色補正装置、色補正方法及び色補正プログラム
【課題】同じ被写体を２台の仕様の異なるカメラを並べて撮影した際に得られる２つの動画像の間に生じる色差を減らす。
【解決手段】同一の被写体を撮影した２つの動画像ＭＡ，ＭＢそれぞれから同時刻におけるフレーム画像ＭＡ（ｔ），ＭＢ（ｔ）を抽出し、フレーム画像ＭＡ（ｔ），ＭＢ（ｔ）を複数の領域に分割した領域画像ＲＡ（ｔ），ＲＢ（ｔ）を生成し、領域画像ＲＡ（ｔ），ＲＢ（ｔ）間で領域の対応関係および領域毎の色の対応関係を求め、色の対応関係に基づいてフレーム画像ＭＡ（ｔ）からＭＢ（ｔ）への色の変換規則を学習し、学習した変換規則に基づいて動画像ＭＡを色補正した動画像ＭＡ’を生成する。
【解決手段】同一の被写体を撮影した２つの動画像ＭＡ，ＭＢそれぞれから同時刻におけるフレーム画像ＭＡ（ｔ），ＭＢ（ｔ）を抽出し、フレーム画像ＭＡ（ｔ），ＭＢ（ｔ）を複数の領域に分割した領域画像ＲＡ（ｔ），ＲＢ（ｔ）を生成し、領域画像ＲＡ（ｔ），ＲＢ（ｔ）間で領域の対応関係および領域毎の色の対応関係を求め、色の対応関係に基づいてフレーム画像ＭＡ（ｔ）からＭＢ（ｔ）への色の変換規則を学習し、学習した変換規則に基づいて動画像ＭＡを色補正した動画像ＭＡ’を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の色を補正する技術に関する。
【背景技術】
【０００２】
視差を利用して立体視可能な立体映像を生成する際、異なる位置に配置された一対の撮影手段、例えばステレオカメラ等の複眼撮影装置を用いる。一般的に同機種のカメラであれば、カメラの設定のみで獲得する映像の色味の調整が容易に行えるので、映像間の色差を減らすことが容易である。
【０００３】
機種の異なる２台のカメラ間で色差を減らすために色補正を行う従来の技術としては、変換多項式を利用して色補正を行う手法（非特許文献１参照）や、画像のヒストグラムが一致するように色補正を行う手法（非特許文献２参照）が開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】稲村、田口、「異なったカメラ間の色調整について」、電子情報通信学会技術研究報告ＳＩＳ、２００７年３月、第１０６巻、第５７５号、ｐ．１９−２２
【非特許文献２】稲村、田口、「異なったカメラ間の色調整法について」、電子情報通信学会技術研究報告ＳＩＳ、２００７年１２月、第１０７巻、第３７４号、ｐ．１３−１８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１では被写体にカラーチャートを含める必要がある。非特許文献２では２台のカメラが離れている場合や角度が大きい場合、例えば、対象の色が一方の画像には見えているが他方の画像には角度の問題から見えていないといったシーンにおける色補正に対応していないという問題があった。
【０００６】
本発明は、上記に鑑みてなされたものであり、同じ被写体を２台の仕様の異なるカメラを並べて撮影した際に得られる２つの動画像の間に生じる色差を減らすことを目的とする。
【課題を解決するための手段】
【０００７】
第１の本発明に係る色補正装置は、同一の被写体を撮影した２つの動画像を入力して蓄積手段に蓄積させる入力手段と、前記蓄積手段に蓄積された前記２つの動画像それぞれから同時刻におけるフレーム画像を抽出する抽出手段と、前記フレーム画像それぞれを複数の領域に分割する領域分割手段と、前記フレーム画像間で対応する領域を判定し、前記領域毎に色の対応関係を求める領域判定手段と、前記色の対応関係に基づいて一方の色を変換したときに他方の色となる変換規則を学習する学習手段と、前記変換規則を用いて前記動画像の一方の色を補正する色補正手段と、を有することを特徴とする。
【０００８】
上記色補正装置において、前記領域判定手段は、前記フレーム画像それぞれに走査領域を設定して前記フレーム画像それぞれを走査し、前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を求めて、前記フレーム画像それぞれの対応する前記走査領域間で当該走査領域内に存在する前記領域の色を比較して対応する領域を判定することを特徴とする。
【０００９】
上記色補正装置において、前記領域判定手段は、前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を記載した走査結果表を作成し、前記走査結果表の前記走査領域を検索し、前記フレーム画像それぞれの対応する走査領域内に存在する前記領域の数が少ない前記走査領域から順に、前記対応する走査領域間で前記領域の色のユークリッド距離を求めて、所定の閾値以下で前記ユークリッド距離が最も近い領域を対応する領域として判定することを特徴とする。
【００１０】
上記色補正装置において、色補正手段が補正した動画像と他方の動画像のそれぞれから同時刻におけるフレーム画像を抽出して色の対応関係を求め、対応する色間の色差が所定の閾値を上回る場合は、追加学習を行わせる判定手段を有することを特徴とする。
【００１１】
第２の本発明に係る色補正方法は、同一の被写体を撮影した２つの動画像を入力して蓄積手段に蓄積させるステップと、前記蓄積手段に蓄積された前記２つの動画像それぞれから同時刻におけるフレーム画像を抽出するステップと、前記フレーム画像それぞれを複数の領域に分割するステップと、前記フレーム画像間で対応する領域を判定するステップと、前記対応する領域毎に色の対応関係を求めるステップと、前記色の対応関係に基づいて一方の色を変換したときに他方の色となる変換規則を学習するステップと、前記変換規則を用いて前記動画像の一方の色を補正するステップと、を有することを特徴とする。
【００１２】
上記色補正方法において、前記対応する領域を判定するステップは、前記フレーム画像それぞれに走査領域を設定して前記フレーム画像それぞれを走査し、前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を求めて、前記フレーム画像それぞれの対応する前記走査領域間で当該走査領域内に存在する前記領域の色を比較して対応する領域を判定することを特徴とする。
【００１３】
上記色補正方法において、前記対応する領域を判定するステップは、前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を記載した走査結果表を作成し、前記走査結果表の前記走査領域を検索し、前記フレーム画像それぞれの対応する走査領域内に存在する前記領域の数が少ない前記走査領域から順に、前記対応する走査領域間で前記領域の色のユークリッド距離を求めて、所定の閾値以下で前記ユークリッド距離が最も近い領域を対応する領域として判定することを特徴とする。
【００１４】
上記色補正方法において、補正した動画像と他方の動画像のそれぞれから同時刻におけるフレーム画像を抽出して色の対応関係を求め、対応する色間の色差が所定の閾値を上回る場合は、追加学習を行わせるステップを有することを特徴とする。
【００１５】
第３の本発明に係る色補正プログラムは、上記色補正方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、同じ被写体を２台の仕様の異なるカメラを並べて撮影した際に得られる２つの動画像の間に生じる色差を減らすことができる。
【図面の簡単な説明】
【００１７】
【図１】本実施の形態における色補正装置の構成を示すブロック図である。
【図２】本実施の形態における色補正装置が動画像間の色差を減らす処理の流れを示すフローチャートである。
【図３】２つの動画像それぞれからフレーム画像を抽出した様子を示す図である。
【図４】フレーム画像から領域画像を生成した例を示す図である。
【図５】対応関係表の例を示す図である。
【図６】ニューラルネットワークを使った学習例を示す図である。
【図７】領域画像を走査する処理の流れを示すフローチャートである。
【図８】画像走査用の窓の例を示す図である。
【図９】窓を用いて領域画像全体を走査する様子を示す図である。
【図１０】走査結果表の例を示す図である。
【図１１】走査結果表から対応関係を生成する処理の流れを示すフローチャートである。
【図１２】ユークリッド距離を用いて対応する領域を判定する処理の説明図である。
【図１３】判定済みの領域を削除した走査結果表の例を示す図である。
【図１４】本実施の形態における別の色補正装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を用いて説明する。
【００１９】
図１は、本実施の形態における色補正装置の構成を示すブロック図である。同図に示す色補正装置１は、フレーム抽出部２、領域分割部３、領域比較部４、対応色学習部５、色補正動画像生成部６、色差評価部７、メディア制御部８、および表示部９を備える。色補正装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは色補正装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００２０】
フレーム抽出部２は、２つの動画像それぞれから同時刻のフレーム画像を所定の枚数抽出する。
【００２１】
領域分割部３は、フレーム抽出部２が抽出したフレーム画像に対して領域分割処理を行い、フレーム画像に領域情報が付与された領域画像を生成する。
【００２２】
領域比較部４は、同時刻のフレーム画像から生成された領域画像を比較し、２つの画像間における領域の対応関係、領域毎の色の対応関係を記録した対応関係表を生成する。
【００２３】
対応色学習部５は、領域比較部４が生成した対応関係表の色の対応関係を学習して、対応する領域間の色の変換規則を得る。
【００２４】
色補正動画像生成部６は、対応色学習部５で作成した学習結果を用いて一方の動画像に対して色変換を行う。
【００２５】
色差評価部７は、色変換後の動画像間の色差を評価する。
【００２６】
メディア制御部８は、メディア８Ａから動画像を読み出す。
【００２７】
表示部９は、動画像の再生を行う。
【００２８】
次に、色補正装置１の処理の流れについて説明する。
【００２９】
図２は、本実施の形態における色補正装置１が動画像間の色差を減らす処理の流れを示すフローチャートである。色補正装置１の処理は、学習フェーズ、補正フェーズ、判定フェーズの３段階に分けることができる。
【００３０】
まず、学習フェーズ（ステップＳＴ１〜ＳＴ５）について説明する。
【００３１】
メディア制御部８は、動画像ＭＡ，ＭＢをメディア８Ａから読み出し、色補正装置１の備えた記憶手段に記憶させる（ステップＳＴ１）。動画像ＭＡ，ＭＢは、機種の異なる２台のカメラで得られたものであり、フレームレート、動画像サイズ、時刻などのカメラ側で調整できるパラメータを一致させ、同一の被写体を同タイミングで異なる視点から撮影したものである。
【００３２】
続いて、フレーム抽出部２は、読み込んだ２つの動画像ＭＡ，ＭＢから、同時刻のフレーム画像ＭＡ（ｔ），ＭＢ（ｔ）をランダムに適当な枚数だけ抽出する（ステップＳＴ２）。図３に示す例では、ランダムに選択した時刻ｔ＝０，５，９のときの動画像ＭＡのフレーム画像ＭＡ（０），ＭＡ（５），ＭＡ（９）と、動画像ＭＢのフレーム画像ＭＢ（０），ＭＢ（５），ＭＢ（９）を抽出している。
【００３３】
続いて、領域分割部３は、フレーム抽出部２が抽出したフレーム画像ＭＡ（ｔ），ＭＢ（ｔ）に対して領域分割処理を行い、領域画像ＲＡ（ｔ），ＲＢ（ｔ）を生成する（ステップＳＴ３）。領域分割法として、ｋ−ｍｅａｎｓ法、Ｍｅａｎ Ｓｈｉｆｔ法、領域拡張法など既存の各種領域分割の手法を用いることができる。図４は、フレーム画像から領域画像を生成した例を示す図である。同図に示す例では、図４（ａ）に示すフレーム画像ＭＡ（０），ＭＢ（０）に対してＭｅａｎ Ｓｈｉｆｔ法を用いて領域分割処理を施し、それぞれａ〜ｅ，ｆ〜ｋの部分領域に分割された図４（ｂ）に示す領域画像ＲＡ（０），ＲＢ（０）が生成された。領域画像ＲＡ（０），ＲＢ（０）は、部分領域を識別する領域番号情報に元のフレーム画像ＭＡ（０），ＭＢ（０）の情報を加えたものである。つまり、領域画像ＲＡ（０），ＲＢ（０）は、画素毎にＲＧＢ値と領域番号を持つデータとなる。
【００３４】
続いて、領域比較部４は、領域分割部３が生成した領域画像ＲＡ（ｔ），ＲＢ（ｔ）を比較し、座標と色の類似性から２つの画像間における領域の対応関係と領域毎の色の対応関係を記載した対応関係表を生成する（ステップＳＴ４）。領域比較部４が生成した対応関係表の例を図５に示す。なお、対応関係を決定する処理の詳細については後述する。
【００３５】
続いて、対応色学習部５は、領域比較部４が生成した対応関係表の色の対応関係を学習して、対応する２つの領域のうち一方の領域の色からもう一方の領域の色への変換規則を得る（ステップＳＴ５）。例えば、フィードフォワード型のニューラルネットワークで誤差逆伝播法を用いて学習を行う場合、図６に示す構成が考えられる。領域画像ＲＡ（ｔ）のある領域の平均ＲＧＢ値を入力値Ｒ，Ｇ，Ｂとして入力層５０に入力すると、中間層５１を経て出力層５２から出力値Ｒ’，Ｇ’，Ｂ’として出力される。領域画像ＲＢ（ｔ）の対応する領域の平均ＲＧＢ値は正解値（教師値）５３に相当する。この正解値Ｒ”，Ｇ”，Ｂ”と出力値Ｒ’，Ｇ’，Ｂ’を比較したときの誤差が最小となるように中間層５１のパラメータ調整を行う。これを領域比較部４が生成した色の対応関係の組み合わせで行うことで学習する。なお、図５の領域ｋのように対応する領域がない場合は、その領域の色は学習に使用しない。
【００３６】
次に、補正フェーズ（ステップＳＴ６）の処理内容について説明する。
【００３７】
色補正動画像生成部６は、対応色学習部５で作成した学習結果を用い、動画像ＭＡの全フレーム画像ＭＡ（ｔ）に対して色変換を行い、色補正した動画像ＭＡ’を生成する（ステップＳＴ６）。
【００３８】
次に、判定フェーズ（ステップＳＴ６〜ＳＴ１１）の処理内容について説明する。
【００３９】
まず、色補正した動画像ＭＡ’と動画像ＭＢに対して、ステップＳＴ２〜ＳＴ４の処理と同様の処理を行って色の対応関係を決定する（ステップＳＴ７〜ＳＴ９）。具体的には、まず、フレーム抽出部２が、動画像ＭＢ，ＭＡ’から同時刻のフレーム画像ＭＢ（ｔ），ＭＡ’（ｔ）のランダム抽出を行う（ステップＳＴ７）。続いて、領域分割部３が、抽出したフレーム画像ＭＢ（ｔ），ＭＡ’（ｔ）に対して領域分割処理を行って領域画像ＲＢ（ｔ），ＲＡ’（ｔ）を生成する。さらに、領域比較部４が、領域画像ＲＢ（ｔ），ＲＡ’（ｔ）の領域同士の対応関係と色の対応関係を決定する（ステップＳＴ９）。
【００４０】
そして、色差評価部７が、対応する各領域の平均ＲＧＢ値のユークリッド距離を基準に色差を評価し（ステップＳＴ１０）、色差が別途設定する閾値を下回る場合は（ステップＳＴ１１のＮｏ）、色補正した動画像ＭＡ’が生成されたとみなし処理を終了する。色差が別途設定する閾値を上回る場合は（ステップＳＴ１１のＹｅｓ）、ステップＳＴ２に戻り、新たなフレーム画像ＭＡ（ｔ），ＭＢ（ｔ）を用いて追加学習を行う。なお、色差の評価方法は、上記の方法に限らず、他の方法を用いるものでもよい。
【００４１】
次に、領域比較部４が対応関係を決定する処理について説明する。対応関係の決定は、領域画像の走査と走査結果から対応関係を生成する処理からなる。
【００４２】
まず、領域画像を走査する処理について説明する。図７は、領域比較部４が領域画像を走査する処理の流れを示すフローチャートである。
【００４３】
領域画像ＲＡ（ｔ），ＲＢ（ｔ）上に、画像左上の座標（０，０）を基準とした、横幅が画像の最大横幅サイズ、縦幅が所定のサイズとなる画像走査用の窓を配置する（ステップＳＴ３１）。図８に画像走査用の窓の例を示す。同図に示す例では、領域画像ＲＡ（ｔ），ＲＢ（ｔ）それぞれの画像サイズは３２０×２４０画素であり、窓サイズを３２０×１０画素と設定した。なお、窓の画素数は任意に設定可能である。
【００４４】
続いて、窓内の左上の画素から順にＲＧＢ値と領域情報を読み出して一時的に記憶し（ステップＳＴ３２）、窓内を左上から右下へ向って走査するように次の画素を選択する（ステップＳＴ３３）。選択した画素が窓内であれば（ステップＳＴ３４のＹｅｓ）、ステップＳＴ３２に戻りＲＧＢ値と領域情報を読み出す。
【００４５】
窓内の画素を全て走査し終えたら（ステップＳＴ３４のＮｏ）、一時的に記憶しておいたＲＧＢ値を領域毎に平均し（ステップＳＴ３５）、走査結果として、窓内に存在する領域情報、窓内の領域毎の平均ＲＧＢ値、窓内の領域数を記録する（ステップＳＴ３６）。
【００４６】
そして、窓の縦の画素数分だけ窓の配置位置をｙ軸方向に移動させる（ステップＳＴ３７）。窓が領域画像ＲＡ（ｔ），ＲＢ（ｔ）内に配置されている場合は（ステップＳＴ３８のＹｅｓ）、ステップＳＴ３２〜ＳＴ３７の処理を繰り返す。これにより、図９に示すように、領域画像ＲＡ（ｔ），ＲＢ（ｔ）が上から順に走査される。
【００４７】
図１０に、図７に示す処理により生成された走査結果表を示す。図１０に示すように、走査結果表には、走査領域Ｓ１〜Ｓ２４毎に、検出された領域数、領域情報、平均ＲＧＢ値が記録される。領域情報と平均ＲＧＢ値の組みは各走査領域Ｓ１〜Ｓ２４の領域数記録される。例えば、図１０の領域画像ＲＡ（ｔ）の走査領域Ｓ３では、平均ＲＧＢ値が（８８，２，９）の領域ａと平均ＲＧＢ値が（９０，１３，６）の領域ｃの２つの領域が存在する。
【００４８】
続いて、走査結果表から対応関係を生成する処理について説明する。図１１は、走査結果表から対応関係を生成する処理の流れを示すフローチャートである。
【００４９】
走査結果表から領域数が最も少ない走査領域を検索する（ステップＳＴ３９）。
【００５０】
領域画像ＲＡ（ｔ），ＲＢ（ｔ）ともに領域数が１の場合（ステップＳＴ４０のＹｅｓ）、その領域は対応する関係にあると判定する（ステップＳＴ４１）。
【００５１】
領域画像ＲＡ（ｔ），ＲＢ（ｔ）ともに領域数が１ではない場合（ステップＳＴ４０のＮｏ）、図１２に示すように、領域画像ＲＡ（ｔ），ＲＢ（ｔ）の領域間の平均ＲＧＢ値のユークリッド距離を求め、閾値Ｌを下回る最も距離の近いものから順番に対応関係にあると判定する（ステップＳＴ４２）。なお、ＲＧＢ値が８ｂｉｔ（０〜２５５）の場合、閾値Ｌは（０＜Ｌ≦２５５√３）の範囲内で設定される。求めたユークリッド距離が閾値Ｌを上回る領域同士は対応付けを行わない。
【００５２】
また、領域の総数の最も少ない走査領域が複数検索されたときに、領域画像ＲＡ（ｔ），ＲＢ（ｔ）それぞれの領域数が同じ場合は（１：１，２：２など）、早く検索された側を優先して処理し、領域画像ＲＡ（ｔ），ＲＢ（ｔ）それぞれの領域数が異なる場合は（１：３，２：３など）、最小の総数が入っている側（この場合は１：３）を優先して処理する。
【００５３】
対応する領域が判明したら、対応する領域それぞれの走査結果表全体における平均ＲＧＢ値を求め（ステップＳＴ４３）、対応する領域情報と求めた平均ＲＧＢ値を対応関係表に記録する（ステップＳＴ４４）。具体的には、図１０において、領域ａと領域ｆが対応する関係であると判定した場合、領域ａの平均ＲＧＢ値は、走査領域Ｓ１のＲＧＢ値（９０，２，１０）、走査領域Ｓ２のＲＧＢ値（９０，０，３）、走査領域Ｓ３のＲＧＢ値（８８，２，９）などを平均して求める。そして、対応関係表の領域の対応欄に領域ａと領域ｆを、色の対応欄に領域ａの平均ＲＧＢ値（９０，２，１２）と領域ｆの平均ＲＧＢ値（８０，２，１７）を記録する。
【００５４】
その後、判定済みの領域情報を走査結果表から削除し、領域数を減らす（ステップＳＴ４５）。具体的には、図１０に示す走査結果表から判定済みの領域ａ，ｆの情報を削除する。図１３に、領域ａ，ｆの情報を削除した走査結果表を示す。
【００５５】
そして、走査結果表に未判定領域が残っているか否かを確認し（ステップＳＴ４６）、未判定領域が残っている場合はステップＳＴ３９に戻り、全て判定済みの場合は対応関係表の生成を終了する。
【００５６】
なお、本実施の形態では、領域の色情報として平均ＲＧＢ値を用いたが、これに限るものではなく、中央値、最頻値などの別の統計値を用いるものでもよく、ＲＧＢ値の代わりにＨＳＶなどの別の色空間を用いてもよい。
【００５７】
次に、本実施の形態における別の色補正装置について説明する。
【００５８】
図１４、本実施の形態における別の色補正装置の構成を示すブロック図である。同図に示す色補正装置１は、図１に示す色補正装置に立体動画像生成部１１を追加し、立体動画像を生成するものである。
【００５９】
図２のステップＳＴ１１の処理の後に、立体動画像生成部１１は、色補正した動画像ＭＡ’と動画像ＭＢに対して動画像合成処理を行う。立体動画像は、フレームシーケンシャル方式やサイドバイサイド方式など、視聴形態、視聴環境に合ったフォーマットで生成する。
【００６０】
以上説明したように、本実施の形態によれば、同一の被写体を撮影した２つの動画像ＭＡ，ＭＢそれぞれから同時刻におけるフレーム画像ＭＡ（ｔ），ＭＢ（ｔ）を抽出し、フレーム画像ＭＡ（ｔ），ＭＢ（ｔ）を複数の領域に分割した領域画像ＲＡ（ｔ），ＲＢ（ｔ）を生成し、領域画像ＲＡ（ｔ），ＲＢ（ｔ）間で領域の対応関係および領域毎の色の対応関係を求め、色の対応関係に基づいてフレーム画像ＭＡ（ｔ）からＭＢ（ｔ）への色の変換規則を学習し、学習した変換規則に基づいて動画像ＭＡを色補正した動画像ＭＡ’を生成することにより、２つの動画像ＭＡ，ＭＢの間に生じる色差を減らすことが可能となる。
【００６１】
本実施の形態によれば、色補正した動画像ＭＡ’と動画像ＭＢそれぞれから同時刻におけるフレーム画像ＭＡ’（ｔ），ＭＢ（ｔ）を抽出し、領域の分割、領域の対応関係、領域毎の色の対応関係を求め、対応する色間の色差が所定の閾値を上回る場合は、新たなフレーム画像ＭＡ（ｔ），ＭＢ（ｔ）を用いて追加学習を行うことにより、より正確に２つの動画像ＭＡ，ＭＢの間に生じる色差を減らすことが可能となる。
【符号の説明】
【００６２】
１…色補正装置
２…フレーム抽出部
３…領域分割部
４…領域比較部
５…対応色学習部
６…色補正動画像生成部
７…色差評価部
８…メディア制御部
８Ａ…メディア
９…表示部
１１…立体動画像生成部
５０…入力層
５１…中間層
５２…出力層
５３…正解値
【技術分野】
【０００１】
本発明は、動画像の色を補正する技術に関する。
【背景技術】
【０００２】
視差を利用して立体視可能な立体映像を生成する際、異なる位置に配置された一対の撮影手段、例えばステレオカメラ等の複眼撮影装置を用いる。一般的に同機種のカメラであれば、カメラの設定のみで獲得する映像の色味の調整が容易に行えるので、映像間の色差を減らすことが容易である。
【０００３】
機種の異なる２台のカメラ間で色差を減らすために色補正を行う従来の技術としては、変換多項式を利用して色補正を行う手法（非特許文献１参照）や、画像のヒストグラムが一致するように色補正を行う手法（非特許文献２参照）が開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】稲村、田口、「異なったカメラ間の色調整について」、電子情報通信学会技術研究報告ＳＩＳ、２００７年３月、第１０６巻、第５７５号、ｐ．１９−２２
【非特許文献２】稲村、田口、「異なったカメラ間の色調整法について」、電子情報通信学会技術研究報告ＳＩＳ、２００７年１２月、第１０７巻、第３７４号、ｐ．１３−１８
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１では被写体にカラーチャートを含める必要がある。非特許文献２では２台のカメラが離れている場合や角度が大きい場合、例えば、対象の色が一方の画像には見えているが他方の画像には角度の問題から見えていないといったシーンにおける色補正に対応していないという問題があった。
【０００６】
本発明は、上記に鑑みてなされたものであり、同じ被写体を２台の仕様の異なるカメラを並べて撮影した際に得られる２つの動画像の間に生じる色差を減らすことを目的とする。
【課題を解決するための手段】
【０００７】
第１の本発明に係る色補正装置は、同一の被写体を撮影した２つの動画像を入力して蓄積手段に蓄積させる入力手段と、前記蓄積手段に蓄積された前記２つの動画像それぞれから同時刻におけるフレーム画像を抽出する抽出手段と、前記フレーム画像それぞれを複数の領域に分割する領域分割手段と、前記フレーム画像間で対応する領域を判定し、前記領域毎に色の対応関係を求める領域判定手段と、前記色の対応関係に基づいて一方の色を変換したときに他方の色となる変換規則を学習する学習手段と、前記変換規則を用いて前記動画像の一方の色を補正する色補正手段と、を有することを特徴とする。
【０００８】
上記色補正装置において、前記領域判定手段は、前記フレーム画像それぞれに走査領域を設定して前記フレーム画像それぞれを走査し、前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を求めて、前記フレーム画像それぞれの対応する前記走査領域間で当該走査領域内に存在する前記領域の色を比較して対応する領域を判定することを特徴とする。
【０００９】
上記色補正装置において、前記領域判定手段は、前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を記載した走査結果表を作成し、前記走査結果表の前記走査領域を検索し、前記フレーム画像それぞれの対応する走査領域内に存在する前記領域の数が少ない前記走査領域から順に、前記対応する走査領域間で前記領域の色のユークリッド距離を求めて、所定の閾値以下で前記ユークリッド距離が最も近い領域を対応する領域として判定することを特徴とする。
【００１０】
上記色補正装置において、色補正手段が補正した動画像と他方の動画像のそれぞれから同時刻におけるフレーム画像を抽出して色の対応関係を求め、対応する色間の色差が所定の閾値を上回る場合は、追加学習を行わせる判定手段を有することを特徴とする。
【００１１】
第２の本発明に係る色補正方法は、同一の被写体を撮影した２つの動画像を入力して蓄積手段に蓄積させるステップと、前記蓄積手段に蓄積された前記２つの動画像それぞれから同時刻におけるフレーム画像を抽出するステップと、前記フレーム画像それぞれを複数の領域に分割するステップと、前記フレーム画像間で対応する領域を判定するステップと、前記対応する領域毎に色の対応関係を求めるステップと、前記色の対応関係に基づいて一方の色を変換したときに他方の色となる変換規則を学習するステップと、前記変換規則を用いて前記動画像の一方の色を補正するステップと、を有することを特徴とする。
【００１２】
上記色補正方法において、前記対応する領域を判定するステップは、前記フレーム画像それぞれに走査領域を設定して前記フレーム画像それぞれを走査し、前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を求めて、前記フレーム画像それぞれの対応する前記走査領域間で当該走査領域内に存在する前記領域の色を比較して対応する領域を判定することを特徴とする。
【００１３】
上記色補正方法において、前記対応する領域を判定するステップは、前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を記載した走査結果表を作成し、前記走査結果表の前記走査領域を検索し、前記フレーム画像それぞれの対応する走査領域内に存在する前記領域の数が少ない前記走査領域から順に、前記対応する走査領域間で前記領域の色のユークリッド距離を求めて、所定の閾値以下で前記ユークリッド距離が最も近い領域を対応する領域として判定することを特徴とする。
【００１４】
上記色補正方法において、補正した動画像と他方の動画像のそれぞれから同時刻におけるフレーム画像を抽出して色の対応関係を求め、対応する色間の色差が所定の閾値を上回る場合は、追加学習を行わせるステップを有することを特徴とする。
【００１５】
第３の本発明に係る色補正プログラムは、上記色補正方法をコンピュータに実行させることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、同じ被写体を２台の仕様の異なるカメラを並べて撮影した際に得られる２つの動画像の間に生じる色差を減らすことができる。
【図面の簡単な説明】
【００１７】
【図１】本実施の形態における色補正装置の構成を示すブロック図である。
【図２】本実施の形態における色補正装置が動画像間の色差を減らす処理の流れを示すフローチャートである。
【図３】２つの動画像それぞれからフレーム画像を抽出した様子を示す図である。
【図４】フレーム画像から領域画像を生成した例を示す図である。
【図５】対応関係表の例を示す図である。
【図６】ニューラルネットワークを使った学習例を示す図である。
【図７】領域画像を走査する処理の流れを示すフローチャートである。
【図８】画像走査用の窓の例を示す図である。
【図９】窓を用いて領域画像全体を走査する様子を示す図である。
【図１０】走査結果表の例を示す図である。
【図１１】走査結果表から対応関係を生成する処理の流れを示すフローチャートである。
【図１２】ユークリッド距離を用いて対応する領域を判定する処理の説明図である。
【図１３】判定済みの領域を削除した走査結果表の例を示す図である。
【図１４】本実施の形態における別の色補正装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態について図面を用いて説明する。
【００１９】
図１は、本実施の形態における色補正装置の構成を示すブロック図である。同図に示す色補正装置１は、フレーム抽出部２、領域分割部３、領域比較部４、対応色学習部５、色補正動画像生成部６、色差評価部７、メディア制御部８、および表示部９を備える。色補正装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは色補正装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。
【００２０】
フレーム抽出部２は、２つの動画像それぞれから同時刻のフレーム画像を所定の枚数抽出する。
【００２１】
領域分割部３は、フレーム抽出部２が抽出したフレーム画像に対して領域分割処理を行い、フレーム画像に領域情報が付与された領域画像を生成する。
【００２２】
領域比較部４は、同時刻のフレーム画像から生成された領域画像を比較し、２つの画像間における領域の対応関係、領域毎の色の対応関係を記録した対応関係表を生成する。
【００２３】
対応色学習部５は、領域比較部４が生成した対応関係表の色の対応関係を学習して、対応する領域間の色の変換規則を得る。
【００２４】
色補正動画像生成部６は、対応色学習部５で作成した学習結果を用いて一方の動画像に対して色変換を行う。
【００２５】
色差評価部７は、色変換後の動画像間の色差を評価する。
【００２６】
メディア制御部８は、メディア８Ａから動画像を読み出す。
【００２７】
表示部９は、動画像の再生を行う。
【００２８】
次に、色補正装置１の処理の流れについて説明する。
【００２９】
図２は、本実施の形態における色補正装置１が動画像間の色差を減らす処理の流れを示すフローチャートである。色補正装置１の処理は、学習フェーズ、補正フェーズ、判定フェーズの３段階に分けることができる。
【００３０】
まず、学習フェーズ（ステップＳＴ１〜ＳＴ５）について説明する。
【００３１】
メディア制御部８は、動画像ＭＡ，ＭＢをメディア８Ａから読み出し、色補正装置１の備えた記憶手段に記憶させる（ステップＳＴ１）。動画像ＭＡ，ＭＢは、機種の異なる２台のカメラで得られたものであり、フレームレート、動画像サイズ、時刻などのカメラ側で調整できるパラメータを一致させ、同一の被写体を同タイミングで異なる視点から撮影したものである。
【００３２】
続いて、フレーム抽出部２は、読み込んだ２つの動画像ＭＡ，ＭＢから、同時刻のフレーム画像ＭＡ（ｔ），ＭＢ（ｔ）をランダムに適当な枚数だけ抽出する（ステップＳＴ２）。図３に示す例では、ランダムに選択した時刻ｔ＝０，５，９のときの動画像ＭＡのフレーム画像ＭＡ（０），ＭＡ（５），ＭＡ（９）と、動画像ＭＢのフレーム画像ＭＢ（０），ＭＢ（５），ＭＢ（９）を抽出している。
【００３３】
続いて、領域分割部３は、フレーム抽出部２が抽出したフレーム画像ＭＡ（ｔ），ＭＢ（ｔ）に対して領域分割処理を行い、領域画像ＲＡ（ｔ），ＲＢ（ｔ）を生成する（ステップＳＴ３）。領域分割法として、ｋ−ｍｅａｎｓ法、Ｍｅａｎ Ｓｈｉｆｔ法、領域拡張法など既存の各種領域分割の手法を用いることができる。図４は、フレーム画像から領域画像を生成した例を示す図である。同図に示す例では、図４（ａ）に示すフレーム画像ＭＡ（０），ＭＢ（０）に対してＭｅａｎ Ｓｈｉｆｔ法を用いて領域分割処理を施し、それぞれａ〜ｅ，ｆ〜ｋの部分領域に分割された図４（ｂ）に示す領域画像ＲＡ（０），ＲＢ（０）が生成された。領域画像ＲＡ（０），ＲＢ（０）は、部分領域を識別する領域番号情報に元のフレーム画像ＭＡ（０），ＭＢ（０）の情報を加えたものである。つまり、領域画像ＲＡ（０），ＲＢ（０）は、画素毎にＲＧＢ値と領域番号を持つデータとなる。
【００３４】
続いて、領域比較部４は、領域分割部３が生成した領域画像ＲＡ（ｔ），ＲＢ（ｔ）を比較し、座標と色の類似性から２つの画像間における領域の対応関係と領域毎の色の対応関係を記載した対応関係表を生成する（ステップＳＴ４）。領域比較部４が生成した対応関係表の例を図５に示す。なお、対応関係を決定する処理の詳細については後述する。
【００３５】
続いて、対応色学習部５は、領域比較部４が生成した対応関係表の色の対応関係を学習して、対応する２つの領域のうち一方の領域の色からもう一方の領域の色への変換規則を得る（ステップＳＴ５）。例えば、フィードフォワード型のニューラルネットワークで誤差逆伝播法を用いて学習を行う場合、図６に示す構成が考えられる。領域画像ＲＡ（ｔ）のある領域の平均ＲＧＢ値を入力値Ｒ，Ｇ，Ｂとして入力層５０に入力すると、中間層５１を経て出力層５２から出力値Ｒ’，Ｇ’，Ｂ’として出力される。領域画像ＲＢ（ｔ）の対応する領域の平均ＲＧＢ値は正解値（教師値）５３に相当する。この正解値Ｒ”，Ｇ”，Ｂ”と出力値Ｒ’，Ｇ’，Ｂ’を比較したときの誤差が最小となるように中間層５１のパラメータ調整を行う。これを領域比較部４が生成した色の対応関係の組み合わせで行うことで学習する。なお、図５の領域ｋのように対応する領域がない場合は、その領域の色は学習に使用しない。
【００３６】
次に、補正フェーズ（ステップＳＴ６）の処理内容について説明する。
【００３７】
色補正動画像生成部６は、対応色学習部５で作成した学習結果を用い、動画像ＭＡの全フレーム画像ＭＡ（ｔ）に対して色変換を行い、色補正した動画像ＭＡ’を生成する（ステップＳＴ６）。
【００３８】
次に、判定フェーズ（ステップＳＴ６〜ＳＴ１１）の処理内容について説明する。
【００３９】
まず、色補正した動画像ＭＡ’と動画像ＭＢに対して、ステップＳＴ２〜ＳＴ４の処理と同様の処理を行って色の対応関係を決定する（ステップＳＴ７〜ＳＴ９）。具体的には、まず、フレーム抽出部２が、動画像ＭＢ，ＭＡ’から同時刻のフレーム画像ＭＢ（ｔ），ＭＡ’（ｔ）のランダム抽出を行う（ステップＳＴ７）。続いて、領域分割部３が、抽出したフレーム画像ＭＢ（ｔ），ＭＡ’（ｔ）に対して領域分割処理を行って領域画像ＲＢ（ｔ），ＲＡ’（ｔ）を生成する。さらに、領域比較部４が、領域画像ＲＢ（ｔ），ＲＡ’（ｔ）の領域同士の対応関係と色の対応関係を決定する（ステップＳＴ９）。
【００４０】
そして、色差評価部７が、対応する各領域の平均ＲＧＢ値のユークリッド距離を基準に色差を評価し（ステップＳＴ１０）、色差が別途設定する閾値を下回る場合は（ステップＳＴ１１のＮｏ）、色補正した動画像ＭＡ’が生成されたとみなし処理を終了する。色差が別途設定する閾値を上回る場合は（ステップＳＴ１１のＹｅｓ）、ステップＳＴ２に戻り、新たなフレーム画像ＭＡ（ｔ），ＭＢ（ｔ）を用いて追加学習を行う。なお、色差の評価方法は、上記の方法に限らず、他の方法を用いるものでもよい。
【００４１】
次に、領域比較部４が対応関係を決定する処理について説明する。対応関係の決定は、領域画像の走査と走査結果から対応関係を生成する処理からなる。
【００４２】
まず、領域画像を走査する処理について説明する。図７は、領域比較部４が領域画像を走査する処理の流れを示すフローチャートである。
【００４３】
領域画像ＲＡ（ｔ），ＲＢ（ｔ）上に、画像左上の座標（０，０）を基準とした、横幅が画像の最大横幅サイズ、縦幅が所定のサイズとなる画像走査用の窓を配置する（ステップＳＴ３１）。図８に画像走査用の窓の例を示す。同図に示す例では、領域画像ＲＡ（ｔ），ＲＢ（ｔ）それぞれの画像サイズは３２０×２４０画素であり、窓サイズを３２０×１０画素と設定した。なお、窓の画素数は任意に設定可能である。
【００４４】
続いて、窓内の左上の画素から順にＲＧＢ値と領域情報を読み出して一時的に記憶し（ステップＳＴ３２）、窓内を左上から右下へ向って走査するように次の画素を選択する（ステップＳＴ３３）。選択した画素が窓内であれば（ステップＳＴ３４のＹｅｓ）、ステップＳＴ３２に戻りＲＧＢ値と領域情報を読み出す。
【００４５】
窓内の画素を全て走査し終えたら（ステップＳＴ３４のＮｏ）、一時的に記憶しておいたＲＧＢ値を領域毎に平均し（ステップＳＴ３５）、走査結果として、窓内に存在する領域情報、窓内の領域毎の平均ＲＧＢ値、窓内の領域数を記録する（ステップＳＴ３６）。
【００４６】
そして、窓の縦の画素数分だけ窓の配置位置をｙ軸方向に移動させる（ステップＳＴ３７）。窓が領域画像ＲＡ（ｔ），ＲＢ（ｔ）内に配置されている場合は（ステップＳＴ３８のＹｅｓ）、ステップＳＴ３２〜ＳＴ３７の処理を繰り返す。これにより、図９に示すように、領域画像ＲＡ（ｔ），ＲＢ（ｔ）が上から順に走査される。
【００４７】
図１０に、図７に示す処理により生成された走査結果表を示す。図１０に示すように、走査結果表には、走査領域Ｓ１〜Ｓ２４毎に、検出された領域数、領域情報、平均ＲＧＢ値が記録される。領域情報と平均ＲＧＢ値の組みは各走査領域Ｓ１〜Ｓ２４の領域数記録される。例えば、図１０の領域画像ＲＡ（ｔ）の走査領域Ｓ３では、平均ＲＧＢ値が（８８，２，９）の領域ａと平均ＲＧＢ値が（９０，１３，６）の領域ｃの２つの領域が存在する。
【００４８】
続いて、走査結果表から対応関係を生成する処理について説明する。図１１は、走査結果表から対応関係を生成する処理の流れを示すフローチャートである。
【００４９】
走査結果表から領域数が最も少ない走査領域を検索する（ステップＳＴ３９）。
【００５０】
領域画像ＲＡ（ｔ），ＲＢ（ｔ）ともに領域数が１の場合（ステップＳＴ４０のＹｅｓ）、その領域は対応する関係にあると判定する（ステップＳＴ４１）。
【００５１】
領域画像ＲＡ（ｔ），ＲＢ（ｔ）ともに領域数が１ではない場合（ステップＳＴ４０のＮｏ）、図１２に示すように、領域画像ＲＡ（ｔ），ＲＢ（ｔ）の領域間の平均ＲＧＢ値のユークリッド距離を求め、閾値Ｌを下回る最も距離の近いものから順番に対応関係にあると判定する（ステップＳＴ４２）。なお、ＲＧＢ値が８ｂｉｔ（０〜２５５）の場合、閾値Ｌは（０＜Ｌ≦２５５√３）の範囲内で設定される。求めたユークリッド距離が閾値Ｌを上回る領域同士は対応付けを行わない。
【００５２】
また、領域の総数の最も少ない走査領域が複数検索されたときに、領域画像ＲＡ（ｔ），ＲＢ（ｔ）それぞれの領域数が同じ場合は（１：１，２：２など）、早く検索された側を優先して処理し、領域画像ＲＡ（ｔ），ＲＢ（ｔ）それぞれの領域数が異なる場合は（１：３，２：３など）、最小の総数が入っている側（この場合は１：３）を優先して処理する。
【００５３】
対応する領域が判明したら、対応する領域それぞれの走査結果表全体における平均ＲＧＢ値を求め（ステップＳＴ４３）、対応する領域情報と求めた平均ＲＧＢ値を対応関係表に記録する（ステップＳＴ４４）。具体的には、図１０において、領域ａと領域ｆが対応する関係であると判定した場合、領域ａの平均ＲＧＢ値は、走査領域Ｓ１のＲＧＢ値（９０，２，１０）、走査領域Ｓ２のＲＧＢ値（９０，０，３）、走査領域Ｓ３のＲＧＢ値（８８，２，９）などを平均して求める。そして、対応関係表の領域の対応欄に領域ａと領域ｆを、色の対応欄に領域ａの平均ＲＧＢ値（９０，２，１２）と領域ｆの平均ＲＧＢ値（８０，２，１７）を記録する。
【００５４】
その後、判定済みの領域情報を走査結果表から削除し、領域数を減らす（ステップＳＴ４５）。具体的には、図１０に示す走査結果表から判定済みの領域ａ，ｆの情報を削除する。図１３に、領域ａ，ｆの情報を削除した走査結果表を示す。
【００５５】
そして、走査結果表に未判定領域が残っているか否かを確認し（ステップＳＴ４６）、未判定領域が残っている場合はステップＳＴ３９に戻り、全て判定済みの場合は対応関係表の生成を終了する。
【００５６】
なお、本実施の形態では、領域の色情報として平均ＲＧＢ値を用いたが、これに限るものではなく、中央値、最頻値などの別の統計値を用いるものでもよく、ＲＧＢ値の代わりにＨＳＶなどの別の色空間を用いてもよい。
【００５７】
次に、本実施の形態における別の色補正装置について説明する。
【００５８】
図１４、本実施の形態における別の色補正装置の構成を示すブロック図である。同図に示す色補正装置１は、図１に示す色補正装置に立体動画像生成部１１を追加し、立体動画像を生成するものである。
【００５９】
図２のステップＳＴ１１の処理の後に、立体動画像生成部１１は、色補正した動画像ＭＡ’と動画像ＭＢに対して動画像合成処理を行う。立体動画像は、フレームシーケンシャル方式やサイドバイサイド方式など、視聴形態、視聴環境に合ったフォーマットで生成する。
【００６０】
以上説明したように、本実施の形態によれば、同一の被写体を撮影した２つの動画像ＭＡ，ＭＢそれぞれから同時刻におけるフレーム画像ＭＡ（ｔ），ＭＢ（ｔ）を抽出し、フレーム画像ＭＡ（ｔ），ＭＢ（ｔ）を複数の領域に分割した領域画像ＲＡ（ｔ），ＲＢ（ｔ）を生成し、領域画像ＲＡ（ｔ），ＲＢ（ｔ）間で領域の対応関係および領域毎の色の対応関係を求め、色の対応関係に基づいてフレーム画像ＭＡ（ｔ）からＭＢ（ｔ）への色の変換規則を学習し、学習した変換規則に基づいて動画像ＭＡを色補正した動画像ＭＡ’を生成することにより、２つの動画像ＭＡ，ＭＢの間に生じる色差を減らすことが可能となる。
【００６１】
本実施の形態によれば、色補正した動画像ＭＡ’と動画像ＭＢそれぞれから同時刻におけるフレーム画像ＭＡ’（ｔ），ＭＢ（ｔ）を抽出し、領域の分割、領域の対応関係、領域毎の色の対応関係を求め、対応する色間の色差が所定の閾値を上回る場合は、新たなフレーム画像ＭＡ（ｔ），ＭＢ（ｔ）を用いて追加学習を行うことにより、より正確に２つの動画像ＭＡ，ＭＢの間に生じる色差を減らすことが可能となる。
【符号の説明】
【００６２】
１…色補正装置
２…フレーム抽出部
３…領域分割部
４…領域比較部
５…対応色学習部
６…色補正動画像生成部
７…色差評価部
８…メディア制御部
８Ａ…メディア
９…表示部
１１…立体動画像生成部
５０…入力層
５１…中間層
５２…出力層
５３…正解値
【特許請求の範囲】
【請求項１】
同一の被写体を撮影した２つの動画像を入力して蓄積手段に蓄積させる入力手段と、
前記蓄積手段に蓄積された前記２つの動画像それぞれから同時刻におけるフレーム画像を抽出する抽出手段と、
前記フレーム画像それぞれを複数の領域に分割する領域分割手段と、
前記フレーム画像間で対応する領域を判定し、前記領域毎に色の対応関係を求める領域判定手段と、
前記色の対応関係に基づいて一方の色を変換したときに他方の色となる変換規則を学習する学習手段と、
前記変換規則を用いて前記動画像の一方の色を補正する色補正手段と、
を有することを特徴とする色補正装置。
【請求項２】
前記領域判定手段は、
前記フレーム画像それぞれに走査領域を設定して前記フレーム画像それぞれを走査し、
前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を求めて、
前記フレーム画像それぞれの対応する前記走査領域間で当該走査領域内に存在する前記領域の色を比較して対応する領域を判定すること
を特徴とする請求項１記載の色補正装置。
【請求項３】
前記領域判定手段は、
前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を記載した走査結果表を作成し、
前記走査結果表の前記走査領域を検索し、前記フレーム画像それぞれの対応する走査領域内に存在する前記領域の数が少ない前記走査領域から順に、前記対応する走査領域間で前記領域の色のユークリッド距離を求めて、所定の閾値以下で前記ユークリッド距離が最も近い領域を対応する領域として判定すること
を特徴とする請求項２記載の色補正装置。
【請求項４】
色補正手段が補正した動画像と他方の動画像のそれぞれから同時刻におけるフレーム画像を抽出して色の対応関係を求め、対応する色間の色差が所定の閾値を上回る場合は、追加学習を行わせる判定手段を有することを特徴とする請求項１乃至３のいずれかに記載の色補正装置。
【請求項５】
同一の被写体を撮影した２つの動画像を入力して蓄積手段に蓄積させるステップと、
前記蓄積手段に蓄積された前記２つの動画像それぞれから同時刻におけるフレーム画像を抽出するステップと、
前記フレーム画像それぞれを複数の領域に分割するステップと、
前記フレーム画像間で対応する領域を判定するステップと、
前記対応する領域毎に色の対応関係を求めるステップと、
前記色の対応関係に基づいて一方の色を変換したときに他方の色となる変換規則を学習するステップと、
前記変換規則を用いて前記動画像の一方の色を補正するステップと、
を有することを特徴とする色補正方法。
【請求項６】
前記対応する領域を判定するステップは、
前記フレーム画像それぞれに走査領域を設定して前記フレーム画像それぞれを走査し、
前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を求めて、
前記フレーム画像それぞれの対応する前記走査領域間で当該走査領域内に存在する前記領域の色を比較して対応する領域を判定すること
を特徴とする請求項５記載の色補正方法。
【請求項７】
前記対応する領域を判定するステップは、
前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を記載した走査結果表を作成し、
前記走査結果表の前記走査領域を検索し、前記フレーム画像それぞれの対応する走査領域内に存在する前記領域の数が少ない前記走査領域から順に、前記対応する走査領域間で前記領域の色のユークリッド距離を求めて、所定の閾値以下で前記ユークリッド距離が最も近い領域を対応する領域として判定すること
を特徴とする請求項６記載の色補正方法。
【請求項８】
補正した動画像と他方の動画像のそれぞれから同時刻におけるフレーム画像を抽出して色の対応関係を求め、対応する色間の色差が所定の閾値を上回る場合は、追加学習を行わせるステップを有することを特徴とする請求項５乃至６のいずれかに記載の色補正方法。
【請求項９】
請求項５乃至８のいずれかに記載の色補正方法をコンピュータに実行させることを特徴とする色補正プログラム。
【請求項１】
同一の被写体を撮影した２つの動画像を入力して蓄積手段に蓄積させる入力手段と、
前記蓄積手段に蓄積された前記２つの動画像それぞれから同時刻におけるフレーム画像を抽出する抽出手段と、
前記フレーム画像それぞれを複数の領域に分割する領域分割手段と、
前記フレーム画像間で対応する領域を判定し、前記領域毎に色の対応関係を求める領域判定手段と、
前記色の対応関係に基づいて一方の色を変換したときに他方の色となる変換規則を学習する学習手段と、
前記変換規則を用いて前記動画像の一方の色を補正する色補正手段と、
を有することを特徴とする色補正装置。
【請求項２】
前記領域判定手段は、
前記フレーム画像それぞれに走査領域を設定して前記フレーム画像それぞれを走査し、
前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を求めて、
前記フレーム画像それぞれの対応する前記走査領域間で当該走査領域内に存在する前記領域の色を比較して対応する領域を判定すること
を特徴とする請求項１記載の色補正装置。
【請求項３】
前記領域判定手段は、
前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を記載した走査結果表を作成し、
前記走査結果表の前記走査領域を検索し、前記フレーム画像それぞれの対応する走査領域内に存在する前記領域の数が少ない前記走査領域から順に、前記対応する走査領域間で前記領域の色のユークリッド距離を求めて、所定の閾値以下で前記ユークリッド距離が最も近い領域を対応する領域として判定すること
を特徴とする請求項２記載の色補正装置。
【請求項４】
色補正手段が補正した動画像と他方の動画像のそれぞれから同時刻におけるフレーム画像を抽出して色の対応関係を求め、対応する色間の色差が所定の閾値を上回る場合は、追加学習を行わせる判定手段を有することを特徴とする請求項１乃至３のいずれかに記載の色補正装置。
【請求項５】
同一の被写体を撮影した２つの動画像を入力して蓄積手段に蓄積させるステップと、
前記蓄積手段に蓄積された前記２つの動画像それぞれから同時刻におけるフレーム画像を抽出するステップと、
前記フレーム画像それぞれを複数の領域に分割するステップと、
前記フレーム画像間で対応する領域を判定するステップと、
前記対応する領域毎に色の対応関係を求めるステップと、
前記色の対応関係に基づいて一方の色を変換したときに他方の色となる変換規則を学習するステップと、
前記変換規則を用いて前記動画像の一方の色を補正するステップと、
を有することを特徴とする色補正方法。
【請求項６】
前記対応する領域を判定するステップは、
前記フレーム画像それぞれに走査領域を設定して前記フレーム画像それぞれを走査し、
前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を求めて、
前記フレーム画像それぞれの対応する前記走査領域間で当該走査領域内に存在する前記領域の色を比較して対応する領域を判定すること
を特徴とする請求項５記載の色補正方法。
【請求項７】
前記対応する領域を判定するステップは、
前記走査領域毎に当該走査領域内に存在する前記領域と当該領域の色を記載した走査結果表を作成し、
前記走査結果表の前記走査領域を検索し、前記フレーム画像それぞれの対応する走査領域内に存在する前記領域の数が少ない前記走査領域から順に、前記対応する走査領域間で前記領域の色のユークリッド距離を求めて、所定の閾値以下で前記ユークリッド距離が最も近い領域を対応する領域として判定すること
を特徴とする請求項６記載の色補正方法。
【請求項８】
補正した動画像と他方の動画像のそれぞれから同時刻におけるフレーム画像を抽出して色の対応関係を求め、対応する色間の色差が所定の閾値を上回る場合は、追加学習を行わせるステップを有することを特徴とする請求項５乃至６のいずれかに記載の色補正方法。
【請求項９】
請求項５乃至８のいずれかに記載の色補正方法をコンピュータに実行させることを特徴とする色補正プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１２−１６５２３２（Ｐ２０１２−１６５２３２Ａ）
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願番号】特願２０１１−２４７４９（Ｐ２０１１−２４７４９）
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年８月３０日（２０１２．８．３０）
【国際特許分類】
【出願日】平成２３年２月８日（２０１１．２．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]