色補正装置、方法及びプログラム
【課題】補正品質を改良する色補正装置を提供する。
【解決手段】複数カメラで撮影した動画の各画像の色補正を行う色補正装置であり、対象カメラに対して参照カメラとするカメラの組と、その順番を特定する情報である補正順序を保持する手段と、参照カメラで撮影した参照画像に基づき、対象カメラで撮影した対象画像の色補正を行い、該対象画像を、色補正後の対象画像に置き換えることを、補正順序の最初の組から最後の組まで順に行うと共に、色補正による画素値の変化量に基づく値である補正量を、各組の色補正について求める手段と、補正順序の最後の組の色補正の終了後、各組の補正量の合計に基づく値により、補正順序に基づく色補正を繰り返すか否かを判定する手段を備えており、補正順序において、各カメラを、少なくとも１回は対象カメラとし、第１番目を除き、参照カメラはそれ以前に対象カメラとしたものから選択する。
【解決手段】複数カメラで撮影した動画の各画像の色補正を行う色補正装置であり、対象カメラに対して参照カメラとするカメラの組と、その順番を特定する情報である補正順序を保持する手段と、参照カメラで撮影した参照画像に基づき、対象カメラで撮影した対象画像の色補正を行い、該対象画像を、色補正後の対象画像に置き換えることを、補正順序の最初の組から最後の組まで順に行うと共に、色補正による画素値の変化量に基づく値である補正量を、各組の色補正について求める手段と、補正順序の最後の組の色補正の終了後、各組の補正量の合計に基づく値により、補正順序に基づく色補正を繰り返すか否かを判定する手段を備えており、補正順序において、各カメラを、少なくとも１回は対象カメラとし、第１番目を除き、参照カメラはそれ以前に対象カメラとしたものから選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のカメラで撮影した画像の色補正技術に関する。
【背景技術】
【０００２】
複数の異なる位置に設置したカメラで動画を撮影するマルチビューカメラシステムにおいては、個々のカメラの特性や、設置位置に対する光源の方向の影響等により、各カメラが撮影する画像の色彩は異なるものとなる。この違いを補償するため、撮影した画像の色補正が必要となり、様々な色補正の方法が提案されている（例えば、非特許文献１から４参照。）。
【０００３】
【非特許文献１】Ｎｅｅｌ Ｊｏｓｈｉ ｅｔ ａｌ．、“Ａｕｔｏｍａｔｉｃ Ｃｏｌｏｒ Ｃａｌｉｂｒａｔｉｏｎ ｆｏｒ Ｌａｒｇｅ Ｃａｍｅｒａ Ａｒｒａｙｓ”、ＵＣＳＤ ＣＳＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ、ＣＳ２００５−０８２１、２００５年
【非特許文献２】Ｋｗａｎｇｈｏｏｎ Ｓｏｈｎ ｅｔ ａｌ．、“Ｈ．２６４／ＡＶＣ−ｃｏｍｐａｔｉｂｌｅ Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｍ１２８７４、２００６年
【非特許文献３】Ｙｕｓｈａｎ Ｃｈｅｎ．、“Ｎｉ Ｌｕｍｉｎａｎｃｅ ａｎｄ Ｃｈｒｏｍｉｎａｎｃｅ Ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ Ｍｕｌｔｉ−Ｖｉｅｗ Ｖｉｄｅｏ Ｕｓｉｎｇ Ｓｉｍｐｌｉｆｉｅｄ Ｃｏｌｏｒ Ｅｒｒｏｒ Ｍｏｄｅｌ”、ＰＣＳ２００６、ｐｐ．２−１７、２００６年
【非特許文献４】Ｋｅｎｊｉ Ｙａｍａｍｏｔｏ ｅｔ ａｌ．、“Ｃｏｌｏｕｒ Ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ Ｍｕｌｔｉｐｌｅ−ｃａｍｅｒａ Ｓｙｓｔｅｍ ｂｙ ｕｓｉｎｇ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ”、映像情報メディア学会誌 Ｖｏｌ．６１、Ｎｏ．２、Ｐｐｐ．１〜９、２００７年
【発明の開示】
【発明が解決しようとする課題】
【０００４】
非特許文献１から３に記載の方法は、いわゆる、カラーパターンボード（Ｃｏｌｏｒ Ｐａｔｔｅｒｎ Ｂｏａｒｄ）を用いる方法である。つまり、参照画像の画素値のヒストグラムと、対象画像の画素値のヒストグラムに基づき、両画像の画素値間の変換式を求め、求めた変換式に基づき対象画像の色補正を行うものである。
【０００５】
しかしながら、カラーパターンボードを用いる方法は、光源方向により、各カメラが撮影する画像の明暗差が大きい状況等、参照画像の画素値のヒストグラムと、対象画像の画素値のヒストグラムとの相関を見出すことが難しい場合があり、色補正の精度が劣化するという問題がある。また、例えば、屋外での撮影の様に、広範囲の領域を撮影した画像からカラーパターンボードを生成することが難しいという問題もある。
【０００６】
一方、非特許文献４に記載の方法は、参照画像と対象画像の同一対象物を捉えている画素、つまり、対応する画素を探索し、対象画像の画素を、参照画像の対応する画素に基づき色補正するものであり、上述したカラーパターンボードを用いる方法による問題は生じない。
【０００７】
しかしながら、非特許文献４に記載の方法は、１つのカメラで撮影した画像を参照画像とし、残りの総てのカメラで撮影した画像を対象画像とするものであり、参照画像を撮影するカメラから離れるに従い、対象画像に対する色補正品質が劣化するという問題がある。また、位置関係によっては、対象画像には存在するが、参照画像からは隠れた位置となる対象物が発生し、この対象物の色補正を行うことができないという問題もある。
【０００８】
したがって、本発明は、上述した問題を解決する色補正装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明における色補正装置によれば、
複数のカメラで撮影した動画の各画像の色補正を行う色補正装置であって、対象カメラに対して参照カメラとするカメラの組と、その順番を特定する情報である補正順序を保持する第１の手段と、参照カメラで撮影した参照画像に基づき、対象カメラで撮影した対象画像の色補正を行い、該対象画像を、色補正後の対象画像に置き換えることを、補正順序の最初の組から最後の組まで順に行うと共に、色補正による画素値の変化量に基づく値である補正量を、各組の色補正について求める第２の手段と、補正順序の最後の組の色補正の終了後、各組の補正量の合計に基づく値により、第２の手段での色補正を繰り返すか否かを判定する第３の手段とを備えており、補正順序において、各カメラは、少なくとも１回は対象カメラとされ、第１番目を除き、参照カメラはそれ以前に対象カメラとされていることを特徴とする。
【００１０】
本発明の色補正装置における他の実施形態によれば、
補正順序において、対象カメラは、次の組の参照カメラであることも好ましく、更に、隣接して配置されているカメラを、参照カメラと対象カメラの組とすることも好ましい。
【００１１】
また、本発明の色補正装置における他の実施形態によれば、
第２の手段は、対象カメラが撮影した画像と参照カメラが撮影した画像の対応する画素を判定する対応点生成手段と、前記対応する画素の組に基づき、色補正前の画素値に対する色補正後の画素値を示すルックアップテーブルを生成し、ルックアップテーブルに基づき対象画像の色補正を行う補正手段とを備えており、補正量は、色補正前の画素値と、該色補正前の画素値に対する色補正後の画素値との差に基づく値であることも好ましい。なお、対応点生成手段は、対象カメラが撮影した第１から第ｍの画像、ここでｍは１以上の整数、と、参照カメラがほぼ同時に撮影した第１から第ｍの画像の、同一番号の画像それぞれについて対応する画素を判定することも好ましい。
【００１２】
更に、本発明の色補正装置における他の実施形態によれば、
補正手段は、前記対応する画素の組の画素値を平均とし、あらかじめ定めた値を分散とする２次元ガウス分布を、各画素の組に対して生成する２次元ガウス分布生成手段と、生成した２次元ガウス分布を総和することで、又は、生成した２次元ガウス分布に、その平均の２つの値の差が大きくなる程、小さくなる重みを乗じて総和することで、合計分布を求める合計分布生成手段と、合計分布の分布量に基づきｘｙ平面上の各座標に分布値を設定し、画素値の最小値≦ｘ≦画素値の最大値、である各ｘから、分布値に基づき１つの座標を選択し、選択した座標である選択座標のｘの値を色補正前の、ｙの値を色補正後の画素値とするルックアップテーブルを生成するルックアップテーブル生成手段とを備えていることも好ましい。
【００１３】
更に、本発明の色補正装置における他の実施形態によれば、
ルックアップテーブル生成手段は、各ｘについて、分布量の一番大きい座標を選択すること、或いは、ｘの値が１だけ異なる２つの座標を結ぶ線の傾きが、傾きが１からずれる程大きくなる調整係数を定義し、分布値を、合計分布の分布量が大きい程、小さくなる値とした場合、選択座標の分布値の総和と、選択座標間の調整係数の総和との合計が一番小さくなるように各選択座標を選択することも好ましい。
【００１４】
本発明における色補正方法によれば、
複数のカメラで撮影した動画の各画像を、対象カメラに対して参照カメラとするカメラの組と、その順番を特定する情報である補正順序に基づき色補正する方法であって、補正順序において、各カメラは、少なくとも１回は対象カメラとされ、第１番目を除き、参照カメラはそれ以前に対象カメラとされており、参照カメラで撮影した参照画像に基づき、対象カメラで撮影した対象画像の色補正を行い、該対象画像を色補正後の対象画像に置き換えることを、補正順序の最初の組から最後の組まで順に行うと共に、色補正による画素値の変化量に基づく値である補正量を、各組の色補正について求める第１のステップと、第１のステップ終了後、各組の補正量の合計に基づく値により、第１のステップを更に繰り返すか否かを判定する第２のステップとを含んでいることを特徴とする。
【００１５】
本発明におけるプログラムによれば、
コンピュータを前記色補正装置として機能させることを特徴とする。
【発明の効果】
【００１６】
１つのカメラを固定的に参照カメラとするのではなく、参照カメラと対象カメラの組と、その順番を特定する補正順序をあらかじめ設けて置き、補正順序に従い各カメラが撮影した画像の色補正を行う。補正順序の第１番目を除き、参照カメラはそれ以前に対象カメラとしたものから選択し、各カメラを少なくとも１回は対象カメラとすることで、第１番目に参照カメラとした画像の色を基準として、他のカメラで撮影した画像の色補正を順次行う。ただし、色補正に直接使用する参照画像は、それぞれ異なるため、各組の色補正に対して補正量を算出しておき、その合計値に基づく値、例えば、平均値が所定値以下に集束するまで、補正順序に基づく色補正を繰り返す。
【００１７】
この構成により、カメラの配置位置に係らず全カメラが撮影した画像の色の差を小さくすることができる。本発明においては、参照画像を撮影する参照カメラを固定的とする場合に問題となる、距離による補正品質劣化は発生しない。特に、対象カメラを、次の組の参照カメラとすることで、或いは、隣接して配置されているカメラを、参照カメラと対象カメラの組とすることで、色補正品質を更に向上させることができる。
【００１８】
また、本発明は、対象画像と参照画像の対応する画素を判定して、対応する画素の組に基づき色補正を行うものであり、カラーパターンボードを用いるものではない。よって、光源位置や、明暗の差等の影響を受けることなく、種々の環境下での色補正に適用することができる。更に、画素の対応関係に基づき２次元ガウス分布を生成し、これにより、色補正を行うため、参照画像で影となっている対象物の色補正も可能である。
【発明を実施するための最良の形態】
【００１９】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。
【００２０】
図８は、ｎ台のカメラ、カメラ＃１〜＃ｎで同時に撮影した、それぞれ、ｍ個の画像、つまり、フレームからなる動画像を表したものであり、同一フレーム番号は、ほぼ同時刻に撮影されたフレームを表している。本発明においては、色補正を行う対象画像と、色補正の基準とする参照画像は相対的である。つまり、対象画像として色補正したフレームを、後に参照画像として、他のフレームの色補正に使用する。このため、補正順序をあらかじめ定義しておく。
【００２１】
補正順序とは、色補正を行う対象画像と、その対象画像の色補正のために使用する参照画像の組と、各組の色補正の順番を、撮影したカメラで特定したものである。図１０（ａ）及び（ｂ）は、カメラの配置を示す図であり、図１１（ａ）及び（ｂ）は、それぞれ、図１０（ａ）及び（ｂ）に示すカメラ配置に対する補正順序の例を示す図である。
【００２２】
図１１（ａ）の補正順序によると、まず、カメラ＃２で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃１で撮影したフレームに基づき色補正を行う。続いて、カメラ＃３で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃２の既に色補正されたフレームに基づき色補正を行う。以後、同様に、色補正を繰り返し、カメラ＃１で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃ｎの既に色補正されたフレームに基づき色補正を行うことで、補正順序は一巡する。
【００２３】
また、図１１（ｂ）の補正順序によると、まず、カメラ＃２で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃１で撮影したフレームに基づき色補正を行う。続いて、カメラ＃３で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃２の既に色補正されたフレームに基づき色補正を行う。以後、同様に、色補正を繰り返し、カメラ＃ｎで撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃ｎ−１の既に色補正されたフレームに基づき色補正を行う。続いて、カメラ＃ｎ−１で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃ｎの既に色補正されたフレームに基づき色補正を行う。以後、同様に、色補正を繰り返し、カメラ＃１で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃２の既に色補正されたフレームに基づき色補正を行うことで、補正順序は一巡する。
【００２４】
図１０に示す様に、補正順序は、カメラの配置位置に依存し、以下の条件の下、あらかじめ決定しておく。１番目の条件は、補正順序の第１番目を除き、参照カメラは、それ以前に、対象カメラとしたものから選択することであり、２番目の条件は、総てのカメラを、少なくとも１回は、対象カメラとすることである。更に、図１１に示す様に、対象カメラとなったカメラを、次の参照カメラとすることは好ましい態様である。また、対象カメラと参照カメラ、それぞれの、配置位置は近い程好ましく、図１０及び図１１に示す様に、隣接して配置されているカメラを、参照カメラと対象カメラの組とすることが望ましい。
【００２５】
図９は、本発明による色補正方法のフロー図である。まず、第１番目のフレーム（Ｓ９１）を色補正対象とし、補正順序の一番目の参照画像と対象画像の組を選択する（Ｓ９２）。つまり、図１１（ａ）の補正順序を例にすると、参照画像であるカメラ＃１のフレーム＃１と、対象画像であるカメラ＃２のフレーム＃１の組を選択する。そして、対象画像を参照画像に基づき色補正する（Ｓ９３）。また、このとき、併せて補正量を算出して記録しておく（Ｓ９４）。なお、色補正の具体的な形態及び補正量の算出については後述する。
【００２６】
処理した組が、補正順序の最後の組でない場合（Ｓ９５）には、補正順序に従い次の参照画像と対象画像の組を選択（Ｓ９６）して、以後、同様に色補正と、補正量の記録を行う。補正順序の最後の組に対する処理が終了した場合（Ｓ９５）、図１１（ａ）の補正順序を例にすると、対象画像であるカメラ＃１のフレーム＃１を、参照画像であるカメラ＃ｎのフレーム＃１に基づき色補正した後、補正量の平均値と閾値との比較を行う（Ｓ９７）。なお、補正量の平均値は、各組の補正量の合計値を補正順序の組数で除した値である。補正量の平均値が閾値より大きい場合には、各カメラが撮影した第１番目のフレームの補正順序に基づく色補正を、補正量の平均値が閾値以下となるまで繰り返し行い、補正量の平均値が閾値以下となることにより、第１番目のフレームの色補正が終了する。その後、第２〜第ｍ番目のフレームに対しても、補正順序に従い同じ処理を行う（Ｓ９８及びＳ９９）。
【００２７】
図１は、本発明による色補正装置のブロック図である。図１によると色補正装置は、保存部１と、対応点生成部２と、補正部３と、制御部４とを備えている。保存部１は、複数のカメラ＃１〜＃ｎが撮影した動画像を構成するｍ個の画像、つまりフレームを、それぞれ、保存している。制御部４は、補正順序を保持しており、補正順序に従い、保存部１が保存する各画像から、対象画像と参照画像の組を対応点生成部２に入力させる。また、制御部４は、補正部３が対象画像を、参照画像に基づき色補正した際に出力する補正量を記録し、補正順序が一巡した段階で、補正量の平均値を計算して、あらかじめ設定されている閾値と比較する。図９のフロー図で説明した様に、制御部４は、補正量の平均値と閾値との比較結果に応じて、再度同じ番号のフレームの補正処理を行うか、次の番号のフレームの補正処理を行うかを決定し、対応点生成部２に入力させるフレーム、つまり、対象及び参照画像の制御を行う。
【００２８】
図２は、対応点生成部２のブロック図である。図２によると、対応点生成部２は、フィルタ部２１と、対応点探索部２２と、調整部２３と、マッピングテーブル生成部２４とを備えている。フィルタ部２１は、対象画像と参照画像、それぞれに、ガウスフィルタによるフィルタリングを数回適用する。本処理により、色成分の空間方向の変化が滑らかになり、後段での対応点抽出の精度、特に、エッジ領域における対応点抽出の精度が向上する。
【００２９】
対応点探索部２２は、例えば、ＳＩＦＴ法（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｍ）等により、対象画像と参照画像の対応する画素をそれぞれ探索し、対応する画素の組を出力する。
【００３０】
調整部２３は、対応点探索部２２が探索した、対応する画素の組のうち、カメラのパラメータ等から明らかに誤りと判定できる画素の組を削除する。例えば、参照画像及び対象画像を撮影した両カメラの画角と方向等から、参照画像と対象画像の画素の位置が、ほぼ数十画素程度のずれしかないと判定できる場合において、対応点探索部２２が、対象画像の右上の画素と、参照画像の左下の画素が対応すると出力した場合には、この出力は誤りと判断でき、この対応関係を調整部２３は除去する。
【００３１】
調整部２３が出力する調整後の対象画像の画素と参照画像の画素との対応関係に基づき、マッピングテーブル生成部２４は、赤、緑、青の色成分別に、参照画像の画素の画素値と、その参照画像の画素に対応する対象画像の画素の画素値を示す表である、マッピングテーブルを出力する。図４は、ある１つの色成分に対するマッピングテーブルを示す図である。図４によると、対応する参照画像と対象画像の画素の組がｋ個あり、例えば、参照画像のある画素の画素値が６０であり、その画素に対応する対象画像の画素の画素値が４０であることを、マッピングテーブルは示している。
【００３２】
図３は、補正部３のブロック図である。図３によると、補正部３は、２次元ガウス分布生成部３１と、合計分布生成部３２と、ルックアップテーブル生成部３３と、対象画像補正部３４とを備えている。
【００３３】
２次元ガウス分布生成部３１は、マッピングテーブルの画素の組それぞれに対して、その組の画素値を平均とし、あらかじめ決定しておく値を分散とする２次元ガウス分布を生成する。なお、以下の説明においては、参照画像をｙ軸、対象画像をｘ軸として２次元ガウス分布を生成する形態にて説明を行うが、参照画像をｘ軸、対象画像をｙ軸として２次元ガウス分布を生成しても良い。例えば、図５に示す様に、図４に示す第１番目〜第ｋ番目の画素の組を有するマッピングテーブルに対して、２次元ガウス分布Ｇ１〜Ｇｋを生成する。ここで、例えば、Ｇ１の平均は、（ｘ，ｙ）＝（４０，６０）である。なお、分散は、本発明による色補正を種々の画像に対し適用することであらかじめ実験的に求めておく。
【００３４】
合計分布生成部３２は、２次元ガウス分布生成部３１が生成した、２次元ガウス分布それぞれの重みを求め、各２次元ガウス分布とその重みとの積の総和である合計分布を求める。例えば、図５に示す様に重みを設定した場合、合計分布は、
（２３５Ｇ１＋２４０Ｇ２＋１７５Ｇ３＋・・・＋２５１Ｇｋ）／２５５
となる。重みは必須ではないが、設ける場合には、参照画像と対象画像の画素値の差が大きい程、小さくなる値とする。図５においては、画素値の最大値を２５５とし、
重み＝（２５５−｜（参照画像の画素値）−（対象画像の画素値）｜）／２５５
で求めている。
【００３５】
参照画像と対象画像の画素値の差が大きい程、小さくなる重みを使用することで、参照画像の画素値に対して、対象画像の画素値が大きくずれている画素の組による色補正への影響が小さくなる、つまり、重みを調整することで、画素値が大きく乖離している画素の組が、色補正に与える影響を調整することができる。なお、重みを設けない場合には、合計分布は、各２次元ガウス分布の単純和による求める。
【００３６】
ルックアップテーブル生成部３３は、色補正前の画素値に対する色補正後の画素値を示すルックアップテーブルを生成する。以下に、ルックアップテーブル生成の詳細について説明する。
【００３７】
まず、合計分布生成部３２が生成した合計分布に基づき、ｘｙ平面の各座標に、合計分布の分布量に基づく分布値を設定する。図６は、合計分布に基づき、ｘｙ平面上に分布値を設定した状態を示す図である。なお、合計分布は無次元の値であるため、合計分布に基づくｘｙ平面上の分布値の設定に使用するスケールは任意である。図６においては、合計分布の分布量が大きい程、分布値が小さくなる様にスケールを設定している。つまり、一般的には、確率の高いｘとｙの値が、ほぼ同じである領域の分布値は小さく、ｘとｙの差が大きい領域の分布値を大きくしている。これは、後に詳細を説明する様に、分布値に基づくエネルギー値を定義し、このエネルギー値の合計を小さくするパスを動的計画法により求めて、ルックアップテーブルとするためであり、負の値にすることは必須ではない。なお、図６は画素値の最大値が２５５である場合であり、よって、（ｘ，ｙ）＝（０，０）〜（２５５，２５５）の２５６×２５６の点について、分布値を求めている。
【００３８】
続いて、ルックアップテーブル生成部３３は、総てのｘ軸の値、図６においてはｘ＝０〜２５５それぞれに対して、１つの座標を、その分布値に基づき選択し、選択した座標のｘの値を色補正前の画素値とし、ｙの値を色補正後の画素値としてルックアップテーブルを生成する。
【００３９】
以下では、簡単のため、画素値の最大値を３とし、図６の（０，０）〜（３，３）の部分のみを用いて、各ｘの値から、座標を１つ選択する手順を、図７を使用して説明する。なお、本実施形態においては、調整係数と呼ぶパラメータを定義する。調整係数は、ｘの値が１だけ違う２つの座標に依存する値であり、座標（ｘ、α）に対する座標（ｘ＋１、β）の調整係数Ａｊα，βは、座標（ｘ、α）と座標（ｘ＋１、β）を結ぶ線の、傾き１からのずれが大きくなるほど、大きくなる値とし、本実施形態においては、
調整係数Ａｊα，β＝（β−α−１）２
とする。なお、上記調整係数に更に定数を乗じる形態であっても良い。
【００４０】
また、座標（ｘ０，ｙ０）のエネルギー値Ｅｘ０，ｙ０を、以下の通り定義する。
Ｅｘ０，ｙ０＝Ｍｉｎ（Ｅｘ０−１，ｐ＋Ｄｘ０，ｙ０＋Ａｊｐ，ｙ０）、ｆｏｒ ０≦ｐ≦３ （１）
ここで、Ｄｘ０，ｙ０は、座標（ｘ０，ｙ０）の分布値であり、Ｍｉｎは、括弧内の最小値を選択する関数である。
【００４１】
ルックアップテーブル生成部３３は、ｘ＝０の各座標のエネルギー値をまず求める。このため、始点として座標（-１，−１）に、分布値が“０”の座標を仮定する。ｘ＝−１には座標が１つだけであるため、ｘ＝０の各座標のエネルギー値は、各座標の分布値と、座標（−１，−１）に対する各座標の調整係数の和で求めることができる。図７において、各座標位置に示す数字は、上から順に、分布値、調整係数、エネルギー値、パスである。ここで、パスとは、式（１）の括弧内の値を最小とするｐの値、つまり、当該座標のエネルギー値の計算に使用した、ｘ軸で１つ手前にある座標のｙの値である。
【００４２】
続いて、ｘ＝０の各座標のエネルギー値に基づき、ｘ＝１の各座標のエネルギー値を、式（１）に基づき求める。例えば、座標（１，０）について、式（１）の括弧内の値は、ｐ＝０とすると、−６０＋１−３０＝−８９であり、ｐ＝１とすると、−３９＋４−３０＝−６５であり、ｐ＝２とすると、−４６＋９−３０＝−６７であり、ｐ＝３とすると、−２１＋１６−３０＝−３５である。よって、ｐ＝０のときの値が最小であるため、調整係数＝１であり、そのエネルギー値が−８９となり、パスは（０）となる。
【００４３】
以後、同様に、ｘ＝３まで順にエネルギー値を求める。最後に、パスを集束させるため、座標（４，４）の位置に分布値が０の座標を設け、この座標のエネルギー値と、パスを求める。最後に、ｘ＝４から、パスを逆順に辿った座標をルックアップテーブルとして記録する。つまり、図７の例においては、太線で囲った座標である（０，０）、（１，２）、（２，３）、（３，３）が選択されて、ルックアップテールに記録される。この様に、動的計画法で、最適パスを選択して補正を行う。
【００４４】
対象画像の画素値が、参照画像の画素値に対して単純にシフトしている状況、つまり、明るさのみが違うのであれば、選択した座標、つまり、ルックアップテーブルに記録する座標を結ぶ線は傾き１の直線となる。通常、カメラ間での色の差は、明るさの単純なシフトが支配的であり、よって、ルックアップテーブルに記録する座標を結ぶ個々の線が、傾き１から大きくずれることはまれとなる。調整係数は、傾き１から大きくずれたパスを選択しにくくさせるための重みであり、調整係数の値を大きくする程、傾き１の線に沿った座標が選択されることになる。なお、調整係数の使用は必須ではなく、使用しない場合には、各ｘの値について、分布値が最小である、つまり、分布量が最も大きい座標を単に選択してルックアップテーブルとする。
【００４５】
また、ルックアップテーブル生成部３３は、生成したルックアップテーブルから補正量を出力する。補正量は、ルックアップテーブルの各座標の、ｘとｙの値が等しい座標からのずれが大きくなるほど大きくなる値であり、ルックアップテーブルに含まれる各座標を（ｘｉ、ｙｉ）とすると、例えば、
補正量＝ΣＡＢＳ（ｙｉ−ｘｉ）
となる。なお、ＡＢＳは括弧内の値の絶対値を求める関数である。また、ルックアップテーブルに含まれる座標の調整係数の合計値、つまり、
補正量＝Σ（ｙｉ−ｘｉ）２
でも良い。
【００４６】
最後に、対象画像補正部３４は、ルックアップテーブルに基づき対象画像の色補正を行い、色補正後の対象画像を保存部１に保存する。なお、以後の各処理においては、色補正した対象画像を使用し、色補正前の対象画像は使用しない。よって、色補正前の対象画像については、好ましくは保存部１から消去、つまり、色補正前の対象画像を色補正後の対象画像で置き換える。色補正は、対象画像の画素値をルックアップテーブルに基づき変更することにより、例えば、図７に示すマッピングテーブルの場合、対象画像の総ての画素について、画素値０、１、２、３を、それぞれ、画素値０、２、３、３に変更することにより行う。
【００４７】
なお、式（１）において、総てのｐの値についてエネルギー値を求めて最小値を選択する形態にて説明をしたが、傾きが負となる座標については考慮しない形態であっても良い。つまり、（ｘ０，ｑ）である座標については、（ｘ０−１，ｐ）、０≦ｐ≦ｑからのエネルギー値のみを計算して、その最小値を選択する形態であって良い。これにより、パスが上下にジグザグした場合に生ずる可能性がある補正品質劣化を防ぐことができる。
【００４８】
以上、本発明は、カラーパターンボードによるものではなく、よって、屋外や屋内に係らず適用することができる。また、参照画像を撮影するカメラを固定とするのではく、補正順序に基づき、各カメラを、相対的に参照カメラ、対象カメラとすることで、１台のカメラのみを参照カメラとする場合における距離による色補正品質の劣化は生じず、全カメラ間の色のばらつきを抑制することができる。更に、対象画像の画素値を、参照画像の対応する画像の画素値のみに基づき色補正するのではなく、対応関係に基づきガウス分布を生成し、これにより、色補正を行うため、参照画像で影となっている対象物の色補正も可能である。
【００４９】
また、対応する画素ごとに生成した２次元ガウス分布から合計分布を求める際に、重みを使用し、重みを調整することで、画素値が大きく異なる組が与える影響を簡易に調整することでき、種々の環境において安定した色補正が可能になる。
【００５０】
上述した実施形態において、マッピングテーブルは、処理対象であるフレーム番号の参照画像と対象画像から生成していたが、対象カメラと参照カメラが撮影した他のフレーム番号の組も利用可能である。例えば、カメラ＃１のフレーム＃１を参照画像として、カメラ＃２のフレーム＃１の色補正を行うに当たり、カメラ＃１のフレーム＃１とカメラ＃２のフレーム＃１の対応画素のみならず、カメラ＃１のフレーム＃２とカメラ＃２のフレーム＃２の対応画素や、カメラ＃１のフレーム＃３とカメラ＃２のフレーム＃３の対応画素といった、他のフレーム番号の組の一部又は全部を利用してマッピングテーブルを生成することができる。この構成により、時間方向の対応画素もルックアップテーブル生成に利用され、よって、安定した色補正が可能になる。
【００５１】
なお、本発明による色補正装置は、上記色補正装置の各部としてコンピュータを機能させるコンピュータプログラムにより実現することができる。また、本発明により色補正方法は、コンピュータに上記色補正方法の処理を実行させるコンピュータプログラムにより実現することができる。このコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。更に、本発明は、ハードウェアのみや、ソフトウェアのみならず、それらの組合せによっても実現可能である。
【図面の簡単な説明】
【００５２】
【図１】本発明による色補正装置のブロック図である。
【図２】対応点生成部のブロック図である。
【図３】補正部のブロック図である。
【図４】マッピングテーブルを示す図である。
【図５】２次元ガウス分布部生成部及び合計分布生成部の処理を説明する図である。
【図６】合計分布に基づき、ｘｙ平面上に値を設定した状態を示す図である。
【図７】ルックアップテーブル生成の説明図である。
【図８】本発明による色補正方法の説明図である。
【図９】本発明による色補正方法のフロー図である。
【図１０】補正順序の説明図である。
【図１１】補正順序を示す図である。
【符号の説明】
【００５３】
１ 保存部
２ 対応点生成部
３ 補正部
４ 制御部
２１ フィルタ部
２２ 対応点探索部
２３ 調整部
２４ マッピングテーブル生成部
３１ ２次元ガウス分布生成部
３２ 合計分布生成部
３３ ルックアップテーブル生成部
３４ 対象画像補正部
【技術分野】
【０００１】
本発明は、複数のカメラで撮影した画像の色補正技術に関する。
【背景技術】
【０００２】
複数の異なる位置に設置したカメラで動画を撮影するマルチビューカメラシステムにおいては、個々のカメラの特性や、設置位置に対する光源の方向の影響等により、各カメラが撮影する画像の色彩は異なるものとなる。この違いを補償するため、撮影した画像の色補正が必要となり、様々な色補正の方法が提案されている（例えば、非特許文献１から４参照。）。
【０００３】
【非特許文献１】Ｎｅｅｌ Ｊｏｓｈｉ ｅｔ ａｌ．、“Ａｕｔｏｍａｔｉｃ Ｃｏｌｏｒ Ｃａｌｉｂｒａｔｉｏｎ ｆｏｒ Ｌａｒｇｅ Ｃａｍｅｒａ Ａｒｒａｙｓ”、ＵＣＳＤ ＣＳＥ Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ、ＣＳ２００５−０８２１、２００５年
【非特許文献２】Ｋｗａｎｇｈｏｏｎ Ｓｏｈｎ ｅｔ ａｌ．、“Ｈ．２６４／ＡＶＣ−ｃｏｍｐａｔｉｂｌｅ Ｍｕｌｔｉ−ｖｉｅｗ Ｖｉｄｅｏ Ｃｏｄｉｎｇ”、ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ Ｍ１２８７４、２００６年
【非特許文献３】Ｙｕｓｈａｎ Ｃｈｅｎ．、“Ｎｉ Ｌｕｍｉｎａｎｃｅ ａｎｄ Ｃｈｒｏｍｉｎａｎｃｅ Ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ Ｍｕｌｔｉ−Ｖｉｅｗ Ｖｉｄｅｏ Ｕｓｉｎｇ Ｓｉｍｐｌｉｆｉｅｄ Ｃｏｌｏｒ Ｅｒｒｏｒ Ｍｏｄｅｌ”、ＰＣＳ２００６、ｐｐ．２−１７、２００６年
【非特許文献４】Ｋｅｎｊｉ Ｙａｍａｍｏｔｏ ｅｔ ａｌ．、“Ｃｏｌｏｕｒ Ｃｏｒｒｅｃｔｉｏｎ ｆｏｒ Ｍｕｌｔｉｐｌｅ−ｃａｍｅｒａ Ｓｙｓｔｅｍ ｂｙ ｕｓｉｎｇ Ｃｏｒｒｅｓｐｏｎｄｅｎｃｅｓ”、映像情報メディア学会誌 Ｖｏｌ．６１、Ｎｏ．２、Ｐｐｐ．１〜９、２００７年
【発明の開示】
【発明が解決しようとする課題】
【０００４】
非特許文献１から３に記載の方法は、いわゆる、カラーパターンボード（Ｃｏｌｏｒ Ｐａｔｔｅｒｎ Ｂｏａｒｄ）を用いる方法である。つまり、参照画像の画素値のヒストグラムと、対象画像の画素値のヒストグラムに基づき、両画像の画素値間の変換式を求め、求めた変換式に基づき対象画像の色補正を行うものである。
【０００５】
しかしながら、カラーパターンボードを用いる方法は、光源方向により、各カメラが撮影する画像の明暗差が大きい状況等、参照画像の画素値のヒストグラムと、対象画像の画素値のヒストグラムとの相関を見出すことが難しい場合があり、色補正の精度が劣化するという問題がある。また、例えば、屋外での撮影の様に、広範囲の領域を撮影した画像からカラーパターンボードを生成することが難しいという問題もある。
【０００６】
一方、非特許文献４に記載の方法は、参照画像と対象画像の同一対象物を捉えている画素、つまり、対応する画素を探索し、対象画像の画素を、参照画像の対応する画素に基づき色補正するものであり、上述したカラーパターンボードを用いる方法による問題は生じない。
【０００７】
しかしながら、非特許文献４に記載の方法は、１つのカメラで撮影した画像を参照画像とし、残りの総てのカメラで撮影した画像を対象画像とするものであり、参照画像を撮影するカメラから離れるに従い、対象画像に対する色補正品質が劣化するという問題がある。また、位置関係によっては、対象画像には存在するが、参照画像からは隠れた位置となる対象物が発生し、この対象物の色補正を行うことができないという問題もある。
【０００８】
したがって、本発明は、上述した問題を解決する色補正装置、方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明における色補正装置によれば、
複数のカメラで撮影した動画の各画像の色補正を行う色補正装置であって、対象カメラに対して参照カメラとするカメラの組と、その順番を特定する情報である補正順序を保持する第１の手段と、参照カメラで撮影した参照画像に基づき、対象カメラで撮影した対象画像の色補正を行い、該対象画像を、色補正後の対象画像に置き換えることを、補正順序の最初の組から最後の組まで順に行うと共に、色補正による画素値の変化量に基づく値である補正量を、各組の色補正について求める第２の手段と、補正順序の最後の組の色補正の終了後、各組の補正量の合計に基づく値により、第２の手段での色補正を繰り返すか否かを判定する第３の手段とを備えており、補正順序において、各カメラは、少なくとも１回は対象カメラとされ、第１番目を除き、参照カメラはそれ以前に対象カメラとされていることを特徴とする。
【００１０】
本発明の色補正装置における他の実施形態によれば、
補正順序において、対象カメラは、次の組の参照カメラであることも好ましく、更に、隣接して配置されているカメラを、参照カメラと対象カメラの組とすることも好ましい。
【００１１】
また、本発明の色補正装置における他の実施形態によれば、
第２の手段は、対象カメラが撮影した画像と参照カメラが撮影した画像の対応する画素を判定する対応点生成手段と、前記対応する画素の組に基づき、色補正前の画素値に対する色補正後の画素値を示すルックアップテーブルを生成し、ルックアップテーブルに基づき対象画像の色補正を行う補正手段とを備えており、補正量は、色補正前の画素値と、該色補正前の画素値に対する色補正後の画素値との差に基づく値であることも好ましい。なお、対応点生成手段は、対象カメラが撮影した第１から第ｍの画像、ここでｍは１以上の整数、と、参照カメラがほぼ同時に撮影した第１から第ｍの画像の、同一番号の画像それぞれについて対応する画素を判定することも好ましい。
【００１２】
更に、本発明の色補正装置における他の実施形態によれば、
補正手段は、前記対応する画素の組の画素値を平均とし、あらかじめ定めた値を分散とする２次元ガウス分布を、各画素の組に対して生成する２次元ガウス分布生成手段と、生成した２次元ガウス分布を総和することで、又は、生成した２次元ガウス分布に、その平均の２つの値の差が大きくなる程、小さくなる重みを乗じて総和することで、合計分布を求める合計分布生成手段と、合計分布の分布量に基づきｘｙ平面上の各座標に分布値を設定し、画素値の最小値≦ｘ≦画素値の最大値、である各ｘから、分布値に基づき１つの座標を選択し、選択した座標である選択座標のｘの値を色補正前の、ｙの値を色補正後の画素値とするルックアップテーブルを生成するルックアップテーブル生成手段とを備えていることも好ましい。
【００１３】
更に、本発明の色補正装置における他の実施形態によれば、
ルックアップテーブル生成手段は、各ｘについて、分布量の一番大きい座標を選択すること、或いは、ｘの値が１だけ異なる２つの座標を結ぶ線の傾きが、傾きが１からずれる程大きくなる調整係数を定義し、分布値を、合計分布の分布量が大きい程、小さくなる値とした場合、選択座標の分布値の総和と、選択座標間の調整係数の総和との合計が一番小さくなるように各選択座標を選択することも好ましい。
【００１４】
本発明における色補正方法によれば、
複数のカメラで撮影した動画の各画像を、対象カメラに対して参照カメラとするカメラの組と、その順番を特定する情報である補正順序に基づき色補正する方法であって、補正順序において、各カメラは、少なくとも１回は対象カメラとされ、第１番目を除き、参照カメラはそれ以前に対象カメラとされており、参照カメラで撮影した参照画像に基づき、対象カメラで撮影した対象画像の色補正を行い、該対象画像を色補正後の対象画像に置き換えることを、補正順序の最初の組から最後の組まで順に行うと共に、色補正による画素値の変化量に基づく値である補正量を、各組の色補正について求める第１のステップと、第１のステップ終了後、各組の補正量の合計に基づく値により、第１のステップを更に繰り返すか否かを判定する第２のステップとを含んでいることを特徴とする。
【００１５】
本発明におけるプログラムによれば、
コンピュータを前記色補正装置として機能させることを特徴とする。
【発明の効果】
【００１６】
１つのカメラを固定的に参照カメラとするのではなく、参照カメラと対象カメラの組と、その順番を特定する補正順序をあらかじめ設けて置き、補正順序に従い各カメラが撮影した画像の色補正を行う。補正順序の第１番目を除き、参照カメラはそれ以前に対象カメラとしたものから選択し、各カメラを少なくとも１回は対象カメラとすることで、第１番目に参照カメラとした画像の色を基準として、他のカメラで撮影した画像の色補正を順次行う。ただし、色補正に直接使用する参照画像は、それぞれ異なるため、各組の色補正に対して補正量を算出しておき、その合計値に基づく値、例えば、平均値が所定値以下に集束するまで、補正順序に基づく色補正を繰り返す。
【００１７】
この構成により、カメラの配置位置に係らず全カメラが撮影した画像の色の差を小さくすることができる。本発明においては、参照画像を撮影する参照カメラを固定的とする場合に問題となる、距離による補正品質劣化は発生しない。特に、対象カメラを、次の組の参照カメラとすることで、或いは、隣接して配置されているカメラを、参照カメラと対象カメラの組とすることで、色補正品質を更に向上させることができる。
【００１８】
また、本発明は、対象画像と参照画像の対応する画素を判定して、対応する画素の組に基づき色補正を行うものであり、カラーパターンボードを用いるものではない。よって、光源位置や、明暗の差等の影響を受けることなく、種々の環境下での色補正に適用することができる。更に、画素の対応関係に基づき２次元ガウス分布を生成し、これにより、色補正を行うため、参照画像で影となっている対象物の色補正も可能である。
【発明を実施するための最良の形態】
【００１９】
本発明を実施するための最良の実施形態について、以下では図面を用いて詳細に説明する。
【００２０】
図８は、ｎ台のカメラ、カメラ＃１〜＃ｎで同時に撮影した、それぞれ、ｍ個の画像、つまり、フレームからなる動画像を表したものであり、同一フレーム番号は、ほぼ同時刻に撮影されたフレームを表している。本発明においては、色補正を行う対象画像と、色補正の基準とする参照画像は相対的である。つまり、対象画像として色補正したフレームを、後に参照画像として、他のフレームの色補正に使用する。このため、補正順序をあらかじめ定義しておく。
【００２１】
補正順序とは、色補正を行う対象画像と、その対象画像の色補正のために使用する参照画像の組と、各組の色補正の順番を、撮影したカメラで特定したものである。図１０（ａ）及び（ｂ）は、カメラの配置を示す図であり、図１１（ａ）及び（ｂ）は、それぞれ、図１０（ａ）及び（ｂ）に示すカメラ配置に対する補正順序の例を示す図である。
【００２２】
図１１（ａ）の補正順序によると、まず、カメラ＃２で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃１で撮影したフレームに基づき色補正を行う。続いて、カメラ＃３で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃２の既に色補正されたフレームに基づき色補正を行う。以後、同様に、色補正を繰り返し、カメラ＃１で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃ｎの既に色補正されたフレームに基づき色補正を行うことで、補正順序は一巡する。
【００２３】
また、図１１（ｂ）の補正順序によると、まず、カメラ＃２で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃１で撮影したフレームに基づき色補正を行う。続いて、カメラ＃３で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃２の既に色補正されたフレームに基づき色補正を行う。以後、同様に、色補正を繰り返し、カメラ＃ｎで撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃ｎ−１の既に色補正されたフレームに基づき色補正を行う。続いて、カメラ＃ｎ−１で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃ｎの既に色補正されたフレームに基づき色補正を行う。以後、同様に、色補正を繰り返し、カメラ＃１で撮影したフレームを対象画像とし、この対象画像を、隣接するカメラ＃２の既に色補正されたフレームに基づき色補正を行うことで、補正順序は一巡する。
【００２４】
図１０に示す様に、補正順序は、カメラの配置位置に依存し、以下の条件の下、あらかじめ決定しておく。１番目の条件は、補正順序の第１番目を除き、参照カメラは、それ以前に、対象カメラとしたものから選択することであり、２番目の条件は、総てのカメラを、少なくとも１回は、対象カメラとすることである。更に、図１１に示す様に、対象カメラとなったカメラを、次の参照カメラとすることは好ましい態様である。また、対象カメラと参照カメラ、それぞれの、配置位置は近い程好ましく、図１０及び図１１に示す様に、隣接して配置されているカメラを、参照カメラと対象カメラの組とすることが望ましい。
【００２５】
図９は、本発明による色補正方法のフロー図である。まず、第１番目のフレーム（Ｓ９１）を色補正対象とし、補正順序の一番目の参照画像と対象画像の組を選択する（Ｓ９２）。つまり、図１１（ａ）の補正順序を例にすると、参照画像であるカメラ＃１のフレーム＃１と、対象画像であるカメラ＃２のフレーム＃１の組を選択する。そして、対象画像を参照画像に基づき色補正する（Ｓ９３）。また、このとき、併せて補正量を算出して記録しておく（Ｓ９４）。なお、色補正の具体的な形態及び補正量の算出については後述する。
【００２６】
処理した組が、補正順序の最後の組でない場合（Ｓ９５）には、補正順序に従い次の参照画像と対象画像の組を選択（Ｓ９６）して、以後、同様に色補正と、補正量の記録を行う。補正順序の最後の組に対する処理が終了した場合（Ｓ９５）、図１１（ａ）の補正順序を例にすると、対象画像であるカメラ＃１のフレーム＃１を、参照画像であるカメラ＃ｎのフレーム＃１に基づき色補正した後、補正量の平均値と閾値との比較を行う（Ｓ９７）。なお、補正量の平均値は、各組の補正量の合計値を補正順序の組数で除した値である。補正量の平均値が閾値より大きい場合には、各カメラが撮影した第１番目のフレームの補正順序に基づく色補正を、補正量の平均値が閾値以下となるまで繰り返し行い、補正量の平均値が閾値以下となることにより、第１番目のフレームの色補正が終了する。その後、第２〜第ｍ番目のフレームに対しても、補正順序に従い同じ処理を行う（Ｓ９８及びＳ９９）。
【００２７】
図１は、本発明による色補正装置のブロック図である。図１によると色補正装置は、保存部１と、対応点生成部２と、補正部３と、制御部４とを備えている。保存部１は、複数のカメラ＃１〜＃ｎが撮影した動画像を構成するｍ個の画像、つまりフレームを、それぞれ、保存している。制御部４は、補正順序を保持しており、補正順序に従い、保存部１が保存する各画像から、対象画像と参照画像の組を対応点生成部２に入力させる。また、制御部４は、補正部３が対象画像を、参照画像に基づき色補正した際に出力する補正量を記録し、補正順序が一巡した段階で、補正量の平均値を計算して、あらかじめ設定されている閾値と比較する。図９のフロー図で説明した様に、制御部４は、補正量の平均値と閾値との比較結果に応じて、再度同じ番号のフレームの補正処理を行うか、次の番号のフレームの補正処理を行うかを決定し、対応点生成部２に入力させるフレーム、つまり、対象及び参照画像の制御を行う。
【００２８】
図２は、対応点生成部２のブロック図である。図２によると、対応点生成部２は、フィルタ部２１と、対応点探索部２２と、調整部２３と、マッピングテーブル生成部２４とを備えている。フィルタ部２１は、対象画像と参照画像、それぞれに、ガウスフィルタによるフィルタリングを数回適用する。本処理により、色成分の空間方向の変化が滑らかになり、後段での対応点抽出の精度、特に、エッジ領域における対応点抽出の精度が向上する。
【００２９】
対応点探索部２２は、例えば、ＳＩＦＴ法（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｍ）等により、対象画像と参照画像の対応する画素をそれぞれ探索し、対応する画素の組を出力する。
【００３０】
調整部２３は、対応点探索部２２が探索した、対応する画素の組のうち、カメラのパラメータ等から明らかに誤りと判定できる画素の組を削除する。例えば、参照画像及び対象画像を撮影した両カメラの画角と方向等から、参照画像と対象画像の画素の位置が、ほぼ数十画素程度のずれしかないと判定できる場合において、対応点探索部２２が、対象画像の右上の画素と、参照画像の左下の画素が対応すると出力した場合には、この出力は誤りと判断でき、この対応関係を調整部２３は除去する。
【００３１】
調整部２３が出力する調整後の対象画像の画素と参照画像の画素との対応関係に基づき、マッピングテーブル生成部２４は、赤、緑、青の色成分別に、参照画像の画素の画素値と、その参照画像の画素に対応する対象画像の画素の画素値を示す表である、マッピングテーブルを出力する。図４は、ある１つの色成分に対するマッピングテーブルを示す図である。図４によると、対応する参照画像と対象画像の画素の組がｋ個あり、例えば、参照画像のある画素の画素値が６０であり、その画素に対応する対象画像の画素の画素値が４０であることを、マッピングテーブルは示している。
【００３２】
図３は、補正部３のブロック図である。図３によると、補正部３は、２次元ガウス分布生成部３１と、合計分布生成部３２と、ルックアップテーブル生成部３３と、対象画像補正部３４とを備えている。
【００３３】
２次元ガウス分布生成部３１は、マッピングテーブルの画素の組それぞれに対して、その組の画素値を平均とし、あらかじめ決定しておく値を分散とする２次元ガウス分布を生成する。なお、以下の説明においては、参照画像をｙ軸、対象画像をｘ軸として２次元ガウス分布を生成する形態にて説明を行うが、参照画像をｘ軸、対象画像をｙ軸として２次元ガウス分布を生成しても良い。例えば、図５に示す様に、図４に示す第１番目〜第ｋ番目の画素の組を有するマッピングテーブルに対して、２次元ガウス分布Ｇ１〜Ｇｋを生成する。ここで、例えば、Ｇ１の平均は、（ｘ，ｙ）＝（４０，６０）である。なお、分散は、本発明による色補正を種々の画像に対し適用することであらかじめ実験的に求めておく。
【００３４】
合計分布生成部３２は、２次元ガウス分布生成部３１が生成した、２次元ガウス分布それぞれの重みを求め、各２次元ガウス分布とその重みとの積の総和である合計分布を求める。例えば、図５に示す様に重みを設定した場合、合計分布は、
（２３５Ｇ１＋２４０Ｇ２＋１７５Ｇ３＋・・・＋２５１Ｇｋ）／２５５
となる。重みは必須ではないが、設ける場合には、参照画像と対象画像の画素値の差が大きい程、小さくなる値とする。図５においては、画素値の最大値を２５５とし、
重み＝（２５５−｜（参照画像の画素値）−（対象画像の画素値）｜）／２５５
で求めている。
【００３５】
参照画像と対象画像の画素値の差が大きい程、小さくなる重みを使用することで、参照画像の画素値に対して、対象画像の画素値が大きくずれている画素の組による色補正への影響が小さくなる、つまり、重みを調整することで、画素値が大きく乖離している画素の組が、色補正に与える影響を調整することができる。なお、重みを設けない場合には、合計分布は、各２次元ガウス分布の単純和による求める。
【００３６】
ルックアップテーブル生成部３３は、色補正前の画素値に対する色補正後の画素値を示すルックアップテーブルを生成する。以下に、ルックアップテーブル生成の詳細について説明する。
【００３７】
まず、合計分布生成部３２が生成した合計分布に基づき、ｘｙ平面の各座標に、合計分布の分布量に基づく分布値を設定する。図６は、合計分布に基づき、ｘｙ平面上に分布値を設定した状態を示す図である。なお、合計分布は無次元の値であるため、合計分布に基づくｘｙ平面上の分布値の設定に使用するスケールは任意である。図６においては、合計分布の分布量が大きい程、分布値が小さくなる様にスケールを設定している。つまり、一般的には、確率の高いｘとｙの値が、ほぼ同じである領域の分布値は小さく、ｘとｙの差が大きい領域の分布値を大きくしている。これは、後に詳細を説明する様に、分布値に基づくエネルギー値を定義し、このエネルギー値の合計を小さくするパスを動的計画法により求めて、ルックアップテーブルとするためであり、負の値にすることは必須ではない。なお、図６は画素値の最大値が２５５である場合であり、よって、（ｘ，ｙ）＝（０，０）〜（２５５，２５５）の２５６×２５６の点について、分布値を求めている。
【００３８】
続いて、ルックアップテーブル生成部３３は、総てのｘ軸の値、図６においてはｘ＝０〜２５５それぞれに対して、１つの座標を、その分布値に基づき選択し、選択した座標のｘの値を色補正前の画素値とし、ｙの値を色補正後の画素値としてルックアップテーブルを生成する。
【００３９】
以下では、簡単のため、画素値の最大値を３とし、図６の（０，０）〜（３，３）の部分のみを用いて、各ｘの値から、座標を１つ選択する手順を、図７を使用して説明する。なお、本実施形態においては、調整係数と呼ぶパラメータを定義する。調整係数は、ｘの値が１だけ違う２つの座標に依存する値であり、座標（ｘ、α）に対する座標（ｘ＋１、β）の調整係数Ａｊα，βは、座標（ｘ、α）と座標（ｘ＋１、β）を結ぶ線の、傾き１からのずれが大きくなるほど、大きくなる値とし、本実施形態においては、
調整係数Ａｊα，β＝（β−α−１）２
とする。なお、上記調整係数に更に定数を乗じる形態であっても良い。
【００４０】
また、座標（ｘ０，ｙ０）のエネルギー値Ｅｘ０，ｙ０を、以下の通り定義する。
Ｅｘ０，ｙ０＝Ｍｉｎ（Ｅｘ０−１，ｐ＋Ｄｘ０，ｙ０＋Ａｊｐ，ｙ０）、ｆｏｒ ０≦ｐ≦３ （１）
ここで、Ｄｘ０，ｙ０は、座標（ｘ０，ｙ０）の分布値であり、Ｍｉｎは、括弧内の最小値を選択する関数である。
【００４１】
ルックアップテーブル生成部３３は、ｘ＝０の各座標のエネルギー値をまず求める。このため、始点として座標（-１，−１）に、分布値が“０”の座標を仮定する。ｘ＝−１には座標が１つだけであるため、ｘ＝０の各座標のエネルギー値は、各座標の分布値と、座標（−１，−１）に対する各座標の調整係数の和で求めることができる。図７において、各座標位置に示す数字は、上から順に、分布値、調整係数、エネルギー値、パスである。ここで、パスとは、式（１）の括弧内の値を最小とするｐの値、つまり、当該座標のエネルギー値の計算に使用した、ｘ軸で１つ手前にある座標のｙの値である。
【００４２】
続いて、ｘ＝０の各座標のエネルギー値に基づき、ｘ＝１の各座標のエネルギー値を、式（１）に基づき求める。例えば、座標（１，０）について、式（１）の括弧内の値は、ｐ＝０とすると、−６０＋１−３０＝−８９であり、ｐ＝１とすると、−３９＋４−３０＝−６５であり、ｐ＝２とすると、−４６＋９−３０＝−６７であり、ｐ＝３とすると、−２１＋１６−３０＝−３５である。よって、ｐ＝０のときの値が最小であるため、調整係数＝１であり、そのエネルギー値が−８９となり、パスは（０）となる。
【００４３】
以後、同様に、ｘ＝３まで順にエネルギー値を求める。最後に、パスを集束させるため、座標（４，４）の位置に分布値が０の座標を設け、この座標のエネルギー値と、パスを求める。最後に、ｘ＝４から、パスを逆順に辿った座標をルックアップテーブルとして記録する。つまり、図７の例においては、太線で囲った座標である（０，０）、（１，２）、（２，３）、（３，３）が選択されて、ルックアップテールに記録される。この様に、動的計画法で、最適パスを選択して補正を行う。
【００４４】
対象画像の画素値が、参照画像の画素値に対して単純にシフトしている状況、つまり、明るさのみが違うのであれば、選択した座標、つまり、ルックアップテーブルに記録する座標を結ぶ線は傾き１の直線となる。通常、カメラ間での色の差は、明るさの単純なシフトが支配的であり、よって、ルックアップテーブルに記録する座標を結ぶ個々の線が、傾き１から大きくずれることはまれとなる。調整係数は、傾き１から大きくずれたパスを選択しにくくさせるための重みであり、調整係数の値を大きくする程、傾き１の線に沿った座標が選択されることになる。なお、調整係数の使用は必須ではなく、使用しない場合には、各ｘの値について、分布値が最小である、つまり、分布量が最も大きい座標を単に選択してルックアップテーブルとする。
【００４５】
また、ルックアップテーブル生成部３３は、生成したルックアップテーブルから補正量を出力する。補正量は、ルックアップテーブルの各座標の、ｘとｙの値が等しい座標からのずれが大きくなるほど大きくなる値であり、ルックアップテーブルに含まれる各座標を（ｘｉ、ｙｉ）とすると、例えば、
補正量＝ΣＡＢＳ（ｙｉ−ｘｉ）
となる。なお、ＡＢＳは括弧内の値の絶対値を求める関数である。また、ルックアップテーブルに含まれる座標の調整係数の合計値、つまり、
補正量＝Σ（ｙｉ−ｘｉ）２
でも良い。
【００４６】
最後に、対象画像補正部３４は、ルックアップテーブルに基づき対象画像の色補正を行い、色補正後の対象画像を保存部１に保存する。なお、以後の各処理においては、色補正した対象画像を使用し、色補正前の対象画像は使用しない。よって、色補正前の対象画像については、好ましくは保存部１から消去、つまり、色補正前の対象画像を色補正後の対象画像で置き換える。色補正は、対象画像の画素値をルックアップテーブルに基づき変更することにより、例えば、図７に示すマッピングテーブルの場合、対象画像の総ての画素について、画素値０、１、２、３を、それぞれ、画素値０、２、３、３に変更することにより行う。
【００４７】
なお、式（１）において、総てのｐの値についてエネルギー値を求めて最小値を選択する形態にて説明をしたが、傾きが負となる座標については考慮しない形態であっても良い。つまり、（ｘ０，ｑ）である座標については、（ｘ０−１，ｐ）、０≦ｐ≦ｑからのエネルギー値のみを計算して、その最小値を選択する形態であって良い。これにより、パスが上下にジグザグした場合に生ずる可能性がある補正品質劣化を防ぐことができる。
【００４８】
以上、本発明は、カラーパターンボードによるものではなく、よって、屋外や屋内に係らず適用することができる。また、参照画像を撮影するカメラを固定とするのではく、補正順序に基づき、各カメラを、相対的に参照カメラ、対象カメラとすることで、１台のカメラのみを参照カメラとする場合における距離による色補正品質の劣化は生じず、全カメラ間の色のばらつきを抑制することができる。更に、対象画像の画素値を、参照画像の対応する画像の画素値のみに基づき色補正するのではなく、対応関係に基づきガウス分布を生成し、これにより、色補正を行うため、参照画像で影となっている対象物の色補正も可能である。
【００４９】
また、対応する画素ごとに生成した２次元ガウス分布から合計分布を求める際に、重みを使用し、重みを調整することで、画素値が大きく異なる組が与える影響を簡易に調整することでき、種々の環境において安定した色補正が可能になる。
【００５０】
上述した実施形態において、マッピングテーブルは、処理対象であるフレーム番号の参照画像と対象画像から生成していたが、対象カメラと参照カメラが撮影した他のフレーム番号の組も利用可能である。例えば、カメラ＃１のフレーム＃１を参照画像として、カメラ＃２のフレーム＃１の色補正を行うに当たり、カメラ＃１のフレーム＃１とカメラ＃２のフレーム＃１の対応画素のみならず、カメラ＃１のフレーム＃２とカメラ＃２のフレーム＃２の対応画素や、カメラ＃１のフレーム＃３とカメラ＃２のフレーム＃３の対応画素といった、他のフレーム番号の組の一部又は全部を利用してマッピングテーブルを生成することができる。この構成により、時間方向の対応画素もルックアップテーブル生成に利用され、よって、安定した色補正が可能になる。
【００５１】
なお、本発明による色補正装置は、上記色補正装置の各部としてコンピュータを機能させるコンピュータプログラムにより実現することができる。また、本発明により色補正方法は、コンピュータに上記色補正方法の処理を実行させるコンピュータプログラムにより実現することができる。このコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。更に、本発明は、ハードウェアのみや、ソフトウェアのみならず、それらの組合せによっても実現可能である。
【図面の簡単な説明】
【００５２】
【図１】本発明による色補正装置のブロック図である。
【図２】対応点生成部のブロック図である。
【図３】補正部のブロック図である。
【図４】マッピングテーブルを示す図である。
【図５】２次元ガウス分布部生成部及び合計分布生成部の処理を説明する図である。
【図６】合計分布に基づき、ｘｙ平面上に値を設定した状態を示す図である。
【図７】ルックアップテーブル生成の説明図である。
【図８】本発明による色補正方法の説明図である。
【図９】本発明による色補正方法のフロー図である。
【図１０】補正順序の説明図である。
【図１１】補正順序を示す図である。
【符号の説明】
【００５３】
１ 保存部
２ 対応点生成部
３ 補正部
４ 制御部
２１ フィルタ部
２２ 対応点探索部
２３ 調整部
２４ マッピングテーブル生成部
３１ ２次元ガウス分布生成部
３２ 合計分布生成部
３３ ルックアップテーブル生成部
３４ 対象画像補正部
【特許請求の範囲】
【請求項１】
複数のカメラで撮影した動画の各画像の色補正を行う色補正装置であって、
対象カメラに対して参照カメラとするカメラの組と、その順番を特定する情報である補正順序を保持する第１の手段と、
参照カメラで撮影した参照画像に基づき、対象カメラで撮影した対象画像の色補正を行い、該対象画像を、色補正後の対象画像に置き換えることを、補正順序の最初の組から最後の組まで順に行うと共に、色補正による画素値の変化量に基づく値である補正量を、各組の色補正について求める第２の手段と、
補正順序の最後の組の色補正の終了後、各組の補正量の合計に基づく値により、第２の手段での色補正を繰り返すか否かを判定する第３の手段と、
を備えており、
補正順序において、各カメラは、少なくとも１回は対象カメラとされ、第１番目を除き、参照カメラはそれ以前に対象カメラとされている、
色補正装置。
【請求項２】
補正順序において、対象カメラは、次の組の参照カメラである請求項１に記載の色補正装置
【請求項３】
隣接して配置されているカメラを、参照カメラと対象カメラの組とする請求項１又は２に記載の色補正装置。
【請求項４】
第２の手段は、
対象カメラが撮影した画像と参照カメラが撮影した画像の対応する画素を判定する対応点生成手段と、
前記対応する画素の組に基づき、色補正前の画素値に対する色補正後の画素値を示すルックアップテーブルを生成し、ルックアップテーブルに基づき対象画像の色補正を行う補正手段と、
を備えており、
補正量は、色補正前の画素値と、該色補正前の画素値に対する色補正後の画素値との差に基づく値である、請求項１から３のいずれか１項に記載の色補正装置。
【請求項５】
対応点生成手段は、対象カメラが撮影した第１から第ｍの画像、ここでｍは１以上の整数、と、参照カメラがほぼ同時に撮影した第１から第ｍの画像の、同一番号の画像それぞれについて対応する画素を判定する、
請求項４に記載の色補正装置。
【請求項６】
補正手段は、
前記対応する画素の組の画素値を平均とし、あらかじめ定めた値を分散とする２次元ガウス分布を、各画素の組に対して生成する２次元ガウス分布生成手段と、
生成した２次元ガウス分布を総和することで、又は、生成した２次元ガウス分布に、その平均の２つの値の差が大きくなる程、小さくなる重みを乗じて総和することで、合計分布を求める合計分布生成手段と、
合計分布の分布量に基づきｘｙ平面上の各座標に分布値を設定し、画素値の最小値≦ｘ≦画素値の最大値、である各ｘから、分布値に基づき１つの座標を選択し、選択した座標である選択座標のｘの値を色補正前の、ｙの値を色補正後の画素値とするルックアップテーブルを生成するルックアップテーブル生成手段と、
を備えている請求項４又は５に記載の色補正装置。
【請求項７】
ルックアップテーブル生成手段は、
分布値を、合計分布の分布量が大きい程、小さくなる値とした場合、選択座標の分布値の総和と、選択座標間の調整係数の総和との合計が一番小さくなるように各選択座標を選択し、
調整係数は、ｘの値が１だけ異なる２つの座標を結ぶ線の傾きが、傾きが１からずれる程大きくなる値である、
請求項６に記載の色補正装置。
【請求項８】
ルックアップテーブル生成手段は、
各ｘから、分布量の一番大きい座標を選択する、
請求項６に記載の色補正装置。
【請求項９】
複数のカメラで撮影した動画の各画像を、対象カメラに対して参照カメラとするカメラの組と、その順番を特定する情報である補正順序に基づき色補正する方法であって、
補正順序において、各カメラは、少なくとも１回は対象カメラとされ、第１番目を除き、参照カメラはそれ以前に対象カメラとされており、
参照カメラで撮影した参照画像に基づき、対象カメラで撮影した対象画像の色補正を行い、該対象画像を色補正後の対象画像に置き換えることを、補正順序の最初の組から最後の組まで順に行うと共に、色補正による画素値の変化量に基づく値である補正量を、各組の色補正について求める第１のステップと、
第１のステップ終了後、各組の補正量の合計に基づく値により、第１のステップを更に繰り返すか否かを判定する第２のステップと、
を含んでいる色補正方法。
【請求項１０】
請求項１から８のいずれか１項に記載の色補正装置としてコンピュータを機能させるプログラム。
【請求項１】
複数のカメラで撮影した動画の各画像の色補正を行う色補正装置であって、
対象カメラに対して参照カメラとするカメラの組と、その順番を特定する情報である補正順序を保持する第１の手段と、
参照カメラで撮影した参照画像に基づき、対象カメラで撮影した対象画像の色補正を行い、該対象画像を、色補正後の対象画像に置き換えることを、補正順序の最初の組から最後の組まで順に行うと共に、色補正による画素値の変化量に基づく値である補正量を、各組の色補正について求める第２の手段と、
補正順序の最後の組の色補正の終了後、各組の補正量の合計に基づく値により、第２の手段での色補正を繰り返すか否かを判定する第３の手段と、
を備えており、
補正順序において、各カメラは、少なくとも１回は対象カメラとされ、第１番目を除き、参照カメラはそれ以前に対象カメラとされている、
色補正装置。
【請求項２】
補正順序において、対象カメラは、次の組の参照カメラである請求項１に記載の色補正装置
【請求項３】
隣接して配置されているカメラを、参照カメラと対象カメラの組とする請求項１又は２に記載の色補正装置。
【請求項４】
第２の手段は、
対象カメラが撮影した画像と参照カメラが撮影した画像の対応する画素を判定する対応点生成手段と、
前記対応する画素の組に基づき、色補正前の画素値に対する色補正後の画素値を示すルックアップテーブルを生成し、ルックアップテーブルに基づき対象画像の色補正を行う補正手段と、
を備えており、
補正量は、色補正前の画素値と、該色補正前の画素値に対する色補正後の画素値との差に基づく値である、請求項１から３のいずれか１項に記載の色補正装置。
【請求項５】
対応点生成手段は、対象カメラが撮影した第１から第ｍの画像、ここでｍは１以上の整数、と、参照カメラがほぼ同時に撮影した第１から第ｍの画像の、同一番号の画像それぞれについて対応する画素を判定する、
請求項４に記載の色補正装置。
【請求項６】
補正手段は、
前記対応する画素の組の画素値を平均とし、あらかじめ定めた値を分散とする２次元ガウス分布を、各画素の組に対して生成する２次元ガウス分布生成手段と、
生成した２次元ガウス分布を総和することで、又は、生成した２次元ガウス分布に、その平均の２つの値の差が大きくなる程、小さくなる重みを乗じて総和することで、合計分布を求める合計分布生成手段と、
合計分布の分布量に基づきｘｙ平面上の各座標に分布値を設定し、画素値の最小値≦ｘ≦画素値の最大値、である各ｘから、分布値に基づき１つの座標を選択し、選択した座標である選択座標のｘの値を色補正前の、ｙの値を色補正後の画素値とするルックアップテーブルを生成するルックアップテーブル生成手段と、
を備えている請求項４又は５に記載の色補正装置。
【請求項７】
ルックアップテーブル生成手段は、
分布値を、合計分布の分布量が大きい程、小さくなる値とした場合、選択座標の分布値の総和と、選択座標間の調整係数の総和との合計が一番小さくなるように各選択座標を選択し、
調整係数は、ｘの値が１だけ異なる２つの座標を結ぶ線の傾きが、傾きが１からずれる程大きくなる値である、
請求項６に記載の色補正装置。
【請求項８】
ルックアップテーブル生成手段は、
各ｘから、分布量の一番大きい座標を選択する、
請求項６に記載の色補正装置。
【請求項９】
複数のカメラで撮影した動画の各画像を、対象カメラに対して参照カメラとするカメラの組と、その順番を特定する情報である補正順序に基づき色補正する方法であって、
補正順序において、各カメラは、少なくとも１回は対象カメラとされ、第１番目を除き、参照カメラはそれ以前に対象カメラとされており、
参照カメラで撮影した参照画像に基づき、対象カメラで撮影した対象画像の色補正を行い、該対象画像を色補正後の対象画像に置き換えることを、補正順序の最初の組から最後の組まで順に行うと共に、色補正による画素値の変化量に基づく値である補正量を、各組の色補正について求める第１のステップと、
第１のステップ終了後、各組の補正量の合計に基づく値により、第１のステップを更に繰り返すか否かを判定する第２のステップと、
を含んでいる色補正方法。
【請求項１０】
請求項１から８のいずれか１項に記載の色補正装置としてコンピュータを機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００９−４９７５９（Ｐ２００９−４９７５９Ａ）
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願番号】特願２００７−２１４７０２（Ｐ２００７−２１４７０２）
【出願日】平成１９年８月２１日（２００７．８．２１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２１年３月５日（２００９．３．５）
【国際特許分類】
【出願日】平成１９年８月２１日（２００７．８．２１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]