３Ｄ自動色補正装置とその色補正方法と色補正プログラム
【課題】カラーチャート等の参照板を用いなくても、低コストかつ安定して、映像から自動的に色補正パラメータを算出し、左右映像間の色補正を遂行することができる３Ｄ映像のための自動色補正装置を提供することを目的とする。
【解決手段】撮影して取得した二つの映像間において色補正を遂行する色補正装置において、取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出部と、色ヒストグラム算出部が算出した色ヒストグラムから確率密度関数を各々算出する確率密度関数算出部と、確率密度算出部が算出した各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出部とを備え、色補正パラメータ算出部が算出した色補正パラメータを、取得した二つの映像の少なくともいずれか一方に適用して色補正する色補正装置とする。
【解決手段】撮影して取得した二つの映像間において色補正を遂行する色補正装置において、取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出部と、色ヒストグラム算出部が算出した色ヒストグラムから確率密度関数を各々算出する確率密度関数算出部と、確率密度算出部が算出した各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出部とを備え、色補正パラメータ算出部が算出した色補正パラメータを、取得した二つの映像の少なくともいずれか一方に適用して色補正する色補正装置とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、比較的安価で容易に３Ｄの色補正を実現する３Ｄ自動色補正装置とその色補正方法等に関する。
【背景技術】
【０００２】
３Ｄ映像の撮影は、２台のカメラによる人間の目のシミュレートであり、２台のカメラの明るさ・色を揃えないと，見やすく安全な３Ｄ映像にはならない。さらには、２台のカメラを単に横に並べて撮影したのでは人間が目で見るのと同じにはならない。
【０００３】
また、人間の目の間隔は平均的な大人で約６．５ｃｍであり、それに対応する視差を実現するために、３Ｄリグと称される特別な撮影器具を使うことが知られている。３Ｄリグは、ハーフミラーを使用しているので、必然的に反射映像と透過映像とで明るさ・色が違ってしまう。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−０１４００８号公報
【特許文献２】特開２００１−０９２９５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カラーチャート（色票）を用いて３Ｄ映像の色補正を遂行する場合には、３Ｄ映像データの先頭フレームにおいて、予めカラーチャートを撮影しておく必要がある。しかし、現実の撮影シーン等においては、３Ｄ映像データの先頭フレームにおいて予めカラーチャートを撮影することが困難な場面も少なくない。また、例えば３Ｄ映像の撮影途中において、再度のキャリブレーションが必要となる場合も想定される。
【０００６】
一方、取り込んだ映像中の物体の特徴点を抽出して、その特徴点の色レベルを対応する二つの映像間で対応付けすることにより、３Ｄ映像の自動色補正を遂行する色補正方法がカラーチャートを利用しない色補正として知られている。しかしこのような色補正方法においては、映像からの特徴点の抽出処理や、抽出した特徴点同士の対応付けに要する処理量が比較的大きく、処理時間や処理コストが増大するものとなる。
【０００７】
本発明はこのような問題点に鑑みなされたものであり、カラーチャート等の参照板を用いなくても、低コストかつ安定して、映像から自動的に色補正パラメータを算出し、左右映像間の色補正を遂行することができる３Ｄ映像のための自動色補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の色補正装置は、撮影して取得した二つの映像間において色補正を遂行する色補正装置において、取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出部と、色ヒストグラム算出部が算出した色ヒストグラムから確率密度関数を各々算出する確率密度関数算出部と、確率密度算出部が算出した各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出部とを備え、色補正パラメータ算出部が算出した色補正パラメータを、取得した二つの映像の少なくともいずれか一方に適用して色補正することを特徴とする。
【０００９】
また、本発明の色補正装置は、好ましくは二つの映像が、３Ｄ映像用の右画像と左画像とであることを特徴とする。
【００１０】
また、本発明の色補正装置は、さらに好ましくはレベル制約によるホワイトバランスを維持した色補正パラメータを算出するか、または、時間方向の滑らかさの制約による平滑化作用を伴った色補正パラメータを算出するか、の少なくともいずれかの色補正パラメータを算出することを特徴とする。
【００１１】
また、本発明の色補正装置は、さらに好ましくは色補正パラメータ算出部が、取得した二つの映像の各確率密度関数の差が最小となる色補正パラメータを算出することを特徴とする。ここで、各確率密度関数の差を最小とすることについて、各確率密度関数の差の二乗が最小となるように計算するのが最小二乗法（コスト関数の一つ）であり、さらに好ましくは各確率密度関数の差のロバスト推定関数（コスト関数の他の一つ）が最小となるように色補正パラメータを計算する。
【００１２】
また、本発明の色補正方法は、上述のいずれかに記載の色補正装置における色補正方法であって、取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出工程と、色ヒストグラム算出工程で算出された色ヒストグラムから確率密度関数を各々算出する確率密度関数算出工程と、確率密度算出工程で算出された各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出工程と、色補正パラメータ算出工程で算出された色補正パラメータを、取得した二つの映像の少なくともいずれか一方に適用して色補正する工程とを有することを特徴とする。
【００１３】
また、本発明の色補正方法は、好ましくは二つの映像が、３Ｄ映像用の右画像と左画像とであることを特徴とする。
【００１４】
また、本発明の色補正方法は、さらに好ましくはレベル制約によるホワイトバランスを維持した色補正パラメータを算出するか、または、時間方向の滑らかさの制約による平滑化作用を伴った色補正パラメータを算出するか、の少なくともいずれかの色補正パラメータを算出することを特徴とする。
【００１５】
また、本発明の色補正方法は、さらに好ましくは色補正パラメータ算出工程において、取得した二つの映像の各確率密度関数の差が最小となる色補正パラメータを算出することを特徴とする。
【００１６】
また、本発明のプログラムは、上述のいずれかに記載の色補正方法の各工程をコンピュータに順次遂行させることを特徴とする。
【００１７】
また、本発明の記憶媒体は、上述のプログラムが格納されたコンピュータが読み取り可能な記憶媒体であることを特徴とする。
【発明の効果】
【００１８】
カラーチャート等の参照板を用いなくても、低コストかつ安定して、映像から自動的に色補正パラメータを算出し、左右映像間の色補正を遂行することができる３Ｄ映像のための自動色補正装置を提供できる。
【図面の簡単な説明】
【００１９】
【図１】実施形態で提案する自動色補正装置の構成概要を説明するブロック図である。
【図２】自動色補正装置の色補正パラメータ算出に関する処理フローを説明する図である。
【図３】（ａ）は３Ｄリグ一例を示す図であり、（ｂ）はシミュレーションに用いた３Ｄ画像の例であり、（ｃ）は左右画像の画素値（Ｇ）の確率密度関数を説明する図である。
【図４】σＭ＝１としたときの、ロバスト推定関数を二乗関数とともに説明する図である。
【図５】（ａ）はシミュレーションに用いた擬似的な３Ｄ画像例をサイドバイサイド表示した図であり、（ｂ）は左右画像の画素値（Ｒ）の確率密度関数を説明する図であり、（ｃ）はシフト量に対する推定した色補正パラメータによる二乗誤差画像のピークＳＮ比を説明する図である。
【図６】（ａ）は左画像の輝度を変換した擬似３Ｄ画像例であり、（ｂ）は白レベル領域における画素値の２次元色差空間表示（レベル制約付き推定の場合）であり、（ｃ）はレベル制約なしの推定の場合について説明する図である。
【図７】（ａ）は３Ｄ映像中の１フレームのサイドバイサイド表示を説明する図であり、（ｂ）は、３Ｄ映像のフレーム番号に対する色補正パラメータ（Ｒ）の推定結果を説明する図である。
【図８】自動色補正装置が色補正パラメータを算出する処理工程について概念的に説明する図である。
【発明を実施するための形態】
【００２０】
実施形態で説明する色補正装置は、典型的には３Ｄ映像のための自動色補正装置である。この自動色補正装置は、カラーチャート（色票）のような特別な参照板を用いることなく、取得した映像のみから自動的に色補正パラメータを低コストで安定的に推定する。
【００２１】
この自動色補正装置は、推定した色補正パラメータを用いて３Ｄ映像の左右映像間の色補正を遂行する。従来、カラーチャート等の既知の参照板を撮影して、その色レベルを利用して色補正のための各種パラメータを計算する方法が知られている。各種パラメータには、例えばＲＧＢホワイト／ブラック／ガンマレベル等がある。
【００２２】
また、従来カラーチャートを用いない場合には、映像中の物体の特徴的な点（例えばコーナー）を抽出して、その特徴的な点の色レベルを左右映像間で対応付けすることにより色補正のための各種パラメータを計算する方法が知られている。
【００２３】
本実施形態においては、取得した映像中の画素値のヒストグラムから核関数により確率密度関数を計算し、二つの画像間の確率密度関数の差が最小となるように色補正パラメータを推定する色補正装置を提案する。二つの画像は、典型的には３Ｄ映像用の左画像と右画像とである。従って、二つの画像には、視差等に起因する多少のオクル−ジョン（隠れ）が存在してもよい。
【００２４】
この自動色補正装置は、映像中の画素値のヒストグラムを核関数により確率密度関数として表現することにより、理論的に厳密な扱いが可能となり、各種統計的な手法が適用可能となる。
【００２５】
実施形態では、観測誤差や色空間におけるレベル飽和によるガマット（色域）誤差、さらには、３Ｄ映像における左右の映像の視差によるオクルージョンの影響を軽減するための”ロバストＭ推定法（総称である「ロバスト推定」に対して、ロバストＭ推定法を単に「Ｍ推定法」と称することもある）”を適用する。また、出願人は、自動色補正装置の効果について、画像シミュレーションにより実験的に確認した。
【００２６】
また、自動色補正装置における色補正パラメータの推定処理は、一度映像からヒストグラムを計算した後は、すべてヒストグラム及び確率密度関数上で演算処理が行われる。このため、画像に立ち返って、画像とヒストグラム間との変換処理を繰り返す必要がないので、色補正処理に要するコストは極めて軽減されるものとなる。
【００２７】
画像の濃淡処理に画素値のヒストグラムを用いる方法は従来知られているが、実施形態の自動色補正装置においては、ヒストグラムを核関数により確率密度関数として表現することにより、理論的に厳密な扱いが可能となり、各種統計的な手法が適用可能になることから、様々な誤差等による問題に対応できることが期待できる。
【００２８】
また、レベル制約条件を課すことにより、カラーバランスを厳密に保った色補正処理を行うことが可能となる。また、時間方向の滑らかさの制約を課すことにより、様々な誤差等による影響をも軽減し、カラーバランスも厳密に保つとともに、時系列における安定な推定も可能となります。この自動色補正装置は、上述したような、発展性・拡張性を有するものである。
【００２９】
自動色補正装置は、映像から画素値のヒストグラムを計算して、それを核関数により確率密度関数として表現する工程と、それを用いて色補正のための各種パラメータを計算する工程と、色補正のための各種パラメータを用いて色補正等処理を遂行する工程とを行う。
【００３０】
自動色補正装置は、映像の画素値のヒストグラムから、核関数により確率密度関数として表現することにより、解析的な関数として数値の演算処理として扱うことができる。すなわち、自動色補正装置は、理論的にも数値計算的にも勾配の計算、すなわち、微分演算を行うことが可能となる。
【００３１】
自動色補正装置は、解析的な微分可能な関数として扱うことができるので、統計的な手法が実行可能となり、様々な問題を解決することができる。自動色補正装置は、全体としてはハードウェア製品であるが、色補正のためのパラメータ計算については、ソフトウェアにより演算処理を実行し、色補正処理自体はハードウェアにより実行することもできる。
【００３２】
一方、自動色補正装置は、すべての処理を完全にソフトウェアにより実行してもよい。また、ベースバンドビデオ信号入出力のみならず、ＭＸＦ動画ファイルによる入出力、およびベースバンドビデオ信号を入力して、これを処理して、ＭＸＦ動画ファイルとして出力する等、様々な展開が考えられる。
【００３３】
また、３Ｄ映像としてのフォーマットも、左右映像の直接入力（デュアルリンク）、サイドバイサイド変換、フレーム／フィールドシーケンシャル等、各種フォーマットに対しても適用可能である。
【００３４】
自動色補正装置は、色補正処理を例えばＲＧＢの３次元色空間にて行ってもよく、ビデオ信号における自然な色空間である輝度色差色空間やその他の色空間における色補正処理としてもよい。実施形態で説明する自動色補正装置は、そのような異なる色空間における適用も可能である。
【００３５】
図１は、実施形態で提案する自動色補正装置１０００の構成概要を説明するブロック図である。図１においては、説明の便宜上の観点から、特徴的な機能のみを説明して示したブロック図としているが、公知の色補正装置の図示しない他の機能を有していてもよい。
【００３６】
図１に示すように自動色補正装置１０００は、取得した左映像入力に基づいて色ヒストグラムを生成する色ヒストグラム演算部１００を備える。また、自動色補正装置１０００は、色ヒストグラム演算部１００で生成された色ヒストグラムに基づいて核関数により確率密度関数を算出する確率密度関数演算部３００を備える。
【００３７】
確率密度関数演算部３００は、いわゆるディスクリートな色ヒストグラムを連続的に演算処理可能な関数へと変換する。
【００３８】
また、自動色補正装置１０００は、取得した右映像入力に基づいて色ヒストグラムを生成する色ヒストグラム演算部２００を備える。また、自動色補正装置１０００は、色ヒストグラム演算部２００で生成された色ヒストグラムに基づいて核関数により確率密度関数を算出する確率密度関数演算部４００を備える。
【００３９】
また、自動色補正装置１０００は、確率密度関数演算部３００で算出された左映像の確率密度関数と、確率密度関数演算部４００で算出された右映像の確率密度関数と、から色補正パラメータを算出する色補正パラメータ算出部５００を備える。
【００４０】
ここで、自動色補正装置１０００の色補正パラメータ算出部５００は、最小二乗法等によらず、ロバストＭ推定を適用することにより、左右の確率密度関数の差異が最小となるように色補正パラメータを算出する。
【００４１】
ロバストＭ推定はＨｕｂｅｒが提唱した手法であって、複数の手法が知られているロバスト推定のうちのひとつである。ロバストＭ推定の基本概念及び基本理論それ自体については、例えば、Ｐ．Ｊ．Ｈｕｂｅｒ，Ｒｏｂｕｓｔ Ｓｔａｔｉｓｔｉｃｓ，Ｗｉｌｅｙ，１９８１，２００４．に記載されていることが知られており、画像から物体の動きを推定する場合にロバストＭ推定を用いることについては、例えばＭ．Ｊ.Ｂｌａｃｋ ａｎｄ Ｐ.Ａｎａｎｄａｎ，Ｔｈｅ ｒｏｂｕｓｔ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｍｏｔｉｏｎｓ：ｐａｒａｍｅｔｒｉｃ ａｎｄ ｐｉｅｃｅｗｉｓｅ−ｓｍｏｏｔｈ ｆｌｏｗ ｆｉｅｌｄｓ， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，６３−１（１９９６），７５−１０４.に記載されており、また例えば、Ｐ.Ｊ.Ｈｕｂｅｒ，Ｒｏｂｕｓｔ Ｓｔａｔｉｓｔｉｃｓ，Ｗｉｌｅｙ，１９８１，２００４.に記載されており、また例えば、Ｈ.Ｓ.Ｓａｗｈｎｅｙ ａｎｄ Ｓ.Ａｙｅｒ，Ｃｏｍｐａｃｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｏｆ ｖｉｄｅｏｓ ｔｈｒｏｕｇｈ ｄｏｍｉｎａｎｔ ａｎｄ ｍｕｌｔｉｐｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， １８−８（１９９６），８１４−８３０．等に記載されていることが知られているので、ここでは詳述を避ける。
【００４２】
また、自動色補正装置１０００は、算出された色補正パラメータを右映像の入力信号に対して適用して色補正を遂行する色補正処理部６００を備える。色補正処理がされた右映像信号は、色自動補正装置１０００から色補正後の右映像出力として出力される。
【００４３】
これにより、自動色補正装置１０００は、誤差の問題やサチュレーション（白飛び）等のガマット誤差の問題等に対応することが可能となり、オクルージョンへの対応も可能となるので、これらの誤差等の諸問題を克服可能となる。
【００４４】
また、自動色補正装置１０００は、映像と色ヒストグラムとの間の変換処理を繰り返し演算する必要がなく、確率密度関数に基づいて繰り返し演算処理をすればよいので、色補正パラメータを算出するまでの間の処理負荷が軽くて済む。従って、自動色補正装置１０００は、比較的低コストで適切な色補正パラメータを算出し、色補正処理をすることができる。
【００４５】
また、自動色補正装置１０００は、右映像入力に対して色補正処理を遂行する構成としたが、右映像入力を基準として左映像入力に対して色補正処理を遂行する構成としてもよく、また、右映像入力と左映像入力との両方に色補正処理を遂行する構成としてもよい。
【００４６】
図２は、自動色補正装置１０００の色補正パラメータ算出に関する処理フローを説明する図である。
【００４７】
（ステップＳ２１０）
自動色補正装置１０００は、３Ｄステレオビデオカメラ等で撮影された左映像入力と右映像入力とを各々取り込む。
【００４８】
（ステップＳ２２０）
自動色補正装置１０００の色ヒストグラム演算部１００は、左映像入力に基づいて、左映像入力に対応する色ヒストグラムを演算処理する。また、自動色補正装置１０００の色ヒストグラム演算部２００は、右映像入力に基づいて、右映像入力に対応する色ヒストグラムを演算処理する。
【００４９】
（ステップＳ２３０）
自動色補正装置１０００の確率密度関数演算部３００は、色ヒストグラム演算部１００が作成した色ヒストグラムに対応する確率密度関数を演算する。これにより、飛び飛びの値である色ヒストグラムから連続的な数値計算が可能な関数へと変換される。また、自動色補正装置１０００の確率密度関数演算部４００は、色ヒストグラム演算部２００が作成した色ヒストグラムに対応する確率密度関数を演算する。
【００５０】
（ステップＳ２４０）
自動色補正装置１０００の色補正パラメータ算出部５００は、左右の各入力映像に対応する確率密度関数の差異が最小となるように、ロバストＭ推定を適用して色補正パラメータを算出する。自動色補正装置１０００は、右映像入力に対して補正処理を遂行する構成であるので、色補正パラメータ算出部５００は、左映像入力を基準として右映像入力を補正するための色補正パラメータを算出する。
【００５１】
ここで上述の例示に拘わらず、色補正パラメータは、左右の各入力映像のいずれか一方の入力映像を基準として、他方の入力映像に対して補正処理を遂行するための色補正パラメータとしてもよい。また、色補正パラメータは、左右の各入力映像のいずれにも補正処理を遂行するための色補正パラメータとしてもよい。
【００５２】
（ステップＳ２５０）
自動色補正装置１０００の色補正処理部６００は、右映像入力に対して算出された色補正パラメータを適用して色補正処理を遂行する。
【００５３】
図８は、自動色補正装置１０００が色補正パラメータを算出する処理工程について概念的に説明する図である。図８（ａ）において取得した左右各々の画像から、画素値について例えば８ビットであれば０〜２５５階調の計２５６階調を横軸として出現頻度を横軸として、図８（ｂ）に示すような色ヒストグラムを色ヒストグラム演算部１００と色ヒストグラム演算部２００とが各々生成する。
【００５４】
また、生成された左右の画像に各々対応する色ヒストグラムに対して、確率密度関数演算部３００と確率密度関数演算部４００とが、各々核関数により連続的に扱うための正規化処理を遂行する。図８（ｃ）に例示した核関数では、横軸を０〜１で正規化して縦軸を確率密度関数（Ｐ）とし、その面積が「１」となるように処理される。
【００５５】
また、図８（ｃ）に示すような確率密度関数に基づいて色補正パラメータ算出部５００が、ロバストＭ推定を適用して、左右各々の画像に対応する確率密度関数の差が最小となるように色補正パラメータを算出する。この場合に、色補正パラメータ算出部５００は、左右いずれか一方の画像に対応する確率密度関数を基準として、他方の画像に対して補正するように色補正パラメータを算出してもよいし、左右の両方に対して補正するための色補正パラメータを算出してもよい。
【００５６】
色補正パラメータ算出部５００が反復演算する場合には、図８（ｃ）に示すような確率密度関数に基づいて処理を遂行するので、画素の値にまで戻って再度色ヒストグラムを繰り返し生成することを要しない。このため、処理負荷が軽くなり、比較的安価で遅滞無く色補正パラメータの算出処理が可能となる。
【００５７】
（３Ｄ映像のための自動色補正）
３Ｄ映像における左右の映像を幾何学的・光学的に一致させることは、実写とコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、ＣＧ）の合成における実カメラと仮想カメラの間の幾何学的・光学的な一致と同様に必須である。見やすく、かつ安全な３Ｄ映像を制作するためにも欠かせない。本実施形態では、そのような３Ｄ映像における左右の映像の色・明るさのずれを、カラーチャート（色票）のような特別な参照板を用いずに、取得した映像から自動的に計算して色補正を行う装置・方法・その実行プログラムを提案する。
【００５８】
人間は左右の目に映る像の見え方の違いである両眼視差により奥行きや立体感を感じている。これを利用した３Ｄ映像が映画をはじめとして、近年大きな盛り上がりを見せている。
【００５９】
３Ｄ映像の撮影には、３Ｄリグと呼ばれる左右２台のカメラを水平・垂直に設置する器具を用いる。図３（ａ）は３Ｄリグ一例を示す図であり、図３（ｂ）はシミュレーションに用いた３Ｄ画像の例であり、図３（ｃ）は左右画像の画素値（Ｇ）の確率密度関数を説明する図である。これは、人間の目と同じ間隔による撮影を可能とするものであり、ハーフミラーにより反射・透過する映像を撮影することになる。
【００６０】
このため、反射映像を左右反転するとともに、反射と透過による色・明るさの違いを揃える色補正処理が必要になる。色補正処理には、既知の色レベルからなるカラーチャート（色票）を用いる方法が知られているが、現実には、カラーチャートを必ず撮影することは運用上困難な場合も考えられる。
【００６１】
そこで、任意の撮影画像からの自己校正手法が提案されている。これには、画像中のコーナー等の特徴点を抽出し、左右の画像において特徴点を対応付ける方法が考えられるが、処理コストが掛かる。
【００６２】
本実施形態では、左右画像の画素値のヒストグラムから核関数により確率密度関数を計算し、その差を最小にする色補正パラメータを推定する。推定には、左右映像間の視差によるオクルージョンや、レベル飽和によるガマット誤差の影響を考慮して、ロバストＭ推定を用いる。
【００６３】
さらに、レベル制約を課すことによりカラーバランスを保った色補正や、時間方向に滑らかさの制約を課すことにより時系列推定の安定化も可能となる。画像のヒストグラムは濃淡画像処理をはじめとして、類似画像の検索ための特徴量として用いられる。医用画像では、ヒストグラムから計算される相互情報量（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ，ＭＩ）を最大にするように、複数のモダリティによる異種画像間の位置合わせに用いられる。
【００６４】
また、移動物体の追跡処理のために画素値の色ヒストグラムから核関数を用いて類似度を計算する平均値シフト法を用いる手法が知られている。一方、本願発明者は視程障害映像のコントラスト補正処理のために画素値のヒストグラムから核関数を用いて確率密度関数を計算し、コントラスト補正のためのパラメータをカルバックーライブラー情報量を最小化するように最適に推定した。
【００６５】
色補正処理としては、本願発明者らは、再撮モニタや複数台のカメラ間の色を合わせるために、先頭フレームに撮影した基準となるカラーチャート（色票）を自動認識して、観測誤差を考慮して色補正パラメータを最適に推定するとともに、ガマット誤差が含まれている映像に対しても、レベル制約付き最適推定とモデル選択を組み合わせることによって妥当な色補正結果を得るための方法を示した。また、画像間の見た目の色を揃えるために、画像をＬＭＳ色空間に変換して、それらの平均値、分散値を揃える処理を行うことが知られている。
【００６６】
複数台のカメラにより撮影された多視点映像の動画像圧縮符号化は、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣの追加規格として標準化がなされ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）に記録した３Ｄ映像の再生・表示を実現するための規格としても採用された。多視点映像において複数台のカメラの色補正を行う研究も進められている。
【００６７】
そこで以下、画素値のヒストグラムから核関数により確率密度関数を計算する方法を説明し、次に色補正に用いる色補正モデルとそれによる確率密度関数の変換について説明する。さらに、色補正パラメータのロバスト推定方法について説明し、続いてレベル制約付きパラメータ推定によるカラーバランスを保った色補正について、そして時系列推定を安定化するための時間方向の滑らかさの制約付きパラメータ推定について、順次説明する。また、それらの推定方法を確認するための画像シミュレーションについても述べる。
【００６８】
（核関数による確率密度関数の計算）
画像中のブロック領域における画素値に関する１次元のヒストグラムから核関数を用いて次のように確率密度関数を計算する。
【００６９】
【数１】
【００７０】
ここで、Ｉｊはブロック領域中の画素値であり、ｎはブロック領城中の総画素数である。Ｋ（・）は核関数であり、例えば、次のようなガウス関数を用いる。
【００７１】
【数２】
【００７２】
Ｗは核関数表現におけるバンド幅であり、ガウス関数を用いる場合には、次のように最適に決定される。
【００７３】
【数３】
【００７４】
σはブロック領域中の画素値の標本標準偏差である。式（１）をヒストグラムｈ（Ｉｊ）を用いて次のように書き直す。
【００７５】
【数４】
【００７６】
ここで、Ｎはヒストグラムの階級数である。注意すべきは、式（１）は、ブロック領域中のすべての標本画素値｛Ｉｊ｜ｊ＝１，・・・，ｎ｝をそのまま用いているが、式（４）では、ヒストグラムの階級における画素値（階級値）｛Ｉｊ｜ｊ＝１，・・・，Ｎ｝を用いることである。
【００７７】
式（４）はヒストグラムと核関数のたたみ込みと見なすことができる。核関数がガウス関数の場合、人工神経回路網のひとつである放射基底関数（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ，ＲＢＦ）ネットワークとしても知られている。
【００７８】
（色補正モデル）
色補正モデルとしては、ＲＧＢ３次元色空間において、ＲＧＢ毎に独立に次のような１次元アフィン補正を行うものとする。
【００７９】
【数５】
【００８０】
そのような色補正を行った場合の確率密度関数は式（４）より、次のようになる。
【００８１】
【数６】
【００８２】
ヒストグラムｈ（Ｉ´ｊ）≡ｈ（Ｉｊ）であるから、色補正を行った画像の確率密度関数は、補正前の原画像のヒストグラムのみから計算することができる。
【００８３】
（色補正パラメータのロバスト推定）
３Ｄ映像における左右画像Ｉ（Ｌ），Ｉ（Ｒ）の確率密度関数をｐ（Ｉ（Ｌ）），ｐ（Ｉ（Ｒ））と表す。左画像Ｉ（Ｌ）を基準画像として、右画像Ｉ（Ｒ）を色補正すると仮定する（勿論逆でも構わない）。色補正パラメータを推定するために、左右画像の画面中央領域における各々の画素値に関するヒストグラムから計算される確率密度関数の差が最小になる色補正パラメータを計算する。よく用いられるのは次のような最小二乗法である。
【００８４】
【数７】
【００８５】
左右画像のヒストグラムの計筧を行う領域には、視差によるオクルージョンのために、一方には含まれていない画素が発生する。そのような画素の影響を避けるためには、例えば、左右画像間の動き推定・補正処理を行うことが考えられるが、動き推定・補正処理にはコストが掛かる。
【００８６】
そのような画素が画像全体に占める領域は、局所的なものであるだろうから、ロバストＭ推定により対応が可能と考える。ロバストＭ推定はレベル飽和によりクリップされた画素によるガマット誤差への対応も期待される。
【００８７】
３次元ＲＧＢ色空間におけるＲＧＢ毎の１次元アフィン変換による色補正を用いると、ロバストＭ推定により、次の目的関数を最小化する色補正パラメータを推定する。
【００８８】
【数８】
【００８９】
ここで、ρ（・）は二乗よりは増加が遅く、０において最小値を取る対称で正の推定関数であり、例えば、次のようなものがある。
【００９０】
【数９】
【００９１】
σＭは次のように推定される。
【００９２】
【数１０】
【００９３】
図４は、σＭ＝１としたときの、ロバスト推定関数を二乗関数とともに説明する図である。色補正パラメータのロバストＭ推定の計算はガウス・ニュートン法により行う。式（８）に説明する目的関数Ｊを未知パラメータβ，γに関して微分すると、勾配は微分の連鎖則から計算できる。核関数により確率密度関数を計算するためのバンド幅Ｗ（式（３））は、ブロック領域の画素値の標準偏差によるから、反復毎に計算する。
【００９４】
パラメータの初期値には、オフセット項γはヒストグラムの重心（平均）、あるいはメジアン値を揃えるように計算する。ゲイン項βはヒストグラムの標準偏差、あるいはメジアン値から計算される次のようなメジアン絶対偏差（Ｍｅｄｉａｎ Ａｂｓｏｌｕｔｅ Ｄｅｖｉａｔｉｏｎ，ＭＡＤ）による（標準偏差の）比として計算する。
【００９５】
【数１１】
【００９６】
【数１２】
【００９７】
いずれもヒストグラムから簡単に計算することが可能である。最適化のための反復処理もすべてヒストグラムから核関数を用いて計算される確率密度関数による計算処理のため、画像に戻って画素毎の色補正処理とヒストグラムの計算を繰り返す必要がない。したがって、処理コストが劇的に低減可能である。
【００９８】
（５色補正パラメータのレベル制約付き推定）
色データは、例えば、ＲＧＢ３次元色空間のようにベクトルデータであり、ＲＧＢ毎に独立に色補正を行った場合には、白は厳密に白レベルに、黒は厳密に黒レベルに補正されるとは限らない。すなわち、ＲＧＢ毎に独立な推定では、カラーバランスを厳密に保つことができない。
【００９９】
そこで、厳密にカラーバランスを保つように色補正パラメータを推定するために、白は白レベルにする等、特定の色レベルが必ず特定の色レベルになるような色レベルに関する制約条件を課す。例えば、ＲＧＢ３次元色空間におけるＲＧＢ毎の１次元アフィン変換補正モデルにおいて、そのようなレベル制約を課した場合の目的関数Ｋは次のように書ける。
【０１００】
【数１３】
【０１０１】
ここで，λはラグランジュ未定乗数である。右画像の特定の色レベルＩａ（Ｒ）∈｛Ｒａ（Ｒ），Ｇａ（Ｒ），Ｂａ（Ｒ）｝が、左画像の特定の色レベルＩａ（Ｌ）∈｛Ｒａ（Ｌ），Ｇａ（Ｌ），Ｂａ（Ｌ）｝になるように、ＲＧＢ毎に目的関数Ｋを最小化する未知パラメータβ，γ，λを計算すればよい。
【０１０２】
白レベルを揃えるためには、左画像における輝度値最大になる画素を探索して、その画素位置を中心とする適当なブロック領域に対応する右画像の領域において輝度値が最大になる画素を探索して、それらの色レベルを対応させる。
【０１０３】
黒レベルを揃えるためには、左画像における輝度値最小になる画素を探索して、その画素位置を中心とする適当なブロック領域に対応する右画像の領域において輝度値が最小になる画素を探索して、それらの色レベルを対応させる。
【０１０４】
その他、画像中の特定の色レベルを手動により指定することもできる。ＲＧＢ信号から輝度色差信号ＹＣｂＣｒへの変換は、例えば、「松永力，最適コントラスト補正による視程障害画像の明瞭化，第１５回画像センシングシンポジウム（ＳＳＩＩ２００９）講演論文集，横浜（パシフィコ横浜）」の付録等に記載されている。
【０１０５】
レベル制約を課した場合にも、同様にガウス・ニュートン法により最適な色補正パラメータを推定することが可能である。初期値には、レベル制約を課さない場合の推定結果を用いる。
【０１０６】
３Ｄ映像における自動色補正処理は、ヒストグラム上での色補正パラメータ推定のため、処理コストが劇的に減少することが期待できる。しかし、フレーム毎の独立した推定結果による色補正は時間変動による妨害が生じるかもしれない。
【０１０７】
推定したパラメータに対する平滑化処理等の何らかの時系列処理が必要になるが、ＲＧＢ毎に独立に補正パラメータに対して平滑化処理を行うと、レベル制約を課すことによって保持したカラーバランスが崩れてしまう場合も想定される。そこで、補正パラメータの時系列平滑化とレベル制約を同時に満たすために、次のような目的関数の最小化を行う。
【０１０８】
【数１４】
【０１０９】
ここで、Ｉａ（Ｌ），Ｉａ（Ｒ）は、それぞれ左右画像において対応するレベル制約であり、λはラグランジュ未定乗数である。
は前フレームにおける推定パラメータである。
【０１１０】
つまり，レベル制約に加えて時間方向に滑らかさの制約を課した正則化により色補正パラメータを推定するものである。μは正則化パラメータである。Ｈｏｒｎ＆Ｓｃｈｕｎｃｋはオプティカルフローの推定において、空間的な滑らかさの制約による正則化を用いた。明示的な平滑化処理を行わずとも，パラメータ推定自体に平滑化作用が内在している。
【０１１１】
（同一画像による擬似３Ｄ画像シミュレーション）
３Ｄ画像の左画像の一部分を切り出して、擬似的な３Ｄ画像の左右画像とする。左画像は画像の中央領域から切り出したものとして、右画像は、そのような左画像に対してｅ画素だけ水平方向にシフトさせて切り出したものとする。シフト量（視差量に相当する）は、左画像に対して右にシフトする場合を正の方向とする。
【０１１２】
切り出し画像の水平サイズＨに対する比ｄ＝ｅ／Ｈ×１００（％）で表す。
そのようにして１枚の画像から生成した擬似的な３Ｄ画像において、左画像をＲＧＢ毎に独立に適当な色変換する。色変換を受けた左画像を基準画像として、右画像を左画像に揃える色補正パラメータを推定する。このとき、右画像にはＲＧＢ毎に独立に期待値０、標準偏差１の正規乱数誤差を加える。
【０１１３】
画素値の量子化数は８ビット２５６階調である。真の色補正パラメータは色変換パラメータになる。色変換パラメータを固定して、シフト量を変えたときの色補正パラメータを推定する。これを様々な画像を用いて行う。
【０１１４】
色補正のモデルとしては、式（５）のＲＧＢ毎に独立な１次元アフィン変換モデルを用いる。擬似的な３Ｄ画像のサイズは１２８０×７２０である。シフト量はｄ＝±５％の範囲で０．１％刻みとする。
【０１１５】
量子化誤差、観測誤差を防ぐために平滑化した左右画像の８０％中央領域における画素を用いて色補正パラメータを推定する。推定した色補正パラメータにより（誤差を含む）右画像を色補正したものと真の色補正パラメータにより（誤差を含まない）右画像を色補正したものとの二乗誤差画像のピークＳＮ比（ＰＳＮＲ）を計算して評価する。
【０１１６】
図５（ａ）はシミュレーションに用いた擬似的な３Ｄ画像例をサイドバイサイド表示したものである（シフト量はｄ＝２．９％で３７画素）。左右画像の画素値（Ｒ）のヒストグラムから核関数により計算した確率密度関数は図３（ｂ）のようになる。シフト量の絶対値が増すと、ピークＳＮ比がやや低下しているが、３Ｄ映像における快適な視聴範囲とされているｄ＝２．９％の範囲では、ほぼ十分な結果が得られている。グラフ中のひとつの線分が１枚の画像における結果に相当している。
【０１１７】
図６（ａ）の擬似３Ｄ画像例は、左画像の輝度を変換したものである。そのような左画像を基準として、右画像の明るさを揃える。このとき、左右画像中の最大輝度値を探索して対応付けて、最大輝度値の画素の色レベルをレベル制約として課すことにより、カラーバランスを保った色補正を試みる。
【０１１８】
推定した色補正パラメータによる色補正画像中の白レベル領域（赤枠：くの字状の屋根辺縁部の曲折部位右側の小さな四角枠）の画素値を色差信号に変換して、２次元色差空間にプロットする。レベル制約を課さないＲＧＢ毎の独立な色補正パラメータ推定による結果では、２次元色差空間上のプロットに偏りが見られるが、レベル制約付き色補正パラメータ推定による結果では、偏りがなくカラーバランスが保たれていることがわかる。
【０１１９】
（実際の３Ｄ画像シミュレーション）
１枚の画像から生成した擬似的な３Ｄ画像ではなく、２台のカメラで撮影された実際の３Ｄ画像を用いる。左画像を適当な色変換する。そのような色変換を受けた左画像を基準画像として、右画像を左画像に揃える色補正パラメータを推定する。真の色補正パラメータは色変換パラメータになる。
【０１２０】
左右画像中の最大輝度値を探索して対応付けて、最大輝度値の画素の色レベルをレベル制約として課す。図３（ｂ）はシミュレーションに用いた実際の３Ｄ画像をサイドバイサイド表示した図である。ＲＧＢ毎に既知の１次元アフィン変換により色変換した左画像を基準画像として、右画像を揃えるように色補正処理を行う。基準となる左画像の確率密度関数に、レベル飽和によりクリップされた画素によるガマット誤差が存在する場合でも、ロバストＭ推定により右画像の確率密度関数はマッチングしている（図３（ｃ）参照）。
【０１２１】
推定した色補正パラメータにより色補正した右画像と真の色変換パラメータにより色変換した右画像との二乗誤差画像のピークＳＮ比は６４．８［ｄＢ］であった。
【０１２２】
（３Ｄ映像における時系列推定シミュレーション）
実際の３Ｄ映像における左映像を適当な色変換を行い、右映像を左映像に揃える色補正パラメータを推定する。図７（ｂ）は、３Ｄ映像のフレーム番号に対する色補正パラメータの推定結果である。時間方向の正則化を行った場合（実線）と、正則化を行わずにフレーム毎に独立に推定した場合（破線）の両方の結果を重ねて表示する。時間方向の滑らかさの制約を課した正則化による安定化の効果が見られる。
【０１２３】
（まとめ）
また、３Ｄ映像における左右映像の色・明るさを揃えるために、画素値のヒストグラムから核関数により確率密度関数を計算し、その差を最小にする色補正パラメータをロバストＭ推定して色補正を行う自動色補正装置について開示した。
【０１２４】
また、実施形態の自動色補正装置は、左右画像中の最大輝度値を探索して対応付けて、その色レベルをレベル制約として課すことにより、カラーバランスを保った色補正を遂行できる。さらに、時間方向に滑らかさの制約を課すことにより時系列推定の安定化を行える。
【０１２５】
また、上述の実施形態においては、画素値のヒストグラムを８ビット２５６階調で例示的に説明したが、業務用ビデオ信号の規格とされている１０ビット１０２４階調としてもよく、７ビット１２８階調としてもよいのであって、これに限定されるものではない。
【０１２６】
実施形態で説明した自動色補正装置は、実施形態での説明に限定されることはなく、自明な範囲でその構成を変更し、演算処理を変更することができる。
【産業上の利用可能性】
【０１２７】
本発明は、３Ｄ映像編集やライブ映像切替え用途における放送業界やマルチメディア業界やアーカイブマーケット等において広く応用展開し利用でき、映像の色補正処理や濃淡画像処理に展開できる。
【符号の説明】
【０１２８】
１００・・色ヒストグラム演算部、２００・・色ヒストグラム演算部、３００・・確率密度関数演算部、４００・・確率密度関数演算部、５００・・色補正パラメータ算出部、６００・・色補正処理部、１０００・・自動色補正装置。
【技術分野】
【０００１】
本発明は、比較的安価で容易に３Ｄの色補正を実現する３Ｄ自動色補正装置とその色補正方法等に関する。
【背景技術】
【０００２】
３Ｄ映像の撮影は、２台のカメラによる人間の目のシミュレートであり、２台のカメラの明るさ・色を揃えないと，見やすく安全な３Ｄ映像にはならない。さらには、２台のカメラを単に横に並べて撮影したのでは人間が目で見るのと同じにはならない。
【０００３】
また、人間の目の間隔は平均的な大人で約６．５ｃｍであり、それに対応する視差を実現するために、３Ｄリグと称される特別な撮影器具を使うことが知られている。３Ｄリグは、ハーフミラーを使用しているので、必然的に反射映像と透過映像とで明るさ・色が違ってしまう。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−０１４００８号公報
【特許文献２】特開２００１−０９２９５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
カラーチャート（色票）を用いて３Ｄ映像の色補正を遂行する場合には、３Ｄ映像データの先頭フレームにおいて、予めカラーチャートを撮影しておく必要がある。しかし、現実の撮影シーン等においては、３Ｄ映像データの先頭フレームにおいて予めカラーチャートを撮影することが困難な場面も少なくない。また、例えば３Ｄ映像の撮影途中において、再度のキャリブレーションが必要となる場合も想定される。
【０００６】
一方、取り込んだ映像中の物体の特徴点を抽出して、その特徴点の色レベルを対応する二つの映像間で対応付けすることにより、３Ｄ映像の自動色補正を遂行する色補正方法がカラーチャートを利用しない色補正として知られている。しかしこのような色補正方法においては、映像からの特徴点の抽出処理や、抽出した特徴点同士の対応付けに要する処理量が比較的大きく、処理時間や処理コストが増大するものとなる。
【０００７】
本発明はこのような問題点に鑑みなされたものであり、カラーチャート等の参照板を用いなくても、低コストかつ安定して、映像から自動的に色補正パラメータを算出し、左右映像間の色補正を遂行することができる３Ｄ映像のための自動色補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の色補正装置は、撮影して取得した二つの映像間において色補正を遂行する色補正装置において、取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出部と、色ヒストグラム算出部が算出した色ヒストグラムから確率密度関数を各々算出する確率密度関数算出部と、確率密度算出部が算出した各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出部とを備え、色補正パラメータ算出部が算出した色補正パラメータを、取得した二つの映像の少なくともいずれか一方に適用して色補正することを特徴とする。
【０００９】
また、本発明の色補正装置は、好ましくは二つの映像が、３Ｄ映像用の右画像と左画像とであることを特徴とする。
【００１０】
また、本発明の色補正装置は、さらに好ましくはレベル制約によるホワイトバランスを維持した色補正パラメータを算出するか、または、時間方向の滑らかさの制約による平滑化作用を伴った色補正パラメータを算出するか、の少なくともいずれかの色補正パラメータを算出することを特徴とする。
【００１１】
また、本発明の色補正装置は、さらに好ましくは色補正パラメータ算出部が、取得した二つの映像の各確率密度関数の差が最小となる色補正パラメータを算出することを特徴とする。ここで、各確率密度関数の差を最小とすることについて、各確率密度関数の差の二乗が最小となるように計算するのが最小二乗法（コスト関数の一つ）であり、さらに好ましくは各確率密度関数の差のロバスト推定関数（コスト関数の他の一つ）が最小となるように色補正パラメータを計算する。
【００１２】
また、本発明の色補正方法は、上述のいずれかに記載の色補正装置における色補正方法であって、取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出工程と、色ヒストグラム算出工程で算出された色ヒストグラムから確率密度関数を各々算出する確率密度関数算出工程と、確率密度算出工程で算出された各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出工程と、色補正パラメータ算出工程で算出された色補正パラメータを、取得した二つの映像の少なくともいずれか一方に適用して色補正する工程とを有することを特徴とする。
【００１３】
また、本発明の色補正方法は、好ましくは二つの映像が、３Ｄ映像用の右画像と左画像とであることを特徴とする。
【００１４】
また、本発明の色補正方法は、さらに好ましくはレベル制約によるホワイトバランスを維持した色補正パラメータを算出するか、または、時間方向の滑らかさの制約による平滑化作用を伴った色補正パラメータを算出するか、の少なくともいずれかの色補正パラメータを算出することを特徴とする。
【００１５】
また、本発明の色補正方法は、さらに好ましくは色補正パラメータ算出工程において、取得した二つの映像の各確率密度関数の差が最小となる色補正パラメータを算出することを特徴とする。
【００１６】
また、本発明のプログラムは、上述のいずれかに記載の色補正方法の各工程をコンピュータに順次遂行させることを特徴とする。
【００１７】
また、本発明の記憶媒体は、上述のプログラムが格納されたコンピュータが読み取り可能な記憶媒体であることを特徴とする。
【発明の効果】
【００１８】
カラーチャート等の参照板を用いなくても、低コストかつ安定して、映像から自動的に色補正パラメータを算出し、左右映像間の色補正を遂行することができる３Ｄ映像のための自動色補正装置を提供できる。
【図面の簡単な説明】
【００１９】
【図１】実施形態で提案する自動色補正装置の構成概要を説明するブロック図である。
【図２】自動色補正装置の色補正パラメータ算出に関する処理フローを説明する図である。
【図３】（ａ）は３Ｄリグ一例を示す図であり、（ｂ）はシミュレーションに用いた３Ｄ画像の例であり、（ｃ）は左右画像の画素値（Ｇ）の確率密度関数を説明する図である。
【図４】σＭ＝１としたときの、ロバスト推定関数を二乗関数とともに説明する図である。
【図５】（ａ）はシミュレーションに用いた擬似的な３Ｄ画像例をサイドバイサイド表示した図であり、（ｂ）は左右画像の画素値（Ｒ）の確率密度関数を説明する図であり、（ｃ）はシフト量に対する推定した色補正パラメータによる二乗誤差画像のピークＳＮ比を説明する図である。
【図６】（ａ）は左画像の輝度を変換した擬似３Ｄ画像例であり、（ｂ）は白レベル領域における画素値の２次元色差空間表示（レベル制約付き推定の場合）であり、（ｃ）はレベル制約なしの推定の場合について説明する図である。
【図７】（ａ）は３Ｄ映像中の１フレームのサイドバイサイド表示を説明する図であり、（ｂ）は、３Ｄ映像のフレーム番号に対する色補正パラメータ（Ｒ）の推定結果を説明する図である。
【図８】自動色補正装置が色補正パラメータを算出する処理工程について概念的に説明する図である。
【発明を実施するための形態】
【００２０】
実施形態で説明する色補正装置は、典型的には３Ｄ映像のための自動色補正装置である。この自動色補正装置は、カラーチャート（色票）のような特別な参照板を用いることなく、取得した映像のみから自動的に色補正パラメータを低コストで安定的に推定する。
【００２１】
この自動色補正装置は、推定した色補正パラメータを用いて３Ｄ映像の左右映像間の色補正を遂行する。従来、カラーチャート等の既知の参照板を撮影して、その色レベルを利用して色補正のための各種パラメータを計算する方法が知られている。各種パラメータには、例えばＲＧＢホワイト／ブラック／ガンマレベル等がある。
【００２２】
また、従来カラーチャートを用いない場合には、映像中の物体の特徴的な点（例えばコーナー）を抽出して、その特徴的な点の色レベルを左右映像間で対応付けすることにより色補正のための各種パラメータを計算する方法が知られている。
【００２３】
本実施形態においては、取得した映像中の画素値のヒストグラムから核関数により確率密度関数を計算し、二つの画像間の確率密度関数の差が最小となるように色補正パラメータを推定する色補正装置を提案する。二つの画像は、典型的には３Ｄ映像用の左画像と右画像とである。従って、二つの画像には、視差等に起因する多少のオクル−ジョン（隠れ）が存在してもよい。
【００２４】
この自動色補正装置は、映像中の画素値のヒストグラムを核関数により確率密度関数として表現することにより、理論的に厳密な扱いが可能となり、各種統計的な手法が適用可能となる。
【００２５】
実施形態では、観測誤差や色空間におけるレベル飽和によるガマット（色域）誤差、さらには、３Ｄ映像における左右の映像の視差によるオクルージョンの影響を軽減するための”ロバストＭ推定法（総称である「ロバスト推定」に対して、ロバストＭ推定法を単に「Ｍ推定法」と称することもある）”を適用する。また、出願人は、自動色補正装置の効果について、画像シミュレーションにより実験的に確認した。
【００２６】
また、自動色補正装置における色補正パラメータの推定処理は、一度映像からヒストグラムを計算した後は、すべてヒストグラム及び確率密度関数上で演算処理が行われる。このため、画像に立ち返って、画像とヒストグラム間との変換処理を繰り返す必要がないので、色補正処理に要するコストは極めて軽減されるものとなる。
【００２７】
画像の濃淡処理に画素値のヒストグラムを用いる方法は従来知られているが、実施形態の自動色補正装置においては、ヒストグラムを核関数により確率密度関数として表現することにより、理論的に厳密な扱いが可能となり、各種統計的な手法が適用可能になることから、様々な誤差等による問題に対応できることが期待できる。
【００２８】
また、レベル制約条件を課すことにより、カラーバランスを厳密に保った色補正処理を行うことが可能となる。また、時間方向の滑らかさの制約を課すことにより、様々な誤差等による影響をも軽減し、カラーバランスも厳密に保つとともに、時系列における安定な推定も可能となります。この自動色補正装置は、上述したような、発展性・拡張性を有するものである。
【００２９】
自動色補正装置は、映像から画素値のヒストグラムを計算して、それを核関数により確率密度関数として表現する工程と、それを用いて色補正のための各種パラメータを計算する工程と、色補正のための各種パラメータを用いて色補正等処理を遂行する工程とを行う。
【００３０】
自動色補正装置は、映像の画素値のヒストグラムから、核関数により確率密度関数として表現することにより、解析的な関数として数値の演算処理として扱うことができる。すなわち、自動色補正装置は、理論的にも数値計算的にも勾配の計算、すなわち、微分演算を行うことが可能となる。
【００３１】
自動色補正装置は、解析的な微分可能な関数として扱うことができるので、統計的な手法が実行可能となり、様々な問題を解決することができる。自動色補正装置は、全体としてはハードウェア製品であるが、色補正のためのパラメータ計算については、ソフトウェアにより演算処理を実行し、色補正処理自体はハードウェアにより実行することもできる。
【００３２】
一方、自動色補正装置は、すべての処理を完全にソフトウェアにより実行してもよい。また、ベースバンドビデオ信号入出力のみならず、ＭＸＦ動画ファイルによる入出力、およびベースバンドビデオ信号を入力して、これを処理して、ＭＸＦ動画ファイルとして出力する等、様々な展開が考えられる。
【００３３】
また、３Ｄ映像としてのフォーマットも、左右映像の直接入力（デュアルリンク）、サイドバイサイド変換、フレーム／フィールドシーケンシャル等、各種フォーマットに対しても適用可能である。
【００３４】
自動色補正装置は、色補正処理を例えばＲＧＢの３次元色空間にて行ってもよく、ビデオ信号における自然な色空間である輝度色差色空間やその他の色空間における色補正処理としてもよい。実施形態で説明する自動色補正装置は、そのような異なる色空間における適用も可能である。
【００３５】
図１は、実施形態で提案する自動色補正装置１０００の構成概要を説明するブロック図である。図１においては、説明の便宜上の観点から、特徴的な機能のみを説明して示したブロック図としているが、公知の色補正装置の図示しない他の機能を有していてもよい。
【００３６】
図１に示すように自動色補正装置１０００は、取得した左映像入力に基づいて色ヒストグラムを生成する色ヒストグラム演算部１００を備える。また、自動色補正装置１０００は、色ヒストグラム演算部１００で生成された色ヒストグラムに基づいて核関数により確率密度関数を算出する確率密度関数演算部３００を備える。
【００３７】
確率密度関数演算部３００は、いわゆるディスクリートな色ヒストグラムを連続的に演算処理可能な関数へと変換する。
【００３８】
また、自動色補正装置１０００は、取得した右映像入力に基づいて色ヒストグラムを生成する色ヒストグラム演算部２００を備える。また、自動色補正装置１０００は、色ヒストグラム演算部２００で生成された色ヒストグラムに基づいて核関数により確率密度関数を算出する確率密度関数演算部４００を備える。
【００３９】
また、自動色補正装置１０００は、確率密度関数演算部３００で算出された左映像の確率密度関数と、確率密度関数演算部４００で算出された右映像の確率密度関数と、から色補正パラメータを算出する色補正パラメータ算出部５００を備える。
【００４０】
ここで、自動色補正装置１０００の色補正パラメータ算出部５００は、最小二乗法等によらず、ロバストＭ推定を適用することにより、左右の確率密度関数の差異が最小となるように色補正パラメータを算出する。
【００４１】
ロバストＭ推定はＨｕｂｅｒが提唱した手法であって、複数の手法が知られているロバスト推定のうちのひとつである。ロバストＭ推定の基本概念及び基本理論それ自体については、例えば、Ｐ．Ｊ．Ｈｕｂｅｒ，Ｒｏｂｕｓｔ Ｓｔａｔｉｓｔｉｃｓ，Ｗｉｌｅｙ，１９８１，２００４．に記載されていることが知られており、画像から物体の動きを推定する場合にロバストＭ推定を用いることについては、例えばＭ．Ｊ.Ｂｌａｃｋ ａｎｄ Ｐ.Ａｎａｎｄａｎ，Ｔｈｅ ｒｏｂｕｓｔ ｅｓｔｉｍａｔｉｏｎ ｏｆ ｍｕｌｔｉｐｌｅ ｍｏｔｉｏｎｓ：ｐａｒａｍｅｔｒｉｃ ａｎｄ ｐｉｅｃｅｗｉｓｅ−ｓｍｏｏｔｈ ｆｌｏｗ ｆｉｅｌｄｓ， Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｉｍａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ，６３−１（１９９６），７５−１０４.に記載されており、また例えば、Ｐ.Ｊ.Ｈｕｂｅｒ，Ｒｏｂｕｓｔ Ｓｔａｔｉｓｔｉｃｓ，Ｗｉｌｅｙ，１９８１，２００４.に記載されており、また例えば、Ｈ.Ｓ.Ｓａｗｈｎｅｙ ａｎｄ Ｓ.Ａｙｅｒ，Ｃｏｍｐａｃｔ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｏｆ ｖｉｄｅｏｓ ｔｈｒｏｕｇｈ ｄｏｍｉｎａｎｔ ａｎｄ ｍｕｌｔｉｐｌ ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ， １８−８（１９９６），８１４−８３０．等に記載されていることが知られているので、ここでは詳述を避ける。
【００４２】
また、自動色補正装置１０００は、算出された色補正パラメータを右映像の入力信号に対して適用して色補正を遂行する色補正処理部６００を備える。色補正処理がされた右映像信号は、色自動補正装置１０００から色補正後の右映像出力として出力される。
【００４３】
これにより、自動色補正装置１０００は、誤差の問題やサチュレーション（白飛び）等のガマット誤差の問題等に対応することが可能となり、オクルージョンへの対応も可能となるので、これらの誤差等の諸問題を克服可能となる。
【００４４】
また、自動色補正装置１０００は、映像と色ヒストグラムとの間の変換処理を繰り返し演算する必要がなく、確率密度関数に基づいて繰り返し演算処理をすればよいので、色補正パラメータを算出するまでの間の処理負荷が軽くて済む。従って、自動色補正装置１０００は、比較的低コストで適切な色補正パラメータを算出し、色補正処理をすることができる。
【００４５】
また、自動色補正装置１０００は、右映像入力に対して色補正処理を遂行する構成としたが、右映像入力を基準として左映像入力に対して色補正処理を遂行する構成としてもよく、また、右映像入力と左映像入力との両方に色補正処理を遂行する構成としてもよい。
【００４６】
図２は、自動色補正装置１０００の色補正パラメータ算出に関する処理フローを説明する図である。
【００４７】
（ステップＳ２１０）
自動色補正装置１０００は、３Ｄステレオビデオカメラ等で撮影された左映像入力と右映像入力とを各々取り込む。
【００４８】
（ステップＳ２２０）
自動色補正装置１０００の色ヒストグラム演算部１００は、左映像入力に基づいて、左映像入力に対応する色ヒストグラムを演算処理する。また、自動色補正装置１０００の色ヒストグラム演算部２００は、右映像入力に基づいて、右映像入力に対応する色ヒストグラムを演算処理する。
【００４９】
（ステップＳ２３０）
自動色補正装置１０００の確率密度関数演算部３００は、色ヒストグラム演算部１００が作成した色ヒストグラムに対応する確率密度関数を演算する。これにより、飛び飛びの値である色ヒストグラムから連続的な数値計算が可能な関数へと変換される。また、自動色補正装置１０００の確率密度関数演算部４００は、色ヒストグラム演算部２００が作成した色ヒストグラムに対応する確率密度関数を演算する。
【００５０】
（ステップＳ２４０）
自動色補正装置１０００の色補正パラメータ算出部５００は、左右の各入力映像に対応する確率密度関数の差異が最小となるように、ロバストＭ推定を適用して色補正パラメータを算出する。自動色補正装置１０００は、右映像入力に対して補正処理を遂行する構成であるので、色補正パラメータ算出部５００は、左映像入力を基準として右映像入力を補正するための色補正パラメータを算出する。
【００５１】
ここで上述の例示に拘わらず、色補正パラメータは、左右の各入力映像のいずれか一方の入力映像を基準として、他方の入力映像に対して補正処理を遂行するための色補正パラメータとしてもよい。また、色補正パラメータは、左右の各入力映像のいずれにも補正処理を遂行するための色補正パラメータとしてもよい。
【００５２】
（ステップＳ２５０）
自動色補正装置１０００の色補正処理部６００は、右映像入力に対して算出された色補正パラメータを適用して色補正処理を遂行する。
【００５３】
図８は、自動色補正装置１０００が色補正パラメータを算出する処理工程について概念的に説明する図である。図８（ａ）において取得した左右各々の画像から、画素値について例えば８ビットであれば０〜２５５階調の計２５６階調を横軸として出現頻度を横軸として、図８（ｂ）に示すような色ヒストグラムを色ヒストグラム演算部１００と色ヒストグラム演算部２００とが各々生成する。
【００５４】
また、生成された左右の画像に各々対応する色ヒストグラムに対して、確率密度関数演算部３００と確率密度関数演算部４００とが、各々核関数により連続的に扱うための正規化処理を遂行する。図８（ｃ）に例示した核関数では、横軸を０〜１で正規化して縦軸を確率密度関数（Ｐ）とし、その面積が「１」となるように処理される。
【００５５】
また、図８（ｃ）に示すような確率密度関数に基づいて色補正パラメータ算出部５００が、ロバストＭ推定を適用して、左右各々の画像に対応する確率密度関数の差が最小となるように色補正パラメータを算出する。この場合に、色補正パラメータ算出部５００は、左右いずれか一方の画像に対応する確率密度関数を基準として、他方の画像に対して補正するように色補正パラメータを算出してもよいし、左右の両方に対して補正するための色補正パラメータを算出してもよい。
【００５６】
色補正パラメータ算出部５００が反復演算する場合には、図８（ｃ）に示すような確率密度関数に基づいて処理を遂行するので、画素の値にまで戻って再度色ヒストグラムを繰り返し生成することを要しない。このため、処理負荷が軽くなり、比較的安価で遅滞無く色補正パラメータの算出処理が可能となる。
【００５７】
（３Ｄ映像のための自動色補正）
３Ｄ映像における左右の映像を幾何学的・光学的に一致させることは、実写とコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ、ＣＧ）の合成における実カメラと仮想カメラの間の幾何学的・光学的な一致と同様に必須である。見やすく、かつ安全な３Ｄ映像を制作するためにも欠かせない。本実施形態では、そのような３Ｄ映像における左右の映像の色・明るさのずれを、カラーチャート（色票）のような特別な参照板を用いずに、取得した映像から自動的に計算して色補正を行う装置・方法・その実行プログラムを提案する。
【００５８】
人間は左右の目に映る像の見え方の違いである両眼視差により奥行きや立体感を感じている。これを利用した３Ｄ映像が映画をはじめとして、近年大きな盛り上がりを見せている。
【００５９】
３Ｄ映像の撮影には、３Ｄリグと呼ばれる左右２台のカメラを水平・垂直に設置する器具を用いる。図３（ａ）は３Ｄリグ一例を示す図であり、図３（ｂ）はシミュレーションに用いた３Ｄ画像の例であり、図３（ｃ）は左右画像の画素値（Ｇ）の確率密度関数を説明する図である。これは、人間の目と同じ間隔による撮影を可能とするものであり、ハーフミラーにより反射・透過する映像を撮影することになる。
【００６０】
このため、反射映像を左右反転するとともに、反射と透過による色・明るさの違いを揃える色補正処理が必要になる。色補正処理には、既知の色レベルからなるカラーチャート（色票）を用いる方法が知られているが、現実には、カラーチャートを必ず撮影することは運用上困難な場合も考えられる。
【００６１】
そこで、任意の撮影画像からの自己校正手法が提案されている。これには、画像中のコーナー等の特徴点を抽出し、左右の画像において特徴点を対応付ける方法が考えられるが、処理コストが掛かる。
【００６２】
本実施形態では、左右画像の画素値のヒストグラムから核関数により確率密度関数を計算し、その差を最小にする色補正パラメータを推定する。推定には、左右映像間の視差によるオクルージョンや、レベル飽和によるガマット誤差の影響を考慮して、ロバストＭ推定を用いる。
【００６３】
さらに、レベル制約を課すことによりカラーバランスを保った色補正や、時間方向に滑らかさの制約を課すことにより時系列推定の安定化も可能となる。画像のヒストグラムは濃淡画像処理をはじめとして、類似画像の検索ための特徴量として用いられる。医用画像では、ヒストグラムから計算される相互情報量（Ｍｕｔｕａｌ Ｉｎｆｏｒｍａｔｉｏｎ，ＭＩ）を最大にするように、複数のモダリティによる異種画像間の位置合わせに用いられる。
【００６４】
また、移動物体の追跡処理のために画素値の色ヒストグラムから核関数を用いて類似度を計算する平均値シフト法を用いる手法が知られている。一方、本願発明者は視程障害映像のコントラスト補正処理のために画素値のヒストグラムから核関数を用いて確率密度関数を計算し、コントラスト補正のためのパラメータをカルバックーライブラー情報量を最小化するように最適に推定した。
【００６５】
色補正処理としては、本願発明者らは、再撮モニタや複数台のカメラ間の色を合わせるために、先頭フレームに撮影した基準となるカラーチャート（色票）を自動認識して、観測誤差を考慮して色補正パラメータを最適に推定するとともに、ガマット誤差が含まれている映像に対しても、レベル制約付き最適推定とモデル選択を組み合わせることによって妥当な色補正結果を得るための方法を示した。また、画像間の見た目の色を揃えるために、画像をＬＭＳ色空間に変換して、それらの平均値、分散値を揃える処理を行うことが知られている。
【００６６】
複数台のカメラにより撮影された多視点映像の動画像圧縮符号化は、Ｈ．２６４／ＭＰＥＧ−４ＡＶＣの追加規格として標準化がなされ、Ｂｌｕ−ｒａｙ Ｄｉｓｃ（登録商標）に記録した３Ｄ映像の再生・表示を実現するための規格としても採用された。多視点映像において複数台のカメラの色補正を行う研究も進められている。
【００６７】
そこで以下、画素値のヒストグラムから核関数により確率密度関数を計算する方法を説明し、次に色補正に用いる色補正モデルとそれによる確率密度関数の変換について説明する。さらに、色補正パラメータのロバスト推定方法について説明し、続いてレベル制約付きパラメータ推定によるカラーバランスを保った色補正について、そして時系列推定を安定化するための時間方向の滑らかさの制約付きパラメータ推定について、順次説明する。また、それらの推定方法を確認するための画像シミュレーションについても述べる。
【００６８】
（核関数による確率密度関数の計算）
画像中のブロック領域における画素値に関する１次元のヒストグラムから核関数を用いて次のように確率密度関数を計算する。
【００６９】
【数１】
【００７０】
ここで、Ｉｊはブロック領域中の画素値であり、ｎはブロック領城中の総画素数である。Ｋ（・）は核関数であり、例えば、次のようなガウス関数を用いる。
【００７１】
【数２】
【００７２】
Ｗは核関数表現におけるバンド幅であり、ガウス関数を用いる場合には、次のように最適に決定される。
【００７３】
【数３】
【００７４】
σはブロック領域中の画素値の標本標準偏差である。式（１）をヒストグラムｈ（Ｉｊ）を用いて次のように書き直す。
【００７５】
【数４】
【００７６】
ここで、Ｎはヒストグラムの階級数である。注意すべきは、式（１）は、ブロック領域中のすべての標本画素値｛Ｉｊ｜ｊ＝１，・・・，ｎ｝をそのまま用いているが、式（４）では、ヒストグラムの階級における画素値（階級値）｛Ｉｊ｜ｊ＝１，・・・，Ｎ｝を用いることである。
【００７７】
式（４）はヒストグラムと核関数のたたみ込みと見なすことができる。核関数がガウス関数の場合、人工神経回路網のひとつである放射基底関数（Ｒａｄｉａｌ Ｂａｓｉｓ Ｆｕｎｃｔｉｏｎ，ＲＢＦ）ネットワークとしても知られている。
【００７８】
（色補正モデル）
色補正モデルとしては、ＲＧＢ３次元色空間において、ＲＧＢ毎に独立に次のような１次元アフィン補正を行うものとする。
【００７９】
【数５】
【００８０】
そのような色補正を行った場合の確率密度関数は式（４）より、次のようになる。
【００８１】
【数６】
【００８２】
ヒストグラムｈ（Ｉ´ｊ）≡ｈ（Ｉｊ）であるから、色補正を行った画像の確率密度関数は、補正前の原画像のヒストグラムのみから計算することができる。
【００８３】
（色補正パラメータのロバスト推定）
３Ｄ映像における左右画像Ｉ（Ｌ），Ｉ（Ｒ）の確率密度関数をｐ（Ｉ（Ｌ）），ｐ（Ｉ（Ｒ））と表す。左画像Ｉ（Ｌ）を基準画像として、右画像Ｉ（Ｒ）を色補正すると仮定する（勿論逆でも構わない）。色補正パラメータを推定するために、左右画像の画面中央領域における各々の画素値に関するヒストグラムから計算される確率密度関数の差が最小になる色補正パラメータを計算する。よく用いられるのは次のような最小二乗法である。
【００８４】
【数７】
【００８５】
左右画像のヒストグラムの計筧を行う領域には、視差によるオクルージョンのために、一方には含まれていない画素が発生する。そのような画素の影響を避けるためには、例えば、左右画像間の動き推定・補正処理を行うことが考えられるが、動き推定・補正処理にはコストが掛かる。
【００８６】
そのような画素が画像全体に占める領域は、局所的なものであるだろうから、ロバストＭ推定により対応が可能と考える。ロバストＭ推定はレベル飽和によりクリップされた画素によるガマット誤差への対応も期待される。
【００８７】
３次元ＲＧＢ色空間におけるＲＧＢ毎の１次元アフィン変換による色補正を用いると、ロバストＭ推定により、次の目的関数を最小化する色補正パラメータを推定する。
【００８８】
【数８】
【００８９】
ここで、ρ（・）は二乗よりは増加が遅く、０において最小値を取る対称で正の推定関数であり、例えば、次のようなものがある。
【００９０】
【数９】
【００９１】
σＭは次のように推定される。
【００９２】
【数１０】
【００９３】
図４は、σＭ＝１としたときの、ロバスト推定関数を二乗関数とともに説明する図である。色補正パラメータのロバストＭ推定の計算はガウス・ニュートン法により行う。式（８）に説明する目的関数Ｊを未知パラメータβ，γに関して微分すると、勾配は微分の連鎖則から計算できる。核関数により確率密度関数を計算するためのバンド幅Ｗ（式（３））は、ブロック領域の画素値の標準偏差によるから、反復毎に計算する。
【００９４】
パラメータの初期値には、オフセット項γはヒストグラムの重心（平均）、あるいはメジアン値を揃えるように計算する。ゲイン項βはヒストグラムの標準偏差、あるいはメジアン値から計算される次のようなメジアン絶対偏差（Ｍｅｄｉａｎ Ａｂｓｏｌｕｔｅ Ｄｅｖｉａｔｉｏｎ，ＭＡＤ）による（標準偏差の）比として計算する。
【００９５】
【数１１】
【００９６】
【数１２】
【００９７】
いずれもヒストグラムから簡単に計算することが可能である。最適化のための反復処理もすべてヒストグラムから核関数を用いて計算される確率密度関数による計算処理のため、画像に戻って画素毎の色補正処理とヒストグラムの計算を繰り返す必要がない。したがって、処理コストが劇的に低減可能である。
【００９８】
（５色補正パラメータのレベル制約付き推定）
色データは、例えば、ＲＧＢ３次元色空間のようにベクトルデータであり、ＲＧＢ毎に独立に色補正を行った場合には、白は厳密に白レベルに、黒は厳密に黒レベルに補正されるとは限らない。すなわち、ＲＧＢ毎に独立な推定では、カラーバランスを厳密に保つことができない。
【００９９】
そこで、厳密にカラーバランスを保つように色補正パラメータを推定するために、白は白レベルにする等、特定の色レベルが必ず特定の色レベルになるような色レベルに関する制約条件を課す。例えば、ＲＧＢ３次元色空間におけるＲＧＢ毎の１次元アフィン変換補正モデルにおいて、そのようなレベル制約を課した場合の目的関数Ｋは次のように書ける。
【０１００】
【数１３】
【０１０１】
ここで，λはラグランジュ未定乗数である。右画像の特定の色レベルＩａ（Ｒ）∈｛Ｒａ（Ｒ），Ｇａ（Ｒ），Ｂａ（Ｒ）｝が、左画像の特定の色レベルＩａ（Ｌ）∈｛Ｒａ（Ｌ），Ｇａ（Ｌ），Ｂａ（Ｌ）｝になるように、ＲＧＢ毎に目的関数Ｋを最小化する未知パラメータβ，γ，λを計算すればよい。
【０１０２】
白レベルを揃えるためには、左画像における輝度値最大になる画素を探索して、その画素位置を中心とする適当なブロック領域に対応する右画像の領域において輝度値が最大になる画素を探索して、それらの色レベルを対応させる。
【０１０３】
黒レベルを揃えるためには、左画像における輝度値最小になる画素を探索して、その画素位置を中心とする適当なブロック領域に対応する右画像の領域において輝度値が最小になる画素を探索して、それらの色レベルを対応させる。
【０１０４】
その他、画像中の特定の色レベルを手動により指定することもできる。ＲＧＢ信号から輝度色差信号ＹＣｂＣｒへの変換は、例えば、「松永力，最適コントラスト補正による視程障害画像の明瞭化，第１５回画像センシングシンポジウム（ＳＳＩＩ２００９）講演論文集，横浜（パシフィコ横浜）」の付録等に記載されている。
【０１０５】
レベル制約を課した場合にも、同様にガウス・ニュートン法により最適な色補正パラメータを推定することが可能である。初期値には、レベル制約を課さない場合の推定結果を用いる。
【０１０６】
３Ｄ映像における自動色補正処理は、ヒストグラム上での色補正パラメータ推定のため、処理コストが劇的に減少することが期待できる。しかし、フレーム毎の独立した推定結果による色補正は時間変動による妨害が生じるかもしれない。
【０１０７】
推定したパラメータに対する平滑化処理等の何らかの時系列処理が必要になるが、ＲＧＢ毎に独立に補正パラメータに対して平滑化処理を行うと、レベル制約を課すことによって保持したカラーバランスが崩れてしまう場合も想定される。そこで、補正パラメータの時系列平滑化とレベル制約を同時に満たすために、次のような目的関数の最小化を行う。
【０１０８】
【数１４】
【０１０９】
ここで、Ｉａ（Ｌ），Ｉａ（Ｒ）は、それぞれ左右画像において対応するレベル制約であり、λはラグランジュ未定乗数である。
は前フレームにおける推定パラメータである。
【０１１０】
つまり，レベル制約に加えて時間方向に滑らかさの制約を課した正則化により色補正パラメータを推定するものである。μは正則化パラメータである。Ｈｏｒｎ＆Ｓｃｈｕｎｃｋはオプティカルフローの推定において、空間的な滑らかさの制約による正則化を用いた。明示的な平滑化処理を行わずとも，パラメータ推定自体に平滑化作用が内在している。
【０１１１】
（同一画像による擬似３Ｄ画像シミュレーション）
３Ｄ画像の左画像の一部分を切り出して、擬似的な３Ｄ画像の左右画像とする。左画像は画像の中央領域から切り出したものとして、右画像は、そのような左画像に対してｅ画素だけ水平方向にシフトさせて切り出したものとする。シフト量（視差量に相当する）は、左画像に対して右にシフトする場合を正の方向とする。
【０１１２】
切り出し画像の水平サイズＨに対する比ｄ＝ｅ／Ｈ×１００（％）で表す。
そのようにして１枚の画像から生成した擬似的な３Ｄ画像において、左画像をＲＧＢ毎に独立に適当な色変換する。色変換を受けた左画像を基準画像として、右画像を左画像に揃える色補正パラメータを推定する。このとき、右画像にはＲＧＢ毎に独立に期待値０、標準偏差１の正規乱数誤差を加える。
【０１１３】
画素値の量子化数は８ビット２５６階調である。真の色補正パラメータは色変換パラメータになる。色変換パラメータを固定して、シフト量を変えたときの色補正パラメータを推定する。これを様々な画像を用いて行う。
【０１１４】
色補正のモデルとしては、式（５）のＲＧＢ毎に独立な１次元アフィン変換モデルを用いる。擬似的な３Ｄ画像のサイズは１２８０×７２０である。シフト量はｄ＝±５％の範囲で０．１％刻みとする。
【０１１５】
量子化誤差、観測誤差を防ぐために平滑化した左右画像の８０％中央領域における画素を用いて色補正パラメータを推定する。推定した色補正パラメータにより（誤差を含む）右画像を色補正したものと真の色補正パラメータにより（誤差を含まない）右画像を色補正したものとの二乗誤差画像のピークＳＮ比（ＰＳＮＲ）を計算して評価する。
【０１１６】
図５（ａ）はシミュレーションに用いた擬似的な３Ｄ画像例をサイドバイサイド表示したものである（シフト量はｄ＝２．９％で３７画素）。左右画像の画素値（Ｒ）のヒストグラムから核関数により計算した確率密度関数は図３（ｂ）のようになる。シフト量の絶対値が増すと、ピークＳＮ比がやや低下しているが、３Ｄ映像における快適な視聴範囲とされているｄ＝２．９％の範囲では、ほぼ十分な結果が得られている。グラフ中のひとつの線分が１枚の画像における結果に相当している。
【０１１７】
図６（ａ）の擬似３Ｄ画像例は、左画像の輝度を変換したものである。そのような左画像を基準として、右画像の明るさを揃える。このとき、左右画像中の最大輝度値を探索して対応付けて、最大輝度値の画素の色レベルをレベル制約として課すことにより、カラーバランスを保った色補正を試みる。
【０１１８】
推定した色補正パラメータによる色補正画像中の白レベル領域（赤枠：くの字状の屋根辺縁部の曲折部位右側の小さな四角枠）の画素値を色差信号に変換して、２次元色差空間にプロットする。レベル制約を課さないＲＧＢ毎の独立な色補正パラメータ推定による結果では、２次元色差空間上のプロットに偏りが見られるが、レベル制約付き色補正パラメータ推定による結果では、偏りがなくカラーバランスが保たれていることがわかる。
【０１１９】
（実際の３Ｄ画像シミュレーション）
１枚の画像から生成した擬似的な３Ｄ画像ではなく、２台のカメラで撮影された実際の３Ｄ画像を用いる。左画像を適当な色変換する。そのような色変換を受けた左画像を基準画像として、右画像を左画像に揃える色補正パラメータを推定する。真の色補正パラメータは色変換パラメータになる。
【０１２０】
左右画像中の最大輝度値を探索して対応付けて、最大輝度値の画素の色レベルをレベル制約として課す。図３（ｂ）はシミュレーションに用いた実際の３Ｄ画像をサイドバイサイド表示した図である。ＲＧＢ毎に既知の１次元アフィン変換により色変換した左画像を基準画像として、右画像を揃えるように色補正処理を行う。基準となる左画像の確率密度関数に、レベル飽和によりクリップされた画素によるガマット誤差が存在する場合でも、ロバストＭ推定により右画像の確率密度関数はマッチングしている（図３（ｃ）参照）。
【０１２１】
推定した色補正パラメータにより色補正した右画像と真の色変換パラメータにより色変換した右画像との二乗誤差画像のピークＳＮ比は６４．８［ｄＢ］であった。
【０１２２】
（３Ｄ映像における時系列推定シミュレーション）
実際の３Ｄ映像における左映像を適当な色変換を行い、右映像を左映像に揃える色補正パラメータを推定する。図７（ｂ）は、３Ｄ映像のフレーム番号に対する色補正パラメータの推定結果である。時間方向の正則化を行った場合（実線）と、正則化を行わずにフレーム毎に独立に推定した場合（破線）の両方の結果を重ねて表示する。時間方向の滑らかさの制約を課した正則化による安定化の効果が見られる。
【０１２３】
（まとめ）
また、３Ｄ映像における左右映像の色・明るさを揃えるために、画素値のヒストグラムから核関数により確率密度関数を計算し、その差を最小にする色補正パラメータをロバストＭ推定して色補正を行う自動色補正装置について開示した。
【０１２４】
また、実施形態の自動色補正装置は、左右画像中の最大輝度値を探索して対応付けて、その色レベルをレベル制約として課すことにより、カラーバランスを保った色補正を遂行できる。さらに、時間方向に滑らかさの制約を課すことにより時系列推定の安定化を行える。
【０１２５】
また、上述の実施形態においては、画素値のヒストグラムを８ビット２５６階調で例示的に説明したが、業務用ビデオ信号の規格とされている１０ビット１０２４階調としてもよく、７ビット１２８階調としてもよいのであって、これに限定されるものではない。
【０１２６】
実施形態で説明した自動色補正装置は、実施形態での説明に限定されることはなく、自明な範囲でその構成を変更し、演算処理を変更することができる。
【産業上の利用可能性】
【０１２７】
本発明は、３Ｄ映像編集やライブ映像切替え用途における放送業界やマルチメディア業界やアーカイブマーケット等において広く応用展開し利用でき、映像の色補正処理や濃淡画像処理に展開できる。
【符号の説明】
【０１２８】
１００・・色ヒストグラム演算部、２００・・色ヒストグラム演算部、３００・・確率密度関数演算部、４００・・確率密度関数演算部、５００・・色補正パラメータ算出部、６００・・色補正処理部、１０００・・自動色補正装置。
【特許請求の範囲】
【請求項１】
撮影して取得した二つの映像間において色補正を遂行する色補正装置において
前記取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出部と、
前記色ヒストグラム算出部が算出した色ヒストグラムから確率密度関数を各々算出する確率密度関数算出部と、
前記確率密度算出部が算出した各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出部とを備え、
前記色補正パラメータ算出部が算出した色補正パラメータを、前記取得した二つの映像の少なくともいずれか一方に適用して色補正する
ことを特徴とする色補正装置。
【請求項２】
請求項１に記載の色補正装置において、
前記二つの映像は、３Ｄ映像用の右画像と左画像とである
ことを特徴とする色補正装置。
【請求項３】
請求項１または請求項２に記載の色補正装置において、
レベル制約によるホワイトバランスを維持した色補正パラメータを算出するか、または、時間方向の滑らかさの制約による平滑化作用を伴った色補正パラメータを算出するか、の少なくともいずれかの色補正パラメータを算出する
ことを特徴とする色補正装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の色補正装置において、
前記色補正パラメータ算出部は、前記取得した二つの映像の各確率密度関数の差が最小となる色補正パラメータを算出する
ことを特徴とする色補正装置。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載の色補正装置における色補正方法であって、
前記取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出工程と、
前記色ヒストグラム算出工程で算出された色ヒストグラムから確率密度関数を各々算出する確率密度関数算出工程と、
前記確率密度算出工程で算出された各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出工程と、
前記色補正パラメータ算出工程で算出された色補正パラメータを、前記取得した二つの映像の少なくともいずれか一方に適用して色補正する工程とを有する
ことを特徴とする色補正方法。
【請求項６】
請求項５に記載の色補正方法において、
前記二つの映像は、３Ｄ映像用の右画像と左画像とである
ことを特徴とする色補正方法。
【請求項７】
請求項５または請求項６に記載の色補正方法において、
レベル制約によるホワイトバランスを維持した色補正パラメータを算出するか、または、時間方向の滑らかさの制約による平滑化作用を伴った色補正パラメータを算出するか、の少なくともいずれかの色補正パラメータを算出する
ことを特徴とする色補正方法。
【請求項８】
請求項５乃至請求項７のいずれか一項に記載の色補正方法において、
前記色補正パラメータ算出工程において、前記取得した二つの映像の各確率密度関数の差が最小となる色補正パラメータを算出する
ことを特徴とする色補正方法。
【請求項９】
請求項５乃至請求項８のいずれか一項に記載の色補正方法の各工程をコンピュータに順次遂行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムが格納されたコンピュータが読み取り可能な記憶媒体。
【請求項１】
撮影して取得した二つの映像間において色補正を遂行する色補正装置において
前記取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出部と、
前記色ヒストグラム算出部が算出した色ヒストグラムから確率密度関数を各々算出する確率密度関数算出部と、
前記確率密度算出部が算出した各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出部とを備え、
前記色補正パラメータ算出部が算出した色補正パラメータを、前記取得した二つの映像の少なくともいずれか一方に適用して色補正する
ことを特徴とする色補正装置。
【請求項２】
請求項１に記載の色補正装置において、
前記二つの映像は、３Ｄ映像用の右画像と左画像とである
ことを特徴とする色補正装置。
【請求項３】
請求項１または請求項２に記載の色補正装置において、
レベル制約によるホワイトバランスを維持した色補正パラメータを算出するか、または、時間方向の滑らかさの制約による平滑化作用を伴った色補正パラメータを算出するか、の少なくともいずれかの色補正パラメータを算出する
ことを特徴とする色補正装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の色補正装置において、
前記色補正パラメータ算出部は、前記取得した二つの映像の各確率密度関数の差が最小となる色補正パラメータを算出する
ことを特徴とする色補正装置。
【請求項５】
請求項１乃至請求項４のいずれか一項に記載の色補正装置における色補正方法であって、
前記取得した二つの映像から画素値の色ヒストグラムを各々算出する色ヒストグラム算出工程と、
前記色ヒストグラム算出工程で算出された色ヒストグラムから確率密度関数を各々算出する確率密度関数算出工程と、
前記確率密度算出工程で算出された各々の確率密度関数からロバストＭ推定による色補正パラメータを算出する色補正パラメータ算出工程と、
前記色補正パラメータ算出工程で算出された色補正パラメータを、前記取得した二つの映像の少なくともいずれか一方に適用して色補正する工程とを有する
ことを特徴とする色補正方法。
【請求項６】
請求項５に記載の色補正方法において、
前記二つの映像は、３Ｄ映像用の右画像と左画像とである
ことを特徴とする色補正方法。
【請求項７】
請求項５または請求項６に記載の色補正方法において、
レベル制約によるホワイトバランスを維持した色補正パラメータを算出するか、または、時間方向の滑らかさの制約による平滑化作用を伴った色補正パラメータを算出するか、の少なくともいずれかの色補正パラメータを算出する
ことを特徴とする色補正方法。
【請求項８】
請求項５乃至請求項７のいずれか一項に記載の色補正方法において、
前記色補正パラメータ算出工程において、前記取得した二つの映像の各確率密度関数の差が最小となる色補正パラメータを算出する
ことを特徴とする色補正方法。
【請求項９】
請求項５乃至請求項８のいずれか一項に記載の色補正方法の各工程をコンピュータに順次遂行させるためのプログラム。
【請求項１０】
請求項９に記載のプログラムが格納されたコンピュータが読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２３８９３２（Ｐ２０１２−２３８９３２Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１１−１０４７９４（Ｐ２０１１−１０４７９４）
【出願日】平成２３年５月９日（２０１１．５．９）
【出願人】（３９１０４０３２０）株式会社朋栄 (16)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２３年５月９日（２０１１．５．９）
【出願人】（３９１０４０３２０）株式会社朋栄 (16)
【Ｆターム（参考）】
[ Back to top ]