色補正装置と色補正方法とビデオカメラシステム
【課題】ガマット誤差や観測誤差が存在しているような場合でも、適切な色補正パラメータを演算し、ビデオカメラによる撮影画像に対して適用してこれを補正できる色補正装置と色補正方法等を提供することを目的とする。
【解決手段】カラー基準信号を記憶するリファレンス記憶部と、カラー基準信号に対応するカラー基準映像の表示をする再撮モニタを撮影した再撮モニタ撮影信号が入力されるバッファと、バッファが記憶する再撮モニタ撮影信号と、リファレンス記憶部が記憶するカラー基準信号と、を比較し、再撮モニタ撮影信号とカラー基準信号との差異を低減するように補正パラメータを算出する比較演算部と、算出された補正パラメータを記憶する補正パラメータ記憶部と、入力された映像データに対して、補正パラメータ記憶部に記憶された補正パラメータに基づく補正処理を遂行する補正処理部とを備える色補正装置とする。
【解決手段】カラー基準信号を記憶するリファレンス記憶部と、カラー基準信号に対応するカラー基準映像の表示をする再撮モニタを撮影した再撮モニタ撮影信号が入力されるバッファと、バッファが記憶する再撮モニタ撮影信号と、リファレンス記憶部が記憶するカラー基準信号と、を比較し、再撮モニタ撮影信号とカラー基準信号との差異を低減するように補正パラメータを算出する比較演算部と、算出された補正パラメータを記憶する補正パラメータ記憶部と、入力された映像データに対して、補正パラメータ記憶部に記憶された補正パラメータに基づく補正処理を遂行する補正処理部とを備える色補正装置とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色補正装置と色補正方法とビデオカメラシステムとに関する。
【背景技術】
【０００２】
放送局用ビデオカメラを複数台用いて撮影する場合には、使用するビデオカメラ間での厳密な色合わせが必要となる。一般には、このようなビデオカメラ間での色合わせは、放送局等のスタッフが予め手動で調整することが知られている。
【０００３】
放送局用ビデオカメラにおいては、各ビデオカメラ毎に、ＣＣＤ（電荷結合素子）等の撮像素子の前面に配置されるカラーフィルタや色分解プリズムの分光特性が微妙に異なる。このため、ビデオカメラ間での色合いを補正しない場合には、同一の対象を撮影する場合でも、撮影された出力映像の色あいがビデオカメラ間で異なることとなってしまう。
【０００４】
複数のビデオカメラ間で色合わせを行う技術としては、基準となる撮像装置と、この基準となる撮像装置に対して色あいを整合させる他の撮像装置とで、所定の同色、例えばカラーチャート内の各色を同じ条件で撮影し、撮影の結果得られた撮影データを比較して、色あいを整合させるべき他のビデオカメラから出力される色データを適宜補正する補正方法が提案されている。
【０００５】
また、基準となるビデオカメラを必要とせずに、各ビデオカメラ毎の操作によって、容易に複数のビデオカメラ間の色合わせを行うことができるようにした色補正装置を実現することを目的とし、所定の色についての基準となる色情報を発生する基準色情報発生手段を備えるとともに、基準色情報発生手段によって発生される情報とビデオカメラによって所定の色を撮像して得られる信号とに基づいて決定される補正内容に従って、ビデオカメラによって撮像して得られる信号を補正する補正手段を備えることにより、ビデオカメラによって撮像して得られる信号に基づく色を基準となる色に合わせる提案が、例えば下記特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２８５６１０号公報
【非特許文献１】K. Kanatani, Statistical Optimization for GeometricComputation: Theory and Practice, Elsevier Science,Amsterdam, The Netherlands (1996); reprinted DoverPublications, New York, U.S.A. (2005).
【非特許文献２】金谷健一, 菅谷保之, 制約付きパラメータ推定のための拡張FNS 法, 情報処理学会研究報告, 2007-CVIM-158-4,(2007-3), 鹿児島市(鹿児島大), 25-32.
【非特許文献３】新妻弘崇, 金谷健一, 最適な射影変換の新しい計算アルゴリズム, 情報処理学会研究報告, 2009-CVIM-169-37,(2009-11), 金沢市(金沢工業大学), 1-8.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、オペレータが色補正を手動で遂行する場合には、相当の熟練と工数とがかかることとなる。また、色補正パラメータを、簡便な最小二乗法を用いて算出する場合には、正確な補正パラメータが算出できない懸念が生じる。
【０００８】
特に、ガマット誤差や観測誤差を補正できるように考慮された補正パラメータの演算は従来為されておらず、白バランスや黒バランスが取れないという問題が生じていた。
【０００９】
本発明はこのような問題点に鑑みなされたものであり、ガマット誤差や観測誤差が存在しているような場合でも、適切な色補正パラメータを演算し、ビデオカメラによる撮影画像に対して適用してこれを補正できる色補正装置と色補正方法等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の色補正装置は、カラー基準信号を記憶するリファレンス記憶部と、カラー基準信号に対応するカラー基準映像の表示をする再撮モニタを撮影した再撮モニタ撮影信号が入力されるバッファと、バッファが記憶する再撮モニタ撮影信号と、リファレンス記憶部が記憶するカラー基準信号と、を比較し、再撮モニタ撮影信号とカラー基準信号との差異を低減するように補正パラメータを算出する比較演算部と、算出された補正パラメータを記憶する補正パラメータ記憶部と、入力された映像データに対して、補正パラメータ記憶部に記憶された補正パラメータに基づく補正処理を遂行する補正処理部とを備えることを特徴とする。
【００１１】
また、本発明の色補正装置は、好ましくはカラー基準信号をリファレンス記憶部から読み出して再撮モニタに出力することにより、カラー基準信号に対応するカラー基準映像を再撮モニタに表示させることを特徴とする。
【００１２】
また、本発明の色補正装置は、さらに好ましくは補正処理部が、リファレンス記憶部に記憶されたカラー基準信号を読み出して、カラー基準信号に対して補正パラメータに基づく補正処理を遂行して検証信号を再撮モニタに出力し、バッファは、検証信号を表示する再撮モニタを撮影した再撮モニタ撮影検証信号が入力され、比較演算部は、リファレンス記憶部に記憶されたカラー基準信号と、バッファが記憶する再撮モニタ撮影検証信号とを比較して、差異の有無を検証することを特徴とする。
【００１３】
また、本発明のビデオカメラシステムは、上述のいずれかの色補正装置と、カラー基準信号に対応したカラー基準映像を表示する再撮モニタと、再撮モニタを撮影した再撮モニタ撮影信号を色補正装置に出力するビデオカメラとを備えることを特徴とする。
【００１４】
また、本発明の色補正方法は、上述のいずれかの色補正装置を用いて再撮モニタを撮影した映像の色合いを補正する色補正方法であって、再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程と、再撮モニタに表示されたカラー基準映像を撮影したビデオカメラから再撮モニタ撮影信号を取得する工程と、取得した再撮モニタ撮影信号と、リファレンス記憶部に記憶するカラー基準信号と、を比較して補正パラメータを算出する工程と、算出した補正パラメータを用いて入力された映像信号に対して補正処理を遂行する工程とを有することを特徴とする。
【００１５】
また、本発明の色補正方法は、好ましくは再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程は、リファレンス記憶部に記憶するカラー基準信号を色補正装置が出力し、出力に基づいたカラー基準映像を再撮モニタに表示させる工程であることを特徴とする。
【発明の効果】
【００１６】
ガマット誤差や観測誤差が存在しているような場合でも、適切な色補正パラメータを演算し、ビデオカメラによる撮影画像に対して適用してこれを補正できる色補正装置と色補正方法等を提供できる。
【図面の簡単な説明】
【００１７】
【図１】再撮モニタへ出力する映像信号に対して適用するべき補正パラメータを算出する場合のビデオカメラシステムを説明する概念図である。
【図２】色補正装置が算出して記憶した補正パラメータが適切であるか否かを検証する場合のビデオカメラシステムについて説明する概念図である。
【図３】予め補正パラメータの算出やその検証が終了した色補正装置を用いて、現実の再撮モニタの撮影処理をする場合のビデオカメラシステムを説明する概念図である。
【図４】色補正装置の比較演算部についてさらに詳細に説明する概念図である。
【図５】ビデオカメラシステムにおける色補正装置の処理フローを説明する概要図である。
【図６】計算した３次元アフィン変換のＲＭＳ誤差を説明する図である。
【図７】（ａ）が理想ランプ（ｒａｍｐ）画像と波形表示、（ｂ）が色変換画像と波形表示、（ｃ）がクリップされたデータを除外した場合の１次式による色補正モデル、（ｄ）が色補正モデル（ｃ）による色補正画像と波形表示、（ｅ）がレベル制約を課した多項式色補正モデル、（ｆ）色補正モデル（ｅ）の４次多項式モデルによる色補正画像と波形表示を説明する図である。
【図８】マクベスチャート等の標準的な既知のカラーチャートを、複数のビデオカメラで撮影し、色補正装置を用いて補正する場合について説明する概要図である。
【図９】色変換モデルの例（３次元アフィン変換）である。
【図１０】色変換モデルの例（３次元アフィン変換＋クリップ処理）である。
【発明を実施するための形態】
【００１８】
本実施形態の色補正装置は、複数台の再撮モニタやカメラの色調整を自動化するために、カラーチャートを撮影した画像から、その色レベルを画像処理によって自動的に認識する。
【００１９】
取得した色レベルが既知のカラーチャートのオリジナルの色レベルとなるように、再撮モニタへの出力を補正するための色補正パラメータを、色レベルの観測誤差や色空間におけるガマット誤差の影響を考慮して最適に計算し、補正処理を遂行する色補正装置となる。
【００２０】
また、実施形態の色補正装置は、従来のように人手による外観観察に依存した色補正をすることはなく、かつ最小二乗法によって色補正パラメータを算出するものではない。このため、実施形態の色補正装置は、観測誤差やガマット誤差の影響により色補正パラメータが正確に算出できず、特にガマット誤差に起因して白バランスや黒バランスが取れないとの従来の問題を解決できる。
【００２１】
また、ガマット誤差が存在する場合でも、複数の色補正モデルを仮定した計算（多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法）した結果から最適なモデルを選択適用し、好ましくは白レベルまたは黒レベルをレベル制約とした演算処理とする色補正装置を実現できる。
【００２２】
この色補正装置により、いわゆる白とび黒つぶれといったクリップ処理によるいわば足切りされた上限または下限の映像データについても、自然な色合いとなるように補正することが可能となり、すなわちガマット誤差についても対応可能となる。
（実施形態の概要）
【００２３】
図１は、再撮モニタへ出力する映像信号に対して適用するべき補正パラメータを算出する場合のビデオカメラシステム１０００を説明する概念図である。
【００２４】
図１において、再撮モニタ２００は例えばスタジオ内等に設置されており、複数の照明２５０（１），２５０（２）により演出されている。また、色補正装置１００は、カラー基準信号を予め記憶しているリファレンス記憶部１５０を備える。
【００２５】
カラー基準信号は、既知の基準となる色あいを表現する例えばＲＧＢ信号強度であってもよく、典型的にはマクベスカラーチャート等のキャリブレーションターゲットを所定の条件下で撮影して取得した複数色各々の基準信号である。
【００２６】
再撮モニタ２００は、色補正装置１００から取得したカラー基準信号をカラー基準映像２１０として表示する。また、ビデオカメラ３００は、カラー基準映像２１０が表示された再撮モニタ２００を撮影した再撮モニタ撮影信号を、色補正装置１００へ出力する。
【００２７】
色補正装置１００は、ビデオカメラ３００から取得した再撮モニタ撮影信号をフレームバッファ１４０に記憶する。また、色補正装置１００は、リファレンス記憶部１５０に記憶するカラー基準信号と、フレームバッファ１４０に記憶する再撮モニタ撮影信号とを比較演算し、再撮モニタ撮影信号とカラー基準信号との差異を低減させるため、再撮モニタ２００に付与する映像信号に遂行するべき補正パラメータを算出する比較演算部１３０を備える。
【００２８】
また、色補正装置１００は、比較演算部１３０で算出された補正パラメータを記憶する補正パラメータ記憶部１１０を備える。また、色補正装置１００は、入力された撮影映像やＶＴＲ映像に対して、補正パラメータ記憶部１１０に記憶している補正パラメータに基づいた補正処理を遂行して出力する補正処理部１２０を備える。
【００２９】
これにより、色補正装置１００に入力されたＶＴＲ映像等は、補正処理部１２０において補正パラメータ記憶部１１０に記憶している補正パラメータに基づいてガマット誤差や観測誤差が適切に補正され、再撮モニタ２００に出力されて表示されることとなる。従って、ビデオカメラ３００で撮影した映像の中に含まれる再撮モニタ２００の表示画面は、色合いが自然で適切な映像として鑑賞できることとなる。
【００３０】
図２は、色補正装置１００が算出して記憶した補正パラメータが適切であるか否かを検証する場合のビデオカメラシステム２０００について説明する概念図である。図２においては、図１と対応する部位には同一の符号を付して、説明の重複を避けるためにここではその説明を省略する。
【００３１】
図２に示すように、色補正装置１００の補正処理部１２０は、補正パラメータ記憶部１１０に記憶した補正パラメータを用いて、リファレンス記憶部１５０に予め記憶しているカラー基準信号に対して補正処理を遂行する。
【００３２】
補正処理されたカラー基準信号は検証信号として再撮モニタ２００に出力されて、出力された検証信号に対応する検証映像２２０として再撮モニタ２２０に表示される。再撮モニタ２２０に表示された検証映像２２０は、ビデオカメラ３００で撮影され、再撮モニタ撮影検証信号として色補正装置１００にフィードバックされる。
【００３３】
比較演算部１３０は、リファレンス記憶部１５０が記憶するカラー基準信号と、ビデオカメラ３００からフィードバックされた再撮モニタ撮影検証信号とを比較し、再撮モニタ撮影検証信号がカラー基準信号から色ずれを生じているか否かを検証する。比較演算部１３０は、検証した結果をビデオエンジニア等のオペレータに通知するように出力してもよい。
【００３４】
この処理により、補正パラメータが適切であるか否かを検証することができる。補正パラメータは、再撮モニタ２００の配置環境、例えば照明２５０（１），２５０（２）の種類や数や位置、および再撮モニタ２００自体の特性によっても異なるものとなることが予想される。このため、色補正装置１００が、適宜検証処理を遂行し、各場面において補正パラメータが適切であるのか否か確認することが好ましい。
【００３５】
また、ビデオカメラ３００が撮影して出力した再撮モニタ撮影検証信号は、マスタモニタ４００に入力されて表示され、その表示画面中には検証映像２２０を表示する再撮モニタ２００が、再撮モニタ検証映像４１０として表示される。
【００３６】
再撮モニタ検証映像４１０は、視聴者が見るべき映像の色合いを反映した映像である。すなわち、色補正装置１００は、視聴者が見るビデオカメラ３００からの出力映像に含まれる再撮モニタ２００の画面映像を、自然な色合いとして表示されるように補正するものである。
【００３７】
これにより、例えばニュース番組等において、視聴者が見る画面内にニュースキャスターの背景に設置された他の再撮モニタが含まれる場合に、再撮モニタ内すなわち画面内の小さな画面内に表示される映像についても、色合いが自然になるように補正処理をする色補正装置を実現できる。
【００３８】
図３は、予め補正パラメータの算出やその検証が終了した色補正装置１００を用いて、現実の再撮モニタの撮影処理をする場合のビデオカメラシステムを説明する概念図である。
【００３９】
色補正装置１００には、ＶＴＲ映像や他のビデオカメラによる撮影映像が入力される。入力映像は、補正処理部１２０において、補正パラメータ記憶部１１０に記憶される補正パラメータを用いて色補正処理が遂行される。
【００４０】
色補正処理が遂行された入力映像は、色補正装置１００から再撮影モニタ２００へと伝送されて画面表示２３０される。再撮モニタ２００は、例えばニュースキャスター等の背景に設置されて照明２５０（１），２５０（２）等により演出される。
【００４１】
演出が施された再撮モニタ２００は、ニュースキャスターと共にビデオカメラ３００により撮影される。通常、演出効果は、スタジオ内の現実の有体物（例えばキャスターの衣服や人物自体）等をターゲットとして調整されるため、同じ演出下で撮影された再撮モニタ２００内の画面表示２３０は、一般にはビデオカメラ３００で撮影した場合に色合いが不自然になることが知られている。
【００４２】
しかし、色補正装置１００は、ビデオカメラ３００で撮影された映像中に含まれる再撮モニタ２００の画面表示２３０が自然な色合いとなるように、予め算出した補正パラメータを用いて補正された入力映像を、再撮モニタ２００に表示させる。
【００４３】
このため、図３に示すように、ビデオカメラ３００で撮影した映像をマスタモニタ４００に表示させた場合に、マスタモニタ４００の画面内に含まれる再撮モニタ２００が表示する再撮モニタ入力映像４２０は、別途ビデオエンジニア等によるマニュアル補正処理をする必要がなく、自然な色合いの画面として表示されることとなる。
【００４４】
なお、図１乃至図３においては、説明の便宜上、ビデオカメラ３００が一台である場合について説明したが、ビデオカメラ３００は複数台備えられるビデオカメラシステムとしてもよい。複数台の場合には各ビデオカメラ３００間の色補正については、相互に差異がないように予め別途調整されていることが好ましい。
【００４５】
また、図１乃至図３においては、説明の便宜上、再撮モニタ２００が一台である場合について説明したが、再撮モニタ２００は複数台備えられてもよい。複数台の再撮モニタ２００各々に対応した適切な補正パラメータが色補正装置１００により演算されて、記憶される。そして、色補正装置１００から各再撮モニタ２００に対して、それぞれ別個独立に補正処理された映像信号を出力して表示させてもよい。この場合には、各再撮モニタ２００に対応して各々複数の補正パラメータ記憶部１１０を備えてもよく、色補正装置１００のその他の機能についても各再撮モニタ２００に対応して複数備えてもよい。
【００４６】
また、複数の再撮モニタ２００の特性や配置環境、演出等が全く同一であって、同一の補正パラメータによる処理が好ましい場合には、複数の再撮モニタ２００に対して同一の補正パラメータを適用して補正処理した映像を出力して表示させてもよい。
【００４７】
図４は、色補正装置１００の比較演算部１３０についてさらに詳細に説明する概念図である。図４に示すように、比較演算部１３０は、多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法による複数モデル演算部１３１を備える。
【００４８】
多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法による複数モデル演算部１３１は、多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法の少なくともいずれかの方法による補正モデルの演算をするものとする。演算される補正モデルは、例えば３次元並進変換モデル、剛体変換モデル、相似変換モデル、アフィン変換モデル、射影変換モデル等としてもよい。
【００４９】
多拘束ＦＮＳ法は観測誤差を良好に補正することが可能であり、多拘束拡張ＦＮＳ法は黒レベル制約または白レベル制約とするので観測誤差に加えてガマット誤差を良好に補正することができる。多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法による複数モデル演算部１３１は、最小二乗法による解を初期値としてそれを反復することにより、最適解を計算する。このため、数値計算としては、行列の固有値・固有ベクトルの計算を収束判定条件が満たされるまで、繰り返して実行することとなる。一方、従来手法の最小二乗法の場合には一回の固有値計算のみで終了することとなります。
【００５０】
また、比較演算部１３０は、算出された複数モデルのなかから最適モデルを選択するための基準を決定する選択基準算出部１３３を備える。選択基準算出部１３３は、モデルの当てはまりの良さ（すなわちパラメータ数の多さ）だけでモデル選択が為されることがないように、当てはまりとパラメータ数の小さなモデルが選択されるような基準を算出する。
【００５１】
より具体的には、選択基準算出部１３３は、幾何学的ＡＩＣまたは幾何学的ＭＤＬのいずれか任意の一つを選択基準として演算する。
【００５２】
ここでモデル選択について金谷の論文に詳述されているので、これを一部引用して以下簡単に基本となる概念について説明する。
【００５３】
「平面上に与えられた複数の点に直線、または２次曲線、または３次曲線、またはそれ以上の次数の曲線を当てはめたいとする。何を当てはめたらよいであろうか。素朴なアイディアは、まず直線、２次曲線、３次曲線、・・・ を順に当てはめ、データ点との食い違い（これを数量的に評価したものを「残差」と呼ぶ）が最も小さいものを選ぶことである。しかし、これではうまくいかない。なぜなら、高次の曲線ほどデータ点によく当てはまり、十分高い次数の曲線を選べばすべてのデータ点を通るもの（残差が０）が得られるからである。これは本来の目的に合わない。なぜなら、曲線を当てはめる目的は背後にある「真の曲線」を少数のしかも誤差のあるデータから推定することだからである。一般に、誤差のあるデータから真の構造を推定するために導入する未知パラメータをもつ数式を「モデル」と呼ぶ。当然、調節するパラメータの個数（これを「自由度」と呼ぶ）が多いほどデータによく合致する（すなわち残差が減少する）。そして、自由度が十分大きいほどモデルがデータの誤差によくフィットしてしまう。これを防いで最も適切なモデルを選ぶにはどうすればよいであろうか。これが「モデル選択」の課題である。（モデル選択規準について）上記の問題は次のように考えることもできる。曲線当てはめでは、直線は２次曲線の２次の係数が０になる特別の場合である。同様に、２次曲線は３次曲線の特別な場合であり、３次曲線は４次曲線の特別な場合である。すなわち、それぞれの次数の曲線の集合には包含関係があり、直線の集合は２次曲線の集合の部分集合であり、２次曲線の集合は３次曲線の集合の部分集合であり、どの次数の曲線の集合もより高い次数の集合の部分集合である。一方、残差は観測データとモデルとの「距離」に相当している。残差を最小にするモデルとは観測データに最も「近い」モデルにほかならない。しかし、モデルに包含関係があると、最も近いモデルは当然ながら最も大きい集合から選ばれる。なぜなら、部分集合に限定すると距離は増えこそすれ減ることはないからである。このことから、部分集合の元が選ばれるためには距離だけでなく、より自由度の小さいモデルを優先する何らかの評価が必要である。これを測るのが「モデル選択規準」であり、一般に次の形をしている。（残差）＋（自由度に対するペナルティ） 第１項の残差を減らそうとして高い自由度のモデルを選べば第２項が大きくなる。それに対して、両者の和を最小にするモデルを選べば両者がバランスするものが選ばれる。このようなモデル選択規準として「赤池のＡＩＣ」、「Ｓｃｈｗａｒｚ のＢＩＣ」、 「Ｒｉｓｓａｎｅｎ のＭＤＬ」、 「Ｍａｌｌｏｗｓ のＣｐ」などいろいろなものが提案されている。しかし、どのモデルが選ばれるかは用いる規準に依存し、絶対的なものはない」（金谷健一，モデル選択による動画像理解，ＴＥＬＥＣＯＭ ＦＲＯＮＴＩＥＲ， Ｎｏ． ４４， Ａｕｇｕｓｔ ２００４， ｐｐ． ４−１０．）。
【００５４】
また、比較演算部１３０は、選択基準算出部１３３で算出された基準に従って、適用するべき色補正モデルを選択する色補正モデルの選択部１３２を備える。色補正モデルの選択部１３２は、選択基準算出部１３３で算出された基準に従って計算し、計算された結果が最小の値となるモデルを選択する。直感的には、計算結果が最小の値となるモデルが、パラメータの数が比較的少なくかつフィッティングが良好であるバランスの取れたモデルであるということができる。
【００５５】
また、比較演算部１３０は、選択された色補正モデルに基づいて補正パラメータを算出する補正パラメータ算出部１３４を備える。補正パラメータ算出部１３４が算出する補正パラメータは、例えばＲＧＢ色空間においては、ＲＧＢ各々の白レベル、黒レベル、ガンマレベルの計９個の補正パラメータとしてもよい。
【００５６】
図５は、ビデオカメラシステム１０００における色補正装置１００の処理フローを説明する概要図である。以下、図８に示すフローに従って、順次色補正装置１００の処理について説明する。
【００５７】
（ステップＳ５１０）
色補正装置１００は、リファレンス記憶部１５０に記憶しているカラー基準信号を再撮モニタ２００に出力する。カラー基準信号は、マクベスチャートの画像信号やカラーバーの画像信号等、映像業界において色合い校正（ｃｏｒｒｅｃｔｉｏｎ）に用いられる複数の色領域から構成されたキャリブレーションターゲットの画像信号を用いることができる。
【００５８】
また、リファレンス記憶部１５０に記憶しているカラー基準信号と同一のカラー基準信号を記憶した他のリファレンス出力装置を別途備え、色補正装置１００からの出力に代えてリファレンス出力装置から再撮モニタ２００に対して当該カラー基準信号を供給してもよい。
【００５９】
（ステップＳ５２０）
再撮モニタ２００が、色補正装置１００から入力されたカラー基準信号に対応するカラー基準映像２１０を表示する。
【００６０】
（ステップＳ５３０）
カラー基準映像２１０を表示する再撮モニタ２００を、所望の演出効果が為された環境下でビデオカメラ３００が撮影する。ここで、予め補正パラメータを算出しようとする場合の所望の演出効果とは、その後の現実のビデオカメラ３００による本番撮影時に再撮モニタ２００に対して為される照明等環境条件と同一のものとすることが好ましい。
【００６１】
（ステップＳ５４０）
色補正装置１００は、カラー基準映像２１０を表示した再撮モニタ２００を撮影したビデオカメラ３００の再撮モニタ撮影信号を、フレームバッファ１４０に取り込む。
【００６２】
（ステップＳ５５０）
比較演算部１３０の多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法による複数モデル演算部１３１は、複数の色補正モデルを算出する。色補正モデルは、後述する式（１３）における自由度を示すパラメータｈの個数（最大で１２個）に対応して、異なるものとなる。
【００６３】
（ステップＳ５６０）
色補正モデルの選択部１３２は、選択基準算出部１３３が算出した基準に従い、その値が最小となる色補正モデルを最適なものとして選択する。一般に、色補正モデルは、パラメータの数を増大させて演算量を増大させる程より緻密かつフィッティングしたモデルとなることが知られている。一方で、パラメータの数を増大すればするほど演算負荷が増大するので演算処理時間や消費電力や発熱量が増大するトレードオフの関係にある。
【００６４】
しかし、色補正装置１００の色補正モデルの選択部１３２は、選択基準算出部１３３が算出した基準に従い、パラメータの数を増大させすぎずかつフィッティングとのバランスがとれたモデルを選択することができる。
【００６５】
（ステップＳ５７０）
補正パラメータ算出部１３４は、ステップＳ５６０で選択された色補正モデルを用いて補正パラメータを算出する。典型的には、補正パラメータ算出部１３４は、ＲＧＢ各々についての白レベル、黒レベル、ガンマレベルを算出することができる。
【００６６】
（ステップＳ５８０）
色補正装置１００の補正パラメータ記憶部１１０は、ステップＳ５７０で算出された補正パラメータを記憶する。なお、再撮モニタ２００が複数台ある場合には、各再撮モニタに対応して補正パラメータを各々算出し記憶してもよい。上述したステップＳ５１０乃至ステップＳ５８０までが、現実の補正処理を入力映像に遂行するための準備段階である。なお、ステップＳ５８０の終了後、図２においてすでに説明した検証段階を有することとしてもよい。
【００６７】
（ステップＳ５９０）
再撮モニタ２００に表示させるＶＴＲ映像や撮影映像等の入力が、色補正装置１００に対してあるかないかを判断する。再撮モニタ２００に表示させるＶＴＲ映像や撮影映像等の入力がある場合には、ステップＳ５ａ０へと進む。再撮モニタ２００に表示させるＶＴＲ映像や撮影映像等の入力がない場合には、ステップＳ５９０で待機する。
【００６８】
（ステップＳ５ａ０）
補正処理部１２０は、補正パラメータ記憶部１１０に記憶された補正パラメータを用いて入力映像を補正する。
【００６９】
（ステップＳ５ｂ０）
再撮モニタ２００が、補正された入力映像２３０を表示する。
【００７０】
（ステップＳ５ｃ０）
補正された入力映像２３０を表示している再撮モニタ２００を、ビデオカメラ３００が撮影する。なお、ビデオカメラ３００自体については、予め色合い調整済であることが好ましい。
【００７１】
（ステップＳ５ｄ０）
ビデオカメラ３００で取得した映像を、マスタモニタ４００に表示する。マスタモニタ４００に表示された画像中には、補正された入力映像２３０を表示している再撮モニタ２００（すなわち再撮モニタ入力映像４２０）が存在する。
【００７２】
補正された入力映像２３０は、再撮モニタ２００に対する演出やその表示特性を色補正装置１００により予め補正されているので、ビデオカメラ３００で再撮モニタ２００と同アングル内に撮影されたニュースキャスター等の被写体と同等の自然な色合いとして、マスタモニタ４００に表示されることとなる。
【００７３】
次に、色補正装置１００が遂行する色補正処理に関する本発明者による論文を一部引用して、その補正処理について説明する。
【００７４】
テレビ局で多く行われている「再撮」と呼ばれる演出のために複数のモニタ間の色調整の自動化を行う。既知の色レベルからなるカラーチャートを撮影した画像から、その複数の色レベルを自動的に検出して、それらが適正な色レベルになるように色補正を行う。カメラによって撮影された映像中のカラーチャートの色レベルには観測誤差や、色空間のレベルに関する制限によるガマット誤差が含まれる場合もある。そのような場合でも最適な色補正パラメータを推定する。
【００７５】
テレビ局では、スタジオセット内にモニタを配置して、その中に番組のタイトルや番組内容に則した様々な映像を表示して、その画面をカメラで撮影する「再撮」と呼ばれる演出を多く行っている。
【００７６】
このときに問題となるのが、スタジオ照明と再撮モニタの色温度の違いにより、モニタ内の映像の色が正しく見えないことであり、色温度を合わせるためのモニタの色調整が頻繁に行われる。再撮モニタが複数台の場合には、モニタ間でも色を合わせなければならず、台数が増すほど、手間が掛かる。これは、撮影に使用する複数のカメラ間の色調整に関しても同様である。
【００７７】
本稿では、このような複数のモニタあるいはカメラ間における色調整作業を自動化するために、マクベスチャートのような既知の色レベルからなるカラーチャート（色票）を撮影した画像（写真・ビデオ業界ではマクベスチャートとも呼ばれて、ほぼ標準的に用いられているものであり、カメラの場合には実際のカラーチャートを撮影し、モニタの場合にはカラーチャートをモニタ上に表示させてカメラで撮影すればよい）から、その複数の色レベルを自動的に検出して、それらが適正な色レベルになるように色補正を行う。カメラによって撮影された映像中のカラーチャートの色レベルには観測誤差や、色空間のレベルに関する制限によるガマット誤差が含まれる場合もある。そのような場合でも最適な色補正パラメータを推定する。
【００７８】
（色補正パラメータの最適推定）
色補正には多くの研究があるが、色補正パラメータの推定において、画像中に含まれる観測誤差や色空間のレベルに関する制限によるガマット誤差の影響は十分考慮されてはいない。色補正モデルの推定には、最小二乗法を用いたり、色補正モデルには、高次の多項式モデルや明示的なモデルを未知としてニューラルネットワークを用いている。
【００７９】
ＲＧＢ３次元色空間において、カラーマトリクスと呼ばれる３×３行列の乗算と３次元オフセットベクトルの加算による次のような色変換モデルを考える（［図９］参照）。
【数１】
【００８０】
ここで、
【数２】
【００８１】
入力はカラーチャートにおける真の色データ
であり、その出力（カラーチャートを撮影した観測画像における色データ）
には、正規分布に従う誤差
が含まれると仮定する。
【００８２】
これは、いわゆる回帰問題（“出力誤差モデル”）であり、Ｎ組の色対応データ
が与えられたときの尤度は次のようになる。
【数３】
【００８３】
ただし、ベクトル
の内積を
と書く。
とすると（一様等方性）、結局
【数４】
【００８４】
この尤度を最大にする
および
が色変換モデルのパラメータおよび残差分散の最尤推定量を与える。
【００８５】
これは、説明変数
が与えられたとき、目的変数
の確率分布
が平均
、共分散行列
の（多次元）正規分布で与えられると仮定している。
【００８６】
尤度関数
の自然対数をとれば、対数尤度
【数５】
が得られる。最尤推定量を求めるためには、対数尤度
を最大にする
および
を求めればよい。この対数尤度を最大にする
を求めるためには、
【数６】
を最小にする
を求めればよいことがわかる。すなわち、色変換モデルの場合、最尤法は最小二乗法に帰着する。
【００８７】
ところが、実際に必要なのは色変換パラメータではなく、その“逆変換”である色補正パラメータである。そこで、入力と出力を入れ替えて、色補正モデルのパラメータを推定する。したがって、
【数７】
を最小にするパラメータを推定することを考える。ここで、［数６］と［数７］の
は同じものではない。その意味も“変換”とその逆変換である“補正”であることには注意が必要である。
【００８８】
これは、入力に誤差が含まれる“入力誤差モデル”となるが、パラメータの２次形式で表されるから、解はモーメント行列の最小固有値に対する単位固有ベクトルとして推定することができる。しかし、得られる解には統計的な偏差が生じることが知られている。金谷は［数７］の問題を「幾何学的当てはめ」として一般的に定式化し、それを最適に推定する方法を提案している。
【００８９】
すなわち、幾何学的当てはめと幾何学的ＡＩＣ／幾何学的ＭＤＬについて、「幾何学的当てはめ」とは「拘束式」
【数Ａ１】
と変数
の複数の実現値
からパラメータ
を推定する問題である。誤差は正規分布に従い、各
の正規化共分散行列
（一般には特異行列）は既知とする。この問題の「最尤推定」はマハラノビス距離
【数Ａ２】
を拘束式
のもとで未知数
に関して最小化することである。その残差（
の最小値）を
とし、ノイズレベルを
とすると
は第１近似において自由度
の
分布に従う。ただし、
は拘束条件（［数Ａ１］のランク（独立なものの数）であり、
は未知数
の自由度である。これからノイズレベル
の次の不偏推定量が得られる。
【数Ａ３】
【００９０】
拘束式［数Ａ１］がデータ空間（変数
の空間）に
次元モデル（多様体）
を定義するとき、その幾何学的ＡＩＣおよび幾何学的ＭＤＬは次のように定義される。
【数Ａ４】
【数Ａ５】
【００９１】
ここに
はある基準長であり、データ
が
となるように選ぶ。ただし、ノイズレベルは一般モデルにより［数Ａ３］で推定する。
【００９２】
ここでは、ＣｈｏｊｎａｃｋｉらのＦＮＳ法を複数の拘束式に対応させた新妻・金谷の多拘束ＦＮＳ法による２次元平面の射影変換行列の最適推定に基づき、３次元アフィン変換による色補正パラメータの最適計算を定式化する。
【００９３】
（３次元アフィン変換）
式（１）の色変換は、３次元のアフィン変換であり、ＲＧＢ３次元色空間における対応する色データ
をスケール定数
によって各成分のオーダーをそろえた４次元同次ベクトルを改めて
で表し、３次元アフィン変換行列を
行列
で表す。（色データの量子化ビット数８ビットのため
とした。）
【数８】
【００９４】
これらを用いると３次元アフィン変換は次のように書ける。
【数９】
【００９５】
ただし、
は４次元ベクトルの第４成分を１とする正規化作用素である。行列
には定数倍の不定性がある。そこで以下、適当な定数を掛けて
と正規化する（行列のノルムは
と定義する）。［数９］を各成分毎に書くと、
【数１０】
【数１１】
【数１２】
【００９６】
１３次元ベクトル
を次のように定義する。
【数１３】
【数１４】
【数１５】
【数１６】
【００９７】
正規化
は［数１３］の
が単位ベクトルであること（
）と等価である。３次元アフィン変換の各成分毎の［数１０］［数１１］［数１２］から次の拘束式を得る。
【数１７】
（３次元アフィン変換の最適計算）
【００９８】
個の色データ
と対応する色データ
が与えられたとき、それらの間の３次元アフィン変換を最適に計算したい。データ
を代入した［数１４］［数１５］［数１６］のベクトル
をそれぞれ
と書く。データに誤差があるとき、解くべき問題は
となるような１３次元ベクトル
を計算することである。そのためには誤差の統計的性質を考慮する必要がある。各色データ
は真値
に期待値０、標準偏差
の正規分布に従う誤差が加わると仮定する。最尤推定は次の目的関数
を最小にする
を求めることである。
【数１８】
【００９９】
ただし、
は
を
要素とする
行列の（ムーア・ペンローズの）一般逆行列の
要素である。
【数１９】
【０１００】
ここで、
は
の正規化共分散行列である。
はデータ
の正規化共分散行列
から線形近似によって次のように計算できる。
【数２０】
【０１０１】
ただし、
は
のヤコビ行列（各成分の
に関する微分を並べた行列）に
を代入した値である（詳細省略）。
【０１０２】
●データ
の正規化共分散行列
は、再撮モニタを色補正する場合には、モニタに誤差のないカラーチャートを表示したものをカメラで撮影するため、
とする。
【０１０３】
●カメラを色補正する場合には、実際のカラーチャートをカメラで撮影するため、
とする。
は６次の単位正方行列である。
（多拘束ＦＮＳ法）
［数１８］を
で微分すると次のようになる。
【数２１】
【０１０４】
ただし、
行列
を次のように置いた。
【数２２】
【０１０５】
上式中の
は次のように定義する。
【数２３】
［数１８］を最小にするには［数２１］より
を解けばよく、固有値問題を反復して解くＣｈｏｊｎａｃｋｉらのＦＮＳ法を用いることができる。多拘束ＦＮＳ法の手順は次のようになる。
【０１０６】
１．
の初期値
を与える。
２．［数２２］の
を計算する。
３．固有値問題
の最小固有値
に対する単位固有値ベクトル
を計算する。
４．符号を除いて
であれば次のアフィン変換行列
を返して終了する。そうでなければ
としてステップ２に戻る（
は単位ベクトルへの正規化）。ここで、解の更新に
を用いるのは、“中点”
を用いることを意味しており、これは反復の収束を行うための工夫である。
【０１０７】
（最小二乗法）
反復には初期値が必要であり、最も簡便なものが最小二乗法である。［数１８］で
（クロネッカのデルタ：
で１、それ以外で０）と置くと次のようになる。
【数２４】
【０１０８】
これは次のように変形される。
【数２５】
【０１０９】
ただし、次のように置いた。
【数２６】
［数２５］は
の２次形式であるから、これを最小化する単位ベクトル
はモーメント行列
の最小固有値に対する単位固有ベクトルである。
（精度の評価と理論限界）
【０１１０】
アフィン変換行列
を表す［数１３］の１３次元単位ベクトル
の推定値を
、誤差がない場合の真値を
とするとき、誤差
を次のように定義する。
【数２７】
【０１１１】
は
に直交する方向に射影した成分を得る射影行列である。
は１３次の単位正方行列である。これから推定値
の共分散行列が次のように定義できる。
【数２８】
【０１１２】
金谷の統計的最適化理論によれば、どのように
を推定しても、それが不偏推定量であればその共分散行列
には次の下界があることが示される。
【数２９】
【０１１３】
ただし、
は左辺引く右辺が正値対称行列であることを示す。右辺の
は［数２２］の行列
を色データの真値
の真値
を用いて計算した値である。また
はランク１２の（ムーア・ペンローズの）一般逆行列を表す。（
対称行列
のランク
の一般逆行列
とは、
の大きい
個の固有値を逆数に置き換え、残りの固有値を０に置き換えた行列である。）
【０１１４】
［数２９］の右辺は「ＫＣＲ下界」と呼ばれる。［数２９］の両辺の平方根を取り、［数２８］より
であることに注意すると、次の平方平均二乗（ＲＭＳ）誤差の下界が得られる。
【数３０】
【０１１５】
（レベル制約付き最適推定とモデル選択）
色空間における色変換処理であることから、厳密にはレベルに関する制限であるクリップ処理が付く（［図１０］参照）。
【０１１６】
すなわち、［数１］の３次元アフィン変換による色変換は次のようになる。
【数３１】
【０１１７】
ここで、
であり、
は色空間における最大レベルである。
は色データをＲＧＢ３次元色空間における３次元ベクトルと見なして、そのベクトルの方向を保存する様に各色成分を各上限下限成分にクリップする処理である（詳細省略）。
【０１１８】
色空間のレベルに関する制限であるクリップ処理によって生じるガマット誤差は、色補正パラメータの推定に影響を及ぼす。
【０１１９】
色補正パラメータの推定において、クリップ処理による影響を避ける素朴な方法としては、色空間の上限下限近傍の色データを用いない方法が考えられるが、そうすると、色空間の上限下限の色レベルにおいて、正しい色補正の結果が得られない。クリップ処理された色空間の上限下限近傍のディテールを復元することは不可能である。しかし、明らかに上限下限の色レベルにおける色補正の結果が異なることは望ましくない。
【０１２０】
そこで、観測画像にはガマット誤差が含まれることを考慮して、色空間の上限下限における色データの対応を拘束条件としたレベル制約付き最適化によって色補正パラメータを推定する。最適化の手法には、変数間の内部拘束を自動的に満たす解を求めるようにＦＮＳ法を拡張した拡張ＦＮＳ法を用いる。
【０１２１】
（内部拘束）
データ
は、
次元ベクトルであり、それらの真の値
は次の拘束式を満たすとする。
【数３２】
【０１２２】
ただし、
は未知の
次元ベクトルである。問題は誤差のあるデータ
から
を推定することである。
【０１２３】
［数３２］の形では未知ベクトルのスケールが不定となるので、
と正規化するが、これも一つの内部拘束である。そして、これ以外に
に次の
の内部拘束が存在するとする。
［数３３］
【０１２４】
これら
個の式は代数的に独立であるとする。最尤推定量
は
【数３４】
【０１２５】
を内部拘束
のもとで最小化するものである。
【０１２６】
ここで、
【数３５】
【０１２７】
（多拘束拡張ＦＮＳ法）
多拘束拡張ＦＮＳ法の手順は次のようになる。
１．
の初期解を与える。
２．次の行列
を計算する。
【数３６】
ここで、
【数３７】
３．ベクトル
を計算し、これにシュミットの直交化を施した正規直交系
を求める。
４．次の射影行列
を計算する。
【数３８】
ここで、
は
次の単位正方行列である。
５．次の行列
を計算する。
【数３９】
６．固有値問題
【数４０】
の絶対値の小さい
個の固有値に対する単位固有ベクトル
を求める。
７．現在の解
を次のように
に射影した
を計算する。
【数４１】
８．次の
を計算する。
【数４２】
９．
なら
を返して終了する。そうでなければ、
としてステップ２（行列
の計算）に戻る。
【０１２８】
（色補正モデルの選択）
ガマット誤差が生じている場合、線形の色変換であったとしても、十分な色補正結果を得るためには、例えば、その逆変換である色補正モデルを多項式モデルとすると、高次の項が含まれる必要がある。しかし、ガマット誤差が含まれているかどうかは未知であり、また、ガマット誤差が含まれている場合にも、その色補正モデルも未知である。色補正モデルの次数にも限界があり、一般に過剰な高次項を含む色補正モデルによる色補正は不安定になる。そこで、複数の色補正モデルを当てはめた結果から、モデル選択によって現実的な色補正モデルを選択することを考える。
【０１２９】
「幾何学的当てはめ」における代表的なモデル選択の規準には「幾何学的ＡＩＣ」と「幾何学的ＭＤＬ」がある。金澤・金谷は画像モザイク生成のために幾何学的ＡＩＣによる幾何学的モデル選択を用いた。松永・金谷は移動カメラのキャリブレーションのために幾何学的ＡＩＣと幾何学的ＭＤＬによる幾何学的モデル選択を用いた。Ｋａｎａｔａｎｉは複数の運動物体の分離に幾何学的ＡＩＣと幾何学的ＭＤＬを用いた。
【０１３０】
３次元アフィン変換モデルを最も自由度の高い一般モデルとすると、その自由度は１２であり、そのパラメータを最適に推定した結果の目的関数
の当てはめ残差
から二乗ノイズレベルを次のように推定する。
【０１３１】
【数４３】
【０１３２】
３次元アフィン変換モデルの幾何学的ＡＩＣと幾何学的ＭＤＬは、パラメータを最適に推定した結果の目的関数の当てはめ残差
と［数４３］より推定した二乗ノイズレベル
から次のように計算される。
【数４４】
【数４５】
【０１３３】
ここで
は基準長であり、色データの量子化ビット数８ビットの場合２５５とする。３次元アフィン変換のランクは３、補正モデルの次元は３である。モデルの次元の項は各モデルに共通の場合には除外してもよい。
【０１３４】
その他のモデルも同様にしてパラメータを最適に推定した結果の目的関数の当てはめ残差
と［数４３］より推定した一般モデルの二乗ノイズレベル
から計算することができる。幾何学的ＡＩＣあるいは幾何学的ＭＤＬが最小になるモデルを選択すればよい。
【０１３５】
（実験）
（３次元アフィン変換による色補正パラメータの最適推定の数値シミュレーション）
理想カラーチャートによる基準画像となるように、観測画像を３次元アフィン変換により基準画像の色レベルに補正する行列
は次のようになる。
【０１３６】
【数４６】
【０１３７】
カラーチャートの真の色レベルをデータ
として、対応する観測画像の色データ
に独立に期待値０、標準偏差
の正規乱数誤差を加えた。ただし、色データに対してはクリップ処理は行わなかった。そして計算したアフィン変換行列
を［数１３］の単位ベクトル
の形に表し、その誤差を［数２７］の
とする。これを各
で誤差を変えて１０００回試行し、そのＲＭＳ誤差を次のように評価した。
【数４７】
【０１３８】
は誤差
の
回目の試行の値である。［図６］（ｃ）は横軸に
をとって最小二乗法、多拘束ＦＮＳ法のＲＭＳ誤差ＥをＫＣＲ下界（［数３０］の右辺）とともにプロットしたものである。これから分かるように最小二乗法に対して多拘束ＦＮＳ法は、色データがクリップ処理されていない場合においては、精度の理論限界にほぼ到達している。
【０１３９】
（多項式モデルによる色補正パラメータのレベル制約付き最適推定とモデル選択）
［図７］は１次元理想ランプ（ｒａｍｐ）画像に色変換として線形変換を行った場合の簡単な例である。色補正パラメータを推定するために、クリップされていない色データのみを用いた場合と、クリップされていない色データとレベル制約を課した場合を比較する。
【０１４０】
多項式モデルを拡張ＦＮＳ法により最適に推定する。図中、計算に用いた色データは「◇Ｄａｔａ」で示す。色補正モデルには、多項式モデルとして１次から４次多項式を用いる。１次元多項式モデルによる色補正パラメータの最適推定は、拘束式が一つだから、次の目的関数Ｊを白・黒レベルを拘束条件として最小化すればよい。白・黒レベルの制約を課すことにより多項式モデルの自由度は２減る。１次式モデルの場合、２点をレベル制約とすると一意にパラメータが決まってしまうので、白レベルのみの拘束条件とした。
【数４８】
【０１４１】
例えば、２次多項式モデルによる補正の場合、
であり、ある特定の色レベル
が特定の色レベル
に補正されるとすると、色レベルに関する内部拘束は次のようになる。
【数４９】
【０１４２】
クリップされていない色データのみによる色補正結果では、クリップされた色データのレベルが正しく補正されていない［同図（ｃ）］。白・黒レベルを拘束条件としたことにより、厳密に白・黒レベルに補正されている［同図（ｆ）］。モデル選択の結果は、幾何学的ＡＩＣにより４次多項式モデルが選ばれ、幾何学的ＭＤＬにより３次多項式モデルが選ばれた。幾何学的ＭＤＬの方が退化モデルを選ぶ傾向がある。
【０１４３】
（カラーチャート検出の画像処理）
カラーチャートを撮影した画像から画像処理によってカラーチャートの色レベルを自動的に検出する。ＲＧＢ成分毎の各々の画像を複数のしきい値により複数の２値画像へ変換する。それら複数の２値画像中の矩形領域を境界追跡処理によって抽出する。そのようにして得られた矩形領域の大きさと４つの頂点のなす角度、矩形領域内の画素値の平均と分散から、得られた矩形領域がカラーチャートの一部であるかどうかを判定する。そのようにして選別した矩形領域の左上頂点座標によってソートして２方向に整列させて、矩形領域全体として２４色からなるカラーチャートを同定する。各矩形領域の重心座標からの一定領域中の画素の平均値をその領域における色レベルとして用いる。
【０１４４】
（実画像実験（再撮モニタ映像の色補正））
画像処理によりカラーチャートの色レベルを自動的に検出する。理想カラーチャートの色レベルに揃えるための色補正パラメータを最適に推定して、撮影画像を色補正する。観測画像における特定の色レベル
がカラーチャート中の特定の色レベル
に色補正されるとする。３次元アフィン変換により色補正される場合には、
が内部拘束になる。
【０１４５】
カラーチャート中の白レベルを拘束条件として、多拘束拡張ＦＮＳ法によりレベル制約付き最適推定した色補正パラメータによる色補正結果が得られる。ここでは、モニタ映像だけでなく撮影画像全体を色補正している。（実際には、モニタに映す映像のみ色補正する。）
【０１４６】
カラーチャートの色レベルのＲＭＳ誤差は２７．７であり、厳密に白バランスが取れている。レベル制約を課さずに多拘束ＦＮＳ法により最適推定した場合のＲＭＳ誤差は１９．３であり、それよりはやや上回っているが、最小二乗推定した場合の３２．７よりは下回っている。
【０１４７】
（まとめ）
再撮モニタの色補正を行うために、既知の色レベルからなるカラーチャートをモニタに表示したものをカメラで撮影して、撮影画像中のカラーチャートの色レベルを自動的に検出した。観測誤差やガマット誤差を考慮した最適なパラメータ推定による色補正を行った。
【０１４８】
今後の課題としては、ビデオ信号において標準的に用いられる輝度色差色空間における色補正モデルによる色補正も検討することである。色補正モデルとして、３次元アフィン変換モデル、１次元多項式モデルを用いたが、その他のモデルも検討してもよい。具体的な応用例として、立体視映像の撮影への適用も考えられる。
【０１４９】
図８は、マクベスチャート等の標準的な既知のカラーチャート８２１０を、複数のビデオカメラ８３００（１），８３００（２）で撮影し、色補正装置８１００を用いて補正する場合について説明する概要図である。カラーチャート８２１０は、４×６で２４色の異なる色を示すマス目で構成されている。
【０１５０】
色補正装置８１００は、複数のビデオカメラ８３００（１），８３００（２）で各々撮影した各映像の色合いが、カラーチャート８２１０に対応する所定の色合いとして取得されているか否かを検証し、カラーチャート８２１０に対応する所定の色合いとなるように補正した後、ビデオスイッチャ８９００に出力する。
【産業上の利用可能性】
【０１５１】
本発明は、放送用途や産業用途のビデオカメラシステム等に幅広く利用できる。
【符号の説明】
【０１５２】
１００・・色補正装置、２００・・再撮モニタ・・、３００・・ビデオカメラ、１０００・・ビデオカメラシステム。
【技術分野】
【０００１】
本発明は、色補正装置と色補正方法とビデオカメラシステムとに関する。
【背景技術】
【０００２】
放送局用ビデオカメラを複数台用いて撮影する場合には、使用するビデオカメラ間での厳密な色合わせが必要となる。一般には、このようなビデオカメラ間での色合わせは、放送局等のスタッフが予め手動で調整することが知られている。
【０００３】
放送局用ビデオカメラにおいては、各ビデオカメラ毎に、ＣＣＤ（電荷結合素子）等の撮像素子の前面に配置されるカラーフィルタや色分解プリズムの分光特性が微妙に異なる。このため、ビデオカメラ間での色合いを補正しない場合には、同一の対象を撮影する場合でも、撮影された出力映像の色あいがビデオカメラ間で異なることとなってしまう。
【０００４】
複数のビデオカメラ間で色合わせを行う技術としては、基準となる撮像装置と、この基準となる撮像装置に対して色あいを整合させる他の撮像装置とで、所定の同色、例えばカラーチャート内の各色を同じ条件で撮影し、撮影の結果得られた撮影データを比較して、色あいを整合させるべき他のビデオカメラから出力される色データを適宜補正する補正方法が提案されている。
【０００５】
また、基準となるビデオカメラを必要とせずに、各ビデオカメラ毎の操作によって、容易に複数のビデオカメラ間の色合わせを行うことができるようにした色補正装置を実現することを目的とし、所定の色についての基準となる色情報を発生する基準色情報発生手段を備えるとともに、基準色情報発生手段によって発生される情報とビデオカメラによって所定の色を撮像して得られる信号とに基づいて決定される補正内容に従って、ビデオカメラによって撮像して得られる信号を補正する補正手段を備えることにより、ビデオカメラによって撮像して得られる信号に基づく色を基準となる色に合わせる提案が、例えば下記特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２８５６１０号公報
【非特許文献１】K. Kanatani, Statistical Optimization for GeometricComputation: Theory and Practice, Elsevier Science,Amsterdam, The Netherlands (1996); reprinted DoverPublications, New York, U.S.A. (2005).
【非特許文献２】金谷健一, 菅谷保之, 制約付きパラメータ推定のための拡張FNS 法, 情報処理学会研究報告, 2007-CVIM-158-4,(2007-3), 鹿児島市(鹿児島大), 25-32.
【非特許文献３】新妻弘崇, 金谷健一, 最適な射影変換の新しい計算アルゴリズム, 情報処理学会研究報告, 2009-CVIM-169-37,(2009-11), 金沢市(金沢工業大学), 1-8.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、オペレータが色補正を手動で遂行する場合には、相当の熟練と工数とがかかることとなる。また、色補正パラメータを、簡便な最小二乗法を用いて算出する場合には、正確な補正パラメータが算出できない懸念が生じる。
【０００８】
特に、ガマット誤差や観測誤差を補正できるように考慮された補正パラメータの演算は従来為されておらず、白バランスや黒バランスが取れないという問題が生じていた。
【０００９】
本発明はこのような問題点に鑑みなされたものであり、ガマット誤差や観測誤差が存在しているような場合でも、適切な色補正パラメータを演算し、ビデオカメラによる撮影画像に対して適用してこれを補正できる色補正装置と色補正方法等を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の色補正装置は、カラー基準信号を記憶するリファレンス記憶部と、カラー基準信号に対応するカラー基準映像の表示をする再撮モニタを撮影した再撮モニタ撮影信号が入力されるバッファと、バッファが記憶する再撮モニタ撮影信号と、リファレンス記憶部が記憶するカラー基準信号と、を比較し、再撮モニタ撮影信号とカラー基準信号との差異を低減するように補正パラメータを算出する比較演算部と、算出された補正パラメータを記憶する補正パラメータ記憶部と、入力された映像データに対して、補正パラメータ記憶部に記憶された補正パラメータに基づく補正処理を遂行する補正処理部とを備えることを特徴とする。
【００１１】
また、本発明の色補正装置は、好ましくはカラー基準信号をリファレンス記憶部から読み出して再撮モニタに出力することにより、カラー基準信号に対応するカラー基準映像を再撮モニタに表示させることを特徴とする。
【００１２】
また、本発明の色補正装置は、さらに好ましくは補正処理部が、リファレンス記憶部に記憶されたカラー基準信号を読み出して、カラー基準信号に対して補正パラメータに基づく補正処理を遂行して検証信号を再撮モニタに出力し、バッファは、検証信号を表示する再撮モニタを撮影した再撮モニタ撮影検証信号が入力され、比較演算部は、リファレンス記憶部に記憶されたカラー基準信号と、バッファが記憶する再撮モニタ撮影検証信号とを比較して、差異の有無を検証することを特徴とする。
【００１３】
また、本発明のビデオカメラシステムは、上述のいずれかの色補正装置と、カラー基準信号に対応したカラー基準映像を表示する再撮モニタと、再撮モニタを撮影した再撮モニタ撮影信号を色補正装置に出力するビデオカメラとを備えることを特徴とする。
【００１４】
また、本発明の色補正方法は、上述のいずれかの色補正装置を用いて再撮モニタを撮影した映像の色合いを補正する色補正方法であって、再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程と、再撮モニタに表示されたカラー基準映像を撮影したビデオカメラから再撮モニタ撮影信号を取得する工程と、取得した再撮モニタ撮影信号と、リファレンス記憶部に記憶するカラー基準信号と、を比較して補正パラメータを算出する工程と、算出した補正パラメータを用いて入力された映像信号に対して補正処理を遂行する工程とを有することを特徴とする。
【００１５】
また、本発明の色補正方法は、好ましくは再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程は、リファレンス記憶部に記憶するカラー基準信号を色補正装置が出力し、出力に基づいたカラー基準映像を再撮モニタに表示させる工程であることを特徴とする。
【発明の効果】
【００１６】
ガマット誤差や観測誤差が存在しているような場合でも、適切な色補正パラメータを演算し、ビデオカメラによる撮影画像に対して適用してこれを補正できる色補正装置と色補正方法等を提供できる。
【図面の簡単な説明】
【００１７】
【図１】再撮モニタへ出力する映像信号に対して適用するべき補正パラメータを算出する場合のビデオカメラシステムを説明する概念図である。
【図２】色補正装置が算出して記憶した補正パラメータが適切であるか否かを検証する場合のビデオカメラシステムについて説明する概念図である。
【図３】予め補正パラメータの算出やその検証が終了した色補正装置を用いて、現実の再撮モニタの撮影処理をする場合のビデオカメラシステムを説明する概念図である。
【図４】色補正装置の比較演算部についてさらに詳細に説明する概念図である。
【図５】ビデオカメラシステムにおける色補正装置の処理フローを説明する概要図である。
【図６】計算した３次元アフィン変換のＲＭＳ誤差を説明する図である。
【図７】（ａ）が理想ランプ（ｒａｍｐ）画像と波形表示、（ｂ）が色変換画像と波形表示、（ｃ）がクリップされたデータを除外した場合の１次式による色補正モデル、（ｄ）が色補正モデル（ｃ）による色補正画像と波形表示、（ｅ）がレベル制約を課した多項式色補正モデル、（ｆ）色補正モデル（ｅ）の４次多項式モデルによる色補正画像と波形表示を説明する図である。
【図８】マクベスチャート等の標準的な既知のカラーチャートを、複数のビデオカメラで撮影し、色補正装置を用いて補正する場合について説明する概要図である。
【図９】色変換モデルの例（３次元アフィン変換）である。
【図１０】色変換モデルの例（３次元アフィン変換＋クリップ処理）である。
【発明を実施するための形態】
【００１８】
本実施形態の色補正装置は、複数台の再撮モニタやカメラの色調整を自動化するために、カラーチャートを撮影した画像から、その色レベルを画像処理によって自動的に認識する。
【００１９】
取得した色レベルが既知のカラーチャートのオリジナルの色レベルとなるように、再撮モニタへの出力を補正するための色補正パラメータを、色レベルの観測誤差や色空間におけるガマット誤差の影響を考慮して最適に計算し、補正処理を遂行する色補正装置となる。
【００２０】
また、実施形態の色補正装置は、従来のように人手による外観観察に依存した色補正をすることはなく、かつ最小二乗法によって色補正パラメータを算出するものではない。このため、実施形態の色補正装置は、観測誤差やガマット誤差の影響により色補正パラメータが正確に算出できず、特にガマット誤差に起因して白バランスや黒バランスが取れないとの従来の問題を解決できる。
【００２１】
また、ガマット誤差が存在する場合でも、複数の色補正モデルを仮定した計算（多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法）した結果から最適なモデルを選択適用し、好ましくは白レベルまたは黒レベルをレベル制約とした演算処理とする色補正装置を実現できる。
【００２２】
この色補正装置により、いわゆる白とび黒つぶれといったクリップ処理によるいわば足切りされた上限または下限の映像データについても、自然な色合いとなるように補正することが可能となり、すなわちガマット誤差についても対応可能となる。
（実施形態の概要）
【００２３】
図１は、再撮モニタへ出力する映像信号に対して適用するべき補正パラメータを算出する場合のビデオカメラシステム１０００を説明する概念図である。
【００２４】
図１において、再撮モニタ２００は例えばスタジオ内等に設置されており、複数の照明２５０（１），２５０（２）により演出されている。また、色補正装置１００は、カラー基準信号を予め記憶しているリファレンス記憶部１５０を備える。
【００２５】
カラー基準信号は、既知の基準となる色あいを表現する例えばＲＧＢ信号強度であってもよく、典型的にはマクベスカラーチャート等のキャリブレーションターゲットを所定の条件下で撮影して取得した複数色各々の基準信号である。
【００２６】
再撮モニタ２００は、色補正装置１００から取得したカラー基準信号をカラー基準映像２１０として表示する。また、ビデオカメラ３００は、カラー基準映像２１０が表示された再撮モニタ２００を撮影した再撮モニタ撮影信号を、色補正装置１００へ出力する。
【００２７】
色補正装置１００は、ビデオカメラ３００から取得した再撮モニタ撮影信号をフレームバッファ１４０に記憶する。また、色補正装置１００は、リファレンス記憶部１５０に記憶するカラー基準信号と、フレームバッファ１４０に記憶する再撮モニタ撮影信号とを比較演算し、再撮モニタ撮影信号とカラー基準信号との差異を低減させるため、再撮モニタ２００に付与する映像信号に遂行するべき補正パラメータを算出する比較演算部１３０を備える。
【００２８】
また、色補正装置１００は、比較演算部１３０で算出された補正パラメータを記憶する補正パラメータ記憶部１１０を備える。また、色補正装置１００は、入力された撮影映像やＶＴＲ映像に対して、補正パラメータ記憶部１１０に記憶している補正パラメータに基づいた補正処理を遂行して出力する補正処理部１２０を備える。
【００２９】
これにより、色補正装置１００に入力されたＶＴＲ映像等は、補正処理部１２０において補正パラメータ記憶部１１０に記憶している補正パラメータに基づいてガマット誤差や観測誤差が適切に補正され、再撮モニタ２００に出力されて表示されることとなる。従って、ビデオカメラ３００で撮影した映像の中に含まれる再撮モニタ２００の表示画面は、色合いが自然で適切な映像として鑑賞できることとなる。
【００３０】
図２は、色補正装置１００が算出して記憶した補正パラメータが適切であるか否かを検証する場合のビデオカメラシステム２０００について説明する概念図である。図２においては、図１と対応する部位には同一の符号を付して、説明の重複を避けるためにここではその説明を省略する。
【００３１】
図２に示すように、色補正装置１００の補正処理部１２０は、補正パラメータ記憶部１１０に記憶した補正パラメータを用いて、リファレンス記憶部１５０に予め記憶しているカラー基準信号に対して補正処理を遂行する。
【００３２】
補正処理されたカラー基準信号は検証信号として再撮モニタ２００に出力されて、出力された検証信号に対応する検証映像２２０として再撮モニタ２２０に表示される。再撮モニタ２２０に表示された検証映像２２０は、ビデオカメラ３００で撮影され、再撮モニタ撮影検証信号として色補正装置１００にフィードバックされる。
【００３３】
比較演算部１３０は、リファレンス記憶部１５０が記憶するカラー基準信号と、ビデオカメラ３００からフィードバックされた再撮モニタ撮影検証信号とを比較し、再撮モニタ撮影検証信号がカラー基準信号から色ずれを生じているか否かを検証する。比較演算部１３０は、検証した結果をビデオエンジニア等のオペレータに通知するように出力してもよい。
【００３４】
この処理により、補正パラメータが適切であるか否かを検証することができる。補正パラメータは、再撮モニタ２００の配置環境、例えば照明２５０（１），２５０（２）の種類や数や位置、および再撮モニタ２００自体の特性によっても異なるものとなることが予想される。このため、色補正装置１００が、適宜検証処理を遂行し、各場面において補正パラメータが適切であるのか否か確認することが好ましい。
【００３５】
また、ビデオカメラ３００が撮影して出力した再撮モニタ撮影検証信号は、マスタモニタ４００に入力されて表示され、その表示画面中には検証映像２２０を表示する再撮モニタ２００が、再撮モニタ検証映像４１０として表示される。
【００３６】
再撮モニタ検証映像４１０は、視聴者が見るべき映像の色合いを反映した映像である。すなわち、色補正装置１００は、視聴者が見るビデオカメラ３００からの出力映像に含まれる再撮モニタ２００の画面映像を、自然な色合いとして表示されるように補正するものである。
【００３７】
これにより、例えばニュース番組等において、視聴者が見る画面内にニュースキャスターの背景に設置された他の再撮モニタが含まれる場合に、再撮モニタ内すなわち画面内の小さな画面内に表示される映像についても、色合いが自然になるように補正処理をする色補正装置を実現できる。
【００３８】
図３は、予め補正パラメータの算出やその検証が終了した色補正装置１００を用いて、現実の再撮モニタの撮影処理をする場合のビデオカメラシステムを説明する概念図である。
【００３９】
色補正装置１００には、ＶＴＲ映像や他のビデオカメラによる撮影映像が入力される。入力映像は、補正処理部１２０において、補正パラメータ記憶部１１０に記憶される補正パラメータを用いて色補正処理が遂行される。
【００４０】
色補正処理が遂行された入力映像は、色補正装置１００から再撮影モニタ２００へと伝送されて画面表示２３０される。再撮モニタ２００は、例えばニュースキャスター等の背景に設置されて照明２５０（１），２５０（２）等により演出される。
【００４１】
演出が施された再撮モニタ２００は、ニュースキャスターと共にビデオカメラ３００により撮影される。通常、演出効果は、スタジオ内の現実の有体物（例えばキャスターの衣服や人物自体）等をターゲットとして調整されるため、同じ演出下で撮影された再撮モニタ２００内の画面表示２３０は、一般にはビデオカメラ３００で撮影した場合に色合いが不自然になることが知られている。
【００４２】
しかし、色補正装置１００は、ビデオカメラ３００で撮影された映像中に含まれる再撮モニタ２００の画面表示２３０が自然な色合いとなるように、予め算出した補正パラメータを用いて補正された入力映像を、再撮モニタ２００に表示させる。
【００４３】
このため、図３に示すように、ビデオカメラ３００で撮影した映像をマスタモニタ４００に表示させた場合に、マスタモニタ４００の画面内に含まれる再撮モニタ２００が表示する再撮モニタ入力映像４２０は、別途ビデオエンジニア等によるマニュアル補正処理をする必要がなく、自然な色合いの画面として表示されることとなる。
【００４４】
なお、図１乃至図３においては、説明の便宜上、ビデオカメラ３００が一台である場合について説明したが、ビデオカメラ３００は複数台備えられるビデオカメラシステムとしてもよい。複数台の場合には各ビデオカメラ３００間の色補正については、相互に差異がないように予め別途調整されていることが好ましい。
【００４５】
また、図１乃至図３においては、説明の便宜上、再撮モニタ２００が一台である場合について説明したが、再撮モニタ２００は複数台備えられてもよい。複数台の再撮モニタ２００各々に対応した適切な補正パラメータが色補正装置１００により演算されて、記憶される。そして、色補正装置１００から各再撮モニタ２００に対して、それぞれ別個独立に補正処理された映像信号を出力して表示させてもよい。この場合には、各再撮モニタ２００に対応して各々複数の補正パラメータ記憶部１１０を備えてもよく、色補正装置１００のその他の機能についても各再撮モニタ２００に対応して複数備えてもよい。
【００４６】
また、複数の再撮モニタ２００の特性や配置環境、演出等が全く同一であって、同一の補正パラメータによる処理が好ましい場合には、複数の再撮モニタ２００に対して同一の補正パラメータを適用して補正処理した映像を出力して表示させてもよい。
【００４７】
図４は、色補正装置１００の比較演算部１３０についてさらに詳細に説明する概念図である。図４に示すように、比較演算部１３０は、多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法による複数モデル演算部１３１を備える。
【００４８】
多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法による複数モデル演算部１３１は、多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法の少なくともいずれかの方法による補正モデルの演算をするものとする。演算される補正モデルは、例えば３次元並進変換モデル、剛体変換モデル、相似変換モデル、アフィン変換モデル、射影変換モデル等としてもよい。
【００４９】
多拘束ＦＮＳ法は観測誤差を良好に補正することが可能であり、多拘束拡張ＦＮＳ法は黒レベル制約または白レベル制約とするので観測誤差に加えてガマット誤差を良好に補正することができる。多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法による複数モデル演算部１３１は、最小二乗法による解を初期値としてそれを反復することにより、最適解を計算する。このため、数値計算としては、行列の固有値・固有ベクトルの計算を収束判定条件が満たされるまで、繰り返して実行することとなる。一方、従来手法の最小二乗法の場合には一回の固有値計算のみで終了することとなります。
【００５０】
また、比較演算部１３０は、算出された複数モデルのなかから最適モデルを選択するための基準を決定する選択基準算出部１３３を備える。選択基準算出部１３３は、モデルの当てはまりの良さ（すなわちパラメータ数の多さ）だけでモデル選択が為されることがないように、当てはまりとパラメータ数の小さなモデルが選択されるような基準を算出する。
【００５１】
より具体的には、選択基準算出部１３３は、幾何学的ＡＩＣまたは幾何学的ＭＤＬのいずれか任意の一つを選択基準として演算する。
【００５２】
ここでモデル選択について金谷の論文に詳述されているので、これを一部引用して以下簡単に基本となる概念について説明する。
【００５３】
「平面上に与えられた複数の点に直線、または２次曲線、または３次曲線、またはそれ以上の次数の曲線を当てはめたいとする。何を当てはめたらよいであろうか。素朴なアイディアは、まず直線、２次曲線、３次曲線、・・・ を順に当てはめ、データ点との食い違い（これを数量的に評価したものを「残差」と呼ぶ）が最も小さいものを選ぶことである。しかし、これではうまくいかない。なぜなら、高次の曲線ほどデータ点によく当てはまり、十分高い次数の曲線を選べばすべてのデータ点を通るもの（残差が０）が得られるからである。これは本来の目的に合わない。なぜなら、曲線を当てはめる目的は背後にある「真の曲線」を少数のしかも誤差のあるデータから推定することだからである。一般に、誤差のあるデータから真の構造を推定するために導入する未知パラメータをもつ数式を「モデル」と呼ぶ。当然、調節するパラメータの個数（これを「自由度」と呼ぶ）が多いほどデータによく合致する（すなわち残差が減少する）。そして、自由度が十分大きいほどモデルがデータの誤差によくフィットしてしまう。これを防いで最も適切なモデルを選ぶにはどうすればよいであろうか。これが「モデル選択」の課題である。（モデル選択規準について）上記の問題は次のように考えることもできる。曲線当てはめでは、直線は２次曲線の２次の係数が０になる特別の場合である。同様に、２次曲線は３次曲線の特別な場合であり、３次曲線は４次曲線の特別な場合である。すなわち、それぞれの次数の曲線の集合には包含関係があり、直線の集合は２次曲線の集合の部分集合であり、２次曲線の集合は３次曲線の集合の部分集合であり、どの次数の曲線の集合もより高い次数の集合の部分集合である。一方、残差は観測データとモデルとの「距離」に相当している。残差を最小にするモデルとは観測データに最も「近い」モデルにほかならない。しかし、モデルに包含関係があると、最も近いモデルは当然ながら最も大きい集合から選ばれる。なぜなら、部分集合に限定すると距離は増えこそすれ減ることはないからである。このことから、部分集合の元が選ばれるためには距離だけでなく、より自由度の小さいモデルを優先する何らかの評価が必要である。これを測るのが「モデル選択規準」であり、一般に次の形をしている。（残差）＋（自由度に対するペナルティ） 第１項の残差を減らそうとして高い自由度のモデルを選べば第２項が大きくなる。それに対して、両者の和を最小にするモデルを選べば両者がバランスするものが選ばれる。このようなモデル選択規準として「赤池のＡＩＣ」、「Ｓｃｈｗａｒｚ のＢＩＣ」、 「Ｒｉｓｓａｎｅｎ のＭＤＬ」、 「Ｍａｌｌｏｗｓ のＣｐ」などいろいろなものが提案されている。しかし、どのモデルが選ばれるかは用いる規準に依存し、絶対的なものはない」（金谷健一，モデル選択による動画像理解，ＴＥＬＥＣＯＭ ＦＲＯＮＴＩＥＲ， Ｎｏ． ４４， Ａｕｇｕｓｔ ２００４， ｐｐ． ４−１０．）。
【００５４】
また、比較演算部１３０は、選択基準算出部１３３で算出された基準に従って、適用するべき色補正モデルを選択する色補正モデルの選択部１３２を備える。色補正モデルの選択部１３２は、選択基準算出部１３３で算出された基準に従って計算し、計算された結果が最小の値となるモデルを選択する。直感的には、計算結果が最小の値となるモデルが、パラメータの数が比較的少なくかつフィッティングが良好であるバランスの取れたモデルであるということができる。
【００５５】
また、比較演算部１３０は、選択された色補正モデルに基づいて補正パラメータを算出する補正パラメータ算出部１３４を備える。補正パラメータ算出部１３４が算出する補正パラメータは、例えばＲＧＢ色空間においては、ＲＧＢ各々の白レベル、黒レベル、ガンマレベルの計９個の補正パラメータとしてもよい。
【００５６】
図５は、ビデオカメラシステム１０００における色補正装置１００の処理フローを説明する概要図である。以下、図８に示すフローに従って、順次色補正装置１００の処理について説明する。
【００５７】
（ステップＳ５１０）
色補正装置１００は、リファレンス記憶部１５０に記憶しているカラー基準信号を再撮モニタ２００に出力する。カラー基準信号は、マクベスチャートの画像信号やカラーバーの画像信号等、映像業界において色合い校正（ｃｏｒｒｅｃｔｉｏｎ）に用いられる複数の色領域から構成されたキャリブレーションターゲットの画像信号を用いることができる。
【００５８】
また、リファレンス記憶部１５０に記憶しているカラー基準信号と同一のカラー基準信号を記憶した他のリファレンス出力装置を別途備え、色補正装置１００からの出力に代えてリファレンス出力装置から再撮モニタ２００に対して当該カラー基準信号を供給してもよい。
【００５９】
（ステップＳ５２０）
再撮モニタ２００が、色補正装置１００から入力されたカラー基準信号に対応するカラー基準映像２１０を表示する。
【００６０】
（ステップＳ５３０）
カラー基準映像２１０を表示する再撮モニタ２００を、所望の演出効果が為された環境下でビデオカメラ３００が撮影する。ここで、予め補正パラメータを算出しようとする場合の所望の演出効果とは、その後の現実のビデオカメラ３００による本番撮影時に再撮モニタ２００に対して為される照明等環境条件と同一のものとすることが好ましい。
【００６１】
（ステップＳ５４０）
色補正装置１００は、カラー基準映像２１０を表示した再撮モニタ２００を撮影したビデオカメラ３００の再撮モニタ撮影信号を、フレームバッファ１４０に取り込む。
【００６２】
（ステップＳ５５０）
比較演算部１３０の多拘束ＦＮＳ法または多拘束拡張ＦＮＳ法による複数モデル演算部１３１は、複数の色補正モデルを算出する。色補正モデルは、後述する式（１３）における自由度を示すパラメータｈの個数（最大で１２個）に対応して、異なるものとなる。
【００６３】
（ステップＳ５６０）
色補正モデルの選択部１３２は、選択基準算出部１３３が算出した基準に従い、その値が最小となる色補正モデルを最適なものとして選択する。一般に、色補正モデルは、パラメータの数を増大させて演算量を増大させる程より緻密かつフィッティングしたモデルとなることが知られている。一方で、パラメータの数を増大すればするほど演算負荷が増大するので演算処理時間や消費電力や発熱量が増大するトレードオフの関係にある。
【００６４】
しかし、色補正装置１００の色補正モデルの選択部１３２は、選択基準算出部１３３が算出した基準に従い、パラメータの数を増大させすぎずかつフィッティングとのバランスがとれたモデルを選択することができる。
【００６５】
（ステップＳ５７０）
補正パラメータ算出部１３４は、ステップＳ５６０で選択された色補正モデルを用いて補正パラメータを算出する。典型的には、補正パラメータ算出部１３４は、ＲＧＢ各々についての白レベル、黒レベル、ガンマレベルを算出することができる。
【００６６】
（ステップＳ５８０）
色補正装置１００の補正パラメータ記憶部１１０は、ステップＳ５７０で算出された補正パラメータを記憶する。なお、再撮モニタ２００が複数台ある場合には、各再撮モニタに対応して補正パラメータを各々算出し記憶してもよい。上述したステップＳ５１０乃至ステップＳ５８０までが、現実の補正処理を入力映像に遂行するための準備段階である。なお、ステップＳ５８０の終了後、図２においてすでに説明した検証段階を有することとしてもよい。
【００６７】
（ステップＳ５９０）
再撮モニタ２００に表示させるＶＴＲ映像や撮影映像等の入力が、色補正装置１００に対してあるかないかを判断する。再撮モニタ２００に表示させるＶＴＲ映像や撮影映像等の入力がある場合には、ステップＳ５ａ０へと進む。再撮モニタ２００に表示させるＶＴＲ映像や撮影映像等の入力がない場合には、ステップＳ５９０で待機する。
【００６８】
（ステップＳ５ａ０）
補正処理部１２０は、補正パラメータ記憶部１１０に記憶された補正パラメータを用いて入力映像を補正する。
【００６９】
（ステップＳ５ｂ０）
再撮モニタ２００が、補正された入力映像２３０を表示する。
【００７０】
（ステップＳ５ｃ０）
補正された入力映像２３０を表示している再撮モニタ２００を、ビデオカメラ３００が撮影する。なお、ビデオカメラ３００自体については、予め色合い調整済であることが好ましい。
【００７１】
（ステップＳ５ｄ０）
ビデオカメラ３００で取得した映像を、マスタモニタ４００に表示する。マスタモニタ４００に表示された画像中には、補正された入力映像２３０を表示している再撮モニタ２００（すなわち再撮モニタ入力映像４２０）が存在する。
【００７２】
補正された入力映像２３０は、再撮モニタ２００に対する演出やその表示特性を色補正装置１００により予め補正されているので、ビデオカメラ３００で再撮モニタ２００と同アングル内に撮影されたニュースキャスター等の被写体と同等の自然な色合いとして、マスタモニタ４００に表示されることとなる。
【００７３】
次に、色補正装置１００が遂行する色補正処理に関する本発明者による論文を一部引用して、その補正処理について説明する。
【００７４】
テレビ局で多く行われている「再撮」と呼ばれる演出のために複数のモニタ間の色調整の自動化を行う。既知の色レベルからなるカラーチャートを撮影した画像から、その複数の色レベルを自動的に検出して、それらが適正な色レベルになるように色補正を行う。カメラによって撮影された映像中のカラーチャートの色レベルには観測誤差や、色空間のレベルに関する制限によるガマット誤差が含まれる場合もある。そのような場合でも最適な色補正パラメータを推定する。
【００７５】
テレビ局では、スタジオセット内にモニタを配置して、その中に番組のタイトルや番組内容に則した様々な映像を表示して、その画面をカメラで撮影する「再撮」と呼ばれる演出を多く行っている。
【００７６】
このときに問題となるのが、スタジオ照明と再撮モニタの色温度の違いにより、モニタ内の映像の色が正しく見えないことであり、色温度を合わせるためのモニタの色調整が頻繁に行われる。再撮モニタが複数台の場合には、モニタ間でも色を合わせなければならず、台数が増すほど、手間が掛かる。これは、撮影に使用する複数のカメラ間の色調整に関しても同様である。
【００７７】
本稿では、このような複数のモニタあるいはカメラ間における色調整作業を自動化するために、マクベスチャートのような既知の色レベルからなるカラーチャート（色票）を撮影した画像（写真・ビデオ業界ではマクベスチャートとも呼ばれて、ほぼ標準的に用いられているものであり、カメラの場合には実際のカラーチャートを撮影し、モニタの場合にはカラーチャートをモニタ上に表示させてカメラで撮影すればよい）から、その複数の色レベルを自動的に検出して、それらが適正な色レベルになるように色補正を行う。カメラによって撮影された映像中のカラーチャートの色レベルには観測誤差や、色空間のレベルに関する制限によるガマット誤差が含まれる場合もある。そのような場合でも最適な色補正パラメータを推定する。
【００７８】
（色補正パラメータの最適推定）
色補正には多くの研究があるが、色補正パラメータの推定において、画像中に含まれる観測誤差や色空間のレベルに関する制限によるガマット誤差の影響は十分考慮されてはいない。色補正モデルの推定には、最小二乗法を用いたり、色補正モデルには、高次の多項式モデルや明示的なモデルを未知としてニューラルネットワークを用いている。
【００７９】
ＲＧＢ３次元色空間において、カラーマトリクスと呼ばれる３×３行列の乗算と３次元オフセットベクトルの加算による次のような色変換モデルを考える（［図９］参照）。
【数１】
【００８０】
ここで、
【数２】
【００８１】
入力はカラーチャートにおける真の色データ
であり、その出力（カラーチャートを撮影した観測画像における色データ）
には、正規分布に従う誤差
が含まれると仮定する。
【００８２】
これは、いわゆる回帰問題（“出力誤差モデル”）であり、Ｎ組の色対応データ
が与えられたときの尤度は次のようになる。
【数３】
【００８３】
ただし、ベクトル
の内積を
と書く。
とすると（一様等方性）、結局
【数４】
【００８４】
この尤度を最大にする
および
が色変換モデルのパラメータおよび残差分散の最尤推定量を与える。
【００８５】
これは、説明変数
が与えられたとき、目的変数
の確率分布
が平均
、共分散行列
の（多次元）正規分布で与えられると仮定している。
【００８６】
尤度関数
の自然対数をとれば、対数尤度
【数５】
が得られる。最尤推定量を求めるためには、対数尤度
を最大にする
および
を求めればよい。この対数尤度を最大にする
を求めるためには、
【数６】
を最小にする
を求めればよいことがわかる。すなわち、色変換モデルの場合、最尤法は最小二乗法に帰着する。
【００８７】
ところが、実際に必要なのは色変換パラメータではなく、その“逆変換”である色補正パラメータである。そこで、入力と出力を入れ替えて、色補正モデルのパラメータを推定する。したがって、
【数７】
を最小にするパラメータを推定することを考える。ここで、［数６］と［数７］の
は同じものではない。その意味も“変換”とその逆変換である“補正”であることには注意が必要である。
【００８８】
これは、入力に誤差が含まれる“入力誤差モデル”となるが、パラメータの２次形式で表されるから、解はモーメント行列の最小固有値に対する単位固有ベクトルとして推定することができる。しかし、得られる解には統計的な偏差が生じることが知られている。金谷は［数７］の問題を「幾何学的当てはめ」として一般的に定式化し、それを最適に推定する方法を提案している。
【００８９】
すなわち、幾何学的当てはめと幾何学的ＡＩＣ／幾何学的ＭＤＬについて、「幾何学的当てはめ」とは「拘束式」
【数Ａ１】
と変数
の複数の実現値
からパラメータ
を推定する問題である。誤差は正規分布に従い、各
の正規化共分散行列
（一般には特異行列）は既知とする。この問題の「最尤推定」はマハラノビス距離
【数Ａ２】
を拘束式
のもとで未知数
に関して最小化することである。その残差（
の最小値）を
とし、ノイズレベルを
とすると
は第１近似において自由度
の
分布に従う。ただし、
は拘束条件（［数Ａ１］のランク（独立なものの数）であり、
は未知数
の自由度である。これからノイズレベル
の次の不偏推定量が得られる。
【数Ａ３】
【００９０】
拘束式［数Ａ１］がデータ空間（変数
の空間）に
次元モデル（多様体）
を定義するとき、その幾何学的ＡＩＣおよび幾何学的ＭＤＬは次のように定義される。
【数Ａ４】
【数Ａ５】
【００９１】
ここに
はある基準長であり、データ
が
となるように選ぶ。ただし、ノイズレベルは一般モデルにより［数Ａ３］で推定する。
【００９２】
ここでは、ＣｈｏｊｎａｃｋｉらのＦＮＳ法を複数の拘束式に対応させた新妻・金谷の多拘束ＦＮＳ法による２次元平面の射影変換行列の最適推定に基づき、３次元アフィン変換による色補正パラメータの最適計算を定式化する。
【００９３】
（３次元アフィン変換）
式（１）の色変換は、３次元のアフィン変換であり、ＲＧＢ３次元色空間における対応する色データ
をスケール定数
によって各成分のオーダーをそろえた４次元同次ベクトルを改めて
で表し、３次元アフィン変換行列を
行列
で表す。（色データの量子化ビット数８ビットのため
とした。）
【数８】
【００９４】
これらを用いると３次元アフィン変換は次のように書ける。
【数９】
【００９５】
ただし、
は４次元ベクトルの第４成分を１とする正規化作用素である。行列
には定数倍の不定性がある。そこで以下、適当な定数を掛けて
と正規化する（行列のノルムは
と定義する）。［数９］を各成分毎に書くと、
【数１０】
【数１１】
【数１２】
【００９６】
１３次元ベクトル
を次のように定義する。
【数１３】
【数１４】
【数１５】
【数１６】
【００９７】
正規化
は［数１３］の
が単位ベクトルであること（
）と等価である。３次元アフィン変換の各成分毎の［数１０］［数１１］［数１２］から次の拘束式を得る。
【数１７】
（３次元アフィン変換の最適計算）
【００９８】
個の色データ
と対応する色データ
が与えられたとき、それらの間の３次元アフィン変換を最適に計算したい。データ
を代入した［数１４］［数１５］［数１６］のベクトル
をそれぞれ
と書く。データに誤差があるとき、解くべき問題は
となるような１３次元ベクトル
を計算することである。そのためには誤差の統計的性質を考慮する必要がある。各色データ
は真値
に期待値０、標準偏差
の正規分布に従う誤差が加わると仮定する。最尤推定は次の目的関数
を最小にする
を求めることである。
【数１８】
【００９９】
ただし、
は
を
要素とする
行列の（ムーア・ペンローズの）一般逆行列の
要素である。
【数１９】
【０１００】
ここで、
は
の正規化共分散行列である。
はデータ
の正規化共分散行列
から線形近似によって次のように計算できる。
【数２０】
【０１０１】
ただし、
は
のヤコビ行列（各成分の
に関する微分を並べた行列）に
を代入した値である（詳細省略）。
【０１０２】
●データ
の正規化共分散行列
は、再撮モニタを色補正する場合には、モニタに誤差のないカラーチャートを表示したものをカメラで撮影するため、
とする。
【０１０３】
●カメラを色補正する場合には、実際のカラーチャートをカメラで撮影するため、
とする。
は６次の単位正方行列である。
（多拘束ＦＮＳ法）
［数１８］を
で微分すると次のようになる。
【数２１】
【０１０４】
ただし、
行列
を次のように置いた。
【数２２】
【０１０５】
上式中の
は次のように定義する。
【数２３】
［数１８］を最小にするには［数２１］より
を解けばよく、固有値問題を反復して解くＣｈｏｊｎａｃｋｉらのＦＮＳ法を用いることができる。多拘束ＦＮＳ法の手順は次のようになる。
【０１０６】
１．
の初期値
を与える。
２．［数２２］の
を計算する。
３．固有値問題
の最小固有値
に対する単位固有値ベクトル
を計算する。
４．符号を除いて
であれば次のアフィン変換行列
を返して終了する。そうでなければ
としてステップ２に戻る（
は単位ベクトルへの正規化）。ここで、解の更新に
を用いるのは、“中点”
を用いることを意味しており、これは反復の収束を行うための工夫である。
【０１０７】
（最小二乗法）
反復には初期値が必要であり、最も簡便なものが最小二乗法である。［数１８］で
（クロネッカのデルタ：
で１、それ以外で０）と置くと次のようになる。
【数２４】
【０１０８】
これは次のように変形される。
【数２５】
【０１０９】
ただし、次のように置いた。
【数２６】
［数２５］は
の２次形式であるから、これを最小化する単位ベクトル
はモーメント行列
の最小固有値に対する単位固有ベクトルである。
（精度の評価と理論限界）
【０１１０】
アフィン変換行列
を表す［数１３］の１３次元単位ベクトル
の推定値を
、誤差がない場合の真値を
とするとき、誤差
を次のように定義する。
【数２７】
【０１１１】
は
に直交する方向に射影した成分を得る射影行列である。
は１３次の単位正方行列である。これから推定値
の共分散行列が次のように定義できる。
【数２８】
【０１１２】
金谷の統計的最適化理論によれば、どのように
を推定しても、それが不偏推定量であればその共分散行列
には次の下界があることが示される。
【数２９】
【０１１３】
ただし、
は左辺引く右辺が正値対称行列であることを示す。右辺の
は［数２２］の行列
を色データの真値
の真値
を用いて計算した値である。また
はランク１２の（ムーア・ペンローズの）一般逆行列を表す。（
対称行列
のランク
の一般逆行列
とは、
の大きい
個の固有値を逆数に置き換え、残りの固有値を０に置き換えた行列である。）
【０１１４】
［数２９］の右辺は「ＫＣＲ下界」と呼ばれる。［数２９］の両辺の平方根を取り、［数２８］より
であることに注意すると、次の平方平均二乗（ＲＭＳ）誤差の下界が得られる。
【数３０】
【０１１５】
（レベル制約付き最適推定とモデル選択）
色空間における色変換処理であることから、厳密にはレベルに関する制限であるクリップ処理が付く（［図１０］参照）。
【０１１６】
すなわち、［数１］の３次元アフィン変換による色変換は次のようになる。
【数３１】
【０１１７】
ここで、
であり、
は色空間における最大レベルである。
は色データをＲＧＢ３次元色空間における３次元ベクトルと見なして、そのベクトルの方向を保存する様に各色成分を各上限下限成分にクリップする処理である（詳細省略）。
【０１１８】
色空間のレベルに関する制限であるクリップ処理によって生じるガマット誤差は、色補正パラメータの推定に影響を及ぼす。
【０１１９】
色補正パラメータの推定において、クリップ処理による影響を避ける素朴な方法としては、色空間の上限下限近傍の色データを用いない方法が考えられるが、そうすると、色空間の上限下限の色レベルにおいて、正しい色補正の結果が得られない。クリップ処理された色空間の上限下限近傍のディテールを復元することは不可能である。しかし、明らかに上限下限の色レベルにおける色補正の結果が異なることは望ましくない。
【０１２０】
そこで、観測画像にはガマット誤差が含まれることを考慮して、色空間の上限下限における色データの対応を拘束条件としたレベル制約付き最適化によって色補正パラメータを推定する。最適化の手法には、変数間の内部拘束を自動的に満たす解を求めるようにＦＮＳ法を拡張した拡張ＦＮＳ法を用いる。
【０１２１】
（内部拘束）
データ
は、
次元ベクトルであり、それらの真の値
は次の拘束式を満たすとする。
【数３２】
【０１２２】
ただし、
は未知の
次元ベクトルである。問題は誤差のあるデータ
から
を推定することである。
【０１２３】
［数３２］の形では未知ベクトルのスケールが不定となるので、
と正規化するが、これも一つの内部拘束である。そして、これ以外に
に次の
の内部拘束が存在するとする。
［数３３］
【０１２４】
これら
個の式は代数的に独立であるとする。最尤推定量
は
【数３４】
【０１２５】
を内部拘束
のもとで最小化するものである。
【０１２６】
ここで、
【数３５】
【０１２７】
（多拘束拡張ＦＮＳ法）
多拘束拡張ＦＮＳ法の手順は次のようになる。
１．
の初期解を与える。
２．次の行列
を計算する。
【数３６】
ここで、
【数３７】
３．ベクトル
を計算し、これにシュミットの直交化を施した正規直交系
を求める。
４．次の射影行列
を計算する。
【数３８】
ここで、
は
次の単位正方行列である。
５．次の行列
を計算する。
【数３９】
６．固有値問題
【数４０】
の絶対値の小さい
個の固有値に対する単位固有ベクトル
を求める。
７．現在の解
を次のように
に射影した
を計算する。
【数４１】
８．次の
を計算する。
【数４２】
９．
なら
を返して終了する。そうでなければ、
としてステップ２（行列
の計算）に戻る。
【０１２８】
（色補正モデルの選択）
ガマット誤差が生じている場合、線形の色変換であったとしても、十分な色補正結果を得るためには、例えば、その逆変換である色補正モデルを多項式モデルとすると、高次の項が含まれる必要がある。しかし、ガマット誤差が含まれているかどうかは未知であり、また、ガマット誤差が含まれている場合にも、その色補正モデルも未知である。色補正モデルの次数にも限界があり、一般に過剰な高次項を含む色補正モデルによる色補正は不安定になる。そこで、複数の色補正モデルを当てはめた結果から、モデル選択によって現実的な色補正モデルを選択することを考える。
【０１２９】
「幾何学的当てはめ」における代表的なモデル選択の規準には「幾何学的ＡＩＣ」と「幾何学的ＭＤＬ」がある。金澤・金谷は画像モザイク生成のために幾何学的ＡＩＣによる幾何学的モデル選択を用いた。松永・金谷は移動カメラのキャリブレーションのために幾何学的ＡＩＣと幾何学的ＭＤＬによる幾何学的モデル選択を用いた。Ｋａｎａｔａｎｉは複数の運動物体の分離に幾何学的ＡＩＣと幾何学的ＭＤＬを用いた。
【０１３０】
３次元アフィン変換モデルを最も自由度の高い一般モデルとすると、その自由度は１２であり、そのパラメータを最適に推定した結果の目的関数
の当てはめ残差
から二乗ノイズレベルを次のように推定する。
【０１３１】
【数４３】
【０１３２】
３次元アフィン変換モデルの幾何学的ＡＩＣと幾何学的ＭＤＬは、パラメータを最適に推定した結果の目的関数の当てはめ残差
と［数４３］より推定した二乗ノイズレベル
から次のように計算される。
【数４４】
【数４５】
【０１３３】
ここで
は基準長であり、色データの量子化ビット数８ビットの場合２５５とする。３次元アフィン変換のランクは３、補正モデルの次元は３である。モデルの次元の項は各モデルに共通の場合には除外してもよい。
【０１３４】
その他のモデルも同様にしてパラメータを最適に推定した結果の目的関数の当てはめ残差
と［数４３］より推定した一般モデルの二乗ノイズレベル
から計算することができる。幾何学的ＡＩＣあるいは幾何学的ＭＤＬが最小になるモデルを選択すればよい。
【０１３５】
（実験）
（３次元アフィン変換による色補正パラメータの最適推定の数値シミュレーション）
理想カラーチャートによる基準画像となるように、観測画像を３次元アフィン変換により基準画像の色レベルに補正する行列
は次のようになる。
【０１３６】
【数４６】
【０１３７】
カラーチャートの真の色レベルをデータ
として、対応する観測画像の色データ
に独立に期待値０、標準偏差
の正規乱数誤差を加えた。ただし、色データに対してはクリップ処理は行わなかった。そして計算したアフィン変換行列
を［数１３］の単位ベクトル
の形に表し、その誤差を［数２７］の
とする。これを各
で誤差を変えて１０００回試行し、そのＲＭＳ誤差を次のように評価した。
【数４７】
【０１３８】
は誤差
の
回目の試行の値である。［図６］（ｃ）は横軸に
をとって最小二乗法、多拘束ＦＮＳ法のＲＭＳ誤差ＥをＫＣＲ下界（［数３０］の右辺）とともにプロットしたものである。これから分かるように最小二乗法に対して多拘束ＦＮＳ法は、色データがクリップ処理されていない場合においては、精度の理論限界にほぼ到達している。
【０１３９】
（多項式モデルによる色補正パラメータのレベル制約付き最適推定とモデル選択）
［図７］は１次元理想ランプ（ｒａｍｐ）画像に色変換として線形変換を行った場合の簡単な例である。色補正パラメータを推定するために、クリップされていない色データのみを用いた場合と、クリップされていない色データとレベル制約を課した場合を比較する。
【０１４０】
多項式モデルを拡張ＦＮＳ法により最適に推定する。図中、計算に用いた色データは「◇Ｄａｔａ」で示す。色補正モデルには、多項式モデルとして１次から４次多項式を用いる。１次元多項式モデルによる色補正パラメータの最適推定は、拘束式が一つだから、次の目的関数Ｊを白・黒レベルを拘束条件として最小化すればよい。白・黒レベルの制約を課すことにより多項式モデルの自由度は２減る。１次式モデルの場合、２点をレベル制約とすると一意にパラメータが決まってしまうので、白レベルのみの拘束条件とした。
【数４８】
【０１４１】
例えば、２次多項式モデルによる補正の場合、
であり、ある特定の色レベル
が特定の色レベル
に補正されるとすると、色レベルに関する内部拘束は次のようになる。
【数４９】
【０１４２】
クリップされていない色データのみによる色補正結果では、クリップされた色データのレベルが正しく補正されていない［同図（ｃ）］。白・黒レベルを拘束条件としたことにより、厳密に白・黒レベルに補正されている［同図（ｆ）］。モデル選択の結果は、幾何学的ＡＩＣにより４次多項式モデルが選ばれ、幾何学的ＭＤＬにより３次多項式モデルが選ばれた。幾何学的ＭＤＬの方が退化モデルを選ぶ傾向がある。
【０１４３】
（カラーチャート検出の画像処理）
カラーチャートを撮影した画像から画像処理によってカラーチャートの色レベルを自動的に検出する。ＲＧＢ成分毎の各々の画像を複数のしきい値により複数の２値画像へ変換する。それら複数の２値画像中の矩形領域を境界追跡処理によって抽出する。そのようにして得られた矩形領域の大きさと４つの頂点のなす角度、矩形領域内の画素値の平均と分散から、得られた矩形領域がカラーチャートの一部であるかどうかを判定する。そのようにして選別した矩形領域の左上頂点座標によってソートして２方向に整列させて、矩形領域全体として２４色からなるカラーチャートを同定する。各矩形領域の重心座標からの一定領域中の画素の平均値をその領域における色レベルとして用いる。
【０１４４】
（実画像実験（再撮モニタ映像の色補正））
画像処理によりカラーチャートの色レベルを自動的に検出する。理想カラーチャートの色レベルに揃えるための色補正パラメータを最適に推定して、撮影画像を色補正する。観測画像における特定の色レベル
がカラーチャート中の特定の色レベル
に色補正されるとする。３次元アフィン変換により色補正される場合には、
が内部拘束になる。
【０１４５】
カラーチャート中の白レベルを拘束条件として、多拘束拡張ＦＮＳ法によりレベル制約付き最適推定した色補正パラメータによる色補正結果が得られる。ここでは、モニタ映像だけでなく撮影画像全体を色補正している。（実際には、モニタに映す映像のみ色補正する。）
【０１４６】
カラーチャートの色レベルのＲＭＳ誤差は２７．７であり、厳密に白バランスが取れている。レベル制約を課さずに多拘束ＦＮＳ法により最適推定した場合のＲＭＳ誤差は１９．３であり、それよりはやや上回っているが、最小二乗推定した場合の３２．７よりは下回っている。
【０１４７】
（まとめ）
再撮モニタの色補正を行うために、既知の色レベルからなるカラーチャートをモニタに表示したものをカメラで撮影して、撮影画像中のカラーチャートの色レベルを自動的に検出した。観測誤差やガマット誤差を考慮した最適なパラメータ推定による色補正を行った。
【０１４８】
今後の課題としては、ビデオ信号において標準的に用いられる輝度色差色空間における色補正モデルによる色補正も検討することである。色補正モデルとして、３次元アフィン変換モデル、１次元多項式モデルを用いたが、その他のモデルも検討してもよい。具体的な応用例として、立体視映像の撮影への適用も考えられる。
【０１４９】
図８は、マクベスチャート等の標準的な既知のカラーチャート８２１０を、複数のビデオカメラ８３００（１），８３００（２）で撮影し、色補正装置８１００を用いて補正する場合について説明する概要図である。カラーチャート８２１０は、４×６で２４色の異なる色を示すマス目で構成されている。
【０１５０】
色補正装置８１００は、複数のビデオカメラ８３００（１），８３００（２）で各々撮影した各映像の色合いが、カラーチャート８２１０に対応する所定の色合いとして取得されているか否かを検証し、カラーチャート８２１０に対応する所定の色合いとなるように補正した後、ビデオスイッチャ８９００に出力する。
【産業上の利用可能性】
【０１５１】
本発明は、放送用途や産業用途のビデオカメラシステム等に幅広く利用できる。
【符号の説明】
【０１５２】
１００・・色補正装置、２００・・再撮モニタ・・、３００・・ビデオカメラ、１０００・・ビデオカメラシステム。
【特許請求の範囲】
【請求項１】
カラー基準信号を記憶するリファレンス記憶部と、
前記カラー基準信号に対応するカラー基準映像の表示をする再撮モニタを撮影した再撮モニタ撮影信号が入力されるバッファと、
前記バッファが記憶する再撮モニタ撮影信号と、前記リファレンス記憶部が記憶する前記カラー基準信号と、を比較し、前記再撮モニタ撮影信号と前記カラー基準信号との差異を低減するように補正パラメータを算出する比較演算部と、
算出された前記補正パラメータを記憶する補正パラメータ記憶部と、
入力された映像データに対して、前記補正パラメータ記憶部に記憶された前記補正パラメータに基づく補正処理を遂行する補正処理部と、を備える
ことを特徴とする色補正装置。
【請求項２】
請求項１に記載の色補正装置において、
前記カラー基準信号を前記リファレンス記憶部から読み出して前記再撮モニタに出力することにより、前記カラー基準信号に対応する前記カラー基準映像を前記再撮モニタに表示させる
ことを特徴とする色補正装置。
【請求項３】
請求項１または請求項２に記載の色補正装置において、
前記補正処理部は、前記リファレンス記憶部に記憶された前記カラー基準信号を読み出して、前記カラー基準信号に対して前記補正パラメータに基づく補正処理を遂行して検証信号を前記再撮モニタに出力し、
前記バッファは、前記検証信号を表示する前記再撮モニタを撮影した再撮モニタ撮影検証信号が入力され、
前記比較演算部は、前記リファレンス記憶部に記憶された前記カラー基準信号と、前記バッファが記憶する前記再撮モニタ撮影検証信号とを比較して、差異の有無を検証する
ことを特徴とする色補正装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の色補正装置と、
前記カラー基準信号に対応した前記カラー基準映像を表示する再撮モニタと、
前記再撮モニタを撮影した前記再撮モニタ撮影信号を前記色補正装置に出力するビデオカメラと、
を備えることを特徴とするビデオカメラシステム。
【請求項５】
請求項１乃至請求項３のいずれか一項に記載の色補正装置を用いて再撮モニタを撮影した映像の色合いを補正する色補正方法であって、
再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程と、
前記再撮モニタに表示された前記カラー基準映像を撮影したビデオカメラから再撮モニタ撮影信号を取得する工程と、
取得した前記再撮モニタ撮影信号と、前記リファレンス記憶部に記憶するカラー基準信号と、を比較して補正パラメータを算出する工程と、
算出した前記補正パラメータを用いて入力された映像信号に対して補正処理を遂行する工程と、を有する
ことを特徴とする色補正方法。
【請求項６】
請求項５に記載の色補正方法において、
前記再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程は、前記リファレンス記憶部に記憶する前記カラー基準信号を前記色補正装置が出力し、出力に基づいたカラー基準映像を前記再撮モニタに表示させる工程である
ことを特徴とする色補正方法。
【請求項１】
カラー基準信号を記憶するリファレンス記憶部と、
前記カラー基準信号に対応するカラー基準映像の表示をする再撮モニタを撮影した再撮モニタ撮影信号が入力されるバッファと、
前記バッファが記憶する再撮モニタ撮影信号と、前記リファレンス記憶部が記憶する前記カラー基準信号と、を比較し、前記再撮モニタ撮影信号と前記カラー基準信号との差異を低減するように補正パラメータを算出する比較演算部と、
算出された前記補正パラメータを記憶する補正パラメータ記憶部と、
入力された映像データに対して、前記補正パラメータ記憶部に記憶された前記補正パラメータに基づく補正処理を遂行する補正処理部と、を備える
ことを特徴とする色補正装置。
【請求項２】
請求項１に記載の色補正装置において、
前記カラー基準信号を前記リファレンス記憶部から読み出して前記再撮モニタに出力することにより、前記カラー基準信号に対応する前記カラー基準映像を前記再撮モニタに表示させる
ことを特徴とする色補正装置。
【請求項３】
請求項１または請求項２に記載の色補正装置において、
前記補正処理部は、前記リファレンス記憶部に記憶された前記カラー基準信号を読み出して、前記カラー基準信号に対して前記補正パラメータに基づく補正処理を遂行して検証信号を前記再撮モニタに出力し、
前記バッファは、前記検証信号を表示する前記再撮モニタを撮影した再撮モニタ撮影検証信号が入力され、
前記比較演算部は、前記リファレンス記憶部に記憶された前記カラー基準信号と、前記バッファが記憶する前記再撮モニタ撮影検証信号とを比較して、差異の有無を検証する
ことを特徴とする色補正装置。
【請求項４】
請求項１乃至請求項３のいずれか一項に記載の色補正装置と、
前記カラー基準信号に対応した前記カラー基準映像を表示する再撮モニタと、
前記再撮モニタを撮影した前記再撮モニタ撮影信号を前記色補正装置に出力するビデオカメラと、
を備えることを特徴とするビデオカメラシステム。
【請求項５】
請求項１乃至請求項３のいずれか一項に記載の色補正装置を用いて再撮モニタを撮影した映像の色合いを補正する色補正方法であって、
再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程と、
前記再撮モニタに表示された前記カラー基準映像を撮影したビデオカメラから再撮モニタ撮影信号を取得する工程と、
取得した前記再撮モニタ撮影信号と、前記リファレンス記憶部に記憶するカラー基準信号と、を比較して補正パラメータを算出する工程と、
算出した前記補正パラメータを用いて入力された映像信号に対して補正処理を遂行する工程と、を有する
ことを特徴とする色補正方法。
【請求項６】
請求項５に記載の色補正方法において、
前記再撮モニタにカラー基準信号に対応するカラー基準映像を表示させる工程は、前記リファレンス記憶部に記憶する前記カラー基準信号を前記色補正装置が出力し、出力に基づいたカラー基準映像を前記再撮モニタに表示させる工程である
ことを特徴とする色補正方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１１−２５９０４７（Ｐ２０１１−２５９０４７Ａ）
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願番号】特願２０１０−１２９５１４（Ｐ２０１０−１２９５１４）
【出願日】平成２２年６月７日（２０１０．６．７）
【出願人】（３９１０４０３２０）株式会社朋栄 (16)
【Ｆターム（参考）】
【公開日】平成２３年１２月２２日（２０１１．１２．２２）
【国際特許分類】
【出願日】平成２２年６月７日（２０１０．６．７）
【出願人】（３９１０４０３２０）株式会社朋栄 (16)
【Ｆターム（参考）】
[ Back to top ]