色補正装置
【課題】入力映像信号の色補正を、簡易な構成で高精度に行う。
【解決手段】ＲＧＢ信号をリニアマトリクス変換処理して第一次色補正を行うリニアマトリクス色補正部４と、第一次色補正されたＲＧＢ信号の供給を受けてルックアップテーブルによる第二次色補正を行うルックアップテーブル色補正部５と、光源の分光特性を測定する分光計９と、測定結果である光源スペクトルに基づいて光源を推定する光源推定部１０と、光源の種類に対応して決定されたリニアマトリクス係数とルックアップテーブル係数とを記憶し、推定された光源に応じたリニアマトリクス係数とルックアップテーブルとを読み出してリニアマトリクス色補正部４とルックアップテーブル色補正部５とにそれぞれ設定する係数設定部１１とを備えた。
【解決手段】ＲＧＢ信号をリニアマトリクス変換処理して第一次色補正を行うリニアマトリクス色補正部４と、第一次色補正されたＲＧＢ信号の供給を受けてルックアップテーブルによる第二次色補正を行うルックアップテーブル色補正部５と、光源の分光特性を測定する分光計９と、測定結果である光源スペクトルに基づいて光源を推定する光源推定部１０と、光源の種類に対応して決定されたリニアマトリクス係数とルックアップテーブル係数とを記憶し、推定された光源に応じたリニアマトリクス係数とルックアップテーブルとを読み出してリニアマトリクス色補正部４とルックアップテーブル色補正部５とにそれぞれ設定する係数設定部１１とを備えた。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力映像信号の色補正を行う色補正装置に関する。
【背景技術】
【０００２】
従来、色補正を行う回路として、リニアマトリクス回路やルックアップテーブル回路が知られている。これら色補正回路としてのリニアマトリクス回路およびルックアップテーブル回路は、原色に近い色再現を実現したり特徴的な色再現を実現したりするために用いられる回路である。また、リニアマトリクス回路とルックアップテーブル回路とを組み合わせて用いたプリンタ装置が知られている（例えば、特許文献１参照）。この文献記載のプリンタ装置は、デジタルカメラにより撮像された画像をＹＣｒＣｂマトリクス補正回路で色補正をし、さらにルックアップテーブル補正回路で所定の色を強調して印刷画質を改善するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２１３２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
色補正回路として従来用いられているリニアマトリクス回路およびルックアップテーブル回路として、それらの補正係数を外部制御により変更可能なものがある。しかしながら、それら補正係数の決定方法は単に白バランスのＲＧＢ比をとるといった簡易な方法によるものであり、被写体の照明環境や撮像装置の分光特性を考慮して得られた補正係数ではないため、高精度な色補正を行うことができなかった。
そこで、本発明は上記問題を解決するためになされたものであり、簡易な構成で高精度な色補正を行うことができる、色補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
［１］上記の課題を解決するため、本発明の一態様である色補正装置は、入力映像信号をリニアマトリクス変換処理して第一次色補正を行うリニアマトリクス色補正部と、前記リニアマトリクス色補正部が第一次色補正を行った映像信号の供給を受けて、ルックアップテーブル係数を含むルックアップテーブルの参照方式によって前記映像信号における色値の第二次色補正を行うルックアップテーブル色補正部と、前記入力映像信号に対応する光源の分光特性を測定する分光計と、前記分光計が測定した分光特性に基づいて光源を推定する光源推定部と、光源の種類に対応するリニアマトリクス係数とルックアップテーブル係数とを記憶し、前記光源推定部が推定した光源に応じたリニアマトリクス係数とルックアップテーブル係数とを読み出して前記リニアマトリクス色補正部と前記ルックアップテーブル色補正部とにそれぞれ設定する係数設定部と、を備えることを特徴とする。
このように構成したことにより、光源の分光特性、例えば光源スペクトルの光の波長に対応する光の強度の特徴に基づいて光源を推定する。そして、光源の種類に対応して決定されたリニアマトリクス係数とルックアップテーブル係数とから、推定した光源に応じたリニアマトリクス係数とルックアップテーブル係数とを用いて色補正を行う。これにより、光源に適した色補正を行うことができる。
【０００６】
［２］上記の課題を解決するため、本発明の一態様である色補正装置は、入力映像信号をリニアマトリクス変換処理して第一次色補正を行うリニアマトリクス色補正部と、前記リニアマトリクス色補正部が第一次色補正を行った映像信号の供給を受けて、ルックアップテーブル係数を含むルックアップテーブルの参照方式によって前記映像信号における色値の第二次色補正を行うルックアップテーブル色補正部と、色補正のリファレンスであるリファレンス映像信号を供給するリファレンス映像供給部と、前記入力映像信号と前記リファレンス映像供給部からのリファレンス映像信号との供給を受けて、前記入力映像信号と前記リファレンス映像信号との色差が小さくなるリニアマトリクス係数を計算し、計算された前記リニアマトリクス係数を前記リニアマトリクス色補正部に設定する係数設定部と、を備えることを特徴とする。
このように構成したことにより、色補正のリファレンスであるリファレンス映像信号と入力映像信号との色差が最小となるリニアマトリクス係数を計算して、そのリニアマトリクス係数を色補正に用いる。これにより、リファレンス映像に近い色再現を行うよう色補正をすることができる。
【０００７】
［３］上記［２］記載の色補正装置は、前記入力映像信号は単板式撮像素子から得られる映像信号であり、前記リファレンス映像供給部は、３板式撮像装置であることを特徴とする。
［４］上記［２］記載の色補正装置は、前記リファレンス映像供給部は、色補正のリファレンスであるリファレンス画像を記憶した記憶部を備え、前記記憶部から読み出したリファレンス画像をリファレンス映像信号として供給することを特徴とする。
［５］上記［１］または［２］記載の色補正装置は、前記リニアマトリクス色補正部の出力と前記ルックアップテーブル色補正部の出力とを加算する加算回路をさらに備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、簡易な構成で高精度な色補正を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態である色補正装置が適用された撮像装置の機能構成を示すブロック図である。
【図２】、同実施形態における白バランス調整部、リニアマトリクス色補正部、およびルックアップテーブル色補正部についての機能構成を示すブロック図である。
【図３】分光計によって測定された分光特性の光源スペクトルのグラフである。
【図４】光源推定部が、赤外線成分と蛍光灯成分とを特徴として用いて光源の種類を推定した結果を示す図である。
【図５】係数設定部が記憶するリニアマトリクス係数のデータ構成を示す図である。
【図６】係数設定部が記憶するルックアップテーブル係数のデータ構成を示す図である。
【図７】ｘｙ信号のｘｙ色度図とその拡大図とを模式的に示す図である
【図８】本発明の第２実施形態である色補正装置が適用された撮像装置の機能構成を示すブロック図である。
【図９】本発明の第３実施形態である色補正装置が適用された撮像装置の機能構成を示すブロック図である。
【図１０】同実施形態における撮像素子の撮像面を模式的に表した図である。
【図１１】その他の実施形態において、指定された９個の変位ベクトルに基づいて、３２×３２個の格子点の変位ベクトルをワーピング技術により求めた結果を模式的に示す図である。
【図１２】その他の実施形態において、ベイヤ配列型撮像素子から供給される信号を処理する白バランス調整部、リニアマトリクス色補正部、およびルックアップテーブル色補正部についての機能構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１実施形態である色補正装置が適用された撮像装置の機能構成を示すブロック図である。同図に示すように、撮像装置１００は、撮像レンズ光学系１と、撮像素子２と、白バランス調整部３と、リニアマトリクス色補正部４と、ルックアップテーブル色補正部５と、切換部６と、加算回路７と、信号処理部８と、分光計９と、光源推定部１０と、係数設定部１１と、係数補間部１２とを備える。
本実施形態において、色補正装置は、リニアマトリクス色補正部４と、ルックアップテーブル色補正部５と、分光計９と、光源推定部１０と、係数設定部１１と、係数補間部１２とを含むものである。
【００１１】
また、撮像装置１００は、不図示の操作系と制御部とフォーカス調整部とを備える。操作系は、撮像装置１００の操作者によって操作されるスイッチやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等の操作部を具備し、この操作部の操作に応じて各種の操作信号を制御部に供給する。制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびメモリを具備し、メモリに展開した制御プログラムをＣＰＵに実行させることによって撮像装置１００全体を制御する。制御部は、ＣＰＵによる制御プログラムの実行と操作系から供給される操作信号とに基づいて、撮像装置１００を、例えば白バランス調整モード、係数設定モード、および通常動作モードのうちいずれかのモードに設定して動作させる。
【００１２】
撮像レンズ光学系１は、被写体から到来する光束を集光するレンズ群を含んで構成される。
撮像素子２は、単一の撮像面を有する固体撮像素子であり、撮像レンズ光学系１によって撮像面上に結像された像を撮像してＲ信号、Ｇ信号、およびＢ信号（これら３種類の信号を、まとめてＲＧＢ信号とも呼ぶ。）を生成する。撮像素子２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。より具体的には、撮像素子２は、例えば、３８４０画素×２１６０画素または７６８０画素×４３２０画素の超高精細画像の解像度で撮像可能な単板式カラー撮像素子である。
撮像レンズ光学系１と撮像素子２との光軸方向の位置関係は、フォーカス調整部によって調整される。
【００１３】
白バランス調整部３は、制御部によって白バランス調整モードに設定されているときに、無彩色チャートを撮像している撮像素子２から供給されるＲＧＢ信号の白バランス（ホワイトバランス）を調整する調整回路である。無彩色チャートを撮像している撮像素子２からＲＧＢ信号が供給されると、白バランス調整部３は、ＲＧＢ信号のゲインやバランスを調整する。白バランス調整部３は、制御部によって白バランス調整モードに設定されていないときは、撮像素子２から供給されるＲＧＢ信号を、調整済みのゲインおよびバランスにより出力する。
【００１４】
リニアマトリクス色補正部４は、制御部によって通常動作モードに設定されているときに、白バランス調整部３から供給されるＲＧＢ信号（入力映像信号）を取り込んで、ＲＧＢ信号の線形変換による色補正（第一次色補正）を行う。具体的には、リニアマトリクス色補正部４は、所定の行列式によるＲＧＢ信号の線形変換処理（リニアマトリクス変換処理）を行う。線形変換処理においては、係数として３×３行列が用いられるが、この行列に含まれる９個の要素は、分光計９により測定された光源の分光特性に応じて、係数設定部１１により設定されるリニアマトリクス係数である。
【００１５】
ルックアップテーブル色補正部５は、制御部によって通常動作モードに設定されているときに、リニアマトリクス色補正部４から供給される第一次色補正後のＲＧＢ信号を取り込んでルックアップテーブルの参照を行うことにより色補正（第二次色補正）を行う。具体的には、ルックアップテーブル色補正部５は、取り込んだ第一次色補正後のＲＧＢ信号をＹｘｙ信号に変換し、このＹｘｙ信号のうちｘｙ信号についての色度座標値を基にルックアップテーブルを参照する。そして、ルックアップテーブル色補正部５は、そのｘｙ信号についての色度座標値とルックアップテーブルの参照結果とを係数補間部１２に供給し、係数補間部１２から得られる補間色度座標値を第二次色補正後の色度座標値とする。そして、ルックアップテーブル色補正部５は、Ｙ信号と第二次色補正後のｘｙ信号とを併せたＹｘｙ信号をＲＧＢ信号に逆変換する。二次元ルックアップテーブルのテーブル値は、係数設定モード時に係数補間部１２によって設定されるルックアップテーブル係数である。
【００１６】
リニアマトリクス色補正部４による第一次色補正は粗調整であり、ルックアップテーブル色補正部５による第二次色補正は、リニアマトリクス色補正部４による線形変換処理で補正しきれない部分の微調整である。なお、第一次および第二次色補正のうちいずれかの補正が非補正となるように、リニアマトリクス色補正部４とルックアップテーブル色補正部５との係数を設定してもよい。
【００１７】
切換部６は、切換制御可能なオン／オフスイッチ回路である。切換部６は、操作系の操作に基づいて制御部から供給される切換信号のレベルに応じてオン（接続）またはオフ（非接続）に切り換えられる。加算回路７は、２系統の入力部と１系統の出力部とを備える。加算回路７は、例えばオペアンプによる加算回路である。切換部６は、リニアマトリクス色補正部４の出力部と加算回路７の一方の系統の入力部との間に設けられる。そして、ルックアップテーブル色補正部５の出力部と加算回路７の他方の系統の入力部とが接続される。加算回路７の一方の系統の入力部は例えばプルダウン接続されており、切換部６がオフ状態になったときには加算回路７の一方の系統の入力部には０値の信号が入力される。
なお、加算回路７をデジタル加算器で構成し、切換部６がそのデジタル加算器の例えばＥｎａｂｌｅ／Ｄｉｓａｂｌｅ端子を制御して加算演算をオン／オフするように構成してもよい。
【００１８】
よって、切換部６がオン状態であるときは、リニアマトリクス色補正部４から出力される第一次色補正後のＲＧＢ信号は、ルックアップテーブル色補正部５と加算回路７の前記一方の系統の入力部との両方に供給される。したがって、加算回路７は、リニアマトリクス色補正部４から供給される第一次色補正後のＲＧＢ信号とルックアップテーブル色補正部５から供給される第二次色補正後のＲＧＢ信号とを加算して得られるＲＧＢ信号を出力する。
一方、切換部６がオフ状態であるときは、加算回路７の前記一方の系統の入力部とリニアマトリクス色補正部４の出力部とは非接続となり、加算回路７の前記他方の系統の入力部は、ルックアップテーブル色補正部５からの第二次色補正後のＲＧＢ信号の供給を受ける。したがって、加算回路７は、ルックアップテーブル色補正部５から供給される第二次色補正後のＲＧＢ信号と同一レベルのＲＧＢ信号を出力する。
【００１９】
信号処理部８は、カメラプロセス回路であり、加算回路７から供給されるＲＧＢ信号を取り込むと、例えば信号のフォーマット変換やデータの符号化処理等の信号処理を行って、色補正後の映像信号を出力する。
【００２０】
撮像装置１００が係数設定モードに設定されているとき、分光計９と光源推定部１０と係数設定部１１と係数補間部１２とは、光源を推定してその推定した光源に適したリニアマトリクス係数およびルックアップテーブル係数を、リニアマトリクス色補正部４およびルックアップテーブル色補正部５に設定する。
分光計９は、係数設定モードに設定されているときに、光源の分光特性を測定する分光特性測定装置である。分光計９は、光源からの光束を取り込んで分光特性を測定し、光源の光の波長に対する光の強度を表す光源スペクトルを出力する。
なお、分光計として、光源の特定スペクトルを検出する光源特徴検出器を用いてもよい。
【００２１】
光源推定部１０は、係数設定モードに設定されているときに、分光計９から供給される光源スペクトルから波長に応じた光の強度の特徴を検出し、その特徴に基づいて光源の種類を推定する。光源推定部１０が推定する光源の種類は、例えば、Ａ光源類、Ｄ６５光源類、ＬＥＤ光源類、および蛍光灯光源類である。光源推定部１０は、これらの光源の種類それぞれに光源類識別子を付与して予め記憶している。光源類識別子は、例えば、Ａ光源類＝「００１」、Ｄ６５光源類＝「００２」、ＬＥＤ光源類＝「００３」、および蛍光灯光源類＝「００３」である。Ａ光源類およびＤ６５光源類は、国際照明委員会が規定する標準光の規格である標準の光Ａおよび標準の光Ｄ６５にそれぞれ対応する光源である。具体的には、Ａ光源類にはタングステンフィラメントや一般的な家庭用電球が含まれ、Ｄ６５光源類には日中の太陽光が含まれる。光源推定部１０による光源の種類の推定方法については後述する。
光源推定部１０は、推定した光源の種類に対応する光源類識別子を光源推定結果信号として出力する。
【００２２】
係数設定部１１は、リニアマトリクス係数とルックアップテーブル係数とを、光源の種類ごとに予め記憶している。係数設定部１１は、制御部によって係数設定モードに設定されているときに、光源推定部１０から供給される光源推定結果信号と制御部から供給される切換信号とを取り込み、光源類識別子に対応するリニアマトリクス係数を読み出してリニアマトリクス色補正部４に設定するとともに、切換信号のレベルと光源類識別子とに対応するルックアップテーブル係数を読み出して係数補間部１２に供給する。
【００２３】
係数補間部１２は、制御部によって係数設定モードに設定されているときに、係数設定部１１から供給されるルックアップテーブル係数を取り込んで、そのルックアップテーブル係数をルックアップテーブル色補正部５に設定する。また、係数補間部１２は、制御部によって通常動作モードに設定されているときに、ルックアップテーブル色補正部５から第二次色補正前の色度座標値とルックアップテーブルの所定の参照結果との供給を受けてその色度座標値を補間し、この補間した補間色度座標値をルックアップテーブル色補正部５に供給する。
【００２４】
次に、白バランス調整部３、リニアマトリクス色補正部４、およびルックアップテーブル色補正部５についてより詳細に説明する。図２は、白バランス調整部３、リニアマトリクス色補正部４、およびルックアップテーブル色補正部５についての機能構成を示すブロック図である。
同図において、白バランス調整部３は、オプティカルブラック・クランプ回路（ＯＢ ＣＬＡＭＰ）３１と、ゲイン調整回路（ＧＡＩＮ）３２と、ペデスタルレベル調整回路（ＰＥＤ）３３とを、３系統備えている。オプティカルブラック・クランプ回路３１は、オプティカルブラック領域のレベルと映像信号の黒レベルとの差を補正して黒レベルを決定する回路である。ゲイン調整回路３２は、信号レベルを調整する回路でありＲＧＢ３系統の白バランスを調整する。ペデスタルレベル調整回路３３は、ペデスタルレベルを調整する回路でありＲＧＢ３系統の黒バランスを調整する。
【００２５】
制御部によって白バランス調整モードに設定されているときに、ＲＧＢ信号の供給を受けた白バランス調整部３は、Ｒ信号、Ｇ信号、およびＢ信号それぞれを、オプティカルブラック・クランプ回路３１とゲイン調整回路３２とペデスタルレベル調整回路３３とを通して白バランスを調整し、白バランスの調整がとれたＲ１信号、Ｇ１信号、およびＢ１信号を出力する。また、制御部により白バランス調整モードに設定されていないときは、ＲＧＢ信号の供給を受けた白バランス調整部３は、調整されたオプティカルブラック・クランプ回路３１とゲイン調整回路３２とペデスタルレベル調整回路３３とを通してＲ１信号、Ｇ１信号、およびＢ１信号を出力する。
【００２６】
制御部によって通常動作モードに設定されているとき、リニアマトリクス色補正部４は、白バランス調整部３から供給されるＲ１信号、Ｇ１信号、およびＢ１信号を取り込むと、下記の式（１）に示す行列式によるリニアマトリクス変換処理（第一次色補正）を行ってＲ２信号、Ｇ２信号、およびＢ２信号を出力する。式（１）において、（Ｒｉ，Ｇｉ，Ｂｉ）はリニアマトリクス色補正部４に供給されるＲ１信号、Ｇ１信号、およびＢ１信号のＲ，Ｇ，Ｂ成分であり、（Ｒｏ，Ｇｏ，Ｂｏ）は第一次色補正後のＲ２信号、Ｇ２信号、およびＢ２信号のＲ，Ｇ，Ｂ成分である。３×３行列の９個の要素（Ｌｉｊ，１≦ｉ≦３，１≦ｊ≦３）は、係数設定部１１により設定されたリニアマトリクス係数である。
【００２７】
【数１】
【００２８】
ルックアップテーブル色補正部５は、色空間変換回路５１と、二次元ルックアップテーブル５２と、色空間逆変換回路５３とを備える。色空間変換回路５１は、ＲＧＢ表色系の座標空間をＹｘｙ表色系の座標空間に変換する回路である。具体的には、制御部によって通常動作モードに設定されているとき、色空間変換回路５１は、リニアマトリクス色補正部４から供給されるＲ２信号、Ｇ２信号、およびＢ２信号を取り込むと、まず下記の式（２）に示す行列Ｍ（ボールド体）を用いてＲＧＢ表色系のＲＧＢ信号をＸＹＺ表色系のＸＹＺ信号に変換する。なお、「（ボールド体）」との記載は、その直前の文字がボールド体で記載されることを示し、その文字が行列を表すことを意味する。
【００２９】
【数２】
【００３０】
より具体的には、色空間変換回路５１は、例えば、国際電気標準会議によりｓＲＧＢ（Ｓｔａｎｄａｒｄ ＲＧＢ）色空間として規格化されたＲＧＢ表色系の座標空間からＸＹＺ表色系の座標空間への変換の場合は、下記の式（３）を計算する。
【００３１】
【数３】
【００３２】
次に、色空間変換回路５１は、下記の式（４）を計算することにより、ＸＹＺ表色系のＸＹＺ信号をＹｘｙ表色系のＹｘｙ信号に変換する。なお、Ｙｘｙ表示系のＹ信号は、ＸＹＺ表色系のＹ信号がそのまま用いられるものである。
【００３３】
【数４】
【００３４】
二次元ルックアップテーブル５２は、Ｙｘｙ表色系におけるｘｙ色度座標系について、０≦ｘ≦（１−１／１２８）および０≦ｙ≦（１−１／１２８）の範囲内を例えば１２７×１２７個のブロックで区切り、各格子点に対応する色度座標値で参照可能な１４ビットのルックアップテーブルを構成したＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。制御部によって通常動作モードに設定されているとき、色空間変換回路５１からｘｙ信号の色度座標値（ｘ１，ｙ１）が供給されると、二次元ルックアップテーブル５２は、色度座標値（ｘ１，ｙ１）を含む最小ブロックの頂点である４個の格子点の色度座標値をインデックスとしてルックアップテーブルを参照し、参照結果である４個の色度座標値と色度座標値（ｘ１，ｙ１）とを係数補間部１２に供給する。そして、係数補間部１２から供給される補間色度座標値（ｘ２，ｙ２）を取り込んで第二次色補正後の色度座標値として出力する。
【００３５】
色空間逆変換回路５３は、Ｙｘｙ表色系の座標空間をＲＧＢ表色系の座標空間に変換する回路である。具体的には、色空間逆変換回路５３は、色空間変換回路５１から供給されるＹ信号と、二次元ルックアップテーブル５２から供給される第二次色補正後のｘｙ信号とを取り込んで、Ｙｘｙ表色系のＹｘｙ信号をＸＹＺ表色系のＸＹＺ信号に変換し、さらにＸＹＺ信号をＲＧＢ表色系のＲＧＢ信号に変換し、Ｒ３信号、Ｇ３信号、およびＢ３信号を出力する。つまり、色空間逆変換回路５３は、色空間変換回路５１の逆変換の回路である。
以上により、ルックアップテーブル色補正部５は、リニアマトリクス色補正部４から供給されるＲ２信号、Ｇ２信号、およびＢ２信号について第二次色補正処理を行い、第二次色補正後のＲ３信号、Ｇ３信号、およびＢ３信号を出力する。
【００３６】
次に、分光計９による光源の分光特性の測定例について説明する。図３は、分光計９によって測定された分光特性の光源スペクトルのグラフである。同図において、（ａ）はタングステンフィラメントの光源スペクトル、（ｂ）は蛍光灯の光源スペクトル、（ｃ）は別の種類の蛍光灯の光源スペクトル、（ｄ）は日中の太陽光の光源スペクトル、（ｅ）は白色型ＬＥＤの光源スペクトル、（ｆ）は三色型ＬＥＤの光源スペクトルの例であり、いずれのグラフにおいても、横軸が波長（ｎｍ）を示し、縦軸が光の強度を示す。
同図（ａ）のタングステンフィラメントの光源スペクトルは、波長が長くなるにしたがって光の強度も強くなる特性を有している。このような特性を有するタングステンフィラメントはＡ光源に分類される。同図（ｂ）および（ｃ）の蛍光灯の光源スペクトルは、４０５ｎｍ，４３５ｎｍ，４９０ｎｍ，５４５ｎｍ，５８０ｎｍ，６１０ｎｍの波長において光の強度のピークを有する。同図（ｄ）の太陽光の光源スペクトルは、Ａ光源よりも色温度が低く、相対的に短波長成分が多く含まれる。このような日中の太陽光はＤ６５光源に分類される。同図（ｅ）の白色型ＬＥＤの光源スペクトルは、４６０ｎｍの波長において光の強度のピークを有し、同図（ｆ）の三色型ＬＥＤの光源スペクトルは、４６５ｎｍ，５２０ｎｍ，６２５ｎｍの波長において光の強度のピークを有する。同図に示すように、光源スペクトルには、光源の種類ごとに波長に応じた光の強度の特徴を有している。
【００３７】
次に、光源推定部１０による光源の種類の推定方法について説明する。光源推定部１０は、分光計９から供給される光源スペクトルから、例えば、７００ｎｍ〜７５０ｎｍの波長成分を赤外線成分（ＩＲ成分）、５４５ｎｍの波長成分を蛍光灯成分（ＦＬ成分）としてそれらの波長成分を検出し、それらの相対量を求めて光源の種類を推定する。
図４は、光源推定部１０が、赤外線成分と蛍光灯成分とを特徴として用いて光源の種類を推定した結果を示す図である。同図において、横軸は、蛍光灯成分を輝度値で除算した値（ＦＬ／Ｙ）であり、縦軸は、赤外線成分を輝度値で除算した値（ＩＲ／Ｙ）である。同図に示すように、光源推定部１０は、光源スペクトルから赤外線成分および蛍光灯成分を検出して相対量を計算し、ＦＬ／ＹとＩＲ／Ｙとの二次元上の位置に対応する領域に基づいて光源の種類を推定する。そして、光源推定部１０は、推定した光源の種類に応じた光源類識別子を光源推定結果信号として出力する。
なお、光源推定部１０は、分光計９から供給される光源スペクトルから、例えば、４６０ｎｍの波長成分を白色ＬＥＤ成分、６２５ｎｍの波長成分を三色ＬＥＤ成分としてそれらの波長成分を検出して用いてもよい。
【００３８】
次に、係数設定部１１が記憶するリニアマトリクス係数について説明する。係数設定部１１に記憶されるリニアマトリクス係数は、光源類識別子ごとの９個のリニアマトリクス係数Ｌｉｊ，１≦ｉ≦３，１≦ｊ≦３である。これらリニアマトリクス係数は、光源の種類ごとに予め求められたものである。図５は、係数設定部１１が記憶するリニアマトリクス係数のデータ構成を示す図である。同図に示すように、係数設定部１１に記憶されるリニアマトリクス係数は、Ａ光源類とＤ６５光源類とＬＥＤ光源類と蛍光灯光源類とのそれぞれの光源に適合する９個の係数を含む。なお、不図示ではあるが、各リニアマトリクス係数は、光源類識別子に対応して係数設定部１１に記憶される。
【００３９】
次に、係数設定部１１が記憶するルックアップテーブル係数について説明する。係数設定部１１に記憶されるルックアップテーブル係数は、切換部６がオン状態であるときに用いられるルックアップテーブル係数と、切換部６がオフ状態であるときに用いられるルックアップテーブル係数とを、光源類識別子に対応して含むものである。これらルックアップテーブル係数は、光源の種類ごとに予め求められたものである。図６は、係数設定部１１が記憶するルックアップテーブル係数のデータ構成を示す図である。同図に示すように、係数設定部１１に記憶されるルックアップテーブル係数は、切換部６がオン状態であるときに用いられるルックアップテーブル係数と、切換部６がオフ状態であるときに用いられるルックアップテーブル係数とを、Ａ光源類とＤ６５光源類とＬＥＤ光源類と蛍光灯光源類とのそれぞれの光源に対応して含む。ルックアップテーブル係数は、例えば１２８×１２８個の色度座標値（ｘｉ，ｙｊ），０≦ｉ≦１２８，０≦ｊ≦１２８をインデックスとする配列データである。なお、不図示ではあるが、各ルックアップテーブル係数は、光源類識別子に対応して係数設定部１１に記憶される。
【００４０】
前述したとおり、切換部６がオン状態であるときは、リニアマトリクス色補正部４から出力される第一次色補正後のＲＧＢ信号と、ルックアップテーブル色補正部５から出力される第二次色補正後のＲＧＢ信号とが加算回路７で加算されたＲＧＢ信号を、信号処理部８が映像信号に変換する。よって、切換部６がオン状態であるときに用いられるルックアップテーブル係数は、リニアマトリクス色補正部４で第一次色補正された結果に対する相対値である。
また、切換部６がオフ状態であるときは、リニアマトリクス色補正部４とルックアップテーブル色補正部５とは直列に接続されるため、第一次色補正後のＲＧＢ信号をさらに第二次色補正して得られたＲＧＢ信号を、信号処理部８が映像信号に変換する。よって、切換部６がオフ状態であるときに用いられるルックアップテーブル係数は、第一次色補正値を更に補正して第二次色補正値を得るための色度座標値そのものとなる。
【００４１】
よって、第一次色補正値に対する相対値は、第一次色補正値を更に補正して第二次色補正値を得るための色度座標値そのもの（絶対値）に比べて値が極めて小さいため、切換部６がオン状態であるときのルックアップテーブル係数は、切換部６がオフ状態であるときのルックアップテーブル係数に比べてルックアップテーブルのビット数を少なくすることができる。したがって、切換部６をオン状態にして使用するルックアップテーブル色補正部５は、切換部６をオフ状態にして使用するルックアップテーブル色補正部５に比べてメモリ容量を少なくすることができる。
【００４２】
次に、制御部によって通常動作モードに設定されているときの係数補間部１２の動作原理について説明する。係数補間部１２は、ルックアップテーブル色補正部５の二次元ルックアップテーブル５２から色度座標値（ｘ１，ｙ１）と４個の格子点の色度座標値との供給を受けると、４個の格子点の色度座標値に基づく線形補間処理によって補間色度座標値（ｘ２，ｙ２）を計算する。
図７は、ｘｙ信号のｘｙ色度図とその拡大図とを模式的に示す図である。同図（ａ）は、色空間変換回路５１によって得られるｘｙ信号をｘｙ色度図として表した図であり、同図（ｂ）は、そのｘｙ色度図の一部分を拡大した図である。なお、同図のｘｙ色度図は色を省略している。同図（ｂ）に示すように、係数補間部１２は、二次元ルックアップテーブル５２から色度点ＩＣの座標値である色度座標値（ｘ１，ｙ１）と、その色度点ＩＣを含む最小ブロックの頂点である４個の格子点Ｃ１〜Ｃ４それぞれの色度座標値との供給を受けると、格子点Ｃ１〜Ｃ４の色度座標値に基づいて色度点ＩＣの色度座標値を補間する。具体的には、係数補間部１２は、４個の格子点Ｃ１〜Ｃ４を頂点とする最小ブロックを例えば４０９６×４０９６個のブロックに分割し、格子点Ｃ１〜Ｃ４の色度座標値を用いて直線補間を行い、色度点ＩＣの第二次色補正後の色度座標値である補間色度座標値（ｘ２，ｙ２）を計算する。そして、係数補間部１２は、補間色度座標値（ｘ２，ｙ２）を二次元ルックアップテーブル５２に供給する。
【００４３】
以上、説明したように、本発明の第１実施形態における撮像装置１００では、光源の種類に応じて決定されたリニアマトリクス係数とルックアップテーブル係数とを係数設定部１１に予め記憶しておく。そして、分光計９で測定した光源の分光特性に基づいて光源推定部１０が光源の種類を推定し、係数設定部１１がその推定された光源の種類に対応したリニアマトリクス係数およびルックアップテーブル係数を読み出して係数設定に用いる。このように構成したことにより、本実施形態における撮像装置１００は、被写体の光源に適した色補正を行うことができる。
【００４４】
また、本実施形態における撮像装置１００は、切換部６をオン状態に設定しているときに、リニアマトリクス色補正部４によって色補正されたＲＧＢ信号（第一次色補正）と、ルックアップテーブル色補正部５によって色補正されたＲＧＢ信号（第二次色補正）とを加算回路７で加算する。また、本実施形態における撮像装置１００は、切換部６をオフ状態に設定しているときに、リニアマトリクス色補正部４によって色補正されたＲＧＢ信号（第一次色補正）を、ルックアップテーブル色補正部５によって更に色補正する（第二次色補正）。いずれの構成においても、リニアマトリクス色補正部４による第一次色補正を祖調整とし、ルックアップテーブル色補正部５による第二次色補正を、線形変換処理で補正しきれない部分の微調整とすることができる。
【００４５】
［第２の実施の形態］
図８は、本発明の第２実施形態である色補正装置が適用された撮像装置の機能構成を示すブロック図である。なお、本実施形態では、第１実施形態における構成と同一の構成について同一の符号を付しその説明を省略する。
同図に示すように、撮像装置２００は、第１実施形態における撮像装置１００から分光計９と光源推定部１０とを削除して新たに３板式撮像装置１３を備えるとともに、撮像装置１００の係数設定部１１を係数設定部１１ａに置き換えた構成である。また、撮像装置２００は、第１実施形態と同様に、不図示の操作系と制御部とフォーカス調整部とを備える。
本実施形態において、色補正装置は、リニアマトリクス色補正部４と、ルックアップテーブル色補正部５と、係数設定部１１ａと、係数補間部１２と、３板式撮像装置１３とを含むものである。
【００４６】
３板式撮像装置１３は、撮像装置２００を色補正するためのリファレンス映像信号であるリファレンスＲＧＢ信号を出力するリファレンス映像供給部である。３板式撮像装置１３の３板式撮像素子の解像度は撮像装置２００の撮像素子２の解像度と異なっていてもよい。例えば、３板式撮像素子の解像度がＳＤＴＶ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）によるものであり、撮像素子２の解像度がＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）によるものであってもよい。
３板式撮像装置１３は、その光軸が撮像装置２００の光軸に略平行となるようにして撮像装置２００に着脱可能に設けられる。そして、３板式撮像装置１３の撮像レンズ光学系と撮像装置２００の撮像レンズ光学系１とを連動させるためのレンズ連動機構（不図示）が３板式撮像装置１３と撮像装置２００とにわたって設けられる。
撮像装置２００の色補正を行う際は、３板式撮像装置１３と撮像装置２００とは、カラーチャートを撮像しながらレンズ連動機構を動作させて、３板式撮像装置１３に内蔵された３板式撮像素子が撮像する撮像画像の画角と、撮像装置２００の撮像素子２が撮像する撮像画像の画角とをほぼ一致させるようにする。撮像装置２００の色補正が完了した後は、３板式撮像装置１３およびレンズ連動機構は撮像装置２００から取り外される。
【００４７】
または、３板式撮像装置１３による撮像画像の画角が撮像装置２００による撮像画像の画角よりも広くなるようにし、３板式撮像装置１３により得られたカラーチャートの撮像画像から、撮像装置２００により得られる撮像画像の画角と等しい画像領域を抽出するようにしてもよい。このようにした場合、レンズ連動機構を搭載せずに構成することができる。
【００４８】
係数設定部１１ａは、所定のルックアップテーブル係数を予め記憶している。この所定のルックアップテーブル係数は、例えば、第二次色補正を行わないテーブル値である。具体的には、切換部６がオンに設定される場合のルックアップテーブル係数は全て０であり、切換部６がオフに設定される場合のルックアップテーブル係数はインデックスに対する参照値がインデックスと同値になる値である。
また、係数設定部１１ａに記憶されたルックアップテーブル係数は、操作者による操作系の操作にしたがって修正可能である。
【００４９】
係数設定部１１ａは、制御部によって係数設定モードに設定されているときに、３板式撮像装置１３から供給されるリファレンスＲＧＢ信号と白バランス調整部３から供給されるソースＲＧＢ信号とを取り込んで、リファレンスＲＧＢ信号とソースＲＧＢ信号との色差が最小となるリニアマトリクス係数を計算する。具体的には、３板式撮像装置１３と撮像装置２００とは、例えばマクベスチャートを撮像する。そして、撮像装置２００の係数設定部１１ａは、３板式撮像装置１３から供給されるリファレンスＲＧＢ信号と白バランス調整部３から供給されるソースＲＧＢ信号とを取り込んで、両方の撮像画像におけるマクベスチャートの２４色それぞれのＲＧＢ値の差が最小となるように、リニアマトリクス係数を計算する。算出するリニアマトリクス係数Ｌ（ボールド体）は、下記の式（５）のように表される。式（５）において、（Ｒｒ，Ｇｒ，Ｂｒ）はリファレンスＲＧＢ信号のＲＧＢ値であり、（Ｒｓ，Ｇｓ，Ｂｓ）はソースＲＧＢ信号のＲＧＢ値である。
【００５０】
【数５】
【００５１】
係数設定部１１ａは、リニアマトリクス係数Ｌ（ボールド体）を、例えば最小二乗法の計算によって求める。つまり、係数設定部１１ａは、３板式撮像装置１３の撮像画像と撮像装置２００の撮像画像とから、マクベスチャートの２４色それぞれの領域における画素データを抽出し、第一次色補正後のＲＧＢ値を（Ｒｉ，Ｇｉ，Ｂｉ）として、リファレンスＲＧＢ信号のＲＧＢ値（Ｒｓ，Ｇｓ，Ｂｓ）との誤差ＥＲＧＢを下記の式（６）により計算する。
【００５２】
【数６】
【００５３】
係数設定部１１ａは、２４色それぞれにおいて誤差ＥＲＧＢが最小となるようなリニアマトリクス係数Ｌ（ボールド体）を計算する。誤差ＥＲＧＢが最小となるようなリニアマトリクス係数Ｌ（ボールド体）を求める方法は様々であるが、一例としては、所定の初期値からスタートして最急勾配法により最適なリニアマトリクス係数Ｌ（ボールド体）を計算する。このとき、マクベスチャートの２４色において任意の色を選択して計算したり、例えば肌色等の特定色を重視して加重平均を計算したりしてもよい。
【００５４】
係数設定部１１ａは、上記のようにして算出したリニアマトリクス係数Ｌ（ボールド体）をリニアマトリクス色補正部４に設定する。また、係数設定部１１ａは、制御部から供給される切換信号を取り込んで、その切換信号のレベルに対応するルックアップテーブル係数を読み出して係数補間部１２に供給する。
【００５５】
以上、説明したように、本発明の第２実施形態においては、３板式撮像装置１３と撮像装置２００とがマクベスチャートを撮像し、３板式撮像装置１３がリファレンスＲＧＢ信号を計数設定部１１ａに供給するとともに、撮像装置２００がソースＲＧＢ信号を計数設定部１１ａに供給する。そして、係数設定部１１ａが、リファレンスＲＧＢ信号とソースＲＧＢ信号との色差が最小となるリニアマトリクス係数Ｌ（ボールド体）を計算してリニアマトリクス色補正部４に設定する。このように構成したことにより、本実施形態における撮像装置２００は、３板式撮像素子を備えて分光特性の優れている３板式撮像装置１３の撮像映像に近い色再現を行うよう色補正をすることができる。
【００５６】
［第３の実施の形態］
図９は、本発明の第３実施形態である色補正装置が適用された撮像装置の機能構成を示すブロック図である。なお、本実施形態では、第１実施形態における構成と同一の構成について同一の符号を付しその説明を省略する。
同図に示すように、撮像装置３００は、第１実施形態における撮像装置１００から分光計９を削除するとともに、撮像装置１００の撮像素子２と白バランス調整部３と光源推定部１０とを、撮像素子２ａと白バランス調整部３ａと光源推定部１０ａとに置き換えた構成である。また、撮像装置３００は、第１実施形態と同様に、不図示の操作系と制御部とフォーカス調整部とを備える。
本実施形態において、色補正装置は、撮像素子２ａと、リニアマトリクス色補正部４と、ルックアップテーブル色補正部５と、光源推定部１０ａと、係数設定部１１と、係数補間部１２とを含むものである。
【００５７】
撮像素子２ａは、第１実施形態における撮像素子２と同様に、単一の撮像面を有する固体撮像素子であり、撮像レンズ光学系１によって撮像面上に結像された像を撮像してＲＧＢ信号を生成する。また、撮像素子２ａには、例えば７００ｎｍ〜７５０ｎｍの波長成分である赤外線成分を遮断して撮像面に照射させない領域と、赤外線成分を撮像面に照射させる領域とが設けられている。そして、撮像素子２ａは、光源からの光束を撮像して赤外線成分を含む画像領域と赤外線成分を含まない画像領域とからなる撮像画像を生成する。撮像素子２ａについては、その詳細を後述する。
【００５８】
白バランス調整部３ａは、第１実施形態における白バランス調整部３と同様に、制御部によって白バランス調整モードに設定されているときに、無彩色チャートを撮像している撮像素子２ａから供給されるＲＧＢ信号の白バランスを調整する調整回路である。また、白バランス調整部３ａは、制御部によって係数設定モードに設定されているときに、撮像素子２ａから供給されたＲＧＢ信号を光源推定部１０ａに供給する。
【００５９】
光源推定部１０ａは、制御部によって係数設定モードに設定されているときに、白バランス調整部３ａから供給されるＲＧＢ信号から赤外線成分とＲＧＢ成分とを抽出し、これら赤外線成分とＲＧＢ成分との相対的な関係に基づいて光源の種類を推定する。そして、光源推定部１０は、第１実施形態と同様に、推定した光源の種類に対応する光源類識別子を光源推定結果信号として出力する。
【００６０】
次に、撮像素子２ａの構成について詳細に説明する。図１０は、撮像素子２ａの撮像面を模式的に表した図である。同図に示すように、撮像素子２ａの撮像面には、撮像可能領域であるセンサ有効領域２３が含まれている。そして、センサ有効領域２３には、実際に撮像に使用される領域であるセンサ使用領域２４が含まれる。撮像面上に設けられるカバーガラスには、センサ有効領域２３内であってセンサ使用領域２４外である所定の部分領域に対応する領域を除いてＩＲカットフィルタ膜蒸着領域２１が設けられている。ＩＲカットフィルタ膜蒸着領域２１は、赤外線成分をカットする領域である。そして、カバーガラスにＩＲカットフィルタ膜蒸着領域２１が設けられていない領域がＩＲカットフィルタ膜非蒸着領域２２となる。
例えば、撮像素子２ａの有効画素数が４０９６×２１６０画素であり、そのうち３８４０×２１６０画素を撮像領域として使用する場合、２５６×２１６０画素の領域をＩＲカットフィルタ膜非蒸着領域２２として使用する。
【００６１】
なお、撮像面のセンサ有効領域２３の外側に設けられているオプティカルブラック領域（不図示）の一部分にＩＲカットフィルタ膜非蒸着領域を設けるようにしてもよい。
【００６２】
次に、光源推定部１０ａによる光源の種類の推定方法について説明する。撮像装置３００は、白バランスを調整するために用いられる無彩色チャートを撮像する。例えば、撮像装置３００は、白バランス調整モードに設定されて白バランス調整部３ａにより白バランスの調整を行う。そして、撮像装置３００は係数設定モードに切換えられて無彩色チャートを撮像する。そして、光源推定部１０ａは、白バランス調整部３ａから供給されるＲＧＢ信号から赤外線成分とＲＧＢ成分とを抽出する。具体的には、光源推定部１０ａは、例えば、ＩＲカットフィルタ膜非蒸着領域２２の画素領域からＲＧＢ成分を抽出し、センサ使用領域２４の画素領域とＩＲカットフィルタ膜非蒸着領域２２の画素領域との差分より赤外線成分を抽出する。
【００６３】
次に、光源推定部１０ａは赤外線成分の光の強度に基づいて、光源の種類を自然光源であるＡ光源およびＤ６５光源とその他の人口光源とに分類する。そして、光源の種類が自然光源に分類された場合、光源推定部１０ａは、さらに赤外線成分の光の強度に基づいてＡ光源であるかＤ６５光源であるかについて推定する。一方、光源の種類が人口光源に分類された場合、光源推定部１０ａは、ＲＧＢ成分の各光の強度の比率に基づいて蛍光灯の光源であるかＬＥＤの光源であるかについて推定する。光源推定部１０ａは、ＲＧＢ成分の各光の強度の比率に基づいて、人工光源の種類をさらに細かく推定してもよい。
【００６４】
以上、説明したように、本発明の第３実施形態においては、撮像素子２ａは、その撮像面にＩＲカットフィルタ膜蒸着領域２１とＩＲカットフィルタ膜非蒸着領域２２とを設け、赤外線成分を含む画像領域と赤外線成分を含まない画像領域とからなる撮像画像を生成するようにした。そして、光源推定部１０ａは、撮像素子２ａから供給されたＲＧＢ信号から赤外線成分とＲＧＢ成分とを抽出して光源の種類を推定するようにした。このように構成したことにより、本実施形態における撮像装置３００は、無彩色チャートを用いて白バランスの調整を行った後すぐに、その無彩色チャートを用いて光源の種類を推定し、被写体の光源に適した色補正を行うためのリニアマトリクス係数とルックアップテーブル係数とを設定することができる。
【００６５】
［その他の実施の形態］
上述した第１および第３実施形態における係数設定部１１と、第２実施形態における係数設定部１１ａとにおいて、係数補間部１２を介してルックアップテーブル係数をルックアップテーブル色補正部５に設定する場合に、ルックアップテーブル係数における任意の色度点に対応する係数の補正値を指定し、公知のワーピング技術を適用してその色度点周辺の係数を決定するようにしてもよい。ワーピング技術とは、本来は画像の変形処理に用いられる技術であり、例えば、変形前の画像に複数の変位ベクトルを指定し、その変位ベクトルに基づいて当該変形前の画像に設けた格子の格子点における各変位ベクトル量を計算するものである。例えば、係数設定部１１，１１ａは、第２実施形態と同様に所定のルックアップテーブル係数を予め記憶しておく。そして、係数設定部１１，１１ａは、制御部によって係数設定モードに設定されているときに、マクベスチャートを撮像して得た撮像画像から２４色それぞれに対応する２４点の補正値を指定し、これら２４点の周辺の係数を、ワーピング技術を適用して計算する。
【００６６】
図１１は、指定された９個の変位ベクトルに基づいて、３２×３２個の格子点の変位ベクトルをワーピング技術により求めた結果を模式的に示す図である。同図に示すように、ワーピング技術を適用して計算した結果、指定された９個の変位ベクトルに整合しながら格子点間でなだらかに変化する３２×３２個の変位ベクトルを得ることができる。言い換えれば、指定された９個の変位ベクトルが与える制約条件の下で、格子点間における変位ベクトルの変化度合い（勾配）をできるだけなだらかにすることができ、観察者の視覚的な色の変化を自然に感じさせることができる。
【００６７】
また、第１および第２実施形態における撮像素子２と、第３実施形態における撮像素子２ａとをベイヤ配列のカラーフィルタを具備するものとした場合、これら撮像素子２，２ａからはＲ信号、Ｂ信号の他に２系統のＧ信号（Ｇ１信号およびＧ２信号）が出力される。このようなベイヤ配列のカラーフィルタを備えた撮像素子を用いる場合は、リニアマトリクス色補正部とルックアップテーブル色補正部とをそれぞれ２系統用いて撮像装置を構成する。
【００６８】
図１２は、ベイヤ配列型撮像素子から供給される信号を処理する白バランス調整部、リニアマトリクス色補正部、およびルックアップテーブル色補正部についての機能構成を示すブロック図である。同図において、白バランス調整部３ｂは、オプティカルブラック・クランプ回路３１とゲイン調整回路３２とペデスタルレベル調整回路３３とを４系統備える。白バランス調整部３ｂは、ベイヤ配列型撮像素子から供給されるＲ信号、Ｂ信号、Ｇ１信号、およびＧ２信号を用いて白バランスの調整を行う。白バランス調整部３ｂから出力されるＲ１信号、Ｂ１信号、Ｇ１１信号、およびＧ２１信号は、リニアマトリクス色補正部４ａに供給される。
【００６９】
リニアマトリクス色補正部４ａは、第１実施形態で説明したリニアマトリクス色補正部４を２系統備えている。一方のリニアマトリクス色補正部４は、Ｒ１信号、Ｂ１信号、およびＧ１１信号の供給を受けてリニアマトリクス変換処理を行い、Ｒ２信号、Ｂ２信号、およびＧ１２信号を出力する。また、他方のリニアマトリクス色補正部４は、Ｒ１信号、Ｂ１信号、およびＧ２１信号の供給を受けてリニアマトリクス変換処理を行い、Ｒ２信号、Ｂ２信号、およびＧ２２信号を出力する。リニアマトリクス色補正部４ａから出力されるＲ２信号、Ｂ２信号、Ｇ１２信号、Ｇ２２信号は、ルックアップテーブル色補正部５ａに供給される。
【００７０】
ルックアップテーブル色補正部５ａは、第１実施形態で説明したルックアップテーブル色補正部５を２系統備えている。一方のルックアップテーブル色補正部５は、一方のリニアマトリクス色補正部４から出力されるＲ２信号、Ｂ２信号、およびＧ１２信号を取り込む。また、他方のルックアップテーブル色補正部５は、他方のリニアマトリクス色補正部４から出力されるＲ２信号、Ｂ２信号、およびＧ２２信号を取り込む。２系統のルックアップテーブル色補正部５は、第１実施形態と同様に、色空間変換回路５１と、二次元ルックアップテーブル５２と、色空間逆変換回路５３とをそれぞれ備える。
【００７１】
２系統の色空間逆変換回路５３それぞれのＢ出力から出力されるＢ信号は、２系統の入力値の平均値を求めて出力する加算平均演算回路５４に供給される。そして、加算平均演算回路５４は、２系統のＢ信号の供給を受けて加算平均を計算してＢ３信号を出力する。また、２系統の色空間逆変換回路５３それぞれのＲ出力から出力されるＲ信号は、２系統の入力値の平均値を求めて出力する加算平均演算回路５５に供給される。そして、加算平均演算回路５５は、２系統のＲ信号の供給を受けて加算平均を計算してＲ３信号を出力する。また、一方の色空間逆変換回路５３のＧ出力から出力されるＧ１３信号をそのまま出力し、他方の色空間逆変換回路５３のＧ出力から出力されるＧ２３信号もそのまま出力する。
【００７２】
また、第１実施形態から第３実施形態までのリニアマトリクス色補正部４は、ＲＧＢ信号の線形変換処理を行うものであるが、これ以外にも、リニアマトリクス色補正部４は、例えばＲＧＢ信号をまずＹＰｂＰｒ信号に変換し、色差信号であるＰｂＰｒ信号を、２×２行列を用いてリニアマトリクス変換処理するようにしてもよい。
【００７３】
また、ルックアップテーブル色補正部５に対するルックアップテーブル係数の設定は、係数設定部１１，１１ａが、係数補間部１２を介さずに直接行ってもよい。
【００７４】
また、第２実施形態における撮像装置２００では、色補正するためのリファレンスＲＧＢ信号を出力するリファレンス映像供給部として３板式撮像装置１３を用いた。これ以外にも、例えば、様々な光源条件で撮像したマクベスチャートの画像や、コンピュータ装置によって作成したコンピュータグラフィックス画像等のリファレンス画像を記憶装置に記憶しておき、この記憶装置から読み出した画像の信号をリファレンスＲＧＢ信号として使用するようにしてもよい。
【００７５】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７６】
１ 撮像レンズ光学系
２，２ａ 撮像素子
３，３ａ，３ｂ 白バランス調整部
４，４ａ リニアマトリクス色補正部
５，５ａ ルックアップテーブル色補正部
６ 切換部
７ 加算回路
８ 信号処理部
９ 分光計
１０，１０ａ 光源推定部
１１，１１ａ 係数設定部
１２ 係数補間部
１３ ３板式撮像装置（リファレンス映像供給部）
２１ ＩＲカットフィルタ膜蒸着領域
２２ ＩＲカットフィルタ膜非蒸着領域
２３ センサ有効領域
２４ センサ使用領域
３１ オプティカルブラック・クランプ回路
３２ ゲイン調整回路
３３ ペデスタルレベル調整回路
５１ 色空間変換回路
５２ 二次元ルックアップテーブル
５３ 色空間逆変換回路
５４，５５ 加算平均演算回路
１００，２００，３００ 撮像装置
【技術分野】
【０００１】
本発明は、入力映像信号の色補正を行う色補正装置に関する。
【背景技術】
【０００２】
従来、色補正を行う回路として、リニアマトリクス回路やルックアップテーブル回路が知られている。これら色補正回路としてのリニアマトリクス回路およびルックアップテーブル回路は、原色に近い色再現を実現したり特徴的な色再現を実現したりするために用いられる回路である。また、リニアマトリクス回路とルックアップテーブル回路とを組み合わせて用いたプリンタ装置が知られている（例えば、特許文献１参照）。この文献記載のプリンタ装置は、デジタルカメラにより撮像された画像をＹＣｒＣｂマトリクス補正回路で色補正をし、さらにルックアップテーブル補正回路で所定の色を強調して印刷画質を改善するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４２１３２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
色補正回路として従来用いられているリニアマトリクス回路およびルックアップテーブル回路として、それらの補正係数を外部制御により変更可能なものがある。しかしながら、それら補正係数の決定方法は単に白バランスのＲＧＢ比をとるといった簡易な方法によるものであり、被写体の照明環境や撮像装置の分光特性を考慮して得られた補正係数ではないため、高精度な色補正を行うことができなかった。
そこで、本発明は上記問題を解決するためになされたものであり、簡易な構成で高精度な色補正を行うことができる、色補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
［１］上記の課題を解決するため、本発明の一態様である色補正装置は、入力映像信号をリニアマトリクス変換処理して第一次色補正を行うリニアマトリクス色補正部と、前記リニアマトリクス色補正部が第一次色補正を行った映像信号の供給を受けて、ルックアップテーブル係数を含むルックアップテーブルの参照方式によって前記映像信号における色値の第二次色補正を行うルックアップテーブル色補正部と、前記入力映像信号に対応する光源の分光特性を測定する分光計と、前記分光計が測定した分光特性に基づいて光源を推定する光源推定部と、光源の種類に対応するリニアマトリクス係数とルックアップテーブル係数とを記憶し、前記光源推定部が推定した光源に応じたリニアマトリクス係数とルックアップテーブル係数とを読み出して前記リニアマトリクス色補正部と前記ルックアップテーブル色補正部とにそれぞれ設定する係数設定部と、を備えることを特徴とする。
このように構成したことにより、光源の分光特性、例えば光源スペクトルの光の波長に対応する光の強度の特徴に基づいて光源を推定する。そして、光源の種類に対応して決定されたリニアマトリクス係数とルックアップテーブル係数とから、推定した光源に応じたリニアマトリクス係数とルックアップテーブル係数とを用いて色補正を行う。これにより、光源に適した色補正を行うことができる。
【０００６】
［２］上記の課題を解決するため、本発明の一態様である色補正装置は、入力映像信号をリニアマトリクス変換処理して第一次色補正を行うリニアマトリクス色補正部と、前記リニアマトリクス色補正部が第一次色補正を行った映像信号の供給を受けて、ルックアップテーブル係数を含むルックアップテーブルの参照方式によって前記映像信号における色値の第二次色補正を行うルックアップテーブル色補正部と、色補正のリファレンスであるリファレンス映像信号を供給するリファレンス映像供給部と、前記入力映像信号と前記リファレンス映像供給部からのリファレンス映像信号との供給を受けて、前記入力映像信号と前記リファレンス映像信号との色差が小さくなるリニアマトリクス係数を計算し、計算された前記リニアマトリクス係数を前記リニアマトリクス色補正部に設定する係数設定部と、を備えることを特徴とする。
このように構成したことにより、色補正のリファレンスであるリファレンス映像信号と入力映像信号との色差が最小となるリニアマトリクス係数を計算して、そのリニアマトリクス係数を色補正に用いる。これにより、リファレンス映像に近い色再現を行うよう色補正をすることができる。
【０００７】
［３］上記［２］記載の色補正装置は、前記入力映像信号は単板式撮像素子から得られる映像信号であり、前記リファレンス映像供給部は、３板式撮像装置であることを特徴とする。
［４］上記［２］記載の色補正装置は、前記リファレンス映像供給部は、色補正のリファレンスであるリファレンス画像を記憶した記憶部を備え、前記記憶部から読み出したリファレンス画像をリファレンス映像信号として供給することを特徴とする。
［５］上記［１］または［２］記載の色補正装置は、前記リニアマトリクス色補正部の出力と前記ルックアップテーブル色補正部の出力とを加算する加算回路をさらに備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、簡易な構成で高精度な色補正を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１実施形態である色補正装置が適用された撮像装置の機能構成を示すブロック図である。
【図２】、同実施形態における白バランス調整部、リニアマトリクス色補正部、およびルックアップテーブル色補正部についての機能構成を示すブロック図である。
【図３】分光計によって測定された分光特性の光源スペクトルのグラフである。
【図４】光源推定部が、赤外線成分と蛍光灯成分とを特徴として用いて光源の種類を推定した結果を示す図である。
【図５】係数設定部が記憶するリニアマトリクス係数のデータ構成を示す図である。
【図６】係数設定部が記憶するルックアップテーブル係数のデータ構成を示す図である。
【図７】ｘｙ信号のｘｙ色度図とその拡大図とを模式的に示す図である
【図８】本発明の第２実施形態である色補正装置が適用された撮像装置の機能構成を示すブロック図である。
【図９】本発明の第３実施形態である色補正装置が適用された撮像装置の機能構成を示すブロック図である。
【図１０】同実施形態における撮像素子の撮像面を模式的に表した図である。
【図１１】その他の実施形態において、指定された９個の変位ベクトルに基づいて、３２×３２個の格子点の変位ベクトルをワーピング技術により求めた結果を模式的に示す図である。
【図１２】その他の実施形態において、ベイヤ配列型撮像素子から供給される信号を処理する白バランス調整部、リニアマトリクス色補正部、およびルックアップテーブル色補正部についての機能構成を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、本発明の第１実施形態である色補正装置が適用された撮像装置の機能構成を示すブロック図である。同図に示すように、撮像装置１００は、撮像レンズ光学系１と、撮像素子２と、白バランス調整部３と、リニアマトリクス色補正部４と、ルックアップテーブル色補正部５と、切換部６と、加算回路７と、信号処理部８と、分光計９と、光源推定部１０と、係数設定部１１と、係数補間部１２とを備える。
本実施形態において、色補正装置は、リニアマトリクス色補正部４と、ルックアップテーブル色補正部５と、分光計９と、光源推定部１０と、係数設定部１１と、係数補間部１２とを含むものである。
【００１１】
また、撮像装置１００は、不図示の操作系と制御部とフォーカス調整部とを備える。操作系は、撮像装置１００の操作者によって操作されるスイッチやＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）等の操作部を具備し、この操作部の操作に応じて各種の操作信号を制御部に供給する。制御部は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）およびメモリを具備し、メモリに展開した制御プログラムをＣＰＵに実行させることによって撮像装置１００全体を制御する。制御部は、ＣＰＵによる制御プログラムの実行と操作系から供給される操作信号とに基づいて、撮像装置１００を、例えば白バランス調整モード、係数設定モード、および通常動作モードのうちいずれかのモードに設定して動作させる。
【００１２】
撮像レンズ光学系１は、被写体から到来する光束を集光するレンズ群を含んで構成される。
撮像素子２は、単一の撮像面を有する固体撮像素子であり、撮像レンズ光学系１によって撮像面上に結像された像を撮像してＲ信号、Ｇ信号、およびＢ信号（これら３種類の信号を、まとめてＲＧＢ信号とも呼ぶ。）を生成する。撮像素子２は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサである。より具体的には、撮像素子２は、例えば、３８４０画素×２１６０画素または７６８０画素×４３２０画素の超高精細画像の解像度で撮像可能な単板式カラー撮像素子である。
撮像レンズ光学系１と撮像素子２との光軸方向の位置関係は、フォーカス調整部によって調整される。
【００１３】
白バランス調整部３は、制御部によって白バランス調整モードに設定されているときに、無彩色チャートを撮像している撮像素子２から供給されるＲＧＢ信号の白バランス（ホワイトバランス）を調整する調整回路である。無彩色チャートを撮像している撮像素子２からＲＧＢ信号が供給されると、白バランス調整部３は、ＲＧＢ信号のゲインやバランスを調整する。白バランス調整部３は、制御部によって白バランス調整モードに設定されていないときは、撮像素子２から供給されるＲＧＢ信号を、調整済みのゲインおよびバランスにより出力する。
【００１４】
リニアマトリクス色補正部４は、制御部によって通常動作モードに設定されているときに、白バランス調整部３から供給されるＲＧＢ信号（入力映像信号）を取り込んで、ＲＧＢ信号の線形変換による色補正（第一次色補正）を行う。具体的には、リニアマトリクス色補正部４は、所定の行列式によるＲＧＢ信号の線形変換処理（リニアマトリクス変換処理）を行う。線形変換処理においては、係数として３×３行列が用いられるが、この行列に含まれる９個の要素は、分光計９により測定された光源の分光特性に応じて、係数設定部１１により設定されるリニアマトリクス係数である。
【００１５】
ルックアップテーブル色補正部５は、制御部によって通常動作モードに設定されているときに、リニアマトリクス色補正部４から供給される第一次色補正後のＲＧＢ信号を取り込んでルックアップテーブルの参照を行うことにより色補正（第二次色補正）を行う。具体的には、ルックアップテーブル色補正部５は、取り込んだ第一次色補正後のＲＧＢ信号をＹｘｙ信号に変換し、このＹｘｙ信号のうちｘｙ信号についての色度座標値を基にルックアップテーブルを参照する。そして、ルックアップテーブル色補正部５は、そのｘｙ信号についての色度座標値とルックアップテーブルの参照結果とを係数補間部１２に供給し、係数補間部１２から得られる補間色度座標値を第二次色補正後の色度座標値とする。そして、ルックアップテーブル色補正部５は、Ｙ信号と第二次色補正後のｘｙ信号とを併せたＹｘｙ信号をＲＧＢ信号に逆変換する。二次元ルックアップテーブルのテーブル値は、係数設定モード時に係数補間部１２によって設定されるルックアップテーブル係数である。
【００１６】
リニアマトリクス色補正部４による第一次色補正は粗調整であり、ルックアップテーブル色補正部５による第二次色補正は、リニアマトリクス色補正部４による線形変換処理で補正しきれない部分の微調整である。なお、第一次および第二次色補正のうちいずれかの補正が非補正となるように、リニアマトリクス色補正部４とルックアップテーブル色補正部５との係数を設定してもよい。
【００１７】
切換部６は、切換制御可能なオン／オフスイッチ回路である。切換部６は、操作系の操作に基づいて制御部から供給される切換信号のレベルに応じてオン（接続）またはオフ（非接続）に切り換えられる。加算回路７は、２系統の入力部と１系統の出力部とを備える。加算回路７は、例えばオペアンプによる加算回路である。切換部６は、リニアマトリクス色補正部４の出力部と加算回路７の一方の系統の入力部との間に設けられる。そして、ルックアップテーブル色補正部５の出力部と加算回路７の他方の系統の入力部とが接続される。加算回路７の一方の系統の入力部は例えばプルダウン接続されており、切換部６がオフ状態になったときには加算回路７の一方の系統の入力部には０値の信号が入力される。
なお、加算回路７をデジタル加算器で構成し、切換部６がそのデジタル加算器の例えばＥｎａｂｌｅ／Ｄｉｓａｂｌｅ端子を制御して加算演算をオン／オフするように構成してもよい。
【００１８】
よって、切換部６がオン状態であるときは、リニアマトリクス色補正部４から出力される第一次色補正後のＲＧＢ信号は、ルックアップテーブル色補正部５と加算回路７の前記一方の系統の入力部との両方に供給される。したがって、加算回路７は、リニアマトリクス色補正部４から供給される第一次色補正後のＲＧＢ信号とルックアップテーブル色補正部５から供給される第二次色補正後のＲＧＢ信号とを加算して得られるＲＧＢ信号を出力する。
一方、切換部６がオフ状態であるときは、加算回路７の前記一方の系統の入力部とリニアマトリクス色補正部４の出力部とは非接続となり、加算回路７の前記他方の系統の入力部は、ルックアップテーブル色補正部５からの第二次色補正後のＲＧＢ信号の供給を受ける。したがって、加算回路７は、ルックアップテーブル色補正部５から供給される第二次色補正後のＲＧＢ信号と同一レベルのＲＧＢ信号を出力する。
【００１９】
信号処理部８は、カメラプロセス回路であり、加算回路７から供給されるＲＧＢ信号を取り込むと、例えば信号のフォーマット変換やデータの符号化処理等の信号処理を行って、色補正後の映像信号を出力する。
【００２０】
撮像装置１００が係数設定モードに設定されているとき、分光計９と光源推定部１０と係数設定部１１と係数補間部１２とは、光源を推定してその推定した光源に適したリニアマトリクス係数およびルックアップテーブル係数を、リニアマトリクス色補正部４およびルックアップテーブル色補正部５に設定する。
分光計９は、係数設定モードに設定されているときに、光源の分光特性を測定する分光特性測定装置である。分光計９は、光源からの光束を取り込んで分光特性を測定し、光源の光の波長に対する光の強度を表す光源スペクトルを出力する。
なお、分光計として、光源の特定スペクトルを検出する光源特徴検出器を用いてもよい。
【００２１】
光源推定部１０は、係数設定モードに設定されているときに、分光計９から供給される光源スペクトルから波長に応じた光の強度の特徴を検出し、その特徴に基づいて光源の種類を推定する。光源推定部１０が推定する光源の種類は、例えば、Ａ光源類、Ｄ６５光源類、ＬＥＤ光源類、および蛍光灯光源類である。光源推定部１０は、これらの光源の種類それぞれに光源類識別子を付与して予め記憶している。光源類識別子は、例えば、Ａ光源類＝「００１」、Ｄ６５光源類＝「００２」、ＬＥＤ光源類＝「００３」、および蛍光灯光源類＝「００３」である。Ａ光源類およびＤ６５光源類は、国際照明委員会が規定する標準光の規格である標準の光Ａおよび標準の光Ｄ６５にそれぞれ対応する光源である。具体的には、Ａ光源類にはタングステンフィラメントや一般的な家庭用電球が含まれ、Ｄ６５光源類には日中の太陽光が含まれる。光源推定部１０による光源の種類の推定方法については後述する。
光源推定部１０は、推定した光源の種類に対応する光源類識別子を光源推定結果信号として出力する。
【００２２】
係数設定部１１は、リニアマトリクス係数とルックアップテーブル係数とを、光源の種類ごとに予め記憶している。係数設定部１１は、制御部によって係数設定モードに設定されているときに、光源推定部１０から供給される光源推定結果信号と制御部から供給される切換信号とを取り込み、光源類識別子に対応するリニアマトリクス係数を読み出してリニアマトリクス色補正部４に設定するとともに、切換信号のレベルと光源類識別子とに対応するルックアップテーブル係数を読み出して係数補間部１２に供給する。
【００２３】
係数補間部１２は、制御部によって係数設定モードに設定されているときに、係数設定部１１から供給されるルックアップテーブル係数を取り込んで、そのルックアップテーブル係数をルックアップテーブル色補正部５に設定する。また、係数補間部１２は、制御部によって通常動作モードに設定されているときに、ルックアップテーブル色補正部５から第二次色補正前の色度座標値とルックアップテーブルの所定の参照結果との供給を受けてその色度座標値を補間し、この補間した補間色度座標値をルックアップテーブル色補正部５に供給する。
【００２４】
次に、白バランス調整部３、リニアマトリクス色補正部４、およびルックアップテーブル色補正部５についてより詳細に説明する。図２は、白バランス調整部３、リニアマトリクス色補正部４、およびルックアップテーブル色補正部５についての機能構成を示すブロック図である。
同図において、白バランス調整部３は、オプティカルブラック・クランプ回路（ＯＢ ＣＬＡＭＰ）３１と、ゲイン調整回路（ＧＡＩＮ）３２と、ペデスタルレベル調整回路（ＰＥＤ）３３とを、３系統備えている。オプティカルブラック・クランプ回路３１は、オプティカルブラック領域のレベルと映像信号の黒レベルとの差を補正して黒レベルを決定する回路である。ゲイン調整回路３２は、信号レベルを調整する回路でありＲＧＢ３系統の白バランスを調整する。ペデスタルレベル調整回路３３は、ペデスタルレベルを調整する回路でありＲＧＢ３系統の黒バランスを調整する。
【００２５】
制御部によって白バランス調整モードに設定されているときに、ＲＧＢ信号の供給を受けた白バランス調整部３は、Ｒ信号、Ｇ信号、およびＢ信号それぞれを、オプティカルブラック・クランプ回路３１とゲイン調整回路３２とペデスタルレベル調整回路３３とを通して白バランスを調整し、白バランスの調整がとれたＲ１信号、Ｇ１信号、およびＢ１信号を出力する。また、制御部により白バランス調整モードに設定されていないときは、ＲＧＢ信号の供給を受けた白バランス調整部３は、調整されたオプティカルブラック・クランプ回路３１とゲイン調整回路３２とペデスタルレベル調整回路３３とを通してＲ１信号、Ｇ１信号、およびＢ１信号を出力する。
【００２６】
制御部によって通常動作モードに設定されているとき、リニアマトリクス色補正部４は、白バランス調整部３から供給されるＲ１信号、Ｇ１信号、およびＢ１信号を取り込むと、下記の式（１）に示す行列式によるリニアマトリクス変換処理（第一次色補正）を行ってＲ２信号、Ｇ２信号、およびＢ２信号を出力する。式（１）において、（Ｒｉ，Ｇｉ，Ｂｉ）はリニアマトリクス色補正部４に供給されるＲ１信号、Ｇ１信号、およびＢ１信号のＲ，Ｇ，Ｂ成分であり、（Ｒｏ，Ｇｏ，Ｂｏ）は第一次色補正後のＲ２信号、Ｇ２信号、およびＢ２信号のＲ，Ｇ，Ｂ成分である。３×３行列の９個の要素（Ｌｉｊ，１≦ｉ≦３，１≦ｊ≦３）は、係数設定部１１により設定されたリニアマトリクス係数である。
【００２７】
【数１】
【００２８】
ルックアップテーブル色補正部５は、色空間変換回路５１と、二次元ルックアップテーブル５２と、色空間逆変換回路５３とを備える。色空間変換回路５１は、ＲＧＢ表色系の座標空間をＹｘｙ表色系の座標空間に変換する回路である。具体的には、制御部によって通常動作モードに設定されているとき、色空間変換回路５１は、リニアマトリクス色補正部４から供給されるＲ２信号、Ｇ２信号、およびＢ２信号を取り込むと、まず下記の式（２）に示す行列Ｍ（ボールド体）を用いてＲＧＢ表色系のＲＧＢ信号をＸＹＺ表色系のＸＹＺ信号に変換する。なお、「（ボールド体）」との記載は、その直前の文字がボールド体で記載されることを示し、その文字が行列を表すことを意味する。
【００２９】
【数２】
【００３０】
より具体的には、色空間変換回路５１は、例えば、国際電気標準会議によりｓＲＧＢ（Ｓｔａｎｄａｒｄ ＲＧＢ）色空間として規格化されたＲＧＢ表色系の座標空間からＸＹＺ表色系の座標空間への変換の場合は、下記の式（３）を計算する。
【００３１】
【数３】
【００３２】
次に、色空間変換回路５１は、下記の式（４）を計算することにより、ＸＹＺ表色系のＸＹＺ信号をＹｘｙ表色系のＹｘｙ信号に変換する。なお、Ｙｘｙ表示系のＹ信号は、ＸＹＺ表色系のＹ信号がそのまま用いられるものである。
【００３３】
【数４】
【００３４】
二次元ルックアップテーブル５２は、Ｙｘｙ表色系におけるｘｙ色度座標系について、０≦ｘ≦（１−１／１２８）および０≦ｙ≦（１−１／１２８）の範囲内を例えば１２７×１２７個のブロックで区切り、各格子点に対応する色度座標値で参照可能な１４ビットのルックアップテーブルを構成したＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）である。制御部によって通常動作モードに設定されているとき、色空間変換回路５１からｘｙ信号の色度座標値（ｘ１，ｙ１）が供給されると、二次元ルックアップテーブル５２は、色度座標値（ｘ１，ｙ１）を含む最小ブロックの頂点である４個の格子点の色度座標値をインデックスとしてルックアップテーブルを参照し、参照結果である４個の色度座標値と色度座標値（ｘ１，ｙ１）とを係数補間部１２に供給する。そして、係数補間部１２から供給される補間色度座標値（ｘ２，ｙ２）を取り込んで第二次色補正後の色度座標値として出力する。
【００３５】
色空間逆変換回路５３は、Ｙｘｙ表色系の座標空間をＲＧＢ表色系の座標空間に変換する回路である。具体的には、色空間逆変換回路５３は、色空間変換回路５１から供給されるＹ信号と、二次元ルックアップテーブル５２から供給される第二次色補正後のｘｙ信号とを取り込んで、Ｙｘｙ表色系のＹｘｙ信号をＸＹＺ表色系のＸＹＺ信号に変換し、さらにＸＹＺ信号をＲＧＢ表色系のＲＧＢ信号に変換し、Ｒ３信号、Ｇ３信号、およびＢ３信号を出力する。つまり、色空間逆変換回路５３は、色空間変換回路５１の逆変換の回路である。
以上により、ルックアップテーブル色補正部５は、リニアマトリクス色補正部４から供給されるＲ２信号、Ｇ２信号、およびＢ２信号について第二次色補正処理を行い、第二次色補正後のＲ３信号、Ｇ３信号、およびＢ３信号を出力する。
【００３６】
次に、分光計９による光源の分光特性の測定例について説明する。図３は、分光計９によって測定された分光特性の光源スペクトルのグラフである。同図において、（ａ）はタングステンフィラメントの光源スペクトル、（ｂ）は蛍光灯の光源スペクトル、（ｃ）は別の種類の蛍光灯の光源スペクトル、（ｄ）は日中の太陽光の光源スペクトル、（ｅ）は白色型ＬＥＤの光源スペクトル、（ｆ）は三色型ＬＥＤの光源スペクトルの例であり、いずれのグラフにおいても、横軸が波長（ｎｍ）を示し、縦軸が光の強度を示す。
同図（ａ）のタングステンフィラメントの光源スペクトルは、波長が長くなるにしたがって光の強度も強くなる特性を有している。このような特性を有するタングステンフィラメントはＡ光源に分類される。同図（ｂ）および（ｃ）の蛍光灯の光源スペクトルは、４０５ｎｍ，４３５ｎｍ，４９０ｎｍ，５４５ｎｍ，５８０ｎｍ，６１０ｎｍの波長において光の強度のピークを有する。同図（ｄ）の太陽光の光源スペクトルは、Ａ光源よりも色温度が低く、相対的に短波長成分が多く含まれる。このような日中の太陽光はＤ６５光源に分類される。同図（ｅ）の白色型ＬＥＤの光源スペクトルは、４６０ｎｍの波長において光の強度のピークを有し、同図（ｆ）の三色型ＬＥＤの光源スペクトルは、４６５ｎｍ，５２０ｎｍ，６２５ｎｍの波長において光の強度のピークを有する。同図に示すように、光源スペクトルには、光源の種類ごとに波長に応じた光の強度の特徴を有している。
【００３７】
次に、光源推定部１０による光源の種類の推定方法について説明する。光源推定部１０は、分光計９から供給される光源スペクトルから、例えば、７００ｎｍ〜７５０ｎｍの波長成分を赤外線成分（ＩＲ成分）、５４５ｎｍの波長成分を蛍光灯成分（ＦＬ成分）としてそれらの波長成分を検出し、それらの相対量を求めて光源の種類を推定する。
図４は、光源推定部１０が、赤外線成分と蛍光灯成分とを特徴として用いて光源の種類を推定した結果を示す図である。同図において、横軸は、蛍光灯成分を輝度値で除算した値（ＦＬ／Ｙ）であり、縦軸は、赤外線成分を輝度値で除算した値（ＩＲ／Ｙ）である。同図に示すように、光源推定部１０は、光源スペクトルから赤外線成分および蛍光灯成分を検出して相対量を計算し、ＦＬ／ＹとＩＲ／Ｙとの二次元上の位置に対応する領域に基づいて光源の種類を推定する。そして、光源推定部１０は、推定した光源の種類に応じた光源類識別子を光源推定結果信号として出力する。
なお、光源推定部１０は、分光計９から供給される光源スペクトルから、例えば、４６０ｎｍの波長成分を白色ＬＥＤ成分、６２５ｎｍの波長成分を三色ＬＥＤ成分としてそれらの波長成分を検出して用いてもよい。
【００３８】
次に、係数設定部１１が記憶するリニアマトリクス係数について説明する。係数設定部１１に記憶されるリニアマトリクス係数は、光源類識別子ごとの９個のリニアマトリクス係数Ｌｉｊ，１≦ｉ≦３，１≦ｊ≦３である。これらリニアマトリクス係数は、光源の種類ごとに予め求められたものである。図５は、係数設定部１１が記憶するリニアマトリクス係数のデータ構成を示す図である。同図に示すように、係数設定部１１に記憶されるリニアマトリクス係数は、Ａ光源類とＤ６５光源類とＬＥＤ光源類と蛍光灯光源類とのそれぞれの光源に適合する９個の係数を含む。なお、不図示ではあるが、各リニアマトリクス係数は、光源類識別子に対応して係数設定部１１に記憶される。
【００３９】
次に、係数設定部１１が記憶するルックアップテーブル係数について説明する。係数設定部１１に記憶されるルックアップテーブル係数は、切換部６がオン状態であるときに用いられるルックアップテーブル係数と、切換部６がオフ状態であるときに用いられるルックアップテーブル係数とを、光源類識別子に対応して含むものである。これらルックアップテーブル係数は、光源の種類ごとに予め求められたものである。図６は、係数設定部１１が記憶するルックアップテーブル係数のデータ構成を示す図である。同図に示すように、係数設定部１１に記憶されるルックアップテーブル係数は、切換部６がオン状態であるときに用いられるルックアップテーブル係数と、切換部６がオフ状態であるときに用いられるルックアップテーブル係数とを、Ａ光源類とＤ６５光源類とＬＥＤ光源類と蛍光灯光源類とのそれぞれの光源に対応して含む。ルックアップテーブル係数は、例えば１２８×１２８個の色度座標値（ｘｉ，ｙｊ），０≦ｉ≦１２８，０≦ｊ≦１２８をインデックスとする配列データである。なお、不図示ではあるが、各ルックアップテーブル係数は、光源類識別子に対応して係数設定部１１に記憶される。
【００４０】
前述したとおり、切換部６がオン状態であるときは、リニアマトリクス色補正部４から出力される第一次色補正後のＲＧＢ信号と、ルックアップテーブル色補正部５から出力される第二次色補正後のＲＧＢ信号とが加算回路７で加算されたＲＧＢ信号を、信号処理部８が映像信号に変換する。よって、切換部６がオン状態であるときに用いられるルックアップテーブル係数は、リニアマトリクス色補正部４で第一次色補正された結果に対する相対値である。
また、切換部６がオフ状態であるときは、リニアマトリクス色補正部４とルックアップテーブル色補正部５とは直列に接続されるため、第一次色補正後のＲＧＢ信号をさらに第二次色補正して得られたＲＧＢ信号を、信号処理部８が映像信号に変換する。よって、切換部６がオフ状態であるときに用いられるルックアップテーブル係数は、第一次色補正値を更に補正して第二次色補正値を得るための色度座標値そのものとなる。
【００４１】
よって、第一次色補正値に対する相対値は、第一次色補正値を更に補正して第二次色補正値を得るための色度座標値そのもの（絶対値）に比べて値が極めて小さいため、切換部６がオン状態であるときのルックアップテーブル係数は、切換部６がオフ状態であるときのルックアップテーブル係数に比べてルックアップテーブルのビット数を少なくすることができる。したがって、切換部６をオン状態にして使用するルックアップテーブル色補正部５は、切換部６をオフ状態にして使用するルックアップテーブル色補正部５に比べてメモリ容量を少なくすることができる。
【００４２】
次に、制御部によって通常動作モードに設定されているときの係数補間部１２の動作原理について説明する。係数補間部１２は、ルックアップテーブル色補正部５の二次元ルックアップテーブル５２から色度座標値（ｘ１，ｙ１）と４個の格子点の色度座標値との供給を受けると、４個の格子点の色度座標値に基づく線形補間処理によって補間色度座標値（ｘ２，ｙ２）を計算する。
図７は、ｘｙ信号のｘｙ色度図とその拡大図とを模式的に示す図である。同図（ａ）は、色空間変換回路５１によって得られるｘｙ信号をｘｙ色度図として表した図であり、同図（ｂ）は、そのｘｙ色度図の一部分を拡大した図である。なお、同図のｘｙ色度図は色を省略している。同図（ｂ）に示すように、係数補間部１２は、二次元ルックアップテーブル５２から色度点ＩＣの座標値である色度座標値（ｘ１，ｙ１）と、その色度点ＩＣを含む最小ブロックの頂点である４個の格子点Ｃ１〜Ｃ４それぞれの色度座標値との供給を受けると、格子点Ｃ１〜Ｃ４の色度座標値に基づいて色度点ＩＣの色度座標値を補間する。具体的には、係数補間部１２は、４個の格子点Ｃ１〜Ｃ４を頂点とする最小ブロックを例えば４０９６×４０９６個のブロックに分割し、格子点Ｃ１〜Ｃ４の色度座標値を用いて直線補間を行い、色度点ＩＣの第二次色補正後の色度座標値である補間色度座標値（ｘ２，ｙ２）を計算する。そして、係数補間部１２は、補間色度座標値（ｘ２，ｙ２）を二次元ルックアップテーブル５２に供給する。
【００４３】
以上、説明したように、本発明の第１実施形態における撮像装置１００では、光源の種類に応じて決定されたリニアマトリクス係数とルックアップテーブル係数とを係数設定部１１に予め記憶しておく。そして、分光計９で測定した光源の分光特性に基づいて光源推定部１０が光源の種類を推定し、係数設定部１１がその推定された光源の種類に対応したリニアマトリクス係数およびルックアップテーブル係数を読み出して係数設定に用いる。このように構成したことにより、本実施形態における撮像装置１００は、被写体の光源に適した色補正を行うことができる。
【００４４】
また、本実施形態における撮像装置１００は、切換部６をオン状態に設定しているときに、リニアマトリクス色補正部４によって色補正されたＲＧＢ信号（第一次色補正）と、ルックアップテーブル色補正部５によって色補正されたＲＧＢ信号（第二次色補正）とを加算回路７で加算する。また、本実施形態における撮像装置１００は、切換部６をオフ状態に設定しているときに、リニアマトリクス色補正部４によって色補正されたＲＧＢ信号（第一次色補正）を、ルックアップテーブル色補正部５によって更に色補正する（第二次色補正）。いずれの構成においても、リニアマトリクス色補正部４による第一次色補正を祖調整とし、ルックアップテーブル色補正部５による第二次色補正を、線形変換処理で補正しきれない部分の微調整とすることができる。
【００４５】
［第２の実施の形態］
図８は、本発明の第２実施形態である色補正装置が適用された撮像装置の機能構成を示すブロック図である。なお、本実施形態では、第１実施形態における構成と同一の構成について同一の符号を付しその説明を省略する。
同図に示すように、撮像装置２００は、第１実施形態における撮像装置１００から分光計９と光源推定部１０とを削除して新たに３板式撮像装置１３を備えるとともに、撮像装置１００の係数設定部１１を係数設定部１１ａに置き換えた構成である。また、撮像装置２００は、第１実施形態と同様に、不図示の操作系と制御部とフォーカス調整部とを備える。
本実施形態において、色補正装置は、リニアマトリクス色補正部４と、ルックアップテーブル色補正部５と、係数設定部１１ａと、係数補間部１２と、３板式撮像装置１３とを含むものである。
【００４６】
３板式撮像装置１３は、撮像装置２００を色補正するためのリファレンス映像信号であるリファレンスＲＧＢ信号を出力するリファレンス映像供給部である。３板式撮像装置１３の３板式撮像素子の解像度は撮像装置２００の撮像素子２の解像度と異なっていてもよい。例えば、３板式撮像素子の解像度がＳＤＴＶ（Ｓｔａｎｄａｒｄ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）によるものであり、撮像素子２の解像度がＨＤＴＶ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｔｅｌｅｖｉｓｉｏｎ）によるものであってもよい。
３板式撮像装置１３は、その光軸が撮像装置２００の光軸に略平行となるようにして撮像装置２００に着脱可能に設けられる。そして、３板式撮像装置１３の撮像レンズ光学系と撮像装置２００の撮像レンズ光学系１とを連動させるためのレンズ連動機構（不図示）が３板式撮像装置１３と撮像装置２００とにわたって設けられる。
撮像装置２００の色補正を行う際は、３板式撮像装置１３と撮像装置２００とは、カラーチャートを撮像しながらレンズ連動機構を動作させて、３板式撮像装置１３に内蔵された３板式撮像素子が撮像する撮像画像の画角と、撮像装置２００の撮像素子２が撮像する撮像画像の画角とをほぼ一致させるようにする。撮像装置２００の色補正が完了した後は、３板式撮像装置１３およびレンズ連動機構は撮像装置２００から取り外される。
【００４７】
または、３板式撮像装置１３による撮像画像の画角が撮像装置２００による撮像画像の画角よりも広くなるようにし、３板式撮像装置１３により得られたカラーチャートの撮像画像から、撮像装置２００により得られる撮像画像の画角と等しい画像領域を抽出するようにしてもよい。このようにした場合、レンズ連動機構を搭載せずに構成することができる。
【００４８】
係数設定部１１ａは、所定のルックアップテーブル係数を予め記憶している。この所定のルックアップテーブル係数は、例えば、第二次色補正を行わないテーブル値である。具体的には、切換部６がオンに設定される場合のルックアップテーブル係数は全て０であり、切換部６がオフに設定される場合のルックアップテーブル係数はインデックスに対する参照値がインデックスと同値になる値である。
また、係数設定部１１ａに記憶されたルックアップテーブル係数は、操作者による操作系の操作にしたがって修正可能である。
【００４９】
係数設定部１１ａは、制御部によって係数設定モードに設定されているときに、３板式撮像装置１３から供給されるリファレンスＲＧＢ信号と白バランス調整部３から供給されるソースＲＧＢ信号とを取り込んで、リファレンスＲＧＢ信号とソースＲＧＢ信号との色差が最小となるリニアマトリクス係数を計算する。具体的には、３板式撮像装置１３と撮像装置２００とは、例えばマクベスチャートを撮像する。そして、撮像装置２００の係数設定部１１ａは、３板式撮像装置１３から供給されるリファレンスＲＧＢ信号と白バランス調整部３から供給されるソースＲＧＢ信号とを取り込んで、両方の撮像画像におけるマクベスチャートの２４色それぞれのＲＧＢ値の差が最小となるように、リニアマトリクス係数を計算する。算出するリニアマトリクス係数Ｌ（ボールド体）は、下記の式（５）のように表される。式（５）において、（Ｒｒ，Ｇｒ，Ｂｒ）はリファレンスＲＧＢ信号のＲＧＢ値であり、（Ｒｓ，Ｇｓ，Ｂｓ）はソースＲＧＢ信号のＲＧＢ値である。
【００５０】
【数５】
【００５１】
係数設定部１１ａは、リニアマトリクス係数Ｌ（ボールド体）を、例えば最小二乗法の計算によって求める。つまり、係数設定部１１ａは、３板式撮像装置１３の撮像画像と撮像装置２００の撮像画像とから、マクベスチャートの２４色それぞれの領域における画素データを抽出し、第一次色補正後のＲＧＢ値を（Ｒｉ，Ｇｉ，Ｂｉ）として、リファレンスＲＧＢ信号のＲＧＢ値（Ｒｓ，Ｇｓ，Ｂｓ）との誤差ＥＲＧＢを下記の式（６）により計算する。
【００５２】
【数６】
【００５３】
係数設定部１１ａは、２４色それぞれにおいて誤差ＥＲＧＢが最小となるようなリニアマトリクス係数Ｌ（ボールド体）を計算する。誤差ＥＲＧＢが最小となるようなリニアマトリクス係数Ｌ（ボールド体）を求める方法は様々であるが、一例としては、所定の初期値からスタートして最急勾配法により最適なリニアマトリクス係数Ｌ（ボールド体）を計算する。このとき、マクベスチャートの２４色において任意の色を選択して計算したり、例えば肌色等の特定色を重視して加重平均を計算したりしてもよい。
【００５４】
係数設定部１１ａは、上記のようにして算出したリニアマトリクス係数Ｌ（ボールド体）をリニアマトリクス色補正部４に設定する。また、係数設定部１１ａは、制御部から供給される切換信号を取り込んで、その切換信号のレベルに対応するルックアップテーブル係数を読み出して係数補間部１２に供給する。
【００５５】
以上、説明したように、本発明の第２実施形態においては、３板式撮像装置１３と撮像装置２００とがマクベスチャートを撮像し、３板式撮像装置１３がリファレンスＲＧＢ信号を計数設定部１１ａに供給するとともに、撮像装置２００がソースＲＧＢ信号を計数設定部１１ａに供給する。そして、係数設定部１１ａが、リファレンスＲＧＢ信号とソースＲＧＢ信号との色差が最小となるリニアマトリクス係数Ｌ（ボールド体）を計算してリニアマトリクス色補正部４に設定する。このように構成したことにより、本実施形態における撮像装置２００は、３板式撮像素子を備えて分光特性の優れている３板式撮像装置１３の撮像映像に近い色再現を行うよう色補正をすることができる。
【００５６】
［第３の実施の形態］
図９は、本発明の第３実施形態である色補正装置が適用された撮像装置の機能構成を示すブロック図である。なお、本実施形態では、第１実施形態における構成と同一の構成について同一の符号を付しその説明を省略する。
同図に示すように、撮像装置３００は、第１実施形態における撮像装置１００から分光計９を削除するとともに、撮像装置１００の撮像素子２と白バランス調整部３と光源推定部１０とを、撮像素子２ａと白バランス調整部３ａと光源推定部１０ａとに置き換えた構成である。また、撮像装置３００は、第１実施形態と同様に、不図示の操作系と制御部とフォーカス調整部とを備える。
本実施形態において、色補正装置は、撮像素子２ａと、リニアマトリクス色補正部４と、ルックアップテーブル色補正部５と、光源推定部１０ａと、係数設定部１１と、係数補間部１２とを含むものである。
【００５７】
撮像素子２ａは、第１実施形態における撮像素子２と同様に、単一の撮像面を有する固体撮像素子であり、撮像レンズ光学系１によって撮像面上に結像された像を撮像してＲＧＢ信号を生成する。また、撮像素子２ａには、例えば７００ｎｍ〜７５０ｎｍの波長成分である赤外線成分を遮断して撮像面に照射させない領域と、赤外線成分を撮像面に照射させる領域とが設けられている。そして、撮像素子２ａは、光源からの光束を撮像して赤外線成分を含む画像領域と赤外線成分を含まない画像領域とからなる撮像画像を生成する。撮像素子２ａについては、その詳細を後述する。
【００５８】
白バランス調整部３ａは、第１実施形態における白バランス調整部３と同様に、制御部によって白バランス調整モードに設定されているときに、無彩色チャートを撮像している撮像素子２ａから供給されるＲＧＢ信号の白バランスを調整する調整回路である。また、白バランス調整部３ａは、制御部によって係数設定モードに設定されているときに、撮像素子２ａから供給されたＲＧＢ信号を光源推定部１０ａに供給する。
【００５９】
光源推定部１０ａは、制御部によって係数設定モードに設定されているときに、白バランス調整部３ａから供給されるＲＧＢ信号から赤外線成分とＲＧＢ成分とを抽出し、これら赤外線成分とＲＧＢ成分との相対的な関係に基づいて光源の種類を推定する。そして、光源推定部１０は、第１実施形態と同様に、推定した光源の種類に対応する光源類識別子を光源推定結果信号として出力する。
【００６０】
次に、撮像素子２ａの構成について詳細に説明する。図１０は、撮像素子２ａの撮像面を模式的に表した図である。同図に示すように、撮像素子２ａの撮像面には、撮像可能領域であるセンサ有効領域２３が含まれている。そして、センサ有効領域２３には、実際に撮像に使用される領域であるセンサ使用領域２４が含まれる。撮像面上に設けられるカバーガラスには、センサ有効領域２３内であってセンサ使用領域２４外である所定の部分領域に対応する領域を除いてＩＲカットフィルタ膜蒸着領域２１が設けられている。ＩＲカットフィルタ膜蒸着領域２１は、赤外線成分をカットする領域である。そして、カバーガラスにＩＲカットフィルタ膜蒸着領域２１が設けられていない領域がＩＲカットフィルタ膜非蒸着領域２２となる。
例えば、撮像素子２ａの有効画素数が４０９６×２１６０画素であり、そのうち３８４０×２１６０画素を撮像領域として使用する場合、２５６×２１６０画素の領域をＩＲカットフィルタ膜非蒸着領域２２として使用する。
【００６１】
なお、撮像面のセンサ有効領域２３の外側に設けられているオプティカルブラック領域（不図示）の一部分にＩＲカットフィルタ膜非蒸着領域を設けるようにしてもよい。
【００６２】
次に、光源推定部１０ａによる光源の種類の推定方法について説明する。撮像装置３００は、白バランスを調整するために用いられる無彩色チャートを撮像する。例えば、撮像装置３００は、白バランス調整モードに設定されて白バランス調整部３ａにより白バランスの調整を行う。そして、撮像装置３００は係数設定モードに切換えられて無彩色チャートを撮像する。そして、光源推定部１０ａは、白バランス調整部３ａから供給されるＲＧＢ信号から赤外線成分とＲＧＢ成分とを抽出する。具体的には、光源推定部１０ａは、例えば、ＩＲカットフィルタ膜非蒸着領域２２の画素領域からＲＧＢ成分を抽出し、センサ使用領域２４の画素領域とＩＲカットフィルタ膜非蒸着領域２２の画素領域との差分より赤外線成分を抽出する。
【００６３】
次に、光源推定部１０ａは赤外線成分の光の強度に基づいて、光源の種類を自然光源であるＡ光源およびＤ６５光源とその他の人口光源とに分類する。そして、光源の種類が自然光源に分類された場合、光源推定部１０ａは、さらに赤外線成分の光の強度に基づいてＡ光源であるかＤ６５光源であるかについて推定する。一方、光源の種類が人口光源に分類された場合、光源推定部１０ａは、ＲＧＢ成分の各光の強度の比率に基づいて蛍光灯の光源であるかＬＥＤの光源であるかについて推定する。光源推定部１０ａは、ＲＧＢ成分の各光の強度の比率に基づいて、人工光源の種類をさらに細かく推定してもよい。
【００６４】
以上、説明したように、本発明の第３実施形態においては、撮像素子２ａは、その撮像面にＩＲカットフィルタ膜蒸着領域２１とＩＲカットフィルタ膜非蒸着領域２２とを設け、赤外線成分を含む画像領域と赤外線成分を含まない画像領域とからなる撮像画像を生成するようにした。そして、光源推定部１０ａは、撮像素子２ａから供給されたＲＧＢ信号から赤外線成分とＲＧＢ成分とを抽出して光源の種類を推定するようにした。このように構成したことにより、本実施形態における撮像装置３００は、無彩色チャートを用いて白バランスの調整を行った後すぐに、その無彩色チャートを用いて光源の種類を推定し、被写体の光源に適した色補正を行うためのリニアマトリクス係数とルックアップテーブル係数とを設定することができる。
【００６５】
［その他の実施の形態］
上述した第１および第３実施形態における係数設定部１１と、第２実施形態における係数設定部１１ａとにおいて、係数補間部１２を介してルックアップテーブル係数をルックアップテーブル色補正部５に設定する場合に、ルックアップテーブル係数における任意の色度点に対応する係数の補正値を指定し、公知のワーピング技術を適用してその色度点周辺の係数を決定するようにしてもよい。ワーピング技術とは、本来は画像の変形処理に用いられる技術であり、例えば、変形前の画像に複数の変位ベクトルを指定し、その変位ベクトルに基づいて当該変形前の画像に設けた格子の格子点における各変位ベクトル量を計算するものである。例えば、係数設定部１１，１１ａは、第２実施形態と同様に所定のルックアップテーブル係数を予め記憶しておく。そして、係数設定部１１，１１ａは、制御部によって係数設定モードに設定されているときに、マクベスチャートを撮像して得た撮像画像から２４色それぞれに対応する２４点の補正値を指定し、これら２４点の周辺の係数を、ワーピング技術を適用して計算する。
【００６６】
図１１は、指定された９個の変位ベクトルに基づいて、３２×３２個の格子点の変位ベクトルをワーピング技術により求めた結果を模式的に示す図である。同図に示すように、ワーピング技術を適用して計算した結果、指定された９個の変位ベクトルに整合しながら格子点間でなだらかに変化する３２×３２個の変位ベクトルを得ることができる。言い換えれば、指定された９個の変位ベクトルが与える制約条件の下で、格子点間における変位ベクトルの変化度合い（勾配）をできるだけなだらかにすることができ、観察者の視覚的な色の変化を自然に感じさせることができる。
【００６７】
また、第１および第２実施形態における撮像素子２と、第３実施形態における撮像素子２ａとをベイヤ配列のカラーフィルタを具備するものとした場合、これら撮像素子２，２ａからはＲ信号、Ｂ信号の他に２系統のＧ信号（Ｇ１信号およびＧ２信号）が出力される。このようなベイヤ配列のカラーフィルタを備えた撮像素子を用いる場合は、リニアマトリクス色補正部とルックアップテーブル色補正部とをそれぞれ２系統用いて撮像装置を構成する。
【００６８】
図１２は、ベイヤ配列型撮像素子から供給される信号を処理する白バランス調整部、リニアマトリクス色補正部、およびルックアップテーブル色補正部についての機能構成を示すブロック図である。同図において、白バランス調整部３ｂは、オプティカルブラック・クランプ回路３１とゲイン調整回路３２とペデスタルレベル調整回路３３とを４系統備える。白バランス調整部３ｂは、ベイヤ配列型撮像素子から供給されるＲ信号、Ｂ信号、Ｇ１信号、およびＧ２信号を用いて白バランスの調整を行う。白バランス調整部３ｂから出力されるＲ１信号、Ｂ１信号、Ｇ１１信号、およびＧ２１信号は、リニアマトリクス色補正部４ａに供給される。
【００６９】
リニアマトリクス色補正部４ａは、第１実施形態で説明したリニアマトリクス色補正部４を２系統備えている。一方のリニアマトリクス色補正部４は、Ｒ１信号、Ｂ１信号、およびＧ１１信号の供給を受けてリニアマトリクス変換処理を行い、Ｒ２信号、Ｂ２信号、およびＧ１２信号を出力する。また、他方のリニアマトリクス色補正部４は、Ｒ１信号、Ｂ１信号、およびＧ２１信号の供給を受けてリニアマトリクス変換処理を行い、Ｒ２信号、Ｂ２信号、およびＧ２２信号を出力する。リニアマトリクス色補正部４ａから出力されるＲ２信号、Ｂ２信号、Ｇ１２信号、Ｇ２２信号は、ルックアップテーブル色補正部５ａに供給される。
【００７０】
ルックアップテーブル色補正部５ａは、第１実施形態で説明したルックアップテーブル色補正部５を２系統備えている。一方のルックアップテーブル色補正部５は、一方のリニアマトリクス色補正部４から出力されるＲ２信号、Ｂ２信号、およびＧ１２信号を取り込む。また、他方のルックアップテーブル色補正部５は、他方のリニアマトリクス色補正部４から出力されるＲ２信号、Ｂ２信号、およびＧ２２信号を取り込む。２系統のルックアップテーブル色補正部５は、第１実施形態と同様に、色空間変換回路５１と、二次元ルックアップテーブル５２と、色空間逆変換回路５３とをそれぞれ備える。
【００７１】
２系統の色空間逆変換回路５３それぞれのＢ出力から出力されるＢ信号は、２系統の入力値の平均値を求めて出力する加算平均演算回路５４に供給される。そして、加算平均演算回路５４は、２系統のＢ信号の供給を受けて加算平均を計算してＢ３信号を出力する。また、２系統の色空間逆変換回路５３それぞれのＲ出力から出力されるＲ信号は、２系統の入力値の平均値を求めて出力する加算平均演算回路５５に供給される。そして、加算平均演算回路５５は、２系統のＲ信号の供給を受けて加算平均を計算してＲ３信号を出力する。また、一方の色空間逆変換回路５３のＧ出力から出力されるＧ１３信号をそのまま出力し、他方の色空間逆変換回路５３のＧ出力から出力されるＧ２３信号もそのまま出力する。
【００７２】
また、第１実施形態から第３実施形態までのリニアマトリクス色補正部４は、ＲＧＢ信号の線形変換処理を行うものであるが、これ以外にも、リニアマトリクス色補正部４は、例えばＲＧＢ信号をまずＹＰｂＰｒ信号に変換し、色差信号であるＰｂＰｒ信号を、２×２行列を用いてリニアマトリクス変換処理するようにしてもよい。
【００７３】
また、ルックアップテーブル色補正部５に対するルックアップテーブル係数の設定は、係数設定部１１，１１ａが、係数補間部１２を介さずに直接行ってもよい。
【００７４】
また、第２実施形態における撮像装置２００では、色補正するためのリファレンスＲＧＢ信号を出力するリファレンス映像供給部として３板式撮像装置１３を用いた。これ以外にも、例えば、様々な光源条件で撮像したマクベスチャートの画像や、コンピュータ装置によって作成したコンピュータグラフィックス画像等のリファレンス画像を記憶装置に記憶しておき、この記憶装置から読み出した画像の信号をリファレンスＲＧＢ信号として使用するようにしてもよい。
【００７５】
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００７６】
１ 撮像レンズ光学系
２，２ａ 撮像素子
３，３ａ，３ｂ 白バランス調整部
４，４ａ リニアマトリクス色補正部
５，５ａ ルックアップテーブル色補正部
６ 切換部
７ 加算回路
８ 信号処理部
９ 分光計
１０，１０ａ 光源推定部
１１，１１ａ 係数設定部
１２ 係数補間部
１３ ３板式撮像装置（リファレンス映像供給部）
２１ ＩＲカットフィルタ膜蒸着領域
２２ ＩＲカットフィルタ膜非蒸着領域
２３ センサ有効領域
２４ センサ使用領域
３１ オプティカルブラック・クランプ回路
３２ ゲイン調整回路
３３ ペデスタルレベル調整回路
５１ 色空間変換回路
５２ 二次元ルックアップテーブル
５３ 色空間逆変換回路
５４，５５ 加算平均演算回路
１００，２００，３００ 撮像装置
【特許請求の範囲】
【請求項１】
設定されたリニアマトリクス係数に基づいて、入力映像信号をリニアマトリクス変換処理して第一次色補正を行うリニアマトリクス色補正部と、
前記リニアマトリクス色補正部が第一次色補正を行った映像信号の供給を受け、設定されたルックアップテーブル係数に基づいて、前記映像信号における色値の第二次色補正を行うルックアップテーブル色補正部と、
前記入力映像信号に対応する光源の分光特性を測定する分光計と、
前記分光計が測定した分光特性に基づいて光源を推定する光源推定部と、
光源の種類に対応するリニアマトリクス係数とルックアップテーブル係数とを記憶し、前記光源推定部が推定した光源に応じたリニアマトリクス係数とルックアップテーブル係数とを読み出して前記リニアマトリクス色補正部と前記ルックアップテーブル色補正部とにそれぞれ設定する係数設定部と、
を備えることを特徴とする色補正装置。
【請求項２】
設定されたリニアマトリクス係数に基づいて、入力映像信号をリニアマトリクス変換処理して第一次色補正を行うリニアマトリクス色補正部と、
前記リニアマトリクス色補正部が第一次色補正を行った映像信号の供給を受け、設定されたルックアップテーブル係数に基づいて、前記映像信号における色値の第二次色補正を行うルックアップテーブル色補正部と、
色補正のリファレンスであるリファレンス映像信号を供給するリファレンス映像供給部と、
前記入力映像信号と前記リファレンス映像供給部からのリファレンス映像信号との供給を受けて、前記入力映像信号と前記リファレンス映像信号との色差が小さくなるリニアマトリクス係数を計算し、計算された前記リニアマトリクス係数を前記リニアマトリクス色補正部に設定する係数設定部と、
を備えることを特徴とする色補正装置。
【請求項３】
前記入力映像信号は単板式撮像素子から得られる映像信号であり、
前記リファレンス映像供給部は、３板式撮像装置である
ことを特徴とする請求項２記載の色補正装置。
【請求項４】
前記リファレンス映像供給部は、色補正のリファレンスであるリファレンス画像を記憶した記憶部を備え、前記記憶部から読み出したリファレンス画像をリファレンス映像信号として供給する
ことを特徴とする請求項２記載の色補正装置。
【請求項５】
前記リニアマトリクス色補正部の出力と前記ルックアップテーブル色補正部の出力とを加算する加算回路
をさらに備えることを特徴とする請求項１または２記載の色補正装置。
【請求項１】
設定されたリニアマトリクス係数に基づいて、入力映像信号をリニアマトリクス変換処理して第一次色補正を行うリニアマトリクス色補正部と、
前記リニアマトリクス色補正部が第一次色補正を行った映像信号の供給を受け、設定されたルックアップテーブル係数に基づいて、前記映像信号における色値の第二次色補正を行うルックアップテーブル色補正部と、
前記入力映像信号に対応する光源の分光特性を測定する分光計と、
前記分光計が測定した分光特性に基づいて光源を推定する光源推定部と、
光源の種類に対応するリニアマトリクス係数とルックアップテーブル係数とを記憶し、前記光源推定部が推定した光源に応じたリニアマトリクス係数とルックアップテーブル係数とを読み出して前記リニアマトリクス色補正部と前記ルックアップテーブル色補正部とにそれぞれ設定する係数設定部と、
を備えることを特徴とする色補正装置。
【請求項２】
設定されたリニアマトリクス係数に基づいて、入力映像信号をリニアマトリクス変換処理して第一次色補正を行うリニアマトリクス色補正部と、
前記リニアマトリクス色補正部が第一次色補正を行った映像信号の供給を受け、設定されたルックアップテーブル係数に基づいて、前記映像信号における色値の第二次色補正を行うルックアップテーブル色補正部と、
色補正のリファレンスであるリファレンス映像信号を供給するリファレンス映像供給部と、
前記入力映像信号と前記リファレンス映像供給部からのリファレンス映像信号との供給を受けて、前記入力映像信号と前記リファレンス映像信号との色差が小さくなるリニアマトリクス係数を計算し、計算された前記リニアマトリクス係数を前記リニアマトリクス色補正部に設定する係数設定部と、
を備えることを特徴とする色補正装置。
【請求項３】
前記入力映像信号は単板式撮像素子から得られる映像信号であり、
前記リファレンス映像供給部は、３板式撮像装置である
ことを特徴とする請求項２記載の色補正装置。
【請求項４】
前記リファレンス映像供給部は、色補正のリファレンスであるリファレンス画像を記憶した記憶部を備え、前記記憶部から読み出したリファレンス画像をリファレンス映像信号として供給する
ことを特徴とする請求項２記載の色補正装置。
【請求項５】
前記リニアマトリクス色補正部の出力と前記ルックアップテーブル色補正部の出力とを加算する加算回路
をさらに備えることを特徴とする請求項１または２記載の色補正装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１１−２２３４５２（Ｐ２０１１−２２３４５２Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−９２３７６（Ｐ２０１０−９２３７６）
【出願日】平成２２年４月１３日（２０１０．４．１３）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【出願人】（０００１０１３３０）アストロデザイン株式会社 (28)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月１３日（２０１０．４．１３）
【出願人】（０００００４３５２）日本放送協会 (2,206)
【出願人】（５９１０５３９２６）財団法人エヌエイチケイエンジニアリングサービス (169)
【出願人】（０００１０１３３０）アストロデザイン株式会社 (28)
【Ｆターム（参考）】
[ Back to top ]