カラーバランス調整装置
【課題】フロントガラスや光学フィルタ等を介して撮像装置で撮像された画素のＲ、Ｇ、Ｂの値を適切に補正して調整することが可能なカラーバランス調整装置を提供する。
【解決手段】カラーバランス調整装置１は、撮像装置１０から入力された画像の各画素のＲ、Ｇ、Ｂの値に基づいて各画素ごとに色温度指標値Ｔ＊を算出する色温度算出手段２と、各画素のＲ、Ｇ、Ｂの値に基づいて各画素が無彩色の画素であるか有彩色の画素であるかを判定する判定手段３と、無彩色の画素と有彩色の画素とに対して互いに異なる態様で予め設定された色温度指標値Ｔ＊と補正量との関係に従って、各画素が無彩色の画素であるか有彩色の画素であるかに応じて前記関係を使い分けて色温度指標値Ｔ＊に基づくＲ、Ｇ、Ｂの値に対する補正量を算出し、補正量に従って画素ごとのＲ、Ｇ、Ｂの値の調整を行う調整手段４とを備える。
【解決手段】カラーバランス調整装置１は、撮像装置１０から入力された画像の各画素のＲ、Ｇ、Ｂの値に基づいて各画素ごとに色温度指標値Ｔ＊を算出する色温度算出手段２と、各画素のＲ、Ｇ、Ｂの値に基づいて各画素が無彩色の画素であるか有彩色の画素であるかを判定する判定手段３と、無彩色の画素と有彩色の画素とに対して互いに異なる態様で予め設定された色温度指標値Ｔ＊と補正量との関係に従って、各画素が無彩色の画素であるか有彩色の画素であるかに応じて前記関係を使い分けて色温度指標値Ｔ＊に基づくＲ、Ｇ、Ｂの値に対する補正量を算出し、補正量に従って画素ごとのＲ、Ｇ、Ｂの値の調整を行う調整手段４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラーバランス調整装置に係り、特に、撮像装置により撮像された画像における各画素のＲ、Ｇ、Ｂの原色信号の値を調整するカラーバランス調整装置に関する。
【背景技術】
【０００２】
従来から、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを用いて電気的に撮像を行う撮像装置では、通常、ある光源下で撮像された白色が色の偏りのない白色に撮像されるようにＲ（赤）、Ｇ（緑）、Ｂ（青）の各原色信号のバランスを調整する処理、すなわちホワイトバランス調整処理が行われる。
【０００３】
その際、撮像装置の各画素で撮像された色が、ある温度の黒体（完全放射体）から放射される光の色と対応してそのときの黒体の温度を用いて色温度として表現されることはよく知られている。そして、通常、白色を撮像した画素のＲ、Ｇ、Ｂの値が、黒体放射軌跡すなわち各色温度で黒体から放射される光の色度図上の分布にのるように、Ｒ、Ｇ、Ｂの値に対する各補正量を算出し、その補正量に基づいて画素ごとのＲ、Ｇ、Ｂの値の調整が行われる。
【０００４】
また、特許文献１では、測光処理を行って、プリズム回折格子により波長ごとに分光された光の分光エネルギー分布から色度座標等を算出し、色度座標の黒体放射軌跡との偏差が許容範囲内である場合に色温度に基づいてホワイトバランスの調整を行うことが提案されている。
【０００５】
さらに、特許文献２では、Ｒ、Ｇ、Ｂの値を国際照明委員会が定めたＣＩＥ（１９３１）ＸＹＺ表色系における３刺激値Ｘ、Ｙ、Ｚに一旦変換して色変換を行った後、色変換されたＸ、Ｙ、ＺをＲ、Ｇ、Ｂの値に再び戻すことでホワイトバランス調整処理を行うことが提案されている。
【０００６】
一方、白色やグレー、黒色以外の赤や緑、青等の有彩色を撮像した画素のＲ、Ｇ、Ｂの値を調整する処理、すなわちカラーバランス調整処理では、通常、上記のようなホワイトバランス調整処理における補正量をそのまま有彩色にも適用してＲ、Ｇ、Ｂの値の調整が行われることが多い。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−５４６７８号公報
【特許文献２】特許第３１０５６３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、これらの従来のホワイトバランス調整処理やカラーバランス調整処理では、撮像装置固有のＲ、Ｇ、Ｂ感度が合うように予め調整されており、Ｒ、Ｇ、Ｂのバランスがほぼ揃っていることが前提となっている。そのため、色温度のみを考慮して補正量を算出することが可能となっていた。
【０００９】
しかしながら、撮像装置に赤外カットフィルタや偏光フィルタ等の光学フィルタが装着されていたり、撮像装置を車両の車室内に取り付けてフロントガラス等を介して車両前方を撮像するような場合、撮像装置固有のＲ、Ｇ、Ｂ感度が合うように予め調整されていても、光学フィルタやフロントガラス等の影響で、例えば白い物体を被写体として撮像した場合にＲ、Ｇ、Ｂのバランスが崩れている場合がある。
【００１０】
そのため、上記の従来のカラーバランス調整処理のように、赤や緑、青等の有彩色を撮像した画素のＲ、Ｇ、Ｂの値を調整する際に、ホワイトバランス調整処理における補正量をそのまま適用してしまうと、光学フィルタやフロントガラス等の影響でＲ、Ｇ、Ｂのバランスが崩れているために、適正なカラーバランス調整ができない虞がある。
【００１１】
しかし、このようなカメラシステムにおいても、白色やグレー等の無彩色と赤や緑、青等の有彩色を的確に調整して撮像することができないと、それにより撮像された画像に基づいて被写体の色を誤って認識してしまうという問題が生じる。例えば、撮像装置を車両に搭載して信号を検出するような場合、赤信号の色を赤と認識できなくなるといった問題が生じ得る。また、例えば、撮像装置を自律的に行動するロボット等に搭載した場合に、ロボット等が被写体の色を誤って認識してしまい被写体を的確に認識できないといった問題が生じ得る。
【００１２】
なお、以下では、上記の無彩色に対するホワイトバランス調整と有彩色に対するカラーバランス調整をまとめてカラーバランス調整と表現する。
【００１３】
本発明は、このような事情に鑑みてなされたものであり、フロントガラスや光学フィルタ等を介して撮像装置で撮像された画像の各画素のＲ、Ｇ、Ｂの値を適切に補正して調整することが可能なカラーバランス調整装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
前記の問題を解決するために、第１の発明は、
撮像装置により撮像された画像のカラーバランス調整装置において、
前記撮像装置から入力された前記画像の各画素のＲ、Ｇ、Ｂの値に基づいて各画素ごとに色温度指標値を算出する色温度算出手段と、
前記画像の各画素のＲ、Ｇ、Ｂの値に基づいて前記各画素が無彩色の画素であるか有彩色の画素であるかを判定する判定手段と、
前記無彩色の画素と前記有彩色の画素とに対して互いに異なる態様で予め設定された前記色温度指標値と補正量との関係に従って、前記各画素が無彩色の画素であるか有彩色の画素であるかに応じて前記関係を使い分けて前記色温度指標値に基づくＲ、Ｇ、Ｂの値に対する前記補正量を算出し、前記補正量に従って前記画素ごとのＲ、Ｇ、Ｂの値の調整を行う調整手段と、
を備えることを特徴とする。
【００１５】
第２の発明は、第１の発明のカラーバランス調整装置において、前記無彩色の画素に対する前記Ｒ、Ｇ、Ｂの値の補正量は、白色を撮像する条件の下で前記撮像装置の分光感度特性と黒体放射による相対強度とを乗算した値を所定の波長範囲で積分した場合の各色温度指標値ごとの前記Ｒ、Ｇ、Ｂの相対強度の各理論値のうち、各色温度指標値ごとに前記相対強度が２番目に大きい前記理論値を基準として算出された前記各理論値の比率の逆数として各色温度指標値ごとに設定されることを特徴とする。
【００１６】
第３の発明は、第２の発明のカラーバランス調整装置において、前記調整手段は、前記判定手段により無彩色の画素と判定された前記画素のうち、ＲとＧとＢの値が全て等しい画素を前記補正量によるＲ、Ｇ、Ｂの値の調整の対象から除外し、それ以外の前記画素について前記補正量によるＲ、Ｇ、Ｂの値の調整を行うことを特徴とする。
【００１７】
第４の発明は、第１から第３のいずれかの発明のカラーバランス調整装置において、前記有彩色の画素に対する前記Ｒ、Ｇ、Ｂの値の補正量は、前記撮像装置の分光感度特性においてＲ、Ｇ、Ｂのそれぞれについて感度が高い波長範囲でそれぞれ前記撮像装置の分光感度特性と黒体放射による相対強度とを乗算した値を積分した場合の各色温度指標値ごとの前記Ｒ、Ｇ、Ｂの相対強度の各理論値で、基準色温度における前記Ｒ、Ｇ、Ｂの相対強度の各理論値をそれぞれ除算して算出される色温度に対する補正量と、各色温度指標値ごとの前記Ｒ、Ｇ、Ｂの相対強度の各理論値のうち、各色温度指標値ごとに前記相対強度が２番目に大きい前記理論値を基準として算出された前記各理論値の比率の逆数として算出されるＲ、Ｇ、Ｂに対する補正量と、を乗算した値として各色温度指標値ごとに設定されることを特徴とする。
【００１８】
第５の発明は、第４の発明のカラーバランス調整装置において、前記撮像装置の分光感度特性においてＲ、Ｇ、Ｂのそれぞれについて感度が高い波長範囲は、Ｒ、Ｇ、Ｂについて同一の波長幅の波長範囲として設定されることを特徴とする。
【００１９】
第６の発明は、第４または第５の発明のカラーバランス調整装置において、前記調整手段は、前記判定手段により有彩色の画素と判定された前記画素について、Ｒ、Ｇ、Ｂの値のうち最も大きい色成分のみを調整の対象とし、前記最も大きい色成分の値と最も小さい色成分の値との差が所定の第１閾値以上である場合には前記最も大きい色成分の値に当該色成分に対する前記補正量を乗算し、前記差が前記所定の第１閾値より小さい値に設定された第２閾値以下である場合には前記最も大きい色成分の値を調整せず、前記差が前記第１閾値と前記第２閾値との間の値である場合には、前記差に応じて前記補正量を線形補間した値を当該最も大きい色成分の値に乗算して、Ｒ、Ｇ、Ｂの値の調整を行うことを特徴とする。
【００２０】
第７の発明は、第１から第６のいずれかの発明のカラーバランス調整装置において、前記判定手段は、前記画像の各画素のＲ、Ｇ、Ｂの値に基づいて、｜Ｒ−Ｇ｜、｜Ｒ−Ｂ｜、｜Ｂ−Ｇ｜がそれぞれ所定の閾値以下であるという条件を満たす場合に、当該画素が無彩色の画素であると判定し、それ以外の場合に当該画素が有彩色の画素であると判定することを特徴とする。
【発明の効果】
【００２１】
第１の発明によれば、撮像装置で撮像された画像の各画素のＲ、Ｇ、Ｂの値に基づいて当該画素が無彩色の画素であるか有彩色の画素であるかを判定した上で、無彩色の画素と有彩色の画素とに対して互いに異なる態様で予め設定された色温度指標値と補正量との関係に従い、画素が無彩色の画素であるか有彩色の画素であるかに応じて上記の関係を使い分け、すなわち例えば参照する無彩色用のテーブルと有彩色用のテーブルとを使い分けて、色温度指標値に基づいてＲ、Ｇ、Ｂの値に対する補正量を算出し、補正量に従って画素ごとのＲ、Ｇ、Ｂの値の調整を行う。
【００２２】
そのため、画素が、無彩色の被写体が撮像された画素か、有彩色の被写体が撮像された画素かに応じて適切に画素のＲ、Ｇ、Ｂの値を調整することが可能となり、例えば、車両のフロントガラスや防護板等の透過部材や赤外カットフィルタや偏光フィルタのような光学フィルタ等が撮像装置の前方に介在するカメラシステムにおいても、撮像装置で撮像された画像の各画素のＲ、Ｇ、Ｂの値を的確に補正して調整することが可能となる。
【００２３】
また、そのため、このようなカメラシステムにおいても、白色やグレー等の無彩色と赤や緑、青等の有彩色を的確に調整して撮像することが可能となり、それにより撮像された画像に基づいて被写体の色を的確に認識することが可能となる。そして、例えば、撮像装置を車両や自律的に行動するロボット等に搭載して被写体を検出するような場合に、被写体の色を的確に認識して、被写体を的確に検出することが可能となる。
【００２４】
第２の発明によれば、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量を、各色温度指標値ごとのＲ、Ｇ、Ｂの相対強度の各理論値のうち相対強度が２番目に大きい理論値を基準として算出された各理論値の比率の逆数として設定することで、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量が、相対強度が最も大きい理論値や最も小さい理論値に引きずられて特定の色成分に偏ることを的確に防止することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００２５】
第３の発明によれば、例えば、車両のフロントガラスや赤外カットフィルタのように、撮像装置の前方に介在する透過部材や光学フィルタ等により白色等が着色されずに撮像されるような場合には、無彩色の被写体を撮像した画素からは出力されるＲ、Ｇ、Ｂの値は同じような値になるため、画素から出力されたＲとＧとＢの値が全て等しい値であれば、それは白色やグレー等の無彩色が撮像された画素であると判断することができ、調整を行う必要がない。
【００２６】
そのため、前記各発明の効果に加え、出力したＲとＧとＢの値が全て等しい値である画素を調整の対象から除外することで、Ｒ、Ｇ、Ｂの値の調整処理を軽くすることが可能となり、処理をより高速に行うことが可能となる。
【００２７】
第４の発明によれば、有彩色の画素に対して、無彩色の画素に対する態様とは異なる態様で予め設定された色温度指標値と補正量との関係に従って、有彩色の画素に応じた調整のしかたで有彩色の画素のＲ、Ｇ、Ｂの値を的確に補正して調整することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００２８】
第５の発明によれば、有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量を、特定の色成分に偏ることなく的確に算出することが可能となり、有彩色の画素に対する調整を的確に行うことが可能となる。そのため、前記各発明の効果をより的確に発揮させることが可能となる。
【００２９】
第６の発明によれば、有彩色の画素のＲ、Ｇ、Ｂの値の中で特定の色成分が大きい場合にはその色成分を調整し、有彩色の画素のＲ、Ｇ、Ｂの値にさほど大きな差がなく無彩色に近い色の場合には調整を行わず、その中間の場合には補正量を線形補間等により修正して適用する。このようにして有彩色の画素のＲ、Ｇ、Ｂの値の調整を行うことで、有彩色の画素に対する調整をより的確に行うことが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００３０】
第７の発明によれば、例えば、車両のフロントガラスや赤外カットフィルタのように、撮像装置の前方に介在する透過部材や光学フィルタ等により白色等が着色されずに撮像されるような場合には、無彩色の被写体を撮像した画素からは出力されるＲ、Ｇ、Ｂの値は同じような値になる。そのため、｜Ｒ−Ｇ｜等の値がそれぞれ所定の閾値以下であるという条件を満たす場合に当該画素が無彩色の画素であると判定するように構成すれば、無彩色の画素と有彩色の画素とを的確かつ簡便に判別することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【図面の簡単な説明】
【００３１】
【図１】本実施形態に係るカラーバランス調整装置等の構成を示すブロック図である。
【図２】本実施形態に係るモデル式で算出された黒体放射軌跡を表す図である。
【図３】画素のＲ、Ｇ、Ｂに対応する点およびその点から黒体放射軌跡上に下ろした垂線を説明する図である。
【図４】白色を撮像した場合に本実施形態に係るモデル式で算出された色温度に依存するＲ、Ｇ、Ｂの相対強度の各理論値を表す図である。
【図５】図４の各理論値に基づいて算出された各理論値の相対強度が２番目に大きい理論値に対する比率を表す図である。
【図６】図５の各理論値の比率から算出された無彩色の画素に対するＲ、Ｇ、Ｂの値の各補正量の一部を表す図である。
【図７】フロントガラス等を含む撮像装置の波長に対する分光感度特性等を表す図である。
【図８】Ｒについて設定されたInput（λ）を用いて本実施形態に係るモデル式で算出された色温度に依存するＲ、Ｇ、Ｂの相対強度の各理論値を表す図である。
【図９】各Input（λ）を用いて本実施形態に係るモデル式でそれぞれ算出されたＲ、Ｇ、Ｂの相対強度の各理論値をあわせて表す図である。
【図１０】図９の各理論値等から算出された有彩色の画素に対するＲ、Ｇ、Ｂの値の各補正量の一部を表す図である。
【発明を実施するための形態】
【００３２】
以下、本発明に係るカラーバランス調整装置の実施の形態について、図面を参照して説明する。
【００３３】
なお、以下では、カラーバランス調整装置１や撮像装置１０等が車両に搭載されている場合について説明するが、本発明はこれに限定されず、例えば自律的に行動するロボットに搭載されたカメラ等で撮像された画像のカラーバランス調整に用いることができる。
【００３４】
本実施形態に係るカラーバランス調整装置１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されており、図１に示すように、色温度算出手段２や判定手段３、調整手段４を備えている。
【００３５】
また、カラーバランス調整装置１は、撮像装置１０により撮像された画像の各画素のＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーバランスを調整するようになっている。以下、カラーバランス調整装置１の各手段２〜４について説明する前に、撮像装置１０等について説明する。
【００３６】
撮像装置１０は、本実施形態では、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサが内蔵されたカメラ等の単眼の撮像装置が用いられているが、複数設けられた撮像装置のうちの単数または複数の撮像装置により撮像された単数または複数の画像に対して本発明に係る処理を施すように構成することも可能である。
【００３７】
図示を省略するが、本実施形態では、撮像装置１０は、車両のフロントガラス内側の例えばルームミラー近傍に設置されており、車両前方を撮像して、道路面上に標示された車線（追い越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線）や先行車両等の車両、歩行者、信号等を撮像する。
【００３８】
また、撮像装置１０には、図示しないフォーカスレンズやズームレンズ等を含む撮像レンズや絞り、シャッタ等が設けられており、また、赤外カットフィルタや偏光フィルタ等の光学フィルタが必要に応じて装着されている。また、撮像装置１０では、一定のサンプリング周期ごとに画像が撮像され、画像がＣＣＤ等のイメージセンサで画像のＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の光が光電変換されて、画素ごとのＲ、Ｇ、Ｂのアナログ値が出力されるようになっている。
【００３９】
変換部１１は、Ａ／Ｄコンバータ等で構成されており、撮像装置１０から画素ごとのＲ、Ｇ、Ｂのアナログ値が入力されると、Ｒ、Ｇ、Ｂの各アナログ値をそれぞれデジタル値に変換して画像補正部１２に出力するようになっている。画像補正部１２は、送信されてきたアナログ値のＲ、Ｇ、Ｂの値に対してずれやノイズの除去、輝度の補正等の画像補正を行い、画像補正した画素ごとのＲ、Ｇ、Ｂの値をカラーバランス調整装置１に出力するようになっている。
【００４０】
カラーバランス調整装置１の色温度算出手段２は、撮像装置１０から入力された画像の各画素のＲ、Ｇ、Ｂの値に基づいて、画素ごとに色温度指標値Ｔ＊を算出するようになっている。
【００４１】
以下、まず、色温度算出手段２でＲ、Ｇ、Ｂの値に基づく色温度指標値Ｔ＊の算出に用いられるモデル式や理論値、色度図について説明する。本実施形態では、色温度算出手段２は、後述するように、このモデル式や理論値から得られる色度図に基づいて、実際の各画素のＲ、Ｇ、Ｂの値から色温度指標値Ｔ＊を算出するようになっている。なお、このモデル式等は公知のものである。
【００４２】
まず、下記の（１）式は、車両のフロントガラス等を介してＣＣＤカメラ等の撮像装置１０で撮像が行われた際に撮像装置１０から出力されるＲ、Ｇ、Ｂの相対強度の理論値（モデル値）ＩＲ、ＩＧ、ＩＢを算出するモデル式である。
【００４３】
【数１】
【００４４】
ここで、Ωは波長λについての積分範囲を表し、可視光領域を含む波長領域で積分される。また、例えば波長が７５０ｎｍ以上の赤外光の透過をカットする赤外カットフィルタが用いられているような場合には、７５０ｎｍ以下の波長範囲で積分される。Ftglass（λ）は撮像装置１０が搭載された車両のフロントガラスの透過特性を表す関数であり、OPTfilter（λ）は赤外カットフィルタ等の光学フィルタの透過特性を表す関数である。
【００４５】
また、［ｒ（λ）、ｇ（λ）、ｂ（λ）］は撮像装置１０に用いられているＣＣＤイメージセンサ等の分光感度特性を表すＲ、Ｇ、Ｂごとの関数であり、上記（２）式で表されるＭ（λ）は黒体放射による相対強度を表す式である。なお、上記（２）式におけるＣ１、Ｃ２は、それぞれ、
Ｃ１＝３．７４１８×１０−１６［Ｗｍ２］
Ｃ２＝１．４３８８×１０−２［ｍＫ］
であり、Ｔは色温度［Ｋ］を表す。
【００４６】
また、Input（λ）は入射光の分光特性を表す関数であり、入射光が白色である場合には、Input（λ）としては全ての波長λに対して１を与える関数であり、入射光が赤や緑、青等の各色の有彩色である場合には、それぞれの波長領域について特徴を有する関数が用いられる。そして、Input（λ）を各色について適切に変えることで、各色の光が撮像装置１０の各画素に入射された場合に撮像装置１０から出力されるＲ、Ｇ、Ｂの相対強度の理論値ＩＲ、ＩＧ、ＩＢが上記（１）式に従ってそれぞれ算出される。
【００４７】
なお、本発明において、無彩色とは、白色やグレー（灰色）、黒色等の、いわゆる色みのない明度のみを有する色をいい、有彩色とは、赤や緑、青等の、いわゆる色みがあり明度や色相、彩度を有する色をいう。また、上記（１）式で表されるモデル式は、上記のように車両のフロントガラスの透過特性Ftglass（λ）やカメラレンズに装着する光学フィルタの透過率特性OPTfilter（λ）、ＣＣＤイメージセンサ等の分光感度特性［ｒ（λ）、ｇ（λ）、ｂ（λ）］など、カメラシステム上固有となる各特性を反映できる利点がある。
【００４８】
ここで、上記の（１）式で表されるモデル式のInput（λ）に白色を撮像した場合の関数すなわちInput（λ）＝１を代入して演算し、算出された理論値ＩＲ、ＩＧ、ＩＢから色度ＩＢ／ＩＲ、ＩＢ／ＩＧを算出する。そして、横軸に色度ＩＢ／ＩＲ、縦軸に色度ＩＢ／ＩＧをとった色度図上にプロットすると、上記のようなカメラシステムにおける黒体放射軌跡が、例えば図２に示すように、色温度Ｔをパラメータとして得られる。
【００４９】
本実施形態では、色温度算出手段２は、図２に例示された色度図に基づいて、実際に撮像された画像の各画素のＲ、Ｇ、Ｂの値から色温度指標値Ｔ＊を算出するようになっている。なお、上記の色度図は予め算出され、色度図に対応するテーブルがカラーバランス調整装置１のＲＯＭ等の記憶手段に予め記憶されている。
【００５０】
色度はＲ、Ｇ、Ｂの比であるからＢ／Ｒ≒ＩＢ／ＩＲ、Ｂ／Ｇ≒ＩＢ／ＩＧが成り立つ。そこで、色温度算出手段２は、ＲＯＭ等から図２に示した色度図を読み出し、画像の各画素のＲ、Ｇ、Ｂ値からＢ／Ｒ、Ｂ／Ｇの値を算出して、色度図上にプロットする（図３の黒丸参照）。
【００５１】
プロットした点が黒体放射軌跡上にあれば、その点における色温度Ｔを当該画素の色温度Ｔとして推定することができる。また、図３に示したように、プロットした点が黒体放射軌跡から離れた位置にプロットされる場合には、プロットされた点から黒体放射軌跡上まで垂線を下ろし、黒体放射軌跡と垂線との交点における色温度Ｔを当該画素の色温度Ｔとして推定することができる。
【００５２】
本実施形態では、色温度算出手段２は、このようにして推定された色温度Ｔを当該画素における色温度指標値Ｔ＊として算出するようになっている。また、色温度算出手段２は、この色温度指標値Ｔ＊の算出を画像の各画素について行うようになっている。
【００５３】
判定手段３は、画像の各画素のＲ、Ｇ、Ｂの値に基づいて、各画素が無彩色の画素であるか有彩色の画素であるかを判定するようになっている。
【００５４】
具体的には、本実施形態では、判定手段３は、画素のＲ、Ｇ、Ｂの値が下記（３）〜（５）式を同時に満たす場合に、当該画素が無彩色の画素であると判定し、それ以外の場合、すなわち画素のＲ、Ｇ、Ｂの値が下記（３）〜（５）式のいずれか１つでも満たさない場合には当該画素が有彩色の画素であると判定するようになっている。
｜Ｒ−Ｇ｜≦Ｔｈａ …（３）
｜Ｒ−Ｂ｜≦Ｔｈｂ …（４）
｜Ｂ−Ｇ｜≦Ｔｈｃ …（５）
【００５５】
なお、上記（３）〜（５）式の閾値Ｔｈａ、Ｔｈｂ、Ｔｈｃは同一の値であってもよく、また、異なる値であってもよい。本実施形態では、画素のＲ、Ｇ、Ｂの値が例えば０〜２５５の２５６階調のデジタル値である場合、閾値Ｔｈａ〜Ｔｈｃは例えば２０に設定されている。
【００５６】
また、当該画素が有彩色の画素であると判定するための条件は、フロントガラスや防護板等のように光を透過する透過部材の透過特性や装着する光学フィルタの透過率特性、ＣＣＤイメージセンサ等の撮像装置１０の分光感度特性等のカメラシステム固有の特性等に応じて適宜設定される。
【００５７】
調整手段４は、色温度算出手段２により算出された各画素についての色温度指標値Ｔ＊に基づいて当該画素のＲ、Ｇ、Ｂの値を補正するための補正量を算出し、そのＲ、Ｇ、Ｂの値の補正量に従って画素ごとのＲ、Ｇ、Ｂの値の調整を行うようになっている。
【００５８】
その際、本発明では、各画素が無彩色の画素であるか有彩色の画素であるかに応じて色温度指標値Ｔ＊と補正量との関係が異なった態様で予め設定されており、調整手段４は、各画素が無彩色の画素であるか有彩色の画素であるかに応じて、用いる上記関係を使い分け、後述する無彩色用または有彩色用の各テーブルを参照して補正量を算出するようになっている。
【００５９】
まず、画素の色が無彩色、すなわち白色やグレー、黒色等の色みのない明度のみを有する色である場合の色温度指標値Ｔ＊と補正量との関係は、上記（１）式で表されるモデル式において、白色を撮像した場合のInput（λ）＝１を代入して算出される理論値ＩＲ、ＩＧ、ＩＢに基づいて予め設定される。
【００６０】
すなわち、上記（１）式にInput（λ）＝１を代入してＲ、Ｇ、Ｂの相対強度の理論値ＩＲ、ＩＧ、ＩＢを算出すると、上記（２）式で表される黒体放射の相対強度を表すＭ（λ）が色温度Ｔに依存するため、図４に示すように、理論値ＩＲ、ＩＧ、ＩＢも色温度Ｔに依存する値として算出される。そして、画素の色が白色等の無彩色になるためにはＩＲ＝ＩＧ＝ＩＢであることが必要である。そこで、各理論値ＩＲ、ＩＧ、ＩＢを揃えるように、各色温度Ｔ（すなわち各色温度指標値Ｔ＊）ごとに補正量ＣＲ、ＣＧ、ＣＢが算出されるようになっている。
【００６１】
その際、本実施形態では、特定の色成分（すなわちＲまたはＧまたはＢ）への偏りを防止することに配慮して、各色温度Ｔにおける理論値ＩＲ、ＩＧ、ＩＢのうち、相対強度が２番目に大きい理論値を基準として各理論値ＩＲ、ＩＧ、ＩＢの比率の逆数を各色温度Ｔごとに算出し、この逆数を無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢとして予め算出して設定するようになっている。
【００６２】
具体的には、上記（１）式にInput（λ）＝１を代入して算出される理論値ＩＲ、ＩＧ、ＩＢが図４に示したように色温度Ｔに依存する場合、各色温度Ｔにおいて相対強度が２番目に大きい理論値を基準として１とした場合、各理論値ＩＲ、ＩＧ、ＩＢの比率ｒＲ、ｒＧ、ｒＢは図５に示すように各色温度Ｔごとに算出される。
【００６３】
そして、このようにして算出された各理論値ＩＲ、ＩＧ、ＩＢの比率ｒＲ、ｒＧ、ｒＢの逆数がＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢとして図６に示すように各色温度Ｔごとに算出される。なお、図６では見やすさを考慮して、補正量ＣＲ、ＣＧ、ＣＢが色温度３５００Ｋ〜８０００Ｋの範囲でしか示されていないが、図２〜図５に示したように、各理論値ＩＲ、ＩＧ、ＩＢが例えば色温度２０００Ｋ〜１２５００Ｋの範囲で計算されている場合には補正量ＣＲ、ＣＧ、ＣＢはその全範囲で算出される。
【００６４】
本実施形態では、このようにして各色温度Ｔ（すなわち各色温度指標値Ｔ＊）ごとに算出された無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢのテーブル（すなわち無彩色用のテーブル）が、カラーバランス調整装置１のＲＯＭ等の記憶手段に予め記憶されている。
【００６５】
調整手段４は、判定手段３がある画素について無彩色の画素であると判定し、色温度算出手段２が当該画素の色温度指標値がＴ＊であると算出すると、無彩色用のテーブルを参照して色温度指標値Ｔ＊における補正量ＣＲ、ＣＧ、ＣＢを算出し、当該画素のＲ、Ｇ、Ｂの値に各補正量ＣＲ、ＣＧ、ＣＢをそれぞれ乗算して画素ごとのＲ、Ｇ、Ｂの値の調整を行うようになっている。
【００６６】
なお、参照した無彩色用のテーブルに当該色温度指標値Ｔ＊における補正量ＣＲ、ＣＧ、ＣＢが対応付けられていない場合には、例えば当該色温度指標値Ｔ＊の近傍の色温度Ｔにおける補正量ＣＲ、ＣＧ、ＣＢから線形補間等により当該色温度指標値Ｔ＊における補正量ＣＲ、ＣＧ、ＣＢを算出する。
【００６７】
また、本実施形態のように、透過部材が車両のフロントガラスであり、光学フィルタとして可視光領域にはほとんど影響を与えない赤外カットフィルタや偏光フィルタが用いられている場合、すなわち、いわば白色が特定の色に着色されずに撮像される場合には、白色を撮像した画素から出力されるＲとＧとＢの値は同じ値になる。そのため、画素から出力されたＲとＧとＢの値が全て等しい値であれば、それは白色やグレー等の無彩色が撮像された画素であると判断することができる。
【００６８】
そこで、Ｒ、Ｇ、Ｂの値の調整処理を軽くするために、調整手段４では、判定手段３で無彩色の画素と判定された画素のうち、ＲとＧとＢの値が全て等しい画素を上記のような補正量ＣＲ、ＣＧ、ＣＢによるＲ、Ｇ、Ｂの値の調整の対象から除外し、それ以外の無彩色の画素と判定された画素について補正量ＣＲ、ＣＧ、ＣＢによるＲ、Ｇ、Ｂの値の調整を行うように構成することが可能である。
【００６９】
一方、画素が有彩色の画素である場合の色温度指標値Ｔ＊（色温度Ｔ）と補正量との関係（すなわち有彩色用のテーブル）は、上記の画素が無彩色である場合の色温度指標値Ｔ＊（色温度Ｔ）と補正量との関係（すなわち無彩色用のテーブル）とは異なった態様で予め設定される。
【００７０】
一般的に、画素の色が有彩色、すなわち赤や緑、青等のいわゆる色みがあり明度や色相、彩度を有する色である場合のカラーバランス調整では、上記（１）式で表されるモデル式のInput（λ）として所定の関数を設定し、そのInput（λ）の下で上記（１）式の積分を実行して算出された理論値ＩＲ、ＩＧ、ＩＢに基づいて画素のＲ、Ｇ、Ｂの値の調整が行われる。
【００７１】
しかし、実際には、適切なInput（λ）を設定することは必ずしも容易ではない。そこで、本実施形態では、Ｒ、Ｇ、Ｂに対応してそれぞれ設定されるInput（λ）を単純な形で設定するようになっている。
【００７２】
ここで、実際のフロントガラスや光学フィルタ、ＣＣＤイメージセンサ等の撮像装置１０のカメラシステムで、各波長λに対してＲ、Ｇ、Ｂがどのような分光感度特性になっているかを調べるために、下記（６）式を用いて計算を行うと、例えば図７に示すようなＲ（λ）、Ｇ（λ）、Ｂ（λ）の波長λに対する分光感度特性が得られる。
【００７３】
【数２】
【００７４】
なお、本実施形態では、前述したように７５０ｎｍ以上の赤外光の透過をカットする赤外カットフィルタが用いられており、図７の分光感度特性においても、７５０ｎｍ以上の波長の光がカットされている。図７の分光感度特性を見ると、Ｒ（λ）、Ｇ（λ）、Ｂ（λ）はそれぞれ感度のピークを有し、そこから長波長側と短波長側に裾野が広がっている。また、Ｒ（λ）は長波長領域に、Ｇ（λ）は中波長領域に、Ｂ（λ）は短波長領域にそれぞれ３つに別れて分布している。
【００７５】
そこで、本実施形態では、Ｒ（λ）、Ｇ（λ）、Ｂ（λ）についてそれぞれ感度が高い波長範囲を設定する。その際、同一の波長幅の波長範囲で区切るように設定する。図７の例では、例えば、Ｒ（λ）は５６０〜７５０ｎｍ、Ｇ（λ）は４６５〜６５５ｎｍ、Ｂ（λ）は３７０〜５６０ｎｍの波長幅が１９０ｎｍの各波長範囲に区切る。
【００７６】
そして、このＲ（λ）、Ｇ（λ）、Ｂ（λ）の各波長範囲に対応して、Input（λ）を下記（７）〜（９）式のようにそれぞれ設定する。
Ｒ：Input（λ）＝１（５６０ｎｍ≦λ≦７５０ｎｍ）
＝０（上記以外の波長λ） …（７）
Ｇ：Input（λ）＝１（４６５ｎｍ≦λ≦６５５ｎｍ）
＝０（上記以外の波長λ） …（８）
Ｂ：Input（λ）＝１（３７０ｎｍ≦λ≦５６０ｎｍ）
＝０（上記以外の波長λ） …（９）
【００７７】
すなわち、各Input（λ）をＲ、Ｇ、Ｂについてそれぞれ設定された上記の波長範囲で１となり、他の波長範囲では０となる、いわば矩形状の関数として設定する。
【００７８】
続いて、これらのInput（λ）を上記（１）式に代入して積分を実行すると、例えばＲについてのInput（λ）を用いて計算を行った場合、黒体放射の相対強度を表すＭ（λ）が上記（２）式で表されるように色温度Ｔに依存することに起因して、図８に示すように色温度Ｔに依存する理論値ＩＲ、ＩＧ、ＩＢが算出される。しかし、図８はＲについてのInput（λ）を用いた計算結果であり、有意な情報を有するのは理論値ＩＲのみである。
【００７９】
また、Ｇ、ＢについてのInput（λ）を用いてそれぞれ計算を行い、同様にして、有意な情報を有する理論値ＩＧ、ＩＢを算出する。Ｒ、Ｇ、Ｂについての各Input（λ）をそれぞれ用いて算出された色温度Ｔにそれぞれ依存する理論値ＩＲ、ＩＧ、ＩＢをあわせて表すと、図９のグラフのように表すことができる。
【００８０】
本実施形態では、この図９に示される各色温度ＴごとのＲ、Ｇ、Ｂの相対強度の各理論値ＩＲ、ＩＧ、ＩＢを用いて、画素の色が無彩色の場合の補正量ＣＲ、ＣＧ、ＣＢの算出と同様にして、画素の色が有彩色の場合のＲ、Ｇ、Ｂの値に対する補正量ＣＲ、ＣＧ、ＣＢが算出されるようになっている。
【００８１】
すなわち、図９に示すように算出した各色温度ＴごとのＲ、Ｇ、Ｂの各理論値ＩＲ、ＩＧ、ＩＢのうち、各色温度Ｔごとに相対強度が２番目に大きい理論値を基準として各理論値ＩＲ、ＩＧ、ＩＢの比率を算出し、算出した各理論値ＩＲ、ＩＧ、ＩＢの比率の逆数として画素のＲ、Ｇ、Ｂに対する補正量ＣＲ、ＣＧ、ＣＢが算出される。
【００８２】
本実施形態では、画素の色が有彩色の場合には、さらに、色温度に対する補正量Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂを算出するようになっている。
【００８３】
画素の色が有彩色である場合、例えば曇天時や雨天時、日陰等のように画像が暗く撮像されるような状況では、画素の色も暗く撮像され、画素の色がどのような色であるかを認識しづらくなる。この色温度に対する補正量Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂは、そのような状況においても画素の色を的確に認識できるように変換するための補正量であり、色温度Ｔ（色温度指標値Ｔ＊）での画素のＲやＧやＢの値を、晴天時の白色に相当する基準色温度すなわち５５００Ｋの状態におけるＲ５５００Ｋ、Ｇ５５００Ｋ、Ｂ５５００Ｋの値に近づけるように変換するための補正量である。
【００８４】
すなわち、色温度に対する補正量Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂはそれぞれ、
Ｃ＊Ｒ＝ＩＲ５５００Ｋ／ＩＲ（Ｔ＊） …（１０）
Ｃ＊Ｇ＝ＩＧ５５００Ｋ／ＩＧ（Ｔ＊） …（１１）
Ｃ＊Ｂ＝ＩＢ５５００Ｋ／ＩＢ（Ｔ＊） …（１２）
で算出される。なお、ＩＲ５５００Ｋ等およびＩＲ（Ｔ＊）等は、図９に示したように算出された各理論値ＩＲ等における色温度Ｔが５５００ＫおよびＴ＊のときの値である。
【００８５】
そして、本実施形態では、画素の色が有彩色である場合の画素のＲ、Ｇ、Ｂの値の補正量として、それぞれ画素の色が有彩色の場合のＲ、Ｇ、Ｂに対する補正量ＣＲ、ＣＧ、ＣＢと色温度に対する補正量Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂとを乗算したＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂが用いられるようになっている。
【００８６】
図９に示した例の場合、Ｒ、Ｇ、Ｂの値の補正量ＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂはそれぞれ図１０に示すように各色温度Ｔごとに算出される。なお、図１０においても、見やすさを考慮して、補正量ＣＲＣ＊Ｒ等が色温度３５００Ｋ〜８０００Ｋの範囲でしか示されていないが、図８や図９に示したように、各理論値ＩＲ、ＩＧ、ＩＢが例えば色温度２０００Ｋ〜１２５００Ｋの範囲で計算されている場合には補正量ＣＲＣ＊Ｒ等もその全範囲で算出される。
【００８７】
補正量ＣＲＣ＊Ｒ等の色温度Ｔに対する特性は、画素の色が無彩色である場合の補正量ＣＲ等（図６参照）の場合に比べて、色温度に対する補正量Ｃ＊Ｒ等が乗算されている分だけ特性曲線が湾曲した形状になっている。
【００８８】
本実施形態では、上記のようにして各色温度Ｔ（すなわち各色温度指標値Ｔ＊）ごとに算出された有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂのテーブル（すなわち有彩色用のテーブル）が、カラーバランス調整装置１のＲＯＭ等の記憶手段に予め記憶されている。
【００８９】
また、調整手段４は、本実施形態では、判定手段３がある画素について有彩色の画素であると判定した場合、無彩色の画素の場合とは異なり、有彩色の画素と判定された当該画素のＲ、Ｇ、Ｂの値のうち、最も大きい色成分のみを調整の対象とし、値が２番目に大きい色成分や最も小さい色成分については調整を行わないようになっている。
【００９０】
以下、画素のＲ、Ｇ、Ｂの値のうち、最も大きい色成分がＲ（すなわちＲ＞ＧかつＲ＞Ｂ）であり、Ｂが最も小さい色成分である場合について説明する。なお、他の色成分が最大或いは最小の場合も同様に説明される。
【００９１】
まず、最も大きい色成分Ｒと最も小さい色成分Ｂとの差に応じて、調整のしかたを３つに場合分けする。
【００９２】
［調整１］画素のＲ、Ｂの値から算出されるＲ−Ｂが、予め大きな値に設定された第１閾値Ｔｈ１以上である（すなわちＲ−Ｂ≧Ｔｈ１）場合には、当該画素は赤みがかった色をしており、調整手段４は、有彩色用のテーブルを参照して、色温度算出手段２が算出した当該画素の色温度指標値がＴ＊におけるＲの補正量ＣＲＣ＊Ｒを算出し、画素のＲの値に補正量ＣＲＣ＊Ｒを乗算してＲの値を補正して調整を行う。
【００９３】
なお、第１閾値Ｔｈ１は、画素のＲ、Ｇ、Ｂの値が０〜２５５の２５６階調のデジタル値である場合には例えば１００等に設定される。また、参照した有彩色用のテーブルに当該色温度指標値Ｔ＊における補正量ＣＲＣ＊Ｒが対応付けられていない場合には、例えば当該色温度指標値Ｔ＊の近傍の色温度Ｔにおける補正量ＣＲＣ＊Ｒから線形補間等により当該色温度指標値Ｔ＊における補正量ＣＲＣ＊Ｒを算出する。
【００９４】
［調整２］画素のＲ、Ｂの値から算出されるＲ−Ｂが、予め小さな値に設定された第２閾値Ｔｈ２以下である（すなわちＲ−Ｂ≦Ｔｈ２）場合には、当該画素は無彩色に近い色をしており、調整手段４は、この場合は、値が最も大きい色成分Ｒに対して補正を行わないようになっている。すなわち、この場合、補正量はＣＲＣ＊Ｒではなく１とされる。
【００９５】
最も大きい色成分Ｒと最も小さい色成分Ｂとの差が例えば２０以下であれば、最も大きい色成分Ｒと２番目に大きい色成分Ｇとの差や、２番目に大きい色成分Ｇと最も小さい色成分Ｂとの差も２０以下となる。そのため、本実施形態では、このような場合には上記の（３）〜（５）式を満たすため、上記のように当該画素は判定手段３により無彩色の画素であると判定され、調整手段４は、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢを用いて当該画素のＲ、Ｇ、Ｂの値の調整を行う。
【００９６】
それに対し、上記の調整２では、調整手段４は、値が最も大きい色成分Ｒに対して補正を行わず、値が２番目に大きい色成分Ｇや最も小さい色成分Ｂについても調整を行わない。そのため、本実施形態では、最も大きい色成分Ｒと最も小さい色成分Ｂとの差が２０より大きく第２閾値Ｔｈ２以下であるような画素帯に、いわば不感帯が設けられているような状態となっている。
【００９７】
従って、このような不感帯をどの程度の画素範囲に設けるかに応じて第２閾値Ｔｈ２の値が適宜設定される。すなわち、不感帯をある程度大きくとる場合には、第２閾値Ｔｈ２は例えば２５や３０等の値に設定され、不感帯を設けない場合には、第２閾値Ｔｈ２は上記の閾値Ｔｈａ〜Ｔｈｃと同様に２０に設定される。なお、後者の場合には、結局、上記の調整２が行われる余地がないことになる。
【００９８】
［調整３］画素のＲ、Ｂの値から算出されるＲ−Ｂが、上記の第２閾値Ｔｈ２より大きく第１閾値Ｔｈ１より小さい（すなわちＴｈ２＜Ｒ−Ｂ＜Ｔｈ１）場合、すなわち上記の調整１と調整２との中間の場合には、調整手段４は、Ｒ−Ｂの大きさに応じて、上記の調整１における補正量ＣＲＣ＊Ｒと調整２における補正量１とを線形補間して補正量Ｃ＊＊Ｒを算出し、画素のＲの値に算出した補正量Ｃ＊＊Ｒを乗算してＲの値を補正して調整を行う。
【００９９】
この場合、補正量Ｃ＊＊Ｒは、線形補間により、
Ｃ＊＊Ｒ＝１＋（ＣＲＣ＊Ｒ−１）×（Ｒ−Ｂ）／（Ｔｈ１−Ｔｈ２）…（１３）
を演算することにより算出することができる。なお、この場合も、参照した有彩色用のテーブルに当該色温度指標値Ｔ＊における補正量ＣＲＣ＊Ｒが対応付けられていなければ線形補間等により補正量ＣＲＣ＊Ｒが算出される。
【０１００】
次に、本実施形態に係るカラーバランス調整装置１の作用について説明する。
【０１０１】
前述した従来のカラーバランス調整では、撮像装置固有のＲ、Ｇ、Ｂ感度が合うように予め調整され、Ｒ、Ｇ、Ｂのバランスがほぼ揃っている撮像装置に対して、ホワイトバランス調整処理における補正量をそのまま有彩色にも適用して、画素のＲ、Ｇ、Ｂの値の調整を行うことができた。
【０１０２】
しかし、本実施形態のように、入射光が、車両のフロントガラスや防護板等の透過部材や、赤外カットフィルタや偏光フィルタ等の光学フィルタを介してＣＣＤイメージセンサ等の撮像装置１０に入射されるカメラシステムの場合、撮像装置１０の固有のＲ、Ｇ、Ｂ感度が合うように予め調整されていたとしても、ホワイトバランス調整処理における補正量、すなわち無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢをそのまま有彩色に適用して画素のＲ、Ｇ、Ｂの値を的確に調整することが必ずしも十分にはできない。
【０１０３】
そこで、本実施形態では、上記のように、判定手段３で、画素のＲ、Ｇ、Ｂの値に基づいて画素を無彩色の画素であるか有彩色の画素であるかを判定して分け、無彩色の画素と有彩色の画素とに対して互いに異なる態様で予め設定された色温度指標値Ｔ＊と補正量との関係、すなわち前述した無彩色用のテーブルと有彩色用のテーブルとを使い分けてＲ、Ｇ、Ｂの値の調整を行う。
【０１０４】
前述したように、画素が無彩色であるか有彩色であるかを分ける基準として、本実施形態では、上記（３）〜（５）式の判定条件に従って判定されるように構成されている。これは、車両のフロントガラスの透過特性や赤外カットフィルタ等の光学フィルタの透過率特性が、少なくとも可視光領域では被写体の本来の色をそのままＣＣＤイメージセンサ等に到達させるものであることに基づいている。
【０１０５】
すなわち、フロントガラスが無色透明で、白色の光がフロントガラス等を透過する際に特定の色（例えば赤）に着色させずに白色のままＣＣＤイメージセンサ等に撮像されるように形成されており、また、光学フィルタが可視光領域の光を全て透過させるように構成されていることに基づく。そして、上記（３）〜（５）式において閾値Ｔｈａ等が２０に設定される場合、無彩色と判定する波長範囲をかなり狭く設定していることになる。
【０１０６】
しかし、上記のモデルにおいても、フロントガラスの透過特性Ftglass（λ）や光学フィルタの透過率特性OPTfilter（λ）、ＣＣＤイメージセンサ等の分光感度特性［ｒ（λ）、ｇ（λ）、ｂ（λ）］等の関係次第で、例えば図４に示したように、色温度Ｔが白色に相当する５５００Ｋで、理論値ＩＲとＩＧは同程度の相対強度となるが理論値ＩＢは理論値ＩＲ、ＩＧよりもやや小さい値となる場合もある。
【０１０７】
そこで、例えば上記（１）式に従って算出される理論値ＩＲ、ＩＧ、ＩＢに応じて、上記の画素が無彩色の画素であると判定する条件を、例えば、
｜Ｒ−Ｇ｜≦２０
０≦Ｒ−Ｂ≦４０
０≦Ｇ−Ｂ≦４０
等のように設定することも可能である。
【０１０８】
また、自律的に行動するロボットにＣＣＤイメージセンサ等の撮像装置１０を搭載するような場合、例えば撮像装置１０の前方に設置する防護板等が車両のフロントガラスのように無色透明であるとは限らず、白色の光が防護板等を透過する際に特定の色に（例えば赤く）着色されて撮像されるような場合もある。そのような場合には、この特定の色（赤）に対応するＲ、Ｇ、Ｂの値を出力する画素や、その近傍のＲ、Ｇ、Ｂの値を出力する画素が無彩色の画素であると判定されるように、画素のＲ、Ｇ、Ｂの値に対する条件が設定される。
【０１０９】
また、上記のようなモデルによらず、実際のフロントガラスや防護板等の透過部材や光学フィルタ、ＣＣＤイメージセンサ等の撮像装置１０のカメラシステムで白色等の無彩色のカラーチャート等を撮像させ、その際に出力される各画素のＲ、Ｇ、Ｂの値を計測し、それに基づいて画素が無彩色の画素であると判定する条件を予め設定することも可能である。
【０１１０】
そして、画素が無彩色であると判定された場合には、調整手段４で、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢを用いて画素のＲ、Ｇ、Ｂの値が補正され調整される。その際、上記のように防護板等が着色されている等して白色の光が防護板等を透過する際に特定の色に（例えば赤く）着色されて撮像されるような場合には、この特定の色（赤）に対応するＲ、Ｇ、Ｂの値を出力する画素のＲ、Ｇ、Ｂの値が、Ｒ＝Ｇ＝Ｂとなるように、すなわち白色やグレー等の無彩色に相当する色になるように調整される。また、そのように調整されるように無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢが予め設定される。
【０１１１】
従って、上記のような場合、着色された防護板等を介して人間の目で外界を見た場合には、全体的に赤みがかって見え、本来白色の物も赤く見えるが、調整された後の当該画素のＲ、Ｇ、Ｂの値は白色やグレー等の無彩色になる。
【０１１２】
このような調整を行うことで、本実施形態のように、車両のフロントガラスや防護板等の透過部材や赤外カットフィルタや偏光フィルタ等の光学フィルタが介在するカメラシステムにおいても、無彩色の被写体が撮像された画素から出力されるＲ、Ｇ、Ｂの値を無彩色に相当するＲ、Ｇ、Ｂの値に的確に調整することが可能となる。
【０１１３】
なお、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢには、有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂのように色温度に対する補正量Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂが乗算されていない。しかし、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢにおいて色温度に対する補正量が考慮されていないわけではない。
【０１１４】
図４に示したように、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢの算出に用いられる上記（１）式に基づくＲ、Ｇ、Ｂの相対強度の理論値ＩＲ、ＩＧ、ＩＢを見ると、色温度Ｔが低い場合には理論値ＩＧ、ＩＢに比べて理論値ＩＲが大きな値となっており、色温度Ｔが高い場合には理論値ＩＲ、ＩＧよりも理論値ＩＢが大きくなっている。
【０１１５】
そのため、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢに既に色温度に対する補正量が含まれていると考えられる。なお、図４において、色温度Ｔが白色に相当する５５００Ｋのときの理論値ＩＲ、ＩＧ、ＩＢがＩＲ＝ＩＧ＝ＩＢになっていない理由は、主にフロントガラスの透過特性や光学フィルタの透過率特性によるものと考えられる。
【０１１６】
一方、画素が有彩色である場合に、上記の無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢを用いて画素のＲ、Ｇ、Ｂの値を調整すると、例えば、有彩色の画素の彩度が落ち、本来カラーで撮像されるべき画像がモノクロ状の画像に補正されてしまう場合がある。そして、このように撮像されてしまうと、撮像された画像に基づいて被写体の色を誤って認識してしまう等の問題が生じることは前述した通りである。
【０１１７】
そこで、本実施形態では、前述したように、有彩色の画素であると判定された画素に対する調整は、上記の無彩色の画素に対する調整とは異なる態様で行われるように構成されている。そして、有彩色用のテーブルが参照され、有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂを用いて画素のＲやＧやＢの値が補正されて調整されるようになっている。
【０１１８】
その際、有彩色の画素におけるＲ、Ｇ、Ｂに対する補正量ＣＲ、ＣＧ、ＣＢにおいても、図９に示したように、Ｒ、Ｇ、Ｂの理論値ＩＲ、ＩＧ、ＩＢは、色温度Ｔが低い場合には理論値ＩＧ、ＩＢに比べて理論値ＩＲが大きな値となっており、色温度Ｔが高い場合には理論値ＩＲ、ＩＧよりも理論値ＩＢが大きくなっているため、有彩色の画素におけるＲ、Ｇ、Ｂに対する補正量ＣＲ、ＣＧ、ＣＢにも既に色温度に対する補正量が含まれていると考えられる。
【０１１９】
その上で、さらに色温度に対する補正量Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂを乗算して、有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量をＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂとする理由は、前述したように、例えば曇天時や雨天時、日陰等のように画素の色も暗く撮像されるような場合においても画素の色を的確に認識できるように変換するために、色温度Ｔ（色温度指標値Ｔ＊）での画素のＲやＧやＢの値を、晴天時の白色に相当する５５００Ｋの状態におけるＲ５５００Ｋ、Ｇ５５００Ｋ、Ｂ５５００Ｋの値に近づけるように変換するためである。
【０１２０】
従って、有彩色の画素におけるＲ、Ｇ、Ｂに対する補正量ＣＲ、ＣＧ、ＣＢを用いて、例えば曇天時等のように画素の色も暗く撮像されるような場合においても画素の色を的確に認識できるように調整されるのであれば、有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量としてＣＲ、ＣＧ、ＣＢを用いるように構成することも可能である。
【０１２１】
ただし、その場合でも、補正量ＣＲ、ＣＧ、ＣＢの算出のしかたは、Input（λ）を全ての波長λに対して１として計算する無彩色の場合とは異なる手法で算出され、例えば、本実施形態のように、Input（λ）を上記（７）〜（９）式のように設定して算出したＲ、Ｇ、Ｂの相対強度の理論値ＩＲ、ＩＧ、ＩＢに基づいて算出される。
【０１２２】
なお、本実施形態の調整手段４では、有彩色の画素に対して、当該画素のＲ、Ｇ、Ｂの値のうち最も大きい色成分のみを調整の対象とし、値が２番目に大きい色成分や最も小さい色成分については調整を行わない場合について説明したが、その理由は、画素の色には最も大きい色成分が最も強く反映されており、最も大きい色成分を調整すれば画素の色の調整としては十分であるためであり、演算処理を軽くして高速に行うためである。
【０１２３】
従って、演算処理の高速化を図る必要がないような場合には、例えば、最も大きい色成分の値と２番目に大きい色成分の値との間にほとんど差がないような場合に両方の色成分に対してともに補正するように構成することも可能であり、或いは、３つの色成分について全て補正を行うように構成することも可能である。
【０１２４】
以上のように、本実施形態に係るカラーバランス調整装置１によれば、各画素のＲ、Ｇ、Ｂの値に基づいて当該画素が無彩色の画素であるか有彩色の画素であるかを判定した上で、無彩色の画素と有彩色の画素とに対して互いに異なる態様で予め設定された色温度指標値Ｔ＊と補正量との関係に従って、画素が無彩色の画素であるか有彩色の画素であるかに応じて上記の関係を使い分け、すなわち参照する無彩色用のテーブルと有彩色用のテーブルとを使い分けて、色温度指標値Ｔ＊に基づいてＲ、Ｇ、Ｂの値に対する補正量を算出し、補正量に従って画素ごとのＲ、Ｇ、Ｂの値の調整を行う。
【０１２５】
そのため、画素が、無彩色の被写体が撮像された画素か、有彩色の被写体が撮像された画素かに応じて適切に画素のＲ、Ｇ、Ｂの値を調整することが可能となり、車両のフロントガラスや防護板等の透過部材や赤外カットフィルタや偏光フィルタのような光学フィルタ等が撮像装置１０の前方に介在するカメラシステムにおいても、撮像装置１０で撮像された画像の各画素のＲ、Ｇ、Ｂの値を的確に補正して調整することが可能となる。
【０１２６】
また、そのため、このようなカメラシステムにおいても、白色やグレー等の無彩色と赤や緑、青等の有彩色を的確に調整して撮像することが可能となり、それにより撮像された画像に基づいて被写体の色を的確に認識することが可能となる。そして、例えば、撮像装置１０を車両や自律的に行動するロボット等に搭載して被写体を検出するような場合に、被写体の色を的確に認識して、被写体を的確に検出することが可能となる。
【符号の説明】
【０１２７】
１ カラーバランス調整装置
２ 色温度算出手段
３ 判定手段
４ 調整手段
１０ 撮像装置
ＣＲ、ＣＧ、ＣＢ 無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量
Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂ 色温度に対する補正量
ＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂ 有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量
Ftglass（λ） 車両のフロントガラスの透過特性（撮像装置の分光感度特性）
ＩＲ、ＩＧ、ＩＢ Ｒ、Ｇ、Ｂの相対強度の各理論値
Ｍ（λ） 黒体放射による相対強度
OPTfilter（λ） 光学フィルタの特性（撮像装置の分光感度特性）
ｒＲ、ｒＧ、ｒＢ 各理論値の比率
［ｒ（λ）、ｇ（λ）、ｂ（λ）］ 分光感度特性（撮像装置の分光感度特性）
Ｔ＊ 色温度指標値
Ｔｈ１ 第１閾値
Ｔｈ２ 第２閾値
Ｔｈａ〜Ｔｈｃ 所定の閾値
Ω 波長についての積分範囲（所定の波長範囲）
【技術分野】
【０００１】
本発明は、カラーバランス調整装置に係り、特に、撮像装置により撮像された画像における各画素のＲ、Ｇ、Ｂの原色信号の値を調整するカラーバランス調整装置に関する。
【背景技術】
【０００２】
従来から、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサを用いて電気的に撮像を行う撮像装置では、通常、ある光源下で撮像された白色が色の偏りのない白色に撮像されるようにＲ（赤）、Ｇ（緑）、Ｂ（青）の各原色信号のバランスを調整する処理、すなわちホワイトバランス調整処理が行われる。
【０００３】
その際、撮像装置の各画素で撮像された色が、ある温度の黒体（完全放射体）から放射される光の色と対応してそのときの黒体の温度を用いて色温度として表現されることはよく知られている。そして、通常、白色を撮像した画素のＲ、Ｇ、Ｂの値が、黒体放射軌跡すなわち各色温度で黒体から放射される光の色度図上の分布にのるように、Ｒ、Ｇ、Ｂの値に対する各補正量を算出し、その補正量に基づいて画素ごとのＲ、Ｇ、Ｂの値の調整が行われる。
【０００４】
また、特許文献１では、測光処理を行って、プリズム回折格子により波長ごとに分光された光の分光エネルギー分布から色度座標等を算出し、色度座標の黒体放射軌跡との偏差が許容範囲内である場合に色温度に基づいてホワイトバランスの調整を行うことが提案されている。
【０００５】
さらに、特許文献２では、Ｒ、Ｇ、Ｂの値を国際照明委員会が定めたＣＩＥ（１９３１）ＸＹＺ表色系における３刺激値Ｘ、Ｙ、Ｚに一旦変換して色変換を行った後、色変換されたＸ、Ｙ、ＺをＲ、Ｇ、Ｂの値に再び戻すことでホワイトバランス調整処理を行うことが提案されている。
【０００６】
一方、白色やグレー、黒色以外の赤や緑、青等の有彩色を撮像した画素のＲ、Ｇ、Ｂの値を調整する処理、すなわちカラーバランス調整処理では、通常、上記のようなホワイトバランス調整処理における補正量をそのまま有彩色にも適用してＲ、Ｇ、Ｂの値の調整が行われることが多い。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−５４６７８号公報
【特許文献２】特許第３１０５６３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、これらの従来のホワイトバランス調整処理やカラーバランス調整処理では、撮像装置固有のＲ、Ｇ、Ｂ感度が合うように予め調整されており、Ｒ、Ｇ、Ｂのバランスがほぼ揃っていることが前提となっている。そのため、色温度のみを考慮して補正量を算出することが可能となっていた。
【０００９】
しかしながら、撮像装置に赤外カットフィルタや偏光フィルタ等の光学フィルタが装着されていたり、撮像装置を車両の車室内に取り付けてフロントガラス等を介して車両前方を撮像するような場合、撮像装置固有のＲ、Ｇ、Ｂ感度が合うように予め調整されていても、光学フィルタやフロントガラス等の影響で、例えば白い物体を被写体として撮像した場合にＲ、Ｇ、Ｂのバランスが崩れている場合がある。
【００１０】
そのため、上記の従来のカラーバランス調整処理のように、赤や緑、青等の有彩色を撮像した画素のＲ、Ｇ、Ｂの値を調整する際に、ホワイトバランス調整処理における補正量をそのまま適用してしまうと、光学フィルタやフロントガラス等の影響でＲ、Ｇ、Ｂのバランスが崩れているために、適正なカラーバランス調整ができない虞がある。
【００１１】
しかし、このようなカメラシステムにおいても、白色やグレー等の無彩色と赤や緑、青等の有彩色を的確に調整して撮像することができないと、それにより撮像された画像に基づいて被写体の色を誤って認識してしまうという問題が生じる。例えば、撮像装置を車両に搭載して信号を検出するような場合、赤信号の色を赤と認識できなくなるといった問題が生じ得る。また、例えば、撮像装置を自律的に行動するロボット等に搭載した場合に、ロボット等が被写体の色を誤って認識してしまい被写体を的確に認識できないといった問題が生じ得る。
【００１２】
なお、以下では、上記の無彩色に対するホワイトバランス調整と有彩色に対するカラーバランス調整をまとめてカラーバランス調整と表現する。
【００１３】
本発明は、このような事情に鑑みてなされたものであり、フロントガラスや光学フィルタ等を介して撮像装置で撮像された画像の各画素のＲ、Ｇ、Ｂの値を適切に補正して調整することが可能なカラーバランス調整装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
前記の問題を解決するために、第１の発明は、
撮像装置により撮像された画像のカラーバランス調整装置において、
前記撮像装置から入力された前記画像の各画素のＲ、Ｇ、Ｂの値に基づいて各画素ごとに色温度指標値を算出する色温度算出手段と、
前記画像の各画素のＲ、Ｇ、Ｂの値に基づいて前記各画素が無彩色の画素であるか有彩色の画素であるかを判定する判定手段と、
前記無彩色の画素と前記有彩色の画素とに対して互いに異なる態様で予め設定された前記色温度指標値と補正量との関係に従って、前記各画素が無彩色の画素であるか有彩色の画素であるかに応じて前記関係を使い分けて前記色温度指標値に基づくＲ、Ｇ、Ｂの値に対する前記補正量を算出し、前記補正量に従って前記画素ごとのＲ、Ｇ、Ｂの値の調整を行う調整手段と、
を備えることを特徴とする。
【００１５】
第２の発明は、第１の発明のカラーバランス調整装置において、前記無彩色の画素に対する前記Ｒ、Ｇ、Ｂの値の補正量は、白色を撮像する条件の下で前記撮像装置の分光感度特性と黒体放射による相対強度とを乗算した値を所定の波長範囲で積分した場合の各色温度指標値ごとの前記Ｒ、Ｇ、Ｂの相対強度の各理論値のうち、各色温度指標値ごとに前記相対強度が２番目に大きい前記理論値を基準として算出された前記各理論値の比率の逆数として各色温度指標値ごとに設定されることを特徴とする。
【００１６】
第３の発明は、第２の発明のカラーバランス調整装置において、前記調整手段は、前記判定手段により無彩色の画素と判定された前記画素のうち、ＲとＧとＢの値が全て等しい画素を前記補正量によるＲ、Ｇ、Ｂの値の調整の対象から除外し、それ以外の前記画素について前記補正量によるＲ、Ｇ、Ｂの値の調整を行うことを特徴とする。
【００１７】
第４の発明は、第１から第３のいずれかの発明のカラーバランス調整装置において、前記有彩色の画素に対する前記Ｒ、Ｇ、Ｂの値の補正量は、前記撮像装置の分光感度特性においてＲ、Ｇ、Ｂのそれぞれについて感度が高い波長範囲でそれぞれ前記撮像装置の分光感度特性と黒体放射による相対強度とを乗算した値を積分した場合の各色温度指標値ごとの前記Ｒ、Ｇ、Ｂの相対強度の各理論値で、基準色温度における前記Ｒ、Ｇ、Ｂの相対強度の各理論値をそれぞれ除算して算出される色温度に対する補正量と、各色温度指標値ごとの前記Ｒ、Ｇ、Ｂの相対強度の各理論値のうち、各色温度指標値ごとに前記相対強度が２番目に大きい前記理論値を基準として算出された前記各理論値の比率の逆数として算出されるＲ、Ｇ、Ｂに対する補正量と、を乗算した値として各色温度指標値ごとに設定されることを特徴とする。
【００１８】
第５の発明は、第４の発明のカラーバランス調整装置において、前記撮像装置の分光感度特性においてＲ、Ｇ、Ｂのそれぞれについて感度が高い波長範囲は、Ｒ、Ｇ、Ｂについて同一の波長幅の波長範囲として設定されることを特徴とする。
【００１９】
第６の発明は、第４または第５の発明のカラーバランス調整装置において、前記調整手段は、前記判定手段により有彩色の画素と判定された前記画素について、Ｒ、Ｇ、Ｂの値のうち最も大きい色成分のみを調整の対象とし、前記最も大きい色成分の値と最も小さい色成分の値との差が所定の第１閾値以上である場合には前記最も大きい色成分の値に当該色成分に対する前記補正量を乗算し、前記差が前記所定の第１閾値より小さい値に設定された第２閾値以下である場合には前記最も大きい色成分の値を調整せず、前記差が前記第１閾値と前記第２閾値との間の値である場合には、前記差に応じて前記補正量を線形補間した値を当該最も大きい色成分の値に乗算して、Ｒ、Ｇ、Ｂの値の調整を行うことを特徴とする。
【００２０】
第７の発明は、第１から第６のいずれかの発明のカラーバランス調整装置において、前記判定手段は、前記画像の各画素のＲ、Ｇ、Ｂの値に基づいて、｜Ｒ−Ｇ｜、｜Ｒ−Ｂ｜、｜Ｂ−Ｇ｜がそれぞれ所定の閾値以下であるという条件を満たす場合に、当該画素が無彩色の画素であると判定し、それ以外の場合に当該画素が有彩色の画素であると判定することを特徴とする。
【発明の効果】
【００２１】
第１の発明によれば、撮像装置で撮像された画像の各画素のＲ、Ｇ、Ｂの値に基づいて当該画素が無彩色の画素であるか有彩色の画素であるかを判定した上で、無彩色の画素と有彩色の画素とに対して互いに異なる態様で予め設定された色温度指標値と補正量との関係に従い、画素が無彩色の画素であるか有彩色の画素であるかに応じて上記の関係を使い分け、すなわち例えば参照する無彩色用のテーブルと有彩色用のテーブルとを使い分けて、色温度指標値に基づいてＲ、Ｇ、Ｂの値に対する補正量を算出し、補正量に従って画素ごとのＲ、Ｇ、Ｂの値の調整を行う。
【００２２】
そのため、画素が、無彩色の被写体が撮像された画素か、有彩色の被写体が撮像された画素かに応じて適切に画素のＲ、Ｇ、Ｂの値を調整することが可能となり、例えば、車両のフロントガラスや防護板等の透過部材や赤外カットフィルタや偏光フィルタのような光学フィルタ等が撮像装置の前方に介在するカメラシステムにおいても、撮像装置で撮像された画像の各画素のＲ、Ｇ、Ｂの値を的確に補正して調整することが可能となる。
【００２３】
また、そのため、このようなカメラシステムにおいても、白色やグレー等の無彩色と赤や緑、青等の有彩色を的確に調整して撮像することが可能となり、それにより撮像された画像に基づいて被写体の色を的確に認識することが可能となる。そして、例えば、撮像装置を車両や自律的に行動するロボット等に搭載して被写体を検出するような場合に、被写体の色を的確に認識して、被写体を的確に検出することが可能となる。
【００２４】
第２の発明によれば、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量を、各色温度指標値ごとのＲ、Ｇ、Ｂの相対強度の各理論値のうち相対強度が２番目に大きい理論値を基準として算出された各理論値の比率の逆数として設定することで、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量が、相対強度が最も大きい理論値や最も小さい理論値に引きずられて特定の色成分に偏ることを的確に防止することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００２５】
第３の発明によれば、例えば、車両のフロントガラスや赤外カットフィルタのように、撮像装置の前方に介在する透過部材や光学フィルタ等により白色等が着色されずに撮像されるような場合には、無彩色の被写体を撮像した画素からは出力されるＲ、Ｇ、Ｂの値は同じような値になるため、画素から出力されたＲとＧとＢの値が全て等しい値であれば、それは白色やグレー等の無彩色が撮像された画素であると判断することができ、調整を行う必要がない。
【００２６】
そのため、前記各発明の効果に加え、出力したＲとＧとＢの値が全て等しい値である画素を調整の対象から除外することで、Ｒ、Ｇ、Ｂの値の調整処理を軽くすることが可能となり、処理をより高速に行うことが可能となる。
【００２７】
第４の発明によれば、有彩色の画素に対して、無彩色の画素に対する態様とは異なる態様で予め設定された色温度指標値と補正量との関係に従って、有彩色の画素に応じた調整のしかたで有彩色の画素のＲ、Ｇ、Ｂの値を的確に補正して調整することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００２８】
第５の発明によれば、有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量を、特定の色成分に偏ることなく的確に算出することが可能となり、有彩色の画素に対する調整を的確に行うことが可能となる。そのため、前記各発明の効果をより的確に発揮させることが可能となる。
【００２９】
第６の発明によれば、有彩色の画素のＲ、Ｇ、Ｂの値の中で特定の色成分が大きい場合にはその色成分を調整し、有彩色の画素のＲ、Ｇ、Ｂの値にさほど大きな差がなく無彩色に近い色の場合には調整を行わず、その中間の場合には補正量を線形補間等により修正して適用する。このようにして有彩色の画素のＲ、Ｇ、Ｂの値の調整を行うことで、有彩色の画素に対する調整をより的確に行うことが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【００３０】
第７の発明によれば、例えば、車両のフロントガラスや赤外カットフィルタのように、撮像装置の前方に介在する透過部材や光学フィルタ等により白色等が着色されずに撮像されるような場合には、無彩色の被写体を撮像した画素からは出力されるＲ、Ｇ、Ｂの値は同じような値になる。そのため、｜Ｒ−Ｇ｜等の値がそれぞれ所定の閾値以下であるという条件を満たす場合に当該画素が無彩色の画素であると判定するように構成すれば、無彩色の画素と有彩色の画素とを的確かつ簡便に判別することが可能となり、前記各発明の効果をより的確に発揮させることが可能となる。
【図面の簡単な説明】
【００３１】
【図１】本実施形態に係るカラーバランス調整装置等の構成を示すブロック図である。
【図２】本実施形態に係るモデル式で算出された黒体放射軌跡を表す図である。
【図３】画素のＲ、Ｇ、Ｂに対応する点およびその点から黒体放射軌跡上に下ろした垂線を説明する図である。
【図４】白色を撮像した場合に本実施形態に係るモデル式で算出された色温度に依存するＲ、Ｇ、Ｂの相対強度の各理論値を表す図である。
【図５】図４の各理論値に基づいて算出された各理論値の相対強度が２番目に大きい理論値に対する比率を表す図である。
【図６】図５の各理論値の比率から算出された無彩色の画素に対するＲ、Ｇ、Ｂの値の各補正量の一部を表す図である。
【図７】フロントガラス等を含む撮像装置の波長に対する分光感度特性等を表す図である。
【図８】Ｒについて設定されたInput（λ）を用いて本実施形態に係るモデル式で算出された色温度に依存するＲ、Ｇ、Ｂの相対強度の各理論値を表す図である。
【図９】各Input（λ）を用いて本実施形態に係るモデル式でそれぞれ算出されたＲ、Ｇ、Ｂの相対強度の各理論値をあわせて表す図である。
【図１０】図９の各理論値等から算出された有彩色の画素に対するＲ、Ｇ、Ｂの値の各補正量の一部を表す図である。
【発明を実施するための形態】
【００３２】
以下、本発明に係るカラーバランス調整装置の実施の形態について、図面を参照して説明する。
【００３３】
なお、以下では、カラーバランス調整装置１や撮像装置１０等が車両に搭載されている場合について説明するが、本発明はこれに限定されず、例えば自律的に行動するロボットに搭載されたカメラ等で撮像された画像のカラーバランス調整に用いることができる。
【００３４】
本実施形態に係るカラーバランス調整装置１は、ＣＰＵ（Central Processing Unit）やＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、入出力インターフェース等がバスに接続されたコンピュータで構成されており、図１に示すように、色温度算出手段２や判定手段３、調整手段４を備えている。
【００３５】
また、カラーバランス調整装置１は、撮像装置１０により撮像された画像の各画素のＲ（赤）、Ｇ（緑）、Ｂ（青）のカラーバランスを調整するようになっている。以下、カラーバランス調整装置１の各手段２〜４について説明する前に、撮像装置１０等について説明する。
【００３６】
撮像装置１０は、本実施形態では、例えばＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサが内蔵されたカメラ等の単眼の撮像装置が用いられているが、複数設けられた撮像装置のうちの単数または複数の撮像装置により撮像された単数または複数の画像に対して本発明に係る処理を施すように構成することも可能である。
【００３７】
図示を省略するが、本実施形態では、撮像装置１０は、車両のフロントガラス内側の例えばルームミラー近傍に設置されており、車両前方を撮像して、道路面上に標示された車線（追い越し禁止線や路側帯と車道とを区画する区画線等の道路面上に標示された連続線や破線）や先行車両等の車両、歩行者、信号等を撮像する。
【００３８】
また、撮像装置１０には、図示しないフォーカスレンズやズームレンズ等を含む撮像レンズや絞り、シャッタ等が設けられており、また、赤外カットフィルタや偏光フィルタ等の光学フィルタが必要に応じて装着されている。また、撮像装置１０では、一定のサンプリング周期ごとに画像が撮像され、画像がＣＣＤ等のイメージセンサで画像のＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の光が光電変換されて、画素ごとのＲ、Ｇ、Ｂのアナログ値が出力されるようになっている。
【００３９】
変換部１１は、Ａ／Ｄコンバータ等で構成されており、撮像装置１０から画素ごとのＲ、Ｇ、Ｂのアナログ値が入力されると、Ｒ、Ｇ、Ｂの各アナログ値をそれぞれデジタル値に変換して画像補正部１２に出力するようになっている。画像補正部１２は、送信されてきたアナログ値のＲ、Ｇ、Ｂの値に対してずれやノイズの除去、輝度の補正等の画像補正を行い、画像補正した画素ごとのＲ、Ｇ、Ｂの値をカラーバランス調整装置１に出力するようになっている。
【００４０】
カラーバランス調整装置１の色温度算出手段２は、撮像装置１０から入力された画像の各画素のＲ、Ｇ、Ｂの値に基づいて、画素ごとに色温度指標値Ｔ＊を算出するようになっている。
【００４１】
以下、まず、色温度算出手段２でＲ、Ｇ、Ｂの値に基づく色温度指標値Ｔ＊の算出に用いられるモデル式や理論値、色度図について説明する。本実施形態では、色温度算出手段２は、後述するように、このモデル式や理論値から得られる色度図に基づいて、実際の各画素のＲ、Ｇ、Ｂの値から色温度指標値Ｔ＊を算出するようになっている。なお、このモデル式等は公知のものである。
【００４２】
まず、下記の（１）式は、車両のフロントガラス等を介してＣＣＤカメラ等の撮像装置１０で撮像が行われた際に撮像装置１０から出力されるＲ、Ｇ、Ｂの相対強度の理論値（モデル値）ＩＲ、ＩＧ、ＩＢを算出するモデル式である。
【００４３】
【数１】
【００４４】
ここで、Ωは波長λについての積分範囲を表し、可視光領域を含む波長領域で積分される。また、例えば波長が７５０ｎｍ以上の赤外光の透過をカットする赤外カットフィルタが用いられているような場合には、７５０ｎｍ以下の波長範囲で積分される。Ftglass（λ）は撮像装置１０が搭載された車両のフロントガラスの透過特性を表す関数であり、OPTfilter（λ）は赤外カットフィルタ等の光学フィルタの透過特性を表す関数である。
【００４５】
また、［ｒ（λ）、ｇ（λ）、ｂ（λ）］は撮像装置１０に用いられているＣＣＤイメージセンサ等の分光感度特性を表すＲ、Ｇ、Ｂごとの関数であり、上記（２）式で表されるＭ（λ）は黒体放射による相対強度を表す式である。なお、上記（２）式におけるＣ１、Ｃ２は、それぞれ、
Ｃ１＝３．７４１８×１０−１６［Ｗｍ２］
Ｃ２＝１．４３８８×１０−２［ｍＫ］
であり、Ｔは色温度［Ｋ］を表す。
【００４６】
また、Input（λ）は入射光の分光特性を表す関数であり、入射光が白色である場合には、Input（λ）としては全ての波長λに対して１を与える関数であり、入射光が赤や緑、青等の各色の有彩色である場合には、それぞれの波長領域について特徴を有する関数が用いられる。そして、Input（λ）を各色について適切に変えることで、各色の光が撮像装置１０の各画素に入射された場合に撮像装置１０から出力されるＲ、Ｇ、Ｂの相対強度の理論値ＩＲ、ＩＧ、ＩＢが上記（１）式に従ってそれぞれ算出される。
【００４７】
なお、本発明において、無彩色とは、白色やグレー（灰色）、黒色等の、いわゆる色みのない明度のみを有する色をいい、有彩色とは、赤や緑、青等の、いわゆる色みがあり明度や色相、彩度を有する色をいう。また、上記（１）式で表されるモデル式は、上記のように車両のフロントガラスの透過特性Ftglass（λ）やカメラレンズに装着する光学フィルタの透過率特性OPTfilter（λ）、ＣＣＤイメージセンサ等の分光感度特性［ｒ（λ）、ｇ（λ）、ｂ（λ）］など、カメラシステム上固有となる各特性を反映できる利点がある。
【００４８】
ここで、上記の（１）式で表されるモデル式のInput（λ）に白色を撮像した場合の関数すなわちInput（λ）＝１を代入して演算し、算出された理論値ＩＲ、ＩＧ、ＩＢから色度ＩＢ／ＩＲ、ＩＢ／ＩＧを算出する。そして、横軸に色度ＩＢ／ＩＲ、縦軸に色度ＩＢ／ＩＧをとった色度図上にプロットすると、上記のようなカメラシステムにおける黒体放射軌跡が、例えば図２に示すように、色温度Ｔをパラメータとして得られる。
【００４９】
本実施形態では、色温度算出手段２は、図２に例示された色度図に基づいて、実際に撮像された画像の各画素のＲ、Ｇ、Ｂの値から色温度指標値Ｔ＊を算出するようになっている。なお、上記の色度図は予め算出され、色度図に対応するテーブルがカラーバランス調整装置１のＲＯＭ等の記憶手段に予め記憶されている。
【００５０】
色度はＲ、Ｇ、Ｂの比であるからＢ／Ｒ≒ＩＢ／ＩＲ、Ｂ／Ｇ≒ＩＢ／ＩＧが成り立つ。そこで、色温度算出手段２は、ＲＯＭ等から図２に示した色度図を読み出し、画像の各画素のＲ、Ｇ、Ｂ値からＢ／Ｒ、Ｂ／Ｇの値を算出して、色度図上にプロットする（図３の黒丸参照）。
【００５１】
プロットした点が黒体放射軌跡上にあれば、その点における色温度Ｔを当該画素の色温度Ｔとして推定することができる。また、図３に示したように、プロットした点が黒体放射軌跡から離れた位置にプロットされる場合には、プロットされた点から黒体放射軌跡上まで垂線を下ろし、黒体放射軌跡と垂線との交点における色温度Ｔを当該画素の色温度Ｔとして推定することができる。
【００５２】
本実施形態では、色温度算出手段２は、このようにして推定された色温度Ｔを当該画素における色温度指標値Ｔ＊として算出するようになっている。また、色温度算出手段２は、この色温度指標値Ｔ＊の算出を画像の各画素について行うようになっている。
【００５３】
判定手段３は、画像の各画素のＲ、Ｇ、Ｂの値に基づいて、各画素が無彩色の画素であるか有彩色の画素であるかを判定するようになっている。
【００５４】
具体的には、本実施形態では、判定手段３は、画素のＲ、Ｇ、Ｂの値が下記（３）〜（５）式を同時に満たす場合に、当該画素が無彩色の画素であると判定し、それ以外の場合、すなわち画素のＲ、Ｇ、Ｂの値が下記（３）〜（５）式のいずれか１つでも満たさない場合には当該画素が有彩色の画素であると判定するようになっている。
｜Ｒ−Ｇ｜≦Ｔｈａ …（３）
｜Ｒ−Ｂ｜≦Ｔｈｂ …（４）
｜Ｂ−Ｇ｜≦Ｔｈｃ …（５）
【００５５】
なお、上記（３）〜（５）式の閾値Ｔｈａ、Ｔｈｂ、Ｔｈｃは同一の値であってもよく、また、異なる値であってもよい。本実施形態では、画素のＲ、Ｇ、Ｂの値が例えば０〜２５５の２５６階調のデジタル値である場合、閾値Ｔｈａ〜Ｔｈｃは例えば２０に設定されている。
【００５６】
また、当該画素が有彩色の画素であると判定するための条件は、フロントガラスや防護板等のように光を透過する透過部材の透過特性や装着する光学フィルタの透過率特性、ＣＣＤイメージセンサ等の撮像装置１０の分光感度特性等のカメラシステム固有の特性等に応じて適宜設定される。
【００５７】
調整手段４は、色温度算出手段２により算出された各画素についての色温度指標値Ｔ＊に基づいて当該画素のＲ、Ｇ、Ｂの値を補正するための補正量を算出し、そのＲ、Ｇ、Ｂの値の補正量に従って画素ごとのＲ、Ｇ、Ｂの値の調整を行うようになっている。
【００５８】
その際、本発明では、各画素が無彩色の画素であるか有彩色の画素であるかに応じて色温度指標値Ｔ＊と補正量との関係が異なった態様で予め設定されており、調整手段４は、各画素が無彩色の画素であるか有彩色の画素であるかに応じて、用いる上記関係を使い分け、後述する無彩色用または有彩色用の各テーブルを参照して補正量を算出するようになっている。
【００５９】
まず、画素の色が無彩色、すなわち白色やグレー、黒色等の色みのない明度のみを有する色である場合の色温度指標値Ｔ＊と補正量との関係は、上記（１）式で表されるモデル式において、白色を撮像した場合のInput（λ）＝１を代入して算出される理論値ＩＲ、ＩＧ、ＩＢに基づいて予め設定される。
【００６０】
すなわち、上記（１）式にInput（λ）＝１を代入してＲ、Ｇ、Ｂの相対強度の理論値ＩＲ、ＩＧ、ＩＢを算出すると、上記（２）式で表される黒体放射の相対強度を表すＭ（λ）が色温度Ｔに依存するため、図４に示すように、理論値ＩＲ、ＩＧ、ＩＢも色温度Ｔに依存する値として算出される。そして、画素の色が白色等の無彩色になるためにはＩＲ＝ＩＧ＝ＩＢであることが必要である。そこで、各理論値ＩＲ、ＩＧ、ＩＢを揃えるように、各色温度Ｔ（すなわち各色温度指標値Ｔ＊）ごとに補正量ＣＲ、ＣＧ、ＣＢが算出されるようになっている。
【００６１】
その際、本実施形態では、特定の色成分（すなわちＲまたはＧまたはＢ）への偏りを防止することに配慮して、各色温度Ｔにおける理論値ＩＲ、ＩＧ、ＩＢのうち、相対強度が２番目に大きい理論値を基準として各理論値ＩＲ、ＩＧ、ＩＢの比率の逆数を各色温度Ｔごとに算出し、この逆数を無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢとして予め算出して設定するようになっている。
【００６２】
具体的には、上記（１）式にInput（λ）＝１を代入して算出される理論値ＩＲ、ＩＧ、ＩＢが図４に示したように色温度Ｔに依存する場合、各色温度Ｔにおいて相対強度が２番目に大きい理論値を基準として１とした場合、各理論値ＩＲ、ＩＧ、ＩＢの比率ｒＲ、ｒＧ、ｒＢは図５に示すように各色温度Ｔごとに算出される。
【００６３】
そして、このようにして算出された各理論値ＩＲ、ＩＧ、ＩＢの比率ｒＲ、ｒＧ、ｒＢの逆数がＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢとして図６に示すように各色温度Ｔごとに算出される。なお、図６では見やすさを考慮して、補正量ＣＲ、ＣＧ、ＣＢが色温度３５００Ｋ〜８０００Ｋの範囲でしか示されていないが、図２〜図５に示したように、各理論値ＩＲ、ＩＧ、ＩＢが例えば色温度２０００Ｋ〜１２５００Ｋの範囲で計算されている場合には補正量ＣＲ、ＣＧ、ＣＢはその全範囲で算出される。
【００６４】
本実施形態では、このようにして各色温度Ｔ（すなわち各色温度指標値Ｔ＊）ごとに算出された無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢのテーブル（すなわち無彩色用のテーブル）が、カラーバランス調整装置１のＲＯＭ等の記憶手段に予め記憶されている。
【００６５】
調整手段４は、判定手段３がある画素について無彩色の画素であると判定し、色温度算出手段２が当該画素の色温度指標値がＴ＊であると算出すると、無彩色用のテーブルを参照して色温度指標値Ｔ＊における補正量ＣＲ、ＣＧ、ＣＢを算出し、当該画素のＲ、Ｇ、Ｂの値に各補正量ＣＲ、ＣＧ、ＣＢをそれぞれ乗算して画素ごとのＲ、Ｇ、Ｂの値の調整を行うようになっている。
【００６６】
なお、参照した無彩色用のテーブルに当該色温度指標値Ｔ＊における補正量ＣＲ、ＣＧ、ＣＢが対応付けられていない場合には、例えば当該色温度指標値Ｔ＊の近傍の色温度Ｔにおける補正量ＣＲ、ＣＧ、ＣＢから線形補間等により当該色温度指標値Ｔ＊における補正量ＣＲ、ＣＧ、ＣＢを算出する。
【００６７】
また、本実施形態のように、透過部材が車両のフロントガラスであり、光学フィルタとして可視光領域にはほとんど影響を与えない赤外カットフィルタや偏光フィルタが用いられている場合、すなわち、いわば白色が特定の色に着色されずに撮像される場合には、白色を撮像した画素から出力されるＲとＧとＢの値は同じ値になる。そのため、画素から出力されたＲとＧとＢの値が全て等しい値であれば、それは白色やグレー等の無彩色が撮像された画素であると判断することができる。
【００６８】
そこで、Ｒ、Ｇ、Ｂの値の調整処理を軽くするために、調整手段４では、判定手段３で無彩色の画素と判定された画素のうち、ＲとＧとＢの値が全て等しい画素を上記のような補正量ＣＲ、ＣＧ、ＣＢによるＲ、Ｇ、Ｂの値の調整の対象から除外し、それ以外の無彩色の画素と判定された画素について補正量ＣＲ、ＣＧ、ＣＢによるＲ、Ｇ、Ｂの値の調整を行うように構成することが可能である。
【００６９】
一方、画素が有彩色の画素である場合の色温度指標値Ｔ＊（色温度Ｔ）と補正量との関係（すなわち有彩色用のテーブル）は、上記の画素が無彩色である場合の色温度指標値Ｔ＊（色温度Ｔ）と補正量との関係（すなわち無彩色用のテーブル）とは異なった態様で予め設定される。
【００７０】
一般的に、画素の色が有彩色、すなわち赤や緑、青等のいわゆる色みがあり明度や色相、彩度を有する色である場合のカラーバランス調整では、上記（１）式で表されるモデル式のInput（λ）として所定の関数を設定し、そのInput（λ）の下で上記（１）式の積分を実行して算出された理論値ＩＲ、ＩＧ、ＩＢに基づいて画素のＲ、Ｇ、Ｂの値の調整が行われる。
【００７１】
しかし、実際には、適切なInput（λ）を設定することは必ずしも容易ではない。そこで、本実施形態では、Ｒ、Ｇ、Ｂに対応してそれぞれ設定されるInput（λ）を単純な形で設定するようになっている。
【００７２】
ここで、実際のフロントガラスや光学フィルタ、ＣＣＤイメージセンサ等の撮像装置１０のカメラシステムで、各波長λに対してＲ、Ｇ、Ｂがどのような分光感度特性になっているかを調べるために、下記（６）式を用いて計算を行うと、例えば図７に示すようなＲ（λ）、Ｇ（λ）、Ｂ（λ）の波長λに対する分光感度特性が得られる。
【００７３】
【数２】
【００７４】
なお、本実施形態では、前述したように７５０ｎｍ以上の赤外光の透過をカットする赤外カットフィルタが用いられており、図７の分光感度特性においても、７５０ｎｍ以上の波長の光がカットされている。図７の分光感度特性を見ると、Ｒ（λ）、Ｇ（λ）、Ｂ（λ）はそれぞれ感度のピークを有し、そこから長波長側と短波長側に裾野が広がっている。また、Ｒ（λ）は長波長領域に、Ｇ（λ）は中波長領域に、Ｂ（λ）は短波長領域にそれぞれ３つに別れて分布している。
【００７５】
そこで、本実施形態では、Ｒ（λ）、Ｇ（λ）、Ｂ（λ）についてそれぞれ感度が高い波長範囲を設定する。その際、同一の波長幅の波長範囲で区切るように設定する。図７の例では、例えば、Ｒ（λ）は５６０〜７５０ｎｍ、Ｇ（λ）は４６５〜６５５ｎｍ、Ｂ（λ）は３７０〜５６０ｎｍの波長幅が１９０ｎｍの各波長範囲に区切る。
【００７６】
そして、このＲ（λ）、Ｇ（λ）、Ｂ（λ）の各波長範囲に対応して、Input（λ）を下記（７）〜（９）式のようにそれぞれ設定する。
Ｒ：Input（λ）＝１（５６０ｎｍ≦λ≦７５０ｎｍ）
＝０（上記以外の波長λ） …（７）
Ｇ：Input（λ）＝１（４６５ｎｍ≦λ≦６５５ｎｍ）
＝０（上記以外の波長λ） …（８）
Ｂ：Input（λ）＝１（３７０ｎｍ≦λ≦５６０ｎｍ）
＝０（上記以外の波長λ） …（９）
【００７７】
すなわち、各Input（λ）をＲ、Ｇ、Ｂについてそれぞれ設定された上記の波長範囲で１となり、他の波長範囲では０となる、いわば矩形状の関数として設定する。
【００７８】
続いて、これらのInput（λ）を上記（１）式に代入して積分を実行すると、例えばＲについてのInput（λ）を用いて計算を行った場合、黒体放射の相対強度を表すＭ（λ）が上記（２）式で表されるように色温度Ｔに依存することに起因して、図８に示すように色温度Ｔに依存する理論値ＩＲ、ＩＧ、ＩＢが算出される。しかし、図８はＲについてのInput（λ）を用いた計算結果であり、有意な情報を有するのは理論値ＩＲのみである。
【００７９】
また、Ｇ、ＢについてのInput（λ）を用いてそれぞれ計算を行い、同様にして、有意な情報を有する理論値ＩＧ、ＩＢを算出する。Ｒ、Ｇ、Ｂについての各Input（λ）をそれぞれ用いて算出された色温度Ｔにそれぞれ依存する理論値ＩＲ、ＩＧ、ＩＢをあわせて表すと、図９のグラフのように表すことができる。
【００８０】
本実施形態では、この図９に示される各色温度ＴごとのＲ、Ｇ、Ｂの相対強度の各理論値ＩＲ、ＩＧ、ＩＢを用いて、画素の色が無彩色の場合の補正量ＣＲ、ＣＧ、ＣＢの算出と同様にして、画素の色が有彩色の場合のＲ、Ｇ、Ｂの値に対する補正量ＣＲ、ＣＧ、ＣＢが算出されるようになっている。
【００８１】
すなわち、図９に示すように算出した各色温度ＴごとのＲ、Ｇ、Ｂの各理論値ＩＲ、ＩＧ、ＩＢのうち、各色温度Ｔごとに相対強度が２番目に大きい理論値を基準として各理論値ＩＲ、ＩＧ、ＩＢの比率を算出し、算出した各理論値ＩＲ、ＩＧ、ＩＢの比率の逆数として画素のＲ、Ｇ、Ｂに対する補正量ＣＲ、ＣＧ、ＣＢが算出される。
【００８２】
本実施形態では、画素の色が有彩色の場合には、さらに、色温度に対する補正量Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂを算出するようになっている。
【００８３】
画素の色が有彩色である場合、例えば曇天時や雨天時、日陰等のように画像が暗く撮像されるような状況では、画素の色も暗く撮像され、画素の色がどのような色であるかを認識しづらくなる。この色温度に対する補正量Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂは、そのような状況においても画素の色を的確に認識できるように変換するための補正量であり、色温度Ｔ（色温度指標値Ｔ＊）での画素のＲやＧやＢの値を、晴天時の白色に相当する基準色温度すなわち５５００Ｋの状態におけるＲ５５００Ｋ、Ｇ５５００Ｋ、Ｂ５５００Ｋの値に近づけるように変換するための補正量である。
【００８４】
すなわち、色温度に対する補正量Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂはそれぞれ、
Ｃ＊Ｒ＝ＩＲ５５００Ｋ／ＩＲ（Ｔ＊） …（１０）
Ｃ＊Ｇ＝ＩＧ５５００Ｋ／ＩＧ（Ｔ＊） …（１１）
Ｃ＊Ｂ＝ＩＢ５５００Ｋ／ＩＢ（Ｔ＊） …（１２）
で算出される。なお、ＩＲ５５００Ｋ等およびＩＲ（Ｔ＊）等は、図９に示したように算出された各理論値ＩＲ等における色温度Ｔが５５００ＫおよびＴ＊のときの値である。
【００８５】
そして、本実施形態では、画素の色が有彩色である場合の画素のＲ、Ｇ、Ｂの値の補正量として、それぞれ画素の色が有彩色の場合のＲ、Ｇ、Ｂに対する補正量ＣＲ、ＣＧ、ＣＢと色温度に対する補正量Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂとを乗算したＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂが用いられるようになっている。
【００８６】
図９に示した例の場合、Ｒ、Ｇ、Ｂの値の補正量ＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂはそれぞれ図１０に示すように各色温度Ｔごとに算出される。なお、図１０においても、見やすさを考慮して、補正量ＣＲＣ＊Ｒ等が色温度３５００Ｋ〜８０００Ｋの範囲でしか示されていないが、図８や図９に示したように、各理論値ＩＲ、ＩＧ、ＩＢが例えば色温度２０００Ｋ〜１２５００Ｋの範囲で計算されている場合には補正量ＣＲＣ＊Ｒ等もその全範囲で算出される。
【００８７】
補正量ＣＲＣ＊Ｒ等の色温度Ｔに対する特性は、画素の色が無彩色である場合の補正量ＣＲ等（図６参照）の場合に比べて、色温度に対する補正量Ｃ＊Ｒ等が乗算されている分だけ特性曲線が湾曲した形状になっている。
【００８８】
本実施形態では、上記のようにして各色温度Ｔ（すなわち各色温度指標値Ｔ＊）ごとに算出された有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂのテーブル（すなわち有彩色用のテーブル）が、カラーバランス調整装置１のＲＯＭ等の記憶手段に予め記憶されている。
【００８９】
また、調整手段４は、本実施形態では、判定手段３がある画素について有彩色の画素であると判定した場合、無彩色の画素の場合とは異なり、有彩色の画素と判定された当該画素のＲ、Ｇ、Ｂの値のうち、最も大きい色成分のみを調整の対象とし、値が２番目に大きい色成分や最も小さい色成分については調整を行わないようになっている。
【００９０】
以下、画素のＲ、Ｇ、Ｂの値のうち、最も大きい色成分がＲ（すなわちＲ＞ＧかつＲ＞Ｂ）であり、Ｂが最も小さい色成分である場合について説明する。なお、他の色成分が最大或いは最小の場合も同様に説明される。
【００９１】
まず、最も大きい色成分Ｒと最も小さい色成分Ｂとの差に応じて、調整のしかたを３つに場合分けする。
【００９２】
［調整１］画素のＲ、Ｂの値から算出されるＲ−Ｂが、予め大きな値に設定された第１閾値Ｔｈ１以上である（すなわちＲ−Ｂ≧Ｔｈ１）場合には、当該画素は赤みがかった色をしており、調整手段４は、有彩色用のテーブルを参照して、色温度算出手段２が算出した当該画素の色温度指標値がＴ＊におけるＲの補正量ＣＲＣ＊Ｒを算出し、画素のＲの値に補正量ＣＲＣ＊Ｒを乗算してＲの値を補正して調整を行う。
【００９３】
なお、第１閾値Ｔｈ１は、画素のＲ、Ｇ、Ｂの値が０〜２５５の２５６階調のデジタル値である場合には例えば１００等に設定される。また、参照した有彩色用のテーブルに当該色温度指標値Ｔ＊における補正量ＣＲＣ＊Ｒが対応付けられていない場合には、例えば当該色温度指標値Ｔ＊の近傍の色温度Ｔにおける補正量ＣＲＣ＊Ｒから線形補間等により当該色温度指標値Ｔ＊における補正量ＣＲＣ＊Ｒを算出する。
【００９４】
［調整２］画素のＲ、Ｂの値から算出されるＲ−Ｂが、予め小さな値に設定された第２閾値Ｔｈ２以下である（すなわちＲ−Ｂ≦Ｔｈ２）場合には、当該画素は無彩色に近い色をしており、調整手段４は、この場合は、値が最も大きい色成分Ｒに対して補正を行わないようになっている。すなわち、この場合、補正量はＣＲＣ＊Ｒではなく１とされる。
【００９５】
最も大きい色成分Ｒと最も小さい色成分Ｂとの差が例えば２０以下であれば、最も大きい色成分Ｒと２番目に大きい色成分Ｇとの差や、２番目に大きい色成分Ｇと最も小さい色成分Ｂとの差も２０以下となる。そのため、本実施形態では、このような場合には上記の（３）〜（５）式を満たすため、上記のように当該画素は判定手段３により無彩色の画素であると判定され、調整手段４は、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢを用いて当該画素のＲ、Ｇ、Ｂの値の調整を行う。
【００９６】
それに対し、上記の調整２では、調整手段４は、値が最も大きい色成分Ｒに対して補正を行わず、値が２番目に大きい色成分Ｇや最も小さい色成分Ｂについても調整を行わない。そのため、本実施形態では、最も大きい色成分Ｒと最も小さい色成分Ｂとの差が２０より大きく第２閾値Ｔｈ２以下であるような画素帯に、いわば不感帯が設けられているような状態となっている。
【００９７】
従って、このような不感帯をどの程度の画素範囲に設けるかに応じて第２閾値Ｔｈ２の値が適宜設定される。すなわち、不感帯をある程度大きくとる場合には、第２閾値Ｔｈ２は例えば２５や３０等の値に設定され、不感帯を設けない場合には、第２閾値Ｔｈ２は上記の閾値Ｔｈａ〜Ｔｈｃと同様に２０に設定される。なお、後者の場合には、結局、上記の調整２が行われる余地がないことになる。
【００９８】
［調整３］画素のＲ、Ｂの値から算出されるＲ−Ｂが、上記の第２閾値Ｔｈ２より大きく第１閾値Ｔｈ１より小さい（すなわちＴｈ２＜Ｒ−Ｂ＜Ｔｈ１）場合、すなわち上記の調整１と調整２との中間の場合には、調整手段４は、Ｒ−Ｂの大きさに応じて、上記の調整１における補正量ＣＲＣ＊Ｒと調整２における補正量１とを線形補間して補正量Ｃ＊＊Ｒを算出し、画素のＲの値に算出した補正量Ｃ＊＊Ｒを乗算してＲの値を補正して調整を行う。
【００９９】
この場合、補正量Ｃ＊＊Ｒは、線形補間により、
Ｃ＊＊Ｒ＝１＋（ＣＲＣ＊Ｒ−１）×（Ｒ−Ｂ）／（Ｔｈ１−Ｔｈ２）…（１３）
を演算することにより算出することができる。なお、この場合も、参照した有彩色用のテーブルに当該色温度指標値Ｔ＊における補正量ＣＲＣ＊Ｒが対応付けられていなければ線形補間等により補正量ＣＲＣ＊Ｒが算出される。
【０１００】
次に、本実施形態に係るカラーバランス調整装置１の作用について説明する。
【０１０１】
前述した従来のカラーバランス調整では、撮像装置固有のＲ、Ｇ、Ｂ感度が合うように予め調整され、Ｒ、Ｇ、Ｂのバランスがほぼ揃っている撮像装置に対して、ホワイトバランス調整処理における補正量をそのまま有彩色にも適用して、画素のＲ、Ｇ、Ｂの値の調整を行うことができた。
【０１０２】
しかし、本実施形態のように、入射光が、車両のフロントガラスや防護板等の透過部材や、赤外カットフィルタや偏光フィルタ等の光学フィルタを介してＣＣＤイメージセンサ等の撮像装置１０に入射されるカメラシステムの場合、撮像装置１０の固有のＲ、Ｇ、Ｂ感度が合うように予め調整されていたとしても、ホワイトバランス調整処理における補正量、すなわち無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢをそのまま有彩色に適用して画素のＲ、Ｇ、Ｂの値を的確に調整することが必ずしも十分にはできない。
【０１０３】
そこで、本実施形態では、上記のように、判定手段３で、画素のＲ、Ｇ、Ｂの値に基づいて画素を無彩色の画素であるか有彩色の画素であるかを判定して分け、無彩色の画素と有彩色の画素とに対して互いに異なる態様で予め設定された色温度指標値Ｔ＊と補正量との関係、すなわち前述した無彩色用のテーブルと有彩色用のテーブルとを使い分けてＲ、Ｇ、Ｂの値の調整を行う。
【０１０４】
前述したように、画素が無彩色であるか有彩色であるかを分ける基準として、本実施形態では、上記（３）〜（５）式の判定条件に従って判定されるように構成されている。これは、車両のフロントガラスの透過特性や赤外カットフィルタ等の光学フィルタの透過率特性が、少なくとも可視光領域では被写体の本来の色をそのままＣＣＤイメージセンサ等に到達させるものであることに基づいている。
【０１０５】
すなわち、フロントガラスが無色透明で、白色の光がフロントガラス等を透過する際に特定の色（例えば赤）に着色させずに白色のままＣＣＤイメージセンサ等に撮像されるように形成されており、また、光学フィルタが可視光領域の光を全て透過させるように構成されていることに基づく。そして、上記（３）〜（５）式において閾値Ｔｈａ等が２０に設定される場合、無彩色と判定する波長範囲をかなり狭く設定していることになる。
【０１０６】
しかし、上記のモデルにおいても、フロントガラスの透過特性Ftglass（λ）や光学フィルタの透過率特性OPTfilter（λ）、ＣＣＤイメージセンサ等の分光感度特性［ｒ（λ）、ｇ（λ）、ｂ（λ）］等の関係次第で、例えば図４に示したように、色温度Ｔが白色に相当する５５００Ｋで、理論値ＩＲとＩＧは同程度の相対強度となるが理論値ＩＢは理論値ＩＲ、ＩＧよりもやや小さい値となる場合もある。
【０１０７】
そこで、例えば上記（１）式に従って算出される理論値ＩＲ、ＩＧ、ＩＢに応じて、上記の画素が無彩色の画素であると判定する条件を、例えば、
｜Ｒ−Ｇ｜≦２０
０≦Ｒ−Ｂ≦４０
０≦Ｇ−Ｂ≦４０
等のように設定することも可能である。
【０１０８】
また、自律的に行動するロボットにＣＣＤイメージセンサ等の撮像装置１０を搭載するような場合、例えば撮像装置１０の前方に設置する防護板等が車両のフロントガラスのように無色透明であるとは限らず、白色の光が防護板等を透過する際に特定の色に（例えば赤く）着色されて撮像されるような場合もある。そのような場合には、この特定の色（赤）に対応するＲ、Ｇ、Ｂの値を出力する画素や、その近傍のＲ、Ｇ、Ｂの値を出力する画素が無彩色の画素であると判定されるように、画素のＲ、Ｇ、Ｂの値に対する条件が設定される。
【０１０９】
また、上記のようなモデルによらず、実際のフロントガラスや防護板等の透過部材や光学フィルタ、ＣＣＤイメージセンサ等の撮像装置１０のカメラシステムで白色等の無彩色のカラーチャート等を撮像させ、その際に出力される各画素のＲ、Ｇ、Ｂの値を計測し、それに基づいて画素が無彩色の画素であると判定する条件を予め設定することも可能である。
【０１１０】
そして、画素が無彩色であると判定された場合には、調整手段４で、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢを用いて画素のＲ、Ｇ、Ｂの値が補正され調整される。その際、上記のように防護板等が着色されている等して白色の光が防護板等を透過する際に特定の色に（例えば赤く）着色されて撮像されるような場合には、この特定の色（赤）に対応するＲ、Ｇ、Ｂの値を出力する画素のＲ、Ｇ、Ｂの値が、Ｒ＝Ｇ＝Ｂとなるように、すなわち白色やグレー等の無彩色に相当する色になるように調整される。また、そのように調整されるように無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢが予め設定される。
【０１１１】
従って、上記のような場合、着色された防護板等を介して人間の目で外界を見た場合には、全体的に赤みがかって見え、本来白色の物も赤く見えるが、調整された後の当該画素のＲ、Ｇ、Ｂの値は白色やグレー等の無彩色になる。
【０１１２】
このような調整を行うことで、本実施形態のように、車両のフロントガラスや防護板等の透過部材や赤外カットフィルタや偏光フィルタ等の光学フィルタが介在するカメラシステムにおいても、無彩色の被写体が撮像された画素から出力されるＲ、Ｇ、Ｂの値を無彩色に相当するＲ、Ｇ、Ｂの値に的確に調整することが可能となる。
【０１１３】
なお、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢには、有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂのように色温度に対する補正量Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂが乗算されていない。しかし、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢにおいて色温度に対する補正量が考慮されていないわけではない。
【０１１４】
図４に示したように、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢの算出に用いられる上記（１）式に基づくＲ、Ｇ、Ｂの相対強度の理論値ＩＲ、ＩＧ、ＩＢを見ると、色温度Ｔが低い場合には理論値ＩＧ、ＩＢに比べて理論値ＩＲが大きな値となっており、色温度Ｔが高い場合には理論値ＩＲ、ＩＧよりも理論値ＩＢが大きくなっている。
【０１１５】
そのため、無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢに既に色温度に対する補正量が含まれていると考えられる。なお、図４において、色温度Ｔが白色に相当する５５００Ｋのときの理論値ＩＲ、ＩＧ、ＩＢがＩＲ＝ＩＧ＝ＩＢになっていない理由は、主にフロントガラスの透過特性や光学フィルタの透過率特性によるものと考えられる。
【０１１６】
一方、画素が有彩色である場合に、上記の無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲ、ＣＧ、ＣＢを用いて画素のＲ、Ｇ、Ｂの値を調整すると、例えば、有彩色の画素の彩度が落ち、本来カラーで撮像されるべき画像がモノクロ状の画像に補正されてしまう場合がある。そして、このように撮像されてしまうと、撮像された画像に基づいて被写体の色を誤って認識してしまう等の問題が生じることは前述した通りである。
【０１１７】
そこで、本実施形態では、前述したように、有彩色の画素であると判定された画素に対する調整は、上記の無彩色の画素に対する調整とは異なる態様で行われるように構成されている。そして、有彩色用のテーブルが参照され、有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量ＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂを用いて画素のＲやＧやＢの値が補正されて調整されるようになっている。
【０１１８】
その際、有彩色の画素におけるＲ、Ｇ、Ｂに対する補正量ＣＲ、ＣＧ、ＣＢにおいても、図９に示したように、Ｒ、Ｇ、Ｂの理論値ＩＲ、ＩＧ、ＩＢは、色温度Ｔが低い場合には理論値ＩＧ、ＩＢに比べて理論値ＩＲが大きな値となっており、色温度Ｔが高い場合には理論値ＩＲ、ＩＧよりも理論値ＩＢが大きくなっているため、有彩色の画素におけるＲ、Ｇ、Ｂに対する補正量ＣＲ、ＣＧ、ＣＢにも既に色温度に対する補正量が含まれていると考えられる。
【０１１９】
その上で、さらに色温度に対する補正量Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂを乗算して、有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量をＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂとする理由は、前述したように、例えば曇天時や雨天時、日陰等のように画素の色も暗く撮像されるような場合においても画素の色を的確に認識できるように変換するために、色温度Ｔ（色温度指標値Ｔ＊）での画素のＲやＧやＢの値を、晴天時の白色に相当する５５００Ｋの状態におけるＲ５５００Ｋ、Ｇ５５００Ｋ、Ｂ５５００Ｋの値に近づけるように変換するためである。
【０１２０】
従って、有彩色の画素におけるＲ、Ｇ、Ｂに対する補正量ＣＲ、ＣＧ、ＣＢを用いて、例えば曇天時等のように画素の色も暗く撮像されるような場合においても画素の色を的確に認識できるように調整されるのであれば、有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量としてＣＲ、ＣＧ、ＣＢを用いるように構成することも可能である。
【０１２１】
ただし、その場合でも、補正量ＣＲ、ＣＧ、ＣＢの算出のしかたは、Input（λ）を全ての波長λに対して１として計算する無彩色の場合とは異なる手法で算出され、例えば、本実施形態のように、Input（λ）を上記（７）〜（９）式のように設定して算出したＲ、Ｇ、Ｂの相対強度の理論値ＩＲ、ＩＧ、ＩＢに基づいて算出される。
【０１２２】
なお、本実施形態の調整手段４では、有彩色の画素に対して、当該画素のＲ、Ｇ、Ｂの値のうち最も大きい色成分のみを調整の対象とし、値が２番目に大きい色成分や最も小さい色成分については調整を行わない場合について説明したが、その理由は、画素の色には最も大きい色成分が最も強く反映されており、最も大きい色成分を調整すれば画素の色の調整としては十分であるためであり、演算処理を軽くして高速に行うためである。
【０１２３】
従って、演算処理の高速化を図る必要がないような場合には、例えば、最も大きい色成分の値と２番目に大きい色成分の値との間にほとんど差がないような場合に両方の色成分に対してともに補正するように構成することも可能であり、或いは、３つの色成分について全て補正を行うように構成することも可能である。
【０１２４】
以上のように、本実施形態に係るカラーバランス調整装置１によれば、各画素のＲ、Ｇ、Ｂの値に基づいて当該画素が無彩色の画素であるか有彩色の画素であるかを判定した上で、無彩色の画素と有彩色の画素とに対して互いに異なる態様で予め設定された色温度指標値Ｔ＊と補正量との関係に従って、画素が無彩色の画素であるか有彩色の画素であるかに応じて上記の関係を使い分け、すなわち参照する無彩色用のテーブルと有彩色用のテーブルとを使い分けて、色温度指標値Ｔ＊に基づいてＲ、Ｇ、Ｂの値に対する補正量を算出し、補正量に従って画素ごとのＲ、Ｇ、Ｂの値の調整を行う。
【０１２５】
そのため、画素が、無彩色の被写体が撮像された画素か、有彩色の被写体が撮像された画素かに応じて適切に画素のＲ、Ｇ、Ｂの値を調整することが可能となり、車両のフロントガラスや防護板等の透過部材や赤外カットフィルタや偏光フィルタのような光学フィルタ等が撮像装置１０の前方に介在するカメラシステムにおいても、撮像装置１０で撮像された画像の各画素のＲ、Ｇ、Ｂの値を的確に補正して調整することが可能となる。
【０１２６】
また、そのため、このようなカメラシステムにおいても、白色やグレー等の無彩色と赤や緑、青等の有彩色を的確に調整して撮像することが可能となり、それにより撮像された画像に基づいて被写体の色を的確に認識することが可能となる。そして、例えば、撮像装置１０を車両や自律的に行動するロボット等に搭載して被写体を検出するような場合に、被写体の色を的確に認識して、被写体を的確に検出することが可能となる。
【符号の説明】
【０１２７】
１ カラーバランス調整装置
２ 色温度算出手段
３ 判定手段
４ 調整手段
１０ 撮像装置
ＣＲ、ＣＧ、ＣＢ 無彩色の画素に対するＲ、Ｇ、Ｂの値の補正量
Ｃ＊Ｒ、Ｃ＊Ｇ、Ｃ＊Ｂ 色温度に対する補正量
ＣＲＣ＊Ｒ、ＣＧＣ＊Ｇ、ＣＢＣ＊Ｂ 有彩色の画素に対するＲ、Ｇ、Ｂの値の補正量
Ftglass（λ） 車両のフロントガラスの透過特性（撮像装置の分光感度特性）
ＩＲ、ＩＧ、ＩＢ Ｒ、Ｇ、Ｂの相対強度の各理論値
Ｍ（λ） 黒体放射による相対強度
OPTfilter（λ） 光学フィルタの特性（撮像装置の分光感度特性）
ｒＲ、ｒＧ、ｒＢ 各理論値の比率
［ｒ（λ）、ｇ（λ）、ｂ（λ）］ 分光感度特性（撮像装置の分光感度特性）
Ｔ＊ 色温度指標値
Ｔｈ１ 第１閾値
Ｔｈ２ 第２閾値
Ｔｈａ〜Ｔｈｃ 所定の閾値
Ω 波長についての積分範囲（所定の波長範囲）
【特許請求の範囲】
【請求項１】
撮像装置により撮像された画像のカラーバランス調整装置において、
前記撮像装置から入力された前記画像の各画素のＲ、Ｇ、Ｂの値に基づいて各画素ごとに色温度指標値を算出する色温度算出手段と、
前記画像の各画素のＲ、Ｇ、Ｂの値に基づいて前記各画素が無彩色の画素であるか有彩色の画素であるかを判定する判定手段と、
前記無彩色の画素と前記有彩色の画素とに対して互いに異なる態様で予め設定された前記色温度指標値と補正量との関係に従って、前記各画素が無彩色の画素であるか有彩色の画素であるかに応じて前記関係を使い分けて前記色温度指標値に基づくＲ、Ｇ、Ｂの値に対する前記補正量を算出し、前記補正量に従って前記画素ごとのＲ、Ｇ、Ｂの値の調整を行う調整手段と、
を備えることを特徴とするカラーバランス調整装置。
【請求項２】
前記無彩色の画素に対する前記Ｒ、Ｇ、Ｂの値の補正量は、白色を撮像する条件の下で前記撮像装置の分光感度特性と黒体放射による相対強度とを乗算した値を所定の波長範囲で積分した場合の各色温度指標値ごとの前記Ｒ、Ｇ、Ｂの相対強度の各理論値のうち、各色温度指標値ごとに前記相対強度が２番目に大きい前記理論値を基準として算出された前記各理論値の比率の逆数として各色温度指標値ごとに設定されることを特徴とする請求項１に記載のカラーバランス調整装置。
【請求項３】
前記調整手段は、前記判定手段により無彩色の画素と判定された前記画素のうち、ＲとＧとＢの値が全て等しい画素を前記補正量によるＲ、Ｇ、Ｂの値の調整の対象から除外し、それ以外の前記画素について前記補正量によるＲ、Ｇ、Ｂの値の調整を行うことを特徴とする請求項２に記載のカラーバランス調整装置。
【請求項４】
前記有彩色の画素に対する前記Ｒ、Ｇ、Ｂの値の補正量は、前記撮像装置の分光感度特性においてＲ、Ｇ、Ｂのそれぞれについて感度が高い波長範囲でそれぞれ前記撮像装置の分光感度特性と黒体放射による相対強度とを乗算した値を積分した場合の各色温度指標値ごとの前記Ｒ、Ｇ、Ｂの相対強度の各理論値で、基準色温度における前記Ｒ、Ｇ、Ｂの相対強度の各理論値をそれぞれ除算して算出される色温度に対する補正量と、各色温度指標値ごとの前記Ｒ、Ｇ、Ｂの相対強度の各理論値のうち、各色温度指標値ごとに前記相対強度が２番目に大きい前記理論値を基準として算出された前記各理論値の比率の逆数として算出されるＲ、Ｇ、Ｂに対する補正量と、を乗算した値として各色温度指標値ごとに設定されることを特徴とする請求項１から請求項３のいずれか一項に記載のカラーバランス調整装置。
【請求項５】
前記撮像装置の分光感度特性においてＲ、Ｇ、Ｂのそれぞれについて感度が高い波長範囲は、Ｒ、Ｇ、Ｂについて同一の波長幅の波長範囲として設定されることを特徴とする請求項４に記載のカラーバランス調整装置。
【請求項６】
前記調整手段は、前記判定手段により有彩色の画素と判定された前記画素について、Ｒ、Ｇ、Ｂの値のうち最も大きい色成分のみを調整の対象とし、前記最も大きい色成分の値と最も小さい色成分の値との差が所定の第１閾値以上である場合には前記最も大きい色成分の値に当該色成分に対する前記補正量を乗算し、前記差が前記所定の第１閾値より小さい値に設定された第２閾値以下である場合には前記最も大きい色成分の値を調整せず、前記差が前記第１閾値と前記第２閾値との間の値である場合には、前記差に応じて前記補正量を線形補間した値を当該最も大きい色成分の値に乗算して、Ｒ、Ｇ、Ｂの値の調整を行うことを特徴とする請求項４または請求項５に記載のカラーバランス調整装置。
【請求項７】
前記判定手段は、前記画像の各画素のＲ、Ｇ、Ｂの値に基づいて、｜Ｒ−Ｇ｜、｜Ｒ−Ｂ｜、｜Ｂ−Ｇ｜がそれぞれ所定の閾値以下であるという条件を満たす場合に、当該画素が無彩色の画素であると判定し、それ以外の場合に当該画素が有彩色の画素であると判定することを特徴とする請求項１から請求項６のいずれか一項に記載のカラーバランス調整装置。
【請求項１】
撮像装置により撮像された画像のカラーバランス調整装置において、
前記撮像装置から入力された前記画像の各画素のＲ、Ｇ、Ｂの値に基づいて各画素ごとに色温度指標値を算出する色温度算出手段と、
前記画像の各画素のＲ、Ｇ、Ｂの値に基づいて前記各画素が無彩色の画素であるか有彩色の画素であるかを判定する判定手段と、
前記無彩色の画素と前記有彩色の画素とに対して互いに異なる態様で予め設定された前記色温度指標値と補正量との関係に従って、前記各画素が無彩色の画素であるか有彩色の画素であるかに応じて前記関係を使い分けて前記色温度指標値に基づくＲ、Ｇ、Ｂの値に対する前記補正量を算出し、前記補正量に従って前記画素ごとのＲ、Ｇ、Ｂの値の調整を行う調整手段と、
を備えることを特徴とするカラーバランス調整装置。
【請求項２】
前記無彩色の画素に対する前記Ｒ、Ｇ、Ｂの値の補正量は、白色を撮像する条件の下で前記撮像装置の分光感度特性と黒体放射による相対強度とを乗算した値を所定の波長範囲で積分した場合の各色温度指標値ごとの前記Ｒ、Ｇ、Ｂの相対強度の各理論値のうち、各色温度指標値ごとに前記相対強度が２番目に大きい前記理論値を基準として算出された前記各理論値の比率の逆数として各色温度指標値ごとに設定されることを特徴とする請求項１に記載のカラーバランス調整装置。
【請求項３】
前記調整手段は、前記判定手段により無彩色の画素と判定された前記画素のうち、ＲとＧとＢの値が全て等しい画素を前記補正量によるＲ、Ｇ、Ｂの値の調整の対象から除外し、それ以外の前記画素について前記補正量によるＲ、Ｇ、Ｂの値の調整を行うことを特徴とする請求項２に記載のカラーバランス調整装置。
【請求項４】
前記有彩色の画素に対する前記Ｒ、Ｇ、Ｂの値の補正量は、前記撮像装置の分光感度特性においてＲ、Ｇ、Ｂのそれぞれについて感度が高い波長範囲でそれぞれ前記撮像装置の分光感度特性と黒体放射による相対強度とを乗算した値を積分した場合の各色温度指標値ごとの前記Ｒ、Ｇ、Ｂの相対強度の各理論値で、基準色温度における前記Ｒ、Ｇ、Ｂの相対強度の各理論値をそれぞれ除算して算出される色温度に対する補正量と、各色温度指標値ごとの前記Ｒ、Ｇ、Ｂの相対強度の各理論値のうち、各色温度指標値ごとに前記相対強度が２番目に大きい前記理論値を基準として算出された前記各理論値の比率の逆数として算出されるＲ、Ｇ、Ｂに対する補正量と、を乗算した値として各色温度指標値ごとに設定されることを特徴とする請求項１から請求項３のいずれか一項に記載のカラーバランス調整装置。
【請求項５】
前記撮像装置の分光感度特性においてＲ、Ｇ、Ｂのそれぞれについて感度が高い波長範囲は、Ｒ、Ｇ、Ｂについて同一の波長幅の波長範囲として設定されることを特徴とする請求項４に記載のカラーバランス調整装置。
【請求項６】
前記調整手段は、前記判定手段により有彩色の画素と判定された前記画素について、Ｒ、Ｇ、Ｂの値のうち最も大きい色成分のみを調整の対象とし、前記最も大きい色成分の値と最も小さい色成分の値との差が所定の第１閾値以上である場合には前記最も大きい色成分の値に当該色成分に対する前記補正量を乗算し、前記差が前記所定の第１閾値より小さい値に設定された第２閾値以下である場合には前記最も大きい色成分の値を調整せず、前記差が前記第１閾値と前記第２閾値との間の値である場合には、前記差に応じて前記補正量を線形補間した値を当該最も大きい色成分の値に乗算して、Ｒ、Ｇ、Ｂの値の調整を行うことを特徴とする請求項４または請求項５に記載のカラーバランス調整装置。
【請求項７】
前記判定手段は、前記画像の各画素のＲ、Ｇ、Ｂの値に基づいて、｜Ｒ−Ｇ｜、｜Ｒ−Ｂ｜、｜Ｂ−Ｇ｜がそれぞれ所定の閾値以下であるという条件を満たす場合に、当該画素が無彩色の画素であると判定し、それ以外の場合に当該画素が有彩色の画素であると判定することを特徴とする請求項１から請求項６のいずれか一項に記載のカラーバランス調整装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−２７２９３４（Ｐ２０１０−２７２９３４Ａ）
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願番号】特願２００９−１２０８１１（Ｐ２００９−１２０８１１）
【出願日】平成２１年５月１９日（２００９．５．１９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
【公開日】平成２２年１２月２日（２０１０．１２．２）
【国際特許分類】
【出願日】平成２１年５月１９日（２００９．５．１９）
【出願人】（０００００５３４８）富士重工業株式会社 (3,010)
【Ｆターム（参考）】
[ Back to top ]