ホワイトバランス調整装置
【目的】 撮像信号から色度情報を抽出してデータ処理し、また、色度情報を均等知覚色度データとして処理することにより、色知覚に合ったホワイトバランス制御特性をもたらす領域の設定が可能で、さらには、色度情報のデジタルデータ処理が可能で、白抽出領域の設定の自由度が高く、またその変更が容易なホワイトバランス調整装置を提供する。
【構成】 色度抽出手段により映像信号の色度情報を抽出し、色度弁別手段は、抽出された色度情報の中から、対象とする色度図上に任意に設定した領域、例えば白色領域に相当する色度座標を持つ色度情報を弁別し、白色検出を行う。
【構成】 色度抽出手段により映像信号の色度情報を抽出し、色度弁別手段は、抽出された色度情報の中から、対象とする色度図上に任意に設定した領域、例えば白色領域に相当する色度座標を持つ色度情報を弁別し、白色検出を行う。
【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、カラーテレビカメラ等に用いられ、撮像した映像信号を用いて撮像状況に応じたホワイトバランス調整を行うホワイトバランス調整装置に関する。
【0002】
【従来の技術】従来、TTLによるオートホワイトバランス調整(AWB)は、白色領域(黒体軌跡付近)の設定あるいは、特定色が画面内を多く占めることによるホワイトバランス調整エラー対策(カラーフェリア対策)のため、有彩色除去の必要があり、これを、色差信号や輝度信号に対して加減算処理あるいはコンパレータを用いた比較処理を行うことにより実現していった。この種の技術は、例えば、特開平2−26194号公報、同1−256890号公報、特開昭63−219291号公報に示されている。
【0003】以下に、従来技術による白色部検出方式を説明する。色差信号R−Y,B−Yを輝度信号Yで割った値を明るさに関係なく色を表す尺度とし、この尺度を用いて白被写体の色温度変化に相当する部分を抽出してAWB制御を行う。図16は(R−Y)/Y,(B−Y)/Yを座標軸とする2次元座標上に白被写体の色温度変化軌跡を示したものである(図中e)。この軌跡を含む相関領域を■〜■で示す数式にて設定し、この領域内に入る色差信号を、白色を示す撮像信号と見なし、これらの積分値が0を意味する値となる様に、信号処理部でのR.B信号の利得を制御する。
【0004】ところで、■〜■を示す数式は下式で与えられる。
(B−Y)/Y>−a …■ (R−Y)/Y>−b …■ (−1/b)(R−Y)/Y−(1/a)(B−Y)/Y<1 …■ (1/c)(R−Y)/Y+(1/d)(B−Y)/Y<1 …■ (ただしa,b,c,d>0)
前記数式を書き直すと、 (−1/a)(B−Y)<Y …■´ (−1/b)(R−Y)<Y …■´ (−1/b)(R−Y)−(1/a)(B−Y)<Y …■´ (1/c)(R−Y)+(1/d)(B−Y)<Y …■´となる。つまり、上記■´〜■´を全て満たす領域が白検出領域であり、簡単な比較回路にて該色差信号が抽出できることが分かる。
【0005】図17はこれらの比較回路を用いた白検出AWB制御構成を示す。信号処理部より得たR,B信号は、利得制御アンプ26,27によりAWB動作に係る利得調整がなされる。減算器28,29により色差信号R−Y,B−Yが作られ、それぞれコンデンサ30,32、クランプ回路33,35を介してゲート回路36,38へ送られる。白色部分検出回路fの出力する白検出パルスgによりゲート回路36,38が開かれ、色差信号R−Y,B−Y中の白色相当部分が抽出される。ゲート回路36,38の出力はLPF39,41により積分され、それぞれ平均的な直流電圧となって比較器42,43の入力端の一端に各々入力される。比較器42,43では、LPF40からの基準信号(色差信号が0を意味する電圧)とLPF39,41からの直流電圧とを比較し、該直流電圧がLPF40の基準電圧よりも大きい場合はその出力がハイレベルとなり、小さい場合はローレベルとなる。
【0006】アップダウンカウンタ44,45は、比較器42,43の出力がハイレベルになると、カウント値を上昇させる。これらカウント値は、D/A変換器46,47にて制御電圧に変換された後、アンプ48、49を各々介して利得制御アンプ26、27の利得制御用信号となる。これにより、該アンプ26,27はその利得を下げて、色差信号R−Y,B−Yのレベルを0を意味する信号レベルに近付けていくことによりAWB制御となる。
【0007】次に、白色部分検出回路fの動作を説明する。減算器50,51より色差信号R−Y,B−Yが各々出力される。そしてR−Y信号は係数器52,53に入力され、−1/b倍、1/c倍される。また、B−Y信号は係数器54,55に入力され、−1/a倍、1/d倍される。さらに、加算器60では係数器52,54の出力が加算され、加算器61では係数器53,55の出力が加算される。比較器56,57,58,59の負側入力にはY信号が入力され、同じく正側入力には係数器52、加算器60、係数器54、加算器61の各出力が入力される。従って、比較器56,57,58,59では各々前述した式■´〜■´を全て満足する撮像信号Y,R−Y,B−Yが存在した期間つまり白色部分の期間のみNOR62の出力がハイレベル、つまり前述した白検出パルスgとなる。
【0008】
【発明が解決しようとする課題】ところで、上述したごとき従来の技術では、色差、輝度信号の形態で信号処理する構成のため、抽出色領域の設定の自由度が低いものであった。また、白色検出等の性能に比例してその構成が複雑なものになっていた。さらに、回路方式がアナログ処理のため、周囲温度や電源電圧変動等に対する安定性や性能、機能設定のための処理仕様の変更、切り換えも自由度が少ないものであった。また、ホワイトバランス調整で重要となる色知覚に対する配慮もなされていない。また、白色検出後の色差信号等は、平均化処理(LPFを通す)され直流電圧としてコンパレータにて基準電圧(色差信号が0を意味する電圧)と比較された後、その結果を“H”または“L”で表しマイコン等にてR,Bゲインを制御することにより、WB調整を行っていた。これらはアナログ処理のため、周囲温度や電源電圧変動等に対して性能が変動したり、また性能・機能仕様変更に自由度が低いものであった。
【0009】本発明は、上述した問題点を解決するもので、撮像信号から色度情報を抽出してデータ処理し、また、色度情報を均等知覚色度データとして処理することにより、色知覚に合ったホワイトバランス制御特性をもたらす領域の設定が可能で、さらには、色度情報のデジタルデータ処理が可能で、白抽出領域の設定の自由度が高く、またその変更が容易なホワイトバランス調整装置を提供することを目的とする。また,本発明は、白検出手段により抽出された色度情報の代表色度を求め、その代表値を設定色度と比較し、代表色度と設定色度とが等しくなるようR,Bゲインコントロールを行うことによりAWB動作を行うことにより、デジタルデータ処理に適し、かつ、その処理に知覚制御を導入でき、安定した性能が得られるホワイトバランス調整装置を提供することを目的とする。
【0010】
【課題を解決するための手段】上記目的を達成するために請求項1の発明は、撮像した映像信号より色分布を調べ、その結果に応じてホワイトバランス調整を行うホワイトバランス調整装置にあって、映像信号の色度情報を抽出する色度抽出手段と、この色度抽出手段により抽出された色度情報の中から、対象とする色度図上に任意に設定した領域に相当する色度座標を持つ色度情報を弁別する色度弁別手段とを有したものである。請求項2の発明は、上記の対象とする色度図が、均等知覚色度図(u,v)色度図または、(u´,v´)色度図であって、色度抽出手段により抽出される色度情報は、前記色度図上に均等に分布する量子化色度点を示す。請求項3の発明は、上記の色度弁別手段は、対象とする色度図上に設定する領域を、被写体照明光源に応じて前記量子化色度点に沿って任意に設定可能としたものである。請求項4の発明は、上記の色度弁別手段の弁別特性を可変設定する可変設定手段を有したものである。請求項5の発明は、撮像した映像信号より色分布を調べ、その結果に応じてホワイトバランス調整を行うホワイトバランス調整装置にあって、映像信号の色度情報を抽出する色度抽出手段と、この色度抽出手段により抽出された色度情報の中から、対象とする色度図上に任意に設定した領域に相当する色度座標を持つ色度情報を弁別する色度弁別手段と、この色度弁別手段により弁別された色度情報を代表する、1つ以上の代表色度値を求める代表色度手段と、この代表色度値に基づいてホワイトバランス調整を行うホワイトバランス調整手段とを有したものである。請求項6の発明は、撮像した映像信号より色分布を調べ、その結果に応じてホワイトバランス調整を行うホワイトバランス調整装置にあって、映像信号の色度情報を抽出する色度抽出手段と、この色度抽出手段により抽出された色度情報の中から、対象とする色度図上に任意に設定した領域に相当する色度座標を持つ色度情報を弁別する色度弁別手段と、この色度弁別手段により弁別された色度情報を代表する、1つ以上の代表色度値を求める代表色度手段と、任意の色度値を設定する色度設定手段と、この色度設定手段により設定された色度値と前記代表色度手段により求められた色度値との差をなくするようにホワイトバランス調整を行うホワイトバランス調整手段とを有したものである。
【0011】
【作用】上記請求項1〜4記載の構成においては、色度抽出手段により映像信号の色度情報を抽出し、色度弁別手段は、抽出された色度情報の中から、対象とする色度図上に任意に設定した領域、例えば白色領域に相当する色度座標を持つ色度情報を弁別し、白色検出を行う。請求項5〜6記載の構成においては、上記に加えて、代表色度手段は色度弁別手段により弁別された色度情報を代表する1つ以上の代表色度値を求め、ホワイトバランス調整手段はこの代表色度値に基づいてホワイトバランス調整を行う。
【0012】
【実施例】ホワイトバランス調整装置において、撮像映像信号より、被写体への太陽光照明色温度の検出、蛍光灯などの人工光源の判別(これらをホワイトバランス(WB)情報とする)を行う内測式AWB調整装置がある。その原理は以下の通りである。
1、白色部検出方式…被写体の白色(無彩色)部を検出することにより、該部分に相当する撮像映像信号が無彩色を示す信号となるようにWB調整を行う。
2、平均化方式…撮像映像信号を撮像画面全体について平均した信号は多くの撮影状況の場合、照明光源の色温度を示すので、この信号が無彩色を示す信号となるようにWB調整を行う。ところが、これらの方式には種々の問題が存在するため、その解決のための提案がなされている。例えば、被写体の有する色が有彩色で単独かつ画面内に広範囲に撮影されたときに、該有彩色を無彩色に近付けるようにWB調整されるので映像の色調がくずれてしまう(カラーフェリア)。特に、白色部の検出法として上記のように有彩色を除去し、太陽光色温度軌跡上あるいはその付近の色情報を抽出するものでは、その構成がその抽出性能に応じて複雑なものとなっている。
【0013】本発明では、このような状況を鑑み、白色検出部を比較的構成が簡易となるデジタル処理構成とし、その検出性能を向上せしめ、更に、従来の内測式AWB調整装置にて考慮されていなかった人間の色知覚特性に基づく白色検出特性を得ることにより、いわゆる知覚制御を可能としたものである。以下、本発明の第1実施例について図1を用いて説明する。撮像映像信号として得られたR,G,B信号の内、R,B信号はWB調整用のゲインコントロールアンプ(GCとする)1,2へ各々出力される。GC1,2の利得はデータ処理部3からのWB制御信号により各々設定される。G信号とGC1,2により利得制御されたR,B信号は信号処理部4へ出力され、プリニー処理、ガンマ補正等の処理を経て、マトリックス処理にて輝度信号Y´、色差信号R´−Y´,B´−Y´に変換される。これらの信号はエンコーダ部5へ各々出力され、色差信号は色副搬送波fscを平衡変調する。そして、輝度信号Y´、該被変調波信号、色基準信号(バースト信号)及び水平・垂直同期信号φH,φVを合成して、NTSC規格等のテレビジョン規格に合致した複合映像信号Vsを生成する。
【0014】ところで、色差信号R´−Y´,B´−Y´は、被写体の無彩色部分について、各々0を意味する電圧値となればよいので、以下に述べる白色検出動作により、無彩色に相当する色差信号R´−Y´,B´−Y´の時間積分値が0を意味する電圧値となるようにGC1,2の利得を制御すればWB調整が可能となる。このような動作にかかわるゲート部15の詳細構成を図2に示す。図2において、色差信号R´−Y´,B´−Y´は、遅延部(DLとする)16,17にて各々所定の時間の遅延を受け、次に、クランプ部18,19にて各々直流再生される。クランプ部18,19の出力はゲート20,21にて、データ処理部3のゲート信号gにより通過、非通過の処理を受ける。ゲート信号gは白色検出動作によって検出された、撮像映像信号の有する無彩色の期間においてデータ処理部3より出力される信号である。また、前記所定の時間の遅延とは、図1の白色検出部6において無彩色を検出した後、ゲート信号gを出力し、ゲート20、21が動作を開始するタイミングと、色差信号の無彩色期間とのタイミングを合わせるための処理である。ゲート20,21を通過した無彩色色差信号は、比較部22へ出力される。
【0015】比較部22の構成は、例えば、前記無彩色色差信号をローパスフィルタにて平均処理し、直流電圧に変換した後、色差信号が0を意味する基準電圧と該直流電圧とを各々比較処理するものでよい。この比較処理結果は、現在のWB調整のずれを意味し、例えば、該直流電圧が該基準電圧より高ければ“H”、低ければ“L”の信号をデータ処理部3へ各々出力する。データ処理部3は、該信号を得て、該直流電圧を該基準電圧に近付けるべくGC1,2へのWB制御信号を制御する。これによりWB調整が行われる。
【0016】次に白色検出部6の構成を説明する。撮像映像信号R,G,Bはマトリックス部(MTX部とする)7,8,9へ各々出力され、ここで、下式に従って決まるマトリックス信号W1,W2,W3の各々を得る。
MTX部7の出力信号 W1=Rl1+Gm1+Bn1MTX部8の出力信号 W2=Rl2+Gm2+Bn2MTX部9の出力信号 W3=Rl3+Gm3+Bn3ただし、各混合比は、MTX部7,8,9の出力信号W1,W2,W3が色彩科学上の広義の三原色信号となる値とする。つまり、該信号W1,W2,W3を三刺激値とする表色系が存在することである。各信号W1,W2,W3はアナログ−デジタル変換部(A/D部とする)10,11,12へ各々出力され量子化データに変換される。A/D部10,11,12では入力信号に対して、サンプリング定理に基づく折り返しノイズ除去用の帯域制限フィルタが設けられ、サンプリング周波数fを持つクロック信号CLK1のタイミングにて該変換動作を行う。
【0017】A/D部10,11,12より得られた各信号データW1,W2,W3は、各々除算部13,14へ出力される。除算部13はW1信号を分子、W2信号を分母とする除算結果W1/W2を信号データとして出力する。同様に、除算部14はW3信号を分子、W2信号を分母とする除算結果W3/W2を信号データとして出力する。除算部13,14の構成は、メモリを使用したルック・アップ・テーブル法やロジック構成の除算器またはマイコン等でのプログラムによる処理でもよい。このようにして得られたW1/W2,W3/W2が、映像信号の色度情報を表わし、色度データであることは色彩科学上において知られている。ちなみに、除算処理において入力した信号データW2が0、あるいは0を意味する値を示す場合は(分母が0相当値となる)、例えば無彩色またはその付近の色度を示す色度データを出力してもよい。なお、映像信号の水平・垂直ブランキング期間や黒レベル等にて上記の処理を用いるとよい。
【0018】次に、色度データW1/W2,W3/W2の色度図上での量子化点の分布の様子を例をあげて説明する。いま、使用する撮像、映像表示システムがNTSCテレビジョンョン規格に合致したものと仮定し、上記の色度データをCIE1976UCS色度図((u´,v´)色度図、均等知覚色度図)上に展開するとする。各MTX部7、8、9の混合比を下記のように仮定する。
MTX部7の出力信号 W1=R(l1=1,m1=n1=0)
MTX部8の出力信号 W2=0.261 R+0.469 G+0.270 B(l2=0.261 ,m2=0.469 ,n2=0.270 0≦W2≦1)
MTX部9の出力信号 W3=B(l3=m3=0,n3=1)
MTX部8での混合比は、(u´,v´)色度図の表色系であるUVW表色系における刺激和(U+V+W)をNTSC規格RGB表色系での各刺激値R,G,Bを用いて表わした次式の混合比を、W2信号について正規化したものである。
U+V+W=0.8482R+1.5288G+0.8773B上式より、W2=0.261R+.469G+0.270B0≦W2≦1 (0≦R,G,B≦1) である。
【0019】よって、色度データW1/W2,W3/W2は下式を意味する。
W1/W2=R/(0.261R+0.469G+0.270B)
W3/W2=B/(0.261R+0.469G+0.270B)
ここで各色度データの値域に着目すると、0≦W1/W2≦1/0.261, 0≦W3/W2≦1/0.270となり上記各値域は非常に接近したものである。よって、MTX部8の混合比を近似し、例えば l2:m2:n2=0.261:0.469:0.270 =1:1.80:1.03を、 l2:m2:n2=1:1.8:1 =0.263:0.474:0.263 とする。
この結果、該色度データの値域は、0≦W1/W2,W3/W2≦1/0.263と等しくなるので、除算部13,14は全く同じ構成を用いることが可能となり、該除算部13,14の設計、製造コストの低減をもたらし、また該除算部を1つだけ利用し、時分割にて除算処理を行うこともできる。
【0020】このようにして得られた色度データW1/W2,W3/W2が(u´,v´)色度図上において示す量子化点の分布の様子を図3に示す(量子化ビットは5ビットとした)。R,G,Bの○印はNTSC規格受像三原色の色度点を示し、Cの○印は基準白色の色度点を示す。色度データW1/W2,W3/W2の各値は、(G,R)軸,(G,B)軸を座標軸とした時の座標値(0から31まで)に各々対応しており、該値より決まる位置が、(u´,v´)色度図上の色度座標値を示すことが分かる。また、量子化点の分布は該軸に沿って該色度図平面上に均等に位置している。つまり、均等知覚色度図を均等に量子化したことにより、人間の色度知覚に対する量子化ノイズを均等にしたと言える。このことは、有限のビット数での色度情報の量子化を考えた場合、必要最小のビット数を考察する根拠となる。このように、該色度データは直接該色度知覚の重み付けがなされているので、該色度データを用いたデータ処理による制御は知覚制御を可能にする。
【0021】図4に、CIE1960UCS色度図((u,v)色度図、均等知覚色度図)における、本例での量子化点の分布を示す。UVW表色系の刺激和が同値である(u,v)色度図においても上述した同じ特徴を示す。また、MTX部8の出力信号W2は先に示したようにR,G,B刺激値を適当に含み、その値域は0≦W2≦1としているので、映像信号の輝度情報と見なすことも可能である(量子化されたW2信号を輝度データとする)。本例では、MTX部7,9の混合比が各々1:0:0,0:0:1であるので、該MTX部7,9を廃止し、A/D部10,12に直接R,B信号を各々入力してもよい。MTX部7,8,9の混合比は種々の値や組み合わせがあるが、総じて言えることは、MTX部7,9の混合比は対象とする色度図上での色度データW1/W2,W3/W2値を目盛る2本の座標軸を決定し、MTX部8の混合比は該色度図平面上での量子化点の分布状態を決定するものである。よってこれらの混合比は、装置の機能、目的、コスト等に応じて決めればよい。例えば、W1=R,W3=G,W2の混合比を更にl2:m2:n2=1:2:1と近似して、 W1/W2=R/(0.25R+0.5G+0.25B)
W3/W2=G/(0.25R+0.5G+0.25B)
とした場合も、ほぼ図3、図4に示した均等量子化が可能である。
【0022】次表に他のテレビジョン規格も含めて、本例におけるMTX部8の混合比を示す。
【表1】
TABLE1 規格名 NTSC PAL/SECAM HDTV────────────────────────────────────l2:m2:n2 0.261:0.469:0.270 0.199:0.590:0.211 0.189:0.584:0.227────────────────────────────────────上混合比の近似例1 1:(1.7 〜1.8):1 1:(2.8 〜3.0):1 1:(2.6 〜3.1):1 ────────────────────────────────────上混合比の近似例2 1:(2 〜3):1 1:(2 〜3):1 1:(2 〜3):1 但し、l2:m2:n2は、(u’,v’)または(u,v)色度図の均等量子化のためのMTX部22の混合比である。
【0023】上表の近似例2は、撮像、受信システムの構成の簡素化や、各テレビジョン規格に対する共通化等種々の都合上、本発明の目的や効果をあまり損なわない範囲で存在しうる値である。ちなみに本例の説明にて(u´,v´)色度図を用いたが、UVW表色系の刺激和が同値である(u,v)色度図についても同様のことがいえる。また、本例の仮定としてNTSC規格に合致した撮像、受信システムと述べたが、現行運用される受信システムや他のテレビジョンシステムについても実用上問題はない。
【0024】次に、MTX部8の混合比のみを変更した他の例を示す。MTX部8の混合比をXYZ表色系のY刺激値、つまり輝度を表す値とすると、 W2=Y=0.299R+0.587G+0.114B ,0≦Y≦1(l2=0.299,m2=0.587,n2=0.114)となる。よって、色度データW1/W2,W3/W2は次式となる。
W1/W2=R/Y=R/(0.299 R+0.587 G+0.114 B)
W3/W2=R/Y=B/(0.299 R+0.587 G+0.114 B)
上記の色度データが、(u,v)色度図上において示す量子化点の分布の様子を図5に示す(量子化ビット数は5ビットとした)。以上のようにして得られた色度データW1/W2,W3/W2、輝度データW2は、各々データ処理部3へ出力される。データ処理部3へはクロック信号CLK2、水平・垂直同期信号φH,φVが入力しており、該データ処理部3はCLK2のタイミングにて行われる。CLK1,CLK2は同期関係にあり、所定の周波数比と位相差を保っている。また、これらはφH,φVとも同期関係にあるので、例えば色副搬送波信号fscから作ってもよい。
【0025】以下、図3または4に示す色度データ、輝度データを用いた場合のデータ処理部3のデータ処理法について説明する。図7に理論上の黒体色温度軌跡を示す。太陽光照明による白色被写体の色調変化軌跡を実験等ににより作成し用いてもよい。WB調整の基準調整色温度はNTSC規格基準白色C光源となっているが、他の色温度であってもよい。該軌跡範囲は太陽照明の色温度変化に対する視覚のWBを必要とする範囲、約100〜400ミレッドとした。図より明らかなように、データ処理部3では、該軌跡上あるいはその近傍(白色領域とする)に位置する入力色度データを無彩色として扱うことにより白色検出が可能となる。従来法では、該白色領域の設定のために、色差信号や輝度信号に対し加減算処理あるいはコンパレータを用いた比較処理を行っていたので、白色領域設定の自由度が少ないものであった。そして、その白色検出性能に比例して、その構成もまた複雑なものとなっていた。また、回路方式もアナログ処理であるため、周囲温度や、電源電圧変動等に対する安定性や性能・機能設定のための処理仕様の変更、切り換え法にも自由度の少ないものであった。また、WB調整では重要となる色知覚に対する配慮もなかった。
【0026】本発明では、データ処理部3にてあらかじめ所定の軌跡上または白色領域の色度データを記憶させておき(色度データ群とする)、刻々入力される映像信号の有する色度データと比較、参照処理することにより、容易に白色検出が可能となる。例えば、図7にて、白色領域を色度点の分布に従って任意の形状あるいは大きさに設定できるため(例えばaの領域)、有彩色等のWB調整に誤差を与える不要色の除去、弁別性能を容易に自由に高めたり、変更したりすることが可能である。更に、白色領域の設定によって、先に述べたように、色度点の分布が人間の色度知覚に均等に対応しているため、WB調整の知覚制御化をもたらす。すなわち、例えば、データ処理部3により、上記図7に示した軌跡からの等uv単位値偏差領域(相関色温度領域)内の無彩色の抽出を行い、また、抽出した色度データに対する該uv単位偏差量による重み付け、例えば、該uv単位偏差量が大きい入力色度データ程、該色度データは無彩色に対し相関が低いと判断し、ゲート20、21でのゲート期間をその相関の程度に応じて短い期間としたり、被写体の色分布等の状況でWB調整に必要な無彩色の情報が少ない場合、該偏差量を等uv単位値にて拡大可変設定として必要な情報量を得たりする。
【0027】以上のような白色領域の設定に係る色度データ群は、被写体の種々の色分布状況に対応するため、複数組あって、切り換え或いは同時に使用してもよいし、書き換えによる可変値としてもよい。図1の実施例には、このための手段として色度データ群設定部62が設けられている。例えば、被写体照明光源が蛍光灯であるとき、その発光分光特性はグリーン成分が強いため、無彩色は色度図上でG方向に偏移するので、白色領域のG方向外側部に新たに蛍光灯検出領域を設け、データ処理部3にて入力色度データと比較、参照処理し、その結果、ゲート信号gを制御すれば、太陽光照明と同じ要領でWB調整が可能となる。ちなみに、この比較参照処理は、メモリを用い、入力色度データをアドレス値とし、処理結果をデータ値とするルックアップテーブル法やプログラム処理等にて行えばよい。
【0028】次に、白色領域設定法の他の例を説明する。図8における黒体色温度軌跡を図中の直線l1にて近似することにより、データ処理部3での比較、参照処理を容易にできる。直線l1は次式で表せる。
R/W2+B/W2=16 …(1)
また、等uv単位値偏差領域の設定は、例えば色度データ差にて“3”とすれば、 13≦R/W2+B/W2≦19 …(2)
となる(l2,l3の間の範囲)。また、WB調整色温度範囲は、 6≦R/W2 かつ 1≦B/W2 …(3)
にて設定する(m1,m2にて示す)。よって、式(1)と(2)または式(2)と(3)を満足するような入力色度データを弁別すればよい。特に、式(2)においては該色度データ差の値の設定だけで等uv単位値偏差領域の設定を可能にしている。このような考え方に従って、実際に応用、適応すればよい。
【0029】また、データ処理部3にはMTX部8の出力の輝度データW2が入力されている。一般に輝度レベルが高い被写体色程、白色に対する相関が強いので、被写体の種々の状況により、この輝度データW2を用い、白色領域設定により抽出された色度データに対して、更に例えば弁別や重み付けをして該ゲート期間を制御してもよい。本実施例では色差信号の平均レベルが0を意味する値になるよう制御するWB調整方式であるが、R,G,Bの平均レベルが1:1:1になるよう制御するWB調整方式にも勿論適応可能である。また、図1の白色検出部6の入力映像信号R,Bは、GC1,2の後から取ってもよい。信号処理部4によるガンマ補正後のR´,G´,B´信号(図1)でも同様の処理が可能である。また、該R,G,B信号ではなく、色彩科学上の広義の三原色信号(三刺激値信号)でもよい。例えば、イエロー,マゼンタ,シアンの補色信号からMTX部7,8,9にて目的とするW1,W2,W3信号を生成すればよい。
【0030】本実施例では白検出について述べたが、同様の方法で抽出色度領域を変更することにより、任意の色(色度)を抽出することも可能である。また、本発明は平均化方式にも応用できる。例えば、図9に示すように、無彩色色度データを含む抽出色度領域を、色度図平面上で比較的広く、高飽和度部は除去をするように設定する。設定方法は前述の色度データ群によって行う(図中a内)。このようにして得られた抽出色度データを用い、先述のAWB動作を行うことにより、平均化方式でありながら、高飽和度を持つ有彩色被写体によるカラーフェリアを軽減することが可能である。
【0031】ここで、白色検出部6の各構成部(7〜14)に係わる他の構成例について説明する。該構成部7〜14は、入力映像信号の有する色度データW1/W2,W3/W2、更に輝度データW2を抽出するのが目的であるので、その手段としてのMTX部、A/D部、除算部等の構成や組み合わせに関しては多々存在する。例を挙げると、A/D部10,11,12は図1に示した位置に固定的なものでなく、例えば、MTX部7,8,9の前に置いて、入力映像信号R,G,B信号をデータ化することも可能で(ただしMTX部7,8,9はデジタル処理構成となる)、また、除算部13、14の後においてもよい(ただし除算部13,14はアナログ処理構成となる)。除算部13,14またはMTX部7,8,9は各々1つの構成部としてもよい。図6の(a)はMTX部7,8,9と除算部13,14を1つの演算部23にて行うもので、例えば、メモリによるルック・アップ・テーブル法等にて実現できる。同図の(b)は(a)の構成にて輝度データW2だけをMTX部25にて生成するものである。
【0032】次に、図10に示した例により、被写体の種々の色分布状況に対応したWB調整法を説明する。撮像した映像信号の有する色度データW1/W2,W3/W2から該色分布を調べて、その結果に対応した色度データ群を色度データ群設定部62から選択使用することにより、適切なWB調整を行う。除算部13,14より出力された色度データW1/W2,W3/W2は色分布判定部63に導かれる。この色分布判定部63は、該色度データを、色度図上において分割した複数の色度領域に分類、弁別する。その分類、弁別結果の分析に基づき、色度データ群設定部62に対して色度データ群選択信号を出力し、選択された色度データ群はデータ処理部3にて先述のWB調整に係る動作に用いられる。
【0033】次に、例としてカラーフェリアに対応した場合を述べる。図11に示す色度図を白色領域aと有彩色領域bに分割する。色分布判定部63では入力色度データが該領域a,bのどちらに属するか弁別を行い、領域aの色度データ数をカウントする。あるフィールドの総色度データ数をN個、そのN個中の領域aに属する色度データ数をNa個とする。Na個がある値より大きい場合は、白色情報量が多いとして、色度データ群設定部に対して白抽出色度データ群を指定して白抽出WB調整を行う。また、Naが該値以下の場合は白色情報量が少ない、つまり有彩色情報が多いとして、前記白抽出色度データ群よりも更にその領域を拡大した色度データ群を指定することにより、白色に相関のある抽出色度データ量が増えるので、この色度データを用いWB調整を行う。あるいはカラーフェリアの可能性が高いとして、WB調整に係るGC1,2の利得をその時点でホールドする。以上のような動作により、被写体の色分布に適応したWB調整を行うものである。ちなみに、色分布判定部63にて用いる色度弁別のための色度領域情報は、色度データ群設定部62の色度データ群を用いてもよい。また、色分布判定部63では、輝度データW2を用いて被写体の輝度による弁別を行ってもよい。例えば、白圧縮輝度レベルの色度データは、色情報として精度が悪く、誤判定につながるので、この色度データは判定より除外する等である。
【0034】上述した図1の実施例では、白色領域内の色差信号R´−Y´,B´−Y´を平均化処理し、その値が0を意味する値になるように、GC1,2の利得を制御することにより、WB調整を行ったが、以下の実施例では、データ処理部3にて入力映像信号の有する色度データW1/W2,W3/W2、輝度データW2からWB情報を検出し、第1の変形例は、該WB情報が無彩色を意味する情報となるようにGC1,2の利得を制御することによりWB調整を行う。第2の変形例は、該WB情報に基づきGC1,2が所定の利得になるようにデータ処理部3にて制御することによりWB調整を行う。この2例を以下に示す。まず、第1の変形例を図12により説明する。データ処理部3では、先の実施例と同じ処理にて、白色領域内の色度データW1/W2,W3/W2、輝度データW2が検出される。これらの白色領域データに対し、次の平均演算を行い、その結果が無彩色を示す色度データP1,P2(参照色度データ)に等しくあるいは近くなるように、GC1,2を制御するものである。例えば、いま、ある1フィールド内に存在する白色領域データが各々n個あるとするとする。色度データ(W1/W2)1〜n,(W3/W2)1〜n、輝度データ(W2)1〜nである。なおこれらのデータは次の平均演算に先立って、一旦、データ処理部3内のメモリーに記憶させてもよい。これらに対し、次の平均演算を行い、平均色度データQ1,Q2を求める。
【0035】
【数1】
【0036】上記平均演算式は色度図上での加法混色演算に相当するものである。この平均色度データQ1,Q2が無彩色色度データP1,P2に近付くように、GC1,2の利得を制御することにより、WB調整を行うものである。データ処理部3におけるGC1,2の利得の制御例を説明すると、まず、次の演算により平均色度データQ1,Q2の無彩色色度データP1,P2に対する偏差データD1,D2を求める。
D1=Q1−P1, D2=Q2−P2この偏差データD1,D2の正負符号あるいは演算結果の正負符号により、GC1,2の利得を現在の利得に対して、各々上げるか下げるかを決定するのである。例えば、図4に示した量子化例では、図13に示すように該正負符号あるいは演算結果の正負符号から、現在のWB調整色温度に相当する色度領域E1〜4が判明するので、図14に示すフローチャートの手順によりGC1,2の利得を決定する。
【0037】同図において、a1〜a4の処理では、D1+D2の正負符号により、GC1,2の現在利得値からの各々の増減レベル値A1,A2を決める。D1+D2値は、先の実施例での図8の直線l1(黒体色温度軌跡近似直線)からの距離を表わす値である。よって、a1〜a4の処理は、平均色度データを該軌跡上の色度データに収束させる方向への軸制御となる。a1の判定処理により、平均色度データがE1内ではGC1,2の利得を増し、E2内ではGC1,2の利得を減じ、該軸上(D1+D2=0)では増減なしとする。b1〜b5の処理では、D1,D2の正負符号により、GC1,2の現在利得値からの各々の増減レベル値B1,B2を決める。b1,b3の処理では、平均色度データがE3またはE4のどちらかに存在するか、つまり無彩色色度データより高いまたは低い色温度かを判定する。よって、本処理は色温度軸制御となる。b1,b3の判定処理により、平均色度データがE3内ではGC1の利得を減じ、GC2の利得を増す。E4内ではGC1の利得を増し、GC2の利得を減じ、その他の場合には増減なしとする。c1の処理では、GC1,2の利得の最終増減値、各々A1+B1,A2+B2を決定することにより、WB調整を行う。
【0038】以上のような処理を何フィールドが行なう度に、平均色度データQ1,Q2を無彩色色度データP1,P2に近付けて行く。つまり、D1,D2は0に近付く。ちなみに、色度データP1,P2は無彩色あるいは有彩色以外の任意の色度データ(参照色度データとする)でもよく、撮影状況によりやや赤みや青みがかった映像表現も、該色度データP1,P2をその色みの方向の色度データに設定することにより可能である。また、その映像表現の際には、参照色度データを用いた(u´,v´)色度図上の知覚制御が実現できる。更に、白色領域データは、均等知覚色度図にて均等分布となる。つまり、入力映像の有する色度情報を色度知覚に対し均等に代表する色度データであるので、該平均色度データにおいても特定の色度データにかたよらず、白色領域内の色度データ分布をよく反映した値となるのである。
【0039】次に、該平均色度データを求める他の演算法について説明する。先に示した演算例にて、輝度データW2をある範囲内で等しいと見なして、その範囲内の色度データW1/W2,W3/W2(各n個あるとする)に対して、次のようにしてもよい。これによれば、先の演算例よりも容易に高速処理可能となる。
【0040】
【数2】
【0041】図15は映像信号に対する色度・階調変換装置に第1変形例を適応したものである。この構成を簡単に説明すると、入力映像信号の有する色度情報W1/W2,W3/W2、輝度データW2を求めるまでは前述の実施例と同じである。色度変換部26では所定の変換仕様に基づき、W1/W2,W3/W2の変換を行い、色度データw1/w2,w3/w2を得る。同様に、階調変換部27では所定の変換仕様に基づき、輝度データw2を得る。これらの変換された各データは乗算部28,29にて信号w1またはw1−w2,w3またはw3−w2に戻し、次のMTX部33にて輝度データw2と合成され、所定の色度・階調変換済のr,g,b信号となる。このような装置において、データ処理部3は除算部13,14より各色度データW1/W2,W3/W2及びA/D部11より輝度データW2を得、また、GC1,2の利得を制御可能にすることにより、上記第1変形例に述べた機能をはたすものである。色度データ、輝度データは色度変換部26、階調変換部27の各出力データw1/w2,w3/w2,w2より得てもよい(同図b)。この場合は、変換された映像に対するWB調整を行うものとなる。
【0042】次に、第2変形例について説明する。これは、図12において白色検出部6の入力信号を、G信号とGC1,2の前のR,B信号とした場合である(同図c)。平均色度データQ1,Q2を求めるまでは上記第1変形例と同じである。データ処理部3では、平均色度データQ1,Q2の値に対応して所定のGC1,2の利得設定値がデータ処理部3内のメモリー等にて記憶されており、この内容に基づきGC1,2の利得を設定することにより、WB調整が可能となる。なお、上述した本発明の実施例全般に言えることであるが、色度データ群あるいは参照色度データは固定でも変更可能でもよく、変更可能な構成の場合は、本発明の実施例に係る機器に装備されたスイッチやICカード等による外部設定でもよい。図1ではデータ処理部3の色度データ群設定部62が、図12,15ではデータ処理部3の参照色度データ設定部が、その該当部である。
【0043】以下に、本発明の応用例として、空間画素ずらし法を用いたビデオカメラの撮像システムについて説明する。従来から、固体撮像素子(CCD)を用いた撮像システムにおいて、広帯域輝度信号WHとしてサンプリング定理による偽解像度成分(モアレ)を打ち消し、解像度特性を改善した信号を用いた例があるが、ここで述べる例は、1/2ピッチ空間画素ずらし法によるR,G,B3板方式を用いた撮像システムにおいて、高解像度の広帯域輝度信号の生成処理法と、色、階調変換処理法とを組み合わせ、該生成処理部と、色、階調変換処理部を一部共用化することにより、構成の簡略化を図ったものである。
【0044】本システムの特徴とするところは、偽解像成分を打ち消した広帯域輝度信号を生成するための生成手段と、撮像した映像信号の有する色度情報を除算手段により得る際に分子または分母に用いる信号を生成するための生成手段を共通使用したことにある。すなわち、空間画素ずらし法にて生成する偽解像成分打ち消し広帯域輝度信号の生成部(例えば、マトリックス処理部)と、色、階調変換処理にて用いるマトリックス処理部を共通使用することにより、撮像映像信号処理の簡略化を可能とする。また、該生成手段は、撮像したR,G,B三原色信号を用い、そのR,G,B混合比が1:2:1であるマトリックス手段であり、該マトリックス手段の出力信号を該除算手段の分母として用いるものである。すなわち、輝度信号のR,G,B三原色混合比が1:2:1の場合、色、階調変換処理にて色度信号を生成するための除算処理にて分母として用いる信号に該輝度信号を共通使用することにより、上記簡略化に加え、(u´,v´)均等知覚色度図を略均等に量子化可能となる。
【0045】ここで、本撮像システムの1/2ピッチ空間画素ずらし法を簡単に説明する。図18は、本システムにおける各CCDの相対位置関係を示す。Gch−CCD(25)に対して、R及びBch−CCD(26,27)は、水平方向に画素ピッチPの1/2だけシフトさせている。水平方向の空間サンプリング周波数はfsとする。このように配置した各CCDからの撮像出力信号の水平方向の周波数スペクトルを図19に示す。図中、a信号は各CCDの解像成分を示す(無彩色撮像時)。これらは互いに同相である。b信号はGch−CCDの偽解像成分である。サンプリング定理によりサンプリング周波数fsの1/2の周波数fs/2にて折り返した形となっている。よって、Gch−CCD単体ではfs/2までの解像度特性しか有さない。同様に、c信号はRまたはBch−CCDの偽解像成分を示す。b信号とc信号とは、振幅が同じで位相が180°異なり、逆相の関係にある。いま、広帯域輝度信号WH(通例YHと言うので、以下、YHと記す)を下式により生成する。R,G,Bは、各CCDの撮像信号レベルである。
YH=0.25R+0.50G+0.25B …(11)
(R:G;B=1:2:1)
【0046】この輝度信号YHは、R.G.B各信号レベルが先の偽解像成分を打ち消す合成比となっており、且つ、解像成分は、互いに加算されたものである。この結果、輝度信号YHとしては、見かけ上、fsの周波数まで解像度特性が伸びたこととなる。つまり、サンプリング周波数fsの2倍の周波数(2fs)にて空間サンプリングしたのと等価となる。このように、1/2ピッチ空間画素ずらし撮像システムは、等価的にサンプリング周波数fsまでの高解像度特性が得られるものである。実際の撮像システムを用いたビデオカメラの出力する輝度信号Y´は、図20に示すように、その狭帯域成分信号Y´L(おおよそ0〜1MHZ,色信号周波数帯域)として、 Y´L=0.30R´+0.59G´+0.11B´ …(12)
(R´,G´,B´各信号はガンマ補正済)
を、高周波成分信号として、ガンマ補正済のY´Hを用いることにより、テレビジョンシステムにおける輝度、色再現を確保しながら、且つ、高解像度特性を得ている。よって、このような撮像システムでは、必然的に広帯域輝度信号YHの生成のためのマトリックス部が存在する。
【0047】このような撮像システムは、本例の他に、図21の(a)に示すような1/2ピッチ空間画素ずらしG−R/B二板式撮像システムがあり、単板式では同図の(b),(c),(d)に示すように、カラーフィルタ配列として、R,G,Bストライプ、ベイヤー配列、GストライプR/B線順次などがある。いずれも、無彩色撮像時の水平解像度特性を同様の手法にて向上させることができる。
【0048】次に、色、階調変換処理装置の構成について図22を用いて説明する。撮像映像信号として得られたR,G,B三原色信号をマトリックス部(MTX部とする1,2,3に各々入力し、下式により決まるマトリックス信号を各々得る。
MTX部1の出力信号 W1=Rl1+Gm1+Bn1 …(13)
MTX部2の出力信号 W2=Rl2+Gm2+Bn2 …(14)
MTX部3の出力信号 W3=Rl3+Gm3+Bn3 …(15)
ただし、各混合比はMTX部1,2,3の出力信号W1,W2,W3が色彩科学上の広義の三原色信号となる値とする。つまり、該信号W1,W2,W3を三刺激値とする表色系が存在することである。信号W1,W2,W3は、アナログ−デジタル変換部(A/D部とする)4,5,6に各々入力され、量子化データに変換される。A/D部4,5,6では、入力信号に対してサンプリング定理に基づく折り返しノイズ除去用の帯域制限フィルタが設けられ、サンプリング周波数fを持つクロック信号CLK1のタイミングにて該変換動作を行う。
【0049】A/D部4,5,6より得られた信号データW1,W2,W3は、各々除算部7,8に入力される。除算部7は、信号データW1を分子、信号データW2を分母とする除算結果W1/W2を信号データとして出力する。同様に、除算部8は、信号データW3を分子、信号データW2を分母とする除算結果W3/W2を信号データとして出力する。除算部7,8の構成は、メモリを使用したルック・アップ・テーブル法やロジック構成の除算器やマイコンでのプログラム処理により実現できる。このようにして得られたW1/W2,W3/W2が映像信号の色度情報を表すことは色彩科学上において知られている。よって、W1/W2,W3/W2は、色度データである。ちなみに、該除算処理において入力した信号データW2が0を示す場合は(分母が0相当値となる)、例えば無彩色又はその付近の色を示す色度データを出力してもよい。入力信号の有するブランキング期間や、黒レベルにて上記の処理を行えばよい。
【0050】次に、色度データW1/W2,W3/W2の色度図上での様子を例をあげて説明する。いま、使用する撮像、映像表示システムがNTSCテレビジョン規格に合致したものと仮定し、色度データをCIE1976UCS色度図((u´,v´)色度図、均等知覚色度図)上に展開するとする。映像信号R,G,B三原色信号は、ガンマ補正を行わない、撮像部の入力光量に比例するリニア信号とする。各MTX部1,2,3の混合比を、下記のように設定する。
MTX部1の出力信号 W1=R (l1=1,m1=n1=0)…(16)
MTX部2の出力信号 W2=0.261 R+0.469 G+0.270 B …(17)
(l2=0.261 ,m2=0.469 ,n2=0.270 ,0≦W2≦1)
MTX部3の出力信号 W3=B(l3=m3=0,n3=1)…(18)
MTX部2での混合比は、(u´,v´)色度図の表色系であるUVW表色系における刺激和(U+V+W)をNTSC規格RGB表色系での各刺激値R,G,Bを用いて表した次式の混合比を、W2信号について正規化したものである。
U+V+W=0.8482R+1.5288G+0.8773B …(19)
上式より、W2=0.261R+0.469G+0.270B0≦W2≦1 (0≦R,G,B≦1であるので)である。
【0051】よって、色度データW1/W2,W3/W2は、下式を意味する。
W1/W2=R/(0.261R+0.469G+0.270B)…(20)
W3/W2=B/(0.261R+0.469G+0.270B)…(21)
ここで、各色度データの値域に着目すると、0≦W1/W2≦1/0.261, 0≦W3/W2≦1/0.270となり上各値域は、非常に接近したものである。よって、MTX部2の混合比を近似し、例えば、 l2:m2:n2=0.261:0.469:0.270 =1 :1.80 :1.03を、 l2:m2:n2=1 :1.80 :1 =0.263:0.474:0.263とする。この結果、該色度データの値域は、0≦W1/W2, W3/W2≦1/0.263と等しくなるので、除算部7,8は、全く同じ構成を用いることが可能となり、除算部7,8の設計、製造コストの低減をもたらし、また、該除算部を1つだけ使用し、時分割にて、除算処理を行うこともできる。後で述べる乗算部11,12についても同じことが言える。
【0052】このようにして得られた色度データW1/W2,W3/W2が(u´,v´)色度図上において示す量子化点の分布の様子は前述の図3の通りである(この説明は前述の通りであるので、省略する)。また、後で述べる色度情報の変換操作においても同一ビット数による量子化において、人間の色度知覚に基づいて最大多種類の変換の可能性を与える。MTX部2の出力信号W2は、先に示したようにR,G,B刺激値を適当に含み、その値域は、0≦W2≦1としているので、映像信号の輝度情報と見なすことも可能である(量子化されたW2信号を輝度データとする)。また、本例では、MTX部1,3の混合比が、各々1:0:0,0:0:1であるので、該MTX部1,3を廃止し、A/D部4,6に直接R,B信号を各々入力してもよい。本例におけるMTX部2の他のテレビジョン規格も含めてた混合比は、前述TABLE1の通りである。
【0053】次に、MTX部2の混合比のみを変更した他の例を示す。MTX部2の混合比をXYZ表色系のY刺激値、つまり輝度を表す値とすると、 W2=Y=0.299R+0.587G+0.114B,0≦Y≦1…(22)
(l2=0.299、m2=0.587,n2=0.114)となる。よって、色度データW1/W2,W3/W2は次式となる。
W1/W2=R/Y=R/(0.299 R+0.587 G+0.114 B) …(23)
W3/W2=B/Y=B/(0.299 R+0.587 G+0.114 B) …(24)
上記の色度データが(u´,v´)色度図上において示す量子化点の分布の様子を図23に示す(量子化ビット数は、5ビットとした)。MTX部1,2,3の混合比は、種々の値や組み合わせがあるが、総じて言えることは、MTX部1,3の混合比は、対象とする色度図上での、色度データW1/W2,W3/W2値を目盛る2本の座標軸を決定し、MTX部2の混合比は該色度図平面上での量子化点の分布状態を決定するものである。よって、これらの混合比や量子化ビット数は、装置の機能、目的、コスト等に応じて決めればよい。
【0054】次に、色度データW1/W2,W3/W2は、色度変換部9に入力される。ここでは、入力色度データW1/W2,W3/W2に対し、所望の対応をする色度データw1/w2,w3/w2を出力する。つまり、入力色度データが示す色度情報を、所定の目的に沿った色度情報に変換することにより、例えば、映像表示装置にて視覚的に再現色の変換操作として表現できるのである。所望の対応とは、例えば色再現の修正、補正や、色表現の特殊効果等である。輝度データW2は、階調変換部10に入力される。ここでは、入力輝度データW2に対し所望の対応をする輝度データw2を出力する。該階調変換部10では、例えば映像表示装置において視覚的に明るさの変換操作を行う。所望の対応とは、例えばコントラストの制御や、暗部の黒つぶれあるいは明部の白とびの補正や、明るさの表現の特殊効果等である。色度変換部9、階調変換部10の構成としては、例えば、メモリを用いたルック・アップ・テーブル法や、入力色度データ、輝度データに対して所定の計算式に基づき演算を行い、該演算結果をそれらの対応データとして出力するようなロジック構成の素子を使用すればよい。
【0055】次に、色度変換部9の出力データw1/w2,w3/w2と階調変換部10の出力データw2は、各々乗算部11,12に入力される。乗算部11は色度データw1/w2と輝度データw2の乗算結果w1(=w1/w2 ・w2)を信号データとして出力する。同様に乗算部12は色度データw3/w2と輝度データw2の乗算結果w3(=w3/w2 ・w2)を信号データとして出力する。乗算部11,12の出力信号データ形態として他の例をあげる。乗算部11,12にて求めた信号データw1,w3に対し、更に入力輝度データw2を減算することにより、下記の出力信号データを得る。
乗算部11の出力信号データ w1−w2 …(25)
乗算部12の出力信号データ w3−w2 …(26)
これらの信号データは、色差信号の形態を示している。これらの信号形態は目的に応じて選択するのがよい。例えば、色差信号もまた色情報を示し、視覚特性により、量子化ビット数を輝度データに比べ削減可能となる。乗算部11,12の構成は、除算部7,8と同様に、メモリを使用したルック・アップ・テーブル法等でよい。乗算部11,12の出力データw1またはw1−w2,w3またはw3−w2は、各々デジタル−アナログ変換部(D/A部とする)13,14にてアナログ信号に変換される。同様に階調変換部10の出力輝度データw2も15のD/A部にてアナログ信号に変換される。
【0056】D/A部13,14,15はクロック信号CLK2のタイミングにて入力信号データをアナログ信号に変換する。クロック信号CLK2はクロック信号CLK1と同じ周波数で、これと同期し、所定の位相関係にある。これらのクロック信号は該機器の有する水平・垂直同期信号φH,φVに同期していてもよく、例えば色副搬送波信号fscから生成してもよい。D/A部13,14,15は、変換したアナログ信号の不要な高周波成分を除去するための補間フィルタを各々有している。D/A部13,14,15の出力信号w1またはw1−w2,w3またはw3−w2はMTX部16へ各々入力される。MTX部16では、各々の入力信号に対しマトリックス演算を行い、色度データw1/w2,w3/w2、輝度データw2をそれぞれ色度情報、輝度情報とするr,g,b三原色信号を出力する。
【0057】いま、D/A部13,14,15の出力信号を各々w1,w3,w2とすると、MTX部16においては、下式により、該r,g,b三原色信号を求める。
【数3】
また、D/A部13,14の信号出力が色差信号形態の場合は、前式より
【数4】
となるような行列Aを求めることにより算出可能である。あるいは、下式より信号w1,w3を求め、更に前々式によりr,g,b三原色信号
w1=(w1−w2)+w2 …(29)
w3=(w3−w2)+w2 …(30)
を求めてもよい。
【0058】色度変換部9、階調変換部10の変換仕様あるいは乗算部11,12の乗算仕様や出力信号形態あるいは各部における処理誤差等で、MTX部16のr,g,b三原色信号出力の各信号レベルが正規化値域(0≦r,g,b≦1)外となる場合もあり得るので、この対策として例えば、MTX部16においてr,g,b信号に対して負値となる場合はダーククリップ処理、1を越える場合はホワイトクリップ処理を行ってもよい。以上のような色度変換、階調変換を施したr,g,b三原色を得る場合の例を次に示す。先述した色度データ例、 W1/W2=R/W2,W3/W2=B/W2 …(31)
W2=0.263R+0.474G+0.263B (0≦W2≦1)
を用いて説明する。前記色度データは、各々色度変換部9での処理後、次の色度データとなるとする。
R/W2 → r/w2, B/W2 → b/w2また、輝度データW2は、階調変換部10での処理後、次の輝度データとなるとする。
W2→w2
【0059】これらの信号データは、乗算部11,12へ各々入力され乗算処理を受け、下記の信号データを各々出力する。
乗算部11の出力信号データ r/w2 ・w2=r …(32)
乗算部12の出力信号データ b/w2 ・w2=b …(33)
上記出力信号データr,b及び階調変換部10の出力輝度データw2はD/A部13,14,15にて各々アナログ信号に変換される。これらの信号はMTX部16に各々入力されて、下式のマトリックス演算により所望のr,g,b三原色信号を得る。
【数5】
よって、r=r,g=−0.555r+2.110w2−0.555b,b=bとなる。
【0060】本例では、r,b信号は、D/A部13、14の出力信号として既に得られているので、MTX部16はg信号を求める処理だけでもよい。また、乗算部11,12が色差信号形態出力の場合は、該乗算部11,12の出力信号データは下記となる。
乗算部11の出力信号データ r/w2 ・w2−w2=r−w2…(35)
乗算部12の出力信号データ b/w2 ・w2−w2=b−w2…(36)
同様に、これらの信号データは輝度データw2と共に、D/A部13,14,15にて各々アナログ信号に変換される。これらの信号は、MTX部16に各々入力されて、下式の演算により所望のr,g,b三原色信号を得る。
r=(r−w2)+w2 …(37)
b=(b−w2)+w2 …(38)
g信号は、色差信号(r−w2),(b−w2)を用いて、
【数6】
となる。
【0061】上各式より、r,g,b信号は、無彩色を示す場合、該色差信号(r−w2),(b−w2)は、各々0を示すため、r=g=b=w2となる。よって、無彩色の階調再現特性は、w2の量子化ビット数にて一義的に決まるので、該特性の設定の自由度は高くなる。先の原色信号出力ではw2の他にr,bの該ビット数もかかわるので自由度は低い。また、信号r,bを用いれば、
【数7】
となる。
【0062】他の例として、先述した色度データ例 W1/W2=R/Y,W3/W2=B/Y …(41)
W2=Y=0.299R+0.587G+0.114B …(42)
(0≦W2≦1)
においては、同様にMTX部16でのマトリックス演算は、下式となる。
【数8】
(y=階調変換部10の入力輝度データをYとした時の出力輝度デ−タ)この場合、上式より、明らかなように、各変換処理後のr,g,b三原色信号が有する輝度情報は、輝度を示すy値となるので、階調変換特性により優れたものとなる。また更に、他の例として、上例に対し入力映像信号R,G,B三原色がガンマ補正済の信号とし(R´,G´,B´とする)、MTX部2の出力信号W2としてNTSC規格の輝度信号Y´を用いた場合の色度データは、 W1/W2=R´/Y´,W3/W2=B´/Y´ …(44)
W2=Y´=0.299R´+0.587G´+0.114B´…(45)
(0≦W2≦1)
となる。
【0063】乗算部11,12の出力信号形態を色差信号出力とした場合の出力信号データは、下記となる。
乗算部11の出力信号データ r´/y´・y´−y´=r´−y´…(46)
乗算部12の出力信号データ b´/y´・y´−y´=b´−y´…(47)
上式はNTSC規格の色信号I,Qの生成の基本となる色差信号が、D/A部13,14より、また、該規格の輝度信号y´が、D/A部15より直ちに得られるので、新たに該規格の該信号を生成するための構成部が不要となる効果がある。以上のことは、PAL規格等の他のテレビジョン規格についても言える。除算部7,8より出力する色度データW1/W2,W3/W2は、色度情報の色相A,飽和度Sの各要素に基づく座標軸(極座標軸)を設定して、認識することも可能である。例えば、図24の色度図において、無彩色色度点を示す色度データをC1,C2とすると、色相A及び飽和度Sは、それぞれ、
【数9】
【0064】
【数10】
【0065】より各々求めることができる。また、上式によらず、該色度データW1/W2,W3/W2と任意の色相A値、飽和度S値を対応させた参照表(ルック・アップ・テーブル法)を作成しても色度データを認識できる。
【0066】また、図22の色度変換部9で、色相A,飽和度Sの極座標表示による色度変換操作を行ってもよい。この色度変換部9の構成例を図25を用いて説明する。色度変換部9は、入力色度データW1/W2,W3/W2を前記に基づき色相データA,飽和度データSに変換する変換部17と、該色相データA,飽和度データSを所定の変換意図に従い、色相データa,飽和度データsに変換する色度変換部18と、該色相データa,飽和度データsを前記に基づく逆変換により、色度データw1/w2,w3/w2に戻す逆変換部19からなる。各構成部1〜8は、入力映像信号の有する色度データW1/W2,W3/W2、輝度データW2を抽出するのが目的である。また、各構成部11〜16は、入力された色度データw1/w2,w3/w2、輝度データw2からr,g,b三原色信号等を生成するのが目的である。よって、その手段としての構成やその組み合わせに関しては多々考えられる。以下、例をあげる。
【0067】図22の構成において、A/D部4,5,6、D/A部13,14,15は、図示の位置に固定的なものではない。例えば、A/D部4,5,6はMTX部1,2,3の前に置いて、入力映像信号R,G,Bを信号データ化することも可能で(ただし、MTX部1,2,3はデジタル処理構成となる)、また、除算部7,8の後と、階調変換部10の前に置いてもよい(ただし、除算部7,8は、アナログ処理構成となる)。D/A部13,14,15は、色度変換部9、階調変換部10の後に置くことも可能で(ただし、乗算部11,12はアナログ処理構成となる)、また、MTX部16の後に置いてもよい(ただし、MTX部16は、デジタル処理構成となる)。また、各構成部の出力信号がデジタルデータとして要求されるのなら、該各部をデジタル処理構成とすればよい。A/D部4,5,6またはD/A部13,14,15に入力するクロック信号CLK1,CLK2の周波数fは、例えば、サンプリング定理に基づき所望の信号帯域により、あるいは各構成部の所要処理時間に見合うように決定する。除算部7,8または乗算部11,12は、各々1つの構成部としてもよい。図26の(a)は、MTX部1,2,3と除算部7,8を1つの演算部21にて行ったもので、例えば、メモリによるルック・アップ・テーブル法等にて実現できる。同図(b)は、(a)の構成にて、輝度データW2だけを、MTX部23にて生成するものである。各構成部11〜16にも同様の構成が可能である。
【0068】次に、色度変換部9、階調変換部10の各変換仕様の選択制御例を述べる。図27は、色度変換部9,階調変換部10をデータ書き換え可能のメモリ素子(RAM等)を使用したルック・アップ・テーブル法または呼び出し専用素子(ROM等)を使用した複数種類の変換テーブルを持っている構成、または、これらの混成としたものである。データ処理部20は、該機器の内部または外部より機能選択信号を受け、その信号に対応した所定の変換仕様のテーブルを該部9,10に設定するものである。つまり、該部9,10が、データ書き換え構成のものではそのデータを書き換え、読み出し専用の構成のものでは複数のテーブル内から選択するのである。データ処理部20の構成としてはマイクロコンピュータや専用ゲートアレイ素子などを用いればよい。
【0069】機能選択信号を該機器の外部より得るものとしては、種々のデータやプログラム処理機能をもったメモリカードやICカード等がある。このようなものによる機能選択としては、前記の他に該テーブルデータを該カード自身に有し、機器に装着するとデータ処理部20により、該部9,10へ該カード内のテーブルデータが書き込まれたり、あるいは該カード自身が該部9,10の変換テーブルとして機能するなどである。該信号を該機器の内部より得るものとしては、該機器が有する諸情報(ホワイト・バランス情報、露出情報、測距情報等)に対応した各変換機能が考えられる。例えば、ホワイト・バランス情報では、照明色温度、人工光源に対する色再現、階調特性の補正等である。また、内部スイッチ等により、該機器の使用者が各変換機能を選択してもよい。例えば、肌色等の記憶色の色再現を複数種類の内からその好みに応じて選択するなどである。
【0070】以上のような、撮像システムに色、階調変換処理を組み合わせた際の構成例を図28を用いて説明する。空間画素ずらし法を用いた各CCD25,26,27の撮像出力は、各々CDS(相関二重サンプリング)28,29,30により、その不要ノイズ成分を除去される。GchのCDS28の出力は、DL1(31)により1/2画素ピッチに相当する時間TDだけ遅延を受ける。その理由は、各CCDは通常同位相の水平転送クロックにて水平駆動されているため、撮像出力信号も同時刻に出力される。よって、1/2画素ピッチに相当する時間分だけGchの出力信号を遅延させることにより、空間サンプリングの補間を行う。次に、これらの各出力信号は、PBLK32,33,34にて、水平及び垂直のブランキング処理が施される。RchまたはBchの出力信号は、WB35,36にてその振幅レベルを制御されることにより、被写体の照明光源に対してホワイト・バランス調整がなされる。
【0071】該調整された各出力信号は、PRE−KNEE37,38,39にて各出力信号の高レベル範囲が圧縮される。Rch出力信号は、A/D部4にて周波数帯域制限後、量子化され量子化データRLとなる。同様に、Bch出力信号は、A/D部6にて量子化データBLとなる。また、各出力信号はMTX1部(2)にて混合され広帯域輝度信号WHとなる。この信号WHは先述したように偽解像成分を打ち消すための混合比、 WH=0.25R+0.50G+0.25B …(50)
(R:G:B=1:2:1)である。
この場合の(u´,v´)均等知覚色度図の量子化の様子は前述の図3に示したものとほぼ同等となり略均等分割となる。該信号WHは先と同様にA/D部5にて量子化データWLとなる。ちなみに、A/D部4,5,6の帯域制限周波数は、1MHZ程度である(色信号周波数帯域)。
【0072】出力信号RL,WLは除算部7にて色度データRL/WLとなる。同様に出力信号BL,WLは除算部8にて色度データRL/WLとなる。色度データRL/WL,BL/WL及び輝度データWLは各々色度変換部9、階調変換部10にて所望の変換が行われ、色度データrL/wL,bL/wL及び輝度データwLとなる。これらの信号は、乗算部11,12にて乗算処理され、色差データrL−wL,bL−wLと各々なり、更にD/A部13,14にてアナログ量に変換される。また、輝度データwLもD/A部15にて、アナログ量に変換される。出力信号rL−wL,bL−wL,wLは、周波数帯域が各々1MHZ程度であるので、更に撮像信号の高周波成分を、付加したr,g,b三原色信号を生成する必要がある。
【0073】次に、この生成処理構成を説明する。MTX1部(2)の広帯域輝度出力信号WHはDL2(40)により規定量の遅延処理を受ける。この出力信号WHとD/A部15の出力信号wLは、減算処理部41にて下式に示す信号Wmを生成する。
Wm=wL−WH …(51)
信号Wmは、LPF42にて帯域制限を受け信号WmLとなる。この帯域制限周波数fLは、A/D部4,5,6にて設けた帯域制限周波数と同値程度とする。図29(a)に信号WmLの周波数スペクトルを示す。ちなみに、DL2(40)の規定遅延量は、減算処理部41に入力される信号wLとWHの時間合わせのためのもので、信号wLには、信号WHに比較してA/D部、除算部、階調変換部、乗算部、D/A部の各処理に要する時間遅れが生じるためである。信号WmLとDL2(40)の出力信号WHは加算処理部43にて下式に示す信号Wを生成する。
W=WmL+WH …(52)
図29(b)に信号Wの生成処理の様子を示す。同図に示すように、信号Wは、その低域周波数成分がwLで高域周波数成分がWHの信号となる。
【0074】次に、rL−wL,bL−wL,W各信号を用いたr,g,b三原色信号の生成処理構成を説明する。先述の(37),(38),(39)各式により、この生成を行うものである。原色信号rは、加算処理部45にて(27)式により、r=(rL−wL)+W となる。
図30に原色信号rの生成処理の様子を示す。同図に示すように原色信号rは、その低域周波数成分がrLで、高域周波数成分がWHの信号となる。同様に原色信号bは、加算処理部46にて(38)式より、原色信号gは、MTX2部(44)にて(39)式より各々生成される。
【0075】以上の要領にて、各CCDからの撮像信号に対して色、階調変換処理を施し、且つ、空間画素ずらし法による高解像度特性を有するr,g,b三原色信号を得ることができる。これらのr,g,b三原色信号による撮像映像を画像表示機器に表示させる場合には、該機器の映像信号入力規格に合致した信号に該三原色信号を変換し、同期信号と共に入力すればよい。例えば、RGB入力を有するCRTモニタであれば該三原色信号にガンマ補正を施し、該モニタに入力すればよい。また、ビデオ入力を有するモニタであれば、そのテレビジョン規格に合致した輝度信号及び色信号を該三原色信号より通常の処理にて生成し入力すればよい。
【0076】
【発明の効果】以上のように請求項1乃至4の発明によれば、入力映像信号の色度情報すなわち色度データを抽出し、それに対し色度図上の例えば白色領域に相当する色度データの弁別を行うことにより白色検出を行うものにあって、デジタルデータ処理により該白色領域の設定を行えるので、その設定の自由度は高く、被写体の色彩状況によるその変更処理も容易となる。該色度データが均等知覚色度図上にて均等に分布するような量子化法を用いて、等uv単位値による相関色温度領域を白色領域とすることにより、知覚制御が可能になる。また、請求項5乃至6の発明によれば、白検出手段より抽出された色度情報の代表色度すなわち平均色度を求め、その代表色度を特定の色度に近付けるべくディジタルデータ処理により、R,Bゲインコントロールしてホワイトバランス調整を行うので、性能の安定度が高く、また、平均化処理アルゴリズムの設定や目標とするホワイトバランス調整の色温度も色度図上にて自由に選択することができる。
【図面の簡単な説明】
【図1】本発明の一実施例による装置の構成図である。
【図2】ゲート部の構成図である。
【図3】色度データについての量子化点の分布を示す色度図である。
【図4】色度データについての量子化点の分布を示す色度図である。
【図5】色度データについての量子化点の分布を示す色度図である。
【図6】MTX部の構成図である。
【図7】黒体色温度軌跡を示す図である。
【図8】黒体色温度軌跡を示す図である。
【図9】色度データについての量子化点の分布を示す色度図である。
【図10】色分布判定部の構成図である。
【図11】色度領域を弁別するときの色度図である。
【図12】本発明の他の実施例による装置の構成図である。
【図13】色度データについての量子化点の分布を示す色度図である。
【図14】利得を決定する手順を示すフローチャートである。
【図15】色度、階調変換装置に適用した例を示す構成図である。
【図16】従来の色温度変化軌跡を示す図である。
【図17】従来の白検出AWB制御の構成図である。
【図18】空間画素ずらし法のCCDの相対位置関係図である。
【図19】撮像信号の周波数スペクトルを示す図である。
【図20】スペクトル周波数の特性図である。
【図21】画素ずらし二板式撮像システムの画素の配置図である。
【図22】色度、階調変換装置に応用した例を示す構成図である。
【図23】色度図である。
【図24】色度図である。
【図25】色度変換部の構成図である。
【図26】MTX部の他の例を示す構成図である。
【図27】色度、階調変換装置の変形例を示す構成図である。
【図28】同装置を撮像システムに組み込んだ構成図である。
【図29】スペクトル周波数と信号出力の関係図である。
【図30】原色信号の生成処理の様子を示す図である。
【符号の説明】
4 信号処理部
3 データ処理部
6 白色検出部
7 MTX部
13,14 除算部
15 ゲート部
62 色度データ群設定部
【0001】
【産業上の利用分野】本発明は、カラーテレビカメラ等に用いられ、撮像した映像信号を用いて撮像状況に応じたホワイトバランス調整を行うホワイトバランス調整装置に関する。
【0002】
【従来の技術】従来、TTLによるオートホワイトバランス調整(AWB)は、白色領域(黒体軌跡付近)の設定あるいは、特定色が画面内を多く占めることによるホワイトバランス調整エラー対策(カラーフェリア対策)のため、有彩色除去の必要があり、これを、色差信号や輝度信号に対して加減算処理あるいはコンパレータを用いた比較処理を行うことにより実現していった。この種の技術は、例えば、特開平2−26194号公報、同1−256890号公報、特開昭63−219291号公報に示されている。
【0003】以下に、従来技術による白色部検出方式を説明する。色差信号R−Y,B−Yを輝度信号Yで割った値を明るさに関係なく色を表す尺度とし、この尺度を用いて白被写体の色温度変化に相当する部分を抽出してAWB制御を行う。図16は(R−Y)/Y,(B−Y)/Yを座標軸とする2次元座標上に白被写体の色温度変化軌跡を示したものである(図中e)。この軌跡を含む相関領域を
【0004】ところで、
(B−Y)/Y>−a …
前記数式を書き直すと、 (−1/a)(B−Y)<Y …
【0005】図17はこれらの比較回路を用いた白検出AWB制御構成を示す。信号処理部より得たR,B信号は、利得制御アンプ26,27によりAWB動作に係る利得調整がなされる。減算器28,29により色差信号R−Y,B−Yが作られ、それぞれコンデンサ30,32、クランプ回路33,35を介してゲート回路36,38へ送られる。白色部分検出回路fの出力する白検出パルスgによりゲート回路36,38が開かれ、色差信号R−Y,B−Y中の白色相当部分が抽出される。ゲート回路36,38の出力はLPF39,41により積分され、それぞれ平均的な直流電圧となって比較器42,43の入力端の一端に各々入力される。比較器42,43では、LPF40からの基準信号(色差信号が0を意味する電圧)とLPF39,41からの直流電圧とを比較し、該直流電圧がLPF40の基準電圧よりも大きい場合はその出力がハイレベルとなり、小さい場合はローレベルとなる。
【0006】アップダウンカウンタ44,45は、比較器42,43の出力がハイレベルになると、カウント値を上昇させる。これらカウント値は、D/A変換器46,47にて制御電圧に変換された後、アンプ48、49を各々介して利得制御アンプ26、27の利得制御用信号となる。これにより、該アンプ26,27はその利得を下げて、色差信号R−Y,B−Yのレベルを0を意味する信号レベルに近付けていくことによりAWB制御となる。
【0007】次に、白色部分検出回路fの動作を説明する。減算器50,51より色差信号R−Y,B−Yが各々出力される。そしてR−Y信号は係数器52,53に入力され、−1/b倍、1/c倍される。また、B−Y信号は係数器54,55に入力され、−1/a倍、1/d倍される。さらに、加算器60では係数器52,54の出力が加算され、加算器61では係数器53,55の出力が加算される。比較器56,57,58,59の負側入力にはY信号が入力され、同じく正側入力には係数器52、加算器60、係数器54、加算器61の各出力が入力される。従って、比較器56,57,58,59では各々前述した式
【0008】
【発明が解決しようとする課題】ところで、上述したごとき従来の技術では、色差、輝度信号の形態で信号処理する構成のため、抽出色領域の設定の自由度が低いものであった。また、白色検出等の性能に比例してその構成が複雑なものになっていた。さらに、回路方式がアナログ処理のため、周囲温度や電源電圧変動等に対する安定性や性能、機能設定のための処理仕様の変更、切り換えも自由度が少ないものであった。また、ホワイトバランス調整で重要となる色知覚に対する配慮もなされていない。また、白色検出後の色差信号等は、平均化処理(LPFを通す)され直流電圧としてコンパレータにて基準電圧(色差信号が0を意味する電圧)と比較された後、その結果を“H”または“L”で表しマイコン等にてR,Bゲインを制御することにより、WB調整を行っていた。これらはアナログ処理のため、周囲温度や電源電圧変動等に対して性能が変動したり、また性能・機能仕様変更に自由度が低いものであった。
【0009】本発明は、上述した問題点を解決するもので、撮像信号から色度情報を抽出してデータ処理し、また、色度情報を均等知覚色度データとして処理することにより、色知覚に合ったホワイトバランス制御特性をもたらす領域の設定が可能で、さらには、色度情報のデジタルデータ処理が可能で、白抽出領域の設定の自由度が高く、またその変更が容易なホワイトバランス調整装置を提供することを目的とする。また,本発明は、白検出手段により抽出された色度情報の代表色度を求め、その代表値を設定色度と比較し、代表色度と設定色度とが等しくなるようR,Bゲインコントロールを行うことによりAWB動作を行うことにより、デジタルデータ処理に適し、かつ、その処理に知覚制御を導入でき、安定した性能が得られるホワイトバランス調整装置を提供することを目的とする。
【0010】
【課題を解決するための手段】上記目的を達成するために請求項1の発明は、撮像した映像信号より色分布を調べ、その結果に応じてホワイトバランス調整を行うホワイトバランス調整装置にあって、映像信号の色度情報を抽出する色度抽出手段と、この色度抽出手段により抽出された色度情報の中から、対象とする色度図上に任意に設定した領域に相当する色度座標を持つ色度情報を弁別する色度弁別手段とを有したものである。請求項2の発明は、上記の対象とする色度図が、均等知覚色度図(u,v)色度図または、(u´,v´)色度図であって、色度抽出手段により抽出される色度情報は、前記色度図上に均等に分布する量子化色度点を示す。請求項3の発明は、上記の色度弁別手段は、対象とする色度図上に設定する領域を、被写体照明光源に応じて前記量子化色度点に沿って任意に設定可能としたものである。請求項4の発明は、上記の色度弁別手段の弁別特性を可変設定する可変設定手段を有したものである。請求項5の発明は、撮像した映像信号より色分布を調べ、その結果に応じてホワイトバランス調整を行うホワイトバランス調整装置にあって、映像信号の色度情報を抽出する色度抽出手段と、この色度抽出手段により抽出された色度情報の中から、対象とする色度図上に任意に設定した領域に相当する色度座標を持つ色度情報を弁別する色度弁別手段と、この色度弁別手段により弁別された色度情報を代表する、1つ以上の代表色度値を求める代表色度手段と、この代表色度値に基づいてホワイトバランス調整を行うホワイトバランス調整手段とを有したものである。請求項6の発明は、撮像した映像信号より色分布を調べ、その結果に応じてホワイトバランス調整を行うホワイトバランス調整装置にあって、映像信号の色度情報を抽出する色度抽出手段と、この色度抽出手段により抽出された色度情報の中から、対象とする色度図上に任意に設定した領域に相当する色度座標を持つ色度情報を弁別する色度弁別手段と、この色度弁別手段により弁別された色度情報を代表する、1つ以上の代表色度値を求める代表色度手段と、任意の色度値を設定する色度設定手段と、この色度設定手段により設定された色度値と前記代表色度手段により求められた色度値との差をなくするようにホワイトバランス調整を行うホワイトバランス調整手段とを有したものである。
【0011】
【作用】上記請求項1〜4記載の構成においては、色度抽出手段により映像信号の色度情報を抽出し、色度弁別手段は、抽出された色度情報の中から、対象とする色度図上に任意に設定した領域、例えば白色領域に相当する色度座標を持つ色度情報を弁別し、白色検出を行う。請求項5〜6記載の構成においては、上記に加えて、代表色度手段は色度弁別手段により弁別された色度情報を代表する1つ以上の代表色度値を求め、ホワイトバランス調整手段はこの代表色度値に基づいてホワイトバランス調整を行う。
【0012】
【実施例】ホワイトバランス調整装置において、撮像映像信号より、被写体への太陽光照明色温度の検出、蛍光灯などの人工光源の判別(これらをホワイトバランス(WB)情報とする)を行う内測式AWB調整装置がある。その原理は以下の通りである。
1、白色部検出方式…被写体の白色(無彩色)部を検出することにより、該部分に相当する撮像映像信号が無彩色を示す信号となるようにWB調整を行う。
2、平均化方式…撮像映像信号を撮像画面全体について平均した信号は多くの撮影状況の場合、照明光源の色温度を示すので、この信号が無彩色を示す信号となるようにWB調整を行う。ところが、これらの方式には種々の問題が存在するため、その解決のための提案がなされている。例えば、被写体の有する色が有彩色で単独かつ画面内に広範囲に撮影されたときに、該有彩色を無彩色に近付けるようにWB調整されるので映像の色調がくずれてしまう(カラーフェリア)。特に、白色部の検出法として上記のように有彩色を除去し、太陽光色温度軌跡上あるいはその付近の色情報を抽出するものでは、その構成がその抽出性能に応じて複雑なものとなっている。
【0013】本発明では、このような状況を鑑み、白色検出部を比較的構成が簡易となるデジタル処理構成とし、その検出性能を向上せしめ、更に、従来の内測式AWB調整装置にて考慮されていなかった人間の色知覚特性に基づく白色検出特性を得ることにより、いわゆる知覚制御を可能としたものである。以下、本発明の第1実施例について図1を用いて説明する。撮像映像信号として得られたR,G,B信号の内、R,B信号はWB調整用のゲインコントロールアンプ(GCとする)1,2へ各々出力される。GC1,2の利得はデータ処理部3からのWB制御信号により各々設定される。G信号とGC1,2により利得制御されたR,B信号は信号処理部4へ出力され、プリニー処理、ガンマ補正等の処理を経て、マトリックス処理にて輝度信号Y´、色差信号R´−Y´,B´−Y´に変換される。これらの信号はエンコーダ部5へ各々出力され、色差信号は色副搬送波fscを平衡変調する。そして、輝度信号Y´、該被変調波信号、色基準信号(バースト信号)及び水平・垂直同期信号φH,φVを合成して、NTSC規格等のテレビジョン規格に合致した複合映像信号Vsを生成する。
【0014】ところで、色差信号R´−Y´,B´−Y´は、被写体の無彩色部分について、各々0を意味する電圧値となればよいので、以下に述べる白色検出動作により、無彩色に相当する色差信号R´−Y´,B´−Y´の時間積分値が0を意味する電圧値となるようにGC1,2の利得を制御すればWB調整が可能となる。このような動作にかかわるゲート部15の詳細構成を図2に示す。図2において、色差信号R´−Y´,B´−Y´は、遅延部(DLとする)16,17にて各々所定の時間の遅延を受け、次に、クランプ部18,19にて各々直流再生される。クランプ部18,19の出力はゲート20,21にて、データ処理部3のゲート信号gにより通過、非通過の処理を受ける。ゲート信号gは白色検出動作によって検出された、撮像映像信号の有する無彩色の期間においてデータ処理部3より出力される信号である。また、前記所定の時間の遅延とは、図1の白色検出部6において無彩色を検出した後、ゲート信号gを出力し、ゲート20、21が動作を開始するタイミングと、色差信号の無彩色期間とのタイミングを合わせるための処理である。ゲート20,21を通過した無彩色色差信号は、比較部22へ出力される。
【0015】比較部22の構成は、例えば、前記無彩色色差信号をローパスフィルタにて平均処理し、直流電圧に変換した後、色差信号が0を意味する基準電圧と該直流電圧とを各々比較処理するものでよい。この比較処理結果は、現在のWB調整のずれを意味し、例えば、該直流電圧が該基準電圧より高ければ“H”、低ければ“L”の信号をデータ処理部3へ各々出力する。データ処理部3は、該信号を得て、該直流電圧を該基準電圧に近付けるべくGC1,2へのWB制御信号を制御する。これによりWB調整が行われる。
【0016】次に白色検出部6の構成を説明する。撮像映像信号R,G,Bはマトリックス部(MTX部とする)7,8,9へ各々出力され、ここで、下式に従って決まるマトリックス信号W1,W2,W3の各々を得る。
MTX部7の出力信号 W1=Rl1+Gm1+Bn1MTX部8の出力信号 W2=Rl2+Gm2+Bn2MTX部9の出力信号 W3=Rl3+Gm3+Bn3ただし、各混合比は、MTX部7,8,9の出力信号W1,W2,W3が色彩科学上の広義の三原色信号となる値とする。つまり、該信号W1,W2,W3を三刺激値とする表色系が存在することである。各信号W1,W2,W3はアナログ−デジタル変換部(A/D部とする)10,11,12へ各々出力され量子化データに変換される。A/D部10,11,12では入力信号に対して、サンプリング定理に基づく折り返しノイズ除去用の帯域制限フィルタが設けられ、サンプリング周波数fを持つクロック信号CLK1のタイミングにて該変換動作を行う。
【0017】A/D部10,11,12より得られた各信号データW1,W2,W3は、各々除算部13,14へ出力される。除算部13はW1信号を分子、W2信号を分母とする除算結果W1/W2を信号データとして出力する。同様に、除算部14はW3信号を分子、W2信号を分母とする除算結果W3/W2を信号データとして出力する。除算部13,14の構成は、メモリを使用したルック・アップ・テーブル法やロジック構成の除算器またはマイコン等でのプログラムによる処理でもよい。このようにして得られたW1/W2,W3/W2が、映像信号の色度情報を表わし、色度データであることは色彩科学上において知られている。ちなみに、除算処理において入力した信号データW2が0、あるいは0を意味する値を示す場合は(分母が0相当値となる)、例えば無彩色またはその付近の色度を示す色度データを出力してもよい。なお、映像信号の水平・垂直ブランキング期間や黒レベル等にて上記の処理を用いるとよい。
【0018】次に、色度データW1/W2,W3/W2の色度図上での量子化点の分布の様子を例をあげて説明する。いま、使用する撮像、映像表示システムがNTSCテレビジョンョン規格に合致したものと仮定し、上記の色度データをCIE1976UCS色度図((u´,v´)色度図、均等知覚色度図)上に展開するとする。各MTX部7、8、9の混合比を下記のように仮定する。
MTX部7の出力信号 W1=R(l1=1,m1=n1=0)
MTX部8の出力信号 W2=0.261 R+0.469 G+0.270 B(l2=0.261 ,m2=0.469 ,n2=0.270 0≦W2≦1)
MTX部9の出力信号 W3=B(l3=m3=0,n3=1)
MTX部8での混合比は、(u´,v´)色度図の表色系であるUVW表色系における刺激和(U+V+W)をNTSC規格RGB表色系での各刺激値R,G,Bを用いて表わした次式の混合比を、W2信号について正規化したものである。
U+V+W=0.8482R+1.5288G+0.8773B上式より、W2=0.261R+.469G+0.270B0≦W2≦1 (0≦R,G,B≦1) である。
【0019】よって、色度データW1/W2,W3/W2は下式を意味する。
W1/W2=R/(0.261R+0.469G+0.270B)
W3/W2=B/(0.261R+0.469G+0.270B)
ここで各色度データの値域に着目すると、0≦W1/W2≦1/0.261, 0≦W3/W2≦1/0.270となり上記各値域は非常に接近したものである。よって、MTX部8の混合比を近似し、例えば l2:m2:n2=0.261:0.469:0.270 =1:1.80:1.03を、 l2:m2:n2=1:1.8:1 =0.263:0.474:0.263 とする。
この結果、該色度データの値域は、0≦W1/W2,W3/W2≦1/0.263と等しくなるので、除算部13,14は全く同じ構成を用いることが可能となり、該除算部13,14の設計、製造コストの低減をもたらし、また該除算部を1つだけ利用し、時分割にて除算処理を行うこともできる。
【0020】このようにして得られた色度データW1/W2,W3/W2が(u´,v´)色度図上において示す量子化点の分布の様子を図3に示す(量子化ビットは5ビットとした)。R,G,Bの○印はNTSC規格受像三原色の色度点を示し、Cの○印は基準白色の色度点を示す。色度データW1/W2,W3/W2の各値は、(G,R)軸,(G,B)軸を座標軸とした時の座標値(0から31まで)に各々対応しており、該値より決まる位置が、(u´,v´)色度図上の色度座標値を示すことが分かる。また、量子化点の分布は該軸に沿って該色度図平面上に均等に位置している。つまり、均等知覚色度図を均等に量子化したことにより、人間の色度知覚に対する量子化ノイズを均等にしたと言える。このことは、有限のビット数での色度情報の量子化を考えた場合、必要最小のビット数を考察する根拠となる。このように、該色度データは直接該色度知覚の重み付けがなされているので、該色度データを用いたデータ処理による制御は知覚制御を可能にする。
【0021】図4に、CIE1960UCS色度図((u,v)色度図、均等知覚色度図)における、本例での量子化点の分布を示す。UVW表色系の刺激和が同値である(u,v)色度図においても上述した同じ特徴を示す。また、MTX部8の出力信号W2は先に示したようにR,G,B刺激値を適当に含み、その値域は0≦W2≦1としているので、映像信号の輝度情報と見なすことも可能である(量子化されたW2信号を輝度データとする)。本例では、MTX部7,9の混合比が各々1:0:0,0:0:1であるので、該MTX部7,9を廃止し、A/D部10,12に直接R,B信号を各々入力してもよい。MTX部7,8,9の混合比は種々の値や組み合わせがあるが、総じて言えることは、MTX部7,9の混合比は対象とする色度図上での色度データW1/W2,W3/W2値を目盛る2本の座標軸を決定し、MTX部8の混合比は該色度図平面上での量子化点の分布状態を決定するものである。よってこれらの混合比は、装置の機能、目的、コスト等に応じて決めればよい。例えば、W1=R,W3=G,W2の混合比を更にl2:m2:n2=1:2:1と近似して、 W1/W2=R/(0.25R+0.5G+0.25B)
W3/W2=G/(0.25R+0.5G+0.25B)
とした場合も、ほぼ図3、図4に示した均等量子化が可能である。
【0022】次表に他のテレビジョン規格も含めて、本例におけるMTX部8の混合比を示す。
【表1】
TABLE1 規格名 NTSC PAL/SECAM HDTV────────────────────────────────────l2:m2:n2 0.261:0.469:0.270 0.199:0.590:0.211 0.189:0.584:0.227────────────────────────────────────上混合比の近似例1 1:(1.7 〜1.8):1 1:(2.8 〜3.0):1 1:(2.6 〜3.1):1 ────────────────────────────────────上混合比の近似例2 1:(2 〜3):1 1:(2 〜3):1 1:(2 〜3):1 但し、l2:m2:n2は、(u’,v’)または(u,v)色度図の均等量子化のためのMTX部22の混合比である。
【0023】上表の近似例2は、撮像、受信システムの構成の簡素化や、各テレビジョン規格に対する共通化等種々の都合上、本発明の目的や効果をあまり損なわない範囲で存在しうる値である。ちなみに本例の説明にて(u´,v´)色度図を用いたが、UVW表色系の刺激和が同値である(u,v)色度図についても同様のことがいえる。また、本例の仮定としてNTSC規格に合致した撮像、受信システムと述べたが、現行運用される受信システムや他のテレビジョンシステムについても実用上問題はない。
【0024】次に、MTX部8の混合比のみを変更した他の例を示す。MTX部8の混合比をXYZ表色系のY刺激値、つまり輝度を表す値とすると、 W2=Y=0.299R+0.587G+0.114B ,0≦Y≦1(l2=0.299,m2=0.587,n2=0.114)となる。よって、色度データW1/W2,W3/W2は次式となる。
W1/W2=R/Y=R/(0.299 R+0.587 G+0.114 B)
W3/W2=R/Y=B/(0.299 R+0.587 G+0.114 B)
上記の色度データが、(u,v)色度図上において示す量子化点の分布の様子を図5に示す(量子化ビット数は5ビットとした)。以上のようにして得られた色度データW1/W2,W3/W2、輝度データW2は、各々データ処理部3へ出力される。データ処理部3へはクロック信号CLK2、水平・垂直同期信号φH,φVが入力しており、該データ処理部3はCLK2のタイミングにて行われる。CLK1,CLK2は同期関係にあり、所定の周波数比と位相差を保っている。また、これらはφH,φVとも同期関係にあるので、例えば色副搬送波信号fscから作ってもよい。
【0025】以下、図3または4に示す色度データ、輝度データを用いた場合のデータ処理部3のデータ処理法について説明する。図7に理論上の黒体色温度軌跡を示す。太陽光照明による白色被写体の色調変化軌跡を実験等ににより作成し用いてもよい。WB調整の基準調整色温度はNTSC規格基準白色C光源となっているが、他の色温度であってもよい。該軌跡範囲は太陽照明の色温度変化に対する視覚のWBを必要とする範囲、約100〜400ミレッドとした。図より明らかなように、データ処理部3では、該軌跡上あるいはその近傍(白色領域とする)に位置する入力色度データを無彩色として扱うことにより白色検出が可能となる。従来法では、該白色領域の設定のために、色差信号や輝度信号に対し加減算処理あるいはコンパレータを用いた比較処理を行っていたので、白色領域設定の自由度が少ないものであった。そして、その白色検出性能に比例して、その構成もまた複雑なものとなっていた。また、回路方式もアナログ処理であるため、周囲温度や、電源電圧変動等に対する安定性や性能・機能設定のための処理仕様の変更、切り換え法にも自由度の少ないものであった。また、WB調整では重要となる色知覚に対する配慮もなかった。
【0026】本発明では、データ処理部3にてあらかじめ所定の軌跡上または白色領域の色度データを記憶させておき(色度データ群とする)、刻々入力される映像信号の有する色度データと比較、参照処理することにより、容易に白色検出が可能となる。例えば、図7にて、白色領域を色度点の分布に従って任意の形状あるいは大きさに設定できるため(例えばaの領域)、有彩色等のWB調整に誤差を与える不要色の除去、弁別性能を容易に自由に高めたり、変更したりすることが可能である。更に、白色領域の設定によって、先に述べたように、色度点の分布が人間の色度知覚に均等に対応しているため、WB調整の知覚制御化をもたらす。すなわち、例えば、データ処理部3により、上記図7に示した軌跡からの等uv単位値偏差領域(相関色温度領域)内の無彩色の抽出を行い、また、抽出した色度データに対する該uv単位偏差量による重み付け、例えば、該uv単位偏差量が大きい入力色度データ程、該色度データは無彩色に対し相関が低いと判断し、ゲート20、21でのゲート期間をその相関の程度に応じて短い期間としたり、被写体の色分布等の状況でWB調整に必要な無彩色の情報が少ない場合、該偏差量を等uv単位値にて拡大可変設定として必要な情報量を得たりする。
【0027】以上のような白色領域の設定に係る色度データ群は、被写体の種々の色分布状況に対応するため、複数組あって、切り換え或いは同時に使用してもよいし、書き換えによる可変値としてもよい。図1の実施例には、このための手段として色度データ群設定部62が設けられている。例えば、被写体照明光源が蛍光灯であるとき、その発光分光特性はグリーン成分が強いため、無彩色は色度図上でG方向に偏移するので、白色領域のG方向外側部に新たに蛍光灯検出領域を設け、データ処理部3にて入力色度データと比較、参照処理し、その結果、ゲート信号gを制御すれば、太陽光照明と同じ要領でWB調整が可能となる。ちなみに、この比較参照処理は、メモリを用い、入力色度データをアドレス値とし、処理結果をデータ値とするルックアップテーブル法やプログラム処理等にて行えばよい。
【0028】次に、白色領域設定法の他の例を説明する。図8における黒体色温度軌跡を図中の直線l1にて近似することにより、データ処理部3での比較、参照処理を容易にできる。直線l1は次式で表せる。
R/W2+B/W2=16 …(1)
また、等uv単位値偏差領域の設定は、例えば色度データ差にて“3”とすれば、 13≦R/W2+B/W2≦19 …(2)
となる(l2,l3の間の範囲)。また、WB調整色温度範囲は、 6≦R/W2 かつ 1≦B/W2 …(3)
にて設定する(m1,m2にて示す)。よって、式(1)と(2)または式(2)と(3)を満足するような入力色度データを弁別すればよい。特に、式(2)においては該色度データ差の値の設定だけで等uv単位値偏差領域の設定を可能にしている。このような考え方に従って、実際に応用、適応すればよい。
【0029】また、データ処理部3にはMTX部8の出力の輝度データW2が入力されている。一般に輝度レベルが高い被写体色程、白色に対する相関が強いので、被写体の種々の状況により、この輝度データW2を用い、白色領域設定により抽出された色度データに対して、更に例えば弁別や重み付けをして該ゲート期間を制御してもよい。本実施例では色差信号の平均レベルが0を意味する値になるよう制御するWB調整方式であるが、R,G,Bの平均レベルが1:1:1になるよう制御するWB調整方式にも勿論適応可能である。また、図1の白色検出部6の入力映像信号R,Bは、GC1,2の後から取ってもよい。信号処理部4によるガンマ補正後のR´,G´,B´信号(図1)でも同様の処理が可能である。また、該R,G,B信号ではなく、色彩科学上の広義の三原色信号(三刺激値信号)でもよい。例えば、イエロー,マゼンタ,シアンの補色信号からMTX部7,8,9にて目的とするW1,W2,W3信号を生成すればよい。
【0030】本実施例では白検出について述べたが、同様の方法で抽出色度領域を変更することにより、任意の色(色度)を抽出することも可能である。また、本発明は平均化方式にも応用できる。例えば、図9に示すように、無彩色色度データを含む抽出色度領域を、色度図平面上で比較的広く、高飽和度部は除去をするように設定する。設定方法は前述の色度データ群によって行う(図中a内)。このようにして得られた抽出色度データを用い、先述のAWB動作を行うことにより、平均化方式でありながら、高飽和度を持つ有彩色被写体によるカラーフェリアを軽減することが可能である。
【0031】ここで、白色検出部6の各構成部(7〜14)に係わる他の構成例について説明する。該構成部7〜14は、入力映像信号の有する色度データW1/W2,W3/W2、更に輝度データW2を抽出するのが目的であるので、その手段としてのMTX部、A/D部、除算部等の構成や組み合わせに関しては多々存在する。例を挙げると、A/D部10,11,12は図1に示した位置に固定的なものでなく、例えば、MTX部7,8,9の前に置いて、入力映像信号R,G,B信号をデータ化することも可能で(ただしMTX部7,8,9はデジタル処理構成となる)、また、除算部13、14の後においてもよい(ただし除算部13,14はアナログ処理構成となる)。除算部13,14またはMTX部7,8,9は各々1つの構成部としてもよい。図6の(a)はMTX部7,8,9と除算部13,14を1つの演算部23にて行うもので、例えば、メモリによるルック・アップ・テーブル法等にて実現できる。同図の(b)は(a)の構成にて輝度データW2だけをMTX部25にて生成するものである。
【0032】次に、図10に示した例により、被写体の種々の色分布状況に対応したWB調整法を説明する。撮像した映像信号の有する色度データW1/W2,W3/W2から該色分布を調べて、その結果に対応した色度データ群を色度データ群設定部62から選択使用することにより、適切なWB調整を行う。除算部13,14より出力された色度データW1/W2,W3/W2は色分布判定部63に導かれる。この色分布判定部63は、該色度データを、色度図上において分割した複数の色度領域に分類、弁別する。その分類、弁別結果の分析に基づき、色度データ群設定部62に対して色度データ群選択信号を出力し、選択された色度データ群はデータ処理部3にて先述のWB調整に係る動作に用いられる。
【0033】次に、例としてカラーフェリアに対応した場合を述べる。図11に示す色度図を白色領域aと有彩色領域bに分割する。色分布判定部63では入力色度データが該領域a,bのどちらに属するか弁別を行い、領域aの色度データ数をカウントする。あるフィールドの総色度データ数をN個、そのN個中の領域aに属する色度データ数をNa個とする。Na個がある値より大きい場合は、白色情報量が多いとして、色度データ群設定部に対して白抽出色度データ群を指定して白抽出WB調整を行う。また、Naが該値以下の場合は白色情報量が少ない、つまり有彩色情報が多いとして、前記白抽出色度データ群よりも更にその領域を拡大した色度データ群を指定することにより、白色に相関のある抽出色度データ量が増えるので、この色度データを用いWB調整を行う。あるいはカラーフェリアの可能性が高いとして、WB調整に係るGC1,2の利得をその時点でホールドする。以上のような動作により、被写体の色分布に適応したWB調整を行うものである。ちなみに、色分布判定部63にて用いる色度弁別のための色度領域情報は、色度データ群設定部62の色度データ群を用いてもよい。また、色分布判定部63では、輝度データW2を用いて被写体の輝度による弁別を行ってもよい。例えば、白圧縮輝度レベルの色度データは、色情報として精度が悪く、誤判定につながるので、この色度データは判定より除外する等である。
【0034】上述した図1の実施例では、白色領域内の色差信号R´−Y´,B´−Y´を平均化処理し、その値が0を意味する値になるように、GC1,2の利得を制御することにより、WB調整を行ったが、以下の実施例では、データ処理部3にて入力映像信号の有する色度データW1/W2,W3/W2、輝度データW2からWB情報を検出し、第1の変形例は、該WB情報が無彩色を意味する情報となるようにGC1,2の利得を制御することによりWB調整を行う。第2の変形例は、該WB情報に基づきGC1,2が所定の利得になるようにデータ処理部3にて制御することによりWB調整を行う。この2例を以下に示す。まず、第1の変形例を図12により説明する。データ処理部3では、先の実施例と同じ処理にて、白色領域内の色度データW1/W2,W3/W2、輝度データW2が検出される。これらの白色領域データに対し、次の平均演算を行い、その結果が無彩色を示す色度データP1,P2(参照色度データ)に等しくあるいは近くなるように、GC1,2を制御するものである。例えば、いま、ある1フィールド内に存在する白色領域データが各々n個あるとするとする。色度データ(W1/W2)1〜n,(W3/W2)1〜n、輝度データ(W2)1〜nである。なおこれらのデータは次の平均演算に先立って、一旦、データ処理部3内のメモリーに記憶させてもよい。これらに対し、次の平均演算を行い、平均色度データQ1,Q2を求める。
【0035】
【数1】
【0036】上記平均演算式は色度図上での加法混色演算に相当するものである。この平均色度データQ1,Q2が無彩色色度データP1,P2に近付くように、GC1,2の利得を制御することにより、WB調整を行うものである。データ処理部3におけるGC1,2の利得の制御例を説明すると、まず、次の演算により平均色度データQ1,Q2の無彩色色度データP1,P2に対する偏差データD1,D2を求める。
D1=Q1−P1, D2=Q2−P2この偏差データD1,D2の正負符号あるいは演算結果の正負符号により、GC1,2の利得を現在の利得に対して、各々上げるか下げるかを決定するのである。例えば、図4に示した量子化例では、図13に示すように該正負符号あるいは演算結果の正負符号から、現在のWB調整色温度に相当する色度領域E1〜4が判明するので、図14に示すフローチャートの手順によりGC1,2の利得を決定する。
【0037】同図において、a1〜a4の処理では、D1+D2の正負符号により、GC1,2の現在利得値からの各々の増減レベル値A1,A2を決める。D1+D2値は、先の実施例での図8の直線l1(黒体色温度軌跡近似直線)からの距離を表わす値である。よって、a1〜a4の処理は、平均色度データを該軌跡上の色度データに収束させる方向への軸制御となる。a1の判定処理により、平均色度データがE1内ではGC1,2の利得を増し、E2内ではGC1,2の利得を減じ、該軸上(D1+D2=0)では増減なしとする。b1〜b5の処理では、D1,D2の正負符号により、GC1,2の現在利得値からの各々の増減レベル値B1,B2を決める。b1,b3の処理では、平均色度データがE3またはE4のどちらかに存在するか、つまり無彩色色度データより高いまたは低い色温度かを判定する。よって、本処理は色温度軸制御となる。b1,b3の判定処理により、平均色度データがE3内ではGC1の利得を減じ、GC2の利得を増す。E4内ではGC1の利得を増し、GC2の利得を減じ、その他の場合には増減なしとする。c1の処理では、GC1,2の利得の最終増減値、各々A1+B1,A2+B2を決定することにより、WB調整を行う。
【0038】以上のような処理を何フィールドが行なう度に、平均色度データQ1,Q2を無彩色色度データP1,P2に近付けて行く。つまり、D1,D2は0に近付く。ちなみに、色度データP1,P2は無彩色あるいは有彩色以外の任意の色度データ(参照色度データとする)でもよく、撮影状況によりやや赤みや青みがかった映像表現も、該色度データP1,P2をその色みの方向の色度データに設定することにより可能である。また、その映像表現の際には、参照色度データを用いた(u´,v´)色度図上の知覚制御が実現できる。更に、白色領域データは、均等知覚色度図にて均等分布となる。つまり、入力映像の有する色度情報を色度知覚に対し均等に代表する色度データであるので、該平均色度データにおいても特定の色度データにかたよらず、白色領域内の色度データ分布をよく反映した値となるのである。
【0039】次に、該平均色度データを求める他の演算法について説明する。先に示した演算例にて、輝度データW2をある範囲内で等しいと見なして、その範囲内の色度データW1/W2,W3/W2(各n個あるとする)に対して、次のようにしてもよい。これによれば、先の演算例よりも容易に高速処理可能となる。
【0040】
【数2】
【0041】図15は映像信号に対する色度・階調変換装置に第1変形例を適応したものである。この構成を簡単に説明すると、入力映像信号の有する色度情報W1/W2,W3/W2、輝度データW2を求めるまでは前述の実施例と同じである。色度変換部26では所定の変換仕様に基づき、W1/W2,W3/W2の変換を行い、色度データw1/w2,w3/w2を得る。同様に、階調変換部27では所定の変換仕様に基づき、輝度データw2を得る。これらの変換された各データは乗算部28,29にて信号w1またはw1−w2,w3またはw3−w2に戻し、次のMTX部33にて輝度データw2と合成され、所定の色度・階調変換済のr,g,b信号となる。このような装置において、データ処理部3は除算部13,14より各色度データW1/W2,W3/W2及びA/D部11より輝度データW2を得、また、GC1,2の利得を制御可能にすることにより、上記第1変形例に述べた機能をはたすものである。色度データ、輝度データは色度変換部26、階調変換部27の各出力データw1/w2,w3/w2,w2より得てもよい(同図b)。この場合は、変換された映像に対するWB調整を行うものとなる。
【0042】次に、第2変形例について説明する。これは、図12において白色検出部6の入力信号を、G信号とGC1,2の前のR,B信号とした場合である(同図c)。平均色度データQ1,Q2を求めるまでは上記第1変形例と同じである。データ処理部3では、平均色度データQ1,Q2の値に対応して所定のGC1,2の利得設定値がデータ処理部3内のメモリー等にて記憶されており、この内容に基づきGC1,2の利得を設定することにより、WB調整が可能となる。なお、上述した本発明の実施例全般に言えることであるが、色度データ群あるいは参照色度データは固定でも変更可能でもよく、変更可能な構成の場合は、本発明の実施例に係る機器に装備されたスイッチやICカード等による外部設定でもよい。図1ではデータ処理部3の色度データ群設定部62が、図12,15ではデータ処理部3の参照色度データ設定部が、その該当部である。
【0043】以下に、本発明の応用例として、空間画素ずらし法を用いたビデオカメラの撮像システムについて説明する。従来から、固体撮像素子(CCD)を用いた撮像システムにおいて、広帯域輝度信号WHとしてサンプリング定理による偽解像度成分(モアレ)を打ち消し、解像度特性を改善した信号を用いた例があるが、ここで述べる例は、1/2ピッチ空間画素ずらし法によるR,G,B3板方式を用いた撮像システムにおいて、高解像度の広帯域輝度信号の生成処理法と、色、階調変換処理法とを組み合わせ、該生成処理部と、色、階調変換処理部を一部共用化することにより、構成の簡略化を図ったものである。
【0044】本システムの特徴とするところは、偽解像成分を打ち消した広帯域輝度信号を生成するための生成手段と、撮像した映像信号の有する色度情報を除算手段により得る際に分子または分母に用いる信号を生成するための生成手段を共通使用したことにある。すなわち、空間画素ずらし法にて生成する偽解像成分打ち消し広帯域輝度信号の生成部(例えば、マトリックス処理部)と、色、階調変換処理にて用いるマトリックス処理部を共通使用することにより、撮像映像信号処理の簡略化を可能とする。また、該生成手段は、撮像したR,G,B三原色信号を用い、そのR,G,B混合比が1:2:1であるマトリックス手段であり、該マトリックス手段の出力信号を該除算手段の分母として用いるものである。すなわち、輝度信号のR,G,B三原色混合比が1:2:1の場合、色、階調変換処理にて色度信号を生成するための除算処理にて分母として用いる信号に該輝度信号を共通使用することにより、上記簡略化に加え、(u´,v´)均等知覚色度図を略均等に量子化可能となる。
【0045】ここで、本撮像システムの1/2ピッチ空間画素ずらし法を簡単に説明する。図18は、本システムにおける各CCDの相対位置関係を示す。Gch−CCD(25)に対して、R及びBch−CCD(26,27)は、水平方向に画素ピッチPの1/2だけシフトさせている。水平方向の空間サンプリング周波数はfsとする。このように配置した各CCDからの撮像出力信号の水平方向の周波数スペクトルを図19に示す。図中、a信号は各CCDの解像成分を示す(無彩色撮像時)。これらは互いに同相である。b信号はGch−CCDの偽解像成分である。サンプリング定理によりサンプリング周波数fsの1/2の周波数fs/2にて折り返した形となっている。よって、Gch−CCD単体ではfs/2までの解像度特性しか有さない。同様に、c信号はRまたはBch−CCDの偽解像成分を示す。b信号とc信号とは、振幅が同じで位相が180°異なり、逆相の関係にある。いま、広帯域輝度信号WH(通例YHと言うので、以下、YHと記す)を下式により生成する。R,G,Bは、各CCDの撮像信号レベルである。
YH=0.25R+0.50G+0.25B …(11)
(R:G;B=1:2:1)
【0046】この輝度信号YHは、R.G.B各信号レベルが先の偽解像成分を打ち消す合成比となっており、且つ、解像成分は、互いに加算されたものである。この結果、輝度信号YHとしては、見かけ上、fsの周波数まで解像度特性が伸びたこととなる。つまり、サンプリング周波数fsの2倍の周波数(2fs)にて空間サンプリングしたのと等価となる。このように、1/2ピッチ空間画素ずらし撮像システムは、等価的にサンプリング周波数fsまでの高解像度特性が得られるものである。実際の撮像システムを用いたビデオカメラの出力する輝度信号Y´は、図20に示すように、その狭帯域成分信号Y´L(おおよそ0〜1MHZ,色信号周波数帯域)として、 Y´L=0.30R´+0.59G´+0.11B´ …(12)
(R´,G´,B´各信号はガンマ補正済)
を、高周波成分信号として、ガンマ補正済のY´Hを用いることにより、テレビジョンシステムにおける輝度、色再現を確保しながら、且つ、高解像度特性を得ている。よって、このような撮像システムでは、必然的に広帯域輝度信号YHの生成のためのマトリックス部が存在する。
【0047】このような撮像システムは、本例の他に、図21の(a)に示すような1/2ピッチ空間画素ずらしG−R/B二板式撮像システムがあり、単板式では同図の(b),(c),(d)に示すように、カラーフィルタ配列として、R,G,Bストライプ、ベイヤー配列、GストライプR/B線順次などがある。いずれも、無彩色撮像時の水平解像度特性を同様の手法にて向上させることができる。
【0048】次に、色、階調変換処理装置の構成について図22を用いて説明する。撮像映像信号として得られたR,G,B三原色信号をマトリックス部(MTX部とする1,2,3に各々入力し、下式により決まるマトリックス信号を各々得る。
MTX部1の出力信号 W1=Rl1+Gm1+Bn1 …(13)
MTX部2の出力信号 W2=Rl2+Gm2+Bn2 …(14)
MTX部3の出力信号 W3=Rl3+Gm3+Bn3 …(15)
ただし、各混合比はMTX部1,2,3の出力信号W1,W2,W3が色彩科学上の広義の三原色信号となる値とする。つまり、該信号W1,W2,W3を三刺激値とする表色系が存在することである。信号W1,W2,W3は、アナログ−デジタル変換部(A/D部とする)4,5,6に各々入力され、量子化データに変換される。A/D部4,5,6では、入力信号に対してサンプリング定理に基づく折り返しノイズ除去用の帯域制限フィルタが設けられ、サンプリング周波数fを持つクロック信号CLK1のタイミングにて該変換動作を行う。
【0049】A/D部4,5,6より得られた信号データW1,W2,W3は、各々除算部7,8に入力される。除算部7は、信号データW1を分子、信号データW2を分母とする除算結果W1/W2を信号データとして出力する。同様に、除算部8は、信号データW3を分子、信号データW2を分母とする除算結果W3/W2を信号データとして出力する。除算部7,8の構成は、メモリを使用したルック・アップ・テーブル法やロジック構成の除算器やマイコンでのプログラム処理により実現できる。このようにして得られたW1/W2,W3/W2が映像信号の色度情報を表すことは色彩科学上において知られている。よって、W1/W2,W3/W2は、色度データである。ちなみに、該除算処理において入力した信号データW2が0を示す場合は(分母が0相当値となる)、例えば無彩色又はその付近の色を示す色度データを出力してもよい。入力信号の有するブランキング期間や、黒レベルにて上記の処理を行えばよい。
【0050】次に、色度データW1/W2,W3/W2の色度図上での様子を例をあげて説明する。いま、使用する撮像、映像表示システムがNTSCテレビジョン規格に合致したものと仮定し、色度データをCIE1976UCS色度図((u´,v´)色度図、均等知覚色度図)上に展開するとする。映像信号R,G,B三原色信号は、ガンマ補正を行わない、撮像部の入力光量に比例するリニア信号とする。各MTX部1,2,3の混合比を、下記のように設定する。
MTX部1の出力信号 W1=R (l1=1,m1=n1=0)…(16)
MTX部2の出力信号 W2=0.261 R+0.469 G+0.270 B …(17)
(l2=0.261 ,m2=0.469 ,n2=0.270 ,0≦W2≦1)
MTX部3の出力信号 W3=B(l3=m3=0,n3=1)…(18)
MTX部2での混合比は、(u´,v´)色度図の表色系であるUVW表色系における刺激和(U+V+W)をNTSC規格RGB表色系での各刺激値R,G,Bを用いて表した次式の混合比を、W2信号について正規化したものである。
U+V+W=0.8482R+1.5288G+0.8773B …(19)
上式より、W2=0.261R+0.469G+0.270B0≦W2≦1 (0≦R,G,B≦1であるので)である。
【0051】よって、色度データW1/W2,W3/W2は、下式を意味する。
W1/W2=R/(0.261R+0.469G+0.270B)…(20)
W3/W2=B/(0.261R+0.469G+0.270B)…(21)
ここで、各色度データの値域に着目すると、0≦W1/W2≦1/0.261, 0≦W3/W2≦1/0.270となり上各値域は、非常に接近したものである。よって、MTX部2の混合比を近似し、例えば、 l2:m2:n2=0.261:0.469:0.270 =1 :1.80 :1.03を、 l2:m2:n2=1 :1.80 :1 =0.263:0.474:0.263とする。この結果、該色度データの値域は、0≦W1/W2, W3/W2≦1/0.263と等しくなるので、除算部7,8は、全く同じ構成を用いることが可能となり、除算部7,8の設計、製造コストの低減をもたらし、また、該除算部を1つだけ使用し、時分割にて、除算処理を行うこともできる。後で述べる乗算部11,12についても同じことが言える。
【0052】このようにして得られた色度データW1/W2,W3/W2が(u´,v´)色度図上において示す量子化点の分布の様子は前述の図3の通りである(この説明は前述の通りであるので、省略する)。また、後で述べる色度情報の変換操作においても同一ビット数による量子化において、人間の色度知覚に基づいて最大多種類の変換の可能性を与える。MTX部2の出力信号W2は、先に示したようにR,G,B刺激値を適当に含み、その値域は、0≦W2≦1としているので、映像信号の輝度情報と見なすことも可能である(量子化されたW2信号を輝度データとする)。また、本例では、MTX部1,3の混合比が、各々1:0:0,0:0:1であるので、該MTX部1,3を廃止し、A/D部4,6に直接R,B信号を各々入力してもよい。本例におけるMTX部2の他のテレビジョン規格も含めてた混合比は、前述TABLE1の通りである。
【0053】次に、MTX部2の混合比のみを変更した他の例を示す。MTX部2の混合比をXYZ表色系のY刺激値、つまり輝度を表す値とすると、 W2=Y=0.299R+0.587G+0.114B,0≦Y≦1…(22)
(l2=0.299、m2=0.587,n2=0.114)となる。よって、色度データW1/W2,W3/W2は次式となる。
W1/W2=R/Y=R/(0.299 R+0.587 G+0.114 B) …(23)
W3/W2=B/Y=B/(0.299 R+0.587 G+0.114 B) …(24)
上記の色度データが(u´,v´)色度図上において示す量子化点の分布の様子を図23に示す(量子化ビット数は、5ビットとした)。MTX部1,2,3の混合比は、種々の値や組み合わせがあるが、総じて言えることは、MTX部1,3の混合比は、対象とする色度図上での、色度データW1/W2,W3/W2値を目盛る2本の座標軸を決定し、MTX部2の混合比は該色度図平面上での量子化点の分布状態を決定するものである。よって、これらの混合比や量子化ビット数は、装置の機能、目的、コスト等に応じて決めればよい。
【0054】次に、色度データW1/W2,W3/W2は、色度変換部9に入力される。ここでは、入力色度データW1/W2,W3/W2に対し、所望の対応をする色度データw1/w2,w3/w2を出力する。つまり、入力色度データが示す色度情報を、所定の目的に沿った色度情報に変換することにより、例えば、映像表示装置にて視覚的に再現色の変換操作として表現できるのである。所望の対応とは、例えば色再現の修正、補正や、色表現の特殊効果等である。輝度データW2は、階調変換部10に入力される。ここでは、入力輝度データW2に対し所望の対応をする輝度データw2を出力する。該階調変換部10では、例えば映像表示装置において視覚的に明るさの変換操作を行う。所望の対応とは、例えばコントラストの制御や、暗部の黒つぶれあるいは明部の白とびの補正や、明るさの表現の特殊効果等である。色度変換部9、階調変換部10の構成としては、例えば、メモリを用いたルック・アップ・テーブル法や、入力色度データ、輝度データに対して所定の計算式に基づき演算を行い、該演算結果をそれらの対応データとして出力するようなロジック構成の素子を使用すればよい。
【0055】次に、色度変換部9の出力データw1/w2,w3/w2と階調変換部10の出力データw2は、各々乗算部11,12に入力される。乗算部11は色度データw1/w2と輝度データw2の乗算結果w1(=w1/w2 ・w2)を信号データとして出力する。同様に乗算部12は色度データw3/w2と輝度データw2の乗算結果w3(=w3/w2 ・w2)を信号データとして出力する。乗算部11,12の出力信号データ形態として他の例をあげる。乗算部11,12にて求めた信号データw1,w3に対し、更に入力輝度データw2を減算することにより、下記の出力信号データを得る。
乗算部11の出力信号データ w1−w2 …(25)
乗算部12の出力信号データ w3−w2 …(26)
これらの信号データは、色差信号の形態を示している。これらの信号形態は目的に応じて選択するのがよい。例えば、色差信号もまた色情報を示し、視覚特性により、量子化ビット数を輝度データに比べ削減可能となる。乗算部11,12の構成は、除算部7,8と同様に、メモリを使用したルック・アップ・テーブル法等でよい。乗算部11,12の出力データw1またはw1−w2,w3またはw3−w2は、各々デジタル−アナログ変換部(D/A部とする)13,14にてアナログ信号に変換される。同様に階調変換部10の出力輝度データw2も15のD/A部にてアナログ信号に変換される。
【0056】D/A部13,14,15はクロック信号CLK2のタイミングにて入力信号データをアナログ信号に変換する。クロック信号CLK2はクロック信号CLK1と同じ周波数で、これと同期し、所定の位相関係にある。これらのクロック信号は該機器の有する水平・垂直同期信号φH,φVに同期していてもよく、例えば色副搬送波信号fscから生成してもよい。D/A部13,14,15は、変換したアナログ信号の不要な高周波成分を除去するための補間フィルタを各々有している。D/A部13,14,15の出力信号w1またはw1−w2,w3またはw3−w2はMTX部16へ各々入力される。MTX部16では、各々の入力信号に対しマトリックス演算を行い、色度データw1/w2,w3/w2、輝度データw2をそれぞれ色度情報、輝度情報とするr,g,b三原色信号を出力する。
【0057】いま、D/A部13,14,15の出力信号を各々w1,w3,w2とすると、MTX部16においては、下式により、該r,g,b三原色信号を求める。
【数3】
また、D/A部13,14の信号出力が色差信号形態の場合は、前式より
【数4】
となるような行列Aを求めることにより算出可能である。あるいは、下式より信号w1,w3を求め、更に前々式によりr,g,b三原色信号
w1=(w1−w2)+w2 …(29)
w3=(w3−w2)+w2 …(30)
を求めてもよい。
【0058】色度変換部9、階調変換部10の変換仕様あるいは乗算部11,12の乗算仕様や出力信号形態あるいは各部における処理誤差等で、MTX部16のr,g,b三原色信号出力の各信号レベルが正規化値域(0≦r,g,b≦1)外となる場合もあり得るので、この対策として例えば、MTX部16においてr,g,b信号に対して負値となる場合はダーククリップ処理、1を越える場合はホワイトクリップ処理を行ってもよい。以上のような色度変換、階調変換を施したr,g,b三原色を得る場合の例を次に示す。先述した色度データ例、 W1/W2=R/W2,W3/W2=B/W2 …(31)
W2=0.263R+0.474G+0.263B (0≦W2≦1)
を用いて説明する。前記色度データは、各々色度変換部9での処理後、次の色度データとなるとする。
R/W2 → r/w2, B/W2 → b/w2また、輝度データW2は、階調変換部10での処理後、次の輝度データとなるとする。
W2→w2
【0059】これらの信号データは、乗算部11,12へ各々入力され乗算処理を受け、下記の信号データを各々出力する。
乗算部11の出力信号データ r/w2 ・w2=r …(32)
乗算部12の出力信号データ b/w2 ・w2=b …(33)
上記出力信号データr,b及び階調変換部10の出力輝度データw2はD/A部13,14,15にて各々アナログ信号に変換される。これらの信号はMTX部16に各々入力されて、下式のマトリックス演算により所望のr,g,b三原色信号を得る。
【数5】
よって、r=r,g=−0.555r+2.110w2−0.555b,b=bとなる。
【0060】本例では、r,b信号は、D/A部13、14の出力信号として既に得られているので、MTX部16はg信号を求める処理だけでもよい。また、乗算部11,12が色差信号形態出力の場合は、該乗算部11,12の出力信号データは下記となる。
乗算部11の出力信号データ r/w2 ・w2−w2=r−w2…(35)
乗算部12の出力信号データ b/w2 ・w2−w2=b−w2…(36)
同様に、これらの信号データは輝度データw2と共に、D/A部13,14,15にて各々アナログ信号に変換される。これらの信号は、MTX部16に各々入力されて、下式の演算により所望のr,g,b三原色信号を得る。
r=(r−w2)+w2 …(37)
b=(b−w2)+w2 …(38)
g信号は、色差信号(r−w2),(b−w2)を用いて、
【数6】
となる。
【0061】上各式より、r,g,b信号は、無彩色を示す場合、該色差信号(r−w2),(b−w2)は、各々0を示すため、r=g=b=w2となる。よって、無彩色の階調再現特性は、w2の量子化ビット数にて一義的に決まるので、該特性の設定の自由度は高くなる。先の原色信号出力ではw2の他にr,bの該ビット数もかかわるので自由度は低い。また、信号r,bを用いれば、
【数7】
となる。
【0062】他の例として、先述した色度データ例 W1/W2=R/Y,W3/W2=B/Y …(41)
W2=Y=0.299R+0.587G+0.114B …(42)
(0≦W2≦1)
においては、同様にMTX部16でのマトリックス演算は、下式となる。
【数8】
(y=階調変換部10の入力輝度データをYとした時の出力輝度デ−タ)この場合、上式より、明らかなように、各変換処理後のr,g,b三原色信号が有する輝度情報は、輝度を示すy値となるので、階調変換特性により優れたものとなる。また更に、他の例として、上例に対し入力映像信号R,G,B三原色がガンマ補正済の信号とし(R´,G´,B´とする)、MTX部2の出力信号W2としてNTSC規格の輝度信号Y´を用いた場合の色度データは、 W1/W2=R´/Y´,W3/W2=B´/Y´ …(44)
W2=Y´=0.299R´+0.587G´+0.114B´…(45)
(0≦W2≦1)
となる。
【0063】乗算部11,12の出力信号形態を色差信号出力とした場合の出力信号データは、下記となる。
乗算部11の出力信号データ r´/y´・y´−y´=r´−y´…(46)
乗算部12の出力信号データ b´/y´・y´−y´=b´−y´…(47)
上式はNTSC規格の色信号I,Qの生成の基本となる色差信号が、D/A部13,14より、また、該規格の輝度信号y´が、D/A部15より直ちに得られるので、新たに該規格の該信号を生成するための構成部が不要となる効果がある。以上のことは、PAL規格等の他のテレビジョン規格についても言える。除算部7,8より出力する色度データW1/W2,W3/W2は、色度情報の色相A,飽和度Sの各要素に基づく座標軸(極座標軸)を設定して、認識することも可能である。例えば、図24の色度図において、無彩色色度点を示す色度データをC1,C2とすると、色相A及び飽和度Sは、それぞれ、
【数9】
【0064】
【数10】
【0065】より各々求めることができる。また、上式によらず、該色度データW1/W2,W3/W2と任意の色相A値、飽和度S値を対応させた参照表(ルック・アップ・テーブル法)を作成しても色度データを認識できる。
【0066】また、図22の色度変換部9で、色相A,飽和度Sの極座標表示による色度変換操作を行ってもよい。この色度変換部9の構成例を図25を用いて説明する。色度変換部9は、入力色度データW1/W2,W3/W2を前記に基づき色相データA,飽和度データSに変換する変換部17と、該色相データA,飽和度データSを所定の変換意図に従い、色相データa,飽和度データsに変換する色度変換部18と、該色相データa,飽和度データsを前記に基づく逆変換により、色度データw1/w2,w3/w2に戻す逆変換部19からなる。各構成部1〜8は、入力映像信号の有する色度データW1/W2,W3/W2、輝度データW2を抽出するのが目的である。また、各構成部11〜16は、入力された色度データw1/w2,w3/w2、輝度データw2からr,g,b三原色信号等を生成するのが目的である。よって、その手段としての構成やその組み合わせに関しては多々考えられる。以下、例をあげる。
【0067】図22の構成において、A/D部4,5,6、D/A部13,14,15は、図示の位置に固定的なものではない。例えば、A/D部4,5,6はMTX部1,2,3の前に置いて、入力映像信号R,G,Bを信号データ化することも可能で(ただし、MTX部1,2,3はデジタル処理構成となる)、また、除算部7,8の後と、階調変換部10の前に置いてもよい(ただし、除算部7,8は、アナログ処理構成となる)。D/A部13,14,15は、色度変換部9、階調変換部10の後に置くことも可能で(ただし、乗算部11,12はアナログ処理構成となる)、また、MTX部16の後に置いてもよい(ただし、MTX部16は、デジタル処理構成となる)。また、各構成部の出力信号がデジタルデータとして要求されるのなら、該各部をデジタル処理構成とすればよい。A/D部4,5,6またはD/A部13,14,15に入力するクロック信号CLK1,CLK2の周波数fは、例えば、サンプリング定理に基づき所望の信号帯域により、あるいは各構成部の所要処理時間に見合うように決定する。除算部7,8または乗算部11,12は、各々1つの構成部としてもよい。図26の(a)は、MTX部1,2,3と除算部7,8を1つの演算部21にて行ったもので、例えば、メモリによるルック・アップ・テーブル法等にて実現できる。同図(b)は、(a)の構成にて、輝度データW2だけを、MTX部23にて生成するものである。各構成部11〜16にも同様の構成が可能である。
【0068】次に、色度変換部9、階調変換部10の各変換仕様の選択制御例を述べる。図27は、色度変換部9,階調変換部10をデータ書き換え可能のメモリ素子(RAM等)を使用したルック・アップ・テーブル法または呼び出し専用素子(ROM等)を使用した複数種類の変換テーブルを持っている構成、または、これらの混成としたものである。データ処理部20は、該機器の内部または外部より機能選択信号を受け、その信号に対応した所定の変換仕様のテーブルを該部9,10に設定するものである。つまり、該部9,10が、データ書き換え構成のものではそのデータを書き換え、読み出し専用の構成のものでは複数のテーブル内から選択するのである。データ処理部20の構成としてはマイクロコンピュータや専用ゲートアレイ素子などを用いればよい。
【0069】機能選択信号を該機器の外部より得るものとしては、種々のデータやプログラム処理機能をもったメモリカードやICカード等がある。このようなものによる機能選択としては、前記の他に該テーブルデータを該カード自身に有し、機器に装着するとデータ処理部20により、該部9,10へ該カード内のテーブルデータが書き込まれたり、あるいは該カード自身が該部9,10の変換テーブルとして機能するなどである。該信号を該機器の内部より得るものとしては、該機器が有する諸情報(ホワイト・バランス情報、露出情報、測距情報等)に対応した各変換機能が考えられる。例えば、ホワイト・バランス情報では、照明色温度、人工光源に対する色再現、階調特性の補正等である。また、内部スイッチ等により、該機器の使用者が各変換機能を選択してもよい。例えば、肌色等の記憶色の色再現を複数種類の内からその好みに応じて選択するなどである。
【0070】以上のような、撮像システムに色、階調変換処理を組み合わせた際の構成例を図28を用いて説明する。空間画素ずらし法を用いた各CCD25,26,27の撮像出力は、各々CDS(相関二重サンプリング)28,29,30により、その不要ノイズ成分を除去される。GchのCDS28の出力は、DL1(31)により1/2画素ピッチに相当する時間TDだけ遅延を受ける。その理由は、各CCDは通常同位相の水平転送クロックにて水平駆動されているため、撮像出力信号も同時刻に出力される。よって、1/2画素ピッチに相当する時間分だけGchの出力信号を遅延させることにより、空間サンプリングの補間を行う。次に、これらの各出力信号は、PBLK32,33,34にて、水平及び垂直のブランキング処理が施される。RchまたはBchの出力信号は、WB35,36にてその振幅レベルを制御されることにより、被写体の照明光源に対してホワイト・バランス調整がなされる。
【0071】該調整された各出力信号は、PRE−KNEE37,38,39にて各出力信号の高レベル範囲が圧縮される。Rch出力信号は、A/D部4にて周波数帯域制限後、量子化され量子化データRLとなる。同様に、Bch出力信号は、A/D部6にて量子化データBLとなる。また、各出力信号はMTX1部(2)にて混合され広帯域輝度信号WHとなる。この信号WHは先述したように偽解像成分を打ち消すための混合比、 WH=0.25R+0.50G+0.25B …(50)
(R:G:B=1:2:1)である。
この場合の(u´,v´)均等知覚色度図の量子化の様子は前述の図3に示したものとほぼ同等となり略均等分割となる。該信号WHは先と同様にA/D部5にて量子化データWLとなる。ちなみに、A/D部4,5,6の帯域制限周波数は、1MHZ程度である(色信号周波数帯域)。
【0072】出力信号RL,WLは除算部7にて色度データRL/WLとなる。同様に出力信号BL,WLは除算部8にて色度データRL/WLとなる。色度データRL/WL,BL/WL及び輝度データWLは各々色度変換部9、階調変換部10にて所望の変換が行われ、色度データrL/wL,bL/wL及び輝度データwLとなる。これらの信号は、乗算部11,12にて乗算処理され、色差データrL−wL,bL−wLと各々なり、更にD/A部13,14にてアナログ量に変換される。また、輝度データwLもD/A部15にて、アナログ量に変換される。出力信号rL−wL,bL−wL,wLは、周波数帯域が各々1MHZ程度であるので、更に撮像信号の高周波成分を、付加したr,g,b三原色信号を生成する必要がある。
【0073】次に、この生成処理構成を説明する。MTX1部(2)の広帯域輝度出力信号WHはDL2(40)により規定量の遅延処理を受ける。この出力信号WHとD/A部15の出力信号wLは、減算処理部41にて下式に示す信号Wmを生成する。
Wm=wL−WH …(51)
信号Wmは、LPF42にて帯域制限を受け信号WmLとなる。この帯域制限周波数fLは、A/D部4,5,6にて設けた帯域制限周波数と同値程度とする。図29(a)に信号WmLの周波数スペクトルを示す。ちなみに、DL2(40)の規定遅延量は、減算処理部41に入力される信号wLとWHの時間合わせのためのもので、信号wLには、信号WHに比較してA/D部、除算部、階調変換部、乗算部、D/A部の各処理に要する時間遅れが生じるためである。信号WmLとDL2(40)の出力信号WHは加算処理部43にて下式に示す信号Wを生成する。
W=WmL+WH …(52)
図29(b)に信号Wの生成処理の様子を示す。同図に示すように、信号Wは、その低域周波数成分がwLで高域周波数成分がWHの信号となる。
【0074】次に、rL−wL,bL−wL,W各信号を用いたr,g,b三原色信号の生成処理構成を説明する。先述の(37),(38),(39)各式により、この生成を行うものである。原色信号rは、加算処理部45にて(27)式により、r=(rL−wL)+W となる。
図30に原色信号rの生成処理の様子を示す。同図に示すように原色信号rは、その低域周波数成分がrLで、高域周波数成分がWHの信号となる。同様に原色信号bは、加算処理部46にて(38)式より、原色信号gは、MTX2部(44)にて(39)式より各々生成される。
【0075】以上の要領にて、各CCDからの撮像信号に対して色、階調変換処理を施し、且つ、空間画素ずらし法による高解像度特性を有するr,g,b三原色信号を得ることができる。これらのr,g,b三原色信号による撮像映像を画像表示機器に表示させる場合には、該機器の映像信号入力規格に合致した信号に該三原色信号を変換し、同期信号と共に入力すればよい。例えば、RGB入力を有するCRTモニタであれば該三原色信号にガンマ補正を施し、該モニタに入力すればよい。また、ビデオ入力を有するモニタであれば、そのテレビジョン規格に合致した輝度信号及び色信号を該三原色信号より通常の処理にて生成し入力すればよい。
【0076】
【発明の効果】以上のように請求項1乃至4の発明によれば、入力映像信号の色度情報すなわち色度データを抽出し、それに対し色度図上の例えば白色領域に相当する色度データの弁別を行うことにより白色検出を行うものにあって、デジタルデータ処理により該白色領域の設定を行えるので、その設定の自由度は高く、被写体の色彩状況によるその変更処理も容易となる。該色度データが均等知覚色度図上にて均等に分布するような量子化法を用いて、等uv単位値による相関色温度領域を白色領域とすることにより、知覚制御が可能になる。また、請求項5乃至6の発明によれば、白検出手段より抽出された色度情報の代表色度すなわち平均色度を求め、その代表色度を特定の色度に近付けるべくディジタルデータ処理により、R,Bゲインコントロールしてホワイトバランス調整を行うので、性能の安定度が高く、また、平均化処理アルゴリズムの設定や目標とするホワイトバランス調整の色温度も色度図上にて自由に選択することができる。
【図面の簡単な説明】
【図1】本発明の一実施例による装置の構成図である。
【図2】ゲート部の構成図である。
【図3】色度データについての量子化点の分布を示す色度図である。
【図4】色度データについての量子化点の分布を示す色度図である。
【図5】色度データについての量子化点の分布を示す色度図である。
【図6】MTX部の構成図である。
【図7】黒体色温度軌跡を示す図である。
【図8】黒体色温度軌跡を示す図である。
【図9】色度データについての量子化点の分布を示す色度図である。
【図10】色分布判定部の構成図である。
【図11】色度領域を弁別するときの色度図である。
【図12】本発明の他の実施例による装置の構成図である。
【図13】色度データについての量子化点の分布を示す色度図である。
【図14】利得を決定する手順を示すフローチャートである。
【図15】色度、階調変換装置に適用した例を示す構成図である。
【図16】従来の色温度変化軌跡を示す図である。
【図17】従来の白検出AWB制御の構成図である。
【図18】空間画素ずらし法のCCDの相対位置関係図である。
【図19】撮像信号の周波数スペクトルを示す図である。
【図20】スペクトル周波数の特性図である。
【図21】画素ずらし二板式撮像システムの画素の配置図である。
【図22】色度、階調変換装置に応用した例を示す構成図である。
【図23】色度図である。
【図24】色度図である。
【図25】色度変換部の構成図である。
【図26】MTX部の他の例を示す構成図である。
【図27】色度、階調変換装置の変形例を示す構成図である。
【図28】同装置を撮像システムに組み込んだ構成図である。
【図29】スペクトル周波数と信号出力の関係図である。
【図30】原色信号の生成処理の様子を示す図である。
【符号の説明】
4 信号処理部
3 データ処理部
6 白色検出部
7 MTX部
13,14 除算部
15 ゲート部
62 色度データ群設定部
【特許請求の範囲】
【請求項1】 撮像した映像信号より色分布を調べ、その結果に応じてホワイトバランス調整を行うホワイトバランス調整装置にあって、映像信号の色度情報を抽出する色度抽出手段と、この色度抽出手段により抽出された色度情報の中から、対象とする色度図上に任意に設定した領域に相当する色度座標を持つ色度情報を弁別する色度弁別手段とを有したことを特徴とするホワイトバランス調整装置。
【請求項2】 対象とする色度図は、均等知覚色度図(u,v)色度図または、(u´,v´)色度図であって、色度抽出手段により抽出される色度情報は、前記色度図上に均等に分布する量子化色度点を示すことを特徴とする請求項1記載のホワイトバランス調整装置。
【請求項3】 色度弁別手段は、対象とする色度図上に設定する領域を、被写体照明光源に応じて前記量子化色度点に沿って任意に設定可能としたことを特徴とする請求項2記載のホワイトバランス調整装置。
【請求項4】 色度弁別手段の弁別特性を可変設定する可変設定手段を有したことを特徴とする請求項1記載のホワイトバランス調整装置。
【請求項5】 撮像した映像信号より色分布を調べ、その結果に応じてホワイトバランス調整を行うホワイトバランス調整装置にあって、映像信号の色度情報を抽出する色度抽出手段と、この色度抽出手段により抽出された色度情報の中から、対象とする色度図上に任意に設定した領域に相当する色度座標を持つ色度情報を弁別する色度弁別手段と、この色度弁別手段により弁別された色度情報を代表する、1つ以上の代表色度値を求める代表色度手段と、この代表色度値に基づいてホワイトバランス調整を行うホワイトバランス調整手段とを有したことを特徴とするホワイトバランス調整装置。
【請求項6】 撮像した映像信号より色分布を調べ、その結果に応じてホワイトバランス調整を行うホワイトバランス調整装置にあって、映像信号の色度情報を抽出する色度抽出手段と、この色度抽出手段により抽出された色度情報の中から、対象とする色度図上に任意に設定した領域に相当する色度座標を持つ色度情報を弁別する色度弁別手段と、この色度弁別手段により弁別された色度情報を代表する、1つ以上の代表色度値を求める代表色度手段と、任意の色度値を設定する色度設定手段と、この色度設定手段により設定された色度値と前記代表色度手段により求められた色度値との差をなくするようにホワイトバランス調整を行うホワイトバランス調整手段とを有したことを特徴とするホワイトバランス調整装置。
【請求項1】 撮像した映像信号より色分布を調べ、その結果に応じてホワイトバランス調整を行うホワイトバランス調整装置にあって、映像信号の色度情報を抽出する色度抽出手段と、この色度抽出手段により抽出された色度情報の中から、対象とする色度図上に任意に設定した領域に相当する色度座標を持つ色度情報を弁別する色度弁別手段とを有したことを特徴とするホワイトバランス調整装置。
【請求項2】 対象とする色度図は、均等知覚色度図(u,v)色度図または、(u´,v´)色度図であって、色度抽出手段により抽出される色度情報は、前記色度図上に均等に分布する量子化色度点を示すことを特徴とする請求項1記載のホワイトバランス調整装置。
【請求項3】 色度弁別手段は、対象とする色度図上に設定する領域を、被写体照明光源に応じて前記量子化色度点に沿って任意に設定可能としたことを特徴とする請求項2記載のホワイトバランス調整装置。
【請求項4】 色度弁別手段の弁別特性を可変設定する可変設定手段を有したことを特徴とする請求項1記載のホワイトバランス調整装置。
【請求項5】 撮像した映像信号より色分布を調べ、その結果に応じてホワイトバランス調整を行うホワイトバランス調整装置にあって、映像信号の色度情報を抽出する色度抽出手段と、この色度抽出手段により抽出された色度情報の中から、対象とする色度図上に任意に設定した領域に相当する色度座標を持つ色度情報を弁別する色度弁別手段と、この色度弁別手段により弁別された色度情報を代表する、1つ以上の代表色度値を求める代表色度手段と、この代表色度値に基づいてホワイトバランス調整を行うホワイトバランス調整手段とを有したことを特徴とするホワイトバランス調整装置。
【請求項6】 撮像した映像信号より色分布を調べ、その結果に応じてホワイトバランス調整を行うホワイトバランス調整装置にあって、映像信号の色度情報を抽出する色度抽出手段と、この色度抽出手段により抽出された色度情報の中から、対象とする色度図上に任意に設定した領域に相当する色度座標を持つ色度情報を弁別する色度弁別手段と、この色度弁別手段により弁別された色度情報を代表する、1つ以上の代表色度値を求める代表色度手段と、任意の色度値を設定する色度設定手段と、この色度設定手段により設定された色度値と前記代表色度手段により求められた色度値との差をなくするようにホワイトバランス調整を行うホワイトバランス調整手段とを有したことを特徴とするホワイトバランス調整装置。
【図2】
【図1】
【図4】
【図3】
【図5】
【図6】
【図8】
【図16】
【図7】
【図9】
【図10】
【図21】
【図11】
【図12】
【図13】
【図18】
【図29】
【図14】
【図15】
【図17】
【図19】
【図20】
【図22】
【図23】
【図24】
【図25】
【図26】
【図30】
【図27】
【図28】
【図1】
【図4】
【図3】
【図5】
【図6】
【図8】
【図16】
【図7】
【図9】
【図10】
【図21】
【図11】
【図12】
【図13】
【図18】
【図29】
【図14】
【図15】
【図17】
【図19】
【図20】
【図22】
【図23】
【図24】
【図25】
【図26】
【図30】
【図27】
【図28】
【公開番号】特開平5−75917
【公開日】平成5年(1993)3月26日
【国際特許分類】
【出願番号】特願平3−259594
【出願日】平成3年(1991)9月10日
【出願人】(000006079)ミノルタカメラ株式会社 (155)
【公開日】平成5年(1993)3月26日
【国際特許分類】
【出願日】平成3年(1991)9月10日
【出願人】(000006079)ミノルタカメラ株式会社 (155)
[ Back to top ]