画像処理装置、画像処理方法、プログラム、及び、撮像装置
【課題】適切な白色補正を施して違和感のない映像を出力することが可能な画像処理装置を提供する。
【解決手段】光源の色温度により定義される引き込み枠内で、画像信号に対して白色補正処理を施して出力する白色補正部２１と、発光装置４による光が照射された被写体が撮像された画像信号に対して、白色補正部２１が白色補正処理を施すとき、発光装置４により発光される発光信号の色情報に応じて引き込み枠の領域を調整する制御部２４とを備える。
【解決手段】光源の色温度により定義される引き込み枠内で、画像信号に対して白色補正処理を施して出力する白色補正部２１と、発光装置４による光が照射された被写体が撮像された画像信号に対して、白色補正部２１が白色補正処理を施すとき、発光装置４により発光される発光信号の色情報に応じて引き込み枠の領域を調整する制御部２４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像に対して白色補正処理を施す画像処理装置、画像処理方法、プログラム、及び、撮像装置に関する。
【背景技術】
【０００２】
白色補正処理とは、撮像装置により撮像された画像の色合いを調節することによって、光源の変化による色合いのバランスを調整する処理である。従来の白色補正処理には、例えば「撮影前に白色被写体を撮像して調整を行なう手法」と「撮影中に実際の被写体を撮像して調整を行なう手法」の２種類がある。
【０００３】
前者の処理は、調整用の処理のためそれぞれの色成分（Ｒ，Ｇ，Ｂ）のバランスが１：１：１になるように調整を行う。
【０００４】
後者の場合は、撮影中に撮像信号から得られる領域において、色成分ごとに積分した結果から光源の影響の有無を判断し、光源の影響があると判定された場合には推定される光源の色相に合うようにゲインの調整を適応的に行う。光源の影響が無いと判断された場合は被写体自体に色があるものと判断されゲイン調整処理をせずに被写体の色を保つ。
【０００５】
特許文献１に記載された白色補正処理では、光源の影響に応じて本来の色に調整するため、光源の色温度により定義される「引き込み枠」により、光源に影響されない本来の被写体の色を保つべきかを判断して、光源によって影響されている色成分を削除する。特許文献１の発明では、一般的な光源として想定される太陽光、蛍光灯などの持つ色温度を基に引き込み枠を設定し、黒体放射カーブ内における各色成分の割合から光源の成分を計算し、引き込み枠内に成分がある場合には黒体放射カーブに近づくよう映像を調整する。
【０００６】
【特許文献１】特開２００４―３２０６７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の白色補正処理においては、白い被写体であっても特殊な光源下では、被写体に当たる光源が一般的な光源とは判断されず、被写体から反射される色が被写体そのものの色だと判断されてしまい適切な補正ができない場合がある。
【０００８】
例えば、テレビジョン電話などのビジュアルコミュニケーションシステムでは、撮像装置と映像表示装置が近くに設置されている事が多い。このため、ビジュアルコミュニケーションシステムでは、必然的に被写体が映像表示装置から近い距離で撮影される事になり、映像表示装置の光源の影響を多く受けやすい状態で撮像が行われることとなる。すなわち、このようなシステムにおいては、被写体がディスプレイからの光源を受けた状態で撮像装置により撮像されることになる。また、照度の低い環境下で撮影された場合には、映像表示装置からの光の占める割合が多いため被写体に対する影響度が高くなり、より視覚的に違和感のある映像になってしまう。
【０００９】
映像表示装置などの発光装置から出力される光は、太陽光や蛍光灯などと違い、本来は白色補正処理されるべき被写体であっても引き込み枠から外れてしまい白色補正処理が行なわれない事がある。
【００１０】
本発明は、このような実情に鑑みて提案されたものであり、発光装置の光が照射された被写体を撮像した撮像画像に対して適切な白色補正を施して違和感のない映像を出力することが可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。また、本発明は、上述した画像処理装置を組み込んだ撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決するための手段として、本発明に係る画像処理装置は、光源の色温度により定義される引き込み枠内で、画像信号に対して白色補正処理を施して出力する白色補正部と、発光装置による光が照射された被写体が撮像された画像信号に対して、白色補正部が白色補正処理を施すとき、発光装置により発光される発光信号の色情報に応じて引き込み枠の領域を調整する制御部とを備える。
【００１２】
また、本発明に係る画像処理方法は、発光装置の光が照射された被写体が撮像された画像信号に対して白色補正処理を施すとき、この発光装置により発光される発光信号の色情報に応じて、光源の色温度により定義される引き込み枠の領域を調整する調整ステップと、調整ステップにより調整された引き込み枠内で、画像信号に対して白色補正処理を施して出力する白色補正ステップとを有する。
【００１３】
また、本発明に係るプログラムは、発光装置の光が照射された被写体が撮像された画像信号に対して白色補正処理を施すとき、この発光装置により発光される発光信号の色情報に応じて、光源の色温度により定義される引き込み枠の領域を調整する調整ステップと、調整ステップにより調整された引き込み枠内で、画像信号に対して白色補正処理を施して出力する白色補正ステップとを有する画像処理をコンピュータに実行させるためのプログラムである。
【００１４】
また、本発明に係る撮像装置は、被写体を撮像する撮像部と、光源の色温度により定義される引き込み枠内で、撮像部により撮像された画像信号に対して白色補正処理を施して出力する白色補正部と、発光装置による光が照射された被写体が撮像部により撮像された画像信号に対して、白色補正部が白色補正処理を施すとき、発光装置により発光される発光信号の色情報に応じて引き込み枠の領域を調整する制御部とを備える。
【発明の効果】
【００１５】
本発明によれば、発光装置により発光される発光信号の色情報を考慮して白色補正処理を行うので、発光装置の光が照射された被写体を撮像した撮像画像に対して適切な白色補正を施して視覚的に違和感のない映像を出力することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。
【００１７】
本発明が適用された画像処理装置は、画像に対して白色補正処理を施す装置であって、例えば、図１に示すようなテレビジョン電話などのビジュアルコミュニケーションシステム１に適用される撮像装置３の内部に組み込まれる。
【００１８】
ビジュアルコミュニケーションシステム１は、人の顔などの被写体２を撮像装置３により撮像した撮像画像を遠隔地に送信するとともに、この遠隔地の映像を受信して映像表示装置４により視認可能に表示するシステムである。このようなビジュアルコミュニケーションシステム１は、撮像装置３と映像表示装置４とが至近距離で設置される。なお、ビジュアルコミュニケーションシステム１は、撮像装置３と映像表示装置４とが一体形成されていてもよい。
【００１９】
このようなビジュアルコミュニケーションシステム１では、被写体２と映像表示装置４との距離が近いため、映像表示装置４の光が撮像装置３に映りこんでしまう。すなわち、ビジュアルコミュニケーションシステム１においては、図１の矢印Ａに示すように映像表示装置４からの光が被写体２に当たり、この映像表示装置４からの光を受けた状態で図１の矢印Ｂに示すように撮像装置３が被写体２を撮像することとなる。この撮像状況下において撮像された画像は、視覚的に違和感のある映像になってしまう。同様に、映像表示装置４以外にも、太陽光や蛍光灯などと色成分が異なる発光装置からの光を受けた被写体を撮像した撮像画像も、視覚的に違和感のある映像になってしまう。
【００２０】
そこで、撮像装置３は、映像表示装置４などの色成分が経時的に変化する発光装置の光が照射された被写体２を撮像した撮像画像に対して適切な白色補正を施して違和感のない映像を出力するため、次に示すような構成を有している。
【００２１】
すなわち、撮像装置３は、図２に示すように、被写体２を撮像するイメージセンサ１１と、イメージセンサ１１により得られた撮像信号に対して信号処理を施すカメラ信号処理部１２とを備える。また、撮像装置３は、画像信号を圧縮符号化する符号化処理部１３と、圧縮符号化された画像信号を電気通信回線を介して遠隔地に送信する通信部１４と、圧縮符号化された画像信号を記録する記録媒体１５とを備える。
【００２２】
イメージセンサ１１は、映像表示装置４の光が照射された被写体２からの光を光電変換し、光電変換した電気信号をＡ／Ｄ変換した撮像信号をカメラ信号処理部１２に供給する。
【００２３】
カメラ信号処理部１２は、イメージセンサ１１から供給される撮像信号に対して、少なくとも白色補正処理を含み、輪郭強調、ガンマ補正、色差マトリクス変換などのカメラ信号処理を施した画像信号を生成して、この画像信号を符号化処理部１３に供給する。
【００２４】
符号化処理部１３は、カメラ信号処理部１２により適切な白色補正処理が施された視覚的に違和感のない画像信号を、ＭＰＥＧ２などの動き予測符号化手法により圧縮して、符号化データをそれぞれ通信部１４及び記録媒体１５に供給する。
【００２５】
通信部１４は、符号化処理部１３から供給される符号化データに対して通信回線に応じた伝送用のデータに変換して送信する。
【００２６】
記録媒体１５は、符号化処理部１３から供給される符号化データを記録する。
【００２７】
以上のような構成からなる撮像装置３において、以下では、カメラ信号処理部１２の構成及び動作に注目して説明する。
【００２８】
カメラ信号処理部１２は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成される汎用のプロセッサにプログラムをインストールすることによって次のような機能が実現される処理部である。すなわち、カメラ信号処理部１２は、図３に示すように、白色補正部２１を内蔵した輪郭強調、ガンマ補正、色差マトリクス変換などを行う信号処理部２２を備える。また、カメラ信号処理部１２は、白色補正部２１の処理特性を制御するため、次のような構成を有する。すなわち、カメラ信号処理部１２は、映像表示装置４により表示出力される映像表示信号の各色成分の積分情報を算出する信号積分部２３と、信号積分部２３により算出された積分結果に応じて白色補正部２１の動作特性を制御する制御部２４とを備える。また、カメラ信号処理部１２は、撮像画像から被写体の照度を検出する照度検出部２５と、撮像画像から所定の色情報を含む被写体までの撮像距離を検出する距離検出部２６と、撮像画像から被写体の動きを検出する動き検出部２７とを備える。また、カメラ信号処理部１２は、照度検出部２５、距離検出部２６、及び、動き検出部２７による検出結果から、白色補正処理の補正強度を制御するための補正係数を算出する補正係数算出部２８とを備える。
【００２９】
白色補正部２１は、イメージセンサ１１から撮像信号が供給される信号処理部２２内で白色補正処理を施す処理部であって、光源の色温度により定義される引き込み枠内で、画像信号に対して白色補正処理を施して出力する。ここで、白色補正処理とは、光源により彩色された白色画像を、色温度に応じた無彩色の変化特性を示す黒体放射カーブで定義される無彩色の白に合わせる処理である。引き込み枠は、例えば図４（Ａ）に示すように、横軸を（Ｒ＋Ｂ＋２Ｇ）／Ｇとし、縦軸を（Ｒ−Ｇ）／Ｇとした２次元直交座標で定義される色温度の空間において、蛍光灯の光の成分の領域Ａ１を基にして、黒体放射カーブＣを含んだ領域Ａ２である。
【００３０】
具体的に、白色補正部２１は、単位画像当たりの画像信号の各色信号Ｒ，Ｇ，Ｂの積分値に対応する色温度の空間上の観測値Ｐ１が、「引き込み枠」にあるか否かを判断する。この判断結果から、白色補正部２１は、図４（Ｂ）に示すように、観測値Ｐ１が引き込み枠Ａ２内のとき、観測値Ｐ１から黒体放射カーブＣ上の収束点に近づくように、各色信号に白色補正ゲインを乗ずる処理を行う。白色補正ゲインは、白色補正処理の補正強度を示し、その値が制御部２４により制御される。これに対して、白色補正部２１は、単位画像当たりの画像信号の各色信号Ｒ，Ｇ，Ｂの積分値に対応する色温度の空間上の観測点Ｐ２が、引き込み枠Ａ２外のとき白色補正処理を行わない。このようにして、蛍光灯下において撮像された画像信号に対しては、引き込み枠Ａ２を用いることで適切に白色補正を施すことができる。
【００３１】
信号積分部２３は、映像表示装置４のインターフェース部４ａから出力される映像表示信号を供給して、映像表示信号の単位画像当たりの各色成分の積分情報を算出する。具体的に、信号積分部２３は、映像表示信号の単位画像当たりの各色信号のＲ，Ｇ，Ｂの画素値を積分して、積分情報を算出する。そして、信号積分部２３は、算出した積分情報を制御部２４に供給する。特にカメラ信号処理部１２では、映像表示装置４に表示される前の映像表示信号をインターフェース部４ａから供給して、映像表示信号の単位画像当たりの各色成分の積分情報を算出することが望ましい。これは、映像表示装置４などの刻々と変化する光の影響を考慮して適切に白色補正処理を行う観点において望ましいからである。
【００３２】
制御部２４は、映像表示装置４による光が照射された被写体が撮像された画像信号に対して、白色補正部２１が白色補正処理を施すとき、映像表示装置４により表示される映像表示信号の色情報に応じて引き込み枠の領域を調整する。
【００３３】
例えば、図５に示すように、映像表示装置４から発せられる光の成分の領域Ａ３は、蛍光灯の光を基に定義された引き込み枠Ａ２の領域から外れているため光源とみなされない。よって、映像表示装置４による光が照射された被写体が撮像された画像信号は、この画像信号を色成分毎に積分した積分値に対応する色温度の空間上の観測点Ｐ３が引き込み枠Ａ２の外になり、白色補正処理が施されずに符号化処理部１３に出力されてしまう。すなわち、被写体２に映像表示装置４の光が映り込んだままの色合いで符号化処理部１３に出力されてしまうこととなる。
【００３４】
そこで、映像表示信号の色情報を考慮した白色補正処理を行うため、制御部２４は、引き込み枠を次のようにして調整する。まず、制御部２４は、図６（Ａ）に示す信号積分部２３から供給される積分値に対応する観測点が、図６（Ｂ）に示すように、映像表示装置４から発せられる光の成分で決まる領域Ａ３に位置するか否かを判断する。そして、制御部２４は、信号積分部２３から供給される積分値に対応する色温度の空間上の観測点Ｐ４と引き込み枠の領域Ａ２に差分がある場合には、図６（Ｃ）に示すように、観測点Ｐ４を含むように引き込み枠を領域Ｐ４に拡大させる。
【００３５】
このようにして、カメラ信号処理部１２では、制御部２４が、映像表示信号の色情報に応じて引き込み枠の領域を調整するので、映像表示装置４の光が照射された被写体を撮像した撮像画像に対して適切な白色補正を施すことができる。よって、カメラ信号処理部１２では、適切な白色補正処理を施した視覚的に違和感のない映像を出力することができる。
【００３６】
また、制御部２４は、映像表示信号の色情報に応じて、白色補正処理の補正強度、すなわち白色補正ゲインを調整する。具体的に、制御部２４は、Ｉｎｔ（Ｒ），Ｉｎｔ（Ｇ），Ｉｎｔ（Ｂ）が映像表示装置４からの各色成分の積分値とした場合に、積分値が一番小さい色成分をＩｎｔ（ｍｉｎ）とすると、各色成分の積分値をＩｎｔ（ｍｉｎ）で除算して正規化する。そして、制御部２４は、正規化した値を色積分係数とし、この色積分係数に基づいて白色補正ゲインを調整する。
【００３７】
また、映像表示装置４から出力される光は被写体の距離や大きさによって光源の影響が大きく異なるため、これらの撮像環境に応じて白色補正ゲインを変える必要がある。具体的には、暗い場所や被写体と映像表示装置４との距離が近い状況などでは映像表示装置４の光が被写体に映りこむことで、違和感のある色合いの映像となってしまう。また、ビジュアルコミュニケーションシステム１では、被写体として人の顔が映ることが多く、映像表示装置４からの光の影響を受けることが多い。このため、人間の目の特性として肌色の色相の違和感は特に目立ちやすいため、適切に補正する必要がある。
【００３８】
そこで、カメラ信号処理部１２では、撮像環境における特徴量を抽出するため、照度検出部２５、距離検出部２６、及び、動き検出部２７が次のような検出処理を行う。
【００３９】
照度検出部２５は、イメージセンサ１１から供給された撮像信号から、単位画像当たりの輝度レベルを算出して、算出した輝度レベルに基づいて、被写体の照度を検出する。照度検出部２５は、検出した被写体の照度を示す照度データを補正係数算出部２８に供給する。なお、撮像装置３において自動露出処理が機能している場合、照度検出部２５は、イメージセンサ１１により撮像される光学系の絞り値に基づいて、被写体の照度を検出するようにしてもよい。
【００４０】
距離検出部２６は、イメージセンサ１１から供給された撮像信号から、被写体までの撮像距離を検出する。ここで、ビジュアルコミュニケーションシステム１において撮像対象となる被写体としては人の顔であることが大半であり、画角の中で占める割合が多いため映像表示装置４の光の影響の受け方が大きいという特性がある。また、人間の目の特性として肌色の色相の違和感は特に目立ちやすいため、適切に補正される必要がある。このような特性に基づき、距離検出部２６は、撮像信号から、ＲＧＢ空間上で定義される肌色情報を検出することにより画角内で占める顔領域を算出する。そして、距離検出部２６は、この算出結果から被写体までの撮像距離を検出する。距離検出部２６は、算出した顔領域と撮像距離とに関するデータを補正係数算出部２８に供給する。なお、距離検出部２６は、信号処理部２２においてカメラ信号処理が施された画像信号から撮像距離を検出するようにしてもよい。また、撮像装置３では、近赤外照射などを用いて被写体までの撮像距離を検出して、検出した撮像距離を示すデータを補正係数算出部２８に供給するようにしてもよい。
【００４１】
動き検出部２７は、イメージセンサ１１から供給された撮像信号から、被写体の動きを検出する。具体的に、動き検出部２７は、撮像信号から、単位画像間での被写体の移動量を算出して、この算出結果から被写体の動きを検出する。そして、動き検出部２７は、検出した被写体の動きを示すデータを補正係数算出部２８に供給する。
【００４２】
補正係数算出部２８は、照度検出部２５、距離検出部２６、及び、動き検出部２７による検出結果に応じて各色成分毎に補正係数を算出して、算出した補正係数を示すデータを制御部２４に供給する。ここで、補正係数は、上述した色積分係数と同様に、白色補正ゲインを調整するための制御パラメータである。
【００４３】
具体的に、補正係数算出部２８は、図７に示すように、照度検出部２５により検出される被写体の照度を考慮した補正係数を算出するため、照度影響度算出部３１と、照度用ゲインテーブル３２と、乗算器３３とを備える。また、補正係数算出部２８は、距離検出部２６により検出される被写体のまでの撮像距離を考慮した補正係数を算出するため、距離影響度算出部３４と、距離用ゲインテーブル３５と、乗算器３６とを備える。また、補正係数算出部２８は、動き検出部２７により検出される被写体の動きを考慮した補正係数を算出するため、動き影響度算出部３７と、動き用ゲインテーブル３８と、乗算器３９とを備える。さらに、補正係数算出部２８は、３つの乗算器３３、３６、３９からの乗算結果を加算する加算器４０を備える。
【００４４】
第１に、補正係数算出部２８は、図８（Ａ）に示すように、照度検出部２５により検出される被写体の照度が低くなるのに伴って、白色補正処理の補正強度を強めるように補正係数を調整する。すなわち、補正係数算出部２８は、照度影響度算出部３１により被写体の照度に応じた補正係数を算出し、図８（Ａ）に示すゲイン特性を有する照度用ゲインテーブル３２を参照し、乗算器３３により補正係数にゲイン処理を施して加算器４０に出力する。このようにして、補正係数算出部２８は、撮像環境の照度が低い場合には映像表示装置４の光の影響度が強くなるため補正強度を強める処理を行う。これに対して、補正係数算出部２８は、照度が高い環境においては、イメージセンサ１１に入力される信号の大半が映像表示装置４以外からの信号であり、映像表示装置４の光の影響は弱いため、補正強度を弱める処理を行う。
【００４５】
第２に、補正係数算出部２８は、図８（Ｂ）に示すように、距離検出部２６により検出される撮像距離が短くなるのに伴って、白色補正処理の補正強度を強めるように補正係数を調整する。すなわち、補正係数算出部２８は、距離影響度算出部３４により被写体までの撮像距離に応じた補正係数を算出し、図８（Ｂ）に示すゲイン特性を有する距離用ゲインテーブル３５を参照し、乗算器３６により補正係数にゲイン処理を施して加算器４０に出力する。
【００４６】
なお、補正係数算出部２８は、距離検出部２６から供給されるデータに基づいて、顔領域の輝度及び色差の変化を確認し、輝度及び色差の変化量に応じて補正係数を調整するようにしてもよい。このようにして、補正係数算出部２８は、人の顔の色を適切に調整することができるように、補正係数を精度よく算出することができる。
【００４７】
第３に、補正係数算出部２８は、図８（Ｃ）に示すように、動き検出部２７により検出される被写体の動きが小さくなるのに伴って、白色補正処理の補正強度を強めるように補正係数を調整する。すなわち、補正係数算出部２８は、動き影響度算出部３７により被写体の動きに応じた補正係数を算出し、図８（Ｃ）に示すゲイン特性を有する動き用ゲインテーブル３８を参照し、乗算器３９により補正係数にゲイン処理を施して加算器４０に出力する。
【００４８】
補正係数算出部２８は、加算器４０により、上述した３つの乗算器３３、３６、３９からの乗算結果を加算して得られた補正係数を示すデータを制御部２４に供給する。
【００４９】
このようにして、カメラ信号処理部１２では、補正係数算出部２８により撮像環境を考慮して補正係数を高精度に算出することができる。よって、制御部２４は、映像表示信号から得られる色積分係数と補正係数算出部２８により算出された補正係数を乗算することで各色成分の白色補正ゲインを得ることができる。すなわち、制御部２４は、映像表示信号及び撮像信号から、撮像環境を考慮して最適な白色補正処理を行い、結果として視覚的に違和感のない画像を出力するためのことができる。
【００５０】
また、制御部２４は、色積分係数と補正係数を乗算することで得られる各色成分の白色補正ゲインを、「引き込み枠」を調整する制御パラメータとして用いる。具体的に、２次元座標上で定義される色空間における引き込み判定枠の各象限の領域は、図９に示すように、おおよ各色成分と一致している。すなわち、「引き込み枠」の第２象限の領域はＲ成分、第３象限の領域はＧ成分、第４象限の領域はＢ成分に大別される。このため、制御部２４は、各色成分の白色補正ゲインに比例した値に基づいて、各色成分に対応する象限の領域の引き込み枠を拡大する。このような引き込み枠の拡大処理を行うことで、カメラ信号処理部１２では、映像表示装置４からの出力色成分が多い要素に対して引き込みやすくなり、映像表示装置４からの光などの既知の成分の光の影響を低減させつつ白色補正処理を行うことができる。
【００５１】
ここで、単に、映像表示装置からの光を白色補正処理によって補正させる光源としてみなして処理を行おうとする場合には、経時的に色情報が刻々と変化する映像表示装置から発せられるあらゆる色の光に対して白色補正処理を行わなければならない。このため、本来の白色補正処理として十分な効果が得られない。このような補正が不可能だった光源に対して、カメラ信号処理部１２では、映像表示装置４からの映像表示信号を表示前に受け取ることができるので精度よく白色補正処理を行うことができる。すなわち、カメラ信号処理部１２では、映像表示信号に基づいて、映像表示装置４で表示される表示画像と同期をとって白色補正処理の補正特性を制御することで、精度よく違和感のない画像を出力することができる。
【００５２】
なお、カメラ信号処理部１２では、映像表示装置４以外にも撮像画像に影響する光を発光する装置で、その出力成分をあらかじめ知り得ることができる装置による発光信号に基づいて適応的に白色補正処理を行うことが可能である。
【図面の簡単な説明】
【００５３】
【図１】ビジュアルコミュニケーションシステムの全体構成を示す図である。
【図２】撮像装置の全体構成を示すブロック図である。
【図３】カメラ信号処理部の全体構成を示すブロック図である。
【図４】色温度の空間上に定義される「引き込み枠」について説明するための図である。
【図５】色温度の空間上に定義される「引き込み枠」について説明するための図である。
【図６】制御部に係る「引き込み枠」の調整処理について説明するための図である。
【図７】補正係数算出部の具体的な構成を示すブロック図である。
【図８】補正係数算出部の処理について説明するための図である。
【図９】２次元座標上で定義される色空間における引き込み判定枠の各象限の領域について説明するための図である。
【符号の説明】
【００５４】
１ ビジュアルコミュニケーションシステム、２ 被写体、３ 撮像装置、４ 映像表示装置、４ａ インターフェース部、１１ イメージセンサ、１２ カメラ信号処理部、１３ 符号化処理部、１４ 通信部、１５ 記録媒体、２１ 白色補正部、２２ 信号処理部、２３ 信号積分部、２４ 制御部、２５ 照度検出部、２６ 距離検出部、２７ 動き検出部、２８ 補正係数算出部、３１ 照度影響度算出部、３２ 照度用ゲインテーブル、３３、３６、３９ 乗算器、３４ 距離影響度算出部、３５ 距離用ゲインテーブル、３７ 動き影響度算出部、３８ 動き用ゲインテーブル、４０ 加算器
【技術分野】
【０００１】
本発明は、画像に対して白色補正処理を施す画像処理装置、画像処理方法、プログラム、及び、撮像装置に関する。
【背景技術】
【０００２】
白色補正処理とは、撮像装置により撮像された画像の色合いを調節することによって、光源の変化による色合いのバランスを調整する処理である。従来の白色補正処理には、例えば「撮影前に白色被写体を撮像して調整を行なう手法」と「撮影中に実際の被写体を撮像して調整を行なう手法」の２種類がある。
【０００３】
前者の処理は、調整用の処理のためそれぞれの色成分（Ｒ，Ｇ，Ｂ）のバランスが１：１：１になるように調整を行う。
【０００４】
後者の場合は、撮影中に撮像信号から得られる領域において、色成分ごとに積分した結果から光源の影響の有無を判断し、光源の影響があると判定された場合には推定される光源の色相に合うようにゲインの調整を適応的に行う。光源の影響が無いと判断された場合は被写体自体に色があるものと判断されゲイン調整処理をせずに被写体の色を保つ。
【０００５】
特許文献１に記載された白色補正処理では、光源の影響に応じて本来の色に調整するため、光源の色温度により定義される「引き込み枠」により、光源に影響されない本来の被写体の色を保つべきかを判断して、光源によって影響されている色成分を削除する。特許文献１の発明では、一般的な光源として想定される太陽光、蛍光灯などの持つ色温度を基に引き込み枠を設定し、黒体放射カーブ内における各色成分の割合から光源の成分を計算し、引き込み枠内に成分がある場合には黒体放射カーブに近づくよう映像を調整する。
【０００６】
【特許文献１】特開２００４―３２０６７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の白色補正処理においては、白い被写体であっても特殊な光源下では、被写体に当たる光源が一般的な光源とは判断されず、被写体から反射される色が被写体そのものの色だと判断されてしまい適切な補正ができない場合がある。
【０００８】
例えば、テレビジョン電話などのビジュアルコミュニケーションシステムでは、撮像装置と映像表示装置が近くに設置されている事が多い。このため、ビジュアルコミュニケーションシステムでは、必然的に被写体が映像表示装置から近い距離で撮影される事になり、映像表示装置の光源の影響を多く受けやすい状態で撮像が行われることとなる。すなわち、このようなシステムにおいては、被写体がディスプレイからの光源を受けた状態で撮像装置により撮像されることになる。また、照度の低い環境下で撮影された場合には、映像表示装置からの光の占める割合が多いため被写体に対する影響度が高くなり、より視覚的に違和感のある映像になってしまう。
【０００９】
映像表示装置などの発光装置から出力される光は、太陽光や蛍光灯などと違い、本来は白色補正処理されるべき被写体であっても引き込み枠から外れてしまい白色補正処理が行なわれない事がある。
【００１０】
本発明は、このような実情に鑑みて提案されたものであり、発光装置の光が照射された被写体を撮像した撮像画像に対して適切な白色補正を施して違和感のない映像を出力することが可能な画像処理装置、画像処理方法、及びプログラムを提供することを目的とする。また、本発明は、上述した画像処理装置を組み込んだ撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上述した課題を解決するための手段として、本発明に係る画像処理装置は、光源の色温度により定義される引き込み枠内で、画像信号に対して白色補正処理を施して出力する白色補正部と、発光装置による光が照射された被写体が撮像された画像信号に対して、白色補正部が白色補正処理を施すとき、発光装置により発光される発光信号の色情報に応じて引き込み枠の領域を調整する制御部とを備える。
【００１２】
また、本発明に係る画像処理方法は、発光装置の光が照射された被写体が撮像された画像信号に対して白色補正処理を施すとき、この発光装置により発光される発光信号の色情報に応じて、光源の色温度により定義される引き込み枠の領域を調整する調整ステップと、調整ステップにより調整された引き込み枠内で、画像信号に対して白色補正処理を施して出力する白色補正ステップとを有する。
【００１３】
また、本発明に係るプログラムは、発光装置の光が照射された被写体が撮像された画像信号に対して白色補正処理を施すとき、この発光装置により発光される発光信号の色情報に応じて、光源の色温度により定義される引き込み枠の領域を調整する調整ステップと、調整ステップにより調整された引き込み枠内で、画像信号に対して白色補正処理を施して出力する白色補正ステップとを有する画像処理をコンピュータに実行させるためのプログラムである。
【００１４】
また、本発明に係る撮像装置は、被写体を撮像する撮像部と、光源の色温度により定義される引き込み枠内で、撮像部により撮像された画像信号に対して白色補正処理を施して出力する白色補正部と、発光装置による光が照射された被写体が撮像部により撮像された画像信号に対して、白色補正部が白色補正処理を施すとき、発光装置により発光される発光信号の色情報に応じて引き込み枠の領域を調整する制御部とを備える。
【発明の効果】
【００１５】
本発明によれば、発光装置により発光される発光信号の色情報を考慮して白色補正処理を行うので、発光装置の光が照射された被写体を撮像した撮像画像に対して適切な白色補正を施して視覚的に違和感のない映像を出力することができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明を実施するための最良の形態について、図面を参照しながら詳細に説明する。
【００１７】
本発明が適用された画像処理装置は、画像に対して白色補正処理を施す装置であって、例えば、図１に示すようなテレビジョン電話などのビジュアルコミュニケーションシステム１に適用される撮像装置３の内部に組み込まれる。
【００１８】
ビジュアルコミュニケーションシステム１は、人の顔などの被写体２を撮像装置３により撮像した撮像画像を遠隔地に送信するとともに、この遠隔地の映像を受信して映像表示装置４により視認可能に表示するシステムである。このようなビジュアルコミュニケーションシステム１は、撮像装置３と映像表示装置４とが至近距離で設置される。なお、ビジュアルコミュニケーションシステム１は、撮像装置３と映像表示装置４とが一体形成されていてもよい。
【００１９】
このようなビジュアルコミュニケーションシステム１では、被写体２と映像表示装置４との距離が近いため、映像表示装置４の光が撮像装置３に映りこんでしまう。すなわち、ビジュアルコミュニケーションシステム１においては、図１の矢印Ａに示すように映像表示装置４からの光が被写体２に当たり、この映像表示装置４からの光を受けた状態で図１の矢印Ｂに示すように撮像装置３が被写体２を撮像することとなる。この撮像状況下において撮像された画像は、視覚的に違和感のある映像になってしまう。同様に、映像表示装置４以外にも、太陽光や蛍光灯などと色成分が異なる発光装置からの光を受けた被写体を撮像した撮像画像も、視覚的に違和感のある映像になってしまう。
【００２０】
そこで、撮像装置３は、映像表示装置４などの色成分が経時的に変化する発光装置の光が照射された被写体２を撮像した撮像画像に対して適切な白色補正を施して違和感のない映像を出力するため、次に示すような構成を有している。
【００２１】
すなわち、撮像装置３は、図２に示すように、被写体２を撮像するイメージセンサ１１と、イメージセンサ１１により得られた撮像信号に対して信号処理を施すカメラ信号処理部１２とを備える。また、撮像装置３は、画像信号を圧縮符号化する符号化処理部１３と、圧縮符号化された画像信号を電気通信回線を介して遠隔地に送信する通信部１４と、圧縮符号化された画像信号を記録する記録媒体１５とを備える。
【００２２】
イメージセンサ１１は、映像表示装置４の光が照射された被写体２からの光を光電変換し、光電変換した電気信号をＡ／Ｄ変換した撮像信号をカメラ信号処理部１２に供給する。
【００２３】
カメラ信号処理部１２は、イメージセンサ１１から供給される撮像信号に対して、少なくとも白色補正処理を含み、輪郭強調、ガンマ補正、色差マトリクス変換などのカメラ信号処理を施した画像信号を生成して、この画像信号を符号化処理部１３に供給する。
【００２４】
符号化処理部１３は、カメラ信号処理部１２により適切な白色補正処理が施された視覚的に違和感のない画像信号を、ＭＰＥＧ２などの動き予測符号化手法により圧縮して、符号化データをそれぞれ通信部１４及び記録媒体１５に供給する。
【００２５】
通信部１４は、符号化処理部１３から供給される符号化データに対して通信回線に応じた伝送用のデータに変換して送信する。
【００２６】
記録媒体１５は、符号化処理部１３から供給される符号化データを記録する。
【００２７】
以上のような構成からなる撮像装置３において、以下では、カメラ信号処理部１２の構成及び動作に注目して説明する。
【００２８】
カメラ信号処理部１２は、ＣＰＵ、ＲＡＭ、ＲＯＭ等から構成される汎用のプロセッサにプログラムをインストールすることによって次のような機能が実現される処理部である。すなわち、カメラ信号処理部１２は、図３に示すように、白色補正部２１を内蔵した輪郭強調、ガンマ補正、色差マトリクス変換などを行う信号処理部２２を備える。また、カメラ信号処理部１２は、白色補正部２１の処理特性を制御するため、次のような構成を有する。すなわち、カメラ信号処理部１２は、映像表示装置４により表示出力される映像表示信号の各色成分の積分情報を算出する信号積分部２３と、信号積分部２３により算出された積分結果に応じて白色補正部２１の動作特性を制御する制御部２４とを備える。また、カメラ信号処理部１２は、撮像画像から被写体の照度を検出する照度検出部２５と、撮像画像から所定の色情報を含む被写体までの撮像距離を検出する距離検出部２６と、撮像画像から被写体の動きを検出する動き検出部２７とを備える。また、カメラ信号処理部１２は、照度検出部２５、距離検出部２６、及び、動き検出部２７による検出結果から、白色補正処理の補正強度を制御するための補正係数を算出する補正係数算出部２８とを備える。
【００２９】
白色補正部２１は、イメージセンサ１１から撮像信号が供給される信号処理部２２内で白色補正処理を施す処理部であって、光源の色温度により定義される引き込み枠内で、画像信号に対して白色補正処理を施して出力する。ここで、白色補正処理とは、光源により彩色された白色画像を、色温度に応じた無彩色の変化特性を示す黒体放射カーブで定義される無彩色の白に合わせる処理である。引き込み枠は、例えば図４（Ａ）に示すように、横軸を（Ｒ＋Ｂ＋２Ｇ）／Ｇとし、縦軸を（Ｒ−Ｇ）／Ｇとした２次元直交座標で定義される色温度の空間において、蛍光灯の光の成分の領域Ａ１を基にして、黒体放射カーブＣを含んだ領域Ａ２である。
【００３０】
具体的に、白色補正部２１は、単位画像当たりの画像信号の各色信号Ｒ，Ｇ，Ｂの積分値に対応する色温度の空間上の観測値Ｐ１が、「引き込み枠」にあるか否かを判断する。この判断結果から、白色補正部２１は、図４（Ｂ）に示すように、観測値Ｐ１が引き込み枠Ａ２内のとき、観測値Ｐ１から黒体放射カーブＣ上の収束点に近づくように、各色信号に白色補正ゲインを乗ずる処理を行う。白色補正ゲインは、白色補正処理の補正強度を示し、その値が制御部２４により制御される。これに対して、白色補正部２１は、単位画像当たりの画像信号の各色信号Ｒ，Ｇ，Ｂの積分値に対応する色温度の空間上の観測点Ｐ２が、引き込み枠Ａ２外のとき白色補正処理を行わない。このようにして、蛍光灯下において撮像された画像信号に対しては、引き込み枠Ａ２を用いることで適切に白色補正を施すことができる。
【００３１】
信号積分部２３は、映像表示装置４のインターフェース部４ａから出力される映像表示信号を供給して、映像表示信号の単位画像当たりの各色成分の積分情報を算出する。具体的に、信号積分部２３は、映像表示信号の単位画像当たりの各色信号のＲ，Ｇ，Ｂの画素値を積分して、積分情報を算出する。そして、信号積分部２３は、算出した積分情報を制御部２４に供給する。特にカメラ信号処理部１２では、映像表示装置４に表示される前の映像表示信号をインターフェース部４ａから供給して、映像表示信号の単位画像当たりの各色成分の積分情報を算出することが望ましい。これは、映像表示装置４などの刻々と変化する光の影響を考慮して適切に白色補正処理を行う観点において望ましいからである。
【００３２】
制御部２４は、映像表示装置４による光が照射された被写体が撮像された画像信号に対して、白色補正部２１が白色補正処理を施すとき、映像表示装置４により表示される映像表示信号の色情報に応じて引き込み枠の領域を調整する。
【００３３】
例えば、図５に示すように、映像表示装置４から発せられる光の成分の領域Ａ３は、蛍光灯の光を基に定義された引き込み枠Ａ２の領域から外れているため光源とみなされない。よって、映像表示装置４による光が照射された被写体が撮像された画像信号は、この画像信号を色成分毎に積分した積分値に対応する色温度の空間上の観測点Ｐ３が引き込み枠Ａ２の外になり、白色補正処理が施されずに符号化処理部１３に出力されてしまう。すなわち、被写体２に映像表示装置４の光が映り込んだままの色合いで符号化処理部１３に出力されてしまうこととなる。
【００３４】
そこで、映像表示信号の色情報を考慮した白色補正処理を行うため、制御部２４は、引き込み枠を次のようにして調整する。まず、制御部２４は、図６（Ａ）に示す信号積分部２３から供給される積分値に対応する観測点が、図６（Ｂ）に示すように、映像表示装置４から発せられる光の成分で決まる領域Ａ３に位置するか否かを判断する。そして、制御部２４は、信号積分部２３から供給される積分値に対応する色温度の空間上の観測点Ｐ４と引き込み枠の領域Ａ２に差分がある場合には、図６（Ｃ）に示すように、観測点Ｐ４を含むように引き込み枠を領域Ｐ４に拡大させる。
【００３５】
このようにして、カメラ信号処理部１２では、制御部２４が、映像表示信号の色情報に応じて引き込み枠の領域を調整するので、映像表示装置４の光が照射された被写体を撮像した撮像画像に対して適切な白色補正を施すことができる。よって、カメラ信号処理部１２では、適切な白色補正処理を施した視覚的に違和感のない映像を出力することができる。
【００３６】
また、制御部２４は、映像表示信号の色情報に応じて、白色補正処理の補正強度、すなわち白色補正ゲインを調整する。具体的に、制御部２４は、Ｉｎｔ（Ｒ），Ｉｎｔ（Ｇ），Ｉｎｔ（Ｂ）が映像表示装置４からの各色成分の積分値とした場合に、積分値が一番小さい色成分をＩｎｔ（ｍｉｎ）とすると、各色成分の積分値をＩｎｔ（ｍｉｎ）で除算して正規化する。そして、制御部２４は、正規化した値を色積分係数とし、この色積分係数に基づいて白色補正ゲインを調整する。
【００３７】
また、映像表示装置４から出力される光は被写体の距離や大きさによって光源の影響が大きく異なるため、これらの撮像環境に応じて白色補正ゲインを変える必要がある。具体的には、暗い場所や被写体と映像表示装置４との距離が近い状況などでは映像表示装置４の光が被写体に映りこむことで、違和感のある色合いの映像となってしまう。また、ビジュアルコミュニケーションシステム１では、被写体として人の顔が映ることが多く、映像表示装置４からの光の影響を受けることが多い。このため、人間の目の特性として肌色の色相の違和感は特に目立ちやすいため、適切に補正する必要がある。
【００３８】
そこで、カメラ信号処理部１２では、撮像環境における特徴量を抽出するため、照度検出部２５、距離検出部２６、及び、動き検出部２７が次のような検出処理を行う。
【００３９】
照度検出部２５は、イメージセンサ１１から供給された撮像信号から、単位画像当たりの輝度レベルを算出して、算出した輝度レベルに基づいて、被写体の照度を検出する。照度検出部２５は、検出した被写体の照度を示す照度データを補正係数算出部２８に供給する。なお、撮像装置３において自動露出処理が機能している場合、照度検出部２５は、イメージセンサ１１により撮像される光学系の絞り値に基づいて、被写体の照度を検出するようにしてもよい。
【００４０】
距離検出部２６は、イメージセンサ１１から供給された撮像信号から、被写体までの撮像距離を検出する。ここで、ビジュアルコミュニケーションシステム１において撮像対象となる被写体としては人の顔であることが大半であり、画角の中で占める割合が多いため映像表示装置４の光の影響の受け方が大きいという特性がある。また、人間の目の特性として肌色の色相の違和感は特に目立ちやすいため、適切に補正される必要がある。このような特性に基づき、距離検出部２６は、撮像信号から、ＲＧＢ空間上で定義される肌色情報を検出することにより画角内で占める顔領域を算出する。そして、距離検出部２６は、この算出結果から被写体までの撮像距離を検出する。距離検出部２６は、算出した顔領域と撮像距離とに関するデータを補正係数算出部２８に供給する。なお、距離検出部２６は、信号処理部２２においてカメラ信号処理が施された画像信号から撮像距離を検出するようにしてもよい。また、撮像装置３では、近赤外照射などを用いて被写体までの撮像距離を検出して、検出した撮像距離を示すデータを補正係数算出部２８に供給するようにしてもよい。
【００４１】
動き検出部２７は、イメージセンサ１１から供給された撮像信号から、被写体の動きを検出する。具体的に、動き検出部２７は、撮像信号から、単位画像間での被写体の移動量を算出して、この算出結果から被写体の動きを検出する。そして、動き検出部２７は、検出した被写体の動きを示すデータを補正係数算出部２８に供給する。
【００４２】
補正係数算出部２８は、照度検出部２５、距離検出部２６、及び、動き検出部２７による検出結果に応じて各色成分毎に補正係数を算出して、算出した補正係数を示すデータを制御部２４に供給する。ここで、補正係数は、上述した色積分係数と同様に、白色補正ゲインを調整するための制御パラメータである。
【００４３】
具体的に、補正係数算出部２８は、図７に示すように、照度検出部２５により検出される被写体の照度を考慮した補正係数を算出するため、照度影響度算出部３１と、照度用ゲインテーブル３２と、乗算器３３とを備える。また、補正係数算出部２８は、距離検出部２６により検出される被写体のまでの撮像距離を考慮した補正係数を算出するため、距離影響度算出部３４と、距離用ゲインテーブル３５と、乗算器３６とを備える。また、補正係数算出部２８は、動き検出部２７により検出される被写体の動きを考慮した補正係数を算出するため、動き影響度算出部３７と、動き用ゲインテーブル３８と、乗算器３９とを備える。さらに、補正係数算出部２８は、３つの乗算器３３、３６、３９からの乗算結果を加算する加算器４０を備える。
【００４４】
第１に、補正係数算出部２８は、図８（Ａ）に示すように、照度検出部２５により検出される被写体の照度が低くなるのに伴って、白色補正処理の補正強度を強めるように補正係数を調整する。すなわち、補正係数算出部２８は、照度影響度算出部３１により被写体の照度に応じた補正係数を算出し、図８（Ａ）に示すゲイン特性を有する照度用ゲインテーブル３２を参照し、乗算器３３により補正係数にゲイン処理を施して加算器４０に出力する。このようにして、補正係数算出部２８は、撮像環境の照度が低い場合には映像表示装置４の光の影響度が強くなるため補正強度を強める処理を行う。これに対して、補正係数算出部２８は、照度が高い環境においては、イメージセンサ１１に入力される信号の大半が映像表示装置４以外からの信号であり、映像表示装置４の光の影響は弱いため、補正強度を弱める処理を行う。
【００４５】
第２に、補正係数算出部２８は、図８（Ｂ）に示すように、距離検出部２６により検出される撮像距離が短くなるのに伴って、白色補正処理の補正強度を強めるように補正係数を調整する。すなわち、補正係数算出部２８は、距離影響度算出部３４により被写体までの撮像距離に応じた補正係数を算出し、図８（Ｂ）に示すゲイン特性を有する距離用ゲインテーブル３５を参照し、乗算器３６により補正係数にゲイン処理を施して加算器４０に出力する。
【００４６】
なお、補正係数算出部２８は、距離検出部２６から供給されるデータに基づいて、顔領域の輝度及び色差の変化を確認し、輝度及び色差の変化量に応じて補正係数を調整するようにしてもよい。このようにして、補正係数算出部２８は、人の顔の色を適切に調整することができるように、補正係数を精度よく算出することができる。
【００４７】
第３に、補正係数算出部２８は、図８（Ｃ）に示すように、動き検出部２７により検出される被写体の動きが小さくなるのに伴って、白色補正処理の補正強度を強めるように補正係数を調整する。すなわち、補正係数算出部２８は、動き影響度算出部３７により被写体の動きに応じた補正係数を算出し、図８（Ｃ）に示すゲイン特性を有する動き用ゲインテーブル３８を参照し、乗算器３９により補正係数にゲイン処理を施して加算器４０に出力する。
【００４８】
補正係数算出部２８は、加算器４０により、上述した３つの乗算器３３、３６、３９からの乗算結果を加算して得られた補正係数を示すデータを制御部２４に供給する。
【００４９】
このようにして、カメラ信号処理部１２では、補正係数算出部２８により撮像環境を考慮して補正係数を高精度に算出することができる。よって、制御部２４は、映像表示信号から得られる色積分係数と補正係数算出部２８により算出された補正係数を乗算することで各色成分の白色補正ゲインを得ることができる。すなわち、制御部２４は、映像表示信号及び撮像信号から、撮像環境を考慮して最適な白色補正処理を行い、結果として視覚的に違和感のない画像を出力するためのことができる。
【００５０】
また、制御部２４は、色積分係数と補正係数を乗算することで得られる各色成分の白色補正ゲインを、「引き込み枠」を調整する制御パラメータとして用いる。具体的に、２次元座標上で定義される色空間における引き込み判定枠の各象限の領域は、図９に示すように、おおよ各色成分と一致している。すなわち、「引き込み枠」の第２象限の領域はＲ成分、第３象限の領域はＧ成分、第４象限の領域はＢ成分に大別される。このため、制御部２４は、各色成分の白色補正ゲインに比例した値に基づいて、各色成分に対応する象限の領域の引き込み枠を拡大する。このような引き込み枠の拡大処理を行うことで、カメラ信号処理部１２では、映像表示装置４からの出力色成分が多い要素に対して引き込みやすくなり、映像表示装置４からの光などの既知の成分の光の影響を低減させつつ白色補正処理を行うことができる。
【００５１】
ここで、単に、映像表示装置からの光を白色補正処理によって補正させる光源としてみなして処理を行おうとする場合には、経時的に色情報が刻々と変化する映像表示装置から発せられるあらゆる色の光に対して白色補正処理を行わなければならない。このため、本来の白色補正処理として十分な効果が得られない。このような補正が不可能だった光源に対して、カメラ信号処理部１２では、映像表示装置４からの映像表示信号を表示前に受け取ることができるので精度よく白色補正処理を行うことができる。すなわち、カメラ信号処理部１２では、映像表示信号に基づいて、映像表示装置４で表示される表示画像と同期をとって白色補正処理の補正特性を制御することで、精度よく違和感のない画像を出力することができる。
【００５２】
なお、カメラ信号処理部１２では、映像表示装置４以外にも撮像画像に影響する光を発光する装置で、その出力成分をあらかじめ知り得ることができる装置による発光信号に基づいて適応的に白色補正処理を行うことが可能である。
【図面の簡単な説明】
【００５３】
【図１】ビジュアルコミュニケーションシステムの全体構成を示す図である。
【図２】撮像装置の全体構成を示すブロック図である。
【図３】カメラ信号処理部の全体構成を示すブロック図である。
【図４】色温度の空間上に定義される「引き込み枠」について説明するための図である。
【図５】色温度の空間上に定義される「引き込み枠」について説明するための図である。
【図６】制御部に係る「引き込み枠」の調整処理について説明するための図である。
【図７】補正係数算出部の具体的な構成を示すブロック図である。
【図８】補正係数算出部の処理について説明するための図である。
【図９】２次元座標上で定義される色空間における引き込み判定枠の各象限の領域について説明するための図である。
【符号の説明】
【００５４】
１ ビジュアルコミュニケーションシステム、２ 被写体、３ 撮像装置、４ 映像表示装置、４ａ インターフェース部、１１ イメージセンサ、１２ カメラ信号処理部、１３ 符号化処理部、１４ 通信部、１５ 記録媒体、２１ 白色補正部、２２ 信号処理部、２３ 信号積分部、２４ 制御部、２５ 照度検出部、２６ 距離検出部、２７ 動き検出部、２８ 補正係数算出部、３１ 照度影響度算出部、３２ 照度用ゲインテーブル、３３、３６、３９ 乗算器、３４ 距離影響度算出部、３５ 距離用ゲインテーブル、３７ 動き影響度算出部、３８ 動き用ゲインテーブル、４０ 加算器
【特許請求の範囲】
【請求項１】
光源の色温度により定義される引き込み枠内で、画像信号に対して白色補正処理を施して出力する白色補正部と、
発光装置による光が照射された被写体が撮像された画像信号に対して、上記白色補正部が白色補正処理を施すとき、上記発光装置により発光される発光信号の色情報に応じて上記引き込み枠の領域を調整する制御部とを備える画像処理装置。
【請求項２】
上記発光装置は、上記発光信号に応じた映像を表示する映像表示装置であり、
上記白色補正部は、画像信号の各色成分に対して白色補正係数を乗じることによって白色補正処理を施して出力し、
上記制御部は、上記発光信号に応じた映像における単位画面当たりの各色成分の積分情報に応じて、上記白色補正係数を調整する請求項１記載の画像処理装置。
【請求項３】
上記映像表示装置の光が照射された被写体が撮像された画像信号から、被写体の照度を検出する照度検出部を更に備え、
上記制御部は、上記照度検出部により検出される被写体の照度が低くなるのに伴って、上記白色補正部による白色補正処理の補正強度を強めるように上記白色補正係数を調整する請求項２記載の画像処理装置。
【請求項４】
上記映像表示装置の光が照射された被写体が撮像された画像信号から、被写体までの撮像距離を検出する距離検出部を更に備え、
上記制御部は、上記距離検出部により検出される撮像距離が短くなるのに伴って、上記白色補正部による白色補正処理の補正強度を強めるように上記白色補正係数を調整する請求項２記載の画像処理装置。
【請求項５】
上記映像表示装置の光が照射された被写体が撮像された画像信号から、被写体の動きを検出する動き検出部を更に備え、
上記制御部は、上記動き検出部により検出される被写体の動きが小さくなるのに伴って、上記白色補正部による白色補正処理の補正強度を強めるように上記白色補正係数を調整する請求項２記載の画像処理装置。
【請求項６】
発光装置の光が照射された被写体が撮像された画像信号に対して白色補正処理を施すとき、この発光装置により発光される発光信号の色情報に応じて、光源の色温度により定義される引き込み枠の領域を調整する調整ステップと、
上記調整ステップにより調整された引き込み枠内で、上記画像信号に対して白色補正処理を施して出力する白色補正ステップとを有する画像処理方法。
【請求項７】
発光装置の光が照射された被写体が撮像された画像信号に対して白色補正処理を施すとき、この発光装置により発光される発光信号の色情報に応じて、光源の色温度により定義される引き込み枠の領域を調整する調整ステップと、
上記調整ステップにより調整された引き込み枠内で、上記画像信号に対して白色補正処理を施して出力する白色補正ステップとを有する画像処理をコンピュータに実行させるためのプログラム。
【請求項８】
被写体を撮像する撮像部と、
光源の色温度により定義される引き込み枠内で、上記撮像部により撮像された画像信号に対して白色補正処理を施して出力する白色補正部と、
発光装置による光が照射された被写体が上記撮像部により撮像された画像信号に対して、上記白色補正部が白色補正処理を施すとき、上記発光装置により発光される発光信号の色情報に応じて上記引き込み枠の領域を調整する制御部とを備える撮像装置。
【請求項９】
上記発光装置を更に備え、
上記発光装置は、上記発光信号に応じた映像を表示するための映像表示装置である請求項８記載の撮像装置。
【請求項１】
光源の色温度により定義される引き込み枠内で、画像信号に対して白色補正処理を施して出力する白色補正部と、
発光装置による光が照射された被写体が撮像された画像信号に対して、上記白色補正部が白色補正処理を施すとき、上記発光装置により発光される発光信号の色情報に応じて上記引き込み枠の領域を調整する制御部とを備える画像処理装置。
【請求項２】
上記発光装置は、上記発光信号に応じた映像を表示する映像表示装置であり、
上記白色補正部は、画像信号の各色成分に対して白色補正係数を乗じることによって白色補正処理を施して出力し、
上記制御部は、上記発光信号に応じた映像における単位画面当たりの各色成分の積分情報に応じて、上記白色補正係数を調整する請求項１記載の画像処理装置。
【請求項３】
上記映像表示装置の光が照射された被写体が撮像された画像信号から、被写体の照度を検出する照度検出部を更に備え、
上記制御部は、上記照度検出部により検出される被写体の照度が低くなるのに伴って、上記白色補正部による白色補正処理の補正強度を強めるように上記白色補正係数を調整する請求項２記載の画像処理装置。
【請求項４】
上記映像表示装置の光が照射された被写体が撮像された画像信号から、被写体までの撮像距離を検出する距離検出部を更に備え、
上記制御部は、上記距離検出部により検出される撮像距離が短くなるのに伴って、上記白色補正部による白色補正処理の補正強度を強めるように上記白色補正係数を調整する請求項２記載の画像処理装置。
【請求項５】
上記映像表示装置の光が照射された被写体が撮像された画像信号から、被写体の動きを検出する動き検出部を更に備え、
上記制御部は、上記動き検出部により検出される被写体の動きが小さくなるのに伴って、上記白色補正部による白色補正処理の補正強度を強めるように上記白色補正係数を調整する請求項２記載の画像処理装置。
【請求項６】
発光装置の光が照射された被写体が撮像された画像信号に対して白色補正処理を施すとき、この発光装置により発光される発光信号の色情報に応じて、光源の色温度により定義される引き込み枠の領域を調整する調整ステップと、
上記調整ステップにより調整された引き込み枠内で、上記画像信号に対して白色補正処理を施して出力する白色補正ステップとを有する画像処理方法。
【請求項７】
発光装置の光が照射された被写体が撮像された画像信号に対して白色補正処理を施すとき、この発光装置により発光される発光信号の色情報に応じて、光源の色温度により定義される引き込み枠の領域を調整する調整ステップと、
上記調整ステップにより調整された引き込み枠内で、上記画像信号に対して白色補正処理を施して出力する白色補正ステップとを有する画像処理をコンピュータに実行させるためのプログラム。
【請求項８】
被写体を撮像する撮像部と、
光源の色温度により定義される引き込み枠内で、上記撮像部により撮像された画像信号に対して白色補正処理を施して出力する白色補正部と、
発光装置による光が照射された被写体が上記撮像部により撮像された画像信号に対して、上記白色補正部が白色補正処理を施すとき、上記発光装置により発光される発光信号の色情報に応じて上記引き込み枠の領域を調整する制御部とを備える撮像装置。
【請求項９】
上記発光装置を更に備え、
上記発光装置は、上記発光信号に応じた映像を表示するための映像表示装置である請求項８記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−６２６６８（Ｐ２０１０−６２６６８Ａ）
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願番号】特願２００８−２２３８６５（Ｐ２００８−２２３８６５）
【出願日】平成２０年９月１日（２００８．９．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願日】平成２０年９月１日（２００８．９．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]