光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置
【課題】高い精度で撮影光源の判別を行うことができる光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置を提供する。
【解決手段】画像において背景検出を行い、背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、光源推定用領域に基づいて画像が撮像された際の光源の種類の推定を行う光源推定部とを備える光源推定装置である。
【解決手段】画像において背景検出を行い、背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、光源推定用領域に基づいて画像が撮像された際の光源の種類の推定を行う光源推定部とを備える光源推定装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
従来から、静止画像や動画像を撮影するデジタルスチルカメラ、デジタルビデオカメラの多くは、ホワイトバランス調整処理を自動的に実行するオートホワイトバランス調整機能を備えている。
【０００３】
ホワイトバランス調整とは、白色を正確に白く映しだすように補正することにより撮影光源に対して適当な色の再現を行う処理である。オートホワイトバランスは、一般的に、画像信号中のＲ，Ｇ，Ｂの各信号に対して、画像中の基準とする白色点においてＲ信号、Ｇ信号、Ｂ信号の出力レベルを等しくなるようにゲインをかけることにより行われる。多くのデジタルスチルカメラはホワイトバランス調整を自動で行ういわゆるオートホワイトバランス機能を備えている。
【０００４】
オートホワイトバランス調整処理は、撮影光源の色温度に応じて白色が正しく表示されるように行われる処理であるため、オートホワイトバランス調整処理の前段階として撮影光源の推定が行われる（特許文献１）。撮影光源としては、例えば、光源としては例えば、太陽光、白熱灯、蛍光灯などがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３００２５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
オートホワイトバランスを行うにはまず、例えば、上述したような複数の光源に対して、予めそれぞれに適したホワイトバランス制御値をプリセットとして定めておく。そして、撮影光源推定を行い、推定された撮影光源に対応するプリセット値を選択することにより行われる。したがって、撮影光源の推定結果にずれが生じてしまうと、それに基づくオートホワイトバランス処理が適切に行われないこととなる。
【０００７】
本技術は、このような点に鑑みてなされたものであり、高い精度で撮影光源の判別を行うことができる光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、第１の発明は、画像において背景検出を行い、背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、光源推定用領域に基づいて画像が撮像された際の光源の種類の推定を行う光源推定部とを備える光源推定装置である。
【０００９】
また、第２の発明は、画像において背景検出を行い、背景検出の結果に基づいて光源推定用領域を設定し、光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う光源推定方法である。
【００１０】
また、第３の発明は、画像において背景検出を行い、背景検出の結果に基づいて光源推定用領域を設定し、光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う光源推定方法をコンピュータに実行させる光源推定プログラムである。
【００１１】
さらに、第４の発明は、撮像により入射光を電気信号に変換して画像信号を生成する撮像部と、撮像部により生成された前記画像において背景検出を行い、背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、光源推定用領域に基づいて画像が撮像された際の光源の種類の推定を行う光源推定部とを備える撮像装置である。
【発明の効果】
【００１２】
本技術によれば、撮影光源の推定の精度を高めることができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本技術の係る光源推定装置の構成を示すブロック図である。
【図２】図２は、第１の実施の形態に係る光源推定処理の流れを示すフローチャートである。
【図３】図３は、第１の実施の形態に係る光源推定処理の具体例を示す図である。
【図４】図４は、第２の実施の形態に係る光源推定処理の流れを示すフローチャートである。
【図５】図５は、第２の実施の形態に係る光源推定処理の具体例を示す図である。
【図６】図６は、第３の実施の形態に係る光源推定装置の構成を示すブロック図である。
【図７】図７は、第３の実施の形態に係る光源推定処理の流れを示すフローチャートである。
【図８】図８は、第３の実施の形態に係る光源推定処理の具体例を示す図である。
【図９】図９は、第３の実施の形態に係る光源推定処理の具体例を示す図である。
【図１０】図１０は、光源推定装置を備えるホワイトバランス調整装置の構成を示すブロック図である。
【図１１】図１１は、光源推定装置およびホワイトバランス調整装置を備える撮像装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以下の実施の形態のみに限定されるものではない。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１−１．光源推定装置の構成］
［１−２．光源推定処理］
＜２．第２の実施の形態＞
［２−１．光源推定処理］
＜３．第３の実施の形態＞
［３−１．光源推定装置の構成］
［３−２．光源推定処理］
＜４．光源推定装置を備えるホワイトバランス調整装置の構成＞
＜５．光源推定装置およびホワイトバランス調整装置を備える撮像装置の構成＞
＜６．変形例＞
【００１５】
＜１．第１の実施の形態＞
［１−１．光源推定装置の構成］
図１は、本技術の第１の実施の形態に係る光源推定装置１０の構成を示すブロック図である。光源推定装置１０は、光源推定用領域設定部１１と、光源推定部１２とから構成されている。また、光源推定用領域設定部１１は注目被写体検出部１３と領域設定処理部１４とからなる。
【００１６】
光源推定装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成され、所定のプログラムが実行されることなどにより実現される。ＲＯＭには、ＣＰＵにより読み込まれて動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行することによって、光源推定用領域設定部１１、注目被写体検出部１３、領域設定処理部１４、光源推定部１２として機能する。
【００１７】
ただし、光源推定装置１０は、ソフトウェアによって実現されるのみでなく、光源推定用領域設定部１１および光源推定部１２それぞれの機能を有するハードウェアを組み合わせることにより実現されてもよい。
【００１８】
光源推定用領域設定部１１は、入力された画像に対して光源推定処理に用いる領域（以下、光源推定用領域、と称する。）を設定するものである。光源推定用領域設定部１１は注目被写体検出部１３と領域設定処理部１４とからなる。
【００１９】
注目被写体検出部１３は、画像中の被写体から注目被写体を検出するものである。「注目被写体」とは、ユーザがその被写体を重視して好適な構図を得たいと思う被写体であり、例えば、人物、動物、建築物などである。なお、注目被写体は１つとは限らず、複数であってもよい。注目被写体を検出する方法としては、テンプレートマッチングなどによる公知の顔検出技術、人物検出技術、物体検出技術などを用いることができる。
【００２０】
また、動きベクトルを用いて、動きベクトルが所定量以上のものを注目被写体とするという手法も採用することができる。注目被写体以外の背景部分は動きが少ないのが通常であると考えられるからである。また、画像の輝度値を用いて注目被写体を検出することも可能である。例えば、輝度が所定の閾値以上である領域を注目被写体とし、輝度が所定の閾値以下である領域は注目被写体以外の背景であるとすることが考えられる。注目被写体はユーザが重要視しているため、他の被写体に比べて明るく写っている場合が多いと考えられるからである。なお、上述の各種方法のいずれか一つを用いるのではなく、複数の手法を組み合わせて、注目被写体検出の精度を高めるようにしてもよい。
【００２１】
領域設定処理部１４は、注目被写体検出部１３の検出結果を用いて、画像中から注目被写体に応じた領域を除いた領域をその画像中における背景とする。そして、その背景を画像中における光源推定用領域として設定する。「背景」とは、画像から注目被写体に応じた領域を除いた領域、のことをいうものである。
【００２２】
なお、光源推定用領域設定部１１は直接背景を検出を行い、検出された背景を光源推定用領域として取得するようにしてもよい。例えば、フォーカス位置、ズーム倍率などに基づいて、フォーカスが合っている領域が注目被写体であり、それ以外のフォーカスが合っていない領域が背景であるとして、背景検出を行うことができる。注目被写体を検出する手法と背景を検出する手法とでは設定される光源推定用領域は同じとなる。
【００２３】
また、必ずしも背景を検出する必要は無く、注目領域を抽出した後にその箇所を反転判別(除去)したり、画像全体の注目度を算出し、注目度に反比例した信号値の加工を行っても、目的とする事が実現されれば、その手段は何ら限定されるものではない。注目度算出の方法に関しても、Visual Attention技術のsaliency mapを用いたり、被写体までの距離を用いたり、画素閾値を用いたり、その手法は何でも構わない。Visual Attentionを用いて画像上の被写体の領域を正確に特定する技術としては例えば、特開２０１０−２６６９８２号公報、特開２０１１−１４６８２６号公報、特開２０１０−２６２５０６号公報などに記載されている技術を用いることができる。被写体までの距離を算出する技術としては特開２０１０−１６９７０９号公報に記載されている技術などを用いることができる。
【００２４】
光源推定部１２は、光源推定用領域設定部１１により設定された画像中の光源推定用領域に基づいて入力画像の撮像の際の光源の種類を推定するものである。画像中から除外され、光源推定用領域に含まれなかった領域は光源推定には用いられない。したがって、第１の実施の形態においては、注目被写体は光源推定には用いられない。
【００２５】
光源推定方法としては既存の種々の技術を用いることができる。例えば、信号成分検出を行い、その検波結果に基づいて現在の撮影光源を推定する。また、色信号の分布から光源を推定することも可能である。）また、ＲＧＢの画素信号により得られる光源の光の強さを示す値が評価空間を射影し、黒体輻射軌跡や、既知の光源の光の強さの評価空間上における特徴などを加味して、撮像環境における光源を推定する。推定される光源としては例えば、日中太陽光、日陰太陽光、白熱灯、白色蛍光灯、白熱灯、ＬＥＤなどがある。
【００２６】
以上のようにして、第１の実施の形態に係る光源推定装置１０が構成されている。
【００２７】
［１−２．光源推定処理］
次に、図２のフローチャートに基づいて、光源推定装置１０により行われる光源推定処理について説明する。まずステップＳ１１で、光源推定用領域設定部１１の注目被写体検出部１３が画像中から注目被写体を検出する。検出された注目被写体を示す情報は領域設定処理部１４に供給される。次に、ステップＳ１２で、光源推定用領域設定部１１の領域設定処理部１４は、画像中から注目被写体に応じた領域を除いた領域である背景を光源推定用領域として設定する。光源推定用領域を示す情報は光源推定部１２に供給される。そして、ステップＳ１３で、光源推定部１２が、設定された光源推定用領域に基づいて光源推定処理を行う。
【００２８】
図３に基づいて、第１の実施の形態における光源推定処理について具体的な画像の例を用いて説明する。図３Ａに示されるように、画像１００には注目被写体として人物が写っている。そして、図３Ｂに示されるように、光源推定用領域設定部１１の注目被写体検出部１３によってその人物が注目被写体１０１として検出される。そうすると、光源推定用領域設定部１１の領域設定処理部１４により、図３Ｃに示されるように、画像１００中から注目被写体１０１に応じた領域を除いた領域である背景が光源推定用領域１０２として設定される。図３Ｃにおいては斜線で示された領域が除外されて領域であり、それ以外の太線で囲まれた領域が光源推定用領域１０２として設定されている。この光源推定用領域１０２に基づいて光源推定処理が行われる。
【００２９】
一般的に、画像においては注目被写体は様々な色を有しており場合が多く、注目被写体以外の背景は無彩色、または淡い色であることが多い。よって、注目被写体を除外した領域のみを光源推定に用いることにより、ニュートラルカラーを精度よく得ることができ、光源推定の精度を高めることが可能となる。
【００３０】
＜２．第２の実施の形態＞
［２−１．光源推定処理］
次に、本技術に係る光源推定装置の第２の実施の形態について説明する。第２の実施の形態における光源推定装置の構成は第１の実施の形態と同様であるため、その説明を省略する。図４は第２の実施の形態に係る光源推定処理の流れを示すフローチャートである。
【００３１】
第２の実施の形態は、ステップＳ２１、ステップＳ２２、ステップＳ２３を行う点で第１の実施の形態と異なる。なお、ステップＳ１１およびステップＳ１３は第１の実施の形態と同様である。第２の実施の形態は、注目被写体が所定のサイズよりも大きい場合には注目被写体を除外した領域ではなく、画像全体に基づいて光源推定を行うものである。
【００３２】
まずステップＳ１１で、光源推定用領域設定部１１の注目被写体検出部１３が画像から注目被写体を検出する。次にステップＳ２１で、光源推定用領域設定部１１の領域設定処理部１４は注目被写体が所定のサイズ以上であるか否かを判定する。この判定は例えば、注目被写体を構成する全ピクセルの数と、予め定めた閾値としての比較用ピクセル数とを比較し、注目被写体を構成するピクセル数が比較用ピクセル数以上である場合には注目被写体は所定のサイズ以上であると判定することにより行うことができる。また、具体的なピクセル数と比較するのではなく、注目被写体のピクセル数が画像全体のピクセル数の所定の割合を占めている場合に注目被写体は所定のサイズ以上であると判定するようにしてもよい。
【００３３】
注目被写体が所定のサイズ以上ではないと判定された場合、処理はステップＳ２２に進む（ステップＳ２１のＮｏ）。そして、第１の実施の形態と同様に、光源推定用領域設定部１１の領域設定処理部１４は、画像から注目被写体に応じた領域を除いた領域である背景を光源推定用領域として設定する。そして、ステップＳ１３で、光源推定部１２は光源推定用領域に基づいて光源推定処理を行う。
【００３４】
一方、ステップＳ２１で注目被写体が所定のサイズ以上であると判定された場合、処理はステップＳ２３に進む（ステップＳ２１のＹｅｓ）。そして、ステップＳ２３で、光源推定用領域設定部１１の領域設定処理部１４は画像全体を光源推定用領域として設定する。そして、ステップＳ１３で、光源推定部１２は光源推定用領域に基づいて光源推定処理を行う。
【００３５】
次に図５に基づいて、第２の実施の形態における光源推定処理について具体的な画像の例を用いて説明する。図５Ａに示されるように、画像２００には人物が写っている。そして、図５Ｂに示されるように、光源推定用領域設定部１１の注目被写体検出部１３によってその人物が注目被写体２０１として検出される。しかし、注目被写体２０１は所定のサイズよりも大きいため、図５Ｃに示されるように、太線で囲まれた画像全体が光源推定用領域２０２として設定される。一方、注目被写体２０１が所定のサイズ以下である場合には、第１の実施の形態において図３で示した例と同様に注目被写体に応じた領域を除いた領域である背景が光源推定用領域として設定される。
【００３６】
このように、第２の実施の形態によれば、画像中において注目被写体が大きい場合にはその注目被写体を除いた領域ではなく画像全体に基づいて光源推定を行う。これは、注目被写体が大きいとその注目被写体を除いた領域は狭くなってしまい、光源推定の精度が低下してしまうからである。よって、注目被写体が大きい場合には画像全体を光源推定用領域として光源推定を行うことにより、光源推定の精度が下がることを防止する。
【００３７】
＜３．第３の実施の形態＞
［３−１．光源推定装置の構成］
次に、本技術に係る光源推定装置３０の第３の実施の形態について説明する。図６は第３の実施の形態に係る光源推定装置３０の構成を示すブロック図である。第３の実施の形態は、光源推定用領域設定部１１が彩度検出部３１を備える点で第１および第２の実施の形態と相違する。注目被写体検出部１３および光源推定部１２は第１および第２の実施の形態と同様である。
【００３８】
彩度検出部３１は、画像においてたとえば色差信号Ｕ、Ｖより彩度を検出する。そして、彩度が所定の閾値以上である範囲、すなわち彩度が高い領域（以下、高彩度領域、と称する。）を検出する。彩度と比較する閾値はユーザが設定できるようにしてもよいし、予めデフォルトで設定されていてもよい。また、画像に対応して動的に変化するようにしてもよい。彩度検出部３１による検出結果は領域設定処理部１４に供給される。領域設定処理部１４は、注目被写体検出部１３および彩度検出部３１からの検出結果に基づいて画像に対して光源推定用領域を設定する。設定された光源推定用領域を示す情報は光源推定部１２に供給される。光源推定部１２はその光源推定用領域に基づいて光源推定処理を行う。
【００３９】
［３−２．光源推定処理］
次に、第３の実施の形態に係る光源推定処理について説明する。図７は第３の実施の形態に係る光源推定処理の流れを示すフローチャートである。なお、ステップＳ１１、ステップＳ１３は第１の実施の形態と同様であり。また、ステップＳ２１、ステップＳ２３は第２の実施の形態と同様であるためその説明を省略する。
【００４０】
ステップＳ１１で注目被写体が検出され、ステップＳ２２で、注目被写体が所定のサイズ以上ではないと判定された場合、処理はステップＳ３１に進む（ステップＳ２１のＮｏ）。次にステップＳ３１で、彩度検出部３１は画像全体について彩度を検出し、彩度が所定の閾値以上の領域である高彩度領域を検出する。
【００４１】
次にステップＳ３２で、領域設定処理部１４は、画像全体から注目被写体および高彩度領域を除外した領域（以下、残存領域と称する。）が所定のサイズ以上であるか否かを判定する。この判定は、例えば、残存領域のピクセル数と予め定めた比較用ピクセル数とを比較し、残存領域のピクセル数が比較用ピクセル数以上である場合には残存領域は所定のサイズ以上であると判定することにより行うことができる。また、具体的なピクセル数と比較するのではなく、残存領域のピクセル数が画像全体のピクセル数の所定の割合を占めている場合に残存領域は所定のサイズ以上であると判定するようにしてもよい。なお、この「所定のサイズ」はステップＳ２１における「所定のサイズ」とは別個のものである。
【００４２】
残存領域と比較する所定のサイズは例えば、画像全体の半分のサイズなどである。所定のサイズはユーザが任意に設定できるようにしてもよいし、予めデフォルトとして設定しておいてもよい。また、画像に対応して動的に変化するようにしてもよい。
【００４３】
そしてステップＳ３２で、残存領域が所定のサイズ以上であると判定された場合、処理はステップＳ３３に進む（ステップＳ３２のＹｅｓ）。ステップＳ３３で、光源推定用領域設定部１１は、残存領域を光源推定用領域として設定する。そして、ステップＳ１３で、光源推定部１２が光源推定用領域に基づいて光源推定処理を行う。
【００４４】
一方、ステップＳ３２で、残存領域が所定のサイズ以上ではないと判定された場合、処理はステップＳ３４に進む（ステップＳ３２のＮｏ）。ステップＳ３４では、光源推定用領域設定処理部１４は、残存領域と注目被写体とからなる領域を光源推定用領域として設定する。そして、ステップＳ１３で、光源推定部１２が光源推定用領域に基づいて光源推定処理を行う。
【００４５】
図８および図９に基づいて、第３の実施の形態における光源推定処理について具体的な画像の例を用いて説明する。図８Ａに示されるように、画像３００には注目被写体として人物が写っている。そして、図８Ｂに示されるように、光源推定用領域設定部１１の注目被写体検出部１３によってその人物が注目被写体３０１として検出される。また、図８Ｃに示されるように、光源推定用領域設定部１１の彩度検出部３１により高彩度領域３０２が検出される。そして、注目被写体３０１と高彩度領域３０２とが除外された残存領域が所定のサイズ以上である場合には、図８Ｄに示されるように、残存領域が光源推定用領域３０３として設定される。図８Ｄにおいては斜線で示された領域が除外されて領域であり、それ以外の太線で囲まれた領域が光源推定用領域３０３として設定された残存領域である。
【００４６】
図９Ａにも同様に画像３１０には人物が写っている。そして、図９Ｂに示されるように、光源推定用領域設定部１１の注目被写体検出部１３によってその人物が注目被写体３１１として検出される。また、図９Ｃに示されるように、光源推定用領域設定部１１の彩度検出部３１により高彩度領域３１２が検出される。そして、注目被写体３１１と高彩度領域３１２とが除外された残存領域が所定のサイズ以上ではない場合（残存領域が狭い場合）には、図９Ｄに示されるように、残存領域と注目被写体により構成される領域が光源推定用領域３１３として設定される。図９Ｄにおいては、斜線で示された領域が高彩度であるために除外されて領域であり、それ以外の太線で囲まれた領域が光源推定用領域３１３として設定された領域である。
【００４７】
このように、第３の実施の形態によれば、画像中において彩度が高い領域が存在する場合には、その高彩度領域と注目被写体とを光源推定用領域から除外する。これにより、光源のニュートラルカラーを精度よく得られ、光源判別の精度を高めることができる。ただし、高彩度領域と注目被写体とを除いた残存領域が狭い場合にその残存領域を光源推定用領域とすると光源推定の精度が低下してしまう。よって、残存領域が狭い場合には高彩度領域を除外した領域を光源推定用領域として光源推定を行うことにより、光源推定の精度が下がることを防止する。
【００４８】
＜４．光源推定装置を備えるホワイトバランス調整装置の構成＞
上述のように構成されている光源推定装置による光源推定結果は例えば、ホワイトバランス調整処理に用いられる。そこで、光源推定装置を備えるホワイトバランス調整装置４０について説明する。図１０はホワイトバランス調整装置４０の構成を示すブロック図である。
【００４９】
ホワイトバランス調整装置４０は、制御部４１とホワイトバランスアンプ４２とから構成されている。制御部４１は、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成され、所定のプログラムを実行することにより、光源推定用領域設定部１１、光源推定部１２およびアンプゲイン設定部４３として機能する。光源推定用領域設定部１１、光源推定部１２は光源推定装置を構成するものであり、上述した第１乃至第３の実施の形態のものと同様のものであるため、その説明を省略する。
【００５０】
光源推定用領域設定部１１には例えば、撮像装置が備える前処理回路５４からＲＧＢの画像信号が供給される。前処理回路５４は例えば、撮像素子から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。前処理回路５４からの画像信号はホワイトバランスアンプ４２にも供給される。
【００５１】
アンプゲイン設定部４３は、光源推定部１２による推定結果に基づき、推定された光源に応じたホワイトバランスゲインの制御値を設定する。設定されたアンプゲイン値はホワイトバランスアンプ４２に供給される。
【００５２】
アンプゲイン設定部４３は例えば、予め用意しておいたルックアップテーブルに複数の光源のそれぞれについて、１組ずつＲＧＢのホワイトバランスゲインｇｒ、ｇｇ、ｇｂを保持しておく。そして、光源推定部１２によって推定された光源の種別に従って、光源に対応するホワイトバランスゲインの組を読み出して、それをホワイトバランスアンプ４２に供給する。
【００５３】
ホワイトバランスアンプ４２は、アンプゲイン設定部４３から供給されたホワイトバランスゲインに従ってＲＧＢ各信号成分の利得を制御し、画像信号に対してホワイトバランス調整処理を施す。ホワイトバランスアンプ４２は、Ｒ信号、Ｇ信号、Ｂ信号にそれぞれ対応して３つの可変ゲインアンプ４２Ｒ、４２Ｇ、４２Ｂを備える。３つの可変ゲインアンプ４２Ｒ、４２Ｇ、４２ＢにはそれぞれＲＧＢ信号が入力される。可変ゲインアンプ４２Ｒ、４２Ｇ、４２Ｂは、それぞれアンプゲイン設定部４３によって設定されるゲインに従って、それぞれＲ信号、Ｇ信号、Ｂ信号の増幅（又は減衰）を行い、出力する。なお、アンプゲイン設定部４３とホワイトバランスアンプ４２とが特許請求の範囲におけるホワイトバランス調整部に相当する。
【００５４】
＜５．光源推定装置およびホワイトバランス調整装置を備える撮像装置の構成＞
上述した光源推定装置およびホワイトバランス調整装置は例えば撮像装置に適用可能である。そこで、次に、光源推定装置およびホワイトバランス調整装置の機能を備える撮像装置５０の構成について説明する。図１１は、撮像装置５０の全体構成を示すブロック図である。
【００５５】
撮像装置５０は、光学撮像系５１、撮像素子５２、タイミングジェネレータ５３、前処理回路５４、ホワイトバランスアンプ４２、カメラ処理回路５５、エンコーダ／デコーダ５６、制御部５７、光源推定用領域設定部１１、光源推定部１２、アンプゲイン設定部４３、入力部５８、グラフィックＩ／Ｆ（Interface）５９、表示部６０、Ｒ／Ｗ（リーダ／ライタ）６１、および記憶媒体６２から構成されている。
【００５６】
光学撮像系５１は、被写体からの光を撮像素子５２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは制御部５７からの制御信号に基づいて駆動される。光学撮像系５１を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子５２上に結像される。
【００５７】
撮像素子５２は、タイミングジェネレータ５３から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子５２３から出力されるアナログ撮像信号は、前処理回路５４に出力される。撮像素子５２としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。タイミングジェネレータ５３は、制御部５７の制御に従い撮像素子５２に対してタイミング信号を出力する。
【００５８】
前処理回路５４は、撮像素子５２から出力されたアナログ撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。前処理回路５４からホワイトバランスアンプ４２に画像信号が供給される。また、光源推定のために、前処理回路５４から光源推定装置として機能する制御部５７にも画像信号が供給される。
【００５９】
ホワイトバランスアンプ４２は、上述したホワイトバランス調整装置を構成するものであり、前処理回路５４から供給された画像信号に対してホワイトバランス調整処理を施す。
【００６０】
カメラ処理回路５５は、前処理回路５４からの画像信号に対して、例えば色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。
【００６１】
エンコーダ／デコーダ５６は、カメラ処理回路５５からの画像信号に対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。
【００６２】
制御部５７は、例えばＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置５０全体の制御を行う。また、制御部５７は所定のプログラムを実行することにより、光源推定装置およびホワイトバランス調整装置を構成する光源推定用領域設定部１１、光源推定部１２およびアンプゲイン設定部４３として機能する。
【００６３】
入力部５８は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、その他各種入力を受け付けるタッチパネルなどからなる入力手段である。入力部５８に対して入力がなされると、その入力に応じた制御信号が生成されて制御部５７に出力される。そして、制御部５７はその制御信号に対応した演算処理や制御を行う。
【００６４】
グラフィックＩ／Ｆ５９は、制御部５７から供給された画像信号から、表示部６０に表示させるための画像信号を生成して、この信号を表示部６０に供給することにより画像を表示させる。表示部６０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示手段である。表示部６０には、撮像中のカメラスルー画、記憶媒体６２に記録された画像などを表示が表示される。
【００６５】
Ｒ／Ｗ６１には、撮像により生成された画像データなどを記録する記憶媒体６２が接続されるインターフェースである。Ｒ／Ｗ６１は、制御部５７から供給されたデータを記憶媒体６２に書き込み、また、記憶媒体６２から読み出したデータを制御部５７に出力する。記憶媒体６２は、撮像により生成された画像データなどを記録するものである。記憶媒体６２は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧなどの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。
【００６６】
ここで、上述した撮像装置５０における基本的な動作について説明する。画像の撮像前には、撮像素子５２によって受光されて光電変換された信号が、順次前処理回路５４に供給される。前処理回路５４では、入力信号に対してＣＤＳ処理、ＡＧＣ処理などが施され、さらに画像信号に変換される。そして、画像信号は制御部５７に供給され、光源推定用領域設定、光源推定、アンプゲイン設定がなされ、画像信号に対してホワイトバランスアンプ４２によりホワイトバランス調整処理が施される。
【００６７】
カメラ処理回路５５は、ホワイトバランスアンプ４２から供給された画像信号を画質補正処理し、カメラスルー画像の信号として、制御部５７を介してグラフィックＩ／Ｆ５９に供給する。これにより、カメラスルー画像が表示部６０に表示される。ユーザは表示部６０に表示されるスルー画を見て画角合わせを行うことができる。
【００６８】
この状態で、入力部５８のレリーズボタンが押下されると、制御部５７は、光学撮像系５１およびタイミングジェネレータ５３に制御信号を出力して、光学撮像系５１を構成するシャッタを動作させる。これにより撮像素子５２からは、１フレーム分の画像信号が出力される。
【００６９】
カメラ処理回路５５は、撮像素子５２から前処理回路５４を介して供給された１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号をエンコーダ／デコーダ５６に供給する。エンコーダ／デコーダ５６は、入力された画像信号を圧縮符号化し、生成した符号化データを、制御部４１を介してＲ／Ｗ６１に供給する。これにより、撮像された静止画像のデータファイルが記憶媒体６２に記憶される。
【００７０】
一方、記憶媒体６２に記憶された画像ファイルを再生する場合には、制御部５７は、入力部５８からの操作入力に応じて、選択された静止画像ファイルを記憶媒体６２からＲ／Ｗ６１を介して読み込む。読み込まれた画像ファイルは、エンコーダ／デコーダ５６に供給されて伸張復号化処理が施される。そして、復号化された画像信号は制御部５７を介してグラフィックＩ／Ｆ５９に供給される。これにより、記憶媒体６２に記憶された静止画像が表示部６０に表示される。
【００７１】
なお、上述の撮像装置５０の画像処理機能は、コンピュータによって実現することができる。その場合、この撮像装置５０が有すべき機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上述の処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、光ディスク、半導体メモリなどのコンピュータで読み取り可能な記憶媒体６２に記録しておくことができる。
【００７２】
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記憶媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、そのプログラムを転送することもできる。
【００７３】
プログラムを実行するコンピュータは、例えば、可搬型記憶媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記憶媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００７４】
＜６．変形例＞
以上、本技術の一実施の形態について具体的に説明したが、本技術は、上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。本技術に係る光源推定装置、ホワイトバランス調整装置はデジタルスチルカメラの他にもデジタルビデオカメラにも適用可能である。さらに、カメラ機能を有する携帯電話機、スマートフォン、タブレット端末などにも適用可能である。また、カメラ機能を有する電子機器に以外でも、カメラ機能を有さないパーソナルコンピュータ、携帯電話機、スマートフォン、タブレット端末などにおける画像処理に本技術は適用可能である。
【００７５】
また、本技術はイメージャなどの光学撮像系、画像エンジンなどを左目用と右目用とで２つ備え、３次元画像（３Ｄ画像）の撮影機能を持つ２眼の撮像装置にも適用可能である。この場合、左目用画像と右目用画像とでそれぞれ独立して光源推定およびホワイトバランス調整を行なってもよいし、左目用画像と右目用画像とで共通の光源推定およびホワイトバランス調整を行なってもよい。
【００７６】
なお、本技術は以下のような構成も取ることができる。
【００７７】
（１）画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う光源推定部と
を備える光源推定装置。
【００７８】
（２）前記光源推定用領域設定部は、前記画像中における注目被写体を検出し、前記画像から前記注目被写体に応じた領域を除いた領域を背景として検出する
前記（１）に記載の光源推定装置。
【００７９】
（３）前記光源推定用領域設定部は、前記背景を前記光源推定用領域として設定する
前記（２）に記載の光源推定装置。
【００８０】
（４） 前記光源推定用領域設定部は、前記注目被写体が所定のサイズ以下である場合には、前記背景を前記光源推定用領域として設定する
前記（２）に記載の光源推定装置。
【００８１】
（５）前記光源推定用領域設定部は、前記注目被写体が所定のサイズ以上である場合には、前記画像の全域を前記光源推定用領域として設定する
前記（１）から（４）のいずれかに記載の光源推定装置。
【００８２】
（６）前記光源推定用領域設定部は、前記画像中から彩度が高い高彩度領域を検出し、前記画像中から該高彩度領域を除いた領域を前記光源推定用領域として設定する
前記（１）から（５）のいずれかに記載の光源推定装置。
【００８３】
（７）前記光源推定用領域設定部は、前記画像中における注目被写体を検出し、さらに、前記画像中における彩度が高い高彩度領域を検出し、前記注目被写体に応じた領域および前記高彩度領域を除いた領域が所定のサイズ以下である場合には、前記高彩度領域を除いた領域を前記光源推定用領域として設定する
前記（１）から（６）のいずれかに記載の光源推定装置。
【００８４】
（８）画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定し、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う
光源推定方法。
【００８５】
（９）画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定し、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う
光源推定方法をコンピュータに実行させる光源推定プログラム。
【００８６】
（１０）撮像により入射光を電気信号に変換して画像信号を生成する撮像部と、
該撮像部により生成された前記画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う光源推定部と
を備える撮像装置。
【符号の説明】
【００８７】
１０、３０・・・光源推定装置
１１・・・・・・光源推定用領域設定部
１２・・・・・・光源推定部
４０・・・・・・ホワイトバランス調整装置
４２・・・・・・ホワイトバランスアンプ
４３・・・・・・アンプゲイン設定部
５０・・・・・・撮像装置
５２・・・・・・撮像素子
【技術分野】
【０００１】
本技術は、光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置に関する。
【背景技術】
【０００２】
従来から、静止画像や動画像を撮影するデジタルスチルカメラ、デジタルビデオカメラの多くは、ホワイトバランス調整処理を自動的に実行するオートホワイトバランス調整機能を備えている。
【０００３】
ホワイトバランス調整とは、白色を正確に白く映しだすように補正することにより撮影光源に対して適当な色の再現を行う処理である。オートホワイトバランスは、一般的に、画像信号中のＲ，Ｇ，Ｂの各信号に対して、画像中の基準とする白色点においてＲ信号、Ｇ信号、Ｂ信号の出力レベルを等しくなるようにゲインをかけることにより行われる。多くのデジタルスチルカメラはホワイトバランス調整を自動で行ういわゆるオートホワイトバランス機能を備えている。
【０００４】
オートホワイトバランス調整処理は、撮影光源の色温度に応じて白色が正しく表示されるように行われる処理であるため、オートホワイトバランス調整処理の前段階として撮影光源の推定が行われる（特許文献１）。撮影光源としては、例えば、光源としては例えば、太陽光、白熱灯、蛍光灯などがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３００２５３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
オートホワイトバランスを行うにはまず、例えば、上述したような複数の光源に対して、予めそれぞれに適したホワイトバランス制御値をプリセットとして定めておく。そして、撮影光源推定を行い、推定された撮影光源に対応するプリセット値を選択することにより行われる。したがって、撮影光源の推定結果にずれが生じてしまうと、それに基づくオートホワイトバランス処理が適切に行われないこととなる。
【０００７】
本技術は、このような点に鑑みてなされたものであり、高い精度で撮影光源の判別を行うことができる光源推定装置、光源推定方法、光源推定プログラムおよび撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述した課題を解決するために、第１の発明は、画像において背景検出を行い、背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、光源推定用領域に基づいて画像が撮像された際の光源の種類の推定を行う光源推定部とを備える光源推定装置である。
【０００９】
また、第２の発明は、画像において背景検出を行い、背景検出の結果に基づいて光源推定用領域を設定し、光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う光源推定方法である。
【００１０】
また、第３の発明は、画像において背景検出を行い、背景検出の結果に基づいて光源推定用領域を設定し、光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う光源推定方法をコンピュータに実行させる光源推定プログラムである。
【００１１】
さらに、第４の発明は、撮像により入射光を電気信号に変換して画像信号を生成する撮像部と、撮像部により生成された前記画像において背景検出を行い、背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、光源推定用領域に基づいて画像が撮像された際の光源の種類の推定を行う光源推定部とを備える撮像装置である。
【発明の効果】
【００１２】
本技術によれば、撮影光源の推定の精度を高めることができる。
【図面の簡単な説明】
【００１３】
【図１】図１は、本技術の係る光源推定装置の構成を示すブロック図である。
【図２】図２は、第１の実施の形態に係る光源推定処理の流れを示すフローチャートである。
【図３】図３は、第１の実施の形態に係る光源推定処理の具体例を示す図である。
【図４】図４は、第２の実施の形態に係る光源推定処理の流れを示すフローチャートである。
【図５】図５は、第２の実施の形態に係る光源推定処理の具体例を示す図である。
【図６】図６は、第３の実施の形態に係る光源推定装置の構成を示すブロック図である。
【図７】図７は、第３の実施の形態に係る光源推定処理の流れを示すフローチャートである。
【図８】図８は、第３の実施の形態に係る光源推定処理の具体例を示す図である。
【図９】図９は、第３の実施の形態に係る光源推定処理の具体例を示す図である。
【図１０】図１０は、光源推定装置を備えるホワイトバランス調整装置の構成を示すブロック図である。
【図１１】図１１は、光源推定装置およびホワイトバランス調整装置を備える撮像装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１４】
以下、本技術の実施の形態について図面を参照しながら説明する。ただし、本技術は以下の実施の形態のみに限定されるものではない。なお、説明は以下の順序で行う。
＜１．第１の実施の形態＞
［１−１．光源推定装置の構成］
［１−２．光源推定処理］
＜２．第２の実施の形態＞
［２−１．光源推定処理］
＜３．第３の実施の形態＞
［３−１．光源推定装置の構成］
［３−２．光源推定処理］
＜４．光源推定装置を備えるホワイトバランス調整装置の構成＞
＜５．光源推定装置およびホワイトバランス調整装置を備える撮像装置の構成＞
＜６．変形例＞
【００１５】
＜１．第１の実施の形態＞
［１−１．光源推定装置の構成］
図１は、本技術の第１の実施の形態に係る光源推定装置１０の構成を示すブロック図である。光源推定装置１０は、光源推定用領域設定部１１と、光源推定部１２とから構成されている。また、光源推定用領域設定部１１は注目被写体検出部１３と領域設定処理部１４とからなる。
【００１６】
光源推定装置１０は、例えば、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）およびＲＯＭ（Read Only Memory）などから構成され、所定のプログラムが実行されることなどにより実現される。ＲＯＭには、ＣＰＵにより読み込まれて動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行することによって、光源推定用領域設定部１１、注目被写体検出部１３、領域設定処理部１４、光源推定部１２として機能する。
【００１７】
ただし、光源推定装置１０は、ソフトウェアによって実現されるのみでなく、光源推定用領域設定部１１および光源推定部１２それぞれの機能を有するハードウェアを組み合わせることにより実現されてもよい。
【００１８】
光源推定用領域設定部１１は、入力された画像に対して光源推定処理に用いる領域（以下、光源推定用領域、と称する。）を設定するものである。光源推定用領域設定部１１は注目被写体検出部１３と領域設定処理部１４とからなる。
【００１９】
注目被写体検出部１３は、画像中の被写体から注目被写体を検出するものである。「注目被写体」とは、ユーザがその被写体を重視して好適な構図を得たいと思う被写体であり、例えば、人物、動物、建築物などである。なお、注目被写体は１つとは限らず、複数であってもよい。注目被写体を検出する方法としては、テンプレートマッチングなどによる公知の顔検出技術、人物検出技術、物体検出技術などを用いることができる。
【００２０】
また、動きベクトルを用いて、動きベクトルが所定量以上のものを注目被写体とするという手法も採用することができる。注目被写体以外の背景部分は動きが少ないのが通常であると考えられるからである。また、画像の輝度値を用いて注目被写体を検出することも可能である。例えば、輝度が所定の閾値以上である領域を注目被写体とし、輝度が所定の閾値以下である領域は注目被写体以外の背景であるとすることが考えられる。注目被写体はユーザが重要視しているため、他の被写体に比べて明るく写っている場合が多いと考えられるからである。なお、上述の各種方法のいずれか一つを用いるのではなく、複数の手法を組み合わせて、注目被写体検出の精度を高めるようにしてもよい。
【００２１】
領域設定処理部１４は、注目被写体検出部１３の検出結果を用いて、画像中から注目被写体に応じた領域を除いた領域をその画像中における背景とする。そして、その背景を画像中における光源推定用領域として設定する。「背景」とは、画像から注目被写体に応じた領域を除いた領域、のことをいうものである。
【００２２】
なお、光源推定用領域設定部１１は直接背景を検出を行い、検出された背景を光源推定用領域として取得するようにしてもよい。例えば、フォーカス位置、ズーム倍率などに基づいて、フォーカスが合っている領域が注目被写体であり、それ以外のフォーカスが合っていない領域が背景であるとして、背景検出を行うことができる。注目被写体を検出する手法と背景を検出する手法とでは設定される光源推定用領域は同じとなる。
【００２３】
また、必ずしも背景を検出する必要は無く、注目領域を抽出した後にその箇所を反転判別(除去)したり、画像全体の注目度を算出し、注目度に反比例した信号値の加工を行っても、目的とする事が実現されれば、その手段は何ら限定されるものではない。注目度算出の方法に関しても、Visual Attention技術のsaliency mapを用いたり、被写体までの距離を用いたり、画素閾値を用いたり、その手法は何でも構わない。Visual Attentionを用いて画像上の被写体の領域を正確に特定する技術としては例えば、特開２０１０−２６６９８２号公報、特開２０１１−１４６８２６号公報、特開２０１０−２６２５０６号公報などに記載されている技術を用いることができる。被写体までの距離を算出する技術としては特開２０１０−１６９７０９号公報に記載されている技術などを用いることができる。
【００２４】
光源推定部１２は、光源推定用領域設定部１１により設定された画像中の光源推定用領域に基づいて入力画像の撮像の際の光源の種類を推定するものである。画像中から除外され、光源推定用領域に含まれなかった領域は光源推定には用いられない。したがって、第１の実施の形態においては、注目被写体は光源推定には用いられない。
【００２５】
光源推定方法としては既存の種々の技術を用いることができる。例えば、信号成分検出を行い、その検波結果に基づいて現在の撮影光源を推定する。また、色信号の分布から光源を推定することも可能である。）また、ＲＧＢの画素信号により得られる光源の光の強さを示す値が評価空間を射影し、黒体輻射軌跡や、既知の光源の光の強さの評価空間上における特徴などを加味して、撮像環境における光源を推定する。推定される光源としては例えば、日中太陽光、日陰太陽光、白熱灯、白色蛍光灯、白熱灯、ＬＥＤなどがある。
【００２６】
以上のようにして、第１の実施の形態に係る光源推定装置１０が構成されている。
【００２７】
［１−２．光源推定処理］
次に、図２のフローチャートに基づいて、光源推定装置１０により行われる光源推定処理について説明する。まずステップＳ１１で、光源推定用領域設定部１１の注目被写体検出部１３が画像中から注目被写体を検出する。検出された注目被写体を示す情報は領域設定処理部１４に供給される。次に、ステップＳ１２で、光源推定用領域設定部１１の領域設定処理部１４は、画像中から注目被写体に応じた領域を除いた領域である背景を光源推定用領域として設定する。光源推定用領域を示す情報は光源推定部１２に供給される。そして、ステップＳ１３で、光源推定部１２が、設定された光源推定用領域に基づいて光源推定処理を行う。
【００２８】
図３に基づいて、第１の実施の形態における光源推定処理について具体的な画像の例を用いて説明する。図３Ａに示されるように、画像１００には注目被写体として人物が写っている。そして、図３Ｂに示されるように、光源推定用領域設定部１１の注目被写体検出部１３によってその人物が注目被写体１０１として検出される。そうすると、光源推定用領域設定部１１の領域設定処理部１４により、図３Ｃに示されるように、画像１００中から注目被写体１０１に応じた領域を除いた領域である背景が光源推定用領域１０２として設定される。図３Ｃにおいては斜線で示された領域が除外されて領域であり、それ以外の太線で囲まれた領域が光源推定用領域１０２として設定されている。この光源推定用領域１０２に基づいて光源推定処理が行われる。
【００２９】
一般的に、画像においては注目被写体は様々な色を有しており場合が多く、注目被写体以外の背景は無彩色、または淡い色であることが多い。よって、注目被写体を除外した領域のみを光源推定に用いることにより、ニュートラルカラーを精度よく得ることができ、光源推定の精度を高めることが可能となる。
【００３０】
＜２．第２の実施の形態＞
［２−１．光源推定処理］
次に、本技術に係る光源推定装置の第２の実施の形態について説明する。第２の実施の形態における光源推定装置の構成は第１の実施の形態と同様であるため、その説明を省略する。図４は第２の実施の形態に係る光源推定処理の流れを示すフローチャートである。
【００３１】
第２の実施の形態は、ステップＳ２１、ステップＳ２２、ステップＳ２３を行う点で第１の実施の形態と異なる。なお、ステップＳ１１およびステップＳ１３は第１の実施の形態と同様である。第２の実施の形態は、注目被写体が所定のサイズよりも大きい場合には注目被写体を除外した領域ではなく、画像全体に基づいて光源推定を行うものである。
【００３２】
まずステップＳ１１で、光源推定用領域設定部１１の注目被写体検出部１３が画像から注目被写体を検出する。次にステップＳ２１で、光源推定用領域設定部１１の領域設定処理部１４は注目被写体が所定のサイズ以上であるか否かを判定する。この判定は例えば、注目被写体を構成する全ピクセルの数と、予め定めた閾値としての比較用ピクセル数とを比較し、注目被写体を構成するピクセル数が比較用ピクセル数以上である場合には注目被写体は所定のサイズ以上であると判定することにより行うことができる。また、具体的なピクセル数と比較するのではなく、注目被写体のピクセル数が画像全体のピクセル数の所定の割合を占めている場合に注目被写体は所定のサイズ以上であると判定するようにしてもよい。
【００３３】
注目被写体が所定のサイズ以上ではないと判定された場合、処理はステップＳ２２に進む（ステップＳ２１のＮｏ）。そして、第１の実施の形態と同様に、光源推定用領域設定部１１の領域設定処理部１４は、画像から注目被写体に応じた領域を除いた領域である背景を光源推定用領域として設定する。そして、ステップＳ１３で、光源推定部１２は光源推定用領域に基づいて光源推定処理を行う。
【００３４】
一方、ステップＳ２１で注目被写体が所定のサイズ以上であると判定された場合、処理はステップＳ２３に進む（ステップＳ２１のＹｅｓ）。そして、ステップＳ２３で、光源推定用領域設定部１１の領域設定処理部１４は画像全体を光源推定用領域として設定する。そして、ステップＳ１３で、光源推定部１２は光源推定用領域に基づいて光源推定処理を行う。
【００３５】
次に図５に基づいて、第２の実施の形態における光源推定処理について具体的な画像の例を用いて説明する。図５Ａに示されるように、画像２００には人物が写っている。そして、図５Ｂに示されるように、光源推定用領域設定部１１の注目被写体検出部１３によってその人物が注目被写体２０１として検出される。しかし、注目被写体２０１は所定のサイズよりも大きいため、図５Ｃに示されるように、太線で囲まれた画像全体が光源推定用領域２０２として設定される。一方、注目被写体２０１が所定のサイズ以下である場合には、第１の実施の形態において図３で示した例と同様に注目被写体に応じた領域を除いた領域である背景が光源推定用領域として設定される。
【００３６】
このように、第２の実施の形態によれば、画像中において注目被写体が大きい場合にはその注目被写体を除いた領域ではなく画像全体に基づいて光源推定を行う。これは、注目被写体が大きいとその注目被写体を除いた領域は狭くなってしまい、光源推定の精度が低下してしまうからである。よって、注目被写体が大きい場合には画像全体を光源推定用領域として光源推定を行うことにより、光源推定の精度が下がることを防止する。
【００３７】
＜３．第３の実施の形態＞
［３−１．光源推定装置の構成］
次に、本技術に係る光源推定装置３０の第３の実施の形態について説明する。図６は第３の実施の形態に係る光源推定装置３０の構成を示すブロック図である。第３の実施の形態は、光源推定用領域設定部１１が彩度検出部３１を備える点で第１および第２の実施の形態と相違する。注目被写体検出部１３および光源推定部１２は第１および第２の実施の形態と同様である。
【００３８】
彩度検出部３１は、画像においてたとえば色差信号Ｕ、Ｖより彩度を検出する。そして、彩度が所定の閾値以上である範囲、すなわち彩度が高い領域（以下、高彩度領域、と称する。）を検出する。彩度と比較する閾値はユーザが設定できるようにしてもよいし、予めデフォルトで設定されていてもよい。また、画像に対応して動的に変化するようにしてもよい。彩度検出部３１による検出結果は領域設定処理部１４に供給される。領域設定処理部１４は、注目被写体検出部１３および彩度検出部３１からの検出結果に基づいて画像に対して光源推定用領域を設定する。設定された光源推定用領域を示す情報は光源推定部１２に供給される。光源推定部１２はその光源推定用領域に基づいて光源推定処理を行う。
【００３９】
［３−２．光源推定処理］
次に、第３の実施の形態に係る光源推定処理について説明する。図７は第３の実施の形態に係る光源推定処理の流れを示すフローチャートである。なお、ステップＳ１１、ステップＳ１３は第１の実施の形態と同様であり。また、ステップＳ２１、ステップＳ２３は第２の実施の形態と同様であるためその説明を省略する。
【００４０】
ステップＳ１１で注目被写体が検出され、ステップＳ２２で、注目被写体が所定のサイズ以上ではないと判定された場合、処理はステップＳ３１に進む（ステップＳ２１のＮｏ）。次にステップＳ３１で、彩度検出部３１は画像全体について彩度を検出し、彩度が所定の閾値以上の領域である高彩度領域を検出する。
【００４１】
次にステップＳ３２で、領域設定処理部１４は、画像全体から注目被写体および高彩度領域を除外した領域（以下、残存領域と称する。）が所定のサイズ以上であるか否かを判定する。この判定は、例えば、残存領域のピクセル数と予め定めた比較用ピクセル数とを比較し、残存領域のピクセル数が比較用ピクセル数以上である場合には残存領域は所定のサイズ以上であると判定することにより行うことができる。また、具体的なピクセル数と比較するのではなく、残存領域のピクセル数が画像全体のピクセル数の所定の割合を占めている場合に残存領域は所定のサイズ以上であると判定するようにしてもよい。なお、この「所定のサイズ」はステップＳ２１における「所定のサイズ」とは別個のものである。
【００４２】
残存領域と比較する所定のサイズは例えば、画像全体の半分のサイズなどである。所定のサイズはユーザが任意に設定できるようにしてもよいし、予めデフォルトとして設定しておいてもよい。また、画像に対応して動的に変化するようにしてもよい。
【００４３】
そしてステップＳ３２で、残存領域が所定のサイズ以上であると判定された場合、処理はステップＳ３３に進む（ステップＳ３２のＹｅｓ）。ステップＳ３３で、光源推定用領域設定部１１は、残存領域を光源推定用領域として設定する。そして、ステップＳ１３で、光源推定部１２が光源推定用領域に基づいて光源推定処理を行う。
【００４４】
一方、ステップＳ３２で、残存領域が所定のサイズ以上ではないと判定された場合、処理はステップＳ３４に進む（ステップＳ３２のＮｏ）。ステップＳ３４では、光源推定用領域設定処理部１４は、残存領域と注目被写体とからなる領域を光源推定用領域として設定する。そして、ステップＳ１３で、光源推定部１２が光源推定用領域に基づいて光源推定処理を行う。
【００４５】
図８および図９に基づいて、第３の実施の形態における光源推定処理について具体的な画像の例を用いて説明する。図８Ａに示されるように、画像３００には注目被写体として人物が写っている。そして、図８Ｂに示されるように、光源推定用領域設定部１１の注目被写体検出部１３によってその人物が注目被写体３０１として検出される。また、図８Ｃに示されるように、光源推定用領域設定部１１の彩度検出部３１により高彩度領域３０２が検出される。そして、注目被写体３０１と高彩度領域３０２とが除外された残存領域が所定のサイズ以上である場合には、図８Ｄに示されるように、残存領域が光源推定用領域３０３として設定される。図８Ｄにおいては斜線で示された領域が除外されて領域であり、それ以外の太線で囲まれた領域が光源推定用領域３０３として設定された残存領域である。
【００４６】
図９Ａにも同様に画像３１０には人物が写っている。そして、図９Ｂに示されるように、光源推定用領域設定部１１の注目被写体検出部１３によってその人物が注目被写体３１１として検出される。また、図９Ｃに示されるように、光源推定用領域設定部１１の彩度検出部３１により高彩度領域３１２が検出される。そして、注目被写体３１１と高彩度領域３１２とが除外された残存領域が所定のサイズ以上ではない場合（残存領域が狭い場合）には、図９Ｄに示されるように、残存領域と注目被写体により構成される領域が光源推定用領域３１３として設定される。図９Ｄにおいては、斜線で示された領域が高彩度であるために除外されて領域であり、それ以外の太線で囲まれた領域が光源推定用領域３１３として設定された領域である。
【００４７】
このように、第３の実施の形態によれば、画像中において彩度が高い領域が存在する場合には、その高彩度領域と注目被写体とを光源推定用領域から除外する。これにより、光源のニュートラルカラーを精度よく得られ、光源判別の精度を高めることができる。ただし、高彩度領域と注目被写体とを除いた残存領域が狭い場合にその残存領域を光源推定用領域とすると光源推定の精度が低下してしまう。よって、残存領域が狭い場合には高彩度領域を除外した領域を光源推定用領域として光源推定を行うことにより、光源推定の精度が下がることを防止する。
【００４８】
＜４．光源推定装置を備えるホワイトバランス調整装置の構成＞
上述のように構成されている光源推定装置による光源推定結果は例えば、ホワイトバランス調整処理に用いられる。そこで、光源推定装置を備えるホワイトバランス調整装置４０について説明する。図１０はホワイトバランス調整装置４０の構成を示すブロック図である。
【００４９】
ホワイトバランス調整装置４０は、制御部４１とホワイトバランスアンプ４２とから構成されている。制御部４１は、ＣＰＵ、ＲＡＭおよびＲＯＭなどから構成され、所定のプログラムを実行することにより、光源推定用領域設定部１１、光源推定部１２およびアンプゲイン設定部４３として機能する。光源推定用領域設定部１１、光源推定部１２は光源推定装置を構成するものであり、上述した第１乃至第３の実施の形態のものと同様のものであるため、その説明を省略する。
【００５０】
光源推定用領域設定部１１には例えば、撮像装置が備える前処理回路５４からＲＧＢの画像信号が供給される。前処理回路５４は例えば、撮像素子から出力された撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。前処理回路５４からの画像信号はホワイトバランスアンプ４２にも供給される。
【００５１】
アンプゲイン設定部４３は、光源推定部１２による推定結果に基づき、推定された光源に応じたホワイトバランスゲインの制御値を設定する。設定されたアンプゲイン値はホワイトバランスアンプ４２に供給される。
【００５２】
アンプゲイン設定部４３は例えば、予め用意しておいたルックアップテーブルに複数の光源のそれぞれについて、１組ずつＲＧＢのホワイトバランスゲインｇｒ、ｇｇ、ｇｂを保持しておく。そして、光源推定部１２によって推定された光源の種別に従って、光源に対応するホワイトバランスゲインの組を読み出して、それをホワイトバランスアンプ４２に供給する。
【００５３】
ホワイトバランスアンプ４２は、アンプゲイン設定部４３から供給されたホワイトバランスゲインに従ってＲＧＢ各信号成分の利得を制御し、画像信号に対してホワイトバランス調整処理を施す。ホワイトバランスアンプ４２は、Ｒ信号、Ｇ信号、Ｂ信号にそれぞれ対応して３つの可変ゲインアンプ４２Ｒ、４２Ｇ、４２Ｂを備える。３つの可変ゲインアンプ４２Ｒ、４２Ｇ、４２ＢにはそれぞれＲＧＢ信号が入力される。可変ゲインアンプ４２Ｒ、４２Ｇ、４２Ｂは、それぞれアンプゲイン設定部４３によって設定されるゲインに従って、それぞれＲ信号、Ｇ信号、Ｂ信号の増幅（又は減衰）を行い、出力する。なお、アンプゲイン設定部４３とホワイトバランスアンプ４２とが特許請求の範囲におけるホワイトバランス調整部に相当する。
【００５４】
＜５．光源推定装置およびホワイトバランス調整装置を備える撮像装置の構成＞
上述した光源推定装置およびホワイトバランス調整装置は例えば撮像装置に適用可能である。そこで、次に、光源推定装置およびホワイトバランス調整装置の機能を備える撮像装置５０の構成について説明する。図１１は、撮像装置５０の全体構成を示すブロック図である。
【００５５】
撮像装置５０は、光学撮像系５１、撮像素子５２、タイミングジェネレータ５３、前処理回路５４、ホワイトバランスアンプ４２、カメラ処理回路５５、エンコーダ／デコーダ５６、制御部５７、光源推定用領域設定部１１、光源推定部１２、アンプゲイン設定部４３、入力部５８、グラフィックＩ／Ｆ（Interface）５９、表示部６０、Ｒ／Ｗ（リーダ／ライタ）６１、および記憶媒体６２から構成されている。
【００５６】
光学撮像系５１は、被写体からの光を撮像素子５２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などから構成されている。これらは制御部５７からの制御信号に基づいて駆動される。光学撮像系５１を介して得られた被写体の光画像は、撮像デバイスとしての撮像素子５２上に結像される。
【００５７】
撮像素子５２は、タイミングジェネレータ５３から出力されるタイミング信号に基づいて駆動され、被写体からの入射光を光電変換して電荷量に変換し、アナログ撮像信号として出力する。撮像素子５２３から出力されるアナログ撮像信号は、前処理回路５４に出力される。撮像素子５２としては、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）などが用いられる。タイミングジェネレータ５３は、制御部５７の制御に従い撮像素子５２に対してタイミング信号を出力する。
【００５８】
前処理回路５４は、撮像素子５２から出力されたアナログ撮像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ（Analog/Digital）変換を行ってデジタル画像信号を出力する。前処理回路５４からホワイトバランスアンプ４２に画像信号が供給される。また、光源推定のために、前処理回路５４から光源推定装置として機能する制御部５７にも画像信号が供給される。
【００５９】
ホワイトバランスアンプ４２は、上述したホワイトバランス調整装置を構成するものであり、前処理回路５４から供給された画像信号に対してホワイトバランス調整処理を施す。
【００６０】
カメラ処理回路５５は、前処理回路５４からの画像信号に対して、例えば色補正処理、ガンマ補正処理、Ｙ／Ｃ変換処理、ＡＦ（Auto Focus）処理、ＡＥ（Auto Exposure）処理などの信号処理を施す。
【００６１】
エンコーダ／デコーダ５６は、カメラ処理回路５５からの画像信号に対して、ＪＰＥＧ（Joint Photographic Coding Experts Group）方式などの所定の静止画像データフォーマットで圧縮符号化処理を行う。
【００６２】
制御部５７は、例えばＣＰＵ、ＲＡＭおよびＲＯＭなどから構成されている。ＲＯＭには、ＣＰＵにより読み込まれ動作されるプログラムなどが記憶されている。ＲＡＭは、ＣＰＵのワークメモリとして用いられる。ＣＰＵは、ＲＯＭに記憶されたプログラムに従い様々な処理を実行してコマンドの発行を行うことによって撮像装置５０全体の制御を行う。また、制御部５７は所定のプログラムを実行することにより、光源推定装置およびホワイトバランス調整装置を構成する光源推定用領域設定部１１、光源推定部１２およびアンプゲイン設定部４３として機能する。
【００６３】
入力部５８は、例えば、電源オン／オフ切り替えのための電源ボタン、撮像画像の記録の開始を指示するためのレリーズボタン、ズーム調整用の操作子、その他各種入力を受け付けるタッチパネルなどからなる入力手段である。入力部５８に対して入力がなされると、その入力に応じた制御信号が生成されて制御部５７に出力される。そして、制御部５７はその制御信号に対応した演算処理や制御を行う。
【００６４】
グラフィックＩ／Ｆ５９は、制御部５７から供給された画像信号から、表示部６０に表示させるための画像信号を生成して、この信号を表示部６０に供給することにより画像を表示させる。表示部６０は、例えば、ＬＣＤ（Liquid Crystal Display）、ＰＤＰ(Plasma Display Panel)、有機ＥＬ(Electro Luminescence)パネルなどにより構成された表示手段である。表示部６０には、撮像中のカメラスルー画、記憶媒体６２に記録された画像などを表示が表示される。
【００６５】
Ｒ／Ｗ６１には、撮像により生成された画像データなどを記録する記憶媒体６２が接続されるインターフェースである。Ｒ／Ｗ６１は、制御部５７から供給されたデータを記憶媒体６２に書き込み、また、記憶媒体６２から読み出したデータを制御部５７に出力する。記憶媒体６２は、撮像により生成された画像データなどを記録するものである。記憶媒体６２は、例えば、ハードディスク、メモリースティック（ソニー株式会社の登録商標）、ＳＤメモリーカードなどの大容量記憶媒体である。画像は例えばＪＰＥＧなどの規格に基づいて圧縮された状態で保存される。また、保存された画像に関する情報、撮像日時などの付加情報を含むＥＸＩＦ（Exchangeable Image File Format）データもその画像に対応付けられて保存される。
【００６６】
ここで、上述した撮像装置５０における基本的な動作について説明する。画像の撮像前には、撮像素子５２によって受光されて光電変換された信号が、順次前処理回路５４に供給される。前処理回路５４では、入力信号に対してＣＤＳ処理、ＡＧＣ処理などが施され、さらに画像信号に変換される。そして、画像信号は制御部５７に供給され、光源推定用領域設定、光源推定、アンプゲイン設定がなされ、画像信号に対してホワイトバランスアンプ４２によりホワイトバランス調整処理が施される。
【００６７】
カメラ処理回路５５は、ホワイトバランスアンプ４２から供給された画像信号を画質補正処理し、カメラスルー画像の信号として、制御部５７を介してグラフィックＩ／Ｆ５９に供給する。これにより、カメラスルー画像が表示部６０に表示される。ユーザは表示部６０に表示されるスルー画を見て画角合わせを行うことができる。
【００６８】
この状態で、入力部５８のレリーズボタンが押下されると、制御部５７は、光学撮像系５１およびタイミングジェネレータ５３に制御信号を出力して、光学撮像系５１を構成するシャッタを動作させる。これにより撮像素子５２からは、１フレーム分の画像信号が出力される。
【００６９】
カメラ処理回路５５は、撮像素子５２から前処理回路５４を介して供給された１フレーム分の画像信号に画質補正処理を施し、処理後の画像信号をエンコーダ／デコーダ５６に供給する。エンコーダ／デコーダ５６は、入力された画像信号を圧縮符号化し、生成した符号化データを、制御部４１を介してＲ／Ｗ６１に供給する。これにより、撮像された静止画像のデータファイルが記憶媒体６２に記憶される。
【００７０】
一方、記憶媒体６２に記憶された画像ファイルを再生する場合には、制御部５７は、入力部５８からの操作入力に応じて、選択された静止画像ファイルを記憶媒体６２からＲ／Ｗ６１を介して読み込む。読み込まれた画像ファイルは、エンコーダ／デコーダ５６に供給されて伸張復号化処理が施される。そして、復号化された画像信号は制御部５７を介してグラフィックＩ／Ｆ５９に供給される。これにより、記憶媒体６２に記憶された静止画像が表示部６０に表示される。
【００７１】
なお、上述の撮像装置５０の画像処理機能は、コンピュータによって実現することができる。その場合、この撮像装置５０が有すべき機能の処理内容を記述したプログラムが提供される。そして、そのプログラムをコンピュータで実行することにより、上述の処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、光ディスク、半導体メモリなどのコンピュータで読み取り可能な記憶媒体６２に記録しておくことができる。
【００７２】
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクや半導体メモリなどの可搬型記憶媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、そのプログラムを転送することもできる。
【００７３】
プログラムを実行するコンピュータは、例えば、可搬型記憶媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記憶媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【００７４】
＜６．変形例＞
以上、本技術の一実施の形態について具体的に説明したが、本技術は、上述の実施形態に限定されるものではなく、本技術の技術的思想に基づく各種の変形が可能である。本技術に係る光源推定装置、ホワイトバランス調整装置はデジタルスチルカメラの他にもデジタルビデオカメラにも適用可能である。さらに、カメラ機能を有する携帯電話機、スマートフォン、タブレット端末などにも適用可能である。また、カメラ機能を有する電子機器に以外でも、カメラ機能を有さないパーソナルコンピュータ、携帯電話機、スマートフォン、タブレット端末などにおける画像処理に本技術は適用可能である。
【００７５】
また、本技術はイメージャなどの光学撮像系、画像エンジンなどを左目用と右目用とで２つ備え、３次元画像（３Ｄ画像）の撮影機能を持つ２眼の撮像装置にも適用可能である。この場合、左目用画像と右目用画像とでそれぞれ独立して光源推定およびホワイトバランス調整を行なってもよいし、左目用画像と右目用画像とで共通の光源推定およびホワイトバランス調整を行なってもよい。
【００７６】
なお、本技術は以下のような構成も取ることができる。
【００７７】
（１）画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う光源推定部と
を備える光源推定装置。
【００７８】
（２）前記光源推定用領域設定部は、前記画像中における注目被写体を検出し、前記画像から前記注目被写体に応じた領域を除いた領域を背景として検出する
前記（１）に記載の光源推定装置。
【００７９】
（３）前記光源推定用領域設定部は、前記背景を前記光源推定用領域として設定する
前記（２）に記載の光源推定装置。
【００８０】
（４） 前記光源推定用領域設定部は、前記注目被写体が所定のサイズ以下である場合には、前記背景を前記光源推定用領域として設定する
前記（２）に記載の光源推定装置。
【００８１】
（５）前記光源推定用領域設定部は、前記注目被写体が所定のサイズ以上である場合には、前記画像の全域を前記光源推定用領域として設定する
前記（１）から（４）のいずれかに記載の光源推定装置。
【００８２】
（６）前記光源推定用領域設定部は、前記画像中から彩度が高い高彩度領域を検出し、前記画像中から該高彩度領域を除いた領域を前記光源推定用領域として設定する
前記（１）から（５）のいずれかに記載の光源推定装置。
【００８３】
（７）前記光源推定用領域設定部は、前記画像中における注目被写体を検出し、さらに、前記画像中における彩度が高い高彩度領域を検出し、前記注目被写体に応じた領域および前記高彩度領域を除いた領域が所定のサイズ以下である場合には、前記高彩度領域を除いた領域を前記光源推定用領域として設定する
前記（１）から（６）のいずれかに記載の光源推定装置。
【００８４】
（８）画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定し、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う
光源推定方法。
【００８５】
（９）画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定し、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う
光源推定方法をコンピュータに実行させる光源推定プログラム。
【００８６】
（１０）撮像により入射光を電気信号に変換して画像信号を生成する撮像部と、
該撮像部により生成された前記画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う光源推定部と
を備える撮像装置。
【符号の説明】
【００８７】
１０、３０・・・光源推定装置
１１・・・・・・光源推定用領域設定部
１２・・・・・・光源推定部
４０・・・・・・ホワイトバランス調整装置
４２・・・・・・ホワイトバランスアンプ
４３・・・・・・アンプゲイン設定部
５０・・・・・・撮像装置
５２・・・・・・撮像素子
【特許請求の範囲】
【請求項１】
画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う光源推定部と
を備える光源推定装置。
【請求項２】
前記光源推定用領域設定部は、前記画像中における注目被写体を検出し、前記画像から前記注目被写体に応じた領域を除いた領域を背景として検出する
請求項１に記載の光源推定装置。
【請求項３】
前記光源推定用領域設定部は、前記背景を前記光源推定用領域として設定する
請求項２に記載の光源推定装置。
【請求項４】
前記光源推定用領域設定部は、前記注目被写体が所定のサイズ以下である場合には、前記背景を前記光源推定用領域として設定する
請求項２に記載の光源推定装置。
【請求項５】
前記光源推定用領域設定部は、前記注目被写体が所定のサイズ以上である場合には、前記画像の全域を前記光源推定用領域として設定する
請求項２に記載の光源推定装置。
【請求項６】
前記光源推定用領域設定部は、前記画像中から彩度が高い高彩度領域を検出し、前記画像から該高彩度領域を除いた領域を前記光源推定用領域として設定する
請求項１に記載の光源推定装置。
【請求項７】
前記光源推定用領域設定部は、前記画像中における注目被写体を検出し、さらに、前記画像中における彩度が高い高彩度領域を検出し、前記注目被写体に応じた領域および前記高彩度領域を除いた領域が所定のサイズ以下である場合には、前記画像から前記高彩度領域を除いた領域を前記光源推定用領域として設定する
請求項１に記載の光源推定装置。
【請求項８】
画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定し、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う
光源推定方法。
【請求項９】
画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定し、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う
光源推定方法をコンピュータに実行させる光源推定プログラム。
【請求項１０】
撮像により入射光を電気信号に変換して画像信号を生成する撮像部と、
該撮像部により生成された前記画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う光源推定部と
を備える撮像装置。
【請求項１】
画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う光源推定部と
を備える光源推定装置。
【請求項２】
前記光源推定用領域設定部は、前記画像中における注目被写体を検出し、前記画像から前記注目被写体に応じた領域を除いた領域を背景として検出する
請求項１に記載の光源推定装置。
【請求項３】
前記光源推定用領域設定部は、前記背景を前記光源推定用領域として設定する
請求項２に記載の光源推定装置。
【請求項４】
前記光源推定用領域設定部は、前記注目被写体が所定のサイズ以下である場合には、前記背景を前記光源推定用領域として設定する
請求項２に記載の光源推定装置。
【請求項５】
前記光源推定用領域設定部は、前記注目被写体が所定のサイズ以上である場合には、前記画像の全域を前記光源推定用領域として設定する
請求項２に記載の光源推定装置。
【請求項６】
前記光源推定用領域設定部は、前記画像中から彩度が高い高彩度領域を検出し、前記画像から該高彩度領域を除いた領域を前記光源推定用領域として設定する
請求項１に記載の光源推定装置。
【請求項７】
前記光源推定用領域設定部は、前記画像中における注目被写体を検出し、さらに、前記画像中における彩度が高い高彩度領域を検出し、前記注目被写体に応じた領域および前記高彩度領域を除いた領域が所定のサイズ以下である場合には、前記画像から前記高彩度領域を除いた領域を前記光源推定用領域として設定する
請求項１に記載の光源推定装置。
【請求項８】
画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定し、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う
光源推定方法。
【請求項９】
画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定し、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う
光源推定方法をコンピュータに実行させる光源推定プログラム。
【請求項１０】
撮像により入射光を電気信号に変換して画像信号を生成する撮像部と、
該撮像部により生成された前記画像において背景検出を行い、該背景検出の結果に基づいて光源推定用領域を設定する光源推定用領域設定部と、
前記光源推定用領域に基づいて前記画像が撮像された際の光源の種類の推定を行う光源推定部と
を備える撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１０６２８４（Ｐ２０１３−１０６２８４Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２５０２６９（Ｐ２０１１−２５０２６９）
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１６日（２０１１．１１．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]