情報処理装置
【課題】ホワイトバランスをより正確に調整することが可能な、新規かつ改良された情報処理装置を提供する。
【解決手段】本発明のある観点によれば、撮像画像を取得する撮像画像取得部と、撮像画像を複数のブロックに分割するブロック分割部と、ブロック毎に画素値を統計することで、ブロック統計値を算出する統計値算出部と、ブロック統計値に基づいて、撮像画像の被写体を照らす光源を推定し、推定結果に関する光源推定情報を生成する光源推定部と、ブロック統計値の偏りに基づいて、光源推定情報の信頼度を算出する信頼度算出部と、光源推定情報と、光源推定情報の信頼度とに基づいて、撮像画像のホワイトバランスを調整するホワイトバランス調整部と、を備えることを特徴とする、情報処理装置が提供される。
【解決手段】本発明のある観点によれば、撮像画像を取得する撮像画像取得部と、撮像画像を複数のブロックに分割するブロック分割部と、ブロック毎に画素値を統計することで、ブロック統計値を算出する統計値算出部と、ブロック統計値に基づいて、撮像画像の被写体を照らす光源を推定し、推定結果に関する光源推定情報を生成する光源推定部と、ブロック統計値の偏りに基づいて、光源推定情報の信頼度を算出する信頼度算出部と、光源推定情報と、光源推定情報の信頼度とに基づいて、撮像画像のホワイトバランスを調整するホワイトバランス調整部と、を備えることを特徴とする、情報処理装置が提供される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラ等の撮像装置は、光源色に関わらず被写体の色を正確に再現することができるように、ホワイトバランス調整を行なう。例えば、撮像装置は、撮像画像を複数のブロックに分割し、各ブロックのＲＧＢ統計値に基づいて、光源の種類を判定し、光源の種類に基づいた補正係数を用いて、撮像画像の各画素値を補正する。これにより、撮像装置は、ホワイトバランス調整を行なう。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４０８１２１３号公報
【特許文献２】特許第４７５４２２７号公報
【特許文献３】特開２００８−２１９４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の撮像装置は、光源の種類を誤判定する可能性があった。この可能性は、撮像画像の色分布が一様である場合（例えば、撮像画像全体に地面や空などが描かれていた場合）に、特に高くなっていた。撮像装置が光源の種類を誤判定した場合、被写体の実際の色情報（輝度、色相、彩度等）と撮像画像内の色情報とが一致しないという現象、即ち被写体を光源とみなして被写体色を抑制することで、補色方向に色が偏る現象であるカラーフェリア（Ｃｏｌｏｒ Ｆａｉｌｕｒｅ）が生じてしまっていた。
【０００５】
カラーフェリアの発生を防止する技術として、特許文献１〜３に開示された技術が知られている。特許文献１、２に開示された技術は、撮像画像を複数のブロックに分割し、各ブロックに対する光源の信頼度を光源の種類ごとに算出する。この信頼度は、ブロック内の色分布がばらつく（多様な色がブロックに含まれる）場合には低く、ブロック内の色分布が一様である場合には、高くなる。これにより、特許文献１、２に開示された技術は、ブロック内の混色による光源誤判定を防止することができる。例えば、特許文献１、２に開示された技術は、ブロック内に緑色の画素と赤色の画素とが含まれる場合に、このブロックの色を電球の色である黄色と誤判定することを防止することができる。
【０００６】
しかし、これらの技術でも、撮像画像の色分布が一様である場合に、光源を正確に特定することができなかった。さらに、これらの技術では、撮像画像の色分布が一様である場合に、ブロック内の色分布が一様になるので、撮像場所の光源以外の光源に対しても信頼度が高くなってしまうという問題もあった。したがって、これらの技術では、上記の問題を解決することができなかった。
【０００７】
一方、特許文献３に開示された技術は、画像を複数の領域（例えば人物の顔領域と他の領域）に分割し、領域ごとに光源推定及びホワイトバランス調整を行う。しかし、特許文献３は、撮像画像の色分布が一様である場合に対する処理を何ら開示していなかった。したがって、特許文献３に開示された技術でも、上記の問題を解決することができなかった。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ホワイトバランスをより正確に調整することが可能な、新規かつ改良された情報処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、撮像画像を取得する撮像画像取得部と、撮像画像を複数のブロックに分割するブロック分割部と、ブロック毎に画素値を統計することで、ブロック統計値を算出する統計値算出部と、ブロック統計値に基づいて、撮像画像の被写体を照らす光源を推定し、推定結果に関する光源推定情報を生成する光源推定部と、ブロック統計値の偏りに基づいて、光源推定情報の信頼度を算出する信頼度算出部と、光源推定情報と、光源推定情報の信頼度とに基づいて、撮像画像のホワイトバランスを調整するホワイトバランス調整部と、を備えることを特徴とする、情報処理装置が提供される。
【００１０】
この観点によれば、情報処理装置は、ブロック統計値の偏りに基づいて、光源推定情報の信頼度を算出し、光源推定情報と、光源推定情報の信頼度とに基づいて、撮像画像のホワイトバランスを調整する。したがって、情報処理装置は、撮像画像の色分布が一様となる場合に、信頼度を低くすることができるので、ホワイトバランスをより正確に調整することができる。
【００１１】
ここで、光源推定情報と光源推定情報の信頼度とが関連付けられた信頼度対応情報を記憶部に記憶する情報管理部を備え、ホワイトバランス調整部は、記憶部に記憶された信頼度対応情報のうち、光源推定情報の信頼度が最も高い信頼度対応情報に基づいて、撮像画像のホワイトバランスを調整するようにしてもよい。
【００１２】
この観点によれば、情報処理装置は、撮像画像の色分布が一様となる場合のように、現フレームでの信頼度が低くなった場合に、より信頼度が高い信頼度対応情報に基づいて、ホワイトバランスを調整することができる。これにより、情報処理装置は、ホワイトバランスをより正確に調整することができる。特に、情報処理装置は、撮像環境の変化により信頼度が減少する場合に、ホワイトバランスを撮像環境の変化にゆっくりと追従させることができる。
【００１３】
また、情報管理部は、記憶部に記憶された信頼度対応情報の数が所定フレーム数を超えた場合には、記憶部に記憶された信頼度対応情報のうち、最も古いものを記憶部から削除してもよい。
【００１４】
この観点によれば、情報処理装置は、現フレームの撮像環境に一致しない可能性が最も高い信頼度対応情報を削除することができるので、ホワイトバランスをより正確に調整することができる。
【００１５】
また、情報管理部は、撮像画像の輝度が所定範囲を超えた場合に、記憶部に記憶された信頼度対応情報を削除してもよい。
【００１６】
この観点によれば、情報処理装置は、現フレームの撮像環境に一致しない可能性が非常に高い信頼度対応情報を削除することができる。したがって、情報処理装置は、ホワイトバランスをより正確に調整することができる。
【００１７】
また、信頼度算出部は、ブロック統計値の偏りと、撮像画像の被写体明度及び光源の色温度のうち少なくとも一方と、に基づいて、信頼度を算出してもよい。
【００１８】
この観点によれば、情報処理装置は、ブロック統計値の偏りと、撮像画像の被写体明度及び光源の色温度の少なくとも一方とに基づいて、信頼度を算出するので、信頼度をより正確に算出することができる。
【００１９】
また、信頼度算出部は、ブロック統計値に基づいて、ブロックを複数の色グループのうち、いずれかの色グループに分類し、各色グループに分類されたブロックの数の分散値または標準偏差をブロック統計値の偏りとして算出してもよい。
【００２０】
この観点によれば、情報処理装置は、ブロック統計値に基づいて、ブロックを複数の色グループのうち、いずれかの色グループに分類し、各色グループに分類されたブロックの数の分散値をブロック統計値の偏りとして算出する。したがって、情報処理装置は、信頼度をより正確に算出することができる。
【００２１】
また、ホワイトバランス調整部は、光源推定情報と、光源推定情報の信頼度とに基づいて、第１のホワイトバランス補正係数を算出し、第１のホワイトバランス補正係数をフィルタ処理することで、第１のホワイトバランス補正係数に所定の収束時間だけ遅れて追従する第２のホワイトバランス補正係数を算出し、第２のホワイトバランス補正係数に基づいて、撮像画像のホワイトバランスを調整し、収束時間は、短く設定されてもよい。
【００２２】
この観点によれば、情報処理装置は、第２のホワイトバランス補正係数の収束時間を短く（例えば１〜２秒）に設定するので、撮像環境の変化により信頼度が上昇する場合に、ホワイトバランスを撮像環境の変化に迅速に追従させることができる。
【発明の効果】
【００２３】
以上説明したように本発明によれば、撮像画像の色分布が一様となる場合に、信頼度を低くすることができるので、ホワイトバランスをより正確に調整することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】同実施形態にかかる画像信号処理部の構成を示すブロック図である。
【図３】撮像画像を複数のブロックに分割する様子を示す説明図である。
【図４】色グループの一例を示す説明図である。
【図５】色グループの一例を示す説明図である。
【図６】各色グループに属するブロックの数を示す説明図である。
【図７】各色グループに属するブロックの数の具体例を示す説明図である。
【図８】各色グループに属するブロックの数の分散値と信頼度との対応関係を示すグラフである。
【図９】撮像画像の被写体明度と信頼度との対応関係を示すグラフである。
【図１０】光源の色温度と信頼度との対応関係を示すグラフである。
【図１１】記憶部に記憶される信頼度情報を示す説明図である。
【図１２】時間の経過に応じて信頼度が低下する様子を示す説明図である。
【図１３】時間の経過に応じて信頼度が上昇する様子を示す説明図である。
【図１４】撮像装置による処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
＜１．撮像装置の構成＞
まず、図１を参照して、本発明の第１の実施形態に係る撮像装置（情報処理装置）１０の概略構成について説明する。撮像装置１０は、レンズユニット１１と、撮像素子１２と、ＡＦＥ回路１３と、画像信号処理部１４と、露出制御部１６と、タイミングジェネレータ１７と、ドライバ１８と、画像表示部１９と、画像記録部２０とを備える。
【００２７】
なお、撮像装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ディスプレイ、補助光源、フラッシュメモリ等のハードウェアを有しており、ＣＰＵがＲＯＭに記憶されたプログラムを読みだして実行することによって、上記各機能ブロックによる処理が実現される。即ち、ＲＯＭには、撮像装置１０に、上記各機能ブロック、特に画像信号処理部１４と、露出制御部１６と、タイミングジェネレータ１７と、ドライバ１８と、画像表示部１９と、画像記録部２０とを実現させるためのプログラムが記憶されている。また、ＲＯＭには、撮像装置１０の処理に必要な各種テーブル、グラフ等の情報が記憶されている。
【００２８】
なお、他の実施形態としては、画像信号処理部１４を備える情報処理装置（例えばパーソナルコンピュータやサーバ等のコンピュータ）が考えられる。この実施形態では、情報処理装置は、撮像装置等から撮像画像を取得し、撮像画像に対して後述する処理を行うことで、撮像画像のホワイトバランスを調整する。また、本実施形態は、静止画を撮像する場合と、動画を撮像する場合との両方に適用可能である。ただし、後述するように、本実施形態は、撮像環境の変化にホワイトバランス補正係数を追従させるので、動画を撮像する場合に特に好適に適用される。
【００２９】
レンズユニット１１は、撮像装置１０に対して着脱可能となっており、複数のレンズ、絞り機構、及びシャッタ等を備える。レンズユニット１１は、撮像装置１０の外部から可視光を取り込み、取り込んだ光を、レンズ等を介して撮像素子１２に入射させる。
【００３０】
撮像素子１２は、マトリックス状に配置された複数の単位素子と、図示しない撮像素子制御部とを備える。単位素子は、撮像画像の単位画素に対応するものである。各単位素子は、赤色光を受光するＲ素子、緑色光を受光するＧ素子、青色光を受光するＢ素子を備える。単位素子は、赤色光、緑色光、青色光それぞれの受信強度に関するＲ情報、Ｇ情報、Ｂ情報（以下、これらをまとめて「ＲＧＢ情報」とも称する）を撮像素子制御部に出力する。撮像素子制御部は、各単位素子から与えられたＲＧＢ情報に基づいて、ＲＧＢ情報を画素値として有する撮像画像を生成する。これにより、撮像素子１２は、撮像を行なう。
【００３１】
撮像素子制御部は、生成された撮像画像をＡＦＥ回路１３に出力する。なお、撮像素子１２には、ｘｙ平面が設定され、撮像画像の各画素には、ｘｙ平面上の座標値が与えられる。ｘ軸、ｙ軸の方向は任意であるが、例えば、ｙ軸は撮像素子１２の上下方向、即ち撮像装置１０の上下方向に延びる軸であり、ｘ軸は、ｙ軸に垂直な方向に延びる軸である。
【００３２】
ＡＦＥ回路１３は、撮像素子１２から与えられた撮像画像をアナログ・デジタル変換し、変換後の撮像画像を画像信号処理部１４に出力する。画像信号処理部１４は、図２に示すように、撮像画像取得部１４１と、前処理部１４２と、ブロック分割部１４３と、統計値算出部１４４と、光源推定部１４５と、信頼度算出部１４６と、情報管理部１４７と、記憶部１４８と、ホワイトバランス調整部１４９と、後処理部１５０とを備える。
【００３３】
撮像画像取得部１４１は、ＡＦＥ回路１３から撮像画像を取得し、前処理部１４２に出力する。前処理部１４２は、撮像画像に対し、各種の前処理、例えば欠陥画素補正、黒レベル補正、シェーディング補正、及び手ぶれ補正等を行なう。さらに、前処理部１４２は、前処理を行った撮像画像にフレーム番号を付与する。このフレーム番号は、各撮像画像を一意に特定するための情報である。前処理部１４２は、撮像画像をブロック分割部１４３及びホワイトバランス調整部１４９に出力する。
【００３４】
ブロック分割部１４３は、撮像画像を複数のブロックに分割する。例えば、ブロック分割部１４３は、図３に示すように、撮像画像を１６×１２のブロック１００に分割する。各ブロック１００には、複数の単位画素が含まれる。各単位画素は、Ｒ情報を有するＲ画素１００Ｒと、Ｇ情報を有する２つのＧ画素１００Ｇと、Ｂ情報を有するＢ画素１００Ｂとを有する。また、ブロック分割部１４３は、各ブロックにｘｙ座標を付与する。例えば、図２に示す例では、各ブロックには、０〜１５の範囲内の整数がｘ座標として与えられ、０〜１１の範囲内の整数がｙ座標として与えられる。ブロック分割部１４３は、生成されたブロックに関するブロック情報を統計値算出部１４４に出力する。
【００３５】
統計値算出部１４４は、ブロック情報に基づいて、以下の処理を行なう。即ち、統計値算出部１４４は、ブロック毎に、Ｒ情報、Ｇ情報、Ｂ情報をそれぞれ積算（統計）することで、Ｒブロック統計値、Ｇブロック統計値、Ｂブロック統計値（以下、これらをまとめてＲＧＢブロック統計値とも称する）を算出する。統計値算出部１４４は、ＲＧＢブロック統計値とブロックのｘｙ座標とが関連付けられたＲＧＢブロック統計値情報を生成し、光源推定部１４５に出力する。
【００３６】
そして、統計値算出部１４４は、Ｒブロック統計値、Ｇブロック統計値、Ｂブロック統計値をそれぞれ全ブロックについて積算することで、Ｒ統計値、Ｇ統計値、Ｂ統計値（以下、これらをまとめてＲＧＢ統計値とも称する）を算出する。そして、統計値算出部１４４は、以下の式（１）に基づいて、撮像画像の輝度統計値を算出し、輝度統計値を撮像画像の画素数で除算することで、平均輝度を算出する。
【００３７】
【数１】
【００３８】
式（１）中、Ｙは輝度統計値、ＲはＲ統計値、ＧはＧ統計値、ＢはＢ統計値である。統計値算出部１４４は、平均輝度に関する平均輝度情報を情報管理部１４７、及び露出制御部１６に出力する。一方、統計値算出部１４４は、各ブロックのＲＧＢブロック統計値を色空間マップ内の色座標に変換する。ここで、色空間マップは、色空間内の色座標と色グループとの対応関係を示すマップである。
【００３９】
図４及び図５に色空間マップの例を示す。図４に示す色空間マップは、ＣｂＣｒ平面内の色座標と色グループ０〜１３との対応関係を示す。例えば、領域１１０内の色座標は、色グループ８に対応する。図５に示す色空間マップは、ＣＩＥｘｙ平面内の色座標と色グループ０、１、２、・・・との対応関係を示す。例えば、領域１２０内の色座標は、色グループ０に対応する。なお、色空間マップに用いられる色空間は、これらの例に限られず、任意の色空間、例えば、ＲＧＢ、Ｌ＊ａ＊ｂ＊、ＹＰｂＰｒ等の各色空間であってもよい。
【００４０】
そして、統計値算出部１４４は、各ブロックの色座標と色空間マップとに基づいて、各ブロックをいずれかの色グループに分類する。そして、統計値算出部１４４は、図６に示すように、色グループの種類と、色グループに属するブロックの数との対応関係を示すブロック分布情報を生成し、信頼度算出部１４６に出力する。
【００４１】
ここで、ブロック分布情報の例を図７に示す。図７に示すブロック分布情報例１では、特定の色グループにブロックの分布が偏っており、ブロック分布情報例４では、ブロックの分布が最もばらついている。各例の最下段には、各色グループに分類されたブロックの数の分散値、即ちブロック分布情報の分散値「ＶＡＲ」が示されている。なお、ブロック分布情報例１は、植物を近接撮像した場合に得られるブロック分布情報であり、ブロック分布情報例２は、地下道を撮影した場合に得られるブロック分布情報である。ブロック分布情報例３は、鳥を近接撮像した場合に得られるブロック分布情報であり、ブロック分布情報例４は、多数の料理が載せられたプレートを撮影した場合に得られるブロック分布情報である。
【００４２】
図７に示すように、ブロックの分布が特定の色グループに偏っている場合、分散値は大きくなるが、ブロックの分布がばらついている場合、分散値は小さくなる。撮像画像の色分布が一様となる場合、ブロックの分布は特定の色グループに偏るので、分散値は大きくなる。したがって、後述するように、分散値が大きくなるほど、光源推定情報に対する信頼度は小さくなる。
【００４３】
光源推定部１４５は、ＲＧＢブロック統計値情報に基づいて、撮像画像の被写体を照らす光源（具体例には光源色）を推定する。光源を推定する方法は特に限定されず、公知の方法が任意に適用される。光源推定部１４５は、推定結果に関する推定結果情報を信頼度算出部１４６及び情報管理部１４７に出力する。推定結果情報は、例えば光源色をＲＧＢ座標（ＥｓｔＲ、ＥｓｔＧ、ＥｓｔＢ）で示す。
【００４４】
信頼度算出部１４６は、各色グループに分類されたブロックの数の分散値、即ちブロック分布情報の分散値を、以下の式（２）に基づいて算出する。
【００４５】
【数２】
【００４６】
分散値は、１つの色グループにすべてのブロックが分類される場合に最大値を取る。例えば、ブロックの総数が１６×１６＝２５６個、色グループの総数が１４個となる場合、分散値の最大値は、４３４６．８となる。
【００４７】
そして、信頼度算出部１４６は、図８に示す分散値対応信頼度グラフＬ１と、分散値とに基づいて、光源推定情報の信頼度の一つである分散値対応信頼度を算出する。ここで、分散値対応信頼度グラフＬ１は、分散値と、分散値対応信頼度（Ｒａ）との対応関係を示す。上述のように、分散値が大きいほど、撮像画像の色分布が一様となるので、光源の推定が難しくなる。したがって、分散値が大きいほど、分散値対応信頼度が小さくなる。
【００４８】
さらに、信頼度算出部１４６は、図９に示す被写体明度対応信頼度グラフＬ２と、設定値情報とに基づいて、光源推定情報の信頼度の一つである被写体明度対応信頼度を算出する。ここで、被写体明度対応信頼度グラフＬ２は、撮像画像の被写体明度と、被写体明度対応信頼度（Ｒｂ）との対応関係を示す。被写体明度が大きいほど、被写体を照らす光源が明るいことになるので、光源の特定は容易となる（例えば、光源が明るい場合、その光源は日光となる可能性が高い）。したがって、被写体明度が大きいほど、被写体明度対応信頼度が大きくなる。設定値情報は、後述する露出制御部１６により与えられる。信頼度算出部１４６は、具体的には、設定値情報と、以下の式（２−１）とに基づいて、被写体明度を算出する。
【００４９】
【数３】
【００５０】
式（２−１）中、ＢＶは被写体明度、ＴＶはシャッタ速度、ＡＶは絞り値、ＳＶはＡＦＥ回路１３のゲインである。そして、信頼度算出部１４６は、被写体明度と、被写体明度対応信頼度グラフＬ２と、に基づいて、被写体明度信頼度を算出する。
【００５１】
さらに、信頼度算出部１４６は、光源推定情報に基づいて、推定された光源の色温度を特定する。そして、信頼度算出部１４６は、図１０に示す色温度対応信頼度グラフＬ３と、光源の色温度とに基づいて、光源推定情報の信頼度の一つである色温度対応信頼度を算出する。ここで、色温度対応信頼度グラフＬ３は、光源の色温度と、色温度対応信頼度（Ｒｃ）との対応関係を示す。光源の色温度が５０００Ｋ〜８０００Ｋ程度となる場合、光源の特定は容易となる（その光源は日光である可能性が高い）。一方、光源の色温度が高すぎたり、低すぎたりすると、光源の特定は難しくなる。したがって、光源の色温度が５０００Ｋ〜８０００Ｋ程度となる場合に、色温度対応信頼度は高くなる。
【００５２】
そして、信頼度算出部１４６は、分散値対応信頼度、被写体明度対応信頼度、及び色温度対応信頼度を乗じることで、推定結果情報の信頼度を算出する。そして、信頼度算出部１４６は、推定結果情報の信頼度に関する信頼度情報を生成し、情報管理部１４７に出力する。
【００５３】
なお、信頼度算出部１４６は、分散値ではなく、標準偏差を算出してもよい。この場合、分散値対応信頼度グラフＬ１の代わりに、標準偏差対応信頼度グラフが用意され、信頼度算出部１４６は、標準偏差と、標準偏差対応信頼度グラフとに基づいて、標準偏差対応信頼度を算出する。そして、信頼度算出部１４６は、標準偏差対応信頼度と、被写体明度対応信頼度と、色温度対応信頼度とを乗じることで、推定結果情報の信頼度を算出する。
【００５４】
また、信頼度算出部１４６は、分散値対応信頼度をそのまま推定結果情報の信頼度としてもよい。また、信頼度算出部１４６は、分散値対応信頼度に、被写体明度対応信頼度または色温度対応信頼度を乗じることで、推定結果情報の信頼度を算出してもよい。
【００５５】
情報管理部１４７は、まず、平均輝度情報に基づいて、平均輝度が所定範囲を超えるか否かを判定する。この結果、情報管理部１４７は、平均輝度が所定範囲を超えると判定した場合、撮像環境、具体的には光源が大きく変化したと判定し、記憶部１４８をクリアする。
【００５６】
そして、情報管理部１４７は、光源推定情報と、信頼度情報と、撮像画像のフレーム番号とが関連付けられた信頼度対応情報を記憶部１４８に記憶させる。情報管理部１４７は、記憶部１４８に記憶された信頼度対応情報の数が所定フレーム数を超えた場合には、記憶部１４８に記憶された信頼度対応情報のうち、最も古いものを記憶部１４８から削除する。即ち、情報管理部１４７は、ＦＩＦＯ処理を行うことで、記憶部１４８に記憶された信頼度対応情報を管理する。
【００５７】
情報管理部１４７によるＦＩＦＯ処理の様子を図１１に示す。図１１は、記憶部１４８に記憶される信頼度対応情報を棒グラフで示す。横軸はフレーム番号を示し、右端が最も新しいフレーム番号、左端が最も古いフレーム番号を示す。縦軸は信頼度を示す。情報管理部１４７は、現フレームの撮像画像に対して生成された信頼度対応情報Ｒ１を記憶部１４８に記憶する。情報管理部１４７は、記憶部１４８に記憶された信頼度対応情報の数が所定フレーム数を超えた場合には、最も古い信頼度対応情報Ｒ３を削除する。
【００５８】
また、情報管理部１４７は、記憶部１４８に記憶された信頼度対応情報のうち、信頼度が最も高いものをホワイトバランス調整部１４９に出力する。図１１に示す例では、情報管理部１４７は、信頼度が最も高い信頼度対応情報Ｒ２をホワイトバランス調整部１４９に出力する。これにより、情報管理部１４７は、撮像環境の変化（例えば、パニングや被写体の変化）により現フレームの信頼度が前フレームの信頼度から減少しても、信頼度が最大の信頼度対応情報をホワイトバランス調整部１４９に提供することができる。
【００５９】
図１２に、現フレームの信頼度が前フレームの信頼度から減少する例を示す。記憶部１４８内の信頼度対応情報は、図１２（ａ）から（ｉ）に向かって遷移する。図１２（ａ）〜（ｉ）の横軸及び縦軸は図１１と同様である。情報管理部１４７は、図１２（ａ）に示す時点では、信頼度対応情報Ｒ１ａを記憶部１４８に記憶させる一方、信頼度が最も高い信頼度対応情報Ｒ２ａをホワイトバランス調整部１４９に出力する。
【００６０】
同様に、図１２（ｂ）〜（ｉ）に示す各時点でも、情報管理部１４７は、信頼度対応情報Ｒ１ｂ〜Ｒ１ｉを記憶部１４８に記憶させる一方、各時点での信頼度が最も高い信頼度対応情報Ｒ２ｂ〜Ｒ２ｉをホワイトバランス調整部１４９に出力する。即ち、情報管理部１４７は、現フレームよりも前のフレームの信頼度対応情報をホワイトバランス調整部１４９に出力する。したがって、ホワイトバランス調整部１４９は、撮像環境の変化により信頼度が減少する場合には、ホワイトバランスを撮像環境の変化にゆっくりと追従させることができる。
【００６１】
ホワイトバランス調整部１４９は、信頼度対応情報が示す光源色に基づいて、第１のホワイトバランス補正係数を算出する。第１のホワイトバランス補正係数の算出方法は特に限定されず、公知の方法が任意に適用される。例えば、ホワイトバランス調整部１４９は、第１のホワイトバランス補正係数を以下の式（３）に基づいて算出する。
【００６２】
【数４】
【００６３】
式（３）中、Ｍａｘ（ＥｓｔＲ，ＥｓｔＧ，ＥｓｔＢ）はＥｓｔＲ，ＥｓｔＧ，ＥｓｔＢの最大値を示し、Ｋｒ、Ｋｇ、Ｋｂはそれぞれ第１のホワイトバランス補正係数である。即ち、第１のホワイトバランス補正係数Ｋｒは、撮像画像のＲ情報に対する補正係数であり、第１のホワイトバランス補正係数Ｋｇは、撮像画像のＧ情報に対する補正係数であり、第１のホワイトバランス補正係数Ｋｂは、撮像画像のＢ情報に対する補正係数である。
【００６４】
さらに、ホワイトバランス調整部１４９は、第１のホワイトバランス補正係数にローパスフィルタを掛けることで、第２のホワイトバランス補正係数を算出する。そして、ホワイトバランス調整部１４９は、第２のホワイトバランス補正係数に基づいて、撮像画像のホワイトバランスを調整する。
【００６５】
したがって、第２のホワイトバランス補正係数は、第１のホワイトバランス補正係数の時間変化に所定の収束時間だけ遅れて追従することとなる。ここで、収束時間は、ある第１のホワイトバランス補正係数が算出されてから、第２のホワイトバランス補正係数が当該第１のホワイトバランス補正係数に収束する（一致する）までの時間であり、例えば１〜２秒と短く設定される。したがって、第２のホワイトバランス補正係数は第１のホワイトバランス補正係数に迅速に追従する。
【００６６】
ここで、上述したように、情報管理部１４７は、撮像環境の変化により信頼度が減少する場合に、現フレームよりも前のフレームの信頼度対応情報をホワイトバランス調整部１４９に出力する。したがって、第１のホワイトバランス補正係数は、撮像環境の変化にゆっくりと追従するので、第２のホワイトバランス補正係数も、撮像環境の変化にゆっくりと追従する。
【００６７】
一方、情報管理部１４７は、記憶部に記憶された信頼度対応情報のうち、信頼度が最も高い信頼度対応情報をホワイトバランス調整部１４９に出力するので、撮像環境の変化により信頼度が上昇する場合には、現フレームの信頼度対応情報をホワイトバランス調整部１４９に出力する。したがって、第１のホワイトバランス補正係数は、撮像環境の変化に迅速に追従するので、第２のホワイトバランス補正係数も、撮像環境の変化に迅速に追従する。
【００６８】
これにより、ホワイトバランス調整部１４９は、撮像環境の変化により信頼度が上昇する場合に、第２のホワイトバランス補正係数のロバスト性を確保し、かつ、不感帯時間の発生を抑制することができる。さらに、ユーザは、撮像画像の変化をより自然に把握することができる。
【００６９】
なお、従来は、ロバスト性を確保することのみに着目していたため、収束時間が非常に長くなっていた（例えば１００秒程度）。このため、撮像画像のホワイトバランスが撮像環境の変化になかなか追従せず、ユーザが撮像画像に違和感を持ってしまう可能性があった。これに対し、ホワイトバランス調整部１４９は、収束時間を１〜２秒程度に設定するため、撮像環境の変化により信頼度が上昇する場合に、撮像画像のホワイトバランスを撮像環境の変化に迅速に追従させることができる。
【００７０】
図１３に、現フレームの信頼度が前フレームの信頼度から上昇する例を示す。記憶部１４８内の信頼度対応情報は、図１３（ａ）から（ｃ）に向かって遷移する。図１３（ａ）〜（ｃ）の横軸及び縦軸は図１１と同様である。情報管理部１４７は、図１３（ａ）に示す時点では、信頼度対応情報Ｒ１ｊを記憶部１４８に記憶させる一方、信頼度が最も高い信頼度対応情報Ｒ２ｊ（＝Ｒ１ｊ）をホワイトバランス調整部１４９に出力する。
【００７１】
同様に、図１３（ｂ）〜（ｃ）に示す各時点でも、情報管理部１４７は、信頼度対応情報Ｒ１ｋ〜Ｒ１ｌを記憶部１４８に記憶させる一方、各時点での信頼度が最も高い信頼度対応情報Ｒ２ｋ〜Ｒ２ｌ（＝Ｒ１ｋ〜Ｒ１ｌ）をホワイトバランス調整部１４９に出力する。したがって、時間の経過、即ち撮像環境の変化に応じて信頼度対応情報が上昇している。この場合、ホワイトバランス調整部１４９は、第２のホワイトバランス補正係数、即ち撮像画像のホワイトバランスを撮像環境の変化に迅速に追従させることができる。
【００７２】
ホワイトバランス調整部１４９は、ホワイトバランスが調整された撮像画像を後処理部１５０に出力する。後処理部１５０は、撮像画像に対し、各種の後処理、例えば、デモザイク処理、平滑化、エッジ強調処理、色再現補正、トーンコントロール処理、ガンマ補正、ＹＣｂＣｒ（輝度、色相、彩度）変換を行う。後処理部１９６は、後処理後のノイズ除去画像を図１に示す画像表示部１９に表示し、画像記録部２０に記録する。
【００７３】
露出制御部１６は、タイミングジェネレータ１７を介して撮像素子１２の駆動タイミング等を調整する。さらに、露出制御部１６は、撮像画像の平均輝度が予め設定された目標輝度に一致するように（即ち、撮像素子１２の露出が適正となるように）、レンズユニット１１の絞り、シャッタスピード、及びＡＦＥ回路１３のゲインを設定する。そして、露出制御部１６は、これらの設定値に関する設定値情報をドライバ１８、ＡＦＥ回路１３、及び信頼度算出部１４６に出力する。ドライバ１８及びＡＦＥ回路１３は、これらの設定値に基づいて駆動する。なお、設定値情報は、例えばＡＰＥＸ値で与えられる。
【００７４】
＜２．撮像装置による処理の手順＞
次に、撮像装置１０による処理の手順を図１４に示すフローチャートに沿って説明する。ステップＳ１０において、撮像画像取得部１４１は、ＡＦＥ回路１３から撮像画像を取得し、前処理部１４２に出力する。
【００７５】
ステップＳ２０において、前処理部１４２は、撮像画像に対し、各種の前処理、例えば欠陥画素補正、黒レベル補正、シェーディング補正、及び手ぶれ補正等を行なう。さらに、前処理部１４２は、前処理を行った撮像画像にフレーム番号を付与する。前処理部１４２は、撮像画像をブロック分割部１４３及びホワイトバランス調整部１４９に出力する。
【００７６】
ステップＳ３０において、ブロック分割部１４３は、撮像画像を複数のブロックに分割する。また、ブロック分割部１４３は、各ブロックにｘｙ座標を付与する。ブロック分割部１４３は、生成されたブロックに関するブロック情報を統計値算出部１４４に出力する。
【００７７】
ステップＳ４０において、統計値算出部１４４は、ブロック情報に基づいて、以下の処理を行なう。即ち、統計値算出部１４４は、ブロック毎に、Ｒ情報、Ｇ情報、Ｂ情報をそれぞれ積算（統計）することで、ＲＧＢブロック統計値を算出する。統計値算出部１４４は、ＲＧＢブロック統計値とブロックのｘｙ座標とが関連付けられたＲＧＢブロック統計値情報を生成し、光源推定部１４５に出力する。
【００７８】
次いで、統計値算出部１４４は、Ｒブロック統計値、Ｇブロック統計値、Ｂブロック統計値をそれぞれ全ブロックについて積算することで、ＲＧＢ統計値を算出する。そして、統計値算出部１４４は、上述した式（１）に基づいて、撮像画像の輝度統計値を算出し、輝度統計値を撮像画像の画素数で除算することで、平均輝度を算出する。
【００７９】
次いで、統計値算出部１４４は、平均輝度に関する平均輝度情報を情報管理部１４７、及び露出制御部１６に出力する。一方、統計値算出部１４４は、各ブロックのＲＧＢブロック統計値を色空間マップ内の色座標に変換する。
【００８０】
次いで、統計値算出部１４４は、各ブロックの色座標と色空間マップとに基づいて、各ブロックをいずれかの色グループに分類する。そして、統計値算出部１４４は、図６に示すように、色グループの種類と、色グループに属するブロックの数との対応関係を示すブロック分布情報を生成し、信頼度算出部１４６に出力する。
【００８１】
ステップＳ５０において、光源推定部１４５は、ＲＧＢブロック統計値情報に基づいて、撮像画像の被写体を照らす光源（具体例には光源色）を推定する。光源推定部１４５は、推定結果に関する推定結果情報を信頼度算出部１４６及び情報管理部１４７に出力する。
【００８２】
一方、ステップＳ６０において、信頼度算出部１４６は、各色グループに分類されたブロックの数の分散値、即ちブロック分布情報の分散値を、上述した式（２）に基づいて算出する。
【００８３】
次いで、信頼度算出部１４６は、図８に示す分散値対応信頼度グラフＬ１と、分散値とに基づいて、光源推定情報の信頼度の一つである分散値対応信頼度を算出する。さらに、信頼度算出部１４６は、図９に示す被写体明度対応信頼度グラフＬ２と、設定値情報とに基づいて、光源推定情報の信頼度の一つである被写体明度対応信頼度を算出する。さらに、信頼度算出部１４６は、光源推定情報に基づいて、推定された光源の色温度を特定する。次いで、信頼度算出部１４６は、図１０に示す色温度対応信頼度グラフＬ３と、光源の色温度とに基づいて、光源推定情報の信頼度の一つである色温度対応信頼度を算出する。
【００８４】
次いで、信頼度算出部１４６は、分散値対応信頼度、被写体明度対応信頼度、及び色温度対応信頼度を乗じることで、推定結果情報の信頼度を算出する。そして、信頼度算出部１４６は、推定結果情報の信頼度に関する信頼度情報を生成し、情報管理部１４７に出力する。
【００８５】
ステップＳ７０において、情報管理部１４７は、平均輝度情報に基づいて、平均輝度が所定範囲を超えるか否かを判定する。情報管理部１４７は、平均輝度が所定範囲を超えると判定した場合、ステップＳ８０に進み、平均輝度が所定範囲以内であると判定した場合には、ステップＳ９０に進む。
【００８６】
ステップＳ８０において、情報管理部１４７は、撮像環境、具体的には光源が大きく変化したと判定し、記憶部１４８をクリアする。ステップＳ９０において、情報管理部１４７は、光源推定情報と、信頼度情報と、撮像画像のフレーム番号とが関連付けられた信頼度対応情報を記憶部１４８に記憶させる。次いで、情報管理部１４７は、記憶部１４８に記憶された信頼度対応情報の数が所定フレーム数を超えたか否かを判定する。情報管理部１４７は、信頼度対応情報の数が所定フレーム数を超えたと判定した場合には、記憶部１４８に記憶された信頼度対応情報のうち、最も古いものを記憶部１４８から削除する。即ち、情報管理部１４７は、ＦＩＦＯ処理を行うことで、記憶部１４８に記憶された信頼度対応情報を管理する。
【００８７】
ステップＳ１００において、情報管理部１４７は、記憶部１４８に記憶された信頼度対応情報のうち、信頼度が最も高いものをホワイトバランス調整部１４９に出力する。ステップＳ１１０において、ホワイトバランス調整部１４９は、信頼度対応情報が示す光源色に基づいて、第１のホワイトバランス補正係数を算出する。例えば、ホワイトバランス調整部１４９は、第１のホワイトバランス補正係数を上述した式（３）に基づいて算出する。
【００８８】
ステップＳ１２０において、ホワイトバランス調整部１４９は、第１のホワイトバランス補正係数にローパスフィルタを掛けることで、第２のホワイトバランス補正係数を算出する。次いで、ホワイトバランス調整部１４９は、第２のホワイトバランス補正係数に基づいて、撮像画像のホワイトバランスを調整し、調整後の撮像画像を後処理部１５０に出力する。
【００８９】
ステップＳ１３０において、後処理部１５０は、撮像画像に対し、各種の後処理、例えば、デモザイク処理、平滑化、エッジ強調処理、色再現補正、トーンコントロール処理、ガンマ補正、ＹＣｂＣｒ（輝度、色相、彩度）変換を行う。後処理部１９６は、後処理後のノイズ除去画像を図１に示す画像表示部１９に表示し、画像記録部２０に記録する。その後、撮像装置１０は、処理を終了する。
【００９０】
以上により、本実施形態では、撮像装置１０は、ブロック統計値の偏り、具体的にはブロック分布情報の分散値に基づいて、光源推定情報の信頼度を算出し、光源推定情報と、光源推定情報の信頼度とに基づいて、撮像画像のホワイトバランスを調整する。したがって、撮像装置１０は、撮像画像の色分布が一様となる場合に、信頼度を低くすることができるので、ホワイトバランスをより正確に調整することができる。
【００９１】
より具体的には、撮像装置１０は、信頼度対応情報を記憶部１４８に記憶させ、記憶部１４８に記憶された信頼度対応情報のうち、信頼度が最も高い信頼度対応情報に基づいて、撮像画像のホワイトバランスを調整する。したがって、撮像装置１０は、撮像画像の色分布が一様となる場合のように、現フレームでの信頼度が低くなった場合に、より信頼度が高い信頼度対応情報に基づいて、ホワイトバランスを調整することができる。これにより、撮像装置１０は、ホワイトバランスをより正確に調整することができる。特に、撮像装置１０は、撮像環境の変化により信頼度が減少する場合に、ホワイトバランスを撮像環境の変化にゆっくりと追従させることができる。
【００９２】
さらに、撮像装置１０は、記憶部１４８に記憶された信頼度対応情報の数が所定フレーム数を超えた場合には、記憶部１４８に記憶された信頼度対応情報のうち、最も古いものを記憶部１４８から削除する。これにより、撮像装置１０は、現フレームの撮像環境に一致しない可能性が最も高い信頼度対応情報を削除することができるので、ホワイトバランスをより正確に調整することができる。
【００９３】
さらに、撮像装置１０は、撮像画像の平均輝度が所定範囲を超えた場合に、記憶部１４８に記憶された信頼度対応情報を削除するので、現フレームの撮像環境に一致しない可能性が非常に高い信頼度対応情報を削除することができる。したがって、撮像装置１０は、ホワイトバランスをより正確に調整することができる。
【００９４】
さらに、撮像装置１０は、ブロック統計値の偏り、即ちブロック分布情報の分散値と、撮像画像の被写体明度及び光源の色温度とに基づいて、信頼度を算出するので、信頼度をより正確に算出することができる。
【００９５】
さらに、撮像装置１０は、ＲＧＢブロック統計値に基づいて、ブロックを複数の色グループのうち、いずれかの色グループに分類し、各色グループに分類されたブロックの数の分散値、即ちブロック分布情報の分散値をブロック統計値の偏りとして算出する。したがって、撮像装置１０は、信頼度をより正確に算出することができる。
【００９６】
さらに、撮像装置１０は、第２のホワイトバランス補正係数の収束時間を短く（例えば１〜２秒）に設定するので、撮像環境の変化により信頼度が上昇する場合に、ホワイトバランスを撮像環境の変化に迅速に追従させることができる。
【００９７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９８】
１０ 撮像装置
１１ レンズユニット
１２ 撮像素子
１３ ＡＦＥ回路
１４ 画像信号処理部
１４１ 撮像画像取得部
１４２ 前処理部
１４３ ブロック分割部
１４４ 統計値算出部
１４５ 光源推定部
１４６ 信頼度算出部
１４７ 情報管理部
１４８ 記憶部
１４９ ホワイトバランス調整部
１５０ 後処理部
１６ 露出制御部
１７ タイミングジェネレータ
１８ ドライバ
１９ 画像表示部
２０ 画像記録部
【技術分野】
【０００１】
本発明は、情報処理装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラ等の撮像装置は、光源色に関わらず被写体の色を正確に再現することができるように、ホワイトバランス調整を行なう。例えば、撮像装置は、撮像画像を複数のブロックに分割し、各ブロックのＲＧＢ統計値に基づいて、光源の種類を判定し、光源の種類に基づいた補正係数を用いて、撮像画像の各画素値を補正する。これにより、撮像装置は、ホワイトバランス調整を行なう。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第４０８１２１３号公報
【特許文献２】特許第４７５４２２７号公報
【特許文献３】特開２００８−２１９４１４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の撮像装置は、光源の種類を誤判定する可能性があった。この可能性は、撮像画像の色分布が一様である場合（例えば、撮像画像全体に地面や空などが描かれていた場合）に、特に高くなっていた。撮像装置が光源の種類を誤判定した場合、被写体の実際の色情報（輝度、色相、彩度等）と撮像画像内の色情報とが一致しないという現象、即ち被写体を光源とみなして被写体色を抑制することで、補色方向に色が偏る現象であるカラーフェリア（Ｃｏｌｏｒ Ｆａｉｌｕｒｅ）が生じてしまっていた。
【０００５】
カラーフェリアの発生を防止する技術として、特許文献１〜３に開示された技術が知られている。特許文献１、２に開示された技術は、撮像画像を複数のブロックに分割し、各ブロックに対する光源の信頼度を光源の種類ごとに算出する。この信頼度は、ブロック内の色分布がばらつく（多様な色がブロックに含まれる）場合には低く、ブロック内の色分布が一様である場合には、高くなる。これにより、特許文献１、２に開示された技術は、ブロック内の混色による光源誤判定を防止することができる。例えば、特許文献１、２に開示された技術は、ブロック内に緑色の画素と赤色の画素とが含まれる場合に、このブロックの色を電球の色である黄色と誤判定することを防止することができる。
【０００６】
しかし、これらの技術でも、撮像画像の色分布が一様である場合に、光源を正確に特定することができなかった。さらに、これらの技術では、撮像画像の色分布が一様である場合に、ブロック内の色分布が一様になるので、撮像場所の光源以外の光源に対しても信頼度が高くなってしまうという問題もあった。したがって、これらの技術では、上記の問題を解決することができなかった。
【０００７】
一方、特許文献３に開示された技術は、画像を複数の領域（例えば人物の顔領域と他の領域）に分割し、領域ごとに光源推定及びホワイトバランス調整を行う。しかし、特許文献３は、撮像画像の色分布が一様である場合に対する処理を何ら開示していなかった。したがって、特許文献３に開示された技術でも、上記の問題を解決することができなかった。
【０００８】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、ホワイトバランスをより正確に調整することが可能な、新規かつ改良された情報処理装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のある観点によれば、撮像画像を取得する撮像画像取得部と、撮像画像を複数のブロックに分割するブロック分割部と、ブロック毎に画素値を統計することで、ブロック統計値を算出する統計値算出部と、ブロック統計値に基づいて、撮像画像の被写体を照らす光源を推定し、推定結果に関する光源推定情報を生成する光源推定部と、ブロック統計値の偏りに基づいて、光源推定情報の信頼度を算出する信頼度算出部と、光源推定情報と、光源推定情報の信頼度とに基づいて、撮像画像のホワイトバランスを調整するホワイトバランス調整部と、を備えることを特徴とする、情報処理装置が提供される。
【００１０】
この観点によれば、情報処理装置は、ブロック統計値の偏りに基づいて、光源推定情報の信頼度を算出し、光源推定情報と、光源推定情報の信頼度とに基づいて、撮像画像のホワイトバランスを調整する。したがって、情報処理装置は、撮像画像の色分布が一様となる場合に、信頼度を低くすることができるので、ホワイトバランスをより正確に調整することができる。
【００１１】
ここで、光源推定情報と光源推定情報の信頼度とが関連付けられた信頼度対応情報を記憶部に記憶する情報管理部を備え、ホワイトバランス調整部は、記憶部に記憶された信頼度対応情報のうち、光源推定情報の信頼度が最も高い信頼度対応情報に基づいて、撮像画像のホワイトバランスを調整するようにしてもよい。
【００１２】
この観点によれば、情報処理装置は、撮像画像の色分布が一様となる場合のように、現フレームでの信頼度が低くなった場合に、より信頼度が高い信頼度対応情報に基づいて、ホワイトバランスを調整することができる。これにより、情報処理装置は、ホワイトバランスをより正確に調整することができる。特に、情報処理装置は、撮像環境の変化により信頼度が減少する場合に、ホワイトバランスを撮像環境の変化にゆっくりと追従させることができる。
【００１３】
また、情報管理部は、記憶部に記憶された信頼度対応情報の数が所定フレーム数を超えた場合には、記憶部に記憶された信頼度対応情報のうち、最も古いものを記憶部から削除してもよい。
【００１４】
この観点によれば、情報処理装置は、現フレームの撮像環境に一致しない可能性が最も高い信頼度対応情報を削除することができるので、ホワイトバランスをより正確に調整することができる。
【００１５】
また、情報管理部は、撮像画像の輝度が所定範囲を超えた場合に、記憶部に記憶された信頼度対応情報を削除してもよい。
【００１６】
この観点によれば、情報処理装置は、現フレームの撮像環境に一致しない可能性が非常に高い信頼度対応情報を削除することができる。したがって、情報処理装置は、ホワイトバランスをより正確に調整することができる。
【００１７】
また、信頼度算出部は、ブロック統計値の偏りと、撮像画像の被写体明度及び光源の色温度のうち少なくとも一方と、に基づいて、信頼度を算出してもよい。
【００１８】
この観点によれば、情報処理装置は、ブロック統計値の偏りと、撮像画像の被写体明度及び光源の色温度の少なくとも一方とに基づいて、信頼度を算出するので、信頼度をより正確に算出することができる。
【００１９】
また、信頼度算出部は、ブロック統計値に基づいて、ブロックを複数の色グループのうち、いずれかの色グループに分類し、各色グループに分類されたブロックの数の分散値または標準偏差をブロック統計値の偏りとして算出してもよい。
【００２０】
この観点によれば、情報処理装置は、ブロック統計値に基づいて、ブロックを複数の色グループのうち、いずれかの色グループに分類し、各色グループに分類されたブロックの数の分散値をブロック統計値の偏りとして算出する。したがって、情報処理装置は、信頼度をより正確に算出することができる。
【００２１】
また、ホワイトバランス調整部は、光源推定情報と、光源推定情報の信頼度とに基づいて、第１のホワイトバランス補正係数を算出し、第１のホワイトバランス補正係数をフィルタ処理することで、第１のホワイトバランス補正係数に所定の収束時間だけ遅れて追従する第２のホワイトバランス補正係数を算出し、第２のホワイトバランス補正係数に基づいて、撮像画像のホワイトバランスを調整し、収束時間は、短く設定されてもよい。
【００２２】
この観点によれば、情報処理装置は、第２のホワイトバランス補正係数の収束時間を短く（例えば１〜２秒）に設定するので、撮像環境の変化により信頼度が上昇する場合に、ホワイトバランスを撮像環境の変化に迅速に追従させることができる。
【発明の効果】
【００２３】
以上説明したように本発明によれば、撮像画像の色分布が一様となる場合に、信頼度を低くすることができるので、ホワイトバランスをより正確に調整することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る撮像装置の構成を示すブロック図である。
【図２】同実施形態にかかる画像信号処理部の構成を示すブロック図である。
【図３】撮像画像を複数のブロックに分割する様子を示す説明図である。
【図４】色グループの一例を示す説明図である。
【図５】色グループの一例を示す説明図である。
【図６】各色グループに属するブロックの数を示す説明図である。
【図７】各色グループに属するブロックの数の具体例を示す説明図である。
【図８】各色グループに属するブロックの数の分散値と信頼度との対応関係を示すグラフである。
【図９】撮像画像の被写体明度と信頼度との対応関係を示すグラフである。
【図１０】光源の色温度と信頼度との対応関係を示すグラフである。
【図１１】記憶部に記憶される信頼度情報を示す説明図である。
【図１２】時間の経過に応じて信頼度が低下する様子を示す説明図である。
【図１３】時間の経過に応じて信頼度が上昇する様子を示す説明図である。
【図１４】撮像装置による処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２６】
＜１．撮像装置の構成＞
まず、図１を参照して、本発明の第１の実施形態に係る撮像装置（情報処理装置）１０の概略構成について説明する。撮像装置１０は、レンズユニット１１と、撮像素子１２と、ＡＦＥ回路１３と、画像信号処理部１４と、露出制御部１６と、タイミングジェネレータ１７と、ドライバ１８と、画像表示部１９と、画像記録部２０とを備える。
【００２７】
なお、撮像装置１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ディスプレイ、補助光源、フラッシュメモリ等のハードウェアを有しており、ＣＰＵがＲＯＭに記憶されたプログラムを読みだして実行することによって、上記各機能ブロックによる処理が実現される。即ち、ＲＯＭには、撮像装置１０に、上記各機能ブロック、特に画像信号処理部１４と、露出制御部１６と、タイミングジェネレータ１７と、ドライバ１８と、画像表示部１９と、画像記録部２０とを実現させるためのプログラムが記憶されている。また、ＲＯＭには、撮像装置１０の処理に必要な各種テーブル、グラフ等の情報が記憶されている。
【００２８】
なお、他の実施形態としては、画像信号処理部１４を備える情報処理装置（例えばパーソナルコンピュータやサーバ等のコンピュータ）が考えられる。この実施形態では、情報処理装置は、撮像装置等から撮像画像を取得し、撮像画像に対して後述する処理を行うことで、撮像画像のホワイトバランスを調整する。また、本実施形態は、静止画を撮像する場合と、動画を撮像する場合との両方に適用可能である。ただし、後述するように、本実施形態は、撮像環境の変化にホワイトバランス補正係数を追従させるので、動画を撮像する場合に特に好適に適用される。
【００２９】
レンズユニット１１は、撮像装置１０に対して着脱可能となっており、複数のレンズ、絞り機構、及びシャッタ等を備える。レンズユニット１１は、撮像装置１０の外部から可視光を取り込み、取り込んだ光を、レンズ等を介して撮像素子１２に入射させる。
【００３０】
撮像素子１２は、マトリックス状に配置された複数の単位素子と、図示しない撮像素子制御部とを備える。単位素子は、撮像画像の単位画素に対応するものである。各単位素子は、赤色光を受光するＲ素子、緑色光を受光するＧ素子、青色光を受光するＢ素子を備える。単位素子は、赤色光、緑色光、青色光それぞれの受信強度に関するＲ情報、Ｇ情報、Ｂ情報（以下、これらをまとめて「ＲＧＢ情報」とも称する）を撮像素子制御部に出力する。撮像素子制御部は、各単位素子から与えられたＲＧＢ情報に基づいて、ＲＧＢ情報を画素値として有する撮像画像を生成する。これにより、撮像素子１２は、撮像を行なう。
【００３１】
撮像素子制御部は、生成された撮像画像をＡＦＥ回路１３に出力する。なお、撮像素子１２には、ｘｙ平面が設定され、撮像画像の各画素には、ｘｙ平面上の座標値が与えられる。ｘ軸、ｙ軸の方向は任意であるが、例えば、ｙ軸は撮像素子１２の上下方向、即ち撮像装置１０の上下方向に延びる軸であり、ｘ軸は、ｙ軸に垂直な方向に延びる軸である。
【００３２】
ＡＦＥ回路１３は、撮像素子１２から与えられた撮像画像をアナログ・デジタル変換し、変換後の撮像画像を画像信号処理部１４に出力する。画像信号処理部１４は、図２に示すように、撮像画像取得部１４１と、前処理部１４２と、ブロック分割部１４３と、統計値算出部１４４と、光源推定部１４５と、信頼度算出部１４６と、情報管理部１４７と、記憶部１４８と、ホワイトバランス調整部１４９と、後処理部１５０とを備える。
【００３３】
撮像画像取得部１４１は、ＡＦＥ回路１３から撮像画像を取得し、前処理部１４２に出力する。前処理部１４２は、撮像画像に対し、各種の前処理、例えば欠陥画素補正、黒レベル補正、シェーディング補正、及び手ぶれ補正等を行なう。さらに、前処理部１４２は、前処理を行った撮像画像にフレーム番号を付与する。このフレーム番号は、各撮像画像を一意に特定するための情報である。前処理部１４２は、撮像画像をブロック分割部１４３及びホワイトバランス調整部１４９に出力する。
【００３４】
ブロック分割部１４３は、撮像画像を複数のブロックに分割する。例えば、ブロック分割部１４３は、図３に示すように、撮像画像を１６×１２のブロック１００に分割する。各ブロック１００には、複数の単位画素が含まれる。各単位画素は、Ｒ情報を有するＲ画素１００Ｒと、Ｇ情報を有する２つのＧ画素１００Ｇと、Ｂ情報を有するＢ画素１００Ｂとを有する。また、ブロック分割部１４３は、各ブロックにｘｙ座標を付与する。例えば、図２に示す例では、各ブロックには、０〜１５の範囲内の整数がｘ座標として与えられ、０〜１１の範囲内の整数がｙ座標として与えられる。ブロック分割部１４３は、生成されたブロックに関するブロック情報を統計値算出部１４４に出力する。
【００３５】
統計値算出部１４４は、ブロック情報に基づいて、以下の処理を行なう。即ち、統計値算出部１４４は、ブロック毎に、Ｒ情報、Ｇ情報、Ｂ情報をそれぞれ積算（統計）することで、Ｒブロック統計値、Ｇブロック統計値、Ｂブロック統計値（以下、これらをまとめてＲＧＢブロック統計値とも称する）を算出する。統計値算出部１４４は、ＲＧＢブロック統計値とブロックのｘｙ座標とが関連付けられたＲＧＢブロック統計値情報を生成し、光源推定部１４５に出力する。
【００３６】
そして、統計値算出部１４４は、Ｒブロック統計値、Ｇブロック統計値、Ｂブロック統計値をそれぞれ全ブロックについて積算することで、Ｒ統計値、Ｇ統計値、Ｂ統計値（以下、これらをまとめてＲＧＢ統計値とも称する）を算出する。そして、統計値算出部１４４は、以下の式（１）に基づいて、撮像画像の輝度統計値を算出し、輝度統計値を撮像画像の画素数で除算することで、平均輝度を算出する。
【００３７】
【数１】
【００３８】
式（１）中、Ｙは輝度統計値、ＲはＲ統計値、ＧはＧ統計値、ＢはＢ統計値である。統計値算出部１４４は、平均輝度に関する平均輝度情報を情報管理部１４７、及び露出制御部１６に出力する。一方、統計値算出部１４４は、各ブロックのＲＧＢブロック統計値を色空間マップ内の色座標に変換する。ここで、色空間マップは、色空間内の色座標と色グループとの対応関係を示すマップである。
【００３９】
図４及び図５に色空間マップの例を示す。図４に示す色空間マップは、ＣｂＣｒ平面内の色座標と色グループ０〜１３との対応関係を示す。例えば、領域１１０内の色座標は、色グループ８に対応する。図５に示す色空間マップは、ＣＩＥｘｙ平面内の色座標と色グループ０、１、２、・・・との対応関係を示す。例えば、領域１２０内の色座標は、色グループ０に対応する。なお、色空間マップに用いられる色空間は、これらの例に限られず、任意の色空間、例えば、ＲＧＢ、Ｌ＊ａ＊ｂ＊、ＹＰｂＰｒ等の各色空間であってもよい。
【００４０】
そして、統計値算出部１４４は、各ブロックの色座標と色空間マップとに基づいて、各ブロックをいずれかの色グループに分類する。そして、統計値算出部１４４は、図６に示すように、色グループの種類と、色グループに属するブロックの数との対応関係を示すブロック分布情報を生成し、信頼度算出部１４６に出力する。
【００４１】
ここで、ブロック分布情報の例を図７に示す。図７に示すブロック分布情報例１では、特定の色グループにブロックの分布が偏っており、ブロック分布情報例４では、ブロックの分布が最もばらついている。各例の最下段には、各色グループに分類されたブロックの数の分散値、即ちブロック分布情報の分散値「ＶＡＲ」が示されている。なお、ブロック分布情報例１は、植物を近接撮像した場合に得られるブロック分布情報であり、ブロック分布情報例２は、地下道を撮影した場合に得られるブロック分布情報である。ブロック分布情報例３は、鳥を近接撮像した場合に得られるブロック分布情報であり、ブロック分布情報例４は、多数の料理が載せられたプレートを撮影した場合に得られるブロック分布情報である。
【００４２】
図７に示すように、ブロックの分布が特定の色グループに偏っている場合、分散値は大きくなるが、ブロックの分布がばらついている場合、分散値は小さくなる。撮像画像の色分布が一様となる場合、ブロックの分布は特定の色グループに偏るので、分散値は大きくなる。したがって、後述するように、分散値が大きくなるほど、光源推定情報に対する信頼度は小さくなる。
【００４３】
光源推定部１４５は、ＲＧＢブロック統計値情報に基づいて、撮像画像の被写体を照らす光源（具体例には光源色）を推定する。光源を推定する方法は特に限定されず、公知の方法が任意に適用される。光源推定部１４５は、推定結果に関する推定結果情報を信頼度算出部１４６及び情報管理部１４７に出力する。推定結果情報は、例えば光源色をＲＧＢ座標（ＥｓｔＲ、ＥｓｔＧ、ＥｓｔＢ）で示す。
【００４４】
信頼度算出部１４６は、各色グループに分類されたブロックの数の分散値、即ちブロック分布情報の分散値を、以下の式（２）に基づいて算出する。
【００４５】
【数２】
【００４６】
分散値は、１つの色グループにすべてのブロックが分類される場合に最大値を取る。例えば、ブロックの総数が１６×１６＝２５６個、色グループの総数が１４個となる場合、分散値の最大値は、４３４６．８となる。
【００４７】
そして、信頼度算出部１４６は、図８に示す分散値対応信頼度グラフＬ１と、分散値とに基づいて、光源推定情報の信頼度の一つである分散値対応信頼度を算出する。ここで、分散値対応信頼度グラフＬ１は、分散値と、分散値対応信頼度（Ｒａ）との対応関係を示す。上述のように、分散値が大きいほど、撮像画像の色分布が一様となるので、光源の推定が難しくなる。したがって、分散値が大きいほど、分散値対応信頼度が小さくなる。
【００４８】
さらに、信頼度算出部１４６は、図９に示す被写体明度対応信頼度グラフＬ２と、設定値情報とに基づいて、光源推定情報の信頼度の一つである被写体明度対応信頼度を算出する。ここで、被写体明度対応信頼度グラフＬ２は、撮像画像の被写体明度と、被写体明度対応信頼度（Ｒｂ）との対応関係を示す。被写体明度が大きいほど、被写体を照らす光源が明るいことになるので、光源の特定は容易となる（例えば、光源が明るい場合、その光源は日光となる可能性が高い）。したがって、被写体明度が大きいほど、被写体明度対応信頼度が大きくなる。設定値情報は、後述する露出制御部１６により与えられる。信頼度算出部１４６は、具体的には、設定値情報と、以下の式（２−１）とに基づいて、被写体明度を算出する。
【００４９】
【数３】
【００５０】
式（２−１）中、ＢＶは被写体明度、ＴＶはシャッタ速度、ＡＶは絞り値、ＳＶはＡＦＥ回路１３のゲインである。そして、信頼度算出部１４６は、被写体明度と、被写体明度対応信頼度グラフＬ２と、に基づいて、被写体明度信頼度を算出する。
【００５１】
さらに、信頼度算出部１４６は、光源推定情報に基づいて、推定された光源の色温度を特定する。そして、信頼度算出部１４６は、図１０に示す色温度対応信頼度グラフＬ３と、光源の色温度とに基づいて、光源推定情報の信頼度の一つである色温度対応信頼度を算出する。ここで、色温度対応信頼度グラフＬ３は、光源の色温度と、色温度対応信頼度（Ｒｃ）との対応関係を示す。光源の色温度が５０００Ｋ〜８０００Ｋ程度となる場合、光源の特定は容易となる（その光源は日光である可能性が高い）。一方、光源の色温度が高すぎたり、低すぎたりすると、光源の特定は難しくなる。したがって、光源の色温度が５０００Ｋ〜８０００Ｋ程度となる場合に、色温度対応信頼度は高くなる。
【００５２】
そして、信頼度算出部１４６は、分散値対応信頼度、被写体明度対応信頼度、及び色温度対応信頼度を乗じることで、推定結果情報の信頼度を算出する。そして、信頼度算出部１４６は、推定結果情報の信頼度に関する信頼度情報を生成し、情報管理部１４７に出力する。
【００５３】
なお、信頼度算出部１４６は、分散値ではなく、標準偏差を算出してもよい。この場合、分散値対応信頼度グラフＬ１の代わりに、標準偏差対応信頼度グラフが用意され、信頼度算出部１４６は、標準偏差と、標準偏差対応信頼度グラフとに基づいて、標準偏差対応信頼度を算出する。そして、信頼度算出部１４６は、標準偏差対応信頼度と、被写体明度対応信頼度と、色温度対応信頼度とを乗じることで、推定結果情報の信頼度を算出する。
【００５４】
また、信頼度算出部１４６は、分散値対応信頼度をそのまま推定結果情報の信頼度としてもよい。また、信頼度算出部１４６は、分散値対応信頼度に、被写体明度対応信頼度または色温度対応信頼度を乗じることで、推定結果情報の信頼度を算出してもよい。
【００５５】
情報管理部１４７は、まず、平均輝度情報に基づいて、平均輝度が所定範囲を超えるか否かを判定する。この結果、情報管理部１４７は、平均輝度が所定範囲を超えると判定した場合、撮像環境、具体的には光源が大きく変化したと判定し、記憶部１４８をクリアする。
【００５６】
そして、情報管理部１４７は、光源推定情報と、信頼度情報と、撮像画像のフレーム番号とが関連付けられた信頼度対応情報を記憶部１４８に記憶させる。情報管理部１４７は、記憶部１４８に記憶された信頼度対応情報の数が所定フレーム数を超えた場合には、記憶部１４８に記憶された信頼度対応情報のうち、最も古いものを記憶部１４８から削除する。即ち、情報管理部１４７は、ＦＩＦＯ処理を行うことで、記憶部１４８に記憶された信頼度対応情報を管理する。
【００５７】
情報管理部１４７によるＦＩＦＯ処理の様子を図１１に示す。図１１は、記憶部１４８に記憶される信頼度対応情報を棒グラフで示す。横軸はフレーム番号を示し、右端が最も新しいフレーム番号、左端が最も古いフレーム番号を示す。縦軸は信頼度を示す。情報管理部１４７は、現フレームの撮像画像に対して生成された信頼度対応情報Ｒ１を記憶部１４８に記憶する。情報管理部１４７は、記憶部１４８に記憶された信頼度対応情報の数が所定フレーム数を超えた場合には、最も古い信頼度対応情報Ｒ３を削除する。
【００５８】
また、情報管理部１４７は、記憶部１４８に記憶された信頼度対応情報のうち、信頼度が最も高いものをホワイトバランス調整部１４９に出力する。図１１に示す例では、情報管理部１４７は、信頼度が最も高い信頼度対応情報Ｒ２をホワイトバランス調整部１４９に出力する。これにより、情報管理部１４７は、撮像環境の変化（例えば、パニングや被写体の変化）により現フレームの信頼度が前フレームの信頼度から減少しても、信頼度が最大の信頼度対応情報をホワイトバランス調整部１４９に提供することができる。
【００５９】
図１２に、現フレームの信頼度が前フレームの信頼度から減少する例を示す。記憶部１４８内の信頼度対応情報は、図１２（ａ）から（ｉ）に向かって遷移する。図１２（ａ）〜（ｉ）の横軸及び縦軸は図１１と同様である。情報管理部１４７は、図１２（ａ）に示す時点では、信頼度対応情報Ｒ１ａを記憶部１４８に記憶させる一方、信頼度が最も高い信頼度対応情報Ｒ２ａをホワイトバランス調整部１４９に出力する。
【００６０】
同様に、図１２（ｂ）〜（ｉ）に示す各時点でも、情報管理部１４７は、信頼度対応情報Ｒ１ｂ〜Ｒ１ｉを記憶部１４８に記憶させる一方、各時点での信頼度が最も高い信頼度対応情報Ｒ２ｂ〜Ｒ２ｉをホワイトバランス調整部１４９に出力する。即ち、情報管理部１４７は、現フレームよりも前のフレームの信頼度対応情報をホワイトバランス調整部１４９に出力する。したがって、ホワイトバランス調整部１４９は、撮像環境の変化により信頼度が減少する場合には、ホワイトバランスを撮像環境の変化にゆっくりと追従させることができる。
【００６１】
ホワイトバランス調整部１４９は、信頼度対応情報が示す光源色に基づいて、第１のホワイトバランス補正係数を算出する。第１のホワイトバランス補正係数の算出方法は特に限定されず、公知の方法が任意に適用される。例えば、ホワイトバランス調整部１４９は、第１のホワイトバランス補正係数を以下の式（３）に基づいて算出する。
【００６２】
【数４】
【００６３】
式（３）中、Ｍａｘ（ＥｓｔＲ，ＥｓｔＧ，ＥｓｔＢ）はＥｓｔＲ，ＥｓｔＧ，ＥｓｔＢの最大値を示し、Ｋｒ、Ｋｇ、Ｋｂはそれぞれ第１のホワイトバランス補正係数である。即ち、第１のホワイトバランス補正係数Ｋｒは、撮像画像のＲ情報に対する補正係数であり、第１のホワイトバランス補正係数Ｋｇは、撮像画像のＧ情報に対する補正係数であり、第１のホワイトバランス補正係数Ｋｂは、撮像画像のＢ情報に対する補正係数である。
【００６４】
さらに、ホワイトバランス調整部１４９は、第１のホワイトバランス補正係数にローパスフィルタを掛けることで、第２のホワイトバランス補正係数を算出する。そして、ホワイトバランス調整部１４９は、第２のホワイトバランス補正係数に基づいて、撮像画像のホワイトバランスを調整する。
【００６５】
したがって、第２のホワイトバランス補正係数は、第１のホワイトバランス補正係数の時間変化に所定の収束時間だけ遅れて追従することとなる。ここで、収束時間は、ある第１のホワイトバランス補正係数が算出されてから、第２のホワイトバランス補正係数が当該第１のホワイトバランス補正係数に収束する（一致する）までの時間であり、例えば１〜２秒と短く設定される。したがって、第２のホワイトバランス補正係数は第１のホワイトバランス補正係数に迅速に追従する。
【００６６】
ここで、上述したように、情報管理部１４７は、撮像環境の変化により信頼度が減少する場合に、現フレームよりも前のフレームの信頼度対応情報をホワイトバランス調整部１４９に出力する。したがって、第１のホワイトバランス補正係数は、撮像環境の変化にゆっくりと追従するので、第２のホワイトバランス補正係数も、撮像環境の変化にゆっくりと追従する。
【００６７】
一方、情報管理部１４７は、記憶部に記憶された信頼度対応情報のうち、信頼度が最も高い信頼度対応情報をホワイトバランス調整部１４９に出力するので、撮像環境の変化により信頼度が上昇する場合には、現フレームの信頼度対応情報をホワイトバランス調整部１４９に出力する。したがって、第１のホワイトバランス補正係数は、撮像環境の変化に迅速に追従するので、第２のホワイトバランス補正係数も、撮像環境の変化に迅速に追従する。
【００６８】
これにより、ホワイトバランス調整部１４９は、撮像環境の変化により信頼度が上昇する場合に、第２のホワイトバランス補正係数のロバスト性を確保し、かつ、不感帯時間の発生を抑制することができる。さらに、ユーザは、撮像画像の変化をより自然に把握することができる。
【００６９】
なお、従来は、ロバスト性を確保することのみに着目していたため、収束時間が非常に長くなっていた（例えば１００秒程度）。このため、撮像画像のホワイトバランスが撮像環境の変化になかなか追従せず、ユーザが撮像画像に違和感を持ってしまう可能性があった。これに対し、ホワイトバランス調整部１４９は、収束時間を１〜２秒程度に設定するため、撮像環境の変化により信頼度が上昇する場合に、撮像画像のホワイトバランスを撮像環境の変化に迅速に追従させることができる。
【００７０】
図１３に、現フレームの信頼度が前フレームの信頼度から上昇する例を示す。記憶部１４８内の信頼度対応情報は、図１３（ａ）から（ｃ）に向かって遷移する。図１３（ａ）〜（ｃ）の横軸及び縦軸は図１１と同様である。情報管理部１４７は、図１３（ａ）に示す時点では、信頼度対応情報Ｒ１ｊを記憶部１４８に記憶させる一方、信頼度が最も高い信頼度対応情報Ｒ２ｊ（＝Ｒ１ｊ）をホワイトバランス調整部１４９に出力する。
【００７１】
同様に、図１３（ｂ）〜（ｃ）に示す各時点でも、情報管理部１４７は、信頼度対応情報Ｒ１ｋ〜Ｒ１ｌを記憶部１４８に記憶させる一方、各時点での信頼度が最も高い信頼度対応情報Ｒ２ｋ〜Ｒ２ｌ（＝Ｒ１ｋ〜Ｒ１ｌ）をホワイトバランス調整部１４９に出力する。したがって、時間の経過、即ち撮像環境の変化に応じて信頼度対応情報が上昇している。この場合、ホワイトバランス調整部１４９は、第２のホワイトバランス補正係数、即ち撮像画像のホワイトバランスを撮像環境の変化に迅速に追従させることができる。
【００７２】
ホワイトバランス調整部１４９は、ホワイトバランスが調整された撮像画像を後処理部１５０に出力する。後処理部１５０は、撮像画像に対し、各種の後処理、例えば、デモザイク処理、平滑化、エッジ強調処理、色再現補正、トーンコントロール処理、ガンマ補正、ＹＣｂＣｒ（輝度、色相、彩度）変換を行う。後処理部１９６は、後処理後のノイズ除去画像を図１に示す画像表示部１９に表示し、画像記録部２０に記録する。
【００７３】
露出制御部１６は、タイミングジェネレータ１７を介して撮像素子１２の駆動タイミング等を調整する。さらに、露出制御部１６は、撮像画像の平均輝度が予め設定された目標輝度に一致するように（即ち、撮像素子１２の露出が適正となるように）、レンズユニット１１の絞り、シャッタスピード、及びＡＦＥ回路１３のゲインを設定する。そして、露出制御部１６は、これらの設定値に関する設定値情報をドライバ１８、ＡＦＥ回路１３、及び信頼度算出部１４６に出力する。ドライバ１８及びＡＦＥ回路１３は、これらの設定値に基づいて駆動する。なお、設定値情報は、例えばＡＰＥＸ値で与えられる。
【００７４】
＜２．撮像装置による処理の手順＞
次に、撮像装置１０による処理の手順を図１４に示すフローチャートに沿って説明する。ステップＳ１０において、撮像画像取得部１４１は、ＡＦＥ回路１３から撮像画像を取得し、前処理部１４２に出力する。
【００７５】
ステップＳ２０において、前処理部１４２は、撮像画像に対し、各種の前処理、例えば欠陥画素補正、黒レベル補正、シェーディング補正、及び手ぶれ補正等を行なう。さらに、前処理部１４２は、前処理を行った撮像画像にフレーム番号を付与する。前処理部１４２は、撮像画像をブロック分割部１４３及びホワイトバランス調整部１４９に出力する。
【００７６】
ステップＳ３０において、ブロック分割部１４３は、撮像画像を複数のブロックに分割する。また、ブロック分割部１４３は、各ブロックにｘｙ座標を付与する。ブロック分割部１４３は、生成されたブロックに関するブロック情報を統計値算出部１４４に出力する。
【００７７】
ステップＳ４０において、統計値算出部１４４は、ブロック情報に基づいて、以下の処理を行なう。即ち、統計値算出部１４４は、ブロック毎に、Ｒ情報、Ｇ情報、Ｂ情報をそれぞれ積算（統計）することで、ＲＧＢブロック統計値を算出する。統計値算出部１４４は、ＲＧＢブロック統計値とブロックのｘｙ座標とが関連付けられたＲＧＢブロック統計値情報を生成し、光源推定部１４５に出力する。
【００７８】
次いで、統計値算出部１４４は、Ｒブロック統計値、Ｇブロック統計値、Ｂブロック統計値をそれぞれ全ブロックについて積算することで、ＲＧＢ統計値を算出する。そして、統計値算出部１４４は、上述した式（１）に基づいて、撮像画像の輝度統計値を算出し、輝度統計値を撮像画像の画素数で除算することで、平均輝度を算出する。
【００７９】
次いで、統計値算出部１４４は、平均輝度に関する平均輝度情報を情報管理部１４７、及び露出制御部１６に出力する。一方、統計値算出部１４４は、各ブロックのＲＧＢブロック統計値を色空間マップ内の色座標に変換する。
【００８０】
次いで、統計値算出部１４４は、各ブロックの色座標と色空間マップとに基づいて、各ブロックをいずれかの色グループに分類する。そして、統計値算出部１４４は、図６に示すように、色グループの種類と、色グループに属するブロックの数との対応関係を示すブロック分布情報を生成し、信頼度算出部１４６に出力する。
【００８１】
ステップＳ５０において、光源推定部１４５は、ＲＧＢブロック統計値情報に基づいて、撮像画像の被写体を照らす光源（具体例には光源色）を推定する。光源推定部１４５は、推定結果に関する推定結果情報を信頼度算出部１４６及び情報管理部１４７に出力する。
【００８２】
一方、ステップＳ６０において、信頼度算出部１４６は、各色グループに分類されたブロックの数の分散値、即ちブロック分布情報の分散値を、上述した式（２）に基づいて算出する。
【００８３】
次いで、信頼度算出部１４６は、図８に示す分散値対応信頼度グラフＬ１と、分散値とに基づいて、光源推定情報の信頼度の一つである分散値対応信頼度を算出する。さらに、信頼度算出部１４６は、図９に示す被写体明度対応信頼度グラフＬ２と、設定値情報とに基づいて、光源推定情報の信頼度の一つである被写体明度対応信頼度を算出する。さらに、信頼度算出部１４６は、光源推定情報に基づいて、推定された光源の色温度を特定する。次いで、信頼度算出部１４６は、図１０に示す色温度対応信頼度グラフＬ３と、光源の色温度とに基づいて、光源推定情報の信頼度の一つである色温度対応信頼度を算出する。
【００８４】
次いで、信頼度算出部１４６は、分散値対応信頼度、被写体明度対応信頼度、及び色温度対応信頼度を乗じることで、推定結果情報の信頼度を算出する。そして、信頼度算出部１４６は、推定結果情報の信頼度に関する信頼度情報を生成し、情報管理部１４７に出力する。
【００８５】
ステップＳ７０において、情報管理部１４７は、平均輝度情報に基づいて、平均輝度が所定範囲を超えるか否かを判定する。情報管理部１４７は、平均輝度が所定範囲を超えると判定した場合、ステップＳ８０に進み、平均輝度が所定範囲以内であると判定した場合には、ステップＳ９０に進む。
【００８６】
ステップＳ８０において、情報管理部１４７は、撮像環境、具体的には光源が大きく変化したと判定し、記憶部１４８をクリアする。ステップＳ９０において、情報管理部１４７は、光源推定情報と、信頼度情報と、撮像画像のフレーム番号とが関連付けられた信頼度対応情報を記憶部１４８に記憶させる。次いで、情報管理部１４７は、記憶部１４８に記憶された信頼度対応情報の数が所定フレーム数を超えたか否かを判定する。情報管理部１４７は、信頼度対応情報の数が所定フレーム数を超えたと判定した場合には、記憶部１４８に記憶された信頼度対応情報のうち、最も古いものを記憶部１４８から削除する。即ち、情報管理部１４７は、ＦＩＦＯ処理を行うことで、記憶部１４８に記憶された信頼度対応情報を管理する。
【００８７】
ステップＳ１００において、情報管理部１４７は、記憶部１４８に記憶された信頼度対応情報のうち、信頼度が最も高いものをホワイトバランス調整部１４９に出力する。ステップＳ１１０において、ホワイトバランス調整部１４９は、信頼度対応情報が示す光源色に基づいて、第１のホワイトバランス補正係数を算出する。例えば、ホワイトバランス調整部１４９は、第１のホワイトバランス補正係数を上述した式（３）に基づいて算出する。
【００８８】
ステップＳ１２０において、ホワイトバランス調整部１４９は、第１のホワイトバランス補正係数にローパスフィルタを掛けることで、第２のホワイトバランス補正係数を算出する。次いで、ホワイトバランス調整部１４９は、第２のホワイトバランス補正係数に基づいて、撮像画像のホワイトバランスを調整し、調整後の撮像画像を後処理部１５０に出力する。
【００８９】
ステップＳ１３０において、後処理部１５０は、撮像画像に対し、各種の後処理、例えば、デモザイク処理、平滑化、エッジ強調処理、色再現補正、トーンコントロール処理、ガンマ補正、ＹＣｂＣｒ（輝度、色相、彩度）変換を行う。後処理部１９６は、後処理後のノイズ除去画像を図１に示す画像表示部１９に表示し、画像記録部２０に記録する。その後、撮像装置１０は、処理を終了する。
【００９０】
以上により、本実施形態では、撮像装置１０は、ブロック統計値の偏り、具体的にはブロック分布情報の分散値に基づいて、光源推定情報の信頼度を算出し、光源推定情報と、光源推定情報の信頼度とに基づいて、撮像画像のホワイトバランスを調整する。したがって、撮像装置１０は、撮像画像の色分布が一様となる場合に、信頼度を低くすることができるので、ホワイトバランスをより正確に調整することができる。
【００９１】
より具体的には、撮像装置１０は、信頼度対応情報を記憶部１４８に記憶させ、記憶部１４８に記憶された信頼度対応情報のうち、信頼度が最も高い信頼度対応情報に基づいて、撮像画像のホワイトバランスを調整する。したがって、撮像装置１０は、撮像画像の色分布が一様となる場合のように、現フレームでの信頼度が低くなった場合に、より信頼度が高い信頼度対応情報に基づいて、ホワイトバランスを調整することができる。これにより、撮像装置１０は、ホワイトバランスをより正確に調整することができる。特に、撮像装置１０は、撮像環境の変化により信頼度が減少する場合に、ホワイトバランスを撮像環境の変化にゆっくりと追従させることができる。
【００９２】
さらに、撮像装置１０は、記憶部１４８に記憶された信頼度対応情報の数が所定フレーム数を超えた場合には、記憶部１４８に記憶された信頼度対応情報のうち、最も古いものを記憶部１４８から削除する。これにより、撮像装置１０は、現フレームの撮像環境に一致しない可能性が最も高い信頼度対応情報を削除することができるので、ホワイトバランスをより正確に調整することができる。
【００９３】
さらに、撮像装置１０は、撮像画像の平均輝度が所定範囲を超えた場合に、記憶部１４８に記憶された信頼度対応情報を削除するので、現フレームの撮像環境に一致しない可能性が非常に高い信頼度対応情報を削除することができる。したがって、撮像装置１０は、ホワイトバランスをより正確に調整することができる。
【００９４】
さらに、撮像装置１０は、ブロック統計値の偏り、即ちブロック分布情報の分散値と、撮像画像の被写体明度及び光源の色温度とに基づいて、信頼度を算出するので、信頼度をより正確に算出することができる。
【００９５】
さらに、撮像装置１０は、ＲＧＢブロック統計値に基づいて、ブロックを複数の色グループのうち、いずれかの色グループに分類し、各色グループに分類されたブロックの数の分散値、即ちブロック分布情報の分散値をブロック統計値の偏りとして算出する。したがって、撮像装置１０は、信頼度をより正確に算出することができる。
【００９６】
さらに、撮像装置１０は、第２のホワイトバランス補正係数の収束時間を短く（例えば１〜２秒）に設定するので、撮像環境の変化により信頼度が上昇する場合に、ホワイトバランスを撮像環境の変化に迅速に追従させることができる。
【００９７】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９８】
１０ 撮像装置
１１ レンズユニット
１２ 撮像素子
１３ ＡＦＥ回路
１４ 画像信号処理部
１４１ 撮像画像取得部
１４２ 前処理部
１４３ ブロック分割部
１４４ 統計値算出部
１４５ 光源推定部
１４６ 信頼度算出部
１４７ 情報管理部
１４８ 記憶部
１４９ ホワイトバランス調整部
１５０ 後処理部
１６ 露出制御部
１７ タイミングジェネレータ
１８ ドライバ
１９ 画像表示部
２０ 画像記録部
【特許請求の範囲】
【請求項１】
撮像画像を取得する撮像画像取得部と、
前記撮像画像を複数のブロックに分割するブロック分割部と、
ブロック毎に画素値を統計することで、ブロック統計値を算出する統計値算出部と、
前記ブロック統計値に基づいて、前記撮像画像の被写体を照らす光源を推定し、推定結果に関する光源推定情報を生成する光源推定部と、
前記ブロック統計値の偏りに基づいて、前記光源推定情報の信頼度を算出する信頼度算出部と、
前記光源推定情報と、前記光源推定情報の信頼度とに基づいて、前記撮像画像のホワイトバランスを調整するホワイトバランス調整部と、を備えることを特徴とする、情報処理装置。
【請求項２】
前記光源推定情報と前記光源推定情報の信頼度とが関連付けられた信頼度対応情報を記憶部に記憶する情報管理部を備え、
前記ホワイトバランス調整部は、前記記憶部に記憶された信頼度対応情報のうち、前記光源推定情報の信頼度が最も高い信頼度対応情報に基づいて、前記撮像画像のホワイトバランスを調整することを特徴とする、請求項１記載の情報処理装置。
【請求項３】
前記情報管理部は、前記記憶部に記憶された前記信頼度対応情報の数が所定フレーム数を超えた場合には、前記記憶部に記憶された前記信頼度対応情報のうち、最も古いものを前記記憶部から削除することを特徴とする、請求項２記載の情報処理装置。
【請求項４】
前記情報管理部は、前記撮像画像の輝度が所定範囲を超えた場合に、前記記憶部に記憶された前記信頼度対応情報を削除することを特徴とする、請求項２または３記載の情報処理装置。
【請求項５】
前記信頼度算出部は、前記ブロック統計値の偏りと、前記撮像画像の被写体明度及び前記光源の色温度のうち少なくとも一方と、に基づいて、前記信頼度を算出することを特徴とする、請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
前記信頼度算出部は、前記ブロック統計値に基づいて、前記ブロックを複数の色グループのうち、いずれかの色グループに分類し、各色グループに分類されたブロックの数の分散値または標準偏差を前記ブロック統計値の偏りとして算出することを特徴とする、請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
前記ホワイトバランス調整部は、前記光源推定情報と、前記光源推定情報の信頼度とに基づいて、第１のホワイトバランス補正係数を算出し、前記第１のホワイトバランス補正係数をフィルタ処理することで、前記第１のホワイトバランス補正係数に所定の収束時間だけ遅れて追従する第２のホワイトバランス補正係数を算出し、前記第２のホワイトバランス補正係数に基づいて、前記撮像画像のホワイトバランスを調整し、
前記収束時間は、短く設定されることを特徴とする、請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項１】
撮像画像を取得する撮像画像取得部と、
前記撮像画像を複数のブロックに分割するブロック分割部と、
ブロック毎に画素値を統計することで、ブロック統計値を算出する統計値算出部と、
前記ブロック統計値に基づいて、前記撮像画像の被写体を照らす光源を推定し、推定結果に関する光源推定情報を生成する光源推定部と、
前記ブロック統計値の偏りに基づいて、前記光源推定情報の信頼度を算出する信頼度算出部と、
前記光源推定情報と、前記光源推定情報の信頼度とに基づいて、前記撮像画像のホワイトバランスを調整するホワイトバランス調整部と、を備えることを特徴とする、情報処理装置。
【請求項２】
前記光源推定情報と前記光源推定情報の信頼度とが関連付けられた信頼度対応情報を記憶部に記憶する情報管理部を備え、
前記ホワイトバランス調整部は、前記記憶部に記憶された信頼度対応情報のうち、前記光源推定情報の信頼度が最も高い信頼度対応情報に基づいて、前記撮像画像のホワイトバランスを調整することを特徴とする、請求項１記載の情報処理装置。
【請求項３】
前記情報管理部は、前記記憶部に記憶された前記信頼度対応情報の数が所定フレーム数を超えた場合には、前記記憶部に記憶された前記信頼度対応情報のうち、最も古いものを前記記憶部から削除することを特徴とする、請求項２記載の情報処理装置。
【請求項４】
前記情報管理部は、前記撮像画像の輝度が所定範囲を超えた場合に、前記記憶部に記憶された前記信頼度対応情報を削除することを特徴とする、請求項２または３記載の情報処理装置。
【請求項５】
前記信頼度算出部は、前記ブロック統計値の偏りと、前記撮像画像の被写体明度及び前記光源の色温度のうち少なくとも一方と、に基づいて、前記信頼度を算出することを特徴とする、請求項１〜４のいずれか１項に記載の情報処理装置。
【請求項６】
前記信頼度算出部は、前記ブロック統計値に基づいて、前記ブロックを複数の色グループのうち、いずれかの色グループに分類し、各色グループに分類されたブロックの数の分散値または標準偏差を前記ブロック統計値の偏りとして算出することを特徴とする、請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
前記ホワイトバランス調整部は、前記光源推定情報と、前記光源推定情報の信頼度とに基づいて、第１のホワイトバランス補正係数を算出し、前記第１のホワイトバランス補正係数をフィルタ処理することで、前記第１のホワイトバランス補正係数に所定の収束時間だけ遅れて追従する第２のホワイトバランス補正係数を算出し、前記第２のホワイトバランス補正係数に基づいて、前記撮像画像のホワイトバランスを調整し、
前記収束時間は、短く設定されることを特徴とする、請求項１〜６のいずれか１項に記載の情報処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−１１５５７１（Ｐ２０１３−１１５５７１Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２５９３１８（Ｐ２０１１−２５９３１８）
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２８日（２０１１．１１．２８）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]