画像処理装置、撮像装置、コンピュータ読み取り可能なプログラム
【課題】カラー画像において部分領域ごとにより適正な部分領域の色を算出することのできる画像処理装置、撮像装置、コンピュータ読み取り可能な画像処理プログラムを提供する。
【解決手段】本発明を例示する画像処理装置は、カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の色を算出する色評価手段を備えた画像処理装置であって、前記色評価手段は、前記部分領域内の各部を明るさによりグループ分けし、前記部分領域の色をグループ毎に算出する。
【解決手段】本発明を例示する画像処理装置は、カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の色を算出する色評価手段を備えた画像処理装置であって、前記色評価手段は、前記部分領域内の各部を明るさによりグループ分けし、前記部分領域の色をグループ毎に算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、コンピュータ読み取り可能なプログラムに関する。
【背景技術】
【０００２】
電子カメラに搭載されている自動ホワイトバランス調整機能は、電子カメラが取得したカラー画像上の各部の色を評価し、無彩色に近い色を有した領域（無彩色物体の存在領域）を検出し、その領域の色を完全な無彩色に近づけるためのホワイトバランスゲインを算出し、それをカラー画像の全体へ乗算するものである。
【０００３】
通常、電子カメラが取得するカラー画像の画素数は膨大なので、カラー画像上の各部の色を評価する際には、カラー画像を予め複数の部分領域に分割しておき、個々の部分領域を１単位として扱っている（特許文献１等を参照。）。これによってホワイトバランス調整に要する演算量を大幅に削減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８８９８６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、以上のホワイトバランス調整では、例えば１つの部分領域内に互いに異なる２種類の色が存在していると、それらの色の中間色がその部分領域の色とみなされてしまう。そのような中間色は、その部分領域に実際には存在していなかった色なので、前述した領域の検出精度を低下させ、ひいてはホワイトバランス調整の成功率を低下させる虞がある。
【０００６】
本発明は、カラー画像において部分領域ごとにより適正な部分領域の色を算出することのできる画像処理装置、撮像装置、コンピュータ読み取り可能な画像処理プログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明を例示する画像処理装置は、カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の色を算出する色評価手段を備えた画像処理装置であって、前記色評価手段は、前記部分領域内の各部を明るさによりグループ分けし、前記部分領域の色をグループ毎に算出する。
【０００８】
また、本発明を例示する撮像装置は、被写体のカラー画像を取得する撮像手段と、前記撮像手段で取得されたカラー画像を処理する前記画像処理装置とを備える。
【０００９】
また、本発明を例示するコンピュータ読み取り可能なプログラムは、カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の色を算出する色評価手順を含むコンピュータ読み取り可能なプログラムであって、前記色評価手順では、前記部分領域内の各部を明るさによりグループ分けし、前記部分領域の色をグループ毎に算出する。
【発明の効果】
【００１０】
本発明によれば、カラー画像において部分領域ごとにより適正な部分領域の色を算出することのできる画像処理装置、撮像装置、コンピュータ読み取り可能な画像処理プログラムが実現する。
【図面の簡単な説明】
【００１１】
【図１】電子カメラの概略構成を示すブロック図。
【図２】撮影に関する画像処理エンジン１８の動作フローチャート。
【図３】ステップＳ１３を説明する図。
【図４】ステップＳ１５を説明する図。
【図５】ステップＳ１７を説明する図。
【図６】ステップＳ１７’を説明する図。
【発明を実施するための形態】
【００１２】
［実施形態］
以下、本発明の一の実施形態を説明する。
【００１３】
図１は、電子カメラの概略構成を示すブロック図である。図１に示すとおり、電子カメラ１１は、撮像光学系１２と、レンズ駆動部１３と、絞り１４と、絞り駆動部１５と、カラー撮像素子１６と、ＡＦＥ１７と、画像処理エンジン１８と、第１メモリ１９と、第２メモリ２０と、メディアＩ／Ｆ２１と、通信Ｉ／Ｆ２２と、モニタ２３と、レリーズ釦２４とを有しており、この中でレンズ駆動部１３、絞り駆動部１５、ＡＦＥ１７、第１メモリ１９、第２メモリ２０、メディアＩ／Ｆ２１、通信Ｉ／Ｆ２２、モニタ２３、レリーズ釦２４の各々は、画像処理エンジン１８に接続されている。
【００１４】
撮像光学系１２は、フォーカシングレンズを含む複数のレンズで構成されている。撮像光学系１２の焦点位置は、画像処理エンジン１８からの指示に応じてレンズ駆動部１３が調整する。また、絞り１４は、カラー撮像素子１６に入射する単位時間当たりの光量を調節する。この絞り１４の開口量は、画像処理エンジン１８からの指示に応じて絞り駆動部１５が調整する。
【００１５】
カラー撮像素子１６は、例えば単板式のカラー撮像素子であって、カラー撮像素子１６上に設けられたカラーフィルタの配列は、例えばベイヤ配列である。カラー撮像素子１６は、撮影時、撮像光学系１２が形成する被写体像を撮像して撮像画像の画像信号を生成する。このカラー撮像素子１６から出力された画像信号はＡＦＥ１７に入力される。
【００１６】
ＡＦＥ１７は、カラー撮像素子１６から出力される画像信号に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ信号処理には、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換などが含まれる。このＡＦＥ１７から出力されたデジタルの画像信号は画像処理エンジン１８に入力される。
【００１７】
画像処理エンジン１８は、電子カメラ１１の動作を統括的に制御するプロセッサであると共に、撮影時、Ａ／Ｄ変換後の画像信号に対して各種の画像処理（ホワイトバランス調整処理、色補間処理、階調変換処理、輪郭強調処理、色変換処理など）を施す画像処理回路でもある。画像処理の１種であるホワイトバランス調整は、画像処理エンジン１８に設けられた色評価部２５と、ゲイン算出部２６と、ホワイトバランス調整部２７とによって実行される。色評価部２５、ゲイン算出部２６、ホワイトバランス調整部２７の動作の詳細は、後述する。
【００１８】
なお、画像処理エンジン１８は、電子カメラ１１の記録モードが通常記録モードであるときには、全ての画像処理が施された撮像画像のデータ（通常形式の撮像画像データ）を取得し、電子カメラ１１の記録モードがＲＡＷ記録モードであるときには、全ての画像処理のうち色補間処理のみが施された撮像画像のデータ（ＲＡＷ形式の撮像画像データ）を取得する。
【００１９】
第１メモリ１９は、揮発性の記憶媒体（ＳＤＲＡＭなど）で構成されており、画像処理エンジン１８による画像処理の前工程や後工程で撮像画像を一時的に記憶する。一方、第２メモリ２０は、フラッシュメモリ等の不揮発性の記憶媒体で構成されており、画像処理エンジン１８によって実行されるプログラムを長期的に記憶する。
【００２０】
メディアＩ／Ｆ２１は、不揮発性の記憶媒体２８を着脱可能に接続する。また、メデイアＩ／Ｆ２１は、記憶媒体２８に対し、画像処理後の撮像画像のデータ（ここでは、通常形式の撮像画像データ又はＲＡＷ形式の撮像画像データ）を書き込んだり、記憶媒体２８から撮像画像のデータ（ここでは、通常形式の撮像画像データ又はＲＡＷ形式の撮像画像データ）を読み込んだりする。
【００２１】
記憶媒体２８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１に示したのは、記憶媒体２８の一例としてのメモリカードである。
【００２２】
通信Ｉ／Ｆ２２は、有線または無線の公知の通信回線を介して接続された外部装置とのデータ送受信を、所定の通信規格に準拠して制御する。
【００２３】
モニタ２３は、画像処理エンジン１８の制御下で、記憶媒体２８に書き込まれた撮像画像の再生表示を行う。
【００２４】
レリーズ釦２４は、撮影時、ＡＦ動作開始の指示入力と、撮像動作開始の指示入力とをユーザーから受け付ける。
【００２５】
次に、撮影に関する画像処理エンジン１８の動作の流れを説明する。
【００２６】
図２は、撮影に関する画像処理エンジン１８の動作フローチャートである。ここでは、電子カメラ１１のオートホワイトバランス機能がオンされ、電子カメラ１１の記録モードが通常記録モードに設定されていると仮定する。
【００２７】
ステップＳ１１：画像処理エンジン１８は、レリーズ釦２４が押下されたか否かを判別し、レリーズ釦２４が押下された場合はステップＳ１２に移行し、レリーズ釦２４が押下されていない場合はステップＳ１１を繰り返す。なお、絞り１４の開口量と撮像光学系１２の焦点位置とは、レリーズ釦２４の押下より前の時点（例えばレリーズ釦２４が半押しされた時点）で調節が完了しているものとする。
【００２８】
ステップＳ１２：画像処理エンジン１８は、カラー撮像素子１６を駆動することにより、撮像光学系１２が現時点で捕らえている被写体の画像信号を取得する。その画像信号は、ＡＦＥ１７をパイプライン式に通過してから第１メモリ１９に１フレーム分の画像としてバッファリングされる。
【００２９】
ステップＳ１３：画像処理エンジン１８の色評価部２５は、第１メモリ１９にバッファリングされた画像を、図３（Ａ）に模式的に示すとおり複数の部分領域に分割する。分割数は、例えば、横方向に１６、縦方向に１６である。この場合、画像は２５６個の部分領域Ａｓに分割される。因みに、縦方向の分割数と横方向の分割数とが等しい場合、個々の部分領域Ａｓの縦横比は画像の縦横比と同じ（例えば３：４）になる。個々の部分領域Ａｓには、図３（Ｂ）に模式的に示すとおり複数の画素ブロックＰｂが二次元状に配列されている。１つの部分領域Ａｓにおける画素ブロックＰｂの配列数は、例えば、横方向に１２８個、縦方向に９６個である。個々の画素ブロックＰｂは、前述したカラーフィルタの１単位に対応しており、４種類の画素（赤画素、第１緑画素、第２緑画素、青画素）をベイヤ配列の規則で配列してなる。この中で赤画素は、前述したカラーフィルタの赤フィルタに対応する画素であり、第１緑画素及び第２緑画素は、前述したカラーフィルタの２つの緑フィルタに対応する画素であり、青画素は、前述したカラーフィルタの青フィルタに対応する画素である。
【００３０】
ステップＳ１４：画像処理エンジン１８の色評価部２５は、各部分領域Ａｓの各画素ブロックＰｂの輝度値Ｙを個別に算出する。画素ブロックＰｂの輝度値Ｙは、画素ブロックＰｂの赤画素の値Ｒと、画素ブロックＰｂの第１緑画素の値Ｇｒと、画素ブロックＰｂの第２緑画素の値Ｇｂと、画素ブロックＰｂの青画素の値Ｂとを、Ｙ＝ａ×Ｒ＋ｂ×Ｇｒ＋ｃ×Ｇｂ＋ｄ×Ｂの式へ当てはめることによって算出される。なお、この式におけるａ、ｂ、ｃ、ｄは、前述したカラーフィルタの各フィルタの波長透過特性によって決まる所定の係数である。
【００３１】
ステップＳ１５：画像処理エンジン１８の色評価部２５は、画像上の各部分領域Ａｓについて以下の処理（ａ）〜（ｄ）を実行する。なお、画像処理エンジン１８の内部メモリには、部分領域Ａｓ毎に記憶領域が用意されており、その記憶領域の値は以下の処理（ａ）〜（ｄ）の実行に先立ちクリアされる。
【００３２】
（ａ）色評価部２５は、部分領域Ａｓの端に位置する画素ブロックＰｂに着目する。以下、着目している画素ブロックＰｂを「着目画素ブロックＰｂ」と称す。
【００３３】
（ｂ）色評価部２５は、着目画素ブロックＰｂの輝度値Ｙに基づき、その着目画素ブロックＰｂの属するグループ（所属グループ）を以下の８つのグループの中から見出す。
【００３４】
・第１グループ：輝度値Ｙが０〜５１２の範囲に収まるような画素ブロックのグループ。
【００３５】
・第２グループ：輝度値Ｙが５１２〜１０２４の範囲に収まるような画素ブロックのグループ。
【００３６】
・第３グループ：輝度値Ｙが１０２４〜１５３６の範囲に収まるような画素ブロックのグループ。
【００３７】
・第４グループ：輝度値Ｙが１５３６〜２０４８の範囲に収まるような画素ブロックのグループ。
【００３８】
・第５グループ：輝度値Ｙが２０４８〜２５６０の範囲に収まるような画素ブロックのグループ。
【００３９】
・第６グループ：輝度値Ｙが２５６０〜３０７２の範囲に収まるような画素ブロックのグループ。
【００４０】
・第７グループ：輝度値Ｙが３０７２〜３５８４の範囲に収まるような画素ブロックのグループ。
【００４１】
・第８グループ：輝度値Ｙが３５８４〜４０９５の範囲に収まるような画素ブロックのグループ。
【００４２】
なお、これらのグループに対応して、個々の部分領域Ａｓの記憶領域には、図４の下部に示すとおり、第１グループに関する記憶領域（赤用レジスタＲ１、第１緑用レジスタＧｒ１、第２緑用レジスタＧｂ１、青用レジスタＢ１、輝度用レジスタＹ１、カウンタＮ１）と、第２グループに関する記憶領域（赤用レジスタＲ２、第１緑用レジスタＧｒ２、第２緑用レジスタＧｂ２、青用レジスタＢ２、輝度用レジスタＹ２、カウンタＮ２）と、第３グループに関する記憶領域（赤用レジスタＲ３、第１緑用レジスタＧｒ３、第２緑用レジスタＧｂ３、青用レジスタＢ３、輝度用レジスタＹ３、カウンタＮ３）と、第４グループに関する記憶領域（赤用レジスタＲ４、第１緑用レジスタＧｒ４、第２緑用レジスタＧｂ４、青用レジスタＢ４、輝度用レジスタＹ４、カウンタＮ４）と、第５グループに関する記憶領域（赤用レジスタＲ５、第１緑用レジスタＧｒ５、第２緑用レジスタＧｂ５、青用レジスタＢ５、輝度用レジスタＹ５、カウンタＮ５）と、第６グループに関する記憶領域（赤用レジスタＲ６、第１緑用レジスタＧｒ６、第２緑用レジスタＧｂ６、青用レジスタＢ６、輝度用レジスタＹ６、カウンタＮ６）と、第７グループに関する記憶領域（赤用レジスタＲ７、第１緑用レジスタＧｒ７、第２緑用レジスタＧｂ７、青用レジスタＢ７、輝度用レジスタＹ７、カウンタＮ７）と、第８グループに関する記憶領域（赤用レジスタＲ８、第１緑用レジスタＧｒ８、第２緑用レジスタＧｂ８、青用レジスタＢ８、輝度用レジスタＹ８、カウンタＮ８）とが存在する。
【００４３】
（ｃ）色評価部２５は、着目画素ブロックＰｂの赤画素の値Ｒを、着目ブロックＰｂの所属グループの赤用レジスタへ書き込み、着目画素ブロックＰｂの第１緑画素の値Ｇｒを、その所属グループの第１緑用レジスタへ書き込み、着目画素ブロックＰｂの第２緑画素の値Ｇｂを、その所属グループの第２緑用レジスタへ書き込み、着目画素ブロックＰｂの青画素の値Ｂを、その所属グループの青用レジスタへ書き込み、着目画素ブロックＰｂの輝度値Ｙを、その所属グループの輝度用レジスタへ書き込む。さらに、色評価部２５は、その所属グループのカウンタの値をインクリメントする。
【００４４】
（ｄ）色評価部２５は、着目画素ブロックＰｂを部分領域Ａｓ内で移動させながら手順（ｂ）、（ｃ）を繰り返す。その結果、図４に示した例では、部分領域Ａｓのうち比較的明るい物体（雪山）を表す画素ブロックＰｂｂｒｉｇｈｔは第７グループに分類され、部分領域Ａｓのうち比較的暗い物体（青空）を表す画素ブロックＰｂｄａｒｋは、第２グループに分類されることになる。
【００４５】
この場合、第７グループの赤用レジスタＲ７、第１緑用レジスタＧｒ７、第２緑用レジスタＧｂ７、青用レジスタＢ７は、部分領域Ａｓにおける雪山の平均色度値を表し、第２グループの赤用レジスタＲ２、第１緑用レジスタＧｒ２、第２緑用レジスタＧｂ２、青用レジスタＢ２は、部分領域Ａｓにおける青空の平均色度値を表す。また、第７グループの輝度用レジスタＹ７は雪山の積算輝度値を示し、第７グループのカウンタＮ７は雪山の面積値を示す。また、第２グループの輝度用レジスタＹ２は青空の積算輝度値を示し、第２グループのカウンタＮ２は青空の面積値を示する。
【００４６】
ステップＳ１６：画像処理エンジン１８の色評価部２５は、画像上の各部分領域Ａｓについて以下の処理（ｅ）〜（ｉ）を実行する。
【００４７】
（ｅ）色評価部２５は、部分領域Ａｓに関する各グループのカウンタの値を閾値と比較し、カウンタの値が閾値に満たないようなグループ（すなわち面積値の小さいグループ）を、後述する代表グループの候補から除外する。図４に示した例において、例えばカウンタＮ１、Ｎ８の値が閾値より小さかったとすると、第１グループ及び第８グループが代表グループの候補から除外される。
【００４８】
（ｆ）色評価部２５は、除外後に残ったグループの中で最も高輝度なグループを、部分領域Ａｓの代表グループとして選出する。図４に示した例において、例えば第１グループ及び第８グループが代表グループの候補から除外されていたとすると、第７グループが部分領域Ａｓの代表グループとして選出される。
【００４９】
（ｇ）色評価部２５は、代表グループ（図４では第７グループ）の平均色度値（Ｒ／Ｇ、Ｂ／Ｇ）を、部分領域Ａｓの代表色度値として出力する。ここで、代表グループ（図４では第７グループ）の平均色度値（Ｒ／Ｇ、Ｂ／Ｇ）を規定するＲは、代表グループ（図４では第７グループ）の赤用レジスタ（図４では赤用レジスタＲ７ ）の値であり、平均色度値（Ｒ／Ｇ、Ｂ／Ｇ）を規定するＧは、代表グループ（図４では第７グループ）の第１緑用レジスタＧｒ及び第２緑用レジスタＧｂの平均値（図４では第１緑用レジスタＧｒ７、第２緑用レジスタＧｂ７の平均値）であり、平均色度値（Ｒ／Ｇ、Ｂ／Ｇ）を規定するＢは、代表グループ（図４では第７グループ）の青用レジスタ（図４では青用レジスタＢ７ ）の値である。したがって、図４に例示した部分領域Ａｓに関しては、雪山の平均色度値が部分領域Ａｓの代表色度値として出力される。この代表色度値には、青空の色度は全く反映されない。
【００５０】
（ｈ）色評価部２５は、代表グループ（図４では第７グループ）の平均輝度値を、部分領域Ａｓの代表輝度値として出力する。ここで、代表グループ（図４では第７グループ）の平均輝度値は、代表グループ（図４では第７グループ）の輝度用レジスタ （図４では輝度用レジスタＹ７）の値を、代表グループ（図４では第７グループ）のカウンタ （図４ではカウンタＮ７）の値で除算したものである。したがって、図４に例示した部分領域Ａｓに関しては、雪山の平均輝度値が、部分領域Ａｓの代表輝度値として出力される。この代表輝度値には、青空の輝度は全く反映されない。
【００５１】
（ｉ）色評価部２５は、代表グループ（図４では第７グループ）のカウンタ （図４ではカウンタＮ７）の値を、部分領域Ａｓにおける代表グループの面積値として出力する。なお、代表グループの面積値は、部分領域Ａｓにおいて代表色度値と同等の色度を有した部分の出現頻度を表している。
【００５２】
ステップＳ１７：画像処理エンジン１８のゲイン算出部２６は、図５に示すとおり、部分領域Ａｓの各々を、各々の代表色度値に応じて色度図上へ写像する。図５においては、色度図上の各点が、各部分領域Ａｓの写像先を示している。この色度図上には、無彩色検出範囲Ｄ０が規定されており、無彩色検出範囲Ｄ０は、幾つかの光源下における無彩色物体の色度範囲（黒体放射軌跡の近傍の範囲）に相当する。
【００５３】
ステップＳ１８：画像処理エンジン１８のゲイン算出部２６は、無彩色検出範囲Ｄ０の内部に位置する写像先の重心座標を算出する。この際、ゲイン算出部２６は、代表輝度値の大きな部分領域Ａｓの写像先ほど、大きな重み値を付加し、面積値の大きな部分領域Ａｓの写像先ほど、大きな重み値を付加する。
【００５４】
ステップＳ１９：画像処理エンジン１８のゲイン算出部２６は、ステップＳ１８で算出した重心座標に基づき、画像へ施すべきホワイトバランス調整のホワイトバランスゲインを取得して出力する。例えば、ホワイトバランスゲインは、その重心座標の逆数に設定される。
【００５５】
ステップＳ２０：画像処理エンジン１８のホワイトバランス調整部２７は、ステップＳ１９で取得されたホワイトバランスゲインを、第１メモリ１９にバッファリングされている画像の全ての赤画素及び青画素へ乗算することにより、ホワイトバランス調整を実施する。
【００５６】
ステップＳ２１：画像処理エンジン１８は、ホワイトバランス調整後の画像に対して、ホワイトバランス調整以外の各画像処理（色補間処理、階調変換処理、輪郭強調処理、色変換処理など）を施す。
【００５７】
ステップＳ２２：画像処理エンジン１８は、画像処理後の画像へデータ圧縮処理を施してから、予め決められた形式の画像ファイルを作成する。そして、画像処理エンジン１８は、その画像ファイルをメディアＩ／Ｆへ受け渡し、フローを終了する。これによって画像ファイルが記憶媒体２８へ保存されることになる。
【００５８】
以上、本実施形態の色評価部２５は、部分領域Ａｓ内の複数の画素ブロックＰｂを輝度値によってグループ分けし、画素ブロックＰｂの値Ｒ、Ｇｒ、Ｇｂ、Ｂをグループ毎に積算することにより、部分領域Ａｓの色度値をグループ毎に算出する（図４）。
【００５９】
ここで、同一の部分領域Ａｓ内に色度値の異なる２つの物体（例えば図４のような雪山と青空）が存在していた場合、それら２つの物体の間では、色度値が異なるだけでなく輝度値も異なるはずである。
【００６０】
したがって、部分領域Ａｓ内の複数の画素ブロックＰｂを輝度値によってグループ分けすれば、それら複数の画素ブロックＰｂを色度値によってグループ分けしたのと同等の効果が得られる。しかも、色度値によってグループ分けするよりも、輝度値によってグループ分けする方が演算量は少なくて済む。なぜなら、係数の乗算及び加算からなる輝度値の算出は、除算を伴う色度値の算出より簡単だからである。
【００６１】
したがって、本実施形態の色評価部２５は、部分領域Ａｓ内に存在する複数の色を簡単に個別評価することができる。
【００６２】
しかも、本実施形態の色評価部２５は、１つの部分領域Ａｓに関するグループうち比較的高輝度なグループをその部分領域Ａｓの代表グループとして選出するので（ステップＳ１６）、部分領域Ａｓの色評価を適正に行うことができる。
【００６３】
また、本実施形態の色評価部２５は、１つの部分領域Ａｓに関するグループの中で面積値の小さいものを代表グループの候補から除外するので（ステップＳ１６）、部分領域Ａｓの色評価を、より適正に行うことができる。
【００６４】
したがって、本実施形態の色評価部２５は、画像上の各部の色を簡単かつ適正に評価することができる。これにより、ゲイン算出部２６が特殊な演算を行わなくとも、ホワイトバランス調整の成功率は高く維持される。
【００６５】
なお、本実施形態の色評価部２５は、１つの部分領域Ａｓにつき代表グループを１つずつしか選出しなかったが、１つの部分領域Ａｓにつき２以上の代表グループを選出してもよい。また、選出される代表グループの個数は、部分領域Ａｓによって異なっても構わない。例えば、色評価部２５は、１つの部分領域Ａｓのグループのうち、カウンタの値が閾値以上である全てのグループを代表グループとして選出してもよい。その場合、画像処理エンジン１８は、上述したステップＳ１６〜Ｓ１８の代わりに後述するステップＳ１６’〜Ｓ１８’を実行すればよい（後述する変形例を参照。）。
【００６６】
また、本実施形態の色評価部２５は、１つの部分領域Ａｓに関するグループのうち比較的高輝度なグループを代表グループとして選出したが（ステップＳ１６）、比較的広面積なグループを代表グループとして選出してもよい。
【００６７】
また、上述した実施形態の色評価部２５は、全ての画素ブロックの値をレジスタへ書き込んだが、書き込みに要する処理を削減するために、個々の画素ブロックの色度を予め算出しておき、その色度が無彩色検出範囲Ｄ０に収まっていた場合にのみ、その画素ブロックの値をレジスタへ書き込むこととしてもよい。なお、その場合は、ゲイン算出部２６による処理の一部（写像に関する処理）を省略することができる。
【００６８】
また、上述した実施形態の色評価部２５は、最も低輝度なグループの輝度範囲の下限値を０としたが、０より大きい所定値に設定することで、黒つぶれした画素ブロックを評価対象から除外してもよい。
【００６９】
また、上述した実施形態の色評価部２５は、最も高輝度なグループの輝度範囲の上限値を４０９５としたが、４０９５より小さい所定値に設定することで、飽和した画素ブロックを評価対象から除外してもよい。
【００７０】
また、上述した実施形態の色評価部２５は、輝度のグループ数を８としたが、８以外の他の数としてもよい。
【００７１】
また、上述した実施形態の色評価部２５は、４種類の画素からなる画素ブロックを１単位として扱ったが、演算量を削減するために２以上の画素ブロックからなる画素ブロック群を１単位として扱ってもよい。
【００７２】
また、上述した実施形態の画像処理エンジン１８は、ホワイトバランス調整処理の対象を、撮影時に記憶媒体２８へ保存される画像（保存用画像）としたが、撮影前確認用にモニタ２３へ表示すべき画像（スルー画像）としてもよい。また、ホワイトバランス調整処理の対象を、過去の撮影で記憶媒体２８へ保存された画像（保存済み画像）としてもよい。
【００７３】
また、ホワイトバランス調整処理の対象が、保存用画像又はスルー画像である場合、上述した実施形態の色評価部２５は、色の評価対象を、ホワイトバランス調整処理の対象とは異なる画像としてもよい。例えば、上述したカラー撮像素子１６とは別に設けられた分割測光センサ（カラー撮像素子の一種）で取得された画像としてもよい。因みに、このような分割測光センサは、一眼レフタイプの電子カメラに設けられていることが多い。
【００７４】
また、上述した実施形態の画像処理エンジン１８の動作プログラムの一部又は、カラーの撮影画像を扱う他の電子機器、例えば、ディジタルフォトフレームやプリンタなどのＣＰＵに実行させてもよい。或いは、汎用のコンピュータのＣＰＵに実行させてもよい。また、ＣＰＵに実行させるべき動作プログラムは、ＣＤ−ＲＯＭなどの記憶媒体、又はインターネットなどの通信網を介してＣＰＵの搭載先機器へインストールされてもよい。
【００７５】
［代表グループを複数化する場合の変形例］
ステップＳ１６’：画像処理エンジン１８の色評価部２５は、画像上の各部分領域Ａｓについて以下の処理（ｅ’）〜（ｉ’）を実行する。
【００７６】
（ｅ’）色評価部２５は、各グループのカウンタの値を閾値と比較し、カウンタの値が閾値に満たないようなグループを代表グループの候補から除外する。
【００７７】
（ｆ’）色評価部２５は、除外後に残ったグループの全部を、部分領域Ａｓの各代表グループとして選出する。
【００７８】
（ｇ’）色評価部２５は、各代表グループの平均色度値を、部分領域Ａｓの各代表色度値として出力する。
【００７９】
（ｈ’）色評価部２５は、各代表グループの平均輝度値を、部分領域Ａｓの各代表輝度値として出力する。
【００８０】
（ｉ’）色評価部２５は、各代表グループのカウンタの値を、部分領域Ａｓにおける各代表グループの面積値として出力する。
【００８１】
ステップＳ１７’：画像処理エンジン１８のゲイン算出部２６は、図６に示すとおり、部分領域Ａｓの各々を、各々の代表色度値に応じて色度図上へ写像する。但し、ここでは１つの部分領域Ａｓが複数の代表色度値を有している可能性もあるので、図６において米印で示すとおり、１つの部分領域Ａｓが複数点へ写像される可能性もある。つまり、本ステップの写像は、部分領域Ａｓ毎に行われるのではなく、代表グループ毎に行われる。これによって、代表グループの各々が、各々の平均色度値に応じて色度図上へ写像されることになる。
【００８２】
ステップＳ１８’：画像処理エンジン１８のゲイン算出部２６は、無彩色検出範囲Ｄ０の内部に位置する写像先の重心座標を算出する。この際、ゲイン算出部２６は、平均輝度値の大きな代表グループの写像先ほど、大きな重み値を付加し、面積値の大きな代表グループの写像先ほど、大きな重み値を付加する。
【符号の説明】
【００８３】
１１…電子カメラ、１２…撮像光学系、１３…レンズ駆動部、１４…絞り、１５…絞り駆動部、１６…カラー撮像素子、１７…ＡＦＥ、１８…画像処理エンジン、１９…第１メモリ、２０…第２メモリ、２１…メディアＩ／Ｆ、２２…通信Ｉ／Ｆ、２３…モニタ、２４…レリーズ釦、２５…色評価部、２６…ゲイン算出部、２７…ホワイトバランス調整部
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、コンピュータ読み取り可能なプログラムに関する。
【背景技術】
【０００２】
電子カメラに搭載されている自動ホワイトバランス調整機能は、電子カメラが取得したカラー画像上の各部の色を評価し、無彩色に近い色を有した領域（無彩色物体の存在領域）を検出し、その領域の色を完全な無彩色に近づけるためのホワイトバランスゲインを算出し、それをカラー画像の全体へ乗算するものである。
【０００３】
通常、電子カメラが取得するカラー画像の画素数は膨大なので、カラー画像上の各部の色を評価する際には、カラー画像を予め複数の部分領域に分割しておき、個々の部分領域を１単位として扱っている（特許文献１等を参照。）。これによってホワイトバランス調整に要する演算量を大幅に削減することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３８８９８６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、以上のホワイトバランス調整では、例えば１つの部分領域内に互いに異なる２種類の色が存在していると、それらの色の中間色がその部分領域の色とみなされてしまう。そのような中間色は、その部分領域に実際には存在していなかった色なので、前述した領域の検出精度を低下させ、ひいてはホワイトバランス調整の成功率を低下させる虞がある。
【０００６】
本発明は、カラー画像において部分領域ごとにより適正な部分領域の色を算出することのできる画像処理装置、撮像装置、コンピュータ読み取り可能な画像処理プログラムを提供する。
【課題を解決するための手段】
【０００７】
本発明を例示する画像処理装置は、カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の色を算出する色評価手段を備えた画像処理装置であって、前記色評価手段は、前記部分領域内の各部を明るさによりグループ分けし、前記部分領域の色をグループ毎に算出する。
【０００８】
また、本発明を例示する撮像装置は、被写体のカラー画像を取得する撮像手段と、前記撮像手段で取得されたカラー画像を処理する前記画像処理装置とを備える。
【０００９】
また、本発明を例示するコンピュータ読み取り可能なプログラムは、カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の色を算出する色評価手順を含むコンピュータ読み取り可能なプログラムであって、前記色評価手順では、前記部分領域内の各部を明るさによりグループ分けし、前記部分領域の色をグループ毎に算出する。
【発明の効果】
【００１０】
本発明によれば、カラー画像において部分領域ごとにより適正な部分領域の色を算出することのできる画像処理装置、撮像装置、コンピュータ読み取り可能な画像処理プログラムが実現する。
【図面の簡単な説明】
【００１１】
【図１】電子カメラの概略構成を示すブロック図。
【図２】撮影に関する画像処理エンジン１８の動作フローチャート。
【図３】ステップＳ１３を説明する図。
【図４】ステップＳ１５を説明する図。
【図５】ステップＳ１７を説明する図。
【図６】ステップＳ１７’を説明する図。
【発明を実施するための形態】
【００１２】
［実施形態］
以下、本発明の一の実施形態を説明する。
【００１３】
図１は、電子カメラの概略構成を示すブロック図である。図１に示すとおり、電子カメラ１１は、撮像光学系１２と、レンズ駆動部１３と、絞り１４と、絞り駆動部１５と、カラー撮像素子１６と、ＡＦＥ１７と、画像処理エンジン１８と、第１メモリ１９と、第２メモリ２０と、メディアＩ／Ｆ２１と、通信Ｉ／Ｆ２２と、モニタ２３と、レリーズ釦２４とを有しており、この中でレンズ駆動部１３、絞り駆動部１５、ＡＦＥ１７、第１メモリ１９、第２メモリ２０、メディアＩ／Ｆ２１、通信Ｉ／Ｆ２２、モニタ２３、レリーズ釦２４の各々は、画像処理エンジン１８に接続されている。
【００１４】
撮像光学系１２は、フォーカシングレンズを含む複数のレンズで構成されている。撮像光学系１２の焦点位置は、画像処理エンジン１８からの指示に応じてレンズ駆動部１３が調整する。また、絞り１４は、カラー撮像素子１６に入射する単位時間当たりの光量を調節する。この絞り１４の開口量は、画像処理エンジン１８からの指示に応じて絞り駆動部１５が調整する。
【００１５】
カラー撮像素子１６は、例えば単板式のカラー撮像素子であって、カラー撮像素子１６上に設けられたカラーフィルタの配列は、例えばベイヤ配列である。カラー撮像素子１６は、撮影時、撮像光学系１２が形成する被写体像を撮像して撮像画像の画像信号を生成する。このカラー撮像素子１６から出力された画像信号はＡＦＥ１７に入力される。
【００１６】
ＡＦＥ１７は、カラー撮像素子１６から出力される画像信号に対してアナログ信号処理を施すアナログフロントエンド回路である。このアナログ信号処理には、相関二重サンプリング、画像信号のゲインの調整、画像信号のＡ／Ｄ変換などが含まれる。このＡＦＥ１７から出力されたデジタルの画像信号は画像処理エンジン１８に入力される。
【００１７】
画像処理エンジン１８は、電子カメラ１１の動作を統括的に制御するプロセッサであると共に、撮影時、Ａ／Ｄ変換後の画像信号に対して各種の画像処理（ホワイトバランス調整処理、色補間処理、階調変換処理、輪郭強調処理、色変換処理など）を施す画像処理回路でもある。画像処理の１種であるホワイトバランス調整は、画像処理エンジン１８に設けられた色評価部２５と、ゲイン算出部２６と、ホワイトバランス調整部２７とによって実行される。色評価部２５、ゲイン算出部２６、ホワイトバランス調整部２７の動作の詳細は、後述する。
【００１８】
なお、画像処理エンジン１８は、電子カメラ１１の記録モードが通常記録モードであるときには、全ての画像処理が施された撮像画像のデータ（通常形式の撮像画像データ）を取得し、電子カメラ１１の記録モードがＲＡＷ記録モードであるときには、全ての画像処理のうち色補間処理のみが施された撮像画像のデータ（ＲＡＷ形式の撮像画像データ）を取得する。
【００１９】
第１メモリ１９は、揮発性の記憶媒体（ＳＤＲＡＭなど）で構成されており、画像処理エンジン１８による画像処理の前工程や後工程で撮像画像を一時的に記憶する。一方、第２メモリ２０は、フラッシュメモリ等の不揮発性の記憶媒体で構成されており、画像処理エンジン１８によって実行されるプログラムを長期的に記憶する。
【００２０】
メディアＩ／Ｆ２１は、不揮発性の記憶媒体２８を着脱可能に接続する。また、メデイアＩ／Ｆ２１は、記憶媒体２８に対し、画像処理後の撮像画像のデータ（ここでは、通常形式の撮像画像データ又はＲＡＷ形式の撮像画像データ）を書き込んだり、記憶媒体２８から撮像画像のデータ（ここでは、通常形式の撮像画像データ又はＲＡＷ形式の撮像画像データ）を読み込んだりする。
【００２１】
記憶媒体２８は、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図１に示したのは、記憶媒体２８の一例としてのメモリカードである。
【００２２】
通信Ｉ／Ｆ２２は、有線または無線の公知の通信回線を介して接続された外部装置とのデータ送受信を、所定の通信規格に準拠して制御する。
【００２３】
モニタ２３は、画像処理エンジン１８の制御下で、記憶媒体２８に書き込まれた撮像画像の再生表示を行う。
【００２４】
レリーズ釦２４は、撮影時、ＡＦ動作開始の指示入力と、撮像動作開始の指示入力とをユーザーから受け付ける。
【００２５】
次に、撮影に関する画像処理エンジン１８の動作の流れを説明する。
【００２６】
図２は、撮影に関する画像処理エンジン１８の動作フローチャートである。ここでは、電子カメラ１１のオートホワイトバランス機能がオンされ、電子カメラ１１の記録モードが通常記録モードに設定されていると仮定する。
【００２７】
ステップＳ１１：画像処理エンジン１８は、レリーズ釦２４が押下されたか否かを判別し、レリーズ釦２４が押下された場合はステップＳ１２に移行し、レリーズ釦２４が押下されていない場合はステップＳ１１を繰り返す。なお、絞り１４の開口量と撮像光学系１２の焦点位置とは、レリーズ釦２４の押下より前の時点（例えばレリーズ釦２４が半押しされた時点）で調節が完了しているものとする。
【００２８】
ステップＳ１２：画像処理エンジン１８は、カラー撮像素子１６を駆動することにより、撮像光学系１２が現時点で捕らえている被写体の画像信号を取得する。その画像信号は、ＡＦＥ１７をパイプライン式に通過してから第１メモリ１９に１フレーム分の画像としてバッファリングされる。
【００２９】
ステップＳ１３：画像処理エンジン１８の色評価部２５は、第１メモリ１９にバッファリングされた画像を、図３（Ａ）に模式的に示すとおり複数の部分領域に分割する。分割数は、例えば、横方向に１６、縦方向に１６である。この場合、画像は２５６個の部分領域Ａｓに分割される。因みに、縦方向の分割数と横方向の分割数とが等しい場合、個々の部分領域Ａｓの縦横比は画像の縦横比と同じ（例えば３：４）になる。個々の部分領域Ａｓには、図３（Ｂ）に模式的に示すとおり複数の画素ブロックＰｂが二次元状に配列されている。１つの部分領域Ａｓにおける画素ブロックＰｂの配列数は、例えば、横方向に１２８個、縦方向に９６個である。個々の画素ブロックＰｂは、前述したカラーフィルタの１単位に対応しており、４種類の画素（赤画素、第１緑画素、第２緑画素、青画素）をベイヤ配列の規則で配列してなる。この中で赤画素は、前述したカラーフィルタの赤フィルタに対応する画素であり、第１緑画素及び第２緑画素は、前述したカラーフィルタの２つの緑フィルタに対応する画素であり、青画素は、前述したカラーフィルタの青フィルタに対応する画素である。
【００３０】
ステップＳ１４：画像処理エンジン１８の色評価部２５は、各部分領域Ａｓの各画素ブロックＰｂの輝度値Ｙを個別に算出する。画素ブロックＰｂの輝度値Ｙは、画素ブロックＰｂの赤画素の値Ｒと、画素ブロックＰｂの第１緑画素の値Ｇｒと、画素ブロックＰｂの第２緑画素の値Ｇｂと、画素ブロックＰｂの青画素の値Ｂとを、Ｙ＝ａ×Ｒ＋ｂ×Ｇｒ＋ｃ×Ｇｂ＋ｄ×Ｂの式へ当てはめることによって算出される。なお、この式におけるａ、ｂ、ｃ、ｄは、前述したカラーフィルタの各フィルタの波長透過特性によって決まる所定の係数である。
【００３１】
ステップＳ１５：画像処理エンジン１８の色評価部２５は、画像上の各部分領域Ａｓについて以下の処理（ａ）〜（ｄ）を実行する。なお、画像処理エンジン１８の内部メモリには、部分領域Ａｓ毎に記憶領域が用意されており、その記憶領域の値は以下の処理（ａ）〜（ｄ）の実行に先立ちクリアされる。
【００３２】
（ａ）色評価部２５は、部分領域Ａｓの端に位置する画素ブロックＰｂに着目する。以下、着目している画素ブロックＰｂを「着目画素ブロックＰｂ」と称す。
【００３３】
（ｂ）色評価部２５は、着目画素ブロックＰｂの輝度値Ｙに基づき、その着目画素ブロックＰｂの属するグループ（所属グループ）を以下の８つのグループの中から見出す。
【００３４】
・第１グループ：輝度値Ｙが０〜５１２の範囲に収まるような画素ブロックのグループ。
【００３５】
・第２グループ：輝度値Ｙが５１２〜１０２４の範囲に収まるような画素ブロックのグループ。
【００３６】
・第３グループ：輝度値Ｙが１０２４〜１５３６の範囲に収まるような画素ブロックのグループ。
【００３７】
・第４グループ：輝度値Ｙが１５３６〜２０４８の範囲に収まるような画素ブロックのグループ。
【００３８】
・第５グループ：輝度値Ｙが２０４８〜２５６０の範囲に収まるような画素ブロックのグループ。
【００３９】
・第６グループ：輝度値Ｙが２５６０〜３０７２の範囲に収まるような画素ブロックのグループ。
【００４０】
・第７グループ：輝度値Ｙが３０７２〜３５８４の範囲に収まるような画素ブロックのグループ。
【００４１】
・第８グループ：輝度値Ｙが３５８４〜４０９５の範囲に収まるような画素ブロックのグループ。
【００４２】
なお、これらのグループに対応して、個々の部分領域Ａｓの記憶領域には、図４の下部に示すとおり、第１グループに関する記憶領域（赤用レジスタＲ１、第１緑用レジスタＧｒ１、第２緑用レジスタＧｂ１、青用レジスタＢ１、輝度用レジスタＹ１、カウンタＮ１）と、第２グループに関する記憶領域（赤用レジスタＲ２、第１緑用レジスタＧｒ２、第２緑用レジスタＧｂ２、青用レジスタＢ２、輝度用レジスタＹ２、カウンタＮ２）と、第３グループに関する記憶領域（赤用レジスタＲ３、第１緑用レジスタＧｒ３、第２緑用レジスタＧｂ３、青用レジスタＢ３、輝度用レジスタＹ３、カウンタＮ３）と、第４グループに関する記憶領域（赤用レジスタＲ４、第１緑用レジスタＧｒ４、第２緑用レジスタＧｂ４、青用レジスタＢ４、輝度用レジスタＹ４、カウンタＮ４）と、第５グループに関する記憶領域（赤用レジスタＲ５、第１緑用レジスタＧｒ５、第２緑用レジスタＧｂ５、青用レジスタＢ５、輝度用レジスタＹ５、カウンタＮ５）と、第６グループに関する記憶領域（赤用レジスタＲ６、第１緑用レジスタＧｒ６、第２緑用レジスタＧｂ６、青用レジスタＢ６、輝度用レジスタＹ６、カウンタＮ６）と、第７グループに関する記憶領域（赤用レジスタＲ７、第１緑用レジスタＧｒ７、第２緑用レジスタＧｂ７、青用レジスタＢ７、輝度用レジスタＹ７、カウンタＮ７）と、第８グループに関する記憶領域（赤用レジスタＲ８、第１緑用レジスタＧｒ８、第２緑用レジスタＧｂ８、青用レジスタＢ８、輝度用レジスタＹ８、カウンタＮ８）とが存在する。
【００４３】
（ｃ）色評価部２５は、着目画素ブロックＰｂの赤画素の値Ｒを、着目ブロックＰｂの所属グループの赤用レジスタへ書き込み、着目画素ブロックＰｂの第１緑画素の値Ｇｒを、その所属グループの第１緑用レジスタへ書き込み、着目画素ブロックＰｂの第２緑画素の値Ｇｂを、その所属グループの第２緑用レジスタへ書き込み、着目画素ブロックＰｂの青画素の値Ｂを、その所属グループの青用レジスタへ書き込み、着目画素ブロックＰｂの輝度値Ｙを、その所属グループの輝度用レジスタへ書き込む。さらに、色評価部２５は、その所属グループのカウンタの値をインクリメントする。
【００４４】
（ｄ）色評価部２５は、着目画素ブロックＰｂを部分領域Ａｓ内で移動させながら手順（ｂ）、（ｃ）を繰り返す。その結果、図４に示した例では、部分領域Ａｓのうち比較的明るい物体（雪山）を表す画素ブロックＰｂｂｒｉｇｈｔは第７グループに分類され、部分領域Ａｓのうち比較的暗い物体（青空）を表す画素ブロックＰｂｄａｒｋは、第２グループに分類されることになる。
【００４５】
この場合、第７グループの赤用レジスタＲ７、第１緑用レジスタＧｒ７、第２緑用レジスタＧｂ７、青用レジスタＢ７は、部分領域Ａｓにおける雪山の平均色度値を表し、第２グループの赤用レジスタＲ２、第１緑用レジスタＧｒ２、第２緑用レジスタＧｂ２、青用レジスタＢ２は、部分領域Ａｓにおける青空の平均色度値を表す。また、第７グループの輝度用レジスタＹ７は雪山の積算輝度値を示し、第７グループのカウンタＮ７は雪山の面積値を示す。また、第２グループの輝度用レジスタＹ２は青空の積算輝度値を示し、第２グループのカウンタＮ２は青空の面積値を示する。
【００４６】
ステップＳ１６：画像処理エンジン１８の色評価部２５は、画像上の各部分領域Ａｓについて以下の処理（ｅ）〜（ｉ）を実行する。
【００４７】
（ｅ）色評価部２５は、部分領域Ａｓに関する各グループのカウンタの値を閾値と比較し、カウンタの値が閾値に満たないようなグループ（すなわち面積値の小さいグループ）を、後述する代表グループの候補から除外する。図４に示した例において、例えばカウンタＮ１、Ｎ８の値が閾値より小さかったとすると、第１グループ及び第８グループが代表グループの候補から除外される。
【００４８】
（ｆ）色評価部２５は、除外後に残ったグループの中で最も高輝度なグループを、部分領域Ａｓの代表グループとして選出する。図４に示した例において、例えば第１グループ及び第８グループが代表グループの候補から除外されていたとすると、第７グループが部分領域Ａｓの代表グループとして選出される。
【００４９】
（ｇ）色評価部２５は、代表グループ（図４では第７グループ）の平均色度値（Ｒ／Ｇ、Ｂ／Ｇ）を、部分領域Ａｓの代表色度値として出力する。ここで、代表グループ（図４では第７グループ）の平均色度値（Ｒ／Ｇ、Ｂ／Ｇ）を規定するＲは、代表グループ（図４では第７グループ）の赤用レジスタ（図４では赤用レジスタＲ７ ）の値であり、平均色度値（Ｒ／Ｇ、Ｂ／Ｇ）を規定するＧは、代表グループ（図４では第７グループ）の第１緑用レジスタＧｒ及び第２緑用レジスタＧｂの平均値（図４では第１緑用レジスタＧｒ７、第２緑用レジスタＧｂ７の平均値）であり、平均色度値（Ｒ／Ｇ、Ｂ／Ｇ）を規定するＢは、代表グループ（図４では第７グループ）の青用レジスタ（図４では青用レジスタＢ７ ）の値である。したがって、図４に例示した部分領域Ａｓに関しては、雪山の平均色度値が部分領域Ａｓの代表色度値として出力される。この代表色度値には、青空の色度は全く反映されない。
【００５０】
（ｈ）色評価部２５は、代表グループ（図４では第７グループ）の平均輝度値を、部分領域Ａｓの代表輝度値として出力する。ここで、代表グループ（図４では第７グループ）の平均輝度値は、代表グループ（図４では第７グループ）の輝度用レジスタ （図４では輝度用レジスタＹ７）の値を、代表グループ（図４では第７グループ）のカウンタ （図４ではカウンタＮ７）の値で除算したものである。したがって、図４に例示した部分領域Ａｓに関しては、雪山の平均輝度値が、部分領域Ａｓの代表輝度値として出力される。この代表輝度値には、青空の輝度は全く反映されない。
【００５１】
（ｉ）色評価部２５は、代表グループ（図４では第７グループ）のカウンタ （図４ではカウンタＮ７）の値を、部分領域Ａｓにおける代表グループの面積値として出力する。なお、代表グループの面積値は、部分領域Ａｓにおいて代表色度値と同等の色度を有した部分の出現頻度を表している。
【００５２】
ステップＳ１７：画像処理エンジン１８のゲイン算出部２６は、図５に示すとおり、部分領域Ａｓの各々を、各々の代表色度値に応じて色度図上へ写像する。図５においては、色度図上の各点が、各部分領域Ａｓの写像先を示している。この色度図上には、無彩色検出範囲Ｄ０が規定されており、無彩色検出範囲Ｄ０は、幾つかの光源下における無彩色物体の色度範囲（黒体放射軌跡の近傍の範囲）に相当する。
【００５３】
ステップＳ１８：画像処理エンジン１８のゲイン算出部２６は、無彩色検出範囲Ｄ０の内部に位置する写像先の重心座標を算出する。この際、ゲイン算出部２６は、代表輝度値の大きな部分領域Ａｓの写像先ほど、大きな重み値を付加し、面積値の大きな部分領域Ａｓの写像先ほど、大きな重み値を付加する。
【００５４】
ステップＳ１９：画像処理エンジン１８のゲイン算出部２６は、ステップＳ１８で算出した重心座標に基づき、画像へ施すべきホワイトバランス調整のホワイトバランスゲインを取得して出力する。例えば、ホワイトバランスゲインは、その重心座標の逆数に設定される。
【００５５】
ステップＳ２０：画像処理エンジン１８のホワイトバランス調整部２７は、ステップＳ１９で取得されたホワイトバランスゲインを、第１メモリ１９にバッファリングされている画像の全ての赤画素及び青画素へ乗算することにより、ホワイトバランス調整を実施する。
【００５６】
ステップＳ２１：画像処理エンジン１８は、ホワイトバランス調整後の画像に対して、ホワイトバランス調整以外の各画像処理（色補間処理、階調変換処理、輪郭強調処理、色変換処理など）を施す。
【００５７】
ステップＳ２２：画像処理エンジン１８は、画像処理後の画像へデータ圧縮処理を施してから、予め決められた形式の画像ファイルを作成する。そして、画像処理エンジン１８は、その画像ファイルをメディアＩ／Ｆへ受け渡し、フローを終了する。これによって画像ファイルが記憶媒体２８へ保存されることになる。
【００５８】
以上、本実施形態の色評価部２５は、部分領域Ａｓ内の複数の画素ブロックＰｂを輝度値によってグループ分けし、画素ブロックＰｂの値Ｒ、Ｇｒ、Ｇｂ、Ｂをグループ毎に積算することにより、部分領域Ａｓの色度値をグループ毎に算出する（図４）。
【００５９】
ここで、同一の部分領域Ａｓ内に色度値の異なる２つの物体（例えば図４のような雪山と青空）が存在していた場合、それら２つの物体の間では、色度値が異なるだけでなく輝度値も異なるはずである。
【００６０】
したがって、部分領域Ａｓ内の複数の画素ブロックＰｂを輝度値によってグループ分けすれば、それら複数の画素ブロックＰｂを色度値によってグループ分けしたのと同等の効果が得られる。しかも、色度値によってグループ分けするよりも、輝度値によってグループ分けする方が演算量は少なくて済む。なぜなら、係数の乗算及び加算からなる輝度値の算出は、除算を伴う色度値の算出より簡単だからである。
【００６１】
したがって、本実施形態の色評価部２５は、部分領域Ａｓ内に存在する複数の色を簡単に個別評価することができる。
【００６２】
しかも、本実施形態の色評価部２５は、１つの部分領域Ａｓに関するグループうち比較的高輝度なグループをその部分領域Ａｓの代表グループとして選出するので（ステップＳ１６）、部分領域Ａｓの色評価を適正に行うことができる。
【００６３】
また、本実施形態の色評価部２５は、１つの部分領域Ａｓに関するグループの中で面積値の小さいものを代表グループの候補から除外するので（ステップＳ１６）、部分領域Ａｓの色評価を、より適正に行うことができる。
【００６４】
したがって、本実施形態の色評価部２５は、画像上の各部の色を簡単かつ適正に評価することができる。これにより、ゲイン算出部２６が特殊な演算を行わなくとも、ホワイトバランス調整の成功率は高く維持される。
【００６５】
なお、本実施形態の色評価部２５は、１つの部分領域Ａｓにつき代表グループを１つずつしか選出しなかったが、１つの部分領域Ａｓにつき２以上の代表グループを選出してもよい。また、選出される代表グループの個数は、部分領域Ａｓによって異なっても構わない。例えば、色評価部２５は、１つの部分領域Ａｓのグループのうち、カウンタの値が閾値以上である全てのグループを代表グループとして選出してもよい。その場合、画像処理エンジン１８は、上述したステップＳ１６〜Ｓ１８の代わりに後述するステップＳ１６’〜Ｓ１８’を実行すればよい（後述する変形例を参照。）。
【００６６】
また、本実施形態の色評価部２５は、１つの部分領域Ａｓに関するグループのうち比較的高輝度なグループを代表グループとして選出したが（ステップＳ１６）、比較的広面積なグループを代表グループとして選出してもよい。
【００６７】
また、上述した実施形態の色評価部２５は、全ての画素ブロックの値をレジスタへ書き込んだが、書き込みに要する処理を削減するために、個々の画素ブロックの色度を予め算出しておき、その色度が無彩色検出範囲Ｄ０に収まっていた場合にのみ、その画素ブロックの値をレジスタへ書き込むこととしてもよい。なお、その場合は、ゲイン算出部２６による処理の一部（写像に関する処理）を省略することができる。
【００６８】
また、上述した実施形態の色評価部２５は、最も低輝度なグループの輝度範囲の下限値を０としたが、０より大きい所定値に設定することで、黒つぶれした画素ブロックを評価対象から除外してもよい。
【００６９】
また、上述した実施形態の色評価部２５は、最も高輝度なグループの輝度範囲の上限値を４０９５としたが、４０９５より小さい所定値に設定することで、飽和した画素ブロックを評価対象から除外してもよい。
【００７０】
また、上述した実施形態の色評価部２５は、輝度のグループ数を８としたが、８以外の他の数としてもよい。
【００７１】
また、上述した実施形態の色評価部２５は、４種類の画素からなる画素ブロックを１単位として扱ったが、演算量を削減するために２以上の画素ブロックからなる画素ブロック群を１単位として扱ってもよい。
【００７２】
また、上述した実施形態の画像処理エンジン１８は、ホワイトバランス調整処理の対象を、撮影時に記憶媒体２８へ保存される画像（保存用画像）としたが、撮影前確認用にモニタ２３へ表示すべき画像（スルー画像）としてもよい。また、ホワイトバランス調整処理の対象を、過去の撮影で記憶媒体２８へ保存された画像（保存済み画像）としてもよい。
【００７３】
また、ホワイトバランス調整処理の対象が、保存用画像又はスルー画像である場合、上述した実施形態の色評価部２５は、色の評価対象を、ホワイトバランス調整処理の対象とは異なる画像としてもよい。例えば、上述したカラー撮像素子１６とは別に設けられた分割測光センサ（カラー撮像素子の一種）で取得された画像としてもよい。因みに、このような分割測光センサは、一眼レフタイプの電子カメラに設けられていることが多い。
【００７４】
また、上述した実施形態の画像処理エンジン１８の動作プログラムの一部又は、カラーの撮影画像を扱う他の電子機器、例えば、ディジタルフォトフレームやプリンタなどのＣＰＵに実行させてもよい。或いは、汎用のコンピュータのＣＰＵに実行させてもよい。また、ＣＰＵに実行させるべき動作プログラムは、ＣＤ−ＲＯＭなどの記憶媒体、又はインターネットなどの通信網を介してＣＰＵの搭載先機器へインストールされてもよい。
【００７５】
［代表グループを複数化する場合の変形例］
ステップＳ１６’：画像処理エンジン１８の色評価部２５は、画像上の各部分領域Ａｓについて以下の処理（ｅ’）〜（ｉ’）を実行する。
【００７６】
（ｅ’）色評価部２５は、各グループのカウンタの値を閾値と比較し、カウンタの値が閾値に満たないようなグループを代表グループの候補から除外する。
【００７７】
（ｆ’）色評価部２５は、除外後に残ったグループの全部を、部分領域Ａｓの各代表グループとして選出する。
【００７８】
（ｇ’）色評価部２５は、各代表グループの平均色度値を、部分領域Ａｓの各代表色度値として出力する。
【００７９】
（ｈ’）色評価部２５は、各代表グループの平均輝度値を、部分領域Ａｓの各代表輝度値として出力する。
【００８０】
（ｉ’）色評価部２５は、各代表グループのカウンタの値を、部分領域Ａｓにおける各代表グループの面積値として出力する。
【００８１】
ステップＳ１７’：画像処理エンジン１８のゲイン算出部２６は、図６に示すとおり、部分領域Ａｓの各々を、各々の代表色度値に応じて色度図上へ写像する。但し、ここでは１つの部分領域Ａｓが複数の代表色度値を有している可能性もあるので、図６において米印で示すとおり、１つの部分領域Ａｓが複数点へ写像される可能性もある。つまり、本ステップの写像は、部分領域Ａｓ毎に行われるのではなく、代表グループ毎に行われる。これによって、代表グループの各々が、各々の平均色度値に応じて色度図上へ写像されることになる。
【００８２】
ステップＳ１８’：画像処理エンジン１８のゲイン算出部２６は、無彩色検出範囲Ｄ０の内部に位置する写像先の重心座標を算出する。この際、ゲイン算出部２６は、平均輝度値の大きな代表グループの写像先ほど、大きな重み値を付加し、面積値の大きな代表グループの写像先ほど、大きな重み値を付加する。
【符号の説明】
【００８３】
１１…電子カメラ、１２…撮像光学系、１３…レンズ駆動部、１４…絞り、１５…絞り駆動部、１６…カラー撮像素子、１７…ＡＦＥ、１８…画像処理エンジン、１９…第１メモリ、２０…第２メモリ、２１…メディアＩ／Ｆ、２２…通信Ｉ／Ｆ、２３…モニタ、２４…レリーズ釦、２５…色評価部、２６…ゲイン算出部、２７…ホワイトバランス調整部
【特許請求の範囲】
【請求項１】
カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の色を算出する色評価手段を備えた画像処理装置であって、
前記色評価手段は、
前記部分領域内の各部を明るさによりグループ分けし、前記部分領域の色をグループ毎に算出する
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記色評価手段は、
前記部分領域において比較的明るいグループの色を前記部分領域の代表色として出力する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記色評価手段は、
前記部分領域において閾値以上の面積を有しかつ比較的明るいグループの色を前記部分領域の代表色として出力する
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記色評価手段は、
前記部分領域における各グループの色を前記部分領域の代表色として出力する
ことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記色評価手段は、
前記部分領域において比較的広面積なグループの色を前記部分領域の代表色として出力する
ことを特徴とする画像処理装置。
【請求項６】
請求項２〜請求項５の何れか一項に記載の画像処理装置において、
前記色評価手段が前記部分領域毎に出力した前記代表色に基づき、前記カラー画像へ施すべきホワイトバランス調整の調整量を算出する調整量算出手段を更に備えた
ことを特徴とする画像処理装置。
【請求項７】
請求項２〜請求項５の何れか一項に記載の画像処理装置において、
前記色評価手段は、
前記部分領域において代表色の算出元となったグループの面積を前記代表色の出現頻度として出力し、
前記色評価手段が前記部分領域毎に出力した前記代表色と、前記色評価手段が前記代表色毎に出力した前記出現頻度とに基づき、前記カラー画像へ施すべきホワイトバランス調整の調整量を算出する調整量算出手段を更に備えた
ことを特徴とする画像処理装置。
【請求項８】
被写体のカラー画像を取得する撮像手段と、
前記撮像手段で取得された前記カラー画像を処理する請求項１〜請求項７の何れか一項に記載の画像処理装置と、
を備えたことを特徴とする撮像装置。
【請求項９】
カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の色を算出する色評価手順を含むコンピュータ読み取り可能なプログラムであって、
前記色評価手順では、
前記部分領域内の各部を明るさによりグループ分けし、前記部分領域の色をグループ毎に算出する
ことを特徴とするコンピュータ読み取り可能なプログラム。
【請求項１】
カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の色を算出する色評価手段を備えた画像処理装置であって、
前記色評価手段は、
前記部分領域内の各部を明るさによりグループ分けし、前記部分領域の色をグループ毎に算出する
ことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記色評価手段は、
前記部分領域において比較的明るいグループの色を前記部分領域の代表色として出力する
ことを特徴とする画像処理装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記色評価手段は、
前記部分領域において閾値以上の面積を有しかつ比較的明るいグループの色を前記部分領域の代表色として出力する
ことを特徴とする画像処理装置。
【請求項４】
請求項１に記載の画像処理装置において、
前記色評価手段は、
前記部分領域における各グループの色を前記部分領域の代表色として出力する
ことを特徴とする画像処理装置。
【請求項５】
請求項１に記載の画像処理装置において、
前記色評価手段は、
前記部分領域において比較的広面積なグループの色を前記部分領域の代表色として出力する
ことを特徴とする画像処理装置。
【請求項６】
請求項２〜請求項５の何れか一項に記載の画像処理装置において、
前記色評価手段が前記部分領域毎に出力した前記代表色に基づき、前記カラー画像へ施すべきホワイトバランス調整の調整量を算出する調整量算出手段を更に備えた
ことを特徴とする画像処理装置。
【請求項７】
請求項２〜請求項５の何れか一項に記載の画像処理装置において、
前記色評価手段は、
前記部分領域において代表色の算出元となったグループの面積を前記代表色の出現頻度として出力し、
前記色評価手段が前記部分領域毎に出力した前記代表色と、前記色評価手段が前記代表色毎に出力した前記出現頻度とに基づき、前記カラー画像へ施すべきホワイトバランス調整の調整量を算出する調整量算出手段を更に備えた
ことを特徴とする画像処理装置。
【請求項８】
被写体のカラー画像を取得する撮像手段と、
前記撮像手段で取得された前記カラー画像を処理する請求項１〜請求項７の何れか一項に記載の画像処理装置と、
を備えたことを特徴とする撮像装置。
【請求項９】
カラー画像を複数の部分領域に分割し、前記部分領域毎に前記部分領域の色を算出する色評価手順を含むコンピュータ読み取り可能なプログラムであって、
前記色評価手順では、
前記部分領域内の各部を明るさによりグループ分けし、前記部分領域の色をグループ毎に算出する
ことを特徴とするコンピュータ読み取り可能なプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１８８０８７（Ｐ２０１１−１８８０８７Ａ）
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願番号】特願２０１０−４９１２５（Ｐ２０１０−４９１２５）
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年９月２２日（２０１１．９．２２）
【国際特許分類】
【出願日】平成２２年３月５日（２０１０．３．５）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]