画像処理装置、撮像装置およびプログラム
【課題】 精度の高い合焦判定をより迅速に実行するための手段を提供する。
【解決手段】 画像処理装置は、カラーの撮影画像を取得する画像取得部と、第１特徴量取得部と、領域設定部と、第２特徴量取得部と、エッジ量検出部とを備える。第１特徴量取得部は、撮影画像の複数の色情報を用いて、撮影画像の各位置で第１特徴量をそれぞれ求める。領域設定部は、撮影画像での第１特徴量の分布を示す第１特徴量分布情報を用いて、撮影画像のうちでエッジ量を検出する検出領域を設定する。第２特徴量取得部は、撮影画像の複数の色情報を用いて、撮影画像の各位置で第１特徴量と異なる第２特徴量をそれぞれ求める。エッジ量検出部は、撮影画像での第２特徴量の分布を示す第２特徴量分布情報を用いて、検出領域内の各位置でエッジ量を検出する。
【解決手段】 画像処理装置は、カラーの撮影画像を取得する画像取得部と、第１特徴量取得部と、領域設定部と、第２特徴量取得部と、エッジ量検出部とを備える。第１特徴量取得部は、撮影画像の複数の色情報を用いて、撮影画像の各位置で第１特徴量をそれぞれ求める。領域設定部は、撮影画像での第１特徴量の分布を示す第１特徴量分布情報を用いて、撮影画像のうちでエッジ量を検出する検出領域を設定する。第２特徴量取得部は、撮影画像の複数の色情報を用いて、撮影画像の各位置で第１特徴量と異なる第２特徴量をそれぞれ求める。エッジ量検出部は、撮影画像での第２特徴量の分布を示す第２特徴量分布情報を用いて、検出領域内の各位置でエッジ量を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
従来から、画像の輝度値等から求まる被写体のコントラスト値を用いて、撮像装置で取得した画像の合焦評価を行う技術が公知である。
【０００３】
一例として、特許文献１には、高輝度の点光源周りに生じる偽エッジの影響を抑制するために、輝度値を用いて画像内の飽和領域を抽出し、飽和領域以外でコントラスト値を求めて合焦判定を行う技術が開示されている。なお、特許文献１の例では、画像全体の輝度値から撮影シーンの分類を実行し、該分類結果に応じたモード（夜景モードや通常モード等）により合焦判定方法を変化させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２６２７８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記の従来技術では、合焦判定全体での演算負荷が非常に大きくなり、精度の高い合焦判定を迅速に行うことが困難である点で改善の余地があった。
【０００６】
そこで、本発明は、精度の高い合焦判定をより迅速に実行するための手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一の態様の画像処理装置は、カラーの撮影画像を取得する画像取得部と、第１特徴量取得部と、領域設定部と、第２特徴量取得部と、エッジ量検出部とを備える。第１特徴量取得部は、撮影画像の複数の色情報を用いて、撮影画像の各位置で第１特徴量をそれぞれ求める。領域設定部は、撮影画像での第１特徴量の分布を示す第１特徴量分布情報を用いて、撮影画像のうちでエッジ量を検出する検出領域を設定する。第２特徴量取得部は、撮影画像の複数の色情報を用いて、撮影画像の各位置で第１特徴量と異なる第２特徴量をそれぞれ求める。エッジ量検出部は、撮影画像での第２特徴量の分布を示す第２特徴量分布情報を用いて、検出領域内の各位置でエッジ量を検出する。
【０００８】
上記の一の態様において、第２特徴量取得部は、撮影画像の各位置で、各々が異なる色成分に対応する複数の画素値のうち最小の画素値から第２特徴量を求めてもよい。
【０００９】
上記の一の態様において、第１特徴量取得部は、撮影画像の各位置で、各々が異なる色成分に対応する複数の画素値のうち最大の画素値から第１特徴量を求めてもよい。
【００１０】
上記の一の態様において、画像取得部は、各画素が単色の情報を有する色補間前の画像に対して画素加算処理を施し、各画素が複数色の情報を有する前記撮影画像を取得してもよい。
【００１１】
上記の一の態様の画像処理装置は、エッジ量検出部が検出したエッジ量に基づいて、撮影画像の合焦位置を求める合焦演算部をさらに備えていてもよい。
【００１２】
また、上記の画像処理装置を含む撮像装置や、コンピュータを上記の一の態様の画像処理装置として動作させるプログラムや、上記プログラムを記憶した記憶媒体や、上記の一の態様での画像処理装置の動作を方法のカテゴリで表現した態様も、本発明の具体的態様として有効である。
【発明の効果】
【００１３】
本発明の一の態様では、複数の色情報に基づく第１特徴量を用いて撮影画像の検出領域を設定し、第１特徴量と異なる第２特徴量を用いて検出領域からエッジ量を検出することで、精度の高い合焦判定をより迅速に実行できる。
【図面の簡単な説明】
【００１４】
【図１】一の実施形態に係る画像処理装置の構成例を示すブロック図
【図２】一の実施形態におけるピント評価処理の動作例を示す流れ図
【図３】撮影画像の一例を示す図
【図４】図３の撮影画像に対応する有効エリアマップの例を示す図
【図５】他の実施形態における電子カメラの構成例を示すブロック図
【図６】他の実施形態の電子カメラにおける撮影モードでの動作例を示す流れ図
【発明を実施するための形態】
【００１５】
＜一の実施態様の説明＞
図１は、一の実施形態に係る画像処理装置の構成例を示すブロック図である。一の実施形態の画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。この画像処理装置を構成するコンピュータは、画像処理プログラムの実行によって、電子カメラなどの撮像装置で生成された画像ファイルを読み込むとともに、この画像ファイルの撮影画像のピント評価処理を行う。
【００１６】
ここで、一の実施形態で処理対象となる画像ファイルは、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ ｆｏｒ ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａｓ）規格に準拠したファイル形式で生成される。そして、一の実施形態で処理対象となる画像ファイルには、撮像装置で撮影されたカラーの撮影画像と、この撮影画像に関する撮影情報（オートフォーカス（ＡＦ）による焦点検出エリアの位置情報など）とが対応付けされて記憶されている。
【００１７】
図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。
【００１８】
データ読込部１２は、上記の画像ファイルや、画像処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部１２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。
【００１９】
記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置１３には、上記の画像処理プログラムと、プログラムの実行に必要となる各種のデータとが記録されている。なお、記憶装置１３には、データ読込部１２から読み込んだ画像ファイルを記憶しておくこともできる。
【００２０】
ＣＰＵ１４は、コンピュータ１１の各部を統括的に制御するプロセッサである。このＣＰＵ１４は、画像処理プログラムの実行によって、第１特徴量取得部２１、領域設定部２２、第２特徴量取得部２３、エッジ量検出部２４、合焦演算部２５として機能する（なお、ＣＰＵ１４に含まれる各部の動作については後述する）。
【００２１】
メモリ１５は、画像処理プログラムの演算結果などを一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭなどで構成される。
【００２２】
次に、図２の流れ図を参照しつつ、一の実施形態におけるピント評価処理の動作例を説明する。なお、図２の処理は、ユーザによるプログラム実行指示に応じて、ＣＰＵ１４が画像処理プログラムを実行することで開始される。
【００２３】
ステップＳ１０１：ＣＰＵ１４は、データ読込部１２を介して処理対象の画像ファイルを外部から取得する。Ｓ１０１で取得された画像ファイルは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。なお、処理対象の画像ファイルが予め記憶装置１３に記憶されている場合には、ＣＰＵ１４はＳ１０１の処理を省略してもよい。
【００２４】
ステップＳ１０２：ＣＰＵ１４は、必要に応じて、Ｓ１０１の画像ファイルに含まれる撮影画像を、各画素でそれぞれＲ（赤）、Ｇ（緑）、Ｂ（青）の色情報を有する画像に変換する。以下の処理では、Ｓ１０２の変換後の画像が処理対象となる。なお、撮影画像が予め各画素でＲＧＢの色情報を有する場合には、ＣＰＵ１４はＳ１０２の処理を省略してもよい。
【００２５】
Ｓ１０２において、撮影画像のデータがＹＣｂＣｒ形式である場合、ＣＰＵ１４は色空間の変換によりＲＧＢ形式の撮影画像のデータを生成する。また、各画素がＲＧＢのいずれかの単色情報のみ有する色補間前のベイヤ配列構造の画像が入力された場合には、ＣＰＵ１４は色補間処理を実行する。これにより、各画素でＲＧＢ各色の情報を有する撮影画像を取得できる。
【００２６】
また、Ｓ１０２で上記のベイヤ配列構造の画像が入力された場合において、ＣＰＵ１４は、隣接する複数の画素を束ねて１画素とする画素加算処理を実行してもよい。これにより、元画像よりも低い解像度であって、かつ各画素でＲＧＢの画素値を有する撮影画像を容易に取得できる。
【００２７】
一例として、ＣＰＵ１４は、ベイヤ配列構造をもつ元画像の２×２画素の範囲から、変換後の撮影画像の１画素分のＲＧＢの各画素値を生成する。このとき、元画像のＲ画素およびＢ画素の画素値は、変換後の撮影画像でそのままＲ、Ｂの画素値となる。また、変換後の撮影画像でのＧの画素値は、元画像のＧｒ画素およびＧｂ画素の画素値を平均して求めればよい。
【００２８】
また、図３に処理対象の撮影画像の一例を示す。図３の画像は夜景を撮影したものであって、画面右端に街灯が存在するとともに、画面の上側には赤色や青色のイルミネーションで電飾された橋が写っている。また、図３の画像中央には色分けされた看板が写っており、図３の画像左側にはピントがぼけた被写体（木）が写っている。なお、図３の画像は、色分けされた看板に最もピントが合っているものとする。
【００２９】
ステップＳ１０３：第１特徴量取得部２１は、各画素のＲＧＢの色情報を用いて、撮影画像の各画素でそれぞれ第１特徴量を求める。具体的には、第１特徴量取得部２１は、撮影画像の各画素において、ＲＧＢの画素値のうちの最大値を第１特徴量とする。例えば、撮影画像の注目画素でＲの画素値が最も高くなる場合は、その注目画素での第１特徴量はＲの画素値となる。また、撮影画像の全体をみたときに、第１特徴量は画素ごとにそれぞれ異なる色から抽出されうる。
【００３０】
そして、第１特徴量取得部２１は、撮影画像上の画素位置と第１特徴量との対応関係を示す第１特徴量分布マップを生成する。第１特徴量分布マップは撮影画像の各画素の第１特徴量をそれぞれ示すため、第１特徴量分布マップのサイズは、処理対象となった撮影画像の画像サイズと同じとなる。
【００３１】
ステップＳ１０４：領域設定部２２は、第１特徴量分布マップ（Ｓ１０３）を用いて、撮影画像上でエッジ量を検出する検出領域を設定する。一例として、Ｓ１０４の領域設定部２２は、以下の（ａ）−（ｃ）の処理を実行する。
【００３２】
（ａ）領域設定部２２は、第１特徴量分布マップにおいて、第１特徴量の値が閾値以上となる飽和画素を抽出する。一例として、撮影画像での画素値の階調が８ビット（０−２５５）であるときに、上記の閾値は２５０程度の値に設定される。
【００３３】
（ｂ）領域設定部２２は、撮影画像上で飽和画素から所定距離内にある画素を疑似飽和画素に設定する。一例として、領域設定部２２は、飽和画素から半径５画素の範囲にある画素を疑似飽和画素に設定する。
【００３４】
（ｃ）領域設定部２２は、撮影画像上で飽和画素および疑似飽和画素を除外した残りの画素領域を上記の検出領域とする。そして、領域設定部２２は、撮影画像上での検出領域と、その他の非検出領域（飽和画素および疑似飽和画素）とを示す２値画像情報（有効エリアマップ）を生成する。
【００３５】
なお、上記の有効エリアマップでは飽和画素の周囲に設定された疑似飽和画素が検出領域から除外されるので、ピント評価のときに輝点の周囲に生じる疑似輪郭の影響を抑制できる。
【００３６】
また、図４に、図３の撮影画像に対応する有効エリアマップの例を示す。図３の撮影画像では、イルミネーションの点光源や街灯はいずれかの色成分の画素値が高くなり、それぞれ色が異なっていても第１特徴量での判定により飽和画素となる。よって、図４の有効エリアマップでは、イルミネーションの点光源や街灯の周囲を除外した領域が検出領域として設定される。
【００３７】
ステップＳ１０５：第２特徴量取得部２３は、各画素のＲＧＢの色情報を用いて、撮影画像の各画素でそれぞれ第２特徴量を求める。具体的には、第２特徴量取得部２３は、撮影画像の各画素において、ＲＧＢの画素値のうちの最小値を第２特徴量とする。例えば、撮影画像の注目画素でＢの画素値が最も小さくなる場合は、その注目画素での第２特徴量はＢの画素値となる。また、撮影画像の全体をみたときに、第２特徴量は画素ごとにそれぞれ異なる色から抽出されうる。
【００３８】
そして、第２特徴量取得部２３は、撮影画像上の画素位置と第２特徴量との対応関係を示す第２特徴量分布マップを生成する。第２特徴量分布マップは撮影画像の各画素の第２特徴量をそれぞれ示すため、第２特徴量分布マップのサイズは、処理対象となった撮影画像の画像サイズと同じとなる。
【００３９】
ステップＳ１０６：エッジ量検出部２４は、第２特徴量分布マップ（Ｓ１０５）を用いて、撮影画像内の各画素位置でそれぞれエッジ量（撮影画像のエッジ成分を示す量）を検出する。そして、エッジ量検出部２４は、撮影画像の各画素でのエッジ量を示すエッジ量マップを生成する。
【００４０】
Ｓ１０６での処理の一例として、画像構造ベクトルを用いてエッジ量を検出する例を説明する。まず、エッジ量検出部２４は、エッジ量を求める注目画素を中心として撮像画像内に所定の局所領域を設定する。次に、エッジ量検出部２４は、局所領域に含まれる画素の第２特徴量の勾配から、主成分分析の手法を用いて注目画素の画像勾配ベクトルを求める。
【００４１】
ここで、撮影画像の局所領域内の各画素ｘiについて、画素値の勾配を
【００４２】
【数１】
【００４３】
の固有値問題を解くことで求めることができる。但し、上記の式（２）中の「Ｃ」は、局所領域内の各画素ｘiにおける画素値ｆ（ｘi）を用いて下式（３）により定義される行列を示している。
【００４４】
【数２】
【００４５】
なお、上記の式（３）の「Σ」は、いずれも局所領域に含まれる全画素の和を示している。
【００４６】
また、上記の行列Ｃは２行２列の行列であるので、上記の式（２）は２つの固有値と、２つの異なる単位固有ベクトルとをもつことが分かる。
【００４７】
【数３】
【００４８】
エッジ量検出部２４は、上記動作を各画素で行うことで、各画素で画像構造ベクトル情報を取得する。そして、エッジ量検出部２４は、上記の画像構造ベクトル情報から各画素のエッジ量を求める。例えば、エッジ量検出部２４は、画像構造ベクトルの強度を用いて各画素のエッジ量を求めてもよい。なお、上記の画像構造ベクトルは、局所領域内における画素値の勾配から主成分分析の手法を用いて求めるので、ピント評価のときに画像のノイズの影響を非常に小さくできる。
【００４９】
あるいは、エッジ量検出部２４は、画像構造ベクトルの内積を用いて、上記のエッジ量を各画素で求めてもよい。画像内で合焦状態にある被写体については画像の構造の相関が高くなり、注目画素とその周囲の画素との画像構造ベクトルはそれぞれ同じ方向に向きやすくなる。一方、ピントが合っていない被写体については、画像がボケて構造の指向性が失われてしまい、合焦状態と比べると画像構造ベクトルの向きは不均一なものとなる。よって、隣接する注目画素間での画像構造ベクトルの方向の相関（画像構造ベクトルの内積の値）をみても、撮影画像のピント評価を行えることが分かる。
【００５０】
また、Ｓ１０６での処理の他の例として、エッジ量検出部２４は、注目画素と周囲画素との間で第２特徴量の差分値の絶対値をそれぞれ求め、この絶対値の総和を注目画素でのエッジ量としてもよい。あるいは、Ｓ１０６での処理の他の例として、エッジ量検出部２４は、注目画素と周囲画素との間で第２特徴量の差分値の絶対値をそれぞれ求め、この絶対値のうちの最大値を抽出して注目画素のエッジ量を求めてもよい。
【００５１】
なお、図２の流れ図では、Ｓ１０３からＳ１０６の処理が直列的に行われるように表記したが、画像処理装置は、Ｓ１０３からＳ１０４の処理と、Ｓ１０５からＳ１０６の処理とを並列処理してもよい。
【００５２】
ここで、検出領域内の輝度差のある箇所でＲＧＢ画素値の最小値（第２特徴量）に注目すると、同じ色成分でも輝度差によって隣接画素の画素値の最小値には変化が生じる。よって、第２特徴量を用いることで、隣接画素の輝度差によるエッジを抽出できることが分かる。
【００５３】
同様に、検出領域内の色差のある箇所で第２特徴量に注目すると、各画素の色が異なることから、隣接画素間で第２特徴量の値は全く異なる値となる。よって、第２特徴量を用いることで、輝度差は少ないが、色差をみるとエッジを検出できる被写体（例えば図３の看板の色境界など）についても、エッジを抽出できることが分かる。
【００５４】
ステップＳ１０７：ＣＰＵ１４は、有効エリアマップ（Ｓ１０４）とエッジ量マップ（Ｓ１０６）とを用いて、撮影画像の検出領域での各画素のエッジ量を抽出する。具体的には、ＣＰＵ１４は、エッジ量マップを有効エリアマップでマスクすることで、エッジ量マップのうちから検出領域の画素のデータを抽出する。
【００５５】
ステップＳ１０８：合焦演算部２５は、検出領域での各画素のエッジ量（Ｓ１０７）を用いて、上記の検出領域内で最もエッジ量の多い（すなわち最も合焦度が高い）画素位置を抽出する。
【００５６】
ステップＳ１０９：合焦演算部２５は、撮影画像のピント評価を実行する。一例として、合焦演算部２５は、画像ファイルから焦点検出エリアの位置情報を取得する。そして、合焦演算部２５は、撮影画像の焦点検出エリアの位置と、Ｓ１０８で求めた検出領域内での合焦位置との直線距離を求める。上記の直線距離がほぼ０とみなせる場合、処理対象の撮影画像は主要被写体にピントがあった状態と判断できる。一方、上記の直線距離が許容範囲よりも大きければ、処理対象の撮影画像は主要被写体にピントが合っていない状態と判断できる。
【００５７】
これにより、合焦演算部２５は、Ｓ１０９で求めた直線距離の大きさを指標として、撮影画像の合焦状態を評価し、合焦状態の良好な画像を自動的に選別できる。なお、合焦演算部２５は、Ｓ１０９で求めた直線距離の大きさの情報をユーザに提示するのみに留めてもよい。以上で、図２の流れ図の説明を終了する。
【００５８】
以下、一の実施形態におけるピント評価処理の作用効果を述べる。
【００５９】
一の実施形態での画像処理装置は、撮影画像の各画素でＲＧＢ画素値の最大値を第１特徴量とする（Ｓ１０３）。画像処理装置は、第１特徴量に基づいて、撮影画像内でいずれかの色成分で画素値が飽和している領域を検出する（Ｓ１０４）。そして、画像処理装置は、飽和画素とその周囲を除外した検出領域を対象として撮影画像のピント評価を実行する（Ｓ１０７−Ｓ１０９）。
【００６０】
つまり、一の実施形態での画像処理装置は、輝度値での飽和はないが、色情報をみると画素値に飽和が生じている赤色や青色の点光源（例えば図３のイルミネーションなど）を、高輝度の被写体とともに合焦判定の対象から除外できる。これにより、一の実施形態では、撮影画像の輝度値のみに注目して合焦判定を行う場合と比べて、ボケた点光源による偽エッジを合焦点と誤判定するおそれが低減し、より精度の高い合焦判定を行うことが可能となる。
【００６１】
また、一の実施形態での画像処理装置は、撮影画像の各画素でＲＧＢ画素値の最小値を第２特徴量とする（Ｓ１０５）。そして、画像処理装置は、検出領域内を対象として、第２特徴量から求まるエッジ量により撮影画像のピント評価を実行する（Ｓ１０６−Ｓ１０９）。これにより、一の実施形態では、隣接画素の輝度差によるエッジと隣接画素の色差によるエッジとを第２特徴量でそれぞれ抽出することができる。
【００６２】
さらに、一の実施形態での画像処理装置は、それぞれ複数の色情報を用いて設定された２種類のパラメータ（第１特徴量、第２特徴量）を適用して、検出領域の設定処理と、エッジ量を用いた合焦判定処理とを行う。これにより、一の実施形態での画像処理装置は、
例えば、輝度面での合焦判定処理が好適な画像と、色差面での合焦判定処理が好適な画像とをいずれも同一の処理で精度よく評価できる。
【００６３】
また、従来技術のように、１種類のパラメータで合焦判定処理を行う場合、撮影シーンの解析結果に応じて、輝度面での合焦判定処理と色差面での合焦判定処理との切り替えや、判定結果の重み付けの変更などの処理が必要となる。一方、一の実施形態の画像処理装置は、多様な撮影画像に同一の処理で対応できるので、精度の高い合焦判定を迅速に行うことができる。
【００６４】
＜他の実施態様の説明＞
図５は、他の実施形態における電子カメラの構成例を示すブロック図である。電子カメラ３１は、フォーカシングレンズ３２と、レンズ駆動部３３と、撮像素子３４と、制御部３５と、ＲＯＭ３６と、メインメモリ３７と、モニタ３８と、記録Ｉ／Ｆ３９と、レリーズ釦４０とを有している。ここで、レンズ駆動部３３、撮像素子３４、ＲＯＭ３６、メインメモリ３７、モニタ３８、記録Ｉ／Ｆ３９およびレリーズ釦４０は、それぞれ制御部３５に接続されている。
【００６５】
フォーカシングレンズ３２は、焦点調節を行うためのレンズである。このフォーカシングレンズ３２のレンズ位置は、レンズ駆動部３３によって光軸方向に調整される。
【００６６】
撮像素子３４は、フォーカシングレンズ３２を含む撮像光学系によって結像される被写体の像を撮像し、カラーの撮影画像の画像信号を生成する。なお、撮像素子３４から出力された画像信号は、Ａ／Ｄ変換回路（不図示）を介して制御部３５に入力される。
【００６７】
ここで、電子カメラ３１の撮影モードにおいて、撮像素子３４はレリーズ釦４０の全押し操作に応答して記録用の静止画像（本画像）を撮像する。また、撮影モードでの撮像素子３４は、撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。ここで、時系列に取得されたスルー画像のデータは、モニタ３８での動画像表示や制御部３５による各種の演算処理に使用される。
【００６８】
制御部３５は、電子カメラ３１の動作を統括的に制御するプロセッサである。例えば、制御部３５は、撮影画像のデータに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整、色変換処理など）を施す。
【００６９】
また、制御部３５は、ＲＯＭ３６に格納されたプログラムの実行により、一の実施形態の画像処理装置における第１特徴量取得部２１、領域設定部２２、第２特徴量取得部２３、エッジ量検出部２４、合焦演算部２５として機能する。
【００７０】
ＲＯＭ３６には、制御部３５によって実行されるプログラムが記憶されている。なお、このプログラムによる撮影モードでの動作例については後述する。また、メインメモリ３７は、制御部３５による画像処理の前工程や後工程で画像のデータを一時的に記憶する。また、モニタ３８は、制御部３５の指示に応じて各種画像を表示する。
【００７１】
記録Ｉ／Ｆ３９は、不揮発性の記憶媒体３９ａを接続するためのコネクタを有している。そして、記録Ｉ／Ｆ３９は、コネクタに接続された記憶媒体３９ａに対してデータの書き込み／読み込みを実行する。上記の記憶媒体３９ａは、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図５では記憶媒体３９ａの一例としてメモリカードを図示する。
【００７２】
レリーズ釦４０は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザから受け付ける。
【００７３】
次に、図６の流れ図を参照しつつ、他の実施形態の電子カメラ３１における撮影モードでの動作例を説明する。なお、図６の流れ図の処理は、制御部３５の制御によって、ユーザの撮影モードの起動操作に応じて開始される。
【００７４】
ステップＳ２０１：制御部３５は、撮像素子３４を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。なお、撮像素子３４から出力されたスルー画像のデータは、制御部３５に入力される。
【００７５】
また、撮影モードでの制御部３５は、スルー画像から生成された表示用の画像（ビュー画像）をモニタ３８に動画表示させる。したがって、ユーザは、モニタ３８のビュー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。
【００７６】
ステップＳ２０２：制御部３５は、レリーズ釦４０の半押し操作を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０３に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、制御部３５はレリーズ釦４０の半押し操作を待機する。
【００７７】
ステップＳ２０３：制御部３５は、スルー画像を用いて合焦制御を実行する。
【００７８】
一例として、制御部３５は、フォーカシングレンズ３２を移動させつつ、各々のレンズ位置でスルー画像を取得する。そして、制御部３５は、各々のスルー画像を対象として上記の一の実施形態でのＳ１０１からＳ１０８の処理を実行する。また、制御部３５は、至近優先や中央優先などのアルゴリズム（またはユーザのマニュアルでの指定）に基づいて撮影画面（スルー画像の撮影範囲）内に焦点検出エリアを設定する。そして、制御部３５は、焦点検出エリアの被写体の合焦度が最も高くなるスルー画像のレンズ位置を用いて、フォーカシングレンズ３２のＡＦを実行する。
【００７９】
ステップＳ２０４：制御部３５は、レリーズ釦４０の全押し操作を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０６に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２０５に処理が移行する。
【００８０】
ステップＳ２０５：制御部３５は、レリーズ釦４０の半押し操作が解除されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、制御部３５はＳ２０２に戻って上記動作を繰り返す。一方、上記要件を満たさない場合（ＮＯ側）には、制御部３５はＳ２０４に戻ってレリーズ釦４０の全押し操作を待機する。
【００８１】
ステップＳ２０６：制御部３５は、レリーズ釦４０の全押しに応じて、撮像素子３４を駆動させて本画像の撮像処理を実行する。本画像のデータは、制御部３５で所定の処理が施された後に記録Ｉ／Ｆ３９を介して記憶媒体３９ａに記録される。以上で、図６の流れ図の説明を終了する。
【００８２】
他の実施形態の電子カメラ３１は、一の実施形態とほぼ同様のアルゴリズムによって、ＡＦを実行する。したがって、他の実施形態の電子カメラ３１は、一の実施形態と同様に精度の高い合焦判定を迅速に実行できる。
【００８３】
＜実施形態の補足事項＞
（１）上記の各実施形態では、第１特徴量取得部２１、領域設定部２２、第２特徴量取得部２３、エッジ量検出部２４、合焦演算部２５の機能をプログラムによってソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いて上記の各部をハードウエア的に実現しても勿論かまわない。
【００８４】
（２）上記の各実施形態ではＲＧＢの画素値を用いて第１特徴量および第２特徴量を求める例を説明したが、例えば補色系（例えば、マゼンタ、シアン、イエローを用いる系）の色情報を用いるようにしてもよい。
【００８５】
（３）一の実施形態のＳ１０４の処理では、飽和画素を判定する閾値を８ビットで２５０とする例を説明したが、上記の閾値は適宜変更してもよい。また、一の実施形態のＳ１０４の処理において、撮影画像に応じて、疑似飽和画素とする範囲を適宜変更してもよい。
【００８６】
（４）一の実施形態のＳ１０２の処理では、ベイヤ配列構造の画像を２×２画素で１画素とするケースを説明したが、より多数の画素（４×４画素など）をまとめて１画素の情報を生成してもよい。
【００８７】
（５）上記の一の実施形態において、画像処理装置は、有効エリアマップで撮影画像内の検出エリアを予め特定した後にＳ１０６の処理を実行してもよい。また、上記の一の実施形態において、画像処理装置は、撮影画像のうちの焦点検出エリアの範囲を対象としてピント評価処理を実行してもよい。
【００８８】
（６）上記の他の実施形態では、撮影レンズを構成要素に含むコンパクト型の電子カメラでの構成例を説明した。しかし、本発明の撮像装置は、レンズ交換可能な一眼レフレックス型の電子カメラにも適用することが勿論可能である。また、本発明の撮像装置は、例えば、携帯電話などの電子機器に内蔵されるカメラモジュールに適用することも可能である。
【００８９】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００９０】
１１…コンピュータ、１２…データ読込部、１３…記憶装置、１４…ＣＰＵ、１５…メモリ、１６…入出力Ｉ／Ｆ、１７…バス、１８…入力デバイス、１９…モニタ、２１…第１特徴量取得部、２２…領域設定部、２３…第２特徴量取得部、２４…エッジ量検出部、２５…合焦演算部、３１…電子カメラ、３２…フォーカシングレンズ、３３…レンズ駆動部、３４…撮像素子、３５…制御部、３６…ＲＯＭ、３７…メインメモリ、３８…モニタ、３９…記録Ｉ／Ｆ、３９ａ…記憶媒体、４０…レリーズ釦
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
従来から、画像の輝度値等から求まる被写体のコントラスト値を用いて、撮像装置で取得した画像の合焦評価を行う技術が公知である。
【０００３】
一例として、特許文献１には、高輝度の点光源周りに生じる偽エッジの影響を抑制するために、輝度値を用いて画像内の飽和領域を抽出し、飽和領域以外でコントラスト値を求めて合焦判定を行う技術が開示されている。なお、特許文献１の例では、画像全体の輝度値から撮影シーンの分類を実行し、該分類結果に応じたモード（夜景モードや通常モード等）により合焦判定方法を変化させている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−２６２７８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上記の従来技術では、合焦判定全体での演算負荷が非常に大きくなり、精度の高い合焦判定を迅速に行うことが困難である点で改善の余地があった。
【０００６】
そこで、本発明は、精度の高い合焦判定をより迅速に実行するための手段を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一の態様の画像処理装置は、カラーの撮影画像を取得する画像取得部と、第１特徴量取得部と、領域設定部と、第２特徴量取得部と、エッジ量検出部とを備える。第１特徴量取得部は、撮影画像の複数の色情報を用いて、撮影画像の各位置で第１特徴量をそれぞれ求める。領域設定部は、撮影画像での第１特徴量の分布を示す第１特徴量分布情報を用いて、撮影画像のうちでエッジ量を検出する検出領域を設定する。第２特徴量取得部は、撮影画像の複数の色情報を用いて、撮影画像の各位置で第１特徴量と異なる第２特徴量をそれぞれ求める。エッジ量検出部は、撮影画像での第２特徴量の分布を示す第２特徴量分布情報を用いて、検出領域内の各位置でエッジ量を検出する。
【０００８】
上記の一の態様において、第２特徴量取得部は、撮影画像の各位置で、各々が異なる色成分に対応する複数の画素値のうち最小の画素値から第２特徴量を求めてもよい。
【０００９】
上記の一の態様において、第１特徴量取得部は、撮影画像の各位置で、各々が異なる色成分に対応する複数の画素値のうち最大の画素値から第１特徴量を求めてもよい。
【００１０】
上記の一の態様において、画像取得部は、各画素が単色の情報を有する色補間前の画像に対して画素加算処理を施し、各画素が複数色の情報を有する前記撮影画像を取得してもよい。
【００１１】
上記の一の態様の画像処理装置は、エッジ量検出部が検出したエッジ量に基づいて、撮影画像の合焦位置を求める合焦演算部をさらに備えていてもよい。
【００１２】
また、上記の画像処理装置を含む撮像装置や、コンピュータを上記の一の態様の画像処理装置として動作させるプログラムや、上記プログラムを記憶した記憶媒体や、上記の一の態様での画像処理装置の動作を方法のカテゴリで表現した態様も、本発明の具体的態様として有効である。
【発明の効果】
【００１３】
本発明の一の態様では、複数の色情報に基づく第１特徴量を用いて撮影画像の検出領域を設定し、第１特徴量と異なる第２特徴量を用いて検出領域からエッジ量を検出することで、精度の高い合焦判定をより迅速に実行できる。
【図面の簡単な説明】
【００１４】
【図１】一の実施形態に係る画像処理装置の構成例を示すブロック図
【図２】一の実施形態におけるピント評価処理の動作例を示す流れ図
【図３】撮影画像の一例を示す図
【図４】図３の撮影画像に対応する有効エリアマップの例を示す図
【図５】他の実施形態における電子カメラの構成例を示すブロック図
【図６】他の実施形態の電子カメラにおける撮影モードでの動作例を示す流れ図
【発明を実施するための形態】
【００１５】
＜一の実施態様の説明＞
図１は、一の実施形態に係る画像処理装置の構成例を示すブロック図である。一の実施形態の画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。この画像処理装置を構成するコンピュータは、画像処理プログラムの実行によって、電子カメラなどの撮像装置で生成された画像ファイルを読み込むとともに、この画像ファイルの撮影画像のピント評価処理を行う。
【００１６】
ここで、一の実施形態で処理対象となる画像ファイルは、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ ｆｏｒ ｄｉｇｉｔａｌ ｓｔｉｌｌ ｃａｍｅｒａｓ）規格に準拠したファイル形式で生成される。そして、一の実施形態で処理対象となる画像ファイルには、撮像装置で撮影されたカラーの撮影画像と、この撮影画像に関する撮影情報（オートフォーカス（ＡＦ）による焦点検出エリアの位置情報など）とが対応付けされて記憶されている。
【００１７】
図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。
【００１８】
データ読込部１２は、上記の画像ファイルや、画像処理プログラムを外部から読み込むときに用いられる。例えば、データ読込部１２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）で構成される。
【００１９】
記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置１３には、上記の画像処理プログラムと、プログラムの実行に必要となる各種のデータとが記録されている。なお、記憶装置１３には、データ読込部１２から読み込んだ画像ファイルを記憶しておくこともできる。
【００２０】
ＣＰＵ１４は、コンピュータ１１の各部を統括的に制御するプロセッサである。このＣＰＵ１４は、画像処理プログラムの実行によって、第１特徴量取得部２１、領域設定部２２、第２特徴量取得部２３、エッジ量検出部２４、合焦演算部２５として機能する（なお、ＣＰＵ１４に含まれる各部の動作については後述する）。
【００２１】
メモリ１５は、画像処理プログラムの演算結果などを一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭなどで構成される。
【００２２】
次に、図２の流れ図を参照しつつ、一の実施形態におけるピント評価処理の動作例を説明する。なお、図２の処理は、ユーザによるプログラム実行指示に応じて、ＣＰＵ１４が画像処理プログラムを実行することで開始される。
【００２３】
ステップＳ１０１：ＣＰＵ１４は、データ読込部１２を介して処理対象の画像ファイルを外部から取得する。Ｓ１０１で取得された画像ファイルは、ＣＰＵ１４の制御によって、記憶装置１３またはメモリ１５に記録される。なお、処理対象の画像ファイルが予め記憶装置１３に記憶されている場合には、ＣＰＵ１４はＳ１０１の処理を省略してもよい。
【００２４】
ステップＳ１０２：ＣＰＵ１４は、必要に応じて、Ｓ１０１の画像ファイルに含まれる撮影画像を、各画素でそれぞれＲ（赤）、Ｇ（緑）、Ｂ（青）の色情報を有する画像に変換する。以下の処理では、Ｓ１０２の変換後の画像が処理対象となる。なお、撮影画像が予め各画素でＲＧＢの色情報を有する場合には、ＣＰＵ１４はＳ１０２の処理を省略してもよい。
【００２５】
Ｓ１０２において、撮影画像のデータがＹＣｂＣｒ形式である場合、ＣＰＵ１４は色空間の変換によりＲＧＢ形式の撮影画像のデータを生成する。また、各画素がＲＧＢのいずれかの単色情報のみ有する色補間前のベイヤ配列構造の画像が入力された場合には、ＣＰＵ１４は色補間処理を実行する。これにより、各画素でＲＧＢ各色の情報を有する撮影画像を取得できる。
【００２６】
また、Ｓ１０２で上記のベイヤ配列構造の画像が入力された場合において、ＣＰＵ１４は、隣接する複数の画素を束ねて１画素とする画素加算処理を実行してもよい。これにより、元画像よりも低い解像度であって、かつ各画素でＲＧＢの画素値を有する撮影画像を容易に取得できる。
【００２７】
一例として、ＣＰＵ１４は、ベイヤ配列構造をもつ元画像の２×２画素の範囲から、変換後の撮影画像の１画素分のＲＧＢの各画素値を生成する。このとき、元画像のＲ画素およびＢ画素の画素値は、変換後の撮影画像でそのままＲ、Ｂの画素値となる。また、変換後の撮影画像でのＧの画素値は、元画像のＧｒ画素およびＧｂ画素の画素値を平均して求めればよい。
【００２８】
また、図３に処理対象の撮影画像の一例を示す。図３の画像は夜景を撮影したものであって、画面右端に街灯が存在するとともに、画面の上側には赤色や青色のイルミネーションで電飾された橋が写っている。また、図３の画像中央には色分けされた看板が写っており、図３の画像左側にはピントがぼけた被写体（木）が写っている。なお、図３の画像は、色分けされた看板に最もピントが合っているものとする。
【００２９】
ステップＳ１０３：第１特徴量取得部２１は、各画素のＲＧＢの色情報を用いて、撮影画像の各画素でそれぞれ第１特徴量を求める。具体的には、第１特徴量取得部２１は、撮影画像の各画素において、ＲＧＢの画素値のうちの最大値を第１特徴量とする。例えば、撮影画像の注目画素でＲの画素値が最も高くなる場合は、その注目画素での第１特徴量はＲの画素値となる。また、撮影画像の全体をみたときに、第１特徴量は画素ごとにそれぞれ異なる色から抽出されうる。
【００３０】
そして、第１特徴量取得部２１は、撮影画像上の画素位置と第１特徴量との対応関係を示す第１特徴量分布マップを生成する。第１特徴量分布マップは撮影画像の各画素の第１特徴量をそれぞれ示すため、第１特徴量分布マップのサイズは、処理対象となった撮影画像の画像サイズと同じとなる。
【００３１】
ステップＳ１０４：領域設定部２２は、第１特徴量分布マップ（Ｓ１０３）を用いて、撮影画像上でエッジ量を検出する検出領域を設定する。一例として、Ｓ１０４の領域設定部２２は、以下の（ａ）−（ｃ）の処理を実行する。
【００３２】
（ａ）領域設定部２２は、第１特徴量分布マップにおいて、第１特徴量の値が閾値以上となる飽和画素を抽出する。一例として、撮影画像での画素値の階調が８ビット（０−２５５）であるときに、上記の閾値は２５０程度の値に設定される。
【００３３】
（ｂ）領域設定部２２は、撮影画像上で飽和画素から所定距離内にある画素を疑似飽和画素に設定する。一例として、領域設定部２２は、飽和画素から半径５画素の範囲にある画素を疑似飽和画素に設定する。
【００３４】
（ｃ）領域設定部２２は、撮影画像上で飽和画素および疑似飽和画素を除外した残りの画素領域を上記の検出領域とする。そして、領域設定部２２は、撮影画像上での検出領域と、その他の非検出領域（飽和画素および疑似飽和画素）とを示す２値画像情報（有効エリアマップ）を生成する。
【００３５】
なお、上記の有効エリアマップでは飽和画素の周囲に設定された疑似飽和画素が検出領域から除外されるので、ピント評価のときに輝点の周囲に生じる疑似輪郭の影響を抑制できる。
【００３６】
また、図４に、図３の撮影画像に対応する有効エリアマップの例を示す。図３の撮影画像では、イルミネーションの点光源や街灯はいずれかの色成分の画素値が高くなり、それぞれ色が異なっていても第１特徴量での判定により飽和画素となる。よって、図４の有効エリアマップでは、イルミネーションの点光源や街灯の周囲を除外した領域が検出領域として設定される。
【００３７】
ステップＳ１０５：第２特徴量取得部２３は、各画素のＲＧＢの色情報を用いて、撮影画像の各画素でそれぞれ第２特徴量を求める。具体的には、第２特徴量取得部２３は、撮影画像の各画素において、ＲＧＢの画素値のうちの最小値を第２特徴量とする。例えば、撮影画像の注目画素でＢの画素値が最も小さくなる場合は、その注目画素での第２特徴量はＢの画素値となる。また、撮影画像の全体をみたときに、第２特徴量は画素ごとにそれぞれ異なる色から抽出されうる。
【００３８】
そして、第２特徴量取得部２３は、撮影画像上の画素位置と第２特徴量との対応関係を示す第２特徴量分布マップを生成する。第２特徴量分布マップは撮影画像の各画素の第２特徴量をそれぞれ示すため、第２特徴量分布マップのサイズは、処理対象となった撮影画像の画像サイズと同じとなる。
【００３９】
ステップＳ１０６：エッジ量検出部２４は、第２特徴量分布マップ（Ｓ１０５）を用いて、撮影画像内の各画素位置でそれぞれエッジ量（撮影画像のエッジ成分を示す量）を検出する。そして、エッジ量検出部２４は、撮影画像の各画素でのエッジ量を示すエッジ量マップを生成する。
【００４０】
Ｓ１０６での処理の一例として、画像構造ベクトルを用いてエッジ量を検出する例を説明する。まず、エッジ量検出部２４は、エッジ量を求める注目画素を中心として撮像画像内に所定の局所領域を設定する。次に、エッジ量検出部２４は、局所領域に含まれる画素の第２特徴量の勾配から、主成分分析の手法を用いて注目画素の画像勾配ベクトルを求める。
【００４１】
ここで、撮影画像の局所領域内の各画素ｘiについて、画素値の勾配を
【００４２】
【数１】
【００４３】
の固有値問題を解くことで求めることができる。但し、上記の式（２）中の「Ｃ」は、局所領域内の各画素ｘiにおける画素値ｆ（ｘi）を用いて下式（３）により定義される行列を示している。
【００４４】
【数２】
【００４５】
なお、上記の式（３）の「Σ」は、いずれも局所領域に含まれる全画素の和を示している。
【００４６】
また、上記の行列Ｃは２行２列の行列であるので、上記の式（２）は２つの固有値と、２つの異なる単位固有ベクトルとをもつことが分かる。
【００４７】
【数３】
【００４８】
エッジ量検出部２４は、上記動作を各画素で行うことで、各画素で画像構造ベクトル情報を取得する。そして、エッジ量検出部２４は、上記の画像構造ベクトル情報から各画素のエッジ量を求める。例えば、エッジ量検出部２４は、画像構造ベクトルの強度を用いて各画素のエッジ量を求めてもよい。なお、上記の画像構造ベクトルは、局所領域内における画素値の勾配から主成分分析の手法を用いて求めるので、ピント評価のときに画像のノイズの影響を非常に小さくできる。
【００４９】
あるいは、エッジ量検出部２４は、画像構造ベクトルの内積を用いて、上記のエッジ量を各画素で求めてもよい。画像内で合焦状態にある被写体については画像の構造の相関が高くなり、注目画素とその周囲の画素との画像構造ベクトルはそれぞれ同じ方向に向きやすくなる。一方、ピントが合っていない被写体については、画像がボケて構造の指向性が失われてしまい、合焦状態と比べると画像構造ベクトルの向きは不均一なものとなる。よって、隣接する注目画素間での画像構造ベクトルの方向の相関（画像構造ベクトルの内積の値）をみても、撮影画像のピント評価を行えることが分かる。
【００５０】
また、Ｓ１０６での処理の他の例として、エッジ量検出部２４は、注目画素と周囲画素との間で第２特徴量の差分値の絶対値をそれぞれ求め、この絶対値の総和を注目画素でのエッジ量としてもよい。あるいは、Ｓ１０６での処理の他の例として、エッジ量検出部２４は、注目画素と周囲画素との間で第２特徴量の差分値の絶対値をそれぞれ求め、この絶対値のうちの最大値を抽出して注目画素のエッジ量を求めてもよい。
【００５１】
なお、図２の流れ図では、Ｓ１０３からＳ１０６の処理が直列的に行われるように表記したが、画像処理装置は、Ｓ１０３からＳ１０４の処理と、Ｓ１０５からＳ１０６の処理とを並列処理してもよい。
【００５２】
ここで、検出領域内の輝度差のある箇所でＲＧＢ画素値の最小値（第２特徴量）に注目すると、同じ色成分でも輝度差によって隣接画素の画素値の最小値には変化が生じる。よって、第２特徴量を用いることで、隣接画素の輝度差によるエッジを抽出できることが分かる。
【００５３】
同様に、検出領域内の色差のある箇所で第２特徴量に注目すると、各画素の色が異なることから、隣接画素間で第２特徴量の値は全く異なる値となる。よって、第２特徴量を用いることで、輝度差は少ないが、色差をみるとエッジを検出できる被写体（例えば図３の看板の色境界など）についても、エッジを抽出できることが分かる。
【００５４】
ステップＳ１０７：ＣＰＵ１４は、有効エリアマップ（Ｓ１０４）とエッジ量マップ（Ｓ１０６）とを用いて、撮影画像の検出領域での各画素のエッジ量を抽出する。具体的には、ＣＰＵ１４は、エッジ量マップを有効エリアマップでマスクすることで、エッジ量マップのうちから検出領域の画素のデータを抽出する。
【００５５】
ステップＳ１０８：合焦演算部２５は、検出領域での各画素のエッジ量（Ｓ１０７）を用いて、上記の検出領域内で最もエッジ量の多い（すなわち最も合焦度が高い）画素位置を抽出する。
【００５６】
ステップＳ１０９：合焦演算部２５は、撮影画像のピント評価を実行する。一例として、合焦演算部２５は、画像ファイルから焦点検出エリアの位置情報を取得する。そして、合焦演算部２５は、撮影画像の焦点検出エリアの位置と、Ｓ１０８で求めた検出領域内での合焦位置との直線距離を求める。上記の直線距離がほぼ０とみなせる場合、処理対象の撮影画像は主要被写体にピントがあった状態と判断できる。一方、上記の直線距離が許容範囲よりも大きければ、処理対象の撮影画像は主要被写体にピントが合っていない状態と判断できる。
【００５７】
これにより、合焦演算部２５は、Ｓ１０９で求めた直線距離の大きさを指標として、撮影画像の合焦状態を評価し、合焦状態の良好な画像を自動的に選別できる。なお、合焦演算部２５は、Ｓ１０９で求めた直線距離の大きさの情報をユーザに提示するのみに留めてもよい。以上で、図２の流れ図の説明を終了する。
【００５８】
以下、一の実施形態におけるピント評価処理の作用効果を述べる。
【００５９】
一の実施形態での画像処理装置は、撮影画像の各画素でＲＧＢ画素値の最大値を第１特徴量とする（Ｓ１０３）。画像処理装置は、第１特徴量に基づいて、撮影画像内でいずれかの色成分で画素値が飽和している領域を検出する（Ｓ１０４）。そして、画像処理装置は、飽和画素とその周囲を除外した検出領域を対象として撮影画像のピント評価を実行する（Ｓ１０７−Ｓ１０９）。
【００６０】
つまり、一の実施形態での画像処理装置は、輝度値での飽和はないが、色情報をみると画素値に飽和が生じている赤色や青色の点光源（例えば図３のイルミネーションなど）を、高輝度の被写体とともに合焦判定の対象から除外できる。これにより、一の実施形態では、撮影画像の輝度値のみに注目して合焦判定を行う場合と比べて、ボケた点光源による偽エッジを合焦点と誤判定するおそれが低減し、より精度の高い合焦判定を行うことが可能となる。
【００６１】
また、一の実施形態での画像処理装置は、撮影画像の各画素でＲＧＢ画素値の最小値を第２特徴量とする（Ｓ１０５）。そして、画像処理装置は、検出領域内を対象として、第２特徴量から求まるエッジ量により撮影画像のピント評価を実行する（Ｓ１０６−Ｓ１０９）。これにより、一の実施形態では、隣接画素の輝度差によるエッジと隣接画素の色差によるエッジとを第２特徴量でそれぞれ抽出することができる。
【００６２】
さらに、一の実施形態での画像処理装置は、それぞれ複数の色情報を用いて設定された２種類のパラメータ（第１特徴量、第２特徴量）を適用して、検出領域の設定処理と、エッジ量を用いた合焦判定処理とを行う。これにより、一の実施形態での画像処理装置は、
例えば、輝度面での合焦判定処理が好適な画像と、色差面での合焦判定処理が好適な画像とをいずれも同一の処理で精度よく評価できる。
【００６３】
また、従来技術のように、１種類のパラメータで合焦判定処理を行う場合、撮影シーンの解析結果に応じて、輝度面での合焦判定処理と色差面での合焦判定処理との切り替えや、判定結果の重み付けの変更などの処理が必要となる。一方、一の実施形態の画像処理装置は、多様な撮影画像に同一の処理で対応できるので、精度の高い合焦判定を迅速に行うことができる。
【００６４】
＜他の実施態様の説明＞
図５は、他の実施形態における電子カメラの構成例を示すブロック図である。電子カメラ３１は、フォーカシングレンズ３２と、レンズ駆動部３３と、撮像素子３４と、制御部３５と、ＲＯＭ３６と、メインメモリ３７と、モニタ３８と、記録Ｉ／Ｆ３９と、レリーズ釦４０とを有している。ここで、レンズ駆動部３３、撮像素子３４、ＲＯＭ３６、メインメモリ３７、モニタ３８、記録Ｉ／Ｆ３９およびレリーズ釦４０は、それぞれ制御部３５に接続されている。
【００６５】
フォーカシングレンズ３２は、焦点調節を行うためのレンズである。このフォーカシングレンズ３２のレンズ位置は、レンズ駆動部３３によって光軸方向に調整される。
【００６６】
撮像素子３４は、フォーカシングレンズ３２を含む撮像光学系によって結像される被写体の像を撮像し、カラーの撮影画像の画像信号を生成する。なお、撮像素子３４から出力された画像信号は、Ａ／Ｄ変換回路（不図示）を介して制御部３５に入力される。
【００６７】
ここで、電子カメラ３１の撮影モードにおいて、撮像素子３４はレリーズ釦４０の全押し操作に応答して記録用の静止画像（本画像）を撮像する。また、撮影モードでの撮像素子３４は、撮影待機時にも所定間隔毎に観測用の画像（スルー画像）を連続的に撮像する。ここで、時系列に取得されたスルー画像のデータは、モニタ３８での動画像表示や制御部３５による各種の演算処理に使用される。
【００６８】
制御部３５は、電子カメラ３１の動作を統括的に制御するプロセッサである。例えば、制御部３５は、撮影画像のデータに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整、色変換処理など）を施す。
【００６９】
また、制御部３５は、ＲＯＭ３６に格納されたプログラムの実行により、一の実施形態の画像処理装置における第１特徴量取得部２１、領域設定部２２、第２特徴量取得部２３、エッジ量検出部２４、合焦演算部２５として機能する。
【００７０】
ＲＯＭ３６には、制御部３５によって実行されるプログラムが記憶されている。なお、このプログラムによる撮影モードでの動作例については後述する。また、メインメモリ３７は、制御部３５による画像処理の前工程や後工程で画像のデータを一時的に記憶する。また、モニタ３８は、制御部３５の指示に応じて各種画像を表示する。
【００７１】
記録Ｉ／Ｆ３９は、不揮発性の記憶媒体３９ａを接続するためのコネクタを有している。そして、記録Ｉ／Ｆ３９は、コネクタに接続された記憶媒体３９ａに対してデータの書き込み／読み込みを実行する。上記の記憶媒体３９ａは、ハードディスクや、半導体メモリを内蔵したメモリカードなどで構成される。なお、図５では記憶媒体３９ａの一例としてメモリカードを図示する。
【００７２】
レリーズ釦４０は、半押し操作による撮影前のＡＦ動作開始の指示入力と、全押し操作による撮像動作開始の指示入力とをユーザから受け付ける。
【００７３】
次に、図６の流れ図を参照しつつ、他の実施形態の電子カメラ３１における撮影モードでの動作例を説明する。なお、図６の流れ図の処理は、制御部３５の制御によって、ユーザの撮影モードの起動操作に応じて開始される。
【００７４】
ステップＳ２０１：制御部３５は、撮像素子３４を駆動させてスルー画像の撮像を開始する。その後、スルー画像は所定間隔ごとに逐次生成されることとなる。なお、撮像素子３４から出力されたスルー画像のデータは、制御部３５に入力される。
【００７５】
また、撮影モードでの制御部３５は、スルー画像から生成された表示用の画像（ビュー画像）をモニタ３８に動画表示させる。したがって、ユーザは、モニタ３８のビュー画像を参照して、撮影構図を決定するためのフレーミングを行うことができる。
【００７６】
ステップＳ２０２：制御部３５は、レリーズ釦４０の半押し操作を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０３に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）には、制御部３５はレリーズ釦４０の半押し操作を待機する。
【００７７】
ステップＳ２０３：制御部３５は、スルー画像を用いて合焦制御を実行する。
【００７８】
一例として、制御部３５は、フォーカシングレンズ３２を移動させつつ、各々のレンズ位置でスルー画像を取得する。そして、制御部３５は、各々のスルー画像を対象として上記の一の実施形態でのＳ１０１からＳ１０８の処理を実行する。また、制御部３５は、至近優先や中央優先などのアルゴリズム（またはユーザのマニュアルでの指定）に基づいて撮影画面（スルー画像の撮影範囲）内に焦点検出エリアを設定する。そして、制御部３５は、焦点検出エリアの被写体の合焦度が最も高くなるスルー画像のレンズ位置を用いて、フォーカシングレンズ３２のＡＦを実行する。
【００７９】
ステップＳ２０４：制御部３５は、レリーズ釦４０の全押し操作を受け付けたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）にはＳ２０６に処理が移行する。一方、上記要件を満たさない場合（ＮＯ側）にはＳ２０５に処理が移行する。
【００８０】
ステップＳ２０５：制御部３５は、レリーズ釦４０の半押し操作が解除されたか否かを判定する。上記要件を満たす場合（ＹＥＳ側）には、制御部３５はＳ２０２に戻って上記動作を繰り返す。一方、上記要件を満たさない場合（ＮＯ側）には、制御部３５はＳ２０４に戻ってレリーズ釦４０の全押し操作を待機する。
【００８１】
ステップＳ２０６：制御部３５は、レリーズ釦４０の全押しに応じて、撮像素子３４を駆動させて本画像の撮像処理を実行する。本画像のデータは、制御部３５で所定の処理が施された後に記録Ｉ／Ｆ３９を介して記憶媒体３９ａに記録される。以上で、図６の流れ図の説明を終了する。
【００８２】
他の実施形態の電子カメラ３１は、一の実施形態とほぼ同様のアルゴリズムによって、ＡＦを実行する。したがって、他の実施形態の電子カメラ３１は、一の実施形態と同様に精度の高い合焦判定を迅速に実行できる。
【００８３】
＜実施形態の補足事項＞
（１）上記の各実施形態では、第１特徴量取得部２１、領域設定部２２、第２特徴量取得部２３、エッジ量検出部２４、合焦演算部２５の機能をプログラムによってソフトウエア的に実現する例を説明したが、ＡＳＩＣを用いて上記の各部をハードウエア的に実現しても勿論かまわない。
【００８４】
（２）上記の各実施形態ではＲＧＢの画素値を用いて第１特徴量および第２特徴量を求める例を説明したが、例えば補色系（例えば、マゼンタ、シアン、イエローを用いる系）の色情報を用いるようにしてもよい。
【００８５】
（３）一の実施形態のＳ１０４の処理では、飽和画素を判定する閾値を８ビットで２５０とする例を説明したが、上記の閾値は適宜変更してもよい。また、一の実施形態のＳ１０４の処理において、撮影画像に応じて、疑似飽和画素とする範囲を適宜変更してもよい。
【００８６】
（４）一の実施形態のＳ１０２の処理では、ベイヤ配列構造の画像を２×２画素で１画素とするケースを説明したが、より多数の画素（４×４画素など）をまとめて１画素の情報を生成してもよい。
【００８７】
（５）上記の一の実施形態において、画像処理装置は、有効エリアマップで撮影画像内の検出エリアを予め特定した後にＳ１０６の処理を実行してもよい。また、上記の一の実施形態において、画像処理装置は、撮影画像のうちの焦点検出エリアの範囲を対象としてピント評価処理を実行してもよい。
【００８８】
（６）上記の他の実施形態では、撮影レンズを構成要素に含むコンパクト型の電子カメラでの構成例を説明した。しかし、本発明の撮像装置は、レンズ交換可能な一眼レフレックス型の電子カメラにも適用することが勿論可能である。また、本発明の撮像装置は、例えば、携帯電話などの電子機器に内蔵されるカメラモジュールに適用することも可能である。
【００８９】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００９０】
１１…コンピュータ、１２…データ読込部、１３…記憶装置、１４…ＣＰＵ、１５…メモリ、１６…入出力Ｉ／Ｆ、１７…バス、１８…入力デバイス、１９…モニタ、２１…第１特徴量取得部、２２…領域設定部、２３…第２特徴量取得部、２４…エッジ量検出部、２５…合焦演算部、３１…電子カメラ、３２…フォーカシングレンズ、３３…レンズ駆動部、３４…撮像素子、３５…制御部、３６…ＲＯＭ、３７…メインメモリ、３８…モニタ、３９…記録Ｉ／Ｆ、３９ａ…記憶媒体、４０…レリーズ釦
【特許請求の範囲】
【請求項１】
カラーの撮影画像を取得する画像取得部と、
前記撮影画像の複数の色情報を用いて、前記撮影画像の各位置で第１特徴量をそれぞれ求める第１特徴量取得部と、
前記撮影画像での前記第１特徴量の分布を示す第１特徴量分布情報を用いて、前記撮影画像のうちでエッジ量を検出する検出領域を設定する領域設定部と、
前記撮影画像の複数の色情報を用いて、前記撮影画像の各位置で前記第１特徴量と異なる第２特徴量をそれぞれ求める第２特徴量取得部と、
前記撮影画像での前記第２特徴量の分布を示す第２特徴量分布情報を用いて、前記検出領域内の各位置でエッジ量を検出するエッジ量検出部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第２特徴量取得部は、前記撮影画像の各位置で、各々が異なる色成分に対応する複数の画素値のうち最小の画素値から前記第２特徴量を求める画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記第１特徴量取得部は、前記撮影画像の各位置で、各々が異なる色成分に対応する複数の画素値のうち最大の画素値から前記第１特徴量を求める画像処理装置。
画像処理装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像処理装置において、
前記画像取得部は、各画素が単色の情報を有する色補間前の画像に対して画素加算処理を施し、各画素が複数色の情報を有する前記撮影画像を取得する画像処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像処理装置において、
前記エッジ量検出部が検出した前記エッジ量に基づいて、前記撮影画像の合焦位置を求める合焦演算部をさらに備える画像処理装置。
【請求項６】
撮影レンズを通過した光束による像を撮影する撮像部と、
請求項５に記載の画像処理装置と、
前記画像処理装置の出力に基づいて、前記撮影レンズの合焦状態を制御する制御部と、を備える撮像装置。
【請求項７】
コンピュータを、請求項１から請求項５のいずれか１項に記載の画像処理装置として動作させるプログラム。
【請求項１】
カラーの撮影画像を取得する画像取得部と、
前記撮影画像の複数の色情報を用いて、前記撮影画像の各位置で第１特徴量をそれぞれ求める第１特徴量取得部と、
前記撮影画像での前記第１特徴量の分布を示す第１特徴量分布情報を用いて、前記撮影画像のうちでエッジ量を検出する検出領域を設定する領域設定部と、
前記撮影画像の複数の色情報を用いて、前記撮影画像の各位置で前記第１特徴量と異なる第２特徴量をそれぞれ求める第２特徴量取得部と、
前記撮影画像での前記第２特徴量の分布を示す第２特徴量分布情報を用いて、前記検出領域内の各位置でエッジ量を検出するエッジ量検出部と、
を備える画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記第２特徴量取得部は、前記撮影画像の各位置で、各々が異なる色成分に対応する複数の画素値のうち最小の画素値から前記第２特徴量を求める画像処理装置。
【請求項３】
請求項１または請求項２に記載の画像処理装置において、
前記第１特徴量取得部は、前記撮影画像の各位置で、各々が異なる色成分に対応する複数の画素値のうち最大の画素値から前記第１特徴量を求める画像処理装置。
画像処理装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像処理装置において、
前記画像取得部は、各画素が単色の情報を有する色補間前の画像に対して画素加算処理を施し、各画素が複数色の情報を有する前記撮影画像を取得する画像処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像処理装置において、
前記エッジ量検出部が検出した前記エッジ量に基づいて、前記撮影画像の合焦位置を求める合焦演算部をさらに備える画像処理装置。
【請求項６】
撮影レンズを通過した光束による像を撮影する撮像部と、
請求項５に記載の画像処理装置と、
前記画像処理装置の出力に基づいて、前記撮影レンズの合焦状態を制御する制御部と、を備える撮像装置。
【請求項７】
コンピュータを、請求項１から請求項５のいずれか１項に記載の画像処理装置として動作させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１１−１４７０７６（Ｐ２０１１−１４７０７６Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１０−８２５１（Ｐ２０１０−８２５１）
【出願日】平成２２年１月１８日（２０１０．１．１８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２２年１月１８日（２０１０．１．１８）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]