画像処理装置
【構成】連写モードの下でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、共通の被写体を捉えた連続４フレームの画像データをＳＤＲＡＭ３２の退避画像エリア３２ｃに取り込む。取り込まれた各フレームの画像データは、ＪＰＥＧエンコーダ４０によって圧縮処理を施される。ＣＰＵ２６は、各フレームのＪＰＥＧデータのサイズ値を高周波画像成分の量に相関するパラメータ値として検出し、こうして検出された４つのサイズ値の中から最大サイズ値を選択し、そして選択された最大サイズ値と残りの３つのサイズ値の各々との差分を正規化する。
【効果】共通の被写体を捉えた複数の画像のブレの検知性能が向上する。
【効果】共通の被写体を捉えた複数の画像のブレの検知性能が向上する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に電子カメラに適用され、画像データに表れたブレの大きさを検出する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像素子によって捉えられた被写体を表す画像データに対してブレの大きさが検出され、検出された大きさに基づいて手ブレレベルが設定される。手ブレレベルは、手ブレが小さい順にレベル１〜２０の２０段階評価で表される。手ブレの検出方法としては、画像解析によって画像データ中の複数のエッジを検出し、検出されたエッジの特徴量から手ブレの程度を得る方法や、手ブレセンサの出力から手ブレの程度を得る方法が採用される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−７７２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、前者の手ブレ検出方法はソフトウェア構成の複雑化を招き、後者の手ブレ検出方法はハードウェア構成の複雑化を招く。このため、背景技術では、画像データのブレの検知性能の向上に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、画像データのブレの検知性能を高めることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、共通の被写体を捉えた画像を繰り返し取得する取得手段(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得手段によって取得された複数の画像の各々に対応して検出する検出手段(S81)、検出手段によって検出された複数のパラメータ値のいずれか１つを選択する選択手段(S83)、および選択手段によって選択されたパラメータ値と選択手段の選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化手段(S91~S99, S103, S109~S111)を備える。
【０００７】
好ましくは、選択手段によって選択されるパラメータ値は高周波画像成分の量が最大の画像に対応する。
【０００８】
好ましくは、正規化手段は、選択手段によって選択されたパラメータ値に対応する画像に基づいて基準ぶれ量を有する基準ぶれ画像を作成する作成手段(S91)、作成手段によって作成された基準ぶれ画像の高周波画像成分に相関するパラメータ値を基準パラメータ値として検出する基準パラメータ値検出手段(S93~S95)、および基準パラメータ値検出手段によって検出された基準パラメータ値を参照して正規化処理を実行する正規化処理手段(S103)を含む。
【０００９】
好ましくは、取得手段によって取得された複数の画像を個別に符号化する符号化手段(S35)がさらに備えられ、検出手段によって検出されるパラメータ値は符号化手段によって符号化された画像のサイズに相当する。
【００１０】
好ましくは、取得手段によって取得された複数の画像の一部を正規化手段によって算出された正規化差分に基づいて抽出する抽出手段(S105, S49~S73)がさらに備えられる。
【００１１】
さらに好ましくは、抽出手段は、取得手段によって取得された画像から特定物体像を探索する探索手段(S55)、探索手段の探索結果と正規化手段によって算出された正規化差分とに基づく既定の演算処理を実行する演算手段(S57~S65)、および演算手段の演算結果を参照して抽出処理を実行する抽出処理手段(S71~S73)を含む。
【００１２】
この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(26)に、共通の被写体を捉えた画像を繰り返し取得する取得ステップ(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ(S81)、検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ(S83)、および選択ステップによって選択されたパラメータ値と選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップ(S91~S99, S103, S109~S111)を実行させるための、画像処理プログラムである。
【００１３】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、共通の被写体を捉えた画像を繰り返し取得する取得ステップ(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ(S81)、検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ(S83)、および選択ステップによって選択されたパラメータ値と選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップ(S91~S99, S103, S109~S111)を備える。
【００１４】
この発明に従う外部制御プログラムは、メモリ(46)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置に供給される外部制御プログラムであって、共通の被写体を捉えた画像を繰り返し取得する取得ステップ(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ(S81)、検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ(S83)、および選択ステップによって選択されたパラメータ値と選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップ(S91~S99, S103, S109~S111)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(48)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(46)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)であって、外部制御プログラムは、共通の被写体を捉えた画像を繰り返し取得する取得ステップ(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ(S81)、検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ(S83)、および選択ステップによって選択されたパラメータ値と選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップ(S91~S99, S103, S109~S111)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
高周波画像成分の量に相関するパラメータ値は、被写体の属性に起因して変動し、さらに画像取得時の撮像面のブレに起因して変動する。ただし、被写体の属性に起因する変動は、共通の被写体を捉える複数の画像を取得し、各画像に対応する上述のパラメータ値を正規化することで排除される。
【００１７】
これを踏まえて、この発明では、共通の被写体を捉えた複数の画像にそれぞれ対応する複数のパラメータ値のいずれか１つが選択され、選択されたパラメータ値と選択の後に残った１または２以上のパラメータ値の各々との差分が正規化される。これによって、共通の被写体を捉えた複数の画像のブレの検知性能が向上する。
【００１８】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図４】図２実施例に適用されるレジスタの構成の一例を示す図解図である。
【図５】撮像面で捉えられるシーンの一例を示す図解図である。
【図６】（Ａ）は第１フレームの画像データの一例を示す図解図であり、（Ｂ）は第２フレームの画像データの一例を示す図解図である。
【図７】（Ａ）は第３フレームの画像データの一例を示す図解図であり、（Ｂ）は第４フレームの画像データの一例を示す図解図である。
【図８】基準画像データに基づいて作成されたブレ画像データの一例を示す図解図である。
【図９】顔検出処理において参照される顔辞書の構成の一例を示す図解図である。
【図１０】図２実施例に適用される他のレジスタの構成の一例を示す図解図である。
【図１１】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１７】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２１】
図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。取得手段１は、共通の被写体を捉えた画像を繰り返し取得する。検出手段２は、高周波画像成分の量に相関するパラメータ値を取得手段１によって取得された複数の画像の各々に対応して検出する。選択手段３は、検出手段２によって検出された複数のパラメータ値のいずれか１つを選択する。正規化手段４は、選択手段３によって選択されたパラメータ値と選択手段３の選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する。
【００２２】
高周波画像成分の量に相関するパラメータ値は、被写体の属性に起因して変動し、さらに画像取得時の撮像面のブレに起因して変動する。ただし、被写体の属性に起因する変動は、共通の被写体を捉える複数の画像を取得し、各画像に対応する上述のパラメータ値を正規化することで排除される。
【００２３】
これを踏まえて、この装置では、共通の被写体を捉えた複数の画像にそれぞれ対応する複数のパラメータ値のいずれか１つが選択され、選択されたパラメータ値と選択の後に残った１または２以上のパラメータ値の各々との差分が正規化される。これによって、共通の被写体を捉えた複数の画像のブレの検知性能が向上する。
［実施例］
【００２４】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、撮像面で捉えられたシーンを表す電荷が生成される。
【００２５】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２６】
前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。
【００２７】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに書き込まれる。
【００２８】
ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、撮像面で捉えられたシーンを表す動画像がリアルタイムでモニタ画面に表示される。
【００２９】
図３を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータ(RGB: red, green & blue)に変換する簡易ＲＧＢ変換処理を実行する。
【００３０】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００３１】
キー入力装置２８に設けられたシャッタボタン２８ｓｈが非操作状態にあるとき、ＣＰＵ２６は、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づいて簡易ＡＥ処理を実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが大まかに調整される。
【００３２】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価値を参照した厳格ＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間もまたドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが厳格に調整される。ＣＰＵ２６はまた、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値に基づいてＡＦ処理を実行する。フォーカスレンズ１２は合焦点の探索のためにドライバ１８ａによって光軸方向に移動し、これによって発見された合焦点に配置される。この結果、スルー画像の鮮鋭度が向上する。
【００３３】
撮像モードは、モード切換えスイッチ２８ｍｄによって単写モードおよび連写モードの間で切り換えられる。また、連写モードについては、ベストショットセレクト機能のオン／オフが可能である。
【００３４】
単写モードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、静止画取り込み処理を１回だけ実行する。この結果、シャッタボタン２８ｓｈが全押しされた時点のシーンを表す１フレームの画像データが退避画像エリア３２ｃに退避される。静止画取り込み処理が完了すると、ＣＰＵ２６は、圧縮処理の実行をＪＰＥＧエンコーダ４０に命令し、記録処理の実行をメモリＩ／Ｆ４２に命令する。
【００３５】
ＪＰＥＧエンコーダ４０は、退避画像エリア３２ｃに退避された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データをＪＰＥＧ方式で圧縮し、そして圧縮画像データつまりＪＰＥＧデータをメモリ制御回路３０を通してＳＤＲＡＭ３２の圧縮画像エリア３２ｄに書き込む。メモリＩ／Ｆ４２は、圧縮画像エリア３２ｄに格納されたＪＰＥＧデータをメモリ制御回路３０を通して読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４４に記録する。
【００３６】
連写モードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、垂直同期信号Ｖｓｙｎｃが発生する毎に合計４回の静止画取り込み処理を実行し、さらに４回のＪＰＥＧ圧縮処理の実行をＪＰＥＧエンコーダ４０に命令する。
【００３７】
４回の静止画取り込み処理の結果、連続する４フレームの画像データが退避画像エリア３２ｃに退避される。ＪＰＥＧエンコーダ４０は、退避された４フレームの画像データをメモリ制御回路３０を通して読み出し、読み出された各フレームの画像データをＪＰＥＧ方式で圧縮し、そしてＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄに書き込む。圧縮画像エリア３２ｄには、合計４フレームのＪＰＥＧデータが格納される。
【００３８】
ベストショットセレクト機能がオフ状態にあるとき、ＣＰＵ２６は、圧縮画像エリア３２ｄに格納された４フレームのＪＰＥＧデータの全てに対する記録処理の実行をメモリＩ／Ｆ４２に命令する。これに対して、ベストショットセレクト機能がオン状態にあれば、ＣＰＵ２６は、圧縮画像エリア３２ｄに格納された４フレームの中から１フレームを選択し、選択されたフレームのＪＰＥＧデータに対する記録処理の実行をメモリＩ／Ｆ４２に命令する。メモリＩ／Ｆ４２は、選択されたフレームのＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄから読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４４に記録する。
【００３９】
ベストショットセレクト機能がオン状態にあるときは、以下の処理がＣＰＵ２６によって実行される。
【００４０】
まず、シャッタボタン２８ｓｈが全押しされた直後の撮像面の手ブレを判定するべく、ブレ判定処理が実行される。ブレ判定処理では、圧縮画像エリア３２ｄに格納された４フレームのＪＰＥＧデータにそれぞれ対応する４つのサイズ値の中から最大サイズ値が特定され、特定されたサイズ値のＪＰＥＧデータに対応する非圧縮の画像データが基準画像データとして指定される。指定された基準画像データのフレーム番号は変数Ｒに設定され、フラグＦＬＧ＿Ｒ＿ｂｌｕｒは“０”に設定され、そして基準画像データの安定度は“１００”に設定される。安定度“１００”は、第Ｒフレームに対応して図４に示すレジスタＲＧＳＴ１に登録される。
【００４１】
図５に示すように人物ＨＭ１，ビルＢＬ１および山ＭＴ１が現れたシーンが捉えられた状態でシャッタボタン２８ｓｈが全押しされ、これに起因して撮像面に手ブレが生じた場合、第１フレームの画像データは図６（Ａ）に示す要領で作成され、第２フレームの画像データは図６（Ｂ）に示す要領で作成され、第３フレームの画像データは図７（Ａ）に示す要領で作成され、そして第４フレームの画像データは図７（Ｂ）に示す要領で作成される。
【００４２】
こうして得られた４フレームの画像データの中では、第３フレームの画像データが手ブレが最も小さい画像データであり、第３フレームのＪＰＥＧデータのサイズ値が最大となる。したがって、この例では、第３フレームの画像データが基準画像データとして指定され、変数Ｒは“３”に設定される。さらに、フラグＦＬＧ＿３＿ｂｌｕｒが“０”に設定され、第３フレームの画像データの安定度が“１００”に設定される。
【００４３】
続いて、基準ブレ度（＝許容可能な最大のブレ度）を有するブレ画像データが、基準画像データに基づいて作成される。具体的には、基準画像データが水平方向，垂直方向および光軸回り方向に既定量だけシフトないし回転され、異なる位置ないし姿勢で定義された複数フレームの基準画像データが互いに合成される。ブレ画像データは、図７（Ａ）に示す画像データに基づいて、図８に示す要領で作成される。作成されたブレ画像データは、ＳＤＲＡＭ３２の退避画像エリア３２ｃに格納される。
【００４４】
ＣＰＵ２６は、こうして作成されたブレ画像データに対する圧縮処理の実行をＪＰＥＧエンコーダ４０に命令する。ＪＰＥＧエンコーダ４０は、ブレ画像データをメモリ制御回路３０を通して退避画像エリア３２ｃから読み出し、読み出されたブレ画像データをＪＰＥＧ方式で圧縮し、そしてブレ画像データに基づくＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄに書き込む。作成されたＪＰＥＧデータのサイズ値は、基準値ＢＬＵＲｓｚに設定される。
【００４５】
続いて、変数Ｋが“１”〜“４”（ただし、変数Ｒと同じ値は除く）に順に設定され、第ＫフレームのＪＰＥＧデータのサイズ値が基準値ＢＬＵＲｓｚと比較される。注目するサイズ値が基準値ＢＬＵＲｓｚ以上であれば、フラグＦＬＧ＿Ｋ＿ｂｌｕｒは“０”に設定される。一方、注目するサイズ値が基準値ＢＬＵＲｓｚを下回れば、フラグＦＬＧ＿Ｋ＿ｂｌｕｒは“１”に設定される。つまり、フラグＦＬＧ＿Ｋ＿ｂｌｕｒは、第Ｋフレームの画像データのブレ度が許容範囲から外れるとき“１”に設定され、第Ｋフレームの画像データのブレ度が許容範囲に収まるとき“０”に設定される。
【００４６】
図６（Ａ）〜図７（Ｂ）の例では、第１フレームのＪＰＥＧデータのサイズが基準値ＢＬＵＲｓｚを下回り、第２フレームおよび第４フレームのＪＰＥＧデータのサイズが基準値ＢＬＵＲｓｚ以上となる。したがって、フラグＦＬＧ＿１＿ｂｌｕｒは“１”に設定され、フラグＦＬＧ＿２＿ｂｌｕｒおよびＦＬＧ＿４＿ｂｌｕｒは“０”に設定される。
【００４７】
さらに、注目するサイズ値が基準値ＢＬＵＲｓｚ以上となるときは、第Ｋフレームの画像データのブレ度が数１に従って算出され、第Ｋフレームの画像データの安定度が数２に従って算出される。
［数１］
ブレ度＝（ＲＥＦｓｚ−Ｋｓｚ）／（ＲＥＦｓｚ−ＢＬＵＲｓｚ）
Ｋｓｚ：第ＫフレームのＪＰＥＧデータのサイズ値
ＲＥＦｓｚ：基準画像データに基づくＪＰＥＧデータのサイズ値
［数２］
安定度＝１−ブレ度
【００４８】
数１によれば、第ＫフレームのＪＰＥＧデータのサイズ値と基準画像データに基づくＪＰＥＧデータのサイズ値との差分が、基準画像データに基づくＪＰＥＧデータのサイズ値とブレ画像データに基づくＪＰＥＧデータのサイズ値との差分によって割り算される。これによって、第ＫフレームのＪＰＥＧデータのサイズ値と基準画像データに基づくＪＰＥＧデータのサイズ値との差分が正規化される。数２によれば、数１によって算出されたブレ度が“１”から減算される。数２に従って算出された安定度は、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録される。
【００４９】
ブレ判定処理が完了すると、変数Ｋが再度“１”〜“４”に設定され、フラグＦＬＧ＿Ｋ＿ｂｌｕｅの状態が判別される。
【００５０】
ＦＬＧ＿Ｋ＿ｂｌｕｅ＝１であれば、第Ｋフレームの画像データのブレ度が許容範囲から外れるとして、総合評価点が“０”に設定される。総合評価点“０”は、第Ｋフレームに対応してレジスタＲＧＳＴ１に記述する。上述の例では、図６（Ａ）に示す第１フレームの画像データに対応して、フラグＦＬＧ＿１＿ｂｌｕｅが“１”に設定される。したがって、第１フレームの総合評価点は“０”に設定される。
【００５１】
これに対して、ＦＬＧ＿Ｋ＿ｂｌｕｅ＝０であれば、退避画像エリア３２ｃに退避された第Ｋフレームの画像データに対して顔検出処理が実行される。顔検出処理では、フラッシュメモリ４６内の顔辞書ＤＣ＿Ｆに図９に示す要領で収められた３つの辞書画像のいずれか１つと符合する顔画像が、第Ｋフレームの画像データから探索される。探索処理によって１または２以上の顔画像が発見されると、発見された顔画像を囲う顔枠のサイズおよび位置が図１０に示すレジスタＲＧＳＴ２に登録される。レジスタＲＧＳＴ２には、発見された顔画像の数も登録される。
【００５２】
したがって、第２フレームの画像データについては図６（Ｂ）に“ＦＫ”で示す顔枠のサイズおよび位置が登録され、第３フレームの画像データについては図７（Ａ）に“ＦＫ”で示す顔枠のサイズおよび位置が登録され、そして第４フレームの画像データについては図７（Ｂ）に“ＦＫ”で示す顔枠のサイズおよび位置が登録される。なお、第２フレーム〜第４フレームのいずれにおいても、登録された顔画像数は“１”を示す。
【００５３】
レジスタＲＧＳＴ２に登録された顔画像の数が“１”以上であれば、レジスタＲＧＳＴ１に登録された顔枠に属する画像について笑顔度が算出される。また、レジスタＲＧＳＴ１に登録された顔枠に属する画像上で目が検出され、検出した目の開度が算出される。発見された顔画像の数が“２”以上であれば、算出される笑顔度は各顔画像の笑顔度の平均値に相当し、算出される開度は各顔画像に表れた目の開度の平均値に相当する。算出された笑顔度および目の開度はいずれも、“０”〜“１”の範囲に属する値を示す。一方、レジスタＲＧＳＴ２に登録された顔画像の数が“０”であれば、笑顔度および目の開度を“０”に設定する。こうして得られた笑顔度および目の開度は、第Ｋフレームに対応して図４に示すレジスタＲＧＳＴ１に登録される。
【００５４】
続いて、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録された安定度，笑顔度および目の開度が数３に適用され、これによって総合評価点が算出される。
［数３］
総合評価点＝安定度＊Ｗｓｔｂｌ＋笑顔度＊Ｗｓｍｌ＋目の開度＊Ｗｅｙｅ
ただし、Ｗｓｔｂｌ＞Ｗｓｍｌ＞Ｗｅｙｅ＞０
【００５５】
数３によれば、安定度が重み付け量Ｗｓｔｂｌによって掛け算され、笑顔度が重み付け量Ｗｓｍｌによって掛け算され、目の開度が重み付け量Ｗｅｙｅによって掛け算され、そしてこれらの掛け算値が互いに加算される。こうして算出された総合評価点もまた、第Ｋフレームに対応して図４に示すレジスタＲＧＳＴ１に記述される。
【００５６】
４つの総合評価点がレジスタＲＧＳＴ１に登録されると、これらの総合評価点の中から最高の総合評価点が検出され、検出された総合評価点に対応するフレームが選択される。上述の例では、第４フレームに対応する総合評価点が最大となり、第４フレームが選択される。ＣＰＵ２６は、選択されたフレームに対応するＪＰＥＧデータの記録をメモリＩ／Ｆ４２に命令する。メモリＩ／Ｆ４２は、指定フレームのＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄから読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４４に記録する。
【００５７】
ＣＰＵ２６は、図１１〜図１６に示す撮像タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４６に記憶される。
【００５８】
図１１を参照して、ステップＳ１では動画取込み処理を実行する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではシャッタボタン２８ｓｈが半押しされたか否かを判別し、判別結果がＮＯである限り、ステップＳ５で簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが大まかに調整される。ステップＳ３の判別結果がＮＯからＹＥＳに更新されると、ステップＳ７で厳格ＡＥ処理を実行し、ステップＳ９でＡＦ処理を実行する。スルー画像の明るさは厳格ＡＥ処理によって厳格に調整され、スルー画像の鮮鋭度はＡＦ処理によって向上する。
【００５９】
ステップＳ１１ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ１３ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ１１３でＹＥＳであればそのままステップＳ３に戻り、ステップＳ１１でＹＥＳであればステップＳ１５〜Ｓ２３の処理を経てステップＳ３に戻る。
【００６０】
ステップＳ１５では、現時点の撮像モードが連写モードおよび単写モードのいずれであるかを判別する。現時点の撮像モードが単写モードであれば、ステップＳ１７で静止画取り込み処理を実行する。ステップＳ１９では圧縮処理の実行をＪＰＥＧエンコーダ４０に命令し、ステップＳ２１では記録処理の実行をメモリＩ／Ｆ４２に命令する。一方、現時点の撮像モードが連写モードであれば、ステップＳ２３で連写＆記録処理を実行する。ステップＳ２１またはＳ２３の処理が完了すると、ステップＳ３に戻る。
【００６１】
ステップＳ１７の静止画取り込み処理の結果、シャッタボタン２８ｓｈが全押しされた時点のシーンを表す１フレームの画像データがＹＵＶ画像エリア３２ｂから退避画像エリア３２ｃに退避される。また、ステップＳ１９の処理の結果、退避された画像データに基づくＪＰＥＧデータがＪＰＥＧエンコーダ４０によって作成される。さらに、ステップＳ２１の処理の結果、作成されたＪＰＥＧデータがファイル形式で記録媒体４４に記録する。
【００６２】
ステップＳ２３の連写＆記録処理は、図１２〜図１６に示すサブルーチンに従って実行される。
【００６３】
まず、ステップＳ３１でフレーム番号に相当する変数Ｋを“１”に設定する。ステップＳ３３では、上述したステップＳ１７と同様の静止画取り込み処理を垂直同期信号Ｖｓｙｎｃの発生を待って実行する。ステップＳ３５では圧縮処理の実行をＪＰＥＧエンコーダ４０に命令し、ステップＳ３７では変数Ｋをインクリメントする。ステップＳ３９ではインクリメントされた変数Ｋが“４”を上回るか否かを判別し、判別結果がＮＯであればステップＳ３３に戻る一方、判別結果がＹＥＳであればステップＳ４１以降の処理に進む。
【００６４】
したがって、ステップＳ３３の静止画取込処理およびステップＳ３５のＪＰＥＧ圧縮処理は垂直同期信号Ｖｓｙｎｃに応答して合計４回実行され、連続する４フレームの画像データが退避画像エリア３２ｃに退避されるとともに、これに基づく４フレームのＪＰＥＧデータが圧縮画像エリア３２ｄに格納される。
【００６５】
ステップＳ４１では、ベストショットセレクト機能がオン状態であるか否かを判別する。判別結果がＮＯであればステップＳ４３に進み、圧縮画像エリア３２ｄに格納された４フレームの画像データに対する記録処理の実行をメモリＩ／Ｆ４２に命令する。メモリＩ／Ｆ４２は、４フレームのＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄから読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４２に記録する。記録処理が完了すると、上階層のルーチンに復帰する。
【００６６】
ステップＳ４１の判別結果がＹＥＳであれば、ステップＳ４５でフラグＦＬＧ＿１＿ｂｌｕｒ〜ＦＬＧ＿４＿ｂｌｕｒを“０”に設定し、ステップＳ４７でブレ判定処理を実行する。フラグＦＬＧ＿Ｋ＿ｂｌｕｒ（Ｋ：１〜４）は、第Ｋフレームの画像データのブレ度が許容範囲に収まるとき“０”を維持し、第Ｋフレームの画像データのブレ度が許容範囲から外れるとき“１”に更新される。また、ＦＬＧ＿Ｋ＿ｂｌｕｒ＝０の画像データについては画像の安定度が算出され、算出された安定度は第Ｋフレームに対応してレジスタＲＧＳＴ１に登録される。
【００６７】
ステップＳ４９では変数Ｋを“１”に設定し、ステップＳ５１ではフラグＦＬＧ＿Ｋ＿ｂｌｕｅが“１”を示すか否かを判別する。判別結果がＹＥＳであればステップＳ５３に進み、総合評価点“０”を第Ｋフレームに対応してレジスタＲＧＳＴ１に記述する。記述が完了すると、ステップＳ６７に進む。
【００６８】
これに対して、ステップＳ５１の判別結果がＮＯであれば、第Ｋフレームの画像データに対する顔検出処理をステップＳ５５で実行する。この結果、顔辞書ＤＣ＿Ｆに収められたいずれかの辞書画像と符合する顔画像が第Ｋフレームの画像データから探索される。探索処理によって１または２以上の顔画像が発見されると、発見された顔画像を囲う顔枠のサイズおよび位置がレジスタＲＧＳＴ２に登録される。レジスタＲＧＳＴ２には、発見された顔画像の数も登録される。
【００６９】
ステップＳ５７では、レジスタＲＧＳＴ２に登録された顔画像の数が“０”であるか否かを判別する。判別結果がＮＯであればステップＳ５９〜Ｓ６１の処理を経てステップＳ６５に進み、判別結果がＹＥＳであればステップＳ６３の処理を経てステップＳ６５に進む。
【００７０】
ステップＳ５９では、レジスタＲＧＳＴ１に登録された顔枠に属する画像を参照して笑顔度を算出する。ステップＳ６１では、レジスタＲＧＳＴ１に登録された顔枠に属する画像上で目を検出し、検出した目の開度を算出する。発見された顔画像の数が“２”以上であれば、ステップＳ５９で算出される笑顔度は各顔画像の笑顔度の平均値に相当し、ステップＳ６１で算出される開度は各顔画像に表れた目の開度の平均値に相当する。ステップＳ６３では、笑顔度および目の開度を“０”に設定する。こうして得られた笑顔度および目の開度は、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録される。
【００７１】
ステップＳ６５では、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録された安定度，笑顔度および目の開度を数３に適用して、総合評価点を算出する。算出された総合評価点もまた、第Ｋフレームに対応してレジスタＲＧＳＴ１に記述される。記述が完了すると、ステップＳ６７に進む。
【００７２】
ステップＳ６７では変数Ｋが“４”に達したか否かを判別し、判別結果がＮＯであればステップＳ６９で変数ＫをインクリメントしてからステップＳ５１に戻る一方、判別結果がＹＥＳであればステップＳ７１に進む。ステップＳ７１では、レジスタＲＧＳＴ１に登録された４つの総合評価点の中から最高の総合評価点を検出し、検出された総合評価点に対応するフレームを選択する。
【００７３】
ステップＳ７３では、選択されたフレームに対応するＪＰＥＧデータの記録をメモリＩ／Ｆ４２に命令する。メモリＩ／Ｆ４２は、指定フレームのＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄから読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４４に記録する。ステップＳ７３の処理が完了すると、上階層のルーチンに復帰する。
【００７４】
図１２に示すステップＳ４７のブレ判定処理は、図１５〜図１６に示すサブルーチンに従って実行される。まず、ステップＳ８１で各フレームのＪＰＥＧデータのサイズ値を検出する。ステップＳ８３では、検出された４つのサイズ値の中から最大サイズ値を特定し、かつ特定されたサイズ値のＪＰＥＧデータに対応する非圧縮の画像データを基準画像データとして指定する。
【００７５】
ステップＳ８５では指定された基準画像データのフレーム番号を変数Ｒに設定し、ステップＳ８７ではフラグＦＬＧ＿Ｒ＿ｂｌｕｒを“０”に設定し、そしてステップＳ８９では基準画像データの安定度を“１００”に設定する。安定度“１００”は、第Ｒフレームに対応してレジスタＲＧＳＴ１に登録される。ステップＳ９１では、基準ブレ度（＝許容可能な最大のブレ度）を有するブレ画像データを基準画像データに基づいて作成する。作成されたブレ画像データは、ＳＤＲＡＭ３２の退避画像エリア３２ｃに格納される。
【００７６】
ステップＳ９３では、作成されたブレ画像データに対する圧縮処理の実行をＪＰＥＧエンコーダ４０に命令する。ＪＰＥＧエンコーダ４０は、ブレ画像データをメモリ制御回路３０を通して退避画像エリア３２ｃから読み出し、読み出されたブレ画像データをＪＰＥＧ方式で圧縮し、そして圧縮画像データつまりＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄに書き込む。ステップＳ９５では、ステップＳ９３で作成されたＪＰＥＧデータのサイズ値を基準値ＢＬＵＲｓｚに設定する。
【００７７】
ステップＳ９７では変数Ｋを“１”に設定し、ステップＳ９９では変数Ｋが変数Ｒと一致するか否かを判別する。判別結果がＹＥＳであればそのままステップＳ１０９に進み、判別結果がＮＯであればステップＳ１０１〜Ｓ１０７の処理を経てステップＳ１０９に進む。
【００７８】
ステップＳ１０１では第ＫフレームのＪＰＥＧデータのサイズ値が基準値ＢＬＵＲｓｚを下回るか否かを判別する。判別結果がＮＯであれば、ステップＳ１０７でフラグＦＬＧ＿Ｋ＿ｂｌｕｒを“１”に設定する。判別結果がＹＥＳであれば、ステップＳ１０３で第Ｋフレームの画像データのブレ度を算出し、ステップＳ１０５で第Ｋフレームの画像データの安定度を算出する。ブレ度は数１に従って算出され、安定度は数２に従って算出される。数２に従って算出された安定度は、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録される。
【００７９】
ステップＳ１０９では変数Ｋが“４”に達したか否かを判別し、判別結果がＮＯであればステップＳ１１１で変数ＫをインクリメントしてからステップＳ９９に戻る一方、判別結果がＹＥＳであれば上階層のルーチンに復帰する。
【００８０】
以上の説明から分かるように、連写モードの下でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、共通の被写体を捉えた連続４フレームの画像データをＳＤＲＡＭ３２の退避画像エリア３２ｃに取り込む(S31~S33, S37~S39)。取り込まれた各フレームの画像データは、ＪＰＥＧエンコーダ４０によって圧縮処理を施される。ＣＰＵ２６は、各フレームのＪＰＥＧデータのサイズ値を高周波画像成分の量に相関するパラメータ値として検出し(S81)、こうして検出された４つのサイズ値の中から最大サイズ値を選択し(S83)、そして選択された最大サイズ値と残りの３つのサイズ値の各々との差分を正規化する(S91~S99, S103, S109~S111)。
【００８１】
ＪＰＥＧデータのサイズ値は、被写体の属性に起因して変動し、さらに画像取得時の撮像面のブレに起因して変動する。ただし、被写体の属性に起因する変動は、共通の被写体を捉える複数の画像を取得し、各画像に対応するＪＰＥＧデータのサイズ値を正規化することで排除される。
【００８２】
これを踏まえて、この実施例では、共通の被写体を表す４フレームのＪＰＥＧデータにそれぞれ対応する４つのサイズ値の中から最大サイズ値が選択され、選択された最大サイズ値と残りの３つのサイズ値の各々との差分が正規化される。これによって、共通の被写体を捉えた複数の画像のブレの検知性能が向上する。
【００８３】
なお、この実施例では、総合評価点が最高のフレームのＪＰＥＧデータを記録するようにしているが（図１４のステップＳ７１〜Ｓ７３参照）、総合評価点が基準点を上回る限り、２以上のフレームのＪＰＥＧデータを記録するようにしてもよい。
【００８４】
また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４６に予め記憶される。しかし、図１７に示すように通信Ｉ／Ｆ４８をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４６に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００８５】
また、この実施例では、ＣＰＵ２６によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００８６】
１０ …ディジタルカメラ
１６ …イメージャ
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
４０ …ＪＰＥＧエンコーダ
４６ …フラッシュメモリ
【技術分野】
【０００１】
この発明は、画像処理装置に関し、特に電子カメラに適用され、画像データに表れたブレの大きさを検出する、画像処理装置に関する。
【背景技術】
【０００２】
この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、撮像素子によって捉えられた被写体を表す画像データに対してブレの大きさが検出され、検出された大きさに基づいて手ブレレベルが設定される。手ブレレベルは、手ブレが小さい順にレベル１〜２０の２０段階評価で表される。手ブレの検出方法としては、画像解析によって画像データ中の複数のエッジを検出し、検出されたエッジの特徴量から手ブレの程度を得る方法や、手ブレセンサの出力から手ブレの程度を得る方法が採用される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−７７２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、前者の手ブレ検出方法はソフトウェア構成の複雑化を招き、後者の手ブレ検出方法はハードウェア構成の複雑化を招く。このため、背景技術では、画像データのブレの検知性能の向上に限界がある。
【０００５】
それゆえに、この発明の主たる目的は、画像データのブレの検知性能を高めることができる、画像処理装置を提供することである。
【課題を解決するための手段】
【０００６】
この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、共通の被写体を捉えた画像を繰り返し取得する取得手段(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得手段によって取得された複数の画像の各々に対応して検出する検出手段(S81)、検出手段によって検出された複数のパラメータ値のいずれか１つを選択する選択手段(S83)、および選択手段によって選択されたパラメータ値と選択手段の選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化手段(S91~S99, S103, S109~S111)を備える。
【０００７】
好ましくは、選択手段によって選択されるパラメータ値は高周波画像成分の量が最大の画像に対応する。
【０００８】
好ましくは、正規化手段は、選択手段によって選択されたパラメータ値に対応する画像に基づいて基準ぶれ量を有する基準ぶれ画像を作成する作成手段(S91)、作成手段によって作成された基準ぶれ画像の高周波画像成分に相関するパラメータ値を基準パラメータ値として検出する基準パラメータ値検出手段(S93~S95)、および基準パラメータ値検出手段によって検出された基準パラメータ値を参照して正規化処理を実行する正規化処理手段(S103)を含む。
【０００９】
好ましくは、取得手段によって取得された複数の画像を個別に符号化する符号化手段(S35)がさらに備えられ、検出手段によって検出されるパラメータ値は符号化手段によって符号化された画像のサイズに相当する。
【００１０】
好ましくは、取得手段によって取得された複数の画像の一部を正規化手段によって算出された正規化差分に基づいて抽出する抽出手段(S105, S49~S73)がさらに備えられる。
【００１１】
さらに好ましくは、抽出手段は、取得手段によって取得された画像から特定物体像を探索する探索手段(S55)、探索手段の探索結果と正規化手段によって算出された正規化差分とに基づく既定の演算処理を実行する演算手段(S57~S65)、および演算手段の演算結果を参照して抽出処理を実行する抽出処理手段(S71~S73)を含む。
【００１２】
この発明に従う画像処理プログラムは、画像処理装置(10)のプロセッサ(26)に、共通の被写体を捉えた画像を繰り返し取得する取得ステップ(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ(S81)、検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ(S83)、および選択ステップによって選択されたパラメータ値と選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップ(S91~S99, S103, S109~S111)を実行させるための、画像処理プログラムである。
【００１３】
この発明に従う画像処理方法は、画像処理装置(10)によって実行される画像処理方法であって、共通の被写体を捉えた画像を繰り返し取得する取得ステップ(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ(S81)、検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ(S83)、および選択ステップによって選択されたパラメータ値と選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップ(S91~S99, S103, S109~S111)を備える。
【００１４】
この発明に従う外部制御プログラムは、メモリ(46)に保存された内部制御プログラムに従う処理を実行するプロセッサ(26)を備える画像処理装置に供給される外部制御プログラムであって、共通の被写体を捉えた画像を繰り返し取得する取得ステップ(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ(S81)、検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ(S83)、および選択ステップによって選択されたパラメータ値と選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップ(S91~S99, S103, S109~S111)を内部制御プログラムと協働してプロセッサに実行させるための、外部制御プログラムである。
【００１５】
この発明に従う画像処理装置(10)は、外部制御プログラムを取り込む取り込み手段(48)、および取り込み手段によって取り込まれた外部制御プログラムとメモリ(46)に保存された内部制御プログラムとに従う処理を実行するプロセッサ(26)を備える画像処理装置(10)であって、外部制御プログラムは、共通の被写体を捉えた画像を繰り返し取得する取得ステップ(S31~S33, S37~S39)、高周波画像成分の量に相関するパラメータ値を取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ(S81)、検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ(S83)、および選択ステップによって選択されたパラメータ値と選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップ(S91~S99, S103, S109~S111)を内部制御プログラムと協働して実行するプログラムに相当する。
【発明の効果】
【００１６】
高周波画像成分の量に相関するパラメータ値は、被写体の属性に起因して変動し、さらに画像取得時の撮像面のブレに起因して変動する。ただし、被写体の属性に起因する変動は、共通の被写体を捉える複数の画像を取得し、各画像に対応する上述のパラメータ値を正規化することで排除される。
【００１７】
これを踏まえて、この発明では、共通の被写体を捉えた複数の画像にそれぞれ対応する複数のパラメータ値のいずれか１つが選択され、選択されたパラメータ値と選択の後に残った１または２以上のパラメータ値の各々との差分が正規化される。これによって、共通の被写体を捉えた複数の画像のブレの検知性能が向上する。
【００１８】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【図面の簡単な説明】
【００１９】
【図１】この発明の一実施例の基本的構成を示すブロック図である。
【図２】この発明の一実施例の構成を示すブロック図である。
【図３】撮像面における評価エリアの割り当て状態の一例を示す図解図である。
【図４】図２実施例に適用されるレジスタの構成の一例を示す図解図である。
【図５】撮像面で捉えられるシーンの一例を示す図解図である。
【図６】（Ａ）は第１フレームの画像データの一例を示す図解図であり、（Ｂ）は第２フレームの画像データの一例を示す図解図である。
【図７】（Ａ）は第３フレームの画像データの一例を示す図解図であり、（Ｂ）は第４フレームの画像データの一例を示す図解図である。
【図８】基準画像データに基づいて作成されたブレ画像データの一例を示す図解図である。
【図９】顔検出処理において参照される顔辞書の構成の一例を示す図解図である。
【図１０】図２実施例に適用される他のレジスタの構成の一例を示す図解図である。
【図１１】図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。
【図１２】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１３】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１４】図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。
【図１５】図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。
【図１６】図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。
【図１７】この発明の他の実施例の構成を示すブロック図である。
【発明を実施するための形態】
【００２０】
以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］
【００２１】
図１を参照して、この実施例の画像処理装置は、基本的に次のように構成される。取得手段１は、共通の被写体を捉えた画像を繰り返し取得する。検出手段２は、高周波画像成分の量に相関するパラメータ値を取得手段１によって取得された複数の画像の各々に対応して検出する。選択手段３は、検出手段２によって検出された複数のパラメータ値のいずれか１つを選択する。正規化手段４は、選択手段３によって選択されたパラメータ値と選択手段３の選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する。
【００２２】
高周波画像成分の量に相関するパラメータ値は、被写体の属性に起因して変動し、さらに画像取得時の撮像面のブレに起因して変動する。ただし、被写体の属性に起因する変動は、共通の被写体を捉える複数の画像を取得し、各画像に対応する上述のパラメータ値を正規化することで排除される。
【００２３】
これを踏まえて、この装置では、共通の被写体を捉えた複数の画像にそれぞれ対応する複数のパラメータ値のいずれか１つが選択され、選択されたパラメータ値と選択の後に残った１または２以上のパラメータ値の各々との差分が正規化される。これによって、共通の被写体を捉えた複数の画像のブレの検知性能が向上する。
［実施例］
【００２４】
図２を参照して、この実施例のディジタルカメラ１０は、ドライバ１８ａおよび１８ｂによってそれぞれ駆動されるフォーカスレンズ１２および絞りユニット１４を含む。これらの部材を経た光学像は、イメージャ１６の撮像面に照射され、光電変換を施される。これによって、撮像面で捉えられたシーンを表す電荷が生成される。
【００２５】
電源が投入されると、ＣＰＵ２６は、動画取り込み処理を実行するべく、撮像タスクの下で露光動作および電荷読み出し動作の繰り返しをドライバ１８ｃに命令する。ドライバ１８ｃは、図示しないＳＧ(Signal Generator)から周期的に発生する垂直同期信号Ｖｓｙｎｃに応答して、撮像面を露光し、かつ撮像面で生成された電荷をラスタ走査態様で読み出す。イメージャ１６からは、読み出された電荷に基づく生画像データが周期的に出力される。
【００２６】
前処理回路２０は、イメージャ１６から出力された生画像データにディジタルクランプ，画素欠陥補正，ゲイン制御などの処理を施す。これらの処理を施された生画像データは、メモリ制御回路３０を通してＳＤＲＡＭ３２の生画像エリア３２ａに書き込まれる。
【００２７】
後処理回路３４は、生画像エリア３２ａに格納された生画像データをメモリ制御回路３０を通して読み出し、読み出された生画像データに色分離処理，白バランス調整処理およびＹＵＶ変換処理を施す。これによって生成されたＹＵＶ形式の画像データは、メモリ制御回路３０によってＳＤＲＡＭ３２のＹＵＶ画像エリア３２ｂに書き込まれる。
【００２８】
ＬＣＤドライバ３６は、ＹＵＶ画像エリア３２ｂに格納された画像データをメモリ制御回路３０を通して繰り返し読み出し、読み出された画像データに基づいてＬＣＤモニタ３８を駆動する。この結果、撮像面で捉えられたシーンを表す動画像がリアルタイムでモニタ画面に表示される。
【００２９】
図３を参照して、撮像面の中央には評価エリアＥＶＡが割り当てられる。評価エリアＥＶＡは水平方向および垂直方向の各々において１６分割され、２５６個の分割エリアが評価エリアＥＶＡを形成する。また、図２に示す前処理回路２０は、上述した処理に加えて、生画像データを簡易的にＲＧＢデータ(RGB: red, green & blue)に変換する簡易ＲＧＢ変換処理を実行する。
【００３０】
ＡＥ評価回路２２は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータを、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＥ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＥ評価回路２２から出力される。ＡＦ評価回路２４は、前処理回路２０によって生成されたＲＧＢデータのうち評価エリアＥＶＡに属するＲＧＢデータの高周波成分を、垂直同期信号Ｖｓｙｎｃが発生する毎に積分する。これによって、２５６個の積分値つまり２５６個のＡＦ評価値が、垂直同期信号Ｖｓｙｎｃに応答してＡＦ評価回路２４から出力される。
【００３１】
キー入力装置２８に設けられたシャッタボタン２８ｓｈが非操作状態にあるとき、ＣＰＵ２６は、ＡＥ評価回路２２から出力された２５６個のＡＥ評価値に基づいて簡易ＡＥ処理を実行し、適正ＥＶ値を算出する。算出された適正ＥＶ値を定義する絞り量および露光時間はドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが大まかに調整される。
【００３２】
シャッタボタン２８ｓｈが半押しされると、ＣＰＵ２６は、ＡＥ評価値を参照した厳格ＡＥ処理を実行し、最適ＥＶ値を算出する。算出された最適ＥＶ値を定義する絞り量および露光時間もまたドライバ１８ｂおよび１８ｃに設定され、これによってスルー画像の明るさが厳格に調整される。ＣＰＵ２６はまた、ＡＦ評価回路２４から出力された２５６個のＡＦ評価値に基づいてＡＦ処理を実行する。フォーカスレンズ１２は合焦点の探索のためにドライバ１８ａによって光軸方向に移動し、これによって発見された合焦点に配置される。この結果、スルー画像の鮮鋭度が向上する。
【００３３】
撮像モードは、モード切換えスイッチ２８ｍｄによって単写モードおよび連写モードの間で切り換えられる。また、連写モードについては、ベストショットセレクト機能のオン／オフが可能である。
【００３４】
単写モードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、静止画取り込み処理を１回だけ実行する。この結果、シャッタボタン２８ｓｈが全押しされた時点のシーンを表す１フレームの画像データが退避画像エリア３２ｃに退避される。静止画取り込み処理が完了すると、ＣＰＵ２６は、圧縮処理の実行をＪＰＥＧエンコーダ４０に命令し、記録処理の実行をメモリＩ／Ｆ４２に命令する。
【００３５】
ＪＰＥＧエンコーダ４０は、退避画像エリア３２ｃに退避された画像データをメモリ制御回路３０を通して読み出し、読み出された画像データをＪＰＥＧ方式で圧縮し、そして圧縮画像データつまりＪＰＥＧデータをメモリ制御回路３０を通してＳＤＲＡＭ３２の圧縮画像エリア３２ｄに書き込む。メモリＩ／Ｆ４２は、圧縮画像エリア３２ｄに格納されたＪＰＥＧデータをメモリ制御回路３０を通して読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４４に記録する。
【００３６】
連写モードが選択された状態でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、垂直同期信号Ｖｓｙｎｃが発生する毎に合計４回の静止画取り込み処理を実行し、さらに４回のＪＰＥＧ圧縮処理の実行をＪＰＥＧエンコーダ４０に命令する。
【００３７】
４回の静止画取り込み処理の結果、連続する４フレームの画像データが退避画像エリア３２ｃに退避される。ＪＰＥＧエンコーダ４０は、退避された４フレームの画像データをメモリ制御回路３０を通して読み出し、読み出された各フレームの画像データをＪＰＥＧ方式で圧縮し、そしてＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄに書き込む。圧縮画像エリア３２ｄには、合計４フレームのＪＰＥＧデータが格納される。
【００３８】
ベストショットセレクト機能がオフ状態にあるとき、ＣＰＵ２６は、圧縮画像エリア３２ｄに格納された４フレームのＪＰＥＧデータの全てに対する記録処理の実行をメモリＩ／Ｆ４２に命令する。これに対して、ベストショットセレクト機能がオン状態にあれば、ＣＰＵ２６は、圧縮画像エリア３２ｄに格納された４フレームの中から１フレームを選択し、選択されたフレームのＪＰＥＧデータに対する記録処理の実行をメモリＩ／Ｆ４２に命令する。メモリＩ／Ｆ４２は、選択されたフレームのＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄから読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４４に記録する。
【００３９】
ベストショットセレクト機能がオン状態にあるときは、以下の処理がＣＰＵ２６によって実行される。
【００４０】
まず、シャッタボタン２８ｓｈが全押しされた直後の撮像面の手ブレを判定するべく、ブレ判定処理が実行される。ブレ判定処理では、圧縮画像エリア３２ｄに格納された４フレームのＪＰＥＧデータにそれぞれ対応する４つのサイズ値の中から最大サイズ値が特定され、特定されたサイズ値のＪＰＥＧデータに対応する非圧縮の画像データが基準画像データとして指定される。指定された基準画像データのフレーム番号は変数Ｒに設定され、フラグＦＬＧ＿Ｒ＿ｂｌｕｒは“０”に設定され、そして基準画像データの安定度は“１００”に設定される。安定度“１００”は、第Ｒフレームに対応して図４に示すレジスタＲＧＳＴ１に登録される。
【００４１】
図５に示すように人物ＨＭ１，ビルＢＬ１および山ＭＴ１が現れたシーンが捉えられた状態でシャッタボタン２８ｓｈが全押しされ、これに起因して撮像面に手ブレが生じた場合、第１フレームの画像データは図６（Ａ）に示す要領で作成され、第２フレームの画像データは図６（Ｂ）に示す要領で作成され、第３フレームの画像データは図７（Ａ）に示す要領で作成され、そして第４フレームの画像データは図７（Ｂ）に示す要領で作成される。
【００４２】
こうして得られた４フレームの画像データの中では、第３フレームの画像データが手ブレが最も小さい画像データであり、第３フレームのＪＰＥＧデータのサイズ値が最大となる。したがって、この例では、第３フレームの画像データが基準画像データとして指定され、変数Ｒは“３”に設定される。さらに、フラグＦＬＧ＿３＿ｂｌｕｒが“０”に設定され、第３フレームの画像データの安定度が“１００”に設定される。
【００４３】
続いて、基準ブレ度（＝許容可能な最大のブレ度）を有するブレ画像データが、基準画像データに基づいて作成される。具体的には、基準画像データが水平方向，垂直方向および光軸回り方向に既定量だけシフトないし回転され、異なる位置ないし姿勢で定義された複数フレームの基準画像データが互いに合成される。ブレ画像データは、図７（Ａ）に示す画像データに基づいて、図８に示す要領で作成される。作成されたブレ画像データは、ＳＤＲＡＭ３２の退避画像エリア３２ｃに格納される。
【００４４】
ＣＰＵ２６は、こうして作成されたブレ画像データに対する圧縮処理の実行をＪＰＥＧエンコーダ４０に命令する。ＪＰＥＧエンコーダ４０は、ブレ画像データをメモリ制御回路３０を通して退避画像エリア３２ｃから読み出し、読み出されたブレ画像データをＪＰＥＧ方式で圧縮し、そしてブレ画像データに基づくＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄに書き込む。作成されたＪＰＥＧデータのサイズ値は、基準値ＢＬＵＲｓｚに設定される。
【００４５】
続いて、変数Ｋが“１”〜“４”（ただし、変数Ｒと同じ値は除く）に順に設定され、第ＫフレームのＪＰＥＧデータのサイズ値が基準値ＢＬＵＲｓｚと比較される。注目するサイズ値が基準値ＢＬＵＲｓｚ以上であれば、フラグＦＬＧ＿Ｋ＿ｂｌｕｒは“０”に設定される。一方、注目するサイズ値が基準値ＢＬＵＲｓｚを下回れば、フラグＦＬＧ＿Ｋ＿ｂｌｕｒは“１”に設定される。つまり、フラグＦＬＧ＿Ｋ＿ｂｌｕｒは、第Ｋフレームの画像データのブレ度が許容範囲から外れるとき“１”に設定され、第Ｋフレームの画像データのブレ度が許容範囲に収まるとき“０”に設定される。
【００４６】
図６（Ａ）〜図７（Ｂ）の例では、第１フレームのＪＰＥＧデータのサイズが基準値ＢＬＵＲｓｚを下回り、第２フレームおよび第４フレームのＪＰＥＧデータのサイズが基準値ＢＬＵＲｓｚ以上となる。したがって、フラグＦＬＧ＿１＿ｂｌｕｒは“１”に設定され、フラグＦＬＧ＿２＿ｂｌｕｒおよびＦＬＧ＿４＿ｂｌｕｒは“０”に設定される。
【００４７】
さらに、注目するサイズ値が基準値ＢＬＵＲｓｚ以上となるときは、第Ｋフレームの画像データのブレ度が数１に従って算出され、第Ｋフレームの画像データの安定度が数２に従って算出される。
［数１］
ブレ度＝（ＲＥＦｓｚ−Ｋｓｚ）／（ＲＥＦｓｚ−ＢＬＵＲｓｚ）
Ｋｓｚ：第ＫフレームのＪＰＥＧデータのサイズ値
ＲＥＦｓｚ：基準画像データに基づくＪＰＥＧデータのサイズ値
［数２］
安定度＝１−ブレ度
【００４８】
数１によれば、第ＫフレームのＪＰＥＧデータのサイズ値と基準画像データに基づくＪＰＥＧデータのサイズ値との差分が、基準画像データに基づくＪＰＥＧデータのサイズ値とブレ画像データに基づくＪＰＥＧデータのサイズ値との差分によって割り算される。これによって、第ＫフレームのＪＰＥＧデータのサイズ値と基準画像データに基づくＪＰＥＧデータのサイズ値との差分が正規化される。数２によれば、数１によって算出されたブレ度が“１”から減算される。数２に従って算出された安定度は、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録される。
【００４９】
ブレ判定処理が完了すると、変数Ｋが再度“１”〜“４”に設定され、フラグＦＬＧ＿Ｋ＿ｂｌｕｅの状態が判別される。
【００５０】
ＦＬＧ＿Ｋ＿ｂｌｕｅ＝１であれば、第Ｋフレームの画像データのブレ度が許容範囲から外れるとして、総合評価点が“０”に設定される。総合評価点“０”は、第Ｋフレームに対応してレジスタＲＧＳＴ１に記述する。上述の例では、図６（Ａ）に示す第１フレームの画像データに対応して、フラグＦＬＧ＿１＿ｂｌｕｅが“１”に設定される。したがって、第１フレームの総合評価点は“０”に設定される。
【００５１】
これに対して、ＦＬＧ＿Ｋ＿ｂｌｕｅ＝０であれば、退避画像エリア３２ｃに退避された第Ｋフレームの画像データに対して顔検出処理が実行される。顔検出処理では、フラッシュメモリ４６内の顔辞書ＤＣ＿Ｆに図９に示す要領で収められた３つの辞書画像のいずれか１つと符合する顔画像が、第Ｋフレームの画像データから探索される。探索処理によって１または２以上の顔画像が発見されると、発見された顔画像を囲う顔枠のサイズおよび位置が図１０に示すレジスタＲＧＳＴ２に登録される。レジスタＲＧＳＴ２には、発見された顔画像の数も登録される。
【００５２】
したがって、第２フレームの画像データについては図６（Ｂ）に“ＦＫ”で示す顔枠のサイズおよび位置が登録され、第３フレームの画像データについては図７（Ａ）に“ＦＫ”で示す顔枠のサイズおよび位置が登録され、そして第４フレームの画像データについては図７（Ｂ）に“ＦＫ”で示す顔枠のサイズおよび位置が登録される。なお、第２フレーム〜第４フレームのいずれにおいても、登録された顔画像数は“１”を示す。
【００５３】
レジスタＲＧＳＴ２に登録された顔画像の数が“１”以上であれば、レジスタＲＧＳＴ１に登録された顔枠に属する画像について笑顔度が算出される。また、レジスタＲＧＳＴ１に登録された顔枠に属する画像上で目が検出され、検出した目の開度が算出される。発見された顔画像の数が“２”以上であれば、算出される笑顔度は各顔画像の笑顔度の平均値に相当し、算出される開度は各顔画像に表れた目の開度の平均値に相当する。算出された笑顔度および目の開度はいずれも、“０”〜“１”の範囲に属する値を示す。一方、レジスタＲＧＳＴ２に登録された顔画像の数が“０”であれば、笑顔度および目の開度を“０”に設定する。こうして得られた笑顔度および目の開度は、第Ｋフレームに対応して図４に示すレジスタＲＧＳＴ１に登録される。
【００５４】
続いて、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録された安定度，笑顔度および目の開度が数３に適用され、これによって総合評価点が算出される。
［数３］
総合評価点＝安定度＊Ｗｓｔｂｌ＋笑顔度＊Ｗｓｍｌ＋目の開度＊Ｗｅｙｅ
ただし、Ｗｓｔｂｌ＞Ｗｓｍｌ＞Ｗｅｙｅ＞０
【００５５】
数３によれば、安定度が重み付け量Ｗｓｔｂｌによって掛け算され、笑顔度が重み付け量Ｗｓｍｌによって掛け算され、目の開度が重み付け量Ｗｅｙｅによって掛け算され、そしてこれらの掛け算値が互いに加算される。こうして算出された総合評価点もまた、第Ｋフレームに対応して図４に示すレジスタＲＧＳＴ１に記述される。
【００５６】
４つの総合評価点がレジスタＲＧＳＴ１に登録されると、これらの総合評価点の中から最高の総合評価点が検出され、検出された総合評価点に対応するフレームが選択される。上述の例では、第４フレームに対応する総合評価点が最大となり、第４フレームが選択される。ＣＰＵ２６は、選択されたフレームに対応するＪＰＥＧデータの記録をメモリＩ／Ｆ４２に命令する。メモリＩ／Ｆ４２は、指定フレームのＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄから読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４４に記録する。
【００５７】
ＣＰＵ２６は、図１１〜図１６に示す撮像タスクを含む複数のタスクをマルチタスクＯＳの制御の下で並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４６に記憶される。
【００５８】
図１１を参照して、ステップＳ１では動画取込み処理を実行する。この結果、シーンを表すスルー画像がＬＣＤモニタ３８に表示される。ステップＳ３ではシャッタボタン２８ｓｈが半押しされたか否かを判別し、判別結果がＮＯである限り、ステップＳ５で簡易ＡＥ処理を繰り返す。この結果、スルー画像の明るさが大まかに調整される。ステップＳ３の判別結果がＮＯからＹＥＳに更新されると、ステップＳ７で厳格ＡＥ処理を実行し、ステップＳ９でＡＦ処理を実行する。スルー画像の明るさは厳格ＡＥ処理によって厳格に調整され、スルー画像の鮮鋭度はＡＦ処理によって向上する。
【００５９】
ステップＳ１１ではシャッタボタン２８ｓｈが全押しされたか否かを判別し、ステップＳ１３ではシャッタボタン２８ｓｈの操作が解除されたか否かを判別する。ステップＳ１１３でＹＥＳであればそのままステップＳ３に戻り、ステップＳ１１でＹＥＳであればステップＳ１５〜Ｓ２３の処理を経てステップＳ３に戻る。
【００６０】
ステップＳ１５では、現時点の撮像モードが連写モードおよび単写モードのいずれであるかを判別する。現時点の撮像モードが単写モードであれば、ステップＳ１７で静止画取り込み処理を実行する。ステップＳ１９では圧縮処理の実行をＪＰＥＧエンコーダ４０に命令し、ステップＳ２１では記録処理の実行をメモリＩ／Ｆ４２に命令する。一方、現時点の撮像モードが連写モードであれば、ステップＳ２３で連写＆記録処理を実行する。ステップＳ２１またはＳ２３の処理が完了すると、ステップＳ３に戻る。
【００６１】
ステップＳ１７の静止画取り込み処理の結果、シャッタボタン２８ｓｈが全押しされた時点のシーンを表す１フレームの画像データがＹＵＶ画像エリア３２ｂから退避画像エリア３２ｃに退避される。また、ステップＳ１９の処理の結果、退避された画像データに基づくＪＰＥＧデータがＪＰＥＧエンコーダ４０によって作成される。さらに、ステップＳ２１の処理の結果、作成されたＪＰＥＧデータがファイル形式で記録媒体４４に記録する。
【００６２】
ステップＳ２３の連写＆記録処理は、図１２〜図１６に示すサブルーチンに従って実行される。
【００６３】
まず、ステップＳ３１でフレーム番号に相当する変数Ｋを“１”に設定する。ステップＳ３３では、上述したステップＳ１７と同様の静止画取り込み処理を垂直同期信号Ｖｓｙｎｃの発生を待って実行する。ステップＳ３５では圧縮処理の実行をＪＰＥＧエンコーダ４０に命令し、ステップＳ３７では変数Ｋをインクリメントする。ステップＳ３９ではインクリメントされた変数Ｋが“４”を上回るか否かを判別し、判別結果がＮＯであればステップＳ３３に戻る一方、判別結果がＹＥＳであればステップＳ４１以降の処理に進む。
【００６４】
したがって、ステップＳ３３の静止画取込処理およびステップＳ３５のＪＰＥＧ圧縮処理は垂直同期信号Ｖｓｙｎｃに応答して合計４回実行され、連続する４フレームの画像データが退避画像エリア３２ｃに退避されるとともに、これに基づく４フレームのＪＰＥＧデータが圧縮画像エリア３２ｄに格納される。
【００６５】
ステップＳ４１では、ベストショットセレクト機能がオン状態であるか否かを判別する。判別結果がＮＯであればステップＳ４３に進み、圧縮画像エリア３２ｄに格納された４フレームの画像データに対する記録処理の実行をメモリＩ／Ｆ４２に命令する。メモリＩ／Ｆ４２は、４フレームのＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄから読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４２に記録する。記録処理が完了すると、上階層のルーチンに復帰する。
【００６６】
ステップＳ４１の判別結果がＹＥＳであれば、ステップＳ４５でフラグＦＬＧ＿１＿ｂｌｕｒ〜ＦＬＧ＿４＿ｂｌｕｒを“０”に設定し、ステップＳ４７でブレ判定処理を実行する。フラグＦＬＧ＿Ｋ＿ｂｌｕｒ（Ｋ：１〜４）は、第Ｋフレームの画像データのブレ度が許容範囲に収まるとき“０”を維持し、第Ｋフレームの画像データのブレ度が許容範囲から外れるとき“１”に更新される。また、ＦＬＧ＿Ｋ＿ｂｌｕｒ＝０の画像データについては画像の安定度が算出され、算出された安定度は第Ｋフレームに対応してレジスタＲＧＳＴ１に登録される。
【００６７】
ステップＳ４９では変数Ｋを“１”に設定し、ステップＳ５１ではフラグＦＬＧ＿Ｋ＿ｂｌｕｅが“１”を示すか否かを判別する。判別結果がＹＥＳであればステップＳ５３に進み、総合評価点“０”を第Ｋフレームに対応してレジスタＲＧＳＴ１に記述する。記述が完了すると、ステップＳ６７に進む。
【００６８】
これに対して、ステップＳ５１の判別結果がＮＯであれば、第Ｋフレームの画像データに対する顔検出処理をステップＳ５５で実行する。この結果、顔辞書ＤＣ＿Ｆに収められたいずれかの辞書画像と符合する顔画像が第Ｋフレームの画像データから探索される。探索処理によって１または２以上の顔画像が発見されると、発見された顔画像を囲う顔枠のサイズおよび位置がレジスタＲＧＳＴ２に登録される。レジスタＲＧＳＴ２には、発見された顔画像の数も登録される。
【００６９】
ステップＳ５７では、レジスタＲＧＳＴ２に登録された顔画像の数が“０”であるか否かを判別する。判別結果がＮＯであればステップＳ５９〜Ｓ６１の処理を経てステップＳ６５に進み、判別結果がＹＥＳであればステップＳ６３の処理を経てステップＳ６５に進む。
【００７０】
ステップＳ５９では、レジスタＲＧＳＴ１に登録された顔枠に属する画像を参照して笑顔度を算出する。ステップＳ６１では、レジスタＲＧＳＴ１に登録された顔枠に属する画像上で目を検出し、検出した目の開度を算出する。発見された顔画像の数が“２”以上であれば、ステップＳ５９で算出される笑顔度は各顔画像の笑顔度の平均値に相当し、ステップＳ６１で算出される開度は各顔画像に表れた目の開度の平均値に相当する。ステップＳ６３では、笑顔度および目の開度を“０”に設定する。こうして得られた笑顔度および目の開度は、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録される。
【００７１】
ステップＳ６５では、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録された安定度，笑顔度および目の開度を数３に適用して、総合評価点を算出する。算出された総合評価点もまた、第Ｋフレームに対応してレジスタＲＧＳＴ１に記述される。記述が完了すると、ステップＳ６７に進む。
【００７２】
ステップＳ６７では変数Ｋが“４”に達したか否かを判別し、判別結果がＮＯであればステップＳ６９で変数ＫをインクリメントしてからステップＳ５１に戻る一方、判別結果がＹＥＳであればステップＳ７１に進む。ステップＳ７１では、レジスタＲＧＳＴ１に登録された４つの総合評価点の中から最高の総合評価点を検出し、検出された総合評価点に対応するフレームを選択する。
【００７３】
ステップＳ７３では、選択されたフレームに対応するＪＰＥＧデータの記録をメモリＩ／Ｆ４２に命令する。メモリＩ／Ｆ４２は、指定フレームのＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄから読み出し、読み出されたＪＰＥＧデータをファイル形式で記録媒体４４に記録する。ステップＳ７３の処理が完了すると、上階層のルーチンに復帰する。
【００７４】
図１２に示すステップＳ４７のブレ判定処理は、図１５〜図１６に示すサブルーチンに従って実行される。まず、ステップＳ８１で各フレームのＪＰＥＧデータのサイズ値を検出する。ステップＳ８３では、検出された４つのサイズ値の中から最大サイズ値を特定し、かつ特定されたサイズ値のＪＰＥＧデータに対応する非圧縮の画像データを基準画像データとして指定する。
【００７５】
ステップＳ８５では指定された基準画像データのフレーム番号を変数Ｒに設定し、ステップＳ８７ではフラグＦＬＧ＿Ｒ＿ｂｌｕｒを“０”に設定し、そしてステップＳ８９では基準画像データの安定度を“１００”に設定する。安定度“１００”は、第Ｒフレームに対応してレジスタＲＧＳＴ１に登録される。ステップＳ９１では、基準ブレ度（＝許容可能な最大のブレ度）を有するブレ画像データを基準画像データに基づいて作成する。作成されたブレ画像データは、ＳＤＲＡＭ３２の退避画像エリア３２ｃに格納される。
【００７６】
ステップＳ９３では、作成されたブレ画像データに対する圧縮処理の実行をＪＰＥＧエンコーダ４０に命令する。ＪＰＥＧエンコーダ４０は、ブレ画像データをメモリ制御回路３０を通して退避画像エリア３２ｃから読み出し、読み出されたブレ画像データをＪＰＥＧ方式で圧縮し、そして圧縮画像データつまりＪＰＥＧデータをメモリ制御回路３０を通して圧縮画像エリア３２ｄに書き込む。ステップＳ９５では、ステップＳ９３で作成されたＪＰＥＧデータのサイズ値を基準値ＢＬＵＲｓｚに設定する。
【００７７】
ステップＳ９７では変数Ｋを“１”に設定し、ステップＳ９９では変数Ｋが変数Ｒと一致するか否かを判別する。判別結果がＹＥＳであればそのままステップＳ１０９に進み、判別結果がＮＯであればステップＳ１０１〜Ｓ１０７の処理を経てステップＳ１０９に進む。
【００７８】
ステップＳ１０１では第ＫフレームのＪＰＥＧデータのサイズ値が基準値ＢＬＵＲｓｚを下回るか否かを判別する。判別結果がＮＯであれば、ステップＳ１０７でフラグＦＬＧ＿Ｋ＿ｂｌｕｒを“１”に設定する。判別結果がＹＥＳであれば、ステップＳ１０３で第Ｋフレームの画像データのブレ度を算出し、ステップＳ１０５で第Ｋフレームの画像データの安定度を算出する。ブレ度は数１に従って算出され、安定度は数２に従って算出される。数２に従って算出された安定度は、第Ｋフレームに対応してレジスタＲＧＳＴ１に登録される。
【００７９】
ステップＳ１０９では変数Ｋが“４”に達したか否かを判別し、判別結果がＮＯであればステップＳ１１１で変数ＫをインクリメントしてからステップＳ９９に戻る一方、判別結果がＹＥＳであれば上階層のルーチンに復帰する。
【００８０】
以上の説明から分かるように、連写モードの下でシャッタボタン２８ｓｈが全押しされると、ＣＰＵ２６は、共通の被写体を捉えた連続４フレームの画像データをＳＤＲＡＭ３２の退避画像エリア３２ｃに取り込む(S31~S33, S37~S39)。取り込まれた各フレームの画像データは、ＪＰＥＧエンコーダ４０によって圧縮処理を施される。ＣＰＵ２６は、各フレームのＪＰＥＧデータのサイズ値を高周波画像成分の量に相関するパラメータ値として検出し(S81)、こうして検出された４つのサイズ値の中から最大サイズ値を選択し(S83)、そして選択された最大サイズ値と残りの３つのサイズ値の各々との差分を正規化する(S91~S99, S103, S109~S111)。
【００８１】
ＪＰＥＧデータのサイズ値は、被写体の属性に起因して変動し、さらに画像取得時の撮像面のブレに起因して変動する。ただし、被写体の属性に起因する変動は、共通の被写体を捉える複数の画像を取得し、各画像に対応するＪＰＥＧデータのサイズ値を正規化することで排除される。
【００８２】
これを踏まえて、この実施例では、共通の被写体を表す４フレームのＪＰＥＧデータにそれぞれ対応する４つのサイズ値の中から最大サイズ値が選択され、選択された最大サイズ値と残りの３つのサイズ値の各々との差分が正規化される。これによって、共通の被写体を捉えた複数の画像のブレの検知性能が向上する。
【００８３】
なお、この実施例では、総合評価点が最高のフレームのＪＰＥＧデータを記録するようにしているが（図１４のステップＳ７１〜Ｓ７３参照）、総合評価点が基準点を上回る限り、２以上のフレームのＪＰＥＧデータを記録するようにしてもよい。
【００８４】
また、この実施例では、マルチタスクＯＳおよびこれによって実行される複数のタスクに相当する制御プログラムは、フラッシュメモリ４６に予め記憶される。しかし、図１７に示すように通信Ｉ／Ｆ４８をディジタルカメラ１０に設け、一部の制御プログラムを内部制御プログラムとしてフラッシュメモリ４６に当初から準備する一方、他の一部の制御プログラムを外部制御プログラムとして外部サーバから取得するようにしてもよい。この場合、上述の動作は、内部制御プログラムおよび外部制御プログラムの協働によって実現される。
【００８５】
また、この実施例では、ＣＰＵ２６によって実行される処理を上述の要領で複数のタスクに区分するようにしている。しかし、各々のタスクをさらに複数の小タスクに区分してもよく、さらには区分された複数の小タスクの一部を他のタスクに統合するようにしてもよい。また、各々のタスクを複数の小タスクに区分する場合、その全部または一部を外部サーバから取得するようにしてもよい。
【符号の説明】
【００８６】
１０ …ディジタルカメラ
１６ …イメージャ
２２ …ＡＥ評価回路
２４ …ＡＦ評価回路
２６ …ＣＰＵ
３２ …ＳＤＲＡＭ
４０ …ＪＰＥＧエンコーダ
４６ …フラッシュメモリ
【特許請求の範囲】
【請求項１】
共通の被写体を捉えた画像を繰り返し取得する取得手段、
高周波画像成分の量に相関するパラメータ値を前記取得手段によって取得された複数の画像の各々に対応して検出する検出手段、
前記検出手段によって検出された複数のパラメータ値のいずれか１つを選択する選択手段、および
前記選択手段によって選択されたパラメータ値と前記選択手段の選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化手段を備える、画像処理装置。
【請求項２】
前記選択手段によって選択されるパラメータ値は前記高周波画像成分の量が最大の画像に対応する、請求項１記載の画像処理装置。
【請求項３】
前記正規化手段は、前記選択手段によって選択されたパラメータ値に対応する画像に基づいて基準ぶれ量を有する基準ぶれ画像を作成する作成手段、前記作成手段によって作成された基準ぶれ画像の高周波画像成分に相関するパラメータ値を基準パラメータ値として検出する基準パラメータ値検出手段、および前記基準パラメータ値検出手段によって検出された基準パラメータ値を参照して正規化処理を実行する正規化処理手段を含む、請求項１または２記載の画像処理装置。
【請求項４】
前記取得手段によって取得された複数の画像を個別に符号化する符号化手段をさらに備え、
前記検出手段によって検出されるパラメータ値は前記符号化手段によって符号化された画像のサイズに相当する、請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記取得手段によって取得された複数の画像の一部を前記正規化手段によって算出された正規化差分に基づいて抽出する抽出手段をさらに備える、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記抽出手段は、前記取得手段によって取得された画像から特定物体像を探索する探索手段、前記探索手段の探索結果と前記正規化手段によって算出された正規化差分とに基づく既定の演算処理を実行する演算手段、および前記演算手段の演算結果を参照して抽出処理を実行する抽出処理手段を含む、請求項５記載の画像処理装置。
【請求項７】
画像処理装置のプロセッサに、
共通の被写体を捉えた画像を繰り返し取得する取得ステップ、
高周波画像成分の量に相関するパラメータ値を前記取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ、
前記検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ、および
前記選択ステップによって選択されたパラメータ値と前記選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップを実行させるための、画像処理プログラム。
【請求項８】
画像処理装置によって実行される画像処理方法であって、
共通の被写体を捉えた画像を繰り返し取得する取得ステップ、
高周波画像成分の量に相関するパラメータ値を前記取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ、
前記検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ、および
前記選択ステップによって選択されたパラメータ値と前記選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップを備える、画像処理方法。
【請求項９】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
共通の被写体を捉えた画像を繰り返し取得する取得ステップ、
高周波画像成分の量に相関するパラメータ値を前記取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ、
前記検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ、および
前記選択ステップによって選択されたパラメータ値と前記選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１０】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
共通の被写体を捉えた画像を繰り返し取得する取得ステップ、
高周波画像成分の量に相関するパラメータ値を前記取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ、
前記検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ、および
前記選択ステップによって選択されたパラメータ値と前記選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【請求項１】
共通の被写体を捉えた画像を繰り返し取得する取得手段、
高周波画像成分の量に相関するパラメータ値を前記取得手段によって取得された複数の画像の各々に対応して検出する検出手段、
前記検出手段によって検出された複数のパラメータ値のいずれか１つを選択する選択手段、および
前記選択手段によって選択されたパラメータ値と前記選択手段の選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化手段を備える、画像処理装置。
【請求項２】
前記選択手段によって選択されるパラメータ値は前記高周波画像成分の量が最大の画像に対応する、請求項１記載の画像処理装置。
【請求項３】
前記正規化手段は、前記選択手段によって選択されたパラメータ値に対応する画像に基づいて基準ぶれ量を有する基準ぶれ画像を作成する作成手段、前記作成手段によって作成された基準ぶれ画像の高周波画像成分に相関するパラメータ値を基準パラメータ値として検出する基準パラメータ値検出手段、および前記基準パラメータ値検出手段によって検出された基準パラメータ値を参照して正規化処理を実行する正規化処理手段を含む、請求項１または２記載の画像処理装置。
【請求項４】
前記取得手段によって取得された複数の画像を個別に符号化する符号化手段をさらに備え、
前記検出手段によって検出されるパラメータ値は前記符号化手段によって符号化された画像のサイズに相当する、請求項１ないし３のいずれかに記載の画像処理装置。
【請求項５】
前記取得手段によって取得された複数の画像の一部を前記正規化手段によって算出された正規化差分に基づいて抽出する抽出手段をさらに備える、請求項１ないし４のいずれかに記載の画像処理装置。
【請求項６】
前記抽出手段は、前記取得手段によって取得された画像から特定物体像を探索する探索手段、前記探索手段の探索結果と前記正規化手段によって算出された正規化差分とに基づく既定の演算処理を実行する演算手段、および前記演算手段の演算結果を参照して抽出処理を実行する抽出処理手段を含む、請求項５記載の画像処理装置。
【請求項７】
画像処理装置のプロセッサに、
共通の被写体を捉えた画像を繰り返し取得する取得ステップ、
高周波画像成分の量に相関するパラメータ値を前記取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ、
前記検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ、および
前記選択ステップによって選択されたパラメータ値と前記選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップを実行させるための、画像処理プログラム。
【請求項８】
画像処理装置によって実行される画像処理方法であって、
共通の被写体を捉えた画像を繰り返し取得する取得ステップ、
高周波画像成分の量に相関するパラメータ値を前記取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ、
前記検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ、および
前記選択ステップによって選択されたパラメータ値と前記選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップを備える、画像処理方法。
【請求項９】
メモリに保存された内部制御プログラムに従う処理を実行するプロセッサを備える画像処理装置に供給される外部制御プログラムであって、
共通の被写体を捉えた画像を繰り返し取得する取得ステップ、
高周波画像成分の量に相関するパラメータ値を前記取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ、
前記検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ、および
前記選択ステップによって選択されたパラメータ値と前記選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップを前記内部制御プログラムと協働して前記プロセッサに実行させるための、外部制御プログラム。
【請求項１０】
外部制御プログラムを取り込む取り込み手段、および
前記取り込み手段によって取り込まれた外部制御プログラムとメモリに保存された内部制御プログラムとに従う処理を実行するプロセッサを備える画像処理装置であって、
前記外部制御プログラムは、
共通の被写体を捉えた画像を繰り返し取得する取得ステップ、
高周波画像成分の量に相関するパラメータ値を前記取得ステップによって取得された複数の画像の各々に対応して検出する検出ステップ、
前記検出ステップによって検出された複数のパラメータ値のいずれか１つを選択する選択ステップ、および
前記選択ステップによって選択されたパラメータ値と前記選択ステップの選択の後に残った１または２以上のパラメータ値の各々との差分を正規化する正規化ステップを前記内部制御プログラムと協働して実行するプログラムに相当する、画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１２−２１７１０６（Ｐ２０１２−２１７１０６Ａ）
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願番号】特願２０１１−８２２１０（Ｐ２０１１−８２２１０）
【出願日】平成２３年４月１日（２０１１．４．１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
【公開日】平成２４年１１月８日（２０１２．１１．８）
【国際特許分類】
【出願日】平成２３年４月１日（２０１１．４．１）
【出願人】（０００００１８８９）三洋電機株式会社 (18,308)
【Ｆターム（参考）】
[ Back to top ]