撮像装置及び撮像方法
【課題】複雑な操作を必要とせずに、操作者の意図通りに領域を指定する。
【解決手段】
動画像中の画像から顔の大きさ及び位置を検出し、前記動画像の表示部に対向して設けられたタッチパネルへの押下位置、顔の位置と大きさ、及び顔の器官位置と大きさとから、押下位置で選択する画像が顔か顔の器官かを判断する。
【解決手段】
動画像中の画像から顔の大きさ及び位置を検出し、前記動画像の表示部に対向して設けられたタッチパネルへの押下位置、顔の位置と大きさ、及び顔の器官位置と大きさとから、押下位置で選択する画像が顔か顔の器官かを判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面上に表示された画像の一部の領域を指定する際に、簡単且つ意図通りに領域を指定することのできる技術に関する。
【背景技術】
【０００２】
被写体が表示された画面上に備えられたタッチパネルに、操作者がタッチした位置を中心として画面に表示された画像データ上に追尾領域を設定する技術が特許文献１に記載されている。この特許文献１は、モードに応じて、タッチ指定された領域を追尾やフォーカス領域として設定する。この特許文献１では、タッチ指定された領域を認識し、追尾やフォーカスといった撮影機能と関連付けを行っている。
また、フォーカス領域を自動で設定する技術が、例えば特許文献２に記載されている。この特許文献２は、顔部の大きさからフォーカス領域の大きさを切り換えて設定する。また、顔検出した結果、顔がひとつだけであった場合に、更に目鼻口耳を検出したかどうかに応じて、フォーカス領域を顔の中心位置かまたは目の位置に自動で設定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０３０００８号公報
【特許文献２】特開２０１０−０９２０６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のように操作者がタッチパネル上で画像の一部を指定する場合に、操作者の意図通りに指定できない場合がある。例えば、携帯機器のように表示画面が小さいと、操作者がパネル上の位置を正確に指定したつもりでもタッチした位置がずれてしまったり、意図したものと異なる領域を誤って判断されてしまう場合があった。また、操作者の意図通りに指定するためにモードを予め設定したりすると、余計な操作が必要となり、操作性を低下してしまう。
【０００５】
本発明の目的は、複雑な操作を必要とせずに、操作者の意図通りに領域を指定することのできる撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、撮像して得た動画像の表示部及びこの表示部に対向して設けられたタッチパネルを有し、上記動画像中の画像から顔の大きさ及び位置を検出する顔検出部と、上記顔検出部で検出された顔を構成する器官の大きさ及び位置を検出する顔・器官検出部と、上記タッチパネルの操作位置、上記検出された顔の大きさと位置、及び上記検出された器官の大きさと位置とから、上記操作位置で選択する画像が顔か器官かを少なくとも判断する指定画像判定部と、を有する。
【０００７】
本発明の撮像方法は、撮像して得た動画像の表示部及びこの表示部に対向して設けられたタッチパネルを有する撮像装置の撮像方法であって、上記動画像中の画像から顔の有無を検出し、上記顔が検出された場合には、更に顔を構成する器官の大きさ及び位置を検出し、上記タッチパネルの操作位置、顔の表示位置と大きさ、及び器官位置と大きさとから、操作位置で選択する画像が顔か器官かを少なくとも判断する。
【発明の効果】
【０００８】
本発明によれば、複雑な操作を必要とせずに、操作者の意図通りに領域を指定することのできる撮像装置及び撮像方法を提供できる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る撮像装置の一実施の構成図
【図２】同装置における顔・器官検出部の構成図
【図３】同装置における指定位置判定部の構成図
【図４】同装置の背面図
【図５】同装置における静止画撮影フローチャート
【図６】同装置における被写体判断処理フローチャート
【図７】同装置における指示位置の表示例（１）
【図８】同装置における指示位置の表示例（２）
【図９】同装置における指示位置の表示例（３）
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下、本発明の一実施の形態について図面を参照して説明する。
図１は撮像装置の構成図を示す。撮像装置の装置本体１は、撮像光学系を構成するレンズ系２と、絞り３と、メカシャッター４と、撮像素子５とが設けられている。絞り３及びメカシャッター４は、それぞれ駆動部６の駆動によって動作する。レンズ系２は、フォーカスレンズ系、ズームレンズ系を含み、被写体７からの光学像を絞り３、メカシャッター４を
通して撮像素子５に集光する。この撮像素子５は、レンズ２からの被写体７の像を光電変換し、アナログの画像信号として出力する。この撮像素子５は、例えばＣＣＤやＣＭＯＳセンサ等が用いられる。この撮像素子５の出力端子には、アナログ増幅器（Ａ−ＡＭＰ）８を介してアナログ／デジタル変換器（ＡＤＣ）９が接続されている。Ａ−ＡＭＰ８は、撮像素子５から出力されたアナログ画像信号を増幅し、ＡＤＣ９は、Ａ−ＡＭＰ８により増幅されたアナログ画像信号をデジタル画像信号に変換する。
【００１１】
装置本体１内には、ＣＰＵ１０が搭載され、このＣＰＵ１０にバス１１を介してＡＤＣ９と、ＤＲＡＭ１２と、ＲＯＭ１３と、フラッシュ（ＦＬＡＳＨ）メモリ１４と、画像処理部１５と、ビデオエンコーダ１６とが接続されている。又、ＣＰＵ１０には、操作部１７が接続されている。上記ビデオエンコーダ１６には、ディスプレイ１８として例えば内蔵の液晶ディスプレイ（ＬＣＤ）に接続されている。
【００１２】
上記ＤＲＡＭ１２には、ＡＤＣ９から出力されるデジタル画像信号を一旦保存したり、画像処理部１５によりデジタル画像信号に対ライブビュー画像処理を行って取得された撮像時刻の異なる連続した複数の画像データ等を保存する。
上記ＲＯＭ１３には、ＣＰＵ１０の撮像制御プログラム及び本装置の特徴である画像処理プログラムなどが保存されている。撮像制御プログラムは、ＣＰＵ１０に、撮像素子５から出力されたアナログ画像信号をＡ／Ｄ変換したデジタル画像信号を画像処理し、被写体７の動画をライブビュー画像としてディスプレイ１８に表示させ、撮影時に静止画又は動画の画像データを取得してその静止画又は動画をディスプレイ１８に表示させると共に、この静止画又は動画をＦＬＡＳＨメモリ１４等に記録させる等の装置本体１内の撮影全般の制御を行う。
【００１３】
上記画像処理プログラムは、顔・器官検出部２０に、撮像時刻の異なる連続した複数の画像データのそれぞれから被写体７の顔部に対応する第１の画像領域を検出させる顔検出機能と、第１の画像領域から顔部内の少なくとも１つの器官に対応する第２の画像領域を検出させる器官検出機能と、複数の画像データ上での顔部の移動位置に倣って少なくとも１つの器官の画像データ上での画像位置を補正させる顔部補正機能とを実現させる。
この画像処理プログラムのうち顔検出機能は、複数の画像データから顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化又は上下左右方向に対する傾きの変化のうち少なくとも１つに関する情報を検出させる。
上記顔部補正機能は、被写体７の顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化、又は上下左右方向に対する傾きの変化のうちいずれか１つに関する情報に基づいて少なくとも１つの器官として眼部、口部又は鼻部の少なくとも座標位置を補正させる。
【００１４】
上記ＦＬＡＳＨメモリ１４は、画像処理部１５にて処理された静止画の画像データ及び動画の画像データをインターフェース部４０を介して記録用として保存する。このＦＬＡＳＨメモリ１４は、例えば装置本体１に対して外付けのメモリカード、または撮像装置内に設けられた内蔵メモリ等である。
上記操作部１７は、撮影者が操作する撮影または再生に関わる操作スイッチが接続され、これら操作スイッチの操作を検出する。具体的には、カメラの撮影モードを切り替える切り替えスイッチや、レリーズボタンの操作によって動作するレリーズスイッチなどを含む。またレリーズスイッチは、一般的な２段階スイッチになっている。つまり、レリーズスイッチは、半押されることで、第１レリーズスイッチがオンして焦点検出や測光を行い、フォーカスレンズの駆動により合焦状態になる。更に、レリーズボタンは、全押しされることで、第２レリーズスイッチがオンして露光が行われる。
【００１５】
上記画像処理部１５は、撮像素子５から出力されてＡ／Ｄ変換されたデジタル画像信号を画像処理する。画像処理された画像データは、ビデオエンコーダ１６を通して被写体７の動画をライブビュー画像としてディスプレイ１８に表示される。
この画像処理部１５は、ＡＤＣ９から出力されるデジタル画像信号に対してライブビュー画像処理を行って撮像時刻の異なる連続した複数の画像データを生成する。
タッチ入力部１９は、上記ディスプレイ１８上に設けられたタッチパネルからなり、ディスプレイ１８に表示された画像に対応した位置へのタッチ操作に応じた位置または動作を検出する。
指定位置判定部３０は、検出されたタッチ位置またはタッチ動作、及びディスプレイ１８の表示内容に基づいて、操作で指定された位置や動作を決定する。
【００１６】
図２は上記顔・器官検出部２０のブロック構成図を示す。この顔・器官検出部２０は、顔検出部２００と、器官検出部２１０と、顔部補正部２２０とを有する。各々は、内部バス２３に接続されている。
上記顔検出部２００は、ＤＲＡＭ１２に保存されている撮像時刻の異なる連続した複数の画像データのそれぞれから被写体７における顔の有無と、顔部に対応する第１の画像領域を検出する。具体的には、複数の画像データから顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化又は上下左右方向に対する傾きの変化のうち少なくとも１つに関する情報を検出する。
上記器官検出部２１０は、顔検出部２００により検出される第１の画像領域から顔部内の少なくとも１つの器官、例えば眼部、口部又は鼻部に対応する第２の画像領域を検出する。
これら顔検出部２００と器官検出部２１０とは、互いに非同期で動作する。
上記顔部補正部２２０は、顔検出部２００により検出された複数の画像データ上での顔部の移動位置に追従して器官検出部により検出される少なくとも１つの器官、例えば眼部、口部又は鼻部の画像データ上での画像位置を補正するもので、補正量算出部２２１と、器官情報補正部２２２とを有する。
このうち補正量算出部２２１は、顔検出部２００により検出される複数の画像データ毎に顔部の座標位置を検出して当該複数の画像データ上での顔部の移動位置を追従してこれら画像データ上での顔部の移動量を算出し、この顔部の移動量を座標位置に対する補正量とする。
【００１７】
具体的に、上記補正量算出部２２１は、顔検出部２００により検出される被写体としての人物の顔部の大きさの変化、水平方向への移動量、垂直方向への移動量、回転変化量、又は上下左右方向に対する傾きの変化量のうち少なくとも１つに関する量を複数の画像データ間の画像位置変化から算出し、これらの量をそれぞれ人物の顔部の大きさの変化の補正量、水平方向への移動の補正量、垂直方向への移動の補正量、回転変化の補正量、又は上下左右方向に対する傾きの変化の補正量の各情報として算出する。
【００１８】
上記器官情報補正部２２２は、補正量算出部２２１により算出された人物の顔部の大きさの変化の補正量、水平方向への移動の補正量、垂直方向への移動の補正量、回転変化の補正量、又は上下左右方向に対する傾きの変化の補正量のうち少なくとも１つの補正量を受け取り、当該補正量を用いて器官検出部２１０により検出される少なくとも１つの器官、例えば眼部、口部又は鼻部の画像データ上での位置を補正する。
又、器官情報補正部２２２は、補正量算出部２２１により算出された上記少なくとも１つの補正量を受け取り、当該補正量を用いて器官検出部２１０により検出される少なくとも１つの器官、例えば眼部、口部又は鼻部の画像データ上での大きさを補正する。
又、器官情報補正部２２２は、補正量算出部２２１により算出された人物の顔部の回転変化の補正量に基づいて器官検出部２１０により検出される眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置を補正する。
又、器官情報補正部２２２は、補正量算出部２２１により算出された被写体７の顔部の上下左右方向に対する傾きの変化を検出すると、顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化を用いた補正を実施しない。
【００１９】
画像処理部１５は、顔部補正部２２０により補正した眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置に基づいて、顔部、又は眼部、口部又は鼻部等の器官に対して画像処理、例えば眼部のコントラストを変更したり、フィルタ処理などの画像処理を行う。
又、ＣＰＵ１０は、顔部補正部２２０により補正した眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置に基づいて被写体として人物を特定するための認証処理を行う。この認証処理では、予めＲＯＭ１３に保存された複数の人物の顔部の参照画像データと、顔部補正部２２０により補正した眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置と参照画像データの眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置とを対比して人物を特定するための認証処理を行う。
又、ＣＰＵ１０は、顔部補正部２２０により補正した少なくとも画像位置を含む画像データ上において焦点検出領域を決定し、当該焦点検出領域の画像データに基づいて焦点調節を行う機能を有する。
【００２０】
図３は指定位置判定部３０のブロック構成図を示す。この指定位置判定部３０は、指定された対象とする顔／器官を判定する対象判定部３００と、タッチパネル入力部１９の操作により指定された位置の被写体を判定する被写体判定部３１０とを有する。この対象判定部３００と被写体判定部３１０とは、バス１１に接続されている。
上記対象判定部３００は、顔・器官検出部２０にて検出された顔／眼部の情報を受け取り、検出された顔または眼のうち対象となる顔または眼が何れであるかを判定する。
上記被写体判定部３１０は、タッチ入力部１９で入力された位置または動作から、指定された被写体が、人物の顔付近であるか否かを判定する。そして、対象判定部３００の判定結果を受けてタッチ入力部１９の操作によって指定された画面上の被写体を推定し、表示画像に対応させて指定位置を決定する。
【００２１】
図４は、デジタルカメラの背面に設けられたディスプレイ１８と、このディスプレイ１８に対向させて設けられたタッチパネル、及び、操作部１７の各種操作部材の配置を示す。
ディスプレイ１８において、表示部４−１は、画像、撮影情報等を表示する。この表示部４−１上に、タッチパネル入力に感応する領域４−２が設けられている。ＡＦエリア分割部４−３は、タッチパネル領域４−２のうちの一部の領域に対して設けられる。なお、ＡＦエリア分割部４−３は、分割領域毎に合焦度合いを検出することが可能であり、通常は分割領域の表示はされない。
撮影時にＡＦが行われた場合には、ＡＦエリア分割部４−３の分割された領域のうち、撮影シーンに応じて合焦領域が決定され、表示部４−１上に合焦領域４−４として枠表示される。また、撮影画像フレーム内に顔が存在する場合は、顔検出領域４−５が表示部４−１上に枠表示され撮影者に告知される。その他、操作部１７の操作部材として、電源のＯＮ／ＯＦＦスイッチ４−７、レリーズボタン４−６が撮像装置１の上面に配置され、ズームスイッチ、メニューボタン、選択操作キー等からなる操作部４−８が撮像装置１の背面に配置される。
【００２２】
次に、上記の如く構成された撮像装置の動作について図５に示す撮像制御フローチャートに従って説明する。
ＣＰＵ１０は、ステップＳ１において、ライブビュー画像をディスプレイ１８に表示する命令を発すると、撮像素子５は、レンズ２からの被写体７の像を光電変換し、アナログ画像信号として出力する。撮像素子５から出力されたアナログ画像信号は、Ａ−ＡＭＰ８により増幅され、ＡＤＣ９によりデジタル画像信号に変換される。画像処理部１５は、ＡＤＣ９からのデジタル画像信号をバス１１を通して入力し、このデジタル画像信号を画像処理し、被写体７のライブビュー画像としてディスプレイ１８に表示する。
このとき、ＤＲＡＭ１２には、ＡＤＣ９から出力されるデジタル画像信号が一旦保存されたり、画像処理部１５によりデジタル画像信号に対ライブビュー画像処理を行って取得された撮像時刻の異なる連続した複数の画像データが保存される。
【００２３】
ＣＰＵ１０は、ステップＳ２において、顔検出部２００に対して顔検出の命令を発する。この顔検出部２００は、ＤＲＡＭ１２に保存されている撮像時刻の異なる連続した複数の画像データのそれぞれから被写体７の顔部に対応する第１の画像領域を検出する。この場合、顔検出部２００は、複数の画像データから顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化又は上下左右方向に対する傾きの変化のうち、少なくとも１つに関する情報を検出する。
【００２４】
画像データにおける顔部の検出処理は、画像データの液晶ディスプレイへの表示終了直後から開始し、次のフレーム画像データの液晶ディスプレイへの表示終了の前に完了する。この画像データにおける顔部の検出処理により顔部の位置座標が検出される。そして、この画像データの顔部の検出処理の結果は、さらに次の画像データに顔部検出領域として表示することが出来る。
顔の検出は、顔の特徴を一般化かしたモデルパターンと画像内の領域毎のデータとを比較し、類似度の高い領域が存在するか否かを検出する。このとき、取得した画像について複数の大きさのモデルパターンを作成して類似度のマッチングを行うことで、想定する範囲の顔の大きさに対応したマッチングを行う。その結果から、顔の有無、位置、及び大きさを検出する。
ここで、顔部の移動量は、顔検出部２００により検出される複数の画像データ毎に顔部の座標位置を検出し、これら座標位置の差分から顔部の移動量を算出する。
【００２５】
再び図５に戻り、ステップＳ３において、ステップＳ２における顔検出結果を基に、顔が検出されたと判定した場合はステップＳ４に移る。ステップＳ４では、ステップＳ２においてマッチングを行った領域と座標から得た類似度の高い領域を基いて、検出された顔の表示画面上での座標位置を設定する。
続いてステップＳ５に移り、ステップＳ４で設定した表示画面上の座標位置に顔枠を描画する。その後、ステップＳ６にて検出された顔領域から、眼を少なくとも含む顔の部位、即ち器官を検出する。
ステップＳ７において、顔検出部２００により検出された画像領域から顔部内の少なくとも１つの器官、例えば眼部、口部又は鼻部に対応する画像領域を器官検出部２１０で検出する。この器官の検出は、顔部の検出結果から得られた顔部の位置座標に基づいて行われる。例えば、画像データの眼部等の器官の検出処理は、検出された顔部の位置座標に基づいて顔部内の眼部、鼻部、口部等の各特徴部の大きさ、形状、コントラスト、エッジ情報を画像データから検出する。そして、この検出結果から器官座標位置を取得する。
【００２６】
ステップＳ７の後、または、ステップＳ３において顔が検出されなかったと判定された場合はステップＳ８へ移り、タッチ入力部１９に入力操作（押下）がされたかどうかを調べる。ここで、押下がされていないと判断したときは、ステップＳ２に戻る。一方、押下がされたと判断したときは、ステップＳ９に移り、操作者が選択しようとした被写体を判断する処理を行う。この被写体判断処理の詳細については後述するが、この処理によってタッチ入力部１９を押下した位置とその近傍に表示された画像の特徴を基に、操作者の指定したい画像対象がどの画像部位なのかを判断する。そして、判断した画像部位に対応した領域をステップS１０でＡＦ合焦領域として決定する。そして、ステップＳ１１でこのＡＦ合焦領域内の被写体に合焦させるように駆動部６によってレンズ系２のフォーカスレンズを合焦点へ駆動し、ステップＳ１２において静止画撮影処理を行い、撮影して得られた画像データをＦＬＡＳＨ１４に記録する。
【００２７】
図６は、図５における被写体判断処理のフローチャートを示す。まず、ステップＴ１において、ディスプレイ１８の画像表示パネルの縦幅を取得する。この縦幅の値は、ＲＯＭ１３に予め記憶されている。次に、ステップＴ２において、ディスプレイ１８の表示画像ピクセルに換算した平均的な指の大きさをＲＯＭ１３から読み出し、更にステップＴ３においてこの指の大きさの場合において押下位置であると見なせる許容オフセット量をＲＯＭ１３から読み出す。例えば、上記した平均的な指の大きさの１／２となる値をこの指の大きさの場合における許容オフセット量とする。
【００２８】
次に、ステップＴ４において、指とディスプレイ１８に表示される顔または眼の大きさとの関係から、上記のオフセットが必要となる顔または眼の大きさを算出する。例えば、顔または眼の大きさが平均的な指の大きさの１．２倍以下となる大きさをオフセットが必要となる大きさとする。
ステップＴ５において、図４のステップＳ７にて検出された顔の大きさを読み込み、続いてステップＴ６で検出された眼部の瞳の大きさを読み込む。ここで、顔の大きさ、眼部の瞳の大きさは未図示の一次記憶メモリに記憶されている。
【００２９】
ステップＴ７では、タッチ入力部１９の押下された領域を取得する。
ステップＴ８において、上記検出された瞳の大きさがＡＦ可能な最小サイズ以上かどうかを判断する。ここで、ＡＦ可能な最小サイズは、ＡＦ合焦領域の単位領域の１／２以上の大きさとして設定する。そして、瞳の大きさがＡＦ合焦可能な大きさであると判断した場合は、ステップＴ９に進み、更に瞳の大きさが予め定めた閾値以下かどうかを判断する。ここで、閾値以下の場合はＡＦは可能なものの、瞳の表示サイズが小さく正確に瞳の位置を押下できない場合を考慮し、ステップＴ１０において瞳の大きさに上記オフセット量を加算した値を瞳の存在する領域として設定する。
一方、瞳の大きさが予め定めた閾値より大きい場合は正確に瞳の位置を押下できる状態であると考え、上記オフセット量を加味せずに瞳の存在する領域そのものを瞳の存在する領域として設定する。
【００３０】
次に、ステップＴ１１において押下された座標が上記のようにして設定した瞳の存在する領域内にあるかどうかを判断し、領域内にあると判断された場合はステップＴ１２において瞳領域を含むＡＦ検出領域を合焦検出領域として設定する。
ステップＴ８で検出された瞳の大きさがＡＦ合焦可能な最小サイズよりも小さいと判断された場合は、瞳に対してＡＦすることができない。よって、この場合は顔に対してＡＦすることを考慮する。
そこで、ステップＴ１３では、ステップＴ５において取得した顔の大きさがＡＦ合焦可能な最小サイズ以上かどうかを判断する。ここで、ＡＦ合焦可能な最小サイズとして所定のピクセルサイズを予め設定しておく。顔の大きさがＡＦ合焦可能な大きさであると判断した場合は、ステップＴ１４に進み、顔の大きさが予め定めた閾値以下かどうかを判断する。ここで、閾値以下の場合はＡＦは可能なものの、顔の表示サイズが小さく正確に顔の位置を押下できない場合を考慮し、ステップＴ１５において顔の大きさに上記オフセット量を加算した値を顔の存在する領域として設定する。
【００３１】
一方、顔の大きさが予め定めた閾値より大きい場合は、正確に顔の位置を押下できる状態であると考え、上記オフセット量を加味せずに顔の存在する領域そのものを顔の存在する領域として設定する。
次に、ステップＴ１６において押下された座標が上記のようにして設定した顔の存在する領域内にあるかどうかを判断し、領域内にあると判断された場合はステップＴ１７において顔領域を含むＡＦ検出領域を合焦検出領域として設定する。
【００３２】
ステップＴ１３で検出された顔の大きさがＡＦ合焦可能な最小サイズよりも小さいと判断された場合、またはステップＴ１１で押下された座標が設定した顔の存在する領域内にないと判断された場合、或いは、ステップＴ１６において押下された座標が設定した顔の存在する領域内にないと判断された場合は顔の表示サイズが小さく顔のみにＡＦ合焦させることが難しいと推定する。よって、ステップＴ１８において、顔領域を含む、より広い領域となるＡＦ検出領域を合焦検出領域として設定する。
【００３３】
図７から図９は、ディスプレイ１８に表示された撮影シーンの各種の例において図６の処理を実施した場合のＡＦ合焦領域の設定を示している。
図７においては、人物の顔をアップで撮影しているシーンにおいて画面上で操作者が人物の右眼付近をタッチ入力部１９の押下によって指定した例で、例えばポートレート撮影でよく見られるシーンである。
この例では顔が十分大きく図６の処理におけるステップＴ６の検出領域が枠７ｂとして表示され、さらにステップＴ９において瞳が所定値以下と判断され、Ｔ１０における瞳の大きさにオフセット量を加えた領域を枠７ａとして表示される。このため、同図の位置の押下に対して瞳を選択する操作であると判断され、ステップＴ１２における瞳領域にかかるＡＦ評価領域を合焦領域として設定する。
【００３４】
図８は、複数の人物の顔をアップで撮影しているシーンにおいて画面上で操作者が向かって左の人物付近をタッチ入力部１９の押下によって指定した例で、例えばスナップ撮影で見られるシーンである。
この例では図６の処理におけるステップＴ６のうち、押下位置を含む検出領域が枠８ａとして表示されている。さらにステップＴ１３において顔が所定値以上と判断され、ステップＴ１８における顔領域にかかるＡＦ評価領域を合焦領域として設定する。
【００３５】
図９は、人物を小さく撮影しているシーンにおいて画面上で操作者が人物付近をタッチ入力部１９の押下によって指定した例で、例えば風景撮影で見られるシーンである。
この例では顔が十分小さく図６の処理におけるステップＴ６の検出領域が枠９ｂとして表示され、さらにステップＴ１３、Ｔ１４において顔が所定値以下と判断され、且つ閾値以下であると判断された場合で、Ｔ１５における顔の大きさにオフセット量を加えた領域を枠８ａとして表示している。よって、図の位置の押下に対して顔を選択する操作であると判断され、ステップＴ１７における顔領域にかかるＡＦ評価領域を合焦領域として設定する。
【００３６】
なお、上記一実施の形態に限定されることなく、同様の効果を奏するものに適用が可能であることは勿論である。
例えば、撮像装置はデジタルカメラに限らず、撮影機能を有する装置、例えば携帯電話、ノートＰＣ等にも本発明を適用できる。
【００３７】
また、顔部補正部２２０は、眼部、鼻部、口部等の器官の座標位置の補正と同様の方法で、例えば眼部、鼻部、口部等の輪郭線やあごの輪郭情報のような器官の形状特徴や輪郭特徴を検出して座標位置の補正を行ってもよい。器官の形状特徴や輪郭特徴の情報に基づく座標位置の補正を行うことは、器官の一部の情報を検出するので検出に要する演算時間等を短縮することが可能であり、処理を高速化することができる。
【００３８】
上記一実施の形態では、被写体として人物の顔部を撮像しているが、これに限らず、例えば動物であっても良い。
また、上記一実施の形態では、押下位置でＡＦ合焦領域を選択しているが、これに限らず撮影に係る他の条件、例えば
測光領域、ホワイトバランス検出領域、追尾被写体指定領域、或いは主要被写体指定として用いてもよい。
【００３９】
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００４０】
１：装置本体、２：レンズ系、３：絞り、４：メカシャッター、５：撮像素子、６：駆動部、７：被写体、８：アナログ増幅器（Ａ−ＡＭＰ）、９：アナログ／デジタル変換器（ＡＤＣ）、１０：ＣＰＵ、１１：バス、１２：ＤＲＡＭ、１３：ＲＯＭ、１４：フラッシュ（ＦＬＡＳＨ）メモリ、１５：画像処理部、１６：ビデオエンコーダ、１７：操作部、１８：ディスプレイ、２０：顔検出部、２１：器官検出部、２２：顔部補正部、２３：内部バス、２２−１：補正量算出部、２２−２：器官情報補正部。
【技術分野】
【０００１】
本発明は、画面上に表示された画像の一部の領域を指定する際に、簡単且つ意図通りに領域を指定することのできる技術に関する。
【背景技術】
【０００２】
被写体が表示された画面上に備えられたタッチパネルに、操作者がタッチした位置を中心として画面に表示された画像データ上に追尾領域を設定する技術が特許文献１に記載されている。この特許文献１は、モードに応じて、タッチ指定された領域を追尾やフォーカス領域として設定する。この特許文献１では、タッチ指定された領域を認識し、追尾やフォーカスといった撮影機能と関連付けを行っている。
また、フォーカス領域を自動で設定する技術が、例えば特許文献２に記載されている。この特許文献２は、顔部の大きさからフォーカス領域の大きさを切り換えて設定する。また、顔検出した結果、顔がひとつだけであった場合に、更に目鼻口耳を検出したかどうかに応じて、フォーカス領域を顔の中心位置かまたは目の位置に自動で設定する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０３０００８号公報
【特許文献２】特開２０１０−０９２０６６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記のように操作者がタッチパネル上で画像の一部を指定する場合に、操作者の意図通りに指定できない場合がある。例えば、携帯機器のように表示画面が小さいと、操作者がパネル上の位置を正確に指定したつもりでもタッチした位置がずれてしまったり、意図したものと異なる領域を誤って判断されてしまう場合があった。また、操作者の意図通りに指定するためにモードを予め設定したりすると、余計な操作が必要となり、操作性を低下してしまう。
【０００５】
本発明の目的は、複雑な操作を必要とせずに、操作者の意図通りに領域を指定することのできる撮像装置及び撮像方法を提供することにある。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、撮像して得た動画像の表示部及びこの表示部に対向して設けられたタッチパネルを有し、上記動画像中の画像から顔の大きさ及び位置を検出する顔検出部と、上記顔検出部で検出された顔を構成する器官の大きさ及び位置を検出する顔・器官検出部と、上記タッチパネルの操作位置、上記検出された顔の大きさと位置、及び上記検出された器官の大きさと位置とから、上記操作位置で選択する画像が顔か器官かを少なくとも判断する指定画像判定部と、を有する。
【０００７】
本発明の撮像方法は、撮像して得た動画像の表示部及びこの表示部に対向して設けられたタッチパネルを有する撮像装置の撮像方法であって、上記動画像中の画像から顔の有無を検出し、上記顔が検出された場合には、更に顔を構成する器官の大きさ及び位置を検出し、上記タッチパネルの操作位置、顔の表示位置と大きさ、及び器官位置と大きさとから、操作位置で選択する画像が顔か器官かを少なくとも判断する。
【発明の効果】
【０００８】
本発明によれば、複雑な操作を必要とせずに、操作者の意図通りに領域を指定することのできる撮像装置及び撮像方法を提供できる。
【図面の簡単な説明】
【０００９】
【図１】本発明に係る撮像装置の一実施の構成図
【図２】同装置における顔・器官検出部の構成図
【図３】同装置における指定位置判定部の構成図
【図４】同装置の背面図
【図５】同装置における静止画撮影フローチャート
【図６】同装置における被写体判断処理フローチャート
【図７】同装置における指示位置の表示例（１）
【図８】同装置における指示位置の表示例（２）
【図９】同装置における指示位置の表示例（３）
【発明を実施するための形態】
【００１０】
（第１の実施形態）
以下、本発明の一実施の形態について図面を参照して説明する。
図１は撮像装置の構成図を示す。撮像装置の装置本体１は、撮像光学系を構成するレンズ系２と、絞り３と、メカシャッター４と、撮像素子５とが設けられている。絞り３及びメカシャッター４は、それぞれ駆動部６の駆動によって動作する。レンズ系２は、フォーカスレンズ系、ズームレンズ系を含み、被写体７からの光学像を絞り３、メカシャッター４を
通して撮像素子５に集光する。この撮像素子５は、レンズ２からの被写体７の像を光電変換し、アナログの画像信号として出力する。この撮像素子５は、例えばＣＣＤやＣＭＯＳセンサ等が用いられる。この撮像素子５の出力端子には、アナログ増幅器（Ａ−ＡＭＰ）８を介してアナログ／デジタル変換器（ＡＤＣ）９が接続されている。Ａ−ＡＭＰ８は、撮像素子５から出力されたアナログ画像信号を増幅し、ＡＤＣ９は、Ａ−ＡＭＰ８により増幅されたアナログ画像信号をデジタル画像信号に変換する。
【００１１】
装置本体１内には、ＣＰＵ１０が搭載され、このＣＰＵ１０にバス１１を介してＡＤＣ９と、ＤＲＡＭ１２と、ＲＯＭ１３と、フラッシュ（ＦＬＡＳＨ）メモリ１４と、画像処理部１５と、ビデオエンコーダ１６とが接続されている。又、ＣＰＵ１０には、操作部１７が接続されている。上記ビデオエンコーダ１６には、ディスプレイ１８として例えば内蔵の液晶ディスプレイ（ＬＣＤ）に接続されている。
【００１２】
上記ＤＲＡＭ１２には、ＡＤＣ９から出力されるデジタル画像信号を一旦保存したり、画像処理部１５によりデジタル画像信号に対ライブビュー画像処理を行って取得された撮像時刻の異なる連続した複数の画像データ等を保存する。
上記ＲＯＭ１３には、ＣＰＵ１０の撮像制御プログラム及び本装置の特徴である画像処理プログラムなどが保存されている。撮像制御プログラムは、ＣＰＵ１０に、撮像素子５から出力されたアナログ画像信号をＡ／Ｄ変換したデジタル画像信号を画像処理し、被写体７の動画をライブビュー画像としてディスプレイ１８に表示させ、撮影時に静止画又は動画の画像データを取得してその静止画又は動画をディスプレイ１８に表示させると共に、この静止画又は動画をＦＬＡＳＨメモリ１４等に記録させる等の装置本体１内の撮影全般の制御を行う。
【００１３】
上記画像処理プログラムは、顔・器官検出部２０に、撮像時刻の異なる連続した複数の画像データのそれぞれから被写体７の顔部に対応する第１の画像領域を検出させる顔検出機能と、第１の画像領域から顔部内の少なくとも１つの器官に対応する第２の画像領域を検出させる器官検出機能と、複数の画像データ上での顔部の移動位置に倣って少なくとも１つの器官の画像データ上での画像位置を補正させる顔部補正機能とを実現させる。
この画像処理プログラムのうち顔検出機能は、複数の画像データから顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化又は上下左右方向に対する傾きの変化のうち少なくとも１つに関する情報を検出させる。
上記顔部補正機能は、被写体７の顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化、又は上下左右方向に対する傾きの変化のうちいずれか１つに関する情報に基づいて少なくとも１つの器官として眼部、口部又は鼻部の少なくとも座標位置を補正させる。
【００１４】
上記ＦＬＡＳＨメモリ１４は、画像処理部１５にて処理された静止画の画像データ及び動画の画像データをインターフェース部４０を介して記録用として保存する。このＦＬＡＳＨメモリ１４は、例えば装置本体１に対して外付けのメモリカード、または撮像装置内に設けられた内蔵メモリ等である。
上記操作部１７は、撮影者が操作する撮影または再生に関わる操作スイッチが接続され、これら操作スイッチの操作を検出する。具体的には、カメラの撮影モードを切り替える切り替えスイッチや、レリーズボタンの操作によって動作するレリーズスイッチなどを含む。またレリーズスイッチは、一般的な２段階スイッチになっている。つまり、レリーズスイッチは、半押されることで、第１レリーズスイッチがオンして焦点検出や測光を行い、フォーカスレンズの駆動により合焦状態になる。更に、レリーズボタンは、全押しされることで、第２レリーズスイッチがオンして露光が行われる。
【００１５】
上記画像処理部１５は、撮像素子５から出力されてＡ／Ｄ変換されたデジタル画像信号を画像処理する。画像処理された画像データは、ビデオエンコーダ１６を通して被写体７の動画をライブビュー画像としてディスプレイ１８に表示される。
この画像処理部１５は、ＡＤＣ９から出力されるデジタル画像信号に対してライブビュー画像処理を行って撮像時刻の異なる連続した複数の画像データを生成する。
タッチ入力部１９は、上記ディスプレイ１８上に設けられたタッチパネルからなり、ディスプレイ１８に表示された画像に対応した位置へのタッチ操作に応じた位置または動作を検出する。
指定位置判定部３０は、検出されたタッチ位置またはタッチ動作、及びディスプレイ１８の表示内容に基づいて、操作で指定された位置や動作を決定する。
【００１６】
図２は上記顔・器官検出部２０のブロック構成図を示す。この顔・器官検出部２０は、顔検出部２００と、器官検出部２１０と、顔部補正部２２０とを有する。各々は、内部バス２３に接続されている。
上記顔検出部２００は、ＤＲＡＭ１２に保存されている撮像時刻の異なる連続した複数の画像データのそれぞれから被写体７における顔の有無と、顔部に対応する第１の画像領域を検出する。具体的には、複数の画像データから顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化又は上下左右方向に対する傾きの変化のうち少なくとも１つに関する情報を検出する。
上記器官検出部２１０は、顔検出部２００により検出される第１の画像領域から顔部内の少なくとも１つの器官、例えば眼部、口部又は鼻部に対応する第２の画像領域を検出する。
これら顔検出部２００と器官検出部２１０とは、互いに非同期で動作する。
上記顔部補正部２２０は、顔検出部２００により検出された複数の画像データ上での顔部の移動位置に追従して器官検出部により検出される少なくとも１つの器官、例えば眼部、口部又は鼻部の画像データ上での画像位置を補正するもので、補正量算出部２２１と、器官情報補正部２２２とを有する。
このうち補正量算出部２２１は、顔検出部２００により検出される複数の画像データ毎に顔部の座標位置を検出して当該複数の画像データ上での顔部の移動位置を追従してこれら画像データ上での顔部の移動量を算出し、この顔部の移動量を座標位置に対する補正量とする。
【００１７】
具体的に、上記補正量算出部２２１は、顔検出部２００により検出される被写体としての人物の顔部の大きさの変化、水平方向への移動量、垂直方向への移動量、回転変化量、又は上下左右方向に対する傾きの変化量のうち少なくとも１つに関する量を複数の画像データ間の画像位置変化から算出し、これらの量をそれぞれ人物の顔部の大きさの変化の補正量、水平方向への移動の補正量、垂直方向への移動の補正量、回転変化の補正量、又は上下左右方向に対する傾きの変化の補正量の各情報として算出する。
【００１８】
上記器官情報補正部２２２は、補正量算出部２２１により算出された人物の顔部の大きさの変化の補正量、水平方向への移動の補正量、垂直方向への移動の補正量、回転変化の補正量、又は上下左右方向に対する傾きの変化の補正量のうち少なくとも１つの補正量を受け取り、当該補正量を用いて器官検出部２１０により検出される少なくとも１つの器官、例えば眼部、口部又は鼻部の画像データ上での位置を補正する。
又、器官情報補正部２２２は、補正量算出部２２１により算出された上記少なくとも１つの補正量を受け取り、当該補正量を用いて器官検出部２１０により検出される少なくとも１つの器官、例えば眼部、口部又は鼻部の画像データ上での大きさを補正する。
又、器官情報補正部２２２は、補正量算出部２２１により算出された人物の顔部の回転変化の補正量に基づいて器官検出部２１０により検出される眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置を補正する。
又、器官情報補正部２２２は、補正量算出部２２１により算出された被写体７の顔部の上下左右方向に対する傾きの変化を検出すると、顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化を用いた補正を実施しない。
【００１９】
画像処理部１５は、顔部補正部２２０により補正した眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置に基づいて、顔部、又は眼部、口部又は鼻部等の器官に対して画像処理、例えば眼部のコントラストを変更したり、フィルタ処理などの画像処理を行う。
又、ＣＰＵ１０は、顔部補正部２２０により補正した眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置に基づいて被写体として人物を特定するための認証処理を行う。この認証処理では、予めＲＯＭ１３に保存された複数の人物の顔部の参照画像データと、顔部補正部２２０により補正した眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置と参照画像データの眼部、口部又は鼻部の少なくとも大きさ、傾き又は座標位置とを対比して人物を特定するための認証処理を行う。
又、ＣＰＵ１０は、顔部補正部２２０により補正した少なくとも画像位置を含む画像データ上において焦点検出領域を決定し、当該焦点検出領域の画像データに基づいて焦点調節を行う機能を有する。
【００２０】
図３は指定位置判定部３０のブロック構成図を示す。この指定位置判定部３０は、指定された対象とする顔／器官を判定する対象判定部３００と、タッチパネル入力部１９の操作により指定された位置の被写体を判定する被写体判定部３１０とを有する。この対象判定部３００と被写体判定部３１０とは、バス１１に接続されている。
上記対象判定部３００は、顔・器官検出部２０にて検出された顔／眼部の情報を受け取り、検出された顔または眼のうち対象となる顔または眼が何れであるかを判定する。
上記被写体判定部３１０は、タッチ入力部１９で入力された位置または動作から、指定された被写体が、人物の顔付近であるか否かを判定する。そして、対象判定部３００の判定結果を受けてタッチ入力部１９の操作によって指定された画面上の被写体を推定し、表示画像に対応させて指定位置を決定する。
【００２１】
図４は、デジタルカメラの背面に設けられたディスプレイ１８と、このディスプレイ１８に対向させて設けられたタッチパネル、及び、操作部１７の各種操作部材の配置を示す。
ディスプレイ１８において、表示部４−１は、画像、撮影情報等を表示する。この表示部４−１上に、タッチパネル入力に感応する領域４−２が設けられている。ＡＦエリア分割部４−３は、タッチパネル領域４−２のうちの一部の領域に対して設けられる。なお、ＡＦエリア分割部４−３は、分割領域毎に合焦度合いを検出することが可能であり、通常は分割領域の表示はされない。
撮影時にＡＦが行われた場合には、ＡＦエリア分割部４−３の分割された領域のうち、撮影シーンに応じて合焦領域が決定され、表示部４−１上に合焦領域４−４として枠表示される。また、撮影画像フレーム内に顔が存在する場合は、顔検出領域４−５が表示部４−１上に枠表示され撮影者に告知される。その他、操作部１７の操作部材として、電源のＯＮ／ＯＦＦスイッチ４−７、レリーズボタン４−６が撮像装置１の上面に配置され、ズームスイッチ、メニューボタン、選択操作キー等からなる操作部４−８が撮像装置１の背面に配置される。
【００２２】
次に、上記の如く構成された撮像装置の動作について図５に示す撮像制御フローチャートに従って説明する。
ＣＰＵ１０は、ステップＳ１において、ライブビュー画像をディスプレイ１８に表示する命令を発すると、撮像素子５は、レンズ２からの被写体７の像を光電変換し、アナログ画像信号として出力する。撮像素子５から出力されたアナログ画像信号は、Ａ−ＡＭＰ８により増幅され、ＡＤＣ９によりデジタル画像信号に変換される。画像処理部１５は、ＡＤＣ９からのデジタル画像信号をバス１１を通して入力し、このデジタル画像信号を画像処理し、被写体７のライブビュー画像としてディスプレイ１８に表示する。
このとき、ＤＲＡＭ１２には、ＡＤＣ９から出力されるデジタル画像信号が一旦保存されたり、画像処理部１５によりデジタル画像信号に対ライブビュー画像処理を行って取得された撮像時刻の異なる連続した複数の画像データが保存される。
【００２３】
ＣＰＵ１０は、ステップＳ２において、顔検出部２００に対して顔検出の命令を発する。この顔検出部２００は、ＤＲＡＭ１２に保存されている撮像時刻の異なる連続した複数の画像データのそれぞれから被写体７の顔部に対応する第１の画像領域を検出する。この場合、顔検出部２００は、複数の画像データから顔部の大きさの変化、水平方向への移動、垂直方向への移動、回転変化又は上下左右方向に対する傾きの変化のうち、少なくとも１つに関する情報を検出する。
【００２４】
画像データにおける顔部の検出処理は、画像データの液晶ディスプレイへの表示終了直後から開始し、次のフレーム画像データの液晶ディスプレイへの表示終了の前に完了する。この画像データにおける顔部の検出処理により顔部の位置座標が検出される。そして、この画像データの顔部の検出処理の結果は、さらに次の画像データに顔部検出領域として表示することが出来る。
顔の検出は、顔の特徴を一般化かしたモデルパターンと画像内の領域毎のデータとを比較し、類似度の高い領域が存在するか否かを検出する。このとき、取得した画像について複数の大きさのモデルパターンを作成して類似度のマッチングを行うことで、想定する範囲の顔の大きさに対応したマッチングを行う。その結果から、顔の有無、位置、及び大きさを検出する。
ここで、顔部の移動量は、顔検出部２００により検出される複数の画像データ毎に顔部の座標位置を検出し、これら座標位置の差分から顔部の移動量を算出する。
【００２５】
再び図５に戻り、ステップＳ３において、ステップＳ２における顔検出結果を基に、顔が検出されたと判定した場合はステップＳ４に移る。ステップＳ４では、ステップＳ２においてマッチングを行った領域と座標から得た類似度の高い領域を基いて、検出された顔の表示画面上での座標位置を設定する。
続いてステップＳ５に移り、ステップＳ４で設定した表示画面上の座標位置に顔枠を描画する。その後、ステップＳ６にて検出された顔領域から、眼を少なくとも含む顔の部位、即ち器官を検出する。
ステップＳ７において、顔検出部２００により検出された画像領域から顔部内の少なくとも１つの器官、例えば眼部、口部又は鼻部に対応する画像領域を器官検出部２１０で検出する。この器官の検出は、顔部の検出結果から得られた顔部の位置座標に基づいて行われる。例えば、画像データの眼部等の器官の検出処理は、検出された顔部の位置座標に基づいて顔部内の眼部、鼻部、口部等の各特徴部の大きさ、形状、コントラスト、エッジ情報を画像データから検出する。そして、この検出結果から器官座標位置を取得する。
【００２６】
ステップＳ７の後、または、ステップＳ３において顔が検出されなかったと判定された場合はステップＳ８へ移り、タッチ入力部１９に入力操作（押下）がされたかどうかを調べる。ここで、押下がされていないと判断したときは、ステップＳ２に戻る。一方、押下がされたと判断したときは、ステップＳ９に移り、操作者が選択しようとした被写体を判断する処理を行う。この被写体判断処理の詳細については後述するが、この処理によってタッチ入力部１９を押下した位置とその近傍に表示された画像の特徴を基に、操作者の指定したい画像対象がどの画像部位なのかを判断する。そして、判断した画像部位に対応した領域をステップS１０でＡＦ合焦領域として決定する。そして、ステップＳ１１でこのＡＦ合焦領域内の被写体に合焦させるように駆動部６によってレンズ系２のフォーカスレンズを合焦点へ駆動し、ステップＳ１２において静止画撮影処理を行い、撮影して得られた画像データをＦＬＡＳＨ１４に記録する。
【００２７】
図６は、図５における被写体判断処理のフローチャートを示す。まず、ステップＴ１において、ディスプレイ１８の画像表示パネルの縦幅を取得する。この縦幅の値は、ＲＯＭ１３に予め記憶されている。次に、ステップＴ２において、ディスプレイ１８の表示画像ピクセルに換算した平均的な指の大きさをＲＯＭ１３から読み出し、更にステップＴ３においてこの指の大きさの場合において押下位置であると見なせる許容オフセット量をＲＯＭ１３から読み出す。例えば、上記した平均的な指の大きさの１／２となる値をこの指の大きさの場合における許容オフセット量とする。
【００２８】
次に、ステップＴ４において、指とディスプレイ１８に表示される顔または眼の大きさとの関係から、上記のオフセットが必要となる顔または眼の大きさを算出する。例えば、顔または眼の大きさが平均的な指の大きさの１．２倍以下となる大きさをオフセットが必要となる大きさとする。
ステップＴ５において、図４のステップＳ７にて検出された顔の大きさを読み込み、続いてステップＴ６で検出された眼部の瞳の大きさを読み込む。ここで、顔の大きさ、眼部の瞳の大きさは未図示の一次記憶メモリに記憶されている。
【００２９】
ステップＴ７では、タッチ入力部１９の押下された領域を取得する。
ステップＴ８において、上記検出された瞳の大きさがＡＦ可能な最小サイズ以上かどうかを判断する。ここで、ＡＦ可能な最小サイズは、ＡＦ合焦領域の単位領域の１／２以上の大きさとして設定する。そして、瞳の大きさがＡＦ合焦可能な大きさであると判断した場合は、ステップＴ９に進み、更に瞳の大きさが予め定めた閾値以下かどうかを判断する。ここで、閾値以下の場合はＡＦは可能なものの、瞳の表示サイズが小さく正確に瞳の位置を押下できない場合を考慮し、ステップＴ１０において瞳の大きさに上記オフセット量を加算した値を瞳の存在する領域として設定する。
一方、瞳の大きさが予め定めた閾値より大きい場合は正確に瞳の位置を押下できる状態であると考え、上記オフセット量を加味せずに瞳の存在する領域そのものを瞳の存在する領域として設定する。
【００３０】
次に、ステップＴ１１において押下された座標が上記のようにして設定した瞳の存在する領域内にあるかどうかを判断し、領域内にあると判断された場合はステップＴ１２において瞳領域を含むＡＦ検出領域を合焦検出領域として設定する。
ステップＴ８で検出された瞳の大きさがＡＦ合焦可能な最小サイズよりも小さいと判断された場合は、瞳に対してＡＦすることができない。よって、この場合は顔に対してＡＦすることを考慮する。
そこで、ステップＴ１３では、ステップＴ５において取得した顔の大きさがＡＦ合焦可能な最小サイズ以上かどうかを判断する。ここで、ＡＦ合焦可能な最小サイズとして所定のピクセルサイズを予め設定しておく。顔の大きさがＡＦ合焦可能な大きさであると判断した場合は、ステップＴ１４に進み、顔の大きさが予め定めた閾値以下かどうかを判断する。ここで、閾値以下の場合はＡＦは可能なものの、顔の表示サイズが小さく正確に顔の位置を押下できない場合を考慮し、ステップＴ１５において顔の大きさに上記オフセット量を加算した値を顔の存在する領域として設定する。
【００３１】
一方、顔の大きさが予め定めた閾値より大きい場合は、正確に顔の位置を押下できる状態であると考え、上記オフセット量を加味せずに顔の存在する領域そのものを顔の存在する領域として設定する。
次に、ステップＴ１６において押下された座標が上記のようにして設定した顔の存在する領域内にあるかどうかを判断し、領域内にあると判断された場合はステップＴ１７において顔領域を含むＡＦ検出領域を合焦検出領域として設定する。
【００３２】
ステップＴ１３で検出された顔の大きさがＡＦ合焦可能な最小サイズよりも小さいと判断された場合、またはステップＴ１１で押下された座標が設定した顔の存在する領域内にないと判断された場合、或いは、ステップＴ１６において押下された座標が設定した顔の存在する領域内にないと判断された場合は顔の表示サイズが小さく顔のみにＡＦ合焦させることが難しいと推定する。よって、ステップＴ１８において、顔領域を含む、より広い領域となるＡＦ検出領域を合焦検出領域として設定する。
【００３３】
図７から図９は、ディスプレイ１８に表示された撮影シーンの各種の例において図６の処理を実施した場合のＡＦ合焦領域の設定を示している。
図７においては、人物の顔をアップで撮影しているシーンにおいて画面上で操作者が人物の右眼付近をタッチ入力部１９の押下によって指定した例で、例えばポートレート撮影でよく見られるシーンである。
この例では顔が十分大きく図６の処理におけるステップＴ６の検出領域が枠７ｂとして表示され、さらにステップＴ９において瞳が所定値以下と判断され、Ｔ１０における瞳の大きさにオフセット量を加えた領域を枠７ａとして表示される。このため、同図の位置の押下に対して瞳を選択する操作であると判断され、ステップＴ１２における瞳領域にかかるＡＦ評価領域を合焦領域として設定する。
【００３４】
図８は、複数の人物の顔をアップで撮影しているシーンにおいて画面上で操作者が向かって左の人物付近をタッチ入力部１９の押下によって指定した例で、例えばスナップ撮影で見られるシーンである。
この例では図６の処理におけるステップＴ６のうち、押下位置を含む検出領域が枠８ａとして表示されている。さらにステップＴ１３において顔が所定値以上と判断され、ステップＴ１８における顔領域にかかるＡＦ評価領域を合焦領域として設定する。
【００３５】
図９は、人物を小さく撮影しているシーンにおいて画面上で操作者が人物付近をタッチ入力部１９の押下によって指定した例で、例えば風景撮影で見られるシーンである。
この例では顔が十分小さく図６の処理におけるステップＴ６の検出領域が枠９ｂとして表示され、さらにステップＴ１３、Ｔ１４において顔が所定値以下と判断され、且つ閾値以下であると判断された場合で、Ｔ１５における顔の大きさにオフセット量を加えた領域を枠８ａとして表示している。よって、図の位置の押下に対して顔を選択する操作であると判断され、ステップＴ１７における顔領域にかかるＡＦ評価領域を合焦領域として設定する。
【００３６】
なお、上記一実施の形態に限定されることなく、同様の効果を奏するものに適用が可能であることは勿論である。
例えば、撮像装置はデジタルカメラに限らず、撮影機能を有する装置、例えば携帯電話、ノートＰＣ等にも本発明を適用できる。
【００３７】
また、顔部補正部２２０は、眼部、鼻部、口部等の器官の座標位置の補正と同様の方法で、例えば眼部、鼻部、口部等の輪郭線やあごの輪郭情報のような器官の形状特徴や輪郭特徴を検出して座標位置の補正を行ってもよい。器官の形状特徴や輪郭特徴の情報に基づく座標位置の補正を行うことは、器官の一部の情報を検出するので検出に要する演算時間等を短縮することが可能であり、処理を高速化することができる。
【００３８】
上記一実施の形態では、被写体として人物の顔部を撮像しているが、これに限らず、例えば動物であっても良い。
また、上記一実施の形態では、押下位置でＡＦ合焦領域を選択しているが、これに限らず撮影に係る他の条件、例えば
測光領域、ホワイトバランス検出領域、追尾被写体指定領域、或いは主要被写体指定として用いてもよい。
【００３９】
本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００４０】
１：装置本体、２：レンズ系、３：絞り、４：メカシャッター、５：撮像素子、６：駆動部、７：被写体、８：アナログ増幅器（Ａ−ＡＭＰ）、９：アナログ／デジタル変換器（ＡＤＣ）、１０：ＣＰＵ、１１：バス、１２：ＤＲＡＭ、１３：ＲＯＭ、１４：フラッシュ（ＦＬＡＳＨ）メモリ、１５：画像処理部、１６：ビデオエンコーダ、１７：操作部、１８：ディスプレイ、２０：顔検出部、２１：器官検出部、２２：顔部補正部、２３：内部バス、２２−１：補正量算出部、２２−２：器官情報補正部。
【特許請求の範囲】
【請求項１】
撮像して得た動画像の表示部及びこの表示部に対向して設けられたタッチパネルを有する撮像装置であって、
上記動画像中の画像から顔の大きさ及び位置を検出する顔検出部と、
上記顔検出部で検出された顔を構成する器官の大きさ及び位置を検出する顔・器官検出部と、
上記タッチパネルの操作位置、上記検出された顔の大きさと位置、及び上記検出された器官の大きさと位置とから、上記操作位置で選択する画像が顔か器官かを少なくとも判断する指定画像判定部と、
を有することを特徴とする撮像装置。
【請求項２】
上記指定画像判定部で指定された顔または器官を含む画像領域から、撮影に関するデータを検出するための領域を設定する領域設定部を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
合焦検出領域設定部を更に有し、
上記顔検出部で検出された顔の大きさおよび上記器官検出部で検出された器官の大きさが、自動合焦可能な合焦検出領域の最小サイズ以下であるか否かを判断し、その判断結果に応じて顔検出部の出力する顔座標位置および顔・器官検出部の出力する器官部位位置および操作位置を含む合焦判定領域のいずれか1つを合焦検出領域として設定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記指定画像判定部は、上記顔検出部で検出された顔が所定以上の大きさの場合には、上記顔・器官検出部で検出された器官の位置もしくは、上記タッチパネルから出力された操作位置のいずれかを合焦判定領域と決定し、顔・器官検出部で検出された顔が所定よりも小さい場合には、上記顔・器官出部で検出された顔の位置もしくは、上記タッチパネルから出力された操作位置のいずれかを合焦判定領域と決定することを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記指定画像判定部は、タッチパネル上の押下された領域に対応する画像を、顔・器官検出部の出力結果に応じて、拡大表示させることを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記指定画像判定部は、顔・器官検出部の出力結果が合焦検出可能な領域の大きさが最小サイズ以上で、且つ顔・器官検出部の出力結果が所定値より小さい場合に、タッチ操作された位置に係る領域が顔・器官位置か否かを判断する領域を拡大させ、顔・器官検出部の出力結果が合焦検出可能な領域の大きさが最小サイズ以下で且つ、顔・器官検出部の出力結果が所定ちより小さい場合に、タッチ操作された位置に係る領域が顔・期間位置か否かを判断する領域を拡大させることを特徴とする請求項１に記載の撮像装置。
【請求項７】
撮像して得た動画像の表示部及びこの表示部に対向して設けられたタッチパネルを有する撮像装置の撮像方法であって、
上記動画像中の画像から顔の有無を検出し、
上記顔が検出された場合には、更に顔を構成する器官の大きさ及び位置を検出し、
上記タッチパネルの操作位置、顔の表示位置と大きさ、及び器官位置と大きさとから、操作位置で選択する画像が顔か器官かを少なくとも判断する、ことを特徴とする撮像装置の撮像方法。
【請求項１】
撮像して得た動画像の表示部及びこの表示部に対向して設けられたタッチパネルを有する撮像装置であって、
上記動画像中の画像から顔の大きさ及び位置を検出する顔検出部と、
上記顔検出部で検出された顔を構成する器官の大きさ及び位置を検出する顔・器官検出部と、
上記タッチパネルの操作位置、上記検出された顔の大きさと位置、及び上記検出された器官の大きさと位置とから、上記操作位置で選択する画像が顔か器官かを少なくとも判断する指定画像判定部と、
を有することを特徴とする撮像装置。
【請求項２】
上記指定画像判定部で指定された顔または器官を含む画像領域から、撮影に関するデータを検出するための領域を設定する領域設定部を更に有することを特徴とする請求項１に記載の撮像装置。
【請求項３】
合焦検出領域設定部を更に有し、
上記顔検出部で検出された顔の大きさおよび上記器官検出部で検出された器官の大きさが、自動合焦可能な合焦検出領域の最小サイズ以下であるか否かを判断し、その判断結果に応じて顔検出部の出力する顔座標位置および顔・器官検出部の出力する器官部位位置および操作位置を含む合焦判定領域のいずれか1つを合焦検出領域として設定することを特徴とする請求項１に記載の撮像装置。
【請求項４】
上記指定画像判定部は、上記顔検出部で検出された顔が所定以上の大きさの場合には、上記顔・器官検出部で検出された器官の位置もしくは、上記タッチパネルから出力された操作位置のいずれかを合焦判定領域と決定し、顔・器官検出部で検出された顔が所定よりも小さい場合には、上記顔・器官出部で検出された顔の位置もしくは、上記タッチパネルから出力された操作位置のいずれかを合焦判定領域と決定することを特徴とする請求項１に記載の撮像装置。
【請求項５】
上記指定画像判定部は、タッチパネル上の押下された領域に対応する画像を、顔・器官検出部の出力結果に応じて、拡大表示させることを特徴とする請求項１に記載の撮像装置。
【請求項６】
上記指定画像判定部は、顔・器官検出部の出力結果が合焦検出可能な領域の大きさが最小サイズ以上で、且つ顔・器官検出部の出力結果が所定値より小さい場合に、タッチ操作された位置に係る領域が顔・器官位置か否かを判断する領域を拡大させ、顔・器官検出部の出力結果が合焦検出可能な領域の大きさが最小サイズ以下で且つ、顔・器官検出部の出力結果が所定ちより小さい場合に、タッチ操作された位置に係る領域が顔・期間位置か否かを判断する領域を拡大させることを特徴とする請求項１に記載の撮像装置。
【請求項７】
撮像して得た動画像の表示部及びこの表示部に対向して設けられたタッチパネルを有する撮像装置の撮像方法であって、
上記動画像中の画像から顔の有無を検出し、
上記顔が検出された場合には、更に顔を構成する器官の大きさ及び位置を検出し、
上記タッチパネルの操作位置、顔の表示位置と大きさ、及び器官位置と大きさとから、操作位置で選択する画像が顔か器官かを少なくとも判断する、ことを特徴とする撮像装置の撮像方法。
【図１】
【図２】
【図３】
【図５】
【図６】
【図４】
【図７】
【図８】
【図９】
【図２】
【図３】
【図５】
【図６】
【図４】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−７０１６４（Ｐ２０１３−７０１６４Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１１−２０６１４５（Ｐ２０１１−２０６１４５）
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２３年９月２１日（２０１１．９．２１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]