撮像装置、撮像方法および撮像プログラム
【課題】高速かつ認識精度の高い安定したジェスチャ認識を行って、該ジェスチャ認識に基づいて動作制御を行う。
【解決手段】所定間隔で画像データを入力する画像入力手段１０１と、画像データに基づいて被写体の顔領域を検出する顔検知手段１０２と、所定間隔で入力される２つの画像データ間における回転動作を検知する回転動作検知手段１０３と、回転動作が検知された場合に当該撮像装置に所定動作を実行させるシャッター制御手段１０５と、を備え、回転動作検知手段１０３は、２つの画像データ間における回転動作候補を検知し、該回転動作候補の回転中心座標と、該回転動作候補の回転角度を算出し、顔検知手段１０２により検出された顔領域の中心座標と、回転中心座標と、回転角度と、に基づいて、回転動作候補が回転動作に該当するか否かを判断する。
【解決手段】所定間隔で画像データを入力する画像入力手段１０１と、画像データに基づいて被写体の顔領域を検出する顔検知手段１０２と、所定間隔で入力される２つの画像データ間における回転動作を検知する回転動作検知手段１０３と、回転動作が検知された場合に当該撮像装置に所定動作を実行させるシャッター制御手段１０５と、を備え、回転動作検知手段１０３は、２つの画像データ間における回転動作候補を検知し、該回転動作候補の回転中心座標と、該回転動作候補の回転角度を算出し、顔検知手段１０２により検出された顔領域の中心座標と、回転中心座標と、回転角度と、に基づいて、回転動作候補が回転動作に該当するか否かを判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法および撮像プログラムに関する。さらに詳述すると、被写体を認識し、被写体の動きに基づいて制御を行う撮像装置、撮像方法および撮像プログラムに関する。
【背景技術】
【０００２】
従来、レリーズボタンが押下されてから所定時間経過後に被写体の撮影を行ったり、任意のタイミングにて自動的に被写体の撮影を行ったりする自動撮影（オートシャッター）機能を備えたデジタルカメラやデジタルビデオカメラ等の撮像装置が多く普及している。
【０００３】
従来の自動撮影では、レリーズボタンを押下してから撮像装置から離れ、自らも被写体となる場合等において、レリーズボタンの押下後に、十分に撮影の準備ができていない状態で撮影されてしまう場合や、撮影の準備が終わっても実際にシャッターが切られるまでしばらく待機しなければならないという問題があった。
【０００４】
また、リモコン等を使って遠隔操作によりシャッターを切る撮像装置も提案されているが、リモコンを忘れてしまうことや、常に携帯することが煩雑であるという問題があった。
【０００５】
このような課題に対して、例えば、特許文献１には、被写体人物の両目の開閉の動きに応じて、撮像装置のシャッターを自動制御する技術が提案されている。特許文献１では、複数の被写体（顔）が存在するときに顔に優先順位を付けて、優先順位の高い被写体の顔動きを認識したり、優先順位の高い被写体の顔の両目の開閉の組み合わせに応じて制御信号を入力したりする構成が開示されている。
【０００６】
しかしながら、上記特許文献１に記載の技術では、被写体の撮像装置からの距離が遠い場合には、顔のサイズが小さくなるため、その顔の一部の動きを認識することは、困難であるという問題があった。例えば、集合写真のような撮影の場合、被写体はカメラからある程度離れ、さらに、全員を撮影するために広角ズーム等を使う場合が多い。このような撮影状況では、撮影される個々の顔のサイズは小さくなる。したがって、顔の検知自体は精度よく検知することができた場合でも、その一部（目の開閉等）の変化までを正確に認識することは困難であり、自動撮影制御ができないという問題があった。
【０００７】
このため、顔の一部の動きを精度よく認識するためには、被写体が撮像装置に近い位置にあるか、望遠ズーム等を使用することで、結像される顔の大きさを一定以上の大きさとすること等が必要であった。
【０００８】
また、画像から顔やジェスチャを検出して撮像装置の動作制御を行う技術も提案されており、特許文献２には、画像データから顔画像を検出し、この検出した顔画像に対応する手画像を検出して、検出した手画像の形状または動きに応じて撮像装置の動作制御を行う技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の特許文献２に記載の技術では、ジェスチャ認識を正確に行うためには、ジェスチャ認識を行う体の部位の位置情報、色情報、サイズ情報、テクスチャ情報など、膨大な情報が必要となっており、また、膨大な情報を用いて認識を行うと装置に処理負荷がかかり時間も要してしまうという問題がある。更には、ジェスチャの仕方、肌の色、体の部位の大きさや形などは、個人によって異なるものであるため、膨大な情報を用いてジェスチャ認識を行った場合でも、正確に認識できない場合も考えられる。
【００１０】
そこで本発明は、撮像装置の動作制御を行うにあたり、画像から検出される被写体の顔領域と、該被写体についての回転する動きの回転中心座標および回転角度に基づいてジェスチャ認識を行うことにより、高速かつ認識精度の高い安定したジェスチャ認識を行って、該ジェスチャ認識に基づいて動作制御を行うことができる撮像装置、撮像方法および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
かかる目的を達成するため、本発明に係る撮像装置は、所定の時間間隔で連続して画像データを入力する画像入力手段と、前記画像データに基づいて被写体の顔領域を検出する顔検知手段と、所定間隔で入力される２つの前記画像データ間における回転動作を検知する回転動作検知手段と、該回転動作検知手段により、前記回転動作が検知された場合に当該撮像装置に所定動作を実行させる制御手段と、を備え、前記回転動作検知手段は、前記２つの画像データ間における回転動作候補を検知し、該回転動作候補の回転中心座標と、該回転動作候補の回転角度を算出し、前記顔検知手段により検出された前記顔領域の中心座標と、前記回転中心座標と、前記回転角度と、に基づいて、前記回転動作候補が前記回転動作に該当するか否かを判断するものである。
【発明の効果】
【００１２】
本発明によれば、高速かつ認識精度の高い安定したジェスチャ認識を行って、該ジェスチャ認識に基づいて動作制御を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る撮像装置の一実施形態であるデジタルカメラの外観図の一例であって、（ａ）は上面図、（ｂ）は正面図、（ｃ）は裏面図を示す。
【図２】撮像装置の機能ブロック図の一例である。
【図３】自動撮影制御に係る撮像装置の制御ブロック図である。
【図４】自動撮影処理のフローチャートである。
【図５】時系列に入力されるフレーム画像データの例を示す概念図である。
【図６】回転動作検知処理のフローチャートである。
【図７】回転動作検知処理の説明図であって、（Ａ）腕動きジェスチャ前のフレーム画像データ、（Ｂ）腕動きジェスチャ後のフレーム画像データの例である。
【図８】腕動きベクトル探索領域および動きベクトルの説明図である。
【図９】ブロックに分割された、（Ａ）腕動きジェスチャ前のフレーム画像データ、（Ｂ）腕動きジェスチャ後のフレーム画像データの例である。
【図１０】回転中心座標と回転角度の算出方法の説明図である。
【図１１】ＳＶＭによる腕ジェスチャ認識を模式的に示したグラフである。
【発明を実施するための形態】
【００１４】
以下、本発明に係る構成を図１から図１１に示す実施の形態に基づいて詳細に説明する。
【００１５】
括弧内は実施形態での符号、適用例を示す。本実施形態に係る撮像装置は、所定の時間間隔で連続して画像データを入力する画像入力手段（１０１）と、画像データ（Ｆａ（第一画像データ））に基づいて被写体（４０）の顔領域（５０）を検出する顔検知手段（１０２）と、所定間隔で入力される２つの画像データ（Ｆｂ（第二画像データ），Ｆｃ（第三画像データ））間における回転動作（腕動きジェスチャ）を検知する回転動作検知手段（１０３）と、該回転動作検知手段により、回転動作が検知された場合に当該撮像装置に所定動作を実行させる制御手段（シャッター制御手段１０５）と、を備え、回転動作検知手段は、２つの画像データ間における回転動作候補（腕動きベクトル）を検知し、該回転動作候補の回転中心座標（Ｏ’）と、該回転動作候補の回転角度（θ）を算出し、顔検知手段により検出された顔領域の中心座標（Ｏ）と、回転中心座標と、回転角度と、に基づいて、回転動作候補が前記回転動作に該当するか否かを判断するものである。
【００１６】
（撮像装置の構成）
本実施形態では、撮像装置の一例としてデジタルカメラを例に説明する。図１はデジタルカメラの外観図を示し、（ａ）はカメラ上面図、（ｂ）はカメラ正面図、（ｃ）はカメラ裏面図を示している。なお、撮像装置はデジタルカメラに限られるものではなく、自動撮影機能を備えた撮像装置であれば良い。
【００１７】
図１（ａ）に示すように、デジタルカメラは、上面に、サブＬＣＤ１と、レリーズシャッター（レリーズボタン）２（ＳＷ１）と、モードダイヤル４（ＳＷ２）とを有する。
【００１８】
また、図１（ｂ）に示すように、デジタルカメラは、正面に、ストロボ発光部３と、測距ユニット５と、リモコン受光部６と、レンズユニット７と、光学ファインダ（正面）１１とを有する。また、メモリカードスロットル２３は、ＳＤカード等のメモリカード３４を挿入するスロットルを示し、カメラ側面に設けられる。
【００１９】
また、図１（ｃ）に示すように、デジタルカメラは、裏面に、ＡＦＬＥＤ（オートフォーカスＬＥＤ）８と、ストロボＬＥＤ９と、ＬＣＤモニタ（表示手段）１０と、光学ファインダ（裏面）１１と、ズームボタン（ズームレバー）ＴＥＬＥ１２（ＳＷ４）と、電源スイッチ１３（ＳＷ１３）と、ズームボタン（ズームレバー）ＷＩＤＥ１４（ＳＷ３）と、セルフタイマ／削除スイッチ１５（ＳＷ６）とを有する。
【００２０】
さらに、メニュースイッチ１６（ＳＷ５）と、ＯＫスイッチ１７（ＳＷ１２）と、左／画像確認スイッチ１８（ＳＷ１１）と、下／マクロスイッチ１９（ＳＷ１０）と、上／ストロボスイッチ２０（ＳＷ７）と、右スイッチ２１（ＳＷ８）と、画像を表示するディスプレイスイッチ２２（ＳＷ９）とを有する。
【００２１】
図２は図１に示したデジタルカメラの制御系の機能ブロック図を示している。以下、デジタルカメラ内部のシステム構成について説明する。
【００２２】
図２に示すように、このデジタルカメラ内には、レンズユニット７に設置した撮影レンズ系を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ１２１、ＣＣＤ１２１から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するフロントエンドＩＣ（Ｆ／Ｅ）１２０、フロントエンドＩＣ（Ｆ／Ｅ）１２０から出力されるデジタル信号を処理する信号処理ＩＣ１１０、データを一時的に格納するＳＤＲＡＭ３３、制御プログラム等が記憶されたＲＯＭ３０、モータドライバ３２等が設けられている。
【００２３】
レンズユニット７は、ズームレンズ、フォーカスレンズおよびメカニカルシャッタ等からなり、モータドライバ３２によって駆動される。モータドライバ３２は、信号処理ＩＣ１１０の内部に含まれるマイクロコンピュータ（ＣＰＵ、制御部）１１１によって制御される。
【００２４】
ＣＣＤ１２１は、光学画像を光電変換するための固体撮像素子であって、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。
【００２５】
フロントエンドＩＣ（Ｆ／Ｅ）１２０は、ＣＣＤ出力電気信号（アナログ画像データ）についてサンプリングホールド（相関二重サンプリング）を行うＣＤＳ１２２、このサンプリングされたデータのゲインを調整するＡＧＣ（Auto Gain Control）１２３、デジタル信号変換を行うＡ／Ｄ変換機（Ａ／Ｄ）１２４、及びＣＣＤＩ／Ｆ１１２より垂直同期信号（ＶＤ）、水平同期信号（ＨＤ）を供給されＣＣＤ１２１とＦ／Ｅ１２０との駆動タイミング信号を発生するＴＧ（タイミングジェネレータ：制御信号発生器）１２５を有する。
【００２６】
発振器（クロックジェネレータ）は、ＣＰＵ１１１を含む信号処理ＩＣ１１０のシステムクロックとＴＧ１２５等にクロックを供給している。ＴＧ１２５は発振器のクロックを受けて、ピクセル同期をするためのピクセルクロックを信号処理ＩＣ１１０内のＣＣＤＩ／Ｆ１１２に供給する。
【００２７】
Ｆ／Ｅ１２０から信号処理ＩＣ１１０に入力されたデジタル信号は、ＣＣＤＩ／Ｆ１１２を介して、メモリコントローラ１１５によりＳＤＲＡＭ３３にＲＧＢデータ（ＲＡＷ−ＲＧＢ）として一時保管される。
【００２８】
信号処理ＩＣ１１０は、システム制御を行うＣＰＵ１１１、ＣＣＤＩ／Ｆ１１２、リサイズ処理部１１３、メモリコントローラ１１５、表示出力制御部１１６、圧縮伸張部１１７、メディアＩ／Ｆ部１１８、ＹＵＶ変換部１１９等から構成されている。
【００２９】
ＣＣＤＩ／Ｆ１１２は、垂直同期信号（ＶＤ）、水平同期信号（ＨＤ）の出力を行い、その同期信号に合わせてＡ／Ｄ１２４から入力されるデジタル（ＲＧＢ）信号を取り込んで、メモリコントローラ１１５経由でＳＤＲＡＭ３３にＲＧＢデータの書き込みを行う。
【００３０】
表示出力制御部１１６はＳＤＲＡＭ３３に書き込まれた表示用データを表示部に送り、撮影した画像の表示を行う。表示出力制御部１１６は、デジタルカメラが内蔵しているＬＣＤモニタ１０に表示することも、ＴＶビデオ信号として出力して外部装置に表示することも可能である。
【００３１】
ここでいう、表示用データとは、自然画像のＹＣｂＣｒと、撮影モードアイコンなどを表示するＯＳＤ（オンスクリーンディスプレイ）データであり、いずれもＳＤＲＡＭ３３上に置かれたデータをメモリコントローラ１１５が読み出して表示出力制御部１１６に送り、表示出力制御部１１６で合成したデータをビデオデータとして出力する。
【００３２】
圧縮伸張部１１７は、記録時はＳＤＲＡＭ３３に書き込まれたＹＣｂＣｒデータを圧縮してＪＰＥＧ符号化されたデータを出力し、再生時は読み出したＪＰＥＧ符号化データをＹＣｂＣｒデータに伸張して出力する。
【００３３】
メディアＩ／Ｆ１１８は、ＣＰＵ１１１の指示により、メモリカード３４内のデータをＳＤＲＡＭ３３に読み出したり、ＳＤＲＡＭ３３上のデータをメモリカード３４に書き込んだりする。
【００３４】
ＹＵＶ変換部１１９は、ＣＰＵ１１１から設定された画像現像処理パラメータに基づき、ＳＤＲＡＭ３３に一時保管されたＲＧＢデータを輝度Ｙと色差ＣｂＣｒデータ（ＹＵＶデータ）に変換処理し、ＳＤＲＡＭ３３へ書き戻す。
【００３５】
リサイズ処理部１１３は、ＹＵＶデータを読み出して、記録するために必要なサイズへのサイズ変換、サムネイル画像へのサイズ変換、表示に適したサイズへのサイズ変換などを行う。
【００３６】
また、全体の動作を制御する制御部であるＣＰＵ１１１は、起動時にＲＯＭ３０に格納されたカメラの制御を行う制御プログラムおよび制御データを、例えばＳＤＲＡＭ３３にロードし、そのプログラムコードに基づいて全体の動作を制御する。
【００３７】
ＣＰＵ１１１は、操作部３１のボタンキー等による指示、あるいは図示しないリモコン等の外部動作指示、あるいはパーソナルコンピュータ等の外部端末からの通信による通信動作指示に従い、撮像動作制御、画像現像処理パラメータの設定、メモリコントロール、表示制御等を行う。
【００３８】
操作部３１は、撮影者がデジタルカメラの動作指示を行うためのものであり、撮影者の操作によって所定の動作指示信号が制御部に入力される。例えば、図１に示すように、撮影を指示する２段（半押し、全押し）レリーズシャッター２、光学ズームおよび電子ズーム倍率を設定するズームボタン１２,１４等の各種ボタンキーを備えている。
【００３９】
操作部３１よりデジタルカメラの電源キーがオンされたことを検出すると、ＣＰＵ１１１は各ブロックに所定の設定を行う。この設定により、レンズユニット７を介してＣＣＤ１２１で受光した画像は、デジタル映像信号に変換されて信号処理ＩＣ１１０に入力される。
【００４０】
信号処理ＩＣ１１０へ入力されたデジタル信号はＣＣＤＩ／Ｆ１１２に入力される。ＣＣＤＩ／Ｆ１１２では光電変換されたアナログ信号に黒レベル調整等の処理が行われて、ＳＤＲＡＭ３３に一旦保存される。このＳＤＲＡＭ３３に保存されたＲＡＷ−ＲＧＢ画像データは、ＹＵＶ変換部１１９に読み出されて、ガンマ変換処理、ホワイトバランス処理、エッジエンハンス処理、ＹＵＶ変換処理が行われＹＵＶ画像データとしてＳＤＲＡＭ３３へ書き戻される。
【００４１】
ＹＵＶ画像データは表示出力制御部１１６に読み出され、例えば出力先がＮＴＳＣシステムのＴＶであれば、リサイズ処理部１１３により、そのシステムに合わせた水平・垂直の変倍処理が施され、ＴＶに出力される。この処理がＶＤ毎に行われることで、スチル撮影前の確認用の表示であるモニタリングが行われる。
【００４２】
（撮像装置の動作）
次に、デジタルカメラのモニタリング動作および静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
【００４３】
先ず、撮影者が電源スイッチ１３をＯＮにし、モードダイヤル４を撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。これをＣＰＵ１１１が検知すると、ＣＰＵ１１１はモータドライバ３２に制御信号を出力して、レンズユニット７を撮影可能位置に移動させ、かつ、ＣＣＤ１２１、Ｆ／Ｅ１２０、信号処理ＩＣ１１０、ＳＤＲＡＭ３３、ＲＯＭ３０、ＬＣＤモニタ１０等を起動させる。
【００４４】
そして、レンズユニット７の撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤ１２１の各画素の受光面上に結像する。そして、ＣＣＤ１２１から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ１２２、ＡＧＣ１２３を介してＡ／Ｄ１２４に入力され、Ａ／Ｄ１２４により１２ビットのＲＡＷ−ＲＧＢデータに変換する。
【００４５】
このＲＡＷ−ＲＧＢデータは、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２に取り込まれてメモリコントローラ１１５を介してＳＤＲＡＭ３３に保存される。そして、ＳＤＲＡＭ３３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部１１９に入力されて表示可能な形式であるＹＵＶデータに変換された後に、メモリコントローラ１１５を介してＳＤＲＡＭ３３にＹＵＶデータが保存される。
【００４６】
そして、ＳＤＲＡＭ３３からメモリコントローラ１１５を介して読み出したＹＵＶデータは、表示出力制御部１１６を介してＬＣＤモニタ１０へ送られ、撮影画像（動画）が表示される。ＬＣＤモニタ１０に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ１１２による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
【００４７】
なお、このモニタリング動作時は、電子ファインダとして機能するＬＣＤモニタ１０に撮影画像（動画）が表示されているだけで、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。
【００４８】
この撮影画像のＬＣＤモニタ１０への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部１１６からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。
【００４９】
そして、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２は、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値（ＷＢ評価値ともいう）を算出する。
【００５０】
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
【００５１】
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ１２１の全画素の受光面に対応した画面（画像領域）を２５６ブロック（エリア）に等分割（水平１６分割、垂直１６分割）し、それぞれのブロックのＲＧＢ積算を算出する。
【００５２】
そして、制御部は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ１２１の電子シャッター回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部１１９でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、ＡＥ処理とＡＷＢ処理は、モニタリング時には連続的に行われている。
【００５３】
そして、モニタリング動作時に、レリーズボタン２が押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。
【００５４】
即ち、レリーズボタン２が押圧（半押しから全押し）操作されると、制御部からモータドライバ３２への駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。
【００５５】
ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ１１２で算出されている各フォーカス位置におけるＡＦ評価値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
【００５６】
そして、ＡＥ処理が行われ、露光完了時点で、制御部からモータドライバ３２への駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤ１２１から静止画用のアナログＲＧＢ画像信号が出力される。そして、モニタリング時と同様に、Ｆ／Ｅ１２０のＡ／Ｄ１２４によりＲＡＷ−ＲＧＢデータに変換される。
【００５７】
そして、このＲＡＷ−ＲＧＢデータは、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２に取り込まれ、ＹＵＶ変換部１１９でＹＵＶデータに変換されて、メモリコントローラ１１５を介してＳＤＲＡＭ３３に保存される。そして、このＹＵＶデータはＳＤＲＡＭ３３から読み出されて、リサイズ処理部１１３で記録画素数に対応するサイズに変換され、圧縮伸張部１１７でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ３３に書き戻された後にメモリコントローラ１１５を介してＳＤＲＡＭ３３から読み出され、メディアＩ／Ｆ１１８を介してメモリカード３４に保存される。
【００５８】
（自動撮影制御）
以下、本実施形態に係る撮像装置による、顔検知および回転動作検知に基づく撮像装置の撮影制御（自動撮影制御ともいう）について説明する。
【００５９】
なお、本実施形態では、顔検知および回転動作検知に基づいて撮像装置のシャッター制御を行い、撮影動作を実行させる場合を例に説明するが、以下に述べる顔検知および回転動作検知に基づく撮像装置の制御は、撮影制御に限られるものではなく、撮像装置の他の動作であっても良い。例えば、顔検知および回転動作検知に基づいて、制御手段が、撮像装置の電源をオフにするなどの電源制御等を行うようにしても良い。
【００６０】
図３は、自動撮影制御に係る撮像装置の制御ブロックの説明図である。また、図４は、撮像装置の各制御ブロックが実行する自動撮影制御（本発明に係る撮像方法、本発明に係る撮像プログラムが実行する撮像処理）の処理フローチャートを示している。
【００６１】
[画像入力処理（顔検知）]
画像入力手段１０１は、撮影される画像データ（ＬＣＤモニタ１０に表示される表示用データ）を入力する手段であり、図５に示すように、時系列の連続した画像データ（フレーム画像データ）を所定の時間間隔（Δｔ（例えば、３３ｍｓｅｃ））にて順次入力する（Ｓ１０１：画像入力処理）。
【００６２】
図５に示す例では、Ｆａは最初の画像データを示し、次に、所定の時間間隔（Δｔ）で次の画像データが入力される。このようにして時系列の画像データが入力されていく。この時系列の画像データはＳＤＲＡＭ３３に保存される。
【００６３】
[顔検知処理]
先ず、顔検知手段１０２は、連続して入力される画像データのうちの１つの画像データ（ここではＦａを例とする）に基づいて、被写体人物の顔を検知する（Ｓ１０２：顔検知処理）。本実施形態の顔検知手段１０２では、被写体人物４０の顔４１に相当する顔領域５０を検知する。検知される顔領域５０は、中心座標をＯ（ｘ０，ｙ０）として、頂点ＡＢＣＤで囲まれる領域である（図５）。
【００６４】
なお、顔検知処理（Ｓ１０２）の処理内容（アルゴリズム）は、パターンマッチング等の公知の手法、または新規の手法によれば良く、特に限られるものではない。また、被写体は必ずしも人間である必要はなく、動物等の顔検知処理を行うようにしても良い。この場合は、動物の顔を認識する処理を行い、後述の腕動きジェスチャ検知手段１０３にて、予め学習させた学習結果を用いて当該動物の腕、足等の動き（回転動作する部位）を検知するようにすれば良い。
【００６５】
次に、顔検知手段１０２で顔の検知がなされたか否かを判断し（Ｓ１０３：判断処理）、顔が検知されない場合（Ｓ１０３：Ｎｏ）は、画像入力処理（Ｓ１０１）に戻り、次の画像データの処理に移る。
【００６６】
[回転動作検知処理（腕動きジェスチャ検知処理）]
これに対し、顔が検知された場合（Ｓ１０３：Ｙｅｓ）は、回転動作検知手段１０３により回転動作検知処理（Ｓ１０４）が実行される。図６に回転動作検知処理（Ｓ１０４）の詳細フローチャートを示す。
【００６７】
＜腕動きジェスチャ＞
本実施形態では、回転動作として、図７に示すように被写体人物４０の肘４２を基点（回転中心）として、左右方向に腕４３を振って、手（掌）４４の回転動作を検出する場合を例に説明する。以下、この回転動作を「腕動きジェスチャ」と呼ぶ。図７（Ａ）は腕動きジェスチャ前の画像データ、図７（Ｂ）は腕動きジェスチャ後の画像データを示している。尚、図７（Ｂ）の点線部分は、前後の動きを明確にするために付加したものである。
【００６８】
なお、腕動きジェスチャは、肘４２を回転中心として手４４が回転するジェスチャに限るものではなく、肩４５を基点（回転中心）として手４４が回転する腕全体の動作の腕動きジェスチャであっても良い。また、腕４３の回転方向も図７の例に限られるものではなく、腕４３の位置も肘４２から下側に下がった状態からのジェスチャであっても良い。また、腕４３を画面前後方向（画面の手前方向）に動かす場合であっても、フレーム間で回転角度（後述のθ）が生じる動作であれば検出可能である。
【００６９】
また、ジェスチャは、必ずしも腕の動きに限られるものではなく、回転中心を基点として回転動作するものであればよい。例えば、被写体人物４０が合図となる道具（棒状、旗など）を持って、それを回転動作させた場合も、その回転中心と回転している道具の先端を検出することによるものであっても良い。
【００７０】
なお、検知の対象とするジェスチャについては、後述するように、教師付き学習において、対応する学習データを予め学習させて、識別式を算出しておくことにより、各ジェスチャの判断が可能となる。また、複数の種類のジェスチャを検知可能とし、ユーザにいずれの動作に基づいて撮像装置の制御を行うかどうかを選択可能に構成することも好ましい。
【００７１】
＜画像入力処理＞
図６に示すように、回転動作検知処理では、先ず、画像入力手段１０１から画像入力処理がなされる（Ｓ２０１）。本実施形態では、顔検知手段１０２が顔検知を行うフレーム画像データ（第一画像データＦａ）と、回転動作検知手段１０３が回転動作を検知する２枚（動作前／動作後）のフレーム画像データ（第二画像データＦｂ／第三画像データＦｃとする）における画像データＦａとＦｂとは異なるフレーム画像データとし、画像データＦａ後のＭフレーム後に入力される画像データを画像データＦｂとしている（図５)。なお、Ｍの値は１以上の小さい値であることが好ましい。
【００７２】
ここで、画像データは、フレームレート（例えば３３ｍｓｅｃ）で入力されるため、１つのフレーム画像データについて、顔検知処理（Ｓ１０２）を行い、同じフレーム画像データを回転動作検知処理（Ｓ１０４）の動作前のフレームとすると、異なる検知処理を同時に行う必要があるため、撮像装置の処理負担が増加する。
【００７３】
そこで、画像データＦａとＦｂとは異なるフレーム画像データとして、同一フレームの処理可能時間では、顔検知手段１０２、または回転動作検知手段１０３のどちらか一方しか動作させないことが好ましい。このように異なる検知手段が同時に動作しないようにして、ソフトウエアによる画像処理の場合であればＣＰＵの処理負担軽減をして、処理の高速化や省エネにつなげることができる。また、個別の機能を有した画像処理チップによる画像処理の場合、常に片方のみ主に動作させるため消費電力の削減につなげることができる。なお、処理速度や処理性能に余裕のある場合等においては、画像データＦａとＦｂを同一のフレーム画像データとしても良い。
【００７４】
＜フレーム間隔＞
また、腕動きジェスチャは所定のフレーム間隔Ｎ（図５）で入力される２つのフレーム画像（Ｆｂ，Ｆｃ）間における腕動きを検出するものである。フレーム間隔Ｎの値はパラメータとして、事前に設定される。なお、フレーム間隔Ｎは、選択可能としても良く、その際、フレーム間隔Ｎの最小値と最大値を制限するようにしても良い。
【００７５】
フレーム間隔Ｎの値が大きすぎると、一定の角速度で腕を回転させるとき、フレーム間の腕動き角度が大きくなったり、再度、腕が戻ってきてしまったりして（往復回転動き）回転角度が小さくなる可能性がある。したがって、フレーム間隔Ｎは、検出対象の回転動作する対象の速度に併せて適当なＮの値を設定すればよい。
【００７６】
本実施形態では、フレーム間隔Ｎは、想定される腕の角速度において、腕の回転角度θが４５°〜９０°の範囲となるようなフレーム間隔を、腕の角速度とフレームレート（３３ｍｓｅｃ）に基づいて決定している。例えば、０．５秒程度で腕が４５°〜９０°の範囲で回動すると仮定すると、Ｎ＝１５程度となる。
【００７７】
なお、フレーム間隔Ｎはこれに限られるものではなく、例えば、Ｎ＝１として連続するフレーム間での腕動きを検出しても良いし、数フレーム程度としても良い。
【００７８】
＜腕動きベクトル探索領域の設定＞
次に、探索領域設定手段２０１は、図８に示すように、検出された顔領域５０に基づいて、回転動作候補（腕動きベクトル）を検出する領域である腕動きベクトル探索領域５１を設定する（Ｓ２０２）。腕動きベクトル探索領域５１の設定は、顔領域５０（または中心座標をＯ（ｘ０，ｙ０））に対して、腕４３の動く可能性のある画面上の領域、例えば、図８に示すように、中心座標をＯ（ｘ０，ｙ０）の左右側に所定の画素範囲で設定されるものである。なお、腕動きベクトル探索領域５１を設定せず、画面全体に対し、後述の処理を行って回転動作候補を検知することも可能であるが、処理量を軽減するために所定範囲に設定することが好ましい。
【００７９】
＜動きベクトル検出＞（ブロックマッチング）
次に、ブロックマッチング手段２０２は、２つのフレーム画像間における動きのあった領域を動きベクトルとして検出する（Ｓ２０３）。本実施形態では、図９（Ａ），（Ｂ）に示すように、図７に示したフレーム画像データ（Ｆｂフレーム、Ｆｃフレーム）を所定の画素数（ｎ×ｎ）で形成されるブロック５２で分割し、フレーム画像間で同じ部分のブロックマッチングにより、動きのあったブロック５２の動き量、すなわち、動きベクトル（ＨＨ’）を求める。なお、ブロックマッチング方法は、公知または新規の手法によれば良く特に限られるものではない。
【００８０】
なお、ブロックのサイズは、回転動作の対象物に応じて適宜設定されるパラメータである。本実施形態では、腕４３の動きを区別できるような大きさで分割する。例えば、一般的な顔のサイズと腕のサイズの比に基づいて、顔のサイズから決めることができる。例えば、顔領域５０の検知サイズ（小さい顔の場合）を２０×２０画素とした設定した場合、動き検知ブロックサイズを５×５画素に設定することができる。
【００８１】
なお、本実施形態では、動きベクトルの始点と終点とは、５×５画素の中心ブロックとしているが、これに限られるものではない。また、カメラの焦点距離と被写体の距離によって、被写体の大きさが変わるため、ブロックサイズは適宜最適な値に設定されるものであればよい。
【００８２】
＜画面全体動きの検出＞
次に、画面全体動き除去手段２０３は、画面全体に生じた動き（ブレ）を除去する（Ｓ２０４）。すなわち、撮像装置が三脚などに固定して撮影される場合等においては、画面全体のブレ（画面全体動きという）は生じ難いが、その他の場合に画面全体動きが生じる場合がある。そこで、この画面全体動き量を検出し、これを除く処理（画面全体動き除去処理）を行うことが好ましい。これにより、動きベクトルの検出結果の精度を向上させることができる。
【００８３】
すなわち、フレーム間で画面全体の平行移動や回転などの画面全体動きがある場合、ブロックマッチングにより検知された動きベクトルには画面全体動きの影響を受けているため、これをキャンセルする必要がある。
【００８４】
例えば、図８に示すように、腕動きベクトル探索領域５１以外の領域の複数の動きベクトル（例えば、Ｖａ，Ｖｂ）を使って画面全体の動きベクトルを計算することができる。
【００８５】
フレーム間の動きは、例えば、次式（１）で表すことができる（アフィン変換）。
【数１】
【００８６】
上記式（１）における（ｘ１,ｙ１）と（ｘ０,ｙ０）はフレームＦｂとＦｃの対応点座標であり、腕動きベクトル探索領域５１以外の領域での動きベクトルＶａ，Ｖｂから得られる。対応点の数が十分多い場合（６個以上）であれば、ａ,ｂ,ｃ,ｄ,ｅ,ｆ係数を計算できる。
【００８７】
上記式（１）より、任意座標（ｘ,ｙ）のＦｂとＦｃフレーム間画面全体の動きベクトル（Ｖｘ０，Ｖｙ０）を求めることができる。よって、座標（ｘ,ｙ）での動きベクトル（Ｖｘ, Ｖｙ）から画面全体の動きベクトル（Ｖｘ０，Ｖｙ０）を引くことで、画面全体動きの影響を除去した動きベクトル（Ｖｘ−Ｖｘ０,Ｖｙ−Ｖｙ０）を求めることができる。
【００８８】
以上説明したように、フレームＦｂとフレームＦｃ間のフレーム全体動きベクトルを動きベクトルから引き算することで、画面全体の動きがキャンセルできる。残した動きベクトルは腕動きベクトルの候補となる。
【００８９】
なお、本実施形態では、腕動きベクトル探索領域５１外での動きベクトルに基づいて画面全体の動きベクトル量を求める例について説明したが、腕動きベクトル探索領域５１内での動きベクトルに基づいて上記処理を行うようにしても良い。また、画面全体の動きベクトル量の算出は、所定数のブロック５２をサンプリングして求めるようにすれば良い。
【００９０】
また、本実施形態では、アフィン変換を用いて撮像装置の平行方向のずれ量を補正する例について説明したが、画面全体動きの除去方法は公知または新規の方法によれば良く、これに限られるものではない。例えば、画面の垂直方向のずれ量も考慮する場合は、射影変換を用いた補正を行うようにしても良い。
【００９１】
＜ノイズベクトル除去＞
次に、ノイズベクトル除去手段２０４は、腕動きベクトル探索領域５１内において孤立した動きベクトルをノイズベクトルとして除去する（Ｓ２０５）。すなわち、画面全体の動きとは別に、フレーム間で腕動き以外の動きがある場合等においては、この動きを動きベクトルとして検知してしまう。そこで、本処理では、腕動きベクトル探索領域５１内において、実際の腕動きに対応しないと推測される動きベクトルをノイズベクトルとして削除するものである。
【００９２】
図８に示す例では、Ｖｃ，Ｖｄ，Ｖｅがノイズベクトルに相当する。なお、画面全体についてブロックマッチングを行って動きベクトルを検知した場合は、腕動きベクトル探索領域５１以外の動きベクトル（Ｖｆ，Ｖｇ）についても削除する。
【００９３】
ノイズベクトルの判断は、腕動きベクトル探索領域５１内において、孤立した動きベクトルであるかどうかに基づいて判断することができる。例えば、検出された各動きベクトルの周囲の所定距離（半径Ｒ画素）以内に他の動きベクトルが存在するかどうかを判断し、存在する場合は、腕動きベクトルと判断し、存在しない場合は、孤立したノイズベクトルと判断することができる。なお、半径Ｒは、適宜設定される値で有れば良いが、例えば２０画素とすることができる。また、判断基準とする画素は、動きベクトルを構成するいずれの画素でもよいが、例えば、動きベクトルの始点とすれば良い。
【００９４】
以上の処理によりノイズベクトルと判断されるベクトルＶｃ，Ｖｄ，Ｖｅが動きベクトルから除外される。以上、Ｓ２０１〜Ｓ２０５の処理により、腕動きに対応した腕動きベクトル（回転動作候補）を検出することができる。
【００９５】
＜回転中心および回転角度の算出＞
次に、回転中心／回転角度算出手段２０５は、検出した腕動きベクトルに基づいて、回転中心座標と回転角度とを算出する（Ｓ２０６）。すなわち、図８，図１０に示すように、フレームＦｂとＦｃから検出された腕動きベクトル（Ｈ１Ｈ１’，Ｈ２Ｈ２’，Ｈ３Ｈ３’…）に基づいて、腕動きの回転中心の座標Ｏ’（ｘ１，ｙ１）と回転角度θを算出する。なお、説明を簡易にするため３つの腕動きベクトルＨ１〜Ｈ３が検出された例について説明しているが、実際の処理における検出数Ｈｎは、例えば、１０以上となる。
【００９６】
回転中心座標と回転角度の算出方法の一例を説明する。腕の各部分の動きベクトルの中点を通り該中点に垂直な線（法線、図１０中の点線）の集まる点を回転中心座標Ｏ’（ｘ１，ｙ１）として求める。なお、各法線の交点が１点には集まらない場合は、隣り合う２本の法線の交点座標の平均値を回転中心座標Ｏ’（ｘ１，ｙ１）とすれば良い。
【００９７】
次に、回転中心座標Ｏ’（ｘ１，ｙ１）と各動きベクトルとの距離（例えば、始点Ｈ１または終点Ｈ１’との距離）を回転半径Ｒ１として計算する。さらに、動きベクトルＨ１Ｈ１’の長さをｌ１とすると、回転角度θ１は、次式（２）により、回転角度θ１を算出することができる。
θ１＝ｌ１／Ｒ１ ・・・（２）
【００９８】
なお、本実施形態（上記式（２））では、θを９０度以内としているが、これに限られるものではなく、９０°以上の場合も検出可能とするようにしても良い。また、回転中心座標Ｏ’（ｘ１，ｙ１）と動きベクトルの始点Ｈ１および終点Ｈ１’に基づいて回転角度θ１を求めても良い。
【００９９】
同様に腕動きベクトルＨ２Ｈ２’，Ｈ３Ｈ３’から、それぞれの動きベクトルの回転半径Ｒ２,Ｒ３と動きベクトルの長さｌ２，ｌ３を求め、回転角θ２，θ３を算出する。回転角度θ１,θ２,θ３の平均値を腕の回転角度θとして算出する。
【０１００】
＜回転動作識別＞
最後に、回転動作識別手段２０６は、検出された回転動作候補が実際の腕動きジェスチャ（回転動作）に該当するかどうかを識別する（Ｓ２０７〜Ｓ２０９）。腕動きジェスチャの判定は、腕動きの回転中心と顔領域中心の相対的な位置関係と腕回転角度の特徴量により認識する。
【０１０１】
まず、顔領域の中心座標Ｏ（ｘ０，ｙ０）と腕の回転中心座標Ｏ´（ｘ１,ｙ１）から、位置ずれ量を次式（３），（４）で算出し、腕の回転中心Ｏ’（ｘ１,ｙ１）と顔中心と回転中心との距離ｄｘ、ｄｙおよび回転角度θを腕ジェスチャ認識の特徴量とする（Ｓ２０７）。
ｄｘ＝ｘ１−ｘ０ ・・・（３）
ｄｙ＝ｙ１−ｙ０ ・・・（４）
【０１０２】
次に、特徴量の正規化を行う（Ｓ２０８）。すなわち、撮像装置の変倍ズームがあるとき、被写体の大きさはズームの変倍率によって異なる。例えば、平均顔サイズが２０×２０画素となるように、画像全体を変倍し、正規化する。このようにすれば、被写体の大きさが変わっても、ズーム倍率によらず共通の認識辞書を使用することができ、正しく腕動きジェスチャの認識ができるため好ましい。
【０１０３】
次に、これらの特徴量を用いて、予め機械学習に基づいて算出された識別式を用いて腕動きジェスチャに該当するかどうかを判断する（Ｓ２０９）。
【０１０４】
識別式の算出（学習ステップ）について説明する。予め、対象となる回転動作である腕動きジェスチャのサンプルデータ（動画サンプルデータ）を集め、腕動きの回転中心と顔領域中心との相対的な位置関係と腕の回転角度のサンプルデータ（Ｏ’（ｘ１,ｙ１）、ｄｘ、ｄｙ、θ）を用いて、学習モデルにより、腕動きジェスチャ認識辞書（学習データ）を作成する。
【０１０５】
次に、上記処理において求めた特徴量値と、事前学習した学習データに基づいて算定される識別式に基づいて腕動きジェスチャに該当するかどうかを判断するものである（認識ステップ）。
【０１０６】
具体的には、例えば、線形サポートベクタマシン（Support Vector Machine,SVM）法による認識辞書を用いて、次式（５）に示すように、線形ＳＶＭの識別関数ｆ(ｄｘ、ｄｙ、θ)を生成することができる。この識別関数ｆ（ｄｘ，ｄｙ，θ）を用いて、ジェスチャ認識することができる。
ｆ＝Ａ・ｄｘ＋Ｂ・ｄｙ＋Ｃ・θ ・・・（５）
【０１０７】
なお、Ａ，Ｂ，Ｃは上記事前学習により算出される。識別関数（式（５））で得られた識別関数値ｆが閾値（ｔｈとする）より大きい場合、腕動きジェスチャが認識されると判断し、ｆは閾値より小さい場合、腕動きジェスチャでないと判断される。
【０１０８】
図１１にＳＶＭによる腕ジェスチャ認識を模式的に示したグラフを示す。図１１では、腕動きジェスチャの特徴量分布を○、非腕動きジェスチャの特徴量値分布を×として示している。なお、図１１では、説明を簡易にするため２つの変数（ｄｘ,θ)の分布図を使って説明しており、識別面は直線となる。直線以上になる、つまり○の点は腕動きジェスチャと認識される。直線より下の×の部分は非腕動きジェスチャとして認識される。なお、上記式（５）に対応する３つの変数（ｄｘ,ｄｙ,θ）の場合は３次元の特徴空間となり、識別面は平面となる。識別平面より上の特徴量値は腕動きジェスチャの特徴量となり、識別平面より下の特徴量値は非腕動きジェスチャの特徴量となる。
【０１０９】
以上説明した特徴量を用いた学習方法による認識によれば、腕の回転中心と顔中心の相対位置、回転角度の値はある程度の分散があっても、正確な認識は可能となる。つまり、被写体による腕の長さの違いや、回転中心と顔中心の位置関係の違いや、腕の回転角度が異なる場合でも、正確な認識が可能となる。
【０１１０】
なお、本実施形態では、認識辞書を作成する学習モデルとして、線形ＳＶＭの例を述べたが、識別関数ｆは線形に限らず、非線形識別関数を使用してもよい。また、学習モデルとして、ＡｄａＢｏｏｓｔなどの他の学習モデルを用いるようにしても良い。また、認識辞書は事前に作成され、撮像装置の記憶手段には認識辞書に基づいて算出された識別関数が記憶されているものである。
【０１１１】
[撮影動作制御]
図４のフローチャートの説明に戻る。識別関数（式（５））で得られた識別関数値ｆが閾値（ｔｈとする）より大きい場合（Ｓ１０５：Ｙｅｓ）は、所望の回転動作（腕動きジェスチャ）が認識されると判断する。識別関数値ｆが閾値より小さい場合（Ｓ１０５：Ｎｏ）、所望の回転動作でないと判断され、画像入力処理（Ｓ１０１）に戻る。
【０１１２】
回転動作があるものと判断されると、通知手段１０４は、撮像装置から腕動きジェスチャが検知されたサインを撮影者や被写体人物に対して表示する（Ｓ１０６：ジェスチャサイン表示処理）。
【０１１３】
尚、通知手段１０４によるジェスチャサイン表示処理での表示方法は、特に限られるものではないが、例えば、撮像装置の前面にＬＥＤライト（図示せず）を設け、これを点灯するようにしても、その他の発光部を点灯させるようにしても、サブＬＣＤ、ＬＣＤモニタ１０等に文字、マーク等を表示させるようにしても良い。また、通知手段１０４での通知（Ｓ１０６）を行わずに、所定時間経過後にシャッターを切る制御を行う（Ｓ１０７）ものであっても良い。
【０１１４】
次に、シャッター制御手段１０５は、ジェスチャサイン表示後の、所定時間後にシャッターを切る制御を行い（Ｓ１０７）、撮影および画像記録処理を行うものである（Ｓ１０８）。当該処理（Ｓ１０７〜Ｓ１０８）の詳細は、上述のレリーズボタン２が押圧された動作と同様であり、このようにして撮影された画像情報は、例えば、メモリカード３４に記録される。
【０１１５】
[被写体が複数の場合]
なお、被写体が複数の場合、顔検知処理（Ｓ１０２）では、複数の顔が検知されることになるため、予め被写体の優先順位を決定しておき、複数の腕動きジェスチャが認識された場合、被写体の優先順位で、撮像制御する腕動きジェスチャを決めることが好ましい。また、優先順位の最も高い被写体（主要被写体）についてのみ、回転動作検知処理（Ｓ１０４）を行うようにしても良い。
【０１１６】
被写体の優先順位の決定方法は、特に限られるものではないが、例えば、画面中心部の顔を主要被写体としてもよいし、一番サイズの大きな顔を主要被写体としてもよい。また、優先順位の設定のパターンを複数用意し、ユーザが選択可能としても良い。
【０１１７】
以上説明したように、本実施形態に係る撮像装置によれば、被写体と撮像装置が離れている場合や多くの被写体を同時撮影する場合等の顔サイズが小さい場合であっても、顔の検出後に、さらに腕の動きを検出したことをトリガとして、シャッターを切ることにより、撮影者の所望のタイミングにおいて、確実に自動でシャッターを切ることが可能となる。
【０１１８】
また、被写体の腕の動きだけを最初に検出するのではなく、顔検知により被写体の存在を検知したうえで、当該被写体の腕の動きジェスチャを検知するようにしているので、腕の動きの認識精度を向上させることができ、誤認識を低減することができる。
【０１１９】
さらに、腕の回転中心と顔中心の相対関係と腕の回転角度で腕ジェスチャを認識している。すなわち、まず、顔領域の中心座標は顔検知手段により求め、次に、腕動きの回転中心座標と回転角度を、顔領域の中心座標付近の領域の動きベクトルを求めて解析することにより計算しているため、パターン認識等の手段で手の位置を求めてからジェスチャを認識する手法に比べて計算が容易であり、高速に求めることが可能である。
【０１２０】
また、先に手を検知して、手の動きを検知する場合、手の形に変化がある場合等に検知率が低下することが考えられるが、上記実施形態では、腕を含めた手の並行シフト等の、軸回転となっていない手の動きを検知しないため、腕動きジェスチャの認識精度を高くでき、腕動きジェスチャの検知における誤認識を低下させることができる。
【０１２１】
また、顔領域の中心座標と、動きの回転中心座標と、動きの回転角度と、を特徴量データとしているので、特に腕の長さ、腕回転角度の大きさ、腕回転中心と顔中心の距離などの詳細なパラメータを個別に設定したり、記録したりすることが不要となっている。また、様々な腕動きジェスチャのデータを用いて、学習した辞書に基づく識別式により識別することで、手の形や腕の形、年齢、性別、体形等の異なる腕動きジェスチャの認識が可能となり、認識率が高く、ノイズにも強い。
【０１２２】
また、腕動きジェスチャが検知された際、撮影を実行前に、腕動きジェスチャが検知された旨を外部に通知する通知手段を備えているので、撮影装置に撮影される人にジェスチャが検知されたことを知らせ、撮影までの準備をするように、表情やポーズなどを準備することが可能となる。
【０１２３】
上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、上記の画像入力手段１０１、顔検知手段１０２、腕動きジェスチャ検知手段１０３、通知手段１０４、およびシャッター制御手段１０５、探索領域設定手段２０１、ブロックマッチング手段２０２、画面全体動き除去手段２０３、ノイズベクトル除去手段２０４、回転中心／回転角度算出手段２０５、回転動作識別手段２０６の各手段は、例えば、ＣＰＵ１１１で実行されるソフトウェア（撮像プログラム）を撮像装置で実行させることで構成でき、その実行の際に必要なデータは、例えば、ＳＤＲＡＭ３３にロードされる。また、上記各手段を、モジュール構成として、例えば、顔検知手段１０２、腕動きジェスチャ検知手段１０３、を実現するプログラムを他のハードウェアに適用可能である。また、当該撮像プログラムを撮像装置で実行可能に記録した記録媒体の態様にも適用される。
【符号の説明】
【０１２４】
１ サブＬＣＤ
２ レリーズシャッター（ＳＷ１）
３ ストロボ発光部
４ モードダイヤル（ＳＷ２）
５ 測距ユニット
６ リモコン受光部
７ レンズユニット
８ ＡＦＬＥＤ
９ ストロボＬＥＤ
１０ ＬＣＤモニタ
１１ 光学ファインダ
１２ ズームボタンＴＥＬＥ（ＳＷ４）
１３ 電源スイッチ（ＳＷ１３）
１４ ズームボタンＷＩＤＥ（ＳＷ３）
１５ セルフタイマ／削除スイッチ（ＳＷ５）
１６ メニュースイッチ（ＳＷ６）
１７ ＯＫスイッチ（ＳＷ１２）
１８ 左／画像確認スイッチ（ＳＷ１１）
１９ 下／マクロスイッチ（ＳＷ１０）
２０ 上／ストロボスイッチ（ＳＷ７）
２１ 右スイッチ（ＳＷ８）
２２ ディスプレイスイッチ（ＳＷ９）
２３ メモリカードスロットル
３０ ＲＯＭ
３１ 操作部
３２ モータドライバ
３３ ＳＤＲＡＭ
３４ メモリカード
４０ 被写体人物
４１ 顔
４２ 肘
４３ 腕
４４ 手
４５ 肩
５０ 顔領域
５１ 腕動きベクトル探索領域
５２ ブロック
１０１ 画像入力手段
１０２ 顔検知手段
１０３ 回転動作検知手段
１０４ 通知手段
１０５ シャッター制御手段
１１０ 信号処理ＩＣ
１１１ ＣＰＵ
１１２ ＣＣＤ Ｉ／Ｆ
１１３ リサイズ処理部
１１５ メモリコントローラ
１１６ 表示出力制御部
１１７ 圧縮伸長部
１１８ メディアＩ／Ｆ
１１９ ＹＵＶ変換部
１２０ Ｆ／Ｅ
１２１ ＣＣＤ
１２２ ＣＤＳ
１２３ ＡＧＣ
１２４ Ａ／Ｄ変換機
１２５ タイミングジェネレータ
２０１ 探索領域設定手段
２０２ ブロックマッチング手段
２０３ 画面全体動き除去手段
２０４ ノイズベクトル除去手段
２０５ 回転中心／回転角度算出手段
２０６ 回転動作識別手段
【先行技術文献】
【特許文献】
【０１２５】
【特許文献１】特開２０１０−７４７３５号公報
【特許文献２】特開２０１１−７８００９号公報
【技術分野】
【０００１】
本発明は、撮像装置、撮像方法および撮像プログラムに関する。さらに詳述すると、被写体を認識し、被写体の動きに基づいて制御を行う撮像装置、撮像方法および撮像プログラムに関する。
【背景技術】
【０００２】
従来、レリーズボタンが押下されてから所定時間経過後に被写体の撮影を行ったり、任意のタイミングにて自動的に被写体の撮影を行ったりする自動撮影（オートシャッター）機能を備えたデジタルカメラやデジタルビデオカメラ等の撮像装置が多く普及している。
【０００３】
従来の自動撮影では、レリーズボタンを押下してから撮像装置から離れ、自らも被写体となる場合等において、レリーズボタンの押下後に、十分に撮影の準備ができていない状態で撮影されてしまう場合や、撮影の準備が終わっても実際にシャッターが切られるまでしばらく待機しなければならないという問題があった。
【０００４】
また、リモコン等を使って遠隔操作によりシャッターを切る撮像装置も提案されているが、リモコンを忘れてしまうことや、常に携帯することが煩雑であるという問題があった。
【０００５】
このような課題に対して、例えば、特許文献１には、被写体人物の両目の開閉の動きに応じて、撮像装置のシャッターを自動制御する技術が提案されている。特許文献１では、複数の被写体（顔）が存在するときに顔に優先順位を付けて、優先順位の高い被写体の顔動きを認識したり、優先順位の高い被写体の顔の両目の開閉の組み合わせに応じて制御信号を入力したりする構成が開示されている。
【０００６】
しかしながら、上記特許文献１に記載の技術では、被写体の撮像装置からの距離が遠い場合には、顔のサイズが小さくなるため、その顔の一部の動きを認識することは、困難であるという問題があった。例えば、集合写真のような撮影の場合、被写体はカメラからある程度離れ、さらに、全員を撮影するために広角ズーム等を使う場合が多い。このような撮影状況では、撮影される個々の顔のサイズは小さくなる。したがって、顔の検知自体は精度よく検知することができた場合でも、その一部（目の開閉等）の変化までを正確に認識することは困難であり、自動撮影制御ができないという問題があった。
【０００７】
このため、顔の一部の動きを精度よく認識するためには、被写体が撮像装置に近い位置にあるか、望遠ズーム等を使用することで、結像される顔の大きさを一定以上の大きさとすること等が必要であった。
【０００８】
また、画像から顔やジェスチャを検出して撮像装置の動作制御を行う技術も提案されており、特許文献２には、画像データから顔画像を検出し、この検出した顔画像に対応する手画像を検出して、検出した手画像の形状または動きに応じて撮像装置の動作制御を行う技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上記の特許文献２に記載の技術では、ジェスチャ認識を正確に行うためには、ジェスチャ認識を行う体の部位の位置情報、色情報、サイズ情報、テクスチャ情報など、膨大な情報が必要となっており、また、膨大な情報を用いて認識を行うと装置に処理負荷がかかり時間も要してしまうという問題がある。更には、ジェスチャの仕方、肌の色、体の部位の大きさや形などは、個人によって異なるものであるため、膨大な情報を用いてジェスチャ認識を行った場合でも、正確に認識できない場合も考えられる。
【００１０】
そこで本発明は、撮像装置の動作制御を行うにあたり、画像から検出される被写体の顔領域と、該被写体についての回転する動きの回転中心座標および回転角度に基づいてジェスチャ認識を行うことにより、高速かつ認識精度の高い安定したジェスチャ認識を行って、該ジェスチャ認識に基づいて動作制御を行うことができる撮像装置、撮像方法および撮像プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
かかる目的を達成するため、本発明に係る撮像装置は、所定の時間間隔で連続して画像データを入力する画像入力手段と、前記画像データに基づいて被写体の顔領域を検出する顔検知手段と、所定間隔で入力される２つの前記画像データ間における回転動作を検知する回転動作検知手段と、該回転動作検知手段により、前記回転動作が検知された場合に当該撮像装置に所定動作を実行させる制御手段と、を備え、前記回転動作検知手段は、前記２つの画像データ間における回転動作候補を検知し、該回転動作候補の回転中心座標と、該回転動作候補の回転角度を算出し、前記顔検知手段により検出された前記顔領域の中心座標と、前記回転中心座標と、前記回転角度と、に基づいて、前記回転動作候補が前記回転動作に該当するか否かを判断するものである。
【発明の効果】
【００１２】
本発明によれば、高速かつ認識精度の高い安定したジェスチャ認識を行って、該ジェスチャ認識に基づいて動作制御を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】本発明に係る撮像装置の一実施形態であるデジタルカメラの外観図の一例であって、（ａ）は上面図、（ｂ）は正面図、（ｃ）は裏面図を示す。
【図２】撮像装置の機能ブロック図の一例である。
【図３】自動撮影制御に係る撮像装置の制御ブロック図である。
【図４】自動撮影処理のフローチャートである。
【図５】時系列に入力されるフレーム画像データの例を示す概念図である。
【図６】回転動作検知処理のフローチャートである。
【図７】回転動作検知処理の説明図であって、（Ａ）腕動きジェスチャ前のフレーム画像データ、（Ｂ）腕動きジェスチャ後のフレーム画像データの例である。
【図８】腕動きベクトル探索領域および動きベクトルの説明図である。
【図９】ブロックに分割された、（Ａ）腕動きジェスチャ前のフレーム画像データ、（Ｂ）腕動きジェスチャ後のフレーム画像データの例である。
【図１０】回転中心座標と回転角度の算出方法の説明図である。
【図１１】ＳＶＭによる腕ジェスチャ認識を模式的に示したグラフである。
【発明を実施するための形態】
【００１４】
以下、本発明に係る構成を図１から図１１に示す実施の形態に基づいて詳細に説明する。
【００１５】
括弧内は実施形態での符号、適用例を示す。本実施形態に係る撮像装置は、所定の時間間隔で連続して画像データを入力する画像入力手段（１０１）と、画像データ（Ｆａ（第一画像データ））に基づいて被写体（４０）の顔領域（５０）を検出する顔検知手段（１０２）と、所定間隔で入力される２つの画像データ（Ｆｂ（第二画像データ），Ｆｃ（第三画像データ））間における回転動作（腕動きジェスチャ）を検知する回転動作検知手段（１０３）と、該回転動作検知手段により、回転動作が検知された場合に当該撮像装置に所定動作を実行させる制御手段（シャッター制御手段１０５）と、を備え、回転動作検知手段は、２つの画像データ間における回転動作候補（腕動きベクトル）を検知し、該回転動作候補の回転中心座標（Ｏ’）と、該回転動作候補の回転角度（θ）を算出し、顔検知手段により検出された顔領域の中心座標（Ｏ）と、回転中心座標と、回転角度と、に基づいて、回転動作候補が前記回転動作に該当するか否かを判断するものである。
【００１６】
（撮像装置の構成）
本実施形態では、撮像装置の一例としてデジタルカメラを例に説明する。図１はデジタルカメラの外観図を示し、（ａ）はカメラ上面図、（ｂ）はカメラ正面図、（ｃ）はカメラ裏面図を示している。なお、撮像装置はデジタルカメラに限られるものではなく、自動撮影機能を備えた撮像装置であれば良い。
【００１７】
図１（ａ）に示すように、デジタルカメラは、上面に、サブＬＣＤ１と、レリーズシャッター（レリーズボタン）２（ＳＷ１）と、モードダイヤル４（ＳＷ２）とを有する。
【００１８】
また、図１（ｂ）に示すように、デジタルカメラは、正面に、ストロボ発光部３と、測距ユニット５と、リモコン受光部６と、レンズユニット７と、光学ファインダ（正面）１１とを有する。また、メモリカードスロットル２３は、ＳＤカード等のメモリカード３４を挿入するスロットルを示し、カメラ側面に設けられる。
【００１９】
また、図１（ｃ）に示すように、デジタルカメラは、裏面に、ＡＦＬＥＤ（オートフォーカスＬＥＤ）８と、ストロボＬＥＤ９と、ＬＣＤモニタ（表示手段）１０と、光学ファインダ（裏面）１１と、ズームボタン（ズームレバー）ＴＥＬＥ１２（ＳＷ４）と、電源スイッチ１３（ＳＷ１３）と、ズームボタン（ズームレバー）ＷＩＤＥ１４（ＳＷ３）と、セルフタイマ／削除スイッチ１５（ＳＷ６）とを有する。
【００２０】
さらに、メニュースイッチ１６（ＳＷ５）と、ＯＫスイッチ１７（ＳＷ１２）と、左／画像確認スイッチ１８（ＳＷ１１）と、下／マクロスイッチ１９（ＳＷ１０）と、上／ストロボスイッチ２０（ＳＷ７）と、右スイッチ２１（ＳＷ８）と、画像を表示するディスプレイスイッチ２２（ＳＷ９）とを有する。
【００２１】
図２は図１に示したデジタルカメラの制御系の機能ブロック図を示している。以下、デジタルカメラ内部のシステム構成について説明する。
【００２２】
図２に示すように、このデジタルカメラ内には、レンズユニット７に設置した撮影レンズ系を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ１２１、ＣＣＤ１２１から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するフロントエンドＩＣ（Ｆ／Ｅ）１２０、フロントエンドＩＣ（Ｆ／Ｅ）１２０から出力されるデジタル信号を処理する信号処理ＩＣ１１０、データを一時的に格納するＳＤＲＡＭ３３、制御プログラム等が記憶されたＲＯＭ３０、モータドライバ３２等が設けられている。
【００２３】
レンズユニット７は、ズームレンズ、フォーカスレンズおよびメカニカルシャッタ等からなり、モータドライバ３２によって駆動される。モータドライバ３２は、信号処理ＩＣ１１０の内部に含まれるマイクロコンピュータ（ＣＰＵ、制御部）１１１によって制御される。
【００２４】
ＣＣＤ１２１は、光学画像を光電変換するための固体撮像素子であって、ＣＣＤを構成する複数の画素上に色分解フィルタとしてのＲＧＢ原色フィルタが配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。
【００２５】
フロントエンドＩＣ（Ｆ／Ｅ）１２０は、ＣＣＤ出力電気信号（アナログ画像データ）についてサンプリングホールド（相関二重サンプリング）を行うＣＤＳ１２２、このサンプリングされたデータのゲインを調整するＡＧＣ（Auto Gain Control）１２３、デジタル信号変換を行うＡ／Ｄ変換機（Ａ／Ｄ）１２４、及びＣＣＤＩ／Ｆ１１２より垂直同期信号（ＶＤ）、水平同期信号（ＨＤ）を供給されＣＣＤ１２１とＦ／Ｅ１２０との駆動タイミング信号を発生するＴＧ（タイミングジェネレータ：制御信号発生器）１２５を有する。
【００２６】
発振器（クロックジェネレータ）は、ＣＰＵ１１１を含む信号処理ＩＣ１１０のシステムクロックとＴＧ１２５等にクロックを供給している。ＴＧ１２５は発振器のクロックを受けて、ピクセル同期をするためのピクセルクロックを信号処理ＩＣ１１０内のＣＣＤＩ／Ｆ１１２に供給する。
【００２７】
Ｆ／Ｅ１２０から信号処理ＩＣ１１０に入力されたデジタル信号は、ＣＣＤＩ／Ｆ１１２を介して、メモリコントローラ１１５によりＳＤＲＡＭ３３にＲＧＢデータ（ＲＡＷ−ＲＧＢ）として一時保管される。
【００２８】
信号処理ＩＣ１１０は、システム制御を行うＣＰＵ１１１、ＣＣＤＩ／Ｆ１１２、リサイズ処理部１１３、メモリコントローラ１１５、表示出力制御部１１６、圧縮伸張部１１７、メディアＩ／Ｆ部１１８、ＹＵＶ変換部１１９等から構成されている。
【００２９】
ＣＣＤＩ／Ｆ１１２は、垂直同期信号（ＶＤ）、水平同期信号（ＨＤ）の出力を行い、その同期信号に合わせてＡ／Ｄ１２４から入力されるデジタル（ＲＧＢ）信号を取り込んで、メモリコントローラ１１５経由でＳＤＲＡＭ３３にＲＧＢデータの書き込みを行う。
【００３０】
表示出力制御部１１６はＳＤＲＡＭ３３に書き込まれた表示用データを表示部に送り、撮影した画像の表示を行う。表示出力制御部１１６は、デジタルカメラが内蔵しているＬＣＤモニタ１０に表示することも、ＴＶビデオ信号として出力して外部装置に表示することも可能である。
【００３１】
ここでいう、表示用データとは、自然画像のＹＣｂＣｒと、撮影モードアイコンなどを表示するＯＳＤ（オンスクリーンディスプレイ）データであり、いずれもＳＤＲＡＭ３３上に置かれたデータをメモリコントローラ１１５が読み出して表示出力制御部１１６に送り、表示出力制御部１１６で合成したデータをビデオデータとして出力する。
【００３２】
圧縮伸張部１１７は、記録時はＳＤＲＡＭ３３に書き込まれたＹＣｂＣｒデータを圧縮してＪＰＥＧ符号化されたデータを出力し、再生時は読み出したＪＰＥＧ符号化データをＹＣｂＣｒデータに伸張して出力する。
【００３３】
メディアＩ／Ｆ１１８は、ＣＰＵ１１１の指示により、メモリカード３４内のデータをＳＤＲＡＭ３３に読み出したり、ＳＤＲＡＭ３３上のデータをメモリカード３４に書き込んだりする。
【００３４】
ＹＵＶ変換部１１９は、ＣＰＵ１１１から設定された画像現像処理パラメータに基づき、ＳＤＲＡＭ３３に一時保管されたＲＧＢデータを輝度Ｙと色差ＣｂＣｒデータ（ＹＵＶデータ）に変換処理し、ＳＤＲＡＭ３３へ書き戻す。
【００３５】
リサイズ処理部１１３は、ＹＵＶデータを読み出して、記録するために必要なサイズへのサイズ変換、サムネイル画像へのサイズ変換、表示に適したサイズへのサイズ変換などを行う。
【００３６】
また、全体の動作を制御する制御部であるＣＰＵ１１１は、起動時にＲＯＭ３０に格納されたカメラの制御を行う制御プログラムおよび制御データを、例えばＳＤＲＡＭ３３にロードし、そのプログラムコードに基づいて全体の動作を制御する。
【００３７】
ＣＰＵ１１１は、操作部３１のボタンキー等による指示、あるいは図示しないリモコン等の外部動作指示、あるいはパーソナルコンピュータ等の外部端末からの通信による通信動作指示に従い、撮像動作制御、画像現像処理パラメータの設定、メモリコントロール、表示制御等を行う。
【００３８】
操作部３１は、撮影者がデジタルカメラの動作指示を行うためのものであり、撮影者の操作によって所定の動作指示信号が制御部に入力される。例えば、図１に示すように、撮影を指示する２段（半押し、全押し）レリーズシャッター２、光学ズームおよび電子ズーム倍率を設定するズームボタン１２,１４等の各種ボタンキーを備えている。
【００３９】
操作部３１よりデジタルカメラの電源キーがオンされたことを検出すると、ＣＰＵ１１１は各ブロックに所定の設定を行う。この設定により、レンズユニット７を介してＣＣＤ１２１で受光した画像は、デジタル映像信号に変換されて信号処理ＩＣ１１０に入力される。
【００４０】
信号処理ＩＣ１１０へ入力されたデジタル信号はＣＣＤＩ／Ｆ１１２に入力される。ＣＣＤＩ／Ｆ１１２では光電変換されたアナログ信号に黒レベル調整等の処理が行われて、ＳＤＲＡＭ３３に一旦保存される。このＳＤＲＡＭ３３に保存されたＲＡＷ−ＲＧＢ画像データは、ＹＵＶ変換部１１９に読み出されて、ガンマ変換処理、ホワイトバランス処理、エッジエンハンス処理、ＹＵＶ変換処理が行われＹＵＶ画像データとしてＳＤＲＡＭ３３へ書き戻される。
【００４１】
ＹＵＶ画像データは表示出力制御部１１６に読み出され、例えば出力先がＮＴＳＣシステムのＴＶであれば、リサイズ処理部１１３により、そのシステムに合わせた水平・垂直の変倍処理が施され、ＴＶに出力される。この処理がＶＤ毎に行われることで、スチル撮影前の確認用の表示であるモニタリングが行われる。
【００４２】
（撮像装置の動作）
次に、デジタルカメラのモニタリング動作および静止画撮影動作について説明する。このデジタルカメラは、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
【００４３】
先ず、撮影者が電源スイッチ１３をＯＮにし、モードダイヤル４を撮影モード（静止画撮影モード）に設定することで、デジタルカメラが記録モードで起動する。これをＣＰＵ１１１が検知すると、ＣＰＵ１１１はモータドライバ３２に制御信号を出力して、レンズユニット７を撮影可能位置に移動させ、かつ、ＣＣＤ１２１、Ｆ／Ｅ１２０、信号処理ＩＣ１１０、ＳＤＲＡＭ３３、ＲＯＭ３０、ＬＣＤモニタ１０等を起動させる。
【００４４】
そして、レンズユニット７の撮影レンズ系を被写体に向けることにより、撮影レンズ系を通して入射される被写体画像がＣＣＤ１２１の各画素の受光面上に結像する。そして、ＣＣＤ１２１から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ１２２、ＡＧＣ１２３を介してＡ／Ｄ１２４に入力され、Ａ／Ｄ１２４により１２ビットのＲＡＷ−ＲＧＢデータに変換する。
【００４５】
このＲＡＷ−ＲＧＢデータは、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２に取り込まれてメモリコントローラ１１５を介してＳＤＲＡＭ３３に保存される。そして、ＳＤＲＡＭ３３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部１１９に入力されて表示可能な形式であるＹＵＶデータに変換された後に、メモリコントローラ１１５を介してＳＤＲＡＭ３３にＹＵＶデータが保存される。
【００４６】
そして、ＳＤＲＡＭ３３からメモリコントローラ１１５を介して読み出したＹＵＶデータは、表示出力制御部１１６を介してＬＣＤモニタ１０へ送られ、撮影画像（動画）が表示される。ＬＣＤモニタ１０に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ１１２による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
【００４７】
なお、このモニタリング動作時は、電子ファインダとして機能するＬＣＤモニタ１０に撮影画像（動画）が表示されているだけで、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。
【００４８】
この撮影画像のＬＣＤモニタ１０への表示によって、静止画を撮影するための構図の確認等をすることができる。なお、表示出力制御部１１６からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。
【００４９】
そして、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２は、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値（ＷＢ評価値ともいう）を算出する。
【００５０】
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
【００５１】
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ１２１の全画素の受光面に対応した画面（画像領域）を２５６ブロック（エリア）に等分割（水平１６分割、垂直１６分割）し、それぞれのブロックのＲＧＢ積算を算出する。
【００５２】
そして、制御部は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリア（ブロック）の輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ１２１の電子シャッター回数、絞りユニットの絞り値、ＮＤフィルタの出し入れ等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部１１９でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、ＡＥ処理とＡＷＢ処理は、モニタリング時には連続的に行われている。
【００５３】
そして、モニタリング動作時に、レリーズボタン２が押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。
【００５４】
即ち、レリーズボタン２が押圧（半押しから全押し）操作されると、制御部からモータドライバ３２への駆動指令により撮影レンズ系のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。
【００５５】
ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ１１２で算出されている各フォーカス位置におけるＡＦ評価値を制御部が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
【００５６】
そして、ＡＥ処理が行われ、露光完了時点で、制御部からモータドライバ３２への駆動指令によりメカシャッタユニットが閉じられ、ＣＣＤ１２１から静止画用のアナログＲＧＢ画像信号が出力される。そして、モニタリング時と同様に、Ｆ／Ｅ１２０のＡ／Ｄ１２４によりＲＡＷ−ＲＧＢデータに変換される。
【００５７】
そして、このＲＡＷ−ＲＧＢデータは、信号処理ＩＣ１１０のＣＣＤＩ／Ｆ１１２に取り込まれ、ＹＵＶ変換部１１９でＹＵＶデータに変換されて、メモリコントローラ１１５を介してＳＤＲＡＭ３３に保存される。そして、このＹＵＶデータはＳＤＲＡＭ３３から読み出されて、リサイズ処理部１１３で記録画素数に対応するサイズに変換され、圧縮伸張部１１７でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ３３に書き戻された後にメモリコントローラ１１５を介してＳＤＲＡＭ３３から読み出され、メディアＩ／Ｆ１１８を介してメモリカード３４に保存される。
【００５８】
（自動撮影制御）
以下、本実施形態に係る撮像装置による、顔検知および回転動作検知に基づく撮像装置の撮影制御（自動撮影制御ともいう）について説明する。
【００５９】
なお、本実施形態では、顔検知および回転動作検知に基づいて撮像装置のシャッター制御を行い、撮影動作を実行させる場合を例に説明するが、以下に述べる顔検知および回転動作検知に基づく撮像装置の制御は、撮影制御に限られるものではなく、撮像装置の他の動作であっても良い。例えば、顔検知および回転動作検知に基づいて、制御手段が、撮像装置の電源をオフにするなどの電源制御等を行うようにしても良い。
【００６０】
図３は、自動撮影制御に係る撮像装置の制御ブロックの説明図である。また、図４は、撮像装置の各制御ブロックが実行する自動撮影制御（本発明に係る撮像方法、本発明に係る撮像プログラムが実行する撮像処理）の処理フローチャートを示している。
【００６１】
[画像入力処理（顔検知）]
画像入力手段１０１は、撮影される画像データ（ＬＣＤモニタ１０に表示される表示用データ）を入力する手段であり、図５に示すように、時系列の連続した画像データ（フレーム画像データ）を所定の時間間隔（Δｔ（例えば、３３ｍｓｅｃ））にて順次入力する（Ｓ１０１：画像入力処理）。
【００６２】
図５に示す例では、Ｆａは最初の画像データを示し、次に、所定の時間間隔（Δｔ）で次の画像データが入力される。このようにして時系列の画像データが入力されていく。この時系列の画像データはＳＤＲＡＭ３３に保存される。
【００６３】
[顔検知処理]
先ず、顔検知手段１０２は、連続して入力される画像データのうちの１つの画像データ（ここではＦａを例とする）に基づいて、被写体人物の顔を検知する（Ｓ１０２：顔検知処理）。本実施形態の顔検知手段１０２では、被写体人物４０の顔４１に相当する顔領域５０を検知する。検知される顔領域５０は、中心座標をＯ（ｘ０，ｙ０）として、頂点ＡＢＣＤで囲まれる領域である（図５）。
【００６４】
なお、顔検知処理（Ｓ１０２）の処理内容（アルゴリズム）は、パターンマッチング等の公知の手法、または新規の手法によれば良く、特に限られるものではない。また、被写体は必ずしも人間である必要はなく、動物等の顔検知処理を行うようにしても良い。この場合は、動物の顔を認識する処理を行い、後述の腕動きジェスチャ検知手段１０３にて、予め学習させた学習結果を用いて当該動物の腕、足等の動き（回転動作する部位）を検知するようにすれば良い。
【００６５】
次に、顔検知手段１０２で顔の検知がなされたか否かを判断し（Ｓ１０３：判断処理）、顔が検知されない場合（Ｓ１０３：Ｎｏ）は、画像入力処理（Ｓ１０１）に戻り、次の画像データの処理に移る。
【００６６】
[回転動作検知処理（腕動きジェスチャ検知処理）]
これに対し、顔が検知された場合（Ｓ１０３：Ｙｅｓ）は、回転動作検知手段１０３により回転動作検知処理（Ｓ１０４）が実行される。図６に回転動作検知処理（Ｓ１０４）の詳細フローチャートを示す。
【００６７】
＜腕動きジェスチャ＞
本実施形態では、回転動作として、図７に示すように被写体人物４０の肘４２を基点（回転中心）として、左右方向に腕４３を振って、手（掌）４４の回転動作を検出する場合を例に説明する。以下、この回転動作を「腕動きジェスチャ」と呼ぶ。図７（Ａ）は腕動きジェスチャ前の画像データ、図７（Ｂ）は腕動きジェスチャ後の画像データを示している。尚、図７（Ｂ）の点線部分は、前後の動きを明確にするために付加したものである。
【００６８】
なお、腕動きジェスチャは、肘４２を回転中心として手４４が回転するジェスチャに限るものではなく、肩４５を基点（回転中心）として手４４が回転する腕全体の動作の腕動きジェスチャであっても良い。また、腕４３の回転方向も図７の例に限られるものではなく、腕４３の位置も肘４２から下側に下がった状態からのジェスチャであっても良い。また、腕４３を画面前後方向（画面の手前方向）に動かす場合であっても、フレーム間で回転角度（後述のθ）が生じる動作であれば検出可能である。
【００６９】
また、ジェスチャは、必ずしも腕の動きに限られるものではなく、回転中心を基点として回転動作するものであればよい。例えば、被写体人物４０が合図となる道具（棒状、旗など）を持って、それを回転動作させた場合も、その回転中心と回転している道具の先端を検出することによるものであっても良い。
【００７０】
なお、検知の対象とするジェスチャについては、後述するように、教師付き学習において、対応する学習データを予め学習させて、識別式を算出しておくことにより、各ジェスチャの判断が可能となる。また、複数の種類のジェスチャを検知可能とし、ユーザにいずれの動作に基づいて撮像装置の制御を行うかどうかを選択可能に構成することも好ましい。
【００７１】
＜画像入力処理＞
図６に示すように、回転動作検知処理では、先ず、画像入力手段１０１から画像入力処理がなされる（Ｓ２０１）。本実施形態では、顔検知手段１０２が顔検知を行うフレーム画像データ（第一画像データＦａ）と、回転動作検知手段１０３が回転動作を検知する２枚（動作前／動作後）のフレーム画像データ（第二画像データＦｂ／第三画像データＦｃとする）における画像データＦａとＦｂとは異なるフレーム画像データとし、画像データＦａ後のＭフレーム後に入力される画像データを画像データＦｂとしている（図５)。なお、Ｍの値は１以上の小さい値であることが好ましい。
【００７２】
ここで、画像データは、フレームレート（例えば３３ｍｓｅｃ）で入力されるため、１つのフレーム画像データについて、顔検知処理（Ｓ１０２）を行い、同じフレーム画像データを回転動作検知処理（Ｓ１０４）の動作前のフレームとすると、異なる検知処理を同時に行う必要があるため、撮像装置の処理負担が増加する。
【００７３】
そこで、画像データＦａとＦｂとは異なるフレーム画像データとして、同一フレームの処理可能時間では、顔検知手段１０２、または回転動作検知手段１０３のどちらか一方しか動作させないことが好ましい。このように異なる検知手段が同時に動作しないようにして、ソフトウエアによる画像処理の場合であればＣＰＵの処理負担軽減をして、処理の高速化や省エネにつなげることができる。また、個別の機能を有した画像処理チップによる画像処理の場合、常に片方のみ主に動作させるため消費電力の削減につなげることができる。なお、処理速度や処理性能に余裕のある場合等においては、画像データＦａとＦｂを同一のフレーム画像データとしても良い。
【００７４】
＜フレーム間隔＞
また、腕動きジェスチャは所定のフレーム間隔Ｎ（図５）で入力される２つのフレーム画像（Ｆｂ，Ｆｃ）間における腕動きを検出するものである。フレーム間隔Ｎの値はパラメータとして、事前に設定される。なお、フレーム間隔Ｎは、選択可能としても良く、その際、フレーム間隔Ｎの最小値と最大値を制限するようにしても良い。
【００７５】
フレーム間隔Ｎの値が大きすぎると、一定の角速度で腕を回転させるとき、フレーム間の腕動き角度が大きくなったり、再度、腕が戻ってきてしまったりして（往復回転動き）回転角度が小さくなる可能性がある。したがって、フレーム間隔Ｎは、検出対象の回転動作する対象の速度に併せて適当なＮの値を設定すればよい。
【００７６】
本実施形態では、フレーム間隔Ｎは、想定される腕の角速度において、腕の回転角度θが４５°〜９０°の範囲となるようなフレーム間隔を、腕の角速度とフレームレート（３３ｍｓｅｃ）に基づいて決定している。例えば、０．５秒程度で腕が４５°〜９０°の範囲で回動すると仮定すると、Ｎ＝１５程度となる。
【００７７】
なお、フレーム間隔Ｎはこれに限られるものではなく、例えば、Ｎ＝１として連続するフレーム間での腕動きを検出しても良いし、数フレーム程度としても良い。
【００７８】
＜腕動きベクトル探索領域の設定＞
次に、探索領域設定手段２０１は、図８に示すように、検出された顔領域５０に基づいて、回転動作候補（腕動きベクトル）を検出する領域である腕動きベクトル探索領域５１を設定する（Ｓ２０２）。腕動きベクトル探索領域５１の設定は、顔領域５０（または中心座標をＯ（ｘ０，ｙ０））に対して、腕４３の動く可能性のある画面上の領域、例えば、図８に示すように、中心座標をＯ（ｘ０，ｙ０）の左右側に所定の画素範囲で設定されるものである。なお、腕動きベクトル探索領域５１を設定せず、画面全体に対し、後述の処理を行って回転動作候補を検知することも可能であるが、処理量を軽減するために所定範囲に設定することが好ましい。
【００７９】
＜動きベクトル検出＞（ブロックマッチング）
次に、ブロックマッチング手段２０２は、２つのフレーム画像間における動きのあった領域を動きベクトルとして検出する（Ｓ２０３）。本実施形態では、図９（Ａ），（Ｂ）に示すように、図７に示したフレーム画像データ（Ｆｂフレーム、Ｆｃフレーム）を所定の画素数（ｎ×ｎ）で形成されるブロック５２で分割し、フレーム画像間で同じ部分のブロックマッチングにより、動きのあったブロック５２の動き量、すなわち、動きベクトル（ＨＨ’）を求める。なお、ブロックマッチング方法は、公知または新規の手法によれば良く特に限られるものではない。
【００８０】
なお、ブロックのサイズは、回転動作の対象物に応じて適宜設定されるパラメータである。本実施形態では、腕４３の動きを区別できるような大きさで分割する。例えば、一般的な顔のサイズと腕のサイズの比に基づいて、顔のサイズから決めることができる。例えば、顔領域５０の検知サイズ（小さい顔の場合）を２０×２０画素とした設定した場合、動き検知ブロックサイズを５×５画素に設定することができる。
【００８１】
なお、本実施形態では、動きベクトルの始点と終点とは、５×５画素の中心ブロックとしているが、これに限られるものではない。また、カメラの焦点距離と被写体の距離によって、被写体の大きさが変わるため、ブロックサイズは適宜最適な値に設定されるものであればよい。
【００８２】
＜画面全体動きの検出＞
次に、画面全体動き除去手段２０３は、画面全体に生じた動き（ブレ）を除去する（Ｓ２０４）。すなわち、撮像装置が三脚などに固定して撮影される場合等においては、画面全体のブレ（画面全体動きという）は生じ難いが、その他の場合に画面全体動きが生じる場合がある。そこで、この画面全体動き量を検出し、これを除く処理（画面全体動き除去処理）を行うことが好ましい。これにより、動きベクトルの検出結果の精度を向上させることができる。
【００８３】
すなわち、フレーム間で画面全体の平行移動や回転などの画面全体動きがある場合、ブロックマッチングにより検知された動きベクトルには画面全体動きの影響を受けているため、これをキャンセルする必要がある。
【００８４】
例えば、図８に示すように、腕動きベクトル探索領域５１以外の領域の複数の動きベクトル（例えば、Ｖａ，Ｖｂ）を使って画面全体の動きベクトルを計算することができる。
【００８５】
フレーム間の動きは、例えば、次式（１）で表すことができる（アフィン変換）。
【数１】
【００８６】
上記式（１）における（ｘ１,ｙ１）と（ｘ０,ｙ０）はフレームＦｂとＦｃの対応点座標であり、腕動きベクトル探索領域５１以外の領域での動きベクトルＶａ，Ｖｂから得られる。対応点の数が十分多い場合（６個以上）であれば、ａ,ｂ,ｃ,ｄ,ｅ,ｆ係数を計算できる。
【００８７】
上記式（１）より、任意座標（ｘ,ｙ）のＦｂとＦｃフレーム間画面全体の動きベクトル（Ｖｘ０，Ｖｙ０）を求めることができる。よって、座標（ｘ,ｙ）での動きベクトル（Ｖｘ, Ｖｙ）から画面全体の動きベクトル（Ｖｘ０，Ｖｙ０）を引くことで、画面全体動きの影響を除去した動きベクトル（Ｖｘ−Ｖｘ０,Ｖｙ−Ｖｙ０）を求めることができる。
【００８８】
以上説明したように、フレームＦｂとフレームＦｃ間のフレーム全体動きベクトルを動きベクトルから引き算することで、画面全体の動きがキャンセルできる。残した動きベクトルは腕動きベクトルの候補となる。
【００８９】
なお、本実施形態では、腕動きベクトル探索領域５１外での動きベクトルに基づいて画面全体の動きベクトル量を求める例について説明したが、腕動きベクトル探索領域５１内での動きベクトルに基づいて上記処理を行うようにしても良い。また、画面全体の動きベクトル量の算出は、所定数のブロック５２をサンプリングして求めるようにすれば良い。
【００９０】
また、本実施形態では、アフィン変換を用いて撮像装置の平行方向のずれ量を補正する例について説明したが、画面全体動きの除去方法は公知または新規の方法によれば良く、これに限られるものではない。例えば、画面の垂直方向のずれ量も考慮する場合は、射影変換を用いた補正を行うようにしても良い。
【００９１】
＜ノイズベクトル除去＞
次に、ノイズベクトル除去手段２０４は、腕動きベクトル探索領域５１内において孤立した動きベクトルをノイズベクトルとして除去する（Ｓ２０５）。すなわち、画面全体の動きとは別に、フレーム間で腕動き以外の動きがある場合等においては、この動きを動きベクトルとして検知してしまう。そこで、本処理では、腕動きベクトル探索領域５１内において、実際の腕動きに対応しないと推測される動きベクトルをノイズベクトルとして削除するものである。
【００９２】
図８に示す例では、Ｖｃ，Ｖｄ，Ｖｅがノイズベクトルに相当する。なお、画面全体についてブロックマッチングを行って動きベクトルを検知した場合は、腕動きベクトル探索領域５１以外の動きベクトル（Ｖｆ，Ｖｇ）についても削除する。
【００９３】
ノイズベクトルの判断は、腕動きベクトル探索領域５１内において、孤立した動きベクトルであるかどうかに基づいて判断することができる。例えば、検出された各動きベクトルの周囲の所定距離（半径Ｒ画素）以内に他の動きベクトルが存在するかどうかを判断し、存在する場合は、腕動きベクトルと判断し、存在しない場合は、孤立したノイズベクトルと判断することができる。なお、半径Ｒは、適宜設定される値で有れば良いが、例えば２０画素とすることができる。また、判断基準とする画素は、動きベクトルを構成するいずれの画素でもよいが、例えば、動きベクトルの始点とすれば良い。
【００９４】
以上の処理によりノイズベクトルと判断されるベクトルＶｃ，Ｖｄ，Ｖｅが動きベクトルから除外される。以上、Ｓ２０１〜Ｓ２０５の処理により、腕動きに対応した腕動きベクトル（回転動作候補）を検出することができる。
【００９５】
＜回転中心および回転角度の算出＞
次に、回転中心／回転角度算出手段２０５は、検出した腕動きベクトルに基づいて、回転中心座標と回転角度とを算出する（Ｓ２０６）。すなわち、図８，図１０に示すように、フレームＦｂとＦｃから検出された腕動きベクトル（Ｈ１Ｈ１’，Ｈ２Ｈ２’，Ｈ３Ｈ３’…）に基づいて、腕動きの回転中心の座標Ｏ’（ｘ１，ｙ１）と回転角度θを算出する。なお、説明を簡易にするため３つの腕動きベクトルＨ１〜Ｈ３が検出された例について説明しているが、実際の処理における検出数Ｈｎは、例えば、１０以上となる。
【００９６】
回転中心座標と回転角度の算出方法の一例を説明する。腕の各部分の動きベクトルの中点を通り該中点に垂直な線（法線、図１０中の点線）の集まる点を回転中心座標Ｏ’（ｘ１，ｙ１）として求める。なお、各法線の交点が１点には集まらない場合は、隣り合う２本の法線の交点座標の平均値を回転中心座標Ｏ’（ｘ１，ｙ１）とすれば良い。
【００９７】
次に、回転中心座標Ｏ’（ｘ１，ｙ１）と各動きベクトルとの距離（例えば、始点Ｈ１または終点Ｈ１’との距離）を回転半径Ｒ１として計算する。さらに、動きベクトルＨ１Ｈ１’の長さをｌ１とすると、回転角度θ１は、次式（２）により、回転角度θ１を算出することができる。
θ１＝ｌ１／Ｒ１ ・・・（２）
【００９８】
なお、本実施形態（上記式（２））では、θを９０度以内としているが、これに限られるものではなく、９０°以上の場合も検出可能とするようにしても良い。また、回転中心座標Ｏ’（ｘ１，ｙ１）と動きベクトルの始点Ｈ１および終点Ｈ１’に基づいて回転角度θ１を求めても良い。
【００９９】
同様に腕動きベクトルＨ２Ｈ２’，Ｈ３Ｈ３’から、それぞれの動きベクトルの回転半径Ｒ２,Ｒ３と動きベクトルの長さｌ２，ｌ３を求め、回転角θ２，θ３を算出する。回転角度θ１,θ２,θ３の平均値を腕の回転角度θとして算出する。
【０１００】
＜回転動作識別＞
最後に、回転動作識別手段２０６は、検出された回転動作候補が実際の腕動きジェスチャ（回転動作）に該当するかどうかを識別する（Ｓ２０７〜Ｓ２０９）。腕動きジェスチャの判定は、腕動きの回転中心と顔領域中心の相対的な位置関係と腕回転角度の特徴量により認識する。
【０１０１】
まず、顔領域の中心座標Ｏ（ｘ０，ｙ０）と腕の回転中心座標Ｏ´（ｘ１,ｙ１）から、位置ずれ量を次式（３），（４）で算出し、腕の回転中心Ｏ’（ｘ１,ｙ１）と顔中心と回転中心との距離ｄｘ、ｄｙおよび回転角度θを腕ジェスチャ認識の特徴量とする（Ｓ２０７）。
ｄｘ＝ｘ１−ｘ０ ・・・（３）
ｄｙ＝ｙ１−ｙ０ ・・・（４）
【０１０２】
次に、特徴量の正規化を行う（Ｓ２０８）。すなわち、撮像装置の変倍ズームがあるとき、被写体の大きさはズームの変倍率によって異なる。例えば、平均顔サイズが２０×２０画素となるように、画像全体を変倍し、正規化する。このようにすれば、被写体の大きさが変わっても、ズーム倍率によらず共通の認識辞書を使用することができ、正しく腕動きジェスチャの認識ができるため好ましい。
【０１０３】
次に、これらの特徴量を用いて、予め機械学習に基づいて算出された識別式を用いて腕動きジェスチャに該当するかどうかを判断する（Ｓ２０９）。
【０１０４】
識別式の算出（学習ステップ）について説明する。予め、対象となる回転動作である腕動きジェスチャのサンプルデータ（動画サンプルデータ）を集め、腕動きの回転中心と顔領域中心との相対的な位置関係と腕の回転角度のサンプルデータ（Ｏ’（ｘ１,ｙ１）、ｄｘ、ｄｙ、θ）を用いて、学習モデルにより、腕動きジェスチャ認識辞書（学習データ）を作成する。
【０１０５】
次に、上記処理において求めた特徴量値と、事前学習した学習データに基づいて算定される識別式に基づいて腕動きジェスチャに該当するかどうかを判断するものである（認識ステップ）。
【０１０６】
具体的には、例えば、線形サポートベクタマシン（Support Vector Machine,SVM）法による認識辞書を用いて、次式（５）に示すように、線形ＳＶＭの識別関数ｆ(ｄｘ、ｄｙ、θ)を生成することができる。この識別関数ｆ（ｄｘ，ｄｙ，θ）を用いて、ジェスチャ認識することができる。
ｆ＝Ａ・ｄｘ＋Ｂ・ｄｙ＋Ｃ・θ ・・・（５）
【０１０７】
なお、Ａ，Ｂ，Ｃは上記事前学習により算出される。識別関数（式（５））で得られた識別関数値ｆが閾値（ｔｈとする）より大きい場合、腕動きジェスチャが認識されると判断し、ｆは閾値より小さい場合、腕動きジェスチャでないと判断される。
【０１０８】
図１１にＳＶＭによる腕ジェスチャ認識を模式的に示したグラフを示す。図１１では、腕動きジェスチャの特徴量分布を○、非腕動きジェスチャの特徴量値分布を×として示している。なお、図１１では、説明を簡易にするため２つの変数（ｄｘ,θ)の分布図を使って説明しており、識別面は直線となる。直線以上になる、つまり○の点は腕動きジェスチャと認識される。直線より下の×の部分は非腕動きジェスチャとして認識される。なお、上記式（５）に対応する３つの変数（ｄｘ,ｄｙ,θ）の場合は３次元の特徴空間となり、識別面は平面となる。識別平面より上の特徴量値は腕動きジェスチャの特徴量となり、識別平面より下の特徴量値は非腕動きジェスチャの特徴量となる。
【０１０９】
以上説明した特徴量を用いた学習方法による認識によれば、腕の回転中心と顔中心の相対位置、回転角度の値はある程度の分散があっても、正確な認識は可能となる。つまり、被写体による腕の長さの違いや、回転中心と顔中心の位置関係の違いや、腕の回転角度が異なる場合でも、正確な認識が可能となる。
【０１１０】
なお、本実施形態では、認識辞書を作成する学習モデルとして、線形ＳＶＭの例を述べたが、識別関数ｆは線形に限らず、非線形識別関数を使用してもよい。また、学習モデルとして、ＡｄａＢｏｏｓｔなどの他の学習モデルを用いるようにしても良い。また、認識辞書は事前に作成され、撮像装置の記憶手段には認識辞書に基づいて算出された識別関数が記憶されているものである。
【０１１１】
[撮影動作制御]
図４のフローチャートの説明に戻る。識別関数（式（５））で得られた識別関数値ｆが閾値（ｔｈとする）より大きい場合（Ｓ１０５：Ｙｅｓ）は、所望の回転動作（腕動きジェスチャ）が認識されると判断する。識別関数値ｆが閾値より小さい場合（Ｓ１０５：Ｎｏ）、所望の回転動作でないと判断され、画像入力処理（Ｓ１０１）に戻る。
【０１１２】
回転動作があるものと判断されると、通知手段１０４は、撮像装置から腕動きジェスチャが検知されたサインを撮影者や被写体人物に対して表示する（Ｓ１０６：ジェスチャサイン表示処理）。
【０１１３】
尚、通知手段１０４によるジェスチャサイン表示処理での表示方法は、特に限られるものではないが、例えば、撮像装置の前面にＬＥＤライト（図示せず）を設け、これを点灯するようにしても、その他の発光部を点灯させるようにしても、サブＬＣＤ、ＬＣＤモニタ１０等に文字、マーク等を表示させるようにしても良い。また、通知手段１０４での通知（Ｓ１０６）を行わずに、所定時間経過後にシャッターを切る制御を行う（Ｓ１０７）ものであっても良い。
【０１１４】
次に、シャッター制御手段１０５は、ジェスチャサイン表示後の、所定時間後にシャッターを切る制御を行い（Ｓ１０７）、撮影および画像記録処理を行うものである（Ｓ１０８）。当該処理（Ｓ１０７〜Ｓ１０８）の詳細は、上述のレリーズボタン２が押圧された動作と同様であり、このようにして撮影された画像情報は、例えば、メモリカード３４に記録される。
【０１１５】
[被写体が複数の場合]
なお、被写体が複数の場合、顔検知処理（Ｓ１０２）では、複数の顔が検知されることになるため、予め被写体の優先順位を決定しておき、複数の腕動きジェスチャが認識された場合、被写体の優先順位で、撮像制御する腕動きジェスチャを決めることが好ましい。また、優先順位の最も高い被写体（主要被写体）についてのみ、回転動作検知処理（Ｓ１０４）を行うようにしても良い。
【０１１６】
被写体の優先順位の決定方法は、特に限られるものではないが、例えば、画面中心部の顔を主要被写体としてもよいし、一番サイズの大きな顔を主要被写体としてもよい。また、優先順位の設定のパターンを複数用意し、ユーザが選択可能としても良い。
【０１１７】
以上説明したように、本実施形態に係る撮像装置によれば、被写体と撮像装置が離れている場合や多くの被写体を同時撮影する場合等の顔サイズが小さい場合であっても、顔の検出後に、さらに腕の動きを検出したことをトリガとして、シャッターを切ることにより、撮影者の所望のタイミングにおいて、確実に自動でシャッターを切ることが可能となる。
【０１１８】
また、被写体の腕の動きだけを最初に検出するのではなく、顔検知により被写体の存在を検知したうえで、当該被写体の腕の動きジェスチャを検知するようにしているので、腕の動きの認識精度を向上させることができ、誤認識を低減することができる。
【０１１９】
さらに、腕の回転中心と顔中心の相対関係と腕の回転角度で腕ジェスチャを認識している。すなわち、まず、顔領域の中心座標は顔検知手段により求め、次に、腕動きの回転中心座標と回転角度を、顔領域の中心座標付近の領域の動きベクトルを求めて解析することにより計算しているため、パターン認識等の手段で手の位置を求めてからジェスチャを認識する手法に比べて計算が容易であり、高速に求めることが可能である。
【０１２０】
また、先に手を検知して、手の動きを検知する場合、手の形に変化がある場合等に検知率が低下することが考えられるが、上記実施形態では、腕を含めた手の並行シフト等の、軸回転となっていない手の動きを検知しないため、腕動きジェスチャの認識精度を高くでき、腕動きジェスチャの検知における誤認識を低下させることができる。
【０１２１】
また、顔領域の中心座標と、動きの回転中心座標と、動きの回転角度と、を特徴量データとしているので、特に腕の長さ、腕回転角度の大きさ、腕回転中心と顔中心の距離などの詳細なパラメータを個別に設定したり、記録したりすることが不要となっている。また、様々な腕動きジェスチャのデータを用いて、学習した辞書に基づく識別式により識別することで、手の形や腕の形、年齢、性別、体形等の異なる腕動きジェスチャの認識が可能となり、認識率が高く、ノイズにも強い。
【０１２２】
また、腕動きジェスチャが検知された際、撮影を実行前に、腕動きジェスチャが検知された旨を外部に通知する通知手段を備えているので、撮影装置に撮影される人にジェスチャが検知されたことを知らせ、撮影までの準備をするように、表情やポーズなどを準備することが可能となる。
【０１２３】
上述の実施形態は本発明の好適な実施の例ではあるがこれに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変形実施可能である。例えば、上記の画像入力手段１０１、顔検知手段１０２、腕動きジェスチャ検知手段１０３、通知手段１０４、およびシャッター制御手段１０５、探索領域設定手段２０１、ブロックマッチング手段２０２、画面全体動き除去手段２０３、ノイズベクトル除去手段２０４、回転中心／回転角度算出手段２０５、回転動作識別手段２０６の各手段は、例えば、ＣＰＵ１１１で実行されるソフトウェア（撮像プログラム）を撮像装置で実行させることで構成でき、その実行の際に必要なデータは、例えば、ＳＤＲＡＭ３３にロードされる。また、上記各手段を、モジュール構成として、例えば、顔検知手段１０２、腕動きジェスチャ検知手段１０３、を実現するプログラムを他のハードウェアに適用可能である。また、当該撮像プログラムを撮像装置で実行可能に記録した記録媒体の態様にも適用される。
【符号の説明】
【０１２４】
１ サブＬＣＤ
２ レリーズシャッター（ＳＷ１）
３ ストロボ発光部
４ モードダイヤル（ＳＷ２）
５ 測距ユニット
６ リモコン受光部
７ レンズユニット
８ ＡＦＬＥＤ
９ ストロボＬＥＤ
１０ ＬＣＤモニタ
１１ 光学ファインダ
１２ ズームボタンＴＥＬＥ（ＳＷ４）
１３ 電源スイッチ（ＳＷ１３）
１４ ズームボタンＷＩＤＥ（ＳＷ３）
１５ セルフタイマ／削除スイッチ（ＳＷ５）
１６ メニュースイッチ（ＳＷ６）
１７ ＯＫスイッチ（ＳＷ１２）
１８ 左／画像確認スイッチ（ＳＷ１１）
１９ 下／マクロスイッチ（ＳＷ１０）
２０ 上／ストロボスイッチ（ＳＷ７）
２１ 右スイッチ（ＳＷ８）
２２ ディスプレイスイッチ（ＳＷ９）
２３ メモリカードスロットル
３０ ＲＯＭ
３１ 操作部
３２ モータドライバ
３３ ＳＤＲＡＭ
３４ メモリカード
４０ 被写体人物
４１ 顔
４２ 肘
４３ 腕
４４ 手
４５ 肩
５０ 顔領域
５１ 腕動きベクトル探索領域
５２ ブロック
１０１ 画像入力手段
１０２ 顔検知手段
１０３ 回転動作検知手段
１０４ 通知手段
１０５ シャッター制御手段
１１０ 信号処理ＩＣ
１１１ ＣＰＵ
１１２ ＣＣＤ Ｉ／Ｆ
１１３ リサイズ処理部
１１５ メモリコントローラ
１１６ 表示出力制御部
１１７ 圧縮伸長部
１１８ メディアＩ／Ｆ
１１９ ＹＵＶ変換部
１２０ Ｆ／Ｅ
１２１ ＣＣＤ
１２２ ＣＤＳ
１２３ ＡＧＣ
１２４ Ａ／Ｄ変換機
１２５ タイミングジェネレータ
２０１ 探索領域設定手段
２０２ ブロックマッチング手段
２０３ 画面全体動き除去手段
２０４ ノイズベクトル除去手段
２０５ 回転中心／回転角度算出手段
２０６ 回転動作識別手段
【先行技術文献】
【特許文献】
【０１２５】
【特許文献１】特開２０１０−７４７３５号公報
【特許文献２】特開２０１１−７８００９号公報
【特許請求の範囲】
【請求項１】
所定の時間間隔で連続して画像データを入力する画像入力手段と、
前記画像データに基づいて被写体の顔領域を検出する顔検知手段と、
所定間隔で入力される２つの前記画像データ間における回転動作を検知する回転動作検知手段と、
該回転動作検知手段により、前記回転動作が検知された場合に当該撮像装置に所定動作を実行させる制御手段と、を備え、
前記回転動作検知手段は、前記２つの画像データ間における回転動作候補を検知し、該回転動作候補の回転中心座標と、該回転動作候補の回転角度を算出し、
前記顔検知手段により検出された前記顔領域の中心座標と、前記回転中心座標と、前記回転角度と、に基づいて、前記回転動作候補が前記回転動作に該当するか否かを判断することを特徴とする撮像装置。
【請求項２】
前記回転動作検知手段は、前記顔検知手段で検出された前記顔領域に基づいて設定される探索領域内において、
前記２つの画像データ間について、該画像データを所定画素数で区分したブロックごとに、動きのあったブロックを抽出し、
前記動きのあったブロックの前記２つの画像データ間の移動量を動きベクトルとして検出し、
前記動きベクトルを前記回転動作候補として、前記回転中心座標と、前記回転角度と、を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記回転動作検知手段は、検出された複数の前記動きベクトルの中点を通る法線が交り合う位置に基づいて前記回転中心座標を決定し、
該回転中心座標および検出された複数の前記動きベクトルの検出位置に基づいて、前記回転角度を算出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記回転動作検知手段は、前記動きベクトルの検出において、該動きベクトルを形成するいずれかの画素を中心として、所定範囲数の画素範囲に他の動きベクトルに含まれる画素がない場合に、該動きベクトルを前記回転動作候補から除外することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記回転動作検知手段は、前記顔領域の中心座標と、前記回転中心座標と、前記回転角度と、を特徴量データとし、
該特徴量データを、予め学習モデルにより学習させた認識辞書に基づいて求められた識別式に適用して、前記回転動作候補が前記回転動作に該当するか否かを判断することを特徴とする請求項１から４までのいずれかに記載の撮像装置。
【請求項６】
前記回転動作検知手段は、前記回転中心座標として前記被写体の肘を検知し、前記回転動作として、肘を基点とした前記被写体の腕の動きを検知することを特徴とする請求項１から５までのいずれかに記載の撮像装置。
【請求項７】
前記回転動作検知手段は、前記顔検知手段が前記被写体の前記顔領域を検出する第一画像データの以降に入力される第二画像データと、該第二画像データの所定数のフレーム後に入力される第三画像データに基づいて、前記回転動作を検知することを特徴とする請求項１から６までのいずれかに記載の撮像装置。
【請求項８】
前記制御手段が当該撮像装置に実行させる前記所定動作は撮影動作であって、
前記回転動作検知手段により、前記回転動作が検知された際、前記制御手段による撮影動作の実行前に、前記回転動作が検知された旨を外部に通知する通知手段を備えることを特徴とする請求項１から７までのいずれかに記載の撮像装置。
【請求項９】
所定の時間間隔で連続して画像データを入力する画像入力処理と、
前記画像データに基づいて被写体の顔領域を検出する顔検知処理と、
所定間隔で入力される２つの前記画像データ間における回転動作を検知する回転動作検知処理と、
該回転動作検知処理により、前記回転動作が検知された場合に当該撮像装置に所定動作を実行させる制御処理と、行い、
前記回転動作検知処理は、前記２つの画像データ間における回転動作候補を検知し、該回転動作候補の回転中心座標と、該回転動作候補の回転角度を算出し、
前記顔検知処理により検出された前記顔領域の中心座標と、前記回転中心座標と、前記回転角度と、に基づいて、前記回転動作候補が前記回転動作に該当するか否かを判断するようにしたことを特徴とする撮像方法。
【請求項１０】
所定の時間間隔で連続して画像データを入力する画像入力処理と、
前記画像データに基づいて被写体の顔領域を検出する顔検知処理と、
所定間隔で入力される２つの前記画像データ間における回転動作を検知する回転動作検知処理と、
該回転動作検知処理により、前記回転動作が検知された場合に当該撮像装置に所定動作を実行させる制御処理と、を撮像装置に実行させ、
前記回転動作検知処理は、前記２つの画像データ間における回転動作候補を検知し、該回転動作候補の回転中心座標と、該回転動作候補の回転角度を算出し、
前記顔検知処理により検出された前記顔領域の中心座標と、前記回転中心座標と、前記回転角度と、に基づいて、前記回転動作候補が前記回転動作に該当するか否かを判断するものであることを特徴とする撮像プログラム。
【請求項１】
所定の時間間隔で連続して画像データを入力する画像入力手段と、
前記画像データに基づいて被写体の顔領域を検出する顔検知手段と、
所定間隔で入力される２つの前記画像データ間における回転動作を検知する回転動作検知手段と、
該回転動作検知手段により、前記回転動作が検知された場合に当該撮像装置に所定動作を実行させる制御手段と、を備え、
前記回転動作検知手段は、前記２つの画像データ間における回転動作候補を検知し、該回転動作候補の回転中心座標と、該回転動作候補の回転角度を算出し、
前記顔検知手段により検出された前記顔領域の中心座標と、前記回転中心座標と、前記回転角度と、に基づいて、前記回転動作候補が前記回転動作に該当するか否かを判断することを特徴とする撮像装置。
【請求項２】
前記回転動作検知手段は、前記顔検知手段で検出された前記顔領域に基づいて設定される探索領域内において、
前記２つの画像データ間について、該画像データを所定画素数で区分したブロックごとに、動きのあったブロックを抽出し、
前記動きのあったブロックの前記２つの画像データ間の移動量を動きベクトルとして検出し、
前記動きベクトルを前記回転動作候補として、前記回転中心座標と、前記回転角度と、を算出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記回転動作検知手段は、検出された複数の前記動きベクトルの中点を通る法線が交り合う位置に基づいて前記回転中心座標を決定し、
該回転中心座標および検出された複数の前記動きベクトルの検出位置に基づいて、前記回転角度を算出することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記回転動作検知手段は、前記動きベクトルの検出において、該動きベクトルを形成するいずれかの画素を中心として、所定範囲数の画素範囲に他の動きベクトルに含まれる画素がない場合に、該動きベクトルを前記回転動作候補から除外することを特徴とする請求項２または３に記載の撮像装置。
【請求項５】
前記回転動作検知手段は、前記顔領域の中心座標と、前記回転中心座標と、前記回転角度と、を特徴量データとし、
該特徴量データを、予め学習モデルにより学習させた認識辞書に基づいて求められた識別式に適用して、前記回転動作候補が前記回転動作に該当するか否かを判断することを特徴とする請求項１から４までのいずれかに記載の撮像装置。
【請求項６】
前記回転動作検知手段は、前記回転中心座標として前記被写体の肘を検知し、前記回転動作として、肘を基点とした前記被写体の腕の動きを検知することを特徴とする請求項１から５までのいずれかに記載の撮像装置。
【請求項７】
前記回転動作検知手段は、前記顔検知手段が前記被写体の前記顔領域を検出する第一画像データの以降に入力される第二画像データと、該第二画像データの所定数のフレーム後に入力される第三画像データに基づいて、前記回転動作を検知することを特徴とする請求項１から６までのいずれかに記載の撮像装置。
【請求項８】
前記制御手段が当該撮像装置に実行させる前記所定動作は撮影動作であって、
前記回転動作検知手段により、前記回転動作が検知された際、前記制御手段による撮影動作の実行前に、前記回転動作が検知された旨を外部に通知する通知手段を備えることを特徴とする請求項１から７までのいずれかに記載の撮像装置。
【請求項９】
所定の時間間隔で連続して画像データを入力する画像入力処理と、
前記画像データに基づいて被写体の顔領域を検出する顔検知処理と、
所定間隔で入力される２つの前記画像データ間における回転動作を検知する回転動作検知処理と、
該回転動作検知処理により、前記回転動作が検知された場合に当該撮像装置に所定動作を実行させる制御処理と、行い、
前記回転動作検知処理は、前記２つの画像データ間における回転動作候補を検知し、該回転動作候補の回転中心座標と、該回転動作候補の回転角度を算出し、
前記顔検知処理により検出された前記顔領域の中心座標と、前記回転中心座標と、前記回転角度と、に基づいて、前記回転動作候補が前記回転動作に該当するか否かを判断するようにしたことを特徴とする撮像方法。
【請求項１０】
所定の時間間隔で連続して画像データを入力する画像入力処理と、
前記画像データに基づいて被写体の顔領域を検出する顔検知処理と、
所定間隔で入力される２つの前記画像データ間における回転動作を検知する回転動作検知処理と、
該回転動作検知処理により、前記回転動作が検知された場合に当該撮像装置に所定動作を実行させる制御処理と、を撮像装置に実行させ、
前記回転動作検知処理は、前記２つの画像データ間における回転動作候補を検知し、該回転動作候補の回転中心座標と、該回転動作候補の回転角度を算出し、
前記顔検知処理により検出された前記顔領域の中心座標と、前記回転中心座標と、前記回転角度と、に基づいて、前記回転動作候補が前記回転動作に該当するか否かを判断するものであることを特徴とする撮像プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−２３９１５６（Ｐ２０１２−２３９１５６Ａ）
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願番号】特願２０１２−３１３６０（Ｐ２０１２−３１３６０）
【出願日】平成２４年２月１６日（２０１２．２．１６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年１２月６日（２０１２．１２．６）
【国際特許分類】
【出願日】平成２４年２月１６日（２０１２．２．１６）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]