撮像装置及びその制御方法、コンピュータプログラム、記憶媒体
【課題】 大容量メモリが不要で、より適切な状態の画像の取得を可能とする撮像装置に関する技術を提供する。
【解決手段】 撮像装置に、物体を撮像し、該撮像に係る画像データを順次取得する映像入力部２と、前記画像データにおける前記物体の特徴点から算出される、第１の特徴量の変化に係るモデルデータを記憶するモデルデータメモリ６と、取得された前記画像データにおける前記物体の特徴点から第２の特徴量を算出する主被写体検出部３と、前記第２の特徴量と、前記モデルデータとに基づいて前記物体が所定の条件に合致するタイミングを推定する状態変化推定部４と、推定された前記タイミングに対応する前記画像データを画像記録部５に記憶させる画像入力処理制御部７とを備える。
【解決手段】 撮像装置に、物体を撮像し、該撮像に係る画像データを順次取得する映像入力部２と、前記画像データにおける前記物体の特徴点から算出される、第１の特徴量の変化に係るモデルデータを記憶するモデルデータメモリ６と、取得された前記画像データにおける前記物体の特徴点から第２の特徴量を算出する主被写体検出部３と、前記第２の特徴量と、前記モデルデータとに基づいて前記物体が所定の条件に合致するタイミングを推定する状態変化推定部４と、推定された前記タイミングに対応する前記画像データを画像記録部５に記憶させる画像入力処理制御部７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関し、特に、撮像条件に応じて自動的に撮像を行う撮像装置に関する。
【背景技術】
【０００２】
従来より、撮像条件に応じて自動的に撮像を行う撮像装置に関する技術が知られている。
【０００３】
特許文献１には、複数の連続的な画像から人物の顔の状態を判定し、顔の状態が最適となるような画像を選択する技術が開示されている。
【０００４】
特許文献２には、ユーザが希望するタイミングの画像がない場合に、記録された動画データに対して、異なる画像間での画素対応を用いた補間処理を行い、ユーザが希望するタイミングでの画像を生成する技術が開示されている。
【０００５】
一方、従来より被写体の動きを追跡して撮影する技術が知られている。
【０００６】
特許文献３には、画像から部分テンプレートを切り出し、テンプレートと入力画像との相関により物体を追跡する技術が開示されている。ただし、追跡する際に追跡履歴や物体に関する知識によりテンプレートの分離、統合、更新を行う。また、物体の行動パターンを学習して将来の行動予測に基づき相関演算範囲を決定する。
【０００７】
また、入力画像と参照画像データの最小残差量に基づいて目標物体位置を検出する際、時系列的に検出された目標物体の２つの位置に基づく動作（速度）または３つの位置に基づく加速度を検出し、更に予測位置の算出を行う技術が知られている。更に、形状が変化する対象の複数のテンプレートを用いて最も一致度の大きいテンプレートを見つけて当該テンプレートの位置への移動ベクトルを逐次算出して対象物を追跡する手段を備えた相関追跡システムの技術が知られている。
【特許文献１】特開２０００−２５９８３３号公報
【特許文献２】特許３２４０３３９号公報
【特許文献３】特許３２００９５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記に説明した技術では画像入力後にメモリに格納された画像列から最適な顔の状態の画像を判定し、選択することができる。
【０００９】
しかし、最適な状態の画像を入力するタイミングの設定や予測はできない。このため、画像を選択するために不必要な画像データを記録する必要があり、従って大容量メモリが必要になる。また、通常の記録レートにおいて高速に変化する被写体の状態に充分追随して高画質な画像を得ることが困難である。更に、必ずしも補間によって希望するタイミングでの画像が得られるとは限らない。
【００１０】
また、移動物体の追跡においては照明条件の変化や撮像装置自身が動いた場合の対応が困難であるといった問題があった。
【００１１】
また、特許文献３に開示された構成においては、入力画像から切り出された部分とテンプレートとの相関に基づいて物体の追跡を行うが、入力画像から切り出す部分領域を適切に設定することが一般的に困難である。更に、撮影条件の変動により追跡物体のピント外れが生じたり、照明条件が変動した場合には、高速に移動、変化する物体の追跡性能を保持できなくなる。また、背景に追跡中の物体と類似する動きベクトルのパターンがある場合に背景物体を誤認識して追跡してしまう可能性がある。
【００１２】
本発明は上記問題に鑑みなされたものであり、大容量メモリが不要で、より適切な状態の画像の取得を可能とする撮像装置に関する技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するため、本発明による撮像装置は以下の構成を備える。即ち、
物体を撮像し、該撮像に係る画像データを順次取得する撮像手段と、
前記画像データにおける前記物体の特徴点から算出される、第１の特徴量の変化に係るモデルデータを記憶する記憶手段と、
取得された前記画像データにおける前記物体の特徴点から第２の特徴量を算出する算出手段と、
前記第２の特徴量と、前記モデルデータとに基づいて前記物体が所定の条件に合致するタイミングを推定する第１の推定手段と、
推定された前記タイミングに対応する前記画像データを画像データ記憶手段に記憶させる制御手段と、を備える。
【発明の効果】
【００１４】
本発明によれば、大容量メモリが不要で、より適切な状態の画像の取得を可能とする撮像装置に関する技術を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【００１６】
＜＜第１実施形態＞＞
〔撮像装置の構成〕
まず、本実施形態に係る撮像装置の構成について図１を参照して説明する。図１は、本実施形態に係る撮像装置の要部構成図である。
【００１７】
図１のように、本実施形態に係る撮像装置は、結像光学系１、映像入力部２、主被写体検出部３、状態変化推定部４、モデルデータメモリ６、画像入力処理制御部７、撮像モード設定部８、および画像記録部５等から構成される。各構成部の機能の概要は以下のとおりである。
【００１８】
結像光学系１はレンズ等から構成され、被写体から入力された光に基づいて結像する。
【００１９】
映像入力部２は、結像光学系１において結像された画像を光電変換し、画像データとして出力する。映像入力部２は、ＣＣＤ（電荷結合素子）等の映像（光学）センサや、センサ信号処理回路、センサ駆動回路等から構成される。映像入力部２は、典型的にはＣＭＯＳイメージセンサ等が用いて構成される。映像入力部２は、センサ駆動回路（不図示）からの読み出し制御信号により所定の映像信号（画像データ）を出力する。尚、本実施形態においては、入力される画像データは複数フレームからなる動画像に係るものである。
【００２０】
主被写体検出部３は、映像入力部２のセンサ信号駆動（処理）回路から入力された画像データを処理して、撮像モード設定部８においてユーザにより設定された撮像モードに対応する所定のカテゴリの被写体を検出する回路である。即ち、入力された画像データ中から、予め登録された特定カテゴリの対象に対応する画像を被写体として検出する。
【００２１】
主被写体検出部３で検出される被写体カテゴリの大きさは可変であり、ユーザによる指示入力や予め設定された条件等に基づいて適切に変更することができる。カテゴリの種類としては、例えば、人物、車などのような大分類から、人物の中での老若男女に類する中程度の分類クラス、更には特定人物レベルまでの細分化したクラスまであるものとする。
【００２２】
ここでは、特定カテゴリを人物の顔（特定個人の顔またはヒトの顔全般）とし、顔に関するモデルデータが主被写体検出部３内のモデルデータ記憶部（不図示）に格納されている。顔に関するモデルデータとしては、例えば、顔画像データ、主成分分析や独立成分分析により得られる顔全体に関する所定の特徴ベクトルデータ、または、顔の目、口等の個々の顔に特徴的な領域に関する局所的特徴データが含まれる。
【００２３】
主被写体の状態変化推定部４は、主被写体の状態変化を推定し、特定の状態カテゴリに到達するまでの時間を予測する。本実施形態における状態カテゴリは表情であり、状態変化推定部４は顔の表情変化の予測・推定を行い、後で説明するように現在の時刻から予め登録された表情カテゴリ（例えば最もいい笑顔）に到達するまでの時間を推定する。そして推定したタイミングを画像入力処理制御部７に入力する。
【００２４】
モデルデータメモリ６は、撮像モードに対応する代表的な画像をモデルデータとして格納するメモリである。図１のように、モデルデータメモリ６は状態変化推定部４からアクセス可能に構成される。
【００２５】
画像入力処理制御部７は、状態変化推定部４からの入力に基づき、映像入力部２の画像入力の最適タイミング制御を行う。具体的には、状態変化推定部４により推定されたタイミングで制御信号を発生し、映像入力部２の光学センサから入力された画像データを、画像記録部５に記録するように制御する。これにより、所定の状態で被写体が自動撮影されるように、いわゆるシャッタータイミングの設定を自律的に行う。
【００２６】
画像記録部５は画像データを記録するものであり、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＰＣカード、ＤＶＤ、ＩＣメモリカード、ＭＯ、メモリスティック等のメディアから構成される。もちろん、ハードディスク装置やＲＡＭ等によって構成してもよい。
【００２７】
撮像モード設定部８はユーザからの撮像モードの設定を受け付けるものであり、ディスプレイやボタン、タッチパネル等から構成される。
【００２８】
〔全体処理〕
次に、上記構成による全体処理の流れについて図３を参照して説明する。図３は、本実施形態に係る全体処理の流れを示したフローチャートである。
【００２９】
まず、ステップＳ０において、撮像モードの設定処理と、ベストな撮影状態に対応する画像のユーザによる登録または選択の処理を行う。本実施形態では、ユーザにより、メニュー画面から撮像モードとして口を開けて笑っている「笑顔」の表情が選択された場合を説明する。
【００３０】
次に、ステップＳ１において、被写体のいる方に本実施形態に係る撮像装置が向けられると、撮像装置は画像入力部２２を介して画像を取得する。
【００３１】
次に、ステップＳ２において、主被写体検出部３は、入力画面内から主被写体（人間の顔）の検出処理を行う。
【００３２】
次に、ステップＳ３において、状態変化推定部４は、検出された主被写体の状態、即ち、表情を判定し、抽出する処理を行う。
【００３３】
次に、ステップＳ４において、状態変化推定部４は、検出された主被写体の表情が、撮像モードに対応する所定のもの（例えば笑顔）に変化するまでの時間（ベストフレームタイミング）を予測する。
【００３４】
次に、ステップＳ５において、画像入力制御部７は、ステップＳ４において予測されたタイミングで撮像を制御する。そして処理を終了する。
【００３５】
以下、各ステップにおける処理の詳細を説明する。
【００３６】
〔撮像モードの設定処理〕
ステップＳ０において実行する撮像モードの設定処理について図９を参照して説明する。図９は、撮像モード設定部８における撮像モード設定の手順を示すフローチャートである。
【００３７】
先ずステップＳ９１において、ディスプレイ画面（不図示）に撮像モード設定用メニューを表示し、ユーザによる撮像モードの選択を受け付ける。
【００３８】
次に、ステップＳ９２においてユーザにより選択された撮像モードを判定する。選択可能な撮像モードは、例えば、ベスト笑顔撮影、横顔ポートレート、侵入者・不審者撮影等を含むように構成することができる。
【００３９】
ここで、ベスト笑顔撮影とは、被写体としての人間の顔が最良の（ベストの）笑顔を示したタイミングにおいて自律的に撮影を行うことを意味する。横顔ポートレートとは、被写体としての人間の顔が理想的な姿勢やアングルの横顔となったタイミングで自律的に撮像を行うことを意味する。侵入者・不審者撮影とは、例えば、本実施形態に係る撮像装置を監視カメラとして所定の位置に設置した場合において、侵入者が宝石や金庫に手を伸ばしている状態など、犯行を行っているタイミングで自律的に撮像を行うことを意味する。以下、主にベスト笑顔撮影が選択された場合について各ステップ（ステップＳ０乃至Ｓ５）の説明を行う。他のモード（例えば、横顔ポートレート、侵入者・不審者撮影等）が選択された場合の処理も同様である。
【００４０】
次に、ステップＳ９３においては、選択された撮像モードに対応するモデル画像データの選択または登録を行い、撮像モードの設定を終了する。
【００４１】
ここでモデル画像データの選択とは、既に登録されている各モードに対応したシーンの画像の中からユーザの主観でベスト（最良）とみなす画像（データ）をモデルデータとして選択することである。本実施形態に係る撮像装置は、選択された画像データを撮像モードと対応付けてモデルデータメモリ６に格納する。モデル画像データの登録とは、新規にベストシーンの撮影を行ってモデルデータメモリ６にモデルデータとして格納することである。
【００４２】
なお、モデル画像データは、モデルとなる画像そのものでもよいし、或いは、モデルとなる画像から抽出された先に述べたようなモデルデータとしてもよい。ただし、モデルとなる画像とは、例えば、ベスト笑顔撮影モードについて設定を行っている場合は、モデル人物の笑顔の画像となる。同様に、例えば、横顔ポートレート撮影モードについて設定を行っている場合は理想的な横顔の画像、侵入者・不審者撮影モードについて設定を行っている場合は不審者の人物モデルが金庫に手を伸ばしている画像等が含まれる。これらの画像は、照明の条件や構図、アングル等について理想的であるとする。
【００４３】
モデルデータは例えば、モデルとなる画像から抽出された、主成分分析や独立成分分析により得られる画像全体に関する所定の特徴ベクトルデータや、個々の被写体に特徴的な領域に関する局所的特徴データが含まれる。
【００４４】
例えば、所望の笑顔（ベストな撮影状態）に至る表情変化予測を行う場合には、動き（変位）ベクトル分布モデルとして無表情の顔と所望の笑顔との間で主要な特徴点（複数箇所）での変位ベクトルを予め抽出してモデルデータメモリ６に格納しておく。なお、所定のカテゴリ（例えば、笑顔）に対応する特定箇所（目の端点、口の端点など）での所定間隔フレーム間での動きベクトル分布モデルを格納してもよい。
【００４５】
なお、モデルデータ（モデルとなるデータを含む）は、用途や目的に応じて、被写体としての人間によって個別に登録するように構成してもよいし、或いは、一般的な人間に当てはまる平均的なデータを登録するように構成してもよい。
【００４６】
〔主被写体の検出処理〕
次に、ステップＳ２において、主被写体検出部３が行う検出処理について図８を参照して詳細に説明する。図８は、主被写体検出部３の機能構成を示した図である。
【００４７】
主被写体検出部３は、入力画像データ中の各場所（サンプリング点）において、幾何学的特徴またはその他の特徴(例えば、色、動きベクトル情報など)を抽出する。そして、特徴量ベースでモデルデータとのマッチングやテンプレートマッチング等を行い、設定されたカテゴリの被写体検出を行う。さらに、検出された対象の入力画像中の位置を出力する。
【００４８】
図８に示すように主被写体検出部３の主な構成要素は、モデルデータ記憶部３１、特徴抽出部３２、マッチング処理部３３等である。モデルデータ記憶部３１は、検出すべき被写体を含むカテゴリに対応する画像情報をカテゴリ毎にモデルデータとして予め記憶する。特徴抽出部３２は所定サンプリング点位置で上述した特徴量の抽出を行う。マッチング処理部３３は、抽出された特徴量に基づき入力画像データとモデルデータとのマッチング処理（類似度算出）を行う。
【００４９】
マッチング処理部３３で行う処理としては、例えば、特開平９−１３０７１４号公報に記載の画像情報抽出装置と同様の処理を行う。即ち、被写体距離に応じたサイズのテンプレートモデル画像を生成し、これを用いて画面内を走査しながら、各場所で正規化相関係数などを計算する。そして、入力画像の局所部分とモデルデータとの類似度分布を算出する。一般的にはその類似度分布の最大値が所定の閾値を越していれば、そのカテゴリに属するパターンが検出されたことになる。
【００５０】
ここで、予め前処理として時系列入力画像データから公知の手法により一次特徴量（動きベクトル、色情報等の低次特徴量）抽出を行っておき、主被写体が存在する可能性の高い候補領域を抽出して探索範囲の絞込みを行っておいてもよい。これにより主被写体検出の処理時間を短縮することができる。例えば、色情報抽出により、予め登録してあるモデル画像データの要部の色彩(例えば、人物の肌色など)に近い色彩を有する画像領域を閾値処理により抽出しておく。或いは（更には、それらの画像領域の中で）、一定サイズ以上のまとまった動きベクトル量を有する領域を被写体候補領域として抽出しておく。その後、候補領域内の各サンプリング点についてのみ上述の類似度算出を行う。
【００５１】
なお、ここでは撮像装置（の結像光学系１）は所定位置に固定して設置されているものとする。手持ち撮影を行う場合には、撮像装置そのものの動きに伴うグローバルな動きベクトル量（Ego-motionベクトル）を抽出して、それを全体の動きベクトル分布から相殺した後に動きベクトル量に基づく領域分割を行う。これにより人物など動きのある被写体の候補領域を求めることができる。
【００５２】
前処理用に抽出する一次特徴量としては、このような色彩情報や動きベクトル情報から得られる特徴量に限定される必要は無く、他の低次の特徴量を用いてもよいことは言うまでも無い。このような低次の特徴量としては、例えば、特定範囲の方向成分と特定範囲の空間周波数を有するような幾何学的特徴や、或いは、特許第３０７８１６６号公報に開示された局所的特徴要素等が挙げられる。またここでは、算出された最大類似度に対する閾値の比を信頼度として用いるが、他の指標（例えば、所定時間幅で算出した最大類似度の分散値など）を信頼度として用いても良い。
【００５３】
なお、マッチング処理部３３は上記のような構成に限られない。例えば、階層的ニューラルネットワーク回路（特願２０００−１８１４８７、特願２０００―１８１４８８、特願２０００−１８１４８０）やその他の構成により実現してもよい。いずれにしても、主被写体として検出された被写体の検出信頼度（或いは確信度）とその画面内での位置情報がマッチング処理部３３から出力されるが、主被写体が画面内で検出されなかった場合には、主被写体の未検出信号が出力されるようにしてもよい。
【００５４】
〔状態変化推定部４の処理〕
次に、ステップＳ３、Ｓ４において、状態変化推定部４が実行する処理内容について説明する。ここでは既に主被写体の顔面が検出され、顔の目尻、口元など表情検出に有効な部位の特徴点または特徴量（例えば、位置、相対位置ベクトルまたは距離、該当部位近傍のエッジ密度など）が検出されているものとする。
【００５５】
状態変化推定部４は、時空間パターン系列として、これら特徴点の過去数フレーム分の変化量、若しくは特徴量ベクトル系列と現フレームでの顔画像で抽出される特徴量分布とに基づいて最適撮影状態の予測に関する処理を行う。図７は、この最適撮影状態の予測に関する処理の流れを示したフローチャートである。なお、この処理は、検出された顔画像を所定サイズに正規化したうえで実行する。
【００５６】
状態変化推定部４は、図７にフローチャートで示すような最適撮影状態の予測に関する処理を行い、予めモデルデータメモリ６に格納された所定の表情に関する登録データ（モデルデータ）に最も近づく時刻を推定する。
【００５７】
ステップＳ７１において、状態変化推定部４は、まず、表情検出の特徴量として有効部位のｍ個の特徴量（動きベクトルや変位ベクトルの分布、目尻と唇端点間距離など特徴点間の距離、エッジ密度の変化などを含む）を抽出する。そして、過去から現在までの数フレーム分におけるそれぞれｍ個の特徴量の時系列データと、モデルデータとしての登録された表情の対応する特徴量の時系列データと、の誤差を要素とする時系列ベクトル（誤差ベクトル）を抽出する。ここで各特徴点位置は、鼻の頂点位置または両目の中心を結ぶ線分の中点位置（以下、顔の基準点という）を基準とした位置ベクトルで表されているものとする。もちろんこれ以外の記述法により表現してもよい。表情認識に用いる主要な特徴点としては、例えば、ほくろ、目尻、目頭、口元、眉の端点または眉の輪郭線の変曲点、鼻の穴、皺の輪郭線の変曲点、分岐点、端点などである。
【００５８】
次に、ステップＳ７２では、人物の顔面内において設定された特徴点における所定フレーム画像（例えば、無表情の顔）からの対応点の動き（変位）ベクトル分布の時系列データに基づいて、特定の表情（例えば、笑顔）に到達するまでの時間を予測する。具体的には、状態変化推定部４は、この誤差ベクトル列がゼロベクトルもしくは誤差ベクトルのノルムが所定の大きさに収束する時間を推定する（Ｓ７２）。なお、誤差ベクトルとしては関連する特徴量の全ての要素についてではなく、有用な特定の一部の要素についてモデルデータとの差分に基づいて生成してもよい。
【００５９】
時間の推定は、一定時間前から現在までの、誤差ベクトルの値の推移に基づいて行う。例えば、２単位時間前の誤差ベクトルのノルムの値が５、１単位時間前のノルムの値が４、現在のノルムの値が３の場合は、１単位時間経過する毎にノルムの値が１減少すると予測できる。従って、２単位時間後にノルムの値が０、即ち、特定の表情になると予測する。後述するように、予測のアルゴリズムは公知のアルゴリズムを使用する。
【００６０】
誤差ベクトルを関連する特徴量の一部の要素に基づいて生成する場合、誤差ベクトルの大きさを算出する際には、ベクトルの各要素に所定の重みをつけて所定の尺度でノルム（例えば、ユークリッドノルム、ミンコフスキーノルムなど）を求める。重みが一様で、ユークリッドノルムを用いる場合が最も一般的であるが、検出予定のカテゴリによっては特定の要素が検出に重要な場合（例えば、笑顔検出の場合の目尻と口元の端点間距離など）には、その重要度によって重みの値を大きくする。
【００６１】
上述のように、例えば、望ましい笑顔を検出するような場合、本実施形態に係る撮像装置は、予めステップＳ０において、ユーザの指示入力に基づき望ましい笑顔の画像を登録しておく。あるいは、予め設定された笑顔の画像を選択する。本実施形態に係る撮像装置は、その画像を解析して特徴点を抽出し、抽出された特徴点に基づいてモデルデータを算出しモデルデータメモリ２６に記憶しておく。
【００６２】
処理ステップＳ７１では、このモデルデータ算出に用いた特徴点に対応する特徴点を選択する。例えば、その笑顔の左右口元の位置、左右目尻の位置を特徴点として選択する。そして、これら各特徴点の位置の変位（モデルデータ）と入力画像上の対応する特徴点位置（いずれも顔の基準点に対する相対位置）の変位などに基づいて生成する誤差ベクトル（上記定義に基づく）を、各フレーム毎に求める。即ち、時刻ｔ＝n, n-1, n-2, ・・・のフレームごとに求める。
【００６３】
具体的には、検出カテゴリに応じて各特徴点（若しくは特徴点近傍）に対して変位ベクトル（動きベクトル）のモデルデータを、状態変化推定部４によって参照されるモデルデータメモリ６に予め格納しておく。そして、そのモデルデータメモリ６から読み出された変位ベクトルと入力画像から抽出される対応する変位ベクトルとの差分ベクトルの各要素に所定の重みを付けて誤差ベクトルを生成する。各重みの値は通常、均等としてよいが、特定の部位の変位または部位間の変位を重視する場合には相対的に高い値を設定すればよい。
【００６４】
このようにして得られる誤差ベクトルがゼロベクトル、若しくはその大きさが所定値以下となるフレーム時刻（以下、ベスト表情時刻という）の予測を処理ステップＳ７２で行う。例えば、各入力画像フレームについて求まる誤差ベクトルの大きさの時系列データから値がゼロまたは基準値以下となる時刻を線形予測（いわゆるAR、ARMA、ARX等々）やモデル化による非線形予測の手法等を用いて求める。モデル化による非線形予測の手法には、例えば、観測データ列に対してモデル運動方程式をたて、そのモデル運動方程式を基に予測をおこなう手法やニューラルネットを用いる手法等が含まれる。
【００６５】
なお、誤差ベクトル以外に所定の局所特徴量として、検出予定の表情に特有の変化を生じる特徴点、例えば、目や口の周辺の局所的な領域でのエッジ密度やパワースペクトル、目尻、目頭などの特徴点位置の変位ベクトルなどを時系列データ化してもよい。この場合、各時刻での特徴量データと無表情の場合の対応する特徴量データとの偏差分布から所望の表情に到達または収束するまでの時間を予測する。
【００６６】
具体的には、例えば、笑顔を検出する場合に特定の特徴点位置の変化傾向（唇の端点位置が横に広がるなど）がその笑顔に特有のデータとして保持されている場合には次のような処理を行う。即ち、この場合、各特徴点の無表情状態からのその表情に特有の変化方向に向かう（所定の表情カテゴリに近づく方向での）変位ベクトルの変化率の分布を入力画像データごとに求める。そして、その値が閾値以下（特定表情に収束）となる時刻をベスト表情時刻として予測を行う。
【００６７】
人物の顔面の多くの点での変位ベクトルの分布を求めるのではなく限定された特定部位における変位ベクトルの代表的な大きさ（例えば、目尻と口元の端点間距離）に基づいてベスト表情時刻（画像入力タイミング）を設定してもよい。これにより推定精度を著しく損ねることなく演算量を削減することができ、高速応答性を高めることができる。
【００６８】
変位ベクトルの時間的変化率が閾値以下となる時刻を予測する意味は、例えば、笑顔であれば、微笑みの表情から口を開けて笑う状態に推移する途中の過程ではなく、口を開けて笑った瞬間のベストな表情に収束するまでの時間を予測するためである。しかし、ある特定の表情に遷移する過程での特定の中間的な表情に対応するモデル画像をベストな表情とすることもできる。この場合には、前述したように抽出される各特徴点位置のモデルデータとの位置の偏差を参照してもよい。なお、このような偏差を用いる場合には予め顔のサイズなどが正規化しておく。
【００６９】
ユーザにより選択される撮影モードとしては、その他に集合写真や記念写真モードが含まれるようにしてもよい。このような場合は特に、複数の被写体について目が開いている（目瞑りしていない）、口が閉じている（または微笑んでいる）、正面を向いている等の幾つかの表情に関する要件が満たされるように画像入力タイミングを制御する必要がある。
【００７０】
次に、集合写真モードが選択された場合の状態変化推定部４での処理について図１０を参照して説明する。図１０は、集合写真モードが選択された場合の状態変化推定部４での処理の流れを示したフローチャートである。
【００７１】
先ず、ステップＳ１０Ａで各被写体（人物）の表情パラメータの抽出を行う。具体的には、目尻、目頭、唇の端点、などの位置（または特徴点間距離）または各点での動きベクトルなどを抽出する。
【００７２】
次に、ステップＳ１０Ｂにおいて、表情変化特徴の抽出を行い、表情パラメータの変化傾向に関する特徴量の抽出を行う。具体的には、目の開度変化、口の開度変化、顔の向きの変化などを検出する。
【００７３】
ステップＳ１０ＣおよびＳ１０Ｄでは、図７に示す処理と同様にして撮像モード（集合写真モード）に対応するベストな表情に各被写体が全体として最も近づく時間の予測を行う。このとき、全ての被写体がベスト状態に揃う時間を予測するのは困難と考えられる。このため次のような処理を行ってもよい。即ち、まず、ステップＳ１０Ｃにおいて、近似的に各被写体から抽出した表情変化特徴量の変化予測を行う。そして、ステップＳ１０Ｄにおいてその平均値を用いて図７に示すような処理によりベスト表情時刻の推定を行う。ここでベスト表情は、例えば、目が開いている、笑っている、正面を向いている等の条件に基づいて予め定義されている。
【００７４】
集合写真撮影のモードに限らず、状態変化推定部４は、ベスト表情の前後数フレーム分の時間帯で瞬目（目が閉じている状態）の予測も行い、目が閉じていないタイミング（以下、非瞬目時間帯という）の予測も行ってもよい。この場合には、ベスト表情が非瞬目時間帯にあれば予測されたタイミングで画像入力を行う。一方、ベスト表情の時刻に目が閉じていると予測される場合には、非瞬目時間帯にあり、検出予定の表情カテゴリに属する画像が入力され、かつベスト表情時刻に最も近いと予測される時刻をベスト撮影状態時刻として求める。
【００７５】
〔タイミング制御〕
次に、ステップＳ５において実行する、映像入力部２の映像センサからのデータ読み出しタイミングの制御について図５を参照して説明する。図５はタイミング制御の処理の流れを示したフローチャートである。
【００７６】
フレーム間の時間間隔がＴミリ秒とすると、状態変化推定部４はＴミリ秒ごとの離散的な画像入力時刻（以下、フレーム時刻という）に求まる誤差ベクトルデータから最適表情が得られる時刻（ベスト表情時刻）を推定する。このとき得られるベスト表情時刻は、フレーム時刻と一致するとは限らず、多くの場合、離散的なフレーム時刻の間の中間的なアナログ値になる。このため、画像入力制御部７は以下の処理を行う。
【００７７】
即ち、先ず、ステップＳ５１において、画像入力制御部７は予測されたベスト撮影状態時刻を状態変化推定部４から入力する。
【００７８】
次に、ステップＳ５２において、予測された時刻の１フレーム前に一度読み出しタイミングをリセットするための信号を映像入力部２の映像センサに送る。
【００７９】
次に、ステップＳ５３において、映像入力部２の映像センサに対して読み出しタイミングパルス信号を出力し、予測された時刻に対応する画像が記録されるようにＣＭＯＳイメージセンサの光検出器からの読み出しタイミングを制御する。これにより推定された時刻に画像データの読み出しが行われるようにする。なお、推定時刻に最も近いフレーム時刻での画像を入力しても良い。
【００８０】
また、上述したセンサからの読み出しタイミング制御を行わずに、一定のレートで画像入力を行い、最適な表情に最も近いフレームを予測しても所期の効果を得ることができる。
【００８１】
尚、上記の構成に加えて、露光量制御パラメータ、ホワイトバランス制御パラメータ、その他の撮像パラメータ制御用信号処理回路（不図示）を含み、撮像条件を制御する機能要素を含むようにしてもよい。また、この機能要素は、動きベクトル分布モデルと入力画像から抽出される動きベクトル分布とからそのカテゴリに最も近づくタイミングを予測し、画像入力のタイミングを設定するようにしてもよい。
【００８２】
以上説明したように、本発明によれば主被写体の容姿や行動、撮影条件などの変化を予測し、その予測結果に基づき予め定めた条件に適合する最適なタイミングおよび露出やピントなどの撮像条件を設定する。これにより、シャッターチャンスを逃さないで自律的に撮影を行うことができる。
【００８３】
＜＜第２実施形態＞＞
第１実施形態においては撮像対象が所定の条件を満たすタイミングを推定し、推定されたタイミングに対応する画像データを記憶制御する構成について述べたが、推定の対象は撮像タイミングに限られない。本実施形態では更に、撮像に好適なタイミングにおける露出、ピントなどの撮影条件を推定し、この撮像条件に従って撮像を行う構成について述べる。
【００８４】
図２は第２実施形態に係る撮像装置の要部構成を示したブロック図である。本実施形態に係る構成は第１実施形態の構成に加えて、露出、ピントなどの撮影条件を制御する撮像条件制御部１０を備えている。他の主な構成部である、結像光学系２１、映像入力部２２、主被写体検出部２３、状態変化推定部２４、画像記録部２５、モデルデータメモリ２６、画像入力処理制御部２７、撮像モード設定部２８は、第１実施形態と同様である。即ち、それぞれ図１の１乃至８に対応する。また、第１実施形態と同様に、映像入力部２２は映像センサ、センサ信号処理回路、センサ駆動回路を含む。
【００８５】
撮像条件制御部１０は状態変化推定部２４から入力される予測信号に基づき、露出やピントなどの撮影条件を制御する。例えば、被写体が撮像装置から急速に遠ざかる運動をしている場合には、通常のＡＦ（Automatic Focus）装置では適正なピント状態の追従制御ができない。これに対して本実施形態に係る（自律）撮像装置は、被写体と撮像装置との距離を測定する所定の測距部２９を内蔵する。そして、状況変化推定部２４が、測距手段が出力する被写体との距離に関する信号に基づいて、被写体距離に関する予測信号を発生する。撮像条件制御部１０は、その予測信号からピント制御用のレンズモータ位置決め制御を行う。この場合、状態変化推定部２４は検出された被写体領域に関するピント状態の計測を重点的に行った結果を用いる。
【００８６】
次に、撮像条件制御部１０における処理の流れについて図４を参照して説明する。図４は、撮像条件制御部１０における処理の流れを示したフローチャートである。
【００８７】
先ず、ステップＳ４０Ａにおいて、主被写体検出部２３から主被写体の存在情報を入力し、主被写体としての人物が画面内に存在するか否かを判定する。存在する場合（ステップＳ４０ＡでＹＥＳ）はステップＳ４０Ｂへ進み、存在しない場合（ステップＳ４０ＡでＮＯ）は一定時間経過後、再びステップＳ４０Ａの処理を行う。
【００８８】
ステップＳ４０Ｂでは、被写体が画面内中央に位置しているか否かを判定し、中央に位置していない場合は光軸を制御して主被写体が画面中央に位置するように設定する。尚、本実施形態に係る撮像装置は、撮像方向を自由に設定可能な不図示の駆動手段を備えており、ステップＳ４０Ｂの処理は駆動手段の動作に基づいて実行される。
【００８９】
次に、ステップＳ４０Ｃにおいて、撮影モード（例えばポートレートモード）に対応した最適撮像条件（例えば、肌色成分領域が所定の色成分値となるような、露出条件、ホワイトバランス、ピント、および顔サイズ等）をモデルデータメモリ２６から読み出す。
【００９０】
この処理について、ピントの制御（ピント予測制御）を行う場合を例示的に説明する。ピント予測制御を行うために、予めモデルデータメモリ２６に、被写体距離と対応するピント制御用レンズ位置のデータをルックアップテーブルとして格納しておく。ピント予測制御の処理において、まず、状態変化推定部２４は、モデルデータメモリ２６を参照し、被写体距離に関する時系列データから、次フレームでの被写体距離、及び、該当する最適レンズ位置を線形予測する。そして、撮像条件制御部１０は対応するピント制御用のレンズモータ駆動制御信号を生成する。このように測距手段からの信号に基づき主被写体に関する距離情報を使ってピントの状態変化（対応する最適ピント制御用レンズ位置）をルックアップテーブル上で予測することにより、ピント制御を高速に追従して行うことができる。
【００９１】
他の撮像条件のパラメータについても同様である。例えば、露出の予測制御に関しては、主被写体が特定の人物であれば、その人物に適した露出量、および色補正処理パラメータを撮像制御パラメータ記憶部から読み出す。
【００９２】
ステップＳ４０Ｄにおいて、その人物領域に関する測光量の変化データを時系列的に検出する。
【００９３】
次に、ステップＳ４０Ｅにおいて、対応した最適撮影条件（露出量、ズーミング、ピントなど）の制御を行う。特定人物に適した露出量とは、例えば、与えられた照明条件下でその人物に適した所定の肌色が得られるようなホワイトバランス調整をしたうえで設定される露出量をいう。
【００９４】
具体的には、状態変化推定部２４は、主被写体領域の平均測光量の時系列データに基づいて、次フレームまたは所定時間後の測光量を画像入力タイミングの予測と同様に線形予測または非線形予測する。撮像条件制御部１０は、このようにして予測された測光量から露出制御パラメータ（センサでの蓄積時間、読み出しタイミングなど）を予め所定のメモリに格納されたルックアップテーブルのデータを参照して決定する。そして、次フレームまたは所定時間後での露出制御を行う。ルックアップテーブルのデータは、測光量データと対応する制御パラメータ値（例えば、センサでの蓄積時間、センサからの読み出し間隔に関するパラメータ値）を記録した表形式である。
【００９５】
更には、ステップＳ４０Ｅにおいて、主被写体の画面内サイズが一定範囲になるように予測制御するために、その範囲のサイズで撮像されるようにズーミング量の制御を行う。人物の顔が主被写体である場合、そのサイズは個人差が小さい。このため、人物から撮像部までの距離をｄ、焦点距離をｆ、顔(主被写体)のサイズをＳ、画面上に写る顔(主被写体)のサイズをｓとすると、
ｓ＝(ｆ／ｄ−ｆ)・Ｓ
の関係が成り立つ（ただし、ｄ＞ｆとする）。
【００９６】
従って、主被写体のサイズが一定に保たれるようにするために次の処理を行う。即ち、画像入力処理制御部２７の内部にあるＡＦ制御回路(不図示)内の距離検出部から得られる距離信号（所定の測距エリア内部にある主被写体までの距離に相当する信号）からｄを推定する。そして、画面上の主被写体サイズｓが一定範囲に保持されるように焦点距離ｆを制御する。尚、測距エリアが画面内の複数箇所にある場合には、主被写体が検出された位置にある測距エリアにおいてのみ距離信号を求めるようにしてもよい。
【００９７】
なお、ズーミングの予測制御は、例えば、次のように行ってもよい。即ち、まず、主被写体の画面内サイズｓが画面サイズをはみ出すか、一定サイズ以下になる時刻を予測する。次に、その予測された時刻に到達する前に前者（はみ出す場合）では倍率を下げ、後者（一定サイズ以下になる場合）では倍率を上げるような制御を行う。このときに予測された時刻までの到達時間Ｔ1と主被写体の画面内サイズの変化率Ｒとに基づいて倍率の制御量Ｐを定めてもよい。例えば、Ｐ＝Ｃ1／{(１＋Ｃ2Ｔ1)Ｒ}の様にすればよい（Ｃ1、Ｃ2は正定数）。
【００９８】
主被写体領域の簡易な推定には、例えば人物の顔領域の中心位置のみを主被写体検出部２３が検出し、その領域については上式に基づいて算出されるサイズｓから当該領域を推定するようにしてもよい。その後、当該領域についての周知の手法(例えば、特開平０８−２７８５２８号公報に開示された手法等)による測光情報を得て、その結果に基づき露出制御などを行っても良い。
【００９９】
本実施形態では、状態変化推定部２４は、現画像入力時点から所定時間経過後、若しくは、所定フレーム後の画像入力タイミングにおける主被写体についてのパラメータの少なくとも１つを予測する。このようなパラメータには、例えば、主被写体の画面内位置、形状またはサイズ、代表輝度値、代表コントラスト、色相及び明度分布が含まれる。そして、撮像条件制御部１０は、予測された少なくとも１つのパラメータ値に基づいて、結像光学系２１の光軸方向、倍率、焦点位置、露出量の少なくとも一つの条件を制御する。
【０１００】
各パラメータに対して予め定められる制御ルールは、例えば、光軸方向については、主被写体が常に画面の中心付近にあるように向き（撮像方向）を制御する。他のパラメータは、例えば、倍率については主被写体サイズが所定の範囲（画像の全体サイズ比基準で）にあるように制御する。例えば、ピントについては常に主被写体の合焦度が最大付近（若しくは極大）になるように制御する。例えば、露出量については主被写体の要部の平均輝度値が所定範囲内にあるように制御する。
【０１０１】
予測が行われるパラメータの選択はその変化率、変動量（または時系列データとしての分散値）がそれぞれのパラメータごとに定められた基準値より大きいパラメータである。具体的には、制御すべき撮像条件は予測されるパラメータごとに定まっているものとする。例えば、主被写体の位置を予測した場合に対しては光軸方向、サイズに対しては焦点位置（倍率もあわせて制御対象となりえる）、代表輝度値、或いは、代表コントラストに対しては露出量を制御する。
【０１０２】
本実施形態に示した状態変化推定部２４による予測に基づく撮像条件の制御により、主被写体位置（距離）だけでなく、照明条件が急激に変化するような場合でも被写体の状態変化に対する追従性の高い撮像動作が可能となる。
【０１０３】
以上述べたように、本実施形態に係る構成は第１実施形態の構成に加えて撮像条件制御部１０を備える。そして、被写体の撮像画像に係るパラメータを予測し、予測されたパラメータに基づいて撮像条件を制御する。このため、本実施形態に係る構成によれば複雑な環境変化に対応して適切な撮像を行うことができる。
【０１０４】
＜＜第３実施形態＞＞
本実施形態では、上記の構成に加えて、主被写体（人物）の動作パターンを検出した結果（動作パターンの内容）に基づいて撮像条件を自動制御（変更）する。
【０１０５】
図６は本実施形態に係る撮像装置の要部構成図である。図６のように、本実施形態に係る撮像装置は、結像光学系３１、映像入力部３２、主被写体推定部３３、状態変化推定部３４、画像記録部３５、モデルデータメモリ３６、画像入力処理制御部３７、撮像モード設定部３８、撮像条件制御部３００を備える。これらは、図１における１乃至８、図２における１０とそれぞれ同様であり、詳細な説明は省略する。
【０１０６】
本実施形態に係る撮像装置は、これらの構成に加えて主被写体の動作検出部３９を更に備える。動作検出部３９が主被写体による所定の動作を検出したときに、画像入力制御部３７および撮像条件制御部３００は、画像入力のレートの変更、主被写体へのズーム、主被写体を中心とする露出、ピント条件の設定等を実行する。ただし、画像入力のレートの変更とは、動作検出部３９が動作を検出しない通常時と比べて画像レートを高く、又は、低く変更することである。ズーミング、ピント、露出条件の複合制御については第２実施形態における処理と同様であるので説明を省略する。
【０１０７】
画像入力レートの変更の目的は、特定の意味のある（重要な）動作内容を詳細に撮像記録することである。画像入力レートを高く（低く）設定する場合には、センサからの光電変換信号の読み出しレートを高く（低く）することになる。通常は読み出しレートを高くした場合、センサからの信号の増幅器による増幅率を上げるように制御する。
【０１０８】
動作検出部３５が検出する動作とは、主被写体が人物や動物であるときにはその身体動作を指す。例えばある種のスポーツにおける特定の動作パターン（ゴルフ、テニス、野球でのスイングをしているときの動作など）、ダンスにおける特定の振り、特定の意味を持ったジェスチャや手振り、或いは、走っている人物の体全体若しくは頭部全体の動きなどである。また主被写体が自動車、二輪車、列車などの車両である場合に検出するのは車両の流れにおける異常状態であり、例えば、特に衝突、追突、転倒、横転などの事故に相当する。後者のように主被写体が車両である場合において事故状態を検出した場合、画像入力レートを高くするか、若しくは、通常（事故状態を検出しない場合）は入力画像を媒体に記録しない動作モードにしておく。これにより、事故状態検出時にその前後の所定時間範囲で動画像記録を行うようにする。
【０１０９】
人物の類型化された動作の検出のための認識処理は、公知の技術を使えばよい。例えば球技のようにラケットやバットなどの道具を用いたスイング動作の検出は例えば次のように行えばよい。即ち、人体の顔の向きと手首（または掌や手先）の位置、及び道具の位置と姿勢を検出し、それらの特徴点が所定の視点位置から見た画像上で予め定められた相対位置関係を保持しながら所定範囲の軌道を描いて推移することを検知する。
【０１１０】
例えば、テニスのスイング動作の検出は、ラケット面の重心位置とグリップの位置、手首の位置、頭部の位置、及び身体の脚部の膝、足首の位置等を動作検出の特徴点とする。そして、手首の位置がラケットのグリップ近くにあり、手首が水平面内で大振幅の動きを行なっている状況をスイング動作と検出する。
【０１１１】
このために動作検出部３５は、頭部検出部（不図示）、顔の位置・向き検出部（不図示）、手首（または掌や手先）の位置・向き検出部（不図示）、及び道具の位置・向き検出部（不図示）、及び動作カテゴリ判定部（不図示）を有する。ただし、これらに代えて頭部、顔、手、道具の検出機能を備えたマルチカテゴリ対応の物体検出認識部を主要な構成要素としてもよい。
【０１１２】
以上の処理の流れを図１１を参照して説明する。図１１は本実施形態に係る動作検出部１０が実行する処理の流れを示したフローチャートである。
【０１１３】
図１１の処理は図３のステップＳ３以降（例えば、ステップＳ３とＳ４の間）に実行する。まず、ステップＳ１１０１において、ステップＳ３において抽出された主被写体の状態等に基づいて主被写体の動きが検出されるか否かを判定する。動きが検出された場合（ステップＳ１１０１でＹＥＳ）はステップＳ１１０２へ進み、検出されなかった場合（ステップＳ１１０１でＮＯ）はステップＳ１１０３へ進む。
【０１１４】
ステップＳ１１０２では、撮像レートを被写体の動きに合わせて上げる処理を行う。そして、図１１のフローを終了する。
【０１１５】
ステップＳ１１０３では、通常の撮像制御を行う。そして、図１１のフローを終了する。
【０１１６】
以上のように、本実施形態に係る構成は、人物や車両の検出・認識だけではなく特定の動作や状態を検出する処理回路（動作検出部３５）を内蔵し、その特定の動作や状態を検出したときに画像の入力レートを高くなるように制御する。これにより、重要なシーンの画像取り込みチャンスを逃さない撮影が可能になる。
【０１１７】
＜＜その他の実施形態＞＞
以上、本発明の実施形態例について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１１８】
尚、本発明は、前述した実施形態の機能を実現するプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１１９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含む。
【０１２０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１２１】
プログラムを供給するための記録媒体としては、例えば、次のものが含まれる。即ち、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）等が含まれる。
【０１２２】
その他、プログラムの供給形態としては、次のようなものも考えられる。即ち、クライアント装置のブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明に係るコンピュータプログラム、或いは、圧縮され自動インストール機能を含むファイルをＨＤ等の記録媒体にダウンロードする形態も考えられる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１２３】
また、次のような供給形態も考えられる。即ち、まず、本発明に係るプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報の使用により暗号化されたプログラムを実行してコンピュータにインストールさせて本発明に係る構成を実現する。このような供給形態も可能である。
【０１２４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他次のような実現形態も想定される。即ち、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１２５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づいも前述した実施形態の機能が実現される。即ち、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１２６】
【図１】第１実施形態に係る撮像装置の要部構成図である。
【図２】第２実施形態に係る撮像装置の要部構成を示したブロック図である。
【図３】第１実施形態に係る全体処理の流れを示したフローチャートである。
【図４】撮像条件制御部における処理の流れを示したフローチャートである。
【図５】タイミング制御の処理の流れを示したフローチャートである。
【図６】第３実施形態に係る撮像装置の要部構成図である。
【図７】最適撮影状態の予測に関する処理の流れを示したフローチャートである。
【図８】主被写体検出部の機能構成を示した図である。
【図９】撮像モード設定部における撮像モード設定の手順を示すフローチャートである。
【図１０】集合写真モードが選択された場合の状態変化推定部での処理の流れを示したフローチャートである。
【図１１】動作検出部が実行する処理の流れを示したフローチャートである。
【技術分野】
【０００１】
本発明は撮像装置に関し、特に、撮像条件に応じて自動的に撮像を行う撮像装置に関する。
【背景技術】
【０００２】
従来より、撮像条件に応じて自動的に撮像を行う撮像装置に関する技術が知られている。
【０００３】
特許文献１には、複数の連続的な画像から人物の顔の状態を判定し、顔の状態が最適となるような画像を選択する技術が開示されている。
【０００４】
特許文献２には、ユーザが希望するタイミングの画像がない場合に、記録された動画データに対して、異なる画像間での画素対応を用いた補間処理を行い、ユーザが希望するタイミングでの画像を生成する技術が開示されている。
【０００５】
一方、従来より被写体の動きを追跡して撮影する技術が知られている。
【０００６】
特許文献３には、画像から部分テンプレートを切り出し、テンプレートと入力画像との相関により物体を追跡する技術が開示されている。ただし、追跡する際に追跡履歴や物体に関する知識によりテンプレートの分離、統合、更新を行う。また、物体の行動パターンを学習して将来の行動予測に基づき相関演算範囲を決定する。
【０００７】
また、入力画像と参照画像データの最小残差量に基づいて目標物体位置を検出する際、時系列的に検出された目標物体の２つの位置に基づく動作（速度）または３つの位置に基づく加速度を検出し、更に予測位置の算出を行う技術が知られている。更に、形状が変化する対象の複数のテンプレートを用いて最も一致度の大きいテンプレートを見つけて当該テンプレートの位置への移動ベクトルを逐次算出して対象物を追跡する手段を備えた相関追跡システムの技術が知られている。
【特許文献１】特開２０００−２５９８３３号公報
【特許文献２】特許３２４０３３９号公報
【特許文献３】特許３２００９５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記に説明した技術では画像入力後にメモリに格納された画像列から最適な顔の状態の画像を判定し、選択することができる。
【０００９】
しかし、最適な状態の画像を入力するタイミングの設定や予測はできない。このため、画像を選択するために不必要な画像データを記録する必要があり、従って大容量メモリが必要になる。また、通常の記録レートにおいて高速に変化する被写体の状態に充分追随して高画質な画像を得ることが困難である。更に、必ずしも補間によって希望するタイミングでの画像が得られるとは限らない。
【００１０】
また、移動物体の追跡においては照明条件の変化や撮像装置自身が動いた場合の対応が困難であるといった問題があった。
【００１１】
また、特許文献３に開示された構成においては、入力画像から切り出された部分とテンプレートとの相関に基づいて物体の追跡を行うが、入力画像から切り出す部分領域を適切に設定することが一般的に困難である。更に、撮影条件の変動により追跡物体のピント外れが生じたり、照明条件が変動した場合には、高速に移動、変化する物体の追跡性能を保持できなくなる。また、背景に追跡中の物体と類似する動きベクトルのパターンがある場合に背景物体を誤認識して追跡してしまう可能性がある。
【００１２】
本発明は上記問題に鑑みなされたものであり、大容量メモリが不要で、より適切な状態の画像の取得を可能とする撮像装置に関する技術を提供することを目的とする。
【課題を解決するための手段】
【００１３】
上記目的を達成するため、本発明による撮像装置は以下の構成を備える。即ち、
物体を撮像し、該撮像に係る画像データを順次取得する撮像手段と、
前記画像データにおける前記物体の特徴点から算出される、第１の特徴量の変化に係るモデルデータを記憶する記憶手段と、
取得された前記画像データにおける前記物体の特徴点から第２の特徴量を算出する算出手段と、
前記第２の特徴量と、前記モデルデータとに基づいて前記物体が所定の条件に合致するタイミングを推定する第１の推定手段と、
推定された前記タイミングに対応する前記画像データを画像データ記憶手段に記憶させる制御手段と、を備える。
【発明の効果】
【００１４】
本発明によれば、大容量メモリが不要で、より適切な状態の画像の取得を可能とする撮像装置に関する技術を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、添付図面を参照して本発明に係る実施の形態を詳細に説明する。ただし、この実施の形態に記載されている構成要素はあくまでも例示であり、本発明の範囲をそれらのみに限定する趣旨のものではない。
【００１６】
＜＜第１実施形態＞＞
〔撮像装置の構成〕
まず、本実施形態に係る撮像装置の構成について図１を参照して説明する。図１は、本実施形態に係る撮像装置の要部構成図である。
【００１７】
図１のように、本実施形態に係る撮像装置は、結像光学系１、映像入力部２、主被写体検出部３、状態変化推定部４、モデルデータメモリ６、画像入力処理制御部７、撮像モード設定部８、および画像記録部５等から構成される。各構成部の機能の概要は以下のとおりである。
【００１８】
結像光学系１はレンズ等から構成され、被写体から入力された光に基づいて結像する。
【００１９】
映像入力部２は、結像光学系１において結像された画像を光電変換し、画像データとして出力する。映像入力部２は、ＣＣＤ（電荷結合素子）等の映像（光学）センサや、センサ信号処理回路、センサ駆動回路等から構成される。映像入力部２は、典型的にはＣＭＯＳイメージセンサ等が用いて構成される。映像入力部２は、センサ駆動回路（不図示）からの読み出し制御信号により所定の映像信号（画像データ）を出力する。尚、本実施形態においては、入力される画像データは複数フレームからなる動画像に係るものである。
【００２０】
主被写体検出部３は、映像入力部２のセンサ信号駆動（処理）回路から入力された画像データを処理して、撮像モード設定部８においてユーザにより設定された撮像モードに対応する所定のカテゴリの被写体を検出する回路である。即ち、入力された画像データ中から、予め登録された特定カテゴリの対象に対応する画像を被写体として検出する。
【００２１】
主被写体検出部３で検出される被写体カテゴリの大きさは可変であり、ユーザによる指示入力や予め設定された条件等に基づいて適切に変更することができる。カテゴリの種類としては、例えば、人物、車などのような大分類から、人物の中での老若男女に類する中程度の分類クラス、更には特定人物レベルまでの細分化したクラスまであるものとする。
【００２２】
ここでは、特定カテゴリを人物の顔（特定個人の顔またはヒトの顔全般）とし、顔に関するモデルデータが主被写体検出部３内のモデルデータ記憶部（不図示）に格納されている。顔に関するモデルデータとしては、例えば、顔画像データ、主成分分析や独立成分分析により得られる顔全体に関する所定の特徴ベクトルデータ、または、顔の目、口等の個々の顔に特徴的な領域に関する局所的特徴データが含まれる。
【００２３】
主被写体の状態変化推定部４は、主被写体の状態変化を推定し、特定の状態カテゴリに到達するまでの時間を予測する。本実施形態における状態カテゴリは表情であり、状態変化推定部４は顔の表情変化の予測・推定を行い、後で説明するように現在の時刻から予め登録された表情カテゴリ（例えば最もいい笑顔）に到達するまでの時間を推定する。そして推定したタイミングを画像入力処理制御部７に入力する。
【００２４】
モデルデータメモリ６は、撮像モードに対応する代表的な画像をモデルデータとして格納するメモリである。図１のように、モデルデータメモリ６は状態変化推定部４からアクセス可能に構成される。
【００２５】
画像入力処理制御部７は、状態変化推定部４からの入力に基づき、映像入力部２の画像入力の最適タイミング制御を行う。具体的には、状態変化推定部４により推定されたタイミングで制御信号を発生し、映像入力部２の光学センサから入力された画像データを、画像記録部５に記録するように制御する。これにより、所定の状態で被写体が自動撮影されるように、いわゆるシャッタータイミングの設定を自律的に行う。
【００２６】
画像記録部５は画像データを記録するものであり、例えば、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＰＣカード、ＤＶＤ、ＩＣメモリカード、ＭＯ、メモリスティック等のメディアから構成される。もちろん、ハードディスク装置やＲＡＭ等によって構成してもよい。
【００２７】
撮像モード設定部８はユーザからの撮像モードの設定を受け付けるものであり、ディスプレイやボタン、タッチパネル等から構成される。
【００２８】
〔全体処理〕
次に、上記構成による全体処理の流れについて図３を参照して説明する。図３は、本実施形態に係る全体処理の流れを示したフローチャートである。
【００２９】
まず、ステップＳ０において、撮像モードの設定処理と、ベストな撮影状態に対応する画像のユーザによる登録または選択の処理を行う。本実施形態では、ユーザにより、メニュー画面から撮像モードとして口を開けて笑っている「笑顔」の表情が選択された場合を説明する。
【００３０】
次に、ステップＳ１において、被写体のいる方に本実施形態に係る撮像装置が向けられると、撮像装置は画像入力部２２を介して画像を取得する。
【００３１】
次に、ステップＳ２において、主被写体検出部３は、入力画面内から主被写体（人間の顔）の検出処理を行う。
【００３２】
次に、ステップＳ３において、状態変化推定部４は、検出された主被写体の状態、即ち、表情を判定し、抽出する処理を行う。
【００３３】
次に、ステップＳ４において、状態変化推定部４は、検出された主被写体の表情が、撮像モードに対応する所定のもの（例えば笑顔）に変化するまでの時間（ベストフレームタイミング）を予測する。
【００３４】
次に、ステップＳ５において、画像入力制御部７は、ステップＳ４において予測されたタイミングで撮像を制御する。そして処理を終了する。
【００３５】
以下、各ステップにおける処理の詳細を説明する。
【００３６】
〔撮像モードの設定処理〕
ステップＳ０において実行する撮像モードの設定処理について図９を参照して説明する。図９は、撮像モード設定部８における撮像モード設定の手順を示すフローチャートである。
【００３７】
先ずステップＳ９１において、ディスプレイ画面（不図示）に撮像モード設定用メニューを表示し、ユーザによる撮像モードの選択を受け付ける。
【００３８】
次に、ステップＳ９２においてユーザにより選択された撮像モードを判定する。選択可能な撮像モードは、例えば、ベスト笑顔撮影、横顔ポートレート、侵入者・不審者撮影等を含むように構成することができる。
【００３９】
ここで、ベスト笑顔撮影とは、被写体としての人間の顔が最良の（ベストの）笑顔を示したタイミングにおいて自律的に撮影を行うことを意味する。横顔ポートレートとは、被写体としての人間の顔が理想的な姿勢やアングルの横顔となったタイミングで自律的に撮像を行うことを意味する。侵入者・不審者撮影とは、例えば、本実施形態に係る撮像装置を監視カメラとして所定の位置に設置した場合において、侵入者が宝石や金庫に手を伸ばしている状態など、犯行を行っているタイミングで自律的に撮像を行うことを意味する。以下、主にベスト笑顔撮影が選択された場合について各ステップ（ステップＳ０乃至Ｓ５）の説明を行う。他のモード（例えば、横顔ポートレート、侵入者・不審者撮影等）が選択された場合の処理も同様である。
【００４０】
次に、ステップＳ９３においては、選択された撮像モードに対応するモデル画像データの選択または登録を行い、撮像モードの設定を終了する。
【００４１】
ここでモデル画像データの選択とは、既に登録されている各モードに対応したシーンの画像の中からユーザの主観でベスト（最良）とみなす画像（データ）をモデルデータとして選択することである。本実施形態に係る撮像装置は、選択された画像データを撮像モードと対応付けてモデルデータメモリ６に格納する。モデル画像データの登録とは、新規にベストシーンの撮影を行ってモデルデータメモリ６にモデルデータとして格納することである。
【００４２】
なお、モデル画像データは、モデルとなる画像そのものでもよいし、或いは、モデルとなる画像から抽出された先に述べたようなモデルデータとしてもよい。ただし、モデルとなる画像とは、例えば、ベスト笑顔撮影モードについて設定を行っている場合は、モデル人物の笑顔の画像となる。同様に、例えば、横顔ポートレート撮影モードについて設定を行っている場合は理想的な横顔の画像、侵入者・不審者撮影モードについて設定を行っている場合は不審者の人物モデルが金庫に手を伸ばしている画像等が含まれる。これらの画像は、照明の条件や構図、アングル等について理想的であるとする。
【００４３】
モデルデータは例えば、モデルとなる画像から抽出された、主成分分析や独立成分分析により得られる画像全体に関する所定の特徴ベクトルデータや、個々の被写体に特徴的な領域に関する局所的特徴データが含まれる。
【００４４】
例えば、所望の笑顔（ベストな撮影状態）に至る表情変化予測を行う場合には、動き（変位）ベクトル分布モデルとして無表情の顔と所望の笑顔との間で主要な特徴点（複数箇所）での変位ベクトルを予め抽出してモデルデータメモリ６に格納しておく。なお、所定のカテゴリ（例えば、笑顔）に対応する特定箇所（目の端点、口の端点など）での所定間隔フレーム間での動きベクトル分布モデルを格納してもよい。
【００４５】
なお、モデルデータ（モデルとなるデータを含む）は、用途や目的に応じて、被写体としての人間によって個別に登録するように構成してもよいし、或いは、一般的な人間に当てはまる平均的なデータを登録するように構成してもよい。
【００４６】
〔主被写体の検出処理〕
次に、ステップＳ２において、主被写体検出部３が行う検出処理について図８を参照して詳細に説明する。図８は、主被写体検出部３の機能構成を示した図である。
【００４７】
主被写体検出部３は、入力画像データ中の各場所（サンプリング点）において、幾何学的特徴またはその他の特徴(例えば、色、動きベクトル情報など)を抽出する。そして、特徴量ベースでモデルデータとのマッチングやテンプレートマッチング等を行い、設定されたカテゴリの被写体検出を行う。さらに、検出された対象の入力画像中の位置を出力する。
【００４８】
図８に示すように主被写体検出部３の主な構成要素は、モデルデータ記憶部３１、特徴抽出部３２、マッチング処理部３３等である。モデルデータ記憶部３１は、検出すべき被写体を含むカテゴリに対応する画像情報をカテゴリ毎にモデルデータとして予め記憶する。特徴抽出部３２は所定サンプリング点位置で上述した特徴量の抽出を行う。マッチング処理部３３は、抽出された特徴量に基づき入力画像データとモデルデータとのマッチング処理（類似度算出）を行う。
【００４９】
マッチング処理部３３で行う処理としては、例えば、特開平９−１３０７１４号公報に記載の画像情報抽出装置と同様の処理を行う。即ち、被写体距離に応じたサイズのテンプレートモデル画像を生成し、これを用いて画面内を走査しながら、各場所で正規化相関係数などを計算する。そして、入力画像の局所部分とモデルデータとの類似度分布を算出する。一般的にはその類似度分布の最大値が所定の閾値を越していれば、そのカテゴリに属するパターンが検出されたことになる。
【００５０】
ここで、予め前処理として時系列入力画像データから公知の手法により一次特徴量（動きベクトル、色情報等の低次特徴量）抽出を行っておき、主被写体が存在する可能性の高い候補領域を抽出して探索範囲の絞込みを行っておいてもよい。これにより主被写体検出の処理時間を短縮することができる。例えば、色情報抽出により、予め登録してあるモデル画像データの要部の色彩(例えば、人物の肌色など)に近い色彩を有する画像領域を閾値処理により抽出しておく。或いは（更には、それらの画像領域の中で）、一定サイズ以上のまとまった動きベクトル量を有する領域を被写体候補領域として抽出しておく。その後、候補領域内の各サンプリング点についてのみ上述の類似度算出を行う。
【００５１】
なお、ここでは撮像装置（の結像光学系１）は所定位置に固定して設置されているものとする。手持ち撮影を行う場合には、撮像装置そのものの動きに伴うグローバルな動きベクトル量（Ego-motionベクトル）を抽出して、それを全体の動きベクトル分布から相殺した後に動きベクトル量に基づく領域分割を行う。これにより人物など動きのある被写体の候補領域を求めることができる。
【００５２】
前処理用に抽出する一次特徴量としては、このような色彩情報や動きベクトル情報から得られる特徴量に限定される必要は無く、他の低次の特徴量を用いてもよいことは言うまでも無い。このような低次の特徴量としては、例えば、特定範囲の方向成分と特定範囲の空間周波数を有するような幾何学的特徴や、或いは、特許第３０７８１６６号公報に開示された局所的特徴要素等が挙げられる。またここでは、算出された最大類似度に対する閾値の比を信頼度として用いるが、他の指標（例えば、所定時間幅で算出した最大類似度の分散値など）を信頼度として用いても良い。
【００５３】
なお、マッチング処理部３３は上記のような構成に限られない。例えば、階層的ニューラルネットワーク回路（特願２０００−１８１４８７、特願２０００―１８１４８８、特願２０００−１８１４８０）やその他の構成により実現してもよい。いずれにしても、主被写体として検出された被写体の検出信頼度（或いは確信度）とその画面内での位置情報がマッチング処理部３３から出力されるが、主被写体が画面内で検出されなかった場合には、主被写体の未検出信号が出力されるようにしてもよい。
【００５４】
〔状態変化推定部４の処理〕
次に、ステップＳ３、Ｓ４において、状態変化推定部４が実行する処理内容について説明する。ここでは既に主被写体の顔面が検出され、顔の目尻、口元など表情検出に有効な部位の特徴点または特徴量（例えば、位置、相対位置ベクトルまたは距離、該当部位近傍のエッジ密度など）が検出されているものとする。
【００５５】
状態変化推定部４は、時空間パターン系列として、これら特徴点の過去数フレーム分の変化量、若しくは特徴量ベクトル系列と現フレームでの顔画像で抽出される特徴量分布とに基づいて最適撮影状態の予測に関する処理を行う。図７は、この最適撮影状態の予測に関する処理の流れを示したフローチャートである。なお、この処理は、検出された顔画像を所定サイズに正規化したうえで実行する。
【００５６】
状態変化推定部４は、図７にフローチャートで示すような最適撮影状態の予測に関する処理を行い、予めモデルデータメモリ６に格納された所定の表情に関する登録データ（モデルデータ）に最も近づく時刻を推定する。
【００５７】
ステップＳ７１において、状態変化推定部４は、まず、表情検出の特徴量として有効部位のｍ個の特徴量（動きベクトルや変位ベクトルの分布、目尻と唇端点間距離など特徴点間の距離、エッジ密度の変化などを含む）を抽出する。そして、過去から現在までの数フレーム分におけるそれぞれｍ個の特徴量の時系列データと、モデルデータとしての登録された表情の対応する特徴量の時系列データと、の誤差を要素とする時系列ベクトル（誤差ベクトル）を抽出する。ここで各特徴点位置は、鼻の頂点位置または両目の中心を結ぶ線分の中点位置（以下、顔の基準点という）を基準とした位置ベクトルで表されているものとする。もちろんこれ以外の記述法により表現してもよい。表情認識に用いる主要な特徴点としては、例えば、ほくろ、目尻、目頭、口元、眉の端点または眉の輪郭線の変曲点、鼻の穴、皺の輪郭線の変曲点、分岐点、端点などである。
【００５８】
次に、ステップＳ７２では、人物の顔面内において設定された特徴点における所定フレーム画像（例えば、無表情の顔）からの対応点の動き（変位）ベクトル分布の時系列データに基づいて、特定の表情（例えば、笑顔）に到達するまでの時間を予測する。具体的には、状態変化推定部４は、この誤差ベクトル列がゼロベクトルもしくは誤差ベクトルのノルムが所定の大きさに収束する時間を推定する（Ｓ７２）。なお、誤差ベクトルとしては関連する特徴量の全ての要素についてではなく、有用な特定の一部の要素についてモデルデータとの差分に基づいて生成してもよい。
【００５９】
時間の推定は、一定時間前から現在までの、誤差ベクトルの値の推移に基づいて行う。例えば、２単位時間前の誤差ベクトルのノルムの値が５、１単位時間前のノルムの値が４、現在のノルムの値が３の場合は、１単位時間経過する毎にノルムの値が１減少すると予測できる。従って、２単位時間後にノルムの値が０、即ち、特定の表情になると予測する。後述するように、予測のアルゴリズムは公知のアルゴリズムを使用する。
【００６０】
誤差ベクトルを関連する特徴量の一部の要素に基づいて生成する場合、誤差ベクトルの大きさを算出する際には、ベクトルの各要素に所定の重みをつけて所定の尺度でノルム（例えば、ユークリッドノルム、ミンコフスキーノルムなど）を求める。重みが一様で、ユークリッドノルムを用いる場合が最も一般的であるが、検出予定のカテゴリによっては特定の要素が検出に重要な場合（例えば、笑顔検出の場合の目尻と口元の端点間距離など）には、その重要度によって重みの値を大きくする。
【００６１】
上述のように、例えば、望ましい笑顔を検出するような場合、本実施形態に係る撮像装置は、予めステップＳ０において、ユーザの指示入力に基づき望ましい笑顔の画像を登録しておく。あるいは、予め設定された笑顔の画像を選択する。本実施形態に係る撮像装置は、その画像を解析して特徴点を抽出し、抽出された特徴点に基づいてモデルデータを算出しモデルデータメモリ２６に記憶しておく。
【００６２】
処理ステップＳ７１では、このモデルデータ算出に用いた特徴点に対応する特徴点を選択する。例えば、その笑顔の左右口元の位置、左右目尻の位置を特徴点として選択する。そして、これら各特徴点の位置の変位（モデルデータ）と入力画像上の対応する特徴点位置（いずれも顔の基準点に対する相対位置）の変位などに基づいて生成する誤差ベクトル（上記定義に基づく）を、各フレーム毎に求める。即ち、時刻ｔ＝n, n-1, n-2, ・・・のフレームごとに求める。
【００６３】
具体的には、検出カテゴリに応じて各特徴点（若しくは特徴点近傍）に対して変位ベクトル（動きベクトル）のモデルデータを、状態変化推定部４によって参照されるモデルデータメモリ６に予め格納しておく。そして、そのモデルデータメモリ６から読み出された変位ベクトルと入力画像から抽出される対応する変位ベクトルとの差分ベクトルの各要素に所定の重みを付けて誤差ベクトルを生成する。各重みの値は通常、均等としてよいが、特定の部位の変位または部位間の変位を重視する場合には相対的に高い値を設定すればよい。
【００６４】
このようにして得られる誤差ベクトルがゼロベクトル、若しくはその大きさが所定値以下となるフレーム時刻（以下、ベスト表情時刻という）の予測を処理ステップＳ７２で行う。例えば、各入力画像フレームについて求まる誤差ベクトルの大きさの時系列データから値がゼロまたは基準値以下となる時刻を線形予測（いわゆるAR、ARMA、ARX等々）やモデル化による非線形予測の手法等を用いて求める。モデル化による非線形予測の手法には、例えば、観測データ列に対してモデル運動方程式をたて、そのモデル運動方程式を基に予測をおこなう手法やニューラルネットを用いる手法等が含まれる。
【００６５】
なお、誤差ベクトル以外に所定の局所特徴量として、検出予定の表情に特有の変化を生じる特徴点、例えば、目や口の周辺の局所的な領域でのエッジ密度やパワースペクトル、目尻、目頭などの特徴点位置の変位ベクトルなどを時系列データ化してもよい。この場合、各時刻での特徴量データと無表情の場合の対応する特徴量データとの偏差分布から所望の表情に到達または収束するまでの時間を予測する。
【００６６】
具体的には、例えば、笑顔を検出する場合に特定の特徴点位置の変化傾向（唇の端点位置が横に広がるなど）がその笑顔に特有のデータとして保持されている場合には次のような処理を行う。即ち、この場合、各特徴点の無表情状態からのその表情に特有の変化方向に向かう（所定の表情カテゴリに近づく方向での）変位ベクトルの変化率の分布を入力画像データごとに求める。そして、その値が閾値以下（特定表情に収束）となる時刻をベスト表情時刻として予測を行う。
【００６７】
人物の顔面の多くの点での変位ベクトルの分布を求めるのではなく限定された特定部位における変位ベクトルの代表的な大きさ（例えば、目尻と口元の端点間距離）に基づいてベスト表情時刻（画像入力タイミング）を設定してもよい。これにより推定精度を著しく損ねることなく演算量を削減することができ、高速応答性を高めることができる。
【００６８】
変位ベクトルの時間的変化率が閾値以下となる時刻を予測する意味は、例えば、笑顔であれば、微笑みの表情から口を開けて笑う状態に推移する途中の過程ではなく、口を開けて笑った瞬間のベストな表情に収束するまでの時間を予測するためである。しかし、ある特定の表情に遷移する過程での特定の中間的な表情に対応するモデル画像をベストな表情とすることもできる。この場合には、前述したように抽出される各特徴点位置のモデルデータとの位置の偏差を参照してもよい。なお、このような偏差を用いる場合には予め顔のサイズなどが正規化しておく。
【００６９】
ユーザにより選択される撮影モードとしては、その他に集合写真や記念写真モードが含まれるようにしてもよい。このような場合は特に、複数の被写体について目が開いている（目瞑りしていない）、口が閉じている（または微笑んでいる）、正面を向いている等の幾つかの表情に関する要件が満たされるように画像入力タイミングを制御する必要がある。
【００７０】
次に、集合写真モードが選択された場合の状態変化推定部４での処理について図１０を参照して説明する。図１０は、集合写真モードが選択された場合の状態変化推定部４での処理の流れを示したフローチャートである。
【００７１】
先ず、ステップＳ１０Ａで各被写体（人物）の表情パラメータの抽出を行う。具体的には、目尻、目頭、唇の端点、などの位置（または特徴点間距離）または各点での動きベクトルなどを抽出する。
【００７２】
次に、ステップＳ１０Ｂにおいて、表情変化特徴の抽出を行い、表情パラメータの変化傾向に関する特徴量の抽出を行う。具体的には、目の開度変化、口の開度変化、顔の向きの変化などを検出する。
【００７３】
ステップＳ１０ＣおよびＳ１０Ｄでは、図７に示す処理と同様にして撮像モード（集合写真モード）に対応するベストな表情に各被写体が全体として最も近づく時間の予測を行う。このとき、全ての被写体がベスト状態に揃う時間を予測するのは困難と考えられる。このため次のような処理を行ってもよい。即ち、まず、ステップＳ１０Ｃにおいて、近似的に各被写体から抽出した表情変化特徴量の変化予測を行う。そして、ステップＳ１０Ｄにおいてその平均値を用いて図７に示すような処理によりベスト表情時刻の推定を行う。ここでベスト表情は、例えば、目が開いている、笑っている、正面を向いている等の条件に基づいて予め定義されている。
【００７４】
集合写真撮影のモードに限らず、状態変化推定部４は、ベスト表情の前後数フレーム分の時間帯で瞬目（目が閉じている状態）の予測も行い、目が閉じていないタイミング（以下、非瞬目時間帯という）の予測も行ってもよい。この場合には、ベスト表情が非瞬目時間帯にあれば予測されたタイミングで画像入力を行う。一方、ベスト表情の時刻に目が閉じていると予測される場合には、非瞬目時間帯にあり、検出予定の表情カテゴリに属する画像が入力され、かつベスト表情時刻に最も近いと予測される時刻をベスト撮影状態時刻として求める。
【００７５】
〔タイミング制御〕
次に、ステップＳ５において実行する、映像入力部２の映像センサからのデータ読み出しタイミングの制御について図５を参照して説明する。図５はタイミング制御の処理の流れを示したフローチャートである。
【００７６】
フレーム間の時間間隔がＴミリ秒とすると、状態変化推定部４はＴミリ秒ごとの離散的な画像入力時刻（以下、フレーム時刻という）に求まる誤差ベクトルデータから最適表情が得られる時刻（ベスト表情時刻）を推定する。このとき得られるベスト表情時刻は、フレーム時刻と一致するとは限らず、多くの場合、離散的なフレーム時刻の間の中間的なアナログ値になる。このため、画像入力制御部７は以下の処理を行う。
【００７７】
即ち、先ず、ステップＳ５１において、画像入力制御部７は予測されたベスト撮影状態時刻を状態変化推定部４から入力する。
【００７８】
次に、ステップＳ５２において、予測された時刻の１フレーム前に一度読み出しタイミングをリセットするための信号を映像入力部２の映像センサに送る。
【００７９】
次に、ステップＳ５３において、映像入力部２の映像センサに対して読み出しタイミングパルス信号を出力し、予測された時刻に対応する画像が記録されるようにＣＭＯＳイメージセンサの光検出器からの読み出しタイミングを制御する。これにより推定された時刻に画像データの読み出しが行われるようにする。なお、推定時刻に最も近いフレーム時刻での画像を入力しても良い。
【００８０】
また、上述したセンサからの読み出しタイミング制御を行わずに、一定のレートで画像入力を行い、最適な表情に最も近いフレームを予測しても所期の効果を得ることができる。
【００８１】
尚、上記の構成に加えて、露光量制御パラメータ、ホワイトバランス制御パラメータ、その他の撮像パラメータ制御用信号処理回路（不図示）を含み、撮像条件を制御する機能要素を含むようにしてもよい。また、この機能要素は、動きベクトル分布モデルと入力画像から抽出される動きベクトル分布とからそのカテゴリに最も近づくタイミングを予測し、画像入力のタイミングを設定するようにしてもよい。
【００８２】
以上説明したように、本発明によれば主被写体の容姿や行動、撮影条件などの変化を予測し、その予測結果に基づき予め定めた条件に適合する最適なタイミングおよび露出やピントなどの撮像条件を設定する。これにより、シャッターチャンスを逃さないで自律的に撮影を行うことができる。
【００８３】
＜＜第２実施形態＞＞
第１実施形態においては撮像対象が所定の条件を満たすタイミングを推定し、推定されたタイミングに対応する画像データを記憶制御する構成について述べたが、推定の対象は撮像タイミングに限られない。本実施形態では更に、撮像に好適なタイミングにおける露出、ピントなどの撮影条件を推定し、この撮像条件に従って撮像を行う構成について述べる。
【００８４】
図２は第２実施形態に係る撮像装置の要部構成を示したブロック図である。本実施形態に係る構成は第１実施形態の構成に加えて、露出、ピントなどの撮影条件を制御する撮像条件制御部１０を備えている。他の主な構成部である、結像光学系２１、映像入力部２２、主被写体検出部２３、状態変化推定部２４、画像記録部２５、モデルデータメモリ２６、画像入力処理制御部２７、撮像モード設定部２８は、第１実施形態と同様である。即ち、それぞれ図１の１乃至８に対応する。また、第１実施形態と同様に、映像入力部２２は映像センサ、センサ信号処理回路、センサ駆動回路を含む。
【００８５】
撮像条件制御部１０は状態変化推定部２４から入力される予測信号に基づき、露出やピントなどの撮影条件を制御する。例えば、被写体が撮像装置から急速に遠ざかる運動をしている場合には、通常のＡＦ（Automatic Focus）装置では適正なピント状態の追従制御ができない。これに対して本実施形態に係る（自律）撮像装置は、被写体と撮像装置との距離を測定する所定の測距部２９を内蔵する。そして、状況変化推定部２４が、測距手段が出力する被写体との距離に関する信号に基づいて、被写体距離に関する予測信号を発生する。撮像条件制御部１０は、その予測信号からピント制御用のレンズモータ位置決め制御を行う。この場合、状態変化推定部２４は検出された被写体領域に関するピント状態の計測を重点的に行った結果を用いる。
【００８６】
次に、撮像条件制御部１０における処理の流れについて図４を参照して説明する。図４は、撮像条件制御部１０における処理の流れを示したフローチャートである。
【００８７】
先ず、ステップＳ４０Ａにおいて、主被写体検出部２３から主被写体の存在情報を入力し、主被写体としての人物が画面内に存在するか否かを判定する。存在する場合（ステップＳ４０ＡでＹＥＳ）はステップＳ４０Ｂへ進み、存在しない場合（ステップＳ４０ＡでＮＯ）は一定時間経過後、再びステップＳ４０Ａの処理を行う。
【００８８】
ステップＳ４０Ｂでは、被写体が画面内中央に位置しているか否かを判定し、中央に位置していない場合は光軸を制御して主被写体が画面中央に位置するように設定する。尚、本実施形態に係る撮像装置は、撮像方向を自由に設定可能な不図示の駆動手段を備えており、ステップＳ４０Ｂの処理は駆動手段の動作に基づいて実行される。
【００８９】
次に、ステップＳ４０Ｃにおいて、撮影モード（例えばポートレートモード）に対応した最適撮像条件（例えば、肌色成分領域が所定の色成分値となるような、露出条件、ホワイトバランス、ピント、および顔サイズ等）をモデルデータメモリ２６から読み出す。
【００９０】
この処理について、ピントの制御（ピント予測制御）を行う場合を例示的に説明する。ピント予測制御を行うために、予めモデルデータメモリ２６に、被写体距離と対応するピント制御用レンズ位置のデータをルックアップテーブルとして格納しておく。ピント予測制御の処理において、まず、状態変化推定部２４は、モデルデータメモリ２６を参照し、被写体距離に関する時系列データから、次フレームでの被写体距離、及び、該当する最適レンズ位置を線形予測する。そして、撮像条件制御部１０は対応するピント制御用のレンズモータ駆動制御信号を生成する。このように測距手段からの信号に基づき主被写体に関する距離情報を使ってピントの状態変化（対応する最適ピント制御用レンズ位置）をルックアップテーブル上で予測することにより、ピント制御を高速に追従して行うことができる。
【００９１】
他の撮像条件のパラメータについても同様である。例えば、露出の予測制御に関しては、主被写体が特定の人物であれば、その人物に適した露出量、および色補正処理パラメータを撮像制御パラメータ記憶部から読み出す。
【００９２】
ステップＳ４０Ｄにおいて、その人物領域に関する測光量の変化データを時系列的に検出する。
【００９３】
次に、ステップＳ４０Ｅにおいて、対応した最適撮影条件（露出量、ズーミング、ピントなど）の制御を行う。特定人物に適した露出量とは、例えば、与えられた照明条件下でその人物に適した所定の肌色が得られるようなホワイトバランス調整をしたうえで設定される露出量をいう。
【００９４】
具体的には、状態変化推定部２４は、主被写体領域の平均測光量の時系列データに基づいて、次フレームまたは所定時間後の測光量を画像入力タイミングの予測と同様に線形予測または非線形予測する。撮像条件制御部１０は、このようにして予測された測光量から露出制御パラメータ（センサでの蓄積時間、読み出しタイミングなど）を予め所定のメモリに格納されたルックアップテーブルのデータを参照して決定する。そして、次フレームまたは所定時間後での露出制御を行う。ルックアップテーブルのデータは、測光量データと対応する制御パラメータ値（例えば、センサでの蓄積時間、センサからの読み出し間隔に関するパラメータ値）を記録した表形式である。
【００９５】
更には、ステップＳ４０Ｅにおいて、主被写体の画面内サイズが一定範囲になるように予測制御するために、その範囲のサイズで撮像されるようにズーミング量の制御を行う。人物の顔が主被写体である場合、そのサイズは個人差が小さい。このため、人物から撮像部までの距離をｄ、焦点距離をｆ、顔(主被写体)のサイズをＳ、画面上に写る顔(主被写体)のサイズをｓとすると、
ｓ＝(ｆ／ｄ−ｆ)・Ｓ
の関係が成り立つ（ただし、ｄ＞ｆとする）。
【００９６】
従って、主被写体のサイズが一定に保たれるようにするために次の処理を行う。即ち、画像入力処理制御部２７の内部にあるＡＦ制御回路(不図示)内の距離検出部から得られる距離信号（所定の測距エリア内部にある主被写体までの距離に相当する信号）からｄを推定する。そして、画面上の主被写体サイズｓが一定範囲に保持されるように焦点距離ｆを制御する。尚、測距エリアが画面内の複数箇所にある場合には、主被写体が検出された位置にある測距エリアにおいてのみ距離信号を求めるようにしてもよい。
【００９７】
なお、ズーミングの予測制御は、例えば、次のように行ってもよい。即ち、まず、主被写体の画面内サイズｓが画面サイズをはみ出すか、一定サイズ以下になる時刻を予測する。次に、その予測された時刻に到達する前に前者（はみ出す場合）では倍率を下げ、後者（一定サイズ以下になる場合）では倍率を上げるような制御を行う。このときに予測された時刻までの到達時間Ｔ1と主被写体の画面内サイズの変化率Ｒとに基づいて倍率の制御量Ｐを定めてもよい。例えば、Ｐ＝Ｃ1／{(１＋Ｃ2Ｔ1)Ｒ}の様にすればよい（Ｃ1、Ｃ2は正定数）。
【００９８】
主被写体領域の簡易な推定には、例えば人物の顔領域の中心位置のみを主被写体検出部２３が検出し、その領域については上式に基づいて算出されるサイズｓから当該領域を推定するようにしてもよい。その後、当該領域についての周知の手法(例えば、特開平０８−２７８５２８号公報に開示された手法等)による測光情報を得て、その結果に基づき露出制御などを行っても良い。
【００９９】
本実施形態では、状態変化推定部２４は、現画像入力時点から所定時間経過後、若しくは、所定フレーム後の画像入力タイミングにおける主被写体についてのパラメータの少なくとも１つを予測する。このようなパラメータには、例えば、主被写体の画面内位置、形状またはサイズ、代表輝度値、代表コントラスト、色相及び明度分布が含まれる。そして、撮像条件制御部１０は、予測された少なくとも１つのパラメータ値に基づいて、結像光学系２１の光軸方向、倍率、焦点位置、露出量の少なくとも一つの条件を制御する。
【０１００】
各パラメータに対して予め定められる制御ルールは、例えば、光軸方向については、主被写体が常に画面の中心付近にあるように向き（撮像方向）を制御する。他のパラメータは、例えば、倍率については主被写体サイズが所定の範囲（画像の全体サイズ比基準で）にあるように制御する。例えば、ピントについては常に主被写体の合焦度が最大付近（若しくは極大）になるように制御する。例えば、露出量については主被写体の要部の平均輝度値が所定範囲内にあるように制御する。
【０１０１】
予測が行われるパラメータの選択はその変化率、変動量（または時系列データとしての分散値）がそれぞれのパラメータごとに定められた基準値より大きいパラメータである。具体的には、制御すべき撮像条件は予測されるパラメータごとに定まっているものとする。例えば、主被写体の位置を予測した場合に対しては光軸方向、サイズに対しては焦点位置（倍率もあわせて制御対象となりえる）、代表輝度値、或いは、代表コントラストに対しては露出量を制御する。
【０１０２】
本実施形態に示した状態変化推定部２４による予測に基づく撮像条件の制御により、主被写体位置（距離）だけでなく、照明条件が急激に変化するような場合でも被写体の状態変化に対する追従性の高い撮像動作が可能となる。
【０１０３】
以上述べたように、本実施形態に係る構成は第１実施形態の構成に加えて撮像条件制御部１０を備える。そして、被写体の撮像画像に係るパラメータを予測し、予測されたパラメータに基づいて撮像条件を制御する。このため、本実施形態に係る構成によれば複雑な環境変化に対応して適切な撮像を行うことができる。
【０１０４】
＜＜第３実施形態＞＞
本実施形態では、上記の構成に加えて、主被写体（人物）の動作パターンを検出した結果（動作パターンの内容）に基づいて撮像条件を自動制御（変更）する。
【０１０５】
図６は本実施形態に係る撮像装置の要部構成図である。図６のように、本実施形態に係る撮像装置は、結像光学系３１、映像入力部３２、主被写体推定部３３、状態変化推定部３４、画像記録部３５、モデルデータメモリ３６、画像入力処理制御部３７、撮像モード設定部３８、撮像条件制御部３００を備える。これらは、図１における１乃至８、図２における１０とそれぞれ同様であり、詳細な説明は省略する。
【０１０６】
本実施形態に係る撮像装置は、これらの構成に加えて主被写体の動作検出部３９を更に備える。動作検出部３９が主被写体による所定の動作を検出したときに、画像入力制御部３７および撮像条件制御部３００は、画像入力のレートの変更、主被写体へのズーム、主被写体を中心とする露出、ピント条件の設定等を実行する。ただし、画像入力のレートの変更とは、動作検出部３９が動作を検出しない通常時と比べて画像レートを高く、又は、低く変更することである。ズーミング、ピント、露出条件の複合制御については第２実施形態における処理と同様であるので説明を省略する。
【０１０７】
画像入力レートの変更の目的は、特定の意味のある（重要な）動作内容を詳細に撮像記録することである。画像入力レートを高く（低く）設定する場合には、センサからの光電変換信号の読み出しレートを高く（低く）することになる。通常は読み出しレートを高くした場合、センサからの信号の増幅器による増幅率を上げるように制御する。
【０１０８】
動作検出部３５が検出する動作とは、主被写体が人物や動物であるときにはその身体動作を指す。例えばある種のスポーツにおける特定の動作パターン（ゴルフ、テニス、野球でのスイングをしているときの動作など）、ダンスにおける特定の振り、特定の意味を持ったジェスチャや手振り、或いは、走っている人物の体全体若しくは頭部全体の動きなどである。また主被写体が自動車、二輪車、列車などの車両である場合に検出するのは車両の流れにおける異常状態であり、例えば、特に衝突、追突、転倒、横転などの事故に相当する。後者のように主被写体が車両である場合において事故状態を検出した場合、画像入力レートを高くするか、若しくは、通常（事故状態を検出しない場合）は入力画像を媒体に記録しない動作モードにしておく。これにより、事故状態検出時にその前後の所定時間範囲で動画像記録を行うようにする。
【０１０９】
人物の類型化された動作の検出のための認識処理は、公知の技術を使えばよい。例えば球技のようにラケットやバットなどの道具を用いたスイング動作の検出は例えば次のように行えばよい。即ち、人体の顔の向きと手首（または掌や手先）の位置、及び道具の位置と姿勢を検出し、それらの特徴点が所定の視点位置から見た画像上で予め定められた相対位置関係を保持しながら所定範囲の軌道を描いて推移することを検知する。
【０１１０】
例えば、テニスのスイング動作の検出は、ラケット面の重心位置とグリップの位置、手首の位置、頭部の位置、及び身体の脚部の膝、足首の位置等を動作検出の特徴点とする。そして、手首の位置がラケットのグリップ近くにあり、手首が水平面内で大振幅の動きを行なっている状況をスイング動作と検出する。
【０１１１】
このために動作検出部３５は、頭部検出部（不図示）、顔の位置・向き検出部（不図示）、手首（または掌や手先）の位置・向き検出部（不図示）、及び道具の位置・向き検出部（不図示）、及び動作カテゴリ判定部（不図示）を有する。ただし、これらに代えて頭部、顔、手、道具の検出機能を備えたマルチカテゴリ対応の物体検出認識部を主要な構成要素としてもよい。
【０１１２】
以上の処理の流れを図１１を参照して説明する。図１１は本実施形態に係る動作検出部１０が実行する処理の流れを示したフローチャートである。
【０１１３】
図１１の処理は図３のステップＳ３以降（例えば、ステップＳ３とＳ４の間）に実行する。まず、ステップＳ１１０１において、ステップＳ３において抽出された主被写体の状態等に基づいて主被写体の動きが検出されるか否かを判定する。動きが検出された場合（ステップＳ１１０１でＹＥＳ）はステップＳ１１０２へ進み、検出されなかった場合（ステップＳ１１０１でＮＯ）はステップＳ１１０３へ進む。
【０１１４】
ステップＳ１１０２では、撮像レートを被写体の動きに合わせて上げる処理を行う。そして、図１１のフローを終了する。
【０１１５】
ステップＳ１１０３では、通常の撮像制御を行う。そして、図１１のフローを終了する。
【０１１６】
以上のように、本実施形態に係る構成は、人物や車両の検出・認識だけではなく特定の動作や状態を検出する処理回路（動作検出部３５）を内蔵し、その特定の動作や状態を検出したときに画像の入力レートを高くなるように制御する。これにより、重要なシーンの画像取り込みチャンスを逃さない撮影が可能になる。
【０１１７】
＜＜その他の実施形態＞＞
以上、本発明の実施形態例について詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様を取ることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【０１１８】
尚、本発明は、前述した実施形態の機能を実現するプログラムを、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【０１１９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明の技術的範囲に含まれる。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含む。
【０１２０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１２１】
プログラムを供給するための記録媒体としては、例えば、次のものが含まれる。即ち、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）等が含まれる。
【０１２２】
その他、プログラムの供給形態としては、次のようなものも考えられる。即ち、クライアント装置のブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明に係るコンピュータプログラム、或いは、圧縮され自動インストール機能を含むファイルをＨＤ等の記録媒体にダウンロードする形態も考えられる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１２３】
また、次のような供給形態も考えられる。即ち、まず、本発明に係るプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布する。そして、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報の使用により暗号化されたプログラムを実行してコンピュータにインストールさせて本発明に係る構成を実現する。このような供給形態も可能である。
【０１２４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他次のような実現形態も想定される。即ち、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１２５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づいも前述した実施形態の機能が実現される。即ち、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１２６】
【図１】第１実施形態に係る撮像装置の要部構成図である。
【図２】第２実施形態に係る撮像装置の要部構成を示したブロック図である。
【図３】第１実施形態に係る全体処理の流れを示したフローチャートである。
【図４】撮像条件制御部における処理の流れを示したフローチャートである。
【図５】タイミング制御の処理の流れを示したフローチャートである。
【図６】第３実施形態に係る撮像装置の要部構成図である。
【図７】最適撮影状態の予測に関する処理の流れを示したフローチャートである。
【図８】主被写体検出部の機能構成を示した図である。
【図９】撮像モード設定部における撮像モード設定の手順を示すフローチャートである。
【図１０】集合写真モードが選択された場合の状態変化推定部での処理の流れを示したフローチャートである。
【図１１】動作検出部が実行する処理の流れを示したフローチャートである。
【特許請求の範囲】
【請求項１】
物体を撮像し、該撮像に係る画像データを順次取得する撮像手段と、
前記画像データにおける前記物体の特徴点から算出される、第１の特徴量の変化に係るモデルデータを記憶する記憶手段と、
取得された前記画像データにおける前記物体の特徴点から第２の特徴量を算出する算出手段と、
前記第２の特徴量と、前記モデルデータとに基づいて前記物体が所定の条件に合致するタイミングを推定する第１の推定手段と、
推定された前記タイミングに対応する前記画像データを画像データ記憶手段に記憶させる制御手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、更に、推定された前記タイミングに基づいて、前記撮像手段が前記画像データを取得するタイミングを制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の推定手段は、
前記画像データに基づいてそれぞれ算出された前記第２の特徴量と、前記モデルデータと、の差分の変化に基づいて前記推定を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記物体が撮像された環境についてのパラメータを取得する取得手段と、
取得された前記パラメータに基づいて、推定された前記タイミングにおける前記撮像手段の撮像条件を決定する決定手段を更に備え、
前記撮像手段は、推定された前記タイミングにおいて、決定された前記撮像条件に従って前記撮像を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像条件は、ピント調節、露出量、ホワイトバランス、ズーム倍率、撮像方向の少なくともいずれかについての制御条件を含むことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画像データにおいて前記物体の占める領域を検出する検出手段と、
前記算出手段において算出された前記第２の特徴量と、前記モデルデータとに基づいて、検出された前記領域の、前記画像データにおける位置、サイズ、代表輝度値、代表コントラスト、速度ベクトルの少なくともいずれかパラメータを推定する第２の推定手段と、を更に備え、
前記決定手段は推定された前記パラメータに基づいて前記撮像条件を決定することを特徴とする請求項４又は５に記載の撮像装置。
【請求項７】
前記決定手段は、前記パラメータの少なくともいずれかと、対応する基準値と、の差分が所定範囲内になるように前記撮像条件を決定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記所定の条件は前記物体が所定の動作をとることであることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記撮像手段は、前記第１の推定手段によって推定された、前記物体が所定の動作を取るタイミングにおいて、画像の撮像レートを上げることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記物体は人間の顔であり、
前記所定の条件は前記顔が所定の表情をとることであることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
物体を撮像し、該撮像に係る画像データを順次取得する撮像工程と、
前記画像データにおける前記物体の特徴点から算出される、第１の特徴量の変化に係るモデルデータを記憶手段に記憶する記憶工程と、
取得された前記画像データにおける前記物体の特徴点から第２の特徴量を算出する算出工程と、
前記第２の特徴量と、前記モデルデータとに基づいて前記物体が所定の条件に合致するタイミングを推定する第１の推定工程と、
推定された前記タイミングに対応する前記画像データを画像データ記憶手段に記憶させる制御工程と、を備えることを特徴とする撮像装置の制御方法。
【請求項１２】
コンピュータを、請求項１乃至１０のいずれかに記載の撮像装置として機能させるためのコンピュータプログラム。
【請求項１３】
請求項１２に記載のコンピュータプログラムを格納したコンピュータで読み取り可能な記憶媒体。
【請求項１】
物体を撮像し、該撮像に係る画像データを順次取得する撮像手段と、
前記画像データにおける前記物体の特徴点から算出される、第１の特徴量の変化に係るモデルデータを記憶する記憶手段と、
取得された前記画像データにおける前記物体の特徴点から第２の特徴量を算出する算出手段と、
前記第２の特徴量と、前記モデルデータとに基づいて前記物体が所定の条件に合致するタイミングを推定する第１の推定手段と、
推定された前記タイミングに対応する前記画像データを画像データ記憶手段に記憶させる制御手段と、を備えることを特徴とする撮像装置。
【請求項２】
前記制御手段は、更に、推定された前記タイミングに基づいて、前記撮像手段が前記画像データを取得するタイミングを制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第１の推定手段は、
前記画像データに基づいてそれぞれ算出された前記第２の特徴量と、前記モデルデータと、の差分の変化に基づいて前記推定を行うことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記物体が撮像された環境についてのパラメータを取得する取得手段と、
取得された前記パラメータに基づいて、推定された前記タイミングにおける前記撮像手段の撮像条件を決定する決定手段を更に備え、
前記撮像手段は、推定された前記タイミングにおいて、決定された前記撮像条件に従って前記撮像を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記撮像条件は、ピント調節、露出量、ホワイトバランス、ズーム倍率、撮像方向の少なくともいずれかについての制御条件を含むことを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記画像データにおいて前記物体の占める領域を検出する検出手段と、
前記算出手段において算出された前記第２の特徴量と、前記モデルデータとに基づいて、検出された前記領域の、前記画像データにおける位置、サイズ、代表輝度値、代表コントラスト、速度ベクトルの少なくともいずれかパラメータを推定する第２の推定手段と、を更に備え、
前記決定手段は推定された前記パラメータに基づいて前記撮像条件を決定することを特徴とする請求項４又は５に記載の撮像装置。
【請求項７】
前記決定手段は、前記パラメータの少なくともいずれかと、対応する基準値と、の差分が所定範囲内になるように前記撮像条件を決定することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記所定の条件は前記物体が所定の動作をとることであることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
【請求項９】
前記撮像手段は、前記第１の推定手段によって推定された、前記物体が所定の動作を取るタイミングにおいて、画像の撮像レートを上げることを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記物体は人間の顔であり、
前記所定の条件は前記顔が所定の表情をとることであることを特徴とする請求項１乃至９のいずれか１項に記載の撮像装置。
【請求項１１】
物体を撮像し、該撮像に係る画像データを順次取得する撮像工程と、
前記画像データにおける前記物体の特徴点から算出される、第１の特徴量の変化に係るモデルデータを記憶手段に記憶する記憶工程と、
取得された前記画像データにおける前記物体の特徴点から第２の特徴量を算出する算出工程と、
前記第２の特徴量と、前記モデルデータとに基づいて前記物体が所定の条件に合致するタイミングを推定する第１の推定工程と、
推定された前記タイミングに対応する前記画像データを画像データ記憶手段に記憶させる制御工程と、を備えることを特徴とする撮像装置の制御方法。
【請求項１２】
コンピュータを、請求項１乃至１０のいずれかに記載の撮像装置として機能させるためのコンピュータプログラム。
【請求項１３】
請求項１２に記載のコンピュータプログラムを格納したコンピュータで読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００７−８８６４４（Ｐ２００７−８８６４４Ａ）
【公開日】平成１９年４月５日（２００７．４．５）
【国際特許分類】
【出願番号】特願２００５−２７２８８５（Ｐ２００５−２７２８８５）
【出願日】平成１７年９月２０日（２００５．９．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１９年４月５日（２００７．４．５）
【国際特許分類】
【出願日】平成１７年９月２０日（２００５．９．２０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]