撮像装置及びプログラム
【課題】被写体の個々に適したタイミングで撮影を制御できるようにする。
【解決手段】被写体管理テーブルＴＢは、複数の被写体の個々に対応して、被写体の撮影被写体の撮影タイミングを判別するための情報を撮影条件として記憶する。例えば、「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「手足の位置状態」、「ポーズ」、「掛け声」、「明るさ」、「位置」などを撮影条件として記憶する。制御部１は、被写体撮影の直前に被写体が特定された場合に、その被写体の撮影状態を表す情報を撮影状況として取得する。すなわち、画像認識部７による認識結果、音声認識部８による認識結果、撮影環境検出部９による検出結果を撮影状況として取得する。そして、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するか否かを判別し、その判別結果に応じて被写体の撮影タイミングを制御する。
【解決手段】被写体管理テーブルＴＢは、複数の被写体の個々に対応して、被写体の撮影被写体の撮影タイミングを判別するための情報を撮影条件として記憶する。例えば、「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「手足の位置状態」、「ポーズ」、「掛け声」、「明るさ」、「位置」などを撮影条件として記憶する。制御部１は、被写体撮影の直前に被写体が特定された場合に、その被写体の撮影状態を表す情報を撮影状況として取得する。すなわち、画像認識部７による認識結果、音声認識部８による認識結果、撮影環境検出部９による検出結果を撮影状況として取得する。そして、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するか否かを判別し、その判別結果に応じて被写体の撮影タイミングを制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の撮影状態に応じて撮影タイミングを制御可能な撮像装置及びプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置において人物撮影時には、より好ましい撮影結果を得られるように被写体の撮影状態として笑顔を検出して自動的に撮影するようにした技術が公知となっているが、その技術を更に発展させたものとして、従来では、例えば、被写体撮像時において、寒さなどの快適さに応じて笑顔検出の基準値を補正することにより、適切に笑顔を検出可能とした技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２９３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した先行技術にあっては、より良い笑顔を検出して撮影することができるが、どのような笑顔がベストであるかは人によってまちまちであり、また、笑顔が最も好ましい表情とは限らず、怒ったような表情や、口元を引き締めたような顔など、笑顔以外の表情が自分のベストな表情（キメ顔と呼ばれる表情）であると考えている場合もある。このようにキメ顔は、人によって大きく異なるため、笑顔を検出して撮影を行ったとしても、必ずしもキメ顔のときに撮影されるとは限らなかった。
【０００５】
本発明の課題は、被写体の個々に適したタイミングで撮影を制御できるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために請求項１記載の発明は、複数の被写体の個々に対応して、被写体の撮影タイミングを判別するための情報を撮影条件として記憶する撮影条件記憶手段と、撮影レンズを通して取得した画像に対する画像認識により当該取得画像内に含まれている被写体が前記撮影条件記憶手段内のどの被写体であるかを特定する被写体特定手段と、この被写体特定手段により被写体が特定された場合に、その時点での被写体の撮影状態を表す情報を撮影状況として取得する取得手段と、この取得手段により取得した撮影状況が、前記被写体特定手段により特定された被写体に対応して前記撮影条件記憶手段に記憶されている撮影条件に合致するか否かを判別する判別手段と、前記被写体特定手段により特定された被写体に対する撮影タイミングを前記判別手段による判別結果に応じて制御する制御手段と、を備えることを特徴とする。
【０００７】
請求項１に従属する発明として、前記撮影条件は、被写体の撮影タイミングを判別するための情報を複数の要素で表した情報であり、前記取得手段は、前記撮影条件に対応して複数の要素からなる撮影状況を取得し、前記判別手段は、撮影状況が撮影条件に合致するか否かを前記要素毎に判別する、ようにしたことを特徴とする請求項２記載の発明であってもよい。
【０００８】
請求項１に従属する発明として、撮影済み画像を記憶する画像記憶手段と、この画像記憶手段に記憶されている撮影済み画像に対する画像認識により前記撮影条件を生成する撮影条件生成手段を更に備え、前記撮影条件記憶手段は、前記撮影済み画像内の被写体に対応して、前記撮影条件生成手段により生成された撮影条件を記憶する、ようにしたことを特徴とする請求項３記載の発明であってもよい。
【０００９】
請求項３に従属する発明として、前記画像記憶手段に記憶されている複数の撮影済み画像のうち、各撮影済み画像に対する画像認識により所定の被写体が含まれている撮影済み画像を抽出する抽出手段を更に備え、前記撮影条件生成手段は、前記抽出手段により抽出された撮影済み画像に対する画像認識により当該撮影済み画像内の被写体に対応する撮影条件を生成する、ようにしたことを特徴とする請求項４記載の発明であってもよい。
【００１０】
請求項３に従属する発明として、前記画像記憶手段に記憶されている複数の撮影済み画像のうち、ユーザ操作により任意の撮影済み画像を選択する選択手段を更に備え、前記撮影条件生成手段は、前記選択手段により選択された撮影済み画像に対する画像認識により当該撮影済み画像内の被写体に対応する撮影条件を生成する、ようにしたことを特徴とする請求項５記載の発明であってもよい。
【００１１】
請求項１に従属する発明として、前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体の外観に関する情報であり、前記取得手段は、撮影レンズを通して取得した画像に対する画像認識により得られた認識結果を撮影状況として取得する、ようにしたことを特徴とする請求項６記載の発明であってもよい。
【００１２】
請求項１に従属する発明として、前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体が発声する音声に関する情報であり、前記取得手段は、被写体から発声された音声を認識することにより得られた認識結果を撮影状況として取得する、ようにしたことを特徴とする請求項７記載の発明であってもよい。
【００１３】
請求項１に従属する発明として、前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体の周囲の環境に関する情報であり、前記取得手段は、周囲環境を検出することにより得られた検出結果を撮影状況として取得する、ようにしたことを特徴とする請求項８記載の発明であってもよい。
【００１４】
請求項１に従属する発明として、前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体の外観に関する情報であり、前記取得手段は、撮影レンズを通して取得した画像に対する画像認識により得られた認識結果を撮影状況として取得し、前記判別手段は、前記取得手段により取得した撮影状況と前記撮影条件記憶手段に記憶されている撮影条件とを比較することによりその撮影状況が撮影条件に合致するまでに要する時間を予測し、前記制御手段は、前記判別手段による予測結果に応じて撮影タイミングを制御する、ようにしたことを特徴とする請求項９記載の発明であってもよい。
【００１５】
請求項１に従属する発明として、撮影レンズを通して取得した画像に対する画像認識により当該画像に収まっている被写体の範囲を検出する範囲検出手段を更に備え、前記撮影条件記憶手段は、被写体の部分の外観に関する情報を第１撮影条件として記憶すると共に、この被写体の全体又は略全体の外観に関する情報を第２撮影条件として記憶し、前記判別手段は、前記範囲検出手段により検出された被写体の範囲に応じて前記１撮影条件、第２撮影条件のいずれかを選択すると共に、前記取得手段により取得した撮影状況が、前記選択した撮影条件に合致するか否かを判別する、ようにしたことを特徴とする請求項１０記載の発明であってもよい。
【００１６】
請求項１に従属する発明として、前記制御手段は、前記判別手段による判別結果に応じて静止画像の撮影時にシャッタを切るタイミングを制御する、ようにしたことを特徴とする請求項１１記載の発明であってもよい。
【００１７】
請求項１に従属する発明として、前記制御手段は、前記判別手段による判別結果に応じて動画像の撮影時に、動画撮影を開始するタイミング及び動画撮影を停止するタイミングを制御する、ようにしたことを特徴とする請求項１２記載の発明であってもよい。
【００１８】
請求項１に従属する発明として、前記制御手段は、前記判別手段による判別結果に応じて撮影タイミングであることを報知する、ようにしたことを特徴とする請求項１３記載の発明であってもよい。
【００１９】
また、上述した課題を解決するために請求項１４記載の発明は、コンピュータに対して、複数の被写体の個々に対応して、被写体の撮影タイミングを判別するための情報を撮影条件として記憶されている状態において、撮影レンズを通して取得した画像に対する画像認識により当該取得画像内に含まれている被写体が前記記憶されているどの被写体であるかを特定する機能と、前記被写体が特定された場合に、その時点での被写体の撮影状態を表す情報を撮影状況として取得する機能と、前記取得した撮影状況が、前記特定された被写体に対応して前記記憶されている撮影条件に合致するか否かを判別する機能と、前記特定された被写体に対する撮影タイミングを前記判別結果に応じて制御する機能と、を実現させるためのプログラムを特徴とする。
【発明の効果】
【００２０】
本発明によれば、被写体の個々に適したタイミングで撮影を制御することができ、被写体の好みに応じた適切な撮影が可能となる。
【図面の簡単な説明】
【００２１】
【図１】撮像装置の基本的な構成要素を示したブロック図。
【図２】（１）〜（４）は、撮影条件判別フラグＦ１、予測撮影フラグＦ２、ユーザ設定フラグＦ３、撮影確認フラグＦ４を説明するための図。
【図３】（１）〜（３）は、被写体管理テーブルＴＢを説明するための図。
【図４】電源オンに応じて実行開始される撮像装置の全体動作の概要を示したフローチャート。
【図５】図４の動作に続くフローチャート。
【図６】図５の動作に続くフローチャート。
【図７】撮影条件設定処理（図４のステップＡ２１、図５のステップＡ３５）を詳述するためのフローチャート。
【図８】予測撮影処理（図４のステップＡ１６）を詳述するためのフローチャート。
【発明を実施するための形態】
【００２２】
以下、図１〜図８を参照して本発明の実施形態を説明する。
図１は、撮像装置の基本的な構成要素を示したブロック図である。
撮像装置は、デジタルカメラ（コンパクトカメラ、一眼レフカメラ）である。制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこの撮像装置の全体動作を制御するもので、この制御部１にはＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、ＲＯＭ、ＲＡＭなどの内部メモリで、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図４〜図８に示す動作手順に応じて本実施形態を実現するためのプログラムが格納されている。
【００２３】
また、記憶部３のデータ領域には、フラグ情報（後述する撮影条件判別フラグＦ１、予測撮影フラグＦ２、ユーザ設定フラグＦ３、撮影確認フラグＦ４など）、タイマ情報（後述する予測撮影用タイマＴＭ）、この撮像装置の動作に必要な各種の情報が一時記憶されているほか、撮影された撮影済み画像を画像ファイルとして保存する画像フォルダＰＦを有している。また、記憶部３のデータ領域には、後述するが、複数の被写体の個々に対応して、被写体の撮影タイミングを判別するための情報を撮影条件として記憶する被写体管理テーブルＴＢなどが設けられている。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しない所定の外部サーバ上にあってもよい。
【００２４】
操作部４は、図示しないが、シャッタキー、再生キーなど、各種の押し釦式のキーを備え、制御部１は、操作部４からの操作信号に応じた処理を行う。なお、この実施形態においては操作部４の各キーを押しボタン型のキー（ハードキー）としたが、勿論、タッチスクリーン上のタッチキー（ソフトキー）で構成したものであってもよい。表示部５は、例えば、高精細液晶や有機ＥＬ（Electro Luminescence）などを使用したもので、画像の撮影時にはモニタ画面（ファインダ画面）として利用される。
【００２５】
撮像部６は、デジタルカメラを構成するもので、静止画撮影のほかに動画撮影も可能な構成で、静止画撮影モードと動画撮影モードとの切り替えが可能となっている。そして、撮像部６は、撮影レンズ６ａ、絞り機構６ｂ、ＣＣＤあるいはＣＭＯＳなどの撮像素子６ｃ、光学系駆動部６ｄなどのほか、図示省略したが、照明用のフラッシュ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、オートフォーカス機能（ＡＦ機能）、露出調整機能（ＡＥ機能）、光学ズーム機能などを制御するようにしている。ＡＦ機能は、撮影レンズ６ａから被写体までの距離を測定して焦点合わせを行う自動焦点合わせ機能で、この測定距離に応じて光学系駆動部６ｄは、撮影レンズ６ａの位置を制御して焦点合わせを行う。露出調整機能（ＡＥ機能）は、絞りとシャッタスピードを設定内容に従って調整することによって露出値の調整を行うもので、周囲の明るさを光量センサによって検出する方式に限らず、撮像素子６ｃからの画像データを基に輝度を検出する方式など、任意の方式であってもよい。
【００２６】
制御部１は、撮影レンズ６ａを通して取得したモニタ画像を表示部５にファインダ画面として表示させるほか、後で詳述するが、取得したモニタ画像に対して画像認識を行うことによりそのモニタ画像内に含まれている被写体（この実施形態では人物）は誰であるかを特定するようにしている。また、制御部１は、被写体撮影の直前に被写体が特定された場合に、その時点における被写体の撮影状態を表す情報を撮影状況として取得すると共に、この取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するか否かを判別し、その判別結果に応じて被写体の撮影タイミングを制御するようにしている。ここで、上述の撮影条件及び撮影状況は、被写体の外観に関する情報（姿に関する情報及び顔の表情に関する情報）、被写体から発声された音声に関する情報、被写体の周囲の環境に関する情報のいずれかを示している。
【００２７】
画像認識部７は、撮影レンズ６ａを通して取得したモニタ画像内に含まれている被写体を画像認識するもので、制御部１は、この画像認識部７により認識された被写体の認識結果（被写体の外観に関する情報：被写体の姿、顔の表情）を被写体の撮影状態を表す撮影状況として取得する。音声認識部８は、被写体の撮影時にマイクロホン８ａから入力された被写体の音声（被写体が発声した音声に関する情報：特定音、特定の言葉）を認識するもので、制御部１は、この音声認識部８により認識された被写体の認識結果を被写体の撮影状態を表す撮影状況として取得する。
【００２８】
撮影環境検出部９は、周囲の環境（被写体を撮影する際の周囲の環境に関する情報：明るさ、屋内／屋外、位置）を検出するもので、制御部１は、この撮影環境検出部９により検出された周囲の環境（明るさ、屋内／屋外、位置）を被写体の撮影状態を表す撮影状況として取得する。この撮影環境検出部９は、周囲の明るさを検出する明るさセンサ機能と、ゲート通過に応じて屋内か屋外かを検出する非接触ＩＣカード機能と、現在の位置（経緯度情報）を検出するＧＰＳ機能（Global Positioning System）とを有する構成となっている。
【００２９】
図２は、撮影条件判別フラグＦ１、予測撮影フラグＦ２、ユーザ設定フラグＦ３、撮影確認フラグＦ４を説明するための図である。
図２（１）は、撮影条件判別フラグＦ１を示した図である。この撮影条件判別フラグＦ１は、被写体撮影の直前に取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するか否かを判別する場合に、画像認識部７による認識結果を撮影状況として使用して判別を行うか、音声認識部８による認識結果を撮影状況として使用して判別を行うか、撮影環境検出部９による検出結果を撮影状況として使用して判別を行うかを示すフラグである。すなわち、図示の例において、撮影条件判別フラグＦ１の値が“０”のときには、画像認識部７による認識結果を使用して判別を行う場合を示し、“１”のときには、音声認識部８による認識結果を使用して判別を行う場合を示し、“２”のときには、撮影環境検出部９による検出結果を使用して判別を行う場合を示している。
【００３０】
図２（２）は、予測撮影フラグＦ２を示した図である。この予測撮影フラグＦ２は、撮影レンズ６ａを通して逐次取得したモニタ画像に対して画像認識を行い、モニタ画像内の被写体が良好な状態（例えば、ポーズや顔の表情）になるまでに要する時間を予測したり、被写体撮影時にマイクロホン８ａから入力された被写体の音声を認識する音声認識を行い、その音声を発してから被写体が良好な状態になるまでに要する時間を予測したりして、その予測時間を予測撮影用タイマＴＭにセットしたか否かを示すフラグである。なお、この予測撮影用タイマＴＭは、セットされた予測時間を逐次減算するタイマで、その時間計測動作が開始されてから予測時間の経過後にタイムアウトとなる。図示の例において、予測撮影フラグＦ２の値が“０”のときには、予測撮影用のタイマに予測時間がセットされていない状態であることを示し、また、“１”のときには、予測撮影用のタイマに予測時間がセットされている状態であることを示している。
【００３１】
図２（３）は、ユーザ設定フラグＦ３を示した図である。このユーザ設定フラグＦ３は、被写体管理テーブルＴＢに撮影条件を設定する際に、撮影条件を自動設定するのか、ユーザ操作によって任意に設定するのかを示すフラグである。ここで、図示の例において、ユーザ設定フラグＦ３の値が“０”のときには、撮影条件を自動設定することを示し、また、“１”のときには、ユーザ操作によって任意設定することを示している。なお、自動設定する場合には、画像認識部７による認識結果を撮影条件として自動設定したり、音声認識部８による認識結果を撮影条件として自動設定したり、撮影環境検出部９による検出結果を撮影条件として自動設定したりする。
【００３２】
図２（４）は、撮影確認フラグＦ４を示した図である。この撮影確認フラグＦ４は、被写体撮影の直前の取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致した際に自動的に撮影動作を開始するか、ユーザに対して撮影条件に合致したことを確認報知するのかを示すフラグである。ここで、図示の例において、撮影確認フラグＦ４の値が“０”のときには、撮影条件に合致すると判別した際に自動的に撮影動作を開始することを示し、また、“１”のときには、撮影条件に合致したことをユーザに対して確認報知を行うことを示している。
【００３３】
図３は、被写体管理テーブルＴＢを説明するための図である。
被写体管理テーブルＴＢは、複数の被写体の個々に対応して、被写体の撮影タイミングを判別するための情報を撮影条件として記憶するもので、その内容は、上述のように自動設定されたり、ユーザ操作によって任意に設定されたりしたもので、撮影条件判別フラグＦ１に対応して３種類の撮影条件を記憶する構成となっている。すなわち、図３（１）は、撮影条件判別フラグＦ１が“０”（画像認識結果を使用して判別を行う場合）に対応する被写体管理テーブルＴＢの内容を示し、「被写体特定用画像」、「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「口角状態」、「身体の向き」、「手足の位置状態」、「ポーズ」、「ユーザ設定フラグ」の各項目を有する構成となっている。
【００３４】
「被写体特定用画像」は、被写体（人物）の特徴から誰を撮影するのかを特定するために予め登録された被写体画像（比較対象の登録画像）であり、制御部１は、この登録画像とモニタ画像とを比較することによって、例えば、顔の輪郭、目・口・鼻・額などの形・位置・大きさ、メガネの有無・種類、身長、肉付き、髪型、手足などの各部位のバランス、推定年齢を個別に判断したり、総合的に判断したりしながら被写体として誰を撮影するのかを特定するようにしている。なお、「被写体特定用画像」は、被写体を撮影した画像自体（画像パターン）に限らず、被写体の特徴を詳細に記した被写体の特徴情報であってもよい。
【００３５】
「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「口角状態」は、被写体の顔の表情に関する情報で、例えば、被写体にとって最良の表情（キメ顔など）を示す情報（撮影条件）である。「身体の向き」、「手足の位置状態」、「ポーズ」は、身体（姿）に関する情報で、例えば、被写体にとって最良の姿勢（キメポーズなど）を示す情報（撮影条件）である。なお、「顔の角度」、「目の開閉度」、…、「手足の位置状態」、「ポーズ」の要素毎に、複数の情報（撮影条件）を記憶可能な構成となっている。
【００３６】
ここで、被写体撮影の直前の取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するか否かを判別する場合に、顔の表情に関する撮影条件（第１撮影条件）、身体（姿）に関する撮影条件（第２撮影条件）のいずれかを使用してその判別を行うが、その際、モニタ画像内に収まっているか被写体の範囲を検出し、その範囲が被写体の上半身よりも上の部分であれば（被写体の顔の表情を重視する場合）には、顔の表情に関する撮影条件（第１撮影条件）を使用し、また、その範囲が被写体の全身又は略全身であれば（被写体の姿を重視する場合）には、身体に関する撮影条件（第２撮影条件）を使用するようにしている。
【００３７】
この撮影条件は、良好な表情や身体の状態（例えば、静止画撮影であれば、ベストショット、動画撮影であれば、ベストシーン）を示す情報である。この実施形態においては、被写体の静止画撮影の直前に取得したモニタ画像内における被写体の顔の各部位を分析することにより得られた撮影状況と、上述の撮影条件として記憶されている「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「口角状態」とを比較することにより、それらが合致（類似も含む）するか否かを総合的に判別し、その総合判断の結果、例えば、全ての要素の合致を検出した際に、シャッタを切って撮影を開始させるようにしている。なお、「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「口角状態」の全てが合致する場合に限らず、その２以上の組み合わせが合致するか否かを判別したり、その個々に合致するか否かを判別したりするようにしてもよい。
【００３８】
同様に、被写体の静止画撮影の直前に取得したモニタ画像内の被写体の全身分析することにより得られた撮影状況と、上述の撮影条件として記憶されている「身体の向き」、「手足の位置状態」、「ポーズ」とを比較することにより、それらが合致（類似も含む）するか否かを総合的に判別し、総合判断の結果、例えば、全ての要素の合致を検出した際に、シャッタを切って撮影を開始させるようにしている。なお、「身体の向き」、「手足の位置状態」、「ポーズ」の全てが合致する場合に限らず、その２以上の組み合わせが合致するか否かを判別したり、その個々に合致するか否かを判別したりするようにしてもよい。
【００３９】
また、動画の撮影時における撮影条件の合致（類似）判断は、静止画撮影時における合致（類似）判断よりも緩和して行うようにしている。従って、被写体管理テーブルＴＢは、静止画撮影用の撮影条件を記憶するほかに、動画撮影用の撮影条件を記憶する構成となっている。例えば、静止画撮影用の「目の開閉度」が“８０％以上”、「口の開閉度」が“５０％〜８０％”であるのに対し、動画撮影用の「目の開閉度」は、“３０％以上”、「口の開閉度」が“２０％〜１００％”となっている。「ユーザ設定フラグ」は、上述のようにユーザ操作によって撮影条件を設定するのか否かを示すフラグである。
【００４０】
図３（２）は、撮影条件判別フラグＦ１が“１”（音声認識結果を使用して判別を行う場合）に対応する被写体管理テーブルＴＢの内容を示し、「被写体特定用画像」、「掛け声」、「ユーザ設定フラグ」の各項目を有する構成となっている。「被写体特定用画像」は、図３（１）で説明した登録画像であり、「掛け声」は、例えば、被写体が撮影開始を合図する際に発声する掛け声（特定音、特定の言葉）であり、複数記憶可能な構成となっている。ここで、制御部１は、被写体の撮影時にマイクロホン８ａから入力された被写体の音声（掛け声）を音声認識部８により認識した結果を撮影取得して、この撮影状況と撮影条件としての「掛け声」とを比較することにより、それらが合致（類似も含む）するか否かを判別し、合致した際に撮影を開始させるようにしている。「ユーザ設定フラグ」は、上述のようにユーザ操作により撮影条件を任意に設定するのか否かを示すフラグである。
【００４１】
図３（３）は、撮影条件判別フラグＦ１が“２”（撮影環境を使用して判別を行う場合）に対応する被写体管理テーブルＴＢの内容を示し、「被写体特定用画像」、「明るさ」、「屋内／室内」、「位置」、「ユーザ設定フラグ」の各項目を有する構成となっている。「被写体特定用画像」は、図３（１）で説明した登録画像であり、「明るさ」、「屋内／室内」、「位置」は、被写体を撮影する際の周囲の環境に関する情報であり、「明るさ」、「屋内／室内」、「位置」の要素毎に複数記憶可能な構成となっている。
【００４２】
ここで、制御部１は、撮影環境検出部９から取得した周囲環境を撮影直前の撮影状況として取得して、この撮影状況と撮影条件の「明るさ」、「屋内／室内」、「位置」とを比較することにより、そのいずれかに合致（類似も含む）するか否かを判別し、そのいずれかに合致した際に撮影を開始させるようにしている。なお、「明るさ」、「屋内／室内」、「位置」の個々のいずれかに合致するか否かを判別する場合に限らず、その２以上の組み合わせに合致するか否かを判別したり、その全てに合致するか否かを判別したりするようにしてもよい。「ユーザ設定フラグ」は、上述のようにユーザ操作により撮影条件を設定するのか否かを示すフラグである。
【００４３】
次に、実施形態における撮像装置の動作概念を図４〜図８に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
【００４４】
図４〜図６は、電源オンに応じて実行開始される撮像装置の全体動作の概要を示したフローチャートである。
先ず、制御部１は、電源オンに応じて所定のメモリの内容をクリアしたり、予測撮影フラグＦ２を初期値“０”としたりする初期化処理を実行した後（図４のステップＡ１）、静止画撮影モードに切り替えられたかを調べたり（ステップＡ２）、動画撮影モードに切り替えられたかを調べたり（図５のステップＡ２４）、画像閲覧操作が行われたかを調べたり（図６のステップＡ４３）、設定変更操作が行われたかを調べたり（図６のステップＡ５１）、その他の操作が行われたかを調べたりする（図６のステップＡ５３）。
【００４５】
いま、設定変更操作が行われたときには（図６のステップＡ５１でＹＥＳ）、撮影条件判別フラグＦ１、撮影確認フラグＦ４などをユーザ操作によって任意に設定する設定更新処理を行った後（ステップＡ５２）、図４のステップＡ２に戻る。また、静止画撮影モードと動画撮影モードとの切り替え操作など、その他の操作が行われたときには（図６のステップＡ５３でＹＥＳ）、操作に応じた処理として、撮影モードの切り替え処理などを行った後（ステップＡ５４）、図４のステップＡ２に戻る。
【００４６】
また、画像閲覧操作が行われたかときには（図６のステップＡ４３でＹＥＳ）、画像フォルダＰＦに保存されている撮影済み画像を読み出して一覧表示（サムネイル表示）させ、その一覧表示画面の中からユーザ操作で任意の撮影済み画像が選択指定されると（ステップＡ４４）、撮影条件をユーザ操作により任意に設定することを指示する撮影条件設定操作が行われたかを調べたり（ステップＡ４５）、画像閲覧の終了を指示する操作が行われたかを調べたりする（ステップＡ５０）。ここで、撮影条件設定操作が行われたときには（ステップＡ４５でＹＥＳ）、ユーザ操作により選択された撮影済み画像（閲覧画像）に対する画像認識を実行させ、被写体管理テーブルＴＢ内に同一被写体が記憶されているか、つまり、画像認識された被写体が被写体管理テーブルＴＢ内に記憶されているか（被写体を特定することができた）を調べる（ステップＡ４６）。
【００４７】
その結果、被写体管理テーブルＴＢ内に同一被写体が記憶されていて被写体を特定することができたときには（ステップＡ４６でＹＥＳ）、その被写体に対応する被写体管理テーブルＴＢの内容をユーザ設定の撮影条件に代えるために、その被写体に対応して既に設定されている全ての撮影条件を削除する（ステップＡ４７）。そして、その被写体に対応する撮影条件を被写体管理テーブルＴＢ内に記憶させる（ステップ４８）。この場合、ユーザ操作により選択された撮影済み画像（閲覧画像）を画像認識することによって、「顔の角度」、「目の開閉度」、…、「手足の位置状態」、「ポーズ」の要素毎に撮影条件を生成して、被写体管理テーブルＴＢ内に記憶させる。
【００４８】
このようにユーザ選択した撮影済み画像に対する画像認識により撮影条件を自動生成して記憶させる場合に限らず、ユーザ操作によって入力指定された撮影条件を被写体管理テーブルＴＢ内に記憶させるようにしてもよい。このようにして記憶した撮影条件の自動更新を禁止するために、それに対応する「ユーザ設定フラグ」を“１”とする（ステップＡ４９）。以下、画像閲覧の終了操作が行われるまで（ステップＡ５０）、上述のステップＡ４４に戻るが、画像閲覧終了操作が行われると（ステップＡ５０でＹＥＳ）、図４のステップＡ２に戻る。
【００４９】
一方、静止画撮影モードに切り替えられたときには（図４のステップＡ２でＹＥＳ）、予測撮影フラグＦ２の値は“０”であるかを調べるが（ステップＡ３）、最初の電源オン直後では、予測撮影フラグＦ２の値は“０”、つまり、予測撮影用のタイマに予測時間がセットされていない状態であるから（ステップＡ３でＹＥＳ）、次のステップＡ４に移り、画像認識部７、音声認識部８、撮影環境検出部９を動作させることによって画像認識、音声認識、撮影環境検出を開始させる。この場合、画像認識部７は、撮影レンズ６ａを通して取得したモニタ画像内に含まれている被写体を画像認識する動作を開始し、音声認識部８は、被写体の撮影時にマイクロホン８ａから入力された被写体の音声を認識する動作を開始し、撮影環境検出部９は、明るさセンサ機能、非接触ＩＣカード機能、ＧＰＳ機能によって周囲の環境（明るさ、屋内／屋外、位置）を検出する動作を開始する。
【００５０】
そして、制御部１は、撮影レンズ６ａを通して取得したモニタ画像を表示部５にファインダ画面として表示させるほか、このモニタ画像を被写体特定用として取得する（ステップＡ５）。そして、撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢの内容を参照し（ステップＡ６）、画像認識された被写体と、被写体管理テーブルＴＢ内に記憶されている「被写体特定用画像（登録画像）」とを比較することによって、モニタ画像内の被写体は被写体管理テーブルＴＢに記憶されている被写体であるか（被写体を特定することができたか）を調べる（ステップＡ７）。
【００５１】
ここで、被写体管理テーブルＴＢに記憶されている被写体でなければ（ステップＡ７でＮＯ）、被写体を特定することができない場合であるからステップＡ１７に移り、シャッタ操作が行われたかを調べたり、静止画撮影モードを解除するために終了操作が行われたかを調べたりする（ステップＡ１８）。ここで、シャッタ操作及び静止画撮影モードの終了操作が行われなければ（ステップＡ１８でＮＯ）、上述のステップＡ３に戻る。また、静止画撮影モードの終了操作が行われたときには（ステップＡ１８でＹＥＳ）、上述のステップＡ２に戻るが、シャッタ操作が行われたときには（ステップＡ１７でＹＥＳ）、シャッタを切って撮影を実行させる（ステップＡ１９）。そして、その撮影画像を画像フォルダＰＦに保存させた後（ステップＡ２０）、後述する撮影条件設定処理の実行に移る（ステップＡ２１）。
【００５２】
図７は、撮影条件設定処理（図４のステップＡ２１など）を詳述するためのフローチャートである。
先ず、制御部１は、撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢを参照し（図７のステップＢ１）、モニタ画像内の被写体に対応付けてその撮影条件が記憶されているかを調べるが（ステップＢ２）、いま、モニタ画像内の被写体が被写体管理テーブルＴＢに記憶されておらず、それに対応する撮影条件も記憶されていない場合には（ステップＢ２でＮＯ）、次のステップＢ７に移り、撮影条件判別フラグＦ１の値に対応する撮影状況を取得する。
【００５３】
すなわち、撮影条件判別フラグＦ１の値が“０”のときには、画像認識部７による認識結果を撮影状況として取得し、“１”のときには、音声認識部８による認識結果を撮影状況として取得し、“２”のときには、撮影環境検出部９による検出結果を撮影状況として取得する。そして、モニタ画像内から被写体（人物）に相当する画像部分を抽出し（ステップＢ８）、この抽出画像を「被写体特定用画像」として撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢ内に新規記憶させると共に（ステップＢ９）、上述のようにして取得した撮影状況を、その「被写体特定用画像」に対応する撮影条件として新規記憶させる（ステップＢ１０）。その後、図４のステップＡ３に戻る。
【００５４】
一方、撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢを参照した結果、この被写体管理テーブルＴＢに記憶されている被写体であれば（図４のステップＡ７でＹＥＳ）、被写体を特定することができた場合であるから、撮影条件判別フラグＦ１の値に対応する撮影状況を取得する（ステップＡ８）。すなわち、撮影条件判別フラグＦ１の値が“０”のときには、画像認識部７による認識結果を撮影状況として取得し、“１”のときには、音声認識部８による認識結果を撮影状況として取得し、“２”のときには、撮影環境検出部９による検出結果を撮影状況として取得する。このように被写体撮影の直前に取得した撮影状況に基づいて撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢを参照し、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するかを調べる（ステップＡ９）。
【００５５】
ここで、撮影条件判別フラグＦ１の値が“０”のときには、図３（１）に示した被写体管理テーブルＴＢを参照し、“１”のときには、図３（２）に示した被写体管理テーブルＴＢを参照し、“２”のときには、図３（３）に示した被写体管理テーブルＴＢを参照することによって撮影条件に合致するかを調べる。その際、図３（１）に示した被写体管理テーブルＴＢの内容のうち、モニタ画像内に被写体の顔や上半身が収まっているような場合（被写体の顔の表情を重視する場合）には、顔の表情に関する撮影条件を参照し、また、モニタ画像内に被写体の全身が収まっているような場合（被写体の姿を重視する場合）には、身体に関する撮影条件を参照してその判別を行う。
【００５６】
その結果、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するときには（ステップＡ９でＹＥＳ）、撮影確認フラグＦ４を参照し、それが“１”か、つまり、撮影条件に合致した際にユーザに合致したことを報知することが指定されているか否かを調べる（ステップＡ１０）。その結果、撮影確認フラグＦ４が“０”であれば（ステップＡ１０でＮＯ）、上述のステップＡ１９に移って自動的に撮影を実行させる。その後、撮影画像を画像フォルダＰＦに保存させた後（ステップＡ２０）、撮影条件設定処理に移る（ステップＡ２１）。また、撮影確認フラグＦ４が“１”のときには（ステップＡ１０でＹＥＳ）、アラーム音、点滅表示、メッセージ表示、バイブレーションなどの任意の報知手段により、ユーザに対して撮影条件に合致したことを確認報知する処理を行う（ステップＡ１１）。
【００５７】
そして、この確認報知に応答して、撮影実行を肯定するＯＫ操作が行われたかを調べ（ステップＡ１２）、ＯＫ操作が行われなければ（ステップＡ１２でＮＯ）、上述のステップＡ３に戻るが、ＯＫ操作が行われたときには（ステップＡ１２でＹＥＳ）、上述のステップＡ１９に移って撮影を実行させる。その後、撮影画像を画像フォルダＰＦに保存させてから（ステップＡ２０）、撮影条件設定処理に移る（ステップＡ２１）。
【００５８】
この場合、図７の撮影条件設定処理においては、撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢを参照し（図７のステップＢ１）、モニタ画像内の被写体に対応付けてその撮影条件が記憶されているかを調べるが（ステップＢ２）、いま、撮影条件が既に記憶されていれば（ステップＢ２でＹＥＳ）、ユーザ設定フラグＦ３を参照して、その値は“０”か、つまり、撮影条件を自動設定するのかを調べ（ステップＢ３）、その値が“１”であれば（ステップＢ３でＮＯ）、ユーザ操作によって撮影条件を設定する場合であるから、この時点で図４のステップＡ３に戻る。
【００５９】
ユーザ設定フラグＦ３の値が“０”のときには（ステップＢ３でＹＥＳ）、撮影条件判別フラグＦ１の値に対応する撮影状況を取得する（ステップＢ４）。すなわち、撮影条件判別フラグＦ１の値が“０”のときには、画像認識部７による認識結果を撮影状況として取得する。この場合、「顔の角度」、「目の開閉度」、…、「手足の位置状態」、「ポーズ」の要素毎に撮影状況として取得する。また、撮影条件判別フラグＦ１の値が“１”のときには、音声認識部８による認識結果を撮影状況として取得し、“２”のときには、撮影環境検出部９による検出結果を撮影状況として要素毎「明るさ」、「屋内／室内」、「位置」に取得する。そして、図４のステップＡ７で特定された被写体に基づいて被写体管理テーブルＴＢを検索し（ステップＢ５）、取得した撮影状況に基づいてその被写体に対応する撮影条件を生成して被写体管理テーブルＴＢ内に追加記憶させる（ステップＢ６）。これによって、被写体管理テーブルＴＢには被写体撮影を行う毎に、新たな撮影条件が順次蓄積されることになる。
【００６０】
また、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致しなかったときには（図４のステップＡ９でＮＯ）、シャッタ操作が行われたかを調べたり（ステップＡ１３）、静止画撮影モードが解除されて終了したかを調べたりする（ステップＡ１４）。いま、シャッタ操作が行われたときには（ステップＡ１３でＹＥＳ）、シャッタを切って撮影を実行させる（ステップＡ１９）。そして、撮影画像を画像フォルダＰＦに保存させた後（ステップＡ２０）、撮影条件設定処理に移る（ステップＡ２１）。
この場合、図７の撮影条件設定処理においては、図４のステップＡ７で特定された被写体に対応してその撮影条件が記憶されていれば（図７のステップＢ２でＹＥＳ）、上述の処理に移り（ステップＢ３〜Ｂ６）、その撮影条件が記憶されていなければ（ステップＢ２でＮＯ）、上述した処理に移る（ステップＢ７〜Ｂ１０）。
【００６１】
このような静止画撮影モードにおいて、静止画撮影モードの解除操作が行われたときには（図４のステップＡ１４でＹＥＳ）、上述のステップＡ２に戻るが、シャッタ操作及び静止画撮影モードの解除操作も行われなければ（ステップＡ１４でＮＯ）、撮影条件判別フラグＦ１を参照し、その値は“２”ではないか、つまり、撮影環境検出部９による検出結果を使用して判別を行った場合かを調べ（ステップＡ１５）、撮影条件判別フラグＦ１の値が“２”でなければ（ステップＡ１５でＹＥＳ）、後述する予測撮影処理に移るが（ステップＡ１６）、その値が“２”であれば（ステップＡ１５でＮＯ）、予測撮影には周囲環境を撮影条件とすることは不向きであるとして、この予測撮影処理（ステップＡ１６）をキャンセルした後、上述のステップＡ３に戻る。
【００６２】
図８は、予測撮影処理（図４のステップＡ１６）を詳述するためのフローチャートである。
先ず、制御部１は、撮影条件判別フラグＦ１の値が“０”又は“１”に対応する撮影状況を取得した後（図８のステップＣ１）、図４のステップＡ７で特定された被写体に基づいて被写体管理テーブルＴＢを検索し、その被写体に対応付けられている各撮影条件を読み出す（ステップＣ２）。そして、取得した撮影状況と、読み出した各撮影条件とを比較しながら被写体が良好な状態になるまでの時間を予測するための予測処理を行う（ステップＣ３）。
【００６３】
例えば、静止画撮影用の「目の開閉度」に対応して、目の開き具合が微妙に変化している多数の撮影条件が目の開き具合に応じた順に並べられて記憶されている場合に、つまり、目が徐々に開くような並び順に記憶されている場合に、取得した撮影状況がどの位置に記憶されている撮影条件に該当しているかによって、良好な状態になるまでに要する時間を予測する。また、音声の場合には、例えば、“ハイポーズ”の最初の音“ハ”を認識してから最後の音を検出するまでに要する時間を予測する。
【００６４】
このように要素毎に多数の撮影条件が規則性をもって順次記憶されている場合に、取得した撮影状況がその規則性に沿ったものであれば、予測可能となるが、規則性から外れていれば、予測不能となる。ここで、予測不能であれば（ステップＣ４でＮＯ）、その時点で図４のステップＡ３に戻るが、予測可能であれば（ステップＣ４でＹＥＳ）、シャッタを切るまでの時間の予測時間を算出し（ステップＣ５）、この算出時間を予測撮影用タイマＴＭにセットしてタイマ動作を開始させる（ステップＣ６）。そして、予測撮影用タイマＴＭに時間をセットしたことを示すために予測撮影フラグＦ２を“１”とした後（ステップＣ７）、図４のステップＡ３に戻る。
【００６５】
このようにして予測撮影フラグＦ２が“０”から“１”に変化したときには、図４のステップＡ３ではＮＯと判断されるため、次のステップＡ２２に移り、タイマ時間が経過したか、つまり、予測撮影用タイマＴＭがタイムアウトとなったかを調べ、タイマ時間が経過するまでステップＡ３に戻る。ここで、タイマ時間の経過を検出すると（ステップＡ２２でＹＥＳ）、予測撮影フラグＦ２を“０”とした後（ステップＡ２３）、シャッタを切って撮影を実行させる（ステップＡ１９）。そして、撮影画像を画像フォルダＰＦに格納させた後（ステップＡ２０）、撮影条件設定処理に移る（ステップＡ２１）。
【００６６】
他方、動画撮影モードに切り替えられたときには（図５のステップＡ２４でＹＥＳ）、画像認識部７、音声認識部８、撮影環境検出部９を動作させて画像認識、音声認識、撮影環境検出を開始させる（ステップＡ２５）。この場合、画像認識部７は、撮影レンズ６ａを通して取得したモニタ画像（動画の中から抽出した静止画像）内に含まれている被写体を画像認識する動作を開始し、音声認識部８は、被写体の撮影時にマイクロホン８ａから入力された被写体の音声を認識する動作を開始し、撮影環境検出部９は、明るさセンサ機能、非接触ＩＣカード機能、ＧＰＳ機能によって周囲の環境（明るさ、屋内／屋外、位置）を検出する動作を開始する。
【００６７】
そして、制御部１は、撮影レンズ６ａを通して取得したモニタ画像を表示部５にファインダ画面として表示させるほか、このモニタ画像（動画内から抽出した静止画像）を被写体特定用画像として取得する（ステップＡ２６）。そして、撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢの内容を参照し（ステップＡ２７）、この被写体管理テーブルＴＢ内の「被写体特定用画像」とモニタ画像とを比較し、モニタ画像内の被写体は被写体管理テーブルＴＢに記憶されている被写体であるか（被写体を特定することができたか）を調べる（ステップＡ２８）。
【００６８】
ここで、被写体管理テーブルＴＢに記憶されている被写体でなければ（ステップＡ２８でＮＯ）、被写体を特定することができない場合であるから、録画開始操作が行われたかを調べたり（ステップＡ３６）、動画撮影モードを解除するために終了操作が行われたかを調べたりする（ステップＡ３７）。いま、録画開始操作及び動画撮影モードの終了操作が行われなければ（ステップＡ３７でＮＯ）、上述のステップＡ２５に戻るが、動画撮影モードの終了操作が行われたときには（ステップＡ３７でＹＥＳ）、図４のステップＡ２に戻る。また、録画開始操作が行われたときには（ステップＡ３６でＹＥＳ）、動画撮影を開始させて、動画を画像フォルダＰＦに逐次格納させる（ステップＡ４１）。その後、撮影停止操作が行われるまで録画を継続する（ステップＡ４２）。ここで、撮影停止操作が行われると（ステップＡ４２でＹＥＳ）、動画撮影を停止させた後（ステップＡ３４）、図７の撮影条件設定処理に移る（ステップＡ３５）。
【００６９】
また、撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢを参照した結果、この被写体管理テーブルＴＢに記憶されている被写体であれば（図５のステップＡ２８でＹＥＳ）、被写体を特定することができた場合であるから、撮影条件判別フラグＦ１の値に対応する撮影況を取得する（ステップＡ２９）。すなわち、撮影条件判別フラグＦ１の値が“０”のときには、画像認識部７による認識結果を撮影状況として取得し、“１”のときには、音声認識部８による認識結果を撮影状況として取得し、“２”のときには、撮影環境検出部９による検出結果を撮影状況として取得する。そして、被写体撮影の直前に取得した撮影状況に基づいて撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢを参照し、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するかを調べる（ステップＡ３０）。
【００７０】
いま、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致していなければ（ステップＡ３０でＮＯ）、動画の撮影中であるかを調べたり（ステップＡ３８）、録画開始操作が行われたかを調べたり（ステップＡ３９）、動画撮影モードを解除するために終了操作が行われたかを調べたりする（ステップＡ４０）。ここで、動画撮影中ではなく（ステップＡ３８でＮＯ）、録画撮影開始操作及び動画撮影モードの終了操作が行われなければ（ステップＡ３９、Ａ４０でＮＯ）、上述のステップＡ２５に戻るが、録画開始操作が行われたときには（ステップＡ３９でＹＥＳ）、動画撮影を開始させた後（ステップＡ４１）、撮影停止操作が行われるまで録画を継続する（ステップＡ４２）。ここで、撮影停止操作が行われると（ステップＡ４２でＹＥＳ）、その操作に応答して撮影動作を停止させる（ステップＡ３４）。その後、図７の撮影条件設定処理を実行した後（ステップＡ３５）、上述のステップＡ２５に戻る。また、動画撮影モードの終了操作が行われたときには（ステップＡ４０でＹＥＳ）、図４のステップＡ２に戻る。
【００７１】
また、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致したことを検出したときには（ステップＡ３０でＹＥＳ）、撮影中ではないことを条件に（ステップＡ３１でＮＯ）、動画撮影を開始させる（ステップＡ３２）。そして、上述のステップＡ３０に戻るが、この場合、引き続いて撮影条件が合致していることを検出したときには（ステップＡ３０でＹＥＳ）、上述のステップＡ３１で撮影中であることが検出されるため、次のステップＡ３３に移り、以下、撮影停止操作が行われるまで（ステップＡ３３でＮＯ）、上述のステップＡ３０に戻る。
【００７２】
ここで、撮影停止操作が行われたときには（ステップＡ３３でＹＥＳ）、動画撮影動作を停止させた後（ステップＡ３４）、図７の撮影条件設定処理に移る（ステップＡ３５）。その後、上述のステップＡ２５に戻る。
一方、また、撮影条件が合致していないことが検出された場合に（ステップＡ３０でＮＯ）、動画の撮影中であれば（ステップＡ３８でＹＥＳ）、この時点で撮影動作を停止させる（ステップＡ３４）。つまり、動画の撮影中に撮影条件に合致しなくたった時点で撮影動作を自動停止させる。その後、図７の撮影条件設定処理を実行した後（ステップＡ３５）、上述のステップＡ２５に戻る。
【００７３】
以上のように、実施形態において制御部１は、被写体が特定された時点での撮影状況が、その被写体に対応して記憶されている撮影条件に合致するか否かを判別し、その判別結果に応じて撮影タイミングを制御するようにしたので、被写体の個々に適したタイミングで撮影を制御することができ、被写体の好みに応じた適切な撮影が可能となる。
【００７４】
撮影条件は、被写体の撮影タイミングを判別するための情報を複数の要素で表した情報であり、制御部１は、この撮影条件に対応して複数の要素からなる撮影状況を取得し、撮影状況が撮影条件に合致するか否かを要素毎に判別するようにしたので、例えば、顔の表情の撮影条件を「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「口角状態」とすることで、撮影状況が撮影条件に合致するか否かを総合的に判別することができ、より好みに応じた撮影が可能となる。
【００７５】
撮影済み画像に対する画像認識により撮影条件を生成して被写体管理テーブルＴＢに記憶するようにしたので、撮影条件の自動記憶が可能となる。
【００７６】
複数の撮影済み画像のうち、ユーザ操作により任意に選択した撮影済み画像に対する画像認識により撮影条件を生成して被写体管理テーブルＴＢに記憶するようにしたので、ユーザの所望する撮影済み画像から撮影条件を生成させることができ、ユーザの好みに応じた撮影条件とすることが可能となる。
【００７７】
撮影条件は、被写体の外観に関する情報であり、制御部１は、モニタ画像に対する画像認識により得られた認識結果を撮影状況として取得して、撮影条件（被写体の外観に関する情報）と合致するかを判別するようにしたので、例えば、「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「口角状態」、「身体の向き」、「手足の位置状態」、「ポーズ」を要素として、撮影タイミングを制御することができる。
【００７８】
撮影条件は、被写体が発声する音声に関する情報であり、制御部１は、被写体から発声された音声を認識することにより得られた認識結果を撮影状況として取得して、撮影条件（被写体が発声する音声に関する情報）と合致するかを判別するようにしたので、例えば、被写体が撮影開始を合図する際に発声する掛け声（特定音、特定の言葉）を要素として、撮影タイミングを制御することができる。
【００７９】
撮影条件は、被写体の周囲の環境に関する情報であり、制御部１は、周囲環境を検出することにより得られた検出結果を撮影状況として取得して、撮影条件（被写体の周囲の環境に関する情報）と合致するかを判別するようにしたので、例えば、「明るさ」、「屋内／室内」、「位置」を要素として、撮影タイミングを制御することができる。
【００８０】
撮影条件は、被写体の外観に関する情報であり、制御部１は、モニタ画像に対する画像認識により得られた認識結果を撮影状況として取得すると共に、この撮影状況と撮影条件（被写体の外観に関する情報）とを比較することによりその撮影状況が撮影条件に合致するまでに要する時間を予測して撮影タイミングを制御するようにしたので、例えば、被写体の動きが速くてもタイミングを外すことなく、被写体の好みに応じた適切な撮影が可能となる。
【００８１】
モニタ画像に対する画像認識によりモニタ画像内に被写体の顔や上半身が収まっているような場合（被写体の顔の表情を重視する場合）には、顔の表情に関する撮影条件を使用し、モニタ画像内に被写体の全身が収まっているような場合（被写体の姿を重視する場合）には、身体に関する撮影条件を使用して、撮影状況が撮影条件に合致するか否かを判別するようにしたので、被写体をどのように撮影するかに合わせて適切な撮影条件を使用してその判別を行うことができる。
【００８２】
静止画撮影時にシャッタを切るタイミングを制御するようにしたので、ベストショットと呼ばれる最良の静止画像を得ることができる。
【００８３】
動画像の撮影時に動画撮影を開始するタイミング及び動画撮影を停止するタイミングを制御するようにしたので、ベストシーンと呼ばれる最良の動画像を得ることができ、不要なシーンを部分的に消去する編集作業も不要となる。
【００８４】
撮影タイミングをユーザに報知するようにしたので、ユーザにあっては、この報知に応答して撮影実行を指示することができ、適切なタイミングでの撮影が可能となる。
【００８５】
なお、上述した実施形態においては、複数の撮影済み画像のうち、ユーザ操作により任意に選択した撮影済み画像に対する画像認識により撮影条件を生成して被写体管理テーブルＴＢに記憶するようにしたが、複数の撮影済み画像のうち、所定の被写体（例えば、人物）が含まれている撮影済み画像を抽出して画像認識を行うことにより撮影条件を生成して被写体管理テーブルＴＢに記憶するようにしてもよい。すなわち、ユーザ操作によって画像を選択するのに代わって自動的に画像を選択（抽出）するようにすれば、ユーザ操作が一切不要となり、利便性を高めることができる。
【００８６】
上述した実施形態においては、予測撮影時にタイマ時間の経過に応じてシャッタを切るようにしたが、タイマ時間が経過するまでの間にフォーカス調整及び露出調整を行うようにしてもよい。また、上述した実施形態においては、予測撮影を静止画撮影の場合に行うようにしたが、動画撮影の場合にも適用可能である。
【００８７】
上述した実施形態においては、撮影条件判別フラグＦ１の値に応じて画像認識結果、音声認識結果、周囲環境検出結果のいずれを撮影状況として取得するようにしたが、例えば、画像認識結果と音声認識結果との組み合わせを撮影状況として取得したり、音声認識結果と周囲環境検出結果との組み合わせなどを撮影状況として取得したりするようにしてもよい。この場合、撮影条件も被写体の外観に関する情報と音声に関する情報との組み合わせ、音声に関する情報と周囲環境に関する情報との組み合わせなどとしてもよい。
【００８８】
また、上述した実施形態においては、撮像装置を例示したが、これに限らず、例えば、撮像機能付きの携帯電話機・ＰＤＡ・音楽プレイヤー・それらの複合機などであってもよい。
また、上述した実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【符号の説明】
【００８９】
１ 制御部
３ 記憶部
４ 操作部
５ 表示部
６ 撮像部
６ａ 撮影レンズ
７ 画像認識部
８ 音声認識部
８ａ マイクロホン
９ 撮影環境検出部
Ｆ１ 撮影条件判別フラグ
Ｆ２ 予測撮影フラグ
Ｆ３ ユーザ設定フラグ
Ｆ４ 撮影確認フラグ
ＰＦ 画像フォルダ
ＴＢ 被写体管理テーブル
ＴＭ 予測撮影用タイマ
【技術分野】
【０００１】
本発明は、被写体の撮影状態に応じて撮影タイミングを制御可能な撮像装置及びプログラムに関する。
【背景技術】
【０００２】
近年、撮像装置において人物撮影時には、より好ましい撮影結果を得られるように被写体の撮影状態として笑顔を検出して自動的に撮影するようにした技術が公知となっているが、その技術を更に発展させたものとして、従来では、例えば、被写体撮像時において、寒さなどの快適さに応じて笑顔検出の基準値を補正することにより、適切に笑顔を検出可能とした技術が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１２９３８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した先行技術にあっては、より良い笑顔を検出して撮影することができるが、どのような笑顔がベストであるかは人によってまちまちであり、また、笑顔が最も好ましい表情とは限らず、怒ったような表情や、口元を引き締めたような顔など、笑顔以外の表情が自分のベストな表情（キメ顔と呼ばれる表情）であると考えている場合もある。このようにキメ顔は、人によって大きく異なるため、笑顔を検出して撮影を行ったとしても、必ずしもキメ顔のときに撮影されるとは限らなかった。
【０００５】
本発明の課題は、被写体の個々に適したタイミングで撮影を制御できるようにすることである。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために請求項１記載の発明は、複数の被写体の個々に対応して、被写体の撮影タイミングを判別するための情報を撮影条件として記憶する撮影条件記憶手段と、撮影レンズを通して取得した画像に対する画像認識により当該取得画像内に含まれている被写体が前記撮影条件記憶手段内のどの被写体であるかを特定する被写体特定手段と、この被写体特定手段により被写体が特定された場合に、その時点での被写体の撮影状態を表す情報を撮影状況として取得する取得手段と、この取得手段により取得した撮影状況が、前記被写体特定手段により特定された被写体に対応して前記撮影条件記憶手段に記憶されている撮影条件に合致するか否かを判別する判別手段と、前記被写体特定手段により特定された被写体に対する撮影タイミングを前記判別手段による判別結果に応じて制御する制御手段と、を備えることを特徴とする。
【０００７】
請求項１に従属する発明として、前記撮影条件は、被写体の撮影タイミングを判別するための情報を複数の要素で表した情報であり、前記取得手段は、前記撮影条件に対応して複数の要素からなる撮影状況を取得し、前記判別手段は、撮影状況が撮影条件に合致するか否かを前記要素毎に判別する、ようにしたことを特徴とする請求項２記載の発明であってもよい。
【０００８】
請求項１に従属する発明として、撮影済み画像を記憶する画像記憶手段と、この画像記憶手段に記憶されている撮影済み画像に対する画像認識により前記撮影条件を生成する撮影条件生成手段を更に備え、前記撮影条件記憶手段は、前記撮影済み画像内の被写体に対応して、前記撮影条件生成手段により生成された撮影条件を記憶する、ようにしたことを特徴とする請求項３記載の発明であってもよい。
【０００９】
請求項３に従属する発明として、前記画像記憶手段に記憶されている複数の撮影済み画像のうち、各撮影済み画像に対する画像認識により所定の被写体が含まれている撮影済み画像を抽出する抽出手段を更に備え、前記撮影条件生成手段は、前記抽出手段により抽出された撮影済み画像に対する画像認識により当該撮影済み画像内の被写体に対応する撮影条件を生成する、ようにしたことを特徴とする請求項４記載の発明であってもよい。
【００１０】
請求項３に従属する発明として、前記画像記憶手段に記憶されている複数の撮影済み画像のうち、ユーザ操作により任意の撮影済み画像を選択する選択手段を更に備え、前記撮影条件生成手段は、前記選択手段により選択された撮影済み画像に対する画像認識により当該撮影済み画像内の被写体に対応する撮影条件を生成する、ようにしたことを特徴とする請求項５記載の発明であってもよい。
【００１１】
請求項１に従属する発明として、前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体の外観に関する情報であり、前記取得手段は、撮影レンズを通して取得した画像に対する画像認識により得られた認識結果を撮影状況として取得する、ようにしたことを特徴とする請求項６記載の発明であってもよい。
【００１２】
請求項１に従属する発明として、前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体が発声する音声に関する情報であり、前記取得手段は、被写体から発声された音声を認識することにより得られた認識結果を撮影状況として取得する、ようにしたことを特徴とする請求項７記載の発明であってもよい。
【００１３】
請求項１に従属する発明として、前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体の周囲の環境に関する情報であり、前記取得手段は、周囲環境を検出することにより得られた検出結果を撮影状況として取得する、ようにしたことを特徴とする請求項８記載の発明であってもよい。
【００１４】
請求項１に従属する発明として、前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体の外観に関する情報であり、前記取得手段は、撮影レンズを通して取得した画像に対する画像認識により得られた認識結果を撮影状況として取得し、前記判別手段は、前記取得手段により取得した撮影状況と前記撮影条件記憶手段に記憶されている撮影条件とを比較することによりその撮影状況が撮影条件に合致するまでに要する時間を予測し、前記制御手段は、前記判別手段による予測結果に応じて撮影タイミングを制御する、ようにしたことを特徴とする請求項９記載の発明であってもよい。
【００１５】
請求項１に従属する発明として、撮影レンズを通して取得した画像に対する画像認識により当該画像に収まっている被写体の範囲を検出する範囲検出手段を更に備え、前記撮影条件記憶手段は、被写体の部分の外観に関する情報を第１撮影条件として記憶すると共に、この被写体の全体又は略全体の外観に関する情報を第２撮影条件として記憶し、前記判別手段は、前記範囲検出手段により検出された被写体の範囲に応じて前記１撮影条件、第２撮影条件のいずれかを選択すると共に、前記取得手段により取得した撮影状況が、前記選択した撮影条件に合致するか否かを判別する、ようにしたことを特徴とする請求項１０記載の発明であってもよい。
【００１６】
請求項１に従属する発明として、前記制御手段は、前記判別手段による判別結果に応じて静止画像の撮影時にシャッタを切るタイミングを制御する、ようにしたことを特徴とする請求項１１記載の発明であってもよい。
【００１７】
請求項１に従属する発明として、前記制御手段は、前記判別手段による判別結果に応じて動画像の撮影時に、動画撮影を開始するタイミング及び動画撮影を停止するタイミングを制御する、ようにしたことを特徴とする請求項１２記載の発明であってもよい。
【００１８】
請求項１に従属する発明として、前記制御手段は、前記判別手段による判別結果に応じて撮影タイミングであることを報知する、ようにしたことを特徴とする請求項１３記載の発明であってもよい。
【００１９】
また、上述した課題を解決するために請求項１４記載の発明は、コンピュータに対して、複数の被写体の個々に対応して、被写体の撮影タイミングを判別するための情報を撮影条件として記憶されている状態において、撮影レンズを通して取得した画像に対する画像認識により当該取得画像内に含まれている被写体が前記記憶されているどの被写体であるかを特定する機能と、前記被写体が特定された場合に、その時点での被写体の撮影状態を表す情報を撮影状況として取得する機能と、前記取得した撮影状況が、前記特定された被写体に対応して前記記憶されている撮影条件に合致するか否かを判別する機能と、前記特定された被写体に対する撮影タイミングを前記判別結果に応じて制御する機能と、を実現させるためのプログラムを特徴とする。
【発明の効果】
【００２０】
本発明によれば、被写体の個々に適したタイミングで撮影を制御することができ、被写体の好みに応じた適切な撮影が可能となる。
【図面の簡単な説明】
【００２１】
【図１】撮像装置の基本的な構成要素を示したブロック図。
【図２】（１）〜（４）は、撮影条件判別フラグＦ１、予測撮影フラグＦ２、ユーザ設定フラグＦ３、撮影確認フラグＦ４を説明するための図。
【図３】（１）〜（３）は、被写体管理テーブルＴＢを説明するための図。
【図４】電源オンに応じて実行開始される撮像装置の全体動作の概要を示したフローチャート。
【図５】図４の動作に続くフローチャート。
【図６】図５の動作に続くフローチャート。
【図７】撮影条件設定処理（図４のステップＡ２１、図５のステップＡ３５）を詳述するためのフローチャート。
【図８】予測撮影処理（図４のステップＡ１６）を詳述するためのフローチャート。
【発明を実施するための形態】
【００２２】
以下、図１〜図８を参照して本発明の実施形態を説明する。
図１は、撮像装置の基本的な構成要素を示したブロック図である。
撮像装置は、デジタルカメラ（コンパクトカメラ、一眼レフカメラ）である。制御部１は、二次電池を備えた電源部２からの電力供給によって動作し、記憶部３内の各種のプログラムに応じてこの撮像装置の全体動作を制御するもので、この制御部１にはＣＰＵ（中央演算処理装置）やメモリなどが設けられている。記憶部３は、ＲＯＭ、ＲＡＭなどの内部メモリで、プログラム領域とデータ領域とを有し、このプログラム領域には、後述する図４〜図８に示す動作手順に応じて本実施形態を実現するためのプログラムが格納されている。
【００２３】
また、記憶部３のデータ領域には、フラグ情報（後述する撮影条件判別フラグＦ１、予測撮影フラグＦ２、ユーザ設定フラグＦ３、撮影確認フラグＦ４など）、タイマ情報（後述する予測撮影用タイマＴＭ）、この撮像装置の動作に必要な各種の情報が一時記憶されているほか、撮影された撮影済み画像を画像ファイルとして保存する画像フォルダＰＦを有している。また、記憶部３のデータ領域には、後述するが、複数の被写体の個々に対応して、被写体の撮影タイミングを判別するための情報を撮影条件として記憶する被写体管理テーブルＴＢなどが設けられている。なお、記憶部３は、例えば、ＳＤカード、ＩＣカードなど、着脱自在な可搬型メモリ（記録メディア）を含む構成であってもよく、図示しない所定の外部サーバ上にあってもよい。
【００２４】
操作部４は、図示しないが、シャッタキー、再生キーなど、各種の押し釦式のキーを備え、制御部１は、操作部４からの操作信号に応じた処理を行う。なお、この実施形態においては操作部４の各キーを押しボタン型のキー（ハードキー）としたが、勿論、タッチスクリーン上のタッチキー（ソフトキー）で構成したものであってもよい。表示部５は、例えば、高精細液晶や有機ＥＬ（Electro Luminescence）などを使用したもので、画像の撮影時にはモニタ画面（ファインダ画面）として利用される。
【００２５】
撮像部６は、デジタルカメラを構成するもので、静止画撮影のほかに動画撮影も可能な構成で、静止画撮影モードと動画撮影モードとの切り替えが可能となっている。そして、撮像部６は、撮影レンズ６ａ、絞り機構６ｂ、ＣＣＤあるいはＣＭＯＳなどの撮像素子６ｃ、光学系駆動部６ｄなどのほか、図示省略したが、照明用のフラッシュ、アナログ処理回路、信号処理回路、圧縮伸張回路などを備え、オートフォーカス機能（ＡＦ機能）、露出調整機能（ＡＥ機能）、光学ズーム機能などを制御するようにしている。ＡＦ機能は、撮影レンズ６ａから被写体までの距離を測定して焦点合わせを行う自動焦点合わせ機能で、この測定距離に応じて光学系駆動部６ｄは、撮影レンズ６ａの位置を制御して焦点合わせを行う。露出調整機能（ＡＥ機能）は、絞りとシャッタスピードを設定内容に従って調整することによって露出値の調整を行うもので、周囲の明るさを光量センサによって検出する方式に限らず、撮像素子６ｃからの画像データを基に輝度を検出する方式など、任意の方式であってもよい。
【００２６】
制御部１は、撮影レンズ６ａを通して取得したモニタ画像を表示部５にファインダ画面として表示させるほか、後で詳述するが、取得したモニタ画像に対して画像認識を行うことによりそのモニタ画像内に含まれている被写体（この実施形態では人物）は誰であるかを特定するようにしている。また、制御部１は、被写体撮影の直前に被写体が特定された場合に、その時点における被写体の撮影状態を表す情報を撮影状況として取得すると共に、この取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するか否かを判別し、その判別結果に応じて被写体の撮影タイミングを制御するようにしている。ここで、上述の撮影条件及び撮影状況は、被写体の外観に関する情報（姿に関する情報及び顔の表情に関する情報）、被写体から発声された音声に関する情報、被写体の周囲の環境に関する情報のいずれかを示している。
【００２７】
画像認識部７は、撮影レンズ６ａを通して取得したモニタ画像内に含まれている被写体を画像認識するもので、制御部１は、この画像認識部７により認識された被写体の認識結果（被写体の外観に関する情報：被写体の姿、顔の表情）を被写体の撮影状態を表す撮影状況として取得する。音声認識部８は、被写体の撮影時にマイクロホン８ａから入力された被写体の音声（被写体が発声した音声に関する情報：特定音、特定の言葉）を認識するもので、制御部１は、この音声認識部８により認識された被写体の認識結果を被写体の撮影状態を表す撮影状況として取得する。
【００２８】
撮影環境検出部９は、周囲の環境（被写体を撮影する際の周囲の環境に関する情報：明るさ、屋内／屋外、位置）を検出するもので、制御部１は、この撮影環境検出部９により検出された周囲の環境（明るさ、屋内／屋外、位置）を被写体の撮影状態を表す撮影状況として取得する。この撮影環境検出部９は、周囲の明るさを検出する明るさセンサ機能と、ゲート通過に応じて屋内か屋外かを検出する非接触ＩＣカード機能と、現在の位置（経緯度情報）を検出するＧＰＳ機能（Global Positioning System）とを有する構成となっている。
【００２９】
図２は、撮影条件判別フラグＦ１、予測撮影フラグＦ２、ユーザ設定フラグＦ３、撮影確認フラグＦ４を説明するための図である。
図２（１）は、撮影条件判別フラグＦ１を示した図である。この撮影条件判別フラグＦ１は、被写体撮影の直前に取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するか否かを判別する場合に、画像認識部７による認識結果を撮影状況として使用して判別を行うか、音声認識部８による認識結果を撮影状況として使用して判別を行うか、撮影環境検出部９による検出結果を撮影状況として使用して判別を行うかを示すフラグである。すなわち、図示の例において、撮影条件判別フラグＦ１の値が“０”のときには、画像認識部７による認識結果を使用して判別を行う場合を示し、“１”のときには、音声認識部８による認識結果を使用して判別を行う場合を示し、“２”のときには、撮影環境検出部９による検出結果を使用して判別を行う場合を示している。
【００３０】
図２（２）は、予測撮影フラグＦ２を示した図である。この予測撮影フラグＦ２は、撮影レンズ６ａを通して逐次取得したモニタ画像に対して画像認識を行い、モニタ画像内の被写体が良好な状態（例えば、ポーズや顔の表情）になるまでに要する時間を予測したり、被写体撮影時にマイクロホン８ａから入力された被写体の音声を認識する音声認識を行い、その音声を発してから被写体が良好な状態になるまでに要する時間を予測したりして、その予測時間を予測撮影用タイマＴＭにセットしたか否かを示すフラグである。なお、この予測撮影用タイマＴＭは、セットされた予測時間を逐次減算するタイマで、その時間計測動作が開始されてから予測時間の経過後にタイムアウトとなる。図示の例において、予測撮影フラグＦ２の値が“０”のときには、予測撮影用のタイマに予測時間がセットされていない状態であることを示し、また、“１”のときには、予測撮影用のタイマに予測時間がセットされている状態であることを示している。
【００３１】
図２（３）は、ユーザ設定フラグＦ３を示した図である。このユーザ設定フラグＦ３は、被写体管理テーブルＴＢに撮影条件を設定する際に、撮影条件を自動設定するのか、ユーザ操作によって任意に設定するのかを示すフラグである。ここで、図示の例において、ユーザ設定フラグＦ３の値が“０”のときには、撮影条件を自動設定することを示し、また、“１”のときには、ユーザ操作によって任意設定することを示している。なお、自動設定する場合には、画像認識部７による認識結果を撮影条件として自動設定したり、音声認識部８による認識結果を撮影条件として自動設定したり、撮影環境検出部９による検出結果を撮影条件として自動設定したりする。
【００３２】
図２（４）は、撮影確認フラグＦ４を示した図である。この撮影確認フラグＦ４は、被写体撮影の直前の取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致した際に自動的に撮影動作を開始するか、ユーザに対して撮影条件に合致したことを確認報知するのかを示すフラグである。ここで、図示の例において、撮影確認フラグＦ４の値が“０”のときには、撮影条件に合致すると判別した際に自動的に撮影動作を開始することを示し、また、“１”のときには、撮影条件に合致したことをユーザに対して確認報知を行うことを示している。
【００３３】
図３は、被写体管理テーブルＴＢを説明するための図である。
被写体管理テーブルＴＢは、複数の被写体の個々に対応して、被写体の撮影タイミングを判別するための情報を撮影条件として記憶するもので、その内容は、上述のように自動設定されたり、ユーザ操作によって任意に設定されたりしたもので、撮影条件判別フラグＦ１に対応して３種類の撮影条件を記憶する構成となっている。すなわち、図３（１）は、撮影条件判別フラグＦ１が“０”（画像認識結果を使用して判別を行う場合）に対応する被写体管理テーブルＴＢの内容を示し、「被写体特定用画像」、「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「口角状態」、「身体の向き」、「手足の位置状態」、「ポーズ」、「ユーザ設定フラグ」の各項目を有する構成となっている。
【００３４】
「被写体特定用画像」は、被写体（人物）の特徴から誰を撮影するのかを特定するために予め登録された被写体画像（比較対象の登録画像）であり、制御部１は、この登録画像とモニタ画像とを比較することによって、例えば、顔の輪郭、目・口・鼻・額などの形・位置・大きさ、メガネの有無・種類、身長、肉付き、髪型、手足などの各部位のバランス、推定年齢を個別に判断したり、総合的に判断したりしながら被写体として誰を撮影するのかを特定するようにしている。なお、「被写体特定用画像」は、被写体を撮影した画像自体（画像パターン）に限らず、被写体の特徴を詳細に記した被写体の特徴情報であってもよい。
【００３５】
「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「口角状態」は、被写体の顔の表情に関する情報で、例えば、被写体にとって最良の表情（キメ顔など）を示す情報（撮影条件）である。「身体の向き」、「手足の位置状態」、「ポーズ」は、身体（姿）に関する情報で、例えば、被写体にとって最良の姿勢（キメポーズなど）を示す情報（撮影条件）である。なお、「顔の角度」、「目の開閉度」、…、「手足の位置状態」、「ポーズ」の要素毎に、複数の情報（撮影条件）を記憶可能な構成となっている。
【００３６】
ここで、被写体撮影の直前の取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するか否かを判別する場合に、顔の表情に関する撮影条件（第１撮影条件）、身体（姿）に関する撮影条件（第２撮影条件）のいずれかを使用してその判別を行うが、その際、モニタ画像内に収まっているか被写体の範囲を検出し、その範囲が被写体の上半身よりも上の部分であれば（被写体の顔の表情を重視する場合）には、顔の表情に関する撮影条件（第１撮影条件）を使用し、また、その範囲が被写体の全身又は略全身であれば（被写体の姿を重視する場合）には、身体に関する撮影条件（第２撮影条件）を使用するようにしている。
【００３７】
この撮影条件は、良好な表情や身体の状態（例えば、静止画撮影であれば、ベストショット、動画撮影であれば、ベストシーン）を示す情報である。この実施形態においては、被写体の静止画撮影の直前に取得したモニタ画像内における被写体の顔の各部位を分析することにより得られた撮影状況と、上述の撮影条件として記憶されている「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「口角状態」とを比較することにより、それらが合致（類似も含む）するか否かを総合的に判別し、その総合判断の結果、例えば、全ての要素の合致を検出した際に、シャッタを切って撮影を開始させるようにしている。なお、「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「口角状態」の全てが合致する場合に限らず、その２以上の組み合わせが合致するか否かを判別したり、その個々に合致するか否かを判別したりするようにしてもよい。
【００３８】
同様に、被写体の静止画撮影の直前に取得したモニタ画像内の被写体の全身分析することにより得られた撮影状況と、上述の撮影条件として記憶されている「身体の向き」、「手足の位置状態」、「ポーズ」とを比較することにより、それらが合致（類似も含む）するか否かを総合的に判別し、総合判断の結果、例えば、全ての要素の合致を検出した際に、シャッタを切って撮影を開始させるようにしている。なお、「身体の向き」、「手足の位置状態」、「ポーズ」の全てが合致する場合に限らず、その２以上の組み合わせが合致するか否かを判別したり、その個々に合致するか否かを判別したりするようにしてもよい。
【００３９】
また、動画の撮影時における撮影条件の合致（類似）判断は、静止画撮影時における合致（類似）判断よりも緩和して行うようにしている。従って、被写体管理テーブルＴＢは、静止画撮影用の撮影条件を記憶するほかに、動画撮影用の撮影条件を記憶する構成となっている。例えば、静止画撮影用の「目の開閉度」が“８０％以上”、「口の開閉度」が“５０％〜８０％”であるのに対し、動画撮影用の「目の開閉度」は、“３０％以上”、「口の開閉度」が“２０％〜１００％”となっている。「ユーザ設定フラグ」は、上述のようにユーザ操作によって撮影条件を設定するのか否かを示すフラグである。
【００４０】
図３（２）は、撮影条件判別フラグＦ１が“１”（音声認識結果を使用して判別を行う場合）に対応する被写体管理テーブルＴＢの内容を示し、「被写体特定用画像」、「掛け声」、「ユーザ設定フラグ」の各項目を有する構成となっている。「被写体特定用画像」は、図３（１）で説明した登録画像であり、「掛け声」は、例えば、被写体が撮影開始を合図する際に発声する掛け声（特定音、特定の言葉）であり、複数記憶可能な構成となっている。ここで、制御部１は、被写体の撮影時にマイクロホン８ａから入力された被写体の音声（掛け声）を音声認識部８により認識した結果を撮影取得して、この撮影状況と撮影条件としての「掛け声」とを比較することにより、それらが合致（類似も含む）するか否かを判別し、合致した際に撮影を開始させるようにしている。「ユーザ設定フラグ」は、上述のようにユーザ操作により撮影条件を任意に設定するのか否かを示すフラグである。
【００４１】
図３（３）は、撮影条件判別フラグＦ１が“２”（撮影環境を使用して判別を行う場合）に対応する被写体管理テーブルＴＢの内容を示し、「被写体特定用画像」、「明るさ」、「屋内／室内」、「位置」、「ユーザ設定フラグ」の各項目を有する構成となっている。「被写体特定用画像」は、図３（１）で説明した登録画像であり、「明るさ」、「屋内／室内」、「位置」は、被写体を撮影する際の周囲の環境に関する情報であり、「明るさ」、「屋内／室内」、「位置」の要素毎に複数記憶可能な構成となっている。
【００４２】
ここで、制御部１は、撮影環境検出部９から取得した周囲環境を撮影直前の撮影状況として取得して、この撮影状況と撮影条件の「明るさ」、「屋内／室内」、「位置」とを比較することにより、そのいずれかに合致（類似も含む）するか否かを判別し、そのいずれかに合致した際に撮影を開始させるようにしている。なお、「明るさ」、「屋内／室内」、「位置」の個々のいずれかに合致するか否かを判別する場合に限らず、その２以上の組み合わせに合致するか否かを判別したり、その全てに合致するか否かを判別したりするようにしてもよい。「ユーザ設定フラグ」は、上述のようにユーザ操作により撮影条件を設定するのか否かを示すフラグである。
【００４３】
次に、実施形態における撮像装置の動作概念を図４〜図８に示すフローチャートを参照して説明する。ここで、これらのフローチャートに記述されている各機能は、読み取り可能なプログラムコードの形態で格納されており、このプログラムコードにしたがった動作が逐次実行される。また、ネットワークなどの伝送媒体を介して伝送されてきた上述のプログラムコードに従った動作を逐次実行することもできる。すなわち、記録媒体のほかに、伝送媒体を介して外部供給されたプログラム／データを利用して本実施形態特有の動作を実行することもできる。
【００４４】
図４〜図６は、電源オンに応じて実行開始される撮像装置の全体動作の概要を示したフローチャートである。
先ず、制御部１は、電源オンに応じて所定のメモリの内容をクリアしたり、予測撮影フラグＦ２を初期値“０”としたりする初期化処理を実行した後（図４のステップＡ１）、静止画撮影モードに切り替えられたかを調べたり（ステップＡ２）、動画撮影モードに切り替えられたかを調べたり（図５のステップＡ２４）、画像閲覧操作が行われたかを調べたり（図６のステップＡ４３）、設定変更操作が行われたかを調べたり（図６のステップＡ５１）、その他の操作が行われたかを調べたりする（図６のステップＡ５３）。
【００４５】
いま、設定変更操作が行われたときには（図６のステップＡ５１でＹＥＳ）、撮影条件判別フラグＦ１、撮影確認フラグＦ４などをユーザ操作によって任意に設定する設定更新処理を行った後（ステップＡ５２）、図４のステップＡ２に戻る。また、静止画撮影モードと動画撮影モードとの切り替え操作など、その他の操作が行われたときには（図６のステップＡ５３でＹＥＳ）、操作に応じた処理として、撮影モードの切り替え処理などを行った後（ステップＡ５４）、図４のステップＡ２に戻る。
【００４６】
また、画像閲覧操作が行われたかときには（図６のステップＡ４３でＹＥＳ）、画像フォルダＰＦに保存されている撮影済み画像を読み出して一覧表示（サムネイル表示）させ、その一覧表示画面の中からユーザ操作で任意の撮影済み画像が選択指定されると（ステップＡ４４）、撮影条件をユーザ操作により任意に設定することを指示する撮影条件設定操作が行われたかを調べたり（ステップＡ４５）、画像閲覧の終了を指示する操作が行われたかを調べたりする（ステップＡ５０）。ここで、撮影条件設定操作が行われたときには（ステップＡ４５でＹＥＳ）、ユーザ操作により選択された撮影済み画像（閲覧画像）に対する画像認識を実行させ、被写体管理テーブルＴＢ内に同一被写体が記憶されているか、つまり、画像認識された被写体が被写体管理テーブルＴＢ内に記憶されているか（被写体を特定することができた）を調べる（ステップＡ４６）。
【００４７】
その結果、被写体管理テーブルＴＢ内に同一被写体が記憶されていて被写体を特定することができたときには（ステップＡ４６でＹＥＳ）、その被写体に対応する被写体管理テーブルＴＢの内容をユーザ設定の撮影条件に代えるために、その被写体に対応して既に設定されている全ての撮影条件を削除する（ステップＡ４７）。そして、その被写体に対応する撮影条件を被写体管理テーブルＴＢ内に記憶させる（ステップ４８）。この場合、ユーザ操作により選択された撮影済み画像（閲覧画像）を画像認識することによって、「顔の角度」、「目の開閉度」、…、「手足の位置状態」、「ポーズ」の要素毎に撮影条件を生成して、被写体管理テーブルＴＢ内に記憶させる。
【００４８】
このようにユーザ選択した撮影済み画像に対する画像認識により撮影条件を自動生成して記憶させる場合に限らず、ユーザ操作によって入力指定された撮影条件を被写体管理テーブルＴＢ内に記憶させるようにしてもよい。このようにして記憶した撮影条件の自動更新を禁止するために、それに対応する「ユーザ設定フラグ」を“１”とする（ステップＡ４９）。以下、画像閲覧の終了操作が行われるまで（ステップＡ５０）、上述のステップＡ４４に戻るが、画像閲覧終了操作が行われると（ステップＡ５０でＹＥＳ）、図４のステップＡ２に戻る。
【００４９】
一方、静止画撮影モードに切り替えられたときには（図４のステップＡ２でＹＥＳ）、予測撮影フラグＦ２の値は“０”であるかを調べるが（ステップＡ３）、最初の電源オン直後では、予測撮影フラグＦ２の値は“０”、つまり、予測撮影用のタイマに予測時間がセットされていない状態であるから（ステップＡ３でＹＥＳ）、次のステップＡ４に移り、画像認識部７、音声認識部８、撮影環境検出部９を動作させることによって画像認識、音声認識、撮影環境検出を開始させる。この場合、画像認識部７は、撮影レンズ６ａを通して取得したモニタ画像内に含まれている被写体を画像認識する動作を開始し、音声認識部８は、被写体の撮影時にマイクロホン８ａから入力された被写体の音声を認識する動作を開始し、撮影環境検出部９は、明るさセンサ機能、非接触ＩＣカード機能、ＧＰＳ機能によって周囲の環境（明るさ、屋内／屋外、位置）を検出する動作を開始する。
【００５０】
そして、制御部１は、撮影レンズ６ａを通して取得したモニタ画像を表示部５にファインダ画面として表示させるほか、このモニタ画像を被写体特定用として取得する（ステップＡ５）。そして、撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢの内容を参照し（ステップＡ６）、画像認識された被写体と、被写体管理テーブルＴＢ内に記憶されている「被写体特定用画像（登録画像）」とを比較することによって、モニタ画像内の被写体は被写体管理テーブルＴＢに記憶されている被写体であるか（被写体を特定することができたか）を調べる（ステップＡ７）。
【００５１】
ここで、被写体管理テーブルＴＢに記憶されている被写体でなければ（ステップＡ７でＮＯ）、被写体を特定することができない場合であるからステップＡ１７に移り、シャッタ操作が行われたかを調べたり、静止画撮影モードを解除するために終了操作が行われたかを調べたりする（ステップＡ１８）。ここで、シャッタ操作及び静止画撮影モードの終了操作が行われなければ（ステップＡ１８でＮＯ）、上述のステップＡ３に戻る。また、静止画撮影モードの終了操作が行われたときには（ステップＡ１８でＹＥＳ）、上述のステップＡ２に戻るが、シャッタ操作が行われたときには（ステップＡ１７でＹＥＳ）、シャッタを切って撮影を実行させる（ステップＡ１９）。そして、その撮影画像を画像フォルダＰＦに保存させた後（ステップＡ２０）、後述する撮影条件設定処理の実行に移る（ステップＡ２１）。
【００５２】
図７は、撮影条件設定処理（図４のステップＡ２１など）を詳述するためのフローチャートである。
先ず、制御部１は、撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢを参照し（図７のステップＢ１）、モニタ画像内の被写体に対応付けてその撮影条件が記憶されているかを調べるが（ステップＢ２）、いま、モニタ画像内の被写体が被写体管理テーブルＴＢに記憶されておらず、それに対応する撮影条件も記憶されていない場合には（ステップＢ２でＮＯ）、次のステップＢ７に移り、撮影条件判別フラグＦ１の値に対応する撮影状況を取得する。
【００５３】
すなわち、撮影条件判別フラグＦ１の値が“０”のときには、画像認識部７による認識結果を撮影状況として取得し、“１”のときには、音声認識部８による認識結果を撮影状況として取得し、“２”のときには、撮影環境検出部９による検出結果を撮影状況として取得する。そして、モニタ画像内から被写体（人物）に相当する画像部分を抽出し（ステップＢ８）、この抽出画像を「被写体特定用画像」として撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢ内に新規記憶させると共に（ステップＢ９）、上述のようにして取得した撮影状況を、その「被写体特定用画像」に対応する撮影条件として新規記憶させる（ステップＢ１０）。その後、図４のステップＡ３に戻る。
【００５４】
一方、撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢを参照した結果、この被写体管理テーブルＴＢに記憶されている被写体であれば（図４のステップＡ７でＹＥＳ）、被写体を特定することができた場合であるから、撮影条件判別フラグＦ１の値に対応する撮影状況を取得する（ステップＡ８）。すなわち、撮影条件判別フラグＦ１の値が“０”のときには、画像認識部７による認識結果を撮影状況として取得し、“１”のときには、音声認識部８による認識結果を撮影状況として取得し、“２”のときには、撮影環境検出部９による検出結果を撮影状況として取得する。このように被写体撮影の直前に取得した撮影状況に基づいて撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢを参照し、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するかを調べる（ステップＡ９）。
【００５５】
ここで、撮影条件判別フラグＦ１の値が“０”のときには、図３（１）に示した被写体管理テーブルＴＢを参照し、“１”のときには、図３（２）に示した被写体管理テーブルＴＢを参照し、“２”のときには、図３（３）に示した被写体管理テーブルＴＢを参照することによって撮影条件に合致するかを調べる。その際、図３（１）に示した被写体管理テーブルＴＢの内容のうち、モニタ画像内に被写体の顔や上半身が収まっているような場合（被写体の顔の表情を重視する場合）には、顔の表情に関する撮影条件を参照し、また、モニタ画像内に被写体の全身が収まっているような場合（被写体の姿を重視する場合）には、身体に関する撮影条件を参照してその判別を行う。
【００５６】
その結果、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するときには（ステップＡ９でＹＥＳ）、撮影確認フラグＦ４を参照し、それが“１”か、つまり、撮影条件に合致した際にユーザに合致したことを報知することが指定されているか否かを調べる（ステップＡ１０）。その結果、撮影確認フラグＦ４が“０”であれば（ステップＡ１０でＮＯ）、上述のステップＡ１９に移って自動的に撮影を実行させる。その後、撮影画像を画像フォルダＰＦに保存させた後（ステップＡ２０）、撮影条件設定処理に移る（ステップＡ２１）。また、撮影確認フラグＦ４が“１”のときには（ステップＡ１０でＹＥＳ）、アラーム音、点滅表示、メッセージ表示、バイブレーションなどの任意の報知手段により、ユーザに対して撮影条件に合致したことを確認報知する処理を行う（ステップＡ１１）。
【００５７】
そして、この確認報知に応答して、撮影実行を肯定するＯＫ操作が行われたかを調べ（ステップＡ１２）、ＯＫ操作が行われなければ（ステップＡ１２でＮＯ）、上述のステップＡ３に戻るが、ＯＫ操作が行われたときには（ステップＡ１２でＹＥＳ）、上述のステップＡ１９に移って撮影を実行させる。その後、撮影画像を画像フォルダＰＦに保存させてから（ステップＡ２０）、撮影条件設定処理に移る（ステップＡ２１）。
【００５８】
この場合、図７の撮影条件設定処理においては、撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢを参照し（図７のステップＢ１）、モニタ画像内の被写体に対応付けてその撮影条件が記憶されているかを調べるが（ステップＢ２）、いま、撮影条件が既に記憶されていれば（ステップＢ２でＹＥＳ）、ユーザ設定フラグＦ３を参照して、その値は“０”か、つまり、撮影条件を自動設定するのかを調べ（ステップＢ３）、その値が“１”であれば（ステップＢ３でＮＯ）、ユーザ操作によって撮影条件を設定する場合であるから、この時点で図４のステップＡ３に戻る。
【００５９】
ユーザ設定フラグＦ３の値が“０”のときには（ステップＢ３でＹＥＳ）、撮影条件判別フラグＦ１の値に対応する撮影状況を取得する（ステップＢ４）。すなわち、撮影条件判別フラグＦ１の値が“０”のときには、画像認識部７による認識結果を撮影状況として取得する。この場合、「顔の角度」、「目の開閉度」、…、「手足の位置状態」、「ポーズ」の要素毎に撮影状況として取得する。また、撮影条件判別フラグＦ１の値が“１”のときには、音声認識部８による認識結果を撮影状況として取得し、“２”のときには、撮影環境検出部９による検出結果を撮影状況として要素毎「明るさ」、「屋内／室内」、「位置」に取得する。そして、図４のステップＡ７で特定された被写体に基づいて被写体管理テーブルＴＢを検索し（ステップＢ５）、取得した撮影状況に基づいてその被写体に対応する撮影条件を生成して被写体管理テーブルＴＢ内に追加記憶させる（ステップＢ６）。これによって、被写体管理テーブルＴＢには被写体撮影を行う毎に、新たな撮影条件が順次蓄積されることになる。
【００６０】
また、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致しなかったときには（図４のステップＡ９でＮＯ）、シャッタ操作が行われたかを調べたり（ステップＡ１３）、静止画撮影モードが解除されて終了したかを調べたりする（ステップＡ１４）。いま、シャッタ操作が行われたときには（ステップＡ１３でＹＥＳ）、シャッタを切って撮影を実行させる（ステップＡ１９）。そして、撮影画像を画像フォルダＰＦに保存させた後（ステップＡ２０）、撮影条件設定処理に移る（ステップＡ２１）。
この場合、図７の撮影条件設定処理においては、図４のステップＡ７で特定された被写体に対応してその撮影条件が記憶されていれば（図７のステップＢ２でＹＥＳ）、上述の処理に移り（ステップＢ３〜Ｂ６）、その撮影条件が記憶されていなければ（ステップＢ２でＮＯ）、上述した処理に移る（ステップＢ７〜Ｂ１０）。
【００６１】
このような静止画撮影モードにおいて、静止画撮影モードの解除操作が行われたときには（図４のステップＡ１４でＹＥＳ）、上述のステップＡ２に戻るが、シャッタ操作及び静止画撮影モードの解除操作も行われなければ（ステップＡ１４でＮＯ）、撮影条件判別フラグＦ１を参照し、その値は“２”ではないか、つまり、撮影環境検出部９による検出結果を使用して判別を行った場合かを調べ（ステップＡ１５）、撮影条件判別フラグＦ１の値が“２”でなければ（ステップＡ１５でＹＥＳ）、後述する予測撮影処理に移るが（ステップＡ１６）、その値が“２”であれば（ステップＡ１５でＮＯ）、予測撮影には周囲環境を撮影条件とすることは不向きであるとして、この予測撮影処理（ステップＡ１６）をキャンセルした後、上述のステップＡ３に戻る。
【００６２】
図８は、予測撮影処理（図４のステップＡ１６）を詳述するためのフローチャートである。
先ず、制御部１は、撮影条件判別フラグＦ１の値が“０”又は“１”に対応する撮影状況を取得した後（図８のステップＣ１）、図４のステップＡ７で特定された被写体に基づいて被写体管理テーブルＴＢを検索し、その被写体に対応付けられている各撮影条件を読み出す（ステップＣ２）。そして、取得した撮影状況と、読み出した各撮影条件とを比較しながら被写体が良好な状態になるまでの時間を予測するための予測処理を行う（ステップＣ３）。
【００６３】
例えば、静止画撮影用の「目の開閉度」に対応して、目の開き具合が微妙に変化している多数の撮影条件が目の開き具合に応じた順に並べられて記憶されている場合に、つまり、目が徐々に開くような並び順に記憶されている場合に、取得した撮影状況がどの位置に記憶されている撮影条件に該当しているかによって、良好な状態になるまでに要する時間を予測する。また、音声の場合には、例えば、“ハイポーズ”の最初の音“ハ”を認識してから最後の音を検出するまでに要する時間を予測する。
【００６４】
このように要素毎に多数の撮影条件が規則性をもって順次記憶されている場合に、取得した撮影状況がその規則性に沿ったものであれば、予測可能となるが、規則性から外れていれば、予測不能となる。ここで、予測不能であれば（ステップＣ４でＮＯ）、その時点で図４のステップＡ３に戻るが、予測可能であれば（ステップＣ４でＹＥＳ）、シャッタを切るまでの時間の予測時間を算出し（ステップＣ５）、この算出時間を予測撮影用タイマＴＭにセットしてタイマ動作を開始させる（ステップＣ６）。そして、予測撮影用タイマＴＭに時間をセットしたことを示すために予測撮影フラグＦ２を“１”とした後（ステップＣ７）、図４のステップＡ３に戻る。
【００６５】
このようにして予測撮影フラグＦ２が“０”から“１”に変化したときには、図４のステップＡ３ではＮＯと判断されるため、次のステップＡ２２に移り、タイマ時間が経過したか、つまり、予測撮影用タイマＴＭがタイムアウトとなったかを調べ、タイマ時間が経過するまでステップＡ３に戻る。ここで、タイマ時間の経過を検出すると（ステップＡ２２でＹＥＳ）、予測撮影フラグＦ２を“０”とした後（ステップＡ２３）、シャッタを切って撮影を実行させる（ステップＡ１９）。そして、撮影画像を画像フォルダＰＦに格納させた後（ステップＡ２０）、撮影条件設定処理に移る（ステップＡ２１）。
【００６６】
他方、動画撮影モードに切り替えられたときには（図５のステップＡ２４でＹＥＳ）、画像認識部７、音声認識部８、撮影環境検出部９を動作させて画像認識、音声認識、撮影環境検出を開始させる（ステップＡ２５）。この場合、画像認識部７は、撮影レンズ６ａを通して取得したモニタ画像（動画の中から抽出した静止画像）内に含まれている被写体を画像認識する動作を開始し、音声認識部８は、被写体の撮影時にマイクロホン８ａから入力された被写体の音声を認識する動作を開始し、撮影環境検出部９は、明るさセンサ機能、非接触ＩＣカード機能、ＧＰＳ機能によって周囲の環境（明るさ、屋内／屋外、位置）を検出する動作を開始する。
【００６７】
そして、制御部１は、撮影レンズ６ａを通して取得したモニタ画像を表示部５にファインダ画面として表示させるほか、このモニタ画像（動画内から抽出した静止画像）を被写体特定用画像として取得する（ステップＡ２６）。そして、撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢの内容を参照し（ステップＡ２７）、この被写体管理テーブルＴＢ内の「被写体特定用画像」とモニタ画像とを比較し、モニタ画像内の被写体は被写体管理テーブルＴＢに記憶されている被写体であるか（被写体を特定することができたか）を調べる（ステップＡ２８）。
【００６８】
ここで、被写体管理テーブルＴＢに記憶されている被写体でなければ（ステップＡ２８でＮＯ）、被写体を特定することができない場合であるから、録画開始操作が行われたかを調べたり（ステップＡ３６）、動画撮影モードを解除するために終了操作が行われたかを調べたりする（ステップＡ３７）。いま、録画開始操作及び動画撮影モードの終了操作が行われなければ（ステップＡ３７でＮＯ）、上述のステップＡ２５に戻るが、動画撮影モードの終了操作が行われたときには（ステップＡ３７でＹＥＳ）、図４のステップＡ２に戻る。また、録画開始操作が行われたときには（ステップＡ３６でＹＥＳ）、動画撮影を開始させて、動画を画像フォルダＰＦに逐次格納させる（ステップＡ４１）。その後、撮影停止操作が行われるまで録画を継続する（ステップＡ４２）。ここで、撮影停止操作が行われると（ステップＡ４２でＹＥＳ）、動画撮影を停止させた後（ステップＡ３４）、図７の撮影条件設定処理に移る（ステップＡ３５）。
【００６９】
また、撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢを参照した結果、この被写体管理テーブルＴＢに記憶されている被写体であれば（図５のステップＡ２８でＹＥＳ）、被写体を特定することができた場合であるから、撮影条件判別フラグＦ１の値に対応する撮影況を取得する（ステップＡ２９）。すなわち、撮影条件判別フラグＦ１の値が“０”のときには、画像認識部７による認識結果を撮影状況として取得し、“１”のときには、音声認識部８による認識結果を撮影状況として取得し、“２”のときには、撮影環境検出部９による検出結果を撮影状況として取得する。そして、被写体撮影の直前に取得した撮影状況に基づいて撮影条件判別フラグＦ１の値に対応する被写体管理テーブルＴＢを参照し、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致するかを調べる（ステップＡ３０）。
【００７０】
いま、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致していなければ（ステップＡ３０でＮＯ）、動画の撮影中であるかを調べたり（ステップＡ３８）、録画開始操作が行われたかを調べたり（ステップＡ３９）、動画撮影モードを解除するために終了操作が行われたかを調べたりする（ステップＡ４０）。ここで、動画撮影中ではなく（ステップＡ３８でＮＯ）、録画撮影開始操作及び動画撮影モードの終了操作が行われなければ（ステップＡ３９、Ａ４０でＮＯ）、上述のステップＡ２５に戻るが、録画開始操作が行われたときには（ステップＡ３９でＹＥＳ）、動画撮影を開始させた後（ステップＡ４１）、撮影停止操作が行われるまで録画を継続する（ステップＡ４２）。ここで、撮影停止操作が行われると（ステップＡ４２でＹＥＳ）、その操作に応答して撮影動作を停止させる（ステップＡ３４）。その後、図７の撮影条件設定処理を実行した後（ステップＡ３５）、上述のステップＡ２５に戻る。また、動画撮影モードの終了操作が行われたときには（ステップＡ４０でＹＥＳ）、図４のステップＡ２に戻る。
【００７１】
また、取得した撮影状況が被写体管理テーブルＴＢに記憶されている撮影条件に合致したことを検出したときには（ステップＡ３０でＹＥＳ）、撮影中ではないことを条件に（ステップＡ３１でＮＯ）、動画撮影を開始させる（ステップＡ３２）。そして、上述のステップＡ３０に戻るが、この場合、引き続いて撮影条件が合致していることを検出したときには（ステップＡ３０でＹＥＳ）、上述のステップＡ３１で撮影中であることが検出されるため、次のステップＡ３３に移り、以下、撮影停止操作が行われるまで（ステップＡ３３でＮＯ）、上述のステップＡ３０に戻る。
【００７２】
ここで、撮影停止操作が行われたときには（ステップＡ３３でＹＥＳ）、動画撮影動作を停止させた後（ステップＡ３４）、図７の撮影条件設定処理に移る（ステップＡ３５）。その後、上述のステップＡ２５に戻る。
一方、また、撮影条件が合致していないことが検出された場合に（ステップＡ３０でＮＯ）、動画の撮影中であれば（ステップＡ３８でＹＥＳ）、この時点で撮影動作を停止させる（ステップＡ３４）。つまり、動画の撮影中に撮影条件に合致しなくたった時点で撮影動作を自動停止させる。その後、図７の撮影条件設定処理を実行した後（ステップＡ３５）、上述のステップＡ２５に戻る。
【００７３】
以上のように、実施形態において制御部１は、被写体が特定された時点での撮影状況が、その被写体に対応して記憶されている撮影条件に合致するか否かを判別し、その判別結果に応じて撮影タイミングを制御するようにしたので、被写体の個々に適したタイミングで撮影を制御することができ、被写体の好みに応じた適切な撮影が可能となる。
【００７４】
撮影条件は、被写体の撮影タイミングを判別するための情報を複数の要素で表した情報であり、制御部１は、この撮影条件に対応して複数の要素からなる撮影状況を取得し、撮影状況が撮影条件に合致するか否かを要素毎に判別するようにしたので、例えば、顔の表情の撮影条件を「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「口角状態」とすることで、撮影状況が撮影条件に合致するか否かを総合的に判別することができ、より好みに応じた撮影が可能となる。
【００７５】
撮影済み画像に対する画像認識により撮影条件を生成して被写体管理テーブルＴＢに記憶するようにしたので、撮影条件の自動記憶が可能となる。
【００７６】
複数の撮影済み画像のうち、ユーザ操作により任意に選択した撮影済み画像に対する画像認識により撮影条件を生成して被写体管理テーブルＴＢに記憶するようにしたので、ユーザの所望する撮影済み画像から撮影条件を生成させることができ、ユーザの好みに応じた撮影条件とすることが可能となる。
【００７７】
撮影条件は、被写体の外観に関する情報であり、制御部１は、モニタ画像に対する画像認識により得られた認識結果を撮影状況として取得して、撮影条件（被写体の外観に関する情報）と合致するかを判別するようにしたので、例えば、「顔の角度」、「目の開閉度」、「目線」、「口の開閉度」、「口角状態」、「身体の向き」、「手足の位置状態」、「ポーズ」を要素として、撮影タイミングを制御することができる。
【００７８】
撮影条件は、被写体が発声する音声に関する情報であり、制御部１は、被写体から発声された音声を認識することにより得られた認識結果を撮影状況として取得して、撮影条件（被写体が発声する音声に関する情報）と合致するかを判別するようにしたので、例えば、被写体が撮影開始を合図する際に発声する掛け声（特定音、特定の言葉）を要素として、撮影タイミングを制御することができる。
【００７９】
撮影条件は、被写体の周囲の環境に関する情報であり、制御部１は、周囲環境を検出することにより得られた検出結果を撮影状況として取得して、撮影条件（被写体の周囲の環境に関する情報）と合致するかを判別するようにしたので、例えば、「明るさ」、「屋内／室内」、「位置」を要素として、撮影タイミングを制御することができる。
【００８０】
撮影条件は、被写体の外観に関する情報であり、制御部１は、モニタ画像に対する画像認識により得られた認識結果を撮影状況として取得すると共に、この撮影状況と撮影条件（被写体の外観に関する情報）とを比較することによりその撮影状況が撮影条件に合致するまでに要する時間を予測して撮影タイミングを制御するようにしたので、例えば、被写体の動きが速くてもタイミングを外すことなく、被写体の好みに応じた適切な撮影が可能となる。
【００８１】
モニタ画像に対する画像認識によりモニタ画像内に被写体の顔や上半身が収まっているような場合（被写体の顔の表情を重視する場合）には、顔の表情に関する撮影条件を使用し、モニタ画像内に被写体の全身が収まっているような場合（被写体の姿を重視する場合）には、身体に関する撮影条件を使用して、撮影状況が撮影条件に合致するか否かを判別するようにしたので、被写体をどのように撮影するかに合わせて適切な撮影条件を使用してその判別を行うことができる。
【００８２】
静止画撮影時にシャッタを切るタイミングを制御するようにしたので、ベストショットと呼ばれる最良の静止画像を得ることができる。
【００８３】
動画像の撮影時に動画撮影を開始するタイミング及び動画撮影を停止するタイミングを制御するようにしたので、ベストシーンと呼ばれる最良の動画像を得ることができ、不要なシーンを部分的に消去する編集作業も不要となる。
【００８４】
撮影タイミングをユーザに報知するようにしたので、ユーザにあっては、この報知に応答して撮影実行を指示することができ、適切なタイミングでの撮影が可能となる。
【００８５】
なお、上述した実施形態においては、複数の撮影済み画像のうち、ユーザ操作により任意に選択した撮影済み画像に対する画像認識により撮影条件を生成して被写体管理テーブルＴＢに記憶するようにしたが、複数の撮影済み画像のうち、所定の被写体（例えば、人物）が含まれている撮影済み画像を抽出して画像認識を行うことにより撮影条件を生成して被写体管理テーブルＴＢに記憶するようにしてもよい。すなわち、ユーザ操作によって画像を選択するのに代わって自動的に画像を選択（抽出）するようにすれば、ユーザ操作が一切不要となり、利便性を高めることができる。
【００８６】
上述した実施形態においては、予測撮影時にタイマ時間の経過に応じてシャッタを切るようにしたが、タイマ時間が経過するまでの間にフォーカス調整及び露出調整を行うようにしてもよい。また、上述した実施形態においては、予測撮影を静止画撮影の場合に行うようにしたが、動画撮影の場合にも適用可能である。
【００８７】
上述した実施形態においては、撮影条件判別フラグＦ１の値に応じて画像認識結果、音声認識結果、周囲環境検出結果のいずれを撮影状況として取得するようにしたが、例えば、画像認識結果と音声認識結果との組み合わせを撮影状況として取得したり、音声認識結果と周囲環境検出結果との組み合わせなどを撮影状況として取得したりするようにしてもよい。この場合、撮影条件も被写体の外観に関する情報と音声に関する情報との組み合わせ、音声に関する情報と周囲環境に関する情報との組み合わせなどとしてもよい。
【００８８】
また、上述した実施形態においては、撮像装置を例示したが、これに限らず、例えば、撮像機能付きの携帯電話機・ＰＤＡ・音楽プレイヤー・それらの複合機などであってもよい。
また、上述した実施形態において示した“装置”や“機”とは、機能別に複数の筐体に分離されていてもよく、単一の筐体に限らない。また、上述したフローチャートに記述した各ステップは、時系列的な処理に限らず、複数のステップを並列的に処理したり、別個独立して処理したりするようにしてもよい。
【符号の説明】
【００８９】
１ 制御部
３ 記憶部
４ 操作部
５ 表示部
６ 撮像部
６ａ 撮影レンズ
７ 画像認識部
８ 音声認識部
８ａ マイクロホン
９ 撮影環境検出部
Ｆ１ 撮影条件判別フラグ
Ｆ２ 予測撮影フラグ
Ｆ３ ユーザ設定フラグ
Ｆ４ 撮影確認フラグ
ＰＦ 画像フォルダ
ＴＢ 被写体管理テーブル
ＴＭ 予測撮影用タイマ
【特許請求の範囲】
【請求項１】
複数の被写体の個々に対応して、被写体の撮影タイミングを判別するための情報を撮影条件として記憶する撮影条件記憶手段と、
撮影レンズを通して取得した画像に対する画像認識により当該取得画像内に含まれている被写体が前記撮影条件記憶手段内のどの被写体であるかを特定する被写体特定手段と、
この被写体特定手段により被写体が特定された場合に、その時点での被写体の撮影状態を表す情報を撮影状況として取得する取得手段と、
この取得手段により取得した撮影状況が、前記被写体特定手段により特定された被写体に対応して前記撮影条件記憶手段に記憶されている撮影条件に合致するか否かを判別する判別手段と、
前記被写体特定手段により特定された被写体に対する撮影タイミングを前記判別手段による判別結果に応じて制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記撮影条件は、被写体の撮影タイミングを判別するための情報を複数の要素で表した情報であり、
前記取得手段は、前記撮影条件に対応して複数の要素からなる撮影状況を取得し、
前記判別手段は、撮影状況が撮影条件に合致するか否かを前記要素毎に判別する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項３】
撮影済み画像を記憶する画像記憶手段と、
この画像記憶手段に記憶されている撮影済み画像に対する画像認識により前記撮影条件を生成する撮影条件生成手段を更に備え、
前記撮影条件記憶手段は、前記撮影済み画像内の被写体に対応して、前記撮影条件生成手段により生成された撮影条件を記憶する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記画像記憶手段に記憶されている複数の撮影済み画像のうち、各撮影済み画像に対する画像認識により所定の被写体が含まれている撮影済み画像を抽出する抽出手段を更に備え、
前記撮影条件生成手段は、前記抽出手段により抽出された撮影済み画像に対する画像認識により当該撮影済み画像内の被写体に対応する撮影条件を生成する、
ようにしたことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記画像記憶手段に記憶されている複数の撮影済み画像のうち、ユーザ操作により任意の撮影済み画像を選択する選択手段を更に備え、
前記撮影条件生成手段は、前記選択手段により選択された撮影済み画像に対する画像認識により当該撮影済み画像内の被写体に対応する撮影条件を生成する、
ようにしたことを特徴とする請求項３記載の撮像装置。
【請求項６】
前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体の外観に関する情報であり、
前記取得手段は、撮影レンズを通して取得した画像に対する画像認識により得られた認識結果を撮影状況として取得する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項７】
前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体が発声する音声に関する情報であり、
前記取得手段は、被写体から発声された音声を認識することにより得られた認識結果を撮影状況として取得する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項８】
前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体の周囲の環境に関する情報であり、
前記取得手段は、周囲環境を検出することにより得られた検出結果を撮影状況として取得する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項９】
前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体の外観に関する情報であり、
前記取得手段は、撮影レンズを通して取得した画像に対する画像認識により得られた認識結果を撮影状況として取得し、
前記判別手段は、前記取得手段により取得した撮影状況と前記撮影条件記憶手段に記憶されている撮影条件とを比較することによりその撮影状況が撮影条件に合致するまでに要する時間を予測し、
前記制御手段は、前記判別手段による予測結果に応じて撮影タイミングを制御する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項１０】
撮影レンズを通して取得した画像に対する画像認識により当該画像に収まっている被写体の範囲を検出する範囲検出手段を更に備え、
前記撮影条件記憶手段は、被写体の部分の外観に関する情報を第１撮影条件として記憶すると共に、この被写体の全体又は略全体の外観に関する情報を第２撮影条件として記憶し、
前記判別手段は、前記範囲検出手段により検出された被写体の範囲に応じて前記１撮影条件、第２撮影条件のいずれかを選択すると共に、前記取得手段により取得した撮影状況が、前記選択した撮影条件に合致するか否かを判別する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項１１】
前記制御手段は、前記判別手段による判別結果に応じて静止画像の撮影時にシャッタを切るタイミングを制御する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項１２】
前記制御手段は、前記判別手段による判別結果に応じて動画像の撮影時に、動画撮影を開始するタイミング及び動画撮影を停止するタイミングを制御する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項１３】
前記制御手段は、前記判別手段による判別結果に応じて撮影タイミングであることを報知する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項１４】
コンピュータに対して、
複数の被写体の個々に対応して、被写体の撮影被写体の撮影タイミングを判別するための情報を撮影条件として記憶されている状態において、撮影レンズを通して取得した画像に対する画像認識により当該取得画像内に含まれている被写体が前記記憶されているどの被写体であるかを特定する機能と、
前記被写体が特定された場合に、その時点での被写体の撮影状態を表す情報を撮影状況として取得する機能と、
前記取得した撮影状況が、前記特定された被写体に対応して前記記憶されている撮影条件に合致するか否かを判別する機能と、
前記特定された被写体に対する撮影タイミングを前記判別結果に応じて制御する機能と、
を実現させるためのプログラム。
【請求項１】
複数の被写体の個々に対応して、被写体の撮影タイミングを判別するための情報を撮影条件として記憶する撮影条件記憶手段と、
撮影レンズを通して取得した画像に対する画像認識により当該取得画像内に含まれている被写体が前記撮影条件記憶手段内のどの被写体であるかを特定する被写体特定手段と、
この被写体特定手段により被写体が特定された場合に、その時点での被写体の撮影状態を表す情報を撮影状況として取得する取得手段と、
この取得手段により取得した撮影状況が、前記被写体特定手段により特定された被写体に対応して前記撮影条件記憶手段に記憶されている撮影条件に合致するか否かを判別する判別手段と、
前記被写体特定手段により特定された被写体に対する撮影タイミングを前記判別手段による判別結果に応じて制御する制御手段と、
を備えることを特徴とする撮像装置。
【請求項２】
前記撮影条件は、被写体の撮影タイミングを判別するための情報を複数の要素で表した情報であり、
前記取得手段は、前記撮影条件に対応して複数の要素からなる撮影状況を取得し、
前記判別手段は、撮影状況が撮影条件に合致するか否かを前記要素毎に判別する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項３】
撮影済み画像を記憶する画像記憶手段と、
この画像記憶手段に記憶されている撮影済み画像に対する画像認識により前記撮影条件を生成する撮影条件生成手段を更に備え、
前記撮影条件記憶手段は、前記撮影済み画像内の被写体に対応して、前記撮影条件生成手段により生成された撮影条件を記憶する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記画像記憶手段に記憶されている複数の撮影済み画像のうち、各撮影済み画像に対する画像認識により所定の被写体が含まれている撮影済み画像を抽出する抽出手段を更に備え、
前記撮影条件生成手段は、前記抽出手段により抽出された撮影済み画像に対する画像認識により当該撮影済み画像内の被写体に対応する撮影条件を生成する、
ようにしたことを特徴とする請求項３記載の撮像装置。
【請求項５】
前記画像記憶手段に記憶されている複数の撮影済み画像のうち、ユーザ操作により任意の撮影済み画像を選択する選択手段を更に備え、
前記撮影条件生成手段は、前記選択手段により選択された撮影済み画像に対する画像認識により当該撮影済み画像内の被写体に対応する撮影条件を生成する、
ようにしたことを特徴とする請求項３記載の撮像装置。
【請求項６】
前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体の外観に関する情報であり、
前記取得手段は、撮影レンズを通して取得した画像に対する画像認識により得られた認識結果を撮影状況として取得する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項７】
前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体が発声する音声に関する情報であり、
前記取得手段は、被写体から発声された音声を認識することにより得られた認識結果を撮影状況として取得する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項８】
前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体の周囲の環境に関する情報であり、
前記取得手段は、周囲環境を検出することにより得られた検出結果を撮影状況として取得する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項９】
前記撮影条件は、被写体の撮影タイミングを判別するための情報として、その被写体の外観に関する情報であり、
前記取得手段は、撮影レンズを通して取得した画像に対する画像認識により得られた認識結果を撮影状況として取得し、
前記判別手段は、前記取得手段により取得した撮影状況と前記撮影条件記憶手段に記憶されている撮影条件とを比較することによりその撮影状況が撮影条件に合致するまでに要する時間を予測し、
前記制御手段は、前記判別手段による予測結果に応じて撮影タイミングを制御する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項１０】
撮影レンズを通して取得した画像に対する画像認識により当該画像に収まっている被写体の範囲を検出する範囲検出手段を更に備え、
前記撮影条件記憶手段は、被写体の部分の外観に関する情報を第１撮影条件として記憶すると共に、この被写体の全体又は略全体の外観に関する情報を第２撮影条件として記憶し、
前記判別手段は、前記範囲検出手段により検出された被写体の範囲に応じて前記１撮影条件、第２撮影条件のいずれかを選択すると共に、前記取得手段により取得した撮影状況が、前記選択した撮影条件に合致するか否かを判別する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項１１】
前記制御手段は、前記判別手段による判別結果に応じて静止画像の撮影時にシャッタを切るタイミングを制御する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項１２】
前記制御手段は、前記判別手段による判別結果に応じて動画像の撮影時に、動画撮影を開始するタイミング及び動画撮影を停止するタイミングを制御する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項１３】
前記制御手段は、前記判別手段による判別結果に応じて撮影タイミングであることを報知する、
ようにしたことを特徴とする請求項１記載の撮像装置。
【請求項１４】
コンピュータに対して、
複数の被写体の個々に対応して、被写体の撮影被写体の撮影タイミングを判別するための情報を撮影条件として記憶されている状態において、撮影レンズを通して取得した画像に対する画像認識により当該取得画像内に含まれている被写体が前記記憶されているどの被写体であるかを特定する機能と、
前記被写体が特定された場合に、その時点での被写体の撮影状態を表す情報を撮影状況として取得する機能と、
前記取得した撮影状況が、前記特定された被写体に対応して前記記憶されている撮影条件に合致するか否かを判別する機能と、
前記特定された被写体に対する撮影タイミングを前記判別結果に応じて制御する機能と、
を実現させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−１１４５５４（Ｐ２０１１−１１４５５４Ａ）
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願番号】特願２００９−２６８８０５（Ｐ２００９−２６８８０５）
【出願日】平成２１年１１月２６日（２００９．１１．２６）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
【公開日】平成２３年６月９日（２０１１．６．９）
【国際特許分類】
【出願日】平成２１年１１月２６日（２００９．１１．２６）
【出願人】（３１０００６８５５）ＮＥＣカシオモバイルコミュニケーションズ株式会社 (1,081)
【Ｆターム（参考）】
[ Back to top ]