画像処理装置及びプログラム
【課題】対象物の状態を考慮して画像関連処理を適正に行うことができる使い勝手の良い画像処理装置を提供する。
【解決手段】撮像装置１００であって、自動撮影処理を実行するか否かの判定基準に係る人物の顔の現笑顔度と感度レベルとが対応付けられた状態テーブルを記憶する内蔵メモリ７と、新規に取得した画像内の人物の顔の笑顔度を特定する特定処理、特定処理にて特定された笑顔度に基づいて、状態テーブルの感度レベルと現笑顔度との対応関係を変更する変更処理とを行うＣＰＵ８と、を備える。
【解決手段】撮像装置１００であって、自動撮影処理を実行するか否かの判定基準に係る人物の顔の現笑顔度と感度レベルとが対応付けられた状態テーブルを記憶する内蔵メモリ７と、新規に取得した画像内の人物の顔の笑顔度を特定する特定処理、特定処理にて特定された笑顔度に基づいて、状態テーブルの感度レベルと現笑顔度との対応関係を変更する変更処理とを行うＣＰＵ８と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、対象物の撮影を自動的に行うデジタルカメラが知られている（例えば、特許文献１参照）。具体的には、このデジタルカメラにあっては、対象物の表情や目・顔の向きを検出して所定条件を満たしたと判定された場合に、自動的に撮影記録動作を行うようになっている。
【０００３】
また、複数の画像をメモリに記憶する際に、画像内の顔の表情を利用して画像の分類を行うことで、所望の画像に類似する画像の検索を容易に行うことができるようにしたデジタルカメラも知られている（例えば、特許文献２参照）。
【特許文献１】特開２００１−５１３３８号公報
【特許文献２】特開２００５−２３４６８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、対象物を自動的に撮影する場合には、対象物の顔の表情の判定基準を切り換えて設定することができるが、当該レベルの設定は撮影対象によらず一律に決まってしまうため、使い勝手が悪いといった問題がある。
かかる問題は、顔の表情を利用して画像検索処理を行う場合も同様となっている。
【０００５】
そこで、本発明の課題は、対象物の状態を考慮して画像関連処理を適正に行うことができる使い勝手の良い画像処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、新規に取得した画像内の対象物の状態を特定する特定手段と、前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段と、を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記特定手段により特定された前記対象物の状態と、前記レベル指定手段により指定された前記感度レベルと前記状態テーブルに対応付けられている対象物の基準状態とを比較判定する判定手段を更に備え、前記変更手段は、前記判定手段により前記対象物の基準状態を超えていると判定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記対象物として被写体を撮像する撮像手段と、前記画像関連処理として、前記撮像手段により前記被写体を自動的に撮像させる自動撮影処理を制御する自動撮影制御手段と、を更に備え、前記自動撮影制御手段は、前記判定手段による判定結果に応じて、前記撮像手段に前記被写体を自動的に撮像させるか否かを制御することを特徴としている。
【０００９】
請求項４に記載の発明は、請求項２に記載の画像処理装置において、
複数の画像を記憶する画像記憶手段と、前記画像関連処理として、前記画像記憶手段に記憶されている前記複数の画像の中で前記対象物に係る所望の画像を検索する検索処理を行う画像検索手段と、を更に備え、前記画像検索手段は、前記判定手段による判定結果に応じて、前記複数の画像の中の何れかの画像を前記所望の画像として特定するか否かを制御することを特徴としている。
【００１０】
請求項５に記載の発明は、請求項２〜４の何れか一項に記載の画像処理装置において、
前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、前記判定手段は、前記複数の感度レベルのうち、前記レベル指定手段により指定された何れか一の感度レベルと前記状態テーブルに対応付けられている対象物の基準状態と、前記特定手段により特定された前記対象物の状態とを比較判定することを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理装置において、
前記特定手段によってこれまでに特定された前記対象物の過去状態を複数記憶する過去状態記憶手段を更に備え、前記変更手段は、前記過去状態記憶手段に記憶されている複数の前記対象物の過去状態のうち、最も新しいものから所定数の前記対象物の過去状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴としている。
【００１２】
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の画像処理装置において、
前記対象物は、人物であることを特徴としている。
【００１３】
請求項８に記載の発明は、請求項１〜６の何れか一項に記載の画像処理装置において、
前記対象物は、人物の顔であることを特徴としている。
【００１４】
請求項９に記載の発明は、請求項８に記載の画像処理装置において、
前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、前記対象物の基準状態は、前記人物の顔の表情に基づいて規定されていることを特徴としている。
【００１５】
請求項１０に記載の発明は、請求項１〜９の何れか一項に記載の画像処理装置において、
前記状態テーブルは、対象物の種類に応じて複数設けられていることを特徴としている。
【００１６】
請求項１１に記載の発明のプログラムは、
画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、を備える画像処理装置のコンピュータを、
新規に取得した画像内の対象物の状態を特定する特定手段、前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段、として機能させることを特徴としている。
【発明の効果】
【００１７】
本発明によれば、対象物の状態を考慮して画像関連処理を適正に行うことができ、画像処理装置の使い勝手を向上させることができる。
【発明を実施するための最良の形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１９】
本実施形態の撮像装置１００は、撮像部１により撮像される被写体の状態が所定条件を満たした場合に、当該被写体に係る画像データを記録保存する自動撮影処理後に、処理結果に応じて、当該自動撮影処理の実行判定に係る状態テーブルＴ１の現笑顔度を更新する。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、記録媒体制御部２と、記録媒体３と、表示部４と、操作入力部５と、バッファメモリ６と、内蔵メモリ７と、ＣＰＵ８を備えて構成されている。
【００２０】
撮像部１は、撮像手段として、一のシーンを撮像して画像フレームを生成する。具体的には、図示は省略するが、撮像部１は、例えば、撮像レンズと、撮像レンズを通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部と、電子撮像部の制御や、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）の制御などを行う撮像制御部等を備えている。
そして、撮像制御部は、電子撮像部に所定の露出時間で被写体を撮像させ、当該電子撮像部の撮像領域から画像フレームを読み出す。その後、撮像制御部は、読み出した画像フレームをバッファメモリ６に転送して格納する。
【００２１】
記録媒体制御部２は、記録媒体３に対する画像ファイルの格納や、記録媒体３からの画像ファイルの読み出しを制御する。
【００２２】
記録媒体３は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成されている。
【００２３】
表示部４は、図示は省略するが、例えば、液晶などの画像表示部と、この画像表示部への画像フレームの表示を制御する表示制御部等を備えている。そして、表示部４は、撮像部１により撮像される画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。
【００２４】
操作入力部５は、当該撮像装置１００の所定操作を行うためのものである。具体的には、図示は省略するが、操作入力部５は、撮像部１による被写体の記録を指示するシャッターボタンや、各種動作モードや各種項目の選択を行う上下左右のカーソルボタンや、これらカーソルボタンにより選択された動作モードや項目の決定を指示する決定ボタン等を備えている。
【００２５】
動作モードとしては、例えば、静止画像を撮影する静止画撮影モードや、撮像部１により生成された撮影対象と類似する所望の画像データを自動的に記録保存する自動撮影モード等が挙げられる。
そして、ユーザにより所定の動作モード（例えば、自動撮影モード等）が選択されると、当該動作モードの設定指示を入力回路（図示略）を介してＣＰＵ８に出力する。ＣＰＵ８は、設定指示が入力されると、各部を制御して当該動作モードに応じた処理を行う。
【００２６】
また、操作入力部５は、自動撮影処理（画像関連処理）を実行するか否かの判定に係る複数の感度レベルのうち、ユーザ所望の何れかの感度レベルを指定する。
感度レベルの指定方法としては、例えば、感度指定画面（図示略）に表示されたレベル１〜３のうち、何れかのレベルを指定するようにしても良いし、所望の感度レベルの数値を入力するようにしても良い。なお、感度レベルは、数値が小さい程、感度が緩くなっており、レベル１が最も感度が低く、レベル３が最も感度が高くなっている。
そして、ユーザにより所定の感度レベル（例えば、レベル１等）が選択されると、当該感度レベルの設定指示を入力回路（図示略）を介してＣＰＵ８に出力する。ＣＰＵ８は、設定指示が入力されると、各部を制御して当該感度レベルに応じた処理を行う。
ここで、操作入力部５は、自動撮影処理の実行に係る感度レベルを指示するレベル指示手段を構成している。
【００２７】
バッファメモリ６は、例えば、フラッシュメモリ等により構成され、ＣＰＵ８によって処理されるデータ等を一時記憶する。
【００２８】
ＣＰＵ８は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ８は、内蔵メモリ７のプログラムメモリ（後述）に記憶された撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。
【００２９】
内蔵メモリ７は、テーブル記憶手段として、自動撮影処理を実行するか否かの判定基準に係る人物の顔の現笑顔度（基準状態）と感度レベルとが対応付けられた状態テーブルＴ１を記憶する（図２参照）。
状態テーブルＴ１は、図２に示すように、Ａさん、Ｂさん、Ｃさん等の人物を識別するための人物ＩＤと、各人物の顔の顔特徴データと、過去の笑顔度を数値化した笑顔度過去履歴と、現在の笑顔度をレベル毎に数値化した現笑顔度（対象物の基準状態）とを対応付けて登録するものである。現笑顔度は、内蔵メモリ７に記憶されている笑顔度判定用テンプレートＴ２（図３参照）を基準にして数値化したものである。ここで、笑顔度判定用テンプレートＴ２は、例えば、大笑いを笑顔度１００として、笑い量が小さくなるに従って笑顔度が次第に小さくなるように５段階で規定されている。例えば、Ａさんの場合には、レベル１が笑顔度５０であり、レベル２が笑顔度７０であり、レベル３が笑顔度１００である。また、Ｂさんの場合には、レベル１が笑顔度１０であり、レベル２が笑顔度３０であり、レベル３が笑顔度５０である。また、Ｃさんの場合には、レベル１が笑顔度３０であり、レベル２が笑顔度５０であり、レベル３が笑顔度７０である。
ここで、内蔵メモリ７は、これまでに特定処理（後述）により特定された人物の顔の過去の笑顔度（対象物の過去状態）を複数記憶する過去状態記憶手段を構成している。
【００３０】
また、内蔵メモリ７は、プログラムメモリを備え、ＣＰＵ８の動作に必要な各種プログラムやデータを記憶している。
このプログラムは、後述する認識処理ルーチン、特定処理ルーチン、判定処理ルーチン、自動撮影制御処理ルーチン、変更処理ルーチンを含む。
ここでいうルーチンとは、コンピュータのプログラムの部分をなし、ある機能をもった一連の命令群のことである。
【００３１】
認識処理ルーチンは、ＣＰＵ８を認識手段として機能させるためのプログラム部分である。即ち、認識処理ルーチンは、新規に取得した画像内の人物の顔を認識する認識処理に係る機能をＣＰＵ８に実現させるための命令群を含む。
具体的には、この認識処理ルーチンにより、ＣＰＵ８は、撮像部１により順次生成される複数の画像データの各々を新規に取得した後、当該画像データに係る画像内の人物（例えば、Ａさん）の顔を検出して特定する顔認識処理を行う。
ここで、顔認識処理は、例えば、状態テーブルＴ１の人物ＩＤと対応付けられている顔特徴データを参照して、目、鼻、ロなどに相当する特徴部分の位置関係や肌色領域の面積などから判定された顔サイズ等から人物を特定する。
【００３２】
特定処理ルーチンは、ＣＰＵ８を特定手段として機能させるためのプログラム部分である。即ち、特定処理ルーチンは、認識処理にて認識された人物の顔の状態を特定する特定処理に係る機能をＣＰＵ８に実現させるための命令群を含む。
具体的には、この特定処理ルーチンにより、ＣＰＵ８は、認識処理にて認識された人物の顔の目や口等の座標の変化状態から笑顔度判定用テンプレートＴ２を用いて笑顔度（例えば、大笑いに対応する笑顔度１００等）を特定する。
【００３３】
判定処理ルーチンは、ＣＰＵ８を判定手段として機能させるためのプログラム部分である。即ち、判定処理ルーチンは、特定処理にて特定された人物の顔の笑顔度と、ユーザによる操作入力部５の所定操作に基づいて指定された感度レベル（例えば、レベル２）と状態テーブルＴ１に対応付けられている人物の顔の現笑顔度（例えば、Ａさんの場合、笑顔度７０）とを比較判定する判定処理に係る機能をＣＰＵ８に実現させるための命令群を含む。
【００３４】
自動撮影制御処理ルーチンは、ＣＰＵ８を自動撮影制御手段として機能させるためのプログラム部分である。即ち、自動撮影制御処理ルーチンは、撮像部１により対象物を自動的に撮像させる自動撮影処理に係る機能をＣＰＵ８に実現させるための命令群を含む。
具体的には、この自動撮影制御処理ルーチンにより、ＣＰＵ８は、判定処理による判定結果に応じて、撮像部１により生成された画像データを自動的に記録媒体３に記録保存させるか否かを制御する。例えば、ＣＰＵ８は、特定処理にて特定された人物の顔の笑顔度が、ユーザにより指定された感度レベルと状態テーブルＴ１に対応付けられている人物の顔の現笑顔度よりも大きいと判定された場合に、当該判定に係る画像データを取得して記録媒体３に記録保存させる一方で、特定処理にて特定された人物の顔の笑顔度が現笑顔度以下であると判定された場合に、当該判定に係る画像データの記録保存を実行制御しない。
【００３５】
変更処理ルーチンは、ＣＰＵ８を変更手段として機能させるためのプログラム部分である。即ち、変更処理ルーチンは、特定処理にて特定された人物の顔の笑顔度、特に、判定処理にて現笑顔度を超えていると判定された当該人物の顔の笑顔度に基づいて、状態テーブルＴ１の感度レベルと人物の顔の現笑顔度との対応関係を変更するテーブル更新処理に係る機能をＣＰＵ８に実現させるための命令群を含む。
具体的には、この変更処理ルーチンにより、ＣＰＵ８は、状態テーブルＴ１の笑顔度過去履歴に登録されている最新の画像データの笑顔度「Ａ」、その一つ前の画像データの笑顔度「Ｂ」、さらに一つ前の画像データの笑顔度「Ｃ」、さらに一つ前の画像データの笑顔度「Ｄ」を取得して、これら「Ａ」〜「Ｄ」の値を重み付け平均して（例えば、０．４×Ａ＋０．３×Ｂ＋０．２×Ｃ＋０．１×Ｄ等）、その演算結果をレベル２の現笑顔度として上書き保存する。レベル１及び３の現笑顔度は、笑顔度判定用テンプレートＴ２を用いて、レベル２の笑顔度を挟む笑顔度を特定して、その特定された値をレベル１及び３の現笑顔度として上書き保存する。つまり、ＣＰＵ８は、状態テーブルＴ１の笑顔度過去履歴に登録されている複数の笑顔度のうち、特定処理にて新規に特定された最も新しい人物の顔の笑顔度から所定数の笑顔度に基づいて、状態テーブルＴ１の感度レベルと現笑顔度との対応関係を変更する。
なお、笑顔度の重み付け平均の方法として上記したものは一例であって、これに限られるものではない。
【００３６】
図４〜図８は、撮像装置１００の全体の動作を説明するためのフローチャートであるとともに、プログラムメモリに記憶されたプログラムのアルゴリズム構造を示すフローチャートである。実際に使用するＣＰＵ８に対応した具体的なプログラムコードの記載は省略するが、このフローチャート（アルゴリズム構造）に基づいて適宜設計すればよい。
【００３７】
次に、撮像装置１００のメイン動作について図４を参照して説明する。
図４は、撮像装置１００によるメイン動作の一例を示すフローチャートである。
【００３８】
図４に示すように、先ず、ＣＰＵ８は、当該撮像装置１００の各部を初期化するイニシャライズ処理を行う（ステップＳ１）。
その後、ＣＰＵ８は、ユーザによる操作入力部５の所定操作に基づいて自動撮影処理の実行が指示されると、各部を制御して自動撮影処理を行う（ステップＳ２；詳細後述）。
そして、自動撮影処理の終了後、ＣＰＵ８は、ユーザによる操作入力部５の所定操作に基づいてテーブル更新処理の実行が指示されると、各部を制御してテーブル更新処理を行う（ステップＳ３；詳細後述）。
そして、テーブル更新処理が終了すると、ＣＰＵ８は、ユーザによる操作入力部５の所定操作に基づいてその他の処理の実行が指示されると、その他の処理を行う（ステップＳ４）。
【００３９】
次に、自動撮影処理について図５を参照して説明する。
図５は、撮像装置１００による自動撮影処理に係る動作の一例を示すフローチャートである。
【００４０】
図５に示すように、ＣＰＵ８は、自動撮影モードに設定されているか否かを判定する（ステップＳ２１）。
ここで、自動撮影モードに設定されていると判定されると（ステップＳ２１；ＹＥＳ）、ＣＰＵ８は、自動撮影処理の感度レベルの変更指示が入力されているか否かを判定する（ステップＳ２２）。そして、ステップＳ２２にて、感度レベルの変更指示が入力されている、即ち、例えば、感度をレベル２からレベル１に変更する等の指示が入力されていると判定されると（ステップＳ２２；ＹＥＳ）、ＣＰＵ８は、入力された感度レベルの変更指示に応じて感度レベルを設定する処理を行う（ステップＳ２３）。
【００４１】
次に、ＣＰＵ８は、認識処理ルーチンにより、撮像部１により順次生成される複数の画像データの各々を新規に取得して、当該画像データに基づいて表示部４にライブビュー画像を表示させるとともに、当該画像データに係る画像内の人物の顔を検出する（ステップＳ２４）。そして、ＣＰＵ８は、何れかの画像から人物の顔を検出したと判定すると（ステップＳ２４；ＹＥＳ）、当該顔を認識して個人（例えば、Ａさん等）を特定する個人認識処理を行う（ステップＳ２５）。
また、ステップＳ２２にて、感度レベルの変更指示が入力されていないと判定された場合にも（ステップＳ２２；ＮＯ）、ＣＰＵ８は、処理をステップＳ２４に移行させる。
【００４２】
その後、ＣＰＵ８は、個人認識された顔が状態テーブルＴ１に登録されているか否かを判定する（ステップＳ２６）。
なお、ステップＳ２５の個人認識において、複数の人物を認識した場合には、画像の略中心にいる人物についてのみ状態テーブルＴ１に登録されているか否かを判定するようにしても良いし、全ての人物について状態テーブルＴ１に登録されているか否かを判定するようにしても良い。
そして、状態テーブルＴ１に登録されていると判定されると（ステップＳ２６；ＹＥＳ）、ＣＰＵ８は、特定処理ルーチンにより、個人認識された人物の顔の笑顔の状態から笑顔度判定用テンプレートＴ２を用いて笑顔度（例えば、大笑いに対応する笑顔度１００等）を判定して特定する（ステップＳ２７）。
【００４３】
続けて、ＣＰＵ８は、判定処理ルーチンにより、特定処理にて特定された人物の顔の笑顔度と、指定されている感度レベル（例えば、レベル１）と状態テーブルＴ１に対応付けられている人物の顔の現笑顔度（例えば、Ａさんの場合、笑顔度５０）とを比較して、笑顔度が現笑顔度を超えたか否かを判定する（ステップＳ２８）。
なお、ステップＳ２５の個人認識において、複数の人物を認識した場合には、画像の略中心にいる人物についてのみ現笑顔度を超えたか否かを判定するようにしても良いし、全ての人物について現笑顔度を超えたか否かを判定するようにしても良い。
そして、笑顔度が現笑顔度を超えたと判定されると（ステップＳ２８；ＹＥＳ）、ＣＰＵ８は、自動撮影制御処理ルーチンにより、当該判定に係る画像データを取得して記録媒体３に記録保存させる（ステップＳ２９）。
【００４４】
一方、ステップＳ２８にて、笑顔度が現笑顔度を超えていないと判定されると（ステップＳ２８；ＮＯ）、ＣＰＵ８は、自動撮影制御処理ルーチンにより、当該判定に係る画像データの記録保存を実行制御せずに、ユーザにより操作入力部５のシャッターボタンが所定操作されて被写体の撮像が指示されたか否かを判定する（ステップＳ２Ａ）。
ここで、シャッターボタンが所定操作されて被写体の撮像が指示されると（ステップＳ２Ａ；ＹＥＳ）、ＣＰＵ８は、処理をステップＳ２９に移行させて、当該判定に係る画像データを取得して記録媒体３に記録保存させる。
【００４５】
また、ステップＳ２６にて、個人認識された顔が状態テーブルＴ１に登録されていないと判定されると（ステップＳ２６；ＮＯ）、ＣＰＵ８は、当該個人認識に係る人物が状態テーブルＴ１に未登録である旨（例えば、「この人物は登録されていません」等）を表示部４に表示させて報知する（ステップＳ２Ｂ）。
その後、ＣＰＵ８は、処理をステップＳ２Ａに移行させて、シャッターボタンが所定操作されたか否かを判定する。
なお、ステップＳ２Ｂにて、状態テーブルＴ１に未登録である旨の報知後に、当該未登録の人物のＩＤを新規に登録するようにしても良い。
【００４６】
また、ステップＳ２４にて、人物の顔が検出されていないと判定された場合や（ステップＳ２４；ＮＯ）、ステップＳ２１にて、自動撮影モードに設定されていないと判定された場合にも（ステップＳ２１；ＮＯ）、ＣＰＵ８は、処理をステップＳ２Ａに移行させて、シャッターボタンが所定操作されたか否かを判定する。
【００４７】
次に、テーブル更新処理について図６を参照して説明する。
図６は、テーブル更新処理に係る動作の一例を示すフローチャートである。
【００４８】
図６に示すように、ＣＰＵ８は、画像データを新規に取得したか否かを判定する（ステップＳ３１）。
ここで、新規に取得したと判定されると（ステップＳ３１；ＹＥＳ）、ＣＰＵ８は、認識処理ルーチンにより、新規に取得した画像データに係る画像内の人物の顔を検出する。そして、ＣＰＵ８は、何れかの画像から人物の顔を検出したと判定すると（ステップＳ３２；ＹＥＳ）、当該顔を認識して個人（例えば、Ａさん等）を特定する個人認識処理を行う（ステップＳ３３）。
【００４９】
次に、ＣＰＵ８は、特定処理ルーチンにより、個人認識された人物の顔の笑顔の状態から笑顔度判定用テンプレートＴ２を用いて笑顔度（例えば、大笑いに対応する笑顔度１００等）を判定して特定する（ステップＳ３４）。その後、ＣＰＵ８は、特定した笑顔度を状態テーブルＴ１の笑顔度過去履歴に登録する（ステップＳ３５）。
【００５０】
その後、ＣＰＵ８は、変更処理ルーチンにより、状態テーブルＴ１の笑顔度過去履歴に登録されている複数の笑顔度のうち、新しいものから直近４つの笑顔度、即ち、最新の画像データの笑顔度「Ａ」、その一つ前の画像データの笑顔度「Ｂ」、さらに一つ前の画像データの笑顔度「Ｃ」、さらに一つ前の画像データの笑顔度「Ｄ」を取得する（ステップＳ３６）。
続けて、ＣＰＵ８は、これらの笑顔度「Ａ」〜「Ｄ」の値を重み付け平均して、感度レベル２の現笑顔度を算出する（ステップＳ３７）。
そして、ＣＰＵ８は、笑顔度判定用テンプレートＴ２を用いて、感度レベル２の現笑顔度から感度レベル１及び３の現笑顔度を特定して、その特定された値を感度レベル１〜３の現笑顔度として上書きすることで、状態テーブルＴ１を更新する（ステップＳ３８）。
【００５１】
なお、ステップＳ３１にて、画像データを新規に取得していないと判定された場合や（ステップＳ３１；ＮＯ）、ステップＳ３２にて、新規に取得した画像データに係る画像内から人物の顔が検出されなかった場合には（ステップＳ３２；ＮＯ）、当該テーブル更新処理を終了する。
【００５２】
以上のように、本実施形態の撮像装置１００によれば、自動撮影処理を行うものであって、撮像部１により撮像される人物の顔の笑顔度と、ユーザ所望の感度レベルと状態テーブルＴ１に対応付けられている当該人物の顔の現笑顔度とを比較判定して、現笑顔度を超えていると判定された人物の顔の笑顔度に基づいて、当該自動撮影処理の実行判定に係る状態テーブルＴ１の現笑顔度と感度レベルの対応関係を更新する。
即ち、撮像装置１００は、撮像部１により撮像される人物の顔の笑顔度が、状態テーブルＴ１の現笑顔度を超えたと判定された場合に、当該判定に係る画像データを記録保存する自動撮影処理を実行する。そして、状態テーブルＴ１に登録されている、自動撮影処理にて新規に記録保存された画像データの笑顔度を含む過去の笑顔度に基づいて、状態テーブルＴ１の現笑顔度と感度レベルとの対応関係を更新するので、その後の自動撮影処理の実行判定において、人物の笑顔の状態を考慮して自動撮影処理を適正に行うことができる。つまり、自動撮影処理の実行判定の感度レベルを複数の感度レベルの中でユーザ所望のレベルに設定した場合に、当該感度レベルに従って実行判定が複数の人物で一律に行われるのではなく、各人物の笑顔の状態を考慮して状態テーブルＴ１の現笑顔度と感度レベルとの対応関係を内部的に設定し直すことができ、これにより、表情の変化の少ない人物や表情の変化の多い人物であっても、感度レベルを変更することなく各人物により適した判定基準で自動撮影条件を判定して、自動撮影処理を適正に行うことができる。
特に、状態テーブルＴ１の笑顔度過去履歴に登録されている最も新しいものから所定数の笑顔度、即ち、各人物の笑顔のより新しい変化状態を考慮して状態テーブルＴ１の現笑顔度と感度レベルとの対応関係を内部的に設定し直すので、以前は表情の変化が少ない人が最近よく笑うようになった場合に、当該人物の笑顔のより新しい変化状態を考慮して自動撮影条件を判定することができる。
このように、自動撮影処理をより適正に行うことができ、撮像装置１００の使い勝手を向上させることができる。
【００５３】
また、状態テーブルＴ１は、複数の感度レベルの各々と複数の人物の現笑顔度の各々とが対応付けられており、複数の感度レベルの中で、ユーザにより指定された何れか一の感度レベルと対応付けられている人物の現笑顔度と、新規に取得した画像内の人物の笑顔度とを比較判定するので、自動撮影を適正に行うことができない場合等に、感度レベルを変更することができ、より使い勝手の良い撮像装置１００を提供することができる。
【００５４】
また、ステップＳ２８にて、笑顔度が現笑顔度を超えていないと判定されて（ステップＳ２８；ＮＯ）、自動撮影が実行されない場合であっても、ステップＳ２Ａにて、ユーザによるシャッターボタンの所定操作に基づいて被写体を撮像して、画像データを記録媒体３に記録保存することができるので、自動撮影を適正に行うことができない場合等に感度レベルを変更することなく所望の被写体の撮像を適正に行うことができる。
さらに、当該被写体の撮像により新規に取得した当該画像データの笑顔度に基づいて、状態テーブルＴ１の現笑顔度と感度レベルの対応関係を更新することができる。即ち、自動撮影処理にて取得された画像データだけでなく、ユーザによる手動撮影指示に基づいて取得された画像データの笑顔度も考慮して、状態テーブルＴ１の現笑顔度と感度レベルの対応関係を更新することができるため、より使い勝手の良い撮像装置１００を提供することができる。
【００５５】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、画像関連処理として、複数の画像データの中から検索対象と類似する所望の画像データを特定する検索処理を行う場合について、以下の変形例１に説明する。
【００５６】
＜変形例１＞
以下に、変形例１の撮像装置について、図７及び図８を参照して説明する。
なお、変形例１の撮像装置は、検索処理を行う以外の点で上記実施形態の撮像装置１００と略同様の構成をなし、その説明は省略する。
【００５７】
記録媒体３は、画像記憶手段として、複数の画像ファイルを記憶している。ここで、画像ファイルは、例えば、撮像部１による対象物の撮像により生成されたものであっても良いし、外部機器から所定の通信手段を介して転送されたものであっても良い。
【００５８】
プログラムメモリに記憶されるプログラムは、認識処理ルーチン、特定処理ルーチン、判定処理ルーチン、自動撮影制御処理ルーチン、変更処理ルーチンに加えて、画像検索処理ルーチンを含んでいる。
画像検索処理ルーチンは、ＣＰＵ８を画像検索手段として機能させるためのプログラム部分である。即ち、画像検索処理ルーチンは、記録媒体３に記憶されている複数の画像ファイルの中で所望の画像ファイルを特定する検索処理に係る機能をＣＰＵ８に実現させるための命令群を含む。
具体的には、この画像検索処理ルーチンにより、ＣＰＵ８は、判定処理による判定結果に応じて、複数の画像ファイルの中の何れかの画像ファイルを所望の画像ファイルとして特定するか否かを制御する。例えば、ＣＰＵ８は、特定処理にて特定された検索候補画像内の人物の顔の笑顔度が、ユーザにより指定された感度レベルと状態テーブルＴ１に対応付けられている人物の顔の現笑顔度よりも大きいと判定された場合に、当該判定に係る検索候補画像を所望の画像ファイルとして特定する一方で、検索候補画像の人物の顔の笑顔度が現笑顔度以下であると判定された場合に、当該判定に係る検索候補画像を所望の画像ファイルとして特定しない。
【００５９】
次に、検索処理について図７及び図８を参照して説明する。
図７及び図８は、撮像装置による検索処理に係る動作の一例を示すフローチャートである。
【００６０】
図７に示すように、ＣＰＵ８は、画像検索モードに設定されているか否かを判定する（ステップＳ１０１）。
ここで、検索モードに設定されていると判定されると（ステップＳ１０１；ＹＥＳ）、ＣＰＵ８は、検索処理の感度レベルの変更指示が入力されているか否かを判定する（ステップＳ１０２）。そして、ステップＳ１０２にて、感度レベルの変更指示が入力されている、即ち、例えば、感度をレベル２からレベル１に変更する等の指示が入力されていると判定されると（ステップＳ１０２；ＹＥＳ）、ＣＰＵ８は、入力された感度レベルの変更指示に応じて感度レベルを設定する処理を行う（ステップＳ１０３）。
【００６１】
次に、ＣＰＵ８は、検索処理の検索対象の変更指示が入力されているか否かを判定する（ステップＳ１０４）。また、ステップＳ１０２にて、感度レベルの変更指示が入力されていないと判定された場合にも（ステップＳ１０２；ＮＯ）、ＣＰＵ８は、処理をステップＳ１０４に移行させる。
そして、ステップＳ１０４にて、検索対象の変更指示が入力されていると判定されると（ステップＳ１０４；ＹＥＳ）、ＣＰＵ８は、入力された検索対象の変更指示に応じて検索対象を設定する処理を行う（ステップＳ１０５）。
【００６２】
続けて、ＣＰＵ８は、ユーザによる操作入力部５の所定操作に基づいて検索開始の指示が入力されたか否かを判定する（ステップＳ１０６）。また、ステップＳ１０４にて、検索対象の変更指示が入力されていないと判定された場合にも（ステップＳ１０４；ＮＯ）、ＣＰＵ８は、処理をステップＳ１０６に移行させる。
ここで、検索開始の指示が入力されたと判定されると（ステップＳ１０６；ＹＥＳ）、ＣＰＵ８は、認識処理ルーチンにより、記録媒体３に記憶されている複数の画像ファイルの中から何れか一の検索候補の画像ファイルを新規に取得した後、当該画像ファイルに係る検索候補画像内の人物の顔を検出する。そして、ＣＰＵ８は、検索候補画像から人物の顔を検出したと判定すると（ステップＳ１０７；ＹＥＳ）、当該顔を認識して個人（例えば、Ａさん等）を特定する個人認識処理を行う（ステップＳ１０８）。
【００６３】
図８に示すように、その後、ＣＰＵ８は、個人認識された顔が状態テーブルＴ１に登録されているか否かを判定する（ステップＳ１０９）。
ここで、状態テーブルＴ１に登録されていると判定されると（ステップＳ１０９；ＹＥＳ）、ＣＰＵ８は、特定処理ルーチンにより、個人認識された人物の顔の笑顔の状態から笑顔度判定用テンプレートＴ２を用いて笑顔度を判定して特定する（ステップＳ１０Ａ）。
【００６４】
続けて、ＣＰＵ８は、判定処理ルーチンにより、特定処理にて特定された人物の顔の笑顔度と、指定されている感度レベル（例えば、レベル１）と状態テーブルＴ１に対応付けられている人物の顔の現笑顔度（例えば、Ａさんの場合、笑顔度５０）とを比較して、笑顔度が現笑顔度を超えたか否かを判定する（ステップＳ１０Ｂ）。
ここで、笑顔度が現笑顔度を超えたと判定されると（ステップＳ１０Ｂ；ＹＥＳ）、ＣＰＵ８は、画像検索処理ルーチンにより、当該判定に係る検索候補画像が検索対象と一致すると判定して、所望の画像として特定する（ステップＳ１０Ｃ）。そして、ＣＰＵ８は、当該検索結果として所望の画像を表示部４に表示させる（ステップＳ１０Ｄ）。
【００６５】
一方、ステップＳ１０Ｂにて、笑顔度が現笑顔度を超えていないと判定されると（ステップＳ１０Ｂ；ＮＯ）、ＣＰＵ８は、画像検索処理ルーチンにより、当該判定に係る検索候補画像が検索対象と不一致であると判定する（ステップＳ１０Ｅ）。
【００６６】
また、ステップＳ１０９にて、個人認識された顔が状態テーブルＴ１に登録されていないと判定された場合や（ステップＳ１０９；ＮＯ）、ステップＳ１０７にて、人物の顔が検出されていないと判定された場合や（ステップＳ１０７；ＮＯ）、ステップＳ１０６にて、検索開始の指示が入力されていないと判定された場合や（ステップＳ１０６；ＮＯ）、ステップＳ１０１にて、画像検索モードに設定されていないと判定された場合にも（ステップＳ１０１；ＮＯ）、ＣＰＵ８は、当該検索処理を終了させる。
【００６７】
なお、ＣＰＵ８は、上記の認識処理、特定処理、判定処理、画像検索処理を、記録媒体３に記憶されている複数の画像ファイルの各々について順次実行する。
【００６８】
テーブル更新処理は、上記実施形態と同様に、新規に画像を取得する毎に実行されるため、その詳細な説明は省略する。
【００６９】
従って、変形例１の撮像装置によれば、自動撮影処理等により画像データを新規に取得した場合に、当該画像データの笑顔度を含む過去の笑顔度に基づいて、状態テーブルＴ１の現笑顔度と感度レベルとの対応関係を更新するので、その後の検索処理の実行判定において、人物の笑顔の状態を考慮して検索処理を適正に行うことができる。
つまり、検索処理の実行判定の感度レベルを複数の感度レベルの中でユーザ所望のレベルに設定した場合に、当該感度レベルに従って実行判定が複数の人物で一律に行われるのではなく、各人物の笑顔の状態を考慮して状態テーブルＴ１の現笑顔度と感度レベルとの対応関係を内部的に設定し直すことができ、これにより、表情の変化の少ない人物や表情の変化の多い人物であっても、感度レベルを変更することなく各人物により適した判定基準で検索条件を判定して、検索処理を適正に行うことができる。
特に、状態テーブルＴ１の笑顔度過去履歴に登録されている最も新しいものから所定数の笑顔度、即ち、各人物の笑顔のより新しい変化状態を考慮して状態テーブルＴ１の現笑顔度と感度レベルとの対応関係を内部的に設定し直すので、以前は表情の変化が少ない人が最近よく笑うようになった場合に、当該人物の笑顔のより新しい変化状態を考慮して検索条件を判定することができる。
このように、検索処理をより適正に行うことができ、撮像装置の使い勝手をより向上させることができる。
【００７０】
なお、上記変形例１にあっては、画像記憶手段として、記録媒体３を例示したが、これに限られるものではなく、内蔵メモリ７に複数の画像データを記憶するようにしても良い。
【００７１】
また、上記変形例１にあっては、検索処理により特定された所望の画像ファイルに係る画像を表示部４に表示させるようにしたが、これに限られるものではなく、所望の画像ファイルを記録媒体３や内蔵メモリ７の所定のフォルダ（図示略）に格納するようにしても良い。
【００７２】
なお、上記実施形態にあっては、ステップＳ２７、Ｓ３４、Ｓ１０Ａにて、人物の顔の笑顔度の判定に笑顔度判定用テンプレートＴ２を用いるようにしたが、笑顔度の判定方法はこれに限られるものではなく、例えば、目や口の変化度合から判定するようにしても良い。
即ち、例えば、当該笑顔度の判定に係る人物の全ての画像をチェックして、目や口の座標の最大変位（差分）を算出して、変化の大きかった人を表情の豊かな人とし、変化の少なかった人を表情の乏しい人として、個別に感度レベル１〜３に対応する笑顔度を設定するようにしても良い。
また、予め各人物の笑った顔を複数撮影しておき、これらの中から基準となる画像を感度レベル１〜３と対応付けて設定するようにしても良い。
【００７３】
また、上記実施形態にあっては、画像関連処理として、自動撮影処理及び検索処理を例示したが、これらに限られるものではなく、撮像装置、画像検索装置等の画像処理装置により行われる画像関連処理であれば如何なるものであっても良い。
【００７４】
さらに、上記実施形態にあっては、画像関連処理に係る対象物の基準状態として人物の顔の表情、特に、笑顔度を例示したが、対象物の基準状態はこれに限られるものではなく、例えば、目や顔の向き、姿勢等に基づいて規定されていても良い。
また、対象物として人物、特に、人物の顔を例示したが、これらに限られるものではない。
なお、上記の場合にあっては、対象物の種類、例えば、目や顔の向き、姿勢等に対応させて状態テーブルを各々設けるようにしても良い。これにより、人物の笑顔度、目や顔の向き、姿勢等の複数の判定条件の中で、ユーザ所望の条件に切り換えて画像関連処理を実行することができる。
【００７５】
さらに、上記実施形態にあっては、自動撮影処理や検索処理における実行判定の感度レベルをユーザ所望のレベルに設定するようにしたが、これに限られるものではなく、所定の感度レベルで一律に固定されていても良い。
【００７６】
また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
さらに、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、画像関連処理を行うものであれば画像検索装置等の他の画像処理装置であっても良い。
【００７７】
加えて、上記実施形態では、特定手段、判定手段、変更手段、自動撮影制御手段、画像検索手段としての機能を、ＣＰＵ８によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。
【図面の簡単な説明】
【００７８】
【図１】本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による自動撮影処理に係る状態テーブルＴ１の一例を模式的に示す図である。
【図３】図１の撮像装置による自動撮影処理に係る笑顔度判定用テンプレートＴ２の一例を模式的に示す図である。
【図４】図１の撮像装置によるメイン動作の一例を示すフローチャートである。
【図５】図１の撮像装置による自動撮影処理に係る動作の一例を示すフローチャートである。
【図６】図１の撮像装置によるテーブル更新処理に係る動作の一例を示すフローチャートである。
【図７】変形例１の撮像装置による検索処理に係る動作の一例を示すフローチャートである。
【図８】図７の検索処理の続きを示すフローチャートである。
【符号の説明】
【００７９】
１００ 撮像装置
１ 撮像部
３ 記録媒体
５ 操作入力部
８ ＣＰＵ
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
従来、対象物の撮影を自動的に行うデジタルカメラが知られている（例えば、特許文献１参照）。具体的には、このデジタルカメラにあっては、対象物の表情や目・顔の向きを検出して所定条件を満たしたと判定された場合に、自動的に撮影記録動作を行うようになっている。
【０００３】
また、複数の画像をメモリに記憶する際に、画像内の顔の表情を利用して画像の分類を行うことで、所望の画像に類似する画像の検索を容易に行うことができるようにしたデジタルカメラも知られている（例えば、特許文献２参照）。
【特許文献１】特開２００１−５１３３８号公報
【特許文献２】特開２００５−２３４６８６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、対象物を自動的に撮影する場合には、対象物の顔の表情の判定基準を切り換えて設定することができるが、当該レベルの設定は撮影対象によらず一律に決まってしまうため、使い勝手が悪いといった問題がある。
かかる問題は、顔の表情を利用して画像検索処理を行う場合も同様となっている。
【０００５】
そこで、本発明の課題は、対象物の状態を考慮して画像関連処理を適正に行うことができる使い勝手の良い画像処理装置及びプログラムを提供することである。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１に記載の発明の画像処理装置は、
画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、新規に取得した画像内の対象物の状態を特定する特定手段と、前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段と、を備えることを特徴としている。
【０００７】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記特定手段により特定された前記対象物の状態と、前記レベル指定手段により指定された前記感度レベルと前記状態テーブルに対応付けられている対象物の基準状態とを比較判定する判定手段を更に備え、前記変更手段は、前記判定手段により前記対象物の基準状態を超えていると判定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴としている。
【０００８】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記対象物として被写体を撮像する撮像手段と、前記画像関連処理として、前記撮像手段により前記被写体を自動的に撮像させる自動撮影処理を制御する自動撮影制御手段と、を更に備え、前記自動撮影制御手段は、前記判定手段による判定結果に応じて、前記撮像手段に前記被写体を自動的に撮像させるか否かを制御することを特徴としている。
【０００９】
請求項４に記載の発明は、請求項２に記載の画像処理装置において、
複数の画像を記憶する画像記憶手段と、前記画像関連処理として、前記画像記憶手段に記憶されている前記複数の画像の中で前記対象物に係る所望の画像を検索する検索処理を行う画像検索手段と、を更に備え、前記画像検索手段は、前記判定手段による判定結果に応じて、前記複数の画像の中の何れかの画像を前記所望の画像として特定するか否かを制御することを特徴としている。
【００１０】
請求項５に記載の発明は、請求項２〜４の何れか一項に記載の画像処理装置において、
前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、前記判定手段は、前記複数の感度レベルのうち、前記レベル指定手段により指定された何れか一の感度レベルと前記状態テーブルに対応付けられている対象物の基準状態と、前記特定手段により特定された前記対象物の状態とを比較判定することを特徴としている。
【００１１】
請求項６に記載の発明は、請求項１〜５の何れか一項に記載の画像処理装置において、
前記特定手段によってこれまでに特定された前記対象物の過去状態を複数記憶する過去状態記憶手段を更に備え、前記変更手段は、前記過去状態記憶手段に記憶されている複数の前記対象物の過去状態のうち、最も新しいものから所定数の前記対象物の過去状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴としている。
【００１２】
請求項７に記載の発明は、請求項１〜６の何れか一項に記載の画像処理装置において、
前記対象物は、人物であることを特徴としている。
【００１３】
請求項８に記載の発明は、請求項１〜６の何れか一項に記載の画像処理装置において、
前記対象物は、人物の顔であることを特徴としている。
【００１４】
請求項９に記載の発明は、請求項８に記載の画像処理装置において、
前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、前記対象物の基準状態は、前記人物の顔の表情に基づいて規定されていることを特徴としている。
【００１５】
請求項１０に記載の発明は、請求項１〜９の何れか一項に記載の画像処理装置において、
前記状態テーブルは、対象物の種類に応じて複数設けられていることを特徴としている。
【００１６】
請求項１１に記載の発明のプログラムは、
画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、を備える画像処理装置のコンピュータを、
新規に取得した画像内の対象物の状態を特定する特定手段、前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段、として機能させることを特徴としている。
【発明の効果】
【００１７】
本発明によれば、対象物の状態を考慮して画像関連処理を適正に行うことができ、画像処理装置の使い勝手を向上させることができる。
【発明を実施するための最良の形態】
【００１８】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図１は、本発明を適用した一実施形態の撮像装置１００の概略構成を示すブロック図である。
【００１９】
本実施形態の撮像装置１００は、撮像部１により撮像される被写体の状態が所定条件を満たした場合に、当該被写体に係る画像データを記録保存する自動撮影処理後に、処理結果に応じて、当該自動撮影処理の実行判定に係る状態テーブルＴ１の現笑顔度を更新する。
具体的には、図１に示すように、撮像装置１００は、撮像部１と、記録媒体制御部２と、記録媒体３と、表示部４と、操作入力部５と、バッファメモリ６と、内蔵メモリ７と、ＣＰＵ８を備えて構成されている。
【００２０】
撮像部１は、撮像手段として、一のシーンを撮像して画像フレームを生成する。具体的には、図示は省略するが、撮像部１は、例えば、撮像レンズと、撮像レンズを通過した被写体像を二次元の画像信号に変換するＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal-oxide Semiconductor）等からなる電子撮像部と、電子撮像部の制御や、ＡＥ（自動露出処理）、ＡＦ（自動合焦処理）、ＡＷＢ（自動ホワイトバランス）の制御などを行う撮像制御部等を備えている。
そして、撮像制御部は、電子撮像部に所定の露出時間で被写体を撮像させ、当該電子撮像部の撮像領域から画像フレームを読み出す。その後、撮像制御部は、読み出した画像フレームをバッファメモリ６に転送して格納する。
【００２１】
記録媒体制御部２は、記録媒体３に対する画像ファイルの格納や、記録媒体３からの画像ファイルの読み出しを制御する。
【００２２】
記録媒体３は、例えば、カード型の不揮発性メモリ（フラッシュメモリ）やハードディスク等により構成されている。
【００２３】
表示部４は、図示は省略するが、例えば、液晶などの画像表示部と、この画像表示部への画像フレームの表示を制御する表示制御部等を備えている。そして、表示部４は、撮像部１により撮像される画像フレームを所定のフレームレートで逐次更新しながらライブビュー画像を表示する。
【００２４】
操作入力部５は、当該撮像装置１００の所定操作を行うためのものである。具体的には、図示は省略するが、操作入力部５は、撮像部１による被写体の記録を指示するシャッターボタンや、各種動作モードや各種項目の選択を行う上下左右のカーソルボタンや、これらカーソルボタンにより選択された動作モードや項目の決定を指示する決定ボタン等を備えている。
【００２５】
動作モードとしては、例えば、静止画像を撮影する静止画撮影モードや、撮像部１により生成された撮影対象と類似する所望の画像データを自動的に記録保存する自動撮影モード等が挙げられる。
そして、ユーザにより所定の動作モード（例えば、自動撮影モード等）が選択されると、当該動作モードの設定指示を入力回路（図示略）を介してＣＰＵ８に出力する。ＣＰＵ８は、設定指示が入力されると、各部を制御して当該動作モードに応じた処理を行う。
【００２６】
また、操作入力部５は、自動撮影処理（画像関連処理）を実行するか否かの判定に係る複数の感度レベルのうち、ユーザ所望の何れかの感度レベルを指定する。
感度レベルの指定方法としては、例えば、感度指定画面（図示略）に表示されたレベル１〜３のうち、何れかのレベルを指定するようにしても良いし、所望の感度レベルの数値を入力するようにしても良い。なお、感度レベルは、数値が小さい程、感度が緩くなっており、レベル１が最も感度が低く、レベル３が最も感度が高くなっている。
そして、ユーザにより所定の感度レベル（例えば、レベル１等）が選択されると、当該感度レベルの設定指示を入力回路（図示略）を介してＣＰＵ８に出力する。ＣＰＵ８は、設定指示が入力されると、各部を制御して当該感度レベルに応じた処理を行う。
ここで、操作入力部５は、自動撮影処理の実行に係る感度レベルを指示するレベル指示手段を構成している。
【００２７】
バッファメモリ６は、例えば、フラッシュメモリ等により構成され、ＣＰＵ８によって処理されるデータ等を一時記憶する。
【００２８】
ＣＰＵ８は、撮像装置１００の各部を制御するものである。具体的には、ＣＰＵ８は、内蔵メモリ７のプログラムメモリ（後述）に記憶された撮像装置１００用の各種処理プログラムに従って各種の制御動作を行うものである。
【００２９】
内蔵メモリ７は、テーブル記憶手段として、自動撮影処理を実行するか否かの判定基準に係る人物の顔の現笑顔度（基準状態）と感度レベルとが対応付けられた状態テーブルＴ１を記憶する（図２参照）。
状態テーブルＴ１は、図２に示すように、Ａさん、Ｂさん、Ｃさん等の人物を識別するための人物ＩＤと、各人物の顔の顔特徴データと、過去の笑顔度を数値化した笑顔度過去履歴と、現在の笑顔度をレベル毎に数値化した現笑顔度（対象物の基準状態）とを対応付けて登録するものである。現笑顔度は、内蔵メモリ７に記憶されている笑顔度判定用テンプレートＴ２（図３参照）を基準にして数値化したものである。ここで、笑顔度判定用テンプレートＴ２は、例えば、大笑いを笑顔度１００として、笑い量が小さくなるに従って笑顔度が次第に小さくなるように５段階で規定されている。例えば、Ａさんの場合には、レベル１が笑顔度５０であり、レベル２が笑顔度７０であり、レベル３が笑顔度１００である。また、Ｂさんの場合には、レベル１が笑顔度１０であり、レベル２が笑顔度３０であり、レベル３が笑顔度５０である。また、Ｃさんの場合には、レベル１が笑顔度３０であり、レベル２が笑顔度５０であり、レベル３が笑顔度７０である。
ここで、内蔵メモリ７は、これまでに特定処理（後述）により特定された人物の顔の過去の笑顔度（対象物の過去状態）を複数記憶する過去状態記憶手段を構成している。
【００３０】
また、内蔵メモリ７は、プログラムメモリを備え、ＣＰＵ８の動作に必要な各種プログラムやデータを記憶している。
このプログラムは、後述する認識処理ルーチン、特定処理ルーチン、判定処理ルーチン、自動撮影制御処理ルーチン、変更処理ルーチンを含む。
ここでいうルーチンとは、コンピュータのプログラムの部分をなし、ある機能をもった一連の命令群のことである。
【００３１】
認識処理ルーチンは、ＣＰＵ８を認識手段として機能させるためのプログラム部分である。即ち、認識処理ルーチンは、新規に取得した画像内の人物の顔を認識する認識処理に係る機能をＣＰＵ８に実現させるための命令群を含む。
具体的には、この認識処理ルーチンにより、ＣＰＵ８は、撮像部１により順次生成される複数の画像データの各々を新規に取得した後、当該画像データに係る画像内の人物（例えば、Ａさん）の顔を検出して特定する顔認識処理を行う。
ここで、顔認識処理は、例えば、状態テーブルＴ１の人物ＩＤと対応付けられている顔特徴データを参照して、目、鼻、ロなどに相当する特徴部分の位置関係や肌色領域の面積などから判定された顔サイズ等から人物を特定する。
【００３２】
特定処理ルーチンは、ＣＰＵ８を特定手段として機能させるためのプログラム部分である。即ち、特定処理ルーチンは、認識処理にて認識された人物の顔の状態を特定する特定処理に係る機能をＣＰＵ８に実現させるための命令群を含む。
具体的には、この特定処理ルーチンにより、ＣＰＵ８は、認識処理にて認識された人物の顔の目や口等の座標の変化状態から笑顔度判定用テンプレートＴ２を用いて笑顔度（例えば、大笑いに対応する笑顔度１００等）を特定する。
【００３３】
判定処理ルーチンは、ＣＰＵ８を判定手段として機能させるためのプログラム部分である。即ち、判定処理ルーチンは、特定処理にて特定された人物の顔の笑顔度と、ユーザによる操作入力部５の所定操作に基づいて指定された感度レベル（例えば、レベル２）と状態テーブルＴ１に対応付けられている人物の顔の現笑顔度（例えば、Ａさんの場合、笑顔度７０）とを比較判定する判定処理に係る機能をＣＰＵ８に実現させるための命令群を含む。
【００３４】
自動撮影制御処理ルーチンは、ＣＰＵ８を自動撮影制御手段として機能させるためのプログラム部分である。即ち、自動撮影制御処理ルーチンは、撮像部１により対象物を自動的に撮像させる自動撮影処理に係る機能をＣＰＵ８に実現させるための命令群を含む。
具体的には、この自動撮影制御処理ルーチンにより、ＣＰＵ８は、判定処理による判定結果に応じて、撮像部１により生成された画像データを自動的に記録媒体３に記録保存させるか否かを制御する。例えば、ＣＰＵ８は、特定処理にて特定された人物の顔の笑顔度が、ユーザにより指定された感度レベルと状態テーブルＴ１に対応付けられている人物の顔の現笑顔度よりも大きいと判定された場合に、当該判定に係る画像データを取得して記録媒体３に記録保存させる一方で、特定処理にて特定された人物の顔の笑顔度が現笑顔度以下であると判定された場合に、当該判定に係る画像データの記録保存を実行制御しない。
【００３５】
変更処理ルーチンは、ＣＰＵ８を変更手段として機能させるためのプログラム部分である。即ち、変更処理ルーチンは、特定処理にて特定された人物の顔の笑顔度、特に、判定処理にて現笑顔度を超えていると判定された当該人物の顔の笑顔度に基づいて、状態テーブルＴ１の感度レベルと人物の顔の現笑顔度との対応関係を変更するテーブル更新処理に係る機能をＣＰＵ８に実現させるための命令群を含む。
具体的には、この変更処理ルーチンにより、ＣＰＵ８は、状態テーブルＴ１の笑顔度過去履歴に登録されている最新の画像データの笑顔度「Ａ」、その一つ前の画像データの笑顔度「Ｂ」、さらに一つ前の画像データの笑顔度「Ｃ」、さらに一つ前の画像データの笑顔度「Ｄ」を取得して、これら「Ａ」〜「Ｄ」の値を重み付け平均して（例えば、０．４×Ａ＋０．３×Ｂ＋０．２×Ｃ＋０．１×Ｄ等）、その演算結果をレベル２の現笑顔度として上書き保存する。レベル１及び３の現笑顔度は、笑顔度判定用テンプレートＴ２を用いて、レベル２の笑顔度を挟む笑顔度を特定して、その特定された値をレベル１及び３の現笑顔度として上書き保存する。つまり、ＣＰＵ８は、状態テーブルＴ１の笑顔度過去履歴に登録されている複数の笑顔度のうち、特定処理にて新規に特定された最も新しい人物の顔の笑顔度から所定数の笑顔度に基づいて、状態テーブルＴ１の感度レベルと現笑顔度との対応関係を変更する。
なお、笑顔度の重み付け平均の方法として上記したものは一例であって、これに限られるものではない。
【００３６】
図４〜図８は、撮像装置１００の全体の動作を説明するためのフローチャートであるとともに、プログラムメモリに記憶されたプログラムのアルゴリズム構造を示すフローチャートである。実際に使用するＣＰＵ８に対応した具体的なプログラムコードの記載は省略するが、このフローチャート（アルゴリズム構造）に基づいて適宜設計すればよい。
【００３７】
次に、撮像装置１００のメイン動作について図４を参照して説明する。
図４は、撮像装置１００によるメイン動作の一例を示すフローチャートである。
【００３８】
図４に示すように、先ず、ＣＰＵ８は、当該撮像装置１００の各部を初期化するイニシャライズ処理を行う（ステップＳ１）。
その後、ＣＰＵ８は、ユーザによる操作入力部５の所定操作に基づいて自動撮影処理の実行が指示されると、各部を制御して自動撮影処理を行う（ステップＳ２；詳細後述）。
そして、自動撮影処理の終了後、ＣＰＵ８は、ユーザによる操作入力部５の所定操作に基づいてテーブル更新処理の実行が指示されると、各部を制御してテーブル更新処理を行う（ステップＳ３；詳細後述）。
そして、テーブル更新処理が終了すると、ＣＰＵ８は、ユーザによる操作入力部５の所定操作に基づいてその他の処理の実行が指示されると、その他の処理を行う（ステップＳ４）。
【００３９】
次に、自動撮影処理について図５を参照して説明する。
図５は、撮像装置１００による自動撮影処理に係る動作の一例を示すフローチャートである。
【００４０】
図５に示すように、ＣＰＵ８は、自動撮影モードに設定されているか否かを判定する（ステップＳ２１）。
ここで、自動撮影モードに設定されていると判定されると（ステップＳ２１；ＹＥＳ）、ＣＰＵ８は、自動撮影処理の感度レベルの変更指示が入力されているか否かを判定する（ステップＳ２２）。そして、ステップＳ２２にて、感度レベルの変更指示が入力されている、即ち、例えば、感度をレベル２からレベル１に変更する等の指示が入力されていると判定されると（ステップＳ２２；ＹＥＳ）、ＣＰＵ８は、入力された感度レベルの変更指示に応じて感度レベルを設定する処理を行う（ステップＳ２３）。
【００４１】
次に、ＣＰＵ８は、認識処理ルーチンにより、撮像部１により順次生成される複数の画像データの各々を新規に取得して、当該画像データに基づいて表示部４にライブビュー画像を表示させるとともに、当該画像データに係る画像内の人物の顔を検出する（ステップＳ２４）。そして、ＣＰＵ８は、何れかの画像から人物の顔を検出したと判定すると（ステップＳ２４；ＹＥＳ）、当該顔を認識して個人（例えば、Ａさん等）を特定する個人認識処理を行う（ステップＳ２５）。
また、ステップＳ２２にて、感度レベルの変更指示が入力されていないと判定された場合にも（ステップＳ２２；ＮＯ）、ＣＰＵ８は、処理をステップＳ２４に移行させる。
【００４２】
その後、ＣＰＵ８は、個人認識された顔が状態テーブルＴ１に登録されているか否かを判定する（ステップＳ２６）。
なお、ステップＳ２５の個人認識において、複数の人物を認識した場合には、画像の略中心にいる人物についてのみ状態テーブルＴ１に登録されているか否かを判定するようにしても良いし、全ての人物について状態テーブルＴ１に登録されているか否かを判定するようにしても良い。
そして、状態テーブルＴ１に登録されていると判定されると（ステップＳ２６；ＹＥＳ）、ＣＰＵ８は、特定処理ルーチンにより、個人認識された人物の顔の笑顔の状態から笑顔度判定用テンプレートＴ２を用いて笑顔度（例えば、大笑いに対応する笑顔度１００等）を判定して特定する（ステップＳ２７）。
【００４３】
続けて、ＣＰＵ８は、判定処理ルーチンにより、特定処理にて特定された人物の顔の笑顔度と、指定されている感度レベル（例えば、レベル１）と状態テーブルＴ１に対応付けられている人物の顔の現笑顔度（例えば、Ａさんの場合、笑顔度５０）とを比較して、笑顔度が現笑顔度を超えたか否かを判定する（ステップＳ２８）。
なお、ステップＳ２５の個人認識において、複数の人物を認識した場合には、画像の略中心にいる人物についてのみ現笑顔度を超えたか否かを判定するようにしても良いし、全ての人物について現笑顔度を超えたか否かを判定するようにしても良い。
そして、笑顔度が現笑顔度を超えたと判定されると（ステップＳ２８；ＹＥＳ）、ＣＰＵ８は、自動撮影制御処理ルーチンにより、当該判定に係る画像データを取得して記録媒体３に記録保存させる（ステップＳ２９）。
【００４４】
一方、ステップＳ２８にて、笑顔度が現笑顔度を超えていないと判定されると（ステップＳ２８；ＮＯ）、ＣＰＵ８は、自動撮影制御処理ルーチンにより、当該判定に係る画像データの記録保存を実行制御せずに、ユーザにより操作入力部５のシャッターボタンが所定操作されて被写体の撮像が指示されたか否かを判定する（ステップＳ２Ａ）。
ここで、シャッターボタンが所定操作されて被写体の撮像が指示されると（ステップＳ２Ａ；ＹＥＳ）、ＣＰＵ８は、処理をステップＳ２９に移行させて、当該判定に係る画像データを取得して記録媒体３に記録保存させる。
【００４５】
また、ステップＳ２６にて、個人認識された顔が状態テーブルＴ１に登録されていないと判定されると（ステップＳ２６；ＮＯ）、ＣＰＵ８は、当該個人認識に係る人物が状態テーブルＴ１に未登録である旨（例えば、「この人物は登録されていません」等）を表示部４に表示させて報知する（ステップＳ２Ｂ）。
その後、ＣＰＵ８は、処理をステップＳ２Ａに移行させて、シャッターボタンが所定操作されたか否かを判定する。
なお、ステップＳ２Ｂにて、状態テーブルＴ１に未登録である旨の報知後に、当該未登録の人物のＩＤを新規に登録するようにしても良い。
【００４６】
また、ステップＳ２４にて、人物の顔が検出されていないと判定された場合や（ステップＳ２４；ＮＯ）、ステップＳ２１にて、自動撮影モードに設定されていないと判定された場合にも（ステップＳ２１；ＮＯ）、ＣＰＵ８は、処理をステップＳ２Ａに移行させて、シャッターボタンが所定操作されたか否かを判定する。
【００４７】
次に、テーブル更新処理について図６を参照して説明する。
図６は、テーブル更新処理に係る動作の一例を示すフローチャートである。
【００４８】
図６に示すように、ＣＰＵ８は、画像データを新規に取得したか否かを判定する（ステップＳ３１）。
ここで、新規に取得したと判定されると（ステップＳ３１；ＹＥＳ）、ＣＰＵ８は、認識処理ルーチンにより、新規に取得した画像データに係る画像内の人物の顔を検出する。そして、ＣＰＵ８は、何れかの画像から人物の顔を検出したと判定すると（ステップＳ３２；ＹＥＳ）、当該顔を認識して個人（例えば、Ａさん等）を特定する個人認識処理を行う（ステップＳ３３）。
【００４９】
次に、ＣＰＵ８は、特定処理ルーチンにより、個人認識された人物の顔の笑顔の状態から笑顔度判定用テンプレートＴ２を用いて笑顔度（例えば、大笑いに対応する笑顔度１００等）を判定して特定する（ステップＳ３４）。その後、ＣＰＵ８は、特定した笑顔度を状態テーブルＴ１の笑顔度過去履歴に登録する（ステップＳ３５）。
【００５０】
その後、ＣＰＵ８は、変更処理ルーチンにより、状態テーブルＴ１の笑顔度過去履歴に登録されている複数の笑顔度のうち、新しいものから直近４つの笑顔度、即ち、最新の画像データの笑顔度「Ａ」、その一つ前の画像データの笑顔度「Ｂ」、さらに一つ前の画像データの笑顔度「Ｃ」、さらに一つ前の画像データの笑顔度「Ｄ」を取得する（ステップＳ３６）。
続けて、ＣＰＵ８は、これらの笑顔度「Ａ」〜「Ｄ」の値を重み付け平均して、感度レベル２の現笑顔度を算出する（ステップＳ３７）。
そして、ＣＰＵ８は、笑顔度判定用テンプレートＴ２を用いて、感度レベル２の現笑顔度から感度レベル１及び３の現笑顔度を特定して、その特定された値を感度レベル１〜３の現笑顔度として上書きすることで、状態テーブルＴ１を更新する（ステップＳ３８）。
【００５１】
なお、ステップＳ３１にて、画像データを新規に取得していないと判定された場合や（ステップＳ３１；ＮＯ）、ステップＳ３２にて、新規に取得した画像データに係る画像内から人物の顔が検出されなかった場合には（ステップＳ３２；ＮＯ）、当該テーブル更新処理を終了する。
【００５２】
以上のように、本実施形態の撮像装置１００によれば、自動撮影処理を行うものであって、撮像部１により撮像される人物の顔の笑顔度と、ユーザ所望の感度レベルと状態テーブルＴ１に対応付けられている当該人物の顔の現笑顔度とを比較判定して、現笑顔度を超えていると判定された人物の顔の笑顔度に基づいて、当該自動撮影処理の実行判定に係る状態テーブルＴ１の現笑顔度と感度レベルの対応関係を更新する。
即ち、撮像装置１００は、撮像部１により撮像される人物の顔の笑顔度が、状態テーブルＴ１の現笑顔度を超えたと判定された場合に、当該判定に係る画像データを記録保存する自動撮影処理を実行する。そして、状態テーブルＴ１に登録されている、自動撮影処理にて新規に記録保存された画像データの笑顔度を含む過去の笑顔度に基づいて、状態テーブルＴ１の現笑顔度と感度レベルとの対応関係を更新するので、その後の自動撮影処理の実行判定において、人物の笑顔の状態を考慮して自動撮影処理を適正に行うことができる。つまり、自動撮影処理の実行判定の感度レベルを複数の感度レベルの中でユーザ所望のレベルに設定した場合に、当該感度レベルに従って実行判定が複数の人物で一律に行われるのではなく、各人物の笑顔の状態を考慮して状態テーブルＴ１の現笑顔度と感度レベルとの対応関係を内部的に設定し直すことができ、これにより、表情の変化の少ない人物や表情の変化の多い人物であっても、感度レベルを変更することなく各人物により適した判定基準で自動撮影条件を判定して、自動撮影処理を適正に行うことができる。
特に、状態テーブルＴ１の笑顔度過去履歴に登録されている最も新しいものから所定数の笑顔度、即ち、各人物の笑顔のより新しい変化状態を考慮して状態テーブルＴ１の現笑顔度と感度レベルとの対応関係を内部的に設定し直すので、以前は表情の変化が少ない人が最近よく笑うようになった場合に、当該人物の笑顔のより新しい変化状態を考慮して自動撮影条件を判定することができる。
このように、自動撮影処理をより適正に行うことができ、撮像装置１００の使い勝手を向上させることができる。
【００５３】
また、状態テーブルＴ１は、複数の感度レベルの各々と複数の人物の現笑顔度の各々とが対応付けられており、複数の感度レベルの中で、ユーザにより指定された何れか一の感度レベルと対応付けられている人物の現笑顔度と、新規に取得した画像内の人物の笑顔度とを比較判定するので、自動撮影を適正に行うことができない場合等に、感度レベルを変更することができ、より使い勝手の良い撮像装置１００を提供することができる。
【００５４】
また、ステップＳ２８にて、笑顔度が現笑顔度を超えていないと判定されて（ステップＳ２８；ＮＯ）、自動撮影が実行されない場合であっても、ステップＳ２Ａにて、ユーザによるシャッターボタンの所定操作に基づいて被写体を撮像して、画像データを記録媒体３に記録保存することができるので、自動撮影を適正に行うことができない場合等に感度レベルを変更することなく所望の被写体の撮像を適正に行うことができる。
さらに、当該被写体の撮像により新規に取得した当該画像データの笑顔度に基づいて、状態テーブルＴ１の現笑顔度と感度レベルの対応関係を更新することができる。即ち、自動撮影処理にて取得された画像データだけでなく、ユーザによる手動撮影指示に基づいて取得された画像データの笑顔度も考慮して、状態テーブルＴ１の現笑顔度と感度レベルの対応関係を更新することができるため、より使い勝手の良い撮像装置１００を提供することができる。
【００５５】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、画像関連処理として、複数の画像データの中から検索対象と類似する所望の画像データを特定する検索処理を行う場合について、以下の変形例１に説明する。
【００５６】
＜変形例１＞
以下に、変形例１の撮像装置について、図７及び図８を参照して説明する。
なお、変形例１の撮像装置は、検索処理を行う以外の点で上記実施形態の撮像装置１００と略同様の構成をなし、その説明は省略する。
【００５７】
記録媒体３は、画像記憶手段として、複数の画像ファイルを記憶している。ここで、画像ファイルは、例えば、撮像部１による対象物の撮像により生成されたものであっても良いし、外部機器から所定の通信手段を介して転送されたものであっても良い。
【００５８】
プログラムメモリに記憶されるプログラムは、認識処理ルーチン、特定処理ルーチン、判定処理ルーチン、自動撮影制御処理ルーチン、変更処理ルーチンに加えて、画像検索処理ルーチンを含んでいる。
画像検索処理ルーチンは、ＣＰＵ８を画像検索手段として機能させるためのプログラム部分である。即ち、画像検索処理ルーチンは、記録媒体３に記憶されている複数の画像ファイルの中で所望の画像ファイルを特定する検索処理に係る機能をＣＰＵ８に実現させるための命令群を含む。
具体的には、この画像検索処理ルーチンにより、ＣＰＵ８は、判定処理による判定結果に応じて、複数の画像ファイルの中の何れかの画像ファイルを所望の画像ファイルとして特定するか否かを制御する。例えば、ＣＰＵ８は、特定処理にて特定された検索候補画像内の人物の顔の笑顔度が、ユーザにより指定された感度レベルと状態テーブルＴ１に対応付けられている人物の顔の現笑顔度よりも大きいと判定された場合に、当該判定に係る検索候補画像を所望の画像ファイルとして特定する一方で、検索候補画像の人物の顔の笑顔度が現笑顔度以下であると判定された場合に、当該判定に係る検索候補画像を所望の画像ファイルとして特定しない。
【００５９】
次に、検索処理について図７及び図８を参照して説明する。
図７及び図８は、撮像装置による検索処理に係る動作の一例を示すフローチャートである。
【００６０】
図７に示すように、ＣＰＵ８は、画像検索モードに設定されているか否かを判定する（ステップＳ１０１）。
ここで、検索モードに設定されていると判定されると（ステップＳ１０１；ＹＥＳ）、ＣＰＵ８は、検索処理の感度レベルの変更指示が入力されているか否かを判定する（ステップＳ１０２）。そして、ステップＳ１０２にて、感度レベルの変更指示が入力されている、即ち、例えば、感度をレベル２からレベル１に変更する等の指示が入力されていると判定されると（ステップＳ１０２；ＹＥＳ）、ＣＰＵ８は、入力された感度レベルの変更指示に応じて感度レベルを設定する処理を行う（ステップＳ１０３）。
【００６１】
次に、ＣＰＵ８は、検索処理の検索対象の変更指示が入力されているか否かを判定する（ステップＳ１０４）。また、ステップＳ１０２にて、感度レベルの変更指示が入力されていないと判定された場合にも（ステップＳ１０２；ＮＯ）、ＣＰＵ８は、処理をステップＳ１０４に移行させる。
そして、ステップＳ１０４にて、検索対象の変更指示が入力されていると判定されると（ステップＳ１０４；ＹＥＳ）、ＣＰＵ８は、入力された検索対象の変更指示に応じて検索対象を設定する処理を行う（ステップＳ１０５）。
【００６２】
続けて、ＣＰＵ８は、ユーザによる操作入力部５の所定操作に基づいて検索開始の指示が入力されたか否かを判定する（ステップＳ１０６）。また、ステップＳ１０４にて、検索対象の変更指示が入力されていないと判定された場合にも（ステップＳ１０４；ＮＯ）、ＣＰＵ８は、処理をステップＳ１０６に移行させる。
ここで、検索開始の指示が入力されたと判定されると（ステップＳ１０６；ＹＥＳ）、ＣＰＵ８は、認識処理ルーチンにより、記録媒体３に記憶されている複数の画像ファイルの中から何れか一の検索候補の画像ファイルを新規に取得した後、当該画像ファイルに係る検索候補画像内の人物の顔を検出する。そして、ＣＰＵ８は、検索候補画像から人物の顔を検出したと判定すると（ステップＳ１０７；ＹＥＳ）、当該顔を認識して個人（例えば、Ａさん等）を特定する個人認識処理を行う（ステップＳ１０８）。
【００６３】
図８に示すように、その後、ＣＰＵ８は、個人認識された顔が状態テーブルＴ１に登録されているか否かを判定する（ステップＳ１０９）。
ここで、状態テーブルＴ１に登録されていると判定されると（ステップＳ１０９；ＹＥＳ）、ＣＰＵ８は、特定処理ルーチンにより、個人認識された人物の顔の笑顔の状態から笑顔度判定用テンプレートＴ２を用いて笑顔度を判定して特定する（ステップＳ１０Ａ）。
【００６４】
続けて、ＣＰＵ８は、判定処理ルーチンにより、特定処理にて特定された人物の顔の笑顔度と、指定されている感度レベル（例えば、レベル１）と状態テーブルＴ１に対応付けられている人物の顔の現笑顔度（例えば、Ａさんの場合、笑顔度５０）とを比較して、笑顔度が現笑顔度を超えたか否かを判定する（ステップＳ１０Ｂ）。
ここで、笑顔度が現笑顔度を超えたと判定されると（ステップＳ１０Ｂ；ＹＥＳ）、ＣＰＵ８は、画像検索処理ルーチンにより、当該判定に係る検索候補画像が検索対象と一致すると判定して、所望の画像として特定する（ステップＳ１０Ｃ）。そして、ＣＰＵ８は、当該検索結果として所望の画像を表示部４に表示させる（ステップＳ１０Ｄ）。
【００６５】
一方、ステップＳ１０Ｂにて、笑顔度が現笑顔度を超えていないと判定されると（ステップＳ１０Ｂ；ＮＯ）、ＣＰＵ８は、画像検索処理ルーチンにより、当該判定に係る検索候補画像が検索対象と不一致であると判定する（ステップＳ１０Ｅ）。
【００６６】
また、ステップＳ１０９にて、個人認識された顔が状態テーブルＴ１に登録されていないと判定された場合や（ステップＳ１０９；ＮＯ）、ステップＳ１０７にて、人物の顔が検出されていないと判定された場合や（ステップＳ１０７；ＮＯ）、ステップＳ１０６にて、検索開始の指示が入力されていないと判定された場合や（ステップＳ１０６；ＮＯ）、ステップＳ１０１にて、画像検索モードに設定されていないと判定された場合にも（ステップＳ１０１；ＮＯ）、ＣＰＵ８は、当該検索処理を終了させる。
【００６７】
なお、ＣＰＵ８は、上記の認識処理、特定処理、判定処理、画像検索処理を、記録媒体３に記憶されている複数の画像ファイルの各々について順次実行する。
【００６８】
テーブル更新処理は、上記実施形態と同様に、新規に画像を取得する毎に実行されるため、その詳細な説明は省略する。
【００６９】
従って、変形例１の撮像装置によれば、自動撮影処理等により画像データを新規に取得した場合に、当該画像データの笑顔度を含む過去の笑顔度に基づいて、状態テーブルＴ１の現笑顔度と感度レベルとの対応関係を更新するので、その後の検索処理の実行判定において、人物の笑顔の状態を考慮して検索処理を適正に行うことができる。
つまり、検索処理の実行判定の感度レベルを複数の感度レベルの中でユーザ所望のレベルに設定した場合に、当該感度レベルに従って実行判定が複数の人物で一律に行われるのではなく、各人物の笑顔の状態を考慮して状態テーブルＴ１の現笑顔度と感度レベルとの対応関係を内部的に設定し直すことができ、これにより、表情の変化の少ない人物や表情の変化の多い人物であっても、感度レベルを変更することなく各人物により適した判定基準で検索条件を判定して、検索処理を適正に行うことができる。
特に、状態テーブルＴ１の笑顔度過去履歴に登録されている最も新しいものから所定数の笑顔度、即ち、各人物の笑顔のより新しい変化状態を考慮して状態テーブルＴ１の現笑顔度と感度レベルとの対応関係を内部的に設定し直すので、以前は表情の変化が少ない人が最近よく笑うようになった場合に、当該人物の笑顔のより新しい変化状態を考慮して検索条件を判定することができる。
このように、検索処理をより適正に行うことができ、撮像装置の使い勝手をより向上させることができる。
【００７０】
なお、上記変形例１にあっては、画像記憶手段として、記録媒体３を例示したが、これに限られるものではなく、内蔵メモリ７に複数の画像データを記憶するようにしても良い。
【００７１】
また、上記変形例１にあっては、検索処理により特定された所望の画像ファイルに係る画像を表示部４に表示させるようにしたが、これに限られるものではなく、所望の画像ファイルを記録媒体３や内蔵メモリ７の所定のフォルダ（図示略）に格納するようにしても良い。
【００７２】
なお、上記実施形態にあっては、ステップＳ２７、Ｓ３４、Ｓ１０Ａにて、人物の顔の笑顔度の判定に笑顔度判定用テンプレートＴ２を用いるようにしたが、笑顔度の判定方法はこれに限られるものではなく、例えば、目や口の変化度合から判定するようにしても良い。
即ち、例えば、当該笑顔度の判定に係る人物の全ての画像をチェックして、目や口の座標の最大変位（差分）を算出して、変化の大きかった人を表情の豊かな人とし、変化の少なかった人を表情の乏しい人として、個別に感度レベル１〜３に対応する笑顔度を設定するようにしても良い。
また、予め各人物の笑った顔を複数撮影しておき、これらの中から基準となる画像を感度レベル１〜３と対応付けて設定するようにしても良い。
【００７３】
また、上記実施形態にあっては、画像関連処理として、自動撮影処理及び検索処理を例示したが、これらに限られるものではなく、撮像装置、画像検索装置等の画像処理装置により行われる画像関連処理であれば如何なるものであっても良い。
【００７４】
さらに、上記実施形態にあっては、画像関連処理に係る対象物の基準状態として人物の顔の表情、特に、笑顔度を例示したが、対象物の基準状態はこれに限られるものではなく、例えば、目や顔の向き、姿勢等に基づいて規定されていても良い。
また、対象物として人物、特に、人物の顔を例示したが、これらに限られるものではない。
なお、上記の場合にあっては、対象物の種類、例えば、目や顔の向き、姿勢等に対応させて状態テーブルを各々設けるようにしても良い。これにより、人物の笑顔度、目や顔の向き、姿勢等の複数の判定条件の中で、ユーザ所望の条件に切り換えて画像関連処理を実行することができる。
【００７５】
さらに、上記実施形態にあっては、自動撮影処理や検索処理における実行判定の感度レベルをユーザ所望のレベルに設定するようにしたが、これに限られるものではなく、所定の感度レベルで一律に固定されていても良い。
【００７６】
また、撮像装置１００の構成は、上記実施形態に例示したものは一例であり、これに限られるものではない。
さらに、画像処理装置として、撮像装置１００を例示したが、これに限られるものではなく、画像関連処理を行うものであれば画像検索装置等の他の画像処理装置であっても良い。
【００７７】
加えて、上記実施形態では、特定手段、判定手段、変更手段、自動撮影制御手段、画像検索手段としての機能を、ＣＰＵ８によって所定のプログラム等が実行されることにより実現される構成としたが、これに限られるものではなく、例えば、各種機能を実現するためのロジック回路等から構成しても良い。
【図面の簡単な説明】
【００７８】
【図１】本発明を適用した実施形態１の撮像装置の概略構成を示すブロック図である。
【図２】図１の撮像装置による自動撮影処理に係る状態テーブルＴ１の一例を模式的に示す図である。
【図３】図１の撮像装置による自動撮影処理に係る笑顔度判定用テンプレートＴ２の一例を模式的に示す図である。
【図４】図１の撮像装置によるメイン動作の一例を示すフローチャートである。
【図５】図１の撮像装置による自動撮影処理に係る動作の一例を示すフローチャートである。
【図６】図１の撮像装置によるテーブル更新処理に係る動作の一例を示すフローチャートである。
【図７】変形例１の撮像装置による検索処理に係る動作の一例を示すフローチャートである。
【図８】図７の検索処理の続きを示すフローチャートである。
【符号の説明】
【００７９】
１００ 撮像装置
１ 撮像部
３ 記録媒体
５ 操作入力部
８ ＣＰＵ
【特許請求の範囲】
【請求項１】
画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、
前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、
新規に取得した画像内の対象物の状態を特定する特定手段と、
前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記特定手段により特定された前記対象物の状態と、前記レベル指定手段により指定された前記感度レベルと前記状態テーブルに対応付けられている対象物の基準状態とを比較判定する判定手段を更に備え、
前記変更手段は、前記判定手段により前記対象物の基準状態を超えていると判定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対象物として被写体を撮像する撮像手段と、
前記画像関連処理として、前記撮像手段により前記被写体を自動的に撮像させる自動撮影処理を制御する自動撮影制御手段と、を更に備え、
前記自動撮影制御手段は、前記判定手段による判定結果に応じて、前記撮像手段に前記被写体を自動的に撮像させるか否かを制御することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
複数の画像を記憶する画像記憶手段と、
前記画像関連処理として、前記画像記憶手段に記憶されている前記複数の画像の中で前記対象物に係る所望の画像を検索する検索処理を行う画像検索手段と、を更に備え、
前記画像検索手段は、前記判定手段による判定結果に応じて、前記複数の画像の中の何れかの画像を前記所望の画像として特定するか否かを制御することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、
前記判定手段は、前記複数の感度レベルのうち、前記レベル指定手段により指定された何れか一の感度レベルと前記状態テーブルに対応付けられている対象物の基準状態と、前記特定手段により特定された前記対象物の状態とを比較判定することを特徴とする請求項２〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記特定手段によってこれまでに特定された前記対象物の過去状態を複数記憶する過去状態記憶手段を更に備え、
前記変更手段は、前記過去状態記憶手段に記憶されている複数の前記対象物の過去状態のうち、最も新しいものから所定数の前記対象物の過去状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
前記対象物は、人物であることを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
【請求項８】
前記対象物は、人物の顔であることを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
【請求項９】
前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、
前記対象物の基準状態は、前記人物の顔の表情に基づいて規定されていることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記状態テーブルは、対象物の種類に応じて複数設けられていることを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
【請求項１１】
画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、を備える画像処理装置のコンピュータを、
新規に取得した画像内の対象物の状態を特定する特定手段、
前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段、
として機能させることを特徴とするプログラム。
【請求項１】
画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、
前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、
新規に取得した画像内の対象物の状態を特定する特定手段と、
前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記特定手段により特定された前記対象物の状態と、前記レベル指定手段により指定された前記感度レベルと前記状態テーブルに対応付けられている対象物の基準状態とを比較判定する判定手段を更に備え、
前記変更手段は、前記判定手段により前記対象物の基準状態を超えていると判定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対象物として被写体を撮像する撮像手段と、
前記画像関連処理として、前記撮像手段により前記被写体を自動的に撮像させる自動撮影処理を制御する自動撮影制御手段と、を更に備え、
前記自動撮影制御手段は、前記判定手段による判定結果に応じて、前記撮像手段に前記被写体を自動的に撮像させるか否かを制御することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
複数の画像を記憶する画像記憶手段と、
前記画像関連処理として、前記画像記憶手段に記憶されている前記複数の画像の中で前記対象物に係る所望の画像を検索する検索処理を行う画像検索手段と、を更に備え、
前記画像検索手段は、前記判定手段による判定結果に応じて、前記複数の画像の中の何れかの画像を前記所望の画像として特定するか否かを制御することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、
前記判定手段は、前記複数の感度レベルのうち、前記レベル指定手段により指定された何れか一の感度レベルと前記状態テーブルに対応付けられている対象物の基準状態と、前記特定手段により特定された前記対象物の状態とを比較判定することを特徴とする請求項２〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記特定手段によってこれまでに特定された前記対象物の過去状態を複数記憶する過去状態記憶手段を更に備え、
前記変更手段は、前記過去状態記憶手段に記憶されている複数の前記対象物の過去状態のうち、最も新しいものから所定数の前記対象物の過去状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更することを特徴とする請求項１〜５の何れか一項に記載の画像処理装置。
【請求項７】
前記対象物は、人物であることを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
【請求項８】
前記対象物は、人物の顔であることを特徴とする請求項１〜６の何れか一項に記載の画像処理装置。
【請求項９】
前記状態テーブルは、複数の感度レベルの各々と複数の対象物の基準状態の各々とが対応付けられ、
前記対象物の基準状態は、前記人物の顔の表情に基づいて規定されていることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記状態テーブルは、対象物の種類に応じて複数設けられていることを特徴とする請求項１〜９の何れか一項に記載の画像処理装置。
【請求項１１】
画像関連処理の実行に係る感度レベルを指定するレベル指定手段と、前記画像関連処理を実行するか否かの判定基準に係る対象物の基準状態と感度レベルとが対応付けられた状態テーブルを記憶するテーブル記憶手段と、を備える画像処理装置のコンピュータを、
新規に取得した画像内の対象物の状態を特定する特定手段、
前記特定手段により特定された前記対象物の状態に基づいて、前記状態テーブルの前記感度レベルと前記対象物の基準状態との対応関係を変更する変更手段、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−６２８１４（Ｐ２０１０−６２８１４Ａ）
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願番号】特願２００８−２２５８２９（Ｐ２００８−２２５８２９）
【出願日】平成２０年９月３日（２００８．９．３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２２年３月１８日（２０１０．３．１８）
【国際特許分類】
【出願日】平成２０年９月３日（２００８．９．３）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]