画像検索装置、制御方法、プログラム及び記憶媒体
【課題】画像の検索の効率や操作性（ユーザビリティ）の向上に有利な技術を提供する。
【解決手段】画像を検索する画像検索装置であって、検索条件を生成するために設定された検索キー画像から、特徴量及び撮像条件の少なくとも一方を取得する取得処理を行う取得手段と、取得された前記特徴量及び前記撮像条件の少なくとも一方から、互いに異なる複数の検索条件を生成する。生成された前記複数の検索条件のそれぞれについて、前記検索キー画像を除く前記複数の画像から検索する検索処理を行う検索手段と、検索された複数の画像が前記複数の検索条件のそれぞれについて表示手段に表示されるように制御する表示制御処理を行う表示制御手段と、前記表示手段に表示された複数の画像から、ユーザの操作に応じて１つの画像を選択する選択処理を行う選択手段と、前記選択手段によって選択された画像を新たな検索キー画像として設定する。
【解決手段】画像を検索する画像検索装置であって、検索条件を生成するために設定された検索キー画像から、特徴量及び撮像条件の少なくとも一方を取得する取得処理を行う取得手段と、取得された前記特徴量及び前記撮像条件の少なくとも一方から、互いに異なる複数の検索条件を生成する。生成された前記複数の検索条件のそれぞれについて、前記検索キー画像を除く前記複数の画像から検索する検索処理を行う検索手段と、検索された複数の画像が前記複数の検索条件のそれぞれについて表示手段に表示されるように制御する表示制御処理を行う表示制御手段と、前記表示手段に表示された複数の画像から、ユーザの操作に応じて１つの画像を選択する選択処理を行う選択手段と、前記選択手段によって選択された画像を新たな検索キー画像として設定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置、制御方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置においては、記録媒体の進歩に伴って大量の画像を記録することが可能となり、かかる大量の画像を効率的に検索及び閲覧する技術が求められている。そこで、大量の画像を検索及び閲覧する際に、多数の縮小画像を表示する技術や入力された検索条件に一致又は類似する画像を表示する技術の他に、画像に付帯された情報から検索条件を生成して画像を検索及び表示する技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２７１８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、多数の縮小画像を表示する技術は、多量の画像を素早く閲覧することはできるが、特定の画像を検索することができない。また、入力された検索条件に一致又は類似する画像を表示する技術は、画像を検索する度に検索条件を入力するなどの煩雑な操作が必要となる。また、特許文献１に開示された技術は、最初に画像を検索する際にはキーワードなどの入力が必要となることに加えて、検索条件による画像の検索を継続すること（即ち、検索を繰り返し行うこと）については何ら考慮されていない。このように、従来技術は、画像を効率的に検索することができなかったり、ユーザにとって操作の負担が大きかったりするなどして、操作性（ユーザビリティ）を著しく欠いていた。
【０００５】
本発明は、このような従来技術の課題に鑑みてなされ、画像の検索の効率や操作性（ユーザビリティ）の向上に有利な技術を提供することを例示的目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の一側面としての画像検索装置は、画像を検索する画像検索装置であって、複数の画像のうち、検索条件を生成するために設定された検索キー画像から、前記検索キー画像の特徴量及び前記検索キー画像の撮像条件の少なくとも一方を取得する取得処理を行う取得手段と、前記取得手段によって取得された前記特徴量及び前記撮像条件の少なくとも一方から、互いに異なる複数の検索条件を生成する生成処理を行う生成手段と、前記生成手段によって生成された前記複数の検索条件のそれぞれについて、前記検索キー画像を除く前記複数の画像から当該検索条件に一致又は類似する画像を検索する検索処理を行う検索手段と、前記検索手段によって検索された複数の画像が前記複数の検索条件のそれぞれについて表示手段に表示されるように制御する表示制御処理を行う表示制御手段と、前記表示手段に表示された複数の画像から、ユーザの操作に応じて１つの画像を選択する選択処理を行う選択手段と、前記選択手段によって選択された画像を新たな検索キー画像として設定する設定処理を行う設定手段と、前記設定手段によって前記新たな検索キー画像が設定されると、当該新たな検索キー画像を用いて、前記取得処理、前記生成処理、前記検索処理、前記表示制御処理、前記選択処理及び前記設定処理が繰り返し行われるように、前記取得手段、前記生成手段、前記検索手段、前記表示制御手段、前記選択手段及び前記設定手段を制御する制御手段と、を有することを特徴とする。
【０００７】
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。
【発明の効果】
【０００８】
本発明によれば、例えば、画像の検索の効率や操作性（ユーザビリティ）の向上に有利な技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一側面としての画像検索装置として機能する撮像装置を示す概略外観図である。
【図２】図１に示す撮像装置の構成を示す概略ブロック図である。
【図３】図１に示す撮像装置の動作を説明するためのフローチャートである。
【図４】記録媒体に記録される画像ファイル（静止画像ファイル）の構成例を示す図である。
【図５】図３に示すＳ３１６の再生処理を詳細に説明するためのフローチャートである。
【図６】図５に示すＳ５１８の関連画像再生の可否判定処理を詳細に説明するためのフローチャートである。
【図７】図１に示す撮像装置の表示部における表示例を示す図である。
【図８】図５に示すＳ５３２の関連画像再生処理を詳細に説明するためのフローチャートである。
【図９】図１に示す撮像装置の表示部における表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１１】
図１は、本発明の一側面としての画像検索装置として機能する撮像装置１００を示す概略外観図である。図２は、撮像装置１００の構成を示す概略ブロック図である。撮像装置１００は、被写体を撮像する撮像装置であって、本実施形態では、デジタルカメラとして具現化される。また、撮像装置１００は、撮像した画像に対応する画像データ（画像ファイル）を、撮像装置１００に接続された記録媒体２００に記録すると共に、記録媒体２００に記録された画像データ（画像ファイル）に対応する画像を表示（再生）する。なお、記録媒体２００は、メモリカードやハードディスクなどで構成され、各種データを記録する。記録媒体２００は、撮像装置１００のスロットに収納されることで、インタフェース（Ｉ／Ｆ）を介して、撮像装置１００との通信が可能となる。
【００１２】
撮像装置１００は、図１及び図２に示すように、撮像光学系１０２と、シャッター部１０４と、撮像部１０６と、バリア部１０８と、Ａ／Ｄ変換部１１０と、画像処理部１１２と、メモリ１１４と、Ｄ／Ａ変換部１１６と、表示部１１８とを有する。また、撮像装置１００は、メモリ制御部１２０と、不揮発性メモリ１２２と、システム制御部１２４と、システムメモリ１２６とを有する。更に、撮像装置１００は、モード切替スイッチ１２８と、シャッターボタン１３０と、十字ボタン１３２と、ホイール１３４と、電源スイッチ１３６と、電源制御部１３８と、電源部１４０とを有する。
【００１３】
撮像光学系１０２は、撮像レンズやフォーカスレンズなどを含み、被写体からの光を撮像部１０６の撮像面に結像する（即ち、光学像を形成する）。シャッター部１０４は、本実施形態では、絞り機能を有する。撮像部１０６は、ＣＣＤやＣＭＯＳ素子（光電変換素子）などで構成され、撮像光学系１０２によって形成された光学像を電気信号に変換する。バリア部１０８は、撮像光学系１０２、シャッター部１０４及び撮像部１０６を含む撮像系をカバーして、撮像系への汚れの付着や撮像系の破損を防止する。Ａ／Ｄ変換部１１０は、アナログ信号をデジタル信号に変換する機能を有し、本実施形態では、撮像部１０６から出力されるアナログ信号をデジタル信号に変換する。
【００１４】
画像処理部１１２は、Ａ／Ｄ変換部１１０から入力されるデータ又はメモリ制御部１２０から入力されるデータに対して、画素補間や縮小などのリサイズ処理や色変換処理を行う。また、画像処理部１１２は、撮像した画像を用いて所定の演算処理を行い、演算結果をシステム制御部１２４に出力する。システム制御部１２４は、画像処理部１１２からの演算結果に基づいて、露光制御及び焦点検出制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理及びＥＦ（フラッシュプリ発光）処理が行われる。更に、画像処理部１１２は、撮像した画像を用いて所定の演算処理を行い、かかる演算結果に基づいて、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も実行する。
【００１５】
メモリ１１４は、画像処理部１１２及びメモリ制御部１２０を介して、或いは、メモリ制御部１２０を介して、Ａ／Ｄ変換部１１０から出力されるデータを格納する。例えば、メモリ１１４は、撮像部１０６から出力されてＡ／Ｄ変換部１１０でデジタル信号に変換された画像データ（静止画像データや動画像データ）や表示部１１８に表示するため（即ち、画像表示用）の画像データなどを格納する。従って、メモリ１１４は、所定枚数の静止画像データや所定時間の動画像データ及び音声データを格納することが可能な記憶容量を備える。なお、メモリ１１４は、画像表示用のメモリ（ビデオメモリ）としても機能する。
【００１６】
Ｄ／Ａ変換部１１６は、メモリ１１４に格納されている画像表示用の画像データをアナログ信号に変換して、表示部１１８に供給する。表示部１１８は、ＬＣＤ等の表示素子を有し、Ｄ／Ａ変換部１１６から供給されるアナログ信号に応じた画像や撮像装置１００に関する各種情報を表示する。
【００１７】
メモリ制御部１２０は、メモリ１１４に格納されるデータ（画像データなど）及びメモリ１１４から読み出されるデータを制御する。不揮発性メモリ１２２は、電気的にデータを消去及び記録可能なメモリであって、例えば、ＥＥＰＲＯＭなどを含む。不揮発性メモリ１２２は、システム制御部１２４の動作用の定数やプログラム（後述する種々のフローチャートを実行するためのプログラム）などを格納（記録）する。
【００１８】
システム制御部１２４は、撮像装置１００の全体を制御する。システム制御部１２４は、不揮発性メモリ１２２に格納されたプログラムを実行して、本実施形態の各処理を実現する。例えば、システム制御部１２４は、メモリ１１４、Ｄ／Ａ変換部１１６及び表示部１１８などを制御して表示制御を行う。システムメモリ１２６は、例えば、ＲＡＭで構成され、システム制御部１２４の動作用の定数や変数、不揮発性メモリ１２２から読み出したプログラム等を展開する。
【００１９】
モード切替スイッチ１２８、シャッターボタン１３０、十字ボタン１３２、ホイール１３４及び電源スイッチ１３６などを含む複数のスイッチやボタンは、ユーザの操作を受け付ける（システム制御部１２４に各種の動作指示を入力する）操作部として機能する。また、操作部は、表示部１１８に設けられたタッチパネルも含む。タッチパネルには、表示部１１８に表示される種々の機能アイコンを選択（操作）することによって、適宜機能が割り当てられる。換言すれば、タッチパネルは、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞り込みボタン、属性変更ボタン、関連画像再生ボタンなどの機能ボタンとして機能する。例えば、メニューボタンが押された場合、各種設定を可能とするメニュー画面が表示部１１８に表示される。これにより、ユーザは、表示部１１８に表示されたメニュー画面と、十字状に配置された上ボタン、下ボタン、左ボタン及び右ボタンを含む十字ボタン１３２やセットボタンとを用いて、直感的に各種設定を行うことができる。
【００２０】
モード切替スイッチ１２８は、撮像装置１００（システム制御部１２４）の動作モードを切り替えるためのスイッチである。本実施形態では、撮像装置１００の動作モードを静止画像撮像モード、動画像撮像モード、再生モードなどに切り替えることが可能である。
【００２１】
シャッターボタン１３０は、被写体の撮像を指示するためのボタンであって、第１のシャッタースイッチ１３０ａと、第２のシャッタースイッチ１３０ｂとを含む。第１のシャッタースイッチ１３０ａは、シャッターボタン１３０の操作途中（半押し）でＯＮ状態となり、第１のシャッタースイッチ信号ＳＷ１を生成して、システム制御部１２４に供給する。なお、システム制御部１２４は、第１のシャッタースイッチ１３０ａから供給される第１のシャッタースイッチ信号ＳＷ１によって、ＡＦ処理、ＡＥ処理、ＥＦ処理などを開始する。第２のシャッタースイッチ１３０ｂは、シャッターボタン１３０の操作完了（全押し）でＯＮ状態となり、第２のシャッタースイッチ信号ＳＷ２を生成して、システム制御部１２４に供給する。なお、システム制御部１２４は、第２のシャッタースイッチ１３０ｂから供給される第２のシャッタースイッチ信号ＳＷ２によって、撮像部１０６からの画像の読み出しから記録媒体２００に画像データを記録するまでの一連の撮像処理を開始する。
【００２２】
ホイール１３４は、回転可能な部材であって、表示部１１８に表示された選択項目を指示する際などに十字ボタン１３２と共に使用される。ホイール１３４は、回転量に応じて電気的なパルス信号を生成して、システム制御部１２４に供給する。システム制御部１２４は、ホイール１３４から供給されるパルス信号に基づいて、撮像装置１００の各部を制御する。なお、ホイール１３４は、ユーザの回転操作を検出することができればどのような部材であってもよい。例えば、ホイール１３４は、ユーザの回転操作に応じてホイール自体が回転してパルス信号を生成するダイヤル部材であってもよいし、ホイール自体は回転せず、ホイール上でのユーザの回転操作を検出するタッチホイールであってもよい。
【００２３】
電源スイッチ１３６は、撮像装置１００の電源状態を電源ＯＮの状態又は電源ＯＦＦの状態に切り替えるためのスイッチである。電源制御部１３８は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などを含み、電源部１４０における電池の装着の有無、電池の種類、電池の残容量を検出する。また、電源制御部１３８は、電源部１４０における検出結果及びシステム制御部１２４からの指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む撮像装置１００の各部に供給する。電源部１４０は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池やＬｉ電池などの二次電池、ＡＣアダプターなどを着脱可能に保持して、電圧（直流電圧）を出力する。
【００２４】
撮像装置１００では、中央１点ＡＦや顔ＡＦを用いて、被写体を撮像することが可能である。中央１点ＡＦとは、撮像画面内の中央位置の１点に対してＡＦを行うことであり、顔ＡＦとは、顔検出処理によって検出された撮像画面内の顔に対してＡＦを行うことである。また、撮像装置１００は、顔ＡＦと同時に、顔ＡＥ、顔ＦＥ及び顔ＷＢを行うこともできる。顔ＡＥとは、顔検出処理によって検出された顔の明るさに応じて、撮像画面全体の露出を最適化することである。顔ＦＥとは、顔検出処理によって検出された顔を中心としてフラッシュの調光を行うことである。顔ＷＢとは、顔検出処理によって検出された顔の色に応じて、撮像画面全体のＷＢを最適化することである。
【００２５】
ここで、顔検出処理について簡単に説明する。顔検出処理では、まず、システム制御部１２４が顔検出対象の画像データを画像処理部１１２に入力する。画像処理部１１２は、システム制御部１２４の制御下で、入力された画像データに対して水平方向バンドパスフィルタ及び垂直方向バンドパスフィルタを作用ささせて、画像データからエッジ成分を検出する。システム制御部１２４は、画像処理部１１２によって検出されたエッジ成分に対してパターンマッチングを行い、目、鼻、口及び耳の候補群を抽出する。また、システム制御部１２４は、抽出された候補群のうち、予め設定された条件（例えば、２つの目の距離や傾きなど）を満たすものを目と判断して、目の候補群として絞り込む。更に、システム制御部１２４は、絞り込まれた目の候補群とそれに対応する顔の他のパターン（鼻、口、耳）とを対応させ、予め設定した非顔条件フィルタを作用させることで顔を検出する。そして、システム制御部１２４は、顔の検出結果に応じて顔情報を生成して、顔検出処理を終了する。なお、顔情報は、例えば、顔の数、位置及びサイズなどを含み、画像（画像データ）の特徴量として画像データに関連付けてメモリ１１４や記録媒体２００に格納される。
【００２６】
このように、撮像装置１００では、ライブビュー表示、或いは、再生（表示）される画像に対応する画像データを解析し、顔情報などの画像データの特徴量を検出することができる。
【００２７】
以下、撮像装置１００の全体的な動作について説明する。図３は、撮像装置１００の動作を説明するためのフローチャートである。電源スイッチ１３６が操作されて撮像装置１００の電源状態が電源ＯＦＦの状態から電源ＯＮの状態になると、撮像装置１００は動作を開始する。
【００２８】
まず、Ｓ３０２において、システム制御部１２４は、フラグや制御変数等を初期化する。次いで、Ｓ３０４において、システム制御部１２４は、記録媒体２００に記録されているファイルに関する管理処理（ファイル管理処理）を行う。本実施形態では、システム制御部１２４は、再生対象のディレクトリの有無、再生対象の画像データ（画像ファイル）の有無、再生対象の画像データのパス名リスト、記録媒体２００に記録された画像の総数の情報を取得し、システムメモリ１２６に格納する。
【００２９】
次に、Ｓ３０６、Ｓ３０８及びＳ３１０において、システム制御部１２４は、撮像装置１００の動作モード（即ち、モード切替スイッチ１２８によって設定された動作モード）を判別する。具体的には、Ｓ３０６において、システム制御部１２４は、撮像装置１００の動作モードが静止画像撮像モードであるかどうかを判別する。撮像装置１００の動作モードが静止画像撮像モードであると判別された場合には、Ｓ３１２に移行して、システム制御部１２４は、静止画像撮像処理を行う。また、撮像装置１００の動作モードが静止画像撮像モードではないと判別された場合には、Ｓ３０８に移行して、システム制御部１２４は、撮像装置１００の動作モードが動画像撮像モードであるかどうかを判別する。撮像装置１００の動作モードが動画像撮像モードであると判別された場合には、Ｓ３１４に移行して、システム制御部１２４は、動画像撮像処理を行う。また、撮像装置１００の動作モードが動画像撮像モードではないと判別された場合には、Ｓ３１０に移行して、システム制御部１２４は、撮像装置１００の動作モードが再生モードであるかどうかを判別する。撮像装置１００の動作モードが再生モードであると判別された場合には、Ｓ３１６に移行して、システム制御部１２４は、再生処理を行う。なお、Ｓ３１６の再生処理については後で詳細に説明する。また、撮像装置１００の動作モードが再生モードではない（即ち、静止画像撮像モード、動画像撮像モード及び再生モード以外のその他のモードである）と判別された場合には、Ｓ３１８に移行して、システム制御部１２４は、その他のモードに応じた処理を行う。ここで、その他のモードとしては、例えば、記録媒体２００に記録されたファイルを送信する送信モード、外部機器からファイルを受信して記録媒体２００に記録する受信モードなどがある。モード切替スイッチ１２８によって設定された動作モードに対応した処理（Ｓ３１２、Ｓ３１４、Ｓ３１６又はＳ３１８の処理）を行うと、Ｓ３２０に移行する。
【００３０】
Ｓ３２０において、システム制御部１２４は、電源スイッチ１３６が操作されて撮像装置１００の電源状態が電源ＯＮの状態から電源ＯＦＦの状態になったかどうかを判別する。撮像装置１００の電源状態が電源ＯＦＦの状態になっていない（電源ＯＮの状態を維持している）と判別された場合には、Ｓ３０６（Ｓ３０６乃至Ｓ３１０における撮像装置１００の動作モードの判別）に移行する。また、撮像装置１００の電源状態が電源ＯＦＦの状態になったと判別された場合には、Ｓ３２２に移行して、システム制御部１２４は、終了処理を行う。終了処理は、例えば、表示部１１８の表示を終了する処理、バリア部１０８で撮像系を保護する処理、フラグや制御変数などを含むパラメータや設定値を不揮発性メモリ１２２に記録する処理、電源供給が不要な構成要素への電源供給を停止する処理を含む。Ｓ３２２の終了処理が完了すると、撮像装置１００は動作を終了する。
【００３１】
図４を参照して、Ｓ３１２の静止画像撮像処理を行うことで記録媒体２００に記録される画像ファイル（静止画像ファイル）の構成について説明する。図４に示すように、画像ファイル４００は、先頭に画像ファイルの開始を示すマーカ（ＳＯＩ）４１０を有する。また、画像ファイル４００は、マーカ４１０の後にヘッダに相当する第１のアプリケーションマーカ（ＡＰＰ１）４２０及び第２のアプリケーションマーカ（ＡＰＰ１）４３０を有する。更に、画像ファイル４００は、画像ファイルの最後を示すマーカ（ＥＯＩ）４９０を有する。
【００３２】
第１のアプリケーションマーカ４２０は、サイズ（ＡＰＰ１ Ｌｅｎｇｔｈ）４２１、アプリケーションマーカがＥｘｉｆであることを示す識別コード（ＡＰＰ１ Ｉｄｅｎｔｉｆｉｅｒ Ｃｏｄｅ）４２２を含む。また、第１のアプリケーションマーカ４２０は、画像データの作成日時（Ｄａｔｅ Ｔｉｍｅ）４２３、画像データが生成された日時（Ｄａｔｅ Ｔｉｍｅ Ｏｒｉｇｉｎａｌ）４２４を含む。更に、第１のアプリケーションマーカ４２０は、画像データの色情報（ＣｏｌｏｒＩｎｆｏ）４２５、画像データの顔情報（ＦａｃｅＩｎｆｏ）４２６、その他の撮像情報（．．．Ｅｔｃ．）４２７、サムネイル画像（Ｔｈｕｍｂｎａｉｌ Ｄａｔａ）４２８を含む。
【００３３】
第２のアプリケーションマーカ４３０は、サイズ（ＡＰＰ１ Ｌｅｎｇｔｈ）４３１、アプリケーションマーカがＸＭＰであることを示す識別コード（ＡＰＰ１ Ｉｄｅｎｔｉｆｉｅｒ Ｃｏｄｅ）４３２を含む。また、第２のアプリケーションマーカ４３０は、お気に入り度（Ｒａｔｉｎｇ）４３３、メタデータ変更日時（ＭｅｔａＤａｔａＤａｔｅ）４３４、その他の撮像情報（．．．Ｅｔｃ．）４３５を含む。
【００３４】
また、画像ファイル４００に記録される画像データは、量子化テーブル（ＤＱＴ）４４０、ハフマンテーブル（ＤＨＴ）４５０、フレーム開始マーカ（ＳＯＦ）４６０を含む。更に、画像ファイル４００に記録される画像データは、スキャン開始マーカ（ＳＯＳ）４７０、圧縮データ（Ｃｏｍｐｒｅｓｓｅｄ ｄａｔａ）４８０を含む。
【００３５】
図３に示すＳ３１６の再生処理について説明する。図５は、Ｓ３１６の再生処理を詳細に説明するためのフローチャートである。なお、再生処理は、モード切替スイッチ１２８が操作されて他のモードに切り替わった場合や電源スイッチ１３６が操作されて撮像装置１００の電源状態が電源ＯＦＦの状態になった場合に、割り込み処理等によって終了する。
【００３６】
まず、Ｓ５０２において、システム制御部１２４は、記録媒体２００から、記録媒体２００に記録されている画像（画像データ）の最新の画像情報を取得する。次に、Ｓ５０４において、システム制御部１２４は、記録媒体２００から最新の画像情報が正しく取得されたかどうかを判定する。最新の画像情報が正しく取得されていないと判定された場合には、Ｓ５０６以降において、システム制御部１２４は、画像なし時の入力待ち状態となる。なお、最新の画像情報が正しく取得されていない場合とは、記録媒体２００に記録されている画像が１つもないような状態や記録媒体２００の不良によって画像情報が取得できないような状態などが考えられる。一方、最新の画像情報が正しく取得されたと判定された場合には、Ｓ５１２に移行する。なお、記録媒体２００に少なくとも１つの画像が記録されていれば、画像情報を取得することが可能である。
【００３７】
Ｓ５０６において、システム制御部１２４は、最新の画像情報が正しく取得されていない（記録媒体２００に画像が記録されていない）ことをユーザに通知する。例えば、システム制御部１２４は、「画像がありません」というメッセージを表示部１１８に表示する。次いで、Ｓ５０８において、システム制御部１２４は、操作入力があったかどうかを判定する。なお、操作入力とは、ユーザによる操作部の操作や電源部１４０の電圧低下などを知らせるイベントなどが含まれる。操作入力がないと判定された場合には、操作入力があるまで、Ｓ５０８を繰り返す。また、操作入力があったと判定された場合には、Ｓ５１０に移行し、システム制御部１２４は、操作入力に対応する処理を行う。例えば、記録媒体２００に画像が記録されていなくても、メニューボタンの操作入力がされた場合には、メニュー画面を表示部１１８に表示して、ユーザが設定変更などを行えるようにする。
【００３８】
Ｓ５１２において、システム制御部１２４は、Ｓ５０２で取得した最新の画像情報に基づいて、記録媒体２００から最新の画像データを読み込む。次に、Ｓ５１４において、システム制御部１２４は、ファイル解析処理を行って、Ｓ５１２で読み込んだ最新の画像データにおける画像の特徴量や撮像条件を取得する。
【００３９】
次に、Ｓ５１６において、システム制御部１２４は、Ｓ５１２で読み込んだ最新の画像データに対応する画像を表示部１１８に表示する。この際、Ｓ５１４のファイル解析処理によって取得した画像の特徴量や撮像条件を表示部１１８に表示してもよい。また、Ｓ５１４のファイル解析処理において、画像データの一部が壊れているなどの画像データの不良が検出されれば、その旨（エラー）を表示する。
【００４０】
次いで、Ｓ５１８において、システム制御部１２４は、関連画像再生の可否判定処理を行う。ここで、関連画像再生とは、大量の画像を閲覧する際に、従来の画像送りのように特定の順番で再生（表示）するのではなく、ユーザの興味に応じて再生する再生モードである。関連画像再生では、現在再生している画像（検索キー画像）から生成される互いに異なる複数の検索条件に一致又は類似する画像を、検索キー画像と共に表示する。例えば、検索キー画像に含まれる人物の数と同じ数の人物を含む画像、検索キー画像と同じような色合いの画像、検索キー画像と同じ日に生成された画像などを検索して、検索キー画像と共に表示する。そして、検索された画像から、ユーザの操作に応じて選択された１つの画像を新たな検索キー画像として設定し、新たな検索キー画像を用いて画像の検索及び表示を行う。このように、関連画像再生は、大量の画像を完全にランダムに再生するのではなく、ユーザの興味、即ち、ユーザによって選択された画像（から生成される検索条件）に応じて再生することが可能である。なお、Ｓ５１８の関連画像再生の可否判定処理については図６を用いて後述する。
【００４１】
次に、Ｓ５２０において、システム制御部１２４は、操作入力があったかどうかを判定する。なお、操作入力とは、ユーザによる操作部の操作や電源部１４０の電圧低下などを知らせるイベントなどが含まれる。操作入力がないと判定された場合には、操作入力があるまで、Ｓ５２０を繰り返す。一方、操作入力があったと判定された場合には、Ｓ５２２に移行する。
【００４２】
Ｓ５２２において、システム制御部１２４は、操作入力が画像送りを指示する操作入力であるかどうかを判定する。ここで、画像送りを指示する操作入力とは、ユーザが、操作部を介して、画像送りボタンを押した（選択した）場合などである。操作入力が画像送りを指示する操作入力であると判定された場合には、Ｓ５２４に移行し、操作入力が画像送りを指示する操作入力ではないと判定された場合には、Ｓ５３０に移行する。
【００４３】
Ｓ５２４において、システム制御部１２４は、表示部１１８に表示する次の画像データを読み込む。画像送りボタンは、送り方向に応じた一対のボタン（例えば、十字ボタン１３２の左ボタン及び右ボタン）で構成され、操作されたボタンに対応する送り方向に応じて次の画像データが読み込まれる。次に、Ｓ５２６において、システム制御部１２４は、ファイル解析処理を行って、Ｓ５２４で読み込んだ次の画像データにおける画像の特徴量や撮像条件を取得する。次いで、Ｓ５２８において、システム制御部１２４は、Ｓ５２４で読み込んだ次の画像データに対応する画像を表示部１１８に表示して、Ｓ５１８に移行する。この際、Ｓ５２６のファイル解析処理によって取得した画像の特徴量や撮像条件を表示部１１８に表示してもよい。また、Ｓ５２６のファイル解析処理において、画像データの一部が壊れているなどの画像データの不良が検出されれば、その旨（エラー）を表示する。
【００４４】
Ｓ５３０において、システム制御部１２４は、操作入力が関連画像再生を指示する操作入力であるかどうかを判定する。ここで、関連画像再生を指示する操作入力とは、ユーザが、操作部を介して、関連画像再生ボタンを押した（選択した）場合などである。操作入力が関連画像再生を指示する操作入力であると判定された場合には、Ｓ５３２に移行し、システム制御部１２４は、関連画像再生処理を行う。関連画像再生処理については図８を用いて後述する。一方、操作入力が関連画像再生を指示する操作入力ではないと判定された場合には、Ｓ５３４に移行する。
【００４５】
Ｓ５３４において、システム制御部１２４は、操作入力に対応する処理を行う。なお、操作入力に対応する処理とは、例えば、画像（画像データ）の消去処理、画像の編集処理、マルチ再生（マルチ画像表示）への切替処理、メニューボタンによるメニュー画面の表示処理などである。なお、マルチ再生とは、画像データに対応する縮小画像を表示部１１８に複数並べて表示する再生モードである。
【００４６】
次に、Ｓ５３６において、システム制御部１２４は、記録媒体２００に画像が記録されているかどうかを判定する。記録媒体２００に画像が記録されていない（即ち、Ｓ５３４において画像の消去処理などが行われて画像が存在しない）と判定された場合には、Ｓ５３８に移行して、記録媒体２００に画像が記録されていないことをユーザに通知する。一方、記録媒体２００に画像が記録されていると判定された場合には、Ｓ５１８に移行する。
【００４７】
図５に示すＳ５１８の関連画像再生の可否判定処理について説明する。図６は、Ｓ５１８の関連画像再生の可否判定処理を詳細に説明するためのフローチャートである。
【００４８】
まず、Ｓ６０２において、システム制御部１２４は、Ｓ５１６で表示された画像（画像データ）が関連画像再生の対象画像であるかどうかを判定する。本実施形態では、動画像、及び、検索条件を生成するために必要となる画像の特徴量及び撮像条件を有していない画像は、関連画像再生の対象画像としない。換言すれば、Ｓ６０２では、Ｓ５１６で表示された画像が、動画像ではなく、且つ、画像の特徴量及び撮像条件の少なくとも一方を有している画像であるという条件（対象画像条件）を満たしているかどうかを判定する。なお、対象画像条件は、静止画像であり、且つ、画像の特徴量及び撮像条件の少なくとも一方を有している画像であるという条件としてもよい。また、Ｓ５１６で表示された画像の撮像条件のうち、かかる画像を撮像した撮像装置の機種情報が検索条件を生成するために必要となる画像の特徴量及び撮像条件を付加可能な機種を示す情報であることを対象画像条件の１つとしてもよい。
【００４９】
画像が関連画像再生の対象画像ではないと判定された場合には、Ｓ６０４において、システム制御部１２４は、メモリ１１４に格納されている関連画像再生選択可能フラグを無効にして、関連画像再生の可否判定処理を終了する。なお、関連画像再生選択可能フラグが無効である場合には、図７（ａ）に示すように、関連画像再生ボタンを操作（選択）することが不可能となる。図７（ａ）は、関連画像再生選択可能フラグが無効である場合の表示例であって、関連画像再生ボタンの形態（例えば、色）を他のボタン（例えば、ＷＢボタン、Ｐｒｉｎｔボタン）の形態と異ならせ、関連画像再生ボタンの操作が不可能であることを示している。一方、画像が関連画像再生の対象画像であると判定された場合には、Ｓ６０６に移行する。
【００５０】
Ｓ６０６において、システム制御部１２４は、メモリ１１４に格納されている関連画像再生選択可能フラグを有効にする。次いで、Ｓ６０８において、システム制御部１２４は、記録媒体２００に記録された画像のうち、対象画像条件を満たす画像の数をカウントする。なお、連写モード等によって時間的に連続して撮像された１組の連写画像については代表画像を１つとしてカウントするとよい。連写画像のそれぞれを関連画像再生の対象画像としてカウントすると、記録媒体２００に連写画像だけが記録されている場合であっても、関連画像再生が実行可能であるとしてしまう（即ち、Ｓ６１６及びＳ６１８が行われてしまう）からである。連写画像は画像の特徴量及び撮像条件が同じか類似している場合が多く、関連画像再生の対象として連写画像をバラバラにカウントしてしまうと、同一の連写で撮像された画像ばかりが再生されてしまう可能性が高く、好ましくない。また、Ｓ５３４において画像の編集処理が行われた画像は、編集処理前の画像に似た画像である可能性が高いため、編集処理前の画像と編集処理後の画像とを１つの画像とみなして（即ち、一連画像とみなして）カウントするとよい。但し、編集処理によって画像の特徴量が変更された場合には、編集処理前の画像と編集処理後の画像とを別々の画像としてカウントしてもよい。また、ブレ画像、非合焦画像、お気に入り度が−１（除去）画像は、関連画像再生において表示する必要がないと考え、関連画像再生の対象画像としてカウントしなくてもよい。
【００５１】
次いで、Ｓ６１０において、システム制御部１２４は、Ｓ６０８でカウントされた対象画像条件を満たす画像の数が閾値以上であるかどうかを判定する。なお、閾値は、関連画像再生処理において、表示部１１８に同時に表示される複数の関連画像に同一の画像が含まれないように、表示部１１８に同時に表示する複数の関連画像の数に応じて設定する。また、閾値が大きくなればなるほど、関連画像再生において画像を検索及び表示する際に同一の画像が表示される可能性が少なくなり、変化に富んだ面白みのある関連画像再生が可能となる。従って、関連画像再生処理において、表示部１１８に表示される画像の数に対して十分に大きな数（例えば、数十枚程度）を閾値として設定するとよい。
【００５２】
Ｓ６０８でカウントされた対象画像条件を満たす画像の数が閾値以上ではないと判定された場合には、Ｓ６１２に移行して、システム制御部１２４は、関連画像再生の実行不可能通知処理を行う。具体的には、図７（ｂ）に示すように、関連画像再生を実行することが不可能であることを表すアイコンＩＣを関連画像再生ボタンに重ねて表示する。次いで、Ｓ６１４において、システム制御部１２４は、メモリ１１４に格納されている関連画像再生実行可能フラグを無効にして、関連画像再生の可否判定処理を終了する。
【００５３】
Ｓ６０８でカウントされた対象画像条件を満たす画像の数が閾値以上であると判定された場合には、Ｓ６１６に移行して、システム制御部１２４は、関連画像再生の実行可能通知処理を行う。具体的には、図７（ｃ）に示すように、関連画像再生ボタンを操作（選択）することが可能であることを表示する。図７（ｃ）では、関連画像再生ボタンの形態が他のボタンの形態と同じであり、また、関連画像再生を実行することが不可能であることを表すアイコンＩＣが表示されておらず、関連画像再生ボタンの操作及び関連画像再生の実行が可能であることを示している。次いで、Ｓ６１８において、システム制御部１２４は、メモリ１１４に格納されている関連画像再生実行可能フラグを有効にして、関連画像再生の可否判定処理を終了する。
【００５４】
図５に示すＳ５３２の関連画像再生処理について説明する。図８は、Ｓ５３２の関連画像再生処理を詳細に説明するためのフローチャートである。
【００５５】
まず、Ｓ８０２において、システム制御部１２４は、関連画像再生実行可能フラグが有効であるかどうかを判定する。関連画像再生実行可能フラグが有効ではない（無効である）と判定された場合には、Ｓ８０４に移行して、システム制御部１２４は、対象画像条件を満たす画像が閾値以上必要であることを通知して、関連画像再生処理を終了する。例えば、システム制御部１２４は、図７（ｄ）に示すように、「関連画像再生を行うためには、もっとたくさんの画像が必要です。」というメッセージＭＳを表示部１１８に表示する。一方、関連画像再生実行可能フラグが有効であると判定された場合には、Ｓ８０６に移行する。
【００５６】
Ｓ８０６において、システム制御部１２４は、記録媒体２００に記録されている複数の画像から１つの画像をランダムに選択して一手前画像として設定する。次いで、Ｓ８０８において、システム制御部１２４は、関連画像再生処理に移行する直前に表示部１１８に表示されている画像（カレント画像）を検索キー画像として設定する。なお、検索キー画像は、検索条件を生成するために設定される画像である。次に、Ｓ８１０において、システム制御部１２４は、Ｓ８０６で設定された一手前画像を表示部１１８の所定の位置に表示する。同様に、Ｓ８１２において、システム制御部１２４は、Ｓ８０８で設定された検索キー画像を表示部１１８の所定の位置に表示する。本実施形態では、図９（ａ）に示すように、表示部１１８の左位置に一手前画像９０２が表示され、表示部１１８の中央位置に検索キー画像９０４が表示される。
【００５７】
次に、Ｓ８１４において、システム制御部１２４は、Ｓ８０８で設定された検索キー画像から、かかる検索キー画像の特徴量及び撮像条件の少なくとも一方を取得する取得処理を行う。具体的には、画像ファイルの構成（図４参照）で説明したように、アプリケーションマーカから画像の特徴量及び撮像条件を取得することが可能である。なお、画像の特徴量は、例えば、画像データの色情報（色の分布及び強度など）や顔情報（顔の数、位置及びサイズなど）などを含む。また、撮像条件は、例えば、画像データが生成（撮像）された日時、撮像モード、撮像装置の各種設定（露出設定など）、被写体距離、位置情報などを含む。
【００５８】
次いで、Ｓ８１６において、システム制御部１２４は、Ｓ８１４で取得された検索キー画像の特徴量及び撮像条件の少なくとも一方から、互いに異なる複数の検索条件を生成する生成処理を行う。検索条件は、表示部１１８に関連画像（即ち、検索キー画像を用いて検索された画像）として表示する画像の数（本実施形態では、３つ）だけ、画像の特徴量及び撮像条件に含まれる情報を組み合わせて生成される。本実施形態では、検索キー画像の色情報及び顔情報の両方を含む検索条件と、検索キー画像の色情報のみを含む検索条件と、検索キー画像の顔情報のみを含む検索条件との３つの検索条件を生成するものとする。
【００５９】
次に、Ｓ８１８において、システム制御部１２４は、Ｓ８１６で生成された複数の検索条件のそれぞれについて、Ｓ８０８で設定された検索キー画像を除く画像から検索条件に一致又は類似する関連画像を検索する検索処理を行う。上述したように、本実施形態では、検索キー画像の色情報及び顔情報の両方を含む検索条件と、検索キー画像の色情報のみを含む検索条件と、検索キー画像の顔情報のみを含む検索条件が生成されている。従って、関連画像として、検索キー画像の色情報及び顔情報に類似又は一致する画像、検索キー画像の色情報のみに類似又は一致する画像、及び、検索キー画像の顔情報のみに類似又は一致する画像が検索される。ここで、複数の検索条件（本実施形態では３つ）のうち、１つの検索条件での検索処理が実行されて、検索結果として１つの関連画像が検索されると、その画像の特徴量及び／又は撮像条件を取得する。そして、まだ検索処理が実行されていない他の検索条件を、検索済みの関連画像から取得した画像の特徴量及び／又は撮像条件に基づいて調整し、調整した検索条件で残りの検索処理を行う場合もある。例えば、ある検索条件によって、検索キー画像と同一の撮像日、且つ、類似度が極めて高い画像が検索された場合、他の検索条件で検索される画像に、検索キー画像と同一の撮像日、且つ、類似度が極めて高い画像が含まれる可能性を低減するように調整する。全ての検索条件に対して検索結果（関連画像）を取得すると、Ｓ８２０に移行する。
【００６０】
Ｓ８２０において、システム制御部１２４は、Ｓ８１８で検索された画像が複数の検索条件のそれぞれについて表示部１１８に表示されるように制御する表示制御処理を行う。具体的には、Ｓ８１８で検索された関連画像を検索条件ごとに割り当てられた表示部１１８の所定の位置に表示する。本実施形態では、図９（ａ）に示すように、表示部１１８の中央下位置に検索キー画像の色情報及び顔情報の両方を含む検索条件で検索された関連画像９０６が表示される。また、表示部１１８の右位置に検索キー画像の色情報のみを含む検索条件で検索された関連画像９０８が表示される。更に、表示部１１８の中央上位置に検索キー画像の顔情報のみを含む検索条件で検索された関連画像９１０が表示される。なお、一手前画像９０２、検索キー画像９０４、関連画像９０６、９０８及び９１０のそれぞれの色情報及び顔情報を明示した図を図９（ｂ）に示す。但し、図９（ｂ）は、表示部１１８に実際に表示されるものではなく、内部的に使用される画像の特徴量である色情報及び顔情報を可視化したものである。
【００６１】
また、Ｓ８１８の検索処理において、１つの検索条件に対して複数の画像が検索された場合には、かかる複数の画像から１つの画像をランダムで選択して表示部１１８に表示すればよい。これにより、１つの検索条件に対して様々な画像を表示することが可能となる。なお、１つの検索条件に対して１つの画像を検索するように、Ｓ８１８の検索処理を行うことも可能である。
【００６２】
また、時間的に連続して撮像された連写画像に対しては検索処理（Ｓ８１８）を行うことを制限してもよい。例えば、関連画像として連写画像を繰り返して表示部１１８に表示してもユーザにとってメリットはない。そこで、連写画像については代表画像に対して検索処理を行うことで、Ｓ８２０の表示制御処理において、連写画像が繰り返して表示されることを抑制することが可能となる。なお、連写画像であるかどうかの判定方法には、当業界で周知のいかなる判定方法をも適用することができる。例えば、以下の３つの方法がある。１つ目の方法は、画像の属性情報に記録された、１組の連写画像であることを示す識別子によって１組の連写画像であると判定する方法である。２つ目の方法は、画像の撮像日時が閾値以上に近い複数の画像を１組の連写画像と判定する方法である。３つ目の方法は、画像の撮像日時が閾値以上に近く、且つ、属性情報に記録された撮像条件のうち、連写撮像では変更されない特定の撮像条件が同一である複数の画像を１組の連写画像と判定する方法である。
【００６３】
次に、Ｓ８２２において、システム制御部１２４は、操作入力があったかどうかを判定する。なお、操作入力とは、ユーザによる操作部の操作や電源部１４０の電圧低下などを知らせるイベントなどが含まれる。操作入力がないと判定された場合には、操作入力があるまで、Ｓ８２２を繰り返す。一方、操作入力があったと判定された場合には、Ｓ８２４に移行する。
【００６４】
Ｓ８２４において、システム制御部１２４は、操作入力が関連画像再生の終了を指示する操作入力であるかどうかを判定する。ここで、関連画像再生の終了を指示する操作入力とは、ユーザが、操作部を介して、関連画像再生終了ボタンを押した（選択した）場合などである。操作入力が関連画像再生の終了を指示する操作入力であると判定された場合には、関連画像再生処理を終了する。一方、操作入力が関連画像再生の終了を指示する操作入力ではないと判定された場合には、Ｓ８２６に移行する。
【００６５】
Ｓ８２６において、システム制御部１２４は、操作入力が画像の選択を指示する操作入力であるかどうかを判定する。ここで、画像の選択とは、Ｓ８１０及びＳ８２０で表示部１１８に表示された一手前画像及び関連画像からユーザが１つの画像を選択することを意味する。具体的には、ユーザは、図９（ａ）において、一手前画像９０２、関連画像９０６、９０８及び９１０の配置関係と同じ配置関係を有する十字ボタン１３２の左ボタン、下ボタン、上ボタン及び右ボタンのいずれかを指定することで、画像を選択する。また、表示部１１８にはタッチパネルが設けられているため、ユーザは、表示部１１８に表示された一手前画像９０２、関連画像９０６、９０８及び９１０のいずれかをタッチすることで、画像を選択することも可能である。操作入力が画像の選択を指示する操作入力ではないと判定された場合には、Ｓ８２８に移行して、システム制御部１２４は、操作入力に対応する処理を行う。なお、Ｓ８２８で行う操作入力に対応する処理としては、例えば、以下の４つの処理がある。１つ目の処理は、Ｓ８２２で判定された操作入力が検索キー画像を拡大する操作入力であった場合に、表示部１１８の中央に表示された検索キー画像を拡大して表示する処理である。検索キー画像を拡大する操作入力は、操作部の１つとしてのズームレバーで行うようにすることが好ましい。ズームレバーは、撮像モードにおいては光学ズーム又は電子ズームの指示に、再生モードにおいては再生している画像の拡大又は縮小の指示に用いる操作部材である。２つ目の処理は、Ｓ８２２で判定された操作入力がメニューボタンの押下であった場合に、メニュー画面を表示部１１８に表示し、各種設定操作を受け付ける処理である。３つ目の処理は、Ｓ８２２で判定された操作入力が検索キー画像に対する回転処理（回転、トリミング、リサイズなど）を指示する操作入力であった場合に、その指示に応じた処理を検索キー画像に施す処理である。４つ目の処理は、Ｓ８２２で判定された操作入力が検索キー画像に対して属性情報の付与又は削除を指示する操作入力であった場合に、その指示に応じて検索キー画像の属性を変更する処理である。なお、属性情報は、例えば、お気に入り度、キーワード、分類情報、プロテクト属性、印刷指定属性等を含む。一方、操作入力が画像の選択を指示する操作入力であると判定された場合には、Ｓ８３０に移行する。
【００６６】
Ｓ８３０において、システム制御部１２４は、表示部１１８に表示された複数の画像（一手前画像及び関連画像）から、ユーザの操作に応じて１つの画像を選択する選択処理を行う。
【００６７】
次いで、Ｓ８３２において、システム制御部１２４は、Ｓ８３０で選択された画像を新たな検索キー画像として設定する設定処理を行う。次に、Ｓ８３４において、システム制御部１２４は、直前の検索キー画像（即ち、Ｓ８３２で新たなキー画像を設定する前の検索キー画像）を新たな一手前画像として設定する。Ｓ８３２及びＳ８３４で新たな検索キー画像及び新たな一手間画像が設定されると、Ｓ８１０に移行する。従って、新たな検索キー画像を用いて、取得処理（Ｓ８１４）、生成処理（Ｓ８１６）、検索処理（Ｓ８１８）、表示制御処理（Ｓ８２０）、選択処理（Ｓ８３０）及び設定処理（Ｓ８３２）が繰り返し行われる。
【００６８】
本実施形態の撮像装置１００によれば、検索キー画像を用いて検索された複数の関連画像うち、ユーザの操作に応じて選択された１つの関連画像を新たな検索キー画像として設定することによって、画像の検索を継続して（繰り返し）行うことができる。この際、ユーザは、キーワードや検索条件を入力する必要はなく、興味に応じて画像を選択するだけで、かかる興味に応じた画像が検索及び表示される。従って、撮像装置１００は、従来技術と比較して、画像の検索の効率や操作性（ユーザビリティ）を向上させることができる。
【００６９】
また、撮像装置１００では、画像の検索を繰り返し行う際に、選択処理において選択された画像の検索条件を記憶し、かかる検索条件を次の検索時の生成処理において優先的に生成することによって、ユーザの興味をより反映させた検索を行うことも可能である。
例えば、検索キー画像の特徴量及び撮像条件を「色＝赤」、「人数＝集合写真」とし、「検索条件＝集合写真」に対して検索された関連画像をユーザが選択した場合を考える。この場合、かかる関連画像を検索キー画像として次の検索を行う際に、検索条件として「検索条件＝集合写真」を優先的に生成することで、集合写真を閲覧したいというユーザの興味に対応することができる。
【００７０】
また、撮像装置１００では、関連画像再生処理において様々な画像を検索及び表示するために、厳しさの異なる検索条件を生成することも可能である。具体的には、検索キー画像と一致又は類似するレベルが異なる画像を検索する第１の検索条件、第２の検索条件及び第３の検索条件を生成すればよい。例えば、第１の検索条件は、検索キー画像と一致又は類似するレベルが最も高いレベル（第１のレベル）となるように、検索キー画像の特徴量及び撮像条件の少なくとも一方を最も多く（第１の数だけ）含む。また、第２の検索条件は、検索キー画像と一致又は類似するレベルが第１のレベルよりも低い第２のレベルとなるように、検索キー画像の特徴量及び撮像条件の少なくとも一方を第１の数よりも少ない第２の数だけ含む。また、第３の検索条件は、検索キー画像と一致又は類似するレベルが第２のレベルよりも低い第３のレベルとなるように、検索キー画像の特徴量及び撮像条件の少なくとも一方を第２の数よりも少ない第３の数だけ含む。
【００７１】
また、本実施形態では、表示部１１８に表示される複数の画像（一手前画像、検索キー画像、関連画像）の配置関係が十字ボタン１３２の配置関係と同じになるようにして、ユーザが関連画像を選択する際の操作性を高めている。その際、複数の検索条件のそれぞれで検索された画像が表示部１１８において常に同じ配置関係となるようにすることも可能である。特に、画像送りにおいては、十字ボタン１３２の右ボタンに送りボタン、十字ボタン１３２の左ボタンに戻りボタンの機能を割り当てることが多いため、画像を閲覧する際に、ユーザは右ボタンを多く押す（選択する）傾向がある。そこで、十字ボタン１３２の右ボタンに対応する表示部１１８の右位置に、上述した第１の検索条件で検索された画像が常に表示されるようにする。これにより、通常の画像送りと同じようにユーザが右ボタンを繰り返し押した場合には、検索条件の変動が少ないため、最初の検索キー画像に似た画像を閲覧し続けることが可能となる。一方、十字ボタン１３２の右ボタンに対応する表示部１１８の右位置に、上述した第１の検索条件で検索された画像が常に表示されないようにすることも可能である。これにより、通常の画像送りと同じようにユーザが右ボタンを繰り返し押した場合に、検索条件の変動を大きくして、様々な画像を閲覧することが可能となる。
【００７２】
なお、図６を参照して説明した関連画像再生の可否判定処理を、静止画像撮像モード及び／又は動画像モードに遷移した時と、静止画像撮像モード及び／又は動画像撮像モードで静止画像又は動画像を撮像して画像ファイルが１つ生成されるたびに行ってもよい。そして、関連画像再生可能フラグが有効であるか無効であるかに応じて、関連画像再生が可能であるか不可能であるか、不可能な場合にはあと何枚の画像が必要であるかを識別可能な表示を静止画像撮像モード及び／又は動画像撮像モードにおいて表示してもよい。これにより、ユーザは現状で関連画像再生を行えるのかどうか、関連画像再生を行えない場合にはあと何枚の画像を撮像すれば関連画像再生が行えるようになるのかを撮像時に知ることができ、これ以上の撮像を行うべきかどうかの判断の助けとなる。
【００７３】
また、本実施形態においては、本発明をデジタルカメラに適用した場合を例として説明したが、これに限定されるものではない。例えば、本発明は、パーソナルコンピュータ、ＰＤＡ、携帯電話端末、携帯型画像ビューワ及びプリンタなど、複数の画像を同時に表示するように制御可能な表示装置を備えるものに適用することができる。
【００７４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び、かかるプログラムを記憶した記憶媒体は本発明を構成することになる。
【００７５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
【技術分野】
【０００１】
本発明は、画像検索装置、制御方法、プログラム及び記憶媒体に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの撮像装置においては、記録媒体の進歩に伴って大量の画像を記録することが可能となり、かかる大量の画像を効率的に検索及び閲覧する技術が求められている。そこで、大量の画像を検索及び閲覧する際に、多数の縮小画像を表示する技術や入力された検索条件に一致又は類似する画像を表示する技術の他に、画像に付帯された情報から検索条件を生成して画像を検索及び表示する技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−２７１８０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、多数の縮小画像を表示する技術は、多量の画像を素早く閲覧することはできるが、特定の画像を検索することができない。また、入力された検索条件に一致又は類似する画像を表示する技術は、画像を検索する度に検索条件を入力するなどの煩雑な操作が必要となる。また、特許文献１に開示された技術は、最初に画像を検索する際にはキーワードなどの入力が必要となることに加えて、検索条件による画像の検索を継続すること（即ち、検索を繰り返し行うこと）については何ら考慮されていない。このように、従来技術は、画像を効率的に検索することができなかったり、ユーザにとって操作の負担が大きかったりするなどして、操作性（ユーザビリティ）を著しく欠いていた。
【０００５】
本発明は、このような従来技術の課題に鑑みてなされ、画像の検索の効率や操作性（ユーザビリティ）の向上に有利な技術を提供することを例示的目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の一側面としての画像検索装置は、画像を検索する画像検索装置であって、複数の画像のうち、検索条件を生成するために設定された検索キー画像から、前記検索キー画像の特徴量及び前記検索キー画像の撮像条件の少なくとも一方を取得する取得処理を行う取得手段と、前記取得手段によって取得された前記特徴量及び前記撮像条件の少なくとも一方から、互いに異なる複数の検索条件を生成する生成処理を行う生成手段と、前記生成手段によって生成された前記複数の検索条件のそれぞれについて、前記検索キー画像を除く前記複数の画像から当該検索条件に一致又は類似する画像を検索する検索処理を行う検索手段と、前記検索手段によって検索された複数の画像が前記複数の検索条件のそれぞれについて表示手段に表示されるように制御する表示制御処理を行う表示制御手段と、前記表示手段に表示された複数の画像から、ユーザの操作に応じて１つの画像を選択する選択処理を行う選択手段と、前記選択手段によって選択された画像を新たな検索キー画像として設定する設定処理を行う設定手段と、前記設定手段によって前記新たな検索キー画像が設定されると、当該新たな検索キー画像を用いて、前記取得処理、前記生成処理、前記検索処理、前記表示制御処理、前記選択処理及び前記設定処理が繰り返し行われるように、前記取得手段、前記生成手段、前記検索手段、前記表示制御手段、前記選択手段及び前記設定手段を制御する制御手段と、を有することを特徴とする。
【０００７】
本発明の更なる目的又はその他の側面は、以下、添付図面を参照して説明される好ましい実施形態によって明らかにされるであろう。
【発明の効果】
【０００８】
本発明によれば、例えば、画像の検索の効率や操作性（ユーザビリティ）の向上に有利な技術を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一側面としての画像検索装置として機能する撮像装置を示す概略外観図である。
【図２】図１に示す撮像装置の構成を示す概略ブロック図である。
【図３】図１に示す撮像装置の動作を説明するためのフローチャートである。
【図４】記録媒体に記録される画像ファイル（静止画像ファイル）の構成例を示す図である。
【図５】図３に示すＳ３１６の再生処理を詳細に説明するためのフローチャートである。
【図６】図５に示すＳ５１８の関連画像再生の可否判定処理を詳細に説明するためのフローチャートである。
【図７】図１に示す撮像装置の表示部における表示例を示す図である。
【図８】図５に示すＳ５３２の関連画像再生処理を詳細に説明するためのフローチャートである。
【図９】図１に示す撮像装置の表示部における表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施の形態について説明する。なお、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
【００１１】
図１は、本発明の一側面としての画像検索装置として機能する撮像装置１００を示す概略外観図である。図２は、撮像装置１００の構成を示す概略ブロック図である。撮像装置１００は、被写体を撮像する撮像装置であって、本実施形態では、デジタルカメラとして具現化される。また、撮像装置１００は、撮像した画像に対応する画像データ（画像ファイル）を、撮像装置１００に接続された記録媒体２００に記録すると共に、記録媒体２００に記録された画像データ（画像ファイル）に対応する画像を表示（再生）する。なお、記録媒体２００は、メモリカードやハードディスクなどで構成され、各種データを記録する。記録媒体２００は、撮像装置１００のスロットに収納されることで、インタフェース（Ｉ／Ｆ）を介して、撮像装置１００との通信が可能となる。
【００１２】
撮像装置１００は、図１及び図２に示すように、撮像光学系１０２と、シャッター部１０４と、撮像部１０６と、バリア部１０８と、Ａ／Ｄ変換部１１０と、画像処理部１１２と、メモリ１１４と、Ｄ／Ａ変換部１１６と、表示部１１８とを有する。また、撮像装置１００は、メモリ制御部１２０と、不揮発性メモリ１２２と、システム制御部１２４と、システムメモリ１２６とを有する。更に、撮像装置１００は、モード切替スイッチ１２８と、シャッターボタン１３０と、十字ボタン１３２と、ホイール１３４と、電源スイッチ１３６と、電源制御部１３８と、電源部１４０とを有する。
【００１３】
撮像光学系１０２は、撮像レンズやフォーカスレンズなどを含み、被写体からの光を撮像部１０６の撮像面に結像する（即ち、光学像を形成する）。シャッター部１０４は、本実施形態では、絞り機能を有する。撮像部１０６は、ＣＣＤやＣＭＯＳ素子（光電変換素子）などで構成され、撮像光学系１０２によって形成された光学像を電気信号に変換する。バリア部１０８は、撮像光学系１０２、シャッター部１０４及び撮像部１０６を含む撮像系をカバーして、撮像系への汚れの付着や撮像系の破損を防止する。Ａ／Ｄ変換部１１０は、アナログ信号をデジタル信号に変換する機能を有し、本実施形態では、撮像部１０６から出力されるアナログ信号をデジタル信号に変換する。
【００１４】
画像処理部１１２は、Ａ／Ｄ変換部１１０から入力されるデータ又はメモリ制御部１２０から入力されるデータに対して、画素補間や縮小などのリサイズ処理や色変換処理を行う。また、画像処理部１１２は、撮像した画像を用いて所定の演算処理を行い、演算結果をシステム制御部１２４に出力する。システム制御部１２４は、画像処理部１１２からの演算結果に基づいて、露光制御及び焦点検出制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理及びＥＦ（フラッシュプリ発光）処理が行われる。更に、画像処理部１１２は、撮像した画像を用いて所定の演算処理を行い、かかる演算結果に基づいて、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も実行する。
【００１５】
メモリ１１４は、画像処理部１１２及びメモリ制御部１２０を介して、或いは、メモリ制御部１２０を介して、Ａ／Ｄ変換部１１０から出力されるデータを格納する。例えば、メモリ１１４は、撮像部１０６から出力されてＡ／Ｄ変換部１１０でデジタル信号に変換された画像データ（静止画像データや動画像データ）や表示部１１８に表示するため（即ち、画像表示用）の画像データなどを格納する。従って、メモリ１１４は、所定枚数の静止画像データや所定時間の動画像データ及び音声データを格納することが可能な記憶容量を備える。なお、メモリ１１４は、画像表示用のメモリ（ビデオメモリ）としても機能する。
【００１６】
Ｄ／Ａ変換部１１６は、メモリ１１４に格納されている画像表示用の画像データをアナログ信号に変換して、表示部１１８に供給する。表示部１１８は、ＬＣＤ等の表示素子を有し、Ｄ／Ａ変換部１１６から供給されるアナログ信号に応じた画像や撮像装置１００に関する各種情報を表示する。
【００１７】
メモリ制御部１２０は、メモリ１１４に格納されるデータ（画像データなど）及びメモリ１１４から読み出されるデータを制御する。不揮発性メモリ１２２は、電気的にデータを消去及び記録可能なメモリであって、例えば、ＥＥＰＲＯＭなどを含む。不揮発性メモリ１２２は、システム制御部１２４の動作用の定数やプログラム（後述する種々のフローチャートを実行するためのプログラム）などを格納（記録）する。
【００１８】
システム制御部１２４は、撮像装置１００の全体を制御する。システム制御部１２４は、不揮発性メモリ１２２に格納されたプログラムを実行して、本実施形態の各処理を実現する。例えば、システム制御部１２４は、メモリ１１４、Ｄ／Ａ変換部１１６及び表示部１１８などを制御して表示制御を行う。システムメモリ１２６は、例えば、ＲＡＭで構成され、システム制御部１２４の動作用の定数や変数、不揮発性メモリ１２２から読み出したプログラム等を展開する。
【００１９】
モード切替スイッチ１２８、シャッターボタン１３０、十字ボタン１３２、ホイール１３４及び電源スイッチ１３６などを含む複数のスイッチやボタンは、ユーザの操作を受け付ける（システム制御部１２４に各種の動作指示を入力する）操作部として機能する。また、操作部は、表示部１１８に設けられたタッチパネルも含む。タッチパネルには、表示部１１８に表示される種々の機能アイコンを選択（操作）することによって、適宜機能が割り当てられる。換言すれば、タッチパネルは、終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞り込みボタン、属性変更ボタン、関連画像再生ボタンなどの機能ボタンとして機能する。例えば、メニューボタンが押された場合、各種設定を可能とするメニュー画面が表示部１１８に表示される。これにより、ユーザは、表示部１１８に表示されたメニュー画面と、十字状に配置された上ボタン、下ボタン、左ボタン及び右ボタンを含む十字ボタン１３２やセットボタンとを用いて、直感的に各種設定を行うことができる。
【００２０】
モード切替スイッチ１２８は、撮像装置１００（システム制御部１２４）の動作モードを切り替えるためのスイッチである。本実施形態では、撮像装置１００の動作モードを静止画像撮像モード、動画像撮像モード、再生モードなどに切り替えることが可能である。
【００２１】
シャッターボタン１３０は、被写体の撮像を指示するためのボタンであって、第１のシャッタースイッチ１３０ａと、第２のシャッタースイッチ１３０ｂとを含む。第１のシャッタースイッチ１３０ａは、シャッターボタン１３０の操作途中（半押し）でＯＮ状態となり、第１のシャッタースイッチ信号ＳＷ１を生成して、システム制御部１２４に供給する。なお、システム制御部１２４は、第１のシャッタースイッチ１３０ａから供給される第１のシャッタースイッチ信号ＳＷ１によって、ＡＦ処理、ＡＥ処理、ＥＦ処理などを開始する。第２のシャッタースイッチ１３０ｂは、シャッターボタン１３０の操作完了（全押し）でＯＮ状態となり、第２のシャッタースイッチ信号ＳＷ２を生成して、システム制御部１２４に供給する。なお、システム制御部１２４は、第２のシャッタースイッチ１３０ｂから供給される第２のシャッタースイッチ信号ＳＷ２によって、撮像部１０６からの画像の読み出しから記録媒体２００に画像データを記録するまでの一連の撮像処理を開始する。
【００２２】
ホイール１３４は、回転可能な部材であって、表示部１１８に表示された選択項目を指示する際などに十字ボタン１３２と共に使用される。ホイール１３４は、回転量に応じて電気的なパルス信号を生成して、システム制御部１２４に供給する。システム制御部１２４は、ホイール１３４から供給されるパルス信号に基づいて、撮像装置１００の各部を制御する。なお、ホイール１３４は、ユーザの回転操作を検出することができればどのような部材であってもよい。例えば、ホイール１３４は、ユーザの回転操作に応じてホイール自体が回転してパルス信号を生成するダイヤル部材であってもよいし、ホイール自体は回転せず、ホイール上でのユーザの回転操作を検出するタッチホイールであってもよい。
【００２３】
電源スイッチ１３６は、撮像装置１００の電源状態を電源ＯＮの状態又は電源ＯＦＦの状態に切り替えるためのスイッチである。電源制御部１３８は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路などを含み、電源部１４０における電池の装着の有無、電池の種類、電池の残容量を検出する。また、電源制御部１３８は、電源部１４０における検出結果及びシステム制御部１２４からの指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む撮像装置１００の各部に供給する。電源部１４０は、アルカリ電池やリチウム電池などの一次電池、ＮｉＣｄ電池、ＮｉＭＨ電池やＬｉ電池などの二次電池、ＡＣアダプターなどを着脱可能に保持して、電圧（直流電圧）を出力する。
【００２４】
撮像装置１００では、中央１点ＡＦや顔ＡＦを用いて、被写体を撮像することが可能である。中央１点ＡＦとは、撮像画面内の中央位置の１点に対してＡＦを行うことであり、顔ＡＦとは、顔検出処理によって検出された撮像画面内の顔に対してＡＦを行うことである。また、撮像装置１００は、顔ＡＦと同時に、顔ＡＥ、顔ＦＥ及び顔ＷＢを行うこともできる。顔ＡＥとは、顔検出処理によって検出された顔の明るさに応じて、撮像画面全体の露出を最適化することである。顔ＦＥとは、顔検出処理によって検出された顔を中心としてフラッシュの調光を行うことである。顔ＷＢとは、顔検出処理によって検出された顔の色に応じて、撮像画面全体のＷＢを最適化することである。
【００２５】
ここで、顔検出処理について簡単に説明する。顔検出処理では、まず、システム制御部１２４が顔検出対象の画像データを画像処理部１１２に入力する。画像処理部１１２は、システム制御部１２４の制御下で、入力された画像データに対して水平方向バンドパスフィルタ及び垂直方向バンドパスフィルタを作用ささせて、画像データからエッジ成分を検出する。システム制御部１２４は、画像処理部１１２によって検出されたエッジ成分に対してパターンマッチングを行い、目、鼻、口及び耳の候補群を抽出する。また、システム制御部１２４は、抽出された候補群のうち、予め設定された条件（例えば、２つの目の距離や傾きなど）を満たすものを目と判断して、目の候補群として絞り込む。更に、システム制御部１２４は、絞り込まれた目の候補群とそれに対応する顔の他のパターン（鼻、口、耳）とを対応させ、予め設定した非顔条件フィルタを作用させることで顔を検出する。そして、システム制御部１２４は、顔の検出結果に応じて顔情報を生成して、顔検出処理を終了する。なお、顔情報は、例えば、顔の数、位置及びサイズなどを含み、画像（画像データ）の特徴量として画像データに関連付けてメモリ１１４や記録媒体２００に格納される。
【００２６】
このように、撮像装置１００では、ライブビュー表示、或いは、再生（表示）される画像に対応する画像データを解析し、顔情報などの画像データの特徴量を検出することができる。
【００２７】
以下、撮像装置１００の全体的な動作について説明する。図３は、撮像装置１００の動作を説明するためのフローチャートである。電源スイッチ１３６が操作されて撮像装置１００の電源状態が電源ＯＦＦの状態から電源ＯＮの状態になると、撮像装置１００は動作を開始する。
【００２８】
まず、Ｓ３０２において、システム制御部１２４は、フラグや制御変数等を初期化する。次いで、Ｓ３０４において、システム制御部１２４は、記録媒体２００に記録されているファイルに関する管理処理（ファイル管理処理）を行う。本実施形態では、システム制御部１２４は、再生対象のディレクトリの有無、再生対象の画像データ（画像ファイル）の有無、再生対象の画像データのパス名リスト、記録媒体２００に記録された画像の総数の情報を取得し、システムメモリ１２６に格納する。
【００２９】
次に、Ｓ３０６、Ｓ３０８及びＳ３１０において、システム制御部１２４は、撮像装置１００の動作モード（即ち、モード切替スイッチ１２８によって設定された動作モード）を判別する。具体的には、Ｓ３０６において、システム制御部１２４は、撮像装置１００の動作モードが静止画像撮像モードであるかどうかを判別する。撮像装置１００の動作モードが静止画像撮像モードであると判別された場合には、Ｓ３１２に移行して、システム制御部１２４は、静止画像撮像処理を行う。また、撮像装置１００の動作モードが静止画像撮像モードではないと判別された場合には、Ｓ３０８に移行して、システム制御部１２４は、撮像装置１００の動作モードが動画像撮像モードであるかどうかを判別する。撮像装置１００の動作モードが動画像撮像モードであると判別された場合には、Ｓ３１４に移行して、システム制御部１２４は、動画像撮像処理を行う。また、撮像装置１００の動作モードが動画像撮像モードではないと判別された場合には、Ｓ３１０に移行して、システム制御部１２４は、撮像装置１００の動作モードが再生モードであるかどうかを判別する。撮像装置１００の動作モードが再生モードであると判別された場合には、Ｓ３１６に移行して、システム制御部１２４は、再生処理を行う。なお、Ｓ３１６の再生処理については後で詳細に説明する。また、撮像装置１００の動作モードが再生モードではない（即ち、静止画像撮像モード、動画像撮像モード及び再生モード以外のその他のモードである）と判別された場合には、Ｓ３１８に移行して、システム制御部１２４は、その他のモードに応じた処理を行う。ここで、その他のモードとしては、例えば、記録媒体２００に記録されたファイルを送信する送信モード、外部機器からファイルを受信して記録媒体２００に記録する受信モードなどがある。モード切替スイッチ１２８によって設定された動作モードに対応した処理（Ｓ３１２、Ｓ３１４、Ｓ３１６又はＳ３１８の処理）を行うと、Ｓ３２０に移行する。
【００３０】
Ｓ３２０において、システム制御部１２４は、電源スイッチ１３６が操作されて撮像装置１００の電源状態が電源ＯＮの状態から電源ＯＦＦの状態になったかどうかを判別する。撮像装置１００の電源状態が電源ＯＦＦの状態になっていない（電源ＯＮの状態を維持している）と判別された場合には、Ｓ３０６（Ｓ３０６乃至Ｓ３１０における撮像装置１００の動作モードの判別）に移行する。また、撮像装置１００の電源状態が電源ＯＦＦの状態になったと判別された場合には、Ｓ３２２に移行して、システム制御部１２４は、終了処理を行う。終了処理は、例えば、表示部１１８の表示を終了する処理、バリア部１０８で撮像系を保護する処理、フラグや制御変数などを含むパラメータや設定値を不揮発性メモリ１２２に記録する処理、電源供給が不要な構成要素への電源供給を停止する処理を含む。Ｓ３２２の終了処理が完了すると、撮像装置１００は動作を終了する。
【００３１】
図４を参照して、Ｓ３１２の静止画像撮像処理を行うことで記録媒体２００に記録される画像ファイル（静止画像ファイル）の構成について説明する。図４に示すように、画像ファイル４００は、先頭に画像ファイルの開始を示すマーカ（ＳＯＩ）４１０を有する。また、画像ファイル４００は、マーカ４１０の後にヘッダに相当する第１のアプリケーションマーカ（ＡＰＰ１）４２０及び第２のアプリケーションマーカ（ＡＰＰ１）４３０を有する。更に、画像ファイル４００は、画像ファイルの最後を示すマーカ（ＥＯＩ）４９０を有する。
【００３２】
第１のアプリケーションマーカ４２０は、サイズ（ＡＰＰ１ Ｌｅｎｇｔｈ）４２１、アプリケーションマーカがＥｘｉｆであることを示す識別コード（ＡＰＰ１ Ｉｄｅｎｔｉｆｉｅｒ Ｃｏｄｅ）４２２を含む。また、第１のアプリケーションマーカ４２０は、画像データの作成日時（Ｄａｔｅ Ｔｉｍｅ）４２３、画像データが生成された日時（Ｄａｔｅ Ｔｉｍｅ Ｏｒｉｇｉｎａｌ）４２４を含む。更に、第１のアプリケーションマーカ４２０は、画像データの色情報（ＣｏｌｏｒＩｎｆｏ）４２５、画像データの顔情報（ＦａｃｅＩｎｆｏ）４２６、その他の撮像情報（．．．Ｅｔｃ．）４２７、サムネイル画像（Ｔｈｕｍｂｎａｉｌ Ｄａｔａ）４２８を含む。
【００３３】
第２のアプリケーションマーカ４３０は、サイズ（ＡＰＰ１ Ｌｅｎｇｔｈ）４３１、アプリケーションマーカがＸＭＰであることを示す識別コード（ＡＰＰ１ Ｉｄｅｎｔｉｆｉｅｒ Ｃｏｄｅ）４３２を含む。また、第２のアプリケーションマーカ４３０は、お気に入り度（Ｒａｔｉｎｇ）４３３、メタデータ変更日時（ＭｅｔａＤａｔａＤａｔｅ）４３４、その他の撮像情報（．．．Ｅｔｃ．）４３５を含む。
【００３４】
また、画像ファイル４００に記録される画像データは、量子化テーブル（ＤＱＴ）４４０、ハフマンテーブル（ＤＨＴ）４５０、フレーム開始マーカ（ＳＯＦ）４６０を含む。更に、画像ファイル４００に記録される画像データは、スキャン開始マーカ（ＳＯＳ）４７０、圧縮データ（Ｃｏｍｐｒｅｓｓｅｄ ｄａｔａ）４８０を含む。
【００３５】
図３に示すＳ３１６の再生処理について説明する。図５は、Ｓ３１６の再生処理を詳細に説明するためのフローチャートである。なお、再生処理は、モード切替スイッチ１２８が操作されて他のモードに切り替わった場合や電源スイッチ１３６が操作されて撮像装置１００の電源状態が電源ＯＦＦの状態になった場合に、割り込み処理等によって終了する。
【００３６】
まず、Ｓ５０２において、システム制御部１２４は、記録媒体２００から、記録媒体２００に記録されている画像（画像データ）の最新の画像情報を取得する。次に、Ｓ５０４において、システム制御部１２４は、記録媒体２００から最新の画像情報が正しく取得されたかどうかを判定する。最新の画像情報が正しく取得されていないと判定された場合には、Ｓ５０６以降において、システム制御部１２４は、画像なし時の入力待ち状態となる。なお、最新の画像情報が正しく取得されていない場合とは、記録媒体２００に記録されている画像が１つもないような状態や記録媒体２００の不良によって画像情報が取得できないような状態などが考えられる。一方、最新の画像情報が正しく取得されたと判定された場合には、Ｓ５１２に移行する。なお、記録媒体２００に少なくとも１つの画像が記録されていれば、画像情報を取得することが可能である。
【００３７】
Ｓ５０６において、システム制御部１２４は、最新の画像情報が正しく取得されていない（記録媒体２００に画像が記録されていない）ことをユーザに通知する。例えば、システム制御部１２４は、「画像がありません」というメッセージを表示部１１８に表示する。次いで、Ｓ５０８において、システム制御部１２４は、操作入力があったかどうかを判定する。なお、操作入力とは、ユーザによる操作部の操作や電源部１４０の電圧低下などを知らせるイベントなどが含まれる。操作入力がないと判定された場合には、操作入力があるまで、Ｓ５０８を繰り返す。また、操作入力があったと判定された場合には、Ｓ５１０に移行し、システム制御部１２４は、操作入力に対応する処理を行う。例えば、記録媒体２００に画像が記録されていなくても、メニューボタンの操作入力がされた場合には、メニュー画面を表示部１１８に表示して、ユーザが設定変更などを行えるようにする。
【００３８】
Ｓ５１２において、システム制御部１２４は、Ｓ５０２で取得した最新の画像情報に基づいて、記録媒体２００から最新の画像データを読み込む。次に、Ｓ５１４において、システム制御部１２４は、ファイル解析処理を行って、Ｓ５１２で読み込んだ最新の画像データにおける画像の特徴量や撮像条件を取得する。
【００３９】
次に、Ｓ５１６において、システム制御部１２４は、Ｓ５１２で読み込んだ最新の画像データに対応する画像を表示部１１８に表示する。この際、Ｓ５１４のファイル解析処理によって取得した画像の特徴量や撮像条件を表示部１１８に表示してもよい。また、Ｓ５１４のファイル解析処理において、画像データの一部が壊れているなどの画像データの不良が検出されれば、その旨（エラー）を表示する。
【００４０】
次いで、Ｓ５１８において、システム制御部１２４は、関連画像再生の可否判定処理を行う。ここで、関連画像再生とは、大量の画像を閲覧する際に、従来の画像送りのように特定の順番で再生（表示）するのではなく、ユーザの興味に応じて再生する再生モードである。関連画像再生では、現在再生している画像（検索キー画像）から生成される互いに異なる複数の検索条件に一致又は類似する画像を、検索キー画像と共に表示する。例えば、検索キー画像に含まれる人物の数と同じ数の人物を含む画像、検索キー画像と同じような色合いの画像、検索キー画像と同じ日に生成された画像などを検索して、検索キー画像と共に表示する。そして、検索された画像から、ユーザの操作に応じて選択された１つの画像を新たな検索キー画像として設定し、新たな検索キー画像を用いて画像の検索及び表示を行う。このように、関連画像再生は、大量の画像を完全にランダムに再生するのではなく、ユーザの興味、即ち、ユーザによって選択された画像（から生成される検索条件）に応じて再生することが可能である。なお、Ｓ５１８の関連画像再生の可否判定処理については図６を用いて後述する。
【００４１】
次に、Ｓ５２０において、システム制御部１２４は、操作入力があったかどうかを判定する。なお、操作入力とは、ユーザによる操作部の操作や電源部１４０の電圧低下などを知らせるイベントなどが含まれる。操作入力がないと判定された場合には、操作入力があるまで、Ｓ５２０を繰り返す。一方、操作入力があったと判定された場合には、Ｓ５２２に移行する。
【００４２】
Ｓ５２２において、システム制御部１２４は、操作入力が画像送りを指示する操作入力であるかどうかを判定する。ここで、画像送りを指示する操作入力とは、ユーザが、操作部を介して、画像送りボタンを押した（選択した）場合などである。操作入力が画像送りを指示する操作入力であると判定された場合には、Ｓ５２４に移行し、操作入力が画像送りを指示する操作入力ではないと判定された場合には、Ｓ５３０に移行する。
【００４３】
Ｓ５２４において、システム制御部１２４は、表示部１１８に表示する次の画像データを読み込む。画像送りボタンは、送り方向に応じた一対のボタン（例えば、十字ボタン１３２の左ボタン及び右ボタン）で構成され、操作されたボタンに対応する送り方向に応じて次の画像データが読み込まれる。次に、Ｓ５２６において、システム制御部１２４は、ファイル解析処理を行って、Ｓ５２４で読み込んだ次の画像データにおける画像の特徴量や撮像条件を取得する。次いで、Ｓ５２８において、システム制御部１２４は、Ｓ５２４で読み込んだ次の画像データに対応する画像を表示部１１８に表示して、Ｓ５１８に移行する。この際、Ｓ５２６のファイル解析処理によって取得した画像の特徴量や撮像条件を表示部１１８に表示してもよい。また、Ｓ５２６のファイル解析処理において、画像データの一部が壊れているなどの画像データの不良が検出されれば、その旨（エラー）を表示する。
【００４４】
Ｓ５３０において、システム制御部１２４は、操作入力が関連画像再生を指示する操作入力であるかどうかを判定する。ここで、関連画像再生を指示する操作入力とは、ユーザが、操作部を介して、関連画像再生ボタンを押した（選択した）場合などである。操作入力が関連画像再生を指示する操作入力であると判定された場合には、Ｓ５３２に移行し、システム制御部１２４は、関連画像再生処理を行う。関連画像再生処理については図８を用いて後述する。一方、操作入力が関連画像再生を指示する操作入力ではないと判定された場合には、Ｓ５３４に移行する。
【００４５】
Ｓ５３４において、システム制御部１２４は、操作入力に対応する処理を行う。なお、操作入力に対応する処理とは、例えば、画像（画像データ）の消去処理、画像の編集処理、マルチ再生（マルチ画像表示）への切替処理、メニューボタンによるメニュー画面の表示処理などである。なお、マルチ再生とは、画像データに対応する縮小画像を表示部１１８に複数並べて表示する再生モードである。
【００４６】
次に、Ｓ５３６において、システム制御部１２４は、記録媒体２００に画像が記録されているかどうかを判定する。記録媒体２００に画像が記録されていない（即ち、Ｓ５３４において画像の消去処理などが行われて画像が存在しない）と判定された場合には、Ｓ５３８に移行して、記録媒体２００に画像が記録されていないことをユーザに通知する。一方、記録媒体２００に画像が記録されていると判定された場合には、Ｓ５１８に移行する。
【００４７】
図５に示すＳ５１８の関連画像再生の可否判定処理について説明する。図６は、Ｓ５１８の関連画像再生の可否判定処理を詳細に説明するためのフローチャートである。
【００４８】
まず、Ｓ６０２において、システム制御部１２４は、Ｓ５１６で表示された画像（画像データ）が関連画像再生の対象画像であるかどうかを判定する。本実施形態では、動画像、及び、検索条件を生成するために必要となる画像の特徴量及び撮像条件を有していない画像は、関連画像再生の対象画像としない。換言すれば、Ｓ６０２では、Ｓ５１６で表示された画像が、動画像ではなく、且つ、画像の特徴量及び撮像条件の少なくとも一方を有している画像であるという条件（対象画像条件）を満たしているかどうかを判定する。なお、対象画像条件は、静止画像であり、且つ、画像の特徴量及び撮像条件の少なくとも一方を有している画像であるという条件としてもよい。また、Ｓ５１６で表示された画像の撮像条件のうち、かかる画像を撮像した撮像装置の機種情報が検索条件を生成するために必要となる画像の特徴量及び撮像条件を付加可能な機種を示す情報であることを対象画像条件の１つとしてもよい。
【００４９】
画像が関連画像再生の対象画像ではないと判定された場合には、Ｓ６０４において、システム制御部１２４は、メモリ１１４に格納されている関連画像再生選択可能フラグを無効にして、関連画像再生の可否判定処理を終了する。なお、関連画像再生選択可能フラグが無効である場合には、図７（ａ）に示すように、関連画像再生ボタンを操作（選択）することが不可能となる。図７（ａ）は、関連画像再生選択可能フラグが無効である場合の表示例であって、関連画像再生ボタンの形態（例えば、色）を他のボタン（例えば、ＷＢボタン、Ｐｒｉｎｔボタン）の形態と異ならせ、関連画像再生ボタンの操作が不可能であることを示している。一方、画像が関連画像再生の対象画像であると判定された場合には、Ｓ６０６に移行する。
【００５０】
Ｓ６０６において、システム制御部１２４は、メモリ１１４に格納されている関連画像再生選択可能フラグを有効にする。次いで、Ｓ６０８において、システム制御部１２４は、記録媒体２００に記録された画像のうち、対象画像条件を満たす画像の数をカウントする。なお、連写モード等によって時間的に連続して撮像された１組の連写画像については代表画像を１つとしてカウントするとよい。連写画像のそれぞれを関連画像再生の対象画像としてカウントすると、記録媒体２００に連写画像だけが記録されている場合であっても、関連画像再生が実行可能であるとしてしまう（即ち、Ｓ６１６及びＳ６１８が行われてしまう）からである。連写画像は画像の特徴量及び撮像条件が同じか類似している場合が多く、関連画像再生の対象として連写画像をバラバラにカウントしてしまうと、同一の連写で撮像された画像ばかりが再生されてしまう可能性が高く、好ましくない。また、Ｓ５３４において画像の編集処理が行われた画像は、編集処理前の画像に似た画像である可能性が高いため、編集処理前の画像と編集処理後の画像とを１つの画像とみなして（即ち、一連画像とみなして）カウントするとよい。但し、編集処理によって画像の特徴量が変更された場合には、編集処理前の画像と編集処理後の画像とを別々の画像としてカウントしてもよい。また、ブレ画像、非合焦画像、お気に入り度が−１（除去）画像は、関連画像再生において表示する必要がないと考え、関連画像再生の対象画像としてカウントしなくてもよい。
【００５１】
次いで、Ｓ６１０において、システム制御部１２４は、Ｓ６０８でカウントされた対象画像条件を満たす画像の数が閾値以上であるかどうかを判定する。なお、閾値は、関連画像再生処理において、表示部１１８に同時に表示される複数の関連画像に同一の画像が含まれないように、表示部１１８に同時に表示する複数の関連画像の数に応じて設定する。また、閾値が大きくなればなるほど、関連画像再生において画像を検索及び表示する際に同一の画像が表示される可能性が少なくなり、変化に富んだ面白みのある関連画像再生が可能となる。従って、関連画像再生処理において、表示部１１８に表示される画像の数に対して十分に大きな数（例えば、数十枚程度）を閾値として設定するとよい。
【００５２】
Ｓ６０８でカウントされた対象画像条件を満たす画像の数が閾値以上ではないと判定された場合には、Ｓ６１２に移行して、システム制御部１２４は、関連画像再生の実行不可能通知処理を行う。具体的には、図７（ｂ）に示すように、関連画像再生を実行することが不可能であることを表すアイコンＩＣを関連画像再生ボタンに重ねて表示する。次いで、Ｓ６１４において、システム制御部１２４は、メモリ１１４に格納されている関連画像再生実行可能フラグを無効にして、関連画像再生の可否判定処理を終了する。
【００５３】
Ｓ６０８でカウントされた対象画像条件を満たす画像の数が閾値以上であると判定された場合には、Ｓ６１６に移行して、システム制御部１２４は、関連画像再生の実行可能通知処理を行う。具体的には、図７（ｃ）に示すように、関連画像再生ボタンを操作（選択）することが可能であることを表示する。図７（ｃ）では、関連画像再生ボタンの形態が他のボタンの形態と同じであり、また、関連画像再生を実行することが不可能であることを表すアイコンＩＣが表示されておらず、関連画像再生ボタンの操作及び関連画像再生の実行が可能であることを示している。次いで、Ｓ６１８において、システム制御部１２４は、メモリ１１４に格納されている関連画像再生実行可能フラグを有効にして、関連画像再生の可否判定処理を終了する。
【００５４】
図５に示すＳ５３２の関連画像再生処理について説明する。図８は、Ｓ５３２の関連画像再生処理を詳細に説明するためのフローチャートである。
【００５５】
まず、Ｓ８０２において、システム制御部１２４は、関連画像再生実行可能フラグが有効であるかどうかを判定する。関連画像再生実行可能フラグが有効ではない（無効である）と判定された場合には、Ｓ８０４に移行して、システム制御部１２４は、対象画像条件を満たす画像が閾値以上必要であることを通知して、関連画像再生処理を終了する。例えば、システム制御部１２４は、図７（ｄ）に示すように、「関連画像再生を行うためには、もっとたくさんの画像が必要です。」というメッセージＭＳを表示部１１８に表示する。一方、関連画像再生実行可能フラグが有効であると判定された場合には、Ｓ８０６に移行する。
【００５６】
Ｓ８０６において、システム制御部１２４は、記録媒体２００に記録されている複数の画像から１つの画像をランダムに選択して一手前画像として設定する。次いで、Ｓ８０８において、システム制御部１２４は、関連画像再生処理に移行する直前に表示部１１８に表示されている画像（カレント画像）を検索キー画像として設定する。なお、検索キー画像は、検索条件を生成するために設定される画像である。次に、Ｓ８１０において、システム制御部１２４は、Ｓ８０６で設定された一手前画像を表示部１１８の所定の位置に表示する。同様に、Ｓ８１２において、システム制御部１２４は、Ｓ８０８で設定された検索キー画像を表示部１１８の所定の位置に表示する。本実施形態では、図９（ａ）に示すように、表示部１１８の左位置に一手前画像９０２が表示され、表示部１１８の中央位置に検索キー画像９０４が表示される。
【００５７】
次に、Ｓ８１４において、システム制御部１２４は、Ｓ８０８で設定された検索キー画像から、かかる検索キー画像の特徴量及び撮像条件の少なくとも一方を取得する取得処理を行う。具体的には、画像ファイルの構成（図４参照）で説明したように、アプリケーションマーカから画像の特徴量及び撮像条件を取得することが可能である。なお、画像の特徴量は、例えば、画像データの色情報（色の分布及び強度など）や顔情報（顔の数、位置及びサイズなど）などを含む。また、撮像条件は、例えば、画像データが生成（撮像）された日時、撮像モード、撮像装置の各種設定（露出設定など）、被写体距離、位置情報などを含む。
【００５８】
次いで、Ｓ８１６において、システム制御部１２４は、Ｓ８１４で取得された検索キー画像の特徴量及び撮像条件の少なくとも一方から、互いに異なる複数の検索条件を生成する生成処理を行う。検索条件は、表示部１１８に関連画像（即ち、検索キー画像を用いて検索された画像）として表示する画像の数（本実施形態では、３つ）だけ、画像の特徴量及び撮像条件に含まれる情報を組み合わせて生成される。本実施形態では、検索キー画像の色情報及び顔情報の両方を含む検索条件と、検索キー画像の色情報のみを含む検索条件と、検索キー画像の顔情報のみを含む検索条件との３つの検索条件を生成するものとする。
【００５９】
次に、Ｓ８１８において、システム制御部１２４は、Ｓ８１６で生成された複数の検索条件のそれぞれについて、Ｓ８０８で設定された検索キー画像を除く画像から検索条件に一致又は類似する関連画像を検索する検索処理を行う。上述したように、本実施形態では、検索キー画像の色情報及び顔情報の両方を含む検索条件と、検索キー画像の色情報のみを含む検索条件と、検索キー画像の顔情報のみを含む検索条件が生成されている。従って、関連画像として、検索キー画像の色情報及び顔情報に類似又は一致する画像、検索キー画像の色情報のみに類似又は一致する画像、及び、検索キー画像の顔情報のみに類似又は一致する画像が検索される。ここで、複数の検索条件（本実施形態では３つ）のうち、１つの検索条件での検索処理が実行されて、検索結果として１つの関連画像が検索されると、その画像の特徴量及び／又は撮像条件を取得する。そして、まだ検索処理が実行されていない他の検索条件を、検索済みの関連画像から取得した画像の特徴量及び／又は撮像条件に基づいて調整し、調整した検索条件で残りの検索処理を行う場合もある。例えば、ある検索条件によって、検索キー画像と同一の撮像日、且つ、類似度が極めて高い画像が検索された場合、他の検索条件で検索される画像に、検索キー画像と同一の撮像日、且つ、類似度が極めて高い画像が含まれる可能性を低減するように調整する。全ての検索条件に対して検索結果（関連画像）を取得すると、Ｓ８２０に移行する。
【００６０】
Ｓ８２０において、システム制御部１２４は、Ｓ８１８で検索された画像が複数の検索条件のそれぞれについて表示部１１８に表示されるように制御する表示制御処理を行う。具体的には、Ｓ８１８で検索された関連画像を検索条件ごとに割り当てられた表示部１１８の所定の位置に表示する。本実施形態では、図９（ａ）に示すように、表示部１１８の中央下位置に検索キー画像の色情報及び顔情報の両方を含む検索条件で検索された関連画像９０６が表示される。また、表示部１１８の右位置に検索キー画像の色情報のみを含む検索条件で検索された関連画像９０８が表示される。更に、表示部１１８の中央上位置に検索キー画像の顔情報のみを含む検索条件で検索された関連画像９１０が表示される。なお、一手前画像９０２、検索キー画像９０４、関連画像９０６、９０８及び９１０のそれぞれの色情報及び顔情報を明示した図を図９（ｂ）に示す。但し、図９（ｂ）は、表示部１１８に実際に表示されるものではなく、内部的に使用される画像の特徴量である色情報及び顔情報を可視化したものである。
【００６１】
また、Ｓ８１８の検索処理において、１つの検索条件に対して複数の画像が検索された場合には、かかる複数の画像から１つの画像をランダムで選択して表示部１１８に表示すればよい。これにより、１つの検索条件に対して様々な画像を表示することが可能となる。なお、１つの検索条件に対して１つの画像を検索するように、Ｓ８１８の検索処理を行うことも可能である。
【００６２】
また、時間的に連続して撮像された連写画像に対しては検索処理（Ｓ８１８）を行うことを制限してもよい。例えば、関連画像として連写画像を繰り返して表示部１１８に表示してもユーザにとってメリットはない。そこで、連写画像については代表画像に対して検索処理を行うことで、Ｓ８２０の表示制御処理において、連写画像が繰り返して表示されることを抑制することが可能となる。なお、連写画像であるかどうかの判定方法には、当業界で周知のいかなる判定方法をも適用することができる。例えば、以下の３つの方法がある。１つ目の方法は、画像の属性情報に記録された、１組の連写画像であることを示す識別子によって１組の連写画像であると判定する方法である。２つ目の方法は、画像の撮像日時が閾値以上に近い複数の画像を１組の連写画像と判定する方法である。３つ目の方法は、画像の撮像日時が閾値以上に近く、且つ、属性情報に記録された撮像条件のうち、連写撮像では変更されない特定の撮像条件が同一である複数の画像を１組の連写画像と判定する方法である。
【００６３】
次に、Ｓ８２２において、システム制御部１２４は、操作入力があったかどうかを判定する。なお、操作入力とは、ユーザによる操作部の操作や電源部１４０の電圧低下などを知らせるイベントなどが含まれる。操作入力がないと判定された場合には、操作入力があるまで、Ｓ８２２を繰り返す。一方、操作入力があったと判定された場合には、Ｓ８２４に移行する。
【００６４】
Ｓ８２４において、システム制御部１２４は、操作入力が関連画像再生の終了を指示する操作入力であるかどうかを判定する。ここで、関連画像再生の終了を指示する操作入力とは、ユーザが、操作部を介して、関連画像再生終了ボタンを押した（選択した）場合などである。操作入力が関連画像再生の終了を指示する操作入力であると判定された場合には、関連画像再生処理を終了する。一方、操作入力が関連画像再生の終了を指示する操作入力ではないと判定された場合には、Ｓ８２６に移行する。
【００６５】
Ｓ８２６において、システム制御部１２４は、操作入力が画像の選択を指示する操作入力であるかどうかを判定する。ここで、画像の選択とは、Ｓ８１０及びＳ８２０で表示部１１８に表示された一手前画像及び関連画像からユーザが１つの画像を選択することを意味する。具体的には、ユーザは、図９（ａ）において、一手前画像９０２、関連画像９０６、９０８及び９１０の配置関係と同じ配置関係を有する十字ボタン１３２の左ボタン、下ボタン、上ボタン及び右ボタンのいずれかを指定することで、画像を選択する。また、表示部１１８にはタッチパネルが設けられているため、ユーザは、表示部１１８に表示された一手前画像９０２、関連画像９０６、９０８及び９１０のいずれかをタッチすることで、画像を選択することも可能である。操作入力が画像の選択を指示する操作入力ではないと判定された場合には、Ｓ８２８に移行して、システム制御部１２４は、操作入力に対応する処理を行う。なお、Ｓ８２８で行う操作入力に対応する処理としては、例えば、以下の４つの処理がある。１つ目の処理は、Ｓ８２２で判定された操作入力が検索キー画像を拡大する操作入力であった場合に、表示部１１８の中央に表示された検索キー画像を拡大して表示する処理である。検索キー画像を拡大する操作入力は、操作部の１つとしてのズームレバーで行うようにすることが好ましい。ズームレバーは、撮像モードにおいては光学ズーム又は電子ズームの指示に、再生モードにおいては再生している画像の拡大又は縮小の指示に用いる操作部材である。２つ目の処理は、Ｓ８２２で判定された操作入力がメニューボタンの押下であった場合に、メニュー画面を表示部１１８に表示し、各種設定操作を受け付ける処理である。３つ目の処理は、Ｓ８２２で判定された操作入力が検索キー画像に対する回転処理（回転、トリミング、リサイズなど）を指示する操作入力であった場合に、その指示に応じた処理を検索キー画像に施す処理である。４つ目の処理は、Ｓ８２２で判定された操作入力が検索キー画像に対して属性情報の付与又は削除を指示する操作入力であった場合に、その指示に応じて検索キー画像の属性を変更する処理である。なお、属性情報は、例えば、お気に入り度、キーワード、分類情報、プロテクト属性、印刷指定属性等を含む。一方、操作入力が画像の選択を指示する操作入力であると判定された場合には、Ｓ８３０に移行する。
【００６６】
Ｓ８３０において、システム制御部１２４は、表示部１１８に表示された複数の画像（一手前画像及び関連画像）から、ユーザの操作に応じて１つの画像を選択する選択処理を行う。
【００６７】
次いで、Ｓ８３２において、システム制御部１２４は、Ｓ８３０で選択された画像を新たな検索キー画像として設定する設定処理を行う。次に、Ｓ８３４において、システム制御部１２４は、直前の検索キー画像（即ち、Ｓ８３２で新たなキー画像を設定する前の検索キー画像）を新たな一手前画像として設定する。Ｓ８３２及びＳ８３４で新たな検索キー画像及び新たな一手間画像が設定されると、Ｓ８１０に移行する。従って、新たな検索キー画像を用いて、取得処理（Ｓ８１４）、生成処理（Ｓ８１６）、検索処理（Ｓ８１８）、表示制御処理（Ｓ８２０）、選択処理（Ｓ８３０）及び設定処理（Ｓ８３２）が繰り返し行われる。
【００６８】
本実施形態の撮像装置１００によれば、検索キー画像を用いて検索された複数の関連画像うち、ユーザの操作に応じて選択された１つの関連画像を新たな検索キー画像として設定することによって、画像の検索を継続して（繰り返し）行うことができる。この際、ユーザは、キーワードや検索条件を入力する必要はなく、興味に応じて画像を選択するだけで、かかる興味に応じた画像が検索及び表示される。従って、撮像装置１００は、従来技術と比較して、画像の検索の効率や操作性（ユーザビリティ）を向上させることができる。
【００６９】
また、撮像装置１００では、画像の検索を繰り返し行う際に、選択処理において選択された画像の検索条件を記憶し、かかる検索条件を次の検索時の生成処理において優先的に生成することによって、ユーザの興味をより反映させた検索を行うことも可能である。
例えば、検索キー画像の特徴量及び撮像条件を「色＝赤」、「人数＝集合写真」とし、「検索条件＝集合写真」に対して検索された関連画像をユーザが選択した場合を考える。この場合、かかる関連画像を検索キー画像として次の検索を行う際に、検索条件として「検索条件＝集合写真」を優先的に生成することで、集合写真を閲覧したいというユーザの興味に対応することができる。
【００７０】
また、撮像装置１００では、関連画像再生処理において様々な画像を検索及び表示するために、厳しさの異なる検索条件を生成することも可能である。具体的には、検索キー画像と一致又は類似するレベルが異なる画像を検索する第１の検索条件、第２の検索条件及び第３の検索条件を生成すればよい。例えば、第１の検索条件は、検索キー画像と一致又は類似するレベルが最も高いレベル（第１のレベル）となるように、検索キー画像の特徴量及び撮像条件の少なくとも一方を最も多く（第１の数だけ）含む。また、第２の検索条件は、検索キー画像と一致又は類似するレベルが第１のレベルよりも低い第２のレベルとなるように、検索キー画像の特徴量及び撮像条件の少なくとも一方を第１の数よりも少ない第２の数だけ含む。また、第３の検索条件は、検索キー画像と一致又は類似するレベルが第２のレベルよりも低い第３のレベルとなるように、検索キー画像の特徴量及び撮像条件の少なくとも一方を第２の数よりも少ない第３の数だけ含む。
【００７１】
また、本実施形態では、表示部１１８に表示される複数の画像（一手前画像、検索キー画像、関連画像）の配置関係が十字ボタン１３２の配置関係と同じになるようにして、ユーザが関連画像を選択する際の操作性を高めている。その際、複数の検索条件のそれぞれで検索された画像が表示部１１８において常に同じ配置関係となるようにすることも可能である。特に、画像送りにおいては、十字ボタン１３２の右ボタンに送りボタン、十字ボタン１３２の左ボタンに戻りボタンの機能を割り当てることが多いため、画像を閲覧する際に、ユーザは右ボタンを多く押す（選択する）傾向がある。そこで、十字ボタン１３２の右ボタンに対応する表示部１１８の右位置に、上述した第１の検索条件で検索された画像が常に表示されるようにする。これにより、通常の画像送りと同じようにユーザが右ボタンを繰り返し押した場合には、検索条件の変動が少ないため、最初の検索キー画像に似た画像を閲覧し続けることが可能となる。一方、十字ボタン１３２の右ボタンに対応する表示部１１８の右位置に、上述した第１の検索条件で検索された画像が常に表示されないようにすることも可能である。これにより、通常の画像送りと同じようにユーザが右ボタンを繰り返し押した場合に、検索条件の変動を大きくして、様々な画像を閲覧することが可能となる。
【００７２】
なお、図６を参照して説明した関連画像再生の可否判定処理を、静止画像撮像モード及び／又は動画像モードに遷移した時と、静止画像撮像モード及び／又は動画像撮像モードで静止画像又は動画像を撮像して画像ファイルが１つ生成されるたびに行ってもよい。そして、関連画像再生可能フラグが有効であるか無効であるかに応じて、関連画像再生が可能であるか不可能であるか、不可能な場合にはあと何枚の画像が必要であるかを識別可能な表示を静止画像撮像モード及び／又は動画像撮像モードにおいて表示してもよい。これにより、ユーザは現状で関連画像再生を行えるのかどうか、関連画像再生を行えない場合にはあと何枚の画像を撮像すれば関連画像再生が行えるようになるのかを撮像時に知ることができ、これ以上の撮像を行うべきかどうかの判断の助けとなる。
【００７３】
また、本実施形態においては、本発明をデジタルカメラに適用した場合を例として説明したが、これに限定されるものではない。例えば、本発明は、パーソナルコンピュータ、ＰＤＡ、携帯電話端末、携帯型画像ビューワ及びプリンタなど、複数の画像を同時に表示するように制御可能な表示装置を備えるものに適用することができる。
【００７４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び、かかるプログラムを記憶した記憶媒体は本発明を構成することになる。
【００７５】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されないことはいうまでもなく、その要旨の範囲内で種々の変形及び変更が可能である。
【特許請求の範囲】
【請求項１】
画像を検索する画像検索装置であって、
複数の画像のうち、検索条件を生成するために設定された検索キー画像から、前記検索キー画像の特徴量及び前記検索キー画像の撮像条件の少なくとも一方を取得する取得処理を行う取得手段と、
前記取得手段によって取得された前記特徴量及び前記撮像条件の少なくとも一方から、互いに異なる複数の検索条件を生成する生成処理を行う生成手段と、
前記生成手段によって生成された前記複数の検索条件のそれぞれについて、前記検索キー画像を除く前記複数の画像から当該検索条件に一致又は類似する画像を検索する検索処理を行う検索手段と、
前記検索手段によって検索された複数の画像が前記複数の検索条件のそれぞれについて表示手段に表示されるように制御する表示制御処理を行う表示制御手段と、
前記表示手段に表示された複数の画像から、ユーザの操作に応じて１つの画像を選択する選択処理を行う選択手段と、
前記選択手段によって選択された画像を新たな検索キー画像として設定する設定処理を行う設定手段と、
前記設定手段によって前記新たな検索キー画像が設定されると、当該新たな検索キー画像を用いて、前記取得処理、前記生成処理、前記検索処理、前記表示制御処理、前記選択処理及び前記設定処理が繰り返し行われるように、前記取得手段、前記生成手段、前記検索手段、前記表示制御手段、前記選択手段及び前記設定手段を制御する制御手段と、
を有することを特徴とする画像検索装置。
【請求項２】
前記ユーザの操作を受け付ける複数のボタンを含む操作手段を更に有し、
前記表示制御手段は、前記表示手段に表示される複数の画像の配置関係が前記複数のボタンの配置関係と同じになるように、前記表示手段における画像の表示を制御することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記生成手段は、前記複数の検索条件として、前記検索キー画像と一致又は類似するレベルが第１のレベルとなる画像を検索するための第１の検索条件と、前記レベルが前記第１のレベルよりも低い第２のレベルとなる画像を検索するための第２の検索条件と、前記レベルが前記第２のレベルよりも低い第３のレベルとなる画像を検索するための第３の検索条件とを生成することを特徴とする請求項１又は２に記載の画像検索装置。
【請求項４】
前記第１の検索条件は、前記特徴量及び前記撮像条件の少なくとも一方を第１の数だけ含み、
前記第２の検索条件は、前記特徴量及び前記撮像条件の少なくとも一方を前記第１の数よりも少ない第２の数だけ含み、
前記第３の検索条件は、前記特徴量及び前記撮像条件の少なくとも一方を前記第２の数よりも少ない第３の数だけ含むことを特徴とする請求項３に記載の画像検索装置。
【請求項５】
前記表示制御手段は、前記検索手段によって検索された、前記第１の検索条件に一致又は類似する画像、前記第２の検索条件に一致又は類似する画像及び前記第３の検索条件に一致又は類似する画像が前記表示手段において常に同じ配置関係となるように、前記表示手段における画像の表示を制御することを特徴とする請求項３又は４に記載の画像検索装置。
【請求項６】
前記表示制御手段は、前記検索手段によって検索された画像と共に、前記検索キー画像が前記表示手段に表示されるように制御することを特徴とする請求項１乃至５のうちいずれか１項に記載の画像検索装置。
【請求項７】
前記表示制御手段は、前記設定手段によって設定された新たな検索キー画像から生成された検索条件で検索された画像と共に、前記新たな検索キー画像及び直前の検索キー画像が前記表示手段に表示されるように制御することを特徴とする請求項１乃至６のうちいずれか１項に記載の画像検索装置。
【請求項８】
前記検索手段は、前記複数の画像のうち、時間的に連続して撮像された連写画像については代表画像に対して前記検索処理を行うことを特徴とする請求項１乃至７のうちいずれか１項に記載の画像検索装置。
【請求項９】
前記検索手段は、前記複数の検索条件のうち、１つの検索条件で検索された画像から取得した情報に基づいて他の検索条件を調整し、調整した他の検索条件で検索することを特徴とする請求項１乃至８のうちいずれか１項に記載の画像検索装置。
【請求項１０】
前記１つの検索条件で検索された画像が前記検索キー画像と同一の撮像日で類似度が高い画像である場合には、前記調整した他の検索条件で検索される画像に前記検索キー画像と同一の撮像日で類似度が高い画像が含まれる可能性を低減するように、前記他の検索条件を調整することを特徴とする請求項９に記載の画像検索装置。
【請求項１１】
画像を検索する画像検索装置の制御方法であって、
取得手段が、複数の画像のうち、検索条件を生成するために設定された検索キー画像から、前記検索キー画像の特徴量及び前記検索キー画像の撮像条件の少なくとも一方を取得する取得ステップと、
生成手段が、前記取得ステップで取得された前記特徴量及び前記撮像条件の少なくとも一方から、互いに異なる複数の検索条件を生成する生成ステップと、
検索手段が、前記生成ステップで生成された前記複数の検索条件のそれぞれについて、前記検索キー画像を除く前記複数の画像から当該検索条件に一致又は類似する画像を検索する検索ステップと、
表示制御手段が、前記検索ステップで検索された複数の画像が前記複数の検索条件のそれぞれについて表示手段に表示されるように制御する表示制御ステップと、
選択手段が、前記表示手段に表示された複数の画像から、ユーザの操作に応じて１つの画像を選択する選択ステップと、
設定手段が、前記選択ステップで選択された画像を新たな検索キー画像として設定する設定ステップと、
前記設定ステップで前記新たな検索キー画像が設定されると、当該新たな検索キー画像を用いて、前記取得ステップ、前記生成ステップ、前記検索ステップ、前記表示制御ステップ、前記選択ステップ及び前記設定ステップが繰り返し行われるように制御する制御ステップと、
を有することを特徴とする制御方法。
【請求項１２】
コンピュータを、請求項１乃至１０のうちいずれか１項に記載された画像検索装置の各手段として機能させるプログラム。
【請求項１３】
コンピュータを、請求項１乃至１０のうちいずれか１項に記載された画像検索装置の各手段として機能させるプログラムを格納した記憶媒体。
【請求項１】
画像を検索する画像検索装置であって、
複数の画像のうち、検索条件を生成するために設定された検索キー画像から、前記検索キー画像の特徴量及び前記検索キー画像の撮像条件の少なくとも一方を取得する取得処理を行う取得手段と、
前記取得手段によって取得された前記特徴量及び前記撮像条件の少なくとも一方から、互いに異なる複数の検索条件を生成する生成処理を行う生成手段と、
前記生成手段によって生成された前記複数の検索条件のそれぞれについて、前記検索キー画像を除く前記複数の画像から当該検索条件に一致又は類似する画像を検索する検索処理を行う検索手段と、
前記検索手段によって検索された複数の画像が前記複数の検索条件のそれぞれについて表示手段に表示されるように制御する表示制御処理を行う表示制御手段と、
前記表示手段に表示された複数の画像から、ユーザの操作に応じて１つの画像を選択する選択処理を行う選択手段と、
前記選択手段によって選択された画像を新たな検索キー画像として設定する設定処理を行う設定手段と、
前記設定手段によって前記新たな検索キー画像が設定されると、当該新たな検索キー画像を用いて、前記取得処理、前記生成処理、前記検索処理、前記表示制御処理、前記選択処理及び前記設定処理が繰り返し行われるように、前記取得手段、前記生成手段、前記検索手段、前記表示制御手段、前記選択手段及び前記設定手段を制御する制御手段と、
を有することを特徴とする画像検索装置。
【請求項２】
前記ユーザの操作を受け付ける複数のボタンを含む操作手段を更に有し、
前記表示制御手段は、前記表示手段に表示される複数の画像の配置関係が前記複数のボタンの配置関係と同じになるように、前記表示手段における画像の表示を制御することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記生成手段は、前記複数の検索条件として、前記検索キー画像と一致又は類似するレベルが第１のレベルとなる画像を検索するための第１の検索条件と、前記レベルが前記第１のレベルよりも低い第２のレベルとなる画像を検索するための第２の検索条件と、前記レベルが前記第２のレベルよりも低い第３のレベルとなる画像を検索するための第３の検索条件とを生成することを特徴とする請求項１又は２に記載の画像検索装置。
【請求項４】
前記第１の検索条件は、前記特徴量及び前記撮像条件の少なくとも一方を第１の数だけ含み、
前記第２の検索条件は、前記特徴量及び前記撮像条件の少なくとも一方を前記第１の数よりも少ない第２の数だけ含み、
前記第３の検索条件は、前記特徴量及び前記撮像条件の少なくとも一方を前記第２の数よりも少ない第３の数だけ含むことを特徴とする請求項３に記載の画像検索装置。
【請求項５】
前記表示制御手段は、前記検索手段によって検索された、前記第１の検索条件に一致又は類似する画像、前記第２の検索条件に一致又は類似する画像及び前記第３の検索条件に一致又は類似する画像が前記表示手段において常に同じ配置関係となるように、前記表示手段における画像の表示を制御することを特徴とする請求項３又は４に記載の画像検索装置。
【請求項６】
前記表示制御手段は、前記検索手段によって検索された画像と共に、前記検索キー画像が前記表示手段に表示されるように制御することを特徴とする請求項１乃至５のうちいずれか１項に記載の画像検索装置。
【請求項７】
前記表示制御手段は、前記設定手段によって設定された新たな検索キー画像から生成された検索条件で検索された画像と共に、前記新たな検索キー画像及び直前の検索キー画像が前記表示手段に表示されるように制御することを特徴とする請求項１乃至６のうちいずれか１項に記載の画像検索装置。
【請求項８】
前記検索手段は、前記複数の画像のうち、時間的に連続して撮像された連写画像については代表画像に対して前記検索処理を行うことを特徴とする請求項１乃至７のうちいずれか１項に記載の画像検索装置。
【請求項９】
前記検索手段は、前記複数の検索条件のうち、１つの検索条件で検索された画像から取得した情報に基づいて他の検索条件を調整し、調整した他の検索条件で検索することを特徴とする請求項１乃至８のうちいずれか１項に記載の画像検索装置。
【請求項１０】
前記１つの検索条件で検索された画像が前記検索キー画像と同一の撮像日で類似度が高い画像である場合には、前記調整した他の検索条件で検索される画像に前記検索キー画像と同一の撮像日で類似度が高い画像が含まれる可能性を低減するように、前記他の検索条件を調整することを特徴とする請求項９に記載の画像検索装置。
【請求項１１】
画像を検索する画像検索装置の制御方法であって、
取得手段が、複数の画像のうち、検索条件を生成するために設定された検索キー画像から、前記検索キー画像の特徴量及び前記検索キー画像の撮像条件の少なくとも一方を取得する取得ステップと、
生成手段が、前記取得ステップで取得された前記特徴量及び前記撮像条件の少なくとも一方から、互いに異なる複数の検索条件を生成する生成ステップと、
検索手段が、前記生成ステップで生成された前記複数の検索条件のそれぞれについて、前記検索キー画像を除く前記複数の画像から当該検索条件に一致又は類似する画像を検索する検索ステップと、
表示制御手段が、前記検索ステップで検索された複数の画像が前記複数の検索条件のそれぞれについて表示手段に表示されるように制御する表示制御ステップと、
選択手段が、前記表示手段に表示された複数の画像から、ユーザの操作に応じて１つの画像を選択する選択ステップと、
設定手段が、前記選択ステップで選択された画像を新たな検索キー画像として設定する設定ステップと、
前記設定ステップで前記新たな検索キー画像が設定されると、当該新たな検索キー画像を用いて、前記取得ステップ、前記生成ステップ、前記検索ステップ、前記表示制御ステップ、前記選択ステップ及び前記設定ステップが繰り返し行われるように制御する制御ステップと、
を有することを特徴とする制御方法。
【請求項１２】
コンピュータを、請求項１乃至１０のうちいずれか１項に記載された画像検索装置の各手段として機能させるプログラム。
【請求項１３】
コンピュータを、請求項１乃至１０のうちいずれか１項に記載された画像検索装置の各手段として機能させるプログラムを格納した記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１１−１６４７９９（Ｐ２０１１−１６４７９９Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２４８３０（Ｐ２０１０−２４８３０）
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]