説明

画像処理装置、画像表示方法及び画像表示プログラム

【課題】画像検索を、手軽に、かつ、ユーザーにとって分り易い態様で行えるようにする。
【解決手段】制御部120が、選択可能な検索キーを表示部106の表示画面に表示する。タッチパネル107の操作面に対してユーザーが指示操作を行うことにより、検索キーを選択する(指示する)操作が行われた場合、制御部120は、ユーザーが指示した検索キーを用いて、当該検索キーに応じた画像データを記録媒体135から検索して抽出する。この抽出した画像データに応じた画像を、制御部120の制御により、表示部106の表示画面の所定の位置に集まるように表示する。

【発明の詳細な説明】
【技術分野】
【0001】
この発明は、例えば、デジタルスチルカメラなどの、比較的に大きな表示画面を有する表示素子を備え、種々の画像を表示することが可能な装置、当該装置で用いられる方法、プログラムに関する。
【背景技術】
【0002】
撮影した画像をデジタルデータとして記録媒体に記録するデジタルスチルカメラが広く利用されている。近年、デジタルスチルカメラで用いられる内蔵フラッシュメモリーやリムーバルメモリーの小型化、大容量化が促進され、これらのメモリーに大量の画像データを蓄積することができるようになっている。
【0003】
そして、デジタルスチルカメラにおいては、使用年数を重ねるごとに撮影された画像の蓄積枚数も増加し、内蔵フラッシュメモリーやリムーバブルメモリーに、ユーザーの頭の中では管理できないほどの数の画像データが蓄積されてしまう場合も少なくない。
【0004】
このため、デジタルスチルカメラにおいては、画像データに対してユーザーがキーワードを付加するようにしておき、当該キーワードを用いた検索を行えるようにしているものもある。例えば、撮影することにより得た画像データに対して、撮影を行った場所や写っている人の名前などの種々の情報をキーワードとして付加することが行われている。
【0005】
そして、画像データに対して付加されたキーワードを利用して複数の画像データの中から所望の画像の画像データを検索する場合には、ユーザーが検索キーを設定(指示)して検索処理を行うようにする。
【0006】
例えば、予め提示するようにされる検索キーから適切なものを選択するなどして適切な検索キーを設定したり、ユーザーからテキストデータの入力を受け付けて、これを検索キーとして設定したりする。この後、設定された検索キーを用いて、検索処理を実行し、当該検索キーを有する画像データを絞り込むことができる。
【0007】
このように、画像データに対してキーワードを付加しておくことにより、そのキーワードを用いた画像データの検索ができるようにされ、柔軟に画像データの検索を行うことができるようにされる。
【0008】
また、キーワードを用いた画像検索については、種々の改良も成され、例えば、後に記す特許文献1や特許文献2には、迅速かつ確実に所望の画像を検索できるようにするための発明が開示されている。
【0009】
なお、上述した特許文献1、特許文献2は以下に示す通りである。
【特許文献1】特開2005−354134号公報
【特許文献2】特開2008−165424号公報
【発明の開示】
【発明が解決しようとする課題】
【0010】
ところで、上述したキーワードを利用した画像データの検索の場合、設定した検索キーにより絞り込んだ画像群が目的とする画像を含む画像群でなかったときには、目的とする画像群が得られるまで、検索キーを変えて繰り返し検索処理を行うことになる。
【0011】
すなわち、(1)絞り込み(検索結果)を解除して初期状態に戻す。(2)検索キーを設定し直す。(3)新たな検索キーに基づいて絞り込み(検索)を実行する。と言うように、(1)〜(3)の処理を、所望の画像群が絞り込まれるまで繰り返さなければならない。
【0012】
一般に、画像検索は1回で所望の画像群に絞り込まれることは稀である。このため、キーワードを利用した画像検索の場合、上述した(1)〜(3)の処理の繰り返しはかなりの頻度を要する場合もある。このような場合、ユーザーに負担を強いることになる。
【0013】
このため、できるだけ手軽に画像検索ができるようにすることが望まれている。また、また、画像検索のための検索キーについても、ユーザーが設定するようにしたキーワードだけでなく、より柔軟な画像検索を実現するために、種々の検索キーを用いることができるようにすることも望まれている。
【0014】
以上のことに鑑み、この発明は、画像検索を、手軽に、かつ、ユーザーにとって分り易い態様で行えるようにすることを目的とする。
【課題を解決するための手段】
【0015】
上記課題を解決するため、請求項1に記載の発明の画像処理装置は、
表示素子と、
前記表示素子の表示画面に対して設けられる操作面を通じて、使用者からの指示操作を受け付け、前記操作面に対する前記指示操作の指示位置を検出して出力する指示位置検出手段と、
検索キーに対応する情報を有する画像データを複数記憶する記憶手段と、
前記表示素子の表示画面に選択可能なように1以上の検索キーを表示するように制御する検索キー表示制御手段と、
前記指示位置検出手段を通じて前記検索キー表示制御手段により前記表示素子の前記表示画面に表示された前記検索キーが指示された場合に、指示された前記検索キーに応じた画像データを前記記憶手段から検索して抽出する検索手段と、
前記検索手段により抽出された画像データに応じた画像を、前記表示画面上の所定の位置に集まるように表示する表示制御手段と
を備える。
【0016】
この請求項1に記載の発明の画像処理装置によれば、検索キー表示制御手段により、選択可能な検索キーが表示素子の表示画面に表示するように制御される。指示位置検出手段の操作面に対してユーザーが指示操作を行うことにより、検索キーを選択する(指示する)操作が行われた場合、指示された当該検索キーが用いられて、検索手段により当該検索キーに応じた画像データが記憶手段から検索されて抽出される。この抽出された画像データに応じた画像が、表示制御手段によって、ユーザーの表示画面上の所定の位置に集まるように表示される。
【0017】
これにより、ユーザーは、簡単な操作で検索キーを設定し、手軽に、かつ、ユーザーにとって分り易い態様で画像検索を行うことができるようにされる。
【発明の効果】
【0018】
この発明によれば、面倒な操作を行ったり、検索結果が分り難かったりするなどのこと無く、画像検索を、手軽に、かつ、ユーザーにとって分り易い態様で行うことができる。
【発明を実施するための最良の形態】
【0019】
以下、図を参照しながら、この発明の装置、方法、プログラムの一実施の形態について説明する。
【0020】
[撮像装置の構成例]
図1は、この発明の装置、方法、プログラムの一実施の形態が適用された撮像装置100の構成例を説明するためのブロック図である。撮像装置100は、撮影モードを切り替えることにより、静止画像と動画像のいずれをも撮影して記録媒体に記録することができるものである。
【0021】
しかし、以下に説明する実施の形態においては、説明を簡単にするため、撮像装置100はデジタルスチルカメラとしての機能が用いられ、主に静止画像を撮影したり、再生したりする場合を例にして、この撮像装置100の構成と動作について説明する。
【0022】
図1に示すように、撮像装置100は、レンズ部101、撮像素子102、前処理部103、画像処理部104、表示処理部105、表示部106、タッチパネル107、圧縮処理部109、伸張処理部110、表示画像形成部111を備えている。
【0023】
また、撮像装置100は、制御部120、操作部131、外部インターフェース(以下、外部I/Fと略称する。)132、入出力端子133、書き込み/読み出し部134、記録媒体135を備えている。また、撮像装置100は、セット上部のタッチパネル136、モーションセンサ137、GPS受信部138、GPS用受信アンテナ139を備えている。
【0024】
なお、図1には示さなかったが、この実施の形態の撮像装置100は、時計回路をも備えたものである。当該時計回路は、カレンダ機能を備え、現在年月日、現在曜日、現在時刻を提供することができると共に、必要に応じて、所定の時間間隔を計測する時間カウンタの機能をも実現することができるものである。
【0025】
この時計回路の機能により、撮影された画像データに対して撮影日時や撮影曜日などの撮影日に関する情報を付加することができるようにしている。また、時計回路の機能を利用して、所定の操作から一定時間経過後に自動的にシャッターをきって撮影できるようにするセルフタイマー撮影機能をも実現することができるようにしている。
【0026】
この実施の形態の撮像装置100において、表示部106は、例えば、LCD(Liquid Crystal Display)、有機ELパネル(Organic Electroluminescence Panel)等のいわゆる薄型の表示素子からなるものである。そして、後述もするが、この表示部106の表示画面の全面に対して操作面を形成するようにタッチパネル107が貼付されている。
【0027】
タッチパネル107は、ユーザー(使用者)からの操作面に対する指示操作(接触操作)を受け付けて、タッチパネル107の当該操作面上の指示位置(接触位置)を検出し、当該指示位置を示す座標データを制御部120に通知するものである。
【0028】
制御部120は、後述もするように、撮像装置100の各部を制御するものであり、表示部106の表示画面に対して、どのような表示を行っているかをも把握している。制御部120は、タッチパネル107からの操作面上の指示位置を示す座標データと、当該指示位置に対応する表示部106の表示画面上の表示情報とに基づいて、ユーザーからの指示操作(入力操作)を受け付けることができる。
【0029】
例えば、ユーザーがタッチパネル107の操作面上の位置に、指やスタイラスなどを接触させたとする。この場合に、その接触位置に対応する(一致する)表示画面上の位置に数字が表示されていた場合には、ユーザーはその表示されている数字を選択して入力するようにしたと制御部120において判別することができる。
【0030】
このように、撮像装置100においては、表示部106とタッチパネル107とによって、入力装置としてのタッチスクリーン108を形成している。なお、タッチパネル107は、例えば、感圧式や静電式のものとして実現される。
【0031】
また、タッチパネル107は、操作面上の複数の箇所に同時に行うようにされた操作のそれぞれを検出し、その接触位置のそれぞれを示す座標データを出力することができるものである。また、タッチパネル107は、操作面に対して繰り返し行うようにされる指示操作のそれぞれを検出し、そのそれぞれの接触位置を示す座標データを出力することもできる。
【0032】
さらに、タッチパネル107は、ユーザーによって、指やスタイラスが接触されている間は、所定のタイミング毎に連続して接触位置を検出し、これを示す座標データを出力することもできる。
【0033】
これにより、タッチパネル107は、いわゆるタップ操作、ダブルタップ操作、ドラッグ操作、フリック操作、ピンチ操作などのユーザーからの様々な指示操作(操作入力)を受け付けて、これを検出することができるものである。
【0034】
ここで、タップ操作は、ユーザーの指やスタイラスによって、操作面上を「ちょん」と1回だけ指示する動作(操作)である。ダブルタップ操作は、操作面上を連続して2回、「ちょん、ちょん」と指示する動作である。
【0035】
また、ドラッグ操作は、ユーザーの指やスタイラスを操作面上に接触させたまま移動させる動作である。フリック操作は、ユーザーの指やスタイラスを操作面上の1点を指示してから、そのまま任意の方向に素早く「はじく」ようにする動作である。
【0036】
ピンチ操作は、ユーザーの2本の指等を同時に操作面上に接触させて、当該2本の指等を開いたり、閉じたりする動作である。この場合、特に、接触させた2本の指等を開く操作をピンチアウト操作、2本の指等を閉じる操作をピンチイン操作と呼んでいる。
【0037】
ドラッグ操作とフリック操作とは、動作の速さに違いがあるものの、操作面上にユーザーの指等を接触させた後に、当該操作面上を移動させる操作(操作面上をなぞる操作)であり、移動距離と移動方向との2種類の情報によって把握できる操作である。
【0038】
このため、この明細書においては、ドラッグ操作とフリック操作とのいずれかの操作を行うことにより、同じ処理を行うようにすることができる場合には、ドラッグ操作とフリック操作との総称として「なぞり操作」という文言を用いる。
【0039】
そして、制御部120は、撮像装置100を構成する各部と接続され、上述もしたように、撮像装置100の各部を制御するものであり、いわゆるマイクロコンピュータの構成されたものである。
【0040】
制御部120は、CPU(central Processing Unit)121、ROM(Read Only Memory)122、RAM(Random Access Memory)123、EEPROM(Electrically Erasable and Programmable ROM)124が、CPUバス125を通じて接続されて構成されている。
【0041】
CPU121は、後述するROM122に記憶されているプログラムを読み出して実行し、各部に供給する制御信号を形成して、これを各部に供給し、また各部から提供されるデータ等を受け付けて、これを処理するものである。
【0042】
ROM122は、上述のように、CPU121において実行される種々のプログラムや処理に必要になる種々のデータ等を予め記憶保持しているものである。RAM123は、各種の処理において途中結果を一時記憶するなど、主にワークエリアとして用いられるものである。
【0043】
EEPROM124は、いわゆる不揮発性メモリーであり、撮像装置100の電源が落とされても保持しておくべき情報を記憶保持する。例えば、ユーザーによって設定された種々のパラメータや、種々の処理の最終結果、あるいは、機能追加などのために新たに提供された処理プログラムやデータ等が、EEPROM124に保持される。
【0044】
このように構成された制御部120に対しては、図1に示したように、操作部131、外部I/F132、書き込み/読み出し部134、セット上部のタッチパネル136、モーションセンサ137、GPS受信部138が接続されている。
【0045】
操作部131は、各種の調整キーや機能キー、シャッターキーなどの操作キーを有し、ユーザーからの操作入力を受け付けて、これを制御部120に通知する。これにより、制御部120は、操作部131を通じて受け付けたユーザーからの操作入力に応じて、各部を制御し、操作入力に応じた処理を実行することができるようにされる。
【0046】
外部I/F132は、例えば、USB(Universal Serial Bus)やIEEE(Institute of Electrical and Electronics Engineers Inc)1394などの、所定の規格に準拠したデジタルインターフェースである。
【0047】
すなわち、外部I/F132は、入出力端子133に接続された外部機器からのデータを自機において処理可能な形式のデータに変換して受け付けたり、自機から送出するデータを所定の形式のデータに変換して出力したりするものである。
【0048】
書き込み/読み出し部134は、制御部120の制御に応じて、自機の記録媒体135に対して、データを書き込んだり、記録媒体135に記録されているデータを読み出したりするものである。
【0049】
記録媒体135は、撮像装置100に対して着脱可能に構成され、例えば、半導体メモリーが用いられて、数ギガバイト以上の記憶容量を有するようにされたいわゆるメモリーカード型のリムーバブルメモリーである。
【0050】
なお、メモリーカード型のリムーバブルメモリー以外にも、記録媒体135として、例えば、内蔵フラッシュメモリーや小型のハードディスクなど内蔵型の記録媒体を用いる構成することもできる。
【0051】
また、記録媒体135として、小型のDVD(digital Versatile Disc)やCD(Compact Disc)等の光ディスクなどの他のリムーバブル型の記録媒体を用いる構成とすることもできる。
【0052】
セット上部のタッチパネル136は、所定の場合にユーザーからの指示入力を受け付けるためのものである。このタッチパネル136もまた、感圧式や静電式のものとして実現される。なお、セット上部のタッチパネル136は、必ずしもタッチパネルによって構成されなくてもよい。いわゆるハードウェアキーとして実現してもよい。
【0053】
モーションセンサ137は、撮像装置100の動きを検出するものであり、具体的には、2軸若しくは3軸の加速度センサなどにより構成される。そして、モーションセンサ137は、撮像装置100が傾けられるようにされた場合に、どの方向にどれだけ傾けられたのかを検出し、制御部120に通知することができるものである。
【0054】
また、モーションセンサ137は、撮像装置100が左右に振られた場合と上下に振られた場合とを区別して検出し、これを制御部120に通知することができる。また、モーションセンサ137は、例えば、叩かれるなどして振動が加えられた場合に、これを検出して制御部120に通知することもできる。
【0055】
GPS受信部138は、GPS用受信アンテナ139を通じて、複数の人口衛星からの所定の信号を受信し、これを解析することによって、撮像装置100の現在位置を検出し、これを制御部120に通知することができるものである。
【0056】
このGPS受信部138の機能により、撮像装置100においては、撮影時に現在位置情報を取得して、画像データに対してメタデータとして撮影位置を示す位置情報(GPS情報)を付加することができるようにしている。
【0057】
なお、GPS受信部138は、例えば、操作部131を通じて受け付けるユーザーからの指示に応じて、動作させたり、動作を停止させたりすることもできるようにされている。
【0058】
そして、図1に示した撮像装置100において、レンズ部101は、図示しないが、撮像レンズ(対物レンズ)、露光調整機構、合焦調整機構、シャッター機構等を含み、被写体の画像を取り込み後段の撮像素子のセンサ面に結像させるようにする部分である。
【0059】
撮像素子102は、CCD(Charge Coupled Device)やCMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像センサ(撮像素子)からなるものである。撮像素子102は、レンズ部101を通じて自己のセンサ面に結像するようにされた画像を電気信号(画像信号)として取り込む。
【0060】
この実施の形態の撮像装置100において、撮像素子102は、画素毎にR(赤)、G(緑)、B(青)のいずれかの信号を形成するようにする予め決められた色パターンの単板の色フィルタを備えたものである。
【0061】
そして、撮像素子102を通じて取り込まれた画像信号は、後段の前処理部103に供給される。前処理部103は、CDS(Correlated Double Sampling:2重相関サンプリング)回路やAGC(Automatic Gain Control)回路やA/D(Analog/Digital)変換器などを含み、撮像素子102からの画像信号をデジタルデータとして取り込む部分である。
【0062】
前処理部103を通じて取り込まれた画像信号(画像データ)は、画像処理部104に供給される。画像処理部104は、図示しないが検波回路、ホワイトバランス回路、デモザイク回路、解像度変換回路、その他の画像補正回路等を有するものである。
【0063】
画像処理部104においては、まず、前処理回路103からの画像データに基づいて、露光(露出)調整のためのパラメータ、合焦(焦点)調整のためのパラメータ、ホワイトバランス調整のためのパラメータなど、種々の調整処理のためのパラメータを形成する。
【0064】
画像処理部104において形成されたパラメータの内、露光(露出)調整のためのパラメータと合焦(焦点)調整のためのパラメータとは制御部120に供給される。制御部120は、画像処理部104からのパラメータに基づいて、レンズ部102の露光調整機構や合焦調整機構を制御し、露光や合焦のための調整を適切に行うことができるようにしている。
【0065】
そして、画像処理部104においては、前処理部103からの画像データに対して、黒レベル合わせ処理や上述したように形成されるホワイトバランス調整のためのパラメータ基づくホワイトバランス調整処理を行う。これらの調整処理により、前処理部103からの画像データが形成する画像が適切な色合いになるように調整する。
【0066】
この後、画像処理部104においては、適切な色合いになるように調整された画像データに対して、画素毎にRGBデータ(3原色データ)を生成するデモザイク処理(同時化処理)、アパーチャ補正処理、ガンマ(γ)補正処理等を行う。
【0067】
さらに、画像処理部104においては、形成したRGBデータから輝度信号(Y)と色信号(Cb、Cr)を形成するY/C変換処理や、色収差補正処理、解像度変換処理などを行って、輝度信号Yおよび色信号Cb、Crを形成する。
【0068】
画像処理部104で形成された画像データ(輝度信号Y、色信号Cb、Cr)は、表示処理部105に供給され、ここで表示部106に供給する形式の画像信号に変換されて表示部106に供給される。
【0069】
これにより、表示部106の表示画面には、レンズ部101を通じて取り込んだ被写体の画像が表示され、ユーザーは、表示部106の表示画面に表示される被写体の画像を確認しながら、目的とする被写体の画像を撮影することができる。
【0070】
同時に、画像処理部104で形成された輝度信号Y、色信号Cb、Crは、圧縮処理部109にも供給される。そして、操作部131のシャッターキーが押下されたタイミングにおいて、圧縮処理部109は、その時点において、表示部106の表示画面に表示するようにしていた画像の画像データをデータ圧縮し、これを制御部120に供給する。
【0071】
なお、圧縮処理部103においては、予め決められたデータ圧縮方式に従って、データ圧縮処理を行う。データ圧縮方式としては、静止画であれば、JPEG(Joint Photographic Experts Group)方式、動画であれば、MPEG(Moving picture Experts Group)方式などが用いられる。もちろん、これに限るものではなく、データ圧縮方式は種々のものを用いるようにすることが可能である。
【0072】
制御部120は、書き込み/読み出し部134を制御し、圧縮処理部109からのデータ圧縮された画像データを記録媒体135に記録する。このようにして、撮像装置100においては、被写体の画像を撮影し、当該被写体の画像を形成する画像データを記録媒体135に記録することができるようにしている。
【0073】
撮像装置100において、上述のように撮影して得た画像データは、詳しくは後述するが、ユーザーが形成するようにするフォルダ毎に、記録媒体135に格納して管理することができるようにしている。
【0074】
フォルダは、被写体毎やイベント毎などと言うように、目的に応じて形成することができる。この実施の形態の撮像装置100においては、例えば、入学式、運動会、お誕生日会などといった、撮影を行ったイベント毎にフォルダを形成するようにしている。もちろん、撮影した画像データを後から、目的とするフォルダに移動させたりするなどのこともできるようにされる。
【0075】
そして、記録媒体135に記録された画像データは、制御部120に制御される書き込み/読み出し部134によって読み出すことができるようにされる。記録媒体135から読み出された画像データは、制御部120を通じて伸張処理部110に供給される。
【0076】
伸張処理部110は、これに供給された画像データを、データ圧縮時に用いたデータ圧縮方式にしたがって伸張処理し、データ圧縮前の画像データを復元して、これを表示画像形成部111に供給する。
【0077】
表示画像形成部111は、伸張処理部110からの画像データを用いて、また、必要な場合には、制御部120から供給される種々の表示用データをも用いて、表示部106の表示画面に表示すべき画像の画像データを形成し、これを表示処理部105に供給する。
【0078】
表示処理部105は、画像処理部104からの画像データを処理したときと同様に、表示画像形成部111からの画像データから、表示部106に供給する形式の画像信号に変換し、これを表示部106に供給する。
【0079】
これにより、記録媒体135に記録されている画像データに応じた画像を、表示部106の表示画面に表示することができる。すなわち、記録媒体135に記録されている目的とする画像の画像データを再生することができる。
【0080】
このように、この実施の形態の撮像装置100は、被写体の画像を撮影して、記録媒体135に記録することができるものである。また、撮像装置100は、記録媒体135に記録されている画像データを読み出して再生処理し、当該画像データに応じた画像を表示部106の表示画面に表示することもできるものである。
【0081】
上述の構成を有する撮像装置100においては、以下に説明するように、撮影することにより記録媒体135に記録した画像ファイルにキーワードなどの検索キー(検索条件)の候補となる情報を付加しておき、これに応じて画像データを検索できるようにしている。
【0082】
そして、撮像装置100においては、画像データの検索処理を複数回繰り返し行う必要がある場合であっても、できるだけ少ない操作ステップで検索を行えるようにしている。さらに撮像装置100においては、検索結果を分りやすくユーザーに提示したり、検索結果を簡単な操作で確定したりするなどのことができるようにしている。
【0083】
[画像ファイル、画像フォルダの構成例]
図2は、撮像装置100の記録媒体135に記録される画像ファイルのレイアウト例を説明するための図である。図2に示すように、画像ファイルは、各画像ファイルを識別するための識別情報であるファイル名を有している。このファイル名は、例えば、撮影時において、制御部120により自動付与されるものである。
【0084】
また、各画像ファイルには、キーワード、GPS情報、画像分析情報、カメラ情報、撮影日時などからなるメタデータが付加するようにされている。これらのメタデータは、画像データの検索キーに対応する情報として用いることができるものである。
【0085】
ここで、キーワードは、ユーザーによって入力される主にテキストデータである。具体的にキーワードは、撮影を行った場所を示す地名、画像に写っている人の名前、撮影を行った場所で開かれていたイベント名など、当該画像の内容などを示す情報が複数個登録可能にされている。
【0086】
なお、キーワードは、これを付加する画像ファイルの画像データに応じて画像が表示部106の表示画面に表示されている場合において、操作部131やタッチスクリーン108を通じて入力し、当該画像ファイルに付加することができるようにされている。
【0087】
また、例えば、パーソナルコンピュータ上において、画像データにキーワードなどの種々のメタデータを付加するようにし、これを入出力端子133及び外部I/F132を通じて撮像装置100に取り込み、記録媒体135に記録するようにしてもよい。すなわち、キーワード等のメタデータを外部の機器において付加した画像データを撮像装置100に取り込んで、これを利用するようにすることもできる。
【0088】
GPS情報は、撮影時において、上述したGPS受信部138を通じて取得した撮影時の位置を示す位置情報(経度、緯度の情報)であり、制御部120を通じて、画像ファイルに付加することができるようにされている。
【0089】
画像分析情報は、当該画像ファイルの画像データを所定の方式で画像分析(画像解析)を行うことにより、画像分析結果を得て、これを各画像ファイルに格納するようにしたものである。この画像分析は、撮影後の適宜にタイミングにおいて、主に制御部120の機能により行われ、画像ファイルに付加するようにされている。
【0090】
そして、画像分析情報は、例えば、エッジ検出や色彩解析などの種々の手法を用いることにより、各画像データによる画像の特徴を数値化して示すことができるものであり、各画像間において、構図や被写体の類似度を比較することができるものである。
【0091】
さらに言えば、当該画像分析情報は、当該画像分析の結果に基づいて、類似する人物(顔)が写っている画像を検索したり、類似する場所が写っている画像を検索したり、あるいは、色の特徴が類似する画像を検索したりするなどのことができるものである。
【0092】
カメラ情報は、撮影時の絞りやシャッタースピードなどを示す情報である。このカメラ情報は、制御部120において管理されている情報であり、撮影が行われた場合に、制御部120によって画像ファイルに付加するようにされている。そして、当該カメラ情報により、どのようなカメラ条件の下で撮影された画像データであるかが把握できる。
【0093】
撮影日時は、図示しない時計回路を通じて撮影時において制御部120が取得し、画像ファイルに付加した日時情報であり、年月日及び時刻からなる情報である。これにより、各画像ファイルの画像データは、いつ撮影されたものかを正確に把握することができる。
【0094】
そして、画像ファイルには、メインデータとして、撮影することにより得られた被写体の画像を形成する画像データが格納されている。
【0095】
このように形成される画像ファイルが、撮像装置100の記録媒体135に記録される。そして、画像ファイルは、以下に説明するように、ユーザーの指示に応じて記録媒体135に作成される画像フォルダに格納するようにされる。
【0096】
なお、この実施の形態の撮像装置100においては、ユーザーが画像フォルダを形成しない場合、例えば、撮影日に対応するフォルダを自動的に形成し、これに撮影することにより得た画像データを格納することができるようにしている。
【0097】
そして、画像ファイルが格納される画像フォルダは、上述もしたように、例えば、入学式、運動会、お誕生日会などといった、撮影を行ったイベント毎や撮影年月や撮影年月日毎などに形成されるものである。
【0098】
これ以外にも、例えば、被写体毎に画像フォルダを形成して用いるようにしたり、撮像装置100を家族などで共用する場合には、撮影者毎に画像フォルダを形成して使い分けるようにしたりすることもできる。
【0099】
図3は、撮像装置の100の記録媒体135に形成される画像フォルダのレイアウト例を説明するための図である。図3に示すように、画像フォルダは、各フォルダを識別するための識別情報であるフォルダ名を有している。このフォルダ名が、例えば、入学式、運動会、お誕生日会などといった、撮影を行ったイベントに対応する情報や、撮影年月や撮影年月日などの撮影日に関する情報などである。
【0100】
また、各画像フォルダは、当該画像フォルダのイベントタイトル、作成日時、その他の種々のメタデータを有している。
【0101】
イベントタイトルは、その画像フォルダがイベントに対応して作成されたものである場合に、より詳しいイベントの内容、例えば、「○○ちゃんの入学式 2008.4.10」などのようにより詳しい内容を示す情報を格納することができる。
【0102】
作成日時は、当該画像ファイルを作成した日時を示す情報であり、画像フォルダの作成時において、制御部120が図示しない時計回路から取得する情報である。
【0103】
この他、メタデータとして、当該画像フォルダに格納されている画像ファイルの数などの撮像装置100において自動的に付与可能な情報や、ユーザーによって入力される注釈情報(文字情報)等を付加することも可能である。
【0104】
そして、画像フォルダには、当該フォルダに属する画像ファイルのそれぞれの、ファイル名、記録媒体上のアドレス、撮影日時が格納されている。この画像フォルダの情報により、当該画像フォルダには、いつ撮影された、どの画像ファイルが格納されており、それらの画像ファイルは、記録媒体上のどこに格納されているかを把握することができる。
【0105】
そして、各画像ファイルにおいては、撮影することにより得られた画像データの画像ファイルを撮影日時に応じて時系列順に管理している。これにより、画像フォルダの情報に基づいて、図3に示した画像ファイルの画像データを、時間が進む方向に読み出して順次に表示したり、時間が戻る方向に順次に読み出して表示したりすることができるようにしている。
【0106】
[検索キーの候補情報テーブル]
そして、この実施の形態の撮像装置100においては、検索キーを用いた画像データの検索処理を手軽に行うことができるようにするために、検索キーの候補となる情報(検索キー候補情報)が予め登録されている。この検索キー候補情報テーブルに登録されている検索キー候補情報が、後述もするが、検索時に登録することなく検索キーとして用いることができるものである。
【0107】
図4は、撮像装置100の記録媒体135に、あるいは、EEPROM124などに予め作成される検索キー候補情報テーブルを説明するための図である。この実施の形態の撮像装置100において、検索キー候補情報テーブルは、図4に示すように、「人」、「場所」、「色」、「季節」、「被写体」、「カメラ情報」、「その他」の7つのカテゴリに分けて検索キー候補情報を管理するものである。
【0108】
カテゴリ「人」は、人に関する検索キー候補情報が属するものであり、図4に示すように、「家族、父、母、兄、姉、弟、妹、…」などの情報が予め登録されている。また、カテゴリ「人」には、例えば、「○子(ユーザー本人)」、「Aさん」、「Bさん」、「Cさん」など、ユーザー自身の名前や、被写体になる(なった)友人や知人の名前などを、ユーザー自身が登録することもできる。
【0109】
カテゴリ「場所」は、場所に関する検索キー候補情報が属するものであり、図4に示すように、都道府県名、市町村名、区名、その他の地名、駅名、種々のランドマーク名等の情報が予め登録されている。なお、新たにできた地名や新たにできたランドマーク(高層ビルや商業施設等)の名前など、登録されていない地名などについては、ユーザー自身が登録することもできる。
【0110】
カテゴリ「色」は、図4に示したように、赤、白、黒、青、…などの色名が属するものであり、一般的によく用いられる複数の色名が予め登録されている。なお、予め登録されていない色名については、ユーザー自身が登録することもできる。
【0111】
カテゴリ「季節」は、季節に関する検索キー候補情報が属するものであり、図4に示す用に、「春、夏、秋、冬」のほか、新春、早春、初夏、初秋、初冬などの季節に関する幾つかの単語も予め登録されている。なお、予め登録されていない季節に関する単語については、ユーザー自身が登録することもできる。
【0112】
カテゴリ「被写体」は、被写体となりうるものに関する検索キー候補情報が登録されるものであり、図4に示すように、動物、花、木、山、海など、一般によく被写体となるものの名前が予め登録されている。なお、予め登録されていない被写体となりうるものに関する単語については、ユーザー自身が登録することもできる。
【0113】
カテゴリ「カメラ情報」は、絞りやシャッタースピードなどの撮影時のカメラの設定条件などの検索キー候補情報が予め登録されるものである。例えば、特殊な設定条件を用いて撮影した画像を検索する場合などに用いられる。なお、予め登録されていないカメラ情報については、ユーザー自身が登録することもできる。
【0114】
カテゴリ「その他」は、上記の6つのカテゴリのいずれにも属さない検索キー候補情報が登録されるものである。例えば、画像分析やGPS情報といった項目名が登録されており、これらを選択することにより、特定の画像の画像分析情報を検索キーとして用いるようにしたり、特定の画像のGPS情報を検索キーとして用いるようにしたりすることができるようにされる。
【0115】
そして、この実施の形態の撮像装置100においては、上述もしたように、撮影することにより記録媒体135に記録した画像ファイルに対しては、ユーザーが種々のキーワードを付すことができるようにしている。
【0116】
ユーザーは、上述もしたように、撮影することにより記録媒体135に記録した画像ファイルに格納されている画像データによる画像を再生するようにし、キーワードを付加するための所定の操作を行うと、操作部131を通じてキーワードを入力することができる。
【0117】
この場合、図4に示した検索キー候補情報テーブルの検索キー候補情報の一覧を表示し、その表示された候補の中から目的とするキーワードを選択して付加するようにすることができる。
【0118】
また、検索キー候補情報の一覧の中に目的するキーワードが存在しない場合には、例えば、タッチスクリーン8により実現される入力キーを通じて、単語などのテキストデータを入力し、これをキーワードとして付加することもできる。
【0119】
もちろん、上述もしたように、パーソナルコンピュータ上において、画像データにキーワードなどの種々のメタデータを付加するようにし、これを入出力端子133及び外部I/F132を通じて撮像装置100に取り込み、記録媒体135に記録するようにしてもよい。すなわち、キーワード等のメタデータを外部の機器において付加した画像データを撮像装置100に取り込んで、これを利用するようにすることもできる。
【0120】
また、入出力端子133及び外部I/F132を通じて接続されるパーソナルコンピュータなどの外部機器を通じて、撮像装置100の検索キー候補テーブルに検索キーの候補を追加することも可能である。
【0121】
もちろん、パーソナルコンピュータなどの外部機器で形成された検索キー候補テーブルを、入出力端子133及び外部I/F132を通じて取り込んで、EEPROM124などの所定のメモリーに格納し、これを利用するようにすることもできる。
【0122】
この場合、制御部120は、キーワードとして入力された情報が、検索キー候補情報テーブルに存在しない場合には、当該キーワードを検索キー候補情報テーブルに追加登録するか否かの確認を求める。
【0123】
そして、追加登録することが指示された場合には、制御部120は、例えば操作部131等を通じてユーザーによって指示されたカテゴリに当該キーワードを登録することができるようにされている。
【0124】
このようにして、この実施の形態の撮像装置100においては、記録媒体135に格納されている各画像ファイルに付加されているキーワードのいずれかと、検索キー候補情報テーブルに登録された検索キー候補情報のいずれかが一致するようにされている。
【0125】
[画像検索に用いる検索キーの選択処理]
次に、この実施の形態の撮像装置100において、図4に示した検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明する。図5〜図7は、検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明するための図である。
【0126】
撮像装置100においては、例えば、操作部131に設けられているメニューキーを押下操作するなど、所定の操作を行うことにより、制御部120は、自機において実行可能な処理を選択項目として有するメニューを形成し、これを表示部106に表示する。
【0127】
すなわち、制御部120は、ROM122に格納されている表示用情報等を用いて、メニュー表示用の画像データ(メニュー画面)を形成する。そして、制御部120は、形成したメニュー表示用の画像データを、伸張処理部110、表示画像形成部111、表示処理部105を通じて処理するようにし、メニュー表示用の画像信号を形成して表示部106に供給する。
【0128】
これにより、表示部106の表示画面6Gには、自機において実行可能な処理を選択項目とするメニュー画面が表示される。なお、メニュー表示用の画像データについては、伸張処理の必要は無いので、伸張処理部110においては特に処理が施されることはない。
【0129】
そして、撮像装置100においては、図1を用いて説明したように、表示部106とタッチパネル107とによりタッチスクリーン108が形成されており、このタッチスクリーン108を通じてユーザーからの指示入力が受け付けられる。
【0130】
ユーザーは、撮像装置100に対して、表示部106の表示画面6Gに表示されたメニューから、メニュー項目「画像検索」を選択する操作を行う。具体的には、メニュー項目「画像検索」の表示位置に対応するタッチパネル107の操作面上の位置に対して指等を接触させる。
【0131】
これにより、タッチパネル107から制御部120に対して、操作面上のユーザーの接触位置を示す座標データが供給される。制御部120は、当該座標データと当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されている表示情報とに基づいて、ユーザーによってどの項目が選択されたかを判断する。
【0132】
この場合、制御部120は、ユーザーによって接触された操作面上の位置に対応する表示画面6Gの位置には、メニュー項目「画像検索」が表示されていることを把握している。したがって、制御部120は、ユーザーによって、メニュー項目「画像検索」が選択されたと判断することができる。
【0133】
そして、制御部120は、上述したメニューを表示した場合と同様にして、図5(a)に示す検索範囲設定画面を表示部106の表示画面6Gに表示する。図5(a)に示すように、検索範囲設定画面は、「*画像検索*」という表題(画面のタイトル)を有すると共に、検索範囲を指定するための全体アイコン6X、フォルダアイコン6Y、日付アイコン6Zを有するものである。また、検索範囲設定画面は、図5(a)に示すように、右上端部には、終了アイコン6A、OKアイコン6Bを有している。
【0134】
そして、図5(a)において、全体アイコン6Xは、記録媒体135に記録されている全画像ファイルを検索対象として指定するためのものである。したがって、全体アイコン6Xが選択された場合には、制御部120は、画像検索時において、記録媒体に記録されている全ての画像ファイルを検索対象とする。
【0135】
フォルダアイコン6Yは、記録媒体135に記録されている画像ファイルの内、ユーザーによって選択された画像フォルダに格納されている画像ファイルだけを検索対象として指定するためのものである。
【0136】
フォルダアイコン6Yが選択された場合には、制御部120は、記録媒体135に形成されている画像フォルダの一覧リストを形成して表示部106の表示画面に表示し、ユーザーが目的とする画像フォルダを選択することができるようにする。
【0137】
ユーザーによって画像フォルダが選択された場合には、制御部120は、図5(a)において、表示6Y1が示すように、選択された画像フォルダのフォルダ名を表示部106の表示画面6Gに表示する。
【0138】
そして、制御部120は、選択された画像フォルダに格納されている画像ファイルだけを検索対象とする。なお、選択できる画像フォルダは1つに限るものではなく、複数の画像フォルダを検索対象とすることもできる。
【0139】
日付アイコン6Zは、記録媒体135に記録されている画像ファイルの内、画像ファイルに付加されている撮影年月日が、ユーザーによって指示された日付範囲に属する画像ファイルだけを検索対象として指定するためのものである。
【0140】
日付アイコン6Zが選択された場合には、制御部120は、日付範囲の設定画面を表示部106の表示画面に表示し、ユーザーが目的とする日付範囲を入力することができるようにする。
【0141】
日付範囲が入力された場合には、制御部120は、図5(a)において、表示6Z1が示すように、入力された日付範囲を表示部106の表示画面6Gに表示する。そして、制御部120は、入力された日付範囲に撮影年月日が属する画像ファイルだけを検索対象とする。
【0142】
なお、日付範囲は、2008年10月1日〜2008年10月1日までのように、1日だけの場合も可能であるし、数日、数週間単位、数ヶ月、数年といった範囲の入力(設定)も可能である。
【0143】
そして、図5(a)に示した検索範囲設定画面において、終了アイコン6Aが選択された場合には、制御部120は、画像の検索処理を終了させ、例えば、メニュー画面が表示された状態に戻るようにする。
【0144】
また、図5(a)に示した検索範囲設定画面において、OKアイコン6Bが選択された場合には、制御部120は、選択された範囲で、画像の検索を行うようにする。この場合、制御部120は、図5(b)に示すように、カテゴリ一覧表示611を有する検索キーの選択画面(1)を形成し、これを表示部106の表示画面6Gに表示する。
【0145】
なお、検索範囲が選択されていないにもかかわらず、OKアイコン6Bが選択された場合、制御部120は、警告音を放音したり、警告メッセージを表示したりして、検索範囲を選択することをユーザーに促すようにしている。
【0146】
図5(b)に示すように、検索キーの選択画面(1)は、終了アイコン6AとBKアイコン6Cを有すると共に、表示画面6Gの下端部にカテゴリ一覧表示611を有するものである。
【0147】
カテゴリ一覧表示611は、図4を用いて説明した検索キー候補テーブルのカテゴリ情報に基づいて形成されるものであり、図5(b)に示したように、人、場所、色、季節、被写体、カメラ情報、その他というように、7つのカテゴリ名を有している。
【0148】
ユーザーは、表示されたカテゴリ一覧表示611から、検索キーとして用いようとする検索キー候補情報が属すると考えられるカテゴリ名を選択する。具体的には、目的とするカテゴリ名の表示位置に対応するタッチパネル107の操作面上の位置に指等を接触させることによりカテゴリ名を選択する。
【0149】
制御部120は、タッチパネル107からの座標データと、当該座標データが示すタッチパネル107の操作面上の位置に対応する表示画面6G上の位置に表示されている表示情報とに基づいて、ユーザーによりどのような指示入力がされたかを把握する。
【0150】
ここで、図5(b)に示すように、ユーザーによって、カテゴリ「人」の表示位置に対応するタッチパネル107の操作面上の位置に指等が接触されたとする。この場合、制御部120は、カテゴリ「人」が選択されたと判断し、カテゴリ「人」に属する検索キー候補情報の一覧表示(検索キー候補表示)621を有する検索キーの選択画面(2)を形成し、これを表示部106の表示画面6Gに表示する。
【0151】
なお、図5(b)において、終了アイコン6Aが選択された場合には、制御部120は、画像の検索処理を終了させ、例えば、メニュー画面が表示された状態に戻るようにする。また、図5(b)において、BKアイコン6Cが選択された場合には、制御部120は、図5(a)を用いて説明した検索範囲設定画面に戻り、再度の検索範囲の設定を行うことができるようにする。
【0152】
図6(a)に示すように、検索キーの選択画面(2)は、終了アイコン6Aと、OKアイコン6Bと、BKアイコン6Cを有すると共に、表示画面6Gの下端部に検索キー候補表示621を有するものである。
【0153】
検索キー候補表示621は、前段の検索キーの選択画面(1)において選択されたカテゴリ「人」に属する検索キー候補情報の一覧リストである。また、図6(a)に示すように、検索キーの選択画面(2)の場合、検索キー候補表示をスクロールさせるための左矢印アイコン622と右矢印アイコン623とを有している。
【0154】
この場合、左矢印アイコン622に対してタップ操作を行うようにすると、制御部120は、検索キー候補表示621を右側から左側へ検索キー候補1つ分スクロールさせる。左矢印アイコン622に対してタップ操作を繰り返すことにより、検索キー候補表示621を右側から左側へ検索キー候補1つ分ずつ順次にスクロールさせることができる。
【0155】
同様に、左矢印アイコン623に対してタップ操作を行うようにすると、制御部120は、検索キー候補表示621を左側から右側へ検索キー候補1つ分スクロールさせる。右矢印アイコン623に対してタップ操作を繰り返すことにより、検索キー候補表示621を左側から右側へ検索キー候補1つ分ずつ順次にスクロールさせることができる。
【0156】
これら左矢印アイコン622、右矢印アイコン623に対して操作を行うことにより、検索キー候補表示をスクロールさせ、目的とする検索キー候補情報が表示された場合には、その検索キー候補情報を選択する操作を行う。
【0157】
なお、左右の矢印アイコン622、623を用いるのではなく、例えば、タッチパネル107の操作面において、左方向のなぞり操作や右方向のなぞり操作を行うことによって、検索キー候補表示をスクロールさせるようにすることもできる。
【0158】
例えば、図6(a)において、検索キー候補表示中の項目「Aさん」が、ユーザーが検索キーとしたい検索キー候補情報であったとする。この場合、ユーザーは、項目「Aさん」の表示位置に対応するタッチパネル107の操作面上の位置に指等を接触させて、なぞり操作(ドラッグ操作またはフリック操作)を行う。
【0159】
制御部120は、上述したように、タッチパネル107からの座標データと、各表示情報の表示画面6G上の表示位置とに基づいて、項目「Aさん」の表示位置からなぞり操作が行われたことを把握する。
【0160】
この場合、制御部120は、項目「Aさん」が検索キーとして選択されたと認識し、検索キー候補表示621の表示外に、検索キーとして選択された「Aさん」の表示624を表示画面6Gに表示する。これにより、ユーザーは、撮像装置100において、項目「Aさん」を検索キーとして選択できたことを認識することができる。
【0161】
同様にして、カテゴリ「人」に属する他の項目を検索キーとして選択することもできるようにされる。つまり、同じカテゴリ内において、複数の項目(検索キー候補情報)を、検索キーとして選択することも可能である。
【0162】
そして、項目「Aさん」が検索キーとして選択された後、画像検索自体を終了させたい場合には、ユーザーは、終了アイコン6Aを選択する。これにより、制御部120は、画像の検索処理を終了させ、例えば、メニューが表示された状態に戻るようにする。この場合、選択された検索キーは選択されなかったものとされる。
【0163】
また、項目「Aさん」が検索キーとして選択された後、カテゴリの選択をし直したい場合には、ユーザーは、BKアイコン6Cを選択する。これにより、制御部120は、図5(b)を用いて説明した検索キーの選択画面(1)に戻り、カテゴリの選択をやり直すことができるようにする。この場合、項目「Aさん」が検索キーとして選択されたことはなかったものとされる。
【0164】
また、項目「Aさん」が検索キーとして選択された後、OKアイコン6Bが選択された場合には、制御部120は、図6(a)において選択された項目「Aさん」を検索キーとして特定する。
【0165】
そして、制御部120は、図6(b)に示すように、検索キーとして特定した項目「Aさん」の表示631を有し、再度、カテゴリ一覧表示611を表示するようにした検索キーの選択画面(3)を形成し、これを表示部106の表示画面6Gに表示する。これにより、検索キー候補情報テーブルのカテゴリを新たに選択することができるようにされる。
【0166】
図6(b)の状態にあるときに、画像検索自体を終了させたい場合には、ユーザーは、終了アイコン6Aを選択する。これにより、制御部120は、画像の検索処理を終了させ、例えば、メニューが表示された状態に戻るようにする。
【0167】
また、カテゴリ「人」においての検索キーの選択をやり直したい場合には、ユーザーは、BKアイコン6Cを選択する。これにより、制御部120は、図6(a)を用いて説明した検索キーの選択画面(2)に戻り、カテゴリ「人」においての検索キーの選択をやり直すことができるようにする。
【0168】
この場合、制御部120の制御により、既に選択した検索キーを取り消したり、既に選択した検索キーを取り消して、新たな検索キーを選択したり、既に選択した検索キーに加えてさらに検索キーを選択したりするなどのことができるようにされる。
【0169】
また、図6(b)の状態にあるときに、検索キーの選択を完了し、選択した検索キーにより画像の検索を行うようにする場合には、ユーザーは、OKアイコン6Bを選択する。これにより、制御部120は、図6(b)において、カテゴリ一覧表示611を消去し、画像の検索処理を実行できるようにする。
【0170】
この場合、制御部120は、図5(a)において設定した範囲の画像(検索範囲の画像)データを読み出し、伸張処理部110、表示画像形成部111、表示処理部105を制御し、表示画面6Gの全面に検索範囲の画像のサムネイル画像をランダムに表示する。そして、画像検索の開始を指示する操作である、選択した検索キーの表示(図6(b)の場合には表示631)への指示操作(接触操作)を待つことになる。
【0171】
また、図6(b)の状態にあるときに、さらに検索キーの選択を行う場合には、ユーザーは、図5(b)を用いて説明した場合と同様に、検索キーとして用いようとする検索キー候補情報が属すると考えられるカテゴリ名を選択する。すなわち、目的とするカテゴリ名の表示位置に対応するタッチパネル107の操作面上の位置に指等を接触させることによりカテゴリ名を選択する。
【0172】
ここで、図6(b)に示すように、ユーザーによって、カテゴリ「場所」の表示位置に対応するタッチパネル107の操作面上の位置に指等が接触されたとする。制御部120は、カテゴリ「場所」が選択されたと判断し、図7(a)に示す、カテゴリ「場所」に属する検索キー候補情報の一覧表示(検索キー候補表示)621を有する検索キーの選択画面(4)を形成し、これを表示部106の表示画面6Gに表示する。
【0173】
検索キーの選択画面(4)は、図7(a)に示すように、終了アイコン6Aと、OKアイコン6Bと、BKアイコン6Cを有すると共に、表示画面6Gの下端部に検索キー候補表示641を有するものである。
【0174】
検索キー候補表示641は、前段の検索キーの選択画面(3)において選択されたカテゴリ「場所」に属する検索キー候補情報の一覧リストである。また、図7(a)に示すように、検索キーの選択画面(4)の場合、検索キー候補表示をスクロールさせるための左矢印アイコン642と右矢印アイコン643とを有している。
【0175】
この場合、左矢印アイコン642に対してタップ操作を行うようにすると、制御部120は、検索キー候補表示641を右側から左側へ検索キー候補1つ分スクロールさせる。左矢印アイコン642に対してタップ操作を繰り返すことにより、検索キー候補表示641を右側から左側へ検索キー候補1つ分ずつ順次にスクロールさせることができる。
【0176】
同様に、左矢印アイコン643に対してタップ操作を行うようにすると、制御部120は、検索キー候補表示641を左側から右側へ検索キー候補1つ分スクロールさせる。右矢印アイコン643に対してタップ操作を繰り返すことにより、検索キー候補表示641を左側から右側へ検索キー候補1つ分ずつ順次にスクロールさせることができる。
【0177】
これら左矢印アイコン642、右矢印アイコン643に対して操作を行うことにより、検索キー候補表示をスクロールさせ、目的とする検索キー候補情報が表示された場合には、その検索キー候補情報を選択する操作を行う。
【0178】
例えば、図7(a)において、検索キー候補表示中の項目「横浜」が、ユーザーが検索キーとしたい検索キー候補情報であったとする。この場合、ユーザーは、項目「横浜」の表示位置に対応するタッチパネル107の操作面上の位置に指等を接触させて、なぞり操作(ドラッグ操作またはフリック操作)を行う。
【0179】
制御部120は、タッチパネル107からの座標データと、各表示情報の表示画面6G上の表示位置とに基づいて、項目「横浜」の表示位置からなぞり操作が行われたことを把握する。
【0180】
この場合、制御部120は、項目「横浜」を検索キーとして選択したと認識し、検索キー候補表示621の表示外に、検索キーとして選択された「横浜」の表示644を表示画面6Gに表示する。これにより、ユーザーは、撮像装置100において、項目「横浜」を検索キーとして選択できたことを認識することができる。
【0181】
同様にして、カテゴリ「場所」に属する他の項目を検索キーとして選択することもできるようにされる。つまり、同じカテゴリ内において、複数の項目(検索キー候補情報)を、検索キーとして選択することも可能である。
【0182】
そして、項目「横浜」が検索キーとして選択された後、画像検索自体を終了させたい場合には、ユーザーは、終了アイコン6Aを選択する。これにより、制御部120は、画像の検索処理を終了させ、例えば、メニューが表示された状態に戻るようにする。この場合、選択された検索キーは選択されなかったものとされる。
【0183】
また、項目「Aさん」、項目「横浜」が検索キーとして選択された後、カテゴリの選択をし直したい場合には、ユーザーは、BKアイコン6Cを選択する。これにより、制御部120は、図6(b)を用いて説明した検索キーの選択画面(3)に戻り、カテゴリの選択をやり直すことができるようにする。この場合、項目「横浜」が検索キーとして選択されたことはなかったものとされる。
【0184】
また、項目「Aさん」、項目「横浜」が検索キーとして選択された後、OKアイコン6Bが選択された場合には、制御部120は、図7(a)において選択された項目「横浜」を検索キーとして特定する。
【0185】
そして、制御部120は、図7(b)に示すように、検索キーとして特定した項目「Aさん」の表示631、及び、項目「横浜」の表示651を有し、再度、カテゴリ一覧表示611を表示するようにした検索キーの選択画面(5)を形成する。そして、この図7(b)に示した検索キーの選択画面(5)を表示部106の表示画面6Gに表示する。
【0186】
このようにして、検索キー候補情報テーブルの7つのカテゴリから必要なカテゴリについて、1つ以上の検索キー候補情報を検索キーとして選択し、特定することができるようにされている。
【0187】
したがって、同じカテゴリから複数の検索キー候補情報を検索キーとして選択したり、複数のカテゴリのそれぞれから1つ以上の検索キー候補情報を検索キーとして選択したりすることができるようにされる。
【0188】
そして、図7(b)の状態にあるときに、画像検索自体を終了させたい場合には、ユーザーは、終了アイコン6Aを選択する。これにより、制御部120は、画像の検索処理を終了させ、例えば、メニューが表示された状態に戻るようにする。この場合、検索キーの選択はされなかったものとされる。
【0189】
また、カテゴリ「場所」においての検索キーの選択をやり直したい場合には、ユーザーは、BKアイコン6Cを選択する。これにより、制御部120は、図7(a)を用いて説明した検索キーの選択画面(4)に戻り、カテゴリ「場所」においての検索キーの選択をやり直すことができるようにする。
【0190】
この場合、制御部120の制御により、既に選択した検索キーを取り消したり、既に選択した検索キーを取り消して、新たな検索キーを選択したり、既に選択した検索キーに加えてさらに検索キーを選択したりするなどのことができるようにされる。
【0191】
また、図7(b)の状態にあるときに、検索キーの選択を完了し、選択した検索キーにより画像の検索を行うようにする場合には、ユーザーは、OKアイコン6Bを選択する。これにより、制御部120は、図7(b)において、カテゴリ一覧表示611を消去し、画像の検索処理を実行できるようにする。
【0192】
この場合、制御部120は、図5(a)において設定した範囲の画像(検索範囲の画像)データを読み出し、伸張処理部110、表示画像形成部111、表示処理部105を制御し、表示画面6Gの全面に検索範囲の画像のサムネイル画像をランダムに表示する。そして、画像検索の開始を指示する操作である、選択した検索キーの表示(図7(b)の場合には表示631、表示651)への指示操作(接触操作)を待つことになる。
【0193】
このようにして、ユーザーにより検索キーが選択され、この選択された検索キーが撮像装置100において特定されると、画像の検索ができるようにされる。この実施の形態の撮像装置100においては、図6(b)、図7(b)に示したように、検索キーとして特定された検索キー項目の表示に対してユーザーが指等を接触させるようにすることで、画像の検索が開始される。
【0194】
すなわち、検索キー項目の表示は、項目「Aさん」の表示631や項目「横浜」の表示651であり、これら特定された検索キー項目の表示に対して、ユーザーが指等を接触させ、これを制御部120が検知した場合に、制御部120は、画像の検索を開始する。
【0195】
なお、図5〜図7を用いて説明した検索キーの選択処理は一例であり、これとは別の態様で、検索キー候補情報の中から目的とする検索キーを選択するようにすることも可能である。
【0196】
[画像検索時の画面の遷移例]
次に、上述したように、ユーザーによって検索キーが選択された後に、その選択した検索キーを用いて画像検索を行う場合の画面の遷移例について説明する。図8〜図10は、図5〜図7を用いて説明したようにして2つの検索キーが選択された状態から画像検索をする場合の画面の遷移例を説明するための図である。
【0197】
上述もしたように、目的とする2つの検索キーを選択し、OKアイコン6Bを選択することにより、選択した検索キーを確定すると、図8(a)に示すように、画像検索画面の初期状態となる。
【0198】
この図8(a)に示す画像検索画面の初期状態は、ユーザーによって選択された検索キーに対応する検索キー表示(検索キーアイコン)K1、K2が表示されると共に、検索範囲の画像がばらばらと表示されたものである。
【0199】
また、以下においては、ユーザーによって選択された検索キーであって、検索キー表示K1に対応するものを検索キーk1とし、検索キー表示K2に対応するものを検索キーk2とする。
【0200】
そして、選択した2つの検索キーの内、検索キー表示K1に対応する検索キーk1に応じた画像検索を実行する場合、ユーザーは、図8(b)に示すように、検索キー表示K1の表示位置に対応するタッチパネル107上の位置に指等を接触させる。
【0201】
制御部120は、タッチパネル107からの座標データと、当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されている表示情報とに基づいて、検索キー表示K1が指示されたことを検知し、画像検索の実行指示があったと認識する。
【0202】
この場合、制御部120は、指示された検索キー表示K1に対応する検索キーk1を用い、検索範囲に属する画像ファイルから当該検索キーに合致するキーワードを有する画像ファイルを抽出する。
【0203】
そして、制御部120は、検索範囲の画像ファイルについて、検索キーk1に合致するものとして抽出された画像ファイルのサムネイル画像を、表示画面6G上の予め決められた位置(例えば、検索キー表示K1の近傍)に集まるようにして表示する。
【0204】
当該検索範囲の画像ファイルであっても、検索キーに応じて抽出されなかった画像ファイルのサムネイル画像については、表示画面6G上の予め決められた位置から離れた位置に表示する。
【0205】
これにより、図8(b)に示すように、検索キーk1に合致するキーワードを有する画像ファイルの画像は、検索キー表示K1の周囲に集まって表示され、それ以外の画像ファイルの画像は、検索キー表示K1から離れた位置に表示される。
【0206】
なお、図8(b)に示したようにサムネイル画像を表示する処理は、制御部120の制御に応じて動作する伸張処理部110、表示画像形成部111、表示処理部105によって画像処理がなされ、表示部106の表示画面6Gに表示される。
【0207】
具体的には、検索範囲の画像ファイルの画像データは、伸張処理部110において伸張処理されて表示画像形成部111に供給される。表示画像形成部111は、これに供給された画像データを間引き処理するなどしてサムネイルデータを形成する。
【0208】
そして、表示画像形成部111は、制御部120の制御に応じて、検索キーk1に合致するキーワードのサムネイル画像は、検索キー表示K1の表示位置の近傍に表示し、それ以外のサムネイル画像は検索キー表示K1から離れた位置に表示する画像データを形成する。
【0209】
この画像データは、1画面分の画像を形成する画像データであり、当該画像データから表示処理部105に供給する画像信号を形成し、これを表示処理部105に供給する。表示処理部105を制御部120からの制御に応じて、表示部106に供給する表示用の画像信号を形成し、これを表示部106に供給する。これにより、表示部106の表示画面6Gに図8(b)に示した態様で、画像検索の結果の表示が行われる。
【0210】
なお、各画像ファイルにサムネイル画像を表示するためのサムネイルデータが既に用意されている場合には、そのサムネイルデータを用いて、図8に示した表示が行われる。予め各画像ファイルに用意されているサムネイルデータを用いる場合には、上述した伸張処理部110においての伸張処理や、表示画像形成部111においてのサムネイルデータの形成処理等を行う必要は無く、撮像装置100の負荷を軽減することができる。
【0211】
このように、ユーザーは、検索キー表示K1に対応する検索キーk1を用いて画像検索が実行されたこと、及び、その画像検索の結果を、表示画面6Gに表示された情報に応じて知ることができる。
【0212】
また、図8(b)に示したように、検索キーに合致する画像群の概要と共に、検索キーに合致しない画像群の概要をも把握することができるようにされ、ユーザーにとって分り易い態様で画像検索を行うことができる。
【0213】
そして、制御部120は、図8(c)に示すように、検索キー表示K1へのユーザーの指等の接触が解除された後においては、一定時間Tまで(例えば数秒程度まで)は、画像検索の結果の表示を維持する。この表示が維持されている間において、ユーザーは、画像検索の結果を確定することができるようにされる。
【0214】
すなわち、図9(a)に示すように、検索キー表示K1に対応する検索キーk1を用いて画像検索を行った結果の表示が維持されているとする。この図9(a)に示した表示状態にあるときに、検索キーk1に合致する画像として検索キー表示K1の近傍に表示された画像群を囲む操作を行うことにより、当該画像群を画像検索の結果として確定する。
【0215】
この画像群を囲む操作は、図9(b)に示すように、タッチパネル107の操作面に対して指等を接触させたままドラッグ操作を行うことにより、エリアArが示すように、画像検索の結果の画像群を囲むようにするものである。
【0216】
そして、当該エリアAr内の画像が、画像検索の結果の画像群(検索キーk1に位置するキーワードを有する画像群)として確定されるのである。ここで、検索結果の画像群を確定するとは、当該画像群を保存や再生の対象として、例えばワークエリアとしてのRAM123などに保持するようにすることを意味する。
【0217】
なお、図9においては、ユーザーによって指示されたエリアAr内に表示されている画像群を画像検索の結果としての画像群として確定するようにした。しかし、これに限るものではない。幾つかの態様にしたがって、画像検索の結果の画像群を確定することができる。
【0218】
例えば、画像全体が指定エリアArの中に納まっている画像の集合だけを、画像検索の結果の画像群として確定するようにしてもよい。この場合には、一部がエリアArからはみ出している画像は画像検索の結果の画像群の対象外とされる。
【0219】
また、画像の一部画が指定エリアArの中に含まれる画像の集合を、画像検索の結果として確定してもよい。つまり、画像の全部が指定エリア内に収まっている必要は無いが、少なくとも一部が指定エリアAr内に位置する画像の集合を、画像検索の結果の画像群として確定しようとするものである。
【0220】
また、指定エリアArの近傍に表示され、検索キーk1に一致するキーワードを有する画像データ全てを画像検索の結果の画像群として確定するようにしてもよい。この場合には、指定エリアAr内に属するか属さないかに関係なく、検索キーk1に一致するキーワードを有する画像データ全てを画像検索の結果の画像群として確定する。
【0221】
このように、画像検索の結果の画像群を確定する範囲は種々設定することが可能であるが、ユーザーにより何らかの指示操作が行われた場合に、画像検索の結果の画像群を確定することができる。
【0222】
このようにして、画像検索の結果の画像群を確定した場合には、図9(b)に示した状態は維持される。そして、画像検索の結果の画像群として確定された画像ファイルのそれぞれについては、所定の操作を行うことにより、上述もしたように、新たに作成するフォルダに格納したり、再生の対象としたりするなどのことができるようにされる。
【0223】
なお、画像検索の結果の画像群を確定した後に、所定の解除操作を行った場合には、当該確定が解除され、例えば、以下に説明するように、一定時間経過後において、画像表示が初期状態に戻すようにされる。
【0224】
そして、制御部120は、図8(c)に示すように、検索キー表示K1へのユーザーの指等の接触が解除された後において、一定時間Tが経過すると、制御部120は、画像検索の結果の表示を解除し、表示を検索画面の初期状態に戻す。
【0225】
例えば、図10(a)に示すように、検索キー表示K1に対応する検索キーk1を用いて画像検索を行った結果の表示が維持されているとする。この図10(a)に示した表示状態が一定時間Tの間継続した後においては、制御部120は、図10(b)に示すように、検索画面の初期状態に戻す。
【0226】
すなわち、制御部120は、伸張処理部110、表示画像形成部111、表示処理部105を制御して、検索範囲の画像ファイルのサムネイル画像を、表示画面の全面にばらばらとランダムに表示した表示に戻すようにする。
【0227】
したがって、ユーザーは何らの操作を行うことなく、画像検索の結果の表示がなされてから一定時間Tの間に確定操作をしなかった場合には、表示画像を検索画面の初期状態に自動的に戻すことができるようにされる。
【0228】
この後、例えば、検索キー表示K2を指示して検索キーk2に応じた画像検索を行うようにすることができる。また、所定の操作を行うことにより、再度、図5〜図7を用いて説明したように、検索キーの選択を行って、検索キーを追加選択することなどができるようにされる。
【0229】
なお、ここでは、画像検索の結果を表示し、検索キー表示へのユーザーの指等の接触を解除した後、一定時間Tが経過した場合に、表示画像を検索画面の初期状態に戻すようにしたが、これに限るものではない。
【0230】
例えば、検索キー表示が表示されている部分以外のタッチパネルの操作面上がタップ操作された場合に表示画像を検索画面の初期状態に戻すようにしてもよい。また、他の検索キー表示がタップ操作された場合に表示画像を検索画面の初期状態に戻すようにしてもよい。
【0231】
また、検索表示を解除するためのボタンスイッチなどが実装されていて、これに対して操作を受け付けた場合に、表示画像を検索画面の初期状態に戻すようにしてもよい。このように、画像検索後の検索結果の表示は、所定の操作が行われた場合に解除し、検索画面の初期状態に戻すようにしてもよい。
【0232】
[画像検索時の処理の詳細]
次に、この実施の形態の撮像装置100において行われる画像検索時の処理について説明する。図11、図12は、撮像装置100において行われる画像検索時の処理について説明するためのフローチャートである。
【0233】
この図11、図12に示すフローチャートの処理は、上述もしたよう、表示されたメニューから、メニュー項目「画像検索」が選択された場合に、主に制御部120によって実行される処理である。
【0234】
図11、図12に示す処理が実行されると、制御部120は、図5〜図7を用いて説明したように、画像の検索範囲の設定及び検索キーの選択処理を実行する(ステップS101)。
【0235】
そして、制御部120は、ステップS101の処理において、終了操作がされたか否かを判断する(ステップS102)。ステップS102の判断処理において、終了操作がされたと判断したときには、制御部120は、画像検索処理を終了する処理を行い(ステップS103)、この図11、図12に示す処理を終了して、例えばメニュー表示に戻るようにする。
【0236】
また、ステップS102の判断処理において、終了操作はされていないと判断したときには、制御部120は、検索キーの選択が適切に行われた判断し、図8(a)に示した態様の画像検索の初期画面を表示する(ステップS104)。
【0237】
すなわち、ステップS104において制御部120は、ステップS101の処理により設定された検索範囲の画像ファイルのサムネイル画像を表示画面6G上にばらばらに表示すると共に、選択された検索キーに応じた検索キー表示を表示する。
【0238】
そして、制御部120は、タッチスクリーン108等を通じて使用者からの操作入力を受け付けるようにし(ステップS105)、操作入力を受け付けたか否かを判断する(ステップS106)。
【0239】
ステップS106の判断処理において、ユーザーからの操作入力を受け付けていないと判断したときには、ステップS105からの処理を繰り返し、ユーザーからの操作入力を待つようにする。
【0240】
ステップS106の判断処理において、ユーザーからの操作入力を受け付けたと判断したときには、選択された検索キーに対応する検索キー表示がユーザーによって指示するようにされたか否かを判断する(ステップS107)。
【0241】
ステップS107の判断処理において、選択された検索キーに対応する検索キー表示がユーザーによって指示されていないと判断したときには、制御部120は、ステップS105において受け付けた操作入力に応じた処理を実行する(ステップS108)。
【0242】
このステップS108においては、ユーザーの操作入力に応じて種々の処理を行うことができるようにされる。例えば、検索キーの変更、追加処理等をも行うことができるようにされている。
【0243】
そして、ステップS107の判断処理において、検索キー表示がユーザーによって指示されたと判断したときには、制御部120は、指示された検索キー表示に対応する検索キーを用いて画像検索を実行し、検索結果を表示する(ステップS109)。
【0244】
ステップS109において制御部120は、図8(b)を用いて説明したように、検索キーに合致したキーワードを有する画像ファイルのサムネイル画像を表示画面6G上の所定の場所に集めるようにして表示し、図12の処理に進む。
【0245】
そして、制御部120は、検索キー表示へのユーザーの指等の接触が終了したか否かを判断する(ステップS110)。ステップS110の判断処理において、まだ接触が継続していると判断したときには、ステップS110からの処理を繰り返し、接触が終了するまで待ち状態となる。
【0246】
ステップS110の判断処理において、検索キー表示へのユーザーの指等の接触が終了したと判断したときは、制御部120は、時計回路の機能を用い、検索キー表示へのユーザーの指等の接触が終了してからの時間Tsの計測を開始する(ステップS111)。当該時計回路は、図1には示さなかったが、上述もしたように、撮像装置100が有するものである。
【0247】
そして、制御部120は、ステップS111において計測を開始した時間Tsが、予め決められた一定時間T以上になったか否かを判断する(ステップS112)。ステップS112の判断処理において、計測時間Tsが一定時間T以上になっていないと判断したときには、制御部120は、ユーザーからの操作入力を受け付ける(ステップS113)。
【0248】
そして、制御部120は、ユーザーからの操作入力を受け付けたか否かを判断する(ステップS114)。ステップS114の判断処理において、操作入力は受け付けていないと判断したときには、制御部120は、ステップS112からの処理を繰り返す。
【0249】
ステップS114の判断処理において、操作入力を受け付けたと判断したときには、制御部120は、受け付けた操作入力は、検索結果の確定操作か否かを判断する(ステップS115)。
【0250】
ステップS115の判断処理において、受け付けた操作入力は、検索結果の確定操作であると判断したときには、制御部120は、指示された画像群をグループとして確定し、その他の画像はバラバラと表示された状態とする(ステップS116)。このステップS116の処理は、図9を用いて説明した処理である。
【0251】
ステップS116の処理の後、制御部120は、確定したグループの画像を所定の画像フォルダに格納したり、再生の対象としたりするなど、確定したグループの画像についての処理を行うようにする(ステップS117)。この後、制御部120は、例えば、図11のステップS101からの処理を繰り返すようにする。
【0252】
また、ステップS115の判断処理において、受け付けた操作入力は、検索結果の確定操作ではないと判断したときには、制御部120は、受け付けた操作入力は、検索結果の解除操作か否かを判断する(ステップS118)。
【0253】
ステップS118の判断処理において、受け付けた操作入力が、検索結果の解除処理ではないと判断したときには、制御部120は、受け付けた操作入力に応じた処理を実行する(ステップS119)。
【0254】
また、ステップS118の判断処理において、受け付けた操作入力が、検索結果の解除処理であると判断したときには、制御部120は、例えば、画像検索の結果の表示を解除し、図10(b)に示したように、画像検索の初期状態に戻る(ステップS120)。
【0255】
このステップS120の処理の後、制御部120は、図11のステップS105からの処理を繰り返し、表示されている検索キー表示に応じた画像検索を行うようにしたり、新たな検索キーを追加して画像検索を行うようにしたりすることができるようにされる。
【0256】
また、ステップS112の判断処理において、計測時間Tsが一定時間T以上になったと判断したときには、図10を用いて説明したように、画像検索の結果の表示を解除し、図10(b)に示したように、画像検索の初期状態に戻る(ステップS120)。そして、上述もしたように、図11のステップS105からの処理を繰り返すようにする。
【0257】
このように、この実施の形態の撮像装置100においては、利用可能な検索キー候補情報の中から検索キーを選択し、その検索キーを指示するようにするだけで、画像検索を行うことができるようにされる。
【0258】
そして、画像検索の結果の表示の解除は、ユーザーがいちいち行うことなく、検索キーを指示する操作を解除した後、一定時間が経過するまでに確定操作が行われない場合に、自動的に解除することができる。
【0259】
これにより、ユーザーは、画像検索の結果表示をいちいち解除する操作を行うことなく、次の検索キーを用いた画像検索を行うようにするなどのことができるようにされる。
【0260】
また、図8〜図10を用いて説明した例の場合、選択された2つの検索キーの内、ユーザーにより指示される一方の検索キーを用いて画像検索を行うようにした。しかし、これに限るものではない。選択された2つの検索キーの両方を用いた画像検索を行うようにしてもよい。
【0261】
図13は、選択された2つの検索キーの両方を用いて画像検索を行う場合について説明するための図である。図13(a)に示すように、ユーザーよって選択された2つの検索キーに対応して、検索キー表示K1、検索キー表示K2が表示されている。
【0262】
そして、図13(b)に示すように、検索キー表示K1と検索キー表示K2との両方に対してユーザーが指等を接触させるようにしたとする。つまり、検索キー表示K1と検索キー表示K2との両方の表示位置のそれぞれに対応するタッチパネル107の操作面に対してユーザーが指などを接触させたとする。
【0263】
この場合、タッチパネル107からは、2箇所の接触位置のそれぞれの座標データが制御部120に供給される。そして、制御部120は、タッチパネル107からの座標データと、当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されている表示情報とに基づいて、検索キーk1、k2が同時に指示されたことを検出する。
【0264】
この場合、制御部120は、検索キーk1と検索キーk2との両方をキーワードとして有する画像ファイルを検索して抽出し、抽出した画像ファイルのサムネイル画像を、図13(b)に示すように集めるようにして表示画面6Gに表示する。
【0265】
検索キーk1と検索キーk2との両方をキーワードとして有さない画像ファイルのサムネイル画像については、集めるようにして表示した画像群からは離れた位置にバラバラに表示するようにする。
【0266】
このような表示も、図8を用いて説明した場合と同様に、制御部120が、伸張処理部110、表示画像形成部111、表示処理部105を制御して行うことができるようにされる。
【0267】
これにより、複数の検索キーを用いた画像検索を柔軟に行うことができるようにされる。なお、ここでは、2つの検索キーを用いる場合を例にして説明したが、これに限るものではない。2つ以上の検索キーを選択し、そのそれぞれを同時に用いて画像検索を行うようにすることができる。
【0268】
また、図13に示した例は、検索キーk1と検索キーk2とを同時に満足する画像ファイルを検索するようにした。しかし、これに限るものではない。検索キーk1と検索キーk2とのいずれか一方を満足する画像ファイルを検索することもできるようにされる。
【0269】
すなわち、複数の検索キーの全てを満足する画像ファイルを検索するか、複数の検索キーのいずれか1つでも満足する画像ファイルを検索するかは、予め撮像装置100に対して設定しておくようにすることができる。
【0270】
もちろん、画像検索の開始時に、どちらの検索を行うかをユーザーが撮像装置100に対して入力して設定することもできるようにされる。
【0271】
[変形例1]
上述した実施の形態の撮像装置100においては、検索キーに合致するキーワードを有する画像ファイルを検索するようにした。すなわち、上述した実施の形態においては、検索キーがキーワード情報の場合である。
【0272】
しかし、検索キーはキーワード情報に限るものではない。画像自体、具体的には、画像分析の結果の情報を検索キーとして、類似画像を検索することもできる。この変形例1の撮像装置100においては、画像自体を検索キーとして用いて、画像検索を行うものである。
【0273】
図14は、画像を検索キーとして用いて画像検索を行う場合について説明するための図である。図14(a)に示すように、検索キーとして使用可能な画像については、例えば、ハイライト表示など区別可能な態様で表示されている。
【0274】
図2を用いて説明したように、各画像ファイルには、その画像ファイルの画像データを画像分析することにより得た画像分析情報がメタデータとして付加されている。この画像分析情報は、上述もしたように、エッジ検出や色彩解析などの種々の手法を用いることにより、各画像データによる画像の特徴を数値化して示すことができるものであり、各画像間において、構図や被写体の類似度を比較することができるものである。
【0275】
このため、画像分析の結果、例えば、人の顔が大きく写っている画像や、輪郭がはっきりとした建物や風景の画像など、特徴のはっきりした画像であることが判明した画像を、検索キーとして用いることができるようにしておく。
【0276】
具体的には、検索キーとして利用可能な画像の画像ファイルにはフラグを立てておくなどすることにより、区別できるようにしておく。これにより、図14(a)に示すように、検索キーとなりうる画像のサムネイル画像については、ハイライト表示するなどして区別することができるようにされる。
【0277】
そして、図14(b)に示すように、検索キーとなりうる画像のサムネイル画像内、ユーザーが目的とする画像のサムネイル画像の表示位置上のタッチパネル107の操作面に指等を接触させる。
【0278】
この場合、制御部120は、タッチパネル107からの座標データと、当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されているサムネイル画像とに基づいて、どのサムネイル画像が検索キーとして指定されたかを認識することができる。
【0279】
制御部120は、指定されたサムネイル画像に対応する画像ファイルから画像分析情報を読み出し、当該画像分析情報を検索キーにして、当該検索キーに類似する画像分析情報を有する画像ファイルを抽出する。そして、制御部120は、抽出した画像ファイルのサムネイル画像を、図14(b)に示すように、表示画面上の所定の位置に集めて表示するようにする。
【0280】
図14に示した例の場合には、2つのサムネイル画像が検索キーとなるように指定された場合を示している。そして、この例の場合には、指示された2の画像の画像分析結果の両方に類似する画像が抽出される。なお、ユーザーの指示に応じて、指示された2の画像の画像分析結果のいずれか一方に類似する画像を抽出するようにすることも可能である。
【0281】
このように、画像を検索キーとして指定することによって、当該画像に写っている人物や建物などを検索条件として画像を絞り込むことが可能となる。つまり、検索キーとして指示された画像に類似する画像を抽出することができる。
【0282】
なお、ここでは、画像分析の結果、特徴のはっきりした画像を検索キーとして指定可能な画像として予め特定しておくものとして説明した。しかし、これに限るものではない。全ての画像を検索キーとして指定可能なようにしてももちろんよい。この場合には、サムネイル画像をハイライト表示する必要もない。
【0283】
また、ユーザー自身が、予め検索キーとして用いる画像を設定するようにすることも可能である。
【0284】
[変形例2]
この変形例2もまた、上述した変形例1の場合と同様に、画像自体、具体的には、画像分析の結果の情報を検索キーとして、類似画像を検索することができるものである。しかし、上述した変形例1のように、いわば1枚の画像全体を検索キーとして用いるのではなく、1枚の画像の中の一部分だけを検索キーとして用いるようにしたい場合がある。
【0285】
例えば、1枚の画像の中に、複数の人の顔が写っており、その内の1人の人の顔に着目して画像検索を行ったり、また、写っている人は異なるが、同じ場所で撮影された画像の画像検索を行ったりしたい場合である。
【0286】
そこで、この変形例2の場合には、1枚の画像の一部分を検索キーとして用いることができるようにしたものである。図15は、1枚の画像の一部分を検索キーとして用いて画像検索を行う場合について説明するための図である。
【0287】
図15(a)に示すように、表示画面6Gの左下に表示されているサムネイル画像kxに含まれる画像部分を検索キーに用いたいとする。この場合、サムネイル画像kxの表示位置に対応するタッチパネル107の操作面の位置にタップ操作を行う。
【0288】
これにより、タッチパネル107から制御部120に対して、当該タップ操作の位置に対応する座標データが供給される。制御部120は、タッチパネル107からの座標データと、当該指示位置に対応する表示画面上6G上のサムネイル画像とに基づいて、どのサムネイル画像が選択されたかを検知する。
【0289】
そして、制御部120は、図15(b)に示すように、ユーザーによって選択されたサムネイル画像に対応する画像を、表示画面6Gの全面に表示すると共に、当該画像において検索キーとして指示可能な画像部分を枠などにより囲んで選択可能なように表示する。
【0290】
選択された1枚の画像において、検索キーとして指示可能な画像部分は、上述したように、例えば、エッジ検出や色彩解析などの画像分析の結果、人の顔であると判断された部分や、特徴のある建物などと判断された部分である。
【0291】
これらの検索キーとして指示可能な画像部分を示す情報は、各画像ファイルの画像分析情報に含められている。制御部120は、画像ファイルの画像分析情報を用いるようにし、伸張処理部110、表示画像形成部111、表示処理部105を制御して、表示部106の表示画面6Gに、図15(b)に示した態様の表示を行うことができる。
【0292】
そして、図15(b)において、例えば、人物の表示部分k1にタップ操作を行うことにより、当該人物部分の画像(当該部分の画像解析情報)を、検索キーとして設定することができるようにされる。
【0293】
そして、図示しないが、表示画面6Gに表示される戻るアイコンをタップ操作するなど、所定の操作を行うことにより、図15(a)に示した態様の表示に戻る。この後、図15(a)に示した状態のときに、サムネイル画像kxの表示位置に指等を接触させることにより、当該画像に含まれる人物の表示部分k1を検索キーとして、画像検索を行うことができるようにされる。
【0294】
同様に、図15(b)の状態にあるときに、建物の表示部分k2にタップ操作を行うことにより、当該建物部分の画像(当該部分の画像解析情報)を、検索キーとして設定することができるようにされる。
【0295】
そして、例えば、図15(a)に示した態様の表示に戻り、サムネイル画像kxの表示位置に指等を接触させることにより、当該画像に含まれる建物の表示部分k2を検索キーとして、画像検索を行うことができるようにされる。
【0296】
なお、ここでは、図15(b)の状態から図15(a)の状態に戻って画像検索を行うようにしたが、図15(b)の状態にあるときに、指示した画像部分に応じて即座に画像検索を行って、その結果を表示するようにすることも可能である。
【0297】
このようにすることにより、1枚の画像の中の画像部分を検索キーとして用いて画像の検索を行うことができる。
【0298】
また、複数の画像のそれぞれの画像部分を検索キーとすることも可能である。図16は、複数の画像の画像部分を検索キーとする場合について説明するための図である。
【0299】
図16(a)に示すように、表示画面6Gの下側に表示されているサムネイル画像kxに含まれる画像部分と、サムネイル画像kyに含まれる画像部分とを検索キーに用いたいとする。
【0300】
この場合、まず、サムネイル画像kxの表示位置に対応するタッチパネル107の操作面の位置にタップ操作を行う。制御部120は、上述もしたように、タッチパネル107からの座標データと、当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されている表示情報に基づいて、サムネイル画像kxが選択されたと判断することができる。
【0301】
そして、制御部120は、図16(b)に示すように、選択されたサムネイル画像kxに対応する画像を、表示画面6Gの全面に表示すると共に、当該画像において検索キーとして指示可能な画像部分kx1、kx2を枠などにより囲んで選択可能なように表示する。
【0302】
この図16(b)に示す表示は、選択されたサムネイル画像に対応する画像ファイルから画像データと画像分析結果とを読み出し、これらを伸張処理部110、表示画像形成部111、表示処理部105において処理することにより行うことができる。
【0303】
また、選択された1枚の画像において、検索キーとして指示可能な画像部分は、上述もしたように、例えば、エッジ検出や色彩解析などの画像分析の結果、人の顔であると判断された部分や、特徴のある建物などと判断された部分である。
【0304】
そして、図16(b)において、例えば、人物の表示部分kx1にタップ操作を行うことにより、制御部120は、指示された画像部分はどこかを認識し、当該人物部分の画像(当該部分の画像解析情報)を、検索キーとして設定することができるようにされる。
【0305】
このようにして、最初の画像kxにおいて、検索キーとする画像部分を選択した後に、図示しないが、表示画面6Gに表示される戻るアイコンをタップ操作するなど、所定の操作を行うことにより、図16(a)に示した態様の表示に戻る。
【0306】
次に、サムネイル画像kyの表示位置に対応するタッチパネル107の操作面の位置にタップ操作を行う。この場合、制御部120は、タッチパネル107からの座標データと、当該座標データが示す操作面上の位置に対応する表示画面上の位置に表示されている表示情報に基づいて、サムネイル画像kyが選択されたと判断することができる。
【0307】
そして、制御部120は、図16(c)に示すように、選択されたサムネイル画像kyに対応する画像を、表示画面6Gの全面に表示すると共に、当該画像において検索キーとして指示可能な画像部分ky1、ky2、ky3を枠などにより囲んで選択可能なように表示する。
【0308】
この図16(c)に示す表示もまた、選択されたサムネイル画像に対応する画像ファイルから画像データと画像分析結果とを読み出し、これらを伸張処理部110、表示画像形成部111、表示処理部105において処理することにより行うことができる。
【0309】
そして、図16(c)において、例えば、人物の表示部分ky1にタップ操作を行うことにより、当該人物部分の画像(当該部分の画像解析情報)を、検索キーとして設定することができるようにされる。
【0310】
このようにして、次の画像kyにおいて、検索キーとする画像部分を選択した後に、図示しないが、表示画面6Gに表示される戻るアイコンをタップ操作するなど、所定の操作を行うことにより、図16(a)に示した態様の表示に戻る。
【0311】
そして、図16(a)に示した態様の表示のときに、サムネイル画像kx、kyのそれぞれの表示位置に指等を接触させることにより、人物の表示部分kx1、ky1を検索キーとして、画像検索を行うことができるようにされる。
【0312】
つまり、画像kxの画像部分kx1と画像kyの画像部分ky1とを検索キーとして用いて、画像検索を行うことができるようにされる。この場合、画像kxの画像部分kx1と画像kyの画像部分ky1との両方に類似する部分を含む画像を検索するようにしたり、いずれか一方に類似する画像部分を含む画像を検索したりすることが可能である。
【0313】
また、1枚の画像において、選択可能な画像部分が複数存在する場合には、その内の複数の部分を検索キーとして選択することも可能である。
【0314】
なお、ここでは、選択された1枚の画像において、検索キーとして指示可能な画像部分は、エッジ検出や色彩解析などの画像分析の結果、人の顔であると判断された部分や、特徴のある建物などと判断された部分であるものとして説明した。
【0315】
しかし、これに限るものではない。例えば、記録媒体135に記録されている画像ファイルの画像について、ユーザーが指示した範囲の画像部分を検索キーとするように設定することも可能である。
【0316】
また、図14、図15、図16を用いて説明した変形例1、変形例2においては、各画像ファイルが有する画像分析情報を用いて、画像検索を行うものとして説明した。しかし、これに限るものではない。撮像装置100の制御部120の処理能力が高い場合には、画像検索時に、各画像の画像分析を行い、その結果に基づいて画像検索を行うようにしてもよい。
【0317】
つまり、指定された画像の画像分析を行うことにより、実際の検索キーとなる画像分析情報を得る。そして、検索範囲の各画像の画像分析を行いながら、当該画像分析の結果と、検索キーとされた画像分析情報とを比較するようにして、画像検索を行うようにしてもよい。
【0318】
[変形例3]
上述した実施の形態においては、画像検索の結果を、表示画面6Gの所定の位置(例えば指示された検索キー表示の近傍)に集めるように表示した。しかし、画像検索の結果の表示は、これに限るものではない。図17、図18は、画像検索の結果の表示の他の態様を説明するための図である。
【0319】
図17(a)に示すように、撮像装置100において、検索キーが選択され、検索キー表示K1がなされ、画像検索が可能な状態にあるとする。この場合に、ユーザーは、検索キー表示K1に指等を接触させるだけでなく、検索キー表示K1に指等を接触させてドラッグ操作を行うようにする。
【0320】
すると、検索キー表示K1に対応する検索キーが用いられて画像検索が行われ、制御部120は、図17(b)に示すように、表示画面6G上を移動するようにされる検索キー表示K1の周囲に、検索キーに合致する画像のサムネイル画像を集めるように表示する。
【0321】
例えて言うと、検索キー表示K1が磁石になり、検索キーに合致するサムネイル画像が磁石に吸い寄せられる金属になっているイメージである。
【0322】
当該表示は、制御部120により行われる画像検索の結果(検索キーに一致する画像)と、検索キー表示K1の表示画面6G上の表示位置とに基づいて、表示画像の形成及び表示を制御することにより実現することができる。
【0323】
具体的には、制御部120が伸張処理部110、表示画像形成部111、表示処理部105を制御し、画像検索の結果得られた画像データに応じたサムネイル画像を、検索キー表示K1の位置に応じて、表示するように制御することにより実現できる。
【0324】
なお、検索キー表示K1は、ユーザーのドラッグ操作に応じて移動するので、所定のタイミング毎に、検索キー表示K1の位置に応じて、検索結果を表示しなおすことにより、検索の結果得られた画像のサムネイル画像が、検索キー表示K1に追従して移動するように表示することができる。
【0325】
この図17に示す表示態様の場合にも、ユーザーが、検索キー表示K1から指等を離すようにすると、一定時間Tが経過するまでは、検索結果のサムネイル画像は集まって表示されたままとされる。
【0326】
この図17に示した例の場合には、検索キー表示の移動に合わせて、画像検索の結果を表示することができる。
【0327】
また、画像検索の結果の別の表示態様として、検索キーに合致しない画像のサムネイル画像を、図18に示すように、表示画面6G上からはじき出すようにするものが考えられる。
【0328】
図18(a)に示すように、撮像装置100において、検索キーが選択され、検索キー表示K1がなされ、画像検索が可能な状態にあるとする。この場合に、ユーザーは、検索キー表示K1に指等を接触させるだけでなく、検索キー表示K1に指等を接触させてドラッグ操作を行うようにする。
【0329】
すると、検索キー表示K1に対応する検索キーが用いられて画像検索が行われ、制御部120は、図18(b)に示すように、表示画面6G上を移動するようにされる検索キー表示K1が、検索キーに合致しない画像のサムネイル画像をはじき出すようにする。そして、制御部120は、検索キーに合致する画像のサムネイル画像だけを、表示画面6G上に残すようにする。
【0330】
例えて言うと、検索キー表示K1が磁石になり、検索キーに合致しないサムネイル画像が当該磁石に反発する逆極の磁石になっているイメージである。
【0331】
当該表示は、制御部120により行われる画像検索の結果と、検索キー表示K1の表示画面6G上の表示位置とに基づいて、表示画像の形成及び表示を制御することにより実現することができる。
【0332】
具体的には、制御部120が伸張処理部110、表示画像形成部111、表示処理部105を制御し、画像検索の結果に基づいて、検索キーに合致しない画像のサムネイル画像を特定する。そして、検索キー表示K1の位置に応じて、検索キーに合致しない画像のサムネイル画像の表示を表示画面6Gから消去するように制御することにより実現できる。
【0333】
なお、検索キー表示K1は、ユーザーのドラッグ操作に応じて移動するので、所定のタイミング毎に、検索キー表示K1の位置に応じて、検索結果を表示しなおすことにより、検索キーに合致しない画像のサムネイル画像がはじきだされるようにして表示することができる。
【0334】
この図18に示す表示態様の場合にも、ユーザーが、検索キー表示K1から指等を離すようにすると、一定時間Tsが経過するまでは、検索キーに合致する画像のサムネイル画像だけが表示画面6G上に表示したままとされる。
【0335】
この図18に示した例の場合にも、検索キー表示の移動に合わせて、画像検索の結果を表示することができる。
【0336】
なお、図17、図18を用いて説明した表示態様の表示を実現するために、サムネイル画像の表示位置や表示角度、さらに移動させる距離などを種々調整し、ユーザーにとって違和感のない自然な表示を行うようにすることができる。
【0337】
[変形例4]
上述した実施の形態においては、図9を用いて説明したように、画像検索の結果、検索キーに合致し集まるように表示された画像群に対して囲む操作を行うことにより、当該画像検索の結果を確定することができるようにした。
【0338】
しかし、画像検索の結果を確定する操作は、当該囲む操作に限るものではない。これ以外にも種々の確定操作が可能である。図19〜図24は、画像検索の結果を確定する操作の他の例を説明するための図である。
【0339】
図19に示す例は、検索キー表示K1に対して指等を接触させることにより、検索キー表示K1に対応する検索キーk1に合致する画像の検索が開始され、検索キーk1に合致する画像のサムネイル画像が集まるようにして表示されている場合を示している。
【0340】
この場合に、検索キー表示K1に対して接触させるようにした指等を接触させたままとし、予め決められる一定時間Tを越えて長押しされた場合に、集まるように表示されたサムネイル画像に対応する画像群を画像検索の結果として確定する。
【0341】
すなわち、ユーザーは、目的とする検索キー表示に対して指等を接触させたままとするだけで、当該検索キー表示K1に対応する検索キーk1を用いて画像検索を実行し、検索結果を確定するまでの処理を行うことができる。
【0342】
なお、この図19に示した例の確定操作は、制御部120は、検索キー表示に対するユーザーの指等の接触継続時間を管理するだけで実現することができる。
【0343】
図19に示した例の確定操作は、非常に簡単である反面、確定するまでに所定時間T以上の時間が必ず必要になる。しかし、できるだけ迅速に画像検索の結果を確定したい場合もある。以下に説明する画像検索の結果の確定操作は、ユーザーが任意のタイミングで行うことができるものである。
【0344】
図20は、ユーザーが任意のタイミングで行うことが可能な画像検索の結果の確定操作の第1の例を説明するための図である。20(a)に示すように、検索キー表示K1に対応する検索キーk1を用いて画像検索を行った結果の表示が維持されているとする。
【0345】
この図20(a)に示した表示状態にあるときに、検索キー表示K1に対して、ダブルタップ操作を行うことにより、検索キー表示K1の近傍に表示された画像群を画像検索の結果として確定する。
【0346】
この図20に示した例の場合には、ユーザーが用いるようにした検索キー表示に対してダブルタップ操作を行うだけで、画像検索の結果を確定することができる。
【0347】
この場合、制御部120は、タッチパネル107からの座標データに基づいて、画像検索を開始させるために指示された検索キー表示に対するダブルタップ操作が行われた場合に、画像検索の結果を確定するように機能すればよく、複雑な処理を行うこともない。
【0348】
図21は、ユーザーが任意のタイミングで行うことが可能な画像検索の結果の確定操作の第2の例を説明するための図である。21(a)に示すように、検索キー表示K1に対応する検索キーk1を用いて画像検索を行った結果の表示が維持されているとする。
【0349】
この図21(a)に示した表示状態にあるときに、画像フォルダアイコンも表示するようにし、ユーザーの指等を画像検索の結果、集まるように表示されている画像群上を矢印が示す用にドラッグ操作するようにして、当該画像フォルダに格納するようにする。これにより、検索キー表示K1の近傍に表示された画像群を画像検索の結果として確定する。
【0350】
この図21に示した例の場合には、集まるように表示された画像群上をドラッグ操作するだけで、画像検索の結果を確定し、画像フォルダに格納することができる。なお、画像フォルダは、自動的に表示するようにしてもよいし、所定の操作、例えば、集まるように表示された画像群へのタップ操作が行われた場合に表示するようにすることもできる。
【0351】
この場合にも、制御部120は、タッチパネル107からの座標データに基づいて、集まるように表示されている画像上がドラッグ操作された場合に、画像検索の結果を確定するように機能すればよく、複雑な処理を行うこともない。
【0352】
図22は、ユーザーが任意のタイミングで行うことが可能な画像検索の結果の確定操作の第3の例を説明するための図である。22(a)に示すように、例えば検索キー表示K1に対応する検索キーk1を用いて画像検索を行った結果の表示が維持されているとする。
【0353】
この図22(a)に示した表示状態にあるときに、撮像装置100が図22(b)に示すように傾けられた場合に、画像検索の結果、集まるように表示されている画像群を画像検索の結果として確定する。
【0354】
この場合、当該画像群を表示画面6Gから落ちていくように表示することにより、ユーザーに対して別の容器に移し替えるイメージで、画像検索の結果を確定することができるようにされる。
【0355】
この図22に示した例の場合には、撮像装置100を傾けるだけで画像検索の結果を確定することができる。
【0356】
この場合、制御部120は、モーションセンサ137からの検出出力に基づいて、撮像装置100が傾けられたか否かを判断できる。そして、画像検索が行われ、その結果を表示している状態にあるときに、撮像装置100が傾けられた場合には、当該ユーザーの処理を画像検索の結果を確定する操作であると認識することができ、複雑な処理を行うこともない。
【0357】
図23は、ユーザーが任意のタイミングで行うことが可能な画像検索の結果の確定操作の第4の例を説明するための図である。23(a)に示すように、例えば検索キー表示K1に対応する検索キーk1を用いて画像検索を行った結果の表示が維持されているとする。
【0358】
この図23(a)に示した表示状態にあるときに、撮像装置100が図23(b)に示すように左右に振られた場合に、画像検索の結果、集まるように表示されている画像群を画像検索の結果として確定する。
【0359】
この場合、当該画像群を表示画面6Gから落ちていくように表示することにより、ユーザーに対して別の容器に移し替えるイメージで、画像検索の結果を確定することができるようにされる。
【0360】
この図23に示した例の場合には、撮像装置100を左右に振るだけで画像検索の結果を確定することができる。
【0361】
この場合、制御部120は、モーションセンサ137からの検出出力に基づいて、撮像装置100が左右に振られたか否かを判断できる。そして、画像検索が行われ、その結果を表示している状態にあるときに、撮像装置100が左右に振られた場合には、当該ユーザーの処理を画像検索の結果を確定する操作であると認識することができ、複雑な処理を行うこともない。
【0362】
図24は、ユーザーが任意のタイミングで行うことが可能な画像検索の結果の確定操作の第5の例を説明するための図である。24(a)に示すように、例えば検索キー表示K1に対応する検索キーk1を用いて画像検索を行った結果の表示が維持されているとする。
【0363】
この図24(a)に示した表示状態にあるときに、図24(b)に示すように撮像装置100上部をユーザーにより叩かれた場合に、画像検索の結果、集まるように表示されている画像群を画像検索の結果として確定する。
【0364】
この場合、当該画像群を表示画面6Gから落ちていくように表示することにより、ユーザーに対して別の容器に移し替えるイメージで、画像検索の結果を確定することができるようにされる。
【0365】
この図24に示した例の場合には、撮像装置100の上部を叩くだけで画像検索の結果を確定することができる。
【0366】
この場合、制御部120は、モーションセンサ137からの検出出力に基づいて、或いは、セット上部のタッチパネル136の検出出力に基づいて、撮像装置100が叩かれたか否かを判断できる。
【0367】
そして、画像検索が行われ、その結果を表示している状態にあるときに、撮像装置100が叩かれた場合には、当該ユーザーの処理を画像検索の結果を確定する操作であると認識することができ、複雑な処理を行うこともない。
【0368】
[変形例5]
上述した実施の形態においては、キーワードを検索キーとしたり、画像自体を検索キーとして用いるようにしたりした。しかし、これに限るものではない。上述もしたように、画像ファイルには、GPS情報も付加するようにされている。このため、GPS情報と同様に表現される経度情報と緯度情報とからなる位置情報を検索キーとして用いるようにすることもできる。
【0369】
位置情報を検索キーする場合には、既に画像ファイルに付加されているGPS情報の中から目的とする位置情報を選択するようにしたり、或いは、ユーザーが操作部131を通じて検索キーとしての位置情報を入力したりすればよい。
【0370】
また、撮像装置100のEEPROM124や記録媒体135の中に、地名と位置情報が対応付けられた位置情報テーブルを作成しておき、地名を入力することにより、位置情報を得て、これを検索キーとすることも可能である。
【0371】
この位置情報を検索キーとして用いる場合にも、上述したように、位置情報に応じて検索キー表示を行い、これに対してユーザーが指示操作(接触操作)を行うようにした場合に、検索を実行するようにすればよい。
【0372】
また、画像検索は、指示された検索キーである位置情報に一致するGPS情報を有する画像ファイルを抽出するだけではない。検索キーである位置情報を中心に、半径5キロの範囲のGPS情報を有する画像ファイルを抽出すると言うように、ある程度の範囲を設け、当該範囲に属するGPS情報を有する画像ファイルを検索して抽出するようにすることも可能である。
【0373】
このように、画像ファイルにメタデータとして付加されている情報を用いた画像検索を行うようにすることが可能である。
【0374】
[実施の形態の効果]
なお、上述した実施の形態の撮像装置100においては、タッチパネル107の特性を生かし、画像検索の絞り込みの状態を確認しながら、画像検索を行うことができる。
【0375】
そして、画像検索の結果が所望の状態と異なる場合に、すぐにそれと認識することができ、他の検索キー(検索条件)に容易に切り替えることができる。
【0376】
画像検索の結果が所望の状態になった場合は、絞りこまれた画像群を直感的な操作によって1つに確定することができ、実世界で物を整理する状態に近づけ、撮像装置の使い勝手を向上させることができる。
【0377】
[この発明の方法、プログラム]
なお、上述した実施の形態から明らかなように、この発明の方法、プログラムは、主に、図11、図12に示したフローチャートを用いて説明した方法、プログラムとして実現可能である。
【0378】
すなわち、図11、図12を用いて説明した方法は、この発明の方法である。
【0379】
そして、図11、図12を用いて説明した処理を実行するプログラムが、この発明のプログラムである。
【0380】
したがって、この発明のプログラムを実現し、デジタルスチルカメラや種々の画像処理装置に搭載することにより、この発明の画像処理装置を実現することができる。
【0381】
[その他]
また、上述した実施の形態において、表示部106が画像表示素子を実現し、タッチパネル107が指示位置検出手段を実現し、記録媒体135が記憶手段を実現している。また、主に制御部120が、検索キー表示制御手段、検索手段、表示制御手段のそれぞれを実現している。
【0382】
また、上述した実施の形態においては、この発明を撮像装置に適用した場合を例にして説明したが、これに限るものではない。例えば、カメラ機能付きの携帯電話端末、画像データの処理が可能なPDA(Personal Digital Assistant)等と呼ばれる携帯情報端末、その他の画像データの処理が可能な種々の画像処理装置にこの発明を適用することができる。
【0383】
また、表示対象の画像データは、静止画像の画像データに限るものではない。例えば、記録媒体に蓄積された複数の動画コンテンツの代表画像やサムネイル画像を表示対象とする画像処理装置にこの発明を適用することができる。
【0384】
また、上述した実施の形態において、撮像装置100が備えるタッチパネル107は、ユーザーの指等の接触を検出できるものとして説明したがこれに限るものではない。例えば、指等を操作面に接触させることなくある程度近づけた場合に、その近づけた位置を検出できるものであれば、この発明の実現に用いることができる。
【0385】
つまり、タッチパネル107は、接触式のものに限るものではない。例えば、指等がある程度近づいた場合に、近づいた位置の操作面における電位が変化したり、明るさが変化したりしたことを検出し、当該変化した操作面上の位置を指示位置として特定可能な非接触式のタッチパネルを用いるようにしてもよい。
【0386】
また、上述した実施の形態においては、図8等に示したように、表示されるサムネイル画像の表示位置や表示の向きなどはバラバラに(ランダムに)表示するようにしたが、これに限るものではない。
【0387】
表示の向きは一定になるようにしてもよい。要は、画像検索を実行した場合に、検索キーに合致する画像のサムネイル画像を表示画面上の所定の位置に集まるように表示する点を特徴とし、その他の部分は種々の態様で表示するようにすることができる。
【図面の簡単な説明】
【0388】
【図1】この発明の装置、方法、プログラムの一実施の形態が適用された撮像装置100の構成例を説明するためのブロック図である。
【図2】撮像装置100の記録媒体135に記録される画像ファイルのレイアウト例を説明するための図である。
【図3】撮像装置の100の記録媒体135に形成される画像フォルダのレイアウト例を説明するための図である。
【図4】撮像装置100の記録媒体135に、あるいは、EEPROM124などに予め作成される検索キー候補情報テーブルを説明するための図である。
【図5】検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明するための図である。
【図6】検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明するための図である。
【図7】検索キー候補情報テーブルに登録された検索キー候補情報から、画像検索に用いる検索キーを選択する処理について説明するための図である。
【図8】2つの検索キーが選択された状態から画像検索をする場合の画面の遷移例を説明するための図である。
【図9】2つの検索キーが選択された状態から画像検索をする場合の画面の遷移例を説明するための図である。
【図10】2つの検索キーが選択された状態から画像検索をする場合の画面の遷移例を説明するための図である。
【図11】撮像装置100において行われる画像検索時の処理について説明するためのフローチャートである。
【図12】図11に続くフローチャートである。
【図13】選択された2つの検索キーの両方を用いて画像検索を行う場合について説明するための図である。
【図14】画像を検索キーとして用いて画像検索を行う場合について説明するための図である。
【図15】画像の一部分を検索キーとして用いて画像検索を行う場合について説明するための図である。
【図16】複数の画像の画像部分を検索キーとする場合について説明するための図である。
【図17】画像検索の結果の表示の他の態様を説明するための図である。
【図18】画像検索の結果の表示の他の態様を説明するための図である。
【図19】画像検索の結果を確定する操作の他の例を説明するための図である。
【図20】画像検索の結果を確定する操作の他の例を説明するための図である。
【図21】画像検索の結果を確定する操作の他の例を説明するための図である。
【図22】画像検索の結果を確定する操作の他の例を説明するための図である。
【図23】画像検索の結果を確定する操作の他の例を説明するための図である。
【図24】画像検索の結果を確定する操作の他の例を説明するための図である。
【符号の説明】
【0389】
100…撮像装置、101…レンズ部、102…撮像素子、103…前処理部、104…画像処理部、105…表示処理部、106…表示部、107…タッチパネル、109…圧縮処理部、110…伸張処理部、111…表示画像形成部、120…制御部、131…操作部、132…外部I/F、133…入出力端子、134…書き込み/読み出し部、135…記録媒体、136…セット上部のタッチパネル、137…モーションセンサ、138…GPS受信部、139…GPS受信アンテナ

【特許請求の範囲】
【請求項1】
表示素子と、
前記表示素子の表示画面に対して設けられる操作面を通じて、使用者からの指示操作を受け付け、前記操作面に対する前記指示操作の指示位置を検出して出力する指示位置検出手段と、
検索キーに対応する情報を有する画像データを複数記憶する記憶手段と、
前記表示素子の表示画面に選択可能なように1以上の検索キーを表示するように制御する検索キー表示制御手段と、
前記指示位置検出手段を通じて前記検索キー表示制御手段により前記表示素子の前記表示画面に表示された前記検索キーが指示された場合に、指示された前記検索キーに応じた画像データを前記記憶手段から検索して抽出する検索手段と、
前記検索手段により抽出された画像データに応じた画像を、前記表示画面上の所定の位置に集まるように表示する表示制御手段と
を備える画像処理装置。
【請求項2】
請求項1に記載の画像処理装置であって、
前記表示制御手段の制御により、前記検索手段により抽出された画像データに応じた画像を、前記表示画面上の所定の位置に集まるように表示した後、所定時間内に、検索結果を確定する指示操作を受け付けた場合に、表示中の検索結果を確定する検索確定手段を備える画像処理装置。
【請求項3】
請求項2に記載の画像処理装置であって、
前記検索結果を確定する指示操作は、前記指示位置検出手段の前記操作面に対して、前記表示素子の表示画面に集まるように表示された画像群を囲むようになぞる操作である画像処理装置。
【請求項4】
請求項2に記載の画像処理装置であって、
前記検索結果を確定する指示操作は、前記指示位置検出手段の前記操作面上の所定の位置を、一定時間以上、指示したままとする操作である画像処理装置、
【請求項5】
請求項2に記載の画像処理装置であって、
前記検索結果を確定する指示操作は、前記指示位置検出手段の前記操作面上の所定の位置を、2回指示する操作である画像処理装置。
【請求項6】
請求項2に記載の画像処理装置であって、
前記検索結果を確定する指示操作は、前記指示位置検出手段を通じて、前記表示素子の表示画面に集まるように表示された画像群を、目的とするフォルダに格納するようにする操作である画像処理装置。
【請求項7】
請求項2に記載の画像処理装置であって、
自機の動きを検出する動き検出手段を備え、
前記検索結果を確定する指示操作は、前記動き検出手段を通じて検出される自機を斜めに傾ける操作である画像処理装置。
【請求項8】
請求項2に記載の画像処理装置であって、
自機の動きを検出する動き検出手段を備え、
前記検索結果を確定する指示操作は、前記動き検出手段を通じて検出される自機を振る操作である画像処理装置。
【請求項9】
請求項2に記載の画像処理装置であって、
自機を叩く操作を検出する叩き操作検出手段を備え、
前記検索結果を確定する指示操作は、前記叩き操作検出手段を通じて検出される自機を叩く操作である画像処理装置。
【請求項10】
請求項1に記載の画像処理装置であって、
前記表示制御手段の制御により、前記検索手段により抽出された画像データに応じた画像を、前記表示画面上の所定の位置に集まるように表示した後、所定時間内に、指示操作を受け付けない場合、検索結果を解除し、表示を元に戻すようにする検索解除手段を備える画像処理装置。
【請求項11】
請求項1に記載の画像処理装置であって、
前記検索キー表示制御手段により複数の検索キーが前記表示素子の表示画面に表示され、前記指示位置検出手段の前記操作面の複数個所に対して指示操作が行われ、複数の検索キーが画像検索に用いられる検索キーとされた場合に、
前記検索手段は、指示された当該複数の検索キーに応じて、画像データの検索を行う画像処理装置。
【請求項12】
請求項1に記載の画像処理装置であって、
前記検索キーは、テキストデータ、位置に関する情報、画像データの1つ以上を含む画像処理装置。
【請求項13】
請求項12に記載の画像処理装置であって、
前記検索キーが画像データである場合に、当該画像データにより形成される画像の1つ以上の部分を、前記指示位置検出手段の前記操作面に対する指示操作により検索キーとして指示可能な画像処理装置。
【請求項14】
請求項1に記載の画像処理装置であって、
前記特定手段により特定された検索キーの表示位置に対応する操作面上の位置への指示操作を継続させて、当該指示位置を移動させた場合に、前記検索キーの表示位置を当該指示位置に応じて移動させる表示移動手段を備え、
前記表示制御手段は、前記検索手段により抽出された画像データに応じた画像を、表示位置が移動する検索キーの表示の移動に応じて移動させるように制御する画像処理装置。
【請求項15】
請求項1に記載の画像処理装置であって、
前記特定手段により検索キーとして特定された検索キーの表示位置に対応する操作面上の位置への指示操作を継続させて、当該指示位置を移動させた場合に、前記検索キーの表示位置を当該指示位置に応じて移動させる表示移動手段を備え、
前記表示制御手段は、前記特定手段により特定された前記検索キーに合致しない画像データに応じた画像が表示されている場合に、当該画像を、表示位置が移動する検索キーの表示の移動に応じて、前記検索キーの表示から離れた位置に移動させるように制御する画像処理装置。
【請求項16】
検索キー表示制御手段が、表示素子の表示画面に選択可能なように1以上の検索キーを表示するように制御する検索キー表示制御工程と、
前記表示素子の表示画面に対して設けられる操作面を通じて、使用者からの指示操作を受け付け、前記操作面に対する前記指示操作の指示位置を検出して出力する指示位置検出手段を通じて、使用者からの指示操作を受け付ける指示操作受付工程と、
前記検索キー表示制御工程において表示した前記検索キーが、前記指示操作受付工程において指示された場合に、指示された前記検索キーに応じた画像データを、検索キーに対応する情報を有する画像データを複数記憶する記憶手段から検索して抽出する検索工程と、
表示制御手段が、前記検索工程において抽出した画像データに応じた画像を、前記表示画面上の所定の位置に集まるように表示する表示制御工程と
を有する画像表示方法。
【請求項17】
検索キー表示制御手段が、表示素子の表示画面に選択可能なように1以上の検索キーを表示するように制御する検索キー表示制御ステップと、
前記表示素子の表示画面に対して設けられる操作面を通じて、使用者からの指示操作を受け付け、前記操作面に対する前記指示操作の指示位置を検出して出力する指示位置検出手段を通じて、使用者からの指示操作を受け付ける指示操作受付ステップと、
前記検索キー表示制御ステップにおいて表示した前記検索キーが、前記指示操作受付ステップにおいて指示された場合に、指示された前記検索キーに応じた画像データを、検索手段が、検索キーに対応する情報を有する画像データを複数記憶する記憶手段から検索して抽出する検索ステップと、
表示制御手段が、前記検索ステップにおいて抽出した画像データに応じた画像を、前記表示画面上の所定の位置に集まるように表示する表示制御ステップと
を画像表示装置に搭載されたコンピュータが実行する画像表示プログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate


【公開番号】特開2010−128845(P2010−128845A)
【公開日】平成22年6月10日(2010.6.10)
【国際特許分類】
【出願番号】特願2008−303681(P2008−303681)
【出願日】平成20年11月28日(2008.11.28)
【出願人】(000002185)ソニー株式会社 (34,172)
【Fターム(参考)】