説明

検索装置、検索方法及びプログラム

【課題】所望の画像情報の検索を適正に行う。
【解決手段】携帯端末100であって、画像情報を検索対象として検索する場合に、検索条件として画像の撮像に関連する撮像関連情報以外の他の情報が入力されると、当該他の情報と関連する、画像の撮像指示タイミングとは非同期のタイミングで発生する当該画像の撮像以外のイベントに係るイベント情報をイベント記録部13bに記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定する特定部14aと、画像記録部13aに記録されている画像情報の中で、検索条件として入力された撮像関連情報或いは特定部により特定された撮像関連情報と対応付けられている画像情報を検索する検索部14bと、検索対象の検索結果を出力する表示部15と、を備えている。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検索装置、この検索装置を用いた検索方法及びプログラムに関する。
【背景技術】
【0002】
従来、撮影された画像の画像情報に対応付けて、撮影日時や撮影場所の位置などに関する属性情報を記録しておき、当該属性情報を利用してユーザにより指定された日時や場所で撮影された画像を検索可能とした情報管理技術が知られている(例えば、特許文献1参照)。また、所望の画像の検索を容易にするために、撮影日時や撮影場所に基づいて、所定数の画像をグループ化して分類する技術も知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−127525号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1等の技術では、検索対象が遠い過去に撮影された画像である場合などでは、当該画像をいつどこで撮影したかを正確に思い出すことができない虞がある。このように、画像の撮影日時や撮影場所の位置だけでは、検索対象の画像の検索を適正に行うことができないといった問題がある。
【0005】
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、所望の画像情報の検索を適正に行うことができる検索装置、検索方法及びプログラムを提供することである。
【課題を解決するための手段】
【0006】
上記課題を解決するため、本発明の検索装置は、
撮像手段により撮像された画像の画像情報を、当該画像の撮像に関連する撮像関連情報と対応付けて少なくとも一つ記録する第1記録手段と、前記撮像手段による画像の撮像指示タイミングとは非同期のタイミングで発生する当該画像の撮像以外のイベントに係るイベント情報を、当該イベントの発生に関連するイベント関連情報と対応付けて少なくとも一つ記録する第2記録手段と、検索対象を検索するための検索条件を入力する入力手段と、前記画像情報を検索対象として検索する場合に、前記入力手段により前記検索条件として前記撮像関連情報以外の他の情報が入力されると、当該他の情報と関連するイベント情報を前記第2記録手段に記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定する特定手段と、前記第1記録手段に記録されている画像情報の中で、前記入力手段により入力された撮像関連情報或いは前記特定手段により特定された撮像関連情報と対応付けられている画像情報を検索する検索手段と、この検索手段による前記検索対象の検索結果を出力する出力手段と、を備えることを特徴としている。
【0007】
また、本発明の検索方法は、
撮像手段により撮像された画像の画像情報を、当該画像の撮像に関連する撮像関連情報と対応付けて少なくとも一つ記録する第1記録手段と、前記撮像手段による画像の撮像指示タイミングとは非同期のタイミングで発生する当該画像の撮像以外のイベントに係るイベント情報を、当該イベントの発生に関連するイベント関連情報と対応付けて少なくとも一つ記録する第2記録手段と、を備える検索装置を用いた検索方法であって、検索対象を検索するための検索条件を入力する処理と、前記画像情報を検索対象として検索する場合に、前記検索条件として前記撮像関連情報以外の他の情報が入力されると、当該他の情報と関連するイベント情報を前記第2記録手段に記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定する処理と、前記第1記録手段に記録されている画像情報の中で、前記入力手段により入力された撮像関連情報或いは特定された撮像関連情報と対応付けられている画像情報を検索する処理と、前記検索対象の検索結果を出力する処理と、を含むことを特徴としている。
【0008】
また、本発明のプログラムは、
撮像手段により撮像された画像の画像情報を、当該画像の撮像に関連する撮像関連情報と対応付けて少なくとも一つ記録する第1記録手段と、前記撮像手段による画像の撮像指示タイミングとは非同期のタイミングで発生する当該画像の撮像以外のイベントに係るイベント情報を、当該イベントの発生に関連するイベント関連情報と対応付けて少なくとも一つ記録する第2記録手段と、を備える検索装置のコンピュータを、検索対象を検索するための検索条件を入力する入力手段、前記画像情報を検索対象として検索する場合に、前記入力手段により前記検索条件として前記撮像関連情報以外の他の情報が入力されると、当該他の情報と関連するイベント情報を前記第2記録手段に記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定する特定手段、前記第1記録手段に記録されている画像情報の中で、前記入力手段により入力された撮像関連情報或いは前記特定手段により特定された撮像関連情報と対応付けられている画像情報を検索する検索手段、この検索手段による前記検索対象の検索結果を出力する出力手段、として機能させることを特徴としている。
【発明の効果】
【0009】
本発明によれば、検索対象の画像をいつどこで撮影したかを正確に思い出すことができない場合であっても、所望の画像情報の検索を適正に行うことができる。
【図面の簡単な説明】
【0010】
【図1】本発明を適用した実施形態1の携帯端末の概略構成を示すブロック図である。
【図2】図1の携帯端末にイベント情報として記録されるイベントの一例を示す図である。
【図3】図1の携帯端末に記録されるイベント記録テーブルの一例を模式的に示す図である。
【図4】図1の携帯端末による撮像処理に係る動作の一例を示すフローチャートである。
【図5】図1の携帯端末によるイベント記録処理に係る動作の一例を示すフローチャートである。
【図6】図1の携帯端末による画像検索処理に係る動作の一例を示すフローチャートである。
【図7】図1の携帯端末によるイベント検索処理に係る動作の一例を示すフローチャートである。
【図8】本発明を適用した実施形態2の検索システムの概略構成を示す図である。
【図9】図8の検索システムを構成する撮像装置の概略構成を示すブロック図である。
【図10】図8の検索システムを構成する携帯電話機の概略構成を示すブロック図である。
【図11】図8の検索システムを構成する検索装置の概略構成を示すブロック図である。
【発明を実施するための形態】
【0011】
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
【0012】
[実施形態1]
図1は、本発明を適用した実施形態1の携帯端末100の概略構成を示すブロック図である。
図1に示すように、携帯端末100は、中央制御部1、メモリ2、撮像部3、撮像制御部4、画像処理部5、操作入力部6、送受話部7、通信制御部8、位置取得部9、日時取得部10、検出センサ部11、イベント取得制御部12、記録部13、検索制御部14、表示部15等を備えている。
なお、携帯端末100は、例えば、通信機能を具備する撮像装置や、携帯電話やPHS(Personal Handy-phone System)などの移動体通信網で用いられる移動局、PDA(Personal Data Assistants)等から構成されている。
【0013】
中央制御部1は、携帯端末100の各部を制御する。具体的には、中央制御部1は、携帯端末100の各部を制御するCPU(図示略)を具備し、各種処理プログラム(図示略)に従って各種の制御動作を行う。
【0014】
メモリ2は、例えば、画像情報等を一時的に記録するバッファメモリや、中央制御部1などのワーキングメモリ、当該携帯端末100の機能に係る各種プログラムやデータが格納されたプログラムメモリ等(何れも図示略)を備えている。
【0015】
撮像部3は、撮像手段を構成している。具体的には、撮像部3は、レンズ部3a、電子撮像部3b、ユニット回路部3cを具備している。
【0016】
レンズ部3aは、例えば、図示は省略するが、ズームレンズ、フォーカスレンズ、絞り等を有し、これらレンズを通過した被写体の光学像を結像する。
【0017】
電子撮像部3bは、レンズ部3aの光軸上に配置されている。また、電子撮像部3bは、例えば、CCD(Charge Coupled Device)やCMOS(Complementary Metal-oxide Semiconductor)等のイメージセンサから構成され、レンズ部3aの各種レンズを通過した光学像を所定の周期毎に二次元の画像信号(RGB画像データ)に変換して、ユニット回路部3cに出力する。
【0018】
ユニット回路部3cは、例えば、図示は省略するが、CDS(Correlated Double Sampling:相関二重サンプリング回路)、AGC(Auto Gain Control:ゲイン調整アンプ)、ADC(Analog to Digital Converter:アナログ/デジタル変換器)等を具備している。このユニット回路部3cは、電子撮像部3bから出力されて入力される被写体の光学像に応じたアナログの画像信号を撮像フレームレートに応じた所定の周期毎にCDSにより保持し、当該画像信号をAGCにより増幅した後、増幅された画像信号をADCによりデジタルの画像信号に変換する。そして、ユニット回路部3cは、デジタルの画像信号を画像処理部5に送信する。
【0019】
撮像制御部4は、中央制御部1からの指令に基づいて、被写体の撮像の際に、撮像部3を構成するレンズ部3a、電子撮像部3b及びユニット回路部3c等の動作を制御する。即ち、撮像制御部4は、所定の撮像条件(例えば、「絞り値」、「露光時間」、「ISO感度」、「測光方式」等)で被写体を撮像するように、レンズ部3a、電子撮像部3b及びユニット回路部3c等の動作を制御する。
具体的には、撮像制御部4は、例えば、モータ等の駆動源と、この駆動源を駆動するドライバ等(何れも図示略)を備え、レンズ部3aのズームレンズやフォーカスレンズを光軸方向に駆動させる。また、撮像制御部4は、例えば、レンズ部3aの絞りの拡径や縮径を行う絞り駆動部(図示略)を備え、絞り値に応じて絞りの拡径や縮径を行う。また、撮像制御部4は、例えば、TG(Timing Generator)、電子撮像部3bを駆動するドライバ等(何れも図示略)を備え、駆動フレームレートや露光時間等に従ってTG及びドライバを介して電子撮像部3bの動作タイミングを制御する。また、撮像制御部4は、撮像フレームレートに従ってユニット回路部3cの動作タイミングを制御する。
【0020】
また、撮像制御部4は、ユーザによる操作入力部6のシャッタボタンの所定操作に基づいて中央制御部1により撮像が指示されたタイミングで、撮像部3により被写体を撮像させる構成であっても良いし、ユーザによる操作入力部6を介した撮像指示のタイミングとは同期させずに、所定のタイミング(例えば、所定の時間間隔等)で撮像部3により自動的に撮像させる構成であっても良い。つまり、この場合には、ユーザにより構図の調整が行われていないで画角内に所定の被写体を捉えていない可能性もある。
【0021】
画像処理部5は、ユニット回路部3cから送られてきたA/D変換後の画像信号に対して、画素毎のR,G,Bの色成分データ(RGBデータ)を生成するRGB補間処理、RGBデータから輝度信号(Y)と色差信号(U、V)からなるYUVデータを画素毎に生成するYUV変換処理、さらに輪郭強調などの画品質向上のためのデジタル信号処理を行う。そして、画像処理部5は、変換後の各画像フレームのYUVデータをメモリ2に順次出力し、当該メモリ2に格納させる。
【0022】
操作入力部6は、携帯端末100本体に対して各種指示を入力するためのものである。
具体的には、操作入力部6は、被写体の撮影指示に係るシャッタボタン、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン、電話の発着信や電子メールの送受信等の実行指示に係る通信関連ボタン、テキスト(文書)の入力指示に係る数字ボタンや記号ボタン等の各種ボタン(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部6は、操作されたボタンに応じた操作指示を中央制御部1に出力する。中央制御部1は、操作入力部6から出力され入力された操作指示に従って所定の動作(例えば、被写体の撮像、電話の発着信、電子メールの送受信等)を各部に実行させる。
【0023】
また、操作入力部6は、入力手段として、画像情報やイベント情報等の検索対象を検索するための検索条件を入力する。
ここで、例えば、画像情報を検索対象とする場合、検索条件として、画像の撮像位置に関する撮像位置情報(例えば、地名や座標情報等)や当該画像の撮像日時に関する撮像日時情報(例えば、月、日、曜日、年、及びこれらの組み合わせ等)等の撮像関連情報、発生したイベントに付帯される付帯情報(後述)に関連するキーワード(例えば、名前、電子メールアドレス、体調、天候等)が挙げられる。また、例えば、イベント情報を検索対象とする場合、検索条件として、イベントの発生位置に関するイベント位置情報(例えば、地名や座標情報等)や当該イベントの発生日時に関するイベント日時情報(例えば、月、日、曜日、年、及びこれらの組み合わせ等)等のイベント関連情報、画像情報自体、画像内の被写体に関連するキーワード(例えば、ヒト、ペット、動物、名前、電子メールアドレス、体調、天候等)が挙げられる。
【0024】
なお、操作入力部6は、表示部15と一体となって設けられたタッチパネルを有していても良く、ユーザによるタッチパネルの所定操作に基づいて、当該所定操作に応じた操作指示を中央制御部1に出力しても良い。
【0025】
送受話部7は、通信ネットワークNを介して接続された外部機器の外部ユーザとの通話を行う。
具体的には、送受話部7は、マイク7a、スピーカ7b、データ変換部7c等を備えている。そして、送受話部7は、マイク7aから入力されるユーザの送話音声をデータ変換部7cによりA/D変換処理して送話音声データを中央制御部1に出力するとともに、中央制御部1の制御下にて、通信制御部8から出力されて入力される受話音声データ等の音声データをデータ変換部7cによりD/A変換処理してスピーカ7bから出力する。
【0026】
また、マイク7aは、集音手段として、ユーザによる操作入力部6を介した撮像指示のタイミングとは同期させずに、所定のタイミング(例えば、所定の時間間隔等)で自動的に集音する構成であっても良い。つまり、この場合には、ユーザが意識していない会話や外部の音(例えば、ユーザ近傍の友人や第三者の声、外部環境の音等)が集音される可能性もある。
【0027】
通信制御部8は、通信ネットワークN及び通信アンテナ8aを介してデータの送受信を行う。
即ち、通信アンテナ8aは、当該携帯端末100が無線基地局(図示略)との通信で採用している所定の通信方式(例えば、W−CDMA(Wideband Code Division Multiple Access)方式、CDMA2000方式、GSM(Global System for Mobile Communications)方式等)に対応したデータの送受信が可能なアンテナである。そして、通信制御部8は、所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ8aを介してデータの送受信を行う。
即ち、通信制御部8は、中央制御部1から出力されて入力される指示信号に基づいて、通信相手の外部機器に対して、当該外部機器の外部ユーザとの通話中の音声の送受信や、電子メールのデータの送受信を行う。
なお、通信制御部8の構成は一例であってこれに限られるものではなく、適宜任意に変更可能であり、例えば、図示は省略するが、無線LANモジュールを搭載し、アクセスポイント(Access Point)を介して通信ネットワークNにアクセス可能な構成としても良い。
【0028】
なお、通信ネットワークNは、携帯端末100を無線基地局やゲートウェイサーバ(図示略)等を介して接続する通信ネットワークである。また、通信ネットワークNは、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、LAN(Local Area Network)やWAN(Wide Area Network)等の様々な回線形態を適用することが可能である。また、通信ネットワークNには、例えば、電話回線網、ISDN回線網、専用線、移動体通信網、通信衛星回線、CATV回線網等の各種通信ネットワーク網と、IPネットワーク、VoIP(Voice over Internet Protocol)ゲートウェイ、インターネットサービスプロバイダ等が含まれる。
【0029】
位置取得部9は、GPS(Global Positioning System)アンテナ9aにより受信されたGPS信号に基づいて、携帯端末100本体の存する現在位置に係る位置情報を取得する。
即ち、GPSアンテナ9aは、地球低軌道に打ち上げられた複数のGPS衛星(図1には、一のGPS衛星Sのみを示す)から送信されるGPS信号(例えば、アルマナック(概略軌道情報)やエフェメリス(詳細軌道情報)など)を所定のタイミングで受信し、当該GPS信号を位置取得部9に出力する。位置取得部9は、GPSアンテナ9aから出力されたGPS信号に基づいて、当該端末本体の絶対的な2次元の現在位置(緯度、経度)を測位して当該位置に係る位置情報(例えば、緯度、経度の座標情報)を取得する。
また、位置取得部9は、携帯端末100本体の現在位置に係る位置情報をユーザによる操作入力部6の所定操作に基づいて指示されたタイミングで取得しても良いし、所定の時間間隔毎に取得しても良い。
【0030】
また、位置取得部9は、画像の撮像の際に生成した位置情報を記録部13に対して出力し、当該画像の撮像位置に関する撮像位置情報(撮像関連情報)として画像情報と対応付けられて画像記録部13a(後述)に記録される。同様に、位置取得部9は、イベントの発生の際に生成した位置情報を記録部13に対して出力し、当該イベントの発生位置に関するイベント位置情報(イベント関連情報)としてイベント情報と対応付けられてイベント記録部13b(後述)に記録される。
【0031】
なお、位置取得部9は、例えば、ユーザによる操作入力部6の所定操作に基づいて入力された現在位置に係る情報を位置情報として取得する構成であっても良い。即ち、ユーザによる操作入力部6の所定操作に基づいて入力された現在位置の地名や住所等に基づいて、位置取得部9は、所定のデータベース(図示略)を参照して当該携帯端末100の現在位置(緯度、経度)に係る位置情報を取得するようにしても良い。
【0032】
日時取得部10は、現在の日時を取得する。
即ち、日時取得部10は、例えば、タイマや計時回路等を備えて構成された計時部を具備し、この計時部により現在の時刻を計時する。また、日時取得部10は、計時部により計時された現在の時刻に基づいて、暦情報から今日の日付や曜日等を特定する。そして、日時取得部10は、現在の時刻及び今日の日付等に基づいて、現在の日時に係る日時情報を生成して取得する。
【0033】
また、日時取得部10は、画像の撮像の際に生成した日時情報を記録部13に対して出力し、当該画像の撮像日時に関する撮像日時情報(撮像関連情報)として画像情報と対応付けられて画像記録部13a(後述)に記録される。同様に、日時取得部10は、イベントの発生の際に生成した日時情報を記録部13に対して出力し、当該イベントの発生日時に関するイベント日時情報(イベント関連情報)としてイベント情報と対応付けられてイベント記録部13b(後述)に記録される。
【0034】
検出センサ部11は、動き検出センサ11aと、身体状態検出センサ11bと、環境検出センサ11cとを具備している。
具体的には、動き検出センサ(動き検出手段)11aは、例えば、加速度検出センサ、角速度検出センサ、振動センサ、傾斜センサ等から構成され、端末本体の動きや姿勢を検出する。また、身体状態検出センサ11bは、例えば、体温センサ、心拍センサ、筋電位センサ等から構成され、ユーザの身体の状態を検出する。また、環境検出センサ11cは、例えば、明るさセンサ、温度センサ、湿度センサ、気圧センサ等から構成され、端末本体の外部環境を検出する。
そして、動き検出センサ11a、身体状態検出センサ11b及び環境検出センサ11cの各々は、各センサによる検出結果に応じた検出信号を出力する。即ち、動き検出センサ11a、身体状態検出センサ11b及び環境検出センサ11cの各々は、ユーザによる操作入力部6の所定操作に基づいて指示されたタイミングで作動して検出信号を出力しても良いし、ユーザによる操作入力部6を介した撮像指示のタイミングとは同期させずに、所定のタイミング(例えば、所定の時間間隔等)で作動して検出信号を出力しても良い。
【0035】
なお、上記の動き検出センサ11a、身体状態検出センサ11b及び環境検出センサ11cの各々は、例えば、当該装置本体内に搭載されても良いし、所定の通信ケーブルにより外部接続されたものであっても良い。
【0036】
イベント取得制御部12は、発生したイベントに係るイベント情報の取得を制御する。具体的には、イベント取得制御部12は、第1取得部12aと、判定部12bと、第2取得部12cとを具備している。
ここで、イベントとは、ユーザによる画像の撮像指示タイミングとは非同期のタイミングで発生する当該画像の撮像以外のイベントのことである。また、イベントには、ユーザによる操作入力部6の所定の実行指示操作に基づいて実行される動作(例えば、電話の発着信や、電子メールの送受信や、スケジュールや各種文書の入力等)に関連した操作イベントと、ユーザによる操作入力部6の所定の実行指示操作を必要とすることなく実行される動作(例えば、検出センサ部11による端末本体の動きや姿勢の検出や、ユーザの身体の状態の検出や、端末本体の外部環境(気象)の検出等)に関連した操作不要イベントがある(図2参照)。
なお、図2には、イベントの種類、イベントの発生タイミング、付帯情報とを対応付けてイベントの一例を示すが、これらに限られるものではなく、イベントの種類、イベントの発生タイミング、付帯情報等は適宜任意に変更可能である。
【0037】
第1取得部12aは、イベント記録部13bのイベント記録テーブルT(図3参照;後述)に記録される、操作イベントに関連するイベント関連情報(付帯情報)を取得する。
即ち、操作イベントとして、例えば、送受話部7による通話の発信操作や着信操作等の実行操作が行われた場合に、第1取得部12aは、発信操作や着信操作等の動作の種類、並びに、当該発信操作や着信操作に係る通話相手に関連するキーワード、例えば、名前や住所や電話番号等をアドレス帳(図示略)を参照することで取得して、これらを当該イベントに関連するイベント関連情報として取得する。
また、操作イベントとして、例えば、通信制御部8による電子メールの送信操作や受信確認操作等の実行操作が行われた場合に、第1取得部12aは、送信操作や受信確認操作等の動作の種類、並びに、当該送信操作や受信確認操作に係る通信相手に関連するキーワード、例えば、名前や電子メールアドレスや電話番号等をアドレス帳(図示略)を参照することで取得して、これらを当該イベントに関連するイベント関連情報として取得する。
また、操作イベントとして、ユーザにより操作入力部6を介してスケジュールや文書の作成、編集、削除等の入力操作や閲覧操作等の実行操作が行われた場合に、第1取得部12aは、スケジュールや文書の種類、入力操作や閲覧操作等の動作の種類、並びに、当該スケジュールの内容や文書に関連するキーワード、例えば、タイトル等を取得して、これらを当該イベントに関連するイベント関連情報として取得する。
【0038】
判定部12bは、判定手段として、動作の実行にユーザによる操作入力部6の所定の実行指示操作を必要としない操作不要イベントが発生したか否かを判定する。
即ち、判定部12bは、ユーザによる操作入力部6の所定の撮像指示操作を必要とすることなく所定のタイミングで撮像部3により自動的に撮像された画像の画像情報に基づいて、当該画像から所定の被写体(例えば、「ヒト」や「動物」等)を検出する被写体検出処理を行って所定の種類の被写体が検出されたか否かに応じて、操作不要イベントが発生したか否かを判定する。
また、判定部12bは、ユーザによる操作入力部6の所定の集音指示操作を必要とすることなく所定のタイミングでマイク7aにより自動的に集音された音データに基づいて、当該音から特定の言葉(例えば、単語や文節等の「言葉」、ヒトや法人の「名前」等)を検出する言葉検出処理を行って特定の言葉が検出されたか否かに応じて、操作不要イベントが発生したか否かを判定する。
また、判定部12bは、ユーザによる操作入力部6の所定の測位指示操作を必要とすることなく、所定のタイミングで位置取得部9により自動的に測位された当該装置本体の存する現在位置に基づいて、地図データベース(図示略)を参照することで特定の地名(現在位置の属する都道府県、都市、区、町等)や特定の建物(例えば、東京タワー等)の特定の場所が検出されたか否かに応じて、操作不要イベントが発生したか否かを判定する。
また、判定部12bは、ユーザによる操作入力部6の所定の動き検出指示操作を必要とすることなく、所定のタイミングで動き検出センサ11aにより自動的に検出されて出力された検出信号に基づいて、当該検出信号の変化や単位時間あたりの変動パターンなどから、所定の種類の動き(例えば、就寝中、勉強中、運動中、食事中、自動車運転中、散歩中、ジョギング中等)が検出されたか否かに応じて、操作不要イベントが発生したか否かを判定する。なお、判定部12bは、位置取得部9により測位された当該装置本体の存する現在位置の変移に基づいて、その速度から当該端末本体の種類の動き(例えば、散歩中、ジョギング中等、自動車移動中、電車移動中等)が検出されたか否かを判定するようにしても良い。
また、判定部12bは、ユーザによる操作入力部6の所定の検出指示操作を必要とすることなく、所定のタイミング或いは所定の時間間隔毎に身体状態検出センサ11bにより自動的に検出されて出力された検出信号に基づいて、当該端末本体のユーザの身体情報(例えば、体温、血圧、脈拍等)が検出されたか否かに応じて、操作不要イベントが発生したか否かを判定する。
また、判定部12bは、ユーザによる操作入力部6の所定の検出指示操作を必要とすることなく、所定のタイミングで環境検出センサ11cにより自動的に検出されて出力された検出信号に基づいて、当該端末本体の外部環境(例えば、天気、気温、気圧、湿度等)が変化したか否かに応じて、操作不要イベントが発生したか否かを判定する。
【0039】
なお、被写体検出処理としては、例えば、顔検出処理、エッジ検出処理、特徴抽出処理等の各種画像処理によって所定の被写体の候補となる画像領域(候補領域)を抽出し、抽出された候補領域の中で所定の識別条件を満たすものを所定の被写体として検出する手法が挙げられるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、言葉検出処理としては、例えば、スペクトラムアナライザ等を用いて音データに対して音声分析処理を施して、所定の登録手段(例えば、メモリ2)に予め登録されている単語や文節等の言葉やヒトや法人の名前等の音データと比較判定して検出する手法が挙げられるが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
【0040】
第2取得部12cは、イベント記録部13bのイベント記録テーブルTに記録される、操作不要イベントに関連するイベント関連情報(付帯情報)を取得する。
即ち、第2取得部12cは、判定部12bにより操作不要イベントが発生したと判定されると、当該操作不要イベント(例えば、動き検出イベント等)に関連するイベント関連情報を取得する。
具体的には、操作不要イベントとして、例えば、自動的に撮像された画像の画像情報から所定の種類の被写体が検出されて当該操作不要イベントが発生した場合に、第2取得部12cは、当該被写体の種類、例えば、「ヒト」や「動物」に係る情報等を当該イベントに関連するイベント関連情報として取得する。
また、操作不要イベントとして、例えば、自動的に集音された音データから特定の言葉が検出されて当該操作不要イベントが発生した場合に、第2取得部12cは、当該特定の言葉、例えば、単語や文節等の「言葉」、ヒトや法人の「名前」等に係る情報を当該イベントに関連するイベント関連情報として取得する。
また、操作不要イベントとして、例えば、位置取得部9により当該装置本体の存する現在位置が自動的に測位され特定の場所が検出されて当該操作不要イベントが発生した場合に、第2取得部12cは、当該特定の場所、例えば、「ハワイ」、「東京タワー」等に係る情報を当該イベントに関連するイベント関連情報として取得する。
また、操作不要イベントとして、例えば、動き検出センサ11aにより自動的に検出されて出力された検出信号に基づいて、所定の種類の動きが検出されて当該操作不要イベントが発生した場合に、第2取得部12cは、当該所定の種類の動き、例えば、「就寝中」、「勉強中」、「運動中」等、並びに、当該動きの時間や距離等に係る情報を当該イベントに関連するイベント関連情報として取得する。
また、操作不要イベントとして、例えば、身体状態検出センサ11bにより自動的に当該端末本体のユーザの身体情報が検出されて当該操作不要イベントが発生した場合に、第2取得部12cは、当該ユーザの身体情報、例えば、「体温」、「血圧」、「脈拍」等、並びに、当該身体情報の検出時等に係る情報を当該イベントに関連するイベント関連情報として取得する。
また、操作不要イベントとして、例えば、環境検出センサ11cにより自動的に検出されて出力された検出信号に基づいて、当該端末本体の外部環境(気象)の変化が検出されて当該操作不要イベントが発生した場合に、第2取得部12cは、当該外部環境、例えば、「天気」、「気温」、「気圧」、「湿度」等、並びに、当該外部環境の変化検出時や当該端末本体の存する地域等に係る情報を当該イベントに関連するイベント関連情報として取得する。
なお、第2取得部12cは、環境検出センサ11cの代わりに、Web(World Wide Web)サーバとしてインターネット上にWebページ(例えば、気象情報提供ページ等)を開設する機能を具備する気象サーバ(図示略)を利用して、イベントが発生した際の位置情報(例えば、緯度、経度の座標情報)及び日時情報(例えば、20△△年;○月○日;□曜日、**時等)に対応する気象(天候)を通信制御部8を介して取得しても良い。
【0041】
記録部13は、画像記録部13aと、イベント記録部13bとを具備し、これら画像記録部13a及びイベント記録部13bからのデータの読み出しや当該画像記録部13a及びイベント記録部13bに対するデータの書き込みを行う。
【0042】
画像記録部13aは、画像処理部5の符号化部(図示略)により所定の圧縮形式(例えば、JPEG形式等)で符号化された記録用の画像情報を少なくとも一つ記録する。具体的には、画像記録部13aは、画像情報をExif形式の画像ファイルとして記録し、画像の撮像に関連する撮像関連情報(撮影位置情報や撮像日時情報等)をExif情報として、画像情報と対応付けて記録する。即ち、画像記録部13aは、撮像部3による画像の撮像の際に、位置取得部9により取得された携帯端末100の現在位置に係る位置情報を当該画像の撮像位置に関する撮像位置情報(例えば、地名や座標情報等)として、当該画像の画像情報と対応付けて記録する。同様に、画像記録部13aは、撮像部3による画像の撮像の際に、日時取得部10により取得された現在の日時に係る日時情報を当該画像の撮像日時に関する撮像日時情報(例えば、20△△年;○月○日;□曜日等)として、当該画像の画像情報と対応付けて記録する。
なお、撮像関連情報として、画像の撮像位置に関する撮像位置情報及び当該画像の撮像日時に関する撮像日時情報を例示したが、一例であってこれに限られるものではなく、画像の撮像に関連する情報であれば適宜任意に変更可能である。即ち、撮像関連情報は、撮像位置情報或いは撮像日時情報と比較してイベント関連情報との関連性が低く、画像の撮像に特有の撮像特有関連情報、例えば、被写体に関連する各種のキーワード(ヒト、動物、風景等)を含んでいても良い。
このように、画像記録部13aは、撮像部3により撮像された画像の画像情報を、当該画像の撮像に関連する撮像関連情報と対応付けて少なくとも一つ記録する第1記録手段を構成している。
【0043】
イベント記録部13bは、発生したイベントに係るイベント情報を、当該イベントの発生に関連するイベント関連情報(イベント位置情報やイベント日時情報等)と対応付けてイベント記録テーブルT(図3参照)に格納して少なくとも一つ記録する。即ち、画像記録部13aは、画像の撮像指示タイミングとは非同期のタイミングで所定のイベントが発生した際に、位置取得部9により取得された携帯端末100の現在位置に係る位置情報を当該イベントの発生位置に関するイベント位置情報(例えば、地名や座標情報等)として、当該イベントの付帯情報と対応付けて記録する。同様に、イベント記録部13bは、画像の撮像指示タイミングとは非同期のタイミングで所定のイベントが発生した際に、日時取得部10により取得された現在の日時に係る日時情報を当該イベントの発生日時に関するイベント日時情報(例えば、20△△年;○月○日;□曜日等)として、当該イベントの付帯情報と対応付けて記録する。
ここで、付帯情報は、イベントに関連する情報であれば如何なる情報であっても良いが、各々のイベントに特有の情報(イベント特有関連情報)が好ましい。即ち、イベント特有関連情報は、イベントの発生に関連する情報であるが、イベント位置情報或いはイベント日時情報と比較して撮像関連情報との関連性が低く、撮像以外のイベントに特有の情報であり、例えば、イベントに特有の各種のキーワードや情報等を含んでいても良い。
【0044】
また、イベント記録部13bは、操作イベントの発生に基づいて第1取得部12aにより取得された操作イベントに関連するイベント関連情報(付帯情報)を取得し、当該操作イベントと対応付けてイベント記録テーブルTに記録する。
具体的には、イベント記録部13bは、操作イベントとして、例えば、送受話部7による通話の発信操作や着信操作等の実行操作が行われた場合に、第1取得部12aにより取得されたイベント関連情報、即ち、発信操作や着信操作等の動作の種類、並びに、当該発信操作や着信操作に係る通話相手に関連するキーワードを取得する。そして、イベント記録部13bは、取得したキーワードを当該操作イベントの付帯情報としてイベント記録テーブルTに記録する。
また、イベント記録部13bは、操作イベントとして、例えば、通信制御部8による電子メールの送信操作や受信確認操作等の実行操作が行われた場合に、第1取得部12aにより取得されたイベント関連情報、即ち、送信操作や受信確認操作等の動作の種類、並びに、当該送信操作や受信確認操作に係る通信相手に関連するキーワードを取得する。そして、イベント記録部13bは、取得したキーワードを当該操作イベントの付帯情報として、イベント記録テーブルTに記録する。
また、イベント記録部13bは、操作イベントとして、例えば、ユーザにより操作入力部6を介してスケジュールや文書の作成、編集、削除等の入力操作や閲覧操作等の実行操作が行われた場合に、第1取得部12aにより取得されたイベント関連情報、即ち、スケジュールや文書の種類、入力操作や閲覧操作等の動作の種類、並びに、当該スケジュールの内容や文書に関連するキーワードを取得する。そして、イベント記録部13bは、取得したキーワードを当該操作イベントの付帯情報として、イベント記録テーブルTに記録する。
【0045】
また、イベント記録部13bは、操作不要イベントの発生に基づいて第2取得部12cにより取得された操作不要イベントに関連するイベント関連情報(付帯情報)を取得し、当該操作不要イベントと対応付けてイベント記録テーブルTに記録する。
具体的には、例えば、自動的に撮像された画像の画像情報から所定の種類の被写体が検出されることで判定部12bにより操作不要イベントが発生したと判定された場合に、イベント記録部13bは、第2取得部12cにより取得されたイベント関連情報、即ち、当該被写体の種類に係る情報を取得し、取得した情報を当該操作不要イベントの付帯情報としてイベント記録テーブルTに記録する。
また、例えば、自動的に集音された音データから特定の言葉が検出されることで判定部12bにより操作不要イベントが発生したと判定された場合に、イベント記録部13bは、第2取得部12cにより取得されたイベント関連情報、即ち、当該特定の言葉に係る情報を取得し、取得した情報を当該操作不要イベントの付帯情報としてイベント記録テーブルTに記録する。
また、例えば、位置取得部9により当該装置本体の存する現在位置が自動的に測位され特定の場所が検出されることで判定部12bにより操作不要イベントが発生したと判定された場合に、イベント記録部13bは、第2取得部12cにより取得されたイベント関連情報、即ち、当該特定の場所に係る情報を取得し、取得した情報を当該操作不要イベントの付帯情報としてイベント記録テーブルTに記録する。
また、例えば、動き検出センサ11aにより自動的に検出されて出力された検出信号に基づいて所定の種類の動きが検出されることで判定部12bにより操作不要イベントが発生したと判定された場合に、イベント記録部13bは、第2取得部12cにより取得されたイベント関連情報、即ち、当該所定の種類の動き並びに当該動きの時間や距離等に係る情報を取得し、取得した情報を当該操作不要イベントの付帯情報としてイベント記録テーブルTに記録する。
また、例えば、身体状態検出センサ11bにより自動的に当該端末本体のユーザの身体情報が検出されることで判定部12bにより操作不要イベントが発生したと判定された場合に、イベント記録部13bは、第2取得部12cにより取得されたイベント関連情報、即ち、当該ユーザの身体情報並びに当該身体情報の検出時等に係る情報を取得し、取得した情報を当該操作不要イベントの付帯情報としてイベント記録テーブルTに記録する。
また、例えば、環境検出センサ11cにより自動的に検出されて出力された検出信号に基づいて、当該端末本体の外部環境(気象)の変化が検出されることで判定部12bにより操作不要イベントが発生したと判定された場合に、イベント記録部13bは、第2取得部12cにより取得されたイベント関連情報、即ち、当該外部環境並びに当該外部環境の変化検出時や当該端末本体の存する地域等に係る情報を取得し、取得した情報を当該操作不要イベントの付帯情報としてイベント記録テーブルTに記録する。
【0046】
具体的には、図3に示すように、イベント記録テーブルTには、発生日時(イベント日時情報)としての「8月3日11時12分」と、発生場所(イベント位置情報)としての「自宅」と、イベントの種類としての「通信」と、付帯情報としての「電子メール、受信、友人A、…」とが対応付けられ、また、発生日時としての「8月3日16時20分」と、発生場所としての「自宅」と、イベントの種類としての「身体情報取得」と、付帯情報としての「36.3℃、血圧123/82、脈拍87、…」とが対応付けられ、また、発生日時としての「8月5日16時20分」と、発生場所としての「会社」と、イベントの種類としての「文書入力」と、付帯情報としての「企画会議B議事録、作成、…」とが対応付けられ、また、発生日時としての「8月7日15時5分」と、発生場所としての「自宅周辺」と、イベントの種類としての「動き検出」と、付帯情報としての「ジョギング、30分、4km、…」とが対応付けられ、また、発生日時としての「9月1日14時8分」と、発生場所としての「埼玉県」と、イベントの種類としての「気象変化」と、付帯情報としての「雪、−3℃、…」とが対応付けられている。
なお、上記のイベント記録テーブルTは、一例であってこれに限られるものではなく、規定する「発生日時」や「発生場所」や「イベントの種類」や「付帯情報」の内容等は適宜任意に変更可能である。
【0047】
このように、イベント記録部13bは、撮像部3による画像の撮像指示タイミングとは非同期のタイミングで発生する当該画像の撮像以外のイベントに係るイベント情報を、当該イベントの発生に関連するイベント関連情報と対応付けて少なくとも一つ記録する第2記録手段を構成している。
【0048】
また、記録部13は、例えば、不揮発性メモリ(フラッシュメモリ)等の記録媒体を備えて構成されても良く、この場合、当該記録媒体の着脱機構を具備しても良い。
【0049】
検索制御部14は、記録部13に記録されている画像情報やイベントの検索を制御する。具体的には、検索制御部14は、特定部14aと、検索部14bとを具備している。
【0050】
特定部(特定手段)14aは、画像情報を検索対象として検索する場合に、ユーザによる操作入力部6の所定操作に基づいて検索条件として撮像関連情報(撮影位置情報や撮像日時情報等)以外の他の情報が入力されると、当該他の情報と関連するイベント情報をイベント記録部13bのイベント記録テーブルTに記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定する。
ここで、他の情報としては、例えば、画像の撮像に関連しないイベントに係る各種のキーワードが挙げられるが、イベント位置情報或いはイベント日時情報と比較して撮像関連情報との関連性が低いものの、撮像以外のイベントに特有の各種のキーワード等(イベント特有関連情報)であっても良い。
また、特定部14aは、イベント関連情報と撮像関連情報との関連性を、撮像位置情報で示される撮像位置とイベント位置情報で示されるイベントの発生位置との距離に係る近似性、或いは、撮像日時情報で示される撮像日時とイベント日時情報で示されるイベントの発生日時との時間に係る近似性に基づいて特定する。
【0051】
即ち、特定部14aは、検索条件として各種のキーワード(例えば、名前、電子メールアドレス、体調、天候等)が入力されると、イベント記録部13bのイベント記録テーブルTを参照して、当該キーワードと関連する付帯情報が付帯されているイベント情報を検索する。例えば、操作入力部6により検索条件としてキーワード「友人A」の名前が入力されると、イベント記録テーブルTを参照して、当該「友人A」が付帯情報として記録されているイベント「通信」を検索して特定する。
続けて、特定部14aは、検索されたイベント情報と対応付けられているイベント関連情報(イベント位置情報やイベント日時情報等)と関連する撮像関連情報(撮影位置情報や撮像日時情報等)を特定する。即ち、特定部14aは、検索されたイベント情報と対応付けられているイベント位置情報及びイベント日時情報のうちの少なくとも一方の情報に基づいて、イベントの発生位置に関連する撮像位置及びイベントの発生日時に関連する撮像日時のうちの少なくとも一方を特定する。
具体的には、特定部14aは、イベント記録テーブルTの中から検索されたイベント情報と対応付けられているイベント位置情報に基づいて、イベントの発生位置に関連する撮像位置、即ち、イベントの発生位置から所定の距離範囲内(例えば、近傍)の撮像位置を特定する。例えば、特定部14aは、付帯情報として「友人A」が付帯されているイベント「通信」が特定された場合に、当該イベント「通信」と対応付けられているイベント位置情報「自宅」に基づいて、イベントの発生位置の近傍の撮像位置として「自宅周辺」を特定する。
また、特定部14aは、イベント記録テーブルTの中から検索されたイベント情報と対応付けられているイベント日時情報に基づいて、イベントの発生日時に関連する撮像日時、即ち、イベントの発生日時から所定の時間範囲内の撮像日時を特定する。例えば、特定部14aは、付帯情報として「友人A」が付帯されているイベント「通信」が特定された場合に、当該イベント「通信」と対応付けられているイベント日時情報「8月3日11時12分」に基づいて、イベントの発生日時が近い撮像日時として「8月3日」を特定する。
【0052】
また、特定部14aは、イベント情報を検索対象として検索する場合に、ユーザによる操作入力部6の所定操作に基づいて検索条件としてイベント関連情報以外の他の情報が入力されると、当該他の情報と関連する画像情報を画像記録部13aに記録されている画像情報の中から検索し、この検索された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定する。
ここで、他の情報としては、例えば、イベントの発生に関連しない画像の撮像に係る各種のキーワードが挙げられるが、撮像位置情報或いは撮像日時情報と比較してイベント関連情報との関連性が低いものの、画像の撮像に特有の各種のキーワード等(撮像特有関連情報)であっても良い。
即ち、特定部14aは、検索条件として各種のキーワード(例えば、ヒト、動物等)が入力されると、画像記録部13aに記録されている画像情報に対して所定の被写体検出処理(例えば、顔検出処理等)を施して、当該キーワードと関連する被写体が含まれる画像情報を検索する。ここで、被写体検出処理は、イベント取得制御部12の判定部12bにより行われる被写体検出処理と略同様であり、その詳細な説明は省略する。
続けて、特定部14aは、検索された画像情報と対応付けられている撮像関連情報(撮像位置情報や撮像日時情報等)と関連するイベント関連情報(イベント位置情報やイベント日時情報等)を特定する。即ち、特定部14aは、検索された画像情報と対応付けられている撮像位置情報及び撮像日時情報のうちの少なくとも一方の情報に基づいて、画像の撮像位置に関連するイベントの発生位置及び画像の撮像日時に関連するイベントの発生日時のうちの少なくとも一方を特定する。
具体的には、特定部14aは、画像記録部13aの中から検索された画像情報にExif情報として付帯されている撮像位置情報に基づいて、当該画像の撮像位置に関連するイベントの発生位置、即ち、画像の撮像位置から所定の距離範囲内(例えば、近傍)のイベントの発生位置を特定する。例えば、特定部14aは、撮像位置情報として「自宅」が付帯されている画像情報が入力された場合に、当該撮像位置情報「自宅」に基づいて、画像の撮像位置の近傍のイベントの発生位置として「自宅周辺」を特定する。
また、例えば、特定部14aは、画像記録部13aの中から検索された画像情報にExif情報として付帯されている撮像日時情報に基づいて、当該画像の撮像日時に関連するイベントの発生日時、即ち、画像の撮像日時から所定の時間範囲内のイベントの発生日時を特定する。例えば、特定部14aは、撮像日時情報として「8月3日10時5分」等が付帯されている画像情報が入力された場合に、当該撮像日時情報「8月3日10時5分」に基づいて、画像の撮像日時から所定の時間範囲内のイベントの発生日時として「8月3日」を特定する。
【0053】
また、特定部14aは、イベント情報を検索対象として検索する場合に、ユーザによる操作入力部6の所定操作に基づいて検索条件として、画像情報を指定する指定情報(例えば、画像情報自体のファイル名や当該画像情報に係る各種のキーワード等)が入力されると、当該指定情報で指定された画像情報と対応付けられている撮像関連情報(撮像位置情報や撮像日時情報等)と関連するイベント関連情報(イベント位置情報やイベント日時情報等等)を特定する。
具体的には、特定部14aは、画像記録部13aに記録されている画像情報の中から指定情報で指定された画像情報を検索する。このとき、検索条件として各種のキーワード(例えば、ヒト、動物の画像等)が入力されると、画像記録部13aに記録されている画像情報に対して所定の被写体検出処理(例えば、顔検出処理等)を施して、当該キーワードと関連する被写体が含まれる画像情報を特定する。
その後、特定部14aは、画像記録部13aの中から検索された画像情報と対応付けられている撮像位置情報及び撮像日時情報のうちの少なくとも一方の情報に基づいて、画像の撮像位置に関連するイベントの発生位置及び画像の撮像日時に関連するイベントの発生日時のうちの少なくとも一方を特定する。なお、イベントの発生位置や発生日時の特定方法は、ユーザによる操作入力部6の所定操作に基づいて検索条件として、イベント関連情報以外の他の情報が入力された場合と同様であり、その詳細な説明は省略する。
【0054】
また、特定部14aは、イベント情報を検索対象として検索する場合に、ユーザによる操作入力部6の所定操作に基づいて検索条件として、イベント関連情報、画像情報を指定する指定情報及び撮像関連情報以外の情報(例えば、検索対象となるイベントを連想させるような各種のキーワードや情報等)が入力されると、当該情報と関連する被写体が含まれる画像情報を画像記録部13aに記録されている画像情報の中から検索する。具体的には、検索条件として各種のキーワードや情報が入力されると、特定部14aは、画像記録部13aに記録されている画像情報に対して所定の被写体検出処理(例えば、顔検出処理等)を施して、当該キーワードや情報と関連する被写体が含まれる画像情報を特定する。
そして、特定部14aは、画像記録部13aの中から検索された画像情報と対応付けられている撮像位置情報及び撮像日時情報のうちの少なくとも一方の情報に基づいて、画像の撮像位置に関連するイベントの発生位置及び画像の撮像日時に関連するイベントの発生日時のうちの少なくとも一方を特定する。なお、イベントの発生位置や発生日時の特定方法は、ユーザによる操作入力部6の所定操作に基づいて検索条件として、イベント関連情報以外の他の情報が入力された場合と同様であり、その詳細な説明は省略する。
【0055】
検索部(検索手段)14bは、画像情報を検索対象として検索する場合に、画像記録部13aに記録されている画像情報の中で、ユーザによる操作入力部6の所定操作に基づいて検索条件として入力された撮像関連情報(撮影位置情報や撮像日時情報等)或いは特定部14aにより特定された撮像関連情報と対応付けられている画像情報を検索する。
即ち、検索部14bは、ユーザによる操作入力部6の所定操作に基づいて、画像情報を検索対象とする検索条件として撮像関連情報が入力された場合には、画像記録部13aに記録されている画像情報の中で、入力された撮像関連情報と対応付けられている画像情報を検索する一方で、検索条件として撮像関連情報以外の他の情報(例えば、イベントに特有の各種のキーワード等)が入力された場合には、画像記録部13aに記録されている画像情報の中で、特定部14aにより特定された撮像関連情報と対応付けられている画像情報を検索する。具体的には、検索部14bは、画像記録部13aに記録されている画像情報の中で、撮像関連情報(撮影位置情報や撮像日時情報等)に基づいて、撮像位置及び撮像日時のうちの少なくとも一方と対応付けられている画像情報、即ち、撮像位置情報に係る撮像位置と対応付けられている画像情報及び撮像日時情報に係る撮像日時と対応付けられている画像情報のうちの少なくとも一方の画像情報を検索する。
例えば、検索部14bは、撮像位置情報に基づいて、当該撮像位置に係る撮像位置情報をExif情報として付帯している画像情報を画像記録部13aの中で検索する。また、検索部14bは、撮像日時情報に基づいて、当該撮像日時に係る撮像日時情報をExif情報として付帯している画像情報を画像記録部13aの中で検索する。
【0056】
また、検索部14bは、イベント情報を検索対象として検索する場合に、イベント記録部13bのイベント情報テーブルTに記録されているイベント情報の中で、ユーザによる操作入力部6の所定操作に基づいて検索条件として入力されたイベント関連情報(イベント位置情報やイベント日時情報等)或いは特定部14aにより特定されたイベント関連情報と対応付けられているイベント情報を検索する。
即ち、検索部14bは、ユーザによる操作入力部6の所定操作に基づいて、イベント情報を検索対象とする検索条件としてイベント関連情報が入力された場合には、イベント記録部13bのイベント情報テーブルTに記録されているイベント情報の中で、入力されたイベント関連情報と対応付けられているイベント情報を検索する一方で、検索条件としてイベント関連情報以外の他の情報(画像内の被写体に関連する各種のキーワード等)が入力された場合には、イベント記録部13bのイベント情報テーブルTに記録されているイベント情報の中で、特定部14aにより特定されたイベント関連情報と対応付けられているイベント情報を検索する。また、検索部14bは、検索条件として画像情報を指定する指定情報(例えば、画像情報自体のファイル名や当該画像情報に係る各種のキーワード等)が入力された場合や、イベント関連情報、画像情報を指定する指定情報及び撮像関連情報以外の情報(例えば、検索対象となるイベントを連想させるような各種のキーワード等)が入力された場合にも、同様に、イベント記録部13bのイベント情報テーブルTに記録されているイベント情報の中で、特定部14aにより特定されたイベント関連情報と対応付けられているイベント情報を検索する。
具体的には、検索部14bは、イベント記録部13bに記録されているイベント情報の中で、イベント関連情報(イベント位置情報やイベント日時情報等)に基づいて、発生位置及び発生日時のうちの少なくとも一方と対応付けられている画像情報、即ち、イベント位置情報に係る発生位置と対応付けられているイベント情報及びイベント日時情報に係る発生日時と対応付けられているイベント情報のうちの少なくとも一方のイベント情報を検索する。
例えば、検索部14bは、イベント位置情報に基づいて、当該発生位置(例えば、「自宅周辺」等)に係るイベント位置情報(発生場所)が対応付けられているイベント(例えば、「通信」、「身体情報取得」等)をイベント記録テーブルTの中で検索する。また、検索部14bは、イベント日時情報に基づいて、当該発生日時(例えば、「8月3日」等)に係るイベント日時情報(発生日時)が対応付けられているイベント(例えば、「通信」等)をイベント記録テーブルTの中で検索する。
【0057】
表示部15は、表示パネル15aと、表示制御部15bとを具備している。
即ち、表示制御部15bは、バッファメモリに一時的に記憶されている表示用の画像情報を読み出して表示パネル15aの表示画面に表示させる制御を行う。具体的には、表示制御部15bは、VRAM(Video Random Access Memory)、VRAMコントローラ、デジタルビデオエンコーダなどを備えている。そして、デジタルビデオエンコーダは、バッファメモリから読み出されてVRAM(図示略)に記憶されている各フレーム画像の輝度信号Y及び色差信号Cb,Crを、VRAMコントローラを介してVRAMから所定の再生フレームレート(例えば、30fps)で読み出して、これらのデータを元にビデオ信号を発生して表示パネル15aに出力する。
【0058】
表示パネル15aは、例えば、液晶表示パネルであり、表示制御部15bからのビデオ信号に基づいて電子撮像部3bにより撮像された画像などを表示画面に表示する。即ち、表示パネル15aは、被写体の撮像により生成された複数のフレーム画像を所定のフレームレートで逐次更新しながらライブビュー画像を表示する。また、表示パネル15aは、動画として記録中の複数のフレーム画像を表示したり、静止画として記録される画像のレックビュー画像を表示する。
【0059】
また、表示部15は、出力手段として、検索制御部14の検索部14bによる検索対象、即ち、画像情報やイベント情報の検索結果を出力する。即ち、表示制御部15bは、検索部14bによる検索対象の検索結果に応じて候補画像や候補イベントが表された検索結果画面(図示略)の画像情報を生成して表示パネル15aに出力する。表示パネル15aは、表示制御部15bから出力され入力された画像情報に応じた検索結果画面を表示する。
ここで、検索結果画面における候補画像や候補イベントの表示順序は、例えば、現在位置からの距離を優先する順序や、現在位置からの時間を優先する順序等をユーザによる操作入力部6の所定操作に基づいて切り替え表示可能となっている。
【0060】
次に、携帯端末100による撮像処理について図4を参照して説明する。
図4は、撮像処理に係る動作の一例を示すフローチャートである。
【0061】
図4に示すように、先ず、中央制御部1のCPUは、複数の動作モードの中から、ユーザによる操作入力部6の所定操作に基づいて撮像モードが選択されて当該撮像モードに応じた動作状態に各部を設定した後(ステップS1)、ユーザによる操作入力部6のシャッタボタンの所定操作に基づいて撮像指示が入力されたか否かを判定する(ステップS2)。
ステップS2における判定は、撮像指示が入力されたと判定されるまで(ステップS2;YES)、繰り返し実行される。
【0062】
そして、ステップS2にて、撮像指示が入力されたと判定されると(ステップS2;YES)、撮像制御部4は、撮像部3の撮像条件を所定の撮像条件(例えば、「絞り値」、「露光時間」、「ISO感度」、「測光方式」等)に設定し(ステップS3)、当該撮像条件に従ってレンズ部3a、電子撮像部3b及びユニット回路部3cの動作を制御して被写体を撮像させ、画像処理部5は、被写体の撮像画像の画像情報を生成する(ステップS4)。
続けて、位置取得部9は、GPSアンテナ9aから出力されたGPS信号に基づいて、当該装置本体の絶対的な2次元の現在位置(緯度、経度)を測位して当該位置に係る位置情報(例えば、緯度、経度の座標情報)を取得するとともに(ステップS5)、日時取得部10は、計時部により計時された現在の時刻に基づいて、暦情報から今日の日付や曜日等を特定し、現在の時刻及び今日の日付等に基づいて、現在の日時に係る日時情報を生成して取得する(ステップS6)。
なお、ステップS5における現在位置の取得処理と、ステップS6における現在の日時の取得処理の順序は逆であっても良い。
【0063】
その後、画像記録部13aは、画像処理部5により生成された画像情報と、撮像制御部4により設定された撮像条件と、位置取得部9により取得された現在位置(撮像位置)と、日時取得部10により取得された現在の日時(撮像日時)とを対応付けてExif形式の画像ファイルとして記録する(ステップS7)。
即ち、画像記録部13aは、撮像部3による画像の撮像の際に位置取得部9により取得された位置情報を当該画像の撮像位置に関する撮像位置情報(例えば、地名や座標情報等)とするとともに、日時取得部10により取得された日時情報を当該画像の撮像日時に関する撮像日時情報(例えば、20△△年;○月○日;□曜日等)として、当該画像の画像情報と対応付けて記録する。
これにより、撮像処理を終了する。
【0064】
次に、携帯端末100によるイベント記録処理について図5を参照して説明する。
図5は、イベント記録処理に係る動作の一例を示すフローチャートである。
【0065】
図5に示すように、先ず、中央制御部1のCPUは、ユーザによる画像の撮像指示タイミングとは非同期のタイミングで発生するイベントを記録するイベント記録機能が有効であるか否かを判定する(ステップS11)。即ち、中央制御部1のCPUは、ユーザによる操作入力部6の所定操作に基づいて、例えば、「イベント記録モード」が設定されてイベント記録機能が実行されているか否かを判定する。
ステップS11における判定は、イベント記録機能が有効であると判定されるまで(ステップS11;YES)、繰り返し実行される。
【0066】
ステップS11にて、イベント記録機能が有効であると判定されると(ステップS11;YES)、イベント取得制御部12は、各種のイベントのうち、何れか一のイベントが発生したか否かを判定する(ステップS12)。
具体的には、イベント取得制御部12は、ユーザによる操作入力部6の所定の実行指示操作に基づいて、例えば、電話の発着信や、電子メールの送受信や、スケジュールや各種文書の入力等の動作に関連した操作イベントや、ユーザによる操作入力部6の所定の実行指示操作を必要とすることなく実行される動作、例えば、検出センサ部11による端末本体の動きや姿勢の検出や、ユーザの身体の状態の検出や、端末本体の外部環境(気象)の検出等の動作に関連した操作不要イベントが発生したか否かを判定する。
【0067】
ステップS12にて、何れか一のイベントが発生していないと判定されると(ステップS12;NO)、中央制御部1のCPUは、処理をステップS11に戻し、それ以降の処理の実行を制御する。
そして、ステップS12にて、何れか一のイベントが発生したと判定されると(ステップS12;YES)、イベント取得制御部12は、操作入力部6からの出力信号や、撮像部3のユニット回路部3cからの出力信号や、送受話部7のデータ変換部7cからの出力信号や、検出センサ部11の動き検出センサ11a、身体状態検出センサ11b及び環境検出センサ11cからの出力信号に基づいて、イベントの種類を特定する(ステップS13)。
【0068】
続けて、イベント取得制御部12の第1取得部12a及び第2取得部12cは、特定されたイベントに関連するイベント関連情報を付帯情報として取得する(ステップS14)。
具体的には、第1取得部12aは、操作イベントに関連するイベント関連情報(付帯情報)を取得する。例えば、操作イベントとして、送受話部7による通話の発信操作や着信操作等の実行操作が行われた場合に、第1取得部12aは、発信操作や着信操作等の動作の種類、並びに、当該発信操作や着信操作に係る通話相手に関連するキーワード(例えば、名前や住所や電話番号等)をアドレス帳(図示略)を参照することで取得する。
また、第2取得部12cは、操作不要イベントに関連するイベント関連情報(付帯情報)を取得する。即ち、第2取得部12cは、判定部12bにより操作不要イベントが発生したと判定されると、当該操作不要イベント(例えば、動き検出イベント等)に関連するイベント関連情報を当該イベントの付帯情報として取得する。例えば、判定部12bにより、操作不要イベントとして、検出センサ部11の動き検出センサ11aにより所定のタイミングで自動的に検出されて出力された検出信号に基づいて、所定の種類の動きが検出されて当該操作不要イベントが発生したと判定された場合に、第2取得部12cは、当該所定の種類の動き(例えば、「就寝中」、「勉強中」、「運動中」等)、並びに、当該動きの時間や距離等に係る情報を取得する。
なお、動きの時間としては、例えば、タイマにより計時された開始時間、終了時間、経過時間等が挙げられる。また、動きの距離としては、例えば、経過時間に応じて所定の換算レートで換算された距離や、位置取得部9により取得された当該動きの開始時及び終了時の現在位置から演算された距離等が挙げられる。
【0069】
次に、位置取得部9は、GPSアンテナ9aから出力されたGPS信号に基づいて、当該装置本体の絶対的な2次元の現在位置(緯度、経度)を測位して当該位置に係る位置情報(例えば、緯度、経度の座標情報)を取得するとともに(ステップS15)、日時取得部10は、計時部により計時された現在の時刻に基づいて、暦情報から今日の日付や曜日等を特定し、現在の時刻及び今日の日付等に基づいて、現在の日時に係る日時情報を生成して取得する(ステップS16)。
なお、ステップS15における現在位置の取得処理と、ステップS16における現在の日時の取得処理の順序は逆であっても良い。
【0070】
その後、イベント記録部13bは、イベントの種類と、第1取得部12a或いは第2取得部12cにより取得された付帯情報と、位置取得部9により取得された現在位置(発生位置)と、日時取得部10により取得された現在の日時(発生日時)とを対応付けてイベント記録テーブルTに記録する(ステップS17)。
即ち、イベント記録部13bは、所定のイベント(操作イベントや操作不要イベント等)が発生した際に位置取得部9により取得された位置情報を当該イベントの発生位置に関するイベント位置情報(例えば、地名や座標情報等)とするとともに、日時取得部10により取得された日時情報を当該イベントの発生日時に関するイベント日時情報(例えば、20△△年;○月○日;□曜日等)として、当該イベントに係る付帯情報と対応付けて記録する。
これにより、イベント記録処理を終了する。
【0071】
次に、携帯端末100による画像検索処理について図6を参照して説明する。
図6は、画像検索処理に係る動作の一例を示すフローチャートである。
以下に説明する画像検索処理は、ユーザによる操作入力部6の所定操作に基づいて画像検索モードが設定された場合に実行される処理である。
【0072】
図6に示すように、先ず、中央制御部1のCPUは、ユーザによる操作入力部6の所定操作に基づいて、検索対象を検索するための検索条件が入力されると(ステップS21)、検索制御部14は、検索条件として、撮像日時、撮像位置及び撮像条件のうちの少なくとも一が指定されているか否かを判定する(ステップS22)。
ここで、撮像日時、撮像位置及び撮像条件のうちの少なくとも一が指定されていると判定されると(ステップS22;YES)、検索部14bは、画像記録部13aに記録されている画像情報の中で、検索条件として指定された撮像日時、撮像位置及び撮像条件のうちの何れか一に基づいて、当該検索条件に合致する画像情報を候補画像として検索して特定する(ステップS23)。
【0073】
次に、検索制御部14は、検索条件として、撮像日時、撮像位置及び撮像条件以外のキーワードが指定されているか否かを判定する(ステップS24)。また、ステップS22にて、撮像日時、撮像位置及び撮像条件のうちの少なくとも一が指定されていると判定されていないと判定された場合にも(ステップS22;NO)、検索制御部14は、処理をステップS24に移行して、キーワードが指定されているか否かを判定する(ステップS24)。
ここで、キーワードが指定されていると判定されると(ステップS24;YES)、特定部14aは、指定されたキーワードと関連するイベント及びその付帯情報を特定する。具体的には、特定部14aは、検索条件として各種のキーワード(例えば、名前、電子メールアドレス、体調、天候等)が入力されると、イベント記録部13bのイベント記録テーブルTを参照して、当該キーワード(例えば、「友人A」等)と関連するイベント(例えば、「通信」等)及びその付帯情報を特定する(ステップS25)。
続けて、特定部14aは、特定されたイベント(例えば、「通信」等)及び付帯情報と対応付けられているイベント位置情報に係る発生位置(例えば、「自宅」等)やイベント日時情報に係る発生日時(例えば、「8月3日11時12分」等)を特定する(ステップS26)。さらに、特定部14aは、イベントの発生位置から所定の距離範囲内の撮像位置(例えば、「自宅周辺」等)及びイベントの発生日時から所定の時間範囲内の撮像日時(例えば、「8月3日」等)のうちの少なくとも一方を特定する(ステップS27)。
【0074】
その後、検索部14bは、画像記録部13aに記録されている画像情報の中で、特定部14aにより特定された撮像位置に係る撮像位置情報をExif情報として付帯している画像情報、特定された撮像日時に係る撮像日時情報をExif情報として付帯している画像情報を候補画像として検索して特定する(ステップS28)。
【0075】
次に、表示制御部15bは、検索部14bによる検索対象の検索結果に応じて候補画像が表された検索結果画面の画像情報を生成して表示パネル15aに出力して、検索結果画面を表示させる(ステップS29)。また、ステップS24にて、キーワードが指定されていないと判定された場合にも(ステップS24;NO)、中央制御部1のCPUは、処理をステップS29に移行して、表示制御部15bは、表示パネル15aに検索結果画面を表示させる(ステップS29)。
即ち、ステップS24にて、キーワードが指定されていると判定された場合には(ステップS24;YES)、表示部15は、ステップS25〜S28の処理により、キーワードに基づいて検索された画像情報を候補画像とする検索結果画面を表示し、その一方で、ステップS24にて、キーワードが指定されていないと判定された場合には(ステップS24;NO)、表示部15は、ステップS25〜S28の処理を経由することなく、検索条件として指定された撮像日時、撮像位置及び撮像条件のうちの何れか一に基づいて検索された画像情報を候補画像とする検索結果画面を表示する(ステップS29)。
【0076】
続けて、中央制御部1のCPUは、ユーザによる操作入力部6の所定操作に基づいて、画像検索処理の終了指示が入力されたか否かを判定する(ステップS30)。
ここで、画像検索処理の終了指示が入力されてないと判定されると(ステップS30;NO)、中央制御部1のCPUは、処理をステップS21に戻し、上記と同様に、ステップS21以降の処理の実行を制御する。
一方、画像検索処理の終了指示が入力されたと判定されると(ステップS30;YES)、中央制御部1のCPUは、当該画像検索処理を終了させる。
【0077】
次に、携帯端末100によるイベント検索処理について図7を参照して説明する。
図7は、イベント検索処理に係る動作の一例を示すフローチャートである。
以下に説明するイベント検索処理は、ユーザによる操作入力部6の所定操作に基づいてイベント検索モードが設定された場合に実行される処理である。
【0078】
図7に示すように、先ず、中央制御部1のCPUは、ユーザによる操作入力部6の所定操作に基づいて、検索対象を検索するための検索条件が入力されると(ステップS31)、検索制御部14は、検索条件として、イベント種類、付帯情報、発生日時及び発生位置のうちの少なくとも一が指定されているか否かを判定する(ステップS32)。
ここで、イベント種類、付帯情報、発生日時及び発生位置のうちの少なくとも一が指定されていると判定されると(ステップS32;YES)、検索部14bは、イベント記録部13bのイベント記録テーブルTを参照して、検索条件として指定されたイベント種類、付帯情報、発生日時及び発生位置のうちの何れか一に基づいて、当該検索条件に合致するイベントを候補イベントとして検索して特定する(ステップS33)。
【0079】
次に、検索制御部14は、検索条件として、画像情報やキーワード等の指定情報に基づいて画像が指定されているか否かを判定する(ステップS34)。また、ステップS32にて、イベント種類、付帯情報、発生日時及び発生位置のうちの少なくとも一が指定されていると判定されていないと判定された場合にも(ステップS32;NO)、検索制御部14は、処理をステップS34に移行して、画像が指定されているか否かを判定する(ステップS34)。
ここで、画像が指定されていると判定されると(ステップS34;YES)、特定部14aは、画像記録部13aに記録されている画像情報の中で、指定された画像の画像情報にExif情報として付帯されている撮像位置情報に係る撮像位置(例えば、「自宅」等)及び撮像日時情報に係る撮像日時(例えば、「8月3日10時5分」等)を特定する(ステップS35)。さらに、特定部14aは、画像の撮像位置から所定の距離範囲内のイベントの発生位置(例えば、「自宅周辺」等)及び画像の撮像日時から所定の時間範囲内のイベントの発生日時(例えば、「8月3日」等)のうちの少なくとも一方を特定する(ステップS36)。
【0080】
その後、検索部14bは、イベント記録部13bのイベント記録テーブルTを参照して、特定部14aにより特定された発生位置に係るイベント位置情報が対応付けられているイベント、特定された発生日時に係るイベント日時情報が対応付けられているイベントを候補イベントとして検索して特定する(ステップS37)。
【0081】
次に、表示制御部15bは、検索部14bによる検索対象の検索結果に応じて候補イベントが表された検索結果画面の画像情報を生成して表示パネル15aに出力して、検索結果画面を表示させる(ステップS38)。また、ステップS34にて、画像が指定されていないと判定された場合にも(ステップS34;NO)、中央制御部1のCPUは、処理をステップS38に移行して、表示制御部15bは、表示パネル15aに検索結果画面を表示させる(ステップS38)。
即ち、ステップS34にて、画像が指定されていると判定された場合には(ステップS34;YES)、表示部15は、ステップS35〜S37の処理により、画像に基づいて検索されたイベントを候補イベントとする検索結果画面を表示し、その一方で、ステップS34にて、キーワードが指定されていないと判定された場合には(ステップS34;NO)、表示部15は、ステップS35〜S37の処理を経由することなく、検索条件として指定されたイベント種類、付帯情報、発生日時及び発生位置のうちの何れか一に基づいて検索されたイベントを候補イベントとする検索結果画面を表示する(ステップS38)。
【0082】
続けて、中央制御部1のCPUは、ユーザによる操作入力部6の所定操作に基づいて、イベント検索処理の終了指示が入力されたか否かを判定する(ステップS39)。
ここで、イベント検索処理の終了指示が入力されてないと判定されると(ステップS39;NO)、中央制御部1のCPUは、処理をステップS31に戻し、上記と同様に、ステップS31以降の処理の実行を制御する。
一方、イベント検索処理の終了指示が入力されたと判定されると(ステップS39;YES)、中央制御部1のCPUは、当該イベント検索処理を終了させる。
【0083】
以上のように、実施形態1の携帯端末100によれば、画像情報を検索対象として検索する場合に、ユーザによる操作入力部6の所定操作に基づいて検索条件として撮像関連情報以外の他の情報が入力されると、特定部14aが、当該他の情報と関連するイベント情報をイベント記録部13bに記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定し、検索部14bが、画像記録部13aに記録されている画像情報の中で、ユーザによる操作入力部6の所定操作に基づいて入力された検索条件としての撮像関連情報或いは特定部14aにより特定された撮像関連情報と対応付けられている画像情報を検索して、当該検索結果を表示部15から出力するので、検索条件として撮像関連情報が入力された場合には、画像記録部13aに記録されている画像情報の中で、入力された撮像関連情報と対応付けられている画像情報を検索することができる一方で、検索条件として撮像関連情報以外の他の情報が入力された場合であっても、画像記録部13aに記録されている画像情報の中で、特定部14aにより特定された撮像関連情報と対応付けられている画像情報を検索することができる。
つまり、検索対象の画像をいつどこで撮影したか覚えている場合には、撮像位置や撮像日時等の撮像関連情報を検索条件として画像情報を検索することができるだけでなく、検索対象の画像をいつどこで撮影したかを正確に思い出すことができない場合にも、画像情報とは関係のないような検索条件(例えば、各種のキーワード)を入力することで、当該検索条件に関連するイベント情報を検索することができ、画像記録部13aに記録されている撮像関連情報とイベント記録部13bに記録されているイベント関連情報とを相互に利用して、検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定することができる。これにより、特定された撮像関連情報と対応付けられている画像情報の検索を適正に行うことができる。
このように、画像情報のタイトル名や撮像日時や撮像場所などを思い出せないような場合でも、関連情報のどれか一部でも思い出すことができれば、それをキーワードにして所望の画像情報を連想的に多種の方法で検索することができ、画像情報の検索処理における操作性を向上させて当該検索処理の高速化を図ることができる。特に、例えば、人生の一生分の画像や動画像のほぼ全部を記録するようなライフレコーダ的用途の膨大な容量の画像やメディア情報を記録するような装置であっても、記録された膨大な量の古い過去の画像情報の中からでも、ユーザ所望の画像を比較的容易に検索することができる。
従って、撮像関連情報だけでなく、当該撮像関連情報とは関係のない検索条件を利用することで、所望の画像情報の検索を適正に行うことができる。
【0084】
また、イベント関連情報と撮像関連情報との関連性を、撮像位置情報で示される撮像位置とイベント位置情報で示されるイベントの発生位置との距離に係る近似性、撮像日時情報で示される撮像日時とイベント日時情報で示されるイベントの発生日時との時間に係る近似性に基づいて特定するので、イベント関連情報と関連する撮像関連情報の特定、即ち、イベントの発生位置から所定の距離範囲内の撮像位置の特定や、イベントの発生日時から所定の時間範囲内の撮像日時の特定を適性に行うことができる。
さらに、イベント記録部13bの中から検索されたイベント情報と対応付けられているイベント位置情報及びイベント日時情報のうちの少なくとも一方の情報に基づいて、イベントの発生位置に関連する撮像位置及びイベントの発生日時に関連する撮像日時のうちの少なくとも一方を特定して、画像記録部13aに記録されている画像情報の中で、特定された撮像位置及び撮像日時のうちの少なくとも一方と対応付けられている画像情報を検索するので、画像記録部13aに記録されている撮像位置情報や撮像日時情報とイベント記録部13bに記録されているイベント位置情報やイベント日時情報とを相互に利用して、画像情報の検索を効率良く行うことができる。
【0085】
また、画像情報を検索対象として検索する場合に、検索条件としてイベント特有関連情報(例えば、イベントに特有の各種のキーワード等)が入力されると、当該イベント特有関連情報と関連するイベント情報をイベント記録部13bに記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定するので、イベント位置情報或いはイベント日時情報と比較して撮像関連情報との関連性が低く、撮像以外のイベントに特有のイベント特有関連情報が検索条件として入力されても、当該イベント特有関連情報と関連するイベント情報を検索することができる。この結果、画像記録部13aに記録されている撮像関連情報とイベント記録部13bに記録されているイベント関連情報とを相互に利用して、検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定することができ、特定された撮像関連情報と対応付けられている画像情報の検索を適正に行うことができる。
【0086】
また、イベント情報を検索対象として検索する場合に、検索条件としてイベント関連情報以外の他の情報が入力されると、特定部14aが、当該他の情報と関連する画像情報を画像記録部13aの中から検索し、この検索された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定し、検索部14bが、イベント記録部13bのイベント情報テーブルTに記録されているイベント情報の中で、ユーザによる操作入力部6の所定操作に基づいて入力された検索条件としてのイベント関連情報或いは特定部14aによりー特定されたイベント関連情報と対応付けられているイベント情報を検索して、当該検索結果を表示部15から出力するので、検索条件としてイベント関連情報が入力された場合には、イベント記録部13bに記録されているイベント情報の中で、入力されたイベント関連情報と対応付けられているイベント情報を検索することができる一方で、検索条件としてイベント関連情報以外の他の情報が入力された場合であっても、イベント記録部13bに記録されているイベント情報の中で、特定部14aにより特定されたイベント関連情報と対応付けられているイベント情報を検索することができる。
つまり、検索対象のイベントがいつどこで発生したか覚えている場合には、発生位置や発生日時等のイベント関連情報を検索条件としてイベント情報を検索することができるだけでなく、検索対象のイベントがいつどこで発生したかを正確に思い出すことができない場合にも、イベント情報とは関係のないような検索条件(例えば、各種のキーワード)を入力することで、当該検索条件に関連する画像情報を検索することができ、画像記録部13aに記録されている撮像関連情報とイベント記録部13bに記録されているイベント関連情報とを相互に利用して、検索された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定することができる。これにより、特定されたイベント関連情報と対応付けられているイベント情報の検索を適正に行うことができる。
従って、イベント関連情報だけでなく、当該イベント関連情報とは関係のない検索条件を利用することで、所望のイベント情報の検索を適正に行うことができる。
【0087】
また、画像記録部13aの中から検索された画像情報と対応付けられている撮像位置情報及び撮像日時情報のうちの少なくとも一方の情報に基づいて、画像の撮像位置に関連するイベントの発生位置及び画像の撮像日時に関連するイベントの発生日時のうちの少なくとも一方を特定して、イベント記録部13bに記録されているイベント情報の中で、特定された発生位置及び発生日時のうちの少なくとも一方と対応付けられているイベント情報を検索するので、画像記録部13aに記録されている撮像位置情報や撮像日時情報とイベント記録部13bに記録されているイベント位置情報やイベント日時情報とを相互に利用して、画像情報の検索を効率良く行うことができる。
【0088】
また、イベント情報を検索対象として検索する場合に、検索条件として画像情報を指定する指定情報が入力されると、イベント記録部13bに記録されているイベント情報の中で、入力された指定情報で指定された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定するので、検索対象のイベントがいつどこで発生したかを正確に思い出すことができない場合であっても、イベント情報とは関係のないような画像情報を指定する指定情報を検索条件として入力することで、画像記録部13aに記録されている撮像関連情報とイベント記録部13bに記録されているイベント関連情報とを相互に利用して、指定情報で指定された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定することができる。
具体的には、入力された指定情報で指定された画像情報と対応付けられている撮像位置情報及び撮像日時情報のうちの少なくとも一方の情報に基づいて、画像の撮像位置に関連するイベントの発生位置及び画像の撮像日時に関連するイベントの発生日時のうちの少なくとも一方を特定して、イベント記録部13bに記録されているイベント情報の中で、特定されたイベントの発生位置及び発生日時のうちの少なくとも一方と対応付けられているイベント情報を検索するので、画像記録部13aに記録されている撮像位置情報や撮像日時情報とイベント記録部13bに記録されているイベント位置情報やイベント日時情報とを相互に利用して、イベント情報の検索を効率良く行うことができる。
【0089】
また、イベント情報を検索対象として検索する場合に、検索条件としてイベント関連情報、画像情報を指定する指定情報及び撮像関連情報以外の情報(例えば、検索対象となるイベントを連想させるような各種のキーワード等)が入力されると、当該情報と関連する被写体が含まれる画像情報を画像記録部13aの中から検索し、特定された画像情報と対応付けられている撮像位置情報及び撮像日時情報のうちの少なくとも一方の情報に基づいて、画像の撮像位置に関連するイベントの発生位置及び画像の撮像日時に関連するイベントの発生日時のうちの少なくとも一方を特定して、イベント記録部13bに記録されているイベント情報の中で、特定されたイベントの発生位置及び発生日時のうちの少なくとも一方と対応付けられているイベント情報を検索するので、イベント情報とは関係のない情報が検索条件として入力されても、当該情報と関連する被写体が含まれる画像情報を特定した後、画像記録部13aに記録されている撮像位置情報や撮像日時情報とイベント記録部13bに記録されているイベント位置情報やイベント日時情報とを相互に利用して、イベント情報の検索を効率良く行うことができる。
【0090】
さらに、イベント情報を検索対象として検索する場合に、検索条件として撮像特有関連情報(例えば、画像の撮像に特有の各種のキーワード等)が入力されると、当該撮像特有関連情報と関連する画像情報を画像記録部13aに記録されている画像情報の中から検索し、この検索された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定するので、撮像位置情報或いは撮像日時情報と比較してイベント関連情報との関連性が低く、画像の撮像に特有の撮像特有関連情報が検索条件として入力されても、当該撮像特有関連情報と関連する画像情報を検索することができる。この結果、画像記録部13aに記録されている撮像関連情報とイベント記録部13bに記録されているイベント関連情報とを相互に利用して、検索された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定することができ、特定されたイベント関連情報と対応付けられているイベント情報の検索を適正に行うことができる。
【0091】
また、ユーザによる操作入力部6の所定の実行指示操作に基づいて実行される動作に関連した操作イベントに関連するイベント関連情報が取得されてイベント記録部13bに記録されるので、当該イベント関連情報を利用して、画像情報の検索を適正に行うことができる。
具体的には、画像情報を検索対象とする場合に、操作イベントとしての通話の実行操作及び当該通話相手に関連するキーワード、操作イベントとしての通信の実行操作及び当該通信相手に関連するキーワード、操作イベントとしてのスケジュールの入力操作及び当該スケジュールの内容に含まれるキーワード、操作イベントとしての文書の入力操作及び当該文書に関連するキーワードのうち、少なくとも一のキーワードをイベント関連情報として利用することができ、画像情報とは関係のない操作イベントに関連する各種のキーワードに基づいて、所望の画像情報やイベント情報の検索を適正に行うことができる。
【0092】
また、ユーザによる操作入力部6の所定の実行指示操作を必要とすることなく実行される動作に関連した操作不要イベントが発生した場合に、当該操作不要イベントに関連するイベント関連情報が取得されてイベント記録部13bに記録されるので、当該イベント関連情報を利用して、画像情報の検索を適正に行うことができる。
具体的には、所定のタイミングで撮像された画像の画像情報から所定の種類の被写体が検出された場合に、当該被写体の種類に係る情報を当該イベントに関連するイベント関連情報として取得することができる。
また、所定のタイミングで集音された音情報から特定の言葉が検出された場合に、当該特定の言葉に係る情報を当該イベントに関連するイベント関連情報として取得することができる。
また、所定のタイミングで測位された当該端末本体の存する現在位置に基づいて特定の場所が検出された場合に、当該特定の場所に関連する名称に係る情報を当該イベントに関連するイベント関連情報として取得することができる。
また、自動的に検出された動き情報に基づいて所定の種類の動きが検出された場合に、当該所定の動きの種類に係る情報を当該イベントに関連するイベント関連情報として取得することができる。
従って、イベント関連情報として取得された上記の各種の情報を利用して、所望の画像情報やイベント情報の検索を適正に行うことができる。
【0093】
[実施形態2]
図8は、本発明を適用した実施形態2の検索システム200の概略構成を示す図である。
図8に示すように、検索システム200は、撮像装置300と、携帯電話機400と、検索装置500と、地図サーバ600と、気象サーバ700とが所定の通信ネットワークNを介して接続されている。そして、検索装置500は、撮像装置300及び携帯電話機400により取得された画像情報及びイベント情報を記録して、当該画像情報及びイベント情報の中でユーザ所望の検索対象を検索する。
【0094】
先ず、撮像装置300について図9を参照して説明する。
図9は、撮像装置300の概略構成を示すブロック図である。
図9に示すように、撮像装置300は、中央制御部301、メモリ302、撮像部303、撮像制御部304、画像処理部305、操作入力部306、表示部307、通信制御部308、位置取得部309、日時取得部310、記録部311等を備えている。
なお、中央制御部301、メモリ302、撮像部303、撮像制御部304、画像処理部305、操作入力部306、表示部307、通信制御部308、位置取得部309、日時取得部310、記録部311は、上記実施形態1の携帯端末100の対応する各部と略同様の構成をなし、上記実施形態1と異なる部分についてのみ詳細に説明する。
【0095】
中央制御部301は、撮像装置300の各部を制御する。具体的には、中央制御部301は、撮像装置300の各部を制御するCPU(図示略)を具備し、各種処理プログラム(図示略)に従って各種の制御動作を行う。
【0096】
メモリ302は、例えば、画像情報等を一時的に記録するバッファメモリや、中央制御部301などのワーキングメモリ、当該撮像装置300の機能に係る各種プログラムやデータが格納されたプログラムメモリ等(何れも図示略)を備えている。
【0097】
撮像部303、撮像制御部304、画像処理部305は、上記実施形態1の携帯端末100の撮像部3、撮像制御部4、画像処理部5と略同様の構成をなし、詳細な説明は省略する。
【0098】
操作入力部306は、撮像装置300本体に対して各種指示を入力するためのものである。
具体的には、操作入力部306は、被写体の撮影指示に係るシャッタボタン、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン等の各種ボタン(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部306は、操作されたボタンに応じた操作指示を中央制御部301に出力する。中央制御部301は、操作入力部306から出力され入力された操作指示に従って所定の動作(例えば、被写体の撮像等)を各部に実行させる。
【0099】
表示部307は、上記実施形態1の携帯端末100の表示部15と同様に、表示パネル15aと、表示制御部15bとを具備している。
【0100】
通信制御部308は、通信ネットワークN及び通信アンテナ308aを介してデータの送受信を行う。
即ち、通信制御部308は、例えば、無線LANモジュールから構成され、通信アンテナ308aを介して通信ネットワークNに接続されているアクセスポイント(図示略)との間でデータの送受信を行う。即ち、通信制御部308は、中央制御部301から出力されて入力される指示信号に基づいて、通信相手の検索装置500に対して、画像記録部311aに記録されているExif形式の画像ファイルの送信を行う。
なお、通信制御部308は、上記実施形態1の携帯端末100の通信制御部8と同様に、所定の通信方式に従ってデータの送受信を行っても良い。
【0101】
位置取得部309は、上記実施形態1の携帯端末100の位置取得部9と同様に、GPSアンテナ9aにより受信されたGPS信号に基づいて、撮像装置300本体の存する現在位置に係る位置情報を取得する。
また、位置取得部309は、画像の撮像の際に生成した位置情報を記録部311に対して出力し、当該画像の撮像位置に関する撮像位置情報(撮像関連情報)として画像情報と対応付けられて画像記録部311aに記録される。
【0102】
日時取得部310は、上記実施形態1の携帯端末100の日時取得部10と同様に、現在の日時に係る日時情報を生成して取得する。
また、日時取得部310は、画像の撮像の際に生成した日時情報を記録部311に対して出力し、当該画像の撮像日時に関する撮像日時情報(撮像関連情報)として画像情報と対応付けられて画像記録部311aに記録される。
【0103】
記録部311は、画像記録部311aを具備し、画像記録部311aからのデータの読み出しや当該画像記録部311aに対するデータの書き込みを行う。
画像記録部311aは、上記実施形態1の携帯端末100と同様に、画像情報をExif形式の画像ファイルとして少なくとも一つ記録し、画像の撮像に関連する撮像関連情報(撮影位置情報や撮像日時情報等)をExif情報として画像情報と対応付けて記録する。
【0104】
このように構成された撮像装置300は、撮像処理(図4参照)を行う。
なお、撮像処理は、上記実施形態1の携帯端末100による撮像処理の内容と略同様であり、その詳細な説明は省略する。
【0105】
次に、携帯電話機400について図10を参照して説明する。
図10は、携帯電話機400の概略構成を示すブロック図である。
図10に示すように、携帯電話機400は、中央制御部401、メモリ402、送受話部403、通信制御部404、操作入力部405、表示部406、検出センサ部407、イベント取得制御部408、位置取得部409、日時取得部410、記録部411等を備えている。
なお、中央制御部401、メモリ402、送受話部403、通信制御部404、操作入力部405、表示部406、検出センサ部407、イベント取得制御部408、位置取得部409、日時取得部410、記録部411は、上記実施形態1の携帯端末100の対応する各部と略同様の構成をなし、上記実施形態1と異なる部分についてのみ詳細に説明する。
【0106】
中央制御部401は、携帯電話機400の各部を制御する。具体的には、中央制御部401は、携帯電話機400の各部を制御するCPU(図示略)を具備し、各種処理プログラム(図示略)に従って各種の制御動作を行う。
【0107】
メモリ402は、例えば、画像情報等を一時的に記録するバッファメモリや、中央制御部401などのワーキングメモリ、当該携帯電話機400の機能に係る各種プログラムやデータが格納されたプログラムメモリ等(何れも図示略)を備えている。
【0108】
送受話部403は、上記実施形態1の携帯端末100の送受話部7と略同様の構成をなし、詳細な説明は省略する。
【0109】
通信制御部404は、上記実施形態1の携帯端末100の通信制御部8と同様に、通信ネットワークN及び通信アンテナ8aを介してデータの送受信を行う。
即ち、通信制御部404は、当該携帯電話機400が無線基地局(図示略)との通信で採用している所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ8aを介してデータの送受信を行う。即ち、通信制御部404は、中央制御部401から出力されて入力される指示信号に基づいて、通信相手の検索装置500に対してイベント記録テーブルTに記録されている各種のイベントの付帯情報、イベント関連情報の送信を行う。
なお、通信制御部404は、例えば、無線LANモジュールから構成され、通信アンテナ8aを介して通信ネットワークNに接続されているアクセスポイント(図示略)との間でデータの送受信を行っても良い。
【0110】
操作入力部405は、携帯電話機400本体に対して各種指示を入力するためのものである。
具体的には、操作入力部405は、モードや機能等の選択指示に係る上下左右のカーソルボタンや決定ボタン、電話の発着信や電子メールの送受信等の実行指示に係る通信関連ボタン、テキスト(文書)の入力指示に係る数字ボタンや記号ボタン等の各種ボタン(何れも図示略)を備えている。
そして、ユーザにより各種ボタンが操作されると、操作入力部405は、操作されたボタンに応じた操作指示を中央制御部401に出力する。中央制御部401は、操作入力部405から出力され入力された操作指示に従って所定の動作(例えば、電話の発着信、電子メールの送受信等)を各部に実行させる。
【0111】
表示部406は、上記実施形態1の携帯端末100の表示部15と同様に、表示パネル15aと、表示制御部15bとを具備している。
【0112】
検出センサ部407は、上記実施形態1の携帯端末100の検出センサ部11と同様に、動き検出センサ11aと、身体状態検出センサ11bと、環境検出センサ11cとを具備している。
【0113】
イベント取得制御部408は、上記実施形態1の携帯端末100のイベント取得制御部12と同様に、第1取得部12aと、判定部12bと、第2取得部12cとを具備している。
なお、本実施形態2に係る携帯電話機400は、撮像手段を備えない構成であるので、例えば、ユーザによる操作入力部405の所定の撮像指示操作を必要とすることなく所定のタイミングで自動的に画像を撮像する操作不要イベントは行われず、当該操作不要イベントに関連する処理は判定部12b及び第2取得部12cによって行われることはない。
【0114】
位置取得部409は、上記実施形態1の携帯端末100の位置取得部9と同様に、GPSアンテナ9aにより受信されたGPS信号に基づいて、携帯電話機400本体の存する現在位置に係る位置情報を取得する。
また、位置取得部409は、イベントの発生の際に生成した位置情報を記録部411に対して出力し、当該イベントの発生位置に関するイベント位置情報(イベント関連情報)としてイベント情報と対応付けられてイベント記録部411bに記録される。
【0115】
日時取得部410は、上記実施形態1の携帯端末100の日時取得部10と同様に、現在の日時に係る日時情報を生成して取得する。
また、日時取得部410は、イベントの発生の際に生成した日時情報を記録部411に対して出力し、当該イベントの発生日時に関するイベント日時情報(イベント関連情報)としてイベント情報と対応付けられてイベント記録部411bに記録される。
【0116】
記録部411は、イベント記録部411bを具備し、イベント記録部411bからのデータの読み出しや当該イベント記録部411bに対するデータの書き込みを行う。
イベント記録部411bは、上記実施形態1の携帯端末100と同様に、イベント記録テーブルTに、イベント情報と当該イベントの発生に関連するイベント関連情報(イベント位置情報やイベント日時情報等)と対応付けて少なくとも一つ記録する。
【0117】
このように構成された携帯電話機400は、イベント記録処理(図5参照)を行う。
なお、イベント記録処理は、上記実施形態1の携帯端末100によるイベント記録処理の内容と略同様であり、その詳細な説明は省略する。
【0118】
次に、検索装置500について図11を参照して説明する。
図11は、検索装置500の概略構成を示すブロック図である。
検索装置500は、例えば、パーソナルコンピュータ等から構成され、具体的には、図11に示すように、中央制御部501、メモリ502、通信制御部503、記録部504、操作入力部505、検索制御部506、表示部507等を備えている。
なお、中央制御部501、メモリ502、通信制御部503、記録部504、操作入力部505、検索制御部506、表示部507は、上記実施形態1の携帯端末100の対応する各部と略同様の構成をなし、上記実施形態1と異なる部分についてのみ詳細に説明する。
【0119】
中央制御部501は、検索装置500の各部を制御する。具体的には、中央制御部501は、検索装置500の各部を制御するCPU(図示略)を具備し、各種処理プログラム(図示略)に従って各種の制御動作を行う。
【0120】
メモリ502は、例えば、画像情報等を一時的に記録するバッファメモリや、中央制御部501などのワーキングメモリ、当該検索装置500の機能に係る各種プログラムやデータが格納されたプログラムメモリ等(何れも図示略)を備えている。
【0121】
通信制御部503は、通信ネットワークN及び通信アンテナ503aを介してデータの送受信を行う。
即ち、通信制御部503は、例えば、無線LANモジュールから構成され、通信アンテナ503aを介して通信ネットワークNに接続されているアクセスポイント(図示略)との間でデータの送受信を行う。即ち、通信制御部503は、通信相手の撮像装置300から送信されたExif形式の画像ファイルの受信を行う。
さらに、通信制御部503は、当該検索装置500が無線基地局(図示略)との通信で採用している所定の通信方式に対応する通信プロトコルに従って、この通信方式で設定される通信チャネルにより無線基地局との間で通信アンテナ503aを介してデータの送受信を行う。即ち、通信制御部503は、通信相手の携帯電話機400から送信されたイベント記録テーブルTに記録されている各種のイベントの付帯情報、イベント関連情報の受信を行う。
【0122】
記録部504は、上記実施形態1の携帯端末100の記録部13と同様に、画像記録部13aと、イベント記録部13bとを具備し、これら画像記録部13a及びイベント記録部13bからのデータの読み出しや当該画像記録部13a及びイベント記録部13bに対するデータの書き込みを行う。
即ち、記録部504は、通信制御部503により受信された画像ファイルを画像記録部13aに記録させ、また、通信制御部503により受信された各種のイベントの付帯情報、イベント関連情報をイベント記録部13bのイベント記録テーブルTに記録させる。
【0123】
検索制御部506、表示部507は、上記実施形態1の携帯端末100の検索制御部14、表示部15と略同様の構成をなし、詳細な説明は省略する。
【0124】
このように構成された検索装置500は、画像検索処理(図6参照)及びイベント検索処理(図7参照)を行う。
なお、画像検索処理及びイベント検索処理は、上記実施形態1の携帯端末100による画像検索処理及びイベント検索処理の内容と略同様であり、その詳細な説明は省略する。
【0125】
なお、地図サーバ600は、撮像装置300や携帯電話機400や検索装置500に、地図データベース(図示略)が搭載されていない場合に、画像情報やイベント情報の位置情報に対応する特定の地名(現在位置の属する都道府県、都市、区、町等)や特定の建物(例えば、東京タワー等)等の情報を検索装置500に提供する。
即ち、地図サーバ600は、Webサーバとしてインターネット上にWebページ(例えば、地名情報提供ページ等)を開設する機能を具備するものであり、検索装置500からのアクセスに応じて当該検索装置500にWebページのページ情報を送信する。具体的には、地図サーバ600は、検索装置500からの画像情報やイベント情報の位置情報(例えば、緯度、経度の座標情報)に対応する地名の送信要求に対して、当該地名を記憶部602内で検索して特定し、当該地名情報を検索装置500に送信する。
【0126】
地図サーバ600の通信制御部601は、例えば、モデム(MODEM:Modulater/DEModulater)、ターミナルアダプタ(Terminal Adapter)等によって構成され、通信ネットワークNを介して検索装置500等の外部機器との間で情報の通信制御を行うためのものである。具体的には、通信制御部601は、例えば、検索装置500からのアクセスにより位置情報に対応する地名の送信要求を受診する。また、通信制御部601は、記憶部602から取得された送信要求に係る地名情報を通信ネットワークNや無線基地局等を介して検索装置500に送信する。
【0127】
記憶部602は、例えば、半導体の不揮発性メモリやHDD(Hard Disc Drive)等により構成され、検索装置500に送信される地名情報やWebページのアドレス情報等を記憶する。具体的には、記憶部は、特定の地名(現在位置の属する都道府県、都市、区、町等)や特定の建物と位置情報(例えば、緯度、経度の座標情報)とを対応付けて複数記憶する。
【0128】
また、気象サーバ700は、携帯電話機400や検索装置500により気象を特定できない場合に、イベントが発生した際の位置情報(例えば、緯度、経度の座標情報)及び日時情報(例えば、20△△年;○月○日;□曜日、**時等)に対応する気象(天候)を検索装置500に提供する。
即ち、気象サーバ700は、Webサーバとしてインターネット上にWebページ(例えば、気象情報提供ページ等)を開設する機能を具備するものであり、検索装置500からのアクセスに応じて当該検索装置500にWebページのページ情報を送信する。具体的には、気象サーバ700は、検索装置500からのイベント情報の位置情報(例えば、緯度、経度の座標情報)及び日時情報(例えば、20△△年;○月○日;□曜日、**時等)に対応する気象(天候)の送信要求に対して、当該位置及び日時における気象を記憶部702内で検索して特定し、当該気象情報を検索装置500に送信する。
【0129】
気象サーバ700の通信制御部701は、例えば、モデム、ターミナルアダプタ等によって構成され、通信ネットワークNを介して検索装置500等の外部機器との間で情報の通信制御を行うためのものである。具体的には、通信制御部701は、例えば、検索装置500からのアクセスにより位置情報及び日時情報に対応する気象の送信要求を受診する。また、通信制御部701は、記憶部702から取得された送信要求に係る気象情報を通信ネットワークNや無線基地局等を介して検索装置500に送信する。
【0130】
記憶部702は、例えば、半導体の不揮発性メモリやHDD等により構成され、検索装置500に送信される気象情報やWebページのアドレス情報等を記憶する。具体的には、記憶部は、特定の気象(例えば、「晴れ」、「雨」等)と位置情報(例えば、緯度、経度の座標情報)と日時情報(例えば、20△△年;○月○日;□曜日、**時等)とを対応付けて複数記憶する。
【0131】
以上のように、実施形態2の検索システム200によれば、上記実施形態1の携帯端末100と同様に、検索対象の画像をいつどこで撮影したか覚えている場合には、撮像位置や撮像日時等の撮像関連情報を検索条件として画像情報を検索することができるだけでなく、検索対象の画像をいつどこで撮影したかを正確に思い出すことができない場合にも、画像情報とは関係のないような検索条件(例えば、各種のキーワード)を検索装置500に入力することで、当該検索条件に関連するイベント情報を検索することができ、画像記録部13aに記録されている撮像関連情報とイベント記録部13bに記録されているイベント関連情報とを相互に利用して、検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定することができる。これにより、特定された撮像関連情報と対応付けられている画像情報の検索を適正に行うことができる。
従って、撮像関連情報だけでなく、当該撮像関連情報とは関係のない検索条件を利用することで、所望の画像情報の検索を適正に行うことができる。
【0132】
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、操作イベントや操作不要イベントとして例示したものは、一例であってこれらに限られるものではなく、適宜任意に変更可能である。さらに、操作イベントや操作不要イベントに係る付帯情報も一例であってこれらに限られるものではなく、適宜任意に変更可能である。
【0133】
また、上記実施形態では、位置取得部9(309)として、GPS情報を利用して現在の位置(画像の撮像位置、イベントの発生位置)に係る位置情報を取得する構成を例示したが、現在の位置の取得方法は一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、所定の場所(例えば、自宅、勤務先、道路標識、車等)や持ち物(例えば、鞄やアクセサリー等)などに貼付されたRF-ID無線情報タグや可視光通信情報タグ、或いは、Bluetooth(登録商標)やTransferJet(登録商標)等を搭載した近距離無線機器などから、場所や持ち物、人物、機器などの識別情報を受信識別して、現在の位置を特定するようにしても良い。
【0134】
また、出力手段として、表示部15(507)を例示したが、これに限られるものではなく、例えば、出力された画像を表示する表示装置(図示略)と情報通信可能に接続して、当該表示装置に対して検索結果のデータを出力して当該検索結果を表示可能なものや、スクリーンや壁面(図示略)等に対して検索結果のデータを投影して当該検索結果を表示可能なものであれば如何なる構成であっても良い。
【0135】
さらに、携帯端末100、検索システム200の構成は、上記実施形態1、2に例示したものは一例であり、これに限られるものではなく、少なくとも第1記録手段、第2記録手段、入力手段、特定手段、検索手段、出力手段を備える構成であれば適宜任意に変更することができる。
【0136】
加えて、上記実施形態1、2にあっては、入力手段、特定手段、検索手段、出力手段としての機能を、携帯端末100の中央制御部1或いは検索装置500の中央制御部501の制御下にて、操作入力部6(505)、特定部14a、検索部14b、表示部15(507)が駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部1(501)のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリに、入力処理ルーチン、特定処理ルーチン、検索処理ルーチン、出力処理ルーチンを含むプログラムを記憶しておく。そして、入力処理ルーチンにより中央制御部1(501)のCPUを、検索対象を検索するための検索条件を入力する入力手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部1(501)のCPUを、画像情報を検索対象として検索する場合に、入力手段により検索条件として撮像関連情報以外の他の情報が入力されると、当該他の情報と関連するイベント情報を第2記録手段に記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定する特定手段として機能させるようにしても良い。また、検索処理ルーチンにより中央制御部1(501)のCPUを、第1記録手段に記録されている画像情報の中で、入力手段により入力された撮像関連情報或いは特定手段により特定された撮像関連情報と対応付けられている画像情報を検索する検索手段として機能させるようにしても良い。また、出力処理ルーチンにより中央制御部1(301)のCPUを、検索手段による検索対象の検索結果を出力する出力手段として機能させるようにしても良い。
【0137】
同様に、判定手段についても、中央制御部1(501)のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
【0138】
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
【0139】
〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
<請求項1>
撮像手段により撮像された画像の画像情報を、当該画像の撮像に関連する撮像関連情報と対応付けて少なくとも一つ記録する第1記録手段と、
前記撮像手段による画像の撮像指示タイミングとは非同期のタイミングで発生する当該画像の撮像以外のイベントに係るイベント情報を、当該イベントの発生に関連するイベント関連情報と対応付けて少なくとも一つ記録する第2記録手段と、
検索対象を検索するための検索条件を入力する入力手段と、
前記画像情報を検索対象として検索する場合に、前記入力手段により前記検索条件として前記撮像関連情報以外の他の情報が入力されると、当該他の情報と関連するイベント情報を前記第2記録手段に記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定する特定手段と、
前記第1記録手段に記録されている画像情報の中で、前記入力手段により入力された撮像関連情報或いは前記特定手段により特定された撮像関連情報と対応付けられている画像情報を検索する検索手段と、
この検索手段による前記検索対象の検索結果を出力する出力手段と、
を備えることを特徴とする検索装置。
<請求項2>
前記検索手段は、更に、
前記画像情報を検索対象とする検索条件として、前記入力手段により前記撮像関連情報が入力された場合には、前記第1記録手段に記録されている画像情報の中で、前記入力手段により入力された撮像関連情報と対応付けられている画像情報を検索する一方で、前記入力手段により前記撮像関連情報以外の他の情報が入力された場合には、前記第1記録手段に記録されている画像情報の中で、前記特定手段により特定された撮像関連情報と対応付けられている画像情報を検索することを特徴とする請求項1に記載の検索装置。
<請求項3>
前記撮像関連情報は、画像の撮像位置に関する撮像位置情報及び当該画像の撮像日時に関する撮像日時情報のうちの少なくとも一方の情報を含み、
前記イベント関連情報は、イベントの発生位置に関するイベント位置情報及び当該イベントの発生日時に関するイベント日時情報のうちの少なくとも一方の情報を含み、
前記特定手段は、更に、
前記イベント関連情報と前記撮像関連情報との関連性を、前記撮像位置情報で示される撮像位置と前記イベント位置情報で示されるイベントの発生位置との距離に係る近似性、或いは、前記撮像日時情報で示される撮像日時と前記イベント日時情報で示されるイベントの発生日時との時間に係る近似性に基づいて特定することを特徴とする請求項2に記載の検索装置。
<請求項4>
前記特定手段は、更に、
前記入力手段により前記検索条件として前記撮像関連情報以外の他の情報が入力された場合に、前記第2記録手段に記録されているイベント情報の中から検索されたイベント情報と対応付けられている前記イベント位置情報及び前記イベント日時情報のうちの少なくとも一方の情報に基づいて、イベントの発生位置に関連する撮像位置及びイベントの発生日時に関連する撮像日時のうちの少なくとも一方を特定し、
前記検索手段は、更に、
前記特定手段により特定された撮像位置及び撮像日時のうちの少なくとも一方と対応付けられている画像情報を検索することを特徴とする請求項3に記載の検索装置。
<請求項5>
前記イベント関連情報は、前記イベント位置情報或いは前記イベント日時情報と比較して前記撮像関連情報との関連性が低く、撮像以外のイベントに特有のイベント特有関連情報を含み、
前記特定手段は、更に、
前記画像情報を検索対象とする前記検索条件として、前記入力手段により前記イベント特有関連情報が入力されると、当該イベント特有関連情報と関連するイベント情報を前記第2記録手段に記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定することを特徴とする請求項3又は4に記載の検索装置。
<請求項6>
前記特定手段は、
前記イベント情報を検索対象として検索する場合に、前記入力手段により前記検索条件としてイベント関連情報以外の他の情報が入力されると、当該他の情報と関連する画像情報を前記第1記録手段に記録されている画像情報の中から検索し、この検索された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定し、
前記検索手段は、更に、
前記第2記録手段に記録されているイベント情報の中で、前記入力手段により入力されたイベント関連情報或いは前記特定手段により特定されたイベント関連情報と対応付けられているイベント情報を検索することを特徴とする請求項3に記載の検索装置。
<請求項7>
前記検索手段は、更に、
前記イベント情報を検索対象とする検索条件として、前記入力手段により前記イベント関連情報が入力された場合には、前記第2記録手段に記録されているイベント情報の中で、前記入力手段により入力されたイベント関連情報と対応付けられているイベント情報を検索する一方で、前記入力手段により前記イベント関連情報以外の他の情報が入力された場合には、前記第2記録手段に記録されているイベント情報の中で、前記特定手段により特定されたイベント関連情報と対応付けられているイベント情報を検索することを特徴とする請求項6に記載の検索装置。
<請求項8>
前記特定手段は、更に、
前記入力手段により前記検索条件としてイベント関連情報以外の他の情報が入力された場合に、前記第1記録手段に記録されている画像情報の中から検索された画像情報と対応付けられている前記撮像位置情報及び前記撮像日時情報のうちの少なくとも一方の情報に基づいて、画像の撮像位置に関連するイベントの発生位置及び画像の撮像日時に関連するイベントの発生日時のうちの少なくとも一方を特定し、
前記検索手段は、更に、
前記特定手段により特定されたイベントの発生位置及びイベントの発生日時のうちの少なくとも一方と対応付けられているイベント情報を検索することを特徴とする請求項6又は7に記載の検索装置。
<請求項9>
前記特定手段は、更に、
前記イベント情報を検索対象として検索する場合に、前記入力手段により前記検索条件として画像情報を指定する指定情報が入力されると、当該指定情報で指定された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定することを特徴とする請求項6〜8の何れか一項に記載の検索装置。
<請求項10>
前記特定手段は、更に、
前記第1記録手段に記録されている画像情報の中から検索された、前記指定情報で指定された画像情報と対応付けられている前記撮像位置情報及び前記撮像日時情報のうちの少なくとも一方の情報に基づいて、画像の撮像位置に関連するイベントの発生位置及び画像の撮像日時に関連するイベントの発生日時のうちの少なくとも一方を特定し、
前記検索手段は、更に、
前記特定手段により特定されたイベントの発生位置及び発生日時のうちの少なくとも一方と対応付けられているイベント情報を検索することを特徴とする請求項9に記載の検索装置。
<請求項11>
前記特定手段は、更に、
前記イベント情報を検索対象として検索する場合に、前記入力手段により前記検索条件として前記イベント関連情報、画像情報を指定する指定情報及び前記撮像関連情報以外の情報が入力されると、当該情報と関連する被写体が含まれる画像情報を前記第1記録手段に記録されている画像情報の中から検索し、この検索された画像情報と対応付けられている前記撮像位置情報及び前記撮像日時情報のうちの少なくとも一方の情報に基づいて、画像の撮像位置に関連するイベントの発生位置及び画像の撮像日時に関連するイベントの発生日時のうちの少なくとも一方を特定し、
前記検索手段は、更に、
前記特定手段により特定されたイベントの発生位置及び発生日時のうちの少なくとも一方と対応付けられているイベント情報を検索することを特徴とする請求項6〜8の何れか一項に記載の検索装置。
<請求項12>
前記撮像関連情報は、前記撮像位置情報或いは前記撮像日時情報と比較してイベント関連情報との関連性が低く、画像の撮像に特有の撮像特有関連情報を含み、
前記特定手段は、更に、
前記イベント情報を検索対象とする前記検索条件として、前記入力手段により前記撮像特有関連情報が入力されると、前記第1記録手段に記録されている画像情報の中で、前記撮像特有関連情報と関連する画像情報を検索し、この検索された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定することを特徴とする請求項6〜11の何れか一項に記載の検索装置。
<請求項13>
前記イベントは、ユーザによる操作入力部の所定の実行指示操作に基づいて実行される動作に関連した操作イベントを含み、
前記第2記録手段は、更に、
前記操作イベントの発生に基づいて、当該操作イベントに関連するイベント関連情報を取得して記録することを特徴とする請求項1〜12の何れか一項に記載の検索装置。
<請求項14>
前記イベント関連情報は、前記操作イベントとしての通話の実行操作及び当該通話相手に関連するキーワード、前記操作イベントとしての通信の実行操作及び当該通信相手に関連するキーワード、前記操作イベントとしてのスケジュールの入力操作及び当該スケジュールの内容に含まれるキーワード、前記操作イベントとしての文書の入力操作及び当該文書に関連するキーワードのうち、少なくとも一のキーワードを含むことを特徴とする請求項13に記載の検索装置。
<請求項15>
前記イベントは、ユーザによる操作入力部の所定の実行指示操作を必要とすることなく実行される動作に関連した操作不要イベントを含み、
前記操作不要イベントが発生したか否かを判定する判定手段を更に備え、
前記第2記録手段は、更に、
前記判定手段により前記操作不要イベントが発生したと判定されると、当該操作不要イベントに関連するイベント関連情報を取得して記録することを特徴とする請求項1〜12の何れか一項に記載の検索装置。
<請求項16>
前記判定手段は、更に、
前記操作不要イベントが発生したか否かを、所定のタイミングで前記撮像手段により撮像された画像の画像情報から所定の種類の被写体が検出されたか否かに応じて判定し、
前記第2記録手段は、更に、
前記判定手段により前記操作不要イベントが発生したと判定されると、検出された被写体の種類を前記イベント関連情報として取得して記録することを特徴とする請求項15に記載の検索装置。
<請求項17>
前記判定手段は、更に、
前記操作不要イベントが発生したか否かを、所定のタイミングで集音手段により集音された音情報から特定の言葉が検出されたか否かに応じて判定し、
前記第2記録手段は、更に、
前記判定手段により前記操作不要イベントが発生したと判定されると、検出された特定の言葉を前記イベント関連情報として取得して記録することを特徴とする請求項15に記載の検索装置。
<請求項18>
前記判定手段は、更に、
前記操作不要イベントが発生したか否かを、所定のタイミングで測位手段により測位された当該装置本体の存する現在位置に基づいて特定の場所が検出されたか否かに応じて判定し、
前記第2記録手段は、更に、
前記判定手段により前記操作不要イベントが発生したと判定されると、検出された特定の場所に関連する名称を前記イベント関連情報として取得して記録することを特徴とする請求項15に記載の検索装置。
<請求項19>
前記判定手段は、更に、
前記操作不要イベントが発生したか否かを、動き検出手段により自動的に検出された動き情報に基づいて所定の種類の動きが検出されたか否かに応じて判定し、
前記第2記録手段は、更に、
前記判定手段により前記操作不要イベントが発生したと判定されると、検出された所定の動きの種類を前記イベント関連情報として取得して記録することを特徴とする請求項15に記載の検索装置。
<請求項20>
撮像手段により撮像された画像の画像情報を、当該画像の撮像に関連する撮像関連情報と対応付けて少なくとも一つ記録する第1記録手段と、前記撮像手段による画像の撮像指示タイミングとは非同期のタイミングで発生する当該画像の撮像以外のイベントに係るイベント情報を、当該イベントの発生に関連するイベント関連情報と対応付けて少なくとも一つ記録する第2記録手段と、を備える検索装置を用いた検索方法であって、
検索対象を検索するための検索条件を入力する処理と、
前記画像情報を検索対象として検索する場合に、前記検索条件として前記撮像関連情報以外の他の情報が入力されると、当該他の情報と関連するイベント情報を前記第2記録手段に記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定する処理と、
前記第1記録手段に記録されている画像情報の中で、前記入力手段により入力された撮像関連情報或いは特定された撮像関連情報と対応付けられている画像情報を検索する処理と、
前記検索対象の検索結果を出力する処理と、
を含むことを特徴とする検索方法。
<請求項21>
撮像手段により撮像された画像の画像情報を、当該画像の撮像に関連する撮像関連情報と対応付けて少なくとも一つ記録する第1記録手段と、前記撮像手段による画像の撮像指示タイミングとは非同期のタイミングで発生する当該画像の撮像以外のイベントに係るイベント情報を、当該イベントの発生に関連するイベント関連情報と対応付けて少なくとも一つ記録する第2記録手段と、を備える検索装置のコンピュータを、
検索対象を検索するための検索条件を入力する入力手段、
前記画像情報を検索対象として検索する場合に、前記入力手段により前記検索条件として前記撮像関連情報以外の他の情報が入力されると、当該他の情報と関連するイベント情報を前記第2記録手段に記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定する特定手段、
前記第1記録手段に記録されている画像情報の中で、前記入力手段により入力された撮像関連情報或いは前記特定手段により特定された撮像関連情報と対応付けられている画像情報を検索する検索手段、
この検索手段による前記検索対象の検索結果を出力する出力手段、
として機能させることを特徴とするプログラム。
【符号の説明】
【0140】
100 携帯端末
1 中央制御部
3 撮像部
6 操作入力部
7 送受話部
7a マイク
9 位置取得部
10 日時取得部
11 検出センサ部
11a 動き検出センサ
12 イベント取得制御部
12b 判定部
13 記録部
13a 画像記録部
13b イベント記録部
14 検索制御部
14a 特定部
14b 検索部
15 表示部
200 検索システム
300 撮像装置
400 携帯電話機
500 検索装置

【特許請求の範囲】
【請求項1】
撮像手段により撮像された画像の画像情報を、当該画像の撮像に関連する撮像関連情報と対応付けて少なくとも一つ記録する第1記録手段と、
前記撮像手段による画像の撮像指示タイミングとは非同期のタイミングで発生する当該画像の撮像以外のイベントに係るイベント情報を、当該イベントの発生に関連するイベント関連情報と対応付けて少なくとも一つ記録する第2記録手段と、
検索対象を検索するための検索条件を入力する入力手段と、
前記画像情報を検索対象として検索する場合に、前記入力手段により前記検索条件として前記撮像関連情報以外の他の情報が入力されると、当該他の情報と関連するイベント情報を前記第2記録手段に記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定する特定手段と、
前記第1記録手段に記録されている画像情報の中で、前記入力手段により入力された撮像関連情報或いは前記特定手段により特定された撮像関連情報と対応付けられている画像情報を検索する検索手段と、
この検索手段による前記検索対象の検索結果を出力する出力手段と、
を備えることを特徴とする検索装置。
【請求項2】
前記検索手段は、更に、
前記画像情報を検索対象とする検索条件として、前記入力手段により前記撮像関連情報が入力された場合には、前記第1記録手段に記録されている画像情報の中で、前記入力手段により入力された撮像関連情報と対応付けられている画像情報を検索する一方で、前記入力手段により前記撮像関連情報以外の他の情報が入力された場合には、前記第1記録手段に記録されている画像情報の中で、前記特定手段により特定された撮像関連情報と対応付けられている画像情報を検索することを特徴とする請求項1に記載の検索装置。
【請求項3】
前記撮像関連情報は、画像の撮像位置に関する撮像位置情報及び当該画像の撮像日時に関する撮像日時情報のうちの少なくとも一方の情報を含み、
前記イベント関連情報は、イベントの発生位置に関するイベント位置情報及び当該イベントの発生日時に関するイベント日時情報のうちの少なくとも一方の情報を含み、
前記特定手段は、更に、
前記イベント関連情報と前記撮像関連情報との関連性を、前記撮像位置情報で示される撮像位置と前記イベント位置情報で示されるイベントの発生位置との距離に係る近似性、或いは、前記撮像日時情報で示される撮像日時と前記イベント日時情報で示されるイベントの発生日時との時間に係る近似性に基づいて特定することを特徴とする請求項2に記載の検索装置。
【請求項4】
前記特定手段は、更に、
前記入力手段により前記検索条件として前記撮像関連情報以外の他の情報が入力された場合に、前記第2記録手段に記録されているイベント情報の中から検索されたイベント情報と対応付けられている前記イベント位置情報及び前記イベント日時情報のうちの少なくとも一方の情報に基づいて、イベントの発生位置に関連する撮像位置及びイベントの発生日時に関連する撮像日時のうちの少なくとも一方を特定し、
前記検索手段は、更に、
前記特定手段により特定された撮像位置及び撮像日時のうちの少なくとも一方と対応付けられている画像情報を検索することを特徴とする請求項3に記載の検索装置。
【請求項5】
前記イベント関連情報は、前記イベント位置情報或いは前記イベント日時情報と比較して前記撮像関連情報との関連性が低く、撮像以外のイベントに特有のイベント特有関連情報を含み、
前記特定手段は、更に、
前記画像情報を検索対象とする前記検索条件として、前記入力手段により前記イベント特有関連情報が入力されると、当該イベント特有関連情報と関連するイベント情報を前記第2記録手段に記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定することを特徴とする請求項3又は4に記載の検索装置。
【請求項6】
前記特定手段は、
前記イベント情報を検索対象として検索する場合に、前記入力手段により前記検索条件としてイベント関連情報以外の他の情報が入力されると、当該他の情報と関連する画像情報を前記第1記録手段に記録されている画像情報の中から検索し、この検索された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定し、
前記検索手段は、更に、
前記第2記録手段に記録されているイベント情報の中で、前記入力手段により入力されたイベント関連情報或いは前記特定手段により特定されたイベント関連情報と対応付けられているイベント情報を検索することを特徴とする請求項3に記載の検索装置。
【請求項7】
前記検索手段は、更に、
前記イベント情報を検索対象とする検索条件として、前記入力手段により前記イベント関連情報が入力された場合には、前記第2記録手段に記録されているイベント情報の中で、前記入力手段により入力されたイベント関連情報と対応付けられているイベント情報を検索する一方で、前記入力手段により前記イベント関連情報以外の他の情報が入力された場合には、前記第2記録手段に記録されているイベント情報の中で、前記特定手段により特定されたイベント関連情報と対応付けられているイベント情報を検索することを特徴とする請求項6に記載の検索装置。
【請求項8】
前記特定手段は、更に、
前記入力手段により前記検索条件としてイベント関連情報以外の他の情報が入力された場合に、前記第1記録手段に記録されている画像情報の中から検索された画像情報と対応付けられている前記撮像位置情報及び前記撮像日時情報のうちの少なくとも一方の情報に基づいて、画像の撮像位置に関連するイベントの発生位置及び画像の撮像日時に関連するイベントの発生日時のうちの少なくとも一方を特定し、
前記検索手段は、更に、
前記特定手段により特定されたイベントの発生位置及びイベントの発生日時のうちの少なくとも一方と対応付けられているイベント情報を検索することを特徴とする請求項6又は7に記載の検索装置。
【請求項9】
前記特定手段は、更に、
前記イベント情報を検索対象として検索する場合に、前記入力手段により前記検索条件として画像情報を指定する指定情報が入力されると、当該指定情報で指定された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定することを特徴とする請求項6〜8の何れか一項に記載の検索装置。
【請求項10】
前記特定手段は、更に、
前記第1記録手段に記録されている画像情報の中から検索された、前記指定情報で指定された画像情報と対応付けられている前記撮像位置情報及び前記撮像日時情報のうちの少なくとも一方の情報に基づいて、画像の撮像位置に関連するイベントの発生位置及び画像の撮像日時に関連するイベントの発生日時のうちの少なくとも一方を特定し、
前記検索手段は、更に、
前記特定手段により特定されたイベントの発生位置及び発生日時のうちの少なくとも一方と対応付けられているイベント情報を検索することを特徴とする請求項9に記載の検索装置。
【請求項11】
前記特定手段は、更に、
前記イベント情報を検索対象として検索する場合に、前記入力手段により前記検索条件として前記イベント関連情報、画像情報を指定する指定情報及び前記撮像関連情報以外の情報が入力されると、当該情報と関連する被写体が含まれる画像情報を前記第1記録手段に記録されている画像情報の中から検索し、この検索された画像情報と対応付けられている前記撮像位置情報及び前記撮像日時情報のうちの少なくとも一方の情報に基づいて、画像の撮像位置に関連するイベントの発生位置及び画像の撮像日時に関連するイベントの発生日時のうちの少なくとも一方を特定し、
前記検索手段は、更に、
前記特定手段により特定されたイベントの発生位置及び発生日時のうちの少なくとも一方と対応付けられているイベント情報を検索することを特徴とする請求項6〜8の何れか一項に記載の検索装置。
【請求項12】
前記撮像関連情報は、前記撮像位置情報或いは前記撮像日時情報と比較してイベント関連情報との関連性が低く、画像の撮像に特有の撮像特有関連情報を含み、
前記特定手段は、更に、
前記イベント情報を検索対象とする前記検索条件として、前記入力手段により前記撮像特有関連情報が入力されると、前記第1記録手段に記録されている画像情報の中で、前記撮像特有関連情報と関連する画像情報を検索し、この検索された画像情報と対応付けられている撮像関連情報と関連するイベント関連情報を特定することを特徴とする請求項6〜11の何れか一項に記載の検索装置。
【請求項13】
前記イベントは、ユーザによる操作入力部の所定の実行指示操作に基づいて実行される動作に関連した操作イベントを含み、
前記第2記録手段は、更に、
前記操作イベントの発生に基づいて、当該操作イベントに関連するイベント関連情報を取得して記録することを特徴とする請求項1〜12の何れか一項に記載の検索装置。
【請求項14】
前記イベント関連情報は、前記操作イベントとしての通話の実行操作及び当該通話相手に関連するキーワード、前記操作イベントとしての通信の実行操作及び当該通信相手に関連するキーワード、前記操作イベントとしてのスケジュールの入力操作及び当該スケジュールの内容に含まれるキーワード、前記操作イベントとしての文書の入力操作及び当該文書に関連するキーワードのうち、少なくとも一のキーワードを含むことを特徴とする請求項13に記載の検索装置。
【請求項15】
前記イベントは、ユーザによる操作入力部の所定の実行指示操作を必要とすることなく実行される動作に関連した操作不要イベントを含み、
前記操作不要イベントが発生したか否かを判定する判定手段を更に備え、
前記第2記録手段は、更に、
前記判定手段により前記操作不要イベントが発生したと判定されると、当該操作不要イベントに関連するイベント関連情報を取得して記録することを特徴とする請求項1〜12の何れか一項に記載の検索装置。
【請求項16】
前記判定手段は、更に、
前記操作不要イベントが発生したか否かを、所定のタイミングで前記撮像手段により撮像された画像の画像情報から所定の種類の被写体が検出されたか否かに応じて判定し、
前記第2記録手段は、更に、
前記判定手段により前記操作不要イベントが発生したと判定されると、検出された被写体の種類を前記イベント関連情報として取得して記録することを特徴とする請求項15に記載の検索装置。
【請求項17】
前記判定手段は、更に、
前記操作不要イベントが発生したか否かを、所定のタイミングで集音手段により集音された音情報から特定の言葉が検出されたか否かに応じて判定し、
前記第2記録手段は、更に、
前記判定手段により前記操作不要イベントが発生したと判定されると、検出された特定の言葉を前記イベント関連情報として取得して記録することを特徴とする請求項15に記載の検索装置。
【請求項18】
前記判定手段は、更に、
前記操作不要イベントが発生したか否かを、所定のタイミングで測位手段により測位された当該装置本体の存する現在位置に基づいて特定の場所が検出されたか否かに応じて判定し、
前記第2記録手段は、更に、
前記判定手段により前記操作不要イベントが発生したと判定されると、検出された特定の場所に関連する名称を前記イベント関連情報として取得して記録することを特徴とする請求項15に記載の検索装置。
【請求項19】
前記判定手段は、更に、
前記操作不要イベントが発生したか否かを、動き検出手段により自動的に検出された動き情報に基づいて所定の種類の動きが検出されたか否かに応じて判定し、
前記第2記録手段は、更に、
前記判定手段により前記操作不要イベントが発生したと判定されると、検出された所定の動きの種類を前記イベント関連情報として取得して記録することを特徴とする請求項15に記載の検索装置。
【請求項20】
撮像手段により撮像された画像の画像情報を、当該画像の撮像に関連する撮像関連情報と対応付けて少なくとも一つ記録する第1記録手段と、前記撮像手段による画像の撮像指示タイミングとは非同期のタイミングで発生する当該画像の撮像以外のイベントに係るイベント情報を、当該イベントの発生に関連するイベント関連情報と対応付けて少なくとも一つ記録する第2記録手段と、を備える検索装置を用いた検索方法であって、
検索対象を検索するための検索条件を入力する処理と、
前記画像情報を検索対象として検索する場合に、前記検索条件として前記撮像関連情報以外の他の情報が入力されると、当該他の情報と関連するイベント情報を前記第2記録手段に記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定する処理と、
前記第1記録手段に記録されている画像情報の中で、前記入力手段により入力された撮像関連情報或いは特定された撮像関連情報と対応付けられている画像情報を検索する処理と、
前記検索対象の検索結果を出力する処理と、
を含むことを特徴とする検索方法。
【請求項21】
撮像手段により撮像された画像の画像情報を、当該画像の撮像に関連する撮像関連情報と対応付けて少なくとも一つ記録する第1記録手段と、前記撮像手段による画像の撮像指示タイミングとは非同期のタイミングで発生する当該画像の撮像以外のイベントに係るイベント情報を、当該イベントの発生に関連するイベント関連情報と対応付けて少なくとも一つ記録する第2記録手段と、を備える検索装置のコンピュータを、
検索対象を検索するための検索条件を入力する入力手段、
前記画像情報を検索対象として検索する場合に、前記入力手段により前記検索条件として前記撮像関連情報以外の他の情報が入力されると、当該他の情報と関連するイベント情報を前記第2記録手段に記録されているイベント情報の中から検索し、この検索されたイベント情報と対応付けられているイベント関連情報と関連する撮像関連情報を特定する特定手段、
前記第1記録手段に記録されている画像情報の中で、前記入力手段により入力された撮像関連情報或いは前記特定手段により特定された撮像関連情報と対応付けられている画像情報を検索する検索手段、
この検索手段による前記検索対象の検索結果を出力する出力手段、
として機能させることを特徴とするプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate


【公開番号】特開2012−221265(P2012−221265A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−86910(P2011−86910)
【出願日】平成23年4月11日(2011.4.11)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.GSM
【出願人】(000001443)カシオ計算機株式会社 (8,748)
【Fターム(参考)】