データ検索装置
【課題】アノテーション情報を頼りに情報検索するシステムにおいて、アノテーション情報が付与されていない情報を検索対象とする。
【解決手段】データに関連付けられた音声データを音声認識した結果である音声認識結果アノテーション及び入力された検索条件に基づいて前記データを検索し、前記音声認識結果アノテーションが関連付けられていないデータであって、前記検索手段で検索されたデータと関連するデータについて、検索されたデータとは識別して表示する。
【解決手段】データに関連付けられた音声データを音声認識した結果である音声認識結果アノテーション及び入力された検索条件に基づいて前記データを検索し、前記音声認識結果アノテーションが関連付けられていないデータであって、前記検索手段で検索されたデータと関連するデータについて、検索されたデータとは識別して表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像や文書などのデータに関連付けられたアノテーション情報を用いてデータを検索する装置に関する。
【背景技術】
【０００２】
デジタルカメラなどの普及により、個人が所有する画像の量が増えてきている。画像が増えるにつれ、所望の画像を見つけることが困難になる。そこで、大量の画像の中から効率よく所望の画像を検索する装置が必要になる。
【０００３】
従来、音声認識を用いて検索する方法が提案されている。特許文献１では、まずユーザは画像に音声データを付加する。例えば富士山で撮った画像に「ふじさん」という音声データを付加する。これはデジタルカメラなどの音声録音機能で実現できる。次に、音声データを音声認識し、結果を音声認識結果アノテーションとして画像に関連付ける。先の例では富士山で撮った画像に、「富士山（かな漢字）」、「ふじさん（読み）」、「ｆｕｊｉｓａｎ（音素列）」などの文字列が音声認識結果アノテーションとして関連付けられる。検索は、検索条件として文字列を入力し、音声認識結果アノテーションと検索条件の文字列を比較し行なう。
【０００４】
また、時刻情報を用いて検索する方法が提案されている。特許文献２では、キーとなる画像と似た画像を検索するための条件の１つとして時刻情報を用いる。これは似た画像は時刻情報が近いことを利用している。例えば、ある運動会で撮影した画像はすべて同じ日付となる。
【０００５】
また、フォルダの表示を工夫して検索する方法が提案されている。特許文献３では、フォルダに格納されている画像から複数枚の画像を選択し、フォルダの代表画像として表示する。ユーザはフォルダの代表画像を見ることで、そのフォルダに格納されている画像をある程度推測することが可能になる。
【特許文献１】特開２００３−２１９３２７号公報
【特許文献２】特開２０００−２７６４８４号公報
【特許文献３】特開２０００−７６２８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１では、音声認識結果アノテーションが関連付けられていない画像を検索できない。
【０００７】
また特許文献２には、時間的に離れた画像を同時に検索できないという問題がある。例えば、毎年行なわれている運動会の画像を検索する場合、選択したキーとなる画像と同じ年に行なわれた運動会（時刻情報が近い）の画像が検索され、他の年の運動会の画像が検索されない。
【０００８】
特許文献３には、フォルダの代表画像が常に一定であるという問題点がある。富士山の写真を検索する場合も、家族の写真を検索する場合も代表画像が同じであり、検索効率が落ちる。
【課題を解決するための手段】
【０００９】
上記の問題点を解決するために本発明によるデータ検索方法では、受信した検索条件と前記データに関連付けられたアノテーション情報に基づいて、前記データを検索する検索工程と、前記アノテーション情報が関連付けられていないデータであって、前記検索工程で検索されたデータと関連するデータについて、前記検索工程で検索されたデータとは識別して表示するよう制御する表示制御工程とを備えたことを特徴とする。
【発明の効果】
【００１０】
以上説明したように本発明のデータ検索装置では、アノテーション情報が関連付けられていないデータを検索することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して、本発明に係るデータ検索方法の好適な実施形態について説明する。
【００１２】
（実施形態１）
図１は、本発明の一実施例に係るデータ検索装置の構成を説明するブロック図である。本実施例ではデータの例として画像を取り扱い、アノテーション情報の例として音声認識結果アノテーションを用いた場合について説明する。１０１は、検索対象の画像を格納する画像データベースである。この画像データベースは本データ検索装置内に置く構成としてもよいし、ネットワークでつながれた他の装置にあるものを使う構成としてもよい。１０２は、音声認識結果アノテーションと入力された検索条件に基づいて画像を検索する検索手段である。１０３は、音声認識結果アノテーションが関連付けられていない画像であって検索された画像に関連する画像を、検索された画像と識別して表示する表示制御手段である。
【００１３】
図４は、画像データベース１０１を説明する図である。４０１は、画像である。４０２は、画像に関連付けられた音声データである。４０３は、画像に関連付けられた音声認識結果アノテーションである。
【００１４】
図に示したとおり、画像の中には音声認識結果アノテーションが関連付けられている画像と関連付けられていない画像がある。また、各画像は画像が作成された日付などの時刻情報を保持する。管理構造はどのようなものでもよく、１つのフォルダにすべての画像を格納する構造でもよいし、フォルダの階層構造となっていてもよい。
【００１５】
図２は、本発明の一実施例に係るデータ検索装置の処理手順を説明するフローチャートである。
【００１６】
Ｓ２０１で、検索条件となる検索文字列を入力する。言語処理技術を用いて、この検索文字列を読みや音素列に変換してもよい。入力された検索文字列をそのまま使うか、読みや音素列に変換するかは、音声認識結果アノテーションの文字列の仕様に合わせて決める。つまり、音声認識結果アノテーションが読みを使っている場合は読みに変換し、音素列を使っている場合は音素列に変換する。
【００１７】
Ｓ２０２で、画像データベースから音声認識結果アノテーションが関連付けられた画像を１枚取り出す。Ｓ２０３で、Ｓ２０２で取り出した画像に関連付けられた音声認識結果アノテーションと検索文字列の類似度を計算する。この類似度の計算はＤＰマッチングなどの手法を用いる。Ｓ２０４で、音声認識結果アノテーションが関連付けられた画像をすべて処理したか否かを判定する。すべて処理した場合はＳ２０５へ進み、未処理の画像が残っている場合はＳ２０２へ戻る。
【００１８】
Ｓ２０５で、Ｓ２０３で計算した類似度の高いものから上位Ｎ枚の画像を検索された画像とする。
【００１９】
Ｓ２０６で、画像データベースから音声認識結果アノテーションが関連付けられていない画像を１枚取り出す。Ｓ２０７で、Ｓ２０６で取り出した画像の時刻情報の±Ｔ時間以内の時刻情報を持つすべての検索された画像に、Ｓ２０６で取り出した画像を関連付ける。Ｓ２０８で、音声認識結果アノテーションが関連付けられていない画像をすべて処理したか否かを判定する。すべて処理した場合はＳ２０９に進み、未処理の画像が残っている場合はＳ２０６へ戻る。
【００２０】
Ｓ２０９で、検索された画像を類似度順に表示する。図５に例を示す。Ｓ２１０で、検索終了の指示があるか否かを判定する。指示がある場合は処理を終了し、指示がない場合はＳ２１１へ進む。例えば、検索された画像を表示しているウィンドウを閉じる動作を、検索終了の指示とする。
【００２１】
Ｓ２１１で、検索された画像に関連する画像を表示する指示があるか否かを判定する。指示がある場合はＳ２１２に進み、指示がない場合はＳ２１０に戻る。例えば、検索された画像を選択する動作を、表示の指示とする。Ｓ２１２で、検索された画像に関連する画像を表示する。例えば、類似度が３位の画像が選択された場合、Ｓ２０７で、類似度が３位の画像に関連付けられた画像を別ウィンドウに表示する。図６に例を示す。
【００２２】
（実施形態２）
図３は、本発明の一実施例に係るデータ検索装置の処理手順を説明するフローチャートである。Ｓ２０１〜Ｓ２０５は、図２のＳ２０１〜Ｓ２０５と同じ処理を行なう。
【００２３】
Ｓ３０１で、変数ｉに０を代入する。Ｓ３０２で、変数ｉの値に１を加える。
【００２４】
Ｓ３０３で、変数ｉがＮ以下であるか否かを判定する。Ｎ以下の場合はＳ３０４へ進み、Ｎより大きい場合は処理を終了する。
【００２５】
Ｓ３０４で、類似度がｉ番目の画像が表示済みであるか否かを判定する。表示済みの場合はＳ３０２へ戻り、未表示の場合はＳ３０５へ進む。Ｓ３０５で、類似度がｉ番目の画像を新しい行の左端に表示し、類似度がｉ番目の画像に表示済みのマークを加える。Ｓ３０６で、変数ｊに変数ｉの値を代入する。Ｓ３０７で、変数ｊの値に１を加える。Ｓ３０８で、変数ｊがＮ以下であるか否かを判定する。Ｎ以下の場合はＳ３０９へ進み、Ｎより大きい場合はＳ３１２へ進む。
【００２６】
Ｓ３０９で、類似度がｊ番目の画像が、類似度がｉ番目の画像と同じフォルダに格納されているか否かを判定する。同じフォルダに格納されている場合はＳ３１０へ進み、異なるフォルダに格納されている場合はＳ３０７へ戻る。
【００２７】
Ｓ３１０で、類似度がｊ番目の画像が表示済みであるか否かを判定する。表示済みの場合はＳ３０７へ戻り、未表示の場合はＳ３１１へ進む。Ｓ３１１で、類似度がｊ番目の画像を類似度がｉ番目の画像と同じ行に左詰めで表示し、類似度がｊ番目の画像に表示済みのマークを加える。
【００２８】
Ｓ３１２で、音声認識結果アノテーションが関連付けられていない画像であって、類似度がｉ番目の画像と同一フォルダに格納されている画像を適当に選択し、類似度がｉ番目の画像と同じ行に左詰で表示する。
【００２９】
ここで、音声認識結果アノテーションが関連付けられていない画像の選択は、フォルダの中からランダムに選択してもよいし、時刻情報が等間隔になるように選択してもよい。
【００３０】
また、音声認識結果アノテーションが関連付けられていない画像の選択枚数は、一定枚数としてもよいし、検索された画像との和を一定枚数としてもよいし、フォルダに含まれる画像の枚数に比例させてもよい。
【００３１】
また、表示する画像のサイズを変更したり、画像枠の色を変更するなど、音声認識結果アノテーションが関連付けられていない画像を、検索された画像と識別できるように表示する。
【００３２】
図７は、図３の処理で表示される画像の例を説明する図である。同じ行に表示される画像は同一フォルダに格納されている画像である。図中の数字は類似度の順位を示し、同一フォルダの画像は類似度の高いものほど左側に表示される。また、検索された画像の枚数と、音声認識結果アノテーションが関連付けられていない画像の枚数の和が一定になるように表示している。
【００３３】
（実施形態３）
Ｓ２０７において、Ｓ２０６で取り出した画像の時刻情報と最も近い時刻情報を持つ検索された画像に、Ｓ２０６で取り出した画像を関連付けてもよい。
【００３４】
（実施形態４）
Ｓ２０７において、Ｓ２０６で取り出した画像の時刻情報の±Ｔ時間以内の時刻情報を持ち、かつ最も前の時刻情報を持つ、検索された画像に、Ｓ２０６で取り出した画像を関連付けてもよい。
【００３５】
（実施形態５）
Ｓ２０７において、画像に撮影条件を加え、Ｓ２０６で取り出した画像の時刻情報の±Ｔ時間以内の時刻情報を持ち、最も撮影条件の近い検索された画像に、Ｓ２０６で取り出した画像を関連付けてもよい。
【００３６】
（実施形態６）
Ｓ２０６〜Ｓ２０８で、音声認識結果アノテーションが関連付けられていない画像を、検索された画像に関連付けるが、あらかじめ、時刻情報を用いて、音声認識結果アノテーションが関連付けられていない画像を音声認識結果アノテーションが関連付けられた画像に関連付けておいてもよい。
【００３７】
この場合、検索時にＳ２０６〜Ｓ２０８の処理を省ける。また、時刻情報を用いて関連付ける方法はＳ２０７と同じ方法が使える。
【００３８】
（実施形態７）
上記実施例では画像について説明したが、これに限らず、例えば複写機やスキャナで読み込んだ文書データに、音声データを加え、利用することも可能である。
【００３９】
（その他の実施形態）
なお、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００４０】
この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００４１】
プログラムコードを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤーＲＯＭ、ＣＤーＲ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００４２】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４３】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施例にかかるデータ検索装置の構成を説明するブロック図である。
【図２】本発明の一実施例にかかるデータ検索装置の処理手順を説明するフローチャートである。
【図３】本発明の一実施例にかかるデータ検索装置の処理手順を説明するフローチャートである。
【図４】画像データベース１０１を説明する図である。
【図５】検索された画像の表示例である。
【図６】音声認識結果アノテーションが関連付けられていないデータであって、検索された画像に関連する画像の表示例である。
【図７】音声認識結果アノテーションが関連付けられていないデータであって、検索された画像と同じフォルダに格納されている画像の表示例である。
【符号の説明】
【００４５】
１０１ 画像データベース
１０２ 検索手段
１０３ 表示制御手段
【技術分野】
【０００１】
本発明は、画像や文書などのデータに関連付けられたアノテーション情報を用いてデータを検索する装置に関する。
【背景技術】
【０００２】
デジタルカメラなどの普及により、個人が所有する画像の量が増えてきている。画像が増えるにつれ、所望の画像を見つけることが困難になる。そこで、大量の画像の中から効率よく所望の画像を検索する装置が必要になる。
【０００３】
従来、音声認識を用いて検索する方法が提案されている。特許文献１では、まずユーザは画像に音声データを付加する。例えば富士山で撮った画像に「ふじさん」という音声データを付加する。これはデジタルカメラなどの音声録音機能で実現できる。次に、音声データを音声認識し、結果を音声認識結果アノテーションとして画像に関連付ける。先の例では富士山で撮った画像に、「富士山（かな漢字）」、「ふじさん（読み）」、「ｆｕｊｉｓａｎ（音素列）」などの文字列が音声認識結果アノテーションとして関連付けられる。検索は、検索条件として文字列を入力し、音声認識結果アノテーションと検索条件の文字列を比較し行なう。
【０００４】
また、時刻情報を用いて検索する方法が提案されている。特許文献２では、キーとなる画像と似た画像を検索するための条件の１つとして時刻情報を用いる。これは似た画像は時刻情報が近いことを利用している。例えば、ある運動会で撮影した画像はすべて同じ日付となる。
【０００５】
また、フォルダの表示を工夫して検索する方法が提案されている。特許文献３では、フォルダに格納されている画像から複数枚の画像を選択し、フォルダの代表画像として表示する。ユーザはフォルダの代表画像を見ることで、そのフォルダに格納されている画像をある程度推測することが可能になる。
【特許文献１】特開２００３−２１９３２７号公報
【特許文献２】特開２０００−２７６４８４号公報
【特許文献３】特開２０００−７６２８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
特許文献１では、音声認識結果アノテーションが関連付けられていない画像を検索できない。
【０００７】
また特許文献２には、時間的に離れた画像を同時に検索できないという問題がある。例えば、毎年行なわれている運動会の画像を検索する場合、選択したキーとなる画像と同じ年に行なわれた運動会（時刻情報が近い）の画像が検索され、他の年の運動会の画像が検索されない。
【０００８】
特許文献３には、フォルダの代表画像が常に一定であるという問題点がある。富士山の写真を検索する場合も、家族の写真を検索する場合も代表画像が同じであり、検索効率が落ちる。
【課題を解決するための手段】
【０００９】
上記の問題点を解決するために本発明によるデータ検索方法では、受信した検索条件と前記データに関連付けられたアノテーション情報に基づいて、前記データを検索する検索工程と、前記アノテーション情報が関連付けられていないデータであって、前記検索工程で検索されたデータと関連するデータについて、前記検索工程で検索されたデータとは識別して表示するよう制御する表示制御工程とを備えたことを特徴とする。
【発明の効果】
【００１０】
以上説明したように本発明のデータ検索装置では、アノテーション情報が関連付けられていないデータを検索することができる。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して、本発明に係るデータ検索方法の好適な実施形態について説明する。
【００１２】
（実施形態１）
図１は、本発明の一実施例に係るデータ検索装置の構成を説明するブロック図である。本実施例ではデータの例として画像を取り扱い、アノテーション情報の例として音声認識結果アノテーションを用いた場合について説明する。１０１は、検索対象の画像を格納する画像データベースである。この画像データベースは本データ検索装置内に置く構成としてもよいし、ネットワークでつながれた他の装置にあるものを使う構成としてもよい。１０２は、音声認識結果アノテーションと入力された検索条件に基づいて画像を検索する検索手段である。１０３は、音声認識結果アノテーションが関連付けられていない画像であって検索された画像に関連する画像を、検索された画像と識別して表示する表示制御手段である。
【００１３】
図４は、画像データベース１０１を説明する図である。４０１は、画像である。４０２は、画像に関連付けられた音声データである。４０３は、画像に関連付けられた音声認識結果アノテーションである。
【００１４】
図に示したとおり、画像の中には音声認識結果アノテーションが関連付けられている画像と関連付けられていない画像がある。また、各画像は画像が作成された日付などの時刻情報を保持する。管理構造はどのようなものでもよく、１つのフォルダにすべての画像を格納する構造でもよいし、フォルダの階層構造となっていてもよい。
【００１５】
図２は、本発明の一実施例に係るデータ検索装置の処理手順を説明するフローチャートである。
【００１６】
Ｓ２０１で、検索条件となる検索文字列を入力する。言語処理技術を用いて、この検索文字列を読みや音素列に変換してもよい。入力された検索文字列をそのまま使うか、読みや音素列に変換するかは、音声認識結果アノテーションの文字列の仕様に合わせて決める。つまり、音声認識結果アノテーションが読みを使っている場合は読みに変換し、音素列を使っている場合は音素列に変換する。
【００１７】
Ｓ２０２で、画像データベースから音声認識結果アノテーションが関連付けられた画像を１枚取り出す。Ｓ２０３で、Ｓ２０２で取り出した画像に関連付けられた音声認識結果アノテーションと検索文字列の類似度を計算する。この類似度の計算はＤＰマッチングなどの手法を用いる。Ｓ２０４で、音声認識結果アノテーションが関連付けられた画像をすべて処理したか否かを判定する。すべて処理した場合はＳ２０５へ進み、未処理の画像が残っている場合はＳ２０２へ戻る。
【００１８】
Ｓ２０５で、Ｓ２０３で計算した類似度の高いものから上位Ｎ枚の画像を検索された画像とする。
【００１９】
Ｓ２０６で、画像データベースから音声認識結果アノテーションが関連付けられていない画像を１枚取り出す。Ｓ２０７で、Ｓ２０６で取り出した画像の時刻情報の±Ｔ時間以内の時刻情報を持つすべての検索された画像に、Ｓ２０６で取り出した画像を関連付ける。Ｓ２０８で、音声認識結果アノテーションが関連付けられていない画像をすべて処理したか否かを判定する。すべて処理した場合はＳ２０９に進み、未処理の画像が残っている場合はＳ２０６へ戻る。
【００２０】
Ｓ２０９で、検索された画像を類似度順に表示する。図５に例を示す。Ｓ２１０で、検索終了の指示があるか否かを判定する。指示がある場合は処理を終了し、指示がない場合はＳ２１１へ進む。例えば、検索された画像を表示しているウィンドウを閉じる動作を、検索終了の指示とする。
【００２１】
Ｓ２１１で、検索された画像に関連する画像を表示する指示があるか否かを判定する。指示がある場合はＳ２１２に進み、指示がない場合はＳ２１０に戻る。例えば、検索された画像を選択する動作を、表示の指示とする。Ｓ２１２で、検索された画像に関連する画像を表示する。例えば、類似度が３位の画像が選択された場合、Ｓ２０７で、類似度が３位の画像に関連付けられた画像を別ウィンドウに表示する。図６に例を示す。
【００２２】
（実施形態２）
図３は、本発明の一実施例に係るデータ検索装置の処理手順を説明するフローチャートである。Ｓ２０１〜Ｓ２０５は、図２のＳ２０１〜Ｓ２０５と同じ処理を行なう。
【００２３】
Ｓ３０１で、変数ｉに０を代入する。Ｓ３０２で、変数ｉの値に１を加える。
【００２４】
Ｓ３０３で、変数ｉがＮ以下であるか否かを判定する。Ｎ以下の場合はＳ３０４へ進み、Ｎより大きい場合は処理を終了する。
【００２５】
Ｓ３０４で、類似度がｉ番目の画像が表示済みであるか否かを判定する。表示済みの場合はＳ３０２へ戻り、未表示の場合はＳ３０５へ進む。Ｓ３０５で、類似度がｉ番目の画像を新しい行の左端に表示し、類似度がｉ番目の画像に表示済みのマークを加える。Ｓ３０６で、変数ｊに変数ｉの値を代入する。Ｓ３０７で、変数ｊの値に１を加える。Ｓ３０８で、変数ｊがＮ以下であるか否かを判定する。Ｎ以下の場合はＳ３０９へ進み、Ｎより大きい場合はＳ３１２へ進む。
【００２６】
Ｓ３０９で、類似度がｊ番目の画像が、類似度がｉ番目の画像と同じフォルダに格納されているか否かを判定する。同じフォルダに格納されている場合はＳ３１０へ進み、異なるフォルダに格納されている場合はＳ３０７へ戻る。
【００２７】
Ｓ３１０で、類似度がｊ番目の画像が表示済みであるか否かを判定する。表示済みの場合はＳ３０７へ戻り、未表示の場合はＳ３１１へ進む。Ｓ３１１で、類似度がｊ番目の画像を類似度がｉ番目の画像と同じ行に左詰めで表示し、類似度がｊ番目の画像に表示済みのマークを加える。
【００２８】
Ｓ３１２で、音声認識結果アノテーションが関連付けられていない画像であって、類似度がｉ番目の画像と同一フォルダに格納されている画像を適当に選択し、類似度がｉ番目の画像と同じ行に左詰で表示する。
【００２９】
ここで、音声認識結果アノテーションが関連付けられていない画像の選択は、フォルダの中からランダムに選択してもよいし、時刻情報が等間隔になるように選択してもよい。
【００３０】
また、音声認識結果アノテーションが関連付けられていない画像の選択枚数は、一定枚数としてもよいし、検索された画像との和を一定枚数としてもよいし、フォルダに含まれる画像の枚数に比例させてもよい。
【００３１】
また、表示する画像のサイズを変更したり、画像枠の色を変更するなど、音声認識結果アノテーションが関連付けられていない画像を、検索された画像と識別できるように表示する。
【００３２】
図７は、図３の処理で表示される画像の例を説明する図である。同じ行に表示される画像は同一フォルダに格納されている画像である。図中の数字は類似度の順位を示し、同一フォルダの画像は類似度の高いものほど左側に表示される。また、検索された画像の枚数と、音声認識結果アノテーションが関連付けられていない画像の枚数の和が一定になるように表示している。
【００３３】
（実施形態３）
Ｓ２０７において、Ｓ２０６で取り出した画像の時刻情報と最も近い時刻情報を持つ検索された画像に、Ｓ２０６で取り出した画像を関連付けてもよい。
【００３４】
（実施形態４）
Ｓ２０７において、Ｓ２０６で取り出した画像の時刻情報の±Ｔ時間以内の時刻情報を持ち、かつ最も前の時刻情報を持つ、検索された画像に、Ｓ２０６で取り出した画像を関連付けてもよい。
【００３５】
（実施形態５）
Ｓ２０７において、画像に撮影条件を加え、Ｓ２０６で取り出した画像の時刻情報の±Ｔ時間以内の時刻情報を持ち、最も撮影条件の近い検索された画像に、Ｓ２０６で取り出した画像を関連付けてもよい。
【００３６】
（実施形態６）
Ｓ２０６〜Ｓ２０８で、音声認識結果アノテーションが関連付けられていない画像を、検索された画像に関連付けるが、あらかじめ、時刻情報を用いて、音声認識結果アノテーションが関連付けられていない画像を音声認識結果アノテーションが関連付けられた画像に関連付けておいてもよい。
【００３７】
この場合、検索時にＳ２０６〜Ｓ２０８の処理を省ける。また、時刻情報を用いて関連付ける方法はＳ２０７と同じ方法が使える。
【００３８】
（実施形態７）
上記実施例では画像について説明したが、これに限らず、例えば複写機やスキャナで読み込んだ文書データに、音声データを加え、利用することも可能である。
【００３９】
（その他の実施形態）
なお、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。前述した実施形態の機能を実現するソフトウエアのプログラムコードを記録した記録媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００４０】
この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００４１】
プログラムコードを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤーＲＯＭ、ＣＤーＲ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【００４２】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４３】
更に、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００４４】
【図１】本発明の一実施例にかかるデータ検索装置の構成を説明するブロック図である。
【図２】本発明の一実施例にかかるデータ検索装置の処理手順を説明するフローチャートである。
【図３】本発明の一実施例にかかるデータ検索装置の処理手順を説明するフローチャートである。
【図４】画像データベース１０１を説明する図である。
【図５】検索された画像の表示例である。
【図６】音声認識結果アノテーションが関連付けられていないデータであって、検索された画像に関連する画像の表示例である。
【図７】音声認識結果アノテーションが関連付けられていないデータであって、検索された画像と同じフォルダに格納されている画像の表示例である。
【符号の説明】
【００４５】
１０１ 画像データベース
１０２ 検索手段
１０３ 表示制御手段
【特許請求の範囲】
【請求項１】
データを検索するデータ検索方法であって、
受信した検索条件と前記データに関連付けられたアノテーション情報に基づいて、前記データを検索する検索工程と、
前記アノテーション情報が関連付けられていないデータであって、前記検索工程で検索されたデータと関連するデータについて、前記検索工程で検索されたデータとは識別して表示するよう制御する表示制御工程とを備えたことを特徴とするデータ検索方法。
【請求項２】
前記表示制御工程は、前記検索されたデータが有する時刻情報に基づいて関連するデータを表示するよう制御することを特徴とする請求項１記載のデータ検索方法。
【請求項３】
前記表示制御工程は、前記検索されたデータが有する時刻情報が示す時刻の前後任意時間の時刻情報を有する前記データを前記検索工程で検索されたデータとは識別して表示するよう制御する請求項２記載のデータ検索方法。
【請求項４】
前記表示制御工程は、前記アノテーション情報が関連付けられていないデータであって、前記検索工程で検索されたデータと同一フォルダに格納されているデータについて、前記検索工程で検索されたデータとは識別して表示するよう制御することを特徴とする請求項１記載のデータ検索方法。
【請求項５】
コンピュータに請求項１乃至４記載のデータ検索方法を実行させるための制御プログラム。
【請求項６】
請求項５記載の制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項７】
データを検索するデータ検索装置であって、
受信した検索条件と前記データに関連付けられたアノテーション情報に基づいて、前記データを検索する検索手段と、
前記アノテーション情報が関連付けられていないデータであって、前記検索手段で検索されたデータと関連するデータについて、前記検索手段で検索されたデータとは識別して表示するように制御する表示制御手段とを備えたことを特徴とするデータ検索装置。
【請求項８】
前記表示制御手段は、前記検索されたデータが有する時刻情報に基づいて関連するデータを表示するよう制御することを特徴とする請求項７記載のデータ検索装置。
【請求項９】
前記表示制御手段は、前記検索されたデータが有する時刻情報が示す時刻の前後任意時間の時刻情報を有する前記データを前記検索手段で検索されたデータとは識別して表示するよう制御する請求項８記載のデータ検索装置。
【請求項１０】
前記表示制御手段は、前記アノテーション情報が関連付けられていないデータであって、前記検索手段で検索されたデータと同一フォルダに格納されているデータについて、前記検索手段で検索されたデータとは識別して表示するよう制御することを特徴とする請求項７記載のデータ検索装置。
【請求項１】
データを検索するデータ検索方法であって、
受信した検索条件と前記データに関連付けられたアノテーション情報に基づいて、前記データを検索する検索工程と、
前記アノテーション情報が関連付けられていないデータであって、前記検索工程で検索されたデータと関連するデータについて、前記検索工程で検索されたデータとは識別して表示するよう制御する表示制御工程とを備えたことを特徴とするデータ検索方法。
【請求項２】
前記表示制御工程は、前記検索されたデータが有する時刻情報に基づいて関連するデータを表示するよう制御することを特徴とする請求項１記載のデータ検索方法。
【請求項３】
前記表示制御工程は、前記検索されたデータが有する時刻情報が示す時刻の前後任意時間の時刻情報を有する前記データを前記検索工程で検索されたデータとは識別して表示するよう制御する請求項２記載のデータ検索方法。
【請求項４】
前記表示制御工程は、前記アノテーション情報が関連付けられていないデータであって、前記検索工程で検索されたデータと同一フォルダに格納されているデータについて、前記検索工程で検索されたデータとは識別して表示するよう制御することを特徴とする請求項１記載のデータ検索方法。
【請求項５】
コンピュータに請求項１乃至４記載のデータ検索方法を実行させるための制御プログラム。
【請求項６】
請求項５記載の制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項７】
データを検索するデータ検索装置であって、
受信した検索条件と前記データに関連付けられたアノテーション情報に基づいて、前記データを検索する検索手段と、
前記アノテーション情報が関連付けられていないデータであって、前記検索手段で検索されたデータと関連するデータについて、前記検索手段で検索されたデータとは識別して表示するように制御する表示制御手段とを備えたことを特徴とするデータ検索装置。
【請求項８】
前記表示制御手段は、前記検索されたデータが有する時刻情報に基づいて関連するデータを表示するよう制御することを特徴とする請求項７記載のデータ検索装置。
【請求項９】
前記表示制御手段は、前記検索されたデータが有する時刻情報が示す時刻の前後任意時間の時刻情報を有する前記データを前記検索手段で検索されたデータとは識別して表示するよう制御する請求項８記載のデータ検索装置。
【請求項１０】
前記表示制御手段は、前記アノテーション情報が関連付けられていないデータであって、前記検索手段で検索されたデータと同一フォルダに格納されているデータについて、前記検索手段で検索されたデータとは識別して表示するよう制御することを特徴とする請求項７記載のデータ検索装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−１０７１１０（Ｐ２００６−１０７１１０Ａ）
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願番号】特願２００４−２９２６０８（Ｐ２００４−２９２６０８）
【出願日】平成１６年１０月５日（２００４．１０．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願日】平成１６年１０月５日（２００４．１０．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]