情報管理装置及び情報管理方法
【課題】 アノテーション情報を頼りに情報検索するシステムにおいて、アノテーション情報が付いていない情報は検索対象とすることができなかった。そこで、アノテーション情報が付いていない情報は、アノテーション情報付き情報の関連情報とすることで、検索結果として提示する。
【解決手段】 入力された検索条件及び検索対象情報に関連付けられたアノテーション情報に基づいて、検索対象情報を検索し、検索された検索対象情報毎に、前記検索対象情報が格納された格納手段から関連情報を抽出し、抽出された情報とその関連情報を関連付けてユーザに提示する。
【解決手段】 入力された検索条件及び検索対象情報に関連付けられたアノテーション情報に基づいて、検索対象情報を検索し、検索された検索対象情報毎に、前記検索対象情報が格納された格納手段から関連情報を抽出し、抽出された情報とその関連情報を関連付けてユーザに提示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報を検索するための情報管理装置、情報管理方法に関するものである。
【背景技術】
【０００２】
昨今、デジタルカメラ等の普及が著しい。ユーザは、デジタルカメラのような携帯型撮像装置により撮像したデジタル画像を、ＰＣやサーバ等で管理することが一般的である。例えば撮像した画像を、ＰＣあるいはサーバ上のフォルダ内に整理したり、特定の画像を印刷し、年賀状等に組み込むことが可能である。また、サーバで管理する場合は、一部の画像を他のユーザに公開することも可能である。
【０００３】
このような作業を行う場合には、ユーザの意図する特定の画像を見つけ出すことが必要となる。見つけ出す対象となる画像数が少ない場合は、画像をサムネイル表示し、その一覧から目視で見つけ出すことも可能である。しかし、対象となる画像数が何百となる場合や、対象画像群が複数フォルダに分断されて格納されている場合は、目視で見つけ出すことは困難である。
【０００４】
そこで、撮像装置上で画像に音声アノテーション（音声による注釈）を付け、検索時にその情報を使うことが行われている。例えば携帯型撮像装置により山の画像を撮像し、その画像に対して「箱根の山」と発声する。この音声データは先の画像データと対となって撮像装置内に格納された後、その画像撮像装置内あるいは画像をアップロードしたＰＣ内で音声認識され、“はこねのやま”というテキスト情報に変換される。音声アノテーションデータがテキスト情報に変換されれば、後は一般的なテキスト検索技術で処理することが可能であり、「やま」、「はこね」等のテキスト入力でその画像を検索することができる。
【０００５】
このような音声アノテーションを利用した先行技術に、特許文献１がある。特許文献１では、画像の撮像時あるいは撮像後に注釈となる音声をユーザが入力し、その音声データを既存の音声認識技術を利用して画像検索に利用している。
【０００６】
アノテーション情報を利用した一般的な検索システムでは、アノテーションが付与されていない画像を検索対象とすることができない。しかし、全ての検索対象物にアノテーション情報を付与させることは、ユーザにとって負担が大きい。そのため、アノテーション情報を自動で付けるアプローチや、前後に付けられたアノテーション情報から対象物のアノテーション情報を推定するアプローチが提案されている。
【０００７】
例えば、特許文献２は、撮像装置上で画像にアノテーション情報を付与できるシステムである。ここでは、画像に付与するアノテーション情報を変更しない限り、前の画像に付けたものと同じアノテーション情報が付けられるという実施例が記載されている。
【０００８】
また、特許文献３では、直前に撮像された画像とのタイムラグが少ない場合にだけ、直前の画像からアノテーション情報をコピーする提案がなされている。
【特許文献１】特開２００３−２１９３２７号公報
【特許文献２】特開２００３−２２４７５０号公報
【特許文献３】特開平７−１２１５６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
これらの提案では、アノテーションを付けなかったものに対しても、アノテーション情報のコピーやアノテーション情報へのリンクが付与される。そのため、ユーザの負担を減らすという面では有効である。しかし、これらの処理が撮像時に撮像装置内で行われており、アノテーション情報やそのリンク情報のコピーを撮像装置内のメモリに保持することになるため、メモリ使用効率が低下するという問題があった。また、異なる撮像装置で撮像された画像はアノテーション情報を共有できないという問題もあった。
【課題を解決するための手段】
【００１０】
本発明にかかる情報管理装置は、入力された検索条件及び検索対象情報に関連付けられたアノテーション情報に基づいて、検索対象画像を検索する検索手段と、前記検索手段で検索された検索対象情報毎に、前記検索対象情報が格納された格納手段から関連画像を抽出する抽出手段と、前記検索手段により抽出された画像とその関連画像を関連付けてユーザに提示するよう制御する提示制御手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明により、アノテーションが付いていない情報に関しても、アノテーション情報に基づいた検索を行うことができるようになる。これらのことを行うためには、アノテーション情報が付いていない画像は、一つ前の画像に付いたアノテーション情報をコピーすることが一般的である。しかし本発明では、この処理が必要ないため、撮像装置内での消費メモリの増加を防ぐことができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明に係る情報管理装置の実施の形態について、画像を管理する場合を例にあげて説明する。
【００１３】
（実施例１）
図１は、本実施例の情報管理装置の機能構成図である。本発明の情報管理装置１０１は、制御コマンド発行部１０２、検索文字列入力部１０３、画像出力部１０４と接続する。制御コマンド発行部１０２は、情報管理装置に対し、音声アノテーションデータを音声認識するためのイベントや、画像の検索を実行するための命令を送信する部分である。制御コマンド発行部１０２には、例えばＧＵＩボタンや、物理ボタン等が考えられる。または、特定のメモリデバイス（コンパクトフラッシュ（登録商標）カード）がスロットに挿されたことにより、特定のコマンドが発行されたと見なしてもよい。検索文字列入力部１０３は、画像検索をするための検索クエリを入力するための装置であり、キーボードや音声を入力するマイクが考えられる。また、画像出力部１０４は、検索された画像の候補をユーザに提示するための部分であり、ディスプレイ等が想定される。
【００１４】
画像装置内には、画像・音声データベース１１１が含まれている。このデータベースは、撮像装置から取り込まれた画像や、その画像に付加された音声アノテーションデータが格納されている。
【００１５】
図１０は、音声・画像データベースの例である。このデータベースの要素としては、撮像装置で撮像された画像データ、画像データに関連付けられた音声アノテーションデータ、更に、音声アノテーションデータが情報管理装置音声認識された結果を格納した音声認識結果格納ファイルが含まれる。これらの３つの要素は常に揃っているわけではなく、例えば、音声アノテーションデータが付けられていない画像は、音声アノテーションデータのスロットが空となる。また、まだ音声認識されていない音声アノテーションデータに関しては、音声認識結果格納ファイルのスロットは空となる。各々のデータ要素の対応関係は、別に対応情報として保持してもよいし、図１０の例のように、同じファイル名で拡張子部分だけが異なるものが、互いに対応しているとみなしてもよい。
【００１６】
情報管理装置内の制御部１０７は、装置外部からの制御コマンドを受け、各種のコマンドを実行する部分である。このコマンドは少なくとも、音声アノテーションデータの音声認識を行うためのコマンド（音声認識コマンド）と、検索クエリを用いて画像を検索するための検索コマンドである。
【００１７】
音声認識コマンドが入力されると、制御部は音声アノテーションデータ認識部１０６にアクセスする。そして、前もって収集された人間の声の特徴量（音響モデル）と言語制約（言語モデル）からなる音声認識用データ１０５を用い、画像・音声データベース１１１内の音声アノテーションデータを音声認識する。このとき、画像データベースにある音声アノテーションデータを全て音声認識してもよいし、まだ音声認識をしていない音声アノテーションデータに対してのみ行ってもよい。図１０の例では、１０４．ｗａｖと１０６．ｗａｖに相当する音声認識結果格納ファイルがないため、この二つの音声アノテーションデータの認識を行う。
【００１８】
例えば、音声アノテーションデータが「箱根の山」という音声であった場合、理想的には「ｈａｋｏｎｅｎｏｙａｍａ」という音素列が音声認識結果として出力される。これらの音声認識結果は音声認識結果格納部１１０に送られ、音声認識結果格納ファイルという形で画像・音声データベースに追加される。図７が音声認識結果格納ファイルの例である。ここでは、１つの音声アノテーションデータに対し、５つの候補を認識結果として出力している。
【００１９】
制御コマンド発行部１０２から検索コマンドが入力されると、制御部１０７は検索部１０８に働きかける。ここでは、テキストクエリによる画像の検索を行う例で説明する。検索処理が始まると、検索部は本装置外の検索文字列入力部１０３からテキストを取り込む。例えば「箱根の山」という文字列が取り込まれると、検索部では、この入力文字列を自動読み付けし、「ｈａｋｏｎｅｎｏｙａｍａ」のような音素列（発声情報）に変換する。更に、この発声情報と画像・音声データベース中の音声認識結果格納ファイルに書き込まれた音声認識結果の音素列との類似度を計算し、類似度が大きいＮ個の画像を選択する。ここでは、これらの画像を検索結果画像と呼ぶ。
【００２０】
関連画像抽出部１１２では、検索結果画像と関連した画像群を抽出する。この抽出方法については、後に詳しく説明する。検索結果画像と関連画像は、検索結果提示部１０９に送られ、装置外部の画像出力部１０４に出力される。
【００２１】
図２、図３は、本情報管理装置のフローである。ここでは、このフローを元に、画像の撮像から検索を行うまでの具体的な流れを説明する。
【００２２】
まず、ユーザは、図４の携帯型画像撮像装置４０１を用い、画像を撮像しておく必要がある。この携帯型画像撮像装置には、画像確認画面４０３が付いている。また、動作モード切替スイッチ４０５の切り替えにより、撮像モード／撮像済み画像確認モードを切り替えることができるものとする。撮像済み画像確認モード時には、画像確認画面に今まで撮像した画像を確認することができるものとする。
【００２３】
ユーザは撮像済み画像確認モードにおいて、特定画像に音声アノテーションを付けることが可能である。たとえば、音声アノテーションを付加したい画像を画像確認画面に表示させ、機器の音声アノテーション付与ボタン４０２を押すことで、その画像に音声アノテーションデータが付与されてもよい。具体的には、このボタンが押されることにより、マイク４０４から一定時間の音声が取り込まれ、その音声データを画像と関連付けて撮像装置内のメモリに格納する。
【００２４】
しかし、ユーザが全ての画像に対して音声アノテーションを付けることはユーザへの負荷が大きいため期待できない。そこで、図５のように、シーンの切れ目毎に音声アノテーションを付けてもらうようにする。
【００２５】
図５では、まず撮り始めの画像に「箱根の山」という音声アノテーションを付け５０２、続けて２枚音声アノテーション無し画像５０３を撮像したことを示している。そして、次の画像を撮像した後、その画像に「芦ノ湖散策」という音声アノテーションを付けている。
【００２６】
ユーザが旅から帰り、携帯型画像撮像装置をＰＣに接続すると、図６のようなダイアログウインドウが開き、携帯型画像撮像装置内のデータをＰＣにアップロードすることを促す。ユーザは、アップロードしたい画像を選択し、アップロード指示ボタン６０５を押下する。すると、対象画像とその画像に付加された音声アノテーションデータが、ＰＣ上の画像・音声データベースにアップロードされる。
【００２７】
このアップロード処理が完了すると、図２で示したフローが開始される。このフローに入ると、装置内の画像・音声データベースを検索し（Ｓ２０１）、まだ音声認識していない音声アノテーションデータがあるかどうかを判別する（Ｓ２０２）。すでに、全音声アノテーションデータが認識されていた場合には、このフローから抜ける。
【００２８】
まだ音声認識していない音声アノテーションがあった場合、その音声アノテーションデータを取得する（Ｓ２０３）。そして、その音声データを音声認識する（Ｓ２０４）。音声認識結果は、画像・音声データベースに音声認識結果格納ファイルとして格納される（Ｓ２０５）。
【００２９】
ある日、ユーザがアップロードした画像を利用したくなったとする。するとユーザは図８のような画像検索プログラムを立ち上げ、ここの検索文字列入力フィールド８０２に検索テキストを入力し、検索開始ボタン８０３を押す。
【００３０】
検索開始ボタンが押されると、図３で示したフローに入る。このフローに入ると、まず、検索文字列入力フィールド１０３から検索文字列の取り込みを行う（Ｓ３０１）。次に、この検索文字列を、言語処理技術を利用して音素列に変換する（Ｓ３０２）。変換した音素列は変数Ａに格納する。
【００３１】
次に、装置内の画像・音声認識結果データベースにアクセスし、そこから音声認識結果格納ファイルを一つ取得する。このとき取得したものを音声認識結果格納ファイルαとおく（Ｓ３０３）。次に、変数Ｃ＿ｍａｘを０でクリアする（Ｓ３０４）。
【００３２】
次に、Ｓ３０３で取得した音声認識結果格納ファイルαから、音声認識候補を一つ取得する。音声認識結果候補は図７のように、音声認識結果格納ファイルの各行に対応した情報である。ここで取得した音声認識候補の“ｓｔｒｉｎｇ＝”に続く認識結果音素列は、変数Ｂに格納する（Ｓ３０５）。
【００３３】
次に、変数Ａ、Ｂに格納された音素列間の類似度を算出する（Ｓ３０６）。この時には、既存技術である動的計画法を利用することができる。算出された類似度は変数Ｃに格納する。格納されたＣは、Ｃ＿ｍａｘと比較を行う（Ｓ３０７）。もし、ＣがＣ＿ｍａｘよりも大きい場合は、Ｃ＿ｍａｘをＣで更新する（Ｓ３０８）。
【００３４】
これらの作業は一つの音声認識結果格納ファイルα内の全音声認識候補に対して行い、全認識候補が終了した場合に（Ｓ３０９）、Ｃ＿ｍａｘをその音声認識認識ファイルαのスコアとする（Ｓ３１０）。
【００３５】
以上の操作を、画像・音声認識結果データベースの全認識結果格納ファイルに対して行う。全ての音声認識結果格納ファイルが終了した場合（Ｓ３１１）、各ファイルに対して算出されたスコアでソートし、その上位Ｎ個に対応する画像を検索結果画像とする。更に、検索結果画像に関連する画像を画像・音声データベースから抽出し、ユーザに提示する（Ｓ３１２）。
【００３６】
この関連画像の抽出は、次の手法で行う。まず、画像・音声データベースを画像データの撮像日時順に並べる。そして、検索結果画像から、次の音声アノテーションデータを持つ画像までの画像群を関連画像とする。例えば、図１０で示す画像・音声データベースが撮像日時順に並んでいるとすると、１０１．ｊｐｇの画像に対して１０２．ｊｐｇと１０３．ｊｐｇが関連画像となる。同様に、１０４．ｊｐｇの画像に対しては、１０５．ｊｐｇが関連画像となる。
【００３７】
説明のため、再び図５の例に戻るが、ここではユーザは、最初の写真を撮像した後に、その画像に対して「箱根の山」という音声アノテーションを付与した。更に、二枚写真を撮像し、これらには音声アノテーションを付与しなかった。この場合、検索を行った際には、２枚目、３枚目の写真は、１枚目と同時に（あるいは１枚目から展開された形で）提示されることになる。この動作はユーザから見て、比較的自然な振る舞いであると考えられる。
【００３８】
検索結果画像と上記の考えで抽出された関連画像は、図９のような提示方法で出力される。検索結果提示ウインドウＡ９０１では、検索された音声アノテーション付き画像を検索スコア順に提示しているところである。更に、ユーザがマウスカーソル９０３を検索結果画像に重ねると、その画像の関連画像がポップアップして提示される。
【００３９】
検索結果提示ウインドウＢ９０４が関連画像９０５を提示している例である。ユーザはこのポップアップした関連画像からも、所望の画像を選択することができるようになる。
【００４０】
本実施例の利点は、音声アノテーションデータが付与されていない画像であっても、検索することができるという点である。また、音声アノテーションデータが付加されていない画像には、直前のアノテーションデータをコピー（あるいはリンク情報を張る）というようなことを撮像装置内で行わないため、撮像装置内のメモリ使用量の増加を防ぐ。
【００４１】
（実施例２）
上記実施例では、画像を撮像する携帯型画像撮像装置は１台であることを想定していたが、これが複数あってもよい。例えば、一人が複数台の携帯型画像撮像装置を用いて撮像、音声アノテーション付けを行った場合でも、共通の画像・音声データベースのアップロードすることが可能である。その場合、音声アノテーションを付けた携帯型画像撮像装置と別の携帯型画像撮像装置で撮像された画像も関連画像として提示することが可能である。
【００４２】
また、画像内、あるいは画像・音声データベース内に、どの携帯型画像撮像装置で撮像されたものかの情報を持つことにより、他のカメラで撮像された画像は関連画像に含めないということも可能である。
【００４３】
（実施例３）
上記実施例では、ある画像が、特定の画像の関連画像であるということを、画像・音声データベースに残さなかった。しかし、どの画像がどの画像に関連するものかを、画像・音声データベースに明示的に情報保持することも可能である。例えば、図１１はこの情報を保持した画像・音声データベースの例である。図１０のものに比べ、関連情報という要素が増え、この部分に関連する画像の名前が保持されている。
【００４４】
この情報は、例えば、携帯型画像撮像装置からＰＣへ画像をアップロードする時点で作成することが可能である。また、音声認識処理を実行した際に、この情報を登録するようにしてもよい。
【００４５】
（実施例４）
上記実施例では、ある画像がある画像の関連画像であるとみなす場合に、その撮像時間差を考慮しなかった。しかし、あまりに時間差がある画像を関連画像と見なすことは不自然である。そこで、ある音声アノテーション付き画像Ａが撮像された時間から、次の音声アノテーション付き画像が撮像される時間までに撮像された画像群であっても、その撮像時刻が画像Ａの撮像時刻から一定時間以上経過したものは、画像Ａの関連画像とみなさないという処理を加えることも可能である。
【００４６】
（実施例５）
上記実施例では、音声アノテーション付き画像が画像・音声データベースから削除された場合の処理には触れなかった。しかし、この画像が削除された場合にも、画像・音声データベース内の関連情報を自動で張り直すことが可能である。例えば、この画像に関連情報が付いていた場合は、その関連情報を消す一つ前の音声アノテーション付きデータの関連情報に追加することが考えられる。
【００４７】
例えば、図１１で１０４．ｊｐｇの画像（音声アノテーション付き画像）が削除された場合を考える。その場合、関連情報である“１０５．ｊｐｇ”は、一つ前の音声アノテーション付きデータである１０１．ｊｐｇの関連情報に追加すればよい。この例の場合では、１０１．ｊｐｇの関連情報は“１０２．ｊｐｇ，１０３．ｊｐｇ，１０４．ｊｐｇ”となる。
【００４８】
もし、消された音声アノテーション付き画像がデータベース中で先頭のものであれば、その関連情報は削除してもよい。
【００４９】
（実施例６）
上記実施例では、画像情報に音声アノテーションを付与する例を挙げて説明してきたが、本発明はこれに限定されるものではなく、文書情報や音声情報等様々な情報への適応が可能である。また、音声アノテーションではなく、テキスト等のアノテーションを付与する場合においても適用可能である。
【００５０】
（実施例７）
なお、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５１】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５２】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５３】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５４】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００５５】
【図１】実施例の情報管理装置の機能構成図である。
【図２】実施例の情報管理装置の音声認識処理部のフローチャートである。
【図３】実施例の情報管理装置の画像検索処理部のフローチャートである。
【図４】実施例の携帯型画像撮像装置の例である。
【図５】撮像写真とその関連画像の関係を示した説明図である。
【図６】実施例の画像アップロード時の操作ＵＩ画面の例である。
【図７】実施例の音声認識結果格納ファイルの例である。
【図８】実施例の画像検索時画面の例である。
【図９】実施例の画像検索結果の提示例である。
【図１０】実施例の情報管理装置の画像・音声データベースの例である。
【図１１】実施例３〜５の情報管理装置の画像・音声データベースの例である。
【技術分野】
【０００１】
本発明は、情報を検索するための情報管理装置、情報管理方法に関するものである。
【背景技術】
【０００２】
昨今、デジタルカメラ等の普及が著しい。ユーザは、デジタルカメラのような携帯型撮像装置により撮像したデジタル画像を、ＰＣやサーバ等で管理することが一般的である。例えば撮像した画像を、ＰＣあるいはサーバ上のフォルダ内に整理したり、特定の画像を印刷し、年賀状等に組み込むことが可能である。また、サーバで管理する場合は、一部の画像を他のユーザに公開することも可能である。
【０００３】
このような作業を行う場合には、ユーザの意図する特定の画像を見つけ出すことが必要となる。見つけ出す対象となる画像数が少ない場合は、画像をサムネイル表示し、その一覧から目視で見つけ出すことも可能である。しかし、対象となる画像数が何百となる場合や、対象画像群が複数フォルダに分断されて格納されている場合は、目視で見つけ出すことは困難である。
【０００４】
そこで、撮像装置上で画像に音声アノテーション（音声による注釈）を付け、検索時にその情報を使うことが行われている。例えば携帯型撮像装置により山の画像を撮像し、その画像に対して「箱根の山」と発声する。この音声データは先の画像データと対となって撮像装置内に格納された後、その画像撮像装置内あるいは画像をアップロードしたＰＣ内で音声認識され、“はこねのやま”というテキスト情報に変換される。音声アノテーションデータがテキスト情報に変換されれば、後は一般的なテキスト検索技術で処理することが可能であり、「やま」、「はこね」等のテキスト入力でその画像を検索することができる。
【０００５】
このような音声アノテーションを利用した先行技術に、特許文献１がある。特許文献１では、画像の撮像時あるいは撮像後に注釈となる音声をユーザが入力し、その音声データを既存の音声認識技術を利用して画像検索に利用している。
【０００６】
アノテーション情報を利用した一般的な検索システムでは、アノテーションが付与されていない画像を検索対象とすることができない。しかし、全ての検索対象物にアノテーション情報を付与させることは、ユーザにとって負担が大きい。そのため、アノテーション情報を自動で付けるアプローチや、前後に付けられたアノテーション情報から対象物のアノテーション情報を推定するアプローチが提案されている。
【０００７】
例えば、特許文献２は、撮像装置上で画像にアノテーション情報を付与できるシステムである。ここでは、画像に付与するアノテーション情報を変更しない限り、前の画像に付けたものと同じアノテーション情報が付けられるという実施例が記載されている。
【０００８】
また、特許文献３では、直前に撮像された画像とのタイムラグが少ない場合にだけ、直前の画像からアノテーション情報をコピーする提案がなされている。
【特許文献１】特開２００３−２１９３２７号公報
【特許文献２】特開２００３−２２４７５０号公報
【特許文献３】特開平７−１２１５６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
これらの提案では、アノテーションを付けなかったものに対しても、アノテーション情報のコピーやアノテーション情報へのリンクが付与される。そのため、ユーザの負担を減らすという面では有効である。しかし、これらの処理が撮像時に撮像装置内で行われており、アノテーション情報やそのリンク情報のコピーを撮像装置内のメモリに保持することになるため、メモリ使用効率が低下するという問題があった。また、異なる撮像装置で撮像された画像はアノテーション情報を共有できないという問題もあった。
【課題を解決するための手段】
【００１０】
本発明にかかる情報管理装置は、入力された検索条件及び検索対象情報に関連付けられたアノテーション情報に基づいて、検索対象画像を検索する検索手段と、前記検索手段で検索された検索対象情報毎に、前記検索対象情報が格納された格納手段から関連画像を抽出する抽出手段と、前記検索手段により抽出された画像とその関連画像を関連付けてユーザに提示するよう制御する提示制御手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明により、アノテーションが付いていない情報に関しても、アノテーション情報に基づいた検索を行うことができるようになる。これらのことを行うためには、アノテーション情報が付いていない画像は、一つ前の画像に付いたアノテーション情報をコピーすることが一般的である。しかし本発明では、この処理が必要ないため、撮像装置内での消費メモリの増加を防ぐことができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して、本発明に係る情報管理装置の実施の形態について、画像を管理する場合を例にあげて説明する。
【００１３】
（実施例１）
図１は、本実施例の情報管理装置の機能構成図である。本発明の情報管理装置１０１は、制御コマンド発行部１０２、検索文字列入力部１０３、画像出力部１０４と接続する。制御コマンド発行部１０２は、情報管理装置に対し、音声アノテーションデータを音声認識するためのイベントや、画像の検索を実行するための命令を送信する部分である。制御コマンド発行部１０２には、例えばＧＵＩボタンや、物理ボタン等が考えられる。または、特定のメモリデバイス（コンパクトフラッシュ（登録商標）カード）がスロットに挿されたことにより、特定のコマンドが発行されたと見なしてもよい。検索文字列入力部１０３は、画像検索をするための検索クエリを入力するための装置であり、キーボードや音声を入力するマイクが考えられる。また、画像出力部１０４は、検索された画像の候補をユーザに提示するための部分であり、ディスプレイ等が想定される。
【００１４】
画像装置内には、画像・音声データベース１１１が含まれている。このデータベースは、撮像装置から取り込まれた画像や、その画像に付加された音声アノテーションデータが格納されている。
【００１５】
図１０は、音声・画像データベースの例である。このデータベースの要素としては、撮像装置で撮像された画像データ、画像データに関連付けられた音声アノテーションデータ、更に、音声アノテーションデータが情報管理装置音声認識された結果を格納した音声認識結果格納ファイルが含まれる。これらの３つの要素は常に揃っているわけではなく、例えば、音声アノテーションデータが付けられていない画像は、音声アノテーションデータのスロットが空となる。また、まだ音声認識されていない音声アノテーションデータに関しては、音声認識結果格納ファイルのスロットは空となる。各々のデータ要素の対応関係は、別に対応情報として保持してもよいし、図１０の例のように、同じファイル名で拡張子部分だけが異なるものが、互いに対応しているとみなしてもよい。
【００１６】
情報管理装置内の制御部１０７は、装置外部からの制御コマンドを受け、各種のコマンドを実行する部分である。このコマンドは少なくとも、音声アノテーションデータの音声認識を行うためのコマンド（音声認識コマンド）と、検索クエリを用いて画像を検索するための検索コマンドである。
【００１７】
音声認識コマンドが入力されると、制御部は音声アノテーションデータ認識部１０６にアクセスする。そして、前もって収集された人間の声の特徴量（音響モデル）と言語制約（言語モデル）からなる音声認識用データ１０５を用い、画像・音声データベース１１１内の音声アノテーションデータを音声認識する。このとき、画像データベースにある音声アノテーションデータを全て音声認識してもよいし、まだ音声認識をしていない音声アノテーションデータに対してのみ行ってもよい。図１０の例では、１０４．ｗａｖと１０６．ｗａｖに相当する音声認識結果格納ファイルがないため、この二つの音声アノテーションデータの認識を行う。
【００１８】
例えば、音声アノテーションデータが「箱根の山」という音声であった場合、理想的には「ｈａｋｏｎｅｎｏｙａｍａ」という音素列が音声認識結果として出力される。これらの音声認識結果は音声認識結果格納部１１０に送られ、音声認識結果格納ファイルという形で画像・音声データベースに追加される。図７が音声認識結果格納ファイルの例である。ここでは、１つの音声アノテーションデータに対し、５つの候補を認識結果として出力している。
【００１９】
制御コマンド発行部１０２から検索コマンドが入力されると、制御部１０７は検索部１０８に働きかける。ここでは、テキストクエリによる画像の検索を行う例で説明する。検索処理が始まると、検索部は本装置外の検索文字列入力部１０３からテキストを取り込む。例えば「箱根の山」という文字列が取り込まれると、検索部では、この入力文字列を自動読み付けし、「ｈａｋｏｎｅｎｏｙａｍａ」のような音素列（発声情報）に変換する。更に、この発声情報と画像・音声データベース中の音声認識結果格納ファイルに書き込まれた音声認識結果の音素列との類似度を計算し、類似度が大きいＮ個の画像を選択する。ここでは、これらの画像を検索結果画像と呼ぶ。
【００２０】
関連画像抽出部１１２では、検索結果画像と関連した画像群を抽出する。この抽出方法については、後に詳しく説明する。検索結果画像と関連画像は、検索結果提示部１０９に送られ、装置外部の画像出力部１０４に出力される。
【００２１】
図２、図３は、本情報管理装置のフローである。ここでは、このフローを元に、画像の撮像から検索を行うまでの具体的な流れを説明する。
【００２２】
まず、ユーザは、図４の携帯型画像撮像装置４０１を用い、画像を撮像しておく必要がある。この携帯型画像撮像装置には、画像確認画面４０３が付いている。また、動作モード切替スイッチ４０５の切り替えにより、撮像モード／撮像済み画像確認モードを切り替えることができるものとする。撮像済み画像確認モード時には、画像確認画面に今まで撮像した画像を確認することができるものとする。
【００２３】
ユーザは撮像済み画像確認モードにおいて、特定画像に音声アノテーションを付けることが可能である。たとえば、音声アノテーションを付加したい画像を画像確認画面に表示させ、機器の音声アノテーション付与ボタン４０２を押すことで、その画像に音声アノテーションデータが付与されてもよい。具体的には、このボタンが押されることにより、マイク４０４から一定時間の音声が取り込まれ、その音声データを画像と関連付けて撮像装置内のメモリに格納する。
【００２４】
しかし、ユーザが全ての画像に対して音声アノテーションを付けることはユーザへの負荷が大きいため期待できない。そこで、図５のように、シーンの切れ目毎に音声アノテーションを付けてもらうようにする。
【００２５】
図５では、まず撮り始めの画像に「箱根の山」という音声アノテーションを付け５０２、続けて２枚音声アノテーション無し画像５０３を撮像したことを示している。そして、次の画像を撮像した後、その画像に「芦ノ湖散策」という音声アノテーションを付けている。
【００２６】
ユーザが旅から帰り、携帯型画像撮像装置をＰＣに接続すると、図６のようなダイアログウインドウが開き、携帯型画像撮像装置内のデータをＰＣにアップロードすることを促す。ユーザは、アップロードしたい画像を選択し、アップロード指示ボタン６０５を押下する。すると、対象画像とその画像に付加された音声アノテーションデータが、ＰＣ上の画像・音声データベースにアップロードされる。
【００２７】
このアップロード処理が完了すると、図２で示したフローが開始される。このフローに入ると、装置内の画像・音声データベースを検索し（Ｓ２０１）、まだ音声認識していない音声アノテーションデータがあるかどうかを判別する（Ｓ２０２）。すでに、全音声アノテーションデータが認識されていた場合には、このフローから抜ける。
【００２８】
まだ音声認識していない音声アノテーションがあった場合、その音声アノテーションデータを取得する（Ｓ２０３）。そして、その音声データを音声認識する（Ｓ２０４）。音声認識結果は、画像・音声データベースに音声認識結果格納ファイルとして格納される（Ｓ２０５）。
【００２９】
ある日、ユーザがアップロードした画像を利用したくなったとする。するとユーザは図８のような画像検索プログラムを立ち上げ、ここの検索文字列入力フィールド８０２に検索テキストを入力し、検索開始ボタン８０３を押す。
【００３０】
検索開始ボタンが押されると、図３で示したフローに入る。このフローに入ると、まず、検索文字列入力フィールド１０３から検索文字列の取り込みを行う（Ｓ３０１）。次に、この検索文字列を、言語処理技術を利用して音素列に変換する（Ｓ３０２）。変換した音素列は変数Ａに格納する。
【００３１】
次に、装置内の画像・音声認識結果データベースにアクセスし、そこから音声認識結果格納ファイルを一つ取得する。このとき取得したものを音声認識結果格納ファイルαとおく（Ｓ３０３）。次に、変数Ｃ＿ｍａｘを０でクリアする（Ｓ３０４）。
【００３２】
次に、Ｓ３０３で取得した音声認識結果格納ファイルαから、音声認識候補を一つ取得する。音声認識結果候補は図７のように、音声認識結果格納ファイルの各行に対応した情報である。ここで取得した音声認識候補の“ｓｔｒｉｎｇ＝”に続く認識結果音素列は、変数Ｂに格納する（Ｓ３０５）。
【００３３】
次に、変数Ａ、Ｂに格納された音素列間の類似度を算出する（Ｓ３０６）。この時には、既存技術である動的計画法を利用することができる。算出された類似度は変数Ｃに格納する。格納されたＣは、Ｃ＿ｍａｘと比較を行う（Ｓ３０７）。もし、ＣがＣ＿ｍａｘよりも大きい場合は、Ｃ＿ｍａｘをＣで更新する（Ｓ３０８）。
【００３４】
これらの作業は一つの音声認識結果格納ファイルα内の全音声認識候補に対して行い、全認識候補が終了した場合に（Ｓ３０９）、Ｃ＿ｍａｘをその音声認識認識ファイルαのスコアとする（Ｓ３１０）。
【００３５】
以上の操作を、画像・音声認識結果データベースの全認識結果格納ファイルに対して行う。全ての音声認識結果格納ファイルが終了した場合（Ｓ３１１）、各ファイルに対して算出されたスコアでソートし、その上位Ｎ個に対応する画像を検索結果画像とする。更に、検索結果画像に関連する画像を画像・音声データベースから抽出し、ユーザに提示する（Ｓ３１２）。
【００３６】
この関連画像の抽出は、次の手法で行う。まず、画像・音声データベースを画像データの撮像日時順に並べる。そして、検索結果画像から、次の音声アノテーションデータを持つ画像までの画像群を関連画像とする。例えば、図１０で示す画像・音声データベースが撮像日時順に並んでいるとすると、１０１．ｊｐｇの画像に対して１０２．ｊｐｇと１０３．ｊｐｇが関連画像となる。同様に、１０４．ｊｐｇの画像に対しては、１０５．ｊｐｇが関連画像となる。
【００３７】
説明のため、再び図５の例に戻るが、ここではユーザは、最初の写真を撮像した後に、その画像に対して「箱根の山」という音声アノテーションを付与した。更に、二枚写真を撮像し、これらには音声アノテーションを付与しなかった。この場合、検索を行った際には、２枚目、３枚目の写真は、１枚目と同時に（あるいは１枚目から展開された形で）提示されることになる。この動作はユーザから見て、比較的自然な振る舞いであると考えられる。
【００３８】
検索結果画像と上記の考えで抽出された関連画像は、図９のような提示方法で出力される。検索結果提示ウインドウＡ９０１では、検索された音声アノテーション付き画像を検索スコア順に提示しているところである。更に、ユーザがマウスカーソル９０３を検索結果画像に重ねると、その画像の関連画像がポップアップして提示される。
【００３９】
検索結果提示ウインドウＢ９０４が関連画像９０５を提示している例である。ユーザはこのポップアップした関連画像からも、所望の画像を選択することができるようになる。
【００４０】
本実施例の利点は、音声アノテーションデータが付与されていない画像であっても、検索することができるという点である。また、音声アノテーションデータが付加されていない画像には、直前のアノテーションデータをコピー（あるいはリンク情報を張る）というようなことを撮像装置内で行わないため、撮像装置内のメモリ使用量の増加を防ぐ。
【００４１】
（実施例２）
上記実施例では、画像を撮像する携帯型画像撮像装置は１台であることを想定していたが、これが複数あってもよい。例えば、一人が複数台の携帯型画像撮像装置を用いて撮像、音声アノテーション付けを行った場合でも、共通の画像・音声データベースのアップロードすることが可能である。その場合、音声アノテーションを付けた携帯型画像撮像装置と別の携帯型画像撮像装置で撮像された画像も関連画像として提示することが可能である。
【００４２】
また、画像内、あるいは画像・音声データベース内に、どの携帯型画像撮像装置で撮像されたものかの情報を持つことにより、他のカメラで撮像された画像は関連画像に含めないということも可能である。
【００４３】
（実施例３）
上記実施例では、ある画像が、特定の画像の関連画像であるということを、画像・音声データベースに残さなかった。しかし、どの画像がどの画像に関連するものかを、画像・音声データベースに明示的に情報保持することも可能である。例えば、図１１はこの情報を保持した画像・音声データベースの例である。図１０のものに比べ、関連情報という要素が増え、この部分に関連する画像の名前が保持されている。
【００４４】
この情報は、例えば、携帯型画像撮像装置からＰＣへ画像をアップロードする時点で作成することが可能である。また、音声認識処理を実行した際に、この情報を登録するようにしてもよい。
【００４５】
（実施例４）
上記実施例では、ある画像がある画像の関連画像であるとみなす場合に、その撮像時間差を考慮しなかった。しかし、あまりに時間差がある画像を関連画像と見なすことは不自然である。そこで、ある音声アノテーション付き画像Ａが撮像された時間から、次の音声アノテーション付き画像が撮像される時間までに撮像された画像群であっても、その撮像時刻が画像Ａの撮像時刻から一定時間以上経過したものは、画像Ａの関連画像とみなさないという処理を加えることも可能である。
【００４６】
（実施例５）
上記実施例では、音声アノテーション付き画像が画像・音声データベースから削除された場合の処理には触れなかった。しかし、この画像が削除された場合にも、画像・音声データベース内の関連情報を自動で張り直すことが可能である。例えば、この画像に関連情報が付いていた場合は、その関連情報を消す一つ前の音声アノテーション付きデータの関連情報に追加することが考えられる。
【００４７】
例えば、図１１で１０４．ｊｐｇの画像（音声アノテーション付き画像）が削除された場合を考える。その場合、関連情報である“１０５．ｊｐｇ”は、一つ前の音声アノテーション付きデータである１０１．ｊｐｇの関連情報に追加すればよい。この例の場合では、１０１．ｊｐｇの関連情報は“１０２．ｊｐｇ，１０３．ｊｐｇ，１０４．ｊｐｇ”となる。
【００４８】
もし、消された音声アノテーション付き画像がデータベース中で先頭のものであれば、その関連情報は削除してもよい。
【００４９】
（実施例６）
上記実施例では、画像情報に音声アノテーションを付与する例を挙げて説明してきたが、本発明はこれに限定されるものではなく、文書情報や音声情報等様々な情報への適応が可能である。また、音声アノテーションではなく、テキスト等のアノテーションを付与する場合においても適用可能である。
【００５０】
（実施例７）
なお、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００５１】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００５２】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００５３】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００５４】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【００５５】
【図１】実施例の情報管理装置の機能構成図である。
【図２】実施例の情報管理装置の音声認識処理部のフローチャートである。
【図３】実施例の情報管理装置の画像検索処理部のフローチャートである。
【図４】実施例の携帯型画像撮像装置の例である。
【図５】撮像写真とその関連画像の関係を示した説明図である。
【図６】実施例の画像アップロード時の操作ＵＩ画面の例である。
【図７】実施例の音声認識結果格納ファイルの例である。
【図８】実施例の画像検索時画面の例である。
【図９】実施例の画像検索結果の提示例である。
【図１０】実施例の情報管理装置の画像・音声データベースの例である。
【図１１】実施例３〜５の情報管理装置の画像・音声データベースの例である。
【特許請求の範囲】
【請求項１】
入力された検索条件及び検索対象情報に関連付けられたアノテーション情報に基づいて、検索対象情報を検索する検索手段と、
前記検索手段で検索された検索対象情報毎に、該検索対象情報に関連付けられた時間情報に基づいて前記検索対象情報が格納された格納手段から関連情報を抽出する抽出手段と、
前記検索手段で検索された検索対象情報と前記抽出手段により抽出されたその関連情報を関連付けてユーザに提示するよう制御する提示制御手段とを有することを特徴とする情報管理装置。
【請求項２】
前記情報は画像であり、
前記抽出手段は、前記検索対象画像と、前記格納手段に格納された画像中のアノテーション情報が関連付けられた画像の中で、前記検索対象画像の直後の撮像日時情報を持つ画像との間の撮像日時情報を持つ、前記格納手段に格納されたアノテーション情報が関連付けられていない画像を、前記検索対象画像の関連画像として抽出することを特徴とする請求項１記載の情報管理装置。
【請求項３】
前記情報は画像であり、
前記抽出手段は、前記検索対象画像と、前記格納手段に格納された画像の中で、前記検索対象画像との撮像日時の差が一定時間以内の画像を関連画像として抽出することを特徴とする請求項１記載の情報管理装置。
【請求項４】
前記抽出手段は前記検索手段の動作の後に続けて行われることを特徴とする請求項１記載の情報管理装置。
【請求項５】
前記検索対象情報と前記アノテーション情報を前記格納手段に登録する登録手段を更に有し、
前記抽出手段は前記登録手段の動作の後に続けて行われることを特徴とする請求項１記載の情報管理装置。
【請求項６】
前記アノテーション情報は音声アノテーション情報を含み、
前記音声アノテーション情報を音声認識してテキスト情報に変換する音声認識手段を更に有することを特徴とする請求項１記載の情報管理装置。
【請求項７】
入力された検索条件及び検索対象情報に関連付けられたアノテーション情報に基づいて、検索対象情報を検索する検索工程と、
前記検索工程で検索された検索対象情報毎に、該検索対象情報に関連付けられた時間情報に基づいて前記検索対象情報が格納された格納手段から関連情報を抽出する抽出工程と、
前記検索工程で検索された検索対象情報と前記抽出工程により抽出された情報とその関連情報を関連付けてユーザに提示するよう制御する提示制御工程とを有することを特徴とする情報管理方法。
【請求項８】
前記情報は画像であり、
前記抽出工程は、前記検索対象画像と、前記格納手段に格納された画像中のアノテーション情報が関連付けられた画像の中で、前記検索対象画像の直後の撮像日時情報を持つ画像との間の撮像日時情報を持つ、前記格納手段に格納されたアノテーション情報が関連付けられていない画像を、前記検索対象画像の関連画像として抽出することを特徴とする請求項７記載の情報管理方法。
【請求項９】
前記抽出工程は、前記検索対象画像と、前記格納手段に格納された画像の中で、前記検索対象画像との撮像日時の差が一定時間以内の画像を関連画像として抽出することを特徴とする請求項７記載の情報管理方法。
【請求項１０】
前記抽出工程は前記検索ステップの動作の後に続けて行われることを特徴とする請求項７記載の情報管理方法。
【請求項１１】
前記検索対象情報と前記アノテーション情報を前記格納手段に登録する登録工程を更に有し、
前記抽出工程は前記登録工程の動作の後に続けて行われることを特徴とする請求項７記載の情報管理方法。
【請求項１２】
前記アノテーション情報は音声アノテーション情報を含み、
前記音声アノテーション情報を音声認識してテキスト情報に変換する音声認識工程を更に有することを特徴とする請求項７記載の情報管理方法。
【請求項１３】
請求項７乃至１２に記載の情報処理方法をコンピュータに実行させるための制御プログラム。
【請求項１４】
請求項１３記載の制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【請求項１】
入力された検索条件及び検索対象情報に関連付けられたアノテーション情報に基づいて、検索対象情報を検索する検索手段と、
前記検索手段で検索された検索対象情報毎に、該検索対象情報に関連付けられた時間情報に基づいて前記検索対象情報が格納された格納手段から関連情報を抽出する抽出手段と、
前記検索手段で検索された検索対象情報と前記抽出手段により抽出されたその関連情報を関連付けてユーザに提示するよう制御する提示制御手段とを有することを特徴とする情報管理装置。
【請求項２】
前記情報は画像であり、
前記抽出手段は、前記検索対象画像と、前記格納手段に格納された画像中のアノテーション情報が関連付けられた画像の中で、前記検索対象画像の直後の撮像日時情報を持つ画像との間の撮像日時情報を持つ、前記格納手段に格納されたアノテーション情報が関連付けられていない画像を、前記検索対象画像の関連画像として抽出することを特徴とする請求項１記載の情報管理装置。
【請求項３】
前記情報は画像であり、
前記抽出手段は、前記検索対象画像と、前記格納手段に格納された画像の中で、前記検索対象画像との撮像日時の差が一定時間以内の画像を関連画像として抽出することを特徴とする請求項１記載の情報管理装置。
【請求項４】
前記抽出手段は前記検索手段の動作の後に続けて行われることを特徴とする請求項１記載の情報管理装置。
【請求項５】
前記検索対象情報と前記アノテーション情報を前記格納手段に登録する登録手段を更に有し、
前記抽出手段は前記登録手段の動作の後に続けて行われることを特徴とする請求項１記載の情報管理装置。
【請求項６】
前記アノテーション情報は音声アノテーション情報を含み、
前記音声アノテーション情報を音声認識してテキスト情報に変換する音声認識手段を更に有することを特徴とする請求項１記載の情報管理装置。
【請求項７】
入力された検索条件及び検索対象情報に関連付けられたアノテーション情報に基づいて、検索対象情報を検索する検索工程と、
前記検索工程で検索された検索対象情報毎に、該検索対象情報に関連付けられた時間情報に基づいて前記検索対象情報が格納された格納手段から関連情報を抽出する抽出工程と、
前記検索工程で検索された検索対象情報と前記抽出工程により抽出された情報とその関連情報を関連付けてユーザに提示するよう制御する提示制御工程とを有することを特徴とする情報管理方法。
【請求項８】
前記情報は画像であり、
前記抽出工程は、前記検索対象画像と、前記格納手段に格納された画像中のアノテーション情報が関連付けられた画像の中で、前記検索対象画像の直後の撮像日時情報を持つ画像との間の撮像日時情報を持つ、前記格納手段に格納されたアノテーション情報が関連付けられていない画像を、前記検索対象画像の関連画像として抽出することを特徴とする請求項７記載の情報管理方法。
【請求項９】
前記抽出工程は、前記検索対象画像と、前記格納手段に格納された画像の中で、前記検索対象画像との撮像日時の差が一定時間以内の画像を関連画像として抽出することを特徴とする請求項７記載の情報管理方法。
【請求項１０】
前記抽出工程は前記検索ステップの動作の後に続けて行われることを特徴とする請求項７記載の情報管理方法。
【請求項１１】
前記検索対象情報と前記アノテーション情報を前記格納手段に登録する登録工程を更に有し、
前記抽出工程は前記登録工程の動作の後に続けて行われることを特徴とする請求項７記載の情報管理方法。
【請求項１２】
前記アノテーション情報は音声アノテーション情報を含み、
前記音声アノテーション情報を音声認識してテキスト情報に変換する音声認識工程を更に有することを特徴とする請求項７記載の情報管理方法。
【請求項１３】
請求項７乃至１２に記載の情報処理方法をコンピュータに実行させるための制御プログラム。
【請求項１４】
請求項１３記載の制御プログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２００６−１０７１０９（Ｐ２００６−１０７１０９Ａ）
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願番号】特願２００４−２９２６０７（Ｐ２００４−２９２６０７）
【出願日】平成１６年１０月５日（２００４．１０．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１８年４月２０日（２００６．４．２０）
【国際特許分類】
【出願日】平成１６年１０月５日（２００４．１０．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]