情報検索装置、情報検索システム、情報検索方法及び情報検索プログラム
【課題】 画面上に表示された表示画像に関連する関連情報を迅速、且つ、効率的に取得することを可能とする情報検索システムを提供する。
【解決手段】 画面上に表示された表示画像に関連する関連情報を検索する移動体通信端末装置（１）と、関連情報を管理する関連情報管理装置（２）と、がネットワーク（３）を介して接続されて構成される。そして、移動体通信端末装置（１）は、移動体通信端末装置（１）の具備する記憶部を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示することになる。また、移動体通信端末装置（１）の具備する記憶部を検索し、表示画像に関連する関連情報を取得できない場合には、関連情報の取得要求を関連情報管理装置（２）に送信し、関連情報管理装置（２）から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示することになる。
【解決手段】 画面上に表示された表示画像に関連する関連情報を検索する移動体通信端末装置（１）と、関連情報を管理する関連情報管理装置（２）と、がネットワーク（３）を介して接続されて構成される。そして、移動体通信端末装置（１）は、移動体通信端末装置（１）の具備する記憶部を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示することになる。また、移動体通信端末装置（１）の具備する記憶部を検索し、表示画像に関連する関連情報を取得できない場合には、関連情報の取得要求を関連情報管理装置（２）に送信し、関連情報管理装置（２）から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示することになる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画面上に表示された表示画像に関連する関連情報を検索する情報検索装置、情報検索システム、情報検索方法及び情報検索プログラムに関するものである。
【背景技術】
【０００２】
例えば、書籍などを読んでいる際に、漢字の読み・意味が解らない状況が生じた場合には、その解らない情報を辞書等で能動的に検索しなければならず、煩わしさを伴っていたのが現状である。
【０００３】
このようなことから、本発明より先に出願された技術文献として、媒介情報と関連情報とを関連づける情報閲覧装置であって、前記媒介情報を取得する手段と、該取得した媒介情報から媒介情報の識別情報を取得する手段と、該識別情報をコンピュータネットワーク経由で送信する手段と、コンピュータネットワーク経由で関連情報を受信する手段と、受信した関連情報を出力する手段を備え、画面上に表示された媒介情報に関連する関連情報を入手可能とする情報閲覧装置が開示された文献がある（例えば、特許文献１参照）。
【０００４】
また、文字認識機能を有するサーバに通信ネットワークを介してアクセスする携帯端末装置において、文字が含まれている画像データを取得する取得手段と、前記取得手段により取得された画像データを表示する表示手段と、表示された画像データに含まれる文字領域の範囲を指定する範囲指定手段と、前記画像データ及び前記範囲指定手段により指定された文字領域の範囲情報を前記サーバに送信する送信手段と、前記サーバが有する文字認識機能により認識された文字をテキストデータとして該サーバから受信する受信手段と、を備え、文字情報を取得するのに便利であり、かつ取得した文字情報を素早く活用できる携帯端末装置が開示された文献がある（例えば、特許文献２参照）。
【特許文献１】特開２００２−３３４０９２号公報
【特許文献２】特開２００２−３５２１９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
なお、上記特許文献１は、コンピュータネットワーク経由で関連情報を受信することで、画面上に表示された媒介情報に関連する関連情報を入手可能とする技術が開示されているが、上記特許文献１に開示された技術では、常に、コンピュータネットワーク経由で関連情報を入手することになるため、関連情報を入手するまでには所定の時間を要することになる。
【０００６】
また、上記特許文献２は、文字認識機能を有するサーバに通信ネットワークを介してアクセスし、文字をテキストデータとして受信することになるため、上記特許文献１と同様に、常に、ネットワーク経由で文字を入手することになるため、文字を取得するまでには所定の時間を要することになる。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、画面上に表示された表示画像に関連する関連情報を迅速、且つ、効率的に取得することを可能とする情報検索装置、情報検索システム、情報検索方法及び情報検索プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
かかる目的を達成するために、本発明は以下の特徴を有することとする。
【０００９】
本発明にかかる情報検索装置は、画面上に表示された表示画像に関連する関連情報を検索する情報検索装置であって、情報検索装置は、表示画像に関連する関連情報を管理する関連情報管理装置とネットワークを介して接続されており、表示画像に関連する関連情報を記憶する関連情報記憶手段と、関連情報記憶手段を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第１の関連情報取得手段と、第１の関連情報取得手段により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第２の関連情報取得手段と、を有することを特徴とするものである。
【００１０】
また、本発明にかかる情報検索装置は、画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定手段と、表示領域指定手段により指定された表示領域を解析し、画面上に表示された表示画像を特定する表示画像特定手段と、を有し、第１の関連情報取得手段は、表示画像特定手段により特定された表示画像を基に、関連情報記憶手段を検索し、表示画像に関連する関連情報を取得し、第２の関連情報取得手段は、第１の関連情報取得手段により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得することを特徴とするものである。
【００１１】
また、本発明にかかる情報検索装置は、音声情報を出力する音声情報出力手段を有し、第１の関連情報取得手段、または、第２の関連情報取得手段により取得した関連情報が画像情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、取得した関連情報が音声情報の場合には、音声情報出力手段から音声情報を出力し、取得した関連情報が、画像情報と音声情報とを含む情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、音声情報出力手段から音声情報を出力することを特徴とするものである。
【００１２】
また、本発明にかかる情報検索装置において、関連情報記憶手段は、表示画像を識別する表示画像識別情報に関連づけて関連情報を記憶しており、関連情報管理装置は、表示画像識別情報に関連づけて関連情報を管理しており、第１の関連情報取得手段は、表示画像識別情報を基に、関連情報記憶手段を検索し、表示画像識別情報に関連づけられた関連情報を取得し、第２の関連情報取得手段は、第１の関連情報取得手段により、表示画像識別情報に関連づけられた関連情報を取得できない場合に、関連情報の取得要求を表示画像識別情報と共に、関連情報管理装置に送信し、関連情報管理装置から表示画像識別情報に関連づけられた関連情報を取得することを特徴とするものである。
【００１３】
また、本発明にかかる情報検索装置において、表示領域指定手段は、ポインティングデバイスまたはトラックボールであることを特徴とするものである。
【００１４】
また、本発明にかかる情報検索システムは、画面上に表示された表示画像に関連する関連情報を検索する情報検索装置と、関連情報を管理する関連情報管理装置と、を有する情報検索システムであって、情報検索装置は、表示画像に関連する関連情報を記憶する関連情報記憶手段と、関連情報記憶手段を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第１の関連情報取得手段と、第１の関連情報取得手段により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第２の関連情報取得手段と、を有し、関連情報管理装置は、関連情報の取得要求を情報検索装置から受信した際に、該取得要求に該当する関連情報を関連情報管理装置の具備する格納部から取得し、該取得した関連情報を情報検索装置に提供する関連情報提供手段と、を有することを特徴とするものである。
【００１５】
また、本発明にかかる情報検索システムにおいて、情報検索装置は、画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定手段と、表示領域指定手段により指定された表示領域を解析し、画面上に表示された表示画像を特定する表示画像特定手段と、を有し、第１の関連情報取得手段は、表示画像特定手段により特定された表示画像を基に、関連情報記憶手段を検索し、表示画像に関連する関連情報を取得し、第２の関連情報取得手段は、第１の関連情報取得手段により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得することを特徴とするものである。
【００１６】
また、本発明にかかる情報検索システムにおいて、情報検索装置は、音声情報を出力する音声情報出力手段を有し、第１の関連情報取得手段、または、第２の関連情報取得手段により取得した関連情報が画像情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、取得した関連情報が音声情報の場合には、音声情報出力手段から音声情報を出力し、取得した関連情報が、画像情報と音声情報とを含む情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、音声情報出力手段から音声情報を出力することを特徴とするものである。
【００１７】
また、本発明にかかる情報検索システムにおいて、情報検索装置は、表示画像を識別する表示画像識別情報に関連づけて関連情報を記憶しており、関連情報管理装置は、表示画像識別情報に関連づけて関連情報を管理しており、第１の関連情報取得手段は、表示画像識別情報を基に、関連情報記憶手段を検索し、表示画像識別情報に関連づけられた関連情報を取得し、第２の関連情報取得手段は、第１の関連情報取得手段により、表示画像識別情報に関連づけられた関連情報を取得できない場合に、関連情報の取得要求を表示画像識別情報と共に、関連情報管理装置に送信し、関連情報管理装置から表示画像識別情報に関連づけられた関連情報を取得することを特徴とするものである。
【００１８】
また、本発明にかかる情報検索システムにおいて、表示領域指定手段は、ポインティングデバイスまたはトラックボールであることを特徴とするものである。
【００１９】
また、本発明にかかる情報検索方法は、画面上に表示された表示画像に関連する関連情報を検索する情報検索装置で行う情報検索方法あって、情報検索装置は、表示画像に関連する関連情報を管理する関連情報管理装置とネットワークを介して接続されており、情報検索装置の具備する記憶部を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第１の関連情報取得工程と、第１の関連情報取得工程により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第２の関連情報取得工程と、を、情報検索装置が行うことを特徴とするものである。
【００２０】
また、本発明にかかる情報検索方法は、画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定工程と、表示領域指定工程により指定された表示領域を解析し、画面上に表示された表示画像を特定する表示画像特定工程と、を、情報検索装置が行い、第１の関連情報取得工程は、表示画像特定工程により特定された表示画像を基に、情報検索装置の具備する記憶部を検索し、表示画像に関連する関連情報を取得し、第２の関連情報取得工程は、第１の関連情報取得工程により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得することを特徴とするものである。
【００２１】
また、本発明にかかる情報検索方法において、情報検索装置は、音声情報を出力する音声情報出力手段を有し、第１の関連情報取得工程、または、第２の関連情報取得工程により取得した関連情報が画像情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、取得した関連情報が音声情報の場合には、音声情報出力手段から音声情報を出力し、取得した関連情報が、画像情報と音声情報とを含む情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、音声情報出力手段から音声情報を出力することを特徴とするものである。
【００２２】
また、本発明にかかる情報検索方法において、情報検索装置は、表示画像を識別する表示画像識別情報に関連づけて関連情報を記憶部に記憶しており、関連情報管理装置は、表示画像識別情報に関連づけて関連情報を管理しており、第１の関連情報取得工程は、表示画像識別情報を基に、記憶部を検索し、表示画像識別情報に関連づけられた関連情報を取得し、第２の関連情報取得工程は、第１の関連情報取得工程により、表示画像識別情報に関連づけられた関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像識別情報に関連づけられた関連情報を取得することを特徴とするものである。
【００２３】
また、本発明にかかる情報検索方法において、表示領域指定工程は、ポインティングデバイスまたはトラックボールにより表示領域を指定することを特徴とするものである。
【００２４】
また、本発明にかかる情報検索プログラムは、画面上に表示された表示画像に関連する関連情報を検索する情報検索装置において実行させる情報検索プログラムあって、情報検索装置は、表示画像に関連する関連情報を管理する関連情報管理装置とネットワークを介して接続されており、情報検索装置の具備する記憶部を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第１の関連情報取得処理と、第１の関連情報取得処理により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第２の関連情報取得処理と、を、情報検索装置に実行させることを特徴とするものである。
【００２５】
また、本発明にかかる情報検索プログラムは、画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定処理と、表示領域指定処理により指定された表示領域を解析し、画面上に表示された表示画像を特定する表示画像特定処理と、を、情報検索装置に実行させ、第１の関連情報取得処理は、表示画像特定処理により特定された表示画像を基に、情報検索装置の具備する記憶部を検索し、表示画像に関連する関連情報を取得し、第２の関連情報取得処理は、第１の関連情報取得処理により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得することを特徴とするものである。
【００２６】
また、本発明にかかる情報検索プログラムにおいて、情報検索装置は、音声情報を出力する音声情報出力手段を有し、第１の関連情報取得処理、または、第２の関連情報取得処理により取得した関連情報が画像情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、取得した関連情報が音声情報の場合には、音声情報出力手段から音声情報を出力し、取得した関連情報が、画像情報と音声情報とを含む情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、音声情報出力手段から音声情報を出力することを特徴とするものである。
【００２７】
また、本発明にかかる情報検索プログラムにおいて、情報検索装置は、示画像を識別する表示画像識別情報に関連づけて関連情報を記憶部に記憶しており、関連情報管理装置は、表示画像識別情報に関連づけて関連情報を管理しており、第１の関連情報取得処理は、表示画像識別情報を基に、記憶部を検索し、表示画像識別情報に関連づけられた関連情報を取得し、第２の関連情報取得処理は、第１の関連情報取得処理により、表示画像識別情報に関連づけられた関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像識別情報に関連づけられた関連情報を取得することを特徴とするものである。
【００２８】
また、本発明にかかる情報検索プログラムにおいて、表示領域指定処理は、ポインティングデバイスまたはトラックボールにより表示領域を指定することを特徴とするものである。
【発明の効果】
【００２９】
本発明によれば、画面上に表示された表示画像に関連する関連情報を記憶する関連情報記憶手段を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する工程と、表示画像に関連する関連情報を関連情報記憶手段から取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する工程と、を行うことで、画面上に表示された表示画像に関連する関連情報を迅速、且つ、効率的に取得することが可能となる。
【発明を実施するための最良の形態】
【００３０】
まず、図１を参照しながら、本実施形態における情報検索システムの特徴について説明する。
【００３１】
本実施形態における情報検索システムは、画面上に表示された表示画像に関連する関連情報を検索する情報検索装置（１）と、関連情報を管理する関連情報管理装置（２）と、がネットワーク（３）を介して接続されて構成される。そして、情報検索装置（１）は、情報検索装置（１）の具備する記憶部を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示することになる。また、記憶部を検索し、表示画像に関連する関連情報を取得できない場合には、関連情報の取得要求を関連情報管理装置（２）に送信し、関連情報管理装置（２）から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示することになる。
【００３２】
このように、本実施形態における情報検索システムは、画面上に表示された表示画像に関連する関連情報を２段階で検索取得するように構成することで、画面上に表示された表示画像に関連する関連情報を迅速、且つ、効率的に取得することが可能となる。
【００３３】
また、本実施形態における情報検索システムは、画面上に表示された表示画面の中から特定の表示領域を指定し、該指定した表示領域を解析し、該解析した解析結果を基に、画面上に表示された表示画像を特定し、該特定した表示画像に関連する関連情報を取得することになるため、関連情報を取得する際の制約を低減させて、関連情報を取得することが可能となるため、関連情報を迅速、且つ、効率的に取得することが可能となる。以下、添付図面を参照しながら、本実施形態における情報検索システムについて説明する。なお、以下の実施形態においては、情報検索装置（１）を、移動体通信端末装置として説明するが、情報を検索可能な通信装置であれば、あらゆる機器を情報検索装置として適用することは可能である。
【００３４】
（第１の実施形態）
まず、図１を参照しながら、本実施形態の情報検索システムのシステム構成について説明する。
【００３５】
本実施形態における情報検索システムは、移動体通信端末装置（１）と、関連情報管理装置（２）と、がネットワーク（３）を介して接続されて構成される。
【００３６】
なお、本実施形態における情報検索システムは、移動体通信端末装置（１）と、関連情報管理装置（２）と、の接続は、ネットワーク（３）に限定せず、有線、無線を問わず、移動体通信端末装置（１）と、関連情報管理装置（２）と、の装置間で情報が送受信可能であればあらゆる通信形態を適用することが可能である。
【００３７】
＜移動体通信端末装置１＞
移動体通信端末装置（１）は、移動体通信端末装置（１）の具備する表示部上に表示した表示画像に関連する関連情報を検索する端末装置である。なお、移動体通信端末装置（１）としては、携帯電話機、ＰＨＳ、ＰＤＡなどの通信端末装置が適用可能である。以下、図２、図３を参照しながら、移動体通信端末装置（１）の構成について説明する。なお、図２は、本実施形態における移動体通信端末装置（１）の外部構成を示す図であり、図３は、移動体通信端末装置（１）の内部構成を示す図である。
【００３８】
本実施形態における移動体通信端末装置（１）は、図２に示すように、上側筐体（１０）と、下側筐体（１１）と、がヒンジ部（１２）を介して回動可能となる折畳み型の移動体通信端末装置である。
【００３９】
なお、本実施形態における移動体通信端末装置（１）は、上側筐体（１０）には、カメラ（１０４）と、表示部（１０２ａ、１０２ｂ）と、を有し、下側筐体（１１）には、移動検出部（１０９）となるポインティングデバイス（ＰＤ）と、操作部（１０３）と、を有して構成される。
【００４０】
次に、図３を参照しながら、本実施形態における移動体通信端末装置（１）の内部構成について説明する。
【００４１】
この図２に示す移動体通信端末装置（１）は、図３に示すように、アンテナ（１００）と、無線通信部（１０１）と、表示部（１０２ａ、１０２ｂ）と、操作部（１０３）と、カメラ（１０４）と、音声処理部（１０５）と、送話部（１０６）と、受話部（１０７）と、スピーカ（１０８）と、移動検出部（１０９）と、メモリ（１１０）と、画像認識部（１１１）と、制御部（１１２）と、を有して構成される。
【００４２】
無線通信部（１０１）は、アンテナ（１００）を介して無線基地局（図示せず）との間で無線信号を送受信するものである。
【００４３】
表示部（１０２ａ）は、図２に示す上側筐体（１０）の内面側に配設され、画像、図形、文字、記号などの各種情報を表示する主表示部である。表示部（１０２ｂ）は、図２に示す上側筐体（１０）の外面側に配設され、表示部（１０２ａ）と同様に、各種情報の表示を行う副表示部である。
【００４４】
操作部（１０３）は、図２に示す下側筐体（１１）の内面側に配設され、各種情報の入力、カーソルの移動操作等を行うものである。なお、本実施形態における操作部（１０３）は、テンキー、スクロール／決定キー（ポインティングデバイス）から構成するものとする。
【００４５】
カメラ（１０４）は、図２に示す上側筐体（１１）の外面側に配設され、画像の読み取り（撮影）を行うものである。なお、本実施形態におけるカメラ（１０４）は、移動体通信端末装置（１）の開／閉状態に係わらず、画像の読み取り（撮影）を行うことが可能となるように構築されている。
【００４６】
音声処理部（１０５）は、音声処理を行うものである。送話部（１０６）は、音声情報を取得し、該取得した音声情報を音声処理部（１０５）に入力するものである。送話部（１０６）は、音声処理部（１０５）において音声処理が行なわれた音声情報を外部に出力するものである。スピーカ（１０８）は、音声情報を出力するものである。
【００４７】
移動検出部（１０９）は、表示部（１０２ａ）上に表示した表示画像のカーソル移動操作を行うものである。なお、本実施形態における移動体通信端末装置（１）は、移動検出部（１０９）として、ポインティングデバイス（ＰＤ）を適用する。
【００４８】
メモリ（１１０）は、電話帳情報、送受信メール情報、発着呼情報、画像・音楽情報（コンテンツ）、ソフトウェアプログラム情報、辞書情報、移動体通信端末装置（１）の各種設定情報を格納するものである。
【００４９】
画像認識部（１１１）は、表示部（１０２ａ）上に表示した文字、画像、図形、記号等の表示画像を解析し、表示部（１０２ａ）上に表示した表示画像を特定するものである。
【００５０】
制御部（１１２）は、移動体通信端末装置（１）の各種制御を行い、電話機能、メール機能、インターネット接続機能、カメラ機能、文字認識機能等の制御を行うものである。
【００５１】
＜関連情報管理装置２＞
関連情報管理装置（２）は、移動体通信端末装置（１）の具備するメモリ（１１０）に格納される情報以外の情報を格納管理する情報処理装置であり、移動体通信端末装置（１）の外部データベースとして機能することになる。この関連情報管理装置（２）により、移動体通信端末装置（１）の具備するメモリ（１１０）から取得できなかった情報を、関連情報管理装置（２）の具備するデータベースから取得し、移動体通信端末装置（１）に提供することが可能となる。
【００５２】
次に、図３、図４を参照しながら、本実施形態における情報検索システムにおける処理動作について説明する。
【００５３】
まず、移動体通信端末装置（１）の具備する操作部（１０３）を用いて所定の操作を行い、文字認識モード（文字・画像読取状態）を開始することになる。制御部（１１２）は、文字認識モードが開始されたと判断した際に（ステップＳ１０１／ＹＥＳ）、カメラ（１０４）にて撮像した撮像画像を表示部（１０２ａ）上に表示することになる。
【００５４】
次に、制御部（１１２）は、移動検出部（１０９）となるポインティングデバイス（ＰＤ）の操作制御により、表示部（１０２ａ）上に表示される撮像画像をカーソル移動し、表示部（１０２ａ）上に表示された撮像画像の中から、画像認識部（１１１）において認識させたい表示領域を指定することになる（ステップＳ１０２）。
【００５５】
次に、制御部（１１２）は、ポインティングデバイス（ＰＤ）の操作制御により、表示部（１０２ａ）上に表示された撮像画像の中から表示領域を指定した後に、表示部（１０２ａ）上に表示された撮像画像が所定時間固定されたと判断した場合に（ステップＳ１０３／Ｙｅｓ）、制御部（１１２）は、表示部（１０２ａ）上に表示された撮像画像の中から指定した表示領域の画像認識を画像認識部（１１１）において実行させることになる（ステップＳ１０４）。
【００５６】
このように、本実施形態における移動体通信端末装置（１）は、操作者の知りたい情報をカメラ（１０４）にて撮像し、該撮像した撮像画像を表示部（１０２ａ）上に表示させ、該表示させた撮像画像の中から、ポインティングデバイス（１０９）を用いて、画像認識部（１１１）において認識させたい表示領域を指定し、該指定した表示領域を画像認識部（１１１）において解析し、ポインティングデバイス（１０９）を用いて指定した表示領域の画像を認識させることになる。
【００５７】
次に、制御部（１１２）は、ポインティングデバイス（１０９）を用いて指定した表示領域の画像の認識が完了したか否かを判定し（ステップＳ１０５）、表示領域の画像の認識が完了したと判定した場合は（ステップＳ１０５／Ｙｅｓ）、画像認識部（１１１）において認識した認識情報（文字、図形、画像等）を基に、移動体通信端末装置（１）に内蔵されたメモリ（１１０）を検索し、画像認識部（１１１）において認識した認識情報に関連づけられた関連情報をメモリ（１１０）から取得することになる（ステップＳ１０６）。
【００５８】
次に、制御部（１１２）は、画像認識部（１１１）において認識した認識情報に関連づけられた関連情報をメモリ（１１０）から取得したか否かを判断し（ステップＳ１０７）、画像認識部（１１１）において認識した認識情報に関連づけられた関連情報をメモリ（１１０）から取得したと判断した場合は（ステップＳ１０７／Ｙｅｓ）、制御部（１１２）は、メモリ（１１０）から取得した関連情報を、表示部（１０２ａ）上に表示することになる（ステップＳ１０８）。
【００５９】
なお、メモリ（１１０）から取得した関連情報が画像データの場合には、上述したように表示部（１０２ａ）上に表示することになる。また、メモリ（１１０）から取得した関連情報が、音声情報の場合には、スピーカ（１０８）から音声情報を出力することになる（ステップＳ１０８）。また、メモリ（１１０）から取得した関連情報が、音声情報と画像データとを含む情報の場合には、画像データを表示部（１０２ａ）上に表示し、音声情報をスピーカ（１０８）から出力することになる。
【００６０】
次に、制御部（１１２）は、画像認識部（１１１）において認識した認識情報に関連づけられた関連情報をメモリ（１１０）から取得することができないと判断した場合は（ステップＳ１０７／Ｎｏ）、関連情報管理装置（２）に対し、認識情報に関連づけられた関連情報の取得要求を送信することになる（ステップＳ１０９）。
【００６１】
関連情報管理装置（２）は、移動体通信端末装置（１）から、認識情報に関連づけられた関連情報の取得要求を受信した際に、関連情報管理装置（２）の具備するデータベースを検索し、認証情報に関連づけられた関連情報を取得することになる。
【００６２】
関連情報管理装置（２）は、認証情報に関連づけられた関連情報をデータベースから取得できたと判断した場合には、その取得した関連情報を移動体通信端末装置（１）に送信することになる。
【００６３】
これにより、移動体通信端末装置（１）は、関連情報管理装置（２）から関連情報を取得することが可能となり、該取得した関連情報を、表示部（１０２ａ）上に表示したり、スピーカ（１０８）から出力したりすることになる（ステップＳ１１０）。
【００６４】
このように、本実施形態における情報検索システムは、利用者の知りたい情報『テキスト・画像』を移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、該撮像した撮像画像を表示部（１０２ａ）上に表示し、表示部（１０２ａ）上に表示した表示画像の中から、ポインティングデバイス（１０９）を用いて特定の表示領域を指定し、該指定した表示領域を画像認識部（１１１）にて解析し、解析結果を基に、表示画像を特定することになる。そして、その特定した表示画像に関連する関連情報をメモリ（１１０）から取得し、該取得した関連情報を表示部（１０２ａ）上に表示させることで、利用者の知りたい情報に関連する『関連情報』を、図５に示すように、『検索対象』となる表示画像に関連づけて表示部（１０２ａ）上に表示することが可能となる。また、表示画像に関連する関連情報が移動体通信端末装置（１）の具備するメモリ（１１０）から取得できない場合には、関連情報管理装置（２）から関連情報を取得することで、移動体通信端末装置（１）のメモリ（１１０）からでは取得出来なかった『関連情報』を、図５に示すように、『検索対象』となる表示画像に関連づけて表示部（１０２ａ）上に表示することが可能となる。これにより、移動体通信端末装置（１）の利用者は、利用者の所望する情報を即時に入手することが可能となる。また、情報提供者は、関連情報管理装置（２）の具備するデータベースに登録することで、様々な情報を利用者に提供することが可能となる。これにより、通信事業者は、ＡＲＰＵ（Average Revenue Per User：通信事業での加入者一人あたりの月間売上高平均値）の向上を図ることが可能となる。
【００６５】
なお、本実施形態における情報検索システムは、移動体通信端末装置（１）の具備するメモリ（１１０）や、関連情報管理装置（２）の具備するデータベースに格納管理する情報としては、辞書情報等が挙げられる。
【００６６】
例えば、本などを読みながら、漢字の『読み』・『意味』がわからない場合、図５に示すように、その本をカメラ（１０４）で撮影し、表示部（１０２ａ）上にテキストデータを表示し、該表示したテキストデータの中から画像認識部（１１１）において単語や文章を抽出する。そして、その抽出した単語や文章の中からポインティングデバイス（１０９）を用いて検索対象となる漢字をカーソル等で特定し、該特定した漢字を画像認識部（１１１）にて認識し、該認識した漢字に関連する関連情報となる『読み』・『意味』を、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から取得し、該取得した『読み』・『意味』を、漢字に関連づけて表示部（１０２ｂ）上に表示することになる。なお、ポインティングデバイス（１０９）を用いて検索対象となる漢字を特定する際には、例えば、所定の枠内に文字列が入るように設計し、検索対象となる漢字を特定するように構築することも可能である。
【００６７】
また、検索対象となる漢字を特定する際に、所定の枠内に入る文字列を１行とする等の制限情報を付加させることも可能である。また、取得した関連情報が複数ある場合には、該取得した関連情報を切り替えて表示部（１０２ｂ）上に表示するように構築することも可能である。例えば、メモリ（１１０）、または、関連情報管理装置（２）から取得した関連情報が『読み』・『意味』の２種類の関連情報の場合には、『読み』・『意味』を、切り替えて検索対象となる漢字に関連づけて表示部（１０２ｂ）上に表示するように構築することも可能である。
【００６８】
また、操作者が今まで検索した履歴情報を移動体通信端末装置（１）の具備するメモリ（１１０）に格納し、そのメモリ（１１０）に格納した履歴情報を基に、移動体通信端末装置（１）が統計処理を行い、操作者が頻繁に検索する分野に特化した辞書情報を関連情報管理装置（２）から事前に取得し、メモリ（１１０）に格納し、移動体通信端末装置（１）のメモリ（１１０）の辞書機能を強化するように構築することも可能である。
【００６９】
（第２の実施形態）
次に、第２の実施形態について説明する。
第１の実施形態における情報検索システムを構成する移動体通信端末装置（１）は、表示部（１０２ａ）上に表示された表示画面の中から特定の表示領域を指定する際に、ポインティングデバイス（ＰＤ）を用いて行うこととしたが、第２の実施形態における移動体通信端末装置（１）は、表示部（１０２ａ）上に表示された表示画面の中から特定の表示領域を指定する際に、図６に示すトラックボール（１０９）を用いて行うことを特徴とするものである。以下、図６、図７を参照しながら、第２の実施形態における情報検索システムについて説明する。
【００７０】
まず、第２の実施形態における情報検索システムを構成する移動体通信端末装置（１）について説明する。
【００７１】
第２の実施形態における移動体通信端末装置（１）は、図６に示すように、下側筐体（１１）に、移動検出部（１０９）となるトラックボールを設けたことを特徴とするものである。第２の実施形態における移動体通信端末装置（１）は、このトラックボール（１０９）を用いて、移動体通信端末装置（１）自体を移動させ、表示部（１０２ａ）上に表示された表示画像の中から特定の表示領域を指定することになる。
【００７２】
次に、図７を参照しながら、第２の実施形態における情報検索システムにおける処理動作について説明する。
【００７３】
第２の実施形態における情報検索システムの処理動作は、制御部（１１２）が、文字認識モードが開始されたと判断した際に（ステップＳ２０１／ＹＥＳ）、カメラ（１０４）にて撮像した撮像画像を表示部（１０２ａ）上に表示し、移動検出部（１０９）となるトラックボールの操作制御により、表示部（１０２ａ）上に表示する撮像画像をカーソル移動し、表示部（１０２ａ）上に表示する撮像画像の中から、画像認識部（１１１）において認識させたい表示領域を指定することになる（ステップＳ２０２）。そして、第１の実施形態と同様に、画像認識部（１１１）において認識した認識情報に関連づけられた関連情報をメモリ（１１０）、または、関連情報管理装置（２）から取得し、該取得した関連情報を表示部（１０２ａ）上に表示することになる（ステップＳ２０３〜Ｓ２１０）。
【００７４】
このように、第２の実施形態における情報検索システムは、移動体通信端末装置（１）に搭載されたトラックボール（１０９）を用いて、移動体通信端末装置（１）自体を移動させ、表示部（１０２ａ）上に表示された表示画像の中から特定の表示領域を指定することで、第１の実施形態と同様な検索処理を行うことが可能となる。なお、表示部（１０２ａ）上に表示された表示画像の中から特定の表示領域を指定する際には、ポインティングデバイス（ＰＤ）を用いるか、または、トラックボールを用いるかを任意に変更するように構築することも可能である。これにより、表示部（１０２ａ）上に表示された表示画像の中から特定の表示領域を指定する際の操作を、状況に応じて変更して行うことが可能となる。
【００７５】
（本実施形態の情報検索システムを適用したサービス）
次に、上述した本実施形態における情報検索システムを適用したサービス提供方法について以下に説明する。
【００７６】
（第１のサービス提供例）
例えば、テレビ画面に表示されているタレントの名前やそのタレントに関する情報を知りたいと思った場合、そのテレビ画面を移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上の所定の枠内に、カメラ（１０４）にて撮像したタレントの画像データが入るように表示画像を特定し、該特定した表示画像を基に、画像認識部（１１１）において特徴点抽出処理を行い、カメラ（１０４）にて撮像したタレントの認識情報を生成する。そして、画像認識部（１１１）において生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から、認識情報に関連する関連情報を取得し、該取得した関連情報を表示部（１０２ａ）上に表示する。これにより、テレビ画面に表示されているタレントの名前やそのタレントに関する関連情報を移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から取得することが可能となる。
【００７７】
なお、メモリ（１１０）、または、関連情報管理装置（２）から、画像認識部（１１１）において生成した認識情報に関連する関連情報を取得する際は、画像認識部（１１１）において生成した認識情報に対し、所定の割合以上該当すると判断した認識情報に関連する関連情報を取得するように構築することも可能である。即ち、メモリ（１１０）、または、関連情報管理装置（２）から認識情報に関連する関連情報を取得する際の検索条件の精度を調整するように構築することも可能である。
【００７８】
また、メモリ（１１０）、または、関連情報管理装置（２）から、認識情報に関連する関連情報を取得する際に、操作部（１０３）、または、送話部（１０６）を用いて所定の検索条件を移動体通信端末装置（１）に入力し、関連情報を取得する際の検索条件の精度を高め、認識情報に関連する関連情報を取得するように構築することも可能である。
【００７９】
（第２のサービス提供例）
まず、タレントの顔画像データを本実施形態の移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上の所定の枠内に、カメラ（１０４）にて撮像したタレントの顔画像データが入るように自動的に表示画像を特定し、該特定した表示画像を基に、画像認識部（１１１）において特徴点抽出処理を行い、カメラ（１０４）にて撮像したタレントの顔画像データの認識情報を生成する。そして、その生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）を検索し、メモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースに格納管理されている３次元あるいは２次元の顔画像データの中から、最も類似度の高いタレントの顔画像データ、または、類似度が所定の割合以上のタレントの顔画像データを取得し、該取得したタレントの顔画像データを表示部（１０２ａ）上に表示する。そして、操作部（１０３）を用いて所定の操作を行い、表示部（１０２ａ）上に表示したタレントの顔画像データの中から任意のタレントの顔画像データを選択し、該選択したタレントに関連するサイトに接続し、該接続したサイトからタレントに関する情報（名前・出身地・画像・生年月日・サムネイル画像等）を取得し、表示部（１０２ａ）上に表示させるように構築することも可能である。なお、サイト側は、移動体通信端末装置（１）に対して提供するタレントに関する情報に対し、有料・無料等の情報を設定し、課金処理を行うように構築することも可能である。
【００８０】
（第３のサービス提供例）
まず、雑誌などに掲載されている写真と同じ画像データを壁紙として取得したい場合に、その写真を本実施形態の移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上の所定の枠内に、写真の画像データが入るように表示画像を特定し、該特定した表示画像を基に、画像認識部（１１１）において認識処理を行い、カメラ（１０４）にて撮像した写真データの認識情報を生成する。そして、画像認識部（１１１）において生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースに格納管理されている壁紙となる写真データの中から、画像認識部（１１１）において生成した認識情報に該当する写真データを取得し、該取得した写真データを表示部（１０２ａ）上に表示する。
【００８１】
なお、壁紙として取得したい写真データの認識情報を画像認識部（１１１）において生成する際に、画像認識部（１１１）において認識する所定の枠内に、写真データの所定の特徴部分が含まれるように表示画像を特定する条件を課し、また、メモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースに格納管理される壁紙となる写真データにも所定の特徴部分を含めて格納管理し、メモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースから取得する際に、所定の特徴部分を基に、画像認識部（１１１）において生成した認識情報に該当する写真データを取得するように構築することも可能である。
【００８２】
また、画像認識部（１１１）において生成した認識情報を基に、メモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースの中から、壁紙として取得したい写真データを取得する際に、移動体通信端末装置（１）の具備する操作部（１０３）を用いて、壁紙として取得したい写真データのジャンル（例えば、世界遺産等）を別途指定し、該指定したジャンルと、認識情報と、を基に、メモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースの中から、壁紙として取得したい写真データを取得するように構築することも可能である。
【００８３】
（第４のサービス提供例）
まず、雑誌などに掲載されている写真を本実施形態の移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上の所定の枠内に、カメラ（１０４）にて撮像した写真の画像データが入るように表示画像を特定し、操作者の所望する画像データ（景色・グラフィック等）を抽出する。そして、その抽出した画像データを基に、画像認識部（１１１）において認識処理を行い、抽出した画像データの認識情報を生成する。そして、その生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースを検索し、メモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースに格納管理されている景色、グラフィック等の画像データの中から、最も整合度の高い画像データを取得し、該取得した画像データを表示部（１０２ａ）上に表示する。そして、操作部（１０３）を用いて所定の操作を行い、表示部（１０２ａ）上に表示した画像データを提供するサイトに接続し、該接続したサイトに対し、操作者の所望する画像データの取得要求を行い、サイトから画像データを取得し、表示部（１０２ａ）上に表示させるように構築することも可能である。なお、サイトから取得した画像データは、移動体通信端末装置（１）の具備する表示部（１０２ａ）上に表示する画面サイズにリサイズし、表示部（１０２ａ）上に表示することになる。なお、サイト側は、移動体通信端末装置（１）に対して提供する画像データに対し、有料・無料等の情報を設定し、課金処理を行うよう構築することも可能である。また、サイト側から画像データを取得した後、その取得した画像データのジャンル（景色、エーゲ海、等）に関連したサイトを表示部（１０２ａ）上に表示するように設計し、更なる画像データの取得機会を操作者側に与え、ＡＲＰＵ（Average Revenue Per User：通信事業での加入者一人あたりの月間売上高平均値）の向上を実現するように構築することも可能である。
【００８４】
（第５のサービス提供例）
まず、海外のレストラン等で、メニューが読めず、メニューの内容が解らない場合、その解らないメニューを本実施形態の移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上に表示した画像データの中から文字情報を抽出する。そして、その抽出した文字情報の中から検索対象となる文字をカーソル等で特定し、該特定した文字を画像認識部（１１１）にて認識し、該認識した文字に関連する関連情報を、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から取得し、該取得した関連情報を、表示部（１０２ａ）上に表示することになる。なお、この場合、移動体通信端末装置（１）の具備する操作部（１０３）を用いて、検索対象となる文字の翻訳要求を行い、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースから文字の翻訳結果を取得し、該取得した翻訳結果を文字に関連づけて表示部（１０２ａ）上に表示するように構築することも可能である。
【００８５】
（第６のサービス提供例）
まず、メニューを移動体通信端末装置（１）の具備するカメラ（１０４）にて撮影し、メニューの画像データを表示部（１０２ａ）上に表示する。次に、表示部（１０２ａ）上に表示したメニューの画像データの中から、操作者の知りたい料理部分のメニューの画像データを特定し、該特定したメニューの画像データを基に、画像認識部（１１１）において認識処理を行い、カメラ（１０４）にて撮像したメニューの画像データの認識情報を生成する。そして、画像認識部（１１１）において生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から、認識情報に関連する関連情報を取得し、該取得した関連情報を表示部（１０２ａ）上に表示する。これにより、メニューの画像データに関する関連情報を移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から取得することが可能となる。
【００８６】
なお、メモリ（１１０）、または、関連情報管理装置（２）から、画像認識部（１１１）において生成した認識情報に関連する関連情報を取得する際に、移動体通信端末装置（１）の具備する操作部（１０３）を用いて翻訳要求を行い、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースから関連情報の翻訳結果を取得し、該取得した関連情報の翻訳結果をカメラ（１０４）にて撮像したメニューの画像データに関連づけて表示部（１０２ａ）上に表示するように構築することも可能である。
【００８７】
また、移動体通信端末装置（１）の具備する操作部（１０３）を用いてメニューの種類を特定し、該特定したメニューの種類を基に、メニューの画像データに関する関連情報を移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から取得し、表示部（１０２ａ）上に表示するように構築することも可能である。
【００８８】
また、メモリ（１１０）、または、関連情報管理装置（２）から取得したメニューの画像データに関する関連情報を表示部（１０２ａ）上に表示し、操作部（１０３）を用いて所定の操作を行い、表示部（１０２ａ）上に表示した関連情報を提供するサイトに接続し、該接続したサイトに対し、関連情報の取得要求と共に、翻訳要求を行い、関連情報の翻訳結果を取得し、該取得した関連情報の翻訳結果を表示部（１０２ａ）上に表示させるように構築することも可能である。なお、関連情報の取得要求と共に、翻訳要求を行う場合には、日本語で提供するサイトに接続し、関連情報の翻訳結果を取得し、また、翻訳要求を行わない場合には、日本語で提供するサイトに限らず、関連情報が取得可能な全てのサイトに接続し、関連情報を取得することになる。なお、サイト側は、移動体通信端末装置（１）に対して提供する関連情報に対し、有料・無料等の情報を設定し、課金処理を行うように構築することも可能である。また、サイト側から関連情報を取得した後、その取得した関連情報に関するお得な情報を表示部（１０２ａ）上に表示するように設計し、更なる関連情報の取得機会を操作者側に与え、ＡＲＰＵ（Average Revenue Per User：通信事業での加入者一人あたりの月間売上高平均値）の向上を実現するように構築することも可能である。
【００８９】
（第７のサービス提供例）
まず、ＣＤのジャケットを見ながら、そのＣＤを作曲したアーティストに関するアルバムを知りたい場合、そのジャケットを本実施形態の移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上の所定の枠内に、カメラ（１０４）にて撮像したジャケットが入るように表示画像を特定し、該特定した表示画像を基に、操作者の所望するアーティストを特定し、該特定したアーティストを基に、画像認識部（１１１）において認識処理を行い、カメラ（１０４）にて撮像したアーティストの認識情報を生成する。そして、画像認識部（１１１）において生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースに格納管理されているアーティストに関連する関連情報（ＣＤのアルバム情報、アーティストの名前等）を取得し、該取得した関連情報を表示部（１０２ａ）上に表示することになる。なお、画像認識部（１１１）において生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から関連情報を取得する際に、検索条件を別途指定するように構築することも可能である。
【００９０】
（第８のサービス提供例）
まず、ＣＤのジャケットを移動体通信端末装置（１）の具備するカメラ（１０４）にて撮影し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上の所定の枠内に、カメラ（１０４）にて撮像したジャケットが入るように表示画像を特定し、操作者の所望するアーティストを特定し、該特定したアーティストを基に、画像認識部（１１１）において認識処理を行い、カメラ（１０４）にて撮像したアーティストの認識情報を生成する。そして、画像認識部（１１１）において生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースに格納管理されているアーティストに関連する関連情報（ＣＤのアルバム情報、アーティストの名前等）の中から最も整合度の高いアーティストに関連する関連情報を取得し、該取得した関連情報を表示部（１０２ａ）上に表示することになる。次に、移動体通信端末装置（１）の具備する操作部（１０３）を用いて、表示部（１０２ａ）上に表示したアーティストに関するサイトに接続し、該接続したサイトからアーティストに関する情報（ディスコグラフィ・着歌・ストリーミング視聴等）を取得し、該取得した情報を表示部（１０２ａ）上に表示させるように構築することも可能である。なお、サイト側は、移動体通信端末装置（１）に対して提供する関連情報に対し、有料・無料等の情報を設定し、課金処理を行うように構築することも可能である。
【００９１】
（第９のサービス提供例）
まず、年賀状などを書いている際に、相手先の郵便番号が判らない場合、その書いた住所を本実施形態の移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上に表示した表示画像の中から、画像認識部（１１１）において文字情報を抽出し、文字情報に関連する認識情報を生成する。そして、その生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースから認識情報に関連する関連情報（郵便番号）を取得し、該取得した関連情報を表示部（１０２ａ）上に表示することになる。
【００９２】
なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。例えば、上述した移動体通信端末装置における処理動作は、ハード構成ではなく、コンピュータプログラム等のソフトウェアにより実行することも可能であり、また、上記のプログラムは、光記録媒体、磁気記録媒体、光磁気記録媒体、または半導体等の記録媒体に記録し、その記録媒体からプログラムを移動体通信端末装置に読み込ませることで、上述した処理動作を移動体通信端末装置において実行させることも可能である。また、所定のネットワークを介して接続されている外部機器からプログラムを移動体通信端末装置に読み込ませることで、上述した処理動作を移動体通信端末装置において実行させることも可能である。
【産業上の利用可能性】
【００９３】
本実施形態における情報検索装置、情報検索システム、情報検索方法及び情報検索プログラムは、携帯電話機、ＰＨＳ、ＰＤＡなどの通信端末装置に適用可能である。
【図面の簡単な説明】
【００９４】
【図１】本実施形態における情報検索システムのシステム構成を示す図である。
【図２】図１に示す情報検索システムを構成する移動体通信端末装置（１）の外観図である。
【図３】図１に示す情報検索システムを構成する移動体通信端末装置（１）の内部構成を示す図である。
【図４】第１の実施形態における情報検索システムの処理動作を示すフロチャートである。
【図５】第１の実施形態における情報検索システムを適用した場合の一例を示す図である。
【図６】第２の実施形態における移動体通信端末装置（１）の外観図である。
【図７】第２の実施形態における情報検索システムの処理動作を示すフロチャートである。
【符号の説明】
【００９５】
１ 移動体通信端末装置（情報検索装置）
２ 関連情報管理装置
３ ネットワーク
１０ 上側筐体
１１ 下側筐体
１２ ヒンジ部
１００ アンテナ
１０１ 無線通信部
１０２ａ、１０２ｂ 表示部
１０３ 操作部
１０４ カメラ
１０５ 音声処理部
１０６ 送話部
１０７ 受話部
１０８ スピーカ
１０９ 移動検出部
１１０ メモリ
１１１ 画像認識部
１１２ 制御部
【技術分野】
【０００１】
本発明は、画面上に表示された表示画像に関連する関連情報を検索する情報検索装置、情報検索システム、情報検索方法及び情報検索プログラムに関するものである。
【背景技術】
【０００２】
例えば、書籍などを読んでいる際に、漢字の読み・意味が解らない状況が生じた場合には、その解らない情報を辞書等で能動的に検索しなければならず、煩わしさを伴っていたのが現状である。
【０００３】
このようなことから、本発明より先に出願された技術文献として、媒介情報と関連情報とを関連づける情報閲覧装置であって、前記媒介情報を取得する手段と、該取得した媒介情報から媒介情報の識別情報を取得する手段と、該識別情報をコンピュータネットワーク経由で送信する手段と、コンピュータネットワーク経由で関連情報を受信する手段と、受信した関連情報を出力する手段を備え、画面上に表示された媒介情報に関連する関連情報を入手可能とする情報閲覧装置が開示された文献がある（例えば、特許文献１参照）。
【０００４】
また、文字認識機能を有するサーバに通信ネットワークを介してアクセスする携帯端末装置において、文字が含まれている画像データを取得する取得手段と、前記取得手段により取得された画像データを表示する表示手段と、表示された画像データに含まれる文字領域の範囲を指定する範囲指定手段と、前記画像データ及び前記範囲指定手段により指定された文字領域の範囲情報を前記サーバに送信する送信手段と、前記サーバが有する文字認識機能により認識された文字をテキストデータとして該サーバから受信する受信手段と、を備え、文字情報を取得するのに便利であり、かつ取得した文字情報を素早く活用できる携帯端末装置が開示された文献がある（例えば、特許文献２参照）。
【特許文献１】特開２００２−３３４０９２号公報
【特許文献２】特開２００２−３５２１９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
なお、上記特許文献１は、コンピュータネットワーク経由で関連情報を受信することで、画面上に表示された媒介情報に関連する関連情報を入手可能とする技術が開示されているが、上記特許文献１に開示された技術では、常に、コンピュータネットワーク経由で関連情報を入手することになるため、関連情報を入手するまでには所定の時間を要することになる。
【０００６】
また、上記特許文献２は、文字認識機能を有するサーバに通信ネットワークを介してアクセスし、文字をテキストデータとして受信することになるため、上記特許文献１と同様に、常に、ネットワーク経由で文字を入手することになるため、文字を取得するまでには所定の時間を要することになる。
【０００７】
本発明は、上記事情に鑑みてなされたものであり、画面上に表示された表示画像に関連する関連情報を迅速、且つ、効率的に取得することを可能とする情報検索装置、情報検索システム、情報検索方法及び情報検索プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【０００８】
かかる目的を達成するために、本発明は以下の特徴を有することとする。
【０００９】
本発明にかかる情報検索装置は、画面上に表示された表示画像に関連する関連情報を検索する情報検索装置であって、情報検索装置は、表示画像に関連する関連情報を管理する関連情報管理装置とネットワークを介して接続されており、表示画像に関連する関連情報を記憶する関連情報記憶手段と、関連情報記憶手段を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第１の関連情報取得手段と、第１の関連情報取得手段により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第２の関連情報取得手段と、を有することを特徴とするものである。
【００１０】
また、本発明にかかる情報検索装置は、画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定手段と、表示領域指定手段により指定された表示領域を解析し、画面上に表示された表示画像を特定する表示画像特定手段と、を有し、第１の関連情報取得手段は、表示画像特定手段により特定された表示画像を基に、関連情報記憶手段を検索し、表示画像に関連する関連情報を取得し、第２の関連情報取得手段は、第１の関連情報取得手段により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得することを特徴とするものである。
【００１１】
また、本発明にかかる情報検索装置は、音声情報を出力する音声情報出力手段を有し、第１の関連情報取得手段、または、第２の関連情報取得手段により取得した関連情報が画像情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、取得した関連情報が音声情報の場合には、音声情報出力手段から音声情報を出力し、取得した関連情報が、画像情報と音声情報とを含む情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、音声情報出力手段から音声情報を出力することを特徴とするものである。
【００１２】
また、本発明にかかる情報検索装置において、関連情報記憶手段は、表示画像を識別する表示画像識別情報に関連づけて関連情報を記憶しており、関連情報管理装置は、表示画像識別情報に関連づけて関連情報を管理しており、第１の関連情報取得手段は、表示画像識別情報を基に、関連情報記憶手段を検索し、表示画像識別情報に関連づけられた関連情報を取得し、第２の関連情報取得手段は、第１の関連情報取得手段により、表示画像識別情報に関連づけられた関連情報を取得できない場合に、関連情報の取得要求を表示画像識別情報と共に、関連情報管理装置に送信し、関連情報管理装置から表示画像識別情報に関連づけられた関連情報を取得することを特徴とするものである。
【００１３】
また、本発明にかかる情報検索装置において、表示領域指定手段は、ポインティングデバイスまたはトラックボールであることを特徴とするものである。
【００１４】
また、本発明にかかる情報検索システムは、画面上に表示された表示画像に関連する関連情報を検索する情報検索装置と、関連情報を管理する関連情報管理装置と、を有する情報検索システムであって、情報検索装置は、表示画像に関連する関連情報を記憶する関連情報記憶手段と、関連情報記憶手段を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第１の関連情報取得手段と、第１の関連情報取得手段により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第２の関連情報取得手段と、を有し、関連情報管理装置は、関連情報の取得要求を情報検索装置から受信した際に、該取得要求に該当する関連情報を関連情報管理装置の具備する格納部から取得し、該取得した関連情報を情報検索装置に提供する関連情報提供手段と、を有することを特徴とするものである。
【００１５】
また、本発明にかかる情報検索システムにおいて、情報検索装置は、画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定手段と、表示領域指定手段により指定された表示領域を解析し、画面上に表示された表示画像を特定する表示画像特定手段と、を有し、第１の関連情報取得手段は、表示画像特定手段により特定された表示画像を基に、関連情報記憶手段を検索し、表示画像に関連する関連情報を取得し、第２の関連情報取得手段は、第１の関連情報取得手段により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得することを特徴とするものである。
【００１６】
また、本発明にかかる情報検索システムにおいて、情報検索装置は、音声情報を出力する音声情報出力手段を有し、第１の関連情報取得手段、または、第２の関連情報取得手段により取得した関連情報が画像情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、取得した関連情報が音声情報の場合には、音声情報出力手段から音声情報を出力し、取得した関連情報が、画像情報と音声情報とを含む情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、音声情報出力手段から音声情報を出力することを特徴とするものである。
【００１７】
また、本発明にかかる情報検索システムにおいて、情報検索装置は、表示画像を識別する表示画像識別情報に関連づけて関連情報を記憶しており、関連情報管理装置は、表示画像識別情報に関連づけて関連情報を管理しており、第１の関連情報取得手段は、表示画像識別情報を基に、関連情報記憶手段を検索し、表示画像識別情報に関連づけられた関連情報を取得し、第２の関連情報取得手段は、第１の関連情報取得手段により、表示画像識別情報に関連づけられた関連情報を取得できない場合に、関連情報の取得要求を表示画像識別情報と共に、関連情報管理装置に送信し、関連情報管理装置から表示画像識別情報に関連づけられた関連情報を取得することを特徴とするものである。
【００１８】
また、本発明にかかる情報検索システムにおいて、表示領域指定手段は、ポインティングデバイスまたはトラックボールであることを特徴とするものである。
【００１９】
また、本発明にかかる情報検索方法は、画面上に表示された表示画像に関連する関連情報を検索する情報検索装置で行う情報検索方法あって、情報検索装置は、表示画像に関連する関連情報を管理する関連情報管理装置とネットワークを介して接続されており、情報検索装置の具備する記憶部を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第１の関連情報取得工程と、第１の関連情報取得工程により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第２の関連情報取得工程と、を、情報検索装置が行うことを特徴とするものである。
【００２０】
また、本発明にかかる情報検索方法は、画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定工程と、表示領域指定工程により指定された表示領域を解析し、画面上に表示された表示画像を特定する表示画像特定工程と、を、情報検索装置が行い、第１の関連情報取得工程は、表示画像特定工程により特定された表示画像を基に、情報検索装置の具備する記憶部を検索し、表示画像に関連する関連情報を取得し、第２の関連情報取得工程は、第１の関連情報取得工程により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得することを特徴とするものである。
【００２１】
また、本発明にかかる情報検索方法において、情報検索装置は、音声情報を出力する音声情報出力手段を有し、第１の関連情報取得工程、または、第２の関連情報取得工程により取得した関連情報が画像情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、取得した関連情報が音声情報の場合には、音声情報出力手段から音声情報を出力し、取得した関連情報が、画像情報と音声情報とを含む情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、音声情報出力手段から音声情報を出力することを特徴とするものである。
【００２２】
また、本発明にかかる情報検索方法において、情報検索装置は、表示画像を識別する表示画像識別情報に関連づけて関連情報を記憶部に記憶しており、関連情報管理装置は、表示画像識別情報に関連づけて関連情報を管理しており、第１の関連情報取得工程は、表示画像識別情報を基に、記憶部を検索し、表示画像識別情報に関連づけられた関連情報を取得し、第２の関連情報取得工程は、第１の関連情報取得工程により、表示画像識別情報に関連づけられた関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像識別情報に関連づけられた関連情報を取得することを特徴とするものである。
【００２３】
また、本発明にかかる情報検索方法において、表示領域指定工程は、ポインティングデバイスまたはトラックボールにより表示領域を指定することを特徴とするものである。
【００２４】
また、本発明にかかる情報検索プログラムは、画面上に表示された表示画像に関連する関連情報を検索する情報検索装置において実行させる情報検索プログラムあって、情報検索装置は、表示画像に関連する関連情報を管理する関連情報管理装置とネットワークを介して接続されており、情報検索装置の具備する記憶部を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第１の関連情報取得処理と、第１の関連情報取得処理により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する第２の関連情報取得処理と、を、情報検索装置に実行させることを特徴とするものである。
【００２５】
また、本発明にかかる情報検索プログラムは、画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定処理と、表示領域指定処理により指定された表示領域を解析し、画面上に表示された表示画像を特定する表示画像特定処理と、を、情報検索装置に実行させ、第１の関連情報取得処理は、表示画像特定処理により特定された表示画像を基に、情報検索装置の具備する記憶部を検索し、表示画像に関連する関連情報を取得し、第２の関連情報取得処理は、第１の関連情報取得処理により、表示画像に関連する関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得することを特徴とするものである。
【００２６】
また、本発明にかかる情報検索プログラムにおいて、情報検索装置は、音声情報を出力する音声情報出力手段を有し、第１の関連情報取得処理、または、第２の関連情報取得処理により取得した関連情報が画像情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、取得した関連情報が音声情報の場合には、音声情報出力手段から音声情報を出力し、取得した関連情報が、画像情報と音声情報とを含む情報の場合には、表示画像に関連づけて画面上に画像情報を表示し、音声情報出力手段から音声情報を出力することを特徴とするものである。
【００２７】
また、本発明にかかる情報検索プログラムにおいて、情報検索装置は、示画像を識別する表示画像識別情報に関連づけて関連情報を記憶部に記憶しており、関連情報管理装置は、表示画像識別情報に関連づけて関連情報を管理しており、第１の関連情報取得処理は、表示画像識別情報を基に、記憶部を検索し、表示画像識別情報に関連づけられた関連情報を取得し、第２の関連情報取得処理は、第１の関連情報取得処理により、表示画像識別情報に関連づけられた関連情報を取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像識別情報に関連づけられた関連情報を取得することを特徴とするものである。
【００２８】
また、本発明にかかる情報検索プログラムにおいて、表示領域指定処理は、ポインティングデバイスまたはトラックボールにより表示領域を指定することを特徴とするものである。
【発明の効果】
【００２９】
本発明によれば、画面上に表示された表示画像に関連する関連情報を記憶する関連情報記憶手段を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する工程と、表示画像に関連する関連情報を関連情報記憶手段から取得できない場合に、関連情報の取得要求を関連情報管理装置に送信し、関連情報管理装置から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示する工程と、を行うことで、画面上に表示された表示画像に関連する関連情報を迅速、且つ、効率的に取得することが可能となる。
【発明を実施するための最良の形態】
【００３０】
まず、図１を参照しながら、本実施形態における情報検索システムの特徴について説明する。
【００３１】
本実施形態における情報検索システムは、画面上に表示された表示画像に関連する関連情報を検索する情報検索装置（１）と、関連情報を管理する関連情報管理装置（２）と、がネットワーク（３）を介して接続されて構成される。そして、情報検索装置（１）は、情報検索装置（１）の具備する記憶部を検索し、表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示することになる。また、記憶部を検索し、表示画像に関連する関連情報を取得できない場合には、関連情報の取得要求を関連情報管理装置（２）に送信し、関連情報管理装置（２）から表示画像に関連する関連情報を取得し、該取得した関連情報を画面上に表示することになる。
【００３２】
このように、本実施形態における情報検索システムは、画面上に表示された表示画像に関連する関連情報を２段階で検索取得するように構成することで、画面上に表示された表示画像に関連する関連情報を迅速、且つ、効率的に取得することが可能となる。
【００３３】
また、本実施形態における情報検索システムは、画面上に表示された表示画面の中から特定の表示領域を指定し、該指定した表示領域を解析し、該解析した解析結果を基に、画面上に表示された表示画像を特定し、該特定した表示画像に関連する関連情報を取得することになるため、関連情報を取得する際の制約を低減させて、関連情報を取得することが可能となるため、関連情報を迅速、且つ、効率的に取得することが可能となる。以下、添付図面を参照しながら、本実施形態における情報検索システムについて説明する。なお、以下の実施形態においては、情報検索装置（１）を、移動体通信端末装置として説明するが、情報を検索可能な通信装置であれば、あらゆる機器を情報検索装置として適用することは可能である。
【００３４】
（第１の実施形態）
まず、図１を参照しながら、本実施形態の情報検索システムのシステム構成について説明する。
【００３５】
本実施形態における情報検索システムは、移動体通信端末装置（１）と、関連情報管理装置（２）と、がネットワーク（３）を介して接続されて構成される。
【００３６】
なお、本実施形態における情報検索システムは、移動体通信端末装置（１）と、関連情報管理装置（２）と、の接続は、ネットワーク（３）に限定せず、有線、無線を問わず、移動体通信端末装置（１）と、関連情報管理装置（２）と、の装置間で情報が送受信可能であればあらゆる通信形態を適用することが可能である。
【００３７】
＜移動体通信端末装置１＞
移動体通信端末装置（１）は、移動体通信端末装置（１）の具備する表示部上に表示した表示画像に関連する関連情報を検索する端末装置である。なお、移動体通信端末装置（１）としては、携帯電話機、ＰＨＳ、ＰＤＡなどの通信端末装置が適用可能である。以下、図２、図３を参照しながら、移動体通信端末装置（１）の構成について説明する。なお、図２は、本実施形態における移動体通信端末装置（１）の外部構成を示す図であり、図３は、移動体通信端末装置（１）の内部構成を示す図である。
【００３８】
本実施形態における移動体通信端末装置（１）は、図２に示すように、上側筐体（１０）と、下側筐体（１１）と、がヒンジ部（１２）を介して回動可能となる折畳み型の移動体通信端末装置である。
【００３９】
なお、本実施形態における移動体通信端末装置（１）は、上側筐体（１０）には、カメラ（１０４）と、表示部（１０２ａ、１０２ｂ）と、を有し、下側筐体（１１）には、移動検出部（１０９）となるポインティングデバイス（ＰＤ）と、操作部（１０３）と、を有して構成される。
【００４０】
次に、図３を参照しながら、本実施形態における移動体通信端末装置（１）の内部構成について説明する。
【００４１】
この図２に示す移動体通信端末装置（１）は、図３に示すように、アンテナ（１００）と、無線通信部（１０１）と、表示部（１０２ａ、１０２ｂ）と、操作部（１０３）と、カメラ（１０４）と、音声処理部（１０５）と、送話部（１０６）と、受話部（１０７）と、スピーカ（１０８）と、移動検出部（１０９）と、メモリ（１１０）と、画像認識部（１１１）と、制御部（１１２）と、を有して構成される。
【００４２】
無線通信部（１０１）は、アンテナ（１００）を介して無線基地局（図示せず）との間で無線信号を送受信するものである。
【００４３】
表示部（１０２ａ）は、図２に示す上側筐体（１０）の内面側に配設され、画像、図形、文字、記号などの各種情報を表示する主表示部である。表示部（１０２ｂ）は、図２に示す上側筐体（１０）の外面側に配設され、表示部（１０２ａ）と同様に、各種情報の表示を行う副表示部である。
【００４４】
操作部（１０３）は、図２に示す下側筐体（１１）の内面側に配設され、各種情報の入力、カーソルの移動操作等を行うものである。なお、本実施形態における操作部（１０３）は、テンキー、スクロール／決定キー（ポインティングデバイス）から構成するものとする。
【００４５】
カメラ（１０４）は、図２に示す上側筐体（１１）の外面側に配設され、画像の読み取り（撮影）を行うものである。なお、本実施形態におけるカメラ（１０４）は、移動体通信端末装置（１）の開／閉状態に係わらず、画像の読み取り（撮影）を行うことが可能となるように構築されている。
【００４６】
音声処理部（１０５）は、音声処理を行うものである。送話部（１０６）は、音声情報を取得し、該取得した音声情報を音声処理部（１０５）に入力するものである。送話部（１０６）は、音声処理部（１０５）において音声処理が行なわれた音声情報を外部に出力するものである。スピーカ（１０８）は、音声情報を出力するものである。
【００４７】
移動検出部（１０９）は、表示部（１０２ａ）上に表示した表示画像のカーソル移動操作を行うものである。なお、本実施形態における移動体通信端末装置（１）は、移動検出部（１０９）として、ポインティングデバイス（ＰＤ）を適用する。
【００４８】
メモリ（１１０）は、電話帳情報、送受信メール情報、発着呼情報、画像・音楽情報（コンテンツ）、ソフトウェアプログラム情報、辞書情報、移動体通信端末装置（１）の各種設定情報を格納するものである。
【００４９】
画像認識部（１１１）は、表示部（１０２ａ）上に表示した文字、画像、図形、記号等の表示画像を解析し、表示部（１０２ａ）上に表示した表示画像を特定するものである。
【００５０】
制御部（１１２）は、移動体通信端末装置（１）の各種制御を行い、電話機能、メール機能、インターネット接続機能、カメラ機能、文字認識機能等の制御を行うものである。
【００５１】
＜関連情報管理装置２＞
関連情報管理装置（２）は、移動体通信端末装置（１）の具備するメモリ（１１０）に格納される情報以外の情報を格納管理する情報処理装置であり、移動体通信端末装置（１）の外部データベースとして機能することになる。この関連情報管理装置（２）により、移動体通信端末装置（１）の具備するメモリ（１１０）から取得できなかった情報を、関連情報管理装置（２）の具備するデータベースから取得し、移動体通信端末装置（１）に提供することが可能となる。
【００５２】
次に、図３、図４を参照しながら、本実施形態における情報検索システムにおける処理動作について説明する。
【００５３】
まず、移動体通信端末装置（１）の具備する操作部（１０３）を用いて所定の操作を行い、文字認識モード（文字・画像読取状態）を開始することになる。制御部（１１２）は、文字認識モードが開始されたと判断した際に（ステップＳ１０１／ＹＥＳ）、カメラ（１０４）にて撮像した撮像画像を表示部（１０２ａ）上に表示することになる。
【００５４】
次に、制御部（１１２）は、移動検出部（１０９）となるポインティングデバイス（ＰＤ）の操作制御により、表示部（１０２ａ）上に表示される撮像画像をカーソル移動し、表示部（１０２ａ）上に表示された撮像画像の中から、画像認識部（１１１）において認識させたい表示領域を指定することになる（ステップＳ１０２）。
【００５５】
次に、制御部（１１２）は、ポインティングデバイス（ＰＤ）の操作制御により、表示部（１０２ａ）上に表示された撮像画像の中から表示領域を指定した後に、表示部（１０２ａ）上に表示された撮像画像が所定時間固定されたと判断した場合に（ステップＳ１０３／Ｙｅｓ）、制御部（１１２）は、表示部（１０２ａ）上に表示された撮像画像の中から指定した表示領域の画像認識を画像認識部（１１１）において実行させることになる（ステップＳ１０４）。
【００５６】
このように、本実施形態における移動体通信端末装置（１）は、操作者の知りたい情報をカメラ（１０４）にて撮像し、該撮像した撮像画像を表示部（１０２ａ）上に表示させ、該表示させた撮像画像の中から、ポインティングデバイス（１０９）を用いて、画像認識部（１１１）において認識させたい表示領域を指定し、該指定した表示領域を画像認識部（１１１）において解析し、ポインティングデバイス（１０９）を用いて指定した表示領域の画像を認識させることになる。
【００５７】
次に、制御部（１１２）は、ポインティングデバイス（１０９）を用いて指定した表示領域の画像の認識が完了したか否かを判定し（ステップＳ１０５）、表示領域の画像の認識が完了したと判定した場合は（ステップＳ１０５／Ｙｅｓ）、画像認識部（１１１）において認識した認識情報（文字、図形、画像等）を基に、移動体通信端末装置（１）に内蔵されたメモリ（１１０）を検索し、画像認識部（１１１）において認識した認識情報に関連づけられた関連情報をメモリ（１１０）から取得することになる（ステップＳ１０６）。
【００５８】
次に、制御部（１１２）は、画像認識部（１１１）において認識した認識情報に関連づけられた関連情報をメモリ（１１０）から取得したか否かを判断し（ステップＳ１０７）、画像認識部（１１１）において認識した認識情報に関連づけられた関連情報をメモリ（１１０）から取得したと判断した場合は（ステップＳ１０７／Ｙｅｓ）、制御部（１１２）は、メモリ（１１０）から取得した関連情報を、表示部（１０２ａ）上に表示することになる（ステップＳ１０８）。
【００５９】
なお、メモリ（１１０）から取得した関連情報が画像データの場合には、上述したように表示部（１０２ａ）上に表示することになる。また、メモリ（１１０）から取得した関連情報が、音声情報の場合には、スピーカ（１０８）から音声情報を出力することになる（ステップＳ１０８）。また、メモリ（１１０）から取得した関連情報が、音声情報と画像データとを含む情報の場合には、画像データを表示部（１０２ａ）上に表示し、音声情報をスピーカ（１０８）から出力することになる。
【００６０】
次に、制御部（１１２）は、画像認識部（１１１）において認識した認識情報に関連づけられた関連情報をメモリ（１１０）から取得することができないと判断した場合は（ステップＳ１０７／Ｎｏ）、関連情報管理装置（２）に対し、認識情報に関連づけられた関連情報の取得要求を送信することになる（ステップＳ１０９）。
【００６１】
関連情報管理装置（２）は、移動体通信端末装置（１）から、認識情報に関連づけられた関連情報の取得要求を受信した際に、関連情報管理装置（２）の具備するデータベースを検索し、認証情報に関連づけられた関連情報を取得することになる。
【００６２】
関連情報管理装置（２）は、認証情報に関連づけられた関連情報をデータベースから取得できたと判断した場合には、その取得した関連情報を移動体通信端末装置（１）に送信することになる。
【００６３】
これにより、移動体通信端末装置（１）は、関連情報管理装置（２）から関連情報を取得することが可能となり、該取得した関連情報を、表示部（１０２ａ）上に表示したり、スピーカ（１０８）から出力したりすることになる（ステップＳ１１０）。
【００６４】
このように、本実施形態における情報検索システムは、利用者の知りたい情報『テキスト・画像』を移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、該撮像した撮像画像を表示部（１０２ａ）上に表示し、表示部（１０２ａ）上に表示した表示画像の中から、ポインティングデバイス（１０９）を用いて特定の表示領域を指定し、該指定した表示領域を画像認識部（１１１）にて解析し、解析結果を基に、表示画像を特定することになる。そして、その特定した表示画像に関連する関連情報をメモリ（１１０）から取得し、該取得した関連情報を表示部（１０２ａ）上に表示させることで、利用者の知りたい情報に関連する『関連情報』を、図５に示すように、『検索対象』となる表示画像に関連づけて表示部（１０２ａ）上に表示することが可能となる。また、表示画像に関連する関連情報が移動体通信端末装置（１）の具備するメモリ（１１０）から取得できない場合には、関連情報管理装置（２）から関連情報を取得することで、移動体通信端末装置（１）のメモリ（１１０）からでは取得出来なかった『関連情報』を、図５に示すように、『検索対象』となる表示画像に関連づけて表示部（１０２ａ）上に表示することが可能となる。これにより、移動体通信端末装置（１）の利用者は、利用者の所望する情報を即時に入手することが可能となる。また、情報提供者は、関連情報管理装置（２）の具備するデータベースに登録することで、様々な情報を利用者に提供することが可能となる。これにより、通信事業者は、ＡＲＰＵ（Average Revenue Per User：通信事業での加入者一人あたりの月間売上高平均値）の向上を図ることが可能となる。
【００６５】
なお、本実施形態における情報検索システムは、移動体通信端末装置（１）の具備するメモリ（１１０）や、関連情報管理装置（２）の具備するデータベースに格納管理する情報としては、辞書情報等が挙げられる。
【００６６】
例えば、本などを読みながら、漢字の『読み』・『意味』がわからない場合、図５に示すように、その本をカメラ（１０４）で撮影し、表示部（１０２ａ）上にテキストデータを表示し、該表示したテキストデータの中から画像認識部（１１１）において単語や文章を抽出する。そして、その抽出した単語や文章の中からポインティングデバイス（１０９）を用いて検索対象となる漢字をカーソル等で特定し、該特定した漢字を画像認識部（１１１）にて認識し、該認識した漢字に関連する関連情報となる『読み』・『意味』を、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から取得し、該取得した『読み』・『意味』を、漢字に関連づけて表示部（１０２ｂ）上に表示することになる。なお、ポインティングデバイス（１０９）を用いて検索対象となる漢字を特定する際には、例えば、所定の枠内に文字列が入るように設計し、検索対象となる漢字を特定するように構築することも可能である。
【００６７】
また、検索対象となる漢字を特定する際に、所定の枠内に入る文字列を１行とする等の制限情報を付加させることも可能である。また、取得した関連情報が複数ある場合には、該取得した関連情報を切り替えて表示部（１０２ｂ）上に表示するように構築することも可能である。例えば、メモリ（１１０）、または、関連情報管理装置（２）から取得した関連情報が『読み』・『意味』の２種類の関連情報の場合には、『読み』・『意味』を、切り替えて検索対象となる漢字に関連づけて表示部（１０２ｂ）上に表示するように構築することも可能である。
【００６８】
また、操作者が今まで検索した履歴情報を移動体通信端末装置（１）の具備するメモリ（１１０）に格納し、そのメモリ（１１０）に格納した履歴情報を基に、移動体通信端末装置（１）が統計処理を行い、操作者が頻繁に検索する分野に特化した辞書情報を関連情報管理装置（２）から事前に取得し、メモリ（１１０）に格納し、移動体通信端末装置（１）のメモリ（１１０）の辞書機能を強化するように構築することも可能である。
【００６９】
（第２の実施形態）
次に、第２の実施形態について説明する。
第１の実施形態における情報検索システムを構成する移動体通信端末装置（１）は、表示部（１０２ａ）上に表示された表示画面の中から特定の表示領域を指定する際に、ポインティングデバイス（ＰＤ）を用いて行うこととしたが、第２の実施形態における移動体通信端末装置（１）は、表示部（１０２ａ）上に表示された表示画面の中から特定の表示領域を指定する際に、図６に示すトラックボール（１０９）を用いて行うことを特徴とするものである。以下、図６、図７を参照しながら、第２の実施形態における情報検索システムについて説明する。
【００７０】
まず、第２の実施形態における情報検索システムを構成する移動体通信端末装置（１）について説明する。
【００７１】
第２の実施形態における移動体通信端末装置（１）は、図６に示すように、下側筐体（１１）に、移動検出部（１０９）となるトラックボールを設けたことを特徴とするものである。第２の実施形態における移動体通信端末装置（１）は、このトラックボール（１０９）を用いて、移動体通信端末装置（１）自体を移動させ、表示部（１０２ａ）上に表示された表示画像の中から特定の表示領域を指定することになる。
【００７２】
次に、図７を参照しながら、第２の実施形態における情報検索システムにおける処理動作について説明する。
【００７３】
第２の実施形態における情報検索システムの処理動作は、制御部（１１２）が、文字認識モードが開始されたと判断した際に（ステップＳ２０１／ＹＥＳ）、カメラ（１０４）にて撮像した撮像画像を表示部（１０２ａ）上に表示し、移動検出部（１０９）となるトラックボールの操作制御により、表示部（１０２ａ）上に表示する撮像画像をカーソル移動し、表示部（１０２ａ）上に表示する撮像画像の中から、画像認識部（１１１）において認識させたい表示領域を指定することになる（ステップＳ２０２）。そして、第１の実施形態と同様に、画像認識部（１１１）において認識した認識情報に関連づけられた関連情報をメモリ（１１０）、または、関連情報管理装置（２）から取得し、該取得した関連情報を表示部（１０２ａ）上に表示することになる（ステップＳ２０３〜Ｓ２１０）。
【００７４】
このように、第２の実施形態における情報検索システムは、移動体通信端末装置（１）に搭載されたトラックボール（１０９）を用いて、移動体通信端末装置（１）自体を移動させ、表示部（１０２ａ）上に表示された表示画像の中から特定の表示領域を指定することで、第１の実施形態と同様な検索処理を行うことが可能となる。なお、表示部（１０２ａ）上に表示された表示画像の中から特定の表示領域を指定する際には、ポインティングデバイス（ＰＤ）を用いるか、または、トラックボールを用いるかを任意に変更するように構築することも可能である。これにより、表示部（１０２ａ）上に表示された表示画像の中から特定の表示領域を指定する際の操作を、状況に応じて変更して行うことが可能となる。
【００７５】
（本実施形態の情報検索システムを適用したサービス）
次に、上述した本実施形態における情報検索システムを適用したサービス提供方法について以下に説明する。
【００７６】
（第１のサービス提供例）
例えば、テレビ画面に表示されているタレントの名前やそのタレントに関する情報を知りたいと思った場合、そのテレビ画面を移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上の所定の枠内に、カメラ（１０４）にて撮像したタレントの画像データが入るように表示画像を特定し、該特定した表示画像を基に、画像認識部（１１１）において特徴点抽出処理を行い、カメラ（１０４）にて撮像したタレントの認識情報を生成する。そして、画像認識部（１１１）において生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から、認識情報に関連する関連情報を取得し、該取得した関連情報を表示部（１０２ａ）上に表示する。これにより、テレビ画面に表示されているタレントの名前やそのタレントに関する関連情報を移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から取得することが可能となる。
【００７７】
なお、メモリ（１１０）、または、関連情報管理装置（２）から、画像認識部（１１１）において生成した認識情報に関連する関連情報を取得する際は、画像認識部（１１１）において生成した認識情報に対し、所定の割合以上該当すると判断した認識情報に関連する関連情報を取得するように構築することも可能である。即ち、メモリ（１１０）、または、関連情報管理装置（２）から認識情報に関連する関連情報を取得する際の検索条件の精度を調整するように構築することも可能である。
【００７８】
また、メモリ（１１０）、または、関連情報管理装置（２）から、認識情報に関連する関連情報を取得する際に、操作部（１０３）、または、送話部（１０６）を用いて所定の検索条件を移動体通信端末装置（１）に入力し、関連情報を取得する際の検索条件の精度を高め、認識情報に関連する関連情報を取得するように構築することも可能である。
【００７９】
（第２のサービス提供例）
まず、タレントの顔画像データを本実施形態の移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上の所定の枠内に、カメラ（１０４）にて撮像したタレントの顔画像データが入るように自動的に表示画像を特定し、該特定した表示画像を基に、画像認識部（１１１）において特徴点抽出処理を行い、カメラ（１０４）にて撮像したタレントの顔画像データの認識情報を生成する。そして、その生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）を検索し、メモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースに格納管理されている３次元あるいは２次元の顔画像データの中から、最も類似度の高いタレントの顔画像データ、または、類似度が所定の割合以上のタレントの顔画像データを取得し、該取得したタレントの顔画像データを表示部（１０２ａ）上に表示する。そして、操作部（１０３）を用いて所定の操作を行い、表示部（１０２ａ）上に表示したタレントの顔画像データの中から任意のタレントの顔画像データを選択し、該選択したタレントに関連するサイトに接続し、該接続したサイトからタレントに関する情報（名前・出身地・画像・生年月日・サムネイル画像等）を取得し、表示部（１０２ａ）上に表示させるように構築することも可能である。なお、サイト側は、移動体通信端末装置（１）に対して提供するタレントに関する情報に対し、有料・無料等の情報を設定し、課金処理を行うように構築することも可能である。
【００８０】
（第３のサービス提供例）
まず、雑誌などに掲載されている写真と同じ画像データを壁紙として取得したい場合に、その写真を本実施形態の移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上の所定の枠内に、写真の画像データが入るように表示画像を特定し、該特定した表示画像を基に、画像認識部（１１１）において認識処理を行い、カメラ（１０４）にて撮像した写真データの認識情報を生成する。そして、画像認識部（１１１）において生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースに格納管理されている壁紙となる写真データの中から、画像認識部（１１１）において生成した認識情報に該当する写真データを取得し、該取得した写真データを表示部（１０２ａ）上に表示する。
【００８１】
なお、壁紙として取得したい写真データの認識情報を画像認識部（１１１）において生成する際に、画像認識部（１１１）において認識する所定の枠内に、写真データの所定の特徴部分が含まれるように表示画像を特定する条件を課し、また、メモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースに格納管理される壁紙となる写真データにも所定の特徴部分を含めて格納管理し、メモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースから取得する際に、所定の特徴部分を基に、画像認識部（１１１）において生成した認識情報に該当する写真データを取得するように構築することも可能である。
【００８２】
また、画像認識部（１１１）において生成した認識情報を基に、メモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースの中から、壁紙として取得したい写真データを取得する際に、移動体通信端末装置（１）の具備する操作部（１０３）を用いて、壁紙として取得したい写真データのジャンル（例えば、世界遺産等）を別途指定し、該指定したジャンルと、認識情報と、を基に、メモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースの中から、壁紙として取得したい写真データを取得するように構築することも可能である。
【００８３】
（第４のサービス提供例）
まず、雑誌などに掲載されている写真を本実施形態の移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上の所定の枠内に、カメラ（１０４）にて撮像した写真の画像データが入るように表示画像を特定し、操作者の所望する画像データ（景色・グラフィック等）を抽出する。そして、その抽出した画像データを基に、画像認識部（１１１）において認識処理を行い、抽出した画像データの認識情報を生成する。そして、その生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースを検索し、メモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースに格納管理されている景色、グラフィック等の画像データの中から、最も整合度の高い画像データを取得し、該取得した画像データを表示部（１０２ａ）上に表示する。そして、操作部（１０３）を用いて所定の操作を行い、表示部（１０２ａ）上に表示した画像データを提供するサイトに接続し、該接続したサイトに対し、操作者の所望する画像データの取得要求を行い、サイトから画像データを取得し、表示部（１０２ａ）上に表示させるように構築することも可能である。なお、サイトから取得した画像データは、移動体通信端末装置（１）の具備する表示部（１０２ａ）上に表示する画面サイズにリサイズし、表示部（１０２ａ）上に表示することになる。なお、サイト側は、移動体通信端末装置（１）に対して提供する画像データに対し、有料・無料等の情報を設定し、課金処理を行うよう構築することも可能である。また、サイト側から画像データを取得した後、その取得した画像データのジャンル（景色、エーゲ海、等）に関連したサイトを表示部（１０２ａ）上に表示するように設計し、更なる画像データの取得機会を操作者側に与え、ＡＲＰＵ（Average Revenue Per User：通信事業での加入者一人あたりの月間売上高平均値）の向上を実現するように構築することも可能である。
【００８４】
（第５のサービス提供例）
まず、海外のレストラン等で、メニューが読めず、メニューの内容が解らない場合、その解らないメニューを本実施形態の移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上に表示した画像データの中から文字情報を抽出する。そして、その抽出した文字情報の中から検索対象となる文字をカーソル等で特定し、該特定した文字を画像認識部（１１１）にて認識し、該認識した文字に関連する関連情報を、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から取得し、該取得した関連情報を、表示部（１０２ａ）上に表示することになる。なお、この場合、移動体通信端末装置（１）の具備する操作部（１０３）を用いて、検索対象となる文字の翻訳要求を行い、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースから文字の翻訳結果を取得し、該取得した翻訳結果を文字に関連づけて表示部（１０２ａ）上に表示するように構築することも可能である。
【００８５】
（第６のサービス提供例）
まず、メニューを移動体通信端末装置（１）の具備するカメラ（１０４）にて撮影し、メニューの画像データを表示部（１０２ａ）上に表示する。次に、表示部（１０２ａ）上に表示したメニューの画像データの中から、操作者の知りたい料理部分のメニューの画像データを特定し、該特定したメニューの画像データを基に、画像認識部（１１１）において認識処理を行い、カメラ（１０４）にて撮像したメニューの画像データの認識情報を生成する。そして、画像認識部（１１１）において生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から、認識情報に関連する関連情報を取得し、該取得した関連情報を表示部（１０２ａ）上に表示する。これにより、メニューの画像データに関する関連情報を移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から取得することが可能となる。
【００８６】
なお、メモリ（１１０）、または、関連情報管理装置（２）から、画像認識部（１１１）において生成した認識情報に関連する関連情報を取得する際に、移動体通信端末装置（１）の具備する操作部（１０３）を用いて翻訳要求を行い、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースから関連情報の翻訳結果を取得し、該取得した関連情報の翻訳結果をカメラ（１０４）にて撮像したメニューの画像データに関連づけて表示部（１０２ａ）上に表示するように構築することも可能である。
【００８７】
また、移動体通信端末装置（１）の具備する操作部（１０３）を用いてメニューの種類を特定し、該特定したメニューの種類を基に、メニューの画像データに関する関連情報を移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から取得し、表示部（１０２ａ）上に表示するように構築することも可能である。
【００８８】
また、メモリ（１１０）、または、関連情報管理装置（２）から取得したメニューの画像データに関する関連情報を表示部（１０２ａ）上に表示し、操作部（１０３）を用いて所定の操作を行い、表示部（１０２ａ）上に表示した関連情報を提供するサイトに接続し、該接続したサイトに対し、関連情報の取得要求と共に、翻訳要求を行い、関連情報の翻訳結果を取得し、該取得した関連情報の翻訳結果を表示部（１０２ａ）上に表示させるように構築することも可能である。なお、関連情報の取得要求と共に、翻訳要求を行う場合には、日本語で提供するサイトに接続し、関連情報の翻訳結果を取得し、また、翻訳要求を行わない場合には、日本語で提供するサイトに限らず、関連情報が取得可能な全てのサイトに接続し、関連情報を取得することになる。なお、サイト側は、移動体通信端末装置（１）に対して提供する関連情報に対し、有料・無料等の情報を設定し、課金処理を行うように構築することも可能である。また、サイト側から関連情報を取得した後、その取得した関連情報に関するお得な情報を表示部（１０２ａ）上に表示するように設計し、更なる関連情報の取得機会を操作者側に与え、ＡＲＰＵ（Average Revenue Per User：通信事業での加入者一人あたりの月間売上高平均値）の向上を実現するように構築することも可能である。
【００８９】
（第７のサービス提供例）
まず、ＣＤのジャケットを見ながら、そのＣＤを作曲したアーティストに関するアルバムを知りたい場合、そのジャケットを本実施形態の移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上の所定の枠内に、カメラ（１０４）にて撮像したジャケットが入るように表示画像を特定し、該特定した表示画像を基に、操作者の所望するアーティストを特定し、該特定したアーティストを基に、画像認識部（１１１）において認識処理を行い、カメラ（１０４）にて撮像したアーティストの認識情報を生成する。そして、画像認識部（１１１）において生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースに格納管理されているアーティストに関連する関連情報（ＣＤのアルバム情報、アーティストの名前等）を取得し、該取得した関連情報を表示部（１０２ａ）上に表示することになる。なお、画像認識部（１１１）において生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）から関連情報を取得する際に、検索条件を別途指定するように構築することも可能である。
【００９０】
（第８のサービス提供例）
まず、ＣＤのジャケットを移動体通信端末装置（１）の具備するカメラ（１０４）にて撮影し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上の所定の枠内に、カメラ（１０４）にて撮像したジャケットが入るように表示画像を特定し、操作者の所望するアーティストを特定し、該特定したアーティストを基に、画像認識部（１１１）において認識処理を行い、カメラ（１０４）にて撮像したアーティストの認識情報を生成する。そして、画像認識部（１１１）において生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースに格納管理されているアーティストに関連する関連情報（ＣＤのアルバム情報、アーティストの名前等）の中から最も整合度の高いアーティストに関連する関連情報を取得し、該取得した関連情報を表示部（１０２ａ）上に表示することになる。次に、移動体通信端末装置（１）の具備する操作部（１０３）を用いて、表示部（１０２ａ）上に表示したアーティストに関するサイトに接続し、該接続したサイトからアーティストに関する情報（ディスコグラフィ・着歌・ストリーミング視聴等）を取得し、該取得した情報を表示部（１０２ａ）上に表示させるように構築することも可能である。なお、サイト側は、移動体通信端末装置（１）に対して提供する関連情報に対し、有料・無料等の情報を設定し、課金処理を行うように構築することも可能である。
【００９１】
（第９のサービス提供例）
まず、年賀状などを書いている際に、相手先の郵便番号が判らない場合、その書いた住所を本実施形態の移動体通信端末装置（１）の具備するカメラ（１０４）にて撮像し、表示部（１０２ａ）上に表示する。そして、表示部（１０２ａ）上に表示した表示画像の中から、画像認識部（１１１）において文字情報を抽出し、文字情報に関連する認識情報を生成する。そして、その生成した認識情報を基に、移動体通信端末装置（１）の具備するメモリ（１１０）、または、関連情報管理装置（２）の具備するデータベースから認識情報に関連する関連情報（郵便番号）を取得し、該取得した関連情報を表示部（１０２ａ）上に表示することになる。
【００９２】
なお、上述する実施形態は、本発明の好適な実施形態であり、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。例えば、上述した移動体通信端末装置における処理動作は、ハード構成ではなく、コンピュータプログラム等のソフトウェアにより実行することも可能であり、また、上記のプログラムは、光記録媒体、磁気記録媒体、光磁気記録媒体、または半導体等の記録媒体に記録し、その記録媒体からプログラムを移動体通信端末装置に読み込ませることで、上述した処理動作を移動体通信端末装置において実行させることも可能である。また、所定のネットワークを介して接続されている外部機器からプログラムを移動体通信端末装置に読み込ませることで、上述した処理動作を移動体通信端末装置において実行させることも可能である。
【産業上の利用可能性】
【００９３】
本実施形態における情報検索装置、情報検索システム、情報検索方法及び情報検索プログラムは、携帯電話機、ＰＨＳ、ＰＤＡなどの通信端末装置に適用可能である。
【図面の簡単な説明】
【００９４】
【図１】本実施形態における情報検索システムのシステム構成を示す図である。
【図２】図１に示す情報検索システムを構成する移動体通信端末装置（１）の外観図である。
【図３】図１に示す情報検索システムを構成する移動体通信端末装置（１）の内部構成を示す図である。
【図４】第１の実施形態における情報検索システムの処理動作を示すフロチャートである。
【図５】第１の実施形態における情報検索システムを適用した場合の一例を示す図である。
【図６】第２の実施形態における移動体通信端末装置（１）の外観図である。
【図７】第２の実施形態における情報検索システムの処理動作を示すフロチャートである。
【符号の説明】
【００９５】
１ 移動体通信端末装置（情報検索装置）
２ 関連情報管理装置
３ ネットワーク
１０ 上側筐体
１１ 下側筐体
１２ ヒンジ部
１００ アンテナ
１０１ 無線通信部
１０２ａ、１０２ｂ 表示部
１０３ 操作部
１０４ カメラ
１０５ 音声処理部
１０６ 送話部
１０７ 受話部
１０８ スピーカ
１０９ 移動検出部
１１０ メモリ
１１１ 画像認識部
１１２ 制御部
【特許請求の範囲】
【請求項１】
画面上に表示された表示画像に関連する関連情報を検索する情報検索装置であって、
前記情報検索装置は、前記表示画像に関連する関連情報を管理する関連情報管理装置とネットワークを介して接続されており、
前記表示画像に関連する関連情報を記憶する関連情報記憶手段と、
前記関連情報記憶手段を検索し、前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第１の関連情報取得手段と、
前記第１の関連情報取得手段により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第２の関連情報取得手段と、
を有することを特徴とする情報検索装置。
【請求項２】
前記画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定手段と、
前記表示領域指定手段により指定された表示領域を解析し、前記画面上に表示された表示画像を特定する表示画像特定手段と、
を有し、
前記第１の関連情報取得手段は、
前記表示画像特定手段により特定された表示画像を基に、前記関連情報記憶手段を検索し、前記表示画像に関連する関連情報を取得し、
前記第２の関連情報取得手段は、
前記第１の関連情報取得手段により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得することを特徴とする請求項１記載の情報検索装置。
【請求項３】
音声情報を出力する音声情報出力手段を有し、
前記第１の関連情報取得手段、または、前記第２の関連情報取得手段により取得した関連情報が画像情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、
前記取得した関連情報が音声情報の場合には、前記音声情報出力手段から前記音声情報を出力し、
前記取得した関連情報が、画像情報と音声情報とを含む情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、前記音声情報出力手段から前記音声情報を出力することを特徴とする請求項１または２記載の情報検索装置。
【請求項４】
前記関連情報記憶手段は、前記表示画像を識別する表示画像識別情報に関連づけて前記関連情報を記憶しており、
前記関連情報管理装置は、前記表示画像識別情報に関連づけて前記関連情報を管理しており、
前記第１の関連情報取得手段は、
前記表示画像識別情報を基に、前記関連情報記憶手段を検索し、前記表示画像識別情報に関連づけられた関連情報を取得し、
前記第２の関連情報取得手段は、
前記第１の関連情報取得手段により、前記表示画像識別情報に関連づけられた関連情報を取得できない場合に、前記関連情報の取得要求を前記表示画像識別情報と共に、前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像識別情報に関連づけられた関連情報を取得することを特徴とする請求項１記載の情報検索装置。
【請求項５】
前記表示領域指定手段は、ポインティングデバイスまたはトラックボールであることを特徴とする請求項２記載の情報検索装置。
【請求項６】
画面上に表示された表示画像に関連する関連情報を検索する情報検索装置と、前記関連情報を管理する関連情報管理装置と、を有する情報検索システムであって、
前記情報検索装置は、
前記表示画像に関連する関連情報を記憶する関連情報記憶手段と、
前記関連情報記憶手段を検索し、前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第１の関連情報取得手段と、
前記第１の関連情報取得手段により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第２の関連情報取得手段と、
を有し、
前記関連情報管理装置は、
前記関連情報の取得要求を前記情報検索装置から受信した際に、該取得要求に該当する関連情報を前記関連情報管理装置の具備する格納部から取得し、該取得した関連情報を前記情報検索装置に提供する関連情報提供手段と、
を有することを特徴とする情報検索システム。
【請求項７】
前記情報検索装置は、
画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定手段と、
前記表示領域指定手段により指定された表示領域を解析し、前記画面上に表示された表示画像を特定する表示画像特定手段と、
を有し、
前記第１の関連情報取得手段は、
前記表示画像特定手段により特定された表示画像を基に、前記関連情報記憶手段を検索し、前記表示画像に関連する関連情報を取得し、
前記第２の関連情報取得手段は、
前記第１の関連情報取得手段により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得することを特徴とする請求項６記載の情報検索システム。
【請求項８】
前記情報検索装置は、音声情報を出力する音声情報出力手段を有し、
前記第１の関連情報取得手段、または、前記第２の関連情報取得手段により取得した関連情報が画像情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、
前記取得した関連情報が音声情報の場合には、前記音声情報出力手段から前記音声情報を出力し、
前記取得した関連情報が、画像情報と音声情報とを含む情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、前記音声情報出力手段から前記音声情報を出力することを特徴とする請求項６または７記載の情報検索システム。
【請求項９】
前記情報検索装置は、
前記表示画像を識別する表示画像識別情報に関連づけて前記関連情報を記憶しており、
前記関連情報管理装置は、
前記表示画像識別情報に関連づけて前記関連情報を管理しており、
前記第１の関連情報取得手段は、
前記表示画像識別情報を基に、前記関連情報記憶手段を検索し、前記表示画像識別情報に関連づけられた関連情報を取得し、
前記第２の関連情報取得手段は、
前記第１の関連情報取得手段により、前記表示画像識別情報に関連づけられた関連情報を取得できない場合に、前記関連情報の取得要求を前記表示画像識別情報と共に、前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像識別情報に関連づけられた関連情報を取得することを特徴とする請求項６記載の情報検索システム。
【請求項１０】
前記表示領域指定手段は、ポインティングデバイスまたはトラックボールであることを特徴とする請求項７記載の情報検索システム。
【請求項１１】
画面上に表示された表示画像に関連する関連情報を検索する情報検索装置で行う情報検索方法あって、
前記情報検索装置は、前記表示画像に関連する関連情報を管理する関連情報管理装置とネットワークを介して接続されており、
前記情報検索装置の具備する記憶部を検索し、前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第１の関連情報取得工程と、
前記第１の関連情報取得工程により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第２の関連情報取得工程と、
を、前記情報検索装置が行うことを特徴とする情報検索方法。
【請求項１２】
画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定工程と、
前記表示領域指定工程により指定された表示領域を解析し、前記画面上に表示された表示画像を特定する表示画像特定工程と、
を、前記情報検索装置が行い、
前記第１の関連情報取得工程は、
前記表示画像特定工程により特定された表示画像を基に、前記情報検索装置の具備する記憶部を検索し、前記表示画像に関連する関連情報を取得し、
前記第２の関連情報取得工程は、
前記第１の関連情報取得工程により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得することを特徴とする請求項１１記載の情報検索方法。
【請求項１３】
前記情報検索装置は、音声情報を出力する音声情報出力手段を有し、
前記第１の関連情報取得工程、または、前記第２の関連情報取得工程により取得した関連情報が画像情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、
前記取得した関連情報が音声情報の場合には、前記音声情報出力手段から前記音声情報を出力し、
前記取得した関連情報が、画像情報と音声情報とを含む情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、前記音声情報出力手段から前記音声情報を出力することを特徴とする請求項１１または１２記載の情報検索方法。
【請求項１４】
前記情報検索装置は、
前記表示画像を識別する表示画像識別情報に関連づけて前記関連情報を前記記憶部に記憶しており、
前記関連情報管理装置は、
前記表示画像識別情報に関連づけて前記関連情報を管理しており、
前記第１の関連情報取得工程は、
前記表示画像識別情報を基に、前記記憶部を検索し、前記表示画像識別情報に関連づけられた関連情報を取得し、
前記第２の関連情報取得工程は、
前記第１の関連情報取得工程により、前記表示画像識別情報に関連づけられた関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像識別情報に関連づけられた関連情報を取得することを特徴とする請求項１１記載の情報検索方法。
【請求項１５】
前記表示領域指定工程は、ポインティングデバイスまたはトラックボールにより前記表示領域を指定することを特徴とする請求項１２記載の情報検索方法。
【請求項１６】
画面上に表示された表示画像に関連する関連情報を検索する情報検索装置において実行させる情報検索プログラムあって、
前記情報検索装置は、前記表示画像に関連する関連情報を管理する関連情報管理装置とネットワークを介して接続されており、
前記情報検索装置の具備する記憶部を検索し、前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第１の関連情報取得処理と、
前記第１の関連情報取得処理により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第２の関連情報取得処理と、
を、前記情報検索装置に実行させることを特徴とする情報検索プログラム。
【請求項１７】
画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定処理と、
前記表示領域指定処理により指定された表示領域を解析し、前記画面上に表示された表示画像を特定する表示画像特定処理と、
を、前記情報検索装置に実行させ、
前記第１の関連情報取得処理は、
前記表示画像特定処理により特定された表示画像を基に、前記情報検索装置の具備する記憶部を検索し、前記表示画像に関連する関連情報を取得し、
前記第２の関連情報取得処理は、
前記第１の関連情報取得処理により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得することを特徴とする請求項１６記載の情報検索プログラム。
【請求項１８】
前記情報検索装置は、音声情報を出力する音声情報出力手段を有し、
前記第１の関連情報取得処理、または、前記第２の関連情報取得処理により取得した関連情報が画像情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、
前記取得した関連情報が音声情報の場合には、前記音声情報出力手段から前記音声情報を出力し、
前記取得した関連情報が、画像情報と音声情報とを含む情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、前記音声情報出力手段から前記音声情報を出力することを特徴とする請求項１６または１７記載の情報検索プログラム。
【請求項１９】
前記情報検索装置は、
前記示画像を識別する表示画像識別情報に関連づけて前記関連情報を前記記憶部に記憶しており、
前記関連情報管理装置は、
前記表示画像識別情報に関連づけて前記関連情報を管理しており、
前記第１の関連情報取得処理は、
前記表示画像識別情報を基に、前記記憶部を検索し、前記表示画像識別情報に関連づけられた関連情報を取得し、
前記第２の関連情報取得処理は、
前記第１の関連情報取得処理により、前記表示画像識別情報に関連づけられた関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像識別情報に関連づけられた関連情報を取得することを特徴とする請求項１６記載の情報検索プログラム。
【請求項２０】
前記表示領域指定処理は、ポインティングデバイスまたはトラックボールにより前記表示領域を指定することを特徴とする請求項１７記載の情報検索プログラム。
【請求項１】
画面上に表示された表示画像に関連する関連情報を検索する情報検索装置であって、
前記情報検索装置は、前記表示画像に関連する関連情報を管理する関連情報管理装置とネットワークを介して接続されており、
前記表示画像に関連する関連情報を記憶する関連情報記憶手段と、
前記関連情報記憶手段を検索し、前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第１の関連情報取得手段と、
前記第１の関連情報取得手段により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第２の関連情報取得手段と、
を有することを特徴とする情報検索装置。
【請求項２】
前記画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定手段と、
前記表示領域指定手段により指定された表示領域を解析し、前記画面上に表示された表示画像を特定する表示画像特定手段と、
を有し、
前記第１の関連情報取得手段は、
前記表示画像特定手段により特定された表示画像を基に、前記関連情報記憶手段を検索し、前記表示画像に関連する関連情報を取得し、
前記第２の関連情報取得手段は、
前記第１の関連情報取得手段により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得することを特徴とする請求項１記載の情報検索装置。
【請求項３】
音声情報を出力する音声情報出力手段を有し、
前記第１の関連情報取得手段、または、前記第２の関連情報取得手段により取得した関連情報が画像情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、
前記取得した関連情報が音声情報の場合には、前記音声情報出力手段から前記音声情報を出力し、
前記取得した関連情報が、画像情報と音声情報とを含む情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、前記音声情報出力手段から前記音声情報を出力することを特徴とする請求項１または２記載の情報検索装置。
【請求項４】
前記関連情報記憶手段は、前記表示画像を識別する表示画像識別情報に関連づけて前記関連情報を記憶しており、
前記関連情報管理装置は、前記表示画像識別情報に関連づけて前記関連情報を管理しており、
前記第１の関連情報取得手段は、
前記表示画像識別情報を基に、前記関連情報記憶手段を検索し、前記表示画像識別情報に関連づけられた関連情報を取得し、
前記第２の関連情報取得手段は、
前記第１の関連情報取得手段により、前記表示画像識別情報に関連づけられた関連情報を取得できない場合に、前記関連情報の取得要求を前記表示画像識別情報と共に、前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像識別情報に関連づけられた関連情報を取得することを特徴とする請求項１記載の情報検索装置。
【請求項５】
前記表示領域指定手段は、ポインティングデバイスまたはトラックボールであることを特徴とする請求項２記載の情報検索装置。
【請求項６】
画面上に表示された表示画像に関連する関連情報を検索する情報検索装置と、前記関連情報を管理する関連情報管理装置と、を有する情報検索システムであって、
前記情報検索装置は、
前記表示画像に関連する関連情報を記憶する関連情報記憶手段と、
前記関連情報記憶手段を検索し、前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第１の関連情報取得手段と、
前記第１の関連情報取得手段により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第２の関連情報取得手段と、
を有し、
前記関連情報管理装置は、
前記関連情報の取得要求を前記情報検索装置から受信した際に、該取得要求に該当する関連情報を前記関連情報管理装置の具備する格納部から取得し、該取得した関連情報を前記情報検索装置に提供する関連情報提供手段と、
を有することを特徴とする情報検索システム。
【請求項７】
前記情報検索装置は、
画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定手段と、
前記表示領域指定手段により指定された表示領域を解析し、前記画面上に表示された表示画像を特定する表示画像特定手段と、
を有し、
前記第１の関連情報取得手段は、
前記表示画像特定手段により特定された表示画像を基に、前記関連情報記憶手段を検索し、前記表示画像に関連する関連情報を取得し、
前記第２の関連情報取得手段は、
前記第１の関連情報取得手段により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得することを特徴とする請求項６記載の情報検索システム。
【請求項８】
前記情報検索装置は、音声情報を出力する音声情報出力手段を有し、
前記第１の関連情報取得手段、または、前記第２の関連情報取得手段により取得した関連情報が画像情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、
前記取得した関連情報が音声情報の場合には、前記音声情報出力手段から前記音声情報を出力し、
前記取得した関連情報が、画像情報と音声情報とを含む情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、前記音声情報出力手段から前記音声情報を出力することを特徴とする請求項６または７記載の情報検索システム。
【請求項９】
前記情報検索装置は、
前記表示画像を識別する表示画像識別情報に関連づけて前記関連情報を記憶しており、
前記関連情報管理装置は、
前記表示画像識別情報に関連づけて前記関連情報を管理しており、
前記第１の関連情報取得手段は、
前記表示画像識別情報を基に、前記関連情報記憶手段を検索し、前記表示画像識別情報に関連づけられた関連情報を取得し、
前記第２の関連情報取得手段は、
前記第１の関連情報取得手段により、前記表示画像識別情報に関連づけられた関連情報を取得できない場合に、前記関連情報の取得要求を前記表示画像識別情報と共に、前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像識別情報に関連づけられた関連情報を取得することを特徴とする請求項６記載の情報検索システム。
【請求項１０】
前記表示領域指定手段は、ポインティングデバイスまたはトラックボールであることを特徴とする請求項７記載の情報検索システム。
【請求項１１】
画面上に表示された表示画像に関連する関連情報を検索する情報検索装置で行う情報検索方法あって、
前記情報検索装置は、前記表示画像に関連する関連情報を管理する関連情報管理装置とネットワークを介して接続されており、
前記情報検索装置の具備する記憶部を検索し、前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第１の関連情報取得工程と、
前記第１の関連情報取得工程により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第２の関連情報取得工程と、
を、前記情報検索装置が行うことを特徴とする情報検索方法。
【請求項１２】
画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定工程と、
前記表示領域指定工程により指定された表示領域を解析し、前記画面上に表示された表示画像を特定する表示画像特定工程と、
を、前記情報検索装置が行い、
前記第１の関連情報取得工程は、
前記表示画像特定工程により特定された表示画像を基に、前記情報検索装置の具備する記憶部を検索し、前記表示画像に関連する関連情報を取得し、
前記第２の関連情報取得工程は、
前記第１の関連情報取得工程により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得することを特徴とする請求項１１記載の情報検索方法。
【請求項１３】
前記情報検索装置は、音声情報を出力する音声情報出力手段を有し、
前記第１の関連情報取得工程、または、前記第２の関連情報取得工程により取得した関連情報が画像情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、
前記取得した関連情報が音声情報の場合には、前記音声情報出力手段から前記音声情報を出力し、
前記取得した関連情報が、画像情報と音声情報とを含む情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、前記音声情報出力手段から前記音声情報を出力することを特徴とする請求項１１または１２記載の情報検索方法。
【請求項１４】
前記情報検索装置は、
前記表示画像を識別する表示画像識別情報に関連づけて前記関連情報を前記記憶部に記憶しており、
前記関連情報管理装置は、
前記表示画像識別情報に関連づけて前記関連情報を管理しており、
前記第１の関連情報取得工程は、
前記表示画像識別情報を基に、前記記憶部を検索し、前記表示画像識別情報に関連づけられた関連情報を取得し、
前記第２の関連情報取得工程は、
前記第１の関連情報取得工程により、前記表示画像識別情報に関連づけられた関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像識別情報に関連づけられた関連情報を取得することを特徴とする請求項１１記載の情報検索方法。
【請求項１５】
前記表示領域指定工程は、ポインティングデバイスまたはトラックボールにより前記表示領域を指定することを特徴とする請求項１２記載の情報検索方法。
【請求項１６】
画面上に表示された表示画像に関連する関連情報を検索する情報検索装置において実行させる情報検索プログラムあって、
前記情報検索装置は、前記表示画像に関連する関連情報を管理する関連情報管理装置とネットワークを介して接続されており、
前記情報検索装置の具備する記憶部を検索し、前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第１の関連情報取得処理と、
前記第１の関連情報取得処理により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得し、該取得した関連情報を前記画面上に表示する第２の関連情報取得処理と、
を、前記情報検索装置に実行させることを特徴とする情報検索プログラム。
【請求項１７】
画面上に表示された表示画面の中から特定の表示領域を指定する表示領域指定処理と、
前記表示領域指定処理により指定された表示領域を解析し、前記画面上に表示された表示画像を特定する表示画像特定処理と、
を、前記情報検索装置に実行させ、
前記第１の関連情報取得処理は、
前記表示画像特定処理により特定された表示画像を基に、前記情報検索装置の具備する記憶部を検索し、前記表示画像に関連する関連情報を取得し、
前記第２の関連情報取得処理は、
前記第１の関連情報取得処理により、前記表示画像に関連する関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像に関連する関連情報を取得することを特徴とする請求項１６記載の情報検索プログラム。
【請求項１８】
前記情報検索装置は、音声情報を出力する音声情報出力手段を有し、
前記第１の関連情報取得処理、または、前記第２の関連情報取得処理により取得した関連情報が画像情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、
前記取得した関連情報が音声情報の場合には、前記音声情報出力手段から前記音声情報を出力し、
前記取得した関連情報が、画像情報と音声情報とを含む情報の場合には、前記表示画像に関連づけて前記画面上に前記画像情報を表示し、前記音声情報出力手段から前記音声情報を出力することを特徴とする請求項１６または１７記載の情報検索プログラム。
【請求項１９】
前記情報検索装置は、
前記示画像を識別する表示画像識別情報に関連づけて前記関連情報を前記記憶部に記憶しており、
前記関連情報管理装置は、
前記表示画像識別情報に関連づけて前記関連情報を管理しており、
前記第１の関連情報取得処理は、
前記表示画像識別情報を基に、前記記憶部を検索し、前記表示画像識別情報に関連づけられた関連情報を取得し、
前記第２の関連情報取得処理は、
前記第１の関連情報取得処理により、前記表示画像識別情報に関連づけられた関連情報を取得できない場合に、前記関連情報の取得要求を前記関連情報管理装置に送信し、前記関連情報管理装置から前記表示画像識別情報に関連づけられた関連情報を取得することを特徴とする請求項１６記載の情報検索プログラム。
【請求項２０】
前記表示領域指定処理は、ポインティングデバイスまたはトラックボールにより前記表示領域を指定することを特徴とする請求項１７記載の情報検索プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−１８１６６（Ｐ２００７−１８１６６Ａ）
【公開日】平成１９年１月２５日（２００７．１．２５）
【国際特許分類】
【出願番号】特願２００５−１９７６６５（Ｐ２００５−１９７６６５）
【出願日】平成１７年７月６日（２００５．７．６）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成１９年１月２５日（２００７．１．２５）
【国際特許分類】
【出願日】平成１７年７月６日（２００５．７．６）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]