画像情報に基づく情報検索装置

【課題】この発明は、限られた情報の伝送によってユーザの選択情報が伝送されて放送局との間の情報交換が効率的に行われる画像情報に基づく情報検索装置を提供することを課題とする。
【解決手段】放送局11からデータベース13からの画像のシーン番号と共に、キーワード、位置情報、キーワードに該当する情報データベースのリンク情報とプロトコル情報がユーザの受像機12に送られ、ユーザはリモコンによりこれら関連情報を選択し、キーワード蓄積手段15に蓄積させる。この蓄積情報はサーバコンピュータ16に送られ、キーワード等に対応してデータベースから所定のデータを引き出し、再び受像機12に送ってユーザの選択に対応させる。この様な情報交換により画面に表示された物体に対する情報がユーザに伝達され、限られたシステムでのデータ検索を可能としている。

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】この発明は、例えば動画像に関連してキーワードが表示され、ユーザが入力装置を用いてキーワードを選択入力し、この入力キーワードに関連した情報を検索出力できるようにしたもので、例えばテレビジョン受像システムを利用した通信販売等に適用できる画像情報に基づく情報検索装置に関する。
【０００２】
【従来の技術】放送局から、動画情報と共にこの動画情報に関連した付加情報、さらにこれら動画情報と付加情報とを関連付けるリンク情報を多重化して送信し、この多重化された送信情報を受像側の受像機において受信できるようにすることが考えられている。そして、ユーザはリモコン装置等を用いて所定の入力をすることによって、各種情報が得られるようにすることが考えられている。
【０００３】例えば、本件出願人の出願に係る特願平７−２２０６３６号においては、動画情報と付加情報とを関連付けるリンク情報を多重化して送信している。この多重化されたデータ内には、当該情報に対するアクセスと考えられるリンク情報が付加されているものであり、このリンク情報に基づいて直接的にデータベースをアクセスし、このアクセスされた情報を得るようにしている。
【０００４】この様にリンク情報を多重化して送信し、動画情報と共に受信してユーザにおいてアクセスできるようにした場合、この多重化された伝送情報には放送局等に設置されるデータベースに格納された多数のデータそれぞれに対するアドレスを全て含むようにされている。したがって、送信データの量が非常に多くなり、さらに受信装置や再生装置内においてデータベース上のアドレスのフォーマットおよびプロトコルに対して、必ず対応しておかなければならない。したがって、受信装置における処理が複雑且つ大規模とならざるを得ない。さらに、動画情報に対してキーワードを付加し、このキーワードに基づいてユーザがリモコン装置等を用いて入力できるようにした場合には、さらに送信データの量が増大し、システム全体を重くする原因とされる。
【０００５】
【発明が解決しようとする課題】この発明は上記のような点に鑑みなされたもので、放送局等の送信側から受像側に対して、送信側に設置されるデータベースの中の限られた情報のみを伝送して、ユーザにおいて受像された画像に対応する各種データをデータベースから検索できるようにするもので、その検索結果に基づいて各種再生出力が可能とされて、例えば画像情報に基づく通信販売等のためのデータ検索が、システム全体を簡易化できるようにして容易に実行できるようにした画像情報に基づく情報検索装置を提供しようとするものである。
【０００６】
【課題を解決するための手段】この発明に係る画像情報に基づく情報検索装置は、画像情報を送出する送信手段に付属して、少なくとも前記送信された画像に関連する情報を提供するデータベースサーバが設けられ、画像情報とこの画像情報に関連する選択可能な複数の関連情報を、データベースサーバに格納されている情報と情報多重手段で多重化する。この多重化された情報は画像情報を表示する受信再生手段で受信され、この受信再生手段で受信された画像に表示された関連情報に対応して、リモコン等の関連情報選択手段を操作してこの関連情報を選択し、この選択された情報を送信側のデータベースサーバに伝送するもので、この伝送された関連情報に基づき対応情報を検索し、この検索された結果を受信再生手段に伝送すると共に、その検索結果に関連した指令を出力するようにしている。
【０００７】すなわち、少なくともデータ放送の多重データとして、動画像のシーンを特定するためのシーン番号（Ｎｏ．）、この動画中の特定される物体等のキーワードを送信する装置を備え、受信装置においては伝送された多重データを分離してキーワードをユーザに提示して選択されるようにするもので、この選択されたキーワード並びにシーン番号からデータベースのアドレスを特定し、この選択されたキーワードとシーン番号をネットワークを通じて出力されるようになる。したがって、放送側からは画像情報の関連情報を送信するのみで、この送信側に設置されたデータベースをユーザ側でキーワード並びにシーン番号を選択するのみで利用でき、データベースで選択されたアドレスに格納されたデータにしたがって、各種の出力処理がなされ、システム全体の小容量化と共に、その取扱いが非常に簡易化される。
【０００８】
【発明の実施の形態】以下、図面を参照してこの発明の第１の実施の形態を説明する。図１は全体的な構成を示すもので、少なくとも動画と共にこれに関連するデータを多重化して送信する放送局11と、この多重化され放送されたデータを受信し再生する受信再生システムとしての受像機12とを備えている。
【０００９】放送局11にはデータベースサーバが設定され、放送されている動画像のシーン番号に対応した、例えば図２で示すような物体のキーワードとこの物体の位置情報（座標）、前記キーワードに該当する情報データベースのリンク情報とこのデータベースよりデータを引き出すためのプロトコル情報が格納されている、シーン番号、キーワード、データリンク対応の関連情報のデータベース13を備えている。
【００１０】このデータベース13に格納されている関連情報は、図３の（Ａ）で示すようにシーン番号（Ｎｏ．）、キーワードと位置情報とからなり、通常の放送と同様に動画情報と共に多重化装置14で多重化されて送出され、ユーザ側の受信再生装置を構成する受像機12部で受信され、画像表示される。すなわち、例えば図４で示されるように画像と共に、この画像の内容に対応した位置情報、および各物体を指定して選択可能とされる例えば番号によるキーワード表示を行い、リモコンによって構成される選択手段のキー操作によって目的とする物体が選択できるようになっている。
【００１１】受像機12に対しては、リモコンによって選択されたキーワードを蓄積するキーワード蓄積手段15が内蔵されており、リモコンによって選択されたキーワードはこの蓄積手段15に対して一時的に蓄えられる。このキーワード蓄積手段15に蓄積されたキーワードは、放送局11側に伝送され、この放送局11に設置されるサーバコンピュータ16に接続されて、このサーバコンピュータ16に選択されたキーワードとシーン番号がサーバコンピュータ16に送られる。このサーバコンピュータ16では、図２R>２で示したようなデータベースを、この送られたキーワード並びにシーン番号に基づいて検索する。この検索を行うことにより、情報データベースに対するポインタと接続し、データを得るためのプロトコルを知ることができる。
【００１２】サーバコンピュータ16に対しては、画像表示されキーワードの付された物体の製造メーカや販売業者に相当するＡ社、Ｂ社等の業者に対応する外部データベース171 、172 、…に接続されており、例えば情報データベースに対するポインタがＡ社のデータベース171 を指し示していた場合には、このＡ社のデータベース171 から必要データをサーバコンピュータ16で取得する。そして、このサーパコンピュータ16では、この取得データを再生可能なようにプロトコルを変換して受像機12に送信するもので、受像機12においてＡ社のデータベース171 の情報が表示される。
【００１３】図５はデータベース13等からのデータを多重化するデータ多重装置14の具体的な例を示すもので、動画情報としてのＶｉｄｅｏ１およびＶｉｄｅｏ２、さらにこれら動画情報に関連する音声情報としてのＡｕｄｉｏ１およびＡｕｄｉｏ２が入力され、さらに放送局11内のサーバコンピュータ16によって図２で示したようなデータベース13内の図３（Ａ）で示したようなデータが付加情報として入力される。そして、Ｖｉｄｅｏ１およびＶｉｄｅｏ２の映像情報、およびＡｕｄｉｏ１およびＡｕｄｉｏ２の音声情報は、それぞれ圧縮回路21および22においてＥＰＥＧ２圧縮され、さらにＰＥＳエンコード23および24で規定のディジタルストリームとされる。そして、これらＰＥＳエンコード23および24からのディジタルストリームおよび入力された付加情報は、マルチプレクサ25に入力される。
【００１４】マルチプレクサ26に対しても同様の情報が入力されるもので、マルチプレクサ25および26それぞれからの出力情報は、マルチプレクサ27で多重化され変調されて、その後ディジタルデータとして出力され、受像機12に伝送される。
【００１５】図６は受信再生装置とされる受像機12における受信再生回路の例を示す。放送局11からの多重化された情報は電波として受信再生回路に送られてアンテナ31でを介してチューナ32で受信される。このチユーナ32では伝送された変調電波をディジタルストリームに戻され、デパケットコントローラ33からの指令に基づき、ＦＩＦＯ34〜37において、多重化されているＶｉｄｅｏ１およびＶｉｄｅｏ２からなる映像情報、さらにＡｕｄｉｏ１およびＡｕｄｉｏ２からなる音声情報を選択分離する。そして、これら分離された映像情報および音声情報は、それぞれ映像デコーダ38および39、音声デコーダ40および41で圧縮を解除（伸長）する。
【００１６】映像デコーダ38および39それぞからの映像情報は、画面合成回路42で動画像情報とされると共に、この動画像情報はＤ／Ａコンバータ43においてアナログ情報に変換され、画面合成回路44を介して表示器45に供給されて動画として表示される。音声デコーダ40および41でそれぞれデコードされた音声情報は、セレクタ46で適宜選択された後にＤ／Ａコンバータ47でアナログ音声情報とされ、スピーカ48から音声出力される。
【００１７】また、サーバコンピュータ16によって付加情報として多重された図３の（Ａ）で示すようなデータは、チューナ32からＳＲＡＭ49に供給され、デパケットコントローラ33からの指令に基づいてこの付加情報が選択分離されて格納される。そして、ＭＰＵ50上で動作するプログラムにしたがって処理される。
【００１８】このプログラムは、キーワードによって図４R>４で示した表示画面の選択指標121〜123 のイメージと位置情報に基づいて、選択指標121 〜123 のイメージを作成し、ＶＲＡＭ51に転送して格納する。このＶＲＡＭ51に供給されたイメージ情報は、Ｄ／Ａコンバータ52においてアナログデータに変換され、画面合成回路44に供給されてＤ／Ａコンバータ43からの映像情報と合成して、表示器45において図４で示したような画像を再生表示させる。
【００１９】表示画面上で選択指標121 〜123 によって表示されたデータは、受像機12に付属されるリモコン53によって選択されるもので、このリモコン53の操作に対応した赤外線信号は赤外線受光部54によって受光されてマイコン55に入力され、このマイコン55によってＭＰＵ50上で動作するプログラムに伝達される。この様にして、ＭＰＵ50上で選択されたプログラムは、キーワードを特定することが可能とされる。また、選択されたシーン番号とキーワード情報は、ＭＰＵ50で動作されるプログラムにしたがって、モデム56で接続されたサーバコンピュータ16に送出される。
【００２０】サーバコンピュータ16で受信された検索結果のデータベース情報は、ＭＰＵ50によって動作するプログラムによって画像化されるもので、この画像化された情報はＶＲＡＭ51に対して書き込まれる。その具体的な例を示すと、図７で示すようになり、車のキーコードを指定した場合には、その選択指標124 〜126 によって車のメーカが指定される。
【００２１】メモリ57に対しては、キーワード情報が適宜蓄積されるもので、例えば図８で示すように時計装置58を追加構成することにより、データベースおよびネットワークが混雑していない時間帯に検索を行わせて、この検索結果がメモリ57に蓄積されるようにすることができる。59はこのシステムを駆動するクロック再生回路である。
【００２２】図９はこのＭＰＵ50の動作の流れを示すもので、まずステップＳ11でＳＲＡＭ49に図３の（Ａ）で示すようなデータが供給され、このデータが書き込まれているか否かを判断する。このデータが書き込まれていると判断されたときは、次のステップＳ12に進んで書き込まれたデータの中に表示キーワードのデータがあるか否かを判定し、この表示キーワードデータの存在が確認されたならば、ステップＳ13に進んで、ＶＲＡＭ51に対してキーワードポインタを描画する。
【００２３】ステップＳ14では、キーワードが選択されたか否かを判定し、キーワードが選択されていると判断されたときには、ステップＳ15に進んでモデム56に接続するもので、このモデム56から選択されたキーワードをサーバコンピュータ16に対して送出させる。ステップＳ16においては、このモデム56からのデータが存在するか否かを判定し、データ有りの状態でステップＳ17に進んで、ＶＲＡＭ51に画像データとして書き込む。このＶＲＡＭ51に書き込まれた画像データは、Ｄ／Ａコンバータ52でアナログ情報に変換されて画面合成回路44に送られ、表示器45で図３の（Ａ）で示したようなデータが表示される。
【００２４】図１０はサーバコンピュータ16の具体的な構成の例を示すもので、受信再生装置を構成する受像機12に対して接続される複数のモデム611 〜613 を備える。そして、複数の受像機に対して同時にサービスが可能とされるようになっている。この各モデム611 〜613 からの出力は、キーワード分離手段62に対して供給されるもので、このキーワード分離手段62ではモデム611 〜613 で受信したキーワードを分離する。
【００２５】そして、シーン番号（Ｎｏ．）、キーワード、データベースリンク検索手段63において、図２で示した内容で示されるシーン番号、キーワード、データベースリンク情報対応データベース64と対応付けられる。この対応するデータベースリンク情報のアドレスに、ネットワークアクセス手段651 〜653 を用いて、外部ネットワークに対して当該プロトコルによってアクセスを行い、外部データベース661 〜663 からそれぞれ目的の情報を読み出す。この様にして引き出された目的の情報は、該当するプロトコルに応じて再び外部ネットワークを通じてサーバコンピュータ16に返還される。
【００２６】ネットワークアクセス手段651 〜653 は、それぞれプロトコル変換手段671 〜673 に対してこれらのデータを与え、受像機12において受信できるようなプロトコルおよびデータ形式に変換し、再びモデム611 〜613 を通じて受像機12に対して送出する。
【００２７】図１１はこのサーバコンピュータの動作の流れを示しているもので、ステップＳ21ではモデム611 〜613 からのデータが有るか否かを判断し、データが有ると判定されたならばステップＳ22で選択されたキーワードの有無を判断する。ステップＳ22でキーワードが有ると判定されたならば、ステップＳ23に進んでキーワードと実際のデータベースアドレスを検索手段63において検索し、次のステップＳ24で外部データベース65アクセスし、所定のデータを引き出す。そして、ステップＳ25ではプロトコル変換手段661 〜663 によって、対応する受像機12に合ったプロトコルに変換し、ステップＳ26でモデム611 〜613 をそれぞれ通じて、対応する受信機12に対してデータを送出させる。
【００２８】次に、抽象的なキーワードから具体的な情報を得るためのシステムの例について、図１２を参照して説明する。この例は、図１０で示したサーバコンピュータ16の例と比べて、キーワード関連情報データベース68を備えるもので、このデータベース68にはキーワードに関連するデータを予め持っている。そして、このデータベース68の検索手段としてキーワード関連情報、データベース検索手段69を備えているもので、キーワード関連情報データベース68には図１３の（Ａ）で示すような内容のデータが格納されている。
【００２９】図１４はこのキーワード関連情報データベース68とデータベース検索手段69とのやりとりの流れを示しているもので、その前提として受信再生装置を構成する受像機12とサーバコンピュータ16とが、すでにモデム611 〜613 によって接続されているものとする。
【００３０】すなわち、受像機12に関連するリモコン等によって選択されたキーワードは、キーワード検索要求によってサーバコンピュータ16に送られる。サーバコンピュータ16では、キーワード関連情報データベース68がこのキーワードをキーとしてキーワード関連情報データベースリンク検索手段69によって検索され、その検索結果を関連情報として受像機12に対して送り返すようになる。この時点で、受像機12の画面には、図７で示すような情報が表示される。
【００３１】この様な画像が表示され状態で、ユーザがリモコンを用いて要求される情報の選択指定を行うもので、その選択結果が検索キーとしてサーバコンピュータ16に送出される。この様な選択キーに基づいて再び図１３R>３の（Ａ）のデータベースの検索が行われ、当該リンク先のデータベースよりデータを得る。この様にして得られた情報は、前述したようにサーバコンピュータ16においてプロトコル変換され、受像機12において再生できるような形式にして、この受像機12に対して送られる。
【００３２】この様な動作によって、抽象的な概念のものから具体的な対象を順に追って選択できるようになり、ユーザにおける選択肢を増やして利便性を向上させることができる。
【００３３】図１５はさらに個人のカスタマイズされた情報を提供するためのサーバコンピュータ16の構成を示すもので、図１２で示したキーワード関連情報データベースリンク検索手段69に関連して、さらに個人情報データベース70が設けられる。この個人情報データベース（個人情報対応）70には、例えば図１３の（Ｂ）で示すような内容のデータが格納されており、この個人情報は例えば図３の（Ｂ）で示すような内容である。
【００３４】この様な個人情報データベース70を設けることにより、例えばユーザの年齢により比較を行い、対象年齢に近い情報を選択して関連情報として提示することができるものであり、また身長等の体格情報に基づいて、例えばユーザがビジネス服を指定した場合には、このユーザの年齢や体格にあったビジネス服が紹介できるような情報が、ユーザ側の受像機12の送られて表示され、ユーザにおける選択肢として提供されるようになる。
【００３５】
【発明の効果】以上のようにこの発明に係る画像情報に基づく情報検索装置によれば、データ放送の多重データとして、例えば動画像のシーンを特定できるシーン番号と、表示画像中の関連物体のキーワードを送信するものであり、選択されたキーワードとシーン番号に基づいてデータベースのアドレスを特定することのできる、対応データを有するサーバコンピュータを備えている。したがって、サーバアドレスを全て送信する必要のないものであり、このためのアドレスのフォーマットやプロトコルを全て受信再生側で解釈と再生をする必要がない。
【図面の簡単な説明】
【図１】この発明の一実施の形態に係る情報検索装置の説明するための全体的な構成図。
【図２】上記情報検索装置を構成するデータベースに設定される情報の内容を示す図。
【図３】（Ａ）および（Ｂ）は上記データベースに格納されている関連情報の内容を示す図。
【図４】上記再生装置を構成する受像機の再生画面の例を示す図。
【図５】データの多重化手段を説明する構成図。
【図６】上記再生装置を構成する受像機を説明する回路構成図。
【図７】検索されたデータに基づく表示画面の例を示す図。
【図８】上記再生装置の第２の例を説明する回路構成図。
【図９】この再生装置を構成するＭＰＵの動作の流れを説明するフローチャート。
【図１０】サーバコンピュータ16の具体的な第１の例を説明する構成図。
【図１１】上記サーバコンピュータの動作を説明するフローチャート。
【図１２】サーバコンピュータ16の具体的な第２の例を説明する構成図。
【図１３】（Ａ）はキーワード関連情報データベースに格納された情報の内容を示す図、（Ｂ）は同じく個人情報対応のデータ内容を示す図。
【図１４】キーワード関連情報データベースとデータベース検索手段とのやりとりの流れを説明する図。
【図１５】サーバコンピュータ16の具体的な第３の例を説明する構成図。
【符号の説明】
11…放送局、12…受像機、13…シーン番号、キーワード、データリンク対応データベース、14…多重化回路、15…キーワード蓄積手段、16…サーバコンピュータ、171 、172 、…外部テータベース、21、22…圧縮回路、23、24…ＰＥＳエンコード、25〜27…マルチプレクサ、31…アンテナ、32…チューナ、33…デバケットコントローラ、34〜37…ＦＩＦＯ、38、39…映像デコーダ、40、41…音声デコーダ、42、44…画面合成回路、43、47、52…Ｄ／Ａコンバータ、45…表示器、46…セレクタ、48…スピーカ、49…ＳＲＡＭ、50…ＭＰＵ、51…ＶＲＡＭ、53…リモコン、54…赤外線受光部、55…マイコン、56…モデム、57…メモリ、59…クロック再生回路、611 〜613 …モデム、62…キーワード分離手段、63…データベースリンク検索手段、64…シーン番号、キーワードリンク情報対応データベース、651 〜653 …ネットワークアクセス手段、661 〜663 …外部データベース、671〜673 …プロトコル変換手段、68…キーワード関連情報データベース、69…キーワード関連情報データベースリンク検索手段、70…個人情報データベース。

【特許請求の範囲】
【請求項１】画像情報を送出する送信手段と、この送信手段に付属して設けられ、少なくとも前記送信された画像に関連する情報を提供するデータベースサーバと、前記送出された画像情報とこの画像情報に関連する選択可能な複数の関連情報を、前記データベースサーバに格納されている情報と多重化する情報多重手段と、前記画像情報と共に前記多重化された情報を受信し、画像表示する受信再生手段と、この受信再生手段で受信された画像に表示された前記関連情報に対応して、これを選択する関連情報選択手段と、この関連情報選択手段で選択された情報を前記送信手段側の前記データベースサーバに伝送する伝送手段と、この伝送手段で伝送された前記関連情報選択手段で選択された関連情報に基づき対応情報を検索する検索手段と、この検索手段で検索された結果を前記受信再生手段に伝送すると共に、その検索結果に関連した指令を再生出力する出力手段と、を具備したことを特徴とする画像情報に基づく情報検索装置。
【請求項２】前記データベースサーバには、前記受信再生手段で再生される画像に関連したシーン番号さらにキーワード等の内容のデータを保持したデータベースが設けられ、前記キーワードおよびシーン番号が前記受信画像上で表示されて前記関連情報選択手段でこのキーワードおよびシーン番号が選択入力されて前記データベースサーバに伝送され、このキーワード並びにシーン番号に対応したデータ検索が行われるようにした請求項１記載の画像情報に基づく情報検索装置。
【請求項３】前記データベースサーバには、前記検索手段に対応してシーン番号、キーワードリンク情報対応のデータベースが設置され、前記関連情報選択手段で選択された関連情報に基づいて対応データを引き出し、前記受信再生手段に伝送して表示させ、前記関連情報選択手段でさらに関連情報が選択されるようにした請求項１記載の画像情報に基づく情報検索装置。
【請求項４】前記データベースサーバには複数の外部データベースが付属され、前記受信再生手段でデータベースサーバからの伝送データに基づき再生された前記シーン番号、キーワードリンク情報対応のデータベースから引き出され表示され選択されたデータに基づき、前記外部データベースから情報が読み取られて受信再生側に伝送されるようにした請求項３記載の画像情報に基づく情報検索装置。
【請求項５】前記データベースサーバには時計装置およびメモリが設けられ、受信再生手段で選択されたキーワード情報等を前記メモリに蓄積して、時間帯を選んで前記検索手段で関連情報に基づく対応情報を検索するようにした請求項１記載の画像情報に基づく情報検索装置。
【請求項６】前記データベースサーバには個人情報データベースが設けられ、前記関連情報選択手段を操作するユーザの個人情報に基づく情報を検索できるようにした請求項１記載の画像情報に基づく情報検索装置。

【図１】