情報関連付け方法、端末装置、サーバ装置、プログラム
【課題】 従来のWWWサーチエンジンを用いた検索では、ユーザによるキーワー
ド入力を前提にしているため、TV放送等の映像情報をキーとしてホームページの
検索を行ったり、逆にキーワードからTV放送のシーンを検索したりすることがで
きなかった。
【解決手段】TV放送やコンピュータネットワークなどを介して伝送される映像情
報と、キーワードなどの文字情報とを関連付け、TV放送等の映像情報をキーとし
てWWW上のホームページ検索を行ったり、逆にキーワードからTV放送のシーンを
検索したりすることを可能とする情報関連付け方法、およびこれを利用した端末
装置、サーバ装置、プログラムおよび課金方法を提供する。
ド入力を前提にしているため、TV放送等の映像情報をキーとしてホームページの
検索を行ったり、逆にキーワードからTV放送のシーンを検索したりすることがで
きなかった。
【解決手段】TV放送やコンピュータネットワークなどを介して伝送される映像情
報と、キーワードなどの文字情報とを関連付け、TV放送等の映像情報をキーとし
てWWW上のホームページ検索を行ったり、逆にキーワードからTV放送のシーンを
検索したりすることを可能とする情報関連付け方法、およびこれを利用した端末
装置、サーバ装置、プログラムおよび課金方法を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像情報とテキスト情報を関連付ける情報関連付け方法に関し、特に映像情報の一部若しくは全体を検索キーワードとして用いる方法に関する。
【背景技術】
【０００２】
インターネットなどのコンピュータネットワーク(以下、ネットワーク)を利用して、様々な情報が共有、交換されている。例えば、インターネットによって結合されたサーバ装置上に存在する情報は、ハイパーリンクと呼ばれる手法によって互いに関連付け(リンク)され、WWW (World Wide Web)と呼ばれる巨大な情報データベースを構成している。一般には、HTML (Hyper Text Markup Language)と呼ばれる記述言語によって、テキスト、音声、映像などの情報がお互いにリンクされ、ホームページと呼ばれるひとつの情報単位を構成している。
【０００３】
このネットワーク上では、BBS(Bulletin Board System)や電子掲示板システムなどと呼ばれる情報交換システムが運営されており、ユーザは、インターネットに接続されたPC(Personal Computer)等の端末を用いてサーバ装置に接続し、情報を書き込んで登録するなどして情報交換を行っている。一方、インターネットによって結合されたPCを利用するユーザどうしが、端末用ソフトウェアを用いて互いに文字(テキスト)情報を送受信することによって、遠隔地に離れた人とリアルタイムに直接会話(チャット)し情報を交換することも可能となっている。
【０００４】
また、特許文献１には、情報交換システムやチャットなどを介して交換されるテキスト情報から、特定のキーワードを検出し、このキーワードに関連した告知広告を閲覧できるようにする技術が開示されている。
【０００５】
また、非特許文献１には、検索技術として、ユーザがキーワードを入力し、そのキーワードを含むホームページをWWWの中から検索するサーチエンジンと呼ばれる技術が記載されている。
【０００６】
また、非特許文献２には、テレビジョン放送などの映像情報の中から、人などの映像オブジェクトを切出して追跡する技術が開示されている。
【０００７】
【特許文献１】特開第２００１−２３６３５０号公報
【非特許文献１】佐藤他；”WWWにおける情報検索技術の動向”, 電子情報通信学会誌, Vol.82, No.12, pp.1237-1242, 1999年12月
【非特許文献２】三須ほか；”複数観測情報を統合したオクルージョンに対し頑強なオブジェクト追跡法”, 2001年映像情報メディア学会年次大会講演予稿集, No.5-5, pp.63-64, 2001年8月
【発明の開示】
【発明が解決しようとする課題】
【０００８】
TV放送を視聴時に、たとえばドラマ番組の主演女優が身に付けている衣装等について検索したい場合、ネットワークに接続されたＰＣからサーチエンジンにアクセスし、ユーザが考えた検索キーワードを入力して検索する必要があった。このように、従来のサーチエンジンでは、ユーザによるキーワード入力を前提にしているため、TV放送等の映像情報をキーとしてホームページの検索を行ったり、逆にキーワードからTV放送のシーンを検索したりすることができない、という課題があった。
【０００９】
本発明の目的は、上記課題を解決し、TV放送やネットワークを介して伝送される映像情報と、キーワードなどの文字情報とを関連付ける情報関連付け方法、およびこれを利用した端末装置、サーバ装置、プログラムを提供することにある。これにより、ＴＶ放送の視聴者が、画面をマウスなどのポインティングデバイスで選択(クリック)することにより、その衣装等のメーカ名や価格などの関連情報が画面上に表示されるなど、TV受像機上に表示された映像の一部あるいは全体を選択することで、映像と関連する情報を検索できる機能を提供することが可能となる。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は、端末装置(以下、端末)とサーバ装置(以下、サーバ)とコンピュータネットワークと媒介情報を用いて、媒介情報と該媒介情報に関連する情報(以下、関連情報)との間に関連付けを行う情報関連付け方法として、第１の端末では、第１の媒介情報を受信あるいは取得し、該第１の媒介情報を識別するための情報(以下、第１の媒介情報識別情報)と該第１の媒介情報の一部あるいは全体を指定するための情報(以下、第１の範囲指定情報)とメッセージ情報の組を、コンピュータネットワーク経由でサーバに送信し、該サーバでは、前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記メッセージ情報の組を受信し、受信した前記メッセージ情報の一部あるいは全体から関連情報を作成し、前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記第１の関連情報とを相互に関連づけた形態でデータベースに登録するようにしている
。
【００１１】
また、情報関連付け方法として、サーバでは、前記第１と第２の端末を含む２つ以上の端末からなるグループを形成し、受信した前記メッセージ情報を、前記グループに属し前記第２の端末を含む１つ以上の端末にコンピュータネットワーク経由で送信し、前記第２の端末では、受信した前記メッセージ情報を出力するようにしている。
【００１２】
また、情報関連付け方法として、第３の端末では、第２の媒介情報を受信あるいは取得し、該第２の媒介情報を識別するための情報(以下、第２の媒介情報識別情報)と該第２の媒介情報の一部あるいは全体を指定するための情報(以下、第２の範囲指定情報)の組を、コンピュータネットワーク経由でサーバに送信し、該サーバでは、受信した前記第２の媒介情報識別情報および前記第２の範囲指定情報と、データベースに登録された前記第１の媒介情報識別情報および前記第１の範囲指定情報を照合して両者が一致した場合に、該第１の媒介情報識別情報および第１の範囲指定情報と組をなす前記関連情報を、第３の端末にコンピュータネットワーク経由で送信し、該第３の端末では、受信した前記関連情報を出力するようにしている。
【００１３】
また、前記サーバでは、広告主から指定または依頼された広告キーワードと広告情報をデータベースに登録し、該広告キーワードが前記関連情報と関連するか否かを判定し、関連すると判定された場合には、前記広告情報を前記第１または第２または第３の端末にコンピュータネットワーク経由で送信し、該第１または第２または第３の端末では、受信した広告情報を出力するようにしている。
【００１４】
また、サーバとコンピュータネットワークと媒介情報を用いて、媒介情報と関連情報の関連付けを行う端末として、媒介情報を入力する手段と、媒介情報識別情報を取得する手段と、範囲指定情報を取得する手段と、メッセージ情報を入力する手段と、前記媒介情報識別情報と前記範囲指定情報とメッセージ情報をコンピュータネットワーク経由で送信する手段と、関連情報をコンピュータネットワーク経由で受信して出力する手段と、前記媒介情報のうち前記範囲指定情報で指定された部分と関連情報とを関連づけて表示する手段を備えるようにしている。
【００１５】
また、コンピュータネットワークを用いて２つ以上の端末間で情報の交換を行うサーバ装置として、第１の端末から送信された第１の媒介情報識別情報と第１の範囲指定情報とメッセージ情報の組をコンピュータネットワーク経由で受信する手段と、該メッセージ情報の一部あるいは全体から関連情報を生成する手段と、前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記メッセージ情報と前記関連情報を互いに関連付けた形態でデータベースに蓄積する手段と、第２の端末から送信された第２の媒介情報識別情報と第２の範囲指定情報の組をコンピュータネットワーク経由で受信してデータベースに蓄積する手段と、前記第１と第２の媒介情報識別情報および前記第１と第２の範囲指定情報をそれぞれ照合する照合手段と、照合の結果両者が一致した場合に前記メッセージ情報あるいは
前記関連情報のどちらか一方あるいは両方の情報を前記第２の端末に対してコンピュータネットワーク経由で送信する手段を備えるようにしている。
【００１６】
また、サーバ装置として、広告主から指定あるいは依頼された広告キーワードと広告情報をデータベースに登録する手段と、該広告キーワードが前記関連情報と関連するか否かを判定する手段と、関連すると判定された場合には、前記広告情報を前記第１または第２の端末にコンピュータネットワーク経由で送信する手段を備えるようにしている。
【００１７】
また、サーバ装置として、前記第１の媒介情報識別情報と、前記第１の範囲指定情報と、前記メッセージ情報と、前記関連情報と、前記第２の媒介情報識別情報と、前記第２の範囲指定情報と、前記広告キーワードのうちいずれか１つの情報、あるいは複数を組み合わせた情報をもとにマーケティング情報を生成するマーケティング情報解析手段を備えるようにしている。
また、サーバ装置として、前記広告キーワードは、少なくとも商品名、各種用品名、人名、施設名、都市等の地域名を含む名詞、固有名詞、行動動作を表す動詞、形容詞および代名詞と、これらを組み合わせた複合語、熟語、文であるようにしている。
【００１８】
また、媒介情報を入力して手順と、該媒介情報を識別するための情報(以下、媒介情報識別情報)を取得する手順と、該媒介情報の一部あるいは全体を指定するための情報(以下、範囲指定情報)を取得する手順と、メッセージ情報を入力する手順と、前記媒介情報識別情報と前記範囲指定情報とメッセージ情報をコンピュータネットワーク経由で送信する手順と、関連情報をコンピュータネットワーク経由で受信する手順と、前記媒介情報のうち前記範囲指定情報で指定された部分と関連情報とを関連づけて表示する手順をコンピュータに実行させるためのプログラムとしている。
【００１９】
また、第１の端末から送信された第１の媒介情報識別情報と第１の範囲指定情報とメッセージ情報の組をコンピュータネットワーク経由で受信する手順と、該メッセージ情報の一部あるいは全体から関連情報を生成する手順と、前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記メッセージ情報と前記関連情報を互いに関連付けた形態でデータベースに蓄積する手順と、第２の端末から送信された第２の媒介情報識別情報と第２の範囲指定情報の組をコンピュータネットワーク経由で受信してデータベースに蓄積する手順と、前記第１と第２の媒介情報識別情報および前記第１と第２の範囲指定情報をそれぞれ照合する照合手順と、照合の結果両者が一致した場合に前記メッセージ情報あるいは前記関連情報のどちらか一方あるいは両方の情報を前記第２の端末に対してコンピュータネットワーク経由で送信する手順をコンピュータに実行させるためのプログラムとしている。
【発明の効果】
【００２０】
本発明により、TV放送やネットワーク経由で伝送された映像情報をキーとしてWWW上のホームページ検索を行ったり、キーワードからTV放送のシーンを検索したりすることが可能となる。また、本発明により、テレビジョン番組などを視聴時にテレビジョン受像機上に表示された映像の一部あるいは全体を選択するだけで、検索のための文字入力などを行わなくても、前記映像に関連した他の情報を検索して取得する方法と装置を提供できる。また、前記映像から他の情報を検索する検索サービス事業や、前記映像と広告情報を関連づけた広告サービス事業を実現できる効果がある。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施例を図示により説明する。
【００２２】
図１に本発明の実施例の構成図を示す。同図において、まず２台の情報交換端末装置（以下、端末）Ａ101、Ｂ102と、情報交換サーバ装置（以下、サーバ）103と、コンピュータネットワーク(以下、ネットワーク)104と、TV放送など映像情報を含む媒介情報105を用いて、文字情報(以下、テキスト)を含む会話（以下、チャット）による情報交換システムを構築する。具体的には、端末Ａ101、端末Ｂ102に対して後述の媒介情報105をそれぞれ入力し、各端末はサーバ103を介して媒介情報の識別情報108,112、範囲指定情報109,113、端末識別情報110,114、テキストを含むメッセージ情報111,115、などの情報をやりとりする。サーバ103は、媒介情報照合手段106と情報交換用データベース107とキーワード抽出手段116を持ち、各端末から送信された情報を受信して情報交換用データベース107に格納すると共に、キーワード媒介情報照合手段106を用いて端末どうしをグループ化し、端末どうしの通信を可能にする。このグループ化の方法については後述する。また、サーバ103は、キーワード抽出手段116を用いて、各端末から送信されたメッセージ情報111,115を解析し、後述するキーワード情報、文脈情報、関連情報などを抽出して、情報交換用データベース107に格納する。
【００２３】
前記媒介情報105は、TV放送の映像、ビデオCDやDVDビデオ等のパッケージ化された映像、インターネット等を通じて配信されるストリーミング映像やホームページ、GPS(Global Positioning System)によって位置や方向の特定された風景映像などのように、双方で独立して識別できる(すなわち、他の媒介情報と区別できる)ものであれば何でもよい。以下、媒介情報105としてTV放送を用いた場合を例に挙げて説明する。
【００２４】
前記端末Ａ101では、前記媒介情報105を再生し表示する。ここで、端末Ａ(101)を操作するユーザが、再生されている映像の対象に興味を持った際に、ユーザは端末Ａ101に内蔵された座標ポインティングデバイス(マウス、タブレット、ペン、リモコンなど)を用いて、画面上の位置と範囲を指定する。一例として図１では、画面に表示された花瓶の花の部分を選択してクリックし、画面位置の指定と画面範囲の指定を行っている。この時、端末Ａ101は入力された媒介情報105を識別するための情報(すなわち、媒介情報の識別情報108)を取得する。媒介情報の識別情報108としては、例えば、TV放送の場合には放送チャンネル番号、受信地域などを用いればよい。ビデオCDやDVDビデオ等のパッケージ映像や、ネットワークを介して伝送されたストリーミングコンテンツなどの場合などは、コンテンツに一意な情報(例えばID、URL(Uniform Resource Locator)、管理番号等)を用いればよい。また同時に端末Ａ101は、クリックされた時刻と、指定された画面位置、画面範囲から、媒介情報における時刻と画面内位置の各範囲を識別する情報（以下、範囲指定情報）を取得する。時刻については、媒介情報がテレビジョン放送であれば放送時刻を用い、パッケージ映像やストリーミングコンテンツでは先頭からの経過時刻や、経過時刻と対応するデータアドレスなどを用いればよい。ここで前記時刻とは、年、月、日、時、分、秒、フレーム番号などを含む。また、前記時刻に範囲を与え、開始時刻と終了時刻の間に一定期間(例えば1秒間)を定めてもよい。画面内位置の範囲としては、形状（例えば円や長方形など）を指定する情報と、パラメータ（形状を円とすれば中心点の座標と半径、長方形とすれば重心の座標と縦横の辺の長さ）などを用いればよい。また、前記範囲指定情報を作成する際に、時刻の範囲と画面内位置の範囲の両方を指定するのではなく、時刻の範囲あるいは画面内位置の範囲のどちらか一方だけを指定してもよく、また、媒介情報の全体を指定してもよい。また、前記端末識別情報110として、例えば端末に設定されたIP(Internet Protocol)アドレスやMAC(Media Access Control)アドレスや電子メールアドレスなどのアドレス情報や、携帯電話などの場合には電話番号や、ユーザ情報(氏名やハンドル名など)から端末を一意に識別できる場合にはユーザ識別情報などを用いればよい。
【００２５】
一方、前記端末Ｂ102においても端末Ａ101と同様に、媒介情報105の入力と表示、およびユーザの範囲指定動作を介して、媒介情報の識別情報112、範囲指定情報113、端末識別情報114の取得が行われる。端末Ｂ102は、前記媒介情報の識別情報112、範囲指定情報113、端末識別情報114を取得し、サーバ103に送信する。
【００２６】
前記サーバ103は、端末Ａ101と端末Ｂ102から送信された媒介情報の識別情報108,112、範囲指定情報109,113、端末識別情報110,114などの情報を受信し、これらの情報を情報交換用データベース107に登録するとともに、媒介情報照合手段108を用いて、端末Ａ101と端末Ｂ102をグループ化するかどうかを判定する。すなわち、端末Ａ101と端末Ｂ102から送信された媒介情報の識別情報108,112が同一で、範囲指定情報109,113がある程度重なる範囲にあれば両端末でチャットができるように同じグループにまとめる。具体的には、端末Ａ101と端末Ｂ102が同じ番組内容のTV放送を見ており、比較的近い画面範囲を指定してクリックしたと仮定する。すると、サーバ103は、端末Ａ101と端末Ｂ102が同じ対象を選択したと判定して、これらの端末がチャット(すなわち、メッセージ情報111,115の交換)をできるようにグループを形成して、相互に接続する。こうして同じグループ内で接続された端末どうしは、自由にチャットできるようになる。なお、グループ形成方法はこれに限定されるわけではなく、例えば、端末Ａ101と端末Ｂ102が同一のグループとなるように予めサーバに登録しておいてもよく、この場合には前記媒介情報の識別情報108,112や範囲指定情報109,113の照合などは不要である。また、同時に3つ以上の端末でチャットを行うようにグループ化してもよい。
【００２７】
続いて、サーバ103は、チャットを介して端末間で交換されるメッセージ情報111,115から、キーワード抽出手段116を用いてキーワードを抽出し、情報交換用データベース107に格納する。このキーワード抽出方法については後述する。
【００２８】
以上の動作により、サーバ103では、端末Ａ101にて指定した対象(図１の例では花が映っている映像部分)と、端末Ａ101から送信されたメッセージ情報111の中のキーワードを関連づけて、情報交換用データベース107に格納することが可能となる。端末Ｂ102についても同様に、端末Ｂ102にて指定した対象とキーワードとを関連づけて、情報交換用データベース107に格納する
このように映像対象とキーワードを関連づけた結果を、検索に利用することができる。以下、この検索動作について説明する。
検索を行おうとする端末Ｃ117において、前記と同様に媒介情報105を入力して表示し、端末Ｃ117を操作するユーザが、再生されている映像の対象に関する情報を検索したいと思ったときにその対象が映った画面上の位置と範囲を指定し、サーバ103に媒介情報の識別情報118、範囲指定情報119、端末識別情報120を送信する。
【００２９】
サーバ103では、媒介情報照合手段106と情報交換用データベース107を用い、端末Ｃ117から送られた媒介情報の識別情報118と範囲指定情報119に対応するキーワードを検索し、この検索結果121をネットワーク104経由で端末Ｃ117に送信し、端末Ｃ117にて表示する。具体的には、端末Ｃ117から送信された媒介情報の識別情報118と情報交換用データベース107に格納されている媒介情報の識別情報108が同一で、なおかつ端末Ｃ117から送信された範囲指定情報119と情報交換用データベース107に格納されている範囲指定情報109がある程度重なる範囲にあれば、これらは同じ対象を指していると判定し、この対象と関連付けられているキーワードを検索結果121とする。
【００３０】
なお、図１では、便宜上、チャットを行う端末Ａ101及び端末Ｂ102と、検索を行う端末Ｃ117を別々の端末として示したが、これらを１つの端末に集約し、チャットと検索の両方を行う端末としてもよい。また、端末Ｃ117が検索要求をサーバに送信したのちに、端末Ａ101と端末Ｂ102の間でチャットが開始されることもあるため、端末Ｃ117からの一度の検索要求に対してサーバ103にて上記検索動作を定期的に複数回繰り返してもよい。また、チャットを行う端末Ａ101及びＢ102と検索を行う端末Ｃ117とをサーバにて区別するために、チャットを行う端末Ａ101及び端末Ｂ102はメッセージ交換要求をサーバに送信し、検索を行う端末Ｃ117は検索要求をサーバに送信してもよい。
【００３１】
図２を用いて、前記キーワード抽出手段116の動作について説明する。前述したように、媒介情報105が表示された前記端末Ａ101のディスプレイ画面201上でユーザが指定した指定範囲202と、端末Ａ101と端末Ｂ102の間で交わされたメッセージ情報203は、サーバ103にて関連付けられている。キーワード抽出手段116では、メッセージ情報203の内容を分析し、特定の単語や固有名詞などを含むキーワード情報205、キーワード間の関係を示す文脈情報206、キーワードと関連したリンク情報207などを抽出する。図２に示した例では、「お花」「名前」「アマリリス」「きれい」「値段」「１０００円」などがキーワード情報205である。次に、キーワード情報どうしの関係を示す文脈情報206を抽出する。文脈情報は、例えば、「名前」：名詞、「きれい」：形容詞のようにキーワードの属性や、「名前」→「アマリリス」、「お花」→「きれい」のようにキーワードどうしの関係を示す情報である。リンク情報207はホームページのアドレスや、ユーザのメールアドレスなど、特殊な用途に用いられるテキスト情報である。なお、キーワード切り出しや文脈情報の抽出については、特定の単語や単語間の意味的な関連づけを格納した辞書データと照合するなどの従来の技術や、前記参考文献１記載の技術を用いればよいため、図示は省略する。
【００３２】
このように、メッセージ情報203の解析を行うことによって、媒介情報105の中から一部を選択した指定範囲202とキーワード情報205、文脈情報206、リンク情報207の関連付けが可能となる。これにより、例えば映像の特定のフレームに映っている選択対象からキーワード情報を取得したいと思えば、前記端末Ｃ117はサーバに対してその選択対象に関する媒介情報の識別情報118と範囲指定情報119を送信し、サーバ103にてこれらの情報から選択対象を特定し、「お花」「アマリリス」などのキーワード情報205を検索して、検索結果121を端末Ｃ117に返す。これによって映像情報からキーワード情報を得ることが出来る。逆に、キーワード情報から映像情報を取得したければ、端末はキーワード情報をサーバに送信することによって、サーバがキーワード情報から選択対象を特定し、媒介情報の識別情報と、範囲指定情報を検索結果として端末に返す。端末はこれらの情報からフレーム、シーンを特定し、選択対象の映像を表示することができる。
【００３３】
さらに図３も用いて、前述した端末Ｃ117とサーバ103による検索動作のステップ301について説明する。同図において、まずステップ302において、サーバ103では、チャットによって蓄積されたメッセージ情報111,115を解析し、キーワード抽出結果204として情報交換用データベース107に保存する。次にステップ303において、検索を行おうとする端末Ｃ117は、サーバ103に対しクエリー情報を送信する。クエリー情報とは、映像情報からキーワードを検索する場合には、映像を特定するための媒介情報の識別情報118と、範囲指定情報119と、キーワードを検索するためのコマンドであり、キーワードから映像情報を検索する場合には、検索のためのキーワード文字列と、映像情報を検索するためのコマンドである。またサーバから端末Ｃ117に対して検索結果121を送信するために、前記クエリー情報に端末識別情報120を含んでもよい。
【００３４】
次にステップ304において、サーバは端末から送られたクエリー情報を元に、情報交換用データベース107内のキーワード抽出結果204を検索し、検索結果121を端末Ｃ117に送信する。
【００３５】
次にステップ305において、端末Ｃ117は検索結果121を受信して表示する。例えば、検索結果121としてキーワード情報205を受信した場合には、キーワードの一覧を表示すればよい。また、リンク情報207を受信した場合には、ホームページアドレスを示すリンク文字列を表示したり、そのリンク文字列が指し示すHTML文書を表示したりすればよい。媒介情報の識別情報と範囲指定情報を受信した場合には、後述のように端末Ｃ117上に保存されている媒介情報の中から該当するフレーム、シーンを抜き出して表示すればよい。また、これらを併用して表示してもよい。なお、サーバ103から端末Ｃ117への検索結果121の送信方法として、検索結果121をHTML文書などのように直接的に表示できる形態で送信してもよいし、検索結果121を含む電子メールや郵送などのように間接的に表示できる形態で送信してもよい。
【００３６】
図４に、本発明で用いる端末の構成図を示す。前述のステップを有するソフトウェアプログラムを格納したプログラム格納メモリ404からの指示に基づき、情報処理装置405が装置全体の制御を行う。まず、媒介情報受信部402から入力された媒介情報105は、情報処理装置にてデジタルデータとして扱えるように符号化する。媒介情報受信部は一般的なテレビチューナやPC用のテレビチューナボードなどを用いればよい。この符号化方式として、ISO/IEC規格にて規定されているMPEG(Moving Picture Experts Group)方式やJPEG(Joint Photographic Experts Group)方式などの一般的な方式を用いることができるため、図示は省略する。なおこのとき、映像信号だけでなく、音声信号についても同様に符号化してもよい。また、既に符号化された映像・音声信号が媒介情報受信部に入力された場合には、前述した情報処理装置での符号化は特に必要ではない。符号化された信号は、情報処理装置にて復号化され、ディスプレイ403に表示される。情報処理装置とは別に、符号化、復号化を行うエンコーダ、デコーダを用意してもよい。ディスプレイ403は、前記符号化された映像/音声信号の復号された信号だけでなく、チャットの際のメッセージ情報111,115に含まれる文字列や記号、サムネール画像、関連情報や、検索結果121を表示するためのHTML文書等の出力も行う。この際、映像・音声信号を出力するためのディスプレイ１と、HTML文書等の出力するためのディスプレイ２に別けて構成してもよく、ディスプレイ１としてTV受像機を用い、ディスプレイ２として携帯型端末(例えば携帯電話装置等)を用いてもよい。また、符号化された信号をある時間間隔を置いたのちに再生であるタイムシフトをおこなうために、一旦、記憶装置406に記録してもよい。記憶装置の記録媒体409としては、CD(Compact Disc)やDVD(Digital Versatile Disc)、MO(Magneto-Optical)、FDD(フロッピー（登録商標）ディスク)、HDD(ハードディスク)などのディスク媒体、ビデオカセットテープ等のテープ状の媒体や、RAM(Random Access Memory)、フラッシュメモリ等の固体メモリを用いればよい。タイムシフトの方法は、一般的な方法を用いればよいので図示は省略する。また、前記媒介情報受信部やディスプレイに関しては、別の装置の機能を流用する(すなわち外付け構成とする)ことにより、端末の構成から外してもよい。また、媒介情報受信部402では、媒介情報の識別情報108,112と範囲指定情報109,113の取得だけを行い、媒介情報105そのものを情報処理装置405に取り込まなくてもよい。
【００３７】
操作部401では、前述のポインティングデバイスからのデータに基づき、ユーザが興味を持った映像が表示されたディスプレイ403の画面位置指定(水平、垂直の画素位置の指定)と画面範囲指定(範囲を表す半径などの指定)を行う。さらに、チャットのためのメッセージ情報の入力 (キーボード入力や表示された一覧の中からの選択など)や検索のためのクエリー情報の入力などを行う。
【００３８】
情報処理装置405はプログラム格納メモリ404に格納されたプログラムの指示に従い、媒介情報受信部402から媒介情報105を識別するための情報(チャンネル、放送時刻、受信地域など)を取得して保持する。また、タイムシフトを行う場合には、映像/音声信号を記録する際に、この識別情報も併せて記録し、再生時に読み出す。また、媒介情報受信部402や操作部401やネットワークインタフェース407からの情報などを元に、媒介情報の識別情報、範囲指定情報、アドレス情報、メッセージ情報、クエリー情報等を作成し、ネットワークインタフェース407を用いてネットワーク408を経由してサーバ103に情報を送信する。このネットワークインタフェース407は、ネットワークへのコマンドとデータの送受信などの機能を提供するものであり、一般的なPC用のネットワークインタフェースボード等を用いることが可能であるため、図示は省略する。これらの機能はテレビチューナ機能を内蔵したPC等によってソフトウェア制御により実現することが可能であるが、これ以外にもテレビジョン受像機等にこれらの機能を内蔵する形態で実現してもよい。
【００３９】
端末は、サムネール画像作成機能を持つのが好ましい。サムネール画像作成機能は、受信した媒介情報、または記憶装置に保存した媒介情報と、媒介情報の識別情報、範囲指定情報を入力とし、時刻情報と一致する媒介情報を取り出し、これに画面範囲情報をユーザに理解できる表示形態で重ねて、サムネール画像を作成する。媒介情報の識別情報、範囲指定情報はネットワーク経由で受信したものでもよいし、自端末において取得したものでもよい。このサムネール画像作成機能を持つことにより、サムネール画像自身をネットワーク経由で伝送せずに、媒介情報の識別情報、範囲指定情報を伝送することによって、遠隔地にある端末間で同じサムネール画像を共有し、表示することが可能となる。
【００４０】
図５に、本発明で用いる端末Ａ101および端末Ｂ102の画面表示の一例を示す。ここでは、端末Ａ101を操るユーザＡと端末Ｂ102を操るユーザＢが、同じテレビ番組を見ながらチャットを行っている場合の各端末での画面表示を例に挙げて示す。ディスプレイ画面501上に媒介情報（TV放送）が映し出され、端末を操るユーザＡが興味のある対象をポインタ503を用いて指定範囲502を設定して選択する様子を示している。ユーザＡはマウス505を用いてポインタ503の位置を制御し、マウスホイール507を用いることによって指定範囲502を示す円の大きさを拡大・縮小し、マウスボタン506を用いて指定範囲を決定する。指定範囲は図のように円で指定してもよいし、長方形などの他の形状で指定してもよい。ユーザによって指定範囲が決定されると、決定された時点の媒介情報における指定範囲の縮小表示画像として、サムネール画像508が表示される。サムネール画像は、自端末にて作成したものでもよいし、他の端末にて作成されネットワーク経由で送信されたものでもよいし、前述のように媒介情報の識別情報と範囲指定情報と自端末の記憶装置内に格納しておいた媒介情報から作成したものでもよい。ユーザはキーボード504を用いて文字等を入力し、他の端末と通信してチャットを行う。入力された文字等はメッセージ入力部510に表示される。キーボードによって文字を直接入力する以外にも、予め用意された文字や記号の一覧の中から一文字ずつ選択してもよいし、予め用意された文章一覧の中から文章ごと選択してもよい。他の端末とメッセージ交換したチャットの内容が、チャット表示部509に表示される。ユーザの名前やメールアドレス、発言時刻などの付随情報を表示してもよい。これらの付随情報は、チャット開始時に一度だけ送信し、受信した端末やサーバに格納しておいたものを表示してもよいし、チャット入力があるたびに毎回送信して表示してもよい。チャット表示部のそれぞれの発言についてサムネール画像を表示してもよい。チャット表示部のメッセージの数が多い場合には、画面スクロール手段をつけてスクロール表示してもよい。
【００４１】
図６に、本発明で用いる端末Ｃ117の画面表示の一例を示す。同図において、ディスプレイ画面501上にTV放送等の媒介情報が映し出され、前記端末Ｃ117を操るユーザＣが興味のある対象をポインタ503を用いて指定範囲502を設定して選択し、これに関連した検索結果を取得する様子を示している。前記と同様に、ユーザＣはマウス505を用いてポインタ503の位置を制御し、マウスホイール507を用いることによって指定範囲502を示す円の大きさを拡大・縮小し、マウスボタン506を用いて指定範囲を決定する。ユーザによって指定範囲が決定されると、決定された時点の媒介情報における指定範囲の縮小表示画像として、サムネール画像508が表示される。さらにユーザＣが検索ボタン601を押すと、前述のように媒介情報の識別情報118と範囲指定情報119をクエリー情報としてサーバ103に送信し、サーバからの検索結果121を待つ。検索結果121を受信したのちに、検索結果表示部602に表示する。このとき、前述したように、電子メールなどによって検索結果121を後日受信する場合もある。この場合には、検索結果121とともに媒介情報の識別情報118と範囲指定情報119をサーバ103から端末Ｃ117に送信するようにして、端末Ｃ117にてサムネール画像508を再生し、検索結果121と関連づけて表示するようにすれば、ユーザＣは何について検索したのかを思い出しやすい。
【００４２】
図７を用いて、チャットを行う端末Ａ101および端末Ｂ102の動作と、検索を行う端末Ｃ117動作について説明する。端末Ａ、Ｂ、C、D、Ｅの５つの端末があり、これらが同一の媒介情報105を入力していたと仮定する。具体的には、TV放送の同じ番組、すなわち同じ地域で同じチャンネルを見ていたと仮定する。ここで図７に示すように、端末A、B、C、D、Ｅがそれぞれ、フレーム703,704,705,706,702に示す時刻と画面範囲を指定してクリックしたとする。ここで予め時間範囲701を設定し、この時間範囲内にクリックした端末をグループ化の可能性がある端末としてピックアップする。ここでは、端末Ｄは一定時間以上離れているので除外する。このとき、媒介情報のシーンチェンジしたフレームをサーバ側あるいは端末側にて検出し、時間範囲701に収まっている場合であっても、シーンチェンジしたフレームをまたがった場合には異なるグループと判定し、グループから除外してもよい。次に、残ったフレームについて時間方向で合成707し、位置方向での判定を行う。ここで、端末Ａと端末Ｂと端末Ｃが指定した画面範囲708,709,710は重なっているが、端末Ｅが指定した画面範囲は711は重なっていないので、端末Ｅを除外する。従って、この例では端末Ａと端末Ｂと端末Ｃを同一グループとして判定し、端末Ｄ、Ｅは除外する。画面範囲の重なり具合の判定としては、一部でも重なった場合に同じグループと判定してもよいし、一定の割合以上重なっている場合にのみ同じグループとして判定してもよい。また、各端末が指定するフレームや画面範囲は1つに限定されるわけではなく、複数のフレームや画面範囲をまとめて指定してもよい。このように、媒介情報の識別情報および範囲指定情報が一定の範囲に含まれる端末どうしをグループ化することにより、ユーザどうしが同じ対象を見ながらチャットすることが可能になるとともに、その対象に関連した情報を検索することが可能となる。なお、サーバ103では、上述のように同じ対象を指定したグループ(すなわち、端末Ａと端末Ｂと端末Ｃのグループ)ごとに管理してもよいし、チャットする際のグループ(すなわち、端末Ａと端末Bから成るグループ)と、検索する際のグループ(すなわち、端末Ｃと端末Ａのグループ、および端末Ｃと端末Ｂのグループ)をそれぞれ分けて管理してもよい。
【００４３】
図８に、複数のフレーム802（本図では、便宜上802-1から802-5で表示）にまたがって表示されている対象をひとつの対象とみなす動作について示す。一般に動画像では、着目する対象が映っている画面内位置がフレーム間で移動したり、拡大・縮小したり、回転したりする。ここで、例えば端末Ａがフレーム802-2に映っている「花」の部分を指定し、端末Ｂがフレーム802-3に映っている「花」の部分を指定した場合、前記図７に示したグループ化方法では、別々の対象を指定したと判定される可能性がある。そこで、例えば前記参考文献３記載の技術などを用いて、映像情報の中から人や物などの映像オブジェクトを切出して追跡することにより、フレーム802-2,802-3,802-4に映ったそれぞれの「花」の映像部分をひとつの対象と認識することができるようになり、フレーム802-2の「花」の映像部分を指定した端末Ａと、フレーム802-3の「花」の映像部分を指定した端末Ｂを同じグループとして管理することができるようになる。ここで、各端末で映像オブジェクト追跡を行い、その結果を媒介情報の識別情報および範囲指定情報とともにサーバに送ってもよいし、サーバに複数の媒介情報105(すなわち、全チャンネルのTV放送)を入力し、映像オブジェクト追跡を一括して行ってもよい。
【００４４】
図９を用いて、ひとつの対象に対して複数のチャットが存在する場合の検索動作の一例について説明する。同図において、端末Ｃのディスプレイ画面901に表示されている検索対象(図９では花が映っている部分)に対して、例えば端末Ａ、Ｂからなるグループにて行われるチャットと、端末Ｆ、Ｇ、Ｈからなるグループにて行われるチャットのように、複数のチャットが存在する場合がある。すなわち、端末Ｃの指定範囲906と、端末Ａ、Bの指定範囲902と、端末Ｆ、Ｇ、Ｈの指定範囲904の一部が重なることがある。この場合、端末Ａ、Ｂ間で交わされるメッセージ情報903と、端末Ｆ、Ｇ、Ｈ間で交わされるメッセージ情報905の両方からキーワード抽出を行い、端末Ｃにおける検索結果907としてもよい。この際、検索対象(花が映っている部分)と関連づけられた各キーワードに対し、後述する重要度908に基づいた順位づけを行い、サーバ側あるいは端末側で重要度の高い順番にキーワードを並べ替えて検索結果907を表示してもよい。ここで、重要度908として最も簡単な指標は、メッセージ情報903,905における各キーワードの出現頻度である。例えば、図９において「アマリリス」というキーワードが３回出現しており、他のキーワードよりも回数が多いので、上位に表示されるようにする。
【００４５】
また、図１０に示すように各範囲指定の一致度数H1010を算出し、前述したキーワード出現頻度に重み付けを行ってもよい。例えば、同図に示すフレーム1001内において、端末Ａが指定した第１の指定範囲1004は第１の指定位置(x1,y1)1002と半径r1(1003)により特定される円とし、端末Ｃが指定した第２の指定範囲1007は第２の指定位置(x2,y2)1005と第２の半径r2(1006)により特定される円とすると、両者の指定範囲1004,1007の一致度数H1010は、2つの円が重なった部分の長さd1009や面積(画素数)を用いて指標とすることができる。ここで、2つの円が重なった部分の長さd1009の場合を例に挙げて具体的に説明すると、max(a,b)はaとbのうち小さくないほうを示し、min(a,b)はaとbのうち大きくないほうを示すと定義したとき、一方の円が他方に内包される場合(すなわち、各円の中心間の距離D1008が、0≦D≦max(r1,r2)−min(r1,r2)の関係を満たすとき)は、d=2×min(r1,r2)(すなわち、大きくないほうの円の直径)となる。また、2つの円の一部が重なっている場合(すなわち、max(r1,r2)−min(r1,r2)≦D≦(r1+r2)の関係を満たすとき)には、d=(r1+r2−D)となる。また、2つの円が重ならない場合(すなわち、(r1+r2)≦Dのとき)には、d=0となる。さらに、一致度数H1010をH=d/(r1+r2)と定義すると、0≦H≦1の範囲に正規化できる。このように算出した一致度数H1010を、図９に示した端末Ｃの指定範囲と端末Ａ、B、F、G、Hの各指定範囲のそれぞれにフレーム単位で求め、各メッセージ情報に含まれるキーワードの出現頻度に一致度数H1010を乗じて重み付け加算することにより、重要度908の信頼性(すなわち、検索対象が各キーワードとどの程度一致しているかを示す指標)を向上することができる。
【００４６】
図１１を用いて、前記図３に示した検索動作のステップ301を拡張し、前記検索方法によって得られたキーワードから、さらに詳細な検索結果を得る動作について説明する。前述したステップ301では、端末Ｃ117にて指定された媒介情報の識別情報118と範囲指定情報119をサーバ103に送信し（ステップ303）、サーバ103では他の端末間で交わされたチャット内容からキーワード情報を抽出し（ステップ302）、検索結果121として端末Ｃ117に送信して表示した（ステップ304）。同図では、さらにステップ1101を加える。ステップ1102では、端末Ｃ117にて前記検索結果121として表示されたキーワードの中からテキストを選択し、サーバに送信する。ステップ1103にて、受信したテキスト情報をもとにサーチエンジンによるWWWホームページ検索を実施し、前記テキスト情報が含まれるホームページの一覧を検索結果として、端末Ｃ117に送信する。ステップ1104では、端末Ｃ117にて検索結果を受信し表示する。この際、サーチエンジンとして、前記参考文献２に記載の技術をそのまま用いることができる。
【００４７】
図１２に、前記詳細検索前の表示結果(a)と詳細検索後の表示結果(b)の一例を示す。同図(a)において、前記図９に示した端末Ｃにおける検索結果907の中から、選択カーソル1201を用いてテキスト情報の一部(図１２の例では「アマリリス」)を選択する。このように選択した状態で、詳細検索ボタン1202を押すと、前記図１１におけるステップ1101が実行され、端末Ｃでは同図(b)に示すようなサーチエンジンによる検索結果1203を得ることができる。その後、復帰ボタン1204などを用いて、詳細検索前の表示結果(a)に戻るように構成してもよい。以上のように、媒介情報と、チャットによるメッセージ情報と、従来のサーチエンジンを併せて利用することにより、媒介情報の一部を指定して詳細な検索結果を得ることが可能になる。
【００４８】
図１３に、前述した情報関連付け方法を利用して、広告を実現する実施例の構成図を示す。一般に、無作為に広告するよりも、ユーザが興味を持っている対象に近い内容について広告するほうが、広告効果が大きい。そこで、前述したようにユーザにより指定された対象(例えば花)と、それに関連した広告情報(例えば花屋の店名、電話番号、地図、商品名、価格などを含む情報)をサーバ1301にて関連づけ、前述したチャット表示部509や検索結果表示部602や指定範囲502の近くに表示する。同図において、サーバ1301は、前述したサーバ103と広告生成手段1308と広告用データベース1307から構成し、広告主1302から広告情報1303と広告キーワード1304を受け取り、マーケティング情報1305と課金情報1306を広告主1302に返す。具体的には、まず広告主1302が、広告したい内容と関係を持った1つ以上のキーワード(すなわち、広告キーワード1304)を指定し、サーバ1301にて広告用データベース1307を経由してキーワード照合手段1310に入力する。例えば、花屋に関する広告の場合には、「花」「アマリリス」などが広告キーワード1304に相当する。これ以外にも、広告キーワード1304として、商品名、各種用品名、人名、施設名、都市等の地域名を含む名詞、固有名詞、行動動作を表す動詞、形容詞および代名詞と、これらを組み合わせた複合語、熟語、文などが考えられる。キーワード照合手段1310では、前述したキーワード抽出手段116を用いてチャットで交わされるメッセージ情報111,115からキーワード情報205を抽出し、前記広告キーワード1304と関連するキーワードが抽出された場合に、広告情報送信手段1309とマーケティング情報解析手段1311に通知する。このとき例えば、キーワード情報205と広告キーワード1304が一致した場合や、単語間の意味的な関連づけを格納した辞書データを用いてキーワード情報205から広告キーワード1304が連想される場合(例えば、キーワード情報205が「アマリリス」で、広告キーワード1304が「花」などの場合)に、キーワード情報205と広告キーワード1304が関連していると判定してもよい。広告情報送信手段1309は、広告主1302が指定した広告情報1303について広告用データベース1307を経由して受取り、ネットワーク104を介して端末Ａ101、端末Ｂ102、端末Ｃ117に送信する。この動作により、広告主1302が指定した広告キーワード1304を含むメッセージ情報111,115を直接的に交わした端末Ａ101と端末Ｂ102だけでなく、同じ映像対象を指定した別の端末Ｃ117に対しても広告情報1303を送信できるようになる。また、マーケティング情報解析手段1311では、前記キーワード照合手段1310からの通知に従って、情報交換用データベース107から端末識別情報110,114,120を読み出してマーケティング情報1305とし、広告用データベース1307を介して広告主1302に提供する。また、これと同時に、広告情報1303をサーバに登録する際の広告情報のサイズや広告キーワード1304の個数、広告情報1303が表示された回数や端末数などに課金し、この課金情報1306を広告主1302に呈示する。前述した広告生成手段1308は、前記参考文献１に記載の技術を用いて容易に実現できるため、詳細な図示は省略する。
【００４９】
また、前記マーケティング情報1305に、各端末から送られてくる媒介情報の識別情報108,112,118や範囲指定情報109,113,119を加えてもよい。これにより、各ユーザが映像のどの部分に興味を持ってチャットや検索を行ったかという情報を広告主1302が収集できるようになり、より効果的な広告を行うことができる。これを利用し、媒介情報の識別情報や範囲指定情報や端末識別情報をリスト化して提供するサービスに対して課金してもよい。
【００５０】
以上のように、媒介情報として、地上波/放送衛星/通信衛星/ケーブル等の伝送媒体を利用した一般的なテレビジョン放送の場合を例にあげて説明したが、本発明はこれに限定されるわけではなく、インターネットなどのネットワークを通じて配信される動画像や静止画像、一般的なインターネットホームページや、媒介情報の識別情報としての格納場所が明確な動画データや静止画データなど、いろいろな情報(データ)を媒介情報として用いることが可能である。また、端末とサーバ間で送受信する範囲指定情報として、画面内位置の範囲情報を用いず、時刻の範囲情報だけを用いれば、映像を全く含まない音声情報などを媒介情報とすることも可能であり、ラジオ放送やネットワークを通じて配信される音声情報などにも同様に適用できる。
【００５１】
また、コンピュータネットワークとして、インターネット以外にも、イントラネット(組織内ネットワーク)、エクストラネット(組織間ネットワーク)、専用通信回線、固定電話回線、携帯電話回線などを用いることができる。また、媒介情報として、CDやDVDなどの記録媒体に記録された情報を用いることもできる。また、前述の例では、チャットの文字列や記号、サムネール画像、関連情報を表示するためにHTML文書を用いて説明したが、本発明はこれに限定されるわけではなく、例えば携帯電話端末に使用されるコンパクト−HTML(C-HTML)文書などを用いてもよく、また文字列だけしか含まれない場合にはテキスト文書としてもよい。
【図面の簡単な説明】
【００５２】
【図１】本発明の一実施例の構成図である。
【図２】本発明の動作説明図である。
【図３】本発明の動作説明図である。
【図４】本発明における端末装置の構成図の一例である。
【図５】本発明における端末装置の画面表示の一例である。
【図６】本発明における端末装置の画面表示の一例である。
【図７】本発明の動作説明図である。
【図８】本発明の動作説明図である。
【図９】本発明の動作説明図である。
【図１０】本発明の動作説明図である。
【図１１】本発明の動作説明図である。
【図１２】本発明の動作説明図である。
【図１３】本発明の他の実施例の構成図である。
【符号の説明】
【００５３】
101,102,117…端末、 103,1301…サーバ、 104,408…ネットワーク、 105…媒介情報、 106…媒介情報照合手段、 107…情報交換用データベース、 108,112,118…媒介情報の識別情報、 109,113,119…範囲指定情報、 110,114,120…端末識別情報、 111,115,203,903,905…メッセージ情報、 116…キーワード抽出手段、 121,907,1203…検索結果、 201,501,901…ディスプレイ画面、 202,502,708,709,710,711,902,904,906,1004,1007…指定範囲、 204…キーワード抽出結果、 205…キーワード情報、 206…文脈情報、 207…関連情報、 401…操作部、 402…媒介情報受信部、 403…ディスプレイ、 404…プログラム格納メモリ、 405…情報処理装置、 406…記憶装置、 407…ネットワークインタフェース、 409…記録媒体、 503…ポインタ、 504…キーワード、 505…マウス、 506…マウスボタン、 507…マウスホイール、 508…サムネール画像、 509…チャット表示部、 510…メッセージ入力部、 601…検索ボタン、 602…検索結果表示部、 701…設定された時間範囲、 702,703,704,705,706,801,802,1001…フレーム、 707…時間方向で合成した図、 908…重要度、 1002,1005…指定位置、 1003,1006…半径、 1008…中心間の距離、 1009…重なり部の長さ、 1010…一致度数、 1201…選択カーソル、 1202…詳細検索ボタン、 1204…復帰ボタン、 1302…広告主、 1303…広告情報、 1304…広告キーワード、 1305…マーケティング情報、 1306…課金情報、 1307…広告用データベース、 1308…広告生成手段、 1309…広告送信手段、 1310…キーワード照合手段、 1311…マーケティング情報解析手段、 1312…広告表示部
【技術分野】
【０００１】
本発明は、映像情報とテキスト情報を関連付ける情報関連付け方法に関し、特に映像情報の一部若しくは全体を検索キーワードとして用いる方法に関する。
【背景技術】
【０００２】
インターネットなどのコンピュータネットワーク(以下、ネットワーク)を利用して、様々な情報が共有、交換されている。例えば、インターネットによって結合されたサーバ装置上に存在する情報は、ハイパーリンクと呼ばれる手法によって互いに関連付け(リンク)され、WWW (World Wide Web)と呼ばれる巨大な情報データベースを構成している。一般には、HTML (Hyper Text Markup Language)と呼ばれる記述言語によって、テキスト、音声、映像などの情報がお互いにリンクされ、ホームページと呼ばれるひとつの情報単位を構成している。
【０００３】
このネットワーク上では、BBS(Bulletin Board System)や電子掲示板システムなどと呼ばれる情報交換システムが運営されており、ユーザは、インターネットに接続されたPC(Personal Computer)等の端末を用いてサーバ装置に接続し、情報を書き込んで登録するなどして情報交換を行っている。一方、インターネットによって結合されたPCを利用するユーザどうしが、端末用ソフトウェアを用いて互いに文字(テキスト)情報を送受信することによって、遠隔地に離れた人とリアルタイムに直接会話(チャット)し情報を交換することも可能となっている。
【０００４】
また、特許文献１には、情報交換システムやチャットなどを介して交換されるテキスト情報から、特定のキーワードを検出し、このキーワードに関連した告知広告を閲覧できるようにする技術が開示されている。
【０００５】
また、非特許文献１には、検索技術として、ユーザがキーワードを入力し、そのキーワードを含むホームページをWWWの中から検索するサーチエンジンと呼ばれる技術が記載されている。
【０００６】
また、非特許文献２には、テレビジョン放送などの映像情報の中から、人などの映像オブジェクトを切出して追跡する技術が開示されている。
【０００７】
【特許文献１】特開第２００１−２３６３５０号公報
【非特許文献１】佐藤他；”WWWにおける情報検索技術の動向”, 電子情報通信学会誌, Vol.82, No.12, pp.1237-1242, 1999年12月
【非特許文献２】三須ほか；”複数観測情報を統合したオクルージョンに対し頑強なオブジェクト追跡法”, 2001年映像情報メディア学会年次大会講演予稿集, No.5-5, pp.63-64, 2001年8月
【発明の開示】
【発明が解決しようとする課題】
【０００８】
TV放送を視聴時に、たとえばドラマ番組の主演女優が身に付けている衣装等について検索したい場合、ネットワークに接続されたＰＣからサーチエンジンにアクセスし、ユーザが考えた検索キーワードを入力して検索する必要があった。このように、従来のサーチエンジンでは、ユーザによるキーワード入力を前提にしているため、TV放送等の映像情報をキーとしてホームページの検索を行ったり、逆にキーワードからTV放送のシーンを検索したりすることができない、という課題があった。
【０００９】
本発明の目的は、上記課題を解決し、TV放送やネットワークを介して伝送される映像情報と、キーワードなどの文字情報とを関連付ける情報関連付け方法、およびこれを利用した端末装置、サーバ装置、プログラムを提供することにある。これにより、ＴＶ放送の視聴者が、画面をマウスなどのポインティングデバイスで選択(クリック)することにより、その衣装等のメーカ名や価格などの関連情報が画面上に表示されるなど、TV受像機上に表示された映像の一部あるいは全体を選択することで、映像と関連する情報を検索できる機能を提供することが可能となる。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明は、端末装置(以下、端末)とサーバ装置(以下、サーバ)とコンピュータネットワークと媒介情報を用いて、媒介情報と該媒介情報に関連する情報(以下、関連情報)との間に関連付けを行う情報関連付け方法として、第１の端末では、第１の媒介情報を受信あるいは取得し、該第１の媒介情報を識別するための情報(以下、第１の媒介情報識別情報)と該第１の媒介情報の一部あるいは全体を指定するための情報(以下、第１の範囲指定情報)とメッセージ情報の組を、コンピュータネットワーク経由でサーバに送信し、該サーバでは、前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記メッセージ情報の組を受信し、受信した前記メッセージ情報の一部あるいは全体から関連情報を作成し、前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記第１の関連情報とを相互に関連づけた形態でデータベースに登録するようにしている
。
【００１１】
また、情報関連付け方法として、サーバでは、前記第１と第２の端末を含む２つ以上の端末からなるグループを形成し、受信した前記メッセージ情報を、前記グループに属し前記第２の端末を含む１つ以上の端末にコンピュータネットワーク経由で送信し、前記第２の端末では、受信した前記メッセージ情報を出力するようにしている。
【００１２】
また、情報関連付け方法として、第３の端末では、第２の媒介情報を受信あるいは取得し、該第２の媒介情報を識別するための情報(以下、第２の媒介情報識別情報)と該第２の媒介情報の一部あるいは全体を指定するための情報(以下、第２の範囲指定情報)の組を、コンピュータネットワーク経由でサーバに送信し、該サーバでは、受信した前記第２の媒介情報識別情報および前記第２の範囲指定情報と、データベースに登録された前記第１の媒介情報識別情報および前記第１の範囲指定情報を照合して両者が一致した場合に、該第１の媒介情報識別情報および第１の範囲指定情報と組をなす前記関連情報を、第３の端末にコンピュータネットワーク経由で送信し、該第３の端末では、受信した前記関連情報を出力するようにしている。
【００１３】
また、前記サーバでは、広告主から指定または依頼された広告キーワードと広告情報をデータベースに登録し、該広告キーワードが前記関連情報と関連するか否かを判定し、関連すると判定された場合には、前記広告情報を前記第１または第２または第３の端末にコンピュータネットワーク経由で送信し、該第１または第２または第３の端末では、受信した広告情報を出力するようにしている。
【００１４】
また、サーバとコンピュータネットワークと媒介情報を用いて、媒介情報と関連情報の関連付けを行う端末として、媒介情報を入力する手段と、媒介情報識別情報を取得する手段と、範囲指定情報を取得する手段と、メッセージ情報を入力する手段と、前記媒介情報識別情報と前記範囲指定情報とメッセージ情報をコンピュータネットワーク経由で送信する手段と、関連情報をコンピュータネットワーク経由で受信して出力する手段と、前記媒介情報のうち前記範囲指定情報で指定された部分と関連情報とを関連づけて表示する手段を備えるようにしている。
【００１５】
また、コンピュータネットワークを用いて２つ以上の端末間で情報の交換を行うサーバ装置として、第１の端末から送信された第１の媒介情報識別情報と第１の範囲指定情報とメッセージ情報の組をコンピュータネットワーク経由で受信する手段と、該メッセージ情報の一部あるいは全体から関連情報を生成する手段と、前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記メッセージ情報と前記関連情報を互いに関連付けた形態でデータベースに蓄積する手段と、第２の端末から送信された第２の媒介情報識別情報と第２の範囲指定情報の組をコンピュータネットワーク経由で受信してデータベースに蓄積する手段と、前記第１と第２の媒介情報識別情報および前記第１と第２の範囲指定情報をそれぞれ照合する照合手段と、照合の結果両者が一致した場合に前記メッセージ情報あるいは
前記関連情報のどちらか一方あるいは両方の情報を前記第２の端末に対してコンピュータネットワーク経由で送信する手段を備えるようにしている。
【００１６】
また、サーバ装置として、広告主から指定あるいは依頼された広告キーワードと広告情報をデータベースに登録する手段と、該広告キーワードが前記関連情報と関連するか否かを判定する手段と、関連すると判定された場合には、前記広告情報を前記第１または第２の端末にコンピュータネットワーク経由で送信する手段を備えるようにしている。
【００１７】
また、サーバ装置として、前記第１の媒介情報識別情報と、前記第１の範囲指定情報と、前記メッセージ情報と、前記関連情報と、前記第２の媒介情報識別情報と、前記第２の範囲指定情報と、前記広告キーワードのうちいずれか１つの情報、あるいは複数を組み合わせた情報をもとにマーケティング情報を生成するマーケティング情報解析手段を備えるようにしている。
また、サーバ装置として、前記広告キーワードは、少なくとも商品名、各種用品名、人名、施設名、都市等の地域名を含む名詞、固有名詞、行動動作を表す動詞、形容詞および代名詞と、これらを組み合わせた複合語、熟語、文であるようにしている。
【００１８】
また、媒介情報を入力して手順と、該媒介情報を識別するための情報(以下、媒介情報識別情報)を取得する手順と、該媒介情報の一部あるいは全体を指定するための情報(以下、範囲指定情報)を取得する手順と、メッセージ情報を入力する手順と、前記媒介情報識別情報と前記範囲指定情報とメッセージ情報をコンピュータネットワーク経由で送信する手順と、関連情報をコンピュータネットワーク経由で受信する手順と、前記媒介情報のうち前記範囲指定情報で指定された部分と関連情報とを関連づけて表示する手順をコンピュータに実行させるためのプログラムとしている。
【００１９】
また、第１の端末から送信された第１の媒介情報識別情報と第１の範囲指定情報とメッセージ情報の組をコンピュータネットワーク経由で受信する手順と、該メッセージ情報の一部あるいは全体から関連情報を生成する手順と、前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記メッセージ情報と前記関連情報を互いに関連付けた形態でデータベースに蓄積する手順と、第２の端末から送信された第２の媒介情報識別情報と第２の範囲指定情報の組をコンピュータネットワーク経由で受信してデータベースに蓄積する手順と、前記第１と第２の媒介情報識別情報および前記第１と第２の範囲指定情報をそれぞれ照合する照合手順と、照合の結果両者が一致した場合に前記メッセージ情報あるいは前記関連情報のどちらか一方あるいは両方の情報を前記第２の端末に対してコンピュータネットワーク経由で送信する手順をコンピュータに実行させるためのプログラムとしている。
【発明の効果】
【００２０】
本発明により、TV放送やネットワーク経由で伝送された映像情報をキーとしてWWW上のホームページ検索を行ったり、キーワードからTV放送のシーンを検索したりすることが可能となる。また、本発明により、テレビジョン番組などを視聴時にテレビジョン受像機上に表示された映像の一部あるいは全体を選択するだけで、検索のための文字入力などを行わなくても、前記映像に関連した他の情報を検索して取得する方法と装置を提供できる。また、前記映像から他の情報を検索する検索サービス事業や、前記映像と広告情報を関連づけた広告サービス事業を実現できる効果がある。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施例を図示により説明する。
【００２２】
図１に本発明の実施例の構成図を示す。同図において、まず２台の情報交換端末装置（以下、端末）Ａ101、Ｂ102と、情報交換サーバ装置（以下、サーバ）103と、コンピュータネットワーク(以下、ネットワーク)104と、TV放送など映像情報を含む媒介情報105を用いて、文字情報(以下、テキスト)を含む会話（以下、チャット）による情報交換システムを構築する。具体的には、端末Ａ101、端末Ｂ102に対して後述の媒介情報105をそれぞれ入力し、各端末はサーバ103を介して媒介情報の識別情報108,112、範囲指定情報109,113、端末識別情報110,114、テキストを含むメッセージ情報111,115、などの情報をやりとりする。サーバ103は、媒介情報照合手段106と情報交換用データベース107とキーワード抽出手段116を持ち、各端末から送信された情報を受信して情報交換用データベース107に格納すると共に、キーワード媒介情報照合手段106を用いて端末どうしをグループ化し、端末どうしの通信を可能にする。このグループ化の方法については後述する。また、サーバ103は、キーワード抽出手段116を用いて、各端末から送信されたメッセージ情報111,115を解析し、後述するキーワード情報、文脈情報、関連情報などを抽出して、情報交換用データベース107に格納する。
【００２３】
前記媒介情報105は、TV放送の映像、ビデオCDやDVDビデオ等のパッケージ化された映像、インターネット等を通じて配信されるストリーミング映像やホームページ、GPS(Global Positioning System)によって位置や方向の特定された風景映像などのように、双方で独立して識別できる(すなわち、他の媒介情報と区別できる)ものであれば何でもよい。以下、媒介情報105としてTV放送を用いた場合を例に挙げて説明する。
【００２４】
前記端末Ａ101では、前記媒介情報105を再生し表示する。ここで、端末Ａ(101)を操作するユーザが、再生されている映像の対象に興味を持った際に、ユーザは端末Ａ101に内蔵された座標ポインティングデバイス(マウス、タブレット、ペン、リモコンなど)を用いて、画面上の位置と範囲を指定する。一例として図１では、画面に表示された花瓶の花の部分を選択してクリックし、画面位置の指定と画面範囲の指定を行っている。この時、端末Ａ101は入力された媒介情報105を識別するための情報(すなわち、媒介情報の識別情報108)を取得する。媒介情報の識別情報108としては、例えば、TV放送の場合には放送チャンネル番号、受信地域などを用いればよい。ビデオCDやDVDビデオ等のパッケージ映像や、ネットワークを介して伝送されたストリーミングコンテンツなどの場合などは、コンテンツに一意な情報(例えばID、URL(Uniform Resource Locator)、管理番号等)を用いればよい。また同時に端末Ａ101は、クリックされた時刻と、指定された画面位置、画面範囲から、媒介情報における時刻と画面内位置の各範囲を識別する情報（以下、範囲指定情報）を取得する。時刻については、媒介情報がテレビジョン放送であれば放送時刻を用い、パッケージ映像やストリーミングコンテンツでは先頭からの経過時刻や、経過時刻と対応するデータアドレスなどを用いればよい。ここで前記時刻とは、年、月、日、時、分、秒、フレーム番号などを含む。また、前記時刻に範囲を与え、開始時刻と終了時刻の間に一定期間(例えば1秒間)を定めてもよい。画面内位置の範囲としては、形状（例えば円や長方形など）を指定する情報と、パラメータ（形状を円とすれば中心点の座標と半径、長方形とすれば重心の座標と縦横の辺の長さ）などを用いればよい。また、前記範囲指定情報を作成する際に、時刻の範囲と画面内位置の範囲の両方を指定するのではなく、時刻の範囲あるいは画面内位置の範囲のどちらか一方だけを指定してもよく、また、媒介情報の全体を指定してもよい。また、前記端末識別情報110として、例えば端末に設定されたIP(Internet Protocol)アドレスやMAC(Media Access Control)アドレスや電子メールアドレスなどのアドレス情報や、携帯電話などの場合には電話番号や、ユーザ情報(氏名やハンドル名など)から端末を一意に識別できる場合にはユーザ識別情報などを用いればよい。
【００２５】
一方、前記端末Ｂ102においても端末Ａ101と同様に、媒介情報105の入力と表示、およびユーザの範囲指定動作を介して、媒介情報の識別情報112、範囲指定情報113、端末識別情報114の取得が行われる。端末Ｂ102は、前記媒介情報の識別情報112、範囲指定情報113、端末識別情報114を取得し、サーバ103に送信する。
【００２６】
前記サーバ103は、端末Ａ101と端末Ｂ102から送信された媒介情報の識別情報108,112、範囲指定情報109,113、端末識別情報110,114などの情報を受信し、これらの情報を情報交換用データベース107に登録するとともに、媒介情報照合手段108を用いて、端末Ａ101と端末Ｂ102をグループ化するかどうかを判定する。すなわち、端末Ａ101と端末Ｂ102から送信された媒介情報の識別情報108,112が同一で、範囲指定情報109,113がある程度重なる範囲にあれば両端末でチャットができるように同じグループにまとめる。具体的には、端末Ａ101と端末Ｂ102が同じ番組内容のTV放送を見ており、比較的近い画面範囲を指定してクリックしたと仮定する。すると、サーバ103は、端末Ａ101と端末Ｂ102が同じ対象を選択したと判定して、これらの端末がチャット(すなわち、メッセージ情報111,115の交換)をできるようにグループを形成して、相互に接続する。こうして同じグループ内で接続された端末どうしは、自由にチャットできるようになる。なお、グループ形成方法はこれに限定されるわけではなく、例えば、端末Ａ101と端末Ｂ102が同一のグループとなるように予めサーバに登録しておいてもよく、この場合には前記媒介情報の識別情報108,112や範囲指定情報109,113の照合などは不要である。また、同時に3つ以上の端末でチャットを行うようにグループ化してもよい。
【００２７】
続いて、サーバ103は、チャットを介して端末間で交換されるメッセージ情報111,115から、キーワード抽出手段116を用いてキーワードを抽出し、情報交換用データベース107に格納する。このキーワード抽出方法については後述する。
【００２８】
以上の動作により、サーバ103では、端末Ａ101にて指定した対象(図１の例では花が映っている映像部分)と、端末Ａ101から送信されたメッセージ情報111の中のキーワードを関連づけて、情報交換用データベース107に格納することが可能となる。端末Ｂ102についても同様に、端末Ｂ102にて指定した対象とキーワードとを関連づけて、情報交換用データベース107に格納する
このように映像対象とキーワードを関連づけた結果を、検索に利用することができる。以下、この検索動作について説明する。
検索を行おうとする端末Ｃ117において、前記と同様に媒介情報105を入力して表示し、端末Ｃ117を操作するユーザが、再生されている映像の対象に関する情報を検索したいと思ったときにその対象が映った画面上の位置と範囲を指定し、サーバ103に媒介情報の識別情報118、範囲指定情報119、端末識別情報120を送信する。
【００２９】
サーバ103では、媒介情報照合手段106と情報交換用データベース107を用い、端末Ｃ117から送られた媒介情報の識別情報118と範囲指定情報119に対応するキーワードを検索し、この検索結果121をネットワーク104経由で端末Ｃ117に送信し、端末Ｃ117にて表示する。具体的には、端末Ｃ117から送信された媒介情報の識別情報118と情報交換用データベース107に格納されている媒介情報の識別情報108が同一で、なおかつ端末Ｃ117から送信された範囲指定情報119と情報交換用データベース107に格納されている範囲指定情報109がある程度重なる範囲にあれば、これらは同じ対象を指していると判定し、この対象と関連付けられているキーワードを検索結果121とする。
【００３０】
なお、図１では、便宜上、チャットを行う端末Ａ101及び端末Ｂ102と、検索を行う端末Ｃ117を別々の端末として示したが、これらを１つの端末に集約し、チャットと検索の両方を行う端末としてもよい。また、端末Ｃ117が検索要求をサーバに送信したのちに、端末Ａ101と端末Ｂ102の間でチャットが開始されることもあるため、端末Ｃ117からの一度の検索要求に対してサーバ103にて上記検索動作を定期的に複数回繰り返してもよい。また、チャットを行う端末Ａ101及びＢ102と検索を行う端末Ｃ117とをサーバにて区別するために、チャットを行う端末Ａ101及び端末Ｂ102はメッセージ交換要求をサーバに送信し、検索を行う端末Ｃ117は検索要求をサーバに送信してもよい。
【００３１】
図２を用いて、前記キーワード抽出手段116の動作について説明する。前述したように、媒介情報105が表示された前記端末Ａ101のディスプレイ画面201上でユーザが指定した指定範囲202と、端末Ａ101と端末Ｂ102の間で交わされたメッセージ情報203は、サーバ103にて関連付けられている。キーワード抽出手段116では、メッセージ情報203の内容を分析し、特定の単語や固有名詞などを含むキーワード情報205、キーワード間の関係を示す文脈情報206、キーワードと関連したリンク情報207などを抽出する。図２に示した例では、「お花」「名前」「アマリリス」「きれい」「値段」「１０００円」などがキーワード情報205である。次に、キーワード情報どうしの関係を示す文脈情報206を抽出する。文脈情報は、例えば、「名前」：名詞、「きれい」：形容詞のようにキーワードの属性や、「名前」→「アマリリス」、「お花」→「きれい」のようにキーワードどうしの関係を示す情報である。リンク情報207はホームページのアドレスや、ユーザのメールアドレスなど、特殊な用途に用いられるテキスト情報である。なお、キーワード切り出しや文脈情報の抽出については、特定の単語や単語間の意味的な関連づけを格納した辞書データと照合するなどの従来の技術や、前記参考文献１記載の技術を用いればよいため、図示は省略する。
【００３２】
このように、メッセージ情報203の解析を行うことによって、媒介情報105の中から一部を選択した指定範囲202とキーワード情報205、文脈情報206、リンク情報207の関連付けが可能となる。これにより、例えば映像の特定のフレームに映っている選択対象からキーワード情報を取得したいと思えば、前記端末Ｃ117はサーバに対してその選択対象に関する媒介情報の識別情報118と範囲指定情報119を送信し、サーバ103にてこれらの情報から選択対象を特定し、「お花」「アマリリス」などのキーワード情報205を検索して、検索結果121を端末Ｃ117に返す。これによって映像情報からキーワード情報を得ることが出来る。逆に、キーワード情報から映像情報を取得したければ、端末はキーワード情報をサーバに送信することによって、サーバがキーワード情報から選択対象を特定し、媒介情報の識別情報と、範囲指定情報を検索結果として端末に返す。端末はこれらの情報からフレーム、シーンを特定し、選択対象の映像を表示することができる。
【００３３】
さらに図３も用いて、前述した端末Ｃ117とサーバ103による検索動作のステップ301について説明する。同図において、まずステップ302において、サーバ103では、チャットによって蓄積されたメッセージ情報111,115を解析し、キーワード抽出結果204として情報交換用データベース107に保存する。次にステップ303において、検索を行おうとする端末Ｃ117は、サーバ103に対しクエリー情報を送信する。クエリー情報とは、映像情報からキーワードを検索する場合には、映像を特定するための媒介情報の識別情報118と、範囲指定情報119と、キーワードを検索するためのコマンドであり、キーワードから映像情報を検索する場合には、検索のためのキーワード文字列と、映像情報を検索するためのコマンドである。またサーバから端末Ｃ117に対して検索結果121を送信するために、前記クエリー情報に端末識別情報120を含んでもよい。
【００３４】
次にステップ304において、サーバは端末から送られたクエリー情報を元に、情報交換用データベース107内のキーワード抽出結果204を検索し、検索結果121を端末Ｃ117に送信する。
【００３５】
次にステップ305において、端末Ｃ117は検索結果121を受信して表示する。例えば、検索結果121としてキーワード情報205を受信した場合には、キーワードの一覧を表示すればよい。また、リンク情報207を受信した場合には、ホームページアドレスを示すリンク文字列を表示したり、そのリンク文字列が指し示すHTML文書を表示したりすればよい。媒介情報の識別情報と範囲指定情報を受信した場合には、後述のように端末Ｃ117上に保存されている媒介情報の中から該当するフレーム、シーンを抜き出して表示すればよい。また、これらを併用して表示してもよい。なお、サーバ103から端末Ｃ117への検索結果121の送信方法として、検索結果121をHTML文書などのように直接的に表示できる形態で送信してもよいし、検索結果121を含む電子メールや郵送などのように間接的に表示できる形態で送信してもよい。
【００３６】
図４に、本発明で用いる端末の構成図を示す。前述のステップを有するソフトウェアプログラムを格納したプログラム格納メモリ404からの指示に基づき、情報処理装置405が装置全体の制御を行う。まず、媒介情報受信部402から入力された媒介情報105は、情報処理装置にてデジタルデータとして扱えるように符号化する。媒介情報受信部は一般的なテレビチューナやPC用のテレビチューナボードなどを用いればよい。この符号化方式として、ISO/IEC規格にて規定されているMPEG(Moving Picture Experts Group)方式やJPEG(Joint Photographic Experts Group)方式などの一般的な方式を用いることができるため、図示は省略する。なおこのとき、映像信号だけでなく、音声信号についても同様に符号化してもよい。また、既に符号化された映像・音声信号が媒介情報受信部に入力された場合には、前述した情報処理装置での符号化は特に必要ではない。符号化された信号は、情報処理装置にて復号化され、ディスプレイ403に表示される。情報処理装置とは別に、符号化、復号化を行うエンコーダ、デコーダを用意してもよい。ディスプレイ403は、前記符号化された映像/音声信号の復号された信号だけでなく、チャットの際のメッセージ情報111,115に含まれる文字列や記号、サムネール画像、関連情報や、検索結果121を表示するためのHTML文書等の出力も行う。この際、映像・音声信号を出力するためのディスプレイ１と、HTML文書等の出力するためのディスプレイ２に別けて構成してもよく、ディスプレイ１としてTV受像機を用い、ディスプレイ２として携帯型端末(例えば携帯電話装置等)を用いてもよい。また、符号化された信号をある時間間隔を置いたのちに再生であるタイムシフトをおこなうために、一旦、記憶装置406に記録してもよい。記憶装置の記録媒体409としては、CD(Compact Disc)やDVD(Digital Versatile Disc)、MO(Magneto-Optical)、FDD(フロッピー（登録商標）ディスク)、HDD(ハードディスク)などのディスク媒体、ビデオカセットテープ等のテープ状の媒体や、RAM(Random Access Memory)、フラッシュメモリ等の固体メモリを用いればよい。タイムシフトの方法は、一般的な方法を用いればよいので図示は省略する。また、前記媒介情報受信部やディスプレイに関しては、別の装置の機能を流用する(すなわち外付け構成とする)ことにより、端末の構成から外してもよい。また、媒介情報受信部402では、媒介情報の識別情報108,112と範囲指定情報109,113の取得だけを行い、媒介情報105そのものを情報処理装置405に取り込まなくてもよい。
【００３７】
操作部401では、前述のポインティングデバイスからのデータに基づき、ユーザが興味を持った映像が表示されたディスプレイ403の画面位置指定(水平、垂直の画素位置の指定)と画面範囲指定(範囲を表す半径などの指定)を行う。さらに、チャットのためのメッセージ情報の入力 (キーボード入力や表示された一覧の中からの選択など)や検索のためのクエリー情報の入力などを行う。
【００３８】
情報処理装置405はプログラム格納メモリ404に格納されたプログラムの指示に従い、媒介情報受信部402から媒介情報105を識別するための情報(チャンネル、放送時刻、受信地域など)を取得して保持する。また、タイムシフトを行う場合には、映像/音声信号を記録する際に、この識別情報も併せて記録し、再生時に読み出す。また、媒介情報受信部402や操作部401やネットワークインタフェース407からの情報などを元に、媒介情報の識別情報、範囲指定情報、アドレス情報、メッセージ情報、クエリー情報等を作成し、ネットワークインタフェース407を用いてネットワーク408を経由してサーバ103に情報を送信する。このネットワークインタフェース407は、ネットワークへのコマンドとデータの送受信などの機能を提供するものであり、一般的なPC用のネットワークインタフェースボード等を用いることが可能であるため、図示は省略する。これらの機能はテレビチューナ機能を内蔵したPC等によってソフトウェア制御により実現することが可能であるが、これ以外にもテレビジョン受像機等にこれらの機能を内蔵する形態で実現してもよい。
【００３９】
端末は、サムネール画像作成機能を持つのが好ましい。サムネール画像作成機能は、受信した媒介情報、または記憶装置に保存した媒介情報と、媒介情報の識別情報、範囲指定情報を入力とし、時刻情報と一致する媒介情報を取り出し、これに画面範囲情報をユーザに理解できる表示形態で重ねて、サムネール画像を作成する。媒介情報の識別情報、範囲指定情報はネットワーク経由で受信したものでもよいし、自端末において取得したものでもよい。このサムネール画像作成機能を持つことにより、サムネール画像自身をネットワーク経由で伝送せずに、媒介情報の識別情報、範囲指定情報を伝送することによって、遠隔地にある端末間で同じサムネール画像を共有し、表示することが可能となる。
【００４０】
図５に、本発明で用いる端末Ａ101および端末Ｂ102の画面表示の一例を示す。ここでは、端末Ａ101を操るユーザＡと端末Ｂ102を操るユーザＢが、同じテレビ番組を見ながらチャットを行っている場合の各端末での画面表示を例に挙げて示す。ディスプレイ画面501上に媒介情報（TV放送）が映し出され、端末を操るユーザＡが興味のある対象をポインタ503を用いて指定範囲502を設定して選択する様子を示している。ユーザＡはマウス505を用いてポインタ503の位置を制御し、マウスホイール507を用いることによって指定範囲502を示す円の大きさを拡大・縮小し、マウスボタン506を用いて指定範囲を決定する。指定範囲は図のように円で指定してもよいし、長方形などの他の形状で指定してもよい。ユーザによって指定範囲が決定されると、決定された時点の媒介情報における指定範囲の縮小表示画像として、サムネール画像508が表示される。サムネール画像は、自端末にて作成したものでもよいし、他の端末にて作成されネットワーク経由で送信されたものでもよいし、前述のように媒介情報の識別情報と範囲指定情報と自端末の記憶装置内に格納しておいた媒介情報から作成したものでもよい。ユーザはキーボード504を用いて文字等を入力し、他の端末と通信してチャットを行う。入力された文字等はメッセージ入力部510に表示される。キーボードによって文字を直接入力する以外にも、予め用意された文字や記号の一覧の中から一文字ずつ選択してもよいし、予め用意された文章一覧の中から文章ごと選択してもよい。他の端末とメッセージ交換したチャットの内容が、チャット表示部509に表示される。ユーザの名前やメールアドレス、発言時刻などの付随情報を表示してもよい。これらの付随情報は、チャット開始時に一度だけ送信し、受信した端末やサーバに格納しておいたものを表示してもよいし、チャット入力があるたびに毎回送信して表示してもよい。チャット表示部のそれぞれの発言についてサムネール画像を表示してもよい。チャット表示部のメッセージの数が多い場合には、画面スクロール手段をつけてスクロール表示してもよい。
【００４１】
図６に、本発明で用いる端末Ｃ117の画面表示の一例を示す。同図において、ディスプレイ画面501上にTV放送等の媒介情報が映し出され、前記端末Ｃ117を操るユーザＣが興味のある対象をポインタ503を用いて指定範囲502を設定して選択し、これに関連した検索結果を取得する様子を示している。前記と同様に、ユーザＣはマウス505を用いてポインタ503の位置を制御し、マウスホイール507を用いることによって指定範囲502を示す円の大きさを拡大・縮小し、マウスボタン506を用いて指定範囲を決定する。ユーザによって指定範囲が決定されると、決定された時点の媒介情報における指定範囲の縮小表示画像として、サムネール画像508が表示される。さらにユーザＣが検索ボタン601を押すと、前述のように媒介情報の識別情報118と範囲指定情報119をクエリー情報としてサーバ103に送信し、サーバからの検索結果121を待つ。検索結果121を受信したのちに、検索結果表示部602に表示する。このとき、前述したように、電子メールなどによって検索結果121を後日受信する場合もある。この場合には、検索結果121とともに媒介情報の識別情報118と範囲指定情報119をサーバ103から端末Ｃ117に送信するようにして、端末Ｃ117にてサムネール画像508を再生し、検索結果121と関連づけて表示するようにすれば、ユーザＣは何について検索したのかを思い出しやすい。
【００４２】
図７を用いて、チャットを行う端末Ａ101および端末Ｂ102の動作と、検索を行う端末Ｃ117動作について説明する。端末Ａ、Ｂ、C、D、Ｅの５つの端末があり、これらが同一の媒介情報105を入力していたと仮定する。具体的には、TV放送の同じ番組、すなわち同じ地域で同じチャンネルを見ていたと仮定する。ここで図７に示すように、端末A、B、C、D、Ｅがそれぞれ、フレーム703,704,705,706,702に示す時刻と画面範囲を指定してクリックしたとする。ここで予め時間範囲701を設定し、この時間範囲内にクリックした端末をグループ化の可能性がある端末としてピックアップする。ここでは、端末Ｄは一定時間以上離れているので除外する。このとき、媒介情報のシーンチェンジしたフレームをサーバ側あるいは端末側にて検出し、時間範囲701に収まっている場合であっても、シーンチェンジしたフレームをまたがった場合には異なるグループと判定し、グループから除外してもよい。次に、残ったフレームについて時間方向で合成707し、位置方向での判定を行う。ここで、端末Ａと端末Ｂと端末Ｃが指定した画面範囲708,709,710は重なっているが、端末Ｅが指定した画面範囲は711は重なっていないので、端末Ｅを除外する。従って、この例では端末Ａと端末Ｂと端末Ｃを同一グループとして判定し、端末Ｄ、Ｅは除外する。画面範囲の重なり具合の判定としては、一部でも重なった場合に同じグループと判定してもよいし、一定の割合以上重なっている場合にのみ同じグループとして判定してもよい。また、各端末が指定するフレームや画面範囲は1つに限定されるわけではなく、複数のフレームや画面範囲をまとめて指定してもよい。このように、媒介情報の識別情報および範囲指定情報が一定の範囲に含まれる端末どうしをグループ化することにより、ユーザどうしが同じ対象を見ながらチャットすることが可能になるとともに、その対象に関連した情報を検索することが可能となる。なお、サーバ103では、上述のように同じ対象を指定したグループ(すなわち、端末Ａと端末Ｂと端末Ｃのグループ)ごとに管理してもよいし、チャットする際のグループ(すなわち、端末Ａと端末Bから成るグループ)と、検索する際のグループ(すなわち、端末Ｃと端末Ａのグループ、および端末Ｃと端末Ｂのグループ)をそれぞれ分けて管理してもよい。
【００４３】
図８に、複数のフレーム802（本図では、便宜上802-1から802-5で表示）にまたがって表示されている対象をひとつの対象とみなす動作について示す。一般に動画像では、着目する対象が映っている画面内位置がフレーム間で移動したり、拡大・縮小したり、回転したりする。ここで、例えば端末Ａがフレーム802-2に映っている「花」の部分を指定し、端末Ｂがフレーム802-3に映っている「花」の部分を指定した場合、前記図７に示したグループ化方法では、別々の対象を指定したと判定される可能性がある。そこで、例えば前記参考文献３記載の技術などを用いて、映像情報の中から人や物などの映像オブジェクトを切出して追跡することにより、フレーム802-2,802-3,802-4に映ったそれぞれの「花」の映像部分をひとつの対象と認識することができるようになり、フレーム802-2の「花」の映像部分を指定した端末Ａと、フレーム802-3の「花」の映像部分を指定した端末Ｂを同じグループとして管理することができるようになる。ここで、各端末で映像オブジェクト追跡を行い、その結果を媒介情報の識別情報および範囲指定情報とともにサーバに送ってもよいし、サーバに複数の媒介情報105(すなわち、全チャンネルのTV放送)を入力し、映像オブジェクト追跡を一括して行ってもよい。
【００４４】
図９を用いて、ひとつの対象に対して複数のチャットが存在する場合の検索動作の一例について説明する。同図において、端末Ｃのディスプレイ画面901に表示されている検索対象(図９では花が映っている部分)に対して、例えば端末Ａ、Ｂからなるグループにて行われるチャットと、端末Ｆ、Ｇ、Ｈからなるグループにて行われるチャットのように、複数のチャットが存在する場合がある。すなわち、端末Ｃの指定範囲906と、端末Ａ、Bの指定範囲902と、端末Ｆ、Ｇ、Ｈの指定範囲904の一部が重なることがある。この場合、端末Ａ、Ｂ間で交わされるメッセージ情報903と、端末Ｆ、Ｇ、Ｈ間で交わされるメッセージ情報905の両方からキーワード抽出を行い、端末Ｃにおける検索結果907としてもよい。この際、検索対象(花が映っている部分)と関連づけられた各キーワードに対し、後述する重要度908に基づいた順位づけを行い、サーバ側あるいは端末側で重要度の高い順番にキーワードを並べ替えて検索結果907を表示してもよい。ここで、重要度908として最も簡単な指標は、メッセージ情報903,905における各キーワードの出現頻度である。例えば、図９において「アマリリス」というキーワードが３回出現しており、他のキーワードよりも回数が多いので、上位に表示されるようにする。
【００４５】
また、図１０に示すように各範囲指定の一致度数H1010を算出し、前述したキーワード出現頻度に重み付けを行ってもよい。例えば、同図に示すフレーム1001内において、端末Ａが指定した第１の指定範囲1004は第１の指定位置(x1,y1)1002と半径r1(1003)により特定される円とし、端末Ｃが指定した第２の指定範囲1007は第２の指定位置(x2,y2)1005と第２の半径r2(1006)により特定される円とすると、両者の指定範囲1004,1007の一致度数H1010は、2つの円が重なった部分の長さd1009や面積(画素数)を用いて指標とすることができる。ここで、2つの円が重なった部分の長さd1009の場合を例に挙げて具体的に説明すると、max(a,b)はaとbのうち小さくないほうを示し、min(a,b)はaとbのうち大きくないほうを示すと定義したとき、一方の円が他方に内包される場合(すなわち、各円の中心間の距離D1008が、0≦D≦max(r1,r2)−min(r1,r2)の関係を満たすとき)は、d=2×min(r1,r2)(すなわち、大きくないほうの円の直径)となる。また、2つの円の一部が重なっている場合(すなわち、max(r1,r2)−min(r1,r2)≦D≦(r1+r2)の関係を満たすとき)には、d=(r1+r2−D)となる。また、2つの円が重ならない場合(すなわち、(r1+r2)≦Dのとき)には、d=0となる。さらに、一致度数H1010をH=d/(r1+r2)と定義すると、0≦H≦1の範囲に正規化できる。このように算出した一致度数H1010を、図９に示した端末Ｃの指定範囲と端末Ａ、B、F、G、Hの各指定範囲のそれぞれにフレーム単位で求め、各メッセージ情報に含まれるキーワードの出現頻度に一致度数H1010を乗じて重み付け加算することにより、重要度908の信頼性(すなわち、検索対象が各キーワードとどの程度一致しているかを示す指標)を向上することができる。
【００４６】
図１１を用いて、前記図３に示した検索動作のステップ301を拡張し、前記検索方法によって得られたキーワードから、さらに詳細な検索結果を得る動作について説明する。前述したステップ301では、端末Ｃ117にて指定された媒介情報の識別情報118と範囲指定情報119をサーバ103に送信し（ステップ303）、サーバ103では他の端末間で交わされたチャット内容からキーワード情報を抽出し（ステップ302）、検索結果121として端末Ｃ117に送信して表示した（ステップ304）。同図では、さらにステップ1101を加える。ステップ1102では、端末Ｃ117にて前記検索結果121として表示されたキーワードの中からテキストを選択し、サーバに送信する。ステップ1103にて、受信したテキスト情報をもとにサーチエンジンによるWWWホームページ検索を実施し、前記テキスト情報が含まれるホームページの一覧を検索結果として、端末Ｃ117に送信する。ステップ1104では、端末Ｃ117にて検索結果を受信し表示する。この際、サーチエンジンとして、前記参考文献２に記載の技術をそのまま用いることができる。
【００４７】
図１２に、前記詳細検索前の表示結果(a)と詳細検索後の表示結果(b)の一例を示す。同図(a)において、前記図９に示した端末Ｃにおける検索結果907の中から、選択カーソル1201を用いてテキスト情報の一部(図１２の例では「アマリリス」)を選択する。このように選択した状態で、詳細検索ボタン1202を押すと、前記図１１におけるステップ1101が実行され、端末Ｃでは同図(b)に示すようなサーチエンジンによる検索結果1203を得ることができる。その後、復帰ボタン1204などを用いて、詳細検索前の表示結果(a)に戻るように構成してもよい。以上のように、媒介情報と、チャットによるメッセージ情報と、従来のサーチエンジンを併せて利用することにより、媒介情報の一部を指定して詳細な検索結果を得ることが可能になる。
【００４８】
図１３に、前述した情報関連付け方法を利用して、広告を実現する実施例の構成図を示す。一般に、無作為に広告するよりも、ユーザが興味を持っている対象に近い内容について広告するほうが、広告効果が大きい。そこで、前述したようにユーザにより指定された対象(例えば花)と、それに関連した広告情報(例えば花屋の店名、電話番号、地図、商品名、価格などを含む情報)をサーバ1301にて関連づけ、前述したチャット表示部509や検索結果表示部602や指定範囲502の近くに表示する。同図において、サーバ1301は、前述したサーバ103と広告生成手段1308と広告用データベース1307から構成し、広告主1302から広告情報1303と広告キーワード1304を受け取り、マーケティング情報1305と課金情報1306を広告主1302に返す。具体的には、まず広告主1302が、広告したい内容と関係を持った1つ以上のキーワード(すなわち、広告キーワード1304)を指定し、サーバ1301にて広告用データベース1307を経由してキーワード照合手段1310に入力する。例えば、花屋に関する広告の場合には、「花」「アマリリス」などが広告キーワード1304に相当する。これ以外にも、広告キーワード1304として、商品名、各種用品名、人名、施設名、都市等の地域名を含む名詞、固有名詞、行動動作を表す動詞、形容詞および代名詞と、これらを組み合わせた複合語、熟語、文などが考えられる。キーワード照合手段1310では、前述したキーワード抽出手段116を用いてチャットで交わされるメッセージ情報111,115からキーワード情報205を抽出し、前記広告キーワード1304と関連するキーワードが抽出された場合に、広告情報送信手段1309とマーケティング情報解析手段1311に通知する。このとき例えば、キーワード情報205と広告キーワード1304が一致した場合や、単語間の意味的な関連づけを格納した辞書データを用いてキーワード情報205から広告キーワード1304が連想される場合(例えば、キーワード情報205が「アマリリス」で、広告キーワード1304が「花」などの場合)に、キーワード情報205と広告キーワード1304が関連していると判定してもよい。広告情報送信手段1309は、広告主1302が指定した広告情報1303について広告用データベース1307を経由して受取り、ネットワーク104を介して端末Ａ101、端末Ｂ102、端末Ｃ117に送信する。この動作により、広告主1302が指定した広告キーワード1304を含むメッセージ情報111,115を直接的に交わした端末Ａ101と端末Ｂ102だけでなく、同じ映像対象を指定した別の端末Ｃ117に対しても広告情報1303を送信できるようになる。また、マーケティング情報解析手段1311では、前記キーワード照合手段1310からの通知に従って、情報交換用データベース107から端末識別情報110,114,120を読み出してマーケティング情報1305とし、広告用データベース1307を介して広告主1302に提供する。また、これと同時に、広告情報1303をサーバに登録する際の広告情報のサイズや広告キーワード1304の個数、広告情報1303が表示された回数や端末数などに課金し、この課金情報1306を広告主1302に呈示する。前述した広告生成手段1308は、前記参考文献１に記載の技術を用いて容易に実現できるため、詳細な図示は省略する。
【００４９】
また、前記マーケティング情報1305に、各端末から送られてくる媒介情報の識別情報108,112,118や範囲指定情報109,113,119を加えてもよい。これにより、各ユーザが映像のどの部分に興味を持ってチャットや検索を行ったかという情報を広告主1302が収集できるようになり、より効果的な広告を行うことができる。これを利用し、媒介情報の識別情報や範囲指定情報や端末識別情報をリスト化して提供するサービスに対して課金してもよい。
【００５０】
以上のように、媒介情報として、地上波/放送衛星/通信衛星/ケーブル等の伝送媒体を利用した一般的なテレビジョン放送の場合を例にあげて説明したが、本発明はこれに限定されるわけではなく、インターネットなどのネットワークを通じて配信される動画像や静止画像、一般的なインターネットホームページや、媒介情報の識別情報としての格納場所が明確な動画データや静止画データなど、いろいろな情報(データ)を媒介情報として用いることが可能である。また、端末とサーバ間で送受信する範囲指定情報として、画面内位置の範囲情報を用いず、時刻の範囲情報だけを用いれば、映像を全く含まない音声情報などを媒介情報とすることも可能であり、ラジオ放送やネットワークを通じて配信される音声情報などにも同様に適用できる。
【００５１】
また、コンピュータネットワークとして、インターネット以外にも、イントラネット(組織内ネットワーク)、エクストラネット(組織間ネットワーク)、専用通信回線、固定電話回線、携帯電話回線などを用いることができる。また、媒介情報として、CDやDVDなどの記録媒体に記録された情報を用いることもできる。また、前述の例では、チャットの文字列や記号、サムネール画像、関連情報を表示するためにHTML文書を用いて説明したが、本発明はこれに限定されるわけではなく、例えば携帯電話端末に使用されるコンパクト−HTML(C-HTML)文書などを用いてもよく、また文字列だけしか含まれない場合にはテキスト文書としてもよい。
【図面の簡単な説明】
【００５２】
【図１】本発明の一実施例の構成図である。
【図２】本発明の動作説明図である。
【図３】本発明の動作説明図である。
【図４】本発明における端末装置の構成図の一例である。
【図５】本発明における端末装置の画面表示の一例である。
【図６】本発明における端末装置の画面表示の一例である。
【図７】本発明の動作説明図である。
【図８】本発明の動作説明図である。
【図９】本発明の動作説明図である。
【図１０】本発明の動作説明図である。
【図１１】本発明の動作説明図である。
【図１２】本発明の動作説明図である。
【図１３】本発明の他の実施例の構成図である。
【符号の説明】
【００５３】
101,102,117…端末、 103,1301…サーバ、 104,408…ネットワーク、 105…媒介情報、 106…媒介情報照合手段、 107…情報交換用データベース、 108,112,118…媒介情報の識別情報、 109,113,119…範囲指定情報、 110,114,120…端末識別情報、 111,115,203,903,905…メッセージ情報、 116…キーワード抽出手段、 121,907,1203…検索結果、 201,501,901…ディスプレイ画面、 202,502,708,709,710,711,902,904,906,1004,1007…指定範囲、 204…キーワード抽出結果、 205…キーワード情報、 206…文脈情報、 207…関連情報、 401…操作部、 402…媒介情報受信部、 403…ディスプレイ、 404…プログラム格納メモリ、 405…情報処理装置、 406…記憶装置、 407…ネットワークインタフェース、 409…記録媒体、 503…ポインタ、 504…キーワード、 505…マウス、 506…マウスボタン、 507…マウスホイール、 508…サムネール画像、 509…チャット表示部、 510…メッセージ入力部、 601…検索ボタン、 602…検索結果表示部、 701…設定された時間範囲、 702,703,704,705,706,801,802,1001…フレーム、 707…時間方向で合成した図、 908…重要度、 1002,1005…指定位置、 1003,1006…半径、 1008…中心間の距離、 1009…重なり部の長さ、 1010…一致度数、 1201…選択カーソル、 1202…詳細検索ボタン、 1204…復帰ボタン、 1302…広告主、 1303…広告情報、 1304…広告キーワード、 1305…マーケティング情報、 1306…課金情報、 1307…広告用データベース、 1308…広告生成手段、 1309…広告送信手段、 1310…キーワード照合手段、 1311…マーケティング情報解析手段、 1312…広告表示部
【特許請求の範囲】
【請求項１】
第１の端末装置は、第１の媒介情報を受信あるいは取得し、該第１の媒介情報を識別するための第１の媒介情報識別情報と該第１の媒介情報の一部あるいは全体を指定するための第１の範囲指定情報とメッセージ情報を、コンピュータネットワーク経由でサーバ装置に送信し、
サーバ装置は、前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記メッセージ情報を受信し、受信した前記メッセージ情報の一部あるいは全体から媒介情報関連情報を作成し、前記第１の媒介情報識別情報と前記第１の範囲指定情報と媒介情報関連情報とを相互に関連づけた形態でデータベースに登録することを特徴とする情報関連付け方法。
【請求項２】
請求項１記載の情報関連付け方法において、
前記サーバ装置は、前記第１の端末装置に加え第２の端末装置を含む２つ以上の端末装置からなるグループから形成され、受信した前記メッセージ情報を、前記グループに属し前記第２の端末装置を含む１つ以上の端末装置にコンピュータネットワーク経由で送信し、
前記第２の端末装置では、受信した前記メッセージ情報を出力することを特徴とする情報関連付け方法。
【請求項３】
第１の端末装置は、第１の媒介情報を受信あるいは取得し、該第１の媒介情報を識別するための媒介情報識別情報と該第１の媒介情報の一部あるいは全体を指定するための第１の範囲指定情報を、コンピュータネットワーク経由でサーバ装置に送信し、
サーバ装置は、受信した前記第１の媒介情報識別情報および前記第１の範囲指定情報と、データベースに登録された第２の媒介情報識別情報および第２の範囲指定情報を照合して両者が一致した場合に、該第２の媒介情報識別情報および第２の範囲指定情報による前記媒介情報関連情報を、第２の端末装置にコンピュータネットワーク経由で送信し、
該第２の端末装置は、受信した前記媒介情報関連情報を出力することを特徴とする情報関連付け方法。
【請求項４】
請求項１乃至３記載の情報関連付け方法において、
前記サーバ装置では、広告主から指定または依頼された広告キーワードと広告情報をデータベースに登録し、該広告キーワードが前記媒介情報関連情報と関連するか否かを判定し、関連すると判定された場合には、前記広告情報を端末装置にコンピュータネットワーク経由で送信し、
該端末装置では、受信した広告情報を出力することを特徴とする情報関連付け方法。
【請求項５】
媒介情報を入力する手段と、
媒介情報識別情報を取得する手段と、
範囲指定情報を取得する手段と、
メッセージ情報を入力する手段と、
前記媒介情報識別情報と前記範囲指定情報とメッセージ情報をコンピュータネットワーク経由で送信する手段と、
媒介情報関連情報をコンピュータネットワーク経由で受信して出力する手段と、
前記媒介情報のうち前記範囲指定情報で指定された部分と媒介情報関連情報とを関連づけて表示する手段を備えたことを特徴とする端末装置装置。
【請求項６】
第１の端末装置から送信された第１の媒介情報識別情報と第１の範囲指定情報とメッセージ情報をコンピュータネットワーク経由で受信する手段と、
該メッセージ情報の一部あるいは全体から媒介情報関連情報を生成する手段と、
前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記メッセージ情報と前記媒介情報関連情報を互いに関連付けた形態でデータベースに蓄積する手段と、
第２の端末装置から送信された第２の媒介情報識別情報と第２の範囲指定情報の組をコンピュータネットワーク経由で受信してデータベースに蓄積する手段と、
前記第１と第２の媒介情報識別情報および前記第１と第２の範囲指定情報をそれぞれ照合する照合手段と、
照合の結果両者が一致した場合に前記メッセージ情報あるいは前記媒介情報関連情報のどちらか一方あるいは両方の情報を前記第２の端末装置に対してコンピュータネットワーク経由で送信する手段を備えたことを特徴とするサーバ装置装置。
【請求項７】
請求項６記載のサーバ装置において、
広告主から指定あるいは依頼された広告キーワードと広告情報をデータベースに登録する手段と、
該広告キーワードが前記媒介情報関連情報と関連するか否かを判定する手段と、
関連すると判定された場合には、前記広告情報を前記第１または第２の端末装置にコンピュータネットワーク経由で送信する手段を備えたことを特徴とするサーバ装置。
【請求項８】
請求項７記載のサーバ装置において、
前記第１の媒介情報識別情報と、
前記第１の範囲指定情報と、前記メッセージ情報と、
前記媒介情報関連情報と、
前記第２の媒介情報識別情報と、
前記第２の範囲指定情報と、前記広告キーワードのうちいずれか１つの情報、あるいは複数を組み合わせた情報をもとに統計に基づくマーケティング情報を生成するマーケティング情報解析手段を備えたことを特徴とするサーバ装置。
【請求項９】
請求項７または請求項８記載のサーバ装置において、
前記広告キーワードは、少なくとも商品名、各種用品名、人名、施設名、都市等の地域名を含む名詞、固有名詞、行動動作を表す動詞、形容詞および代名詞と、これらを組み合わせた複合語、熟語、文であることを特徴とするサーバ装置。
【請求項１０】
媒介情報の入力を受け付けるステップと、
該媒介情報を識別するための媒介情報識別情報を取得するステップと、該媒介情報の一部あるいは全体を指定するための範囲指定情報を取得するステップと、
メッセージ情報の入力を受け付けるステップと、
前記媒介情報識別情報と前記範囲指定情報とメッセージ情報をコンピュータネットワーク経由で送信するステップと、
媒介情報関連情報をコンピュータネットワーク経由で受信するステップと、
前記媒介情報のうち前記範囲指定情報で指定された部分と媒介情報関連情報とを関連づけて表示するステップとを備えたコンピュータで実行可能なプログラム。
【請求項１１】
コンピュータネットワーク経由で受信された第１の端末装置から送信された第１の媒介情報識別情報と第１の範囲指定情報とメッセージ情報について、該メッセージ情報の一部あるいは全体から媒介情報関連情報を生成するステップと、
前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記メッセージ情報と前記媒介情報関連情報を互いに関連付けた形態でデータベースに蓄積するステップと、
コンピュータネットワーク経由で受信された第２の端末装置から送信された第２の媒介情報識別情報と第２の範囲指定情報のデータベースに蓄積するステップと、
前記第１と第２の媒介情報識別情報および前記第１と第２の範囲指定情報をそれぞれ照合するステップと、
照合の結果両者が一致した場合に前記メッセージ情報あるいは前記媒介情報関連情報のどちらか一方あるいは両方の情報を前記第２の端末装置に対してコンピュータネットワーク経由で送信するステップとを備えたコンピュータ実行可能なプログラム。
【請求項１】
第１の端末装置は、第１の媒介情報を受信あるいは取得し、該第１の媒介情報を識別するための第１の媒介情報識別情報と該第１の媒介情報の一部あるいは全体を指定するための第１の範囲指定情報とメッセージ情報を、コンピュータネットワーク経由でサーバ装置に送信し、
サーバ装置は、前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記メッセージ情報を受信し、受信した前記メッセージ情報の一部あるいは全体から媒介情報関連情報を作成し、前記第１の媒介情報識別情報と前記第１の範囲指定情報と媒介情報関連情報とを相互に関連づけた形態でデータベースに登録することを特徴とする情報関連付け方法。
【請求項２】
請求項１記載の情報関連付け方法において、
前記サーバ装置は、前記第１の端末装置に加え第２の端末装置を含む２つ以上の端末装置からなるグループから形成され、受信した前記メッセージ情報を、前記グループに属し前記第２の端末装置を含む１つ以上の端末装置にコンピュータネットワーク経由で送信し、
前記第２の端末装置では、受信した前記メッセージ情報を出力することを特徴とする情報関連付け方法。
【請求項３】
第１の端末装置は、第１の媒介情報を受信あるいは取得し、該第１の媒介情報を識別するための媒介情報識別情報と該第１の媒介情報の一部あるいは全体を指定するための第１の範囲指定情報を、コンピュータネットワーク経由でサーバ装置に送信し、
サーバ装置は、受信した前記第１の媒介情報識別情報および前記第１の範囲指定情報と、データベースに登録された第２の媒介情報識別情報および第２の範囲指定情報を照合して両者が一致した場合に、該第２の媒介情報識別情報および第２の範囲指定情報による前記媒介情報関連情報を、第２の端末装置にコンピュータネットワーク経由で送信し、
該第２の端末装置は、受信した前記媒介情報関連情報を出力することを特徴とする情報関連付け方法。
【請求項４】
請求項１乃至３記載の情報関連付け方法において、
前記サーバ装置では、広告主から指定または依頼された広告キーワードと広告情報をデータベースに登録し、該広告キーワードが前記媒介情報関連情報と関連するか否かを判定し、関連すると判定された場合には、前記広告情報を端末装置にコンピュータネットワーク経由で送信し、
該端末装置では、受信した広告情報を出力することを特徴とする情報関連付け方法。
【請求項５】
媒介情報を入力する手段と、
媒介情報識別情報を取得する手段と、
範囲指定情報を取得する手段と、
メッセージ情報を入力する手段と、
前記媒介情報識別情報と前記範囲指定情報とメッセージ情報をコンピュータネットワーク経由で送信する手段と、
媒介情報関連情報をコンピュータネットワーク経由で受信して出力する手段と、
前記媒介情報のうち前記範囲指定情報で指定された部分と媒介情報関連情報とを関連づけて表示する手段を備えたことを特徴とする端末装置装置。
【請求項６】
第１の端末装置から送信された第１の媒介情報識別情報と第１の範囲指定情報とメッセージ情報をコンピュータネットワーク経由で受信する手段と、
該メッセージ情報の一部あるいは全体から媒介情報関連情報を生成する手段と、
前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記メッセージ情報と前記媒介情報関連情報を互いに関連付けた形態でデータベースに蓄積する手段と、
第２の端末装置から送信された第２の媒介情報識別情報と第２の範囲指定情報の組をコンピュータネットワーク経由で受信してデータベースに蓄積する手段と、
前記第１と第２の媒介情報識別情報および前記第１と第２の範囲指定情報をそれぞれ照合する照合手段と、
照合の結果両者が一致した場合に前記メッセージ情報あるいは前記媒介情報関連情報のどちらか一方あるいは両方の情報を前記第２の端末装置に対してコンピュータネットワーク経由で送信する手段を備えたことを特徴とするサーバ装置装置。
【請求項７】
請求項６記載のサーバ装置において、
広告主から指定あるいは依頼された広告キーワードと広告情報をデータベースに登録する手段と、
該広告キーワードが前記媒介情報関連情報と関連するか否かを判定する手段と、
関連すると判定された場合には、前記広告情報を前記第１または第２の端末装置にコンピュータネットワーク経由で送信する手段を備えたことを特徴とするサーバ装置。
【請求項８】
請求項７記載のサーバ装置において、
前記第１の媒介情報識別情報と、
前記第１の範囲指定情報と、前記メッセージ情報と、
前記媒介情報関連情報と、
前記第２の媒介情報識別情報と、
前記第２の範囲指定情報と、前記広告キーワードのうちいずれか１つの情報、あるいは複数を組み合わせた情報をもとに統計に基づくマーケティング情報を生成するマーケティング情報解析手段を備えたことを特徴とするサーバ装置。
【請求項９】
請求項７または請求項８記載のサーバ装置において、
前記広告キーワードは、少なくとも商品名、各種用品名、人名、施設名、都市等の地域名を含む名詞、固有名詞、行動動作を表す動詞、形容詞および代名詞と、これらを組み合わせた複合語、熟語、文であることを特徴とするサーバ装置。
【請求項１０】
媒介情報の入力を受け付けるステップと、
該媒介情報を識別するための媒介情報識別情報を取得するステップと、該媒介情報の一部あるいは全体を指定するための範囲指定情報を取得するステップと、
メッセージ情報の入力を受け付けるステップと、
前記媒介情報識別情報と前記範囲指定情報とメッセージ情報をコンピュータネットワーク経由で送信するステップと、
媒介情報関連情報をコンピュータネットワーク経由で受信するステップと、
前記媒介情報のうち前記範囲指定情報で指定された部分と媒介情報関連情報とを関連づけて表示するステップとを備えたコンピュータで実行可能なプログラム。
【請求項１１】
コンピュータネットワーク経由で受信された第１の端末装置から送信された第１の媒介情報識別情報と第１の範囲指定情報とメッセージ情報について、該メッセージ情報の一部あるいは全体から媒介情報関連情報を生成するステップと、
前記第１の媒介情報識別情報と前記第１の範囲指定情報と前記メッセージ情報と前記媒介情報関連情報を互いに関連付けた形態でデータベースに蓄積するステップと、
コンピュータネットワーク経由で受信された第２の端末装置から送信された第２の媒介情報識別情報と第２の範囲指定情報のデータベースに蓄積するステップと、
前記第１と第２の媒介情報識別情報および前記第１と第２の範囲指定情報をそれぞれ照合するステップと、
照合の結果両者が一致した場合に前記メッセージ情報あるいは前記媒介情報関連情報のどちらか一方あるいは両方の情報を前記第２の端末装置に対してコンピュータネットワーク経由で送信するステップとを備えたコンピュータ実行可能なプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００７−３１７２１７（Ｐ２００７−３１７２１７Ａ）
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願番号】特願２００７−１８５２１６（Ｐ２００７−１８５２１６）
【出願日】平成１９年７月１７日（２００７．７．１７）
【分割の表示】特願２００１−３５５４８６（Ｐ２００１−３５５４８６）の分割
【原出願日】平成１３年１１月２１日（２００１．１１．２１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願日】平成１９年７月１７日（２００７．７．１７）
【分割の表示】特願２００１−３５５４８６（Ｐ２００１−３５５４８６）の分割
【原出願日】平成１３年１１月２１日（２００１．１１．２１）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]