ディスプレイに動画視聴コンパニオンを設ける方法及び仮想生物生成器
【課題】ディスプレイに動画視聴コンパニオンを設ける改善された方法及び装置を提供すること。
【解決手段】ペットを装うため又はユーザ・インターフェース機能を支援するために、テレビジョン・セットのようなディスプレイに動画化された仮想生物が作成される。一実施例では、鑑賞されるプログラムに対応する１つ又はそれ以上の信号が監視される。この間視に基づいて所定の事象が検出されると、検出された事象に関連して動画化されたキャラクタが制御される。他の実施例では、動画化された仮想生物が、プログラム推奨システムにおいてユーザによりなされたプログラム選択に応答する。
【解決手段】ペットを装うため又はユーザ・インターフェース機能を支援するために、テレビジョン・セットのようなディスプレイに動画化された仮想生物が作成される。一実施例では、鑑賞されるプログラムに対応する１つ又はそれ以上の信号が監視される。この間視に基づいて所定の事象が検出されると、検出された事象に関連して動画化されたキャラクタが制御される。他の実施例では、動画化された仮想生物が、プログラム推奨システムにおいてユーザによりなされたプログラム選択に応答する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特にテレビジョン・セットであるメディア出力機器における動画生成のためのシステム及び方法に関する。
【背景技術】
【０００２】
「たまごっち(Tamagotchi)」は、マイクロコントローラ、小型表示スクリーンおよび複数の押しボタンを含むキーホルダ・サイズの装置である。このコントローラ上で走るプログラムは、ディスプレイに「仮想的なペット(virtual pet)」を生成する。ユーザは、適切なボタンを押すことによって、そのペットに「餌を供給し(feed)」、それと「遊ぶ(play with)」ことができる。ユーザがペットを充分に世話すると、ペットはよく育ち成長する。ユーザがペットを無視すると、ペットは病気になり死んでしまうこともある。
【０００３】
同様な「仮想生物(virtual creature)」は、家庭用コンピュータ（例えば、ＩＢＭＰＣおよびアップル・マッキントッシュ・コンピュータ）で実行されるプログラムでも実現されている。富士通により作成されたフィンフィン(Fin fin)は、この種の仮想ペットの例である。フィンフィンは、プログラムによりユーザを「見る」および「聞く」ことを可能にするセンサ装置を有し、フィンフィンがユーザに反応することができるようにする。ユーザは、コンピュータのキーボード上のキーを押すことによって、フィンフィンと関わり合うことが可能である。フィンフィンは、知的な感情および個性を表し、ユーザとの「関係」を発展させるよう設計されている。
【０００４】
しかしながら、これら人工的ペットの「経験(experience)」の総てはユーザによって行われる（例えば、ユーザがたまごっちに餌を供給する又は遊ぶ場合や、フィンフィンに合図をする場合である。）。その結果、上述した仮想ペットはいずれもユーザとの経験を共有しない。
【０００５】
他の種類の従来の仮想生物は、マイクロソフトの「オフィス・アシスタント(office assistant)」であり、これは、多くのマイクロソフトのソフトウエア・アプリケーションの中でユーザを支援する動画化されたキャラクタである。一般的なものでは、オフィス・アシスタントは目のあるペーパー・クリップに類似するものである。オフィス・アシスタントが包含されている内容に依存して、オフィス・アシスタントの動画化された動きも異なる。オフィス・アシスタントの動作(action)は、現在走っているプログラムの内容に依存するが、その動画(animation)は、（例えば、キーボードまたはマウスを利用して）ユーザにより与えられた入力に応答して与えられたものであり、ユーザが見る情報の中で変化するものではない。
【０００６】
上述した従来技術の問題点を克服する仮想生物は、より高度の娯楽および楽しみをユーザに提供するであろう。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−２２０６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の課題は、ディスプレイに動画視聴コンパニオンを設ける改善された方法及び装置を提供することである。
【課題を解決するための手段】
【０００９】
一実施例による方法は、
視聴者が番組を鑑賞する場合に、ディスプレイに動画視聴コンパニオンを設ける方法であって：
前記ディスプレイに映像番組を表示するステップ；
前記ディスプレイの一部に動画キャラクタを生成するステップ；
鑑賞される前記番組に関連する少なくとも１つの信号を監視するステップ；
前記監視するステップで行われる監視に基づいて、所定の第１事象が生じたことを判定するステップ；および
前記判定するステップでなされた判定に基づいて、前記動画キャラクタを制御するステップ；
より成ることを特徴とする方法である。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例による仮想生物生成器を組み込むテレビジョン・セットのブロック図。
【図２】ウインドウに表示された仮想生物に関する表示装置におけるサンプル表示の概略図。
【図３】図１の仮想生物生成器の詳細を示すブロック図。
【図４】本発明の実施例による第１動作モードを示す状態遷移図。
【図５】本発明の実施例による第２動作モードを示す状態遷移図。
【発明を実施するための形態】
【００１１】
［発明の概要］
フィンフィンのような仮想ペットを想定する。しかしながら、このキャラクタは、テレビジョン内で「生活し(live)」、ＯＮが何であるかに応答して、その所有者（オーナー）と共にテレビジョン番組を鑑賞し、更なる鑑賞についての推薦を行う。また、所有者はそのペットと相互に関わり合うことが可能である。オーナーがペットに応答すれば、ペットは喜ぶ。オーナーがペットを無視すると、ペットは徐々に楽しくなくなる。例えば、ペットが番組の推薦を行う場合に、オーナーが慣例的に無視すると、ペットは落胆するようになる。本発明は、従来の相互的な人工生物形態、フィンフィンに関連するが、本システムにおける人工生物形態はシステムに付属し、例えば、現在の番組および示唆する他の観賞用番組に応答することによって、強化された機能を提供する。様々な他の種類の娯楽および有利な特徴を提供することが可能であり、以下に説明される。
【００１２】
本発明の一形態によれば、視聴者が番組を鑑賞する場合に、ディスプレイに動画視聴コンパニオンを設ける方法が提供される。本方法では、映像番組が前記ディスプレイに表示され、前記ディスプレイの一部に動画キャラクタが生成される。鑑賞される前記番組に関連する少なくとも１つの信号が監視される。その監視に基づいて、所定の第１事象(event)が生じたことが判定され、それに従って、前記動画キャラクタが制御される。
【００１３】
本発明の他の形態は、視聴者が番組を鑑賞する間にディスプレイに動画化された視聴コンパニオン(companion)を提供する方法に関連し、その番組は音声成分および同期映像成分を有する。この方法では、番組の映像成分がディスプレイに表示され、動画化されたキャラクタがディスプレイの一部に生成される。番組の音声成分に対応する信号に基づいて、第１の所定の音声事象が生じたこと、および第２の所定の音声事象が生じたことを判定する。動画化されたキャラクタはこれらの判定に基づいて制御される。
【００１４】
本発明の他の形態によれば、視聴者が番組推奨システムを使用する場合にディスプレイに動画キャラクタを提供する方法が提供される。本方法では、前記ディスプレイに動画キャラクタが生成され、ユーザから番組の選択が受信される。ユーザの選択は、事前になされた番組選択に基づく格納済みの特性と比較される。この比較に基づいて、前記動画キャラクタが制御される。
【００１５】
［好適実施例の詳細な説明］
図１は、テレビジョン・セットのブロック図である。これは、受信機１４のような信号源を含み、アンテナ１６またはケーブル（図示せず）からの放送信号を受信する。信号源は音声及び映像出力を生成する。当然ながら、図示された受信機１４を、他の信号源（例えば、ＶＣＲ，ＤＶＤプレーヤ，ビデオ・カメラ等）に置換することも可能である。
【００１６】
信号源（例えば、受信機１４）からの音声及び映像出力は、仮想生物生成器（ＶＣＧ）１０に印加される。ＶＣＧ１０はユーザからユーザ・インターフェース入力も受信する。受信した音声および映像出力に基づいて、ＶＣＧ１０は、モニタ１２に印加する音声および映像出力を生成する。モニタ１２は、ＶＣＧ１０から受信した映像信号に基づく表示を作成し、ＶＣＧから受信した音声信号に基づいて音声出力を作成する。例えば、ＬＣＤ，ＣＲＴ，ＬＥＤ技術のような、任意の適切なモニタ技術を利用することが可能である。
【００１７】
図１の実施例は、受信機１４，ＶＣＧ１０およびモニタ１２を個別の装置として示しているが、当業者は、他の形態にあってはこれらの装置が共に一体化され得ることを認めるであろう。さらに、受信機１４，ＶＣＧ１０およびモニタ１２の間の相互接続は、様々な信号形式を利用して行い得ることも認められるであろう。例えば、ＶＣＧ１０から音声および映像信号をモニタ１２に送信する代わりに、音声および映像成分が、モニタ１２におけるＲＦ入力（図示せず）に印加される単独のＲＦ信号に結合されることも可能である。以下に説明するプログラム推奨システム１８は、選択的に、データをＶＣＧ１０に提供し、ＶＣＧ１０により作成された動画化されたマルチメディア生物による推薦を可能にする。
【００１８】
図２は、モニタ１２に現れるサンプル表示を示す。この例では、ディスプレイは、ユーザの鑑賞する場組が表示される第１領域２２を有する。好ましくは、番組が第１領域２２に表示される場合に、その番組は、従来のテレビジョン・スクリーンにおけるものと同様に見える。仮想生物２４は、第１領域２２内に含まれるウインドウ２６に表示される。仮想生物２４は、モニタ１２に供給される音声および映像信号を制御することによって、ＶＣＧ１０（図１に示される）により生成される。
【００１９】
ウインドウ２６に対する仮想生物２４の選択的な閉じこめは、適切な画像の作成を簡易化する。なぜなら、仮想生物２４以外のウインドウ２６の部分は、任意の所望の背景で満たされ得るからである。他の実施例では、ウインドウ２６が省略され、介在する背景なしに、仮想生物２４がユーザの鑑賞する番組上に直接的に生成される；言い換えれば、フル・スクリーン・モードである。
【００２０】
選択的に、仮想生物２４は、人間を含む任意の動画物または生物の描写であり得る。さらに、仮想生物２４は、トースター(toaster)のような通常は動く対象でないものの描写であり得る。そのような通常は動く対象でないものは、それらに目や口を与えることによって、又は受信機１４の映像ストリーム中に突発的な事象が示された場合に飛び出す食パンのように、それらの固有の機能に伝達的役割を与えることによって、動画化することが可能である。
【００２１】
図３は、図１のＶＣＧ１０を実現化する好適実施例のブロック図である。ＶＣＧ１０は、仮想生物２４を形成するために使用される音声および映像データを生成する動画生成器３３を有する。動画生成器の実現化に関する詳細は、当業者に周知の様々な技術に従ってなされ得る。動画生成器３３により生成される音声および映像出力は、仮想生物２４を様々な動画の状態で登場させる。選択的に、動画生成器３３は音声出力を生成し、音響効果および会話を行うために使用される。動画生成器３３は、ユーザと仮想生物２４との間の対話を模擬するための対話模擬プロセスを提供する養鶏生成される。
【００２２】
動画生成器３３の映像及び音声出力は、映像及び音声重畳器３４に印加される。映像及び音声重畳器３４は、ユーザの鑑賞する番組に対応する映像入力信号も受信する。第１領域２２（図２に示される）に対応するフレームの部分については、映像及び音声重畳器３４は、映像入力信号を、映像及び音声重畳器３４の出力に通過させるに過ぎない。しかしながら、映像及び音声重畳器３４は、現在のフレームの部分が（図２に示される）ウインドウ２６に対応し、映像及び音声重畳器３４が動画生成器３３により生成された映像信号を選択することを認識する。これにより、仮想生物２４は第１領域２２上に重畳して登場する。
【００２３】
他の実施例では、映像及び音声重畳器３４は、従来の画像内画像(picture-in-picture)技術を利用して実現され得る。この場合、仮想生物２４は、当業者に周知の様々な手法を利用して、第１領域２２内のどこかのウインドウ２６内に登場する。あるいは、仮想生物２４は、フル・スクリーン・モード（図示せず）でも提示され得る。
【００２４】
仮想生物２４に対する選択的な音響効果が実現される場合は、映像及び音声重畳器３４は、鑑賞される番組に対応する音声入力信号と、動画生成器３３からの音声信号を結合する（これは例えば、ソース音声と動画音声を共に混合することにより行われる。）。その結果の結合された音声信号は、従来の音声増幅器及びスピーカ・システムを利用して、可聴音声に変換される。
【００２５】
静的状態では、動画生成器３３は、一時的な動き(shuffle)または他のゆっくりとした動きのような邪魔にならない動画で、ディスプレイ上に仮想生物２４を描くことが好ましい。所定の事象に応答して、動画生成器３３は、その事象にふさわしい形式で仮想生物２４を動かす。好ましくは、その事象は、信号源から到着する音声入力及び／又は映像入力に基づいて検出される。
【００２６】
通常は、視聴コンパニオンとして動作する場合に、仮想生物２４は、その背中と共に第１領域２２内の画像がユーザに向かい合うように形成される。仮想生物２４が事象に応答するための手法の１つは、突然ユーザの方を振り返る容姿を提供し、および／または会話能力が与えられるならば模擬的な発声を提供することである。
【００２７】
映像認識ブロック３１を利用して、（図２に示される）第１領域２２に表示される番組に対応する映像入力信号に基づいて、事象を検出する。好ましくは、映像認識ブロック３１は、映像信号を監視し、映像信号の特徴が所定の基準に合致することを判定する。映像認識ブロック３１は、任意の形式の映像信号（例えば、複合アナログ映像信号、またはディジタル映像信号中の単独の色成分）で動作し得る。所定の事象に対応する信号の特徴を検出することは、適切なアナログ回路またはディジタル信号処理回路を利用して実現可能である。ベイズ(Bayesian)又はニューラル・ネットワーク技術のような機械的分類技術を利用することも可能である。
【００２８】
映像信号の特徴が確認されると、映像認識ブロック３１は適切な出力を動画生成器３３に提供する。例えば、映像認識ブロック３１は、場面が、非常に暗い場面から非常に明るい場面に変化したことを検出し（例えば、輝度信号の大きな一次微分係数を検出することによって）、それに応答してＤＡＲＫ＿ＴＯ＿ＬＩＧＨＴ信号を動画生成器３３に提供するようプログラムされることが可能である。より複雑なディジタル技術を利用して、文章や映像中の顔を認識することも可能である。認識された特徴を含む信号の受領に応答して、動画生成器３３は適切な動画を生成する。例えば、ＤＡＲＫ＿ＴＯ＿ＬＩＧＨＴ信号が生成されたならば、仮想生物２４が動きだし、サングラスをかける容姿を与えることが可能である。他の例では、映像認識ブロック３１は、その場面に大量の水が出現することを検出し、動画生成器３３が仮想生物２４をボートに乗せるようプログラムされることが可能である。映像認識ブロック３１から動画生成器３３への信号伝送に対しては様々なフォーマットが利用可能であり、各信号に専用のラインを有線接続すること、バスを通じてディジタル・データとして信号を動画生成器３３に伝送することを含む。長期間の間何らの特徴も認識されなかったような場合に、デフォルト(default)事象を周期的に発生させ、仮想生物２４が退屈している又は眠ろうとしている印象を与えるように動かすことが可能である。ユーザからの入力により、ユーザが部屋を去る合図(signal)を提供し（例えば、入力の１つが隣接する検出器、映像分類器等からのものである場合）、ユーザが出て行くのを眺める又は戻ってきたときにユーザを歓迎する印象を仮想生物２４に与えるような動きを提供するために使用することが可能である。
【００２９】
他の実施例では、モニタ１２の第１領域２２に表示される実際の映像情報を分析することによって動作を行う代わりに、映像認識ブロック３１が映像入力信号に含まれる非映像情報(non-video information)で動作することも可能である。例えば、映像入力信号の垂直帰線消去周期(vertical blanking period)内に、動画制御情報を挿入することも可能である。この情報は、選択的に、第１領域２２で画像を何ら変化させない種類のものであり得るが、抽出されることが可能であって仮想生物２４の動作を制御するために使用される。
【００３０】
音声認識ブロック３２は、ユーザの鑑賞するプログラムに対応する音声信号内の特徴を検出するために設けられる。音声認識ブロック３２は、音声入力信号を監視し、音声信号により表現される所定の音声の特徴を検出する。所定の事象に対応する信号の特徴を検出することは、適切なアナログ回路またはディジタル信号処理手法を利用して実現される。音声認識ブロック３２は、所定の任意の事象が生じたことを示す信号を生成する。所定の事象の認識を示す信号に応答して、動画生成器３３は対応する形式で仮想生物２４を動かす。例えば、音声認識ブロック３２が突然大きなノイズを検出した場合に、音声認識ブロック３２はＳＵＤＤＥＮ＿ＮＯＩＳＥ信号を動画生成器３３に送信することが可能である。この信号に応答して、動画生成器３３は、（例えば、後方にジャンプすることにより）仮想生物２４が驚いた様子の印象を与えるような適切な動きを生成し得る。あるいは、音声認識ブロック３２が人間の悲鳴を検出した場合に、ＳＣＲＥＡＭ信号を動画生成器３３に送信することが可能である。これに応答して、動画生成器３３は、恐怖におののく印象を与えるよう仮想生物２４を動かすような適切な動きを生成し得る。音声認識ブロック３２から動画生成器３３への信号送信には、任意の適切なフォーマットを利用することが可能であり、各信号に専用のラインのワイヤ接続をすること、またはバスを通じてディジタル・データとして信号を動画生成器３３に伝送することを含む。
【００３１】
他の実施例では、映像認識ブロック３１および音声認識ブロック３２の両者を利用する代わりに、何れか一方のブロックを省略し、残ったブロックを利用して信号源からの適切な事象を認識することも可能である。
【００３２】
好ましくは、ユーザはユーザ・インターフェース３５を通じて仮想生物２４と相互作用をする。適切なユーザ・インターフェースの例には、マイクロフォン、ビデオ・カメラ、および光検出器が含まれる。例えば、ユーザはマイクロフォンを通じて喋ることにより、ビデオ・カメラの近辺の動きにより、またはボタンを押すことによって、動画生成器３３に関わることが可能である。この目的に対して、従来技術のフィンフィンのように、専用のハードウエアを設けることも可能である。おしゃべり(chatterbox)インターフェースを利用して、対話応答を行うことも可能である。あるいは、仮想生物２４は、ユーザとジェスチャー(gesture)を含むゲームを楽しむことが可能であり、そのジェスチャーはユーザ・インターフェース３５のビデオ・カメラ（図示せず）によって認識される。あるいは、赤外線受信機にコードを送信する赤外線送信機（別々には図示せず）を利用することも可能である。この手法は、本発明がテレビジョン番組を表示するのに使用されるモニタと共に単独のキャビネットに組み込まれるような場合に特に適している。好適実施例では、仮想生物２４は、（例えば、フィンフィンやたまごっちで行われるシステムのような）「人為的な寿命(artificial life)」の技術を利用して実現され、仮想生物２４がユーザとの相互作用に基づいて適合化し得るようにする。選択的に、ユーザ・インターフェース３５を通じて受信される入力は、音声および映像認識ブロック３２，３１により処理され、映像および音声信号における事象に応答するために使用されるものと同一のアルゴリズムを使用して、仮想生物２４を動かす。
【００３３】
図２および図１を参照するに、仮想生物２４は、ユーザの行うことが何であるかに依存して、複数の異なるモードで動作するよう実現化される。第１のモードでは、ユーザがテレビジョンを鑑賞する場合に、仮想生物２４が第１領域２２に包含されるウインドウ２６内で（又は第１領域２２上に直接的に）視聴コンパニオンとして動作する。第２動作モードでは、仮想生物２４は、プログラム推奨システム１８に関連したユーザ・インターフェース支援として動作する。第３モードでは、ユーザは、彼／彼女がテレビジョンを鑑賞していない場合であっても、仮想生物２４と相互作用を行う。（従来のフィンフィンおよびたまごっち装置との相互作用に類似する。）この第３モードでは、ユーザには、２６内に仮想生物２４を置くこと、またはモニタ１２のスクリーン全体にわたるフル・スクリーン・モードで仮想生物２４を表示することの選択肢が用意される。
【００３４】
図３を参照するに、動作モードは、ユーザ・インターフェース３５を通じてユーザから受信した命令を監視することによって、モード・セレクタ３６により可干渉的に(interferentially)判定されることが好ましい。他の実施例では、動作モードは、ユーザ・インターフェース３５により明確な命令を提供することによって、ユーザにより手動で選択される。モード選択に加えて、ユーザ・インターフェース３５を利用して、様々なユーザ・オプションを設定し、各ユーザの仮想生物２４の経験をカスタマイズする。例えば、ユーザには、仮想生物２４として提供する様々な動物又は生物の選択肢が用意される（例えば、鳥、犬または猫）。ユーザには、検出された事象に応答して発生する動画シーケンスの持続時間に加えて、ディスプレイ上の生物の大きさおよび位置を設定する機能も用意される。選択的に、ユーザ・インターフェース・メニューは、ユーザの制御可能な選択肢を設定するために、（図２に示される）モニタ１２に表示され得る。
【００３５】
図４は、視聴コンパニオンモード（すなわち、ユーザがテレビジョンを鑑賞する場合）の制御に使用するのに適切なプロセスを表現する状態フロー図の例である。このモードでは、仮想生物２４は当初はデフォルト状態Ｓ１にあり、動画生成器３３により、仮想生物２４に関するデフォルトの動作が行われる。デフォルト状態Ｓ１の仮想生物２４の動作レベルは、比較的低いことが好ましい。この状態に関する適切な動作の例は、じっとし続ける又は数秒ごとに僅かに動く(shuffling)ことを含む。好適実施例では、仮想生物２４がデフォルト状態Ｓ１で表示される場合に、仮想生物２４の背中がテレビジョン視聴者に見えており、仮想生物２４が視聴者と同じ番組を鑑賞している様子を作成する。
【００３６】
事象の合図があると、仮想生物２４の状態は、複数の様々な状態の１つに切り替わる。その事象は、（図３に関連して説明したように）画像認識ブロック３１，音声認識ブロック３２および／またはユーザ・インターフェース３５により検出される。図示した例では、楽しい事象（例えば、輝かしい明るい場面）を検出すると状態Ｓ２に切り替わり、楽しい動作（例えば、微笑み）が動画生成器３３により作成され；怖い事象（例えば、人間の悲鳴）が検出されると状態Ｓ３に切り替わり、怖がる動作（例えば、おびえる）が動画生成器３３により作成され；および愉快な事象（例えば、笑い声）が検出されると状態Ｓ４に切り替わり、笑う動作が動画生成器３３により作成される。当然ながら、システムは、これら３つの事象に加えて又はこれに代えて、他の事象を認識および反応するようプログラムされ得る。
【００３７】
検出された事象が終了すると（または、所定の期間が経過すると）、仮想生物２４はデフォルト状態Ｓ１（テレビ鑑賞）に復帰する。デフォルト状態Ｓ１において仮想生物２４が視聴者に背中を向けて座っている実施例の場合は、仮想生物２４が振り返って視聴者に向かい合う容姿を与えるように、代替的状態Ｓ２−Ｓ４の各々における動作がプログラムされることが好ましい。
【００３８】
推奨システムは、視聴者が鑑賞するのを好むものを示す情報を取得および追跡する（実際の視聴パターンを観察することによりリアル・タイムで、又は適切な番組案内を利用したバッチ(batch)モードで行う。）。ユーザの視聴の好みが判定されると、新たな番組選択が、番組選択の格納された履歴と比較される。選択された番組が、事前に選択された番組と際立って異なる場合（例えば、以前の総ての選択がスポーツの事象であって、ユーザがオペラを鑑賞または記録することを選択した場合）は、ユーザはシステムから否定的な反応（例えば、しかめっ面をした動画又は驚きの表現）が提供される。また、同じユーザが非常に人気のあるスポーツ項目を選択したならば、ユーザには肯定的な反応（例えば、親指を上げた動き）が提供される。
【００３９】
図５は、番組推奨モードで使用するのに適切な状態フロー図の例である（すなわち、ユーザが番組推奨システム１８と相互作用する場合である。）。このモードでは、仮想生物２４が通常はデフォルト状態Ｓ６にあり、仮想生物２４に対するデフォルト推奨動画が、動画生成器３３により作成される。新たな選択がなされると、システムは、新たな選択と過去の選択の履歴とを比較する。動画生成器３３は、新たな選択に反応するよう仮想生物２４を動かす。
【００４０】
図示する例では、新たな選択が概ね選択履歴に合致する場合に、状態Ｓ７への遷移が生じ、動画生成器３３により楽しい動き（例えば、微笑み）が生成され；新たな選択が選択履歴と異なる場合は、状態Ｓ８への遷移が生じ、動画生成器３３により驚きの動き（例えば、めまいがする動き）が生成され；新たな選択が選択履歴に非常に一致している場合は、状態Ｓ９への遷移が生じ、動画生成器３３により極めて楽しい動き（例えば、跳び上がって喜ぶ）が生成される。
【００４１】
上述したプロセスは、適切なデータ格納媒体（例えば、半導体メモリ又は磁気ディスク若しくはテープ）に格納されたプログラムを利用して、適切にプログラムされたマイクロプロセッサおよび／またはディジタル信号プロセッサにより選択的に実行される。
【００４２】
上述した実施例が携帯用ＴＶに組み込まれている場合は（個別の実施例として示されていない）、仮想生物２４を提示する携帯ＴＶを視聴コンパニオンとして使用し、その携帯ＴＶが視聴者と共に従来の他のＴＶを鑑賞するような幻想的状況を提供することができる。同一の映像信号が、両者のＴＶおよび用意されたある機構に同時に与えられ、携帯ＴＶは、視聴コンパニオンとしての役割を果たし、同時に放送内容および仮想生物２４のディスプレイとしては働かないことを意味する。
【００４３】
本発明は、上述した好適実施例により説明されてきたが、当業者に明らかなように、本発明の精神又は範囲から逸脱することなしに、これら実施例に様々な変更がなされ、様々な均等物が置換されることは理解されるであろう。
【技術分野】
【０００１】
本発明は、特にテレビジョン・セットであるメディア出力機器における動画生成のためのシステム及び方法に関する。
【背景技術】
【０００２】
「たまごっち(Tamagotchi)」は、マイクロコントローラ、小型表示スクリーンおよび複数の押しボタンを含むキーホルダ・サイズの装置である。このコントローラ上で走るプログラムは、ディスプレイに「仮想的なペット(virtual pet)」を生成する。ユーザは、適切なボタンを押すことによって、そのペットに「餌を供給し(feed)」、それと「遊ぶ(play with)」ことができる。ユーザがペットを充分に世話すると、ペットはよく育ち成長する。ユーザがペットを無視すると、ペットは病気になり死んでしまうこともある。
【０００３】
同様な「仮想生物(virtual creature)」は、家庭用コンピュータ（例えば、ＩＢＭＰＣおよびアップル・マッキントッシュ・コンピュータ）で実行されるプログラムでも実現されている。富士通により作成されたフィンフィン(Fin fin)は、この種の仮想ペットの例である。フィンフィンは、プログラムによりユーザを「見る」および「聞く」ことを可能にするセンサ装置を有し、フィンフィンがユーザに反応することができるようにする。ユーザは、コンピュータのキーボード上のキーを押すことによって、フィンフィンと関わり合うことが可能である。フィンフィンは、知的な感情および個性を表し、ユーザとの「関係」を発展させるよう設計されている。
【０００４】
しかしながら、これら人工的ペットの「経験(experience)」の総てはユーザによって行われる（例えば、ユーザがたまごっちに餌を供給する又は遊ぶ場合や、フィンフィンに合図をする場合である。）。その結果、上述した仮想ペットはいずれもユーザとの経験を共有しない。
【０００５】
他の種類の従来の仮想生物は、マイクロソフトの「オフィス・アシスタント(office assistant)」であり、これは、多くのマイクロソフトのソフトウエア・アプリケーションの中でユーザを支援する動画化されたキャラクタである。一般的なものでは、オフィス・アシスタントは目のあるペーパー・クリップに類似するものである。オフィス・アシスタントが包含されている内容に依存して、オフィス・アシスタントの動画化された動きも異なる。オフィス・アシスタントの動作(action)は、現在走っているプログラムの内容に依存するが、その動画(animation)は、（例えば、キーボードまたはマウスを利用して）ユーザにより与えられた入力に応答して与えられたものであり、ユーザが見る情報の中で変化するものではない。
【０００６】
上述した従来技術の問題点を克服する仮想生物は、より高度の娯楽および楽しみをユーザに提供するであろう。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１１−２２０６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明の課題は、ディスプレイに動画視聴コンパニオンを設ける改善された方法及び装置を提供することである。
【課題を解決するための手段】
【０００９】
一実施例による方法は、
視聴者が番組を鑑賞する場合に、ディスプレイに動画視聴コンパニオンを設ける方法であって：
前記ディスプレイに映像番組を表示するステップ；
前記ディスプレイの一部に動画キャラクタを生成するステップ；
鑑賞される前記番組に関連する少なくとも１つの信号を監視するステップ；
前記監視するステップで行われる監視に基づいて、所定の第１事象が生じたことを判定するステップ；および
前記判定するステップでなされた判定に基づいて、前記動画キャラクタを制御するステップ；
より成ることを特徴とする方法である。
【図面の簡単な説明】
【００１０】
【図１】本発明の実施例による仮想生物生成器を組み込むテレビジョン・セットのブロック図。
【図２】ウインドウに表示された仮想生物に関する表示装置におけるサンプル表示の概略図。
【図３】図１の仮想生物生成器の詳細を示すブロック図。
【図４】本発明の実施例による第１動作モードを示す状態遷移図。
【図５】本発明の実施例による第２動作モードを示す状態遷移図。
【発明を実施するための形態】
【００１１】
［発明の概要］
フィンフィンのような仮想ペットを想定する。しかしながら、このキャラクタは、テレビジョン内で「生活し(live)」、ＯＮが何であるかに応答して、その所有者（オーナー）と共にテレビジョン番組を鑑賞し、更なる鑑賞についての推薦を行う。また、所有者はそのペットと相互に関わり合うことが可能である。オーナーがペットに応答すれば、ペットは喜ぶ。オーナーがペットを無視すると、ペットは徐々に楽しくなくなる。例えば、ペットが番組の推薦を行う場合に、オーナーが慣例的に無視すると、ペットは落胆するようになる。本発明は、従来の相互的な人工生物形態、フィンフィンに関連するが、本システムにおける人工生物形態はシステムに付属し、例えば、現在の番組および示唆する他の観賞用番組に応答することによって、強化された機能を提供する。様々な他の種類の娯楽および有利な特徴を提供することが可能であり、以下に説明される。
【００１２】
本発明の一形態によれば、視聴者が番組を鑑賞する場合に、ディスプレイに動画視聴コンパニオンを設ける方法が提供される。本方法では、映像番組が前記ディスプレイに表示され、前記ディスプレイの一部に動画キャラクタが生成される。鑑賞される前記番組に関連する少なくとも１つの信号が監視される。その監視に基づいて、所定の第１事象(event)が生じたことが判定され、それに従って、前記動画キャラクタが制御される。
【００１３】
本発明の他の形態は、視聴者が番組を鑑賞する間にディスプレイに動画化された視聴コンパニオン(companion)を提供する方法に関連し、その番組は音声成分および同期映像成分を有する。この方法では、番組の映像成分がディスプレイに表示され、動画化されたキャラクタがディスプレイの一部に生成される。番組の音声成分に対応する信号に基づいて、第１の所定の音声事象が生じたこと、および第２の所定の音声事象が生じたことを判定する。動画化されたキャラクタはこれらの判定に基づいて制御される。
【００１４】
本発明の他の形態によれば、視聴者が番組推奨システムを使用する場合にディスプレイに動画キャラクタを提供する方法が提供される。本方法では、前記ディスプレイに動画キャラクタが生成され、ユーザから番組の選択が受信される。ユーザの選択は、事前になされた番組選択に基づく格納済みの特性と比較される。この比較に基づいて、前記動画キャラクタが制御される。
【００１５】
［好適実施例の詳細な説明］
図１は、テレビジョン・セットのブロック図である。これは、受信機１４のような信号源を含み、アンテナ１６またはケーブル（図示せず）からの放送信号を受信する。信号源は音声及び映像出力を生成する。当然ながら、図示された受信機１４を、他の信号源（例えば、ＶＣＲ，ＤＶＤプレーヤ，ビデオ・カメラ等）に置換することも可能である。
【００１６】
信号源（例えば、受信機１４）からの音声及び映像出力は、仮想生物生成器（ＶＣＧ）１０に印加される。ＶＣＧ１０はユーザからユーザ・インターフェース入力も受信する。受信した音声および映像出力に基づいて、ＶＣＧ１０は、モニタ１２に印加する音声および映像出力を生成する。モニタ１２は、ＶＣＧ１０から受信した映像信号に基づく表示を作成し、ＶＣＧから受信した音声信号に基づいて音声出力を作成する。例えば、ＬＣＤ，ＣＲＴ，ＬＥＤ技術のような、任意の適切なモニタ技術を利用することが可能である。
【００１７】
図１の実施例は、受信機１４，ＶＣＧ１０およびモニタ１２を個別の装置として示しているが、当業者は、他の形態にあってはこれらの装置が共に一体化され得ることを認めるであろう。さらに、受信機１４，ＶＣＧ１０およびモニタ１２の間の相互接続は、様々な信号形式を利用して行い得ることも認められるであろう。例えば、ＶＣＧ１０から音声および映像信号をモニタ１２に送信する代わりに、音声および映像成分が、モニタ１２におけるＲＦ入力（図示せず）に印加される単独のＲＦ信号に結合されることも可能である。以下に説明するプログラム推奨システム１８は、選択的に、データをＶＣＧ１０に提供し、ＶＣＧ１０により作成された動画化されたマルチメディア生物による推薦を可能にする。
【００１８】
図２は、モニタ１２に現れるサンプル表示を示す。この例では、ディスプレイは、ユーザの鑑賞する場組が表示される第１領域２２を有する。好ましくは、番組が第１領域２２に表示される場合に、その番組は、従来のテレビジョン・スクリーンにおけるものと同様に見える。仮想生物２４は、第１領域２２内に含まれるウインドウ２６に表示される。仮想生物２４は、モニタ１２に供給される音声および映像信号を制御することによって、ＶＣＧ１０（図１に示される）により生成される。
【００１９】
ウインドウ２６に対する仮想生物２４の選択的な閉じこめは、適切な画像の作成を簡易化する。なぜなら、仮想生物２４以外のウインドウ２６の部分は、任意の所望の背景で満たされ得るからである。他の実施例では、ウインドウ２６が省略され、介在する背景なしに、仮想生物２４がユーザの鑑賞する番組上に直接的に生成される；言い換えれば、フル・スクリーン・モードである。
【００２０】
選択的に、仮想生物２４は、人間を含む任意の動画物または生物の描写であり得る。さらに、仮想生物２４は、トースター(toaster)のような通常は動く対象でないものの描写であり得る。そのような通常は動く対象でないものは、それらに目や口を与えることによって、又は受信機１４の映像ストリーム中に突発的な事象が示された場合に飛び出す食パンのように、それらの固有の機能に伝達的役割を与えることによって、動画化することが可能である。
【００２１】
図３は、図１のＶＣＧ１０を実現化する好適実施例のブロック図である。ＶＣＧ１０は、仮想生物２４を形成するために使用される音声および映像データを生成する動画生成器３３を有する。動画生成器の実現化に関する詳細は、当業者に周知の様々な技術に従ってなされ得る。動画生成器３３により生成される音声および映像出力は、仮想生物２４を様々な動画の状態で登場させる。選択的に、動画生成器３３は音声出力を生成し、音響効果および会話を行うために使用される。動画生成器３３は、ユーザと仮想生物２４との間の対話を模擬するための対話模擬プロセスを提供する養鶏生成される。
【００２２】
動画生成器３３の映像及び音声出力は、映像及び音声重畳器３４に印加される。映像及び音声重畳器３４は、ユーザの鑑賞する番組に対応する映像入力信号も受信する。第１領域２２（図２に示される）に対応するフレームの部分については、映像及び音声重畳器３４は、映像入力信号を、映像及び音声重畳器３４の出力に通過させるに過ぎない。しかしながら、映像及び音声重畳器３４は、現在のフレームの部分が（図２に示される）ウインドウ２６に対応し、映像及び音声重畳器３４が動画生成器３３により生成された映像信号を選択することを認識する。これにより、仮想生物２４は第１領域２２上に重畳して登場する。
【００２３】
他の実施例では、映像及び音声重畳器３４は、従来の画像内画像(picture-in-picture)技術を利用して実現され得る。この場合、仮想生物２４は、当業者に周知の様々な手法を利用して、第１領域２２内のどこかのウインドウ２６内に登場する。あるいは、仮想生物２４は、フル・スクリーン・モード（図示せず）でも提示され得る。
【００２４】
仮想生物２４に対する選択的な音響効果が実現される場合は、映像及び音声重畳器３４は、鑑賞される番組に対応する音声入力信号と、動画生成器３３からの音声信号を結合する（これは例えば、ソース音声と動画音声を共に混合することにより行われる。）。その結果の結合された音声信号は、従来の音声増幅器及びスピーカ・システムを利用して、可聴音声に変換される。
【００２５】
静的状態では、動画生成器３３は、一時的な動き(shuffle)または他のゆっくりとした動きのような邪魔にならない動画で、ディスプレイ上に仮想生物２４を描くことが好ましい。所定の事象に応答して、動画生成器３３は、その事象にふさわしい形式で仮想生物２４を動かす。好ましくは、その事象は、信号源から到着する音声入力及び／又は映像入力に基づいて検出される。
【００２６】
通常は、視聴コンパニオンとして動作する場合に、仮想生物２４は、その背中と共に第１領域２２内の画像がユーザに向かい合うように形成される。仮想生物２４が事象に応答するための手法の１つは、突然ユーザの方を振り返る容姿を提供し、および／または会話能力が与えられるならば模擬的な発声を提供することである。
【００２７】
映像認識ブロック３１を利用して、（図２に示される）第１領域２２に表示される番組に対応する映像入力信号に基づいて、事象を検出する。好ましくは、映像認識ブロック３１は、映像信号を監視し、映像信号の特徴が所定の基準に合致することを判定する。映像認識ブロック３１は、任意の形式の映像信号（例えば、複合アナログ映像信号、またはディジタル映像信号中の単独の色成分）で動作し得る。所定の事象に対応する信号の特徴を検出することは、適切なアナログ回路またはディジタル信号処理回路を利用して実現可能である。ベイズ(Bayesian)又はニューラル・ネットワーク技術のような機械的分類技術を利用することも可能である。
【００２８】
映像信号の特徴が確認されると、映像認識ブロック３１は適切な出力を動画生成器３３に提供する。例えば、映像認識ブロック３１は、場面が、非常に暗い場面から非常に明るい場面に変化したことを検出し（例えば、輝度信号の大きな一次微分係数を検出することによって）、それに応答してＤＡＲＫ＿ＴＯ＿ＬＩＧＨＴ信号を動画生成器３３に提供するようプログラムされることが可能である。より複雑なディジタル技術を利用して、文章や映像中の顔を認識することも可能である。認識された特徴を含む信号の受領に応答して、動画生成器３３は適切な動画を生成する。例えば、ＤＡＲＫ＿ＴＯ＿ＬＩＧＨＴ信号が生成されたならば、仮想生物２４が動きだし、サングラスをかける容姿を与えることが可能である。他の例では、映像認識ブロック３１は、その場面に大量の水が出現することを検出し、動画生成器３３が仮想生物２４をボートに乗せるようプログラムされることが可能である。映像認識ブロック３１から動画生成器３３への信号伝送に対しては様々なフォーマットが利用可能であり、各信号に専用のラインを有線接続すること、バスを通じてディジタル・データとして信号を動画生成器３３に伝送することを含む。長期間の間何らの特徴も認識されなかったような場合に、デフォルト(default)事象を周期的に発生させ、仮想生物２４が退屈している又は眠ろうとしている印象を与えるように動かすことが可能である。ユーザからの入力により、ユーザが部屋を去る合図(signal)を提供し（例えば、入力の１つが隣接する検出器、映像分類器等からのものである場合）、ユーザが出て行くのを眺める又は戻ってきたときにユーザを歓迎する印象を仮想生物２４に与えるような動きを提供するために使用することが可能である。
【００２９】
他の実施例では、モニタ１２の第１領域２２に表示される実際の映像情報を分析することによって動作を行う代わりに、映像認識ブロック３１が映像入力信号に含まれる非映像情報(non-video information)で動作することも可能である。例えば、映像入力信号の垂直帰線消去周期(vertical blanking period)内に、動画制御情報を挿入することも可能である。この情報は、選択的に、第１領域２２で画像を何ら変化させない種類のものであり得るが、抽出されることが可能であって仮想生物２４の動作を制御するために使用される。
【００３０】
音声認識ブロック３２は、ユーザの鑑賞するプログラムに対応する音声信号内の特徴を検出するために設けられる。音声認識ブロック３２は、音声入力信号を監視し、音声信号により表現される所定の音声の特徴を検出する。所定の事象に対応する信号の特徴を検出することは、適切なアナログ回路またはディジタル信号処理手法を利用して実現される。音声認識ブロック３２は、所定の任意の事象が生じたことを示す信号を生成する。所定の事象の認識を示す信号に応答して、動画生成器３３は対応する形式で仮想生物２４を動かす。例えば、音声認識ブロック３２が突然大きなノイズを検出した場合に、音声認識ブロック３２はＳＵＤＤＥＮ＿ＮＯＩＳＥ信号を動画生成器３３に送信することが可能である。この信号に応答して、動画生成器３３は、（例えば、後方にジャンプすることにより）仮想生物２４が驚いた様子の印象を与えるような適切な動きを生成し得る。あるいは、音声認識ブロック３２が人間の悲鳴を検出した場合に、ＳＣＲＥＡＭ信号を動画生成器３３に送信することが可能である。これに応答して、動画生成器３３は、恐怖におののく印象を与えるよう仮想生物２４を動かすような適切な動きを生成し得る。音声認識ブロック３２から動画生成器３３への信号送信には、任意の適切なフォーマットを利用することが可能であり、各信号に専用のラインのワイヤ接続をすること、またはバスを通じてディジタル・データとして信号を動画生成器３３に伝送することを含む。
【００３１】
他の実施例では、映像認識ブロック３１および音声認識ブロック３２の両者を利用する代わりに、何れか一方のブロックを省略し、残ったブロックを利用して信号源からの適切な事象を認識することも可能である。
【００３２】
好ましくは、ユーザはユーザ・インターフェース３５を通じて仮想生物２４と相互作用をする。適切なユーザ・インターフェースの例には、マイクロフォン、ビデオ・カメラ、および光検出器が含まれる。例えば、ユーザはマイクロフォンを通じて喋ることにより、ビデオ・カメラの近辺の動きにより、またはボタンを押すことによって、動画生成器３３に関わることが可能である。この目的に対して、従来技術のフィンフィンのように、専用のハードウエアを設けることも可能である。おしゃべり(chatterbox)インターフェースを利用して、対話応答を行うことも可能である。あるいは、仮想生物２４は、ユーザとジェスチャー(gesture)を含むゲームを楽しむことが可能であり、そのジェスチャーはユーザ・インターフェース３５のビデオ・カメラ（図示せず）によって認識される。あるいは、赤外線受信機にコードを送信する赤外線送信機（別々には図示せず）を利用することも可能である。この手法は、本発明がテレビジョン番組を表示するのに使用されるモニタと共に単独のキャビネットに組み込まれるような場合に特に適している。好適実施例では、仮想生物２４は、（例えば、フィンフィンやたまごっちで行われるシステムのような）「人為的な寿命(artificial life)」の技術を利用して実現され、仮想生物２４がユーザとの相互作用に基づいて適合化し得るようにする。選択的に、ユーザ・インターフェース３５を通じて受信される入力は、音声および映像認識ブロック３２，３１により処理され、映像および音声信号における事象に応答するために使用されるものと同一のアルゴリズムを使用して、仮想生物２４を動かす。
【００３３】
図２および図１を参照するに、仮想生物２４は、ユーザの行うことが何であるかに依存して、複数の異なるモードで動作するよう実現化される。第１のモードでは、ユーザがテレビジョンを鑑賞する場合に、仮想生物２４が第１領域２２に包含されるウインドウ２６内で（又は第１領域２２上に直接的に）視聴コンパニオンとして動作する。第２動作モードでは、仮想生物２４は、プログラム推奨システム１８に関連したユーザ・インターフェース支援として動作する。第３モードでは、ユーザは、彼／彼女がテレビジョンを鑑賞していない場合であっても、仮想生物２４と相互作用を行う。（従来のフィンフィンおよびたまごっち装置との相互作用に類似する。）この第３モードでは、ユーザには、２６内に仮想生物２４を置くこと、またはモニタ１２のスクリーン全体にわたるフル・スクリーン・モードで仮想生物２４を表示することの選択肢が用意される。
【００３４】
図３を参照するに、動作モードは、ユーザ・インターフェース３５を通じてユーザから受信した命令を監視することによって、モード・セレクタ３６により可干渉的に(interferentially)判定されることが好ましい。他の実施例では、動作モードは、ユーザ・インターフェース３５により明確な命令を提供することによって、ユーザにより手動で選択される。モード選択に加えて、ユーザ・インターフェース３５を利用して、様々なユーザ・オプションを設定し、各ユーザの仮想生物２４の経験をカスタマイズする。例えば、ユーザには、仮想生物２４として提供する様々な動物又は生物の選択肢が用意される（例えば、鳥、犬または猫）。ユーザには、検出された事象に応答して発生する動画シーケンスの持続時間に加えて、ディスプレイ上の生物の大きさおよび位置を設定する機能も用意される。選択的に、ユーザ・インターフェース・メニューは、ユーザの制御可能な選択肢を設定するために、（図２に示される）モニタ１２に表示され得る。
【００３５】
図４は、視聴コンパニオンモード（すなわち、ユーザがテレビジョンを鑑賞する場合）の制御に使用するのに適切なプロセスを表現する状態フロー図の例である。このモードでは、仮想生物２４は当初はデフォルト状態Ｓ１にあり、動画生成器３３により、仮想生物２４に関するデフォルトの動作が行われる。デフォルト状態Ｓ１の仮想生物２４の動作レベルは、比較的低いことが好ましい。この状態に関する適切な動作の例は、じっとし続ける又は数秒ごとに僅かに動く(shuffling)ことを含む。好適実施例では、仮想生物２４がデフォルト状態Ｓ１で表示される場合に、仮想生物２４の背中がテレビジョン視聴者に見えており、仮想生物２４が視聴者と同じ番組を鑑賞している様子を作成する。
【００３６】
事象の合図があると、仮想生物２４の状態は、複数の様々な状態の１つに切り替わる。その事象は、（図３に関連して説明したように）画像認識ブロック３１，音声認識ブロック３２および／またはユーザ・インターフェース３５により検出される。図示した例では、楽しい事象（例えば、輝かしい明るい場面）を検出すると状態Ｓ２に切り替わり、楽しい動作（例えば、微笑み）が動画生成器３３により作成され；怖い事象（例えば、人間の悲鳴）が検出されると状態Ｓ３に切り替わり、怖がる動作（例えば、おびえる）が動画生成器３３により作成され；および愉快な事象（例えば、笑い声）が検出されると状態Ｓ４に切り替わり、笑う動作が動画生成器３３により作成される。当然ながら、システムは、これら３つの事象に加えて又はこれに代えて、他の事象を認識および反応するようプログラムされ得る。
【００３７】
検出された事象が終了すると（または、所定の期間が経過すると）、仮想生物２４はデフォルト状態Ｓ１（テレビ鑑賞）に復帰する。デフォルト状態Ｓ１において仮想生物２４が視聴者に背中を向けて座っている実施例の場合は、仮想生物２４が振り返って視聴者に向かい合う容姿を与えるように、代替的状態Ｓ２−Ｓ４の各々における動作がプログラムされることが好ましい。
【００３８】
推奨システムは、視聴者が鑑賞するのを好むものを示す情報を取得および追跡する（実際の視聴パターンを観察することによりリアル・タイムで、又は適切な番組案内を利用したバッチ(batch)モードで行う。）。ユーザの視聴の好みが判定されると、新たな番組選択が、番組選択の格納された履歴と比較される。選択された番組が、事前に選択された番組と際立って異なる場合（例えば、以前の総ての選択がスポーツの事象であって、ユーザがオペラを鑑賞または記録することを選択した場合）は、ユーザはシステムから否定的な反応（例えば、しかめっ面をした動画又は驚きの表現）が提供される。また、同じユーザが非常に人気のあるスポーツ項目を選択したならば、ユーザには肯定的な反応（例えば、親指を上げた動き）が提供される。
【００３９】
図５は、番組推奨モードで使用するのに適切な状態フロー図の例である（すなわち、ユーザが番組推奨システム１８と相互作用する場合である。）。このモードでは、仮想生物２４が通常はデフォルト状態Ｓ６にあり、仮想生物２４に対するデフォルト推奨動画が、動画生成器３３により作成される。新たな選択がなされると、システムは、新たな選択と過去の選択の履歴とを比較する。動画生成器３３は、新たな選択に反応するよう仮想生物２４を動かす。
【００４０】
図示する例では、新たな選択が概ね選択履歴に合致する場合に、状態Ｓ７への遷移が生じ、動画生成器３３により楽しい動き（例えば、微笑み）が生成され；新たな選択が選択履歴と異なる場合は、状態Ｓ８への遷移が生じ、動画生成器３３により驚きの動き（例えば、めまいがする動き）が生成され；新たな選択が選択履歴に非常に一致している場合は、状態Ｓ９への遷移が生じ、動画生成器３３により極めて楽しい動き（例えば、跳び上がって喜ぶ）が生成される。
【００４１】
上述したプロセスは、適切なデータ格納媒体（例えば、半導体メモリ又は磁気ディスク若しくはテープ）に格納されたプログラムを利用して、適切にプログラムされたマイクロプロセッサおよび／またはディジタル信号プロセッサにより選択的に実行される。
【００４２】
上述した実施例が携帯用ＴＶに組み込まれている場合は（個別の実施例として示されていない）、仮想生物２４を提示する携帯ＴＶを視聴コンパニオンとして使用し、その携帯ＴＶが視聴者と共に従来の他のＴＶを鑑賞するような幻想的状況を提供することができる。同一の映像信号が、両者のＴＶおよび用意されたある機構に同時に与えられ、携帯ＴＶは、視聴コンパニオンとしての役割を果たし、同時に放送内容および仮想生物２４のディスプレイとしては働かないことを意味する。
【００４３】
本発明は、上述した好適実施例により説明されてきたが、当業者に明らかなように、本発明の精神又は範囲から逸脱することなしに、これら実施例に様々な変更がなされ、様々な均等物が置換されることは理解されるであろう。
【特許請求の範囲】
【請求項１】
視聴者が番組を鑑賞する場合に、ディスプレイに動画視聴コンパニオンを設ける方法であって：
前記ディスプレイに映像番組を表示するステップ；
前記ディスプレイの一部に動画キャラクタを生成するステップ；
鑑賞される前記番組に関連する少なくとも１つの信号を監視するステップ；
前記監視するステップで行われる監視に基づいて、所定の第１事象が生じたことを判定するステップ；および
前記判定するステップでなされた判定に基づいて、前記動画キャラクタを制御するステップ；
より成ることを特徴とする方法。
【請求項２】
請求項１記載の方法において、更に：
前記監視するステップで行われる監視に基づいて、所定の第２事象が生じたことを判定するステップより成り、
前記制御するステップにおける前記動画キャラクタの制御が、前記所定の第２事象が生じたことの判定にも基づいていることを特徴とする方法。
【請求項３】
請求項１記載の方法において、前記表示するステップにおける前記映像番組が、前記ディスプレイの所定の第１領域に表示され、前記生成するステップにおける前記動画キャラクタが、前記ディスプレイの所定の第２領域に生成されることを特徴とする方法。
【請求項４】
請求項１記載の方法において、前記監視するステップで監視される少なくとも１つの信号が、音声信号および／または映像信号より成ることを特徴とする方法。
【請求項５】
請求項１記載の方法において、更に：
ユーザから少なくとも１つの入力を受信するステップ；および
前記受信するステップで受信した前記入力に基づいて、前記動画キャラクタを制御するステップ
より成ることを特徴とする方法。
【請求項６】
請求項１記載の方法において、前記動画キャラクタの挙動が、前記ユーザから受信した入力の累積的な履歴に依存することを特徴とする方法。
【請求項７】
請求項１記載の方法において、生成するステップで生成される前記動画キャラクタの背中が前記視聴者に向かい合っており、および
前記制御するステップが、顔が前記視聴者に向くように前記動画キャラクタを調整するステップより成ることを特徴とする方法。
【請求項８】
請求項４記載の方法において、前記所定の第１事象が突発的な大きな声を表し、および
前記所定の第１事象が生じたことの判定に基づいて、前記制御するステップにおいて、前記動画キャラクタが驚いた動作をするように制御されることを特徴とする方法。
【請求項９】
請求項１記載の方法において、前記所定の第１事象が笑い声を表し、および
前記所定の第１事象が生じたことの判定に基づいて、前記制御するステップにおいて、前記動画キャラクタが笑うように制御されることを特徴とする方法。
【請求項１０】
視聴者が番組推奨システムを使用する場合にディスプレイに動画キャラクタを提供する方法であって：
前記ディスプレイに動画キャラクタを生成するステップ；
ユーザから番組の選択を受信するステップ；
前記受信するステップで受信した選択を格納済みの特性と比較するステップであって、前記格納済みの特性が以前になされた番組の選択に基づくところのステップ；および
前記比較するステップでなされた比較に基づいて、前記動画キャラクタを制御するステップ；
より成ることを特徴とする方法。
【請求項１１】
請求項１０記載の方法において、前記比較するステップが、前記受信するステップにおいて受信した選択が前記格納済みの特性に合致するか否かを判定するステップより成り；および
前記制御するステップにおける前記動画キャラクタが、前記判定するステップにおいて前記選択が前記格納済みの特性に合致する場合に、認可する応答を行うよう制御されることを特徴とする方法。
【請求項１２】
請求項１１記載の方法において、前記判定するステップにおいて前記格納済みの特性と前記選択との合致する程度が判定され；および
前記制御するステップにおける前記動画キャラクタが、前記格納済みの特性と前記選択との合致する程度に依存して、様々な認可の度合いを示す複数の認可応答の１つを行うように制御されることを特徴とする方法。
【請求項１３】
請求項１１記載の方法において、前記比較するステップが、前記受信するステップで受信した選択が前記格納済みの特性に合致するか否かを判定するステップより成り；および
前記制御するステップにおける前記動画キャラクタが、前記判定するステップにおいて前記選択が前記格納済みの特性に合致しない場合に、認可しない応答を行うよう制御されることを特徴とする方法。
【請求項１】
視聴者が番組を鑑賞する場合に、ディスプレイに動画視聴コンパニオンを設ける方法であって：
前記ディスプレイに映像番組を表示するステップ；
前記ディスプレイの一部に動画キャラクタを生成するステップ；
鑑賞される前記番組に関連する少なくとも１つの信号を監視するステップ；
前記監視するステップで行われる監視に基づいて、所定の第１事象が生じたことを判定するステップ；および
前記判定するステップでなされた判定に基づいて、前記動画キャラクタを制御するステップ；
より成ることを特徴とする方法。
【請求項２】
請求項１記載の方法において、更に：
前記監視するステップで行われる監視に基づいて、所定の第２事象が生じたことを判定するステップより成り、
前記制御するステップにおける前記動画キャラクタの制御が、前記所定の第２事象が生じたことの判定にも基づいていることを特徴とする方法。
【請求項３】
請求項１記載の方法において、前記表示するステップにおける前記映像番組が、前記ディスプレイの所定の第１領域に表示され、前記生成するステップにおける前記動画キャラクタが、前記ディスプレイの所定の第２領域に生成されることを特徴とする方法。
【請求項４】
請求項１記載の方法において、前記監視するステップで監視される少なくとも１つの信号が、音声信号および／または映像信号より成ることを特徴とする方法。
【請求項５】
請求項１記載の方法において、更に：
ユーザから少なくとも１つの入力を受信するステップ；および
前記受信するステップで受信した前記入力に基づいて、前記動画キャラクタを制御するステップ
より成ることを特徴とする方法。
【請求項６】
請求項１記載の方法において、前記動画キャラクタの挙動が、前記ユーザから受信した入力の累積的な履歴に依存することを特徴とする方法。
【請求項７】
請求項１記載の方法において、生成するステップで生成される前記動画キャラクタの背中が前記視聴者に向かい合っており、および
前記制御するステップが、顔が前記視聴者に向くように前記動画キャラクタを調整するステップより成ることを特徴とする方法。
【請求項８】
請求項４記載の方法において、前記所定の第１事象が突発的な大きな声を表し、および
前記所定の第１事象が生じたことの判定に基づいて、前記制御するステップにおいて、前記動画キャラクタが驚いた動作をするように制御されることを特徴とする方法。
【請求項９】
請求項１記載の方法において、前記所定の第１事象が笑い声を表し、および
前記所定の第１事象が生じたことの判定に基づいて、前記制御するステップにおいて、前記動画キャラクタが笑うように制御されることを特徴とする方法。
【請求項１０】
視聴者が番組推奨システムを使用する場合にディスプレイに動画キャラクタを提供する方法であって：
前記ディスプレイに動画キャラクタを生成するステップ；
ユーザから番組の選択を受信するステップ；
前記受信するステップで受信した選択を格納済みの特性と比較するステップであって、前記格納済みの特性が以前になされた番組の選択に基づくところのステップ；および
前記比較するステップでなされた比較に基づいて、前記動画キャラクタを制御するステップ；
より成ることを特徴とする方法。
【請求項１１】
請求項１０記載の方法において、前記比較するステップが、前記受信するステップにおいて受信した選択が前記格納済みの特性に合致するか否かを判定するステップより成り；および
前記制御するステップにおける前記動画キャラクタが、前記判定するステップにおいて前記選択が前記格納済みの特性に合致する場合に、認可する応答を行うよう制御されることを特徴とする方法。
【請求項１２】
請求項１１記載の方法において、前記判定するステップにおいて前記格納済みの特性と前記選択との合致する程度が判定され；および
前記制御するステップにおける前記動画キャラクタが、前記格納済みの特性と前記選択との合致する程度に依存して、様々な認可の度合いを示す複数の認可応答の１つを行うように制御されることを特徴とする方法。
【請求項１３】
請求項１１記載の方法において、前記比較するステップが、前記受信するステップで受信した選択が前記格納済みの特性に合致するか否かを判定するステップより成り；および
前記制御するステップにおける前記動画キャラクタが、前記判定するステップにおいて前記選択が前記格納済みの特性に合致しない場合に、認可しない応答を行うよう制御されることを特徴とする方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−８６０５９（Ｐ２０１２−８６０５９Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１２−１５５０９（Ｐ２０１２−１５５０９）
【出願日】平成２４年１月２７日（２０１２．１．２７）
【分割の表示】特願２００２−５３５３８１（Ｐ２００２−５３５３８１）の分割
【原出願日】平成１３年９月２６日（２００１．９．２６）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２４年１月２７日（２０１２．１．２７）
【分割の表示】特願２００２−５３５３８１（Ｐ２００２−５３５３８１）の分割
【原出願日】平成１３年９月２６日（２００１．９．２６）
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]