第１のメディアアイテム及び第２のメディアアイテムの同時再生を可能とする方法及び装置
第１及び第２のメディアアイテムは、抽出されたメディアアイテムに基づいて同期される（ステップ２１０）。複数の第２のメディアアイテムは、第１のメディアアイテムの再生の間、抽出されたデータアイテムの出現と同時に再生されるように、検索され（ステップ２０６）、返され、及び、選択される（ステップ２０８）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、第１のメディアアイテム及び第２のメディアアイテムの同時再生を可能とする方法及び装置に関する。
【背景技術】
【０００２】
メディアアイテムは、視聴者の利益のために再生され、ビジュアルとオーディオとの双方の刺激を提供することができる。オーディオトラック（例えば歌）のような幾つかのメディアアイテムは、オーディオ的刺激だけを提供し、時々、視聴者に対する楽しみを増大させるために、ビジュアル的刺激もオーディオも提供することが望ましい。
【０００３】
曲又は歌の再生を聴きながら再生されるべき画像、静止又はビデオのクリップを提供するために、多くのシステムが存在する。画像は、曲が再生される際に表示される。必ず、歌の主題に関連されるべき画像、例えば、歌詞又はメタデータに関連付けられた画像が選択される。
【０００４】
"Google-based information extraction", G. Geleijnse, J. Korst, and V. Pronk, Proceeding of the 6th Dutch-Belgian Information Retrieval Workshop (DIR 2006), Delft, the Netherlands, March 2006では、検索エンジンを用いて情報を自動的に抽出する方法が示されている。これは、有名人の自動的に抽出された経歴で実施される。各入力で表示された画像は、ウェブから自動的に抽出される。この手法において、画像は、テキストにより意味的に関連付けられる。
【０００５】
また、"A personalized music video creator", D. A. Shamma, B. Pardo, and K. J. Hammond. Musictory, MULTIMEDIA '05: Proceeding of the13th annual ACM international conference on Multimedia, pages 563-566, New York, NY, USA, 2005. ACM Pressで見られる例のような、他の既知のシステムは、歌の歌詞から画像を自動的に検索して表示する。歌詞中の各単語は、（"the","a","an"のような）非常に一般的な単語を除いて、順序リストに入れられる。リスト中の全ての単語は、Google又はYahoo!のような検索エンジンに問い合わせとして送信される。このサービスにより返された画像は、対応する表現と同一の順序で表示される。
【０００６】
しかしながら、後者のシステムでの問題は、期待される程度にまでは視聴者の楽しみを増大させないことである。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、メディアアイテムを再生するユーザの楽しみを増大させる、第１のメディアアイテム及び第２のメディアアイテムの同時再生を可能にする方法及び装置を提供しようとするものである。
【課題を解決するための手段】
【０００８】
これは、本発明の一態様によれば、第１のメディアアイテム及び第２のメディアアイテムを同期させる方法であって、第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップと、抽出された少なくとも１つのデータアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択するステップと、選択された少なくとも１つの第２のメディアアイテムが、第１のメディアアイテムの再生の間、抽出された少なくとも１つのデータアイテムの出現と同時に再生されるように、第１のメディアアイテムと、選択された少なくとも１つの第２のメディアアイテムとを同期させるステップとを有する、方法により実現される。前記第１のメディアアイテムに関連する前記データは、第１のメディアアイテムの部分であってもよく、又は、第１のメディアアイテムと別個に格納されてもよい。
【０００９】
また、これは、本発明の第２の態様によれば、第１のメディアアイテム及び第２のメディアアイテムを同期させる装置であって、第１のメディアアイテムに関連するデータからデータアイテムを抽出する抽出部と、抽出された前記データアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択する選択部と、選択された少なくとも１つの第２のメディアアイテムが、第１のメディアアイテムの再生の間、抽出されたデータアイテムの出現と同時に再生されるように、第１のメディアアイテムと、選択された少なくとも１つの第２のメディアアイテムとを同期させる同期部とを有する装置により実現される。
【００１０】
この態様において、第１のメディアアイテムは、第２のメディアアイテムと同期される。例えば、第１のメディアアイテムが歌であり、第２のメディアアイテムが静止又はビデオ画像である場合には、歌及び画像は、歌詞が歌われた時に対応する画像が再生されるように同期される。
【００１１】
本発明の一実施形態において、第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップは、第１のメディアアイテムに関連するテキストデータから少なくとも１つのデータアイテムを抽出するステップを有する。
【００１２】
本発明の斯様な実施形態によれば、テキストデータは、複数の単語及び語句を含み、第１のメディアアイテムに関連するテキストデータから少なくとも１つのデータアイテムを抽出するステップは、複数の単語及び語句からの少なくとも１つの単語又は語句を抽出するステップを有する。
【００１３】
本発明の斯様な実施形態による好ましい方法において、テキストデータは、固有名詞、名詞又は動詞のうち少なくとも１つを有する。
【００１４】
本発明の斯様な実施形態によれば、複数の単語及び語句から少なくとも１つの単語又は語句を抽出するステップは、複数の単語のそれぞれの役割を識別するステップと、複数の単語の識別された役割に基づいて、複数の単語から語句を抽出するステップとを有する。この態様において、全体の語句が抽出され得る。換言すれば、"Rows of Houses"又は"High Tech Campus"のような複数の表現が認識され、これは、より関連する画像を抽出することをもたらす。
【００１５】
本発明の代替実施形態において、第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップは、第１のメディアアイテムに関連するデータの各データアイテムの出現頻度を判定するステップと、第１のメディアアイテムに関連するデータのうち少ない頻度で使用されたデータを抽出するステップとを有する。この態様において、より関連するデータアイテムが抽出される。例えば、データアイテムが複数の単語から成る場合には、"the"，"it"，"he"，"a"のような最も高頻度で使用された単語は抽出されず、より関連する単語だけが抽出され、より関連した画像をもたらす。
【００１６】
本発明の他の実施形態において、第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテム抽出するステップは、第１のメディアアイテムのデータの一部から複数のデータアイテムを抽出するステップを有し、抽出された少なくとも１つのデータアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択するステップは、複数の抽出されたデータアイテムのそれぞれに基づいて、複数の第２のメディアアイテムを検索するステップと、複数の抽出されたデータアイテムのそれぞれに対して、最も関連する検索された第２のメディアアイテムを選択するステップとを有する。
【００１７】
本発明の斯様な実施形態による好ましい方法において、第１のメディアアイテムのデータの一部から複数のデータアイテムを抽出するステップは、名前、名詞、動詞又は長さの基準のうちの１つに基づいて、複数のデータアイテムに優先順位をつけるステップを有する。この態様において、より重要なデータアイテムが抽出され得る。
【００１８】
本発明の他の実施形態において、抽出された少なくとも１つのデータアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択するステップは、第１のメディアアイテムを少なくとも１つの区分に分割するステップと、少なくとも１つの区分に関連するデータから抽出された少なくとも１つのデータアイテムに基づいて、複数の第２のメディアアイテムを選択するステップと、複数の第２のメディアアイテムのそれぞれの再生時間を判定するステップと、前記少なくとも１つの区分の時間を判定するステップと、区分内において再生されるべき前記複数の第２のメディアアイテムの数を選択するステップとを有する。この態様において、第２のメディアアイテムの最適数が各区分の範囲内において再生され得る。
【００１９】
本発明の他の実施形態において、当該方法は、選択された少なくとも１つの第２のメディアアイテムの支配的な色を識別するステップを更に有する。この態様において、第２のメディアアイテム及びそれ故に第１のメディアアイテムに対する最も関連する色が識別される。例えば、第１のメディアアイテムが歌であった場合には、歌の歌詞又は主題に最も関連する色が識別されるだろう。
【００２０】
本発明の斯様な実施形態によれば、第１のメディアアイテムと、選択された少なくとも１つの第２のメディアアイテムとを同期させるステップは、識別された支配的な色が、第１のメディアアイテムの再生中に、抽出された少なくとも１つのデータアイテムの出現と同時に表示されるように、第１のメディアアイテムと、識別された支配的な色とを同期させるステップを有する。この態様において、最も関連する色は、対応するデータアイテムが再生されるのと同じタイムスタンプで表示される。
【００２１】
本発明の他の実施形態において、当該方法は、抽出された少なくとも１つのデータアイテムに対する色のマッピングを手動で規定するステップを有する。
【００２２】
本発明の斯様な実施形態によれば、第１のメディアアイテムと、選択された少なくとも１つの第２のメディアアイテムとを同期させるステップは、色の規定されたマッピングが、第１のメディアアイテムの再生の間、抽出された少なくとも１つのデータアイテムの出現と同時に表示されるように、第１のメディアアイテムと、色の規定されたマッピングとを同期させるステップを有する。
【００２３】
第１のメディアアイテムが再生される際には、ユーザを視覚的により楽しませるために、色が変化し、異なる色の間のこれらの遷移が好ましくは滑らかである。
【００２４】
本発明の一実施形態によれば、第１のメディアアイテム及び第２のメディアアイテムは、オーディオデータストリーム、ビデオデータストリーム、画像データ、又は、色データのうちの１つである。
【００２５】
本発明のより完全な理解のために、図面と併せて以下の説明が参照される。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態による装置の簡略図である。
【図２】本発明の一実施形態による第１のメディアアイテム及び第２のメディアアイテムの同時再生を可能にする方法のフローチャートである。
【図３】本発明の一実施形態による最も関連する第２のメディアアイテムを検索するプロセスのフローチャートである。
【図４】本発明の他の実施形態による第１のメディアアイテム及び色の再生を可能にする方法のフローチャートである。
【発明を実施するための形態】
【００２７】
図１によれば、本発明の一実施形態の装置１００は、第１のメディアアイテムの入力に関する入力端子１０１を有する。入力端子１０１は、抽出部１０２に接続される。抽出部１０２の出力は、格納手段１０８から第２のメディアアイテムを検索及び選択する選択部１０３に接続される。格納手段は、例えば、ローカルディスクドライブ、又は、リモートサーバ上のデータベースを有し得る。格納手段１０８は、専用のネットワーク又はインターネットを介してアクセスされ得る。選択部１０３の出力は、同期部１０５に接続される。同期部１０５も、入力端子１０１に接続される。同期部の出力は、装置１００の出力端子１０６に接続される。出力端子１０６は、レンダリングデバイス１０７に接続される。装置１００は、例えば、消費者向け電子デバイス、例えばテレビ又はＰＣであってもよい。格納手段１０８は、例えば、ハードディスク、光学ディスクユニット又は固体メモリであってもよい。入力端子１０１、抽出部１０２、選択部１０３及び同期部１０５は、ソフトウェア等で実装された機能であってもよい。
【００２８】
図１の装置１００の動作は、図２〜４を参照して示されるだろう。第１のメディアアイテムは、入力端子１０１に入力され（図２のステップ２０２）、それ故、抽出部１０２に入力される。第１のメディアアイテムは、例えば、オーディオデータストリーム、ビデオデータストリーム、画像データ、又は色データであってもよい。抽出部１０２は、第１のメディアアイテムから少なくとも１つのデータアイテムを抽出する（ステップ２０４）。
【００２９】
データアイテムは、第１のメディアアイテムに関連付けられたテキストデータ（即ち、複数の単語及び語句）、例えば、歌に関連付けられた歌詞から抽出され得る。抽出されたデータアイテムは、固有名詞、名詞又は動詞からなる単語又は語句を有するだろう。
【００３０】
固有名詞は、例えば、"George W. Bush"、"High Tech Campus"であり得る。固有名詞は、テキストのトピックを判定し、一又は複数の画像により表わされるのによく適している。これらの名付けられた実体（named-entity）は、既知の技術及びアプリケーションを用いて抽出され得る。斯様な技術及びアプリケーションの例は、"A Maximum Entropy Approach to Named Entity Recognition", A. Brothwick, PhD thesis, New York University, 1999、"Named entity recognition using an hmm-based chunk tagger", G. Zhou and J. Su, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), pages 473 - 480, Philadelphia, PA, 2002、及び、"A framework and graphical development environment for robust nlp tools and applications", H. Cunningham, D. Maynard, K. Bontcheva, and V. Tablan, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, PA, 2002で見られ得る。抽出技術及びアプリケーションは、提供された例に限定されないことが理解されるだろう。一連の大文字で書かれた単語を抽出するような、他のよく適した代替手段が採用されてもよい。
【００３１】
例えば"大きい黄色のタクシー"及び"小さな赤いコルベット艦"のような名詞句が抽出されてもよい。名詞句は、複数の単語のそれぞれの役割（例えば、動詞、名詞、形容詞）を最初に識別することにより複数の単語から抽出され得る。各単語のテキスト中の役割は、"A simple rule-based part-of-speech tagger", E. Brill, Proceedings of the third Conference on Applied Natural Language Processing (ANLP'92), pages 152-155, Trento, Italy, 1992 で示されるような、"品詞タグ付けシステム（Part-of-Speech Tagger）"を用いることにより識別され得る。そして、語句は、複数の単語の識別された役割に基づいて複数の単語から抽出され得る。代わりに、話し言葉（speech）の部分の正規表現（regular expression）が、テキストから名詞句を抽出するために定式化されてもよい。例えば、"Automatic recognition of multi-word terms: the c-value/nc-value method", K. Frantzi, S. Ananiado, and H. Mima, International Journal on Digital Libraries, 3:115-130, 2000に示されるように、副詞の後に正の数の形容詞が続き、その後に正の数の名詞が続くのは（Adv×Adj+ ×Noun+）、用語を示す通常の表現である。
【００３２】
動詞は、例えば、"スキーをする"、"運転する"、"創作する"であり得る。品詞タグ付けシステムが、文中の動詞を識別するために用いられ得る。"to like"、"to be"、"to have"のような連結詞は、一覧表（tabu-list）を用いて省略され得る。
【００３３】
本発明に従って、ステップ２０４において第１のメディアアイテムからデータアイテムを抽出するために用いられ得る多くの可能な方法が存在する。
【００３４】
一の斯様な方法は、データアイテムを抽出するために統計的手法を用いる。斯様な方法において、データアイテムは、第１のメディアアイテムの各データアイテムの出現頻度を判定することにより抽出される。例えば、第１のメディアアイテムがテキストを含み、データアイテムが単語であると仮定する。斯様な例において、トレーニングコーパス（training corpus；大きな代表的なテキスト（large representative text））が、テキスト中に出現する全ての単語列の頻度を収集するために用いられる。このアプローチは、１つの単語の表現（１グラム；1-grams）、２つの単語からなる表現（２グラム；2-grams）、及び概してＮグラム（N-grams；Nは典型的には多くても４である）のために用いられる。斯様なアプローチの一例は、"Foundations of Statistical Natural Language Processing", C. D. Manning and H. Schutze, The MIT Press, Cambridge, Massachusetts, 1999で見られ得る。斯様なアプローチにおいて、最も頻繁に出現するＮグラム（例えば"is"，"he"，"it"）は、表現として選択されるのに役立たないストップワードとして知られている。第１のメディアアイテムの各データアイテムの出現頻度が判定されると、その後、第１のメディアアイテムの少ない頻度で用いられたデータが抽出される。
【００３５】
本発明による第１のメディアアイテムからデータアイテムを抽出する他の方法において、下限及び上限の頻度閾値が割り当てられ、これらの閾値間の表現が抽出される（ステップ２０４）。上限の頻度閾値と下限の頻度閾値との間の表現は、画像を生成するために用いられるのによく適した語句である。
【００３６】
データアイテムを抽出するための他の技術（ステップ２０４）は、データアイテムを抽出し、名前、名詞、動詞又は長さの基準のうち１つに基づいて、これらの優先順位を決めることである。例えば、データアイテムが語句であった場合、これらは、長さに基づいて優先順位が決められ得、長い語句は、より重要だと考慮されるので、短い語句よりも優先されるだろう。
【００３７】
抽出されたデータアイテムは、抽出部１０２から出力され、選択部１０３に入力される。選択部１０３は、格納手段１０８にアクセスし、抽出されたデータアイテムに基づいて、少なくとも１つの第２のメディアアイテム、即ち、オーディオデータストリーム、ビデオデータストリーム、画像データ又は色データを検索する（ステップ２０６）。
【００３８】
最も関連する第２のメディアアイテムを検索するプロセス（図２のステップ２０６）の一例は、図３を参照してより詳細に説明されるだろう。明確な説明の目的のために、抽出されたデータアイテムは語句であり、検索されるべき第２のメディアアイテムが画像であることが仮定される。この例において、第２のメディアアイテムは、画像のパブリックインデックスリポジトリ（public indexed repository；例えば"Google Images"）から検索される。換言すれば、格納手段１０８は、インターネットを介してアクセスされる。パブリックインデックスリポジトリが単に一例として用いられることが理解されるべきである。インデックス画像の個人コレクションのようなローカルリポジトリが用いられてもよい。
【００３９】
最初に、語句ｐのそれぞれに関して、"ｐ"に関するリポジトリがインターネットを介して問い合わせされる（ステップ３０２）。引用符は、完全な語句を捜すためにインデックスリポジトリに情報を与える。その後、これは、サーチエンジンが満足する数の結果を返した場合に判定される（ステップ３０４）。サーチエンジンが満足する数の結果を返したことが判定された場合には、その後、見つけられた画像が抽出及び提示される（ステップ３０６）。
【００４０】
しかしながら、問い合わせが満足する数の結果をもたらさない場合には、結果の数が判定される（ステップ３１０）。
【００４１】
少なすぎる結果である（即ち、満足する結果ではない）と判定される場合には、その後、問い合わせが拡張される（ステップ３１２）。問い合わせは、例えば、（語句中の単語が個別に検索されるように）引用符を削除してｐに対して問い合わせることにより、又は、ｐ中の最初の単語を削除することにより、拡張され得る。ｐ中の最初の単語は、あまり関連しない表現であると想定される。問い合わせが拡張されると、問い合わせが繰り返される（ステップ３０２）。
【００４２】
一方、多すぎる結果であると判定される場合（例えば、インデックスリポジトリが多くのヒットを返す場合）には、問い合わせが縮小される（ステップ３１４）。問い合わせは、例えば連続する語句を組み合わせることにより縮小され得る。問い合わせが縮小されると、問い合わせが繰り返される（ステップ３０２）。
【００４３】
プロセスは、サーチエンジンが満足する数の結果を返すまで繰り返される。満足する数の結果が返されると、見つけられた画像は、インデックスリポジトリにより抽出及び提示される（ステップ３０６）。提示された画像は、問い合わせごとに最も関連する画像を判定するために解析され得る（ステップ３０８）。例えば、最も関連する画像は、多数のサイトに現われるものである可能性が高い。それ故、どの画像が多くのサイトで現われるかが判定され、これらが選択されて返される。
【００４４】
他の方法において、第２のメディアアイテムは、以下のように選択される。第１のメディアアイテムが区分に分割され、その後、複数の第２のメディアアイテム（例えば画像）が、各区分についての抽出されたデータアイテムに基づいて検索される（ステップ２０８）。そして、区分の範囲内で再生されるべき複数の第２のメディアアイテムを選択することが可能である。これは、複数の第２のメディアアイテムのそれぞれの再生時間、及び、区分の時間を判定することにより実現される。区分の範囲内で再生されるべき複数の第２のメディアアイテムの数は、複数の第２のメディアアイテムの再生時間により分割された区分の時間に基づいて選択される。
【００４５】
第２のメディアアイテムが選択されると、この選択は、同期部１０５に入力される。入力端子１０１に入力された第１のメディアアイテムも、同期部１０５に入力される。同期部１０５は、選択された第２のメディアアイテムが、第１のメディアアイテムの再生の間、対応する抽出データアイテムの出現と同時に再生されるように、第１のメディアアイテムと第２のメディアアイテムとを同期させる。この態様において、例えば、選択された画像が、歌の再生の間、歌の対応する歌詞の出現と同時に表示されるように、自動ビデオクリップ（automatic video-clip）が作成され得る。
【００４６】
同期の後、同期部１０５の出力は、出力端子１０６に出力されて、コンピュータスクリーン、プロジェクタ、ＴＶ、スピーカと組み合わせた着色ランプ等のような、レンダリングデバイス１０７で再生される。
【００４７】
本発明の代替実施形態は、図４を参照して示されるだろう。本発明の代替実施形態において、選択された第２のメディアアイテムは、第１のメディアアイテムのトピックと適合する照明効果を作り出すために更に用いられ得る。例えば、第１のメディアアイテムが歌であり、第２のメディアアイテムが画像である場合に、画像は、歌のトピックと適合する照明効果を作り出すために用いられ得る。
【００４８】
本発明の代替実施形態によれば、図２のステップ２０２〜２０８が最初に実行される（ステップ４０２）。
【００４９】
次に、選択部１０３は、選択された第２のメディアアイテムにおける支配的な色を識別する（ステップ４０４）。例えば、抽出された第２のメディアアイテムが画像である場合には、支配的な色は、画像から識別される。そして、歌が海に関連する場合には、例えば、青色が画像を支配し、それ故に識別されるだろう。
【００５０】
支配的な色は、ステップ４０４で識別されると、同期部１０５に入力される。同期部１０５は、識別された支配的な色が、第１のメディアアイテムの再生の間、抽出されたデータアイテムの出現と同時に表示されるように、第１のメディアアイテムと、識別された支配的な色とを同期させる（ステップ４０６）。識別された支配的な色は、着色ランプがオーディオを強化する場所でアンビライトアプリケーションにおいて用いられ得る。前に述べられた第１のメディアアイテムと選択された第２のメディアアイテムとの同期は、表示されるべき色のタイミングに対して更に用いられ得る。例えば、青の支配的な色は、第１の抽出されたデータアイテムに対して検索された第２のメディアアイテムから識別され得、赤の支配的な色は、第２の抽出されたデータアイテムに対して検索された第２のメディアアイテムから識別され得る。斯様な場合において、第１のメディアアイテムの再生の間、青色は、第１の抽出されたデータアイテムの出現と同時に表示されるだろうし、赤色は、第２の抽出されたデータアイテムの出現と同時に表示されるだろう。
【００５１】
代わりに、色のマッピングが、抽出されたデータアイテムに対して手動で規定されてもよい。この場合において、第２のメディアアイテムのセットから支配的な色を識別するステップ（ステップ４０４）は、第１のメディアアイテムにおける予め決められた数の抽出されたデータアイテムのために省略される。代わりに、色のマッピングが、予め決められた数の抽出されたデータアイテムのために手動で規定される。例えば、予め決められた抽出されたデータアイテムが"紫色"又は"フェラーリ"のような単語である場合には、人々が単語に関連付ける色へのマッピングが、ステップ４０４で手動で規定され得る。
【００５２】
色のマッピングは、選択部１０３で規定されると、同期部１０５に入力される。同期部１０５は、規定された色のマッピングが、第１のメディアアイテムの再生の間、抽出されたデータアイテムの出現と同時に表示されるように、第１のメディアアイテムと規定された色のマッピングとを同期させる（ステップ４０６）。
【００５３】
同期の後、同期部１０５の出力は、出力端子１０６に出力されて、レンダリングデバイス１０７で再生される（ステップ４０８）。
【００５４】
第１のメディアアイテムが再生される際に、色が変化する。異なる色の間のこの遷移は、ユーザを視覚的により楽しませるために、好ましくは滑らかである。
【００５５】
本発明の実施形態は、図面で示され、上述の詳細な説明で説明されたが、本発明は、開示された実施形態に限定されることなく、特許請求の範囲に記載された本発明の範囲から逸脱することなく、多くの変更を可能とすることが理解されるだろう。本発明は、それぞれの新規な特徴、及び特徴のそれぞれの組み合わせに属する。特許請求の範囲における参照符号は、これらの保護範囲を限定するものではない。"有する"という動詞の使用及びその活用は、特許請求の範囲に記載されたもの以外の要素の存在を除外するものではない。要素の単数表記の使用は、斯様な要素の複数の存在を除外するものではない。
【００５６】
"手段"は、当業者にとって明らかであろうように、分離若しくは他の要素との協働であるか、又は、単独若しくは他の機能との組み合わせであるかに関わらず、動作中に再生するか、又は、特定機能を再生するために設計される、如何なるハードウェア（別個の又は一体化された回路又は電子要素等）又はソフトウェア（プログラム又はプログラムの一部等）も含むことを意味する。本発明は、幾つかの別個の要素を有するハードウェアにより、及び、適切にプログラムされたコンピュータにより、実行され得る。幾つかの手段を表す装置の請求項において、これらの手段の幾つかは、一つ及び同一のハードウェアにより具現されてもよい。"コンピュータプログラム"は、フロッピーディスク、インターネット等のネットワークを介してダウンロード可能なもの、又は、任意の態様における市場性のあるもののような、コンピュータ読み取り可能な媒体上に格納された任意のソフトウェアを意味することが理解されるべきである。
【技術分野】
【０００１】
本発明は、第１のメディアアイテム及び第２のメディアアイテムの同時再生を可能とする方法及び装置に関する。
【背景技術】
【０００２】
メディアアイテムは、視聴者の利益のために再生され、ビジュアルとオーディオとの双方の刺激を提供することができる。オーディオトラック（例えば歌）のような幾つかのメディアアイテムは、オーディオ的刺激だけを提供し、時々、視聴者に対する楽しみを増大させるために、ビジュアル的刺激もオーディオも提供することが望ましい。
【０００３】
曲又は歌の再生を聴きながら再生されるべき画像、静止又はビデオのクリップを提供するために、多くのシステムが存在する。画像は、曲が再生される際に表示される。必ず、歌の主題に関連されるべき画像、例えば、歌詞又はメタデータに関連付けられた画像が選択される。
【０００４】
"Google-based information extraction", G. Geleijnse, J. Korst, and V. Pronk, Proceeding of the 6th Dutch-Belgian Information Retrieval Workshop (DIR 2006), Delft, the Netherlands, March 2006では、検索エンジンを用いて情報を自動的に抽出する方法が示されている。これは、有名人の自動的に抽出された経歴で実施される。各入力で表示された画像は、ウェブから自動的に抽出される。この手法において、画像は、テキストにより意味的に関連付けられる。
【０００５】
また、"A personalized music video creator", D. A. Shamma, B. Pardo, and K. J. Hammond. Musictory, MULTIMEDIA '05: Proceeding of the13th annual ACM international conference on Multimedia, pages 563-566, New York, NY, USA, 2005. ACM Pressで見られる例のような、他の既知のシステムは、歌の歌詞から画像を自動的に検索して表示する。歌詞中の各単語は、（"the","a","an"のような）非常に一般的な単語を除いて、順序リストに入れられる。リスト中の全ての単語は、Google又はYahoo!のような検索エンジンに問い合わせとして送信される。このサービスにより返された画像は、対応する表現と同一の順序で表示される。
【０００６】
しかしながら、後者のシステムでの問題は、期待される程度にまでは視聴者の楽しみを増大させないことである。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、メディアアイテムを再生するユーザの楽しみを増大させる、第１のメディアアイテム及び第２のメディアアイテムの同時再生を可能にする方法及び装置を提供しようとするものである。
【課題を解決するための手段】
【０００８】
これは、本発明の一態様によれば、第１のメディアアイテム及び第２のメディアアイテムを同期させる方法であって、第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップと、抽出された少なくとも１つのデータアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択するステップと、選択された少なくとも１つの第２のメディアアイテムが、第１のメディアアイテムの再生の間、抽出された少なくとも１つのデータアイテムの出現と同時に再生されるように、第１のメディアアイテムと、選択された少なくとも１つの第２のメディアアイテムとを同期させるステップとを有する、方法により実現される。前記第１のメディアアイテムに関連する前記データは、第１のメディアアイテムの部分であってもよく、又は、第１のメディアアイテムと別個に格納されてもよい。
【０００９】
また、これは、本発明の第２の態様によれば、第１のメディアアイテム及び第２のメディアアイテムを同期させる装置であって、第１のメディアアイテムに関連するデータからデータアイテムを抽出する抽出部と、抽出された前記データアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択する選択部と、選択された少なくとも１つの第２のメディアアイテムが、第１のメディアアイテムの再生の間、抽出されたデータアイテムの出現と同時に再生されるように、第１のメディアアイテムと、選択された少なくとも１つの第２のメディアアイテムとを同期させる同期部とを有する装置により実現される。
【００１０】
この態様において、第１のメディアアイテムは、第２のメディアアイテムと同期される。例えば、第１のメディアアイテムが歌であり、第２のメディアアイテムが静止又はビデオ画像である場合には、歌及び画像は、歌詞が歌われた時に対応する画像が再生されるように同期される。
【００１１】
本発明の一実施形態において、第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップは、第１のメディアアイテムに関連するテキストデータから少なくとも１つのデータアイテムを抽出するステップを有する。
【００１２】
本発明の斯様な実施形態によれば、テキストデータは、複数の単語及び語句を含み、第１のメディアアイテムに関連するテキストデータから少なくとも１つのデータアイテムを抽出するステップは、複数の単語及び語句からの少なくとも１つの単語又は語句を抽出するステップを有する。
【００１３】
本発明の斯様な実施形態による好ましい方法において、テキストデータは、固有名詞、名詞又は動詞のうち少なくとも１つを有する。
【００１４】
本発明の斯様な実施形態によれば、複数の単語及び語句から少なくとも１つの単語又は語句を抽出するステップは、複数の単語のそれぞれの役割を識別するステップと、複数の単語の識別された役割に基づいて、複数の単語から語句を抽出するステップとを有する。この態様において、全体の語句が抽出され得る。換言すれば、"Rows of Houses"又は"High Tech Campus"のような複数の表現が認識され、これは、より関連する画像を抽出することをもたらす。
【００１５】
本発明の代替実施形態において、第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップは、第１のメディアアイテムに関連するデータの各データアイテムの出現頻度を判定するステップと、第１のメディアアイテムに関連するデータのうち少ない頻度で使用されたデータを抽出するステップとを有する。この態様において、より関連するデータアイテムが抽出される。例えば、データアイテムが複数の単語から成る場合には、"the"，"it"，"he"，"a"のような最も高頻度で使用された単語は抽出されず、より関連する単語だけが抽出され、より関連した画像をもたらす。
【００１６】
本発明の他の実施形態において、第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテム抽出するステップは、第１のメディアアイテムのデータの一部から複数のデータアイテムを抽出するステップを有し、抽出された少なくとも１つのデータアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択するステップは、複数の抽出されたデータアイテムのそれぞれに基づいて、複数の第２のメディアアイテムを検索するステップと、複数の抽出されたデータアイテムのそれぞれに対して、最も関連する検索された第２のメディアアイテムを選択するステップとを有する。
【００１７】
本発明の斯様な実施形態による好ましい方法において、第１のメディアアイテムのデータの一部から複数のデータアイテムを抽出するステップは、名前、名詞、動詞又は長さの基準のうちの１つに基づいて、複数のデータアイテムに優先順位をつけるステップを有する。この態様において、より重要なデータアイテムが抽出され得る。
【００１８】
本発明の他の実施形態において、抽出された少なくとも１つのデータアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択するステップは、第１のメディアアイテムを少なくとも１つの区分に分割するステップと、少なくとも１つの区分に関連するデータから抽出された少なくとも１つのデータアイテムに基づいて、複数の第２のメディアアイテムを選択するステップと、複数の第２のメディアアイテムのそれぞれの再生時間を判定するステップと、前記少なくとも１つの区分の時間を判定するステップと、区分内において再生されるべき前記複数の第２のメディアアイテムの数を選択するステップとを有する。この態様において、第２のメディアアイテムの最適数が各区分の範囲内において再生され得る。
【００１９】
本発明の他の実施形態において、当該方法は、選択された少なくとも１つの第２のメディアアイテムの支配的な色を識別するステップを更に有する。この態様において、第２のメディアアイテム及びそれ故に第１のメディアアイテムに対する最も関連する色が識別される。例えば、第１のメディアアイテムが歌であった場合には、歌の歌詞又は主題に最も関連する色が識別されるだろう。
【００２０】
本発明の斯様な実施形態によれば、第１のメディアアイテムと、選択された少なくとも１つの第２のメディアアイテムとを同期させるステップは、識別された支配的な色が、第１のメディアアイテムの再生中に、抽出された少なくとも１つのデータアイテムの出現と同時に表示されるように、第１のメディアアイテムと、識別された支配的な色とを同期させるステップを有する。この態様において、最も関連する色は、対応するデータアイテムが再生されるのと同じタイムスタンプで表示される。
【００２１】
本発明の他の実施形態において、当該方法は、抽出された少なくとも１つのデータアイテムに対する色のマッピングを手動で規定するステップを有する。
【００２２】
本発明の斯様な実施形態によれば、第１のメディアアイテムと、選択された少なくとも１つの第２のメディアアイテムとを同期させるステップは、色の規定されたマッピングが、第１のメディアアイテムの再生の間、抽出された少なくとも１つのデータアイテムの出現と同時に表示されるように、第１のメディアアイテムと、色の規定されたマッピングとを同期させるステップを有する。
【００２３】
第１のメディアアイテムが再生される際には、ユーザを視覚的により楽しませるために、色が変化し、異なる色の間のこれらの遷移が好ましくは滑らかである。
【００２４】
本発明の一実施形態によれば、第１のメディアアイテム及び第２のメディアアイテムは、オーディオデータストリーム、ビデオデータストリーム、画像データ、又は、色データのうちの１つである。
【００２５】
本発明のより完全な理解のために、図面と併せて以下の説明が参照される。
【図面の簡単な説明】
【００２６】
【図１】本発明の一実施形態による装置の簡略図である。
【図２】本発明の一実施形態による第１のメディアアイテム及び第２のメディアアイテムの同時再生を可能にする方法のフローチャートである。
【図３】本発明の一実施形態による最も関連する第２のメディアアイテムを検索するプロセスのフローチャートである。
【図４】本発明の他の実施形態による第１のメディアアイテム及び色の再生を可能にする方法のフローチャートである。
【発明を実施するための形態】
【００２７】
図１によれば、本発明の一実施形態の装置１００は、第１のメディアアイテムの入力に関する入力端子１０１を有する。入力端子１０１は、抽出部１０２に接続される。抽出部１０２の出力は、格納手段１０８から第２のメディアアイテムを検索及び選択する選択部１０３に接続される。格納手段は、例えば、ローカルディスクドライブ、又は、リモートサーバ上のデータベースを有し得る。格納手段１０８は、専用のネットワーク又はインターネットを介してアクセスされ得る。選択部１０３の出力は、同期部１０５に接続される。同期部１０５も、入力端子１０１に接続される。同期部の出力は、装置１００の出力端子１０６に接続される。出力端子１０６は、レンダリングデバイス１０７に接続される。装置１００は、例えば、消費者向け電子デバイス、例えばテレビ又はＰＣであってもよい。格納手段１０８は、例えば、ハードディスク、光学ディスクユニット又は固体メモリであってもよい。入力端子１０１、抽出部１０２、選択部１０３及び同期部１０５は、ソフトウェア等で実装された機能であってもよい。
【００２８】
図１の装置１００の動作は、図２〜４を参照して示されるだろう。第１のメディアアイテムは、入力端子１０１に入力され（図２のステップ２０２）、それ故、抽出部１０２に入力される。第１のメディアアイテムは、例えば、オーディオデータストリーム、ビデオデータストリーム、画像データ、又は色データであってもよい。抽出部１０２は、第１のメディアアイテムから少なくとも１つのデータアイテムを抽出する（ステップ２０４）。
【００２９】
データアイテムは、第１のメディアアイテムに関連付けられたテキストデータ（即ち、複数の単語及び語句）、例えば、歌に関連付けられた歌詞から抽出され得る。抽出されたデータアイテムは、固有名詞、名詞又は動詞からなる単語又は語句を有するだろう。
【００３０】
固有名詞は、例えば、"George W. Bush"、"High Tech Campus"であり得る。固有名詞は、テキストのトピックを判定し、一又は複数の画像により表わされるのによく適している。これらの名付けられた実体（named-entity）は、既知の技術及びアプリケーションを用いて抽出され得る。斯様な技術及びアプリケーションの例は、"A Maximum Entropy Approach to Named Entity Recognition", A. Brothwick, PhD thesis, New York University, 1999、"Named entity recognition using an hmm-based chunk tagger", G. Zhou and J. Su, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), pages 473 - 480, Philadelphia, PA, 2002、及び、"A framework and graphical development environment for robust nlp tools and applications", H. Cunningham, D. Maynard, K. Bontcheva, and V. Tablan, Proceedings of the 40th Annual Meeting of the Association for Computational Linguistics (ACL 2002), Philadelphia, PA, 2002で見られ得る。抽出技術及びアプリケーションは、提供された例に限定されないことが理解されるだろう。一連の大文字で書かれた単語を抽出するような、他のよく適した代替手段が採用されてもよい。
【００３１】
例えば"大きい黄色のタクシー"及び"小さな赤いコルベット艦"のような名詞句が抽出されてもよい。名詞句は、複数の単語のそれぞれの役割（例えば、動詞、名詞、形容詞）を最初に識別することにより複数の単語から抽出され得る。各単語のテキスト中の役割は、"A simple rule-based part-of-speech tagger", E. Brill, Proceedings of the third Conference on Applied Natural Language Processing (ANLP'92), pages 152-155, Trento, Italy, 1992 で示されるような、"品詞タグ付けシステム（Part-of-Speech Tagger）"を用いることにより識別され得る。そして、語句は、複数の単語の識別された役割に基づいて複数の単語から抽出され得る。代わりに、話し言葉（speech）の部分の正規表現（regular expression）が、テキストから名詞句を抽出するために定式化されてもよい。例えば、"Automatic recognition of multi-word terms: the c-value/nc-value method", K. Frantzi, S. Ananiado, and H. Mima, International Journal on Digital Libraries, 3:115-130, 2000に示されるように、副詞の後に正の数の形容詞が続き、その後に正の数の名詞が続くのは（Adv×Adj+ ×Noun+）、用語を示す通常の表現である。
【００３２】
動詞は、例えば、"スキーをする"、"運転する"、"創作する"であり得る。品詞タグ付けシステムが、文中の動詞を識別するために用いられ得る。"to like"、"to be"、"to have"のような連結詞は、一覧表（tabu-list）を用いて省略され得る。
【００３３】
本発明に従って、ステップ２０４において第１のメディアアイテムからデータアイテムを抽出するために用いられ得る多くの可能な方法が存在する。
【００３４】
一の斯様な方法は、データアイテムを抽出するために統計的手法を用いる。斯様な方法において、データアイテムは、第１のメディアアイテムの各データアイテムの出現頻度を判定することにより抽出される。例えば、第１のメディアアイテムがテキストを含み、データアイテムが単語であると仮定する。斯様な例において、トレーニングコーパス（training corpus；大きな代表的なテキスト（large representative text））が、テキスト中に出現する全ての単語列の頻度を収集するために用いられる。このアプローチは、１つの単語の表現（１グラム；1-grams）、２つの単語からなる表現（２グラム；2-grams）、及び概してＮグラム（N-grams；Nは典型的には多くても４である）のために用いられる。斯様なアプローチの一例は、"Foundations of Statistical Natural Language Processing", C. D. Manning and H. Schutze, The MIT Press, Cambridge, Massachusetts, 1999で見られ得る。斯様なアプローチにおいて、最も頻繁に出現するＮグラム（例えば"is"，"he"，"it"）は、表現として選択されるのに役立たないストップワードとして知られている。第１のメディアアイテムの各データアイテムの出現頻度が判定されると、その後、第１のメディアアイテムの少ない頻度で用いられたデータが抽出される。
【００３５】
本発明による第１のメディアアイテムからデータアイテムを抽出する他の方法において、下限及び上限の頻度閾値が割り当てられ、これらの閾値間の表現が抽出される（ステップ２０４）。上限の頻度閾値と下限の頻度閾値との間の表現は、画像を生成するために用いられるのによく適した語句である。
【００３６】
データアイテムを抽出するための他の技術（ステップ２０４）は、データアイテムを抽出し、名前、名詞、動詞又は長さの基準のうち１つに基づいて、これらの優先順位を決めることである。例えば、データアイテムが語句であった場合、これらは、長さに基づいて優先順位が決められ得、長い語句は、より重要だと考慮されるので、短い語句よりも優先されるだろう。
【００３７】
抽出されたデータアイテムは、抽出部１０２から出力され、選択部１０３に入力される。選択部１０３は、格納手段１０８にアクセスし、抽出されたデータアイテムに基づいて、少なくとも１つの第２のメディアアイテム、即ち、オーディオデータストリーム、ビデオデータストリーム、画像データ又は色データを検索する（ステップ２０６）。
【００３８】
最も関連する第２のメディアアイテムを検索するプロセス（図２のステップ２０６）の一例は、図３を参照してより詳細に説明されるだろう。明確な説明の目的のために、抽出されたデータアイテムは語句であり、検索されるべき第２のメディアアイテムが画像であることが仮定される。この例において、第２のメディアアイテムは、画像のパブリックインデックスリポジトリ（public indexed repository；例えば"Google Images"）から検索される。換言すれば、格納手段１０８は、インターネットを介してアクセスされる。パブリックインデックスリポジトリが単に一例として用いられることが理解されるべきである。インデックス画像の個人コレクションのようなローカルリポジトリが用いられてもよい。
【００３９】
最初に、語句ｐのそれぞれに関して、"ｐ"に関するリポジトリがインターネットを介して問い合わせされる（ステップ３０２）。引用符は、完全な語句を捜すためにインデックスリポジトリに情報を与える。その後、これは、サーチエンジンが満足する数の結果を返した場合に判定される（ステップ３０４）。サーチエンジンが満足する数の結果を返したことが判定された場合には、その後、見つけられた画像が抽出及び提示される（ステップ３０６）。
【００４０】
しかしながら、問い合わせが満足する数の結果をもたらさない場合には、結果の数が判定される（ステップ３１０）。
【００４１】
少なすぎる結果である（即ち、満足する結果ではない）と判定される場合には、その後、問い合わせが拡張される（ステップ３１２）。問い合わせは、例えば、（語句中の単語が個別に検索されるように）引用符を削除してｐに対して問い合わせることにより、又は、ｐ中の最初の単語を削除することにより、拡張され得る。ｐ中の最初の単語は、あまり関連しない表現であると想定される。問い合わせが拡張されると、問い合わせが繰り返される（ステップ３０２）。
【００４２】
一方、多すぎる結果であると判定される場合（例えば、インデックスリポジトリが多くのヒットを返す場合）には、問い合わせが縮小される（ステップ３１４）。問い合わせは、例えば連続する語句を組み合わせることにより縮小され得る。問い合わせが縮小されると、問い合わせが繰り返される（ステップ３０２）。
【００４３】
プロセスは、サーチエンジンが満足する数の結果を返すまで繰り返される。満足する数の結果が返されると、見つけられた画像は、インデックスリポジトリにより抽出及び提示される（ステップ３０６）。提示された画像は、問い合わせごとに最も関連する画像を判定するために解析され得る（ステップ３０８）。例えば、最も関連する画像は、多数のサイトに現われるものである可能性が高い。それ故、どの画像が多くのサイトで現われるかが判定され、これらが選択されて返される。
【００４４】
他の方法において、第２のメディアアイテムは、以下のように選択される。第１のメディアアイテムが区分に分割され、その後、複数の第２のメディアアイテム（例えば画像）が、各区分についての抽出されたデータアイテムに基づいて検索される（ステップ２０８）。そして、区分の範囲内で再生されるべき複数の第２のメディアアイテムを選択することが可能である。これは、複数の第２のメディアアイテムのそれぞれの再生時間、及び、区分の時間を判定することにより実現される。区分の範囲内で再生されるべき複数の第２のメディアアイテムの数は、複数の第２のメディアアイテムの再生時間により分割された区分の時間に基づいて選択される。
【００４５】
第２のメディアアイテムが選択されると、この選択は、同期部１０５に入力される。入力端子１０１に入力された第１のメディアアイテムも、同期部１０５に入力される。同期部１０５は、選択された第２のメディアアイテムが、第１のメディアアイテムの再生の間、対応する抽出データアイテムの出現と同時に再生されるように、第１のメディアアイテムと第２のメディアアイテムとを同期させる。この態様において、例えば、選択された画像が、歌の再生の間、歌の対応する歌詞の出現と同時に表示されるように、自動ビデオクリップ（automatic video-clip）が作成され得る。
【００４６】
同期の後、同期部１０５の出力は、出力端子１０６に出力されて、コンピュータスクリーン、プロジェクタ、ＴＶ、スピーカと組み合わせた着色ランプ等のような、レンダリングデバイス１０７で再生される。
【００４７】
本発明の代替実施形態は、図４を参照して示されるだろう。本発明の代替実施形態において、選択された第２のメディアアイテムは、第１のメディアアイテムのトピックと適合する照明効果を作り出すために更に用いられ得る。例えば、第１のメディアアイテムが歌であり、第２のメディアアイテムが画像である場合に、画像は、歌のトピックと適合する照明効果を作り出すために用いられ得る。
【００４８】
本発明の代替実施形態によれば、図２のステップ２０２〜２０８が最初に実行される（ステップ４０２）。
【００４９】
次に、選択部１０３は、選択された第２のメディアアイテムにおける支配的な色を識別する（ステップ４０４）。例えば、抽出された第２のメディアアイテムが画像である場合には、支配的な色は、画像から識別される。そして、歌が海に関連する場合には、例えば、青色が画像を支配し、それ故に識別されるだろう。
【００５０】
支配的な色は、ステップ４０４で識別されると、同期部１０５に入力される。同期部１０５は、識別された支配的な色が、第１のメディアアイテムの再生の間、抽出されたデータアイテムの出現と同時に表示されるように、第１のメディアアイテムと、識別された支配的な色とを同期させる（ステップ４０６）。識別された支配的な色は、着色ランプがオーディオを強化する場所でアンビライトアプリケーションにおいて用いられ得る。前に述べられた第１のメディアアイテムと選択された第２のメディアアイテムとの同期は、表示されるべき色のタイミングに対して更に用いられ得る。例えば、青の支配的な色は、第１の抽出されたデータアイテムに対して検索された第２のメディアアイテムから識別され得、赤の支配的な色は、第２の抽出されたデータアイテムに対して検索された第２のメディアアイテムから識別され得る。斯様な場合において、第１のメディアアイテムの再生の間、青色は、第１の抽出されたデータアイテムの出現と同時に表示されるだろうし、赤色は、第２の抽出されたデータアイテムの出現と同時に表示されるだろう。
【００５１】
代わりに、色のマッピングが、抽出されたデータアイテムに対して手動で規定されてもよい。この場合において、第２のメディアアイテムのセットから支配的な色を識別するステップ（ステップ４０４）は、第１のメディアアイテムにおける予め決められた数の抽出されたデータアイテムのために省略される。代わりに、色のマッピングが、予め決められた数の抽出されたデータアイテムのために手動で規定される。例えば、予め決められた抽出されたデータアイテムが"紫色"又は"フェラーリ"のような単語である場合には、人々が単語に関連付ける色へのマッピングが、ステップ４０４で手動で規定され得る。
【００５２】
色のマッピングは、選択部１０３で規定されると、同期部１０５に入力される。同期部１０５は、規定された色のマッピングが、第１のメディアアイテムの再生の間、抽出されたデータアイテムの出現と同時に表示されるように、第１のメディアアイテムと規定された色のマッピングとを同期させる（ステップ４０６）。
【００５３】
同期の後、同期部１０５の出力は、出力端子１０６に出力されて、レンダリングデバイス１０７で再生される（ステップ４０８）。
【００５４】
第１のメディアアイテムが再生される際に、色が変化する。異なる色の間のこの遷移は、ユーザを視覚的により楽しませるために、好ましくは滑らかである。
【００５５】
本発明の実施形態は、図面で示され、上述の詳細な説明で説明されたが、本発明は、開示された実施形態に限定されることなく、特許請求の範囲に記載された本発明の範囲から逸脱することなく、多くの変更を可能とすることが理解されるだろう。本発明は、それぞれの新規な特徴、及び特徴のそれぞれの組み合わせに属する。特許請求の範囲における参照符号は、これらの保護範囲を限定するものではない。"有する"という動詞の使用及びその活用は、特許請求の範囲に記載されたもの以外の要素の存在を除外するものではない。要素の単数表記の使用は、斯様な要素の複数の存在を除外するものではない。
【００５６】
"手段"は、当業者にとって明らかであろうように、分離若しくは他の要素との協働であるか、又は、単独若しくは他の機能との組み合わせであるかに関わらず、動作中に再生するか、又は、特定機能を再生するために設計される、如何なるハードウェア（別個の又は一体化された回路又は電子要素等）又はソフトウェア（プログラム又はプログラムの一部等）も含むことを意味する。本発明は、幾つかの別個の要素を有するハードウェアにより、及び、適切にプログラムされたコンピュータにより、実行され得る。幾つかの手段を表す装置の請求項において、これらの手段の幾つかは、一つ及び同一のハードウェアにより具現されてもよい。"コンピュータプログラム"は、フロッピーディスク、インターネット等のネットワークを介してダウンロード可能なもの、又は、任意の態様における市場性のあるもののような、コンピュータ読み取り可能な媒体上に格納された任意のソフトウェアを意味することが理解されるべきである。
【特許請求の範囲】
【請求項１】
第１のメディアアイテム及び第２のメディアアイテムの同時再生を可能にする方法であって、
第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップと、
抽出された前記少なくとも１つのデータアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択するステップと、
選択された前記少なくとも１つの第２のメディアアイテムが、前記第１のメディアアイテムの再生の間、前記抽出された少なくとも１つのデータアイテムの出現と同時に再生されるように、前記第１のメディアアイテムと前記選択された少なくとも１つの第２のメディアアイテムとを同期させるステップとを有する、方法。
【請求項２】
第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップは、前記第１のメディアアイテムに関連するテキストデータから前記少なくとも１つのデータアイテムを抽出する、請求項１に記載の方法。
【請求項３】
前記テキストデータは、複数の単語及び語句を含み、
前記第１のメディアアイテムに関連するテキストデータから前記少なくとも１つのデータアイテムを抽出するステップは、前記複数の単語及び語句から少なくとも１つの単語又は語句を抽出する、請求項２に記載の方法。
【請求項４】
前記テキストデータは、固有名詞、名詞又は動詞のうち少なくとも１つを有する、請求項３に記載の方法。
【請求項５】
前記複数の単語及び語句から少なくとも１つの単語又は語句を抽出するステップは、
前記複数の単語のそれぞれの役割を識別するステップと、
前記複数の単語の識別された前記役割に基づいて、前記複数の単語から語句を抽出するステップとを有する、請求項３又は請求項４に記載の方法。
【請求項６】
第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップは、
前記第１のメディアアイテムに関連する前記データの各データアイテムの出現頻度を判定するステップと、
前記第１のメディアアイテムに関連する前記データの少ない頻度で使用されたデータアイテムを抽出するステップとを有する、請求項１〜５のうちいずれか一項に記載の方法。
【請求項７】
第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップは、前記第１のメディアアイテムに関連する前記データの一部から複数のデータアイテムを抽出するステップを有し、
抽出された前記少なくとも１つのデータアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択するステップは、抽出された前記複数のデータアイテムのそれぞれに基づいて複数の第２のメディアアイテムを検索するステップと、抽出された前記複数のデータアイテムのそれぞれに対して、検索された前記第２のメディアアイテムのうち最も関連するものを選択するステップとを有する、請求項１〜６のうちいずれか一項に記載の方法。
【請求項８】
前記抽出されたデータアイテムに基づいて前記少なくとも１つの第２のメディアアイテムを選択するステップは、
前記第１のメディアアイテムを少なくとも１つの区分に分割するステップと、
前記少なくとも１つの区分に関連するデータから抽出された少なくとも１つのデータアイテムに基づいて、複数の第２のメディアアイテムを検索するステップと、
前記複数の第２のメディアアイテムのそれぞれの再生時間を判定するステップと、
前記少なくとも１つの区分の時間を判定するステップと、
前記区分の範囲内において再生されるべき前記複数の第２のメディアアイテムの数を選択するステップとを有する、請求項１〜７のうちいずれか一項に記載の方法。
【請求項９】
前記選択された少なくとも１つの第２のメディアアイテムにおける支配的な色を識別するステップを更に有する、請求項１〜８のうちいずれか一項に記載の方法。
【請求項１０】
第１のメディアアイテムと前記選択された少なくとも１つの第２のメディアアイテムとを同期させるステップは、
識別された前記支配的な色が、前記第１のメディアアイテムの再生の間、前記抽出された少なくとも１つのデータアイテムの出現と同時に表示されるように、前記第１のメディアアイテムと前記識別された支配的な色とを同期させるステップを有する、請求項９に記載の方法。
【請求項１１】
前記抽出された少なくとも１つのデータアイテムに対する色のマッピングを手動で規定するステップを更に有する、請求項１〜１０のうちいいずれか一項に記載の方法。
【請求項１２】
請求項１〜１１のうちいずれか一項に記載の方法を実行する複数のプログラムコード部分を有する、コンピュータプログラム。
【請求項１３】
第１のメディアアイテム及び第２のメディアアイテムの同時再生を可能にする装置であって、
第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出する抽出部と、
抽出された前記少なくとも１つのデータアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択する選択部と、
選択された前記少なくとも１つの第２のメディアアイテムが、前記第１のメディアアイテムの再生の間、前記抽出された少なくとも１つのデータアイテムの出現と同時に再生されるように、前記第１のメディアアイテムと前記選択された少なくとも１つの第２のメディアアイテムとを同期させる同期部とを有する、装置。
【請求項１４】
前記抽出部は、前記第１のメディアアイテムに関連するテキストデータから前記少なくとも１つのデータアイテムを抽出する手段を有する、請求項１３に記載の装置。
【請求項１】
第１のメディアアイテム及び第２のメディアアイテムの同時再生を可能にする方法であって、
第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップと、
抽出された前記少なくとも１つのデータアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択するステップと、
選択された前記少なくとも１つの第２のメディアアイテムが、前記第１のメディアアイテムの再生の間、前記抽出された少なくとも１つのデータアイテムの出現と同時に再生されるように、前記第１のメディアアイテムと前記選択された少なくとも１つの第２のメディアアイテムとを同期させるステップとを有する、方法。
【請求項２】
第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップは、前記第１のメディアアイテムに関連するテキストデータから前記少なくとも１つのデータアイテムを抽出する、請求項１に記載の方法。
【請求項３】
前記テキストデータは、複数の単語及び語句を含み、
前記第１のメディアアイテムに関連するテキストデータから前記少なくとも１つのデータアイテムを抽出するステップは、前記複数の単語及び語句から少なくとも１つの単語又は語句を抽出する、請求項２に記載の方法。
【請求項４】
前記テキストデータは、固有名詞、名詞又は動詞のうち少なくとも１つを有する、請求項３に記載の方法。
【請求項５】
前記複数の単語及び語句から少なくとも１つの単語又は語句を抽出するステップは、
前記複数の単語のそれぞれの役割を識別するステップと、
前記複数の単語の識別された前記役割に基づいて、前記複数の単語から語句を抽出するステップとを有する、請求項３又は請求項４に記載の方法。
【請求項６】
第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップは、
前記第１のメディアアイテムに関連する前記データの各データアイテムの出現頻度を判定するステップと、
前記第１のメディアアイテムに関連する前記データの少ない頻度で使用されたデータアイテムを抽出するステップとを有する、請求項１〜５のうちいずれか一項に記載の方法。
【請求項７】
第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出するステップは、前記第１のメディアアイテムに関連する前記データの一部から複数のデータアイテムを抽出するステップを有し、
抽出された前記少なくとも１つのデータアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択するステップは、抽出された前記複数のデータアイテムのそれぞれに基づいて複数の第２のメディアアイテムを検索するステップと、抽出された前記複数のデータアイテムのそれぞれに対して、検索された前記第２のメディアアイテムのうち最も関連するものを選択するステップとを有する、請求項１〜６のうちいずれか一項に記載の方法。
【請求項８】
前記抽出されたデータアイテムに基づいて前記少なくとも１つの第２のメディアアイテムを選択するステップは、
前記第１のメディアアイテムを少なくとも１つの区分に分割するステップと、
前記少なくとも１つの区分に関連するデータから抽出された少なくとも１つのデータアイテムに基づいて、複数の第２のメディアアイテムを検索するステップと、
前記複数の第２のメディアアイテムのそれぞれの再生時間を判定するステップと、
前記少なくとも１つの区分の時間を判定するステップと、
前記区分の範囲内において再生されるべき前記複数の第２のメディアアイテムの数を選択するステップとを有する、請求項１〜７のうちいずれか一項に記載の方法。
【請求項９】
前記選択された少なくとも１つの第２のメディアアイテムにおける支配的な色を識別するステップを更に有する、請求項１〜８のうちいずれか一項に記載の方法。
【請求項１０】
第１のメディアアイテムと前記選択された少なくとも１つの第２のメディアアイテムとを同期させるステップは、
識別された前記支配的な色が、前記第１のメディアアイテムの再生の間、前記抽出された少なくとも１つのデータアイテムの出現と同時に表示されるように、前記第１のメディアアイテムと前記識別された支配的な色とを同期させるステップを有する、請求項９に記載の方法。
【請求項１１】
前記抽出された少なくとも１つのデータアイテムに対する色のマッピングを手動で規定するステップを更に有する、請求項１〜１０のうちいいずれか一項に記載の方法。
【請求項１２】
請求項１〜１１のうちいずれか一項に記載の方法を実行する複数のプログラムコード部分を有する、コンピュータプログラム。
【請求項１３】
第１のメディアアイテム及び第２のメディアアイテムの同時再生を可能にする装置であって、
第１のメディアアイテムに関連するデータから少なくとも１つのデータアイテムを抽出する抽出部と、
抽出された前記少なくとも１つのデータアイテムに基づいて少なくとも１つの第２のメディアアイテムを選択する選択部と、
選択された前記少なくとも１つの第２のメディアアイテムが、前記第１のメディアアイテムの再生の間、前記抽出された少なくとも１つのデータアイテムの出現と同時に再生されるように、前記第１のメディアアイテムと前記選択された少なくとも１つの第２のメディアアイテムとを同期させる同期部とを有する、装置。
【請求項１４】
前記抽出部は、前記第１のメディアアイテムに関連するテキストデータから前記少なくとも１つのデータアイテムを抽出する手段を有する、請求項１３に記載の装置。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公表番号】特表２０１０−５２４２８０（Ｐ２０１０−５２４２８０Ａ）
【公表日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願番号】特願２００９−５５４１１２（Ｐ２００９−５５４１１２）
【出願日】平成２０年３月１８日（２００８．３．１８）
【国際出願番号】ＰＣＴ／ＩＢ２００８／０５１０１３
【国際公開番号】ＷＯ２００８／１１４２０９
【国際公開日】平成２０年９月２５日（２００８．９．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
【公表日】平成２２年７月１５日（２０１０．７．１５）
【国際特許分類】
【出願日】平成２０年３月１８日（２００８．３．１８）
【国際出願番号】ＰＣＴ／ＩＢ２００８／０５１０１３
【国際公開番号】ＷＯ２００８／１１４２０９
【国際公開日】平成２０年９月２５日（２００８．９．２５）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５９００００２４８）コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ (12,071)
【Ｆターム（参考）】
[ Back to top ]