ビデオデータの非線形表示
本発明は、ビデオデータを非線形的に表示する方法である。ビデオデータは、各層が、異なった映画の実体というようなセマンティックリフェレンスを表す多層構造を含むセマンティックコンテンツに分類される。該セマンティックコンテンツは、最上層が広範な情報を示す一方最下層が基本的な情報を示す階層構造に組織される。最上層にある映画の実体は第2層の実体とハイパーリンクされている。第2層の実体は第3層にハイパーリンクされる、等々。最下層の各映像実体はビデオコンテンツの部分に指定されており、対応するビデオデータにハイパーリンクされている。セマンティックコンテンツは、N-N関係でハイパーリンクされたビデオデータを含んでいる。N‐Nリレーションシップとは、データがハイパーリンクされたビデオデータであり、そのビデオデータが多重アクセス及び多重表示を支持することを意味する。分類されたセマンティックコンテンツをユーザーに提示する装置においては、ビデオッデータは線形に可視化され、トランスコーディングなしに１枚毎に再生される。セマンティックコンテンツの階層構造も又関連図及びキーフレーム表現として論理的に可視化される。ユーザーは、セマンティックコンテンツを最上層から最下層まで拾い読みすることができる。セマンティックコンテンツの各映画の実体に対応するビデオは、個別に短いビデオとして再生することができる。本発明は、又、ビデオデータの分類されたセマンティックコンテンツの格納庫を検索するための装置である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、非線形的な方法によるビデオデータの一般的な表示方法に関する。
【背景技術】
【０００２】
現在、ビデオ見たり表示したりすることは線形的になされている。ビデオはフレームごとに表示され、追加されたフレーム順に送られ、見られる。ビデオの分類及び検索は、時間的に線形的な（linear）手法によってなされる。即ち、ビデオセグメントは、時間方向に線形に分割される。ビデオ検索の間、システムは、特定のフレームへ向かうことができる。早送りや逆送りのような、殆どのビデオの特徴は、線形的な基本操作である。
【０００３】
現在、ユーチューブのようなウェブサイトは、ビデオデータにキーワードを付けることを認めている。ユーザーはキーワードを打ち込み、ウェブサイト上でビデオに付されたキーワードと一致させることにより、ビデオを検索することができる。この技術は、例示検索プログラムを可能にする。しかしながら、ユーザーが、結合させるための的確なキーワードを考えられない場合、検索することが非常に困難となる。
【０００４】
ビデオに色、模様及びモーションのような低レベルの視覚的特徴に基づいて、ビデオにインデックスを付すという先行技術がある。キーフレーム及びシーン（scene）は、圧縮法によって大雑把に映像を現すために選択される。しかしながら、キーフレームやシーンは、眼球によって見ることができるのみであるから、ビデオデータベースに対して検索するまでの拡張性がない。他の先行技術は、車、花、犬等のようなモデルフレームを有するフレームライブラリーにキーフレームを一致させるものである。一致させた結果物は、ビデオコンテンツにインデックスを付けるために使用される。しかしながら、それは、ビデオデータがキーワード検索のみを支持するという、線形インデックスと同様の限界に戻る。現段階の技術は、ビデオデータの能力を制限し、その潜在能力を十分に利用することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、非線形性を基礎とするビデオ表示及び該ビデオ表示の方法を提供する。このような表示は、非線形的にビデオを見たり検索したりする可能性をシステムに提供する。
【課題を解決するための手段】
【０００６】
ビデオデータは多層構造として存在し、各層は異なる映像実体を表す。層構造の最上層は一般概略情報であり、基本的な層に詳細情報が表されている。ビデオデータは、Ｎ‐Ｎリレーション的にハイパーリンクされているセマンティックビデオデータに分類される。該ビデオデータは、ハイパービデオとなり、ビデオデータは、多重アクセス及び多重表示をサポートする。
【０００７】
本発明は、前記分類されたビデオデータをユーザーに表示する装置からなる。前記セマンティックデータは、プレーンテキスト形式として記述される。ユーザーは、該セマンティックデータを、最上層から最下層まで表示することができる。前記セマンティックデータの階層構造は、関連図として現される。ユーザーは、各セマンティックデータに対応するビデオの各部分を、短編ビデオとして別々に再生することができる。
【０００８】
本発明は、更に、セマンティックビデオデータのレポジトリに関する検索を行う装置を含む。ユーザーは、分類されたビデオデータのセマンティックコンテンツの中に、検索されるべきキーワードを特定することができる。セマンティックコンテンツについて、正しいキーワード以外の階層的関係に基づく検索であるオントロジー検索が可能である。一般的な置換及びクラスター化アルゴリズムが、グループコンテンツ及び互いに関連するコンテンツに用いられる。
【発明の効果】
【０００９】
ビデオは、コンテンツ、セマンティックミーニング（semantic meaning）、でき事等に従って分類される。従って、ユーザーは見ることを選択し、ビデオからいくらでも特定のコンテンツを検索することができる。
【００１０】
セマンティックミーニング関連及びオントロジー
最も低いオブジェクトレベルから、最上のシーン（scene）レベルまで、セマンティックミーニングが各ビデオデータ段階に付与される。本発明は、セマンティック記述の組織化に対して、オントロジーアプローチを採用する。オントロジーは最新技術の知識管理の方法論であり、通常、概念間の関連を記述するために使用される。オントロジーの定義及び実行は、http:/www.w3.org/TR/webont-req/等の、多くの技術的ウェブサイトに記述されている。例えば、あるフレームは、地理学上の山及び日本国のグループに属する「富士山」なる対象を含んでいる。その次のレベルでは、日本国は、アジアに属している。
【図面の簡単な説明】
【００１１】
添付の図面は、ここで開示されたものの一部に組み込まれると共に、ここで開示されたものを構成するものであり、本発明の種々の態様や特徴を表現する。
【図１】図１は、ビデオデータの多層構造を表す。
【図２】図２は、ビデオ表示の線形図を表す。
【図３】図３は、論理図の例を表す。
【図４】図４は、従来のメディアデータを分類する過程を表わす。
【図５】図５は、分類されたセマンティックデータを提供するための装置の好ましい態様を表わす。
【図６】図６は、メディア検索におけるデータの流れを表わす。
【発明を実施するための形態】
【００１２】
以下の詳細な説明は、添付した図面に言及している。同一又は類似の部分に言及する図面及び以下の説明においては、可能な限り同じ参照符号を使用する。ここでは、本発明の例示的態様及び特徴を述べるが、本発明の範囲を逸脱しない限り、変更、改良及びその他の実施が可能である。例えば、図面に記載された部品の代用、追加、変更をすることができ、また、ここで記載された具体例は、公知の方法で置換、追加又は付加することによって改良されてもよい。従って、以下に述べる詳細な説明は、本発明を限定するものではない。本発明の適切な範囲は、添付した特許請求の範囲によって決定される。
【００１３】
本発明は、セマンティック（Semantic）及び非線形の階層構造によってビデオデータを表示する方法、及び、ビデオデータの提示モデルを提供する。
【００１４】
実在するフレームを単に一続きとしてビデオ表示する替わりに、本発明は、コンテントをベースとする構造中にビデオデータ単位を表示する。特に、ビデオデータは、各層が異なる映像実体を表す多層構造として表示される。構造の最上層は一般概略情報であり、詳細情報は基本的な層に表されている。
【００１５】
ビデオは、その内容、セマンティックミーニング（Semantic meaning）、及び、でき事等によって分類される。このような分類は、少なくとも一つのセマンティックリファレンスが割り当てられたフィールドを有するある種のタグを創造することにより、実現される。そのセマンティックレファレンスは、少なくとも一つのセマンティックリファレンスを持ったフィールドを有する記録に関する情報を含んでいる。
【００１６】
よって、ユーザーは見ることを選択し、ビデオから、いかなる特別の内容でも検索することができる。このようなコンテントは、同じセマンティックリファレンスを有するタグを付したビデオファイルデータのコンテントである。好ましい態様においては、このような内容は一連に並び替えて表示される。例えば、ニュースクリップは、出演者、でき事、日付、場所、テーマ等の種々のカテゴリーにグループ化される。歴史上のテニストーナメントは、トーナメント、サーブ、ボレー、凡ミス、選手等に分類することができる。映画は、出演者、でき事、場所等にグループ化することができる。
【００１７】
セマンティックコンテンツ検索のためのオントロジーサポートと供に、セマンティックコンテンツレポジトリは、種々のユーザーにとって価値ある手段となる。例えば、テレビ局において、ニュースビデオがより系統的にされたり、コーチ等の個人によって、歴史上のスポーツイベントが容易に探し出されたりする。
【００１８】
図１は、シーン、プロット、プレイ、テイク、ショット、フレーム及びオブジェクトの６個の層を有する、ビデオデータの多層構造を表わす。最も基本的なレベル１はオブジェクトである。オブジェクトは、視認できる物体である、人間、自動車、ビルディング、海辺、空等の物体、又は、同じ色、類似する模様等等の視覚的に認識可能な部分のような、重要なセマンティックオブジェクトであり得る。また、それは相互作用するようにグループ化された領域となる。セマンティックオブジェクト及び視覚的オブジェクトは、知覚的オブジェクトの観念を形成する。セマンティックコンテンツの階層構造は、関連図及びキーフレーム表示として、論理的に視覚化することができる。
【００１９】
次のレベルはフレーム２である。対象はフレーム内の区域である。このフレームは、ビデオデータ基本単位の、従来的且つ物理的な表示である。一連のフレームはビデオを形成し、典型的には、１秒のビデオは２５フレームを含む。フレームは、１つの完全な表示単位である。多量の連続するフレームは、一続きのビデオを形成する。I-フレームは、一群のフレーム中の識別フレームである。それは、MPEG圧縮規格におけるI-フレームの定義と一致する。
【００２０】
レベル３はショットとテイクを表す。テイクは、知覚的オブジェクトの一つのアクションを含む一続きのフレームである。動作がセマンティックミーニングを処理するのに対して、一つのアクションは、一続きのフレーム内に示されるようなオブジェクトによってなされる連続的な動作である。例えば、プレイは、人が歩き始めるところから始まり、歩くのを止めるまでの一続きのフレームであり得る。それは、アクションを表わすための、最も小さい一続きのフレームである。ショットは、ある知覚的オブジェクトの明確な描写を与える一続きのフレームである。例えば、ショットは、自動車が現れるところから始まり、自動車が消えるまでの一続きのフレームであり得る。それは、知覚オブジェクトを表わすための、最小の単位である。
【００２１】
テイクとショットは、両方とも抽象的な映像実体である。それらは、同じ一続きのフレーム上に現れることができるが、必ずしも互いに物理的な関連を有している必要はない。
【００２２】
同一の位置（location）で多くのアクションをとっている多数の知覚的オブジェクトを含むビデオは、プレイ４を形成する。一つのロケーションは、ビデオショットに対して、背景として作用する視覚的オブジェクトである。同一のロケーションは、ビデオ中に何度も現れる。ロケーションの外観は、異なる映像角度から撮ることができる。
【００２３】
同一のストーリーに基づいて展開された、複数のプレイがプロット５を形成する一方で、同じロケーションから、全てのプレイ４を収集したものがシーン６を形成する。層の定義がテイクとショットとの間、及びプロットとシーンとの間で重複していることに注意されたい。
【００２４】
他の例では、種々のビデオデータに対して、多層構造中における異なった数の複数の層が採用されるかも知れない。例えば、映画ビデオデータ検索及び表示に対しては、比較的誰でも知っている情報として、映画制作元、映画会社名及び／又は製造年を採用することができる。
【００２５】
図２は、従来の線形ビデオデータ構造の画像表示を表わす。従来の線形ビデオデータの典型的表示においては、ビデオフレーム２は線形的に結合されている。即ち、ビデオフレームは、ただ１つの先行するビデオフレームを有し、且つ、ただ１つの後続するビデオフレームを有する。
【００２６】
図３は、見本論理図を表わす。セマンティック情報の層に分類されたビデオデータは、階層間で互いに関連する。その関連は、論理図中に表わされている。各ビデオクリップが、他のビデオクリップに対して、N‐Nリレーションシップを形成していることに注意されたい。N‐Nリレーションシップとは、データがハイパービデオであり、ビデオデータが多重アクセス及び多重表示を支持することを意味する。
これらのクリップは、一時的関係というよりは、むしろ、セマンティックリレーションシップ（semantic relationship）によって結合されている。
【００２７】
図４は、配列されたメディアデータを分類する過程を表わす。配列されたメディア７は、それによって表現されると思われる所定の一続きのフレームを満足する。例：映画、音声録音、予めプログラムされた仮想世界のシーン、週ごとの統計データ収集等。
【００２８】
ショットの定義づけ及び分類過程８において、特に関心のある区分である、一続きのメディア７の各部が識別され、検索可能なテキスト記述のようないくつかの情報が与えられる。そのような識別された区分が、ショット９とされる。ショットは、手動で、又は、適切なドメイン依存アルゴリズムを適用することにより、プログラムによって定義付けされ得る。
この過程の結果が、ショットの収集である。
【００２９】
各ショットは、オリジナルのメディア、開始と終了のフレーム／配列番号／タイム‐マーク、及び分類情報に対するリファレンスからなる。ショットは、オリジナルメディアの部分に言及する情報のみを含む。
【００３０】
ショットレポジトリ１０は、上記識別されたショットオブジェクトを格納するために使用され、検索や読み出しに備える。ショットは、更に、プレイ、プロット及びシーン等にグループ化される。
【００３１】
図５は、異なったレベルに分類されたセマンティックデータを表示する装置の好ましい態様を表わす。表示されるべきビデオファイルデータを表示するために、ビデオファイルデータ表示装置を有することが好ましい。そのような装置は、ユーザーがビデオデータの分類されたセマンティック情報にアクセスするための、グラフィカルユーザインタフェースを有するコンピュータープログラムを格納するように設計される。最も低いレベルにおいて、分類されたビデオが線形に視覚化することができると供に、トランスコードなしに断片的に再生することができる。閲覧レベルにおいて、セマンティックデータの階層構造は、関連ダイアグラム及びキーフレーム表示として、論理的に視覚化することができる。
【００３２】
ビデオのセマンティック表示は、ユーザーがビデオのコンテンツを閲覧することができるテキストウィンドウ１１上にテキストとして提示される。
【００３３】
物理的レベルでは、従来のプレゼンテーションと同様に、ビデオはコンテンツ頁中で見られる。そこでは、再生ウィンドウ１４中で線形ビューを提供する。このプレゼンテーションにおいて、ビデオデータはフレームごとに連続して視覚化される。本発明は、フレームをショット及びテイクにグループ化する。ショットとテイクの連続的結合はビデオ全体を形成する。これらのショット及びテイクは、下層図１３に表わされる。
【００３４】
それらのコンテンツに従って、ショット及びテイクを種々のカテゴリーに分類することができる。ユーザーは各ビデオに対して、動的に分類を定義付けることができる。サンプル範囲は、出演者、でき事、場所、演技、場面等である。これらのセマンティックカテゴリーは、上層図１２に表わされる。
【００３５】
セマンティック情報の層に分類されたビデオデータは、階層間で相互に関係付けられている。ビデオファイルデータに対するセマンティックリファレンスを有するタグは、前記ビデオファイルデータ上の少なくとも１つのセマンティックリファレンスを持つ」フィールドを有する記録に関する情報を含むように、創造される。このようなタグは、ユーザーによる検索及び読み出しを容易にする。階層的関連は、図５に表わされる。
【００３６】
視覚化されたウィンドウ１６は、ビデオ全体に関する各シーン、プレイ、ショット、又はテイクの物理的な位置を示す。
【００３７】
セマンティックビデオデータのレポジトリ上で検索を行うための装置の好ましい具体例は、コンピュータープログラムのような検索エンジンである。分類されたビデオデータは、データベースレポジトリ内に格納される。階層の異なったレベルにあるビデオデータは、キーフレームの一般的な置換及びショット再編のためのクラスター化アルゴリズムによってグループ化される。
【００３８】
ビデオデータ表示は、表示されるべきビデオファイルデータを表示するための装置によって実行され、表示されるべきビデオファイルデータは、少なくとも１つのセマンティックリファレンスが割り当てられたフィールド及び、更に多層構造の特定の層が割り当てられたフィールドを有するタグが付されると供に、同じセマンティックリファレンスを有するタグが付されたビデオファイルデータを並べ替え一続きに表示されるように構築される。ビデオファイルデータに対するセマンティックリファレンスを含み、検索されるべき前記ビデオファイルデータ上の少なくとも一つのセマンティックリファレンスを持つフィールドを有する記録に関する情報を含む前記セマンティックリファレンス、及び、複数の階層レベルを用いて、前記検索されるべきビデオファイルデータを分類することによって特定された層の情報を含む、複数のタグからなる装置。前記装置は、検索されるべき前記ビデオファイルデータ上で特定のセマンティックリファレンスに関するタグを検索するための指示、及び、同一のセマンティックリファレンスであり、且つ、検索されるべき前記ビデオファイルデータに関する階層レベル内の特定の層に関するセマンティックリファレンスに関するタグを検索する指示を与えるための入力ユニット；検索されるべき前記ビデオファイルデータ上で、同一のセマンティックリファレンスを有する記録に関する情報、及び、階層レベル内の特定の層をタグから読み出すための読み出しユニット；特定のセマンティックリファレンス及び階層レベル内の特定の層を有するタグが付されたビデオファイルデータから抽出するための抽出ユニット；特定のセマンティックリファレンス及び階層レベル内の特定の層を有するタグが付された、抽出されたビデオファイルデータを一連に表示するための表示ユニットを備える。
【００３９】
本発明は、コンピューターにビデオファイルデータを表示するように指示するための、コンピューター読み取り可能な記憶装置、及び、コンピューターに、特定のセマンティックリファレンスに関するタグを、検索し、読み出し、抽出し、及び、抽出された特定のセマンティックリファレンスを有するタグ及び階層レベル内の特定の層を有するビデオファイルデータを順次表示する指示を受け入れるように、コンピューターに指示するプログラムを格納する記憶装置を備えることが好ましい。
【００４０】
ユーザーが、早送り／巻き戻し及びチャプター間のジャンプ等の、単なる線形的な検索をするに過ぎない従来のビデオ検索に対して、本発明は、セマンティックコンテンツレポジトリについてオントロジー検索を行うために応用することができる。例えば、テニスのビデオにおいて、ボレーの練習の検索に使用すると、オントロジーサポートが、自動的にフォアハンドボレー及びバックハンドボレーにリンクする。他の例として、ユーザーは、コンテンツを特定することにより、特定のショットを検索することができる。例えば、ユーザーは、ビル・クリントンを検索することができ、システムは、ビル・クリントンを含む全てのショット及びテイクを答えるだろう。
【００４１】
ユーザーは、ビデオの閲覧をすることができる。これは、従来の線形ビデオデータ表示の方法論では可能ではない。例えば、ユーザーは、米国のような国を選択することができ、このカテゴリーの下で閲覧することができる。国のカテゴリーの下で、大統領を包含するサブカテゴリーがあり得ると供に、順に、大統領のサブカテゴリーは、ビル・クリントン含む。ビル・クリントンを選択すれば、ビデオレコードの中から、ビル・クリントンを含む全てのビデオクリップを列挙することになる。
【００４２】
図６は、メディア検索におけるデータの流れを表わす。検索基準は、ユーザーアプリケーション１７よって、ユーザーインターフェイスを介して収集され、検索サーバー１８に検索要求がなされ、検索サーバーがレポジトリ１９を通して検索基準に一致するショットを検索する。レポジトリ１９は、与えられた規準に一致するショットの情報を答える。該ショット情報は、ユーザーアプリケーション１７に返される。返されたショット情報に基づいて、ユーザーアプリケーションは、その要求を処理し、与えられたショット情報によって記載されたような一連のメディアの区分を答えるメディアサーバー２０に、要求をする。
【００４３】
本発明の一定の特徴及び具定例を記載したので、ここに開示した本明細書、実施態様を考慮することにより、本発明の他の具体例は当業者にとっては明白となるだろう。よって、真の本発明の範囲と精神は、後述する特許請求の範囲及びそれと均等な全概念によって示されているのであり、本明細書及び実施例は単なる具体例であると見なされるべきである。
【技術分野】
【０００１】
本発明は、非線形的な方法によるビデオデータの一般的な表示方法に関する。
【背景技術】
【０００２】
現在、ビデオ見たり表示したりすることは線形的になされている。ビデオはフレームごとに表示され、追加されたフレーム順に送られ、見られる。ビデオの分類及び検索は、時間的に線形的な（linear）手法によってなされる。即ち、ビデオセグメントは、時間方向に線形に分割される。ビデオ検索の間、システムは、特定のフレームへ向かうことができる。早送りや逆送りのような、殆どのビデオの特徴は、線形的な基本操作である。
【０００３】
現在、ユーチューブのようなウェブサイトは、ビデオデータにキーワードを付けることを認めている。ユーザーはキーワードを打ち込み、ウェブサイト上でビデオに付されたキーワードと一致させることにより、ビデオを検索することができる。この技術は、例示検索プログラムを可能にする。しかしながら、ユーザーが、結合させるための的確なキーワードを考えられない場合、検索することが非常に困難となる。
【０００４】
ビデオに色、模様及びモーションのような低レベルの視覚的特徴に基づいて、ビデオにインデックスを付すという先行技術がある。キーフレーム及びシーン（scene）は、圧縮法によって大雑把に映像を現すために選択される。しかしながら、キーフレームやシーンは、眼球によって見ることができるのみであるから、ビデオデータベースに対して検索するまでの拡張性がない。他の先行技術は、車、花、犬等のようなモデルフレームを有するフレームライブラリーにキーフレームを一致させるものである。一致させた結果物は、ビデオコンテンツにインデックスを付けるために使用される。しかしながら、それは、ビデオデータがキーワード検索のみを支持するという、線形インデックスと同様の限界に戻る。現段階の技術は、ビデオデータの能力を制限し、その潜在能力を十分に利用することができない。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明は、非線形性を基礎とするビデオ表示及び該ビデオ表示の方法を提供する。このような表示は、非線形的にビデオを見たり検索したりする可能性をシステムに提供する。
【課題を解決するための手段】
【０００６】
ビデオデータは多層構造として存在し、各層は異なる映像実体を表す。層構造の最上層は一般概略情報であり、基本的な層に詳細情報が表されている。ビデオデータは、Ｎ‐Ｎリレーション的にハイパーリンクされているセマンティックビデオデータに分類される。該ビデオデータは、ハイパービデオとなり、ビデオデータは、多重アクセス及び多重表示をサポートする。
【０００７】
本発明は、前記分類されたビデオデータをユーザーに表示する装置からなる。前記セマンティックデータは、プレーンテキスト形式として記述される。ユーザーは、該セマンティックデータを、最上層から最下層まで表示することができる。前記セマンティックデータの階層構造は、関連図として現される。ユーザーは、各セマンティックデータに対応するビデオの各部分を、短編ビデオとして別々に再生することができる。
【０００８】
本発明は、更に、セマンティックビデオデータのレポジトリに関する検索を行う装置を含む。ユーザーは、分類されたビデオデータのセマンティックコンテンツの中に、検索されるべきキーワードを特定することができる。セマンティックコンテンツについて、正しいキーワード以外の階層的関係に基づく検索であるオントロジー検索が可能である。一般的な置換及びクラスター化アルゴリズムが、グループコンテンツ及び互いに関連するコンテンツに用いられる。
【発明の効果】
【０００９】
ビデオは、コンテンツ、セマンティックミーニング（semantic meaning）、でき事等に従って分類される。従って、ユーザーは見ることを選択し、ビデオからいくらでも特定のコンテンツを検索することができる。
【００１０】
セマンティックミーニング関連及びオントロジー
最も低いオブジェクトレベルから、最上のシーン（scene）レベルまで、セマンティックミーニングが各ビデオデータ段階に付与される。本発明は、セマンティック記述の組織化に対して、オントロジーアプローチを採用する。オントロジーは最新技術の知識管理の方法論であり、通常、概念間の関連を記述するために使用される。オントロジーの定義及び実行は、http:/www.w3.org/TR/webont-req/等の、多くの技術的ウェブサイトに記述されている。例えば、あるフレームは、地理学上の山及び日本国のグループに属する「富士山」なる対象を含んでいる。その次のレベルでは、日本国は、アジアに属している。
【図面の簡単な説明】
【００１１】
添付の図面は、ここで開示されたものの一部に組み込まれると共に、ここで開示されたものを構成するものであり、本発明の種々の態様や特徴を表現する。
【図１】図１は、ビデオデータの多層構造を表す。
【図２】図２は、ビデオ表示の線形図を表す。
【図３】図３は、論理図の例を表す。
【図４】図４は、従来のメディアデータを分類する過程を表わす。
【図５】図５は、分類されたセマンティックデータを提供するための装置の好ましい態様を表わす。
【図６】図６は、メディア検索におけるデータの流れを表わす。
【発明を実施するための形態】
【００１２】
以下の詳細な説明は、添付した図面に言及している。同一又は類似の部分に言及する図面及び以下の説明においては、可能な限り同じ参照符号を使用する。ここでは、本発明の例示的態様及び特徴を述べるが、本発明の範囲を逸脱しない限り、変更、改良及びその他の実施が可能である。例えば、図面に記載された部品の代用、追加、変更をすることができ、また、ここで記載された具体例は、公知の方法で置換、追加又は付加することによって改良されてもよい。従って、以下に述べる詳細な説明は、本発明を限定するものではない。本発明の適切な範囲は、添付した特許請求の範囲によって決定される。
【００１３】
本発明は、セマンティック（Semantic）及び非線形の階層構造によってビデオデータを表示する方法、及び、ビデオデータの提示モデルを提供する。
【００１４】
実在するフレームを単に一続きとしてビデオ表示する替わりに、本発明は、コンテントをベースとする構造中にビデオデータ単位を表示する。特に、ビデオデータは、各層が異なる映像実体を表す多層構造として表示される。構造の最上層は一般概略情報であり、詳細情報は基本的な層に表されている。
【００１５】
ビデオは、その内容、セマンティックミーニング（Semantic meaning）、及び、でき事等によって分類される。このような分類は、少なくとも一つのセマンティックリファレンスが割り当てられたフィールドを有するある種のタグを創造することにより、実現される。そのセマンティックレファレンスは、少なくとも一つのセマンティックリファレンスを持ったフィールドを有する記録に関する情報を含んでいる。
【００１６】
よって、ユーザーは見ることを選択し、ビデオから、いかなる特別の内容でも検索することができる。このようなコンテントは、同じセマンティックリファレンスを有するタグを付したビデオファイルデータのコンテントである。好ましい態様においては、このような内容は一連に並び替えて表示される。例えば、ニュースクリップは、出演者、でき事、日付、場所、テーマ等の種々のカテゴリーにグループ化される。歴史上のテニストーナメントは、トーナメント、サーブ、ボレー、凡ミス、選手等に分類することができる。映画は、出演者、でき事、場所等にグループ化することができる。
【００１７】
セマンティックコンテンツ検索のためのオントロジーサポートと供に、セマンティックコンテンツレポジトリは、種々のユーザーにとって価値ある手段となる。例えば、テレビ局において、ニュースビデオがより系統的にされたり、コーチ等の個人によって、歴史上のスポーツイベントが容易に探し出されたりする。
【００１８】
図１は、シーン、プロット、プレイ、テイク、ショット、フレーム及びオブジェクトの６個の層を有する、ビデオデータの多層構造を表わす。最も基本的なレベル１はオブジェクトである。オブジェクトは、視認できる物体である、人間、自動車、ビルディング、海辺、空等の物体、又は、同じ色、類似する模様等等の視覚的に認識可能な部分のような、重要なセマンティックオブジェクトであり得る。また、それは相互作用するようにグループ化された領域となる。セマンティックオブジェクト及び視覚的オブジェクトは、知覚的オブジェクトの観念を形成する。セマンティックコンテンツの階層構造は、関連図及びキーフレーム表示として、論理的に視覚化することができる。
【００１９】
次のレベルはフレーム２である。対象はフレーム内の区域である。このフレームは、ビデオデータ基本単位の、従来的且つ物理的な表示である。一連のフレームはビデオを形成し、典型的には、１秒のビデオは２５フレームを含む。フレームは、１つの完全な表示単位である。多量の連続するフレームは、一続きのビデオを形成する。I-フレームは、一群のフレーム中の識別フレームである。それは、MPEG圧縮規格におけるI-フレームの定義と一致する。
【００２０】
レベル３はショットとテイクを表す。テイクは、知覚的オブジェクトの一つのアクションを含む一続きのフレームである。動作がセマンティックミーニングを処理するのに対して、一つのアクションは、一続きのフレーム内に示されるようなオブジェクトによってなされる連続的な動作である。例えば、プレイは、人が歩き始めるところから始まり、歩くのを止めるまでの一続きのフレームであり得る。それは、アクションを表わすための、最も小さい一続きのフレームである。ショットは、ある知覚的オブジェクトの明確な描写を与える一続きのフレームである。例えば、ショットは、自動車が現れるところから始まり、自動車が消えるまでの一続きのフレームであり得る。それは、知覚オブジェクトを表わすための、最小の単位である。
【００２１】
テイクとショットは、両方とも抽象的な映像実体である。それらは、同じ一続きのフレーム上に現れることができるが、必ずしも互いに物理的な関連を有している必要はない。
【００２２】
同一の位置（location）で多くのアクションをとっている多数の知覚的オブジェクトを含むビデオは、プレイ４を形成する。一つのロケーションは、ビデオショットに対して、背景として作用する視覚的オブジェクトである。同一のロケーションは、ビデオ中に何度も現れる。ロケーションの外観は、異なる映像角度から撮ることができる。
【００２３】
同一のストーリーに基づいて展開された、複数のプレイがプロット５を形成する一方で、同じロケーションから、全てのプレイ４を収集したものがシーン６を形成する。層の定義がテイクとショットとの間、及びプロットとシーンとの間で重複していることに注意されたい。
【００２４】
他の例では、種々のビデオデータに対して、多層構造中における異なった数の複数の層が採用されるかも知れない。例えば、映画ビデオデータ検索及び表示に対しては、比較的誰でも知っている情報として、映画制作元、映画会社名及び／又は製造年を採用することができる。
【００２５】
図２は、従来の線形ビデオデータ構造の画像表示を表わす。従来の線形ビデオデータの典型的表示においては、ビデオフレーム２は線形的に結合されている。即ち、ビデオフレームは、ただ１つの先行するビデオフレームを有し、且つ、ただ１つの後続するビデオフレームを有する。
【００２６】
図３は、見本論理図を表わす。セマンティック情報の層に分類されたビデオデータは、階層間で互いに関連する。その関連は、論理図中に表わされている。各ビデオクリップが、他のビデオクリップに対して、N‐Nリレーションシップを形成していることに注意されたい。N‐Nリレーションシップとは、データがハイパービデオであり、ビデオデータが多重アクセス及び多重表示を支持することを意味する。
これらのクリップは、一時的関係というよりは、むしろ、セマンティックリレーションシップ（semantic relationship）によって結合されている。
【００２７】
図４は、配列されたメディアデータを分類する過程を表わす。配列されたメディア７は、それによって表現されると思われる所定の一続きのフレームを満足する。例：映画、音声録音、予めプログラムされた仮想世界のシーン、週ごとの統計データ収集等。
【００２８】
ショットの定義づけ及び分類過程８において、特に関心のある区分である、一続きのメディア７の各部が識別され、検索可能なテキスト記述のようないくつかの情報が与えられる。そのような識別された区分が、ショット９とされる。ショットは、手動で、又は、適切なドメイン依存アルゴリズムを適用することにより、プログラムによって定義付けされ得る。
この過程の結果が、ショットの収集である。
【００２９】
各ショットは、オリジナルのメディア、開始と終了のフレーム／配列番号／タイム‐マーク、及び分類情報に対するリファレンスからなる。ショットは、オリジナルメディアの部分に言及する情報のみを含む。
【００３０】
ショットレポジトリ１０は、上記識別されたショットオブジェクトを格納するために使用され、検索や読み出しに備える。ショットは、更に、プレイ、プロット及びシーン等にグループ化される。
【００３１】
図５は、異なったレベルに分類されたセマンティックデータを表示する装置の好ましい態様を表わす。表示されるべきビデオファイルデータを表示するために、ビデオファイルデータ表示装置を有することが好ましい。そのような装置は、ユーザーがビデオデータの分類されたセマンティック情報にアクセスするための、グラフィカルユーザインタフェースを有するコンピュータープログラムを格納するように設計される。最も低いレベルにおいて、分類されたビデオが線形に視覚化することができると供に、トランスコードなしに断片的に再生することができる。閲覧レベルにおいて、セマンティックデータの階層構造は、関連ダイアグラム及びキーフレーム表示として、論理的に視覚化することができる。
【００３２】
ビデオのセマンティック表示は、ユーザーがビデオのコンテンツを閲覧することができるテキストウィンドウ１１上にテキストとして提示される。
【００３３】
物理的レベルでは、従来のプレゼンテーションと同様に、ビデオはコンテンツ頁中で見られる。そこでは、再生ウィンドウ１４中で線形ビューを提供する。このプレゼンテーションにおいて、ビデオデータはフレームごとに連続して視覚化される。本発明は、フレームをショット及びテイクにグループ化する。ショットとテイクの連続的結合はビデオ全体を形成する。これらのショット及びテイクは、下層図１３に表わされる。
【００３４】
それらのコンテンツに従って、ショット及びテイクを種々のカテゴリーに分類することができる。ユーザーは各ビデオに対して、動的に分類を定義付けることができる。サンプル範囲は、出演者、でき事、場所、演技、場面等である。これらのセマンティックカテゴリーは、上層図１２に表わされる。
【００３５】
セマンティック情報の層に分類されたビデオデータは、階層間で相互に関係付けられている。ビデオファイルデータに対するセマンティックリファレンスを有するタグは、前記ビデオファイルデータ上の少なくとも１つのセマンティックリファレンスを持つ」フィールドを有する記録に関する情報を含むように、創造される。このようなタグは、ユーザーによる検索及び読み出しを容易にする。階層的関連は、図５に表わされる。
【００３６】
視覚化されたウィンドウ１６は、ビデオ全体に関する各シーン、プレイ、ショット、又はテイクの物理的な位置を示す。
【００３７】
セマンティックビデオデータのレポジトリ上で検索を行うための装置の好ましい具体例は、コンピュータープログラムのような検索エンジンである。分類されたビデオデータは、データベースレポジトリ内に格納される。階層の異なったレベルにあるビデオデータは、キーフレームの一般的な置換及びショット再編のためのクラスター化アルゴリズムによってグループ化される。
【００３８】
ビデオデータ表示は、表示されるべきビデオファイルデータを表示するための装置によって実行され、表示されるべきビデオファイルデータは、少なくとも１つのセマンティックリファレンスが割り当てられたフィールド及び、更に多層構造の特定の層が割り当てられたフィールドを有するタグが付されると供に、同じセマンティックリファレンスを有するタグが付されたビデオファイルデータを並べ替え一続きに表示されるように構築される。ビデオファイルデータに対するセマンティックリファレンスを含み、検索されるべき前記ビデオファイルデータ上の少なくとも一つのセマンティックリファレンスを持つフィールドを有する記録に関する情報を含む前記セマンティックリファレンス、及び、複数の階層レベルを用いて、前記検索されるべきビデオファイルデータを分類することによって特定された層の情報を含む、複数のタグからなる装置。前記装置は、検索されるべき前記ビデオファイルデータ上で特定のセマンティックリファレンスに関するタグを検索するための指示、及び、同一のセマンティックリファレンスであり、且つ、検索されるべき前記ビデオファイルデータに関する階層レベル内の特定の層に関するセマンティックリファレンスに関するタグを検索する指示を与えるための入力ユニット；検索されるべき前記ビデオファイルデータ上で、同一のセマンティックリファレンスを有する記録に関する情報、及び、階層レベル内の特定の層をタグから読み出すための読み出しユニット；特定のセマンティックリファレンス及び階層レベル内の特定の層を有するタグが付されたビデオファイルデータから抽出するための抽出ユニット；特定のセマンティックリファレンス及び階層レベル内の特定の層を有するタグが付された、抽出されたビデオファイルデータを一連に表示するための表示ユニットを備える。
【００３９】
本発明は、コンピューターにビデオファイルデータを表示するように指示するための、コンピューター読み取り可能な記憶装置、及び、コンピューターに、特定のセマンティックリファレンスに関するタグを、検索し、読み出し、抽出し、及び、抽出された特定のセマンティックリファレンスを有するタグ及び階層レベル内の特定の層を有するビデオファイルデータを順次表示する指示を受け入れるように、コンピューターに指示するプログラムを格納する記憶装置を備えることが好ましい。
【００４０】
ユーザーが、早送り／巻き戻し及びチャプター間のジャンプ等の、単なる線形的な検索をするに過ぎない従来のビデオ検索に対して、本発明は、セマンティックコンテンツレポジトリについてオントロジー検索を行うために応用することができる。例えば、テニスのビデオにおいて、ボレーの練習の検索に使用すると、オントロジーサポートが、自動的にフォアハンドボレー及びバックハンドボレーにリンクする。他の例として、ユーザーは、コンテンツを特定することにより、特定のショットを検索することができる。例えば、ユーザーは、ビル・クリントンを検索することができ、システムは、ビル・クリントンを含む全てのショット及びテイクを答えるだろう。
【００４１】
ユーザーは、ビデオの閲覧をすることができる。これは、従来の線形ビデオデータ表示の方法論では可能ではない。例えば、ユーザーは、米国のような国を選択することができ、このカテゴリーの下で閲覧することができる。国のカテゴリーの下で、大統領を包含するサブカテゴリーがあり得ると供に、順に、大統領のサブカテゴリーは、ビル・クリントン含む。ビル・クリントンを選択すれば、ビデオレコードの中から、ビル・クリントンを含む全てのビデオクリップを列挙することになる。
【００４２】
図６は、メディア検索におけるデータの流れを表わす。検索基準は、ユーザーアプリケーション１７よって、ユーザーインターフェイスを介して収集され、検索サーバー１８に検索要求がなされ、検索サーバーがレポジトリ１９を通して検索基準に一致するショットを検索する。レポジトリ１９は、与えられた規準に一致するショットの情報を答える。該ショット情報は、ユーザーアプリケーション１７に返される。返されたショット情報に基づいて、ユーザーアプリケーションは、その要求を処理し、与えられたショット情報によって記載されたような一連のメディアの区分を答えるメディアサーバー２０に、要求をする。
【００４３】
本発明の一定の特徴及び具定例を記載したので、ここに開示した本明細書、実施態様を考慮することにより、本発明の他の具体例は当業者にとっては明白となるだろう。よって、真の本発明の範囲と精神は、後述する特許請求の範囲及びそれと均等な全概念によって示されているのであり、本明細書及び実施例は単なる具体例であると見なされるべきである。
【特許請求の範囲】
【請求項１】
セマンティックリフェレンスを含むタグを創造し、該セマンティックリフェレンスは、ビデオファイルデータ上の検索されるべき少なくとも一つのセマンティックリフェレンスを持つフィールドを有する記録情報を包含しており；
該ビデオデータファイル上の、検索されるべき特定のセマンティックリフェレンスに関するタグを検索するための指示を受け入れ；
該ビデオデータファイル上の、検索されるべき特定のセマンティックリフェレンスを有する記録情報をタグから読み取り；
特定のセマンティックリフェレンスを有するタグ付きビデオファイルデータを抽出し；
抽出されたセマンティックリフェレンスを有するタグ付きビデオファイルデータを一続きに表示することからなる、
少なくとも一つのセマンティックリフェレンスが割り当てられたフィールドを有するタグが付され、特定のセマンティックリフェレンスを有するタグ付のビデオファイルデータが並べかえられ一続きで表示されるように構築されてなる、表示すべきビデオファイルデータを表示するビデオファイルデータの表示方法。
【請求項２】
セマンティックリフェレンスを含むタグを創造し、該セマンティックリフェレンスは、ビデオファイルデータ上の検索されるべき少なくとも一つのセマンティックリフェレンスを持つフィールドを有する記録情報を包含しており、更に前記タグは、複数の階層レベルを用い、ビデオファイルデータ上の、検索されるべき前記セマンティックリフェレンスを分類することによって、特定の層に関する情報を有し；
該ビデオデータファイル上の、検索されるべき特定のセマンティックリフェレンスに関するタグを検索するための指示を受け入れ；
前記検索されるべきビデオデータファイル上の、特定のセマンティックリフェレンス、及び、階層レベル中の特定の層に関するタグを検索するための指示を更に受け入れ；
前記検索されるべきビデオデータファイル上の、特定のセマンティックリフェレンスと階層レベル中の特定の層を有する記録情報を、タグから読み取り；
特定のセマンティックリフェレンスと階層レベル中の特定の層を有するタグ付のビデオファイルデータを抽出し；
特定のセマンティックリフェレンスと階層レベル中の特定の層を有するタグ付きビデオファイルデータを一続きに表示することからなる、
少なくとも一つのセマンティックリフェレンスが割り当てられると共に、更に多層構造における特定の層が割り当てられたフィールドを有するタグが付され、特定のセマンティックリフェレンスと特定の層を有するタグ付のビデオファイルデータが並べかえられ一続きで表示されるように構築されてなる、表示すべきビデオファイルデータを表示するビデオファイルデータの表示方法。
【請求項３】
コンテンツページが、抽出された複数のビデオファイルデータ及びそのタグを示すことによって、前記表示が、Ｎ−Ｎ関係及び多重アクセス並びに多重表示を有する複数のビデオファイルデータの表示を支持する、請求項１又は２に記載されたビデオファイルデータの表示方法。
【請求項４】
前記階層構造が多層からなり、その最上層が包括的な情報を表示し、より下層が比較的基本的な情報を表示し、最下層が最も基本的な情報を表示する、請求項２に記載されたビデオファイルデータの表示方法。
【請求項５】
前記階層構造が、シーン、プロット、プレイ、ショット、テイク、フレーム及びオブジェクトの６層からなり、その最上層が包括的な情報を表示し、より下層が比較的基本的な情報を表示し、最下層が最も基本的な情報を表示する、請求項２に記載されたビデオファイルデータの表示方法。
【請求項６】
特定のセマンティックレファレンス及び特定の層に関する情報を有するタグ付の前記複数のビデオファイルデータがハイパーリンクされ一連に提供された、請求項２に記載されたビデオファイルデータの表示方法。
【請求項７】
検索されるべき前記ビデオファイルデータ上に少なくとも一つのセマンティックレファレンスを持ったフィールドを有する記録に関する情報を含む、そのようなセマンティックレファレンスを含むタグ付きの、一つのビデオファイルデータ又は複数のビデオファイルデータ；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックレファレンスに関するタグを検索するように指示するための入力ユニット；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックレファレンスを持った記録に関する情報を、タグから読み出すための読み出しユニット；
特定のセマンティックレファレンスを有するタグ付きのビデオファイルデータを抽出するための抽出ユニット；及び、
抽出された、特定のセマンティックレファレンスを有するタグ付きのビデオファイルデータを一連に表示するための表示ユニット、
とからなる、少なくとも一つのセマンティックリフェレンスが割り当てられたフィールドを有するタグが付され、特定のセマンティックリフェレンスを有するタグ付のビデオファイルデータが並べかえられ一続きで表示されるように構築されてなる、表示すべきビデオファイルデータを表示する装置。
【請求項８】
検索されるべきビデオファイルデータ上に少なくとも一つのセマンティックレファレンスを持ったフィールドを有する記録に関する情報を含む、そのようなセマンティックレファレンス、及び、検索されるべき前記ビデオファイルデータ上のセマンティックレファレンスを複数の階層レベルを用いてクラス分けすることによって特定の層の情報を含むタグ付きの、一つのビデオファイルデータ又は複数のビデオファイルデータタグ；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックレファレンスに関するタグ、及び、検索されるべき前記ビデオファイルデータ上の特定のセマンティックレファレンス並びに階層レベル中の特定の層に関するタグを検索するように指示するための入力ユニット；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックレファレンス、及び、階層レベルにおける特定の層を有する記録に関する情報を、タグから読み出すための読み出しユニット；
特定のセマンティックレファレンス及び階層レベル中の特定の層を有するタグが付いたビデオファイルデータを抽出するための抽出ユニット；及び、
抽出された、特定のセマンティックレファレンス及び階層レベル中の特定の層を有するタグが付いたビデオファイルデータを一連に表示するための表示ユニット、
とからなる、少なくとも一つのセマンティックリフェレンス及び多層構造における特定の層が割り当てられたフィールドを有するタグが付され、特定のセマンティックリフェレンス及び特定の層を有するタグ付のビデオファイルデータが並べかえられ一続きで表示されるように構築されてなる、表示すべきビデオファイルデータを表示する装置。
【請求項９】
表示されるべきビデオファイルデータを表示するようにコンピュータに指示するためのコンピュータ読み取り可能なメモリー製品；
該表示されるべきビデオファイルデータは、少なくとも一つのセマンティックリフェレンスが割り当てられたフィールドを有するタグが付されており、特定のセマンティックリフェレンスを有するタグ付のビデオファイルデータが並べかえられ一続きで表示されるように構築されてなり、
ビデオファイルデータに対するセマンティックリフェレンス（該セマンティックリフェレンスは、検索されるべき前記ビデオファイルデータ上の少なくとも一つのセマンティックリフェレンスを持ったフィールドを有する記録に関する情報を含む）を有する複数のタグを用いて、
コンピュータに下記の事項を指示するためのプログラムを、前記メモリプロダクトは格納している；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックリフェレンスに関するタグを検索するための指示を受け入れ；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックリフェレンスを有する記録に関する情報をタグから読み出し；
特定のセマンティックリフェレンスを有するタグの付いたビデオファイルデータを抽出し；
抽出された、特定のセマンティックリフェレンスを有するタグの付いたビデオファイルデータを一連に表示する。
【請求項１０】
表示されるべきビデオファイルデータを表示するようにコンピュータに指示するためのコンピュータ読み取り可能なメモリー製品；
該表示されるべきビデオファイルデータは、少なくとも一つのセマンティックリフェレンス及び多層構造中の特定の層が割り当てられたフィールドを有するタグが付されており、特定のセマンティックリフェレンスを有するタグ付のビデオファイルデータが、ビデオファイルデータに対するセマンティックリフェレンスを有する複数のタグを用いることによって、並べかえられ一続きで表示されるように構築されてなり、
該セマンティックリフェレンスは、検索されるべき前記ビデオファイルデータ上の少なくとも一つのセマンティックリフェレンスを持ったフィールドを有する記録に関する情報を含み、
前記複数のタグは、検索されるべく前記ビデオファイルデータ上のセマンティックリフェレンスを、複数の階層レベルを用いてクラス分けすることによって特定の層の情報を含み、
コンピュータに下記の事項を指示するためのプログラムを、前記メモリプロダクトは格納しており；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックリフェレンスに関するタグを検索するための、及び、検索されるべき前記ビデオファイルデータ上の特定のセマンティックリフェレンス並びに階層レベル中の特定の層に関するタグを検索するための指示を受け入れ；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックリフェレンス、及び、階層レベル中の特定の層を有する記録に関する情報をタグから読み出し；
特定のセマンティックリフェレンス及び階層レベル中の特定の層を有するタグの付いたビデオファイルデータを抽出し；
抽出された、特定のセマンティックリフェレンス及び階層レベル中の特定の層を有するタグの付いたビデオファイルデータを一連に表示する。
【請求項１】
セマンティックリフェレンスを含むタグを創造し、該セマンティックリフェレンスは、ビデオファイルデータ上の検索されるべき少なくとも一つのセマンティックリフェレンスを持つフィールドを有する記録情報を包含しており；
該ビデオデータファイル上の、検索されるべき特定のセマンティックリフェレンスに関するタグを検索するための指示を受け入れ；
該ビデオデータファイル上の、検索されるべき特定のセマンティックリフェレンスを有する記録情報をタグから読み取り；
特定のセマンティックリフェレンスを有するタグ付きビデオファイルデータを抽出し；
抽出されたセマンティックリフェレンスを有するタグ付きビデオファイルデータを一続きに表示することからなる、
少なくとも一つのセマンティックリフェレンスが割り当てられたフィールドを有するタグが付され、特定のセマンティックリフェレンスを有するタグ付のビデオファイルデータが並べかえられ一続きで表示されるように構築されてなる、表示すべきビデオファイルデータを表示するビデオファイルデータの表示方法。
【請求項２】
セマンティックリフェレンスを含むタグを創造し、該セマンティックリフェレンスは、ビデオファイルデータ上の検索されるべき少なくとも一つのセマンティックリフェレンスを持つフィールドを有する記録情報を包含しており、更に前記タグは、複数の階層レベルを用い、ビデオファイルデータ上の、検索されるべき前記セマンティックリフェレンスを分類することによって、特定の層に関する情報を有し；
該ビデオデータファイル上の、検索されるべき特定のセマンティックリフェレンスに関するタグを検索するための指示を受け入れ；
前記検索されるべきビデオデータファイル上の、特定のセマンティックリフェレンス、及び、階層レベル中の特定の層に関するタグを検索するための指示を更に受け入れ；
前記検索されるべきビデオデータファイル上の、特定のセマンティックリフェレンスと階層レベル中の特定の層を有する記録情報を、タグから読み取り；
特定のセマンティックリフェレンスと階層レベル中の特定の層を有するタグ付のビデオファイルデータを抽出し；
特定のセマンティックリフェレンスと階層レベル中の特定の層を有するタグ付きビデオファイルデータを一続きに表示することからなる、
少なくとも一つのセマンティックリフェレンスが割り当てられると共に、更に多層構造における特定の層が割り当てられたフィールドを有するタグが付され、特定のセマンティックリフェレンスと特定の層を有するタグ付のビデオファイルデータが並べかえられ一続きで表示されるように構築されてなる、表示すべきビデオファイルデータを表示するビデオファイルデータの表示方法。
【請求項３】
コンテンツページが、抽出された複数のビデオファイルデータ及びそのタグを示すことによって、前記表示が、Ｎ−Ｎ関係及び多重アクセス並びに多重表示を有する複数のビデオファイルデータの表示を支持する、請求項１又は２に記載されたビデオファイルデータの表示方法。
【請求項４】
前記階層構造が多層からなり、その最上層が包括的な情報を表示し、より下層が比較的基本的な情報を表示し、最下層が最も基本的な情報を表示する、請求項２に記載されたビデオファイルデータの表示方法。
【請求項５】
前記階層構造が、シーン、プロット、プレイ、ショット、テイク、フレーム及びオブジェクトの６層からなり、その最上層が包括的な情報を表示し、より下層が比較的基本的な情報を表示し、最下層が最も基本的な情報を表示する、請求項２に記載されたビデオファイルデータの表示方法。
【請求項６】
特定のセマンティックレファレンス及び特定の層に関する情報を有するタグ付の前記複数のビデオファイルデータがハイパーリンクされ一連に提供された、請求項２に記載されたビデオファイルデータの表示方法。
【請求項７】
検索されるべき前記ビデオファイルデータ上に少なくとも一つのセマンティックレファレンスを持ったフィールドを有する記録に関する情報を含む、そのようなセマンティックレファレンスを含むタグ付きの、一つのビデオファイルデータ又は複数のビデオファイルデータ；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックレファレンスに関するタグを検索するように指示するための入力ユニット；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックレファレンスを持った記録に関する情報を、タグから読み出すための読み出しユニット；
特定のセマンティックレファレンスを有するタグ付きのビデオファイルデータを抽出するための抽出ユニット；及び、
抽出された、特定のセマンティックレファレンスを有するタグ付きのビデオファイルデータを一連に表示するための表示ユニット、
とからなる、少なくとも一つのセマンティックリフェレンスが割り当てられたフィールドを有するタグが付され、特定のセマンティックリフェレンスを有するタグ付のビデオファイルデータが並べかえられ一続きで表示されるように構築されてなる、表示すべきビデオファイルデータを表示する装置。
【請求項８】
検索されるべきビデオファイルデータ上に少なくとも一つのセマンティックレファレンスを持ったフィールドを有する記録に関する情報を含む、そのようなセマンティックレファレンス、及び、検索されるべき前記ビデオファイルデータ上のセマンティックレファレンスを複数の階層レベルを用いてクラス分けすることによって特定の層の情報を含むタグ付きの、一つのビデオファイルデータ又は複数のビデオファイルデータタグ；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックレファレンスに関するタグ、及び、検索されるべき前記ビデオファイルデータ上の特定のセマンティックレファレンス並びに階層レベル中の特定の層に関するタグを検索するように指示するための入力ユニット；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックレファレンス、及び、階層レベルにおける特定の層を有する記録に関する情報を、タグから読み出すための読み出しユニット；
特定のセマンティックレファレンス及び階層レベル中の特定の層を有するタグが付いたビデオファイルデータを抽出するための抽出ユニット；及び、
抽出された、特定のセマンティックレファレンス及び階層レベル中の特定の層を有するタグが付いたビデオファイルデータを一連に表示するための表示ユニット、
とからなる、少なくとも一つのセマンティックリフェレンス及び多層構造における特定の層が割り当てられたフィールドを有するタグが付され、特定のセマンティックリフェレンス及び特定の層を有するタグ付のビデオファイルデータが並べかえられ一続きで表示されるように構築されてなる、表示すべきビデオファイルデータを表示する装置。
【請求項９】
表示されるべきビデオファイルデータを表示するようにコンピュータに指示するためのコンピュータ読み取り可能なメモリー製品；
該表示されるべきビデオファイルデータは、少なくとも一つのセマンティックリフェレンスが割り当てられたフィールドを有するタグが付されており、特定のセマンティックリフェレンスを有するタグ付のビデオファイルデータが並べかえられ一続きで表示されるように構築されてなり、
ビデオファイルデータに対するセマンティックリフェレンス（該セマンティックリフェレンスは、検索されるべき前記ビデオファイルデータ上の少なくとも一つのセマンティックリフェレンスを持ったフィールドを有する記録に関する情報を含む）を有する複数のタグを用いて、
コンピュータに下記の事項を指示するためのプログラムを、前記メモリプロダクトは格納している；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックリフェレンスに関するタグを検索するための指示を受け入れ；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックリフェレンスを有する記録に関する情報をタグから読み出し；
特定のセマンティックリフェレンスを有するタグの付いたビデオファイルデータを抽出し；
抽出された、特定のセマンティックリフェレンスを有するタグの付いたビデオファイルデータを一連に表示する。
【請求項１０】
表示されるべきビデオファイルデータを表示するようにコンピュータに指示するためのコンピュータ読み取り可能なメモリー製品；
該表示されるべきビデオファイルデータは、少なくとも一つのセマンティックリフェレンス及び多層構造中の特定の層が割り当てられたフィールドを有するタグが付されており、特定のセマンティックリフェレンスを有するタグ付のビデオファイルデータが、ビデオファイルデータに対するセマンティックリフェレンスを有する複数のタグを用いることによって、並べかえられ一続きで表示されるように構築されてなり、
該セマンティックリフェレンスは、検索されるべき前記ビデオファイルデータ上の少なくとも一つのセマンティックリフェレンスを持ったフィールドを有する記録に関する情報を含み、
前記複数のタグは、検索されるべく前記ビデオファイルデータ上のセマンティックリフェレンスを、複数の階層レベルを用いてクラス分けすることによって特定の層の情報を含み、
コンピュータに下記の事項を指示するためのプログラムを、前記メモリプロダクトは格納しており；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックリフェレンスに関するタグを検索するための、及び、検索されるべき前記ビデオファイルデータ上の特定のセマンティックリフェレンス並びに階層レベル中の特定の層に関するタグを検索するための指示を受け入れ；
検索されるべき前記ビデオファイルデータ上の特定のセマンティックリフェレンス、及び、階層レベル中の特定の層を有する記録に関する情報をタグから読み出し；
特定のセマンティックリフェレンス及び階層レベル中の特定の層を有するタグの付いたビデオファイルデータを抽出し；
抽出された、特定のセマンティックリフェレンス及び階層レベル中の特定の層を有するタグの付いたビデオファイルデータを一連に表示する。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公表番号】特表２０１１−５２３４８４（Ｐ２０１１−５２３４８４Ａ）
【公表日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願番号】特願２０１１−５１０８０１（Ｐ２０１１−５１０８０１）
【出願日】平成２０年５月２７日（２００８．５．２７）
【国際出願番号】ＰＣＴ／ＣＮ２００８／００１０２６
【国際公開番号】ＷＯ２００９／１４３６４８
【国際公開日】平成２１年１２月３日（２００９．１２．３）
【出願人】（５１０３１２８８０）マルチ ベース リミテッド (1)
【氏名又は名称原語表記】ＭＵＬＴＩ ＢＡＳＥ ＬＴＤ
【Ｆターム（参考）】
【公表日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願日】平成２０年５月２７日（２００８．５．２７）
【国際出願番号】ＰＣＴ／ＣＮ２００８／００１０２６
【国際公開番号】ＷＯ２００９／１４３６４８
【国際公開日】平成２１年１２月３日（２００９．１２．３）
【出願人】（５１０３１２８８０）マルチ ベース リミテッド (1)
【氏名又は名称原語表記】ＭＵＬＴＩ ＢＡＳＥ ＬＴＤ
【Ｆターム（参考）】
[ Back to top ]