マルチメディアデジタルコンテンツの視覚化及び制御技術
マルチメディアコンテンツ（ビデオデータ、オーディオデータ及び／又はテキストデータ）を効率的にプレビューするシステム（１０００）を提供する。これに関連して、本、雑誌、新聞のように、マルチメディアコンテンツ（例えば、電子ブックデジタルビデオ又はデジタルオーディオファイルのコンテンツ）の「ページをめくる」ための基本機構を定義する概念的フレームワークを導入する。プレビューを要求されたマルチメディアデータのコンテンツをブラウジングするブラウジング方法では、コンテンツは、マルチメディアデータを格納するマルチメディアサーバ（１００２）にアクセスするクライアント端末（１００６）に表示される。マルチメディアサーバ（１００２）から、ネットワークリンクを介してクライアント端末（１００６）にマルチメディアデータをダウンロード（Ｓ０）した後に、マルチメディアサーバ１００２は、以下では、「表示パラメータ」と呼ぶブラウジングの速度及び／又は表示の抽象化レベルの変更を要求するユーザコマンドを受信（Ｓ１ａ）及び処理（Ｓ１ｂ）する。この後、マルチメディアデータは、オフライン画像及び／又はテキストセグメント化アルゴリズムに基づいて、非冗長な部分及び冗長で関連性が低い部分に分解される（Ｓ２）。そして、これらの表示パラメータは、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、ユーザコマンドの種類及び／又は周波数に応じて、所定量の、冗長な、関連性が低い部分をオンラインフィルタリングにより除外（Ｓ３’）することによって、適応化（Ｓ３）される。そして、マルチメディアデータの適応化されたバージョンは、クライアント端末（１００６）に表示される（Ｓ４）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には、マルチメディアコンテンツを高速にブラウジングするための技術に関する。詳しくは、本発明は、効率的にマルチメディアコンテンツをプレビューするための基本機構を定義する概念的フレームワークの実現に関する。
【背景技術】
【０００２】
今日、多量のデジタルマルチメディアデータを含むデジタルコンテンツアーカイブが利用可能になり、関連する情報を抽出するための効率的なブラウジングメカニズムが必要になっている。情報のオーバロードを避けるために、ブラウジングシステムは、ユーザにとって適切な手法により、データベースから情報の一部を予備的に選択する必要がある。更に、このようなブラウジングシステムは、時間に依存するメディアの連続した表示をサポートできなくてはならない。ブラウジングアプリケーションのユーザは、概念的な用語でしか記述できない曖昧な情報要求を行うことも多い。更に、一般的なブラウジングシステムは、ユーザの指示に従い、情報をインタラクティブに調べるメカニズムを提供しなければならない。
【０００３】
ユーザインタフェースシステムの設計においては、一般的なストラテジとして、物理的な比喩を用いることがある。例えば、非特許文献１に開示されているように、既存の技術では、周知のビデオインデクス付与システムにおいて、ビデオブラウジングの分野に「本の索引付け（book indexing）」技術を適用する。
【０００４】
人々の行動を分析した結果、多くの人は、通常、販売店で未読の雑誌を買う前に、その雑誌のページを高速にめくることがわかった。このように、手作業及び脳内作業を組み合わせて、ある程度のレベルの理解に達するまで、雑誌に含まれている情報が高速にブラウジングされる。このような作業は、雑誌の内容をより高度に読解するために繰り返されることもある。「読み手のブラウジング速度」は、その読み手の興味のレベルに動的に適応化される。読み手がページの内容に関心がある場合、その読み手は、より丁寧にページをめくる。一方、読み手がその内容にあまり関心がない場合、読み手は、不連続にページを飛ばしながら順方向又は逆方向にページをめくり、中間のページから幾つかの情報を拾う。
【０００５】
現在の技術水準の簡単な説明
本発明の中心的概念を明瞭に説明するために、現在の技術水準に基づく周知のビデオ要約、オーディオブラウジング及び電子ブックシステムの最も重要な特徴の幾つかについて簡潔に説明する。
【０００６】
特許文献１には、コンテンツ及び構造に基づくビデオブラウジングのための方法及び装置が開示されている。この文献には、複雑なビデオ選択を階層的に分解して抽出する新たなブラウジング技術が提案されており、ここでは、視覚的及び時間的な情報を結合し、シーン内及びビデオの異なるシーン間の最も重要な関係を捕捉することにより、コンテンツに関する予備的な知識なしで、基本的なストーリー構造が解析できる。
【０００７】
特許文献２には、デジタルビデオの階層的な要約及びブラウジングのための方法が開示されており、この方法は、デジタルビデオシーケンスのデジタルビデオ信号を入力するステップと、このビデオシーケンスのキーフレームに基づいて、階層的な概要を生成するステップとを含む。
【０００８】
特許文献３には、ショット重要度の尺度及びフレームパッキング技術を用いた自動ビデオ要約技術が開示されている。
【０００９】
特許文献４には、ユーザが、ビデオストリームから、興味があるストーリーを高速且つ容易に選択し、受け取ることができる個人化されたビデオ分類及び情報検索システムが開示されている。
【００１０】
特許文献５には、スキャニング又はブラウジングの速度を変更するビデオオンデマンド（ＶｏＤ）システム及びこれに対応する方法が開示されている。
【００１１】
特許文献６には、マルチメディアを検索及びブラウジングするシステムが開示されており、特に、ビデオファイルのコンテンツをスキミングし、所望のセクションに速やかに移動することにより、ビデオファイルのフルコンテンツを短時間に要約できるビデオスキミング方法及び装置が開示されている。
【００１２】
特許文献７には、読解能力（reading proficiency）を高めるためのコンピュータにより実現された技術が開示されている。ここでは、ビデオ画面にテキストのセグメントを表示する。
【００１３】
特許文献８には、デジタル記録媒体（例えば、デジタルビデオカセットレコーダ）に不連続に記録された写真情報のシート内で検索を行う連続的な検索方法及び装置が開示されている。
【００１４】
特許文献９には、動画をブラウジングし、この動画内で所望のセグメントの位置を見つけ出すための方法及び装置が開示されている。
【００１５】
特許文献１０には、画像処理システムにおいて実行されるビデオ画像からテキスト及び画像データを選択する方法が開示されている。
【００１６】
本発明が解決する課題
今日、デジタルマルチメディアコンテンツ（映画、ウェブページ、電子ブック、オーディオ及びビデオファイル等からのビデオデータ、オーディオデータ、テキストデータ）の量が増加したことにより、マルチメディアコンテンツの消費に関連する問題及び課題が浮上している。最も重要な問題の１つは、デジタルマルチメディアコンテンツをブラウジングし、ダイジェストを作成する作業は、通常、非常に時間が掛かるため、デジタルビデオコンテンツに含まれている情報を速やかに把握し、そのダイジェストを短時間で作成するために、デジタルマルチメディアコンテンツを如何に高速にブラウズするかという問題である。しかしながら、現在提案されている自動又は半自動のビデオ要約システムは、以下のような多くの制約を有している。
＊コンピュータベースのユーザインタラクションが不十分であり、用いられるＧＵＩパラダイムが非直感的である。
＊演算が複雑である（特に複雑な抽出アルゴリズムを適用した場合。これは、特定のコンテンツタイプに制約されることが多い）。
＊プレビュー及びダイジェストのいずれかがフォーカスされる。
＊プレビュー時間が長すぎる。
＊ユーザの嗜好のモデリングが不十分である。
【００１７】
【特許文献１】米国特許第５，７０８，７６７号
【特許文献２】米国特許第５，９９５，０９５号
【特許文献３】米国特許第６，５３５，６３９号
【特許文献４】国際公開公報第ＷＯ００／３９７０７号
【特許文献５】欧州特許公開公報ＥＰ０６７６８９８Ａ１号
【特許文献６】米国特許出願公開第２００２／００５１０１０号
【特許文献７】欧州特許公開公報ＥＰ１２０５８９８Ａ２号
【特許文献８】英国特許第ＧＢ２３２２２２５号
【特許文献９】米国特許第５，８４７，７０３号
【特許文献１０】米国特許第６，１７８，２７０号
【非特許文献１】Ｃ．Ｇ．Ｍ．Ｓｎｏｅｋ、Ｍ．Ｗｏｒｒｉｎｇによる「マルチモーダルビデオのインデクス付与：既存の技術のレビュー（Multimodal Video Indexing: A Review of the State-of-the-Art）」（技術報告書２００１−２０、インテリジェントセンサ情報システムグループ、アムステルダム大学：Technical Report 2001-20, Intelligent Sensory Information Systems Group, University of Amsterdam）
【発明の開示】
【発明が解決しようとする課題】
【００１８】
上述した課題に鑑み、本発明の目的は、視覚的／手動フレームワークをユーザに提供し、効率的且つ直感的な手法でデジタルマルチメディアコンテンツをプレビューできるマルチメディアプレビューシステム及びブラウジング方法を提供することである。
【課題を解決するための手段】
【００１９】
この目的は、独立請求項の特徴によって達成される。有利な特徴は、従属請求項に定義されている。発明の更なる目的及び利点は、以下の詳細な説明によって明らかとなる。
【００２０】
本発明は、ユーザにより操作される速度に依存するブラウジング処理に基づいて、デジタルマルチメディアコンテンツ（ビデオ、オーディオ及び／又はテキストデータ）を高速且つインタラクティブにブラウジングするマルチメディアプレビューシステムの異なる実現例を提供する。ここでは、マルチメディアコンテンツ（例えば、電子ブックデジタルビデオ又はデジタルオーディオファイルのコンテンツ）の「ページをめくる」ための基本機構を定義する概念的フレームワークを導入する。これにより、本発明に係るマルチメディアプレビューシステムは、本又は写真誌のページをめくる直感的な手作業及び脳内作業をエミュレートするユーザインタラクションモデルを提供する。この結果、マルチメディアプレビューシステムは、デジタルマルチメディアコンテンツのプレビューのための又はダイジェストを迅速に作成するための特別なナビゲーションパターンを提供する。
【００２１】
これは、ブラウジング速度及び異なる意味レベルに応じたデジタルコンテンツの動的な表示スキーム、大雑把なページめくりをエミュレートする効果的で直感的なマニュアルユーザインタラクションパターン及び非線形ナビゲーションパターンを含む。この文脈において、「意味レベル」という用語は、異なる量の情報を搬送する同じデジタルコンテンツの可能な抽象表現を意味する。例えば、単純なテキストは、情報全体の異なる部分を伝えるタイトル、見出し、キーワード等、異なる意味レベルで表すことができる。ビデオデータの場合、ここに提案する解決策は、より中立的で、個人化されたブラウジングの手法を提供し、より高いレベルのユーザ操作子を提供することによって、従来の技術に基づく既存のビデオ抽出アルゴリズムの複雑性を相殺する。
【００２２】
本発明では、「意味ズーム」機能と、複数の情報モードの使用と、自然なユーザインタラクションとを結合する。コンテンツに対する意味ズームとは、コンテンツ自体を十分に理解するために、異なる度合いの重要度を有する情報を視覚的に提供する能力として定義される。ビデオ又は本に含まれている情報は、通常、例えば、テキスト、写真、動画等の冗長なメディアを用いて提供され、意味ズームは、必要な詳細の度合いに応じて、大きな情報コンテナ内の情報の最小の非冗長な下位集合を表現する技術である。
【００２３】
このマルチメディアプレビューシステムは、マルチメディアプレビューシステムに対し、ブラウジングの速度の変更を指示するユーザコマンドの種類及び／又は周波数に応じて、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、表示の速度及び詳細レベルを変更する更なるビデオブラウジング機能を有するビデオオンデマンドシステムとして実現してもよい。
【００２４】
ここに提案するマルチメディアプレビューシステムの１つの可能な具体例では、例えば、デジタルビデオ又はオーディオデータファイルのコンテンツを分解し、このコンテンツのセグメント化された部分に異なる詳細レベルを表す異なるブラウジング速度を割り当て、ブラウジングの速度を制御する。なお、特許文献４及び特許文献６とは異なり、本発明に基づくマルチメディアプレビューシステムは、例えば、ショット及びシーン検出手段等の意味解析ツールに依存しない。これに代えて、ファイルは、ビデオシーケンスの幾つかの部分を切り取ることによって時間的に圧縮され、視覚化された情報をスクロールするスピードは、ユーザが制御できる。この結果、ユーザは、再生速度及び時間的に圧縮する必要があるビデオシーケンスのサイズの２つのパラメータをインタラクティブに、リアルタイムで制御することができる。本発明が提案するマルチメディアプレビューシステムは、ユーザが興味を持たないと推定される部分を「隠す」ことなく、ユーザにコンテンツの概要を把握させ、コンテンツに興味を持てるか否かをユーザ自身が判断できるようにすることを意図する。
【００２５】
特許文献５とは異なり、本発明に基づくマルチメディアプレビューシステムによって再生されるデータセグメントは、典型的なＭＰＥＧ−２ＧＯＦより遙かに大きい。更に、セグメント化は、ＭＰＥＧで用いられる圧縮方式の種類に基づいて行う必要はない。更に、セグメント自体を標準の再生速度とは異なる速度で再生してもよい。
【００２６】
本発明の基本的な手法は、ユーザの嗜好又はコンテンツの種類について、如何なる特定の仮定も定義せず、ユーザ自身によって完全に制御され、ユーザがデジタルコンテンツをブラウジングする能力を向上させるマルチメディアプレビューシステムを提供する。
【発明を実施するための最良の形態】
【００２７】
以下、図１ａ〜図１８ｂを参照して、本発明の実施の形態を詳細に説明する。図１ａ〜図１８ｂで用いる参照番号及び符号によって表される全ての記号の意味については、本明細書に添付する表に示している。
【００２８】
図１ａ〜ｃは、写真誌のページをめくる際の読み手の手作業及び脳内作業の両方を示している。このように、読み手は、ページの異なる部分に視点を移し、表示された情報を脳内でフィルタリングし、自らの特定の興味の度合いに応じて、雑誌のコンテンツを、素早く又はゆっくり閲覧（ブラウジング）する。
【００２９】
このページめくり作業をモデリングするフローチャートを図１ｄに示す。ここでは、読み手は、ページの異なる要素（写真、タイトル、サブタイトル等）に空間的に視点を合わせ、自らの興味に基づいて、擬似ランダム的に情報をナビゲートする。このような手法により、読み手は、迅速且つ簡単な手法で、多量の情報を閲覧できる。
【００３０】
また、脳内のフィルタリング処理は、コンテンツの種類及び表示されたページ自体の構造に基づいて行うこともできる。例えば、写真は、テキスト情報より素早く理解でき、タイトル及びサブタイトルの読取りは、本文を読むことより簡単である。このため、この作業は、指を用いて１行ずつ雑誌を読むことによってもサポートされる。なお、雑誌の複数のページに亘るナビゲートは、より高度であり、すなわち、このようなナビゲート作業は、単純なパターン（例えば、ビデオカセットレコーダを制御するためのパターン）で進められるわけではない。観察により、写真誌のページをめくる際の異なる種類のナビゲーションパターンは、遅いスクロール、速いスクロール、異なるページへのスキップ、順方向及び逆方向への素早い移動等として特定できる。情報を調べるにあたり、時間的な制約も何らかの空間レイアウトも定められていないが、ユーザ自身が擬似ランダムパスに従って、ナビゲーション作業を進める。
【００３１】
このような処理は、一般化でき、異なるデジタルコンテンツに適用できる。デジタルデータは、自動化アルゴリズムにより、様々な目的で容易に処理できるため、ここでは特に「デジタル」のコンテンツに焦点をあてる。
【００３２】
デジタルビデオは、より単純な構造の異なる情報チャンネルに容易に分離でき、例えば、ビデオシーンは、写真フレームによって表現でき、オーディオは、幾つかの種類（音声、楽曲、沈黙等）に分類できる。更に、「興味／詳細」のレベル又はブラウジングの速度に応じて、代替となる代理表現を用いることによって情報を変更してもよい。
【００３３】
本発明の第１の実施の形態では、ビデオプレビューシステムにおいて、ページめくりモデル（leafing model）を用いる。このために、プレビューのために、ビデオストリームを基本的なオブジェクト（フレーム、テキスト及び音サンプル）に分割し、異なる抽象化／詳細レベルの表現（「意味的度合い」）を提供する必要がある。そして、これらのオブジェクトは、時間ベースのスケールで抽出される。初めは、意味的に重要なオブジェクト（例えば、シーン／ショット境界、図２参照）を抽出するための処理は行われない。例えば、２〜３分毎にメインフレームを抽出し、他のフレームを１５〜２０秒毎に抽出してもよい。これらの２つのグループは、コンテンツ自体に関して、部分的な意味「ウィンドウ」をユーザに提供するため、表示する視覚的情報の２つの意味ズームレベルを表す。２つの更なる意味レベルを表すダイアログテキスト及びシーンコメントは、ビジュアルコンテンツと同期される。
【００３４】
このように、異なる情報表現は、最も粗いレイアウト（キーフレーム及びテキスト概要）、中間的な粗さのレイアウト（他のフレーム及びダイアログテキスト）及び最も細かいレイアウト（音声有効）の３つの意味空間レイアウトにグループ化される。
【００３５】
ユーザは、いつでも完全なビデオの再生を選択できる。クイックブラウジングでは、情報は、ユーザのブラウジング速度に応じた可変の意味レイアウトによって動的に表示される。例えば、大きく情報をジャンプする場合（long-jump transition）、ユーザには、スライドショーモードにより、極めて僅かなキーフレームと、概要キーワードだけが示される。ビデオシーケンスを介して、特に非線形逆方向／順方向ジャンプを行う場合、ブラウジング速度及び情報レイアウトの組合せを用いる。
【００３６】
図２は、マルチメディアプレビューシステムによって表示されるビデオシーケンスのコンテンツに適用される本発明に基づくマルチメディア分解処理の具体例を示している。このプレビューシステムは、本発明に基づく「マルチメディア意味ズーム」機能を備え、異なる速度及びテキスト及び／又は画像の表示の詳細レベルを提供し、これらは、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、ユーザが選択できる。
【００３７】
「意味ズーム」機能は、必要な詳細の度合いに応じて、要求されたマルチメディア情報（ビデオ、電子ブック、オーディオデータファイル）を異なる手法でユーザに提供する。例えば、情報のコンテナとしての雑誌は、読み手が求める詳細の度合いに応じて、含まれた情報の下位集合によって表すことができる。また、ビデオは、時間、空間、品質等、ビデオが含む情報の、代替となる異なる下位集合によって表現できる。意味ズームの範囲は、フルコンテンツ（例えば、ビデオの再生、ページ毎の本の読解等）から、簡易な代替的情報（写真、テキスト、オーディオサンプル等）を提供する様々な下位の詳細レベルに及ぶ。最終的な目標は、ナビゲーションの速度と、必要な詳細の度合いとを関連付けてユーザに提供することである。
【００３８】
本発明の一実施の形態は、プレビューを要求されたマルチメディアデータのコンテンツをブラウジングするブラウジング方法を提供し、このコンテンツは、マルチメディアデータを格納するマルチメディアサーバ１００２にアクセスするクライアント端末１００６に表示される。マルチメディアサーバ１００２から、ネットワークリンクを介してクライアント端末１００６にマルチメディアデータをダウンロード（Ｓ０）した後に、マルチメディアサーバ１００２は、以下では、「表示パラメータ」と呼ぶブラウジングの速度及び／又は表示の抽象化レベルの変更を要求するユーザコマンドを受信（Ｓ１ａ）及び処理（Ｓ１ｂ）する。この後、マルチメディアデータは、オフライン画像及び／又はテキストセグメント化アルゴリズムに基づいて、非冗長な部分及び冗長で関連性が低い部分に分解される（Ｓ２）。そして、これらの表示パラメータは、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、ユーザコマンドの種類及び／又は周波数に応じて、所定量の、冗長な、関連性が低い部分をオンラインフィルタリングにより除外（Ｓ３’）することによって、適応化（Ｓ３）される。そして、マルチメディアデータの適応化されたバージョンは、クライアント端末１００６に表示される（Ｓ４）。
【００３９】
プレビューするマルチメディアデータのセグメント化された部分をユーザが特定することができる何らかの種類のメタデータをマルチメディアデータに関連付ける（Ｓ５ａ）ことが好ましい。したがって、メタデータをマルチメディアデータに同期させる（Ｓ５ｂ）必要がある。
【００４０】
ここに提案する「ページめくりモデル」は、従来のインデクス付与法とは、根本的に異なる。書籍は、そのテキスト的な性質のために、概要及びインデクスを介して容易にブラウジングでき、また、既存のビデオ要約技術は、この原理に基づいているが、ビデオコンテンツのマルチメディア的な性質のために、このような技術には、大きな制約がある。
【００４１】
既存の「ページめくりモデル」と同様のシステムを、ビデオコンテンツについて実現するためには、ビデオ情報を幾つかの基本コンポーネントに分解する必要がある。以下では、本発明が提案する技術の導入として、この分解及び意味ズーム法について説明する。
【００４２】
ビジュアルコンテンツを高速にブラウジングするために、異なるキーフレームを用いる。キーフレーム検出／選択のために幾つかのシステムが開発されているが、ここに提案するシステムは、ユーザインタラクション及び一定の間隔選択の組合せを用いる。ここに開示するシステムは、選択処理を容易にするために、一定の時間的距離で異なるキーフレームを選択し、多量の情報を介して学習するユーザの能力を利用する。
【００４３】
人工的映像の性質のために、ビデオ情報は突然には変化しないという事実に基づき、単一の時間的な間隔Ｄ（例えば、２分）で、統計的にあらゆるフレームを代表フレームとして用いることができる。これは、数学的には以下のように記述できる。
「遅い変化に対応する関数ｙ＝ｆ（ｘ）において、Ｄを十分に小さい値として、間隔［ｘ，ｘ＋Ｄ］において、ｆ（ｘ）の概算処理として値ｆ（ｘ０）を用いることができる」
ビデオシーンを高速に変更する際に生じる情報の欠落は、幾つかの冗長な情報モード（テキスト、カラー等）を用いることにより補償される。
【００４４】
また、リアルタイムでの処理の進行に有害な処理時間の増加を考慮に入れるために、キーフレーム検出について、この他の新たな又は既存の技術を適用してもよい。時間間隔Ｄは、ユーザコマンドの速度及び周波数に応じて変更してもよい。
【００４５】
発明の更なる実施の形態では、ビデオフィルムのオーディオコンポーネントは、オーディオサンプル（例えば、サウンドトラックの非常に短いサンプル、音声サンプル等）に分割され、雑誌を読む際のタイトル及びサブタイトルに等価である、単純な意味レベルに関するテキストによる代替表現を用いて、このビデオフィルムの音声コンポーネントが提供される。幾つかの場合、ユーザは、現在、ブラウジングしている情報の概要のみに関心があり、したがって、このような場合は、詳細を無視し、より高いレベルに抽象化された情報を提供することで十分である。
【００４６】
ビデオコンテンツの複雑性に応じて異なるレベルのテキスト情報を提供してもよい。例えば、ルポルタージュ又は大学の教育用ビデオでは、話者の音声を表すテキストのみを提供し、映画では、所定のビデオ期間の包括的な概要又はダイアログ又は音サンプルと共により詳細なレベルの情報を提供できる。
【００４７】
ビジュアル領域及びテキスト領域においては、例えば、キーワード又は異なる画質を用いることによって異なる度合いの意味ズームを提供してもよい。
【００４８】
一旦、全ての主なコンポーネントを分離した後に、ユーザが異なる度合いの意味（semantics）に焦点を合わせることができるように、情報を構造化する。そして、図３に示すように、プレビューされるビデオシーケンスのコンテンツの異なる詳細レベルの表示に対応する空間レイアウト（インタラクションが行われることなくユーザに表示されるので「静的レイアウト」とも呼ばれる。）を定義することができる。情報の空間的な配置は、ユーザが異なるレベルの詳細に焦点を合わせるために役立つ。
【００４９】
図３の具体例に示すように、例えば、精度が粗い領域３０６ａ〜ｅと、精度が細かい領域３０８ａ〜ｈの２つの主領域を定義することができる。第１の領域は、Ｎ個のキーフレーム３０６ａ〜ｅの集合からなり、約２分の間隔Ｔは、大きいビデオ間隔を表す。テキスト領域３１０、３１２は、例えば、対応するキーフレームの非常に包括的な概要をテキストによって表示する。この場合、代替となる「意味ズーム」は、視覚的情報と、テキスト情報との間で行われる。このような情報の概算処理は、テキスト及び画像によって導入される冗長性に基づいて実行される。キーフレーム領域３０６ａ〜ｅでは、遠近法を用いて、単一のフレームに焦点を合わせたことを表現する。同時に、ユーザには、Ｎ×Ｔの全長を有するビデオ間隔に対応する時間軸が表示される。
【００５０】
精度が細かい領域３０８ａ〜ｈは、より小さいサンプル時間間隔（例えば、３０秒）で同様のパターンを表示し、主なキーフレームの時間間隔だけを表す（図３を参照する）。テキスト情報は、より詳細な情報を含む。このテキスト情報は、映画の場合、ダイアログテキスト３１０に関連付けることができ、ルポルタージュの場合、話者の発話内容を書き取ったテキスト等に関連付けることができる。
【００５１】
各領域に割り当てられた空間は、伝えられる意味の度合いに比例していることが望ましい。ここに提案するシステムでは、５０％を超える空間的領域を精度が粗い領域３０６ａ〜ｅである最も高い意味レベルに割り当てている（図３参照）。もちろん、この他の値を用いてもよく、ユーザがマニュアルでこの値を設定してもよい。空間レイアウトのこのような割当は、ユーザナビゲーションパターン（高速、低速等）に応じて自動的に行うことができる。
【００５２】
他の代替情報を用いて、他の情報を表示することもできる。例えば、ナビゲーションバー上で色を用いて、オーディオのダイナミクスを表示してもよい。このようなレイアウトでは、空間的に表示できない映画の音声を提供することができる。ユーザが時間Δｔ（例えば、１０秒）に亘って、現在表示されているレイアウト上でのフォーカスを維持すると、現在の表示されているビデオ期間を特徴付けるサウンドトラックが再生される。これにより、ユーザは、自動的に又は手動でビデオ再生を実行し、完全なビデオ情報（最大の意味レベル）を再生することができる。
【００５３】
本願が開示するシステムでは、その動的な振る舞いが基本的な重要性を有する。まず、「雑誌のページめくり」の動的解析から、より直感的なナビゲーションパターンを実現する重要度が確認される。ナビゲーションパターンは、ファジィな動作及び「デジタル指」によって雑誌のページをめくる能力にマッピングされる。
【００５４】
図６ａは、ビデオシーケンスをプレビューするためのヒューマンマシンインタフェースとして用いることができる様々な入力及びナビゲーション制御装置６０２ａ〜ｃを示しており、３キーのタッチパッドディスプレイ６０２ａは、ビデオシーケンスを再生し、高速／低速スクロールし、概要を把握するためにシンボルのリストをナビゲートするためのヒューマンマシンインタフェースとして機能し、マウス装置６０２ｂは、上述したナビゲーティング動作を実行するヒューマンマシンインタフェースとして機能し、リモートコントローラ６０２ｃは、ビデオカセットレコーダの機能（例えば、ビデオシーケンスの再生、早送り、高速巻戻し、ビデオの再生の一時停止又は停止）を実行するための制御キーを備える。図６ａは、更に、ブラウジングの速度及び加速度を制御するために用いられるこれらの機器で実行可能なナビゲーション動作を示している。このように速度を高めること及び加速により、対応する結果が情報として表示される。
【００５５】
このため、各動作は、特定の「意味レベル」に関連付けられ、すなわち、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、表示される情報には、表示の各抽象化レベルに応じて優先順位が付される。テキストデータは、容易且つ速やかに視覚化でき、ユーザが読解することができるが、オーディオデータは、高速ブラウジングの際、再生することは容易ではない。例えば、高速ブラウジングの間は、「静的レイアウト」で表示される情報は、より高い抽象化レベルを維持するように削減され、これは、表示レイアウトに、僅かな詳細だけを表示することを意味する。図７ａ〜ｄは、ビデオシーケンスのコンテンツをより速く又はより遅くブラウジングするためのユーザコマンドに応じて、テキスト及び／又は画像の表示の速度及び詳細レベルが変化するブラウジング処理の間の動的な表示レイアウトを示す４つの図を示している。例えば、静的レイアウトは、より粗い詳細に焦点を合わせるために簡略化できる。
【００５６】
また、ここに提案するマルチメディアプレビューシステムの動的な振る舞いの一部として、システムの空間的、時間的及び意味的パラメータを動的に変更してもよい。例えばテキスト情報をキーワードに変更してもよい。これにより、ユーザは、物理的次元（より大きいフォント）及び意味的次元（キーワード）の両方について、テキスト領域の上で意味的なズームを行うことができる。更に、ユーザコマンドの速度及び／又は周波数に基づき、写真フレームを選択するために用いられる時間的な間隔を変更してもよい。
【００５７】
ユーザのナビゲーションコマンドを入力し、マルチメディアプレビューシステムを遠隔制御するためのユーザ入力装置は、入力されたコマンドを、プレビューシステムによって実行されるプログラミングされたナビゲーション動作（例えば、ブラウジングの速度を変更する動作）に直観的にマッピングすることが望ましい。例えば、図６ａに示すように、タッチパッドディスプレイ６０２ａを用いて、ビデオシーケンスを再生し、高速／低速スクロールし、概要を把握するためにシンボルのリストをナビゲートすることができる。この技術は、直感的な手法で「ページめくり」動作を実現する全ての種類の機器に追加することができ、特に、可撓性を有するユーザインタフェースにより、例えば指を用いた、連続的な入力動作が実現される。可撓性を有するユーザインタフェースは、既に実現されている（図８ａ〜ｆ参照）。図８ａに示すように、このような可撓ＰＤＡ８００ａを僅かに撓ませることにより、プレビューシステムのプログラミングされた機能（例えば、組み込まれたディスプレイ８０２ａに表示される仮想地図８００ｃ〜ｅのズームイン又はズームアウト）を呼び出すことができる。この他のプロトタイプとしては、図８ｂに示すような、ナビゲーションシステムが組み込まれたクレジットカードサイズの表示装置８００ｂ（所謂「ツーリストブラウザ（tourist browser）」）がある。この機器は、カードの様々な方向への撓みを検出する様々な圧電センサを備えている。
【００５８】
また、ここに説明するシステムは、例えば、ビデオデジタルコンテンツの販売促進にも活用できる。これは、例えば、上述したナビゲーションモードをウェブサイト上で実現することによって達成できる。他の適用例として、ディスプレイ機能が組み込まれたＤＶＤカバーをヒューマンマシンインタフェースとして用いて、本発明に基づくビデオプレビューシステムを遠隔制御してもよい（図９を参照する）。
【００５９】
上述のように、システムを動作させるために必要な全ての追加的情報は、例えば、映画の脚本、絵コンテ等から自動的に読み出してもよく、又は、例えば、ビデオソースから抽出してもよい（例えば、音声−テキスト変換の実行）。このような追加的データの組は、映画に埋め込んでもよく、個別に配信してもよい。本発明の一具体例では、容易に入手でき、容易に処理できる映画の脚本を更なるテキスト情報のデータソースとして用いる。
【００６０】
発明の一実施の形態では、全ての追加的情報を、ビデオコンテンツとは別に、ＸＭＬファイルに埋め込む。この場合、古いビデオコンテンツとの下位互換性を保つことが有用であり、また、ネットワーク配信に適する。プレビューするマルチメディアデータのコンテンツをブラウジングするための本発明に基づくマルチメディアプレビューシステムにおいて使用されるメタデータのＸＭＬベースの表現を示すプログラムシーケンスを図４に示す。これにより、既存のソース（例えば、ダイアログ、概要、サウンドトラック等）によって容易に抽出することができる情報を導入することができる。そして、ＸＭＬツリーに基づき、この情報を構造化する。これにより、メタデータを用いて、ナビゲーション及び意味ズーム処理をサポートすることができる。
【００６１】
上述の技術を適用することにより、表示の異なる詳細レベルを含むビデオの「仮想」構造が生成される（図５参照）。図５に示すように、プレビュー処理を実現するためにビデオコンテンツを構造化できる。これにより、マルチメディアプレビューシステムは、例えば、８〜１０分のタイムスパン内で概要を提供し、異なる「マルチメディアモード」で情報を表示できる。図５に示すように、仮想的に構築された映画（ビデオフレーム、概要、ダイアログ等から構成される）は、予め定義されたサイズの時間ウィンドウ内のみでプレビューすることができる。このため、このウィンドウに含まれている情報のみ、例えば、電子ブックの１ページのみがユーザに表示される。
【００６２】
ここに提案する、プレビューされる要求されたマルチメディアデータのコンテンツをブラウジングするためのマルチメディアプレビューシステムは、２つの個別のデータソースを用いて、分かりやすい原理に基づいて動作する。一方のデータソースは、ビデオ自体であり、他方のデータソースは、例えば、ＸＭＬファイル（図４参照）を用いてフォーマットされる、キーフレーム、テキスト情報（例えば、ダイアログビデオ概要）、更なる音サンプル等、ナビゲーションモードに必要である全ての情報を含む包括的なデータコンテナである。
【００６３】
これにより、クライアントアプリケーションは、後者のデータコンテナをダウンロードし、これを用いて、主要なナビゲーションステップを実行する。ユーザが映画の再生を求めると、インターネットビデオサーバは、ビデオストリームの提供を要求される。この手法は、如何なる追加的情報も含まない旧型の映画データ及び異なるフォーマットを有する映画データに対する完全な下位互換性を有する。図５に示すように、ナビゲーション動作に必要なメタデータは、別個に送信してもよく、又は元のマルチメディアフォーマットに埋め込んでもよい。一旦、ユーザがマルチメディアコンテンツに遠隔からアクセスし、要求したマルチメディアコンテンツに対する「ページめくり」を実行する場合、このユーザは、既存のマルチメディアウェブサーバを用いて、完全な情報にアクセスできる。
【００６４】
電子ブック、電子インク、電子ペーパー及びウェブページ閲覧装置は、全て、例えば、本、雑誌、新聞等の伝統的な出版物の代替となるデジタル情報の具体例である。電子的な出版物を表示するためのこれらのハンドヘルドコンピュータ機器のフォーマットをデジタルフォーマットにすることにより、伝統的なテキストプレビューシステムの柔軟性及び総合的な潜在能力を高めることができる。このデジタルフォーマットを用いて実現できる利点の幾つかの具体例としては、マルチメディアオブジェクトの埋込、画面適応化及びハイパーリンク等がある。
【００６５】
電子出版物を物理的に実現する場合、伝統的な紙媒体で行うことができたユーザインタラクションが制限されるという大きな問題がある。すなわち、伝統的な本は、ページをめくり、手で取り扱い、折り曲げたりすることができる。近い将来、伝統的な多くの種類の紙コンテンツ（例えば、コミック、アートカタログ、言語教科書等）が電子出版物の形式で提供されることが予想され、これらは、柔軟な手法で取り扱うことができることが望まれる。
【００６６】
これまでのところ、デジタル電子ブックにおいて、「紙」コンテンツをプレビューするような直感的な動作を再現しようとする試みは提案されていない。例えば、電子文書のページを「めくる」ことはできない。
【００６７】
したがって、本発明の一実施の形態では、特に、電子文書を表示できるハンドヘルドコンピュータ機器（例えば、電子ブック表示装置）のためのプレビューシステムを提供する。更に、本発明は、本のページをめくる体験を再現するために用いることができる、電子ブック表示装置への入力アドオンに関係する。この電子ブック表示装置は、デジタルページを仮想的にナビゲートするために用いることができるタッチセンサを表面に備え（図１４の１４００ａ〜１４００ｃ参照）、例えば、統合された線形スケールタッチセンサ付きストライプ１４０４ａの様々な要素に触れ（１４００ａ）、円筒状の制御装置１４０４ｂをずらし及び／又は回転させ（１４００ｂ）、又はストライプ上の指位置が、選択されるブラウジングの速度及び／又は表示される詳細レベルに対応している非線形スケールタッチセンサ付きストライプ１４０４ｃ上で指を移動させる（１４００ｃ）ことによって、仮想的なナビゲートを行うことができる。このプレビューシステムにより、ユーザのナビゲーション動作に対して自動的に適応化される元の電子コンテンツ（例えば、電子雑誌からのページ、要求されたウェブサイトからのページ）の動的なレイアウトが提供される。
【００６８】
ブラウジングの速度を速め又は遅め、及び／又は電子ブックのページを介して提供する表示の詳細レベルを高め又は低める制御情報を入力するためのタッチセンサ付きディスプレイ１５０２を備える電子ブック表示装置１６００の立体的な概略図を図１６に示す。
【００６９】
本発明の一実施の形態は、ここに提案するページめくりモデルに基づいて、特定のインタラクションパターンを用いる。この結果、上述した入力装置は、異種のユーザインタラクションを検出でき、例えば、ブラウジングの速度及び／又は方向を変更し（「速度依存スクロール」）、表示の抽象化レベルを変更し（空間的、時間的及び／又は意味的レイアウトの変更を意味する）、電子文書のページにランダムにアクセスする（非線形大幅移動、後述）ためのユーザコマンドを検出できる。
【００７０】
図１５は、電子ブック表示装置１６００のタッチセンサ付きディスプレイ１５０２上で指を移動させ、ブラウジングの速度及び／又は表示される情報の詳細レベルを制御することによって、電子ブックのページをナビゲートするユーザの入力動作の異なる具体例を示している。ここでは、例えば、以下のようなイベントを行うことができる。
＊「移動イベント」（電子ブック１６００のページをナビゲートするためのタッチセンサ付きディスプレイ１５０２上でのあらゆる方向のユーザの指の回転又は直線的動き。動きパスの長さは、ブラウジングの速度及び／又は表示される情報の詳細レベルに比例する）。
＊「ストロークイベント」（電子ブック１６００のページをナビゲートするためにタッチセンサ付きディスプレイ１５０２の表面に対して加えられるユーザの指による力又は力の持続。この力は、ブラウジングの速度及び／又は表示される情報の詳細レベルに比例する）。
【００７１】
本発明では、これらのイベントは、ブラウジングの詳細レベル及び／又は速度を変更するための入力動作として用いることができる。ユーザは、本のページをめくるように、電子ブックのページをめくることができ、すなわち、この場合、擬似ランダム的な手法で電子ブックをブラウジングでき、ユーザの指の動作がブラウジングのペースを指示することができる。速度に依存する、よりファジィで、より直感的なインタラクションパターンも想到できる。
【００７２】
電子ブックシステムは、本、雑誌又は新聞の「ページをめくる」人間の動作をシミュレートすることによって、これらの動作に反応し、異なる意味的度合いに基づいてコンテンツを表示する。これらの意味的度合いは、元のデジタルコンテンツを複数の情報モード又はチャンネル（テキスト、写真等）に分解することによって生成される。更に、如何なるモードも、異なる表示の抽象化レベル又は異なる空間的なフォーカス（例えば、テキスト情報のためのキーワード、精度が粗い写真等）によって表示できる。
【００７３】
ここに提案するビデオページめくりモデルの３つの異なる実現例を図１８ａ及び図１８ｂに示す。
【００７４】
図１８ａは、ブラウジングの速度の変更を要求するユーザコマンドに応じて、表示されるビデオシーケンスの空間的及び時間的なレイアウトの表示Ｖの詳細レベルをどのように変更できるかを表している。ここに示すように、表示Ｖは、スキミングされたビデオシーケンスからのショットを表す表示されたキーフレーム画像３０６ａ〜ｅの解像度及びサイズ及び表示の継続時間Ｄのそれぞれに依存する。
【００７５】
図１８ｂは、動的な空間−時間−情報レイアウトにおける非線形の「大幅な」移動動作を表している。このように、表示Ｖの詳細レベルは、表示されるキーフレーム画像３０６ａ〜ｅの解像度及びサイズと共に増減する時間ｔの関数である。
【００７６】
ここに提案するマルチメディアページめくり法では、表示すべきマルチメディア情報の正しい空間−時間的レイアウトを見出し、及び複雑なマルチメディアコンテンツの意味を分解することが重要である。
【００７７】
図１１ａ〜ｃ、図１２ａ〜ｃ及び図１３は、「ページめくり」ナビゲーションの間に表示されるテキスト情報又は画像情報のレイアウトの意味的再構成の幾つかの可能な具体例を示している。
【００７８】
電子ペーパーページは、ブラウジングの速度に応じて異なるレイアウトで表示できる。図１１ａ〜ｃは、同じ電子ペーパー（例えば、ウェブページ）の３つの異なるレイアウトを示しており、意味的フォーカスは、インターネットサーフィンを行いながら、この文書のコンテンツをざっと読む（スキミングする）ユーザのナビゲーション速度に比例するように設定される。この結果、ウェブページ上に表示される各要素は、ページ上の異なる表示の一部への経験的な関連付けに基づいて経験的に算出できる意味値によって重み付けされ、又はページ制作者による編集工程において、明示的に加えることができる。ブラウジング速度を速めると、要素の数が低減され、各要素の意味の重みに応じて、各要素がフィルタリングされる。理想的には、表示される各要素は、物理的な外観（例えば、寸法、色）及びその表示の抽象化レベルを変更できることが望ましい。
【００７９】
図１２ａ〜ｃに示すように、異なるレイアウトを用いることによって、同じ概念を一般化できる。この具体例では、３つの異なる要素（写真、タイトル及び本文）を含むページを示している。
【００８０】
図１３は、高速ブラウジングの間の電子ペーパーからページの７つのレイアウトの概要を示しており、ここでは、意味的フォーカスは、電子ペーパーのページをめくるユーザのナビゲーション速度に比例するように設定される。最初の３つのページ（１３００ａ〜ｃ）では、主なレイアウトが維持されていおり、すなわち、非常に重要な意味オブジェクト（写真、キーワード等）だけが残されている。次の３つのページ（１３００ｄ〜ｆ）では、オブジェクト自体が空間的に強調されている。７番目のページ（１３００ｇ）は、意味的に重要なオブジェクトを含むＮ個のページから構成される完全に新たなレイアウトを示している。
【００８１】
上述したシステムを実現するために、如何なる種類の電子ペーパーフォーマットを用いてもよい。情報の分解は、幾つかの一般的な発見的規則に従い、又は予め定義されたフォーマティングタグ（例えば、ＨＴＭＬ（＜ｈ１＞＜／ｈ１＞、＜ｈ２＞＜／ｈ２＞）を用いて自動的に行うことができる。したがって、明らかに異なる意味的度合いを含むように、電子フォーマットにおける特別なタグを導入してもよい。通常の読解速度では透過的にディスエーブルにされるこの追加的な情報を用いて、高速なナビゲーションの際、表示される文書のレイアウトを適切に変更できる。
【００８２】
本発明の更なる実施の形態では、上述したものと同様のナビゲーションパターンを用いて、デジタルオーディオコンテンツを「予聴（pre-heard）」することができる。オーディオデータの性質のために、オーディオデータは高速ナビゲーションに適さないため、現在の技術では、オーディオ情報の「プレビュー」を行うことができない。なお、無音の間隔を詰めることによってオーディオデータを高速にブラウジングする幾つかの技術は提案されている。しかしながら、純粋にオーディオを早送りするだけの技術は、適用できる分野が非常に限定されている。
【００８３】
複数の種類のオーディオ情報（例えば、歌詞がある楽曲、純粋な音声、リズム、楽器音等）を含むデジタルオーディオデータの場合、ビデオ及びテキストデータに用いたものと同じブラウジング技術を適用できる。本発明では、ユーザは、コンテンツを異なるモードに移行させ（テキスト、視覚的オブジェクト等）、これらのコンテンツのブラウジングの速度を高め、通常のオーディオモードに戻ることができる。
【００８４】
更に、本発明は、デジタルオーディオコンテンツを高速ナビゲートすることによってオーディオデータを予聴するための意味ズーム機能を提案する。このために、ある種の対応するメタデータ、例えば、音声部分のためのテキスト、楽曲の一部の異なる特性（例えば、楽曲の異なる部分、メロディ、リズム、特定のモチーフ、ライトモチーフ又はテーマの器楽編成等）に対応する色を純粋なオーディオストリームに関連付ける。この情報は、元のオーディオデータコンテンツと同期するための同期データを含む必要がある。このメタデータは、オーディオストリーム（例えば、ＭＰＥＧ−７フォーマット）又は独立したデータブロック（例えば、ＸＭＬフォーマット）に埋め込まれ、オーディオコンテンツをナビゲーティングし、予聴し、そのダイジェストを作成するために用いることができる。
【００８５】
図１７は、クライアント／サーバ方式ベースのネットワーク環境において、アプリケーションサーバからダウンロードされ、本発明の一実施の形態に基づくオーディオの「ページめくり」処理を実行できるオーディオプレーヤ１７０６を制御するアプリケーションプログラムを実行するクライアント端末１００６のグラフィカルユーザインタフェースを示している。ユーザは、要求された歌のメロディを聴きながら、例えば、早送りボタンを押し、これにより、例えば、歌の歌詞が表示され、高速にスクロールされ、ユーザは、高速にスクロールされるテキストを見ながら、キーワードを容易に検索でき、オーディオデータトラックの他の点から再生を再開させることができる。
【００８６】
純粋なオーディオコンテンツ（例えば、クラシック交響曲等）の場合、この処理は、交響曲の異なる動き又は動きの一部（例えば、主題の提示、展開、再現、コーダ）を示す異なる色を用いることによって行うこともできる。この場合、ユーザのデスクトップ上には、異なる色によって交響曲の異なる動き又は動き一部を表現するタスクバーが表示される。テキスト情報（例えば、曲の歌詞）は、順方向及び逆方向に簡単に素早くスクロールできる。
【００８７】
【表１】
【００８８】
【表２】
【００８９】
【表３】
【００９０】
【表４】
【図面の簡単な説明】
【００９１】
【図１ａ】写真誌のページをめくる作業の種類及び速度の一具体例を示す図である。
【図１ｂ】写真誌のページをめくる作業の種類及び速度の一具体例を示す図である。
【図１ｃ】写真誌のページをめくる作業の種類及び速度の一具体例を示す図である。
【図１ｄ】写真誌のページをめくる際の人間の脳内作業を真似たアルゴリズムを示すフローチャートである。
【図２】マルチメディア分解処理を説明する図である。
【図３】テキスト及び／又は画像でプレビューされるビデオシーケンスのコンテンツの表示の異なる詳細レベルを示す空間レイアウトの概要の具体例を示す図である。
【図４】プレビューされるマルチメディアデータのコンテンツをブラウジングするために用いられるメタデータのＸＭＬベースの表現を示すプログラムシーケンスを示す図である。
【図５】仮想的に構築された映画のタイミングチャートである。
【図６ａ】ビデオシーケンスをプレビューするヒューマンマシンインタフェースとして用いることできる３つの入力及びナビゲーション制御装置を示す図である。
【図６ｂ】本発明の一実施の形態に基づくビデオプレビューシステムが提供する「意味ズーム」機能を用いたビデオシーケンスのブラウジングの具体例を示す図である。
【図７ａ】ブラウジング処理の間の動的な表示レイアウトを示す図である。
【図７ｂ】ブラウジング処理の間の動的な表示レイアウトを示す図である。
【図７ｃ】ブラウジング処理の間の動的な表示レイアウトを示す図である。
【図７ｄ】ブラウジング処理の間の動的な表示レイアウトを示す図である。
【図８ａ】ビデオプレビューシステムを遠隔制御するためのヒューマンマシンインタフェースとして用いることができる可撓ＰＤＡを示す図である。
【図８ｂ】ナビゲーションシステムが組み込まれたクレジットカードサイズの表示装置を示す図である。
【図８ｃ】可撓ＰＤＡに組み込まれたディスプレイ又はクレジットカードサイズの表示装置に表示される仮想地図の詳細レベルの一具体例を示す図である。
【図８ｄ】可撓ＰＤＡに組み込まれたディスプレイ又はクレジットカードサイズの表示装置に表示される仮想地図の詳細レベルの一具体例を示す図である。
【図８ｅ】可撓ＰＤＡに組み込まれたディスプレイ又はクレジットカードサイズの表示装置に表示される仮想地図の詳細レベルの一具体例を示す図である。
【図８ｆ】タッチパッドが組み込まれたクレジットカードサイズの表示装置の背面図である。
【図９】本発明に基づくビデオプレビューシステムを遠隔制御するためのヒューマンマシンインタフェースとして用いることができる表示機能を有するＤＶＤカバーを示す図である
【図１０】プレビューを要求されたマルチメディアデータのコンテンツをブラウジングするための、クライアント／サーバ方式ベースのネットワーク環境におけるマルチメディアプレビューシステムを示す図である。
【図１１ａ】電子ペーパー（例えば、ウェブページ）のレイアウトの一具体例を示す図である。
【図１１ｂ】電子ペーパー（例えば、ウェブページ）のレイアウトの一具体例を示す図である。
【図１１ｃ】電子ペーパー（例えば、ウェブページ）のレイアウトの一具体例を示す図である。
【図１２ａ】写真、タイトル及び本文を表示する異なるフレームから構成される電子ペーパーのレイアウトの一具体例を示す図である。
【図１２ｂ】写真、タイトル及び本文を表示する異なるフレームから構成される電子ペーパーのレイアウトの一具体例を示す図である。
【図１２ｃ】写真、タイトル及び本文を表示する異なるフレームから構成される電子ペーパーのレイアウトの一具体例を示す図である。
【図１３】高速ブラウジングの間の電子ペーパーからページの７つのレイアウトの概要を示す図である。
【図１４】本発明に基づく電子ペーパーのコンテンツのブラウジングに必要な「ページめくりイベント」のために用いることができる入力及び制御装置の異なる具体例を示す図である。
【図１５】電子ブックのページをナビゲートするユーザの入力動作の具体例を示す概略図である。
【図１６】ブラウジングの速度を速め又は遅め、及び／又は電子ブックのページを介して提供する表示の詳細レベルを高め又は低める制御情報を入力するためのタッチセンサ付きディスプレイを備える電子ブック表示装置の立体的な概略図である。
【図１７】クライアント／サーバ方式ベースのネットワーク環境において、アプリケーションサーバからダウンロードされ、オーディオプレーヤを制御するアプリケーションプログラムを実行するクライアント端末のグラフィカルユーザインタフェースを示す図である。
【図１８ａ】速度に依存する空間−時間−意味情報レイアウトを示す図である。
【図１８ｂ】動的な空間−時間−情報レイアウトにおける非線形「大幅」移動動作を示す図である。
【技術分野】
【０００１】
本発明は、包括的には、マルチメディアコンテンツを高速にブラウジングするための技術に関する。詳しくは、本発明は、効率的にマルチメディアコンテンツをプレビューするための基本機構を定義する概念的フレームワークの実現に関する。
【背景技術】
【０００２】
今日、多量のデジタルマルチメディアデータを含むデジタルコンテンツアーカイブが利用可能になり、関連する情報を抽出するための効率的なブラウジングメカニズムが必要になっている。情報のオーバロードを避けるために、ブラウジングシステムは、ユーザにとって適切な手法により、データベースから情報の一部を予備的に選択する必要がある。更に、このようなブラウジングシステムは、時間に依存するメディアの連続した表示をサポートできなくてはならない。ブラウジングアプリケーションのユーザは、概念的な用語でしか記述できない曖昧な情報要求を行うことも多い。更に、一般的なブラウジングシステムは、ユーザの指示に従い、情報をインタラクティブに調べるメカニズムを提供しなければならない。
【０００３】
ユーザインタフェースシステムの設計においては、一般的なストラテジとして、物理的な比喩を用いることがある。例えば、非特許文献１に開示されているように、既存の技術では、周知のビデオインデクス付与システムにおいて、ビデオブラウジングの分野に「本の索引付け（book indexing）」技術を適用する。
【０００４】
人々の行動を分析した結果、多くの人は、通常、販売店で未読の雑誌を買う前に、その雑誌のページを高速にめくることがわかった。このように、手作業及び脳内作業を組み合わせて、ある程度のレベルの理解に達するまで、雑誌に含まれている情報が高速にブラウジングされる。このような作業は、雑誌の内容をより高度に読解するために繰り返されることもある。「読み手のブラウジング速度」は、その読み手の興味のレベルに動的に適応化される。読み手がページの内容に関心がある場合、その読み手は、より丁寧にページをめくる。一方、読み手がその内容にあまり関心がない場合、読み手は、不連続にページを飛ばしながら順方向又は逆方向にページをめくり、中間のページから幾つかの情報を拾う。
【０００５】
現在の技術水準の簡単な説明
本発明の中心的概念を明瞭に説明するために、現在の技術水準に基づく周知のビデオ要約、オーディオブラウジング及び電子ブックシステムの最も重要な特徴の幾つかについて簡潔に説明する。
【０００６】
特許文献１には、コンテンツ及び構造に基づくビデオブラウジングのための方法及び装置が開示されている。この文献には、複雑なビデオ選択を階層的に分解して抽出する新たなブラウジング技術が提案されており、ここでは、視覚的及び時間的な情報を結合し、シーン内及びビデオの異なるシーン間の最も重要な関係を捕捉することにより、コンテンツに関する予備的な知識なしで、基本的なストーリー構造が解析できる。
【０００７】
特許文献２には、デジタルビデオの階層的な要約及びブラウジングのための方法が開示されており、この方法は、デジタルビデオシーケンスのデジタルビデオ信号を入力するステップと、このビデオシーケンスのキーフレームに基づいて、階層的な概要を生成するステップとを含む。
【０００８】
特許文献３には、ショット重要度の尺度及びフレームパッキング技術を用いた自動ビデオ要約技術が開示されている。
【０００９】
特許文献４には、ユーザが、ビデオストリームから、興味があるストーリーを高速且つ容易に選択し、受け取ることができる個人化されたビデオ分類及び情報検索システムが開示されている。
【００１０】
特許文献５には、スキャニング又はブラウジングの速度を変更するビデオオンデマンド（ＶｏＤ）システム及びこれに対応する方法が開示されている。
【００１１】
特許文献６には、マルチメディアを検索及びブラウジングするシステムが開示されており、特に、ビデオファイルのコンテンツをスキミングし、所望のセクションに速やかに移動することにより、ビデオファイルのフルコンテンツを短時間に要約できるビデオスキミング方法及び装置が開示されている。
【００１２】
特許文献７には、読解能力（reading proficiency）を高めるためのコンピュータにより実現された技術が開示されている。ここでは、ビデオ画面にテキストのセグメントを表示する。
【００１３】
特許文献８には、デジタル記録媒体（例えば、デジタルビデオカセットレコーダ）に不連続に記録された写真情報のシート内で検索を行う連続的な検索方法及び装置が開示されている。
【００１４】
特許文献９には、動画をブラウジングし、この動画内で所望のセグメントの位置を見つけ出すための方法及び装置が開示されている。
【００１５】
特許文献１０には、画像処理システムにおいて実行されるビデオ画像からテキスト及び画像データを選択する方法が開示されている。
【００１６】
本発明が解決する課題
今日、デジタルマルチメディアコンテンツ（映画、ウェブページ、電子ブック、オーディオ及びビデオファイル等からのビデオデータ、オーディオデータ、テキストデータ）の量が増加したことにより、マルチメディアコンテンツの消費に関連する問題及び課題が浮上している。最も重要な問題の１つは、デジタルマルチメディアコンテンツをブラウジングし、ダイジェストを作成する作業は、通常、非常に時間が掛かるため、デジタルビデオコンテンツに含まれている情報を速やかに把握し、そのダイジェストを短時間で作成するために、デジタルマルチメディアコンテンツを如何に高速にブラウズするかという問題である。しかしながら、現在提案されている自動又は半自動のビデオ要約システムは、以下のような多くの制約を有している。
＊コンピュータベースのユーザインタラクションが不十分であり、用いられるＧＵＩパラダイムが非直感的である。
＊演算が複雑である（特に複雑な抽出アルゴリズムを適用した場合。これは、特定のコンテンツタイプに制約されることが多い）。
＊プレビュー及びダイジェストのいずれかがフォーカスされる。
＊プレビュー時間が長すぎる。
＊ユーザの嗜好のモデリングが不十分である。
【００１７】
【特許文献１】米国特許第５，７０８，７６７号
【特許文献２】米国特許第５，９９５，０９５号
【特許文献３】米国特許第６，５３５，６３９号
【特許文献４】国際公開公報第ＷＯ００／３９７０７号
【特許文献５】欧州特許公開公報ＥＰ０６７６８９８Ａ１号
【特許文献６】米国特許出願公開第２００２／００５１０１０号
【特許文献７】欧州特許公開公報ＥＰ１２０５８９８Ａ２号
【特許文献８】英国特許第ＧＢ２３２２２２５号
【特許文献９】米国特許第５，８４７，７０３号
【特許文献１０】米国特許第６，１７８，２７０号
【非特許文献１】Ｃ．Ｇ．Ｍ．Ｓｎｏｅｋ、Ｍ．Ｗｏｒｒｉｎｇによる「マルチモーダルビデオのインデクス付与：既存の技術のレビュー（Multimodal Video Indexing: A Review of the State-of-the-Art）」（技術報告書２００１−２０、インテリジェントセンサ情報システムグループ、アムステルダム大学：Technical Report 2001-20, Intelligent Sensory Information Systems Group, University of Amsterdam）
【発明の開示】
【発明が解決しようとする課題】
【００１８】
上述した課題に鑑み、本発明の目的は、視覚的／手動フレームワークをユーザに提供し、効率的且つ直感的な手法でデジタルマルチメディアコンテンツをプレビューできるマルチメディアプレビューシステム及びブラウジング方法を提供することである。
【課題を解決するための手段】
【００１９】
この目的は、独立請求項の特徴によって達成される。有利な特徴は、従属請求項に定義されている。発明の更なる目的及び利点は、以下の詳細な説明によって明らかとなる。
【００２０】
本発明は、ユーザにより操作される速度に依存するブラウジング処理に基づいて、デジタルマルチメディアコンテンツ（ビデオ、オーディオ及び／又はテキストデータ）を高速且つインタラクティブにブラウジングするマルチメディアプレビューシステムの異なる実現例を提供する。ここでは、マルチメディアコンテンツ（例えば、電子ブックデジタルビデオ又はデジタルオーディオファイルのコンテンツ）の「ページをめくる」ための基本機構を定義する概念的フレームワークを導入する。これにより、本発明に係るマルチメディアプレビューシステムは、本又は写真誌のページをめくる直感的な手作業及び脳内作業をエミュレートするユーザインタラクションモデルを提供する。この結果、マルチメディアプレビューシステムは、デジタルマルチメディアコンテンツのプレビューのための又はダイジェストを迅速に作成するための特別なナビゲーションパターンを提供する。
【００２１】
これは、ブラウジング速度及び異なる意味レベルに応じたデジタルコンテンツの動的な表示スキーム、大雑把なページめくりをエミュレートする効果的で直感的なマニュアルユーザインタラクションパターン及び非線形ナビゲーションパターンを含む。この文脈において、「意味レベル」という用語は、異なる量の情報を搬送する同じデジタルコンテンツの可能な抽象表現を意味する。例えば、単純なテキストは、情報全体の異なる部分を伝えるタイトル、見出し、キーワード等、異なる意味レベルで表すことができる。ビデオデータの場合、ここに提案する解決策は、より中立的で、個人化されたブラウジングの手法を提供し、より高いレベルのユーザ操作子を提供することによって、従来の技術に基づく既存のビデオ抽出アルゴリズムの複雑性を相殺する。
【００２２】
本発明では、「意味ズーム」機能と、複数の情報モードの使用と、自然なユーザインタラクションとを結合する。コンテンツに対する意味ズームとは、コンテンツ自体を十分に理解するために、異なる度合いの重要度を有する情報を視覚的に提供する能力として定義される。ビデオ又は本に含まれている情報は、通常、例えば、テキスト、写真、動画等の冗長なメディアを用いて提供され、意味ズームは、必要な詳細の度合いに応じて、大きな情報コンテナ内の情報の最小の非冗長な下位集合を表現する技術である。
【００２３】
このマルチメディアプレビューシステムは、マルチメディアプレビューシステムに対し、ブラウジングの速度の変更を指示するユーザコマンドの種類及び／又は周波数に応じて、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、表示の速度及び詳細レベルを変更する更なるビデオブラウジング機能を有するビデオオンデマンドシステムとして実現してもよい。
【００２４】
ここに提案するマルチメディアプレビューシステムの１つの可能な具体例では、例えば、デジタルビデオ又はオーディオデータファイルのコンテンツを分解し、このコンテンツのセグメント化された部分に異なる詳細レベルを表す異なるブラウジング速度を割り当て、ブラウジングの速度を制御する。なお、特許文献４及び特許文献６とは異なり、本発明に基づくマルチメディアプレビューシステムは、例えば、ショット及びシーン検出手段等の意味解析ツールに依存しない。これに代えて、ファイルは、ビデオシーケンスの幾つかの部分を切り取ることによって時間的に圧縮され、視覚化された情報をスクロールするスピードは、ユーザが制御できる。この結果、ユーザは、再生速度及び時間的に圧縮する必要があるビデオシーケンスのサイズの２つのパラメータをインタラクティブに、リアルタイムで制御することができる。本発明が提案するマルチメディアプレビューシステムは、ユーザが興味を持たないと推定される部分を「隠す」ことなく、ユーザにコンテンツの概要を把握させ、コンテンツに興味を持てるか否かをユーザ自身が判断できるようにすることを意図する。
【００２５】
特許文献５とは異なり、本発明に基づくマルチメディアプレビューシステムによって再生されるデータセグメントは、典型的なＭＰＥＧ−２ＧＯＦより遙かに大きい。更に、セグメント化は、ＭＰＥＧで用いられる圧縮方式の種類に基づいて行う必要はない。更に、セグメント自体を標準の再生速度とは異なる速度で再生してもよい。
【００２６】
本発明の基本的な手法は、ユーザの嗜好又はコンテンツの種類について、如何なる特定の仮定も定義せず、ユーザ自身によって完全に制御され、ユーザがデジタルコンテンツをブラウジングする能力を向上させるマルチメディアプレビューシステムを提供する。
【発明を実施するための最良の形態】
【００２７】
以下、図１ａ〜図１８ｂを参照して、本発明の実施の形態を詳細に説明する。図１ａ〜図１８ｂで用いる参照番号及び符号によって表される全ての記号の意味については、本明細書に添付する表に示している。
【００２８】
図１ａ〜ｃは、写真誌のページをめくる際の読み手の手作業及び脳内作業の両方を示している。このように、読み手は、ページの異なる部分に視点を移し、表示された情報を脳内でフィルタリングし、自らの特定の興味の度合いに応じて、雑誌のコンテンツを、素早く又はゆっくり閲覧（ブラウジング）する。
【００２９】
このページめくり作業をモデリングするフローチャートを図１ｄに示す。ここでは、読み手は、ページの異なる要素（写真、タイトル、サブタイトル等）に空間的に視点を合わせ、自らの興味に基づいて、擬似ランダム的に情報をナビゲートする。このような手法により、読み手は、迅速且つ簡単な手法で、多量の情報を閲覧できる。
【００３０】
また、脳内のフィルタリング処理は、コンテンツの種類及び表示されたページ自体の構造に基づいて行うこともできる。例えば、写真は、テキスト情報より素早く理解でき、タイトル及びサブタイトルの読取りは、本文を読むことより簡単である。このため、この作業は、指を用いて１行ずつ雑誌を読むことによってもサポートされる。なお、雑誌の複数のページに亘るナビゲートは、より高度であり、すなわち、このようなナビゲート作業は、単純なパターン（例えば、ビデオカセットレコーダを制御するためのパターン）で進められるわけではない。観察により、写真誌のページをめくる際の異なる種類のナビゲーションパターンは、遅いスクロール、速いスクロール、異なるページへのスキップ、順方向及び逆方向への素早い移動等として特定できる。情報を調べるにあたり、時間的な制約も何らかの空間レイアウトも定められていないが、ユーザ自身が擬似ランダムパスに従って、ナビゲーション作業を進める。
【００３１】
このような処理は、一般化でき、異なるデジタルコンテンツに適用できる。デジタルデータは、自動化アルゴリズムにより、様々な目的で容易に処理できるため、ここでは特に「デジタル」のコンテンツに焦点をあてる。
【００３２】
デジタルビデオは、より単純な構造の異なる情報チャンネルに容易に分離でき、例えば、ビデオシーンは、写真フレームによって表現でき、オーディオは、幾つかの種類（音声、楽曲、沈黙等）に分類できる。更に、「興味／詳細」のレベル又はブラウジングの速度に応じて、代替となる代理表現を用いることによって情報を変更してもよい。
【００３３】
本発明の第１の実施の形態では、ビデオプレビューシステムにおいて、ページめくりモデル（leafing model）を用いる。このために、プレビューのために、ビデオストリームを基本的なオブジェクト（フレーム、テキスト及び音サンプル）に分割し、異なる抽象化／詳細レベルの表現（「意味的度合い」）を提供する必要がある。そして、これらのオブジェクトは、時間ベースのスケールで抽出される。初めは、意味的に重要なオブジェクト（例えば、シーン／ショット境界、図２参照）を抽出するための処理は行われない。例えば、２〜３分毎にメインフレームを抽出し、他のフレームを１５〜２０秒毎に抽出してもよい。これらの２つのグループは、コンテンツ自体に関して、部分的な意味「ウィンドウ」をユーザに提供するため、表示する視覚的情報の２つの意味ズームレベルを表す。２つの更なる意味レベルを表すダイアログテキスト及びシーンコメントは、ビジュアルコンテンツと同期される。
【００３４】
このように、異なる情報表現は、最も粗いレイアウト（キーフレーム及びテキスト概要）、中間的な粗さのレイアウト（他のフレーム及びダイアログテキスト）及び最も細かいレイアウト（音声有効）の３つの意味空間レイアウトにグループ化される。
【００３５】
ユーザは、いつでも完全なビデオの再生を選択できる。クイックブラウジングでは、情報は、ユーザのブラウジング速度に応じた可変の意味レイアウトによって動的に表示される。例えば、大きく情報をジャンプする場合（long-jump transition）、ユーザには、スライドショーモードにより、極めて僅かなキーフレームと、概要キーワードだけが示される。ビデオシーケンスを介して、特に非線形逆方向／順方向ジャンプを行う場合、ブラウジング速度及び情報レイアウトの組合せを用いる。
【００３６】
図２は、マルチメディアプレビューシステムによって表示されるビデオシーケンスのコンテンツに適用される本発明に基づくマルチメディア分解処理の具体例を示している。このプレビューシステムは、本発明に基づく「マルチメディア意味ズーム」機能を備え、異なる速度及びテキスト及び／又は画像の表示の詳細レベルを提供し、これらは、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、ユーザが選択できる。
【００３７】
「意味ズーム」機能は、必要な詳細の度合いに応じて、要求されたマルチメディア情報（ビデオ、電子ブック、オーディオデータファイル）を異なる手法でユーザに提供する。例えば、情報のコンテナとしての雑誌は、読み手が求める詳細の度合いに応じて、含まれた情報の下位集合によって表すことができる。また、ビデオは、時間、空間、品質等、ビデオが含む情報の、代替となる異なる下位集合によって表現できる。意味ズームの範囲は、フルコンテンツ（例えば、ビデオの再生、ページ毎の本の読解等）から、簡易な代替的情報（写真、テキスト、オーディオサンプル等）を提供する様々な下位の詳細レベルに及ぶ。最終的な目標は、ナビゲーションの速度と、必要な詳細の度合いとを関連付けてユーザに提供することである。
【００３８】
本発明の一実施の形態は、プレビューを要求されたマルチメディアデータのコンテンツをブラウジングするブラウジング方法を提供し、このコンテンツは、マルチメディアデータを格納するマルチメディアサーバ１００２にアクセスするクライアント端末１００６に表示される。マルチメディアサーバ１００２から、ネットワークリンクを介してクライアント端末１００６にマルチメディアデータをダウンロード（Ｓ０）した後に、マルチメディアサーバ１００２は、以下では、「表示パラメータ」と呼ぶブラウジングの速度及び／又は表示の抽象化レベルの変更を要求するユーザコマンドを受信（Ｓ１ａ）及び処理（Ｓ１ｂ）する。この後、マルチメディアデータは、オフライン画像及び／又はテキストセグメント化アルゴリズムに基づいて、非冗長な部分及び冗長で関連性が低い部分に分解される（Ｓ２）。そして、これらの表示パラメータは、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、ユーザコマンドの種類及び／又は周波数に応じて、所定量の、冗長な、関連性が低い部分をオンラインフィルタリングにより除外（Ｓ３’）することによって、適応化（Ｓ３）される。そして、マルチメディアデータの適応化されたバージョンは、クライアント端末１００６に表示される（Ｓ４）。
【００３９】
プレビューするマルチメディアデータのセグメント化された部分をユーザが特定することができる何らかの種類のメタデータをマルチメディアデータに関連付ける（Ｓ５ａ）ことが好ましい。したがって、メタデータをマルチメディアデータに同期させる（Ｓ５ｂ）必要がある。
【００４０】
ここに提案する「ページめくりモデル」は、従来のインデクス付与法とは、根本的に異なる。書籍は、そのテキスト的な性質のために、概要及びインデクスを介して容易にブラウジングでき、また、既存のビデオ要約技術は、この原理に基づいているが、ビデオコンテンツのマルチメディア的な性質のために、このような技術には、大きな制約がある。
【００４１】
既存の「ページめくりモデル」と同様のシステムを、ビデオコンテンツについて実現するためには、ビデオ情報を幾つかの基本コンポーネントに分解する必要がある。以下では、本発明が提案する技術の導入として、この分解及び意味ズーム法について説明する。
【００４２】
ビジュアルコンテンツを高速にブラウジングするために、異なるキーフレームを用いる。キーフレーム検出／選択のために幾つかのシステムが開発されているが、ここに提案するシステムは、ユーザインタラクション及び一定の間隔選択の組合せを用いる。ここに開示するシステムは、選択処理を容易にするために、一定の時間的距離で異なるキーフレームを選択し、多量の情報を介して学習するユーザの能力を利用する。
【００４３】
人工的映像の性質のために、ビデオ情報は突然には変化しないという事実に基づき、単一の時間的な間隔Ｄ（例えば、２分）で、統計的にあらゆるフレームを代表フレームとして用いることができる。これは、数学的には以下のように記述できる。
「遅い変化に対応する関数ｙ＝ｆ（ｘ）において、Ｄを十分に小さい値として、間隔［ｘ，ｘ＋Ｄ］において、ｆ（ｘ）の概算処理として値ｆ（ｘ０）を用いることができる」
ビデオシーンを高速に変更する際に生じる情報の欠落は、幾つかの冗長な情報モード（テキスト、カラー等）を用いることにより補償される。
【００４４】
また、リアルタイムでの処理の進行に有害な処理時間の増加を考慮に入れるために、キーフレーム検出について、この他の新たな又は既存の技術を適用してもよい。時間間隔Ｄは、ユーザコマンドの速度及び周波数に応じて変更してもよい。
【００４５】
発明の更なる実施の形態では、ビデオフィルムのオーディオコンポーネントは、オーディオサンプル（例えば、サウンドトラックの非常に短いサンプル、音声サンプル等）に分割され、雑誌を読む際のタイトル及びサブタイトルに等価である、単純な意味レベルに関するテキストによる代替表現を用いて、このビデオフィルムの音声コンポーネントが提供される。幾つかの場合、ユーザは、現在、ブラウジングしている情報の概要のみに関心があり、したがって、このような場合は、詳細を無視し、より高いレベルに抽象化された情報を提供することで十分である。
【００４６】
ビデオコンテンツの複雑性に応じて異なるレベルのテキスト情報を提供してもよい。例えば、ルポルタージュ又は大学の教育用ビデオでは、話者の音声を表すテキストのみを提供し、映画では、所定のビデオ期間の包括的な概要又はダイアログ又は音サンプルと共により詳細なレベルの情報を提供できる。
【００４７】
ビジュアル領域及びテキスト領域においては、例えば、キーワード又は異なる画質を用いることによって異なる度合いの意味ズームを提供してもよい。
【００４８】
一旦、全ての主なコンポーネントを分離した後に、ユーザが異なる度合いの意味（semantics）に焦点を合わせることができるように、情報を構造化する。そして、図３に示すように、プレビューされるビデオシーケンスのコンテンツの異なる詳細レベルの表示に対応する空間レイアウト（インタラクションが行われることなくユーザに表示されるので「静的レイアウト」とも呼ばれる。）を定義することができる。情報の空間的な配置は、ユーザが異なるレベルの詳細に焦点を合わせるために役立つ。
【００４９】
図３の具体例に示すように、例えば、精度が粗い領域３０６ａ〜ｅと、精度が細かい領域３０８ａ〜ｈの２つの主領域を定義することができる。第１の領域は、Ｎ個のキーフレーム３０６ａ〜ｅの集合からなり、約２分の間隔Ｔは、大きいビデオ間隔を表す。テキスト領域３１０、３１２は、例えば、対応するキーフレームの非常に包括的な概要をテキストによって表示する。この場合、代替となる「意味ズーム」は、視覚的情報と、テキスト情報との間で行われる。このような情報の概算処理は、テキスト及び画像によって導入される冗長性に基づいて実行される。キーフレーム領域３０６ａ〜ｅでは、遠近法を用いて、単一のフレームに焦点を合わせたことを表現する。同時に、ユーザには、Ｎ×Ｔの全長を有するビデオ間隔に対応する時間軸が表示される。
【００５０】
精度が細かい領域３０８ａ〜ｈは、より小さいサンプル時間間隔（例えば、３０秒）で同様のパターンを表示し、主なキーフレームの時間間隔だけを表す（図３を参照する）。テキスト情報は、より詳細な情報を含む。このテキスト情報は、映画の場合、ダイアログテキスト３１０に関連付けることができ、ルポルタージュの場合、話者の発話内容を書き取ったテキスト等に関連付けることができる。
【００５１】
各領域に割り当てられた空間は、伝えられる意味の度合いに比例していることが望ましい。ここに提案するシステムでは、５０％を超える空間的領域を精度が粗い領域３０６ａ〜ｅである最も高い意味レベルに割り当てている（図３参照）。もちろん、この他の値を用いてもよく、ユーザがマニュアルでこの値を設定してもよい。空間レイアウトのこのような割当は、ユーザナビゲーションパターン（高速、低速等）に応じて自動的に行うことができる。
【００５２】
他の代替情報を用いて、他の情報を表示することもできる。例えば、ナビゲーションバー上で色を用いて、オーディオのダイナミクスを表示してもよい。このようなレイアウトでは、空間的に表示できない映画の音声を提供することができる。ユーザが時間Δｔ（例えば、１０秒）に亘って、現在表示されているレイアウト上でのフォーカスを維持すると、現在の表示されているビデオ期間を特徴付けるサウンドトラックが再生される。これにより、ユーザは、自動的に又は手動でビデオ再生を実行し、完全なビデオ情報（最大の意味レベル）を再生することができる。
【００５３】
本願が開示するシステムでは、その動的な振る舞いが基本的な重要性を有する。まず、「雑誌のページめくり」の動的解析から、より直感的なナビゲーションパターンを実現する重要度が確認される。ナビゲーションパターンは、ファジィな動作及び「デジタル指」によって雑誌のページをめくる能力にマッピングされる。
【００５４】
図６ａは、ビデオシーケンスをプレビューするためのヒューマンマシンインタフェースとして用いることができる様々な入力及びナビゲーション制御装置６０２ａ〜ｃを示しており、３キーのタッチパッドディスプレイ６０２ａは、ビデオシーケンスを再生し、高速／低速スクロールし、概要を把握するためにシンボルのリストをナビゲートするためのヒューマンマシンインタフェースとして機能し、マウス装置６０２ｂは、上述したナビゲーティング動作を実行するヒューマンマシンインタフェースとして機能し、リモートコントローラ６０２ｃは、ビデオカセットレコーダの機能（例えば、ビデオシーケンスの再生、早送り、高速巻戻し、ビデオの再生の一時停止又は停止）を実行するための制御キーを備える。図６ａは、更に、ブラウジングの速度及び加速度を制御するために用いられるこれらの機器で実行可能なナビゲーション動作を示している。このように速度を高めること及び加速により、対応する結果が情報として表示される。
【００５５】
このため、各動作は、特定の「意味レベル」に関連付けられ、すなわち、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、表示される情報には、表示の各抽象化レベルに応じて優先順位が付される。テキストデータは、容易且つ速やかに視覚化でき、ユーザが読解することができるが、オーディオデータは、高速ブラウジングの際、再生することは容易ではない。例えば、高速ブラウジングの間は、「静的レイアウト」で表示される情報は、より高い抽象化レベルを維持するように削減され、これは、表示レイアウトに、僅かな詳細だけを表示することを意味する。図７ａ〜ｄは、ビデオシーケンスのコンテンツをより速く又はより遅くブラウジングするためのユーザコマンドに応じて、テキスト及び／又は画像の表示の速度及び詳細レベルが変化するブラウジング処理の間の動的な表示レイアウトを示す４つの図を示している。例えば、静的レイアウトは、より粗い詳細に焦点を合わせるために簡略化できる。
【００５６】
また、ここに提案するマルチメディアプレビューシステムの動的な振る舞いの一部として、システムの空間的、時間的及び意味的パラメータを動的に変更してもよい。例えばテキスト情報をキーワードに変更してもよい。これにより、ユーザは、物理的次元（より大きいフォント）及び意味的次元（キーワード）の両方について、テキスト領域の上で意味的なズームを行うことができる。更に、ユーザコマンドの速度及び／又は周波数に基づき、写真フレームを選択するために用いられる時間的な間隔を変更してもよい。
【００５７】
ユーザのナビゲーションコマンドを入力し、マルチメディアプレビューシステムを遠隔制御するためのユーザ入力装置は、入力されたコマンドを、プレビューシステムによって実行されるプログラミングされたナビゲーション動作（例えば、ブラウジングの速度を変更する動作）に直観的にマッピングすることが望ましい。例えば、図６ａに示すように、タッチパッドディスプレイ６０２ａを用いて、ビデオシーケンスを再生し、高速／低速スクロールし、概要を把握するためにシンボルのリストをナビゲートすることができる。この技術は、直感的な手法で「ページめくり」動作を実現する全ての種類の機器に追加することができ、特に、可撓性を有するユーザインタフェースにより、例えば指を用いた、連続的な入力動作が実現される。可撓性を有するユーザインタフェースは、既に実現されている（図８ａ〜ｆ参照）。図８ａに示すように、このような可撓ＰＤＡ８００ａを僅かに撓ませることにより、プレビューシステムのプログラミングされた機能（例えば、組み込まれたディスプレイ８０２ａに表示される仮想地図８００ｃ〜ｅのズームイン又はズームアウト）を呼び出すことができる。この他のプロトタイプとしては、図８ｂに示すような、ナビゲーションシステムが組み込まれたクレジットカードサイズの表示装置８００ｂ（所謂「ツーリストブラウザ（tourist browser）」）がある。この機器は、カードの様々な方向への撓みを検出する様々な圧電センサを備えている。
【００５８】
また、ここに説明するシステムは、例えば、ビデオデジタルコンテンツの販売促進にも活用できる。これは、例えば、上述したナビゲーションモードをウェブサイト上で実現することによって達成できる。他の適用例として、ディスプレイ機能が組み込まれたＤＶＤカバーをヒューマンマシンインタフェースとして用いて、本発明に基づくビデオプレビューシステムを遠隔制御してもよい（図９を参照する）。
【００５９】
上述のように、システムを動作させるために必要な全ての追加的情報は、例えば、映画の脚本、絵コンテ等から自動的に読み出してもよく、又は、例えば、ビデオソースから抽出してもよい（例えば、音声−テキスト変換の実行）。このような追加的データの組は、映画に埋め込んでもよく、個別に配信してもよい。本発明の一具体例では、容易に入手でき、容易に処理できる映画の脚本を更なるテキスト情報のデータソースとして用いる。
【００６０】
発明の一実施の形態では、全ての追加的情報を、ビデオコンテンツとは別に、ＸＭＬファイルに埋め込む。この場合、古いビデオコンテンツとの下位互換性を保つことが有用であり、また、ネットワーク配信に適する。プレビューするマルチメディアデータのコンテンツをブラウジングするための本発明に基づくマルチメディアプレビューシステムにおいて使用されるメタデータのＸＭＬベースの表現を示すプログラムシーケンスを図４に示す。これにより、既存のソース（例えば、ダイアログ、概要、サウンドトラック等）によって容易に抽出することができる情報を導入することができる。そして、ＸＭＬツリーに基づき、この情報を構造化する。これにより、メタデータを用いて、ナビゲーション及び意味ズーム処理をサポートすることができる。
【００６１】
上述の技術を適用することにより、表示の異なる詳細レベルを含むビデオの「仮想」構造が生成される（図５参照）。図５に示すように、プレビュー処理を実現するためにビデオコンテンツを構造化できる。これにより、マルチメディアプレビューシステムは、例えば、８〜１０分のタイムスパン内で概要を提供し、異なる「マルチメディアモード」で情報を表示できる。図５に示すように、仮想的に構築された映画（ビデオフレーム、概要、ダイアログ等から構成される）は、予め定義されたサイズの時間ウィンドウ内のみでプレビューすることができる。このため、このウィンドウに含まれている情報のみ、例えば、電子ブックの１ページのみがユーザに表示される。
【００６２】
ここに提案する、プレビューされる要求されたマルチメディアデータのコンテンツをブラウジングするためのマルチメディアプレビューシステムは、２つの個別のデータソースを用いて、分かりやすい原理に基づいて動作する。一方のデータソースは、ビデオ自体であり、他方のデータソースは、例えば、ＸＭＬファイル（図４参照）を用いてフォーマットされる、キーフレーム、テキスト情報（例えば、ダイアログビデオ概要）、更なる音サンプル等、ナビゲーションモードに必要である全ての情報を含む包括的なデータコンテナである。
【００６３】
これにより、クライアントアプリケーションは、後者のデータコンテナをダウンロードし、これを用いて、主要なナビゲーションステップを実行する。ユーザが映画の再生を求めると、インターネットビデオサーバは、ビデオストリームの提供を要求される。この手法は、如何なる追加的情報も含まない旧型の映画データ及び異なるフォーマットを有する映画データに対する完全な下位互換性を有する。図５に示すように、ナビゲーション動作に必要なメタデータは、別個に送信してもよく、又は元のマルチメディアフォーマットに埋め込んでもよい。一旦、ユーザがマルチメディアコンテンツに遠隔からアクセスし、要求したマルチメディアコンテンツに対する「ページめくり」を実行する場合、このユーザは、既存のマルチメディアウェブサーバを用いて、完全な情報にアクセスできる。
【００６４】
電子ブック、電子インク、電子ペーパー及びウェブページ閲覧装置は、全て、例えば、本、雑誌、新聞等の伝統的な出版物の代替となるデジタル情報の具体例である。電子的な出版物を表示するためのこれらのハンドヘルドコンピュータ機器のフォーマットをデジタルフォーマットにすることにより、伝統的なテキストプレビューシステムの柔軟性及び総合的な潜在能力を高めることができる。このデジタルフォーマットを用いて実現できる利点の幾つかの具体例としては、マルチメディアオブジェクトの埋込、画面適応化及びハイパーリンク等がある。
【００６５】
電子出版物を物理的に実現する場合、伝統的な紙媒体で行うことができたユーザインタラクションが制限されるという大きな問題がある。すなわち、伝統的な本は、ページをめくり、手で取り扱い、折り曲げたりすることができる。近い将来、伝統的な多くの種類の紙コンテンツ（例えば、コミック、アートカタログ、言語教科書等）が電子出版物の形式で提供されることが予想され、これらは、柔軟な手法で取り扱うことができることが望まれる。
【００６６】
これまでのところ、デジタル電子ブックにおいて、「紙」コンテンツをプレビューするような直感的な動作を再現しようとする試みは提案されていない。例えば、電子文書のページを「めくる」ことはできない。
【００６７】
したがって、本発明の一実施の形態では、特に、電子文書を表示できるハンドヘルドコンピュータ機器（例えば、電子ブック表示装置）のためのプレビューシステムを提供する。更に、本発明は、本のページをめくる体験を再現するために用いることができる、電子ブック表示装置への入力アドオンに関係する。この電子ブック表示装置は、デジタルページを仮想的にナビゲートするために用いることができるタッチセンサを表面に備え（図１４の１４００ａ〜１４００ｃ参照）、例えば、統合された線形スケールタッチセンサ付きストライプ１４０４ａの様々な要素に触れ（１４００ａ）、円筒状の制御装置１４０４ｂをずらし及び／又は回転させ（１４００ｂ）、又はストライプ上の指位置が、選択されるブラウジングの速度及び／又は表示される詳細レベルに対応している非線形スケールタッチセンサ付きストライプ１４０４ｃ上で指を移動させる（１４００ｃ）ことによって、仮想的なナビゲートを行うことができる。このプレビューシステムにより、ユーザのナビゲーション動作に対して自動的に適応化される元の電子コンテンツ（例えば、電子雑誌からのページ、要求されたウェブサイトからのページ）の動的なレイアウトが提供される。
【００６８】
ブラウジングの速度を速め又は遅め、及び／又は電子ブックのページを介して提供する表示の詳細レベルを高め又は低める制御情報を入力するためのタッチセンサ付きディスプレイ１５０２を備える電子ブック表示装置１６００の立体的な概略図を図１６に示す。
【００６９】
本発明の一実施の形態は、ここに提案するページめくりモデルに基づいて、特定のインタラクションパターンを用いる。この結果、上述した入力装置は、異種のユーザインタラクションを検出でき、例えば、ブラウジングの速度及び／又は方向を変更し（「速度依存スクロール」）、表示の抽象化レベルを変更し（空間的、時間的及び／又は意味的レイアウトの変更を意味する）、電子文書のページにランダムにアクセスする（非線形大幅移動、後述）ためのユーザコマンドを検出できる。
【００７０】
図１５は、電子ブック表示装置１６００のタッチセンサ付きディスプレイ１５０２上で指を移動させ、ブラウジングの速度及び／又は表示される情報の詳細レベルを制御することによって、電子ブックのページをナビゲートするユーザの入力動作の異なる具体例を示している。ここでは、例えば、以下のようなイベントを行うことができる。
＊「移動イベント」（電子ブック１６００のページをナビゲートするためのタッチセンサ付きディスプレイ１５０２上でのあらゆる方向のユーザの指の回転又は直線的動き。動きパスの長さは、ブラウジングの速度及び／又は表示される情報の詳細レベルに比例する）。
＊「ストロークイベント」（電子ブック１６００のページをナビゲートするためにタッチセンサ付きディスプレイ１５０２の表面に対して加えられるユーザの指による力又は力の持続。この力は、ブラウジングの速度及び／又は表示される情報の詳細レベルに比例する）。
【００７１】
本発明では、これらのイベントは、ブラウジングの詳細レベル及び／又は速度を変更するための入力動作として用いることができる。ユーザは、本のページをめくるように、電子ブックのページをめくることができ、すなわち、この場合、擬似ランダム的な手法で電子ブックをブラウジングでき、ユーザの指の動作がブラウジングのペースを指示することができる。速度に依存する、よりファジィで、より直感的なインタラクションパターンも想到できる。
【００７２】
電子ブックシステムは、本、雑誌又は新聞の「ページをめくる」人間の動作をシミュレートすることによって、これらの動作に反応し、異なる意味的度合いに基づいてコンテンツを表示する。これらの意味的度合いは、元のデジタルコンテンツを複数の情報モード又はチャンネル（テキスト、写真等）に分解することによって生成される。更に、如何なるモードも、異なる表示の抽象化レベル又は異なる空間的なフォーカス（例えば、テキスト情報のためのキーワード、精度が粗い写真等）によって表示できる。
【００７３】
ここに提案するビデオページめくりモデルの３つの異なる実現例を図１８ａ及び図１８ｂに示す。
【００７４】
図１８ａは、ブラウジングの速度の変更を要求するユーザコマンドに応じて、表示されるビデオシーケンスの空間的及び時間的なレイアウトの表示Ｖの詳細レベルをどのように変更できるかを表している。ここに示すように、表示Ｖは、スキミングされたビデオシーケンスからのショットを表す表示されたキーフレーム画像３０６ａ〜ｅの解像度及びサイズ及び表示の継続時間Ｄのそれぞれに依存する。
【００７５】
図１８ｂは、動的な空間−時間−情報レイアウトにおける非線形の「大幅な」移動動作を表している。このように、表示Ｖの詳細レベルは、表示されるキーフレーム画像３０６ａ〜ｅの解像度及びサイズと共に増減する時間ｔの関数である。
【００７６】
ここに提案するマルチメディアページめくり法では、表示すべきマルチメディア情報の正しい空間−時間的レイアウトを見出し、及び複雑なマルチメディアコンテンツの意味を分解することが重要である。
【００７７】
図１１ａ〜ｃ、図１２ａ〜ｃ及び図１３は、「ページめくり」ナビゲーションの間に表示されるテキスト情報又は画像情報のレイアウトの意味的再構成の幾つかの可能な具体例を示している。
【００７８】
電子ペーパーページは、ブラウジングの速度に応じて異なるレイアウトで表示できる。図１１ａ〜ｃは、同じ電子ペーパー（例えば、ウェブページ）の３つの異なるレイアウトを示しており、意味的フォーカスは、インターネットサーフィンを行いながら、この文書のコンテンツをざっと読む（スキミングする）ユーザのナビゲーション速度に比例するように設定される。この結果、ウェブページ上に表示される各要素は、ページ上の異なる表示の一部への経験的な関連付けに基づいて経験的に算出できる意味値によって重み付けされ、又はページ制作者による編集工程において、明示的に加えることができる。ブラウジング速度を速めると、要素の数が低減され、各要素の意味の重みに応じて、各要素がフィルタリングされる。理想的には、表示される各要素は、物理的な外観（例えば、寸法、色）及びその表示の抽象化レベルを変更できることが望ましい。
【００７９】
図１２ａ〜ｃに示すように、異なるレイアウトを用いることによって、同じ概念を一般化できる。この具体例では、３つの異なる要素（写真、タイトル及び本文）を含むページを示している。
【００８０】
図１３は、高速ブラウジングの間の電子ペーパーからページの７つのレイアウトの概要を示しており、ここでは、意味的フォーカスは、電子ペーパーのページをめくるユーザのナビゲーション速度に比例するように設定される。最初の３つのページ（１３００ａ〜ｃ）では、主なレイアウトが維持されていおり、すなわち、非常に重要な意味オブジェクト（写真、キーワード等）だけが残されている。次の３つのページ（１３００ｄ〜ｆ）では、オブジェクト自体が空間的に強調されている。７番目のページ（１３００ｇ）は、意味的に重要なオブジェクトを含むＮ個のページから構成される完全に新たなレイアウトを示している。
【００８１】
上述したシステムを実現するために、如何なる種類の電子ペーパーフォーマットを用いてもよい。情報の分解は、幾つかの一般的な発見的規則に従い、又は予め定義されたフォーマティングタグ（例えば、ＨＴＭＬ（＜ｈ１＞＜／ｈ１＞、＜ｈ２＞＜／ｈ２＞）を用いて自動的に行うことができる。したがって、明らかに異なる意味的度合いを含むように、電子フォーマットにおける特別なタグを導入してもよい。通常の読解速度では透過的にディスエーブルにされるこの追加的な情報を用いて、高速なナビゲーションの際、表示される文書のレイアウトを適切に変更できる。
【００８２】
本発明の更なる実施の形態では、上述したものと同様のナビゲーションパターンを用いて、デジタルオーディオコンテンツを「予聴（pre-heard）」することができる。オーディオデータの性質のために、オーディオデータは高速ナビゲーションに適さないため、現在の技術では、オーディオ情報の「プレビュー」を行うことができない。なお、無音の間隔を詰めることによってオーディオデータを高速にブラウジングする幾つかの技術は提案されている。しかしながら、純粋にオーディオを早送りするだけの技術は、適用できる分野が非常に限定されている。
【００８３】
複数の種類のオーディオ情報（例えば、歌詞がある楽曲、純粋な音声、リズム、楽器音等）を含むデジタルオーディオデータの場合、ビデオ及びテキストデータに用いたものと同じブラウジング技術を適用できる。本発明では、ユーザは、コンテンツを異なるモードに移行させ（テキスト、視覚的オブジェクト等）、これらのコンテンツのブラウジングの速度を高め、通常のオーディオモードに戻ることができる。
【００８４】
更に、本発明は、デジタルオーディオコンテンツを高速ナビゲートすることによってオーディオデータを予聴するための意味ズーム機能を提案する。このために、ある種の対応するメタデータ、例えば、音声部分のためのテキスト、楽曲の一部の異なる特性（例えば、楽曲の異なる部分、メロディ、リズム、特定のモチーフ、ライトモチーフ又はテーマの器楽編成等）に対応する色を純粋なオーディオストリームに関連付ける。この情報は、元のオーディオデータコンテンツと同期するための同期データを含む必要がある。このメタデータは、オーディオストリーム（例えば、ＭＰＥＧ−７フォーマット）又は独立したデータブロック（例えば、ＸＭＬフォーマット）に埋め込まれ、オーディオコンテンツをナビゲーティングし、予聴し、そのダイジェストを作成するために用いることができる。
【００８５】
図１７は、クライアント／サーバ方式ベースのネットワーク環境において、アプリケーションサーバからダウンロードされ、本発明の一実施の形態に基づくオーディオの「ページめくり」処理を実行できるオーディオプレーヤ１７０６を制御するアプリケーションプログラムを実行するクライアント端末１００６のグラフィカルユーザインタフェースを示している。ユーザは、要求された歌のメロディを聴きながら、例えば、早送りボタンを押し、これにより、例えば、歌の歌詞が表示され、高速にスクロールされ、ユーザは、高速にスクロールされるテキストを見ながら、キーワードを容易に検索でき、オーディオデータトラックの他の点から再生を再開させることができる。
【００８６】
純粋なオーディオコンテンツ（例えば、クラシック交響曲等）の場合、この処理は、交響曲の異なる動き又は動きの一部（例えば、主題の提示、展開、再現、コーダ）を示す異なる色を用いることによって行うこともできる。この場合、ユーザのデスクトップ上には、異なる色によって交響曲の異なる動き又は動き一部を表現するタスクバーが表示される。テキスト情報（例えば、曲の歌詞）は、順方向及び逆方向に簡単に素早くスクロールできる。
【００８７】
【表１】
【００８８】
【表２】
【００８９】
【表３】
【００９０】
【表４】
【図面の簡単な説明】
【００９１】
【図１ａ】写真誌のページをめくる作業の種類及び速度の一具体例を示す図である。
【図１ｂ】写真誌のページをめくる作業の種類及び速度の一具体例を示す図である。
【図１ｃ】写真誌のページをめくる作業の種類及び速度の一具体例を示す図である。
【図１ｄ】写真誌のページをめくる際の人間の脳内作業を真似たアルゴリズムを示すフローチャートである。
【図２】マルチメディア分解処理を説明する図である。
【図３】テキスト及び／又は画像でプレビューされるビデオシーケンスのコンテンツの表示の異なる詳細レベルを示す空間レイアウトの概要の具体例を示す図である。
【図４】プレビューされるマルチメディアデータのコンテンツをブラウジングするために用いられるメタデータのＸＭＬベースの表現を示すプログラムシーケンスを示す図である。
【図５】仮想的に構築された映画のタイミングチャートである。
【図６ａ】ビデオシーケンスをプレビューするヒューマンマシンインタフェースとして用いることできる３つの入力及びナビゲーション制御装置を示す図である。
【図６ｂ】本発明の一実施の形態に基づくビデオプレビューシステムが提供する「意味ズーム」機能を用いたビデオシーケンスのブラウジングの具体例を示す図である。
【図７ａ】ブラウジング処理の間の動的な表示レイアウトを示す図である。
【図７ｂ】ブラウジング処理の間の動的な表示レイアウトを示す図である。
【図７ｃ】ブラウジング処理の間の動的な表示レイアウトを示す図である。
【図７ｄ】ブラウジング処理の間の動的な表示レイアウトを示す図である。
【図８ａ】ビデオプレビューシステムを遠隔制御するためのヒューマンマシンインタフェースとして用いることができる可撓ＰＤＡを示す図である。
【図８ｂ】ナビゲーションシステムが組み込まれたクレジットカードサイズの表示装置を示す図である。
【図８ｃ】可撓ＰＤＡに組み込まれたディスプレイ又はクレジットカードサイズの表示装置に表示される仮想地図の詳細レベルの一具体例を示す図である。
【図８ｄ】可撓ＰＤＡに組み込まれたディスプレイ又はクレジットカードサイズの表示装置に表示される仮想地図の詳細レベルの一具体例を示す図である。
【図８ｅ】可撓ＰＤＡに組み込まれたディスプレイ又はクレジットカードサイズの表示装置に表示される仮想地図の詳細レベルの一具体例を示す図である。
【図８ｆ】タッチパッドが組み込まれたクレジットカードサイズの表示装置の背面図である。
【図９】本発明に基づくビデオプレビューシステムを遠隔制御するためのヒューマンマシンインタフェースとして用いることができる表示機能を有するＤＶＤカバーを示す図である
【図１０】プレビューを要求されたマルチメディアデータのコンテンツをブラウジングするための、クライアント／サーバ方式ベースのネットワーク環境におけるマルチメディアプレビューシステムを示す図である。
【図１１ａ】電子ペーパー（例えば、ウェブページ）のレイアウトの一具体例を示す図である。
【図１１ｂ】電子ペーパー（例えば、ウェブページ）のレイアウトの一具体例を示す図である。
【図１１ｃ】電子ペーパー（例えば、ウェブページ）のレイアウトの一具体例を示す図である。
【図１２ａ】写真、タイトル及び本文を表示する異なるフレームから構成される電子ペーパーのレイアウトの一具体例を示す図である。
【図１２ｂ】写真、タイトル及び本文を表示する異なるフレームから構成される電子ペーパーのレイアウトの一具体例を示す図である。
【図１２ｃ】写真、タイトル及び本文を表示する異なるフレームから構成される電子ペーパーのレイアウトの一具体例を示す図である。
【図１３】高速ブラウジングの間の電子ペーパーからページの７つのレイアウトの概要を示す図である。
【図１４】本発明に基づく電子ペーパーのコンテンツのブラウジングに必要な「ページめくりイベント」のために用いることができる入力及び制御装置の異なる具体例を示す図である。
【図１５】電子ブックのページをナビゲートするユーザの入力動作の具体例を示す概略図である。
【図１６】ブラウジングの速度を速め又は遅め、及び／又は電子ブックのページを介して提供する表示の詳細レベルを高め又は低める制御情報を入力するためのタッチセンサ付きディスプレイを備える電子ブック表示装置の立体的な概略図である。
【図１７】クライアント／サーバ方式ベースのネットワーク環境において、アプリケーションサーバからダウンロードされ、オーディオプレーヤを制御するアプリケーションプログラムを実行するクライアント端末のグラフィカルユーザインタフェースを示す図である。
【図１８ａ】速度に依存する空間−時間−意味情報レイアウトを示す図である。
【図１８ｂ】動的な空間−時間−情報レイアウトにおける非線形「大幅」移動動作を示す図である。
【特許請求の範囲】
【請求項１】
クライアント／サーバ方式ベースのネットワーク環境において、マルチメディアデータを保存するマルチメディアサーバ（１００２）にアクセスするクライアント端末（１００６）に表示され、プレビューを要求されたマルチメディアデータのコンテンツをブラウジングするマルチメディアプレビューシステムにおいて、
当該マルチメディアプレビューシステム（１０００）に対し、上記マルチメディアデータのコンテンツをより速く又はより遅くブラウジングするよう命令するユーザコマンドの種類及び／又は周波数に応じて、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、ブラウジング及び／又はテキスト及び／又は画像における表示の詳細レベルの速度を適応化する制御手段（６０２ａ〜ｃ、８００ａ／ｂ、９００、１４０４ａ〜ｃ、１６００）を備えるマルチメディアプレビューシステム。
【請求項２】
当該マルチメディアプレビューシステム（１０００）は、当該マルチメディアプレビューシステム（１０００）に対し、ブラウジングの速度の変更を指示するユーザコマンドの種類及び／又は周波数に応じて、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、表示の速度及び詳細レベルを変更する更なるビデオブラウジング機能を有するビデオオンデマンドシステムとして実現されることを特徴とする請求項１記載のマルチメディアプレビューシステム。
【請求項３】
上記制御手段（６０２ａ〜ｃ、８００ａ／ｂ、９００、１４０４ａ〜ｃ、１６００）は、上記プレビューされるマルチメディアデータをナビゲートするタッチセンサ付きディスプレイ（１５０２）を備えることを特徴とする請求項１又は２記載のマルチメディアプレビューシステム。
【請求項４】
マルチメディアデータを保存するマルチメディアサーバ（１００２）にアクセスするクライアント端末（１００６）に表示され、プレビューされるマルチメディアデータのコンテンツをブラウジングするブラウジング方法において、
上記マルチメディアサーバ（１００２）からネットワークリンクを介して上記クライアント端末（１００６）に上記マルチメディアデータをダウンロード（Ｓ０）するステップと、
上記マルチメディアサーバ（１００２）が、表示パラメータであるブラウジングの速度及び／又は表示の抽象化レベルの変更を要求するユーザコマンドを受信（Ｓ１ａ）及び処理（Ｓ１ｂ）するステップと、
上記マルチメディアデータを非冗長な部分及び冗長で関連性が低い部分に分解（Ｓ２）するステップと、
表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、ユーザコマンドの種類及び／又は周波数に応じて、所定量の、冗長で関連性が低い部分をオンラインフィルタリング（Ｓ３’）により除外することによって、表示パラメータを適応化（Ｓ３）するステップと、
上記クライアント端末（１００６）にマルチメディアデータの適応化されたバージョンを表示（Ｓ４）するステップとを有するブラウジング方法。
【請求項５】
プレビューするマルチメディアデータのセグメント化された部分をユーザが特定するための全ての種類のメタデータを該マルチメディアデータに関連付ける（Ｓ５ａ）ステップと、
上記メタデータを上記マルチメディアデータに同期させる（Ｓ５ｂ）ステップとを更に有する請求項４記載のブラウジング方法。
【請求項６】
上記ユーザコマンドは、タッチセンサ付きディスプレイ（１５０２）に亘るユーザの指の動きに対応し、該指の動きのパスの長さは、上記マルチメディアデータを表示する際のブラウジング速度及び／又は表示の詳細レベルに正比例していることを特徴とする請求項４又は５記載のブラウジング方法。
【請求項７】
上記ユーザコマンドは、ユーザの指によってタッチセンサ付きディスプレイ（１５０２）の表面に加えられる力に対応し、該力は、上記マルチメディアデータを表示する際のブラウジング速度及び／又は表示の詳細レベルに正比例していることを特徴とする請求項４又は５記載のブラウジング方法。
【請求項８】
上記ユーザコマンドは、ユーザの指によってタッチセンサ付きディスプレイ（１５０２）の表面に力が加えられた時間に対応し、該時間は、上記マルチメディアデータを表示する際のブラウジング速度及び／又は表示の詳細レベルに正比例していることを特徴とする請求項４又は５記載のブラウジング方法。
【請求項１】
クライアント／サーバ方式ベースのネットワーク環境において、マルチメディアデータを保存するマルチメディアサーバ（１００２）にアクセスするクライアント端末（１００６）に表示され、プレビューを要求されたマルチメディアデータのコンテンツをブラウジングするマルチメディアプレビューシステムにおいて、
当該マルチメディアプレビューシステム（１０００）に対し、上記マルチメディアデータのコンテンツをより速く又はより遅くブラウジングするよう命令するユーザコマンドの種類及び／又は周波数に応じて、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、ブラウジング及び／又はテキスト及び／又は画像における表示の詳細レベルの速度を適応化する制御手段（６０２ａ〜ｃ、８００ａ／ｂ、９００、１４０４ａ〜ｃ、１６００）を備えるマルチメディアプレビューシステム。
【請求項２】
当該マルチメディアプレビューシステム（１０００）は、当該マルチメディアプレビューシステム（１０００）に対し、ブラウジングの速度の変更を指示するユーザコマンドの種類及び／又は周波数に応じて、表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、表示の速度及び詳細レベルを変更する更なるビデオブラウジング機能を有するビデオオンデマンドシステムとして実現されることを特徴とする請求項１記載のマルチメディアプレビューシステム。
【請求項３】
上記制御手段（６０２ａ〜ｃ、８００ａ／ｂ、９００、１４０４ａ〜ｃ、１６００）は、上記プレビューされるマルチメディアデータをナビゲートするタッチセンサ付きディスプレイ（１５０２）を備えることを特徴とする請求項１又は２記載のマルチメディアプレビューシステム。
【請求項４】
マルチメディアデータを保存するマルチメディアサーバ（１００２）にアクセスするクライアント端末（１００６）に表示され、プレビューされるマルチメディアデータのコンテンツをブラウジングするブラウジング方法において、
上記マルチメディアサーバ（１００２）からネットワークリンクを介して上記クライアント端末（１００６）に上記マルチメディアデータをダウンロード（Ｓ０）するステップと、
上記マルチメディアサーバ（１００２）が、表示パラメータであるブラウジングの速度及び／又は表示の抽象化レベルの変更を要求するユーザコマンドを受信（Ｓ１ａ）及び処理（Ｓ１ｂ）するステップと、
上記マルチメディアデータを非冗長な部分及び冗長で関連性が低い部分に分解（Ｓ２）するステップと、
表示の速度が遅いほど、表示される詳細の度合いが高く、表示の速度が速いほど、表示される詳細の度合いが低くなるように、ユーザコマンドの種類及び／又は周波数に応じて、所定量の、冗長で関連性が低い部分をオンラインフィルタリング（Ｓ３’）により除外することによって、表示パラメータを適応化（Ｓ３）するステップと、
上記クライアント端末（１００６）にマルチメディアデータの適応化されたバージョンを表示（Ｓ４）するステップとを有するブラウジング方法。
【請求項５】
プレビューするマルチメディアデータのセグメント化された部分をユーザが特定するための全ての種類のメタデータを該マルチメディアデータに関連付ける（Ｓ５ａ）ステップと、
上記メタデータを上記マルチメディアデータに同期させる（Ｓ５ｂ）ステップとを更に有する請求項４記載のブラウジング方法。
【請求項６】
上記ユーザコマンドは、タッチセンサ付きディスプレイ（１５０２）に亘るユーザの指の動きに対応し、該指の動きのパスの長さは、上記マルチメディアデータを表示する際のブラウジング速度及び／又は表示の詳細レベルに正比例していることを特徴とする請求項４又は５記載のブラウジング方法。
【請求項７】
上記ユーザコマンドは、ユーザの指によってタッチセンサ付きディスプレイ（１５０２）の表面に加えられる力に対応し、該力は、上記マルチメディアデータを表示する際のブラウジング速度及び／又は表示の詳細レベルに正比例していることを特徴とする請求項４又は５記載のブラウジング方法。
【請求項８】
上記ユーザコマンドは、ユーザの指によってタッチセンサ付きディスプレイ（１５０２）の表面に力が加えられた時間に対応し、該時間は、上記マルチメディアデータを表示する際のブラウジング速度及び／又は表示の詳細レベルに正比例していることを特徴とする請求項４又は５記載のブラウジング方法。
【図１ａ】
【図１ｂ】
【図１ｃ】
【図１ｄ】
【図２】
【図３】
【図４】
【図５】
【図６ａ】
【図６ｂ】
【図７ａ】
【図７ｂ】
【図７ｃ】
【図７ｄ】
【図８ａ】
【図８ｂ】
【図８ｃ】
【図８ｄ】
【図８ｅ】
【図８ｆ】
【図９】
【図１０】
【図１１ａ】
【図１１ｂ】
【図１１ｃ】
【図１２ａ】
【図１２ｂ】
【図１２ｃ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８ａ】
【図１８ｂ】
【図１ｂ】
【図１ｃ】
【図１ｄ】
【図２】
【図３】
【図４】
【図５】
【図６ａ】
【図６ｂ】
【図７ａ】
【図７ｂ】
【図７ｃ】
【図７ｄ】
【図８ａ】
【図８ｂ】
【図８ｃ】
【図８ｄ】
【図８ｅ】
【図８ｆ】
【図９】
【図１０】
【図１１ａ】
【図１１ｂ】
【図１１ｃ】
【図１２ａ】
【図１２ｂ】
【図１２ｃ】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８ａ】
【図１８ｂ】
【公表番号】特表２００７−５３５０１８（Ｐ２００７−５３５０１８Ａ）
【公表日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願番号】特願２００６−５４１８０６（Ｐ２００６−５４１８０６）
【出願日】平成１６年８月１８日（２００４．８．１８）
【国際出願番号】ＰＣＴ／ＥＰ２００４／００９２７８
【国際公開番号】ＷＯ２００５／０５５０８５
【国際公開日】平成１７年６月１６日（２００５．６．１６）
【出願人】（３９７０５１５０８）ソニー ドイチュラント ゲゼルシャフト ミット ベシュレンクテル ハフツング (140)
【Ｆターム（参考）】
【公表日】平成１９年１１月２９日（２００７．１１．２９）
【国際特許分類】
【出願日】平成１６年８月１８日（２００４．８．１８）
【国際出願番号】ＰＣＴ／ＥＰ２００４／００９２７８
【国際公開番号】ＷＯ２００５／０５５０８５
【国際公開日】平成１７年６月１６日（２００５．６．１６）
【出願人】（３９７０５１５０８）ソニー ドイチュラント ゲゼルシャフト ミット ベシュレンクテル ハフツング (140)
【Ｆターム（参考）】
[ Back to top ]