映像コンテンツのアノテーション情報付与システム及びその方法
【課題】
全ての映像コンテンツのジャンルを対象としてリアルタイム編集可能な映像コンテンツのシーンのアノテーション情報付与システムの提供
【解決方法】
映像コンテンツの全てのジャンルのシーンに共通な見出し用語と、これに関連するジャンル別の用語を階層別の辞書とし、この辞書を表示し選択するためのグラフィックユーザーインターフェース部を設け、
これをリモコンの操作ボタン操作により辞書から適切な用語を選択して、文字情報等を付与するとともに、更に高速な操作をするために限定された用語の音声認識機能を持たせ、音声認識で辞書から適切な用語を選択して、文字情報等を付与することを可能にする。
全ての映像コンテンツのジャンルを対象としてリアルタイム編集可能な映像コンテンツのシーンのアノテーション情報付与システムの提供
【解決方法】
映像コンテンツの全てのジャンルのシーンに共通な見出し用語と、これに関連するジャンル別の用語を階層別の辞書とし、この辞書を表示し選択するためのグラフィックユーザーインターフェース部を設け、
これをリモコンの操作ボタン操作により辞書から適切な用語を選択して、文字情報等を付与するとともに、更に高速な操作をするために限定された用語の音声認識機能を持たせ、音声認識で辞書から適切な用語を選択して、文字情報等を付与することを可能にする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツの任意のシーンにアノテーション情報を付与するシステムで、放送番組や自作ビデオなどの映像コンテンツの録画装置、ビデオカメラ、編集装置等の映像装置に適用されるものである。
【背景技術】
【０００２】
自作ビデオを含む、映像コンテンツをより快適に、より効率よく、より積極的に利用するには、映像コンテンツの編集が不可欠であるがさまざまな要因から手軽に実施できない。
映像コンテンツの編集を行う上での最初のステップは目的のシーン探しとその分類であり、これには多くの時間的、肉体的、精神的な負担が強いられる。
例えばハイライトシーンやコマーシャルメッセージシーン（以下ＣＭ）探しなどはその最たるものであり、これ以外にも、映像コンテンツの長さを適切なものにするために、必要シーン／不要シーンを区分けするなど、制作意図に沿って精度よく映像コンテンツを編集する場合に費やす時間の大半は、これらのシーンを探し出す仕事とその分類であると言っても過言でない。
ＣＭは画像の変化や音声のモードの変化からこれを自動検出する方法は以前より実用化されている。
また一方、音声のレベル検出などを利用してハイライトシーンを自動検出する技術も提案されているものの、ハイライトシーンとするシーンは視聴者の個人差のウエートが高く、特定映像コンテンツ以外は自動化が困難である。
例えば、紀行番組で素晴らしい眺めや景観などは万人が胸を打つシーンであるが、凡庸な場所でも昔住んでいた土地や訪れたことのある場所はその人にとって懐かしく貴重なハイライトシーンとなる。
高校野球の番組でも、学校の運動会の自作ビデオでも、自分の子供が出場するシーンではどんな画像やその結果であろうが大切なハイライトシーンである。
またニュース番組において政治経済的な内容であればそれぞれの場面で自分の意見との賛成、反対もハイライトシーンとなる。
以上のようにハイライトシーンに対しては上記のように個人が抱く懐かしいシーン、感動したシーン、怒りを感じるシーンなど、さまざまなシーンが存在し、ひとくくりに自動化することは出来ない。
残しておきたい映像コンテンツの中でも一部のシーンは、見たくない、見せたくないシーンや、不要なシーン、無駄なシーン等さまざまなシーンが存在する。
以上のようにさまざまな目的の映像コンテンツの編集において、目的とするシーン位置を見つけ出し適切な分類をするためには人的判断と文字を中心とした情報（文字情報等）とすることが不可欠であり時間的、肉体的、精神的な負担が強いられる。
このため作業性や効率改善など人的作業を支援、つまり編集シーンへの情報（アノテーション情報）付与ための支援方法が、特に放送業界、映像コンテンツ業界等のプロユーズにおいてさまざまな形で提案されている。
【０００３】
このような映像コンテンツの任意のシーンに文字情報等を与えるためのアノテーション情報の入力手段として、
遠隔操作装置（リモコン）と表示画面のＧＵＩ（グラフィックユーザーインターフェース）キーボードにより、遠隔操作装置のカーソルボタン操作でかな文字等を一文字ずつ選択し、漢字変換入力し用語を登録する方法がある。
この方法は現在多くの映像装置に採用されているものの習熟が必要な上、慣れても複雑な操作となり文字入力の効率が悪いため、通常はオフライン（非再生時）で映像コンテンツのタイトルを編集する程度が限界であり、オンライン（再生時）では利用できない。
外部キーボードを用いて、文字を一文字ずつ入力し用語を登録する方法がある。
この方法は習熟すれば効率が良いが、付与する文字、用語等、情報に統一性を持たすことが困難であり、付与する情報が場当たり的になり後の検索に負担がかかる。
音声認識を利用して、用語を登録する方法がある。
一般的な音声認識は習熟も必要であり、また誤認識も避けて通れない、またシステムの負担も大きく、キーボード同様付与する文字、用語等、情報に統一性を持たすことが困難である、また複数の視聴者がいる場合、発声が邪魔になる。
編集用の辞書を利用してこれを利用する方法がある。
この方法は付与する用語に統一性を与えることができるためジャンルごとの辞書をもつ方法も提案されているものの、単に音声認識のためのテンプレートであったり、登録されている用語の効率的な検索方法、更には選択方法についてが解決されない限り、特にオンラインでの利用は困難である。
【０００４】
音声認識と辞書をもつアノテーション情報付与の先行技術文献の一例として、特開２００４−８６１２４号公報ならびに特開２００４−１５３７６４号公報は、コンテンツ制作におけるメタデータ（アノテーション情報）制作装置及び検索装置に関するものであり、いずれも音声認識の誤認率と、邪魔な発声が課題となる、また後者は制作された映像・音声コンテンツを再生することによりメタデータとすべき情報を確認し、音声入力でコンンピュータ等に入力することにより前記メタデータを制作し、検索するシステムであるが、事前に制作された映像・音声コンテンツを確認する必要があり、例えば放送中の番組のハイライトシーンなど、リアルタイムで利用することは難しい。
更に特開２００７−１４０１９８号公報では、映像・音声コンテンツに関連したメタデータを作成するメタデータ（アノテーション情報）作成装置に関するものであり、音声認識の場合キーワードが誤って付与されてしまう問題があり、重要度をもとにしてキーワードを作成することを目的としているので、オペレータの声を音声認識でキーワード登録するので誤認率および、邪魔な発声は残されたままであり、また重要度は機械的に事前登録する方法であり必ずしもそのシーンに最適な重み付けとならない。
従がって上記同様放送中の番組のハイライトシーンなど、リアルタイムで利用することは難しい。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−８６１２４号公報
【特許文献２】特開２００４−１５３７６４号公報
【特許文献３】特開２００７−１４０１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のような技術的な背景を克服して、熟練したオペレータであったたり、事前にシーンの概要を把握することを必要とせず、全ての映像コンテンツのジャンルを対象としてオンライン（放送中）の映像コンテンツを視聴しながら視聴環境を配慮しリアルタイムで任意のシーンを対象として、特別の習熟を必要とせず、誰でも当該シーンにふさわしく、かつ編集の検索用に集約され、高精度で、高速で、文字情報等を中心とする情報を付与するためのアノテーション情報付与システムを提供する。
また本発明の主要適用装置である家庭用汎用録画装置等に広く実現可能なコストを目指すために、特別な、装置、部品、組立、の技術を用いることなく、現在市場に広く流通している、装置、部品、組立、の技術で実現可能なアノテーション情報付与システムを提供する。
【課題を解決するための手段】
【０００７】
以上の課題を解決するために
請求項１では、
映像装置と、このユーザーインターフェース装置と、で構成される自作ビデオを含む映像コンテンツの任意のシーンにアノテーション情報を付与するためのシステムであって、
上記映像装置は、
映像コンテンツの全てのジャンルのシーンに共通なシーンを視聴した印象を表す用語である印象用語の見出し用語と、映像コンテンツのジャンル特有の用語であるジャンル用語と、を映像コンテンツのジャンル別および階層別に関連付けし構成される編集用語辞書と、
上記ユーザーインターフェース装置は、
映像コンテンツの視聴開始より順次アノテーション情報を付与するシーン位置を指定し、この指定したシーンに対して上記編集用語辞書の上記見出し用語と上記ジャンル用語とを順次選択し、以上の指定および選択した信号情報を映像装置に送信する手段を備え、
更に上記映像装置は、
ユーザーインターフェースより受信した信号情報にもとづき編集用語辞書によるアノテーション情報データを作成するアノテーション情報作成部と、
を具備することを特徴とする。
請求項２では、
前記編集用語辞書の前記見出し用語ならびに前記ジャンル用語は１グループ最大１２の用語とするよう構成されることを特徴とする。
請求項３では、
前記編集用語辞書にはシーンの印象の度合いの情報が登録され、この印象の度合いを選択しアノテーション情報とすることを特徴とする。
請求項４では、
前記映像装置はリモコン信号受信部を備え、
前記ユーザーインターフェース装置は少なくても２０個の操作ボタンを具備するリモコンであり、前記指定および選択する信号情報はリモコン送信信号であって、
このリモコンボタンを操作することにより、前記シーン位置を指定し、前記編集用語辞書の前記見出し用語ならびに前記ジャンル用語を選択し、
映像装置は上記リモコン信号受信部でこの信号情報を受信し、アノテーション情報作成部で前記編集用語辞書の用語による前記アノテーション情報データを作成することを特徴とする。
請求項５では、
前記映像装置は音声認識部を備え、
前記ユーザーインターフェース装置は音声用マイクロフォンであり、前記指定および選択する信号情報はマイクロフォン音声信号であって、
このマイクロフォンに多くとも３０種以内の音声を発することにより、前記シーン位置を指定し、前記編集用語辞書の前記見出し用語ならびに前記ジャンル用語を選択し、
映像装置は上記音声認識部でマイクロフォン音声信号を信号情報として認識し、アノテーション情報作成部で前記編集用語辞書の用語による前記アノテーション情報データを作成することを特徴とする。
請求項６では、
前記映像装置は映像コンテンツのジャンルをＥＰＧ（エレクトロニクス プログラム ガイド）ジャンルからジャンルを自動選択するジャンル選択手段を具備することを特徴とする。
請求項７では、
前記映像装置はタイムシフト再生（追いかけ再生）手段を具備し、アノテーション情報の編集中、一時停止することを特徴とする。
請求項８では、
前記アノテーション情報に、アノテーション情報付与者名を登録することを特徴とする。
請求項９では、
前記映像装置は、編集用語辞書を通信回線よりダウンロードする辞書ダウンロード部と、用語登録のための外部キーボードのためのキーボード入力部と、
を更に具備すること特徴とする。
請求項１０では、
前記映像装置は、前記ＥＰＧデータまたはインターネットよりのダウンロードデータのいずれかによって個別番組ごとの編集用語辞書とすることを特徴とする。
請求項１１では、
映像コンテンツの全てのジャンルに共通な見出し用語と、
映像コンテンツのジャンル特有の用語であるジャンル用語と、
を映像コンテンツのジャンル別および階層別に関連付けし構成される編集用語辞書より用語を選択してアノテーション情報データを作成することを特徴とする。
請求項１２では、
前記全てのジャンルに共通の見出し用語はシーンを視聴した印象を表す用語であることを特徴とする。
【発明の効果】
【０００８】
全ての映像コンテンツのジャンルのシーンに共通な見出し用語と、この見出し用語に関連するジャンルごとの用語を階層構造として紐付けした辞書を開発するだけで特に大きな技術開発負担を強いることなく、録画装置、ビデオカメラ、編集装置等の映像装置に適応可能な、利用し易く、実用的で、リアルタイムで視聴環境に配慮し運用できる映像コンテンツのアノテーション情報付与システムが実現出来る。
【図面の簡単な説明】
【０００９】
【図１】図１は本発明のシステムの全体構成の例である
【図２】図２は映像コンテンツのジャンル区分の例である
【図３】図３は野球番組の辞書構成の例である
【図４】図４は料理番組の辞書構成の例である
【図５】図５はニュース番組の辞書構成の例である
【図６】図６は映画番組の辞書構成の例である
【図７】図７は旅番組の辞書構成の例である
【図８】図８はクラシック音楽番組の辞書構成の例である
【図９】図９はお笑い番組の辞書構成の例である
【図１０】図１０は自作ビデオの結婚式の辞書構成の例である
【図１１】図１１は特定シーン登録、文字登録の例である
【図１２】図１２はリモコンの例である
【図１３】図１３は操作フローの例である
【図１４】図１４はジャンル選択の例である
【図１５】図１５は用語選択ファンクション操作の例である
【図１６】図１６はシーン位置指定の例である
【図１７】図１７は編集用語辞書の第１階層表示の例である
【図１８】図１８は編集用語辞書の第２階層表示の例である
【図１９】図１９は編集用語辞書の第３階層表示の例である
【図２０】図２０は編集用語辞書の第４階層表示の例である
【図２１】図２１は編集用語辞書の第５階層表示の例である
【図２２】図２２は五感印象用語の例である
【図２３】図２３はアノテーション情報データの例である
【図２４】図２４は視聴後編集の例である
【図２５】図２５はデータベース検索の例である
【発明を実施するための形態】
【実施例１】
【００１０】
図１は本発明のシステムの全体構成の例である。
映像装置１は録画装置、ビデオカメラ、編集装置等であり、ＵＩ（ユーザーインターフェース）装置２であるリモコン３でリモコン送信信号５と、またはマイクロフォン４でマイクロフォン音声信号６と、のいずれかで操作可能なシステム構成となっている。
映像装置１にはテレビジョンまたは液晶表示機などのディスプレーであるメインディスプレー９およびサブディスプレー１０が接続されており、映像コンテンツの録画、再生、表示部１４でアンテナ入力４１から放送番組を受信し、外部映像入力４２から映像コンテンツを受信し、これらを録画再生するとともに映像信号７を出力してメインディスプレー９に表示をさせる。
以上の映像コンテンツは映像コンテンツ記憶部３１に映像コンテンツのタイトル３２ごとに映像コンテンツ３３が録画されている。
【００１１】
ＧＵＩ（グラフィックユーザーインターフェース）部１１のＧＵＩ表示部１３はアノテーション情報付与編集に係るＧＵＩ表示信号８をディスプレーに出力する。
このＧＵＩ表示信号８はディスプレー切替スイッチ４０によりメインディスプレー９またはサブディスプレー１０に切替られる。
この構成図ではディスプレー切替スイッチ４０はＢ側に選択され編集のためのサブディスプレー１０に表示がなされ、映像コンテンツそのものの視聴と、編集を別々に独立して行えるが、サブディスプレー１０を使用しない場合にはディスプレー切替スイッチ４０をＡ側にしてメインディスプレー９の映像コンテンツの表示に重ねてこのＧＵＩ表示信号８を表示する。
以降の説明ではサブディスプレー１０を用いず、メインディスプレー９に映像コンテンツにＧＵＩ表示信号８を重ねた場合の例で説明する。
ＧＵＩ部１１のＧＵＩ制御部１２は、ＵＩ装置情報認識部２２のＵＩ装置２のリモコン３の信号情報はリモコン信号受信部２１、マイクロフォン４の信号情報は音声認識部２４からのＵＩ受信信号１５によって編集に係る各種の制御を実行する。
ＧＵＩ部１１のジャンル選択部２３は映像コンテンツのジャンルをＥＰＧ（エレクトロニクス プログラム ガイド）データから取得して視聴する映像コンテンツのジャンル別の辞書用語を選択するものである。
【００１２】
編集用語辞書１９は本発明の根幹をなすものであり、映像コンテンツのジャンル別更には番組別に先のリモコン３の信号はリモコン信号受信部２１と、マイクロフォン４のマイクロフォン音声信号６は音声認識部２４と、のいずれかからの信号情報により辞書用語選択部２０でこの編集用語辞書１９より用語を選択し、選択された用語２９を出力し、この出力はＧＵＩ表示部１３を通じてディスプレーに表示されるとともに、選択された用語２９をアノテーション情報作成部２５で、ＵＩ装置２の操作にもとづきアノテーション情報データベース３４内のアノテーション情報データ３７として記憶する。
アノテーション情報データベース３４内には映像コンテンツのタイトル３２別にアノテーション情報データ３７が作成され、アノテーション情報データ３７には時刻情報３５ならびに関連情報３６が関連付けされている。
【００１３】
以上の構成のアノテーション情報データベース３４はアノテーション情報データ検索部３０により検索が行われ選択された用語２９としてメインディスプレー９またはサブディスプレー１０いずれかに表示される。
編集用語辞書１９は放送番組映像コンテンツのＥＰＧデータよりタイトル情報ならびにジャンル情報、番組情報、出演者情報などの必要な情報を辞書登録部１６によって取得するとともに、辞書用語ダウンロード部１７でインターネット通信信号２６により随時最新版用語データがダウンロード可能になっているとともに、外部接続されたキーボードの入力によるキーボード信号２７を辞書用語キーボード入力部１８により書き込みも可能な構成となっている。
以上が本発明のシステムの全体構成の例である。
【実施例２】
【００１４】
図２は映像コンテンツのジャンル区分の例である。
現在のデジタル放送番組の映像コンテンツはＥＰＧデータで１２のジャンルが規定され更にサブジャンルが定義付けされている。
これをそのまま利用することも出来るが、本例では図２に示すようにＥＰＧメインジャンルのアニメ／特撮は映画に含め、自作のビデオを含め合計１２種類の区分としている。
本例では以上のように自作ビデオ以外は放送規格にもとづくＥＰＧメインジャンルをそのまま用いた構成として、ＥＰＧで自動選択することも出来るようにしているが、別な方法で分類し、手動選択する方法でもよい。
自作ビデオについては、作成されるビデオの種類を適切にサブジャンルに登録し選択出来るよう構成する。
【００１５】
以上のように多岐にわたるジャンルの映像コンテンツにおいて、事前にシーンの概要を把握することを必要とせず、オンライン（放送中）の映像コンテンツを視聴しながらでも任意のシーンを対象として、特別の習熟を必要とせず、当該シーンにふさわしく、かつ編集の検索用に集約され、高精度で、高速で、文字情報等を付与するために、本発明は全ての映像コンテンツのジャンルのシーンに共通であるとともに、万人に共通で理解し易いく、検索のためにも用語の数が限定出来る見出し用語を探し出しこれを見出し用語とした辞書を用意し、この辞書から必要な用語を順次選択して行くことにより課題を解決している。
【００１６】
本発明の辞書構成の原理は次の通りである。
何の目的で視聴者（利用者）が、その映像および音声のシーンをハイライトシーンを含む編集のためのシーンとして選ぶのかの第一のステップはそのシーンに対する、視聴者それぞれの嗜好、経験、環境、境遇などにもとづく感情や五感、場合によっては体感をもとにしているものであり、このことは全ての映像コンテンツのジャンルのシーンに共通である。
これらの生理学的な分野は脳波、これを利用する認識技術、認識制御等の研究として活発におこなわれ、将来は映像コンテンツの編集のような高度な人的判断にも利用出来るよう期待がかかるもの、脳波などを直接利用して編集を行うには現在のところ重装備の生体情報取得のためのインターフェースの使用が不可欠となるためマスプロユーズ対象の製品に適応するのは困難である。
しかしながら、これに代わって、人の感情や五感、場合によっては体感にもとづく印象を表する用語を見出し用語とする辞書を利用して意味付けする方法は、他の文字入力方法にない大きなメリットをもつ。
その第１のメリットは先に述べたように印象を表現する用語は感じた印象そのものであり万人に理解し易く全ての映像コンテンツのジャンルのシーンに共通に利用可能であることである。
従がってこれを見出し用語として用いることにより、これまで困難であった映像コンテンツの任意のシーンのアノテーション編集に必要な用語の効率的な登録方法と、登録された用語の効率的な選択方法と、が解決出来る。
次に重要なメリットは印象を表す用語、つまり名詞を形容する形容詞やこれに類する形容系の用語を見出し用語とすることにより、必然的にこれに続く形容の対象となる名詞用語が欲しくなる。
具体的には印象を表す用語を見出し用語とすることにより、これに関連するジャンル特有の名詞用語を階層的に直感的で、平易に、限定的に、紐付けし登録することが可能になるとともに、また反対に利用者は、見出し用語である印象を表す用語を選択することにより、この用語に関連紐付けされた、ジャンル特有の編集のための名詞用語を階層的に、案内表示に誘導されるよう容易に選択することが可能となることである。
例えばアイウエオ順や、その他の見出し分類方法ではこのように以降に続く用語を誘導するような効果は得られない。
誘導効果以外においても専門用語から先に意味付けする方法では、映像コンテンツのジャンルごと別々に見出し用語が必要になり、見出しの共有化が困難であり、本実施例のように全ての映像コンテンツに共通な見出し用語とするような共通の階層構造とする辞書構造とはならない。
全ジャンル共通の見出し用語をもつことは装置、システム開発側の負担を少なくするのみでなく、装置、システムの利用者側の慣れや効率の面でも大きな意味をもつ。
【００１７】
この印象を表現する用語だけでもさまざまな映像シーンの意味付けが可能になり編集シーンの大方の分類とすることが出来るが、更にこの印象を表現する用語に映像コンテンツのジャンルごとのジャンル特有の用語を階層状に紐付けし、これを利用することによって映像コンテンツのあらゆるシーンを対象として文字情報を中心とした意味付けを可能にする。
階層を深くすることにより複雑な文字情報の付与も可能である、また徒に階層を深くすることなく、編集のためのお勧め用語となることを期待して編集に不可欠なジャンル用語のみを辞書登録することも一つの考え方である。
【００１８】
本実施例では全ての映像コンテンツのジャンルに共通で、映像シーンや音声シーンにより人が抱く、喜怒哀楽などの感情や好き嫌いなどの嗜好などあらゆる種類の印象を表現する形容系の用語を洗い出し、これを集約して印象用語とするとともに、これを良い印象を感じるシーンをプラス感情、悪い印象を感じるマイナス印象として区分している。
これは編集すべきシーンはプラス印象かマイナス印象どちらかであることを利用したものである。
【００１９】
更にプラスおよびマイナス印象それぞれ便宜上、人を対象とする印象を人物系とし、人物以外のモノや事象を場面系として、合計４種（以下の説明では印象区分とする）、３８の用語を見出し用語としているが、更に追加することも、変更することも可能である。
この見出し用語（以下の説明では印象用語とする）をもとに映像コンテンツのさまざまなジャンルの特有用語（以下の説明ではジャンル用語とする）を階層的に登録した辞書構造とすることにより当初の目的を果たすものである。
喜怒哀楽などの感情や好き嫌いなどの嗜好などの見出し用語は全ての映像コンテンツのあらゆるジャンル共通に利用することが可能であり、以下にこの見出し用語を用いた代表的な８種類の映像コンテンツのジャンルにおける辞書の実施例を示す。
【実施例３】
【００２０】
図３は野球番組の辞書構成の例である。
映像コンテンツのジャンル１０１別に構成される編集用語辞書１９の階層１０３の第１階層は先に説明の印象区分１０４がプラス印象、マイナス印象と場面系、人物系の４種に区分されており第２階層にこれらの印象区分１０４ごとに、本実施例では形容系の印象用語１０５が合計３８用語登録されている。
辞書構造説明のために印象用語を全ジャンルの映像コンテンツに共通な喜怒哀楽などの感情や好き嫌いなどの嗜好などの印象用語のみ示しているが、本方式では第１階層を適切な区分とすることにより第２階層の印象用語を最大１２×１２＝１４４まで登録可能で、これ以外の五感や体感など通常人が感じる、ありとあらゆる印象の用語を登録することが出来る。
理解し易い適切な印象区分と映像コンテンツのジャンル全体を考慮し割り付けする、詳細は後述する。
ここまでの構成は全てのジャンルに共通となる。
【００２１】
第３階層には第２階層の印象用語１０５の中から野球番組に関連する印象用語１０５ごとに関連する野球番組特有の名詞用語であるジャンル用語１０６が登録され、更に本例では、選手、打撃、投球、送球、走塁、盗塁、の６種のジャンル用語１０６に関しては更にこの詳細の名詞用語が第４階層に、第３階層の野球番組ジャンル用語１０６に関連する野球番組ジャンル用語１０６として登録されている。
【００２２】
野球の場合のプラス印象はひいきのチームが勝つたり、いいプレーをした時のシーンやひいきの選手が出場するシーンのそれぞれの印象用語１０５に対して野球番組特有のジャンル用語１０６が関連付けされている。
【００２３】
またこの例では、退屈・つまらない、の印象用語１０５にはＣＭ、が登録されていてこれをアノテーション情報として選択し情報付与することができる、野球番組以外の番組で子供に見せたくないシーン、自分でも見たくないシーンなども適切な印象用語１０５を選択して情報付与することが可能であり、あらゆるシーンにこれらの編集に関連する適切な用語を選択し情報付与することが出来る。
【００２４】
例えば同じ満塁ホームランのシーンでもひいきのチームであれば、プラス印象場面系、凄い・素晴らしい、打撃、満塁ホームラン、と階層別に選択、情報付与されアノテーション情報データ３７となり、一方反対の場合は、マイナス印象場面系、拙い、投球、満塁ホームラン、と階層別に選択、情報付与されアノテーション情報データ３７となる。
【００２５】
更に高校野球や優勝を決するような試合には、プラス印象場面系、感動・感謝・感激、打撃、満塁ホームラン、としても階層別に選択、情報付与可能なよう登録されている、どちらを選ぶかは利用者の印象でよい。
単に好きな投手の選手が登場するシーンでは、プラス印象人物系、好きな・ファンの、選手、投手、が階層別に選択可能なように登録されている。
以上のように印象用語１０５に紐付けするジャンル用語１０６は野球を知っている人であれば、あらゆるシーンを連想することにより平易に実施出来る、他のジャンルにおいても同様である。
【００２６】
また図３の通り本発明の編集用語辞書１９では全ての階層の印象区分１０４、印象用語１０５、ジャンル用語１０６とも最大１２を１グループとした辞書構成としている。
この理由は後述される。
【００２７】
更にジャンル用語の階層を深くすることも可能であるが、本実施例では第５階層に印象の度合いつまり感情や嗜好の程度を５段階の星型記号で選択可能な構成としている。
本発明は印象を表す用語を見出し用語とするので、以上のように印象の度合いにもとづく編集情報、結果として重要な編集シーンも容易に設定出来ることも特徴の一つである。
この記号は文字情報とすることも可能であり、また段階を少なくする、多くすることも自由である。
【実施例４】
【００２８】
図４は料理番組の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
料理番組などの印象用語１０５としては、美味い、不味いなどの味覚や嗅覚に関連する用語が登録されていた場合更に適切なものとなる、味覚や嗅覚以外にも五感や体感に関する用語は印象用語の対象であり利用頻度を考慮して第１階層および第２階層を設計すればよい、詳細は後述する。
第３階層、第４階層は料理番組特有のジャンル用語が印象用語に関連して登録されている。
一般的な料理番組では、レシピ、調理方法、盛り付け、出来あがり、がポイントになるが出演者や参加者の人物系に印象のウエートが多い場合にも対応が可能な構成としている。
第４階層の出演者の固有名詞は放送番組のＥＰＧデータから番組個別に取得したものである。
多くの放送番組の映像コンテンツには出演者情報がＥＰＧデータとしてデータ放送されるのでこれを利用することが出来るが、更に詳細な人名、地名、番組内容に係る用語に対しては、外部インターネットサイトからダウンロードして番組ごとに辞書用語とすることも可能であり、これらは他のジャンルの映像コンテンツについても同様である。
【実施例５】
【００２９】
図５はニュース番組の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
第３階層、第４階層はニュース番組特有のジャンル用語が印象用語に関連して登録されている。
一般的なニュース番組は番組中さまざまなサブジャンルの内容が送られてくるのでこれは、報道内容、として、政治、経済、文化、社会、国際、先端技術、環境、趣味、福祉、として登録されていて更に追加設定することも可能である。
【実施例６】
【００３０】
図６は映画番組の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
第３階層、第４階層は映画番組特有のジャンル用語が印象用語に関連して登録されている。
映画番組は場面系と人物系の双方の利用頻度が高くそれぞれさまざまな特有の用語が選択可能であり、スターの名前などが登録されている。
これらの男優、女優等のスターの名前は前述のインターネットサイトからダウンロードして取得した例であり、単に出演者とする場合であればＥＰＧデータから取得出来る。
【００３１】
映画番組では、アクション、コメディ、ＳＦ、アニメ、実録など、更に詳細ジャンルを定めることにより、より詳細ジャンルに特化したジャンル用語とすることも可能である。
明確な定義が可能であれば、映画以外のジャンルの映像コンテンツでも同様である。
【実施例７】
【００３２】
図７は旅番組の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
第３階層、第４階層は旅番組特有のジャンル用語が印象用語に関連して登録されている。
旅番組は先の映画同様に場面系と人物系の双方の利用頻度が高くそれぞれさまざまな特有のジャンル用語が選択可能であり、土地、自然、文化遺産、には具体的な名前などが登録されている。
宿泊場所、乗り物、にはその種類が登録されている。
【実施例８】
【００３３】
図８はクラシック番組の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
第３階層、第４階層はクラシック番組特有のジャンル用語が印象用語に関連して登録されている。
曲名、指揮者、演奏者、独奏者、歌手、には具体的な名前が登録されている。
料理番組同様に音楽番組には聴覚による印象用語があると更に詳細なアノテーション情報とすることが出来る、これについては後述する。
【実施例９】
【００３４】
図９はお笑い番組の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
第３階層、第４階層はお笑い番組特有のジャンル用語が印象用語に関連して登録されている。
司会者、出演者、参加者、歌手、には具体的な名前が登録されている。
【００３５】
以上の７種の代表的な放送番組のジャンルの説明のように、喜怒哀楽などの感情や好き嫌いなどの嗜好などの印象用語はあらゆる映像コンテンツのジャンルに共通に利用可能であり辞書構築の基本となる。
またデータ量が多く、変動も激しい固有名詞においては実施例４の料理番組のように番組ＥＰＧデータから出演者の名前などの固有名詞を入手する方法と、更に詳細な情報を得るために実施例６の映画番組のインターネット通信等により特定のサイトから情報を入手して、さまざまな番組に関連する人名、地名、などの固有名詞を入手する方法が利用可能である。
更には後述する方法で固有名詞を個別登録することも出来る。
【００３６】
以上のようにジャンルや更には番組ごとの辞書構成とすることは、選択する用語（文字）の数を限定し、適切なものとするためであり、例えばあまたの芸能人や地名の中から例えばあいうえお順に登録された辞書の中から１人の芸能人や１個所の地名を選択するような煩雑な操作をなくすためのものである。
【実施例１０】
【００３７】
図１０は自作ビデオの結婚式の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
第３階層、第４階層は結婚式特有のジャンル用語が印象用語に関連して登録されている。
友人・知人、式場、には具体的な名前が登録されている。
自作ビデオの場合、名前や地域、団体などの固有名詞等は個人個人で登録することが不可欠となる、これらの名前等の登録は以下の通りである。
【実施例１１】
【００３８】
図１１は特定シーン登録、文字登録の例である。
図３においてCMシーンは、退屈・つまらない、に関連する用語として登録されていたが、本例では５種のＣＭなどの特定なシーンが第１階層の１１にまとめて登録されておりそれぞれ開始、中間、終了シーンを直接指定出来るようになっている。
【００３９】
更に、本実施例では、図１０の、友人・知人、の名前などの固有名詞の登録は図１１に示すように、第１階層の１２に文字登録として割り当てられて、第２階層の１には漢字、２にはカナ、３にはアルファーベットならびに数字を割り当て、第４階層に個別に文字が登録してありこれを選択することにより、 図３から図９までの辞書登録用語以外の個人個人必要な用語、を事前に登録または適宜入力出来る構造とすることにより更に利用価値の高い文字情報等を作成することが出来る。
【００４０】
この配列文字の選択による文字入力方法は携帯電話の文字入力方法やリモコンのカーソルボタン操作による文字入力よりボタンの操作回数を大幅に減らすことが出来、文字入力の効率を大幅に改善することが出来る。
【実施例１２】
【００４１】
図１２はリモコンの例である。
現在の映像装置の遠隔操作装置であるリモコンはボタン式で赤外線無線方式が主流である。
本発明では現在広く利用されている、デジタル放送用映像装置のボタン式リモコンをＵＩ装置２として利用することを意図している。
【００４２】
カーソルボタン４９は通常さまざまな編集の際に利用されるものであり、通常映像コンテンツのタイトルなどの文字入力をする際にも利用されるものであるが、先に説明の通りこのボタンを用いて文字入力をすることは極めて効率が悪く実用的でないため本発明はこのカーソルボタン４９を使用せずに、以下の３種類のボタンを用いて文字入力をさせようとするものである。
【００４３】
通常の映像装置操作においてチャンネルボタン４３は１から１２までの１２個のチャンネル切替えボタンであり、このボタンを先に説明した用語のグループを最大１２としてある編集用語辞書の中からグループごとに用語を選択するものである。
カラーボタン４４はさまざまなファンクション実行のための青、赤、緑、黄の４個のボタンであり、チャプタボタン４５は、チャプタマークを付与するボタンである。
通常の映像コンテンツの視聴ではこれらのボタンはチャンネル選択など通常のボタン操作とし、後に述べる文字等入力編集モードにした時このボタンを文字等入力編集操作用ボタンとして転用して使用する。
【００４４】
この３種、１７個のボタン、最大でも２０個のボタンを操作することにより、映像コンテンツを視聴する際、映像コンテンツの任意のシーンに対して目的の用語や記号を文字情報等として付与するものである。
【００４５】
このボタン操作によるリモコン送信信号５は図１に示す映像装置１のリモコン信号受信部２１で受信されＧＵＩ制御部１２ならびに辞書用語選択部２０を操作する。
【００４６】
同様にマイクロフォン４をＵＩ装置２とする場合、このリモコンのボタンの名称であるチャプタボタンを、ココ、１から１２を、イチ、ニ、サン、シまたはヨン、ゴ、ロク、ナナまたはシチ、ハチ、キュウまたはク、ジュウ、ジュウイチ、ジュウニ、と青、赤、緑、黄のカラーボタンを、アオ、アカ、ミドリ、キまたはキイロ、以上の３０種以下の発声をすることにより、映像装置１の音声認識部２２はリモコンによる信号と同様に信号情報として認識し同上の操作を行う。
【００４７】
リモコン操作の場合にはボタンの位置を確認してボタン操作をする必要があるが、視聴環境に問題がない場合は、このような音声認識を利用することにより、リモコンのボタンを毎回確認する必要がなく、ディスプレー画面を見たままで発声し高速な文字入力をすることが出来る。
このように極めて少ない用語の信号情報としての音声認識は構成を極めて単純化したものでも識別率を高精度なものとすることが出来る。
【００４８】
本発明は以上の通り視聴環境によってリモコン操作ならびに音声操作のいずれでも対応可能にしている。
【実施例１３】
【００４９】
図１３は操作フローの例である。
以上のようなシステム構成と辞書構成を利用して目的の文字情報等のデータを作成するための映像装置１（図では装置本体と記載）に対するＵＩ装置２の操作フローを示すものである。
【００５０】
ＳＴＥＰ１に示すように映像コンテンツを視聴する前に映像コンテンツのジャンルを選択しておく、これは自作ビデオ以外の放送番組は、番組ＥＰＧデータによって自動選択とすることも可能である。
映像コンテンツが開始され、文字情報等を付与したいシーンがあると、ＳＴＥP２に示すように、当該シーン位置指定信号を装置本体に送信する。
これによりＳＴＥＰ３に示すように装置本体のＧＵＩ表示部１３は視聴画面に辞書からの文字情報等の編集情報を表示し、
ＳＴＥＰ４に示すようにＵＩ装置２で目的の文字情報等を階層順に選択し１つのシーンの文字情報等の付与が完了されると、
ＳＴＥＰ５に示すように文字情報等のアノテーション情報データ３７を作成し
ＳＴＥＰ６に示すように画面表示をもとに戻し
以降映像コンテンツの視聴終了までこれが繰り返される。
【００５１】
以上のような簡単な操作で実現出来るため、今まで困難であった全ての映像コンテンツのジャンルを対象としたオンライン、リアルタイムでの文字情報等の入力編集も可能にさせる、以下に本システムの操作の詳細を示す。
【実施例１４】
【００５２】
図１４はジャンル選択の例である。
通常デジタル放送番組の場合、放送電波で番組のＥＰＧデータが送られてくるので、この情報をもとに映像装置１は自動的にジャンル選択することも可能であるが、ここではＵＩ装置２で指定する場合の実施例を示している（自作ビデオの場合はＥＰＧデータがないためこの方法で選択する）。
【００５３】
映像装置１のメインメニューから編集モード等にして、ＧＵＩ制御部１２でこれから説明する文字入力等の編集モードに設定することにより映像装置１は文字入力等の編集モードになりリモコン信号、マイクロフォンよりの信号を文字等入力編集用の信号として受け付ける。
【００５４】
先に説明の図２に示す映像コンテンツのジャンルをＵＩ装置２のリモコン３またはマイクロフォン４を使って選択する場合の実施例である。
図の左側にはメインジャンル１０１が選択番号４６の１から１２まで選択項目４７として表示されている。
更にカラーボタン４４に対応してファンクション内容４８が表示されている。
最初の段階ではカーソル５０は表示されていないが、リモコン操作５１の場合、２、ボタンを押すことにより選択番号４６の２であるスポーツのラインにカーソル５０が表示され、これを確認し、良ければ、緑、ボタンで、次に進む、もしジャンルを間違えて押した場合には、赤、ボタンを押すことにより、取消、されカーソルは消滅し再選択することができる。
音声操作５２の場合はマイクロフォンに、二、と発声することによりカーソルが表示されこれを確認しよければ、ミドリ、と発声することによりメインジャンルが選択される。
【００５５】
メインジャンルの選択が完了すると、図の右側に示すようにサブジャンル１０１が表示され、野球を選択する場合、リモコン操作５１の場合、１、ボタンを押すことにより選択番号４６の１である野球のラインにカーソル５０が表示され、青、ボタンを押すことによりジャンル１０１の選択が完了する。
音声操作５２の場合は、イチ、アオ、と発声することによりサブジャンル１０１の選択が完了される。
もし押し間違え、ジャンルの変更があれば、赤、緑、の操作により修正することが出来る。
【００５６】
以上で映像コンテンツのジャンル選択が完了し、ＧＵＩ制御部１２は当該放送番組開始時点から番組終了時点までの任意のシーンに視聴者が必要とする文字情報等を付与することが可能な文字等入力編集モードとなる。
【実施例１５】
【００５７】
図１５は用語選択ファンクション操作の例である。
本実施例では文字等入力編集に係る操作をリモコンの、チャプタボタン、チャンネルボタンとカラーボタンの１７個のボタンを操作、または音声認識することにより実現させるもので、チャプタボタンはシーン位置を指定し、１２個のチャンネルボタン４３は選択項目４７を選択するための選択番号４６の選択に利用している、またカラーボタン４４はこれ以外の操作を実行する。
本例ではカラーボタン４４の、青、ボタンを、選択、緑、ボタンを、戻る、黄、ボタンを、次へ、赤、ボタンを、取消、に対応させ、通常操作は、青、ボタン操作のみであるが、変更や次の階層へのジャンプなどの通常外操作の概要は図に示す通りである。
【実施例１６】
【００５８】
図１６はシーン位置指定の例である。
先にジャンル選択したスポーツ／野球の映像コンテンツを視聴中の満塁ホームランのシーンに文字情報等を付与する場合の例である。
【００５９】
視聴者（利用者）は先ず編集するべきシーンと感じたところで、リモコン３を使ってのリモコン操作５１の場合はチャプタボタン４５を押すことにより、このシーンの時間位置を指定することが出来る。
【００６０】
音声操作５２の場合にはマイクロフォン４に、ココ、と発声することによりこのシーンの時間位置を指定することが出来る。
音声操作５２の場合の時間位置指定は、ココ、として示したがこれに代わる、チャプタ、などの発声でもよく、発声に対応したファンクションを決めればよい。
リモコン操作でも、音声操作でも、この時アノテーション情報を付与するための用語等一切考える必要はない、感覚、印象に任せて、この時間位置指定をすればよい、このことが本発明のポイントである。
以上により辞書機能が作動し、本例の場合図３に示す編集用語辞書１９の第１階層の表示に移行する。
【００６１】
以上に関しては映像装置１の映像コンテンツの録画、再生、表示部１４のタイムシフト再生（追いかけ再生）手段により、視聴中の映像を自動的に一時停止し、第１階層の表示をすることも可能である、これによって短時間であってもハイライトシーンに続く大事なシーンを見逃すこともなく安心して文字等入力編集を実施することが出来る。
【実施例１７】
【００６２】
図１７は図１６から移行した編集用語辞書の第１階層の表示の例である。
本例では図３で説明の野球番組における編集用語辞書１９の第１階層が１から４までＧＵＩ表示部１３により表示されている。
また第１階層の１１、１２には先に説明の図１１の特定シーン登録、文字登録が利用出来るようにメニューが表示されている。
【００６３】
先の説明で指定したシーンの時間位置に対する、用語選択をする際、視聴者が攻撃側のチームのファンであった場合は、印象区分１０４としておのずから選択番号４６が１の、プラス印象場面系、が選択される。
この場合のリモコン操作５１は、１、ボタンを押すことによりカーソル５０が表示され、良ければ、青、ボタンで選択され、プラス印象場面系、がアノテーション情報作成部２５でアノテーション情報データベース３４内のアノテーション情報データ３７の第１階層に記憶される。
同様に音声操作５２の場合は、イチ、アオ、の発声である。
【００６４】
また選手そのものがひいきであれば図３の辞書から、プラス印象人物系、好きな・ファンの、選手、内野手、のように選択して登録することができる。
反対であれば、マイナス印象場面系、が印象区分１０４として必然的に選択される。
もちろん中立な立場でどちらのチームの素晴らしいプレーに対しても、プラス印象の印象用語１０４で登録することも可能である。
以上が第１階層表示画面で、次の第２階層の表示に移行する。
【実施例１８】
【００６５】
図１８は図１７から移行した編集用語辞書の第２階層の表示の例である。
先の説明の第１階層で印象区分１０４が、プラス印象場面系、として選択された場合の第２階層の印象用語１０５の表示である。
これらの中から最適な印象用語１０５を選択番号４６が４の、凄い・素晴らしい、とする場合、この場合のリモコン操作５１は、３、青、であり音声操作５２の場合は、サン、アオの発声である。
以上が第２階層選択画面で、選択した印象用語１０５がアノテーション情報データ３７の第２階層に記憶され、次に第３階層の表示に移行する。
【実施例１９】
【００６６】
図１９は図１８から移行した編集用語辞書の第３階層の表示の例である。
先の説明の第２階層で印象用語１０５が、凄い・素晴らしい、として選択された場合の第３階層のジャンル用語１０６の表示である。
これらの中から最適なジャンル用語１０６を選択番号４６が１の、打撃、とする場合、この場合のリモコン操作５１は、１、青、であり音声操作５２の場合は、イチ、アオ、の発声である。
以上が第３階層選択画面で、選択したジャンル用語１０６がアノテーション情報データ３７の第３階層に記憶され次に第４階層の表示に移行する。
【実施例２０】
【００６７】
図２０は図１９から移行した編集用語辞書の第４階層の表示の例である。
先の説明の第３階層でジャンル用語１０６が、打撃、として選択された場合の第４階層のジャンル用語１０６の表示である。
これらの中から最適なジャンル用語１０６を選択番号４６が１の、満塁ホームラン、とする場合、この場合のリモコン操作５１は、１、青、であり音声操作５２の場合は、イチ、アオ、の発声である。
以上が第４階層選択画面で、選択したジャンル用語１０６がアノテーション情報データ３７の第４階層に記憶され次に第５階層の表示に移行する。
【実施例２１】
【００６８】
図２１は図２０から移行した編集用語辞書の第５階層の表示の例である。
先の説明で第４階層でジャンル用語１０６が、満塁ホームラン、として選択された場合の第５階層の表示である。
【００６９】
第５階層は図３で説明の通り、このシーンの印象の度合いを現す文字または記号を選択する場合でありこの例では５段階レベル中、４段階のレベルを示す選択番号４６が４を選択する場合である、この場合のリモコン操作５１の場合は、４、青、の発声であり音声操作５２は、ヨン、アオ、である。
本発明は印象を表す形容系の用語を見出し用語としているので以上のように印象の度合いにもとづく編集情報、結果として重要な編集シーンも容易に設定出来る。
【００７０】
以上が第５階層表示画面で、これにより以上のデータはアノテーション情報データ３７の第５階層として記憶され、通常動作に戻るとともに、タイムシフト再生（追いかけ再生）手段により一時停止中の場合には画面は再会され通常視聴画面となる。
【００７１】
番組視聴中、視聴者（利用者）は印象区分と形容系の印象用語を選択することにより、以降のジャンル用語を自分であれこれ考えることもなく、案内表示に誘導されるようジャンル用語を選択することによって映像コンテンツの任意のシーンに最適な文字情報等のアノテーション情報を付与することが可能となる。
以上の図１６から図２１の操作を繰り返すことにより、リアルタイムでアノテーション情報データ３７が完成される。
これは見出し用語を形容系の印象用語として以降に続く名詞用語であるジャンル用語を関連付けすることの最大の効果である。
感情や五感、体感に任せてシーンの時間位置を指定し、適切な印象用語を選択することにより後は案内表示に誘導されるように「最適なジャンル用語の付与が可能となる。
編集途中の操作ミスの修正や、取消しなどの操作は先に説明の図１５の用語選択ファンクション操作にもとづき自由に実施可能である。
【００７２】
以上の文字情報等の付与は生放送番組のみならず録画した映像コンテンツの再視聴時などにおいても、上記同様リモコン操作５１、音声操作５２のシンプルな操作で実施することが出来る。
また映像装置１に録画した映像コンテンツ以外のリムーバルビデオコンテンツとして搭載された映像コンテンツ３３に利用することも可能である。
【００７３】
本実施例ではリモコン方式、音声認識方式とも合計１７のボタンまたは音声をもってすべての編集を行っている、アノテーション情報編集中にはチャンネル切替などがないことを利用してチャンネルボタンで用語の選択を行うよう、リモコンボタンの割り付けを行ったが、他のファンクションボタン等は他のボタン割り付けでも構わない、電源などの操作を含めても最低２０個のボタンのあるリモコン、または最大３０種の信号情報としての音声で実現出来るところが本発明の重要なポイントである。
【００７４】
以上の説明ように本発明の音声認識で辞書用語を直接読取り、認識率が課題になるような音声認識はしていない、辞書内の用語の選択のための信号情報とするだけである。
従がって音声認識も文脈を判断する文法系の音声認識等とする必要もなく、単純な音響系のパターンマッチングによる音声認識で可能であり、システムの負担を大きくすることもなく認識率を高くすることが可能である。
限られた３０以内の音声であるため、必要に応じ特定話者登録も容易である。
更に高精度にするためにはマイクロフォンをヘッドセットタイプにする、発音スイッチを取り付けする、またはイヤータイプのマイクロフォンで鼓膜の振動を集音するなど様々な使用環境に応じた形態とすることが可能である。
【００７５】
本発明は以上のように、シーンの印象をもとにした印象用語１０５に関連付けられたジャンル特有のジャンル用語１０６の選択がＧＵＩ表示部１３によりメニュー選択形式で印象用語に誘導されるよう選択出来るため、全ての映像コンテンツのジャンルを対象としてアナウンサーのような専門家でなくても用語を考えたり、選択を迷うこともなく、操作が単純で、特別な習熟を要せず、直感的にリアルタイム編集が可能であり、本実施例ではシーンの時間位置の指定から第１階層から第５階層までの文字および記号合計２９文字記号を計１１ボタン操作で実現出来、平均ボタン操作時間とシステム操作時間を平均１．０秒とする場合、最短１１．０秒で情報入力が完了出来る。
音声入力の場合は、平均発声時間とシステム動作時間を平均０．５秒とする場合、最短５．５秒で情報入力を完了出来る。
本実施例では確実性を重視するため、選択番号４６を指定後更に、選択、を操作するよう構成されているが、編集速度を優先する場合には、選択番号４６を指定することにより直接下の階層に移行するよう構成すれば、先の時間をほぼ半分まで短縮することも出来る。
以上のように文字を中心とする情報が、操作が単純で、特別な習熟を要せず、直感的に操作することにより、全ての映像コンテンツのジャンルを対象としてリアルタイムで、当該シーンに最適な編集用語のアノテーション情報の付与編集を可能とするのが、印象用語を見出し用語とする辞書を利用した本発明の大きな特徴である。
【００７６】
初回視聴の映像コンテンツに対しては例えばハイライトシーンの位置と第２階層までの印象用語１０５のみをアノテーション情報としてリアルタイムで付与しておき、次回再生時、編集時に以後のジャンル用語を詳細に登録することでもよい。
通常のチャプタマークのように時間位置のみを指定する方法でマークを多用した場合、後でこのマークが何の意図のマークであったかを判読することが難しい。
最低この印象用語１０５を付すだけでも当該シーンの意図が理解出来、以降の編集を迅速で効率的にすることが可能となる。
このような場合には第２階層の印象用語１０５の選択完了後、自動的に通常視聴画面に戻るよう設定しておくことも出来る。
【実施例２２】
【００７７】
図２２は五感印象用語の例である。
これまでの説明の喜怒哀楽などの感情や好き嫌いなどの嗜好などによるプラス印象、マイナス印象の印象用語１０５は、全ての映像コンテンツのジャンルに共通に利用出来るものであるが、これに更に視覚、聴覚、味覚、嗅覚、触覚の五感に関する形容系の印象用語１０５をまとめたものが図２２であり、第１階層の５から１０の印象区分１０４に割り付け登録されている。
映像コンテンツに対しては当然のことながら視覚的印象が最も多く、これを形状的印象、空間的印象、明暗色調的印象の３つに区分して割り付けしている。
聴覚的印象では音楽番組にも対応できるよう用語が登録されている。
嗅覚に関しては味覚と一緒に割り付けグルメや料理番組に対応出来るよう用語が登録されている。
触覚的印象は、アクション映画等自分が主人公になったつもりで感じる印象用語が登録されている。
【００７８】
プラス印象、マイナス印象の喜怒哀楽などの感情や好き嫌いなどの嗜好などの印象用語と、以上説明の五感に関する印象用語と、更に必要によっては、眠い、疲れた、酔っぱらった、等の五感に含まれない体感的な印象用語と、を加えると、映像コンテンツのシーン画像、シーン音声による刺激に対する人の反応としてのシーンの印象は完全に満たされたものとなる。
これらの五感、体感等の印象用語１０５に映像コンテンツそれぞれのジャンルに関係する用語を当てはめ、これに関連するジャンル用語１０６を適切に登録することにより、どのようなシーンの編集にでも適切な見出し用語が選択可能となる。
しかしながら、例えば野球番組の編集で味覚や嗅覚の印象用語はほとんど利用されなく、一方で料理番組では重要になる、従がって五感や体感に関する印象用語に関しては必ずしも全ての映像コンテンツのジャンルに対応させる必要はなく、スポーツ番組、料理番組、音楽番組、旅行番組、ドラマ、アクション映画などそのジャンルに必要な五感や体感に関する印象用語をジャンル別に利用出来るようにすればよい。
また、五感や体感の印象用語１０５の場合にはこれ自体がそのシーンから視た、聴いた、味わった、嗅いだ、触れた、体感した、等の印象の意味を持っているので第３、４階層に必ずしもジャンル用語１０６を当てはめる必要もない、必要なジャンル用語１０６を適切に関連付けすればよい。
【実施例２３】
【００７９】
図２３はアノテーション情報データの例である。
これまでの例でアノテーション情報が付与されたアノテーション情報データ３７の例であり映像コンテンツのタイトル部にはジャンル、番組名、放送局名、放送開始時間、終了時間が記録されており、タイトルの下にはアノテーション情報付与者名である編集者の名前が関連情報３６内に個人別情報１０８として登録されている、同一のタイトルを別な複数の利用者が文字情報等編集することも可能である。
【００８０】
以上の情報の下に放送開始から放送終了までに指定し選択した、時刻とそれぞれの階層のアノテーション情報（文字、記号等）が付与されており、印象区分１０４と印象用語１０５、ジャンル用語１０６それぞれの用語が階層別に選択されている。
これを一覧するだけでも、おおよそのシーンの時間位置とその内容を克明に理解することが出来る。
【００８１】
順番３はＣＭを、退屈・つまらない、として選択した内容となっている、自作のビデオの編集などで不要なシーンも、退屈・つまらない、を選択することにより選択することが可能である。
先に説明の通りこのようなシーンに対しては、図１１並びに図１７で示した特定シーンから選択登録することも可能である。
【実施例２４】
【００８２】
図２４は視聴後編集の例である。
これまでの説明のように、以上のアノテーション情報の付与は映像コンテンツを視聴した結果にもとづくもので厳密な意味でのシーン位置指定のタイミングは後ろにずれたものとなる。
従がって指定したシーンより先行するシーンに時間位置を再設定すればよい、この際先行するシーンにシーン位置指定を自動修正することも可能である。
【００８３】
この場合映像コンテンツを視聴していて、開始とほぼ同時に時間位置指定が可能な例えばＣＭシーン、数秒かからないと分からない例えば投手がボールを投げてから満塁ホームランとなるまでのシーン、映画やドラマのハイライトシーンなどのように１分程度前からがハイライトシーンの導入部になる場合など映像コンテンツのジャンルおよび選択された用語をもとに、時間位置の自動詳細調整をすることも、範囲で指定することも可能である。
【００８４】
また更に編集効果を高めるためには、隣接する映像の編集点（カット点）を自動検出してこの編集点を時間位置とするとよい。
これらの編集点（カット点）の自動検出はさまざまな文献で紹介されている。
また編集されたアノテーション用語が適切であるか、印象の度合い、など映像コンテンツ全体を総合的に判断して修正することも可能である。
【００８５】
以上のような視聴後に二次編集を施すことにより精度が高く高品位なアノテーション情報データ３７とすることが出来る。
このアノテーション情報データ３７の時刻情報３５を利用して、カット、結合、編集はもちろんのこと、映像コンテンツをランダムアクセスしてプレーリスト作成などの編集を自由に行い、映像コンテンツの利用の幅を拡大することが、本発明の最終目的であり以下にその一例を示す。
【実施例２５】
【００８６】
図２５はデータベース検索の例である。
本発明の最大の特徴は印象用語を見出し用語としてこれに関連する映像コンテンツのジャンル特有のジャンル用語を選択し登録する方式であるため、選択の用語が限定され、適切な用語が選定可能である、あいまい検索等のような検索システムの負担も少ない。
【００８７】
また出来あがったアノテーション情報データ３７は編集者の意図に沿った内容となり、利用者に最適な個人ごとのパーソナルなものとすることが出来る。
従がって、データベース内に複数の編集者によるアノテーション情報データ３７がある場合、アノテーション情報付与者名であるこの個人別情報１０８を選択することにより、選択した編集者の印象にもとづく検索が可能であり検索の意図にそった映像コンテンツのシーンの検索が可能になる。
【００８８】
また映像コンテンツのタイトルごとにデータベース化されたアノテーション情報データベース３４はさまざまデータとして加工することも出来、映像コンテンツのそれぞれのジャンル、階層ごとの区分、用語、記号などあらゆる条件で検索を行い、映像コンテンツの詳細な内容を検索することが可能である。
【００８９】
図２５では編集者、映像コンテンツのジャンル、第１階層から第５階層まで独立させて検索情報を入力し複数の映像コンテンツの文字情報等付与シーン１０７の中から検索条件に合致する映像コンテンツの文字情報等付与シーン１０７として検出する場合の概要を示している。
独立させずに全体を一括して編集用語を検索させることも自由である。
以上のような検索結果はさまざまな種類のハイライトシーンのプレーリストに利用することが出来る。
映像コンテンツ全体の印象用語ごと、さらには印象の度合いごと、等のハイライトダイジェスト版、等さまざまな検索結果にもとづき、映像コンテンツの利用範囲が拡大される。
ハイライトシーン以外の、不要のシーンや見たくいないシーンの編集にも有効であることは説明する必要もない。
【００９０】
本発明の展開方法１として図１に示すように編集用語辞書１９はインターネット回線で最新データを更新することや、個別番組ごとのデータを番組開始前にデータ配信、またはダウンロードすることが考えられる。
【００９１】
本発明の展開方法２として放送番組のＥＰＧデータの階層構造を編集用語辞書１９と直接連携出来る構造とすることが出来れば装置構成が簡素化され、更に活用の範囲が拡大される。
【００９２】
これまでの説明を整理すると、システム開発側は、
辞書構成は、全ての映像コンテンツのジャンルに共通にハイライトシーンを含むさまざまな編集シーンに利用出来る印象を表す形容系の用語（印象用語）を見出し用語にして、この見出し用語に関連するジャンル用語を映像コンテンツのジャンル別に登録することが出来るので、辞書の用語はジャンル別に限定的なものとなり、辞書構築の負担が少なく、ジャンル用語の利用度に応じ追加、削除も自由である。
【００９３】
映像コンテンツのジャンルをＥＰＧデータのジャンルを用いることが出来るので辞書構成の標準化がしやすい、またＥＰＧデータにより番組ごとの用語を持たすことも可能となる、辞書データはインターネット等の通信回線からダウンロードさせることが出来るため最新版の更新も自由である。
【００９４】
辞書として使用される用語が限定的となることにより、完成したアノテーション情報データの検索の際には、あいまい検索などの必要もなく、装置負担をかけることなく適確で効率的な検索をすることが出来る。
【００９５】
市場に広く流通しているボタン式のリモコンのボタン機能をそのまま利用出来るので装置ハード開発が容易である。
【００９６】
音声操作における音声認識も最大３０の信号情報としての音声を認識することでアノテーション情報データを作成することが出来るので、音声認識についても装置負担が少ない。
【００９７】
一方本発明のシステム利用者側におけるメリットとして、
視聴環境に影響しない使い慣れたボタン式のリモコンのボタン機能をそのまま利用して、印象を表す用語を見出し用語として文字情報等が入力出来るので操作の違和感がなく、全ての映像コンテンツのジャンルを対象としてだれでも簡単に放送に追従してリアルタイムでの利用ができる。
【００９８】
視聴環境によってマイクロフォンを接続し音声認識で文字情報等を入力することも可能で、最大３０程度の発声により行われるので特別の習熟の必要もなく誤認識も少ない。
【００９９】
視聴時に感じた印象をもと操作することにより適切な編集のための用語が案内されるので、誰でも最適なにアノテーション情報を作成出来るとともに、個人個人思い思いのプライベートアノテーション情報データとすることが出来るとともに印象の度合いも簡単に登録出来るので、検索においても個人個人の印象の種類やその度合いをもとに最適な検索が可能になる。
【０１００】
視聴時に付与したシーンのアノテーション情報を検索して、当該シーンをダイレクトにランダムアクセスし複数の映像コンテンツの中からお好みのシーンのみを連続してダイジェストで再生させるような応用が可能となる。
【０１０１】
タイムシフト（追いかけ再生）手段を使うことにより、映像コンテンツの途中シーンの見逃しをなくすことも出来る。
【０１０２】
新しい情報などの用語はジャンル別または個別番組別に放送データや通信回線でダウンロードすることにより当該映像コンテンツに最適で、最新用語によるアノテーション情報を作成することが出来る。
【産業上の利用可能性】
【０１０３】
以上の説明のように本発明は、特別な装置、部品、組立技術を用いることなく、現在市場に広く流通している、装置、部品、組立て、の技術で実現可能なアノテーション情報付与システムであり、家庭用汎用録画装置、ビデオカメラ、編集装置はもとより専門映像装置等に広く利用することが出来る。
【符号の説明】
【０１０４】
１ 映像装置
２ ＵＩ（ユーザーインターフェース）装置
３ リモコン
４ マイクロフォン
５ リモコン送信信号
６ マイクロフォン音声信号
７ 映像信号
８ ＧＵＩ（グラフィックユーザーインターフェース）表示信号
９ メインディスプレー
１０ サブディスプレー
１１ ＧＵＩ部
１２ ＧＵＩ制御部
１３ ＧＵＩ表示部
１４ 映像コンテンツの録画、再生、表示部
１５ ＵＩ受信信号
１６ 辞書登録部
１７ 辞書用語ダウンロード部
１８ 辞書用語キーボード入力部
１９ 編集用語辞書
２０ 辞書用語選択部
２１ リモコン信号受信部
２２ ＵＩ装置情報認識部
２３ ジャンル選択部
２４ 音声認識部
２５ アノテーション情報作成部
２６ インターネット通信信号
２７ キーボード信号
２８ 辞書データ
２９ 選択された用語
３０ アノテーション情報データ検索部
３１ 映像コンテンツ記憶部（または搭載された映像コンテンツ）
３２ タイトル
３３ 映像コンテンツ
３４ アノテーション情報データベース
３５ 時刻情報
３６ 関連情報
３７ アノテーション情報データ
４０ ディスプレー選択スイッチ
４１ アンテナ入力
４２ 外部映像入力
４３ チャンネルボタン
４４ カラーボタン
４５ チャプタボタン
４６ 選択番号
４７ 選択項目
４８ ファンクション内容
４９ カーソルボタン
５０ カーソル
５１ リモコン操作
５２ 音声操作
１０１ ジャンル
１０２ ジャンル区分
１０３ 階層
１０４ 印象区分
１０５ 印象用語
１０６ ジャンル用語
１０７ 文字情報等付与シーン
１０８ 個人別情報
【技術分野】
【０００１】
本発明は、映像コンテンツの任意のシーンにアノテーション情報を付与するシステムで、放送番組や自作ビデオなどの映像コンテンツの録画装置、ビデオカメラ、編集装置等の映像装置に適用されるものである。
【背景技術】
【０００２】
自作ビデオを含む、映像コンテンツをより快適に、より効率よく、より積極的に利用するには、映像コンテンツの編集が不可欠であるがさまざまな要因から手軽に実施できない。
映像コンテンツの編集を行う上での最初のステップは目的のシーン探しとその分類であり、これには多くの時間的、肉体的、精神的な負担が強いられる。
例えばハイライトシーンやコマーシャルメッセージシーン（以下ＣＭ）探しなどはその最たるものであり、これ以外にも、映像コンテンツの長さを適切なものにするために、必要シーン／不要シーンを区分けするなど、制作意図に沿って精度よく映像コンテンツを編集する場合に費やす時間の大半は、これらのシーンを探し出す仕事とその分類であると言っても過言でない。
ＣＭは画像の変化や音声のモードの変化からこれを自動検出する方法は以前より実用化されている。
また一方、音声のレベル検出などを利用してハイライトシーンを自動検出する技術も提案されているものの、ハイライトシーンとするシーンは視聴者の個人差のウエートが高く、特定映像コンテンツ以外は自動化が困難である。
例えば、紀行番組で素晴らしい眺めや景観などは万人が胸を打つシーンであるが、凡庸な場所でも昔住んでいた土地や訪れたことのある場所はその人にとって懐かしく貴重なハイライトシーンとなる。
高校野球の番組でも、学校の運動会の自作ビデオでも、自分の子供が出場するシーンではどんな画像やその結果であろうが大切なハイライトシーンである。
またニュース番組において政治経済的な内容であればそれぞれの場面で自分の意見との賛成、反対もハイライトシーンとなる。
以上のようにハイライトシーンに対しては上記のように個人が抱く懐かしいシーン、感動したシーン、怒りを感じるシーンなど、さまざまなシーンが存在し、ひとくくりに自動化することは出来ない。
残しておきたい映像コンテンツの中でも一部のシーンは、見たくない、見せたくないシーンや、不要なシーン、無駄なシーン等さまざまなシーンが存在する。
以上のようにさまざまな目的の映像コンテンツの編集において、目的とするシーン位置を見つけ出し適切な分類をするためには人的判断と文字を中心とした情報（文字情報等）とすることが不可欠であり時間的、肉体的、精神的な負担が強いられる。
このため作業性や効率改善など人的作業を支援、つまり編集シーンへの情報（アノテーション情報）付与ための支援方法が、特に放送業界、映像コンテンツ業界等のプロユーズにおいてさまざまな形で提案されている。
【０００３】
このような映像コンテンツの任意のシーンに文字情報等を与えるためのアノテーション情報の入力手段として、
遠隔操作装置（リモコン）と表示画面のＧＵＩ（グラフィックユーザーインターフェース）キーボードにより、遠隔操作装置のカーソルボタン操作でかな文字等を一文字ずつ選択し、漢字変換入力し用語を登録する方法がある。
この方法は現在多くの映像装置に採用されているものの習熟が必要な上、慣れても複雑な操作となり文字入力の効率が悪いため、通常はオフライン（非再生時）で映像コンテンツのタイトルを編集する程度が限界であり、オンライン（再生時）では利用できない。
外部キーボードを用いて、文字を一文字ずつ入力し用語を登録する方法がある。
この方法は習熟すれば効率が良いが、付与する文字、用語等、情報に統一性を持たすことが困難であり、付与する情報が場当たり的になり後の検索に負担がかかる。
音声認識を利用して、用語を登録する方法がある。
一般的な音声認識は習熟も必要であり、また誤認識も避けて通れない、またシステムの負担も大きく、キーボード同様付与する文字、用語等、情報に統一性を持たすことが困難である、また複数の視聴者がいる場合、発声が邪魔になる。
編集用の辞書を利用してこれを利用する方法がある。
この方法は付与する用語に統一性を与えることができるためジャンルごとの辞書をもつ方法も提案されているものの、単に音声認識のためのテンプレートであったり、登録されている用語の効率的な検索方法、更には選択方法についてが解決されない限り、特にオンラインでの利用は困難である。
【０００４】
音声認識と辞書をもつアノテーション情報付与の先行技術文献の一例として、特開２００４−８６１２４号公報ならびに特開２００４−１５３７６４号公報は、コンテンツ制作におけるメタデータ（アノテーション情報）制作装置及び検索装置に関するものであり、いずれも音声認識の誤認率と、邪魔な発声が課題となる、また後者は制作された映像・音声コンテンツを再生することによりメタデータとすべき情報を確認し、音声入力でコンンピュータ等に入力することにより前記メタデータを制作し、検索するシステムであるが、事前に制作された映像・音声コンテンツを確認する必要があり、例えば放送中の番組のハイライトシーンなど、リアルタイムで利用することは難しい。
更に特開２００７−１４０１９８号公報では、映像・音声コンテンツに関連したメタデータを作成するメタデータ（アノテーション情報）作成装置に関するものであり、音声認識の場合キーワードが誤って付与されてしまう問題があり、重要度をもとにしてキーワードを作成することを目的としているので、オペレータの声を音声認識でキーワード登録するので誤認率および、邪魔な発声は残されたままであり、また重要度は機械的に事前登録する方法であり必ずしもそのシーンに最適な重み付けとならない。
従がって上記同様放送中の番組のハイライトシーンなど、リアルタイムで利用することは難しい。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−８６１２４号公報
【特許文献２】特開２００４−１５３７６４号公報
【特許文献３】特開２００７−１４０１９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
以上のような技術的な背景を克服して、熟練したオペレータであったたり、事前にシーンの概要を把握することを必要とせず、全ての映像コンテンツのジャンルを対象としてオンライン（放送中）の映像コンテンツを視聴しながら視聴環境を配慮しリアルタイムで任意のシーンを対象として、特別の習熟を必要とせず、誰でも当該シーンにふさわしく、かつ編集の検索用に集約され、高精度で、高速で、文字情報等を中心とする情報を付与するためのアノテーション情報付与システムを提供する。
また本発明の主要適用装置である家庭用汎用録画装置等に広く実現可能なコストを目指すために、特別な、装置、部品、組立、の技術を用いることなく、現在市場に広く流通している、装置、部品、組立、の技術で実現可能なアノテーション情報付与システムを提供する。
【課題を解決するための手段】
【０００７】
以上の課題を解決するために
請求項１では、
映像装置と、このユーザーインターフェース装置と、で構成される自作ビデオを含む映像コンテンツの任意のシーンにアノテーション情報を付与するためのシステムであって、
上記映像装置は、
映像コンテンツの全てのジャンルのシーンに共通なシーンを視聴した印象を表す用語である印象用語の見出し用語と、映像コンテンツのジャンル特有の用語であるジャンル用語と、を映像コンテンツのジャンル別および階層別に関連付けし構成される編集用語辞書と、
上記ユーザーインターフェース装置は、
映像コンテンツの視聴開始より順次アノテーション情報を付与するシーン位置を指定し、この指定したシーンに対して上記編集用語辞書の上記見出し用語と上記ジャンル用語とを順次選択し、以上の指定および選択した信号情報を映像装置に送信する手段を備え、
更に上記映像装置は、
ユーザーインターフェースより受信した信号情報にもとづき編集用語辞書によるアノテーション情報データを作成するアノテーション情報作成部と、
を具備することを特徴とする。
請求項２では、
前記編集用語辞書の前記見出し用語ならびに前記ジャンル用語は１グループ最大１２の用語とするよう構成されることを特徴とする。
請求項３では、
前記編集用語辞書にはシーンの印象の度合いの情報が登録され、この印象の度合いを選択しアノテーション情報とすることを特徴とする。
請求項４では、
前記映像装置はリモコン信号受信部を備え、
前記ユーザーインターフェース装置は少なくても２０個の操作ボタンを具備するリモコンであり、前記指定および選択する信号情報はリモコン送信信号であって、
このリモコンボタンを操作することにより、前記シーン位置を指定し、前記編集用語辞書の前記見出し用語ならびに前記ジャンル用語を選択し、
映像装置は上記リモコン信号受信部でこの信号情報を受信し、アノテーション情報作成部で前記編集用語辞書の用語による前記アノテーション情報データを作成することを特徴とする。
請求項５では、
前記映像装置は音声認識部を備え、
前記ユーザーインターフェース装置は音声用マイクロフォンであり、前記指定および選択する信号情報はマイクロフォン音声信号であって、
このマイクロフォンに多くとも３０種以内の音声を発することにより、前記シーン位置を指定し、前記編集用語辞書の前記見出し用語ならびに前記ジャンル用語を選択し、
映像装置は上記音声認識部でマイクロフォン音声信号を信号情報として認識し、アノテーション情報作成部で前記編集用語辞書の用語による前記アノテーション情報データを作成することを特徴とする。
請求項６では、
前記映像装置は映像コンテンツのジャンルをＥＰＧ（エレクトロニクス プログラム ガイド）ジャンルからジャンルを自動選択するジャンル選択手段を具備することを特徴とする。
請求項７では、
前記映像装置はタイムシフト再生（追いかけ再生）手段を具備し、アノテーション情報の編集中、一時停止することを特徴とする。
請求項８では、
前記アノテーション情報に、アノテーション情報付与者名を登録することを特徴とする。
請求項９では、
前記映像装置は、編集用語辞書を通信回線よりダウンロードする辞書ダウンロード部と、用語登録のための外部キーボードのためのキーボード入力部と、
を更に具備すること特徴とする。
請求項１０では、
前記映像装置は、前記ＥＰＧデータまたはインターネットよりのダウンロードデータのいずれかによって個別番組ごとの編集用語辞書とすることを特徴とする。
請求項１１では、
映像コンテンツの全てのジャンルに共通な見出し用語と、
映像コンテンツのジャンル特有の用語であるジャンル用語と、
を映像コンテンツのジャンル別および階層別に関連付けし構成される編集用語辞書より用語を選択してアノテーション情報データを作成することを特徴とする。
請求項１２では、
前記全てのジャンルに共通の見出し用語はシーンを視聴した印象を表す用語であることを特徴とする。
【発明の効果】
【０００８】
全ての映像コンテンツのジャンルのシーンに共通な見出し用語と、この見出し用語に関連するジャンルごとの用語を階層構造として紐付けした辞書を開発するだけで特に大きな技術開発負担を強いることなく、録画装置、ビデオカメラ、編集装置等の映像装置に適応可能な、利用し易く、実用的で、リアルタイムで視聴環境に配慮し運用できる映像コンテンツのアノテーション情報付与システムが実現出来る。
【図面の簡単な説明】
【０００９】
【図１】図１は本発明のシステムの全体構成の例である
【図２】図２は映像コンテンツのジャンル区分の例である
【図３】図３は野球番組の辞書構成の例である
【図４】図４は料理番組の辞書構成の例である
【図５】図５はニュース番組の辞書構成の例である
【図６】図６は映画番組の辞書構成の例である
【図７】図７は旅番組の辞書構成の例である
【図８】図８はクラシック音楽番組の辞書構成の例である
【図９】図９はお笑い番組の辞書構成の例である
【図１０】図１０は自作ビデオの結婚式の辞書構成の例である
【図１１】図１１は特定シーン登録、文字登録の例である
【図１２】図１２はリモコンの例である
【図１３】図１３は操作フローの例である
【図１４】図１４はジャンル選択の例である
【図１５】図１５は用語選択ファンクション操作の例である
【図１６】図１６はシーン位置指定の例である
【図１７】図１７は編集用語辞書の第１階層表示の例である
【図１８】図１８は編集用語辞書の第２階層表示の例である
【図１９】図１９は編集用語辞書の第３階層表示の例である
【図２０】図２０は編集用語辞書の第４階層表示の例である
【図２１】図２１は編集用語辞書の第５階層表示の例である
【図２２】図２２は五感印象用語の例である
【図２３】図２３はアノテーション情報データの例である
【図２４】図２４は視聴後編集の例である
【図２５】図２５はデータベース検索の例である
【発明を実施するための形態】
【実施例１】
【００１０】
図１は本発明のシステムの全体構成の例である。
映像装置１は録画装置、ビデオカメラ、編集装置等であり、ＵＩ（ユーザーインターフェース）装置２であるリモコン３でリモコン送信信号５と、またはマイクロフォン４でマイクロフォン音声信号６と、のいずれかで操作可能なシステム構成となっている。
映像装置１にはテレビジョンまたは液晶表示機などのディスプレーであるメインディスプレー９およびサブディスプレー１０が接続されており、映像コンテンツの録画、再生、表示部１４でアンテナ入力４１から放送番組を受信し、外部映像入力４２から映像コンテンツを受信し、これらを録画再生するとともに映像信号７を出力してメインディスプレー９に表示をさせる。
以上の映像コンテンツは映像コンテンツ記憶部３１に映像コンテンツのタイトル３２ごとに映像コンテンツ３３が録画されている。
【００１１】
ＧＵＩ（グラフィックユーザーインターフェース）部１１のＧＵＩ表示部１３はアノテーション情報付与編集に係るＧＵＩ表示信号８をディスプレーに出力する。
このＧＵＩ表示信号８はディスプレー切替スイッチ４０によりメインディスプレー９またはサブディスプレー１０に切替られる。
この構成図ではディスプレー切替スイッチ４０はＢ側に選択され編集のためのサブディスプレー１０に表示がなされ、映像コンテンツそのものの視聴と、編集を別々に独立して行えるが、サブディスプレー１０を使用しない場合にはディスプレー切替スイッチ４０をＡ側にしてメインディスプレー９の映像コンテンツの表示に重ねてこのＧＵＩ表示信号８を表示する。
以降の説明ではサブディスプレー１０を用いず、メインディスプレー９に映像コンテンツにＧＵＩ表示信号８を重ねた場合の例で説明する。
ＧＵＩ部１１のＧＵＩ制御部１２は、ＵＩ装置情報認識部２２のＵＩ装置２のリモコン３の信号情報はリモコン信号受信部２１、マイクロフォン４の信号情報は音声認識部２４からのＵＩ受信信号１５によって編集に係る各種の制御を実行する。
ＧＵＩ部１１のジャンル選択部２３は映像コンテンツのジャンルをＥＰＧ（エレクトロニクス プログラム ガイド）データから取得して視聴する映像コンテンツのジャンル別の辞書用語を選択するものである。
【００１２】
編集用語辞書１９は本発明の根幹をなすものであり、映像コンテンツのジャンル別更には番組別に先のリモコン３の信号はリモコン信号受信部２１と、マイクロフォン４のマイクロフォン音声信号６は音声認識部２４と、のいずれかからの信号情報により辞書用語選択部２０でこの編集用語辞書１９より用語を選択し、選択された用語２９を出力し、この出力はＧＵＩ表示部１３を通じてディスプレーに表示されるとともに、選択された用語２９をアノテーション情報作成部２５で、ＵＩ装置２の操作にもとづきアノテーション情報データベース３４内のアノテーション情報データ３７として記憶する。
アノテーション情報データベース３４内には映像コンテンツのタイトル３２別にアノテーション情報データ３７が作成され、アノテーション情報データ３７には時刻情報３５ならびに関連情報３６が関連付けされている。
【００１３】
以上の構成のアノテーション情報データベース３４はアノテーション情報データ検索部３０により検索が行われ選択された用語２９としてメインディスプレー９またはサブディスプレー１０いずれかに表示される。
編集用語辞書１９は放送番組映像コンテンツのＥＰＧデータよりタイトル情報ならびにジャンル情報、番組情報、出演者情報などの必要な情報を辞書登録部１６によって取得するとともに、辞書用語ダウンロード部１７でインターネット通信信号２６により随時最新版用語データがダウンロード可能になっているとともに、外部接続されたキーボードの入力によるキーボード信号２７を辞書用語キーボード入力部１８により書き込みも可能な構成となっている。
以上が本発明のシステムの全体構成の例である。
【実施例２】
【００１４】
図２は映像コンテンツのジャンル区分の例である。
現在のデジタル放送番組の映像コンテンツはＥＰＧデータで１２のジャンルが規定され更にサブジャンルが定義付けされている。
これをそのまま利用することも出来るが、本例では図２に示すようにＥＰＧメインジャンルのアニメ／特撮は映画に含め、自作のビデオを含め合計１２種類の区分としている。
本例では以上のように自作ビデオ以外は放送規格にもとづくＥＰＧメインジャンルをそのまま用いた構成として、ＥＰＧで自動選択することも出来るようにしているが、別な方法で分類し、手動選択する方法でもよい。
自作ビデオについては、作成されるビデオの種類を適切にサブジャンルに登録し選択出来るよう構成する。
【００１５】
以上のように多岐にわたるジャンルの映像コンテンツにおいて、事前にシーンの概要を把握することを必要とせず、オンライン（放送中）の映像コンテンツを視聴しながらでも任意のシーンを対象として、特別の習熟を必要とせず、当該シーンにふさわしく、かつ編集の検索用に集約され、高精度で、高速で、文字情報等を付与するために、本発明は全ての映像コンテンツのジャンルのシーンに共通であるとともに、万人に共通で理解し易いく、検索のためにも用語の数が限定出来る見出し用語を探し出しこれを見出し用語とした辞書を用意し、この辞書から必要な用語を順次選択して行くことにより課題を解決している。
【００１６】
本発明の辞書構成の原理は次の通りである。
何の目的で視聴者（利用者）が、その映像および音声のシーンをハイライトシーンを含む編集のためのシーンとして選ぶのかの第一のステップはそのシーンに対する、視聴者それぞれの嗜好、経験、環境、境遇などにもとづく感情や五感、場合によっては体感をもとにしているものであり、このことは全ての映像コンテンツのジャンルのシーンに共通である。
これらの生理学的な分野は脳波、これを利用する認識技術、認識制御等の研究として活発におこなわれ、将来は映像コンテンツの編集のような高度な人的判断にも利用出来るよう期待がかかるもの、脳波などを直接利用して編集を行うには現在のところ重装備の生体情報取得のためのインターフェースの使用が不可欠となるためマスプロユーズ対象の製品に適応するのは困難である。
しかしながら、これに代わって、人の感情や五感、場合によっては体感にもとづく印象を表する用語を見出し用語とする辞書を利用して意味付けする方法は、他の文字入力方法にない大きなメリットをもつ。
その第１のメリットは先に述べたように印象を表現する用語は感じた印象そのものであり万人に理解し易く全ての映像コンテンツのジャンルのシーンに共通に利用可能であることである。
従がってこれを見出し用語として用いることにより、これまで困難であった映像コンテンツの任意のシーンのアノテーション編集に必要な用語の効率的な登録方法と、登録された用語の効率的な選択方法と、が解決出来る。
次に重要なメリットは印象を表す用語、つまり名詞を形容する形容詞やこれに類する形容系の用語を見出し用語とすることにより、必然的にこれに続く形容の対象となる名詞用語が欲しくなる。
具体的には印象を表す用語を見出し用語とすることにより、これに関連するジャンル特有の名詞用語を階層的に直感的で、平易に、限定的に、紐付けし登録することが可能になるとともに、また反対に利用者は、見出し用語である印象を表す用語を選択することにより、この用語に関連紐付けされた、ジャンル特有の編集のための名詞用語を階層的に、案内表示に誘導されるよう容易に選択することが可能となることである。
例えばアイウエオ順や、その他の見出し分類方法ではこのように以降に続く用語を誘導するような効果は得られない。
誘導効果以外においても専門用語から先に意味付けする方法では、映像コンテンツのジャンルごと別々に見出し用語が必要になり、見出しの共有化が困難であり、本実施例のように全ての映像コンテンツに共通な見出し用語とするような共通の階層構造とする辞書構造とはならない。
全ジャンル共通の見出し用語をもつことは装置、システム開発側の負担を少なくするのみでなく、装置、システムの利用者側の慣れや効率の面でも大きな意味をもつ。
【００１７】
この印象を表現する用語だけでもさまざまな映像シーンの意味付けが可能になり編集シーンの大方の分類とすることが出来るが、更にこの印象を表現する用語に映像コンテンツのジャンルごとのジャンル特有の用語を階層状に紐付けし、これを利用することによって映像コンテンツのあらゆるシーンを対象として文字情報を中心とした意味付けを可能にする。
階層を深くすることにより複雑な文字情報の付与も可能である、また徒に階層を深くすることなく、編集のためのお勧め用語となることを期待して編集に不可欠なジャンル用語のみを辞書登録することも一つの考え方である。
【００１８】
本実施例では全ての映像コンテンツのジャンルに共通で、映像シーンや音声シーンにより人が抱く、喜怒哀楽などの感情や好き嫌いなどの嗜好などあらゆる種類の印象を表現する形容系の用語を洗い出し、これを集約して印象用語とするとともに、これを良い印象を感じるシーンをプラス感情、悪い印象を感じるマイナス印象として区分している。
これは編集すべきシーンはプラス印象かマイナス印象どちらかであることを利用したものである。
【００１９】
更にプラスおよびマイナス印象それぞれ便宜上、人を対象とする印象を人物系とし、人物以外のモノや事象を場面系として、合計４種（以下の説明では印象区分とする）、３８の用語を見出し用語としているが、更に追加することも、変更することも可能である。
この見出し用語（以下の説明では印象用語とする）をもとに映像コンテンツのさまざまなジャンルの特有用語（以下の説明ではジャンル用語とする）を階層的に登録した辞書構造とすることにより当初の目的を果たすものである。
喜怒哀楽などの感情や好き嫌いなどの嗜好などの見出し用語は全ての映像コンテンツのあらゆるジャンル共通に利用することが可能であり、以下にこの見出し用語を用いた代表的な８種類の映像コンテンツのジャンルにおける辞書の実施例を示す。
【実施例３】
【００２０】
図３は野球番組の辞書構成の例である。
映像コンテンツのジャンル１０１別に構成される編集用語辞書１９の階層１０３の第１階層は先に説明の印象区分１０４がプラス印象、マイナス印象と場面系、人物系の４種に区分されており第２階層にこれらの印象区分１０４ごとに、本実施例では形容系の印象用語１０５が合計３８用語登録されている。
辞書構造説明のために印象用語を全ジャンルの映像コンテンツに共通な喜怒哀楽などの感情や好き嫌いなどの嗜好などの印象用語のみ示しているが、本方式では第１階層を適切な区分とすることにより第２階層の印象用語を最大１２×１２＝１４４まで登録可能で、これ以外の五感や体感など通常人が感じる、ありとあらゆる印象の用語を登録することが出来る。
理解し易い適切な印象区分と映像コンテンツのジャンル全体を考慮し割り付けする、詳細は後述する。
ここまでの構成は全てのジャンルに共通となる。
【００２１】
第３階層には第２階層の印象用語１０５の中から野球番組に関連する印象用語１０５ごとに関連する野球番組特有の名詞用語であるジャンル用語１０６が登録され、更に本例では、選手、打撃、投球、送球、走塁、盗塁、の６種のジャンル用語１０６に関しては更にこの詳細の名詞用語が第４階層に、第３階層の野球番組ジャンル用語１０６に関連する野球番組ジャンル用語１０６として登録されている。
【００２２】
野球の場合のプラス印象はひいきのチームが勝つたり、いいプレーをした時のシーンやひいきの選手が出場するシーンのそれぞれの印象用語１０５に対して野球番組特有のジャンル用語１０６が関連付けされている。
【００２３】
またこの例では、退屈・つまらない、の印象用語１０５にはＣＭ、が登録されていてこれをアノテーション情報として選択し情報付与することができる、野球番組以外の番組で子供に見せたくないシーン、自分でも見たくないシーンなども適切な印象用語１０５を選択して情報付与することが可能であり、あらゆるシーンにこれらの編集に関連する適切な用語を選択し情報付与することが出来る。
【００２４】
例えば同じ満塁ホームランのシーンでもひいきのチームであれば、プラス印象場面系、凄い・素晴らしい、打撃、満塁ホームラン、と階層別に選択、情報付与されアノテーション情報データ３７となり、一方反対の場合は、マイナス印象場面系、拙い、投球、満塁ホームラン、と階層別に選択、情報付与されアノテーション情報データ３７となる。
【００２５】
更に高校野球や優勝を決するような試合には、プラス印象場面系、感動・感謝・感激、打撃、満塁ホームラン、としても階層別に選択、情報付与可能なよう登録されている、どちらを選ぶかは利用者の印象でよい。
単に好きな投手の選手が登場するシーンでは、プラス印象人物系、好きな・ファンの、選手、投手、が階層別に選択可能なように登録されている。
以上のように印象用語１０５に紐付けするジャンル用語１０６は野球を知っている人であれば、あらゆるシーンを連想することにより平易に実施出来る、他のジャンルにおいても同様である。
【００２６】
また図３の通り本発明の編集用語辞書１９では全ての階層の印象区分１０４、印象用語１０５、ジャンル用語１０６とも最大１２を１グループとした辞書構成としている。
この理由は後述される。
【００２７】
更にジャンル用語の階層を深くすることも可能であるが、本実施例では第５階層に印象の度合いつまり感情や嗜好の程度を５段階の星型記号で選択可能な構成としている。
本発明は印象を表す用語を見出し用語とするので、以上のように印象の度合いにもとづく編集情報、結果として重要な編集シーンも容易に設定出来ることも特徴の一つである。
この記号は文字情報とすることも可能であり、また段階を少なくする、多くすることも自由である。
【実施例４】
【００２８】
図４は料理番組の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
料理番組などの印象用語１０５としては、美味い、不味いなどの味覚や嗅覚に関連する用語が登録されていた場合更に適切なものとなる、味覚や嗅覚以外にも五感や体感に関する用語は印象用語の対象であり利用頻度を考慮して第１階層および第２階層を設計すればよい、詳細は後述する。
第３階層、第４階層は料理番組特有のジャンル用語が印象用語に関連して登録されている。
一般的な料理番組では、レシピ、調理方法、盛り付け、出来あがり、がポイントになるが出演者や参加者の人物系に印象のウエートが多い場合にも対応が可能な構成としている。
第４階層の出演者の固有名詞は放送番組のＥＰＧデータから番組個別に取得したものである。
多くの放送番組の映像コンテンツには出演者情報がＥＰＧデータとしてデータ放送されるのでこれを利用することが出来るが、更に詳細な人名、地名、番組内容に係る用語に対しては、外部インターネットサイトからダウンロードして番組ごとに辞書用語とすることも可能であり、これらは他のジャンルの映像コンテンツについても同様である。
【実施例５】
【００２９】
図５はニュース番組の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
第３階層、第４階層はニュース番組特有のジャンル用語が印象用語に関連して登録されている。
一般的なニュース番組は番組中さまざまなサブジャンルの内容が送られてくるのでこれは、報道内容、として、政治、経済、文化、社会、国際、先端技術、環境、趣味、福祉、として登録されていて更に追加設定することも可能である。
【実施例６】
【００３０】
図６は映画番組の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
第３階層、第４階層は映画番組特有のジャンル用語が印象用語に関連して登録されている。
映画番組は場面系と人物系の双方の利用頻度が高くそれぞれさまざまな特有の用語が選択可能であり、スターの名前などが登録されている。
これらの男優、女優等のスターの名前は前述のインターネットサイトからダウンロードして取得した例であり、単に出演者とする場合であればＥＰＧデータから取得出来る。
【００３１】
映画番組では、アクション、コメディ、ＳＦ、アニメ、実録など、更に詳細ジャンルを定めることにより、より詳細ジャンルに特化したジャンル用語とすることも可能である。
明確な定義が可能であれば、映画以外のジャンルの映像コンテンツでも同様である。
【実施例７】
【００３２】
図７は旅番組の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
第３階層、第４階層は旅番組特有のジャンル用語が印象用語に関連して登録されている。
旅番組は先の映画同様に場面系と人物系の双方の利用頻度が高くそれぞれさまざまな特有のジャンル用語が選択可能であり、土地、自然、文化遺産、には具体的な名前などが登録されている。
宿泊場所、乗り物、にはその種類が登録されている。
【実施例８】
【００３３】
図８はクラシック番組の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
第３階層、第４階層はクラシック番組特有のジャンル用語が印象用語に関連して登録されている。
曲名、指揮者、演奏者、独奏者、歌手、には具体的な名前が登録されている。
料理番組同様に音楽番組には聴覚による印象用語があると更に詳細なアノテーション情報とすることが出来る、これについては後述する。
【実施例９】
【００３４】
図９はお笑い番組の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
第３階層、第４階層はお笑い番組特有のジャンル用語が印象用語に関連して登録されている。
司会者、出演者、参加者、歌手、には具体的な名前が登録されている。
【００３５】
以上の７種の代表的な放送番組のジャンルの説明のように、喜怒哀楽などの感情や好き嫌いなどの嗜好などの印象用語はあらゆる映像コンテンツのジャンルに共通に利用可能であり辞書構築の基本となる。
またデータ量が多く、変動も激しい固有名詞においては実施例４の料理番組のように番組ＥＰＧデータから出演者の名前などの固有名詞を入手する方法と、更に詳細な情報を得るために実施例６の映画番組のインターネット通信等により特定のサイトから情報を入手して、さまざまな番組に関連する人名、地名、などの固有名詞を入手する方法が利用可能である。
更には後述する方法で固有名詞を個別登録することも出来る。
【００３６】
以上のようにジャンルや更には番組ごとの辞書構成とすることは、選択する用語（文字）の数を限定し、適切なものとするためであり、例えばあまたの芸能人や地名の中から例えばあいうえお順に登録された辞書の中から１人の芸能人や１個所の地名を選択するような煩雑な操作をなくすためのものである。
【実施例１０】
【００３７】
図１０は自作ビデオの結婚式の辞書構成の例である。
第１階層、第２階層ならびに第５階層は先の野球番組と同様である。
第３階層、第４階層は結婚式特有のジャンル用語が印象用語に関連して登録されている。
友人・知人、式場、には具体的な名前が登録されている。
自作ビデオの場合、名前や地域、団体などの固有名詞等は個人個人で登録することが不可欠となる、これらの名前等の登録は以下の通りである。
【実施例１１】
【００３８】
図１１は特定シーン登録、文字登録の例である。
図３においてCMシーンは、退屈・つまらない、に関連する用語として登録されていたが、本例では５種のＣＭなどの特定なシーンが第１階層の１１にまとめて登録されておりそれぞれ開始、中間、終了シーンを直接指定出来るようになっている。
【００３９】
更に、本実施例では、図１０の、友人・知人、の名前などの固有名詞の登録は図１１に示すように、第１階層の１２に文字登録として割り当てられて、第２階層の１には漢字、２にはカナ、３にはアルファーベットならびに数字を割り当て、第４階層に個別に文字が登録してありこれを選択することにより、 図３から図９までの辞書登録用語以外の個人個人必要な用語、を事前に登録または適宜入力出来る構造とすることにより更に利用価値の高い文字情報等を作成することが出来る。
【００４０】
この配列文字の選択による文字入力方法は携帯電話の文字入力方法やリモコンのカーソルボタン操作による文字入力よりボタンの操作回数を大幅に減らすことが出来、文字入力の効率を大幅に改善することが出来る。
【実施例１２】
【００４１】
図１２はリモコンの例である。
現在の映像装置の遠隔操作装置であるリモコンはボタン式で赤外線無線方式が主流である。
本発明では現在広く利用されている、デジタル放送用映像装置のボタン式リモコンをＵＩ装置２として利用することを意図している。
【００４２】
カーソルボタン４９は通常さまざまな編集の際に利用されるものであり、通常映像コンテンツのタイトルなどの文字入力をする際にも利用されるものであるが、先に説明の通りこのボタンを用いて文字入力をすることは極めて効率が悪く実用的でないため本発明はこのカーソルボタン４９を使用せずに、以下の３種類のボタンを用いて文字入力をさせようとするものである。
【００４３】
通常の映像装置操作においてチャンネルボタン４３は１から１２までの１２個のチャンネル切替えボタンであり、このボタンを先に説明した用語のグループを最大１２としてある編集用語辞書の中からグループごとに用語を選択するものである。
カラーボタン４４はさまざまなファンクション実行のための青、赤、緑、黄の４個のボタンであり、チャプタボタン４５は、チャプタマークを付与するボタンである。
通常の映像コンテンツの視聴ではこれらのボタンはチャンネル選択など通常のボタン操作とし、後に述べる文字等入力編集モードにした時このボタンを文字等入力編集操作用ボタンとして転用して使用する。
【００４４】
この３種、１７個のボタン、最大でも２０個のボタンを操作することにより、映像コンテンツを視聴する際、映像コンテンツの任意のシーンに対して目的の用語や記号を文字情報等として付与するものである。
【００４５】
このボタン操作によるリモコン送信信号５は図１に示す映像装置１のリモコン信号受信部２１で受信されＧＵＩ制御部１２ならびに辞書用語選択部２０を操作する。
【００４６】
同様にマイクロフォン４をＵＩ装置２とする場合、このリモコンのボタンの名称であるチャプタボタンを、ココ、１から１２を、イチ、ニ、サン、シまたはヨン、ゴ、ロク、ナナまたはシチ、ハチ、キュウまたはク、ジュウ、ジュウイチ、ジュウニ、と青、赤、緑、黄のカラーボタンを、アオ、アカ、ミドリ、キまたはキイロ、以上の３０種以下の発声をすることにより、映像装置１の音声認識部２２はリモコンによる信号と同様に信号情報として認識し同上の操作を行う。
【００４７】
リモコン操作の場合にはボタンの位置を確認してボタン操作をする必要があるが、視聴環境に問題がない場合は、このような音声認識を利用することにより、リモコンのボタンを毎回確認する必要がなく、ディスプレー画面を見たままで発声し高速な文字入力をすることが出来る。
このように極めて少ない用語の信号情報としての音声認識は構成を極めて単純化したものでも識別率を高精度なものとすることが出来る。
【００４８】
本発明は以上の通り視聴環境によってリモコン操作ならびに音声操作のいずれでも対応可能にしている。
【実施例１３】
【００４９】
図１３は操作フローの例である。
以上のようなシステム構成と辞書構成を利用して目的の文字情報等のデータを作成するための映像装置１（図では装置本体と記載）に対するＵＩ装置２の操作フローを示すものである。
【００５０】
ＳＴＥＰ１に示すように映像コンテンツを視聴する前に映像コンテンツのジャンルを選択しておく、これは自作ビデオ以外の放送番組は、番組ＥＰＧデータによって自動選択とすることも可能である。
映像コンテンツが開始され、文字情報等を付与したいシーンがあると、ＳＴＥP２に示すように、当該シーン位置指定信号を装置本体に送信する。
これによりＳＴＥＰ３に示すように装置本体のＧＵＩ表示部１３は視聴画面に辞書からの文字情報等の編集情報を表示し、
ＳＴＥＰ４に示すようにＵＩ装置２で目的の文字情報等を階層順に選択し１つのシーンの文字情報等の付与が完了されると、
ＳＴＥＰ５に示すように文字情報等のアノテーション情報データ３７を作成し
ＳＴＥＰ６に示すように画面表示をもとに戻し
以降映像コンテンツの視聴終了までこれが繰り返される。
【００５１】
以上のような簡単な操作で実現出来るため、今まで困難であった全ての映像コンテンツのジャンルを対象としたオンライン、リアルタイムでの文字情報等の入力編集も可能にさせる、以下に本システムの操作の詳細を示す。
【実施例１４】
【００５２】
図１４はジャンル選択の例である。
通常デジタル放送番組の場合、放送電波で番組のＥＰＧデータが送られてくるので、この情報をもとに映像装置１は自動的にジャンル選択することも可能であるが、ここではＵＩ装置２で指定する場合の実施例を示している（自作ビデオの場合はＥＰＧデータがないためこの方法で選択する）。
【００５３】
映像装置１のメインメニューから編集モード等にして、ＧＵＩ制御部１２でこれから説明する文字入力等の編集モードに設定することにより映像装置１は文字入力等の編集モードになりリモコン信号、マイクロフォンよりの信号を文字等入力編集用の信号として受け付ける。
【００５４】
先に説明の図２に示す映像コンテンツのジャンルをＵＩ装置２のリモコン３またはマイクロフォン４を使って選択する場合の実施例である。
図の左側にはメインジャンル１０１が選択番号４６の１から１２まで選択項目４７として表示されている。
更にカラーボタン４４に対応してファンクション内容４８が表示されている。
最初の段階ではカーソル５０は表示されていないが、リモコン操作５１の場合、２、ボタンを押すことにより選択番号４６の２であるスポーツのラインにカーソル５０が表示され、これを確認し、良ければ、緑、ボタンで、次に進む、もしジャンルを間違えて押した場合には、赤、ボタンを押すことにより、取消、されカーソルは消滅し再選択することができる。
音声操作５２の場合はマイクロフォンに、二、と発声することによりカーソルが表示されこれを確認しよければ、ミドリ、と発声することによりメインジャンルが選択される。
【００５５】
メインジャンルの選択が完了すると、図の右側に示すようにサブジャンル１０１が表示され、野球を選択する場合、リモコン操作５１の場合、１、ボタンを押すことにより選択番号４６の１である野球のラインにカーソル５０が表示され、青、ボタンを押すことによりジャンル１０１の選択が完了する。
音声操作５２の場合は、イチ、アオ、と発声することによりサブジャンル１０１の選択が完了される。
もし押し間違え、ジャンルの変更があれば、赤、緑、の操作により修正することが出来る。
【００５６】
以上で映像コンテンツのジャンル選択が完了し、ＧＵＩ制御部１２は当該放送番組開始時点から番組終了時点までの任意のシーンに視聴者が必要とする文字情報等を付与することが可能な文字等入力編集モードとなる。
【実施例１５】
【００５７】
図１５は用語選択ファンクション操作の例である。
本実施例では文字等入力編集に係る操作をリモコンの、チャプタボタン、チャンネルボタンとカラーボタンの１７個のボタンを操作、または音声認識することにより実現させるもので、チャプタボタンはシーン位置を指定し、１２個のチャンネルボタン４３は選択項目４７を選択するための選択番号４６の選択に利用している、またカラーボタン４４はこれ以外の操作を実行する。
本例ではカラーボタン４４の、青、ボタンを、選択、緑、ボタンを、戻る、黄、ボタンを、次へ、赤、ボタンを、取消、に対応させ、通常操作は、青、ボタン操作のみであるが、変更や次の階層へのジャンプなどの通常外操作の概要は図に示す通りである。
【実施例１６】
【００５８】
図１６はシーン位置指定の例である。
先にジャンル選択したスポーツ／野球の映像コンテンツを視聴中の満塁ホームランのシーンに文字情報等を付与する場合の例である。
【００５９】
視聴者（利用者）は先ず編集するべきシーンと感じたところで、リモコン３を使ってのリモコン操作５１の場合はチャプタボタン４５を押すことにより、このシーンの時間位置を指定することが出来る。
【００６０】
音声操作５２の場合にはマイクロフォン４に、ココ、と発声することによりこのシーンの時間位置を指定することが出来る。
音声操作５２の場合の時間位置指定は、ココ、として示したがこれに代わる、チャプタ、などの発声でもよく、発声に対応したファンクションを決めればよい。
リモコン操作でも、音声操作でも、この時アノテーション情報を付与するための用語等一切考える必要はない、感覚、印象に任せて、この時間位置指定をすればよい、このことが本発明のポイントである。
以上により辞書機能が作動し、本例の場合図３に示す編集用語辞書１９の第１階層の表示に移行する。
【００６１】
以上に関しては映像装置１の映像コンテンツの録画、再生、表示部１４のタイムシフト再生（追いかけ再生）手段により、視聴中の映像を自動的に一時停止し、第１階層の表示をすることも可能である、これによって短時間であってもハイライトシーンに続く大事なシーンを見逃すこともなく安心して文字等入力編集を実施することが出来る。
【実施例１７】
【００６２】
図１７は図１６から移行した編集用語辞書の第１階層の表示の例である。
本例では図３で説明の野球番組における編集用語辞書１９の第１階層が１から４までＧＵＩ表示部１３により表示されている。
また第１階層の１１、１２には先に説明の図１１の特定シーン登録、文字登録が利用出来るようにメニューが表示されている。
【００６３】
先の説明で指定したシーンの時間位置に対する、用語選択をする際、視聴者が攻撃側のチームのファンであった場合は、印象区分１０４としておのずから選択番号４６が１の、プラス印象場面系、が選択される。
この場合のリモコン操作５１は、１、ボタンを押すことによりカーソル５０が表示され、良ければ、青、ボタンで選択され、プラス印象場面系、がアノテーション情報作成部２５でアノテーション情報データベース３４内のアノテーション情報データ３７の第１階層に記憶される。
同様に音声操作５２の場合は、イチ、アオ、の発声である。
【００６４】
また選手そのものがひいきであれば図３の辞書から、プラス印象人物系、好きな・ファンの、選手、内野手、のように選択して登録することができる。
反対であれば、マイナス印象場面系、が印象区分１０４として必然的に選択される。
もちろん中立な立場でどちらのチームの素晴らしいプレーに対しても、プラス印象の印象用語１０４で登録することも可能である。
以上が第１階層表示画面で、次の第２階層の表示に移行する。
【実施例１８】
【００６５】
図１８は図１７から移行した編集用語辞書の第２階層の表示の例である。
先の説明の第１階層で印象区分１０４が、プラス印象場面系、として選択された場合の第２階層の印象用語１０５の表示である。
これらの中から最適な印象用語１０５を選択番号４６が４の、凄い・素晴らしい、とする場合、この場合のリモコン操作５１は、３、青、であり音声操作５２の場合は、サン、アオの発声である。
以上が第２階層選択画面で、選択した印象用語１０５がアノテーション情報データ３７の第２階層に記憶され、次に第３階層の表示に移行する。
【実施例１９】
【００６６】
図１９は図１８から移行した編集用語辞書の第３階層の表示の例である。
先の説明の第２階層で印象用語１０５が、凄い・素晴らしい、として選択された場合の第３階層のジャンル用語１０６の表示である。
これらの中から最適なジャンル用語１０６を選択番号４６が１の、打撃、とする場合、この場合のリモコン操作５１は、１、青、であり音声操作５２の場合は、イチ、アオ、の発声である。
以上が第３階層選択画面で、選択したジャンル用語１０６がアノテーション情報データ３７の第３階層に記憶され次に第４階層の表示に移行する。
【実施例２０】
【００６７】
図２０は図１９から移行した編集用語辞書の第４階層の表示の例である。
先の説明の第３階層でジャンル用語１０６が、打撃、として選択された場合の第４階層のジャンル用語１０６の表示である。
これらの中から最適なジャンル用語１０６を選択番号４６が１の、満塁ホームラン、とする場合、この場合のリモコン操作５１は、１、青、であり音声操作５２の場合は、イチ、アオ、の発声である。
以上が第４階層選択画面で、選択したジャンル用語１０６がアノテーション情報データ３７の第４階層に記憶され次に第５階層の表示に移行する。
【実施例２１】
【００６８】
図２１は図２０から移行した編集用語辞書の第５階層の表示の例である。
先の説明で第４階層でジャンル用語１０６が、満塁ホームラン、として選択された場合の第５階層の表示である。
【００６９】
第５階層は図３で説明の通り、このシーンの印象の度合いを現す文字または記号を選択する場合でありこの例では５段階レベル中、４段階のレベルを示す選択番号４６が４を選択する場合である、この場合のリモコン操作５１の場合は、４、青、の発声であり音声操作５２は、ヨン、アオ、である。
本発明は印象を表す形容系の用語を見出し用語としているので以上のように印象の度合いにもとづく編集情報、結果として重要な編集シーンも容易に設定出来る。
【００７０】
以上が第５階層表示画面で、これにより以上のデータはアノテーション情報データ３７の第５階層として記憶され、通常動作に戻るとともに、タイムシフト再生（追いかけ再生）手段により一時停止中の場合には画面は再会され通常視聴画面となる。
【００７１】
番組視聴中、視聴者（利用者）は印象区分と形容系の印象用語を選択することにより、以降のジャンル用語を自分であれこれ考えることもなく、案内表示に誘導されるようジャンル用語を選択することによって映像コンテンツの任意のシーンに最適な文字情報等のアノテーション情報を付与することが可能となる。
以上の図１６から図２１の操作を繰り返すことにより、リアルタイムでアノテーション情報データ３７が完成される。
これは見出し用語を形容系の印象用語として以降に続く名詞用語であるジャンル用語を関連付けすることの最大の効果である。
感情や五感、体感に任せてシーンの時間位置を指定し、適切な印象用語を選択することにより後は案内表示に誘導されるように「最適なジャンル用語の付与が可能となる。
編集途中の操作ミスの修正や、取消しなどの操作は先に説明の図１５の用語選択ファンクション操作にもとづき自由に実施可能である。
【００７２】
以上の文字情報等の付与は生放送番組のみならず録画した映像コンテンツの再視聴時などにおいても、上記同様リモコン操作５１、音声操作５２のシンプルな操作で実施することが出来る。
また映像装置１に録画した映像コンテンツ以外のリムーバルビデオコンテンツとして搭載された映像コンテンツ３３に利用することも可能である。
【００７３】
本実施例ではリモコン方式、音声認識方式とも合計１７のボタンまたは音声をもってすべての編集を行っている、アノテーション情報編集中にはチャンネル切替などがないことを利用してチャンネルボタンで用語の選択を行うよう、リモコンボタンの割り付けを行ったが、他のファンクションボタン等は他のボタン割り付けでも構わない、電源などの操作を含めても最低２０個のボタンのあるリモコン、または最大３０種の信号情報としての音声で実現出来るところが本発明の重要なポイントである。
【００７４】
以上の説明ように本発明の音声認識で辞書用語を直接読取り、認識率が課題になるような音声認識はしていない、辞書内の用語の選択のための信号情報とするだけである。
従がって音声認識も文脈を判断する文法系の音声認識等とする必要もなく、単純な音響系のパターンマッチングによる音声認識で可能であり、システムの負担を大きくすることもなく認識率を高くすることが可能である。
限られた３０以内の音声であるため、必要に応じ特定話者登録も容易である。
更に高精度にするためにはマイクロフォンをヘッドセットタイプにする、発音スイッチを取り付けする、またはイヤータイプのマイクロフォンで鼓膜の振動を集音するなど様々な使用環境に応じた形態とすることが可能である。
【００７５】
本発明は以上のように、シーンの印象をもとにした印象用語１０５に関連付けられたジャンル特有のジャンル用語１０６の選択がＧＵＩ表示部１３によりメニュー選択形式で印象用語に誘導されるよう選択出来るため、全ての映像コンテンツのジャンルを対象としてアナウンサーのような専門家でなくても用語を考えたり、選択を迷うこともなく、操作が単純で、特別な習熟を要せず、直感的にリアルタイム編集が可能であり、本実施例ではシーンの時間位置の指定から第１階層から第５階層までの文字および記号合計２９文字記号を計１１ボタン操作で実現出来、平均ボタン操作時間とシステム操作時間を平均１．０秒とする場合、最短１１．０秒で情報入力が完了出来る。
音声入力の場合は、平均発声時間とシステム動作時間を平均０．５秒とする場合、最短５．５秒で情報入力を完了出来る。
本実施例では確実性を重視するため、選択番号４６を指定後更に、選択、を操作するよう構成されているが、編集速度を優先する場合には、選択番号４６を指定することにより直接下の階層に移行するよう構成すれば、先の時間をほぼ半分まで短縮することも出来る。
以上のように文字を中心とする情報が、操作が単純で、特別な習熟を要せず、直感的に操作することにより、全ての映像コンテンツのジャンルを対象としてリアルタイムで、当該シーンに最適な編集用語のアノテーション情報の付与編集を可能とするのが、印象用語を見出し用語とする辞書を利用した本発明の大きな特徴である。
【００７６】
初回視聴の映像コンテンツに対しては例えばハイライトシーンの位置と第２階層までの印象用語１０５のみをアノテーション情報としてリアルタイムで付与しておき、次回再生時、編集時に以後のジャンル用語を詳細に登録することでもよい。
通常のチャプタマークのように時間位置のみを指定する方法でマークを多用した場合、後でこのマークが何の意図のマークであったかを判読することが難しい。
最低この印象用語１０５を付すだけでも当該シーンの意図が理解出来、以降の編集を迅速で効率的にすることが可能となる。
このような場合には第２階層の印象用語１０５の選択完了後、自動的に通常視聴画面に戻るよう設定しておくことも出来る。
【実施例２２】
【００７７】
図２２は五感印象用語の例である。
これまでの説明の喜怒哀楽などの感情や好き嫌いなどの嗜好などによるプラス印象、マイナス印象の印象用語１０５は、全ての映像コンテンツのジャンルに共通に利用出来るものであるが、これに更に視覚、聴覚、味覚、嗅覚、触覚の五感に関する形容系の印象用語１０５をまとめたものが図２２であり、第１階層の５から１０の印象区分１０４に割り付け登録されている。
映像コンテンツに対しては当然のことながら視覚的印象が最も多く、これを形状的印象、空間的印象、明暗色調的印象の３つに区分して割り付けしている。
聴覚的印象では音楽番組にも対応できるよう用語が登録されている。
嗅覚に関しては味覚と一緒に割り付けグルメや料理番組に対応出来るよう用語が登録されている。
触覚的印象は、アクション映画等自分が主人公になったつもりで感じる印象用語が登録されている。
【００７８】
プラス印象、マイナス印象の喜怒哀楽などの感情や好き嫌いなどの嗜好などの印象用語と、以上説明の五感に関する印象用語と、更に必要によっては、眠い、疲れた、酔っぱらった、等の五感に含まれない体感的な印象用語と、を加えると、映像コンテンツのシーン画像、シーン音声による刺激に対する人の反応としてのシーンの印象は完全に満たされたものとなる。
これらの五感、体感等の印象用語１０５に映像コンテンツそれぞれのジャンルに関係する用語を当てはめ、これに関連するジャンル用語１０６を適切に登録することにより、どのようなシーンの編集にでも適切な見出し用語が選択可能となる。
しかしながら、例えば野球番組の編集で味覚や嗅覚の印象用語はほとんど利用されなく、一方で料理番組では重要になる、従がって五感や体感に関する印象用語に関しては必ずしも全ての映像コンテンツのジャンルに対応させる必要はなく、スポーツ番組、料理番組、音楽番組、旅行番組、ドラマ、アクション映画などそのジャンルに必要な五感や体感に関する印象用語をジャンル別に利用出来るようにすればよい。
また、五感や体感の印象用語１０５の場合にはこれ自体がそのシーンから視た、聴いた、味わった、嗅いだ、触れた、体感した、等の印象の意味を持っているので第３、４階層に必ずしもジャンル用語１０６を当てはめる必要もない、必要なジャンル用語１０６を適切に関連付けすればよい。
【実施例２３】
【００７９】
図２３はアノテーション情報データの例である。
これまでの例でアノテーション情報が付与されたアノテーション情報データ３７の例であり映像コンテンツのタイトル部にはジャンル、番組名、放送局名、放送開始時間、終了時間が記録されており、タイトルの下にはアノテーション情報付与者名である編集者の名前が関連情報３６内に個人別情報１０８として登録されている、同一のタイトルを別な複数の利用者が文字情報等編集することも可能である。
【００８０】
以上の情報の下に放送開始から放送終了までに指定し選択した、時刻とそれぞれの階層のアノテーション情報（文字、記号等）が付与されており、印象区分１０４と印象用語１０５、ジャンル用語１０６それぞれの用語が階層別に選択されている。
これを一覧するだけでも、おおよそのシーンの時間位置とその内容を克明に理解することが出来る。
【００８１】
順番３はＣＭを、退屈・つまらない、として選択した内容となっている、自作のビデオの編集などで不要なシーンも、退屈・つまらない、を選択することにより選択することが可能である。
先に説明の通りこのようなシーンに対しては、図１１並びに図１７で示した特定シーンから選択登録することも可能である。
【実施例２４】
【００８２】
図２４は視聴後編集の例である。
これまでの説明のように、以上のアノテーション情報の付与は映像コンテンツを視聴した結果にもとづくもので厳密な意味でのシーン位置指定のタイミングは後ろにずれたものとなる。
従がって指定したシーンより先行するシーンに時間位置を再設定すればよい、この際先行するシーンにシーン位置指定を自動修正することも可能である。
【００８３】
この場合映像コンテンツを視聴していて、開始とほぼ同時に時間位置指定が可能な例えばＣＭシーン、数秒かからないと分からない例えば投手がボールを投げてから満塁ホームランとなるまでのシーン、映画やドラマのハイライトシーンなどのように１分程度前からがハイライトシーンの導入部になる場合など映像コンテンツのジャンルおよび選択された用語をもとに、時間位置の自動詳細調整をすることも、範囲で指定することも可能である。
【００８４】
また更に編集効果を高めるためには、隣接する映像の編集点（カット点）を自動検出してこの編集点を時間位置とするとよい。
これらの編集点（カット点）の自動検出はさまざまな文献で紹介されている。
また編集されたアノテーション用語が適切であるか、印象の度合い、など映像コンテンツ全体を総合的に判断して修正することも可能である。
【００８５】
以上のような視聴後に二次編集を施すことにより精度が高く高品位なアノテーション情報データ３７とすることが出来る。
このアノテーション情報データ３７の時刻情報３５を利用して、カット、結合、編集はもちろんのこと、映像コンテンツをランダムアクセスしてプレーリスト作成などの編集を自由に行い、映像コンテンツの利用の幅を拡大することが、本発明の最終目的であり以下にその一例を示す。
【実施例２５】
【００８６】
図２５はデータベース検索の例である。
本発明の最大の特徴は印象用語を見出し用語としてこれに関連する映像コンテンツのジャンル特有のジャンル用語を選択し登録する方式であるため、選択の用語が限定され、適切な用語が選定可能である、あいまい検索等のような検索システムの負担も少ない。
【００８７】
また出来あがったアノテーション情報データ３７は編集者の意図に沿った内容となり、利用者に最適な個人ごとのパーソナルなものとすることが出来る。
従がって、データベース内に複数の編集者によるアノテーション情報データ３７がある場合、アノテーション情報付与者名であるこの個人別情報１０８を選択することにより、選択した編集者の印象にもとづく検索が可能であり検索の意図にそった映像コンテンツのシーンの検索が可能になる。
【００８８】
また映像コンテンツのタイトルごとにデータベース化されたアノテーション情報データベース３４はさまざまデータとして加工することも出来、映像コンテンツのそれぞれのジャンル、階層ごとの区分、用語、記号などあらゆる条件で検索を行い、映像コンテンツの詳細な内容を検索することが可能である。
【００８９】
図２５では編集者、映像コンテンツのジャンル、第１階層から第５階層まで独立させて検索情報を入力し複数の映像コンテンツの文字情報等付与シーン１０７の中から検索条件に合致する映像コンテンツの文字情報等付与シーン１０７として検出する場合の概要を示している。
独立させずに全体を一括して編集用語を検索させることも自由である。
以上のような検索結果はさまざまな種類のハイライトシーンのプレーリストに利用することが出来る。
映像コンテンツ全体の印象用語ごと、さらには印象の度合いごと、等のハイライトダイジェスト版、等さまざまな検索結果にもとづき、映像コンテンツの利用範囲が拡大される。
ハイライトシーン以外の、不要のシーンや見たくいないシーンの編集にも有効であることは説明する必要もない。
【００９０】
本発明の展開方法１として図１に示すように編集用語辞書１９はインターネット回線で最新データを更新することや、個別番組ごとのデータを番組開始前にデータ配信、またはダウンロードすることが考えられる。
【００９１】
本発明の展開方法２として放送番組のＥＰＧデータの階層構造を編集用語辞書１９と直接連携出来る構造とすることが出来れば装置構成が簡素化され、更に活用の範囲が拡大される。
【００９２】
これまでの説明を整理すると、システム開発側は、
辞書構成は、全ての映像コンテンツのジャンルに共通にハイライトシーンを含むさまざまな編集シーンに利用出来る印象を表す形容系の用語（印象用語）を見出し用語にして、この見出し用語に関連するジャンル用語を映像コンテンツのジャンル別に登録することが出来るので、辞書の用語はジャンル別に限定的なものとなり、辞書構築の負担が少なく、ジャンル用語の利用度に応じ追加、削除も自由である。
【００９３】
映像コンテンツのジャンルをＥＰＧデータのジャンルを用いることが出来るので辞書構成の標準化がしやすい、またＥＰＧデータにより番組ごとの用語を持たすことも可能となる、辞書データはインターネット等の通信回線からダウンロードさせることが出来るため最新版の更新も自由である。
【００９４】
辞書として使用される用語が限定的となることにより、完成したアノテーション情報データの検索の際には、あいまい検索などの必要もなく、装置負担をかけることなく適確で効率的な検索をすることが出来る。
【００９５】
市場に広く流通しているボタン式のリモコンのボタン機能をそのまま利用出来るので装置ハード開発が容易である。
【００９６】
音声操作における音声認識も最大３０の信号情報としての音声を認識することでアノテーション情報データを作成することが出来るので、音声認識についても装置負担が少ない。
【００９７】
一方本発明のシステム利用者側におけるメリットとして、
視聴環境に影響しない使い慣れたボタン式のリモコンのボタン機能をそのまま利用して、印象を表す用語を見出し用語として文字情報等が入力出来るので操作の違和感がなく、全ての映像コンテンツのジャンルを対象としてだれでも簡単に放送に追従してリアルタイムでの利用ができる。
【００９８】
視聴環境によってマイクロフォンを接続し音声認識で文字情報等を入力することも可能で、最大３０程度の発声により行われるので特別の習熟の必要もなく誤認識も少ない。
【００９９】
視聴時に感じた印象をもと操作することにより適切な編集のための用語が案内されるので、誰でも最適なにアノテーション情報を作成出来るとともに、個人個人思い思いのプライベートアノテーション情報データとすることが出来るとともに印象の度合いも簡単に登録出来るので、検索においても個人個人の印象の種類やその度合いをもとに最適な検索が可能になる。
【０１００】
視聴時に付与したシーンのアノテーション情報を検索して、当該シーンをダイレクトにランダムアクセスし複数の映像コンテンツの中からお好みのシーンのみを連続してダイジェストで再生させるような応用が可能となる。
【０１０１】
タイムシフト（追いかけ再生）手段を使うことにより、映像コンテンツの途中シーンの見逃しをなくすことも出来る。
【０１０２】
新しい情報などの用語はジャンル別または個別番組別に放送データや通信回線でダウンロードすることにより当該映像コンテンツに最適で、最新用語によるアノテーション情報を作成することが出来る。
【産業上の利用可能性】
【０１０３】
以上の説明のように本発明は、特別な装置、部品、組立技術を用いることなく、現在市場に広く流通している、装置、部品、組立て、の技術で実現可能なアノテーション情報付与システムであり、家庭用汎用録画装置、ビデオカメラ、編集装置はもとより専門映像装置等に広く利用することが出来る。
【符号の説明】
【０１０４】
１ 映像装置
２ ＵＩ（ユーザーインターフェース）装置
３ リモコン
４ マイクロフォン
５ リモコン送信信号
６ マイクロフォン音声信号
７ 映像信号
８ ＧＵＩ（グラフィックユーザーインターフェース）表示信号
９ メインディスプレー
１０ サブディスプレー
１１ ＧＵＩ部
１２ ＧＵＩ制御部
１３ ＧＵＩ表示部
１４ 映像コンテンツの録画、再生、表示部
１５ ＵＩ受信信号
１６ 辞書登録部
１７ 辞書用語ダウンロード部
１８ 辞書用語キーボード入力部
１９ 編集用語辞書
２０ 辞書用語選択部
２１ リモコン信号受信部
２２ ＵＩ装置情報認識部
２３ ジャンル選択部
２４ 音声認識部
２５ アノテーション情報作成部
２６ インターネット通信信号
２７ キーボード信号
２８ 辞書データ
２９ 選択された用語
３０ アノテーション情報データ検索部
３１ 映像コンテンツ記憶部（または搭載された映像コンテンツ）
３２ タイトル
３３ 映像コンテンツ
３４ アノテーション情報データベース
３５ 時刻情報
３６ 関連情報
３７ アノテーション情報データ
４０ ディスプレー選択スイッチ
４１ アンテナ入力
４２ 外部映像入力
４３ チャンネルボタン
４４ カラーボタン
４５ チャプタボタン
４６ 選択番号
４７ 選択項目
４８ ファンクション内容
４９ カーソルボタン
５０ カーソル
５１ リモコン操作
５２ 音声操作
１０１ ジャンル
１０２ ジャンル区分
１０３ 階層
１０４ 印象区分
１０５ 印象用語
１０６ ジャンル用語
１０７ 文字情報等付与シーン
１０８ 個人別情報
【特許請求の範囲】
【請求項１】
映像装置と、このユーザーインターフェース装置と、で構成される自作ビデオを含む映像コンテンツの任意のシーンにアノテーション情報を付与するためのシステムであって、
上記映像装置は、
映像コンテンツの全てのジャンルのシーンに共通なシーンを視聴した印象を表す用語である印象用語の見出し用語と、映像コンテンツのジャンル特有の用語であるジャンル用語と、を映像コンテンツのジャンル別および階層別に関連付けし構成される編集用語辞書と、
上記ユーザーインターフェース装置は、
映像コンテンツの視聴開始より順次アノテーション情報を付与するシーン位置を指定し、この指定したシーンに対して上記編集用語辞書の上記見出し用語と上記ジャンル用語とを順次選択し、以上の指定および選択した信号情報を映像装置に送信する手段を備え、
更に上記映像装置は、
ユーザーインターフェースより受信した信号情報にもとづき編集用語辞書によるアノテーション情報データを作成するアノテーション情報作成部と、
を具備することを特徴とする映像コンテンツのアノテーション情報付与システム。
【請求項２】
前記編集用語辞書の前記見出し用語ならびに前記ジャンル用語は１グループ最大１２の用語とするよう構成されることを特徴とする請求項１のアノテーション情報付与システム。
【請求項３】
前記編集用語辞書にはシーンの印象の度合いの情報が登録され、この印象の度合いを選択しアノテーション情報とすることを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項４】
前記映像装置はリモコン信号受信部を備え、
前記ユーザーインターフェース装置は少なくても２０個の操作ボタンを具備するリモコンであり、前記指定および選択する信号情報はリモコン送信信号であって、
このリモコンボタンを操作することにより、前記シーン位置を指定し、前記編集用語辞書の前記見出し用語ならびに前記ジャンル用語を選択し、
映像装置は上記リモコン信号受信部でこの信号情報を受信し、アノテーション情報作成部で前記編集用語辞書の用語による前記アノテーション情報データを作成することを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項５】
前記映像装置は音声認識部を備え、
前記ユーザーインターフェース装置は音声用マイクロフォンであり、前記指定および選択する信号情報はマイクロフォン音声信号であって、
このマイクロフォンに多くとも３０種以内の音声を発することにより、前記シーン位置を指定し、前記編集用語辞書の前記見出し用語ならびに前記ジャンル用語を選択し、
映像装置は上記音声認識部でマイクロフォン音声信号を信号情報として認識し、アノテーション情報作成部で前記編集用語辞書の用語による前記アノテーション情報データを作成することを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項６】
前記映像装置は映像コンテンツのジャンルをＥＰＧ（エレクトロニクス プログラム ガイド）ジャンルからジャンルを自動選択するジャンル選択手段を具備することを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項７】
前記映像装置はタイムシフト再生（追いかけ再生）手段を具備し、アノテーション情報の編集中、一時停止することを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項８】
前記アノテーション情報に、アノテーション情報付与者名を登録することを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項９】
前記映像装置は、編集用語辞書を通信回線よりダウンロードする辞書ダウンロード部と、用語登録のための外部キーボードのためのキーボード入力部と、
を更に具備すること特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項１０】
前記映像装置は、前記ＥＰＧデータまたはインターネットよりのダウンロードデータのいずれかによって個別番組ごとの編集用語辞書とすることを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項１１】
映像コンテンツの全てのジャンルに共通な見出し用語と、
映像コンテンツのジャンル特有の用語であるジャンル用語と、
を映像コンテンツのジャンル別および階層別に関連付けし構成される編集用語辞書より用語を選択してアノテーション情報データを作成することを特徴とする映像コンテンツのアノテーション情報付与方法。
【請求項１２】
前記全てのジャンルに共通な見出し用語はシーンを視聴した印象を表す用語であることを特徴とする請求項１１記載の映像コンテンツのアノテーション情報付与方法。
【請求項１】
映像装置と、このユーザーインターフェース装置と、で構成される自作ビデオを含む映像コンテンツの任意のシーンにアノテーション情報を付与するためのシステムであって、
上記映像装置は、
映像コンテンツの全てのジャンルのシーンに共通なシーンを視聴した印象を表す用語である印象用語の見出し用語と、映像コンテンツのジャンル特有の用語であるジャンル用語と、を映像コンテンツのジャンル別および階層別に関連付けし構成される編集用語辞書と、
上記ユーザーインターフェース装置は、
映像コンテンツの視聴開始より順次アノテーション情報を付与するシーン位置を指定し、この指定したシーンに対して上記編集用語辞書の上記見出し用語と上記ジャンル用語とを順次選択し、以上の指定および選択した信号情報を映像装置に送信する手段を備え、
更に上記映像装置は、
ユーザーインターフェースより受信した信号情報にもとづき編集用語辞書によるアノテーション情報データを作成するアノテーション情報作成部と、
を具備することを特徴とする映像コンテンツのアノテーション情報付与システム。
【請求項２】
前記編集用語辞書の前記見出し用語ならびに前記ジャンル用語は１グループ最大１２の用語とするよう構成されることを特徴とする請求項１のアノテーション情報付与システム。
【請求項３】
前記編集用語辞書にはシーンの印象の度合いの情報が登録され、この印象の度合いを選択しアノテーション情報とすることを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項４】
前記映像装置はリモコン信号受信部を備え、
前記ユーザーインターフェース装置は少なくても２０個の操作ボタンを具備するリモコンであり、前記指定および選択する信号情報はリモコン送信信号であって、
このリモコンボタンを操作することにより、前記シーン位置を指定し、前記編集用語辞書の前記見出し用語ならびに前記ジャンル用語を選択し、
映像装置は上記リモコン信号受信部でこの信号情報を受信し、アノテーション情報作成部で前記編集用語辞書の用語による前記アノテーション情報データを作成することを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項５】
前記映像装置は音声認識部を備え、
前記ユーザーインターフェース装置は音声用マイクロフォンであり、前記指定および選択する信号情報はマイクロフォン音声信号であって、
このマイクロフォンに多くとも３０種以内の音声を発することにより、前記シーン位置を指定し、前記編集用語辞書の前記見出し用語ならびに前記ジャンル用語を選択し、
映像装置は上記音声認識部でマイクロフォン音声信号を信号情報として認識し、アノテーション情報作成部で前記編集用語辞書の用語による前記アノテーション情報データを作成することを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項６】
前記映像装置は映像コンテンツのジャンルをＥＰＧ（エレクトロニクス プログラム ガイド）ジャンルからジャンルを自動選択するジャンル選択手段を具備することを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項７】
前記映像装置はタイムシフト再生（追いかけ再生）手段を具備し、アノテーション情報の編集中、一時停止することを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項８】
前記アノテーション情報に、アノテーション情報付与者名を登録することを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項９】
前記映像装置は、編集用語辞書を通信回線よりダウンロードする辞書ダウンロード部と、用語登録のための外部キーボードのためのキーボード入力部と、
を更に具備すること特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項１０】
前記映像装置は、前記ＥＰＧデータまたはインターネットよりのダウンロードデータのいずれかによって個別番組ごとの編集用語辞書とすることを特徴とする請求項１記載の映像コンテンツのアノテーション情報付与システム。
【請求項１１】
映像コンテンツの全てのジャンルに共通な見出し用語と、
映像コンテンツのジャンル特有の用語であるジャンル用語と、
を映像コンテンツのジャンル別および階層別に関連付けし構成される編集用語辞書より用語を選択してアノテーション情報データを作成することを特徴とする映像コンテンツのアノテーション情報付与方法。
【請求項１２】
前記全てのジャンルに共通な見出し用語はシーンを視聴した印象を表す用語であることを特徴とする請求項１１記載の映像コンテンツのアノテーション情報付与方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１１−２９７９５（Ｐ２０１１−２９７９５Ａ）
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願番号】特願２００９−１７１６６８（Ｐ２００９−１７１６６８）
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（５０８２２０５０４）
【Ｆターム（参考）】
【公開日】平成２３年２月１０日（２０１１．２．１０）
【国際特許分類】
【出願日】平成２１年７月２３日（２００９．７．２３）
【出願人】（５０８２２０５０４）
【Ｆターム（参考）】
[ Back to top ]