映像コンテンツのフレーム検索用データの作成手段を備えた映像装置、このフレーム検索用データの検索手段を備えた映像装置、及びこのフレーム検索用データ作成方法。

【課題】
付加価値の高い映像装置と映像コンテンツとを提供する。
【解決方法】
検索対象範囲内の映像コンテンツの任意のフレームのフレーム位置とその特徴を識別可能なフレーム検索のデータベースであるインデックス列を用いることにより
（１）コマーシャルメッセージフレーム、画像の特徴、音声の特徴、フレーム変化の特徴など様々なフレームの検出をして映像コンテンツの編集を容易にする。
（２）インデックス列に付与された情報により映像コンテンツのそれぞれのフレームに同期連動して映像装置、マルチメディア、外部機器をコントロールする。
（３）インデックス列に文字情報を付与しフレームアノテーションとしてこれを検索し、検出したフレームをランダムアクセスする、またはインデックス列を統計データとして利用する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像コンテンツのフレーム検索用のデータを作成する作成装置、作成したデータによる映像コンテンツのフレーム検出装置、及びフレーム検索用のデータを作成する方法に関し、例えば、放送番組やビデオなどの映像コンテンツの録画、撮影、再生、視聴、編集に係る映像装置に適用されるものである。
【背景技術】
【０００２】
近年の一般家庭用録画装置、再生装置はテレビジョン放送のデジタル化を迎え、その映像コンテンツの質は格段に向上しているものの、これらの映像コンテンツを利用する機能は従来のアナログ式磁気テープ録画装置に搭載されている機能とほとんど変わりない。
【０００３】
本願発明の映像コンテンツのフレーム検索用データ作成装置、このフレーム検索用データを用いた映像コンテンツのフレーム検出装置の適用装置の一例として、例えば現在一般家庭で利用されているデジタル放送テレビジョン録画装置は著作権保護にもとづきコピー制限はもとより、一定目的以上の編集や加工が出来ない構造となっているため、特定の通信手段を用いて専用の編集装置等に映像コンテンツを移し換えない限り、映像コンテンツの編集から、再生、操作、視聴、のあらゆる部分で装置に搭載されている機能にもとづく利用以外何も出来ない。
【０００４】
例えば映像コンテンツに関するさまざまなフレームの情報（特徴含む）の抽出、検出は、本願に掲示した非特許文献、特許庁のホームページ内の標準技術、さらにはＭＰＥG７のメタデータ技術として、さまざまな分野で研究され、提案されており専門装置への応用は進んでいるものの、一般家庭の映像装置で利用できるまでには普及していない。
【０００５】
一例として録画された映像コンテンツの編集で特に需要の多いコマーシャルメッセージ（以下ＣＭとも表現する）のカット編集においてさえも番組が一旦黒フレームに変化、音声がサラウンドからステレオにモード変化するなどＣＭへの切り替え部分の画像、音声の特徴を検出するなど、過去から現在まで多くの提案がなされ録画装置、再生装置に搭載されている場合もある。
しかしながら、黒フレームが存在しない場合やＣＭ時の音声モードが変化しない場合も多く、機能は付随していても実際にはほとんど利用できないのが実情である。
【０００６】
また以下に掲示した特許文献１、特開２００４−３３６８０８号公報の提案の特徴検出方式ならびに多くのフレーム検出の方式はカットの変わり目の照合や特定フレームの照合（検出）で、本願発明の意図する映像コンテンツ上の全てのフレームを対象とした多目的で任意のフレームのフレーム情報、フレーム特徴抽出、これにもとづく検索や検出とは目的や手法が根本的に異なるものである。
【０００７】
さらに以下に掲示した特許文献２、特許第４１３９１４５号の発明は動画像検索装置を目的としたもので、その特徴検出方式はフレーム内の色信号のみを対象とし、フレーム前後の相関も情報抽出の対象としていない。
さらに本願発明は録画装置、再生装置の再生に連動させる高速での検索、検出を目的としており、情報抽出の目的や手法が根本的に異なるものである。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−３３６８０８号公報
【特許文献２】特許第４１３９１４５号
【非特許文献】
【０００９】
【非特許文献１】特許庁ホームページ資料室標準技術集、ノンリニア編集１−５オフライン編集システム１−６オンライン編集システム４−２−１カット点、シーン・ショット検出４−２−４分類、索引、検索方法
【発明の概要】
【発明が解決しようとする課題】
【００１０】
その具体的なテーマの第１は、映像装置の編集、操作機能の拡大である。
本願発明の適用装置の一例である、例えばＨＤＤ式録画装置やＤＶＤ、ＢＤ（ブルーレイディスク）等のリムーバルディスク式録画装置、再生装置の編集機能および操作機能を大幅に拡大したい。
現在一般家庭で利用されているデジタル放送テレビジョン録画装置は著作権保護にもとづきコピー制限はもとより、一定目的以上の編集や加工が出来ない構造となっており、現在の機能の大半はアナログ時代の機能と５０歩１００歩である。
例えば記憶録画された映像コンテンツそのものを加工、編集することなく、映像コンテンツから得られる信号またはデータを利用し、例えば、検索条件で指定する同一のフレームやカット点などの特定フレームを自動的に検出させたい。
これらの編集結果にもとづき複数の映像コンテンツより幾つかのハイライトシーンを効率よく選び出し、ハイライトシーンのみを連続して再生または早送りしながら視聴するなど、映像装置自身または映像装置と映像装置を操作する装置に高度な操作機能を持たせたい。
パソコン等を編集装置とすることによって、映像装置から送られる再生フレーム信号、データまたは専用信号、データで映像コンテンツの再生フレーム位置を認識し、これまでボタン式リモコンでは出来なかった目的のフレームで止める、目的のフレームにジャンプさせるなど高度な操作を可能とさせたい。
以上のようにパソコン等を編集装置とすることによってボタン式リモコンでは苦手であった文字入力を伴う編集機能など新しい編集機能と、その編集結果にもとづく映像コンテンツの再生、視聴を可能にさせたい。
現在一般家庭で利用されている録画装置や再生装置はもとより、今後新しく開発される録画装置、再生装置に直接組み込み利用することにより、編集機能および操作機能において付加価値の高い製品の実現を可能にさせたい。
【００１１】
その具体的なテーマの第２は、映像装置に映像コンテンツのフレームに連動した制御機能の追加である。
例えば上記同様の装置で映画番組を視る時、監督、出演者の詳細情報、クラシック音楽であれば演奏曲、その作曲家や演奏家の詳細情報、紀行番組であれば地域や関連歴史情報、スポーツ番組であれば出場する選手やチームのデータ、写真などその映像コンテンツの任意のフレームで、当該フレームに連動して、これらのインターネット情報を連動し閲覧させたい。
インターネット情報以外でも、対象とする任意のシーン（フレーム）に編集情報やコメントを含むマルチマディアの情報を自由に付与し映像コンテンツの再生にこれらを連動させたい。
例えば映像コンテンツを初回視聴時に、キーとなる任意のフレームに関連するマルチメディア情報、文字情報、画像情報、音声情報、インターネット情報を貼り付けしておき、映像コンテンツの再生に連動してこれらの情報が得られるようにしておけば、次回同一映像コンテンツを視聴する際、極めて便利である、利用者は必要な時間関連する情報を閲覧、視聴し、またもとの映像コンテンツに戻るなど、より高度な映像コンテンツの楽しみ方が可能になる。
例えばホームシアタなどの高度な視聴環境で映画を鑑賞する際、映像コンテンツの特定のフレームに連動して、例えば視聴環境の照明、フラッシュ、音声などの起動、停止、調整、操作等の制御をしたいなどの潜在ニーズにも対応したい。
家庭内の利用にとどまらずこれらの機能で映像コンテンツを教育として利用する場合や映像コンテンツをビジネスとする産業に映像コンテンツの新しい利用方法を与えたい。
さらには放送番組、通信番組、リムーバルメディアの映像コンテンツ事業者そのもの映像コンテンツの利用方法を含め、映像コンテンツのそれぞれのフレームとさまざまな情報、さまざまな機器との連動による映像コンテンツ自体の利用方法を拡大したい。
【００１２】
上記１、２のテーマの技術要素はタイムコードを利用出来ない装置相互の映像コンテンツの全フレームを対象としたフレーム検索とフレーム連動技術であり、映像装置本体自体での映像コンテンツのフレーム検索はもとより、例えばこれに連携する遠隔操作装置や遠隔編集装置などの外部装置で映像装置本体の映像コンテンツのフレームの位置情報や特徴情報の検索を可能にさせたり、さらには映像装置本体が再生しているフレームの位置（時刻）を映像装置本体以外の装置が識別検出可能にさせたりするような、映像装置本体と外部装置が共通で多目的に利用可能なフレームに連動したフレーム検出技術が確立されていないことにある。
【００１３】
上記１、２のテーマを共通に解決する有効な手段の一つは、装置本体と他の装置とが共通に利用出来るコンパクトなデータサイズで識別能力の高い映像コンテンツの１フレームごとのデータを対象としたデータベースの作成手段と、これを検索することにより装置および映像コンテンツ双方の編集性、操作性、視聴性を向上させるに必要十分となり得る多目的で、高精度、高速度の、映像コンテンツのフレーム検出手段と、の開発でありこれを用いた映像コンテンツのフレーム検索用データ作成装置、このフレーム検索用データを用いた映像コンテンツのフレーム検出装置の提供である。
【００１４】
上記映像コンテンツのデータベースの技術ポイントはフェードイン、フェードアウトに代表されるディゾルブカットやワイプカット編集で、シーンの切れ目（カット）がはっきりしない場合が多いことや、静止画ではないが、画面変化が著しく遅かったり、画面のごく一部しか変化がない連続したフレームが発生する場合があったり、短時間であるが静止画状態になる場合がある、さらには番組開始直後や終了直前のフレームなどでは短時間であるが無音声で静止画状態が続く場合があるなど、冗長で長大な映像フレームであっても全てのフレームを対象とし、それぞれのフレームを検索対象範囲内で、データ同士の重複がないデータとして識別可能なよう、データまたは特徴を抽出する方法を確立するとともに、多目的で、高速で、高精度なフレーム検索用データとするために、特徴抽出したデータのデータ出現確率を統計確率的手法で判定し最適なフレーム検索用データとするための、フレーム検索用データの作成方法を確立することが不可欠である。
【００１５】
以上のような適用例の映像装置本体と他の外部装置（他の映像装置含む）が以上のデータベースを共通に利用出来ればデータベースのさまざまな利用、応用により装置自体の付加価値も大幅に向上し、映像装置本体内の映像コンテンツの利用の幅と利用価値は格段と拡大される。
上記課題をクリアする映像コンテンツの編集、操作、再生、視聴のあらゆる用途にこの技術を利用した映像コンテンツのフレーム検索用データ作成装置、このフレーム検索用データを用いた映像コンテンツのフレーム検出装置及びフレーム検索用データ作成方法の提供である。
【００１６】
また本願発明の主要適用装置である家庭用汎用録画装置、再生装置に広く応用し実現可能なコストを目指すには、特別な装置、部品、組立技術を用いることなく、現在市場に広く流通している装置、部品、組立て技術で実現可能な映像コンテンツのフレーム検索用データ作成装置、このフレーム検索用データを用いた映像コンテンツのフレーム検出装置及びフレーム検索用データ作成方法の提供である。
【課題を解決するための手段】
【００１７】
以上の課題を解決するために
請求項１では、
音声が利用できる映像コンテンツの場合は画像情報と音声情報、音声が利用できない映像コンテンツの場合は画像情報、のフレーム情報から抽出される情報単位ごとのデータである複数の要素データを抽出し、映像コンテンツ上の互いのフレーム同士のデータの重複を避け、映像コンテンツ上の任意の１フレームのデータを固有のデータとするよう上記要素データを複数連結し組合せして構成される映像コンテンツの１フレーム当たりの識別データを作成する識別データ作成部と、
この１フレーム当たりの識別データに必要とするデータ検索のための情報を付与し識別データ作成の元になる映像コンテンツの全てのフレームと時系列上相互対照なデータ列として記憶登録し１映像コンテンツ当たりのフレーム検索用のインデックス列を構成するインデックス列登録部と、
を具備することを特徴とする。
請求項２では、
前記インデックス列登録部は、前記インデックス列に映像コンテンツのタイトル情報を付与し、複数のインデックス列を対象としたデータベースとすることを特徴とする。
請求項３では、
前記識別データ作成部は、前記識別データに使用されている全ての前記要素データの量子化ビットのデコードデータであるそれぞれの量子化データの出現頻度と、全ての要素データ同士の出現相関度と、を測定し検索対象範囲内の識別データのデータ同士の最悪の場合の重複の確率である最悪出現確率を１０００億分の１以下とするように構成された識別データとすること特徴とする。
請求項４では、
（１）前記音声が利用できる映像コンテンツの場合は静止画で無音声、前記音声が利用できない映像コンテンツの場合は静止画、となることにより発生する前記識別データが重複データとなる区間
（２）コマーシャルメッセージフレームと、連続放送番組の開始または終了時の定形フレームと、再放送フレームと、の繰り返し送出されるフレームにより発生する前記識別データの一定区間同士が重複データとなる区間
（３）複製された映像コンテンツにより発生する前記識別データの一定区間同士が完全に同一で重複データとなる区間
（４）偶発的に類似する他のフレームを同一データとして抽出することにより発生する前記識別データが重複データとなるフレーム
以上（１）から（４）のいずれかの要因で識別データのデータが重複するフレームの双方の上記識別データにそれぞれの要因ごとに、重複を回避するための情報を付与する重複データ判定部を更に具備することを特徴とする。
請求項５では、
前記識別データ作成部は、前記要素データの全てまたは一部を、音声が利用できる映像コンテンツの場合は画像特徴情報と音声特徴情報、音声が利用できない映像コンテンツの場合は画像特徴情報、のいずれかの前記フレーム情報から抽出される特徴情報を特徴要素データとして抽出し組合せ構成した前記識別データとすることを特徴とする。
請求項６では、
前記識別データ作成部は、
（１）コンポジット信号（Ｙ／Ｃ混合）と、Ｓ映像信号（Ｙ／Ｃ分離）、コンポーネント映像信号（Y／Cb／Cr）と、Ｄ端子信号（Y／Ｐｂ／Pr）と、のいずれかのアナログ画像信号
（２）ステレオ信号と、マルチチャンネル信号と、のいずれかのアナログ音声信号
（３）ＩＥＥＥ１３９４またはＨＤＭＩ（ハイ-デフィニションマルチメディアインタフェース）のデジタル信号
（４）識別データ専用のデータまたは信号
以上（１）から（４）のいずれかの信号またはデータを前記フレーム情報とし映像コンテンツの再生（オンライン）に合わせ連続して前記識別データを作成することを特徴とする。
請求項７では、
前記識別データ作成部は、
映像コンテンツを記憶した記憶媒体またはリムーバル記憶媒体として搭載された記憶媒体上の映像コンテンツのフレーム圧縮データをもとにしたデータを前記フレーム情報とし非再生（オフライン）で前記識別データを作成することを特徴とする。
請求項８では、
請求項６または請求項７により作成完了した前記インデックス列を、
（１）他の装置から共有ファイルとしてデータの供給を受ける
（２）他の装置から通信手段によりデータの供給を受ける
（３）他の装置からメモリ媒体によるデータ交換手段によりデータの供給を受ける
（４）映像コンテンツ事業者により放送電波または通信回線を通じてデータの供給を受ける
（５）映像コンテンツ事業者により映像コンテンツと同一のリムーバル記憶媒体に記憶されたデータの供給を受ける
以上（１）から（５）記載のいずれかのデータ受給手段である完成されたインデックス列の受給部を更に具備することを特徴とする。
請求項９では、
前記識別データ作成部は、アナログ信号より抽出した前記要素データの場合、当該要素データの最少１ｂｉｔのみをアナログ誤差吸収のためのデータとする要素データで構成される前記識別データとすることを特徴とする。
請求項１０では、
前記識別データ作成部は、前記識別データと、識別データ作成の元になる映像コンテンツのタイムコードデータと、を併用した前記インデックス列とすることを特徴とする。
請求項１１では、
前記識別データ作成部は、フレームごとまたは特定の区間ごとに前記要素データの組合せの構成を変化させるように構成される前記識別データによる前記インデックス列とすることを特徴とする。
請求項１２では、
前記識別データ作成部は、前記識別データに、他の認識手段から得られる認識情報を付与した前記インデックス列とすることを特徴とする。
請求項１３では、
前記識別データ作成部は、前記識別データを一定の割合で間引きして作成された前記インデックス列とすることを特徴とする。
請求項１４では、
前記識別データ作成部は、前記インデックス列を、画像における前記フレーム情報のフレーム間変化をもとにして、同一データの範囲をＲＵＮレングス係数、ＬＥＶＥＬ係数を用いて圧縮し、検索時はデータを解凍したインデックス列とすることを特徴とする。
請求項１５では、
音声が利用できる映像コンテンツの場合は画像情報と音声情報、音声が利用できない映像コンテンツの場合は画像情報、のフレーム情報から抽出される情報単位ごとのデータである複数の要素データを抽出し、映像コンテンツ上の１フレームを固有のデータとするよう上記要素データを複数連結し組合せして構成される映像コンテンツの１フレーム当たりの一時データとしての識別データの作成手段を特徴とする。
請求項１６では、
請求項１記載の映像コンテンツのフレーム検索用データ作成装置に、
前記インデックス列を検索するための、検索条件データを設定する検索条件設定部と、この検索条件にもとづきインデックス列を検索するインデックス列検索部と、この検索により検索条件データに適合する前記識別データのフレームを検出する識別データ検出部と、を更に具備させることを特徴とする。
請求項１７では、
前記検索条件設定部に、検索目的のフレームの前記識別データを検索条件データとして設定して、前記インデックス列を前記インデックス列検索部により検索することにより、検索条件に適合する前記識別データ作成の元になる映像コンテンツのフレームのフレーム位置を前記識別データ検出部で検出することを特徴とする。
請求項１８では、
前記検索条件設定部に、フレームの特徴検出のためのデータを検索条件データとして設定して、請求項５記載のインデックス列をインデックス列検索部により検索することにより、特徴検出条件に適合する前記識別データ作成の元になる映像コンテンツのフレームのフレーム位置を前記識別データ検出部で検出することを特徴とする。
請求項１９では、
前記元になる映像コンテンツの任意のフレーム位置を指定し、請求項５記載のインデックス列を前記識別データ検出部で検出することにより、当該フレームの特徴を検出することを特徴とする。
請求項２０では、
対象とする前記インデックス列を事前に用意し、このインデックス列の前記識別データ作成の元になる映像コンテンツを再生する際、再生されるフレームから得られる識別データを前記検索条件設定部の検索条件データとし、上記事前に用意されたインデックス列をインデックス列検索部によって検索し、同一データとなる上記映像コンテンツのフレーム位置を識別データ検出部で検出し、
以降の連続して再生されるフレームから得られる識別データは上記インデックス列上の該当するフレーム位置の識別データを前記識別データ検出部で読み取りし、同一データであることを確認することによって、
上記識別データ作成の元になる映像コンテンツの再生フレームのフレーム位置を連続検出することを特徴とする。
請求項２１では、
前記インデックス列上の任意のフレームを指定して上記元になる映像コンテンツの任意のフレームをアクセスし、再生されるフレームの識別データを識別データ検出部で連続検出する映像コンテンツアクセス部を更に具備することを特徴とする。
請求項２２では、
前記データベースの検索補助データとして、前記識別データを構成する少なくとも１つの前記要素データの量子化データの組合せで構成される量子化データのグループごとに識別データを記憶登録した、要素データの量子化データのグループ別の識別データの検索を併用して映像コンテンツのフレームを検索し検出をする検索補助データ部を更に具備することを特徴とする。
請求項２３では、
前記インデックス列検索部は、前記データベース内の１つの前記インデックス列上の複数のフレーム位置の前記識別データを対にしてグループ化した複数フレーム条件を前記指定する検索条件として、同一または他の映像コンテンツのインデックス列を検索しフレームを検出することを特徴とする。
請求項２４では、
請求項２０記載のフレーム検出装置において、予め前記データベース内の対象とする前記インデックス列の目的とするフレームの前記識別データに映像装置と、マルチメディア機器と、外部機器と、のいずれかを連動制御するための情報を付与しておき、
前記識別データ作成の元になる映像コンテンツを再生の際、この映像コンテンツの再生に連動し、上記インデックス列を連続検出し、映像装置と、マルチメディア機器と、外部機器と、を連動制御するための情報を検出し、
上記識別データ作成の元になる映像コンテンツの再生フレームに連動して上記、映像装置と、マルチメディア機器と、外部機器と、のいずれかを連動制御する連動制御部を更に具備することを特徴とする。
請求項２５では、
前記データベース内の前記インデックス列がテレビジョン放送番組による映像コンテンツから作成された場合、
前記繰り返し送出される、コマーシャルメッセージと、連続放送番組の開始または終了時の定形フレームと、再放送フレームと、における前記フレーム識別データの一定区間同士が同一データとなるフレーム検出結果を利用して、
番組局情報、タイトル情報、放送される時刻情報、その期間、繰り返し回数、のいずれかをもとにして、
コマーシャルメッセージと、連続放送番組の開始または終了時の定形フレームと、再放送フレームと、のいずれかであることを自動判定する繰返しフレーム自動判定部を更に具備することを特徴とする。
請求項２６では、
前記データベース内の前記インデックス列が、
前記複製された映像コンテンツと複製した映像コンテンツの互いの識別データが完全に同一データとなるフレーム検出結果を利用して、
映像コンテンツの複製を検出する複製判定部を更に具備することを特徴とする。
請求項２７では、
請求項５記載の識別データによって作成された前記インデックスを、前記指定する検索条件で検索し検出された前記フレーム位置をチャプタマークとするチャプタマーク作成部を更に具備することを特徴とする。
請求項２８では、
請求項５記載の識別データによって作成された前記インデックスを、前記指定する検索条件で検索し検出された前記フレーム位置を時系列表示する検出フレーム時系列表示部を更に具備することを特徴とする。
請求項２９では、
請求項５記載の識別データによって作成されたインデックス列に前記識別データ作成の元になる映像コンテンツの任意の１フレームを対象とした、映像コンテンツのフレームのアノテーション情報を付与する手段により付与されたアノテーション情報の検索をするフレームアノテーション検索部と、検出されたフレームのアノテーション情報から映像コンテンツのフレームをアクセスする、フレームアノテーションアクセス部を更に具備することを特徴とする。
請求項３０では、
請求項５記載の識別データによって作成されたインデックス列をもとにして
（１）特定シーンの出現回数と、出現時間と、出現比率と、の少なくとも１つ
（２）映像コンテンツの、画像の特徴と、音声の特徴と、変化の特徴と、の少なくとも１つ
以上（１）または（２）いずれかのフレームを前記インデックス列検索部と、前記識別データ検出部で検出し、これを統計データとし使用する統計データ利用部を更に具備することを特徴とする。
請求項３１では、
音声が利用できる映像コンテンツの場合は画像情報と音声情報、音声が利用できない映像コンテンツの場合は画像情報、のフレーム情報から抽出される情報単位ごとのデータである複数の要素データを抽出し、映像コンテンツ上の１フレームを固有のデータとするよう上記要素データを複数連結し組合せして構成されるフレーム検索のためのデータである映像コンテンツの１フレーム当たりの識別データの、
それぞれの上記要素データの、それぞれの前記量子化データの出現頻度を測定することにより１要素データ当たりのビット数としての平均出現確率ならびに識別データ全体の要素データのビット数としての平均出現確率を判定し、この結果にもとづき適正な要素データのビット数の識別データの作成をすることを特徴とする。
請求項３２では、
前記フレーム情報より前記要素データを採取する際のビット数を、実際に前記識別データの要素データとするビット数より多くし、請求項３１記載の要素データのそれぞれの前記量子化データの出現頻度を測定することにより、上記要素データを採取した量子化データの出現頻度を均等化して識別データの要素データとすることを特徴とする。
請求項３３では、
請求項３１記載の識別データを構成する要素データを２組選択し互いの出現相関度を求める手法で、構成される要素データの全ての組合せについての出現相関度を測定することにより上記識別データの組合せ数としての平均出現確率を判定し、この結果にもとづき適正な要素データの組合せ数の識別データの作成をすることを特徴とする。
請求項３４では、
請求項３１記載の識別データ全体の要素データのビット数としての平均出現確率と、請求項３３記載の識別データの組合せ数としての平均出現確率と、
の双方により上記識別データの総合平均出現確率を判定し、この結果にもとづき適正な要素データのビット数と組合せ数の識別データの作成をすることを特徴とする。
請求項３５では、
前記識別データを構成する全ての前記要素データの量子化データの最も出現頻度の高い量子化データによる前記出現頻度の測定と、この量子化データ同士の前記相関度の測定と、の双方により識別データの最悪出現確率を判定し、この結果にもとづき適正な要素データのビット数と組合せ数の識別データの作成をすることを特徴とする。
【発明の効果】
【００１８】
本願発明の映像コンテンツのフレーム検索用データ作成装置、このフレーム検索用データを用いた映像コンテンツのフレーム検出装置、及びこれに使用される映像コンテンツのフレーム検索用データであるデータベース、識別データ、インデックス列は映像コンテンツの編集、再生、録画、撮影などのさまざまな場面と様々な映像装置に多目的に利用することが可能である。
これらの技術を一貫して利用することにより低コストで付加価値の高い製品の実現と、これらの技術の積み重ねにより、新しい形態の映像コンテンツの利用技術さらには新しい形態の放送番組、通信番組、やＤＶＤ、ＢＤ等リムーバルメディア等の映像コンテンツが生まれることが期待できる。
【図面の簡単な説明】
【００１９】
【図１】図１はデータベースの構成とその利用例の説明図である
【図２】図２は映像装置の構成例の説明図である
【図３】図３は映像装置ならびに関連機器とデータベースの利用例の説明図である
【図４】図４は映像コンテンツとメタデータの関係を示した説明図である（実施例１）
【図５】図５は識別データの構成例を示した説明図である（実施例２）
【図６】図６は音声あり/なしの識別データを示した説明図である（実施例３）
【図７】図７はアナログ信号をもとにした本願発明の実施例である（実施例４）
【図８】図８は識別データ抽出部の説明図である（実施例５）
【図９】図９は量子化ビット数利用率判定を示した説明図である（実施例６）
【図１０】図１０は量子化データの出現頻度均等化を示した説明図である（実施例７）
【図１１】図１１は要素データ相関度判定を示した説明図である（実施例８）
【図１２】図１２は最悪識別能力指数判定を示した説明図である（実施例９）
【図１３】図１３は連続重複データ判定部の説明図である（実施例１０）
【図１４】図１４は連続外重複データ判定部の説明図である（実施例１１）
【図１５】図１５は検索用インデックス列のメモリ配列の説明図である（実施例１２）
【図１６】図１６はインデックス列検索部、識別データ検出部の説明図である（実施例１３）
【図１７】図１７は同一フレームの検出概要を示した説明図である（実施例１４）
【図１８】図１８は同一フレーム検出部の説明図である（実施例１５）
【図１９】図１９はフレーム特徴データ設定部の説明図である（実施例１６）
【図２０】図２０はフレーム特徴検索の場合のインデックス列検索部、識別データ検出部の説明図である（実施例１７）
【図２１】図２１は再生高度化支援装置ならびに次世代映像装置の説明図である（実施例１８）
【図２２】図２２は連続フレーム検出の説明図である（実施例１９）
【図２３】図２３は再生高度化支援装置の操作画面の説明図である（実施例２０）
【図２４】図２４は録画装置、再生装置動作時間概要を示した説明図である（実施例２１）
【図２５】図２５は録画装置応答時間実測試験を示した説明図である（実施例２２）
【図２６】図２６は目的フレームサーチ概要を示した説明図である（実施例２３）
【図２７】図２７は複数映像コンテンツにまたがるランダムアクセスの概要を示した説明図である（実施例２４）
【図２８】図２８は映像コンテンツフレームアノテーションを示した説明図である（実施例２５）
【図２９】図２９はデジタルデータによる要素データの抽出例を示した説明図である（実施例２６）
【図３０】図３０はインデックス列のバリエーションを示した説明図である（実施例２７）
【図３１】図３１はインデックス列の圧縮例を示した説明図である（実施例２８）
【発明を実施するための形態】
【００２０】
本願発明の映像コンテンツとは、標準テレビジョン方式をもとにする放送番組、ＣＡＴＶ番組、ビデオオンデマンド番組などの通信番組、ＤＶＤディスク、ＢＤディスク、半導体メモリなどの記憶媒体に録画されたビデオコンテンツ、ビデオカメラで撮られたビデオ、ならびに映像コンテンツサーバ、パーソナルコンピュータ（以降パソコン）、インターネットウエブ上に展開される動画像の総称である。
【００２１】
通常映像コンテンツは画像と音声の双方が一体となっているが、例えばソースコンテンツのように画像、音声が分離されて画像だけのもの、インターネットの動画像などで画像だけのものある、従がって本願発明では画像に音声が伴う映像コンテンツと、画像に音声が伴わない双方の映像コンテンツを、音声が利用できる映像コンテンツと音声が利用できない映像コンテンツとして、その双方を対象としている。
【００２２】
以降の説明では、本願発明の映像コンテンツのフレーム検索用データ作成装置は単にフレーム検索用データ作成装置、このフレーム検索用データを用いた映像コンテンツのフレーム検出装置は単にフレーム検出装置として説明される。
また以上のフレーム検索用データ作成装置、フレーム検出装置は、映像装置本体（映像コンテンツを記憶またはリムーバル記憶媒体として搭載した映像装置）、連携映像装置（映像装置本体に連携する映像装置）のいずれかに適用され、これにもとづき説明される、この詳細は後述する。
【００２３】
記憶媒体とは、ＤＶＤ、ＢＤ、カードメモリ、ＵＳＢメモリ等のリムーバルメディア、半導体メモリ、ＨＤＤディスク等の固定メディアの総称である。
【００２４】
フレーム情報とは当該フレームの画像情報および音声情報（なしの場合もある）であり、画像情報とはアナログ系としての画像信号と、デジタル系の画像データと、の総称、音声情報とはアナログ系として音声信号と、デジタル系の音声データと、の総称である。
【００２５】
フレーム位置とはタイムコードなどの時刻情報で、映像コンテンツの開始から終了までのフレームの時刻または順序を意味し、一定範囲のフレーム区間も含まれる。
【００２６】
デジタル系の画像データ、音声データは原信号を圧縮したデータとなっており、これらを特徴情報として利用するためには、通常データの伸張（デーコード）が必要である。
これに対しアナログ系をもとにする画像信号、音声信号（デジタル系の圧縮データを伸張したものを含む）はその信号そのものが特徴情報であるためフレームの特徴を抽出するのに都合がよい。
従がって本願発明ではアナログ系の画像信号、音声信号を中心に説明するが、後述するようにデジタルデータを伸張することなく、画像、音声のデジタルデータの一部を利用して、これをフレーム識別のためのデータとして利用することも可能である。
【００２７】
図１（データベースの構成とその利用例）は映像装置にフレーム検索用データ作成装置、フレーム検出装置を適用したもので、この本願発明の趣旨とその概念を説明するものである。
映像コンテンツ１を記憶またはリムーバル記憶媒体として搭載した映像装置（以下映像装置本体４２とする）の記憶媒体１９にタイトル情報５ごとに記憶された映像コンテンツ１のフレーム情報をもとに、映像コンテンツの１フレームごとに、映像コンテンツ上の任意の１フレームが固有のデータとなるよう構成された映像コンテンツのフレーム検索のための識別データ１０を、元になる映像コンテンツのそれぞれのフレームと時系列上相互対照にデータ列として、前記映像装置本体４２自身または、この映像装置本体に連携する装置（以下連携映像装置４３とする）のいずれかの記憶媒体１９に記憶登録されたインデックス列１２、またはインデックス列の集合体であるデータベース１８を指定する検索条件３０で検索５４することにより、さまざまな目的の映像コンテンツ１上の目的のフレームを検出５５するものである。
【００２８】
図のＡの同一フレームの検出２５は、映像コンテンツ上の任意の１フレーム（図ではCの映像コンテンツの１フレーム）を指定することによって、指定されたフレームの識別データ１０をもとに、前記記憶登録されたデータベース１８の検索５４を行い、同一データとなるフレーム位置または区間６を検出５５するものであり（図では３個所の同一フレーム検出）この検出結果は映像コンテンツそのもののフレーム位置、フレーム区間、その時間や時刻の検出結果と等価（以下同様）であることを意味しており、本願発明の重要なポイントである。
【００２９】
図のＢの連続フレームの検出２６は、映像コンテンツの再生（図ではCの映像コンテンツ）の際に出力されるフレーム情報を先に説明の記憶登録時の識別データと同一手法で再抽出した識別データを指定する検索条件として上記データベース内の検索目的のデータ列（図ではCのインデックス列）を検索して映像コンテンツの再生されているフレームのフレーム位置、フレーム区間、その時間や時刻の検出を連続ですることを意味している。
【００３０】
図のＣのフレーム特徴の検出２７では上記データベースの識別データを、映像コンテンツのフレームの特徴を元にした識別データとした場合で、指定する検索条件の検索データでデータベース内の映像コンテンツの指定された検索条件のフレームのフレーム位置、フレーム区間、その時間や時刻の検出をすることを意味している。
【００３１】
図のＤの指定フレームの検出２８では前記元になる映像コンテンツの任意のフレームを直接指定し、当該フレームの特徴等を検出することを意味している。
【００３２】
図のＥのその他の利用２９は、このようなデータ構造のインデックス列１２そのものをアノテーションデータ、統計データとして利用することを意味している。
【００３３】
ここで更に重要なポイントは、これらのインデックス列１２と集合体のデータベース１８は先の映像装置本体４２内部で利用するのみならず、先の説明の連携映像装置４３においても利用可能であって、映像コンテンツ１をもたない外部の映像装置で、映像装置本体４２と連携をとり映像装置本体４２と同様に映像コンテンツに関連するさまざまな制御、操作、編集を可能にすることを意味している。
【００３４】
また著作権や映像コンテンツの規格に係るような映像コンテンツ１そのものにデータを付与する、加工する、タイムコード４を使用する必要もなく、通常上記映像装置本体４２から出力されるアナログまたはデジタル信号またはデータを利用し、上記フレーム検索のための識別データ１０ならびにインデックス列１２を作成し利用することが出来るので、現行市場の映像装置に簡単なアダプタ装置を取り付けする方式の利用の形態や、映像装置本体に取り込み次世代向けの映像装置４１とするなどさまざまな利用方法がある。
【００３５】
図２（映像装置の構成例）は映像装置４１にフレーム検索用データ作成装置、フレーム検出装置を適用した場合の主要手段を一覧化したものである。
言うまでもなく映像装置４１がこれを全て具備する必要はなく、またその他の手段を具備することも自由であり装置の目的に応じ必要な手段を採用すればよいが、本願発明の意図を明確にするためにその全貌を先に示す。
図の上部がフレーム検索用データ作成装置、図の下部がフレーム検出装置に相当する。
【００３６】
映像装置４１は映像装置内にある映像コンテンツ１から識別データ作成部５０である、再生信号またはデータよりの識別データ作成部８７または非再生データよりの識別データ作成部８８のいずれかで識別データ１０を作成する。
一方映像コンテンツが外部の映像装置にある場合には先に述べた再生信号またはデータよりの識別データ作成部８７または非再生データよりの識別データ作成部８８で識別データ１０を作成する。
以上で作成された識別データ１０はインデックス列登録部５６を経由してインデックス列１２として記憶登録される。
以上は後述するように他の映像装置のアダプタ９０として構成し利用することも可能である。
これらのインデックス列１２の集合体がデータベース１８である。
また図に示すように識別データ作成部５０では応用形態としてさまざまな形態の識別データ１０ならびにインデックス列１２が作成される。
【００３７】
また映像装置４１は上記の方法で作成し完成された他の映像装置などのインデックス列１２を、完成されたインデックス列の受給部８９でインデックス列１２を受け取り、インデックス列登録部５６を経由してデータベース１８に記憶登録することも可能である。
【００３８】
データベース１８には検索補助データ部９１が重複データ判定部３９として併設されている。
以上がフレーム検索用データ作成装置の基本構成とこれに関連する手段の全貌である。
【００３９】
このようなデータベース１８を検索条件設定部３０で検索条件を指定しインデックス列検索部５４により検索することにより目的の映像コンテンツのフレームが識別データ検出部５５で検出される。
この検索条件は図１で示したＡからＤまでの検出内容にもとづき設定されるもので特定条件設定部５７では特定の条件の設定や、フレームの特徴の検出や指定フレームの検出が行われる。
【００４０】
以上の映像コンテンツのフレーム検出結果は以下の手段によりさまざまな利用形態で活用される。
（１）連動制御部９２
予めインデックス列の目的とするフレームに装置、機器を連動するための情報を付与しておき、当該映像コンテンツの再生の際、検出された識別データに付与された連動情報をもとに、映像装置４１、マルチメディア機器４４、外部機器４５、との連動制御を行う。
以上は先に説明の本願発明が解決しようとする課題の具体的テーマ２に相当する。
（２）繰返しフレーム自動判定部９３
ＣＭ、連続放送の定形フレームを放送局情報、タイトル情報、放送される時刻情報、その期間、繰返し回数をもとに、これらを自動判定する。
（３）複製判定部９４
複製した映像コンテンツと複製された映像コンテンツのインデックス列が完全に同一データであることにより、複製コンテンツを検出する
（４）チャプタマーク作成部９５
検出されたフレームをチャプタマークとする。
（５）検出フレーム時系列表示部９６
検出されたフレームを時系列表示する。
（６）フレームアノテーション検索部９７
フレームアノテーション情報としてインデックス列に文字情報を付加しこれを検索する。
（７）フレームアノテーションアクセス部９８
検索されたアノテーションフレームをもとに映像コンテンツをランダムアクセスする。
（８）統計データ利用部９９
インデックス列を統計データとして利用する。
以上（２）から（８）は先に説明の本願発明が解決しようとする課題の具体的テーマ１に相当する。
【００４１】
また映像コンテンツと相互対照なインデックス列上の任意のフレームを指定することにより映像コンテンツそのものの指定されたフレームをアクセスする映像コンテンツアクセス部８６を備えている。
この部分がフレーム検出装置の基本構成とこれに関連する手段の全貌である。
以上が本願発明の全体の主要手段の概要でありこれについての詳細は後述する。
【００４２】
図３（映像装置ならびに関連機器とデータベースの利用例）は図１のＡからＥの具体的な検索対象と本願発明のフレーム検索用データ作成装置、フレーム検出装置を適用可能な映像装置ならびに関連機器をまとめたものである。
映像装置本体４２は映像コンテンツを記憶またはリムーバル記憶媒体として搭載した映像装置であり具体的には、映像コンテンツを録画して再生する録画装置（レコーダ）、映像コンテンツを再生する再生装置（プレーヤ）、映像コンテンツを検索し再生する検索装置、映像コンテンツを編集して再生する編集装置、映像を撮影して再生するビデオカメラ、映像を用いた専門機器、映像を用いたゲーム機器、ならびに映像コンテンツを録画して再生する、処理機能を持つコンピュータ、パソコンなどの単体装置または複合された装置の総称であり、連携映像装置４３は上記映像装置本体に連携する映像装置で具体的には、テレビジョン、ディスプレイ、スタジオ装置等、映像コンテンツサーバ、遠隔操作装置、遠隔編集装置等、と本願発明の識別データを作成しインデックス列を登録する手段を有する映像装置用アダプタの総称である。
単に映像装置４１と表現する場合は上記映像装置本体４２と連携映像装置４３の双方の総称である。
以上の映像装置４１のいずれにも本願発明のフレーム検索用データ作成装置、フレーム検出装置を単独または一体にして適用可能である。
【００４３】
またマルチメディア機器４４は映像装置４１に接続されるインターネット、画像、文字情報、音声などを出力可能な機器で、コンピュータ（パソコン含む）もこの対象である。
外部機器４５は映像装置４１に接続される、照明、フラッシュ、カメラ、ビデオカメラなどの総称である。
また縦軸のＡからＥは先の図１の説明の分類による具体例である。
【００４４】
Ａ（同一フレームの検出２５）はデータベース内の同一フレームの検出をはじめ、前記繰り返し送出される、コマーシャルメッセージと、連続放送番組の開始または終了時の定形フレームと、再放送フレームと、さらには複製された映像コンテンツ、の検出
であり映像装置全般に利用可能である、特にインテリジェントなテレビジョンにこの技術を利用することによりＣＭ期間中は他の番組に切り替えする等の応用が可能になる。
またコンテンツサーバ内等での複製されたコンテンツの検索にも有効である。
【００４５】
Ｂ（連続フレームの検出２６）は映像コンテンツの再生フレームから得られる識別データを連続して検出することにより、映像コンテンツの再生フレームの検出（連続フレーム検出）と、映像コンテンツの再生フレームに連動した制御（連動制御）と、は映像装置４１に接続される、マルチメディア機器４４、外部機器４５などあらゆる装置、機器と映像コンテンツの特定のフレームの連動を可能にするもので利用形態が極めて広い。
特にインターネット情報４７や文字情報４６を連動させることにより、映像コンテンツとマルチマディアを融合させることが可能になる。
【００４６】
Ｃ（フレーム特徴の検出２７）およびＤ（指定したフレームの検出）は検出したフレームの特徴をもとにした、特徴フレームの時系列表示、検出したフレームのチャプタマーク化、検出したフレームによる各種編集、は特に映像コンテンツの編集用に利用されるものであり遠隔操作装置や、遠隔編集装置に特に有効である。
【００４７】
Ｅ（その他の利用２８）はインデックス列を映像コンテンツのフレームアノテーション、または統計データとして利用するものであり、編集装置はもとより、映像を用いた専門機器、ゲーム機器等に有効である。
また識別データを作成しインデックス列を登録する手段を有する映像装置用アダプタ９０は、映像装置本体、特にパソコンのアダプタとして装着することによって様々な応用が可能である。
これらの詳細な内容は後述される。
【実施例１】
【００４８】
図４（映像コンテンツとメタデータの関係）は以上の本願発明の代表的実施例を示したものであり、映像コンテンツとこれに付随する映像コンテンツのメタデータの関係を現したものである。
図のＡは映像コンテンツの基本構成を示すものであり、映像コンテンツ１はフレーム単位で記憶媒体１９のフレームアドレス３３に、フレーム２ごとに、そのタイムコード４などの時間情報３と映像コンテンツフレームデータ３４が記憶され１つの映像コンテンツ１が構成されている。
【００４９】
図のＢはこの映像コンテンツ１の各フレーム２ごとにメタデータ３６を直接与える場合であるが、この場合、チャプタマークなど、映像コンテンツの規格の範囲のメタデータ３６に限定される。
【００５０】
図のＣは映像コンテンツ１とは独立してメタデータ３６をもつ場合であり、映像コンテンツの再生に合わせタイムコード４を仲介コードとすることによりそれぞれのフレーム同士を相互参照可能としている。
映像装置の内部にこのメタデータ３６を置く場合、映像コンテンツ１の規格に関係なく構成することが出来るためよく利用されるが、メタデータ３６が外部装置にある場合には、映像装置よりタイムコード４を外部装置に送信する必要がある。
【００５１】
図のＤは映像装置に記憶された映像コンテンツ１と外部装置のメタデータ３６のように互いにタイムコード４など時間情報３が利用出来ない映像コンテンツ１に映像コンテンツ１と独立したメタデータ３６をもたせる方法として、映像コンテンツの任意の１フレームの固有のフレーム情報から、映像コンテンツの任意の１フレームを固有のフレームとして識別するための、識別データ１０を抽出して、この識別データ１０を、識別データ作成の元になる映像コンテンツのそれぞれのフレームとフレーム位置が相互参照可能なように記憶登録した、映像コンテンツのそれぞれのフレーム検索用のデータベースであるインデックス列１２にメタデータ３６を付与する場合である。
各フレーム２を固有のデータとして識別することが可能であれば、識別データ作成の元になる映像コンテンツ１の任意の１フレームはメタデータ３６の任意の１フレームと相互参照可能である。
【００５２】
従がって、インデックス列１２を検索し、目的とする識別データ１０を検出することにより、映像コンテンツ上の当該フレームおよびその区間を特定可能であり、インデックス列１２に付与されたメタデータ３６を利用することが出来る。
またインデックス列１２上で指定するフレームから映像コンテンツの当該フレームをアクセスすることも可能となる。
各フレーム固有のデータで構成された、フレーム検索のデータベースであるインデックス列１２を利用することにより、さまざまフレームの検出とこれによる高度な編集と、メタデータの活用がさまざまな場面で可能となる。
【００５３】
インデックス列１２の具体的な作成方法は後述するが概要を示すと、
映像コンテンツのそれぞれのフレーム情報から抽出される情報単位ごとのデータである要素データ７を、データベース内のフレームのデータ同士が重複する確率を下げるよう上記要素データを複数連結し組合せすることにより、上記１フレーム当たりのデータを映像コンテンツの任意の１フレームが固有のデータとなるよう構成しこれを識別データ１０とし、
組合せだけでは識別データのデータ同士の重複が避けられないフレームの識別データ１０にはその要因別に重複を回避するための情報およびデータベースとしてデータの検索に必要な情報を付与し、
この識別データ１０を、識別データ作成の元になる映像コンテンツ別に、元になる映像コンテンツの全てのフレームと、記憶媒体１９のアドレス配列を連続するか、時刻情報３、連番情報など、元になる映像コンテンツのタイムコード４に相当するフレーム位置データ３５を付与することにより時系列上相互対照なデータ列として記憶登録して、これを１映像コンテンツ当たりのフレーム検索用データベースのインデックス列１２としている。
【００５４】
これによりインデックス列１２は、識別データ１０作成の元になる映像コンテンツ１の任意の１フレームを相互参照可能にするとともに、検索対象範囲内の単一または複数のこのインデックス列１２を目的とするフレームの識別データ１０を検索条件として検索することにより、検索条件に適合する映像コンテンツのフレームのフレーム位置もしくはフレーム区間６を検出することを可能にしている。
【００５５】
また映像コンテンツのそれぞれのフレームの特徴をもとにしたフレーム情報から要素データ７を抽出したものとすることにより、このインデックス列１２を検索条件を指定して検索することにより、要素データ７ごとの検索条件に適合する、画像の特徴と、音声の特徴と、画像の変化の特徴と、音声の変化の特徴と、のフレームの特徴による、そのフレーム位置もしくはフレーム区間６の検出をすることも可能である。
逆に映像コンテンツの任意のフレームを指定することにより、そのフレームの特徴を検出することも可能である。
【００５６】
さらにこの識別データ１０、インデックス列１２の識別能力を判定し、適切なデータ量とすることにより、映像コンテンツの再生に合わせたリアルタイム検索やオフラインでの高速検索も可能にすることが出来る。
【００５７】
このような映像コンテンツのフレームのデータベースであるインデックス列はさまざまな応用が可能で、映像装置上に記憶または搭載されている映像コンテンツの利用範囲を格段に拡大させることが出来きる。
【実施例２】
【００５８】
図５（識別データの構成例）は先に説明の検索対象範囲内の映像コンテンツの任意の１フレームを識別可能にする識別データ１０の構成例である。
図のＡ、Ｂ、Ｃ共通して識別データ１０には、時刻データまたは連番データ、タイムコードなどの時刻情報３であるフレーム位置データ３５があり、識別データ１０の基本部分１１は、フレーム情報から得られた２つのタイプの要素データ７、通常要素データ８または特徴要素データ９が複数組合せされている。
この通常要素データ８は特徴情報を含まない要素データ７であり、特徴要素データ９は特徴情報を含んだ要素データ７であることを意味している。
また連続重複フレーム１４、繰返しフレーム１５、複製フレーム１６、偶発同一フレーム１７が重複データ識別情報１３として付与されており、これは識別データ１０が映像コンテンツの検索対象範囲内で、識別データ１０のデータ同士の重複を検出してこれを識別しこれを回避するための情報であり、これらについての詳細は後述する。
【００５９】
識別データの基本部分１１に付随するフレーム関連情報２０には相互連動情報２１と任意情報２２が付与されこれが先に説明の映像コンテンツ１のメタデータ３６である。
インデックス列１２の識別データ１０を介して映像コンテンツ１の任意のフレームにこの相互連動情報２１を含むフレーム関連情報２０を付与することにより映像コンテンツの任意フレームに連動したさまざまな応用が可能となる。
【００６０】
図のＡはこれまで説明のように、識別データ１０の基本部分である要素データ７の全てを画像、音声、画像の変化、音声の変化に伴う当該フレームのフレームデータをもとにした通常要素データ８とした場合である。
この場合通常要素データは特徴を示すデータとはならないものの、映像コンテンツフレームデータ４から高速でデータを抽出することが出来、これを利用することが可能である。
【００６１】
図のＣは全ての要素データ７をそれぞれのフレームの画像の特徴、音声の特徴、変化の特徴から抽出した特徴要素データ９として識別データ１０を構成した場合で、特徴要素データ９がそれぞれの特徴を示すデータであり、これを検索することにより映像コンテンツ上のさまざまな特徴のフレームをも探し出すのに有効なデータとなる、この構成例は後述する。
図のＢはＡとＣの混成によるものである。
【実施例３】
【００６２】
図６（音声あり/なしの識別データ）に示すように音声を伴わない映像コンテンツにおいては、対象が画像のみとなるため静止画が連続するフレーム期間では識別データ１０のデータの重複が避けられない、これに対し、その比率は大幅に低減されるが音声を伴う映像コンテンツの場合は静止画で無音声のフレームにおいて識別データ１０のデータ同士の重複が避けられない。
このいずれにおいてもこれら場合には前述の重複データ識別情報１３に連番データ等を付与することにより重複データを識別し、検索対象範囲での識別データ１０のデータ同士の重複化を回避している、詳細は後述する。
【実施例４】
【００６３】
以上のような目的のために利用される識別データ１０を設計するにあたり第１に考慮しなくてはならない事は対象とする映像コンテンツとその検索対象範囲でありこれをもとに、統計確率的な手法を用いて解決する必要がある。
【００６４】
対象とする映像コンテンツが放送番組で、その期間を１年とする場合、例えばテレビジョンチャンネル１局当たりの年間総送信フレーム数は、２４時間連続放送として、３６５日×２４時間×６０分×６０秒×３０フレーム＝９４６，０８０，０００フレーム≒１０億フレーム／年である。
地上デジタル放送、ＢＳ放送、ＣＳ放送等の全てのチャンネルを概算１００チャンネル分とすれば、放送電波で受信される総フレーム数は合計１０００億フレーム／年となる。
さらに他の映像メディア例えば、ＣＡＴＶや市販されるＤＶＤの映像コンテンツ、インターネット上の動画像などを含めると際限なく拡大される。
【００６５】
しかしながら、家庭内の映像装置の映像コンテンツの記憶時間が最大で１０００時間の場合、記憶されるフレーム数は、１０００時間×６０分×６０秒×３０フレーム≒１億フレーム程度である。
従がって１億フレームの１０００倍の１０００億通り以上の組合せ確率が保証されれば一般的な利用は可能であるが、例えば１０、０００倍となる、１兆通り（≒２の４０乗）以上の組合せ確率が保証出来れば、家庭内で利用する映像コンテンツのそれぞれのフレームのデータ同士の重複（同一化）は特定なフレームを除き回避され、識別データ１０は識別能力の高いデータとして利用することが出来る。
検索対象範囲の映像コンテンツが長大な場合にはさらに組合せ確率組合せ数を高くするなど使用目的によりこの組合せ確率を考慮すればよい、詳細は後述する。
【００６６】
次に重複を避け映像コンテンツ上の任意の１フレームデータを固有のデータとするよう作成される識別データ１０の通常要素データ８ならびに特徴要素データ９の要素データ抽出諸元として概ね以下の４つを基本と考えればよい。
（１）サンプリングデータ抽出位置においては、１フレーム画面上で通常１００〜２００のＸＹサンプリングポイント（デジタルデータの場合にはマイクロブロック、ブロックでよい）から情報を抽出し、このサンプリングポイントをもとにする画面上の全体平均データ抽出、または部分的な平均データ抽出と、特定のサンプリングポイントのデータ抽出と、の中から選択する少なくても１つ以上をサンプリングデータ抽出位置とする。
特徴検出のためには、当該フレームの特徴を最もよく現す画面全体の平均は必須となる。
（２）画像情報においては、輝度信号情報と、色差信号情報と、色信号情報と、の中から選択する少なくても１つ以上の画像成分、（Ｙ、ＣｂＣｒＲ、Ｇ、Ｂの１つ以上の成分）とする、特徴検出のためには輝度（Ｙ）および色信号（Ｒ、Ｇ、Ｂ）が望ましい。
（３）音声情報においては、モノラル信号情報と、ステレオ信号情報と、多チャンネル信号情報と、の中から選択する少なくても１つ以上の音声情報（Ｒ／Ｌ、５．１チャンネル、７．１チャンネルの１つ以上のチャンネル）、画像情報と同期を取って抽出することが不可欠である。
（４）変化情報においては、先行するフレームから変化を比較するための少なくても１つ以上のフレームを選択する。
比較対象のフレーム期間間隔を大きくすることにより、変化の度合いを大きく出来るが、識別データ１０の抽出を開始する際、抽出開始から当該期間の識別データ１０は不完全なものとなるため、通常は１から１０フレーム先行のフレーム範囲とする。
これに更に数秒程度先行するフレームを併用し複数ごとのフレームを対象として比較することは識別の能力を高め、識別の精度を向上させるために有効である。
このような場合に注意することとして、先に説明のように数秒程度先行するフレームとの差分量など比較のデータを用いる場合、再生開始からの再生信号をもとに識別データ１０を作る場合、当該範囲は不完全なデータになるため再生、停止などが頻繁に繰り返されるような使用においては、先行するフレームとの差分量をもとに抽出した要素データを除外して検索するなどの必要がある。
【００６７】
図７（アナログ信号をもとにした本願発明の実施例）は以上の説明をもとにして設計されたフレーム検索用データ作成装置、フレーム検出装置の実施例の一例で、本願発明の基本となる映像コンテンツの各フレームの画像もしくは画像と音声のフレーム情報から抽出される画像もしくは画像と音声の要素データを複数組合せして構成される識別データ１０そしてこれをインデックス列１２、データベース１８を作成するための手段、またこれを検索する手段の概要を示すものである。
この実施例の構成は映像装置本体４２の入出力に標準装備されているアナログ画像信号、アナログ音声信号をもとにして、映像コンテンツは音声を伴い、要素データは特徴要素データ９としてデータを抽出する場合の例である。
いうまでもなく、映像装置本体４２の内部に構成することも可能である。
【００６８】
映像装置本体４２からの画像、音声信号５１の画像信号は識別データ作成部５０において適宜復調されＲ、Ｇ、Ｂ信号としてＡ／Ｄ変換部５２に入力される。
音声信号はＲまたはＬのいずれかがＡ／Ｄ変換部５２に入力される。
これらの映像、音声信号は後述するＡ／Ｄ変換ポイント信号のタイミングでＡ／Ｄ変換され、識別データ抽出部５３に入力され識別データ１０を得る。
図７の下段に示すように、フレーム２ごとの識別データ１０は、映像コンテンツの全てのフレーム２ごとに、識別データ抽出部５３で得られた、識別データの基本部分１１、重複データ識別情報１３、これらがフレームごとに整列されインデックス列登録部５６によりタイトル情報５ごとに記憶登録されインデックス列１２、さらにはデータベース１８となっている。
また識別データ１０には図５で説明のデータ検索に必要な時刻情報３としてのフレーム位置データ３５、や相互連動情報２１などのフレーム関連情報２０も付随情報として付加されて記憶登録されている。
【００６９】
識別データ１０を事前に記憶登録する場合、映像装置本体４２の再生信号から得られる連続する識別データ１０を図７の信号切替ＳＷ１をＡ、ＳＷ２をＡとし記憶登録されたインデックス列６１として順次記憶登録される。
【００７０】
既知の映像コンテンツをもとにして、未知の映像コンテンツから、同一フレームを探す場合、信号切替ＳＷ１をＢ、ＳＷ２をＢとし、記憶登録されたインデックス列６１から選択されたインデックス列検索部５４の、もとになるインデックス列６３より選択された１つのフレームの識別データ１０を検索基準データ６０として、上述同様、記憶登録されたインデックス列６１から選択された検索対象インデックス列６２を識別データ検出機能５５によりフレームごとに順次一致または近似検出を行い、検索対象識別データ６２の中より、同一フレームを検出し、識別データ検出部５５から検出信号ならびに、一致または近似するフレームの、時刻情報３、連番情報、または記憶媒体のアドレス情報等（この例の場合は時刻情報３）から元になる映像コンテンツのフレームのタイムコード４に相当するフレーム位置データ３５を得て、フレーム位置またはフレーム区間６を検出する。
【００７１】
再生される映像コンテンツをもとにして、同一映像コンテンツのインデックス列１２と同期をとる場合は、信号切替ＳＷ１をＡ、ＳＷ２をＢとして、映像装置本体４２から再生され、得られたた一つのフレームの識別データ１０を検索基準データ６０として、上述同様検索対象インデックス列６２の中から順次同一フレームを検出し、連続して検出信号ならびに一致または近似するフレーム位置データ３５を得て、フレーム位置またはフレーム区間６を検出する。
【００７２】
またフレームの特徴を検索する場合などは、ＳＷ３をＢとして、特定条件設定部５７に指定する検索条件データを設定し、目的の検索対象インデックス列６２を検索することにより同様に目的のフレームの位置またはフレーム区間６を検出する。
【実施例５】
【００７３】
図８（識別データ抽出部）は図２の再生信号またはデータよりの識別データ作成部８７の情報抽出の具体的手法を示すものである。
１つのフレーム２をＮ個のサンプリングポイント５８に分割し、それぞれのサンプリングポイントごとに画像信号をＲ、Ｇ、Ｂと音声Ｒ、Ｌ信号のいずれかと、フレーム前後の変化を求めるための当該フレームのＸフレーム先行する画像、音声信号をもとにして識別データ１０が抽出される。
【００７４】
先に説明の通り、サンプリングポイント５８の数量については通常の場合１００〜２００程度で十分であるが精度を必要とする場合などは増やせばよい、またフレームのＸは一定の変化を期待するものであり通常１〜１０程度でよい、複数フレームとすることも、比較するフレームの間隔を広くすることも可能である。
これらはその応用例に基づき、選択するＡ／Ｄ変換機能の性能、コスト、一時的に利用するワークメモリサイズ、処理速度を勘案し適切に決めればよい、詳細は後述する。
最初に特徴抽出された特徴要素データ９から説明する。
【００７５】
ｎフレームの画面平均の明暗、色調、音量レベルを示す特徴要素データ９は、Ｒ、Ｇ、Ｂならびに音声データの１フレームの平均レベルとしてワークメモリ１０６に一時記憶されている。
【００７６】
ｎフレームの画面中心の明暗、色調、音量レベルを示す特徴要素データ９は、Ｒ、Ｇ、Ｂならびに音声データの中心サンプリングポイント５９のレベルとしてワークメモリ１０７に一時記憶されている。
【００７７】
Ｘフレーム先行するｎ−Ｘフレームとの明暗、色調、音量レベルの差分量（変化の大きさ）を示す特徴要素データ９は、Ｒ、Ｇ、Ｂならびに音声データとしてワークメモリ１１０に一時記憶されている。
【００７８】
Ｘフレーム先行するｎ−Ｘフレームと比較し画面全体の内、どのぐらいサンプリングポイントが変化しているかを示す特徴要素データ９は、変化範囲としてワークメモリ１１１に一時記憶されている。
【００７９】
同様にサンプリングポイント平均の動きの速さを示す特徴要素データ９は、変化速度としてワークメモリ１１２に一時記憶されている。
【００８０】
ｎフレームの識別データ１０の抽出のプロセスは以下の通りである。
先の図７に示す識別データ抽出機能５３に基づくプロセスで、画像信号から得られる、水平・垂直同期信号に同期し、１フレーム１をＮサンプリングポイント５８に分割するためのＡ／Ｄ変換ポイント信号をサンプリング信号として、以下図８にもとづき説明する。
１）ｎフレームの最初のサンプリングポイントよりＲ、Ｇ、Ｂ、音声信号を４ｂｉｔでＡ／Ｄ変換しワークメモリ１０４に一時記憶し、さらに合計ワークメモリ１０５に一時記憶する。
２）同時に事前に記憶されているｎ−Ｘフレームの最初のサンプリングポイントのＲ、Ｇ、Ｂ、音声信号データをワークメモリ１０１から読み出しワークメモリ１０１と１０４のデータの差の絶対値を１０８に一時記憶し、さらに合計ワークメモリ１０９に一時記憶する。
３）次のサンプリングポイント以降Ｎサンプリングポイントまで同様に順次ワークメモリ１０４、１０５にデータを一時記憶するとともに、ワークメモリ１０５、１０９にはデータを加算し一時記憶する。
４）最後のＮサンプリングポイントのデータが書き込み完了時、ワークメモリ１０５、１０９の合計データをサンプリングポイント数Ｎで割り、ワークメモリ１０６、１１０に平均特徴要素データ９として一時記憶する。
５）同時に中心サンプリングポイント９のデータはワークメモリ１０４より中心近傍の１サンプリングポイントを選択しワークメモリ１０７に中心特徴要素データ９として一時記憶する。
６）同時に画面上の変化範囲の割合、変化範囲を求めるためにワークメモリ１０８の中から、データが０以外のサンプリングポイントを探し出し、そのサンプリングポイントの割合をＮを最大値とする４ｂｉｔ値でワークメモリ１１１に変化範囲特徴要素データ９として一時記憶する。
７）同時に変化の度合いの一つである変化速度を求めるためにワークメモリ１０９の４組のデータを合計（変化の大きさの合計）しワークメモリ１１１（変化したサンプリングポイント数）で除したデータを実映像コンテンツ再生時に発生する最大値を最大値とする４ｂｉｔデータでワークメモリ１１２に変化速度特徴要素データ９として一時記憶する。
【００８１】
以上１）から７）までのプロセスで抽出した特徴要素データ９を組合せしたものが１フレームの識別データの基本部分１１であり、これを情報抽出の元になる映像コンテンツのフレームと相互参照可能なようフレームごとに、識別データ１０に映像コンテンツの開始時刻を起点とする時刻情報３と、関連する情報を付与し、インデックス列登録部５６で記憶登録したものがインデックス列１２である。
【００８２】
先に説明のとおりこの時刻情報３は、連番または記憶媒体１９のアドレスそのもので、元になる映像コンテンツのそれぞれのフレームと相互対照とする構成であってもよい。
これにより、インデックス列１２を検索し目的のフレームを検出することにより元になる映像コンテンツ上のフレームの位置やその区間を特定することが可能になる。
更にこのインデックス列１２にタイトル情報５を付与し複数記憶登録することによりデータベース１８となる。
【００８３】
この識別データ１０ならびにインデックス列１２、そしてデータベース１８は、フレーム位置検出、同一フレーム検出、特定特徴フレーム検出、フレーム連動、フレーム同期のもとになる、本願発明の基本をなすものである。
【００８４】
本実施例では以上、フレーム前後の変化を含む画像信号、音声信号の特徴情報で、独立した１４種の特徴量をそれずれを４ｂｉｔ化しＢＣＤ等のコード化を行い識別データ１０としているが、特徴の種類ならびに分解能、コードともこれに限るものではない、アナログ系の場合、以下に詳しく説明をするように、アナログ誤差が発生するため分解能を上げる意味はあまりないが、相関をもたない多種の特徴要素データ９を組合せ構成させることが重要である。
【００８５】
一例として、本実施例では、画面全体の平均と、画面の中央部のサンプリングポイントを特徴要素データ９としているが、フレーム対角の上下、左右のサンプリングポイントを特徴要素データ９とする、または変化比較のフレームを複数にする、例えば、静止画で、無音声が頻繁に発生することなどを考慮して、通常は５フレーム先行するフレームとの比較とし、静止画で、無音声が続く場合など、５秒先行のフレームと比較するなどが有効である、これらの要素データの種類数と要素データの量子化ビット数による統計確率に関する詳細は後述する。
【００８６】
教育、医療、防犯、生産、ゲームなどの専門分野によっては、フレーム画面上の特定の部分の特徴を詳しく抽出したいなどのニーズもあり、この場合は当該範囲に複数のサンプリングポイントを設けるなど目的に合わせサンプリングポイントを決めることが出来る。
【００８７】
以上は図２の再生信号またはデータよりの識別データ作成部８７としての識別データ作成部５０およびインデックス列登録部の一形態である。
【実施例６】
【００８８】
図８に示すように、１つのフレームで１４種の独立した情報を４ｂｉｔデータとして持つことは理論的な確率統計上、１４種×４ｂｉｔで、２の５６乗となり、７２京以上の組合せ数となる。
後に説明する誤差吸収のための丸め込みをした後の４ｂｉｔデータは３ｂｉｔと概等価になり、１４種×３ｂｉｔでは、２の４２乗で理論的な確率統計上では、４兆以上の組合せ数となる。
【００８９】
先に示したように、家庭内等の通常の使用においては確率組合せ数が１兆（≒２の４０乗）以上（確率の場合は1／１兆以下）が保証出来れば、識別データ１０のデータ同士の重複（同一化）は回避され、識別データ１０は、後に詳しく説明する特定のフレーム以外、唯一無二性をもったデータとすることが出来るが、ここで重要な事は上記のような理論確率ではなく、実際の出現確率によるデータの唯一無二性であり、この唯一無二性を保証する上で大きく３つの重要事項がある。
【００９０】
その第１はそれぞれの、通常要素データ８、特徴要素データ９の要素データの量子化ビットデータのデコードデータである量子化データ（本実施例の場合０から１５までのデータ）の出現頻度の偏りである。
図９（量子化ビット数利用率判定）は1つの要素データのそれぞれの量子化データの出現頻度をもとにこの要素データの平均出現確率を数値化するものである。
表Ａは大数定理にもとづきそれぞれの量子化データが均等に出現している場合であり、表Ｂはそれぞれのデータの出現頻度にばらつきがある場合の例である。
表Ｂのような出現頻度の場合、それぞれの量子化データの出現頻度の差によって要素データは使用している量子化ビット数分の理論分解能をもてない結果となる。
表Ｃは表Ｂの出現頻度の大きい量子化データから順番に左から右に並び変えしたものである。
【００９１】
表Ｃの並べ替えした出現頻度分布の重心位置は、表Ａで示される理論重心位置より左側に偏移される。
この重心位置の意味するものは、出やすい量子化データ（重心の左側）と、出にくい量子化データ（重心の右側）の中間にある量子化データ、つまり平均的な出現頻度の量子化データを意味し、平均的な出現頻度の量子化データの出現頻度が理論出現頻度より低下（確率は上昇）する結果、この要素データの使用している量子化ビット数のデータ数（理論量子化ビット数）に見合う分解能が得られない結果となることを意味し、重心位置が左に偏移するほど量子化ビット数が低下するので、要素データのデータ分解能の尺度となる量子化ビット数の利用率とすることが出来る。
【００９２】
この量子化ビット数利用率を利用して当該要素データの等価データ分解能、つまり等価量子化ビット数を判定するにあたり、本例では量子化ビット数利用率係数の最高を１とし、この場合等価量子化ビット数は使用しているデータ数（理論量子化ビット数、この場合４ｂｉｔ）とし、量子化ビット数利用率係数が最低の０の場合は、等価量子化ビット数を１ｂｉｔと対応付けしている。（表Ｄ参照）
以上の量子化ビット数利用率係数は要素データの特徴抽出能力、特徴識別能力を判定する重要な指標になる。
使用しているビット数（理論量子化ビット数）をＡとし、量子化ビット数利用率係数をＸとすると、１つの要素データの等価量子化ビット数αは次の式で現せる。
【００９３】
（数１）
α＝（Ａ−１）×Ｘ＋１
表Ｄに示すように仮に４ｂｉｔからなる要素データの量子化ビット数利用率係数が０．８の場合、３．４ｂｉｔからなる理論（理想）量子化ビット数と等価であることを意味する。
【００９４】
またＮ個の要素データのそれぞれの理論量子化ビット数がＡ1、Ａ２、Ａ３・・・・ＡＮで、それぞれの量子化ビット数利用率係数がＸ１、Ｘ２、Ｘ３・・・・ＸＮの場合、この要素データを組合せした識別データの等価量子化ビット数、つまり総合等価量子化ビット数を、総合αとすると、総合αは以下の式で現せる。
（数２）
総合α＝｛（Ａ１−１）×Ｘ１＋１｝＋｛（Ａ２−１）×Ｘ２＋１｝＋｛（Ａ３−１）×Ｘ３＋１｝・・・・＋｛（ＡＮ−１）×ＸＮ＋１｝〕／Ｎ
【００９５】
要素データの量子化ビット数が同一な場合は単純にそれぞれの要素データの平均等価量子化ビット数を求めることにより、識別データ１０の全体の平均等価量子化ビット数を求めることが出来る。
【００９６】
以上の方法を用いることにより要素データのそれぞれの量子化データの出現頻度を一定期間実測することで簡単に、要素データごとのビット数としての平均出現確率や要素データ全体のビット数としての平均出現確率の判定をすることが可能になる。
【実施例７】
【００９７】
以上で分かるように、それぞれの要素データの量子化データに出現頻度の偏りがあることによって、確率上、実際に使用している量子化ビット数（理論値）と実際値に大きな差が生じてくる。
【００９８】
図１０（量子化データの出現頻度均等化）は要素データの量子化データの出現頻度の偏りを均等化して、量子化データの出現頻度の偏りによる、確率の上昇（悪化）を防止させるものである。
これまで説明の図７による実施例では画像音声とも４ｂｉｔのＡ／Ｄ変換部５２でデータを採取していたが、表Ａのように、これを８ｂｉｔ（２５６の量子化データ）でデータ採取して一定期間のシミュレーション結果による量子化データの出現頻度をもとに、量子化データの出現頻度を均等化するよう表Ｂのように４ｂｉｔ化してデータとしたものである。
この方法により４ｂｉｔ化されたそれぞれの要素データの量子化データの出現頻度はほぼ均等となるため、先に説明したけ確率悪化の影響を無視することが出来る。
このようにフレーム情報より要素データを直接採取する際のビット数を、実際に前記識別データの要素データとするビット数より多くし、要素データを採取した量子化データの出現頻度を均等化して前記識別データの要素データとする方法は要素データ選択の幅を拡大する。
但しＣ表のように、出現頻度の最大、最少に大きな差がある場合には、後に説明のアナログ誤差補正などが困難になるので注意が必要である。
【実施例８】
【００９９】
その第２は通常要素データ８および特徴要素データ９同士の相関つまり要素データ同士の出現相関度の把握である。
【０１００】
図１１（要素データ相関度判定）は要素データ同士の相関度を判定するための手法の一例を示したものである。
２組の要素データＸ、Ｙがそれぞれ４ｂｉｔ、１６の量子化データで構成される際、Ｘのデータの０から１５まで１６種、とＹのデータの０から１５まで１６種、計２５６通りで、説明上、大数定理にもとづく平均出現頻度を１０回とする２５６０回の試行を行いその組合せの出現頻度をマトリックス上にプロットしたものである。
この相関度判定を求めるためには、先に説明のとおり、１つ１つの要素データの量子化データの出現頻度が均等であることが前提である。
実際に要素データの均等化補正をかけた場合には均等化補正をした要素データのデータ、実際に均等化補正をかけていない場合はデータ上でこの均等化補正を行ったデータとして記載されている。
【０１０１】
表ＡはＸ、Ｙデータ間の相関がなく、均等化され、出現頻度がフラットな場合で、表Ｂはデータ同士が完全に相関（一致）している場合、表Ｃでは一部のデータ間で相関をもつ場合、を示している。
本例では、Ｘ、Ｙ２組の１６データが、それぞれ１０回ずつ出現することの理論値平均値１０と出現頻度の差を偏差として、この二乗を分散とし、１６データの分散を分散平均として、この平方根を二乗平均平方根としている（表ではＹ０のみ代表され示されているがＹ０からＹ１５まで全て同様）。
したがって、この二乗平均平方根は相関度が全くない表Ａの場合には０になり、表Ｂのように完全に相関する場合には３８．７３となる。
相関度の係数、相関度係数はこの３８．７３を最大値１（理論最悪値、完全に相関）として、最低値０（理論最良値、相関なし）としたもので、表Ｃの場合の相関度係数は０．１５である。
【０１０２】
以上の説明のように、識別データ１０を構成する複数の要素データから２組を取り出し互いのデータ同士の個別相関度係数をもとめ、複数の要素データの全ての組合せ、本例の場合の１４種の要素データの場合は１４から２つをとる９１の組合せ、の個別相関度係数の全体平均をとることにより、組合せした要素データの全体平均相関度の係数、全体相関度係数を求めることが出来る。
この全体相関度係数で、要素データを組合せして構成される識別データの組合せ分解能力、つまり等価組合せ数を判定するにあたり、本例では全体相関度係数の最低（最良で相関なし）を０とし、この場合組合せ数は使用している組合せ数（理論組合せ数、この場合１４組）とし、全体相関度係数が最大（最悪で完全に相関）１の場合は、組合せ数を１組として対応付けしている。
【０１０３】
例えば要素データが１４種で全体相関度係数が０（最良）の場合には、全ての要素データに相関がなく、全ての要素データの１４組の分解能が得られることを意味している。
一方要素データが１４種で全体相関度係数が１（最悪）の場合には、全ての要素データのデータ同士のデータが全く同一のデータとなり分解能は１組のみの分解能となることを意味している。
使用している要素データの組合せ数（理論組合せ数）をＢとし、全体相関度係数をＹとすると、識別データ全体の等価組合せ数をβとすると、βは次の式で現せる。
（数３）
β＝（Ｂ−１）×（１−Ｙ）＋１
【０１０４】
表Ｄに示すように仮に要素データが１４種で全体相関度係数が０．２の場合には完全に相関度のない１１．４組の理論（理想）要素データと等価な組合せ数となることを意味している。
この全体相関度係数はフレームをよりよく識別する能力、つまり識別データ１０の識別分解能を判定する重要な指標となる。
従がって要素データは最低限含める必要のある要素データをメインにして、補助的な要素データを選択する際、全体相関度係数が少なくなるよう補助的な要素データを選択し組合せする。
【０１０５】
以上説明の方法を用いることにより、要素データの互いの相関度を一定期間実測することにより簡単に識別データの組合せ数としての平均出現確率を判定することが可能となる。
なお、本例では説明のため試行回数を２５６０回で示しているが、実際には数時間分、必要により数日間の映像コンテンツのフレーム信号をサンプリングして映像コンテンツの内容によるデータの偏りをなくすことが重要である。
【０１０６】
以上の説明の２つの、量子化ビット数利用率係数による等価量子化データ数と、全体相関度係数による等価組合せ数により、識別データの全体の総合識別能力指数、平均出現確率を求めることが出来る。
先の説明の通り、
使用しているビット数（理論量子化ビット数）をＡとし、量子化ビット数利用率係数をＸとすると、１つの要素データの等価量子化ビット数αは次の式で現せた。
α＝（Ａ−１）×Ｘ＋１
またＮ個の要素データのそれぞれの理論量子化ビット数がＡ1、Ａ２、Ａ３・・・・ＡＮで、それぞれの量子化ビット数利用率係数がＸ１、Ｘ２、Ｘ３・・・・ＸＮの場合、この要素データを組合せした識別データの等価量子化ビット数、つまり総合等価量子化ビット数を、総合αとすると、総合αは以下の式で現せた。
総合α＝｛（Ａ１−１）×Ｘ１＋１｝＋｛（Ａ２−１）×Ｘ２＋１｝＋｛（Ａ３−１）×Ｘ３＋１｝・・・・＋｛（ＡＮ−１）×ＸＮ＋１｝〕／Ｎ
さらに使用している要素データの組合せ数（理論組合せ数）をＢとし、全体相関度係数をＹとすると、識別データ全体の等価組合せ数をβとすると、
β＝（Ｂ−１）×（１−Ｙ）＋１で示された。
よって要素データの総合等価量子化データ数を総合αとし、等価組合せ数をβとし、識別データの全体の分解能であり識別能力を示す、総合識別能力指数をγとすると、γは次式で現せる。
（数４）
γ＝総合α×β
したがって等価総合分解能＝２＾γ
以上の識別データの理論出現確率をＰとすると
（数５）
Ｐ＝１／（２＾γ）
【０１０７】
実例１として要素データの量子化データ利用率係数が平均で０．８の場合には３．４ｂｉｔと等価な要素データとなり、１４種の全体平均相関度係数が０．２の場合には１１．４組と等価の要素データの組合せ数となり、このような場合の等価総合分解能は１１．４組×３．５ｂｉｔ＝３９．９ｂｉｔで、約２の４０乗≒１兆通り、出現確率はその逆数となる。
【０１０８】
実例２として要素データの量子化データ利用率係数が平均でもし０．５の場合には２．５ｂｉｔと等価な特徴要素データとなり、もし１４種の全体平均相関度係数が０．５の場合には７．５組と等価の要素データの組合せ数となり、このような場合の等価総合分解能は７．５組×２．５ｂｉｔ＝１８．７５ｂｉｔで、２の１８．７５乗≒４４０，８７１通りとなり、理論値２の５６乗とは比較にならない確率まで悪化されたものになる。
実例１と実例２の差で理解出来るように２組の係数は指数的な意味をもつもので、この係数の大小により大幅に出現確率を左右することになる。
またこれがアナログ信号を変換して作成される識別データで誤差の補正が必要となる場合この確率はさらに上昇される。
【０１０９】
以上のように量子化データに強い出現頻度の集中がある場合や互いのデータ同士に強い相関がある場合には、要素データのビット数、および組合せ数に相当する組合せ確率とはならず無駄なデータとなり、識別データの識別能力を著しく低下させる結果になる。
当該フレームの特徴を総合的に現す要素データ、例えば画像、音声の平均値データは不可欠の特徴要素データとして、副次的に組合せをする要素データにおいては、先に説明の要素データ抽出諸元と、サンプリング間隔、データ処理方法、を適切に選んで相関度合いを低減させることが必要である。
またこれでも目標とする出現確率とならない場合には要素データを新たに追加する必要もある。
【０１１０】
先ほどの実例１の要素データの量子化データ利用率係数が平均で０．８、全体平均相関度係数が０．２の場合で、確率組合せ数を１兆以上とするには、
デジタル情報をもとにする要素データの場合、４ｂｉｔ構成で１５組の要素データ（７．５Ｂｙｔｅ構成）とすると、
等価量子化データ数は（３ｂｉｔ×０．８＋１ｂｉｔ）＝３．４ｂｉｔ
等価組合せ数は（１４組×（１−０．２）＋１組）＝１２．２組
等価総合分解能は３．４ｂｉｔ×１２．２組＝４１．４８ｂｉｔとなる。
先に示した１兆通り（≒２の４０乗）を満足させることが出来る。
【０１１１】
後述するがアナログ信号をもとにした要素データの場合にはアナログ誤差補正が必要となる、この場合１ｂｉｔをアナログ補正の対象とする場合、４ｂｉｔ構成で２０組の要素データ（１０Ｂｙｔｅ構成）として、上記平均量子化データ利用率係数が０．８、平均全体相関度係数が０．２、で３ｂｉｔ構成の要素データと等価になるので、
等価量子化データ数は（２ｂｉｔ×０８＋１ｂｉｔ）＝２．６ｂｉｔ
等価組合せ数は（１９組×（１−０．２）＋１組）＝１６．２組
等価総合分解能は２．６ｂｉｔ×１６．２組＝４２．１２ｂｉｔとなる。
先に示した１兆通り（≒２の４０乗）を満足させることが出来る。
以上のように簡単に必要とする要素データのデータ数や組合せ数を逆算することが可能となる。
【０１１２】
以上のとおり要素データのそれぞれの量子化データの出現頻度を一定期間実測し要素データごとのビット数としての平均出現確率や要素データ全体のビット数としての平均出現確率を判定する方法と、要素データの互いの相関度を一定期間実測することにより識別データの組合せ数としての平均出現確率を判定する方法と、により簡単に識別データの総合平均出現確率を判定することが可能となる。
【実施例９】
【０１１３】
これまでは識別データのそれぞれの要素データの量子化データの偏りと、要素データ同士の相関による、１フレームの識別データの平均出現確率をもとにさまざまな実例を示してきた。
最後に、最悪のケースの出現確率を検証して識別データの確率上の重複を究極的に低減するための検証方法を説明する。
要素データが先に説明の量子化データの均等化補正がなされていない場合、統計確率上、全ての要素データが、要素データの量子化データの中の、出現頻度が最も高い量子化データ同士の組合せとなる識別データの出現頻度が最大ものとなる。
従がって、この場合の組合せ確率を検証することにより、確率上最悪となる出現確率を予測して対策することが可能となる。
【０１１４】
図１２（最悪識別能力指数判定）は以上説明の要素データの最悪量子化データの組合せによる確率の判定例である。
Ａ表は本実施例にもとづく１４種類の要素データのそれぞれの量子化データの中で最も出現頻度の高い量子化データ（最悪量子化データ）をそれぞれＺとして選択して、それぞれのこの最悪量子化データの、理想出現頻度と実際の出現頻度の比を確率悪化率としてプロットし、この平均（本例の場合０．４５）を求めたものである。
従がってこの確率悪化率は、当該最悪量子化データの出現頻度とは反比例の関係にあり、１であれば最良値（理論値、この場合４ｂｉｔ）で、０であれば最悪値（この場合１ｂｉｔ）と対応付けする。
【０１１５】
この最悪量子化データ同士のデータで、互いの要素データ同士の相関度はこれまでのデータをそのまま使用することが出来る。
表B、表C、表、Dは先に示した要素データ同士の相関度を、先の図１１のシミュレーションによって採取された出現頻度データをもとにこの最悪量子化データのみに適応した場合である。
表Ｂは図１１で採取されたデータの、この量子化データに限定した組合せ、この場合９１組、でそれぞれの要素データごとの出現頻度を示している。
表Ｃは、これまでと同様、１０を理論値として偏差とし、表Ｄでこれを分散しこれを集計して、分散平均、二乗平均平方根とし、相関度係数（本例の場合０．１７）を求めたものである。
従がって、この平均確率悪化率をＣとし
最悪等価量子化データ数をＷαとすると
（数６）
Ｗα＝（Ａ−１）×Ｃ
同様に、この最悪の場合の相関度係数、最悪相関度係数をＺとし
最悪等価組合せ数をＷβとすると
（数７）
Ｗβ＝（Ｂ−１）×（１−Ｚ）＋１
よって最悪識別能力指数をθとすると、
（数８）
θ＝Ｗα×Ｗβ
以上の識別データの理論出現確率をＰとすると
（数９）
Ｐ＝１／（２＾θ）
【０１１６】
以上の式によって、本例の場合図１２に示すように、最悪識別能力指数の２５．３８が求められる、従がってこの場合、識別データの最も出易いデータは確率上、１／（２の２５．３８乗）の確率で出現することになり、理論値の出現確率を大幅に上回るものとなる。
適切なデータ量で識別能力の高い識別データとするのは要素データの選定と、必要に応じて量子化データの均等化補正等の処置が不可欠であり、出現の確率を一定値以下にする必要がある。
【０１１７】
以上のとおり識別データを構成する全ての要素データのそれぞれの量子化データの最も出現頻度の高い量子化データの出現頻度を測定する方法と、要素データの互いの最も出現頻度の高い量子化データ同士の出現相関度を測定する方法と、により簡単に識別データの最悪の場合の重複の確率である最悪出現確率を判定することが可能となる。
通常この最悪出現確率を１０００億分の１以下にするよう識別データを設計すれば多くのニーズに対応することが出来る。
通常このような極めて大きな確率を伴うデータの検証は極めて大量のデータの蓄積をまたないとこれらの出現頻度、確率の検証は出来ないが、以上の方式を利用することにより、それぞれの要素データの量子化データの出現頻度と、組合せされる要素データ同士の相関は極めて短時間の数時間分、必要により数日間のシミュレーション期間で求めることが可能になるので、後は簡単な演算式で識別データの識別能力を判定することが出来る。
【０１１８】
図９から図１２図に示すこの判定方法はゲームの当たり確率分析のシミュレーション等にも応用可能である。
以上のようなシミュレーションによって、目的に応じてデータサイズがコンパクトで、識別能力の高い要素データ、識別データとこれにもとづくインデックス列を短時間で選出することが可能である。
【実施例１０】
【０１１９】
識別データ１０を設計する上で、第３に重要なこととして、識別データ１０同士のデータの重複が避けられないフレームの対処である。
検索対象範囲内の映像コンテンツの識別データ１０をインデックス列１２として記憶登録するにあたり、過去に記憶登録された識別データ１０と新たに記憶登録する識別データ１０を比較してそのフレームまたはそのフレーム区間には、重複データの発生が確認された双方の識別データ１０およびその区間に連番データなど、その要因別に識別情報を付与することにより、当該検索対象範囲において識別データ１０の重複を回避してデータの唯一無二の保証をすることが出来る。
識別データ１０の重複は以下の示す４つの要因により発生する。
【０１２０】
本例ではｎフレーム先行するフレームとの比較を行い差分量を特徴要素データ９としているので、静止画で無音声（音声が利用できない場合は静止画のみ）のフレームが、このｎフレーム以上の期間連続する連続重複フレーム１４の場合、この範囲は識別データ１０が重複された区間となる。
図１３（連続重複データ判定部）に示すように、静止画で無音声が連続する連続重複フレーム１４は常に先行する１つ前のフレームのＲ、Ｇ、Ｂ、音声信号を比較し、変化するサンプリングポイントが一つもない場合はこれを連続重複フレーム１４として認識し、変化が出るまでの区間、連番データ付けを行い、図５に示すように、この連番データを、これらの重複を識別するための情報である重複データ識別情報１３の連続重複フレーム１４に書き込み、それぞれのフレームが連続重複フレームであることによる重複を識別可能にし、フレーム単位でのフレーム識別を可能としている。
以上のように過去（先行するフレーム）の識別データ１０と新規（現在のフレーム）の識別データ１０の変化の状態を比較することにより識別データ１０の重複を回避している。
【０１２１】
また、詳細を図１３の下段に示すように、再生が開始されるフレームがこのような連続重複フレーム１４である場合、または複数のフレームを対にして検索する場合などの場合には、当該連続重複フレームの連続時間を読み取り、以降の連続重複フレーム１４でない識別データ１０による検索する際、この連続時間範囲に相当する区間を検索することにより、検索を確実なものとすることが出来る。
【０１２２】
以上図１３の連続重複データ判定部４０は図２の重複データ判定部３９の一形態である。
【実施例１１】
【０１２３】
図１４（連続外重複データ判定部）は以上の静止画や無音声（音声が利用できない場合は静止画のみ）以外に起こる映像コンテンツ内の識別データ１０の重複データを判定しこれを回避させるものである。
先の連続重複フレームの場合は常に１フレーム前（過去）の識別データ１０と現在のフレームの比較により判定すればよいので容易に検出が行われるが、不特定な過去のフレームと現在のフレームの重複を検出するには以下のような手段が有効である、もちろんこの手法を先の連続重複フレーム検出に利用することも可能である。
【０１２４】
連続外重複データ判定部６５は、記憶媒体上にインデックス列１２とは別に用意され補助的に利用されるもので、識別データ１０の特徴要素データ９の幾つかの要素データの量子化データごと（図１４ではＲ平均、Ｂ平均で２組、２５６グループ）にグループ化されたメモリ構成となっており、特徴要素データ９の量子化データごとにグループ化し、識別データ１０を該当するグループに順次書き込むものである。
【０１２５】
それぞれの量子化データの出現頻度に大きな偏りがない場合には、このような構成にしておくことにより、識別データ１０を検索する際、該当するグループの識別データ１０のみの検索とすることが出来るので、概ね検索回数、検索時間とも量子化データの組合せ数（図１４では２５６組）分の１とすることが出来る。
【０１２６】
従がって大容量の記憶媒体であってもこのグループを増やし検索の範囲を限定することにより映像コンテンツの再生に追従してフレーム検索をすることが可能である。
以上のようにインデックス列メモリと併用して、検索対象範囲とフレーム検索時間に応じグループ検索可能な連続外重複データ判定部６５を用意することにより、フレーム再生時間に連動（リアルタイム）して過去に記憶登録した識別データ１０と新しく記憶登録する識別データ１０を比較して重複データを検出することが可能である。
【０１２７】
図１４に示すとおり、識別データ１０とそのコンテンツタイトル、とそのフレーム位置を一括して記憶することにより、検索対象範囲内の全ての映像コンテンツの識別データ１０をグループごとに一括して検索することが可能になっている。
【０１２８】
識別データ１０の重複は先に説明の、静止画や無音声（音声が利用できない場合は静止画のみ）のフレームが連続する以外、以下の３つの要因で発生する。
（１）ＣＭフレームと、連続放送番組の開始または終了時の定形フレームと、再放送フレームと、の繰り返し送出されるフレームにより発生する識別データ１０の一定区間同士が重複データとなる区間
（２）複製（コピー）された映像コンテンツにより発生する識別データ１０の一定区間同士が完全に同一で重複データとなる区間
（３）偶発的に類似する他のフレームを同一データとして抽出することにより発生する識別データ１０同士が重複データとなるフレーム
により識別データ１０のデータ同士が重複する。
【０１２９】
以上の重複データは、図１４に示すように連続外重複データ判定部６５に、識別データ１０を生成するたびに、重複フレーム判定メモリ６５に識別データ１０ならびに必要情報を順次記憶登録するとともに、すでに記憶登録してある過去の識別データ１０を検索判定して、複数のインデックス列１２上の重複する識別データ１０を検出すことができる。
【０１３０】
テレビジョン放送番組のＣＭや再放送フレームなどのフレームは連続して重複フレームが繰り返される繰り返しフレームとして自動検出し、番組局情報、タイトル情報、放送される時刻情報、およびその期間から、それがＣＭか（通常ＣＭは１５秒の整数倍の時間）、再放送か、さらには完全に同一となる複製（コピー）コンテンツか、のいずれかを自動判定させることも可能である。
【０１３１】
これらにもとづき、双方のインデックス列１２上の識別データ１０にこれらの重複を識別するための情報としての重複データ識別情報１３の、繰返しフレーム１５、または複製フレーム１６、偶発同一フレーム１７、のいずれかに連番データ等、これを識別しこれを回避するための情報を付与しておき、この情報を重複データ判定部３９で参照出来るようにしておくことにより、重複相手先の識別データのコンテンツタイトルやフレーム位置の検出が可能となる。
【０１３２】
最近のテレビジョンなどの映像装置には通常２チャンネルのチューナとデコーダが搭載されている、空いているチューナ、デコーダを利用して、先の重複データ判定部３９に利用する放送局の一定期間（例えば週間）で放送される番組全体を記憶しておくことによって、全ての番組のＣＭを事前に探し出しておき、新しく放送される番組から、この区間を自動的に検出し、他の放送に切り替えるなど、映像コンテンツを直接もたない映像装置でもインテリジェンスな映像装置としての応用が可能となる。
以上は図２の繰返しフレーム自動判定部９３の一形態である。
【０１３３】
以上のように意図的要因により重複するフレーム以外の、組合せ確率要素だけでは避けられない、偶発的に発生する、類似した特徴のフレームを前記説明のとおり重複データと判定した場合には、偶発同一フレーム１７に識別情報を付与し、当該検索対象範囲内で重複を回避し唯一無二化を保証したデータとすることが出来る。
このような構成とすることは識別データ１０の確率組合せをいたずらに高め、データサイズを肥大化させることなく適切なデータ長とすることが出来るため、映像コンテンツの再生に同期連動させての検索や、高速なデータ検索を可能とするものである。
【０１３４】
以上図１４の連続外重複データ判定部６５は図２の重複データ判定部３９の一形態である。
【０１３５】
検索時間の詳細に関しては後述するが、以上のように前記データベースの検索補助データとして、前記識別データを構成する少なくても１つの前記要素データの量子化データの組合せで構成される量子化データのグループごとに識別データを記憶登録したメモリを用意し、このメモリを用いて要素データの量子化データのグループ別の識別データを検索する方法を併用して映像コンテンツのフレームの検索をする方法は重複する識別データ１０の検索以外にもさまざまな識別データ１０を高速で検索するための検索補助データ部９１として利用できる。
【実施例１２】
【０１３６】
以上説明してきた通り、識別データ１０ならびにインデックス列１２はさまざまな検索条件で、検索をかけさまざまなフレームの検出をするものであるが、本例の場合、これらのデータはアナログ信号をもとにしてＡ／D変換したものであって、データ同士を一致検出する際に避けて通れない、信号レベル誤差、微小ノイズ、最小ｂｉｔのエラーによるアナログ誤差を考慮する必要がある。
アナログをデジタル化したデータ同士のデータを比較する上で、お互いの元のアナログ量のデータの誤差やノイズを吸収する方法の一つとして、一方のデータに一定の幅を与えて一致をとる事が有効である。
【０１３７】
本実施例では、識別データ１０のデータ量を低減し高速検索可能にするためアナログ誤差補正を特徴要素データ９のＬＳＢ（最少量子化ビット）のみで実現できるよう、全ての特徴要素データ９を４ｂｉｔで抽出している。
本実施例の場合、Ｒ、Ｇ、Ｂ、音声それぞれを４ｂｉｔで変換しており、その１ｂｉｔは１／１６、１ｂｉｔ当たり６％程度の重みを有している。
従がって、１ｂｉｔの丸め込みをすることにより互いのデータのアナログ誤差による数％程度の画像信号、画像信号の誤差は解消できることになる。
【０１３８】
図１５（検索用インデックス列のメモリ配列）は以上の内容を実現するために、検索対象インデックス列６２を検索する際にワークメモリにインデックス列１２を事前に＋補正、−補正をかけ、補正なしの元データと並列にしてそれぞれのフレームがフレーム位置に対応するよう検索用ワークメモリに補正データを展開して検索対象インデックス列６２とすることにより、連続する検索、検出を高速にするものである。
【０１３９】
本実施例では図１５に示すようにＲ、Ｇ、Ｂ、音声それぞれの特徴要素データ９の１４種を独立させ、それぞれの４ｂｉｔデータに最小ｂｉｔの＋補正、−補正をかけた２組のデータと元データを含み並列に配列した３組のデータとして並列に一致検出を行い、アナログ誤算の上限から下限までの誤差補正を最少処理で実現させたものである。
従って本実施例の場合組合せ確率上では４ｂｉｔデータを３ｂｉｔデータにコンバートしたデータとほぼ等価である。
【実施例１３】
【０１４０】
図１６（インデックス列検索部、識別データ検出部）は図７のインデックス列検索部、識別データ検出部の詳細を示すものであり先に説明の並列に配列した３組のデータを一致または近似検出することにより誤差を含んだデータ同士の検索を行うものである。
検索対象インデックス列６２と、比較基準となる識別データ６０とお互いの特徴要素データ９同士を並列に計１４回一致検出部６６で一致検出をさせ、ＯＲ論理回路出力が１フレーム区間で１４回とも出力されると１４進カウンタの桁上げ信号が出力され一致または近似検出がなされる、これによってアナログ誤差は吸収補正され目的のフレームが検出される。
以上は図２のインデックス列検索部５４、識別データ検出部５５の一形態である。
【０１４１】
一方、放送番組やＤＶＤの１つの映像コンテンツは特別なものを除き、最大で２〜３時間程度であり、２時間映像コンテンツを例にすると、２時間×６０分×６０秒×３０フレーム＝２１６，０００フレームとなる。
本実施例の識別データ１０の特徴要素データ９部分のデータによるデータサイズは一つのフレームで４ｂｉｔ×１４組＝５６ｂｉｔ＝７Ｂｙｔｅサイズである。
この場合２時間番組は２１６，０００フレームで合計約１．５ＭＢｙｔｅとなり、その他の重複データ識別情報、フレーム関連情報を含めても２ＭＢｙｔｅ程度のデータサイズで十分に収まる範囲であり、データ圧縮も可能であるのでデータ送受の負担も少ない。
最近普及されてきたＢＤ（ブルーレイディスク）は片面１層で約２５ＧＢｙｔｅのメモリ容量を持ち、デジタルＢＳ放送をＭＰＥＧ（ＤＲ）で約２時間分記憶することが出来る。
１万分の１以下に圧縮されたインデックス列１２が、これから説明する映像コンテンツの視聴性、録画装置、再生装置の操作性、編集性に大きな効果をもたらす意義は大きい。
データサイズ、検索時間などに大きな制限がない場合にはデータ数を多くし、さらに
加価値の高いインデックス列とすることが可能である。
【０１４２】
先に説明の図１６は論理回路を汎用ディスクリート部品を用いたハードウエア回路で一致または近似検出回路を構成させたものであるが、その構成はハードウエアに限定されるものではない。
通常の検索は識別データの基本部分１１の特徴要素データ９部分の検索が主体であり、検索条件に適合する場合に、これに続き重複データ識別情報１３ならびに相互連動情報２１を参照することになるので、基本部分の要素データ、通常要素データ８、特徴要素データ９部分の検索時間について説明する。
１４種類の要素データであるので、１フレームごとに２スペース程度のインターバルをおき、０．１μ秒のインターバルで２時間映像コンテンツ全てを検索し、検出する場合、０．１μ秒×１６回（１４回一致演算＋２回インターバル）×２１６，０００フレーム≒３５０ｍ秒≒１０フレーム時間となる。
【０１４３】
後述するが、一つの識別データ１０をもとに２時間番組の全体をこの程度の検索時間で検出することが出来るのであれば、通常の使用においては十分である。
通常映像装置の映像コンテンツの再生、早送り、巻き戻し、一時停止、停止などの操作において映像コンテンツの停止、一時停止などのフレーム位置はインデックス列に記憶しておくことが出来るので、途中からの再生開始時にはこのフレーム位置周辺の識別データ１０を参照することにより、これらの操作による検索時間をほとんど必要としないで再生フレームを見つけることも可能である。
このような環境が利用できない場合も想定して、以降この３５０ｍ秒（０．３５秒）を検索時間の総量（検索時間の最大値）の実例として説明する。
【０１４４】
図１６で示す論理回路をカスタムロジックで構成し、０．０１μ秒程度のインターバルで２時間の映像コンテンツを検索させる場合の検索時間は３５ｍ秒である、さらに特殊な用途向けに１４組の特徴要素データ９を１クロックで演算できるよう並列処理させることにより、３ｍ秒以内での検索も可能となる。
【０１４５】
以上で本願発明の識別データ１０とインデックス列１２の作成ならびに検索の基本概念の説明を終え以下、これらを利用した応用例を説明する。
【実施例１４】
【０１４６】
先ず、図１７、図１８をもとに同一フレームを検出するための方法を説明する。
【０１４７】
図１７（同一フレームの検出概要）で示す通り、もとになるインデックス列６３のフレームＡならびに、三つのフレームで指定されるフレームＢ対をもとに、検索対象インデックス列６２の中から同一フレームを探し出そうとするものである。
【０１４８】
このようにフレームを対にして検出するのは、前述の通りＣＭなどの場合にＣＭの開始位置と任意の中間点、そして終了点の３フレームを登録しこれらに名前付けしておけば、一回の登録で他の関連番組のＣＭの開始位置から終了位置までをまとめて検索し、検出することが出来からである。
また、特殊な映像フレームで、静止画や無音状態が連続するような場合でも、これらの対指定を適切にすることにより、検出の精度を上げ、確実に目的のフレームを選び出すことが出来るからである。
【０１４９】
図１７をもとに、フレームＡの場合の検出方法を説明する。
もとになるインデックス列６３の中から指定された識別データ１０を検索基準データ６０として、検索対象インデックス列６２の開始のフレームからフレームごとに一致または近似を検出して、検索対象インデックス列６２の中から同一フレームを検索し検出する。
検出されたら、当該フレームのアドレスならびにフレーム位置データ３５を読み取り記憶する、また重複データ識別情報１３を確認し連続重複フレームの連番データを確認し、連続重複フレームであればその範囲を記憶しておく。
最後のフレームまで一致または近似を検索し検出して完了となる。
従って検出に要する検索時間の総量（検索時間の最大値）は２時間程度の映像コンテンツで前述の通り０．３５秒程度である。
フレームのアドレスやフレーム位置データ３５が分かれば、当該フレームは映像コンテンツの開始のフレームから起算する時間のどの時刻、何番目のフレームであるかなどのフレーム位置またはフレーム区間６は相互参照可能である。
【０１５０】
フレームＢ対の検出については、Ｔ１タイミングのフレームに関しては上述の通り、検索対象インデックス列６２の最初のフレームから同一フレームを検索し検出する。
以降Ｔ２のタイミングのフレームに関しては、Ｔ１で検出した同一フレームからＴａ時間後に相当するフレーム位置の識別データ１０を直接確認し一致または近似検出を行い一致または近似することを検出すればよい、Ｔ３タイミングのフレームに関しても同様である。
検出されたフレームが連続重複フレーム１４であれば、図１３に示す通り、その時間を加味して比較することは云うまでもない。
従って、検出時間は独立した一つのフレームを探すのとほとんど変わらない。
最初の一つの同一フレームの検索、検出に多少の時間がかかっても、フレーム単位の時間で紐付けされる以降のフレームの検出時間が極めて短いのがインデックス列１２の特徴である。
言うまでもなく以上の同一フレームの検索は、映像コンテンツ自体のフレームが同一であることを意味している。
【実施例１５】
【０１５１】
図１８（同一フレーム検出部）は、複数のフレームを対にして検索することは先に説明の通り、検出の精度を高めるにも極めて有効であり、信頼性の高い検出が可能になる。
以上をもとになる画面を確認しながらＴ１、Ｔ２、Ｔ３フレームをそれぞれ設定しフレーム名称を登録し、これら３つのフレーム対を別な映像コンテンツの中から探し出し表示させた例である。
【０１５２】
以上図１７、図１８は図２の同一フレームの検出２５の一形態である。
【０１５３】
以上のように、いくつかの識別データ１０を対にして複数フレーム条件でフレーム検出をする場合、その組合せ確率は天文学的な数字となり、グローバルな映像コンテンツの中から特定の同一フレームを検索、検出することも可能で、たとえば大規模な映像コンテンツサーバと、インターネットサイトの超大な映像コンテンツのデータベースの中から、違法にコピー（複製）された映像コンテンツを探し求めるなどの場合にも利用可能である。
一例として、インデックス列が用意された２時間番組１０、０００本の映像コンテンツの中から一組のフレームを検出する場合でも、先に述べた検索時間を一本０．３５秒で３５００秒＝１時間、一本３ｍ秒とすれば３０秒で検索可能となる。
以上のように、１映像コンテンツ当たり、いくつかの識別データ１０を検索して同一のデータがあれば、その映像コンテンツを詳細に検索して完全に複製された映像コンテンツとして判定することが可能である。
以上は図２の複製判定部９４の一形態である。
【実施例１６】
【０１５４】
以上の実施例の識別データ１０には、当該フレームの画像、音声の特徴と、当該フレーム前後のフレームの画像、音声の特徴が多種含まれており、これらの中からいくつかの特徴要素データ９を選択し基準値を定め、組合せ条件を指定することにより、さまざまな映像コンテンツの中から特定のフレームを探し出すことが可能になる。
一例として、映像コンテンツの中からフレーム変化（カット点）を検索する例を以下に示す。
【０１５５】
先に述べたフレームごとの特徴抽出のうち先行するフレームとの画像信号、音声信号の変化にかかわる特徴情報である
１）ｎフレームのＸフレーム先行するｎ−Ｘフレームとの明暗、色調、音量レベルの差分量（変化の大きさ）を示す特徴要素データ９
２）ｎフレームのＸフレーム先行するｎ−Ｘフレームと比較し画面全体の内、どのぐらいサンプリングポイントが変化しているかを示す変化範囲の特徴要素データ９
３）ｎフレームのＸフレーム間のサンプリングポイント平均の動きの速さを示す変化速度の特徴要素データ９
以上３種の特徴要素データ９はいずれも、フレーム間の変化をとらえたデータであり変化の大きさ、広さ、速さの度合いを示す特徴データである。
【０１５６】
図１９（フレーム特徴データ設定部）はフレームの特徴検出の例としてフレームの変化点（カット点）を検出する例である。
図１９の上段に示すように、本実施例はフレームごとにそのＸフレーム先行するフレームと変化の度合いを検出しているので、フレームＡ群からＢ群に急激に変化する時など、ｎフレームからｎ＋Ｘフレームまでは、上述の特徴要素データ９は３種ともそれまでのフレームと比較し大きな値となる。
本例では差分特徴要素データ９であるＲ、Ｇ、Ｂ、音声信号の４種を合計し４で除し４ｂｉｔ化して、以上３種の特徴要素データとも４ｂｉｔとし、その変化の度合いに応じフレーム変化点（カット点）の検出をする場合の実施例を示したものである。
【０１５７】
図１９の下段左は３つの特徴要素データ９がいずれも７を超えた場合をフレーム変化点（カット点）とし、これらの３つの要素のＡＮＤ論理回路により実現させたものである。
図１９の下段右は、３種の特徴要素データ９の変化量の閾値と演算式を任意に設定できるようにしたもので、変化の仕方を、大きい／普通／小さい、広い／普通／狭い、速い／普通／遅い、の３段階とし、それぞれの組合せを任意に設定させることにより、変化が少ない、ディゾルブカットやワイプカットや、細かいフレームの変化かから大きなフレームの変化の検出にも対応できるフレーム変化点の検出の例であり、指定した検索条件で一つの映像コンテンツの中で該当するフレーム変化点（カット点）の件数ならびに前後で一番近いフレーム位置を表示させている。
【０１５８】
以上変化点を検出する手法を示したが、同様に識別データ１０の個別の特徴要素データ９にもとづく、画像特徴検索指定条件、音声特徴検索指定条件、変化特徴検索指定条件、およびこれらの組合せされた条件、により要素データごとのデータレベルの範囲を指定して検索することにより映像コンテンツの中から画像の特徴と、音声の特徴と、変化の特徴、たとえば音の出ていないフレーム、暗い画面のフレーム、黒画面のフレーム、画面全体の動きが激しく、赤っぽく、音声のレベルが高い画面、されにこれが複合されたフレームなど、効率的に目標とするフレームの位置、フレームの区間を検出することができる。
これらの範囲を指定し検索をする特徴検索機能は要素データを特徴要素データ９として構成させることにより実現出来るもので、要素データが通常要素データ８のみで構成される識別データの検索例えば、同一データ、のみを対象としたフレーム検索よりその応用範囲を大幅に拡大するものである。
【実施例１７】
【０１５９】
図２０（フレーム特徴検索の場合のインデックス列検索部、識別データ検出部）は先に説明の図１６を以上のようなフレーム特徴検出など検索データの範囲を指定して検索するよう拡張したもので、図７に示す特定条件設定部５７として複数の検索データを上限値と下限値で指定し、これを検索条件切り替え部６８で選択し、補正した検索対象インデックス列の１フレーム当たりのお互いの特徴要素データ９同士を並列に計１４回範囲検出部６７で検出をさせ、ＯＲ論理回路出力が１フレーム区間で１４回とも出力されると１４進カウンタの桁上げ信号が出力され目的のフレームが検出される。
順次検索条件切り替え部を切り替え同様な検索を行い様々なフレームの特徴を検出することが可能である。
ここで、上限値と下限値を同一のデータとする場合には先の図１６による検索内容と同様である。
【０１６０】
以上図１９、図２０は図２のフレーム特徴の検出２７の一形態であるとともにインデックス列検索部５４、識別データ検出部５５の一形態である。
【実施例１８】
【０１６１】
図２１（再生高度化支援装置ならびに次世代映像装置）は本願発明のフレーム検索用データ作成装置、フレーム検出装置のさまざまな特徴を、再生高度化支援装置７５として汎用の録画装置、再生装置７１に適用した例であり、その全体構成は次世代映像装置８０の例として新しい録画装置、再生装置７１の一例を示すものである。
以下にその概要を示す。
【０１６２】
録画装置、再生装置７１には表示装置７０ならびに必要信号が接続されており、この画像信号、音声信号５１を再生高度化支援装置７５が利用する構成となっている。
アプリケーションソフトウエア７２は、再生高度化支援部７５全体を制御するとともに検索、検出された識別データ１０の相互連動情報２１をもとにさまざまな連動制御を実行するものである。
【０１６３】
録画装置、再生装置操作部７６は利用者の操作にもとづき、リモコン信号送信器７４を通じて、録画装置、再生装置７１に必要信号を送るとともに、インデックス列１２の相互連動情報２１の設定やデータ登録などの編集を行うものである。
【０１６４】
インデックス列１２をもとにして録画装置、再生装置７１とリモコン制御のフィードバックをとるための手法として、録画装置、再生装置７１の画像信号、音声信号５１をもとに識別データ作成部５０で識別データ１０を生成し、事前にインデックス列登録部５６により記憶登録されたデータベース１８内のインデックス列の中から選択された、インデックス列を検索対象インデックス列６２をインデックス列検索部５４で検索しその画像信号、音声信号のフレームのフレーム位置を検出するものである、この動作は再生に連動して繰返し実行される。
また検出したフレーム位置に付与された相互連動情報２１をアプリケーションソフトウエア７２で、外部接続機器７３、ならびにリモコン信号送信器７４で、録画装置、再生装置７１を操作するものである。
以上のようにアプリケーションソフトウエア７２は常に録画装置、再生装置７１の再生フレームのフレーム位置を監視できるので従来のリモコン信号送信器のオープンループ系の制御とは大きく異なる高度なフィードバック制御が可能となる。
【０１６５】
通信部８４はインターネット回線を通じインターネット情報をブラウザし、さらには後述するインターネット上の映像コンテンツの事業者が提供するインデックス列１２をダウンロードするものである。
【０１６６】
映像、音声出力部８３は操作、設定、編集画面などの表示やインターネット情報や音声をテレビジョンおよびディスプレイに出力するものである。
【０１６７】
外部接続機器７３は再生高度化支援装置７５に接続され再生フレームに連動して制御、操作される、本装置以外の図３に示される映像装置４１、マルチメディア機器４４、外部機器４５のいずれかである。
もちろんこの制御、操作信号で録画装置、再生装置７１自体を直接制御、操作するようにすることも可能である。
【０１６８】
ランダムアクセス制御信号８５は録画装置、再生装置の映像コンテンツを直接ランダムアクセスするための信号である。
この信号が用意されることにより、映像コンテンツの編集、再生、操作のさまざまな場面で連動をとり映像コンテンツを様々な形で利用することが可能になる。
これについては後述する。
【０１６９】
以上図２１は図２の連動制御部９２の一形態である。
【０１７０】
本実施例の場合、放送番組を録画する際、自動的にインデックス列１２が生成され、すぐに効率的な編集や高度な視聴を可能にしている。
【０１７１】
以上の再生高度化支装置７５を装備した録画装置、再生装置７１が次世代映像装置８０であり本願発明の機能を中心に記載したことは言うまでもなく、その他の機能を具備することを妨げるものではない。
【０１７２】
再生高度化支援装置７５は、映像装置として現在市販されている汎用の録画装置、再生装置７１に付属し一連の動作をさせるアダプタとして用意することが可能である。
また汎用パソコンに識別データ作成部５０、インデックス列登録部５６ならびにインデックス列検索部５４をアダプタとして装着し再生高度化支援装置７５を実現させることも可能である。
これは先に説明の図３の映像装置本体に連携する映像装置の１つとして、識別データを作成しインデックス列を登録する手段を有する映像装置用アダプタ９０の一例である。
このアダプタのインデックス列１２は連携する映像装置の完成されたインデックス列の受給部８９でインデックス列１２を受け取り利用される。
【実施例１９】
【０１７３】
図２２（連続フレーム検出）はこの図２１の接続構成で録画装置、再生装置７１から出力される再生信号をもとに事前に登録されている検索対象インデックス列６２を検索するときの連続フレーム検出の概要を示している。
【０１７４】
録画装置、再生装置７１は再生開始または早送り、巻き戻し、スローサーチなどの動作が完了し再生状況になった場合に正規の画像、音声信号を再生する。
この再生開始された、再生信号をもとにして、識別データ作成の元になる元映像コンテンツのフレーム位置を連続検出する場合、識別データの構成が先行するフレームとの比較を行っている要素データを含む場合、再生開始からＸフレームまでの識別データ１０は不完全なものとなる。
従がって図２２に示すように通常、ステップ１は再生が開始されＸフレーム以降のフレームが最初の検索に利用可能となるので、図２２に示すＴ１のタイミングで識別データ１０を比較するための検索基準データ６０として、検索対象インデックス列６２の最初から順次フレームごとに検索し、同一となるデータの識別データを探し出すことによって識別データ作成の元になる映像コンテンツのフレーム位置を検出し、以降は連続して再生されるフレームから抽出される識別データを読み取り、該当するフレーム位置の識別データ１０と同一データであることを確認すればよい。
図２２のように一定時間Ｔｂをおいて、正確に同期するＴ２、Ｔ３のタイミングで、以降の識別データ１０が、所定のフレーム位置の検索対象インデックス列６２上の、識別データ１０と同一であるかどうかを確認検出することで、フレーム位置の連続検出が可能である。
【０１７５】
従ってＴａは装置検索処理能力で決定するものの、以降Ｔｂは毎フレームごとに実施させることも可能であるが、隣接するフレームでは連続フレームとなる頻度も多くなることを勘案し、数フレームごとに同期し該当するフレームの一致検出を繰り返せばよく、通常、再生の一時停止や早送り、巻き戻しなどのトリックプレー操作が行われない期間継続することが出来る。
【０１７６】
先に述べた先行するフレームとの比較データによる再生開始時の識別データ１０の不完全による課題も簡単に補完可能である。
最初に抽出された識別データが不完全な場合、識別データ１０の不完全でない要素データ部分のデータによって、対象とするインデックス列を検索して該当するいくつかの識別データを選択しておき、必要な間隔後、新たに得られた完全な識別データ１０が与えられた際、先に選択しておいたいくつかの識別データ１０のフレーム位置より、必要とした間隔のフレーム時間に相当するフレームのみを検索することにより、この完全な識別データ１０の検索時間を極めて短いものとすることが可能である、従がって比較するフレームの間隔が、この検索時間この場合０．３５秒≒１０フレーム分に相当するので、１０フレーム以内の間隔のフレームとの比較により構成される識別データの場合は検索時間をほとんど影響なくすることが出来る。
【０１７７】
また、再生、一時停止、早送りが頻繁に繰り返される場合でも、最後の再生信号をもとに再生フレーム位置を記憶しておくことにより、検索の範囲や時間を大幅に削減することも可能である。
このような条件が得られなくても、Ｔ１フレームを検索し検出するに当たり、最大０．３５秒程度以降、高精度で、高信頼性で、リアルタイム性の高い識別データ作成の元になる映像コンテンツのフレーム位置の同期検索が可能となる。
【０１７８】
以上のフレーム位置の連続検出方法を用いることにより、予めインデックス列１２の目的とするフレームの識別データ１０に先に説明したさまざまな装置例えば、映像装置、マルチメディア機器、外部機器等のいずれかを連動制御するための情報を、相互連動情報２１として識別データ１０に付与しておき、前記識別データ作成の元になる元映像コンテンツを再生の際、上記映像コンテンツの再生に連動し、このインデックス列を同期検索し、上記映像装置、マルチメディア機器、外部機器等を制御するための情報、相互連動情報２１を検出することによって映像コンテンツの再生フレームに連動して対象とする映像装置、マルチメディア機器、外部機器等のいずれかを連動制御させることが可能になる。
【０１７９】
以上の図２２は図２の連続フレームの検出２６の一形態であるとともに連動制御部９２の一形態である。
【実施例２０】
【０１８０】
図２３（再生高度化支援装置の操作画面）は図２１で示す、録画装置、再生装置操作部７６の一例を示すものであり、これを利用することにより、さまざまな高機能のリモコン信号送信器７４の操作が可能になる。
図２３に示す、目的時間設定７７は録画装置、再生装置操作部７６に目的時間を指定し、リモコン信号送信器７４に制御信号を送り録画装置、再生装置７１を操作する。
新操作機能ボタン７８は早送り、巻き戻しを時間指定し、リモコン信号送信器７４に制御信号を送り、録画装置、再生装置７１を操作する。
同一フレームサーチ７９は現在視ているフレームと同じ、他のフレームを探すよう指定し、リモコン信号送信器７４に制御信号を送り、録画装置、再生装置７１を操作する。
連動情報８１は映像コンテンツに連動するインターネット情報等を視るための操作をする。
詳細検索８２は図１８に示すフレーム検出の操作を選択する操作機能である。
このような高度な操作が実現できるのも、録画装置、再生装置７１とリモコン信号送信器７４の制御信号間で同期フィードバックループを構成させ、常に再生されるフレームの位置、時刻を認識することが出来るからである。
【実施例２１】
【０１８１】
次世代の録画装置、再生装置のリモコン機能についてはさまざまなアイデアがあるものの現在市場で利用されているのは赤外線リモコン方式と無線によるリモコン方式である。
無線リモコンは指向性のないリモコンとして最近の一部の装置に装備され始めているものの大半は赤外線リモコンである。
現在定着しているＤＶＤなどのリムーバルディスクの録画装置、再生装置や近年急速に普及してきたＨＤＤ録画装置と、上述の赤外線リモコンを用いて、録画同期機能を実現させるための具体的手法を説明する。
【０１８２】
図２４（録画装置、再生装置動作時間概要）は手動で操作する再生ボタンをもとにリモコン信号が発射され、発射信号を録画装置、再生装置が受信し、再生され、一定時間経時後に再び手動で操作する停止ボタンをもとにリモコン信号が発射され、発射信号を録画装置、再生装置が受信し、再生停止するまでのタイムチャートである。
図中、シーク時間はＨＤＤヘッドのアクセス時間であり、ＤＶＤ等のリムーバルディスクの場合はキャリッジ移動時間である。
リモコンが赤外線の場合、１リモコン信号は規格で１０８ｍ秒となっている。
録画装置、再生装置を自動コントロールする上で、遅延時間等が一定なものはこれを見越してコントロールすればよく、重要なのは、繰り返し実行する際の時間のばらつきである。
従って、現在市場で流通している録画装置、再生装置のこれらの実力性能にあった応用方法を検討する必要がある。
【実施例２２】
【０１８３】
図２５（録画装置応答時間実測試験）は、パソコンに連動可能な赤外リモコンを用い、現在市場で広く利用されているＨＤＤ録画装置の応答時間実測試験結果一覧表である。
当該機の場合、早送りは５段階であり、公称１．３倍、１０倍、３０倍、７０倍、２００倍モードを備えている。
再生の場合、再生ボタン信号を発射後０．５秒、１．０秒、２．０秒、５．０秒のインターバルをおいて一時停止ボタン信号を発射した場合の実際の再生時間を計１０回、合計４０回試験したものである。
結果として、平均して０．２７秒実際に再生される時間が指定した時間より短くなっているものの、ばらつきの範囲は０．１秒の範囲である。
このデータは非常に重要であり、０．２７秒間圧縮される再生時間と０．１秒間のばらつきを考慮して自動制御を行う必要がある。
【０１８４】
同様に高速モードについては、再生ボタン信号発射から順次早送りボタン信号を各1秒ごとに発射し順次高速モードへステップアップして行き、目的の高速モードにおいて１秒、２秒、３秒、１０秒の４種のインターバルをおいて一時停止ボタン信号を発射した場合の実際の早送り移動時間を各１０回、それぞれ合計４０回試験したものである。
試験結果が示すとおり、従来の磁気テープ方式の録画装置、再生装置と比較し送り量の直線性は極めて高精度で保証されていることが分かる。
【０１８５】
添付はしないが、巻き戻しにおいても同様の性能であり、リムーバルディスクの動作についてもほぼ同等な性能である。
また幾つかの他機種の録画装置の試験においては、早送りモードや、スローサーチの機能に差異が見られるものの遅延時間やそのばらつきは同程度の性能である。
従って、それぞれの録画装置、再生装置のそれぞれの速度での遅延時間や最大ばらつきを考慮し、そのばらつきを保証する制御を行えばよい。
【実施例２３】
【０１８６】
図２６（目的フレームサーチ概要）にもとづき、前述の応答時間を実測したＨＤＤ録画装置を使用する場合の操作の代表例として図２３の目的時間設定７７に示す目的時間のフレームへ移動する場合の自動制御の概要を説明する。
以下の説明および図２６中の再生、早送り、巻き戻し、一時停止の表記ならびに記号は説明を省くがリモコンから自動で発射される信号を意味している。
【０１８７】
例えば一時停止している現在フレームより１５分前の目的時間フレームにフレーム移動する際、アプリケーションソフトウエアは識別データ１０をもとにしたフィードバック情報により常に現在フレーム（再生中、一時停止中いずれも）のフレームアドレスを認識しているので、現在フレームと１５分前のフレームアドレスを演算し、最高速モード、２００倍モードで、約４．５秒（４．５秒×２００倍は１５分相当）間巻き戻しし目的時間に接近し、実際の時間を確認するため再生時間が圧縮される時間、０．２７秒ならびに最大ばらつき時間０．１秒よりやや多めの、約０．５秒間再生にする。
再生にして得られた実際のフレーム位置を確認する。（図２６のステップ１参照）
【０１８８】
再生にして得られた時間が例えば目的時間に比較し４５秒手前であった場合、３０倍モードで約１．５秒（１．５秒×３０倍は４５秒相当）早送りし目的時間に接近し、上記同様、実際の時間を確認するために再生にする。
上記同様再生にして得られた実際のフレーム位置を確認する。（図２６のステップ２参照）
【０１８９】
再生にして得られたフレーム位置が例えば目標時間に比較し３秒１０フレーム（３．３３秒）手前であった場合、再生モードのまま、目標位置までの時間（３．３３秒）から実際にかかった検索、検出時間（約０．３５秒）を差し引き、圧縮補正時間（０．２７秒）を加算し結果として３．２５秒の演算を行い、この時間経過後一時停止する。（図２６のステップ３参照）
これにより、数フレームの精度で目的時間のフレームに到達可能となる。
【０１９０】
ステップ１からステップ３までの時間は１０秒程度である。
目的時間のフレームが一分以内の近傍であれば５〜６秒の時間で指定する目的時間のフレームに到達可能である。
全ては最終段階のステップ３での演算で精度は決定する、これらの精度は利用する録画装置、再生装置の特性に依存するところであり、学習機能を利用することなどにより最大ばらつき０．１秒精度（３フレーム）でのフレーム検出も可能で実運用上は支障のない精度範囲である。
【０１９１】
スローサーチの場合、音声信号は出力されなく、前後のフレームとの時間的相関も崩れるため、先に示す識別データ１０そのものでの比較検出はできない、スローサーチなど特徴データが少なく、特徴データの変化が少ない場合に高精度で指定されたフレームを確実に求めるための一例として、スローサーチの場合のデータとして予め検索対象インデックス列６２より目的フレームの前後の１、２秒間のデータをピックアップしておき、識別データ１０の音声ならびに、差分データを除く、平均と中心のＲ、Ｇ、Ｂデータの６組のデータで、変化がみられるフレームを事前に把握し、スローサーチ後この識別データ１０が来たことをトリガーとして、目的のフレームで一時停止させることにより確実に一致するフレームを探し出すことが可能となる。
【０１９２】
以上目的時間フレームを自動で探す例を示したが、先に説明の図２３に示す新しい機能ボタンは、直接時間を指定して、早送り、巻き戻し、スローサーチをするもので映像コンテンツを精度よく短時間で編集するために極めて有効である。
【０１９３】
以上の図２６は図２の映像コンテンツアクセス部８６の一形態である。
【実施例２４】
【０１９４】
以上は現在市場に流通している録画装置、再生装置７１をリモコン信号送信機７４を利用して制御する場合の例を説明したが、本格的な次世代向け汎用録画装置、再生装置を実現する手法として、インデックス列１２の相互連動情報２１を録画装置、再生装置７１の再生、早送り、巻き戻し、一時停止、録画、停止、入力切替、その他一連の操作制御を直接当該装置の制御に直接結びつけることにより、付加されたフレームの相互連動情報２１により、録画装置、再生装置内の複数の映像コンテンツを渡り歩くような再生制御や、テレビジョンの入力切替を自動的に行い、複数の録画装置、再生装置を連動させて視聴するなどの、高度な再生制御が可能となる。
【０１９５】
先に説明の図２１のランダムアクセス制御信号８５は、インデックス列１２に付与された連動情報２１をもとに、録画装置、再生装置７１の記憶媒体のＦＡＴ（ファイルアロケーションテーブル）を直接アクセスし所定の制御を実現させるものである。
この信号を用いて複数の映像コンテンツの中からハイライトシーンなどを選択し切れ目なく連続的に再生する場合、通常のＤＶＤの場合のランダムアクセスタイムは１５０ｍ秒程度、高速のＨＤＤの場合１０ｍ秒台であるので、録画装置、再生装置はこれらを保証できる操作制御を行えばよい。
【０１９６】
図２７（複数映像コンテンツにまたがるランダムアクセスの概要）は映像コンテンツＤ、Ｂ、Ａの４個所の指定フレーム、ｎ±０からｎ＋Ｚフレームまでを自動的に連続し再生する場合のタイムシーケンスを示すものであり、図中、それぞれ、ｎ＋Ｚのフレームで他の番組へジャンプする場合、上述のランダムアクセスの必要時間を保証する、ｎ＋×フレームのフレームを検出することにより次に指定されたフレームのトラックにアクセスを開始し順次バッファーメモリに記憶しておき最後のフレーム、ｎ＋Ｚのフレームを検出することによりバッファーメモリに記憶された新しいフレーム、ｎ±０フレームの再生を行うものである。
再生系のみならず、テレビジョンの入力切替や、音声を制御させることも可能であり、これらのフレームを後述する映像コンテンツライブラリにプレイリストとしてインデックス列１２の相互連動情報２１に登録設定することにより、映画のハイライトフレームや、スポーツのハイライトシーン、さらには、自分で撮影したビデオのお好みのシーンを結合させ切れ目なく再生するなどの高度な視聴が可能となる。
【０１９７】
このランダムアクセス方法を採用することにより、たとえば一つの映像コンテンツで一度ＣＭフレームを検出することにより、他の映像コンテンツの同一フレームを検索し再生するのに必要な時間は検索時間とアクセス時間を含めても１秒以内で実現でき、以降再生される他の映像コンテンツの同一ＣＭをすべてジャンプして視聴することや、録画時に同一ＣＭを検出して録画を一時中断するなど録画条件の設定にも利用可能になる。
以上のように映像コンテンツをアクセスして、再生されるフレームを連続検出し、識別データを監視する方法は連動制御として幅広く利用可能である。
これまでの説明はＨＤＤ記憶媒体、リムーバブル記憶媒体の例で説明をしてきたが近年急速に大容量化、低コスト化されている半導体メモリ記憶媒体においても利用可能である。
【０１９８】
以上の図２７は図２の映像コンテンツアクセス部８６の一形態である。
【実施例２５】
【０１９９】
最近の家庭用ＨＤＤ方式録画装置においては、記憶容量が１ＴＢｙｔｅに達するものもありさらに拡大化される傾向である。
記憶される映像コンテンツのボリュームは数百時間、数百タイトルと極めて巨大化している、これらの映像コンテンツを有効に利用するにも映像コンテンツのデータ管理は重要である。
図２８（映像コンテンツフレームアノテーション）はインデックス列１２の応用例の１つである。
インデックス列１２を利用して映像コンテンツのタイトル情報５別にフレーム単位のアノテーション、つまり、必要とするフレームに情報を与えて、フレーム検索、フレーム編集、フレーム再生、フレーム操作、を目的とするデータであり、映像コンテンツごとのインデックス列１２に文字情報４６としてフレームアノテーション情報４８をフレーム関連情報２０として付加したものである。
【０２００】
このような構成の映像コンテンツのフレームアノテーションを利用することにより、フレームアノテーション情報４８を閲覧し、フレームサーチ７９を実行し、視たいところのみダイジェストで視る、フレームに連動してインターネット情報やＣＭの時間帯での情報提供、あるいは特定のフレームにおいて照明やフラッシュをコントロールする、特定のフレームから別の映像コンテンツの指定フレームにジャンプするなどのフレーム編集、とこの編集にもとづくフレーム操作が実現できる。
また文字情報を含むフレームアノテーション情報４８から、特定の文字を検索することにより、当該文字に対応する映像フレームを検索し、その部分のみを視聴することも可能となる。
【０２０１】
このように、フレームごとの識別情報をもったデータベース構成のフレームアノテーションはタイムコードをもとにするフレームアノテーションに比べて効率的で確実なフレームの検出と編集を可能にする。
以上は図２のフレームアノテーション検索部９８、フレームアノテーションアクセス部９９の一形態である。
【実施例２６】
【０２０２】
これまでの実施例ではインデックス列１２を、デジタル系、アナログ系いずれの録画装置、再生装置にも標準装備されている通称アナログ信号をもとに、フレーム単位の識別データ１０として特徴抽出、検出する方法を示したが、デジタル系の場合の例としてＭＰＥＧ圧縮データ等から得られる画像データ、音声データをもとにして、フレーム単位の情報抽出ならびに情報検出を行い、本願発明に示した応用例を実現させることが可能である。
【０２０３】
デジタルデータはさまざまな圧縮手法を用いてデータの圧縮がなされている。
画像の場合は一般的に、１フレーム内のブロック単位でのフレーム内圧縮（空間圧縮）としてＤＣＴ（離散コサイン変換）、フレーム間圧縮（時間圧縮）としてフレーム間予測、さらにはデータの出現頻度にもとづくエントロピー符号化などが代表的なものであり、フレームごとにこれらの圧縮（エンコード）がなされ画像データストリームとして送受される。
また音声の場合には音声帯域をサブバンドに分割して聴覚心理符号化などの圧縮手法により圧縮（エンコード）された音声データストリームが上記画像データと多重化され映像データストリームとして送受される。
通常このエンコードされた画像、音声データはデータの伸張（デコード）をすることにより原信号に復元され表示出力、音声出力される。
これらのデジタル映像コンテンツからインデックス列１２を作る場合、再生される信号をもとにして特徴抽出したデータから識別データ１０を作りこれを記憶登録するのが一般的であるが、高速でインデックス列１２を作成する場合にはこれらの画像データ、音声データを伸張（デーコード）することなく、圧縮データから直接データを抽出してこれを通常要素データ８として利用することも可能である。
通常この場合、通常要素データ８の要素データは特徴を示すデータとはならない。
【０２０４】
図２９（デジタルデータによる要素データの抽出例）はデジタル放送で使用されているＭＰＥＧ圧縮データから、デコード（伸張）することなく直接要素データを取得する場合の例を示すものである。
画像データは、１フレームの画像をブロック単位（８ピクセル×８ピクセル）でＤＣＴ（離散コサイン変換）によるフレーム内圧縮と、１ＧＯＰ（グループオブピクチャ＝１５フレーム）を１組としてフレーム相互のフレーム間圧縮、さらにはハフマン符号化などのエントロピー符号化が施されて、フレームごとに圧縮データとして記憶されている。
これらのフレームごとのデータの複数のブロックから、ＤＣＴデータを採取しＤＣＴデータの最初のデータ、つまりＤＣ成分を抽出しハフマン符号化を復号することによって、当該フレームの輝度データ、色差データとすることができる。
Ｉピクチャはフレーム内圧縮だけのものであるので、これらの輝度データ、色差データは特徴データとして利用することも出来る。
Ｐピクチャ、Ｂピクチャはフレーム間圧縮されたデータであり、データの変化があったブロックのみが対象となるため、一定のレベル以上の変化となるブロックの位置（Ｎｏ）とそのレベルを抽出しこれを要素データとする。
これらのＰピクチャ、Ｂピクチャのデータは通常要素データ８とすることは可能であるが特徴要素データ９とするのは困難である。
【０２０５】
音声データは、音声帯域をサブバンドで分割しそれぞれを、視聴覚心理符号化にもとづきＰＣＭコード化しこれをＭＤＣＴ（変形離散コサイン変換）し、さらにハフマン符号化されたものとなっている。
従がって、ハフマン符号化を復号したそれぞれのサブバンドごとのＭＤＣＴ値の最初のレベルデータ（ＤＣ成分）を利用することが出来る。
この音声データは視聴覚心理符号化されたものであるため特徴要素データ９とするのは困難である。
【０２０６】
以上のように、特徴検索には不向きであるが、画像データ、音声データから直接、要素データを抽出する方法の一例を説明した、このように圧縮データをデコード（伸張、再生）せずに要素データを得ることは、識別データ１０の抽出の時間、インデックス列１２の抽出の時間を大幅に短縮することが可能となるからである。
例えばこの方法を使用することにより、既に出来上がっている大量の映像コンテンツのデータを一旦再生（デコード、伸張）させることなく、インデックス列１２を作成しフレーム検索をかけることが出来るからである。
以上のような方法で過去の映像アーカイブスのインデックス列１２を含めて検索可能なシステムを構築することにより、また新しい映像コンテンツの検索とその応用が期待出来る。
以上は図２に示した非再生データよりの識別データ作成部８８の一形態である。
【実施例２７】
【０２０７】
図３０（インデックス列のバリエーション）はインデックス列のバリエーションの例であり、図のＡは識別データ１０の要素データの組合せの変形である、この例では組合せ数を増やす例として、比較用のフレームを差分Ａ、差分Ｂ２枚としてそれぞれ独立した変化に関する要素データをもったものである。
【０２０８】
図のＢはサンプルポイントＡ点、Ｂ点の要素データを追加したものである。
全体のデータ数を増やさないようにＡ点、Ｂ点いずれにおいても一定のルールにもとづき、識別情報が不足するフレームやその範囲、特定なフレームに限定して付与したり、数フレームごとに識別能力の高いデータとするなどその要素データの構成内容を変化させることも可能である。
【０２０９】
図のＣは識別データに、他の認識機能から得られる、音声認識、文字認識、顔認識、スマイル認識をフレーム関連情報２０として付与した例である。
このようにほかの認識機能により当該フレームの音声やテロップさらには人の顔、最近のデジタルカメラで利用されている人の笑顔を認識する機能と本願発明を組合せすることにより、さらにさまざまな効果が生み出される。
これらの機能が先に述べた映像コンテンツのフレームアノテーションに活用出来れば、その応用は図り知れないものとなる。
【０２１０】
インデックス列１２のデータ量を少なくするために、例えば５フレームごと、またはＩピクチャのみ（１５フレームごと）を識別データ１０とするなど、識別データ１０を一定の割合で間引きしてインデックス列１２とすることも可能である。
このようにインデックス列１２を間引きする場合、最初に比較される識別データ１０で該当するフレームがない場合、続くフレームの識別データ１０で連続して比較検索することにより該当するフレームを検索すればよい。
フレーム位置検出精度が低下するものの、間引きしたインデックス列１２であるため検索データは短いが検索の回数が増えるので検索時間の総量（検索時間の最大値）は変わりない。
【０２１１】
反対に検出の精度を高めるために、複数フレーム分の識別データ１０をグループ化して検索基準とする方法は先に説明の通りである。
【実施例２８】
【０２１２】
インデックス列１２のデータ量を少なくするために、それぞれの要素データごとにフレーム間で比較し、変化のないフレーム期間をＲＵＮレングス係数３１として圧縮することが有効である。
【０２１３】
図３１（インデックス列の圧縮例）は識別データ１０の要素データをフレーム間データ圧縮する例である。
フレームにおける信号またはデータは一定期間同一となる場合が多いことを利用して本例では繰返し期間を１５フレームとし、その最初のフレームを起点とし同一信号レベルや同一データとなるフレーム期間をＲＵＮ３１で指定し、その期間のレベルをＬＥＶＥＬ係数３２として指定したものである、表の空欄部分は上記ＲＵＮレングス３１係数の期間同一のデータとなるためデータは不要となる、以上のようにＲＵＮレングス係数とＬＥＶＥＬ係数３２を利用することにより、ＲＵＮレングス係数３１の分データは増えるものの、フレーム間で連続するデータの確率の多い画像に関するフレーム情報から抽出される要素データのデータを効率よく圧縮することが可能となる。
データの記憶、送受の際にはこのように圧縮されたデータとしておき、検索の際はこれを解凍して使用することにより、メモリ数、データ転送の負担を低減することができる。
【０２１４】
識別データ１０を再生に合わせたオンライン信号またはデータをもとに作成する際、利用出来る信号は以下の入出力を利用することが可能である、
（１）アナログ画像出力信号の場合には、コンポジット信号（Ｙ／Ｃ混合）と、Ｓ映像信号（Ｙ／Ｃ分離）、コンポーネント映像信号（Ｙ／Cb／Cr）と、Ｄ端子信号（Y／Pb／Pr）と、のいずれかから得られる、輝度信号、色信号、色差信号の複数の信号
（２）アナログ音声出力信号の場合には、ステレオ信号またはマルチチャンネル信号の少なくても１つ以上の信号
（３）デジタル出力の場合には、ＩＥＥＥ１３９４（通称アイリンク)またはＨＤＭＩ（ハイ-デフィニションマルチメディアインタフェース）信号
（４）識別データ専用信号またはデータとして映像装置本体が出力する信号またはデータ。
以上は映像装置本体４２自身またはこの装置と通信回線で連携する映像装置４３のいずれでも利用可能であり、無線によるデータの送受も可能である。
以上は図２の再生信号またはデータよりの識別データ作成部８７の一形態である。
【０２１５】
一方識別データ１０を非再生、オフラインで作成する場合に利用出来るデータは
映像装置内部に記憶された映像コンテンツデータおよびリムーバルディスクとして搭載されたメディアの映像コンテンツデータである、フレームごとのＭＰＥＧ、ＡＶＩ、DｉｖＸ形式などのフレーム圧縮データである。
以上は図２の非再生データよりの識別データ作成部８８の一形態である。
【０２１６】
また作成完了したインデックス列１２は、
（１）他の装置から共有ファイルとしてデータの供給を受ける
（２）他の装置から通信手段によりデータの供給を受ける
（３）他の装置からＵＳＢメモリやメモリカード等のメモリ媒体によるデータ交換手段によりデータの供給を受ける、ことが出来る。
これらの場合他の装置はインデックス列１２を作る手段のみだけで、作成完了したインデックス列１２を受け取った装置が検索を行いさまざまな目的に使用する場合も可能である。
以上は図２の完成されたインデックス列の受給部８９の一形態である。
【０２１７】
また識別データ１０ならびにインデックス列１２の標準化を行い
（４）映像コンテンツ事業者により放送電波または通信回線を通じてインデックス列データの供給を受ける
（５）映像コンテンツ事業者により映像コンテンツと同一のリムーバル記憶媒体に記憶されたインデックス列データの供給を受ける
以上の手段によって映像装置に取り込みこれを利用することも可能である。
このように映像コンテンツ事業者がインデックス列を供給するような形態が出来れば、例えば野球番組を録画した番組の中からダイジェスト部分のみを視聴してもらう、ＣＭの場面では関連する製品のインターネットホームページを案内するなど、事業者のニーズによる新しいさまざまな応用形態が考えられ、各種のマルチメディアと映像コンテンツが真に融合した新しい映像文化、放送文化の創出が期待できる。
以上は図２の完成されたインデックス列の受給部８９の一形態である。
【０２１８】
フレーム検索用データ作成装置、フレーム検出装置の機能をパソコンに組み込んだ時の応用例１として映像装置から出力される画像信号、音声信号をパソコンで取り込みパソコンで識別データならびにインデックス列を自動作成しインデックス列を記憶登録しておくか、映像装置内に記憶登録されたインデックス列を映像装置が共有ファイルとしたインデックス列を利用し、このパソコンに赤外線リモコン信号発射機を取り付けることにより、このパソコンを図３に示す連携映像装置４３である、録画機、再生機などの映像装置の高度な制御、編集を目的とした、遠隔編集装置や遠隔制御装置（リモコンを含む）とすることが可能であり、専用機とすることも可能である。
このパソコンを遠隔編集装置や遠隔制御装置とすることにより、さまざまなフレームの検索とこの結果にもとづくさまざまな映像コンテンツの編集、操作が容易に実現出来る。
また通常の赤外線ボタン式リモコンでは苦手な文字入力や、複雑な編集や制御をさせることが可能となる。
通常の場合は赤外線ボタン式リモコンを使用し、高度な編集、制御の時のみこのパソコンとすることが出来る。
今後の新しい映像装置においては赤外線による遠隔制御以外、無線、有線での制御も可能である。
以上の応用例はフレーム検索用データ作成装置、フレーム検出装置である本願発明が解決しようとする課題の具体的テーマの１の適用実施例である。
【０２１９】
フレーム検索用データ作成装置、フレーム検出装置の機能をパソコンに組み込んだ時の応用例２として上記同様のインデックス列に音声、音楽や画像（写真）や、編集情報などの文字情報４５、そしてＵＲＬ指定したインターネット情報４７などのマルチメディアを連動するための情報を付与しておき、映像装置から出力される画像信号、音声信号から得られる識別データを比較基準データとしてこのインデックス列１２を連続検出することにより、図３記載のマルチメディア機器４４として、映像コンテンツのそれぞれのフレームに、音声、音楽や画像（写真）や、編集情報などの文字情報４５、そしてＵＲＬ指定したインターネット情報４７などのマルチメディアを映像コンテンツのフレームに連動させ閲覧する、外部機器４５としてパソコンに接続された照明、フラッシュ、カメラ、ビデオカメラ、プリンタ、等あらゆる目的の機器を連動する、ことが可能となる。
以上の応用例はフレーム検索用データ作成装置、フレーム検出装置である本願発明が解決しようとする課題の具体的テーマの２の適用実施例である。
【０２２０】
パソコンを以上のように活用する場合の１例として、映像装置本体４２はデータベース１８を共有ファイルとしてパソコンと共有することにより、インデックス列１２を映像装置本体４２のみならずパソコン双方で効率的に利用、活用することが可能になる。
これまでいくつかのインデックス列の利用例を説明してきたが、これ以外の応用例を紹介する。
【０２２１】
特徴要素データ９を使用した識別データ１０を検索し検出された、黒画面、音無し画面、変化点（カット点）などの特徴をもつフレームならびに、自動判定されたＣＭや再放送フレームの開始位置、や終了位置、のフレームなどから必要なものを選んで、これをチャプタマークとして利用することが出来る。
以上は図２のチャプタマーク作成部９５の一形態である。
【０２２２】
同様に特徴要素データ９を使用した識別データ１０を検索し検出された、黒画面、音無し画面、変化点（カット点）などの特徴をもつフレームならびに、自動判定されたＣＭや再放送フレームの開始位置、や終了位置、のフレームなどから必要なものを選んで、これを種類別に時系列表示することにより、映像コンテンツの全体から細部に至るまでのフレームの特徴、種類とその位置を視覚的に認識可能となり、これによりフレーム探しに多くの時間と労力を必要とした映像コンテンツのフレーム編集を極めて効率よく高精度で実施することが出来る、
以上は図２の検出フレーム時系列表示部９６の一形態である。
【０２２３】
以上のような時系列表示を確認し、例えば表示されたフレームの近隣のフレームを指定して、指定したフレームの識別データ１０そのものを読み出すことや、特徴として表示することが出来る。
このようなフレーム検索はオフラインで高速に実施することが出来るので映像コンテンツの詳細な編集に有効である
以上は図２の指定フレームの検出２８の一形態である。
【０２２４】
以上のように、タイムコードとは異なり、さまざまな応用が可能な映像コンテンツのフレームデータベースであるインデックス列を一貫活用することによって映像装置や映像を対象とする専門機器の構成を簡素化し、低コストで、多目的で、付加価値の高い商品を実現させることが可能になる。
【０２２５】
映像装置からタイムコードを送受出来る映像装置にあってはフレームの位置検索をさらに短くするために識別データに映像コンテンツのタイムコードを併用することも考えられる、この場合は映像コンテンツのタイムコードと等価なデータを付与すればよい。
【０２２６】
また識別データを抽出して目的のフレームを検出した後、インデックス列（データベース）に記憶登録しないテンポラリ（一時的なデータ）な利用方法も考えられる。
【０２２７】
本実地例の機能を実現するための、装置、部品、組立て技術は説明する必要もなく汎用映像装置、汎用パソコンで流通している装置、部品、組立て技術であり、さまざまなアプリケーション向けに低コストで応用できるものである。
本願発明の多くは家庭内ニーズに対応して説明したものであるが、最適な識別データ、インデックス列を作るための方法も確立されているので放送局、番組制作企業等のプロ向けニーズと、さらには教育向け、医療向け、防犯向け、生産向け、ゲーム向け、などの映像機器に本願発明の方法、機能、装置を応用することも可能である。
【０２２８】
インデックス列をインデックス列検索部と、前記識別データ検出部で検出し統計的なデータとして活用することもできる。
例えば特定シーンの出現回数と、出現時間と、出現比率と、等はいずれの要素データをもとにした識別データのインデックス列により検索し集計し解析可能である。
例えば映像を利用するゲーム機器にインデックス列を利用することにより、どのような画像でどのように遊んだかを記憶するゲームプレイヒストリーを作り、このゲームプレイヒストリーはゲームそのものに利用することも可能であるとともに、このヒストリーを分析してゲーム性を解析するなど多目的な利用が可能である。
これらの場合はいずれの要素データの場合でも可能である。
また識別データの全部または一部が特徴要素データで構成される場合には映像コンテンツ全体または部分の、平均画像特徴と、平均音声特徴と、平均変化特徴と、が解析可能で例えば自作ビデオの編集などで再生される映像コンテンツの全体や一部の画面が暗い場合、色調が狂っている場合、音声が小さい場合など、自動画像補正、自動音声補正をするなどの編集に利用することなども可能である。
以上は図２の統計データ利用部９９の一形態である。
【産業上の利用可能性】
【０２２９】
本願発明のフレーム検索用データ作成装置、フレーム検出装置は以上のような映像装置そのもの以外にも映像を利用する教育機器や医療機器、防犯機器、生産（ＦＡ）機器などの専門分野で、識別データならびにインデックス列を利用し、さまざまなフレームの特徴、フレーム内の部分的な特徴を抽出して、カメラ、ビデオカメラ、ビデオ、ブザーを連動させたりするような応用にも適用可能である。
以上は図３示す本願発明のデータベースの利用例の一形態である。
【符号の説明】
【０２３０】
１映像コンテンツ
２フレーム
３時刻情報
４タイムコード
５タイトル情報
６フレーム位置または区間
７要素データ
８通常要素データ
９特徴要素データ
１０識別データ
１１識別データの基本部分
１２インデックス列
１３重複データ識別情報
１４連続重複フレーム
１５繰返しフレーム
１６複製フレーム
１７偶発同一フレーム
１８データベース
１９記憶媒体
２０フレーム関連情報
２１相互連動情報
２２任意の情報
２５同一フレームの検出
２６連続フレームの検出
２７フレーム特徴の検出
２８指定フレームの検出
２９その他の利用
３０検索条件設定部
３１ＲＵＮレングス係数
３２ＬＥＶＥＬ係数
３３フレームデータアドレス
３４映像コンテンツフレームデータ
３５フレーム位置データ
３６メタデータ
３９重複データ判定部
４０連続重複データ判定部
４１映像装置
４２映像コンテンツを記憶または搭載した映像装置（映像装置本体）
４３映像装置本体に連携する映像装置（連携映像装置）
４４マルチメディア機器
４５外部機器
４６文字情報
４７インターネット情報
４８フレームアノテーション情報
４９統計データ情報
５０識別データ作成部
５１画像、音声信号
５２Ａ／Ｄ変換部
５３識別データ抽出部
５４インデックス列検索部
５５識別データ検出部
５６インデックス列登録部
５７特定条件設定部
５８サンプリングポイント
５９中心サンプリングポイント
６０検索基準データ
６１記憶登録されたインデックス列
６２検索対象インデックス列
６３もとになるインデックス列
６５連続外重複データ判定部
６６一致検出部
６７範囲検出部
６８検索条件切り替え部
７０表示装置
７１録画装置、再生装置
７２アプリケーションソフトウエア
７３外部接続機器
７４リモコン信号送信器
７５再生高度化支援装置
７６録画装置、再生装置操作部
７７目的時間設定
７８新操作機能ボタン
７９フレームサーチ
８０次世代映像装置
８１連動情報
８２詳細検索
８３映像・音声出力部
８４通信部
８５ランダムアクセス制御信号
８６映像コンテンツアクセス部
８７再生信号またはデータよりの識別データ作成部
８８非再生データよりの識別データ作成部
８９完成されたインデックス列の受給部
９０映像装置用アダプタ
９１検索補助データ部
９２連動制御部
９３繰返しフレーム自動判定部
９４複製判定部
９５チャプタマーク作成部
９６検出フレーム時系列表示部
９７フレームアノテーション検索部
９８フレームアノテーションアクセス部
９９統計データ利用部
１０１ｎ−×フレームサンプリングポイントデータワークメモリ
１０２ｎ−×フレームサンプリングポイント合計データワークメモリ
１０３ｎ−×フレームサンプリングポイント平均データワークメモリ
１０４ｎフレームサンプリングポイントデータワークメモリ
１０５ｎフレームサンプリングポイント合計データワークメモリ
１０６ｎフレームサンプリングポイント平均データワークメモリ
１０７ｎフレーム中心サンプリングポイントデータワークメモリ
１０８｜（n−×）−n｜サンプリングポイント差分データワークメモリ
１０９｜（n−×）−n｜サンプリングポイント差分合計データワークメモリ
１１０｜（n−×）−n｜サンプリングポイント差分平均データワークメモリ
１１１変化範囲データワークメモリ
１１２変化速度データワークメモリ

【特許請求の範囲】
【請求項１】
音声が利用できる映像コンテンツの場合は画像情報と音声情報、音声が利用できない映像コンテンツの場合は画像情報、のフレーム情報から抽出される情報単位ごとのデータである複数の要素データを抽出し、映像コンテンツ上の互いのフレーム同士のデータの重複を避け、映像コンテンツ上の任意の１フレームのデータを固有のデータとするよう上記要素データを複数連結し組合せして構成される映像コンテンツの１フレーム当たりの識別データを作成する識別データ作成部と、
この１フレーム当たりの識別データに必要とするデータ検索のための情報を付与し識別データ作成の元になる映像コンテンツの全てのフレームと時系列上相互対照なデータ列として記憶登録し１映像コンテンツ当たりのフレーム検索用のインデックス列を構成するインデックス列登録部と、
を具備することを特徴とする映像コンテンツのフレーム検索用データ作成装置。
【請求項２】
前記インデックス列登録部は、前記インデックス列に映像コンテンツのタイトル情報を付与し、複数のインデックス列を対象としたデータベースとすることを特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項３】
前記識別データ作成部は、前記識別データに使用されている全ての前記要素データの量子化ビットのデコードデータであるそれぞれの量子化データの出現頻度と、全ての要素データ同士の出現相関度と、を測定し検索対象範囲内の識別データのデータ同士の最悪の場合の重複の確率である最悪出現確率を１０００億分の１以下とするように構成された識別データとすること特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項４】
（１）前記音声が利用できる映像コンテンツの場合は静止画で無音声、前記音声が利用できない映像コンテンツの場合は静止画、となることにより発生する前記識別データが重複データとなる区間
（２）コマーシャルメッセージフレームと、連続放送番組の開始または終了時の定形フレームと、再放送フレームと、の繰り返し送出されるフレームにより発生する前記識別データの一定区間同士が重複データとなる区間
（３）複製された映像コンテンツにより発生する前記識別データの一定区間同士が完全に同一で重複データとなる区間
（４）偶発的に類似する他のフレームを同一データとして抽出することにより発生する前記識別データが重複データとなるフレーム
以上（１）から（４）のいずれかの要因で識別データのデータが重複するフレームの双方の上記識別データにそれぞれの要因ごとに、重複を回避するための情報を付与する重複データ判定部を更に具備することを特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項５】
前記識別データ作成部は、前記要素データの全てまたは一部を、音声が利用できる映像コンテンツの場合は画像特徴情報と音声特徴情報、音声が利用できない映像コンテンツの場合は画像特徴情報、のいずれかの前記フレーム情報から抽出される特徴情報を特徴要素データとして抽出し組合せ構成した前記識別データとすることを特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項６】
前記識別データ作成部は、
（１）コンポジット信号（Ｙ／Ｃ混合）と、Ｓ映像信号（Ｙ／Ｃ分離）、コンポーネント映像信号（Y／Cb／Cr）と、Ｄ端子信号（Y／Ｐｂ／Pr）と、のいずれかのアナログ画像信号
（２）ステレオ信号と、マルチチャンネル信号と、のいずれかのアナログ音声信号
（３）ＩＥＥＥ１３９４またはＨＤＭＩ（ハイ-デフィニションマルチメディアインタフェース）のデジタル信号
（４）識別データ専用のデータまたは信号
以上（１）から（４）のいずれかの信号またはデータを前記フレーム情報とし映像コンテンツの再生（オンライン）に合わせ連続して前記識別データを作成することを特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項７】
前記識別データ作成部は、
映像コンテンツを記憶した記憶媒体またはリムーバル記憶媒体として搭載された記憶媒体上の映像コンテンツのフレーム圧縮データをもとにしたデータを前記フレーム情報とし非再生（オフライン）で前記識別データを作成することを特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項８】
請求項６または請求項７により作成完了した前記インデックス列を、
（１）他の装置から共有ファイルとしてデータの供給を受ける
（２）他の装置から通信手段によりデータの供給を受ける
（３）他の装置からメモリ媒体によるデータ交換手段によりデータの供給を受ける
（４）映像コンテンツ事業者により放送電波または通信回線を通じてデータの供給を受ける
（５）映像コンテンツ事業者により映像コンテンツと同一のリムーバル記憶媒体に記憶されたデータの供給を受ける
以上（１）から（５）記載のいずれかのデータ受給手段である完成されたインデックス列の受給部を更に具備することを特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項９】
前記識別データ作成部は、アナログ信号より抽出した前記要素データの場合、当該要素データの最少１ｂｉｔのみをアナログ誤差吸収のためのデータとする要素データで構成される前記識別データとすることを特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項１０】
前記識別データ作成部は、前記識別データと、識別データ作成の元になる映像コンテンツのタイムコードデータと、を併用した前記インデックス列とすることを特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項１１】
前記識別データ作成部は、フレームごとまたは特定の区間ごとに前記要素データの組合せの構成を変化させるように構成される前記識別データによる前記インデックス列とすることを特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項１２】
前記識別データ作成部は、前記識別データに、他の認識手段から得られる認識情報を付与した前記インデックス列とすることを特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項１３】
前記識別データ作成部は、前記識別データを一定の割合で間引きして作成された前記インデックス列とすることを特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項１４】
前記識別データ作成部は、前記インデックス列を、画像における前記フレーム情報のフレーム間変化をもとにして、同一データの範囲をＲＵＮレングス係数、ＬＥＶＥＬ係数を用いて圧縮し、検索時はデータを解凍したインデックス列とすることを特徴とする請求項１記載の映像コンテンツのフレーム検索用データ作成装置。
【請求項１５】
音声が利用できる映像コンテンツの場合は画像情報と音声情報、音声が利用できない映像コンテンツの場合は画像情報、のフレーム情報から抽出される情報単位ごとのデータである複数の要素データを抽出し、映像コンテンツ上の１フレームを固有のデータとするよう上記要素データを複数連結し組合せして構成される映像コンテンツの１フレーム当たりの一時データとしての識別データの作成手段を特徴とする映像コンテンツのフレーム検索用データ作成装置。
【請求項１６】
請求項１記載の映像コンテンツのフレーム検索用データ作成装置に、
前記インデックス列を検索するための、検索条件データを設定する検索条件設定部と、この検索条件にもとづきインデックス列を検索するインデックス列検索部と、この検索により検索条件データに適合する前記識別データのフレームを検出する識別データ検出部と、を更に具備させることを特徴とするフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項１７】
前記検索条件設定部に、検索目的のフレームの前記識別データを検索条件データとして設定して、前記インデックス列を前記インデックス列検索部により検索することにより、検索条件に適合する前記識別データ作成の元になる映像コンテンツのフレームのフレーム位置を前記識別データ検出部で検出することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項１８】
前記検索条件設定部に、フレームの特徴検出のためのデータを検索条件データとして設定して、請求項５記載のインデックス列をインデックス列検索部により検索することにより、特徴検出条件に適合する前記識別データ作成の元になる映像コンテンツのフレームのフレーム位置を前記識別データ検出部で検出することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項１９】
前記元になる映像コンテンツの任意のフレーム位置を指定し、請求項５記載のインデックス列を前記識別データ検出部で検出することにより、当該フレームの特徴を検出することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項２０】
対象とする前記インデックス列を事前に用意し、このインデックス列の前記識別データ作成の元になる映像コンテンツを再生する際、再生されるフレームから得られる識別データを前記検索条件設定部の検索条件データとし、上記事前に用意されたインデックス列をインデックス列検索部によって検索し、同一データとなる上記映像コンテンツのフレーム位置を識別データ検出部で検出し、
以降の連続して再生されるフレームから得られる識別データは上記インデックス列上の該当するフレーム位置の識別データを前記識別データ検出部で読み取りし、同一データであることを確認することによって、
上記識別データ作成の元になる映像コンテンツの再生フレームのフレーム位置を連続検出することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項２１】
前記インデックス列上の任意のフレームを指定して上記元になる映像コンテンツの任意のフレームをアクセスし、再生されるフレームの識別データを識別データ検出部で連続検出する映像コンテンツアクセス部を更に具備することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項２２】
前記データベースの検索補助データとして、前記識別データを構成する少なくとも１つの前記要素データの量子化データの組合せで構成される量子化データのグループごとに識別データを記憶登録した、要素データの量子化データのグループ別の識別データの検索を併用して映像コンテンツのフレームを検索し検出をする検索補助データ部を更に具備することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項２３】
前記インデックス列検索部は、前記データベース内の１つの前記インデックス列上の複数のフレーム位置の前記識別データを対にしてグループ化した複数フレーム条件を前記指定する検索条件として、同一または他の映像コンテンツのインデックス列を検索しフレームを検出することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項２４】
請求項２０記載のフレーム検出装置において、予め前記データベース内の対象とする前記インデックス列の目的とするフレームの前記識別データに映像装置と、マルチメディア機器と、外部機器と、のいずれかを連動制御するための情報を付与しておき、
前記識別データ作成の元になる映像コンテンツを再生の際、この映像コンテンツの再生に連動し、上記インデックス列を連続検出し、映像装置と、マルチメディア機器と、外部機器と、を連動制御するための情報を検出し、
上記識別データ作成の元になる映像コンテンツの再生フレームに連動して上記、映像装置と、マルチメディア機器と、外部機器と、のいずれかを連動制御する連動制御部を更に具備することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項２５】
前記データベース内の前記インデックス列がテレビジョン放送番組による映像コンテンツから作成された場合、
前記繰り返し送出される、コマーシャルメッセージと、連続放送番組の開始または終了時の定形フレームと、再放送フレームと、における前記フレーム識別データの一定区間同士が同一データとなるフレーム検出結果を利用して、
番組局情報、タイトル情報、放送される時刻情報、その期間、繰り返し回数、のいずれかをもとにして、
コマーシャルメッセージと、連続放送番組の開始または終了時の定形フレームと、再放送フレームと、のいずれかであることを自動判定する繰返しフレーム自動判定部を更に具備することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項２６】
前記データベース内の前記インデックス列が、
前記複製された映像コンテンツと複製した映像コンテンツの互いの識別データが完全に同一データとなるフレーム検出結果を利用して、
映像コンテンツの複製を検出する複製判定部を更に具備することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項２７】
請求項５記載の識別データによって作成された前記インデックスを、前記指定する検索条件で検索し検出された前記フレーム位置をチャプタマークとするチャプタマーク作成部を更に具備することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項２８】
請求項５記載の識別データによって作成された前記インデックスを、前記指定する検索条件で検索し検出された前記フレーム位置を時系列表示する検出フレーム時系列表示部を更に具備することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項２９】
請求項５記載の識別データによって作成されたインデックス列に前記識別データ作成の元になる映像コンテンツの任意の１フレームを対象とした、映像コンテンツのフレームのアノテーション情報を付与する手段により付与されたアノテーション情報の検索をするフレームアノテーション検索部と、検出されたフレームのアノテーション情報から映像コンテンツのフレームをアクセスする、フレームアノテーションアクセス部を更に具備することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項３０】
請求項５記載の識別データによって作成されたインデックス列をもとにして
（１）特定シーンの出現回数と、出現時間と、出現比率と、の少なくとも１つ
（２）映像コンテンツの、画像の特徴と、音声の特徴と、変化の特徴と、の少なくとも１つ
以上（１）または（２）いずれかのフレームを前記インデックス列検索部と、前記識別データ検出部で検出し、これを統計データとし使用する統計データ利用部を更に具備することを特徴とする請求項１６記載のフレーム検索用データを用いた映像コンテンツのフレーム検出装置。
【請求項３１】
音声が利用できる映像コンテンツの場合は画像情報と音声情報、音声が利用できない映像コンテンツの場合は画像情報、のフレーム情報から抽出される情報単位ごとのデータである複数の要素データを抽出し、映像コンテンツ上の１フレームを固有のデータとするよう上記要素データを複数連結し組合せして構成されるフレーム検索のためのデータである映像コンテンツの１フレーム当たりの識別データの、
それぞれの上記要素データの、それぞれの前記量子化データの出現頻度を測定することにより１要素データ当たりのビット数としての平均出現確率ならびに識別データ全体の要素データのビット数としての平均出現確率を判定し、この結果にもとづき適正な要素データのビット数の識別データの作成をすることを特徴とする映像コンテンツのフレーム検索用データ作成方法。
【請求項３２】
前記フレーム情報より前記要素データを採取する際のビット数を、実際に前記識別データの要素データとするビット数より多くし、請求項３１記載の要素データのそれぞれの前記量子化データの出現頻度を測定することにより、上記要素データを採取した量子化データの出現頻度を均等化して識別データの要素データとすることを特徴とする映像コンテンツのフレーム検索用データ作成方法。
【請求項３３】
請求項３１記載の識別データを構成する要素データを２組選択し互いの出現相関度を求める手法で、構成される要素データの全ての組合せについての出現相関度を測定することにより上記識別データの組合せ数としての平均出現確率を判定し、この結果にもとづき適正な要素データの組合せ数の識別データの作成をすることを特徴とする映像コンテンツのフレーム検索用データ作成方法。
【請求項３４】
請求項３１記載の識別データ全体の要素データのビット数としての平均出現確率と、請求項３３記載の識別データの組合せ数としての平均出現確率と、
の双方により上記識別データの総合平均出現確率を判定し、この結果にもとづき適正な要素データのビット数と組合せ数の識別データの作成をすることを特徴とする映像コンテンツのフレーム検索用データ作成方法。
【請求項３５】
前記識別データを構成する全ての前記要素データの量子化データの最も出現頻度の高い量子化データによる前記出現頻度の測定と、この量子化データ同士の前記相関度の測定と、の双方により識別データの最悪出現確率を判定し、この結果にもとづき適正な要素データのビット数と組合せ数の識別データの作成をすることを特徴とする映像コンテンツのフレーム検索用データ作成方法。

【図１】