映像データ処理方法、映像データ処理装置および映像データ処理プログラム
【課題】複数の映像データを処理する。
【解決手段】映像データ処理装置は、第１の映像データＡおよび第２の映像データＢを記憶するとともに、前記映像データの識別子と、当該映像データのシーンの識別子と、当該シーンの区間情報とを対応づけたシーン定義データ１２を記憶する記憶装置１０と、第１の軸に、第１の映像データＡの各シーンの識別子を表示するとともに、第２の軸に、第２の映像データＢの各シーンの識別子を表示し、第１の映像データＡの任意の時間および第２の映像データＢの任意の時間を、第１の軸の座標値と第２の軸の座標値とを対応づけて指定可能な時間軸対応マップ表示部１０１を、表示装置４０に表示する時間軸対応関係マップ表示手段２３を備える。
【解決手段】映像データ処理装置は、第１の映像データＡおよび第２の映像データＢを記憶するとともに、前記映像データの識別子と、当該映像データのシーンの識別子と、当該シーンの区間情報とを対応づけたシーン定義データ１２を記憶する記憶装置１０と、第１の軸に、第１の映像データＡの各シーンの識別子を表示するとともに、第２の軸に、第２の映像データＢの各シーンの識別子を表示し、第１の映像データＡの任意の時間および第２の映像データＢの任意の時間を、第１の軸の座標値と第２の軸の座標値とを対応づけて指定可能な時間軸対応マップ表示部１０１を、表示装置４０に表示する時間軸対応関係マップ表示手段２３を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の映像データを処理する映像データ処理方法、映像データ処理装置および映像データ処理プログラムに関する。
【背景技術】
【０００２】
一般的に、映像データに情報を付加して映像データを活用し、協調的に知識を分析し、蓄積する技術が知られている（例えば、非特許文献１および非特許文献２）。非特許文献１および非特許文献２において、例えば文字情報などのアノテーション情報が、映像データの所定の時間やシーンに、付加される。
【０００３】
非特許文献１に記載の技術は、作業者が作業する様子を撮影した映像データを、手順の区切りなどに基づいて複数のシーンに分割し、そのシーンにコメントや描画情報を付加する。付加されたコメントや描画情報は、映像データの再生時に同期して動的に表示される。非特許文献１に記載の技術によれば、協調的な学習や映像データに含まれる知識の共有を支援することができる。
【０００４】
非特許文献２に記載の技術は、特に、複数の映像シーンを引用して、アノテーション情報を付加する技術を開示している。非特許文献２に記載の技術は、複数の映像から必要なシーンを抜粋してトピックとしてまとめ、各シーンの共通点や採点などをコメントとしてトピックに紐づける。非特許文献２に記載の技術によれば、複数の映像にまたがった知識の発見や議論を可能とすることができる。
【０００５】
このような非特許文献１および非特許文献２に記載の技術は、シーンや時間に焦点を当て、被写体の技能や事象を分析し、映像データにアノテーションを付加する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】東 正造・寺中 晶郁・嶌田 聡・小島 明、”映像中のナレッジ発見・共有を想定したシステムの開発”、電子情報通信学会技術研究報告 コミュニケーションクオリティ, Vol.108, No.215, pp.99-104, 2008
【非特許文献２】宮下 広夢・嶌田 聡・小島 明、”複数の映像シーンに基づくノウハウ発見・共有支援手法の検討”、電子情報通信学会技術研究報告, Vol.110, No.453, pp.281-286, 2011
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記非特許文献１および非特許文献２に記載の技術について、複数の映像データに対して、一度の操作で、任意の再生位置に情報を付加することはできない。例えば、非特許文献２は、複数のシーンを処理対象とするものの、引用したシーンに限定して、発見や議論を可能とすることを想定している。従って、非特許文献２に記載の技術は、複数の映像データについて、全体を俯瞰して比較したり、シーン群の組み合わせや順序などの対応関係を参照して分析することができない。
【０００８】
従来の手法においては、まず、複数の映像データに対して、再生を制御したり、アノテーション情報を付加する手間が煩雑な問題がある。具体的には、複数の映像データを視聴する際、それぞれ別の画面で再生されるので、オペレータは個々の画面の再生ボタンなどを操作する必要がある。また、複数の映像データから比較したいシーンを選択するため、オペレータは、両方の映像データを見比べるために、個々の画面のシークバーなどを操作する必要があるので、オペレータの手間が煩雑になる。
【０００９】
さらに、複数の映像データに対して同時にアノテーション情報を付加することができない問題がある。従って、オペレータは、個々の映像データを比較して、それぞれの映像データにアノテーションを付加するか、あるいは、それぞれの映像データから、アノテーションを付加するシーンをトピック化した後、アノテーション情報を付加する必要がある。これらの手間は、オペレータにとって負担である。特に複数の映像データを比較して検討する場合、対象とする映像データをそれぞれ再生するので、処理対象の映像の時間長が増えてしまう問題がある。
【００１０】
さらに、複数の映像データの対応関係が分かりづらい問題がある。具体的には、アノテーション情報は、一つの映像データの一つのシーンや一区間の時間長に対して、紐づけられている。従って、映像データのシークバーに重ねて、この映像データのアノテーション情報の種類や量を表示することにより、映像データ全体について、どこに注目すべき区間があるのか、アノテーション情報が付加されているのかを、容易に概観できる。しかし、複数の映像データについて同様に表示しようとしても、互いにどの区間が比較されているのかが不明である。従って、映像データ全体として俯瞰したとしても、アノテーションの対応関係を把握しづらい問題がある。
【００１１】
従って本発明の目的は、複数の映像データを対応づけて容易に処理することを可能とする映像データ処理方法、映像データ処理装置および映像データ処理プログラムを提供することである。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の第１の特徴は、複数の映像データを処理する映像データ処理方法に関する。第１の特徴に係る映像データ処理方法は、第１の映像データおよび第２の映像データを記憶するとともに、映像データの識別子と、当該映像データのシーンの識別子と、当該シーンの区間情報とを対応づけたシーン定義データを記憶装置に記憶するステップと、第１の軸に、第１の映像データの各シーンの識別子を表示するとともに、第２の軸に、第２の映像データの各シーンの識別子を表示し、第１の映像データの任意の時間および第２の映像データの任意の時間を、第１の軸の座標値と第２の軸の座標値とを対応づけて指定可能な時間軸対応マップ表示部を、表示装置に表示するステップを備える。
【００１３】
第１の映像データから、時間軸対応マップ表示部において指定された第１の軸の座標値に対応するフレーム画像データを抽出して表示するとともに、第２の映像データから、時間軸対応マップ表示部において指定された第２の軸の座標値に対応するフレーム画像データを抽出して表示するステップをさらに備えても良い。
【００１４】
付加情報の識別子と、当該付加情報が付加された第１の映像データにおける第１の位置情報と、当該付加情報が付加された第２の映像データにおける第２の位置情報と、を対応づけた付加情報制御データを、記憶装置に記憶するステップと、記憶装置から付加情報制御データを読み出して、時間軸対応マップ表示部において、第１の位置情報を第１の軸における座標値とし、第２の位置情報を第２の軸における座標値とする位置に、当該付加情報が付加されたことを示すシンボルを表示するステップをさらに備えても良い。
【００１５】
本発明の第２の特徴は、複数の映像データを処理する映像データ処理装置に関する。第２の特徴に係る映像データ処理装置は、第１の映像データおよび第２の映像データを記憶するとともに、映像データの識別子と、当該映像データのシーンの識別子と、当該シーンの区間情報とを対応づけたシーン定義データを記憶する記憶装置と、第１の軸に、第１の映像データの各シーンの識別子を表示するとともに、第２の軸に、第２の映像データの各シーンの識別子を表示し、第１の映像データの任意の時間および第２の映像データの任意の時間を、第１の軸の座標値と第２の軸の座標値とを対応づけて指定可能な時間軸対応マップ表示部を、表示装置に表示する時間軸対応関係マップ表示手段を備える。
【００１６】
第１の映像データから、時間軸対応マップ表示部において指定された第１の軸の座標値に対応するフレーム画像データを抽出して表示するとともに、第２の映像データから、時間軸対応マップ表示部において指定された第２の軸の座標値に対応するフレーム画像データを抽出して表示する複数映像同時シーク手段をさらに備えても良い。
【００１７】
記憶装置はさらに、付加情報の識別子と、当該付加情報が付加された第１の映像データにおける第１の位置情報と、当該付加情報が付加された第２の映像データにおける第２の位置情報と、を対応づけた付加情報制御データを記憶し、記憶装置から付加情報制御データを読み出して、時間軸対応マップ表示部において、第１の位置情報を第１の軸における座標値とし、第２の位置情報を第２の軸における座標値とする位置に、当該付加情報が付加されたことを示すシンボルを表示する付加情報制御手段をさらに備えても良い。
【００１８】
本発明の第３の特徴は、コンピュータに本発明の第１の特徴に記載のステップを実行させるための映像データ処理プログラムに関する。
【発明の効果】
【００１９】
本発明によれば、複数の映像データを対応づけて容易に処理することを可能とする映像データ処理方法、映像データ処理装置および映像データ処理プログラムを提供することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の実施の形態に係る映像データ処理装置が表示する画面の一例を説明する図である。
【図２】図２は、本発明の実施の形態に係る映像データ処理装置のハードウェア構成および機能ブロックを説明する図である。
【図３】図３は、本発明の実施の形態に係るシーン定義データのデータ構造とデータの一例を説明する図である。
【図４】図４は、本発明の実施の形態に係るアノテーションデータのデータ構造とデータの一例を説明する図である。
【図５】図５（ａ）は、本発明の実施の形態に係る付加情報制御データのデータ構造とデータの一例を説明する図で、図５（ｂ）は、本発明の実施の形態に係る付加情報対応データのデータ構造とデータの一例を説明する図である。
【図６】図６は、本発明の実施の形態に係る映像データ処理方法を説明するフローチャートである。
【図７】図７は、本発明の実施の形態に係る時間軸対応関係マップ表示処理を説明するフローチャートである。
【図８】図８は、本発明の実施の形態に係る映像データ処理装置が、複数の映像データを同時にシークする画面の一例である。
【図９】図９は、本発明の実施の形態に係る映像データ処理装置が、一つの映像データをシークする画面の一例である。
【図１０】図１０は、本発明の実施の形態に係る映像データ処理装置が、所定のアノテーション情報付加点について、アノテーション情報と、同期再生するコマンドを表示する画面の一例である。
【図１１】図１１は、本発明の実施の形態に係る映像データ処理装置が、複数のアノテーション付加区間について、アノテーション情報と、順に同期再生するコマンドを表示する画面の一例である。
【図１２】図１２は、本発明の実施の形態に係る映像データ処理装置が、複数の映像の区間を同期再生する際に、アノテーション情報を表示する画面の一例である。
【図１３】図１３は、本発明の実施の形態に係る映像データ処理装置が、所定のポイントから同期再生するコマンドと、このポイントに対応する時間に付加情報を付加するコマンドを表示する画面の一例である。
【図１４】図１４は、本発明の実施の形態に係る映像データ処理装置が、任意の区間を同期再生するコマンドと、この区間に対応する時間に付加情報を付加するコマンドを表示する画面の一例である。
【発明を実施するための形態】
【００２１】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。
【００２２】
（概要）
本発明の実施の形態に係る映像データ処理装置１は、複数の映像データを処理する。映像データ処理装置１は、例えば、映像データＡと映像データＢの二種類の映像データを俯瞰して表示することができる。また映像データ処理装置１は、一度の操作で、映像データＡおよび映像データＢに、付加情報を付加することができる。ここで付加情報とは、対応情報や、アノテーション情報である。対応情報は、映像データＡの所定位置と映像データＢの所定位置の対応関係を示す情報である。アノテーション情報は、映像データＡの所定位置と映像データＢの所定位置に対して付与されたコメント等の情報である。
【００２３】
本発明の実施の形態において、映像データＡは、例えば、熟練者が、複数の手順を経て作業する様子を撮影したデータであって、映像データＢは、例えば、研修者が、熟練者と同様の作業する様子を撮影したデータである。熟練者の作業と、研修者の作業とでは、細かな点で違いがあるので、映像データ処理装置１は、この違いを比較検討しやすいように、映像データＡおよび映像データＢに、所定のタイミングを対応づけて付加情報を付したり同期再生する。また、熟練者が作業する手順と、研修者が作業する手順とでは、その手順の順番が異なる場合もある。そこで映像データ処理装置１は、作業の手順をシーンとして定義し、シーンの順番が異なることを視覚的に表現する。
【００２４】
図１を参照して、本発明の実施の形態に係る映像データ処理装置１が表示する画面の一例を説明する。図１に示す表示画面は、時間軸対応マップ表示部１０１と、映像データＡサムネイル群表示部１０２と、映像データＢサムネイル群表示部１０３を備える。
【００２５】
映像データＡサムネイル群表示部１０２は、Ｘ軸方向（横軸方向）に、映像データＡの各シーンのサムネイルを時系列で表示する。映像データＢサムネイル群表示部１０３は、Ｙ軸方向（縦軸方向）に、映像データＢの各シーンのサムネイルを時系列で表示する。ここで、シーンとは、映像データの意味的な区切りである。映像データが、複数の手順を経て作業する様子を撮影したデータの場合、例えば、それぞれの手順を示す区間がシーンとなる。また、意味的な区切りに関係なく、一定時間ごとの区切りをシーンとしても良い。
【００２６】
映像データＡサムネイル群表示部１０２は、図１に示す画面の左から右に、映像データＡの時系列の各シーンのサムネイルを表示する。映像データＡサムネイル群表示部１０２は、左から、一つ目のシーン（シーンＩＤ”ｓ００１”）のサムネイル、二つ目のシーン（シーンＩＤ”ｓ００２”）のサムネイル・・・と並べて表示する。
【００２７】
映像データＢサムネイル群表示部１０３は、図１に示す画面の上から下に、映像データＢの時系列の各シーンのサムネイルを表示する。映像データＢサムネイル群表示部１０３は、上から、一つ目のシーン（シーンＩＤ”ｓ００１”）のサムネイル、二つ目のシーン（シーンＩＤ”ｓ００２”）のサムネイル・・・と並べて表示する。
【００２８】
時間軸対応マップ表示部１０１は、映像データＡサムネイル群表示部１０２と映像データＢサムネイル群表示部１０３の内角の領域に設けられる。オペレータは、時間軸対応マップ表示部１０１内のいずれかの位置を指定することにより、映像データＡの所定の時間と映像データＢの所定の時間とを、一度の操作で指定することができる。
【００２９】
図１に示す例では、各サムネイルは同じサイズを有し、罫線１１０は均等に設けられているが、この例に限られない。映像データ処理装置１は、各映像データのシーンの時間長にあわせて、サムネイルのサイズや罫線の間隔を任意に設けても良い。
【００３０】
時間軸対応マップ表示部１０１は、映像データＡの開始から終了までの各時間と、映像データＢの開始から終了までの各時間を指定することができる。例えば、映像データＡの時間長をＡｄ、映像データＢの時間長をＢｄ、時間軸対応マップ表示部１０１の表示領域のＸ軸方向のサイズがＬｘ、Ｙ軸方向のサイズがＬｙとする。この場合、図１の時間軸対応マップ表示部１０１の左上の座標を（０，０）とすると、右下の座標は（Ｌｘ、Ｌｙ）である。
【００３１】
ここで、時間軸対応マップ表示部１０１の座標（Ｐｘ，Ｐｙ）が選択されると、この選択された位置に対応する映像データＡの時間Ａｔ、映像データＢの時間Ｂｔは、以下のように算出される。
【００３２】
Ａｔ＝Ａｄ／Ｌｘ×Ｐｘ ・・・式（１）
Ｂｔ＝Ｂｄ／Ｌｙ×Ｐｙ ・・・式（２）
このように、時間軸対応マップ表示部１０１のいずれかの座標を選択することにより、オペレータは、映像データＡの時間Ａｔと、映像データＢの時間Ｂｔとを同時に指定することができる。
【００３３】
時間軸対応マップ表示部１０１は、映像データＡのシーンの区切りと、映像データＢのシーンの区切りに罫線１１０を設ける。オペレータは、時間軸対応マップ表示部１０１内の罫線１１０で区切られた領域を指定することにより、映像データＡの所定のシーンと映像データＢの所定のシーンとを、一度の操作で指定することができる。
【００３４】
オペレータが、時間軸対応マップ表示部１０１の任意の位置を選択すると、映像データ処理装置１は、式（１）および式（２）から、映像データＡの時間と、映像データＢの時間を算出する。またオペレータは選択した位置に対応して付加情報を付与する指示を与えると、映像データ処理装置１は、この位置に対応する映像データＡの時間と、映像データＢの時間に対して、付加情報を対応づけて記憶する。また映像データ処理装置１は、映像データＡおよび映像データＢのシーンに対しても、付加情報を対応づけて記憶することができる。
【００３５】
このようにオペレータによって付加された付加情報は、時間軸対応マップ表示部１０１に表示される。映像データ処理装置１は、式（１）および式（２）に基づいて、映像データＡの時間Ａｔおよび映像データＢの時間Ｂｔから、時間軸対応マップ表示部１０１の座標（Ｐｘ，Ｐｙ）を算出する。映像データ処理装置１は、この算出された座標（Ｐｘ，Ｐｙ）に、付加情報が付加されたことを示すシンボルを表示する。
【００３６】
図１に示す例で、「●マーク」は、対応情報付加点１２０である。対応情報付加点１２０は、対応情報付加点１２０のＸ軸座標が示す映像データＡの時間と、対応情報付加点１２０のＹ軸座標が示す映像データＢの時間とが、オペレータによって対応づけられたことを示す。対応点は、映像データＡと映像データＢとのそれぞれの任意の時間を対応づけるために設けられる。対応点は、例えば、オペレータが後からアノテーションを付加するための目印としたり、比較対象となるフレーム画像データを表示するための目印となる。映像データ処理装置１は、アノテーション情報付加点１３０の近傍にマウスのポインタなどが重ねられると、この位置にアノテーションを付加するコマンドを表示しても良い。また映像データ処理装置１は、映像データＡおよび映像データＢを、それぞれこの時間から同期再生するコマンドを表示しても良い。
【００３７】
「★」マークは、アノテーション情報付加点１３０である。アノテーション情報付加点１３０は、アノテーション情報付加点１３０のＸ軸座標が示す映像データＡの所定の時間と、アノテーション情報付加点１３０のＹ軸座標が示す映像データＢの所定の時間に、オペレータによって同じアノテーション情報が付加されたことを示す。アノテーション情報付加点１３０の近傍にマウスのポインタなどが重ねられると、映像データ処理装置１は、この位置に付加されたアノテーション情報を表示しても良い。また映像データ処理装置１は、映像データＡおよび映像データＢを、それぞれこの時間から同期再生するコマンドを表示しても良い。
【００３８】
映像データＡおよび映像データＢについて、同じ手順でシーンが展開されている場合、映像データＡと映像データＢのそれぞれ３番目のシーンは同じ手順を示し、映像データＡと映像データＢのそれぞれ４番目のシーンは同じ手順を示す。従って、時間軸対応マップ表示部１０１の左上から右下の対角線上に、映像データＡと映像データＢの同様の手順が対応づけられることになる。
【００３９】
しかしながら、映像データＡと映像データＢにおいて、３番目および４番目のシーンが入れ替わった場合も、映像データ処理装置１は、その対応関係を表示することができる。図１に示す例において、矩形枠１４１および矩形枠１４２の近傍に、アノテーション情報付加点１４３が設けられている。アノテーション情報付加点１４３は、矩形枠１４１の示す映像データＡのシーンおよび映像データＢのシーンと、矩形枠１４２の示す映像データＡのシーンおよび映像データＢのシーンとを対応づけ、アノテーションが付加されたことを示す。アノテーション情報付加点１４３は、矩形枠１４１および矩形枠１４２の付近やこれらの中間座標に表示される。アノテーション情報付加点１４３は、矩形枠１４１および矩形枠１４２と対応づける様に表示されても良い。
【００４０】
映像データ処理装置１は、矩形枠１４１によって映像データＡの４番目のシーンと、映像データＢの３番目のシーンが同じ手順であることを示し、矩形枠１４２によって映像データＡの３番目のシーンと、映像データＢの４番目のシーンが同じ手順であることを示す。アノテーション情報付加点１４３は、これらの４つのシーンに、手順が入れ替わっていることを示すアノテーションが付加されたことを示す。映像データ処理装置１はさらに、矩形枠１４１に設けられた対応点１４４と、矩形枠１４２に設けられた対応点１４５とが、比較対象のポイントとなることも表示することができる。
【００４１】
図１に示す例では、２種類のマークと１種類の矩形枠を用いてシンボルを表示したが、アノテーションの種別や、シーンの種別などに応じて、さらに多くの種類のシンボルを用いて表現しても良い。また、映像データＡおよび映像データＢの時間を二次元座標上で一度に指定することができれば、時間軸対応マップ表示部１０１、映像データＡサムネイル群表示部１０２および映像データＢサムネイル群表示部１０３などの配置位置は問わない。
【００４２】
また、図１に示す例で、映像データＡサムネイル群表示部１０２および映像データＢサムネイル群表示部１０３にサムネイルを表示して、各映像データの各シーンを識別する場合を説明したが、これに限られない。映像データＡサムネイル群表示部１０２および映像データＢサムネイル群表示部１０３に、各シーンのサムネイルの代わりに、各シーンの名称や、手順の名称などを表示しても良い。
【００４３】
このように、実施の形態に係る映像データ処理装置１は、複数の映像データを俯瞰して検討しやすい画面を表示する。また映像データ処理装置１は、２つの映像データの時間を二次元座標で表現することにより、映像データ間の時間軸上の対応点や区間を分かりやすく表示することもできる。さらに映像データ処理装置１は、２つの映像データに同時にアノテーションを付加することもできる。これにより、映像データ処理装置１は、類似した複数の映像を比較検討しやすい操作画面を提供し、複数の映像データを対応づけて容易に処理することができる。
【００４４】
（映像データ処理装置）
図１を参照して、本発明の実施の形態に係る映像データ処理装置１を説明する。映像データ処理装置１は、一般的なコンピュータに所定の処理を実行するためのプログラムがインストールされ実行されることによって実現される。
【００４５】
映像データ処理装置１は、記憶装置１０、入出力インタフェース３０、表示装置４０および入力装置５０などを備える。
【００４６】
表示装置４０は、例えば液晶ディスプレイ装置である。表示装置４０は、中央処理制御装置２０の出力信号に基づいて、例えば図１に示すような画面を表示する。入力装置５０は、例えばキーボード、マウスである。入力装置５０は、中央処理制御装置２０に入力信号を入力する。入力装置５０は、例えば、図１に示す画像において、時間軸対応マップ表示部１０１上の座標やシーンを選択したり、アノテーション情報を入力するために用いられる。入出力インタフェース３０は、中央処理制御装置２０からの出力信号を表示装置４０に出力するとともに、入力装置５０からの入力信号を中央処理制御装置２０に入力する。
【００４７】
記憶装置１０は、ハードディスク、メモリなどであって、中央処理制御装置２０によって読み書きされるデータを保持する。記憶装置１０は、映像データ処理プログラムを記憶する。また、記憶装置１０は、映像データ群記憶部１１を備えるとともに、シーン定義データ１２、付加情報データ１３および付加情報制御データ１４を記憶する。映像データ処理プログラムを、映像データ処理装置１の中央処理制御装置２０が読み出し実行することによって、図２に示すように、中央処理制御装置２０に、映像再生手段２１、複数映像同時シーク手段２２、時間軸対応関係マップ表示手段２３および付加情報制御手段２４が実装される。
【００４８】
映像データ群記憶部１１は、映像データＡおよび映像データＢなどの、映像データ処理装置１の処理対象となる複数の映像データを記憶する。映像データ群記憶部１１に記憶された各映像データは、中央処理制御装置２０によって再生され、またはシークされる。映像データ群記憶部１１に、アップロードによって映像データが入力されても良いし、ストリーミングとして入力されても良い。
【００４９】
シーン定義データ１２は、映像データ群記憶部１１に記憶された映像データのシーンを定義するデータである。シーン定義データ１２は、図３に示すように、映像データ群記憶部１１に記憶される映像データの映像ＩＤ（映像データの識別子）と、当該映像データのシーンＩＤ（シーンの識別子）と、当該シーンの区間情報とを対応づけたデータである。区間情報は、映像データにおけるシーンの開始位置と終了位置とを対応づけたデータである。シーン定義データ１２が、各映像データおよび各シーンの開始位置および終了位置を対応づけるので、映像データ処理装置１は、シーン定義データ１２を参照して、映像データ全体の位置と、各シーンにおける位置とを相互に変換することができる。
【００５０】
図３に示す各シーンには、サムネイル画像名が対応づけられている。このサムネイル画像は、図１の映像データＡサムネイル群表示部１０２や映像データＢサムネイル群表示部１０３に表示される。サムネイルは、各シーンの一つフレーム画像データでも良いし、各シーンの複数のフレームから生成される短時間の動画データであっても良い。
【００５１】
本発明の実施の形態において、シーン定義データ１２は、予め作成され、記憶装置１０に記憶される。シーンの開始位置と終了位置を決定する方法として、様々な方法が考えられ、本発明の実施の形態においてその方法は問わない。例えば、既存のシーン定義アルゴリズムを用いて決定しても良いし、オペレータによって手動で決定しても良い。また、映像データを一定時間ごとに区切ることにより、各シーンの開始位置および終了位置を決定しても良い。既存のシーン定義アルゴリズムとして、“SceneCabinet:映像解析技術を統合した映像インデクシングシステム”（谷口行信ら, 電子情報通信学会論文誌. D-II, Vol.84, No.6, pp.1112-1121, 2001）などがある。
【００５２】
付加情報データ１３は、映像データ群記憶部１１の各映像データに付加される付加情報に関するデータである。ここで、付加情報は、２つの映像データの区間または時間の対応関係を示す対応情報や、２つの映像データに同時に付加されるアノテーション情報である。
【００５３】
付加情報データ１３は、図４に示すように、付加情報ＩＤ（付加情報の識別子）と、その付加情報のコメントと、当該付加情報を描画するための描画情報を対応づけたデータである。
【００５４】
付加情報がアノテーション情報の場合、コメントに、アノテーション情報を設定する。このアノテーション情報は、オペレータが、映像データに対して付加したドキュメントのデータである。一方、付加情報が映像データの対応情報の場合、コメントは、”ｎｕｌｌ”値を設定する。描画情報は、映像データを再生時にこのアノテーションを表示する際の効果に関する情報である。描画情報は、アノテーション情報を表示する位置を設定したり、「所定の位置を円で囲う」などを設定する情報である。付加情報が映像データの対応情報の場合、描画情報は、”ｎｕｌｌ”値を設定する。
【００５５】
付加情報制御データ１４は、付加情報ＩＤと、この付加情報が付加された映像データおよびその映像データにおける位置を対応づけたデータである。本発明の実施の形態においては特に、オペレータの一度の操作によって、複数の映像データに同時に付加情報を付加することを可能とする。従って、付加情報制御データ１４は、付加情報ＩＤ（付加情報の識別子）と、当該付加情報が付加された第１の映像データにおける第１の位置情報と、当該付加情報が付加された第２の映像データにおける第２の位置情報と、を対応づけたデータである。また、付加情報制御データ１４は、一つの付加情報ＩＤに、２つの映像データの３つ以上の位置情報を対応づけても良い。またこの位置情報は、映像データ上の一点を示す情報であっても良いし、区間を示す情報であっても良い。
【００５６】
図５に示す付加情報制御データ１４は、映像ＩＤ、シーンＩＤ、この映像データおよびシーンにおける時間、および長さによって、付加情報が付加される位置を特定する。この時間および長さは、映像データの再生フレームの数で表現しても良いし、再生時間で表現しても良い。
【００５７】
図５（ａ）に示す付加情報制御データ１４によって、複数の映像データのタイミングを対応づけ、シーンを対応づけることができる。例えば、付加情報ＩＤ”ａ００１”は、映像ＩＤ”ｖ００１”、シーン”ｓ００１”、および時間５と、映像ＩＤ”ｖ００２”、シーン”ｓ００２”および時間６とを対応づけていることを示す。また、付加情報ＩＤ”ａ００３”は、映像ＩＤ”ｖ００１”およびシーン”ｓ００４”と、映像ＩＤ”ｖ００２”およびシーン”ｓ００３”とを対応づけていることを示す。ここで、映像ＩＤ”ｖ００１”は、映像データＡの識別子で、映像ＩＤ”ｖ００２”は、映像データＢの識別子である。
【００５８】
図４に示す付加情報データ１３の付加情報ＩＤは、図５（ａ）に示す付加情報制御データ１４の付加情報ＩＤと対応する。例えば、付加情報ＩＤ”ａ００２”のアノテーション情報”ニッパーを正しく持ちましょう Ｂさんのように歯を・・・”は、映像ＩＤ”ｖ００１”、シーン”ｓ００２”、時間１８から長さ３の区間に付加されるとともに、映像ＩＤ”ｖ００２”、シーン”ｓ００２”、時間１７から長さ３の区間に付加される。このとき、図４に示す描画情報”ｖ００１（３０，４０）、ｖ００２（１０，１０）”に基づいて、アノテーション情報が付加される。
【００５９】
図５（ａ）に示す付加情報制御データ１４において、付加情報ＩＤどうしを対応づける場合、図５（ｂ）に示す付加情報対応データ１４ａを備える場合がある。付加情報対応データ１４ａは、例えば、図１２を参照して後述するように、異なる手順で作業された場合、その手順を連続的に再生したい場合に用いられる。
【００６０】
図５（ｂ）に示す付加情報対応データ１４ａは、付加情報ＩＤ“ａ００６”に、第１の対応付加情報ＩＤ“ａ００３”および第２の対応付加情報ＩＤ“ａ００５”を対応づけている。この場合、付加情報ＩＤ“ａ００６”は、第１の対応付加情報ＩＤ“ａ００３”に対応づけられる複数のシーンを同時に再生した後、第２の対応付加情報ＩＤ“ａ００５”に対応づけられる複数のシーンを連続的に再生することを示す。
【００６１】
第１の対応付加情報ＩＤ“ａ００３”および第２の対応付加情報ＩＤ“ａ００５”は、図５（ａ）に示す付加情報ＩＤ“ａ００３”および付加情報ＩＤ“ａ００５”にそれぞれ対応する。図５（ａ）において付加情報ＩＤ”ａ００３”は、映像ＩＤ”ｖ００１”およびシーン”ｓ００４”と、映像ＩＤ”ｖ００２”およびシーン”ｓ００３”とを対応づける。また、付加情報ＩＤ”ａ００５”は、映像ＩＤ”ｖ００１”およびシーン”ｓ００３”と、映像ＩＤ”ｖ００２”およびシーン”ｓ００４”とを対応づける。従って、付加情報ＩＤ“ａ００６”は、付加情報ＩＤ”ａ００３”は、映像ＩＤ”ｖ００１”のシーン”ｓ００４”と、映像ＩＤ”ｖ００２”のシーン”ｓ００３”とを同期再生した後、映像ＩＤ”ｖ００１”のシーン”ｓ００３”と、映像ＩＤ”ｖ００２”のシーン”ｓ００４”を同期再生することを示す。
【００６２】
図４および図５（ａ）に示すように、本発明の実施の形態においては、付加情報を付加する位置の情報と、付加情報の内容とを異なるテーブルで管理する。これにより、一つの付加情報を、複数の映像データおよびシーンに、容易に対応づけることができる。また、各映像データおよびシーンごとに、付加情報を付加する位置や長さを、適宜設定することができる。
【００６３】
また、図５（ｂ）に示すように、付加情報ＩＤどうしを対応づけることにより、複数のシーンを同期再生し、その後、異なる複数のシーンを同期再生することができる。これにより映像データ処理装置１は、作業手順が異なるシーンを連続的に同期再生することができる。
【００６４】
映像再生手段２１は、映像データ群記憶部１１から映像データを読み出し、再生して表示装置４０に表示する。映像再生手段２１は、映像データの先頭から再生しても良いし、指定された再生位置から再生しても良い。また、映像再生手段２１は、２つの映像データを同時に再生しても良い。映像再生手段２１は、オペレータが入力装置５０から入力した再生指示や同期再生指示などに基づいて、映像データを再生する。
【００６５】
オペレータが付加情報対応データ１４ａで指定される付加情報ＩＤについて再生指示を入力した場合、映像再生手段２１は、付加情報対応データ１４ａで、第１の対応付加情報ＩＤで対応づけられた複数のシーンを同期再生した後、第２の対応不可情報ＩＤで対応づけられた複数のシーンを同期再生する。
【００６６】
複数映像同時シーク手段２２は、２つの映像データのフレーム画像データを、同時にシークする。複数映像同時シーク手段２２は、映像データＡから、時間軸対応マップ表示部１０１において指定されたＸ軸の座標値に対応するフレーム画像データを抽出して表示装置４０に表示する。さらに複数映像同時シーク手段２２は、映像データＢから、時間軸対応マップ表示部１０１において指定されたＹ軸の座標値に対応するフレーム画像データを抽出して表示装置４０に表示する。時間軸対応マップ表示部１０１での選択位置が変更される度に、複数映像同時シーク手段２２は、選択された位置に対応するフレーム画像データを抽出して、表示装置４０に表示する。
【００６７】
複数映像同時シーク手段２２は、さらに、一つの映像データのみをシークして表示しても良い。例えば、オペレータが、図１の映像データＡサムネイル群表示部１０２を選択した場合、映像データＡからその選択された位置に対応するフレーム画像データを抽出して、表示装置４０に表示しても良い。
【００６８】
時間軸対応関係マップ表示手段２３は、図１に示す表示画面を、表示装置４０に表示する。時間軸対応関係マップ表示手段２３は、Ｘ軸に、映像データＡの各シーンの識別子を表示するとともに、Ｙ軸に、映像データＢの各シーンの識別子を表示する。時間軸対応関係マップ表示手段２３は、第１の映像データの任意の時間および第２の映像データの任意の時間を、Ｘ軸の座標値とＹ軸の座標値とを対応づけて指定可能な時間軸対応マップ表示部１０１を表示する。図１に示す例において、時間軸対応関係マップ表示手段２３は、各シーンの識別子として、シーン定義データ１２で設定されるサムネイルデータを用いている。さらに、時間軸対応関係マップ表示手段２３は、映像データＡおよび映像データＢのシーンの区切りに対応する位置に、罫線１１０を設ける。
【００６９】
付加情報制御手段２４は、付加情報制御データ１４を読み出して、時間軸対応マップ表示部１０１上の付加情報が付加された位置にシンボルを表示する。付加情報制御手段２４は、所定の付加情報ＩＤについて、付加情報制御データ１４から、付加情報ＩＤおよび映像データＡに対応づけられる第１の位置情報と、付加情報ＩＤおよび映像データＢに対応づけられる第２の位置情報とを取得する。付加情報制御手段２４は、時間軸対応マップ表示部１０１において、第１の位置情報をＸ軸における座標値とし、第２の位置情報をＹ軸における座標値とする位置に、付加情報が付加されたことを示すシンボルを表示する。ここで表示するシンボルは、図１に示すように、付加情報の種別や付加情報を付与する対象に応じて変更しても良い。
【００７０】
具体的には、付加情報制御手段２４は、付加情報制御データ１４から、映像データＡおよび映像データＢに関連するレコードを検索する。さらに付加情報制御手段２４は、付加情報ＩＤのそれぞれに、時間軸対応マップ表示部１０１の指所定の位置に、シンボルを表示する。
【００７１】
例えば、図４および図５に示すデータに基づいて、図１の時間軸対応マップ表示部１０１に、付加情報ＩＤ”ａ００２”に対応するシンボルを表示する例を説明する。
【００７２】
付加情報データ１３において、付加情報ＩＤ”ａ００２”は、「ニッパーを正しく持ちましょう Ｂさんのように歯を・・・・」のアノテーション情報が対応づけられている。付加情報制御データ１４は、付加情報ＩＤ”ａ００２”に、映像ＩＤ”ｖ００１”、シーン”ｓ００２”、時間１８から長さ３の区間を対応づけるとともに、映像ＩＤ”ｖ００２”、シーン”ｓ００２”、時間１７から長さ３の区間を対応づける。従って第１の位置情報は、映像データＡのシーン”ｓ００２”、時間１８から長さ３の区間で、第２の位置情報は、映像データＢのシーン”ｓ００２”、時間１７から長さ３の区間である。
【００７３】
付加情報制御手段２４は、式（１）に基づいて、映像データＡのシーン”ｓ００２”、時間１８に対応するＸ軸の座標値を算出する。また付加情報制御手段２４は、式（２）に基づいて、映像データＢのシーン”ｓ００２”、時間１７に対応するＹ軸の座標値を算出する。付加情報制御手段２４は、算出されたＸ軸の座標値およびＹ軸の座標値に、「★マーク」をシンボルとするアノテーション情報付加点１３０を表示する。このアノテーション情報付加点１３０上にマウスポインタが重なると、時間軸対応関係マップ表示手段２３は、付加情報ＩＤ”ａ００２”に対応するアノテーション情報「ニッパーを正しく持ちましょう Ｂさんのように歯を・・・・」を表示する。
【００７４】
図４の付加情報ＩＤ”ａ００３”が示すように、シーン同士が対応づけられている場合、付加情報制御手段２４は、シンボルとして矩形枠を表示する。図４に示す例において、付加情報ＩＤ”ａ００３”に、映像データＡのシーン”ｓ００４”が対応づけられるとともに、映像データＢのシーン”ｓ００３”が対応づけられている。この場合、付加情報制御手段２４は、図１に示すように、Ｘ軸座標が映像データＡのシーン”ｓ００４”に対応し、Ｙ軸座標が映像データＢのシーン”ｓ００３”に対応する位置に、矩形枠１４１を表示する。
【００７５】
付加情報制御手段２４はさらに、オペレータが時間軸対応マップ表示部１０１を操作し、所定の位置に付加情報を付加する指示が入力されると、付加情報データ１３および付加情報制御データ１４を更新する。
【００７６】
例えば、新たな付加情報を登録する際、付加情報制御手段２４は、新たな付加情報ＩＤを採番する。付加情報制御手段２４は、式（１）およびシーン定義データ１２から、オペレータが指定したＸ座標の値に対応する、映像データＡのシーンおよび位置を特定する。付加情報制御手段２４は、式（２）およびシーン定義データ１２から、オペレータが指定したＹ座標の値に対応する、映像データＢのシーンおよび位置を特定する。付加情報制御手段２４は、新たな付加情報ＩＤと、特定された映像データＡのシーンおよび位置を対応づけたレコードを付加情報制御データ１４に挿入するとともに、新たな付加情報ＩＤと、特定された映像データＢのシーンおよび位置を対応づけたレコードを付加情報制御データ１４に挿入する。
【００７７】
さらに付加情報制御手段２４は、付加情報データ１３を更新する。オペレータが対応情報を登録した場合、付加情報制御手段２４は、新たな付加情報ＩＤに、コメントおよび描画情報に”ｎｕｌｌ”値を対応づけたレコードを、付加情報データ１３に挿入する。一方オペレータがアノテーション情報を登録した場合、付加情報制御手段２４は、新たな付加情報ＩＤに、アノテーション情報とその描画方法を対応づけたレコードを、付加情報データ１３に挿入する。
【００７８】
また、付加情報制御手段２４は、付加情報の削除や変更に伴って、付加情報データ１３および付加情報制御データ１４を更新する。
【００７９】
（映像データ処理方法）
図６を参照して、本発明の実施の形態に係る映像データ処理方法を説明する。
【００８０】
まずステップＳ１０１において、オペレータは、映像データ群記憶部１１から、比較対象の映像データを２つ選択する。ここでは、オペレータが、映像データＡと映像データＢを選択したとする。
【００８１】
次にステップＳ１０２において、映像データＡおよび映像データＢについて、マップ付加情報表示処理を開始し、時間軸対応関係マップ表示手段２３は、図１に示すような画面を表示装置４０に表示する。
【００８２】
図１に示す画面が表示されると、ステップＳ１０４において、オペレータは、時間軸対応マップ表示部１０１上をマウスでポインタを移動させて、映像データＡと映像データＢを同時にシークする。このとき、複数映像同時シーク手段２２は、オペレータによるポインタの移動に伴って、ポインタの座標に対応する映像データＡの画像フレームデータと映像データＢの画像フレームデータとを、動的に変更して表示する。
【００８３】
また、ステップＳ１０４において、オペレータによって映像データＡおよび映像データＢを同時に再生する指示が入力されると、映像再生手段２１は、ポインタの座標の示す映像データＡの位置から映像データＡを再生し、この映像データＡの再生と同期して、ポインタの座標の示す映像データＢの位置から映像データＢを再生する。
【００８４】
ステップＳ１０５において、オペレータによって、映像データＡおよび映像データＢに付加情報を付加する指示が入力されると、付加情報制御手段２４は、そのポインタの座標の示す映像データＡの位置および映像データＢの位置を取得する。さらに付加情報制御手段２４は、オペレータの指示によって、付加情報データ１３および付加情報制御データ１４を更新する。
【００８５】
ここで、図６のステップＳ１０１ないしステップＳ１０５の処理は、オペレータの操作によって、随時繰り返される。
【００８６】
次に、図７を参照して、図６のマップ付加情報表示処理を説明する。
【００８７】
まずステップＳ２０１において、時間軸対応関係マップ表示手段２３は、シーン定義データ１２および付加情報制御データ１４から、映像データＡおよび映像データＢに関連する情報を取得する。
【００８８】
ステップＳ２０２において、時間軸対応関係マップ表示手段２３は、映像データＡの時間長をＸ軸に対応づけ、映像データＢの時間長をＹ軸に対応づけて、二次元の座標系で表示する。時間軸対応関係マップ表示手段２３は、表示装置４０に、左上を０とした二次元の直交座標系を生成する。Ｘ軸の座標を映像データＡの始点から終点と定義し、Ｙ軸の座標を映像データＢの始点から終点と定義する。Ｘ軸とＹ軸の縮尺は不等でもよく、表示装置４０の縦横比や、映像データの時間長にあわせて見やすいように設定されても良い。また、オペレータが手動で調整しても良い。
【００８９】
ステップＳ２０３において、時間軸対応関係マップ表示手段２３は、映像データＡおよび映像データＢの各シーンについて、サムネイルを座標軸の対応する位置に表示する。さらに、時間軸対応関係マップ表示手段２３は、各シーンの開始位置および終了位置に対応した位置に罫線１１０を設ける。時間軸対応マップ表示部１０１を２軸の直交座標系とした場合、罫線１１０によって座標系はマス目状に区切られる。それぞれのマス目は、映像データＡのあるシーンと、映像データＢのあるシーンとの組み合わせを示す。
【００９０】
以上の処理により、図１に示す画面の各要素のうち、各シンボルが表示されない画面のデータが生成される。
【００９１】
ステップＳ２０４において付加情報制御手段２４は、時間軸対応マップ表示部１０１上の、付加情報が付加された時間やシーンに対応した位置に、シンボルを表示する。付加情報制御手段２４は、映像データＡおよび映像データＢのアノテーション情報が付加された位置に対応する座標に、アノテーション情報付加点１３０を表示する。また、付加情報制御手段２４は、映像データＡおよび映像データＢの対応情報が付加された位置に対応する座標に、対応情報付加点１２０を表示する。ここで、対応情報付加点は、「●マーク」をシンボルとし、アノテーション情報付加点は、「★マーク」をシンボルとする。また、付加情報制御手段２４は、映像データＡおよび映像データＢの対応するシーンを示す領域に、矩形枠１４１または１４２を表示する。
【００９２】
以上の処理により、図１に示す画面のデータが生成される。
【００９３】
（表示画面）
図８ないし図１４を参照して、本発明の実施の形態に係る映像データ処理装置１が表示する画面の例を説明する。
【００９４】
図８は、画像データＡおよび画像データＢを同時にシークする画面である。例えば、オペレータが付加情報を付加する位置を検索するために、時間軸対応マップ表示部１０１にマウスをかざす。複数映像同時シーク手段２２は、オペレータの操作に従って、入力装置５０が指示するポインタの座標に基づいて、映像データＡおよび映像データＢを同時にシークする画面を表示する。
【００９５】
図８のポインタ１５１は、オペレータが入力装置５０で指示した座標である。映像データＡ表示部１５２は、ポインタ１５１のＸ座標が示す映像データＡのフレーム画像データを表示する。映像データＢ表示部１５３は、ポインタ１５１のＹ座標が示す映像データＢのフレーム画像データを表示する。オペレータが、ポインタ１５１の位置を変更するのに伴って、複数映像同時シーク手段２２は、映像データＡ表示部１５２および映像データＢ表示部１５３が表示するフレーム画像データを、動的に変更する。複数映像同時シーク手段２２は、映像データＡおよび映像データＢについて、変更されたポインタ１５１の座標に対応するそれぞれのフレーム画像データを表示する。このとき表示するフレーム画像データは、式（１）および式（２）によりそれぞれ決定される。
【００９６】
オペレータは、付加情報を付加する映像データＡの位置を決定した後、それに対応する映像データＢの位置を決定する場合がある。オペレータが、例えばキーボードのシフトキーを押下しながらマウスを動かすと、映像データ処理装置１が、Ｘ軸方向またはＹ軸方向のいずれかにのみポインタを移動させるように制御するのが好ましい。
【００９７】
例えばオペレータが、シフトキーを押下しながらＸ軸方向にマウスを動かすと、複数映像同時シーク手段２２は、ポインタ１５１のＸ座標が示す画像データＡのフレーム画像データを動的に変更して、映像データＡ表示部１５２に表示する。一方、映像データＢ表示部１５３に表示されるフレーム画像データは、変化しない。同様に、オペレータが、シフトキーを押下しながらＹ軸方向にマウスを動かすと、複数映像同時シーク手段２２は、ポインタ１５１のＹ座標が示す画像データＢのフレーム画像データを動的に変更して、映像データＢ表示部１５３に表示する。一方、映像データＡ表示部１５２に表示されるフレーム画像データは、変化しない。このような制御により、オペレータは、映像データＡと映像データＢの対応するフレーム画像データを、容易に見つけることができる。
【００９８】
また、オペレータが、映像データＡサムネイル群表示部１０２および映像データＢサムネイル群表示部１０３上のいずれかの位置を選択することにより、複数映像同時シーク手段２２は、その位置に対応する映像データのフレーム画像データのみを表示しても良い。例えば図９において、映像データＢサムネイル群表示部１０２の上から３番目のシーンのサムネイルが選択されている。従って、図９の映像データ表示部１６１に、選択されたサムネイルを表示する。さらに、オペレータがマウスを操作して、映像データＢサムネイル群表示部１０２上をポインタが移動すると、複数映像同時シーク手段２２は、ポインタのＹ座標に対応するフレーム画像データを、映像データ表示部１６１に表示する。このとき表示されるフレーム画像データは、ポインタの位置に基づいて、式（２）により決定される。
【００９９】
また、オペレータが時間軸対応マップ表示部１０１に表示されたシンボルにポインタを移動させると、時間軸対応関係マップ表示手段２３は、そのシンボルの情報を表示する。例えば、図１０に示すように、ポインタがアノテーション情報付加点１７１に近づくと、時間軸対応関係マップ表示手段２３は、このアノテーション情報付加点１７１に対応するアノテーション情報を、アノテーション表示部１７２に表示する。さらに、時間軸対応関係マップ表示手段２３は、この点から同期再生させるためのコマンド選択部１７３を表示する。
【０１００】
図１０に示すコマンド選択部１７２が選択され、同期再生の指示が入力されると、再生手段２１は、映像データＡおよび映像データＢを、それぞれ再生する。このときの再生開始位置は、ポインタ１７１の位置に基づいて、式（１）および式（２）によりそれぞれ決定される。
【０１０１】
図１に示す例で、アノテーション情報付加点１４３、矩形枠１４１および矩形枠１４２に示したように、アノテーション情報が、映像データＡの複数のシーンと映像データＢの複数のシーンの対応に対して付加された場合、図１１に示すように、これらのシーンを順に同期再生する選択肢１８１が表示されても良い。映像再生手段２１は、図５（ｂ）に示す付加情報対応データ１４ａから、アノテーション情報付加点１４３で対応づけられる第１の対応付加情報ＩＤと、第２の対応付加情報ＩＤとを取得する。映像再生手段２１は、第１の対応付加情報ＩＤに従って画像データＡの第４のシーンと画像データＢの第３のシーンとを同期して再生させた後、第２の対応付加情報ＩＤに従って画像データＡの第３のシーンと画像データＢの第４のシーンとを同期して再生する。
【０１０２】
このとき、図１２に示すようにそれぞれの映像データの再生画面に、映像再生手段２１は、この再生映像に付加されたアノテーション情報を表示しても良い。図１２に示す例では、アノテーション情報付加点１９１の示す再生位置から、映像データＡと映像データＢが、それぞれ、映像データＡ表示部１９２および映像データＢ表示部１９３で、同期再生される。この再生に伴って、アノテーション表示部１９４に、アノテーション情報付加点１９１に対応するアノテーション情報が表示される。図１２に示す画面において、さらに、映像データＡおよび映像データＢそれぞれの注視すべき箇所をそれぞれ二重丸で囲い、それぞれの注視箇所とアノテーション表示部１９６とが対応づけて表示されている。
【０１０３】
このように、複数の映像データに同時にアノテーション情報を付加し、同期して再生することにより、本発明の実施の形態に係る映像データ処理装置１は、複数の映像データの違いを、容易に視聴者に認識させることができる。なお、映像再生手段２１は、アノテーション情報を表示することなく、映像データＡおよび映像データＢを同期して再生しても良い。
【０１０４】
図１３は、付加情報を付加する画面を説明する。図１３に示す画面において、ポインタ２０１が示す画像データＡのデータが、映像データＡ表示部２０２に表示される。また、ポインタ２０１が示す画像データＢのデータが、映像データＢ表示部２０３に表示される。この映像データＡ表示部２０２および映像データＢ表示部２０３は、それぞれ、映像データＡおよび映像データＢの動画を再生しても良いし、フレーム画像データを表示しても良い。
【０１０５】
映像再生手段２１は、さらに、ポインタ２０１に対応づけて、コマンド選択部２０４を、表示する。このコマンド選択部２０２は、同期再生するコマンド、この時間に対応情報を付加するコマンド、およびこの時間にアノテーションを付加するコマンドを表示する。
【０１０６】
オペレータによって対応情報を付加するコマンドや、アノテーション情報を付加するコマンドが選択されると、付加情報制御手段２４は、新たな付加情報ＩＤを採番し、ポインタ２０１の座標と式（１）および式（２）に基づいて、映像データＡの位置情報および映像データＢの位置情報を取得する。付加情報制御手段２４は、新たな情報ＩＤと、取得した位置情報を対応づけて、付加情報データ１３および付加情報制御データ１４を更新する。アノテーションを付加するコマンドが選択された場合、付加情報制御手段２４は、アノテーションを入力するテキストボックスを表示し、テキストボックスに入力されたアノテーション情報と、新たな付加情報ＩＤとを対応づけて、付加情報データ１３を更新する。
【０１０７】
図１４は、オペレータが、映像データＡおよび映像データＢのそれぞれ任意の区間を選択した場合を示す。付加情報制御手段２４は、新たな付加情報ＩＤを採番する。付加情報制御手段２４は、オペレータによって選択された選択区間２１１の四隅の座標を取得し、式（１）および式（２）に基づいて、映像データＡにおける選択区間２１１の開始時間および長さ、映像データＢにおける選択区間２１１に対応する開始時間および長さを算出する。付加情報制御手段２４は、新たな付加情報ＩＤと、各開始時間および長さを対応づけて、付加情報データ１３および付加情報制御データ１４を更新する。さらに、アノテーションを付加するコマンドが選択された場合、付加情報制御手段２４は、アノテーションを入力するテキストボックスを表示し、テキストボックスに入力されたアノテーション情報と、新たな付加情報ＩＤとを対応づけて、付加情報データ１３を更新する。
【０１０８】
また、図１４に示す画面はさらに、映像データＡ表示部２１２および映像データＢ表示部２１３を備え、それぞれ選択区間２１１の映像データを表示する。図１４に示す画面はさらに、この選択区間２１１に対するコマンドを選択するための、コマンド選択部２１４も表示する。
【０１０９】
図１４では、任意の区間を選択する場合を説明したが、図１の矩形枠１４１または１４２のように、所定のシーンを選択して、選択されたそれぞれのシーンに、付加情報を付加しても良い。また、図１の矩形枠１４１、１４２およびアノテーション情報付加点１４３のように、時間的に不連続な複数の時間または複数のシーンを指定して、アノテーション情報を付加しても良い。
【０１１０】
以上説明したように、本発明の実施の形態に係る映像データ処理装置１は、２つの映像データを同時にシークするにあたり、そのシークバーを二次元化した。具体的には時間軸対応関係マップ表示手段２３は、図１に示すように、２つの映像データのそれぞれの時間長を、画面のＸ軸およびＹ軸に対応して、二次元の座標系で表示する。これにより、複数映像同時シーク手段２２は、ポインタの座標によって２つの映像データを同時にシークすることができる。また映像データ処理装置１は、オペレータによる１回の操作で２つの映像データのシークを可能とする。
【０１１１】
従来、通常のビデオブラウザシステムなどにおいて、一つの映像データの再生フレームに対応して一つのシークバーが設けられていた。従って、２つの映像データを同期再生する場合、それぞれの映像データについて、映像データを再生する領域にポインタを移動し、シークバーを操作して再生したいシーンおよび時間をシークする作業を、繰り返さなければならなかった。
【０１１２】
これに対し、本発明の実施の形態に係る映像データ処理装置１は、２つの映像データを１回のポインタの移動によってシークできるので、２つの映像データを同期再生したい部分の探索に要する作業の効率が向上する。また従来、２つの映像データを同時にシークする場合、２つのシークバーを用意してそれぞれ操作する必要があったが、本発明の実施の形態によれば、１度の操作で同期再生できる点で優れている。さらに、ポインタの位置で２つの映像データの再生位置を調整することができるので、従来のシークバーの操作感覚を維持している。
【０１１３】
さらに本発明の実施の形態に係る映像データ処理装置１は、複数の映像データの対応関係を二次元座標に表示するので、映像データの多様な比較検討が可能になる。映像データ処理装置１は、２つの映像データ全体の情報を、二次元座標に対応づけて表示するので、２つの映像データ間の対応関係を分かりやすく可視化することができる。
【０１１４】
また、本発明の実施の形態に係る映像データ処理装置１は、複数の映像データに対して同時に付加情報を付加することができる。具体的には、時間軸対応マップ表示部１０１は、２つの映像データのそれぞれの位置を、二次元座標として一点で表現することができる。従って時間軸対応関係マップ表示手段２３は、オペレータが所望の時間またはシーンに対応する、時間軸対応マップ表示部１０１上の座標を指示することにより、２つの映像データのそれぞれの時間に、付加情報を付加する。
【０１１５】
従来オペレータは、映像データを一つずつ見ながら、付加情報を付加した位置で一時停止して、付加情報を付加していた。あるいはオペレータは、付加情報を付加する映像データをすべてピックアップしてから、入力していた。従って、オペレータは、付加情報を付加する映像を特定し付加情報を付加するための、時間や手間を要していた。
【０１１６】
これに対し、本発明の実施の形態に係る映像データ処理装置１は、複数の映像データの所定の位置に、同時に付加情報を付加することができる。また、複数の映像データの任意の領域に、同時に付加情報を付加することができる。これにより、複数の映像データの中から対応する部分を結びつけることが重要となる、複数の映像データを比較検討する際に好適である。
【０１１７】
本発明の実施の形態に係る映像データ処理装置１は、２つの映像データについて、既に付加情報が付加された時間やシーンについて、シークされた画面を同時に表示する。また、映像データ処理装置１は、付加情報が付加された時間やシーンから、２つの映像データを同期的に再生できる。これによって、他人や過去の自分が定義した「映像間で対応のある区間」を明示することができるので、「映像間で対応のある区間」に、誰でも容易にアクセスすることができる。
【０１１８】
このような映像データ処理装置１は、時間軸対応マップ表示部１０１に付加情報が付加された時間やシーンを表示することにより、２つの映像データの時間軸の対応点を一覧表示することができる。
【０１１９】
例えば、熟練者と研修生が、複数の手順を含む作業を行った模様を、それぞれ映像データＡおよび映像データＢとして撮影する。この映像データＡおよび映像データＢについて、それぞれ手順の単位でシーンを定義して、本発明の実施の形態に係る映像データ処理装置１に適用して表示する。これにより、視聴者は、ある一つの手順について熟練者と研修生の技術の違いを比較して、検討することができる。
【０１２０】
本発明の実施の形態に係る時間軸対応マップ表示部１０１において、付加情報を二次元の座標系でマッピングして表示しているので、すべての手順の順序が整合していれば付加情報のシンボルは、左上から右下に斜めに直線上に並ぶと想定される。そのため作業速度の乱れや手順の順序の相違があった場合、付加情報のシンボルの並びの歪みや外れ位置などにあらわれる。従って時間軸対応マップ表示部１０１に表示されるシンボルの位置により、熟練者と研修生の手順の相違が浮き彫りになる。このように本発明の実施の形態に係る映像データ処理装置１は、複数の映像データにおける手順の相違などを、俯瞰的な視点からの分析することが容易になる。
【０１２１】
（その他の実施の形態）
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。
【０１２２】
例えば、本発明の実施の形態に記載した映像データ処理装置１は、図２に示すように一つのハードウェア上に構成されても良いし、その機能や処理数に応じて複数のハードウェア上に構成されても良い。また、既存の情報処理システム上に実現されても良い。
【０１２３】
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【符号の説明】
【０１２４】
１ 映像データ処理装置
１０ 記憶装置
１１ 映像データ群記憶部
１２ シーン定義データ
１３ 付加情報データ
１４ 付加情報制御データ
１４ａ 付加情報対応データ
２０ 中央処理制御装置
２１ 映像再生手段
２２ 複数映像同時シーク手段
２３ 時間軸対応関係マップ表示手段
２４ 付加情報制御手段
３０ 入出力インタフェース
４０ 表示装置
５０ 入力装置
１０１ 時間軸対応マップ表示部
１０２ 映像データＡサムネイル群表示部
１０３ 映像データＢムネイル群表示部
１１０ 罫線
１２０ 対応情報付加点
１３０、１９１ アノテーション情報付加点
１５１ ポインタ
１５２、１９２、２０２、２１２ 映像データＡ表示部
１５３、１９３、２０３、２１３ 映像データＢ表示部
１６１ 映像データ表示部
１７２、１９４ アノテーション表示部
１７３、２０４、２１４ コマンド選択部
２１１ 選択区間
【技術分野】
【０００１】
本発明は、複数の映像データを処理する映像データ処理方法、映像データ処理装置および映像データ処理プログラムに関する。
【背景技術】
【０００２】
一般的に、映像データに情報を付加して映像データを活用し、協調的に知識を分析し、蓄積する技術が知られている（例えば、非特許文献１および非特許文献２）。非特許文献１および非特許文献２において、例えば文字情報などのアノテーション情報が、映像データの所定の時間やシーンに、付加される。
【０００３】
非特許文献１に記載の技術は、作業者が作業する様子を撮影した映像データを、手順の区切りなどに基づいて複数のシーンに分割し、そのシーンにコメントや描画情報を付加する。付加されたコメントや描画情報は、映像データの再生時に同期して動的に表示される。非特許文献１に記載の技術によれば、協調的な学習や映像データに含まれる知識の共有を支援することができる。
【０００４】
非特許文献２に記載の技術は、特に、複数の映像シーンを引用して、アノテーション情報を付加する技術を開示している。非特許文献２に記載の技術は、複数の映像から必要なシーンを抜粋してトピックとしてまとめ、各シーンの共通点や採点などをコメントとしてトピックに紐づける。非特許文献２に記載の技術によれば、複数の映像にまたがった知識の発見や議論を可能とすることができる。
【０００５】
このような非特許文献１および非特許文献２に記載の技術は、シーンや時間に焦点を当て、被写体の技能や事象を分析し、映像データにアノテーションを付加する。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】東 正造・寺中 晶郁・嶌田 聡・小島 明、”映像中のナレッジ発見・共有を想定したシステムの開発”、電子情報通信学会技術研究報告 コミュニケーションクオリティ, Vol.108, No.215, pp.99-104, 2008
【非特許文献２】宮下 広夢・嶌田 聡・小島 明、”複数の映像シーンに基づくノウハウ発見・共有支援手法の検討”、電子情報通信学会技術研究報告, Vol.110, No.453, pp.281-286, 2011
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記非特許文献１および非特許文献２に記載の技術について、複数の映像データに対して、一度の操作で、任意の再生位置に情報を付加することはできない。例えば、非特許文献２は、複数のシーンを処理対象とするものの、引用したシーンに限定して、発見や議論を可能とすることを想定している。従って、非特許文献２に記載の技術は、複数の映像データについて、全体を俯瞰して比較したり、シーン群の組み合わせや順序などの対応関係を参照して分析することができない。
【０００８】
従来の手法においては、まず、複数の映像データに対して、再生を制御したり、アノテーション情報を付加する手間が煩雑な問題がある。具体的には、複数の映像データを視聴する際、それぞれ別の画面で再生されるので、オペレータは個々の画面の再生ボタンなどを操作する必要がある。また、複数の映像データから比較したいシーンを選択するため、オペレータは、両方の映像データを見比べるために、個々の画面のシークバーなどを操作する必要があるので、オペレータの手間が煩雑になる。
【０００９】
さらに、複数の映像データに対して同時にアノテーション情報を付加することができない問題がある。従って、オペレータは、個々の映像データを比較して、それぞれの映像データにアノテーションを付加するか、あるいは、それぞれの映像データから、アノテーションを付加するシーンをトピック化した後、アノテーション情報を付加する必要がある。これらの手間は、オペレータにとって負担である。特に複数の映像データを比較して検討する場合、対象とする映像データをそれぞれ再生するので、処理対象の映像の時間長が増えてしまう問題がある。
【００１０】
さらに、複数の映像データの対応関係が分かりづらい問題がある。具体的には、アノテーション情報は、一つの映像データの一つのシーンや一区間の時間長に対して、紐づけられている。従って、映像データのシークバーに重ねて、この映像データのアノテーション情報の種類や量を表示することにより、映像データ全体について、どこに注目すべき区間があるのか、アノテーション情報が付加されているのかを、容易に概観できる。しかし、複数の映像データについて同様に表示しようとしても、互いにどの区間が比較されているのかが不明である。従って、映像データ全体として俯瞰したとしても、アノテーションの対応関係を把握しづらい問題がある。
【００１１】
従って本発明の目的は、複数の映像データを対応づけて容易に処理することを可能とする映像データ処理方法、映像データ処理装置および映像データ処理プログラムを提供することである。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の第１の特徴は、複数の映像データを処理する映像データ処理方法に関する。第１の特徴に係る映像データ処理方法は、第１の映像データおよび第２の映像データを記憶するとともに、映像データの識別子と、当該映像データのシーンの識別子と、当該シーンの区間情報とを対応づけたシーン定義データを記憶装置に記憶するステップと、第１の軸に、第１の映像データの各シーンの識別子を表示するとともに、第２の軸に、第２の映像データの各シーンの識別子を表示し、第１の映像データの任意の時間および第２の映像データの任意の時間を、第１の軸の座標値と第２の軸の座標値とを対応づけて指定可能な時間軸対応マップ表示部を、表示装置に表示するステップを備える。
【００１３】
第１の映像データから、時間軸対応マップ表示部において指定された第１の軸の座標値に対応するフレーム画像データを抽出して表示するとともに、第２の映像データから、時間軸対応マップ表示部において指定された第２の軸の座標値に対応するフレーム画像データを抽出して表示するステップをさらに備えても良い。
【００１４】
付加情報の識別子と、当該付加情報が付加された第１の映像データにおける第１の位置情報と、当該付加情報が付加された第２の映像データにおける第２の位置情報と、を対応づけた付加情報制御データを、記憶装置に記憶するステップと、記憶装置から付加情報制御データを読み出して、時間軸対応マップ表示部において、第１の位置情報を第１の軸における座標値とし、第２の位置情報を第２の軸における座標値とする位置に、当該付加情報が付加されたことを示すシンボルを表示するステップをさらに備えても良い。
【００１５】
本発明の第２の特徴は、複数の映像データを処理する映像データ処理装置に関する。第２の特徴に係る映像データ処理装置は、第１の映像データおよび第２の映像データを記憶するとともに、映像データの識別子と、当該映像データのシーンの識別子と、当該シーンの区間情報とを対応づけたシーン定義データを記憶する記憶装置と、第１の軸に、第１の映像データの各シーンの識別子を表示するとともに、第２の軸に、第２の映像データの各シーンの識別子を表示し、第１の映像データの任意の時間および第２の映像データの任意の時間を、第１の軸の座標値と第２の軸の座標値とを対応づけて指定可能な時間軸対応マップ表示部を、表示装置に表示する時間軸対応関係マップ表示手段を備える。
【００１６】
第１の映像データから、時間軸対応マップ表示部において指定された第１の軸の座標値に対応するフレーム画像データを抽出して表示するとともに、第２の映像データから、時間軸対応マップ表示部において指定された第２の軸の座標値に対応するフレーム画像データを抽出して表示する複数映像同時シーク手段をさらに備えても良い。
【００１７】
記憶装置はさらに、付加情報の識別子と、当該付加情報が付加された第１の映像データにおける第１の位置情報と、当該付加情報が付加された第２の映像データにおける第２の位置情報と、を対応づけた付加情報制御データを記憶し、記憶装置から付加情報制御データを読み出して、時間軸対応マップ表示部において、第１の位置情報を第１の軸における座標値とし、第２の位置情報を第２の軸における座標値とする位置に、当該付加情報が付加されたことを示すシンボルを表示する付加情報制御手段をさらに備えても良い。
【００１８】
本発明の第３の特徴は、コンピュータに本発明の第１の特徴に記載のステップを実行させるための映像データ処理プログラムに関する。
【発明の効果】
【００１９】
本発明によれば、複数の映像データを対応づけて容易に処理することを可能とする映像データ処理方法、映像データ処理装置および映像データ処理プログラムを提供することができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、本発明の実施の形態に係る映像データ処理装置が表示する画面の一例を説明する図である。
【図２】図２は、本発明の実施の形態に係る映像データ処理装置のハードウェア構成および機能ブロックを説明する図である。
【図３】図３は、本発明の実施の形態に係るシーン定義データのデータ構造とデータの一例を説明する図である。
【図４】図４は、本発明の実施の形態に係るアノテーションデータのデータ構造とデータの一例を説明する図である。
【図５】図５（ａ）は、本発明の実施の形態に係る付加情報制御データのデータ構造とデータの一例を説明する図で、図５（ｂ）は、本発明の実施の形態に係る付加情報対応データのデータ構造とデータの一例を説明する図である。
【図６】図６は、本発明の実施の形態に係る映像データ処理方法を説明するフローチャートである。
【図７】図７は、本発明の実施の形態に係る時間軸対応関係マップ表示処理を説明するフローチャートである。
【図８】図８は、本発明の実施の形態に係る映像データ処理装置が、複数の映像データを同時にシークする画面の一例である。
【図９】図９は、本発明の実施の形態に係る映像データ処理装置が、一つの映像データをシークする画面の一例である。
【図１０】図１０は、本発明の実施の形態に係る映像データ処理装置が、所定のアノテーション情報付加点について、アノテーション情報と、同期再生するコマンドを表示する画面の一例である。
【図１１】図１１は、本発明の実施の形態に係る映像データ処理装置が、複数のアノテーション付加区間について、アノテーション情報と、順に同期再生するコマンドを表示する画面の一例である。
【図１２】図１２は、本発明の実施の形態に係る映像データ処理装置が、複数の映像の区間を同期再生する際に、アノテーション情報を表示する画面の一例である。
【図１３】図１３は、本発明の実施の形態に係る映像データ処理装置が、所定のポイントから同期再生するコマンドと、このポイントに対応する時間に付加情報を付加するコマンドを表示する画面の一例である。
【図１４】図１４は、本発明の実施の形態に係る映像データ処理装置が、任意の区間を同期再生するコマンドと、この区間に対応する時間に付加情報を付加するコマンドを表示する画面の一例である。
【発明を実施するための形態】
【００２１】
次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。
【００２２】
（概要）
本発明の実施の形態に係る映像データ処理装置１は、複数の映像データを処理する。映像データ処理装置１は、例えば、映像データＡと映像データＢの二種類の映像データを俯瞰して表示することができる。また映像データ処理装置１は、一度の操作で、映像データＡおよび映像データＢに、付加情報を付加することができる。ここで付加情報とは、対応情報や、アノテーション情報である。対応情報は、映像データＡの所定位置と映像データＢの所定位置の対応関係を示す情報である。アノテーション情報は、映像データＡの所定位置と映像データＢの所定位置に対して付与されたコメント等の情報である。
【００２３】
本発明の実施の形態において、映像データＡは、例えば、熟練者が、複数の手順を経て作業する様子を撮影したデータであって、映像データＢは、例えば、研修者が、熟練者と同様の作業する様子を撮影したデータである。熟練者の作業と、研修者の作業とでは、細かな点で違いがあるので、映像データ処理装置１は、この違いを比較検討しやすいように、映像データＡおよび映像データＢに、所定のタイミングを対応づけて付加情報を付したり同期再生する。また、熟練者が作業する手順と、研修者が作業する手順とでは、その手順の順番が異なる場合もある。そこで映像データ処理装置１は、作業の手順をシーンとして定義し、シーンの順番が異なることを視覚的に表現する。
【００２４】
図１を参照して、本発明の実施の形態に係る映像データ処理装置１が表示する画面の一例を説明する。図１に示す表示画面は、時間軸対応マップ表示部１０１と、映像データＡサムネイル群表示部１０２と、映像データＢサムネイル群表示部１０３を備える。
【００２５】
映像データＡサムネイル群表示部１０２は、Ｘ軸方向（横軸方向）に、映像データＡの各シーンのサムネイルを時系列で表示する。映像データＢサムネイル群表示部１０３は、Ｙ軸方向（縦軸方向）に、映像データＢの各シーンのサムネイルを時系列で表示する。ここで、シーンとは、映像データの意味的な区切りである。映像データが、複数の手順を経て作業する様子を撮影したデータの場合、例えば、それぞれの手順を示す区間がシーンとなる。また、意味的な区切りに関係なく、一定時間ごとの区切りをシーンとしても良い。
【００２６】
映像データＡサムネイル群表示部１０２は、図１に示す画面の左から右に、映像データＡの時系列の各シーンのサムネイルを表示する。映像データＡサムネイル群表示部１０２は、左から、一つ目のシーン（シーンＩＤ”ｓ００１”）のサムネイル、二つ目のシーン（シーンＩＤ”ｓ００２”）のサムネイル・・・と並べて表示する。
【００２７】
映像データＢサムネイル群表示部１０３は、図１に示す画面の上から下に、映像データＢの時系列の各シーンのサムネイルを表示する。映像データＢサムネイル群表示部１０３は、上から、一つ目のシーン（シーンＩＤ”ｓ００１”）のサムネイル、二つ目のシーン（シーンＩＤ”ｓ００２”）のサムネイル・・・と並べて表示する。
【００２８】
時間軸対応マップ表示部１０１は、映像データＡサムネイル群表示部１０２と映像データＢサムネイル群表示部１０３の内角の領域に設けられる。オペレータは、時間軸対応マップ表示部１０１内のいずれかの位置を指定することにより、映像データＡの所定の時間と映像データＢの所定の時間とを、一度の操作で指定することができる。
【００２９】
図１に示す例では、各サムネイルは同じサイズを有し、罫線１１０は均等に設けられているが、この例に限られない。映像データ処理装置１は、各映像データのシーンの時間長にあわせて、サムネイルのサイズや罫線の間隔を任意に設けても良い。
【００３０】
時間軸対応マップ表示部１０１は、映像データＡの開始から終了までの各時間と、映像データＢの開始から終了までの各時間を指定することができる。例えば、映像データＡの時間長をＡｄ、映像データＢの時間長をＢｄ、時間軸対応マップ表示部１０１の表示領域のＸ軸方向のサイズがＬｘ、Ｙ軸方向のサイズがＬｙとする。この場合、図１の時間軸対応マップ表示部１０１の左上の座標を（０，０）とすると、右下の座標は（Ｌｘ、Ｌｙ）である。
【００３１】
ここで、時間軸対応マップ表示部１０１の座標（Ｐｘ，Ｐｙ）が選択されると、この選択された位置に対応する映像データＡの時間Ａｔ、映像データＢの時間Ｂｔは、以下のように算出される。
【００３２】
Ａｔ＝Ａｄ／Ｌｘ×Ｐｘ ・・・式（１）
Ｂｔ＝Ｂｄ／Ｌｙ×Ｐｙ ・・・式（２）
このように、時間軸対応マップ表示部１０１のいずれかの座標を選択することにより、オペレータは、映像データＡの時間Ａｔと、映像データＢの時間Ｂｔとを同時に指定することができる。
【００３３】
時間軸対応マップ表示部１０１は、映像データＡのシーンの区切りと、映像データＢのシーンの区切りに罫線１１０を設ける。オペレータは、時間軸対応マップ表示部１０１内の罫線１１０で区切られた領域を指定することにより、映像データＡの所定のシーンと映像データＢの所定のシーンとを、一度の操作で指定することができる。
【００３４】
オペレータが、時間軸対応マップ表示部１０１の任意の位置を選択すると、映像データ処理装置１は、式（１）および式（２）から、映像データＡの時間と、映像データＢの時間を算出する。またオペレータは選択した位置に対応して付加情報を付与する指示を与えると、映像データ処理装置１は、この位置に対応する映像データＡの時間と、映像データＢの時間に対して、付加情報を対応づけて記憶する。また映像データ処理装置１は、映像データＡおよび映像データＢのシーンに対しても、付加情報を対応づけて記憶することができる。
【００３５】
このようにオペレータによって付加された付加情報は、時間軸対応マップ表示部１０１に表示される。映像データ処理装置１は、式（１）および式（２）に基づいて、映像データＡの時間Ａｔおよび映像データＢの時間Ｂｔから、時間軸対応マップ表示部１０１の座標（Ｐｘ，Ｐｙ）を算出する。映像データ処理装置１は、この算出された座標（Ｐｘ，Ｐｙ）に、付加情報が付加されたことを示すシンボルを表示する。
【００３６】
図１に示す例で、「●マーク」は、対応情報付加点１２０である。対応情報付加点１２０は、対応情報付加点１２０のＸ軸座標が示す映像データＡの時間と、対応情報付加点１２０のＹ軸座標が示す映像データＢの時間とが、オペレータによって対応づけられたことを示す。対応点は、映像データＡと映像データＢとのそれぞれの任意の時間を対応づけるために設けられる。対応点は、例えば、オペレータが後からアノテーションを付加するための目印としたり、比較対象となるフレーム画像データを表示するための目印となる。映像データ処理装置１は、アノテーション情報付加点１３０の近傍にマウスのポインタなどが重ねられると、この位置にアノテーションを付加するコマンドを表示しても良い。また映像データ処理装置１は、映像データＡおよび映像データＢを、それぞれこの時間から同期再生するコマンドを表示しても良い。
【００３７】
「★」マークは、アノテーション情報付加点１３０である。アノテーション情報付加点１３０は、アノテーション情報付加点１３０のＸ軸座標が示す映像データＡの所定の時間と、アノテーション情報付加点１３０のＹ軸座標が示す映像データＢの所定の時間に、オペレータによって同じアノテーション情報が付加されたことを示す。アノテーション情報付加点１３０の近傍にマウスのポインタなどが重ねられると、映像データ処理装置１は、この位置に付加されたアノテーション情報を表示しても良い。また映像データ処理装置１は、映像データＡおよび映像データＢを、それぞれこの時間から同期再生するコマンドを表示しても良い。
【００３８】
映像データＡおよび映像データＢについて、同じ手順でシーンが展開されている場合、映像データＡと映像データＢのそれぞれ３番目のシーンは同じ手順を示し、映像データＡと映像データＢのそれぞれ４番目のシーンは同じ手順を示す。従って、時間軸対応マップ表示部１０１の左上から右下の対角線上に、映像データＡと映像データＢの同様の手順が対応づけられることになる。
【００３９】
しかしながら、映像データＡと映像データＢにおいて、３番目および４番目のシーンが入れ替わった場合も、映像データ処理装置１は、その対応関係を表示することができる。図１に示す例において、矩形枠１４１および矩形枠１４２の近傍に、アノテーション情報付加点１４３が設けられている。アノテーション情報付加点１４３は、矩形枠１４１の示す映像データＡのシーンおよび映像データＢのシーンと、矩形枠１４２の示す映像データＡのシーンおよび映像データＢのシーンとを対応づけ、アノテーションが付加されたことを示す。アノテーション情報付加点１４３は、矩形枠１４１および矩形枠１４２の付近やこれらの中間座標に表示される。アノテーション情報付加点１４３は、矩形枠１４１および矩形枠１４２と対応づける様に表示されても良い。
【００４０】
映像データ処理装置１は、矩形枠１４１によって映像データＡの４番目のシーンと、映像データＢの３番目のシーンが同じ手順であることを示し、矩形枠１４２によって映像データＡの３番目のシーンと、映像データＢの４番目のシーンが同じ手順であることを示す。アノテーション情報付加点１４３は、これらの４つのシーンに、手順が入れ替わっていることを示すアノテーションが付加されたことを示す。映像データ処理装置１はさらに、矩形枠１４１に設けられた対応点１４４と、矩形枠１４２に設けられた対応点１４５とが、比較対象のポイントとなることも表示することができる。
【００４１】
図１に示す例では、２種類のマークと１種類の矩形枠を用いてシンボルを表示したが、アノテーションの種別や、シーンの種別などに応じて、さらに多くの種類のシンボルを用いて表現しても良い。また、映像データＡおよび映像データＢの時間を二次元座標上で一度に指定することができれば、時間軸対応マップ表示部１０１、映像データＡサムネイル群表示部１０２および映像データＢサムネイル群表示部１０３などの配置位置は問わない。
【００４２】
また、図１に示す例で、映像データＡサムネイル群表示部１０２および映像データＢサムネイル群表示部１０３にサムネイルを表示して、各映像データの各シーンを識別する場合を説明したが、これに限られない。映像データＡサムネイル群表示部１０２および映像データＢサムネイル群表示部１０３に、各シーンのサムネイルの代わりに、各シーンの名称や、手順の名称などを表示しても良い。
【００４３】
このように、実施の形態に係る映像データ処理装置１は、複数の映像データを俯瞰して検討しやすい画面を表示する。また映像データ処理装置１は、２つの映像データの時間を二次元座標で表現することにより、映像データ間の時間軸上の対応点や区間を分かりやすく表示することもできる。さらに映像データ処理装置１は、２つの映像データに同時にアノテーションを付加することもできる。これにより、映像データ処理装置１は、類似した複数の映像を比較検討しやすい操作画面を提供し、複数の映像データを対応づけて容易に処理することができる。
【００４４】
（映像データ処理装置）
図１を参照して、本発明の実施の形態に係る映像データ処理装置１を説明する。映像データ処理装置１は、一般的なコンピュータに所定の処理を実行するためのプログラムがインストールされ実行されることによって実現される。
【００４５】
映像データ処理装置１は、記憶装置１０、入出力インタフェース３０、表示装置４０および入力装置５０などを備える。
【００４６】
表示装置４０は、例えば液晶ディスプレイ装置である。表示装置４０は、中央処理制御装置２０の出力信号に基づいて、例えば図１に示すような画面を表示する。入力装置５０は、例えばキーボード、マウスである。入力装置５０は、中央処理制御装置２０に入力信号を入力する。入力装置５０は、例えば、図１に示す画像において、時間軸対応マップ表示部１０１上の座標やシーンを選択したり、アノテーション情報を入力するために用いられる。入出力インタフェース３０は、中央処理制御装置２０からの出力信号を表示装置４０に出力するとともに、入力装置５０からの入力信号を中央処理制御装置２０に入力する。
【００４７】
記憶装置１０は、ハードディスク、メモリなどであって、中央処理制御装置２０によって読み書きされるデータを保持する。記憶装置１０は、映像データ処理プログラムを記憶する。また、記憶装置１０は、映像データ群記憶部１１を備えるとともに、シーン定義データ１２、付加情報データ１３および付加情報制御データ１４を記憶する。映像データ処理プログラムを、映像データ処理装置１の中央処理制御装置２０が読み出し実行することによって、図２に示すように、中央処理制御装置２０に、映像再生手段２１、複数映像同時シーク手段２２、時間軸対応関係マップ表示手段２３および付加情報制御手段２４が実装される。
【００４８】
映像データ群記憶部１１は、映像データＡおよび映像データＢなどの、映像データ処理装置１の処理対象となる複数の映像データを記憶する。映像データ群記憶部１１に記憶された各映像データは、中央処理制御装置２０によって再生され、またはシークされる。映像データ群記憶部１１に、アップロードによって映像データが入力されても良いし、ストリーミングとして入力されても良い。
【００４９】
シーン定義データ１２は、映像データ群記憶部１１に記憶された映像データのシーンを定義するデータである。シーン定義データ１２は、図３に示すように、映像データ群記憶部１１に記憶される映像データの映像ＩＤ（映像データの識別子）と、当該映像データのシーンＩＤ（シーンの識別子）と、当該シーンの区間情報とを対応づけたデータである。区間情報は、映像データにおけるシーンの開始位置と終了位置とを対応づけたデータである。シーン定義データ１２が、各映像データおよび各シーンの開始位置および終了位置を対応づけるので、映像データ処理装置１は、シーン定義データ１２を参照して、映像データ全体の位置と、各シーンにおける位置とを相互に変換することができる。
【００５０】
図３に示す各シーンには、サムネイル画像名が対応づけられている。このサムネイル画像は、図１の映像データＡサムネイル群表示部１０２や映像データＢサムネイル群表示部１０３に表示される。サムネイルは、各シーンの一つフレーム画像データでも良いし、各シーンの複数のフレームから生成される短時間の動画データであっても良い。
【００５１】
本発明の実施の形態において、シーン定義データ１２は、予め作成され、記憶装置１０に記憶される。シーンの開始位置と終了位置を決定する方法として、様々な方法が考えられ、本発明の実施の形態においてその方法は問わない。例えば、既存のシーン定義アルゴリズムを用いて決定しても良いし、オペレータによって手動で決定しても良い。また、映像データを一定時間ごとに区切ることにより、各シーンの開始位置および終了位置を決定しても良い。既存のシーン定義アルゴリズムとして、“SceneCabinet:映像解析技術を統合した映像インデクシングシステム”（谷口行信ら, 電子情報通信学会論文誌. D-II, Vol.84, No.6, pp.1112-1121, 2001）などがある。
【００５２】
付加情報データ１３は、映像データ群記憶部１１の各映像データに付加される付加情報に関するデータである。ここで、付加情報は、２つの映像データの区間または時間の対応関係を示す対応情報や、２つの映像データに同時に付加されるアノテーション情報である。
【００５３】
付加情報データ１３は、図４に示すように、付加情報ＩＤ（付加情報の識別子）と、その付加情報のコメントと、当該付加情報を描画するための描画情報を対応づけたデータである。
【００５４】
付加情報がアノテーション情報の場合、コメントに、アノテーション情報を設定する。このアノテーション情報は、オペレータが、映像データに対して付加したドキュメントのデータである。一方、付加情報が映像データの対応情報の場合、コメントは、”ｎｕｌｌ”値を設定する。描画情報は、映像データを再生時にこのアノテーションを表示する際の効果に関する情報である。描画情報は、アノテーション情報を表示する位置を設定したり、「所定の位置を円で囲う」などを設定する情報である。付加情報が映像データの対応情報の場合、描画情報は、”ｎｕｌｌ”値を設定する。
【００５５】
付加情報制御データ１４は、付加情報ＩＤと、この付加情報が付加された映像データおよびその映像データにおける位置を対応づけたデータである。本発明の実施の形態においては特に、オペレータの一度の操作によって、複数の映像データに同時に付加情報を付加することを可能とする。従って、付加情報制御データ１４は、付加情報ＩＤ（付加情報の識別子）と、当該付加情報が付加された第１の映像データにおける第１の位置情報と、当該付加情報が付加された第２の映像データにおける第２の位置情報と、を対応づけたデータである。また、付加情報制御データ１４は、一つの付加情報ＩＤに、２つの映像データの３つ以上の位置情報を対応づけても良い。またこの位置情報は、映像データ上の一点を示す情報であっても良いし、区間を示す情報であっても良い。
【００５６】
図５に示す付加情報制御データ１４は、映像ＩＤ、シーンＩＤ、この映像データおよびシーンにおける時間、および長さによって、付加情報が付加される位置を特定する。この時間および長さは、映像データの再生フレームの数で表現しても良いし、再生時間で表現しても良い。
【００５７】
図５（ａ）に示す付加情報制御データ１４によって、複数の映像データのタイミングを対応づけ、シーンを対応づけることができる。例えば、付加情報ＩＤ”ａ００１”は、映像ＩＤ”ｖ００１”、シーン”ｓ００１”、および時間５と、映像ＩＤ”ｖ００２”、シーン”ｓ００２”および時間６とを対応づけていることを示す。また、付加情報ＩＤ”ａ００３”は、映像ＩＤ”ｖ００１”およびシーン”ｓ００４”と、映像ＩＤ”ｖ００２”およびシーン”ｓ００３”とを対応づけていることを示す。ここで、映像ＩＤ”ｖ００１”は、映像データＡの識別子で、映像ＩＤ”ｖ００２”は、映像データＢの識別子である。
【００５８】
図４に示す付加情報データ１３の付加情報ＩＤは、図５（ａ）に示す付加情報制御データ１４の付加情報ＩＤと対応する。例えば、付加情報ＩＤ”ａ００２”のアノテーション情報”ニッパーを正しく持ちましょう Ｂさんのように歯を・・・”は、映像ＩＤ”ｖ００１”、シーン”ｓ００２”、時間１８から長さ３の区間に付加されるとともに、映像ＩＤ”ｖ００２”、シーン”ｓ００２”、時間１７から長さ３の区間に付加される。このとき、図４に示す描画情報”ｖ００１（３０，４０）、ｖ００２（１０，１０）”に基づいて、アノテーション情報が付加される。
【００５９】
図５（ａ）に示す付加情報制御データ１４において、付加情報ＩＤどうしを対応づける場合、図５（ｂ）に示す付加情報対応データ１４ａを備える場合がある。付加情報対応データ１４ａは、例えば、図１２を参照して後述するように、異なる手順で作業された場合、その手順を連続的に再生したい場合に用いられる。
【００６０】
図５（ｂ）に示す付加情報対応データ１４ａは、付加情報ＩＤ“ａ００６”に、第１の対応付加情報ＩＤ“ａ００３”および第２の対応付加情報ＩＤ“ａ００５”を対応づけている。この場合、付加情報ＩＤ“ａ００６”は、第１の対応付加情報ＩＤ“ａ００３”に対応づけられる複数のシーンを同時に再生した後、第２の対応付加情報ＩＤ“ａ００５”に対応づけられる複数のシーンを連続的に再生することを示す。
【００６１】
第１の対応付加情報ＩＤ“ａ００３”および第２の対応付加情報ＩＤ“ａ００５”は、図５（ａ）に示す付加情報ＩＤ“ａ００３”および付加情報ＩＤ“ａ００５”にそれぞれ対応する。図５（ａ）において付加情報ＩＤ”ａ００３”は、映像ＩＤ”ｖ００１”およびシーン”ｓ００４”と、映像ＩＤ”ｖ００２”およびシーン”ｓ００３”とを対応づける。また、付加情報ＩＤ”ａ００５”は、映像ＩＤ”ｖ００１”およびシーン”ｓ００３”と、映像ＩＤ”ｖ００２”およびシーン”ｓ００４”とを対応づける。従って、付加情報ＩＤ“ａ００６”は、付加情報ＩＤ”ａ００３”は、映像ＩＤ”ｖ００１”のシーン”ｓ００４”と、映像ＩＤ”ｖ００２”のシーン”ｓ００３”とを同期再生した後、映像ＩＤ”ｖ００１”のシーン”ｓ００３”と、映像ＩＤ”ｖ００２”のシーン”ｓ００４”を同期再生することを示す。
【００６２】
図４および図５（ａ）に示すように、本発明の実施の形態においては、付加情報を付加する位置の情報と、付加情報の内容とを異なるテーブルで管理する。これにより、一つの付加情報を、複数の映像データおよびシーンに、容易に対応づけることができる。また、各映像データおよびシーンごとに、付加情報を付加する位置や長さを、適宜設定することができる。
【００６３】
また、図５（ｂ）に示すように、付加情報ＩＤどうしを対応づけることにより、複数のシーンを同期再生し、その後、異なる複数のシーンを同期再生することができる。これにより映像データ処理装置１は、作業手順が異なるシーンを連続的に同期再生することができる。
【００６４】
映像再生手段２１は、映像データ群記憶部１１から映像データを読み出し、再生して表示装置４０に表示する。映像再生手段２１は、映像データの先頭から再生しても良いし、指定された再生位置から再生しても良い。また、映像再生手段２１は、２つの映像データを同時に再生しても良い。映像再生手段２１は、オペレータが入力装置５０から入力した再生指示や同期再生指示などに基づいて、映像データを再生する。
【００６５】
オペレータが付加情報対応データ１４ａで指定される付加情報ＩＤについて再生指示を入力した場合、映像再生手段２１は、付加情報対応データ１４ａで、第１の対応付加情報ＩＤで対応づけられた複数のシーンを同期再生した後、第２の対応不可情報ＩＤで対応づけられた複数のシーンを同期再生する。
【００６６】
複数映像同時シーク手段２２は、２つの映像データのフレーム画像データを、同時にシークする。複数映像同時シーク手段２２は、映像データＡから、時間軸対応マップ表示部１０１において指定されたＸ軸の座標値に対応するフレーム画像データを抽出して表示装置４０に表示する。さらに複数映像同時シーク手段２２は、映像データＢから、時間軸対応マップ表示部１０１において指定されたＹ軸の座標値に対応するフレーム画像データを抽出して表示装置４０に表示する。時間軸対応マップ表示部１０１での選択位置が変更される度に、複数映像同時シーク手段２２は、選択された位置に対応するフレーム画像データを抽出して、表示装置４０に表示する。
【００６７】
複数映像同時シーク手段２２は、さらに、一つの映像データのみをシークして表示しても良い。例えば、オペレータが、図１の映像データＡサムネイル群表示部１０２を選択した場合、映像データＡからその選択された位置に対応するフレーム画像データを抽出して、表示装置４０に表示しても良い。
【００６８】
時間軸対応関係マップ表示手段２３は、図１に示す表示画面を、表示装置４０に表示する。時間軸対応関係マップ表示手段２３は、Ｘ軸に、映像データＡの各シーンの識別子を表示するとともに、Ｙ軸に、映像データＢの各シーンの識別子を表示する。時間軸対応関係マップ表示手段２３は、第１の映像データの任意の時間および第２の映像データの任意の時間を、Ｘ軸の座標値とＹ軸の座標値とを対応づけて指定可能な時間軸対応マップ表示部１０１を表示する。図１に示す例において、時間軸対応関係マップ表示手段２３は、各シーンの識別子として、シーン定義データ１２で設定されるサムネイルデータを用いている。さらに、時間軸対応関係マップ表示手段２３は、映像データＡおよび映像データＢのシーンの区切りに対応する位置に、罫線１１０を設ける。
【００６９】
付加情報制御手段２４は、付加情報制御データ１４を読み出して、時間軸対応マップ表示部１０１上の付加情報が付加された位置にシンボルを表示する。付加情報制御手段２４は、所定の付加情報ＩＤについて、付加情報制御データ１４から、付加情報ＩＤおよび映像データＡに対応づけられる第１の位置情報と、付加情報ＩＤおよび映像データＢに対応づけられる第２の位置情報とを取得する。付加情報制御手段２４は、時間軸対応マップ表示部１０１において、第１の位置情報をＸ軸における座標値とし、第２の位置情報をＹ軸における座標値とする位置に、付加情報が付加されたことを示すシンボルを表示する。ここで表示するシンボルは、図１に示すように、付加情報の種別や付加情報を付与する対象に応じて変更しても良い。
【００７０】
具体的には、付加情報制御手段２４は、付加情報制御データ１４から、映像データＡおよび映像データＢに関連するレコードを検索する。さらに付加情報制御手段２４は、付加情報ＩＤのそれぞれに、時間軸対応マップ表示部１０１の指所定の位置に、シンボルを表示する。
【００７１】
例えば、図４および図５に示すデータに基づいて、図１の時間軸対応マップ表示部１０１に、付加情報ＩＤ”ａ００２”に対応するシンボルを表示する例を説明する。
【００７２】
付加情報データ１３において、付加情報ＩＤ”ａ００２”は、「ニッパーを正しく持ちましょう Ｂさんのように歯を・・・・」のアノテーション情報が対応づけられている。付加情報制御データ１４は、付加情報ＩＤ”ａ００２”に、映像ＩＤ”ｖ００１”、シーン”ｓ００２”、時間１８から長さ３の区間を対応づけるとともに、映像ＩＤ”ｖ００２”、シーン”ｓ００２”、時間１７から長さ３の区間を対応づける。従って第１の位置情報は、映像データＡのシーン”ｓ００２”、時間１８から長さ３の区間で、第２の位置情報は、映像データＢのシーン”ｓ００２”、時間１７から長さ３の区間である。
【００７３】
付加情報制御手段２４は、式（１）に基づいて、映像データＡのシーン”ｓ００２”、時間１８に対応するＸ軸の座標値を算出する。また付加情報制御手段２４は、式（２）に基づいて、映像データＢのシーン”ｓ００２”、時間１７に対応するＹ軸の座標値を算出する。付加情報制御手段２４は、算出されたＸ軸の座標値およびＹ軸の座標値に、「★マーク」をシンボルとするアノテーション情報付加点１３０を表示する。このアノテーション情報付加点１３０上にマウスポインタが重なると、時間軸対応関係マップ表示手段２３は、付加情報ＩＤ”ａ００２”に対応するアノテーション情報「ニッパーを正しく持ちましょう Ｂさんのように歯を・・・・」を表示する。
【００７４】
図４の付加情報ＩＤ”ａ００３”が示すように、シーン同士が対応づけられている場合、付加情報制御手段２４は、シンボルとして矩形枠を表示する。図４に示す例において、付加情報ＩＤ”ａ００３”に、映像データＡのシーン”ｓ００４”が対応づけられるとともに、映像データＢのシーン”ｓ００３”が対応づけられている。この場合、付加情報制御手段２４は、図１に示すように、Ｘ軸座標が映像データＡのシーン”ｓ００４”に対応し、Ｙ軸座標が映像データＢのシーン”ｓ００３”に対応する位置に、矩形枠１４１を表示する。
【００７５】
付加情報制御手段２４はさらに、オペレータが時間軸対応マップ表示部１０１を操作し、所定の位置に付加情報を付加する指示が入力されると、付加情報データ１３および付加情報制御データ１４を更新する。
【００７６】
例えば、新たな付加情報を登録する際、付加情報制御手段２４は、新たな付加情報ＩＤを採番する。付加情報制御手段２４は、式（１）およびシーン定義データ１２から、オペレータが指定したＸ座標の値に対応する、映像データＡのシーンおよび位置を特定する。付加情報制御手段２４は、式（２）およびシーン定義データ１２から、オペレータが指定したＹ座標の値に対応する、映像データＢのシーンおよび位置を特定する。付加情報制御手段２４は、新たな付加情報ＩＤと、特定された映像データＡのシーンおよび位置を対応づけたレコードを付加情報制御データ１４に挿入するとともに、新たな付加情報ＩＤと、特定された映像データＢのシーンおよび位置を対応づけたレコードを付加情報制御データ１４に挿入する。
【００７７】
さらに付加情報制御手段２４は、付加情報データ１３を更新する。オペレータが対応情報を登録した場合、付加情報制御手段２４は、新たな付加情報ＩＤに、コメントおよび描画情報に”ｎｕｌｌ”値を対応づけたレコードを、付加情報データ１３に挿入する。一方オペレータがアノテーション情報を登録した場合、付加情報制御手段２４は、新たな付加情報ＩＤに、アノテーション情報とその描画方法を対応づけたレコードを、付加情報データ１３に挿入する。
【００７８】
また、付加情報制御手段２４は、付加情報の削除や変更に伴って、付加情報データ１３および付加情報制御データ１４を更新する。
【００７９】
（映像データ処理方法）
図６を参照して、本発明の実施の形態に係る映像データ処理方法を説明する。
【００８０】
まずステップＳ１０１において、オペレータは、映像データ群記憶部１１から、比較対象の映像データを２つ選択する。ここでは、オペレータが、映像データＡと映像データＢを選択したとする。
【００８１】
次にステップＳ１０２において、映像データＡおよび映像データＢについて、マップ付加情報表示処理を開始し、時間軸対応関係マップ表示手段２３は、図１に示すような画面を表示装置４０に表示する。
【００８２】
図１に示す画面が表示されると、ステップＳ１０４において、オペレータは、時間軸対応マップ表示部１０１上をマウスでポインタを移動させて、映像データＡと映像データＢを同時にシークする。このとき、複数映像同時シーク手段２２は、オペレータによるポインタの移動に伴って、ポインタの座標に対応する映像データＡの画像フレームデータと映像データＢの画像フレームデータとを、動的に変更して表示する。
【００８３】
また、ステップＳ１０４において、オペレータによって映像データＡおよび映像データＢを同時に再生する指示が入力されると、映像再生手段２１は、ポインタの座標の示す映像データＡの位置から映像データＡを再生し、この映像データＡの再生と同期して、ポインタの座標の示す映像データＢの位置から映像データＢを再生する。
【００８４】
ステップＳ１０５において、オペレータによって、映像データＡおよび映像データＢに付加情報を付加する指示が入力されると、付加情報制御手段２４は、そのポインタの座標の示す映像データＡの位置および映像データＢの位置を取得する。さらに付加情報制御手段２４は、オペレータの指示によって、付加情報データ１３および付加情報制御データ１４を更新する。
【００８５】
ここで、図６のステップＳ１０１ないしステップＳ１０５の処理は、オペレータの操作によって、随時繰り返される。
【００８６】
次に、図７を参照して、図６のマップ付加情報表示処理を説明する。
【００８７】
まずステップＳ２０１において、時間軸対応関係マップ表示手段２３は、シーン定義データ１２および付加情報制御データ１４から、映像データＡおよび映像データＢに関連する情報を取得する。
【００８８】
ステップＳ２０２において、時間軸対応関係マップ表示手段２３は、映像データＡの時間長をＸ軸に対応づけ、映像データＢの時間長をＹ軸に対応づけて、二次元の座標系で表示する。時間軸対応関係マップ表示手段２３は、表示装置４０に、左上を０とした二次元の直交座標系を生成する。Ｘ軸の座標を映像データＡの始点から終点と定義し、Ｙ軸の座標を映像データＢの始点から終点と定義する。Ｘ軸とＹ軸の縮尺は不等でもよく、表示装置４０の縦横比や、映像データの時間長にあわせて見やすいように設定されても良い。また、オペレータが手動で調整しても良い。
【００８９】
ステップＳ２０３において、時間軸対応関係マップ表示手段２３は、映像データＡおよび映像データＢの各シーンについて、サムネイルを座標軸の対応する位置に表示する。さらに、時間軸対応関係マップ表示手段２３は、各シーンの開始位置および終了位置に対応した位置に罫線１１０を設ける。時間軸対応マップ表示部１０１を２軸の直交座標系とした場合、罫線１１０によって座標系はマス目状に区切られる。それぞれのマス目は、映像データＡのあるシーンと、映像データＢのあるシーンとの組み合わせを示す。
【００９０】
以上の処理により、図１に示す画面の各要素のうち、各シンボルが表示されない画面のデータが生成される。
【００９１】
ステップＳ２０４において付加情報制御手段２４は、時間軸対応マップ表示部１０１上の、付加情報が付加された時間やシーンに対応した位置に、シンボルを表示する。付加情報制御手段２４は、映像データＡおよび映像データＢのアノテーション情報が付加された位置に対応する座標に、アノテーション情報付加点１３０を表示する。また、付加情報制御手段２４は、映像データＡおよび映像データＢの対応情報が付加された位置に対応する座標に、対応情報付加点１２０を表示する。ここで、対応情報付加点は、「●マーク」をシンボルとし、アノテーション情報付加点は、「★マーク」をシンボルとする。また、付加情報制御手段２４は、映像データＡおよび映像データＢの対応するシーンを示す領域に、矩形枠１４１または１４２を表示する。
【００９２】
以上の処理により、図１に示す画面のデータが生成される。
【００９３】
（表示画面）
図８ないし図１４を参照して、本発明の実施の形態に係る映像データ処理装置１が表示する画面の例を説明する。
【００９４】
図８は、画像データＡおよび画像データＢを同時にシークする画面である。例えば、オペレータが付加情報を付加する位置を検索するために、時間軸対応マップ表示部１０１にマウスをかざす。複数映像同時シーク手段２２は、オペレータの操作に従って、入力装置５０が指示するポインタの座標に基づいて、映像データＡおよび映像データＢを同時にシークする画面を表示する。
【００９５】
図８のポインタ１５１は、オペレータが入力装置５０で指示した座標である。映像データＡ表示部１５２は、ポインタ１５１のＸ座標が示す映像データＡのフレーム画像データを表示する。映像データＢ表示部１５３は、ポインタ１５１のＹ座標が示す映像データＢのフレーム画像データを表示する。オペレータが、ポインタ１５１の位置を変更するのに伴って、複数映像同時シーク手段２２は、映像データＡ表示部１５２および映像データＢ表示部１５３が表示するフレーム画像データを、動的に変更する。複数映像同時シーク手段２２は、映像データＡおよび映像データＢについて、変更されたポインタ１５１の座標に対応するそれぞれのフレーム画像データを表示する。このとき表示するフレーム画像データは、式（１）および式（２）によりそれぞれ決定される。
【００９６】
オペレータは、付加情報を付加する映像データＡの位置を決定した後、それに対応する映像データＢの位置を決定する場合がある。オペレータが、例えばキーボードのシフトキーを押下しながらマウスを動かすと、映像データ処理装置１が、Ｘ軸方向またはＹ軸方向のいずれかにのみポインタを移動させるように制御するのが好ましい。
【００９７】
例えばオペレータが、シフトキーを押下しながらＸ軸方向にマウスを動かすと、複数映像同時シーク手段２２は、ポインタ１５１のＸ座標が示す画像データＡのフレーム画像データを動的に変更して、映像データＡ表示部１５２に表示する。一方、映像データＢ表示部１５３に表示されるフレーム画像データは、変化しない。同様に、オペレータが、シフトキーを押下しながらＹ軸方向にマウスを動かすと、複数映像同時シーク手段２２は、ポインタ１５１のＹ座標が示す画像データＢのフレーム画像データを動的に変更して、映像データＢ表示部１５３に表示する。一方、映像データＡ表示部１５２に表示されるフレーム画像データは、変化しない。このような制御により、オペレータは、映像データＡと映像データＢの対応するフレーム画像データを、容易に見つけることができる。
【００９８】
また、オペレータが、映像データＡサムネイル群表示部１０２および映像データＢサムネイル群表示部１０３上のいずれかの位置を選択することにより、複数映像同時シーク手段２２は、その位置に対応する映像データのフレーム画像データのみを表示しても良い。例えば図９において、映像データＢサムネイル群表示部１０２の上から３番目のシーンのサムネイルが選択されている。従って、図９の映像データ表示部１６１に、選択されたサムネイルを表示する。さらに、オペレータがマウスを操作して、映像データＢサムネイル群表示部１０２上をポインタが移動すると、複数映像同時シーク手段２２は、ポインタのＹ座標に対応するフレーム画像データを、映像データ表示部１６１に表示する。このとき表示されるフレーム画像データは、ポインタの位置に基づいて、式（２）により決定される。
【００９９】
また、オペレータが時間軸対応マップ表示部１０１に表示されたシンボルにポインタを移動させると、時間軸対応関係マップ表示手段２３は、そのシンボルの情報を表示する。例えば、図１０に示すように、ポインタがアノテーション情報付加点１７１に近づくと、時間軸対応関係マップ表示手段２３は、このアノテーション情報付加点１７１に対応するアノテーション情報を、アノテーション表示部１７２に表示する。さらに、時間軸対応関係マップ表示手段２３は、この点から同期再生させるためのコマンド選択部１７３を表示する。
【０１００】
図１０に示すコマンド選択部１７２が選択され、同期再生の指示が入力されると、再生手段２１は、映像データＡおよび映像データＢを、それぞれ再生する。このときの再生開始位置は、ポインタ１７１の位置に基づいて、式（１）および式（２）によりそれぞれ決定される。
【０１０１】
図１に示す例で、アノテーション情報付加点１４３、矩形枠１４１および矩形枠１４２に示したように、アノテーション情報が、映像データＡの複数のシーンと映像データＢの複数のシーンの対応に対して付加された場合、図１１に示すように、これらのシーンを順に同期再生する選択肢１８１が表示されても良い。映像再生手段２１は、図５（ｂ）に示す付加情報対応データ１４ａから、アノテーション情報付加点１４３で対応づけられる第１の対応付加情報ＩＤと、第２の対応付加情報ＩＤとを取得する。映像再生手段２１は、第１の対応付加情報ＩＤに従って画像データＡの第４のシーンと画像データＢの第３のシーンとを同期して再生させた後、第２の対応付加情報ＩＤに従って画像データＡの第３のシーンと画像データＢの第４のシーンとを同期して再生する。
【０１０２】
このとき、図１２に示すようにそれぞれの映像データの再生画面に、映像再生手段２１は、この再生映像に付加されたアノテーション情報を表示しても良い。図１２に示す例では、アノテーション情報付加点１９１の示す再生位置から、映像データＡと映像データＢが、それぞれ、映像データＡ表示部１９２および映像データＢ表示部１９３で、同期再生される。この再生に伴って、アノテーション表示部１９４に、アノテーション情報付加点１９１に対応するアノテーション情報が表示される。図１２に示す画面において、さらに、映像データＡおよび映像データＢそれぞれの注視すべき箇所をそれぞれ二重丸で囲い、それぞれの注視箇所とアノテーション表示部１９６とが対応づけて表示されている。
【０１０３】
このように、複数の映像データに同時にアノテーション情報を付加し、同期して再生することにより、本発明の実施の形態に係る映像データ処理装置１は、複数の映像データの違いを、容易に視聴者に認識させることができる。なお、映像再生手段２１は、アノテーション情報を表示することなく、映像データＡおよび映像データＢを同期して再生しても良い。
【０１０４】
図１３は、付加情報を付加する画面を説明する。図１３に示す画面において、ポインタ２０１が示す画像データＡのデータが、映像データＡ表示部２０２に表示される。また、ポインタ２０１が示す画像データＢのデータが、映像データＢ表示部２０３に表示される。この映像データＡ表示部２０２および映像データＢ表示部２０３は、それぞれ、映像データＡおよび映像データＢの動画を再生しても良いし、フレーム画像データを表示しても良い。
【０１０５】
映像再生手段２１は、さらに、ポインタ２０１に対応づけて、コマンド選択部２０４を、表示する。このコマンド選択部２０２は、同期再生するコマンド、この時間に対応情報を付加するコマンド、およびこの時間にアノテーションを付加するコマンドを表示する。
【０１０６】
オペレータによって対応情報を付加するコマンドや、アノテーション情報を付加するコマンドが選択されると、付加情報制御手段２４は、新たな付加情報ＩＤを採番し、ポインタ２０１の座標と式（１）および式（２）に基づいて、映像データＡの位置情報および映像データＢの位置情報を取得する。付加情報制御手段２４は、新たな情報ＩＤと、取得した位置情報を対応づけて、付加情報データ１３および付加情報制御データ１４を更新する。アノテーションを付加するコマンドが選択された場合、付加情報制御手段２４は、アノテーションを入力するテキストボックスを表示し、テキストボックスに入力されたアノテーション情報と、新たな付加情報ＩＤとを対応づけて、付加情報データ１３を更新する。
【０１０７】
図１４は、オペレータが、映像データＡおよび映像データＢのそれぞれ任意の区間を選択した場合を示す。付加情報制御手段２４は、新たな付加情報ＩＤを採番する。付加情報制御手段２４は、オペレータによって選択された選択区間２１１の四隅の座標を取得し、式（１）および式（２）に基づいて、映像データＡにおける選択区間２１１の開始時間および長さ、映像データＢにおける選択区間２１１に対応する開始時間および長さを算出する。付加情報制御手段２４は、新たな付加情報ＩＤと、各開始時間および長さを対応づけて、付加情報データ１３および付加情報制御データ１４を更新する。さらに、アノテーションを付加するコマンドが選択された場合、付加情報制御手段２４は、アノテーションを入力するテキストボックスを表示し、テキストボックスに入力されたアノテーション情報と、新たな付加情報ＩＤとを対応づけて、付加情報データ１３を更新する。
【０１０８】
また、図１４に示す画面はさらに、映像データＡ表示部２１２および映像データＢ表示部２１３を備え、それぞれ選択区間２１１の映像データを表示する。図１４に示す画面はさらに、この選択区間２１１に対するコマンドを選択するための、コマンド選択部２１４も表示する。
【０１０９】
図１４では、任意の区間を選択する場合を説明したが、図１の矩形枠１４１または１４２のように、所定のシーンを選択して、選択されたそれぞれのシーンに、付加情報を付加しても良い。また、図１の矩形枠１４１、１４２およびアノテーション情報付加点１４３のように、時間的に不連続な複数の時間または複数のシーンを指定して、アノテーション情報を付加しても良い。
【０１１０】
以上説明したように、本発明の実施の形態に係る映像データ処理装置１は、２つの映像データを同時にシークするにあたり、そのシークバーを二次元化した。具体的には時間軸対応関係マップ表示手段２３は、図１に示すように、２つの映像データのそれぞれの時間長を、画面のＸ軸およびＹ軸に対応して、二次元の座標系で表示する。これにより、複数映像同時シーク手段２２は、ポインタの座標によって２つの映像データを同時にシークすることができる。また映像データ処理装置１は、オペレータによる１回の操作で２つの映像データのシークを可能とする。
【０１１１】
従来、通常のビデオブラウザシステムなどにおいて、一つの映像データの再生フレームに対応して一つのシークバーが設けられていた。従って、２つの映像データを同期再生する場合、それぞれの映像データについて、映像データを再生する領域にポインタを移動し、シークバーを操作して再生したいシーンおよび時間をシークする作業を、繰り返さなければならなかった。
【０１１２】
これに対し、本発明の実施の形態に係る映像データ処理装置１は、２つの映像データを１回のポインタの移動によってシークできるので、２つの映像データを同期再生したい部分の探索に要する作業の効率が向上する。また従来、２つの映像データを同時にシークする場合、２つのシークバーを用意してそれぞれ操作する必要があったが、本発明の実施の形態によれば、１度の操作で同期再生できる点で優れている。さらに、ポインタの位置で２つの映像データの再生位置を調整することができるので、従来のシークバーの操作感覚を維持している。
【０１１３】
さらに本発明の実施の形態に係る映像データ処理装置１は、複数の映像データの対応関係を二次元座標に表示するので、映像データの多様な比較検討が可能になる。映像データ処理装置１は、２つの映像データ全体の情報を、二次元座標に対応づけて表示するので、２つの映像データ間の対応関係を分かりやすく可視化することができる。
【０１１４】
また、本発明の実施の形態に係る映像データ処理装置１は、複数の映像データに対して同時に付加情報を付加することができる。具体的には、時間軸対応マップ表示部１０１は、２つの映像データのそれぞれの位置を、二次元座標として一点で表現することができる。従って時間軸対応関係マップ表示手段２３は、オペレータが所望の時間またはシーンに対応する、時間軸対応マップ表示部１０１上の座標を指示することにより、２つの映像データのそれぞれの時間に、付加情報を付加する。
【０１１５】
従来オペレータは、映像データを一つずつ見ながら、付加情報を付加した位置で一時停止して、付加情報を付加していた。あるいはオペレータは、付加情報を付加する映像データをすべてピックアップしてから、入力していた。従って、オペレータは、付加情報を付加する映像を特定し付加情報を付加するための、時間や手間を要していた。
【０１１６】
これに対し、本発明の実施の形態に係る映像データ処理装置１は、複数の映像データの所定の位置に、同時に付加情報を付加することができる。また、複数の映像データの任意の領域に、同時に付加情報を付加することができる。これにより、複数の映像データの中から対応する部分を結びつけることが重要となる、複数の映像データを比較検討する際に好適である。
【０１１７】
本発明の実施の形態に係る映像データ処理装置１は、２つの映像データについて、既に付加情報が付加された時間やシーンについて、シークされた画面を同時に表示する。また、映像データ処理装置１は、付加情報が付加された時間やシーンから、２つの映像データを同期的に再生できる。これによって、他人や過去の自分が定義した「映像間で対応のある区間」を明示することができるので、「映像間で対応のある区間」に、誰でも容易にアクセスすることができる。
【０１１８】
このような映像データ処理装置１は、時間軸対応マップ表示部１０１に付加情報が付加された時間やシーンを表示することにより、２つの映像データの時間軸の対応点を一覧表示することができる。
【０１１９】
例えば、熟練者と研修生が、複数の手順を含む作業を行った模様を、それぞれ映像データＡおよび映像データＢとして撮影する。この映像データＡおよび映像データＢについて、それぞれ手順の単位でシーンを定義して、本発明の実施の形態に係る映像データ処理装置１に適用して表示する。これにより、視聴者は、ある一つの手順について熟練者と研修生の技術の違いを比較して、検討することができる。
【０１２０】
本発明の実施の形態に係る時間軸対応マップ表示部１０１において、付加情報を二次元の座標系でマッピングして表示しているので、すべての手順の順序が整合していれば付加情報のシンボルは、左上から右下に斜めに直線上に並ぶと想定される。そのため作業速度の乱れや手順の順序の相違があった場合、付加情報のシンボルの並びの歪みや外れ位置などにあらわれる。従って時間軸対応マップ表示部１０１に表示されるシンボルの位置により、熟練者と研修生の手順の相違が浮き彫りになる。このように本発明の実施の形態に係る映像データ処理装置１は、複数の映像データにおける手順の相違などを、俯瞰的な視点からの分析することが容易になる。
【０１２１】
（その他の実施の形態）
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。
【０１２２】
例えば、本発明の実施の形態に記載した映像データ処理装置１は、図２に示すように一つのハードウェア上に構成されても良いし、その機能や処理数に応じて複数のハードウェア上に構成されても良い。また、既存の情報処理システム上に実現されても良い。
【０１２３】
本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。
【符号の説明】
【０１２４】
１ 映像データ処理装置
１０ 記憶装置
１１ 映像データ群記憶部
１２ シーン定義データ
１３ 付加情報データ
１４ 付加情報制御データ
１４ａ 付加情報対応データ
２０ 中央処理制御装置
２１ 映像再生手段
２２ 複数映像同時シーク手段
２３ 時間軸対応関係マップ表示手段
２４ 付加情報制御手段
３０ 入出力インタフェース
４０ 表示装置
５０ 入力装置
１０１ 時間軸対応マップ表示部
１０２ 映像データＡサムネイル群表示部
１０３ 映像データＢムネイル群表示部
１１０ 罫線
１２０ 対応情報付加点
１３０、１９１ アノテーション情報付加点
１５１ ポインタ
１５２、１９２、２０２、２１２ 映像データＡ表示部
１５３、１９３、２０３、２１３ 映像データＢ表示部
１６１ 映像データ表示部
１７２、１９４ アノテーション表示部
１７３、２０４、２１４ コマンド選択部
２１１ 選択区間
【特許請求の範囲】
【請求項１】
複数の映像データを処理する映像データ処理方法であって、
第１の映像データおよび第２の映像データを記憶するとともに、前記映像データの識別子と、当該映像データのシーンの識別子と、当該シーンの区間情報とを対応づけたシーン定義データを記憶装置に記憶するステップと、
第１の軸に、前記第１の映像データの各シーンの識別子を表示するとともに、第２の軸に、前記第２の映像データの各シーンの識別子を表示し、第１の映像データの任意の時間および第２の映像データの任意の時間を、第１の軸の座標値と第２の軸の座標値とを対応づけて指定可能な時間軸対応マップ表示部を、表示装置に表示するステップ
を備えることを特徴とする映像データ処理方法。
【請求項２】
前記第１の映像データから、前記時間軸対応マップ表示部において指定された第１の軸の座標値に対応するフレーム画像データを抽出して表示するとともに、前記第２の映像データから、前記時間軸対応マップ表示部において指定された第２の軸の座標値に対応するフレーム画像データを抽出して表示するステップ
をさらに備えることを特徴とする請求項１に記載の映像データ処理方法。
【請求項３】
付加情報の識別子と、当該付加情報が付加された第１の映像データにおける第１の位置情報と、当該付加情報が付加された第２の映像データにおける第２の位置情報と、を対応づけた付加情報制御データを、前記記憶装置に記憶するステップと、
前記記憶装置から前記付加情報制御データを読み出して、前記時間軸対応マップ表示部において、前記第１の位置情報を第１の軸における座標値とし、前記第２の位置情報を第２の軸における座標値とする位置に、当該付加情報が付加されたことを示すシンボルを表示するステップ
をさらに備えることを特徴とする請求項１または請求項２に記載の映像データ処理方法。
【請求項４】
複数の映像データを処理する映像データ処理装置であって、
第１の映像データおよび第２の映像データを記憶するとともに、前記映像データの識別子と、当該映像データのシーンの識別子と、当該シーンの区間情報とを対応づけたシーン定義データを記憶する記憶装置と、
第１の軸に、前記第１の映像データの各シーンの識別子を表示するとともに、第２の軸に、前記第２の映像データの各シーンの識別子を表示し、第１の映像データの任意の時間および第２の映像データの任意の時間を、第１の軸の座標値と第２の軸の座標値とを対応づけて指定可能な時間軸対応マップ表示部を、表示装置に表示する時間軸対応関係マップ表示手段
を備えることを特徴とする映像データ処理装置。
【請求項５】
前記第１の映像データから、前記時間軸対応マップ表示部において指定された第１の軸の座標値に対応するフレーム画像データを抽出して表示するとともに、前記第２の映像データから、前記時間軸対応マップ表示部において指定された第２の軸の座標値に対応するフレーム画像データを抽出して表示する複数映像同時シーク手段
をさらに備えることを特徴とする請求項４に記載の映像データ処理装置。
【請求項６】
前記記憶装置はさらに、付加情報の識別子と、当該付加情報が付加された第１の映像データにおける第１の位置情報と、当該付加情報が付加された第２の映像データにおける第２の位置情報と、を対応づけた付加情報制御データを記憶し、
前記記憶装置から前記付加情報制御データを読み出して、前記時間軸対応マップ表示部において、前記第１の位置情報を第１の軸における座標値とし、前記第２の位置情報を第２の軸における座標値とする位置に、当該付加情報が付加されたことを示すシンボルを表示する付加情報制御手段
をさらに備えることを特徴とする請求項４または請求項５に記載の映像データ処理装置。
【請求項７】
コンピュータに、請求項１ないし請求項３のいずれか１項に記載のステップを実行させるための映像データ処理プログラム。
【請求項１】
複数の映像データを処理する映像データ処理方法であって、
第１の映像データおよび第２の映像データを記憶するとともに、前記映像データの識別子と、当該映像データのシーンの識別子と、当該シーンの区間情報とを対応づけたシーン定義データを記憶装置に記憶するステップと、
第１の軸に、前記第１の映像データの各シーンの識別子を表示するとともに、第２の軸に、前記第２の映像データの各シーンの識別子を表示し、第１の映像データの任意の時間および第２の映像データの任意の時間を、第１の軸の座標値と第２の軸の座標値とを対応づけて指定可能な時間軸対応マップ表示部を、表示装置に表示するステップ
を備えることを特徴とする映像データ処理方法。
【請求項２】
前記第１の映像データから、前記時間軸対応マップ表示部において指定された第１の軸の座標値に対応するフレーム画像データを抽出して表示するとともに、前記第２の映像データから、前記時間軸対応マップ表示部において指定された第２の軸の座標値に対応するフレーム画像データを抽出して表示するステップ
をさらに備えることを特徴とする請求項１に記載の映像データ処理方法。
【請求項３】
付加情報の識別子と、当該付加情報が付加された第１の映像データにおける第１の位置情報と、当該付加情報が付加された第２の映像データにおける第２の位置情報と、を対応づけた付加情報制御データを、前記記憶装置に記憶するステップと、
前記記憶装置から前記付加情報制御データを読み出して、前記時間軸対応マップ表示部において、前記第１の位置情報を第１の軸における座標値とし、前記第２の位置情報を第２の軸における座標値とする位置に、当該付加情報が付加されたことを示すシンボルを表示するステップ
をさらに備えることを特徴とする請求項１または請求項２に記載の映像データ処理方法。
【請求項４】
複数の映像データを処理する映像データ処理装置であって、
第１の映像データおよび第２の映像データを記憶するとともに、前記映像データの識別子と、当該映像データのシーンの識別子と、当該シーンの区間情報とを対応づけたシーン定義データを記憶する記憶装置と、
第１の軸に、前記第１の映像データの各シーンの識別子を表示するとともに、第２の軸に、前記第２の映像データの各シーンの識別子を表示し、第１の映像データの任意の時間および第２の映像データの任意の時間を、第１の軸の座標値と第２の軸の座標値とを対応づけて指定可能な時間軸対応マップ表示部を、表示装置に表示する時間軸対応関係マップ表示手段
を備えることを特徴とする映像データ処理装置。
【請求項５】
前記第１の映像データから、前記時間軸対応マップ表示部において指定された第１の軸の座標値に対応するフレーム画像データを抽出して表示するとともに、前記第２の映像データから、前記時間軸対応マップ表示部において指定された第２の軸の座標値に対応するフレーム画像データを抽出して表示する複数映像同時シーク手段
をさらに備えることを特徴とする請求項４に記載の映像データ処理装置。
【請求項６】
前記記憶装置はさらに、付加情報の識別子と、当該付加情報が付加された第１の映像データにおける第１の位置情報と、当該付加情報が付加された第２の映像データにおける第２の位置情報と、を対応づけた付加情報制御データを記憶し、
前記記憶装置から前記付加情報制御データを読み出して、前記時間軸対応マップ表示部において、前記第１の位置情報を第１の軸における座標値とし、前記第２の位置情報を第２の軸における座標値とする位置に、当該付加情報が付加されたことを示すシンボルを表示する付加情報制御手段
をさらに備えることを特徴とする請求項４または請求項５に記載の映像データ処理装置。
【請求項７】
コンピュータに、請求項１ないし請求項３のいずれか１項に記載のステップを実行させるための映像データ処理プログラム。
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−８１１１７（Ｐ２０１３−８１１１７Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２０６８１（Ｐ２０１１−２２０６８１）
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]