映像アノテーション付与装置およびその動作方法
【課題】生成済みのアノテーションから別のアノテーションを自動的に生成し提示する。
【解決手段】アノテーション生成部７は、ユーザの端末からアノテーションを受信したなら、データ蓄積管理部３に要求を送信し、データ記憶部４から読み出されたオブジェクトデータ、関連づけデータと、アノテーションとを基に、アノテーションを生成し、データ蓄積管理部３に送信する。データ蓄積管理部３は、アノテーションをデータ記憶部４に記憶させる。映像情報提示部５は、データ蓄積管理部３に要求を送信し、データ記憶部４から読み出されたアノテーションをユーザの端末に送信し提示する。
【解決手段】アノテーション生成部７は、ユーザの端末からアノテーションを受信したなら、データ蓄積管理部３に要求を送信し、データ記憶部４から読み出されたオブジェクトデータ、関連づけデータと、アノテーションとを基に、アノテーションを生成し、データ蓄積管理部３に送信する。データ蓄積管理部３は、アノテーションをデータ記憶部４に記憶させる。映像情報提示部５は、データ蓄積管理部３に要求を送信し、データ記憶部４から読み出されたアノテーションをユーザの端末に送信し提示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像アノテーション付与装置およびその動作方法に関するものである。
【背景技術】
【０００２】
映像の任意の時刻に対して、テキストデータ、映像への描画などの図形データによるアノテーションやビデオ関連画像を受け付ける従来技術として非特許文献１がある。この文献での映像掲示板について図２を参考に説明する。
【０００３】
映像掲示板では、映像再生部２１に再生されている映像の任意の時刻に対し、テキストデータ受付部２２や関連画像登録部２３からテキストデータや関連画像を登録することができる。登録されたテキストデータや関連画像は、映像の再生中の当該時刻に、アノテーション提示部２４や関連画像提示部２５に提示される。
【０００４】
このような映像連動型掲示板により、映像内容の補足説明の追加や、映像内容に基づいて議論することができるのでノウハウを発見・共有する用途に活用できる。
【０００５】
図２では、サッカーの映像からパスの候補領域を推定する非特許文献２の技術を用いて、パスが成功する確率が高いコースを自動分析し、分析結果を実画像に示した分析画像である関連画像Ａと、サッカーフィールドを俯瞰した画像に分析結果を図示したコンピュータグラフィックスの分析画像である関連画像Ｂと、分析結果を参考に戦術について専門家が登録したテキストデータとが提示された様子を示している。
【０００６】
関連画像Ａでは、成功する確率の高いパスコースを符号Ａ１で、関連画像Ｂでは符号Ｂ１でそれぞれ示している。図２の映像連動型掲示板の状態から、映像や関連画像に対し、描画した図形データやテキストデータによるアノテーションを追加することで、アノテーション付与者の主張をより具体的に表現したり、議論を効率よく行ったりできるようになる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】嶌田聡,東正造,寺中晶郁,小島明：映像シーン連動型コミュニケーションからのノウハウ百科事典の生成,電子情報通信学会 AI研究会 , pp.35-40 ,2009．
【非特許文献２】高橋翔,今宏史,長谷山美紀：アクティブネットを用いたサッカー映像におけるパス可能領域の推定, 電子情報通信学会論文誌, J92-D, 4, pp.501-510, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術において、映像や映像に関連する関連画像にテキストデータや図形データのアノテーションを付与することにより、画像の視覚的特徴を活用したノウハウ発見・共有が行うことができた。
【０００９】
しかしながら、従来技術では、同じ内容のアノテーションをテキストデータと図形データの各アノテーション種別で付与したい場合にはそれぞれの方法でアノテーション付与を行う必要があり手間がかかることが問題であった。たとえば、図２において、「ボールを保持している選手の右前方にパスを出した方がよい」というテキストデータを登録するときに、映像への描画、関連画像Ａへの描画、関連画像Ｂへの描画、テキストデータの投入の４回の登録作業を行う必要がある。４回の登録を行わずに代表的なアノテーションのみ付与する運用方法もあるが、映像や各関連画像に直接描画されている方がより理解しやすいこと、テキストデータが登録されていれば返信コメントがつけやすい、キーワード検索に利用できる、合成音声による読み上げが可能になることから、１回の登録処理で同じ内容のアノテーションを自動付与することが求められている。
【００１０】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、生成済みのアノテーションから別のアノテーションを自動的に生成し提示できる映像アノテーション付与装置およびその動作方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、第１の本発明は、映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し所定の記憶手段に記憶させるアノテーション取得手段と、前記映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させるオブジェクト領域検出手段と、前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させるアノテーション付与手段と、前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示する情報提示手段とを備えることを特徴とする映像アノテーション付与装置をもって解決手段とする。
【００１２】
第１の本発明において、例えば、映像アノテーション付与装置は、前記対象画像に関連する関連画像を取得し前記記憶手段に記憶させる関連画像取得手段を備え、前記オブジェクト領域検出手段は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、前記アノテーション取得手段は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、前記アノテーション付与手段は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、前記情報提示手段は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示する。
【００１３】
第２の本発明は、映像アノテーション付与装置の動作方法であって、前記映像アノテーション付与装置のアノテーション取得手段が、映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し所定の記憶手段に記憶させ、前記映像アノテーション付与装置のオブジェクト領域検出手段が、前記映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記映像アノテーション付与装置のアノテーション付与手段が、前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記映像アノテーション付与装置の情報提示手段が、前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示することを特徴とする映像アノテーション付与装置の動作方法をもって解決手段とする。
【００１４】
第２の本発明において、例えば、前記映像アノテーション付与装置は、前記対象画像に関連する関連画像を取得し前記記憶手段に記憶させる関連画像取得手段を備え、前記動作方法は、前記オブジェクト領域検出手段は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、前記アノテーション取得手段は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、前記アノテーション付与手段は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、前記情報提示手段は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示する。
【発明の効果】
【００１５】
本発明によれば、生成済みのアノテーションから別のアノテーションを自動的に生成し提示することができる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施の形態に係る映像アノテーション付与装置の構成を示すブロック図である。
【図２】ユーザに使用される端末の画面構成の一例を示す図である。
【図３】オブジェクトデータの構成の一例を示す図である。
【図４】関連づけデータの構成の一例を示す図である。
【図５】アノテーションとしての図形データを受信した場合の処理の流れを示すフローチャートである。
【図６】図形データの基になる図形が端末にて描画された様子を示す図である。
【図７】アノテーションとしてのテキストデータを受信した場合の処理の流れを示すフローチャートである。
【図８】アノテーションとしての図形データにより提示される図形の提示例を示す図である。
【図９】第２の実施の形態に係る映像アノテーション付与装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照して説明する。
【００１８】
[第１の実施の形態]
図１は、第１の実施の形態に係る映像アノテーション付与装置の構成を示すブロック図である。図２は、アノテーション付与装置に通信回線を介して接続され、ユーザに使用される端末の画面構成の一例を示す図である。
【００１９】
図１に示すように、映像アノテーション付与装置は、映像登録部１、オブジェクト領域検出部２、データ蓄積管理部３、データ記憶部４、映像情報提示部５、アノテーション受付部６、アノテーション生成部７を備える。
【００２０】
図２に示すように、端末の画面は、映像再生部２１、テキストデータ受付部２２、関連画像登録部２３、アノテーション提示部２４、関連画像提示部２５を備える。
【００２１】
図１に戻り、映像登録部１は、映像ファイル（以下、映像）を読み取り、オブジェクト領域検出部２に転送する。
【００２２】
オブジェクト領域検出部２は、映像を構成する各シーンの画像（以下、対象画像という）に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域（位置、大きさ、色など）を示すオブジェクトデータを作成し、データ蓄積管理部３に送信する。
【００２３】
また、オブジェクト領域検出部２は、対象画像を分析し、分析結果を示す画像つまり対象画像に関連する画像（以下、関連画像という）を生成し、データ蓄積管理部３に送信する。なお、関連画像は分析画像に限られない。
【００２４】
また、オブジェクト領域検出部２は、関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域（位置、大きさ、色など）を示すオブジェクトデータを作成し、関連画像とオブジェクトデータをデータ蓄積管理部３に送信する。
【００２５】
また、オブジェクト領域検出部２は、対象画像のオブジェクトの領域と関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、データ蓄積管理部３に送信する。
【００２６】
データ蓄積管理部３は、オブジェクト領域検出部２から送信された映像、対象画像のオブジェクトデータ、関連画像、関連画像のオブジェクトデータ、関連づけデータをデータ記憶部４に記憶させる。
【００２７】
また、データ蓄積管理部３は、映像情報提示部５からの要求に応じて、データ記憶部４から映像、関連画像を読み出し、映像情報提示部５に送信する。
【００２８】
また、データ蓄積管理部３は、アノテーション生成部７からの要求に応じて、データ記憶部４からオブジェクトデータ、関連づけデータを読み出し、アノテーション生成部７に送信する。
【００２９】
また、データ蓄積管理部３は、アノテーション生成部７から送信されたアノテーションとしてのテキストデータや図形データをデータ記憶部４に記憶させる。
【００３０】
また、データ蓄積管理部３は、映像情報提示部５からの要求に応じて、データ記憶部４からアノテーション（テキストデータや図形データ）を読み出し、映像情報提示部５に送信する。
【００３１】
映像情報提示部５は、データ蓄積管理部３に要求を送信し、データ記憶部４から読み出されたた映像、関連画像、アノテーションを端末に送信し、ユーザに提示する。
【００３２】
アノテーション受付部６は、ユーザの端末から、アノテーション（テキストデータや図形データ）を受信し、これをアノテーション生成部７に転送する。
【００３３】
アノテーション生成部７は、アノテーションを受信したなら、データ蓄積管理部３に要求を送信し、データ記憶部４から読み出されたオブジェクトデータ、関連づけデータと、アノテーション受付部６から送信されたアノテーションとを基に、アノテーションを生成し、全てのアノテーションをデータ蓄積管理部３に送信する。
【００３４】
（第１の実施の形態における動作）
次に、映像アノテーション付与装置の動作を説明する。
ここでは、サッカーの映像に対し戦術に関するアノテーションを付与する例について説明する。
【００３５】
図１において、映像登録部１は、例えば、サッカーの映像を読み取り、オブジェクト領域検出部２に転送する。
【００３６】
オブジェクト領域検出部２は、映像を構成する各対象画像（以下、対象画像Ｓという）を分析し、分析結果を示す、例えば、２つの関連画像（以下、関連画像Ａ、Ｂという）を生成する。なお、関連画像の数は各対象画像Ｓで等しくなくてもよい。
【００３７】
また、オブジェクト領域検出部２は、対象画像Ｓに含まれるオブジェクトの領域を検出し、そのオブジェクトデータを作成する。
また、オブジェクト領域検出部２は、関連画像Ａに含まれるオブジェクトの領域を検出し、そのオブジェクトデータを作成する。
また、オブジェクト領域検出部２は、関連画像Ｂに含まれるオブジェクトの領域を検出し、そのオブジェクトデータを作成する。
【００３８】
図３は、オブジェクトデータの構成の一例を示す図である。
映像の１分１０秒経過時の対象画像Ｓに含まれるオブジェクトの識別情報（以下、識別情報を「ＩＤ」という）「１」のオブジェクト（例えば、サッカーボール）の領域を示すオブジェクトデータは、対象画像ＳのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ１１、ｙ１１）、領域の大きさを示すデータＳ１１、領域の色の特徴ベクトルｖ１１を含む。
【００３９】
対象画像Ｓに含まれるオブジェクトＩＤ「２」のオブジェクト（例えば、サッカーボールの近傍の１選手）の領域を示すオブジェクトデータは、対象画像ＳのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ１２、ｙ１２）、領域の大きさを示すデータＳ１２、領域の色の特徴ベクトルｖ１２を含む。
【００４０】
対象画像Ｓに含まれるオブジェクトＩＤ「３」のオブジェクト（例えば、サッカーボールから離れている１選手）の領域を示すオブジェクトデータは、対象画像ＳのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ１３、ｙ１３）、領域の大きさを示すデータＳ１３、領域の色の特徴ベクトルｖ１３を含む。
【００４１】
関連画像Ａに含まれるオブジェクトＩＤ「１」のオブジェクト（例えば、サッカーボール）の領域を示すオブジェクトデータは、関連画像ＡのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ２１、ｙ２１）、領域の大きさを示すデータＳ２１、領域の色の特徴ベクトルｖ２１を含む。
【００４２】
関連画像Ａに含まれるオブジェクトＩＤ「２」のオブジェクト（例えば、サッカーボールの近傍の１選手）の領域を示すオブジェクトデータは、関連画像ＡのＩＤオブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ２２、ｙ２２）、領域の大きさを示すデータＳ２２、領域の色の特徴ベクトルｖ２２を含む。
【００４３】
関連画像Ａに含まれるオブジェクトＩＤ「３」のオブジェクト（例えば、サッカーボールから離れている１選手）の領域を示すオブジェクトデータは、関連画像ＡのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ２３、ｙ２３）、領域の大きさを示すデータＳ２３、領域の色の特徴ベクトルｖ２３を含む。
【００４４】
関連画像Ｂに含まれるオブジェクトＩＤ「１」のオブジェクト（例えば、サッカーボール）の領域を示すオブジェクトデータは、関連画像ＢのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ３１、ｙ３１）、領域の大きさを示すデータＳ３１、領域の色の特徴ベクトルｖ３１を含む。
【００４５】
関連画像Ｂに含まれるオブジェクトＩＤ「２」のオブジェクト（例えば、サッカーボールの近傍の１選手）の領域を示すオブジェクトデータは、関連画像ＢのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ３２、ｙ３２）、領域の大きさを示すデータＳ３２、領域の色の特徴ベクトルｖ３２を含む。
【００４６】
関連画像Ｂに含まれるオブジェクトＩＤ「３」のオブジェクト（例えば、サッカーボールから離れている１選手）の領域を示すオブジェクトデータは、関連画像ＢのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ３３、ｙ３３）、領域の大きさを示すデータＳ３３、領域の色の特徴ベクトルｖ３３を含む。
【００４７】
また、オブジェクト領域検出部２は、対象画像Ｓのオブジェクトの領域と関連画像Ａのオブジェクトの領域を関連づける関連づけデータを作成する。
また、オブジェクト領域検出部２は、対象画像Ｓのオブジェクトの領域と関連画像Ｂのオブジェクトの領域を関連づける関連づけデータを作成する。
また、オブジェクト領域検出部２は、関連画像Ａのオブジェクトの領域と関連画像Ｂのオブジェクトの領域を関連づける関連づけデータを作成する。
【００４８】
図４は、関連づけデータの構成の一例を示す図である。
対象画像Ｓのオブジェクト（例えば、サッカーボール）の領域と関連画像Ａのオブジェクト（同じくサッカーボール）の領域を関連づける関連づけデータは、対象画像ＳのＩＤ、関連画像ＡのＩＤ、対象画像Ｓに含まれるオブジェクト（同じくサッカーボール）のオブジェクトデータに含まれるオブジェクトＩＤ「１」、関連画像Ａに含まれるオブジェクト（同じくサッカーボール）のオブジェクトデータに含まれるオブジェクトＩＤ「１」を含む。
【００４９】
また、対象画像Ｓのオブジェクト（例えば、サッカーボールの近傍の１選手）の領域と関連画像Ａのオブジェクト（同じ選手）の領域を関連づける関連づけデータは、対象画像ＳのＩＤ、関連画像ＡのＩＤ、対象画像Ｓに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「２」、関連画像Ａに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「２」を含む。
【００５０】
また、対象画像Ｓのオブジェクト（例えば、サッカーボールから離れている１選手）の領域と関連画像Ａのオブジェクト（同じ選手）の領域を関連づける関連づけデータは、対象画像ＳのＩＤ、関連画像ＡのＩＤ、対象画像Ｓに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「３」、関連画像Ａに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「３」を含む。
【００５１】
対象画像Ｓのオブジェクト（例えば、サッカーボール）の領域と関連画像Ｂのオブジェクト（同じくサッカーボール）の領域を関連づける関連づけデータは、対象画像ＳのＩＤ、関連画像ＢのＩＤ、対象画像Ｓに含まれるオブジェクト（同じくサッカーボール）のオブジェクトデータに含まれるオブジェクトＩＤ「１」、関連画像Ｂに含まれるオブジェクト（同じくサッカーボール）のオブジェクトデータに含まれるオブジェクトＩＤ「１」を含む。
【００５２】
また、対象画像Ｓのオブジェクト（例えば、サッカーボールの近傍の１選手）の領域と関連画像Ｂのオブジェクト（同じ選手）の領域を関連づける関連づけデータは、対象画像ＳのＩＤ、関連画像ＢのＩＤ、対象画像Ｓに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「２」、関連画像Ｂに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「２」を含む。
【００５３】
また、対象画像Ｓのオブジェクト（例えば、サッカーボールから離れている１選手）の領域と関連画像Ｂのオブジェクト（同じ選手）の領域を関連づける関連づけデータは、対象画像ＳのＩＤ、関連画像ＢのＩＤ、対象画像Ｓに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「３」、関連画像Ｂに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「３」を含む。
【００５４】
関連画像Ａのオブジェクト（例えば、サッカーボール）の領域と関連画像Ｂのオブジェクト（同じくサッカーボール）の領域を関連づける関連づけデータは、関連画像ＡのＩＤ、関連画像ＢのＩＤ、関連画像Ａに含まれるオブジェクト（同じくサッカーボール）のオブジェクトデータに含まれるオブジェクトＩＤ「１」、関連画像Ｂに含まれるオブジェクト（同じくサッカーボール）のオブジェクトデータに含まれるオブジェクトＩＤ「１」を含む。
【００５５】
また、関連画像Ａのオブジェクト（例えば、サッカーボールの近傍の１選手）の領域と関連画像Ｂのオブジェクト（同じ選手）の領域を関連づける関連づけデータは、関連画像ＡのＩＤ、関連画像ＢのＩＤ、関連画像Ａに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「２」、関連画像Ｂに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「２」を含む。
【００５６】
また、関連画像Ａのオブジェクト（例えば、サッカーボールから離れている１選手）の領域と関連画像Ｂのオブジェクト（同じ選手）の領域を関連づける関連づけデータは、関連画像ＡのＩＤ、関連画像ＢのＩＤ、関連画像Ａに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「３」、関連画像Ｂに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「３」を含む。
【００５７】
図１に戻り、オブジェクト領域検出部２は、サッカーの映像（つまり各対象画像Ｓ）、関連画像Ａ、Ｂ、各オブジェクトデータ、各関連づけデータをデータ蓄積管理部３に送信する。データ蓄積管理部３は、これらを関連づけてデータ記憶部４に記憶させる。
【００５８】
映像情報提示部５は、ユーザの端末からの要求に基づき、データ蓄積管理部３に要求を送信し、これによりデータ蓄積管理部３がデータ記憶部４から読み出したサッカーの映像を受信し、映像を端末に送信し、図２の映像再生部２１に提示する。
【００５９】
また、映像情報提示部５は、データ蓄積管理部３に要求を送信し、これによりデータ蓄積管理部３が読み出した関連画像Ａ、Ｂ、アノテーションを受信し、これらを端末に送信し、図２の関連画像提示部２５に関連画像Ａ、Ｂを提示し、アノテーション提示部２４にアノテーション（テキストデータ）を提示し、映像再生部２１に提示された対象画像Ｓや関連画像提示部２５に提示された関連画像に重ねてアノテーション（図形データによる図形）を提示する。
【００６０】
図５は、アノテーション生成部７がアノテーション受付部６からアノテーションとしての図形データを受信した場合の処理の流れを示すフローチャートである。
図６は、図形データの基になる図形が端末にて描画された様子を示す図である。
【００６１】
例えば、関連画像提示部２５には、対象画像Ｓに対応する関連画像Ａ、Ｂが提示されている。
関連画像Ａは、ここでは、サッカーの映像からパスの候補領域を推定する非特許文献２の技術を用いて、パスが成功する確率が高いコースを自動分析し、分析結果を実画像に示した分析画像である。符号Ａ１は、パスが成功する確率が高いコースを示す。
【００６２】
関連画像Ｂは、サッカーフィールドを俯瞰した図に分析結果を図示したコンピュータグラフィックスの分析画像である。符号Ｂ１は、パスが成功する確率が高いコースを示す。
【００６３】
ここで、ユーザは、マウス（入力装置）などを使用して、映像再生部２１に表示された映像の１分１０秒経過時の画像（対象画像Ｓ）の上でポインタを動かし矢印ＡＲ１、ＡＲ２を描画する。端末は、各矢印の図形データをアノテーション受付部６に送信する。アノテーション受付部６は、図形データが送信されたことを映像情報提示部５に通知し、図形データをアノテーション生成部７に転送する。
【００６４】
アノテーション生成部７は、アノテーション受付部６から当該図形データを受信すると、データ蓄積管理部３に要求し、データ蓄積管理部３がデータ記憶部４から読み出した、対象画像Ｓ、関連画像Ａ、Ｂについて生成されたオブジェクトデータを取得する（Ｓ１）。例えば、対象画像Ｓ、関連画像Ａ、Ｂのそれぞれについて、複数のオブジェクトデータが取得される。
【００６５】
次に、アノテーション生成部７は、データ蓄積管理部３に要求し、データ蓄積管理部３がデータ記憶部４から読み出した、対象画像Ｓから生成された関連画像Ａ、Ｂの合計数Ｎ（この場合Ｎ＝２）を計算する（Ｓ３）。
【００６６】
次に、アノテーション生成部７は、関連画像の数について使用される変数ｎを１に初期化する（Ｓ５）。
【００６７】
次に、アノテーション生成部７は、データ蓄積管理部３に要求し、データ蓄積管理部３がデータ記憶部４から読み出した、対象画像Ｓのオブジェクトの領域とｎ番目の関連画像（ここでは関連画像Ａとする）のオブジェクトの領域を関連づける関連づけデータを取得する（Ｓ７）。例えば、関連画像Ａについて、複数の関連づけデータが取得される。
【００６８】
次に、アノテーション生成部７は、受信した図形データにより対象画像Ｓに提示される図形（例えば、矢印ＡＲ１）の位置と当該オブジェクトデータと当該関連づけデータに基づいて、ｎ番目の関連画像Ａのアノテーションである図形データを生成する（Ｓ９）。
【００６９】
ここでは、例えば、アノテーション生成部７は、図形データから矢印ＡＲ１の始点、終点、または、その一方の位置を求め、ステップＳ１で取得したオブジェクトデータから、対象画像ＳのＩＤならびに当該位置または近傍の座標を含むものを選択し、選択したオブジェクトデータからオブジェクトＩＤを読み出し、ステップＳ７で取得した関連づけデータから、対象画像ＳのＩＤと対象画像ＳのオブジェクトＩＤとして当該オブジェクトＩＤを含むものを選択し、ステップＳ１で取得したオブジェクトデータから、当該関連画像ＡのＩＤと当該関連画像ＡでのオブジェクトＩＤを含むものを選択し、当該オブジェクトデータから座標を読み出し、当該座標を使用して、関連画像Ａにアノテーションとして提示される図形についての図形データを生成する（Ｓ９）。アノテーション生成部７は、矢印ＡＲ２についても同様の方法で図形データを生成する（Ｓ９）。
【００７０】
次に、アノテーション生成部７は、変数ｎが合計数Ｎに一致するか否かを判定し（Ｓ１１）、一致しなければ、変数ｎに１を加え（Ｓ１３）、ステップＳ７に戻る。これにより、関連画像Ｂに提示される図形（２つの矢印）についての図形データが生成される（Ｓ９）。
【００７１】
一方、変数ｎが合計数Ｎに一致したなら、アノテーション生成部７は、アノテーションとしてのテキストデータを生成する（Ｓ１５）。
【００７２】
テキストデータは、例えば、以下のように生成される。
ここでは、ユーザによる対象画像Ｓ上での矢印などの図形の描画に関するルールを予め設定しておく方法を説明する。
【００７３】
以下、ルール１、２を設けた場合について説明する。
ルール１：ボール保持者を始点とする矢印はパスを出す方向を示し、終点はパスを受ける選手を示す。
ルール２：ボール保持者でない選手を始点とする矢印は選手の移動方向を示す。
【００７４】
矢印ＡＲ１の始点に近いオブジェクトは、オブジェクトデータ内の座標、大きさ、色の特徴ベクトルによれば、画面の右下にいる選手であると特定できる。
【００７５】
さらに、その近傍にボールの大きさに相当するオブジェクトがあることから、始点のオブジェクトはボール保持者であることがわかる。
【００７６】
矢印ＡＲ１の終端の近傍には、始点と同じチームの選手がいて、それは始点の選手から見て右前方に位置していることがわかる。
【００７７】
以上の判定結果から、ルール１を適用して、矢印ＡＲ１に対応するアノテーションとしてのテキストデータ「ボール保持者の画面の右下にいる選手から右前方に位置している選出にパスを出す」が生成される。
【００７８】
矢印ＡＲ２については、矢印ＡＲ２の方向は画面上で右下であること、矢印ＡＲ２の始点の近くには、画面中央に位置する選手がいることが特定でき、周辺にはボールに相当するオブジェクトが存在しないことから、ルール２を適用して、アノテーションとしてのテキストデータ「画面中央にいる選出は画面上で右下に移動する」が生成される。
【００７９】
このように、登録する映像の種別に応じて、アノテーションとしての図形の描画に関するルールを設定しておくことで、アノテーションとしてのテキストデータを自動的に生成することができる。
【００８０】
図５に戻り、アノテーション生成部７は、全てのアノテーション（図形データ、テキストデータの全て）をデータ蓄積管理部３に送信する（Ｓ１７）。
【００８１】
データ蓄積管理部３は、矢印ＡＲ１、ＡＲ２などの図形の図形データならびに生成されたテキストデータを対象画像Ｓに対応づけて、データ記憶部４に記憶させる。つまり、データ蓄積管理部３は、これらのアノテーションを対象画像Ｓに付与する（Ｓ１９）。
【００８２】
また、データ蓄積管理部３は、関連画像Ａ、Ｂについて生成された図形データをそれぞれの関連画像に対応づけて、データ記憶部４に記憶させる。つまり、データ蓄積管理部３は、これらのアノテーションを関連画像Ａ、Ｂに付与する（Ｓ１９）。
【００８３】
映像情報提示部５は、アノテーション受付部６からの通知により、データ蓄積管理部３に要求を送信し、これによりデータ蓄積管理部３は、対象画像Ｓに付与されたテキストデータ、関連画像Ａ、Ｂに付与された図形データをデータ記憶部４から読み出し、映像情報提示部５に送信する。映像情報提示部５は、これらのテキストデータおよび図形データを端末に送信して提示し（Ｓ２１）、処理が終わる。
【００８４】
これにより、図６のアノテーション提示部２４には、その後、生成されたテキストデータ（アノテーション）が提示され、関連画像提示部２５には、その後、生成された図形データに基づく図形（アノテーション）が提示される。
【００８５】
図７は、アノテーション生成部７がアノテーション受付部６からアノテーションとしてのテキストデータを受信した場合の処理の流れを示すフローチャートである。
【００８６】
例えば、ユーザは、映像再生部２１に映像の１分１０秒経過時の画像である対象画像Ｓ（単に対象画像Ｓという）が提示されているときに、テキストデータ受付部２２にテキストデータ「右下にいる選手から右前方にいる選手にパスを出すとよい。このとき、画面中央にいる選手はパスを受けやすいようにパスを出す選手の方向に移動する。」を入力する。端末は、このテキストデータをアノテーション受付部６に送信する。アノテーション受付部６は、テキストデータが送信されたことを映像情報提示部５に通知し、テキストデータをアノテーション生成部７に転送する。
【００８７】
アノテーション生成部７は、アノテーション受付部６から当該テキストデータを受信すると、データ蓄積管理部３に要求し、データ蓄積管理部３がデータ記憶部４から読み出した、対象画像Ｓのオブジェクトデータを取得する（Ｓ１ａ）。例えば、複数のオブジェクトデータが取得される。
【００８８】
次に、アノテーション生成部７は、当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、対象画像Ｓのアノテーションである図形データを生成する（Ｓ２）。
【００８９】
図形データは、例えば、以下のように生成される。
ここでは、テキストデータに形態素解析を行い、動詞句に対応する図形データをルール化しておく方法を説明する。
以下、ルール１１〜１４を設けた場合について説明する。
【００９０】
ルール１１：「パスを出す」の図形表現は矢印とし、テキストデータ中に「名詞１から名詞２に」の記述があったときには、矢印の始点を「名詞１」に、終点を「名詞２に」とする。
【００９１】
ルール１２：「パスを出す」の矢印を描画するときに、始点の選手はボール保持者とする。また、前方、後方、右側などの方向を示す表現があった場合には、その方向に矢印を描画する。
【００９２】
ルール１３：「移動する」の図形表現は矢印とし、テキストデータ中に「名詞１は」、「名詞２に」の記述があったときには、矢印の始点を「名詞１」に、終点を「名詞２」にする。
【００９３】
ルール１４：「移動する」の矢印を描画するときに、前方、後方、右側などの方向を示す表現があった場合には、その方向に矢印を描画する。
【００９４】
テキストデータの「右下にいる選手から右前方にいる選手にパスを出すとよい。」については、ルール１１により、「右下にいる選手」を始点、「右前方にいる選手」を終点とするパスを表す矢印の図形データが作成される。
【００９５】
ルール１２により、始点はボール保持者であることから、ステップＳ１ａで取得したオブジェクトデータを用いて、画像の右下に選手に相当するオブジェクトの領域があり、その周辺にボールに相当するオブジェクトの領域があることを条件に矢印の始点を決定する。終点は右前方にいる選手に相当するオブジェクトの領域を特定することで決定する。
【００９６】
テキストデータの「画面中央にいる選手はパスを受けやすいようにパスを出す選手の方向に移動する」については、ルール１３により「画面中央にいる選手」を始点、ルール１４により「パスを出す選手の方向に」を方向とする移動を表す矢印の図形データを作成する。
【００９７】
ステップＳ１ａで取得したオブジェクトデータを用いて、矢印の始点は画面中央に位置する選手に相当するオブジェクトの領域を特定することで決定する。
【００９８】
テキストデータの「パスを出す選手の方向に」については、前の文の分析で、パスを出す選手のオブジェクトの領域が特定されているので、その方向に矢印を描画する。
矢印の形状や色は事前に設定しておく条件に従い作成すればよい。
【００９９】
これ以降は、図５に示す処理とほぼ同様の処理がなされる。
ここでは、ステップＳ２で生成された図形データつまり対象画像Ｓのアノテーションとしての図形データは、図５に示す処理においてアノテーション生成部７が取得した図形データと同様に扱われる。
【０１００】
また、アノテーション生成部７が取得したテキストデータは、アノテーション生成部７がステップＳ１５で生成したテキストデータと同様に扱われ、データ記憶部４に記憶される。ステップＳ１５は省略される。
【０１０１】
図８は、対象画像Ｓ、関連画像Ａ、Ｂのアノテーションとしての図形データにより提示される図形の提示例を示す図である。
【０１０２】
矢印ＡＲ１１、ＡＲ２１、ＡＲ３１が、例えば「パスする」ことを意味する場合、例えば、事前の設定に従い、「太い矢印」として表示される。
【０１０３】
矢印ＡＲ１２、ＡＲ２２、ＡＲ３２が、例えば、「移動する」ことを意味する場合、例えば、事前の設定に従い、「細い矢印」として表示される。
【０１０４】
したがって、第１の実施の形態に係る映像アノテーション付与装置によれば、映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し記憶手段（データ記憶部４）に記憶させるアノテーション取得手段（データ蓄積管理部３、アノテーション受付部６、アノテーション生成部７。以下、符号のみで示す）と、映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させるオブジェクト領域検出手段（３、２）と、前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させるアノテーション付与手段（３、７）と、前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示する情報提示手段（３、５）とを備えるので、アノテーションとしてのテキストデータからアノテーションとしての図形データによる図形を自動的に提示でき、または、アノテーションとしての図形データからアノテーションとしてのテキストデータを自動的に提示でき、利便性を向上させることができる。
【０１０５】
[第２の実施の形態]
次に、本発明の第２の実施の形態について説明する。第２の実施の形態では、第１の実施の形態に同一または類似の装置および装置構成を用い、同一または類似のものについては第１の実施の形態で使用した符号を使用して重複説明を略し、第１の実施の形態とは異なる事項を中心に説明を行う。
【０１０６】
図９は、第２の実施の形態に係る映像アノテーション付与装置の構成を示すブロック図である。
【０１０７】
映像アノテーション付与装置は、第１の実施の形態と同様に、映像登録部１、オブジェクト領域検出部２、データ蓄積管理部３、データ記憶部４、映像情報提示部５、アノテーション受付部６、アノテーション生成部７を備える。
【０１０８】
第２の実施の形態では、サッカーの映像に対し戦術に関するアノテーションを付与する例について説明する。
【０１０９】
映像登録部１は、例えば、サッカーの映像を読み取り、データ蓄積管理部３に転送し、データ蓄積管理部３は、映像をデータ記憶部４に記憶させる。
【０１１０】
映像情報提示部５は、ユーザの端末からの要求に基づき、データ蓄積管理部３に要求を送信し、これにより読み出されたサッカーの映像を、映像再生部２１に提示する。
【０１１１】
また、第１の実施の形態と同様に、映像の１分１０秒経過時の画像である対象画像Ｓ（単に対象画像Ｓという）が表示されているときに登録されたアノテーション（テキストデータや図形データ）が端末から送信されたなら、アノテーション受付部６は、アノテーションをデータ蓄積管理部３に送信する。データ蓄積管理部３は、アノテーションを対象画像Ｓに対応づけてデータ記憶部４に記憶させる。
【０１１２】
また、第２の実施の形態では、例えば、端末の関連画像登録部２３から、対象画像Ｓに関連する関連画像がユーザにより登録され、端末から関連画像が送信されたなら、アノテーション受付部６は、関連画像をデータ蓄積管理部３に送信する。データ蓄積管理部３は、関連画像を対象画像Ｓに対応づけてデータ記憶部４に記憶させる。
【０１１３】
また、アノテーション受付部６は、アノテーションを自動的に生成する要求を端末から受信したなら、端末から受信したアノテーションをアノテーション生成部７に転送し、端末から受信した関連画像をオブジェクト領域検出部２に転送する。
【０１１４】
オブジェクト領域検出部２は、データ蓄積管理部３に要求し、データ蓄積管理部３から対象画像Ｓを取得し、第１の実施の形態と同様に、オブジェクトデータおよび関連づけデータを生成し、データ蓄積管理部３およびアノテーション生成部７に送信する。
【０１１５】
アノテーション生成部７は、アノテーション受付部６からアノテーションを受信し、オブジェクト領域検出部２からオブジェクトデータおよび関連づけデータを受信し、第１の実施の形態と同様に、アノテーションを生成し、オブジェクトデータ、関連づけデータおよび当該生成したアノテーションをデータ蓄積管理部３に送信する。データ蓄積管理部３は、第１の実施の形態と同様に、オブジェクトデータ、関連づけデータおよびアノテーションをデータ記憶部４に記憶させる。
【０１１６】
映像情報提示部５は、第１の実施の形態と同様に、データ蓄積管理部３に要求を送信し、これによりデータ蓄積管理部３は、対象画像Ｓに付与されたテキストデータ、関連画像Ａ、Ｂに付与された図形データをデータ記憶部４から読み出し、映像情報提示部５に送信し、映像情報提示部５は、これらのテキストデータおよび図形データを端末に送信し、ユーザに提示する。
【０１１７】
したがって、第２の実施の形態に係る映像アノテーション付与装置によれば、第１の実施の形態に係る映像アノテーション付与装置の構成要素に加え、前記対象画像に関連する関連画像を取得し前記記憶手段（４）に記憶させる関連画像取得手段（３、５）を備え、前記オブジェクト領域検出手段（３、２）は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、前記アノテーション取得手段（３、６、７）は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、前記アノテーション付与手段（３、７）は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、前記情報提示手段（３、５）は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示するので、対象画像へのアノテーションとしての図形データから関連画像へのアノテーションとしての図形データによる図形を自動的に提示でき、また、関連画像へのアノテーションとしての図形データから対象画像へのアノテーションとしての図形データによる図形を自動的に提示でき、利便性を向上させることができる。
【０１１８】
なお、各実施の形態に係る映像アノテーション付与装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【０１１９】
１…映像登録部
２…オブジェクト領域検出部
３…データ蓄積管理部
４…データ記憶部
５…映像情報提示部
６…アノテーション受付部
７…アノテーション生成部
２１…映像再生部
２２…テキストデータ受付部
２３…関連画像登録部
２４…アノテーション提示部
２５…関連画像提示部
【技術分野】
【０００１】
本発明は、映像アノテーション付与装置およびその動作方法に関するものである。
【背景技術】
【０００２】
映像の任意の時刻に対して、テキストデータ、映像への描画などの図形データによるアノテーションやビデオ関連画像を受け付ける従来技術として非特許文献１がある。この文献での映像掲示板について図２を参考に説明する。
【０００３】
映像掲示板では、映像再生部２１に再生されている映像の任意の時刻に対し、テキストデータ受付部２２や関連画像登録部２３からテキストデータや関連画像を登録することができる。登録されたテキストデータや関連画像は、映像の再生中の当該時刻に、アノテーション提示部２４や関連画像提示部２５に提示される。
【０００４】
このような映像連動型掲示板により、映像内容の補足説明の追加や、映像内容に基づいて議論することができるのでノウハウを発見・共有する用途に活用できる。
【０００５】
図２では、サッカーの映像からパスの候補領域を推定する非特許文献２の技術を用いて、パスが成功する確率が高いコースを自動分析し、分析結果を実画像に示した分析画像である関連画像Ａと、サッカーフィールドを俯瞰した画像に分析結果を図示したコンピュータグラフィックスの分析画像である関連画像Ｂと、分析結果を参考に戦術について専門家が登録したテキストデータとが提示された様子を示している。
【０００６】
関連画像Ａでは、成功する確率の高いパスコースを符号Ａ１で、関連画像Ｂでは符号Ｂ１でそれぞれ示している。図２の映像連動型掲示板の状態から、映像や関連画像に対し、描画した図形データやテキストデータによるアノテーションを追加することで、アノテーション付与者の主張をより具体的に表現したり、議論を効率よく行ったりできるようになる。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】嶌田聡,東正造,寺中晶郁,小島明：映像シーン連動型コミュニケーションからのノウハウ百科事典の生成,電子情報通信学会 AI研究会 , pp.35-40 ,2009．
【非特許文献２】高橋翔,今宏史,長谷山美紀：アクティブネットを用いたサッカー映像におけるパス可能領域の推定, 電子情報通信学会論文誌, J92-D, 4, pp.501-510, 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来技術において、映像や映像に関連する関連画像にテキストデータや図形データのアノテーションを付与することにより、画像の視覚的特徴を活用したノウハウ発見・共有が行うことができた。
【０００９】
しかしながら、従来技術では、同じ内容のアノテーションをテキストデータと図形データの各アノテーション種別で付与したい場合にはそれぞれの方法でアノテーション付与を行う必要があり手間がかかることが問題であった。たとえば、図２において、「ボールを保持している選手の右前方にパスを出した方がよい」というテキストデータを登録するときに、映像への描画、関連画像Ａへの描画、関連画像Ｂへの描画、テキストデータの投入の４回の登録作業を行う必要がある。４回の登録を行わずに代表的なアノテーションのみ付与する運用方法もあるが、映像や各関連画像に直接描画されている方がより理解しやすいこと、テキストデータが登録されていれば返信コメントがつけやすい、キーワード検索に利用できる、合成音声による読み上げが可能になることから、１回の登録処理で同じ内容のアノテーションを自動付与することが求められている。
【００１０】
本発明は、上記の課題に鑑みてなされたものであり、その目的とするところは、生成済みのアノテーションから別のアノテーションを自動的に生成し提示できる映像アノテーション付与装置およびその動作方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、第１の本発明は、映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し所定の記憶手段に記憶させるアノテーション取得手段と、前記映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させるオブジェクト領域検出手段と、前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させるアノテーション付与手段と、前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示する情報提示手段とを備えることを特徴とする映像アノテーション付与装置をもって解決手段とする。
【００１２】
第１の本発明において、例えば、映像アノテーション付与装置は、前記対象画像に関連する関連画像を取得し前記記憶手段に記憶させる関連画像取得手段を備え、前記オブジェクト領域検出手段は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、前記アノテーション取得手段は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、前記アノテーション付与手段は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、前記情報提示手段は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示する。
【００１３】
第２の本発明は、映像アノテーション付与装置の動作方法であって、前記映像アノテーション付与装置のアノテーション取得手段が、映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し所定の記憶手段に記憶させ、前記映像アノテーション付与装置のオブジェクト領域検出手段が、前記映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記映像アノテーション付与装置のアノテーション付与手段が、前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記映像アノテーション付与装置の情報提示手段が、前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示することを特徴とする映像アノテーション付与装置の動作方法をもって解決手段とする。
【００１４】
第２の本発明において、例えば、前記映像アノテーション付与装置は、前記対象画像に関連する関連画像を取得し前記記憶手段に記憶させる関連画像取得手段を備え、前記動作方法は、前記オブジェクト領域検出手段は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、前記アノテーション取得手段は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、前記アノテーション付与手段は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、前記情報提示手段は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示する。
【発明の効果】
【００１５】
本発明によれば、生成済みのアノテーションから別のアノテーションを自動的に生成し提示することができる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施の形態に係る映像アノテーション付与装置の構成を示すブロック図である。
【図２】ユーザに使用される端末の画面構成の一例を示す図である。
【図３】オブジェクトデータの構成の一例を示す図である。
【図４】関連づけデータの構成の一例を示す図である。
【図５】アノテーションとしての図形データを受信した場合の処理の流れを示すフローチャートである。
【図６】図形データの基になる図形が端末にて描画された様子を示す図である。
【図７】アノテーションとしてのテキストデータを受信した場合の処理の流れを示すフローチャートである。
【図８】アノテーションとしての図形データにより提示される図形の提示例を示す図である。
【図９】第２の実施の形態に係る映像アノテーション付与装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施の形態について図面を参照して説明する。
【００１８】
[第１の実施の形態]
図１は、第１の実施の形態に係る映像アノテーション付与装置の構成を示すブロック図である。図２は、アノテーション付与装置に通信回線を介して接続され、ユーザに使用される端末の画面構成の一例を示す図である。
【００１９】
図１に示すように、映像アノテーション付与装置は、映像登録部１、オブジェクト領域検出部２、データ蓄積管理部３、データ記憶部４、映像情報提示部５、アノテーション受付部６、アノテーション生成部７を備える。
【００２０】
図２に示すように、端末の画面は、映像再生部２１、テキストデータ受付部２２、関連画像登録部２３、アノテーション提示部２４、関連画像提示部２５を備える。
【００２１】
図１に戻り、映像登録部１は、映像ファイル（以下、映像）を読み取り、オブジェクト領域検出部２に転送する。
【００２２】
オブジェクト領域検出部２は、映像を構成する各シーンの画像（以下、対象画像という）に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域（位置、大きさ、色など）を示すオブジェクトデータを作成し、データ蓄積管理部３に送信する。
【００２３】
また、オブジェクト領域検出部２は、対象画像を分析し、分析結果を示す画像つまり対象画像に関連する画像（以下、関連画像という）を生成し、データ蓄積管理部３に送信する。なお、関連画像は分析画像に限られない。
【００２４】
また、オブジェクト領域検出部２は、関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域（位置、大きさ、色など）を示すオブジェクトデータを作成し、関連画像とオブジェクトデータをデータ蓄積管理部３に送信する。
【００２５】
また、オブジェクト領域検出部２は、対象画像のオブジェクトの領域と関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、データ蓄積管理部３に送信する。
【００２６】
データ蓄積管理部３は、オブジェクト領域検出部２から送信された映像、対象画像のオブジェクトデータ、関連画像、関連画像のオブジェクトデータ、関連づけデータをデータ記憶部４に記憶させる。
【００２７】
また、データ蓄積管理部３は、映像情報提示部５からの要求に応じて、データ記憶部４から映像、関連画像を読み出し、映像情報提示部５に送信する。
【００２８】
また、データ蓄積管理部３は、アノテーション生成部７からの要求に応じて、データ記憶部４からオブジェクトデータ、関連づけデータを読み出し、アノテーション生成部７に送信する。
【００２９】
また、データ蓄積管理部３は、アノテーション生成部７から送信されたアノテーションとしてのテキストデータや図形データをデータ記憶部４に記憶させる。
【００３０】
また、データ蓄積管理部３は、映像情報提示部５からの要求に応じて、データ記憶部４からアノテーション（テキストデータや図形データ）を読み出し、映像情報提示部５に送信する。
【００３１】
映像情報提示部５は、データ蓄積管理部３に要求を送信し、データ記憶部４から読み出されたた映像、関連画像、アノテーションを端末に送信し、ユーザに提示する。
【００３２】
アノテーション受付部６は、ユーザの端末から、アノテーション（テキストデータや図形データ）を受信し、これをアノテーション生成部７に転送する。
【００３３】
アノテーション生成部７は、アノテーションを受信したなら、データ蓄積管理部３に要求を送信し、データ記憶部４から読み出されたオブジェクトデータ、関連づけデータと、アノテーション受付部６から送信されたアノテーションとを基に、アノテーションを生成し、全てのアノテーションをデータ蓄積管理部３に送信する。
【００３４】
（第１の実施の形態における動作）
次に、映像アノテーション付与装置の動作を説明する。
ここでは、サッカーの映像に対し戦術に関するアノテーションを付与する例について説明する。
【００３５】
図１において、映像登録部１は、例えば、サッカーの映像を読み取り、オブジェクト領域検出部２に転送する。
【００３６】
オブジェクト領域検出部２は、映像を構成する各対象画像（以下、対象画像Ｓという）を分析し、分析結果を示す、例えば、２つの関連画像（以下、関連画像Ａ、Ｂという）を生成する。なお、関連画像の数は各対象画像Ｓで等しくなくてもよい。
【００３７】
また、オブジェクト領域検出部２は、対象画像Ｓに含まれるオブジェクトの領域を検出し、そのオブジェクトデータを作成する。
また、オブジェクト領域検出部２は、関連画像Ａに含まれるオブジェクトの領域を検出し、そのオブジェクトデータを作成する。
また、オブジェクト領域検出部２は、関連画像Ｂに含まれるオブジェクトの領域を検出し、そのオブジェクトデータを作成する。
【００３８】
図３は、オブジェクトデータの構成の一例を示す図である。
映像の１分１０秒経過時の対象画像Ｓに含まれるオブジェクトの識別情報（以下、識別情報を「ＩＤ」という）「１」のオブジェクト（例えば、サッカーボール）の領域を示すオブジェクトデータは、対象画像ＳのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ１１、ｙ１１）、領域の大きさを示すデータＳ１１、領域の色の特徴ベクトルｖ１１を含む。
【００３９】
対象画像Ｓに含まれるオブジェクトＩＤ「２」のオブジェクト（例えば、サッカーボールの近傍の１選手）の領域を示すオブジェクトデータは、対象画像ＳのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ１２、ｙ１２）、領域の大きさを示すデータＳ１２、領域の色の特徴ベクトルｖ１２を含む。
【００４０】
対象画像Ｓに含まれるオブジェクトＩＤ「３」のオブジェクト（例えば、サッカーボールから離れている１選手）の領域を示すオブジェクトデータは、対象画像ＳのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ１３、ｙ１３）、領域の大きさを示すデータＳ１３、領域の色の特徴ベクトルｖ１３を含む。
【００４１】
関連画像Ａに含まれるオブジェクトＩＤ「１」のオブジェクト（例えば、サッカーボール）の領域を示すオブジェクトデータは、関連画像ＡのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ２１、ｙ２１）、領域の大きさを示すデータＳ２１、領域の色の特徴ベクトルｖ２１を含む。
【００４２】
関連画像Ａに含まれるオブジェクトＩＤ「２」のオブジェクト（例えば、サッカーボールの近傍の１選手）の領域を示すオブジェクトデータは、関連画像ＡのＩＤオブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ２２、ｙ２２）、領域の大きさを示すデータＳ２２、領域の色の特徴ベクトルｖ２２を含む。
【００４３】
関連画像Ａに含まれるオブジェクトＩＤ「３」のオブジェクト（例えば、サッカーボールから離れている１選手）の領域を示すオブジェクトデータは、関連画像ＡのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ２３、ｙ２３）、領域の大きさを示すデータＳ２３、領域の色の特徴ベクトルｖ２３を含む。
【００４４】
関連画像Ｂに含まれるオブジェクトＩＤ「１」のオブジェクト（例えば、サッカーボール）の領域を示すオブジェクトデータは、関連画像ＢのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ３１、ｙ３１）、領域の大きさを示すデータＳ３１、領域の色の特徴ベクトルｖ３１を含む。
【００４５】
関連画像Ｂに含まれるオブジェクトＩＤ「２」のオブジェクト（例えば、サッカーボールの近傍の１選手）の領域を示すオブジェクトデータは、関連画像ＢのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ３２、ｙ３２）、領域の大きさを示すデータＳ３２、領域の色の特徴ベクトルｖ３２を含む。
【００４６】
関連画像Ｂに含まれるオブジェクトＩＤ「３」のオブジェクト（例えば、サッカーボールから離れている１選手）の領域を示すオブジェクトデータは、関連画像ＢのＩＤ、オブジェクトＩＤ、オブジェクトの位置を示す座標（ｘ３３、ｙ３３）、領域の大きさを示すデータＳ３３、領域の色の特徴ベクトルｖ３３を含む。
【００４７】
また、オブジェクト領域検出部２は、対象画像Ｓのオブジェクトの領域と関連画像Ａのオブジェクトの領域を関連づける関連づけデータを作成する。
また、オブジェクト領域検出部２は、対象画像Ｓのオブジェクトの領域と関連画像Ｂのオブジェクトの領域を関連づける関連づけデータを作成する。
また、オブジェクト領域検出部２は、関連画像Ａのオブジェクトの領域と関連画像Ｂのオブジェクトの領域を関連づける関連づけデータを作成する。
【００４８】
図４は、関連づけデータの構成の一例を示す図である。
対象画像Ｓのオブジェクト（例えば、サッカーボール）の領域と関連画像Ａのオブジェクト（同じくサッカーボール）の領域を関連づける関連づけデータは、対象画像ＳのＩＤ、関連画像ＡのＩＤ、対象画像Ｓに含まれるオブジェクト（同じくサッカーボール）のオブジェクトデータに含まれるオブジェクトＩＤ「１」、関連画像Ａに含まれるオブジェクト（同じくサッカーボール）のオブジェクトデータに含まれるオブジェクトＩＤ「１」を含む。
【００４９】
また、対象画像Ｓのオブジェクト（例えば、サッカーボールの近傍の１選手）の領域と関連画像Ａのオブジェクト（同じ選手）の領域を関連づける関連づけデータは、対象画像ＳのＩＤ、関連画像ＡのＩＤ、対象画像Ｓに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「２」、関連画像Ａに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「２」を含む。
【００５０】
また、対象画像Ｓのオブジェクト（例えば、サッカーボールから離れている１選手）の領域と関連画像Ａのオブジェクト（同じ選手）の領域を関連づける関連づけデータは、対象画像ＳのＩＤ、関連画像ＡのＩＤ、対象画像Ｓに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「３」、関連画像Ａに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「３」を含む。
【００５１】
対象画像Ｓのオブジェクト（例えば、サッカーボール）の領域と関連画像Ｂのオブジェクト（同じくサッカーボール）の領域を関連づける関連づけデータは、対象画像ＳのＩＤ、関連画像ＢのＩＤ、対象画像Ｓに含まれるオブジェクト（同じくサッカーボール）のオブジェクトデータに含まれるオブジェクトＩＤ「１」、関連画像Ｂに含まれるオブジェクト（同じくサッカーボール）のオブジェクトデータに含まれるオブジェクトＩＤ「１」を含む。
【００５２】
また、対象画像Ｓのオブジェクト（例えば、サッカーボールの近傍の１選手）の領域と関連画像Ｂのオブジェクト（同じ選手）の領域を関連づける関連づけデータは、対象画像ＳのＩＤ、関連画像ＢのＩＤ、対象画像Ｓに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「２」、関連画像Ｂに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「２」を含む。
【００５３】
また、対象画像Ｓのオブジェクト（例えば、サッカーボールから離れている１選手）の領域と関連画像Ｂのオブジェクト（同じ選手）の領域を関連づける関連づけデータは、対象画像ＳのＩＤ、関連画像ＢのＩＤ、対象画像Ｓに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「３」、関連画像Ｂに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「３」を含む。
【００５４】
関連画像Ａのオブジェクト（例えば、サッカーボール）の領域と関連画像Ｂのオブジェクト（同じくサッカーボール）の領域を関連づける関連づけデータは、関連画像ＡのＩＤ、関連画像ＢのＩＤ、関連画像Ａに含まれるオブジェクト（同じくサッカーボール）のオブジェクトデータに含まれるオブジェクトＩＤ「１」、関連画像Ｂに含まれるオブジェクト（同じくサッカーボール）のオブジェクトデータに含まれるオブジェクトＩＤ「１」を含む。
【００５５】
また、関連画像Ａのオブジェクト（例えば、サッカーボールの近傍の１選手）の領域と関連画像Ｂのオブジェクト（同じ選手）の領域を関連づける関連づけデータは、関連画像ＡのＩＤ、関連画像ＢのＩＤ、関連画像Ａに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「２」、関連画像Ｂに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「２」を含む。
【００５６】
また、関連画像Ａのオブジェクト（例えば、サッカーボールから離れている１選手）の領域と関連画像Ｂのオブジェクト（同じ選手）の領域を関連づける関連づけデータは、関連画像ＡのＩＤ、関連画像ＢのＩＤ、関連画像Ａに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「３」、関連画像Ｂに含まれるオブジェクト（同じ選手）のオブジェクトデータに含まれるオブジェクトＩＤ「３」を含む。
【００５７】
図１に戻り、オブジェクト領域検出部２は、サッカーの映像（つまり各対象画像Ｓ）、関連画像Ａ、Ｂ、各オブジェクトデータ、各関連づけデータをデータ蓄積管理部３に送信する。データ蓄積管理部３は、これらを関連づけてデータ記憶部４に記憶させる。
【００５８】
映像情報提示部５は、ユーザの端末からの要求に基づき、データ蓄積管理部３に要求を送信し、これによりデータ蓄積管理部３がデータ記憶部４から読み出したサッカーの映像を受信し、映像を端末に送信し、図２の映像再生部２１に提示する。
【００５９】
また、映像情報提示部５は、データ蓄積管理部３に要求を送信し、これによりデータ蓄積管理部３が読み出した関連画像Ａ、Ｂ、アノテーションを受信し、これらを端末に送信し、図２の関連画像提示部２５に関連画像Ａ、Ｂを提示し、アノテーション提示部２４にアノテーション（テキストデータ）を提示し、映像再生部２１に提示された対象画像Ｓや関連画像提示部２５に提示された関連画像に重ねてアノテーション（図形データによる図形）を提示する。
【００６０】
図５は、アノテーション生成部７がアノテーション受付部６からアノテーションとしての図形データを受信した場合の処理の流れを示すフローチャートである。
図６は、図形データの基になる図形が端末にて描画された様子を示す図である。
【００６１】
例えば、関連画像提示部２５には、対象画像Ｓに対応する関連画像Ａ、Ｂが提示されている。
関連画像Ａは、ここでは、サッカーの映像からパスの候補領域を推定する非特許文献２の技術を用いて、パスが成功する確率が高いコースを自動分析し、分析結果を実画像に示した分析画像である。符号Ａ１は、パスが成功する確率が高いコースを示す。
【００６２】
関連画像Ｂは、サッカーフィールドを俯瞰した図に分析結果を図示したコンピュータグラフィックスの分析画像である。符号Ｂ１は、パスが成功する確率が高いコースを示す。
【００６３】
ここで、ユーザは、マウス（入力装置）などを使用して、映像再生部２１に表示された映像の１分１０秒経過時の画像（対象画像Ｓ）の上でポインタを動かし矢印ＡＲ１、ＡＲ２を描画する。端末は、各矢印の図形データをアノテーション受付部６に送信する。アノテーション受付部６は、図形データが送信されたことを映像情報提示部５に通知し、図形データをアノテーション生成部７に転送する。
【００６４】
アノテーション生成部７は、アノテーション受付部６から当該図形データを受信すると、データ蓄積管理部３に要求し、データ蓄積管理部３がデータ記憶部４から読み出した、対象画像Ｓ、関連画像Ａ、Ｂについて生成されたオブジェクトデータを取得する（Ｓ１）。例えば、対象画像Ｓ、関連画像Ａ、Ｂのそれぞれについて、複数のオブジェクトデータが取得される。
【００６５】
次に、アノテーション生成部７は、データ蓄積管理部３に要求し、データ蓄積管理部３がデータ記憶部４から読み出した、対象画像Ｓから生成された関連画像Ａ、Ｂの合計数Ｎ（この場合Ｎ＝２）を計算する（Ｓ３）。
【００６６】
次に、アノテーション生成部７は、関連画像の数について使用される変数ｎを１に初期化する（Ｓ５）。
【００６７】
次に、アノテーション生成部７は、データ蓄積管理部３に要求し、データ蓄積管理部３がデータ記憶部４から読み出した、対象画像Ｓのオブジェクトの領域とｎ番目の関連画像（ここでは関連画像Ａとする）のオブジェクトの領域を関連づける関連づけデータを取得する（Ｓ７）。例えば、関連画像Ａについて、複数の関連づけデータが取得される。
【００６８】
次に、アノテーション生成部７は、受信した図形データにより対象画像Ｓに提示される図形（例えば、矢印ＡＲ１）の位置と当該オブジェクトデータと当該関連づけデータに基づいて、ｎ番目の関連画像Ａのアノテーションである図形データを生成する（Ｓ９）。
【００６９】
ここでは、例えば、アノテーション生成部７は、図形データから矢印ＡＲ１の始点、終点、または、その一方の位置を求め、ステップＳ１で取得したオブジェクトデータから、対象画像ＳのＩＤならびに当該位置または近傍の座標を含むものを選択し、選択したオブジェクトデータからオブジェクトＩＤを読み出し、ステップＳ７で取得した関連づけデータから、対象画像ＳのＩＤと対象画像ＳのオブジェクトＩＤとして当該オブジェクトＩＤを含むものを選択し、ステップＳ１で取得したオブジェクトデータから、当該関連画像ＡのＩＤと当該関連画像ＡでのオブジェクトＩＤを含むものを選択し、当該オブジェクトデータから座標を読み出し、当該座標を使用して、関連画像Ａにアノテーションとして提示される図形についての図形データを生成する（Ｓ９）。アノテーション生成部７は、矢印ＡＲ２についても同様の方法で図形データを生成する（Ｓ９）。
【００７０】
次に、アノテーション生成部７は、変数ｎが合計数Ｎに一致するか否かを判定し（Ｓ１１）、一致しなければ、変数ｎに１を加え（Ｓ１３）、ステップＳ７に戻る。これにより、関連画像Ｂに提示される図形（２つの矢印）についての図形データが生成される（Ｓ９）。
【００７１】
一方、変数ｎが合計数Ｎに一致したなら、アノテーション生成部７は、アノテーションとしてのテキストデータを生成する（Ｓ１５）。
【００７２】
テキストデータは、例えば、以下のように生成される。
ここでは、ユーザによる対象画像Ｓ上での矢印などの図形の描画に関するルールを予め設定しておく方法を説明する。
【００７３】
以下、ルール１、２を設けた場合について説明する。
ルール１：ボール保持者を始点とする矢印はパスを出す方向を示し、終点はパスを受ける選手を示す。
ルール２：ボール保持者でない選手を始点とする矢印は選手の移動方向を示す。
【００７４】
矢印ＡＲ１の始点に近いオブジェクトは、オブジェクトデータ内の座標、大きさ、色の特徴ベクトルによれば、画面の右下にいる選手であると特定できる。
【００７５】
さらに、その近傍にボールの大きさに相当するオブジェクトがあることから、始点のオブジェクトはボール保持者であることがわかる。
【００７６】
矢印ＡＲ１の終端の近傍には、始点と同じチームの選手がいて、それは始点の選手から見て右前方に位置していることがわかる。
【００７７】
以上の判定結果から、ルール１を適用して、矢印ＡＲ１に対応するアノテーションとしてのテキストデータ「ボール保持者の画面の右下にいる選手から右前方に位置している選出にパスを出す」が生成される。
【００７８】
矢印ＡＲ２については、矢印ＡＲ２の方向は画面上で右下であること、矢印ＡＲ２の始点の近くには、画面中央に位置する選手がいることが特定でき、周辺にはボールに相当するオブジェクトが存在しないことから、ルール２を適用して、アノテーションとしてのテキストデータ「画面中央にいる選出は画面上で右下に移動する」が生成される。
【００７９】
このように、登録する映像の種別に応じて、アノテーションとしての図形の描画に関するルールを設定しておくことで、アノテーションとしてのテキストデータを自動的に生成することができる。
【００８０】
図５に戻り、アノテーション生成部７は、全てのアノテーション（図形データ、テキストデータの全て）をデータ蓄積管理部３に送信する（Ｓ１７）。
【００８１】
データ蓄積管理部３は、矢印ＡＲ１、ＡＲ２などの図形の図形データならびに生成されたテキストデータを対象画像Ｓに対応づけて、データ記憶部４に記憶させる。つまり、データ蓄積管理部３は、これらのアノテーションを対象画像Ｓに付与する（Ｓ１９）。
【００８２】
また、データ蓄積管理部３は、関連画像Ａ、Ｂについて生成された図形データをそれぞれの関連画像に対応づけて、データ記憶部４に記憶させる。つまり、データ蓄積管理部３は、これらのアノテーションを関連画像Ａ、Ｂに付与する（Ｓ１９）。
【００８３】
映像情報提示部５は、アノテーション受付部６からの通知により、データ蓄積管理部３に要求を送信し、これによりデータ蓄積管理部３は、対象画像Ｓに付与されたテキストデータ、関連画像Ａ、Ｂに付与された図形データをデータ記憶部４から読み出し、映像情報提示部５に送信する。映像情報提示部５は、これらのテキストデータおよび図形データを端末に送信して提示し（Ｓ２１）、処理が終わる。
【００８４】
これにより、図６のアノテーション提示部２４には、その後、生成されたテキストデータ（アノテーション）が提示され、関連画像提示部２５には、その後、生成された図形データに基づく図形（アノテーション）が提示される。
【００８５】
図７は、アノテーション生成部７がアノテーション受付部６からアノテーションとしてのテキストデータを受信した場合の処理の流れを示すフローチャートである。
【００８６】
例えば、ユーザは、映像再生部２１に映像の１分１０秒経過時の画像である対象画像Ｓ（単に対象画像Ｓという）が提示されているときに、テキストデータ受付部２２にテキストデータ「右下にいる選手から右前方にいる選手にパスを出すとよい。このとき、画面中央にいる選手はパスを受けやすいようにパスを出す選手の方向に移動する。」を入力する。端末は、このテキストデータをアノテーション受付部６に送信する。アノテーション受付部６は、テキストデータが送信されたことを映像情報提示部５に通知し、テキストデータをアノテーション生成部７に転送する。
【００８７】
アノテーション生成部７は、アノテーション受付部６から当該テキストデータを受信すると、データ蓄積管理部３に要求し、データ蓄積管理部３がデータ記憶部４から読み出した、対象画像Ｓのオブジェクトデータを取得する（Ｓ１ａ）。例えば、複数のオブジェクトデータが取得される。
【００８８】
次に、アノテーション生成部７は、当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、対象画像Ｓのアノテーションである図形データを生成する（Ｓ２）。
【００８９】
図形データは、例えば、以下のように生成される。
ここでは、テキストデータに形態素解析を行い、動詞句に対応する図形データをルール化しておく方法を説明する。
以下、ルール１１〜１４を設けた場合について説明する。
【００９０】
ルール１１：「パスを出す」の図形表現は矢印とし、テキストデータ中に「名詞１から名詞２に」の記述があったときには、矢印の始点を「名詞１」に、終点を「名詞２に」とする。
【００９１】
ルール１２：「パスを出す」の矢印を描画するときに、始点の選手はボール保持者とする。また、前方、後方、右側などの方向を示す表現があった場合には、その方向に矢印を描画する。
【００９２】
ルール１３：「移動する」の図形表現は矢印とし、テキストデータ中に「名詞１は」、「名詞２に」の記述があったときには、矢印の始点を「名詞１」に、終点を「名詞２」にする。
【００９３】
ルール１４：「移動する」の矢印を描画するときに、前方、後方、右側などの方向を示す表現があった場合には、その方向に矢印を描画する。
【００９４】
テキストデータの「右下にいる選手から右前方にいる選手にパスを出すとよい。」については、ルール１１により、「右下にいる選手」を始点、「右前方にいる選手」を終点とするパスを表す矢印の図形データが作成される。
【００９５】
ルール１２により、始点はボール保持者であることから、ステップＳ１ａで取得したオブジェクトデータを用いて、画像の右下に選手に相当するオブジェクトの領域があり、その周辺にボールに相当するオブジェクトの領域があることを条件に矢印の始点を決定する。終点は右前方にいる選手に相当するオブジェクトの領域を特定することで決定する。
【００９６】
テキストデータの「画面中央にいる選手はパスを受けやすいようにパスを出す選手の方向に移動する」については、ルール１３により「画面中央にいる選手」を始点、ルール１４により「パスを出す選手の方向に」を方向とする移動を表す矢印の図形データを作成する。
【００９７】
ステップＳ１ａで取得したオブジェクトデータを用いて、矢印の始点は画面中央に位置する選手に相当するオブジェクトの領域を特定することで決定する。
【００９８】
テキストデータの「パスを出す選手の方向に」については、前の文の分析で、パスを出す選手のオブジェクトの領域が特定されているので、その方向に矢印を描画する。
矢印の形状や色は事前に設定しておく条件に従い作成すればよい。
【００９９】
これ以降は、図５に示す処理とほぼ同様の処理がなされる。
ここでは、ステップＳ２で生成された図形データつまり対象画像Ｓのアノテーションとしての図形データは、図５に示す処理においてアノテーション生成部７が取得した図形データと同様に扱われる。
【０１００】
また、アノテーション生成部７が取得したテキストデータは、アノテーション生成部７がステップＳ１５で生成したテキストデータと同様に扱われ、データ記憶部４に記憶される。ステップＳ１５は省略される。
【０１０１】
図８は、対象画像Ｓ、関連画像Ａ、Ｂのアノテーションとしての図形データにより提示される図形の提示例を示す図である。
【０１０２】
矢印ＡＲ１１、ＡＲ２１、ＡＲ３１が、例えば「パスする」ことを意味する場合、例えば、事前の設定に従い、「太い矢印」として表示される。
【０１０３】
矢印ＡＲ１２、ＡＲ２２、ＡＲ３２が、例えば、「移動する」ことを意味する場合、例えば、事前の設定に従い、「細い矢印」として表示される。
【０１０４】
したがって、第１の実施の形態に係る映像アノテーション付与装置によれば、映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し記憶手段（データ記憶部４）に記憶させるアノテーション取得手段（データ蓄積管理部３、アノテーション受付部６、アノテーション生成部７。以下、符号のみで示す）と、映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させるオブジェクト領域検出手段（３、２）と、前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させるアノテーション付与手段（３、７）と、前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示する情報提示手段（３、５）とを備えるので、アノテーションとしてのテキストデータからアノテーションとしての図形データによる図形を自動的に提示でき、または、アノテーションとしての図形データからアノテーションとしてのテキストデータを自動的に提示でき、利便性を向上させることができる。
【０１０５】
[第２の実施の形態]
次に、本発明の第２の実施の形態について説明する。第２の実施の形態では、第１の実施の形態に同一または類似の装置および装置構成を用い、同一または類似のものについては第１の実施の形態で使用した符号を使用して重複説明を略し、第１の実施の形態とは異なる事項を中心に説明を行う。
【０１０６】
図９は、第２の実施の形態に係る映像アノテーション付与装置の構成を示すブロック図である。
【０１０７】
映像アノテーション付与装置は、第１の実施の形態と同様に、映像登録部１、オブジェクト領域検出部２、データ蓄積管理部３、データ記憶部４、映像情報提示部５、アノテーション受付部６、アノテーション生成部７を備える。
【０１０８】
第２の実施の形態では、サッカーの映像に対し戦術に関するアノテーションを付与する例について説明する。
【０１０９】
映像登録部１は、例えば、サッカーの映像を読み取り、データ蓄積管理部３に転送し、データ蓄積管理部３は、映像をデータ記憶部４に記憶させる。
【０１１０】
映像情報提示部５は、ユーザの端末からの要求に基づき、データ蓄積管理部３に要求を送信し、これにより読み出されたサッカーの映像を、映像再生部２１に提示する。
【０１１１】
また、第１の実施の形態と同様に、映像の１分１０秒経過時の画像である対象画像Ｓ（単に対象画像Ｓという）が表示されているときに登録されたアノテーション（テキストデータや図形データ）が端末から送信されたなら、アノテーション受付部６は、アノテーションをデータ蓄積管理部３に送信する。データ蓄積管理部３は、アノテーションを対象画像Ｓに対応づけてデータ記憶部４に記憶させる。
【０１１２】
また、第２の実施の形態では、例えば、端末の関連画像登録部２３から、対象画像Ｓに関連する関連画像がユーザにより登録され、端末から関連画像が送信されたなら、アノテーション受付部６は、関連画像をデータ蓄積管理部３に送信する。データ蓄積管理部３は、関連画像を対象画像Ｓに対応づけてデータ記憶部４に記憶させる。
【０１１３】
また、アノテーション受付部６は、アノテーションを自動的に生成する要求を端末から受信したなら、端末から受信したアノテーションをアノテーション生成部７に転送し、端末から受信した関連画像をオブジェクト領域検出部２に転送する。
【０１１４】
オブジェクト領域検出部２は、データ蓄積管理部３に要求し、データ蓄積管理部３から対象画像Ｓを取得し、第１の実施の形態と同様に、オブジェクトデータおよび関連づけデータを生成し、データ蓄積管理部３およびアノテーション生成部７に送信する。
【０１１５】
アノテーション生成部７は、アノテーション受付部６からアノテーションを受信し、オブジェクト領域検出部２からオブジェクトデータおよび関連づけデータを受信し、第１の実施の形態と同様に、アノテーションを生成し、オブジェクトデータ、関連づけデータおよび当該生成したアノテーションをデータ蓄積管理部３に送信する。データ蓄積管理部３は、第１の実施の形態と同様に、オブジェクトデータ、関連づけデータおよびアノテーションをデータ記憶部４に記憶させる。
【０１１６】
映像情報提示部５は、第１の実施の形態と同様に、データ蓄積管理部３に要求を送信し、これによりデータ蓄積管理部３は、対象画像Ｓに付与されたテキストデータ、関連画像Ａ、Ｂに付与された図形データをデータ記憶部４から読み出し、映像情報提示部５に送信し、映像情報提示部５は、これらのテキストデータおよび図形データを端末に送信し、ユーザに提示する。
【０１１７】
したがって、第２の実施の形態に係る映像アノテーション付与装置によれば、第１の実施の形態に係る映像アノテーション付与装置の構成要素に加え、前記対象画像に関連する関連画像を取得し前記記憶手段（４）に記憶させる関連画像取得手段（３、５）を備え、前記オブジェクト領域検出手段（３、２）は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、前記アノテーション取得手段（３、６、７）は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、前記アノテーション付与手段（３、７）は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、前記情報提示手段（３、５）は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示するので、対象画像へのアノテーションとしての図形データから関連画像へのアノテーションとしての図形データによる図形を自動的に提示でき、また、関連画像へのアノテーションとしての図形データから対象画像へのアノテーションとしての図形データによる図形を自動的に提示でき、利便性を向上させることができる。
【０１１８】
なお、各実施の形態に係る映像アノテーション付与装置としてコンピュータを機能させるためのコンピュータプログラムは、半導体メモリ、磁気ディスク、光ディスク、光磁気ディスク、磁気テープなどのコンピュータ読み取り可能な記録媒体に記録でき、また、インターネットなどの通信網を介して伝送させて、広く流通させることができる。
【符号の説明】
【０１１９】
１…映像登録部
２…オブジェクト領域検出部
３…データ蓄積管理部
４…データ記憶部
５…映像情報提示部
６…アノテーション受付部
７…アノテーション生成部
２１…映像再生部
２２…テキストデータ受付部
２３…関連画像登録部
２４…アノテーション提示部
２５…関連画像提示部
【特許請求の範囲】
【請求項１】
映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し所定の記憶手段に記憶させるアノテーション取得手段と、
前記映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させるオブジェクト領域検出手段と、
前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させるアノテーション付与手段と、
前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示する情報提示手段と
を備えることを特徴とする映像アノテーション付与装置。
【請求項２】
前記対象画像に関連する関連画像を取得し前記記憶手段に記憶させる関連画像取得手段を備え、
前記オブジェクト領域検出手段は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、
前記アノテーション取得手段は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、
前記アノテーション付与手段は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、
前記情報提示手段は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示する
ことを特徴とする請求項１記載の映像アノテーション付与装置。
【請求項３】
映像アノテーション付与装置の動作方法であって、
前記映像アノテーション付与装置のアノテーション取得手段が、映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し所定の記憶手段に記憶させ、
前記映像アノテーション付与装置のオブジェクト領域検出手段が、前記映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、
前記映像アノテーション付与装置のアノテーション付与手段が、前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させ、
前記映像アノテーション付与装置の情報提示手段が、前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示する
ことを特徴とする映像アノテーション付与装置の動作方法。
【請求項４】
前記映像アノテーション付与装置は、前記対象画像に関連する関連画像を取得し前記記憶手段に記憶させる関連画像取得手段を備え、
前記オブジェクト領域検出手段は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、
前記アノテーション取得手段は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、
前記アノテーション付与手段は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、
前記情報提示手段は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示する
ことを特徴とする請求項３記載の映像アノテーション付与装置の動作方法。
【請求項５】
請求項１または２記載の映像アノテーション付与装置としてコンピュータを機能させるためのコンピュータプログラム。
【請求項１】
映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し所定の記憶手段に記憶させるアノテーション取得手段と、
前記映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させるオブジェクト領域検出手段と、
前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させるアノテーション付与手段と、
前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示する情報提示手段と
を備えることを特徴とする映像アノテーション付与装置。
【請求項２】
前記対象画像に関連する関連画像を取得し前記記憶手段に記憶させる関連画像取得手段を備え、
前記オブジェクト領域検出手段は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、
前記アノテーション取得手段は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、
前記アノテーション付与手段は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、
前記情報提示手段は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示する
ことを特徴とする請求項１記載の映像アノテーション付与装置。
【請求項３】
映像アノテーション付与装置の動作方法であって、
前記映像アノテーション付与装置のアノテーション取得手段が、映像の任意の時刻に対するアノテーションとしてテキストデータまたは図形データを取得し所定の記憶手段に記憶させ、
前記映像アノテーション付与装置のオブジェクト領域検出手段が、前記映像の前記時刻の画像である対象画像から当該対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、
前記映像アノテーション付与装置のアノテーション付与手段が、前記記憶手段から前記オブジェクトデータと前記アノテーションを読み出し、当該アノテーションがテキストデータなら当該テキストデータに形態素解析を行い、当該形態素解析の結果と当該オブジェクトデータに基づいて、前記図形データを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、前記テキストデータを前記対象画像に付与するとともに前記記憶手段に記憶させる一方、当該アノテーションが図形データなら、当該図形データにより提示される図形の位置と当該オブジェクトデータに基づいて、当該図形に対応するテキストデータを生成して前記対象画像へ付与するとともに前記記憶手段に記憶させ、当該図形データを前記対象画像へ付与するとともに前記記憶手段に記憶させ、
前記映像アノテーション付与装置の情報提示手段が、前記記憶手段から前記テキストデータと前記図形データを読み出し、前記対象画像と当該テキストデータと当該図形データに基づく図形を互いに関連づけて提示する
ことを特徴とする映像アノテーション付与装置の動作方法。
【請求項４】
前記映像アノテーション付与装置は、前記対象画像に関連する関連画像を取得し前記記憶手段に記憶させる関連画像取得手段を備え、
前記オブジェクト領域検出手段は、前記対象画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記記憶手段から前記関連画像を読み出し、当該関連画像に含まれるオブジェクトの領域を検出し、当該オブジェクトの領域を示すオブジェクトデータを作成し、前記記憶手段に記憶させ、前記対象画像のオブジェクトの領域と前記関連画像のオブジェクトの領域を関連づける関連づけデータを作成し、前記記憶手段に記憶させ、
前記アノテーション取得手段は、前記対象画像と前記関連画像の一方のアノテーションとして図形データを取得し、前記記憶手段に記憶させ、
前記アノテーション付与手段は、前記記憶手段からオブジェクトデータと関連づけデータを読み出し、当該図形データにより前記一方の画像に提示される図形の位置と当該オブジェクトデータと当該関連づけデータに基づいて、前記他方の画像のアノテーションとしての図形データを生成して当該他方の画像に付与するとともに前記記憶手段に記憶させ、前記一方の画像のアノテーションとしての図形データを当該一方の画像に付与するとともに前記記憶手段に記憶させ、
前記情報提示手段は、前記記憶手段から前記関連画像、前記対象画像に付与された図形データ、前記関連画像に付与された図形データを読み出し、前記対象画像および当該対象画像に付与された当該図形データに基づく図形、ならびに、前記関連画像および当該関連画像に付与された当該図形データに基づく図形、を互いに関連づけて提示する
ことを特徴とする請求項３記載の映像アノテーション付与装置の動作方法。
【請求項５】
請求項１または２記載の映像アノテーション付与装置としてコンピュータを機能させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−２１４８２（Ｐ２０１３−２１４８２Ａ）
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願番号】特願２０１１−１５２８９９（Ｐ２０１１−１５２８９９）
【出願日】平成２３年７月１１日（２０１１．７．１１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（５０４１７３４７１）国立大学法人北海道大学 (971)
【Ｆターム（参考）】
【公開日】平成２５年１月３１日（２０１３．１．３１）
【国際特許分類】
【出願日】平成２３年７月１１日（２０１１．７．１１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【出願人】（５０４１７３４７１）国立大学法人北海道大学 (971)
【Ｆターム（参考）】
[ Back to top ]