動画像処理装置および方法
【課題】 動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、特定の空間領域を関連付けることを可能にする。
【解決手段】 動画像処理装置は、撮像ユニットで撮像された動画データと、動画データを構成する各画像フレームに関連付けられた撮像ユニットの撮像情報と、を取得する取得部と、マーカ表示を表示制御するためのマーカ情報を、動画データのうちの指定された画像フレームに関連付けて動画データに付加する付加部とを備えることを特徴とする。
【解決手段】 動画像処理装置は、撮像ユニットで撮像された動画データと、動画データを構成する各画像フレームに関連付けられた撮像ユニットの撮像情報と、を取得する取得部と、マーカ表示を表示制御するためのマーカ情報を、動画データのうちの指定された画像フレームに関連付けて動画データに付加する付加部とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の処理技術に関するものである。
【背景技術】
【０００２】
ディジタルカメラ等を用いた撮像技術の進歩や社会的な背景から、監視や状況確認を目的とした動画像を撮像し、デジタルデータとして記録する所謂監視カメラが普及している。また、同様の技術を用いたコミュニケーション用カメラも普及している。このようなカメラには、目的に合った場所に固定され、カメラが回転軸に従って回転したり、あるいは、ズーム機能により拡大や縮小を行う機能が付与されたものも多い。このようなカメラの撮像位置（方向）の変化は、一般にはパン・チルト・ズームなどと呼ばれている。このパン・チルト・ズーム機能をネットワーク等を介した遠隔指示操作をすることで、利用者は所望の方向の画像を撮像記録したり参照したりすることが可能となっている。一方、撮像された動画の記録は、一般にハードディスクと呼ばれる記憶装置やメモリカードの大容量化や低価格化が進み、一定の長時間の動画が十分に記録できるようになってきている。動画像の記録形式も、MPEG（Moving Picture Expert Group）や各メーカによって、複数の方式が普及している。近年普及している記録形式の特徴は、単に時系列的に時間ごとの瞬間を捕らえた画像データ（以降、「画像フレーム」と呼ぶ）を並べて記録するものではなくなっている点である。すなわち、画像フレームに加え、それらをグループ化するための情報や個々の画像フレームの再生時間（タイムスタンプ）情報、あるいは動画像全体の撮像時刻や撮像パラメータ等をメタデータとして記録できるようになっている。典型的な記録形式の例としては、QuickTime（登録商標）形式や通常ＭＰ４と呼ばれる形式等が挙げられる。こうした記録形式は、比較的柔軟な拡張性を持っており、たとえば、動画像の時間軸に沿って時系列的に変化する著作権情報や動画像全体の撮像機器情報などを格納することも可能である。
【０００３】
例えば、監視用途などでは、特に、撮像された動画像の中から特定の空間的あるいは時間的領域を抽出あるいは選択する技術が必要となっている。これは、画像内に通常と変化のあった場合など、様々な条件で対象となる部分を選択的に知覚することが必要となる場合が多いためである。このような背景から、従来より、監視を目的として、画像フレーム内に動きのあるものを検知すると、撮像記録される動画像に対しマーカを付与する仕組みが実用化されている。具体的には、各画像フレーム又は複数の画像フレームからなるグループが特定される形式で、異常を示すフラグを立てることで、再生時に、このフラグを参照してフラグのあるフレームのみを強調するといった機能が実用化されている。
【０００４】
あるいは、撮像記録された画像を参照しながらマウスなどのポインタ入力装置を操作することにより、記録済みの画像フレームまたは前後の画像フレームを含む複数の画像フレームに、明示的に矩形などの画像情報を上書き記録する仕組みも実用化されている。
【０００５】
更に、撮像画像から特定領域を抽出する技術を応用することにより、人物を抽出したり移動する車を抽出したりすることにより、動画像から特定の領域を抽出する技術が知られている。また、この技術を応用して、抽出された特定領域の撮像範囲内での位置および大きさに基づいて、パン・チルト・ズーム機能を動作させるといった技術も知られている（例えば、特許文献１を参照）。
【特許文献１】特開２００２−２６２１３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来技術では、記録された動画像や撮像し記録しようとする動画像の中から特定の空間的領域を選択し、選択された領域を全動画像にわたって動画像のデータと関連付けて記憶する場合、以下に示す問題が生じていた。
【０００７】
特許文献１の場合では、記録済みや記録中の画像の特定領域を元に、この画像にとらわれることなくカメラを動作させることが可能である。しかしながら、記録済みの過去の画像にまで遡及して動画像の中から特定の空間的領域を選択し関連付けて記録することに課題がある。
【０００８】
本発明は、従来技術の課題を鑑みてなされたものであり、動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、特定の空間領域を関連付けることを可能にする技術の提供を目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成する本発明に係る動画像処理装置は、撮像手段で撮像された動画データと、前記動画データを構成する各画像フレームに関連付けられた前記撮像手段の撮像情報と、を取得する取得手段と、
マーカ表示を表示制御するためのマーカ情報を、前記動画データのうちの指定された画像フレームに関連付けて前記動画データに付加する付加手段と、
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、特定の空間領域を関連付けることが可能になる。
【発明を実施するための最良の形態】
【００１１】
以下添付図面を参照して、本発明の好適な実施形態を説明する。
［第１実施形態］
図１は、本実施形態に係る動画像処理装置の機能構成を示すブロック図である。本実施形態に係る動画像処理装置は、撮像ユニット１０１、符号圧縮回路１０２、アクチュエータユニット１０３、動画データ取得回路１０４、表示ユニット１０５を備える。また、動画像処理装置は、ユーザ入力ユニット１０６、情報付加回路１０７、動画データ出力回路１０８、記憶装置１０９、動画像再生回路１１０を備えている。
【００１２】
各機能構成は、ＣＰＵ２５２の制御の下に動作するソフトウェアプログラムとの協働によって本発明の実施形態に係る画像処理を実現するものとする。
【００１３】
撮像ユニット１０１は、一般的には、光学レンズやCCD等の光学センサ等から構成される。撮像ユニット１０１は、撮像された各フレームの画像を、画像信号として符号圧縮回路１０２に出力する。符号圧縮回路１０２は、撮像ユニット１０１から入力された画像信号に対してＡ／Ｄ変換を行い、この画像信号を画像データとして取得する。そして、この画像データに対して圧縮符号化処理を行う。連続した映像である動画の圧縮符号化方式としては、ＭＰＥＧ-４などの方式が広く知られている。
【００１４】
符号圧縮回路１０２は必ずしも必須のものではないが、動画像データのデータ量は概して巨大であり、例えば、動画像処理装置においては圧縮符号化を行う場合が一般的である。
【００１５】
アクチュエータユニット１０３は、撮像ユニット１０１を回転させるなどして撮像方向を制御する。この機構は、例えば、監視用や遠隔地の確認用などの目的で、設置場所を固定して利用する形態として利用することが可能である。例えば、三脚などに固定してカメラを回転させる機構をもつものも適用可能である。回転する機構の場合、たとえば、水平方向に回転するパン機構や、垂直方向に回転するチルト機構などが、その最も典型的な例である。
【００１６】
動画データ取得回路１０４は、符号圧縮回路１０２により符号化された符号化データと、符号化に伴う符号化パラメータを取得する。この際、動画データ取得回路１０４は、撮像ユニット１０１の撮像時の焦点距離などの付加情報や、タイムスタンプといった動画像の個々の画像データの時間情報と、撮像ユニット１０１の回転角、画角などの情報を関連付けて取得する。
【００１７】
表示ユニット１０５は、動画データ取得回路１０４により取得された動画像を表示する。図１では、処理の軽減化のため符号圧縮回路１０２により符号化される前の画像を表示するよう符号圧縮回路１０２からもデータを取得するよう示している。なお、このようなデータの流れは実装に依存するもので、符号化データを復号化して表示してもよい。
【００１８】
ユーザ入力ユニット１０６は、例えば、表示ユニット１０５を参照しながら操作するユーザが実際に操作指示を行うよう構成されている。典型的には、いわゆるマウスポインタやキーボードなどを利用し指示を行うものである。
【００１９】
情報付加回路１０７は、動画データに、ユーザ入力ユニット１０６から入力された情報を、例えば、メタデータに変換する等の整形をして付加することが可能である。
ユーザ入力ユニット１０６から入力された情報は、動画データに付加される付加表示の位置、サイズ、形状等を表示制御するための情報（以下、この情報を「マーカ情報」ともいう）である。
【００２０】
動画データ出力回路１０８は、動画データに関連付けられた撮像情報と、情報付加回路１０７により付加されたマーカ情報とに基づいて、最終的な動画データを所定の出力先に出力する。動画データの記録と保管に関しては、動画像処理装置の記録媒体として、記憶装置として機能することが可能なメモリカードや固定ディスクなどに動画データを記録・保管することが可能である。ここでは、動画データを記録・管理することが可能な媒体として記憶装置１０９を示している。記憶装置１０９は、動画像処理装置に内蔵することができる。また、記憶装置１０９は、任意のインターフェース(USB,IEEE1394等、又はネットワーク（Ether等の有線LANやIEEE802.11x等の無線LAN等）を介して動画像処理装置と接続して構成することも可能である。
【００２１】
動画像再生回路１１０は、記憶装置１０９に記録された動画データを読み出して、復号化処理を行い、動画データの再生処理を行うことが可能である。この際、マーカ情報（例えば、図４の４０４）が動画データに記録されている場合、マーカ情報４０４を含むフレーム再生時にマーカを表示することが可能である。
【００２２】
図２は、図１に示した構成を有する動画像処理装置の詳細な構成を示すブロック図である。撮像対象の像は、光学系からなる撮像レンズユニット２１１、絞りユニット２１２を通って光学センサ２１３に結像する。撮像レンズユニット２１１は、例えば、焦点を合わせるためや、ズーム機能のために焦点距離を変更するための駆動源としてモータ等を備えて構成されており、レンズ群を移動可能な構成を有する。絞りユニット２１２は、絞りが制御可能な機構を有している。そして、これらの撮像レンズユニット２１１、絞りユニット２１２の動作制御は、駆動回路２１６が行う。従って駆動回路２１６が撮像レンズユニット２１１、絞りユニット２１２を適切に制御することで、光学センサ２１３に到達（結像）する光は適切に光量調整されたものとなる。光学センサ２１３は、固体撮像素子（例えば、ＣＣＤやＣＭＯＳセンサなど）によって構成され、入射した光を光量に応じて電荷に変換、蓄積することが可能である。そして光学センサ２１３は、この蓄積された電荷を読み出し、画像信号としてＡ／Ｄコンバータ２１４に送出する。
【００２３】
ここで、光学センサ２１３の動作は、駆動回路２１７が出力するパルス信号などによって適切に制御されている。即ち、指示されたタイミングで指示された時間の間に蓄積された電荷を読み出す一連の動作を連続する。これにより、連続した画像が得られることになる。このようにして取得された連続画像は、動画像である。
【００２４】
次に、Ａ／Ｄコンバータ２１４は、光学センサ２１３から受けた画像信号に対してＡ／Ｄ変換を行い、デジタルデータ（画像データ）として画像信号処理回路２１５に送出する。画像信号処理回路２１５は、Ａ／Ｄコンバータ２１４から受けた画像データを用いて、ホワイトバランス補正やガンマ補正といった画像補正を行う。このようにして処理され、適切な形式となった画像データは、符号圧縮回路１０２に送出される。
【００２５】
尚、各処理間の画像データの受け渡しは、例えば、ＤＭＡ（Direct Memory Access）回路を利用した高速なメモリ２５１を用いたアクセスにより、リアルタイムでの大量のデータの処理が可能になる。
【００２６】
符号圧縮回路１０２は、画像信号処理回路２１５から入力した画像データに対して圧縮符号化処理を行う。圧縮符号化処理を各フレームの画像について行うことにより、結果として動画像に対する圧縮符号化処理が実行されることになる。この圧縮符号化方式には様々なものを用いることができる。例えば、連続したＪＰＥＧ（ISO／IEC 10918）符号化（所謂モーションＪＰＥＧ）画像では、画像信号処理回路２１５からの入力ＲＧＢ画像データを輝度信号Ｙとクロマ信号ＣｂＣｒからなるＹＣに信号化する。そして、これらを８ｘ８画素のブロックに分割したのち、離散コサイン変換、量子化、ハフマン符号化といった処理を行い、最終的な圧縮画像を出力する。或いは、圧縮符号化方式がＭＰＥＧ-２（ISO／IEC 13818）やＭＰＥＧ-４（ISO／IEC 14496）などのフレーム間予測を行う形式を用いることも可能である。この場合、圧縮しようとする特定の１枚の画像（フレーム）に対し、前後のフレームを参照しながら、動き補償予測、マクロブロック処理等を行い、前後が相互に依存した圧縮画像（ビットストリーム）を出力する。
【００２７】
次に、アクチュエータユニット１０３について説明する。アクチュエータユニット１０３は、例えば、サーボ・モーターや超音波モータ等により撮像ユニット１０１を回転移動させる為のアクチュエータ２２１を有する。また、アクチュエータユニット１０３は、アクチュエータ２２１の駆動回路２２３、アクチュエータ２２１の動き量を検出する為の動き検出回路２２２を有する。係る構成により、例えばネットワーク上の機器や本装置に実装されたボタン等から撮像ユニット１０１を回転させる要求が入力された場合、ＣＰＵ２５２はこれを検知し、指示された回転を行うよう駆動回路２２３に指示を送出する。駆動回路２２３はこの指示に基づいてアクチュエータ２２１を制御するので、アクチュエータ２２１は自身に接続されている撮像ユニット１０１を、要求された回転角分だけ回転させる。また、動き検出回路２２２は、アクチュエータ２２１の回転量を検知し、所定タイミング毎に検知した動き量をメモリ２５１に記録する。このように、アクチュエータユニット１０３による動作により、所定タイミング毎の撮像ユニット１０１の動き量をメモリ２５１に記録することができるので、適宜これを参照することができる。また、先に説明したように、駆動回路２１６が撮像レンズユニット２１１を制御するよう構成されているため、焦点距離を変更する所謂ズーム操作においても同様に、その焦点距離の情報を参照することもできる。すなわち、ＣＰＵ２５２が、駆動回路２１６への指示を行い、その駆動状況をメモリ２５１に記録するようにすればよい。
【００２８】
本実施形態において、動画データ取得回路１０４は、メモリ２５１に記録された動き量を用いて、撮像位置情報を動画像とともに取得することができる。
【００２９】
動画データ取得回路１０４、情報付加回路１０７、動画データ出力回路１０８、動画像再生回路１１０等については、後にプログラム動作の流れで詳細に説明するので、ここでは説明を省略する。
【００３０】
以上説明した各部の動作制御はＣＰＵ２５２が管理しているものとする。更に、ＣＰＵ２５２の動作則を記したプログラムは、ＲＯＭ２５３に格納されている。従ってＣＰＵ２５２はこのＲＯＭ２５３に格納されているプログラムやデータを用いて処理を実行することで、本装置全体の制御を行うと共に、本装置を構成する各部が行う上記各処理を実行することが可能になる。
【００３１】
次に、符号化データと符号化パラメータ、撮像時の焦点距離、動画像の個々の画像データに関する時間情報、回転角等の情報を入力とし、情報付加回路１０７を経由して動画データを記憶装置１０９に出力するまでの処理を説明する。
【００３２】
最初に、処理の流れの説明を容易にするため、最終的に出力される動画データの形式について説明する。図３は、撮像ユニット１０１の位置と最終的に出力される動画データのファイル形式の関係を模式的に示した図である。まず、焦点距離やタイムスタンプといった時間情報等の撮像ユニット１０１の撮像情報は動画データ取得回路１０４を通じて取得する。撮像情報として、本実施形態では、画角θと回転角φを例に挙げる。撮像ユニット１０１を中心として、図中の真下方向を基準（φ(0)=0°）として撮像ユニットの回転角をφで表し、撮像ユニット１０１のレンズ部分を中心とした、ある一定範囲を仮想的な撮像面３０１とする。
【００３３】
また、撮像ユニット１０１の中心から垂直方向に引いた線を中心線（図３ではMまたはN）とすると、中心線がNの撮像面を持つ場合の撮像ユニット１０１の回転角をφ(N)とする。また、中心線がMの撮像面を持つ場合の撮像ユニットの回転角をφ(M)と表すものとする。
【００３４】
まず、図３の中央にセットされている撮像ユニット１０１を用いて撮像すると、撮像ユニット１０１は、動画データファイル３０２を作成する。そして、動画データファイル３０２に含まれる各画像フレーム３０３に関するパン・チルト・ズームといった操作をもとに取得した撮像時の撮像情報３０４は、アクチュエータユニット１０３から出力される。撮像情報３０４は、動画データ取得回路１０４によりフレーム３０３のメタデータとして記録される。
【００３５】
一方、ユーザ入力ユニット１０６を通じてユーザが指定した領域（指定された領域を「マーカ」ともいう。）３０５に関するマーカ情報は、情報付加回路１０７において、動画データファイル（動画データ）に記録される。指示された領域がどのフレームに含まれるかの決定は、指定された領域を含む中心線を持つフレームや、指定された領域が仮想的な撮像面３０１に含まれる面積が大きいフレームに決定する方法等が考えられる。
【００３６】
また、上記の方法では必ずしも1つのフレームに指定できるとは限らないので、指定された領域の撮像タイミングをタイムスタンプで指定することも可能である。その場合、タイムスタンプにおける画角θや回転角φを記録する方法も１つの例として挙げられる。
【００３７】
取得したマーカ情報の記述については、例えば、図３の場合、フレーム３１０にマーカ３０５が指定されているものとする。この場合、動画データファイル３０２のヘッダ３０６に、撮像時の回転角であるφ（M）のところでマーカが指定されたという情報が記録される。本実施形態では、マーカ情報は動画データファイル３０２内のヘッダ３０６に記録する例を示したが、各フレームに関するメタデータとして、各フレームにマーカが指定されたことを示す識別情報を記録してもよい。
【００３８】
次に、図３で挙げたマーカ情報と動画データのファイル形式の関係を説明する。具体例として、ＭＰＥＧ-４（以下、「ＭＰ４」と示す）の動画・音声符号化データを記録するための標準ファイル形式であるＭＰ４ファイル形式を例に挙げてファイル構造とマーカ情報の記録について詳細を説明する。
【００３９】
図４は、ＭＰ４ファイル４０１の構造の概要を示す図である。ＭＰ４ファイル４０１は、ムービーメタデータ４０２とメディアデータ４０６とで構成されている。ムービーメタデータ４０２には、メディアデータ４０６の格納場所および属性を示す情報が格納されている。ＭＰ４ファイル４０１にVideoデータとAudioデータの両方が記録されている場合は、Videoトラックに関するヘッダであるVideoトラックメタデータ４０５と、Audioトラックメタデータ４１１とが格納される。
【００４０】
メディアデータ４０６には、Videoデータ，Audioデータなどのメディアストリームの符号化データが格納されている。マーカ情報４０４が、例えばファイルのヘッダに記録される場合、情報付加回路１０７での処理を経て、格納場所であるムービーメタデータ内４０２に格納される。マーカ情報４０４から、そこに記録されたタイムスタンプを基に、Videoトラックメタデータ４０５の中で同じタイムスタンプを持つメタデータを参照することが可能である（４０８）。そして、Videoトラックメタデータ４０５には、フレーム毎のタイムスタンプが記録されており、Videoトラックメタデータ４０５から記録されたタイムスタンプを基にVideoデータ４０７内のフレームを参照できる（４０９）。つまり、マーカ情報４０４に指定された領域を含むフレームのタイムスタンプを記録することで、メディアデータ４０６も参照することが可能となる。
【００４１】
図４の記述４１０は、マーカ情報４０４の記述例を示している。本実施形態では、マーカ情報４０４をＭＰ４ファイル４０１において任意のＢＯＸとして追加する。そして、任意のデータを記録可能なユーザスペース（user space）(「ｕｄｔａ」)に新たなＢＯＸ(「ｓｔｍｓ」)を作成し、マーカ情報を記録する。
【００４２】
マーカ情報４０４の記述例４１０には、以下に示す変数が含まれる。
【００４３】
・ｅｎｔｒｙ_ｃｏｕｎｔ（４２１）:マーカの総数
・ｅｎｔｒｙ_ｎｕｍ（４２２）:マーカの番号
・ｆｒａｍｅ_ｎｕｍ（４２３）:マーカが指定されたフレーム番号
・ｔｉｍｅｓｔａｍｐ（４２４）:マーカが指定されたフレームのタイムスタンプ
・ｒｏｔａｔｉｏｎ_ａｎｇｌｅ（４２５）:マーカが指定されたフレームの撮像時の回転角
・ｆｉｅｌｄ_ａｎｇｌｅ（４２６）:マーカが指定されたフレームの撮像時の画角。
【００４４】
例えば、マーカ情報４０４の変数の記述例４１０として、timestamp（４２４）が含まれている。このような時間情報をマーカ情報として記録することで、指定時間における特定領域を指定する場合は、入力された指定時間とtimestampの値をもとに、対応するフレームの参照が可能である。
【００４５】
上記のマーカ情報４０４の変数（４２１〜４２６）は、一例であり、全ての情報を含む必要はなく、一部の情報を含むものであってもよい。また、マーカ情報４０４の変数は、上述のものに限定されるものではなく、上記以外の変数をマーカ情報４０４の変数として記述するこことも可能である。
【００４６】
情報付加回路１０７は、ユーザ入力ユニット１０６で指定されたマーカ情報４０４を動画データに付加する。そして、動画データ出力回路１０８は、図３に示したような、動画データと、撮像情報と、マーカ（マーカ情報）とが組み合わされた、動画データ３０２を記憶装置１０９に出力する。
【００４７】
次に、ユーザ入力ユニット１０６によりマーカ情報４０４の記録を指示する方法について説明する。マーカ情報４０４の入力には、たとえばユーザが表示ユニット１０５に表示された画像を参照しながら、マウスポインタなどから構成されるユーザ入力ユニット１０６を用いて、画像上に指示を行う方法が利用できる。本実施形態では、指示を入力するシンプルな方法として、ユーザ入力ユニット１０６がボタンによるインターフェースを持ち、表示ユニット１０５の表示を参照しながらボタンを押下して指示を行う場合について説明する。
【００４８】
図５は、撮像された動画データのある特定の瞬間の画像であるフレームと、その画像のフレームに重ね合わされたマーカ情報を視覚化した状態を示すフレームとマーカの模式図である。
【００４９】
図５には、３つのフレーム（５０１、５０２、５０３）が示されている。フレーム５０１は、特定されないある瞬間の画像フレームを示す。フレーム５０２は、フレーム５０１の状態からアクチュエータユニット１０３により撮像ユニット１０１を回転させた結果、撮像ユニット１０１の回転角がφ（Ｍ）となった瞬間の画像フレーム（Ｍ）を示す。
【００５０】
更に、フレーム３は、フレーム５０２の状態から更にわずかに回転し、回転角がφ（Ｍ＋１）となり、更に拡大（ズーム）された画像フレーム（Ｍ＋１）を示している。図５においては、撮像画像の回転の様子を分かりやすさのために、各フレームの中心線も明示している。破線で記載された丸印（５０４、５０５）は、視覚化されたマーカを示す。
【００５１】
表示ユニット１０５の表示を参照しながらユーザ入力ユニット１０６に設けられているボタン（不図示）を押下すると、マーカ情報が押下のタイミングで表示されている画像フレームに設定される。画像フレーム（Ｍ）５０２を例にすると、予め設定されたマーカサイズのマーカ５０５が画像フレーム（Ｍ）５０２に表示されるように、マーカ情報が設定される。
【００５２】
ここで、画像フレーム５０１と画像フレーム（Ｍ）５０２における画角と焦点距離をそれぞれθ（Ｍ）とｆ（Ｍ）とする。また、画像フレーム５０１と画像フレーム（Ｍ＋１）５０３における画角と焦点距離をそれぞれθ（Ｍ＋１）とｆ（Ｍ＋１）とする。この時、各画像フレームに関連付けられた撮像ユニット１０１の位置情報は、次のようになる。
【００５３】
画像フレーム（Ｍ）５０２における位置情報は、回転角がφ（Ｍ）、画角がθ（Ｍ）、焦点距離がｆ（Ｍ）となる。また、画像フレーム（Ｍ＋１）５０３における位置情報は、回転角がφ（Ｍ＋１）、画角がθ（Ｍ＋１）、焦点距離がｆ（Ｍ＋１）となる。
【００５４】
また、マーカ情報は、回転角がφ（Ｍ）、画角がθ（Ｍ）、焦点距離がｆ（Ｍ）、さらにマーカサイズがＳとなる。ここにマーカサイズＳは、マーカのサイズを示す値であって、たとえば画角に換算した値を利用することができる。
【００５５】
動画データに撮像情報及びマーカ情報を付加することにより、各画像フレームの回転角や画角と、マーカ情報としての回転角や画角を関連付けて、各フレーム間の関係を矛盾なく格納することが可能である。
【００５６】
より具体的に説明するために、更に、図５に加えて図６を用いて視覚化されたマーカと画像フレームとの関係に説明を加える。図５の画像フレーム（Ｍ＋１）５０３においては、視覚化されたマーカ５０４は、画像フレーム（Ｍ）５０２のマーカ５０５よりも大きく表示されている。これは、画像フレーム（Ｍ）５０２に対し画像フレーム（Ｍ＋１）５０３が拡大されて撮像されているためである。注目すべき点は、ユーザ入力ユニット１０６によりマーカ設定の指示をおこなった瞬間は、画像フレーム（Ｍ）５０２と同じ瞬間であるという点である。マーカ情報は、特定の画像フレームに依存せずに設定可能である。そのため、例えば、画像フレーム（Ｍ）５０２における画角θ（Ｍ）とマーカ情報の画角θ（Ｍ）は一致しているが、画像フレーム（Ｍ＋１）５０３における画角θ（Ｍ＋１）は必ずしも一致しない。すなわち、画像フレーム（Ｍ）５０２において設定されたマーカ情報の画角θ（Ｍ）は、画像フレーム（Ｍ＋１）５０３における画角θ（Ｍ＋１）により換算されるべきものである。
【００５７】
図６は、画像フレーム（Ｍ）５０２とマーカ情報の関係を示す図である。同図から明らかなように、画像フレーム（Ｍ）５０２における仮想的な撮像面６０１において、視覚化されたマーカの水平方向（横方向）の幅ｄ（Ｍ）は、仮想的な撮像面６０１の水平方向（横方向）の幅をＬとして次の関係になる。
【００５８】
ｄ（Ｍ）/Ｌ=(ｓｉｎ(Ｓ/２))/(ｓｉｎ(θ(Ｍ)/２)) ・・・（１）
ここに、Ｓは先に例示したマーカのサイズを画角換算で与えた値である。この比ｄ（Ｍ）／Ｌは、画像フレームに対するマーカのサイズの比である。もし、視覚化されたマーカを図５に示すように表示ユニット１０５上に重ね合わせて表示するならば、マーカを例えば表示ユニット１０５でのピクセル比として示すことが出来る。
【００５９】
一方、画像フレーム（Ｍ＋１）５０３においては、拡大により画角が画角θ（Ｍ＋１）であることから、マーカの水平方向（横方向）の幅ｄ（Ｍ）は、次のようになる。
【００６０】
ｄ(Ｍ＋１)/Ｌ=(ｓｉｎ(Ｓ/２))/(ｓｉｎ(θ(Ｍ＋１)/２)) ・・・（２）
例えば、Ｓが５度であり、θ（Ｍ）＝２０度、θ（Ｍ＋１）＝１０度、撮像された画像フレームの水平ピクセル数が６４０ピクセルである場合を想定する。計算により、画像フレーム（Ｍ）５０２における視覚化されたマーカの水平ピクセル数は約１６１ピクセルであり、画像フレーム（Ｍ＋１）５０３における視覚化されたマーカの水平ピクセル数は約３２０ピクセルであることが分かる。画像フレーム（Ｍ）５０２から画像フレーム（Ｍ＋１）５０３への変化により、画角は約半分になり、視覚化されたマーカのサイズは約２倍になる。
【００６１】
尚、上記の視覚化されたマーカの水平方向（横方向）の幅と仮想的な撮像面６０１の水平方向（横方向）の幅の関係式は、画角が十分に小さいとき、マクローリン展開により、ｄ／Ｌ＝Ｓ／θで近似することが可能である。
【００６２】
また、画像フレーム（Ｍ）５０２から画像フレーム（Ｍ＋１）５０３への変化における回転角φ（Ｍ）から回転角φ（Ｍ＋１）への変化は、例えば画像フレームの中心線（Ｍ）から中心線（Ｍ＋１）の変化として考えることが出来る。
【００６３】
ここで、画像フレーム（Ｍ）５０２においてマーカ情報として設定した回転角φ（Ｍ）を画像フレーム（Ｍ）５０２の回転角との混同を避けるために、マーカ情報として設定した回転角φ（Ｍ）＝φ（ｍ）とする。また、ある特定の画像フレームの回転角φ（ｘ）とφ（ｍ）との回転角の差異をΨとおく。すなわち、Ψ＝｜φ（ｘ）−φ（ｍ）｜である。
【００６４】
例えば、画像フレーム（Ｍ）５０２においてマーカ情報として設定した回転角φ（Ｍ）＝φ（ｍ）と画像フレーム（Ｍ＋１）５０３の関係においては、Ψ＝φ（ｍ）−φ（Ｍ＋１）である。
【００６５】
また、この特定の画像フレームの画角をθ（ｘ）とする。同様に画像フレーム（Ｍ＋１）５０３の場合の画角はθ（ｘ）＝θ（Ｍ＋１）である。
【００６６】
仮想的な撮像面６０１の水平方向（横方向）の幅をＬとして視覚化されたマーカの中心位置は、仮想的な撮像面６０１の中心線からの距離ｒにより、次の（３）式で表現される。
【００６７】
ｒ／Ｌ＝（ｔａｎ（Ψ）／ｔａｎ（θ／２））／２ ・・・（３）
また、マーカサイズＳを画角換算した値とし、仮想的な撮像面６０１の中心線からマーカまでの遠い側の距離ｒ１は、次の（４）式で表現される。
【００６８】
ｒ１／Ｌ＝(ｔａｎ(Ψ−(ｓ／２))／ｔａｎ(θ／２))／２・・・（４）
同様に、仮想的な撮像面６０１の中心線からマーカまでの近い側の距離ｒ２は、次の（５）式で表現される。
【００６９】
ｒ２／Ｌ＝(ｔａｎ(Ψ＋(ｓ／２))／ｔａｎ(θ／２))／２・・・（５）
これらの式は、マーカ情報に含まれるマーカサイズＳを画角として換算しておくことにより常に成立するものである。
【００７０】
このように、マーカ情報が示す視覚化されたマーカの仮想的な撮像面６０１の上の位置は、マーカ情報を適切に記憶しておくことで常に利用することができる。
【００７１】
それぞれの動画フレームに対応する撮像ユニット１０１の位置情報及びユーザ入力ユニット１０６により指示された撮像ユニット１０１の位置情報に相当するマーカ情報とを動画データに記録する。位置情報及びマーカ情報とが記録された動画データより、マーカ情報を記録した瞬間の動画フレームに限定されず、マーカを含むフレームにおけるマーカの表示位置を取得することが可能となる。この表示位置に基づいて、ある瞬間において指定されたマーカを、時間的に遡及したタイミングで記録されたフレーム中に表示することが可能になる。これにより、動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、動画像全体にわたって特定の空間領域を関連付けることが可能になる。
【００７２】
本実施形態では、撮像ユニットの水平方向の操作に関する撮像情報を取得して動画データに記録する手法について説明したが、垂直方向の操作に関しても同様である。すなわち、垂直方向の移動に関する撮像情報を取得し記録することで、これまで説明した手法を用いることで、同様にマーカの位置を特定することができる。
【００７３】
次に、これまで説明してきたような手法で出力された動画データをもとに、撮像情報やマーカ情報を動画データに記録し、係る動画データを再生する際の処理について説明する。
【００７４】
動画データ出力回路１０８は、ＭＰ４ファイル４０１に記録されたマーカ情報４０４をもとに、動画データ再生時にユーザが指定した特定領域に関するマーカ情報４０４を記録した動画データを作成する。その処理を図４に示したようなマーカ情報４１０を記録した場合を例に挙げて説明する。
【００７５】
動画データ出力回路１０８は、メディアデータ４０６を読み込む前に、動画データのヘッダに記録されたマーカ情報４０４を取得する。例えば、マーカ情報４０４に記録されたentry_count（４２１）から動画データに記録されたマーカの総数を取得する。図５の表示例では、フレーム中にマーカは１つしか表示されていないが、本発明の趣旨はこれに限定されるものではなく、１フレーム中において複数のマーカを指定することができるものとする。
【００７６】
そして、動画データ出力回路１０８は、各マーカ情報のタイムスタンプ（timestamp）(４２４)を取得し、そのタイムスタンプが含まれるフレーム番号を取得する。そして、取得したフレーム番号をもとに、動画データからフレームを特定する。そして、マーカ情報４０４として記録されていた特定領域に関する回転角と画角をもとにユーザが指定した領域を特定する。動画データ出力回路１０８はＭＰ４ファイル４０１に記録されたマーカ情報４０４をもとに、動画データを作成する。動画データには動画フレームに対応する撮像ユニット１０１の位置情報及びユーザ入力ユニット１０６により指示された撮像ユニット１０１の位置情報に相当するマーカ情報が矛盾なく記録され、再生可能なデータとして出力される。
【００７７】
動画像再生回路１１０は、記憶装置１０９に記録された動画データを読み出して、復号化処理を行い、動画データの再生処理を行う。この際、マーカ情報（図４の４０４）が動画データに記録されている場合は、マーカ情報を含むフレーム再生時にマーカを表示することが可能である。
【００７８】
次に、以上説明してきた処理の流れをフローチャートの参照により説明する。まず、撮像ユニット１０１を用いた被写体の撮像から動画データを出力するまでの流れについて図７を用いて説明する。
【００７９】
本処理は、ＣＰＵ２５２の制御の下に動作するソフトウェアプログラムと、動画データ取得回路１０４、情報付加回路１０７、動画データ出力回路１０８等との協働により実行されるものとする。
【００８０】
ステップＳ７０１において、撮像ユニット１０１から出力された動画データに対して、アクチュエータユニット１０３で取得したパン・チルト・ズーム等といった撮像ユニット１０１の撮像情報を取得する。撮像ユニット１０１から出力される動画データは符号圧縮回路１０２に出力される。符号圧縮回路１０２は撮像ユニット１０１から出力された動画データに基づいて、符号化処理を実行し、符号化処理された動画データを動画データ取得回路１０４に出力する。また、アクチュエータユニット１０３は撮像ユニット１０１の撮像情報（例えば、撮像時の焦点距離や、タイムスタンプといった時間情報と、撮像ユニット１０１の回転角、画角等）に関する情報を動画データ取得回路１０４に出力する。
【００８１】
ステップＳ７０２において、動画データ取得回路１０４は、動画データ先のステップＳ７０１で取得した撮像情報を動画データに記録する。撮像情報は動画データを構成する各画像フレームに関連付けられた情報として記録される。
【００８２】
ここで、ユーザ入力ユニット１０６でマーカ表示を付加する指示がある場合、情報付加回路１０７は、動画データを構成する画像フレーム内に付加するマーカ表示を表示制御するための情報（マーカ情報）を取得する。ここで、マーカ情報には、例えば、マーカ表示の位置が指定されたときの撮像ユニット１０１の回転角や画角のいずれかの情報が含まれる。そして、情報付加回路１０７は、動画データ取得回路１０４から出力される動画データにマーカ情報を記録（付加）する（Ｓ７０２）。ここで記録（付加）されるマーカ情報は、動画データに関連付けられた撮像情報と同等な形式で変換可能な情報として付加される。
【００８３】
そして、ステップＳ７０３において、動画データ出力回路１０８は、動画データ再生時にユーザが指定した領域に関するマーカ情報を記録した動画データを生成し、出力する。
【００８４】
続いて、マーカ情報が記録済みの動画データを再生する際の流れについて図８のフローチャートを参照して説明する。本処理は、ＣＰＵ２５２の制御の下に動作するソフトウェアプログラムと動画像再生回路１１０等との協働により実行されるものとする。
【００８５】
ステップＳ８０１において、動画像再生回路１１０は、動画データ出力回路１０８により生成され、出力された動画データに記録された撮像ユニット１０１の各フレームにおける撮像情報を記録装置１０９より取得する。
【００８６】
次に、ステップＳ８０２において、動画像再生回路１１０は、動画データに記録（付加）されたマーカ情報４０４を取得する。
【００８７】
ステップＳ８０３において、先のステップＳ８０２において取得したマーカ情報４０４と、各フレームの撮像情報を基に、動画像再生回路１１０は、マーカの表示位置およびサイズを算出する（Ｓ８０３）。
【００８８】
そして、ステップＳ８０４において、動画像再生回路１１０は、先のステップＳ８０３で算出したマーカの表示位置およびサイズに基づいて、マーカ情報４０４を含む画像フレーム再生時にマーカを表示して、処理を終了する。
【００８９】
次に、マーカ情報を含むフレーム再生時において、ＭＰ４ファイル４０１に記録されたマーカの位置情報を基にしたマーカの表示について説明する。
【００９０】
マーカの水平方向（横方向）の幅ｄ(Ｍ)は、図６に示した仮想的な撮像面６０１の水平方向（横方向）の幅をＬとすると、（１）式の関係より
ｄ(Ｍ)/Ｌ＝(ｓｉｎ(Ｓ/２)) / (ｓｉｎ(θ(Ｍ)/２))なる関係が成立することを説明した。（１）式の関係を変形してマーカの水平方向の幅ｄ（Ｍ）を表すと、（６）式のようになる。
【００９１】
ｄ(Ｍ)＝Ｌ×((ｓｉｎ(Ｓ/２)) / (ｓｉｎ(θ(Ｍ)/２)))・・・（６）
マーカ情報の視覚化にＳＶＧ（Scalable Vector Graphics）を用いる場合を例に挙げると、ＳＶＧのマーカ描画部分のサイズを設定することで、指定された部分に適切な大きさのマーカを表示することができる。例えば、マーカを円で表示する場合を以下に示す描画設定の例を参照しつつ説明する。以下に示す描画設定において、「circle」は円の描画を示し、（ｃｘ、ｃｙ）は円の中心位置（中心座標）を示す。「r」は円の半径サイズを示している。ここで、半径サイズは「ｄ(Ｍ)/２」と設定されており、直径に換算してｄ（Ｍ）の円の描画、表示が設定されている。また、stroke=「red」は、描画される円の色が赤に設定されていることを示している。
【００９２】
（描画設定の例）
＜svg sml:space ="default" width="220" height="200"＞
＜circle cx="25" cy="25" r="d(M)/2" stroke="red" stroke-width="1" /＞
＜/svg＞
上述の描画設定の例では、マーカを円で描画する例を示しているが、マーカを円ではなく、例えば、矩形により表示することも可能である。この場合、円の描画を指定する「circle」を矩形の描画を示す「rect」と設定することにより、一辺がｄ（Ｍ）の矩形マーカを描画することが可能である。また、上述の描画設定の例で、stroke=「red」を例えば、「blue」と設定することにより、矩形マーカを青色で描画することも可能である。マーカの表示は、設定を変更することにより、表示位置、表示サイズ、表示形状、表示色を種々変更することが可能である。
【００９３】
フレームをズーム表示した場合、動画像再生回路１１０は、画角を基にズーム率（または縮小率）を求め、その値に従ってマーカのサイズを調節（設定）することも可能である。そして、動画像再生回路１１０は、マーカのサイズを調節（設定）して、ズーム表示（縮小表示）した画像フレーム中にサイズを調節（設定）したがマーカを表示することも可能である。このようにマーカを、ＳＶＧ等のベクターグラフィックスを用いて記述することにより、ズーム等の操作で表示すべきマーカのサイズを変更しなければならない場合でも柔軟に対応することが可能になる。
【００９４】
尚、本発明は物理的なパン・チルト・ズーム動作と同等の作用を発生させるように設計され、電子的にパン・チルト・ズームを行うことができるカメラに対しても適用できる。
【００９５】
以上説明したように、本実施形態によれば、動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、動画像全体にわたって特定の空間領域を関連付けることが可能になる。
【００９６】
［第２実施形態］
次に、本発明の第２実施形態を図９、図１０、図１１の参照により説明する。第１実施形態と共通の構成要素に関しては、同一の参照番号を付し説明し、重複する説明は省略するものとする。本実施形態においては、図１の構成を用いて、撮像情報及びマーカ情報が付加された動画データが生成され、記憶装置１０９に記憶されているものとする。
【００９７】
撮像ユニット１０１で被写体の動画像が撮像され、撮像された各フレームの画像は、画像信号として符号圧縮回路１０２に出力される。符号圧縮回路１０２は、撮像ユニット１０１から入力された画像信号に対してＡ／Ｄ変換を行い、この画像信号を画像データとして取得する。動画データ取得回路１０４は、符号圧縮回路１０２により符号化された符号化データと、符号化に伴う符号化パラメータを取得する。この際、動画データ取得回路１０４は、撮像ユニット１０１の撮像時の焦点距離、タイムスタンプといった個々の画像データの時間情報、撮像ユニット１０１の回転角、画角などの情報を関連付けて取得する。情報付加回路１０７は、動画像データに対し、ユーザ入力ユニット１０６により入力された付加表示（マーカ）を表示制御するための情報（マーカ情報）を、例えば、メタデータに変換する等の整形をして付加する。動画データ出力回路１０８は、情報付加回路１０７により整形された最終的な動画データを記憶装置１０９に出力する。
【００９８】
図１１は、本発明の第２実施形態に係る動画像処理装置の構成を示す機能ブロック図である。
【００９９】
ユーザは、ユーザ入力ユニット１１０１からの選択により、システム制御部１１０２を介して、記憶装置１０９に記憶されている動画データ（コンテンツ）の中から表示ユニット１０５に表示するべき動画データ（コンテンツ）を選択可能である。選択方法としては、例えば、記憶装置１０９に記憶されているコンテンツのタイトル及びサムネール又はいずれか一方を表示ユニット１０５に表示させ、この表示の中からユーザ入力ユニット１１０１を操作していずれかのコンテンツを選択することが可能である。
【０１００】
選択されたコンテンツに対応する符号化データは、システム制御部１１０２の制御により記憶装置１０９から読み出され、復号化回路１１０４へ入力される。復号化回路１１０４は、図１の符号圧縮回路１０２と対をなす回路であり、符号圧縮回路１０２により圧縮符号化された符号化データを復号することが可能である。復号化回路１１０４で復号化処理された動画像信号は、表示ユニット１０５へ入力され、表示ユニット１０５は入力された動画像信号に基づいて動画表示する。表示ユニット１０５へ入力された動画像データに基づく表示例を図９（ａ）〜（ｄ）に示す。（ａ）〜（ｄ）は動画像の各フレームを示し、（ａ）から（ｄ）に向って時間が経過するものとする。
【０１０１】
図９（ａ）〜（ｄ）に示す動画像信号の各フレームには、撮像された時点での撮像ユニット１０１の回転角（Φ（Ｍ）、Φ（Ｍ＋１）、・・・）がそれぞれ設定されている。また、動画像信号の各フレームには、画角（θ、θ＋１、・・・）、および各フレームに対応するタイムスタンプ（絶対時刻又は撮像開始からの経過時間）が撮像情報として設定されている。ここで、動画像信号の各フレームには、図９の９０１〜９０３に示すマーカ（これを第１マーカ）に関するマーカ情報が、メタデータとして各フレームに付与されているものとする。
【０１０２】
ユーザは、ユーザ入力ユニット１１０１により表示ユニット１０５に表示された動画像に対して、再生、一時停止等の操作をしながら、所望のフレーム（絵柄）を選択することが可能である。図１０（ａ）は、表示ユニット１０５に表示される選択されたフレームを例示的に示す図である。図１０（ａ）で示される選択されたフレームには、例えば、図９で示したマーカ９０１（第１マーカ）が表示されている。この表示画面に、ユーザは、マーカーペン１００６から画面上に入力を行うことにより、第１マーカとは異なる第２マーカを選択したフレームに追加することが可能である。
【０１０３】
例えば、ユーザは、マーカーペン１００６を表示ユニット１０５の画面上の一点（図１０の１００４）に接触させ、あるいは、マーカーペン１００６で画面上に任意の閉曲線を書き込み、領域を指定ことが可能である。ここで指定された点、または領域１００７に基づいて第２マーカが設定される。
【０１０４】
表示ユニット１０５は、画面上に、圧力センサ等の任意の物体の接触を検知する検知部を備えるものとする。検知部は、画面上におけるマーカーペン１００６等の接触を検知して、検知した画面上の位置情報（例えば、画面の表示をＸＹ座標で定義した場合の座標情報（Ｘ、Ｙ））をシステム制御部１１０２へ入力するように構成されている。マーカーペン１００６を表示ユニット１０５の画面上の一点に接触させ、画面上の一点が指定されると、指定された点の座標情報がシステム制御部１１１０２へ出力される。
【０１０５】
座標情報を受信したシステム制御部１１０２は、指定された一点を中心とする任意に定義された半径の円で囲まれる領域を指定領域として、中心点の座標をフレーム毎に算出し、算出された中心点の座標と、半径等の情報を情報付加回路１０７へ出力する。算出された中心点の座標と、半径等の情報は、第２マーカを表示するための第２マーカ情報を構成する。
【０１０６】
第２マーカに関する第２マーカ情報を受信した情報付加回路１０７は第２マーカ情報を第１実施形態と同様にメタデータに変換する。そして、動画データ出力回路１０８は、記憶装置１０９に記憶されている符号化データで、ユーザが選択した動画データに対応する各フレームに、第２マーカ情報からメタデータに変換した情報を追加する。
【０１０７】
第２マーカが指定された領域の画像が含まれる全てのフレームには、第２マーカに関するメタデータが付与される。メタデータが付与された符号化データを復号化回路１１０４にて復号し、表示ユニット１０５に表示する場合、メタデータが付与された各フレームの表示には、第１マーカと第２マーカとが表示される。例えば、図１０（ａ）で指定された領域１００７を含む動画データの各フレームとして、図９（ｅ）、（ｆ）、（ｇ）には、第２マーカ（９０４、９０５、９０６）が追加表示される。
【０１０８】
図９（ｄ）で示されるフレームには、第１マーカ及び第２マーカに関する領域が含まれないため、これに対応する図９（ｈ）のフレームには、第1及び第２マーカの表示はされない。
【０１０９】
以上の説明では、マーカーペン１００６により画面上の一点を指定することにより第２マーカーポイントを指定する内容を説明した。一方、マーカーペン１００６で閉曲線を表示ユニット１０５の画面上に描いた場合、システム制御部１１０２は閉領域に関する描画情報を受信して、任意の関数により、閉曲線で囲まれた領域の中心点を算出することが可能である。システム制御部１１０２は、算出した中心点に基づき、一点が指定された場合と同様に任意に定義された半径の円で囲まれる領域を指定領域とすることも可能である。
【０１１０】
表示ユニット１０５の画面表示に対する入力ユニットとして、マーカーペン１００６の他に、任意の入力ユニット（キーボード、マウス等）により、ユーザが所望する画面上の位置に該当する座標（数値）を入力することも可能である。図１０（ｂ）は、ユーザが、キーボード、マウス等の入力ユニットを用いて、マウス・カーソル１００２を画面上の所望の位置（１００５）に移動させた状態を示す図である。この状態で、ユーザはマウスを右クリックする等の操作をして、画面上の一点（図１０の１００５）の指定がシステム制御部１１０２に入力されるようにしてもよい。
【０１１１】
本実施形態では、記録済みの動画データの各フレームにマーカを新たに追加し、新たに追加したマーカに関する情報を記録済みのマーカと共に関連付けることが可能になる。尚、追加するマーカの数は、２つに限定されるものではなく、複数（例えば、第３、第４、・・）のマーカを同様にして指定し、マーカ情報を追加することが可能であり、表示するマーカの形状は円形に限定されるものではなく、矩形マーカ等でもよい。
【０１１２】
以上説明したように、本実施形態によれば、動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、動画像全体にわたって特定の空間領域を関連付けることが可能になる。
【０１１３】
［第３実施形態］
次に、本発明の第３実施の形態として、マーカを含む記録済みの動画データの撮像情報に対応する、撮像ユニット１０１により撮像されたライブ映像に、記録済みのマーカを表示する構成について説明する。
【０１１４】
図１２は、第３実施形態に係る画像処理装置の機能構成を示すブロック図である。第１実施形態で説明した図１と同一の構成要素については、同一の参照番号を付している。
【０１１５】
動画データ取得回路１２０４は、アクチュエータユニット１０３から撮像ユニット１０１の撮像情報を取得する。ここで、動画データ取得回路１２０４がアクチュエータユニットから取得する撮像情報は、撮像ユニット１０１が撮像するライブ映像に関する撮像の位置情報、角度、画角等に関する情報である。
【０１１６】
情報付加回路１０７は、ユーザ入力ユニット１０６で指定されたマーカ情報（例えば、図４の４０４）を動画データに付加する。そして、動画データ出力回路１０８は、図３に示したような動画データ３０２を記憶装置１０９に出力する。
【０１１７】
本実施形態に係る動画データ取得回路１２０４は、記録装置１０９から撮像情報及びマーカ情報が付加された動画データを読み出すことが可能である。動画データ取得回路１２０４は、アクチュエータユニット１２０３から取得する撮像情報と、記録済みの動画データに付加されているマーカ情報とに基づき、ライブ映像内に記録済みのマーカが含まれる位置関係にあるかを、撮像位置情報に基づき判定する。そして、記録済みのマーカがライブ映像内に含まれる場合は、ライブ映像内においてマーカが対応する位置情報を特定する。動画データ取得回路１２０４は、例えば、表示ユニット１０５に表示される場合の表示位置座標が、記録済みの動画データと、ライブ映像とが整合するように、両者の位置情報（位置関係）を特定する。
【０１１８】
動画データ取得回路１２０４によりライブ映像内に記録済みのマーカが含まれると判定された場合、情報付加回路２０７は、特定されたマーカの位置情報をもとにライブ映像にマーカを表示するためのマーカ情報を付加する。動画データ出力回路１２０８は、マーカ情報が付加されたライブ映像の動画データを生成し、記憶装置１０９に出力する。
【０１１９】
動画像再生回路１１０は、記憶装置１０９から動画データを読み出して再生する場合、先に記録済みのマーカ表示をライブ映像として新たに記録した動画データに反映して再生することが可能である。
【０１２０】
例えば、図３に示すような動画データファイル３０２に記録されたマーカ情報より、回転角φ（M）を取得したとする。ライブ映像におけるあるフレームの回転角φと画角θがわかれば、動画データ取得回路１２０４は、そのフレームの撮像範囲（φ＋θ）内にマーカの位置情報である回転角φ（M）が含まれるか判定する。マーカが撮像範囲に含まれる場合、情報付加回路１２０７は、マーカ３０５のマーカ情報をライブ映像にマーカ情報を付加する。
【０１２１】
以上説明したように、本実施形態によれば、動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、動画像全体にわたって特定の空間領域を関連付けることが可能になる。
【０１２２】
[他の実施形態]
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０１２３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２４】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【０１２５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１２６】
【図１】本実施形態に係る動画像処理装置の機能構成を示すブロック図である。
【図２】図１に示した構成を有する動画像処理装置の詳細な構成を示すブロック図である。
【図３】撮像ユニット１０１の位置と最終的に出力される動画データのファイル形式の関係を模式的に示した図である。
【図４】ＭＰ４ファイル４０１の構造の概要を示す図である。
【図５】撮像された動画データのある特定の瞬間の画像であるフレームと、その画像のフレームに重ね合わされたマーカ情報を視覚化した状態を示すフレームとマーカの模式図である。
【図６】画像フレーム（Ｍ）５０２とマーカ情報の関係を示す図である。
【図７】撮像ユニットを用いた被写体の撮像から動画データを出力するまでの流れを説明する図である。
【図８】マーカ情報が記録済みの動画データを再生する処理の流れを説明する図である。
【図９】動画像データに基づく表示例を示す図である。
【図１０】（ａ）は、表示ユニット１０５に表示される選択されたフレームを例示的に示す図であり、（ｂ）は、入力ユニットを用いて、マウス・カーソル１００２を画面上の所望の位置に移動させた状態を示す図である。
【図１１】本発明の第２実施形態に係る動画像処理装置の構成を示す機能ブロック図である。
【図１２】第３実施形態に係る画像処理装置の機能構成を示すブロック図である。
【技術分野】
【０００１】
本発明は、動画像の処理技術に関するものである。
【背景技術】
【０００２】
ディジタルカメラ等を用いた撮像技術の進歩や社会的な背景から、監視や状況確認を目的とした動画像を撮像し、デジタルデータとして記録する所謂監視カメラが普及している。また、同様の技術を用いたコミュニケーション用カメラも普及している。このようなカメラには、目的に合った場所に固定され、カメラが回転軸に従って回転したり、あるいは、ズーム機能により拡大や縮小を行う機能が付与されたものも多い。このようなカメラの撮像位置（方向）の変化は、一般にはパン・チルト・ズームなどと呼ばれている。このパン・チルト・ズーム機能をネットワーク等を介した遠隔指示操作をすることで、利用者は所望の方向の画像を撮像記録したり参照したりすることが可能となっている。一方、撮像された動画の記録は、一般にハードディスクと呼ばれる記憶装置やメモリカードの大容量化や低価格化が進み、一定の長時間の動画が十分に記録できるようになってきている。動画像の記録形式も、MPEG（Moving Picture Expert Group）や各メーカによって、複数の方式が普及している。近年普及している記録形式の特徴は、単に時系列的に時間ごとの瞬間を捕らえた画像データ（以降、「画像フレーム」と呼ぶ）を並べて記録するものではなくなっている点である。すなわち、画像フレームに加え、それらをグループ化するための情報や個々の画像フレームの再生時間（タイムスタンプ）情報、あるいは動画像全体の撮像時刻や撮像パラメータ等をメタデータとして記録できるようになっている。典型的な記録形式の例としては、QuickTime（登録商標）形式や通常ＭＰ４と呼ばれる形式等が挙げられる。こうした記録形式は、比較的柔軟な拡張性を持っており、たとえば、動画像の時間軸に沿って時系列的に変化する著作権情報や動画像全体の撮像機器情報などを格納することも可能である。
【０００３】
例えば、監視用途などでは、特に、撮像された動画像の中から特定の空間的あるいは時間的領域を抽出あるいは選択する技術が必要となっている。これは、画像内に通常と変化のあった場合など、様々な条件で対象となる部分を選択的に知覚することが必要となる場合が多いためである。このような背景から、従来より、監視を目的として、画像フレーム内に動きのあるものを検知すると、撮像記録される動画像に対しマーカを付与する仕組みが実用化されている。具体的には、各画像フレーム又は複数の画像フレームからなるグループが特定される形式で、異常を示すフラグを立てることで、再生時に、このフラグを参照してフラグのあるフレームのみを強調するといった機能が実用化されている。
【０００４】
あるいは、撮像記録された画像を参照しながらマウスなどのポインタ入力装置を操作することにより、記録済みの画像フレームまたは前後の画像フレームを含む複数の画像フレームに、明示的に矩形などの画像情報を上書き記録する仕組みも実用化されている。
【０００５】
更に、撮像画像から特定領域を抽出する技術を応用することにより、人物を抽出したり移動する車を抽出したりすることにより、動画像から特定の領域を抽出する技術が知られている。また、この技術を応用して、抽出された特定領域の撮像範囲内での位置および大きさに基づいて、パン・チルト・ズーム機能を動作させるといった技術も知られている（例えば、特許文献１を参照）。
【特許文献１】特開２００２−２６２１３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来技術では、記録された動画像や撮像し記録しようとする動画像の中から特定の空間的領域を選択し、選択された領域を全動画像にわたって動画像のデータと関連付けて記憶する場合、以下に示す問題が生じていた。
【０００７】
特許文献１の場合では、記録済みや記録中の画像の特定領域を元に、この画像にとらわれることなくカメラを動作させることが可能である。しかしながら、記録済みの過去の画像にまで遡及して動画像の中から特定の空間的領域を選択し関連付けて記録することに課題がある。
【０００８】
本発明は、従来技術の課題を鑑みてなされたものであり、動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、特定の空間領域を関連付けることを可能にする技術の提供を目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成する本発明に係る動画像処理装置は、撮像手段で撮像された動画データと、前記動画データを構成する各画像フレームに関連付けられた前記撮像手段の撮像情報と、を取得する取得手段と、
マーカ表示を表示制御するためのマーカ情報を、前記動画データのうちの指定された画像フレームに関連付けて前記動画データに付加する付加手段と、
を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、特定の空間領域を関連付けることが可能になる。
【発明を実施するための最良の形態】
【００１１】
以下添付図面を参照して、本発明の好適な実施形態を説明する。
［第１実施形態］
図１は、本実施形態に係る動画像処理装置の機能構成を示すブロック図である。本実施形態に係る動画像処理装置は、撮像ユニット１０１、符号圧縮回路１０２、アクチュエータユニット１０３、動画データ取得回路１０４、表示ユニット１０５を備える。また、動画像処理装置は、ユーザ入力ユニット１０６、情報付加回路１０７、動画データ出力回路１０８、記憶装置１０９、動画像再生回路１１０を備えている。
【００１２】
各機能構成は、ＣＰＵ２５２の制御の下に動作するソフトウェアプログラムとの協働によって本発明の実施形態に係る画像処理を実現するものとする。
【００１３】
撮像ユニット１０１は、一般的には、光学レンズやCCD等の光学センサ等から構成される。撮像ユニット１０１は、撮像された各フレームの画像を、画像信号として符号圧縮回路１０２に出力する。符号圧縮回路１０２は、撮像ユニット１０１から入力された画像信号に対してＡ／Ｄ変換を行い、この画像信号を画像データとして取得する。そして、この画像データに対して圧縮符号化処理を行う。連続した映像である動画の圧縮符号化方式としては、ＭＰＥＧ-４などの方式が広く知られている。
【００１４】
符号圧縮回路１０２は必ずしも必須のものではないが、動画像データのデータ量は概して巨大であり、例えば、動画像処理装置においては圧縮符号化を行う場合が一般的である。
【００１５】
アクチュエータユニット１０３は、撮像ユニット１０１を回転させるなどして撮像方向を制御する。この機構は、例えば、監視用や遠隔地の確認用などの目的で、設置場所を固定して利用する形態として利用することが可能である。例えば、三脚などに固定してカメラを回転させる機構をもつものも適用可能である。回転する機構の場合、たとえば、水平方向に回転するパン機構や、垂直方向に回転するチルト機構などが、その最も典型的な例である。
【００１６】
動画データ取得回路１０４は、符号圧縮回路１０２により符号化された符号化データと、符号化に伴う符号化パラメータを取得する。この際、動画データ取得回路１０４は、撮像ユニット１０１の撮像時の焦点距離などの付加情報や、タイムスタンプといった動画像の個々の画像データの時間情報と、撮像ユニット１０１の回転角、画角などの情報を関連付けて取得する。
【００１７】
表示ユニット１０５は、動画データ取得回路１０４により取得された動画像を表示する。図１では、処理の軽減化のため符号圧縮回路１０２により符号化される前の画像を表示するよう符号圧縮回路１０２からもデータを取得するよう示している。なお、このようなデータの流れは実装に依存するもので、符号化データを復号化して表示してもよい。
【００１８】
ユーザ入力ユニット１０６は、例えば、表示ユニット１０５を参照しながら操作するユーザが実際に操作指示を行うよう構成されている。典型的には、いわゆるマウスポインタやキーボードなどを利用し指示を行うものである。
【００１９】
情報付加回路１０７は、動画データに、ユーザ入力ユニット１０６から入力された情報を、例えば、メタデータに変換する等の整形をして付加することが可能である。
ユーザ入力ユニット１０６から入力された情報は、動画データに付加される付加表示の位置、サイズ、形状等を表示制御するための情報（以下、この情報を「マーカ情報」ともいう）である。
【００２０】
動画データ出力回路１０８は、動画データに関連付けられた撮像情報と、情報付加回路１０７により付加されたマーカ情報とに基づいて、最終的な動画データを所定の出力先に出力する。動画データの記録と保管に関しては、動画像処理装置の記録媒体として、記憶装置として機能することが可能なメモリカードや固定ディスクなどに動画データを記録・保管することが可能である。ここでは、動画データを記録・管理することが可能な媒体として記憶装置１０９を示している。記憶装置１０９は、動画像処理装置に内蔵することができる。また、記憶装置１０９は、任意のインターフェース(USB,IEEE1394等、又はネットワーク（Ether等の有線LANやIEEE802.11x等の無線LAN等）を介して動画像処理装置と接続して構成することも可能である。
【００２１】
動画像再生回路１１０は、記憶装置１０９に記録された動画データを読み出して、復号化処理を行い、動画データの再生処理を行うことが可能である。この際、マーカ情報（例えば、図４の４０４）が動画データに記録されている場合、マーカ情報４０４を含むフレーム再生時にマーカを表示することが可能である。
【００２２】
図２は、図１に示した構成を有する動画像処理装置の詳細な構成を示すブロック図である。撮像対象の像は、光学系からなる撮像レンズユニット２１１、絞りユニット２１２を通って光学センサ２１３に結像する。撮像レンズユニット２１１は、例えば、焦点を合わせるためや、ズーム機能のために焦点距離を変更するための駆動源としてモータ等を備えて構成されており、レンズ群を移動可能な構成を有する。絞りユニット２１２は、絞りが制御可能な機構を有している。そして、これらの撮像レンズユニット２１１、絞りユニット２１２の動作制御は、駆動回路２１６が行う。従って駆動回路２１６が撮像レンズユニット２１１、絞りユニット２１２を適切に制御することで、光学センサ２１３に到達（結像）する光は適切に光量調整されたものとなる。光学センサ２１３は、固体撮像素子（例えば、ＣＣＤやＣＭＯＳセンサなど）によって構成され、入射した光を光量に応じて電荷に変換、蓄積することが可能である。そして光学センサ２１３は、この蓄積された電荷を読み出し、画像信号としてＡ／Ｄコンバータ２１４に送出する。
【００２３】
ここで、光学センサ２１３の動作は、駆動回路２１７が出力するパルス信号などによって適切に制御されている。即ち、指示されたタイミングで指示された時間の間に蓄積された電荷を読み出す一連の動作を連続する。これにより、連続した画像が得られることになる。このようにして取得された連続画像は、動画像である。
【００２４】
次に、Ａ／Ｄコンバータ２１４は、光学センサ２１３から受けた画像信号に対してＡ／Ｄ変換を行い、デジタルデータ（画像データ）として画像信号処理回路２１５に送出する。画像信号処理回路２１５は、Ａ／Ｄコンバータ２１４から受けた画像データを用いて、ホワイトバランス補正やガンマ補正といった画像補正を行う。このようにして処理され、適切な形式となった画像データは、符号圧縮回路１０２に送出される。
【００２５】
尚、各処理間の画像データの受け渡しは、例えば、ＤＭＡ（Direct Memory Access）回路を利用した高速なメモリ２５１を用いたアクセスにより、リアルタイムでの大量のデータの処理が可能になる。
【００２６】
符号圧縮回路１０２は、画像信号処理回路２１５から入力した画像データに対して圧縮符号化処理を行う。圧縮符号化処理を各フレームの画像について行うことにより、結果として動画像に対する圧縮符号化処理が実行されることになる。この圧縮符号化方式には様々なものを用いることができる。例えば、連続したＪＰＥＧ（ISO／IEC 10918）符号化（所謂モーションＪＰＥＧ）画像では、画像信号処理回路２１５からの入力ＲＧＢ画像データを輝度信号Ｙとクロマ信号ＣｂＣｒからなるＹＣに信号化する。そして、これらを８ｘ８画素のブロックに分割したのち、離散コサイン変換、量子化、ハフマン符号化といった処理を行い、最終的な圧縮画像を出力する。或いは、圧縮符号化方式がＭＰＥＧ-２（ISO／IEC 13818）やＭＰＥＧ-４（ISO／IEC 14496）などのフレーム間予測を行う形式を用いることも可能である。この場合、圧縮しようとする特定の１枚の画像（フレーム）に対し、前後のフレームを参照しながら、動き補償予測、マクロブロック処理等を行い、前後が相互に依存した圧縮画像（ビットストリーム）を出力する。
【００２７】
次に、アクチュエータユニット１０３について説明する。アクチュエータユニット１０３は、例えば、サーボ・モーターや超音波モータ等により撮像ユニット１０１を回転移動させる為のアクチュエータ２２１を有する。また、アクチュエータユニット１０３は、アクチュエータ２２１の駆動回路２２３、アクチュエータ２２１の動き量を検出する為の動き検出回路２２２を有する。係る構成により、例えばネットワーク上の機器や本装置に実装されたボタン等から撮像ユニット１０１を回転させる要求が入力された場合、ＣＰＵ２５２はこれを検知し、指示された回転を行うよう駆動回路２２３に指示を送出する。駆動回路２２３はこの指示に基づいてアクチュエータ２２１を制御するので、アクチュエータ２２１は自身に接続されている撮像ユニット１０１を、要求された回転角分だけ回転させる。また、動き検出回路２２２は、アクチュエータ２２１の回転量を検知し、所定タイミング毎に検知した動き量をメモリ２５１に記録する。このように、アクチュエータユニット１０３による動作により、所定タイミング毎の撮像ユニット１０１の動き量をメモリ２５１に記録することができるので、適宜これを参照することができる。また、先に説明したように、駆動回路２１６が撮像レンズユニット２１１を制御するよう構成されているため、焦点距離を変更する所謂ズーム操作においても同様に、その焦点距離の情報を参照することもできる。すなわち、ＣＰＵ２５２が、駆動回路２１６への指示を行い、その駆動状況をメモリ２５１に記録するようにすればよい。
【００２８】
本実施形態において、動画データ取得回路１０４は、メモリ２５１に記録された動き量を用いて、撮像位置情報を動画像とともに取得することができる。
【００２９】
動画データ取得回路１０４、情報付加回路１０７、動画データ出力回路１０８、動画像再生回路１１０等については、後にプログラム動作の流れで詳細に説明するので、ここでは説明を省略する。
【００３０】
以上説明した各部の動作制御はＣＰＵ２５２が管理しているものとする。更に、ＣＰＵ２５２の動作則を記したプログラムは、ＲＯＭ２５３に格納されている。従ってＣＰＵ２５２はこのＲＯＭ２５３に格納されているプログラムやデータを用いて処理を実行することで、本装置全体の制御を行うと共に、本装置を構成する各部が行う上記各処理を実行することが可能になる。
【００３１】
次に、符号化データと符号化パラメータ、撮像時の焦点距離、動画像の個々の画像データに関する時間情報、回転角等の情報を入力とし、情報付加回路１０７を経由して動画データを記憶装置１０９に出力するまでの処理を説明する。
【００３２】
最初に、処理の流れの説明を容易にするため、最終的に出力される動画データの形式について説明する。図３は、撮像ユニット１０１の位置と最終的に出力される動画データのファイル形式の関係を模式的に示した図である。まず、焦点距離やタイムスタンプといった時間情報等の撮像ユニット１０１の撮像情報は動画データ取得回路１０４を通じて取得する。撮像情報として、本実施形態では、画角θと回転角φを例に挙げる。撮像ユニット１０１を中心として、図中の真下方向を基準（φ(0)=0°）として撮像ユニットの回転角をφで表し、撮像ユニット１０１のレンズ部分を中心とした、ある一定範囲を仮想的な撮像面３０１とする。
【００３３】
また、撮像ユニット１０１の中心から垂直方向に引いた線を中心線（図３ではMまたはN）とすると、中心線がNの撮像面を持つ場合の撮像ユニット１０１の回転角をφ(N)とする。また、中心線がMの撮像面を持つ場合の撮像ユニットの回転角をφ(M)と表すものとする。
【００３４】
まず、図３の中央にセットされている撮像ユニット１０１を用いて撮像すると、撮像ユニット１０１は、動画データファイル３０２を作成する。そして、動画データファイル３０２に含まれる各画像フレーム３０３に関するパン・チルト・ズームといった操作をもとに取得した撮像時の撮像情報３０４は、アクチュエータユニット１０３から出力される。撮像情報３０４は、動画データ取得回路１０４によりフレーム３０３のメタデータとして記録される。
【００３５】
一方、ユーザ入力ユニット１０６を通じてユーザが指定した領域（指定された領域を「マーカ」ともいう。）３０５に関するマーカ情報は、情報付加回路１０７において、動画データファイル（動画データ）に記録される。指示された領域がどのフレームに含まれるかの決定は、指定された領域を含む中心線を持つフレームや、指定された領域が仮想的な撮像面３０１に含まれる面積が大きいフレームに決定する方法等が考えられる。
【００３６】
また、上記の方法では必ずしも1つのフレームに指定できるとは限らないので、指定された領域の撮像タイミングをタイムスタンプで指定することも可能である。その場合、タイムスタンプにおける画角θや回転角φを記録する方法も１つの例として挙げられる。
【００３７】
取得したマーカ情報の記述については、例えば、図３の場合、フレーム３１０にマーカ３０５が指定されているものとする。この場合、動画データファイル３０２のヘッダ３０６に、撮像時の回転角であるφ（M）のところでマーカが指定されたという情報が記録される。本実施形態では、マーカ情報は動画データファイル３０２内のヘッダ３０６に記録する例を示したが、各フレームに関するメタデータとして、各フレームにマーカが指定されたことを示す識別情報を記録してもよい。
【００３８】
次に、図３で挙げたマーカ情報と動画データのファイル形式の関係を説明する。具体例として、ＭＰＥＧ-４（以下、「ＭＰ４」と示す）の動画・音声符号化データを記録するための標準ファイル形式であるＭＰ４ファイル形式を例に挙げてファイル構造とマーカ情報の記録について詳細を説明する。
【００３９】
図４は、ＭＰ４ファイル４０１の構造の概要を示す図である。ＭＰ４ファイル４０１は、ムービーメタデータ４０２とメディアデータ４０６とで構成されている。ムービーメタデータ４０２には、メディアデータ４０６の格納場所および属性を示す情報が格納されている。ＭＰ４ファイル４０１にVideoデータとAudioデータの両方が記録されている場合は、Videoトラックに関するヘッダであるVideoトラックメタデータ４０５と、Audioトラックメタデータ４１１とが格納される。
【００４０】
メディアデータ４０６には、Videoデータ，Audioデータなどのメディアストリームの符号化データが格納されている。マーカ情報４０４が、例えばファイルのヘッダに記録される場合、情報付加回路１０７での処理を経て、格納場所であるムービーメタデータ内４０２に格納される。マーカ情報４０４から、そこに記録されたタイムスタンプを基に、Videoトラックメタデータ４０５の中で同じタイムスタンプを持つメタデータを参照することが可能である（４０８）。そして、Videoトラックメタデータ４０５には、フレーム毎のタイムスタンプが記録されており、Videoトラックメタデータ４０５から記録されたタイムスタンプを基にVideoデータ４０７内のフレームを参照できる（４０９）。つまり、マーカ情報４０４に指定された領域を含むフレームのタイムスタンプを記録することで、メディアデータ４０６も参照することが可能となる。
【００４１】
図４の記述４１０は、マーカ情報４０４の記述例を示している。本実施形態では、マーカ情報４０４をＭＰ４ファイル４０１において任意のＢＯＸとして追加する。そして、任意のデータを記録可能なユーザスペース（user space）(「ｕｄｔａ」)に新たなＢＯＸ(「ｓｔｍｓ」)を作成し、マーカ情報を記録する。
【００４２】
マーカ情報４０４の記述例４１０には、以下に示す変数が含まれる。
【００４３】
・ｅｎｔｒｙ_ｃｏｕｎｔ（４２１）:マーカの総数
・ｅｎｔｒｙ_ｎｕｍ（４２２）:マーカの番号
・ｆｒａｍｅ_ｎｕｍ（４２３）:マーカが指定されたフレーム番号
・ｔｉｍｅｓｔａｍｐ（４２４）:マーカが指定されたフレームのタイムスタンプ
・ｒｏｔａｔｉｏｎ_ａｎｇｌｅ（４２５）:マーカが指定されたフレームの撮像時の回転角
・ｆｉｅｌｄ_ａｎｇｌｅ（４２６）:マーカが指定されたフレームの撮像時の画角。
【００４４】
例えば、マーカ情報４０４の変数の記述例４１０として、timestamp（４２４）が含まれている。このような時間情報をマーカ情報として記録することで、指定時間における特定領域を指定する場合は、入力された指定時間とtimestampの値をもとに、対応するフレームの参照が可能である。
【００４５】
上記のマーカ情報４０４の変数（４２１〜４２６）は、一例であり、全ての情報を含む必要はなく、一部の情報を含むものであってもよい。また、マーカ情報４０４の変数は、上述のものに限定されるものではなく、上記以外の変数をマーカ情報４０４の変数として記述するこことも可能である。
【００４６】
情報付加回路１０７は、ユーザ入力ユニット１０６で指定されたマーカ情報４０４を動画データに付加する。そして、動画データ出力回路１０８は、図３に示したような、動画データと、撮像情報と、マーカ（マーカ情報）とが組み合わされた、動画データ３０２を記憶装置１０９に出力する。
【００４７】
次に、ユーザ入力ユニット１０６によりマーカ情報４０４の記録を指示する方法について説明する。マーカ情報４０４の入力には、たとえばユーザが表示ユニット１０５に表示された画像を参照しながら、マウスポインタなどから構成されるユーザ入力ユニット１０６を用いて、画像上に指示を行う方法が利用できる。本実施形態では、指示を入力するシンプルな方法として、ユーザ入力ユニット１０６がボタンによるインターフェースを持ち、表示ユニット１０５の表示を参照しながらボタンを押下して指示を行う場合について説明する。
【００４８】
図５は、撮像された動画データのある特定の瞬間の画像であるフレームと、その画像のフレームに重ね合わされたマーカ情報を視覚化した状態を示すフレームとマーカの模式図である。
【００４９】
図５には、３つのフレーム（５０１、５０２、５０３）が示されている。フレーム５０１は、特定されないある瞬間の画像フレームを示す。フレーム５０２は、フレーム５０１の状態からアクチュエータユニット１０３により撮像ユニット１０１を回転させた結果、撮像ユニット１０１の回転角がφ（Ｍ）となった瞬間の画像フレーム（Ｍ）を示す。
【００５０】
更に、フレーム３は、フレーム５０２の状態から更にわずかに回転し、回転角がφ（Ｍ＋１）となり、更に拡大（ズーム）された画像フレーム（Ｍ＋１）を示している。図５においては、撮像画像の回転の様子を分かりやすさのために、各フレームの中心線も明示している。破線で記載された丸印（５０４、５０５）は、視覚化されたマーカを示す。
【００５１】
表示ユニット１０５の表示を参照しながらユーザ入力ユニット１０６に設けられているボタン（不図示）を押下すると、マーカ情報が押下のタイミングで表示されている画像フレームに設定される。画像フレーム（Ｍ）５０２を例にすると、予め設定されたマーカサイズのマーカ５０５が画像フレーム（Ｍ）５０２に表示されるように、マーカ情報が設定される。
【００５２】
ここで、画像フレーム５０１と画像フレーム（Ｍ）５０２における画角と焦点距離をそれぞれθ（Ｍ）とｆ（Ｍ）とする。また、画像フレーム５０１と画像フレーム（Ｍ＋１）５０３における画角と焦点距離をそれぞれθ（Ｍ＋１）とｆ（Ｍ＋１）とする。この時、各画像フレームに関連付けられた撮像ユニット１０１の位置情報は、次のようになる。
【００５３】
画像フレーム（Ｍ）５０２における位置情報は、回転角がφ（Ｍ）、画角がθ（Ｍ）、焦点距離がｆ（Ｍ）となる。また、画像フレーム（Ｍ＋１）５０３における位置情報は、回転角がφ（Ｍ＋１）、画角がθ（Ｍ＋１）、焦点距離がｆ（Ｍ＋１）となる。
【００５４】
また、マーカ情報は、回転角がφ（Ｍ）、画角がθ（Ｍ）、焦点距離がｆ（Ｍ）、さらにマーカサイズがＳとなる。ここにマーカサイズＳは、マーカのサイズを示す値であって、たとえば画角に換算した値を利用することができる。
【００５５】
動画データに撮像情報及びマーカ情報を付加することにより、各画像フレームの回転角や画角と、マーカ情報としての回転角や画角を関連付けて、各フレーム間の関係を矛盾なく格納することが可能である。
【００５６】
より具体的に説明するために、更に、図５に加えて図６を用いて視覚化されたマーカと画像フレームとの関係に説明を加える。図５の画像フレーム（Ｍ＋１）５０３においては、視覚化されたマーカ５０４は、画像フレーム（Ｍ）５０２のマーカ５０５よりも大きく表示されている。これは、画像フレーム（Ｍ）５０２に対し画像フレーム（Ｍ＋１）５０３が拡大されて撮像されているためである。注目すべき点は、ユーザ入力ユニット１０６によりマーカ設定の指示をおこなった瞬間は、画像フレーム（Ｍ）５０２と同じ瞬間であるという点である。マーカ情報は、特定の画像フレームに依存せずに設定可能である。そのため、例えば、画像フレーム（Ｍ）５０２における画角θ（Ｍ）とマーカ情報の画角θ（Ｍ）は一致しているが、画像フレーム（Ｍ＋１）５０３における画角θ（Ｍ＋１）は必ずしも一致しない。すなわち、画像フレーム（Ｍ）５０２において設定されたマーカ情報の画角θ（Ｍ）は、画像フレーム（Ｍ＋１）５０３における画角θ（Ｍ＋１）により換算されるべきものである。
【００５７】
図６は、画像フレーム（Ｍ）５０２とマーカ情報の関係を示す図である。同図から明らかなように、画像フレーム（Ｍ）５０２における仮想的な撮像面６０１において、視覚化されたマーカの水平方向（横方向）の幅ｄ（Ｍ）は、仮想的な撮像面６０１の水平方向（横方向）の幅をＬとして次の関係になる。
【００５８】
ｄ（Ｍ）/Ｌ=(ｓｉｎ(Ｓ/２))/(ｓｉｎ(θ(Ｍ)/２)) ・・・（１）
ここに、Ｓは先に例示したマーカのサイズを画角換算で与えた値である。この比ｄ（Ｍ）／Ｌは、画像フレームに対するマーカのサイズの比である。もし、視覚化されたマーカを図５に示すように表示ユニット１０５上に重ね合わせて表示するならば、マーカを例えば表示ユニット１０５でのピクセル比として示すことが出来る。
【００５９】
一方、画像フレーム（Ｍ＋１）５０３においては、拡大により画角が画角θ（Ｍ＋１）であることから、マーカの水平方向（横方向）の幅ｄ（Ｍ）は、次のようになる。
【００６０】
ｄ(Ｍ＋１)/Ｌ=(ｓｉｎ(Ｓ/２))/(ｓｉｎ(θ(Ｍ＋１)/２)) ・・・（２）
例えば、Ｓが５度であり、θ（Ｍ）＝２０度、θ（Ｍ＋１）＝１０度、撮像された画像フレームの水平ピクセル数が６４０ピクセルである場合を想定する。計算により、画像フレーム（Ｍ）５０２における視覚化されたマーカの水平ピクセル数は約１６１ピクセルであり、画像フレーム（Ｍ＋１）５０３における視覚化されたマーカの水平ピクセル数は約３２０ピクセルであることが分かる。画像フレーム（Ｍ）５０２から画像フレーム（Ｍ＋１）５０３への変化により、画角は約半分になり、視覚化されたマーカのサイズは約２倍になる。
【００６１】
尚、上記の視覚化されたマーカの水平方向（横方向）の幅と仮想的な撮像面６０１の水平方向（横方向）の幅の関係式は、画角が十分に小さいとき、マクローリン展開により、ｄ／Ｌ＝Ｓ／θで近似することが可能である。
【００６２】
また、画像フレーム（Ｍ）５０２から画像フレーム（Ｍ＋１）５０３への変化における回転角φ（Ｍ）から回転角φ（Ｍ＋１）への変化は、例えば画像フレームの中心線（Ｍ）から中心線（Ｍ＋１）の変化として考えることが出来る。
【００６３】
ここで、画像フレーム（Ｍ）５０２においてマーカ情報として設定した回転角φ（Ｍ）を画像フレーム（Ｍ）５０２の回転角との混同を避けるために、マーカ情報として設定した回転角φ（Ｍ）＝φ（ｍ）とする。また、ある特定の画像フレームの回転角φ（ｘ）とφ（ｍ）との回転角の差異をΨとおく。すなわち、Ψ＝｜φ（ｘ）−φ（ｍ）｜である。
【００６４】
例えば、画像フレーム（Ｍ）５０２においてマーカ情報として設定した回転角φ（Ｍ）＝φ（ｍ）と画像フレーム（Ｍ＋１）５０３の関係においては、Ψ＝φ（ｍ）−φ（Ｍ＋１）である。
【００６５】
また、この特定の画像フレームの画角をθ（ｘ）とする。同様に画像フレーム（Ｍ＋１）５０３の場合の画角はθ（ｘ）＝θ（Ｍ＋１）である。
【００６６】
仮想的な撮像面６０１の水平方向（横方向）の幅をＬとして視覚化されたマーカの中心位置は、仮想的な撮像面６０１の中心線からの距離ｒにより、次の（３）式で表現される。
【００６７】
ｒ／Ｌ＝（ｔａｎ（Ψ）／ｔａｎ（θ／２））／２ ・・・（３）
また、マーカサイズＳを画角換算した値とし、仮想的な撮像面６０１の中心線からマーカまでの遠い側の距離ｒ１は、次の（４）式で表現される。
【００６８】
ｒ１／Ｌ＝(ｔａｎ(Ψ−(ｓ／２))／ｔａｎ(θ／２))／２・・・（４）
同様に、仮想的な撮像面６０１の中心線からマーカまでの近い側の距離ｒ２は、次の（５）式で表現される。
【００６９】
ｒ２／Ｌ＝(ｔａｎ(Ψ＋(ｓ／２))／ｔａｎ(θ／２))／２・・・（５）
これらの式は、マーカ情報に含まれるマーカサイズＳを画角として換算しておくことにより常に成立するものである。
【００７０】
このように、マーカ情報が示す視覚化されたマーカの仮想的な撮像面６０１の上の位置は、マーカ情報を適切に記憶しておくことで常に利用することができる。
【００７１】
それぞれの動画フレームに対応する撮像ユニット１０１の位置情報及びユーザ入力ユニット１０６により指示された撮像ユニット１０１の位置情報に相当するマーカ情報とを動画データに記録する。位置情報及びマーカ情報とが記録された動画データより、マーカ情報を記録した瞬間の動画フレームに限定されず、マーカを含むフレームにおけるマーカの表示位置を取得することが可能となる。この表示位置に基づいて、ある瞬間において指定されたマーカを、時間的に遡及したタイミングで記録されたフレーム中に表示することが可能になる。これにより、動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、動画像全体にわたって特定の空間領域を関連付けることが可能になる。
【００７２】
本実施形態では、撮像ユニットの水平方向の操作に関する撮像情報を取得して動画データに記録する手法について説明したが、垂直方向の操作に関しても同様である。すなわち、垂直方向の移動に関する撮像情報を取得し記録することで、これまで説明した手法を用いることで、同様にマーカの位置を特定することができる。
【００７３】
次に、これまで説明してきたような手法で出力された動画データをもとに、撮像情報やマーカ情報を動画データに記録し、係る動画データを再生する際の処理について説明する。
【００７４】
動画データ出力回路１０８は、ＭＰ４ファイル４０１に記録されたマーカ情報４０４をもとに、動画データ再生時にユーザが指定した特定領域に関するマーカ情報４０４を記録した動画データを作成する。その処理を図４に示したようなマーカ情報４１０を記録した場合を例に挙げて説明する。
【００７５】
動画データ出力回路１０８は、メディアデータ４０６を読み込む前に、動画データのヘッダに記録されたマーカ情報４０４を取得する。例えば、マーカ情報４０４に記録されたentry_count（４２１）から動画データに記録されたマーカの総数を取得する。図５の表示例では、フレーム中にマーカは１つしか表示されていないが、本発明の趣旨はこれに限定されるものではなく、１フレーム中において複数のマーカを指定することができるものとする。
【００７６】
そして、動画データ出力回路１０８は、各マーカ情報のタイムスタンプ（timestamp）(４２４)を取得し、そのタイムスタンプが含まれるフレーム番号を取得する。そして、取得したフレーム番号をもとに、動画データからフレームを特定する。そして、マーカ情報４０４として記録されていた特定領域に関する回転角と画角をもとにユーザが指定した領域を特定する。動画データ出力回路１０８はＭＰ４ファイル４０１に記録されたマーカ情報４０４をもとに、動画データを作成する。動画データには動画フレームに対応する撮像ユニット１０１の位置情報及びユーザ入力ユニット１０６により指示された撮像ユニット１０１の位置情報に相当するマーカ情報が矛盾なく記録され、再生可能なデータとして出力される。
【００７７】
動画像再生回路１１０は、記憶装置１０９に記録された動画データを読み出して、復号化処理を行い、動画データの再生処理を行う。この際、マーカ情報（図４の４０４）が動画データに記録されている場合は、マーカ情報を含むフレーム再生時にマーカを表示することが可能である。
【００７８】
次に、以上説明してきた処理の流れをフローチャートの参照により説明する。まず、撮像ユニット１０１を用いた被写体の撮像から動画データを出力するまでの流れについて図７を用いて説明する。
【００７９】
本処理は、ＣＰＵ２５２の制御の下に動作するソフトウェアプログラムと、動画データ取得回路１０４、情報付加回路１０７、動画データ出力回路１０８等との協働により実行されるものとする。
【００８０】
ステップＳ７０１において、撮像ユニット１０１から出力された動画データに対して、アクチュエータユニット１０３で取得したパン・チルト・ズーム等といった撮像ユニット１０１の撮像情報を取得する。撮像ユニット１０１から出力される動画データは符号圧縮回路１０２に出力される。符号圧縮回路１０２は撮像ユニット１０１から出力された動画データに基づいて、符号化処理を実行し、符号化処理された動画データを動画データ取得回路１０４に出力する。また、アクチュエータユニット１０３は撮像ユニット１０１の撮像情報（例えば、撮像時の焦点距離や、タイムスタンプといった時間情報と、撮像ユニット１０１の回転角、画角等）に関する情報を動画データ取得回路１０４に出力する。
【００８１】
ステップＳ７０２において、動画データ取得回路１０４は、動画データ先のステップＳ７０１で取得した撮像情報を動画データに記録する。撮像情報は動画データを構成する各画像フレームに関連付けられた情報として記録される。
【００８２】
ここで、ユーザ入力ユニット１０６でマーカ表示を付加する指示がある場合、情報付加回路１０７は、動画データを構成する画像フレーム内に付加するマーカ表示を表示制御するための情報（マーカ情報）を取得する。ここで、マーカ情報には、例えば、マーカ表示の位置が指定されたときの撮像ユニット１０１の回転角や画角のいずれかの情報が含まれる。そして、情報付加回路１０７は、動画データ取得回路１０４から出力される動画データにマーカ情報を記録（付加）する（Ｓ７０２）。ここで記録（付加）されるマーカ情報は、動画データに関連付けられた撮像情報と同等な形式で変換可能な情報として付加される。
【００８３】
そして、ステップＳ７０３において、動画データ出力回路１０８は、動画データ再生時にユーザが指定した領域に関するマーカ情報を記録した動画データを生成し、出力する。
【００８４】
続いて、マーカ情報が記録済みの動画データを再生する際の流れについて図８のフローチャートを参照して説明する。本処理は、ＣＰＵ２５２の制御の下に動作するソフトウェアプログラムと動画像再生回路１１０等との協働により実行されるものとする。
【００８５】
ステップＳ８０１において、動画像再生回路１１０は、動画データ出力回路１０８により生成され、出力された動画データに記録された撮像ユニット１０１の各フレームにおける撮像情報を記録装置１０９より取得する。
【００８６】
次に、ステップＳ８０２において、動画像再生回路１１０は、動画データに記録（付加）されたマーカ情報４０４を取得する。
【００８７】
ステップＳ８０３において、先のステップＳ８０２において取得したマーカ情報４０４と、各フレームの撮像情報を基に、動画像再生回路１１０は、マーカの表示位置およびサイズを算出する（Ｓ８０３）。
【００８８】
そして、ステップＳ８０４において、動画像再生回路１１０は、先のステップＳ８０３で算出したマーカの表示位置およびサイズに基づいて、マーカ情報４０４を含む画像フレーム再生時にマーカを表示して、処理を終了する。
【００８９】
次に、マーカ情報を含むフレーム再生時において、ＭＰ４ファイル４０１に記録されたマーカの位置情報を基にしたマーカの表示について説明する。
【００９０】
マーカの水平方向（横方向）の幅ｄ(Ｍ)は、図６に示した仮想的な撮像面６０１の水平方向（横方向）の幅をＬとすると、（１）式の関係より
ｄ(Ｍ)/Ｌ＝(ｓｉｎ(Ｓ/２)) / (ｓｉｎ(θ(Ｍ)/２))なる関係が成立することを説明した。（１）式の関係を変形してマーカの水平方向の幅ｄ（Ｍ）を表すと、（６）式のようになる。
【００９１】
ｄ(Ｍ)＝Ｌ×((ｓｉｎ(Ｓ/２)) / (ｓｉｎ(θ(Ｍ)/２)))・・・（６）
マーカ情報の視覚化にＳＶＧ（Scalable Vector Graphics）を用いる場合を例に挙げると、ＳＶＧのマーカ描画部分のサイズを設定することで、指定された部分に適切な大きさのマーカを表示することができる。例えば、マーカを円で表示する場合を以下に示す描画設定の例を参照しつつ説明する。以下に示す描画設定において、「circle」は円の描画を示し、（ｃｘ、ｃｙ）は円の中心位置（中心座標）を示す。「r」は円の半径サイズを示している。ここで、半径サイズは「ｄ(Ｍ)/２」と設定されており、直径に換算してｄ（Ｍ）の円の描画、表示が設定されている。また、stroke=「red」は、描画される円の色が赤に設定されていることを示している。
【００９２】
（描画設定の例）
＜svg sml:space ="default" width="220" height="200"＞
＜circle cx="25" cy="25" r="d(M)/2" stroke="red" stroke-width="1" /＞
＜/svg＞
上述の描画設定の例では、マーカを円で描画する例を示しているが、マーカを円ではなく、例えば、矩形により表示することも可能である。この場合、円の描画を指定する「circle」を矩形の描画を示す「rect」と設定することにより、一辺がｄ（Ｍ）の矩形マーカを描画することが可能である。また、上述の描画設定の例で、stroke=「red」を例えば、「blue」と設定することにより、矩形マーカを青色で描画することも可能である。マーカの表示は、設定を変更することにより、表示位置、表示サイズ、表示形状、表示色を種々変更することが可能である。
【００９３】
フレームをズーム表示した場合、動画像再生回路１１０は、画角を基にズーム率（または縮小率）を求め、その値に従ってマーカのサイズを調節（設定）することも可能である。そして、動画像再生回路１１０は、マーカのサイズを調節（設定）して、ズーム表示（縮小表示）した画像フレーム中にサイズを調節（設定）したがマーカを表示することも可能である。このようにマーカを、ＳＶＧ等のベクターグラフィックスを用いて記述することにより、ズーム等の操作で表示すべきマーカのサイズを変更しなければならない場合でも柔軟に対応することが可能になる。
【００９４】
尚、本発明は物理的なパン・チルト・ズーム動作と同等の作用を発生させるように設計され、電子的にパン・チルト・ズームを行うことができるカメラに対しても適用できる。
【００９５】
以上説明したように、本実施形態によれば、動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、動画像全体にわたって特定の空間領域を関連付けることが可能になる。
【００９６】
［第２実施形態］
次に、本発明の第２実施形態を図９、図１０、図１１の参照により説明する。第１実施形態と共通の構成要素に関しては、同一の参照番号を付し説明し、重複する説明は省略するものとする。本実施形態においては、図１の構成を用いて、撮像情報及びマーカ情報が付加された動画データが生成され、記憶装置１０９に記憶されているものとする。
【００９７】
撮像ユニット１０１で被写体の動画像が撮像され、撮像された各フレームの画像は、画像信号として符号圧縮回路１０２に出力される。符号圧縮回路１０２は、撮像ユニット１０１から入力された画像信号に対してＡ／Ｄ変換を行い、この画像信号を画像データとして取得する。動画データ取得回路１０４は、符号圧縮回路１０２により符号化された符号化データと、符号化に伴う符号化パラメータを取得する。この際、動画データ取得回路１０４は、撮像ユニット１０１の撮像時の焦点距離、タイムスタンプといった個々の画像データの時間情報、撮像ユニット１０１の回転角、画角などの情報を関連付けて取得する。情報付加回路１０７は、動画像データに対し、ユーザ入力ユニット１０６により入力された付加表示（マーカ）を表示制御するための情報（マーカ情報）を、例えば、メタデータに変換する等の整形をして付加する。動画データ出力回路１０８は、情報付加回路１０７により整形された最終的な動画データを記憶装置１０９に出力する。
【００９８】
図１１は、本発明の第２実施形態に係る動画像処理装置の構成を示す機能ブロック図である。
【００９９】
ユーザは、ユーザ入力ユニット１１０１からの選択により、システム制御部１１０２を介して、記憶装置１０９に記憶されている動画データ（コンテンツ）の中から表示ユニット１０５に表示するべき動画データ（コンテンツ）を選択可能である。選択方法としては、例えば、記憶装置１０９に記憶されているコンテンツのタイトル及びサムネール又はいずれか一方を表示ユニット１０５に表示させ、この表示の中からユーザ入力ユニット１１０１を操作していずれかのコンテンツを選択することが可能である。
【０１００】
選択されたコンテンツに対応する符号化データは、システム制御部１１０２の制御により記憶装置１０９から読み出され、復号化回路１１０４へ入力される。復号化回路１１０４は、図１の符号圧縮回路１０２と対をなす回路であり、符号圧縮回路１０２により圧縮符号化された符号化データを復号することが可能である。復号化回路１１０４で復号化処理された動画像信号は、表示ユニット１０５へ入力され、表示ユニット１０５は入力された動画像信号に基づいて動画表示する。表示ユニット１０５へ入力された動画像データに基づく表示例を図９（ａ）〜（ｄ）に示す。（ａ）〜（ｄ）は動画像の各フレームを示し、（ａ）から（ｄ）に向って時間が経過するものとする。
【０１０１】
図９（ａ）〜（ｄ）に示す動画像信号の各フレームには、撮像された時点での撮像ユニット１０１の回転角（Φ（Ｍ）、Φ（Ｍ＋１）、・・・）がそれぞれ設定されている。また、動画像信号の各フレームには、画角（θ、θ＋１、・・・）、および各フレームに対応するタイムスタンプ（絶対時刻又は撮像開始からの経過時間）が撮像情報として設定されている。ここで、動画像信号の各フレームには、図９の９０１〜９０３に示すマーカ（これを第１マーカ）に関するマーカ情報が、メタデータとして各フレームに付与されているものとする。
【０１０２】
ユーザは、ユーザ入力ユニット１１０１により表示ユニット１０５に表示された動画像に対して、再生、一時停止等の操作をしながら、所望のフレーム（絵柄）を選択することが可能である。図１０（ａ）は、表示ユニット１０５に表示される選択されたフレームを例示的に示す図である。図１０（ａ）で示される選択されたフレームには、例えば、図９で示したマーカ９０１（第１マーカ）が表示されている。この表示画面に、ユーザは、マーカーペン１００６から画面上に入力を行うことにより、第１マーカとは異なる第２マーカを選択したフレームに追加することが可能である。
【０１０３】
例えば、ユーザは、マーカーペン１００６を表示ユニット１０５の画面上の一点（図１０の１００４）に接触させ、あるいは、マーカーペン１００６で画面上に任意の閉曲線を書き込み、領域を指定ことが可能である。ここで指定された点、または領域１００７に基づいて第２マーカが設定される。
【０１０４】
表示ユニット１０５は、画面上に、圧力センサ等の任意の物体の接触を検知する検知部を備えるものとする。検知部は、画面上におけるマーカーペン１００６等の接触を検知して、検知した画面上の位置情報（例えば、画面の表示をＸＹ座標で定義した場合の座標情報（Ｘ、Ｙ））をシステム制御部１１０２へ入力するように構成されている。マーカーペン１００６を表示ユニット１０５の画面上の一点に接触させ、画面上の一点が指定されると、指定された点の座標情報がシステム制御部１１１０２へ出力される。
【０１０５】
座標情報を受信したシステム制御部１１０２は、指定された一点を中心とする任意に定義された半径の円で囲まれる領域を指定領域として、中心点の座標をフレーム毎に算出し、算出された中心点の座標と、半径等の情報を情報付加回路１０７へ出力する。算出された中心点の座標と、半径等の情報は、第２マーカを表示するための第２マーカ情報を構成する。
【０１０６】
第２マーカに関する第２マーカ情報を受信した情報付加回路１０７は第２マーカ情報を第１実施形態と同様にメタデータに変換する。そして、動画データ出力回路１０８は、記憶装置１０９に記憶されている符号化データで、ユーザが選択した動画データに対応する各フレームに、第２マーカ情報からメタデータに変換した情報を追加する。
【０１０７】
第２マーカが指定された領域の画像が含まれる全てのフレームには、第２マーカに関するメタデータが付与される。メタデータが付与された符号化データを復号化回路１１０４にて復号し、表示ユニット１０５に表示する場合、メタデータが付与された各フレームの表示には、第１マーカと第２マーカとが表示される。例えば、図１０（ａ）で指定された領域１００７を含む動画データの各フレームとして、図９（ｅ）、（ｆ）、（ｇ）には、第２マーカ（９０４、９０５、９０６）が追加表示される。
【０１０８】
図９（ｄ）で示されるフレームには、第１マーカ及び第２マーカに関する領域が含まれないため、これに対応する図９（ｈ）のフレームには、第1及び第２マーカの表示はされない。
【０１０９】
以上の説明では、マーカーペン１００６により画面上の一点を指定することにより第２マーカーポイントを指定する内容を説明した。一方、マーカーペン１００６で閉曲線を表示ユニット１０５の画面上に描いた場合、システム制御部１１０２は閉領域に関する描画情報を受信して、任意の関数により、閉曲線で囲まれた領域の中心点を算出することが可能である。システム制御部１１０２は、算出した中心点に基づき、一点が指定された場合と同様に任意に定義された半径の円で囲まれる領域を指定領域とすることも可能である。
【０１１０】
表示ユニット１０５の画面表示に対する入力ユニットとして、マーカーペン１００６の他に、任意の入力ユニット（キーボード、マウス等）により、ユーザが所望する画面上の位置に該当する座標（数値）を入力することも可能である。図１０（ｂ）は、ユーザが、キーボード、マウス等の入力ユニットを用いて、マウス・カーソル１００２を画面上の所望の位置（１００５）に移動させた状態を示す図である。この状態で、ユーザはマウスを右クリックする等の操作をして、画面上の一点（図１０の１００５）の指定がシステム制御部１１０２に入力されるようにしてもよい。
【０１１１】
本実施形態では、記録済みの動画データの各フレームにマーカを新たに追加し、新たに追加したマーカに関する情報を記録済みのマーカと共に関連付けることが可能になる。尚、追加するマーカの数は、２つに限定されるものではなく、複数（例えば、第３、第４、・・）のマーカを同様にして指定し、マーカ情報を追加することが可能であり、表示するマーカの形状は円形に限定されるものではなく、矩形マーカ等でもよい。
【０１１２】
以上説明したように、本実施形態によれば、動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、動画像全体にわたって特定の空間領域を関連付けることが可能になる。
【０１１３】
［第３実施形態］
次に、本発明の第３実施の形態として、マーカを含む記録済みの動画データの撮像情報に対応する、撮像ユニット１０１により撮像されたライブ映像に、記録済みのマーカを表示する構成について説明する。
【０１１４】
図１２は、第３実施形態に係る画像処理装置の機能構成を示すブロック図である。第１実施形態で説明した図１と同一の構成要素については、同一の参照番号を付している。
【０１１５】
動画データ取得回路１２０４は、アクチュエータユニット１０３から撮像ユニット１０１の撮像情報を取得する。ここで、動画データ取得回路１２０４がアクチュエータユニットから取得する撮像情報は、撮像ユニット１０１が撮像するライブ映像に関する撮像の位置情報、角度、画角等に関する情報である。
【０１１６】
情報付加回路１０７は、ユーザ入力ユニット１０６で指定されたマーカ情報（例えば、図４の４０４）を動画データに付加する。そして、動画データ出力回路１０８は、図３に示したような動画データ３０２を記憶装置１０９に出力する。
【０１１７】
本実施形態に係る動画データ取得回路１２０４は、記録装置１０９から撮像情報及びマーカ情報が付加された動画データを読み出すことが可能である。動画データ取得回路１２０４は、アクチュエータユニット１２０３から取得する撮像情報と、記録済みの動画データに付加されているマーカ情報とに基づき、ライブ映像内に記録済みのマーカが含まれる位置関係にあるかを、撮像位置情報に基づき判定する。そして、記録済みのマーカがライブ映像内に含まれる場合は、ライブ映像内においてマーカが対応する位置情報を特定する。動画データ取得回路１２０４は、例えば、表示ユニット１０５に表示される場合の表示位置座標が、記録済みの動画データと、ライブ映像とが整合するように、両者の位置情報（位置関係）を特定する。
【０１１８】
動画データ取得回路１２０４によりライブ映像内に記録済みのマーカが含まれると判定された場合、情報付加回路２０７は、特定されたマーカの位置情報をもとにライブ映像にマーカを表示するためのマーカ情報を付加する。動画データ出力回路１２０８は、マーカ情報が付加されたライブ映像の動画データを生成し、記憶装置１０９に出力する。
【０１１９】
動画像再生回路１１０は、記憶装置１０９から動画データを読み出して再生する場合、先に記録済みのマーカ表示をライブ映像として新たに記録した動画データに反映して再生することが可能である。
【０１２０】
例えば、図３に示すような動画データファイル３０２に記録されたマーカ情報より、回転角φ（M）を取得したとする。ライブ映像におけるあるフレームの回転角φと画角θがわかれば、動画データ取得回路１２０４は、そのフレームの撮像範囲（φ＋θ）内にマーカの位置情報である回転角φ（M）が含まれるか判定する。マーカが撮像範囲に含まれる場合、情報付加回路１２０７は、マーカ３０５のマーカ情報をライブ映像にマーカ情報を付加する。
【０１２１】
以上説明したように、本実施形態によれば、動画像の個々の画像フレームとその撮像時の方向や画角などの位置情報から、動画像全体にわたって特定の空間領域を関連付けることが可能になる。
【０１２２】
[他の実施形態]
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給することによっても、達成されることは言うまでもない。また、システムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０１２３】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１２４】
プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【０１２５】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される。また、プログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【０１２６】
【図１】本実施形態に係る動画像処理装置の機能構成を示すブロック図である。
【図２】図１に示した構成を有する動画像処理装置の詳細な構成を示すブロック図である。
【図３】撮像ユニット１０１の位置と最終的に出力される動画データのファイル形式の関係を模式的に示した図である。
【図４】ＭＰ４ファイル４０１の構造の概要を示す図である。
【図５】撮像された動画データのある特定の瞬間の画像であるフレームと、その画像のフレームに重ね合わされたマーカ情報を視覚化した状態を示すフレームとマーカの模式図である。
【図６】画像フレーム（Ｍ）５０２とマーカ情報の関係を示す図である。
【図７】撮像ユニットを用いた被写体の撮像から動画データを出力するまでの流れを説明する図である。
【図８】マーカ情報が記録済みの動画データを再生する処理の流れを説明する図である。
【図９】動画像データに基づく表示例を示す図である。
【図１０】（ａ）は、表示ユニット１０５に表示される選択されたフレームを例示的に示す図であり、（ｂ）は、入力ユニットを用いて、マウス・カーソル１００２を画面上の所望の位置に移動させた状態を示す図である。
【図１１】本発明の第２実施形態に係る動画像処理装置の構成を示す機能ブロック図である。
【図１２】第３実施形態に係る画像処理装置の機能構成を示すブロック図である。
【特許請求の範囲】
【請求項１】
撮像手段で撮像された動画データと、前記動画データを構成する各画像フレームに関連付けられた前記撮像手段の撮像情報と、を取得する取得手段と、
マーカ表示を表示制御するためのマーカ情報を、前記動画データのうちの指定された画像フレームに関連付けて前記動画データに付加する付加手段と、
を備えることを特徴とする動画像処理装置。
【請求項２】
前記動画データと前記撮像情報及び前記マーカ情報とに基づいて、前記マーカ表示された動画像を再生する再生手段を備えることを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
前記撮像情報には、前記撮像手段の回転角、画角、撮像時刻に関する情報のいずれかの情報が含まれ、
前記マーカ情報には、前記マーカ表示の位置が指定されたときの前記撮像手段の回転角と画角のいずれかの情報が含まれることを特徴とする請求項１に記載の動画像処理装置。
【請求項４】
前記再生手段は、前記指定された画像フレームのサイズを変更する場合、前記撮像情報に基づいて、前記マーカ表示のサイズを変更して表示することを特徴とする請求項３に記載の動画像処理装置。
【請求項５】
前記再生手段は、前記撮像情報に含まれる画角の情報に基づき前記マーカ表示のサイズを変更することを特徴とする請求項４に記載の動画像処理装置。
【請求項６】
撮像手段で撮像された動画データと、前記動画データを構成する各画像フレームに関連付けられた前記撮像手段の撮像情報と、を取得する取得工程と、
マーカ表示を表示制御するためのマーカ情報を、前記動画データのうちの指定された画像フレームに関連付けて前記動画データに付加する付加工程と、
を備えることを特徴とする動画像処理方法。
【請求項７】
請求項６に記載の動画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを格納したことを特徴とするコンピュータ可読の記憶媒体。
【請求項１】
撮像手段で撮像された動画データと、前記動画データを構成する各画像フレームに関連付けられた前記撮像手段の撮像情報と、を取得する取得手段と、
マーカ表示を表示制御するためのマーカ情報を、前記動画データのうちの指定された画像フレームに関連付けて前記動画データに付加する付加手段と、
を備えることを特徴とする動画像処理装置。
【請求項２】
前記動画データと前記撮像情報及び前記マーカ情報とに基づいて、前記マーカ表示された動画像を再生する再生手段を備えることを特徴とする請求項１に記載の動画像処理装置。
【請求項３】
前記撮像情報には、前記撮像手段の回転角、画角、撮像時刻に関する情報のいずれかの情報が含まれ、
前記マーカ情報には、前記マーカ表示の位置が指定されたときの前記撮像手段の回転角と画角のいずれかの情報が含まれることを特徴とする請求項１に記載の動画像処理装置。
【請求項４】
前記再生手段は、前記指定された画像フレームのサイズを変更する場合、前記撮像情報に基づいて、前記マーカ表示のサイズを変更して表示することを特徴とする請求項３に記載の動画像処理装置。
【請求項５】
前記再生手段は、前記撮像情報に含まれる画角の情報に基づき前記マーカ表示のサイズを変更することを特徴とする請求項４に記載の動画像処理装置。
【請求項６】
撮像手段で撮像された動画データと、前記動画データを構成する各画像フレームに関連付けられた前記撮像手段の撮像情報と、を取得する取得工程と、
マーカ表示を表示制御するためのマーカ情報を、前記動画データのうちの指定された画像フレームに関連付けて前記動画データに付加する付加工程と、
を備えることを特徴とする動画像処理方法。
【請求項７】
請求項６に記載の動画像処理方法をコンピュータに実行させることを特徴とするプログラム。
【請求項８】
請求項７に記載のプログラムを格納したことを特徴とするコンピュータ可読の記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００７−３００５５６（Ｐ２００７−３００５５６Ａ）
【公開日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願番号】特願２００６−１２８５８０（Ｐ２００６−１２８５８０）
【出願日】平成１８年５月２日（２００６．５．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成１９年１１月１５日（２００７．１１．１５）
【国際特許分類】
【出願日】平成１８年５月２日（２００６．５．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]