動画像被写体運動表示装置および動画像被写体運動表示用プログラム
【課題】映像中において回転等を含む人体や物体の動きを表現する矢印形状の付加情報を生成し，映像に合成して表示することにより，人体や物体の動きをわかりやすくする。
【解決手段】動物体領域抽出部２０は，映像中で動く動物体（被写体）の領域を抽出する。動物体運動抽出部３０は，領域の形状変化の有無および領域内の特徴点の軌跡により，動物体の重心の並進運動と，動物体の回転運動の有無および回転の軸を推定する。矢印形状決定部５０は，運動の移動量または変化量に対応する形状／大きさを持つ矢印形状の付加情報を生成し，それをもとに，矢印形状合成部６０は，被写体の像に重畳して，並進や回転の動きを示す矢印の表示データを生成する。
【解決手段】動物体領域抽出部２０は，映像中で動く動物体（被写体）の領域を抽出する。動物体運動抽出部３０は，領域の形状変化の有無および領域内の特徴点の軌跡により，動物体の重心の並進運動と，動物体の回転運動の有無および回転の軸を推定する。矢印形状決定部５０は，運動の移動量または変化量に対応する形状／大きさを持つ矢印形状の付加情報を生成し，それをもとに，矢印形状合成部６０は，被写体の像に重畳して，並進や回転の動きを示す矢印の表示データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，動画像を用いてスポーツや技術など，人間や物体の動きをわかりやすく伝えるための動画像表示に関するものである。
【背景技術】
【０００２】
従来，動画像に撮影された被写体の運動，あるいは，コンピュータグラフィックス（ＣＧ）により生成されたアニメーションにおけるキャラクターや物体等の運動に対し，矢印状の補助情報を合成することによってその運動をよりわかりやすく表現する技術が知られている。
【０００３】
例えば，特許文献１に記載されている画像変換装置においては，あらかじめ作成された３次元ＣＧアニメーションにおいて，ある指定した３次元ＣＧを構成する仮想的な３次元空間内のある仮想的な物体上の点の，２次元に投影した軌跡を結ぶ矢印を生成し，前記３次元ＣＧアニメーションを２次元動画像として表示する際に，前記矢印を３次元ＣＧアニメーションに重畳して表示する技術が記載されている。この技術は，物体の運動（アニメーション）があらかじめ作成されており，運動自体が既知でなければならない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２１５８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決する課題は，あらかじめ運動が既知ではない動画像中の被写体の運動に対し，その運動の量や方向を動画像中の被写体の像を解析することで抽出し，前記運動を矢印形状の補助情報で表現し，前記被写体の像と合成することであり，特に，撮像面に対し平行な回転軸の周りの運動に対し，矢印情報を付加することである。
【０００６】
すなわち，本発明は，映像中において，回転等を含む人体や物体の動きを解析し，それを表現する矢印形状の付加情報を生成し，その映像に合成して表示することにより，被写体の運動をわかりやすく表示できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は，前記課題を解決するために，映像中の被写体の運動を剛体運動の組み合わせと仮定し，その剛体運動を行う被写体の領域を抽出し，領域の形状変化の有無および領域内の特徴点の軌跡により，当該剛体の重心の並進運動と，当該剛体の回転運動の有無および回転の軸を推定し，運動の移動量または変化量に対応する形状／大きさを持つ矢印形状の付加情報を生成し，該剛体運動を行う被写体の像に重畳して表示する。また，必要に応じて付加情報が，当該被写体によって隠蔽されるように表示する。
【０００８】
具体的には，本発明は，動画像に撮影された物体の像の運動を矢印形状の補助情報で表現して，動画像の一部または全部の画像に合成して表示するにあたって，処理対象の動画像に撮影された物体の領域を抽出し，その領域の変化から動画像に撮影された物体の像における重心位置の並進運動および当該物体の像を通る回転軸の周りの回転運動を抽出し，選出された代表画像に対する前記抽出された物体の並進運動または回転運動を表す補助情報の矢印形状を決定して，代表画像に矢印形状を合成した合成画像を生成し，それを表示または出力することを特徴とする。これにより，軸周りの回転を含む被写体の運動を一目で把握できるようになる。
【０００９】
また，本発明の別の形態は，上記発明において，前記物体の回転運動の抽出では，回転運動を，当該物体の像の形状の変化の有無により，当該物体の重心位置を通り，撮像面に垂直な回転軸の周りの回転と，当該物体の像を通り，撮像面に平行な回転軸の周りの回転とに分解し，当該物体の像の輪郭を形成する画素の位置または内部に含まれる特徴点の軌跡により，回転の量を算出することを特徴とする。これにより，回転運動の方向や量の把握が容易な合成画像の表示が可能になる。
【００１０】
さらに，本発明の別の形態は，上記発明において，前記矢印形状の合成では，矢印形状の表側を構成する画素に第１の表示優先度を付与し，動画像中の前記抽出された物体の領域を構成する画素に第２の表示優先度を付与し，矢印形状の裏側を構成する画素に第３の表示優先度を付与し，動画像中の前記抽出された物体の領域以外の画素に第４の表示優先度を付与することを行い，これらの画素を重ね合わせて表示する際に，第１の表示優先度を有する画素，第２の表示優先度を有する画素，第３の表示優先度を有する画素，第４の表示優先度を有する画素の順に優先して表示される合成画像を生成することを特徴とする。これにより，立体的な見やすい矢印形状の表示が可能になる。
【００１１】
また，本発明の別の形態は，上記発明において，前記矢印形状の表側を構成する画素もしくは前記矢印形状の裏側を構成する画素，またはその双方に対して，ユーザからの入力またはあらかじめ設定された所定の透過率に従って，選出された代表画像に前記矢印形状を合成することを特徴とする。これにより，動画像中の被写体の像を矢印形状の表示によって完全に隠してしまうことのない表示が可能になる。
【発明の効果】
【００１２】
本発明の効果は以下の通りである。動画像または静止画を表示する際に，軸周りの回転を含む運動の方向や量を一目で把握できるようになる。矢印の形状により，速度や力の概要も把握できる。スローモーション再生の際にも矢印を重畳することで次の動きが把握できる。印刷する際も，印刷結果から内容が把握しやすくなる。
【図面の簡単な説明】
【００１３】
【図１】動画像被写体運動表示装置の構成例を示す図である。
【図２】全体の処理の流れを示すフローチャートである。
【図３】動物体運動抽出部の処理内容を示すフローチャートである。
【図４】矢印形状決定部の処理内容を示すフローチャートである。
【図５】処理対象動画像の例を示す図である。
【図６】回転運動の不定性を説明する図である。
【図７】動物体の運動例１を示す図である。
【図８】動物体の運動例２を示す図である。
【図９】並進運動と第一の回転運動を近似する矢印を示す図である。
【図１０】矢印形状の例を示す図である。
【図１１】矢印形状の合成例を示す図である。
【図１２】矢印形状の配置例を示す図である。
【図１３】矢印を合成した出力画像の例を示す図である。
【発明を実施するための形態】
【００１４】
以下，図面を用いて本発明の実施形態を詳細に説明する。なお，ここでは被写体または被写体を構成する各部位の運動は剛体運動であり，被写体または被写体を構成する各部位の実際の形状の変化はないと仮定する。被写体が運動することにより，撮影された動画像においてみかけの位置や形状が変化する。本発明は，みかけの位置や形状の変化から，被写体の運動および運動量を表現する矢印形状を生成して合成することを基本とする。
【００１５】
一般に，動画像に撮影された被写体の運動を剛体運動あるいはその組み合わせとみなし，その運動を解析することは従来から行われている（例えば，参考文献１参照）。
【００１６】
〔参考文献１〕：田村秀之編著，「コンピュータ画像処理」，オーム社出版局，２００２年１２月発行，P.242--247「7.5 時系列画像からの動きの抽出」，P.248--250「7.6 動きからの３次元形状復元」。
【００１７】
本発明は，このような被写体の運動を解析することを主目的とするものではなく，被写体の運動を解析した結果を用いて，特に例えば後述の「Ｒ２」のような，被写体の撮像面に平行な回転軸周りの回転を矢印で表現する手段を提供することにより，被写体の運動をわかりやすく表示することを主要な目的としている。
【００１８】
図１は，以上の課題を解決するための動画像被写体運動表示装置の構成例を示す図である。動画像被写体運動表示装置１は，ＣＰＵおよびメモリ等によって構成され，動画像に撮影された物体の像の運動を矢印形状の補助情報で表し，動画像の一部または全部の画像に矢印形状の補助情報を合成して表示する処理を実行する。
【００１９】
このため，動画像被写体運動表示装置１は，動画像を読み込み記憶する動画像記憶部１０と，動画像に撮影された物体の領域を抽出する動物体領域抽出部２０と，動画像に撮影された物体の像における重心位置の並進運動およびその物体の像を通る回転軸周りの回転運動を抽出する動物体運動抽出部３０と，動画像中から物体の並進運動または回転を表現する矢印形状の補助情報を合成する画像を選出する合成画像選出部４０と，抽出された物体の空間移動または回転を表す補助情報の矢印の形状を決定する矢印形状決定部５０と，選出した画像に矢印形状を合成する矢印形状合成部６０と，合成された画像を表示または出力する合成画像出力部７０とを備える。
【００２０】
本実施形態の場合，動物体運動抽出部３０は，動物体領域特徴算出部３１と，動物体領域特徴評価部３２と，並進運動抽出部３３と，第一回転運動抽出部３４と，第二回転運動抽出部３５とを有し，矢印形状決定部５０は，並進運動矢印形状生成部５１と，回転運動矢印形状生成部５２とを有し，矢印形状合成部６０は，画素優先度決定部６１と，画素透過率設定部６２とを有している。
【００２１】
動物体運動抽出部３０における動物体領域特徴算出部３１は，動物体領域抽出部２０が抽出した動物体領域の形状等の特徴量を算出する。動物体領域特徴評価部３２は，複数のフレームにわたる動物体領域の特徴量を評価し，形状等の変化を検出する。並進運動抽出部３３は，動物体領域の重心移動量を計算し，物体の並進運動を抽出する。第一回転運動抽出部３４は，物体の像の形状の変化の有無により，物体の重心位置を通り，撮像面に垂直な回転軸の周りの回転を抽出し，その回転量を算出する。第二回転運動抽出部３５は，物体の像を通り，撮像面に平行な回転軸の周りの回転を抽出し，その回転の量を算出する。回転量は，例えば物体の像の輪郭を形成する画素の位置または物体の像の内部に含まれる特徴点の軌跡により算出する。
【００２２】
矢印形状決定部５０における並進運動矢印形状生成部５１は，並進運動抽出部３３が抽出した並進運動を示す矢印の形状を生成し，回転運動矢印形状生成部５２は，第一回転運動抽出部３４と第二回転運動抽出部３５とが抽出した回転運動を示す矢印の形状を生成する。
【００２３】
矢印形状合成部６０における画素優先度決定部６１は，矢印形状の表側を構成する画素に第１の表示優先度を付与し，動画像中の動物体領域を構成する画素に第２の表示優先度を付与し，矢印形状の裏側を構成する画素に第３の表示優先度を付与し，動画像中の動物体領域以外の画素に第４の表示優先度を付与する。矢印形状合成部６０は，これらの画素を重ね合わせて表示する際に，第１の表示優先度を有する画素，第２の表示優先度を有する画素，第３の表示優先度を有する画素，第４の表示優先度を有する画素の順に優先して表示されるように画像を合成する。
【００２４】
また，矢印形状合成部６０の画素透過率設定部６２は，矢印形状の表側を構成する第１の表示優先度を有する画素と，矢印形状の裏側を構成する第３の表示優先度を有する画素に対して，所定の透過率を指定する。
【００２５】
以下，動画像被写体運動表示装置１の各部による具体的な処理の詳細を説明する。図２は，動画像被写体運動表示装置１の全体の処理の流れを示すフローチャート，図３は，動物体運動抽出部３０の処理内容を示すフローチャート，図４は，矢印形状決定部５０の処理内容を示すフローチャートである。
【００２６】
まず，動画像記憶部１０において，動画像を連続する静止画像としてメモリ上に記憶する（ステップＳ１０）。前記静止画像をフレーム画像，あるいは単にフレーム，あるいは単に画像と呼ぶことにする。記憶された動画像のうち，以下の各部における処理対象となるのは，フレームが撮影時刻順に順序づけられているとして，初期フレームから最終フレームまでのすべてでもよいし，所定の２枚のフレームの間にあるフレームでもよいし，あるいは任意の複数のフレームを選択してもよい。ここでは，連続するＮ枚のフレームについて処理するものとして説明する。
【００２７】
次に，動物体領域抽出部２０において，前記選択したフレーム画像中の，運動する被写体の像の領域を抽出する（ステップＳ２０）。以下，説明を簡単にするため，運動する被写体は１つであると仮定する。動物体領域抽出部２０において運動する被写体を複数の剛体の運動に分解できる場合には，以下の処理を分解されたすべての剛体に対して適用すればよい。
【００２８】
さて，固定カメラによる撮影であれば，ノイズや誤差を除き，連続する，あるいは所定の間隔の２枚のフレーム画像間で変化のない画素を除外することにより，前記２枚のフレームに該当する時刻間で運動した物体を抽出できる。
【００２９】
また，カメラが移動していたとしても，連続する，あるいは所定の間隔の２枚のフレーム画像１とフレーム画像２の間で，例えば，フレーム画像１のすべての画素を横方向にｘ画素，縦方向にｙ画素ずらしてフレーム画像１′を生成し，フレーム画像１′とフレーム画像２との同じ位置にある画素の輝度情報の差の２乗を計算し，その全画素または所定の領域内にわたる合計値が最も小さくなるようなｘ０およびｙ０を探索し，フレーム画像１のすべての画素をｘ０およびｙ０だけずらしたフレーム画像１′と，フレーム画像２とで変化のない画素を除外することにより，前記２枚のフレームに該当する時刻間で運動する物体を抽出できる。
【００３０】
また，前記ｘ０，ｙ０は運動がない背景に該当する画素のオプティカルフローであるとみなせるので，抽出した運動物体の像を構成する各画素の，カメラの移動による影響を除外したフレーム画像間での移動量は，画素単位で，当該物体の像の領域の変化量（例えば前記領域内のオプティカルフロー）から，前記ｘ０，ｙ０を減ずればよい。
【００３１】
以上の例以外にも，カメラ移動や，パン／ズーム／チルトやカメラの光軸周りの回転など，カメラの運動の影響を除外し，運動する被写体の像を抽出する技術は広く知られており，どのような手法を用いてもかまわない。
【００３２】
このようにして，ステップＳ２０では，対象とするＮ枚の各フレームに対して，背景やカメラの影響を除去する処理（ステップＳ２０１）と，フレーム画像中の運動する被写体の像の領域を抽出する処理（ステップＳ２０２）を繰り返すことにより，動物体の領域を抽出する。
【００３３】
次に，動物体運動抽出部３０において，前記被写体の像の，対象とするフレームのうち，連続する２枚のフレームｋ−１，ｋ間の移動量を抽出する（ステップＳ３０）。このステップＳ３０では，連続する各フレームｋ−１，ｋ（ｋ＝２，３，…，Ｎ）について，図３に示すステップＳ３０１〜Ｓ３１５の動物体運動抽出処理を繰り返す。
【００３４】
図５に，処理対象の動画像の開始画像と終了画像の例を示す。本図の例では，図５（Ａ）の開始画像から，直方体状の物体が運動して，図５（Ｂ）の終了画像のようになっている。このとき，直方体全体が移動し，さらに，面ａが向きを変化させており，当該直方体が，面ａに平行な回転軸の周りに回転していることを示している。このような場合，図６に示すように，回転運動の抽出に不定性が生じることがある。
【００３５】
図６は，図５の被写体を，物体の上側から見た図である。図６（Ａ）では前記回転軸が物体内部にあり，物体は重心位置を変えず向きのみを変えているが，図６（Ｂ）では前記回転軸が物体外部にあり，物体は重心位置と向きを変えている。図５の運動は，物体の鉛直線に対する傾きを無視すれば，図６（Ａ）の回転と，重心位置の平行移動との組み合わせであるとも解釈できるし，図６（Ｂ）の回転のみであると解釈することもできる。
【００３６】
この不定性を除外するため，本実施形態では，物体の運動が回転を含む場合，回転の軸はすべて物体を通ると仮定する。図６の例では，図６（Ａ）のほうの回転軸が物体内にある回転と重心の平行移動の組み合わせを採用する。
【００３７】
この仮定のもとに，物体の像の運動から，物体の像の重心の並進Ｔと，物体の像の重心を通り，撮像面に垂直な回転軸の周りの第一の回転Ｒ１と，物体の像を通り，撮像面に平行な回転軸の周りの第二の回転Ｒ２とを抽出する。
【００３８】
まず，動物体領域特徴算出部３１において，フレームｋ−１における動物体領域Ｍ１およびフレームｋにおける動物体領域Ｍ２について，それぞれ，カメラの撮影状況の影響を除外した後の相対的な位置，方向，および領域形状の特徴量を算出する（ステップＳ３０１）。以下，特に記さない限り，Ｍ１およびＭ２間の運動は，カメラの撮影状況の影響を除外した後の運動を表すものとする。
【００３９】
画像内の領域形状の特徴として，例えば参考文献２に記載されているように，画素数（面積），周囲長，凸包の形状，モーメント特徴，領域内の任意の２画素間の最大距離と最小距離の比率などがある。
【００４０】
〔参考文献２〕：田村秀之編著，「コンピュータ画像処理」，オーム社出版局，２００２年１２月発行，P.167--170「5.6.1 図形の形状特徴」。
【００４１】
動画像においては，例えばカメラのズームなど，被写体の像が互いに相似な形状を保ったまま，大きさの比率のみ変化することもあり得るため，動物体領域抽出部２０において，カメラの撮影状況の変動の影響を除外しているのであるが，画素数と領域内の任意の２画素間の最大距離と最小距離の比率のように，複数の特徴を用いるとよい。また，例えば，動物体領域Ｍ１およびＭ２ともに，重心から輪郭までの距離が一定であるような形状，すなわち，所定の誤差の範囲内で円で近似できる形状である場合には，Ｍ１およびＭ２に円であるというフラグを付与する（ステップＳ３０２）。
【００４２】
次に，動物体領域特徴評価部３２において，フレームｋ−１とフレームｋの動物体領域に形状変化があるかどうかを判定する（ステップＳ３０３）。すなわち，フレームｋ−１中の動物体領域Ｍ１とフレームｋ中の動物体領域Ｍ２との特徴を比較し，その差が所定の閾値より小さければ形状は変化していないとみなし，そうでなければ変化があるとみなす。複数の特徴を比較する際には，例えば各特徴の差の２乗を重み付けして合計し，その値で評価してもよい。
【００４３】
図７（Ａ）は形状変化がないと判定された物体の運動の例を示しており，図８（Ａ）は形状変化があると判定された物体の運動の例を示している。
【００４４】
次に，並進運動抽出部３３において，前記Ｍ１とＭ２の画像における重心の移動量を計算する（ステップＳ３０４）。この計算は，Ｍ２の重心位置座標からＭ１の重心位置座標を引けばよい。移動量の単位は適宜決めてもよいが，画素数を用いるのが処理が容易である。この結果，並進Ｔは２次元のベクトルとなる。
【００４５】
次に，形状変化があるかどうか，形状が円であるかどうかを判定し（ステップＳ３０５，Ｓ３０６），形状変化があるかまたは形状が円の場合には，ステップＳ３０７へ進み，第一回転運動抽出部３４において，回転運動Ｒ１を計算する。形状変化がなく，かつ形状が円でない場合には，回転運動Ｒ２の抽出のため，ステップＳ３１２へ進む。
【００４６】
回転運動Ｒ１を計算する場合，第一回転運動抽出部３４では，Ｍ１とＭ２の重心が一致するようにＭ１を移動させる（ステップＳ３０７）。次に，Ｍ１，Ｍ２が円かどうかをステップＳ３０２で付与したフラグで判定し（ステップＳ３０８），円でない場合，輪郭を形成する画素の回転量を算出する（ステップＳ３０９）。円の場合には，円領域内のオプティカルフローを計算する（ステップＳ３１０）。ステップＳ３０９，Ｓ３１０の結果から第一の回転量Ｒ１を算出する（ステップＳ３１１）。
【００４７】
この第一の回転運動抽出処理をさらに詳しく説明すると，以下の通りである。形状変化がないと判定された物体については，Ｍ１とＭ２の重心が一致するように並進運動を行い，Ｍ１とＭ２のそれぞれの形状の輪郭を形成するすべての画素の位置が所定の誤差の範囲内で一致するようであれば，Ｒ１成分は「なし」と判定し，第二回転運動抽出部３５の処理に進む。ここで所定の誤差の範囲内で一致するかどうかは，例えば，輪郭を形成する画素の形状において，頂点やコーナー，最も重心から遠い位置にある輪郭位置など，ある形状上の特徴をもつ画素の位置を起点として，それ以外の輪郭を形成する画素の位置の，Ｍ１とＭ２におけるずれが，所定の閾値よりも小さいかどうかを判定することによって求めることができる。
【００４８】
前記Ｍ１とＭ２のそれぞれの輪郭を形成する画素の位置が所定の誤差の範囲内で一致しない場合には，重心の周りにＭ２を回転させ，前記Ｍ１と輪郭の画素位置が所定の誤差の範囲内で一致した時点で，その回転角度をＲ１の運動の量とみなす。
【００４９】
なお，Ｍ１およびＭ２に対し，円であるというフラグが付与されていた場合には，前記の輪郭画素の位置の一致／不一致によって評価できないため，Ｍ１およびＭ２の重心が一致するように並進運動を行った後，Ｍ１およびＭ２内の特徴点，あるいは画素の対応点の移動を算出し，前記対応点の移動のオプティカルフローが重心の周りに回転するように分布するようであれば，前記オプティカルフローから，当該特徴点あるいは画素の重心に対する回転角度を求め，Ｒ１の回転の量を算出し，前記オプティカルフローが重心の周りに回転するように分布しない場合には，Ｒ１成分は「なし」と判定し，第二回転運動抽出部３５の処理（ステップＳ３１２）に進む。
【００５０】
Ｒ１は前記の通り，回転角度として記憶してもよいし，重心から最も遠い位置にある輪郭上の画素の移動量で記憶してもよい。
【００５１】
次に，第二回転運動抽出部３５において，Ｍ１およびＭ２の重心位置が一致するように並進運動を行った後，Ｍ１およびＭ２内の特徴点，あるいは画素の対応点の移動のオプティカルフローを算出し（ステップＳ３１２），最も支配的な移動方向を計算する（ステップＳ３１３）。ここで支配的な移動方向とは，所定の誤差の範囲内で，その方向を向いたオプティカルフローが最も多いような方向であり，例えば，前記オプティカルフローの平均方向を求めてもよい。
【００５２】
次に，支配的な移動方向に垂直で，Ｍ１の重心を通り撮像面に平行な軸を，Ｒ２の回転軸と定め（ステップＳ３１４），Ｒ２の回転量を，支配的な移動方向を向くオプティカルフローのうち，最も大きさが大きいものの長さと定める（ステップＳ３１５）。この回転量を長さで表すときは前記の通りとし，回転角度で表すときは，前記長さを，前記Ｒ２の回転軸からＭ１の輪郭を形成する画素のうち最も遠い距離にある画素までの距離Ｈで割った値とする。
【００５３】
以上により，動物体の像の運動が抽出できたが，動画像に撮影された物体の運動を剛体運動とみなし，その運動を抽出する処理は画像処理分野で従来から行われているので，上記の手段の中で述べた処理手順を必ずしも用いなくてもよく，画素単位での並進Ｔ，回転Ｒ１，回転Ｒ２が算出されればよい。以上は，処理対象となる動画像の開始から終了まで実施される。
【００５４】
次に，合成画像選出部４０において，動画像のどのフレーム画像に矢印形状を合成するかの選択を受け入れる（ステップＳ４０）。フレームは複数選択してもよい。この合成画像の選択は，この例では，ユーザからの指定情報を入力して決めるようにしているが，並進Ｔ，回転Ｒ１，回転Ｒ２の量や動きの速度などによって，あるいはフレームの時刻などによって，あらかじめ定められた条件により自動的に選択するようにしてもよい。
【００５５】
次に，矢印形状決定部５０において，合成する矢印形状を生成する（ステップＳ５０）。このステップＳ５０では，ステップＳ４０で選択された各フレームｍ（ｍ＝１，２，…，Ｍ；ただし，Ｍ≦Ｎ）について，図４に示すステップＳ５０１〜Ｓ５１０の矢印形状決定処理を繰り返す。
【００５６】
まず，並進運動矢印形状生成部５１において，処理対象の開始フレームから終了フレームまでの指定を受け入れ（ステップＳ５０１），また，必要に応じて矢印の幅，色，先端形状の指定を受け入れ（ステップＳ５０２），さらに矢印の表示位置を定める距離ｄの指定を受け入れ（ステップＳ５０３），最大移動画素を抽出して（ステップＳ５０４），処理対象の開始フレームから終了フレームまでの，重心移動量Ｔおよび第一の回転運動量Ｒ１とを組み合わせた移動量を近似した矢印形状を生成する（ステップＳ５０５）。
【００５７】
詳しくは，図９に示すように，動物体の像の重心位置と，当該動物体の像内または当該動物体を形成する輪郭上の画素において，最も移動量が大きい画素の位置を抽出し，重心位置と最も移動量が大きい画素とを結ぶ距離をＤとするときに，重心から見て前記最も移動量が大きい画素よりもさらに距離ｄの位置を算出し，前記位置の開始フレームにおける位置と終了フレームにおける位置とを結ぶベクトルを生成する。このベクトルの計算において，動物体運動抽出部３０において連続する各フレームにおいて算出された重心移動量と第一の回転量とを記憶しておき，処理対象の開始フレームから終了フレームまでの前記重心移動量と第一の回転量とを加算すると効率的である。
【００５８】
なお，ステップＳ５０１における処理対象の開始フレームから終了フレームまでの指定の受け入れは，フレームｍに対して，どのフレームからどのフレームまでの動きを示す矢印を表示するかの指定を入力するものであるが，フレームｍの前後にわたるあらかじめ定められた枚数のフレームを処理対象として自動的に選択してもよい。また，前記距離ｄならびに近似する矢印の幅や先端部の形状，色は，ユーザからの指定を受け入れるものとして説明したが，これについてもあらかじめ所定の値を設定しておいてもよい。次に処理を行う回転運動矢印についても同様である。
【００５９】
次に，回転運動矢印形状生成部５２において，Ｒ２の運動を表す矢印形状を生成する（ステップＳ５０６〜Ｓ５１０）。図１０（Ａ）に示すように，合成処理を行う対象のフレームにおいて，動物体領域の撮像面に平行な回転軸を中心軸とし，半径Ｌが，動物体領域の形状の，回転軸から最も遠い距離にある輪郭画素位置までの長さＨよりも大きい円筒を仮想的に生成する。このＨとＬとの比率は，あらかじめ所定の値を設定しておいてもよいし，ユーザからの指定を受け入れてもよい。円筒の高さＷは，適宜，ユーザが決定してよいが，例えば前記動物体が完全に隠れないように，動物体領域の回転軸方向の長さの１０％というように，あらかじめ指定してもよい。また，必要に応じて，後述するＬｓ／ＬｅのＬに対する割合を受け入れる（ステップＳ５０６）。さらに，前述したステップＳ５０２と同様に，矢印の幅，色，先端形状の指定を受け入れる（ステップＳ５０７）。
【００６０】
続いて，仮想的に生成した円筒の一部を切断する。図１０（Ｂ）は，動物体領域が撮像面に平行な平面上にあると仮定し，それを上側から見た図である。図の点線で描かれた円は図１０（Ａ）の円筒を表している。この動物体領域の第二の回転量Ｒ２（角度）の，開始フレームから終了フレームまでの合計値（角度）θを求め（ステップＳ５０８），図１０（Ｂ）に示すように，動物体が含まれると仮定した平面を軸として，上下対象となるようにθの開始方向と終了方向を決定する。開始方向に，Ｌよりも所定の割合だけ大きいＬｓの距離に延長した位置Ｓを矢印の開始点，終了方向に，Ｌよりも所定の割合だけ大きいＬｅの距離に延長した位置Ｅを矢印の終了点としてもよい（ステップＳ５０９）。
【００６１】
次に，図１０（Ｃ）に示すように，前記始点Ｓと終点Ｅから前記円筒を表す円周に引いた接線との交点Ｑｓ，Ｑｅを求め（接線は，Ｌｓからは物体回転の方向に向かって引き，Ｌｅからは物体回転の逆方向に向かって引く），始点Ｓ→弧ＱｓＱｅ→終点Ｅとなる形状を矢印の（上から見た）形状とする（ステップＳ５１０）。
【００６２】
次に，矢印形状合成部６０において，前記生成された矢印形状を，合成画像選出部４０において選出された画像に合成する（ステップＳ６０）。このステップＳ６０では，ステップ４０で選出された矢印を合成するＭ枚の各代表画像ｍ（ｍ＝１，２，…，Ｍ）について，ステップＳ６０１〜Ｓ６０４の矢印形状合成処理を繰り返す。
【００６３】
この矢印形状合成処理では，特に第二の回転運動に対する矢印形状を合成する際，画素優先度決定部６１において，図１１に示すように，矢印形状の表側を構成する画素に第１の表示優先度を付与し，動画像中の当該被写体領域を構成する画素に第２の表示優先度を付与し，矢印形状の裏側を構成する画素に第３の表示優先度を付与し，動画像中の当該被写体領域以外の画素に第４の表示優先度を付与し，これらの画素を重ね合わせて表示する際に，第１の表示優先度を有する画素，第２の表示優先度を有する画素，第３の表示優先度を有する画素，第４の表示優先度を有する画素の順に優先して合成する。
【００６４】
次に，画素透過率設定部６２において，第１の表示優先度を有する画素，第３の表示優先度を有する画素に対し，画素を合成する際の透過率の指定を受け入れ，その透過率に従って矢印形状の画素と，当該画素位置にある第１あるいは第３の表示優先度を有する画素を合成する。透過率は，ユーザが適宜決定してもよいが，例えば，透過率７５％などとあらかじめ所定の値を決定しておいてもよい。
【００６５】
図９に示したようなＴとＲ１を近似する矢印については，「裏側」が存在しないため，第４の優先度がないものとして処理を進めてもよい。
【００６６】
また，Ｒ２を近似する矢印形状を合成する際には，回転運動矢印形状生成部５２において生成した矢印形状を，例えば適当な射影行列のもとに合成対象の画像に射影した２次元図形と合成してもよいし，あるいは，回転運動矢印形状生成部５２において生成した矢印形状を，平行投影した２次元図形として合成してもよい。この矢印形状の位置を，運動物体のどの位置に配置するかについては，ユーザの指定を受け入れてもよいし，当該物体の重心位置の両側に「裏側」と「表側」が配置されるようにしてもよい。その際，図１２に示すように，例えば矢印形状の「表側」と「裏側」について，画像の中心に近い方に「裏側」を，遠い方に「表側」が配置されるようにしてもよい。
【００６７】
また，ＴとＲ１を近似する矢印およびＲ２を近似する矢印については，どちらか片方のみ合成してもよいし，両方合成してもよい。
【００６８】
次に，合成画像出力部７０において，矢印形状合成部６０において合成した結果画像を出力する（ステップＳ７０）。
【００６９】
なお，本明細書では単一の剛体の運動について記載しているが，複数の（互いに接続していない）剛体についても，それぞれの像に対して以上説明した実施例を適用することにより，同様の処理を実施すればよい。
【００７０】
また，複数の物体が接続されており，それぞれの物体が運動している場合において，それぞれの物体が持つ剛体運動に分解できる場合には，それぞれの物体の像に対し，本実施例を適用することにより処理することができる。
【００７１】
以上の動画像被写体運動表示処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【符号の説明】
【００７２】
１ 動画像被写体運動表示装置
１０ 動画像記憶部
２０ 動物体領域抽出部
３０ 動物体運動抽出部
３１ 動物体領域特徴算出部
３２ 動物体領域特徴評価部
３３ 並進運動抽出部
３４ 第一回転運動抽出部
３５ 第二回転運動抽出部
４０ 合成画像選出部
５０ 矢印形状決定部
５１ 並進運動矢印形状生成部
５２ 回転運動矢印形状生成部
６０ 矢印形状合成部
６１ 画素優先度決定部
６２ 画素透過率設定部
７０ 合成画像出力部
【技術分野】
【０００１】
本発明は，動画像を用いてスポーツや技術など，人間や物体の動きをわかりやすく伝えるための動画像表示に関するものである。
【背景技術】
【０００２】
従来，動画像に撮影された被写体の運動，あるいは，コンピュータグラフィックス（ＣＧ）により生成されたアニメーションにおけるキャラクターや物体等の運動に対し，矢印状の補助情報を合成することによってその運動をよりわかりやすく表現する技術が知られている。
【０００３】
例えば，特許文献１に記載されている画像変換装置においては，あらかじめ作成された３次元ＣＧアニメーションにおいて，ある指定した３次元ＣＧを構成する仮想的な３次元空間内のある仮想的な物体上の点の，２次元に投影した軌跡を結ぶ矢印を生成し，前記３次元ＣＧアニメーションを２次元動画像として表示する際に，前記矢印を３次元ＣＧアニメーションに重畳して表示する技術が記載されている。この技術は，物体の運動（アニメーション）があらかじめ作成されており，運動自体が既知でなければならない。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−２１５８１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決する課題は，あらかじめ運動が既知ではない動画像中の被写体の運動に対し，その運動の量や方向を動画像中の被写体の像を解析することで抽出し，前記運動を矢印形状の補助情報で表現し，前記被写体の像と合成することであり，特に，撮像面に対し平行な回転軸の周りの運動に対し，矢印情報を付加することである。
【０００６】
すなわち，本発明は，映像中において，回転等を含む人体や物体の動きを解析し，それを表現する矢印形状の付加情報を生成し，その映像に合成して表示することにより，被写体の運動をわかりやすく表示できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明は，前記課題を解決するために，映像中の被写体の運動を剛体運動の組み合わせと仮定し，その剛体運動を行う被写体の領域を抽出し，領域の形状変化の有無および領域内の特徴点の軌跡により，当該剛体の重心の並進運動と，当該剛体の回転運動の有無および回転の軸を推定し，運動の移動量または変化量に対応する形状／大きさを持つ矢印形状の付加情報を生成し，該剛体運動を行う被写体の像に重畳して表示する。また，必要に応じて付加情報が，当該被写体によって隠蔽されるように表示する。
【０００８】
具体的には，本発明は，動画像に撮影された物体の像の運動を矢印形状の補助情報で表現して，動画像の一部または全部の画像に合成して表示するにあたって，処理対象の動画像に撮影された物体の領域を抽出し，その領域の変化から動画像に撮影された物体の像における重心位置の並進運動および当該物体の像を通る回転軸の周りの回転運動を抽出し，選出された代表画像に対する前記抽出された物体の並進運動または回転運動を表す補助情報の矢印形状を決定して，代表画像に矢印形状を合成した合成画像を生成し，それを表示または出力することを特徴とする。これにより，軸周りの回転を含む被写体の運動を一目で把握できるようになる。
【０００９】
また，本発明の別の形態は，上記発明において，前記物体の回転運動の抽出では，回転運動を，当該物体の像の形状の変化の有無により，当該物体の重心位置を通り，撮像面に垂直な回転軸の周りの回転と，当該物体の像を通り，撮像面に平行な回転軸の周りの回転とに分解し，当該物体の像の輪郭を形成する画素の位置または内部に含まれる特徴点の軌跡により，回転の量を算出することを特徴とする。これにより，回転運動の方向や量の把握が容易な合成画像の表示が可能になる。
【００１０】
さらに，本発明の別の形態は，上記発明において，前記矢印形状の合成では，矢印形状の表側を構成する画素に第１の表示優先度を付与し，動画像中の前記抽出された物体の領域を構成する画素に第２の表示優先度を付与し，矢印形状の裏側を構成する画素に第３の表示優先度を付与し，動画像中の前記抽出された物体の領域以外の画素に第４の表示優先度を付与することを行い，これらの画素を重ね合わせて表示する際に，第１の表示優先度を有する画素，第２の表示優先度を有する画素，第３の表示優先度を有する画素，第４の表示優先度を有する画素の順に優先して表示される合成画像を生成することを特徴とする。これにより，立体的な見やすい矢印形状の表示が可能になる。
【００１１】
また，本発明の別の形態は，上記発明において，前記矢印形状の表側を構成する画素もしくは前記矢印形状の裏側を構成する画素，またはその双方に対して，ユーザからの入力またはあらかじめ設定された所定の透過率に従って，選出された代表画像に前記矢印形状を合成することを特徴とする。これにより，動画像中の被写体の像を矢印形状の表示によって完全に隠してしまうことのない表示が可能になる。
【発明の効果】
【００１２】
本発明の効果は以下の通りである。動画像または静止画を表示する際に，軸周りの回転を含む運動の方向や量を一目で把握できるようになる。矢印の形状により，速度や力の概要も把握できる。スローモーション再生の際にも矢印を重畳することで次の動きが把握できる。印刷する際も，印刷結果から内容が把握しやすくなる。
【図面の簡単な説明】
【００１３】
【図１】動画像被写体運動表示装置の構成例を示す図である。
【図２】全体の処理の流れを示すフローチャートである。
【図３】動物体運動抽出部の処理内容を示すフローチャートである。
【図４】矢印形状決定部の処理内容を示すフローチャートである。
【図５】処理対象動画像の例を示す図である。
【図６】回転運動の不定性を説明する図である。
【図７】動物体の運動例１を示す図である。
【図８】動物体の運動例２を示す図である。
【図９】並進運動と第一の回転運動を近似する矢印を示す図である。
【図１０】矢印形状の例を示す図である。
【図１１】矢印形状の合成例を示す図である。
【図１２】矢印形状の配置例を示す図である。
【図１３】矢印を合成した出力画像の例を示す図である。
【発明を実施するための形態】
【００１４】
以下，図面を用いて本発明の実施形態を詳細に説明する。なお，ここでは被写体または被写体を構成する各部位の運動は剛体運動であり，被写体または被写体を構成する各部位の実際の形状の変化はないと仮定する。被写体が運動することにより，撮影された動画像においてみかけの位置や形状が変化する。本発明は，みかけの位置や形状の変化から，被写体の運動および運動量を表現する矢印形状を生成して合成することを基本とする。
【００１５】
一般に，動画像に撮影された被写体の運動を剛体運動あるいはその組み合わせとみなし，その運動を解析することは従来から行われている（例えば，参考文献１参照）。
【００１６】
〔参考文献１〕：田村秀之編著，「コンピュータ画像処理」，オーム社出版局，２００２年１２月発行，P.242--247「7.5 時系列画像からの動きの抽出」，P.248--250「7.6 動きからの３次元形状復元」。
【００１７】
本発明は，このような被写体の運動を解析することを主目的とするものではなく，被写体の運動を解析した結果を用いて，特に例えば後述の「Ｒ２」のような，被写体の撮像面に平行な回転軸周りの回転を矢印で表現する手段を提供することにより，被写体の運動をわかりやすく表示することを主要な目的としている。
【００１８】
図１は，以上の課題を解決するための動画像被写体運動表示装置の構成例を示す図である。動画像被写体運動表示装置１は，ＣＰＵおよびメモリ等によって構成され，動画像に撮影された物体の像の運動を矢印形状の補助情報で表し，動画像の一部または全部の画像に矢印形状の補助情報を合成して表示する処理を実行する。
【００１９】
このため，動画像被写体運動表示装置１は，動画像を読み込み記憶する動画像記憶部１０と，動画像に撮影された物体の領域を抽出する動物体領域抽出部２０と，動画像に撮影された物体の像における重心位置の並進運動およびその物体の像を通る回転軸周りの回転運動を抽出する動物体運動抽出部３０と，動画像中から物体の並進運動または回転を表現する矢印形状の補助情報を合成する画像を選出する合成画像選出部４０と，抽出された物体の空間移動または回転を表す補助情報の矢印の形状を決定する矢印形状決定部５０と，選出した画像に矢印形状を合成する矢印形状合成部６０と，合成された画像を表示または出力する合成画像出力部７０とを備える。
【００２０】
本実施形態の場合，動物体運動抽出部３０は，動物体領域特徴算出部３１と，動物体領域特徴評価部３２と，並進運動抽出部３３と，第一回転運動抽出部３４と，第二回転運動抽出部３５とを有し，矢印形状決定部５０は，並進運動矢印形状生成部５１と，回転運動矢印形状生成部５２とを有し，矢印形状合成部６０は，画素優先度決定部６１と，画素透過率設定部６２とを有している。
【００２１】
動物体運動抽出部３０における動物体領域特徴算出部３１は，動物体領域抽出部２０が抽出した動物体領域の形状等の特徴量を算出する。動物体領域特徴評価部３２は，複数のフレームにわたる動物体領域の特徴量を評価し，形状等の変化を検出する。並進運動抽出部３３は，動物体領域の重心移動量を計算し，物体の並進運動を抽出する。第一回転運動抽出部３４は，物体の像の形状の変化の有無により，物体の重心位置を通り，撮像面に垂直な回転軸の周りの回転を抽出し，その回転量を算出する。第二回転運動抽出部３５は，物体の像を通り，撮像面に平行な回転軸の周りの回転を抽出し，その回転の量を算出する。回転量は，例えば物体の像の輪郭を形成する画素の位置または物体の像の内部に含まれる特徴点の軌跡により算出する。
【００２２】
矢印形状決定部５０における並進運動矢印形状生成部５１は，並進運動抽出部３３が抽出した並進運動を示す矢印の形状を生成し，回転運動矢印形状生成部５２は，第一回転運動抽出部３４と第二回転運動抽出部３５とが抽出した回転運動を示す矢印の形状を生成する。
【００２３】
矢印形状合成部６０における画素優先度決定部６１は，矢印形状の表側を構成する画素に第１の表示優先度を付与し，動画像中の動物体領域を構成する画素に第２の表示優先度を付与し，矢印形状の裏側を構成する画素に第３の表示優先度を付与し，動画像中の動物体領域以外の画素に第４の表示優先度を付与する。矢印形状合成部６０は，これらの画素を重ね合わせて表示する際に，第１の表示優先度を有する画素，第２の表示優先度を有する画素，第３の表示優先度を有する画素，第４の表示優先度を有する画素の順に優先して表示されるように画像を合成する。
【００２４】
また，矢印形状合成部６０の画素透過率設定部６２は，矢印形状の表側を構成する第１の表示優先度を有する画素と，矢印形状の裏側を構成する第３の表示優先度を有する画素に対して，所定の透過率を指定する。
【００２５】
以下，動画像被写体運動表示装置１の各部による具体的な処理の詳細を説明する。図２は，動画像被写体運動表示装置１の全体の処理の流れを示すフローチャート，図３は，動物体運動抽出部３０の処理内容を示すフローチャート，図４は，矢印形状決定部５０の処理内容を示すフローチャートである。
【００２６】
まず，動画像記憶部１０において，動画像を連続する静止画像としてメモリ上に記憶する（ステップＳ１０）。前記静止画像をフレーム画像，あるいは単にフレーム，あるいは単に画像と呼ぶことにする。記憶された動画像のうち，以下の各部における処理対象となるのは，フレームが撮影時刻順に順序づけられているとして，初期フレームから最終フレームまでのすべてでもよいし，所定の２枚のフレームの間にあるフレームでもよいし，あるいは任意の複数のフレームを選択してもよい。ここでは，連続するＮ枚のフレームについて処理するものとして説明する。
【００２７】
次に，動物体領域抽出部２０において，前記選択したフレーム画像中の，運動する被写体の像の領域を抽出する（ステップＳ２０）。以下，説明を簡単にするため，運動する被写体は１つであると仮定する。動物体領域抽出部２０において運動する被写体を複数の剛体の運動に分解できる場合には，以下の処理を分解されたすべての剛体に対して適用すればよい。
【００２８】
さて，固定カメラによる撮影であれば，ノイズや誤差を除き，連続する，あるいは所定の間隔の２枚のフレーム画像間で変化のない画素を除外することにより，前記２枚のフレームに該当する時刻間で運動した物体を抽出できる。
【００２９】
また，カメラが移動していたとしても，連続する，あるいは所定の間隔の２枚のフレーム画像１とフレーム画像２の間で，例えば，フレーム画像１のすべての画素を横方向にｘ画素，縦方向にｙ画素ずらしてフレーム画像１′を生成し，フレーム画像１′とフレーム画像２との同じ位置にある画素の輝度情報の差の２乗を計算し，その全画素または所定の領域内にわたる合計値が最も小さくなるようなｘ０およびｙ０を探索し，フレーム画像１のすべての画素をｘ０およびｙ０だけずらしたフレーム画像１′と，フレーム画像２とで変化のない画素を除外することにより，前記２枚のフレームに該当する時刻間で運動する物体を抽出できる。
【００３０】
また，前記ｘ０，ｙ０は運動がない背景に該当する画素のオプティカルフローであるとみなせるので，抽出した運動物体の像を構成する各画素の，カメラの移動による影響を除外したフレーム画像間での移動量は，画素単位で，当該物体の像の領域の変化量（例えば前記領域内のオプティカルフロー）から，前記ｘ０，ｙ０を減ずればよい。
【００３１】
以上の例以外にも，カメラ移動や，パン／ズーム／チルトやカメラの光軸周りの回転など，カメラの運動の影響を除外し，運動する被写体の像を抽出する技術は広く知られており，どのような手法を用いてもかまわない。
【００３２】
このようにして，ステップＳ２０では，対象とするＮ枚の各フレームに対して，背景やカメラの影響を除去する処理（ステップＳ２０１）と，フレーム画像中の運動する被写体の像の領域を抽出する処理（ステップＳ２０２）を繰り返すことにより，動物体の領域を抽出する。
【００３３】
次に，動物体運動抽出部３０において，前記被写体の像の，対象とするフレームのうち，連続する２枚のフレームｋ−１，ｋ間の移動量を抽出する（ステップＳ３０）。このステップＳ３０では，連続する各フレームｋ−１，ｋ（ｋ＝２，３，…，Ｎ）について，図３に示すステップＳ３０１〜Ｓ３１５の動物体運動抽出処理を繰り返す。
【００３４】
図５に，処理対象の動画像の開始画像と終了画像の例を示す。本図の例では，図５（Ａ）の開始画像から，直方体状の物体が運動して，図５（Ｂ）の終了画像のようになっている。このとき，直方体全体が移動し，さらに，面ａが向きを変化させており，当該直方体が，面ａに平行な回転軸の周りに回転していることを示している。このような場合，図６に示すように，回転運動の抽出に不定性が生じることがある。
【００３５】
図６は，図５の被写体を，物体の上側から見た図である。図６（Ａ）では前記回転軸が物体内部にあり，物体は重心位置を変えず向きのみを変えているが，図６（Ｂ）では前記回転軸が物体外部にあり，物体は重心位置と向きを変えている。図５の運動は，物体の鉛直線に対する傾きを無視すれば，図６（Ａ）の回転と，重心位置の平行移動との組み合わせであるとも解釈できるし，図６（Ｂ）の回転のみであると解釈することもできる。
【００３６】
この不定性を除外するため，本実施形態では，物体の運動が回転を含む場合，回転の軸はすべて物体を通ると仮定する。図６の例では，図６（Ａ）のほうの回転軸が物体内にある回転と重心の平行移動の組み合わせを採用する。
【００３７】
この仮定のもとに，物体の像の運動から，物体の像の重心の並進Ｔと，物体の像の重心を通り，撮像面に垂直な回転軸の周りの第一の回転Ｒ１と，物体の像を通り，撮像面に平行な回転軸の周りの第二の回転Ｒ２とを抽出する。
【００３８】
まず，動物体領域特徴算出部３１において，フレームｋ−１における動物体領域Ｍ１およびフレームｋにおける動物体領域Ｍ２について，それぞれ，カメラの撮影状況の影響を除外した後の相対的な位置，方向，および領域形状の特徴量を算出する（ステップＳ３０１）。以下，特に記さない限り，Ｍ１およびＭ２間の運動は，カメラの撮影状況の影響を除外した後の運動を表すものとする。
【００３９】
画像内の領域形状の特徴として，例えば参考文献２に記載されているように，画素数（面積），周囲長，凸包の形状，モーメント特徴，領域内の任意の２画素間の最大距離と最小距離の比率などがある。
【００４０】
〔参考文献２〕：田村秀之編著，「コンピュータ画像処理」，オーム社出版局，２００２年１２月発行，P.167--170「5.6.1 図形の形状特徴」。
【００４１】
動画像においては，例えばカメラのズームなど，被写体の像が互いに相似な形状を保ったまま，大きさの比率のみ変化することもあり得るため，動物体領域抽出部２０において，カメラの撮影状況の変動の影響を除外しているのであるが，画素数と領域内の任意の２画素間の最大距離と最小距離の比率のように，複数の特徴を用いるとよい。また，例えば，動物体領域Ｍ１およびＭ２ともに，重心から輪郭までの距離が一定であるような形状，すなわち，所定の誤差の範囲内で円で近似できる形状である場合には，Ｍ１およびＭ２に円であるというフラグを付与する（ステップＳ３０２）。
【００４２】
次に，動物体領域特徴評価部３２において，フレームｋ−１とフレームｋの動物体領域に形状変化があるかどうかを判定する（ステップＳ３０３）。すなわち，フレームｋ−１中の動物体領域Ｍ１とフレームｋ中の動物体領域Ｍ２との特徴を比較し，その差が所定の閾値より小さければ形状は変化していないとみなし，そうでなければ変化があるとみなす。複数の特徴を比較する際には，例えば各特徴の差の２乗を重み付けして合計し，その値で評価してもよい。
【００４３】
図７（Ａ）は形状変化がないと判定された物体の運動の例を示しており，図８（Ａ）は形状変化があると判定された物体の運動の例を示している。
【００４４】
次に，並進運動抽出部３３において，前記Ｍ１とＭ２の画像における重心の移動量を計算する（ステップＳ３０４）。この計算は，Ｍ２の重心位置座標からＭ１の重心位置座標を引けばよい。移動量の単位は適宜決めてもよいが，画素数を用いるのが処理が容易である。この結果，並進Ｔは２次元のベクトルとなる。
【００４５】
次に，形状変化があるかどうか，形状が円であるかどうかを判定し（ステップＳ３０５，Ｓ３０６），形状変化があるかまたは形状が円の場合には，ステップＳ３０７へ進み，第一回転運動抽出部３４において，回転運動Ｒ１を計算する。形状変化がなく，かつ形状が円でない場合には，回転運動Ｒ２の抽出のため，ステップＳ３１２へ進む。
【００４６】
回転運動Ｒ１を計算する場合，第一回転運動抽出部３４では，Ｍ１とＭ２の重心が一致するようにＭ１を移動させる（ステップＳ３０７）。次に，Ｍ１，Ｍ２が円かどうかをステップＳ３０２で付与したフラグで判定し（ステップＳ３０８），円でない場合，輪郭を形成する画素の回転量を算出する（ステップＳ３０９）。円の場合には，円領域内のオプティカルフローを計算する（ステップＳ３１０）。ステップＳ３０９，Ｓ３１０の結果から第一の回転量Ｒ１を算出する（ステップＳ３１１）。
【００４７】
この第一の回転運動抽出処理をさらに詳しく説明すると，以下の通りである。形状変化がないと判定された物体については，Ｍ１とＭ２の重心が一致するように並進運動を行い，Ｍ１とＭ２のそれぞれの形状の輪郭を形成するすべての画素の位置が所定の誤差の範囲内で一致するようであれば，Ｒ１成分は「なし」と判定し，第二回転運動抽出部３５の処理に進む。ここで所定の誤差の範囲内で一致するかどうかは，例えば，輪郭を形成する画素の形状において，頂点やコーナー，最も重心から遠い位置にある輪郭位置など，ある形状上の特徴をもつ画素の位置を起点として，それ以外の輪郭を形成する画素の位置の，Ｍ１とＭ２におけるずれが，所定の閾値よりも小さいかどうかを判定することによって求めることができる。
【００４８】
前記Ｍ１とＭ２のそれぞれの輪郭を形成する画素の位置が所定の誤差の範囲内で一致しない場合には，重心の周りにＭ２を回転させ，前記Ｍ１と輪郭の画素位置が所定の誤差の範囲内で一致した時点で，その回転角度をＲ１の運動の量とみなす。
【００４９】
なお，Ｍ１およびＭ２に対し，円であるというフラグが付与されていた場合には，前記の輪郭画素の位置の一致／不一致によって評価できないため，Ｍ１およびＭ２の重心が一致するように並進運動を行った後，Ｍ１およびＭ２内の特徴点，あるいは画素の対応点の移動を算出し，前記対応点の移動のオプティカルフローが重心の周りに回転するように分布するようであれば，前記オプティカルフローから，当該特徴点あるいは画素の重心に対する回転角度を求め，Ｒ１の回転の量を算出し，前記オプティカルフローが重心の周りに回転するように分布しない場合には，Ｒ１成分は「なし」と判定し，第二回転運動抽出部３５の処理（ステップＳ３１２）に進む。
【００５０】
Ｒ１は前記の通り，回転角度として記憶してもよいし，重心から最も遠い位置にある輪郭上の画素の移動量で記憶してもよい。
【００５１】
次に，第二回転運動抽出部３５において，Ｍ１およびＭ２の重心位置が一致するように並進運動を行った後，Ｍ１およびＭ２内の特徴点，あるいは画素の対応点の移動のオプティカルフローを算出し（ステップＳ３１２），最も支配的な移動方向を計算する（ステップＳ３１３）。ここで支配的な移動方向とは，所定の誤差の範囲内で，その方向を向いたオプティカルフローが最も多いような方向であり，例えば，前記オプティカルフローの平均方向を求めてもよい。
【００５２】
次に，支配的な移動方向に垂直で，Ｍ１の重心を通り撮像面に平行な軸を，Ｒ２の回転軸と定め（ステップＳ３１４），Ｒ２の回転量を，支配的な移動方向を向くオプティカルフローのうち，最も大きさが大きいものの長さと定める（ステップＳ３１５）。この回転量を長さで表すときは前記の通りとし，回転角度で表すときは，前記長さを，前記Ｒ２の回転軸からＭ１の輪郭を形成する画素のうち最も遠い距離にある画素までの距離Ｈで割った値とする。
【００５３】
以上により，動物体の像の運動が抽出できたが，動画像に撮影された物体の運動を剛体運動とみなし，その運動を抽出する処理は画像処理分野で従来から行われているので，上記の手段の中で述べた処理手順を必ずしも用いなくてもよく，画素単位での並進Ｔ，回転Ｒ１，回転Ｒ２が算出されればよい。以上は，処理対象となる動画像の開始から終了まで実施される。
【００５４】
次に，合成画像選出部４０において，動画像のどのフレーム画像に矢印形状を合成するかの選択を受け入れる（ステップＳ４０）。フレームは複数選択してもよい。この合成画像の選択は，この例では，ユーザからの指定情報を入力して決めるようにしているが，並進Ｔ，回転Ｒ１，回転Ｒ２の量や動きの速度などによって，あるいはフレームの時刻などによって，あらかじめ定められた条件により自動的に選択するようにしてもよい。
【００５５】
次に，矢印形状決定部５０において，合成する矢印形状を生成する（ステップＳ５０）。このステップＳ５０では，ステップＳ４０で選択された各フレームｍ（ｍ＝１，２，…，Ｍ；ただし，Ｍ≦Ｎ）について，図４に示すステップＳ５０１〜Ｓ５１０の矢印形状決定処理を繰り返す。
【００５６】
まず，並進運動矢印形状生成部５１において，処理対象の開始フレームから終了フレームまでの指定を受け入れ（ステップＳ５０１），また，必要に応じて矢印の幅，色，先端形状の指定を受け入れ（ステップＳ５０２），さらに矢印の表示位置を定める距離ｄの指定を受け入れ（ステップＳ５０３），最大移動画素を抽出して（ステップＳ５０４），処理対象の開始フレームから終了フレームまでの，重心移動量Ｔおよび第一の回転運動量Ｒ１とを組み合わせた移動量を近似した矢印形状を生成する（ステップＳ５０５）。
【００５７】
詳しくは，図９に示すように，動物体の像の重心位置と，当該動物体の像内または当該動物体を形成する輪郭上の画素において，最も移動量が大きい画素の位置を抽出し，重心位置と最も移動量が大きい画素とを結ぶ距離をＤとするときに，重心から見て前記最も移動量が大きい画素よりもさらに距離ｄの位置を算出し，前記位置の開始フレームにおける位置と終了フレームにおける位置とを結ぶベクトルを生成する。このベクトルの計算において，動物体運動抽出部３０において連続する各フレームにおいて算出された重心移動量と第一の回転量とを記憶しておき，処理対象の開始フレームから終了フレームまでの前記重心移動量と第一の回転量とを加算すると効率的である。
【００５８】
なお，ステップＳ５０１における処理対象の開始フレームから終了フレームまでの指定の受け入れは，フレームｍに対して，どのフレームからどのフレームまでの動きを示す矢印を表示するかの指定を入力するものであるが，フレームｍの前後にわたるあらかじめ定められた枚数のフレームを処理対象として自動的に選択してもよい。また，前記距離ｄならびに近似する矢印の幅や先端部の形状，色は，ユーザからの指定を受け入れるものとして説明したが，これについてもあらかじめ所定の値を設定しておいてもよい。次に処理を行う回転運動矢印についても同様である。
【００５９】
次に，回転運動矢印形状生成部５２において，Ｒ２の運動を表す矢印形状を生成する（ステップＳ５０６〜Ｓ５１０）。図１０（Ａ）に示すように，合成処理を行う対象のフレームにおいて，動物体領域の撮像面に平行な回転軸を中心軸とし，半径Ｌが，動物体領域の形状の，回転軸から最も遠い距離にある輪郭画素位置までの長さＨよりも大きい円筒を仮想的に生成する。このＨとＬとの比率は，あらかじめ所定の値を設定しておいてもよいし，ユーザからの指定を受け入れてもよい。円筒の高さＷは，適宜，ユーザが決定してよいが，例えば前記動物体が完全に隠れないように，動物体領域の回転軸方向の長さの１０％というように，あらかじめ指定してもよい。また，必要に応じて，後述するＬｓ／ＬｅのＬに対する割合を受け入れる（ステップＳ５０６）。さらに，前述したステップＳ５０２と同様に，矢印の幅，色，先端形状の指定を受け入れる（ステップＳ５０７）。
【００６０】
続いて，仮想的に生成した円筒の一部を切断する。図１０（Ｂ）は，動物体領域が撮像面に平行な平面上にあると仮定し，それを上側から見た図である。図の点線で描かれた円は図１０（Ａ）の円筒を表している。この動物体領域の第二の回転量Ｒ２（角度）の，開始フレームから終了フレームまでの合計値（角度）θを求め（ステップＳ５０８），図１０（Ｂ）に示すように，動物体が含まれると仮定した平面を軸として，上下対象となるようにθの開始方向と終了方向を決定する。開始方向に，Ｌよりも所定の割合だけ大きいＬｓの距離に延長した位置Ｓを矢印の開始点，終了方向に，Ｌよりも所定の割合だけ大きいＬｅの距離に延長した位置Ｅを矢印の終了点としてもよい（ステップＳ５０９）。
【００６１】
次に，図１０（Ｃ）に示すように，前記始点Ｓと終点Ｅから前記円筒を表す円周に引いた接線との交点Ｑｓ，Ｑｅを求め（接線は，Ｌｓからは物体回転の方向に向かって引き，Ｌｅからは物体回転の逆方向に向かって引く），始点Ｓ→弧ＱｓＱｅ→終点Ｅとなる形状を矢印の（上から見た）形状とする（ステップＳ５１０）。
【００６２】
次に，矢印形状合成部６０において，前記生成された矢印形状を，合成画像選出部４０において選出された画像に合成する（ステップＳ６０）。このステップＳ６０では，ステップ４０で選出された矢印を合成するＭ枚の各代表画像ｍ（ｍ＝１，２，…，Ｍ）について，ステップＳ６０１〜Ｓ６０４の矢印形状合成処理を繰り返す。
【００６３】
この矢印形状合成処理では，特に第二の回転運動に対する矢印形状を合成する際，画素優先度決定部６１において，図１１に示すように，矢印形状の表側を構成する画素に第１の表示優先度を付与し，動画像中の当該被写体領域を構成する画素に第２の表示優先度を付与し，矢印形状の裏側を構成する画素に第３の表示優先度を付与し，動画像中の当該被写体領域以外の画素に第４の表示優先度を付与し，これらの画素を重ね合わせて表示する際に，第１の表示優先度を有する画素，第２の表示優先度を有する画素，第３の表示優先度を有する画素，第４の表示優先度を有する画素の順に優先して合成する。
【００６４】
次に，画素透過率設定部６２において，第１の表示優先度を有する画素，第３の表示優先度を有する画素に対し，画素を合成する際の透過率の指定を受け入れ，その透過率に従って矢印形状の画素と，当該画素位置にある第１あるいは第３の表示優先度を有する画素を合成する。透過率は，ユーザが適宜決定してもよいが，例えば，透過率７５％などとあらかじめ所定の値を決定しておいてもよい。
【００６５】
図９に示したようなＴとＲ１を近似する矢印については，「裏側」が存在しないため，第４の優先度がないものとして処理を進めてもよい。
【００６６】
また，Ｒ２を近似する矢印形状を合成する際には，回転運動矢印形状生成部５２において生成した矢印形状を，例えば適当な射影行列のもとに合成対象の画像に射影した２次元図形と合成してもよいし，あるいは，回転運動矢印形状生成部５２において生成した矢印形状を，平行投影した２次元図形として合成してもよい。この矢印形状の位置を，運動物体のどの位置に配置するかについては，ユーザの指定を受け入れてもよいし，当該物体の重心位置の両側に「裏側」と「表側」が配置されるようにしてもよい。その際，図１２に示すように，例えば矢印形状の「表側」と「裏側」について，画像の中心に近い方に「裏側」を，遠い方に「表側」が配置されるようにしてもよい。
【００６７】
また，ＴとＲ１を近似する矢印およびＲ２を近似する矢印については，どちらか片方のみ合成してもよいし，両方合成してもよい。
【００６８】
次に，合成画像出力部７０において，矢印形状合成部６０において合成した結果画像を出力する（ステップＳ７０）。
【００６９】
なお，本明細書では単一の剛体の運動について記載しているが，複数の（互いに接続していない）剛体についても，それぞれの像に対して以上説明した実施例を適用することにより，同様の処理を実施すればよい。
【００７０】
また，複数の物体が接続されており，それぞれの物体が運動している場合において，それぞれの物体が持つ剛体運動に分解できる場合には，それぞれの物体の像に対し，本実施例を適用することにより処理することができる。
【００７１】
以上の動画像被写体運動表示処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【符号の説明】
【００７２】
１ 動画像被写体運動表示装置
１０ 動画像記憶部
２０ 動物体領域抽出部
３０ 動物体運動抽出部
３１ 動物体領域特徴算出部
３２ 動物体領域特徴評価部
３３ 並進運動抽出部
３４ 第一回転運動抽出部
３５ 第二回転運動抽出部
４０ 合成画像選出部
５０ 矢印形状決定部
５１ 並進運動矢印形状生成部
５２ 回転運動矢印形状生成部
６０ 矢印形状合成部
６１ 画素優先度決定部
６２ 画素透過率設定部
７０ 合成画像出力部
【特許請求の範囲】
【請求項１】
動画像に撮影された物体の像の運動を矢印形状の補助情報で表し，前記動画像の一部または全部の画像に前記矢印形状の補助情報を合成して表示する動画像被写体運動表示装置であって，
動画像を読み込み記憶する手段と，
前記動画像に撮影された物体の領域を抽出する手段と，
前記動画像に撮影された物体の像における重心位置の並進運動および当該物体の像を通る回転軸の周りの回転運動を抽出する手段と，
前記動画像中から物体の並進運動または回転運動を表現する矢印形状の補助情報を合成する画像を選出する手段と，
前記抽出された物体の並進運動または回転運動を表す補助情報の矢印形状を，前記物体の移動量または回転の量から決定する手段と，
前記選出された画像に前記矢印形状を合成する手段と，
前記矢印形状を合成した合成画像を表示または出力する手段とを備える
ことを特徴とする動画像被写体運動表示装置。
【請求項２】
請求項１に記載の動画像被写体運動表示装置において，
前記物体の回転運動を抽出する手段は，
回転運動を，当該物体の像の形状の変化の有無により，当該物体の重心位置を通り，撮像面に垂直な回転軸の周りの回転と，当該物体の像を通り，撮像面に平行な回転軸の周りの回転とに分解する手段と，
当該物体の像の輪郭を形成する画素の位置または内部に含まれる特徴点の軌跡により，回転の量を算出する手段とを有する
ことを特徴とする動画像被写体運動表示装置。
【請求項３】
請求項１または請求項２に記載の動画像被写体運動表示装置において，
前記矢印形状を合成する手段は，
矢印形状の表側を構成する画素に第１の表示優先度を付与し，
動画像中の前記抽出された物体の領域を構成する画素に第２の表示優先度を付与し，
矢印形状の裏側を構成する画素に第３の表示優先度を付与し，
動画像中の前記抽出された物体の領域以外の画素に第４の表示優先度を付与し，
これらの画素を重ね合わせて表示する際に，
第１の表示優先度を有する画素，
第２の表示優先度を有する画素，
第３の表示優先度を有する画素，
第４の表示優先度を有する画素の順に優先して表示される合成画像を生成する
ことを特徴とする動画像被写体運動表示装置。
【請求項４】
請求項１，請求項２または請求項３に記載の動画像被写体運動表示装置において，
前記矢印形状の表側を構成する画素もしくは前記矢印形状の裏側を構成する画素，またはその双方に対して，所定の透過率を指定する手段を備え，
前記矢印形状を合成する手段は，指定された透過率に従って，前記選出された画像に前記矢印形状を合成する
ことを特徴とする動画像被写体運動表示装置。
【請求項５】
コンピュータを，請求項１から請求項４までのいずれか１項に記載の動画像被写体運動表示装置が備える各手段として機能させるための動画像被写体運動表示用プログラム。
【請求項１】
動画像に撮影された物体の像の運動を矢印形状の補助情報で表し，前記動画像の一部または全部の画像に前記矢印形状の補助情報を合成して表示する動画像被写体運動表示装置であって，
動画像を読み込み記憶する手段と，
前記動画像に撮影された物体の領域を抽出する手段と，
前記動画像に撮影された物体の像における重心位置の並進運動および当該物体の像を通る回転軸の周りの回転運動を抽出する手段と，
前記動画像中から物体の並進運動または回転運動を表現する矢印形状の補助情報を合成する画像を選出する手段と，
前記抽出された物体の並進運動または回転運動を表す補助情報の矢印形状を，前記物体の移動量または回転の量から決定する手段と，
前記選出された画像に前記矢印形状を合成する手段と，
前記矢印形状を合成した合成画像を表示または出力する手段とを備える
ことを特徴とする動画像被写体運動表示装置。
【請求項２】
請求項１に記載の動画像被写体運動表示装置において，
前記物体の回転運動を抽出する手段は，
回転運動を，当該物体の像の形状の変化の有無により，当該物体の重心位置を通り，撮像面に垂直な回転軸の周りの回転と，当該物体の像を通り，撮像面に平行な回転軸の周りの回転とに分解する手段と，
当該物体の像の輪郭を形成する画素の位置または内部に含まれる特徴点の軌跡により，回転の量を算出する手段とを有する
ことを特徴とする動画像被写体運動表示装置。
【請求項３】
請求項１または請求項２に記載の動画像被写体運動表示装置において，
前記矢印形状を合成する手段は，
矢印形状の表側を構成する画素に第１の表示優先度を付与し，
動画像中の前記抽出された物体の領域を構成する画素に第２の表示優先度を付与し，
矢印形状の裏側を構成する画素に第３の表示優先度を付与し，
動画像中の前記抽出された物体の領域以外の画素に第４の表示優先度を付与し，
これらの画素を重ね合わせて表示する際に，
第１の表示優先度を有する画素，
第２の表示優先度を有する画素，
第３の表示優先度を有する画素，
第４の表示優先度を有する画素の順に優先して表示される合成画像を生成する
ことを特徴とする動画像被写体運動表示装置。
【請求項４】
請求項１，請求項２または請求項３に記載の動画像被写体運動表示装置において，
前記矢印形状の表側を構成する画素もしくは前記矢印形状の裏側を構成する画素，またはその双方に対して，所定の透過率を指定する手段を備え，
前記矢印形状を合成する手段は，指定された透過率に従って，前記選出された画像に前記矢印形状を合成する
ことを特徴とする動画像被写体運動表示装置。
【請求項５】
コンピュータを，請求項１から請求項４までのいずれか１項に記載の動画像被写体運動表示装置が備える各手段として機能させるための動画像被写体運動表示用プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−８１４７９（Ｐ２０１１−８１４７９Ａ）
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願番号】特願２００９−２３１１８５（Ｐ２００９−２３１１８５）
【出願日】平成２１年１０月５日（２００９．１０．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年４月２１日（２０１１．４．２１）
【国際特許分類】
【出願日】平成２１年１０月５日（２００９．１０．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]