表示処理装置、表示処理方法、及びコンピュータプログラム
【課題】編集作業を行うことなく、自動で次の動作方向を示す矢印画像を映像中に表示する。
【解決手段】表示処理装置は、予めモーションキャプチャ技術により得られた動体の動きを表すモーションデータをフレームｆ１、ｆ２・・・ごとに有する人体画像２０の動画データを取得して記憶する。動画データの表示処理を行う際、時間的に前後するフレームｆ１、ｆ２・・・に含まれるモーションデータの差分を算出し、算出した差分に基づいて人体画像２０の動作方向を表す矢印画像２５を生成する。生成した矢印画像２５を、フレームｆ１、ｆ２・・・に付加して、フレームｆ１、ｆ２・・・の表示処理を行う。前後のフレームｆ１、ｆ２・・・における人体画像２０の動きが小さいとき、又は人体画像２０が一時停止状態の場合は、矢印画像２５を生成しない。
【解決手段】表示処理装置は、予めモーションキャプチャ技術により得られた動体の動きを表すモーションデータをフレームｆ１、ｆ２・・・ごとに有する人体画像２０の動画データを取得して記憶する。動画データの表示処理を行う際、時間的に前後するフレームｆ１、ｆ２・・・に含まれるモーションデータの差分を算出し、算出した差分に基づいて人体画像２０の動作方向を表す矢印画像２５を生成する。生成した矢印画像２５を、フレームｆ１、ｆ２・・・に付加して、フレームｆ１、ｆ２・・・の表示処理を行う。前後のフレームｆ１、ｆ２・・・における人体画像２０の動きが小さいとき、又は人体画像２０が一時停止状態の場合は、矢印画像２５を生成しない。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モーションデータを有する動体の動画表示処理を行う際に、動体の次の動きを表す方向情報を自動付加して表示処理を行うようにした表示処理装置、表示処理方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、様々な動画コンテンツ（ビデオ）が存在し、例えば、ダンス及びスポーツ等の動きに関する指導を行うために、ダンスのステップ及びスポーツにおける体の動かし方等を実写、アニメーション画像等で表現した指導用ビデオがある。これらの指導用ビデオでは、次の動き予め示すための矢印を画像中に挿入したものもある（例えば、特許文献１の図７〜１３）。
【０００３】
また、上述した動画コンテンツを所謂モーションキャプチャ技術を用いて作成することが行われている（特許文献２参照）。モーションキャプチャとは、人体の所要箇所にデータ取得対象となるマーカを複数取り付けた状態で、その人にダンス及びスポーツの動きを行ってもらうことにより、三次元座標におけるマーカを付した箇所の座標値及び角度を表すモーションデータ（動作情報）を取得するものである。このように取得されたモーションデータを利用して人体を表す画像が動作を行う内容の動画コンテンツを作成でき、モーションデータに基づく動画コンテンツは視点変更（表示する方向の変更）を容易に行うことができる。
【０００４】
さらに、特許文献３では、実写映像と、コンピュータグラフィックによるキャラクタ画像を三次元情報に基づいて合成した映像を作成することが開示されている。
【特許文献１】特開平１０−３１９９５７号公報
【特許文献２】特開平１０−２２２６６８号公報
【特許文献３】特開２０００−２３０３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
指導用ビデオでのように、動きを示す矢印を挿入することは、映像編集者が被写体における各部の動きを見ながら矢印画像を手作業で付加する編集作業が必要なため、非常に手間を要すると云う問題がある。また、モーションキャプチャ技術によるモーションデータを利用して作成された動画コンテンツに対しても、動きを示す矢印を挿入する場合は、上記と同様に手作業による編集が必要になっていた。特に複数視点での動画表示を行う場合は、視点ごとに対応した矢印画像が必要となるため、編集作業量が膨大になると云う問題がある。
【０００６】
なお、特許文献３は、実写映像と、キャラクタ画像を三次元情報に基づいて単に合成するだけものであるため、被写体であるモデルの動きに応じて、動きを示す矢印画像を合成することまでは行えない。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、モーションキャプチャ技術により得られたモーションデータ（動作情報）を利用することにより、手作業による編集を行うことなく、動体の次に動く方向を示す方向情報を自動で付加できるようにした表示処理装置、表示処理方法、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明に係る表示処理装置は、フレームごとに動体の動作情報を含む動画の表示処理を行う表示処理装置において、前記動作情報を記憶する手段と、記憶された動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出する算出手段と、算出した差分に基づいて、動体の動く方向を表す方向情報を生成する生成手段と、生成した方向情報をフレームに付加する付加手段と、方向情報を付加したフレームの表示処理を行う手段とを備えることを特徴とする。
【０００９】
また、本発明に係る表示処理装置は、前記算出手段が算出した差分が、基準値を下回るか否かを検出する手段を備え、前記差分が基準値を下回ることが検出された場合、前記生成手段は方向情報を生成しないようにしてあることを特徴とする。
【００１０】
さらに、本発明に係る表示処理装置は、前記生成手段は、方向情報として動体の動く方向を表す画像を生成することを特徴とする。
さらにまた、本発明に係る表示処理装置は、前記算出手段が選出した差分と比較値との比較を行う比較手段を備え、前記生成手段は、前記比較手段の比較結果に基づいて生成する画像の形態を変更するようにしてあることを特徴とする。
また、本発明に係る表示処理装置は、前記生成手段は、方向情報として動作の動く方向を表す文字を生成することを特徴とする。
【００１１】
本発明に係る表示処理装置は、前記付加手段は、一定の時間間隔ごとのフレームに方向情報を付加することを特徴とする。
また、本発明に係る表示処理装置は、前記方向情報に応じた差分の算出に係るフレーム以前の時間帯に含まれるフレームに対応した動作情報の差分の中で、基準値を下回る差分を特定する特定手段を備え、前記付加手段は、前記特定手段が特定した差分に係るフレームに方向情報を付加することを特徴とする。
さらに、本発明に係る表示処理装置は、動画には楽曲が付帯してあり、動画の表示処理に伴って楽曲の再生処理を行う再生手段を備え、前記付加手段は、前記再生手段で再生処理が行われる楽曲の拍子に応じた表示処理対象のフレームに方向情報を付加することを特徴とする。
【００１２】
本発明に係る表示処理装置は、動作情報の差分及び音声を対応付けた音声テーブルと、前記音声テーブルから、前記算出手段が算出した差分に対応する音声を特定する音声特定手段と、特定した音声の出力処理を行う音声出力手段とを備えることを特徴とする。
【００１３】
また、本発明に係る表示処理装置は、動体の一時停止状態の検索指示を受け付ける受付手段と、該受付手段が検索指示を受け付けた場合、記憶された動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出する手段と、算出された差分の中で、基準値を下回る差分に係るフレームを特定するフレーム特定手段と、前記フレーム特定手段が特定したフレームに前記付加手段が方向情報を付加した状態で表示処理を行う手段とを備えることを特徴とする。
【００１４】
本発明に係る表示処理方法は、動画のフレームごとに含まれる動体の動作情報を記憶する表示処理装置が、動画の表示処理を行う表示処理方法において、前記表示処理装置は、記憶する動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出し、算出した差分に基づいて、動体の動く方向を表す方向情報を生成し、生成した方向情報をフレームに付加し、方向情報を付加したフレームの表示処理を行うことを特徴とする。
また、本発明に係る表示処理方法は、前記表示処理装置が、予め差分を算出して、算出した差分を記憶しておき、記憶した差分に基づいて方向情報を生成することを特徴とする。
【００１５】
本発明に係るコンピュータプログラムは、動画のフレームごとに含まれる動体の動作情報を記憶するコンピュータに、動画の表示処理を行わせるためのコンピュータプログラムにおいて、コンピュータを、記憶された動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出する算出手段と、該算出手段が算出した差分に基づいて、動体の動く方向を表す方向情報を生成する生成手段と、該生成手段が生成した方向情報をフレームに付加する付加手段と、方向情報を付加したフレームの表示処理を行う手段として機能させることを特徴とする。
【００１６】
本発明にあっては、モーションキャプチャ技術により得られる動作情報（モーションデータ）の差分に基づいて方向情報を生成し、表示処理対象となるフレームに付加するので、次の動作を示す方向情報を自動で表示できるようになる。その結果、手作業による編集を行わなくても、動体の次の動作方向を把握できる指導用ビデオ等を従来に比べてより低コスト且つ容易に制作可能となる。また、本発明では、モーションキャプチャ技術により得られる動作情報を利用するので、モーションキャプチャ技術で動作情報を得られる動体の映像であれば、あらゆる種類の動体の映像に対して本発明を適用することが可能であり、動体としては人体以外にも、移動するボール、移動して組み合わせられる物体同士なども該当する。なお、モーションキャプチャ技術により得られる動作情報は一般に、三次元座標系における各座標軸に対する角度（回転角度）、又は各座標軸に対する座標値の少なくともいずれか一方を含む。
【００１７】
また、本発明は、動画の表示処理を行う際にリアルタイム的に、動作情報の差分、及び差分に基づく方向情報の生成を行う以外に、予め動作情報の差分を算出すると共に、算出した差分を表示処理装置が記憶しておき、動画の表示処理を行う際に記憶する差分に基づき方向情報を生成してもよい。後者の場合、動画表示処理において表示処理装置の処理負担が軽減されるため、表示処理装置のプロセッサ能力が低いとき、又はネットワーク配信により動画表示処理を行った内容を配信する場合などに好適である。さらにまた、表示する動画の視点方向が定まっている場合は、予め差分を算出すると共に、算出した差分に基づいて、視点方向に応じた方向情報も生成し、生成した方向情報を表示処理装置が記憶しておき、動作表示処理を行う際に記憶する方向情報をフレームに付加して動画表示処理を行うことも可能であり、この場合は一段と処理負担の低減を図れる。
【００１８】
本発明にあっては、算出した差分が基準値を下回る場合、方向情報を生成しないので、動体の動作が基準値を下回るレベルであるときは、方向情報が表示されなくなる。そのため、動体の微妙な動きは切り捨てられて方向情報の付加対象にならないので、方向情報が過度に表示されることを防止できる。
【００１９】
本発明にあっては、動く方向を表す画像を生成するので、動画表示処理により表示画面中に付加された画像により、次に動体が動く方向を一目でユーザは把握できるようになる。なお、画像としては、方向を示す矢印の画像が好適であるが、方向を表すことが可能なクサビ形のような先細の画像等も適用可能である。
【００２０】
本発明にあっては、生成する画像の形態を、比較結果に基づいて変更するので、表示される画像の形態を見ることで、ユーザは動体の動く量を予測できるようになり、現在表示されている動体の次の動きを詳細に把握可能となる。なお、形態の変更例としては、動体の動く量が大きいほど画像を大きくすること、画像を長くすること、画像の色を濃くすること等が該当し、特に方向情報に相当する画像が矢印画像の場合には、動体の動く量が大きいほど鏃部分を大きくすることなども適用できる。
【００２１】
本発明にあっては、動く方向を表す文字が生成されるので、表示画面中には動体の次の動作方向を表す文字が示され、ユーザは確実に次の動きを把握できるようになる。具体的には、ダンスの指導用の動画コンテンツの場合で、モデルが次のフレームで右腕を上げるシーンになるとき、表示画面中には「右腕を上げて！」と云う文字が表示されるようになる。なお、文字及び画像の両方を表示して、次の動く方向をより把握しやすくすることも勿論可能である。
【００２２】
本発明にあっては、一定の間隔ごとのフレームに方向情報を付加するので、方向情報が同一の間隔で表示されるようになり、方向情報の付加を定型的な処理で行うことができ、方向情報の付加に対してスムーズな処理の流れを作ることができる。
【００２３】
本発明にあっては、基準値を下回る差分に係るフレームに方向情報を付加するので、動体の動きが小さいとき、又は動体が一時的に停止しているとき（ポーズ状態のとき）に方向情報が表示されることになり、次の動作が始まる前にタイミング良く方向情報をユーザに提示して、動画を見るユーザが動体の次の動きを把握しやくなる。
【００２４】
本発明にあっては、動画に付帯する楽曲の拍子に応じたフレームに方向情報が付加されるので、楽曲のリズムに合わせて方向情報がユーザに提示されるようになる。そのため、ダンスの指導用の動画コンテンツのように、モデルが楽曲に合わせて動く場合、次の動きを示す方向情報も楽曲に合わせて表示されるため、ユーザは楽曲のリズム（拍子）に合わせて次の動きを把握でき、楽曲に応じた適切な動きをスムーズに学べる。
【００２５】
本発明にあっては、差分に対応する音声を音声テーブルから特定して出力処理を行うので、視覚に加えて聴覚によっても動体の次の動きをユーザは把握できるようになり、多面的に次の動きをより確実に予測できる。その結果、ダンス及びスポーツ等の動作を指導する動画コンテンツにおける指導内容を、より強くユーザにアピールして指導力を高められる。
【００２６】
本発明にあっては、動体の一時停止状態（ポーズ状態）を検索する指示を受け付けると、基準値を下回る差分に係るフレームを特定し、そのフレームに方向情報を付加して画像の表示処理を行うので、ユーザとしては、一連の動作の中でポーズ状態を素早く表示できると共に、そのポーズ状態を起点として次ぎの動作を学ぶことができ、ポーズごとに動きを学びたい場合に有効な機能を提供できる。
【発明の効果】
【００２７】
本発明にあっては、モーションキャプチャ技術により得られる動作情報を利用して、動作情報の差分を求めると共に、その差分に基づいて方向情報を生成し、動画表示処理の対象となるフレームに付加するので、次の動作を示す方向情報を自動で表示でき、従来必要であった動作方向を表す画像編集作業を不要にできる。
また、本発明にあっては、予め動作情報の差分を求めて記憶すると共に、動画表示処理の際に、記憶する差分に基づき方向情報を生成してフレームに付加することも可能であり、この場合は装置の処理負荷を低減できる。
【００２８】
本発明にあっては、算出した差分が基準値を下回る場合、方向情報を生成しないので、動体の微妙な動きに対しては方向情報が表れなくなり、方向情報が過度に表示されることを防止できる。
【００２９】
また、本発明にあっては、動く方向を表す画像を生成するので、次に動体が動く方向を一目でユーザは把握できる。
さらに、本発明にあっては、生成する画像形態を比較結果に基づいて変更するので、表示される画像の形態により、次の動体の動く量までユーザは予測できる。
さらにまた、本発明にあっては、動く方向を表す文字が生成されるため、表示画面中の文字を読むことで、ユーザは確実に次の動きを把握できる。
【００３０】
本発明にあっては、一定の間隔ごとのフレームに方向情報を付加するので、方向情報を同一のタイミングでユーザに表示でき、ユーザ側は周期的に動きを把握できる一方、装置側としては、方向情報の付加処理を定型的に効率良く行える。
【００３１】
また、本発明にあっては、基準値を下回る差分に係るフレームに方向情報を付加するので、動体の動きが小さいとき、又は動体が一時的に停止しているとき（ポーズ状態のとき）に方向情報を表示でき、次の動作が始まる前にタイミング良く方向情報をユーザに提示できる。
【００３２】
さらに、本発明にあっては、動画に付帯する楽曲の拍子に応じたフレームに方向情報が付加されるので、楽曲のリズムに合わせて方向情報をユーザに提示でき、ユーザは楽曲に合った自然なリズムで方向情報を確認できる。
【００３３】
本発明にあっては、差分に対応する音声を音声テーブルから特定して出力処理を行うので、方向情報及び音声と云う視覚及び聴覚の両方により、動体の次の動きをユーザへ確実に伝えることができる。
【００３４】
本発明にあっては、動体の一時停止状態（ポーズ状態）を検索する指示を受け付けると、基準値を下回る差分に係るフレームを特定し、そのフレームに方向情報を付加して画像の表示処理を行うので、一連の動作の中でポーズ状態を素早く見ることができ、ダンス及びスポーツの動き等を学習する場合、ポーズを起点として次ぎの動作を効率的に学習できる。
【発明を実施するための最良の形態】
【００３５】
図１は、本発明の実施形態に係る表示処理装置１を示している。本実施形態の表示処理装置１は、汎用のパーソナルコンピュータを適用しており、コンピュータ本体１ａに、各種映像、画像等を表示するディスプレイ装置１０、並びにユーザからの操作指示を受け付けるキーボード１１及びマウス１２を接続している。表示処理装置１は、モーションキャプチャ技術により得られたモーションデータ（動作情報に相当）をフレームごとに含んだ動画データを予め記憶しており、動画再生の際、そのモーションデータにより時間的に前後する動体の動きの差を把握して、次の動体の動作方向を示す矢印画像（方向情報に相当）を生成して映像中に自動で表示できるようにしたことが特徴である。以下、表示処理装置１について詳説する。
【００３６】
表示処理装置１は、コンピュータ本体１ａの内部において、各種制御処理を行う制御部２（プロセッサ）に、ＲＡＭ３、ＲＯＭ４、表示用インタフェース５、操作部インタフェース６、音声出力処理部７、及びハードディスク装置９を内部バス１ｂで接続している。ＲＡＭ３は制御部２の処理に従うデータ及びフォルダ等を一時的に記憶し、ＲＯＭ４は制御部２が行う基本的な処理内容を規定したプログラム等を予め記憶している。
【００３７】
表示用インタフェース５は、本実施形態の表示処理装置１では外部機器になるディスプレイ装置１０と接続されており、動画データの表示処理を行って再生した映像をディスプレイ装置１０へ順次送って、ディスプレイ装置１０の画面１０ａに映像を表示する処理を行う。また、操作部インタフェース６は、キーボード１１及びマウス１２が接続され、図７（ａ）（ｂ）に示すメニュー画面１８、１９等に対するユーザからの指示を受け付けると共に、受け付けた指示内容を制御部２へ伝える処理を行う。さらに、音声出力処理部７は音声出力手段及び再生手段として機能し、スピーカ８を接続すると共に、楽曲データ及び音声データ等を制御部２の制御指示に基づいて再生及び増幅等の処理を行って、再生音をスピーカ８から出力する処理を行う。
【００３８】
ハードディスク装置９は、各種プログラム及びデータ等を記憶し、本実施形態ではプログラムとして、コンピュータ本体１ａを作動させる上でベースとなる処理を規定したシステムプログラム１４、本発明に係る表示処理を規定した表示処理プログラム（本発明のコンピュータプログラムに相当）１５、モーションキャプチャ技術に基づく表示処理対象となる動画データＤ、次の動作を音声で指示するための音声データを格納した音声テーブルＴ、各種処理判断で基準及び判別用の値を含む閾値データ１６、及びメニュー画像データ１７等を記憶している。
【００３９】
ハードディスク装置９に記憶される本実施形態の動画データＤは、ダンス指導用の動画コンテンツであり、ダンサーにマーカを付してモーションキャプチャ技術により、三次元空間におけるマーカの座標等を表すモーションデータを、動画（映像）を構成するフレーム単位で含ませた内容になっている。このような動画データＤは、再生時に視点を指定することで、ダンサーに応じた人体画像（動体に相当）の動きを所望の方向から眺めた映像を表示再生できるようになっている。
【００４０】
具体的な動体データＤのイメージは、図２に示すように、モーションデータに基づいて三次元コンピュータグラフィクス技術により作成されるダンサーを表す人体画像２０がＸ軸、Ｙ軸、Ｚ軸で構成されるＸＹＺ座標系に位置し、このＸＹＺ座標系とは相違するカメラ２２の撮像方向（再生時の視点方向に相当）及び位置を定めるためのＵＶＷ座標系を設け、ＸＹＺ座標系とＵＶＷ座標系との相対関係を規定することで、ユーザが所望する方向及び位置からの映像表示が可能になる。
【００４１】
また、三次元コンピュータグラフィックス技術により作成される人体画像２０（図３（ａ）参照）は、図３（ｂ）に示すように、人体の骨に相当するボーンＢと云う棒状のリンク部材を連結したものに、人体の皮膚に相当するスキンを被せて作成されている。さらに、図３（ｂ）に示すボーンＢの各所に付された点Ｐ１〜Ｐ１７が、オリジナルのダンサーに付されたマーカ位置に相当し、これら各点Ｐ１〜Ｐ１７ごとにモーションデータが存在している。なお、図３（ｂ）に示す各点Ｐ１〜Ｐ１７の位置及び個数は一例であり、ダンサーに付すマーカの位置及び個数に応じて適宜変更できる。
【００４２】
図４は、動画データＤを構成する各時刻ごとのフレームで作成される人体画像２０のイメージを示す図である。動画データＤは、時刻ｔ１、ｔ２、ｔ３・・・におけるフレームｆ１、ｆ２、ｆ３・・・により構成されており、各フレームｆ１、ｆ２、ｆ３等に応じた画像を順次再生することで、各フレームｆ１、ｆ２、ｆ３等に含まれるダンサーを表した人体画像２０が動く映像（動画）を再生表示できる。なお、本実施形態の動画データＤは、１秒当たりのフレーム数を６０個（６０フレーム／秒）にしているが、この数値はあくまで一例であり、モーションデータを取得する際のフレーム数の範囲であれば、要求される動画品質に応じて適宜増減できる。
【００４３】
図５は、時刻ｔ１、ｔ２における第１フレームｆ１、第２フレームｆ２に含まれる人体画像２０に応じたモーションデータＭ１、Ｍ２の中身を概略的に示したものである。モーションデータＭ１、Ｍ２は、図３（ｂ）に示す各点Ｐ１〜Ｐ１７ごとに、図２に示すＸＹＺ座標系におけるＸ軸、Ｙ軸、Ｚ軸のそれぞれに対する回転角度、及び座標値を有する。このようなフレームごとのモーションデータに基づいて、図４に示す各フレームに含まれる人体画像２０（視点が人体画像２０の正面から視点の場合）が作成される。なお、回転角度は、図２中、Ｘ、Ｙ、Ｚ軸に付した矢印方向がそれぞれプラス（＋）、及びマイナス（−）方向になる。
【００４４】
また、図６は、ハードディスク装置９に記憶される音声テーブルＴの中身を示している。音声テーブルＴは、後述する表示処理プログラム１５が規定する処理により得られるモーションデータの差分と、音声データを対応付けたものであり、具体的には時間的に前後するフレーム間での各点Ｐ１〜Ｐ１７に対するモーションデータに含まれる各要素（回転角度、座標）の差分状況に対して、それぞれ専用の音声データが対応付けられている。
【００４５】
例えば、人体画像２０の頭部頂点となる点Ｐ１に対するＸ軸の回転角度の差分がプラスになる場合、「頭を前に振って」と云う内容の音声データＡが対応付けてあり、点Ｐ１に対するＸ軸の回転角度の差分がマイナスになる場合、「頭を後に振って」と云う内容の音声データＢが対応付けてある。また、人体画像２０の左腕先端となる点Ｐ６に対するＹ軸における回転角度の差分がプラスになる場合、「左腕を上げて」と云う内容の音声データＣが対応付けてあり、点Ｐ６に対するＹ軸の回転角度の差分がマイナスになる場合、「右腕を下げて」と云う内容の音声データＤが対応付けてある。このように音声テーブルＴは、各点Ｐ１〜Ｐ１７の各軸における回転角度の差分状況がプラス及びマイナスの場合に上述したような内容の音声データを対応付けている。
【００４６】
なお、各軸における回転角度の０度は、Ｘ軸については図２中、Ｘ軸に平行で且つＸ軸の正から負の方向にＹＺ平面を眺めた場合で、Ｙ軸の負側が０度であり、反時計方向がプラスの回転角度、時計回転方向がマイナスの回転角度になる。また、Ｙ軸においては、Ｙ軸に平行で且つＹ軸の正から負の方向にＸＺ平面を眺めた場合で、Ｘ軸の正側が０度であり、反時計回転方向が正方向、時計回転方向が負方向になる。さらに、Ｚ軸においては、Ｚ軸に平行で且つＺ軸の正から負の方向にＸＹ平面を眺めた場合で、Ｘ軸の負側が０度であり、反時計回転方向が正方向、時計回転方向が負方向になる。
【００４７】
また、音声テーブルＴは、モーションデータ中の座標値の差分状況に応じた音声データも対応付けており、例えば、人体の左腕先端となる点Ｐ６に対するＸ軸に対する座標の差分がプラスになる場合、「左腕を横に伸ばして」と云う内容の音声データＥが対応付けてある。
【００４８】
一方、図７（ａ）（ｂ）に示すメニュー画面１８、１９は、ハードディスク装置９に記憶されるメニュー画像データ１７に対応する内容の一例である。図７（ａ）のメニュー画面１８は、表示処理プログラム１５を起動させた場合、最初に表示されるメニュー内容に相当し、「視点方向設定」と云う第１ボタン１８ａ、「映像再生」と云う第２ボタン１８ｂ、「一時停止検索」と云う第３ボタン１８ｃ（一時停止状態の検索指示を受け付ける受付手段に相当）、「終了」と云う第４ボタン１８ｄを有している。なお、第１ボタン１８ａは、キーボード１１又はマウス１２の操作により選択された場合、図７（ｂ）に示す視点選択用のメニュー画面１９が表示されることが、表示処理プログラム１５により規定されている。
【００４９】
図７（ｂ）のメニュー画面１９は、視点方向を選択するための矢印形の方向ボタン１９ａ〜１９ｅを有すると共に、決定ボタン１９ｆを有する。人体に対して前後、左右、及び上の５方向のいずれかの視点を特定する方向ボタン１９ａ〜１９ｅの中で一つが指定選択された状態で、決定ボタン１９ｆが選択されると、指定された方向で視点が決定されて、図７（ａ）のメニュー画面１８に表示が戻ることが、表示処理プログラム１５により規定されている。なお、図７（ｂ）のメニュー画面１９に基づく視点方向の指定の仕方は一例であり、他の指定の仕方を適用することも勿論可能であり、例えば、マウス１２の操作により３６０度のいずれの角度を指定するようにしてもよい。
【００５０】
また、図７（ａ）の第２ボタン１８ｂが選択された場合、表示処理プログラム１５が動画データＤの再生処理を開始する。なお、再生処理の開始後に、キーボード１１の複数のキー（例えば、ＡＬＴキーとＦ４キー）が同時に操作されると、表示処理装置１は再生停止指示を受け付けたことになる。さらに、第３ボタン１８ｃが選択された場合、後述する一時停止状態の検索処理が開始される。さらにまた、第４ボタン１８ｄが選択された場合、表示処理プログラム１５の全ての処理が終了する。
【００５１】
次に、表示処理プログラム１５が規定する処理内容について説明する。表示処理プログラム１５は、制御部２が行う制御処理内容を規定しており、起動すると、先ず、図７（ａ）のメニュー画面１８のメニュー画像データ１７を読み出して、表示用インタフェース５から出力して、ディスプレイ装置１０の画面１０ａにメニュー画面１８を表示させる処理を制御部２に行わせることを規定している。また、メニュー画面１８を表示して、「視点方向設定」の第１ボタン１８ａが選択されたことが操作部インタフェース６から制御部２に伝えられると、図７（ｂ）のメニュー画面１９を表示して視点方向の指定選択の操作に伴い制御部２が映像再生に係る視点方向を決定することを規定している。
【００５２】
さらに、表示処理プログラム１５は、第２ボタン１８ｂの選択に基づき動画データＤの動画表示処理を行う際に、表示処理対象となるフレームと、その後のフレームのそれぞれに含まれるモーションデータの差分を制御部２が算出手段として算出することを規定する。例えば、図４に示す時刻ｔ１の第１フレームｆ１の表示処理を行う際、その第１フレーム１と、時刻ｔ２の第２フレームｆ２のそれぞれに含まれるモーションデータが有する各点Ｐ１〜Ｐ１７ごとの要素（回転角度、座標）の差分を制御部２が算出する。
【００５３】
さらにまた、表示処理プログラム１５は、算出された差分の結果が、ハードディスク装置９に記憶される閾値データ１６に含まれる回転角度用の基準値、及び座標用の基準値を下回るか否かを制御部２が検出手段として検出することを規定する。本実施形態の回転角度用の基準値は「２５度」と云う値になっており、座標用の基準値は座標軸における「２０目盛り分」と云う値になっている。制御部２は、各点Ｐ１〜Ｐ１７に対して算出した差分結果の中で、回転角度に対する各点ごとの結果が「２５度」を下回るか否かを検出すると共に、座標に対する各点ごとの結果が「２０目盛り分」を下回るか否かを検出する。なお、上述した各基準値（２５度、２０目盛り分）は、あくまで一例であり、他の値を適用することも勿論可能である。
【００５４】
上述した検出処理で、全ての点における回転角度及び座標に対する結果が、基準値を下回る場合は、時間的に前後するフレーム間における人体画像２０の動きは、動作に該当しない程度の体の振れ、又は人体画像２０が一連の動作における一時停止状態（ポーズ状態）と判断できるため、動作方向を表す矢印画像を生成しないことを、表示処理プログラム１５は規定している。
【００５５】
また、上述した検出処理で、各点のいずれか１つでも回転角度及び座標に対する結果が、基準値を下回らない場合、表示処理プログラム１５は矢印画像を生成することを規定している。なお、矢印画像の生成は、主に人体画像２０の六つの部分（頭部、左腕、右腕、胴体部分、左脚、右脚）に分けて行われ、具体的には図３（ｂ）において頭部に相当する点Ｐ１及びＰ２、左腕に相当する点Ｐ５及びＰ６、右腕に相当する点Ｐ８及びＰ９、胴体部分に相当する点Ｐ３、Ｐ４、Ｐ７、Ｐ１０、Ｐ１１、左脚に相当する点Ｐ１２〜Ｐ１４、右脚に相当する点Ｐ１５〜Ｐ１７のそれぞれに部分ごとに、最も大きい動作量の大きい点（回転角度の差分絶対値及び座標の差分絶対値が最も大きい点）に対して矢印画像が生成される。
【００５６】
図８は、時間的に前後するフレーム間での右腕の動きを示しており、点Ｐ８、９に係る実線のボーンＢは時間的に前側のフレームにおける右腕の状態を示し、点Ｐ８′、９′に係る波線は時間的に後ろ側のフレームにおける右腕の状態を示している。なお、図８は、図２に示す視点方向（Ｙ軸方向に平行で且つＹ軸方向の正から負へ向かう方向）に基づく図である。図８に示す動きの場合では、右腕先端に相当する点Ｐ９の方が、右腕の肘部分に相当する点８より動作量が大きいため、点Ｐ９が矢印画像の生成対象になる。
【００５７】
図８の場合、時間的に前側のフレームにおける点Ｐ９に対する各座標値が（Ｘ、Ｙ、Ｚ）＝（２０、６０、０）、各座標に対する回転角度が（Ｘ、Ｙ、Ｚ）＝（１００度、１８０度、３０度）であり、時間的に後ろ前側のフレームにおける点Ｐ９′の各座標値が（Ｘ、Ｙ、Ｚ）＝（５０、６０、１４０）、各座標に対する回転角度が（Ｘ、Ｙ、Ｚ）＝（１００度、１４０度、３０度）であるとすると、座標値に対する差分結果は（３０、０、１４０）、回転角度に対する差分結果は（０度、−４０度、０度）になる。
【００５８】
上述して得られた座標値の差分結果は、時間的に前側のフレームにおける点Ｐ９から、時間的に後ろ側のフレームにおける点Ｐ９′へ向かうベクトルデータとなるため、このベクトルデータ及び回転角度に対する差分結果に応じた矢印画像２５を制御部２が生成することを、表示処理プログラム１５は規定している。なお、生成される矢印画像２５は同一寸法であり、矢印画像の後端２５ａが、差分結果において対象となる点Ｐ９に一致させられると共に、矢印画像２５の先端２５ｂが、回転角度に対する差分結果による回転方向で且つベクトルデータ（差分結果）の表す向きに合わせられる。
【００５９】
また、生成された矢印画像２５は図９（ａ）（ｂ）に示すように、人体画像２０と、視点方向及び視点位置を決定するカメラ２２との間に位置するように、差分の算出対象となった前側のフレームに制御部２が付加手段として付加する処理を行うことを、表示処理プログラム１５は規定している。図９（ｂ）中、人体画像２０のＹ座標の値をｙ１、矢印画像２５の配置箇所に対するＹ座標の値をｙ２、カメラ２２のＹ座標の値をｙ３とした場合、ｙ１＜ｙ２＜ｙ３の関係が成立する。なお、フレームの画像中に含まれる人体画像２０も、表示処理プログラム１５の三次元コンピュータグラフィックス技術に基づいて規定した処理内容に従って制御部２が作成している。このように矢印画像２５の配置を、人体画像２０及びカメラ２２の間にすることで、カメラ２２からの視点方向による表示において、矢印画像２５が、人体画像２０によって隠れてしまう（埋もれてしまう）ことがなくなり、良好に矢印画像２５をユーザに見せることができる。
【００６０】
さらに、表示処理プログラム１５は、上述したように作成した人体画像２０及び矢印画像２５を含むフレームに対して、表示処理を行うことを規定しており、制御部２が上記フレームを表示用インタフェース５へ送る制御を行って、表示処理が行われた再生画像がディスプレイ装置１０の画面１０ａに表示される。
【００６１】
また、表示処理プログラム１５は、矢印画像２５に関する処理に加えて、音声データの出力処理も規定している。具体的には、上述したモーションデータの差分算出により、人体画像２０の各部分（頭部、左腕、右腕、胴体部分、左脚、右脚）ごとに、何れか点に対する差分絶対値が求まると、その差分絶対値に対応する音声データを図６の音声テーブルＴから制御部２が音声特定手段として特定することを、表示処理プログラム１５は規定している。また、特定した音声データは制御部２の制御により、矢印画像２５含むフレームをディスプレイ装置１０に表示する処理に同期させて、音声出力処理部７へ送られてスピーカ８から出力される。
【００６２】
制御部２は、上述したような矢印画像２５の表示及び音声の出力に係る処理を、動画表示処理に連係してリニアに行い、表示処理プログラム１５は、ユーザにより動画再生の停止指示を受けた場合、又は最後フレームの表示処理を行うまで、上述した処理を継続することを規定している。
【００６３】
図１０の第１フローチャートは、上述した表示処理プログラム１５が規定する矢印画像２５に係る表示及び音声出力に係る処理手順（表示処理方法の内容）を整理したものである。以下、この第１フローチャートに従って、表示処理プログラム１５が起動してからの表示処理装置１における一連の処理内容を説明する。
【００６４】
先ず、表示処理装置１は、表示処理プログラム１５の起動に伴って表示する図７（ａ）のメニュー画像１８で、ユーザからの映像再生の指示を受け付けたか否かを判断する（Ｓ１）。指示を受け付けていない場合（Ｓ１：ＮＯ）、指示待ちとなり、指示を受け付けた場合（Ｓ１：ＹＥＳ）、図４の第１フレームｆ１と、第２フレームｆ２とのそれぞれに含まれるモーションデータの差分を算出する（Ｓ２）。それから、表示処理装置１は、算出した全ての点Ｐ１〜Ｐ１７に対する差分が、閾値データ１６の基準値を下回るか否かを判断する（Ｓ３）。
【００６５】
全ての点Ｐ１〜Ｐ１７に対する差分が、閾値データ１６の基準値を下回る場合（Ｓ３：ＹＥＳ）、表示処理装置１は、矢印画像２５を生成することなく、第１フレームｆ１の表示処理を行う（Ｓ６）。この場合（Ｓ３：ＹＥＳ）に表示される画面内容は、従来と同様に人体画像２０のみが表されたものになる（図４参照）。
【００６６】
一方、全ての点Ｐ１〜Ｐ１７に対する差分が、閾値データ１６の基準値を下回らない場合（Ｓ３：ＮＯ）、表示処理装置１は、算出した差分の値に基づいて対象となる点Ｐ１〜Ｐ１７のいずれかに対して矢印画像２５を生成する（Ｓ４）。また、矢印画像２５の生成と共に、表示処理装置１は音声テーブルＴの中から、差分の値に対応する音声データの特定も行う。それから、表示処理装置１は、作成した人体画像２０の画像を含む第１フレームｆ１に、生成した矢印画像２５を図９（ａ）（ｂ）に示す位置関係で付加してから（Ｓ５）、第１フレームｆ１の表示処理を行い、ディスプレイ装置１０に人体画像２０及び矢印画像２５を表示する（Ｓ６）。なお、この際、表示処理装置１は、特定した音声データの再生処理を行って、第１フレームｆ１の表示に合わせて音声（例えば、「左腕を上げて」と云う音声）をスピーカ８から出力する。
【００６７】
そして、表示処理装置１は、最終フレームまで表示処理を終了したか、又はユーザから再生停止指示を受け付けたか否かを判断する（Ｓ７）。最後まで表示処理が終了しておらず、且つ再生停止指示も受け付けていない場合（Ｓ７：ＮＯ）、次の時間的に前後するフレーム（図４の第２フレームｆ２と、第３フレームｆ３）のモーションデータの差分を算出し（Ｓ２）、以降、最終フレームまで表示処理を終了するか、又は再生停止指示を受け付けるまで、Ｓ２〜Ｓ７の処理段階を繰り返すことになる。また、最終フレームまで表示処理を終了した場合、又はユーザから再生停止指示を受け付けた場合（Ｓ７：ＹＥＳ）、表示処理装置１は一連の処理を終了する。
【００６８】
図１１は、上述した表示処理装置１の処理により順次表示される動画の各フレーム画像の内容を示したものである。図１１に示す各フレーム画像は、図４のフレーム画像に比べて、人体画像２０の次の動作方向を示す矢印画像２５が適宜付されているため、再生映像を見るユーザは、従来に比べて次の動作方向を予め把握できるため、ダンス又はスポーツ等の動作を学びやすくなっている。
【００６９】
しかも、本実施形態では、例えば、時刻ｔ１では「右腕上げて」、時刻ｔ２では「左腕上げて」、時刻ｔ３では「右腕下げて」及び「左腕下げて」と云う音声が表示される動作に応じて出力されるため、ユーザは視覚に加えて聴覚によっても、次の動作内容を把握でき、次の動作に対する準備、心構えを充分に行える。なお、図１１において、時刻ｔ４〜ｔ５の第４、第５フレームｆ４、ｆ５では、人体画像２０が一時停止状態であるため、図１０の第１フローチャートにおいて、矢印画像２５が生成されない処理ルート（Ｓ３：ＹＥＳ）を経た内容になっている。同様に時刻ｔ８、ｔ９間の人体画像２０の動作による差（モーションデータの差分）は小さく基準値を下回るため、時刻ｔ８の第８フレームｆ８においても矢印画像２５が付されていない。
【００７０】
また、図１に示すハードディスク装置９に記憶される表示処理プログラム１５は、上述した映像再生処理の他にも、動画データＤに含まれる人体画像２０の一時停止状態（ポーズ状態、又は動きの小さい状態）を検索する処理も規定している。一時停止状態の検索処理は、図７（ａ）の第３ボタン１８ｃの選択で開始され、最初に制御部２が動画データＤに含まれる時間的に前後するフレーム間のモーションデータの差分を算出することを、表示処理プログラム１５は規定している。また、算出した差分が閾値データ１６に含まれる上述した基準値を下回るか否かを制御部２が判別する。
【００７１】
制御部２が、基準値を下回る差分を特定した場合、その差分より後ろの時間帯の差分に基づき上記と同様に矢印画像２５を生成すると共に、差分の算出に係る前後のフレーム中に対して前側のフレームを特定し、そのフレームに矢印画像及び選択可能なボタン（図１３参照）を付加して、その状態でフレームの表示処理を行う。なお、このときの表示処理は、動画ではなく静止画の表示処理となる。
【００７２】
図１２の第２フローチャートは、上述した表示処理プログラム１５が規定する一時停止の検索処理手順を整理したものである。整理した内容を順次説明すると、先ず、表示処理装置１は、図７（ａ）のメニュー画像１８で、ユーザからの一時停止検索の指示を受け付けたか否かを判断する（Ｓ１０）。指示を受け付けていない場合（Ｓ１０：ＮＯ）、指示待ちとなり、指示を受け付けた場合（Ｓ１０：ＹＥＳ）、動画データＤに含まれる最初の第１フレームｆ１と、第２フレームｆ２とのそれぞれに含まれるモーションデータの差分を算出し（Ｓ１１）、算出した全ての点Ｐ１〜Ｐ１７に対する差分が、基準値を下回るか否かを判別する（Ｓ１２）。
【００７３】
全ての点Ｐ１〜Ｐ１７に対する差分が、基準値を下回らない場合（Ｓ１２：ＮＯ）、次に前後するフレーム（第２フレームｆ２、第３フレームｆ３）間のモーションデータの差分を算出し（Ｓ１１）、以降、算出した全ての点Ｐ１〜Ｐ１７に対する差分が基準値を下回るまで、Ｓ１１〜Ｓ１２の処理を繰り返すことになる。
【００７４】
また、全ての点Ｐ１〜Ｐ１７に対する差分が、基準値を下回る場合（Ｓ１２：ＹＥＳ）、表示処理装置１は、その基準値を下回る差分より前の差分に基づき矢印画像２５を生成し（Ｓ１３）、基準値を下回る差分に係るフレームに矢印画像等を付加し（Ｓ１４）、静止画としてフレームの表示処理を行う（Ｓ１５）。
【００７５】
図１３は、上述した一時停止検索処理を経て、ディスプレイ装置１０の画面１０ａに表示された静止画３０の一例を示しており、人体画像２０に矢印画像２５が付加されている。また、静止画３０には、再生開始ボタン３０ａ、次の一時停止状態の検索指示を受け付ける検索ボタン３０ｂ、処理を終わらせる終了ボタン３０ｃが設けられている。再生開始ボタン３０ａの選択操作が行われると、表示中の静止画３０に応じたフレーム以降の動画データＤに対して動画表示処理（図１０の第１フローチャートに示す内容）が開始される。また、検索ボタン３０ｂの選択操作が行われると、表示中の静止画３０に応じたフレーム以降の動画データＤに対して一時停止検索処理（図１２の第２フローチャートに示す内容）が開始される。
【００７６】
上述したような一時停止検索処理を行うことで、ユーザは動作を学ぶ上で起点となる一時停止状態を動画データＤの中から素早く見つけることができ、効率良く動作を学ぶことが可能となる。
【００７７】
なお、本発明は、上述した内容に限定されるものではなく、種々の変形例の適用が可能である。例えば、生成した矢印画像２５を付加するフレームは、一定の時間間隔（例えば５ミリ秒ごと）のフレームに順次付加するようにしてもよい。この場合、矢印画像２５の付加対象のフレームは、時間間隔で特定することができ、付加対象の特定に係る処理を簡略化できると共に、矢印画像２５も一定の間隔で表示されるようになり、ユーザとしては矢印画像２５が画面１０ａに表示されるタイミングを把握しやすくなる。
【００７８】
また、生成した矢印画像２５は、人体画像２０が一時停止状態又は動きが小さいときのフレームに付加してもよい。この場合は、矢印画像２５の生成に用いた差分の算出に関連した時間的に前後するフレームの中で前側のフレーム以前の時間帯に含まれるフレームに対して、モーションデータの差分を算出し、算出した差分が図１２の第２フローチャートのＳ１２の処理段階と同様に、基準値を下回るか否かを制御部２で判別する。制御部２が基準値を下回る差分を特定した場合、その特定した差分を算出するのに用いた前後の各フレームに矢印画像を付加する。このような処理を行うことで、例えば、図１１に示す人体画像２０が一時停止状態の第４フレームｆ４、第５フレームｆ５にも、第６フレームｆ６に付した矢印画像２５と同様の矢印画像２５が付加されることになる。そのため、人体画像２０が、一時停止状態又は動きが小さいときに、動作開始フレーム（図１１の場合、第６フレームｆ６）より前のフレーム（図１１の場合、第４及び第５フレームｆ４、ｆ５）から次の動作方向を示す矢印画像２５が現れるので、ユーザは前もって動きの向きを知ることが可能となり、動作を学びやすくなる。
【００７９】
さらに、図１４（ａ）に示すように、再生対象の動画データＤが、映像と共に再生される楽曲データ２３を付帯する場合、動画の表示処理に伴って再生処理が行われる楽曲データ２３の拍子（図１４（ｂ）のリズムＲ１、Ｒ２、Ｒ３、Ｒ４）に応じた表示処理対象のフレームに、生成した矢印画像２５を付加して、楽曲データ２３のリズムに合わせて矢印画像２５を表示してもよい。この場合、楽曲リズムに合わせて矢印画像２５が表示されるため、ユーザはリズム良く矢印画像２５を確認でき、特に、楽曲と共に動作を行うダンスの動きを学ぶ場合に好適な矢印画像表示を行える。
【００８０】
また、生成する矢印画像２５の形態は、モーションデータの差分の値に応じて変更させてもよい。この場合は、閾値データ１６の中に比較用の比較値（複数も可能）を含ませ、座標値に対する差分結果をスカラー量として制御部２が比較値と比較を行い、比較結果に基づき形態を変更して矢印画像を生成することになる。
【００８１】
具体的には、第１比較値として「６０」、第２比較値として「１００」と云う値を設定し、算出した差分結果（スカラー量）が第１比較値未満のとき、制御部２は、図１５（ａ）に示すように白色の矢印画像４０を生成する。以下、算出した差分結果（スカラー量）が第１比較値以上、第２比較値未満のときは、図１５（ｂ）に示すように灰色（図中、ハッチングで示す）の矢印画像４１を生成し、算出した差分結果（スカラー量）が第２比較値以上のときは、図１５（ｃ）に示すように黒色の矢印画像４２を生成する。このように生成する矢印画像の形態（色）を変更することで、ユーザは矢印画像の形態に応じて次ぎの動作量までも把握できるため、より次の動作への対応を行いやすくなる。
【００８２】
なお、矢印画像の形態のバリエーションとしては、図１５（ｄ）〜（ｆ）に示すように、第１比較値未満のときは図１５（ｄ）の短い矢印画像４５、第１比較値以上、第２比較値未満のときは図１５（ｅ）に示す中間長さの矢印画像４６、第２比較値以上のときは図１５（ｆ）に示す長い矢印画像４７にしてもよく、他にも矢印画像の寸法自体を変更すること、矢印画像の色の濃さを変更することも適用可能である。なお、矢印画像の形態を、より詳細に分ける場合は、３以上の比較値を用いることが好適であり、逆に処理を簡略化するときは１つの比較値のみを用いて比較処理を行ってもよい。
【００８３】
また、矢印画像生成（差分算出）に用いるフレーム数は２つに限定されるものではなく、時間的に前後する３つ以上のフレーム間の差分により矢印画像を生成してもよい。このように３つ以上のフレームを用いる場合は、対象となる点の軌跡も把握できるため、生成する矢印画像は直線ではなく、軌跡に応じた形状にしてもよい。
【００８４】
例えば、図１６に示すように矢印画像の生成対象となる右腕先端の点Ｐ９が、時間的に連続する計４個のフレームにおいて、円弧状の軌跡で動く場合、点Ｐ９の各フレーム間の複数の差分（座標値に応じた差分結果）のベクトルを繋ぎ合わせた円弧状の矢印画像５０を制御部２は生成する。この場合、矢印画像５０の形態により動作の軌跡を把握できるため、ユーザは細かい動き内容までを学ぶことができる。
【００８５】
さらに、動画表示処理時の制御部２の処理負担を低減するためには、予め時間的に前後するフレーム間のモーションデータの差分を算出すると共に、算出に関連するフレームと対応付けて図１のハードディスク装置９に差分結果を記憶しておき、動画表示処理時に記憶する差分の結果に基づき矢印画像２５を生成して、作成した人体画像２０の画像を含むフレームに付加してもよい。
【００８６】
図１７の第３フローチャートは、予め算出した差分を記憶した場合における変形例の表示処理プログラム１５が規定する処理手順（変形例の表示処理方法の内容）を示す。この第３フローチャートによれば、変形例の表示処理装置１は、先ず、図７（ａ）のメニュー画像１８で、ユーザからの映像再生の指示を受け付けたか否かを判断し（Ｓ２０）、指示を受け付けていない場合（Ｓ２０：ＮＯ）、指示待ちとなり、指示を受け付けた場合（Ｓ２０：ＹＥＳ）、記憶する差分に基づいて、矢印画像を生成し（Ｓ２１）、表示処理対象のフレームに、生成した矢印画像を付加し（Ｓ２２）、そのフレームの表示処理を行う（Ｓ２３）。
【００８７】
それから、表示処理装置１は、最終フレームまで表示処理を終了したか、又はユーザから再生停止指示を受け付けたか否かを判断し（Ｓ２４）、最後まで表示処理が終了しておらず、且つ再生停止指示も受け付けていない場合（Ｓ２４：ＮＯ）、次の表示対象となるフレームに対応付けられた差分に基づき矢印画像の生成を行う段階（Ｓ２１）に戻る。また、最終フレームまで表示処理を終了した場合、又はユーザから再生停止指示を受け付けた場合（Ｓ２４：ＹＥＳ）、表示処理装置１は処理を終了する。このように図１７の第３フローチャートの処理は、動画表示処理時の処理数が図１０の第１フローチャートに比べて減少しているため、処理能力の低い制御部２の場合に好適となる。なお、視点方向及び視点位置等が予め決まっている場合は、第３フローチャートにおけるＳ２１の処理段階での矢印画像の生成も予め行い、生成した矢印画像を各フレームに対応付けてハードディスク装置９に記憶しておき、動画表示処理時には、記憶する矢印画像を表示処理対象のフレームに付加するだけにして、更に処理負荷を低減することも可能である。
【００８８】
また、次の動作方向を示す方向情報として生成する画像は矢印画像以外にも、方向を表す画像として先細の画像、三角形状の画像等も適用できる。また、図１８の表示画像５５に示すように、算出した差分結果を表す文字５６を生成して、人体画像２０を含むフレームに付加して表示するようにしてもよい。このように文字５６を表示することで、より直接的にユーザへ指示を与えることができる。なお、文字５６は生成する以外に、図６の音声テーブルＴのように、動作を表す文字を各種差分内容に対応付けて格納する文字テーブルを設けてハードディスク装置９に記憶しておき、算出した差分内容に基づき文字テーブルから、対応する文字を特定してフレームに付加する処理を行うことも可能である。また、文字をフレームに付加する場合、上述した矢印画像も付加して、矢印画像と文字の両方で次の動作方向を明確にユーザへ示してもよい。
【００８９】
さらに、表示処理装置１の仕様を簡略化する場合は、図６に示す音声テーブルＴに係る処理を省略して、矢印画像のみを付す表示処理を行ってもよい。また、矢印画像２５を生成しないようにする基準値の値は、ユーザ側で自由に設定可能にしてもよい。この場合、微妙な動きに対してまで矢印画像２５を表示することを望むユーザは、基準値を小さく設定することになり（例えば、回転角度用の基準値として「１０度」、座標用の基準値として「１０目盛り分」）、また、大まかな動作を把握することを希望するユーザの場合は、基準値を大きく設定することになる（例えば、回転角度用の基準値として「３０度」、座標用の基準値として「３０目盛り分」）。なお、モーションデータの差分が、基準値を下回るか否かを検出する処理を省略して、少しでも動きがあるときは、常に矢印画像２５を表示する仕様にしてもよい。
【００９０】
また、処理に係る負担を少しでも軽減することを望む場合は、動体（人体）に関連付けられたモーションデータの差分算出処理において、各座標に対する回転角度と、各座標値のいずれか一方のみを用いて矢印画像２５を生成することも可能である。
【００９１】
さらに、本発明において、動体の対象となるのは人体に限定されるものではなく、モーションデータが関連付けられた動く物体であれば、全て適用可能である。そのため、例えば、図１９（ａ）に示す表示画像５６のように、物を動かして組み立てる際の組み立てマニュアル的な動画ビデオにも本発明を適用でき、この場合、移動して第１物体３１へ組み付けられる対象の第２物体２０′（動体に相当）の組み付け方向を矢印画像２５で表すことができ、しかも、視点方向を自由に変更することで、組み付け方を詳細に確認することが可能になる。さらにまた、図１９（ｂ）に示す表示画像５７のように、動体としてボール２０″の移動方向を矢印画像２５で表すことも可能である。
【００９２】
また、本発明の表示処理装置１としてはパーソナルコンピュータのコンピュータ本体１ａを用いる以外に、表示ディスプレイを具備した携帯型のパーソナルコンピュータ、ＰＤ、携帯電話機等も適用可能である。さらに、装置内のみで処理を完結させる以外に、図２０に示すネットワークシステム１００のように、サーバ装置１１０で上述した動画表示処理を行い、処理を行った動画をネットワークＮＷ及び中継基地局１００Ａ〜１００Ｎを通じて携帯電話機１２０のような端末装置へ配信し、端末装置で表示処理が行われた図１１に示す各画像を順次表示させることも可能である。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施形態に係る表示処理装置の主要な構成を示すブロック図である。
【図２】三次元空間における人体、及び視点方向の位置関係等を説明する概略図である。
【図３】（ａ）三次元コンピュータグラフィック技術により作成される人体画像を示す概略図、（ｂ）はモーションキャプチャ技術によるマーカに対応した点及びボーンを示す概略図である。
【図４】動画データを構成する各フレームに含まれる人体画像の状態を示す概略図である。
【図５】各フレームに含まれるモーションデータの内容を表した図である。
【図６】音声テーブルを示す図表である。
【図７】（ａ）は処理内容を選択するためのメニュー画面を示す概略図、（ｂ）は視点方向の設定用のメニュー画面を示す概略図である。
【図８】生成した矢印画像を示す概略図である。
【図９】（ａ）（ｂ）は生成した矢印画像の人体及びカメラに対する配置位置を説明するための図である。
【図１０】表示処理方法の処理内容を示す第１フローチャートである。
【図１１】生成した矢印画像を含む一連のフレームを示す概略図である。
【図１２】一時停止状態の検索処理内容を表した第２フローチャートである。
【図１３】検索に基づいて表示した画像を示す概略図である。
【図１４】（ａ）は楽曲データを付帯する動画データの概略図、（ｂ）は楽曲の拍子に合わせた矢印画像の表示タイミングを示すタイムチャートである。
【図１５】（ａ）〜（ｃ）は差分に応じて色を変更した変形例の矢印画像を示す概略図、（ｄ）〜（ｅ）は差分に応じて長さを変更した別の変形例の矢印画像を示す概略図である。
【図１６】円弧状の変形例の矢印画像である。
【図１７】予め差分を算出して記憶した場合の処理手順を示す第３フローチャートである。
【図１８】動作方向を表す文字を付加した表示画像を示す概略図である。
【図１９】（ａ）は物体を組み立てる場合の表示画像を示す概略図、（ｂ）は移動するボールの表示画像を示す概略図である。
【図２０】本発明を適用したネットワークシステムを示す概略図である。
【符号の説明】
【００９４】
１ 表示処理装置
２ 制御部
５ 表示用インタフェース
６ 操作部インタフェース
７ 音声出力処理部
８ スピーカ
９ ハードディスク装置
１０ ディスプレイ装置
１１ キーボード
１２ マウス
１５ 表示処理プログラム
１６ 閾値データ
１７ メニュー画像データ
２０ 人体画像
２２ カメラ
２５ 矢印画像
Ｄ 動画データ
Ｍ１、Ｍ２ モーションデータ
Ｔ 音声テーブル
Ｐ１〜Ｐ１７ 点
【技術分野】
【０００１】
本発明は、モーションデータを有する動体の動画表示処理を行う際に、動体の次の動きを表す方向情報を自動付加して表示処理を行うようにした表示処理装置、表示処理方法、及びコンピュータプログラムに関する。
【背景技術】
【０００２】
従来、様々な動画コンテンツ（ビデオ）が存在し、例えば、ダンス及びスポーツ等の動きに関する指導を行うために、ダンスのステップ及びスポーツにおける体の動かし方等を実写、アニメーション画像等で表現した指導用ビデオがある。これらの指導用ビデオでは、次の動き予め示すための矢印を画像中に挿入したものもある（例えば、特許文献１の図７〜１３）。
【０００３】
また、上述した動画コンテンツを所謂モーションキャプチャ技術を用いて作成することが行われている（特許文献２参照）。モーションキャプチャとは、人体の所要箇所にデータ取得対象となるマーカを複数取り付けた状態で、その人にダンス及びスポーツの動きを行ってもらうことにより、三次元座標におけるマーカを付した箇所の座標値及び角度を表すモーションデータ（動作情報）を取得するものである。このように取得されたモーションデータを利用して人体を表す画像が動作を行う内容の動画コンテンツを作成でき、モーションデータに基づく動画コンテンツは視点変更（表示する方向の変更）を容易に行うことができる。
【０００４】
さらに、特許文献３では、実写映像と、コンピュータグラフィックによるキャラクタ画像を三次元情報に基づいて合成した映像を作成することが開示されている。
【特許文献１】特開平１０−３１９９５７号公報
【特許文献２】特開平１０−２２２６６８号公報
【特許文献３】特開２０００−２３０３７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
指導用ビデオでのように、動きを示す矢印を挿入することは、映像編集者が被写体における各部の動きを見ながら矢印画像を手作業で付加する編集作業が必要なため、非常に手間を要すると云う問題がある。また、モーションキャプチャ技術によるモーションデータを利用して作成された動画コンテンツに対しても、動きを示す矢印を挿入する場合は、上記と同様に手作業による編集が必要になっていた。特に複数視点での動画表示を行う場合は、視点ごとに対応した矢印画像が必要となるため、編集作業量が膨大になると云う問題がある。
【０００６】
なお、特許文献３は、実写映像と、キャラクタ画像を三次元情報に基づいて単に合成するだけものであるため、被写体であるモデルの動きに応じて、動きを示す矢印画像を合成することまでは行えない。
【０００７】
本発明は、斯かる事情に鑑みてなされたものであり、モーションキャプチャ技術により得られたモーションデータ（動作情報）を利用することにより、手作業による編集を行うことなく、動体の次に動く方向を示す方向情報を自動で付加できるようにした表示処理装置、表示処理方法、及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために本発明に係る表示処理装置は、フレームごとに動体の動作情報を含む動画の表示処理を行う表示処理装置において、前記動作情報を記憶する手段と、記憶された動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出する算出手段と、算出した差分に基づいて、動体の動く方向を表す方向情報を生成する生成手段と、生成した方向情報をフレームに付加する付加手段と、方向情報を付加したフレームの表示処理を行う手段とを備えることを特徴とする。
【０００９】
また、本発明に係る表示処理装置は、前記算出手段が算出した差分が、基準値を下回るか否かを検出する手段を備え、前記差分が基準値を下回ることが検出された場合、前記生成手段は方向情報を生成しないようにしてあることを特徴とする。
【００１０】
さらに、本発明に係る表示処理装置は、前記生成手段は、方向情報として動体の動く方向を表す画像を生成することを特徴とする。
さらにまた、本発明に係る表示処理装置は、前記算出手段が選出した差分と比較値との比較を行う比較手段を備え、前記生成手段は、前記比較手段の比較結果に基づいて生成する画像の形態を変更するようにしてあることを特徴とする。
また、本発明に係る表示処理装置は、前記生成手段は、方向情報として動作の動く方向を表す文字を生成することを特徴とする。
【００１１】
本発明に係る表示処理装置は、前記付加手段は、一定の時間間隔ごとのフレームに方向情報を付加することを特徴とする。
また、本発明に係る表示処理装置は、前記方向情報に応じた差分の算出に係るフレーム以前の時間帯に含まれるフレームに対応した動作情報の差分の中で、基準値を下回る差分を特定する特定手段を備え、前記付加手段は、前記特定手段が特定した差分に係るフレームに方向情報を付加することを特徴とする。
さらに、本発明に係る表示処理装置は、動画には楽曲が付帯してあり、動画の表示処理に伴って楽曲の再生処理を行う再生手段を備え、前記付加手段は、前記再生手段で再生処理が行われる楽曲の拍子に応じた表示処理対象のフレームに方向情報を付加することを特徴とする。
【００１２】
本発明に係る表示処理装置は、動作情報の差分及び音声を対応付けた音声テーブルと、前記音声テーブルから、前記算出手段が算出した差分に対応する音声を特定する音声特定手段と、特定した音声の出力処理を行う音声出力手段とを備えることを特徴とする。
【００１３】
また、本発明に係る表示処理装置は、動体の一時停止状態の検索指示を受け付ける受付手段と、該受付手段が検索指示を受け付けた場合、記憶された動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出する手段と、算出された差分の中で、基準値を下回る差分に係るフレームを特定するフレーム特定手段と、前記フレーム特定手段が特定したフレームに前記付加手段が方向情報を付加した状態で表示処理を行う手段とを備えることを特徴とする。
【００１４】
本発明に係る表示処理方法は、動画のフレームごとに含まれる動体の動作情報を記憶する表示処理装置が、動画の表示処理を行う表示処理方法において、前記表示処理装置は、記憶する動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出し、算出した差分に基づいて、動体の動く方向を表す方向情報を生成し、生成した方向情報をフレームに付加し、方向情報を付加したフレームの表示処理を行うことを特徴とする。
また、本発明に係る表示処理方法は、前記表示処理装置が、予め差分を算出して、算出した差分を記憶しておき、記憶した差分に基づいて方向情報を生成することを特徴とする。
【００１５】
本発明に係るコンピュータプログラムは、動画のフレームごとに含まれる動体の動作情報を記憶するコンピュータに、動画の表示処理を行わせるためのコンピュータプログラムにおいて、コンピュータを、記憶された動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出する算出手段と、該算出手段が算出した差分に基づいて、動体の動く方向を表す方向情報を生成する生成手段と、該生成手段が生成した方向情報をフレームに付加する付加手段と、方向情報を付加したフレームの表示処理を行う手段として機能させることを特徴とする。
【００１６】
本発明にあっては、モーションキャプチャ技術により得られる動作情報（モーションデータ）の差分に基づいて方向情報を生成し、表示処理対象となるフレームに付加するので、次の動作を示す方向情報を自動で表示できるようになる。その結果、手作業による編集を行わなくても、動体の次の動作方向を把握できる指導用ビデオ等を従来に比べてより低コスト且つ容易に制作可能となる。また、本発明では、モーションキャプチャ技術により得られる動作情報を利用するので、モーションキャプチャ技術で動作情報を得られる動体の映像であれば、あらゆる種類の動体の映像に対して本発明を適用することが可能であり、動体としては人体以外にも、移動するボール、移動して組み合わせられる物体同士なども該当する。なお、モーションキャプチャ技術により得られる動作情報は一般に、三次元座標系における各座標軸に対する角度（回転角度）、又は各座標軸に対する座標値の少なくともいずれか一方を含む。
【００１７】
また、本発明は、動画の表示処理を行う際にリアルタイム的に、動作情報の差分、及び差分に基づく方向情報の生成を行う以外に、予め動作情報の差分を算出すると共に、算出した差分を表示処理装置が記憶しておき、動画の表示処理を行う際に記憶する差分に基づき方向情報を生成してもよい。後者の場合、動画表示処理において表示処理装置の処理負担が軽減されるため、表示処理装置のプロセッサ能力が低いとき、又はネットワーク配信により動画表示処理を行った内容を配信する場合などに好適である。さらにまた、表示する動画の視点方向が定まっている場合は、予め差分を算出すると共に、算出した差分に基づいて、視点方向に応じた方向情報も生成し、生成した方向情報を表示処理装置が記憶しておき、動作表示処理を行う際に記憶する方向情報をフレームに付加して動画表示処理を行うことも可能であり、この場合は一段と処理負担の低減を図れる。
【００１８】
本発明にあっては、算出した差分が基準値を下回る場合、方向情報を生成しないので、動体の動作が基準値を下回るレベルであるときは、方向情報が表示されなくなる。そのため、動体の微妙な動きは切り捨てられて方向情報の付加対象にならないので、方向情報が過度に表示されることを防止できる。
【００１９】
本発明にあっては、動く方向を表す画像を生成するので、動画表示処理により表示画面中に付加された画像により、次に動体が動く方向を一目でユーザは把握できるようになる。なお、画像としては、方向を示す矢印の画像が好適であるが、方向を表すことが可能なクサビ形のような先細の画像等も適用可能である。
【００２０】
本発明にあっては、生成する画像の形態を、比較結果に基づいて変更するので、表示される画像の形態を見ることで、ユーザは動体の動く量を予測できるようになり、現在表示されている動体の次の動きを詳細に把握可能となる。なお、形態の変更例としては、動体の動く量が大きいほど画像を大きくすること、画像を長くすること、画像の色を濃くすること等が該当し、特に方向情報に相当する画像が矢印画像の場合には、動体の動く量が大きいほど鏃部分を大きくすることなども適用できる。
【００２１】
本発明にあっては、動く方向を表す文字が生成されるので、表示画面中には動体の次の動作方向を表す文字が示され、ユーザは確実に次の動きを把握できるようになる。具体的には、ダンスの指導用の動画コンテンツの場合で、モデルが次のフレームで右腕を上げるシーンになるとき、表示画面中には「右腕を上げて！」と云う文字が表示されるようになる。なお、文字及び画像の両方を表示して、次の動く方向をより把握しやすくすることも勿論可能である。
【００２２】
本発明にあっては、一定の間隔ごとのフレームに方向情報を付加するので、方向情報が同一の間隔で表示されるようになり、方向情報の付加を定型的な処理で行うことができ、方向情報の付加に対してスムーズな処理の流れを作ることができる。
【００２３】
本発明にあっては、基準値を下回る差分に係るフレームに方向情報を付加するので、動体の動きが小さいとき、又は動体が一時的に停止しているとき（ポーズ状態のとき）に方向情報が表示されることになり、次の動作が始まる前にタイミング良く方向情報をユーザに提示して、動画を見るユーザが動体の次の動きを把握しやくなる。
【００２４】
本発明にあっては、動画に付帯する楽曲の拍子に応じたフレームに方向情報が付加されるので、楽曲のリズムに合わせて方向情報がユーザに提示されるようになる。そのため、ダンスの指導用の動画コンテンツのように、モデルが楽曲に合わせて動く場合、次の動きを示す方向情報も楽曲に合わせて表示されるため、ユーザは楽曲のリズム（拍子）に合わせて次の動きを把握でき、楽曲に応じた適切な動きをスムーズに学べる。
【００２５】
本発明にあっては、差分に対応する音声を音声テーブルから特定して出力処理を行うので、視覚に加えて聴覚によっても動体の次の動きをユーザは把握できるようになり、多面的に次の動きをより確実に予測できる。その結果、ダンス及びスポーツ等の動作を指導する動画コンテンツにおける指導内容を、より強くユーザにアピールして指導力を高められる。
【００２６】
本発明にあっては、動体の一時停止状態（ポーズ状態）を検索する指示を受け付けると、基準値を下回る差分に係るフレームを特定し、そのフレームに方向情報を付加して画像の表示処理を行うので、ユーザとしては、一連の動作の中でポーズ状態を素早く表示できると共に、そのポーズ状態を起点として次ぎの動作を学ぶことができ、ポーズごとに動きを学びたい場合に有効な機能を提供できる。
【発明の効果】
【００２７】
本発明にあっては、モーションキャプチャ技術により得られる動作情報を利用して、動作情報の差分を求めると共に、その差分に基づいて方向情報を生成し、動画表示処理の対象となるフレームに付加するので、次の動作を示す方向情報を自動で表示でき、従来必要であった動作方向を表す画像編集作業を不要にできる。
また、本発明にあっては、予め動作情報の差分を求めて記憶すると共に、動画表示処理の際に、記憶する差分に基づき方向情報を生成してフレームに付加することも可能であり、この場合は装置の処理負荷を低減できる。
【００２８】
本発明にあっては、算出した差分が基準値を下回る場合、方向情報を生成しないので、動体の微妙な動きに対しては方向情報が表れなくなり、方向情報が過度に表示されることを防止できる。
【００２９】
また、本発明にあっては、動く方向を表す画像を生成するので、次に動体が動く方向を一目でユーザは把握できる。
さらに、本発明にあっては、生成する画像形態を比較結果に基づいて変更するので、表示される画像の形態により、次の動体の動く量までユーザは予測できる。
さらにまた、本発明にあっては、動く方向を表す文字が生成されるため、表示画面中の文字を読むことで、ユーザは確実に次の動きを把握できる。
【００３０】
本発明にあっては、一定の間隔ごとのフレームに方向情報を付加するので、方向情報を同一のタイミングでユーザに表示でき、ユーザ側は周期的に動きを把握できる一方、装置側としては、方向情報の付加処理を定型的に効率良く行える。
【００３１】
また、本発明にあっては、基準値を下回る差分に係るフレームに方向情報を付加するので、動体の動きが小さいとき、又は動体が一時的に停止しているとき（ポーズ状態のとき）に方向情報を表示でき、次の動作が始まる前にタイミング良く方向情報をユーザに提示できる。
【００３２】
さらに、本発明にあっては、動画に付帯する楽曲の拍子に応じたフレームに方向情報が付加されるので、楽曲のリズムに合わせて方向情報をユーザに提示でき、ユーザは楽曲に合った自然なリズムで方向情報を確認できる。
【００３３】
本発明にあっては、差分に対応する音声を音声テーブルから特定して出力処理を行うので、方向情報及び音声と云う視覚及び聴覚の両方により、動体の次の動きをユーザへ確実に伝えることができる。
【００３４】
本発明にあっては、動体の一時停止状態（ポーズ状態）を検索する指示を受け付けると、基準値を下回る差分に係るフレームを特定し、そのフレームに方向情報を付加して画像の表示処理を行うので、一連の動作の中でポーズ状態を素早く見ることができ、ダンス及びスポーツの動き等を学習する場合、ポーズを起点として次ぎの動作を効率的に学習できる。
【発明を実施するための最良の形態】
【００３５】
図１は、本発明の実施形態に係る表示処理装置１を示している。本実施形態の表示処理装置１は、汎用のパーソナルコンピュータを適用しており、コンピュータ本体１ａに、各種映像、画像等を表示するディスプレイ装置１０、並びにユーザからの操作指示を受け付けるキーボード１１及びマウス１２を接続している。表示処理装置１は、モーションキャプチャ技術により得られたモーションデータ（動作情報に相当）をフレームごとに含んだ動画データを予め記憶しており、動画再生の際、そのモーションデータにより時間的に前後する動体の動きの差を把握して、次の動体の動作方向を示す矢印画像（方向情報に相当）を生成して映像中に自動で表示できるようにしたことが特徴である。以下、表示処理装置１について詳説する。
【００３６】
表示処理装置１は、コンピュータ本体１ａの内部において、各種制御処理を行う制御部２（プロセッサ）に、ＲＡＭ３、ＲＯＭ４、表示用インタフェース５、操作部インタフェース６、音声出力処理部７、及びハードディスク装置９を内部バス１ｂで接続している。ＲＡＭ３は制御部２の処理に従うデータ及びフォルダ等を一時的に記憶し、ＲＯＭ４は制御部２が行う基本的な処理内容を規定したプログラム等を予め記憶している。
【００３７】
表示用インタフェース５は、本実施形態の表示処理装置１では外部機器になるディスプレイ装置１０と接続されており、動画データの表示処理を行って再生した映像をディスプレイ装置１０へ順次送って、ディスプレイ装置１０の画面１０ａに映像を表示する処理を行う。また、操作部インタフェース６は、キーボード１１及びマウス１２が接続され、図７（ａ）（ｂ）に示すメニュー画面１８、１９等に対するユーザからの指示を受け付けると共に、受け付けた指示内容を制御部２へ伝える処理を行う。さらに、音声出力処理部７は音声出力手段及び再生手段として機能し、スピーカ８を接続すると共に、楽曲データ及び音声データ等を制御部２の制御指示に基づいて再生及び増幅等の処理を行って、再生音をスピーカ８から出力する処理を行う。
【００３８】
ハードディスク装置９は、各種プログラム及びデータ等を記憶し、本実施形態ではプログラムとして、コンピュータ本体１ａを作動させる上でベースとなる処理を規定したシステムプログラム１４、本発明に係る表示処理を規定した表示処理プログラム（本発明のコンピュータプログラムに相当）１５、モーションキャプチャ技術に基づく表示処理対象となる動画データＤ、次の動作を音声で指示するための音声データを格納した音声テーブルＴ、各種処理判断で基準及び判別用の値を含む閾値データ１６、及びメニュー画像データ１７等を記憶している。
【００３９】
ハードディスク装置９に記憶される本実施形態の動画データＤは、ダンス指導用の動画コンテンツであり、ダンサーにマーカを付してモーションキャプチャ技術により、三次元空間におけるマーカの座標等を表すモーションデータを、動画（映像）を構成するフレーム単位で含ませた内容になっている。このような動画データＤは、再生時に視点を指定することで、ダンサーに応じた人体画像（動体に相当）の動きを所望の方向から眺めた映像を表示再生できるようになっている。
【００４０】
具体的な動体データＤのイメージは、図２に示すように、モーションデータに基づいて三次元コンピュータグラフィクス技術により作成されるダンサーを表す人体画像２０がＸ軸、Ｙ軸、Ｚ軸で構成されるＸＹＺ座標系に位置し、このＸＹＺ座標系とは相違するカメラ２２の撮像方向（再生時の視点方向に相当）及び位置を定めるためのＵＶＷ座標系を設け、ＸＹＺ座標系とＵＶＷ座標系との相対関係を規定することで、ユーザが所望する方向及び位置からの映像表示が可能になる。
【００４１】
また、三次元コンピュータグラフィックス技術により作成される人体画像２０（図３（ａ）参照）は、図３（ｂ）に示すように、人体の骨に相当するボーンＢと云う棒状のリンク部材を連結したものに、人体の皮膚に相当するスキンを被せて作成されている。さらに、図３（ｂ）に示すボーンＢの各所に付された点Ｐ１〜Ｐ１７が、オリジナルのダンサーに付されたマーカ位置に相当し、これら各点Ｐ１〜Ｐ１７ごとにモーションデータが存在している。なお、図３（ｂ）に示す各点Ｐ１〜Ｐ１７の位置及び個数は一例であり、ダンサーに付すマーカの位置及び個数に応じて適宜変更できる。
【００４２】
図４は、動画データＤを構成する各時刻ごとのフレームで作成される人体画像２０のイメージを示す図である。動画データＤは、時刻ｔ１、ｔ２、ｔ３・・・におけるフレームｆ１、ｆ２、ｆ３・・・により構成されており、各フレームｆ１、ｆ２、ｆ３等に応じた画像を順次再生することで、各フレームｆ１、ｆ２、ｆ３等に含まれるダンサーを表した人体画像２０が動く映像（動画）を再生表示できる。なお、本実施形態の動画データＤは、１秒当たりのフレーム数を６０個（６０フレーム／秒）にしているが、この数値はあくまで一例であり、モーションデータを取得する際のフレーム数の範囲であれば、要求される動画品質に応じて適宜増減できる。
【００４３】
図５は、時刻ｔ１、ｔ２における第１フレームｆ１、第２フレームｆ２に含まれる人体画像２０に応じたモーションデータＭ１、Ｍ２の中身を概略的に示したものである。モーションデータＭ１、Ｍ２は、図３（ｂ）に示す各点Ｐ１〜Ｐ１７ごとに、図２に示すＸＹＺ座標系におけるＸ軸、Ｙ軸、Ｚ軸のそれぞれに対する回転角度、及び座標値を有する。このようなフレームごとのモーションデータに基づいて、図４に示す各フレームに含まれる人体画像２０（視点が人体画像２０の正面から視点の場合）が作成される。なお、回転角度は、図２中、Ｘ、Ｙ、Ｚ軸に付した矢印方向がそれぞれプラス（＋）、及びマイナス（−）方向になる。
【００４４】
また、図６は、ハードディスク装置９に記憶される音声テーブルＴの中身を示している。音声テーブルＴは、後述する表示処理プログラム１５が規定する処理により得られるモーションデータの差分と、音声データを対応付けたものであり、具体的には時間的に前後するフレーム間での各点Ｐ１〜Ｐ１７に対するモーションデータに含まれる各要素（回転角度、座標）の差分状況に対して、それぞれ専用の音声データが対応付けられている。
【００４５】
例えば、人体画像２０の頭部頂点となる点Ｐ１に対するＸ軸の回転角度の差分がプラスになる場合、「頭を前に振って」と云う内容の音声データＡが対応付けてあり、点Ｐ１に対するＸ軸の回転角度の差分がマイナスになる場合、「頭を後に振って」と云う内容の音声データＢが対応付けてある。また、人体画像２０の左腕先端となる点Ｐ６に対するＹ軸における回転角度の差分がプラスになる場合、「左腕を上げて」と云う内容の音声データＣが対応付けてあり、点Ｐ６に対するＹ軸の回転角度の差分がマイナスになる場合、「右腕を下げて」と云う内容の音声データＤが対応付けてある。このように音声テーブルＴは、各点Ｐ１〜Ｐ１７の各軸における回転角度の差分状況がプラス及びマイナスの場合に上述したような内容の音声データを対応付けている。
【００４６】
なお、各軸における回転角度の０度は、Ｘ軸については図２中、Ｘ軸に平行で且つＸ軸の正から負の方向にＹＺ平面を眺めた場合で、Ｙ軸の負側が０度であり、反時計方向がプラスの回転角度、時計回転方向がマイナスの回転角度になる。また、Ｙ軸においては、Ｙ軸に平行で且つＹ軸の正から負の方向にＸＺ平面を眺めた場合で、Ｘ軸の正側が０度であり、反時計回転方向が正方向、時計回転方向が負方向になる。さらに、Ｚ軸においては、Ｚ軸に平行で且つＺ軸の正から負の方向にＸＹ平面を眺めた場合で、Ｘ軸の負側が０度であり、反時計回転方向が正方向、時計回転方向が負方向になる。
【００４７】
また、音声テーブルＴは、モーションデータ中の座標値の差分状況に応じた音声データも対応付けており、例えば、人体の左腕先端となる点Ｐ６に対するＸ軸に対する座標の差分がプラスになる場合、「左腕を横に伸ばして」と云う内容の音声データＥが対応付けてある。
【００４８】
一方、図７（ａ）（ｂ）に示すメニュー画面１８、１９は、ハードディスク装置９に記憶されるメニュー画像データ１７に対応する内容の一例である。図７（ａ）のメニュー画面１８は、表示処理プログラム１５を起動させた場合、最初に表示されるメニュー内容に相当し、「視点方向設定」と云う第１ボタン１８ａ、「映像再生」と云う第２ボタン１８ｂ、「一時停止検索」と云う第３ボタン１８ｃ（一時停止状態の検索指示を受け付ける受付手段に相当）、「終了」と云う第４ボタン１８ｄを有している。なお、第１ボタン１８ａは、キーボード１１又はマウス１２の操作により選択された場合、図７（ｂ）に示す視点選択用のメニュー画面１９が表示されることが、表示処理プログラム１５により規定されている。
【００４９】
図７（ｂ）のメニュー画面１９は、視点方向を選択するための矢印形の方向ボタン１９ａ〜１９ｅを有すると共に、決定ボタン１９ｆを有する。人体に対して前後、左右、及び上の５方向のいずれかの視点を特定する方向ボタン１９ａ〜１９ｅの中で一つが指定選択された状態で、決定ボタン１９ｆが選択されると、指定された方向で視点が決定されて、図７（ａ）のメニュー画面１８に表示が戻ることが、表示処理プログラム１５により規定されている。なお、図７（ｂ）のメニュー画面１９に基づく視点方向の指定の仕方は一例であり、他の指定の仕方を適用することも勿論可能であり、例えば、マウス１２の操作により３６０度のいずれの角度を指定するようにしてもよい。
【００５０】
また、図７（ａ）の第２ボタン１８ｂが選択された場合、表示処理プログラム１５が動画データＤの再生処理を開始する。なお、再生処理の開始後に、キーボード１１の複数のキー（例えば、ＡＬＴキーとＦ４キー）が同時に操作されると、表示処理装置１は再生停止指示を受け付けたことになる。さらに、第３ボタン１８ｃが選択された場合、後述する一時停止状態の検索処理が開始される。さらにまた、第４ボタン１８ｄが選択された場合、表示処理プログラム１５の全ての処理が終了する。
【００５１】
次に、表示処理プログラム１５が規定する処理内容について説明する。表示処理プログラム１５は、制御部２が行う制御処理内容を規定しており、起動すると、先ず、図７（ａ）のメニュー画面１８のメニュー画像データ１７を読み出して、表示用インタフェース５から出力して、ディスプレイ装置１０の画面１０ａにメニュー画面１８を表示させる処理を制御部２に行わせることを規定している。また、メニュー画面１８を表示して、「視点方向設定」の第１ボタン１８ａが選択されたことが操作部インタフェース６から制御部２に伝えられると、図７（ｂ）のメニュー画面１９を表示して視点方向の指定選択の操作に伴い制御部２が映像再生に係る視点方向を決定することを規定している。
【００５２】
さらに、表示処理プログラム１５は、第２ボタン１８ｂの選択に基づき動画データＤの動画表示処理を行う際に、表示処理対象となるフレームと、その後のフレームのそれぞれに含まれるモーションデータの差分を制御部２が算出手段として算出することを規定する。例えば、図４に示す時刻ｔ１の第１フレームｆ１の表示処理を行う際、その第１フレーム１と、時刻ｔ２の第２フレームｆ２のそれぞれに含まれるモーションデータが有する各点Ｐ１〜Ｐ１７ごとの要素（回転角度、座標）の差分を制御部２が算出する。
【００５３】
さらにまた、表示処理プログラム１５は、算出された差分の結果が、ハードディスク装置９に記憶される閾値データ１６に含まれる回転角度用の基準値、及び座標用の基準値を下回るか否かを制御部２が検出手段として検出することを規定する。本実施形態の回転角度用の基準値は「２５度」と云う値になっており、座標用の基準値は座標軸における「２０目盛り分」と云う値になっている。制御部２は、各点Ｐ１〜Ｐ１７に対して算出した差分結果の中で、回転角度に対する各点ごとの結果が「２５度」を下回るか否かを検出すると共に、座標に対する各点ごとの結果が「２０目盛り分」を下回るか否かを検出する。なお、上述した各基準値（２５度、２０目盛り分）は、あくまで一例であり、他の値を適用することも勿論可能である。
【００５４】
上述した検出処理で、全ての点における回転角度及び座標に対する結果が、基準値を下回る場合は、時間的に前後するフレーム間における人体画像２０の動きは、動作に該当しない程度の体の振れ、又は人体画像２０が一連の動作における一時停止状態（ポーズ状態）と判断できるため、動作方向を表す矢印画像を生成しないことを、表示処理プログラム１５は規定している。
【００５５】
また、上述した検出処理で、各点のいずれか１つでも回転角度及び座標に対する結果が、基準値を下回らない場合、表示処理プログラム１５は矢印画像を生成することを規定している。なお、矢印画像の生成は、主に人体画像２０の六つの部分（頭部、左腕、右腕、胴体部分、左脚、右脚）に分けて行われ、具体的には図３（ｂ）において頭部に相当する点Ｐ１及びＰ２、左腕に相当する点Ｐ５及びＰ６、右腕に相当する点Ｐ８及びＰ９、胴体部分に相当する点Ｐ３、Ｐ４、Ｐ７、Ｐ１０、Ｐ１１、左脚に相当する点Ｐ１２〜Ｐ１４、右脚に相当する点Ｐ１５〜Ｐ１７のそれぞれに部分ごとに、最も大きい動作量の大きい点（回転角度の差分絶対値及び座標の差分絶対値が最も大きい点）に対して矢印画像が生成される。
【００５６】
図８は、時間的に前後するフレーム間での右腕の動きを示しており、点Ｐ８、９に係る実線のボーンＢは時間的に前側のフレームにおける右腕の状態を示し、点Ｐ８′、９′に係る波線は時間的に後ろ側のフレームにおける右腕の状態を示している。なお、図８は、図２に示す視点方向（Ｙ軸方向に平行で且つＹ軸方向の正から負へ向かう方向）に基づく図である。図８に示す動きの場合では、右腕先端に相当する点Ｐ９の方が、右腕の肘部分に相当する点８より動作量が大きいため、点Ｐ９が矢印画像の生成対象になる。
【００５７】
図８の場合、時間的に前側のフレームにおける点Ｐ９に対する各座標値が（Ｘ、Ｙ、Ｚ）＝（２０、６０、０）、各座標に対する回転角度が（Ｘ、Ｙ、Ｚ）＝（１００度、１８０度、３０度）であり、時間的に後ろ前側のフレームにおける点Ｐ９′の各座標値が（Ｘ、Ｙ、Ｚ）＝（５０、６０、１４０）、各座標に対する回転角度が（Ｘ、Ｙ、Ｚ）＝（１００度、１４０度、３０度）であるとすると、座標値に対する差分結果は（３０、０、１４０）、回転角度に対する差分結果は（０度、−４０度、０度）になる。
【００５８】
上述して得られた座標値の差分結果は、時間的に前側のフレームにおける点Ｐ９から、時間的に後ろ側のフレームにおける点Ｐ９′へ向かうベクトルデータとなるため、このベクトルデータ及び回転角度に対する差分結果に応じた矢印画像２５を制御部２が生成することを、表示処理プログラム１５は規定している。なお、生成される矢印画像２５は同一寸法であり、矢印画像の後端２５ａが、差分結果において対象となる点Ｐ９に一致させられると共に、矢印画像２５の先端２５ｂが、回転角度に対する差分結果による回転方向で且つベクトルデータ（差分結果）の表す向きに合わせられる。
【００５９】
また、生成された矢印画像２５は図９（ａ）（ｂ）に示すように、人体画像２０と、視点方向及び視点位置を決定するカメラ２２との間に位置するように、差分の算出対象となった前側のフレームに制御部２が付加手段として付加する処理を行うことを、表示処理プログラム１５は規定している。図９（ｂ）中、人体画像２０のＹ座標の値をｙ１、矢印画像２５の配置箇所に対するＹ座標の値をｙ２、カメラ２２のＹ座標の値をｙ３とした場合、ｙ１＜ｙ２＜ｙ３の関係が成立する。なお、フレームの画像中に含まれる人体画像２０も、表示処理プログラム１５の三次元コンピュータグラフィックス技術に基づいて規定した処理内容に従って制御部２が作成している。このように矢印画像２５の配置を、人体画像２０及びカメラ２２の間にすることで、カメラ２２からの視点方向による表示において、矢印画像２５が、人体画像２０によって隠れてしまう（埋もれてしまう）ことがなくなり、良好に矢印画像２５をユーザに見せることができる。
【００６０】
さらに、表示処理プログラム１５は、上述したように作成した人体画像２０及び矢印画像２５を含むフレームに対して、表示処理を行うことを規定しており、制御部２が上記フレームを表示用インタフェース５へ送る制御を行って、表示処理が行われた再生画像がディスプレイ装置１０の画面１０ａに表示される。
【００６１】
また、表示処理プログラム１５は、矢印画像２５に関する処理に加えて、音声データの出力処理も規定している。具体的には、上述したモーションデータの差分算出により、人体画像２０の各部分（頭部、左腕、右腕、胴体部分、左脚、右脚）ごとに、何れか点に対する差分絶対値が求まると、その差分絶対値に対応する音声データを図６の音声テーブルＴから制御部２が音声特定手段として特定することを、表示処理プログラム１５は規定している。また、特定した音声データは制御部２の制御により、矢印画像２５含むフレームをディスプレイ装置１０に表示する処理に同期させて、音声出力処理部７へ送られてスピーカ８から出力される。
【００６２】
制御部２は、上述したような矢印画像２５の表示及び音声の出力に係る処理を、動画表示処理に連係してリニアに行い、表示処理プログラム１５は、ユーザにより動画再生の停止指示を受けた場合、又は最後フレームの表示処理を行うまで、上述した処理を継続することを規定している。
【００６３】
図１０の第１フローチャートは、上述した表示処理プログラム１５が規定する矢印画像２５に係る表示及び音声出力に係る処理手順（表示処理方法の内容）を整理したものである。以下、この第１フローチャートに従って、表示処理プログラム１５が起動してからの表示処理装置１における一連の処理内容を説明する。
【００６４】
先ず、表示処理装置１は、表示処理プログラム１５の起動に伴って表示する図７（ａ）のメニュー画像１８で、ユーザからの映像再生の指示を受け付けたか否かを判断する（Ｓ１）。指示を受け付けていない場合（Ｓ１：ＮＯ）、指示待ちとなり、指示を受け付けた場合（Ｓ１：ＹＥＳ）、図４の第１フレームｆ１と、第２フレームｆ２とのそれぞれに含まれるモーションデータの差分を算出する（Ｓ２）。それから、表示処理装置１は、算出した全ての点Ｐ１〜Ｐ１７に対する差分が、閾値データ１６の基準値を下回るか否かを判断する（Ｓ３）。
【００６５】
全ての点Ｐ１〜Ｐ１７に対する差分が、閾値データ１６の基準値を下回る場合（Ｓ３：ＹＥＳ）、表示処理装置１は、矢印画像２５を生成することなく、第１フレームｆ１の表示処理を行う（Ｓ６）。この場合（Ｓ３：ＹＥＳ）に表示される画面内容は、従来と同様に人体画像２０のみが表されたものになる（図４参照）。
【００６６】
一方、全ての点Ｐ１〜Ｐ１７に対する差分が、閾値データ１６の基準値を下回らない場合（Ｓ３：ＮＯ）、表示処理装置１は、算出した差分の値に基づいて対象となる点Ｐ１〜Ｐ１７のいずれかに対して矢印画像２５を生成する（Ｓ４）。また、矢印画像２５の生成と共に、表示処理装置１は音声テーブルＴの中から、差分の値に対応する音声データの特定も行う。それから、表示処理装置１は、作成した人体画像２０の画像を含む第１フレームｆ１に、生成した矢印画像２５を図９（ａ）（ｂ）に示す位置関係で付加してから（Ｓ５）、第１フレームｆ１の表示処理を行い、ディスプレイ装置１０に人体画像２０及び矢印画像２５を表示する（Ｓ６）。なお、この際、表示処理装置１は、特定した音声データの再生処理を行って、第１フレームｆ１の表示に合わせて音声（例えば、「左腕を上げて」と云う音声）をスピーカ８から出力する。
【００６７】
そして、表示処理装置１は、最終フレームまで表示処理を終了したか、又はユーザから再生停止指示を受け付けたか否かを判断する（Ｓ７）。最後まで表示処理が終了しておらず、且つ再生停止指示も受け付けていない場合（Ｓ７：ＮＯ）、次の時間的に前後するフレーム（図４の第２フレームｆ２と、第３フレームｆ３）のモーションデータの差分を算出し（Ｓ２）、以降、最終フレームまで表示処理を終了するか、又は再生停止指示を受け付けるまで、Ｓ２〜Ｓ７の処理段階を繰り返すことになる。また、最終フレームまで表示処理を終了した場合、又はユーザから再生停止指示を受け付けた場合（Ｓ７：ＹＥＳ）、表示処理装置１は一連の処理を終了する。
【００６８】
図１１は、上述した表示処理装置１の処理により順次表示される動画の各フレーム画像の内容を示したものである。図１１に示す各フレーム画像は、図４のフレーム画像に比べて、人体画像２０の次の動作方向を示す矢印画像２５が適宜付されているため、再生映像を見るユーザは、従来に比べて次の動作方向を予め把握できるため、ダンス又はスポーツ等の動作を学びやすくなっている。
【００６９】
しかも、本実施形態では、例えば、時刻ｔ１では「右腕上げて」、時刻ｔ２では「左腕上げて」、時刻ｔ３では「右腕下げて」及び「左腕下げて」と云う音声が表示される動作に応じて出力されるため、ユーザは視覚に加えて聴覚によっても、次の動作内容を把握でき、次の動作に対する準備、心構えを充分に行える。なお、図１１において、時刻ｔ４〜ｔ５の第４、第５フレームｆ４、ｆ５では、人体画像２０が一時停止状態であるため、図１０の第１フローチャートにおいて、矢印画像２５が生成されない処理ルート（Ｓ３：ＹＥＳ）を経た内容になっている。同様に時刻ｔ８、ｔ９間の人体画像２０の動作による差（モーションデータの差分）は小さく基準値を下回るため、時刻ｔ８の第８フレームｆ８においても矢印画像２５が付されていない。
【００７０】
また、図１に示すハードディスク装置９に記憶される表示処理プログラム１５は、上述した映像再生処理の他にも、動画データＤに含まれる人体画像２０の一時停止状態（ポーズ状態、又は動きの小さい状態）を検索する処理も規定している。一時停止状態の検索処理は、図７（ａ）の第３ボタン１８ｃの選択で開始され、最初に制御部２が動画データＤに含まれる時間的に前後するフレーム間のモーションデータの差分を算出することを、表示処理プログラム１５は規定している。また、算出した差分が閾値データ１６に含まれる上述した基準値を下回るか否かを制御部２が判別する。
【００７１】
制御部２が、基準値を下回る差分を特定した場合、その差分より後ろの時間帯の差分に基づき上記と同様に矢印画像２５を生成すると共に、差分の算出に係る前後のフレーム中に対して前側のフレームを特定し、そのフレームに矢印画像及び選択可能なボタン（図１３参照）を付加して、その状態でフレームの表示処理を行う。なお、このときの表示処理は、動画ではなく静止画の表示処理となる。
【００７２】
図１２の第２フローチャートは、上述した表示処理プログラム１５が規定する一時停止の検索処理手順を整理したものである。整理した内容を順次説明すると、先ず、表示処理装置１は、図７（ａ）のメニュー画像１８で、ユーザからの一時停止検索の指示を受け付けたか否かを判断する（Ｓ１０）。指示を受け付けていない場合（Ｓ１０：ＮＯ）、指示待ちとなり、指示を受け付けた場合（Ｓ１０：ＹＥＳ）、動画データＤに含まれる最初の第１フレームｆ１と、第２フレームｆ２とのそれぞれに含まれるモーションデータの差分を算出し（Ｓ１１）、算出した全ての点Ｐ１〜Ｐ１７に対する差分が、基準値を下回るか否かを判別する（Ｓ１２）。
【００７３】
全ての点Ｐ１〜Ｐ１７に対する差分が、基準値を下回らない場合（Ｓ１２：ＮＯ）、次に前後するフレーム（第２フレームｆ２、第３フレームｆ３）間のモーションデータの差分を算出し（Ｓ１１）、以降、算出した全ての点Ｐ１〜Ｐ１７に対する差分が基準値を下回るまで、Ｓ１１〜Ｓ１２の処理を繰り返すことになる。
【００７４】
また、全ての点Ｐ１〜Ｐ１７に対する差分が、基準値を下回る場合（Ｓ１２：ＹＥＳ）、表示処理装置１は、その基準値を下回る差分より前の差分に基づき矢印画像２５を生成し（Ｓ１３）、基準値を下回る差分に係るフレームに矢印画像等を付加し（Ｓ１４）、静止画としてフレームの表示処理を行う（Ｓ１５）。
【００７５】
図１３は、上述した一時停止検索処理を経て、ディスプレイ装置１０の画面１０ａに表示された静止画３０の一例を示しており、人体画像２０に矢印画像２５が付加されている。また、静止画３０には、再生開始ボタン３０ａ、次の一時停止状態の検索指示を受け付ける検索ボタン３０ｂ、処理を終わらせる終了ボタン３０ｃが設けられている。再生開始ボタン３０ａの選択操作が行われると、表示中の静止画３０に応じたフレーム以降の動画データＤに対して動画表示処理（図１０の第１フローチャートに示す内容）が開始される。また、検索ボタン３０ｂの選択操作が行われると、表示中の静止画３０に応じたフレーム以降の動画データＤに対して一時停止検索処理（図１２の第２フローチャートに示す内容）が開始される。
【００７６】
上述したような一時停止検索処理を行うことで、ユーザは動作を学ぶ上で起点となる一時停止状態を動画データＤの中から素早く見つけることができ、効率良く動作を学ぶことが可能となる。
【００７７】
なお、本発明は、上述した内容に限定されるものではなく、種々の変形例の適用が可能である。例えば、生成した矢印画像２５を付加するフレームは、一定の時間間隔（例えば５ミリ秒ごと）のフレームに順次付加するようにしてもよい。この場合、矢印画像２５の付加対象のフレームは、時間間隔で特定することができ、付加対象の特定に係る処理を簡略化できると共に、矢印画像２５も一定の間隔で表示されるようになり、ユーザとしては矢印画像２５が画面１０ａに表示されるタイミングを把握しやすくなる。
【００７８】
また、生成した矢印画像２５は、人体画像２０が一時停止状態又は動きが小さいときのフレームに付加してもよい。この場合は、矢印画像２５の生成に用いた差分の算出に関連した時間的に前後するフレームの中で前側のフレーム以前の時間帯に含まれるフレームに対して、モーションデータの差分を算出し、算出した差分が図１２の第２フローチャートのＳ１２の処理段階と同様に、基準値を下回るか否かを制御部２で判別する。制御部２が基準値を下回る差分を特定した場合、その特定した差分を算出するのに用いた前後の各フレームに矢印画像を付加する。このような処理を行うことで、例えば、図１１に示す人体画像２０が一時停止状態の第４フレームｆ４、第５フレームｆ５にも、第６フレームｆ６に付した矢印画像２５と同様の矢印画像２５が付加されることになる。そのため、人体画像２０が、一時停止状態又は動きが小さいときに、動作開始フレーム（図１１の場合、第６フレームｆ６）より前のフレーム（図１１の場合、第４及び第５フレームｆ４、ｆ５）から次の動作方向を示す矢印画像２５が現れるので、ユーザは前もって動きの向きを知ることが可能となり、動作を学びやすくなる。
【００７９】
さらに、図１４（ａ）に示すように、再生対象の動画データＤが、映像と共に再生される楽曲データ２３を付帯する場合、動画の表示処理に伴って再生処理が行われる楽曲データ２３の拍子（図１４（ｂ）のリズムＲ１、Ｒ２、Ｒ３、Ｒ４）に応じた表示処理対象のフレームに、生成した矢印画像２５を付加して、楽曲データ２３のリズムに合わせて矢印画像２５を表示してもよい。この場合、楽曲リズムに合わせて矢印画像２５が表示されるため、ユーザはリズム良く矢印画像２５を確認でき、特に、楽曲と共に動作を行うダンスの動きを学ぶ場合に好適な矢印画像表示を行える。
【００８０】
また、生成する矢印画像２５の形態は、モーションデータの差分の値に応じて変更させてもよい。この場合は、閾値データ１６の中に比較用の比較値（複数も可能）を含ませ、座標値に対する差分結果をスカラー量として制御部２が比較値と比較を行い、比較結果に基づき形態を変更して矢印画像を生成することになる。
【００８１】
具体的には、第１比較値として「６０」、第２比較値として「１００」と云う値を設定し、算出した差分結果（スカラー量）が第１比較値未満のとき、制御部２は、図１５（ａ）に示すように白色の矢印画像４０を生成する。以下、算出した差分結果（スカラー量）が第１比較値以上、第２比較値未満のときは、図１５（ｂ）に示すように灰色（図中、ハッチングで示す）の矢印画像４１を生成し、算出した差分結果（スカラー量）が第２比較値以上のときは、図１５（ｃ）に示すように黒色の矢印画像４２を生成する。このように生成する矢印画像の形態（色）を変更することで、ユーザは矢印画像の形態に応じて次ぎの動作量までも把握できるため、より次の動作への対応を行いやすくなる。
【００８２】
なお、矢印画像の形態のバリエーションとしては、図１５（ｄ）〜（ｆ）に示すように、第１比較値未満のときは図１５（ｄ）の短い矢印画像４５、第１比較値以上、第２比較値未満のときは図１５（ｅ）に示す中間長さの矢印画像４６、第２比較値以上のときは図１５（ｆ）に示す長い矢印画像４７にしてもよく、他にも矢印画像の寸法自体を変更すること、矢印画像の色の濃さを変更することも適用可能である。なお、矢印画像の形態を、より詳細に分ける場合は、３以上の比較値を用いることが好適であり、逆に処理を簡略化するときは１つの比較値のみを用いて比較処理を行ってもよい。
【００８３】
また、矢印画像生成（差分算出）に用いるフレーム数は２つに限定されるものではなく、時間的に前後する３つ以上のフレーム間の差分により矢印画像を生成してもよい。このように３つ以上のフレームを用いる場合は、対象となる点の軌跡も把握できるため、生成する矢印画像は直線ではなく、軌跡に応じた形状にしてもよい。
【００８４】
例えば、図１６に示すように矢印画像の生成対象となる右腕先端の点Ｐ９が、時間的に連続する計４個のフレームにおいて、円弧状の軌跡で動く場合、点Ｐ９の各フレーム間の複数の差分（座標値に応じた差分結果）のベクトルを繋ぎ合わせた円弧状の矢印画像５０を制御部２は生成する。この場合、矢印画像５０の形態により動作の軌跡を把握できるため、ユーザは細かい動き内容までを学ぶことができる。
【００８５】
さらに、動画表示処理時の制御部２の処理負担を低減するためには、予め時間的に前後するフレーム間のモーションデータの差分を算出すると共に、算出に関連するフレームと対応付けて図１のハードディスク装置９に差分結果を記憶しておき、動画表示処理時に記憶する差分の結果に基づき矢印画像２５を生成して、作成した人体画像２０の画像を含むフレームに付加してもよい。
【００８６】
図１７の第３フローチャートは、予め算出した差分を記憶した場合における変形例の表示処理プログラム１５が規定する処理手順（変形例の表示処理方法の内容）を示す。この第３フローチャートによれば、変形例の表示処理装置１は、先ず、図７（ａ）のメニュー画像１８で、ユーザからの映像再生の指示を受け付けたか否かを判断し（Ｓ２０）、指示を受け付けていない場合（Ｓ２０：ＮＯ）、指示待ちとなり、指示を受け付けた場合（Ｓ２０：ＹＥＳ）、記憶する差分に基づいて、矢印画像を生成し（Ｓ２１）、表示処理対象のフレームに、生成した矢印画像を付加し（Ｓ２２）、そのフレームの表示処理を行う（Ｓ２３）。
【００８７】
それから、表示処理装置１は、最終フレームまで表示処理を終了したか、又はユーザから再生停止指示を受け付けたか否かを判断し（Ｓ２４）、最後まで表示処理が終了しておらず、且つ再生停止指示も受け付けていない場合（Ｓ２４：ＮＯ）、次の表示対象となるフレームに対応付けられた差分に基づき矢印画像の生成を行う段階（Ｓ２１）に戻る。また、最終フレームまで表示処理を終了した場合、又はユーザから再生停止指示を受け付けた場合（Ｓ２４：ＹＥＳ）、表示処理装置１は処理を終了する。このように図１７の第３フローチャートの処理は、動画表示処理時の処理数が図１０の第１フローチャートに比べて減少しているため、処理能力の低い制御部２の場合に好適となる。なお、視点方向及び視点位置等が予め決まっている場合は、第３フローチャートにおけるＳ２１の処理段階での矢印画像の生成も予め行い、生成した矢印画像を各フレームに対応付けてハードディスク装置９に記憶しておき、動画表示処理時には、記憶する矢印画像を表示処理対象のフレームに付加するだけにして、更に処理負荷を低減することも可能である。
【００８８】
また、次の動作方向を示す方向情報として生成する画像は矢印画像以外にも、方向を表す画像として先細の画像、三角形状の画像等も適用できる。また、図１８の表示画像５５に示すように、算出した差分結果を表す文字５６を生成して、人体画像２０を含むフレームに付加して表示するようにしてもよい。このように文字５６を表示することで、より直接的にユーザへ指示を与えることができる。なお、文字５６は生成する以外に、図６の音声テーブルＴのように、動作を表す文字を各種差分内容に対応付けて格納する文字テーブルを設けてハードディスク装置９に記憶しておき、算出した差分内容に基づき文字テーブルから、対応する文字を特定してフレームに付加する処理を行うことも可能である。また、文字をフレームに付加する場合、上述した矢印画像も付加して、矢印画像と文字の両方で次の動作方向を明確にユーザへ示してもよい。
【００８９】
さらに、表示処理装置１の仕様を簡略化する場合は、図６に示す音声テーブルＴに係る処理を省略して、矢印画像のみを付す表示処理を行ってもよい。また、矢印画像２５を生成しないようにする基準値の値は、ユーザ側で自由に設定可能にしてもよい。この場合、微妙な動きに対してまで矢印画像２５を表示することを望むユーザは、基準値を小さく設定することになり（例えば、回転角度用の基準値として「１０度」、座標用の基準値として「１０目盛り分」）、また、大まかな動作を把握することを希望するユーザの場合は、基準値を大きく設定することになる（例えば、回転角度用の基準値として「３０度」、座標用の基準値として「３０目盛り分」）。なお、モーションデータの差分が、基準値を下回るか否かを検出する処理を省略して、少しでも動きがあるときは、常に矢印画像２５を表示する仕様にしてもよい。
【００９０】
また、処理に係る負担を少しでも軽減することを望む場合は、動体（人体）に関連付けられたモーションデータの差分算出処理において、各座標に対する回転角度と、各座標値のいずれか一方のみを用いて矢印画像２５を生成することも可能である。
【００９１】
さらに、本発明において、動体の対象となるのは人体に限定されるものではなく、モーションデータが関連付けられた動く物体であれば、全て適用可能である。そのため、例えば、図１９（ａ）に示す表示画像５６のように、物を動かして組み立てる際の組み立てマニュアル的な動画ビデオにも本発明を適用でき、この場合、移動して第１物体３１へ組み付けられる対象の第２物体２０′（動体に相当）の組み付け方向を矢印画像２５で表すことができ、しかも、視点方向を自由に変更することで、組み付け方を詳細に確認することが可能になる。さらにまた、図１９（ｂ）に示す表示画像５７のように、動体としてボール２０″の移動方向を矢印画像２５で表すことも可能である。
【００９２】
また、本発明の表示処理装置１としてはパーソナルコンピュータのコンピュータ本体１ａを用いる以外に、表示ディスプレイを具備した携帯型のパーソナルコンピュータ、ＰＤ、携帯電話機等も適用可能である。さらに、装置内のみで処理を完結させる以外に、図２０に示すネットワークシステム１００のように、サーバ装置１１０で上述した動画表示処理を行い、処理を行った動画をネットワークＮＷ及び中継基地局１００Ａ〜１００Ｎを通じて携帯電話機１２０のような端末装置へ配信し、端末装置で表示処理が行われた図１１に示す各画像を順次表示させることも可能である。
【図面の簡単な説明】
【００９３】
【図１】本発明の実施形態に係る表示処理装置の主要な構成を示すブロック図である。
【図２】三次元空間における人体、及び視点方向の位置関係等を説明する概略図である。
【図３】（ａ）三次元コンピュータグラフィック技術により作成される人体画像を示す概略図、（ｂ）はモーションキャプチャ技術によるマーカに対応した点及びボーンを示す概略図である。
【図４】動画データを構成する各フレームに含まれる人体画像の状態を示す概略図である。
【図５】各フレームに含まれるモーションデータの内容を表した図である。
【図６】音声テーブルを示す図表である。
【図７】（ａ）は処理内容を選択するためのメニュー画面を示す概略図、（ｂ）は視点方向の設定用のメニュー画面を示す概略図である。
【図８】生成した矢印画像を示す概略図である。
【図９】（ａ）（ｂ）は生成した矢印画像の人体及びカメラに対する配置位置を説明するための図である。
【図１０】表示処理方法の処理内容を示す第１フローチャートである。
【図１１】生成した矢印画像を含む一連のフレームを示す概略図である。
【図１２】一時停止状態の検索処理内容を表した第２フローチャートである。
【図１３】検索に基づいて表示した画像を示す概略図である。
【図１４】（ａ）は楽曲データを付帯する動画データの概略図、（ｂ）は楽曲の拍子に合わせた矢印画像の表示タイミングを示すタイムチャートである。
【図１５】（ａ）〜（ｃ）は差分に応じて色を変更した変形例の矢印画像を示す概略図、（ｄ）〜（ｅ）は差分に応じて長さを変更した別の変形例の矢印画像を示す概略図である。
【図１６】円弧状の変形例の矢印画像である。
【図１７】予め差分を算出して記憶した場合の処理手順を示す第３フローチャートである。
【図１８】動作方向を表す文字を付加した表示画像を示す概略図である。
【図１９】（ａ）は物体を組み立てる場合の表示画像を示す概略図、（ｂ）は移動するボールの表示画像を示す概略図である。
【図２０】本発明を適用したネットワークシステムを示す概略図である。
【符号の説明】
【００９４】
１ 表示処理装置
２ 制御部
５ 表示用インタフェース
６ 操作部インタフェース
７ 音声出力処理部
８ スピーカ
９ ハードディスク装置
１０ ディスプレイ装置
１１ キーボード
１２ マウス
１５ 表示処理プログラム
１６ 閾値データ
１７ メニュー画像データ
２０ 人体画像
２２ カメラ
２５ 矢印画像
Ｄ 動画データ
Ｍ１、Ｍ２ モーションデータ
Ｔ 音声テーブル
Ｐ１〜Ｐ１７ 点
【特許請求の範囲】
【請求項１】
フレームごとに動体の動作情報を含む動画の表示処理を行う表示処理装置において、
前記動作情報を記憶する手段と、
記憶された動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出する算出手段と、
算出した差分に基づいて、動体の動く方向を表す方向情報を生成する生成手段と、
生成した方向情報をフレームに付加する付加手段と、
方向情報を付加したフレームの表示処理を行う手段と
を備えることを特徴とする表示処理装置。
【請求項２】
前記算出手段が算出した差分が、基準値を下回るか否かを検出する手段を備え、
前記差分が基準値を下回ることが検出された場合、前記生成手段は方向情報を生成しないようにしてある請求項１に記載の表示処理装置。
【請求項３】
前記生成手段は、方向情報として動体の動く方向を表す画像を生成する請求項１又は請求項２に記載の表示処理装置。
【請求項４】
前記算出手段が選出した差分と比較値との比較を行う比較手段を備え、
前記生成手段は、前記比較手段の比較結果に基づいて生成する画像の形態を変更するようにしてある請求項３に記載の表示処理装置。
【請求項５】
前記生成手段は、方向情報として動作の動く方向を表す文字を生成する請求項１又は請求項２に記載の表示処理装置。
【請求項６】
前記付加手段は、一定の時間間隔ごとのフレームに方向情報を付加する請求項１乃至請求項５のいずれか１つに記載の表示処理装置。
【請求項７】
前記方向情報に応じた差分の算出に係るフレーム以前の時間帯に含まれるフレームに対応した動作情報の差分の中で、基準値を下回る差分を特定する特定手段を備え、
前記付加手段は、前記特定手段が特定した差分に係るフレームに方向情報を付加する請求項１乃至請求項５のいずれか１つに記載の表示処理装置。
【請求項８】
動画には楽曲が付帯してあり、
動画の表示処理に伴って楽曲の再生処理を行う再生手段を備え、
前記付加手段は、前記再生手段で再生処理が行われる楽曲の拍子に応じた表示処理対象のフレームに方向情報を付加する請求項１乃至請求項５のいずれか１つに記載の表示処理装置。
【請求項９】
動作情報の差分及び音声を対応付けた音声テーブルと、
前記音声テーブルから、前記算出手段が算出した差分に対応する音声を特定する音声特定手段と、
特定した音声の出力処理を行う音声出力手段と
を備える請求項１乃至請求項８のいずれか１つに記載の表示処理装置。
【請求項１０】
動体の一時停止状態の検索指示を受け付ける受付手段と、
該受付手段が検索指示を受け付けた場合、記憶された動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出する手段と、
算出された差分の中で、基準値を下回る差分に係るフレームを特定するフレーム特定手段と、
前記フレーム特定手段が特定したフレームに前記付加手段が方向情報を付加した状態で表示処理を行う手段と
を備える請求項１乃至請求項９のいずれか１つに記載の表示処理装置。
【請求項１１】
動画のフレームごとに含まれる動体の動作情報を記憶する表示処理装置が、動画の表示処理を行う表示処理方法において、
前記表示処理装置は、
記憶する動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出し、
算出した差分に基づいて、動体の動く方向を表す方向情報を生成し、
生成した方向情報をフレームに付加し、
方向情報を付加したフレームの表示処理を行うことを特徴とする表示処理方法。
【請求項１２】
前記表示処理装置は、
予め差分を算出して、算出した差分を記憶しておき、
記憶した差分に基づいて方向情報を生成する請求項１１に記載の表示処理方法。
【請求項１３】
動画のフレームごとに含まれる動体の動作情報を記憶するコンピュータに、動画の表示処理を行わせるためのコンピュータプログラムにおいて、
コンピュータを、
記憶された動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出する算出手段と、
該算出手段が算出した差分に基づいて、動体の動く方向を表す方向情報を生成する生成手段と、
該生成手段が生成した方向情報をフレームに付加する付加手段と、
方向情報を付加したフレームの表示処理を行う手段として機能させることを特徴とするコンピュータプログラム。
【請求項１】
フレームごとに動体の動作情報を含む動画の表示処理を行う表示処理装置において、
前記動作情報を記憶する手段と、
記憶された動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出する算出手段と、
算出した差分に基づいて、動体の動く方向を表す方向情報を生成する生成手段と、
生成した方向情報をフレームに付加する付加手段と、
方向情報を付加したフレームの表示処理を行う手段と
を備えることを特徴とする表示処理装置。
【請求項２】
前記算出手段が算出した差分が、基準値を下回るか否かを検出する手段を備え、
前記差分が基準値を下回ることが検出された場合、前記生成手段は方向情報を生成しないようにしてある請求項１に記載の表示処理装置。
【請求項３】
前記生成手段は、方向情報として動体の動く方向を表す画像を生成する請求項１又は請求項２に記載の表示処理装置。
【請求項４】
前記算出手段が選出した差分と比較値との比較を行う比較手段を備え、
前記生成手段は、前記比較手段の比較結果に基づいて生成する画像の形態を変更するようにしてある請求項３に記載の表示処理装置。
【請求項５】
前記生成手段は、方向情報として動作の動く方向を表す文字を生成する請求項１又は請求項２に記載の表示処理装置。
【請求項６】
前記付加手段は、一定の時間間隔ごとのフレームに方向情報を付加する請求項１乃至請求項５のいずれか１つに記載の表示処理装置。
【請求項７】
前記方向情報に応じた差分の算出に係るフレーム以前の時間帯に含まれるフレームに対応した動作情報の差分の中で、基準値を下回る差分を特定する特定手段を備え、
前記付加手段は、前記特定手段が特定した差分に係るフレームに方向情報を付加する請求項１乃至請求項５のいずれか１つに記載の表示処理装置。
【請求項８】
動画には楽曲が付帯してあり、
動画の表示処理に伴って楽曲の再生処理を行う再生手段を備え、
前記付加手段は、前記再生手段で再生処理が行われる楽曲の拍子に応じた表示処理対象のフレームに方向情報を付加する請求項１乃至請求項５のいずれか１つに記載の表示処理装置。
【請求項９】
動作情報の差分及び音声を対応付けた音声テーブルと、
前記音声テーブルから、前記算出手段が算出した差分に対応する音声を特定する音声特定手段と、
特定した音声の出力処理を行う音声出力手段と
を備える請求項１乃至請求項８のいずれか１つに記載の表示処理装置。
【請求項１０】
動体の一時停止状態の検索指示を受け付ける受付手段と、
該受付手段が検索指示を受け付けた場合、記憶された動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出する手段と、
算出された差分の中で、基準値を下回る差分に係るフレームを特定するフレーム特定手段と、
前記フレーム特定手段が特定したフレームに前記付加手段が方向情報を付加した状態で表示処理を行う手段と
を備える請求項１乃至請求項９のいずれか１つに記載の表示処理装置。
【請求項１１】
動画のフレームごとに含まれる動体の動作情報を記憶する表示処理装置が、動画の表示処理を行う表示処理方法において、
前記表示処理装置は、
記憶する動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出し、
算出した差分に基づいて、動体の動く方向を表す方向情報を生成し、
生成した方向情報をフレームに付加し、
方向情報を付加したフレームの表示処理を行うことを特徴とする表示処理方法。
【請求項１２】
前記表示処理装置は、
予め差分を算出して、算出した差分を記憶しておき、
記憶した差分に基づいて方向情報を生成する請求項１１に記載の表示処理方法。
【請求項１３】
動画のフレームごとに含まれる動体の動作情報を記憶するコンピュータに、動画の表示処理を行わせるためのコンピュータプログラムにおいて、
コンピュータを、
記憶された動作情報の中で、時間的に前後するフレームに対応した動作情報の差分を算出する算出手段と、
該算出手段が算出した差分に基づいて、動体の動く方向を表す方向情報を生成する生成手段と、
該生成手段が生成した方向情報をフレームに付加する付加手段と、
方向情報を付加したフレームの表示処理を行う手段として機能させることを特徴とするコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２００７−３１６９７１（Ｐ２００７−３１６９７１Ａ）
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願番号】特願２００６−１４６３１３（Ｐ２００６−１４６３１３）
【出願日】平成１８年５月２６日（２００６．５．２６）
【出願人】（３９６００４８３３）株式会社エクシング (394)
【出願人】（５０５３４３１３６）株式会社エイタロウソフト (6)
【Ｆターム（参考）】
【公開日】平成１９年１２月６日（２００７．１２．６）
【国際特許分類】
【出願日】平成１８年５月２６日（２００６．５．２６）
【出願人】（３９６００４８３３）株式会社エクシング (394)
【出願人】（５０５３４３１３６）株式会社エイタロウソフト (6)
【Ｆターム（参考）】
[ Back to top ]