映像重畳方法、映像重畳装置およびプログラム
【課題】ユーザの身体動作の学習を支援する。
【解決手段】映像重畳装置１は、カメラ４−１，４−２を用いて映像を撮影する撮影手段５０−１，５０−２，５２と、撮影映像を撮影時刻情報と共に記録し、撮影時に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、撮影映像とその撮影時刻情報と共に記録する映像情報記録・再生部５３と、撮影映像と映像情報記録・再生部５３から出力された再生映像とを合成する際に、撮影映像に他の映像の情報が付随している場合には、撮影映像と共に記録されている識別情報および撮影時刻情報に基づき撮影映像と再生映像とを合成する映像情報比較合成部５４と、撮影映像または合成された映像を液晶ディスプレイ３に表示させる映像情報出力部５５とを備える。
【解決手段】映像重畳装置１は、カメラ４−１，４−２を用いて映像を撮影する撮影手段５０−１，５０−２，５２と、撮影映像を撮影時刻情報と共に記録し、撮影時に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、撮影映像とその撮影時刻情報と共に記録する映像情報記録・再生部５３と、撮影映像と映像情報記録・再生部５３から出力された再生映像とを合成する際に、撮影映像に他の映像の情報が付随している場合には、撮影映像と共に記録されている識別情報および撮影時刻情報に基づき撮影映像と再生映像とを合成する映像情報比較合成部５４と、撮影映像または合成された映像を液晶ディスプレイ３に表示させる映像情報出力部５５とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した撮影映像と他の映像とを重ねて表示する技術に係り、特に人の身体動作の学習の支援や作業の支援に好適な映像重畳方法、映像重畳装置および映像重畳プログラムに関するものである。
【背景技術】
【０００２】
２地点間の映像を重ねて、あたかも同時に存在するように見せるシステムがある（非特許文献１、非特許文献２参照）。これらのシステムでは、ユーザの前に鏡を置き、その鏡に実際に映るユーザの鏡像と、遠隔地等に居る別のユーザの前の鏡に映る世界とを重ね合わせて表示する。したがって、ユーザの前の鏡に映る世界では、ユーザ本人と遠隔地の別のユーザの鏡像があたかも同じ場所に居るように見ることができる。
【０００３】
【非特許文献１】Hosoya,Kitabata,Sato,Harada,Nojima,Morisawa,Mutoh,Onozawa,“A Mirror Metaphor Interaction System：Touching Remote Real Objects in an Augmented Reality Environment”,ISMAR'03,p.350-351,2003
【非特許文献２】Morikawa,Maesako,“Hyper Mirror：Toward Pleasant-to-use Video Mediated Communication System”,ACM CSCW'98,p.149-158,1998
【発明の開示】
【発明が解決しようとする課題】
【０００４】
非特許文献１、非特許文献２に開示された鏡像を使ったシステムの場合、遠隔地のユーザと録画したユーザとを重ね合わせることが可能であるものの、鏡に映った人は全て鏡像となるため、例えばユーザが右手を上げると鏡の中の人は左手を上げることとなる。このようなシステムを、動作学習の練習、例えばゴルフや舞踊などの練習に使用した場合、左右の関係が逆になってしまうために学習の理解を妨げることとなる。
【０００５】
具体的には、ゴルフや舞踊を習いたい学習者本人だけでなく、練習等で録画した映像や遠隔地に居る人の映像も全て鏡像となるため、右利きの指導者の録画映像はシステム上では左利きに表示されてしまうこととなり、結果として学習者の直感的な理解を妨げる要因となる。
【０００６】
本発明は、上記課題を解決するためになされたもので、ユーザの身体動作の学習を支援することができる映像重畳方法、映像重畳装置および映像重畳プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、映像重畳装置を用いて撮影映像と他の映像とを重ねて表示する映像重畳方法であって、撮影手段がカメラを用いて、表示手段の画面と対向する方向から撮影映像を撮影する映像撮影ステップと、映像情報記録・再生手段が、前記撮影映像を撮影時刻情報と共に記録し、前記撮影時に前記表示手段に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、前記撮影映像とその撮影時刻情報と共に記録する映像記録ステップと、映像情報比較合成手段が、前記撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成する際に、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づき前記撮影映像と前記再生映像とを合成する映像合成ステップと、映像情報出力手段が、前記撮影映像または前記映像合成ステップで合成された映像を前記表示手段に表示させる表示ステップとを備えることを特徴とするものである。
【０００８】
また、本発明の映像重畳方法の１構成例において、前記表示手段は、液晶ディスプレイであり、前記カメラは、前記液晶ディスプレイの偏光と直交する偏光フィルタを有し、前記映像撮影ステップは、前記液晶ディスプレイと前記カメラとの間にある物体のみを撮影することを特徴とするものである。
また、本発明の映像重畳方法の１構成例において、前記映像合成ステップは、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づいて前記他の映像を前記映像情報記録・再生手段から取得するステップと、この取得した映像と前記撮影映像とを比較し、前記撮影映像内に含まれる前記他の映像の領域を特定するステップと、この特定した領域を前記撮影映像から削除するステップと、前記削除後の撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成するステップとを含むことを特徴とするものである。
また、本発明の映像重畳方法の１構成例は、さらに、前記表示手段と前記カメラとの間にいるユーザの位置を測定する位置測定ステップを備え、前記映像撮影ステップは、前記位置測定ステップで得られたユーザの位置情報に基づき、前記表示手段に映るユーザの大きさが所定の大きさになるように前記撮影映像を補正するステップを含むことを特徴とするものである。
【０００９】
また、本発明の映像重畳方法の１構成例は、さらに、前記表示手段と前記カメラとの間にいるユーザの位置を測定する位置測定ステップを備え、前記カメラは、前記表示手段の画面と対向するように複数配置され、前記映像撮影ステップは、前記位置測定ステップで得られたユーザの位置情報に基づき、前記表示手段に映るユーザの大きさが所定の大きさになるように前記複数のカメラの中から適切なカメラの撮影映像を選択することを特徴とするものである。
また、本発明の映像重畳方法の１構成例は、さらに、他の映像重畳装置と通信を行う通信部が、前記他の映像重畳装置に対して映像を送受信する送受信ステップを備え、前記映像合成ステップは、前記他の映像重畳装置から送信された映像を受信した場合には、前記撮影映像と前記映像情報記録・再生手段から出力された再生映像と前記他の映像重畳装置から送信された映像とを合成することを特徴とするものである。
また、本発明の映像重畳方法の１構成例において、前記映像合成ステップは、ユーザから指定された映像を前記映像情報記録・再生手段に再生させて、この再生映像と前記撮影映像とを合成することを特徴とするものである。
また、本発明の映像重畳方法の１構成例において、前記映像合成ステップは、ユーザから指定された合成方法で前記再生映像と前記撮影映像とを合成することを特徴とするものである。
【００１０】
また、本発明の映像重畳装置は、映像を表示可能な表示手段と、カメラを用いて前記表示手段の画面と対向する方向から撮影映像を撮影する撮影手段と、前記撮影映像を撮影時刻情報と共に記録し、前記撮影時に前記表示手段に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、前記撮影映像とその撮影時刻情報と共に記録する映像情報記録・再生手段と、前記撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成する際に、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づき前記撮影映像と前記再生映像とを合成する映像情報比較合成手段と、前記撮影映像または前記映像情報比較合成手段で合成された映像を前記表示手段に表示させる映像情報出力手段とを備えることを特徴とするものである。
【００１１】
また、本発明の映像重畳プログラムは、カメラを用いて表示手段の画面と対向する方向から撮影映像を撮影する映像撮影ステップと、前記撮影映像を撮影時刻情報と共に映像情報記録・再生手段に記録し、前記撮影時に前記表示手段に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、前記撮影映像とその撮影時刻情報と共に記録する映像記録ステップと、前記撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成する際に、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づき前記撮影映像と前記再生映像とを合成する映像合成ステップと、前記撮影映像または前記映像合成ステップで合成された映像を前記表示手段に表示させる表示ステップとを、コンピュータに実行させるようにしたものである。
【発明の効果】
【００１２】
本発明によれば、ユーザは自分の背面の映像を見ることができるので、鏡では確認しづらかった後ろから見た自分の様子を容易に確認することができる。その結果、本発明では、ユーザの直感的な理解を支援することができる。また、本発明では、撮影映像と映像情報記録・再生手段から出力された再生映像とを合成する。これにより、本発明では、ユーザの動作を撮影した撮影映像を表示手段に表示すると共に、ユーザに対する指導者の指示を撮影した映像を撮影映像に重ねて表示することができ、ユーザの動作映像と共に指導者の指示映像をユーザに提示することができる。この結果、本発明では、ユーザの身体動作の学習を支援したり、作業を支援したりすることができる。
【００１３】
また、本発明では、カメラに偏光フィルタを設けることにより、液晶ディスプレイとカメラとの間にある物体のみを撮影することができ、表示手段に表示されている表示映像と映像情報記録・再生手段から出力された再生映像の重複を避けることができる。
【００１４】
また、本発明では、撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づいて他の映像を映像情報記録・再生手段から取得し、この取得した映像と撮影映像とを比較し、撮影映像内に含まれる他の映像の領域を特定し、この特定した領域を撮影映像から削除することにより、表示手段に表示されている表示映像と映像情報記録・再生手段から出力された再生映像の重複を避けることができる。
【００１５】
また、本発明では、表示手段とカメラとの間にいるユーザの位置を測定し、ユーザの位置情報に基づき、撮影映像を補正することにより、表示手段に映るユーザの大きさが所定の大きさになるように調整することができる。
【００１６】
また、本発明では、表示手段とカメラとの間にいるユーザの位置を測定し、ユーザの位置情報に基づき、複数のカメラの中から適切なカメラの撮影映像を選択することにより、表示手段に映るユーザの大きさが所定の大きさになるように調整することができる。
【００１７】
また、本発明では、他の映像重畳装置から送信された映像を受信した場合には、撮影映像と映像情報記録・再生手段から出力された再生映像と他の映像重畳装置から送信された映像とを合成する。これにより、本発明では、互いに異なる場所に設けられた映像重畳装置間で学習者の動作映像と共に指導者の指示映像を学習者に提示することが可能になる。また、指導者は、学習者に直接触れることなく指導することができる。
【発明を実施するための最良の形態】
【００１８】
［第１の実施の形態］
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の第１の実施の形態に係る映像重畳装置の構成を示すブロック図である。
映像重畳装置１は、ユーザ２の映像を表示可能な表示手段である１台以上の液晶ディスプレイ３と、液晶ディスプレイ３に対向して設けられた動画撮像手段である１台以上のカメラ４と、映像の収録機能や再生機能を備え、カメラ４で撮影されたユーザ２の背面映像と過去の映像や遠隔地の映像とを重ね合わせて液晶ディスプレイ３に表示させる映像処理装置５とを有する。
【００１９】
映像処理装置５は、カメラ４で撮影されたユーザ２の背面映像を液晶ディスプレイ３に表示させる。これにより、ユーザ２の正面に、普通は見えないユーザ２の背中の状態を表示することができる。
ユーザ２とカメラ４との距離によって液晶ディスプレイ３に映るユーザ２の大きさは変わる。そこで、映像処理装置５は、カメラ４によって撮影された映像情報かセンサ等からの情報を用いてユーザ２の位置を測定または推定し、ユーザ２の背面映像が等身大で液晶ディスプレイ３に表示されるように映像情報を補正する。あるいは、映像処理装置５は、ユーザ２の位置に応じて複数のカメラ４の中から適切なカメラ４を選択し、ユーザ２の背面映像が等身大で液晶ディスプレイ３に表示されるようにする。
【００２０】
このように、大きな液晶ディスプレイ３を使うことにより、等身大でユーザ２の全身が映ると鏡のように用いることが可能であるが、液晶ディスプレイ３のサイズは任意でよい。映像処理装置５は、ユーザ２を等身大で表示する、ユーザ２の上半身だけを表示する、ユーザ２の足元だけを表示する、等の選択表示をユーザ２からの指示に応じて自由にできる。
【００２１】
また、映像処理装置５は、カメラ４で撮影されたユーザ２の背面映像と、遠隔地の映像や過去の映像とを重ね合わせて液晶ディスプレイ３に表示させることができる。これにより、例えばゴルフレッスン等の場合、遠隔地の指導者が実際に練習を受けに来たユーザ２に触れることなくリアルタイムで指導することが可能になる。また、指導者は、過去に練習を受けに来たユーザ２に対して後日指導することも可能になる。
【００２２】
２台の映像重畳装置をネットワークを介して接続する場合の構成を図２に示す。地点Ａに設置された映像重畳装置１−Ａは、例えばゴルフの練習を受けに来たユーザ２−Ａが利用する装置である。地点Ａから離れた地点Ｂに設置された映像重畳装置１−Ｂは、例えばプロゴルファー等の指導者であるユーザ２−Ｂが利用する装置である。映像重畳装置１−Ａと１−Ｂは、ネットワーク６を介して接続されている。
【００２３】
地点Ａの映像処理装置５−Ａは、カメラ４−Ａで撮影されたユーザ２−Ａの背面映像と、地点Ｂのカメラ４−Ｂで撮影され映像処理装置５−Ｂからネットワーク６を介して送信されたユーザ２−Ｂの背面映像とを重ね合わせて液晶ディスプレイ３−Ａに表示させることができる。
【００２４】
一方、地点Ｂの映像処理装置５−Ｂは、カメラ４−Ｂで撮影されたユーザ２−Ｂの背面映像と、地点Ａのカメラ４−Ａで撮影され映像処理装置５−Ａからネットワーク６を介して送信されたユーザ２−Ａの背面映像とを重ね合わせて液晶ディスプレイ３−Ｂに表示させる。液晶ディスプレイ３−Ｂ、カメラ４−Ｂは、地点Ａの液晶ディスプレイ３−Ａ、カメラ４−Ａと同じものでもよいし、同等の機能を有する別の装置でもよい。カメラ４−Ａ，４−Ｂは、動画撮影が可能なものであればよい。また、液晶ディスプレイ３−Ｂは、液晶ディスプレイ３−Ａより大きくてもよいし、小さくてもよい。
【００２５】
映像処理装置５−Ａ，５−Ｂは、それぞれカメラ４−Ａ，４−Ｂで撮影された映像を録画可能である。例えば映像処理装置５−Ｂは、例えば地点Ａにおいて過去に録画された映像を映像処理装置５−Ａから受け取り、この過去に録画された映像とカメラ４−Ｂで撮影された現在の映像とを重ね合わせて液晶ディスプレイ３−Ｂに表示させることが可能である。つまり、地点Ｂのユーザ２−Ｂは、ユーザ２−Ａの過去の練習の様子を見ながら、その練習に対して指導することが可能になる。
【００２６】
また、映像処理装置５−Ｂは、このユーザ２−Ｂによる指導の様子をカメラ４−Ｂで撮影し、録画することが可能である。映像処理装置５−Ａは、この録画された映像を映像処理装置５−Ｂから受け取って液晶ディスプレイ３−Ａに表示させることができる。これにより、ユーザ２−Ａは、自分の過去の練習に対してユーザ２−Ｂが指導している様子を見ることができる。
【００２７】
カメラ４−Ａ，４−Ｂの撮影状態（モード）としては、液晶ディスプレイ３−Ａ，３−Ｂから少し離れたユーザ２−Ａ，２−Ｂを撮影する場合と、液晶ディスプレイ３−Ａ，３−Ｂの直前にいるユーザ２−Ａ，２−Ｂを撮影する場合の２種類が考えられる。例えば、ユーザ２−Ｂがゴルフレッスンの指導者である場合、ユーザ２−Ｂは、液晶ディスプレイ３−Ｂに映ったユーザ２−Ａの映像に対して指導するため、液晶ディスプレイ３−Ｂの直前に立つと考えられる。この２種類の撮影状態では、カメラ４−Ａ，４−Ｂからユーザ２−Ａ，２−Ｂまでの距離が異なり、かつ画面内のユーザの大きさも異なるので、調整が必要になる。
【００２８】
従来のビデオカメラでは、ビデオカメラから被写体までの距離が遠くなると、被写体の大きさが小さくなる。これに対して、本実施の形態の映像処理装置５−Ａ，５−Ｂは、それぞれカメラ４−Ａ，４−Ｂで撮影された映像を拡大または縮小して大きさを補正し、液晶ディスプレイ３−Ａ，３−Ｂに映るユーザ２−Ａ，２−Ｂの大きさが所定の大きさ（例えば等身大）になるように補正することが可能である。これにより、カメラ４−Ａ，４−Ｂからユーザ２−Ａ，２−Ｂまでの距離が近いときと同じ大きさでユーザ２−Ａ，２−Ｂの映像を液晶ディスプレイ３−Ａ，３−Ｂに表示することが可能になる。
【００２９】
映像の補正方法としては、映像処理装置５−Ａ，５−Ｂがカメラ４−Ａ，４−Ｂで撮影された映像を解析することによって、ユーザ２−Ａ，２−Ｂの位置を推定し、この推定した位置に応じてカメラ４−Ａ，４−Ｂで撮影された映像を補正すればよい。また、距離センサ等によってセンサからユーザ２−Ａ，２−Ｂまでの距離を測定してもよい。また、床に圧力センサを設置し、映像処理装置５−Ａ，５−Ｂが圧力センサの検出結果に基づいてユーザ２−Ａ，２−Ｂの位置を推定してもよい。
【００３０】
上記のように映像の拡大または縮小による補正も可能であるが、映像処理装置５−Ａ，５−Ｂがカメラ４−Ａ，４−Ｂのズーム機能を用いて、液晶ディスプレイ３−Ａ，３−Ｂに映るユーザ２−Ａ，２−Ｂの大きさが所定の大きさ（例えば等身大）になるように補正してもよい。
【００３１】
また、映像の大きさの補正方法として、１つの地点にユーザ２までの距離が異なる複数台のカメラ４を用意し、上記の方法によってユーザ２の位置を測定または推定し、このユーザ２の位置に応じて複数台のカメラ４の中から最適なカメラ４を選択して、この選択したカメラ４で撮影される映像を用いるようにしてもよい。
【００３２】
以上のように、本実施の形態によれば、ユーザ２は自分の背面の映像を見ることができるので、鏡では確認しづらかった後ろから見た自分の様子を容易に確認することができる。その結果、本実施の形態では、ユーザ２の直感的な理解を支援することができる。
【００３３】
なお、本実施の形態では、地点Ａと地点Ｂの２地点間をネットワークで接続する例について説明しているが、これに限るものではなく、３地点以上を接続することも可能である。この場合、地点Ａや地点Ｂと同じように地点Ｃには映像重畳装置１−Ｃがあって、地点Ｃのユーザ２−Ｃは地点Ａや地点Ｂと同様に映像重畳装置１−Ｃを利用することが可能である。
【００３４】
また、例えば地点Ａの映像処理装置５−Ａは、カメラ４−Ａで撮影されたユーザ２−Ａの映像に対して、地点Ｂで撮影された映像だけでなく、地点Ｃで撮影された映像も重ね合わせることが可能である。地点Ｂや地点Ｃにおいても同様に映像を重ね合わせることができる。
【００３５】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。本実施の形態は、第１の実施の形態をより具体的に説明するものである。図３は本発明の第２の実施の形態に係る映像重畳装置の構成を示すブロック図である。
第１の実施の形態と同様に、映像重畳装置１は、液晶ディスプレイ３と、カメラ４−１，４−２と、映像処理装置５と、ユーザ２の位置を測定するためのセンサ７とを有する。ここでは、ユーザ２までの距離が異なる２台のカメラ４−１，４−２が設置されているものとする。
【００３６】
映像処理装置５は、カメラ４−１，４−２で撮影された映像を取り込むカメラ映像取込部５０−１，５０−２と、センサ７の検出結果に基づいてユーザ２の位置を測定または推定する位置測定部５１と、カメラ４−１で撮影された映像またはカメラ４−２で撮影された映像のいずれかを選択し、必要に応じて映像を補正するカメラ映像出力部５２と、映像を記録または再生する映像情報記録・再生部５３と、カメラ映像出力部５２から出力された撮影映像と映像情報記録・再生部５３から出力された再生映像とを合成する映像情報比較合成部５４と、映像情報比較合成部５４から出力された映像を液晶ディスプレイ３に表示させる映像情報出力部５５と、遠隔地に設置された他の映像処理装置と通信を行うための通信部５６と、ユーザ２からの指示を受け付ける操作入力部５７とから構成される。カメラ映像取込部５０−１，５０−２とカメラ映像出力部５２とは、撮影手段を構成している。
【００３７】
次に、本実施の形態の映像重畳装置１の動作を説明する。図４は映像重畳装置１の動作を示すフローチャートである。
最初に、映像処理装置５のカメラ映像取込部５０−１，５０−２は、それぞれカメラ４−１，４−２で撮影された映像を取り込む（図４ステップＳ１）。このとき、カメラ映像取込部５０−１，５０−２は、カメラ４−１，４−２から映像を取り込む際に、映像を受信した時刻を撮影時刻として、この撮影時刻の情報をカメラ４−１，４−２から取り込んだ映像に付与する。
【００３８】
カメラ４−１は、液晶ディスプレイ３の直前にユーザ２が立った場合の撮影用で、ユーザが液晶ディスプレイ３の直前に立っていることを前提としてピントや撮影倍率などが最適になるようにあらかじめ調整されている。カメラ４−２は、液晶ディスプレイ３から少し離れた床上の所定位置にユーザ２が立った場合の撮影用で、ユーザが所定位置に立っていることを前提としてピントや撮影倍率などが最適になるようにあらかじめ調整されている。
【００３９】
ここで、撮影倍率が最適になるとは、液晶ディスプレイ３に映るユーザ２の映像が所定の大きさ（例えば等身大）になることを言う。カメラ４−１，４−２はいずれも液晶ディスプレイ３を映す形で設置されているので、液晶ディスプレイ３の前にユーザ２が液晶ディスプレイ３を向いて立つと、ユーザ２の背面がカメラ４−１，４−２によって撮影される。
【００４０】
続いて、映像処理装置５の位置測定部５１は、センサ７の検出結果に基づいてユーザ２の位置を測定または推定する（図４ステップＳ２）。例えばセンサ７が床上の前記所定位置に設置された圧力センサである場合、ユーザ２がセンサ７の上に載ると、センサ７からの情報が位置測定部５１に送られ、ユーザ２が上に載ったことが分かる。位置測定部５１は、センサ情報を受信した場合、ユーザ２が所定位置に立っていると推定する。また、位置測定部５１は、センサ情報を受信できない場合、ユーザ２が液晶ディスプレイ３の直前に立っていると推定する。
【００４１】
また、センサ７が距離センサである場合には、センサ７からユーザ２までの距離が測定できるので、位置測定部５１は、測定された距離に基づいてユーザ２の位置を推定する。また、位置測定部５１は、カメラ４−１，４−２で撮影された映像を解析することによって、ユーザ２の位置を推定するようにしてもよい。
【００４２】
次に、映像処理装置５のカメラ映像出力部５２は、位置測定部５１の測定結果に応じてカメラ４−１，４−２のうち適切なカメラの映像を選択する（図４ステップＳ３）。すなわち、カメラ映像出力部５２は、ユーザ２が液晶ディスプレイ３の直前に立っている場合、カメラ４−１で撮影された映像を選択して映像情報記録・再生部５３に送ると共に映像情報比較合成部５４に送る。また、カメラ映像出力部５２は、ユーザ２が所定位置に立っている場合、カメラ４−２で撮影された映像を選択して映像情報記録・再生部５３に送ると共に映像情報比較合成部５４に送る。
【００４３】
また、カメラ映像出力部５２は、センサ７として距離センサを用いる場合もしくは位置測定部５１が映像解析によってユーザ２の位置を推定する場合には、位置測定部５１が推定したユーザ２の位置に基づいて、カメラ４−１または４−２のいずれかの映像を選択し、この映像を液晶ディスプレイ３に映るユーザ２の映像が所定の大きさ（例えば等身大）になるように補正してもよい（ステップＳ３）。
【００４４】
次に、映像処理装置５の映像情報記録・再生部５３は、カメラ映像出力部５２から出力された撮影映像を蓄積する（図４ステップＳ４）。図５は映像情報記録・再生部５３の動作を示すフローチャートである。映像情報記録・再生部５３は、液晶ディスプレイ３に映像が表示されているかどうかに基づいて、カメラ映像出力部５２から出力された撮影映像にどのような付随情報を関連付けるかを決めて、映像を蓄積する。
【００４５】
まず、映像情報記録・再生部５３は、カメラ映像出力部５２から新たな撮影映像を受信すると、自身が事前に蓄積していた映像が撮影映像の撮影時に液晶ディスプレイ３に表示されていたかどうかを確認する（図５ステップＳ４０）。撮影時に映像情報記録・再生部５３が映像を再生していたかどうかは、撮影映像の撮影時刻を調べることで確認することができる。なお、映像情報記録・再生部５３は、蓄積している映像の再生および再生映像の選択を、操作入力部５７を介したユーザ２からの指示に応じて行う。
【００４６】
映像情報記録・再生部５３は、撮影時に液晶ディスプレイ３に映像が表示されていなかった場合には、カメラ映像出力部５２から受信した撮影映像に付随情報として撮影時の時間情報（タイムスタンプ）を付与して、この付随情報を付与した撮影映像を蓄積する（図５ステップＳ４１）。撮影映像に付与する時間情報としては、撮影時刻、または撮影開始時刻を基準とした撮影経過時間がある。
【００４７】
また、映像情報記録・再生部５３は、撮影時に液晶ディスプレイ３に映像が表示されていた場合には、撮影時に表示されていた表示映像の識別情報（映像名やＩＤ）と、この表示映像に付与されている時間情報とを自身の蓄積内容の中から取得する（図５ステップＳ４２）。撮影映像の場合と同様に、表示映像に付与されている時間情報としては、撮影時刻、または撮影開始時刻を基準とした撮影経過時間がある。
【００４８】
そして、映像情報記録・再生部５３は、カメラ映像出力部５２から受信した撮影映像に付随情報として、この撮影映像の撮影時の時間情報と表示映像の識別情報と表示映像の撮影時の時間情報とを付与して、この付随情報を付与した撮影映像を蓄積する（図５ステップＳ４３）。以上で、映像情報記録・再生部５３の処理が終了する。
【００４９】
次に、映像処理装置５の映像情報比較合成部５４は、カメラ映像出力部５２から出力された撮影映像と映像情報記録・再生部５３から出力された再生映像とを合成する（図４ステップＳ５）。映像情報比較合成部５４における映像合成方法について詳細に説明する。映像情報比較合成部５４における処理は、カメラ４−１，４−２が撮影する映像に応じて以下のように行う。
【００５０】
まず、カメラ４−１，４−２が液晶ディスプレイ３の偏光と直交する偏光フィルタを備えている場合、カメラ４−１，４−２は、液晶ディスプレイ３に表示されている表示映像が映らない撮影映像を取得可能であり、液晶ディスプレイ３とカメラ４−１，４−２との間にある物体のみを撮影可能である。この場合、映像情報比較合成部５４は、映像情報記録・再生部５３から出力された再生映像の全領域のうち、ステップＳ３で選択されたカメラ４−１または４−２ごとに設定されている表示領域に撮影映像を埋め込むようにして、再生映像と撮影映像とを合成する（ステップＳ５）。
【００５１】
一方、映像情報比較合成部５４は、撮影映像に表示映像が映り込む場合には図６（Ａ）〜図６（Ｄ）に示すような処理を行う。カメラ映像出力部５２から図６（Ａ）に示すような撮影映像６０を取得すると、映像情報比較合成部５４は、この撮影映像６０の撮影時に映像情報記録・再生部５３が再生していた図６（Ｂ）に示すような再生映像６１を映像情報記録・再生部５３から取得し、図６（Ａ）の撮影映像６０と図６（Ｂ）の再生映像６１とを比較する。
【００５２】
上記のとおり、撮影映像６０には、映像情報記録・再生部５３に蓄積される際に付随情報が付与され、この付随情報の中に撮影映像６０に関連する映像の識別情報と時間情報が含まれている。したがって、映像情報記録・再生部５３に蓄積されている当該撮影映像の付随情報を参照することで、撮影映像６０の撮影時に映像情報記録・再生部５３が再生していた再生映像６１を取得することができる。
【００５３】
映像情報比較合成部５４は、映像を比較した結果、撮影映像６０内に含まれる再生映像６１の領域を特定する。図６（Ｃ）における６２が再生映像の領域である。そして、映像情報比較合成部５４は、この特定した領域６２を撮影映像６１から削除し、図６（Ｄ）のような削除後の撮影映像６３を作成して保存する。その後、映像情報比較合成部５４は、この作成した撮影映像６３と映像情報記録・再生部５３から出力された再生映像６１とを合成する。なお、以上のように撮影映像から再生映像の領域を削除する理由は、撮影映像と再生映像を合成する際に、再生映像が重複することを回避するためである。
【００５４】
次に、撮影映像と再生映像の合成処理を図７のフローチャートを用いて説明する。なお、以下で合成の対象となる撮影映像とは、上記のようにカメラ４−１，４−２が偏光フィルタを備えている場合であれば、カメラ映像出力部５２から出力された撮影映像そのものであり、撮影映像に表示映像が映り込んでいる場合であれば、図６（Ａ）〜図６（Ｄ）で説明した処理により再生映像の領域が削除された後の撮影映像である。
【００５５】
まず、映像情報比較合成部５４は、撮影映像に関連付けられた他の映像があるか無いかを確認する（図７ステップＳ５０）。上記のとおり、撮影映像には、映像情報記録・再生部５３に蓄積される際に付随情報が付与され、この付随情報の中に当該撮影映像に関連する映像の識別情報と時間情報が含まれている。したがって、映像情報記録・再生部５３に蓄積されている当該撮影映像の付随情報を調べることで、撮影映像に関連付けられた他の映像があるか無いかを確認することができる。
【００５６】
映像情報比較合成部５４は、撮影映像の付随情報を確認した結果、この撮影映像に関連付けられた映像が無いと判断した場合、すなわち撮影映像と合成すべき再生映像がないと判断した場合、撮影映像をそのまま映像情報出力部５５に出力して（図７ステップＳ５１）、合成を終了する。
【００５７】
一方、映像情報比較合成部５４は、撮影映像の付随情報を確認した結果、この撮影映像に関連付けられた映像がある場合には、この撮影映像の付随情報に含まれる識別情報と時間情報に基づいて、撮影映像に関連付けられた映像を再生映像として映像情報記録・再生部５３から読み出す（図７ステップＳ５２）。さらに、映像情報比較合成部５４は、ステップＳ５２で読み出した再生映像に関連付けられた他の映像があるか無いかを確認する（図７ステップＳ５３）。ステップＳ５０と同様に、この確認はステップＳ５２で読み出した再生映像の付随情報を調べることで行うことができる。
【００５８】
映像情報比較合成部５４は、ステップＳ５２で読み出した再生映像の付随情報を確認した結果、この再生映像に関連付けられた映像が無いと判断した場合は、ステップＳ５４に進む。また、映像情報比較合成部５４は、ステップＳ５２で読み出した再生映像に関連付けられた映像がある場合には、この再生映像の付随情報に含まれる識別情報と時間情報に基づいて、再生映像に関連付けられた映像も再生映像として映像情報記録・再生部５３から読み出す（図７ステップＳ５２）。こうして、ステップＳ５２，Ｓ５３の処理を繰り返すことにより、撮影映像に直接的もしくは間接的に関連付けられた全ての映像を取得する。
【００５９】
映像情報比較合成部５４は、撮影映像に関連付けられた全ての映像を再生映像として映像情報記録・再生部５３から読み出した後に、これらの再生映像と撮影映像とを合成し（図７ステップＳ５４）、合成映像を映像情報出力部５５と映像情報記録・再生部５３に出力する（ステップＳ５５）。
【００６０】
図８（Ａ）〜図８（Ｈ）はステップＳ５４の合成処理を説明するための図である。８０は撮影映像、８１は撮影映像８０に関連付けられた再生映像、８２は再生映像８１に関連付けられた再生映像、８３は再生映像８２に関連付けられた再生映像である。
【００６１】
撮影映像と再生映像の合成方法としてはいくつかの方法が考えられる。第１の合成方法は、過去の映像にそのまま映像を重ねていく方法である。この場合には、図８（Ｅ）の「透過なし」に示すように、過去の映像の上に新しい映像を重ねることにより、映像を合成する。図８（Ａ）〜図８（Ｄ）の例では、撮影映像８０、再生映像８１、再生映像８２、再生映像８３の順に新しくなる。したがって、合成映像は、図８（Ｅ）に示すように、再生映像８３の上に再生映像８２が重なり、再生映像８２の上に再生映像８１が重なり、再生映像８１の上に撮影映像８０が重なった映像８４となる。
【００６２】
第２の合成方法は、全ての映像を透過するように設定を行い、重ね合わせる方法である。この場合には、合成映像は、図８（Ｆ）の「透過あり」に示すように、すべての映像８０〜８３がそれぞれの透過率に合わせて重なった映像８５となる。
【００６３】
また、合成処理に関しては、取得した再生映像のうち、どの映像を撮影映像と合成するかをユーザ２が予め設定することも可能である。その設定の種類としては、規定回数前までの再生映像を同時に合成するように設定したり、特定の回数の再生映像を合成するように設定したりするなど様々な設定が可能である。
【００６４】
例えば図８（Ｇ）の例は、撮影映像から１回前の再生映像のみを合成するように予め設定されている例である。この場合の合成映像は、１回前の再生映像８１に撮影映像８０が重なった映像８６となる。また、図８（Ｈ）の例は、撮影映像から３回前の再生映像のみを合成するように予め設定されている例である。この場合の合成映像は、３回前の再生映像８３に撮影映像８０が重なった映像８７となる。
なお、前記第１の合成方法あるいは第２の合成方法も、ユーザ２からの指示に応じて選択可能であることは言うまでもない。
【００６５】
映像情報比較合成部５４で合成された映像は、映像情報出力部５５と映像情報記録・再生部５３に出力される。映像情報出力部５５は、映像情報比較合成部５４から出力された映像を液晶ディスプレイ３に表示させ、映像情報記録・再生部５３は、映像情報比較合成部５４から出力された映像を蓄積する（図４ステップＳ６）。
【００６６】
ユーザ２は、映像情報記録・再生部５３に対して、どの映像を再生するかといった指示や、映像情報比較合成部５４から出力された合成映像を蓄積するかしないかといった指示を与えることができる。また、ユーザ２は、カメラ映像出力部５２に指示を送って、カメラ映像取込部５０−１，５０−２からの出力に関係なく撮影映像を切り替えることが可能である。
以上のようにして、本実施の形態では、第１の実施の形態で説明したような効果を得ることができる。
【００６７】
なお、本実施の形態では、１台の映像重畳装置を用いて説明したが、第１の実施の形態で説明したとおり、ネットワークを介して複数の地点の映像重畳装置を接続することが可能である。例えば地点Ｂの映像重畳装置１−Ｂの映像情報記録・再生部５３は、ユーザ２−Ｂの指示に応じて撮影映像または事前に蓄積されている再生映像を通信部５６からネットワークを介して地点Ａの映像重畳装置１−Ａに送信することができる。
【００６８】
映像重畳装置１−Ａの通信部５６は、映像重畳装置１−Ｂから送信された映像を受信する。映像重畳装置１−Ａの映像情報比較合成部５４は、自装置のカメラ４−１または４−２で撮影された撮影映像と自装置の映像情報記録・再生部５３から出力された再生映像と映像重畳装置１−Ｂから送信された映像とを合成する。
【００６９】
このとき、映像重畳装置１−Ａの映像情報比較合成部５４は、通信部５６を介して地点Ｂの映像情報記録・再生部５３と情報のやり取りを行うことにより、映像重畳装置１−Ｂから送信された映像を自装置の映像情報記録・再生部５３から出力された再生映像と同様に扱うことができ、自装置の撮影映像と自装置の映像情報記録・再生部５３から出力された再生映像と映像重畳装置１−Ｂから送信された映像とを合成することができる。これにより、地点Ａから離れた地点Ｂで地点Ａのユーザ２−Ａの動作学習を支援することができる。
【００７０】
本実施の形態の応用例としては、例えば舞踊やゴルフ等の練習に映像重畳装置１を利用する例が考えられる。映像重畳装置１によれば、地点Ｂの指導者が地点Ａのユーザ２−Ａの映像上で手、肩、腰などの位置を示したり、模範演技を示したりできる。また、映像の録画も可能なので、地点Ｂの指導者は自分の好きな時間に地点Ａで録画された映像を見て指導することができる。また、指導者が指導している映像も録画可能なので、地点Ａのユーザ２−Ａはその指導者の映像を後で見ることができる。
【００７１】
本実施の形態では、地点Ａのユーザ２−Ａは自分の背面の映像を見ることができるので、鏡では確認しづらかった後ろから見た自分の様子を容易に確認することができる。また、指導者にとっては、生徒に直接触ることなく指示できるので、誤解を受けたりすることなく指導できるし、生徒も安心して指導を受けることができる。また、舞踊の型などの場合、ユーザは、遠隔地の指導者の動きと現在の自分の動きを重ねあわせて、動きを真似することができる。
【００７２】
また、本実施の形態の別の応用例として、地点Ｂからユーザ２−Ｂが指示して地点Ａのユーザ２−Ａに作業させる例が考えられる。地点Ａのユーザ２−Ａの様子はカメラ４−１または４−２で撮影され、地点Ｂに送信される。専門知識のある地点Ｂのユーザ２−Ｂは、地点Ｂの液晶ディスプレイ３でユーザ２−Ａの映像を見ながら例えば指差しをして作業を指示する。地点Ａのユーザ２−Ａは、地点Ａの液晶ディスプレイ３でユーザ２−Ｂが重畳された映像を見ながら指示された作業を行う。この例では、遠隔地にいるユーザ２−Ｂの動作が地点Ａの液晶ディスプレイ３に重ねて表示されるので、ユーザ２−Ａはより的確に指示を受けることが可能となる。
【００７３】
なお、第１の実施の形態および第２の実施の形態の映像重畳装置のうち、カメラと液晶ディスプレイとセンサを除く構成は、ＣＰＵ、記憶装置および外部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。
【００７４】
このようなコンピュータにおいて、本発明の映像重畳方法を実現させるための映像重畳プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供され、コンピュータの記憶装置に格納される。ＣＰＵは、記憶装置に格納されたプログラムに従って第１の実施の形態および第２の実施の形態で説明した処理を実行する。
【産業上の利用可能性】
【００７５】
本発明は、カメラで撮影した撮影映像と他の映像とを重ねてディスプレイに表示することにより、人の身体動作の学習を支援したり、人の作業を支援したりする技術に適用することができる。
【図面の簡単な説明】
【００７６】
【図１】本発明の第１の実施の形態に係る映像重畳装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態において２台の映像重畳装置をネットワークを介して接続する場合の構成を示すブロック図である。
【図３】本発明の第２の実施の形態に係る映像重畳装置の構成を示すブロック図である。
【図４】本発明の第２の実施の形態に係る映像重畳装置の動作を示すフローチャートである。
【図５】本発明の第２の実施の形態に係る映像重畳装置における映像情報記録・再生部の動作を示すフローチャートである。
【図６】本発明の第２の実施の形態において撮影映像に表示映像が映り込んでいる場合の撮影映像と再生映像の合成処理の前処理を説明するための図である。
【図７】本発明の第２の実施の形態に係る映像情報比較合成部による撮影映像と再生映像の合成処理を示すフローチャートである。
【図８】本発明の第２の実施の形態に係る映像情報比較合成部による撮影映像と再生映像の合成処理を説明するための図である。
【符号の説明】
【００７７】
１，１−Ａ，１−Ｂ…映像重畳装置、２，２−Ａ，２−Ｂ…ユーザ、３，３−Ａ，３−Ｂ…液晶ディスプレイ、４，４−Ａ，４−Ｂ，４−１，４−２…カメラ、５，５−Ａ，５−Ｂ…映像処理装置、６…ネットワーク、７…センサ、５０−１，５０−２…カメラ映像取込部、５１…位置測定部、５２…カメラ映像出力部、５３…映像情報記録・再生部、５４…映像情報比較合成部、５５…映像情報出力部、５６…通信部、５７…操作入力部。
【技術分野】
【０００１】
本発明は、カメラで撮影した撮影映像と他の映像とを重ねて表示する技術に係り、特に人の身体動作の学習の支援や作業の支援に好適な映像重畳方法、映像重畳装置および映像重畳プログラムに関するものである。
【背景技術】
【０００２】
２地点間の映像を重ねて、あたかも同時に存在するように見せるシステムがある（非特許文献１、非特許文献２参照）。これらのシステムでは、ユーザの前に鏡を置き、その鏡に実際に映るユーザの鏡像と、遠隔地等に居る別のユーザの前の鏡に映る世界とを重ね合わせて表示する。したがって、ユーザの前の鏡に映る世界では、ユーザ本人と遠隔地の別のユーザの鏡像があたかも同じ場所に居るように見ることができる。
【０００３】
【非特許文献１】Hosoya,Kitabata,Sato,Harada,Nojima,Morisawa,Mutoh,Onozawa,“A Mirror Metaphor Interaction System：Touching Remote Real Objects in an Augmented Reality Environment”,ISMAR'03,p.350-351,2003
【非特許文献２】Morikawa,Maesako,“Hyper Mirror：Toward Pleasant-to-use Video Mediated Communication System”,ACM CSCW'98,p.149-158,1998
【発明の開示】
【発明が解決しようとする課題】
【０００４】
非特許文献１、非特許文献２に開示された鏡像を使ったシステムの場合、遠隔地のユーザと録画したユーザとを重ね合わせることが可能であるものの、鏡に映った人は全て鏡像となるため、例えばユーザが右手を上げると鏡の中の人は左手を上げることとなる。このようなシステムを、動作学習の練習、例えばゴルフや舞踊などの練習に使用した場合、左右の関係が逆になってしまうために学習の理解を妨げることとなる。
【０００５】
具体的には、ゴルフや舞踊を習いたい学習者本人だけでなく、練習等で録画した映像や遠隔地に居る人の映像も全て鏡像となるため、右利きの指導者の録画映像はシステム上では左利きに表示されてしまうこととなり、結果として学習者の直感的な理解を妨げる要因となる。
【０００６】
本発明は、上記課題を解決するためになされたもので、ユーザの身体動作の学習を支援することができる映像重畳方法、映像重畳装置および映像重畳プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、映像重畳装置を用いて撮影映像と他の映像とを重ねて表示する映像重畳方法であって、撮影手段がカメラを用いて、表示手段の画面と対向する方向から撮影映像を撮影する映像撮影ステップと、映像情報記録・再生手段が、前記撮影映像を撮影時刻情報と共に記録し、前記撮影時に前記表示手段に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、前記撮影映像とその撮影時刻情報と共に記録する映像記録ステップと、映像情報比較合成手段が、前記撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成する際に、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づき前記撮影映像と前記再生映像とを合成する映像合成ステップと、映像情報出力手段が、前記撮影映像または前記映像合成ステップで合成された映像を前記表示手段に表示させる表示ステップとを備えることを特徴とするものである。
【０００８】
また、本発明の映像重畳方法の１構成例において、前記表示手段は、液晶ディスプレイであり、前記カメラは、前記液晶ディスプレイの偏光と直交する偏光フィルタを有し、前記映像撮影ステップは、前記液晶ディスプレイと前記カメラとの間にある物体のみを撮影することを特徴とするものである。
また、本発明の映像重畳方法の１構成例において、前記映像合成ステップは、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づいて前記他の映像を前記映像情報記録・再生手段から取得するステップと、この取得した映像と前記撮影映像とを比較し、前記撮影映像内に含まれる前記他の映像の領域を特定するステップと、この特定した領域を前記撮影映像から削除するステップと、前記削除後の撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成するステップとを含むことを特徴とするものである。
また、本発明の映像重畳方法の１構成例は、さらに、前記表示手段と前記カメラとの間にいるユーザの位置を測定する位置測定ステップを備え、前記映像撮影ステップは、前記位置測定ステップで得られたユーザの位置情報に基づき、前記表示手段に映るユーザの大きさが所定の大きさになるように前記撮影映像を補正するステップを含むことを特徴とするものである。
【０００９】
また、本発明の映像重畳方法の１構成例は、さらに、前記表示手段と前記カメラとの間にいるユーザの位置を測定する位置測定ステップを備え、前記カメラは、前記表示手段の画面と対向するように複数配置され、前記映像撮影ステップは、前記位置測定ステップで得られたユーザの位置情報に基づき、前記表示手段に映るユーザの大きさが所定の大きさになるように前記複数のカメラの中から適切なカメラの撮影映像を選択することを特徴とするものである。
また、本発明の映像重畳方法の１構成例は、さらに、他の映像重畳装置と通信を行う通信部が、前記他の映像重畳装置に対して映像を送受信する送受信ステップを備え、前記映像合成ステップは、前記他の映像重畳装置から送信された映像を受信した場合には、前記撮影映像と前記映像情報記録・再生手段から出力された再生映像と前記他の映像重畳装置から送信された映像とを合成することを特徴とするものである。
また、本発明の映像重畳方法の１構成例において、前記映像合成ステップは、ユーザから指定された映像を前記映像情報記録・再生手段に再生させて、この再生映像と前記撮影映像とを合成することを特徴とするものである。
また、本発明の映像重畳方法の１構成例において、前記映像合成ステップは、ユーザから指定された合成方法で前記再生映像と前記撮影映像とを合成することを特徴とするものである。
【００１０】
また、本発明の映像重畳装置は、映像を表示可能な表示手段と、カメラを用いて前記表示手段の画面と対向する方向から撮影映像を撮影する撮影手段と、前記撮影映像を撮影時刻情報と共に記録し、前記撮影時に前記表示手段に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、前記撮影映像とその撮影時刻情報と共に記録する映像情報記録・再生手段と、前記撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成する際に、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づき前記撮影映像と前記再生映像とを合成する映像情報比較合成手段と、前記撮影映像または前記映像情報比較合成手段で合成された映像を前記表示手段に表示させる映像情報出力手段とを備えることを特徴とするものである。
【００１１】
また、本発明の映像重畳プログラムは、カメラを用いて表示手段の画面と対向する方向から撮影映像を撮影する映像撮影ステップと、前記撮影映像を撮影時刻情報と共に映像情報記録・再生手段に記録し、前記撮影時に前記表示手段に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、前記撮影映像とその撮影時刻情報と共に記録する映像記録ステップと、前記撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成する際に、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づき前記撮影映像と前記再生映像とを合成する映像合成ステップと、前記撮影映像または前記映像合成ステップで合成された映像を前記表示手段に表示させる表示ステップとを、コンピュータに実行させるようにしたものである。
【発明の効果】
【００１２】
本発明によれば、ユーザは自分の背面の映像を見ることができるので、鏡では確認しづらかった後ろから見た自分の様子を容易に確認することができる。その結果、本発明では、ユーザの直感的な理解を支援することができる。また、本発明では、撮影映像と映像情報記録・再生手段から出力された再生映像とを合成する。これにより、本発明では、ユーザの動作を撮影した撮影映像を表示手段に表示すると共に、ユーザに対する指導者の指示を撮影した映像を撮影映像に重ねて表示することができ、ユーザの動作映像と共に指導者の指示映像をユーザに提示することができる。この結果、本発明では、ユーザの身体動作の学習を支援したり、作業を支援したりすることができる。
【００１３】
また、本発明では、カメラに偏光フィルタを設けることにより、液晶ディスプレイとカメラとの間にある物体のみを撮影することができ、表示手段に表示されている表示映像と映像情報記録・再生手段から出力された再生映像の重複を避けることができる。
【００１４】
また、本発明では、撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づいて他の映像を映像情報記録・再生手段から取得し、この取得した映像と撮影映像とを比較し、撮影映像内に含まれる他の映像の領域を特定し、この特定した領域を撮影映像から削除することにより、表示手段に表示されている表示映像と映像情報記録・再生手段から出力された再生映像の重複を避けることができる。
【００１５】
また、本発明では、表示手段とカメラとの間にいるユーザの位置を測定し、ユーザの位置情報に基づき、撮影映像を補正することにより、表示手段に映るユーザの大きさが所定の大きさになるように調整することができる。
【００１６】
また、本発明では、表示手段とカメラとの間にいるユーザの位置を測定し、ユーザの位置情報に基づき、複数のカメラの中から適切なカメラの撮影映像を選択することにより、表示手段に映るユーザの大きさが所定の大きさになるように調整することができる。
【００１７】
また、本発明では、他の映像重畳装置から送信された映像を受信した場合には、撮影映像と映像情報記録・再生手段から出力された再生映像と他の映像重畳装置から送信された映像とを合成する。これにより、本発明では、互いに異なる場所に設けられた映像重畳装置間で学習者の動作映像と共に指導者の指示映像を学習者に提示することが可能になる。また、指導者は、学習者に直接触れることなく指導することができる。
【発明を実施するための最良の形態】
【００１８】
［第１の実施の形態］
以下、本発明の実施の形態について図面を参照して説明する。図１は本発明の第１の実施の形態に係る映像重畳装置の構成を示すブロック図である。
映像重畳装置１は、ユーザ２の映像を表示可能な表示手段である１台以上の液晶ディスプレイ３と、液晶ディスプレイ３に対向して設けられた動画撮像手段である１台以上のカメラ４と、映像の収録機能や再生機能を備え、カメラ４で撮影されたユーザ２の背面映像と過去の映像や遠隔地の映像とを重ね合わせて液晶ディスプレイ３に表示させる映像処理装置５とを有する。
【００１９】
映像処理装置５は、カメラ４で撮影されたユーザ２の背面映像を液晶ディスプレイ３に表示させる。これにより、ユーザ２の正面に、普通は見えないユーザ２の背中の状態を表示することができる。
ユーザ２とカメラ４との距離によって液晶ディスプレイ３に映るユーザ２の大きさは変わる。そこで、映像処理装置５は、カメラ４によって撮影された映像情報かセンサ等からの情報を用いてユーザ２の位置を測定または推定し、ユーザ２の背面映像が等身大で液晶ディスプレイ３に表示されるように映像情報を補正する。あるいは、映像処理装置５は、ユーザ２の位置に応じて複数のカメラ４の中から適切なカメラ４を選択し、ユーザ２の背面映像が等身大で液晶ディスプレイ３に表示されるようにする。
【００２０】
このように、大きな液晶ディスプレイ３を使うことにより、等身大でユーザ２の全身が映ると鏡のように用いることが可能であるが、液晶ディスプレイ３のサイズは任意でよい。映像処理装置５は、ユーザ２を等身大で表示する、ユーザ２の上半身だけを表示する、ユーザ２の足元だけを表示する、等の選択表示をユーザ２からの指示に応じて自由にできる。
【００２１】
また、映像処理装置５は、カメラ４で撮影されたユーザ２の背面映像と、遠隔地の映像や過去の映像とを重ね合わせて液晶ディスプレイ３に表示させることができる。これにより、例えばゴルフレッスン等の場合、遠隔地の指導者が実際に練習を受けに来たユーザ２に触れることなくリアルタイムで指導することが可能になる。また、指導者は、過去に練習を受けに来たユーザ２に対して後日指導することも可能になる。
【００２２】
２台の映像重畳装置をネットワークを介して接続する場合の構成を図２に示す。地点Ａに設置された映像重畳装置１−Ａは、例えばゴルフの練習を受けに来たユーザ２−Ａが利用する装置である。地点Ａから離れた地点Ｂに設置された映像重畳装置１−Ｂは、例えばプロゴルファー等の指導者であるユーザ２−Ｂが利用する装置である。映像重畳装置１−Ａと１−Ｂは、ネットワーク６を介して接続されている。
【００２３】
地点Ａの映像処理装置５−Ａは、カメラ４−Ａで撮影されたユーザ２−Ａの背面映像と、地点Ｂのカメラ４−Ｂで撮影され映像処理装置５−Ｂからネットワーク６を介して送信されたユーザ２−Ｂの背面映像とを重ね合わせて液晶ディスプレイ３−Ａに表示させることができる。
【００２４】
一方、地点Ｂの映像処理装置５−Ｂは、カメラ４−Ｂで撮影されたユーザ２−Ｂの背面映像と、地点Ａのカメラ４−Ａで撮影され映像処理装置５−Ａからネットワーク６を介して送信されたユーザ２−Ａの背面映像とを重ね合わせて液晶ディスプレイ３−Ｂに表示させる。液晶ディスプレイ３−Ｂ、カメラ４−Ｂは、地点Ａの液晶ディスプレイ３−Ａ、カメラ４−Ａと同じものでもよいし、同等の機能を有する別の装置でもよい。カメラ４−Ａ，４−Ｂは、動画撮影が可能なものであればよい。また、液晶ディスプレイ３−Ｂは、液晶ディスプレイ３−Ａより大きくてもよいし、小さくてもよい。
【００２５】
映像処理装置５−Ａ，５−Ｂは、それぞれカメラ４−Ａ，４−Ｂで撮影された映像を録画可能である。例えば映像処理装置５−Ｂは、例えば地点Ａにおいて過去に録画された映像を映像処理装置５−Ａから受け取り、この過去に録画された映像とカメラ４−Ｂで撮影された現在の映像とを重ね合わせて液晶ディスプレイ３−Ｂに表示させることが可能である。つまり、地点Ｂのユーザ２−Ｂは、ユーザ２−Ａの過去の練習の様子を見ながら、その練習に対して指導することが可能になる。
【００２６】
また、映像処理装置５−Ｂは、このユーザ２−Ｂによる指導の様子をカメラ４−Ｂで撮影し、録画することが可能である。映像処理装置５−Ａは、この録画された映像を映像処理装置５−Ｂから受け取って液晶ディスプレイ３−Ａに表示させることができる。これにより、ユーザ２−Ａは、自分の過去の練習に対してユーザ２−Ｂが指導している様子を見ることができる。
【００２７】
カメラ４−Ａ，４−Ｂの撮影状態（モード）としては、液晶ディスプレイ３−Ａ，３−Ｂから少し離れたユーザ２−Ａ，２−Ｂを撮影する場合と、液晶ディスプレイ３−Ａ，３−Ｂの直前にいるユーザ２−Ａ，２−Ｂを撮影する場合の２種類が考えられる。例えば、ユーザ２−Ｂがゴルフレッスンの指導者である場合、ユーザ２−Ｂは、液晶ディスプレイ３−Ｂに映ったユーザ２−Ａの映像に対して指導するため、液晶ディスプレイ３−Ｂの直前に立つと考えられる。この２種類の撮影状態では、カメラ４−Ａ，４−Ｂからユーザ２−Ａ，２−Ｂまでの距離が異なり、かつ画面内のユーザの大きさも異なるので、調整が必要になる。
【００２８】
従来のビデオカメラでは、ビデオカメラから被写体までの距離が遠くなると、被写体の大きさが小さくなる。これに対して、本実施の形態の映像処理装置５−Ａ，５−Ｂは、それぞれカメラ４−Ａ，４−Ｂで撮影された映像を拡大または縮小して大きさを補正し、液晶ディスプレイ３−Ａ，３−Ｂに映るユーザ２−Ａ，２−Ｂの大きさが所定の大きさ（例えば等身大）になるように補正することが可能である。これにより、カメラ４−Ａ，４−Ｂからユーザ２−Ａ，２−Ｂまでの距離が近いときと同じ大きさでユーザ２−Ａ，２−Ｂの映像を液晶ディスプレイ３−Ａ，３−Ｂに表示することが可能になる。
【００２９】
映像の補正方法としては、映像処理装置５−Ａ，５−Ｂがカメラ４−Ａ，４−Ｂで撮影された映像を解析することによって、ユーザ２−Ａ，２−Ｂの位置を推定し、この推定した位置に応じてカメラ４−Ａ，４−Ｂで撮影された映像を補正すればよい。また、距離センサ等によってセンサからユーザ２−Ａ，２−Ｂまでの距離を測定してもよい。また、床に圧力センサを設置し、映像処理装置５−Ａ，５−Ｂが圧力センサの検出結果に基づいてユーザ２−Ａ，２−Ｂの位置を推定してもよい。
【００３０】
上記のように映像の拡大または縮小による補正も可能であるが、映像処理装置５−Ａ，５−Ｂがカメラ４−Ａ，４−Ｂのズーム機能を用いて、液晶ディスプレイ３−Ａ，３−Ｂに映るユーザ２−Ａ，２−Ｂの大きさが所定の大きさ（例えば等身大）になるように補正してもよい。
【００３１】
また、映像の大きさの補正方法として、１つの地点にユーザ２までの距離が異なる複数台のカメラ４を用意し、上記の方法によってユーザ２の位置を測定または推定し、このユーザ２の位置に応じて複数台のカメラ４の中から最適なカメラ４を選択して、この選択したカメラ４で撮影される映像を用いるようにしてもよい。
【００３２】
以上のように、本実施の形態によれば、ユーザ２は自分の背面の映像を見ることができるので、鏡では確認しづらかった後ろから見た自分の様子を容易に確認することができる。その結果、本実施の形態では、ユーザ２の直感的な理解を支援することができる。
【００３３】
なお、本実施の形態では、地点Ａと地点Ｂの２地点間をネットワークで接続する例について説明しているが、これに限るものではなく、３地点以上を接続することも可能である。この場合、地点Ａや地点Ｂと同じように地点Ｃには映像重畳装置１−Ｃがあって、地点Ｃのユーザ２−Ｃは地点Ａや地点Ｂと同様に映像重畳装置１−Ｃを利用することが可能である。
【００３４】
また、例えば地点Ａの映像処理装置５−Ａは、カメラ４−Ａで撮影されたユーザ２−Ａの映像に対して、地点Ｂで撮影された映像だけでなく、地点Ｃで撮影された映像も重ね合わせることが可能である。地点Ｂや地点Ｃにおいても同様に映像を重ね合わせることができる。
【００３５】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。本実施の形態は、第１の実施の形態をより具体的に説明するものである。図３は本発明の第２の実施の形態に係る映像重畳装置の構成を示すブロック図である。
第１の実施の形態と同様に、映像重畳装置１は、液晶ディスプレイ３と、カメラ４−１，４−２と、映像処理装置５と、ユーザ２の位置を測定するためのセンサ７とを有する。ここでは、ユーザ２までの距離が異なる２台のカメラ４−１，４−２が設置されているものとする。
【００３６】
映像処理装置５は、カメラ４−１，４−２で撮影された映像を取り込むカメラ映像取込部５０−１，５０−２と、センサ７の検出結果に基づいてユーザ２の位置を測定または推定する位置測定部５１と、カメラ４−１で撮影された映像またはカメラ４−２で撮影された映像のいずれかを選択し、必要に応じて映像を補正するカメラ映像出力部５２と、映像を記録または再生する映像情報記録・再生部５３と、カメラ映像出力部５２から出力された撮影映像と映像情報記録・再生部５３から出力された再生映像とを合成する映像情報比較合成部５４と、映像情報比較合成部５４から出力された映像を液晶ディスプレイ３に表示させる映像情報出力部５５と、遠隔地に設置された他の映像処理装置と通信を行うための通信部５６と、ユーザ２からの指示を受け付ける操作入力部５７とから構成される。カメラ映像取込部５０−１，５０−２とカメラ映像出力部５２とは、撮影手段を構成している。
【００３７】
次に、本実施の形態の映像重畳装置１の動作を説明する。図４は映像重畳装置１の動作を示すフローチャートである。
最初に、映像処理装置５のカメラ映像取込部５０−１，５０−２は、それぞれカメラ４−１，４−２で撮影された映像を取り込む（図４ステップＳ１）。このとき、カメラ映像取込部５０−１，５０−２は、カメラ４−１，４−２から映像を取り込む際に、映像を受信した時刻を撮影時刻として、この撮影時刻の情報をカメラ４−１，４−２から取り込んだ映像に付与する。
【００３８】
カメラ４−１は、液晶ディスプレイ３の直前にユーザ２が立った場合の撮影用で、ユーザが液晶ディスプレイ３の直前に立っていることを前提としてピントや撮影倍率などが最適になるようにあらかじめ調整されている。カメラ４−２は、液晶ディスプレイ３から少し離れた床上の所定位置にユーザ２が立った場合の撮影用で、ユーザが所定位置に立っていることを前提としてピントや撮影倍率などが最適になるようにあらかじめ調整されている。
【００３９】
ここで、撮影倍率が最適になるとは、液晶ディスプレイ３に映るユーザ２の映像が所定の大きさ（例えば等身大）になることを言う。カメラ４−１，４−２はいずれも液晶ディスプレイ３を映す形で設置されているので、液晶ディスプレイ３の前にユーザ２が液晶ディスプレイ３を向いて立つと、ユーザ２の背面がカメラ４−１，４−２によって撮影される。
【００４０】
続いて、映像処理装置５の位置測定部５１は、センサ７の検出結果に基づいてユーザ２の位置を測定または推定する（図４ステップＳ２）。例えばセンサ７が床上の前記所定位置に設置された圧力センサである場合、ユーザ２がセンサ７の上に載ると、センサ７からの情報が位置測定部５１に送られ、ユーザ２が上に載ったことが分かる。位置測定部５１は、センサ情報を受信した場合、ユーザ２が所定位置に立っていると推定する。また、位置測定部５１は、センサ情報を受信できない場合、ユーザ２が液晶ディスプレイ３の直前に立っていると推定する。
【００４１】
また、センサ７が距離センサである場合には、センサ７からユーザ２までの距離が測定できるので、位置測定部５１は、測定された距離に基づいてユーザ２の位置を推定する。また、位置測定部５１は、カメラ４−１，４−２で撮影された映像を解析することによって、ユーザ２の位置を推定するようにしてもよい。
【００４２】
次に、映像処理装置５のカメラ映像出力部５２は、位置測定部５１の測定結果に応じてカメラ４−１，４−２のうち適切なカメラの映像を選択する（図４ステップＳ３）。すなわち、カメラ映像出力部５２は、ユーザ２が液晶ディスプレイ３の直前に立っている場合、カメラ４−１で撮影された映像を選択して映像情報記録・再生部５３に送ると共に映像情報比較合成部５４に送る。また、カメラ映像出力部５２は、ユーザ２が所定位置に立っている場合、カメラ４−２で撮影された映像を選択して映像情報記録・再生部５３に送ると共に映像情報比較合成部５４に送る。
【００４３】
また、カメラ映像出力部５２は、センサ７として距離センサを用いる場合もしくは位置測定部５１が映像解析によってユーザ２の位置を推定する場合には、位置測定部５１が推定したユーザ２の位置に基づいて、カメラ４−１または４−２のいずれかの映像を選択し、この映像を液晶ディスプレイ３に映るユーザ２の映像が所定の大きさ（例えば等身大）になるように補正してもよい（ステップＳ３）。
【００４４】
次に、映像処理装置５の映像情報記録・再生部５３は、カメラ映像出力部５２から出力された撮影映像を蓄積する（図４ステップＳ４）。図５は映像情報記録・再生部５３の動作を示すフローチャートである。映像情報記録・再生部５３は、液晶ディスプレイ３に映像が表示されているかどうかに基づいて、カメラ映像出力部５２から出力された撮影映像にどのような付随情報を関連付けるかを決めて、映像を蓄積する。
【００４５】
まず、映像情報記録・再生部５３は、カメラ映像出力部５２から新たな撮影映像を受信すると、自身が事前に蓄積していた映像が撮影映像の撮影時に液晶ディスプレイ３に表示されていたかどうかを確認する（図５ステップＳ４０）。撮影時に映像情報記録・再生部５３が映像を再生していたかどうかは、撮影映像の撮影時刻を調べることで確認することができる。なお、映像情報記録・再生部５３は、蓄積している映像の再生および再生映像の選択を、操作入力部５７を介したユーザ２からの指示に応じて行う。
【００４６】
映像情報記録・再生部５３は、撮影時に液晶ディスプレイ３に映像が表示されていなかった場合には、カメラ映像出力部５２から受信した撮影映像に付随情報として撮影時の時間情報（タイムスタンプ）を付与して、この付随情報を付与した撮影映像を蓄積する（図５ステップＳ４１）。撮影映像に付与する時間情報としては、撮影時刻、または撮影開始時刻を基準とした撮影経過時間がある。
【００４７】
また、映像情報記録・再生部５３は、撮影時に液晶ディスプレイ３に映像が表示されていた場合には、撮影時に表示されていた表示映像の識別情報（映像名やＩＤ）と、この表示映像に付与されている時間情報とを自身の蓄積内容の中から取得する（図５ステップＳ４２）。撮影映像の場合と同様に、表示映像に付与されている時間情報としては、撮影時刻、または撮影開始時刻を基準とした撮影経過時間がある。
【００４８】
そして、映像情報記録・再生部５３は、カメラ映像出力部５２から受信した撮影映像に付随情報として、この撮影映像の撮影時の時間情報と表示映像の識別情報と表示映像の撮影時の時間情報とを付与して、この付随情報を付与した撮影映像を蓄積する（図５ステップＳ４３）。以上で、映像情報記録・再生部５３の処理が終了する。
【００４９】
次に、映像処理装置５の映像情報比較合成部５４は、カメラ映像出力部５２から出力された撮影映像と映像情報記録・再生部５３から出力された再生映像とを合成する（図４ステップＳ５）。映像情報比較合成部５４における映像合成方法について詳細に説明する。映像情報比較合成部５４における処理は、カメラ４−１，４−２が撮影する映像に応じて以下のように行う。
【００５０】
まず、カメラ４−１，４−２が液晶ディスプレイ３の偏光と直交する偏光フィルタを備えている場合、カメラ４−１，４−２は、液晶ディスプレイ３に表示されている表示映像が映らない撮影映像を取得可能であり、液晶ディスプレイ３とカメラ４−１，４−２との間にある物体のみを撮影可能である。この場合、映像情報比較合成部５４は、映像情報記録・再生部５３から出力された再生映像の全領域のうち、ステップＳ３で選択されたカメラ４−１または４−２ごとに設定されている表示領域に撮影映像を埋め込むようにして、再生映像と撮影映像とを合成する（ステップＳ５）。
【００５１】
一方、映像情報比較合成部５４は、撮影映像に表示映像が映り込む場合には図６（Ａ）〜図６（Ｄ）に示すような処理を行う。カメラ映像出力部５２から図６（Ａ）に示すような撮影映像６０を取得すると、映像情報比較合成部５４は、この撮影映像６０の撮影時に映像情報記録・再生部５３が再生していた図６（Ｂ）に示すような再生映像６１を映像情報記録・再生部５３から取得し、図６（Ａ）の撮影映像６０と図６（Ｂ）の再生映像６１とを比較する。
【００５２】
上記のとおり、撮影映像６０には、映像情報記録・再生部５３に蓄積される際に付随情報が付与され、この付随情報の中に撮影映像６０に関連する映像の識別情報と時間情報が含まれている。したがって、映像情報記録・再生部５３に蓄積されている当該撮影映像の付随情報を参照することで、撮影映像６０の撮影時に映像情報記録・再生部５３が再生していた再生映像６１を取得することができる。
【００５３】
映像情報比較合成部５４は、映像を比較した結果、撮影映像６０内に含まれる再生映像６１の領域を特定する。図６（Ｃ）における６２が再生映像の領域である。そして、映像情報比較合成部５４は、この特定した領域６２を撮影映像６１から削除し、図６（Ｄ）のような削除後の撮影映像６３を作成して保存する。その後、映像情報比較合成部５４は、この作成した撮影映像６３と映像情報記録・再生部５３から出力された再生映像６１とを合成する。なお、以上のように撮影映像から再生映像の領域を削除する理由は、撮影映像と再生映像を合成する際に、再生映像が重複することを回避するためである。
【００５４】
次に、撮影映像と再生映像の合成処理を図７のフローチャートを用いて説明する。なお、以下で合成の対象となる撮影映像とは、上記のようにカメラ４−１，４−２が偏光フィルタを備えている場合であれば、カメラ映像出力部５２から出力された撮影映像そのものであり、撮影映像に表示映像が映り込んでいる場合であれば、図６（Ａ）〜図６（Ｄ）で説明した処理により再生映像の領域が削除された後の撮影映像である。
【００５５】
まず、映像情報比較合成部５４は、撮影映像に関連付けられた他の映像があるか無いかを確認する（図７ステップＳ５０）。上記のとおり、撮影映像には、映像情報記録・再生部５３に蓄積される際に付随情報が付与され、この付随情報の中に当該撮影映像に関連する映像の識別情報と時間情報が含まれている。したがって、映像情報記録・再生部５３に蓄積されている当該撮影映像の付随情報を調べることで、撮影映像に関連付けられた他の映像があるか無いかを確認することができる。
【００５６】
映像情報比較合成部５４は、撮影映像の付随情報を確認した結果、この撮影映像に関連付けられた映像が無いと判断した場合、すなわち撮影映像と合成すべき再生映像がないと判断した場合、撮影映像をそのまま映像情報出力部５５に出力して（図７ステップＳ５１）、合成を終了する。
【００５７】
一方、映像情報比較合成部５４は、撮影映像の付随情報を確認した結果、この撮影映像に関連付けられた映像がある場合には、この撮影映像の付随情報に含まれる識別情報と時間情報に基づいて、撮影映像に関連付けられた映像を再生映像として映像情報記録・再生部５３から読み出す（図７ステップＳ５２）。さらに、映像情報比較合成部５４は、ステップＳ５２で読み出した再生映像に関連付けられた他の映像があるか無いかを確認する（図７ステップＳ５３）。ステップＳ５０と同様に、この確認はステップＳ５２で読み出した再生映像の付随情報を調べることで行うことができる。
【００５８】
映像情報比較合成部５４は、ステップＳ５２で読み出した再生映像の付随情報を確認した結果、この再生映像に関連付けられた映像が無いと判断した場合は、ステップＳ５４に進む。また、映像情報比較合成部５４は、ステップＳ５２で読み出した再生映像に関連付けられた映像がある場合には、この再生映像の付随情報に含まれる識別情報と時間情報に基づいて、再生映像に関連付けられた映像も再生映像として映像情報記録・再生部５３から読み出す（図７ステップＳ５２）。こうして、ステップＳ５２，Ｓ５３の処理を繰り返すことにより、撮影映像に直接的もしくは間接的に関連付けられた全ての映像を取得する。
【００５９】
映像情報比較合成部５４は、撮影映像に関連付けられた全ての映像を再生映像として映像情報記録・再生部５３から読み出した後に、これらの再生映像と撮影映像とを合成し（図７ステップＳ５４）、合成映像を映像情報出力部５５と映像情報記録・再生部５３に出力する（ステップＳ５５）。
【００６０】
図８（Ａ）〜図８（Ｈ）はステップＳ５４の合成処理を説明するための図である。８０は撮影映像、８１は撮影映像８０に関連付けられた再生映像、８２は再生映像８１に関連付けられた再生映像、８３は再生映像８２に関連付けられた再生映像である。
【００６１】
撮影映像と再生映像の合成方法としてはいくつかの方法が考えられる。第１の合成方法は、過去の映像にそのまま映像を重ねていく方法である。この場合には、図８（Ｅ）の「透過なし」に示すように、過去の映像の上に新しい映像を重ねることにより、映像を合成する。図８（Ａ）〜図８（Ｄ）の例では、撮影映像８０、再生映像８１、再生映像８２、再生映像８３の順に新しくなる。したがって、合成映像は、図８（Ｅ）に示すように、再生映像８３の上に再生映像８２が重なり、再生映像８２の上に再生映像８１が重なり、再生映像８１の上に撮影映像８０が重なった映像８４となる。
【００６２】
第２の合成方法は、全ての映像を透過するように設定を行い、重ね合わせる方法である。この場合には、合成映像は、図８（Ｆ）の「透過あり」に示すように、すべての映像８０〜８３がそれぞれの透過率に合わせて重なった映像８５となる。
【００６３】
また、合成処理に関しては、取得した再生映像のうち、どの映像を撮影映像と合成するかをユーザ２が予め設定することも可能である。その設定の種類としては、規定回数前までの再生映像を同時に合成するように設定したり、特定の回数の再生映像を合成するように設定したりするなど様々な設定が可能である。
【００６４】
例えば図８（Ｇ）の例は、撮影映像から１回前の再生映像のみを合成するように予め設定されている例である。この場合の合成映像は、１回前の再生映像８１に撮影映像８０が重なった映像８６となる。また、図８（Ｈ）の例は、撮影映像から３回前の再生映像のみを合成するように予め設定されている例である。この場合の合成映像は、３回前の再生映像８３に撮影映像８０が重なった映像８７となる。
なお、前記第１の合成方法あるいは第２の合成方法も、ユーザ２からの指示に応じて選択可能であることは言うまでもない。
【００６５】
映像情報比較合成部５４で合成された映像は、映像情報出力部５５と映像情報記録・再生部５３に出力される。映像情報出力部５５は、映像情報比較合成部５４から出力された映像を液晶ディスプレイ３に表示させ、映像情報記録・再生部５３は、映像情報比較合成部５４から出力された映像を蓄積する（図４ステップＳ６）。
【００６６】
ユーザ２は、映像情報記録・再生部５３に対して、どの映像を再生するかといった指示や、映像情報比較合成部５４から出力された合成映像を蓄積するかしないかといった指示を与えることができる。また、ユーザ２は、カメラ映像出力部５２に指示を送って、カメラ映像取込部５０−１，５０−２からの出力に関係なく撮影映像を切り替えることが可能である。
以上のようにして、本実施の形態では、第１の実施の形態で説明したような効果を得ることができる。
【００６７】
なお、本実施の形態では、１台の映像重畳装置を用いて説明したが、第１の実施の形態で説明したとおり、ネットワークを介して複数の地点の映像重畳装置を接続することが可能である。例えば地点Ｂの映像重畳装置１−Ｂの映像情報記録・再生部５３は、ユーザ２−Ｂの指示に応じて撮影映像または事前に蓄積されている再生映像を通信部５６からネットワークを介して地点Ａの映像重畳装置１−Ａに送信することができる。
【００６８】
映像重畳装置１−Ａの通信部５６は、映像重畳装置１−Ｂから送信された映像を受信する。映像重畳装置１−Ａの映像情報比較合成部５４は、自装置のカメラ４−１または４−２で撮影された撮影映像と自装置の映像情報記録・再生部５３から出力された再生映像と映像重畳装置１−Ｂから送信された映像とを合成する。
【００６９】
このとき、映像重畳装置１−Ａの映像情報比較合成部５４は、通信部５６を介して地点Ｂの映像情報記録・再生部５３と情報のやり取りを行うことにより、映像重畳装置１−Ｂから送信された映像を自装置の映像情報記録・再生部５３から出力された再生映像と同様に扱うことができ、自装置の撮影映像と自装置の映像情報記録・再生部５３から出力された再生映像と映像重畳装置１−Ｂから送信された映像とを合成することができる。これにより、地点Ａから離れた地点Ｂで地点Ａのユーザ２−Ａの動作学習を支援することができる。
【００７０】
本実施の形態の応用例としては、例えば舞踊やゴルフ等の練習に映像重畳装置１を利用する例が考えられる。映像重畳装置１によれば、地点Ｂの指導者が地点Ａのユーザ２−Ａの映像上で手、肩、腰などの位置を示したり、模範演技を示したりできる。また、映像の録画も可能なので、地点Ｂの指導者は自分の好きな時間に地点Ａで録画された映像を見て指導することができる。また、指導者が指導している映像も録画可能なので、地点Ａのユーザ２−Ａはその指導者の映像を後で見ることができる。
【００７１】
本実施の形態では、地点Ａのユーザ２−Ａは自分の背面の映像を見ることができるので、鏡では確認しづらかった後ろから見た自分の様子を容易に確認することができる。また、指導者にとっては、生徒に直接触ることなく指示できるので、誤解を受けたりすることなく指導できるし、生徒も安心して指導を受けることができる。また、舞踊の型などの場合、ユーザは、遠隔地の指導者の動きと現在の自分の動きを重ねあわせて、動きを真似することができる。
【００７２】
また、本実施の形態の別の応用例として、地点Ｂからユーザ２−Ｂが指示して地点Ａのユーザ２−Ａに作業させる例が考えられる。地点Ａのユーザ２−Ａの様子はカメラ４−１または４−２で撮影され、地点Ｂに送信される。専門知識のある地点Ｂのユーザ２−Ｂは、地点Ｂの液晶ディスプレイ３でユーザ２−Ａの映像を見ながら例えば指差しをして作業を指示する。地点Ａのユーザ２−Ａは、地点Ａの液晶ディスプレイ３でユーザ２−Ｂが重畳された映像を見ながら指示された作業を行う。この例では、遠隔地にいるユーザ２−Ｂの動作が地点Ａの液晶ディスプレイ３に重ねて表示されるので、ユーザ２−Ａはより的確に指示を受けることが可能となる。
【００７３】
なお、第１の実施の形態および第２の実施の形態の映像重畳装置のうち、カメラと液晶ディスプレイとセンサを除く構成は、ＣＰＵ、記憶装置および外部とのインタフェースを備えたコンピュータとこれらのハードウェア資源を制御するプログラムによって実現することができる。
【００７４】
このようなコンピュータにおいて、本発明の映像重畳方法を実現させるための映像重畳プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供され、コンピュータの記憶装置に格納される。ＣＰＵは、記憶装置に格納されたプログラムに従って第１の実施の形態および第２の実施の形態で説明した処理を実行する。
【産業上の利用可能性】
【００７５】
本発明は、カメラで撮影した撮影映像と他の映像とを重ねてディスプレイに表示することにより、人の身体動作の学習を支援したり、人の作業を支援したりする技術に適用することができる。
【図面の簡単な説明】
【００７６】
【図１】本発明の第１の実施の形態に係る映像重畳装置の構成を示すブロック図である。
【図２】本発明の第１の実施の形態において２台の映像重畳装置をネットワークを介して接続する場合の構成を示すブロック図である。
【図３】本発明の第２の実施の形態に係る映像重畳装置の構成を示すブロック図である。
【図４】本発明の第２の実施の形態に係る映像重畳装置の動作を示すフローチャートである。
【図５】本発明の第２の実施の形態に係る映像重畳装置における映像情報記録・再生部の動作を示すフローチャートである。
【図６】本発明の第２の実施の形態において撮影映像に表示映像が映り込んでいる場合の撮影映像と再生映像の合成処理の前処理を説明するための図である。
【図７】本発明の第２の実施の形態に係る映像情報比較合成部による撮影映像と再生映像の合成処理を示すフローチャートである。
【図８】本発明の第２の実施の形態に係る映像情報比較合成部による撮影映像と再生映像の合成処理を説明するための図である。
【符号の説明】
【００７７】
１，１−Ａ，１−Ｂ…映像重畳装置、２，２−Ａ，２−Ｂ…ユーザ、３，３−Ａ，３−Ｂ…液晶ディスプレイ、４，４−Ａ，４−Ｂ，４−１，４−２…カメラ、５，５−Ａ，５−Ｂ…映像処理装置、６…ネットワーク、７…センサ、５０−１，５０−２…カメラ映像取込部、５１…位置測定部、５２…カメラ映像出力部、５３…映像情報記録・再生部、５４…映像情報比較合成部、５５…映像情報出力部、５６…通信部、５７…操作入力部。
【特許請求の範囲】
【請求項１】
映像重畳装置を用いて撮影映像と他の映像とを重ねて表示する映像重畳方法であって、
撮影手段がカメラを用いて、表示手段の画面と対向する方向から撮影映像を撮影する映像撮影ステップと、
映像情報記録・再生手段が、前記撮影映像を撮影時刻情報と共に記録し、前記撮影時に前記表示手段に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、前記撮影映像とその撮影時刻情報と共に記録する映像記録ステップと、
映像情報比較合成手段が、前記撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成する際に、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づき前記撮影映像と前記再生映像とを合成する映像合成ステップと、
映像情報出力手段が、前記撮影映像または前記映像合成ステップで合成された映像を前記表示手段に表示させる表示ステップとを備えることを特徴とする映像重畳方法。
【請求項２】
請求項１に記載の映像重畳方法において、
前記表示手段は、液晶ディスプレイであり、
前記カメラは、前記液晶ディスプレイの偏光と直交する偏光フィルタを有し、
前記映像撮影ステップは、前記液晶ディスプレイと前記カメラとの間にある物体のみを撮影することを特徴とする映像重畳方法。
【請求項３】
請求項１に記載の映像重畳方法において、
前記映像合成ステップは、
前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づいて前記他の映像を前記映像情報記録・再生手段から取得するステップと、
この取得した映像と前記撮影映像とを比較し、前記撮影映像内に含まれる前記他の映像の領域を特定するステップと、
この特定した領域を前記撮影映像から削除するステップと、
前記削除後の撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成するステップとを含むことを特徴とする映像重畳方法。
【請求項４】
請求項１に記載の映像重畳方法において、
さらに、前記表示手段と前記カメラとの間にいるユーザの位置を測定する位置測定ステップを備え、
前記映像撮影ステップは、前記位置測定ステップで得られたユーザの位置情報に基づき、前記表示手段に映るユーザの大きさが所定の大きさになるように前記撮影映像を補正するステップを含むことを特徴とする映像重畳方法。
【請求項５】
請求項１に記載の映像重畳方法において、
さらに、前記表示手段と前記カメラとの間にいるユーザの位置を測定する位置測定ステップを備え、
前記カメラは、前記表示手段の画面と対向するように複数配置され、
前記映像撮影ステップは、前記位置測定ステップで得られたユーザの位置情報に基づき、前記表示手段に映るユーザの大きさが所定の大きさになるように前記複数のカメラの中から適切なカメラの撮影映像を選択することを特徴とする映像重畳方法。
【請求項６】
請求項１に記載の映像重畳方法において、
さらに、他の映像重畳装置と通信を行う通信部が、前記他の映像重畳装置に対して映像を送受信する送受信ステップを備え、
前記映像合成ステップは、前記他の映像重畳装置から送信された映像を受信した場合には、前記撮影映像と前記映像情報記録・再生手段から出力された再生映像と前記他の映像重畳装置から送信された映像とを合成することを特徴とする映像重畳方法。
【請求項７】
請求項１に記載の映像重畳方法において、
前記映像合成ステップは、ユーザから指定された映像を前記映像情報記録・再生手段に再生させて、この再生映像と前記撮影映像とを合成することを特徴とする映像重畳方法。
【請求項８】
請求項１に記載の映像重畳方法において、
前記映像合成ステップは、ユーザから指定された合成方法で前記再生映像と前記撮影映像とを合成することを特徴とする映像重畳方法。
【請求項９】
映像を表示可能な表示手段と、
カメラを用いて前記表示手段の画面と対向する方向から撮影映像を撮影する撮影手段と、
前記撮影映像を撮影時刻情報と共に記録し、前記撮影時に前記表示手段に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、前記撮影映像とその撮影時刻情報と共に記録する映像情報記録・再生手段と、
前記撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成する際に、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づき前記撮影映像と前記再生映像とを合成する映像情報比較合成手段と、
前記撮影映像または前記映像情報比較合成手段で合成された映像を前記表示手段に表示させる映像情報出力手段とを備えることを特徴とする映像重畳装置。
【請求項１０】
カメラを用いて表示手段の画面と対向する方向から撮影映像を撮影する映像撮影ステップと、
前記撮影映像を撮影時刻情報と共に映像情報記録・再生手段に記録し、前記撮影時に前記表示手段に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、前記撮影映像とその撮影時刻情報と共に記録する映像記録ステップと、
前記撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成する際に、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づき前記撮影映像と前記再生映像とを合成する映像合成ステップと、
前記撮影映像または前記映像合成ステップで合成された映像を前記表示手段に表示させる表示ステップとを、コンピュータに実行させることを特徴とする映像重畳プログラム。
【請求項１】
映像重畳装置を用いて撮影映像と他の映像とを重ねて表示する映像重畳方法であって、
撮影手段がカメラを用いて、表示手段の画面と対向する方向から撮影映像を撮影する映像撮影ステップと、
映像情報記録・再生手段が、前記撮影映像を撮影時刻情報と共に記録し、前記撮影時に前記表示手段に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、前記撮影映像とその撮影時刻情報と共に記録する映像記録ステップと、
映像情報比較合成手段が、前記撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成する際に、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づき前記撮影映像と前記再生映像とを合成する映像合成ステップと、
映像情報出力手段が、前記撮影映像または前記映像合成ステップで合成された映像を前記表示手段に表示させる表示ステップとを備えることを特徴とする映像重畳方法。
【請求項２】
請求項１に記載の映像重畳方法において、
前記表示手段は、液晶ディスプレイであり、
前記カメラは、前記液晶ディスプレイの偏光と直交する偏光フィルタを有し、
前記映像撮影ステップは、前記液晶ディスプレイと前記カメラとの間にある物体のみを撮影することを特徴とする映像重畳方法。
【請求項３】
請求項１に記載の映像重畳方法において、
前記映像合成ステップは、
前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づいて前記他の映像を前記映像情報記録・再生手段から取得するステップと、
この取得した映像と前記撮影映像とを比較し、前記撮影映像内に含まれる前記他の映像の領域を特定するステップと、
この特定した領域を前記撮影映像から削除するステップと、
前記削除後の撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成するステップとを含むことを特徴とする映像重畳方法。
【請求項４】
請求項１に記載の映像重畳方法において、
さらに、前記表示手段と前記カメラとの間にいるユーザの位置を測定する位置測定ステップを備え、
前記映像撮影ステップは、前記位置測定ステップで得られたユーザの位置情報に基づき、前記表示手段に映るユーザの大きさが所定の大きさになるように前記撮影映像を補正するステップを含むことを特徴とする映像重畳方法。
【請求項５】
請求項１に記載の映像重畳方法において、
さらに、前記表示手段と前記カメラとの間にいるユーザの位置を測定する位置測定ステップを備え、
前記カメラは、前記表示手段の画面と対向するように複数配置され、
前記映像撮影ステップは、前記位置測定ステップで得られたユーザの位置情報に基づき、前記表示手段に映るユーザの大きさが所定の大きさになるように前記複数のカメラの中から適切なカメラの撮影映像を選択することを特徴とする映像重畳方法。
【請求項６】
請求項１に記載の映像重畳方法において、
さらに、他の映像重畳装置と通信を行う通信部が、前記他の映像重畳装置に対して映像を送受信する送受信ステップを備え、
前記映像合成ステップは、前記他の映像重畳装置から送信された映像を受信した場合には、前記撮影映像と前記映像情報記録・再生手段から出力された再生映像と前記他の映像重畳装置から送信された映像とを合成することを特徴とする映像重畳方法。
【請求項７】
請求項１に記載の映像重畳方法において、
前記映像合成ステップは、ユーザから指定された映像を前記映像情報記録・再生手段に再生させて、この再生映像と前記撮影映像とを合成することを特徴とする映像重畳方法。
【請求項８】
請求項１に記載の映像重畳方法において、
前記映像合成ステップは、ユーザから指定された合成方法で前記再生映像と前記撮影映像とを合成することを特徴とする映像重畳方法。
【請求項９】
映像を表示可能な表示手段と、
カメラを用いて前記表示手段の画面と対向する方向から撮影映像を撮影する撮影手段と、
前記撮影映像を撮影時刻情報と共に記録し、前記撮影時に前記表示手段に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、前記撮影映像とその撮影時刻情報と共に記録する映像情報記録・再生手段と、
前記撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成する際に、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づき前記撮影映像と前記再生映像とを合成する映像情報比較合成手段と、
前記撮影映像または前記映像情報比較合成手段で合成された映像を前記表示手段に表示させる映像情報出力手段とを備えることを特徴とする映像重畳装置。
【請求項１０】
カメラを用いて表示手段の画面と対向する方向から撮影映像を撮影する映像撮影ステップと、
前記撮影映像を撮影時刻情報と共に映像情報記録・再生手段に記録し、前記撮影時に前記表示手段に映像が表示されていた場合には、この映像の識別情報および撮影時刻情報を、前記撮影映像とその撮影時刻情報と共に記録する映像記録ステップと、
前記撮影映像と前記映像情報記録・再生手段から出力された再生映像とを合成する際に、前記撮影映像に他の映像の情報が付随している場合には、この撮影映像と共に記録されている識別情報および撮影時刻情報に基づき前記撮影映像と前記再生映像とを合成する映像合成ステップと、
前記撮影映像または前記映像合成ステップで合成された映像を前記表示手段に表示させる表示ステップとを、コンピュータに実行させることを特徴とする映像重畳プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−２３９４３９（Ｐ２００９−２３９４３９Ａ）
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願番号】特願２００８−８０５２７（Ｐ２００８−８０５２７）
【出願日】平成２０年３月２６日（２００８．３．２６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２１年１０月１５日（２００９．１０．１５）
【国際特許分類】
【出願日】平成２０年３月２６日（２００８．３．２６）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]