映像提示システム、プログラム及び記録媒体
【課題】利用者に取って煩わしい電子データの合成位置を考慮することなく、相手の映像内に適切に合成表示された電子データを見ながら遠隔地間で実作業に適したコミュニケーションを可能とする。
【解決手段】ＬＵＴ３１は、画像提示システムで利用可能な利用形態に応じて、電子データの合成に必要とする加工を行うための加工情報を保持する。ＣＰＵ２９は、操作装置５に対する操作入力等に応じて画像提示システムの利用形態を予め定められた利用形態のなかから決定する。電子データ加工部２８は、ＣＰＵ２９により決定された利用形態に基づいて、ＬＵＴ３１から加工情報を取得し、撮影装置２ａで撮影された撮影画像に合成すべき電子データを加工する。画像重畳部２１は、電子データ加工部２５で加工された電子データと撮影画像とを合成し、送信制御部３２から送信させる。
【解決手段】ＬＵＴ３１は、画像提示システムで利用可能な利用形態に応じて、電子データの合成に必要とする加工を行うための加工情報を保持する。ＣＰＵ２９は、操作装置５に対する操作入力等に応じて画像提示システムの利用形態を予め定められた利用形態のなかから決定する。電子データ加工部２８は、ＣＰＵ２９により決定された利用形態に基づいて、ＬＵＴ３１から加工情報を取得し、撮影装置２ａで撮影された撮影画像に合成すべき電子データを加工する。画像重畳部２１は、電子データ加工部２５で加工された電子データと撮影画像とを合成し、送信制御部３２から送信させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像提示システム、プログラム及び記録媒体に関し、より具体的には、撮影画像に対してリアルタイムに電子データを合成表示することで、遠隔地との間のシステム間でコミュニケーションをとって共同作業を行うことができるようにした映像提示システム、及び該システムの機能を実現するプログラム及び記録媒体に関する。
【背景技術】
【０００２】
複数の作業者によるフェイスツーフェイスの共同作業には様々な形態がある。例えば、フェイスツーフェイスの共同作業として、実在の物を使った作業（モックアップを用いたプロダクトデザイン確認、作業リーダによる製造装置の使用方法に関するレクチャー等）や、作業者がお互いに横に座りながら、あるいは側に立ち、共通の画面を見ながら計算機を使った作業（ペアプログラミング、作業画面を使った状況報告等）等があり、これらの作業が頻繁に行われている。これらの作業は、コミュニケーションを伴う共同作業の中でも頻度が高く・重要な作業形態である。
【０００３】
ここで示した作業はすべて、実在のものであれ、計算機によって作り出された電子データであれ、何らかの介在物を上手く使うことで人と人のコミュニケーションが成立している。一般的に、作業は効率を高めることが求められ、また複雑高度化したタスクは、何らかの補助情報を用いなければ解決することが困難である。従って、作業の中で会話によるコミュニケーションと共に何らかの作業オブジェクトを用いることが必須事項である。
【０００４】
遠隔地との間で作業オブジェクトを介在させた作業を実現するために、撮影された実写映像に、計算機で利用することができる電子データを合成表示することで、上記実際の作業に近いコミュニケーションを遠隔地間で提供することができる。さらに撮影された実写映像の３次元的な空間や位置関係を考慮して電子データを合成できると、２次元平面に単純に電子データを貼り付ける場合に比べて、視認性や物体位置認識効果を高めることができる。これらの研究は、拡張現実（ＡＲ：Augmented Reality)・複合現実(ＭＲ：Mixed Reality)と呼ばれ、多くの実施例がある。
【０００５】
しかし、３次元空間に関する知識を有していない一般利用者が、３次元的な空間や位置関係を考慮して実写映像のどの場所や角度に電子データを表示させるかを決めることは容易ではない。これは、２次元配置の場合には、映像内の縦位置と横位置の２自由度の設定で済むのに対し、３次元配置の場合には、縦位置と横位置の他に奥行き位置とさらに回転（ピッチ、ヨー、ロール）の６自由度の設定をする必要があることも要因の一つである。
【０００６】
例えば、特許文献１には、送信者側の映像を受信者側に転送し、仮想空間内で送信者と受信者のアバターと呼ばれる人物映像を合成しリアルタイムに表示することで、コミュニケーションや協調作業を行うための装置について開示されている。送信者の映像は、送信者と受信者の位置関係から、複数の角度に設置された撮影装置の中から適切な位置の映像が選択されて伝送されるような構成になっている。しかし、利用者は空間の位置関係を考慮してアバターを適切に配置する必要がある。
【０００７】
また、特許文献２では、撮影対象の３次元的な形状や位置関係等の３次元特徴に合わせて、広告画像や所望の画像を合成するための装置について開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１７８０３６号公報
【特許文献２】特開２００４−１４５４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記２つの特許文献では、電子データやアバターを配置する位置をどのように決めるかについては明確に言及されていない。一般的には、利用者によって適切な位置に電子データ等を配置させるか、あるいは利用者の３次元位置をセンシングする装置を利用する方法が考えられる。しかしながら、遠隔地コミュニケーションを想定したテレビ会議システムなどの汎用的な装置では、利用者が３次元空間や３次元の概念に精通していることを利用条件にするような使い方は現実的ではない。
【００１０】
また、３次元位置をセンシングする装置については、様々なセンシング技術が存在するが、３次元位置情報を直接用いて電子データを重畳すると、取得した３次元位置の精度によって重畳位置が安定しないなどの問題がある。仮に精度良く３次元位置を取得できたとしても、利用途中で逐次電子データの提示位置が変わることは、視認性の問題もあり作業効率を阻害しかねない。
【００１１】
従って本発明では、遠隔地で実写された撮像画像に電子データを合成して表示する画像提示システムにおいて、利用者に取って煩わしい電子データの合成位置を考慮することなく、相手の映像内に適切に合成表示された電子データを見ながら遠隔地間で実作業に適したコミュニケーションを行うことを可能とする画像提示システム、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の第１の技術手段は、撮影装置によって取得された撮影画像を入力し、該入力した撮影画像に、画像として生成された電子データを加工して合成し、該合成した画像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした画像提示システムであって、該画像提示システムの利用形態を予め定められた利用形態の中から決定する利用形態決定部と、前記利用形態決定部で決定可能な利用形態に応じて、前記電子データの合成に必要とする加工を行うための加工情報を保持する加工情報保持部と、前記利用形態決定部により決定された利用形態に基づいて、前記加工情報保持部から前記加工情報を取得し、前記撮影画像に合成すべき電子データを加工する電子データ加工部と、前記電子データ加工部で加工された電子データと、前記撮影画像とを合成する合成部とを有し、該合成部で合成された映像を送信することを特徴としたものである。
【００１３】
第２の技術手段は、第１の技術手段において、利用者による操作入力を受け付ける操作装置を有し、前記利用形態決定部は、前記操作装置に対する利用者の入力操作に従って、前記画像提示システムの利用形態を決定することを特徴としたものである。
【００１４】
第３の技術手段は、第１の技術手段において、利用者の３次元上の位置を計測する３次元位置計測装置を有し、前記利用形態決定部は、前記３次元位置計測装置で計測された利用者の位置情報に従って、前記画像提示システムの利用形態を決定することを特徴としたものである。
【００１５】
第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記画像提示システムの利用形態は、遠隔地間で利用者同士がコミュニケーションを行う状況を想定した作業を類型化して予め定めた利用形態であることを特徴としたものである。
【００１６】
第５の技術手段は、第１〜第４の技術手段において、前記加工情報保持部は、前記利用形態と、前記電子データを加工するために必要な情報とを対応付けた変換テーブルであることを特徴としたものである。
【００１７】
第６の技術手段は、第１〜第５の技術手段において、前記電子データを加工するために必要な情報は、前記撮像装置が撮像した三次元空間内における電子データの配置状態を指定する情報であって、前記配置状態を指定する情報を用いて電子データを加工することにより、前記撮像画像内に前記電子データが指定された状態で配置された合成画像が得られることを特徴としたものである。
【００１８】
第７の技術手段は、コンピュータに、第１〜第６のいずれか１の技術手段の機能を実現させるためのプログラムである。
【００１９】
第８の技術手段は、第７の技術手段のプログラムをコンピュータ読み取り可能に記録した記録媒体である。
【発明の効果】
【００２０】
本発明によれば、遠隔地で実写された撮像画像に電子データを合成して表示する画像提示システムにおいて、利用者に取って煩わしい電子データの合成位置を考慮することなく、相手の映像内に適切に合成表示された電子データを見ながら遠隔地間で実作業に適したコミュニケーションを行うことを可能とする画像提示システム、プログラム及び記録媒体を提供することができる。
【００２１】
本発明では、３次元空間や概念に慣れていない一般利用者であっても簡単に所望の位置に電子データを合成して表示させたり、あるいは、３次元的な位置関係をセンシングする装置を利用した場合においても、逐次重畳位置を変えるのではなく、位置を安定させて電子データを表示させることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の映像提示システムの第１の実施形態を模式的に示す図である。
【図２】本発明の映像提示システムの第１の実施形態における映像・音声処理機能を示すブロック図である。
【図３】図２の映像処理機能を更に詳しく説明するためのブロック図である。
【図４】電子データを加工するときの加工情報に関連付ける具体的な利用形態の例を説明するための図である。
【図５】利用形態に対応する利用者選択信号から電子データの加工情報を抽出するためのテーブルの一例を示す図である。
【図６】画像提示システムのディスプレイに表示する画像における電子データの配置位置を説明するための図である。
【図７】電子データを空間内に正しく配置するために使用する座標軸の定義を説明するための図である。
【図８】表示装置の上部に撮影装置を設置した場合の座標系の変換方法を説明するための図である。
【図９】本発明に係る映像提示システムの第２の実施形態を模式的に示す図である
【図１０】本発明の映像提示システムの第２の実施形態における映像・音声処理機能を示すブロック図である。
【図１１】利用者の相対的な位置関係を算出するために用いる基準座標系について説明するための図である。
【図１２】双方の利用者の位置とディスプレイとの位置関係から利用形態を推定する例を説明するための図である。
【図１３】利用形態の推定方法の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００２３】
（第１の実施形態）
＜システム構成＞
本発明の第１の実施形態を図１〜図８に基づいて説明する。図１は映像と音声を双方向通信できる本発明に係る映像提示システムの第１の実施形態を模式的に示す図である。広域のネットワーク６より先の遠隔地にも同じ映像提示システムが設置されており、遠隔の映像提示システム間で、映像と音声を使ったコミュニケーションをリアルタイムに行うことができる。
【００２４】
図１について詳しく説明する。本発明に係る映像提示システムの実施形態は、計算機４で実行され、計算機４の有する機能により映像・音声処理が行われる。計算機４は、例えばＰＣなどの情報処理装置を適用することができる。
計算機４には、遠隔地の利用者の映像７、及び遠隔地の相手と一緒に作業を行っている電子データ８を表示する液晶ディスプレイなどの表示装置１と、遠隔地の音声を再生する音声再生装置３とが接続される。計算機４は、遠隔地から伝送された映像と音声の情報を受け取り、表示装置１と音声再生装置３に映像や音声を提示するためのものである。
【００２５】
表示装置１の上部には、利用者の映像と音声を一度に取得するマルチメディア情報取得装置２が設置されている。映像や音声を取得するためのマルチメディア情報取得装置２は必ずしも一体化している必要はなく、映像の取得と音声の取得を分離した装置で実現する構成も可能である。例えば、マルチメディア情報取得装置２をマイク及び撮影装置（カメラ）によって構成し、音声を取得するためのマイクを利用者の近くに置き、撮影カメラのみを表示装置１の上部に設置した構成としてもよい。
【００２６】
マルチメディア情報取得装置２は、上記遠隔地からの映像と音声を提示するための計算機４に接続されている。計算機４は、上記受信側の処理とは別に、遠隔地に映像や音声を伝送するための送信制御も行っている。
また、計算機４には、キーボードなどの操作装置５が接続されており、利用者が本発明の特徴である作業形態等の情報を入力し、システムを制御することが可能である。計算機４は、ネットワーク６を介して、遠隔地の同一の画像提示システムと繋がっており、映像や音声の送受信を行うことができる。利用者９はこの画像提示システムを利用することで、遠隔地に設置された同システムの利用者とリアルタイムに電子データ８を見ながらコミュニケーションを行うことができる。
【００２７】
＜各処理内容について説明＞
（システムブロック図の基本処理の説明）
計算機４の内部で行われる基本の処理について、図２のブロック図を用いて説明する。図２において、広域のネットワーク６より左側が上記利用者９の側を示し、右側が遠隔地の側を示している。
利用者９側の画像提示システムにおける送信機能についてはじめに説明する。カメラやマイクで構成されるマルチメディア情報取得装置２で取得された映像と音声の信号は、映像・音声処理装置４１の内部にある送信装置１６に取り込まれる。映像・音声処理装置４１は、図１の計算機４と等価な装置である。ここでは、映像信号は送信装置１６内の映像処理装置（送信側）２１に入力され、音声信号は音声処理装置（送信側）２２に入力され、遠隔地に送信するための信号処理が施された後に、外部に出力され、広域のネットワーク６を経由して遠隔地に伝送される。
【００２８】
続いて、画像提示システムの受信機能について説明する。広域のネットワーク６を経由して遠隔地から送られてきた映像と音声の信号が、映像・音声処理装置４１の内部の受信装置１５に取り込まれる。映像信号は受信装置１５内の映像処理装置（受信側）１９に入力され、音声信号は音声処理装置（受信側）２０に入力される。そしてこれら映像信号及び音声信号は、映像や音声を再現できる形に信号処理され、ディスプレイ（表示装置）やスピーカで構成されるマルチメディア情報提示装置１０に出力される。
【００２９】
遠隔地の処理についても同様で、映像・音声処理装置１１は利用者側の映像・音声処理装置４１に、受信装置１７は利用者側の受信装置１５に、送信装置１８は利用者側の送信装置１６に、マルチメディア情報提示装置１２は利用者側のマルチメディア情報提示装置１０に、マルチメディア情報取得装置１３は利用者側のマルチメディア情報取得装置２に、それぞれ対応している。
【００３０】
（映像・音声処理装置４１の詳細説明）
映像・音声処理装置４１について図３のブロック図を用いて具体的に説明する。但し、音声処理については、支障がない限り説明を省略する。以下、上記利用者９が使用する画像提示システムにおいて、撮影された利用者の撮像画像に作業で扱う電子データを合成（重畳）した映像を遠隔地に伝送する流れと、遠隔地から送られてきた映像を受信して表示するまでの流れについて説明する。もう一方の遠隔地側の流れについては、利用者９のシステムと同じであるため説明は省略する。
【００３１】
撮影装置２ａは、マルチメディア情報取得装置２に含まれる装置であり、本画像提示システムを使う利用者９の映像を撮影する。この撮影装置２ａは、ＷｅｂカメラやＨＤ（High-Definition）解像度の撮影カメラなどの汎用の撮像デバイスを利用することが可能で、レンズ、露光調整機構、ＣＣＤ（Charge Coupled Device）など基本的な撮像デバイス構成要素を有している。撮影装置２ａは、外部入力端子（Ｉ／Ｆ）２５によって映像・音声処理装置４１に接続されている。撮影装置２ａでは、撮影対象を含む視野からの光はレンズ・露光調整機構を通してＣＣＤ上に結像される。ＣＣＤは入力された受光量に応じた信号を生成し出力する。
【００３２】
ＣＣＤで生成された信号は、カメラ用の所定の信号処理が施された後に画像信号（映像信号）として映像処理装置（送信側）２１の内部に取り込まれ、一旦画像メモリ２６に蓄積される。動画像を扱うため、撮影装置２ａは一定間隔で映像を取得し、逐次映像信号を映像処理装置（送信側）２１に供給する。画像メモリ２６には、映像処理装置（送信側）２１に入力された映像信号を順次上書き処理することにより、最新の映像データが蓄積されている。画像重畳部２７は、画像メモリ２６に蓄積された映像データをリアルタイムに読み出す必要があるため、画像メモリ２６はＤＲＡＭ（Dynamic Random Access Memory)等の高速にアクセス可能なメモリを用いて実現する。
【００３３】
画像重畳部２７は、画像メモリ２６と電子データ加工部２８とＣＰＵ２９にそれぞれ接続しており、ＣＰＵ２９からの指示によって、撮影装置２ａにより実写された撮像画像に電子データを合成するか、あるいは合成処理を行なわずに撮像画像をそのまま出力するかを切り替えることができる。
ＣＰＵ２９から撮影画像に電子データを合成処理するように指示された場合、画像重畳部２７は、画像メモリ２６から入力される撮像画像に、電子データ加工部２８から入力される電子データを合成処理し、送信制御部３２に結果を出力する。一方、ＣＰＵ２９によって、合成処理を行なわないように指示された場合には、画像メモリ２６から入力される撮像画像をそのまま送信制御部３２に出力する。
【００３４】
電子データ加工部２８は、画像重畳部２７において撮像画像に適切に合成できるように、電子データの合成位置と表示角度を加工した画像データを生成し出力する。加工する前の電子データは、電子映像生成部３０に接続された外部記憶装置３４、あるいは映像・音声処理装置４１内に格納され、必要な電子データが選択され取り出される。
【００３５】
電子データ加工部２８は、電子映像生成部３０によって画像として生成された電子データを加工する。その際に、ＣＰＵ２９によって指示される利用形態を示す情報に基づいてＬＵＴ３１に格納された電子データを加工するための加工情報が抽出されて、電子データ加工部２８に入力される。電子データ加工部２８は、ＬＵＴ３１から抽出された加工情報に応じて電子データを適切に加工する。
【００３６】
上記の利用形態は、本画像提示システムを利用可能な形態を予め定めたもので、ＣＰＵ２９は操作装置５に対する操作入力に従って、利用形態を決定する。従って本実施形態のＣＰＵ２９は、本発明の利用形態決定部に該当するものである。また、ＬＵＴ３１は、本画像提示システムで使用可能な利用形態と、電子データを加工するための加工情報とを対応付けた変換テーブルとして構成され、本発明の加工情報保持部に該当するものである。
【００３７】
また、上記の電子データを加工するために必要な情報は、撮像装置が撮像した三次元空間内における電子データの配置状態を指定する情報であって、この配置状態を指定する情報を用いて電子データを加工することにより、撮像画像内に電子データが指定された状態で配置された合成画像が得られるようにしたものである。
【００３８】
画像重畳部２７で撮像画像と電子データが合成され、生成された映像信号は送信制御部３２に入力され、通信に適した形に加工されて外部出力端子（Ｉ／Ｆ）３３を通して、外部に送信される。画像重畳部２７は、加工された電子データと撮影画像とを合成する本発明の合成部に該当する。
【００３９】
一方遠隔地から送られてきた映像信号は、映像処理装置（受信側）１９の外部出力端子３５を通して映像処理装置（受信側）１９に入力される。入力された映像信号は受信制御部３６においてデータ解析が行なわれ、システムが扱うことができる信号に変換される。受信制御部３６によって変換された信号は、一旦表示メモリ３７に蓄積されて、外部出力端子３８に接続された外部表示装置１に映像信号を送り、映像を表示する。
【００４０】
（ＬＵＴ３１について）
ＬＵＴ３１から電子データを加工するための加工情報が出力されるまでの処理について順に説明する。始めに、操作装置５の入力操作によって指定された利用形態を示す情報を、ＣＰＵ２９がＬＵＴ３１を制御するための信号に変換する。利用形態は、遠隔地間で利用者同士がコミュニケーションを行う状況を想定した作業を類型化して予め定めたものである。このような利用形態としてはその内容によって様々な形態が存在するが、ここでは実際の場面でよく行われていて、比較的重要な利用形態を用いる。図４を用いて、３つの具体的な利用形態について説明する。
【００４１】
図４（Ａ）は、二人の作業者９１，９２がディスプレイ１００に表示された電子情報を見ていて、時々作業者同士が会話をするような状況で、具体的にはペアプログラミングで良く行われる利用形態を示している。図４（Ｂ）は、２人の作業者９１，９２が対面の位置関係にあり、作業者の間に計算機１０１を置き、そこに電子データを表示させ、お互いが見ている状況で、具体的にはモックアップ確認の際によく行われる利用形態を示している。図４（Ｃ）は、一方の作業者９２の後方のスクリーン１０２にプロジェクタなどにより電子データが表示され、もう一方の作業者９１に説明を行うような場面で、具体的にはプレゼンテーションの際に良く行われる利用形態を示している。利用形態については、ここで説明した３つ以外にも扱うことは可能である。
【００４２】
利用者がこの３つの利用形態の中から一つを選択すると、その選択された情報がＣＰＵ２９に入力される。操作装置５では、利用形態を簡単に選択できるように、図示していない操作パネル上に、図４のような画像を表示させ利用者に選択させるようなユーザインタフェースを備えることも可能である。利用者が利用形態を選択すると、ＣＰＵ２９は、利用者による操作信号を選択された利用形態に対応する識別コードに変換する。
【００４３】
例えば、３種類の利用形態を識別するために、２ｂｉｔの利用者選択信号Ｓｉｎを割り当てると、図４（Ａ）〜図４（Ｃ）の利用形態は順番に、Ｓｉｎ＝００，０１，１０とすることができる。ここでＳｉｎ＝１１は対応する利用形態が存在しないため、不定信号（未割当信号）である。
ＬＵＴ３１では、ＣＰＵ２９から入力される利用者選択信号Ｓｉｎから、適切に電子データを加工するための加工情報を、変換テーブルを用いて抽出し、電子データ加工部２８に出力する。電子情報加工のための加工情報は、例えば、電子データを合成するために必要な３次元位置と角度の情報である。
【００４４】
図５に変換テーブルの例を示す。変換テーブルにおいて、第１列は利用者が選択する利用形態、第２列は利用者選択信号Ｓｉｎ、第３列は位置情報、第４列は角度情報を示している。ＬＵＴ３１は、このテーブルの利用者選択信号Ｓｉｎに基づいて位置情報と角度情報を加工情報として抽出し、これら抽出した加工情報を電子データ加工部２８に出力する。
【００４５】
図６は、画像提示システムのディスプレイに表示する映像における電子データの配置位置を説明するための図で、ＬＵＴ３１のテーブルに設定される電子データの位置関係を示すものである。ここでは、図１のシステムの表示装置（ディスプレイ）１のディスプレイ面ｆに対する電子データの配置位置を仮想的に示している。ディスプレイ面ｆの水平方向をＸ軸、垂直方向をＹ軸、奥行き方向をＺ軸とし、ディスプレイ面ｆの中心を原点とする位置情報と、ディスプレイ面ｆに対する角度情報を電子データｄの中心に設定することによって、電子データｄの配置位置を決定する。
【００４６】
図６（Ａ）は、ペアプログラミングの利用形態を示していて、ディスプレイ中心からＸ軸の負の方向に１ｍ、奥行き方向に１ｍの位置に電子データｄを表示させる。また、電子データｄの角度についてもディスプレイ面ｆに対して４５度傾けることで利用者が見やすくなるようにしている。図６（Ｂ）はモックアップ確認の利用形態を示しており、ディスプレイ中心に電子データｄを配置している。図６（Ｃ）はプレゼンテーションの利用形態を示しており、ディスプレイ中心からＸ軸の負の方向に０．５ｍ、奥行き方向に２ｍの位置に角度を変えずに電子データｄを表示させる。
【００４７】
（ワールド座標系）
電子データｄに与えられる位置情報と角度情報とからその電子データｄを空間内に正しく配置するために、図７を用いて座標軸の定義を行う。座標軸の原点ｏを利用者のディスプレイの中心とし、ディスプレイ面ｆに向かって右手方向がＸ軸の正の向き、上側がＹ軸の正の向き、ディスプレイ面ｆの奥の方向がＺ軸の正の向きとする。以下、原点ｏを中心としたこの座標系をワールド座標系と呼び、基準の座標系とする。
【００４８】
ワールド座標系のＸ軸、Ｙ軸、Ｚ軸をそれぞれＸｗ、Ｙｗ、Ｚｗとし、この座標軸上に電子データを配置する必要がある。電子データの配置は、上記ＬＵＴ３１より出力される加工情報に基づいて決定される。いま、ＬＵＴ３１より設置角度（ピッチ，ヨー，ロール）＝（θｐｉｔｃｈ，θｙａｗ，θｒｏｌｌ）、座標位置（Ｘｗ，Ｙｗ，Ｚｗ）＝（ＸＩ，ＹＩ，ＺＩ）の６軸の値が設定されると、ワールド座標系の適切な位置に電子データを一意に配置することができる。設置角度のピッチはＸ軸回りの垂直角、ヨーはＹ軸回りの水平角、ロールはＺ軸回りの回転角を、それぞれ示す。
【００４９】
（撮影装置の座標変換）
一方、利用者らを撮影する撮影装置（カメラ）２ａは撮影装置固有の座標系を有しているため、そのままでは上記ワールド座標系に配置された電子データと実写した撮影画像とを合成することはできない。そのため、撮影装置固有のカメラ座標系を、ワールド座標系に変換する必要がある。ワールド座標系への変換方法については図８を用いて説明する。
【００５０】
座標系変換は、撮影装置２aの設置角度とディスプレイ中心ｏからの併進量を用いて表すことが可能である。始めに一般的なローカル座標系をもつ撮影装置について、上記ワールド座標系に変換する方法について説明を行い、その後具体的に図８に示すような場所に設置された撮影装置のローカル座標系からワールド座標系への変換方法について示す。
【００５１】
座標系の変換は、Ｘ軸周りの回転θｘ、Ｙ軸周りの回転θｙ、Ｚ軸周りの回転θｚとＸ軸方向の併進ｌｘ、Ｙ軸方向の併進ｌｙ、Ｚ軸方向の併進ｌｚの組み合わせで行われる。
具体的に、Ｘ軸周りの回転θｘ、Ｙ軸周りの回転θｙ、Ｚ軸周りの回転θｚを示す変換行列は、それぞれ以下のようになる。
【００５２】
【数１】
【００５３】
また、Ｘ軸方向の併進、Ｙ軸方向の併進、Ｚ軸方向の併進は以下の変換行列で表すことができる。
【００５４】
【数２】
【００５５】
上記変換行列を用いると座標系を変換することが可能で、ローカル座標系を有する撮影装置で撮影する空間の３次元位置（Ｘｃ，Ｙｃ，Ｚｃ）は、式（３）によってワールド座標系上の点（Ｘｗ，Ｙｗ，Ｚｗ）に変換することができる。
【００５６】
（Ｘｗ，Ｙｗ，Ｚｗ，１）＝（Ｘｃ，Ｙｃ，Ｚｃ，１）・ｒｏｔＸ（θｘ）・ｒｏｔＹ（θｙ）・ｒｏｔＺＸ（θｚ）・ｓｈｉｆｔＸＹＺ（ｌｘ，ｌｙ，ｌｚ）・・・（３）
【００５７】
続いて、図８のように表示装置１の上部に撮影装置２ａを設置した場合の座標系変換方法について説明する。図８（Ａ）は、撮影装置と表示装置の関係を斜視図によって説明する図、図８（Ｂ）はその上面図、図８（Ｃ）はその側面図である。
表示装置１の枠を含めた高さをν、幅をｈとすると、撮影装置２ａはディスプレイ中心ｏからν／２上側に設置されている。また、ディスプレイ中心ｏから手前方向に向かったＺｗ軸のマイナス方向の軸を便宜上−Ｚｗ軸と呼ぶと、撮影装置２ａの光学系の光軸は、−Ｚｗ軸に平行な軸４０に対して下向きにθｘ傾いている。ワールド座標系と撮影装置固有のローカル座標系がこのような関係にあるとすると、ローカル座標系上の点（Ｘｃ，Ｙｃ，Ｚｃ）からワールド座標系上の点（Ｘｗ，Ｙｗ，Ｚｗ）への変換は式（式４）によって実現できる。
【００５８】
（Ｘｗ，Ｙｗ，Ｚｗ，１）
＝（Ｘｃ，Ｙｃ，Ｚｃ，１）・ｒｏｔ（１８０−θｘ）・ｓｈｉｆｔＸＹＺ（０，ｌｙ，０）
・・・（４）
【００５９】
ところが、撮影装置２ａで実写された撮像画像は、撮影装置２ａの撮像面に投影された２次元情報しかなく、（式４）を用いてワールド座標系に変換するために必要な３次元座標情報を得ることができない。従って、上記座標系の変換式（４）では、投影された画像をワールド座標系に変換して配置することができない。
そこで本発明に係る実施形態では、上記撮影装置で撮影されたローカル座標系を新たに基準座標系と定義し直し、ワールド座標系から基準座標系に変換しなおす。変換は、上記式（４）とは反対の変換を行えばよく、以下のように行うことができる。
【００６０】
（Ｘｃ，Ｙｃ，Ｚｃ，１）
＝（Ｘｗ，Ｙｗ，Ｚｗ，１）・ｒｏｔＸ（−１８０＋θｘ）・ｓｈｉｆｔＸＹＺ（０，−ｌｙ，０）
・・・（５）
【００６１】
以上、ローカル座標系を有する撮影装置で実写された撮影画像は座標系の変換ができないため、３次元情報をもつ電子データを基準座標系に変換し、撮影画像と合成を行う例を示した。他の例として、任意の視点映像を合成する技術を用いれば、撮影画像の方をワールド変換座標系に変換して、電子データを合成して提示することも可能である。
任意の視点を合成して生成する技術の詳細については説明を行わないが、例えば公知技術解説文献「自由視点映像技術」映像メディア学会誌Ｖｏｌ．６０，Ｎｏ．１（２００６）に記載のように、複数の撮影装置で撮影された映像から光線空間を構築し、仮想的な視点の映像を生成する技術を応用することも可能である。
【００６２】
以上、撮影装置で実写された撮影画像と作業に用いる電子情報の座標系を基準座標系に統一することができると、この空間内から映像を作り出すことができる仮想的なカメラを設置し、ディスプレイに表示するための映像を作成することができるようになる。
【００６３】
（３次元位置に基づいたレンダリング方法）
一般的な３ＤＣＧレンダリング技術では、画像供給源より供給される３次元位置を持った複数の平面画像を仮想的な３次元空間内に配置することでシーンが形成され、上記算出された基準座標系において想定する利用者位置から見た映像を生成することができる。この利用者位置に設置された仮想的なカメラよって３次元空間に再現されたシーンが撮影され、その後表示装置に表示するためのビュー変換処理によって想定する観察者位置から見た画像を切り出して提示することができる。
【００６４】
ビュー変換処理は、基準座標系から観察者位置に置かれた仮想撮像装置を基準とする座標に変換することである。仮想撮像装置のＸ軸を示すベクトルをＲ＝（ｒｘ，ｕｘ，νｘ）、仮想撮像装置のＹ軸を示すベクトルをＵ＝（ｒｙ，ｕｙ，νｙ）、仮想撮像装置のＺ軸を示すベクトルをＶ＝（ｒｚ，ｕｚ，νｚ）、仮想撮像装置の位置を示すベクトルをＰ＝（ｘ，ｙ，ｚ）としたときに、ビュー変換行列は式６のようになる。
【００６５】
【数３】
【００６６】
続いて、ビュー変換されたシーンに対して遠くのものが小さく、近くのものが大きく見えるように透視投影処理が実施される。透視投影処理では、撮像装置に近いところ（前方投影面）と、遠いところ（後方投影面）に対して２つの投影面が導入され、撮像装置原点を中心とした錘状になるように設定される。プロジェクション変換によって、近いところの面と遠いところの面の間の空間が立方体になるように変換することによって、近いところが大きく、遠いところが小さく見えるような変換がなされる。このプロジェクション変換によって、射影座標系に変換される。水平方向の視野角をｗ、垂直方向の視野角をｈとし、仮想撮像装置の位置から前方投影面までの距離をｚｎ、後方投影面までの距離をｚｆとすると、以下の行列によって射影座標系に変換することができる。
【００６７】
【数４】
【００６８】
さらに、表示装置に表示するために、射影座標系からスクリーン座標系への変換が行なわれる。スクリーン座標系では、表示装置の左上を原点に、またＹ軸の向きが逆になるような変換が行なわれる。表示装置の水平方向の画素数をＷｉｄｔｈ、垂直方向の画素数をＨｅｉｇｈｔとすると変換行列は以下のようになる。
【００６９】
【数５】
【００７０】
以上３ＤＣＧレンダリング技術により利用者の位置から見た画像が生成される。このように生成された映像を遠隔地に伝送して、相手側の画像提示システムに接続された表示装置に表示することで、撮像画像と共に適切な位置に電子作業オブジェクトなどの電子データを合成した映像を使ってコミュニケーションすることができる。
【００７１】
遠隔地間で実作業を行うために相手側の実写された撮像映像に電子データを合成表示する際に、一般利用者にとって理解しにくい３次元的な位置関係を考慮することなく、解釈しやすい作業形態を選択させるだけで、適切な位置と角度に電子データを合成表示することが可能になる。
利用者は、表示装置１に提示される遠隔地の撮像画像と選択された利用形態に合わせた位置と角度に調整された電子データを見ると、その利用形態に合うように適切な位置に移動しコミュニケーションを行うことができる。これは、通常のフェイスツーフェイスの作業でも、特に意識することなく行われており、適切な位置関係で作業することが作業効率を高められることを潜在的・経験的に認知しているためである。利用者自信が備えているこの能力を活用することで、本発明の画像提示システムを補完することができる。
【００７２】
（実施形態２）
本発明の第２の実施の形態を図９〜図１３に基づいて説明する。上記第１の実施例では、利用者が操作装置５を用いて作業形態を入力する必要がある。本実施例では、利用者の位置を検出する３次元位置計測装置を導入することで、お互いの利用者の位置関係から適切な利用形態を計算機で推定し、その推定結果に基づいて電子情報を適切に合成表示することができる。
【００７３】
図９は映像と音声を双方向通信できる本発明に係る映像提示システムの第２の実施形態を模式的に示す図である。図９において、第１の実施形態を説明する図と同一の要素には同じ符号を付し、その繰り返しの説明を省略する。
本実施形態では、利用者の３次元位置をリアルタイムに計測する３次元位置計測装置が追加されていることが、第１の実施形態と異なる点である。具体的には、３次元位置計測装置として、利用者９の頭に装着される磁場を計測するセンサ５２と、磁場を発生させる磁場発生器５１とが追加されている。センサ５２と磁場発生器５３はそれぞれ、計算機４に接続されており、リアルタイムに利用者の３次元位置を測定することができる。
【００７４】
利用者の３次元位置を計測する３次元位置計測装置として磁気方式の例を示したが、他にも超音波を使った３次元位置計測装置や光学式の３次元位置計測装置を用いることも可能である。計算機４については、３次元位置計測装置による利用者の３次元位置から利用形態を推定する処理が加わる点が実施形態１と異なる。
また、計算機４で行われるシステムの基本処理である図２とその説明については第１の実施形態と同一である。
【００７５】
図１０は、第２の実施形態における映像・音声処理装置４１のブロックを説明する図である。映像・音声処理装置４１は、第１の実施形態と同様に計算機４と等価の装置である。本実施形態の映像・音声処理装置４１は、利用者９の３次元位置を計測するための３次元位置計測装置５３が接続されていることと、３次元位置計測装置５３によって計測された３次元位置から利用形態を推定する形態推定部５４とが追加されている点が第１実施形態と異なっている。その他の構成は図３に示す第１の実施形態の構成と同じである。
本実施形態では、形態推定部５４は、３次元位置計測装置５３による利用者の位置計測情報に従って利用形態を推定し、電子データの加工情報の抽出に使用する利用形態を決定する。従って本実施形態では、形態推定部５４が本発明の利用形態決定部に該当する。
【００７６】
（自動で作業形態を推定）
利用形態の推定方法について、図１３のフローチャートを用いて説明する。Ｓ１において、３次元位置計測装置５３を用いて利用者の３次元位置を計測する。Ｓ２では、Ｓ１で計測された利用者の位置より、お互いの利用者の相対的な位置関係を算出する。相対的な位置関係の算出は、上記第１の実施形態と同様に基準座標系に基づいて行う。但し、双方それぞれに基準座標系が存在するため、擬似的に図１１に示すようにお互いの空間が接続しているものとして、片方の座標系をベースに考える。
【００７７】
図１１に示すように、地点Ａの座標系を基準とし、地点Ｂの座標系を次のように変換すると共通化することができる。いま、地点Ｂの座標位置（ＸＢ，ＹＢ，ＺＢ）とすると地点Ａの座標系における座標（ＸＡ，ＹＡ，ＺＡ）は、以下のようになる。
（ＸＡ，ＹＡ，ＺＡ）＝（−ＸＢ，ＹＢ，−ＺＢ） ・・・（９）
【００７８】
続いて、双方の利用者の位置とディスプレイとの位置関係から以下の条件により利用形態を推定する一例を示す。双方の利用者の位置を直線で結び、ディスプレイを含む面と交わる位置と利用者間の距離を用いて分類する。具体的には、図１２（Ａ）、図１２（Ｂ）、図１２（Ｃ）の３つの利用形態に分類する。
【００７９】
図１２（Ａ）の条件は、双方（利用者９と遠隔地の利用者５５）を結ぶ直線とディスプレイ面ｆが交わる交点５６がディスプレイ中央より離れているか判定を行う。この条件を例えば条件Ａとし、利用者の相対位置関係の算出結果から条件Ａを満足するか否かを判定する（Ｓ３）。条件Ａを満たす場合は、利用形態としてペアプログラミングを選択する（Ｓ５）。例えば、交点５６とディスプレイ中央までの距離５７が、表示装置の横サイズの２５％以上離れている場合（距離５７≧表示装置の横サイズｈ×０．２５）に、Ｓ５のペアプロミングを選択する判-定を行うものとする。
【００８０】
最初の条件Ａを満足しない場合、双方が表示装置の正面の近くにいる可能性が高いため、利用形態としてモックアップ確認かプレゼンテーションのいずれかを選択する。ここでは利用者の位置からディスプレイ面までの距離を算出し、お互いのディスプレイまでの距離が同じぐらい離れているか判定を行う。この条件を例えば条件Ｂとし、条件Ａを満足しない場合に、条件Ｂを満足するか否かを判定する（Ｓ４）。
【００８１】
条件Ｂを満たす場合には利用形態としてモックアップ確認を選択し（Ｓ６）、条件Ｂを満足しない場合には利用形態としてプレゼンテーションを選択する（Ｓ７）。具体的には、地点Ａの利用者９からディスプレイ面ｆまでの距離５８と地点Ｂの利用者５５からディスプレイ面ｆまでの距離を５９とすると、距離５８と距離５９との差の絶対値が例えば０．５ｍ以下の場合にＳ６でモックアップ確認を選択するものとする。
【００８２】
以上、双方の利用者の位置と表示装置の位置関係により、利用形態を推定することができる。利用形態の推定ができると、上記第一の実施形態と同様に、ＬＵＴ３１の加工情報により、電子作業オブジェクト等の電子データを合成する位置が確定され、撮像画像に電子データを合成することが可能となる。
このように利用者の位置関係から利用形態を求め、その利用形態によって電子データの合成位置を制御することの利点は、利用者の直接の位置関係から電子データの合成位置を制御する場合に比べて、電子データの合成位置をより安定させることが可能になる。後者の方法では、利用者が動く度に電子データの合成位置が変わってしまい、視認性を低下させる問題がある。
【００８３】
（第３の実施形態）
本発明は、上記第１または第２の実施形態の画像提示システムの機能を実現するプログラムとして実施することができる。また、このプログラムをコンピュータ読み取り可能に記録した記録媒体として実施することができる。
本実施形態のプログロムは、利用者に取って解釈しやすい利用形態から適切な角度と位置になるように電子データを実写された撮像画像に合成し、提示することで、遠隔地間の実作業に適したコミュニケーションを実現するための映像を生成する方法をソフトウエア処理として実行することができる。この結果、一般利用者にとって理解しにくい３次元的な位置関係を考慮することなく、解釈しやすい利用形態を利用者に選択させるだけで、適切な位置と角度に電子データを合成表示することが可能になる。
【００８４】
本実施形態のプログラムを記録する記録媒体としては、マイクロコンピュータで処理が行われるために図示しないメモリ、例えばＲＯＭのようなプログラムメディアであってもよく、図示しない外部記憶装置としてのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。
【００８５】
この場合、ダウンロード用のプログラムは予めコンピュータ等の情報処理装置本体に格納されているものとする。ここで、上記プログラムメディアは、情報処理装置本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスク（登録商標）やハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００８６】
また、この場合、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め情報処理装置本体に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。上記記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上述した画像提示処理が実行される。
【００８７】
なお、上記コンピュータシステムは、ＷＥＢカメラなどの汎用画像入力装置、所定のプログラムがロードされることにより上記画像提示処理など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するディスプレイ・液晶ディスプレイなどの表示装置より構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。
【符号の説明】
【００８８】
１…表示装置、２…マルチメディア情報取得装置、２ａ…撮影装置、３…音声再生装置、４…計算機、５…操作装置、７…映像、８…電子データ、９…利用者、１０…マルチメディア情報提示装置、１１…映像・音声処理装置、１２…マルチメディア情報提示装置、１３…マルチメディア情報取得装置、１５…受信装置、１６…送信装置、１７…受信装置、１８…送信装置、２６…画像メモリ、２７…画像重畳部、２８…電子データ加工部、２９…ＣＰＵ、３０…電子映像生成部、３１…ＬＵＴ、３２…送信制御部、３４…外部記憶装置、３５…外部出力端子、３６…受信制御部、３７…表示メモリ、３８…外部出力端子、４０…軸、４１…映像・音声処理装置、５１…磁場発生器、５２…センサ、５３…次元位置計測装置、５３…磁場発生器、５４…形態推定部、５５…利用者、５６…交点、９１，９２…作業者、１００…ディスプレイ、１０１…計算機、１０２…スクリーン。
【技術分野】
【０００１】
本発明は、映像提示システム、プログラム及び記録媒体に関し、より具体的には、撮影画像に対してリアルタイムに電子データを合成表示することで、遠隔地との間のシステム間でコミュニケーションをとって共同作業を行うことができるようにした映像提示システム、及び該システムの機能を実現するプログラム及び記録媒体に関する。
【背景技術】
【０００２】
複数の作業者によるフェイスツーフェイスの共同作業には様々な形態がある。例えば、フェイスツーフェイスの共同作業として、実在の物を使った作業（モックアップを用いたプロダクトデザイン確認、作業リーダによる製造装置の使用方法に関するレクチャー等）や、作業者がお互いに横に座りながら、あるいは側に立ち、共通の画面を見ながら計算機を使った作業（ペアプログラミング、作業画面を使った状況報告等）等があり、これらの作業が頻繁に行われている。これらの作業は、コミュニケーションを伴う共同作業の中でも頻度が高く・重要な作業形態である。
【０００３】
ここで示した作業はすべて、実在のものであれ、計算機によって作り出された電子データであれ、何らかの介在物を上手く使うことで人と人のコミュニケーションが成立している。一般的に、作業は効率を高めることが求められ、また複雑高度化したタスクは、何らかの補助情報を用いなければ解決することが困難である。従って、作業の中で会話によるコミュニケーションと共に何らかの作業オブジェクトを用いることが必須事項である。
【０００４】
遠隔地との間で作業オブジェクトを介在させた作業を実現するために、撮影された実写映像に、計算機で利用することができる電子データを合成表示することで、上記実際の作業に近いコミュニケーションを遠隔地間で提供することができる。さらに撮影された実写映像の３次元的な空間や位置関係を考慮して電子データを合成できると、２次元平面に単純に電子データを貼り付ける場合に比べて、視認性や物体位置認識効果を高めることができる。これらの研究は、拡張現実（ＡＲ：Augmented Reality)・複合現実(ＭＲ：Mixed Reality)と呼ばれ、多くの実施例がある。
【０００５】
しかし、３次元空間に関する知識を有していない一般利用者が、３次元的な空間や位置関係を考慮して実写映像のどの場所や角度に電子データを表示させるかを決めることは容易ではない。これは、２次元配置の場合には、映像内の縦位置と横位置の２自由度の設定で済むのに対し、３次元配置の場合には、縦位置と横位置の他に奥行き位置とさらに回転（ピッチ、ヨー、ロール）の６自由度の設定をする必要があることも要因の一つである。
【０００６】
例えば、特許文献１には、送信者側の映像を受信者側に転送し、仮想空間内で送信者と受信者のアバターと呼ばれる人物映像を合成しリアルタイムに表示することで、コミュニケーションや協調作業を行うための装置について開示されている。送信者の映像は、送信者と受信者の位置関係から、複数の角度に設置された撮影装置の中から適切な位置の映像が選択されて伝送されるような構成になっている。しかし、利用者は空間の位置関係を考慮してアバターを適切に配置する必要がある。
【０００７】
また、特許文献２では、撮影対象の３次元的な形状や位置関係等の３次元特徴に合わせて、広告画像や所望の画像を合成するための装置について開示されている。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００４−１７８０３６号公報
【特許文献２】特開２００４−１４５４４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
上記２つの特許文献では、電子データやアバターを配置する位置をどのように決めるかについては明確に言及されていない。一般的には、利用者によって適切な位置に電子データ等を配置させるか、あるいは利用者の３次元位置をセンシングする装置を利用する方法が考えられる。しかしながら、遠隔地コミュニケーションを想定したテレビ会議システムなどの汎用的な装置では、利用者が３次元空間や３次元の概念に精通していることを利用条件にするような使い方は現実的ではない。
【００１０】
また、３次元位置をセンシングする装置については、様々なセンシング技術が存在するが、３次元位置情報を直接用いて電子データを重畳すると、取得した３次元位置の精度によって重畳位置が安定しないなどの問題がある。仮に精度良く３次元位置を取得できたとしても、利用途中で逐次電子データの提示位置が変わることは、視認性の問題もあり作業効率を阻害しかねない。
【００１１】
従って本発明では、遠隔地で実写された撮像画像に電子データを合成して表示する画像提示システムにおいて、利用者に取って煩わしい電子データの合成位置を考慮することなく、相手の映像内に適切に合成表示された電子データを見ながら遠隔地間で実作業に適したコミュニケーションを行うことを可能とする画像提示システム、プログラム及び記録媒体を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明の第１の技術手段は、撮影装置によって取得された撮影画像を入力し、該入力した撮影画像に、画像として生成された電子データを加工して合成し、該合成した画像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした画像提示システムであって、該画像提示システムの利用形態を予め定められた利用形態の中から決定する利用形態決定部と、前記利用形態決定部で決定可能な利用形態に応じて、前記電子データの合成に必要とする加工を行うための加工情報を保持する加工情報保持部と、前記利用形態決定部により決定された利用形態に基づいて、前記加工情報保持部から前記加工情報を取得し、前記撮影画像に合成すべき電子データを加工する電子データ加工部と、前記電子データ加工部で加工された電子データと、前記撮影画像とを合成する合成部とを有し、該合成部で合成された映像を送信することを特徴としたものである。
【００１３】
第２の技術手段は、第１の技術手段において、利用者による操作入力を受け付ける操作装置を有し、前記利用形態決定部は、前記操作装置に対する利用者の入力操作に従って、前記画像提示システムの利用形態を決定することを特徴としたものである。
【００１４】
第３の技術手段は、第１の技術手段において、利用者の３次元上の位置を計測する３次元位置計測装置を有し、前記利用形態決定部は、前記３次元位置計測装置で計測された利用者の位置情報に従って、前記画像提示システムの利用形態を決定することを特徴としたものである。
【００１５】
第４の技術手段は、第１〜第３のいずれか１の技術手段において、前記画像提示システムの利用形態は、遠隔地間で利用者同士がコミュニケーションを行う状況を想定した作業を類型化して予め定めた利用形態であることを特徴としたものである。
【００１６】
第５の技術手段は、第１〜第４の技術手段において、前記加工情報保持部は、前記利用形態と、前記電子データを加工するために必要な情報とを対応付けた変換テーブルであることを特徴としたものである。
【００１７】
第６の技術手段は、第１〜第５の技術手段において、前記電子データを加工するために必要な情報は、前記撮像装置が撮像した三次元空間内における電子データの配置状態を指定する情報であって、前記配置状態を指定する情報を用いて電子データを加工することにより、前記撮像画像内に前記電子データが指定された状態で配置された合成画像が得られることを特徴としたものである。
【００１８】
第７の技術手段は、コンピュータに、第１〜第６のいずれか１の技術手段の機能を実現させるためのプログラムである。
【００１９】
第８の技術手段は、第７の技術手段のプログラムをコンピュータ読み取り可能に記録した記録媒体である。
【発明の効果】
【００２０】
本発明によれば、遠隔地で実写された撮像画像に電子データを合成して表示する画像提示システムにおいて、利用者に取って煩わしい電子データの合成位置を考慮することなく、相手の映像内に適切に合成表示された電子データを見ながら遠隔地間で実作業に適したコミュニケーションを行うことを可能とする画像提示システム、プログラム及び記録媒体を提供することができる。
【００２１】
本発明では、３次元空間や概念に慣れていない一般利用者であっても簡単に所望の位置に電子データを合成して表示させたり、あるいは、３次元的な位置関係をセンシングする装置を利用した場合においても、逐次重畳位置を変えるのではなく、位置を安定させて電子データを表示させることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の映像提示システムの第１の実施形態を模式的に示す図である。
【図２】本発明の映像提示システムの第１の実施形態における映像・音声処理機能を示すブロック図である。
【図３】図２の映像処理機能を更に詳しく説明するためのブロック図である。
【図４】電子データを加工するときの加工情報に関連付ける具体的な利用形態の例を説明するための図である。
【図５】利用形態に対応する利用者選択信号から電子データの加工情報を抽出するためのテーブルの一例を示す図である。
【図６】画像提示システムのディスプレイに表示する画像における電子データの配置位置を説明するための図である。
【図７】電子データを空間内に正しく配置するために使用する座標軸の定義を説明するための図である。
【図８】表示装置の上部に撮影装置を設置した場合の座標系の変換方法を説明するための図である。
【図９】本発明に係る映像提示システムの第２の実施形態を模式的に示す図である
【図１０】本発明の映像提示システムの第２の実施形態における映像・音声処理機能を示すブロック図である。
【図１１】利用者の相対的な位置関係を算出するために用いる基準座標系について説明するための図である。
【図１２】双方の利用者の位置とディスプレイとの位置関係から利用形態を推定する例を説明するための図である。
【図１３】利用形態の推定方法の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００２３】
（第１の実施形態）
＜システム構成＞
本発明の第１の実施形態を図１〜図８に基づいて説明する。図１は映像と音声を双方向通信できる本発明に係る映像提示システムの第１の実施形態を模式的に示す図である。広域のネットワーク６より先の遠隔地にも同じ映像提示システムが設置されており、遠隔の映像提示システム間で、映像と音声を使ったコミュニケーションをリアルタイムに行うことができる。
【００２４】
図１について詳しく説明する。本発明に係る映像提示システムの実施形態は、計算機４で実行され、計算機４の有する機能により映像・音声処理が行われる。計算機４は、例えばＰＣなどの情報処理装置を適用することができる。
計算機４には、遠隔地の利用者の映像７、及び遠隔地の相手と一緒に作業を行っている電子データ８を表示する液晶ディスプレイなどの表示装置１と、遠隔地の音声を再生する音声再生装置３とが接続される。計算機４は、遠隔地から伝送された映像と音声の情報を受け取り、表示装置１と音声再生装置３に映像や音声を提示するためのものである。
【００２５】
表示装置１の上部には、利用者の映像と音声を一度に取得するマルチメディア情報取得装置２が設置されている。映像や音声を取得するためのマルチメディア情報取得装置２は必ずしも一体化している必要はなく、映像の取得と音声の取得を分離した装置で実現する構成も可能である。例えば、マルチメディア情報取得装置２をマイク及び撮影装置（カメラ）によって構成し、音声を取得するためのマイクを利用者の近くに置き、撮影カメラのみを表示装置１の上部に設置した構成としてもよい。
【００２６】
マルチメディア情報取得装置２は、上記遠隔地からの映像と音声を提示するための計算機４に接続されている。計算機４は、上記受信側の処理とは別に、遠隔地に映像や音声を伝送するための送信制御も行っている。
また、計算機４には、キーボードなどの操作装置５が接続されており、利用者が本発明の特徴である作業形態等の情報を入力し、システムを制御することが可能である。計算機４は、ネットワーク６を介して、遠隔地の同一の画像提示システムと繋がっており、映像や音声の送受信を行うことができる。利用者９はこの画像提示システムを利用することで、遠隔地に設置された同システムの利用者とリアルタイムに電子データ８を見ながらコミュニケーションを行うことができる。
【００２７】
＜各処理内容について説明＞
（システムブロック図の基本処理の説明）
計算機４の内部で行われる基本の処理について、図２のブロック図を用いて説明する。図２において、広域のネットワーク６より左側が上記利用者９の側を示し、右側が遠隔地の側を示している。
利用者９側の画像提示システムにおける送信機能についてはじめに説明する。カメラやマイクで構成されるマルチメディア情報取得装置２で取得された映像と音声の信号は、映像・音声処理装置４１の内部にある送信装置１６に取り込まれる。映像・音声処理装置４１は、図１の計算機４と等価な装置である。ここでは、映像信号は送信装置１６内の映像処理装置（送信側）２１に入力され、音声信号は音声処理装置（送信側）２２に入力され、遠隔地に送信するための信号処理が施された後に、外部に出力され、広域のネットワーク６を経由して遠隔地に伝送される。
【００２８】
続いて、画像提示システムの受信機能について説明する。広域のネットワーク６を経由して遠隔地から送られてきた映像と音声の信号が、映像・音声処理装置４１の内部の受信装置１５に取り込まれる。映像信号は受信装置１５内の映像処理装置（受信側）１９に入力され、音声信号は音声処理装置（受信側）２０に入力される。そしてこれら映像信号及び音声信号は、映像や音声を再現できる形に信号処理され、ディスプレイ（表示装置）やスピーカで構成されるマルチメディア情報提示装置１０に出力される。
【００２９】
遠隔地の処理についても同様で、映像・音声処理装置１１は利用者側の映像・音声処理装置４１に、受信装置１７は利用者側の受信装置１５に、送信装置１８は利用者側の送信装置１６に、マルチメディア情報提示装置１２は利用者側のマルチメディア情報提示装置１０に、マルチメディア情報取得装置１３は利用者側のマルチメディア情報取得装置２に、それぞれ対応している。
【００３０】
（映像・音声処理装置４１の詳細説明）
映像・音声処理装置４１について図３のブロック図を用いて具体的に説明する。但し、音声処理については、支障がない限り説明を省略する。以下、上記利用者９が使用する画像提示システムにおいて、撮影された利用者の撮像画像に作業で扱う電子データを合成（重畳）した映像を遠隔地に伝送する流れと、遠隔地から送られてきた映像を受信して表示するまでの流れについて説明する。もう一方の遠隔地側の流れについては、利用者９のシステムと同じであるため説明は省略する。
【００３１】
撮影装置２ａは、マルチメディア情報取得装置２に含まれる装置であり、本画像提示システムを使う利用者９の映像を撮影する。この撮影装置２ａは、ＷｅｂカメラやＨＤ（High-Definition）解像度の撮影カメラなどの汎用の撮像デバイスを利用することが可能で、レンズ、露光調整機構、ＣＣＤ（Charge Coupled Device）など基本的な撮像デバイス構成要素を有している。撮影装置２ａは、外部入力端子（Ｉ／Ｆ）２５によって映像・音声処理装置４１に接続されている。撮影装置２ａでは、撮影対象を含む視野からの光はレンズ・露光調整機構を通してＣＣＤ上に結像される。ＣＣＤは入力された受光量に応じた信号を生成し出力する。
【００３２】
ＣＣＤで生成された信号は、カメラ用の所定の信号処理が施された後に画像信号（映像信号）として映像処理装置（送信側）２１の内部に取り込まれ、一旦画像メモリ２６に蓄積される。動画像を扱うため、撮影装置２ａは一定間隔で映像を取得し、逐次映像信号を映像処理装置（送信側）２１に供給する。画像メモリ２６には、映像処理装置（送信側）２１に入力された映像信号を順次上書き処理することにより、最新の映像データが蓄積されている。画像重畳部２７は、画像メモリ２６に蓄積された映像データをリアルタイムに読み出す必要があるため、画像メモリ２６はＤＲＡＭ（Dynamic Random Access Memory)等の高速にアクセス可能なメモリを用いて実現する。
【００３３】
画像重畳部２７は、画像メモリ２６と電子データ加工部２８とＣＰＵ２９にそれぞれ接続しており、ＣＰＵ２９からの指示によって、撮影装置２ａにより実写された撮像画像に電子データを合成するか、あるいは合成処理を行なわずに撮像画像をそのまま出力するかを切り替えることができる。
ＣＰＵ２９から撮影画像に電子データを合成処理するように指示された場合、画像重畳部２７は、画像メモリ２６から入力される撮像画像に、電子データ加工部２８から入力される電子データを合成処理し、送信制御部３２に結果を出力する。一方、ＣＰＵ２９によって、合成処理を行なわないように指示された場合には、画像メモリ２６から入力される撮像画像をそのまま送信制御部３２に出力する。
【００３４】
電子データ加工部２８は、画像重畳部２７において撮像画像に適切に合成できるように、電子データの合成位置と表示角度を加工した画像データを生成し出力する。加工する前の電子データは、電子映像生成部３０に接続された外部記憶装置３４、あるいは映像・音声処理装置４１内に格納され、必要な電子データが選択され取り出される。
【００３５】
電子データ加工部２８は、電子映像生成部３０によって画像として生成された電子データを加工する。その際に、ＣＰＵ２９によって指示される利用形態を示す情報に基づいてＬＵＴ３１に格納された電子データを加工するための加工情報が抽出されて、電子データ加工部２８に入力される。電子データ加工部２８は、ＬＵＴ３１から抽出された加工情報に応じて電子データを適切に加工する。
【００３６】
上記の利用形態は、本画像提示システムを利用可能な形態を予め定めたもので、ＣＰＵ２９は操作装置５に対する操作入力に従って、利用形態を決定する。従って本実施形態のＣＰＵ２９は、本発明の利用形態決定部に該当するものである。また、ＬＵＴ３１は、本画像提示システムで使用可能な利用形態と、電子データを加工するための加工情報とを対応付けた変換テーブルとして構成され、本発明の加工情報保持部に該当するものである。
【００３７】
また、上記の電子データを加工するために必要な情報は、撮像装置が撮像した三次元空間内における電子データの配置状態を指定する情報であって、この配置状態を指定する情報を用いて電子データを加工することにより、撮像画像内に電子データが指定された状態で配置された合成画像が得られるようにしたものである。
【００３８】
画像重畳部２７で撮像画像と電子データが合成され、生成された映像信号は送信制御部３２に入力され、通信に適した形に加工されて外部出力端子（Ｉ／Ｆ）３３を通して、外部に送信される。画像重畳部２７は、加工された電子データと撮影画像とを合成する本発明の合成部に該当する。
【００３９】
一方遠隔地から送られてきた映像信号は、映像処理装置（受信側）１９の外部出力端子３５を通して映像処理装置（受信側）１９に入力される。入力された映像信号は受信制御部３６においてデータ解析が行なわれ、システムが扱うことができる信号に変換される。受信制御部３６によって変換された信号は、一旦表示メモリ３７に蓄積されて、外部出力端子３８に接続された外部表示装置１に映像信号を送り、映像を表示する。
【００４０】
（ＬＵＴ３１について）
ＬＵＴ３１から電子データを加工するための加工情報が出力されるまでの処理について順に説明する。始めに、操作装置５の入力操作によって指定された利用形態を示す情報を、ＣＰＵ２９がＬＵＴ３１を制御するための信号に変換する。利用形態は、遠隔地間で利用者同士がコミュニケーションを行う状況を想定した作業を類型化して予め定めたものである。このような利用形態としてはその内容によって様々な形態が存在するが、ここでは実際の場面でよく行われていて、比較的重要な利用形態を用いる。図４を用いて、３つの具体的な利用形態について説明する。
【００４１】
図４（Ａ）は、二人の作業者９１，９２がディスプレイ１００に表示された電子情報を見ていて、時々作業者同士が会話をするような状況で、具体的にはペアプログラミングで良く行われる利用形態を示している。図４（Ｂ）は、２人の作業者９１，９２が対面の位置関係にあり、作業者の間に計算機１０１を置き、そこに電子データを表示させ、お互いが見ている状況で、具体的にはモックアップ確認の際によく行われる利用形態を示している。図４（Ｃ）は、一方の作業者９２の後方のスクリーン１０２にプロジェクタなどにより電子データが表示され、もう一方の作業者９１に説明を行うような場面で、具体的にはプレゼンテーションの際に良く行われる利用形態を示している。利用形態については、ここで説明した３つ以外にも扱うことは可能である。
【００４２】
利用者がこの３つの利用形態の中から一つを選択すると、その選択された情報がＣＰＵ２９に入力される。操作装置５では、利用形態を簡単に選択できるように、図示していない操作パネル上に、図４のような画像を表示させ利用者に選択させるようなユーザインタフェースを備えることも可能である。利用者が利用形態を選択すると、ＣＰＵ２９は、利用者による操作信号を選択された利用形態に対応する識別コードに変換する。
【００４３】
例えば、３種類の利用形態を識別するために、２ｂｉｔの利用者選択信号Ｓｉｎを割り当てると、図４（Ａ）〜図４（Ｃ）の利用形態は順番に、Ｓｉｎ＝００，０１，１０とすることができる。ここでＳｉｎ＝１１は対応する利用形態が存在しないため、不定信号（未割当信号）である。
ＬＵＴ３１では、ＣＰＵ２９から入力される利用者選択信号Ｓｉｎから、適切に電子データを加工するための加工情報を、変換テーブルを用いて抽出し、電子データ加工部２８に出力する。電子情報加工のための加工情報は、例えば、電子データを合成するために必要な３次元位置と角度の情報である。
【００４４】
図５に変換テーブルの例を示す。変換テーブルにおいて、第１列は利用者が選択する利用形態、第２列は利用者選択信号Ｓｉｎ、第３列は位置情報、第４列は角度情報を示している。ＬＵＴ３１は、このテーブルの利用者選択信号Ｓｉｎに基づいて位置情報と角度情報を加工情報として抽出し、これら抽出した加工情報を電子データ加工部２８に出力する。
【００４５】
図６は、画像提示システムのディスプレイに表示する映像における電子データの配置位置を説明するための図で、ＬＵＴ３１のテーブルに設定される電子データの位置関係を示すものである。ここでは、図１のシステムの表示装置（ディスプレイ）１のディスプレイ面ｆに対する電子データの配置位置を仮想的に示している。ディスプレイ面ｆの水平方向をＸ軸、垂直方向をＹ軸、奥行き方向をＺ軸とし、ディスプレイ面ｆの中心を原点とする位置情報と、ディスプレイ面ｆに対する角度情報を電子データｄの中心に設定することによって、電子データｄの配置位置を決定する。
【００４６】
図６（Ａ）は、ペアプログラミングの利用形態を示していて、ディスプレイ中心からＸ軸の負の方向に１ｍ、奥行き方向に１ｍの位置に電子データｄを表示させる。また、電子データｄの角度についてもディスプレイ面ｆに対して４５度傾けることで利用者が見やすくなるようにしている。図６（Ｂ）はモックアップ確認の利用形態を示しており、ディスプレイ中心に電子データｄを配置している。図６（Ｃ）はプレゼンテーションの利用形態を示しており、ディスプレイ中心からＸ軸の負の方向に０．５ｍ、奥行き方向に２ｍの位置に角度を変えずに電子データｄを表示させる。
【００４７】
（ワールド座標系）
電子データｄに与えられる位置情報と角度情報とからその電子データｄを空間内に正しく配置するために、図７を用いて座標軸の定義を行う。座標軸の原点ｏを利用者のディスプレイの中心とし、ディスプレイ面ｆに向かって右手方向がＸ軸の正の向き、上側がＹ軸の正の向き、ディスプレイ面ｆの奥の方向がＺ軸の正の向きとする。以下、原点ｏを中心としたこの座標系をワールド座標系と呼び、基準の座標系とする。
【００４８】
ワールド座標系のＸ軸、Ｙ軸、Ｚ軸をそれぞれＸｗ、Ｙｗ、Ｚｗとし、この座標軸上に電子データを配置する必要がある。電子データの配置は、上記ＬＵＴ３１より出力される加工情報に基づいて決定される。いま、ＬＵＴ３１より設置角度（ピッチ，ヨー，ロール）＝（θｐｉｔｃｈ，θｙａｗ，θｒｏｌｌ）、座標位置（Ｘｗ，Ｙｗ，Ｚｗ）＝（ＸＩ，ＹＩ，ＺＩ）の６軸の値が設定されると、ワールド座標系の適切な位置に電子データを一意に配置することができる。設置角度のピッチはＸ軸回りの垂直角、ヨーはＹ軸回りの水平角、ロールはＺ軸回りの回転角を、それぞれ示す。
【００４９】
（撮影装置の座標変換）
一方、利用者らを撮影する撮影装置（カメラ）２ａは撮影装置固有の座標系を有しているため、そのままでは上記ワールド座標系に配置された電子データと実写した撮影画像とを合成することはできない。そのため、撮影装置固有のカメラ座標系を、ワールド座標系に変換する必要がある。ワールド座標系への変換方法については図８を用いて説明する。
【００５０】
座標系変換は、撮影装置２aの設置角度とディスプレイ中心ｏからの併進量を用いて表すことが可能である。始めに一般的なローカル座標系をもつ撮影装置について、上記ワールド座標系に変換する方法について説明を行い、その後具体的に図８に示すような場所に設置された撮影装置のローカル座標系からワールド座標系への変換方法について示す。
【００５１】
座標系の変換は、Ｘ軸周りの回転θｘ、Ｙ軸周りの回転θｙ、Ｚ軸周りの回転θｚとＸ軸方向の併進ｌｘ、Ｙ軸方向の併進ｌｙ、Ｚ軸方向の併進ｌｚの組み合わせで行われる。
具体的に、Ｘ軸周りの回転θｘ、Ｙ軸周りの回転θｙ、Ｚ軸周りの回転θｚを示す変換行列は、それぞれ以下のようになる。
【００５２】
【数１】
【００５３】
また、Ｘ軸方向の併進、Ｙ軸方向の併進、Ｚ軸方向の併進は以下の変換行列で表すことができる。
【００５４】
【数２】
【００５５】
上記変換行列を用いると座標系を変換することが可能で、ローカル座標系を有する撮影装置で撮影する空間の３次元位置（Ｘｃ，Ｙｃ，Ｚｃ）は、式（３）によってワールド座標系上の点（Ｘｗ，Ｙｗ，Ｚｗ）に変換することができる。
【００５６】
（Ｘｗ，Ｙｗ，Ｚｗ，１）＝（Ｘｃ，Ｙｃ，Ｚｃ，１）・ｒｏｔＸ（θｘ）・ｒｏｔＹ（θｙ）・ｒｏｔＺＸ（θｚ）・ｓｈｉｆｔＸＹＺ（ｌｘ，ｌｙ，ｌｚ）・・・（３）
【００５７】
続いて、図８のように表示装置１の上部に撮影装置２ａを設置した場合の座標系変換方法について説明する。図８（Ａ）は、撮影装置と表示装置の関係を斜視図によって説明する図、図８（Ｂ）はその上面図、図８（Ｃ）はその側面図である。
表示装置１の枠を含めた高さをν、幅をｈとすると、撮影装置２ａはディスプレイ中心ｏからν／２上側に設置されている。また、ディスプレイ中心ｏから手前方向に向かったＺｗ軸のマイナス方向の軸を便宜上−Ｚｗ軸と呼ぶと、撮影装置２ａの光学系の光軸は、−Ｚｗ軸に平行な軸４０に対して下向きにθｘ傾いている。ワールド座標系と撮影装置固有のローカル座標系がこのような関係にあるとすると、ローカル座標系上の点（Ｘｃ，Ｙｃ，Ｚｃ）からワールド座標系上の点（Ｘｗ，Ｙｗ，Ｚｗ）への変換は式（式４）によって実現できる。
【００５８】
（Ｘｗ，Ｙｗ，Ｚｗ，１）
＝（Ｘｃ，Ｙｃ，Ｚｃ，１）・ｒｏｔ（１８０−θｘ）・ｓｈｉｆｔＸＹＺ（０，ｌｙ，０）
・・・（４）
【００５９】
ところが、撮影装置２ａで実写された撮像画像は、撮影装置２ａの撮像面に投影された２次元情報しかなく、（式４）を用いてワールド座標系に変換するために必要な３次元座標情報を得ることができない。従って、上記座標系の変換式（４）では、投影された画像をワールド座標系に変換して配置することができない。
そこで本発明に係る実施形態では、上記撮影装置で撮影されたローカル座標系を新たに基準座標系と定義し直し、ワールド座標系から基準座標系に変換しなおす。変換は、上記式（４）とは反対の変換を行えばよく、以下のように行うことができる。
【００６０】
（Ｘｃ，Ｙｃ，Ｚｃ，１）
＝（Ｘｗ，Ｙｗ，Ｚｗ，１）・ｒｏｔＸ（−１８０＋θｘ）・ｓｈｉｆｔＸＹＺ（０，−ｌｙ，０）
・・・（５）
【００６１】
以上、ローカル座標系を有する撮影装置で実写された撮影画像は座標系の変換ができないため、３次元情報をもつ電子データを基準座標系に変換し、撮影画像と合成を行う例を示した。他の例として、任意の視点映像を合成する技術を用いれば、撮影画像の方をワールド変換座標系に変換して、電子データを合成して提示することも可能である。
任意の視点を合成して生成する技術の詳細については説明を行わないが、例えば公知技術解説文献「自由視点映像技術」映像メディア学会誌Ｖｏｌ．６０，Ｎｏ．１（２００６）に記載のように、複数の撮影装置で撮影された映像から光線空間を構築し、仮想的な視点の映像を生成する技術を応用することも可能である。
【００６２】
以上、撮影装置で実写された撮影画像と作業に用いる電子情報の座標系を基準座標系に統一することができると、この空間内から映像を作り出すことができる仮想的なカメラを設置し、ディスプレイに表示するための映像を作成することができるようになる。
【００６３】
（３次元位置に基づいたレンダリング方法）
一般的な３ＤＣＧレンダリング技術では、画像供給源より供給される３次元位置を持った複数の平面画像を仮想的な３次元空間内に配置することでシーンが形成され、上記算出された基準座標系において想定する利用者位置から見た映像を生成することができる。この利用者位置に設置された仮想的なカメラよって３次元空間に再現されたシーンが撮影され、その後表示装置に表示するためのビュー変換処理によって想定する観察者位置から見た画像を切り出して提示することができる。
【００６４】
ビュー変換処理は、基準座標系から観察者位置に置かれた仮想撮像装置を基準とする座標に変換することである。仮想撮像装置のＸ軸を示すベクトルをＲ＝（ｒｘ，ｕｘ，νｘ）、仮想撮像装置のＹ軸を示すベクトルをＵ＝（ｒｙ，ｕｙ，νｙ）、仮想撮像装置のＺ軸を示すベクトルをＶ＝（ｒｚ，ｕｚ，νｚ）、仮想撮像装置の位置を示すベクトルをＰ＝（ｘ，ｙ，ｚ）としたときに、ビュー変換行列は式６のようになる。
【００６５】
【数３】
【００６６】
続いて、ビュー変換されたシーンに対して遠くのものが小さく、近くのものが大きく見えるように透視投影処理が実施される。透視投影処理では、撮像装置に近いところ（前方投影面）と、遠いところ（後方投影面）に対して２つの投影面が導入され、撮像装置原点を中心とした錘状になるように設定される。プロジェクション変換によって、近いところの面と遠いところの面の間の空間が立方体になるように変換することによって、近いところが大きく、遠いところが小さく見えるような変換がなされる。このプロジェクション変換によって、射影座標系に変換される。水平方向の視野角をｗ、垂直方向の視野角をｈとし、仮想撮像装置の位置から前方投影面までの距離をｚｎ、後方投影面までの距離をｚｆとすると、以下の行列によって射影座標系に変換することができる。
【００６７】
【数４】
【００６８】
さらに、表示装置に表示するために、射影座標系からスクリーン座標系への変換が行なわれる。スクリーン座標系では、表示装置の左上を原点に、またＹ軸の向きが逆になるような変換が行なわれる。表示装置の水平方向の画素数をＷｉｄｔｈ、垂直方向の画素数をＨｅｉｇｈｔとすると変換行列は以下のようになる。
【００６９】
【数５】
【００７０】
以上３ＤＣＧレンダリング技術により利用者の位置から見た画像が生成される。このように生成された映像を遠隔地に伝送して、相手側の画像提示システムに接続された表示装置に表示することで、撮像画像と共に適切な位置に電子作業オブジェクトなどの電子データを合成した映像を使ってコミュニケーションすることができる。
【００７１】
遠隔地間で実作業を行うために相手側の実写された撮像映像に電子データを合成表示する際に、一般利用者にとって理解しにくい３次元的な位置関係を考慮することなく、解釈しやすい作業形態を選択させるだけで、適切な位置と角度に電子データを合成表示することが可能になる。
利用者は、表示装置１に提示される遠隔地の撮像画像と選択された利用形態に合わせた位置と角度に調整された電子データを見ると、その利用形態に合うように適切な位置に移動しコミュニケーションを行うことができる。これは、通常のフェイスツーフェイスの作業でも、特に意識することなく行われており、適切な位置関係で作業することが作業効率を高められることを潜在的・経験的に認知しているためである。利用者自信が備えているこの能力を活用することで、本発明の画像提示システムを補完することができる。
【００７２】
（実施形態２）
本発明の第２の実施の形態を図９〜図１３に基づいて説明する。上記第１の実施例では、利用者が操作装置５を用いて作業形態を入力する必要がある。本実施例では、利用者の位置を検出する３次元位置計測装置を導入することで、お互いの利用者の位置関係から適切な利用形態を計算機で推定し、その推定結果に基づいて電子情報を適切に合成表示することができる。
【００７３】
図９は映像と音声を双方向通信できる本発明に係る映像提示システムの第２の実施形態を模式的に示す図である。図９において、第１の実施形態を説明する図と同一の要素には同じ符号を付し、その繰り返しの説明を省略する。
本実施形態では、利用者の３次元位置をリアルタイムに計測する３次元位置計測装置が追加されていることが、第１の実施形態と異なる点である。具体的には、３次元位置計測装置として、利用者９の頭に装着される磁場を計測するセンサ５２と、磁場を発生させる磁場発生器５１とが追加されている。センサ５２と磁場発生器５３はそれぞれ、計算機４に接続されており、リアルタイムに利用者の３次元位置を測定することができる。
【００７４】
利用者の３次元位置を計測する３次元位置計測装置として磁気方式の例を示したが、他にも超音波を使った３次元位置計測装置や光学式の３次元位置計測装置を用いることも可能である。計算機４については、３次元位置計測装置による利用者の３次元位置から利用形態を推定する処理が加わる点が実施形態１と異なる。
また、計算機４で行われるシステムの基本処理である図２とその説明については第１の実施形態と同一である。
【００７５】
図１０は、第２の実施形態における映像・音声処理装置４１のブロックを説明する図である。映像・音声処理装置４１は、第１の実施形態と同様に計算機４と等価の装置である。本実施形態の映像・音声処理装置４１は、利用者９の３次元位置を計測するための３次元位置計測装置５３が接続されていることと、３次元位置計測装置５３によって計測された３次元位置から利用形態を推定する形態推定部５４とが追加されている点が第１実施形態と異なっている。その他の構成は図３に示す第１の実施形態の構成と同じである。
本実施形態では、形態推定部５４は、３次元位置計測装置５３による利用者の位置計測情報に従って利用形態を推定し、電子データの加工情報の抽出に使用する利用形態を決定する。従って本実施形態では、形態推定部５４が本発明の利用形態決定部に該当する。
【００７６】
（自動で作業形態を推定）
利用形態の推定方法について、図１３のフローチャートを用いて説明する。Ｓ１において、３次元位置計測装置５３を用いて利用者の３次元位置を計測する。Ｓ２では、Ｓ１で計測された利用者の位置より、お互いの利用者の相対的な位置関係を算出する。相対的な位置関係の算出は、上記第１の実施形態と同様に基準座標系に基づいて行う。但し、双方それぞれに基準座標系が存在するため、擬似的に図１１に示すようにお互いの空間が接続しているものとして、片方の座標系をベースに考える。
【００７７】
図１１に示すように、地点Ａの座標系を基準とし、地点Ｂの座標系を次のように変換すると共通化することができる。いま、地点Ｂの座標位置（ＸＢ，ＹＢ，ＺＢ）とすると地点Ａの座標系における座標（ＸＡ，ＹＡ，ＺＡ）は、以下のようになる。
（ＸＡ，ＹＡ，ＺＡ）＝（−ＸＢ，ＹＢ，−ＺＢ） ・・・（９）
【００７８】
続いて、双方の利用者の位置とディスプレイとの位置関係から以下の条件により利用形態を推定する一例を示す。双方の利用者の位置を直線で結び、ディスプレイを含む面と交わる位置と利用者間の距離を用いて分類する。具体的には、図１２（Ａ）、図１２（Ｂ）、図１２（Ｃ）の３つの利用形態に分類する。
【００７９】
図１２（Ａ）の条件は、双方（利用者９と遠隔地の利用者５５）を結ぶ直線とディスプレイ面ｆが交わる交点５６がディスプレイ中央より離れているか判定を行う。この条件を例えば条件Ａとし、利用者の相対位置関係の算出結果から条件Ａを満足するか否かを判定する（Ｓ３）。条件Ａを満たす場合は、利用形態としてペアプログラミングを選択する（Ｓ５）。例えば、交点５６とディスプレイ中央までの距離５７が、表示装置の横サイズの２５％以上離れている場合（距離５７≧表示装置の横サイズｈ×０．２５）に、Ｓ５のペアプロミングを選択する判-定を行うものとする。
【００８０】
最初の条件Ａを満足しない場合、双方が表示装置の正面の近くにいる可能性が高いため、利用形態としてモックアップ確認かプレゼンテーションのいずれかを選択する。ここでは利用者の位置からディスプレイ面までの距離を算出し、お互いのディスプレイまでの距離が同じぐらい離れているか判定を行う。この条件を例えば条件Ｂとし、条件Ａを満足しない場合に、条件Ｂを満足するか否かを判定する（Ｓ４）。
【００８１】
条件Ｂを満たす場合には利用形態としてモックアップ確認を選択し（Ｓ６）、条件Ｂを満足しない場合には利用形態としてプレゼンテーションを選択する（Ｓ７）。具体的には、地点Ａの利用者９からディスプレイ面ｆまでの距離５８と地点Ｂの利用者５５からディスプレイ面ｆまでの距離を５９とすると、距離５８と距離５９との差の絶対値が例えば０．５ｍ以下の場合にＳ６でモックアップ確認を選択するものとする。
【００８２】
以上、双方の利用者の位置と表示装置の位置関係により、利用形態を推定することができる。利用形態の推定ができると、上記第一の実施形態と同様に、ＬＵＴ３１の加工情報により、電子作業オブジェクト等の電子データを合成する位置が確定され、撮像画像に電子データを合成することが可能となる。
このように利用者の位置関係から利用形態を求め、その利用形態によって電子データの合成位置を制御することの利点は、利用者の直接の位置関係から電子データの合成位置を制御する場合に比べて、電子データの合成位置をより安定させることが可能になる。後者の方法では、利用者が動く度に電子データの合成位置が変わってしまい、視認性を低下させる問題がある。
【００８３】
（第３の実施形態）
本発明は、上記第１または第２の実施形態の画像提示システムの機能を実現するプログラムとして実施することができる。また、このプログラムをコンピュータ読み取り可能に記録した記録媒体として実施することができる。
本実施形態のプログロムは、利用者に取って解釈しやすい利用形態から適切な角度と位置になるように電子データを実写された撮像画像に合成し、提示することで、遠隔地間の実作業に適したコミュニケーションを実現するための映像を生成する方法をソフトウエア処理として実行することができる。この結果、一般利用者にとって理解しにくい３次元的な位置関係を考慮することなく、解釈しやすい利用形態を利用者に選択させるだけで、適切な位置と角度に電子データを合成表示することが可能になる。
【００８４】
本実施形態のプログラムを記録する記録媒体としては、マイクロコンピュータで処理が行われるために図示しないメモリ、例えばＲＯＭのようなプログラムメディアであってもよく、図示しない外部記憶装置としてのプログラム読取装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはマイクロプロセッサがアクセスして実行させる構成であってもよいし、プログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。
【００８５】
この場合、ダウンロード用のプログラムは予めコンピュータ等の情報処理装置本体に格納されているものとする。ここで、上記プログラムメディアは、情報処理装置本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスク（登録商標）やハードディスク等の磁気ディスク並びにＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスクのディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００８６】
また、この場合、インターネットを含む通信ネットワークを接続可能なシステム構成であることから、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用のプログラムは予め情報処理装置本体に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。上記記録媒体は、デジタルカラー画像形成装置やコンピュータシステムに備えられるプログラム読み取り装置により読み取られることで上述した画像提示処理が実行される。
【００８７】
なお、上記コンピュータシステムは、ＷＥＢカメラなどの汎用画像入力装置、所定のプログラムがロードされることにより上記画像提示処理など様々な処理が行われるコンピュータ、コンピュータの処理結果を表示するディスプレイ・液晶ディスプレイなどの表示装置より構成される。さらには、ネットワークを介してサーバーなどに接続するための通信手段としてのネットワークカードやモデムなどが備えられる。
【符号の説明】
【００８８】
１…表示装置、２…マルチメディア情報取得装置、２ａ…撮影装置、３…音声再生装置、４…計算機、５…操作装置、７…映像、８…電子データ、９…利用者、１０…マルチメディア情報提示装置、１１…映像・音声処理装置、１２…マルチメディア情報提示装置、１３…マルチメディア情報取得装置、１５…受信装置、１６…送信装置、１７…受信装置、１８…送信装置、２６…画像メモリ、２７…画像重畳部、２８…電子データ加工部、２９…ＣＰＵ、３０…電子映像生成部、３１…ＬＵＴ、３２…送信制御部、３４…外部記憶装置、３５…外部出力端子、３６…受信制御部、３７…表示メモリ、３８…外部出力端子、４０…軸、４１…映像・音声処理装置、５１…磁場発生器、５２…センサ、５３…次元位置計測装置、５３…磁場発生器、５４…形態推定部、５５…利用者、５６…交点、９１，９２…作業者、１００…ディスプレイ、１０１…計算機、１０２…スクリーン。
【特許請求の範囲】
【請求項１】
撮影装置によって取得された撮影画像を入力し、該入力した撮影画像に、画像として生成された電子データを加工して合成し、該合成した画像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした画像提示システムであって、
該画像提示システムの利用形態を予め定められた利用形態の中から決定する利用形態決定部と、
前記利用形態決定部で決定可能な利用形態に応じて、前記電子データの合成に必要とする加工を行うための加工情報を保持する加工情報保持部と、
前記利用形態決定部により決定された利用形態に基づいて、前記加工情報保持部から前記加工情報を取得し、前記撮影画像に合成すべき電子データを加工する電子データ加工部と、
前記電子データ加工部で加工された電子データと、前記撮影画像とを合成する合成部とを有し、該合成部で合成された映像を送信することを特徴とする画像提示システム。
【請求項２】
利用者による操作入力を受け付ける操作装置を有し、
前記利用形態決定部は、前記操作装置に対する利用者の入力操作に従って、前記画像提示システムの利用形態を決定することを特徴とする請求項１に記載の画像提示システム。
【請求項３】
利用者の３次元上の位置を計測する３次元位置計測装置を有し、
前記利用形態決定部は、前記３次元位置計測装置で計測された利用者の位置情報に従って、前記画像提示システムの利用形態を決定することを特徴とする請求項１に記載の画像提示システム。
【請求項４】
前記画像提示システムの利用形態は、遠隔地間で利用者同士がコミュニケーションを行う状況を想定した作業を類型化して予め定めた利用形態であることを特徴とする請求項１〜３のいずれか１に記載の画像提示システム。
【請求項５】
前記加工情報保持部は、前記利用形態と、前記電子データを加工するために必要な情報とを対応付けた変換テーブルであることを特徴とする請求項１〜４のいずれか１に記載の画像提示システム。
【請求項６】
前記電子データを加工するために必要な情報は、前記撮像装置が撮像した三次元空間内における電子データの配置状態を指定する情報であって、
前記配置状態を指定する情報を用いて電子データを加工することにより、前記撮像画像内に前記電子データが指定された状態で配置された合成画像が得られることを特徴とする請求項１〜５のいずれか１に記載の画像提示システム。
【請求項７】
コンピュータに、請求項１〜６のいずれか１の画像提示システムの機能を実現させるためのプログラム。
【請求項８】
請求項７に記載のプログラムをコンピュータ読み取り可能に記録した記録媒体。
【請求項１】
撮影装置によって取得された撮影画像を入力し、該入力した撮影画像に、画像として生成された電子データを加工して合成し、該合成した画像を送受信することにより、遠隔地間でコミュニケーションを行なうことを可能とした画像提示システムであって、
該画像提示システムの利用形態を予め定められた利用形態の中から決定する利用形態決定部と、
前記利用形態決定部で決定可能な利用形態に応じて、前記電子データの合成に必要とする加工を行うための加工情報を保持する加工情報保持部と、
前記利用形態決定部により決定された利用形態に基づいて、前記加工情報保持部から前記加工情報を取得し、前記撮影画像に合成すべき電子データを加工する電子データ加工部と、
前記電子データ加工部で加工された電子データと、前記撮影画像とを合成する合成部とを有し、該合成部で合成された映像を送信することを特徴とする画像提示システム。
【請求項２】
利用者による操作入力を受け付ける操作装置を有し、
前記利用形態決定部は、前記操作装置に対する利用者の入力操作に従って、前記画像提示システムの利用形態を決定することを特徴とする請求項１に記載の画像提示システム。
【請求項３】
利用者の３次元上の位置を計測する３次元位置計測装置を有し、
前記利用形態決定部は、前記３次元位置計測装置で計測された利用者の位置情報に従って、前記画像提示システムの利用形態を決定することを特徴とする請求項１に記載の画像提示システム。
【請求項４】
前記画像提示システムの利用形態は、遠隔地間で利用者同士がコミュニケーションを行う状況を想定した作業を類型化して予め定めた利用形態であることを特徴とする請求項１〜３のいずれか１に記載の画像提示システム。
【請求項５】
前記加工情報保持部は、前記利用形態と、前記電子データを加工するために必要な情報とを対応付けた変換テーブルであることを特徴とする請求項１〜４のいずれか１に記載の画像提示システム。
【請求項６】
前記電子データを加工するために必要な情報は、前記撮像装置が撮像した三次元空間内における電子データの配置状態を指定する情報であって、
前記配置状態を指定する情報を用いて電子データを加工することにより、前記撮像画像内に前記電子データが指定された状態で配置された合成画像が得られることを特徴とする請求項１〜５のいずれか１に記載の画像提示システム。
【請求項７】
コンピュータに、請求項１〜６のいずれか１の画像提示システムの機能を実現させるためのプログラム。
【請求項８】
請求項７に記載のプログラムをコンピュータ読み取り可能に記録した記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１１−２３８０８５（Ｐ２０１１−２３８０８５Ａ）
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願番号】特願２０１０−１０９８８１（Ｐ２０１０−１０９８８１）
【出願日】平成２２年５月１２日（２０１０．５．１２）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、独立行政法人情報通信研究機構「高度通信・放送研究開発委託研究／革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年１１月２４日（２０１１．１１．２４）
【国際特許分類】
【出願日】平成２２年５月１２日（２０１０．５．１２）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成２１年度、独立行政法人情報通信研究機構「高度通信・放送研究開発委託研究／革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」、産業技術力強化法第１９条の適用を受ける特許出願
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]