立体映像合成装置、形状データ生成方法およびそのプログラム
【課題】ビデオカメラなどで撮影した実写映像の立体映像を立体映像表示装置にて提示しつつ、該立体映像と一致した力覚・触覚を力覚・触覚提示装置にて提示可能な立体映像データと形状データとを出力できる立体映像合成装置
【解決手段】左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置において、形状算出部３３は、左画像と右画像とから被写体の形状データを算出する。形状出力部３４は、形状算出部３３が配置した形状データを、力覚・触覚提示装置に出力する。
【解決手段】左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置において、形状算出部３３は、左画像と右画像とから被写体の形状データを算出する。形状出力部３４は、形状算出部３３が配置した形状データを、力覚・触覚提示装置に出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に立体映像の合成とともに、力覚・触覚提示装置に形状データを出力する立体映像合成装置、形状データ生成方法およびそのプログラムに関する。
【背景技術】
【０００２】
従来の立体映像表示装置は、あらかじめ左右の目に対応する２視点から見た映像を用意しておき、バリア方式（例えば、特許文献１、特許文献２参照）や偏光グラスシャッター方式の三次元ディスプレイ上で表示することで、ユーザが立体的に知覚することができる。
また、ペンタイプの操作部を持ち、ペンを操作することで力覚や触覚を体験することができるフォースフィードバック装置や、腕に装着し、腕全体の力覚や手の触感を体験することができるハプティック装置などの力覚・触覚提示装置もある。
【特許文献１】特開平８−２４８３５５号公報
【特許文献２】特表２００３−５２１１８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の立体映像表示装置にあっては、立体映像を提示するのみであり、立体感があり、物体が浮き出て見えたとしても、それに触れることはできないという問題がある。また、ＣＡＤ（Computer Aided Design）データなどの形状データに基づき、ＣＧ（Computer Graphics）を表示しながら、力覚・触覚提示装置で力覚および触覚を提示することはできたが、予め映像と一致した形状データを用意しなければならず、映像を生成するのに形状データが必要なＣＧには適用できても、ビデオカメラなどで撮影した実写映像には適用できないという問題があった。
【０００４】
本発明は、このような事情に鑑みてなされたもので、その目的は、ビデオカメラなどで撮影した実写映像の立体映像を立体映像表示装置にて提示しつつ、該立体映像と一致した力覚・触覚を力覚・触覚提示装置にて提示可能な立体映像データと形状データとを出力できる立体映像合成装置を提供することにある。
【課題を解決するための手段】
【０００５】
この発明は上述した課題を解決するためになされたもので、本発明の立体映像合成装置は、左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置において、前記左画像と前記右画像とから被写体の形状データを算出する形状算出部と、前記形状算出部が算出した形状データを、力覚・触覚提示装置に出力する形状出力部とを備えることを特徴とする。
【０００６】
また、本発明の立体映像合成装置は、上述の立体映像合成装置であって、前記形状算出部は、前記左画像および前記右画像それぞれから特定の被写体の画像を抽出し、前記抽出した被写体の画像の各画素について、該被写体の画像の外郭からの距離に応じて画像に対して鉛直方向の座標を与えて該被写体の形状データを生成し、自装置が合成する立体映像の表示空間における前記特定の被写体の位置を、前記抽出した画像の視差に基づき算出し、前記生成した形状データを該算出した位置に配置した形状データを算出することを特徴とする。
【０００７】
また、本発明の立体映像合成装置は、上述の立体映像合成装置であって、前記形状算出部は、前記左画像および前記右画像それぞれから特定の被写体の画像を抽出し、前記抽出した画像の視差に基づくステレオ計測により、被写体の形状データを算出することを特徴とする。
【０００８】
また、本発明の立体映像合成装置は、上述の立体映像合成装置であって、前記形状算出部は、前記左画像と前記右画像との視差に基づくステレオ計測により、被写体の形状データを算出することを特徴とする。
【０００９】
また、本発明の形状データ生成方法は、左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置における形状データ生成方法において、前記立体映像合成装置が、前記左画像と前記右画像とから被写体の形状データを算出する第１の過程と、前記立体映像合成装置が、前記第１の過程にて算出した形状データを、力覚・触覚提示装置に出力する第２の過程とを備えることを特徴とする。
【００１０】
また、本発明のプログラムは、コンピュータを、左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置として機能させるためのプログラムにおいて、前記左画像と前記右画像とから被写体の形状データを算出する形状算出部、前記形状算出部が算出した形状データを、力覚・触覚提示装置に出力する形状出力部としても機能させる。
【発明の効果】
【００１１】
この発明によれば、立体映像合成装置は、左右２つの視点からビデオカメラなどで撮影した実写映像を本装置に入力させることで、立体映像表示装置に表示させた立体映像と一致した力覚・触覚を力覚・触覚提示装置にて提供させる形状データを生成することができる。
【発明を実施するための最良の形態】
【００１２】
本発明の一実施形態の概要を説明する。立体映像合成装置３００は、図１に示すように、左映像撮影装置１００と右映像撮影装置２００が撮影した左目の視点からの映像と右目の視点からの映像とを立体映像合成して、立体映像表示装置４００にて表示する際に、撮影した映像から形状データを算出して、力覚・触覚提示装置５００に出力する。これにより、ユーザは立体映像表示装置４００にて表示された立体映像を見ると同時に、表示されている立体映像の動きと一致した形状に対する力覚・触覚を力覚・触覚提示装置５００により得ることができる。
【００１３】
以下、図面を参照して、本発明の実施の形態について説明する。図２は、この発明の一実施形態による立体映像合成装置３００の構成を示す概略ブロック図である。左映像撮影装置１００は、左目の視点からの映像を撮影するビデオカメラである。右映像撮影装置２００は、左映像撮影装置１００の右側に平行に設置され、右目の視点からの映像を撮影するビデオカメラである。立体映像合成装置３００は、左映像撮影装置１００と右映像撮影装置２００とから左目用および右目用の映像を受付けて、立体映像を合成して立体映像表示装置４００に出力するとともに、立体映像の動きと一致している形状データを算出して、力覚・触覚提示装置５００に出力する。
【００１４】
図３は、本実施形態による立体映像合成装置３００の構成を示す概略ブロック図である。
３１は、左映像撮影装置１００から入力された映像を受付けて、該映像から１フレームずつ抽出した左画像を出力する左映像データ入力部である。
３２は、右映像撮影装置２００から入力された映像を受付けて、該映像から１フレームずつ抽出した右画像を出力する右映像データ入力部である。
３３は、左映像データ入力部３１と右映像データ入力部３２とから受けた左画像および右画像から被写体のみを抽出した左被写体画像および右被写体画像を生成し、この２つの画像に基づき被写体の形状データを算出することで、立体映像合成部３５にて生成する立体映像データと同期した形状データを算出する形状算出部である。形状算出部３３における被写体画像の生成方法と、被写体の形状データの算出方法とについての詳細については後述する。
【００１５】
３４は、形状算出部３３により算出された形状データを力覚・触覚提示装置５００に出力する形状出力部である。
立体映像合成部３５は、左映像データ入力部３１と右映像データ入力部３２とから受けた左画像および右画像を合成して、立体映像表示装置４００に合わせた形式の立体映像データを生成する。
３６は、立体映像合成部３５が生成した立体映像データを、立体映像表示装置４００に出力する立体映像出力部である。
【００１６】
図４は、形状算出部３３における被写体画像の生成方法を説明するフローチャートである。図４のフローチャートは、左画像から被写体を抽出して左被写体画像を生成する際の処理であるが、形状算出部３３は、右画像についても左画像の場合と同様にして被写体を抽出して右被写体画像を生成する。
形状算出部３３は、左映像撮影装置１０にて背景のみを撮影し、左映像データ入力部３１が受け付けて抽出した左背景画像を、予め記憶しておく（Ｓａ１）。形状算出部３３は、左映像データ入力部３１から左画像を受けると、ステップＳａ１にて記憶した左背景画像を取得し、左画像を構成するｉ＝０からＩｍａｘ−１までの全ての画素ｉについてステップＳａ３からステップＳａ６を繰り返す（Ｓａ２）。
【００１７】
まず、形状算出部３３は、左画像の画素ｉの赤、緑、青成分の値と、左背景画像における画素ｉに対応する画素の赤、緑、青成分の値とを取得し（Ｓａ３）、これら２つの画素の赤、緑、青成分の値が一致するか否かを判定する（Ｓａ４）。ステップＳａ４にて一致すると判定したときは、そのままステップＳａ６に遷移し、一致しないと判定したときは、形状算出部３３は、左画像における該画素ｉを被写体の画像の画素として抽出した後に（Ｓａ５）、ステップＳａ６に遷移する。ステップＳａ６では、形状算出部３３は、ｉの値を１加算した後に、左画像を構成する全ての画素ｉについてステップＳａ３〜Ｓａ５の処理を行ったかをｉがＩｍａｘより小さいか否かで判定し、ｉがＩｍａｘより小さいときは、ステップＳａ３に遷移して、前述の処理を繰り返し、ｉがＩｍａｘより小さくないときは、処理を終了する。これにより抽出された画素からなる画像が左被写体画像である。すなわち、被写体画像のうち、被写体の領域の画素は色が設定されているが、被写体の領域外の画素は色が設定されていない。
【００１８】
図５は、形状算出部３３における左被写体画像もしくは右被写体画像に基づく被写体の形状データ生成方法のうち、被写体の画像に対して垂直な方向（奥行き方向）の算出方法を説明するフローチャートである。図６は、フローチャートで用いる状態Ｓのとりうる値を示した図であり、状態Ｓには被写体領域外と被写体領域とがあり、被写体領域には奥行き付与済みと奥行き未付与とがある。色が設定されている画素は被写体領域であり、設定されていない画素は被写体領域外である。本方法にて左被写体画像もしくは右被写体画像のうちの片方の被写体領域の各画素について画像に対して垂直な方向（奥行き方向）の位置を算出する。各画素の画像の横軸方向および縦軸方向の位置については、該被写体画像における被写体領域の重心位置を、左被写体画像における被写体領域の重心位置と右被写体画像における被写体領域の重心位置との平均の位置へ並行移動することで求める。
【００１９】
予め本処理を行う前に、形状算出部３３は、図８にて後述する方法を用いて、付与する奥行きの初期値Ｄ０を算出しておく（Ｓｂ１）。処理を開始すると、形状算出部３３は、後のステップＳｂ１０にて各画素の奥行きとして設定する変数Ｄに初期値Ｄ０を設定する（Ｓｂ２）。次に、形状算出部３３は、該被写体画像を構成するｉ＝０からＩｍａｘ−１までの全ての画素について、本ステップＳｂ３とステップＳｂ１１に挟まれたステップＳｂ４〜Ｓｂ１０の処理を行う（Ｓｂ３）。ステップＳｂ４では、形状算出部３３は、該被写体画像における画素ｉの状態Ｓを取得する（Ｓｂ４）。状態Ｓを取得するにあたって、画素ｉが被写体領域外か被写体領域かは、該画素ｉが色を設定されているか否かで判定することができる。奥行き付与済みか奥行き未付与かは、該画素ｉの奥行きが付与されているか否かで判定するが、最後にステップＳｂ１４を経てから付与された画素については奥行き未付与とする。すなわち、ステップＳｂ３〜Ｓｂ１１の０からＩｍａｘのループは、ステップＳｂ１４を経て異なる奥行きの値を付与するように何度も繰り返されるが、同じ値の奥行きを付与するループの間に奥行きを付与された画素は奥行き未付与とみなす。
【００２０】
次に、形状算出部３３は、ステップＳｂ４にて取得した画素ｉの状態Ｓが被写体領域か否かを判定する（Ｓｂ５）。このステップＳｂ５の判定は該画素に色が設定されているか否かにより判定することができる。色が設定されていれば被写体領域であり、設定されていなければ被写体領域外である。このステップＳｂ５にて被写体領域でないと判定すると、ステップＳｂ１１に遷移して、次の画素についての処理に移るが、色が設定されており被写体領域であると判定するとステップＳｂ６に遷移する。
【００２１】
ステップＳｂ６では、形状算出部３３は、該画素に奥行きが未付与か否かを判定する（Ｓｂ６）。該画素には既に奥行きが付与されており未付与でないと判定するとステップＳｂ１１に遷移して、次の画素についての処理に移るが、該画素には未だ奥行きが付与されておらず未付与であると判定すると、形状算出部３３は、画素ｉを囲む８点の画素の状態Ｓｎ（ｎ＝１〜８）を取得する（Ｓｂ７）。形状算出部３３は、８点の画素の状態Ｓｎの中に被写体領域外のものがあるか否かを判定する（Ｓｂ８）。形状算出部３３は、該８点の画素に一つでも被写体領域外の画素があると判定するとステップＳｂ１０に遷移して、画素ｉの奥行きの値として奥行きＤの値を付与し（Ｓｂ１０）、ステップＳｂ１１に遷移して、次の画素についての処理に移る。また、ステップＳｂ８の判定にて、状態Ｓｎの中に被写体領域外のものがないと判定すると、ステップＳｂ９に遷移して、形状算出部３３は、状態Ｓｎの中に奥行きを付与済みのものがあるか否かを判定する（Ｓｂ９）。
【００２２】
付与済みのものが無いと判定すると、ステップＳｂ１１に遷移して、次の画素についての処理に移る。また、ステップＳｂ９の判定にて奥行き付与済みのものがあると判定すると、ステップＳｂ１０に遷移して、形状算出部３３は、画素ｉの奥行きの値として奥行きＤの値を付与し（Ｓｂ１０）、ステップＳｂ１１に遷移する。ステップＳｂ１１では、形状算出部３３は、ｉの値に１加算し、ｉがＩｍａｘより小さい間はステップＳｂ４に戻り、全画素についてステップＳｂ４〜Ｓｂ１０の処理を行う。ｉがＩｍａｘ以上になると、ステップＳｂ１２に遷移して、形状算出部３３は、該被写体画像の被写体領域の画素に奥行き未付与のものがあるか否かを判定する（Ｓｂ１２）。未付与のものがないと判定すると形状算出部３３は該処理を終了するが、未付与のものがあると判定するとステップＳｂ１４に遷移して、予め設定しておいた加算値ΔＤ（Ｓｂ１３）を変数Ｄに加算し、ステップＳｂ３に遷移して前述の処理を繰り返す。このようにして、形状算出部３３は、被写体領域の全ての画素について、被写体領域の外郭からの距離に応じて奥行きの位置を算出することができる。
なお、上述のステップＳｂ１３にて変数Ｄに加算した加算値ΔＤは、定数であってもよいし、何回目の加算であるかによって変わる値であってもよい。
【００２３】
図７は、図５の方法にて被写体領域Ａ１の奥行きを算出する経過を説明する図である。図７（ａ）に示す被写体領域Ａ１がある場合、形状算出部３３は、まず図７（ｂ）に示す最外郭領域Ａ２に奥行きＤ０を付与する。次に、形状算出部３３は、図７（ｃ）に示す２番目外郭領域Ａ３に奥行きＤ０＋ΔＤを付与する。次に、形状算出部３３は、図７（ｄ）に示す３番目外郭領域Ａ４に奥行きＤ０＋２・ΔＤを付与する。これで、全ての被写体領域の画素について奥行きを付与したので、図５（）の処理を終了する。
図８は、図５のステップＳ１の初期値Ｄ０の算出方法を説明する図である。
座標ＸＬは、図４にて説明した形状算出部３３が算出した左被写体画像Ｇ１から抽出した被写体領域Ｍ１の重心位置のうち横軸方向の座標であり、左被写体画像Ｇ１の左端を原点としている。重心位置は、被写体領域Ｍ１の全ての画素の座標を平均することで求める。座標ＸＲは、図４にて説明した形状算出部３３が算出した右被写体画像Ｇ２から抽出した被写体領域Ｍ２の重心位置のうち横軸方向の座標であり、右被写体画像Ｇ２の左端を原点としている。画像に対して垂直な方向については、立体映像表示装置４００が表示している立体映像を視聴するユーザの視点を原点とし、形状算出部３３は、画像に対して垂直な方向の座標Ｚすなわち付与奥行きの初期値Ｄ０を（１）式にて算出する。
Ｄ０＝１／（ＸＬ−ＸＲ） ・・・・（１）
【００２４】
例えば、形状算出部３３が算出した左画像における被写体領域Ｍ１の重心位置のＸ座標ＸＬ＝８０、Ｙ座標ＹＬ＝４２であり、右画像における被写体領域Ｍ２の重心位置のＸ座標ＸＲ＝５０、Ｙ座標ＹＲ＝４０であるときは、形状算出部３３は、立体映像の表示空間におけるＺ座標すなわち付与奥行きの初期値Ｄ０を（２）式で算出する。
Ｄ０＝１／（ＸＬ−ＸＲ）＝１／（８０−５０）＝０．０３３ ・・・（２）
ここで、Ｚ座標の値が、Ｘ座標、Ｙ座標の値に比べて非常に小さな値となっているが、これは、（２）式により求められるＺ座標の値が、Ｘ座標、Ｙ座標とは異なる縮尺となっているためであり、所定の定数ＣをＺ座標に乗じることで、これを調整する。また、Ｚ軸方向の位置を強調するように、所定の定数Ｃの大きさを調整してもよい。
【００２５】
さらに、被写体領域Ｍ１の最外郭領域にありＸ座標Ｘ＝７８、Ｙ座標Ｙ＝４０の画素Ｉの立体映像の表示空間における位置は次のようにして算出する。奥行きは、最外郭領域なのでＤ０＝０．３３３である。被写体領域Ｍ１の重心位置と被写体領域Ｍ２の重心位置との平均（Ｘｍ、Ｙｍ）は、Ｘｍ＝（ＸＬ＋ＸＲ）／２＝（８０＋５０）／２＝６５、Ｙｍ＝（ＹＬ＋ＹＲ）／２＝（４２＋４０）／２＝４１である。（ＸＬ、ＹＬ）から（Ｘｍ、Ｙｍ）への移動は、Ｘ軸方向にＸｍ−ＸＬ＝６５−８０＝−１５、Ｙ軸方向にＹｍ−ＹＬ＝４１−４２＝−１である。（Ｘ＝７８，Ｙ＝４０）に対して、（ＸＬ、ＹＬ）から（Ｘｍ、Ｙｍ）までの平行移動をすると、Ｘ座標が７８＝−１５＝６３、Ｙ座標が４０−１＝３９となる。これらにより、画素Ｉの立体映像の表示空間における位置は、（６３，３９，０．３３３）となる。
【００２６】
これにより、本実施形態の立体映像合成装置３００は、実写の立体映像の動きと一致している形状データを算出して出力し、実写の立体映像を立体映像表示装置４００で表示した際に、誰もが直感的に要求する触感への要望に対して、形状データを受けた力覚・触覚提示装置５００によってそれを実現することができる。従来の実写の立体映像は単に立体物として見るのみであったが、触感が加わることによってより確実な立体物の把握が可能であるとともに新たなメディア、インターフェースの可能性が広がる。
また、本発明の立体映像合成装置３００を用いたシステムは、構成が単純なため設置条件を選ばず容易に効果を発揮できるため、教育やマニュアル提示などの分野で特に効果的に利用することができる。
【００２７】
なお、本実施形態では、形状算出部３３における被写体画像の生成方法として、予め用意した左背景画像および右背景画像と、左画像および右画像とを比較して、色が異なる画素を抽出しているが、背景画像に替えて、予め設定しておいた所定の色と異なる画素を抽出するクロマキー処理を用いてもよい。これにより、背景画像を予め撮影する必要や左映像撮影装置１００および右映像撮影装置２００と背景との位置関係を一定にする必要はなくなるが、撮影する際に背景を所定の色にする必要がある。
【００２８】
また、本実施形態では、被写体の形状データの算出方法として、被写体領域の外郭からの距離に応じて奥行きを設定しているが、左被写体画像と右被写体画像との視差に基づき奥行きを算出するステレオ計測（特開平８−２５４４１６、特開平１１−９４５２７、特開２００１−２４１９２８など）により形状データを算出してもよい。このとき、形状算出部３３における被写体画像の生成方法として、上述のクロマキー処理を用いても良い。これにより、被写体領域の外郭からの距離に応じて奥行きを設定するよりも、形状データを算出するための演算量は多くなるが、実際の形状に近い形状データを算出することができる。
【００２９】
また、本実施形態では、形状算出部３３は、左画像および右画像から被写体を抽出した左被写体画像および右被写体画像を生成し、この生成した左被写体画像および右被写体画像に基づき、形状データを算出しているが、左画像および右画像から被写体を抽出せずに、左画像と右画像との視差に基づきステレオ計測の処理を行い各画素の奥行きを算出することで形状データを算出してもよい。これにより、演算量は多くなるが、背景画像を予め撮影する必要や左映像撮影装置１００および右映像撮影装置２００と背景との位置関係を一定にする必要、撮影する際に背景を所定の色にする必要がなくなり、実際の形状に近い形状データを算出することができる。
【００３０】
また、この立体映像合成装置３００には、周辺機器として入力装置、表示装置等（いずれも図示せず）が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスのことをいう。表示装置とはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶表示装置等のことをいう。
【００３１】
また、図３における左映像データ入力部３１、右映像データ入力部３２、形状算出部３３、形状出力部３４、立体映像合成部３５、立体映像出力部３６の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより左映像データ入力部３１、右映像データ入力部３２、形状算出部３３、形状出力部３４、立体映像合成部３５、立体映像出力部３６の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００３２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００３３】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００３４】
本発明の立体映像合成装置は、構成が単純であり設置条件を選ばないため、教育やマニュアル提示などに用いて好適であるが、これに限られるものではない。
【図面の簡単な説明】
【００３５】
【図１】この発明の一実施形態の概略を示すブロック図である。
【図２】同実施形態における立体映像合成装置３００を用いたシステムの構成を示す概略ブロック図である。
【図３】同実施形態における立体映像合成装置３００の構成を示す概略ブロック図である。
【図４】同実施形態における形状算出部３３における被写体画像の生成方法を説明するフローチャートである。
【図５】同実施形態における形状算出部３３における左被写体画像もしくは右被写体画像に基づく被写体の形状データ生成方法を説明するフローチャートである。
【図６】同実施形態における状態Ｓの内容を説明する図である。
【図７】同実施形態における形状算出部３３にて被写体領域Ａ１の奥行きを算出する経過を説明する図である。
【図８】同実施形態における形状算出部３３にて図５のステップＳ１の初期値Ｄ０の算出方法を説明する図である。
【符号の説明】
【００３６】
１００…左映像撮影装置
２００…右映像撮影装置
３００…立体映像合成装置
４００…立体映像表示装置
５００…力覚・触覚提示装置
３１…左映像データ入力部
３２…右映像データ入力部
３３…形状算出部
３４…形状データ出力部
３５…立体映像合成部
３６…立体映像出力部
【技術分野】
【０００１】
本発明は、特に立体映像の合成とともに、力覚・触覚提示装置に形状データを出力する立体映像合成装置、形状データ生成方法およびそのプログラムに関する。
【背景技術】
【０００２】
従来の立体映像表示装置は、あらかじめ左右の目に対応する２視点から見た映像を用意しておき、バリア方式（例えば、特許文献１、特許文献２参照）や偏光グラスシャッター方式の三次元ディスプレイ上で表示することで、ユーザが立体的に知覚することができる。
また、ペンタイプの操作部を持ち、ペンを操作することで力覚や触覚を体験することができるフォースフィードバック装置や、腕に装着し、腕全体の力覚や手の触感を体験することができるハプティック装置などの力覚・触覚提示装置もある。
【特許文献１】特開平８−２４８３５５号公報
【特許文献２】特表２００３−５２１１８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の立体映像表示装置にあっては、立体映像を提示するのみであり、立体感があり、物体が浮き出て見えたとしても、それに触れることはできないという問題がある。また、ＣＡＤ（Computer Aided Design）データなどの形状データに基づき、ＣＧ（Computer Graphics）を表示しながら、力覚・触覚提示装置で力覚および触覚を提示することはできたが、予め映像と一致した形状データを用意しなければならず、映像を生成するのに形状データが必要なＣＧには適用できても、ビデオカメラなどで撮影した実写映像には適用できないという問題があった。
【０００４】
本発明は、このような事情に鑑みてなされたもので、その目的は、ビデオカメラなどで撮影した実写映像の立体映像を立体映像表示装置にて提示しつつ、該立体映像と一致した力覚・触覚を力覚・触覚提示装置にて提示可能な立体映像データと形状データとを出力できる立体映像合成装置を提供することにある。
【課題を解決するための手段】
【０００５】
この発明は上述した課題を解決するためになされたもので、本発明の立体映像合成装置は、左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置において、前記左画像と前記右画像とから被写体の形状データを算出する形状算出部と、前記形状算出部が算出した形状データを、力覚・触覚提示装置に出力する形状出力部とを備えることを特徴とする。
【０００６】
また、本発明の立体映像合成装置は、上述の立体映像合成装置であって、前記形状算出部は、前記左画像および前記右画像それぞれから特定の被写体の画像を抽出し、前記抽出した被写体の画像の各画素について、該被写体の画像の外郭からの距離に応じて画像に対して鉛直方向の座標を与えて該被写体の形状データを生成し、自装置が合成する立体映像の表示空間における前記特定の被写体の位置を、前記抽出した画像の視差に基づき算出し、前記生成した形状データを該算出した位置に配置した形状データを算出することを特徴とする。
【０００７】
また、本発明の立体映像合成装置は、上述の立体映像合成装置であって、前記形状算出部は、前記左画像および前記右画像それぞれから特定の被写体の画像を抽出し、前記抽出した画像の視差に基づくステレオ計測により、被写体の形状データを算出することを特徴とする。
【０００８】
また、本発明の立体映像合成装置は、上述の立体映像合成装置であって、前記形状算出部は、前記左画像と前記右画像との視差に基づくステレオ計測により、被写体の形状データを算出することを特徴とする。
【０００９】
また、本発明の形状データ生成方法は、左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置における形状データ生成方法において、前記立体映像合成装置が、前記左画像と前記右画像とから被写体の形状データを算出する第１の過程と、前記立体映像合成装置が、前記第１の過程にて算出した形状データを、力覚・触覚提示装置に出力する第２の過程とを備えることを特徴とする。
【００１０】
また、本発明のプログラムは、コンピュータを、左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置として機能させるためのプログラムにおいて、前記左画像と前記右画像とから被写体の形状データを算出する形状算出部、前記形状算出部が算出した形状データを、力覚・触覚提示装置に出力する形状出力部としても機能させる。
【発明の効果】
【００１１】
この発明によれば、立体映像合成装置は、左右２つの視点からビデオカメラなどで撮影した実写映像を本装置に入力させることで、立体映像表示装置に表示させた立体映像と一致した力覚・触覚を力覚・触覚提示装置にて提供させる形状データを生成することができる。
【発明を実施するための最良の形態】
【００１２】
本発明の一実施形態の概要を説明する。立体映像合成装置３００は、図１に示すように、左映像撮影装置１００と右映像撮影装置２００が撮影した左目の視点からの映像と右目の視点からの映像とを立体映像合成して、立体映像表示装置４００にて表示する際に、撮影した映像から形状データを算出して、力覚・触覚提示装置５００に出力する。これにより、ユーザは立体映像表示装置４００にて表示された立体映像を見ると同時に、表示されている立体映像の動きと一致した形状に対する力覚・触覚を力覚・触覚提示装置５００により得ることができる。
【００１３】
以下、図面を参照して、本発明の実施の形態について説明する。図２は、この発明の一実施形態による立体映像合成装置３００の構成を示す概略ブロック図である。左映像撮影装置１００は、左目の視点からの映像を撮影するビデオカメラである。右映像撮影装置２００は、左映像撮影装置１００の右側に平行に設置され、右目の視点からの映像を撮影するビデオカメラである。立体映像合成装置３００は、左映像撮影装置１００と右映像撮影装置２００とから左目用および右目用の映像を受付けて、立体映像を合成して立体映像表示装置４００に出力するとともに、立体映像の動きと一致している形状データを算出して、力覚・触覚提示装置５００に出力する。
【００１４】
図３は、本実施形態による立体映像合成装置３００の構成を示す概略ブロック図である。
３１は、左映像撮影装置１００から入力された映像を受付けて、該映像から１フレームずつ抽出した左画像を出力する左映像データ入力部である。
３２は、右映像撮影装置２００から入力された映像を受付けて、該映像から１フレームずつ抽出した右画像を出力する右映像データ入力部である。
３３は、左映像データ入力部３１と右映像データ入力部３２とから受けた左画像および右画像から被写体のみを抽出した左被写体画像および右被写体画像を生成し、この２つの画像に基づき被写体の形状データを算出することで、立体映像合成部３５にて生成する立体映像データと同期した形状データを算出する形状算出部である。形状算出部３３における被写体画像の生成方法と、被写体の形状データの算出方法とについての詳細については後述する。
【００１５】
３４は、形状算出部３３により算出された形状データを力覚・触覚提示装置５００に出力する形状出力部である。
立体映像合成部３５は、左映像データ入力部３１と右映像データ入力部３２とから受けた左画像および右画像を合成して、立体映像表示装置４００に合わせた形式の立体映像データを生成する。
３６は、立体映像合成部３５が生成した立体映像データを、立体映像表示装置４００に出力する立体映像出力部である。
【００１６】
図４は、形状算出部３３における被写体画像の生成方法を説明するフローチャートである。図４のフローチャートは、左画像から被写体を抽出して左被写体画像を生成する際の処理であるが、形状算出部３３は、右画像についても左画像の場合と同様にして被写体を抽出して右被写体画像を生成する。
形状算出部３３は、左映像撮影装置１０にて背景のみを撮影し、左映像データ入力部３１が受け付けて抽出した左背景画像を、予め記憶しておく（Ｓａ１）。形状算出部３３は、左映像データ入力部３１から左画像を受けると、ステップＳａ１にて記憶した左背景画像を取得し、左画像を構成するｉ＝０からＩｍａｘ−１までの全ての画素ｉについてステップＳａ３からステップＳａ６を繰り返す（Ｓａ２）。
【００１７】
まず、形状算出部３３は、左画像の画素ｉの赤、緑、青成分の値と、左背景画像における画素ｉに対応する画素の赤、緑、青成分の値とを取得し（Ｓａ３）、これら２つの画素の赤、緑、青成分の値が一致するか否かを判定する（Ｓａ４）。ステップＳａ４にて一致すると判定したときは、そのままステップＳａ６に遷移し、一致しないと判定したときは、形状算出部３３は、左画像における該画素ｉを被写体の画像の画素として抽出した後に（Ｓａ５）、ステップＳａ６に遷移する。ステップＳａ６では、形状算出部３３は、ｉの値を１加算した後に、左画像を構成する全ての画素ｉについてステップＳａ３〜Ｓａ５の処理を行ったかをｉがＩｍａｘより小さいか否かで判定し、ｉがＩｍａｘより小さいときは、ステップＳａ３に遷移して、前述の処理を繰り返し、ｉがＩｍａｘより小さくないときは、処理を終了する。これにより抽出された画素からなる画像が左被写体画像である。すなわち、被写体画像のうち、被写体の領域の画素は色が設定されているが、被写体の領域外の画素は色が設定されていない。
【００１８】
図５は、形状算出部３３における左被写体画像もしくは右被写体画像に基づく被写体の形状データ生成方法のうち、被写体の画像に対して垂直な方向（奥行き方向）の算出方法を説明するフローチャートである。図６は、フローチャートで用いる状態Ｓのとりうる値を示した図であり、状態Ｓには被写体領域外と被写体領域とがあり、被写体領域には奥行き付与済みと奥行き未付与とがある。色が設定されている画素は被写体領域であり、設定されていない画素は被写体領域外である。本方法にて左被写体画像もしくは右被写体画像のうちの片方の被写体領域の各画素について画像に対して垂直な方向（奥行き方向）の位置を算出する。各画素の画像の横軸方向および縦軸方向の位置については、該被写体画像における被写体領域の重心位置を、左被写体画像における被写体領域の重心位置と右被写体画像における被写体領域の重心位置との平均の位置へ並行移動することで求める。
【００１９】
予め本処理を行う前に、形状算出部３３は、図８にて後述する方法を用いて、付与する奥行きの初期値Ｄ０を算出しておく（Ｓｂ１）。処理を開始すると、形状算出部３３は、後のステップＳｂ１０にて各画素の奥行きとして設定する変数Ｄに初期値Ｄ０を設定する（Ｓｂ２）。次に、形状算出部３３は、該被写体画像を構成するｉ＝０からＩｍａｘ−１までの全ての画素について、本ステップＳｂ３とステップＳｂ１１に挟まれたステップＳｂ４〜Ｓｂ１０の処理を行う（Ｓｂ３）。ステップＳｂ４では、形状算出部３３は、該被写体画像における画素ｉの状態Ｓを取得する（Ｓｂ４）。状態Ｓを取得するにあたって、画素ｉが被写体領域外か被写体領域かは、該画素ｉが色を設定されているか否かで判定することができる。奥行き付与済みか奥行き未付与かは、該画素ｉの奥行きが付与されているか否かで判定するが、最後にステップＳｂ１４を経てから付与された画素については奥行き未付与とする。すなわち、ステップＳｂ３〜Ｓｂ１１の０からＩｍａｘのループは、ステップＳｂ１４を経て異なる奥行きの値を付与するように何度も繰り返されるが、同じ値の奥行きを付与するループの間に奥行きを付与された画素は奥行き未付与とみなす。
【００２０】
次に、形状算出部３３は、ステップＳｂ４にて取得した画素ｉの状態Ｓが被写体領域か否かを判定する（Ｓｂ５）。このステップＳｂ５の判定は該画素に色が設定されているか否かにより判定することができる。色が設定されていれば被写体領域であり、設定されていなければ被写体領域外である。このステップＳｂ５にて被写体領域でないと判定すると、ステップＳｂ１１に遷移して、次の画素についての処理に移るが、色が設定されており被写体領域であると判定するとステップＳｂ６に遷移する。
【００２１】
ステップＳｂ６では、形状算出部３３は、該画素に奥行きが未付与か否かを判定する（Ｓｂ６）。該画素には既に奥行きが付与されており未付与でないと判定するとステップＳｂ１１に遷移して、次の画素についての処理に移るが、該画素には未だ奥行きが付与されておらず未付与であると判定すると、形状算出部３３は、画素ｉを囲む８点の画素の状態Ｓｎ（ｎ＝１〜８）を取得する（Ｓｂ７）。形状算出部３３は、８点の画素の状態Ｓｎの中に被写体領域外のものがあるか否かを判定する（Ｓｂ８）。形状算出部３３は、該８点の画素に一つでも被写体領域外の画素があると判定するとステップＳｂ１０に遷移して、画素ｉの奥行きの値として奥行きＤの値を付与し（Ｓｂ１０）、ステップＳｂ１１に遷移して、次の画素についての処理に移る。また、ステップＳｂ８の判定にて、状態Ｓｎの中に被写体領域外のものがないと判定すると、ステップＳｂ９に遷移して、形状算出部３３は、状態Ｓｎの中に奥行きを付与済みのものがあるか否かを判定する（Ｓｂ９）。
【００２２】
付与済みのものが無いと判定すると、ステップＳｂ１１に遷移して、次の画素についての処理に移る。また、ステップＳｂ９の判定にて奥行き付与済みのものがあると判定すると、ステップＳｂ１０に遷移して、形状算出部３３は、画素ｉの奥行きの値として奥行きＤの値を付与し（Ｓｂ１０）、ステップＳｂ１１に遷移する。ステップＳｂ１１では、形状算出部３３は、ｉの値に１加算し、ｉがＩｍａｘより小さい間はステップＳｂ４に戻り、全画素についてステップＳｂ４〜Ｓｂ１０の処理を行う。ｉがＩｍａｘ以上になると、ステップＳｂ１２に遷移して、形状算出部３３は、該被写体画像の被写体領域の画素に奥行き未付与のものがあるか否かを判定する（Ｓｂ１２）。未付与のものがないと判定すると形状算出部３３は該処理を終了するが、未付与のものがあると判定するとステップＳｂ１４に遷移して、予め設定しておいた加算値ΔＤ（Ｓｂ１３）を変数Ｄに加算し、ステップＳｂ３に遷移して前述の処理を繰り返す。このようにして、形状算出部３３は、被写体領域の全ての画素について、被写体領域の外郭からの距離に応じて奥行きの位置を算出することができる。
なお、上述のステップＳｂ１３にて変数Ｄに加算した加算値ΔＤは、定数であってもよいし、何回目の加算であるかによって変わる値であってもよい。
【００２３】
図７は、図５の方法にて被写体領域Ａ１の奥行きを算出する経過を説明する図である。図７（ａ）に示す被写体領域Ａ１がある場合、形状算出部３３は、まず図７（ｂ）に示す最外郭領域Ａ２に奥行きＤ０を付与する。次に、形状算出部３３は、図７（ｃ）に示す２番目外郭領域Ａ３に奥行きＤ０＋ΔＤを付与する。次に、形状算出部３３は、図７（ｄ）に示す３番目外郭領域Ａ４に奥行きＤ０＋２・ΔＤを付与する。これで、全ての被写体領域の画素について奥行きを付与したので、図５（）の処理を終了する。
図８は、図５のステップＳ１の初期値Ｄ０の算出方法を説明する図である。
座標ＸＬは、図４にて説明した形状算出部３３が算出した左被写体画像Ｇ１から抽出した被写体領域Ｍ１の重心位置のうち横軸方向の座標であり、左被写体画像Ｇ１の左端を原点としている。重心位置は、被写体領域Ｍ１の全ての画素の座標を平均することで求める。座標ＸＲは、図４にて説明した形状算出部３３が算出した右被写体画像Ｇ２から抽出した被写体領域Ｍ２の重心位置のうち横軸方向の座標であり、右被写体画像Ｇ２の左端を原点としている。画像に対して垂直な方向については、立体映像表示装置４００が表示している立体映像を視聴するユーザの視点を原点とし、形状算出部３３は、画像に対して垂直な方向の座標Ｚすなわち付与奥行きの初期値Ｄ０を（１）式にて算出する。
Ｄ０＝１／（ＸＬ−ＸＲ） ・・・・（１）
【００２４】
例えば、形状算出部３３が算出した左画像における被写体領域Ｍ１の重心位置のＸ座標ＸＬ＝８０、Ｙ座標ＹＬ＝４２であり、右画像における被写体領域Ｍ２の重心位置のＸ座標ＸＲ＝５０、Ｙ座標ＹＲ＝４０であるときは、形状算出部３３は、立体映像の表示空間におけるＺ座標すなわち付与奥行きの初期値Ｄ０を（２）式で算出する。
Ｄ０＝１／（ＸＬ−ＸＲ）＝１／（８０−５０）＝０．０３３ ・・・（２）
ここで、Ｚ座標の値が、Ｘ座標、Ｙ座標の値に比べて非常に小さな値となっているが、これは、（２）式により求められるＺ座標の値が、Ｘ座標、Ｙ座標とは異なる縮尺となっているためであり、所定の定数ＣをＺ座標に乗じることで、これを調整する。また、Ｚ軸方向の位置を強調するように、所定の定数Ｃの大きさを調整してもよい。
【００２５】
さらに、被写体領域Ｍ１の最外郭領域にありＸ座標Ｘ＝７８、Ｙ座標Ｙ＝４０の画素Ｉの立体映像の表示空間における位置は次のようにして算出する。奥行きは、最外郭領域なのでＤ０＝０．３３３である。被写体領域Ｍ１の重心位置と被写体領域Ｍ２の重心位置との平均（Ｘｍ、Ｙｍ）は、Ｘｍ＝（ＸＬ＋ＸＲ）／２＝（８０＋５０）／２＝６５、Ｙｍ＝（ＹＬ＋ＹＲ）／２＝（４２＋４０）／２＝４１である。（ＸＬ、ＹＬ）から（Ｘｍ、Ｙｍ）への移動は、Ｘ軸方向にＸｍ−ＸＬ＝６５−８０＝−１５、Ｙ軸方向にＹｍ−ＹＬ＝４１−４２＝−１である。（Ｘ＝７８，Ｙ＝４０）に対して、（ＸＬ、ＹＬ）から（Ｘｍ、Ｙｍ）までの平行移動をすると、Ｘ座標が７８＝−１５＝６３、Ｙ座標が４０−１＝３９となる。これらにより、画素Ｉの立体映像の表示空間における位置は、（６３，３９，０．３３３）となる。
【００２６】
これにより、本実施形態の立体映像合成装置３００は、実写の立体映像の動きと一致している形状データを算出して出力し、実写の立体映像を立体映像表示装置４００で表示した際に、誰もが直感的に要求する触感への要望に対して、形状データを受けた力覚・触覚提示装置５００によってそれを実現することができる。従来の実写の立体映像は単に立体物として見るのみであったが、触感が加わることによってより確実な立体物の把握が可能であるとともに新たなメディア、インターフェースの可能性が広がる。
また、本発明の立体映像合成装置３００を用いたシステムは、構成が単純なため設置条件を選ばず容易に効果を発揮できるため、教育やマニュアル提示などの分野で特に効果的に利用することができる。
【００２７】
なお、本実施形態では、形状算出部３３における被写体画像の生成方法として、予め用意した左背景画像および右背景画像と、左画像および右画像とを比較して、色が異なる画素を抽出しているが、背景画像に替えて、予め設定しておいた所定の色と異なる画素を抽出するクロマキー処理を用いてもよい。これにより、背景画像を予め撮影する必要や左映像撮影装置１００および右映像撮影装置２００と背景との位置関係を一定にする必要はなくなるが、撮影する際に背景を所定の色にする必要がある。
【００２８】
また、本実施形態では、被写体の形状データの算出方法として、被写体領域の外郭からの距離に応じて奥行きを設定しているが、左被写体画像と右被写体画像との視差に基づき奥行きを算出するステレオ計測（特開平８−２５４４１６、特開平１１−９４５２７、特開２００１−２４１９２８など）により形状データを算出してもよい。このとき、形状算出部３３における被写体画像の生成方法として、上述のクロマキー処理を用いても良い。これにより、被写体領域の外郭からの距離に応じて奥行きを設定するよりも、形状データを算出するための演算量は多くなるが、実際の形状に近い形状データを算出することができる。
【００２９】
また、本実施形態では、形状算出部３３は、左画像および右画像から被写体を抽出した左被写体画像および右被写体画像を生成し、この生成した左被写体画像および右被写体画像に基づき、形状データを算出しているが、左画像および右画像から被写体を抽出せずに、左画像と右画像との視差に基づきステレオ計測の処理を行い各画素の奥行きを算出することで形状データを算出してもよい。これにより、演算量は多くなるが、背景画像を予め撮影する必要や左映像撮影装置１００および右映像撮影装置２００と背景との位置関係を一定にする必要、撮影する際に背景を所定の色にする必要がなくなり、実際の形状に近い形状データを算出することができる。
【００３０】
また、この立体映像合成装置３００には、周辺機器として入力装置、表示装置等（いずれも図示せず）が接続されるものとする。ここで、入力装置とはキーボード、マウス等の入力デバイスのことをいう。表示装置とはＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）や液晶表示装置等のことをいう。
【００３１】
また、図３における左映像データ入力部３１、右映像データ入力部３２、形状算出部３３、形状出力部３４、立体映像合成部３５、立体映像出力部３６の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより左映像データ入力部３１、右映像データ入力部３２、形状算出部３３、形状出力部３４、立体映像合成部３５、立体映像出力部３６の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【００３２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【００３３】
以上、この発明の実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【産業上の利用可能性】
【００３４】
本発明の立体映像合成装置は、構成が単純であり設置条件を選ばないため、教育やマニュアル提示などに用いて好適であるが、これに限られるものではない。
【図面の簡単な説明】
【００３５】
【図１】この発明の一実施形態の概略を示すブロック図である。
【図２】同実施形態における立体映像合成装置３００を用いたシステムの構成を示す概略ブロック図である。
【図３】同実施形態における立体映像合成装置３００の構成を示す概略ブロック図である。
【図４】同実施形態における形状算出部３３における被写体画像の生成方法を説明するフローチャートである。
【図５】同実施形態における形状算出部３３における左被写体画像もしくは右被写体画像に基づく被写体の形状データ生成方法を説明するフローチャートである。
【図６】同実施形態における状態Ｓの内容を説明する図である。
【図７】同実施形態における形状算出部３３にて被写体領域Ａ１の奥行きを算出する経過を説明する図である。
【図８】同実施形態における形状算出部３３にて図５のステップＳ１の初期値Ｄ０の算出方法を説明する図である。
【符号の説明】
【００３６】
１００…左映像撮影装置
２００…右映像撮影装置
３００…立体映像合成装置
４００…立体映像表示装置
５００…力覚・触覚提示装置
３１…左映像データ入力部
３２…右映像データ入力部
３３…形状算出部
３４…形状データ出力部
３５…立体映像合成部
３６…立体映像出力部
【特許請求の範囲】
【請求項１】
左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置において、
前記左画像と前記右画像とから被写体の形状データを算出する形状算出部と、
前記形状算出部が算出した形状データを、力覚・触覚提示装置に出力する形状出力部と
を備えることを特徴とする立体映像合成装置。
【請求項２】
前記形状算出部は、前記左画像および前記右画像それぞれから特定の被写体の画像を抽出し、前記抽出した被写体の画像の各画素について、該被写体の画像の外郭からの距離に応じて画像に対して鉛直方向の座標を与えて該被写体の形状データを生成し、自装置が合成する立体映像の表示空間における前記特定の被写体の位置を、前記抽出した画像の視差に基づき算出し、前記生成した形状データを該算出した位置に配置した形状データを算出することを特徴とする請求項１に記載の立体映像合成装置。
【請求項３】
前記形状算出部は、前記左画像および前記右画像それぞれから特定の被写体の画像を抽出し、前記抽出した画像の視差に基づくステレオ計測により、被写体の形状データを算出することを特徴とする請求項１に記載の立体映像合成装置。
【請求項４】
前記形状算出部は、前記左画像と前記右画像との視差に基づくステレオ計測により、被写体の形状データを算出することを特徴とする請求項１に記載の立体映像合成装置。
【請求項５】
左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置における形状データ生成方法において、
前記立体映像合成装置が、前記左画像と前記右画像とから被写体の形状データを算出する第１の過程と、
前記立体映像合成装置が、前記第１の過程にて算出した形状データを、力覚・触覚提示装置に出力する第２の過程と
を備えることを特徴とする形状データ生成方法。
【請求項６】
コンピュータを、左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置として機能させるためのプログラムにおいて、
前記左画像と前記右画像とから被写体の形状データを算出する形状算出部、
前記形状算出部が算出した形状データを、力覚・触覚提示装置に出力する形状出力部
としても機能させるプログラム。
【請求項１】
左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置において、
前記左画像と前記右画像とから被写体の形状データを算出する形状算出部と、
前記形状算出部が算出した形状データを、力覚・触覚提示装置に出力する形状出力部と
を備えることを特徴とする立体映像合成装置。
【請求項２】
前記形状算出部は、前記左画像および前記右画像それぞれから特定の被写体の画像を抽出し、前記抽出した被写体の画像の各画素について、該被写体の画像の外郭からの距離に応じて画像に対して鉛直方向の座標を与えて該被写体の形状データを生成し、自装置が合成する立体映像の表示空間における前記特定の被写体の位置を、前記抽出した画像の視差に基づき算出し、前記生成した形状データを該算出した位置に配置した形状データを算出することを特徴とする請求項１に記載の立体映像合成装置。
【請求項３】
前記形状算出部は、前記左画像および前記右画像それぞれから特定の被写体の画像を抽出し、前記抽出した画像の視差に基づくステレオ計測により、被写体の形状データを算出することを特徴とする請求項１に記載の立体映像合成装置。
【請求項４】
前記形状算出部は、前記左画像と前記右画像との視差に基づくステレオ計測により、被写体の形状データを算出することを特徴とする請求項１に記載の立体映像合成装置。
【請求項５】
左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置における形状データ生成方法において、
前記立体映像合成装置が、前記左画像と前記右画像とから被写体の形状データを算出する第１の過程と、
前記立体映像合成装置が、前記第１の過程にて算出した形状データを、力覚・触覚提示装置に出力する第２の過程と
を備えることを特徴とする形状データ生成方法。
【請求項６】
コンピュータを、左目の視点から見た左画像と右目の視点から見た右画像とから立体映像を合成する立体映像合成装置として機能させるためのプログラムにおいて、
前記左画像と前記右画像とから被写体の形状データを算出する形状算出部、
前記形状算出部が算出した形状データを、力覚・触覚提示装置に出力する形状出力部
としても機能させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００８−６７１６９（Ｐ２００８−６７１６９Ａ）
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願番号】特願２００６−２４４１９８（Ｐ２００６−２４４１９８）
【出願日】平成１８年９月８日（２００６．９．８）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
【公開日】平成２０年３月２１日（２００８．３．２１）
【国際特許分類】
【出願日】平成１８年９月８日（２００６．９．８）
【出願人】（３９７０６５４８０）エヌ・ティ・ティ・コムウェア株式会社 (187)
【Ｆターム（参考）】
[ Back to top ]