立体画像の表示システム及び表示方法
【課題】携帯機器から立体ディスプレイに表示された画像を操作する。
【解決手段】立体画像の表示システム及び表示方法は、携帯機器と、視点位置に対応して、仮想物体を含む立体画像を表示する立体ディスプレイ部と、携帯機器と無線ネットワークを介して接続する情報処理機器とを備える。携帯機器は、携帯機器が有するディスプレイ部に含むタッチパネルから、ユーザによる操作を受け付け、受け付けた操作を無線ネットワークを介して情報処理機器へ送信する。情報処理機器は、携帯機器のディスプレイ部の表示面と立体ディスプレイ部の表示面との相対的になす立体角に応じたモードに対応して、携帯機器から受信した操作を解釈し、解釈した結果に応じて、立体ディスプレイ部に表示した仮想物体の状態を更新する。
【解決手段】立体画像の表示システム及び表示方法は、携帯機器と、視点位置に対応して、仮想物体を含む立体画像を表示する立体ディスプレイ部と、携帯機器と無線ネットワークを介して接続する情報処理機器とを備える。携帯機器は、携帯機器が有するディスプレイ部に含むタッチパネルから、ユーザによる操作を受け付け、受け付けた操作を無線ネットワークを介して情報処理機器へ送信する。情報処理機器は、携帯機器のディスプレイ部の表示面と立体ディスプレイ部の表示面との相対的になす立体角に応じたモードに対応して、携帯機器から受信した操作を解釈し、解釈した結果に応じて、立体ディスプレイ部に表示した仮想物体の状態を更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像への操作を可能とする表示システム及び表示方法に関する。
【背景技術】
【０００２】
ディスプレイの外部・周辺の空間座標に、ディスプレイが提示する空間座標を射影させて提示させる拡張現実感（Augmented Reality：ＡＲ）技術がある。この技術では、カメラに映った画像マーカーの向きや形から、カメラとマーカーの三次元位置関係を解析して、この三次元視点位置のパラメータにあわせて映像をディスプレイに合成提示する。特許文献１では、このような技術に用いるマーカーの提示方法について述べられている。
【０００３】
また、三次元視点位置の直感的な表示には、ステレオ立体視ディスプレイが用いられる。このとき立体空間に対して直感的な操作を行う方法として、特許文献２では、三次元的に物体を選択するための器具の一例が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−３２２８２号公報
【特許文献２】特開２００６−３０２１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体映像のシーンの視聴に用いられる画像には、自己を含めたシーンの全オブジェクトを上から見下ろすような構図（以下、三人称視点と呼ぶ）と、自己の位置から見た構図（以下、一人称視点と呼ぶ）の二種類がある。
【０００６】
一般に、一人称視点、すなわち視点位置からの構図を用いると、ユーザの視覚環境を直感的に理解できる。特許文献１にみられる自己位置同定手法によって、ユーザ視点の操作を拡張する方法が示された。しかし、このような環境では、物体への指示操作が主に視点位置からの方向で定義されるため、映像上の物体を選択し、または角度を指示する場合には、奥行方向の直感的な距離指定ができず、奥行き方向に重畳している物体の指示・指定が困難になる。
【０００７】
三次元上の物体指定における不定性を改善するために、特許文献２のような三次元マウスなどの奥行きを直接指定する器具が提案されてきた。しかし、三次元マウスは一般に操作可能な空間が限定されているため、背景の山並みなどの超遠方のオブジェクトを含んだ一般的な風景に対しては、奥行を含んだ指示を直観的に行うことが難しい。
【０００８】
一方、一人称視点とは異なる三人称視点からの奥行き指示と組み合わせることで、不定性の少ない指示を行うことが出来るようになる。このため、作業画面を複数に分割して、一人称視点と三人称視点の双方を交互に確認しながら作業を行うことが、従来のディスプレイ上の操作では一般的であった。しかし、このような複数視点の切り替えには、ディスプレイを占有して映像を切り替える必要があるため、複数人数で同一の画像を見て行う協調的な環境での直観的な操作には向かない。
【課題を解決するための手段】
【０００９】
開示される立体画像の表示システム及び表示方法は、携帯機器と、視点位置に対応して、仮想物体を含む立体画像を表示する立体ディスプレイ部と、携帯機器と無線ネットワークを介して接続する情報処理機器とを備える。携帯機器は、携帯機器が有するディスプレイ部に含むタッチパネルから、ユーザによる操作を受け付け、受け付けた操作を無線ネットワークを介して情報処理機器へ送信する。情報処理機器は、携帯機器のディスプレイ部の表示面と立体ディスプレイ部の表示面との相対的になす角に応じたモードに対応して、携帯機器から受信した操作を解釈し、解釈した結果に応じて、立体ディスプレイ部に表示した仮想物体の状態を更新する。
【００１０】
立体画像の表示システム及び表示方法の他の態様は、情報処理機器は、携帯機器のタッチパネルからの操作を受け付ける、立体画像内の操作対象の平面を、携帯機器のディスプレイ部の表示面と立体ディスプレイの表示面との相対的になす立体角に応じた仮想平面として、仮想平面上のグリッドと共に立体ディスプレイに表示する。
【００１１】
立体画像の表示システム及び表示方法のさらに他の態様は、情報処理機器は、仮想物体の位置を明示させた仮想平面を携帯機器のディスプレイ部に表示する。
【００１２】
立体画像の表示システム及び表示方法のさらに他の態様は、情報処理機器は、立体ディスプレイから携帯機器への方向を視点位置として含み、仮想物体を含む立体画像を立体ディスプレイ部に表示する。
【００１３】
立体画像の表示システム及び表示方法のさらに他の態様は、携帯機器のディスプレイ部が、立体ディスプレイ部とは異なる種別の立体視ディスプレイである場合、情報処理機器は、仮想物体を含む立体画像が、視点位置に対応して立体視ディスプレイに表示される内容をシミュレーションし、このシミュレーションの結果を携帯機器のディスプレイ部に表示する。
【発明の効果】
【００１４】
本発明によれば、ユーザは、立体の直感的な理解を保持したままで、携帯機器から立体ディスプレイに表示された映像を操作できる。
【図面の簡単な説明】
【００１５】
【図１】立体画像の表示システムのハードウェア構成図である。
【図２】携帯機器の構成を示す図である。
【図３】情報処理機器１３０の構成を示す図である。
【図４】立体画像の合成表示システムの初期化の工程のフロー図である。
【図５】コンテンツ空間での仮想物体の配置を示す模式図である。
【図６】携帯機器の位置同定を行うための一連の作業工程のフロー図である。
【図７】携帯機器に送られるプログラムとマーカーの画像パターンである。
【図８】モードAにおける三次元カーソルの移動とそれに対応する仮想物体の指定を示す図である。
【図９】情報更新処理の一連の処理を示したフロー図である。
【図１０】モードAにおいて携帯機器に表示される操作画面の模式図である。
【図１１】モードBにおおける三次元カーソルの移動とそれに基づく仮想物体の指定を示す図である。
【図１２】モードCにおける操作概略を示す図である。
【図１３】実施例２において、携帯機器に表示される操作画面の模式図である。
【図１４】実施例３において、シミュレートされる立体ディスプレイの仮想視点位置を示す模式図である。
【図１５】実施例４の立体画像の表示システムのハードウェア構成図である。
【図１６】実施例４の携帯機器の構成を示す図である。
【図１７】実施例４のモードAにおいて携帯機器に表示される操作画面の模式図である。
【図１８】実施例４のモードAにおいて仮想物体とディスプレイ表面の関係を示す模式図である。
【図１９】実施例４のモードCにおいて操作対象平面を仮想空間上に配置する模式図である。
【図２０】実施例４のモードCにおいて操作対象平面を仮想空間上に配置する上面図である。
【図２１】実施例５の立体画像の表示システムのハードウェア構成図である。
【発明を実施するための形態】
【００１６】
以下、実施例を図面を用いて説明する。
【実施例１】
【００１７】
図１に、立体画像(立体映像)の表示システムのハードウェア構成を示す。図１に示すように、複数の方向（それぞれ方向１１１、１１２、１１３とする）に異なる映像を提示する立体ディスプレイ１０１に、その立体ディスプレイ１０１の位置座標を他の位置から取得するためのマーカー１０２が添付されている。このマーカー１０２を他の位置から撮影した場合、撮影したマーカー１０２の二次元画像上の形状から、後述の手法で立体ディスプレイ１０１の位置を基準とした、マーカー１０２を撮影したカメラの位置と角度を求めることができる。
【００１８】
図３に、情報処理機器１３０の構成を示す。立体ディスプレイ１０１を駆動する情報処理機器１３０は、図３に示すようにメモリ１３１と演算装置１３２を持ち、立体ディスプレイ１０１に表示する二次元映像情報を送信する映像出力部１３４を持ち、無線ネットワーク部１３３を通じて外部機器と連携を行う。一般的な汎用計算機機である情報処理機器１３０は、メモリ１３１に保持されたプログラムに従って演算装置１３２で計算処理を行い、その結果を映像として立体ディスプレイ１０１に出力、またはTCP,またはHTTPなどの通信プロトコルを介して外部機器に伝達する。この情報処理機器１３０は一般的な汎用計算機の機能、すなわち複数のプロセスを切り替えて擬似並列的に実行し、また内部の時計やネットワークを用いることでプロセス間の同期をとりつつ計算処理を行う機能を有する。
【００１９】
また、図１に示す無線定点観測カメラ１０５〜１０６は、立体ディスプレイ１０１を含む周辺を撮影し、撮影した立体ディスプレイ１０１の周辺画像を定期的に情報処理機器１３０に送信する。立体ディスプレイ１０１の上部には定点観測カメラ１０８を設け、立体ディスプレイ１０１の周辺を広視野角で撮影する。
【００２０】
立体ディスプレイ１０１に対しての、ユーザインタフェースという意味でのインタフェース部となる携帯機器１２０が存在する。図２に、携帯機器１２０の構成を示す。携帯機器１２０は、ユーザによる操作を受け付けるタッチパネルを表面に装備したディスプレイ部１２１と、周辺状況を撮影するカメラ１２２、無線ネットワークへのアクセス部１２３を備え、プログラムを保持し実行するメモリ１２４と、演算装置１２５によって駆動する。無線ネットワークアクセス部１２３から外部プログラムをメモリ１２４に動的に読み込み、演算装置１２５で駆動することにより、画面１２１への出力と、そこからの入力結果を処理して、TCP、HTTPなどの通信プロトコルを介して無線ネットワークに伝える機能を有する。また、プログラムによって動的に生成された映像をディスプレイ部に表示するための映像出力部１２６と、タッチパネルに接触した指・ペン先などの位置を座標情報として受け取るタッチパネル受信部１２７を備える。また、指・ペン先などの座標情報は、タッチパネルへの接触から離れるまでの時間と空間変化から分類され、ドラッグ、タップ、二本指で行うズームなどの操作に意味解釈してプログラム内で用いる。これらの解釈区分と分離手法については、これらの情報端末での一般的技術に準じる。また、携帯機器１２０は、加速度と地磁気から現在の携帯機器１２０が向いている方向を推定するための加速度センサ１２８を有する。この携帯機器１２０は一般的な汎用計算機の機能、すなわちネットワークを通じてプログラムデータを読み込み、複数のプロセスを切り替えて擬似並列的に実行し、また内部の時計やネットワークを用いることでプロセス間の同期をとりつつ計算処理を行う機能を有する。
【００２１】
図４は、立体画像の合成表示システムを初期化するための一連の工程を示したフロー図である。工程４０１では、立体ディスプレイ１０１と、定点観測カメラ１０５〜１０６の位置調整が行われる。本実施例では、立体ディスプレイ１０１の表示面の中央を原点として、ディスプレイに向かって右向き（X）、ディスプレイに向かって上向き（Y）、ディスプレイに向かって奥の方向（Z）の直交座標系を定義する。また、携帯機器１２０のディスプレイは、画面垂直方向（上）と画面水平方向（右）と画面奥方向のそれぞれに向けた単位長のベクトルの組を、単位ベクトル１４０として定義する。このベクトルは携帯機器１２０の配置によって回転する。
【００２２】
情報処理機器１３０は、定点観測カメラ１０５〜１０６が撮影した最新の映像を受信し、受信した定点観測カメラ１０５〜１０７の映像中にマーカー１０２がある場合には、映像中のマーカー１０２の二次元幾何形状の画像から、マーカー１０２と定点観測カメラ１０５、１０６の三次元位置関係をそれぞれ推定する。この推定値から、立体ディスプレイ１０１の表示面の中央を原点とした定点観測カメラ１０５〜１０６の各々の位置を同定し、同定した位置情報をメモリ１３１に保持する。
【００２３】
マーカーからの三次元位置推定には一般的に利用可能な幾つかの既存技法が存在する。本実施例では、以下の手順で四角形のマーカーと三次元位置情報を抽出する。まず、マーカーの画像を２値化して、画像の黒部分を探し、セグメンテーション処理を行って閉領域に分割する。各閉領域で、一番端の点を最初の頂点とし、この頂点から辿って領域の輪郭を作る。作った輪郭から四角形のマーカーの各頂点を探す。４つの頂点をもつ領域を正面から見た場合の形に変換処理を行い、４角形内の画像を単純化する。この画像とマーカーのパターンとのパターンマッチングを行い、マーカーのパターンとの対応関係が閾値以上である場合には、その画像はマーカーであるとする。４つの頂点を画像上の対応位置に変換する射影行列を計算し、そのパラメータから、撮影したカメラからのマーカーの三次元位置と方向についての推定値を求める。
【００２４】
工程４０２では、定点観測カメラ１０５〜１０６に対して、一定期間ごとに撮影を命じる命令を発するためのスレッドを起動する。本実施例の定点観測カメラ１０５、１０６は、自発的に一定期間ごとに画像を送信できる機能を持ったネットワークカメラである。情報処理機器１３０が操作するカメラの場合にも、情報処理機器１３０に独立なプロセスまたはスレッドを置くことで、同等の操作を行うことができる。
【００２５】
工程４０３では、携帯機器１２０からのネットワーク接続を受け付けるTCP（またはHTTP）サーバーのスレッドを情報処理機器１３０が起動する。情報処理機器１３０に端末機器１２０が接続した場合の動作については、図６を用いて後述する。
【００２６】
図５は立体ディスプレイ１０１に表示する映像を作成する処理を説明するための、コンテンツ空間での仮想物体の配置を示す模式図である。
【００２７】
立体ディスプレイ１０１に三次元位置情報（表示対象）が配置される仮想的な空間を、立体ディスプレイ１０１と携帯機器１２０などの位置を表現する物理的な三次元空間と区別するために、以下ではコンテンツ空間と呼ぶ。この原点座標５０２は、前述のように立体ディスプレイ１０１の表示面中心に対応し、立体ディスプレイ１０１の表示面に相当する面５０１がZ=0のX‐Y平面となる。図５は、このようなコンテンツ空間を示したものである。コンテンツ空間上に複数の視点位置５１１〜５１３を設定し、立体ディスプレイ１０１の表示面に相当する平面５０１にコンテンツ空間の三次元座標を射影して、設定した視点位置５１１〜５１３の各々に対応する二次元画像を構成する。視点位置毎にそれぞれ得られたこれらの二次元画像を、立体ディスプレイ１０１からの方向１１１〜１１３の各々に向けて表示する。
【００２８】
また、このコンテンツ空間内に、ポインタ三次元位置５００を示すマーカーを配置する。このポインタの初期位置は、原点位置５０２、すなわち立体ディスプレイ１０１の表示面中心にセットする。
【００２９】
図６は、立体ディスプレイ１０１の座標系に対して携帯機器１２０の位置同定を行うための一連のルーチンを示したものである。携帯機器１２０が、立体ディスプレイ１０１からある距離に入り、情報処理機器１３０の無線ネットワーク部１３３との間で通信可能になった場合に、携帯機器１２０は情報処理機器１３０への接続メッセージを送る(工程601)。情報処理機器１３０は、図７に示す位置同定用のマーカーのパターン７０１と、携帯機器１２０で実行するプログラム７０２を携帯機器１２０に送信する(工程602)。工程６０２においては、ユーザの携帯機器１２０を介した入力情報を管理する工程901〜916（図９）を実行する情報処理機器１３０側のプログラムと、携帯機器１２０に送信したプログラムとの、それぞれ独立のスレッドを起動する。このスレッドの動作に関しては後述する。これらの処理によって、準備が完了する。
【００３０】
以下の工程６１０〜６３３は、携帯機器１２０、定点観測カメラ１０５〜１０６の各々、および、情報処理機器１３０が同期された内部タイマで時間的に連携しながら動作する。この各機器のプログラムには、これらの撮影処理が同期するように独立のプロセスまたはスレッドを駆動している。工程６１０、６２０、６３０は、これらのプロセス（スレッド）がそれぞれの機器で同期された時刻まで待機する処理を示す。
【００３１】
工程６１１では、携帯機器１２０が、７０２のプログラムを駆動して、位置同定用のマーカー画像７０１を、携帯機器１２０のディスプレイ部１２１に提示する。
【００３２】
工程６１２では、携帯機器１２０が付属のカメラ１２２で撮影を行う。工程６２２では、情報処理機器１３０がカメラ１０８で撮影を行う。工程６３２では、定点観測カメラ１０５〜１０６の各々が撮影を行う。なお、工程６１２、６２２、６３２の各撮影は、ほぼ同時刻に行われるように、各機器の同期は調整されている。
【００３３】
この撮影処理の後、工程６１３では、携帯機器１２０のプログラム７０２が、この時刻の携帯機器１２０の加速度センサ１２８から角度情報を読み取る。工程６１４では、携帯機器１２０は、工程６１２で撮影した画像と工程６１３で取得した角度情報を情報処理機器１３０に送信する。
【００３４】
工程６３３では、定点計測カメラ１０５〜１０６の各々が撮影した画像を情報処理機器１３０に送信する。
【００３５】
工程６１４、工程６３３に対応して、工程６２３では、情報処理機器１３０は、携帯機器１２０が提示しているマーカー７０１を撮影した定点観測カメラ１０５〜１０６の各々の画像を受信する。また、工程６１３で取得された携帯機器１２０の角度情報、および、工程６１２で取得された携帯機器１２０のカメラ１２２による画像を取得する。
【００３６】
工程６２４では、情報処理機器１３０は、定点観測カメラ１０５〜１０６の各々が撮影した画像に位置同定用のマーカーのパターン７０１が撮影されているかどうかのパターン検索処理を行う。マーカー７０１が写っている場合、幾何形状の射影行列のパラメータを計算して、定点観測カメラ１０５〜１０６の各々と携帯機器１２０との相対位置を推定する。このマーカーパターンの検索処理は、前述したとおりである。
【００３７】
また、工程６２５では、携帯機器１２０のカメラ１２２が撮影した画像に位置同定用のマーカーパターン１０２が写っているかどうかのパターン検索処理を行う。マーカーが写っている場合、幾何形状の射影行列のパラメータを計算して、携帯機器１２０と立体ディスプレイ１０１の相対位置を推定する。このマーカーパターン１０２の検索処理は、前述したとおりである。
【００３８】
工程６２７は、工程６２４で得られた相対位置と、携帯機器１２０からの角度情報と、工程６２５で得られた相対位置を合わせて、他の数値から大きく外れたはずれ値(out lier)を除去したうえで平均化を行い、最終的な相対位置を推定する。
【００３９】
工程６２８では、工程６２２で撮影されたカメラ１０８の画像から、顔画像のパターンを検索する。この顔画像を検索するために、以下の一連の処理を行うプログラムルーチンを呼び出して実行する。顔画像から肌の色に近い色相の領域を取り出す。一般的な顔画像について、顔の黒い部分と白い部分を保持したパターン（Haarパターン）をメモリから呼び出し、肌の色に近い色相の領域の近傍に対して、このHaarパターンとパターンマッチングを行う。この結果が閾値以上に類似している領域を顔画像と認識する。カメラ１０８が設置されている方向と画像領域の関係から、認識された顔画像が存在する立体角を算出して保存する。複数の顔画像が撮影された場合には、定点観測カメラ１０５〜１０６からの画像によって得られた情報処理機器１３０の位置、および立体ディスプレイ１０１からの方向に最も近い顔画像を、携帯機器１２０の利用者の顔であると判断して、その位置情報を用いる。
【００４０】
この携帯機器１２０の角度情報と位置情報を用いて、情報更新処理６２９を行う。情報更新処理６２９は、後述する図９の工程901〜916において実行される、携帯機器１２０からの情報更新スレッドのモード選択の参照変数を書き換える処理である。これらの一連の処理が終了した時点で、携帯機器１２０、定点観測カメラ、情報処理機器１３０の撮影スレッドは、次の撮影同期時刻になるまで、待機する。
【００４１】
図９は、情報更新処理（工程６２９）の一連の処理を示したフロー図である。このフロー図は、情報処理装置１３０側で行われる工程９０２〜９０５と、携帯機器１２０側で行われる工程９１１〜９１６により構成されている。これらの工程はそれぞれ独立したプロセスまたはスレッドとして連続動作を行っているが、工程６２９で更新された携帯機器１２０の角度情報に応じてモードを切り替え、工程９０３と工程９０５では現在のモードに応じて異なった処理を行う。
【００４２】
まず、モードに依存しない全体のフロー部分の説明を行う。工程９０１では、工程６２９で更新された携帯機器１２０の角度情報に応じてモードの選択を行う。立体ディスプレイ１０１の面と携帯機器１２０のディスプレイ１２１の面の方向が閾値θ以内である場合（すなわち立体ディスプレイ１０１の表示面と携帯機器１２０のディスプレイ１２１の表示面が同じ方向を向いている場合）には、モードAとする。立体ディスプレイ１０１の表示面と携帯機器１２０のディスプレイ１２１の表示面とが、垂直から閾値θ以内である場合（すなわち、立体ディスプレイ１０１の表示面が鉛直である場合、携帯機器１２０のディスプレイ１２１の面が上を向いている）には、モードBとする。またそれ以外の角度の関係である場合には、モードCとする。このように、携帯機器１２０のディスプレイ１２１の表示面と立体ディスプレイ１０１の表示面との相対的な立体角に応じてモードを定義する。
【００４３】
工程９０２は、モードに応じた、携帯機器１２０に送る画像を作成する手順である。携帯機器１２０に送る画像はモードに応じて異なり、それぞれのモードA〜Cに対応する画像作成の処理ルーチンを駆動する。この各モードの処理ルーチンの実行内容は後述する。工程９０３では工程９０２の処理ルーチンで作成された画像とモードの種別が携帯機器１２０に送られる。
【００４４】
工程９１１〜９１６は、携帯機器１２側で行われる処理である。工程９１１では工程９０３で送った画像とモードの種別の情報を受信する。工程９１２では、受信した画像を提示する。工程９１３では以前とモードの種別に変化があったかを調べ、モードの種別に変化があった場合には、工程９１４でタッチパネルに関する読み取り情報をリセットする。工程９１５ではタッチパネルへのアクセス状態を調べ、ドラッグ、タップ、ズーム（または操作が行われていなかった）のどの状態であったかを取得して、工程９１６でこのタッチ状態の情報を情報処理機器１３０に送信する。
【００４５】
情報処理機器１３０は、工程９１６で取得されたタッチ状態の情報を工程９０４で受け取って、工程９０５でその情報をもとに、立体ディスプレイ１０１に表示されている映像を更新する。工程９０５の映像情報の更新処理はより具体的には、タッチ状態（タッチパネルの操作）をモードに応じて解釈して、解釈した操作により映像情報（仮想物体の状態）を更新することである。この画像（映像情報）もモードに応じて異なり、それぞれのモードA〜Cに対応する処理ルーチンで駆動する。この各処理ルーチンの内容は後述する。一連の操作が終了すると、再び工程９０１に戻り、画面の送信と携帯機器１２０のタッチパネルの情報取得を行う。
【００４６】
工程９０２と、工程９０５は、モードの種別によって、携帯機器１２０からの入力情報の解釈を変えるルーチンである。このモードには前述のようにＡ〜Ｃの三種類がある。モードAは、立体ディスプレイ１０１と携帯機器１２０のディスプレイ１２１が同じ方向を向いている場合であるので、ある角度方向にレンダリングされた像がディスプレイ面に射影された位置に合わせて物体を選択するモードである。また、モードBは、ディスプレイ１２１の面が上を向いている場合であるので、コンテンツ空間内で水平面（X−Z平面）における位置を用いて物体を選択するモードである。また、モードCは、立体ディスプレイ１０１の表示面と携帯機器１２０のディスプレイ面１２１がなす立体角度を用い、携帯機器１２０のディスプレイ１２１の表面と平行な面をコンテンツ空間に提示して、この面上での移動、回転、ズーム処理を行うモードである。すなわち、モードに応じて移動、回転、ズーム処理などの操作の対象平面が異なる。
【００４７】
これらのモードの切り替えに当たっては、コンテンツの空間上の一つの三次元点を各モードで共有し、この点を中心とした座標を再定義する。
【００４８】
モードAの場合に工程９０２と工程９０５で行われる操作内容の概略を説明する。携帯ディスプレイ１２１の位置が立体ディスプレイ１０１と平行に置かれている場合、モードAでの選択処理が行われる。このモードAでは、携帯機器１２０のディスプレイ面１２１と立体ディスプレイ１０１のディスプレイ面を１対１対応させて、携帯機器１２０または立体ディスプレイ１０１のディスプレイ表面に写っている物体を指示する。図８は、モードAにおける三次元カーソルの移動とそれに対応する仮想物体の指定を示す図である。図１０に、モードAにおいて、立体ディスプレイ１０１のディスプレイ表示１００１に対応した携帯機器１２０に表示される操作画面１００２の模式図を示す。
【００４９】
工程９１５の操作時には、工程６２７で求められた立体ディスプレイ１０１に対する携帯機器１２０のディスプレイ１２１の物理空間上の相対的な位置と最も近い方向５１１に向けて提示されている画像が、携帯機器１２０のディスプレイ１２１に提示されている。ユーザは、タッチパネルの位置５４０を選択する際には、立体ディスプレイ１０１上に対応付けられた位置５５０を選択する意図で操作している。
【００５０】
この際、立体ディスプレイ１０１上に提示されるカーソルの射影像５５０からカーソル５００の奥行を含めた位置を求めるために、携帯機器１２０の位置である視点位置８０３付近の、立体ディスプレイ１０１の視点位置５１１からディスプレイ表面上カーソル５５０を通った視線方向 (Ray) をたどって仮想物体と衝突した位置を算出する。こうして求められたカーソル位置５００を図８に示す。視点位置５１１から見て立体ディスプレイ１０１上のカーソルの射影像５５０を連続的に動かした場合でも、５１２、５１３のような他の位置から見た画像においては、必ずしもカーソル５００の射影像５５０がディスプレイ平面１０１上で連続に移動するとは限らない。
【００５１】
工程９０２A（モードＡのときの工程９０２、以下同様に表記する。）において、情報処理機器１３０は、携帯機器１２０の方向に向けて立体ディスプレイ１０１に提示されている画像（図８の状況では視点５１１でレンダリングされた画像）の縮小コピーを携帯機器１２０に送る。工程９１２において、携帯機器１２０は送られてきた画像を、保有するディスプレイ１２１面に提示しているため、工程９１５において、ユーザはこの画面表面に対してのタッチ操作を行っていると解釈する。
【００５２】
工程９０５Aでは、モードAの条件のもとで、ユーザのタッチパネルへの操作を、立体映像のコンテンツに反映する。ドラッグ処理が行われていた場合には、ドラッグ操作の最終位置対応した、立体ディスプレイ１０１の位置にカーソル５００を表示する。このとき、同カーソルから視線方向(Ray)をたどって衝突した物体の色などを変化させて、その奥行の位置にカーソル５００を提示すると同時に、選択候補であるオブジェクト５６０の色などの表示態様を変えて提示する。タップの処理が行われた場合には、現在のカーソルの位置から選択されているオブジェクト５６０を選択し、三次元カーソル５００の座標をオブジェクト５６０の中心位置に設定する。また、すでに選択されたオブジェクトがあり、ドラッグ操作が行われていた場合には、選択されているオブジェクトをドラッグ操作の移動距離に相当する分だけX−Y平面状で移動させる。
【００５３】
次にモードBの場合に工程９０２と工程９０５で行われる操作内容の概略を説明する。携帯機器１２０のディスプレイ１２１の面の向きが、地面に水平に（重力方向に対して垂直に）置かれている場合、携帯機器１２０のディスプレイ面１２１と立体ディスプレイ１０１の内部のコンテンツ空間における水平位置（X−Z平面）を一対一対応させて、物体の指定を行う。
【００５４】
図１１は、モードBにおける三次元カーソルの移動とそれに基づく仮想物体の指定を示す図である。工程９０２Bにおいて、情報処理機器１３０は、携帯機器１２０に画像１１０２を表示するために、コンテンツ空間のX−Z平面の位置情報を上方から描画１１０１した時の画像１１０２を作成する。この画像は、現在の三次元カーソル５００の位置を中心とし、携帯機器１２０のY軸周りの回転角度に合わせて回転させて得られた画像である。また、携帯機器１２０のディスプレイ１２１のY軸周りの回転角度に合わせて仮想空間上にグリッド１１０１を引く。このコンテンツ空間のX−Z平面上にひかれたグリッドと携帯機器１２０のディスプレイ１２１上に提示されたX−Y平面の画像は互いに一対一の関係をなすため、工程９１２において、ユーザはこのX−Z平面に対してのタッチ操作を行っていると解釈する。
【００５５】
工程９０５Bでは、モードBの条件のもとで、ユーザのタッチパネルへの操作を、立体映像のコンテンツに反映する。ズーム操作が行われた場合には、このズーム操作が示す倍率にあわせて画像のサイズとコンテンツ空間のX−Z平面上のグリッドのサイズを変化させ、同一ドラッグによって三次元カーソルを移動できる距離を変化させる。ドラッグ操作が行われた場合には、情報処理機器１３０は、携帯機器１２０のディスプレイ１２１上における移動距離に相当するXZ平面上の移動距離の分だけ三次元カーソル５００を移動させる。また、三次元カーソルに相当するX−Z平面の位置に仮想物体（オブジェクト）がある場合には、そのオブジェクトの色などの表示態様を変えることで選択候補を明示的に提示する。選択候補のオブジェクトが選ばれている状況でタップ処理が行われた場合には、選択候補のオブジェクトを選択オブジェクトに指定したと解釈して、現在のカーソルの位置から選択されているオブジェクト５６０を選択し、三次元カーソル５００の座標をオブジェクト５６０の中心位置に設定する。また、すでに選択されたオブジェクトがあり、ドラッグ操作が行われていた場合には、選択されているオブジェクトをドラッグ操作の移動距離に相当する分だけXZ平面上で移動させる。
【００５６】
次にモードCの場合に工程９０２と工程９０５で行われる操作内容の概略を図１２を用いて説明する。携帯機器１２０のディスプレイ１２１の面の向きが、モードA、モードBのどちらでもない場合には、立体ディスプレイ１０１の座標に対する、携帯機器１２０のディスプレイ１２１の面の角度（立体ディスプレイ１０１の表示面と携帯機器１２０のディスプレイ１２１の表示面の相対角度）に合わせた、コンテンツ空間上に仮想平面１２００を携帯機器１２０のディスプレイ１２１に提示し、その仮想平面１２００に対応したインタラクション操作を携帯機器１２０ののタッチパネルから行う。
【００５７】
工程９０２Cにおいて、情報処理機器１３０は、携帯機器１２０の角度と位置の情報から、コンテンツ空間上の三次元カーソル５００の座標点を通り、物理空間上の携帯機器１２０のディスプレイ１２１面と平行となる平面を定義して、この平面を射影面としてコンテンツ空間の風景を携帯機器１２０に提示するためにレンダリングする。また、立体映像のコンテンツ空間内に、平面１２００に相当する平面上にグリッド１２０１を描く。
【００５８】
工程９１２において、ユーザはこの指定されたコンテンツ空間内の平面１２００に対してのタッチ操作を行っていると解釈する。
【００５９】
工程９０５Cでは、モードCの条件のもとで、ユーザのタッチパネルへの操作を、立体映像のコンテンツに反映する。垂直方向にズーム操作が行われた場合には、このズーム操作が示す倍率にあわせて、携帯機器１２０のディスプレイ１２１に提示する画像のサイズとコンテンツ空間の平面上のグリッド１２０１のサイズを変化させて、同一ドラッグによって三次元カーソル５００を移動できる距離を変化させる。ドラッグ操作が行われた場合には、平面１２００上でこのドラッグ操作が示す移動距離に相当する移動距離の分だけ三次元カーソル５００を移動させる。また、三次元カーソル５００に相当する位置に仮想物体（オブジェクト）がある場合には、そのオブジェクトの色などの表示態様を変えることで選択候補を明示的に提示する。選択候補が選ばれている状況でタップ処理が行われた場合には、選択候補となっているオブジェクトを選択する。また、すでに選択されたオブジェクトがあり、ドラッグ操作が行われていた場合には、選択されているオブジェクトをドラッグ操作の移動距離に相当する分だけ平面１２００上で移動させる。
【００６０】
これらの一連の処理ルーチンによって、モードに合わせて、三次元ディスプレイ内のカーソル５００の移動と物体の選択、移動操作が行われる。
【００６１】
これらの一連の処理により、本実施例では、立体ディスプレイ１０１や立体印刷物に対して、ユーザが可搬することが出来るディスプレイを、動的に組み合わせて、ユーザの意図に合わせた視点位置の選択、奥行表現の制御、立体位置の指定操作を効率的に実現される。
【００６２】
特に裸眼立体ディスプレイの例など、一つの視点位置での射影行列で表現しきれない立体映像を調整して処理する場合には、視点位置、角度の選択モードの切り替えは煩雑になる。通常のモニタを用いて最大数十視点の映像のすべての構図での印象を確認しながら作業を行うことは、困難であり非能率的でもある。この調整時に直接に立体ディスプレイを用いることで結果に対する直感的な動作が可能になる。
【００６３】
また、裸眼立体ディスプレイでは、複数の映像を視聴する視点位置ごとに切り替えて表示するが、複数枚の画像のうちのどれかの映像が混合したかたちで視聴されることがある。この理由から、ディスプレイの表面から大幅に離れた距離の物体を描画しようとすると、二重像が見えたり、映像がぼけたりして、利用者に不快を与えるため、これらの裸眼立体ディスプレイでは使用可能な奥行き距離をディスプレイ面の表面近辺に限定して表示するのが一般的である。また、ディスプレイ面と映像が離れた状況下で映像が視聴困難になる傾向は、裸眼立体方式にのみ限定されているわけではなく、メガネ式立体提示の方法においても、ディスプレイ表面から映像の距離が離れると、本来の画像とのかい離が大きくなるため、映像酔いや疲労などの影響も大きくなる傾向がある。このような立体ディスプレイ特有の疲労や三次元酔いなどが生まれると長時間の作業は難しかったが、本実施例の手法を用いることで、必要な情報が手持ちのディスプレイ座標上に固定して提示されるため、このような立体酔い効果の軽減が期待できる。
【００６４】
また、単一視点の通常の映像ディスプレイのように、裸眼立体ディスプレイのディスプレイ面（二次元平面）をタッチパネルとして選択した場合には、視点の位置が異なっていると二次元平面上の指定位置に関連付けられる三次元空間内の位置が変わりうる。通常のモニタでは単一の視点を前提にして、その視点位置と平面上の点を結んだ方向を示すことで一つの直線を示すが、複数の視点方向が同時に提示される立体視ディスプレイにおいて、ディスプレイ表面に対するインタラクションを行うと、どの視点を用いて物体の指定を行っているかを明示化しない限り、指定されているオブジェクトに対する不定性が生まれるが、本実施例においては、そのような不定性を持たずに物体を直感的に指示可能になる。
【実施例２】
【００６５】
本実施例では、ある方向から見た画像の作成を行い、その画像を携帯機器１２０に送る方法を示す。
【００６６】
本実施例の各ハードウェアは、実施例１のものと同じである。
【００６７】
本実施例では、図１３に示すように、実施例１の工程９０２Cに相当する画像１３００の作成において、携帯機器１２０のディスプレイ１２１の操作画面として、撮影距離を制御するためのスクロールバー１３０１（この入力値をDとする）、撮影画角を制御するためのスクロールバー１３０２（この入力値をAとする）、最終撮影画像を取得するボタン１３０３を配置する。
【００６８】
工程９１５のタッチパネル操作において、スクロールバー１３０１が操作され値Dが変化した場合には、工程９０５Cで行われる仮想平面１２００（図１２）への射影画像作成において、仮想的な視点位置となる点を仮想平面１２００から距離Dに配置して映像の作成を行う。
【００６９】
また、工程９１５のタッチパネル操作において、スクロールバー１３０２が操作され値Aが変化した場合には、工程９０５Cで行われる仮想平面１２００への射影画像作成において、仮想的な画角を角度Aに変更して映像の作成を行う。
【００７０】
また、９１５のタッチパネル操作において、ボタン１３０３が押された場合には、距離D画角Aで仮想平面１２００に射影したコンテンツ空間の高解像度画像をレンダリングし、作成された画像をメールに添付して、携帯機器１２０にあらかじめ関連付けられたメールアドレスに送信する。
【実施例３】
【００７１】
本実施例では、用いられている立体ディスプレイ１０１と異なるパラメータの立体ディスプレイを用いた場合に各視点位置から見える映像出力（各視点位置に対応する表示内容）のシミュレーション結果を携帯機器１２０に送る方法を示す。このようなシミュレーションは、たとえば、複数の異なる視点の映像が重なって見えてしまった場合（クロストークと呼ばれる）に、映像が劣化して見える度合いを判断するために用いることが出来る。
【００７２】
図１４を用いて説明する。ハードウェアは、実施例１と立体ディスプレイ１４００を異にし、その立体ディスプレイ１４００が５個の仮想視点１４０１〜１４０５を持っているものとする。
【００７３】
本実施例では、実施例１の工程９０２Cに相当する画像の作成において、各視点位置１４０１〜１４０５を中心とした５種類の射影像を、仮想平面１２００(図１２)上に投影して高解像度画像を作成し、それらの重畳映像を作り、実施例２の方法で携帯機器１２０に関連付けられたメールアドレスに送付する。利用者は送付された画像を見ることによって、位置５００にある物体５６０が、どの程度の立体像のクロストークを生むかを推定することができる。
【実施例４】
【００７４】
図１５に、本実施例を実現するために必要なハードウェア構成を示す。携帯機器１５００以外は、実施例１と同様である。携帯機器１５００は、裸眼立体映像を提示できるディスプレイを保有する。携帯機器１５００の構成を図１６に示す。ディスプレイ１５０１が、レンチキュラレンズ、パララックスバリアなどの立体視ディスプレイであること以外は、実施例１における携帯機器１２０と同様である。
【００７５】
本実施例の動作工程の大部分は、実施例１と同じ工程である。ただし、定点観測カメラ１０５〜１０６の各々から撮影されるマーカー７０１の携帯機器１５００のディスプレイ１５０１への表示において、ディスプレイ平面上に観測されるように描画することと、各モードにおける携帯機器１５００への立体空間の表示において、立体空間の構成を反映するための凹凸情報を伴った立体画像が作成されて、送信される。
【００７６】
図１７は、実施例１におけるモードＡ（図１０）に対応した画像である。図１８は、図１７の画像の仮想物体とディスプレイ１５０１表面の関係を示す模式図である。視点位置１８０１は、工程６２８で得られた利用者の顔の視点位置である。ここで、三次元マーカー１７４０と、三次元仮想物体１７６０のような各物体のレンダリング処理は、以下のように行う。立体視ディスプレイ１５０１の提示可能な映像のうち、中心に近いある一つの方向に提示する映像を代表視点とする。この代表視点映像の作成を、視点位置１８０１を中心として携帯機器１５００の立体視ディスプレイ１５０１の表面１７４０に相当する仮想空間の平面に向けて投影する射影行列によって行う。他の映像については、この代表視点を基準として立体ディスプレイ各視点の相対的な視点位置を算出する。
【００７７】
図１９は、実施例１におけるモードC（図１２）に対応した、操作対象平面を仮想空間上に配置する模式図である。実施例１と同様の各工程によって、実施例１の平面１２００（図１２）に相当する平面１９００が立体ディスプレイ１０１に提示される。携帯機器１５００の立体視ディスプレイ１５０１面に画像１９０２が描画される。この例においては、立体ディスプレイ１０１上には三次元カーソルの像１９４１と仮想物体の像１９６１が、携帯端末の立体視ディスプレイ１５０１上には、三次元カーソルの像１９４０と仮想物体の像１９６０が、それぞれ描画されている。この描画の際の奥行位置の関係を示した上面図が図２０である。立体視ディスプレイ１５０１上に描画された立体像１９６０と三次元カーソルの像１９４０は、仮想平面１９００と立体像１９６１と三次元カーソルの像１９４１の相対位置に等しく配置される。このような表現の実現のために、三次元カーソルの像１９４０から見た視点位置１８０１と相対的に等価な位置に仮想視点位置２００１を配置する。すなわち、携帯機器１５００の立体視ディスプレイ１５０１の中心から視点位置１８０１への立体角度と、仮想端末中心から仮想視点位置２００１への立体角度が等しく、視点位置１８０１から携帯機器１５００のディスプレイ１５０１面までの距離と視点位置２００１から仮想平面１９００までの距離の比率が、携帯機器１５００のディスプレイサイズと仮想平面のサイズ（正確にはその上に引かれたグリッドの四角形１９０１）の比率が同じ位置になるような視点位置である。このとき、立体視ディスプレイ１５０１の提示可能な映像のうち、中心に近いある一つの方向に提示する映像を代表視点とし、この代表視点映像の作成を、視点位置２００１を中心として仮想平面１９００に相当する仮想空間の平面に向けて投影する射影行列によって行う。他の映像については、この代表視点を基準として立体ディスプレイ各視点の相対的な視点位置を算出する。
【００７８】
このような描画を、立体視ディスプレイ１５０１を備えた携帯機器１５００を用いて行うことで、モードAの場合には立体視ディスプレイ１５０１が置かれている物理的な空間を基準に立体像が提示され、モードCの場合にはカーソル１９４０が置かれている仮想的な点１９４１を基準にして、携帯機器１５００の角度に応じた立体像が提示されるようになる。モードＡでは、仮想物体の近くにディスプレイ面を自由に配置することが出来るため、細部が視認可能になり、映像酔いの効果も減少できる。またモードＣでは、三次元カーソルの固定によって物体の位置を固定して安定した市長ができる一方で、角度を直感的に変化させることも達成できる。
【実施例５】
【００７９】
本実施例は、ディスプレイ１０１に立体ディスプレイを用いずに立体印刷物を用いる方法について述べる。
【００８０】
この場合のハードウェア構成例を図２１に示す。。２１０１は立体印刷物を貼り付けた器具であり２１１１〜２１１３にそれぞれ異なる映像を投影する。携帯端末２１２０とその立体角度を取得するために定点観測カメラ２１０５〜２１０６の行う一連の動作については、先の実施例の記述に準じる。この映像に対し携帯機器２１２０で仮想平面の位置を指定して画像を作成するが、工程９０３での立体ディスプレイの画像の描画処理は行わず、携帯機器２１２０への画像描画と映像送信のみを行う。
【００８１】
これにより、立体印刷物に対して、現在は表示されていない方向からの映像を取得して画像として得ることが出来るようになる。
【００８２】
説明した実施形態によれば、ユーザは、立体の直感的な理解を保持したままで、携帯機器から立体ディスプレイに表示された画像を操作できる。また、立体ディスプレイ上の細かい物体や文字などを長時間視聴することによる映像酔いや眼精疲労を軽減する効果と同時に、直観的な動作によって立体的な関係を指定するインタフェースを実現できる。
【符号の説明】
【００８３】
１０１：立体ディスプレイ、１０２：立体ディスプレイと関連付けられたマーカー、１０８：カメラ、１１１〜１１２：立体ディスプレイが独立に映像を示すことができる方向、１２０：携帯機器、１２１：携帯機器のタッチパネルつきディスプレイ、１２２：携帯機器１２０のカメラ、１２３：無線ネットワークアクセス部、１３０：情報処理機器、１３１：メモリ、１３２：演算装置、１３３：無線ネットワーク部。
【技術分野】
【０００１】
本発明は、立体画像への操作を可能とする表示システム及び表示方法に関する。
【背景技術】
【０００２】
ディスプレイの外部・周辺の空間座標に、ディスプレイが提示する空間座標を射影させて提示させる拡張現実感（Augmented Reality：ＡＲ）技術がある。この技術では、カメラに映った画像マーカーの向きや形から、カメラとマーカーの三次元位置関係を解析して、この三次元視点位置のパラメータにあわせて映像をディスプレイに合成提示する。特許文献１では、このような技術に用いるマーカーの提示方法について述べられている。
【０００３】
また、三次元視点位置の直感的な表示には、ステレオ立体視ディスプレイが用いられる。このとき立体空間に対して直感的な操作を行う方法として、特許文献２では、三次元的に物体を選択するための器具の一例が示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−３２２８２号公報
【特許文献２】特開２００６−３０２１０１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
立体映像のシーンの視聴に用いられる画像には、自己を含めたシーンの全オブジェクトを上から見下ろすような構図（以下、三人称視点と呼ぶ）と、自己の位置から見た構図（以下、一人称視点と呼ぶ）の二種類がある。
【０００６】
一般に、一人称視点、すなわち視点位置からの構図を用いると、ユーザの視覚環境を直感的に理解できる。特許文献１にみられる自己位置同定手法によって、ユーザ視点の操作を拡張する方法が示された。しかし、このような環境では、物体への指示操作が主に視点位置からの方向で定義されるため、映像上の物体を選択し、または角度を指示する場合には、奥行方向の直感的な距離指定ができず、奥行き方向に重畳している物体の指示・指定が困難になる。
【０００７】
三次元上の物体指定における不定性を改善するために、特許文献２のような三次元マウスなどの奥行きを直接指定する器具が提案されてきた。しかし、三次元マウスは一般に操作可能な空間が限定されているため、背景の山並みなどの超遠方のオブジェクトを含んだ一般的な風景に対しては、奥行を含んだ指示を直観的に行うことが難しい。
【０００８】
一方、一人称視点とは異なる三人称視点からの奥行き指示と組み合わせることで、不定性の少ない指示を行うことが出来るようになる。このため、作業画面を複数に分割して、一人称視点と三人称視点の双方を交互に確認しながら作業を行うことが、従来のディスプレイ上の操作では一般的であった。しかし、このような複数視点の切り替えには、ディスプレイを占有して映像を切り替える必要があるため、複数人数で同一の画像を見て行う協調的な環境での直観的な操作には向かない。
【課題を解決するための手段】
【０００９】
開示される立体画像の表示システム及び表示方法は、携帯機器と、視点位置に対応して、仮想物体を含む立体画像を表示する立体ディスプレイ部と、携帯機器と無線ネットワークを介して接続する情報処理機器とを備える。携帯機器は、携帯機器が有するディスプレイ部に含むタッチパネルから、ユーザによる操作を受け付け、受け付けた操作を無線ネットワークを介して情報処理機器へ送信する。情報処理機器は、携帯機器のディスプレイ部の表示面と立体ディスプレイ部の表示面との相対的になす角に応じたモードに対応して、携帯機器から受信した操作を解釈し、解釈した結果に応じて、立体ディスプレイ部に表示した仮想物体の状態を更新する。
【００１０】
立体画像の表示システム及び表示方法の他の態様は、情報処理機器は、携帯機器のタッチパネルからの操作を受け付ける、立体画像内の操作対象の平面を、携帯機器のディスプレイ部の表示面と立体ディスプレイの表示面との相対的になす立体角に応じた仮想平面として、仮想平面上のグリッドと共に立体ディスプレイに表示する。
【００１１】
立体画像の表示システム及び表示方法のさらに他の態様は、情報処理機器は、仮想物体の位置を明示させた仮想平面を携帯機器のディスプレイ部に表示する。
【００１２】
立体画像の表示システム及び表示方法のさらに他の態様は、情報処理機器は、立体ディスプレイから携帯機器への方向を視点位置として含み、仮想物体を含む立体画像を立体ディスプレイ部に表示する。
【００１３】
立体画像の表示システム及び表示方法のさらに他の態様は、携帯機器のディスプレイ部が、立体ディスプレイ部とは異なる種別の立体視ディスプレイである場合、情報処理機器は、仮想物体を含む立体画像が、視点位置に対応して立体視ディスプレイに表示される内容をシミュレーションし、このシミュレーションの結果を携帯機器のディスプレイ部に表示する。
【発明の効果】
【００１４】
本発明によれば、ユーザは、立体の直感的な理解を保持したままで、携帯機器から立体ディスプレイに表示された映像を操作できる。
【図面の簡単な説明】
【００１５】
【図１】立体画像の表示システムのハードウェア構成図である。
【図２】携帯機器の構成を示す図である。
【図３】情報処理機器１３０の構成を示す図である。
【図４】立体画像の合成表示システムの初期化の工程のフロー図である。
【図５】コンテンツ空間での仮想物体の配置を示す模式図である。
【図６】携帯機器の位置同定を行うための一連の作業工程のフロー図である。
【図７】携帯機器に送られるプログラムとマーカーの画像パターンである。
【図８】モードAにおける三次元カーソルの移動とそれに対応する仮想物体の指定を示す図である。
【図９】情報更新処理の一連の処理を示したフロー図である。
【図１０】モードAにおいて携帯機器に表示される操作画面の模式図である。
【図１１】モードBにおおける三次元カーソルの移動とそれに基づく仮想物体の指定を示す図である。
【図１２】モードCにおける操作概略を示す図である。
【図１３】実施例２において、携帯機器に表示される操作画面の模式図である。
【図１４】実施例３において、シミュレートされる立体ディスプレイの仮想視点位置を示す模式図である。
【図１５】実施例４の立体画像の表示システムのハードウェア構成図である。
【図１６】実施例４の携帯機器の構成を示す図である。
【図１７】実施例４のモードAにおいて携帯機器に表示される操作画面の模式図である。
【図１８】実施例４のモードAにおいて仮想物体とディスプレイ表面の関係を示す模式図である。
【図１９】実施例４のモードCにおいて操作対象平面を仮想空間上に配置する模式図である。
【図２０】実施例４のモードCにおいて操作対象平面を仮想空間上に配置する上面図である。
【図２１】実施例５の立体画像の表示システムのハードウェア構成図である。
【発明を実施するための形態】
【００１６】
以下、実施例を図面を用いて説明する。
【実施例１】
【００１７】
図１に、立体画像(立体映像)の表示システムのハードウェア構成を示す。図１に示すように、複数の方向（それぞれ方向１１１、１１２、１１３とする）に異なる映像を提示する立体ディスプレイ１０１に、その立体ディスプレイ１０１の位置座標を他の位置から取得するためのマーカー１０２が添付されている。このマーカー１０２を他の位置から撮影した場合、撮影したマーカー１０２の二次元画像上の形状から、後述の手法で立体ディスプレイ１０１の位置を基準とした、マーカー１０２を撮影したカメラの位置と角度を求めることができる。
【００１８】
図３に、情報処理機器１３０の構成を示す。立体ディスプレイ１０１を駆動する情報処理機器１３０は、図３に示すようにメモリ１３１と演算装置１３２を持ち、立体ディスプレイ１０１に表示する二次元映像情報を送信する映像出力部１３４を持ち、無線ネットワーク部１３３を通じて外部機器と連携を行う。一般的な汎用計算機機である情報処理機器１３０は、メモリ１３１に保持されたプログラムに従って演算装置１３２で計算処理を行い、その結果を映像として立体ディスプレイ１０１に出力、またはTCP,またはHTTPなどの通信プロトコルを介して外部機器に伝達する。この情報処理機器１３０は一般的な汎用計算機の機能、すなわち複数のプロセスを切り替えて擬似並列的に実行し、また内部の時計やネットワークを用いることでプロセス間の同期をとりつつ計算処理を行う機能を有する。
【００１９】
また、図１に示す無線定点観測カメラ１０５〜１０６は、立体ディスプレイ１０１を含む周辺を撮影し、撮影した立体ディスプレイ１０１の周辺画像を定期的に情報処理機器１３０に送信する。立体ディスプレイ１０１の上部には定点観測カメラ１０８を設け、立体ディスプレイ１０１の周辺を広視野角で撮影する。
【００２０】
立体ディスプレイ１０１に対しての、ユーザインタフェースという意味でのインタフェース部となる携帯機器１２０が存在する。図２に、携帯機器１２０の構成を示す。携帯機器１２０は、ユーザによる操作を受け付けるタッチパネルを表面に装備したディスプレイ部１２１と、周辺状況を撮影するカメラ１２２、無線ネットワークへのアクセス部１２３を備え、プログラムを保持し実行するメモリ１２４と、演算装置１２５によって駆動する。無線ネットワークアクセス部１２３から外部プログラムをメモリ１２４に動的に読み込み、演算装置１２５で駆動することにより、画面１２１への出力と、そこからの入力結果を処理して、TCP、HTTPなどの通信プロトコルを介して無線ネットワークに伝える機能を有する。また、プログラムによって動的に生成された映像をディスプレイ部に表示するための映像出力部１２６と、タッチパネルに接触した指・ペン先などの位置を座標情報として受け取るタッチパネル受信部１２７を備える。また、指・ペン先などの座標情報は、タッチパネルへの接触から離れるまでの時間と空間変化から分類され、ドラッグ、タップ、二本指で行うズームなどの操作に意味解釈してプログラム内で用いる。これらの解釈区分と分離手法については、これらの情報端末での一般的技術に準じる。また、携帯機器１２０は、加速度と地磁気から現在の携帯機器１２０が向いている方向を推定するための加速度センサ１２８を有する。この携帯機器１２０は一般的な汎用計算機の機能、すなわちネットワークを通じてプログラムデータを読み込み、複数のプロセスを切り替えて擬似並列的に実行し、また内部の時計やネットワークを用いることでプロセス間の同期をとりつつ計算処理を行う機能を有する。
【００２１】
図４は、立体画像の合成表示システムを初期化するための一連の工程を示したフロー図である。工程４０１では、立体ディスプレイ１０１と、定点観測カメラ１０５〜１０６の位置調整が行われる。本実施例では、立体ディスプレイ１０１の表示面の中央を原点として、ディスプレイに向かって右向き（X）、ディスプレイに向かって上向き（Y）、ディスプレイに向かって奥の方向（Z）の直交座標系を定義する。また、携帯機器１２０のディスプレイは、画面垂直方向（上）と画面水平方向（右）と画面奥方向のそれぞれに向けた単位長のベクトルの組を、単位ベクトル１４０として定義する。このベクトルは携帯機器１２０の配置によって回転する。
【００２２】
情報処理機器１３０は、定点観測カメラ１０５〜１０６が撮影した最新の映像を受信し、受信した定点観測カメラ１０５〜１０７の映像中にマーカー１０２がある場合には、映像中のマーカー１０２の二次元幾何形状の画像から、マーカー１０２と定点観測カメラ１０５、１０６の三次元位置関係をそれぞれ推定する。この推定値から、立体ディスプレイ１０１の表示面の中央を原点とした定点観測カメラ１０５〜１０６の各々の位置を同定し、同定した位置情報をメモリ１３１に保持する。
【００２３】
マーカーからの三次元位置推定には一般的に利用可能な幾つかの既存技法が存在する。本実施例では、以下の手順で四角形のマーカーと三次元位置情報を抽出する。まず、マーカーの画像を２値化して、画像の黒部分を探し、セグメンテーション処理を行って閉領域に分割する。各閉領域で、一番端の点を最初の頂点とし、この頂点から辿って領域の輪郭を作る。作った輪郭から四角形のマーカーの各頂点を探す。４つの頂点をもつ領域を正面から見た場合の形に変換処理を行い、４角形内の画像を単純化する。この画像とマーカーのパターンとのパターンマッチングを行い、マーカーのパターンとの対応関係が閾値以上である場合には、その画像はマーカーであるとする。４つの頂点を画像上の対応位置に変換する射影行列を計算し、そのパラメータから、撮影したカメラからのマーカーの三次元位置と方向についての推定値を求める。
【００２４】
工程４０２では、定点観測カメラ１０５〜１０６に対して、一定期間ごとに撮影を命じる命令を発するためのスレッドを起動する。本実施例の定点観測カメラ１０５、１０６は、自発的に一定期間ごとに画像を送信できる機能を持ったネットワークカメラである。情報処理機器１３０が操作するカメラの場合にも、情報処理機器１３０に独立なプロセスまたはスレッドを置くことで、同等の操作を行うことができる。
【００２５】
工程４０３では、携帯機器１２０からのネットワーク接続を受け付けるTCP（またはHTTP）サーバーのスレッドを情報処理機器１３０が起動する。情報処理機器１３０に端末機器１２０が接続した場合の動作については、図６を用いて後述する。
【００２６】
図５は立体ディスプレイ１０１に表示する映像を作成する処理を説明するための、コンテンツ空間での仮想物体の配置を示す模式図である。
【００２７】
立体ディスプレイ１０１に三次元位置情報（表示対象）が配置される仮想的な空間を、立体ディスプレイ１０１と携帯機器１２０などの位置を表現する物理的な三次元空間と区別するために、以下ではコンテンツ空間と呼ぶ。この原点座標５０２は、前述のように立体ディスプレイ１０１の表示面中心に対応し、立体ディスプレイ１０１の表示面に相当する面５０１がZ=0のX‐Y平面となる。図５は、このようなコンテンツ空間を示したものである。コンテンツ空間上に複数の視点位置５１１〜５１３を設定し、立体ディスプレイ１０１の表示面に相当する平面５０１にコンテンツ空間の三次元座標を射影して、設定した視点位置５１１〜５１３の各々に対応する二次元画像を構成する。視点位置毎にそれぞれ得られたこれらの二次元画像を、立体ディスプレイ１０１からの方向１１１〜１１３の各々に向けて表示する。
【００２８】
また、このコンテンツ空間内に、ポインタ三次元位置５００を示すマーカーを配置する。このポインタの初期位置は、原点位置５０２、すなわち立体ディスプレイ１０１の表示面中心にセットする。
【００２９】
図６は、立体ディスプレイ１０１の座標系に対して携帯機器１２０の位置同定を行うための一連のルーチンを示したものである。携帯機器１２０が、立体ディスプレイ１０１からある距離に入り、情報処理機器１３０の無線ネットワーク部１３３との間で通信可能になった場合に、携帯機器１２０は情報処理機器１３０への接続メッセージを送る(工程601)。情報処理機器１３０は、図７に示す位置同定用のマーカーのパターン７０１と、携帯機器１２０で実行するプログラム７０２を携帯機器１２０に送信する(工程602)。工程６０２においては、ユーザの携帯機器１２０を介した入力情報を管理する工程901〜916（図９）を実行する情報処理機器１３０側のプログラムと、携帯機器１２０に送信したプログラムとの、それぞれ独立のスレッドを起動する。このスレッドの動作に関しては後述する。これらの処理によって、準備が完了する。
【００３０】
以下の工程６１０〜６３３は、携帯機器１２０、定点観測カメラ１０５〜１０６の各々、および、情報処理機器１３０が同期された内部タイマで時間的に連携しながら動作する。この各機器のプログラムには、これらの撮影処理が同期するように独立のプロセスまたはスレッドを駆動している。工程６１０、６２０、６３０は、これらのプロセス（スレッド）がそれぞれの機器で同期された時刻まで待機する処理を示す。
【００３１】
工程６１１では、携帯機器１２０が、７０２のプログラムを駆動して、位置同定用のマーカー画像７０１を、携帯機器１２０のディスプレイ部１２１に提示する。
【００３２】
工程６１２では、携帯機器１２０が付属のカメラ１２２で撮影を行う。工程６２２では、情報処理機器１３０がカメラ１０８で撮影を行う。工程６３２では、定点観測カメラ１０５〜１０６の各々が撮影を行う。なお、工程６１２、６２２、６３２の各撮影は、ほぼ同時刻に行われるように、各機器の同期は調整されている。
【００３３】
この撮影処理の後、工程６１３では、携帯機器１２０のプログラム７０２が、この時刻の携帯機器１２０の加速度センサ１２８から角度情報を読み取る。工程６１４では、携帯機器１２０は、工程６１２で撮影した画像と工程６１３で取得した角度情報を情報処理機器１３０に送信する。
【００３４】
工程６３３では、定点計測カメラ１０５〜１０６の各々が撮影した画像を情報処理機器１３０に送信する。
【００３５】
工程６１４、工程６３３に対応して、工程６２３では、情報処理機器１３０は、携帯機器１２０が提示しているマーカー７０１を撮影した定点観測カメラ１０５〜１０６の各々の画像を受信する。また、工程６１３で取得された携帯機器１２０の角度情報、および、工程６１２で取得された携帯機器１２０のカメラ１２２による画像を取得する。
【００３６】
工程６２４では、情報処理機器１３０は、定点観測カメラ１０５〜１０６の各々が撮影した画像に位置同定用のマーカーのパターン７０１が撮影されているかどうかのパターン検索処理を行う。マーカー７０１が写っている場合、幾何形状の射影行列のパラメータを計算して、定点観測カメラ１０５〜１０６の各々と携帯機器１２０との相対位置を推定する。このマーカーパターンの検索処理は、前述したとおりである。
【００３７】
また、工程６２５では、携帯機器１２０のカメラ１２２が撮影した画像に位置同定用のマーカーパターン１０２が写っているかどうかのパターン検索処理を行う。マーカーが写っている場合、幾何形状の射影行列のパラメータを計算して、携帯機器１２０と立体ディスプレイ１０１の相対位置を推定する。このマーカーパターン１０２の検索処理は、前述したとおりである。
【００３８】
工程６２７は、工程６２４で得られた相対位置と、携帯機器１２０からの角度情報と、工程６２５で得られた相対位置を合わせて、他の数値から大きく外れたはずれ値(out lier)を除去したうえで平均化を行い、最終的な相対位置を推定する。
【００３９】
工程６２８では、工程６２２で撮影されたカメラ１０８の画像から、顔画像のパターンを検索する。この顔画像を検索するために、以下の一連の処理を行うプログラムルーチンを呼び出して実行する。顔画像から肌の色に近い色相の領域を取り出す。一般的な顔画像について、顔の黒い部分と白い部分を保持したパターン（Haarパターン）をメモリから呼び出し、肌の色に近い色相の領域の近傍に対して、このHaarパターンとパターンマッチングを行う。この結果が閾値以上に類似している領域を顔画像と認識する。カメラ１０８が設置されている方向と画像領域の関係から、認識された顔画像が存在する立体角を算出して保存する。複数の顔画像が撮影された場合には、定点観測カメラ１０５〜１０６からの画像によって得られた情報処理機器１３０の位置、および立体ディスプレイ１０１からの方向に最も近い顔画像を、携帯機器１２０の利用者の顔であると判断して、その位置情報を用いる。
【００４０】
この携帯機器１２０の角度情報と位置情報を用いて、情報更新処理６２９を行う。情報更新処理６２９は、後述する図９の工程901〜916において実行される、携帯機器１２０からの情報更新スレッドのモード選択の参照変数を書き換える処理である。これらの一連の処理が終了した時点で、携帯機器１２０、定点観測カメラ、情報処理機器１３０の撮影スレッドは、次の撮影同期時刻になるまで、待機する。
【００４１】
図９は、情報更新処理（工程６２９）の一連の処理を示したフロー図である。このフロー図は、情報処理装置１３０側で行われる工程９０２〜９０５と、携帯機器１２０側で行われる工程９１１〜９１６により構成されている。これらの工程はそれぞれ独立したプロセスまたはスレッドとして連続動作を行っているが、工程６２９で更新された携帯機器１２０の角度情報に応じてモードを切り替え、工程９０３と工程９０５では現在のモードに応じて異なった処理を行う。
【００４２】
まず、モードに依存しない全体のフロー部分の説明を行う。工程９０１では、工程６２９で更新された携帯機器１２０の角度情報に応じてモードの選択を行う。立体ディスプレイ１０１の面と携帯機器１２０のディスプレイ１２１の面の方向が閾値θ以内である場合（すなわち立体ディスプレイ１０１の表示面と携帯機器１２０のディスプレイ１２１の表示面が同じ方向を向いている場合）には、モードAとする。立体ディスプレイ１０１の表示面と携帯機器１２０のディスプレイ１２１の表示面とが、垂直から閾値θ以内である場合（すなわち、立体ディスプレイ１０１の表示面が鉛直である場合、携帯機器１２０のディスプレイ１２１の面が上を向いている）には、モードBとする。またそれ以外の角度の関係である場合には、モードCとする。このように、携帯機器１２０のディスプレイ１２１の表示面と立体ディスプレイ１０１の表示面との相対的な立体角に応じてモードを定義する。
【００４３】
工程９０２は、モードに応じた、携帯機器１２０に送る画像を作成する手順である。携帯機器１２０に送る画像はモードに応じて異なり、それぞれのモードA〜Cに対応する画像作成の処理ルーチンを駆動する。この各モードの処理ルーチンの実行内容は後述する。工程９０３では工程９０２の処理ルーチンで作成された画像とモードの種別が携帯機器１２０に送られる。
【００４４】
工程９１１〜９１６は、携帯機器１２側で行われる処理である。工程９１１では工程９０３で送った画像とモードの種別の情報を受信する。工程９１２では、受信した画像を提示する。工程９１３では以前とモードの種別に変化があったかを調べ、モードの種別に変化があった場合には、工程９１４でタッチパネルに関する読み取り情報をリセットする。工程９１５ではタッチパネルへのアクセス状態を調べ、ドラッグ、タップ、ズーム（または操作が行われていなかった）のどの状態であったかを取得して、工程９１６でこのタッチ状態の情報を情報処理機器１３０に送信する。
【００４５】
情報処理機器１３０は、工程９１６で取得されたタッチ状態の情報を工程９０４で受け取って、工程９０５でその情報をもとに、立体ディスプレイ１０１に表示されている映像を更新する。工程９０５の映像情報の更新処理はより具体的には、タッチ状態（タッチパネルの操作）をモードに応じて解釈して、解釈した操作により映像情報（仮想物体の状態）を更新することである。この画像（映像情報）もモードに応じて異なり、それぞれのモードA〜Cに対応する処理ルーチンで駆動する。この各処理ルーチンの内容は後述する。一連の操作が終了すると、再び工程９０１に戻り、画面の送信と携帯機器１２０のタッチパネルの情報取得を行う。
【００４６】
工程９０２と、工程９０５は、モードの種別によって、携帯機器１２０からの入力情報の解釈を変えるルーチンである。このモードには前述のようにＡ〜Ｃの三種類がある。モードAは、立体ディスプレイ１０１と携帯機器１２０のディスプレイ１２１が同じ方向を向いている場合であるので、ある角度方向にレンダリングされた像がディスプレイ面に射影された位置に合わせて物体を選択するモードである。また、モードBは、ディスプレイ１２１の面が上を向いている場合であるので、コンテンツ空間内で水平面（X−Z平面）における位置を用いて物体を選択するモードである。また、モードCは、立体ディスプレイ１０１の表示面と携帯機器１２０のディスプレイ面１２１がなす立体角度を用い、携帯機器１２０のディスプレイ１２１の表面と平行な面をコンテンツ空間に提示して、この面上での移動、回転、ズーム処理を行うモードである。すなわち、モードに応じて移動、回転、ズーム処理などの操作の対象平面が異なる。
【００４７】
これらのモードの切り替えに当たっては、コンテンツの空間上の一つの三次元点を各モードで共有し、この点を中心とした座標を再定義する。
【００４８】
モードAの場合に工程９０２と工程９０５で行われる操作内容の概略を説明する。携帯ディスプレイ１２１の位置が立体ディスプレイ１０１と平行に置かれている場合、モードAでの選択処理が行われる。このモードAでは、携帯機器１２０のディスプレイ面１２１と立体ディスプレイ１０１のディスプレイ面を１対１対応させて、携帯機器１２０または立体ディスプレイ１０１のディスプレイ表面に写っている物体を指示する。図８は、モードAにおける三次元カーソルの移動とそれに対応する仮想物体の指定を示す図である。図１０に、モードAにおいて、立体ディスプレイ１０１のディスプレイ表示１００１に対応した携帯機器１２０に表示される操作画面１００２の模式図を示す。
【００４９】
工程９１５の操作時には、工程６２７で求められた立体ディスプレイ１０１に対する携帯機器１２０のディスプレイ１２１の物理空間上の相対的な位置と最も近い方向５１１に向けて提示されている画像が、携帯機器１２０のディスプレイ１２１に提示されている。ユーザは、タッチパネルの位置５４０を選択する際には、立体ディスプレイ１０１上に対応付けられた位置５５０を選択する意図で操作している。
【００５０】
この際、立体ディスプレイ１０１上に提示されるカーソルの射影像５５０からカーソル５００の奥行を含めた位置を求めるために、携帯機器１２０の位置である視点位置８０３付近の、立体ディスプレイ１０１の視点位置５１１からディスプレイ表面上カーソル５５０を通った視線方向 (Ray) をたどって仮想物体と衝突した位置を算出する。こうして求められたカーソル位置５００を図８に示す。視点位置５１１から見て立体ディスプレイ１０１上のカーソルの射影像５５０を連続的に動かした場合でも、５１２、５１３のような他の位置から見た画像においては、必ずしもカーソル５００の射影像５５０がディスプレイ平面１０１上で連続に移動するとは限らない。
【００５１】
工程９０２A（モードＡのときの工程９０２、以下同様に表記する。）において、情報処理機器１３０は、携帯機器１２０の方向に向けて立体ディスプレイ１０１に提示されている画像（図８の状況では視点５１１でレンダリングされた画像）の縮小コピーを携帯機器１２０に送る。工程９１２において、携帯機器１２０は送られてきた画像を、保有するディスプレイ１２１面に提示しているため、工程９１５において、ユーザはこの画面表面に対してのタッチ操作を行っていると解釈する。
【００５２】
工程９０５Aでは、モードAの条件のもとで、ユーザのタッチパネルへの操作を、立体映像のコンテンツに反映する。ドラッグ処理が行われていた場合には、ドラッグ操作の最終位置対応した、立体ディスプレイ１０１の位置にカーソル５００を表示する。このとき、同カーソルから視線方向(Ray)をたどって衝突した物体の色などを変化させて、その奥行の位置にカーソル５００を提示すると同時に、選択候補であるオブジェクト５６０の色などの表示態様を変えて提示する。タップの処理が行われた場合には、現在のカーソルの位置から選択されているオブジェクト５６０を選択し、三次元カーソル５００の座標をオブジェクト５６０の中心位置に設定する。また、すでに選択されたオブジェクトがあり、ドラッグ操作が行われていた場合には、選択されているオブジェクトをドラッグ操作の移動距離に相当する分だけX−Y平面状で移動させる。
【００５３】
次にモードBの場合に工程９０２と工程９０５で行われる操作内容の概略を説明する。携帯機器１２０のディスプレイ１２１の面の向きが、地面に水平に（重力方向に対して垂直に）置かれている場合、携帯機器１２０のディスプレイ面１２１と立体ディスプレイ１０１の内部のコンテンツ空間における水平位置（X−Z平面）を一対一対応させて、物体の指定を行う。
【００５４】
図１１は、モードBにおける三次元カーソルの移動とそれに基づく仮想物体の指定を示す図である。工程９０２Bにおいて、情報処理機器１３０は、携帯機器１２０に画像１１０２を表示するために、コンテンツ空間のX−Z平面の位置情報を上方から描画１１０１した時の画像１１０２を作成する。この画像は、現在の三次元カーソル５００の位置を中心とし、携帯機器１２０のY軸周りの回転角度に合わせて回転させて得られた画像である。また、携帯機器１２０のディスプレイ１２１のY軸周りの回転角度に合わせて仮想空間上にグリッド１１０１を引く。このコンテンツ空間のX−Z平面上にひかれたグリッドと携帯機器１２０のディスプレイ１２１上に提示されたX−Y平面の画像は互いに一対一の関係をなすため、工程９１２において、ユーザはこのX−Z平面に対してのタッチ操作を行っていると解釈する。
【００５５】
工程９０５Bでは、モードBの条件のもとで、ユーザのタッチパネルへの操作を、立体映像のコンテンツに反映する。ズーム操作が行われた場合には、このズーム操作が示す倍率にあわせて画像のサイズとコンテンツ空間のX−Z平面上のグリッドのサイズを変化させ、同一ドラッグによって三次元カーソルを移動できる距離を変化させる。ドラッグ操作が行われた場合には、情報処理機器１３０は、携帯機器１２０のディスプレイ１２１上における移動距離に相当するXZ平面上の移動距離の分だけ三次元カーソル５００を移動させる。また、三次元カーソルに相当するX−Z平面の位置に仮想物体（オブジェクト）がある場合には、そのオブジェクトの色などの表示態様を変えることで選択候補を明示的に提示する。選択候補のオブジェクトが選ばれている状況でタップ処理が行われた場合には、選択候補のオブジェクトを選択オブジェクトに指定したと解釈して、現在のカーソルの位置から選択されているオブジェクト５６０を選択し、三次元カーソル５００の座標をオブジェクト５６０の中心位置に設定する。また、すでに選択されたオブジェクトがあり、ドラッグ操作が行われていた場合には、選択されているオブジェクトをドラッグ操作の移動距離に相当する分だけXZ平面上で移動させる。
【００５６】
次にモードCの場合に工程９０２と工程９０５で行われる操作内容の概略を図１２を用いて説明する。携帯機器１２０のディスプレイ１２１の面の向きが、モードA、モードBのどちらでもない場合には、立体ディスプレイ１０１の座標に対する、携帯機器１２０のディスプレイ１２１の面の角度（立体ディスプレイ１０１の表示面と携帯機器１２０のディスプレイ１２１の表示面の相対角度）に合わせた、コンテンツ空間上に仮想平面１２００を携帯機器１２０のディスプレイ１２１に提示し、その仮想平面１２００に対応したインタラクション操作を携帯機器１２０ののタッチパネルから行う。
【００５７】
工程９０２Cにおいて、情報処理機器１３０は、携帯機器１２０の角度と位置の情報から、コンテンツ空間上の三次元カーソル５００の座標点を通り、物理空間上の携帯機器１２０のディスプレイ１２１面と平行となる平面を定義して、この平面を射影面としてコンテンツ空間の風景を携帯機器１２０に提示するためにレンダリングする。また、立体映像のコンテンツ空間内に、平面１２００に相当する平面上にグリッド１２０１を描く。
【００５８】
工程９１２において、ユーザはこの指定されたコンテンツ空間内の平面１２００に対してのタッチ操作を行っていると解釈する。
【００５９】
工程９０５Cでは、モードCの条件のもとで、ユーザのタッチパネルへの操作を、立体映像のコンテンツに反映する。垂直方向にズーム操作が行われた場合には、このズーム操作が示す倍率にあわせて、携帯機器１２０のディスプレイ１２１に提示する画像のサイズとコンテンツ空間の平面上のグリッド１２０１のサイズを変化させて、同一ドラッグによって三次元カーソル５００を移動できる距離を変化させる。ドラッグ操作が行われた場合には、平面１２００上でこのドラッグ操作が示す移動距離に相当する移動距離の分だけ三次元カーソル５００を移動させる。また、三次元カーソル５００に相当する位置に仮想物体（オブジェクト）がある場合には、そのオブジェクトの色などの表示態様を変えることで選択候補を明示的に提示する。選択候補が選ばれている状況でタップ処理が行われた場合には、選択候補となっているオブジェクトを選択する。また、すでに選択されたオブジェクトがあり、ドラッグ操作が行われていた場合には、選択されているオブジェクトをドラッグ操作の移動距離に相当する分だけ平面１２００上で移動させる。
【００６０】
これらの一連の処理ルーチンによって、モードに合わせて、三次元ディスプレイ内のカーソル５００の移動と物体の選択、移動操作が行われる。
【００６１】
これらの一連の処理により、本実施例では、立体ディスプレイ１０１や立体印刷物に対して、ユーザが可搬することが出来るディスプレイを、動的に組み合わせて、ユーザの意図に合わせた視点位置の選択、奥行表現の制御、立体位置の指定操作を効率的に実現される。
【００６２】
特に裸眼立体ディスプレイの例など、一つの視点位置での射影行列で表現しきれない立体映像を調整して処理する場合には、視点位置、角度の選択モードの切り替えは煩雑になる。通常のモニタを用いて最大数十視点の映像のすべての構図での印象を確認しながら作業を行うことは、困難であり非能率的でもある。この調整時に直接に立体ディスプレイを用いることで結果に対する直感的な動作が可能になる。
【００６３】
また、裸眼立体ディスプレイでは、複数の映像を視聴する視点位置ごとに切り替えて表示するが、複数枚の画像のうちのどれかの映像が混合したかたちで視聴されることがある。この理由から、ディスプレイの表面から大幅に離れた距離の物体を描画しようとすると、二重像が見えたり、映像がぼけたりして、利用者に不快を与えるため、これらの裸眼立体ディスプレイでは使用可能な奥行き距離をディスプレイ面の表面近辺に限定して表示するのが一般的である。また、ディスプレイ面と映像が離れた状況下で映像が視聴困難になる傾向は、裸眼立体方式にのみ限定されているわけではなく、メガネ式立体提示の方法においても、ディスプレイ表面から映像の距離が離れると、本来の画像とのかい離が大きくなるため、映像酔いや疲労などの影響も大きくなる傾向がある。このような立体ディスプレイ特有の疲労や三次元酔いなどが生まれると長時間の作業は難しかったが、本実施例の手法を用いることで、必要な情報が手持ちのディスプレイ座標上に固定して提示されるため、このような立体酔い効果の軽減が期待できる。
【００６４】
また、単一視点の通常の映像ディスプレイのように、裸眼立体ディスプレイのディスプレイ面（二次元平面）をタッチパネルとして選択した場合には、視点の位置が異なっていると二次元平面上の指定位置に関連付けられる三次元空間内の位置が変わりうる。通常のモニタでは単一の視点を前提にして、その視点位置と平面上の点を結んだ方向を示すことで一つの直線を示すが、複数の視点方向が同時に提示される立体視ディスプレイにおいて、ディスプレイ表面に対するインタラクションを行うと、どの視点を用いて物体の指定を行っているかを明示化しない限り、指定されているオブジェクトに対する不定性が生まれるが、本実施例においては、そのような不定性を持たずに物体を直感的に指示可能になる。
【実施例２】
【００６５】
本実施例では、ある方向から見た画像の作成を行い、その画像を携帯機器１２０に送る方法を示す。
【００６６】
本実施例の各ハードウェアは、実施例１のものと同じである。
【００６７】
本実施例では、図１３に示すように、実施例１の工程９０２Cに相当する画像１３００の作成において、携帯機器１２０のディスプレイ１２１の操作画面として、撮影距離を制御するためのスクロールバー１３０１（この入力値をDとする）、撮影画角を制御するためのスクロールバー１３０２（この入力値をAとする）、最終撮影画像を取得するボタン１３０３を配置する。
【００６８】
工程９１５のタッチパネル操作において、スクロールバー１３０１が操作され値Dが変化した場合には、工程９０５Cで行われる仮想平面１２００（図１２）への射影画像作成において、仮想的な視点位置となる点を仮想平面１２００から距離Dに配置して映像の作成を行う。
【００６９】
また、工程９１５のタッチパネル操作において、スクロールバー１３０２が操作され値Aが変化した場合には、工程９０５Cで行われる仮想平面１２００への射影画像作成において、仮想的な画角を角度Aに変更して映像の作成を行う。
【００７０】
また、９１５のタッチパネル操作において、ボタン１３０３が押された場合には、距離D画角Aで仮想平面１２００に射影したコンテンツ空間の高解像度画像をレンダリングし、作成された画像をメールに添付して、携帯機器１２０にあらかじめ関連付けられたメールアドレスに送信する。
【実施例３】
【００７１】
本実施例では、用いられている立体ディスプレイ１０１と異なるパラメータの立体ディスプレイを用いた場合に各視点位置から見える映像出力（各視点位置に対応する表示内容）のシミュレーション結果を携帯機器１２０に送る方法を示す。このようなシミュレーションは、たとえば、複数の異なる視点の映像が重なって見えてしまった場合（クロストークと呼ばれる）に、映像が劣化して見える度合いを判断するために用いることが出来る。
【００７２】
図１４を用いて説明する。ハードウェアは、実施例１と立体ディスプレイ１４００を異にし、その立体ディスプレイ１４００が５個の仮想視点１４０１〜１４０５を持っているものとする。
【００７３】
本実施例では、実施例１の工程９０２Cに相当する画像の作成において、各視点位置１４０１〜１４０５を中心とした５種類の射影像を、仮想平面１２００(図１２)上に投影して高解像度画像を作成し、それらの重畳映像を作り、実施例２の方法で携帯機器１２０に関連付けられたメールアドレスに送付する。利用者は送付された画像を見ることによって、位置５００にある物体５６０が、どの程度の立体像のクロストークを生むかを推定することができる。
【実施例４】
【００７４】
図１５に、本実施例を実現するために必要なハードウェア構成を示す。携帯機器１５００以外は、実施例１と同様である。携帯機器１５００は、裸眼立体映像を提示できるディスプレイを保有する。携帯機器１５００の構成を図１６に示す。ディスプレイ１５０１が、レンチキュラレンズ、パララックスバリアなどの立体視ディスプレイであること以外は、実施例１における携帯機器１２０と同様である。
【００７５】
本実施例の動作工程の大部分は、実施例１と同じ工程である。ただし、定点観測カメラ１０５〜１０６の各々から撮影されるマーカー７０１の携帯機器１５００のディスプレイ１５０１への表示において、ディスプレイ平面上に観測されるように描画することと、各モードにおける携帯機器１５００への立体空間の表示において、立体空間の構成を反映するための凹凸情報を伴った立体画像が作成されて、送信される。
【００７６】
図１７は、実施例１におけるモードＡ（図１０）に対応した画像である。図１８は、図１７の画像の仮想物体とディスプレイ１５０１表面の関係を示す模式図である。視点位置１８０１は、工程６２８で得られた利用者の顔の視点位置である。ここで、三次元マーカー１７４０と、三次元仮想物体１７６０のような各物体のレンダリング処理は、以下のように行う。立体視ディスプレイ１５０１の提示可能な映像のうち、中心に近いある一つの方向に提示する映像を代表視点とする。この代表視点映像の作成を、視点位置１８０１を中心として携帯機器１５００の立体視ディスプレイ１５０１の表面１７４０に相当する仮想空間の平面に向けて投影する射影行列によって行う。他の映像については、この代表視点を基準として立体ディスプレイ各視点の相対的な視点位置を算出する。
【００７７】
図１９は、実施例１におけるモードC（図１２）に対応した、操作対象平面を仮想空間上に配置する模式図である。実施例１と同様の各工程によって、実施例１の平面１２００（図１２）に相当する平面１９００が立体ディスプレイ１０１に提示される。携帯機器１５００の立体視ディスプレイ１５０１面に画像１９０２が描画される。この例においては、立体ディスプレイ１０１上には三次元カーソルの像１９４１と仮想物体の像１９６１が、携帯端末の立体視ディスプレイ１５０１上には、三次元カーソルの像１９４０と仮想物体の像１９６０が、それぞれ描画されている。この描画の際の奥行位置の関係を示した上面図が図２０である。立体視ディスプレイ１５０１上に描画された立体像１９６０と三次元カーソルの像１９４０は、仮想平面１９００と立体像１９６１と三次元カーソルの像１９４１の相対位置に等しく配置される。このような表現の実現のために、三次元カーソルの像１９４０から見た視点位置１８０１と相対的に等価な位置に仮想視点位置２００１を配置する。すなわち、携帯機器１５００の立体視ディスプレイ１５０１の中心から視点位置１８０１への立体角度と、仮想端末中心から仮想視点位置２００１への立体角度が等しく、視点位置１８０１から携帯機器１５００のディスプレイ１５０１面までの距離と視点位置２００１から仮想平面１９００までの距離の比率が、携帯機器１５００のディスプレイサイズと仮想平面のサイズ（正確にはその上に引かれたグリッドの四角形１９０１）の比率が同じ位置になるような視点位置である。このとき、立体視ディスプレイ１５０１の提示可能な映像のうち、中心に近いある一つの方向に提示する映像を代表視点とし、この代表視点映像の作成を、視点位置２００１を中心として仮想平面１９００に相当する仮想空間の平面に向けて投影する射影行列によって行う。他の映像については、この代表視点を基準として立体ディスプレイ各視点の相対的な視点位置を算出する。
【００７８】
このような描画を、立体視ディスプレイ１５０１を備えた携帯機器１５００を用いて行うことで、モードAの場合には立体視ディスプレイ１５０１が置かれている物理的な空間を基準に立体像が提示され、モードCの場合にはカーソル１９４０が置かれている仮想的な点１９４１を基準にして、携帯機器１５００の角度に応じた立体像が提示されるようになる。モードＡでは、仮想物体の近くにディスプレイ面を自由に配置することが出来るため、細部が視認可能になり、映像酔いの効果も減少できる。またモードＣでは、三次元カーソルの固定によって物体の位置を固定して安定した市長ができる一方で、角度を直感的に変化させることも達成できる。
【実施例５】
【００７９】
本実施例は、ディスプレイ１０１に立体ディスプレイを用いずに立体印刷物を用いる方法について述べる。
【００８０】
この場合のハードウェア構成例を図２１に示す。。２１０１は立体印刷物を貼り付けた器具であり２１１１〜２１１３にそれぞれ異なる映像を投影する。携帯端末２１２０とその立体角度を取得するために定点観測カメラ２１０５〜２１０６の行う一連の動作については、先の実施例の記述に準じる。この映像に対し携帯機器２１２０で仮想平面の位置を指定して画像を作成するが、工程９０３での立体ディスプレイの画像の描画処理は行わず、携帯機器２１２０への画像描画と映像送信のみを行う。
【００８１】
これにより、立体印刷物に対して、現在は表示されていない方向からの映像を取得して画像として得ることが出来るようになる。
【００８２】
説明した実施形態によれば、ユーザは、立体の直感的な理解を保持したままで、携帯機器から立体ディスプレイに表示された画像を操作できる。また、立体ディスプレイ上の細かい物体や文字などを長時間視聴することによる映像酔いや眼精疲労を軽減する効果と同時に、直観的な動作によって立体的な関係を指定するインタフェースを実現できる。
【符号の説明】
【００８３】
１０１：立体ディスプレイ、１０２：立体ディスプレイと関連付けられたマーカー、１０８：カメラ、１１１〜１１２：立体ディスプレイが独立に映像を示すことができる方向、１２０：携帯機器、１２１：携帯機器のタッチパネルつきディスプレイ、１２２：携帯機器１２０のカメラ、１２３：無線ネットワークアクセス部、１３０：情報処理機器、１３１：メモリ、１３２：演算装置、１３３：無線ネットワーク部。
【特許請求の範囲】
【請求項１】
ユーザによる操作を受け付けるタッチパネルを有するディスプレイ部および受け付けた前記操作を無線ネットワークを介して送信する無線ネットワークアクセス部を含む携帯機器と、視点位置に対応して、仮想物体を含む立体画像を表示する立体ディスプレイ部と、前記携帯機器と前記無線ネットワークを介して接続し、前記携帯機器の前記ディスプレイ部の表示面と前記立体ディスプレイ部の表示面との相対的になす立体角に応じたモードに対応して、前記携帯機器から受信した前記操作を解釈して、解釈した結果に応じて、前記立体ディスプレイ部に表示した前記仮想物体の状態を更新する情報処理機器とを備えたことを特徴とする立体画像の表示システム。
【請求項２】
請求項１記載の立体画像の表示システムにおいて、前記情報処理機器は、前記携帯機器の前記タッチパネルからの前記操作を受け付ける、前記立体画像内の操作対象の平面を、前記携帯機器の前記ディスプレイ部の表示面と前記立体ディスプレイの表示面との相対的になす立体角に応じた仮想平面として、前記仮想平面上のグリッドと共に前記立体ディスプレイに表示することを特徴とする立体画像の表示システム。
【請求項３】
請求項２記載の立体画像の表示システムにおいて、前記情報処理機器は、前記仮想物体の位置を明示させた前記仮想平面を前記携帯機器の前記ディスプレイ部に表示することを特徴とする立体画像の表示システム。
【請求項４】
請求項１記載の立体画像の表示システムにおいて、前記情報処理機器は、前記立体ディスプレイから前記携帯機器への方向を前記視点位置として含み、前記仮想物体を含む前記立体画像を前記立体ディスプレイ部に表示することを特徴とする立体画像の表示システム。
【請求項５】
請求項１記載の立体画像の表示システムにおいて、前記携帯機器の前記ディスプレイ部が、前記立体ディスプレイ部とは異なる種別の立体視ディスプレイである場合、前記情報処理機器は、前記仮想物体を含む前記立体画像が、前記視点位置に対応して前記立体視ディスプレイに表示される内容をシミュレーションし、該シミュレーションの結果を前記携帯機器の前記ディスプレイ部に表示することを特徴とする立体画像の表示システム。
【請求項６】
携帯機器と、視点位置に対応して、仮想物体を含む立体画像を表示する立体ディスプレイ部と、前記携帯機器と前記無線ネットワークを介して接続する情報処理機器とを備えたシステムによる立体画像の表示方法であって、
前記携帯機器は、該携帯機器が有するディスプレイ部に含むタッチパネルから、ユーザによる操作を受け付け、受け付けた前記操作を無線ネットワークを介して前記情報処理機器へ送信し、
前記情報処理機器は、前記携帯機器の前記ディスプレイ部の表示面と前記立体ディスプレイ部の表示面との相対的になす立体角に応じたモードに対応して、前記携帯機器から受信した前記操作を解釈し、解釈した結果に応じて、前記立体ディスプレイ部に表示した前記仮想物体の状態を更新することを特徴とする立体画像の表示方法。
【請求項７】
請求項６記載の立体画像の表示方法において、前記情報処理機器は、前記携帯機器の前記タッチパネルからの前記操作を受け付ける、前記立体画像内の操作対象の平面を、前記携帯機器の前記ディスプレイ部の表示面と前記立体ディスプレイの表示面との相対的になす立体角に応じた仮想平面として、前記仮想平面上のグリッドと共に前記立体ディスプレイに表示することを特徴とする立体画像の表示方法。
【請求項８】
請求項７記載の立体画像の表示方法において、前記情報処理機器は、前記仮想物体の位置を明示させた前記仮想平面を前記携帯機器の前記ディスプレイ部に表示することを特徴とする立体画像の表示方法。
【請求項９】
請求項６記載の立体画像の表示方法において、前記情報処理機器は、前記立体ディスプレイから前記携帯機器への方向を前記視点位置として含み、前記仮想物体を含む前記立体画像を前記立体ディスプレイ部に表示することを特徴とする立体画像の表示方法。
【請求項１０】
請求項６記載の立体画像の表示方法において、前記携帯機器の前記ディスプレイ部が、前記立体ディスプレイ部とは異なる種別の立体視ディスプレイである場合、前記情報処理機器は、前記仮想物体を含む前記立体画像が、前記視点位置に対応して前記立体視ディスプレイに表示される内容をシミュレーションし、該シミュレーションの結果を前記携帯機器の前記ディスプレイ部に表示することを特徴とする立体画像の表示方法。
【請求項１】
ユーザによる操作を受け付けるタッチパネルを有するディスプレイ部および受け付けた前記操作を無線ネットワークを介して送信する無線ネットワークアクセス部を含む携帯機器と、視点位置に対応して、仮想物体を含む立体画像を表示する立体ディスプレイ部と、前記携帯機器と前記無線ネットワークを介して接続し、前記携帯機器の前記ディスプレイ部の表示面と前記立体ディスプレイ部の表示面との相対的になす立体角に応じたモードに対応して、前記携帯機器から受信した前記操作を解釈して、解釈した結果に応じて、前記立体ディスプレイ部に表示した前記仮想物体の状態を更新する情報処理機器とを備えたことを特徴とする立体画像の表示システム。
【請求項２】
請求項１記載の立体画像の表示システムにおいて、前記情報処理機器は、前記携帯機器の前記タッチパネルからの前記操作を受け付ける、前記立体画像内の操作対象の平面を、前記携帯機器の前記ディスプレイ部の表示面と前記立体ディスプレイの表示面との相対的になす立体角に応じた仮想平面として、前記仮想平面上のグリッドと共に前記立体ディスプレイに表示することを特徴とする立体画像の表示システム。
【請求項３】
請求項２記載の立体画像の表示システムにおいて、前記情報処理機器は、前記仮想物体の位置を明示させた前記仮想平面を前記携帯機器の前記ディスプレイ部に表示することを特徴とする立体画像の表示システム。
【請求項４】
請求項１記載の立体画像の表示システムにおいて、前記情報処理機器は、前記立体ディスプレイから前記携帯機器への方向を前記視点位置として含み、前記仮想物体を含む前記立体画像を前記立体ディスプレイ部に表示することを特徴とする立体画像の表示システム。
【請求項５】
請求項１記載の立体画像の表示システムにおいて、前記携帯機器の前記ディスプレイ部が、前記立体ディスプレイ部とは異なる種別の立体視ディスプレイである場合、前記情報処理機器は、前記仮想物体を含む前記立体画像が、前記視点位置に対応して前記立体視ディスプレイに表示される内容をシミュレーションし、該シミュレーションの結果を前記携帯機器の前記ディスプレイ部に表示することを特徴とする立体画像の表示システム。
【請求項６】
携帯機器と、視点位置に対応して、仮想物体を含む立体画像を表示する立体ディスプレイ部と、前記携帯機器と前記無線ネットワークを介して接続する情報処理機器とを備えたシステムによる立体画像の表示方法であって、
前記携帯機器は、該携帯機器が有するディスプレイ部に含むタッチパネルから、ユーザによる操作を受け付け、受け付けた前記操作を無線ネットワークを介して前記情報処理機器へ送信し、
前記情報処理機器は、前記携帯機器の前記ディスプレイ部の表示面と前記立体ディスプレイ部の表示面との相対的になす立体角に応じたモードに対応して、前記携帯機器から受信した前記操作を解釈し、解釈した結果に応じて、前記立体ディスプレイ部に表示した前記仮想物体の状態を更新することを特徴とする立体画像の表示方法。
【請求項７】
請求項６記載の立体画像の表示方法において、前記情報処理機器は、前記携帯機器の前記タッチパネルからの前記操作を受け付ける、前記立体画像内の操作対象の平面を、前記携帯機器の前記ディスプレイ部の表示面と前記立体ディスプレイの表示面との相対的になす立体角に応じた仮想平面として、前記仮想平面上のグリッドと共に前記立体ディスプレイに表示することを特徴とする立体画像の表示方法。
【請求項８】
請求項７記載の立体画像の表示方法において、前記情報処理機器は、前記仮想物体の位置を明示させた前記仮想平面を前記携帯機器の前記ディスプレイ部に表示することを特徴とする立体画像の表示方法。
【請求項９】
請求項６記載の立体画像の表示方法において、前記情報処理機器は、前記立体ディスプレイから前記携帯機器への方向を前記視点位置として含み、前記仮想物体を含む前記立体画像を前記立体ディスプレイ部に表示することを特徴とする立体画像の表示方法。
【請求項１０】
請求項６記載の立体画像の表示方法において、前記携帯機器の前記ディスプレイ部が、前記立体ディスプレイ部とは異なる種別の立体視ディスプレイである場合、前記情報処理機器は、前記仮想物体を含む前記立体画像が、前記視点位置に対応して前記立体視ディスプレイに表示される内容をシミュレーションし、該シミュレーションの結果を前記携帯機器の前記ディスプレイ部に表示することを特徴とする立体画像の表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−７９２１１（Ｐ２０１２−７９２１１Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２５６４３（Ｐ２０１０−２２５６４３）
【出願日】平成２２年１０月５日（２０１０．１０．５）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成２２年度 独立行政法人情報通信研究機構「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」委託研究、産業技術力強化法第１９条の適用を受ける特許出願）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月５日（２０１０．１０．５）
【国等の委託研究の成果に係る記載事項】（出願人による申告）国等の委託研究の成果に係る特許出願（平成２２年度 独立行政法人情報通信研究機構「革新的な三次元映像技術による超臨場感コミュニケーション技術の研究開発」委託研究、産業技術力強化法第１９条の適用を受ける特許出願）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]