ＣＧ提示装置、その方法及びそのプログラム、並びに、ＣＧ表示システム
【課題】 三次元情報の形状となるコンピュータグラフィックスに対して、鑑賞者が見たい任意の方向から見た画像を表示装置に提示することが可能なＣＧ提示装置を提供する。
【解決手段】 ＣＧ提示装置１０は、鑑賞者の視点位置を測定する鑑賞者視点位置測定手段１２と、鑑賞対象物の形状を模したレプリカの位置を測定するレプリカ位置測定手段１３ａと、レプリカの向きを測定するレプリカ姿勢測定手段１３ｂと、測定されたレプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、表示装置３０に提示する鑑賞対象物のＣＧの領域を算出するＣＧ領域算出手段１４ａと、ＣＧ領域算出手段１４ａで算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段１１に記憶されているＣＧデータから、ＣＧ画像を生成し表示装置３０に出力するＣＧ画像生成手段１４ｂとを備えていることを特徴とする。
【解決手段】 ＣＧ提示装置１０は、鑑賞者の視点位置を測定する鑑賞者視点位置測定手段１２と、鑑賞対象物の形状を模したレプリカの位置を測定するレプリカ位置測定手段１３ａと、レプリカの向きを測定するレプリカ姿勢測定手段１３ｂと、測定されたレプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、表示装置３０に提示する鑑賞対象物のＣＧの領域を算出するＣＧ領域算出手段１４ａと、ＣＧ領域算出手段１４ａで算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段１１に記憶されているＣＧデータから、ＣＧ画像を生成し表示装置３０に出力するＣＧ画像生成手段１４ｂとを備えていることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータグラフィックス（以下ＣＧと略す）データとして作成された鑑賞対象物の形状を模したレプリカ（模型、人形）の動きに合わせて、前記鑑賞対象物のＣＧ画像を表示装置に提示するＣＧ提示装置、その方法及びそのプログラム、並びに、ＣＧ表示システムに関する。
【背景技術】
【０００２】
従来、コンピュータが処理するデジタルイメージ、テキストデータ等の情報を、博物館、図書館等で一般の鑑賞者に視覚化して提示（展示）する場合、鑑賞者は、マウス、キーボード、ジョイスティック、タッチパネル等のコンピュータ用デバイスを操作して、その視覚化された情報を鑑賞する方法が一般的である。
【０００３】
また、近年では、バーチャルリアリティ技術を利用して、鑑賞者がセンサ、ヘッドマウントディスプレイ等を装着することで、コンピュータの中に仮想的な世界を構築し、鑑賞者がその仮想現実の世界で、コンピュータと対話（インタラクション）が可能となる装置（仮想現実システム）によって、視覚化された情報を鑑賞するという方法もある。
【０００４】
しかし、コンピュータ用デバイスを操作して情報を鑑賞するためには、鑑賞者は、そのコンピュータ用デバイスの操作方法を予め知識として知っておく必要がある。また、その操作方法を知らない鑑賞者は、情報を鑑賞することができない。
また、バーチャルリアリティ技術を利用した情報の鑑賞では、鑑賞者がセンサ、ヘッドマウントディスプレイ等を装着しなければならず、正しく装着を行うための補助員が必要となったり、眼鏡をかけている鑑賞者の視野が狭くなったり等の問題がある。さらに、鑑賞者にとって、容易に、あるいは、気軽に情報の閲覧をできないという問題がある。
【０００５】
そこで、最近では、虫眼鏡型のインターフェース機器（バーチャルスコープ）によって、情報（画像）を提示する展示システムが提案されている（例えば、特許文献１、非特許文献１参照）。
このバーチャルスコープによる展示システムは、全体画像を示すパネルに対して、鑑賞者がバーチャルスコープをかざして動かすことで、そのバーチャルスコープの位置に対応する画像を拡大して、表示装置に提示するものである。これによって、鑑賞者の直感的、かつ、容易な操作によって、画像を拡大して提示することができる。
【特許文献１】特開２００２−１５２６２０号公報（段落００２２〜００６１、図１〜３）
【非特許文献１】深谷、三ッ峰、井上、“バーチャルスコープ”、第７回画像センシングシンポジウム講演論文集、ｐｐ．２１１−２１４、２００１
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来のバーチャルスコープによる展示システムでは、鑑賞対象となる画像が、二次元情報であることを想定しているため、基本的には、三次元情報の形状となるコンピュータグラフィックスを提示する場合、一方向から見た画像しか扱えないという問題がある。
この問題に対しては、従来のバーチャルスコープによる展示システムにおいて、全体画像を示すパネルを、三次元形状の模型とし、鑑賞者がバーチャルスコープをその模型にかざすことで、三次元情報のコンピュータグラフィックスにおいても、多方向からの画像を拡大して提示することは可能である。
【０００７】
しかし、この場合、模型の裏側（表示装置側の面）を見ようとすると、鑑賞者が模型と表示装置との間に位置することになり、鑑賞者は、バーチャルスコープの操作と表示装置における画像の鑑賞とを相反する視線方向で行わねばならず、操作性が極めて困難であるという問題がある。
また、三次元形状の模型を回転させることで、バーチャルスコープの操作と表示装置における画像の鑑賞とを同一の視線方向で行うことも可能であるが、模型を回転させる動作をジョイスティック等のデバイスによって行うことは非常に困難である。さらに、鑑賞者は、この模型の回転とバーチャルスコープの操作とを合わせて行う必要があるため、表示装置に表示された画像に集中することができないという問題がある。
【０００８】
本発明は、以上のような課題を解決するためになされたものであり、鑑賞者に対してセンサ等の装着の負担をかけることなく、さらに、バーチャルスコープを用いることなく、三次元情報の形状となるコンピュータグラフィックスに対して、鑑賞者が見たい任意の方向から見た画像を表示装置に提示することが可能なＣＧ提示装置、その方法及びそのプログラム、並びに、ＣＧ表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のＣＧ提示装置は、ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するＣＧ提示装置であって、ＣＧデータ記憶手段と、鑑賞者視点位置測定手段と、レプリカ位置測定手段と、レプリカ姿勢測定手段と、ＣＧ領域算出手段と、ＣＧ画像生成手段とを備える構成とした。
【００１０】
かかる構成によれば、ＣＧ提示装置は、鑑賞者視点位置測定手段によって、予め定められた基準位置に対する鑑賞者の視点位置を測定する。ここで、基準位置とは、三次元空間を特定するための基準となる位置であって、例えば、固定位置に設置されている表示装置の特定の位置を基準位置とする。また、鑑賞者の視点位置を測定するには、例えば、鑑賞者にヘッドマウントディスプレイや、磁気センサ等を備えた眼鏡を装着させることで、視点位置を特定したり、鑑賞者を撮影した複数の画像から、ステレオマッチング法によって視点位置を測定することとしてもよいが、鑑賞者に負担をかけないため、鑑賞者を撮影した画像から視点位置を測定する手法が好ましい。
【００１１】
また、ＣＧ提示装置は、レプリカ位置測定手段によって、基準位置に対するレプリカの位置を測定する。例えば、レプリカ位置測定手段は、超音波センサによってレプリカの位置を測定してもよいし、レプリカを撮影した複数の画像から、ステレオマッチング法によってレプリカの位置を測定することとしてもよい。
【００１２】
さらに、ＣＧ提示装置は、レプリカ姿勢測定手段によって、表示装置の表示面に対するレプリカの向きを測定する。例えば、レプリカ姿勢測定手段は、ジャイロセンサによってレプリカの向きを測定してもよいし、バーコード等のパターンを複数レプリカに貼付し、そのレプリカを撮影した画像から、パターンを検出することで、レプリカの向きを測定してもよい。
これによって、ＣＧ提示装置は、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
【００１３】
そこで、ＣＧ提示装置は、ＣＧ領域算出手段によって、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置から見たときの表示装置に提示する鑑賞対象物のＣＧの領域を算出する。
これによって、鑑賞者の視点位置から、表示装置の表示領域に対してレプリカを投影したＣＧの領域が特定されることになる。
【００１４】
そして、ＣＧ提示装置は、ＣＧ画像生成手段によって、ＣＧ領域算出手段で算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し表示装置に出力する。
これによって、鑑賞者がレプリカを見ている視線方向にある表示装置に、レプリカの向きに合わせたＣＧ画像が表示される。
【００１５】
また、請求項２に記載のＣＧ提示装置は、請求項１に記載のＣＧ提示装置において、前記ＣＧ領域算出手段が、前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐において、前記鑑賞対象物のＣＧの領域を算出することを特徴とする。
【００１６】
かかる構成によれば、ＣＧ提示装置は、ＣＧ領域算出手段によって、鑑賞者の視点位置を仮想カメラ位置と想定し、その仮想カメラが、常に表示装置の表示領域における中心を向いていることとする。これによって、鑑賞者の実際の視線方向に影響を受けることがない。そして、表示領域を含む仮想カメラの撮影画角の四隅と、仮想カメラ位置、すなわち、鑑賞者の視点位置とからなる四角錐によって、鑑賞対象物のＣＧの領域が特定されることになる。
【００１７】
また、請求項３に記載のＣＧ提示装置は、請求項１又は請求項２に記載のＣＧ提示装置において、前記鑑賞者視点位置測定手段が、立ち位置測定手段と、頭頂部検出手段と、顔検出手段と、視点高測定手段とを備える構成とした。
【００１８】
かかる構成によれば、ＣＧ提示装置は、立ち位置測定手段によって、予め定められた位置に固定した第１のカメラによって撮影された、鑑賞者の足下を撮影した足下画像と、予め撮影された足下画像に対応する背景画像との差分をとった差分画像を生成する。この差分画像は、背景画像とは異なる鑑賞者の足のみの画像となる。そこで、立ち位置測定手段は、差分画像における鑑賞者の足の所定位置、例えば先端（つま先）を鑑賞者の立ち位置とする。
【００１９】
さらに、ＣＧ提示装置は、頭頂部検出手段によって、予め定められた位置に固定した第２のカメラによって撮影された、鑑賞者を撮影した鑑賞者画像と、予め撮影された鑑賞者画像に対応する背景画像との差分画像を生成する。この差分画像は、背景画像とは異なる鑑賞者のみの画像となる。そこで、頭頂部検出手段は、鑑賞者のみの画像から、鑑賞者の頭頂部を検出する。そして、ＣＧ提示装置は、顔検出手段によって、頭頂部から所定の範囲内において、鑑賞者の顔を検出する。このように、顔を検出するための領域を狭める（限定する）ことで、演算速度を早めることができる。そして、ＣＧ提示装置は、視点高測定手段によって、顔検出手段で検出された顔の領域における重心位置から、予め定めたオフセット値により鑑賞者の目の位置を補正することで、基準位置に対する鑑賞者の目の高さを測定する。
これによって、ＣＧ提示装置は、鑑賞者の目の位置、すなわち視点位置を特定することができる。
【００２０】
さらに、請求項４に記載のＣＧ提示装置は、請求項１又は請求項２に記載のＣＧ提示装置において、立ち位置測定手段を備え、前記ＣＧ画像生成手段が、前記立ち位置測定手段で測定された鑑賞者の立ち位置に基づいて、表示内容の異なるＣＧ画像を生成することを特徴とする。
【００２１】
かかる構成によれば、ＣＧ提示装置は、立ち位置測定手段によって、予め定められた位置に固定した第１のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する。これによって、ＣＧ提示装置は、鑑賞者が表示装置に対して前後又は左右に移動し、立ち位置を変えた場合であっても、その立ち位置を逐次測定することができる。
【００２２】
そして、ＣＧ提示装置は、ＣＧ画像生成手段によって、立ち位置測定手段で測定された鑑賞者の立ち位置が、予め定めた領域に移動する毎に表示内容の異なるＣＧ画像を生成する。例えば、ＣＧ画像生成手段は、鑑賞者の立ち位置によって、同一の鑑賞対象物のＣＧ画像において、色を変えたり、透明度を変えたり、鑑賞対象物に対する照明方向を変えたり等、種々の表示モードの切り替えを行う。
【００２３】
また、請求項５に記載のＣＧ提示装置は、請求項１乃至請求項４のいずれか一項に記載のＣＧ提示装置において、前記ＣＧ領域算出手段が、前記鑑賞者視点位置測定手段で測定された視点位置、又は、前記レプリカ位置測定手段で測定されたレプリカの位置に、予め定めた方向のオフセットを付加して、前記鑑賞対象物のＣＧの領域を算出することを特徴とする。
【００２４】
かかる構成によれば、ＣＧ提示装置は、ＣＧ領域算出手段において、鑑賞者視点位置測定手段で測定された視点位置、又は、レプリカ位置測定手段で測定されたレプリカの位置に、予め定めた方向に、予め定めた量（オフセット）を付加して、新たな視点位置又は新たなレプリカの位置とする。このため、ＣＧ領域算出手段において算出された鑑賞対象物のＣＧの領域は、オフセットが付加された方向にずれることになる。これによって、表示されたＣＧ画像は、鑑賞者がレプリカを見ている視線の延長線上よりも、例えば、上方向にずれて表示される。このため、鑑賞者が見るレプリカとＣＧ画像とが完全に重なった状態とはならず、鑑賞者がレプリカを見ている状態であっても、ＣＧ画像を視認することができる。
【００２５】
なお、このオフセットを付加しない場合であっても、鑑賞者の両眼の視差によって、ＣＧ画像を視認することは可能であるが、より鮮明にＣＧ画像を視認するためには、このように、レプリカの位置にオフセットを付加する方が好ましい。
【００２６】
さらに、請求項６に記載のＣＧ提示方法は、ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するＣＧ提示方法であって、測定ステップと、ＣＧ領域算出ステップと、ＣＧ画像生成ステップとを含んでいることを特徴とする。
【００２７】
かかる手順によれば、ＣＧ提示方法は、測定ステップで、予め定められた基準位置に対する鑑賞者の視点位置、レプリカの位置及び向きを測定する。
これによって、ＣＧ提示方法は、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
【００２８】
そして、ＣＧ提示方法は、ＣＧ領域算出ステップで、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置から見たときの表示装置に提示する鑑賞対象物のＣＧの領域を算出する。
これによって、鑑賞者の視点位置から、表示装置の表示領域に対してレプリカを投影したＣＧの領域が特定されることになる。
【００２９】
そして、ＣＧ提示方法は、ＣＧ画像生成ステップで、ＣＧ領域算出手段で算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し表示装置に出力する。
これによって、鑑賞者がレプリカを見ている視線方向にある表示装置に、レプリカの向きに合わせたＣＧ画像が表示される。
【００３０】
また、請求項７に記載のＣＧ提示プログラムは、ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するために、コンピュータを、鑑賞者視点位置測定手段、レプリカ位置測定手段、レプリカ姿勢測定手段、ＣＧ領域算出手段、ＣＧ画像生成手段、として機能させることを特徴とする。
【００３１】
かかる構成によれば、ＣＧ提示プログラムは、鑑賞者視点位置測定手段によって、予め定められた基準位置に対する鑑賞者の視点位置を測定する。また、ＣＧ提示プログラムは、レプリカ位置測定手段によって、基準位置に対するレプリカの位置を測定する。
さらに、ＣＧ提示プログラムは、レプリカ姿勢測定手段によって、表示装置の表示面に対するレプリカの向きを測定する。
これによって、ＣＧ提示プログラムは、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
【００３２】
そこで、ＣＧ提示プログラムは、ＣＧ領域算出手段によって、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置から見たときの表示装置に提示する鑑賞対象物のＣＧの領域を算出する。
これによって、鑑賞者の視点位置から、表示装置の表示領域に対してレプリカを投影したＣＧの領域が特定されることになる。
【００３３】
そして、ＣＧ提示プログラムは、ＣＧ画像生成手段によって、ＣＧ領域算出手段で算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し表示装置に出力する。
これによって、鑑賞者がレプリカを見ている視線方向にある表示装置に、レプリカの向きに合わせたＣＧ画像が表示される。
【００３４】
さらに、請求項８に記載のＣＧ表示システムは、ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するＣＧ表示システムであって、ＣＧデータ記憶手段と、レプリカと、超音波発信器と、カメラと、鑑賞者視点位置測定手段と、レプリカ位置測定手段と、レプリカ姿勢測定手段と、ＣＧ領域算出手段と、ＣＧ画像生成手段と、表示手段とを備える構成とした。
【００３５】
かかる構成によれば、ＣＧ表示システムは、鑑賞者視点位置測定手段によって、カメラが撮影した鑑賞者の画像から、予め定められた基準位置に対する鑑賞者の視点位置を測定する。
【００３６】
そして、ＣＧ表示システムは、レプリカ位置測定手段によって、基準位置に対するレプリカの位置を測定する。すなわち、レプリカの周囲に配置された複数の超音波発信器が発信する超音波を、レプリカに備え付けられている超音波受信器で受信し、その複数の超音波の位相差を検出することで、レプリカ位置測定手段は、三次元空間におけるレプリカの位置を測定する。
【００３７】
さらに、ＣＧ表示システムは、レプリカ姿勢測定手段によって、表示装置の表示面に対するレプリカの向きを測定する。すなわち、レプリカ姿勢測定手段は、レプリカに備え付けられているジャイロセンサで検出されたロール、ピッチ、ヨー等の姿勢情報に基づいて、表示装置の表示面に対するレプリカの向きを測定する。
これによって、ＣＧ表示システムは、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
【００３８】
そして、ＣＧ表示システムは、ＣＧ領域算出手段によって、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置から見たときの表示装置に提示する鑑賞対象物のＣＧの領域を算出する。
そして、ＣＧ表示システムは、ＣＧ画像生成手段によって、ＣＧ領域算出手段で算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し、表示装置が、そのＣＧ画像を表示する。
【発明の効果】
【００３９】
請求項１、請求項６、請求項７又は請求項８に記載の発明によれば、鑑賞者に対してセンサ等の装着の負担をかけることなく、レプリカの向きを変えるだけで、そのレプリカと同じ向きの三次元情報のＣＧを、鑑賞者が見たい任意の方向から見た画像として、表示装置に提示することができる。また、鑑賞者にとっては、レプリカの向きを変えるという簡単な操作で、鑑賞者がそのレプリカを見た形状に相当するＣＧ画像を、表示装置で視認することができるため、直感的な操作でＣＧ画像を動かして鑑賞することができる。
また、本発明によれば、鑑賞者がレプリカを見た視線の延長線上に、ＣＧ画像が提示されるため、鑑賞者は自然な目線のままＣＧ画像を鑑賞することができる。
【００４０】
請求項２に記載の発明によれば、鑑賞者がレプリカを見た形状に対応するＣＧ画像を表示装置に提示することができる。また、表示装置を見ている視聴者の視線方向が、常に表示領域の中央を向いていることとしているので、鑑賞者の実際の視線方向に関わらず、ＣＧ画像の動きを安定した状態で提示することができる。
【００４１】
請求項３に記載の発明によれば、鑑賞者の目の位置（視点位置）を測定する際に、カメラで撮影された画像から直接目を検出するのではなく、背景差分法によって、顔を検出するための領域を限定し、その領域内で顔を検出し、目の位置を特定するため、顔を検出するための演算量が少なくなり、高速に鑑賞者の視点位置を測定することができる。
【００４２】
請求項４に記載の発明によれば、鑑賞者の立ち位置によって、表示内容の異なるＣＧ画像を生成することができるので、簡単に表示モードの切り替えを行うことができる。また、同一の鑑賞対象物であっても、鑑賞者の立ち位置によって、種々の表示モードでＣＧ画像を提示することができるため、鑑賞者に対して、より多くの情報を提示することができる。
【００４３】
請求項５に記載の発明によれば、鑑賞者がレプリカを見ている視線の延長線上に対して、ずれた位置にＣＧ画像が提示されるため、鑑賞者が見るレプリカとＣＧ画像との重なりが少なくなるため、ＣＧ画像がより見やすくなる。
【発明を実施するための最良の形態】
【００４４】
以下、本発明の実施の形態について図面を参照して説明する。
［ＣＧ表示システムの構成］
まず、図１を参照して、博物館等で用いるＣＧ表示システムの構成について説明する。図１は、本発明に係るＣＧ表示システムの全体構成を示す模式図である。ＣＧ表示システム１は、鑑賞者Ｍが、手に持ったレプリカ２０を動かすことで、鑑賞者Ｍが見たレプリカ２０の形状に相当するＣＧ画像を、表示装置３０に提示するものである。ここでは、ＣＧ表示システム１は、ＣＧ提示装置１０と、レプリカ２０と、表示装置３０と、超音波発信器４０と、カメラ５０とを備えている。
【００４５】
ＣＧ提示装置１０は、レプリカ２０の位置及び向きを測定するとともに、鑑賞者Ｍの視点位置を測定し、その視点位置から見たレプリカ２０の実像に対応する、レプリカ２０のＣＧ画像を表示装置３０に提示するものである。なお、このＣＧ提示装置１０の構成については後で詳細に説明する。
【００４６】
レプリカ２０は、ＣＧデータとして作成された鑑賞の対象となる物（鑑賞対象物）の形状を模した模型である。ここでは、レプリカ２０は、超音波受信器２１と、ジャイロセンサ２２とを備えている。
【００４７】
超音波受信器２１は、複数の超音波発信器４０から発信される超音波の周波数の位相差、到達タイミングのずれを検出するものである。この超音波受信器２１で検出された周波数の位相差等は、ケーブル（図示せず）等を介してＣＧ提示装置１０に送信される。これによって、ＣＧ提示装置１０では、仮想の三次元空間上におけるレプリカ２０の位置を測定することができる。
【００４８】
ジャイロセンサ２２は、レプリカ２０の向きを検出するものである。このジャイロセンサ２２には、例えば、３軸ジャイロセンサを用い、ロール、ピッチ及びヨーの３軸の傾きを検出する。このジャイロセンサ２２で検出された向き（例えば、ロール、ピッチ及びヨー）は、ケーブル（図示せず）等を介してＣＧ提示装置１０に送信される。これによって、ＣＧ提示装置１０では、仮想の三次元空間上におけるレプリカ２０の姿勢を検出することができる。
【００４９】
表示装置３０は、ＣＧ画像を表示するための一般的な表示装置であって、例えば、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）等である。
【００５０】
超音波発信器４０は、超音波を発信するものである。なお、超音波発信器４０は、表示装置３０の周り、鑑賞者Ｍの後ろ側、天井を支える柱等、複数の位置に設置され、それぞれが発信する超音波の周波数は異なるものとする。
【００５１】
カメラ５０は、鑑賞者Ｍを撮影するものである。このカメラ５０で撮影された画像が、鑑賞者Ｍの位置（視点位置）を測定するために、ＣＧ提示装置１０に送信される。なお、ここでは、カメラ５０を、表示装置３０の予め定めた位置である中央上部（カメラ５０U）、左側部（カメラ５０L）及び右側部（カメラ５０R）にそれぞれ設置している。
【００５２】
カメラ５０U（第１のカメラ）は、鑑賞者Ｍの立ち位置を測定するための画像を撮影するものである。具体的には、カメラ５０Uは、鑑賞者Ｍの足下を撮影する。これによって、ＣＧ提示装置１０では、カメラ５０Uによって撮影された画像（足下画像）と、予め撮影された背景画像との差分をとることで、鑑賞者Ｍの立ち位置が、表示装置３０からどれだけ離れているか、表示装置３０に対して左右どちらにずれているか等を測定することができる。
【００５３】
カメラ５０L及びカメラ５０R（第２のカメラ）は、鑑賞者Ｍの視点位置の高さを測定するための画像を撮影するものである。具体的には、カメラ５０L及びカメラ５０Rは、少なくとも鑑賞者Ｍの顔を含んだ上半身を撮影する。これによって、ＣＧ提示装置１０では、カメラ５０L（又はカメラ５０R）で撮影された画像（鑑賞者画像）と、予め撮影された背景画像との差分をとることで、鑑賞者Ｍの領域を抽出し、その抽出された画像から顔の統計的な特徴量に基づいて、顔を検出し、視点位置（目の位置）の高さを測定する。
【００５４】
ここで、視点位置の高さを測定するための画像を撮影するカメラを、カメラ５０L及びカメラ５０Rの２台としたのは、鑑賞者Ｍの移動範囲を広くとるためである。例えば、ＣＧ提示装置１０は、カメラ５０Uが撮影した画像によって、鑑賞者Ｍの立ち位置が、左にずれていると判断した場合は、カメラ５０Lが撮影した画像から視点位置の高さを測定し、右にずれていると判断した場合は、カメラ５０Rが撮影した画像から視点位置の高さを測定する。なお、鑑賞者Ｍの移動範囲を広くとる必要がない場合は、視点位置の高さ測定用のカメラを１台とし、例えば、表示装置３０の中央下部に設置することとしてもよい。
このように、カメラ５０Uで撮影された画像と、カメラ５０L又はカメラ５０Rで撮影された画像とを用いることで、ＣＧ提示装置１０は、仮想の三次元空間上における鑑賞者Ｍの視点位置を測定することができる。
【００５５】
［ＣＧ提示装置の構成］
次に、図２を参照（適宜図１参照）して、ＣＧ提示装置の構成について説明する。図２は、本発明に係るＣＧ提示装置の構成を示すブロック図である。図２に示すように、ＣＧ提示装置１０は、ＣＧデータ記憶手段１１と、制御手段ＣＯとしての鑑賞者視点位置測定手段１２と、レプリカ位置・姿勢測定手段１３と、ＣＧ生成手段１４とを備えている。
【００５６】
ＣＧデータ記憶手段１１は、予め鑑賞の対象となる鑑賞対象物のＣＧデータを記憶しておくものであって、ハードディスク等の一般的な記憶装置である。このＣＧデータ記憶手段１１に記憶されるＣＧデータは、例えば、一般的なボリュームレンダリング法におけるボリュームデータである。このボリュームデータは、鑑賞対象物が存在する三次元空間をボクセル（ｖｏｘｅｌ：ｖｏｌｕｍｅ ｅｌｅｍｅｎｔ）と呼ばれる立方体に分割し、各ボクセルの色情報、透明度、反射率等の情報を三次元配列としたデータである。
【００５７】
鑑賞者視点位置測定手段１２は、仮想の三次元空間における鑑賞者の現在の視点位置を測定するものである。この鑑賞者視点位置測定手段１２で測定された視点位置は、ＣＧ生成手段１４に出力される。なお、鑑賞者視点位置測定手段１２は、ここでは、図３に示すような、表示装置３０の表示画面の中心から床面に下ろした垂線と床面との交点を原点Ｏ（基準位置）とし、この原点Ｏを通り、表示画面の水平方向に平行なＸ軸、表示画面の垂直方向に平行なＹ軸、Ｘ軸及びＹ軸からなるＸＹ平面に直交するＺ軸とした仮想の三次元座標空間上における位置を測定するものとする。
ここでは、鑑賞者視点位置測定手段１２は、立ち位置測定手段１２ａと、頭頂部検出手段１２ｂと、顔検出手段１２ｃと、視点高測定手段１２ｄとを備えている。
【００５８】
立ち位置測定手段１２ａは、床面に立っている鑑賞者の立ち位置を検出するものである。ここでは、立ち位置測定手段１２ａは、カメラ５０Uで撮影された画像を入力し、その撮影画像（足下画像）と、予め鑑賞者が存在しない状態で撮影した背景画像との差分をとることで、鑑賞者の立ち位置（例えば、つま先）を検出する。
【００５９】
ここで、図４を参照（適宜図２参照）して、鑑賞者の立ち位置の検出手法について説明する。図４は、鑑賞者の立ち位置を検出する手法を説明するための説明図であって、（ａ）は背景画像、（ｂ）は足下画像、（ｃ）は差分画像を示している。
【００６０】
まず、立ち位置測定手段１２ａは、予め図４（ａ）に示すような背景画像を図示していない記憶手段に記憶しておく。なお、ここでは、背景画像の４点（Ｌａ，Ｌｂ，Ｌｃ，Ｌｄ）に、予め図３に示したＸＺ平面における座標を対応付けておく。そして、立ち位置測定手段１２ａは、図４（ａ）に示す背景画像と、図４（ｂ）に示すカメラ５０Uで撮影された足下画像との差分をとることで、図４（ｃ）に示す差分画像を生成する。この差分画像は、鑑賞者の足のみの画像となる。そこで、立ち位置測定手段１２ａは、その足もとの先端、あるいは両足の先端の中間位置を、鑑賞者の立ち位置とする。なお、この立ち位置の座標は、背景画像に対応付けられている４点（Ｌａ，Ｌｂ，Ｌｃ，Ｌｄ）の座標から相対的に算出することができる。これによって、図３に示したＸＺ平面における鑑賞者の立ち位置のＸ座標及びＺ座標である（Ｃｘ，Ｃｚ）を求めることができる。
図２に戻って、ＣＧ提示装置１０の構成の説明を続ける。
【００６１】
なお、この立ち位置測定手段１２ａで測定された鑑賞者の立ち位置は、鑑賞者の視点位置を測定するためのみならず、後記するＣＧ画像生成手段１４ｂにおいて、表示すべきＣＧ画像の表示モードを切り替えるための基準としても使用することができる。この表示モードの切り替えについては、ＣＧ画像生成手段１４ｂを説明する際に行うこととする。
【００６２】
頭頂部検出手段１２ｂは、カメラ５０L又はカメラ５０Rで撮影された画像（鑑賞者画像）から、鑑賞者を検出し、その鑑賞者の頭頂部の位置を特定（検出）するものである。なお、ここでは、頭頂部検出手段１２ｂは、立ち位置測定手段１２ａにおいて測定された鑑賞者の立ち位置が、表示装置３０に対して左にずれている場合は、カメラ５０Lが撮影した画像から鑑賞者を検出し、表示装置３０に対して右にずれている場合は、カメラ５０Rが撮影した画像から鑑賞者を検出する。また、鑑賞者の立ち位置が、表示装置３０に対して中央に位置する場合（Ｘ座標が“０”）は、カメラ５０L又はカメラ５０Rで撮影された画像のいずれか一方から鑑賞者を検出するものとする。
【００６３】
ここで、頭頂部検出手段１２ｂは、カメラ５０L又はカメラ５０Rで撮影された画像を入力し、その撮影画像（鑑賞者画像）と、予め鑑賞者が存在しない状態で撮影した背景画像との差分をとることで、鑑賞者を検出し、その最上位の画素位置を鑑賞者の頭頂部とする。
【００６４】
顔検出手段１２ｃは、頭頂部検出手段１２ｂで検出された鑑賞者の頭頂部から予め定めた所定の範囲内において、鑑賞者の顔の領域を検出するものである。ここで、画像から鑑賞者の顔を検出するには、一般的な検出技術を用いることができる。例えば、顔検出手段１２ｃは、顔の特徴量（目、口等の特徴量）を予め学習データとして保持しておき、その特徴量に最も類似する領域を顔と判定する。このように、顔を検出する範囲を小さくしておくと、検出の高速化を図ることができる。
【００６５】
視点高測定手段１２ｄは、顔検出手段１２ｃで検出された顔の領域から目を特定し、基準位置に対する鑑賞者の目の高さを測定するものである。ここでは、視点高測定手段１２ｄは、顔検出手段１２ｃで検出された顔の領域の重心位置を算出し、その重心位置から、予め定めたオフセット値により補正を行うことで、その位置を目の位置とする。なお、この目の位置の座標は、予め背景画像と、あるＺ座標（図３参照）における高さとを数点（例えば、４点）対応付けておくことで、鑑賞者の目の高さを相対的に算出する。ただし、鑑賞者は、Ｚ方向（カメラの光軸方向）に移動するため、立ち位置測定手段１２ａで測定された鑑賞者の立ち位置に基づいて、鑑賞者の目の高さを補正する。
【００６６】
具体的には、背景画像に対応付けたあるＺ座標の値（＝ｚ1）における目の高さ（＝ｙ1）において、立ち位置測定手段１２ａで測定された鑑賞者の立ち位置のＺ座標の値がｚ2である場合、実際の目の高さｙ2を、以下の（１）式で算出する。
ｙ2＝（ｚ2／ｚ1）ｙ1 …（１）
【００６７】
このように、鑑賞者視点位置測定手段１２は、図３に示した三次元空間（Ｘ，Ｙ，Ｚ）において、立ち位置測定手段１２ａで測定された鑑賞者の立ち位置であるＸ座標及びＺ座標と、視点高測定手段１２ｄで測定された目の高さであるＹ座標とで特定される位置を鑑賞者の視点位置とする。
【００６８】
なお、ここでは、鑑賞者視点位置測定手段１２は、カメラ５０Uで撮影された画像（足下画像）から鑑賞者の立ち位置を測定し、カメラ５０L又はカメラ５０Rで撮影された画像（鑑賞者画像）から鑑賞者Ｍの視点位置の高さを測定することで、鑑賞者の視点位置を測定したが、複数のカメラで鑑賞者を撮影した画像から、ステレオマッチング法によって視点位置を測定することとしてもよい。あるいは、鑑賞者にヘッドマウントディスプレイや、眼鏡に磁気センサ、超音波センサ、ジャイロセンサ等を取りつけて視点位置を測定することとしてもよいが、鑑賞者がセンサ等を装着しなければならないため、本実施の形態の方が好ましいといえる。
【００６９】
レプリカ位置・姿勢測定手段１３は、仮想的に設定された三次元空間におけるレプリカの位置及び向きを測定するものである。このレプリカ位置・姿勢測定手段１３で測定されたレプリカの位置及び向きはＣＧ生成手段１４に出力される。なお、レプリカ位置・姿勢測定手段１３は、図３に示した、表示装置３０を基準とした仮想の三次元空間（Ｘ，Ｙ，Ｚ）において、レプリカの位置及び向きを測定するものとする。
ここでは、レプリカ位置・姿勢測定手段１３は、レプリカ位置測定手段１３ａと、レプリカ姿勢測定手段１３ｂとを備えている。
【００７０】
レプリカ位置測定手段１３ａは、レプリカ２０の位置を測定するものである。具体的には、レプリカ位置測定手段１３ａは、レプリカ２０に備え付けられている超音波受信器２１から出力される、複数の超音波発信器４０から発信される超音波の周波数の位相差、到達タイミングのずれ等に基づいて、図３に示した三次元空間（Ｘ，Ｙ，Ｚ）において、レプリカ２０の位置（超音波受信器２１の位置に相当）を測定する。
【００７１】
レプリカ姿勢測定手段１３ｂは、レプリカ２０の向きを測定するものである。具体的には、レプリカ姿勢測定手段１３ｂは、レプリカ２０に備え付けられているジャイロセンサ２２から出力される、ジャイロセンサ２２で検出された姿勢情報（例えば、ロール、ピッチ及びヨー）を、レプリカ２０の向きとして測定する。
【００７２】
なお、ここでは、レプリカ位置測定手段１３ａは、超音波受信器２１によってレプリカ２０の位置を測定し、レプリカ姿勢測定手段１３ｂは、ジャイロセンサ２２によってレプリカ２０の向きを測定したが、レプリカ２０にバーコード等のパターンを貼付し、複数のカメラで撮影した画像から、ステレオマッチング法によって、レプリカ２０の位置や向きを測定することとしてもよい。
【００７３】
ＣＧ生成手段１４は、レプリカ２０のＣＧ画像を生成し、表示装置３０に提示するものである。ここでは、ＣＧ生成手段１４は、ＣＧ領域算出手段１４ａと、ＣＧ画像生成手段１４ｂとを備えている。
【００７４】
ＣＧ領域算出手段１４ａは、鑑賞者視点位置測定手段１２で測定された鑑賞者の視点位置と、表示装置３０の表示領域の四隅とからなる四角錐の仮想領域における、レプリカ位置・姿勢測定手段１３で測定されたレプリカ２０の位置及び向き基づいて、表示装置３０に提示する鑑賞対象物のＣＧの領域を算出するものである。このＣＧ領域算出手段１４ａで算出されたＣＧの領域は、ＣＧ画像生成手段１４ｂに出力される。
【００７５】
なお、ＣＧ領域算出手段１４ａは、レプリカ位置・姿勢測定手段１３で測定されたレプリカ２０の位置に、予め定めた方向のオフセットを付加することとしてもよい。これによって、鑑賞者の視線方向において、レプリカ２０と、表示装置３０に表示されるＣＧ画像とがずれることになり、鑑賞者にとってＣＧ画像が見やすくなる。
【００７６】
ここで、図５及び図６を参照（適宜図２参照）して、ＣＧ領域算出手段１４ａが、表示装置３０に提示（表示）する鑑賞対象物のＣＧの領域を算出する手法について説明する。図５は、仮想的に設定された三次元空間において、視点位置とレプリカと表示装置との関係を説明するための説明図である。図６は、視点位置を仮想カメラ位置としたときの、表示領域内に含まれる仮想カメラの撮影画角の四隅と視点位置との関係を説明するための説明図である。
【００７７】
図５では、表示装置３０の表示領域（表示画面）が、図３で説明した三次元空間に、仮想表示領域Ｄｖとして予め設定されているものとする。ここでは、仮想表示領域Ｄｖの幅を２ｗ、高さを２ｔとする。そして、仮想表示領域Ｄｖの中心Ｐｏの座標がＰｏ＝（０，ｈ，０）、仮想表示領域Ｄｖの四隅（各頂点）の座標Ｐａ，Ｐｂ，Ｐｃ，Ｐｄが、それぞれ、Ｐａ＝（−ｗ，ｈ＋ｔ，０）、Ｐｂ＝（−ｗ，ｈ−ｔ，０）、Ｐｃ＝（ｗ，ｈ−ｔ，０）、Ｐｄ＝（ｗ，ｈ＋ｔ，０）とする。
【００７８】
また、ここでは、視点位置ＣがＣ＝（Ｃｘ，Ｃｙ，Ｃｚ）、レプリカ２０の位置ＲがＲ＝（Ｒｘ，Ｒｙ，Ｒｚ）であったとする。
これによって、視点位置Ｃとレプリカ２０と表示装置の仮想表示領域Ｄｖとが、仮想の三次元座標空間において特定される。
【００７９】
このとき、ＣＧ領域算出手段１４ａは、図６に示すように、視点位置を仮想カメラ（視点）位置Ｃとし、表示装置の表示領域である仮想表示領域Ｄｖを含む（内接する）仮想カメラの撮影画角Ｄｃの四隅（Ｐａ´，Ｐｂ´，Ｐｃ´，Ｐｄ´）と、仮想カメラ位置Ｃとからなる四角錐（Ｃ，Ｐａ´，Ｐｂ´，Ｐｃ´，Ｐｄ´）を仮想的に設定する。なお、仮想カメラ位置Ｃからの視線方向は仮想表示領域Ｄｖの中心Ｐｏを常に向いているものとする。
そして、ＣＧ領域算出手段１４ａは、この四角錐（Ｃ，Ｐａ´，Ｐｂ´，Ｐｃ´，Ｐｄ´）に含まれる鑑賞対象物のＣＧの領域を算出する。
これによって、図５に示すように、仮想カメラ映像Ｉに示すように、レプリカ２０に対応するＣＧの領域を算出されることになる。
【００８０】
なお、図５において、レプリカ２０の位置にオフセットを付加する場合、例えば、レプリカ２０の位置Ｒ＝（Ｒｘ，Ｒｙ，Ｒｚ）に対して、Ｒ＝（Ｒｘ，Ｒｙ＋Ｏｆｆｓｅｔ，Ｒｚ）と、Ｏｆｆｓｅｔ分、Ｙ座標を増加させることで、仮想表示領域Ｄｖには、このオフセットに対応して上方向にずれたＣＧの領域が算出されることになる。なお、このオフセットは、視点位置に対して付加することとしてもよい。
図２に戻って、ＣＧ提示装置１０の構成の説明を続ける。
【００８１】
ＣＧ画像生成手段１４ｂは、ＣＧ領域算出手段１４ａで算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段１１に記憶されているＣＧデータから、ＣＧ画像を生成し表示装置３０に出力するものである。
このＣＧ画像生成手段１４ｂは、ＣＧ領域算出手段１４ａで算出されたＣＧの領域に対応するＣＧデータをＣＧデータ記憶手段１１から読み出して、例えば、ＣＧデータとして設定されている色情報、透明度、反射率等に基づいてＣＧ画像を生成する。
【００８２】
なお、ここでは、ＣＧ画像生成手段１４ｂは、立ち位置測定手段１２ａで測定された鑑賞者の立ち位置に基づいて、ＣＧ画像を表示する方式を切り替えることとする。例えば、ＣＧ画像生成手段１４ｂは、表示装置３０に対する鑑賞者の左右、前後の立ち位置によって、同一の鑑賞対象物において、その表示方法を切り替える。
【００８３】
ここで、図７を参照して、ＣＧ画像生成手段１４ｂが行う表示モードの切り替えについて説明する。図７は、鑑賞者の立ち位置によって表示モードが切り替わる状態を示した模式図であって、（ａ）は鑑賞者の立ち位置が表示装置に対して正面中央である場合、（ｂ）は鑑賞者の立ち位置が表示装置に対して中央より左側である場合、（ｃ）は鑑賞者の立ち位置が表示装置に対して中央より右側である場合を示している。
【００８４】
図７（ａ）に示すように、鑑賞者の立ち位置が表示装置に対して正面中央である場合、ＣＧ画像生成手段１４ｂは、レプリカ２０（ここでは人形）に対応する「骨」のみの画像をＣＧ画像として生成する。また、図７（ｂ）に示すように、鑑賞者の立ち位置が表示装置に対して中央より左側である場合、ＣＧ画像生成手段１４ｂは、レプリカ２０に対応する「内蔵」のみの画像をＣＧ画像として生成する。また、図７（ｃ）に示すように、鑑賞者の立ち位置が表示装置に対して中央より右側である場合、ＣＧ画像生成手段１４ｂは、レプリカ２０に対応する「皮膚」のみの画像をＣＧ画像として生成する。
【００８５】
なお、ここでは、鑑賞者の立ち位置を３つの領域に区分して、表示モードを切り替える例を示したが、この区分はこれに限定されるものではない。
この図７に示した表示モードの切り替えは、ＣＧデータが、ボリュームレンダリング法におけるボリュームデータである場合、ＣＧ画像生成手段１４ｂが、鑑賞者の立ち位置によって、ボクセルの透明度を変化させることで実現することができる。
【００８６】
以上説明したように、ＣＧ提示装置１０は、鑑賞者が手にしたレプリカ２０の位置や向きに合わせて、鑑賞者の視線の先にある表示装置３０に、レプリカ２０のＣＧ画像を表示することができる。また、鑑賞者の立ち位置によって、表示モードを切り替えることができるため、同一の鑑賞対象物であっても、展示方法を変えることができる。
なお、ＣＧ提示装置１０は、コンピュータを制御手段ＣＯの各手段として機能させるＣＧ提示プログラムによって動作する。
【００８７】
以上、本発明に係るＣＧ提示装置１０の構成について説明したが、本発明はこれに限定されるものではない。例えば、ＣＧ提示装置１０の制御手段ＣＯである鑑賞者視点位置測定手段１２と、レプリカ位置・姿勢測定手段１３と、ＣＧ生成手段１４とを、それぞれ異なるコンピュータによって、機能させることも可能である。このように機能を分散することで、レプリカ２０の動きに連動してＣＧ画像を高速に表示することができる。
【００８８】
［ＣＧ提示装置の動作］
次に、図８を参照（適宜図２参照）して、ＣＧ提示装置の動作について説明する。図８は、本発明に係るＣＧ提示装置の動作を示すフローチャートである。
【００８９】
（測定ステップ：鑑賞者視点位置測定ステップ）
まず、ＣＧ提示装置１０は、鑑賞者視点位置測定手段１２の立ち位置測定手段１２ａによって、立ち位置検出用のカメラ５０Uで撮影された画像を入力する（ステップＳ１）。そして、立ち位置測定手段１２ａは、ステップＳ１で撮影された画像から、床面に立っている鑑賞者のつま先を背景差分により検出し、鑑賞者の立ち位置を算出する（ステップＳ２）。
【００９０】
そして、ＣＧ提示装置１０は、鑑賞者視点位置測定手段１２の頭頂部検出手段１２ｂによって、鑑賞者の立ち位置により、左右のカメラ（５０L又は５０R）で撮影された画像のいずれか一方を選択し入力する（ステップＳ３）。さらに、頭頂部検出手段１２ｂによって、その選択されたカメラで撮影された画像と、予め撮影した背景画像との差分をとることで、鑑賞者の頭頂部を検出し、顔検出手段１２ｃによって、その頭頂部を基準として顔を検出する範囲を限定し顔を検出する（ステップＳ４）。そして、視点高測定手段１２ｄは、顔の領域における重心位置から、予め定めたオフセット値により、目の位置を特定し、目の高さを算出する（ステップＳ５）。
このように、ステップＳ２で算出された鑑賞者の立ち位置と、ステップＳ５で算出された目の高さとによって、仮想の三次元空間における鑑賞者の視点位置が測定される。
【００９１】
（測定ステップ：レプリカ位置測定ステップ）
また、ＣＧ提示装置１０は、レプリカ位置・姿勢測定手段１３のレプリカ位置測定手段１３ａによって、レプリカ２０に備え付けられている超音波受信器２１から出力される超音波発信器４０から発信される超音波の周波数の位相差、到達タイミングのずれ等に基づいて、仮想の三次元空間におけるレプリカ２０の位置を測定する（ステップＳ６）。
【００９２】
（測定ステップ：レプリカ姿勢測定ステップ）
さらに、ＣＧ提示装置１０は、レプリカ姿勢測定手段１３ｂによって、レプリカ２０に備え付けられているジャイロセンサ２２から出力される、ジャイロセンサ２２で検出された向きを、レプリカ２０の向きとして測定する（ステップＳ７）。
この段階で、鑑賞者の視点位置と、レプリカ２０の位置及び向きとが測定されたことになる。
【００９３】
（ＣＧ領域算出ステップ）
そして、ＣＧ提示装置１０は、ＣＧ生成手段１４のＣＧ領域算出手段１４ａによって、鑑賞者の視点位置と、予め設定された表示装置３０の表示領域の四隅とからなる四角錐の仮想領域における、レプリカ２０の位置及び向きに基づいて、表示装置３０に提示する鑑賞対象物のＣＧの領域を算出する（ステップＳ８）。
【００９４】
（ＣＧ画像生成ステップ）
ここでは、図３に示したＸＺ平面における、鑑賞者の立ち位置のＸ軸の値に基づいて、表示するＣＧ画像の表示モードを変えることとする。
そこで、ＣＧ提示装置１０は、ＣＧ画像生成手段１４ｂによって、ステップＳ２で算出された鑑賞者の立ち位置を判定する（ステップＳ９）。
そして、鑑賞者の立ち位置のＸ座標が、予め定めた２つの閾値（ｘ１、ｘ２）の範囲内の場合（ｘ１≦Ｘ≦ｘ２）、ＣＧ画像生成手段１４ｂは、第１の表示モードとして、例えば、レプリカ２０（ここでは人形）に対応する「骨」のみの画像をＣＧ画像として生成する（ステップＳ１０）。
【００９５】
また、鑑賞者の立ち位置のＸ座標が、閾値ｘ１より小さい場合（Ｘ＜ｘ１）、ＣＧ画像生成手段１４ｂは、第２の表示モードとして、例えば、レプリカ２０に対応する「内蔵」のみの画像をＣＧ画像として生成する（ステップＳ１１）。
さらに、鑑賞者の立ち位置のＸ座標が、閾値ｘ２より大きい場合（ｘ２＜Ｘ）、ＣＧ画像生成手段１４ｂは、第３の表示モードとして、例えば、レプリカ２０に対応する「皮膚」のみの画像をＣＧ画像として生成する（ステップＳ１２）。
【００９６】
そして、ＣＧ画像生成手段１４ｂは、ステップＳ１０、Ｓ１１又はＳ１２で生成されたＣＧ画像を表示装置３０に出力し、鑑賞者にＣＧ画像を提示する（ステップＳ１３）。
以上の動作が連続して実行されることで、鑑賞者のレプリカ２０の操作に連動して、リアルタイムで、ＣＧ画像が提示される。
なお、前記した鑑賞者視点位置測定ステップ（ステップＳ１〜Ｓ５）、レプリカ位置測定ステップ（ステップＳ６）、及び、レプリカ姿勢測定ステップ（ステップＳ７）は、必ずしもこの順番で動作させる必要はない。
【００９７】
以上の動作によって、ＣＧ提示装置１０は、鑑賞者の視点位置と、レプリカ２０の位置及び向きとを測定し、鑑賞者がレプリカ２０を見ている視線方向に配置されている表示装置３０に、レプリカ２０の動きに連動したＣＧ画像を提示することができる。
【００９８】
［ＣＧ提示装置の利用例］
以上の説明においては、本発明に係るＣＧ提示装置が、博物館等で用いるＣＧ表示システムとして利用される形態について説明したが、ここでは、図９を参照（適宜図２参照）して、本発明に係るＣＧ提示装置の他の利用形態について説明する。
図９は、レプリカを、テレビジョン装置を操作するリモコンとした例を示す概念図である。図９では、鑑賞者が、テレビジョン装置Ｔｖを操作するリモコン（レプリカ）２０を、テレビジョン装置Ｔｖの前に差し出すことで、テレビジョン装置Ｔｖの画面上にリモコン２０のボタンの操作方法、ボタンの機能等を表示する例を示している。
この場合、ＣＧ提示装置１０は、予め設定されたテレビジョン装置Ｔｖの位置を基準として、鑑賞者の視点位置と、リモコン（レプリカ）２０の位置とを測定する。
【００９９】
そして、ＣＧ提示装置１０は、視聴しているチャンネルや、操作モード（例えば、ビデオ装置の操作等）によって、テレビジョン装置Ｔｖに提示する画像を変える。すなわち、ＣＧ画像生成手段１４ｂにおいて、現在の操作モード等によって、テレビジョン装置Ｔｖに提示する画像を変える。例えば、操作モードが、「ビデオ装置の操作」である場合、テレビジョン装置Ｔｖの画面には、リモコンの各ボタンの機能（「巻き戻し」、「早送り」、「停止」、「取り出し」等）をリモコンの画像とともに表示させる。これによって、リモコンのボタンを最小限に集約することができるとともに、現在動作可能な操作を視覚化できるため、簡単で直感的な操作が可能になる。
【図面の簡単な説明】
【０１００】
【図１】本発明に係るＣＧ表示システムの全体構成を示す模式図である。
【図２】本発明に係るＣＧ提示装置の構成を示すブロック図である。
【図３】表示装置を基準とした仮想の三次元座標空間を示す概念図である。
【図４】鑑賞者の立ち位置を検出する手法を説明するための説明図であって、（ａ）は背景画像、（ｂ）は足下画像、（ｃ）は差分画像を示している。
【図５】視点位置とレプリカと表示装置との関係を説明するための説明図である。
【図６】視点位置を仮想カメラ位置としたときの、仮想カメラの撮影画角内に含まれる表示領域の四隅と視点位置との関係を説明するための説明図である。
【図７】鑑賞者の立ち位置によって表示モードが切り替わる状態を示した模式図であって、（ａ）は鑑賞者の立ち位置が表示装置に対して正面中央である場合、（ｂ）は鑑賞者の立ち位置が表示装置に対して中央より左側である場合、（ｃ）は鑑賞者の立ち位置が表示装置に対して中央より右側である場合を示している。
【図８】本発明に係るＣＧ提示装置の動作を示すフローチャートである。
【図９】レプリカを、テレビジョン装置を操作するリモコンとした例を示す概念図である。
【符号の説明】
【０１０１】
１ ＣＧ表示システム
１０ ＣＧ提示装置
１１ ＣＧデータ記憶手段
１２ 鑑賞者視点位置測定手段
１２ａ 立ち位置測定手段
１２ｂ 頭頂部検出手段
１２ｃ 顔検出手段
１２ｄ 視点高測定手段
１３ レプリカ位置・姿勢測定手段
１３ａ レプリカ位置測定手段
１３ｂ レプリカ姿勢測定手段
１４ ＣＧ生成手段
１４ａ ＣＧ領域算出手段
１４ｂ ＣＧ画像生成手段
２０ レプリカ
２１ 超音波受信器
２２ ジャイロセンサ
３０ 表示装置
４０ 超音波発信器
５０ カメラ
５０U カメラ（第１のカメラ）
５０L、５０R カメラ（第２のカメラ）
【技術分野】
【０００１】
本発明は、コンピュータグラフィックス（以下ＣＧと略す）データとして作成された鑑賞対象物の形状を模したレプリカ（模型、人形）の動きに合わせて、前記鑑賞対象物のＣＧ画像を表示装置に提示するＣＧ提示装置、その方法及びそのプログラム、並びに、ＣＧ表示システムに関する。
【背景技術】
【０００２】
従来、コンピュータが処理するデジタルイメージ、テキストデータ等の情報を、博物館、図書館等で一般の鑑賞者に視覚化して提示（展示）する場合、鑑賞者は、マウス、キーボード、ジョイスティック、タッチパネル等のコンピュータ用デバイスを操作して、その視覚化された情報を鑑賞する方法が一般的である。
【０００３】
また、近年では、バーチャルリアリティ技術を利用して、鑑賞者がセンサ、ヘッドマウントディスプレイ等を装着することで、コンピュータの中に仮想的な世界を構築し、鑑賞者がその仮想現実の世界で、コンピュータと対話（インタラクション）が可能となる装置（仮想現実システム）によって、視覚化された情報を鑑賞するという方法もある。
【０００４】
しかし、コンピュータ用デバイスを操作して情報を鑑賞するためには、鑑賞者は、そのコンピュータ用デバイスの操作方法を予め知識として知っておく必要がある。また、その操作方法を知らない鑑賞者は、情報を鑑賞することができない。
また、バーチャルリアリティ技術を利用した情報の鑑賞では、鑑賞者がセンサ、ヘッドマウントディスプレイ等を装着しなければならず、正しく装着を行うための補助員が必要となったり、眼鏡をかけている鑑賞者の視野が狭くなったり等の問題がある。さらに、鑑賞者にとって、容易に、あるいは、気軽に情報の閲覧をできないという問題がある。
【０００５】
そこで、最近では、虫眼鏡型のインターフェース機器（バーチャルスコープ）によって、情報（画像）を提示する展示システムが提案されている（例えば、特許文献１、非特許文献１参照）。
このバーチャルスコープによる展示システムは、全体画像を示すパネルに対して、鑑賞者がバーチャルスコープをかざして動かすことで、そのバーチャルスコープの位置に対応する画像を拡大して、表示装置に提示するものである。これによって、鑑賞者の直感的、かつ、容易な操作によって、画像を拡大して提示することができる。
【特許文献１】特開２００２−１５２６２０号公報（段落００２２〜００６１、図１〜３）
【非特許文献１】深谷、三ッ峰、井上、“バーチャルスコープ”、第７回画像センシングシンポジウム講演論文集、ｐｐ．２１１−２１４、２００１
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、従来のバーチャルスコープによる展示システムでは、鑑賞対象となる画像が、二次元情報であることを想定しているため、基本的には、三次元情報の形状となるコンピュータグラフィックスを提示する場合、一方向から見た画像しか扱えないという問題がある。
この問題に対しては、従来のバーチャルスコープによる展示システムにおいて、全体画像を示すパネルを、三次元形状の模型とし、鑑賞者がバーチャルスコープをその模型にかざすことで、三次元情報のコンピュータグラフィックスにおいても、多方向からの画像を拡大して提示することは可能である。
【０００７】
しかし、この場合、模型の裏側（表示装置側の面）を見ようとすると、鑑賞者が模型と表示装置との間に位置することになり、鑑賞者は、バーチャルスコープの操作と表示装置における画像の鑑賞とを相反する視線方向で行わねばならず、操作性が極めて困難であるという問題がある。
また、三次元形状の模型を回転させることで、バーチャルスコープの操作と表示装置における画像の鑑賞とを同一の視線方向で行うことも可能であるが、模型を回転させる動作をジョイスティック等のデバイスによって行うことは非常に困難である。さらに、鑑賞者は、この模型の回転とバーチャルスコープの操作とを合わせて行う必要があるため、表示装置に表示された画像に集中することができないという問題がある。
【０００８】
本発明は、以上のような課題を解決するためになされたものであり、鑑賞者に対してセンサ等の装着の負担をかけることなく、さらに、バーチャルスコープを用いることなく、三次元情報の形状となるコンピュータグラフィックスに対して、鑑賞者が見たい任意の方向から見た画像を表示装置に提示することが可能なＣＧ提示装置、その方法及びそのプログラム、並びに、ＣＧ表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載のＣＧ提示装置は、ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するＣＧ提示装置であって、ＣＧデータ記憶手段と、鑑賞者視点位置測定手段と、レプリカ位置測定手段と、レプリカ姿勢測定手段と、ＣＧ領域算出手段と、ＣＧ画像生成手段とを備える構成とした。
【００１０】
かかる構成によれば、ＣＧ提示装置は、鑑賞者視点位置測定手段によって、予め定められた基準位置に対する鑑賞者の視点位置を測定する。ここで、基準位置とは、三次元空間を特定するための基準となる位置であって、例えば、固定位置に設置されている表示装置の特定の位置を基準位置とする。また、鑑賞者の視点位置を測定するには、例えば、鑑賞者にヘッドマウントディスプレイや、磁気センサ等を備えた眼鏡を装着させることで、視点位置を特定したり、鑑賞者を撮影した複数の画像から、ステレオマッチング法によって視点位置を測定することとしてもよいが、鑑賞者に負担をかけないため、鑑賞者を撮影した画像から視点位置を測定する手法が好ましい。
【００１１】
また、ＣＧ提示装置は、レプリカ位置測定手段によって、基準位置に対するレプリカの位置を測定する。例えば、レプリカ位置測定手段は、超音波センサによってレプリカの位置を測定してもよいし、レプリカを撮影した複数の画像から、ステレオマッチング法によってレプリカの位置を測定することとしてもよい。
【００１２】
さらに、ＣＧ提示装置は、レプリカ姿勢測定手段によって、表示装置の表示面に対するレプリカの向きを測定する。例えば、レプリカ姿勢測定手段は、ジャイロセンサによってレプリカの向きを測定してもよいし、バーコード等のパターンを複数レプリカに貼付し、そのレプリカを撮影した画像から、パターンを検出することで、レプリカの向きを測定してもよい。
これによって、ＣＧ提示装置は、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
【００１３】
そこで、ＣＧ提示装置は、ＣＧ領域算出手段によって、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置から見たときの表示装置に提示する鑑賞対象物のＣＧの領域を算出する。
これによって、鑑賞者の視点位置から、表示装置の表示領域に対してレプリカを投影したＣＧの領域が特定されることになる。
【００１４】
そして、ＣＧ提示装置は、ＣＧ画像生成手段によって、ＣＧ領域算出手段で算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し表示装置に出力する。
これによって、鑑賞者がレプリカを見ている視線方向にある表示装置に、レプリカの向きに合わせたＣＧ画像が表示される。
【００１５】
また、請求項２に記載のＣＧ提示装置は、請求項１に記載のＣＧ提示装置において、前記ＣＧ領域算出手段が、前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐において、前記鑑賞対象物のＣＧの領域を算出することを特徴とする。
【００１６】
かかる構成によれば、ＣＧ提示装置は、ＣＧ領域算出手段によって、鑑賞者の視点位置を仮想カメラ位置と想定し、その仮想カメラが、常に表示装置の表示領域における中心を向いていることとする。これによって、鑑賞者の実際の視線方向に影響を受けることがない。そして、表示領域を含む仮想カメラの撮影画角の四隅と、仮想カメラ位置、すなわち、鑑賞者の視点位置とからなる四角錐によって、鑑賞対象物のＣＧの領域が特定されることになる。
【００１７】
また、請求項３に記載のＣＧ提示装置は、請求項１又は請求項２に記載のＣＧ提示装置において、前記鑑賞者視点位置測定手段が、立ち位置測定手段と、頭頂部検出手段と、顔検出手段と、視点高測定手段とを備える構成とした。
【００１８】
かかる構成によれば、ＣＧ提示装置は、立ち位置測定手段によって、予め定められた位置に固定した第１のカメラによって撮影された、鑑賞者の足下を撮影した足下画像と、予め撮影された足下画像に対応する背景画像との差分をとった差分画像を生成する。この差分画像は、背景画像とは異なる鑑賞者の足のみの画像となる。そこで、立ち位置測定手段は、差分画像における鑑賞者の足の所定位置、例えば先端（つま先）を鑑賞者の立ち位置とする。
【００１９】
さらに、ＣＧ提示装置は、頭頂部検出手段によって、予め定められた位置に固定した第２のカメラによって撮影された、鑑賞者を撮影した鑑賞者画像と、予め撮影された鑑賞者画像に対応する背景画像との差分画像を生成する。この差分画像は、背景画像とは異なる鑑賞者のみの画像となる。そこで、頭頂部検出手段は、鑑賞者のみの画像から、鑑賞者の頭頂部を検出する。そして、ＣＧ提示装置は、顔検出手段によって、頭頂部から所定の範囲内において、鑑賞者の顔を検出する。このように、顔を検出するための領域を狭める（限定する）ことで、演算速度を早めることができる。そして、ＣＧ提示装置は、視点高測定手段によって、顔検出手段で検出された顔の領域における重心位置から、予め定めたオフセット値により鑑賞者の目の位置を補正することで、基準位置に対する鑑賞者の目の高さを測定する。
これによって、ＣＧ提示装置は、鑑賞者の目の位置、すなわち視点位置を特定することができる。
【００２０】
さらに、請求項４に記載のＣＧ提示装置は、請求項１又は請求項２に記載のＣＧ提示装置において、立ち位置測定手段を備え、前記ＣＧ画像生成手段が、前記立ち位置測定手段で測定された鑑賞者の立ち位置に基づいて、表示内容の異なるＣＧ画像を生成することを特徴とする。
【００２１】
かかる構成によれば、ＣＧ提示装置は、立ち位置測定手段によって、予め定められた位置に固定した第１のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する。これによって、ＣＧ提示装置は、鑑賞者が表示装置に対して前後又は左右に移動し、立ち位置を変えた場合であっても、その立ち位置を逐次測定することができる。
【００２２】
そして、ＣＧ提示装置は、ＣＧ画像生成手段によって、立ち位置測定手段で測定された鑑賞者の立ち位置が、予め定めた領域に移動する毎に表示内容の異なるＣＧ画像を生成する。例えば、ＣＧ画像生成手段は、鑑賞者の立ち位置によって、同一の鑑賞対象物のＣＧ画像において、色を変えたり、透明度を変えたり、鑑賞対象物に対する照明方向を変えたり等、種々の表示モードの切り替えを行う。
【００２３】
また、請求項５に記載のＣＧ提示装置は、請求項１乃至請求項４のいずれか一項に記載のＣＧ提示装置において、前記ＣＧ領域算出手段が、前記鑑賞者視点位置測定手段で測定された視点位置、又は、前記レプリカ位置測定手段で測定されたレプリカの位置に、予め定めた方向のオフセットを付加して、前記鑑賞対象物のＣＧの領域を算出することを特徴とする。
【００２４】
かかる構成によれば、ＣＧ提示装置は、ＣＧ領域算出手段において、鑑賞者視点位置測定手段で測定された視点位置、又は、レプリカ位置測定手段で測定されたレプリカの位置に、予め定めた方向に、予め定めた量（オフセット）を付加して、新たな視点位置又は新たなレプリカの位置とする。このため、ＣＧ領域算出手段において算出された鑑賞対象物のＣＧの領域は、オフセットが付加された方向にずれることになる。これによって、表示されたＣＧ画像は、鑑賞者がレプリカを見ている視線の延長線上よりも、例えば、上方向にずれて表示される。このため、鑑賞者が見るレプリカとＣＧ画像とが完全に重なった状態とはならず、鑑賞者がレプリカを見ている状態であっても、ＣＧ画像を視認することができる。
【００２５】
なお、このオフセットを付加しない場合であっても、鑑賞者の両眼の視差によって、ＣＧ画像を視認することは可能であるが、より鮮明にＣＧ画像を視認するためには、このように、レプリカの位置にオフセットを付加する方が好ましい。
【００２６】
さらに、請求項６に記載のＣＧ提示方法は、ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するＣＧ提示方法であって、測定ステップと、ＣＧ領域算出ステップと、ＣＧ画像生成ステップとを含んでいることを特徴とする。
【００２７】
かかる手順によれば、ＣＧ提示方法は、測定ステップで、予め定められた基準位置に対する鑑賞者の視点位置、レプリカの位置及び向きを測定する。
これによって、ＣＧ提示方法は、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
【００２８】
そして、ＣＧ提示方法は、ＣＧ領域算出ステップで、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置から見たときの表示装置に提示する鑑賞対象物のＣＧの領域を算出する。
これによって、鑑賞者の視点位置から、表示装置の表示領域に対してレプリカを投影したＣＧの領域が特定されることになる。
【００２９】
そして、ＣＧ提示方法は、ＣＧ画像生成ステップで、ＣＧ領域算出手段で算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し表示装置に出力する。
これによって、鑑賞者がレプリカを見ている視線方向にある表示装置に、レプリカの向きに合わせたＣＧ画像が表示される。
【００３０】
また、請求項７に記載のＣＧ提示プログラムは、ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するために、コンピュータを、鑑賞者視点位置測定手段、レプリカ位置測定手段、レプリカ姿勢測定手段、ＣＧ領域算出手段、ＣＧ画像生成手段、として機能させることを特徴とする。
【００３１】
かかる構成によれば、ＣＧ提示プログラムは、鑑賞者視点位置測定手段によって、予め定められた基準位置に対する鑑賞者の視点位置を測定する。また、ＣＧ提示プログラムは、レプリカ位置測定手段によって、基準位置に対するレプリカの位置を測定する。
さらに、ＣＧ提示プログラムは、レプリカ姿勢測定手段によって、表示装置の表示面に対するレプリカの向きを測定する。
これによって、ＣＧ提示プログラムは、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
【００３２】
そこで、ＣＧ提示プログラムは、ＣＧ領域算出手段によって、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置から見たときの表示装置に提示する鑑賞対象物のＣＧの領域を算出する。
これによって、鑑賞者の視点位置から、表示装置の表示領域に対してレプリカを投影したＣＧの領域が特定されることになる。
【００３３】
そして、ＣＧ提示プログラムは、ＣＧ画像生成手段によって、ＣＧ領域算出手段で算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し表示装置に出力する。
これによって、鑑賞者がレプリカを見ている視線方向にある表示装置に、レプリカの向きに合わせたＣＧ画像が表示される。
【００３４】
さらに、請求項８に記載のＣＧ表示システムは、ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するＣＧ表示システムであって、ＣＧデータ記憶手段と、レプリカと、超音波発信器と、カメラと、鑑賞者視点位置測定手段と、レプリカ位置測定手段と、レプリカ姿勢測定手段と、ＣＧ領域算出手段と、ＣＧ画像生成手段と、表示手段とを備える構成とした。
【００３５】
かかる構成によれば、ＣＧ表示システムは、鑑賞者視点位置測定手段によって、カメラが撮影した鑑賞者の画像から、予め定められた基準位置に対する鑑賞者の視点位置を測定する。
【００３６】
そして、ＣＧ表示システムは、レプリカ位置測定手段によって、基準位置に対するレプリカの位置を測定する。すなわち、レプリカの周囲に配置された複数の超音波発信器が発信する超音波を、レプリカに備え付けられている超音波受信器で受信し、その複数の超音波の位相差を検出することで、レプリカ位置測定手段は、三次元空間におけるレプリカの位置を測定する。
【００３７】
さらに、ＣＧ表示システムは、レプリカ姿勢測定手段によって、表示装置の表示面に対するレプリカの向きを測定する。すなわち、レプリカ姿勢測定手段は、レプリカに備え付けられているジャイロセンサで検出されたロール、ピッチ、ヨー等の姿勢情報に基づいて、表示装置の表示面に対するレプリカの向きを測定する。
これによって、ＣＧ表示システムは、基準位置に基づいて、三次元空間上において、固定位置に設置されている表示装置と、鑑賞者の視点位置と、レプリカの位置とが、どのような位置関係にあり、その三次元空間上において、レプリカがどの方向を向いているのかを特定することができる。
【００３８】
そして、ＣＧ表示システムは、ＣＧ領域算出手段によって、レプリカの位置及び向きと、予め定められたレプリカの大きさとに基づいて、鑑賞者の視点位置から見たときの表示装置に提示する鑑賞対象物のＣＧの領域を算出する。
そして、ＣＧ表示システムは、ＣＧ画像生成手段によって、ＣＧ領域算出手段で算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し、表示装置が、そのＣＧ画像を表示する。
【発明の効果】
【００３９】
請求項１、請求項６、請求項７又は請求項８に記載の発明によれば、鑑賞者に対してセンサ等の装着の負担をかけることなく、レプリカの向きを変えるだけで、そのレプリカと同じ向きの三次元情報のＣＧを、鑑賞者が見たい任意の方向から見た画像として、表示装置に提示することができる。また、鑑賞者にとっては、レプリカの向きを変えるという簡単な操作で、鑑賞者がそのレプリカを見た形状に相当するＣＧ画像を、表示装置で視認することができるため、直感的な操作でＣＧ画像を動かして鑑賞することができる。
また、本発明によれば、鑑賞者がレプリカを見た視線の延長線上に、ＣＧ画像が提示されるため、鑑賞者は自然な目線のままＣＧ画像を鑑賞することができる。
【００４０】
請求項２に記載の発明によれば、鑑賞者がレプリカを見た形状に対応するＣＧ画像を表示装置に提示することができる。また、表示装置を見ている視聴者の視線方向が、常に表示領域の中央を向いていることとしているので、鑑賞者の実際の視線方向に関わらず、ＣＧ画像の動きを安定した状態で提示することができる。
【００４１】
請求項３に記載の発明によれば、鑑賞者の目の位置（視点位置）を測定する際に、カメラで撮影された画像から直接目を検出するのではなく、背景差分法によって、顔を検出するための領域を限定し、その領域内で顔を検出し、目の位置を特定するため、顔を検出するための演算量が少なくなり、高速に鑑賞者の視点位置を測定することができる。
【００４２】
請求項４に記載の発明によれば、鑑賞者の立ち位置によって、表示内容の異なるＣＧ画像を生成することができるので、簡単に表示モードの切り替えを行うことができる。また、同一の鑑賞対象物であっても、鑑賞者の立ち位置によって、種々の表示モードでＣＧ画像を提示することができるため、鑑賞者に対して、より多くの情報を提示することができる。
【００４３】
請求項５に記載の発明によれば、鑑賞者がレプリカを見ている視線の延長線上に対して、ずれた位置にＣＧ画像が提示されるため、鑑賞者が見るレプリカとＣＧ画像との重なりが少なくなるため、ＣＧ画像がより見やすくなる。
【発明を実施するための最良の形態】
【００４４】
以下、本発明の実施の形態について図面を参照して説明する。
［ＣＧ表示システムの構成］
まず、図１を参照して、博物館等で用いるＣＧ表示システムの構成について説明する。図１は、本発明に係るＣＧ表示システムの全体構成を示す模式図である。ＣＧ表示システム１は、鑑賞者Ｍが、手に持ったレプリカ２０を動かすことで、鑑賞者Ｍが見たレプリカ２０の形状に相当するＣＧ画像を、表示装置３０に提示するものである。ここでは、ＣＧ表示システム１は、ＣＧ提示装置１０と、レプリカ２０と、表示装置３０と、超音波発信器４０と、カメラ５０とを備えている。
【００４５】
ＣＧ提示装置１０は、レプリカ２０の位置及び向きを測定するとともに、鑑賞者Ｍの視点位置を測定し、その視点位置から見たレプリカ２０の実像に対応する、レプリカ２０のＣＧ画像を表示装置３０に提示するものである。なお、このＣＧ提示装置１０の構成については後で詳細に説明する。
【００４６】
レプリカ２０は、ＣＧデータとして作成された鑑賞の対象となる物（鑑賞対象物）の形状を模した模型である。ここでは、レプリカ２０は、超音波受信器２１と、ジャイロセンサ２２とを備えている。
【００４７】
超音波受信器２１は、複数の超音波発信器４０から発信される超音波の周波数の位相差、到達タイミングのずれを検出するものである。この超音波受信器２１で検出された周波数の位相差等は、ケーブル（図示せず）等を介してＣＧ提示装置１０に送信される。これによって、ＣＧ提示装置１０では、仮想の三次元空間上におけるレプリカ２０の位置を測定することができる。
【００４８】
ジャイロセンサ２２は、レプリカ２０の向きを検出するものである。このジャイロセンサ２２には、例えば、３軸ジャイロセンサを用い、ロール、ピッチ及びヨーの３軸の傾きを検出する。このジャイロセンサ２２で検出された向き（例えば、ロール、ピッチ及びヨー）は、ケーブル（図示せず）等を介してＣＧ提示装置１０に送信される。これによって、ＣＧ提示装置１０では、仮想の三次元空間上におけるレプリカ２０の姿勢を検出することができる。
【００４９】
表示装置３０は、ＣＧ画像を表示するための一般的な表示装置であって、例えば、プラズマディスプレイパネル（ＰＤＰ）、液晶ディスプレイ（ＬＣＤ）等である。
【００５０】
超音波発信器４０は、超音波を発信するものである。なお、超音波発信器４０は、表示装置３０の周り、鑑賞者Ｍの後ろ側、天井を支える柱等、複数の位置に設置され、それぞれが発信する超音波の周波数は異なるものとする。
【００５１】
カメラ５０は、鑑賞者Ｍを撮影するものである。このカメラ５０で撮影された画像が、鑑賞者Ｍの位置（視点位置）を測定するために、ＣＧ提示装置１０に送信される。なお、ここでは、カメラ５０を、表示装置３０の予め定めた位置である中央上部（カメラ５０U）、左側部（カメラ５０L）及び右側部（カメラ５０R）にそれぞれ設置している。
【００５２】
カメラ５０U（第１のカメラ）は、鑑賞者Ｍの立ち位置を測定するための画像を撮影するものである。具体的には、カメラ５０Uは、鑑賞者Ｍの足下を撮影する。これによって、ＣＧ提示装置１０では、カメラ５０Uによって撮影された画像（足下画像）と、予め撮影された背景画像との差分をとることで、鑑賞者Ｍの立ち位置が、表示装置３０からどれだけ離れているか、表示装置３０に対して左右どちらにずれているか等を測定することができる。
【００５３】
カメラ５０L及びカメラ５０R（第２のカメラ）は、鑑賞者Ｍの視点位置の高さを測定するための画像を撮影するものである。具体的には、カメラ５０L及びカメラ５０Rは、少なくとも鑑賞者Ｍの顔を含んだ上半身を撮影する。これによって、ＣＧ提示装置１０では、カメラ５０L（又はカメラ５０R）で撮影された画像（鑑賞者画像）と、予め撮影された背景画像との差分をとることで、鑑賞者Ｍの領域を抽出し、その抽出された画像から顔の統計的な特徴量に基づいて、顔を検出し、視点位置（目の位置）の高さを測定する。
【００５４】
ここで、視点位置の高さを測定するための画像を撮影するカメラを、カメラ５０L及びカメラ５０Rの２台としたのは、鑑賞者Ｍの移動範囲を広くとるためである。例えば、ＣＧ提示装置１０は、カメラ５０Uが撮影した画像によって、鑑賞者Ｍの立ち位置が、左にずれていると判断した場合は、カメラ５０Lが撮影した画像から視点位置の高さを測定し、右にずれていると判断した場合は、カメラ５０Rが撮影した画像から視点位置の高さを測定する。なお、鑑賞者Ｍの移動範囲を広くとる必要がない場合は、視点位置の高さ測定用のカメラを１台とし、例えば、表示装置３０の中央下部に設置することとしてもよい。
このように、カメラ５０Uで撮影された画像と、カメラ５０L又はカメラ５０Rで撮影された画像とを用いることで、ＣＧ提示装置１０は、仮想の三次元空間上における鑑賞者Ｍの視点位置を測定することができる。
【００５５】
［ＣＧ提示装置の構成］
次に、図２を参照（適宜図１参照）して、ＣＧ提示装置の構成について説明する。図２は、本発明に係るＣＧ提示装置の構成を示すブロック図である。図２に示すように、ＣＧ提示装置１０は、ＣＧデータ記憶手段１１と、制御手段ＣＯとしての鑑賞者視点位置測定手段１２と、レプリカ位置・姿勢測定手段１３と、ＣＧ生成手段１４とを備えている。
【００５６】
ＣＧデータ記憶手段１１は、予め鑑賞の対象となる鑑賞対象物のＣＧデータを記憶しておくものであって、ハードディスク等の一般的な記憶装置である。このＣＧデータ記憶手段１１に記憶されるＣＧデータは、例えば、一般的なボリュームレンダリング法におけるボリュームデータである。このボリュームデータは、鑑賞対象物が存在する三次元空間をボクセル（ｖｏｘｅｌ：ｖｏｌｕｍｅ ｅｌｅｍｅｎｔ）と呼ばれる立方体に分割し、各ボクセルの色情報、透明度、反射率等の情報を三次元配列としたデータである。
【００５７】
鑑賞者視点位置測定手段１２は、仮想の三次元空間における鑑賞者の現在の視点位置を測定するものである。この鑑賞者視点位置測定手段１２で測定された視点位置は、ＣＧ生成手段１４に出力される。なお、鑑賞者視点位置測定手段１２は、ここでは、図３に示すような、表示装置３０の表示画面の中心から床面に下ろした垂線と床面との交点を原点Ｏ（基準位置）とし、この原点Ｏを通り、表示画面の水平方向に平行なＸ軸、表示画面の垂直方向に平行なＹ軸、Ｘ軸及びＹ軸からなるＸＹ平面に直交するＺ軸とした仮想の三次元座標空間上における位置を測定するものとする。
ここでは、鑑賞者視点位置測定手段１２は、立ち位置測定手段１２ａと、頭頂部検出手段１２ｂと、顔検出手段１２ｃと、視点高測定手段１２ｄとを備えている。
【００５８】
立ち位置測定手段１２ａは、床面に立っている鑑賞者の立ち位置を検出するものである。ここでは、立ち位置測定手段１２ａは、カメラ５０Uで撮影された画像を入力し、その撮影画像（足下画像）と、予め鑑賞者が存在しない状態で撮影した背景画像との差分をとることで、鑑賞者の立ち位置（例えば、つま先）を検出する。
【００５９】
ここで、図４を参照（適宜図２参照）して、鑑賞者の立ち位置の検出手法について説明する。図４は、鑑賞者の立ち位置を検出する手法を説明するための説明図であって、（ａ）は背景画像、（ｂ）は足下画像、（ｃ）は差分画像を示している。
【００６０】
まず、立ち位置測定手段１２ａは、予め図４（ａ）に示すような背景画像を図示していない記憶手段に記憶しておく。なお、ここでは、背景画像の４点（Ｌａ，Ｌｂ，Ｌｃ，Ｌｄ）に、予め図３に示したＸＺ平面における座標を対応付けておく。そして、立ち位置測定手段１２ａは、図４（ａ）に示す背景画像と、図４（ｂ）に示すカメラ５０Uで撮影された足下画像との差分をとることで、図４（ｃ）に示す差分画像を生成する。この差分画像は、鑑賞者の足のみの画像となる。そこで、立ち位置測定手段１２ａは、その足もとの先端、あるいは両足の先端の中間位置を、鑑賞者の立ち位置とする。なお、この立ち位置の座標は、背景画像に対応付けられている４点（Ｌａ，Ｌｂ，Ｌｃ，Ｌｄ）の座標から相対的に算出することができる。これによって、図３に示したＸＺ平面における鑑賞者の立ち位置のＸ座標及びＺ座標である（Ｃｘ，Ｃｚ）を求めることができる。
図２に戻って、ＣＧ提示装置１０の構成の説明を続ける。
【００６１】
なお、この立ち位置測定手段１２ａで測定された鑑賞者の立ち位置は、鑑賞者の視点位置を測定するためのみならず、後記するＣＧ画像生成手段１４ｂにおいて、表示すべきＣＧ画像の表示モードを切り替えるための基準としても使用することができる。この表示モードの切り替えについては、ＣＧ画像生成手段１４ｂを説明する際に行うこととする。
【００６２】
頭頂部検出手段１２ｂは、カメラ５０L又はカメラ５０Rで撮影された画像（鑑賞者画像）から、鑑賞者を検出し、その鑑賞者の頭頂部の位置を特定（検出）するものである。なお、ここでは、頭頂部検出手段１２ｂは、立ち位置測定手段１２ａにおいて測定された鑑賞者の立ち位置が、表示装置３０に対して左にずれている場合は、カメラ５０Lが撮影した画像から鑑賞者を検出し、表示装置３０に対して右にずれている場合は、カメラ５０Rが撮影した画像から鑑賞者を検出する。また、鑑賞者の立ち位置が、表示装置３０に対して中央に位置する場合（Ｘ座標が“０”）は、カメラ５０L又はカメラ５０Rで撮影された画像のいずれか一方から鑑賞者を検出するものとする。
【００６３】
ここで、頭頂部検出手段１２ｂは、カメラ５０L又はカメラ５０Rで撮影された画像を入力し、その撮影画像（鑑賞者画像）と、予め鑑賞者が存在しない状態で撮影した背景画像との差分をとることで、鑑賞者を検出し、その最上位の画素位置を鑑賞者の頭頂部とする。
【００６４】
顔検出手段１２ｃは、頭頂部検出手段１２ｂで検出された鑑賞者の頭頂部から予め定めた所定の範囲内において、鑑賞者の顔の領域を検出するものである。ここで、画像から鑑賞者の顔を検出するには、一般的な検出技術を用いることができる。例えば、顔検出手段１２ｃは、顔の特徴量（目、口等の特徴量）を予め学習データとして保持しておき、その特徴量に最も類似する領域を顔と判定する。このように、顔を検出する範囲を小さくしておくと、検出の高速化を図ることができる。
【００６５】
視点高測定手段１２ｄは、顔検出手段１２ｃで検出された顔の領域から目を特定し、基準位置に対する鑑賞者の目の高さを測定するものである。ここでは、視点高測定手段１２ｄは、顔検出手段１２ｃで検出された顔の領域の重心位置を算出し、その重心位置から、予め定めたオフセット値により補正を行うことで、その位置を目の位置とする。なお、この目の位置の座標は、予め背景画像と、あるＺ座標（図３参照）における高さとを数点（例えば、４点）対応付けておくことで、鑑賞者の目の高さを相対的に算出する。ただし、鑑賞者は、Ｚ方向（カメラの光軸方向）に移動するため、立ち位置測定手段１２ａで測定された鑑賞者の立ち位置に基づいて、鑑賞者の目の高さを補正する。
【００６６】
具体的には、背景画像に対応付けたあるＺ座標の値（＝ｚ1）における目の高さ（＝ｙ1）において、立ち位置測定手段１２ａで測定された鑑賞者の立ち位置のＺ座標の値がｚ2である場合、実際の目の高さｙ2を、以下の（１）式で算出する。
ｙ2＝（ｚ2／ｚ1）ｙ1 …（１）
【００６７】
このように、鑑賞者視点位置測定手段１２は、図３に示した三次元空間（Ｘ，Ｙ，Ｚ）において、立ち位置測定手段１２ａで測定された鑑賞者の立ち位置であるＸ座標及びＺ座標と、視点高測定手段１２ｄで測定された目の高さであるＹ座標とで特定される位置を鑑賞者の視点位置とする。
【００６８】
なお、ここでは、鑑賞者視点位置測定手段１２は、カメラ５０Uで撮影された画像（足下画像）から鑑賞者の立ち位置を測定し、カメラ５０L又はカメラ５０Rで撮影された画像（鑑賞者画像）から鑑賞者Ｍの視点位置の高さを測定することで、鑑賞者の視点位置を測定したが、複数のカメラで鑑賞者を撮影した画像から、ステレオマッチング法によって視点位置を測定することとしてもよい。あるいは、鑑賞者にヘッドマウントディスプレイや、眼鏡に磁気センサ、超音波センサ、ジャイロセンサ等を取りつけて視点位置を測定することとしてもよいが、鑑賞者がセンサ等を装着しなければならないため、本実施の形態の方が好ましいといえる。
【００６９】
レプリカ位置・姿勢測定手段１３は、仮想的に設定された三次元空間におけるレプリカの位置及び向きを測定するものである。このレプリカ位置・姿勢測定手段１３で測定されたレプリカの位置及び向きはＣＧ生成手段１４に出力される。なお、レプリカ位置・姿勢測定手段１３は、図３に示した、表示装置３０を基準とした仮想の三次元空間（Ｘ，Ｙ，Ｚ）において、レプリカの位置及び向きを測定するものとする。
ここでは、レプリカ位置・姿勢測定手段１３は、レプリカ位置測定手段１３ａと、レプリカ姿勢測定手段１３ｂとを備えている。
【００７０】
レプリカ位置測定手段１３ａは、レプリカ２０の位置を測定するものである。具体的には、レプリカ位置測定手段１３ａは、レプリカ２０に備え付けられている超音波受信器２１から出力される、複数の超音波発信器４０から発信される超音波の周波数の位相差、到達タイミングのずれ等に基づいて、図３に示した三次元空間（Ｘ，Ｙ，Ｚ）において、レプリカ２０の位置（超音波受信器２１の位置に相当）を測定する。
【００７１】
レプリカ姿勢測定手段１３ｂは、レプリカ２０の向きを測定するものである。具体的には、レプリカ姿勢測定手段１３ｂは、レプリカ２０に備え付けられているジャイロセンサ２２から出力される、ジャイロセンサ２２で検出された姿勢情報（例えば、ロール、ピッチ及びヨー）を、レプリカ２０の向きとして測定する。
【００７２】
なお、ここでは、レプリカ位置測定手段１３ａは、超音波受信器２１によってレプリカ２０の位置を測定し、レプリカ姿勢測定手段１３ｂは、ジャイロセンサ２２によってレプリカ２０の向きを測定したが、レプリカ２０にバーコード等のパターンを貼付し、複数のカメラで撮影した画像から、ステレオマッチング法によって、レプリカ２０の位置や向きを測定することとしてもよい。
【００７３】
ＣＧ生成手段１４は、レプリカ２０のＣＧ画像を生成し、表示装置３０に提示するものである。ここでは、ＣＧ生成手段１４は、ＣＧ領域算出手段１４ａと、ＣＧ画像生成手段１４ｂとを備えている。
【００７４】
ＣＧ領域算出手段１４ａは、鑑賞者視点位置測定手段１２で測定された鑑賞者の視点位置と、表示装置３０の表示領域の四隅とからなる四角錐の仮想領域における、レプリカ位置・姿勢測定手段１３で測定されたレプリカ２０の位置及び向き基づいて、表示装置３０に提示する鑑賞対象物のＣＧの領域を算出するものである。このＣＧ領域算出手段１４ａで算出されたＣＧの領域は、ＣＧ画像生成手段１４ｂに出力される。
【００７５】
なお、ＣＧ領域算出手段１４ａは、レプリカ位置・姿勢測定手段１３で測定されたレプリカ２０の位置に、予め定めた方向のオフセットを付加することとしてもよい。これによって、鑑賞者の視線方向において、レプリカ２０と、表示装置３０に表示されるＣＧ画像とがずれることになり、鑑賞者にとってＣＧ画像が見やすくなる。
【００７６】
ここで、図５及び図６を参照（適宜図２参照）して、ＣＧ領域算出手段１４ａが、表示装置３０に提示（表示）する鑑賞対象物のＣＧの領域を算出する手法について説明する。図５は、仮想的に設定された三次元空間において、視点位置とレプリカと表示装置との関係を説明するための説明図である。図６は、視点位置を仮想カメラ位置としたときの、表示領域内に含まれる仮想カメラの撮影画角の四隅と視点位置との関係を説明するための説明図である。
【００７７】
図５では、表示装置３０の表示領域（表示画面）が、図３で説明した三次元空間に、仮想表示領域Ｄｖとして予め設定されているものとする。ここでは、仮想表示領域Ｄｖの幅を２ｗ、高さを２ｔとする。そして、仮想表示領域Ｄｖの中心Ｐｏの座標がＰｏ＝（０，ｈ，０）、仮想表示領域Ｄｖの四隅（各頂点）の座標Ｐａ，Ｐｂ，Ｐｃ，Ｐｄが、それぞれ、Ｐａ＝（−ｗ，ｈ＋ｔ，０）、Ｐｂ＝（−ｗ，ｈ−ｔ，０）、Ｐｃ＝（ｗ，ｈ−ｔ，０）、Ｐｄ＝（ｗ，ｈ＋ｔ，０）とする。
【００７８】
また、ここでは、視点位置ＣがＣ＝（Ｃｘ，Ｃｙ，Ｃｚ）、レプリカ２０の位置ＲがＲ＝（Ｒｘ，Ｒｙ，Ｒｚ）であったとする。
これによって、視点位置Ｃとレプリカ２０と表示装置の仮想表示領域Ｄｖとが、仮想の三次元座標空間において特定される。
【００７９】
このとき、ＣＧ領域算出手段１４ａは、図６に示すように、視点位置を仮想カメラ（視点）位置Ｃとし、表示装置の表示領域である仮想表示領域Ｄｖを含む（内接する）仮想カメラの撮影画角Ｄｃの四隅（Ｐａ´，Ｐｂ´，Ｐｃ´，Ｐｄ´）と、仮想カメラ位置Ｃとからなる四角錐（Ｃ，Ｐａ´，Ｐｂ´，Ｐｃ´，Ｐｄ´）を仮想的に設定する。なお、仮想カメラ位置Ｃからの視線方向は仮想表示領域Ｄｖの中心Ｐｏを常に向いているものとする。
そして、ＣＧ領域算出手段１４ａは、この四角錐（Ｃ，Ｐａ´，Ｐｂ´，Ｐｃ´，Ｐｄ´）に含まれる鑑賞対象物のＣＧの領域を算出する。
これによって、図５に示すように、仮想カメラ映像Ｉに示すように、レプリカ２０に対応するＣＧの領域を算出されることになる。
【００８０】
なお、図５において、レプリカ２０の位置にオフセットを付加する場合、例えば、レプリカ２０の位置Ｒ＝（Ｒｘ，Ｒｙ，Ｒｚ）に対して、Ｒ＝（Ｒｘ，Ｒｙ＋Ｏｆｆｓｅｔ，Ｒｚ）と、Ｏｆｆｓｅｔ分、Ｙ座標を増加させることで、仮想表示領域Ｄｖには、このオフセットに対応して上方向にずれたＣＧの領域が算出されることになる。なお、このオフセットは、視点位置に対して付加することとしてもよい。
図２に戻って、ＣＧ提示装置１０の構成の説明を続ける。
【００８１】
ＣＧ画像生成手段１４ｂは、ＣＧ領域算出手段１４ａで算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段１１に記憶されているＣＧデータから、ＣＧ画像を生成し表示装置３０に出力するものである。
このＣＧ画像生成手段１４ｂは、ＣＧ領域算出手段１４ａで算出されたＣＧの領域に対応するＣＧデータをＣＧデータ記憶手段１１から読み出して、例えば、ＣＧデータとして設定されている色情報、透明度、反射率等に基づいてＣＧ画像を生成する。
【００８２】
なお、ここでは、ＣＧ画像生成手段１４ｂは、立ち位置測定手段１２ａで測定された鑑賞者の立ち位置に基づいて、ＣＧ画像を表示する方式を切り替えることとする。例えば、ＣＧ画像生成手段１４ｂは、表示装置３０に対する鑑賞者の左右、前後の立ち位置によって、同一の鑑賞対象物において、その表示方法を切り替える。
【００８３】
ここで、図７を参照して、ＣＧ画像生成手段１４ｂが行う表示モードの切り替えについて説明する。図７は、鑑賞者の立ち位置によって表示モードが切り替わる状態を示した模式図であって、（ａ）は鑑賞者の立ち位置が表示装置に対して正面中央である場合、（ｂ）は鑑賞者の立ち位置が表示装置に対して中央より左側である場合、（ｃ）は鑑賞者の立ち位置が表示装置に対して中央より右側である場合を示している。
【００８４】
図７（ａ）に示すように、鑑賞者の立ち位置が表示装置に対して正面中央である場合、ＣＧ画像生成手段１４ｂは、レプリカ２０（ここでは人形）に対応する「骨」のみの画像をＣＧ画像として生成する。また、図７（ｂ）に示すように、鑑賞者の立ち位置が表示装置に対して中央より左側である場合、ＣＧ画像生成手段１４ｂは、レプリカ２０に対応する「内蔵」のみの画像をＣＧ画像として生成する。また、図７（ｃ）に示すように、鑑賞者の立ち位置が表示装置に対して中央より右側である場合、ＣＧ画像生成手段１４ｂは、レプリカ２０に対応する「皮膚」のみの画像をＣＧ画像として生成する。
【００８５】
なお、ここでは、鑑賞者の立ち位置を３つの領域に区分して、表示モードを切り替える例を示したが、この区分はこれに限定されるものではない。
この図７に示した表示モードの切り替えは、ＣＧデータが、ボリュームレンダリング法におけるボリュームデータである場合、ＣＧ画像生成手段１４ｂが、鑑賞者の立ち位置によって、ボクセルの透明度を変化させることで実現することができる。
【００８６】
以上説明したように、ＣＧ提示装置１０は、鑑賞者が手にしたレプリカ２０の位置や向きに合わせて、鑑賞者の視線の先にある表示装置３０に、レプリカ２０のＣＧ画像を表示することができる。また、鑑賞者の立ち位置によって、表示モードを切り替えることができるため、同一の鑑賞対象物であっても、展示方法を変えることができる。
なお、ＣＧ提示装置１０は、コンピュータを制御手段ＣＯの各手段として機能させるＣＧ提示プログラムによって動作する。
【００８７】
以上、本発明に係るＣＧ提示装置１０の構成について説明したが、本発明はこれに限定されるものではない。例えば、ＣＧ提示装置１０の制御手段ＣＯである鑑賞者視点位置測定手段１２と、レプリカ位置・姿勢測定手段１３と、ＣＧ生成手段１４とを、それぞれ異なるコンピュータによって、機能させることも可能である。このように機能を分散することで、レプリカ２０の動きに連動してＣＧ画像を高速に表示することができる。
【００８８】
［ＣＧ提示装置の動作］
次に、図８を参照（適宜図２参照）して、ＣＧ提示装置の動作について説明する。図８は、本発明に係るＣＧ提示装置の動作を示すフローチャートである。
【００８９】
（測定ステップ：鑑賞者視点位置測定ステップ）
まず、ＣＧ提示装置１０は、鑑賞者視点位置測定手段１２の立ち位置測定手段１２ａによって、立ち位置検出用のカメラ５０Uで撮影された画像を入力する（ステップＳ１）。そして、立ち位置測定手段１２ａは、ステップＳ１で撮影された画像から、床面に立っている鑑賞者のつま先を背景差分により検出し、鑑賞者の立ち位置を算出する（ステップＳ２）。
【００９０】
そして、ＣＧ提示装置１０は、鑑賞者視点位置測定手段１２の頭頂部検出手段１２ｂによって、鑑賞者の立ち位置により、左右のカメラ（５０L又は５０R）で撮影された画像のいずれか一方を選択し入力する（ステップＳ３）。さらに、頭頂部検出手段１２ｂによって、その選択されたカメラで撮影された画像と、予め撮影した背景画像との差分をとることで、鑑賞者の頭頂部を検出し、顔検出手段１２ｃによって、その頭頂部を基準として顔を検出する範囲を限定し顔を検出する（ステップＳ４）。そして、視点高測定手段１２ｄは、顔の領域における重心位置から、予め定めたオフセット値により、目の位置を特定し、目の高さを算出する（ステップＳ５）。
このように、ステップＳ２で算出された鑑賞者の立ち位置と、ステップＳ５で算出された目の高さとによって、仮想の三次元空間における鑑賞者の視点位置が測定される。
【００９１】
（測定ステップ：レプリカ位置測定ステップ）
また、ＣＧ提示装置１０は、レプリカ位置・姿勢測定手段１３のレプリカ位置測定手段１３ａによって、レプリカ２０に備え付けられている超音波受信器２１から出力される超音波発信器４０から発信される超音波の周波数の位相差、到達タイミングのずれ等に基づいて、仮想の三次元空間におけるレプリカ２０の位置を測定する（ステップＳ６）。
【００９２】
（測定ステップ：レプリカ姿勢測定ステップ）
さらに、ＣＧ提示装置１０は、レプリカ姿勢測定手段１３ｂによって、レプリカ２０に備え付けられているジャイロセンサ２２から出力される、ジャイロセンサ２２で検出された向きを、レプリカ２０の向きとして測定する（ステップＳ７）。
この段階で、鑑賞者の視点位置と、レプリカ２０の位置及び向きとが測定されたことになる。
【００９３】
（ＣＧ領域算出ステップ）
そして、ＣＧ提示装置１０は、ＣＧ生成手段１４のＣＧ領域算出手段１４ａによって、鑑賞者の視点位置と、予め設定された表示装置３０の表示領域の四隅とからなる四角錐の仮想領域における、レプリカ２０の位置及び向きに基づいて、表示装置３０に提示する鑑賞対象物のＣＧの領域を算出する（ステップＳ８）。
【００９４】
（ＣＧ画像生成ステップ）
ここでは、図３に示したＸＺ平面における、鑑賞者の立ち位置のＸ軸の値に基づいて、表示するＣＧ画像の表示モードを変えることとする。
そこで、ＣＧ提示装置１０は、ＣＧ画像生成手段１４ｂによって、ステップＳ２で算出された鑑賞者の立ち位置を判定する（ステップＳ９）。
そして、鑑賞者の立ち位置のＸ座標が、予め定めた２つの閾値（ｘ１、ｘ２）の範囲内の場合（ｘ１≦Ｘ≦ｘ２）、ＣＧ画像生成手段１４ｂは、第１の表示モードとして、例えば、レプリカ２０（ここでは人形）に対応する「骨」のみの画像をＣＧ画像として生成する（ステップＳ１０）。
【００９５】
また、鑑賞者の立ち位置のＸ座標が、閾値ｘ１より小さい場合（Ｘ＜ｘ１）、ＣＧ画像生成手段１４ｂは、第２の表示モードとして、例えば、レプリカ２０に対応する「内蔵」のみの画像をＣＧ画像として生成する（ステップＳ１１）。
さらに、鑑賞者の立ち位置のＸ座標が、閾値ｘ２より大きい場合（ｘ２＜Ｘ）、ＣＧ画像生成手段１４ｂは、第３の表示モードとして、例えば、レプリカ２０に対応する「皮膚」のみの画像をＣＧ画像として生成する（ステップＳ１２）。
【００９６】
そして、ＣＧ画像生成手段１４ｂは、ステップＳ１０、Ｓ１１又はＳ１２で生成されたＣＧ画像を表示装置３０に出力し、鑑賞者にＣＧ画像を提示する（ステップＳ１３）。
以上の動作が連続して実行されることで、鑑賞者のレプリカ２０の操作に連動して、リアルタイムで、ＣＧ画像が提示される。
なお、前記した鑑賞者視点位置測定ステップ（ステップＳ１〜Ｓ５）、レプリカ位置測定ステップ（ステップＳ６）、及び、レプリカ姿勢測定ステップ（ステップＳ７）は、必ずしもこの順番で動作させる必要はない。
【００９７】
以上の動作によって、ＣＧ提示装置１０は、鑑賞者の視点位置と、レプリカ２０の位置及び向きとを測定し、鑑賞者がレプリカ２０を見ている視線方向に配置されている表示装置３０に、レプリカ２０の動きに連動したＣＧ画像を提示することができる。
【００９８】
［ＣＧ提示装置の利用例］
以上の説明においては、本発明に係るＣＧ提示装置が、博物館等で用いるＣＧ表示システムとして利用される形態について説明したが、ここでは、図９を参照（適宜図２参照）して、本発明に係るＣＧ提示装置の他の利用形態について説明する。
図９は、レプリカを、テレビジョン装置を操作するリモコンとした例を示す概念図である。図９では、鑑賞者が、テレビジョン装置Ｔｖを操作するリモコン（レプリカ）２０を、テレビジョン装置Ｔｖの前に差し出すことで、テレビジョン装置Ｔｖの画面上にリモコン２０のボタンの操作方法、ボタンの機能等を表示する例を示している。
この場合、ＣＧ提示装置１０は、予め設定されたテレビジョン装置Ｔｖの位置を基準として、鑑賞者の視点位置と、リモコン（レプリカ）２０の位置とを測定する。
【００９９】
そして、ＣＧ提示装置１０は、視聴しているチャンネルや、操作モード（例えば、ビデオ装置の操作等）によって、テレビジョン装置Ｔｖに提示する画像を変える。すなわち、ＣＧ画像生成手段１４ｂにおいて、現在の操作モード等によって、テレビジョン装置Ｔｖに提示する画像を変える。例えば、操作モードが、「ビデオ装置の操作」である場合、テレビジョン装置Ｔｖの画面には、リモコンの各ボタンの機能（「巻き戻し」、「早送り」、「停止」、「取り出し」等）をリモコンの画像とともに表示させる。これによって、リモコンのボタンを最小限に集約することができるとともに、現在動作可能な操作を視覚化できるため、簡単で直感的な操作が可能になる。
【図面の簡単な説明】
【０１００】
【図１】本発明に係るＣＧ表示システムの全体構成を示す模式図である。
【図２】本発明に係るＣＧ提示装置の構成を示すブロック図である。
【図３】表示装置を基準とした仮想の三次元座標空間を示す概念図である。
【図４】鑑賞者の立ち位置を検出する手法を説明するための説明図であって、（ａ）は背景画像、（ｂ）は足下画像、（ｃ）は差分画像を示している。
【図５】視点位置とレプリカと表示装置との関係を説明するための説明図である。
【図６】視点位置を仮想カメラ位置としたときの、仮想カメラの撮影画角内に含まれる表示領域の四隅と視点位置との関係を説明するための説明図である。
【図７】鑑賞者の立ち位置によって表示モードが切り替わる状態を示した模式図であって、（ａ）は鑑賞者の立ち位置が表示装置に対して正面中央である場合、（ｂ）は鑑賞者の立ち位置が表示装置に対して中央より左側である場合、（ｃ）は鑑賞者の立ち位置が表示装置に対して中央より右側である場合を示している。
【図８】本発明に係るＣＧ提示装置の動作を示すフローチャートである。
【図９】レプリカを、テレビジョン装置を操作するリモコンとした例を示す概念図である。
【符号の説明】
【０１０１】
１ ＣＧ表示システム
１０ ＣＧ提示装置
１１ ＣＧデータ記憶手段
１２ 鑑賞者視点位置測定手段
１２ａ 立ち位置測定手段
１２ｂ 頭頂部検出手段
１２ｃ 顔検出手段
１２ｄ 視点高測定手段
１３ レプリカ位置・姿勢測定手段
１３ａ レプリカ位置測定手段
１３ｂ レプリカ姿勢測定手段
１４ ＣＧ生成手段
１４ａ ＣＧ領域算出手段
１４ｂ ＣＧ画像生成手段
２０ レプリカ
２１ 超音波受信器
２２ ジャイロセンサ
３０ 表示装置
４０ 超音波発信器
５０ カメラ
５０U カメラ（第１のカメラ）
５０L、５０R カメラ（第２のカメラ）
【特許請求の範囲】
【請求項１】
ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するＣＧ提示装置であって、
前記鑑賞対象物のＣＧデータを記憶するＣＧデータ記憶手段と、
予め定められた基準位置に対する前記鑑賞者の視点位置を測定する鑑賞者視点位置測定手段と、
前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段と、
前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段と、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置から見たときの前記表示装置に提示する前記鑑賞対象物のＣＧの領域を算出するＣＧ領域算出手段と、
このＣＧ領域算出手段で算出されたＣＧの領域に基づいて、前記ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し前記表示装置に出力するＣＧ画像生成手段と、
を備えていることを特徴とするＣＧ提示装置。
【請求項２】
前記ＣＧ領域算出手段は、前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐において、前記鑑賞対象物のＣＧの領域を算出することを特徴とする請求項１に記載のＣＧ提示装置。
【請求項３】
前記鑑賞者視点位置測定手段は、
予め定められた位置に固定した第１のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する立ち位置測定手段と、
予め定められた位置に固定した第２のカメラによって撮影された、前記鑑賞者を撮影した鑑賞者画像と、予め撮影された前記鑑賞者画像に対応する背景画像との差分画像に基づいて、前記鑑賞者の頭頂部を検出する頭頂部検出手段と、
この頭頂部検出手段で検出された頭頂部から所定の範囲内において、前記鑑賞者の顔の領域を検出する顔検出手段と、
この顔検出手段で検出された顔の領域における重心位置から、前記鑑賞者の目の位置を特定し、前記基準位置に対する前記鑑賞者の目の高さを測定する視点高測定手段と、
を備えていることを特徴とする請求項１又は請求項２に記載のＣＧ提示装置。
【請求項４】
予め定められた位置に固定した第１のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する立ち位置測定手段を備え、
前記ＣＧ画像生成手段が、前記立ち位置測定手段で測定された鑑賞者の立ち位置に基づいて、表示内容の異なるＣＧ画像を生成することを特徴とする請求項１又は請求項２に記載のＣＧ提示装置。
【請求項５】
前記ＣＧ領域算出手段は、前記鑑賞者視点位置測定手段で測定された視点位置、又は、前記レプリカ位置測定手段で測定されたレプリカの位置に、予め定めた方向のオフセットを付加して、前記鑑賞対象物のＣＧの領域を算出することを特徴とする請求項１乃至請求項４のいずれか一項に記載のＣＧ提示装置。
【請求項６】
ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するＣＧ提示方法であって、
予め定められた基準位置に対する前記鑑賞者の視点位置、前記レプリカの位置及び向きを測定する測定ステップと、
この測定ステップで測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置から見たときの前記表示装置に提示する前記鑑賞対象物のＣＧの領域を算出するＣＧ領域算出ステップと、
このＣＧ領域算出ステップで算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し前記表示装置に出力するＣＧ画像生成ステップと、
を含んでいることを特徴とするＣＧ提示方法。
【請求項７】
ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するために、コンピュータを、
予め定められた基準位置に対する前記鑑賞者の視点位置を測定する鑑賞者視点位置測定手段、
前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段、
前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記表示装置に提示する前記鑑賞対象物のＣＧの領域を算出するＣＧ領域算出手段、
このＣＧ領域算出手段で算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し前記表示装置に出力するＣＧ画像生成手段、
として機能させることを特徴とするＣＧ提示プログラム。
【請求項８】
ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するＣＧ表示システムであって、
前記鑑賞対象物のＣＧデータを記憶するＣＧデータ記憶手段と、
超音波受信器とジャイロセンサとを備えた前記レプリカと、
前記レプリカの周囲に配置された複数の超音波発信器と、
前記鑑賞者を撮影するカメラと、
このカメラによって撮影された画像に基づいて、予め定められた基準位置に対する前記鑑賞者の視点位置を測定する鑑賞者視点位置測定手段と、
前記超音波受信器で受信した、前記超音波発信器が発信した超音波の位相に基づいて、前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段と、
前記ジャイロセンサから出力される姿勢情報に基づいて、前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段と、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置から見たときの前記表示装置に提示する前記鑑賞対象物のＣＧの領域を算出するＣＧ領域算出手段と、
このＣＧ領域算出手段で算出されたＣＧの領域に基づいて、前記ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成するＣＧ画像生成手段と、
このＣＧ画像生成手段で生成されたＣＧ画像を表示する前記表示手段と、
を備えていることを特徴とするＣＧ表示システム。
【請求項１】
ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するＣＧ提示装置であって、
前記鑑賞対象物のＣＧデータを記憶するＣＧデータ記憶手段と、
予め定められた基準位置に対する前記鑑賞者の視点位置を測定する鑑賞者視点位置測定手段と、
前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段と、
前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段と、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置から見たときの前記表示装置に提示する前記鑑賞対象物のＣＧの領域を算出するＣＧ領域算出手段と、
このＣＧ領域算出手段で算出されたＣＧの領域に基づいて、前記ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し前記表示装置に出力するＣＧ画像生成手段と、
を備えていることを特徴とするＣＧ提示装置。
【請求項２】
前記ＣＧ領域算出手段は、前記鑑賞者の視点位置を、前記表示装置の表示領域の中心を向かせた仮想カメラ位置とし、前記表示領域を含む当該仮想カメラの撮影画角の四隅と、前記仮想カメラ位置とからなる四角錐において、前記鑑賞対象物のＣＧの領域を算出することを特徴とする請求項１に記載のＣＧ提示装置。
【請求項３】
前記鑑賞者視点位置測定手段は、
予め定められた位置に固定した第１のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する立ち位置測定手段と、
予め定められた位置に固定した第２のカメラによって撮影された、前記鑑賞者を撮影した鑑賞者画像と、予め撮影された前記鑑賞者画像に対応する背景画像との差分画像に基づいて、前記鑑賞者の頭頂部を検出する頭頂部検出手段と、
この頭頂部検出手段で検出された頭頂部から所定の範囲内において、前記鑑賞者の顔の領域を検出する顔検出手段と、
この顔検出手段で検出された顔の領域における重心位置から、前記鑑賞者の目の位置を特定し、前記基準位置に対する前記鑑賞者の目の高さを測定する視点高測定手段と、
を備えていることを特徴とする請求項１又は請求項２に記載のＣＧ提示装置。
【請求項４】
予め定められた位置に固定した第１のカメラによって撮影された、前記鑑賞者の足下を撮影した足下画像と、予め撮影された前記足下画像に対応する背景画像との差分画像に基づいて、前記基準位置に対する前記鑑賞者の立ち位置を測定する立ち位置測定手段を備え、
前記ＣＧ画像生成手段が、前記立ち位置測定手段で測定された鑑賞者の立ち位置に基づいて、表示内容の異なるＣＧ画像を生成することを特徴とする請求項１又は請求項２に記載のＣＧ提示装置。
【請求項５】
前記ＣＧ領域算出手段は、前記鑑賞者視点位置測定手段で測定された視点位置、又は、前記レプリカ位置測定手段で測定されたレプリカの位置に、予め定めた方向のオフセットを付加して、前記鑑賞対象物のＣＧの領域を算出することを特徴とする請求項１乃至請求項４のいずれか一項に記載のＣＧ提示装置。
【請求項６】
ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するＣＧ提示方法であって、
予め定められた基準位置に対する前記鑑賞者の視点位置、前記レプリカの位置及び向きを測定する測定ステップと、
この測定ステップで測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置から見たときの前記表示装置に提示する前記鑑賞対象物のＣＧの領域を算出するＣＧ領域算出ステップと、
このＣＧ領域算出ステップで算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し前記表示装置に出力するＣＧ画像生成ステップと、
を含んでいることを特徴とするＣＧ提示方法。
【請求項７】
ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するために、コンピュータを、
予め定められた基準位置に対する前記鑑賞者の視点位置を測定する鑑賞者視点位置測定手段、
前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段、
前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記表示装置に提示する前記鑑賞対象物のＣＧの領域を算出するＣＧ領域算出手段、
このＣＧ領域算出手段で算出されたＣＧの領域に基づいて、ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成し前記表示装置に出力するＣＧ画像生成手段、
として機能させることを特徴とするＣＧ提示プログラム。
【請求項８】
ＣＧデータとして作成された鑑賞対象物の形状を模したレプリカの、鑑賞者に対する位置及び向きに連動して、前記鑑賞対象物のＣＧの位置、大きさ及び向きを変えて、表示装置に提示するＣＧ表示システムであって、
前記鑑賞対象物のＣＧデータを記憶するＣＧデータ記憶手段と、
超音波受信器とジャイロセンサとを備えた前記レプリカと、
前記レプリカの周囲に配置された複数の超音波発信器と、
前記鑑賞者を撮影するカメラと、
このカメラによって撮影された画像に基づいて、予め定められた基準位置に対する前記鑑賞者の視点位置を測定する鑑賞者視点位置測定手段と、
前記超音波受信器で受信した、前記超音波発信器が発信した超音波の位相に基づいて、前記基準位置に対する前記レプリカの位置を測定するレプリカ位置測定手段と、
前記ジャイロセンサから出力される姿勢情報に基づいて、前記表示装置の表示面に対する前記レプリカの向きを測定するレプリカ姿勢測定手段と、
測定された前記レプリカの位置及び向きと、予め定められた前記レプリカの大きさとに基づいて、前記鑑賞者の視点位置から見たときの前記表示装置に提示する前記鑑賞対象物のＣＧの領域を算出するＣＧ領域算出手段と、
このＣＧ領域算出手段で算出されたＣＧの領域に基づいて、前記ＣＧデータ記憶手段に記憶されているＣＧデータから、ＣＧ画像を生成するＣＧ画像生成手段と、
このＣＧ画像生成手段で生成されたＣＧ画像を表示する前記表示手段と、
を備えていることを特徴とするＣＧ表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００６−１２７００４（Ｐ２００６−１２７００４Ａ）
【公開日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【出願番号】特願２００４−３１２０２９（Ｐ２００４−３１２０２９）
【出願日】平成１６年１０月２７日（２００４．１０．２７）
【出願人】（５０４１４５３４２）国立大学法人九州大学 (960)
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
【公開日】平成１８年５月１８日（２００６．５．１８）
【国際特許分類】
【出願日】平成１６年１０月２７日（２００４．１０．２７）
【出願人】（５０４１４５３４２）国立大学法人九州大学 (960)
【出願人】（０００００４３５２）日本放送協会 (2,206)
【Ｆターム（参考）】
[ Back to top ]