立体表示処理装置および立体表示処理方法
【課題】単眼視差を表示することにより立体的な表示を行うことができる立体表示処理装置および立体表示処理方法を提供することを課題とする。
【解決手段】本発明は、少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置であって、記憶装置は、複数の観察位置から対象を表示することができる画像データを記憶し、制御装置は、記憶装置に記憶された画像データに基づいて、対象の画像が表示装置に表示されるよう制御し、検出装置を介して、表示装置に表示された画像を見ている人物の視線または視点を検出し、検出された視線または視点の変化に従って、対応する観察位置から対象が表示されるように制御することを特徴とする。
【解決手段】本発明は、少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置であって、記憶装置は、複数の観察位置から対象を表示することができる画像データを記憶し、制御装置は、記憶装置に記憶された画像データに基づいて、対象の画像が表示装置に表示されるよう制御し、検出装置を介して、表示装置に表示された画像を見ている人物の視線または視点を検出し、検出された視線または視点の変化に従って、対応する観察位置から対象が表示されるように制御することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体表示処理装置、立体表示処理方法および立体表示処理プログラムに関する。
【背景技術】
【０００２】
３次元グラフィックスデータに代表されるように、空間や立体など３次元の存在を表示画面に投影して描画することにより、利用者に立体感を感得させる方法には、例えば、左右の眼球の視差を発生させる方法や、利用者がマウスなどの入力装置を介して表示された対象物を回転できるように表示制御を行う方法などがある（以下、前者を「左右視差」、後者を「運動視差」とよぶ。）。
【０００３】
たとえば、左右視差を起こさせるものとしては、非特許文献１に記載のヘッドマウントディスプレイが挙げられる。すなわち、左右の眼球の前方に各々ディスプレイを備え、左右の眼球に異なる画像を視聴させる装置である。これにより、利用者は左右の視差から立体感を感じることができる。
【０００４】
また、運動視差を起こさせるものとしては、非特許文献２に記載の３Ｄ操作技術が挙げられる。
【０００５】
【非特許文献１】美貴本（Ｍｉｋｉｍｏｔｏ）、”ヘッドマウントディスプレイ AR vision-3D”、[online]、掲載年月日不明、美貴本、［平成１８年９月２０日検索］、インターネット＜ＵＲＬ：http://www.mikimoto-japan.com/beans/beans_hmd/next/products/trivisio/ar_vision_3d.htm＞
【非特許文献２】株式会社ヤッパ、”３Ｄビジネス＞テクノロジー”、[online]、掲載年月日不明、ＹＡＰＰＡ、［平成１８年９月２０日検索］、インターネット＜ＵＲＬ：http://www.yappa.co.jp/our_business/technology.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の左右視差を利用した立体表示装置では、複雑な表示装置が必要となる。すなわち、現在、多くのコンピュータやテレビの表示装置は１台の平面的表示装置で構成されているが、左右の視差を視聴者に知覚させるためには、左右の目に異なる画像をとらえさせる必要があるため、現在の表示装置を用いることができない。すなわち、ヘッドマウントディスプレイのように２台の表示装置で構成する場合は勿論のこと、１台の表示装置で構成する場合には、左右の視線方向の微妙な角度の差異から異なる画像を表示することができるように構成しなければならず現行の表示装置を用いることができないという問題がある。
【０００７】
また、運動視差を利用した表示装置では、利用者が手に取るように自由に立体を回転させることができる反面、日常生活で自然に発生する立体感を超えて、重力方向や巨大さなどの感覚が感じられ難くなってしまうという問題がある。また、映画やゲームのように対象物がいくつも存在するものでは、表示対象物とその他の表示物とのストーリー性が失われるという問題を有する。また、単に、必ず入力装置を介して利用者が入力を行わなければならず、煩雑であるという問題もある。
【０００８】
本発明は、上記に鑑みてなされたもので、一般的な表示装置を用いた簡単な構成で立体視を可能にする立体表示処理装置、立体表示処理方法および立体表示処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
このような目的を達成するため、請求項１に記載の発明は、少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置であって、前記記憶装置は、複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段を備え、前記制御装置は、前記画像記憶手段に記憶された前記画像データに基づいて、前記対象の画像が表示装置に表示されるよう制御する表示制御手段と、前記検出装置を介して、前記表示制御手段により前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出手段と、を備え、前記表示制御手段は、前記視点検出手段によって検出された前記視線または前記視点の変化に従って、対応する前記観察位置から前記対象が表示されるように制御する視差発生手段を備えたことを特徴とする。
【００１０】
また、請求項２に記載の発明は、少なくとも検出装置と制御装置とを備えた立体表示処理装置であって、前記制御装置は、受信装置を介して受信される画像データに基づいて、対象の画像が表示装置に表示されるよう制御する表示制御手段と、前記検出装置を介して、前記表示制御手段により前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出手段と、を備え、前記表示制御手段は、前記視点検出手段によって検出された前記視線または前記視点の変化に従って、対応する観察位置から前記対象が表示されるよう制御する視差発生手段
を備えたことを特徴とする。
【００１１】
また、請求項３に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視点検出手段は、前記検出装置を介して、前記表示装置に表示された前記画像を見ている人物の眼球を撮像し、撮像された前記眼球の情報から前記視線または前記視点を導出すること、を特徴とする。
【００１２】
また、請求項４に記載の発明は、請求項１乃至３のいずれか一つに記載の立体表示処理装置において、前記視点検出手段は、前記検出装置を介して、前記表示装置に表示された前記画像を見ている人物の視線を検出し、検出された前記視線と前記表示装置の表示画面平面との交点を前記視点として導出すること、を備えたことを特徴とする。
【００１３】
また、請求項５に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視点検出手段は、前記検出手段を制御して、眼球運動、眼球位置、または眼球状態を検出し、検出された前記眼球運動、前記眼球位置、または前記眼球状態から前記視線または前記視点の変化を導出することを特徴とする。
【００１４】
また、請求項６に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記検出装置は、撮像装置であり、前記視点検出手段は、前記人物の眼球を撮像し、撮像された当該眼球に対する瞳の位置から視線を導出し、前記表示装置の表示画面平面との当該視線の交差する点を前記視点として導出すること、を特徴とする。
【００１５】
また、請求項７に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視差発生手段は、前記視線または前記視点に対応して、前記画像データを切り替えることにより前記対象が表示されるよう制御することを特徴とする。
また、請求項８に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視差発生手段は、前記視線または前記視点に連動させて、前記画像データを画像処理することにより当該視線または当該視点に対応する前記観察位置からの前記対象が表示されるよう制御すること、を特徴とする。
【００１６】
また、請求項９に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視差発生手段は、前記視線または前記視点の変化に連動させて前記対象を変位させ、表示されるよう制御することを特徴とする。
【００１７】
また、請求項１０に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視差発生手段は、検出された前記視線または前記視点に対応付けて、仮想空間上で前記観察位置を前記対象に対して移動させ、当該観察位置からの視界を表示されるよう制御することを特徴とする。
【００１８】
また、請求項１１に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視差発生手段は、前記視線または前記視点の変化に対応付けて前記対象を回転させ、当該対象が表示されるよう制御することを特徴とする。
【００１９】
また、請求項１２に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視点検出手段は、前記表示装置の表示画面平面上に前記視点を求め、前記表示装置の表示画面中央からの当該視点のベクトルを導出し、前記視差発生手段は、仮想空間上で、前記ベクトル方向に対応するｘｙ平面方向に、ベクトル距離に対応する距離だけ、観察位置を移動させること、を特徴とする。
【００２０】
また、請求項１３に記載の発明は、少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理方法であって、前記記憶装置は、複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段を備えており、前記制御装置において実行される、前記画像記憶手段に記憶された前記画像データに基づいて、前記対象の画像が表示装置に表示されるよう制御する表示制御ステップと、前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、を含み、前記表示制御ステップは、前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、前記観察位置から前記対象が表示されるように制御する視差発生ステップを含むことを特徴とする。
【００２１】
また、請求項１４に記載の発明は、少なくとも検出装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理方法であって、前記制御装置において実行される、受信装置を介して受信される画像データに基づいて、対象の画像が表示装置に表示されるよう制御する表示制御ステップと、前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、を含み、前記表示制御ステップは、前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、対応する観察位置から前記対象が表示されるよう制御する視差発生ステップ
を含むことを特徴とする。
【００２２】
また、請求項１５に記載の発明は、少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理プログラムであって、前記記憶装置は、複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段を備えており、前記制御装置において実行される、前記画像記憶手段に記憶された前記画像データに基づいて、前記対象の画像が表示装置に表示されるよう制御する表示制御ステップと、前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、を含み、前記表示制御ステップは、前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、前記観察位置から前記対象が表示されるように制御する視差発生ステップを含むことを特徴とする。
【００２３】
また、請求項１６に記載の発明は、少なくとも検出装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理プログラムであって、前記制御装置において実行される、受信装置を介して受信される画像データに基づいて、対象の画像が表示装置に表示されるよう制御する表示制御ステップと、前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、を含み、前記表示制御ステップは、前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、対応する観察位置から前記対象が表示されるよう制御する視差発生ステップを含むことを特徴とする。
【００２４】
また、本発明は記録媒体に関するものであり、上記発明のいずれかの立体表示処理プログラムを記録したことを特徴とする。
【発明の効果】
【００２５】
この発明によれば、一般的な表示装置を用いた簡単な構成で単眼視差による立体視を可能にする立体表示処理装置、立体表示処理方法および立体表示処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下に、本発明の本実施の形態にかかる立体表示処理装置、立体表示処理方法および立体表示処理プログラム、並びに記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００２７】
［本実施の形態の概要］
以下、本発明の本実施の形態の概要について説明し、その後、本実施の形態の構成および処理等について詳細に説明する。
【００２８】
本発明の本実施の形態は、概略的に、以下の基本的特徴を有する。ここで、図１は、本発明の基本原理を示す原理構成図である。
【００２９】
まず、図１に示すように、本発明の本実施の形態は、制御装置１０２は、画像データに基づいて、対象の画像が表示装置１１４に表示されるよう制御する。
【００３０】
ここで、図１に示すように、画像データは、受信装置１１８を介して電波等を受信することにより入力されてもよく、また、ネットワーク３００を介して他の装置からダウンロード等することにより入力されてもよく、また、記憶装置１０６を読み込むことにより入力されてもよい。
【００３１】
つぎに、本発明の本実施の形態は、制御装置１０２は、検出装置１１２を介して、表示装置１１４に表示された画像を見ている人物の視線または視点を検出する。
【００３２】
視点または視線の検出は、直接的に視線または視点を検出する手段に限られず、眼球を撮影する等により間接的に視線・視点を導出する手段をも含む。例えば、視線を検出し、検出された視線と表示装置の表示画面平面との交点を視点として導出してもよい。また、眼球運動、眼球位置、または眼球状態を検出し、検出された眼球運動、眼球位置、または眼球状態から視線または視点の変化を導出してもよい。また、人物の眼球を撮像し、撮像された眼球に対する瞳の位置から視線を導出し、または、更に、導出された視線から表示装置の表示画面平面との視線の交差する点を視点として導出してもよい。
【００３３】
つづいて、本発明の本実施の形態は、制御装置１０２は、検出された視線または視点の変化に従って、対応する観察位置から対象が表示装置１１４に表示されるよう制御する。
【００３４】
すなわち、例えば、検出された視線または視点に対応した画像データに切り替えて、対象が表示装置に表示されるよう制御してもよい。また、検出された視線または視点に連動させて、画像データを画像処理することにより視線または視点に対応する観察位置からの対象が表示装置に表示されるよう制御してもよい。また、検出された視線または視点の変化に連動させて、対象を変位させ表示装置に表示されるよう制御してもよい。また、検出された視線または視点に対応付けて、仮想空間上で観察位置を対象に対して移動させ、観察位置からの視界を表示装置に表示されるよう制御してもよい。また、検出された視線または視点の変化に対応付けて対象を回転させ、対象が表示装置に表示されるよう制御してもよい。また、検出された視点から、表示装置の表示画面中央からの視点のベクトルを導出し、仮想空間上で、ベクトル方向に対応するｘｙ平面方向に、ベクトル距離に対応する距離だけ、観察位置を移動させることにより、表示制御してもよい。ここで当該画像処理の具体例については、後述する。
【００３５】
以上が、本発明の本実施の形態の概要である。以上により、本発明の本実施の形態は、観察者に単眼視差を感じさせ、対象を立体的に知覚させることができる。
【００３６】
［立体表示処理装置の構成］
まず、本立体表示処理装置の構成について説明する。図２は、本発明の本実施の形態が適用される本立体表示処理装置の構成の一例を示すブロック図であり、該構成のうち本実施の形態に関係する部分のみを概念的に示している。
【００３７】
図２において立体表示処理装置１００は、概略的に、立体表示処理装置１００の全体を統括的に制御するＣＰＵ等の制御装置１０２、通信回線等に接続されるルータ等の通信装置（図示せず）に接続される通信制御インターフェース部１０４、検出装置１１２や表示装置１１４に接続される入出力制御インターフェース部１０８、および、各種のデータベースやテーブルなどを格納する記憶装置１０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。
【００３８】
記憶装置１０６に格納される各種のデータベースやテーブル（画像データファイル１０６ａ等）は、固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。
【００３９】
これら記憶装置１０６の各構成要素のうち、画像データファイル１０６ａは、複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段である。画像データファイル１０６ａに格納される情報は、例えば、３Ｄグラフィックスデータであり、また例えば、複数のカメラ位置から撮像された対象の撮像データである。
【００４０】
また、図２において、入出力制御インターフェース部１０８は、検出装置１１２や表示装置１１４の制御を行う。ここで、表示装置１１４としては、モニタ（家庭用テレビやヘッドマウントディスプレイ等を含む）等の表示手段を用いることができる（なお、以下においては表示装置１１４をモニタとして記載する場合がある）。また、検出装置１１２としては、カメラ等の撮像装置や超音波距離測定器、公知の視線または視点測定装置、発光集光装置等を用いることができる。
【００４１】
また、図２において、制御装置１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御装置１０２は、機能概念的に、表示制御部１０２ａ、視差発生部１０２ｂ、視点検出部１０２ｃを備えて構成されている。
【００４２】
このうち、表示制御部１０２ａは、画像データに基づいて、対象の画像が表示装置１１４に表示されるよう制御する表示制御手段である。ここで、表示制御部１０２ａは、図２に示すように、視差発生部１０２ｂを備えて構成されている。ここで、画像データは、画像データファイル１０６ａを制御することにより読み込んでもよく、また、ネットワーク３００を介して、外部システム２００の画像データベースからダウンロードまたはストリーミングすることにより取り入れてもよく、また、受信装置１１８を介して、電波等を受信することにより取得してもよい。
【００４３】
視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点の変化に従って、対応する観察位置から対象が表示されるように画像データを制御する視差発生手段である。ここで、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点に対応して、画像データを切り替えることにより対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点に連動させて画像データを画像処理することにより、当該視線または視点に対応する観察位置からの対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点の変化に連動させて対象を変位させ、当該変位した対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点に対応付けて、仮想空間上で対象に対して観察位置を移動させ、当該観察位置からの視界が表示されるよう制御してもよい。また、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点の変化に対応付けて対象を回転させ、当該対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視点から、表示装置１１４の表示画面中央から視点位置へのベクトルを導出し、仮想空間上で、ベクトル方向に対応するｘｙ平面方向に、ベクトル距離に対応する距離だけ、観察位置を移動させることにより、表示制御してもよい。
【００４４】
また、視点検出部１０２ｃは、検出装置１１２を介して、表示制御部１０２ａにより表示装置１１４に表示された画像を見ている人物の視線または視点を検出する視点検出手段である。ここで、視点検出部１０２ｃは、検出装置１１２を制御して直接的に視線または視点を検出する手段に限られず、眼球撮像手段等の検出装置１１２を制御して間接的に視線または視点を導出する手段をも含む。また、ここで、視点検出部１０２ｃは、検出装置１１２を制御して視線を検出し、検出された視線と表示装置１１４の表示画面平面との交点を視点として導出してもよい。また、ここで、視点検出部１０２ｃは、検出装置１１２を制御して眼球運動、眼球位置、または眼球状態を検出し、検出された眼球運動、眼球位置、または眼球状態から視線または視点の変化を導出してもよい。また、ここで、視点検出部１０２ｃは、検出装置１１２を制御して人物の眼球を撮像し、撮像された眼球に対する瞳の位置から視線を導出してもよく、更に、導出された視線から表示装置１１４の表示画面平面との視線の交差する点を視点として導出してもよい。
【００４５】
また、図２において、通信制御インターフェース部１０４は、立体表示処理装置１００とネットワーク３００（またはルータ等の通信装置）との間における通信制御や、立体表示処理装置１００と受信装置１１８との間における通信制御を行う装置である。すなわち、通信制御インターフェース部１０４は、他の端末または局と、通信回線（有線、無線を問わない）を介してデータを通信する機能を有する。また、ここで、図２において、受信装置１１８は、放送局等から電波等を受信する受信手段であり、例えばアンテナ等である。
【００４６】
すなわち、立体表示処理装置１００は、画像データに関する外部データベースや立体表示処理プログラム等の外部プログラム等を提供する外部システム２００と、ネットワーク３００を介して通信可能に接続して構成されていてもよく、また、立体表示処理装置１００は、画像データ等を発信する放送局等と、受信装置１１８を介して受信可能に接続して構成されていてもよい。また、この立体表示処理装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク３００に通信可能に接続されていてもよい。
【００４７】
ここで、図２において、ネットワーク３００は、立体表示処理装置１００と外部システム２００とを相互に接続する機能を有し、例えば、インターネット等である。
【００４８】
また、図２において、外部システム２００は、ネットワーク３００を介して、立体表示処理装置１００と相互に接続され、利用者に対して画像データに関する外部データベースや立体表示処理プログラム等の外部プログラム等を実行するウェブサイトを提供する機能を有する。
【００４９】
ここで、外部システム２００は、ＷＥＢサーバやＡＳＰサーバ等として構成していてもよく、そのハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部システム２００の各機能は、外部システム２００のハードウェア構成中のＣＰＵ、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。
【００５０】
［立体表示処理］
次に、このように構成された本実施の形態における本立体表示処理装置の本立体表示処理の一例について、以下に図３を参照して詳細に説明する。
【００５１】
まず、図３に示すように、表示制御部１０２ａは、画像データに基づいて、対象の画像が表示装置１１４に表示されるよう制御する（ＳＡ−１）。すなわち、表示制御部１０２ａは、通信制御インターフェース部１０４を制御することにより、受信装置１１８またはネットワーク３００を介して画像データを取得し、または、画像データファイル１０６ａに格納された画像データを取得し、取得した画像データを処理し、画像データに基づく画像が表示装置１１４に表示されるよう入出力制御インターフェース部１０８を制御する。
【００５２】
つぎに、図３に示すように、視点検出部１０２ｃは、検出装置１１２を介して、ステップＳＡ−１により表示装置１１４に表示された画像を見ている人物の視線または視点を検出する（ＳＡ−２）。すなわち、視点検出部１０２ｃは、入出力制御インターフェース部１０８を介して検出装置１１２を制御することにより、ＳＡ−１によって表示された表示装置１１４の表示画面を観察している人物の視線または視点を直接的または間接的に検出する。
【００５３】
すなわち、一例として、視点検出部１０２ｃは、検出装置１１２を制御して視線を検出し、検出された視線と表示装置１１４の表示画面平面との交点を視点として導出してもよい。また、視点検出部１０２ｃは、撮像装置等の検出装置１１２を制御して眼球運動、眼球位置、または眼球状態を検出し、検出された眼球運動、眼球位置、または眼球状態から視線または視点の変化を導出してもよい。また、視点検出部１０２ｃは、撮像装置等の検出装置１１２を制御して人物の眼球を撮像し、撮像された眼球に対する瞳の位置から視線を導出してもよい。また、視点検出部１０２ｃは、視線と表示装置１１４の表示画面平面との視線の交差する点を視点として導出してもよい。その他、公知の検出手段（視線検出手段または視点検出手段等）を用いることができる。また、検出装置１１２として一部に超音波距離測定装置を用いて、人物までの距離を測定してもよい。また、視差発生部１０２ｂは、検出装置１１２を介して、眼球に映った表示装置１１４の表示画面を撮像し、撮像された眼球上の表示画面の位置関係から視線または視点を検出してもよい。また、視点検出部１０２ｃは、上記これらの処理を任意に組み合わせて構成してもよい。
【００５４】
つづいて、図３に示すように、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視線または視点の変化に従って、対応する観察位置から対象が表示されるよう視差発生処理を実行する（ＳＡ−３）。
【００５５】
具体的には、視差発生処理の一例として、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視線または視点に対応して、画像データを切り替えることにより対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視線または視点に連動させて画像データを画像処理することにより、当該視線または視点に対応する観察位置からの対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視線または視点の変化に連動させて対象を変位させ、当該変位した対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視線または視点に対応付けて、仮想空間上で対象に対して観察位置を移動させ、当該観察位置からの視界が表示されるよう制御してもよい。また、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視線または視点の変化に対応付けて対象を回転させ、当該対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視点に基づいて、表示装置１１４の表示画面中央から視点位置へのベクトルを導出し、仮想空間上で、ベクトル方向に対応するｘｙ平面方向に、ベクトル距離に対応する距離だけ、観察位置を移動させることにより、表示制御してもよい。また、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視点に仮想空間上の最遠点（例えば、遠近線が収束する点）が一致して描画されるよう制御してもよい。
【００５６】
そして、ＳＡ−３（「視差発生処理」）によって制御された画像データに基づいて、表示制御部１０２ａは、対象の画像が表示装置１１４に表示されるよう制御する（ＳＡ−１）。以下、上記ＳＡ−１〜ＳＡ−３の処理を繰り返すことにより、本立体表示処理が実現される。これにより、表示画面を見ている人物の視線または視点の変化に連動して、表示対象と人物の仮想上の相対運動により網膜像の大きさや形状が変化する単眼視差を発生させるよう処理するので、人物に立体感や奥行きを知覚させることができる。
【００５７】
［検出処理］
次に、検出処理の詳細と具体例について説明する。視点検出部１０２ｃは、検出装置１１２を介して、表示制御部１０２ａにより表示装置１１４に表示された画像を見ている人物の視線または視点を検出する。ここで、視点検出部１０２ｃは、入出力制御インターフェース部１０８を介して検出装置１１２を制御して直接的に視線または視点を検出する処理を実行することに限られず、眼球撮像手段等の検出装置１１２を制御して間接的に視線または視点を導出する処理をも含む。以下にその具体例を列挙する。
【００５８】
［検出処理Ａ］
検出処理Ａとして、視点検出部１０２ｃは、検出装置１１２を制御して視線を検出し、検出された視線と表示装置１１４の表示画面平面との交点を視点として導出する。すなわち、たとえば、視線は、利用者と表示装置１１４が存在する空間上の線分として検出装置１１２を介して検出され、視点検出部１０２ｃは、検出された線分と表示装置１１４の表示画面平面の空間上の交点を算出し、当該交点を視点として導出する。
［検出処理Ｂ］
検出処理Ｂとして、視点検出部１０２ｃは、検出装置１１２を制御して眼球運動、眼球位置、または眼球状態を検出し、検出された眼球運動、眼球位置、または眼球状態から視線または視点の変化を導出する。すなわち、例えば、眼球運動を検出装置１１２を介して検出した場合には、眼球運動スピードにより数ミリ秒後の視線または視点を予測して導出してもよい。これにより、視差発生部１０２ｂの処理に数ミリ秒の時間がかかる場合であっても、眼球の動きと立体表示処理のわずかな時間のズレを解消することができる。また、例えば、眼球位置としては、撮像装置等のピント情報により眼球位置の表示装置１１４に対する奥行きを導出してもよい。また、眼球位置を測定する検出装置として、超音波距離測定装置等を用いてもよい。これにより、眼球状態を設定したときの眼球位置が視点検出処理のときの眼球位置と異なる場合でも、導出される視点または視線のズレを補正することができる。また、例えば、眼球状態として、撮像装置等の検出装置１１２を介して、眼球を撮像し、眼球状態を白目と黒目（虹彩（Ｉｒｉｓ）または瞳（ｐｕｐｉｌ））の違いにより検出してもよい。眼球状態からは視線の方向を導出することができる。すなわち、眼球状態と（表示装置１１４に対する）眼球位置が検出できれば、一意に視線または視点を導出することができる。また、検出装置１１２として、眼球と表示装置１１４の間に半透過性のプリズムを設置して、眼球を撮像することにより、眼球運動、眼球位置または眼球状態を検出してもよい。
［検出処理Ｃ］
検出処理Ｃとして、視点検出部１０２ｃは、検出装置１１２を制御して人物の眼球を撮像し、撮像された眼球に対する瞳の位置から視線を導出する。すなわち、眼球は球状であり、瞳の位置が球状の一点を指定することにより、画像解析処理を実行して、球の中心から一点を通る視線方向が導き出される。
［検出処理Ｄ］
検出処理Ｄとして、視点検出部１０２ｃは、視線から表示装置１１４の表示画面平面との視線の交差する点を視点として導出する。すなわち、視線は線分または半直線として検出・導出されるので、当該線分または半直線と表示画面平面が交わる交点を視点として導出してもよい。
［検出処理Ｅ］
また、視差発生部１０２ｂは、検出装置１１２を介して、眼球と眼球に映った表示装置１１４の表示画面を撮像し、撮像された眼球上の表示画面の位置関係から視線または視点を検出する。
【００５９】
［検出処理（眼球状態を視点に対応付けて予め設定）］
ここで、視点検出処理の一例として、予め視点に対応付けて、利用者に眼球状態を設定させ、眼球を撮像することにより対応する視点を検出する処理を、図４を参照しながら説明する。
【００６０】
まず、図４に示すように、制御装置１０２は、表示制御部１０２ａの処理により、表示装置１１４の表示画面上の任意の位置にポイント（例えば、赤い丸い点）を表示するよう制御する（ＳＢ−１）。
【００６１】
つぎに、制御装置１０２は、表示制御部１０２ａの処理により、マウスなどの入力手段を介して、利用者に表示画面上のポインタを移動させ、ポイントをクリック等させるように制御する（ＳＢ−２）。なお、この処理はＧＵＩにより実現される。
【００６２】
つづいて、制御装置１０２は、撮像装置等の検出装置１１２を制御して、ポイントをクリック等した時点または直前の利用者の眼球を撮像する（ＳＢ−３）。このとき同時に、検出装置１１２は、利用者の眼球の位置（表示装置１１４に対する奥行きなど）を測定してもよい。
【００６３】
そして、制御装置１０２は、ポイント位置と眼球状態を対応付けて、記憶装置１０６に格納する（ＳＢ−４）。以上の処理を複数回行い（ＳＢ−５、Ｎｏ）、眼球状態の設定処理を終了する（ＳＢ−５、Ｙｅｓ）。
【００６４】
立体表示処理を行う場合には、視点検出部１０２ｃは、検出装置１１２を介して利用者の眼球を撮像し、撮像した眼球状態と一致する、上記設定処理により１１６に格納された当該利用者の眼球状態を導出することにより、対応する視点を導出する。
【００６５】
すなわち、図４に示すように、まず、視点検出部１０２ｃは、撮像装置等の検出装置１１２を介して、利用者の眼球を撮像するように制御する（ＳＢ−６）。
【００６６】
つぎに、視点検出部１０２ｃは、撮影された利用者の眼球画像から、設定情報に基づいて視点を導出する（ＳＢ−７，８）。すなわち、撮像された眼球画像から眼球状態を導出し、導出された眼球状態と一致する設定登録された眼球状態を割り出し（ＳＢ−７）、割り出した眼球状態と対応付けられた視点を導出することにより実現する（ＳＢ−８）。ここで眼球状態は、白目と黒目（虹彩（Ｉｒｉｓ）または瞳（ｐｕｐｉｌ））の違いにより検出してもよい。また、ここで、視点の計測は、現在の眼球の状態・位置そのものから導出することに限られず、眼球運動の方向とスピードとを検知することにより、予め任意の時間後の視点を予測することにより導出してもよい。
【００６７】
ＳＢ-８の後、視差発生部１０２ｂによる処理が行われ、つぎにステップＳＢ−６に処理を返す。立体表示処理においては、制御装置１０２（視点検出部１０２ｃ）は、以上の検出処理を繰り返し実行する（ＳＢ−６〜ＳＢ−８）。以上で、［検出処理（眼球状態を視点に対応付けて予め設定）］の説明を終える。
【００６８】
検出処理は以上に限られず、公知の視点検出手段を用いて実行されてもよい。例えば、注視点測定システムＴＥ−９２００（製造販売 株式会社 テクノワークス）を用いることにより、注視点を追跡することにより実現してもよい。また、両眼の輻輳角情報と視線位置情報からオブジェクトまでの距離と方向を計算することで、相対位置を取得し、より正確に注視点を計測するよう制御してもよい。また、特許第３２７２９０６号に示されるように、人間の顔部分の画像に対して種々の画像処理を施して眼球部分および白目部分などの位置を検出し、目線方向の算出を行うものでもよく、特開平０７−１９１７９６号に示されるように、操作者にゴーグルやヘッドギアといった専用の器具を装着させることによって、眼球の動きをより正確に検出するものでもよい。
【００６９】
また、眼球内部の反射を利用して視線方向を検出装置により直接計測してもよい。すなわち、視線方向から光などの電磁波が入射すると、眼球の網膜で反射し、視線方向（入射方向逆向き）へ反射され、検出装置等に到達する。しかし、視線方向以外から光等が入射しても、眼球の直径を通過しないので、入射方向逆向きに光等は反射しない。この性質を利用して、電磁波等発生装置と検出装置を組み合わせ、電磁波等発生位置と同位置に反射される電磁波等を検出することにより、視線または視点を検出してもよい。また、視点検出部１０２ｃは、上記これらの処理・装置を任意に組み合わせて構成してもよい。
【００７０】
これにて、検出処理の説明を終了する。
【００７１】
［視差発生処理］
人間は左右の眼球の視差だけでなく、対象物に対して観察者が移動すること、または眼球を動かすことに伴う視差から、対象物の立体情報を読み取る能力がある。すなわち、物体と観察者（眼球）の相対運動により網膜像の大きさや形状が変化することにより発生する単眼視差によっても立体や奥行きを知覚することができる。
【００７２】
本発明の本実施の形態は、上記視覚の特性を利用して、利用者の眼球運動に連動してあたかも運動視差が発生したかのような感覚（錯覚）を生じさせるように画像を処理することにより（擬似的に）立体表示を行うことを特徴とする。すなわち、本発明の本実施の形態は、表示装置を観察する観察者の眼球運動などを撮像すること等により視線または視点を検出・測定し、視線または視点の変化に連動して、表示を切り替えることにより、観察者に視差を感じさせ、もって、対象を立体的に知覚させるように制御することに特徴を有する。
【００７３】
すなわち、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点の変化に従って、対応する観察位置から対象が表示されるように画像データを制御する。そして、視差発生部１０２ｂにより制御された画像は、表示制御部１０２ａの処理により、表示装置１１４に表示されるよう制御される。これにより、利用者の視線または視点の変化に連動して、対象を表示する観察位置を変更して表示するので、単眼視差を発生させることができ、利用者に眼球運動に応じた自然な立体感を感得せしめることができる。ここで、以下に視差発生処理の具体例を、図５〜図８を参照しながら説明する。なお、以下の説明においては、視差発生部１０２ｂの視差発生処理に続く、表示制御部１０２ａの表示制御処理については、説明を省略することがあるが、視差発生部１０２ｂの視差発生処理の処理結果は、表示制御部１０２ａの処理により、表示装置１１４の表示画面にすばやく反映されるものである。
【００７４】
［視差発生処理（画像切替）］
具体例として、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点に対応して、画像データを切り替えることにより対象が表示されるよう制御する。すなわち、例えば画像データは、複数のデータであり、それぞれ異なる観察位置からの対象の画像データであり、視差発生部１０２ｂは、検出された視線または視点に応じて、複数の画像データを切り替えて表示することにより、視差を発生させる。そして、視差発生部１０２ｂによる視差発生処理の結果は、表示制御部１０２ａの処理により、表示装置１１４に表示されるよう制御される。
【００７５】
また、画像データは単一のデータであり、画像データには、主画像データと共に、主画像と異なる観察位置から対象を見た場合の表示画像の差分データを備えて構成されてもよい。すなわち、例えば、画像データは、動き補償技術を用いて、対象に対して正面の視点に対応する主画像と、左よりの観察位置に対応する画像との差分データを抽出し、同じように他の観察位置に対応する画像との差分データを抽出し、主画像データと共に、観察位置と対応付けて差分データを埋め込んでおく。そして、視点検出部１０２ｃは、検出された視線または視点に対応する観察位置の差分データを読み込み、当該差分データと主画像データを用いて画像処理により異なる観察位置からの画像を合成し、合成した画像に切り替えて表示することにより、視差を発生させる。
【００７６】
［視差発生処理（画像処理）］
具体例として、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点に連動させて画像データを画像処理することにより、当該視線または視点に対応する観察位置からの対象が表示されるよう制御する。
【００７７】
例えば、画像データは３Ｄグラフィックスデータであり、視差発生部１０２ｂは、検出された視線または視点に対応する観察位置からの対象が表示されるように、３Ｄグラフィックスデータの画像処理を行う。例えば、対象物の回転、移動、もしくは影付け、光源位置の変更、または仮想空間上の観察位置の変更（移動）等である。
【００７８】
ここで、視差発生処理における、視線または視点と観察位置との対応付けの具体例として［処理Ａ］〜［処理Ｃ］を、図５を参照しながら説明する。図５は、視線または視点と観察位置との対応付けの具体例を示す概念図である。
【００７９】
図５を用いて以下に説明する具体例では、検出装置として眼球撮像装置を用いており、視点検出部１０２ｃは、検出装置１１２を介して、表示装置の表示画面を見ている人物の眼球を撮像し、眼球状態から表示画面平面上の視点を導出する。
【００８０】
図５において、左の列のカラムは、撮像された人物の眼球と、導出された表示画面（図中で矩形で示す）平面上の視点（図中でＸで示す）を表している。また、図５において、中央の列のカラムは、画像処理における仮想空間を表し、対象（図中でピラミッドで示す）と観察位置を示す人物（図中で黒丸で示す）とを上から見た図である。また、図５において、右の列のカラムは、仮想空間上の人物（すなわち観察位置）から見える視界を表示しており、この視界の画像が表示装置に表示される。
【００８１】
まず、初期状態として、最上段においては、人物は表示画面の中央に視点を置いている（左カラム参照）。このとき、仮想空間上では、対象と人物は距離Ｄを保って正対している（中央カラム参照）。そして、表示装置に表示される画像は右カラムのようになる。
【００８２】
［処理Ａ］
人物が表示画面の左側に視点を移した場合、図５の２段目に示す処理Ａでは、視差発生部１０２ｂは、左よりの視点に対応付けて、仮想空間上で対象に対して観察位置を移動させる。より具体的には、視差発生部１０２ｂは、検出された左よりの視点から、表示画面中央から視点位置へのベクトルを導出し、仮想空間上で、ベクトル方向に対応するｘｙ平面方向（対象に対して右方向）に、ベクトル距離に対応する距離（ｄ）だけ、人物（観察位置）を移動させる（中央カラム参照）。
【００８３】
このとき、仮想空間上の観察位置からの視線方向は変わらないので、右カラムに示すように、対象物は表示画面の中心線からずれて表示される。ここで、処理Ａにおいて、視点のベクトル方向にｘｙ平面方向を対応付けるために、視差発生部１０２ｂは、視点が画面左寄りに移動した場合は、仮想空間上で右方向に移動させ、視点が画面右よりに移動した場合は、仮想空間上で左方向に移動させ、始点が画面上よりに移動した場合は、仮想空間上で下方向に移動させ、視点が画面下よりに移動した場合には、仮想空間上で上方向に移動させる。すなわち、視点のベクトル方向逆向きにｘｙ平面方向を対応付ける。
【００８４】
［処理Ｂ］
人物が表示画面の左側に視点を移した場合、図５の３段目に示す処理Ｂでは、視差発生部１０２ｂは、左よりの視点に対応付けて、仮想空間上で対象に対して観察位置と観察方向を移動させる。具体的には、視差発生部１０２ｂは、検出された左よりの視点から、表示装置１１４の表示画面中央から視点位置へのベクトルを導出し、仮想空間上で、ベクトル方向に対応するｘｙ平面方向（対象に対して右方向）に、ベクトル距離に対応する距離（ｄ）だけ、観察位置を移動させ、さらに観察方向を対象物の方向に向ける（中央カラム参照）。
【００８５】
このとき、仮想空間上の観察位置からの視線方向は対象物に向くので、右カラムに示すように、対象は表示画面の中央に表示される。ここで、処理Ｂにおいても、視差発生部１０２ｂは、視点のベクトル方向逆向きにｘｙ平面方向を対応付ける。
【００８６】
［処理Ｃ］
人物が表示画面の左側に視点を移した場合、図５の４段目に示す処理Ｃでは、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点の変化に連動させて対象を変位させ、変位した対象が表示されるよう制御する。具体的には、例えば視差発生部１０２ｂは、検出された視線または視点の変化に対応付けて、対応する方向に対象をθ°回転させる（中央カラム参照）。
【００８７】
このとき、仮想空間上の観察位置と対象との距離Ｄは変わらず、観察方向も変化しないので、右カラムに示すように、対象は表示画面の中央に表示される。ここで、以下に、変位発生処理として対象を回転させる回転制御処理について、より詳しく解説する。
【００８８】
［回転制御処理］
まず、視差発生処理として、対象の回転制御を行う場合の詳細について図６を参照して説明する。図６は、回転制御処理の一例を表す概念図である。
【００８９】
図６に示すように、対象として地球（儀）を用いた例を示す。なお、図中で、各地球の左上の矩形は、人物から見た場合の表示装置の表示画面を表し、矩形中のｘは、人物の視点位置を表している。
【００９０】
図６のＡに示すように、視点検出部１０２ｃの処理により人物が画面中央に視点が検出された場合には、表示制御部１０２ａは、画像データに基づき、対象の画像（正面）が表示されるよう表示装置を制御する。
【００９１】
つぎに、図６Ｂに示すように、視点検出部１０２ｃの処理により画面の上の位置に視点があると検出された場合には、地球儀を（図に向かって）下方向にθ°回転させる。
【００９２】
また、図６Ｃに示すように、視点検出部１０２ｃの処理により画面の左寄りの位置に視点があると検出された場合には、地球儀を右方向にθ°回転させる。
【００９３】
また、図６Ｄに示すように、視点検出部１０２ｃの処理により画面の左寄り位置に視点があると検出された場合には、地球儀を右方向にθ°回転させる。
【００９４】
また、図６Ｅに示すように、視点検出部１０２ｃの処理により画面の下の位置に視点があると検出された場合には、地球儀を上方向にθ°回転させる。
【００９５】
また、図６Ｂに示すように、視点検出部１０２ｃの処理により画面の左下の位置に視点があると検出された場合には、地球儀を右上方向にθ°回転させる。
【００９６】
ここで、視点位置と対象の回転方向・回転角度（θ°）とを対応付ける処理方法を、図７を参照しながら説明する。図７は、表示装置１１４に向かって表示画面を見たときの視点位置に対応する対象の回転方向（ｘ、ｙ）と回転角度（θ°）とを示す図である。
【００９７】
図７において、矩形は表示装置１１４の表示画面を表し、座標（ｘ、ｙ）＝（０，０）は、表示画面中心を表す。また、Δは、人物と表示装置１１４の表示画面との距離を示す。
【００９８】
例えば、図７に示すように、人物が右に視線をやり、表示画面外側の（ｘ、ｙ）＝（−１Δ，０）の位置に視点が検出された場合、表示画面中央に向かう線分と視線のなす角は、４５°となる。本実施例においては、視差発生部１０２ｂは、この角度を回転角度（θ°）として用いる。すなわち、視差発生部１０２ｂは、画像処理のための仮想空間上で対象を−xi方向に、４５°回転させる。
【００９９】
すなわち、視差発生部１０２ｂは、検出された視点から、表示装置１１４の表示画面中央から視点位置へのベクトルを導出し、仮想空間上で、ベクトル方向に対応するｘｙ平面方向に、対象をθ°を回転させる。ここで、θは、tanθ＝√（ｘ２＋ｙ２）／Δの式により、導出することができる（図７中の「tanθ＝√（ｘ２＋ｙ２）」の記載は誤り）。
【０１００】
ここで、視点検出部１０２ｃは、検出された視線方向から、直接、対象を、視線方向と表示画面中央の角度θ°だけ、対応する向きに回転させてもよい。これにて、回転制御処理の説明を終える。ここで、本実施の形態においては、画面中央方向に対する視線のなす角度θ°を、そのまま、回転制御処理に係る対象の回転角度として用いたが、これに限られず、回転角度θは、視差が発生する程度に任意の角度回転させることができる。また、回転方向も視点ベクトル逆向きに制御するよう構成したが、これに限られず、対象の性質に応じて任意の方向に回転させることができる。また、ある視点を注視する時間に応じて変位する量（θ）を増加させてもよい。
【０１０１】
［リンク処理］
対象物が一つの場合などは、上記回転制御処理の如く、対象をある角度θ°回転させるよう制御すればよいが、対象が複数の場合は、各々の対象をそれぞれ回転させるよう制御する方法では、不適切な場合がある。すなわち、各対象同士の位置関係が重要な要素である場合は、位置関係が崩れる。
【０１０２】
そこで、本具体例では、複数の対象を相互にリンクさせ、リンクした全体を所定の角度θ°回転させるよう制御する。ここで、図８は、リンク処理を表す模式図である。
【０１０３】
図８に示すように、本具体例においては、対象は４つあり、それぞれ正四面体の頂点に位置する関係でデータ空間上に存在する。
【０１０４】
図８のＡに示すように、視点検出部１０２ｃの処理により人物が画面中央に視点が検出された場合には、表示制御部１０２ａは、画像データに基づき、リンク化された対象群の画像（正面）が表示されるよう表示装置１１４を制御する。
【０１０５】
つぎに、図８Ｂに示すように、視点検出部１０２ｃの処理により画面の上の位置に視点があると検出された場合には、リンク化された対象群全体を（図に向かって）下方向にθ°回転させる。
【０１０６】
また、図８Ｃに示すように、視点検出部１０２ｃの処理により画面の左寄りの位置に視点があると検出された場合には、リンク化された対象群全体を右方向にθ°回転させる。
【０１０７】
また、図８Ｄに示すように、視点検出部１０２ｃの処理により画面の左寄り位置に視点があると検出された場合には、リンク化された対象群全体を右方向にθ°回転させる。
【０１０８】
また、図８Ｅに示すように、視点検出部１０２ｃの処理により画面の下の位置に視点があると検出された場合には、リンク化された対象群全体を上方向にθ°回転させる。
【０１０９】
すなわち、視点検出部１０２ｃは、対象群をリンク化し、検出された視点または視線に対応して、対象群全体を対応する向きに対応する角度回転させる。これにより、対象同士の位置関係が崩れることなく、立体感と共に奥行きをも表現することができる。
【０１１０】
［回転制御処理２］
視差発生部１０２ｂは、視点検出部１０２ｃの処理により視線または視点が中央から右に移動されたと判断した場合は、表示対象であるポリゴン等の対象を表示画面に向かって左に回転させる。
【０１１１】
そして、Ｚ距離を一定にして、対象をθ°回転させる。
【０１１２】
θの値は、例えば３°や１０°のように固定値でもよく、また観察者に対象までの距離や大きさを実感させたい場合には、例えば数式１により導出した値を用いてもよい。これにより、現実世界の感覚に似た距離感・大きさを体感させることができる。
tanθ＝Ａ／Ｚ・・・・・・・（数式１）
（Ｚ：仮想空間上の距離 Ａ：仮想空間上の人物が首を傾けた場合に移動する距離（例えば数mm〜数ｍ））
【０１１３】
これにて、回転制御処理２が終了する。これにより、利用者にあたかも自身が移動したことに伴う視差が発生したと錯覚させ、利用者は、擬似的に自然な立体感を体感することができる。
【０１１４】
この視差を発生させるための仮想的な距離はどれくらいの大きさであってもよいが、対象となる物の現実の大きさや距離を含めて立体感を体験させたい場合には、体を傾けて移動できる程度までの距離（数mm〜数ｍ）でもよい。しかし、これに限らず、タンパク質の立体構造のように微小なものや、山などの地形のように巨大なものの場合には、立体感が感じられるように、すなわち画像処理によって表示に変位が生ずる程度に適切に設定してもよい。しかしこの場合でも、対象物が複数の場合に、相対的な大きさが把握できるよう、変位の程度を相対的に制御することができる。
【０１１５】
［切替表示処理］
画像処理の負担を軽減させるために、単純には、例えば左上、上、右上、左、中央、右、左下、下、右下の観察位置から対象物を見た（撮影した）場合の９枚の画像を用意しておき、視点検出部１０２ｃの処理により検出された視線または視点に対応する画像を、視線または視点の変化に応じて切り替えて表示することにより実現してもよい。
【０１１６】
また、本実施の形態においては、観察者の表示装置に対する視線方向の傾きに対応させて仮想的な立体の表示も傾き変位させた（表示装置に対する観察者の視線方向をも検出手段により読み取りまたは導出し）が、これに限られず、観察者の表示装置に対する視線方向を常に一定として（すなわち例えば常に表示装置の表示平面に対して垂直であるとして）仮想的な立体表示の傾き変位を行わず、観察者の視線の到達点のみに基づいて仮想的な立体に対し垂直移動を行ったように表示してもよい。すなわち、仮想空間上の人物は、視線方向を一定に保ったまま垂直方向移動した場合のその人物の視界を映し出すよう制御してもよい。つまり、前者は、対象物が表示画面の中心に来るのに対して、後者の場合は、変位が生じる前に視線を向けた方向に表示画面の中央が来るよう制御される。
【０１１７】
［放送用表示情報］
ＭＰＥＧ−２により視差を動き保証により差分のベクトルを画像データ内に埋設してもよい。
【０１１８】
［実写の表示情報］
表示内容が、ＣＧなどではなく実写の場合は、撮影の際に複数のカメラで異なる位置・方向から撮影することにより、立体情報を取り込んでもよい。
【０１１９】
すなわち、中央に位置するカメラの両サイドに、左と右の視点に対応するカメラを設置し、中央に位置するカメラの上下に、上と下の視点に対応するカメラを設置することにより、５つの像を撮影し、画像情報を記憶する。ここで、静止画像等を撮像する場合は、視点位置を切り替えることができる一台のカメラで撮影してもよい。またここで、上記の撮像方法に限られず、撮像は、実写画像から立体情報を読み取ることができる公知の技術を用いて実施してもよい。
【０１２０】
つぎに、視差発生部１０２ｂは、表示制御部１０２ａの処理により、中央のカメラにより撮影された画像情報[中央]を表示装置１１４に表示するよう制御する。
【０１２１】
つづいて、視点検出部１０２ｃの処理により、検出装置１１２を制御し、表示装置を観察する人物を撮影する。
【０１２２】
そして、視差発生部１０２ｂは、視差発生部１０２ｂの処理により検出された視点または視線に対応付けて、対応する観察位置からの画像に切り替えるよう処理をおこなう。
【０１２３】
上記処理を繰り返し行うことにより、視差を発生させることができる。
【０１２４】
また、本実施の形態は必ずしも一時的に記憶させる必要はなく、各視線到達点に対応付けられた、記憶装置に撮影情報を格納することなく、リアルタイムに映像を切り替え表示することで構成してもよい。
【０１２５】
[重畳情報の表示]
また、本実施の形態は、立方体や直方体、円垂体などの本来的に立体的な物体を、表示することに限られず、多重に重なり合った平面を重畳的に表示する場合にも、適用することができる。これにより、重なり具合や奥行きを立体的に表示することができる。
【０１２６】
［最遠点設定処理］
具体例として、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視点に、最遠点を一致させるように表示するよう処理を行う。
【０１２７】
すなわち、遠近線の収束点を、表示装置を観察する人物の視点に対応付けて表示するよう構成してもよい。図９は、遠近法で描画する場合に、遠近線の収束点（最遠点）を、視点検出部１０２ｃの処理により検出された視点の位置に設定するよう処理を行った場合の表示例である。図９において、立法体が「ｘ」で示す点に遠近線が収束されるように表示されている。図９に示すように、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視点とこの収束点を一致させるように制御する。
【０１２８】
［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。
【０１２９】
視線は、網膜上からレンズ焦点を通り空間を横切る半直線または対象物にいたるまでの線分として定義してもよく、ベクトルとして定義してもよいものである。また、視線は人物から見たときには（人物の視界においては）点となり、この点を視点として定義してもよい。すなわち、視点は、２次元の人物の視界においては点であり、３次元空間においては線（視線）となると定義してもよい。
【０１３０】
また、上記実施の形態においては、視線または視点の画面中央に対する変化と逆向きに、対象を移動制御または回転制御したが、これに限られず、順向きに制御してもよい。たとえば、洞窟のような内側が空である物体に対しては、眼球運動と仮想上の移動制御または回転制御の方向が上記実施の形態と逆となってもよい。人間は、体を移動させる前に眼球を運動させるという習性がある。すなわち、観察者は壁面の立体構造を感得しようとするのであるから、例えば眼球が向かって右側の壁面を観察しようとする場合には、右に眼球を移動させながら体は左に向かうのが通常である。そのため、視差の制御を実施の形態と逆方向にしてもよい。
【０１３１】
また、本立体表示処理装置は、コンピュータ、携帯電話、ゲーム、テレビ等の表示装置、航空管制、飛行機操縦、自動車運転などの際の表示装置に利用することができる。
【０１３２】
対象物としては、一般的な映画などの動画像に限られず、バーチャルリアリティ空間、工業製品等のデザイン、地形構造情報、タンパク質の立体構造、宇宙の構造等の立体対象物に用いることができる。
【０１３３】
例えば、立体表示処理装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、立体表示処理装置１００とは別筐体で構成されるクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するように構成してもよい。
【０１３４】
また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
【０１３５】
また、立体表示処理装置１００に関して、図示の各構成要素は機能概略的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
【０１３６】
例えば、立体表示処理装置１００の各装置が備える処理機能、特に制御装置１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現することができ、あるいは、ワイヤードロジックによるハードウェアとして実現することも可能である。尚、プログラムは、後述する記録媒体に記録されており、必要に応じて立体表示処理装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤなどの記憶装置１０６などは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）として協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。
【０１３７】
また、このコンピュータプログラムは、立体表示処理装置１００に対して任意のネットワーク３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
【０１３８】
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納することもできる。ここで、この「記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の任意の「可搬用の物理媒体」、あるいは、ＬＡＮ、ＷＡＮ、インターネットに代表されるネットワークを介してプログラムを送信する場合の通信回線や搬送波のように、短期にプログラムを保持する「通信媒体」を含むものとする。
【０１３９】
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
【０１４０】
また、「記憶手段」または「記憶部」とは、伝送のために一時的にプールしておく場合も含む。すなわち、本発明は、各視線到達点に対応付けられた、９台のカメラから構成し、一般的なハードウェアに格納することなく、リアルタイムに画像を表示することも含む。
【０１４１】
記憶装置１０６に格納される各種のデータベース等（画像データファイル１０６ａ）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラムやテーブルやデータベースやウェブページ用ファイル等を格納する。
【０１４２】
また、立体表示処理装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置を接続し、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。
【０１４３】
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じた任意の単位で、機能的または物理的に分散・統合して構成することができる。
【０１４４】
（付記１）
目の動きに連動させて画像を動かすことにより立体感を出す装置。
（付記２）
少なくとも記憶部と制御部からなる立体表示処理装置であって、
立体情報を記憶する立体情報記憶手段と、
前記立体情報記憶手段に記憶された前記立体情報を表示装置に表示するよう画像処理を行う立体情報表示処理手段と、
前記表示手段によって表示された画像を観察する観察者の視線到達点を検出する検出手段と、
を備え、
前記立体情報表示処理手段は、前記検出手段によって検出された前記視線到達点の変化に連動させて、前記立体情報による表示を変位させるよう画像処理することを特徴とする立体情報表示処理装置。
（付記３）
付記２に記載の立体情報表示処理装置において、
前記検出手段は、観察者の眼球を撮影し、
前記制御部は、前記検出手段によって撮影された前記眼球の画像から、前記視点到達点の変化を測定すること
を特徴とする立体情報表示処理装置。
（付記４）
立体情報を記憶する立体情報記憶手段と、
前記立体情報記憶手段に記憶された前記立体情報を表示装置に表示するよう画像処理を行う立体情報表示処理手段と、
前記立体情報表示処理手段によって画像処理された前記立体情報の画像を表示する表示手段と、
前記表示手段によって表示された画像を観察する観察者の視線到達点を検出する検出手段と、
を備えた立体情報表示処理装置において実行される立体情報表示処理方法であって、
前記立体情報表示処理手段において実行される、
前記検出手段によって検出された上記観察する観察者の上記視線到達点の変化を検出する検出ステップと、
前記検出ステップによって上記視線到達点の変化が検出された場合に、当該視線到達点の変化に連動させて、前記立体情報による表示を変位させるよう画像処理を行う画像変位ステップと、
を含むことを特徴とする立体情報表示処理方法。
（付記５）
前記画像変位ステップは、
前記検出ステップによって検出された前記視線到達点の変化に連動させて、前記観察する観察者が前記立体情報にかかる対象物に対して移動した場合に発生するであろう視差を、前記観察する観察者に前記表示手段を介して感じさせるように立体情報による表示を変位させるよう表示処理すること
を特徴とする付記４に記載の立体情報表示処理方法。
（付記６）
前記立体情報による表示を変位させるとは、前記対象物を前記視線到達点の変化に対応した方向に回転させることを特徴とする付記４または５に記載の立体情報表示処理方法。
（付記７）（透過表示装置）
少なくとも検出装置と記憶装置と制御装置とを備えた立体表示制御装置において実行される立体表示方法であって、
記憶装置は、立体情報を記憶しており、
前記制御装置において実行される、
立体情報を表示装置に映し出すよう制御する表示制御ステップと、
前記検出装置において実行される、
前記表示制御ステップにより前記表示装置に表示された画像を観察する人物の、眼球位置および距離を検出する眼球検出ステップと、
前記制御装置において実行される、
前記検出ステップにおいて検出された眼球位置および距離から、上記人物の視線方向および視界範囲を導出する視線導出ステップと、
を含み、
前記表示制御ステップは、
前記視線導出ステップにより導出された視線方向逆向きに上記表示装置に前記立体情報による立体を投影し、導出された視界範囲に対応付けて当該立体を拡大縮小表示すること
を特徴とする立体表示方法。
【図面の簡単な説明】
【０１４５】
【図１】本発明の基本原理を示す原理構成図である。。
【図２】本発明の本実施の形態が適用される本立体表示処理装置の構成の一例を示すブロック図である。
【図３】本実施の形態における本立体表示処理装置の本立体表示処理の一例を表すフローチャートである。
【図４】視点検出処理の一例として、予め視点に対応付けて、利用者に眼球状態を設定させ、眼球を撮像することにより対応する視点を検出する処理を表すフローチャートである。
【図５】視線または視点と観察位置との対応付けの具体例を示す概念図である。
【図６】回転制御処理の一例を表す概念図である。
【図７】表示装置１１４に向かって表示画面を見たときの視点位置に対応する対象の回転方向（ｘ、ｙ）と回転角度（θ°）とを示す図である。
【図８】リンク処理を表す模式図である。
【図９】遠近法で描画する場合に、遠近線の収束点（最遠点）を、視点検出部１０２ｃの処理により検出された視点の位置に設定するよう処理を行った場合の表示例である。
【符号の説明】
【０１４６】
１００ 立体表示処理装置
１０２ 制御装置
１０２ａ 表示制御部
１０２ｂ 視差発生部
１０２ｃ 視点検出部
１０４ 通信制御インターフェース部
１０６ 記憶装置
１０６ａ 画像データファイル
１０８ 入出力制御インターフェース部
１１２ 検出装置
１１４ 表示装置
１１８ 受信装置
２００ 外部システム
３００ ネットワーク
【技術分野】
【０００１】
本発明は、立体表示処理装置、立体表示処理方法および立体表示処理プログラムに関する。
【背景技術】
【０００２】
３次元グラフィックスデータに代表されるように、空間や立体など３次元の存在を表示画面に投影して描画することにより、利用者に立体感を感得させる方法には、例えば、左右の眼球の視差を発生させる方法や、利用者がマウスなどの入力装置を介して表示された対象物を回転できるように表示制御を行う方法などがある（以下、前者を「左右視差」、後者を「運動視差」とよぶ。）。
【０００３】
たとえば、左右視差を起こさせるものとしては、非特許文献１に記載のヘッドマウントディスプレイが挙げられる。すなわち、左右の眼球の前方に各々ディスプレイを備え、左右の眼球に異なる画像を視聴させる装置である。これにより、利用者は左右の視差から立体感を感じることができる。
【０００４】
また、運動視差を起こさせるものとしては、非特許文献２に記載の３Ｄ操作技術が挙げられる。
【０００５】
【非特許文献１】美貴本（Ｍｉｋｉｍｏｔｏ）、”ヘッドマウントディスプレイ AR vision-3D”、[online]、掲載年月日不明、美貴本、［平成１８年９月２０日検索］、インターネット＜ＵＲＬ：http://www.mikimoto-japan.com/beans/beans_hmd/next/products/trivisio/ar_vision_3d.htm＞
【非特許文献２】株式会社ヤッパ、”３Ｄビジネス＞テクノロジー”、[online]、掲載年月日不明、ＹＡＰＰＡ、［平成１８年９月２０日検索］、インターネット＜ＵＲＬ：http://www.yappa.co.jp/our_business/technology.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の左右視差を利用した立体表示装置では、複雑な表示装置が必要となる。すなわち、現在、多くのコンピュータやテレビの表示装置は１台の平面的表示装置で構成されているが、左右の視差を視聴者に知覚させるためには、左右の目に異なる画像をとらえさせる必要があるため、現在の表示装置を用いることができない。すなわち、ヘッドマウントディスプレイのように２台の表示装置で構成する場合は勿論のこと、１台の表示装置で構成する場合には、左右の視線方向の微妙な角度の差異から異なる画像を表示することができるように構成しなければならず現行の表示装置を用いることができないという問題がある。
【０００７】
また、運動視差を利用した表示装置では、利用者が手に取るように自由に立体を回転させることができる反面、日常生活で自然に発生する立体感を超えて、重力方向や巨大さなどの感覚が感じられ難くなってしまうという問題がある。また、映画やゲームのように対象物がいくつも存在するものでは、表示対象物とその他の表示物とのストーリー性が失われるという問題を有する。また、単に、必ず入力装置を介して利用者が入力を行わなければならず、煩雑であるという問題もある。
【０００８】
本発明は、上記に鑑みてなされたもので、一般的な表示装置を用いた簡単な構成で立体視を可能にする立体表示処理装置、立体表示処理方法および立体表示処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
このような目的を達成するため、請求項１に記載の発明は、少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置であって、前記記憶装置は、複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段を備え、前記制御装置は、前記画像記憶手段に記憶された前記画像データに基づいて、前記対象の画像が表示装置に表示されるよう制御する表示制御手段と、前記検出装置を介して、前記表示制御手段により前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出手段と、を備え、前記表示制御手段は、前記視点検出手段によって検出された前記視線または前記視点の変化に従って、対応する前記観察位置から前記対象が表示されるように制御する視差発生手段を備えたことを特徴とする。
【００１０】
また、請求項２に記載の発明は、少なくとも検出装置と制御装置とを備えた立体表示処理装置であって、前記制御装置は、受信装置を介して受信される画像データに基づいて、対象の画像が表示装置に表示されるよう制御する表示制御手段と、前記検出装置を介して、前記表示制御手段により前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出手段と、を備え、前記表示制御手段は、前記視点検出手段によって検出された前記視線または前記視点の変化に従って、対応する観察位置から前記対象が表示されるよう制御する視差発生手段
を備えたことを特徴とする。
【００１１】
また、請求項３に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視点検出手段は、前記検出装置を介して、前記表示装置に表示された前記画像を見ている人物の眼球を撮像し、撮像された前記眼球の情報から前記視線または前記視点を導出すること、を特徴とする。
【００１２】
また、請求項４に記載の発明は、請求項１乃至３のいずれか一つに記載の立体表示処理装置において、前記視点検出手段は、前記検出装置を介して、前記表示装置に表示された前記画像を見ている人物の視線を検出し、検出された前記視線と前記表示装置の表示画面平面との交点を前記視点として導出すること、を備えたことを特徴とする。
【００１３】
また、請求項５に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視点検出手段は、前記検出手段を制御して、眼球運動、眼球位置、または眼球状態を検出し、検出された前記眼球運動、前記眼球位置、または前記眼球状態から前記視線または前記視点の変化を導出することを特徴とする。
【００１４】
また、請求項６に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記検出装置は、撮像装置であり、前記視点検出手段は、前記人物の眼球を撮像し、撮像された当該眼球に対する瞳の位置から視線を導出し、前記表示装置の表示画面平面との当該視線の交差する点を前記視点として導出すること、を特徴とする。
【００１５】
また、請求項７に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視差発生手段は、前記視線または前記視点に対応して、前記画像データを切り替えることにより前記対象が表示されるよう制御することを特徴とする。
また、請求項８に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視差発生手段は、前記視線または前記視点に連動させて、前記画像データを画像処理することにより当該視線または当該視点に対応する前記観察位置からの前記対象が表示されるよう制御すること、を特徴とする。
【００１６】
また、請求項９に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視差発生手段は、前記視線または前記視点の変化に連動させて前記対象を変位させ、表示されるよう制御することを特徴とする。
【００１７】
また、請求項１０に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視差発生手段は、検出された前記視線または前記視点に対応付けて、仮想空間上で前記観察位置を前記対象に対して移動させ、当該観察位置からの視界を表示されるよう制御することを特徴とする。
【００１８】
また、請求項１１に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視差発生手段は、前記視線または前記視点の変化に対応付けて前記対象を回転させ、当該対象が表示されるよう制御することを特徴とする。
【００１９】
また、請求項１２に記載の発明は、請求項１または２に記載の立体表示処理装置において、前記視点検出手段は、前記表示装置の表示画面平面上に前記視点を求め、前記表示装置の表示画面中央からの当該視点のベクトルを導出し、前記視差発生手段は、仮想空間上で、前記ベクトル方向に対応するｘｙ平面方向に、ベクトル距離に対応する距離だけ、観察位置を移動させること、を特徴とする。
【００２０】
また、請求項１３に記載の発明は、少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理方法であって、前記記憶装置は、複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段を備えており、前記制御装置において実行される、前記画像記憶手段に記憶された前記画像データに基づいて、前記対象の画像が表示装置に表示されるよう制御する表示制御ステップと、前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、を含み、前記表示制御ステップは、前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、前記観察位置から前記対象が表示されるように制御する視差発生ステップを含むことを特徴とする。
【００２１】
また、請求項１４に記載の発明は、少なくとも検出装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理方法であって、前記制御装置において実行される、受信装置を介して受信される画像データに基づいて、対象の画像が表示装置に表示されるよう制御する表示制御ステップと、前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、を含み、前記表示制御ステップは、前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、対応する観察位置から前記対象が表示されるよう制御する視差発生ステップ
を含むことを特徴とする。
【００２２】
また、請求項１５に記載の発明は、少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理プログラムであって、前記記憶装置は、複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段を備えており、前記制御装置において実行される、前記画像記憶手段に記憶された前記画像データに基づいて、前記対象の画像が表示装置に表示されるよう制御する表示制御ステップと、前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、を含み、前記表示制御ステップは、前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、前記観察位置から前記対象が表示されるように制御する視差発生ステップを含むことを特徴とする。
【００２３】
また、請求項１６に記載の発明は、少なくとも検出装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理プログラムであって、前記制御装置において実行される、受信装置を介して受信される画像データに基づいて、対象の画像が表示装置に表示されるよう制御する表示制御ステップと、前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、を含み、前記表示制御ステップは、前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、対応する観察位置から前記対象が表示されるよう制御する視差発生ステップを含むことを特徴とする。
【００２４】
また、本発明は記録媒体に関するものであり、上記発明のいずれかの立体表示処理プログラムを記録したことを特徴とする。
【発明の効果】
【００２５】
この発明によれば、一般的な表示装置を用いた簡単な構成で単眼視差による立体視を可能にする立体表示処理装置、立体表示処理方法および立体表示処理プログラムを提供することができる。
【発明を実施するための最良の形態】
【００２６】
以下に、本発明の本実施の形態にかかる立体表示処理装置、立体表示処理方法および立体表示処理プログラム、並びに記録媒体の実施の形態を図面に基づいて詳細に説明する。なお、この実施の形態によりこの発明が限定されるものではない。
【００２７】
［本実施の形態の概要］
以下、本発明の本実施の形態の概要について説明し、その後、本実施の形態の構成および処理等について詳細に説明する。
【００２８】
本発明の本実施の形態は、概略的に、以下の基本的特徴を有する。ここで、図１は、本発明の基本原理を示す原理構成図である。
【００２９】
まず、図１に示すように、本発明の本実施の形態は、制御装置１０２は、画像データに基づいて、対象の画像が表示装置１１４に表示されるよう制御する。
【００３０】
ここで、図１に示すように、画像データは、受信装置１１８を介して電波等を受信することにより入力されてもよく、また、ネットワーク３００を介して他の装置からダウンロード等することにより入力されてもよく、また、記憶装置１０６を読み込むことにより入力されてもよい。
【００３１】
つぎに、本発明の本実施の形態は、制御装置１０２は、検出装置１１２を介して、表示装置１１４に表示された画像を見ている人物の視線または視点を検出する。
【００３２】
視点または視線の検出は、直接的に視線または視点を検出する手段に限られず、眼球を撮影する等により間接的に視線・視点を導出する手段をも含む。例えば、視線を検出し、検出された視線と表示装置の表示画面平面との交点を視点として導出してもよい。また、眼球運動、眼球位置、または眼球状態を検出し、検出された眼球運動、眼球位置、または眼球状態から視線または視点の変化を導出してもよい。また、人物の眼球を撮像し、撮像された眼球に対する瞳の位置から視線を導出し、または、更に、導出された視線から表示装置の表示画面平面との視線の交差する点を視点として導出してもよい。
【００３３】
つづいて、本発明の本実施の形態は、制御装置１０２は、検出された視線または視点の変化に従って、対応する観察位置から対象が表示装置１１４に表示されるよう制御する。
【００３４】
すなわち、例えば、検出された視線または視点に対応した画像データに切り替えて、対象が表示装置に表示されるよう制御してもよい。また、検出された視線または視点に連動させて、画像データを画像処理することにより視線または視点に対応する観察位置からの対象が表示装置に表示されるよう制御してもよい。また、検出された視線または視点の変化に連動させて、対象を変位させ表示装置に表示されるよう制御してもよい。また、検出された視線または視点に対応付けて、仮想空間上で観察位置を対象に対して移動させ、観察位置からの視界を表示装置に表示されるよう制御してもよい。また、検出された視線または視点の変化に対応付けて対象を回転させ、対象が表示装置に表示されるよう制御してもよい。また、検出された視点から、表示装置の表示画面中央からの視点のベクトルを導出し、仮想空間上で、ベクトル方向に対応するｘｙ平面方向に、ベクトル距離に対応する距離だけ、観察位置を移動させることにより、表示制御してもよい。ここで当該画像処理の具体例については、後述する。
【００３５】
以上が、本発明の本実施の形態の概要である。以上により、本発明の本実施の形態は、観察者に単眼視差を感じさせ、対象を立体的に知覚させることができる。
【００３６】
［立体表示処理装置の構成］
まず、本立体表示処理装置の構成について説明する。図２は、本発明の本実施の形態が適用される本立体表示処理装置の構成の一例を示すブロック図であり、該構成のうち本実施の形態に関係する部分のみを概念的に示している。
【００３７】
図２において立体表示処理装置１００は、概略的に、立体表示処理装置１００の全体を統括的に制御するＣＰＵ等の制御装置１０２、通信回線等に接続されるルータ等の通信装置（図示せず）に接続される通信制御インターフェース部１０４、検出装置１１２や表示装置１１４に接続される入出力制御インターフェース部１０８、および、各種のデータベースやテーブルなどを格納する記憶装置１０６を備えて構成されており、これら各部は任意の通信路を介して通信可能に接続されている。
【００３８】
記憶装置１０６に格納される各種のデータベースやテーブル（画像データファイル１０６ａ等）は、固定ディスク装置等のストレージ手段であり、各種処理に用いる各種のプログラムやテーブルやファイルやデータベースやウェブページ等を格納する。
【００３９】
これら記憶装置１０６の各構成要素のうち、画像データファイル１０６ａは、複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段である。画像データファイル１０６ａに格納される情報は、例えば、３Ｄグラフィックスデータであり、また例えば、複数のカメラ位置から撮像された対象の撮像データである。
【００４０】
また、図２において、入出力制御インターフェース部１０８は、検出装置１１２や表示装置１１４の制御を行う。ここで、表示装置１１４としては、モニタ（家庭用テレビやヘッドマウントディスプレイ等を含む）等の表示手段を用いることができる（なお、以下においては表示装置１１４をモニタとして記載する場合がある）。また、検出装置１１２としては、カメラ等の撮像装置や超音波距離測定器、公知の視線または視点測定装置、発光集光装置等を用いることができる。
【００４１】
また、図２において、制御装置１０２は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の制御プログラム、各種の処理手順等を規定したプログラム、および所要データを格納するための内部メモリを有し、これらのプログラム等により、種々の処理を実行するための情報処理を行う。制御装置１０２は、機能概念的に、表示制御部１０２ａ、視差発生部１０２ｂ、視点検出部１０２ｃを備えて構成されている。
【００４２】
このうち、表示制御部１０２ａは、画像データに基づいて、対象の画像が表示装置１１４に表示されるよう制御する表示制御手段である。ここで、表示制御部１０２ａは、図２に示すように、視差発生部１０２ｂを備えて構成されている。ここで、画像データは、画像データファイル１０６ａを制御することにより読み込んでもよく、また、ネットワーク３００を介して、外部システム２００の画像データベースからダウンロードまたはストリーミングすることにより取り入れてもよく、また、受信装置１１８を介して、電波等を受信することにより取得してもよい。
【００４３】
視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点の変化に従って、対応する観察位置から対象が表示されるように画像データを制御する視差発生手段である。ここで、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点に対応して、画像データを切り替えることにより対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点に連動させて画像データを画像処理することにより、当該視線または視点に対応する観察位置からの対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点の変化に連動させて対象を変位させ、当該変位した対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点に対応付けて、仮想空間上で対象に対して観察位置を移動させ、当該観察位置からの視界が表示されるよう制御してもよい。また、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点の変化に対応付けて対象を回転させ、当該対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視点から、表示装置１１４の表示画面中央から視点位置へのベクトルを導出し、仮想空間上で、ベクトル方向に対応するｘｙ平面方向に、ベクトル距離に対応する距離だけ、観察位置を移動させることにより、表示制御してもよい。
【００４４】
また、視点検出部１０２ｃは、検出装置１１２を介して、表示制御部１０２ａにより表示装置１１４に表示された画像を見ている人物の視線または視点を検出する視点検出手段である。ここで、視点検出部１０２ｃは、検出装置１１２を制御して直接的に視線または視点を検出する手段に限られず、眼球撮像手段等の検出装置１１２を制御して間接的に視線または視点を導出する手段をも含む。また、ここで、視点検出部１０２ｃは、検出装置１１２を制御して視線を検出し、検出された視線と表示装置１１４の表示画面平面との交点を視点として導出してもよい。また、ここで、視点検出部１０２ｃは、検出装置１１２を制御して眼球運動、眼球位置、または眼球状態を検出し、検出された眼球運動、眼球位置、または眼球状態から視線または視点の変化を導出してもよい。また、ここで、視点検出部１０２ｃは、検出装置１１２を制御して人物の眼球を撮像し、撮像された眼球に対する瞳の位置から視線を導出してもよく、更に、導出された視線から表示装置１１４の表示画面平面との視線の交差する点を視点として導出してもよい。
【００４５】
また、図２において、通信制御インターフェース部１０４は、立体表示処理装置１００とネットワーク３００（またはルータ等の通信装置）との間における通信制御や、立体表示処理装置１００と受信装置１１８との間における通信制御を行う装置である。すなわち、通信制御インターフェース部１０４は、他の端末または局と、通信回線（有線、無線を問わない）を介してデータを通信する機能を有する。また、ここで、図２において、受信装置１１８は、放送局等から電波等を受信する受信手段であり、例えばアンテナ等である。
【００４６】
すなわち、立体表示処理装置１００は、画像データに関する外部データベースや立体表示処理プログラム等の外部プログラム等を提供する外部システム２００と、ネットワーク３００を介して通信可能に接続して構成されていてもよく、また、立体表示処理装置１００は、画像データ等を発信する放送局等と、受信装置１１８を介して受信可能に接続して構成されていてもよい。また、この立体表示処理装置１００は、ルータ等の通信装置および専用線等の有線または無線の通信回線を介して、ネットワーク３００に通信可能に接続されていてもよい。
【００４７】
ここで、図２において、ネットワーク３００は、立体表示処理装置１００と外部システム２００とを相互に接続する機能を有し、例えば、インターネット等である。
【００４８】
また、図２において、外部システム２００は、ネットワーク３００を介して、立体表示処理装置１００と相互に接続され、利用者に対して画像データに関する外部データベースや立体表示処理プログラム等の外部プログラム等を実行するウェブサイトを提供する機能を有する。
【００４９】
ここで、外部システム２００は、ＷＥＢサーバやＡＳＰサーバ等として構成していてもよく、そのハードウェア構成は、一般に市販されるワークステーション、パーソナルコンピュータ等の情報処理装置およびその付属装置により構成していてもよい。また、外部システム２００の各機能は、外部システム２００のハードウェア構成中のＣＰＵ、ディスク装置、メモリ装置、入力装置、出力装置、通信制御装置等およびそれらを制御するプログラム等により実現される。
【００５０】
［立体表示処理］
次に、このように構成された本実施の形態における本立体表示処理装置の本立体表示処理の一例について、以下に図３を参照して詳細に説明する。
【００５１】
まず、図３に示すように、表示制御部１０２ａは、画像データに基づいて、対象の画像が表示装置１１４に表示されるよう制御する（ＳＡ−１）。すなわち、表示制御部１０２ａは、通信制御インターフェース部１０４を制御することにより、受信装置１１８またはネットワーク３００を介して画像データを取得し、または、画像データファイル１０６ａに格納された画像データを取得し、取得した画像データを処理し、画像データに基づく画像が表示装置１１４に表示されるよう入出力制御インターフェース部１０８を制御する。
【００５２】
つぎに、図３に示すように、視点検出部１０２ｃは、検出装置１１２を介して、ステップＳＡ−１により表示装置１１４に表示された画像を見ている人物の視線または視点を検出する（ＳＡ−２）。すなわち、視点検出部１０２ｃは、入出力制御インターフェース部１０８を介して検出装置１１２を制御することにより、ＳＡ−１によって表示された表示装置１１４の表示画面を観察している人物の視線または視点を直接的または間接的に検出する。
【００５３】
すなわち、一例として、視点検出部１０２ｃは、検出装置１１２を制御して視線を検出し、検出された視線と表示装置１１４の表示画面平面との交点を視点として導出してもよい。また、視点検出部１０２ｃは、撮像装置等の検出装置１１２を制御して眼球運動、眼球位置、または眼球状態を検出し、検出された眼球運動、眼球位置、または眼球状態から視線または視点の変化を導出してもよい。また、視点検出部１０２ｃは、撮像装置等の検出装置１１２を制御して人物の眼球を撮像し、撮像された眼球に対する瞳の位置から視線を導出してもよい。また、視点検出部１０２ｃは、視線と表示装置１１４の表示画面平面との視線の交差する点を視点として導出してもよい。その他、公知の検出手段（視線検出手段または視点検出手段等）を用いることができる。また、検出装置１１２として一部に超音波距離測定装置を用いて、人物までの距離を測定してもよい。また、視差発生部１０２ｂは、検出装置１１２を介して、眼球に映った表示装置１１４の表示画面を撮像し、撮像された眼球上の表示画面の位置関係から視線または視点を検出してもよい。また、視点検出部１０２ｃは、上記これらの処理を任意に組み合わせて構成してもよい。
【００５４】
つづいて、図３に示すように、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視線または視点の変化に従って、対応する観察位置から対象が表示されるよう視差発生処理を実行する（ＳＡ−３）。
【００５５】
具体的には、視差発生処理の一例として、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視線または視点に対応して、画像データを切り替えることにより対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視線または視点に連動させて画像データを画像処理することにより、当該視線または視点に対応する観察位置からの対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視線または視点の変化に連動させて対象を変位させ、当該変位した対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視線または視点に対応付けて、仮想空間上で対象に対して観察位置を移動させ、当該観察位置からの視界が表示されるよう制御してもよい。また、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視線または視点の変化に対応付けて対象を回転させ、当該対象が表示されるよう制御してもよい。また、視差発生部１０２ｂは、ステップＳＡ−２によって検出された視点に基づいて、表示装置１１４の表示画面中央から視点位置へのベクトルを導出し、仮想空間上で、ベクトル方向に対応するｘｙ平面方向に、ベクトル距離に対応する距離だけ、観察位置を移動させることにより、表示制御してもよい。また、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視点に仮想空間上の最遠点（例えば、遠近線が収束する点）が一致して描画されるよう制御してもよい。
【００５６】
そして、ＳＡ−３（「視差発生処理」）によって制御された画像データに基づいて、表示制御部１０２ａは、対象の画像が表示装置１１４に表示されるよう制御する（ＳＡ−１）。以下、上記ＳＡ−１〜ＳＡ−３の処理を繰り返すことにより、本立体表示処理が実現される。これにより、表示画面を見ている人物の視線または視点の変化に連動して、表示対象と人物の仮想上の相対運動により網膜像の大きさや形状が変化する単眼視差を発生させるよう処理するので、人物に立体感や奥行きを知覚させることができる。
【００５７】
［検出処理］
次に、検出処理の詳細と具体例について説明する。視点検出部１０２ｃは、検出装置１１２を介して、表示制御部１０２ａにより表示装置１１４に表示された画像を見ている人物の視線または視点を検出する。ここで、視点検出部１０２ｃは、入出力制御インターフェース部１０８を介して検出装置１１２を制御して直接的に視線または視点を検出する処理を実行することに限られず、眼球撮像手段等の検出装置１１２を制御して間接的に視線または視点を導出する処理をも含む。以下にその具体例を列挙する。
【００５８】
［検出処理Ａ］
検出処理Ａとして、視点検出部１０２ｃは、検出装置１１２を制御して視線を検出し、検出された視線と表示装置１１４の表示画面平面との交点を視点として導出する。すなわち、たとえば、視線は、利用者と表示装置１１４が存在する空間上の線分として検出装置１１２を介して検出され、視点検出部１０２ｃは、検出された線分と表示装置１１４の表示画面平面の空間上の交点を算出し、当該交点を視点として導出する。
［検出処理Ｂ］
検出処理Ｂとして、視点検出部１０２ｃは、検出装置１１２を制御して眼球運動、眼球位置、または眼球状態を検出し、検出された眼球運動、眼球位置、または眼球状態から視線または視点の変化を導出する。すなわち、例えば、眼球運動を検出装置１１２を介して検出した場合には、眼球運動スピードにより数ミリ秒後の視線または視点を予測して導出してもよい。これにより、視差発生部１０２ｂの処理に数ミリ秒の時間がかかる場合であっても、眼球の動きと立体表示処理のわずかな時間のズレを解消することができる。また、例えば、眼球位置としては、撮像装置等のピント情報により眼球位置の表示装置１１４に対する奥行きを導出してもよい。また、眼球位置を測定する検出装置として、超音波距離測定装置等を用いてもよい。これにより、眼球状態を設定したときの眼球位置が視点検出処理のときの眼球位置と異なる場合でも、導出される視点または視線のズレを補正することができる。また、例えば、眼球状態として、撮像装置等の検出装置１１２を介して、眼球を撮像し、眼球状態を白目と黒目（虹彩（Ｉｒｉｓ）または瞳（ｐｕｐｉｌ））の違いにより検出してもよい。眼球状態からは視線の方向を導出することができる。すなわち、眼球状態と（表示装置１１４に対する）眼球位置が検出できれば、一意に視線または視点を導出することができる。また、検出装置１１２として、眼球と表示装置１１４の間に半透過性のプリズムを設置して、眼球を撮像することにより、眼球運動、眼球位置または眼球状態を検出してもよい。
［検出処理Ｃ］
検出処理Ｃとして、視点検出部１０２ｃは、検出装置１１２を制御して人物の眼球を撮像し、撮像された眼球に対する瞳の位置から視線を導出する。すなわち、眼球は球状であり、瞳の位置が球状の一点を指定することにより、画像解析処理を実行して、球の中心から一点を通る視線方向が導き出される。
［検出処理Ｄ］
検出処理Ｄとして、視点検出部１０２ｃは、視線から表示装置１１４の表示画面平面との視線の交差する点を視点として導出する。すなわち、視線は線分または半直線として検出・導出されるので、当該線分または半直線と表示画面平面が交わる交点を視点として導出してもよい。
［検出処理Ｅ］
また、視差発生部１０２ｂは、検出装置１１２を介して、眼球と眼球に映った表示装置１１４の表示画面を撮像し、撮像された眼球上の表示画面の位置関係から視線または視点を検出する。
【００５９】
［検出処理（眼球状態を視点に対応付けて予め設定）］
ここで、視点検出処理の一例として、予め視点に対応付けて、利用者に眼球状態を設定させ、眼球を撮像することにより対応する視点を検出する処理を、図４を参照しながら説明する。
【００６０】
まず、図４に示すように、制御装置１０２は、表示制御部１０２ａの処理により、表示装置１１４の表示画面上の任意の位置にポイント（例えば、赤い丸い点）を表示するよう制御する（ＳＢ−１）。
【００６１】
つぎに、制御装置１０２は、表示制御部１０２ａの処理により、マウスなどの入力手段を介して、利用者に表示画面上のポインタを移動させ、ポイントをクリック等させるように制御する（ＳＢ−２）。なお、この処理はＧＵＩにより実現される。
【００６２】
つづいて、制御装置１０２は、撮像装置等の検出装置１１２を制御して、ポイントをクリック等した時点または直前の利用者の眼球を撮像する（ＳＢ−３）。このとき同時に、検出装置１１２は、利用者の眼球の位置（表示装置１１４に対する奥行きなど）を測定してもよい。
【００６３】
そして、制御装置１０２は、ポイント位置と眼球状態を対応付けて、記憶装置１０６に格納する（ＳＢ−４）。以上の処理を複数回行い（ＳＢ−５、Ｎｏ）、眼球状態の設定処理を終了する（ＳＢ−５、Ｙｅｓ）。
【００６４】
立体表示処理を行う場合には、視点検出部１０２ｃは、検出装置１１２を介して利用者の眼球を撮像し、撮像した眼球状態と一致する、上記設定処理により１１６に格納された当該利用者の眼球状態を導出することにより、対応する視点を導出する。
【００６５】
すなわち、図４に示すように、まず、視点検出部１０２ｃは、撮像装置等の検出装置１１２を介して、利用者の眼球を撮像するように制御する（ＳＢ−６）。
【００６６】
つぎに、視点検出部１０２ｃは、撮影された利用者の眼球画像から、設定情報に基づいて視点を導出する（ＳＢ−７，８）。すなわち、撮像された眼球画像から眼球状態を導出し、導出された眼球状態と一致する設定登録された眼球状態を割り出し（ＳＢ−７）、割り出した眼球状態と対応付けられた視点を導出することにより実現する（ＳＢ−８）。ここで眼球状態は、白目と黒目（虹彩（Ｉｒｉｓ）または瞳（ｐｕｐｉｌ））の違いにより検出してもよい。また、ここで、視点の計測は、現在の眼球の状態・位置そのものから導出することに限られず、眼球運動の方向とスピードとを検知することにより、予め任意の時間後の視点を予測することにより導出してもよい。
【００６７】
ＳＢ-８の後、視差発生部１０２ｂによる処理が行われ、つぎにステップＳＢ−６に処理を返す。立体表示処理においては、制御装置１０２（視点検出部１０２ｃ）は、以上の検出処理を繰り返し実行する（ＳＢ−６〜ＳＢ−８）。以上で、［検出処理（眼球状態を視点に対応付けて予め設定）］の説明を終える。
【００６８】
検出処理は以上に限られず、公知の視点検出手段を用いて実行されてもよい。例えば、注視点測定システムＴＥ−９２００（製造販売 株式会社 テクノワークス）を用いることにより、注視点を追跡することにより実現してもよい。また、両眼の輻輳角情報と視線位置情報からオブジェクトまでの距離と方向を計算することで、相対位置を取得し、より正確に注視点を計測するよう制御してもよい。また、特許第３２７２９０６号に示されるように、人間の顔部分の画像に対して種々の画像処理を施して眼球部分および白目部分などの位置を検出し、目線方向の算出を行うものでもよく、特開平０７−１９１７９６号に示されるように、操作者にゴーグルやヘッドギアといった専用の器具を装着させることによって、眼球の動きをより正確に検出するものでもよい。
【００６９】
また、眼球内部の反射を利用して視線方向を検出装置により直接計測してもよい。すなわち、視線方向から光などの電磁波が入射すると、眼球の網膜で反射し、視線方向（入射方向逆向き）へ反射され、検出装置等に到達する。しかし、視線方向以外から光等が入射しても、眼球の直径を通過しないので、入射方向逆向きに光等は反射しない。この性質を利用して、電磁波等発生装置と検出装置を組み合わせ、電磁波等発生位置と同位置に反射される電磁波等を検出することにより、視線または視点を検出してもよい。また、視点検出部１０２ｃは、上記これらの処理・装置を任意に組み合わせて構成してもよい。
【００７０】
これにて、検出処理の説明を終了する。
【００７１】
［視差発生処理］
人間は左右の眼球の視差だけでなく、対象物に対して観察者が移動すること、または眼球を動かすことに伴う視差から、対象物の立体情報を読み取る能力がある。すなわち、物体と観察者（眼球）の相対運動により網膜像の大きさや形状が変化することにより発生する単眼視差によっても立体や奥行きを知覚することができる。
【００７２】
本発明の本実施の形態は、上記視覚の特性を利用して、利用者の眼球運動に連動してあたかも運動視差が発生したかのような感覚（錯覚）を生じさせるように画像を処理することにより（擬似的に）立体表示を行うことを特徴とする。すなわち、本発明の本実施の形態は、表示装置を観察する観察者の眼球運動などを撮像すること等により視線または視点を検出・測定し、視線または視点の変化に連動して、表示を切り替えることにより、観察者に視差を感じさせ、もって、対象を立体的に知覚させるように制御することに特徴を有する。
【００７３】
すなわち、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点の変化に従って、対応する観察位置から対象が表示されるように画像データを制御する。そして、視差発生部１０２ｂにより制御された画像は、表示制御部１０２ａの処理により、表示装置１１４に表示されるよう制御される。これにより、利用者の視線または視点の変化に連動して、対象を表示する観察位置を変更して表示するので、単眼視差を発生させることができ、利用者に眼球運動に応じた自然な立体感を感得せしめることができる。ここで、以下に視差発生処理の具体例を、図５〜図８を参照しながら説明する。なお、以下の説明においては、視差発生部１０２ｂの視差発生処理に続く、表示制御部１０２ａの表示制御処理については、説明を省略することがあるが、視差発生部１０２ｂの視差発生処理の処理結果は、表示制御部１０２ａの処理により、表示装置１１４の表示画面にすばやく反映されるものである。
【００７４】
［視差発生処理（画像切替）］
具体例として、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点に対応して、画像データを切り替えることにより対象が表示されるよう制御する。すなわち、例えば画像データは、複数のデータであり、それぞれ異なる観察位置からの対象の画像データであり、視差発生部１０２ｂは、検出された視線または視点に応じて、複数の画像データを切り替えて表示することにより、視差を発生させる。そして、視差発生部１０２ｂによる視差発生処理の結果は、表示制御部１０２ａの処理により、表示装置１１４に表示されるよう制御される。
【００７５】
また、画像データは単一のデータであり、画像データには、主画像データと共に、主画像と異なる観察位置から対象を見た場合の表示画像の差分データを備えて構成されてもよい。すなわち、例えば、画像データは、動き補償技術を用いて、対象に対して正面の視点に対応する主画像と、左よりの観察位置に対応する画像との差分データを抽出し、同じように他の観察位置に対応する画像との差分データを抽出し、主画像データと共に、観察位置と対応付けて差分データを埋め込んでおく。そして、視点検出部１０２ｃは、検出された視線または視点に対応する観察位置の差分データを読み込み、当該差分データと主画像データを用いて画像処理により異なる観察位置からの画像を合成し、合成した画像に切り替えて表示することにより、視差を発生させる。
【００７６】
［視差発生処理（画像処理）］
具体例として、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点に連動させて画像データを画像処理することにより、当該視線または視点に対応する観察位置からの対象が表示されるよう制御する。
【００７７】
例えば、画像データは３Ｄグラフィックスデータであり、視差発生部１０２ｂは、検出された視線または視点に対応する観察位置からの対象が表示されるように、３Ｄグラフィックスデータの画像処理を行う。例えば、対象物の回転、移動、もしくは影付け、光源位置の変更、または仮想空間上の観察位置の変更（移動）等である。
【００７８】
ここで、視差発生処理における、視線または視点と観察位置との対応付けの具体例として［処理Ａ］〜［処理Ｃ］を、図５を参照しながら説明する。図５は、視線または視点と観察位置との対応付けの具体例を示す概念図である。
【００７９】
図５を用いて以下に説明する具体例では、検出装置として眼球撮像装置を用いており、視点検出部１０２ｃは、検出装置１１２を介して、表示装置の表示画面を見ている人物の眼球を撮像し、眼球状態から表示画面平面上の視点を導出する。
【００８０】
図５において、左の列のカラムは、撮像された人物の眼球と、導出された表示画面（図中で矩形で示す）平面上の視点（図中でＸで示す）を表している。また、図５において、中央の列のカラムは、画像処理における仮想空間を表し、対象（図中でピラミッドで示す）と観察位置を示す人物（図中で黒丸で示す）とを上から見た図である。また、図５において、右の列のカラムは、仮想空間上の人物（すなわち観察位置）から見える視界を表示しており、この視界の画像が表示装置に表示される。
【００８１】
まず、初期状態として、最上段においては、人物は表示画面の中央に視点を置いている（左カラム参照）。このとき、仮想空間上では、対象と人物は距離Ｄを保って正対している（中央カラム参照）。そして、表示装置に表示される画像は右カラムのようになる。
【００８２】
［処理Ａ］
人物が表示画面の左側に視点を移した場合、図５の２段目に示す処理Ａでは、視差発生部１０２ｂは、左よりの視点に対応付けて、仮想空間上で対象に対して観察位置を移動させる。より具体的には、視差発生部１０２ｂは、検出された左よりの視点から、表示画面中央から視点位置へのベクトルを導出し、仮想空間上で、ベクトル方向に対応するｘｙ平面方向（対象に対して右方向）に、ベクトル距離に対応する距離（ｄ）だけ、人物（観察位置）を移動させる（中央カラム参照）。
【００８３】
このとき、仮想空間上の観察位置からの視線方向は変わらないので、右カラムに示すように、対象物は表示画面の中心線からずれて表示される。ここで、処理Ａにおいて、視点のベクトル方向にｘｙ平面方向を対応付けるために、視差発生部１０２ｂは、視点が画面左寄りに移動した場合は、仮想空間上で右方向に移動させ、視点が画面右よりに移動した場合は、仮想空間上で左方向に移動させ、始点が画面上よりに移動した場合は、仮想空間上で下方向に移動させ、視点が画面下よりに移動した場合には、仮想空間上で上方向に移動させる。すなわち、視点のベクトル方向逆向きにｘｙ平面方向を対応付ける。
【００８４】
［処理Ｂ］
人物が表示画面の左側に視点を移した場合、図５の３段目に示す処理Ｂでは、視差発生部１０２ｂは、左よりの視点に対応付けて、仮想空間上で対象に対して観察位置と観察方向を移動させる。具体的には、視差発生部１０２ｂは、検出された左よりの視点から、表示装置１１４の表示画面中央から視点位置へのベクトルを導出し、仮想空間上で、ベクトル方向に対応するｘｙ平面方向（対象に対して右方向）に、ベクトル距離に対応する距離（ｄ）だけ、観察位置を移動させ、さらに観察方向を対象物の方向に向ける（中央カラム参照）。
【００８５】
このとき、仮想空間上の観察位置からの視線方向は対象物に向くので、右カラムに示すように、対象は表示画面の中央に表示される。ここで、処理Ｂにおいても、視差発生部１０２ｂは、視点のベクトル方向逆向きにｘｙ平面方向を対応付ける。
【００８６】
［処理Ｃ］
人物が表示画面の左側に視点を移した場合、図５の４段目に示す処理Ｃでは、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視線または視点の変化に連動させて対象を変位させ、変位した対象が表示されるよう制御する。具体的には、例えば視差発生部１０２ｂは、検出された視線または視点の変化に対応付けて、対応する方向に対象をθ°回転させる（中央カラム参照）。
【００８７】
このとき、仮想空間上の観察位置と対象との距離Ｄは変わらず、観察方向も変化しないので、右カラムに示すように、対象は表示画面の中央に表示される。ここで、以下に、変位発生処理として対象を回転させる回転制御処理について、より詳しく解説する。
【００８８】
［回転制御処理］
まず、視差発生処理として、対象の回転制御を行う場合の詳細について図６を参照して説明する。図６は、回転制御処理の一例を表す概念図である。
【００８９】
図６に示すように、対象として地球（儀）を用いた例を示す。なお、図中で、各地球の左上の矩形は、人物から見た場合の表示装置の表示画面を表し、矩形中のｘは、人物の視点位置を表している。
【００９０】
図６のＡに示すように、視点検出部１０２ｃの処理により人物が画面中央に視点が検出された場合には、表示制御部１０２ａは、画像データに基づき、対象の画像（正面）が表示されるよう表示装置を制御する。
【００９１】
つぎに、図６Ｂに示すように、視点検出部１０２ｃの処理により画面の上の位置に視点があると検出された場合には、地球儀を（図に向かって）下方向にθ°回転させる。
【００９２】
また、図６Ｃに示すように、視点検出部１０２ｃの処理により画面の左寄りの位置に視点があると検出された場合には、地球儀を右方向にθ°回転させる。
【００９３】
また、図６Ｄに示すように、視点検出部１０２ｃの処理により画面の左寄り位置に視点があると検出された場合には、地球儀を右方向にθ°回転させる。
【００９４】
また、図６Ｅに示すように、視点検出部１０２ｃの処理により画面の下の位置に視点があると検出された場合には、地球儀を上方向にθ°回転させる。
【００９５】
また、図６Ｂに示すように、視点検出部１０２ｃの処理により画面の左下の位置に視点があると検出された場合には、地球儀を右上方向にθ°回転させる。
【００９６】
ここで、視点位置と対象の回転方向・回転角度（θ°）とを対応付ける処理方法を、図７を参照しながら説明する。図７は、表示装置１１４に向かって表示画面を見たときの視点位置に対応する対象の回転方向（ｘ、ｙ）と回転角度（θ°）とを示す図である。
【００９７】
図７において、矩形は表示装置１１４の表示画面を表し、座標（ｘ、ｙ）＝（０，０）は、表示画面中心を表す。また、Δは、人物と表示装置１１４の表示画面との距離を示す。
【００９８】
例えば、図７に示すように、人物が右に視線をやり、表示画面外側の（ｘ、ｙ）＝（−１Δ，０）の位置に視点が検出された場合、表示画面中央に向かう線分と視線のなす角は、４５°となる。本実施例においては、視差発生部１０２ｂは、この角度を回転角度（θ°）として用いる。すなわち、視差発生部１０２ｂは、画像処理のための仮想空間上で対象を−xi方向に、４５°回転させる。
【００９９】
すなわち、視差発生部１０２ｂは、検出された視点から、表示装置１１４の表示画面中央から視点位置へのベクトルを導出し、仮想空間上で、ベクトル方向に対応するｘｙ平面方向に、対象をθ°を回転させる。ここで、θは、tanθ＝√（ｘ２＋ｙ２）／Δの式により、導出することができる（図７中の「tanθ＝√（ｘ２＋ｙ２）」の記載は誤り）。
【０１００】
ここで、視点検出部１０２ｃは、検出された視線方向から、直接、対象を、視線方向と表示画面中央の角度θ°だけ、対応する向きに回転させてもよい。これにて、回転制御処理の説明を終える。ここで、本実施の形態においては、画面中央方向に対する視線のなす角度θ°を、そのまま、回転制御処理に係る対象の回転角度として用いたが、これに限られず、回転角度θは、視差が発生する程度に任意の角度回転させることができる。また、回転方向も視点ベクトル逆向きに制御するよう構成したが、これに限られず、対象の性質に応じて任意の方向に回転させることができる。また、ある視点を注視する時間に応じて変位する量（θ）を増加させてもよい。
【０１０１】
［リンク処理］
対象物が一つの場合などは、上記回転制御処理の如く、対象をある角度θ°回転させるよう制御すればよいが、対象が複数の場合は、各々の対象をそれぞれ回転させるよう制御する方法では、不適切な場合がある。すなわち、各対象同士の位置関係が重要な要素である場合は、位置関係が崩れる。
【０１０２】
そこで、本具体例では、複数の対象を相互にリンクさせ、リンクした全体を所定の角度θ°回転させるよう制御する。ここで、図８は、リンク処理を表す模式図である。
【０１０３】
図８に示すように、本具体例においては、対象は４つあり、それぞれ正四面体の頂点に位置する関係でデータ空間上に存在する。
【０１０４】
図８のＡに示すように、視点検出部１０２ｃの処理により人物が画面中央に視点が検出された場合には、表示制御部１０２ａは、画像データに基づき、リンク化された対象群の画像（正面）が表示されるよう表示装置１１４を制御する。
【０１０５】
つぎに、図８Ｂに示すように、視点検出部１０２ｃの処理により画面の上の位置に視点があると検出された場合には、リンク化された対象群全体を（図に向かって）下方向にθ°回転させる。
【０１０６】
また、図８Ｃに示すように、視点検出部１０２ｃの処理により画面の左寄りの位置に視点があると検出された場合には、リンク化された対象群全体を右方向にθ°回転させる。
【０１０７】
また、図８Ｄに示すように、視点検出部１０２ｃの処理により画面の左寄り位置に視点があると検出された場合には、リンク化された対象群全体を右方向にθ°回転させる。
【０１０８】
また、図８Ｅに示すように、視点検出部１０２ｃの処理により画面の下の位置に視点があると検出された場合には、リンク化された対象群全体を上方向にθ°回転させる。
【０１０９】
すなわち、視点検出部１０２ｃは、対象群をリンク化し、検出された視点または視線に対応して、対象群全体を対応する向きに対応する角度回転させる。これにより、対象同士の位置関係が崩れることなく、立体感と共に奥行きをも表現することができる。
【０１１０】
［回転制御処理２］
視差発生部１０２ｂは、視点検出部１０２ｃの処理により視線または視点が中央から右に移動されたと判断した場合は、表示対象であるポリゴン等の対象を表示画面に向かって左に回転させる。
【０１１１】
そして、Ｚ距離を一定にして、対象をθ°回転させる。
【０１１２】
θの値は、例えば３°や１０°のように固定値でもよく、また観察者に対象までの距離や大きさを実感させたい場合には、例えば数式１により導出した値を用いてもよい。これにより、現実世界の感覚に似た距離感・大きさを体感させることができる。
tanθ＝Ａ／Ｚ・・・・・・・（数式１）
（Ｚ：仮想空間上の距離 Ａ：仮想空間上の人物が首を傾けた場合に移動する距離（例えば数mm〜数ｍ））
【０１１３】
これにて、回転制御処理２が終了する。これにより、利用者にあたかも自身が移動したことに伴う視差が発生したと錯覚させ、利用者は、擬似的に自然な立体感を体感することができる。
【０１１４】
この視差を発生させるための仮想的な距離はどれくらいの大きさであってもよいが、対象となる物の現実の大きさや距離を含めて立体感を体験させたい場合には、体を傾けて移動できる程度までの距離（数mm〜数ｍ）でもよい。しかし、これに限らず、タンパク質の立体構造のように微小なものや、山などの地形のように巨大なものの場合には、立体感が感じられるように、すなわち画像処理によって表示に変位が生ずる程度に適切に設定してもよい。しかしこの場合でも、対象物が複数の場合に、相対的な大きさが把握できるよう、変位の程度を相対的に制御することができる。
【０１１５】
［切替表示処理］
画像処理の負担を軽減させるために、単純には、例えば左上、上、右上、左、中央、右、左下、下、右下の観察位置から対象物を見た（撮影した）場合の９枚の画像を用意しておき、視点検出部１０２ｃの処理により検出された視線または視点に対応する画像を、視線または視点の変化に応じて切り替えて表示することにより実現してもよい。
【０１１６】
また、本実施の形態においては、観察者の表示装置に対する視線方向の傾きに対応させて仮想的な立体の表示も傾き変位させた（表示装置に対する観察者の視線方向をも検出手段により読み取りまたは導出し）が、これに限られず、観察者の表示装置に対する視線方向を常に一定として（すなわち例えば常に表示装置の表示平面に対して垂直であるとして）仮想的な立体表示の傾き変位を行わず、観察者の視線の到達点のみに基づいて仮想的な立体に対し垂直移動を行ったように表示してもよい。すなわち、仮想空間上の人物は、視線方向を一定に保ったまま垂直方向移動した場合のその人物の視界を映し出すよう制御してもよい。つまり、前者は、対象物が表示画面の中心に来るのに対して、後者の場合は、変位が生じる前に視線を向けた方向に表示画面の中央が来るよう制御される。
【０１１７】
［放送用表示情報］
ＭＰＥＧ−２により視差を動き保証により差分のベクトルを画像データ内に埋設してもよい。
【０１１８】
［実写の表示情報］
表示内容が、ＣＧなどではなく実写の場合は、撮影の際に複数のカメラで異なる位置・方向から撮影することにより、立体情報を取り込んでもよい。
【０１１９】
すなわち、中央に位置するカメラの両サイドに、左と右の視点に対応するカメラを設置し、中央に位置するカメラの上下に、上と下の視点に対応するカメラを設置することにより、５つの像を撮影し、画像情報を記憶する。ここで、静止画像等を撮像する場合は、視点位置を切り替えることができる一台のカメラで撮影してもよい。またここで、上記の撮像方法に限られず、撮像は、実写画像から立体情報を読み取ることができる公知の技術を用いて実施してもよい。
【０１２０】
つぎに、視差発生部１０２ｂは、表示制御部１０２ａの処理により、中央のカメラにより撮影された画像情報[中央]を表示装置１１４に表示するよう制御する。
【０１２１】
つづいて、視点検出部１０２ｃの処理により、検出装置１１２を制御し、表示装置を観察する人物を撮影する。
【０１２２】
そして、視差発生部１０２ｂは、視差発生部１０２ｂの処理により検出された視点または視線に対応付けて、対応する観察位置からの画像に切り替えるよう処理をおこなう。
【０１２３】
上記処理を繰り返し行うことにより、視差を発生させることができる。
【０１２４】
また、本実施の形態は必ずしも一時的に記憶させる必要はなく、各視線到達点に対応付けられた、記憶装置に撮影情報を格納することなく、リアルタイムに映像を切り替え表示することで構成してもよい。
【０１２５】
[重畳情報の表示]
また、本実施の形態は、立方体や直方体、円垂体などの本来的に立体的な物体を、表示することに限られず、多重に重なり合った平面を重畳的に表示する場合にも、適用することができる。これにより、重なり具合や奥行きを立体的に表示することができる。
【０１２６】
［最遠点設定処理］
具体例として、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視点に、最遠点を一致させるように表示するよう処理を行う。
【０１２７】
すなわち、遠近線の収束点を、表示装置を観察する人物の視点に対応付けて表示するよう構成してもよい。図９は、遠近法で描画する場合に、遠近線の収束点（最遠点）を、視点検出部１０２ｃの処理により検出された視点の位置に設定するよう処理を行った場合の表示例である。図９において、立法体が「ｘ」で示す点に遠近線が収束されるように表示されている。図９に示すように、視差発生部１０２ｂは、視点検出部１０２ｃの処理により検出された視点とこの収束点を一致させるように制御する。
【０１２８】
［他の実施の形態］
さて、これまで本発明の実施の形態について説明したが、本発明は、上述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてよいものである。
【０１２９】
視線は、網膜上からレンズ焦点を通り空間を横切る半直線または対象物にいたるまでの線分として定義してもよく、ベクトルとして定義してもよいものである。また、視線は人物から見たときには（人物の視界においては）点となり、この点を視点として定義してもよい。すなわち、視点は、２次元の人物の視界においては点であり、３次元空間においては線（視線）となると定義してもよい。
【０１３０】
また、上記実施の形態においては、視線または視点の画面中央に対する変化と逆向きに、対象を移動制御または回転制御したが、これに限られず、順向きに制御してもよい。たとえば、洞窟のような内側が空である物体に対しては、眼球運動と仮想上の移動制御または回転制御の方向が上記実施の形態と逆となってもよい。人間は、体を移動させる前に眼球を運動させるという習性がある。すなわち、観察者は壁面の立体構造を感得しようとするのであるから、例えば眼球が向かって右側の壁面を観察しようとする場合には、右に眼球を移動させながら体は左に向かうのが通常である。そのため、視差の制御を実施の形態と逆方向にしてもよい。
【０１３１】
また、本立体表示処理装置は、コンピュータ、携帯電話、ゲーム、テレビ等の表示装置、航空管制、飛行機操縦、自動車運転などの際の表示装置に利用することができる。
【０１３２】
対象物としては、一般的な映画などの動画像に限られず、バーチャルリアリティ空間、工業製品等のデザイン、地形構造情報、タンパク質の立体構造、宇宙の構造等の立体対象物に用いることができる。
【０１３３】
例えば、立体表示処理装置１００がスタンドアローンの形態で処理を行う場合を一例に説明したが、立体表示処理装置１００とは別筐体で構成されるクライアント端末からの要求に応じて処理を行い、その処理結果を当該クライアント端末に返却するように構成してもよい。
【０１３４】
また、実施の形態において説明した各処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。
このほか、上記文献中や図面中で示した処理手順、制御手順、具体的名称、各処理の登録データや検索条件等のパラメータを含む情報、画面例、データベース構成については、特記する場合を除いて任意に変更することができる。
【０１３５】
また、立体表示処理装置１００に関して、図示の各構成要素は機能概略的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。
【０１３６】
例えば、立体表示処理装置１００の各装置が備える処理機能、特に制御装置１０２にて行われる各処理機能については、その全部または任意の一部を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）および当該ＣＰＵにて解釈実行されるプログラムにて実現することができ、あるいは、ワイヤードロジックによるハードウェアとして実現することも可能である。尚、プログラムは、後述する記録媒体に記録されており、必要に応じて立体表示処理装置１００に機械的に読み取られる。すなわち、ＲＯＭまたはＨＤなどの記憶装置１０６などは、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）として協働してＣＰＵに命令を与え、各種処理を行うためのコンピュータプログラムが記録されている。このコンピュータプログラムは、ＲＡＭにロードされることによって実行され、ＣＰＵと協働して制御部を構成する。
【０１３７】
また、このコンピュータプログラムは、立体表示処理装置１００に対して任意のネットワーク３００を介して接続されたアプリケーションプログラムサーバに記憶されていてもよく、必要に応じてその全部または一部をダウンロードすることも可能である。
【０１３８】
また、本発明に係るプログラムを、コンピュータ読み取り可能な記録媒体に格納することもできる。ここで、この「記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等の任意の「可搬用の物理媒体」、あるいは、ＬＡＮ、ＷＡＮ、インターネットに代表されるネットワークを介してプログラムを送信する場合の通信回線や搬送波のように、短期にプログラムを保持する「通信媒体」を含むものとする。
【０１３９】
また、「プログラム」とは、任意の言語や記述方法にて記述されたデータ処理方法であり、ソースコードやバイナリコード等の形式を問わない。なお、「プログラム」は必ずしも単一的に構成されるものに限られず、複数のモジュールやライブラリとして分散構成されるものや、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）に代表される別個のプログラムと協働してその機能を達成するものをも含む。なお、実施の形態に示した各装置において記録媒体を読み取るための具体的な構成、読み取り手順、あるいは、読み取り後のインストール手順等については、周知の構成や手順を用いることができる。
【０１４０】
また、「記憶手段」または「記憶部」とは、伝送のために一時的にプールしておく場合も含む。すなわち、本発明は、各視線到達点に対応付けられた、９台のカメラから構成し、一般的なハードウェアに格納することなく、リアルタイムに画像を表示することも含む。
【０１４１】
記憶装置１０６に格納される各種のデータベース等（画像データファイル１０６ａ）は、ＲＡＭ、ＲＯＭ等のメモリ装置、ハードディスク等の固定ディスク装置、フレキシブルディスク、光ディスク等のストレージ手段であり、各種処理やウェブサイト提供に用いる各種のプログラムやテーブルやデータベースやウェブページ用ファイル等を格納する。
【０１４２】
また、立体表示処理装置１００は、既知のパーソナルコンピュータ、ワークステーション等の情報処理装置を接続し、該情報処理装置に本発明の方法を実現させるソフトウェア（プログラム、データ等を含む）を実装することにより実現してもよい。
【０１４３】
更に、装置の分散・統合の具体的形態は図示するものに限られず、その全部または一部を、各種の付加等に応じた任意の単位で、機能的または物理的に分散・統合して構成することができる。
【０１４４】
（付記１）
目の動きに連動させて画像を動かすことにより立体感を出す装置。
（付記２）
少なくとも記憶部と制御部からなる立体表示処理装置であって、
立体情報を記憶する立体情報記憶手段と、
前記立体情報記憶手段に記憶された前記立体情報を表示装置に表示するよう画像処理を行う立体情報表示処理手段と、
前記表示手段によって表示された画像を観察する観察者の視線到達点を検出する検出手段と、
を備え、
前記立体情報表示処理手段は、前記検出手段によって検出された前記視線到達点の変化に連動させて、前記立体情報による表示を変位させるよう画像処理することを特徴とする立体情報表示処理装置。
（付記３）
付記２に記載の立体情報表示処理装置において、
前記検出手段は、観察者の眼球を撮影し、
前記制御部は、前記検出手段によって撮影された前記眼球の画像から、前記視点到達点の変化を測定すること
を特徴とする立体情報表示処理装置。
（付記４）
立体情報を記憶する立体情報記憶手段と、
前記立体情報記憶手段に記憶された前記立体情報を表示装置に表示するよう画像処理を行う立体情報表示処理手段と、
前記立体情報表示処理手段によって画像処理された前記立体情報の画像を表示する表示手段と、
前記表示手段によって表示された画像を観察する観察者の視線到達点を検出する検出手段と、
を備えた立体情報表示処理装置において実行される立体情報表示処理方法であって、
前記立体情報表示処理手段において実行される、
前記検出手段によって検出された上記観察する観察者の上記視線到達点の変化を検出する検出ステップと、
前記検出ステップによって上記視線到達点の変化が検出された場合に、当該視線到達点の変化に連動させて、前記立体情報による表示を変位させるよう画像処理を行う画像変位ステップと、
を含むことを特徴とする立体情報表示処理方法。
（付記５）
前記画像変位ステップは、
前記検出ステップによって検出された前記視線到達点の変化に連動させて、前記観察する観察者が前記立体情報にかかる対象物に対して移動した場合に発生するであろう視差を、前記観察する観察者に前記表示手段を介して感じさせるように立体情報による表示を変位させるよう表示処理すること
を特徴とする付記４に記載の立体情報表示処理方法。
（付記６）
前記立体情報による表示を変位させるとは、前記対象物を前記視線到達点の変化に対応した方向に回転させることを特徴とする付記４または５に記載の立体情報表示処理方法。
（付記７）（透過表示装置）
少なくとも検出装置と記憶装置と制御装置とを備えた立体表示制御装置において実行される立体表示方法であって、
記憶装置は、立体情報を記憶しており、
前記制御装置において実行される、
立体情報を表示装置に映し出すよう制御する表示制御ステップと、
前記検出装置において実行される、
前記表示制御ステップにより前記表示装置に表示された画像を観察する人物の、眼球位置および距離を検出する眼球検出ステップと、
前記制御装置において実行される、
前記検出ステップにおいて検出された眼球位置および距離から、上記人物の視線方向および視界範囲を導出する視線導出ステップと、
を含み、
前記表示制御ステップは、
前記視線導出ステップにより導出された視線方向逆向きに上記表示装置に前記立体情報による立体を投影し、導出された視界範囲に対応付けて当該立体を拡大縮小表示すること
を特徴とする立体表示方法。
【図面の簡単な説明】
【０１４５】
【図１】本発明の基本原理を示す原理構成図である。。
【図２】本発明の本実施の形態が適用される本立体表示処理装置の構成の一例を示すブロック図である。
【図３】本実施の形態における本立体表示処理装置の本立体表示処理の一例を表すフローチャートである。
【図４】視点検出処理の一例として、予め視点に対応付けて、利用者に眼球状態を設定させ、眼球を撮像することにより対応する視点を検出する処理を表すフローチャートである。
【図５】視線または視点と観察位置との対応付けの具体例を示す概念図である。
【図６】回転制御処理の一例を表す概念図である。
【図７】表示装置１１４に向かって表示画面を見たときの視点位置に対応する対象の回転方向（ｘ、ｙ）と回転角度（θ°）とを示す図である。
【図８】リンク処理を表す模式図である。
【図９】遠近法で描画する場合に、遠近線の収束点（最遠点）を、視点検出部１０２ｃの処理により検出された視点の位置に設定するよう処理を行った場合の表示例である。
【符号の説明】
【０１４６】
１００ 立体表示処理装置
１０２ 制御装置
１０２ａ 表示制御部
１０２ｂ 視差発生部
１０２ｃ 視点検出部
１０４ 通信制御インターフェース部
１０６ 記憶装置
１０６ａ 画像データファイル
１０８ 入出力制御インターフェース部
１１２ 検出装置
１１４ 表示装置
１１８ 受信装置
２００ 外部システム
３００ ネットワーク
【特許請求の範囲】
【請求項１】
少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置であって、
前記記憶装置は、
複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段を備え、
前記制御装置は、
前記画像記憶手段に記憶された前記画像データに基づいて、前記対象の画像が表示装置に表示されるよう制御する表示制御手段と、
前記検出装置を介して、前記表示制御手段により前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出手段と、
を備え、
前記表示制御手段は、
前記視点検出手段によって検出された前記視線または前記視点の変化に従って、対応する前記観察位置から前記対象が表示されるように制御する視差発生手段
を備えたことを特徴とする立体表示処理装置。
【請求項２】
少なくとも検出装置と制御装置とを備えた立体表示処理装置であって、
前記制御装置は、
受信装置を介して受信される画像データに基づいて、対象の画像が表示装置に表示されるよう制御する表示制御手段と、
前記検出装置を介して、前記表示制御手段により前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出手段と、
を備え、
前記表示制御手段は、
前記視点検出手段によって検出された前記視線または前記視点の変化に従って、対応する観察位置から前記対象が表示されるよう制御する視差発生手段
を備えたことを特徴とする立体表示処理装置。
【請求項３】
請求項１または２に記載の立体表示処理装置において、
前記視点検出手段は、
前記検出装置を介して、前記表示装置に表示された前記画像を見ている人物の眼球を撮像し、
撮像された前記眼球の情報から前記視線または前記視点を導出すること、
を特徴とする立体表示処理装置。
【請求項４】
請求項１乃至３のいずれか一つに記載の立体表示処理装置において、
前記視点検出手段は、
前記検出装置を介して、前記表示装置に表示された前記画像を見ている人物の視線を検出し、
検出された前記視線と前記表示装置の表示画面平面との交点を前記視点として導出すること、
を備えたことを特徴とする立体表示処理装置。
【請求項５】
請求項１または２に記載の立体表示処理装置において、
前記視点検出手段は、
前記検出手段を制御して、眼球運動、眼球位置、または眼球状態を検出し、
検出された前記眼球運動、前記眼球位置、または前記眼球状態から前記視線または前記視点の変化を導出すること
を特徴とする立体表示処理装置。
【請求項６】
請求項１または２に記載の立体表示処理装置において、
前記検出装置は、撮像装置であり、
前記視点検出手段は、前記人物の眼球を撮像し、撮像された当該眼球に対する瞳の位置から視線を導出し、前記表示装置の表示画面平面との当該視線の交差する点を前記視点として導出すること、
を特徴とする立体表示処理装置。
【請求項７】
請求項１または２に記載の立体表示処理装置において、
前記視差発生手段は、
前記視線または前記視点に対応して、前記画像データを切り替えることにより前記対象が表示されるよう制御すること
を特徴とする立体表示処理装置。
【請求項８】
請求項１または２に記載の立体表示処理装置において、
前記視差発生手段は、
前記視線または前記視点に連動させて、前記画像データを画像処理することにより当該視線または当該視点に対応する前記観察位置からの前記対象が表示されるよう制御すること、
を特徴とする立体表示処理装置。
【請求項９】
請求項１または２に記載の立体表示処理装置において、
前記視差発生手段は、
前記視線または前記視点の変化に連動させて前記対象を変位させ、表示されるよう制御すること
を特徴とする立体表示処理装置。
【請求項１０】
請求項１または２に記載の立体表示処理装置において、
前記視差発生手段は、
検出された前記視線または前記視点に対応付けて、仮想空間上で前記観察位置を前記対象に対して移動させ、当該観察位置からの視界を表示されるよう制御すること
を特徴とする立体表示処理装置。
【請求項１１】
請求項１または２に記載の立体表示処理装置において、
前記視差発生手段は、
前記視線または前記視点の変化に対応付けて前記対象を回転させ、当該対象が表示されるよう制御すること
を特徴とする請求項１または２に記載の立体表示処理装置。
【請求項１２】
請求項１または２に記載の立体表示処理装置において、
前記視点検出手段は、
前記表示装置の表示画面平面上に前記視点を求め、前記表示装置の表示画面中央からの当該視点のベクトルを導出し、
前記視差発生手段は、
仮想空間上で、前記ベクトル方向に対応するｘｙ平面方向に、ベクトル距離に対応する距離だけ、観察位置を移動させること、
を特徴とする立体表示処理装置。
【請求項１３】
少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理方法であって、
前記記憶装置は、複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段を備えており、
前記制御装置において実行される、
前記画像記憶手段に記憶された前記画像データに基づいて、前記対象の画像が表示装置に表示されるよう制御する表示制御ステップと、
前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、
を含み、
前記表示制御ステップは、
前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、前記観察位置から前記対象が表示されるように制御する視差発生ステップ
を含むことを特徴とする立体表示処理方法。
【請求項１４】
少なくとも検出装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理方法であって、
前記制御装置において実行される、
受信装置を介して受信される画像データに基づいて、対象の画像が表示装置に表示されるよう制御する表示制御ステップと、
前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、
を含み、
前記表示制御ステップは、
前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、対応する観察位置から前記対象が表示されるよう制御する視差発生ステップ
を含むことを特徴とする立体表示処理方法。
【請求項１５】
少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理プログラムであって、
前記記憶装置は、複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段を備えており、
前記制御装置において実行される、
前記画像記憶手段に記憶された前記画像データに基づいて、前記対象の画像が表示装置に表示されるよう制御する表示制御ステップと、
前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、
を含み、
前記表示制御ステップは、
前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、前記観察位置から前記対象が表示されるように制御する視差発生ステップ
を含むことを特徴とする立体表示処理装置。
【請求項１６】
少なくとも検出装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理プログラムであって、
前記制御装置において実行される、
受信装置を介して受信される画像データに基づいて、対象の画像が表示装置に表示されるよう制御する表示制御ステップと、
前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、
を含み、
前記表示制御ステップは、
前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、対応する観察位置から前記対象が表示されるよう制御する視差発生ステップ
を含むことを特徴とする立体表示処理プログラム。
【請求項１】
少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置であって、
前記記憶装置は、
複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段を備え、
前記制御装置は、
前記画像記憶手段に記憶された前記画像データに基づいて、前記対象の画像が表示装置に表示されるよう制御する表示制御手段と、
前記検出装置を介して、前記表示制御手段により前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出手段と、
を備え、
前記表示制御手段は、
前記視点検出手段によって検出された前記視線または前記視点の変化に従って、対応する前記観察位置から前記対象が表示されるように制御する視差発生手段
を備えたことを特徴とする立体表示処理装置。
【請求項２】
少なくとも検出装置と制御装置とを備えた立体表示処理装置であって、
前記制御装置は、
受信装置を介して受信される画像データに基づいて、対象の画像が表示装置に表示されるよう制御する表示制御手段と、
前記検出装置を介して、前記表示制御手段により前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出手段と、
を備え、
前記表示制御手段は、
前記視点検出手段によって検出された前記視線または前記視点の変化に従って、対応する観察位置から前記対象が表示されるよう制御する視差発生手段
を備えたことを特徴とする立体表示処理装置。
【請求項３】
請求項１または２に記載の立体表示処理装置において、
前記視点検出手段は、
前記検出装置を介して、前記表示装置に表示された前記画像を見ている人物の眼球を撮像し、
撮像された前記眼球の情報から前記視線または前記視点を導出すること、
を特徴とする立体表示処理装置。
【請求項４】
請求項１乃至３のいずれか一つに記載の立体表示処理装置において、
前記視点検出手段は、
前記検出装置を介して、前記表示装置に表示された前記画像を見ている人物の視線を検出し、
検出された前記視線と前記表示装置の表示画面平面との交点を前記視点として導出すること、
を備えたことを特徴とする立体表示処理装置。
【請求項５】
請求項１または２に記載の立体表示処理装置において、
前記視点検出手段は、
前記検出手段を制御して、眼球運動、眼球位置、または眼球状態を検出し、
検出された前記眼球運動、前記眼球位置、または前記眼球状態から前記視線または前記視点の変化を導出すること
を特徴とする立体表示処理装置。
【請求項６】
請求項１または２に記載の立体表示処理装置において、
前記検出装置は、撮像装置であり、
前記視点検出手段は、前記人物の眼球を撮像し、撮像された当該眼球に対する瞳の位置から視線を導出し、前記表示装置の表示画面平面との当該視線の交差する点を前記視点として導出すること、
を特徴とする立体表示処理装置。
【請求項７】
請求項１または２に記載の立体表示処理装置において、
前記視差発生手段は、
前記視線または前記視点に対応して、前記画像データを切り替えることにより前記対象が表示されるよう制御すること
を特徴とする立体表示処理装置。
【請求項８】
請求項１または２に記載の立体表示処理装置において、
前記視差発生手段は、
前記視線または前記視点に連動させて、前記画像データを画像処理することにより当該視線または当該視点に対応する前記観察位置からの前記対象が表示されるよう制御すること、
を特徴とする立体表示処理装置。
【請求項９】
請求項１または２に記載の立体表示処理装置において、
前記視差発生手段は、
前記視線または前記視点の変化に連動させて前記対象を変位させ、表示されるよう制御すること
を特徴とする立体表示処理装置。
【請求項１０】
請求項１または２に記載の立体表示処理装置において、
前記視差発生手段は、
検出された前記視線または前記視点に対応付けて、仮想空間上で前記観察位置を前記対象に対して移動させ、当該観察位置からの視界を表示されるよう制御すること
を特徴とする立体表示処理装置。
【請求項１１】
請求項１または２に記載の立体表示処理装置において、
前記視差発生手段は、
前記視線または前記視点の変化に対応付けて前記対象を回転させ、当該対象が表示されるよう制御すること
を特徴とする請求項１または２に記載の立体表示処理装置。
【請求項１２】
請求項１または２に記載の立体表示処理装置において、
前記視点検出手段は、
前記表示装置の表示画面平面上に前記視点を求め、前記表示装置の表示画面中央からの当該視点のベクトルを導出し、
前記視差発生手段は、
仮想空間上で、前記ベクトル方向に対応するｘｙ平面方向に、ベクトル距離に対応する距離だけ、観察位置を移動させること、
を特徴とする立体表示処理装置。
【請求項１３】
少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理方法であって、
前記記憶装置は、複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段を備えており、
前記制御装置において実行される、
前記画像記憶手段に記憶された前記画像データに基づいて、前記対象の画像が表示装置に表示されるよう制御する表示制御ステップと、
前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、
を含み、
前記表示制御ステップは、
前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、前記観察位置から前記対象が表示されるように制御する視差発生ステップ
を含むことを特徴とする立体表示処理方法。
【請求項１４】
少なくとも検出装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理方法であって、
前記制御装置において実行される、
受信装置を介して受信される画像データに基づいて、対象の画像が表示装置に表示されるよう制御する表示制御ステップと、
前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、
を含み、
前記表示制御ステップは、
前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、対応する観察位置から前記対象が表示されるよう制御する視差発生ステップ
を含むことを特徴とする立体表示処理方法。
【請求項１５】
少なくとも検出装置と記憶装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理プログラムであって、
前記記憶装置は、複数の観察位置から対象を表示することができる画像データを記憶する画像記憶手段を備えており、
前記制御装置において実行される、
前記画像記憶手段に記憶された前記画像データに基づいて、前記対象の画像が表示装置に表示されるよう制御する表示制御ステップと、
前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、
を含み、
前記表示制御ステップは、
前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、前記観察位置から前記対象が表示されるように制御する視差発生ステップ
を含むことを特徴とする立体表示処理装置。
【請求項１６】
少なくとも検出装置と制御装置とを備えた立体表示処理装置において実行される立体表示処理プログラムであって、
前記制御装置において実行される、
受信装置を介して受信される画像データに基づいて、対象の画像が表示装置に表示されるよう制御する表示制御ステップと、
前記検出装置を介して、前記表示制御ステップにより前記表示装置に表示された前記画像を見ている人物の視線または視点を検出する視点検出ステップと、
を含み、
前記表示制御ステップは、
前記視点検出ステップによって検出された前記視線または前記視点の変化に従って、対応する観察位置から前記対象が表示されるよう制御する視差発生ステップ
を含むことを特徴とする立体表示処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−７８８４６（Ｐ２００８−７８８４６Ａ）
【公開日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願番号】特願２００６−２５３７４５（Ｐ２００６−２５３７４５）
【出願日】平成１８年９月２０日（２００６．９．２０）
【出願人】（３０６０３３９２２）
【Ｆターム（参考）】
【公開日】平成２０年４月３日（２００８．４．３）
【国際特許分類】
【出願日】平成１８年９月２０日（２００６．９．２０）
【出願人】（３０６０３３９２２）
【Ｆターム（参考）】
[ Back to top ]