画像表示装置、立体視覚認識用画像、立体画像提示システム及び立体画像提示方法
【課題】通常のテレビジョンのように外界も視野に入れたまま、立体画像を認識でき、立体認識が容易な立体画像表示システムの提供。
【解決手段】閲覧者の一方の眼に肉眼観察用の実像画像を観察させ、他方の眼に虚像画像を観察させて立体画像を認識させる立体画像提示システムに使用する虚像画像観察用の画像表示装置であって、片方の眼前に配置する虚像画像観察用の表示画面と、表示画面に表示された画像を変形する画像変形手段と、閲覧者が画像変形手段により変形された変形画像に対応する画像変形情報を選択するための画像変形情報選択手段とを備えた画像表示装置、及び左右一対の立体視覚認識用画像を備えた立体画像提示システム。
【解決手段】閲覧者の一方の眼に肉眼観察用の実像画像を観察させ、他方の眼に虚像画像を観察させて立体画像を認識させる立体画像提示システムに使用する虚像画像観察用の画像表示装置であって、片方の眼前に配置する虚像画像観察用の表示画面と、表示画面に表示された画像を変形する画像変形手段と、閲覧者が画像変形手段により変形された変形画像に対応する画像変形情報を選択するための画像変形情報選択手段とを備えた画像表示装置、及び左右一対の立体視覚認識用画像を備えた立体画像提示システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、立体視覚認識用画像、立体画像提示システム及び立体画像提示方法に関する。
【背景技術】
【０００２】
立体的な物以外を立体的に認識させる表示装置、いわゆる三次元ディスプレイには、大きく分けて２つの方式がある。ひとつは、表示画面のみを工夫して立体感を出す方法である。この方法には、ハーフミラーによる表示画面の合成、凹面鏡による虚像認識、ホログラフィ技術による表示画面の作成、バリフォーカルミラー方式、レンチキュラー板方式などといわれるものが知られている。
【０００３】
一方、特殊な眼鏡などの画像観察補助装置を用いる三次元ディスプレイがある。例えば、２色刷り画面と左右別々のカラーフィルタ眼鏡の組み合わせ、２種類の偏光を発する偏光表示画面と偏光フィルタ眼鏡の組み合わせ、高速の交互開閉式シャッタ付き眼鏡と同期する２種類の表示画面との組み合わせ、左右両眼にそれぞれ右目用画面、左目用画面のみを表示するのぞき窓による方法などが知られている。
【０００４】
例えば、特許文献１には、視差画像を表示する画像表示装置と、視差画像と同期してこの視差画像の表示指向性を偏向制御する偏向制御手段とにより横方向の単眼視差画像を表示するとともに、観察者の頭部または顔面に装着可能で縦方向の単眼視差画像を該画像表示装置と同期的に動作して表示する画像分離手段を有する画像表示装置が開示されている。また、特許文献２には、左右両眼にそれぞれ別画像を提示する両眼テレビジョンで、視聴者の視聴開始時に左右両眼の画像の融合が容易な画像を提供して、視聴者の立体画像認識を容易にする技術が開示されている。
【特許文献１】特開２０００−３４７１３２号公報
【特許文献２】特開平０７−２１２０９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
これらの方法については、どの方式もそれぞれ一長一短あるが、表示画面のみの工夫による三次元ディスプレイでは、観察位置の制限や、奥行きのない立体感の画面が多く、迫力のある立体像認識を可能にするには至っていない。また、両眼に眼鏡等を装着して立体画像を認識する方式では、目的とする立体画像以外は視界に入ることがない。このため、立体視のための眼鏡、機器等を装着すると、周囲の監視や歩行などの他の動作を並行して行うことが難しくなる。また、画像表示装置方式では、複数の使用者と閲覧している立体画像を共有することが困難である。また、異なった画像を左右それぞれの目が個別に観察して、立体画像として認識しようとすることは、人間のこれまでの生活の中ではなかったので、このような画像提示に対して立体認識することは、生理的違和感・不快感が生じる場合もあり、このような画像認識に馴染みにくい人もいる。このように三次元ディスプレイには、各種の問題点があり、まだ、広く実用化されるには至っていない。
【０００６】
本発明は、上記問題点を解決するためになされたものであり、通常のテレビジョンのように外界も視野に入れたまま、立体画像を認識でき、立体認識が容易な画像表示装置、立体視覚認識用画像、立体画像提示システム及び立体画像提示方法の提供を課題としている。
【課題を解決するための手段】
【０００７】
本発明者は、上記課題を解決するために鋭意検討を重ねた結果、下記の手段により、上記課題が解決できることを見出し、本発明を完成した。
【０００８】
本発明は、閲覧者の一方の眼に肉眼観察用の実像画像を観察させ、他方の眼に虚像画像を観察させて立体画像を認識させる立体画像提示システムに使用する虚像画像観察用の画像表示装置であって、片方の眼前に配置する虚像画像観察用の表示画面と、表示画面に表示された画像を変形する画像変形手段と、閲覧者が画像変形手段により変形された変形画像に対応する画像変形情報を選択するための画像変形情報選択手段とを備えた画像表示装置である。
【０００９】
好ましい本発明は、画像変形手段には、画像倍率、画像の並進移動量及び画像の回転移動量のうち少なくともひとつの変形要素を含む前記画像表示装置である。
【００１０】
さらに、好ましい本発明は、画像変形手段は、画像を変形するための変形パターンを有する変形パターンテーブルを備えた前記画像表示装置である。
【００１１】
さらに、好ましい本発明は、変形パターンテーブル中の変形パターンを変更する変更手段を備えた前記画像表示装置である。
【００１２】
さらに、好ましい本発明は、画像変形手段は、閲覧者により選択された変形パターンを記憶する記憶手段と、記憶手段により記憶された複数の変形パターンから合成変形パターンを作成する合成変形パターン算出作成とを有する前記画像表示装置である。
【００１３】
さらに、好ましい本発明は、変形パターン選択手段は、キーボード、マウス、スイッチ、音声認識手段、脳波測定手段及び血流変化測定手段のいずれかを含む前記画像表示装置である。
【００１４】
さらに、好ましい本発明は、前記実像画像と表示画面を装着した閲覧者との相対位置を測定する相対位置測定手段と、前記相対位置に応じて表示画面中の画像を変形する自動画像変形手段とを備えた前記画像表示装置である。
【００１５】
さらに、好ましい本発明は、閲覧者の片方の眼前に表示画面を装着するための装着装置を備えた前記画像表示装置である。
【００１６】
本発明は、一方は、肉眼観察用の実像画像であり、他方は、眼前の表示画面から観察する虚像画像である左右一対の立体視覚認識用画像である。
【００１７】
さらに、好ましい本発明は、肉眼観察用の実像画像に相対位置測定用のマーカを備えた前記立体視覚認識用画像である。
【００１８】
本発明は、上記いずれかの画像表示装置と、上記いずれかの立体視覚認識用画像とを備えた立体画像提示システムである。
【００１９】
本発明は、上記いずれかの画像表示装置の表示画面を一方の眼前に装着し、装着した表示画面には、上記いずれかの立体視覚認識用画像の虚像画像を提示し、表示画面を装着していない他方の眼には、上記の立体視覚認識用画像の虚像画像と対になる実像画像を提示することにより立体感を認識させる立体画像提示方法であって、画像変形手段により、変形した虚像画像を表示画面に表示して、閲覧者が立体感を認識した画像に変形されたときの画像変形情報を画像変形情報選択手段により選択させて、以後、選択された画像変形情報により虚像画像を変形して表示画面に表示する立体画像提示方法である。
【００２０】
本発明は、上記の相対位置測定手段及び自動画像変形手段を備えた画像表示装置の表示画面を一方の眼前に装着し、装着した表示画面には、画像表示装置により上記の立体視覚認識用画像の虚像画像を提示し、画像表示装置を装着していない他方の眼には、上記の立体視覚認識用画像の実像画像を提示することにより立体感を認識させる立体画像提示方法であって、閲覧者に最初に立体視覚認識用画像を提示する際に、画像変形手段により変形した虚像画像を表示画面に表示して、閲覧者が立体感を認識した画像に変形されたときの画像変形情報を画像変形情報選択手段により選択させて、以後、選択された画像変形情報により虚像画像を変形して表示画面に表示し、実像画像と立体視覚認識用画像閲覧中の閲覧者との相対位置を相対位置測定手段により測定し、前記相対位置に応じて表示画面中の画像を自動画像変形手段によりさらに変形した、虚像画像を表示画面に表示する立体画像提示方法である。
【発明の効果】
【００２１】
本発明によれば、通常のテレビジョンのように外界も視野に入れたまま、容易に立体画像を認識できる画像表示装置、立体視覚認識用画像、立体画像提示システム及び立体画像提示方法を提供できる。
【発明を実施するための最良の形態】
【００２２】
本発明の画像表示装置は、閲覧者の一方の眼に肉眼観察用の実像画像を観察させ、他方の眼に虚像画像を観察させて立体画像を認識させる立体画像提示システムに使用する虚像画像観察用の画像表示装置であって、立体視覚認識用画像の閲覧者の片方の眼前に装着する虚像画像観察用の表示画面と、虚像画像を表示画面に表示する際、画像を変形する画像変形手段を備えている。さらに、画像変形手段により変形された変形画像のうち、それぞれの閲覧者が自己の立体視覚認識に適した変形画像に対応する画像変形情報を選択するための画像変形情報選択手段を備えている。閲覧者は、この画像表示装置を、例えば右眼の眼前に装着することにより、左眼では、立体視覚認識用画像の一対の画像のうち左目用画像の実像を通常の画像観察のように肉眼で観察し、右眼では、装着した画像表示装置の表示画面に表示された立体視覚認識用画像の前記左目用画像に対応する右目用画像の虚像を観察する（以後の説明において、特に断らない限り、左眼では、立体視覚認識用画像の一対の画像のうち左目用画像の実像を肉眼（虚像を表示する画像表示装置を装着しない）で観察し、右眼では、この画像表示装置の表示画面に表示された立体視覚認識用画像の左目用画像に対応する右目用画像の虚像を観察することを前提とする。）。閲覧者の左右それぞれの眼に一対の立体視覚認識用画像を観察させたとき、認識される左右の画像の大きさや相対位置が調整されていると、閲覧者は一対の視覚認識用画像を立体像として認識することができる。
【００２３】
しかし、左右一対の立体視覚認識用画像であっても、観察される左目用画像と右目用画像の大きさや位置関係を任意にそれぞれの眼に観察させた場合、立体画像としては認識されない場合が多い。これに対し、本発明の画像表示装置においては、この画像表示装置の表示画面に表示される虚像の大きさや相対位置を変えることで、閲覧者が立体認識できる状態を探索することができる。閲覧者が立体認識できる状態は、閲覧者に装着する画像表示装置の表示画面への虚像形成における装置設計条件、及び閲覧者の眼と立体視覚認識用画像との距離によりほぼ決まっている。しかし、閲覧者の眼の焦点距離などの個人的なばらつきもあり、閲覧者毎に調整が必要である。本発明の画像表示装置は、このような、閲覧者の眼と立体視覚認識用画像との距離及び閲覧者毎の個性に応じた調整をするために画像変形手段を備えている。そして、閲覧者が本発明の画像表示装置を装着して、後述する本発明の一対の立体視覚認識用画像を観察し始める際に、画像変形手段により表示画面に表示される虚像を変形して、閲覧者が両目から観察された画像を立体画像として認識したときの画像変形情報を、画像変形情報選択手段により閲覧者により選択させる。そして、この画像変形情報に基づいて以後の虚像画像を変形して表示画面に表示すれば、閲覧者は、立体視覚認識用画像が変更されても立体画像として知覚し続けることができる。なお、運よく最初に虚像画像を表示画面に表示しただけで立体認識できる場合もあるが、この場合も広い意味での画像変形手段による画像変形が行われたと見なして説明する。
【００２４】
このような画像変形手段及び画像変形情報選択手段を備えていない画像表示装置では、例えば、閲覧者が画像表示装置を装着していない左眼の位置を選択して、すなわち、閲覧者の左眼が肉眼用の立体視覚認識用画像から相対的に移動しながら立体認識できる位置を探して、立体認識できた位置で立体画像を閲覧することになる。
【００２５】
画像変形手段としては、画像倍率、画像の並進移動量及び画像の回転移動量のうち少なくともひとつ、できればこの３つの変形要素を含むことが好ましい。画像変形手段としては、電子情報化された右目用の虚像画像をパソコンとマウスの組み合わせ等により画像の相対的な大きさや位置の変形、回転変形などの図形処理をすればよい。最近は、パソコンとマウスの組み合わせ等により画像情報を容易に変換できる変形ソフトが利用できるのでこれを利用すればよい。さらに、画像変形手段として、画像表示装置自身に画像を変形するための複数の変形パターンを有する変形パターンテーブルを備えていることが好ましい。立体画像認識のための変形パターンは、個人差はあっても閲覧者によって大きく異なるものではないので、変形パターンテーブルを備えてこのテーブルに従って複数の変形パターンから最適なものを選択するとそれぞれの閲覧者は、容易に立体認識用の画像変形情報を変形パターンとして選択することができる。
【００２６】
また、本発明の画像表示装置は、変形パターンテーブル中の変形パターンを、それぞれの閲覧者の個性に応じて変更するための変更手段を備えていることが好ましい。このような変更手段を備えることにより、閲覧頻度の高い閲覧者の個人的な立体知覚認識のばらつきへの対応を容易にしたり、多くの閲覧者に対応できる変形パターンテーブルを作成したりすることができる。
【００２７】
画像変形手段は、閲覧者により選択された画像変形情報である変形パターンを記憶する記憶手段と、記憶手段により記憶された複数の変形パターンから合成変形パターンを算出する合成変形パターン算出手段とを有することが好ましい。閲覧者に利用された変形パターンを記憶手段により記憶しておき、同じ閲覧者が再度立体視覚認識用画像を同じ距離から閲覧するときには、この変形パターンを用いて虚像画像を変形すればよい。また、記憶された複数の変形パターンから合成変形パターンを作成し、記憶しておくことにより、初めてこの画像表示装置を使用する閲覧者に対し、平均的な閲覧者に対する変形パターンを提供することができ、初めての閲覧者は立体認識が容易にできる可能性が高くなり便利である。
【００２８】
閲覧者が立体認識できた場合に、画像表示装置にその旨を通知するための変形パターン選択手段は、どのような選択手段でもよいが、例えばパソコン等に連動したキーボード、マウス、通常のスイッチ、音声認識手段、脳波測定手段及び血流変化測定手段を挙げることができる。例えば、表示画面に文字が表示されるようにしておき、立体認識できた場合の文字をキーボードで指示する方法などが好適な方法である。また、画像形成装置を装着するための装着装置を頭部に装着した場合には、閲覧者が立体認識したときに起こる生理的変化、例えば脳波の変化や頭部の血流の変化を感知するようにして、これを変形パターン選択手段とすれば、閲覧者は意識することなく立体認識できる画像変形情報を選択できる。
【００２９】
上述の画像表示装置は、一度立体認識できるように画像変形情報を選択しておけば、同じ閲覧者が同じ位置で立体視覚認識用画像を閲覧している間は、動画閲覧の場合のように立体視覚認識用画像が変わっても、これ以上画像変形する必要がない。しかし、閲覧者が左目（肉眼）用の立体視覚認識用画像からの相対位置を変えると、左眼に観察される画像の大きさ等が変化するので、左右の眼に認識される画像のバランスが崩れ、再度画像変形手段により立体認識できる画像変形パターンを選択せねばならない。そこで、さらに、立体視覚認識用画像閲覧中の立体視覚認識用画像の実像画像と閲覧者との相対位置を測定する相対位置測定手段を備えており、前記相対位置に応じて表示画面中の画像を変形する自動画像変形手段とを備えた画像表示装置としておくことが好ましい。
【００３０】
例えば、実像画像中に配置された相対位置測定用のマーカによって、閲覧者と実像画像との相対位置を測定する。例えば、左右一対の立体視覚認識用画像中の所定の位置に常に、又は定期的に相対位置測定用の同じ大きさ形のマーカを表示しておき、左眼用の実像画像中のこのマーカを表示画面近傍に配置した撮像装置などで撮像し、撮像画面中のマーカの大きさ形を閲覧者の観察している虚像中の右眼網膜上でのマーカの大きさ形と比較して、閲覧者の左眼の網膜に写っている実像画像中のマーカの大きさ形と、閲覧者の観察している虚像画像中の右眼網膜上でのマーカの大きさ形とが同じになるように、表示画面中の画像を変形する。この動作は、単にふたつのマーカの位置あわせを行っているのではなく、実像画像と閲覧者との相対位置を測定することにより、実像画像と閲覧者との相対位置の変化により左眼に観察される実像の変形する度合いに合わせて、虚像を変形させているに過ぎない。例えば、虚像画像用のマーカを透明なマーカに置き換えることによって、マーカの位置あわせを行っていると考えれば一目瞭然である。
【００３１】
具体的には、例えば、左眼と左眼用の立体視覚認識用画像との相対位置が遠くなり、左眼網膜上に観察される実像画像中のマーカの大きさが１０％小さくなった場合は、画像表示装置の表示画面中に表示されているマーカの大きさも１０％小さくなるように表示画面の表示倍率を変更して、右眼網膜上に観察される虚像画像を１０％小さくなるようにすればよい。左眼網膜上に観察される実像画像中のマーカの相対的な大きさは、相対位置測定手段により算出された相対位置から容易に測定できる。また、左眼用の立体視覚認識用画像に対し左眼が平行移動した場合は、画像中の一方向のみの変形による調整が必要となる場合もある。なお、相対位置測定手段としては、超音波測定装置を利用してもよい。この場合、マーカを設置する代わりに、閲覧者の位置を測定するための３つ以上の超音波発信器を設置し、そこから発信した超音波信号を閲覧者の装着している表示画面に付随した超音波受信機により受信することにより、実像画像と閲覧者との相対位置を測定する。
【００３２】
なお、本発明の画像表示装置は、立体視覚認識用画像の閲覧者の眼前に表示画面を装着するための装着装置を備えていることが好ましい。この装着装置は、帽子やハチマキのように頭部に固定する装置が好ましい。眼鏡のように耳や鼻に掛けるものでもよいが、長時間使用する場合は重さが気になることもある。このような場合、画像表示装置の表示画面、撮像装置及びこれらを作動させる最小限の付属品のみを装着装置に配置し、制御装置などは、別に設置し、有線又は無線で情報の伝達をする装置とすることが好ましい。
【００３３】
本発明の立体視覚認識用画像は、左右一対の立体視覚認識用の画像（ステレオ画像ともいう。）であって、一方は肉眼観察用の実像で表示され、他方は眼前の表示画面に表示される虚像である。そして、実像画像には、相対位置測定用のマーカを備えていることが好ましい。閲覧者の眼の近くの表示画面近傍に備えられた撮像装置により、実像画像と既知の位置関係にあるマーカを撮像することにより、閲覧者と実像画像との位置関係（相対位置）が測定できる。マーカは、時間的に変化するものでもよいが、相対位置算出の簡略化のためには、常に同じ大きさ、形状としておくことが望ましい。また、このマーカの形状としては、背景とのコントラストがはっきりしていて、変形した場合に判りやすい三角、四角、アルファベットやひらがなのような簡単な文字とすることが好ましい。本発明の立体視覚認識用画像を連続的に表示して動画として認識させるような場合は、全ての立体視覚認識用画像に上記マーカを備えていなくても、一部の立体視覚認識用画像に備えていてもよい。その場合、定期的にマーカを備えた立体視覚認識用画像が、表示されることが好ましい。
【００３４】
本発明の立体画像提示システムは、上述の実像画像と虚像画像の左右一対の立体視覚認識用画像と上述の画像表示装置とを備えている。本発明の画像表示装置は、これだけでは立体画像を閲覧することはできず、閲覧者は、片目で画像表示装置の表示画面を通してステレオ画像の一方（例えば、ステレオ画像（右）の虚像）を観察し、もう一方の肉眼でステレオ画像のもう一方（例えば、ステレオ画像（左）の実像）を観察することにより、立体画像として認識できる。
【００３５】
本発明の立体画像提示方法は、上述の画像表示装置の表示画面を一方の眼前に装着し、装着した表示画面には、画像表示装置により本発明のステレオ画像の一方を虚像として提示する。そして、画像表示装置を装着していない他方の眼には、もう一方のステレオ画像を直接実像として提示することで立体感を認識させる方法である。さらに、閲覧者が立体感を認識しにくい場合は、画像変形手段により、変形した虚像画像を表示画面に表示して、閲覧者が立体感を認識した画像に変形されたときの画像変形情報を画像変形情報選択手段により選択させて、以後は選択された画像変形情報により虚像画像を変形して表示画面に表示する立体画像提示方法である。このように閲覧者に適した画像変形をして画像を表示することにより、閲覧者は、画像表示装置の画像変形情報選択手段により、立体感を認識したときの画像変形情報を一度選択するだけで、閲覧者と実像との相対位置が移動したりすることがなければ、動画のように対になった立体視覚認識用画像が変化しても、そのまま連続して立体画像を認識できる。
【００３６】
さらに、本発明の立体画像提示方法は、上述の立体画像提示方法に、さらに、閲覧者の立体視覚認識用画像閲覧中の肉眼で観察する実像側の立体視覚認識用画像の、閲覧者との相対位置を測定し、相対位置の変化に応じて表示画面中の虚像画像を、自動画像変形手段により、さらに変形した撮像画像を表示画面に表示する方法である。この立体画像提示方法は、立体視覚認識用画像を閲覧中に、閲覧者が実像画像の立体視覚認識用画像に対して相対的に移動しても、立体視覚認識用画像の立体認識を妨げることなく続けることができる。
【００３７】
閲覧者と実像画像との相対位置測定方法としては、実像画像に配置したマーカの相対位置、形状を、表示画面と一体になっている撮像手段により実像画像を撮像し、その画像情報から既知の画像処理方法により、マーカとカメラとの相対位置を算出し、マーカと実像画像との配置を利用することで算出すればよい。撮像手段としては、通常の光学カメラでもよいが、デジタル式の撮像素子が好都合である。光学カメラの画像情報の場合は、特殊なレンズや鏡等により画像変形して比較することができるが、デジタル式の撮像素子の場合、撮像データを電子情報として処理するので画像の比較が非常に容易で、相対位置の測定も容易となる。
【００３８】
本発明において基本となる立体視方法の原理について説明する。この立体視方法は、実像と虚像による立体視法（Mixed Reality StereoVision 法（以後MRSV法という。））であり、閲覧者が一方の眼（閲覧者は画像表示装置（HMDと略称する。）を右眼に装着するものとする。）でHMDの表示画面に表示されている虚像画像を見、もう一方の左眼で現実空間に位置する実像画像を見ることで立体視を行う立体視方法である。MRSV法は、初心者、特に初めての閲覧者にとって立体視において得手不得手がある。不得手な閲覧者の場合、立体像を認識するのに数分も要してしまうことがある。
【００３９】
このことは、実像と実像（通常のステレオ視など）、虚像と虚像（両眼HMDなど）による立体視とは最も異なる箇所である。実像と実像、虚像と虚像による立体視の場合は、輻輳角を調整するだけで立体像を見ることができるのに対し、単純なMRSV法による立体視（実像と虚像による立体視）では、輻輳角の調整のほかに閲覧者の位置を調整しなくてはならないからである。閲覧者は、MRSV法による立体視を、今までの立体視と同様に考えて、輻輳角の調整だけを行うことにより実行しようとすると、立体視できないことになる。
【００４０】
これに対し、立体像を得る２つの方法がある。第一の方法は、閲覧者が自らの身体を移動する方法である。自らの身体を移動した場合、HMDと右眼の相対位置は変化しないが、左眼と現実空間に位置する画像（実像）の相対位置は変化する。そのため、自らの身体を移動することにより、右眼の網膜像は変化せず、左眼の網膜像のみ変化させることができる。その結果、閲覧者がある位置・向きに位置する時に、左右のステレオ画像から対応する点を見つけだすことが容易となり、その視差により立体感を得ることができる。
【００４１】
立体像を得る第二の方法は、自らの身体を移動せず、マウスなどのインターフェイスやあらかじめ記憶させておいた変形パターンなどにより、HMDに表示される画像を変形させることである。HMDに表示される画像を変形させる場合、左眼と現実空間に位置する画像の相対位置は変化しないので、左の網膜像は変化せず、右眼の網膜像のみ変化する。そのため、インターフェイス等により、右の網膜像を形成する虚像を変形することにより、左右の網膜像において対応する点を見つけだすことが容易となり、この対応点から得られる視差により立体感を得ることができる。本発明においては、この方法を利用している。また、第一の方法、第二の方法を融合する方法も可能ではあるが、第一の方法、第二の方法よりも煩雑さを伴うので、説明は省略する。
【００４２】
ここで、従来のステレオ法の代表例である実像、実像の組み合わせの平行法と本発明を含むMRSV法を、図4を用いて比較して立体認識を説明する。図４（上）は通常のステレオ法（平行法）による立体視の方法である。左眼でステレオ画像（左）のみを見、右眼でステレオ画像（右）のみを見る。立体図形が認知されるためには、閲覧者が左右のステレオ画像から対応する点を見つけだし、その視差を測定する必要がある（参考：脳と心のモデル 岩波書店 安西祐一郎ほか）。図４（上）の場合、ステレオ画像（左）の網膜像とステレオ画像（右）の網膜像は左右の網膜でおおよそ同じ位置・大きさに写るので、両眼の視線方向を調節することで容易に対応する点を見つけ出すことができる。すなわち容易に立体認識可能である。
【００４３】
それに対して、図4（下）に描かれているMRSV法では、HMD内の表示画面に表示された虚像であるステレオ画像（右）を右眼でみて、実像であるステレオ画像（左）を左眼で見る。MRSV法の場合、ステレオ画像（左）の網膜像の大きさは、ステレオ画像（左）と閲覧者との距離に依存するが、ステレオ画像（右）の網膜像の大きさは、ステレオ画像（右）と閲覧者との距離に依存しないで、HMDの画像表示の設計条件及び閲覧者とHMDとの距離に依存するだけである。そのため左右の網膜像から対応点を見つけやすくするために、ステレオ画像（左）、（右）の見えの大きさ・位置を同じくする工夫が必要である。上記第一の方法では、閲覧者が自らの身体を移動して、見えの大きさが同じとなる位置を探さねばならない。第二の方法ではインターフェイス等によりステレオ画像（右）の大きさ形状を変形して、見えの大きさが同じとなる形状を探さねばならない。
【００４４】
人間は今まで虚像と実像の立体視を行うために見え方を同じとなる位置・形状を探した経験がないので、このようなことには不得意な人もいる。また、見えを同じとする位置・形状を探すことが得意だとしても、従来のステレオ法（平行法、交差法など）を経験して立体視による像の見え方を経験的に理解していない閲覧者にとっては、「見えが同じ」という現象を知覚すること自体に時間を要したりする。また、従来のステレオ法は左右の眼を同じように利用しているが、MRSV法では左右の眼を同じように用いていない点も不得意な人、得意な人を生む原因と考えられる。
【００４５】
これに対し、本発明の画像表示装置では、「見えが同じ」になる状態（閲覧者が立体感を認識できる実像と虚像における対応点の位置、像の大きさが同じになる状態）を探索することを援助する方法と、探索した見えが同じくなる状態を利用して、以後閲覧者が対応点自動調節して容易にみつけることができるよう援助することができる。
【００４６】
閲覧者が、本発明の立体画像提示システムにおいて立体認識する際の虚像と実像の関係について、図７及び図８によって説明する。図７及び図８は、閲覧者が、左眼で実像であるＲＤＳ画像（左）２００３と、右眼で虚像であるＲＤＳ画像（右）３０１１とを観察している様子を重畳して表している。直線ａ，ｂ，ｃ，ｄは、左眼がＲＤＳ画像（左）２００３を観察する際の画像の４隅に合わせた光路（視線）である。図７は、この光路ａ，ｂ，ｃ，ｄがＲＤＳ画像（右）３０１１の画像の４隅に合っていない。言い換えれば、右眼の視線は、ＲＤＳ画像（右）３０１１の画像の４隅の位置を、左眼が観察しているＲＤＳ画像（左）２００３の４隅に対応する位置(画像)として観察することができない。この場合、通常の閲覧者は、左右両眼で観察した一対のステレオ画像であっても、脳で対応する画像として処理できなくて何を見ているのか判らなくなったり、一体の画像として認識するのに疲労感を覚えたりする。
【００４７】
一方、図８においては、図７と同じように、直線ａ，ｂ，ｃ，ｄは、左眼がＲＤＳ画像（左）２００３を観察する際の画像の４隅に合わせた光路（視線）であり、さらに、この直線ａ，ｂ，ｃ，ｄは、ＲＤＳ画像（右）３０１１の対応する画像の４隅にも合っている。すなわち、左眼で観察している実像と右眼で観察している虚像とに対する視線が、画像の対応点で合わさっている。このときに、両画像の中の同じ位置に同じ形状・大きさの図形、マークがあれば閲覧者は容易にこれらを合成して、ひとつの像として認識する。このような状態で、ＲＤＳ画像（左）２００３とＲＤＳ画像（右）３０１１とが一対の立体視覚認識用画像であれば、閲覧者はこの一対の画像を立体画像として認識ができる。
【００４８】
本発明においては、肉眼観察用の実像と、表示画面から観察する虚像との一対の立体視覚認識用画像に上述のような左右両眼が観察する画像の同じ位置に同じ大きさ・形状の図形、マークを認識できるように準備しておき、立体視覚検出手段として利用するものである。
【００４９】
（第１の実施形態）
本発明の立体画像提示システムを具体化した第１の実施形態について図１〜４を参照しながら説明する。本実施形態では、片方の眼で外界を見ながら、もう一方の眼に立体視するための画像表示装置１００１の画像表示装置本体１００２を装着した立体画像提示システムとして説明する。本実施形態では、左右の視差を考慮したステレオ画像（右）及びステレオ画像（左）を含む立体視覚認識用画像、例えばステレオ画像（右）は画像表示装置１００１に提供する画像、ステレオ画像（左）は立体表示印刷紙に印刷された肉眼観察用画像である。ステレオ画像（右）を、図１に示すような画像表示装置の表示部１００４に表示し、右眼に提示した状態で、ステレオ画像（左）を左眼の肉眼に提示する（図４の下図参照）。
【００５０】
表示部１００４は、小型の液晶ディスプレイや有機ＥＬディスプレイなどの小型軽量なディスプレイ装置が適している。この表示部１００４の表示画面を右眼の眼前に眼の視線方向とほぼ垂直になるように配置する。撮像手段１００５としてのカメラは、撮像面が表示部１００４の表示画面と平行、光軸中心が表示部１００４の表示画面の中心を通る位置に配置されている。カメラ２９で撮影した画像は電子情報として制御部２１に転送される。
【００５１】
そして、画像閲覧者は、このステレオ画像（左）を左眼で観察し、同時に、このステレオ画像（右）の表示画像をもう一方の右眼で観察したときに、右眼で観察したステレオ画像（右）と左眼で観察したステレオ画像（左）との大きさが同じで輻輳角が立体認識できる角度であると、２つの画像を脳内で合成して立体像として観察することができる。
【００５２】
すなわち、本実施形態は、画像表示装置１００１の当初設計により調整されて表示部に表示されたステレオ画像（右）の虚像と肉眼で観察しているステレオ画像（左）とから、これ以上何ら画像表示装置１００１を調整することなく立体認識できる位置になるような立体視覚認識用画像と画像閲覧者との距離であった場合である。このような場合は、本発明の画像表示装置の制御部１００３は何ら機能する必要がない。しかし、右眼で観察したステレオ画像（右）と左眼で観察したステレオ画像（左）との大きさが異なったり輻輳角が立体認識できる角度でなかったりすると、２つの画像を立体認識できず、むしろ画像認識が混乱して生理的な不快感や疲労感を覚えることがある。この場合には、画像表示装置１００１に備えられた変形パターンテーブル中の変形パターンに従って、ステレオ画像（右）を変形する。通常は、図５に示すような変形パターンテーブルに従って、例えば１０秒間隔で変形していく。閲覧者は、画像が立体認識し易い変形パターンで変形された際に画像変形情報選択手段としてのキーボード入力をすれば、以後、同じ変形パターンによりステレオ画像（右）が変形されて、この閲覧者に立体認識ができる画像を提供する。
【００５３】
（第２の実施形態）
本発明の立体画像提示システムを具体化した第２の実施形態を、図１〜図３を用いて説明する。本実施形態では、左眼で外界を見ながら、柔軟に立体視するための立体画像提示システムとして説明する。本実施形態では、1組のステレオ画像のうち、紙に印刷された１枚の画像を左眼にて閲覧しながら、もう一方の画像を本発明の画像表示装置（以後、単眼ヘッドマウントディスプレイ、HMDともいう。）に表示し、それを右眼で閲覧させる。このとき、右眼の網膜像と左眼の網膜像から、対応点をみつけることができれば、立体感を得ることができる。
【００５４】
図１は閲覧者が装着するHMDのブロック図である。ＨＭＤ1001はHMD本体1002、カメラ1005、キーボード1006からなり、HMD本体1002は制御部1003と、これに接続された表示部1004とを備えている。制御部1003は、図示しないＣＰＵ、ＲＡＭ，ＲＯＭ等を備え、後述する処理を行う。そのためのプログラムを実行することにより、制御部1003は、立体知覚状態探索部1003-1、相対位置測定部1003-2、焦点距離測定部1003-3、立体感保持部1003-4、データ記憶部1003-5等として機能する。
【００５５】
立体知覚状態探索部1003-1は、表示対象の画像に射影変換（画像倍率変換、並進変換、回転変換）を施すことにより、表示部1004に表示する画像を変形する画像変形手段の一種である。
【００５６】
相対位置測定部1003-2は、カメラ1005で撮影された画像から、表示部1004の中心を原点として表示部1004の二軸方向と、表示部1004に対する法線ベクトルを3軸とし、表示部１００４と台紙２００２上のマーカ２００４との相対位置（向きも含む）を測定する。
【００５７】
焦点距離測定部1003-3は、立体知覚状態探索部1003-1とキーボード1006により得られた、閲覧者が立体感を知覚している状態において、閲覧者の右眼（HMDを装着している眼）から表示部1004までの相対位置を算出する。
【００５８】
立体感保持部1003-4は、立体知覚状態探索部1003-1と同様に、表示対象の画像に射影変換を施すことにより、表示部1004の表示画面1004-1に表示する画像を調整する。しかし、立体感保持部1003-4は焦点距離測定部1003-3により算出された右眼と表示部1004の距離と、相対位置測定部1003-2により算出された相対位置とに基づいて表示画像の画像変形を行う点が、立体知覚状態探索部1003-1の画像変形とは異なる。
【００５９】
データ記憶部1003-5は、相対位置計測用マーカの種類とその形状1007-1、ステレオ画像（右）1007-2、ステレオ画像（左）1007-3、ステレオ画像（左）と相対位置計測用マーカとの相対位置1007-4、認識されたマーカの種類とその形状1008-1、表示部1004と相対位置計測用マーカとの相対距離1008-2、閲覧者個人の焦点距離1008-3、基準画像表示位置1009-1、変換テーブル1009-2、を記憶している。
【００６０】
相対位置計測用マーカの種類とその形状1007-1は、相対位置測定部1003-2がカメラ1005が撮影した画像から、マーカを探索するのに利用される。
【００６１】
ステレオ画像（右）1007-2とステレオ画像（左）1007-3はあらかじめステレオカメラなどにより撮影されたステレオ視用の画像である。ステレオ画像（左）と相対位置計測用マーカとの相対位置1007-4は、実像提示手段におけるステレオ画像（左）と相対位置計測用マーカとの相対位置である。ステレオ画像（左）と相対位置計測用マーカとの相対位置1007-4により、相対位置測定部1003-2は、表示部1004とステレオ画像（左）との相対位置も測定できる。なお、本実施形態では、ステレオ画像（左）1枚に対してステレオ画像（右）が複数枚存在している。本来、1007-1、1007-2、1007-3、1007-4を一対として、何対も保持している。しかし本実施形態では説明の簡略化のため、一対のみ存在する場合の説明を行う。
【００６２】
認識されたマーカとその形状1008-1は、相対位置測定部1003-2により認識されたマーカとその形状を記憶する。また、相対位置測定部1003-2によりマーカが認識されたときの、表示部1004の中心と相対位置計測用マーカとの相対位置を、表示部1004の中心と相対位置計測用マーカとの相対位置1008-2として記憶する。閲覧者個人の焦点距離1008-3は、焦点距離測定部1003-3により算出された焦点距離を記憶する。なお、焦点距離測定部1003-3は閲覧者がHMDを脱却することを感知して焦点距離1008-3に空データを送る。
【００６３】
基準画像位置1009-1は、表示部1004上の画像座標４つで表現されるものである。この4頂点は、ステレオ画像（右）を表示部1004に表示する際の、表示位置を示している。すなわち、基準画像位置1009＝{(x1,y1),(x2,y2),(x3,y3),(x4,y4)}の場合、ステレオ画像（右）の左上頂点を(x1,y1)、左下頂点を(x2,y2)、右下頂点を(x3,y3)、右上頂点を(x4,y4)の位置になるように、画像を変形して表示することを意味している。また、変換テーブル1009-2は、基準画像位置1009-1の4頂点のデータを変換するテーブルである。
【００６４】
表示部1004は、ディスプレイ装置であり、制御部1003で処理された出力情報を表示する。また、制御部1003は、撮像手段としてのカメラ（ビデオカメラ）1005に接続されている。カメラ1005は、相対位置測定部1003-2に画像を転送するために備え付けられており、相対位置測定部1003-2はカメラ100５の撮像した画像内に、データ記憶部1003-5に記憶されている相対位置計測用のマーカ1007-1を発見すると、カメラ1005から相対位置計測用のマーカの大きさ1007-1を利用して、相対位置計測用マーカまでの相対位置を測定する。カメラ1005は撮像面が表示部1004と平行、光軸中心が表示部1004の中心を通る位置に配置されていることが理想的ではあるが、撮像面と表示部の位置関係が既知であればこの限りではない。
【００６５】
カメラ1005で撮影した画像は制御部1003に転送される。また、表示部1004はピクセルサイズ640x480で表示座標系を保有しており、表示座標系は、表示部1004の中心を原点とし、横方向をX軸、縦方向をY軸、表示部1004と垂直方向をZ軸とした座標系である。
【００６６】
制御部1003は、キーボード1006と接続している。キーボード1006は、閲覧者が入力した文字もしくは文字列を制御部1003に伝達するために用いられる。キーボード1006は、図５に示すような、変形パターンテーブル中の変形パターンを選択するための変形パターン選択手段として機能する。すなわち、閲覧者が立体的に知覚できた状態のときを、キーボード1006を利用して入力することにより、閲覧者が立体知覚状態にあることをシステム側に通知する。本実施形態では、変形パターン選択手段としてキーボードを示したが、そのほかには、スイッチ、音声認識を伴ったマイク、ディスプレイを伴ったマウス、脳の特定部位の血流反応を検出することにより代替する手段等が挙げられる。
【００６７】
図２は、閲覧者が立体視を行うために必要なシステムの画像閲覧の説明図である。HMD2001は、図１で説明したHMD1001と同一のものを表す。台紙2002はRDS画像（左）2003と相対位置計測用マーカ2004の位置関係を固定するために用いられる。台紙2002を作成する際には、データ記憶部1003-5に記憶されているデータ対を用いる。すなわち、ステレオ画像（左）1007-3を台紙2002の適当な位置に配置する。そして、ステレオ画像（左）と相対位置計測用マーカの相対位置1007-4と合致するように、相対位置計測用マーカを台紙2002に配置する。本実施形態では、台紙2002に貼り付けたステレオ画像（左）1007-3をRDS画像2003、相対位置計測用マーカ1007-1を相対位置計測用マーカ2004として扱っていく。
【００６８】
ステレオ画像は、ランダムドットステレオグラムを用いて作られた左眼用の画像RDS（左）及び右眼用の画像RDS（右）である。ランダムドットステレオグラムは、ステレオ画像の一種であり、RDS画像（右）を右眼で、RDS画像（左）を左眼でステレオ視する（左右の眼で左右それぞれの画像のみを同時に見る。）と文字や図柄が飛び出して立体的に見えるものである。RDS画像（右、もしくは左）1枚のみを見た場合は、単なるドットパターンとしか知覚することができない。そのため、ステレオ視した場合にどのような文字や図柄が飛び出して見えるかは片方のRDS画像だけからは判断できない。
【００６９】
相対位置計測用マーカ2004は、カメラ1007で撮影された画像（映像）から相対位置を測定するために用いられる。相対位置計測用マーカとしては、ARToolKitに利用されているもの(H.Kato and M.Billinghurst: "Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System", Proc. the 2nd IEEE and ACM International Workshop on Augmented Reality(IWAR1999))、CyberCodeに利用されているもの（J.Rekimoto and Y. Ayatsuka: "CyberCode: Designing augmented reality environments with visual tags", Proc. Designing Augmented Reality Environments(DARE)(2000)）などを利用するとよい。なお、相対位置測定部1003-2による相対位置の算出方法の詳細は、これらの文献に記載されている。
【００７０】
次に、図3のフローチャートを用いて、本実施形態の動作を説明する。本実施形態の動作においては、閲覧者に立体知覚を与えるまでの部分（F3001-F3005）と、MRSV法により閲覧者に常に立体知覚を与え続ける部分（F3006、F3007）に分けられる。
【００７１】
１．閲覧者に立体知覚を与える（F3001-F3005）
まず、閲覧者はHMD2001を右眼に着用する（F3001）。そして、閲覧者がRDS画像（左）2003の方を向く。するとカメラ1005で撮影された画像にRDS画像（左）2003だけでなく、相対位置計測用マーカ2004が含まれることになる。この画像を用いて相対位置測定部1003-2が相対位置計測用マーカを検出する。検出した相対位置計測用マーカをデータ記憶部1003-5の認識されているマーカの種類とその形状1008-1に記憶し、加えて相対位置計測用マーカ2004と表示部1004の中心との相対位置を表示部の中心と相対位置計測用マーカとの相対位置1008-2に記憶する（F3002 ）。以後一定時間間隔で、相対位置測定部1003-2は相対位置を測定し、データ記憶部1003-5に含まれる、認識されているマーカの種類とその形状1008-1と、表示部の中心と相対位置計測用マーカとの相対位置1008-2を更新し続ける。なお、相対位置測定部1003-2が相対位置を計測できない場合は認識されているマーカの種類とその形状1008-1に測定不能マーカを送る。
【００７２】
立体知覚状態探索部1003-1は、認識されているマーカの種類とその形状1008-1が相対位置計測用マーカの種類とその形状1007-1のデータと等しいことを確認し、表示部の中心と相対位置計測用マーカとの相対位置1008-2に基づいて、基準画像表示位置1009-１を決定する。基準画像表示位置1009-１は、表示部の中心と相対位置計測用マーカとの相対位置1008-2から後述するような方法を用いて算出される。相対位置測定部1003-2は一定時間間隔で、表示部の中心と相対位置計測用マーカとの相対位置1008-2を更新するので、基準画像表示位置1009-１もその都度更新される。しかし、本実施形態では説明の簡略化のため、閲覧者はステップF3006に至るまで、この相対位置は一定であると仮定する。すなわち、相対位置測定部1003-2から得られる相対位置は常に一定とし、基準画像表示位置1009-1は不変とする。
【００７３】
なお、本実施形態における基準画像表示位置1009-1は、画像を表示する4頂点の座標を羅列したもので、
基準画像表示位置1009-1＝{ (-100,100,1),(-100,-100,1),(100,-100,1),(100,100,1) }
とする。
【００７４】
基準画像表示位置を求める方法
本発明の画像表示装置を左眼に装着した第１の閲覧者が、両目でＲＤＳ画像を閲覧しながら、マウスなどのインターフェイスを用いて表示部1004に表示されている画像を変形して、又はあらかじめ変形パターンテーブル等により記憶させておいた画像変形パターンにより変形して、左右両目で閲覧している画像を立体視できる状態になったときの形状とその相対位置を登録させ記録する。この登録操作を複数人に対して行い、平均的な人物が立体視できる状態の形状とその相対位置を算出し、それを初期表示画像サイズ・基準画像表示位置として記録する。すなわち、相対位置を入力とした、表示サイズ・位置を求める関数を作成する。この関数により算出される表示サイズ、位置は、平均的な表示サイズ、位置であり、万人がその表示サイズと位置で立体視できることを保障するものではない。しかし、万人がその表示サイズと位置に非常に近いサイズと位置で立体視できることは保障される。
【００７５】
立体知覚状態探索部1003-１は、データ記憶部1003-5にある、認識されているマーカの種類とその形状1008-1にデータが存在し、且つ閲覧者個人の焦点距離1008-3にデータが存在しない場合、次の動作を行う。変換テーブル1009-2を読み込む。変換テーブル1009-2は、図５に示すような、経過時間ごとの表示画像、RDS画像（右）と、RDS画像（右）を表示部1004に表示する際の基準画像表示位置1009-1に対する並進移動量、回転移動量、画像倍率を保持するテーブル1009-2である。また、図5の画像名は、RDS画像（右）の変形後の画像の種類を表す。RDS画像（右）3011と RDS画像（左）2003の関係は、RDS画像（左）の網膜像とRDS画像（右）の網膜像から対応点をみつけることができた場合、文字3012が立体的に見えるような関係を持ち、RDS画像（右）3013と RDS画像（左）2003の関係は、RDS画像（左）の網膜像とRDS画像（右）の網膜像から対応点をみつけることができた場合、文字3014が立体的に見えるような関係である。同様に、RDS画像（右）3015、RDS画像（右）3017、RDS画像（右）3019はそれぞれ文字3016、文字3018、文字3020が立体的に見える画像となっている。一般的に文字3012、文字3014、文字3016、文字3018、文字3020は異なる文字が好ましい。
【００７６】
立体知覚状態探索部1003-1は、データ記憶部1003-5を常に又は定期的に監視しており、"認識されているマーカの種類とその形状1008-1にデータが存在し、且つ閲覧者個人の焦点距離1008-3にデータが存在しない状態に変化したときの経過時間を０秒として次の動作を始める。
【００７７】
経過時間に応じて、変換テーブル1009-2を利用して基準画像表示位置1009-１から、表示画像位置を決定する。すなわち、RDS画像（右）を表示部1004のどの位置にどのように変形して表示するかを決定する。そして、表示部1004に表示画像位置に応じて、RDS画像（右）を表示するよう指示する。図９は、
表示画像位置{ (-100,100),(-100,-100),(100,-100),(100,100) }にRDS画像（右）3011を表示部1004に表示した例である。
【００７８】
表示画像位置の算出法
基準画像表示位置{ (x1,y1,z1),(x2,y2,z2),(x3,y3,z3),(x4,y4,z4) } に対してそれぞれ次の操作を行う。
【００７９】
（１）まず、基準画像中心座標(Ox,Oy)を求める。
基準画像中心座標とは、4頂点の座標の平均値である。すなわち、
Ox = 0.25*(x1+x2+x3+x4),
Oy = 0.25*(y1+y2+y3+y4),
Oz = 0
基準画像表示位置1009-1の場合(0,0,1)である。
【００８０】
（２）倍率を乗算する。
基準画像中心座標から各点までの長さに対して倍率をかける。倍率をαとすると、
x1' = α * (x1-Ox) + Ox,
y1' = α * (y1-Oy) + Oy
z1' = α * (z1-Oz) + Oz
として{(x1',y1'),(x2',y2'),(x3',y3'),(x4',y4')}と置き換える。
【００８１】
（３）平行移動を行う。
平行移動量を(Tx,Ty,Tz)とすると、
x1'' = x1' + Tx,
y1'' = y1' + Ty,
z1'' = z1' + Tzとなる。
【００８２】
（４）回転移動を行う。
回転軸(Vx,Vy,Vz)に対してβ度回転する回転行列Rを算出し、
(x1''',y1''',z1''')T = R( x1'',y1'',z1'')T
とする(左式でのTは転置を表す。)。
【００８３】
５．各3次元ベクトルをZの項で割り算する。
{ ( x1''' / z1''', y1'''/ z1'''), (x2''' / z2''' , y2'''/z2'''), (x3''' / z3''' , y3''' / z3''') , ( x4''' / z4''' , y4''' / z4''' ) }
が、RDS画像（右）を引き伸ばして貼り付けを行う4頂点である。
【００８４】
経過時間ごとにRDS画像（右）と表示画像位置を用いて、異なる表示が行われる。閲覧者はその表示画像を見ながら、立体的に知覚できた文字をキーボード1006を用いて入力する(F3005)。もし入力された文字と文字3012が一致した場合、そのときの経過時間と基準画像位置、相対位置を焦点距離測定部1003-3に渡す。
【００８５】
一致しなかった場合、もしくは制限時間(例えば10秒)内に閲覧者が文字入力を行わなかった場合は、経過時間ごとにRDS画像（右）と表示画像位置を用いて、異なる表示を繰り返す。閲覧者が立体感を得たときの経過時間と基準画像位置、相対位置を焦点距離測定部1003-3に渡すまで続ける。
【００８６】
２．MRSV法により閲覧者に常に立体知覚を与え続ける方法（F3006,F3007)
上記基準画像位置、相対位置を経過時間１５秒時に確定した場合の例として説明する。焦点距離測定部1003-3により、経過時間、基準画像位置、相対位置を用いて、HMD1001と右眼の位置関係を測定する（F3006）。HMD1001を着用した右眼の視線方向は表示部1006の法線方向と平行とし、左眼の視線方向はRDS画像（左）2003の法線方向と平行であるとしている。このとき、RDS画像（右）、RDS画像（左）、閲覧者の眼の関係は図８のように位置関係を描画することができる。図８のような位置関係を描画するために、HMD1001とRDS画像（左）2003の相対位置、ステレオ画像（左）と相対位置計測用マーカの位置関係 1007-4、RDS画像（右）の物理的な大きさ・位置には、基準画像位置と、表示部1004の物理的サイズ、各画素の物理的サイズを利用している。なお、図８では、右眼がRDS画像（右）3013を見た様子と、左眼がRDS画像（左）2003を見た様子を重畳して描画している、すなわち右眼と左眼を一つとして扱っていることに注意する。
【００８７】
図８の位置関係において、閲覧者はRDS画像（右）とRDS画像（左）により立体視が可能であることから、RDS画像（右）の左上頂点と、RDS画像（左）の左上頂点を結んだ直線は、眼の焦点を通るとみなすことができる。同様に、左下頂点、右下頂点、右上頂点にも同様のことが言える。よって4本の直線が交わる頂点が眼の焦点位置となる。眼の焦点と表示画面1004−１との距離を計測し、閲覧者個人の焦点距離1008-3としてデータ記憶部1013-5に記憶する。
【００８８】
自動ＲＤＳ画像補整（F3007）
立体感保持部1003-4の働きを示すことにより、閲覧者が意識することなくMRSV法による立体像を観察する方法を示す。前記閲覧者に立体知覚を与える方法では、閲覧者個人の焦点距離1008-3を算出するために、閲覧者はRDS画像から立体的に見えた文字をキーボード1006等を用いて入力しなければならなかった。しかし一度、閲覧者個人の焦点距離1008-3を算出することができれば、以後は、閲覧者は意識することなく、立体感を得続けることができる。立体感保持部1003-4はデータ記憶部1003-5に、閲覧者個人の焦点距離1008-3が記憶されている場合に動作を開始する。なお、前述のように、立体知覚状態探索部1004は、認識されているマーカの種類とその形状1008-1にデータが存在し、且つ閲覧者個人の焦点距離1008-3にデータが存在しないという条件を満たさないときは、動作しない。
【００８９】
立体感保持部1003-4は、データ記憶部1003-5に記憶されている、表示部の中心と相対位置計測用マーカとの位置関係1008-2を利用して、表示部1004と、RDS画像（左）2003の相対位置を決定する。そして、F3006で算出した、閲覧者個人の焦点距離1008-3より、焦点と表示部1004の位置関係も記述することができる。この位置関係を利用することにより、RDS画像（左）2003を表示部1004に投影した四辺形4002を算出することができ、四辺形4002の位置・大きさに合わせて、RDS画像（右）3013を表示する。
【００９０】
本実施形態では、本発明の特徴である、立体知覚状態探索部1003-1の詳細を記述するために、ステレオ画像として、RDS画像（右）3013とRDS画像（左）2003を用いた。そしてそれに対応する相対位置計測用マーカの種類とその形状1007-1、ステレオ画像（右）1007-2、ステレオ画像（左）1007-3、ステレオ画像（左）と相対位置計測用マーカの相対位置1007-4に関して説明を行った。これらの相対位置計測用マーカ、それに対応するステレオ画像（左）、ステレオ画像（右）、ステレオ画像（左）と相対位置計測用マーカの位置関係の組み合わせを、データ記憶部1003-5に複数組記憶しておいてもよい。その場合、認識されているマーカ1008-1を検索キーとして、対応する相対位置計測用マーカの種類とその形状1007-1を検索し、認識されたマーカ1008-1に応じたステレオ画像（右）とその表示位置に表示することができる。
【００９１】
また、本実施形態では、台紙2002を用いたが、台紙2002の代わりに、液晶ディスプレイのような、容易に表示内容を変更できるような表示装置を用いても良い。
【００９２】
更に、立体知覚状態探索部1003-1、立体感保持部1003-4で表示部100４の表示画面１００４−１に表示するデータを算出したが、台紙2002の代わりに液晶ディスプレイを用いた場合、立体知覚状態探索部1003-1、立体感保持部1003-4が表示部1006の表示画面１００４−１の代わりに液晶ディスプレイに表示するデータを同様の方法で算出し、液晶ディスプレイに表示を指示しても良い。
【図面の簡単な説明】
【００９３】
【図１】画像表示装置のブロック図
【図２】画像閲覧の説明図
【図３】画像変形のフローチャート
【図４】立体認識の説明図
【図５】変形パターンテーブル
【図６】表示画面における立体認識用画像
【図７】立体認識のしづらい状態
【図８】立体認識のし易い状態
【図９】表示画面における立体認識用画像
【符号の説明】
【００９４】
１００１：画像表示装置（略称ＨＭＤ）
１００２：画像表示装置本体
１００３：制御部
１００３−１：立体知覚状態探索部
１００３−２：相対位置測定部
１００３−３：焦点距離測定部
１００３−４：立体感保持部
１００３−５：データ記憶部
１００４：表示部
１００４−１：表示画面
１００５：カメラ
１００６：キーボード
１００７−１：相対位置計測用マーカの種類とその形状
１００７−２：ステレオ画像（右）
１００７−３：ステレオ画像（左）
１００７−４：ステレオ画像（左）と相対位置計測用マーカとの相対位置
１００８−１：認識されているマーカの種類とその形状
１００８−２：表示部の中心と相対位置計測用マーカとの相対位置
１００８−３：閲覧者の目の焦点距離
１００９−１：基準表示画像位置
１００９−２：変換テーブル
２００１：画像表示装置
２００２：台紙
２００３，３０１３：ＲＤＳ画像（左）
２００４：相対位置計測用マーカ
３０１１：ＲＤＳ画像（右）
【技術分野】
【０００１】
本発明は、画像表示装置、立体視覚認識用画像、立体画像提示システム及び立体画像提示方法に関する。
【背景技術】
【０００２】
立体的な物以外を立体的に認識させる表示装置、いわゆる三次元ディスプレイには、大きく分けて２つの方式がある。ひとつは、表示画面のみを工夫して立体感を出す方法である。この方法には、ハーフミラーによる表示画面の合成、凹面鏡による虚像認識、ホログラフィ技術による表示画面の作成、バリフォーカルミラー方式、レンチキュラー板方式などといわれるものが知られている。
【０００３】
一方、特殊な眼鏡などの画像観察補助装置を用いる三次元ディスプレイがある。例えば、２色刷り画面と左右別々のカラーフィルタ眼鏡の組み合わせ、２種類の偏光を発する偏光表示画面と偏光フィルタ眼鏡の組み合わせ、高速の交互開閉式シャッタ付き眼鏡と同期する２種類の表示画面との組み合わせ、左右両眼にそれぞれ右目用画面、左目用画面のみを表示するのぞき窓による方法などが知られている。
【０００４】
例えば、特許文献１には、視差画像を表示する画像表示装置と、視差画像と同期してこの視差画像の表示指向性を偏向制御する偏向制御手段とにより横方向の単眼視差画像を表示するとともに、観察者の頭部または顔面に装着可能で縦方向の単眼視差画像を該画像表示装置と同期的に動作して表示する画像分離手段を有する画像表示装置が開示されている。また、特許文献２には、左右両眼にそれぞれ別画像を提示する両眼テレビジョンで、視聴者の視聴開始時に左右両眼の画像の融合が容易な画像を提供して、視聴者の立体画像認識を容易にする技術が開示されている。
【特許文献１】特開２０００−３４７１３２号公報
【特許文献２】特開平０７−２１２０９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
これらの方法については、どの方式もそれぞれ一長一短あるが、表示画面のみの工夫による三次元ディスプレイでは、観察位置の制限や、奥行きのない立体感の画面が多く、迫力のある立体像認識を可能にするには至っていない。また、両眼に眼鏡等を装着して立体画像を認識する方式では、目的とする立体画像以外は視界に入ることがない。このため、立体視のための眼鏡、機器等を装着すると、周囲の監視や歩行などの他の動作を並行して行うことが難しくなる。また、画像表示装置方式では、複数の使用者と閲覧している立体画像を共有することが困難である。また、異なった画像を左右それぞれの目が個別に観察して、立体画像として認識しようとすることは、人間のこれまでの生活の中ではなかったので、このような画像提示に対して立体認識することは、生理的違和感・不快感が生じる場合もあり、このような画像認識に馴染みにくい人もいる。このように三次元ディスプレイには、各種の問題点があり、まだ、広く実用化されるには至っていない。
【０００６】
本発明は、上記問題点を解決するためになされたものであり、通常のテレビジョンのように外界も視野に入れたまま、立体画像を認識でき、立体認識が容易な画像表示装置、立体視覚認識用画像、立体画像提示システム及び立体画像提示方法の提供を課題としている。
【課題を解決するための手段】
【０００７】
本発明者は、上記課題を解決するために鋭意検討を重ねた結果、下記の手段により、上記課題が解決できることを見出し、本発明を完成した。
【０００８】
本発明は、閲覧者の一方の眼に肉眼観察用の実像画像を観察させ、他方の眼に虚像画像を観察させて立体画像を認識させる立体画像提示システムに使用する虚像画像観察用の画像表示装置であって、片方の眼前に配置する虚像画像観察用の表示画面と、表示画面に表示された画像を変形する画像変形手段と、閲覧者が画像変形手段により変形された変形画像に対応する画像変形情報を選択するための画像変形情報選択手段とを備えた画像表示装置である。
【０００９】
好ましい本発明は、画像変形手段には、画像倍率、画像の並進移動量及び画像の回転移動量のうち少なくともひとつの変形要素を含む前記画像表示装置である。
【００１０】
さらに、好ましい本発明は、画像変形手段は、画像を変形するための変形パターンを有する変形パターンテーブルを備えた前記画像表示装置である。
【００１１】
さらに、好ましい本発明は、変形パターンテーブル中の変形パターンを変更する変更手段を備えた前記画像表示装置である。
【００１２】
さらに、好ましい本発明は、画像変形手段は、閲覧者により選択された変形パターンを記憶する記憶手段と、記憶手段により記憶された複数の変形パターンから合成変形パターンを作成する合成変形パターン算出作成とを有する前記画像表示装置である。
【００１３】
さらに、好ましい本発明は、変形パターン選択手段は、キーボード、マウス、スイッチ、音声認識手段、脳波測定手段及び血流変化測定手段のいずれかを含む前記画像表示装置である。
【００１４】
さらに、好ましい本発明は、前記実像画像と表示画面を装着した閲覧者との相対位置を測定する相対位置測定手段と、前記相対位置に応じて表示画面中の画像を変形する自動画像変形手段とを備えた前記画像表示装置である。
【００１５】
さらに、好ましい本発明は、閲覧者の片方の眼前に表示画面を装着するための装着装置を備えた前記画像表示装置である。
【００１６】
本発明は、一方は、肉眼観察用の実像画像であり、他方は、眼前の表示画面から観察する虚像画像である左右一対の立体視覚認識用画像である。
【００１７】
さらに、好ましい本発明は、肉眼観察用の実像画像に相対位置測定用のマーカを備えた前記立体視覚認識用画像である。
【００１８】
本発明は、上記いずれかの画像表示装置と、上記いずれかの立体視覚認識用画像とを備えた立体画像提示システムである。
【００１９】
本発明は、上記いずれかの画像表示装置の表示画面を一方の眼前に装着し、装着した表示画面には、上記いずれかの立体視覚認識用画像の虚像画像を提示し、表示画面を装着していない他方の眼には、上記の立体視覚認識用画像の虚像画像と対になる実像画像を提示することにより立体感を認識させる立体画像提示方法であって、画像変形手段により、変形した虚像画像を表示画面に表示して、閲覧者が立体感を認識した画像に変形されたときの画像変形情報を画像変形情報選択手段により選択させて、以後、選択された画像変形情報により虚像画像を変形して表示画面に表示する立体画像提示方法である。
【００２０】
本発明は、上記の相対位置測定手段及び自動画像変形手段を備えた画像表示装置の表示画面を一方の眼前に装着し、装着した表示画面には、画像表示装置により上記の立体視覚認識用画像の虚像画像を提示し、画像表示装置を装着していない他方の眼には、上記の立体視覚認識用画像の実像画像を提示することにより立体感を認識させる立体画像提示方法であって、閲覧者に最初に立体視覚認識用画像を提示する際に、画像変形手段により変形した虚像画像を表示画面に表示して、閲覧者が立体感を認識した画像に変形されたときの画像変形情報を画像変形情報選択手段により選択させて、以後、選択された画像変形情報により虚像画像を変形して表示画面に表示し、実像画像と立体視覚認識用画像閲覧中の閲覧者との相対位置を相対位置測定手段により測定し、前記相対位置に応じて表示画面中の画像を自動画像変形手段によりさらに変形した、虚像画像を表示画面に表示する立体画像提示方法である。
【発明の効果】
【００２１】
本発明によれば、通常のテレビジョンのように外界も視野に入れたまま、容易に立体画像を認識できる画像表示装置、立体視覚認識用画像、立体画像提示システム及び立体画像提示方法を提供できる。
【発明を実施するための最良の形態】
【００２２】
本発明の画像表示装置は、閲覧者の一方の眼に肉眼観察用の実像画像を観察させ、他方の眼に虚像画像を観察させて立体画像を認識させる立体画像提示システムに使用する虚像画像観察用の画像表示装置であって、立体視覚認識用画像の閲覧者の片方の眼前に装着する虚像画像観察用の表示画面と、虚像画像を表示画面に表示する際、画像を変形する画像変形手段を備えている。さらに、画像変形手段により変形された変形画像のうち、それぞれの閲覧者が自己の立体視覚認識に適した変形画像に対応する画像変形情報を選択するための画像変形情報選択手段を備えている。閲覧者は、この画像表示装置を、例えば右眼の眼前に装着することにより、左眼では、立体視覚認識用画像の一対の画像のうち左目用画像の実像を通常の画像観察のように肉眼で観察し、右眼では、装着した画像表示装置の表示画面に表示された立体視覚認識用画像の前記左目用画像に対応する右目用画像の虚像を観察する（以後の説明において、特に断らない限り、左眼では、立体視覚認識用画像の一対の画像のうち左目用画像の実像を肉眼（虚像を表示する画像表示装置を装着しない）で観察し、右眼では、この画像表示装置の表示画面に表示された立体視覚認識用画像の左目用画像に対応する右目用画像の虚像を観察することを前提とする。）。閲覧者の左右それぞれの眼に一対の立体視覚認識用画像を観察させたとき、認識される左右の画像の大きさや相対位置が調整されていると、閲覧者は一対の視覚認識用画像を立体像として認識することができる。
【００２３】
しかし、左右一対の立体視覚認識用画像であっても、観察される左目用画像と右目用画像の大きさや位置関係を任意にそれぞれの眼に観察させた場合、立体画像としては認識されない場合が多い。これに対し、本発明の画像表示装置においては、この画像表示装置の表示画面に表示される虚像の大きさや相対位置を変えることで、閲覧者が立体認識できる状態を探索することができる。閲覧者が立体認識できる状態は、閲覧者に装着する画像表示装置の表示画面への虚像形成における装置設計条件、及び閲覧者の眼と立体視覚認識用画像との距離によりほぼ決まっている。しかし、閲覧者の眼の焦点距離などの個人的なばらつきもあり、閲覧者毎に調整が必要である。本発明の画像表示装置は、このような、閲覧者の眼と立体視覚認識用画像との距離及び閲覧者毎の個性に応じた調整をするために画像変形手段を備えている。そして、閲覧者が本発明の画像表示装置を装着して、後述する本発明の一対の立体視覚認識用画像を観察し始める際に、画像変形手段により表示画面に表示される虚像を変形して、閲覧者が両目から観察された画像を立体画像として認識したときの画像変形情報を、画像変形情報選択手段により閲覧者により選択させる。そして、この画像変形情報に基づいて以後の虚像画像を変形して表示画面に表示すれば、閲覧者は、立体視覚認識用画像が変更されても立体画像として知覚し続けることができる。なお、運よく最初に虚像画像を表示画面に表示しただけで立体認識できる場合もあるが、この場合も広い意味での画像変形手段による画像変形が行われたと見なして説明する。
【００２４】
このような画像変形手段及び画像変形情報選択手段を備えていない画像表示装置では、例えば、閲覧者が画像表示装置を装着していない左眼の位置を選択して、すなわち、閲覧者の左眼が肉眼用の立体視覚認識用画像から相対的に移動しながら立体認識できる位置を探して、立体認識できた位置で立体画像を閲覧することになる。
【００２５】
画像変形手段としては、画像倍率、画像の並進移動量及び画像の回転移動量のうち少なくともひとつ、できればこの３つの変形要素を含むことが好ましい。画像変形手段としては、電子情報化された右目用の虚像画像をパソコンとマウスの組み合わせ等により画像の相対的な大きさや位置の変形、回転変形などの図形処理をすればよい。最近は、パソコンとマウスの組み合わせ等により画像情報を容易に変換できる変形ソフトが利用できるのでこれを利用すればよい。さらに、画像変形手段として、画像表示装置自身に画像を変形するための複数の変形パターンを有する変形パターンテーブルを備えていることが好ましい。立体画像認識のための変形パターンは、個人差はあっても閲覧者によって大きく異なるものではないので、変形パターンテーブルを備えてこのテーブルに従って複数の変形パターンから最適なものを選択するとそれぞれの閲覧者は、容易に立体認識用の画像変形情報を変形パターンとして選択することができる。
【００２６】
また、本発明の画像表示装置は、変形パターンテーブル中の変形パターンを、それぞれの閲覧者の個性に応じて変更するための変更手段を備えていることが好ましい。このような変更手段を備えることにより、閲覧頻度の高い閲覧者の個人的な立体知覚認識のばらつきへの対応を容易にしたり、多くの閲覧者に対応できる変形パターンテーブルを作成したりすることができる。
【００２７】
画像変形手段は、閲覧者により選択された画像変形情報である変形パターンを記憶する記憶手段と、記憶手段により記憶された複数の変形パターンから合成変形パターンを算出する合成変形パターン算出手段とを有することが好ましい。閲覧者に利用された変形パターンを記憶手段により記憶しておき、同じ閲覧者が再度立体視覚認識用画像を同じ距離から閲覧するときには、この変形パターンを用いて虚像画像を変形すればよい。また、記憶された複数の変形パターンから合成変形パターンを作成し、記憶しておくことにより、初めてこの画像表示装置を使用する閲覧者に対し、平均的な閲覧者に対する変形パターンを提供することができ、初めての閲覧者は立体認識が容易にできる可能性が高くなり便利である。
【００２８】
閲覧者が立体認識できた場合に、画像表示装置にその旨を通知するための変形パターン選択手段は、どのような選択手段でもよいが、例えばパソコン等に連動したキーボード、マウス、通常のスイッチ、音声認識手段、脳波測定手段及び血流変化測定手段を挙げることができる。例えば、表示画面に文字が表示されるようにしておき、立体認識できた場合の文字をキーボードで指示する方法などが好適な方法である。また、画像形成装置を装着するための装着装置を頭部に装着した場合には、閲覧者が立体認識したときに起こる生理的変化、例えば脳波の変化や頭部の血流の変化を感知するようにして、これを変形パターン選択手段とすれば、閲覧者は意識することなく立体認識できる画像変形情報を選択できる。
【００２９】
上述の画像表示装置は、一度立体認識できるように画像変形情報を選択しておけば、同じ閲覧者が同じ位置で立体視覚認識用画像を閲覧している間は、動画閲覧の場合のように立体視覚認識用画像が変わっても、これ以上画像変形する必要がない。しかし、閲覧者が左目（肉眼）用の立体視覚認識用画像からの相対位置を変えると、左眼に観察される画像の大きさ等が変化するので、左右の眼に認識される画像のバランスが崩れ、再度画像変形手段により立体認識できる画像変形パターンを選択せねばならない。そこで、さらに、立体視覚認識用画像閲覧中の立体視覚認識用画像の実像画像と閲覧者との相対位置を測定する相対位置測定手段を備えており、前記相対位置に応じて表示画面中の画像を変形する自動画像変形手段とを備えた画像表示装置としておくことが好ましい。
【００３０】
例えば、実像画像中に配置された相対位置測定用のマーカによって、閲覧者と実像画像との相対位置を測定する。例えば、左右一対の立体視覚認識用画像中の所定の位置に常に、又は定期的に相対位置測定用の同じ大きさ形のマーカを表示しておき、左眼用の実像画像中のこのマーカを表示画面近傍に配置した撮像装置などで撮像し、撮像画面中のマーカの大きさ形を閲覧者の観察している虚像中の右眼網膜上でのマーカの大きさ形と比較して、閲覧者の左眼の網膜に写っている実像画像中のマーカの大きさ形と、閲覧者の観察している虚像画像中の右眼網膜上でのマーカの大きさ形とが同じになるように、表示画面中の画像を変形する。この動作は、単にふたつのマーカの位置あわせを行っているのではなく、実像画像と閲覧者との相対位置を測定することにより、実像画像と閲覧者との相対位置の変化により左眼に観察される実像の変形する度合いに合わせて、虚像を変形させているに過ぎない。例えば、虚像画像用のマーカを透明なマーカに置き換えることによって、マーカの位置あわせを行っていると考えれば一目瞭然である。
【００３１】
具体的には、例えば、左眼と左眼用の立体視覚認識用画像との相対位置が遠くなり、左眼網膜上に観察される実像画像中のマーカの大きさが１０％小さくなった場合は、画像表示装置の表示画面中に表示されているマーカの大きさも１０％小さくなるように表示画面の表示倍率を変更して、右眼網膜上に観察される虚像画像を１０％小さくなるようにすればよい。左眼網膜上に観察される実像画像中のマーカの相対的な大きさは、相対位置測定手段により算出された相対位置から容易に測定できる。また、左眼用の立体視覚認識用画像に対し左眼が平行移動した場合は、画像中の一方向のみの変形による調整が必要となる場合もある。なお、相対位置測定手段としては、超音波測定装置を利用してもよい。この場合、マーカを設置する代わりに、閲覧者の位置を測定するための３つ以上の超音波発信器を設置し、そこから発信した超音波信号を閲覧者の装着している表示画面に付随した超音波受信機により受信することにより、実像画像と閲覧者との相対位置を測定する。
【００３２】
なお、本発明の画像表示装置は、立体視覚認識用画像の閲覧者の眼前に表示画面を装着するための装着装置を備えていることが好ましい。この装着装置は、帽子やハチマキのように頭部に固定する装置が好ましい。眼鏡のように耳や鼻に掛けるものでもよいが、長時間使用する場合は重さが気になることもある。このような場合、画像表示装置の表示画面、撮像装置及びこれらを作動させる最小限の付属品のみを装着装置に配置し、制御装置などは、別に設置し、有線又は無線で情報の伝達をする装置とすることが好ましい。
【００３３】
本発明の立体視覚認識用画像は、左右一対の立体視覚認識用の画像（ステレオ画像ともいう。）であって、一方は肉眼観察用の実像で表示され、他方は眼前の表示画面に表示される虚像である。そして、実像画像には、相対位置測定用のマーカを備えていることが好ましい。閲覧者の眼の近くの表示画面近傍に備えられた撮像装置により、実像画像と既知の位置関係にあるマーカを撮像することにより、閲覧者と実像画像との位置関係（相対位置）が測定できる。マーカは、時間的に変化するものでもよいが、相対位置算出の簡略化のためには、常に同じ大きさ、形状としておくことが望ましい。また、このマーカの形状としては、背景とのコントラストがはっきりしていて、変形した場合に判りやすい三角、四角、アルファベットやひらがなのような簡単な文字とすることが好ましい。本発明の立体視覚認識用画像を連続的に表示して動画として認識させるような場合は、全ての立体視覚認識用画像に上記マーカを備えていなくても、一部の立体視覚認識用画像に備えていてもよい。その場合、定期的にマーカを備えた立体視覚認識用画像が、表示されることが好ましい。
【００３４】
本発明の立体画像提示システムは、上述の実像画像と虚像画像の左右一対の立体視覚認識用画像と上述の画像表示装置とを備えている。本発明の画像表示装置は、これだけでは立体画像を閲覧することはできず、閲覧者は、片目で画像表示装置の表示画面を通してステレオ画像の一方（例えば、ステレオ画像（右）の虚像）を観察し、もう一方の肉眼でステレオ画像のもう一方（例えば、ステレオ画像（左）の実像）を観察することにより、立体画像として認識できる。
【００３５】
本発明の立体画像提示方法は、上述の画像表示装置の表示画面を一方の眼前に装着し、装着した表示画面には、画像表示装置により本発明のステレオ画像の一方を虚像として提示する。そして、画像表示装置を装着していない他方の眼には、もう一方のステレオ画像を直接実像として提示することで立体感を認識させる方法である。さらに、閲覧者が立体感を認識しにくい場合は、画像変形手段により、変形した虚像画像を表示画面に表示して、閲覧者が立体感を認識した画像に変形されたときの画像変形情報を画像変形情報選択手段により選択させて、以後は選択された画像変形情報により虚像画像を変形して表示画面に表示する立体画像提示方法である。このように閲覧者に適した画像変形をして画像を表示することにより、閲覧者は、画像表示装置の画像変形情報選択手段により、立体感を認識したときの画像変形情報を一度選択するだけで、閲覧者と実像との相対位置が移動したりすることがなければ、動画のように対になった立体視覚認識用画像が変化しても、そのまま連続して立体画像を認識できる。
【００３６】
さらに、本発明の立体画像提示方法は、上述の立体画像提示方法に、さらに、閲覧者の立体視覚認識用画像閲覧中の肉眼で観察する実像側の立体視覚認識用画像の、閲覧者との相対位置を測定し、相対位置の変化に応じて表示画面中の虚像画像を、自動画像変形手段により、さらに変形した撮像画像を表示画面に表示する方法である。この立体画像提示方法は、立体視覚認識用画像を閲覧中に、閲覧者が実像画像の立体視覚認識用画像に対して相対的に移動しても、立体視覚認識用画像の立体認識を妨げることなく続けることができる。
【００３７】
閲覧者と実像画像との相対位置測定方法としては、実像画像に配置したマーカの相対位置、形状を、表示画面と一体になっている撮像手段により実像画像を撮像し、その画像情報から既知の画像処理方法により、マーカとカメラとの相対位置を算出し、マーカと実像画像との配置を利用することで算出すればよい。撮像手段としては、通常の光学カメラでもよいが、デジタル式の撮像素子が好都合である。光学カメラの画像情報の場合は、特殊なレンズや鏡等により画像変形して比較することができるが、デジタル式の撮像素子の場合、撮像データを電子情報として処理するので画像の比較が非常に容易で、相対位置の測定も容易となる。
【００３８】
本発明において基本となる立体視方法の原理について説明する。この立体視方法は、実像と虚像による立体視法（Mixed Reality StereoVision 法（以後MRSV法という。））であり、閲覧者が一方の眼（閲覧者は画像表示装置（HMDと略称する。）を右眼に装着するものとする。）でHMDの表示画面に表示されている虚像画像を見、もう一方の左眼で現実空間に位置する実像画像を見ることで立体視を行う立体視方法である。MRSV法は、初心者、特に初めての閲覧者にとって立体視において得手不得手がある。不得手な閲覧者の場合、立体像を認識するのに数分も要してしまうことがある。
【００３９】
このことは、実像と実像（通常のステレオ視など）、虚像と虚像（両眼HMDなど）による立体視とは最も異なる箇所である。実像と実像、虚像と虚像による立体視の場合は、輻輳角を調整するだけで立体像を見ることができるのに対し、単純なMRSV法による立体視（実像と虚像による立体視）では、輻輳角の調整のほかに閲覧者の位置を調整しなくてはならないからである。閲覧者は、MRSV法による立体視を、今までの立体視と同様に考えて、輻輳角の調整だけを行うことにより実行しようとすると、立体視できないことになる。
【００４０】
これに対し、立体像を得る２つの方法がある。第一の方法は、閲覧者が自らの身体を移動する方法である。自らの身体を移動した場合、HMDと右眼の相対位置は変化しないが、左眼と現実空間に位置する画像（実像）の相対位置は変化する。そのため、自らの身体を移動することにより、右眼の網膜像は変化せず、左眼の網膜像のみ変化させることができる。その結果、閲覧者がある位置・向きに位置する時に、左右のステレオ画像から対応する点を見つけだすことが容易となり、その視差により立体感を得ることができる。
【００４１】
立体像を得る第二の方法は、自らの身体を移動せず、マウスなどのインターフェイスやあらかじめ記憶させておいた変形パターンなどにより、HMDに表示される画像を変形させることである。HMDに表示される画像を変形させる場合、左眼と現実空間に位置する画像の相対位置は変化しないので、左の網膜像は変化せず、右眼の網膜像のみ変化する。そのため、インターフェイス等により、右の網膜像を形成する虚像を変形することにより、左右の網膜像において対応する点を見つけだすことが容易となり、この対応点から得られる視差により立体感を得ることができる。本発明においては、この方法を利用している。また、第一の方法、第二の方法を融合する方法も可能ではあるが、第一の方法、第二の方法よりも煩雑さを伴うので、説明は省略する。
【００４２】
ここで、従来のステレオ法の代表例である実像、実像の組み合わせの平行法と本発明を含むMRSV法を、図4を用いて比較して立体認識を説明する。図４（上）は通常のステレオ法（平行法）による立体視の方法である。左眼でステレオ画像（左）のみを見、右眼でステレオ画像（右）のみを見る。立体図形が認知されるためには、閲覧者が左右のステレオ画像から対応する点を見つけだし、その視差を測定する必要がある（参考：脳と心のモデル 岩波書店 安西祐一郎ほか）。図４（上）の場合、ステレオ画像（左）の網膜像とステレオ画像（右）の網膜像は左右の網膜でおおよそ同じ位置・大きさに写るので、両眼の視線方向を調節することで容易に対応する点を見つけ出すことができる。すなわち容易に立体認識可能である。
【００４３】
それに対して、図4（下）に描かれているMRSV法では、HMD内の表示画面に表示された虚像であるステレオ画像（右）を右眼でみて、実像であるステレオ画像（左）を左眼で見る。MRSV法の場合、ステレオ画像（左）の網膜像の大きさは、ステレオ画像（左）と閲覧者との距離に依存するが、ステレオ画像（右）の網膜像の大きさは、ステレオ画像（右）と閲覧者との距離に依存しないで、HMDの画像表示の設計条件及び閲覧者とHMDとの距離に依存するだけである。そのため左右の網膜像から対応点を見つけやすくするために、ステレオ画像（左）、（右）の見えの大きさ・位置を同じくする工夫が必要である。上記第一の方法では、閲覧者が自らの身体を移動して、見えの大きさが同じとなる位置を探さねばならない。第二の方法ではインターフェイス等によりステレオ画像（右）の大きさ形状を変形して、見えの大きさが同じとなる形状を探さねばならない。
【００４４】
人間は今まで虚像と実像の立体視を行うために見え方を同じとなる位置・形状を探した経験がないので、このようなことには不得意な人もいる。また、見えを同じとする位置・形状を探すことが得意だとしても、従来のステレオ法（平行法、交差法など）を経験して立体視による像の見え方を経験的に理解していない閲覧者にとっては、「見えが同じ」という現象を知覚すること自体に時間を要したりする。また、従来のステレオ法は左右の眼を同じように利用しているが、MRSV法では左右の眼を同じように用いていない点も不得意な人、得意な人を生む原因と考えられる。
【００４５】
これに対し、本発明の画像表示装置では、「見えが同じ」になる状態（閲覧者が立体感を認識できる実像と虚像における対応点の位置、像の大きさが同じになる状態）を探索することを援助する方法と、探索した見えが同じくなる状態を利用して、以後閲覧者が対応点自動調節して容易にみつけることができるよう援助することができる。
【００４６】
閲覧者が、本発明の立体画像提示システムにおいて立体認識する際の虚像と実像の関係について、図７及び図８によって説明する。図７及び図８は、閲覧者が、左眼で実像であるＲＤＳ画像（左）２００３と、右眼で虚像であるＲＤＳ画像（右）３０１１とを観察している様子を重畳して表している。直線ａ，ｂ，ｃ，ｄは、左眼がＲＤＳ画像（左）２００３を観察する際の画像の４隅に合わせた光路（視線）である。図７は、この光路ａ，ｂ，ｃ，ｄがＲＤＳ画像（右）３０１１の画像の４隅に合っていない。言い換えれば、右眼の視線は、ＲＤＳ画像（右）３０１１の画像の４隅の位置を、左眼が観察しているＲＤＳ画像（左）２００３の４隅に対応する位置(画像)として観察することができない。この場合、通常の閲覧者は、左右両眼で観察した一対のステレオ画像であっても、脳で対応する画像として処理できなくて何を見ているのか判らなくなったり、一体の画像として認識するのに疲労感を覚えたりする。
【００４７】
一方、図８においては、図７と同じように、直線ａ，ｂ，ｃ，ｄは、左眼がＲＤＳ画像（左）２００３を観察する際の画像の４隅に合わせた光路（視線）であり、さらに、この直線ａ，ｂ，ｃ，ｄは、ＲＤＳ画像（右）３０１１の対応する画像の４隅にも合っている。すなわち、左眼で観察している実像と右眼で観察している虚像とに対する視線が、画像の対応点で合わさっている。このときに、両画像の中の同じ位置に同じ形状・大きさの図形、マークがあれば閲覧者は容易にこれらを合成して、ひとつの像として認識する。このような状態で、ＲＤＳ画像（左）２００３とＲＤＳ画像（右）３０１１とが一対の立体視覚認識用画像であれば、閲覧者はこの一対の画像を立体画像として認識ができる。
【００４８】
本発明においては、肉眼観察用の実像と、表示画面から観察する虚像との一対の立体視覚認識用画像に上述のような左右両眼が観察する画像の同じ位置に同じ大きさ・形状の図形、マークを認識できるように準備しておき、立体視覚検出手段として利用するものである。
【００４９】
（第１の実施形態）
本発明の立体画像提示システムを具体化した第１の実施形態について図１〜４を参照しながら説明する。本実施形態では、片方の眼で外界を見ながら、もう一方の眼に立体視するための画像表示装置１００１の画像表示装置本体１００２を装着した立体画像提示システムとして説明する。本実施形態では、左右の視差を考慮したステレオ画像（右）及びステレオ画像（左）を含む立体視覚認識用画像、例えばステレオ画像（右）は画像表示装置１００１に提供する画像、ステレオ画像（左）は立体表示印刷紙に印刷された肉眼観察用画像である。ステレオ画像（右）を、図１に示すような画像表示装置の表示部１００４に表示し、右眼に提示した状態で、ステレオ画像（左）を左眼の肉眼に提示する（図４の下図参照）。
【００５０】
表示部１００４は、小型の液晶ディスプレイや有機ＥＬディスプレイなどの小型軽量なディスプレイ装置が適している。この表示部１００４の表示画面を右眼の眼前に眼の視線方向とほぼ垂直になるように配置する。撮像手段１００５としてのカメラは、撮像面が表示部１００４の表示画面と平行、光軸中心が表示部１００４の表示画面の中心を通る位置に配置されている。カメラ２９で撮影した画像は電子情報として制御部２１に転送される。
【００５１】
そして、画像閲覧者は、このステレオ画像（左）を左眼で観察し、同時に、このステレオ画像（右）の表示画像をもう一方の右眼で観察したときに、右眼で観察したステレオ画像（右）と左眼で観察したステレオ画像（左）との大きさが同じで輻輳角が立体認識できる角度であると、２つの画像を脳内で合成して立体像として観察することができる。
【００５２】
すなわち、本実施形態は、画像表示装置１００１の当初設計により調整されて表示部に表示されたステレオ画像（右）の虚像と肉眼で観察しているステレオ画像（左）とから、これ以上何ら画像表示装置１００１を調整することなく立体認識できる位置になるような立体視覚認識用画像と画像閲覧者との距離であった場合である。このような場合は、本発明の画像表示装置の制御部１００３は何ら機能する必要がない。しかし、右眼で観察したステレオ画像（右）と左眼で観察したステレオ画像（左）との大きさが異なったり輻輳角が立体認識できる角度でなかったりすると、２つの画像を立体認識できず、むしろ画像認識が混乱して生理的な不快感や疲労感を覚えることがある。この場合には、画像表示装置１００１に備えられた変形パターンテーブル中の変形パターンに従って、ステレオ画像（右）を変形する。通常は、図５に示すような変形パターンテーブルに従って、例えば１０秒間隔で変形していく。閲覧者は、画像が立体認識し易い変形パターンで変形された際に画像変形情報選択手段としてのキーボード入力をすれば、以後、同じ変形パターンによりステレオ画像（右）が変形されて、この閲覧者に立体認識ができる画像を提供する。
【００５３】
（第２の実施形態）
本発明の立体画像提示システムを具体化した第２の実施形態を、図１〜図３を用いて説明する。本実施形態では、左眼で外界を見ながら、柔軟に立体視するための立体画像提示システムとして説明する。本実施形態では、1組のステレオ画像のうち、紙に印刷された１枚の画像を左眼にて閲覧しながら、もう一方の画像を本発明の画像表示装置（以後、単眼ヘッドマウントディスプレイ、HMDともいう。）に表示し、それを右眼で閲覧させる。このとき、右眼の網膜像と左眼の網膜像から、対応点をみつけることができれば、立体感を得ることができる。
【００５４】
図１は閲覧者が装着するHMDのブロック図である。ＨＭＤ1001はHMD本体1002、カメラ1005、キーボード1006からなり、HMD本体1002は制御部1003と、これに接続された表示部1004とを備えている。制御部1003は、図示しないＣＰＵ、ＲＡＭ，ＲＯＭ等を備え、後述する処理を行う。そのためのプログラムを実行することにより、制御部1003は、立体知覚状態探索部1003-1、相対位置測定部1003-2、焦点距離測定部1003-3、立体感保持部1003-4、データ記憶部1003-5等として機能する。
【００５５】
立体知覚状態探索部1003-1は、表示対象の画像に射影変換（画像倍率変換、並進変換、回転変換）を施すことにより、表示部1004に表示する画像を変形する画像変形手段の一種である。
【００５６】
相対位置測定部1003-2は、カメラ1005で撮影された画像から、表示部1004の中心を原点として表示部1004の二軸方向と、表示部1004に対する法線ベクトルを3軸とし、表示部１００４と台紙２００２上のマーカ２００４との相対位置（向きも含む）を測定する。
【００５７】
焦点距離測定部1003-3は、立体知覚状態探索部1003-1とキーボード1006により得られた、閲覧者が立体感を知覚している状態において、閲覧者の右眼（HMDを装着している眼）から表示部1004までの相対位置を算出する。
【００５８】
立体感保持部1003-4は、立体知覚状態探索部1003-1と同様に、表示対象の画像に射影変換を施すことにより、表示部1004の表示画面1004-1に表示する画像を調整する。しかし、立体感保持部1003-4は焦点距離測定部1003-3により算出された右眼と表示部1004の距離と、相対位置測定部1003-2により算出された相対位置とに基づいて表示画像の画像変形を行う点が、立体知覚状態探索部1003-1の画像変形とは異なる。
【００５９】
データ記憶部1003-5は、相対位置計測用マーカの種類とその形状1007-1、ステレオ画像（右）1007-2、ステレオ画像（左）1007-3、ステレオ画像（左）と相対位置計測用マーカとの相対位置1007-4、認識されたマーカの種類とその形状1008-1、表示部1004と相対位置計測用マーカとの相対距離1008-2、閲覧者個人の焦点距離1008-3、基準画像表示位置1009-1、変換テーブル1009-2、を記憶している。
【００６０】
相対位置計測用マーカの種類とその形状1007-1は、相対位置測定部1003-2がカメラ1005が撮影した画像から、マーカを探索するのに利用される。
【００６１】
ステレオ画像（右）1007-2とステレオ画像（左）1007-3はあらかじめステレオカメラなどにより撮影されたステレオ視用の画像である。ステレオ画像（左）と相対位置計測用マーカとの相対位置1007-4は、実像提示手段におけるステレオ画像（左）と相対位置計測用マーカとの相対位置である。ステレオ画像（左）と相対位置計測用マーカとの相対位置1007-4により、相対位置測定部1003-2は、表示部1004とステレオ画像（左）との相対位置も測定できる。なお、本実施形態では、ステレオ画像（左）1枚に対してステレオ画像（右）が複数枚存在している。本来、1007-1、1007-2、1007-3、1007-4を一対として、何対も保持している。しかし本実施形態では説明の簡略化のため、一対のみ存在する場合の説明を行う。
【００６２】
認識されたマーカとその形状1008-1は、相対位置測定部1003-2により認識されたマーカとその形状を記憶する。また、相対位置測定部1003-2によりマーカが認識されたときの、表示部1004の中心と相対位置計測用マーカとの相対位置を、表示部1004の中心と相対位置計測用マーカとの相対位置1008-2として記憶する。閲覧者個人の焦点距離1008-3は、焦点距離測定部1003-3により算出された焦点距離を記憶する。なお、焦点距離測定部1003-3は閲覧者がHMDを脱却することを感知して焦点距離1008-3に空データを送る。
【００６３】
基準画像位置1009-1は、表示部1004上の画像座標４つで表現されるものである。この4頂点は、ステレオ画像（右）を表示部1004に表示する際の、表示位置を示している。すなわち、基準画像位置1009＝{(x1,y1),(x2,y2),(x3,y3),(x4,y4)}の場合、ステレオ画像（右）の左上頂点を(x1,y1)、左下頂点を(x2,y2)、右下頂点を(x3,y3)、右上頂点を(x4,y4)の位置になるように、画像を変形して表示することを意味している。また、変換テーブル1009-2は、基準画像位置1009-1の4頂点のデータを変換するテーブルである。
【００６４】
表示部1004は、ディスプレイ装置であり、制御部1003で処理された出力情報を表示する。また、制御部1003は、撮像手段としてのカメラ（ビデオカメラ）1005に接続されている。カメラ1005は、相対位置測定部1003-2に画像を転送するために備え付けられており、相対位置測定部1003-2はカメラ100５の撮像した画像内に、データ記憶部1003-5に記憶されている相対位置計測用のマーカ1007-1を発見すると、カメラ1005から相対位置計測用のマーカの大きさ1007-1を利用して、相対位置計測用マーカまでの相対位置を測定する。カメラ1005は撮像面が表示部1004と平行、光軸中心が表示部1004の中心を通る位置に配置されていることが理想的ではあるが、撮像面と表示部の位置関係が既知であればこの限りではない。
【００６５】
カメラ1005で撮影した画像は制御部1003に転送される。また、表示部1004はピクセルサイズ640x480で表示座標系を保有しており、表示座標系は、表示部1004の中心を原点とし、横方向をX軸、縦方向をY軸、表示部1004と垂直方向をZ軸とした座標系である。
【００６６】
制御部1003は、キーボード1006と接続している。キーボード1006は、閲覧者が入力した文字もしくは文字列を制御部1003に伝達するために用いられる。キーボード1006は、図５に示すような、変形パターンテーブル中の変形パターンを選択するための変形パターン選択手段として機能する。すなわち、閲覧者が立体的に知覚できた状態のときを、キーボード1006を利用して入力することにより、閲覧者が立体知覚状態にあることをシステム側に通知する。本実施形態では、変形パターン選択手段としてキーボードを示したが、そのほかには、スイッチ、音声認識を伴ったマイク、ディスプレイを伴ったマウス、脳の特定部位の血流反応を検出することにより代替する手段等が挙げられる。
【００６７】
図２は、閲覧者が立体視を行うために必要なシステムの画像閲覧の説明図である。HMD2001は、図１で説明したHMD1001と同一のものを表す。台紙2002はRDS画像（左）2003と相対位置計測用マーカ2004の位置関係を固定するために用いられる。台紙2002を作成する際には、データ記憶部1003-5に記憶されているデータ対を用いる。すなわち、ステレオ画像（左）1007-3を台紙2002の適当な位置に配置する。そして、ステレオ画像（左）と相対位置計測用マーカの相対位置1007-4と合致するように、相対位置計測用マーカを台紙2002に配置する。本実施形態では、台紙2002に貼り付けたステレオ画像（左）1007-3をRDS画像2003、相対位置計測用マーカ1007-1を相対位置計測用マーカ2004として扱っていく。
【００６８】
ステレオ画像は、ランダムドットステレオグラムを用いて作られた左眼用の画像RDS（左）及び右眼用の画像RDS（右）である。ランダムドットステレオグラムは、ステレオ画像の一種であり、RDS画像（右）を右眼で、RDS画像（左）を左眼でステレオ視する（左右の眼で左右それぞれの画像のみを同時に見る。）と文字や図柄が飛び出して立体的に見えるものである。RDS画像（右、もしくは左）1枚のみを見た場合は、単なるドットパターンとしか知覚することができない。そのため、ステレオ視した場合にどのような文字や図柄が飛び出して見えるかは片方のRDS画像だけからは判断できない。
【００６９】
相対位置計測用マーカ2004は、カメラ1007で撮影された画像（映像）から相対位置を測定するために用いられる。相対位置計測用マーカとしては、ARToolKitに利用されているもの(H.Kato and M.Billinghurst: "Marker Tracking and HMD Calibration for a video-based Augmented Reality Conferencing System", Proc. the 2nd IEEE and ACM International Workshop on Augmented Reality(IWAR1999))、CyberCodeに利用されているもの（J.Rekimoto and Y. Ayatsuka: "CyberCode: Designing augmented reality environments with visual tags", Proc. Designing Augmented Reality Environments(DARE)(2000)）などを利用するとよい。なお、相対位置測定部1003-2による相対位置の算出方法の詳細は、これらの文献に記載されている。
【００７０】
次に、図3のフローチャートを用いて、本実施形態の動作を説明する。本実施形態の動作においては、閲覧者に立体知覚を与えるまでの部分（F3001-F3005）と、MRSV法により閲覧者に常に立体知覚を与え続ける部分（F3006、F3007）に分けられる。
【００７１】
１．閲覧者に立体知覚を与える（F3001-F3005）
まず、閲覧者はHMD2001を右眼に着用する（F3001）。そして、閲覧者がRDS画像（左）2003の方を向く。するとカメラ1005で撮影された画像にRDS画像（左）2003だけでなく、相対位置計測用マーカ2004が含まれることになる。この画像を用いて相対位置測定部1003-2が相対位置計測用マーカを検出する。検出した相対位置計測用マーカをデータ記憶部1003-5の認識されているマーカの種類とその形状1008-1に記憶し、加えて相対位置計測用マーカ2004と表示部1004の中心との相対位置を表示部の中心と相対位置計測用マーカとの相対位置1008-2に記憶する（F3002 ）。以後一定時間間隔で、相対位置測定部1003-2は相対位置を測定し、データ記憶部1003-5に含まれる、認識されているマーカの種類とその形状1008-1と、表示部の中心と相対位置計測用マーカとの相対位置1008-2を更新し続ける。なお、相対位置測定部1003-2が相対位置を計測できない場合は認識されているマーカの種類とその形状1008-1に測定不能マーカを送る。
【００７２】
立体知覚状態探索部1003-1は、認識されているマーカの種類とその形状1008-1が相対位置計測用マーカの種類とその形状1007-1のデータと等しいことを確認し、表示部の中心と相対位置計測用マーカとの相対位置1008-2に基づいて、基準画像表示位置1009-１を決定する。基準画像表示位置1009-１は、表示部の中心と相対位置計測用マーカとの相対位置1008-2から後述するような方法を用いて算出される。相対位置測定部1003-2は一定時間間隔で、表示部の中心と相対位置計測用マーカとの相対位置1008-2を更新するので、基準画像表示位置1009-１もその都度更新される。しかし、本実施形態では説明の簡略化のため、閲覧者はステップF3006に至るまで、この相対位置は一定であると仮定する。すなわち、相対位置測定部1003-2から得られる相対位置は常に一定とし、基準画像表示位置1009-1は不変とする。
【００７３】
なお、本実施形態における基準画像表示位置1009-1は、画像を表示する4頂点の座標を羅列したもので、
基準画像表示位置1009-1＝{ (-100,100,1),(-100,-100,1),(100,-100,1),(100,100,1) }
とする。
【００７４】
基準画像表示位置を求める方法
本発明の画像表示装置を左眼に装着した第１の閲覧者が、両目でＲＤＳ画像を閲覧しながら、マウスなどのインターフェイスを用いて表示部1004に表示されている画像を変形して、又はあらかじめ変形パターンテーブル等により記憶させておいた画像変形パターンにより変形して、左右両目で閲覧している画像を立体視できる状態になったときの形状とその相対位置を登録させ記録する。この登録操作を複数人に対して行い、平均的な人物が立体視できる状態の形状とその相対位置を算出し、それを初期表示画像サイズ・基準画像表示位置として記録する。すなわち、相対位置を入力とした、表示サイズ・位置を求める関数を作成する。この関数により算出される表示サイズ、位置は、平均的な表示サイズ、位置であり、万人がその表示サイズと位置で立体視できることを保障するものではない。しかし、万人がその表示サイズと位置に非常に近いサイズと位置で立体視できることは保障される。
【００７５】
立体知覚状態探索部1003-１は、データ記憶部1003-5にある、認識されているマーカの種類とその形状1008-1にデータが存在し、且つ閲覧者個人の焦点距離1008-3にデータが存在しない場合、次の動作を行う。変換テーブル1009-2を読み込む。変換テーブル1009-2は、図５に示すような、経過時間ごとの表示画像、RDS画像（右）と、RDS画像（右）を表示部1004に表示する際の基準画像表示位置1009-1に対する並進移動量、回転移動量、画像倍率を保持するテーブル1009-2である。また、図5の画像名は、RDS画像（右）の変形後の画像の種類を表す。RDS画像（右）3011と RDS画像（左）2003の関係は、RDS画像（左）の網膜像とRDS画像（右）の網膜像から対応点をみつけることができた場合、文字3012が立体的に見えるような関係を持ち、RDS画像（右）3013と RDS画像（左）2003の関係は、RDS画像（左）の網膜像とRDS画像（右）の網膜像から対応点をみつけることができた場合、文字3014が立体的に見えるような関係である。同様に、RDS画像（右）3015、RDS画像（右）3017、RDS画像（右）3019はそれぞれ文字3016、文字3018、文字3020が立体的に見える画像となっている。一般的に文字3012、文字3014、文字3016、文字3018、文字3020は異なる文字が好ましい。
【００７６】
立体知覚状態探索部1003-1は、データ記憶部1003-5を常に又は定期的に監視しており、"認識されているマーカの種類とその形状1008-1にデータが存在し、且つ閲覧者個人の焦点距離1008-3にデータが存在しない状態に変化したときの経過時間を０秒として次の動作を始める。
【００７７】
経過時間に応じて、変換テーブル1009-2を利用して基準画像表示位置1009-１から、表示画像位置を決定する。すなわち、RDS画像（右）を表示部1004のどの位置にどのように変形して表示するかを決定する。そして、表示部1004に表示画像位置に応じて、RDS画像（右）を表示するよう指示する。図９は、
表示画像位置{ (-100,100),(-100,-100),(100,-100),(100,100) }にRDS画像（右）3011を表示部1004に表示した例である。
【００７８】
表示画像位置の算出法
基準画像表示位置{ (x1,y1,z1),(x2,y2,z2),(x3,y3,z3),(x4,y4,z4) } に対してそれぞれ次の操作を行う。
【００７９】
（１）まず、基準画像中心座標(Ox,Oy)を求める。
基準画像中心座標とは、4頂点の座標の平均値である。すなわち、
Ox = 0.25*(x1+x2+x3+x4),
Oy = 0.25*(y1+y2+y3+y4),
Oz = 0
基準画像表示位置1009-1の場合(0,0,1)である。
【００８０】
（２）倍率を乗算する。
基準画像中心座標から各点までの長さに対して倍率をかける。倍率をαとすると、
x1' = α * (x1-Ox) + Ox,
y1' = α * (y1-Oy) + Oy
z1' = α * (z1-Oz) + Oz
として{(x1',y1'),(x2',y2'),(x3',y3'),(x4',y4')}と置き換える。
【００８１】
（３）平行移動を行う。
平行移動量を(Tx,Ty,Tz)とすると、
x1'' = x1' + Tx,
y1'' = y1' + Ty,
z1'' = z1' + Tzとなる。
【００８２】
（４）回転移動を行う。
回転軸(Vx,Vy,Vz)に対してβ度回転する回転行列Rを算出し、
(x1''',y1''',z1''')T = R( x1'',y1'',z1'')T
とする(左式でのTは転置を表す。)。
【００８３】
５．各3次元ベクトルをZの項で割り算する。
{ ( x1''' / z1''', y1'''/ z1'''), (x2''' / z2''' , y2'''/z2'''), (x3''' / z3''' , y3''' / z3''') , ( x4''' / z4''' , y4''' / z4''' ) }
が、RDS画像（右）を引き伸ばして貼り付けを行う4頂点である。
【００８４】
経過時間ごとにRDS画像（右）と表示画像位置を用いて、異なる表示が行われる。閲覧者はその表示画像を見ながら、立体的に知覚できた文字をキーボード1006を用いて入力する(F3005)。もし入力された文字と文字3012が一致した場合、そのときの経過時間と基準画像位置、相対位置を焦点距離測定部1003-3に渡す。
【００８５】
一致しなかった場合、もしくは制限時間(例えば10秒)内に閲覧者が文字入力を行わなかった場合は、経過時間ごとにRDS画像（右）と表示画像位置を用いて、異なる表示を繰り返す。閲覧者が立体感を得たときの経過時間と基準画像位置、相対位置を焦点距離測定部1003-3に渡すまで続ける。
【００８６】
２．MRSV法により閲覧者に常に立体知覚を与え続ける方法（F3006,F3007)
上記基準画像位置、相対位置を経過時間１５秒時に確定した場合の例として説明する。焦点距離測定部1003-3により、経過時間、基準画像位置、相対位置を用いて、HMD1001と右眼の位置関係を測定する（F3006）。HMD1001を着用した右眼の視線方向は表示部1006の法線方向と平行とし、左眼の視線方向はRDS画像（左）2003の法線方向と平行であるとしている。このとき、RDS画像（右）、RDS画像（左）、閲覧者の眼の関係は図８のように位置関係を描画することができる。図８のような位置関係を描画するために、HMD1001とRDS画像（左）2003の相対位置、ステレオ画像（左）と相対位置計測用マーカの位置関係 1007-4、RDS画像（右）の物理的な大きさ・位置には、基準画像位置と、表示部1004の物理的サイズ、各画素の物理的サイズを利用している。なお、図８では、右眼がRDS画像（右）3013を見た様子と、左眼がRDS画像（左）2003を見た様子を重畳して描画している、すなわち右眼と左眼を一つとして扱っていることに注意する。
【００８７】
図８の位置関係において、閲覧者はRDS画像（右）とRDS画像（左）により立体視が可能であることから、RDS画像（右）の左上頂点と、RDS画像（左）の左上頂点を結んだ直線は、眼の焦点を通るとみなすことができる。同様に、左下頂点、右下頂点、右上頂点にも同様のことが言える。よって4本の直線が交わる頂点が眼の焦点位置となる。眼の焦点と表示画面1004−１との距離を計測し、閲覧者個人の焦点距離1008-3としてデータ記憶部1013-5に記憶する。
【００８８】
自動ＲＤＳ画像補整（F3007）
立体感保持部1003-4の働きを示すことにより、閲覧者が意識することなくMRSV法による立体像を観察する方法を示す。前記閲覧者に立体知覚を与える方法では、閲覧者個人の焦点距離1008-3を算出するために、閲覧者はRDS画像から立体的に見えた文字をキーボード1006等を用いて入力しなければならなかった。しかし一度、閲覧者個人の焦点距離1008-3を算出することができれば、以後は、閲覧者は意識することなく、立体感を得続けることができる。立体感保持部1003-4はデータ記憶部1003-5に、閲覧者個人の焦点距離1008-3が記憶されている場合に動作を開始する。なお、前述のように、立体知覚状態探索部1004は、認識されているマーカの種類とその形状1008-1にデータが存在し、且つ閲覧者個人の焦点距離1008-3にデータが存在しないという条件を満たさないときは、動作しない。
【００８９】
立体感保持部1003-4は、データ記憶部1003-5に記憶されている、表示部の中心と相対位置計測用マーカとの位置関係1008-2を利用して、表示部1004と、RDS画像（左）2003の相対位置を決定する。そして、F3006で算出した、閲覧者個人の焦点距離1008-3より、焦点と表示部1004の位置関係も記述することができる。この位置関係を利用することにより、RDS画像（左）2003を表示部1004に投影した四辺形4002を算出することができ、四辺形4002の位置・大きさに合わせて、RDS画像（右）3013を表示する。
【００９０】
本実施形態では、本発明の特徴である、立体知覚状態探索部1003-1の詳細を記述するために、ステレオ画像として、RDS画像（右）3013とRDS画像（左）2003を用いた。そしてそれに対応する相対位置計測用マーカの種類とその形状1007-1、ステレオ画像（右）1007-2、ステレオ画像（左）1007-3、ステレオ画像（左）と相対位置計測用マーカの相対位置1007-4に関して説明を行った。これらの相対位置計測用マーカ、それに対応するステレオ画像（左）、ステレオ画像（右）、ステレオ画像（左）と相対位置計測用マーカの位置関係の組み合わせを、データ記憶部1003-5に複数組記憶しておいてもよい。その場合、認識されているマーカ1008-1を検索キーとして、対応する相対位置計測用マーカの種類とその形状1007-1を検索し、認識されたマーカ1008-1に応じたステレオ画像（右）とその表示位置に表示することができる。
【００９１】
また、本実施形態では、台紙2002を用いたが、台紙2002の代わりに、液晶ディスプレイのような、容易に表示内容を変更できるような表示装置を用いても良い。
【００９２】
更に、立体知覚状態探索部1003-1、立体感保持部1003-4で表示部100４の表示画面１００４−１に表示するデータを算出したが、台紙2002の代わりに液晶ディスプレイを用いた場合、立体知覚状態探索部1003-1、立体感保持部1003-4が表示部1006の表示画面１００４−１の代わりに液晶ディスプレイに表示するデータを同様の方法で算出し、液晶ディスプレイに表示を指示しても良い。
【図面の簡単な説明】
【００９３】
【図１】画像表示装置のブロック図
【図２】画像閲覧の説明図
【図３】画像変形のフローチャート
【図４】立体認識の説明図
【図５】変形パターンテーブル
【図６】表示画面における立体認識用画像
【図７】立体認識のしづらい状態
【図８】立体認識のし易い状態
【図９】表示画面における立体認識用画像
【符号の説明】
【００９４】
１００１：画像表示装置（略称ＨＭＤ）
１００２：画像表示装置本体
１００３：制御部
１００３−１：立体知覚状態探索部
１００３−２：相対位置測定部
１００３−３：焦点距離測定部
１００３−４：立体感保持部
１００３−５：データ記憶部
１００４：表示部
１００４−１：表示画面
１００５：カメラ
１００６：キーボード
１００７−１：相対位置計測用マーカの種類とその形状
１００７−２：ステレオ画像（右）
１００７−３：ステレオ画像（左）
１００７−４：ステレオ画像（左）と相対位置計測用マーカとの相対位置
１００８−１：認識されているマーカの種類とその形状
１００８−２：表示部の中心と相対位置計測用マーカとの相対位置
１００８−３：閲覧者の目の焦点距離
１００９−１：基準表示画像位置
１００９−２：変換テーブル
２００１：画像表示装置
２００２：台紙
２００３，３０１３：ＲＤＳ画像（左）
２００４：相対位置計測用マーカ
３０１１：ＲＤＳ画像（右）
【特許請求の範囲】
【請求項１】
閲覧者の一方の眼に肉眼観察用の実像画像を観察させ、他方の眼に虚像画像を観察させて立体画像を認識させる立体画像提示システムに使用する虚像画像観察用の画像表示装置であって、
片方の眼前に配置する虚像画像観察用の表示画面と、
表示画面に表示された画像を変形する画像変形手段と、
閲覧者が画像変形手段により変形された変形画像に対応する画像変形情報を選択するための画像変形情報選択手段と
を備えた画像表示装置。
【請求項２】
前記画像変形手段には、画像倍率、画像の並進移動量及び画像の回転移動量のうち少なくともひとつの変形要素を含む請求項１に記載の画像表示装置。
【請求項３】
前記画像変形手段は、画像を変形するための変形パターンを有する変形パターンテーブルを備えた請求項１又は２に記載の画像表示装置。
【請求項４】
前記変形パターンテーブル中の変形パターンを変更する変更手段を備えた請求項１乃至３のいずれか一項に記載の画像表示装置。
【請求項５】
前記画像変形手段は、閲覧者により選択された変形パターンを記憶する記憶手段と、
記憶手段により記憶された複数の変形パターンから合成変形パターンを作成する合成変形パターン作成手段とを有する請求項１乃至４のいずれか一項に記載の画像表示装置。
【請求項６】
前記変形パターン選択手段は、少なくともキーボード、マウス又、スイッチ、音声認識手段、脳波測定手段及び血流変化測定手段のいずれかを含む請求項１乃至５のいずれか一項に記載の画像表示装置。
【請求項７】
前記実像画像と表示画面を装着した閲覧者との相対位置を測定する相対位置測定手段と、
前記相対位置に応じて表示画面中の画像を変形する自動画像変形手段と
を備えた請求項１乃至６のいずれか一項に記載の画像表示装置。
【請求項８】
閲覧者の片方の眼前に表示画面を装着するための装着装置を備えた請求項１乃至７のいずれか一項に記載の画像表示装置。
【請求項９】
一方は、肉眼観察用の実像画像であり、他方は、眼前の表示画面から観察する虚像画像である左右一対の立体視覚認識用画像。
【請求項１０】
肉眼観察用の実像画像に相対位置測定用のマーカを備えた請求項９に記載の立体視覚認識用画像。
【請求項１１】
請求項１乃至８のいずれか一項に記載の画像表示装置と、請求項９又は１０に記載の立体視覚認識用画像とを備えた立体画像提示システム。
【請求項１２】
請求項１乃至８のいずれか一項に記載の画像表示装置の表示画面を一方の眼前に装着し、装着した表示画面には、請求項９又は１０に記載の立体視覚認識用画像の虚像画像を提示し、表示画面を装着していない他方の眼には、請求項９又は１０に記載の立体視覚認識用画像の前記虚像画像と対になる実像画像を提示することにより立体感を認識させる立体画像提示方法であって、
画像変形手段により、変形した虚像画像を表示画面に表示して、閲覧者が立体感を認識した画像に変形されたときの画像変形情報を画像変形情報選択手段により選択させて、
以後、選択された画像変形情報により虚像画像を変形して表示画面に表示する立体画像提示方法。
【請求項１３】
請求項７又は８に記載の画像表示装置の表示画面を一方の眼前に装着し、装着した表示画面には、請求項９又は１０に記載の立体視覚認識用画像の虚像画像を提示し、表示画面を装着していない他方の眼には、請求項９又は１０に記載の立体視覚認識用画像の実像画像を提示することにより立体感を認識させる立体画像提示方法であって、
閲覧者に最初に立体視覚認識用画像を提示する際に、画像変形手段により変形した虚像画像を表示画面に表示して、閲覧者が立体感を認識した画像に変形されたときの画像変形情報を画像変形情報選択手段により選択させて、
以後、選択された画像変形情報により虚像画像を変形して表示画面に表示し、
実像画像と立体視覚認識用画像閲覧中の閲覧者との相対位置を相対位置測定手段により測定し、
実像画像と立体視覚認識用画像閲覧中の閲覧者との相対位置の変化に応じて表示画面中の画像を、自動画像変形手段によりさらに変形した虚像画像を表示画面に表示する立体画像提示方法。
【請求項１】
閲覧者の一方の眼に肉眼観察用の実像画像を観察させ、他方の眼に虚像画像を観察させて立体画像を認識させる立体画像提示システムに使用する虚像画像観察用の画像表示装置であって、
片方の眼前に配置する虚像画像観察用の表示画面と、
表示画面に表示された画像を変形する画像変形手段と、
閲覧者が画像変形手段により変形された変形画像に対応する画像変形情報を選択するための画像変形情報選択手段と
を備えた画像表示装置。
【請求項２】
前記画像変形手段には、画像倍率、画像の並進移動量及び画像の回転移動量のうち少なくともひとつの変形要素を含む請求項１に記載の画像表示装置。
【請求項３】
前記画像変形手段は、画像を変形するための変形パターンを有する変形パターンテーブルを備えた請求項１又は２に記載の画像表示装置。
【請求項４】
前記変形パターンテーブル中の変形パターンを変更する変更手段を備えた請求項１乃至３のいずれか一項に記載の画像表示装置。
【請求項５】
前記画像変形手段は、閲覧者により選択された変形パターンを記憶する記憶手段と、
記憶手段により記憶された複数の変形パターンから合成変形パターンを作成する合成変形パターン作成手段とを有する請求項１乃至４のいずれか一項に記載の画像表示装置。
【請求項６】
前記変形パターン選択手段は、少なくともキーボード、マウス又、スイッチ、音声認識手段、脳波測定手段及び血流変化測定手段のいずれかを含む請求項１乃至５のいずれか一項に記載の画像表示装置。
【請求項７】
前記実像画像と表示画面を装着した閲覧者との相対位置を測定する相対位置測定手段と、
前記相対位置に応じて表示画面中の画像を変形する自動画像変形手段と
を備えた請求項１乃至６のいずれか一項に記載の画像表示装置。
【請求項８】
閲覧者の片方の眼前に表示画面を装着するための装着装置を備えた請求項１乃至７のいずれか一項に記載の画像表示装置。
【請求項９】
一方は、肉眼観察用の実像画像であり、他方は、眼前の表示画面から観察する虚像画像である左右一対の立体視覚認識用画像。
【請求項１０】
肉眼観察用の実像画像に相対位置測定用のマーカを備えた請求項９に記載の立体視覚認識用画像。
【請求項１１】
請求項１乃至８のいずれか一項に記載の画像表示装置と、請求項９又は１０に記載の立体視覚認識用画像とを備えた立体画像提示システム。
【請求項１２】
請求項１乃至８のいずれか一項に記載の画像表示装置の表示画面を一方の眼前に装着し、装着した表示画面には、請求項９又は１０に記載の立体視覚認識用画像の虚像画像を提示し、表示画面を装着していない他方の眼には、請求項９又は１０に記載の立体視覚認識用画像の前記虚像画像と対になる実像画像を提示することにより立体感を認識させる立体画像提示方法であって、
画像変形手段により、変形した虚像画像を表示画面に表示して、閲覧者が立体感を認識した画像に変形されたときの画像変形情報を画像変形情報選択手段により選択させて、
以後、選択された画像変形情報により虚像画像を変形して表示画面に表示する立体画像提示方法。
【請求項１３】
請求項７又は８に記載の画像表示装置の表示画面を一方の眼前に装着し、装着した表示画面には、請求項９又は１０に記載の立体視覚認識用画像の虚像画像を提示し、表示画面を装着していない他方の眼には、請求項９又は１０に記載の立体視覚認識用画像の実像画像を提示することにより立体感を認識させる立体画像提示方法であって、
閲覧者に最初に立体視覚認識用画像を提示する際に、画像変形手段により変形した虚像画像を表示画面に表示して、閲覧者が立体感を認識した画像に変形されたときの画像変形情報を画像変形情報選択手段により選択させて、
以後、選択された画像変形情報により虚像画像を変形して表示画面に表示し、
実像画像と立体視覚認識用画像閲覧中の閲覧者との相対位置を相対位置測定手段により測定し、
実像画像と立体視覚認識用画像閲覧中の閲覧者との相対位置の変化に応じて表示画面中の画像を、自動画像変形手段によりさらに変形した虚像画像を表示画面に表示する立体画像提示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００８−１１８５７４（Ｐ２００８−１１８５７４Ａ）
【公開日】平成２０年５月２２日（２００８．５．２２）
【国際特許分類】
【出願番号】特願２００６−３０２１４０（Ｐ２００６−３０２１４０）
【出願日】平成１８年１１月７日（２００６．１１．７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２０年５月２２日（２００８．５．２２）
【国際特許分類】
【出願日】平成１８年１１月７日（２００６．１１．７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]