情報処理装置及び情報処理方法
【課題】 現実空間もしくは仮想空間における任意視点の画像情報を処理する情報処理装置において、当該画像情報に対して生じる知覚の差異を、簡易な方法により解消する。
【解決手段】 表示装置に表示するＭＲ画像を生成する情報処理装置であって、前記生成されたＭＲ画像を複数の領域に分割する手段（４０２）と、前記分割された複数の領域のうちの１つに、または複数の領域それぞれに、重畳するパターン画像を生成する手段（４０３）と、前記生成されたパターン画像を、前記複数の領域のうちの１つに、または複数の領域それぞれに重畳する手段（４０４）と、前記パターン画像が重畳されたＭＲ画像を前記表示装置に出力する手段とを備える。
【解決手段】 表示装置に表示するＭＲ画像を生成する情報処理装置であって、前記生成されたＭＲ画像を複数の領域に分割する手段（４０２）と、前記分割された複数の領域のうちの１つに、または複数の領域それぞれに、重畳するパターン画像を生成する手段（４０３）と、前記生成されたパターン画像を、前記複数の領域のうちの１つに、または複数の領域それぞれに重畳する手段（４０４）と、前記パターン画像が重畳されたＭＲ画像を前記表示装置に出力する手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
現実空間もしくは仮想空間における任意視点の画像情報を処理する情報処理装置における情報処理技術に関する。
【背景技術】
【０００２】
従来より、ヒトの視覚等に与える刺激を制御することで、本来の状態とは異なる知覚を生じさせることができることが知られている。
【０００３】
コンピュータグラフィック（以後ＣＧとする）等の技術は、ヒトの空間知覚特性を考慮することで、２次元の平面上に描画された仮想の物体を、あたかも３次元的に存在しているかのように表示する技術である。ＣＧの場合、仮想の物体の影や重なり、きめの勾配といった３次元的手がかり（奥行き手がかり）を制御することで、本来の状態（２次元）とは異なる知覚（３次元の物体という知覚）を生じさせている。
【０００４】
また、ＣＧ以外でも、ランダムドットステレオグラムや、両眼立体視を用いた立体感表示等の技術が、同様の技術として知られている。
【０００５】
これらの技術を応用したシステムとして、複合現実感システム（以下、ＭＲシステム）が挙げられる。ＭＲシステムとは、当該技術を用いて現実空間映像が示す視点の位置・方向等に対応した仮想空間映像を生成し、それらを合成することにより、現実空間映像と仮想空間映像の合成映像をユーザに表示するシステムである。
【０００６】
ＭＲシステムによれば、ユーザは、現実空間中に仮想物体が実在しているかのように知覚することができる。ＭＲシステムの場合、仮想空間映像を現実空間映像に合成する構成となっているため、従来の仮想現実感システム（ＶＲシステム）に比べて、よりリアルに、実寸感覚を伴った観察できるという利点がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０９−２６９７２３号公報
【特許文献２】特開２００６−０６９５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、ＭＲシステム等のように現実空間映像と仮想空間映像とを合成して表示するシステムの場合、現実空間映像が示す視点の位置・方向と同じ位置・方向から見ているように仮想空間映像を生成したとしても、奥行き知覚には差異が生じてしまう。
【０００９】
つまり、現実空間と仮想空間の視点の位置及び方向が同じになるように、整合性をとった仮想物体からなる仮想空間映像を生成したとしても、現実空間映像と合成すると、奥行き知覚に差異が生じることとなる。このような現象が生じる原因としては、大きくわけて以下の２つが考えられる。
（１）奥行き手がかりの違いによるもの
第１の原因として、同じ奥行きの物体（オブジェクト）に対して、異なる奥行き手がかりが表示されていることが挙げられる。
【００１０】
一般に、ＭＲシステムの場合、現実空間映像が示す視点に基づいて仮想物体のレンダリングを行い仮想空間映像を生成するため、形状については仮想物体と現実物体との間で高い整合性を維持することができる。しかし、彩度や鮮明度については、仮想物体と現実物体との間で整合性を保つことができない。この結果、奥行き知覚に差異が生じることとなる。以下に更に詳説する。
【００１１】
（ａ）現実空間映像と仮想空間映像との彩度の不整合に起因する奥行き知覚の差異
通常、ビデオなどで撮影した現実空間映像とＣＧによって生成された仮想空間映像とでは画像生成手段が異なるため彩度が異なる。ヒトの奥行き知覚特性は、彩度が高いものほど近く、低いものほど遠くに知覚される傾向があるが、一般にＣＧよりもビデオなどによる現実空間映像の方が彩度が低い。このため、同一距離に存在する仮想物体と現実物体とでは仮想物体の方が近くに知覚されることとなる。
【００１２】
（ｂ）現実空間映像と仮想空間映像との鮮明度の不整合に起因する奥行き知覚の差異
一般に、ヒトの奥行き知覚特性は、エッジが鮮明なものほど近く、ボケ量が多いものほど遠くに知覚される傾向がある。仮想空間映像と現実空間映像とでは、仮想空間映像の方がエッジが鮮明であるため、同一距離に存在する仮想物体と現実物体とでは、通常、仮想物体の方が近くに知覚されることとなる。
【００１３】
なお、ここでは、ＭＲシステムを例に説明したが、このような奥行き知覚の差異は、ＭＲシステムに限らず、通常の仮想空間映像生成システム（以下、ＣＧシステム）やビデオカメラなどの現実空間映像生成システムの場合にも当てはまる。
（２）奥行き手がかりの欠落によるもの
第２の原因として、奥行き手がかりが欠落していることが挙げられる。具体例として、ＭＲシステムやＣＧシステムにおいて、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）や立体視用眼鏡などを用いて３次元画像をユーザに体験させるシステムについて説明する。このようなシステムでは、ヒトが奥行きを知覚するために必要な奥行き手がかり自体が欠落しているため、現実空間映像と仮想空間映像とで奥行き知覚に差異が生じることとなる。なお、ここでいう奥行き手がかりとは、輻輳情報や焦点調節情報等を指す。
【００１４】
（ａ）輻輳情報の欠落に起因する奥行き知覚の差異
ヒトが取得する奥行き手がかりとして眼球の輻輳情報がある。一般に、ヒトは近くを見るときには外眼筋を働かせて眼球を内側に向け、注視対象が両眼の網膜中心付近にくるように調節する。そして、その際の外眼筋の活動量を奥行き手がかりとして取得している。
【００１５】
しかし、ビデオカメラのように撮影者の注視情報をもとに撮像装置の位置・方向を変更することが困難な装置の場合、この輻輳情報を加味した画像情報を生成することができない。つまり、生成される画像情報には、輻輳情報という奥行き手がかりが欠落しており、このため、奥行き知覚に差異が生じることとなる。
【００１６】
（ｂ）焦点調節情報の欠落に起因する奥行き知覚の差異
ヒトが取得する奥行き手がかりとして焦点調節情報がある。一般に、ヒトがある対象を観察するとき、その距離に応じて毛様体を活動させ水晶体の厚みをコントロールすることで、焦点を合わせる。そして、その際の毛様体の活動量を奥行き手がかりとして取得している。
【００１７】
しかし、観察者が表示装置の表示面を通して対象を観察する場合、焦点はその表示面となる。つまり、表示面に表示された対象には、焦点調節情報という奥行き手がかり自体が欠落しており、このため奥行き知覚に差異が生じることとなる。
【００１８】
ここで、上述のような奥行き知覚の差異を解消するための方法として、上述したような奥行き手がかりを考慮に入れて仮想空間映像と現実空間映像との間で整合性をとるように構成することが考えられる。
【００１９】
しかしながら、このような方法の場合、現実空間映像を画像解析し、現実空間上の照明条件やヒトの焦点調節情報等を取得して、形状や彩度、鮮明度を補正する必要がある。
【００２０】
また、表示装置の輻輳角を変更可能にし、ヒトの眼球状態を計測した値に基づいて表示装置の輻輳角を変更する構成にする必要がある。あるいは、ヒトの毛様体の活動量を計測する装置を配し、計測された情報に基づいてレンズの調節を行う構成とするか、表示装置の位置を変更可能にし、ヒトの毛様体の活動量に基づいて、表示装置の位置を制御する構成とする必要がある。
【００２１】
しかしながら、このような構成とした場合、システムの大型化が不可避であり、コストもかかるという問題がある。また、処理時間が増大するため、リアルタイムで処理を行う必要のあるシステムには適用できないという問題もある。更に、仮想空間映像と現実空間映像との間で整合性をとった場合、特定の位置・方向から見た場合の奥行き知覚の差異は解消するが、異なる位置・方向から見た場合の形状（形及び大きさ）の整合性が損なわれてしまうという問題もある。
【００２２】
このため、奥行き手がかりの違いや欠落等に起因して生じる奥行き知覚の差異等、現実空間もしくは仮想空間における任意視点の画像情報において生じる知覚の差異を、簡易な方法により解消できるようにすることが望まれている。
【００２３】
本発明は上記課題に鑑みてなされたものであり、現実空間もしくは仮想空間における任意視点の画像情報を処理する情報処理装置において、当該画像情報に対して生じる知覚の差異を、簡易な方法により解消することを目的とする。
【課題を解決するための手段】
【００２４】
上記の目的を達成するために本発明に係る情報処理装置は以下のような構成を備える。即ち、
表示装置に表示する表示画像を生成する情報処理装置であって、
前記表示画像に表示されるオブジェクトまでの距離を取得する取得手段と、
前記取得された距離に基づいて、前記表示画像を複数の領域に分割する分割手段と、
前記分割手段により分割された領域のうちの少なくとも１つの領域に、重畳するパターン画像を、前記取得手段により取得された距離に基づいて、生成する生成手段と、
前記生成されたパターン画像を、前記複数の領域のうちの少なくとも１つに、重畳する重畳手段と、
前記パターン画像が重畳された表示画像を前記表示装置に出力する出力手段とを備える。
【発明の効果】
【００２５】
本発明によれば、現実空間もしくは仮想空間における任意視点の画像情報を処理する情報処理装置において、当該画像情報に対して生じる知覚の差異を、簡易な方法により解消することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１の実施形態にかかる情報処理装置１００をＨＭＤと組み合わせることで構成されたＭＲシステムの全体構成を示す図である。
【図２】情報処理装置１００の機能構成を説明するための図である。
【図３】ＭＲ画像を生成するまでの処理の流れを説明するための図である。
【図４】パターン画像合成部２０６の機能構成を示す図である。
【図５】パターン画像合成部２０６においてパターン画像を生成するまでの処理の流れを説明するための図である。
【図６】パターン画像生成部４０３により生成されるパターン画像４１２の一例を示す図である。
【図７】本発明の第２の実施形態にかかる情報処理装置１００のパターン画像生成部４０３において生成されるパターン画像の一例を示す図である。
【図８】距離情報に基づいて領域を分割する場合の、パターン画像合成部の機能構成を示す図である。
【図９】ＭＲ画像内を移動する所定の物体の移動速度について、ユーザに錯覚を誘発させる構成を説明するための図である。
【図１０】情報処理装置１０００の機能構成を示す図である。
【図１１】情報処理装置１０００における処理の流れを示すフローチャートである。
【図１２】情報処理装置１０００における処理の具体例について説明するための図である。
【図１３】情報処理装置１３００の機能構成を示す図である。
【図１４】情報処理装置１４００の機能構成を示す図である。
【図１５】情報処理装置１４００の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら、本発明の好適な実施形態について説明する。なお、以下の実施形態における情報処理装置は、ユーザに提供する画像情報に対して、ユーザの錯覚を誘発する所定のパターン画像を重畳することにより、知覚の差異を解消することを特徴とする。
【００２８】
つまり、奥行き手がかりの違いや欠落に対して諸々の物理量を計測し、計測結果に基づいて表示される画像情報自体を直接補正することで、奥行き知覚の差異等を解消させるのではなく、ヒトの錯覚を利用して奥行き知覚の差異等を解消させる点に特徴がある。
【００２９】
かかる方法の場合、諸々の物理量を計測する必要がないため、システムの大型化やコストの上昇を回避することが可能である。また、表示される画像情報自体を補正するわけではないため、リアルタイム性が損なわれることもない。更に、表示される画像情報における、各物体間の形状の整合性も維持されることとなる。
【００３０】
なお、以下の各実施形態のうち、第１乃至第６の実施形態では、本発明にかかる情報処理装置を、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ（頭部装着型表示装置））と組み合わせて、ＭＲシステムとして利用する場合について説明する。
【００３１】
また、第７乃至第９の実施形態では、ＣＧシステムとして、第１０の実施形態では、再生システムとして利用する場合について説明する。ただし、本発明にかかる情報処理装置は、これらのシステムとして利用する場合に限られないことは言うまでもない。
【００３２】
［第１の実施形態］
１．ＭＲシステムの構成
図１は、本発明の第１の実施形態にかかる情報処理装置１００をＨＭＤと組み合わせることで構成されたＭＲシステムの全体構成を示す図である。
【００３３】
図１において、１００は情報処理装置であり、現実空間１２０を撮影することにより得られた現実空間映像と、仮想空間１３０の仮想物体（オブジェクト）を所定の位置・方向から見た場合の仮想空間映像とを合成し、ＭＲ画像（表示画像）を生成する。また、生成されたＭＲ画像に対して、ユーザの錯覚を誘発する所定のパターン画像を重畳することで、出力画像を生成する。更に、生成した出力画像を、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）に表示する制御を行う。
【００３４】
１１０はＨＭＤであり、現実空間１２０を撮影し、現実空間映像を生成する画像入力部１１１を備える。なお、画像入力部は、ユーザの右目に対応する右側画像入力部１１１Ｒと、ユーザの左目に対応する左側画像入力部１１１Ｌとを備える。右側画像入力部１１１Ｒと左側画像入力部１１１Ｌとにおいて生成された現実空間映像は、情報処理装置１００に入力される。
【００３５】
また、ＨＭＤ１１０は、ＨＭＤ１１０の位置及び姿勢を計測するための位置・姿勢計測部１１３を備える。位置・姿勢計測部１１３により計測されたＨＭＤ１１０の位置及び姿勢情報は、情報処理装置１００に入力される。
【００３６】
更に、ＨＭＤ１１０は、情報処理装置１００において生成された出力画像を表示するための映像表示部１１２を備える。なお、映像表示部１１２は、ユーザの右目により知覚されるように表示される右側映像表示部１１２Ｒと、ユーザの左目により知覚されるように表示される左側映像表示部１１２Ｌとを備える。
【００３７】
１２０は現実空間を示しており、また、１３０は仮想空間を示している。１３１〜１３３は、仮想空間における仮想物体を示している。
【００３８】
２．情報処理装置１００の機能構成
次に情報処理装置１００の機能構成について説明する。図２は、情報処理装置１００の機能構成を説明するための図である。
【００３９】
図２において、２０１は画像キャプチャ部であり、ＨＭＤ１１０の画像入力部１１１より入力された現実空間映像を情報処理装置１００内に取り込む。なお、画像キャプチャ部２０１は、右側画像入力部１１１Ｒより入力された現実空間映像を情報処理装置１００内に取り込む右側画像キャプチャ部２０１Ｒを備える。また、左側画像入力部１１１Ｌより入力された現実空間映像を情報処理装置１００内に取り込む左側画像キャプチャ部２０１Ｌを備える。
【００４０】
２０２は位置・姿勢情報入力部であり、位置・姿勢計測部１１３より入力されるＨＭＤ１１０の位置・姿勢情報を情報処理装置１００内に取り込む。
【００４１】
２０３はＣＧレンダリング部である。ＣＧレンダリング部２０３は、位置・姿勢情報入力部２０２を介して取り込まれた位置・姿勢情報に基づいて、画像キャプチャ部２０１を介して取り込まれた現実空間映像に対して合成される仮想空間映像の位置、姿勢、大きさ、角度（パース）などを計算する。この結果、仮想空間映像を生成する。
【００４２】
２０４はモデリング情報記憶部であり、仮想空間映像により形成される仮想空間１３０に存在する仮想物体１３１乃至１３３の情報が格納されている。ＣＧレンダリング部２０３では、位置・姿勢情報入力部２０２を介して入力された位置・姿勢情報に基づいて仮想空間映像２１２を取得する。
【００４３】
２０５は現実空間映像／仮想空間映像合成部であり、画像キャプチャ部２０１を介して入力された現実空間映像２１１に対して、ＣＧレンダリング部２０３にて生成した仮想空間映像２１２を合成し、ＭＲ画像２１３を生成する。なお、現実空間映像／仮想空間映像合成部２０５は、右側画像キャプチャ部２０１Ｒより出力された現実空間映像に対して、仮想空間映像を合成する現実空間映像／仮想空間映像合成部２０５Ｒを備える。また、左側画像キャプチャ部２０１Ｌより出力された現実空間映像に対して、仮想空間映像を合成する現実空間映像／仮想空間映像合成部２０５Ｌを備える。
【００４４】
２０６はパターン画像合成部であり、現実空間映像／仮想空間映像合成部２０５において生成されたＭＲ画像に対して、ユーザの錯覚を誘発する所定のパターン画像を重畳する。なお、パターン画像合成部２０６は、現実空間映像／仮想空間映像合成部２０５Ｒ、２０５Ｌそれぞれにおいて生成されたＭＲ画像に対してパターン画像をそれぞれ重畳するパターン画像合成部２０６Ｒとパターン画像合成部２０６Ｌとを備える。
【００４５】
２０６は映像生成部であり、パターン画像合成部２０６においてパターン画像が重畳されたＭＲ画像を、アナログもしくはデジタルデータに変換することで出力画像を生成し、ＨＭＤ１１０の映像表示部１１２へ出力する。なお、映像生成部２０７は、パターン画像合成部２０６Ｒにおいてパターン画像が重畳されたＭＲ画像に基づいて出力画像を生成する映像生成部２０７Ｒを備える。また、パターン画像合成部２０６Ｌにおいてパターン画像が重畳されたＭＲ画像に基づいて出力画像を生成する映像生成部２０７Ｌを備える。
【００４６】
３．ＭＲ画像を生成するまでの処理
次に、情報処理装置１００において、ＭＲ画像を生成するまでの処理の流れについて、図３を用いて説明する。
【００４７】
図３において、２１１は、ＨＭＤ１１０の画像入力部１１１を用いて現実空間１２０を所定の位置・方向から撮影し、画像キャプチャ部２０１を介して情報処理装置１００内に取り込まれた現実空間映像の一例である。
【００４８】
また、２１２は、ＨＭＤ１１０の位置・姿勢計測部１１３が計測することにより得られた位置・姿勢情報に基づいて、ＣＧレンダリング部２０３が生成した仮想空間映像の一例である。仮想空間映像２１２において３０１〜３０３は、仮想空間１３０における仮想物体１３１〜１３３を、所定の位置、方向から見た場合の仮想物体画像である。
【００４９】
現実空間映像／仮想空間映像合成部２０５では、画像キャプチャ部２０１より出力された現実空間映像２１１に対して、ＣＧレンダリング部２０３において生成された仮想空間映像２１２を合成し、ＭＲ画像を生成する。
【００５０】
２１３は、現実空間映像／仮想空間映像合成部２０５において生成されたＭＲ画像の一例である。ここで、現実空間映像／仮想空間映像合成部２０５において生成されるＭＲ画像２１３には、現実空間を見ている視点で仮想物体画像３０１〜３０３がレンダリングされている。このため、形状（位置、大きさ）については仮想物体と現実物体との間の整合性が高い。一方、上述したように、彩度及び鮮明度については、整合性が低いため、奥行き知覚に差異が生じている。
【００５１】
４．パターン画像合成部の機能構成
そこで、本実施形態にかかる情報処理装置１００では、パターン画像合成部２０６において、ＭＲ画像２１３に対して、ユーザの錯覚を誘発する所定のパターン画像を重畳する。
【００５２】
図４は、パターン画像合成部２０６の機能構成を示す図である。また、図５は、パターン画像合成部２０６においてパターン画像を生成するまでの処理の流れを説明するための図である。以下、図４及び図５を用いてパターン画像合成部２０６の機能について説明する。なお、パターン画像合成部２０６には、パターン画像合成部２０６Ｒと２０６Ｌとが含まれるが、それぞれの機能は同じであるため、ここでは両者を区別することなく説明する。
【００５３】
図４において、４０１はＭＲ画像取得部であり、現実空間映像／仮想空間映像合成部２０５より出力されたＭＲ画像２１３を取得する。
【００５４】
４０２はＭＲ画像領域分割部であり、取得されたＭＲ画像を複数の領域に分割することで、分割画像４１１を得る。なお、ここで分割される領域は、奥行き知覚に差異が生じており、ユーザの錯覚を誘発することで、これを是正しようとしている領域である。本実施形態では、仮想物体画像３０１〜３０３により規定される領域が、ＭＲ画像領域分割部４０２において分割されるべき領域である。
【００５５】
図５の４１１は、ＭＲ画像領域分割部４０２においてＭＲ画像が分割されることで得られた分割画像の一例を示す図である。本実施形態の場合、分割画像４１１は仮想空間映像２１２と同じ画像となる。
【００５６】
４０３はパターン画像生成部であり、ユーザの錯覚を誘発する所定のパターン画像を生成する。パターン画像生成部４０３では、ＭＲ画像領域分割部４０２において生成された分割画像４１１に基づいて、分割された領域を認識する。そして、当該分割された領域と、それ以外の領域とで、それぞれ別個にパターン画像を重畳するように（あるいは分割された領域のみにパターン画像を重畳するように）、各領域の形状に則したパターン画像をそれぞれ生成する。
【００５７】
図５の４１２は、パターン画像生成部４０３で生成されたパターン画像の一例を示す図である。図５の４１２の例では、パターン画像として、チェッカー模様が用いられている。また、分割された領域として、領域５０１〜５０３が認識されている。なお、図５の４１２では、分割された領域５０１〜５０３と、それ以外の領域の両方に、パターン画像を重畳している。
【００５８】
このように、分割された領域に選択的にパターン画像を重畳することで、あるいは分割された領域とそれ以外の領域の両方にそれぞれ別個にパターン画像を重畳することで、ユーザの錯覚を誘発し、奥行き知覚の差異を低減させることが可能となる。
【００５９】
５．パターン画像の例
次に、パターン画像生成部４０３により生成されるパターン画像４１２の例について説明する。上記説明では、パターン画像として、チェッカー模様を用いた場合について説明したが、パターン画像はチェッカー模様に限られず、誘発させようとする錯覚の内容に応じて変更するものとする。
【００６０】
図６は、パターン画像生成部４０３により生成されるパターン画像４１２の一例を示す図である。図６において、６００はオリジナルパターン画像であるチェッカー模様のパターン画像である。
【００６１】
６０１〜６０３は、各非線形変換マトリックスを用いてオリジナルパターン画像６００を変換することで得られたパターン画像である。
【００６２】
６１１〜６１３は、アフィン変換マトリックスを用いてオリジナルパターン画像６００を変換することで得られたパターン画像である。
【００６３】
６２１〜６２２は、マテリアル変換マトリックスを用いてオリジナルパターン画像６００を変換することで得られたパターン画像である。
【００６４】
このうち、パターン画像６０１〜６０３は、ＭＲ画像中の特定の領域をユーザに注視させたい場合において利用されるパターン画像である。当該パターン画像６０１〜６０３は、ＭＲ画像上の特定の点を中心にしてオリジナルパターン画像６００に対して集中変換処理、渦巻き変換処理、せん断変形変換処理などを施すことにより生成される。
【００６５】
また、パターン画像６１１は、オリジナルパターン画像６００に回転変換を施すことにより生成されるパターン画像であり、特定領域とそれ以外の領域とで回転変換量を変えたパターン画像を適用することにより平衡感覚を強調または抑制することが可能となる。つまり、ＭＲ画像内の特定の領域の平衡感覚に錯覚を起こさせるのに有効である。
【００６６】
また、パターン画像６１２〜６１４は、ＭＲ画像中の特定の領域をユーザに注視させたい場合において利用されるパターン画像である。当該パターン画像６１２〜６１４は、オリジナルパターン画像６００に対して画素単位での合成割合の変換処理や、特定領域のα値の変換処理、特定領域の色情報変換処理などを施すことにより生成される。
【００６７】
また、パターン画像６１３は、ＭＲ画像内の特定の領域の奥行き知覚に錯覚を起こさせるのに有効なパターン画像である。また、パターン画像６２１やパターン画像６２２は、ＭＲ画像内の特定の領域の明るさ（彩度）、色、透明度に錯覚を起こさせるのに有効なパターン画像である。
【００６８】
このように、誘発させようとする錯覚の内容に応じて、諸々の変換マトリックスを用いてオリジナルパターン画像６００を変換することで、様々な種類のパターン画像を生成することができる。
【００６９】
なお、図６の例では、オリジナルパターン画像６００として、チェッカー模様のパターン画像を用いる場合について説明したが、本発明はこれに限定されるものではなく、例えば、ランダムノイズのパターン画像をオリジナルパターン画像として用いてもよい。
【００７０】
以上の説明から明らかなように、本実施形態では、生成されたＭＲ画像において、現実空間映像と仮想物体画像との間に生じる奥行き知覚の差異を低減するために、ＭＲ画像にパターン画像を重畳し、ユーザの錯覚を誘発させる構成とした。
【００７１】
そして、パターン画像を重畳するにあたっては、ユーザに錯覚を誘発させるのに有効な領域を分割し、当該分割した領域に対してパターン画像を個別に重畳する構成とした。あるいは、分割した領域とそれ以外の領域とに別個にパターン画像を重畳する構成とした。
【００７２】
この結果、ＭＲ画像における奥行き知覚の差異を低減させることが可能となった。
【００７３】
［第２の実施形態］
上記第１の実施形態では、奥行き知覚の差異を低減させるために、生成されたそれぞれのＭＲ画像（１フレーム分のＭＲ画像）において、分割された領域に対して個別にパターン画像を重畳する場合について説明した。
【００７４】
しかしながら、本発明はこれに限定されず、例えば、複数フレーム間にわたるＭＲ画像内の各物体の動き（オプティカルフロー）を考慮に入れて、パターン画像を重畳するようにしてもよい。
【００７５】
図７は、本発明の第２の実施形態にかかる情報処理装置１００のパターン画像生成部４０３において生成されるパターン画像の一例を示す図である。
【００７６】
図７において、（ａ）は時刻Ｔ１における分割画像４１１を示している。また、（ｂ）は時刻Ｔ２における分割画像４１１を示している。時刻Ｔ１から時刻Ｔ２の間における、ユーザの視点変化に伴って、分割画像４１１内の仮想物体画像３０１〜３０３の見え方が、時刻Ｔ１と時刻Ｔ２とでは異なっている。
【００７７】
具体的には、時刻Ｔ１に比べて、時刻Ｔ２では、仮想物体がより重なって見える方向にユーザの視点が移動したため、時刻Ｔ２における仮想物体画像３１１〜３１３は、時刻Ｔ１における仮想物体画像３０１〜３０３と比べて、より重なって見える。
【００７８】
換言すると、時刻Ｔ１から時刻Ｔ２の間に、仮想物体画像３０１〜３０３がＭＲ画像内を移動し、仮想物体画像３１１〜３１３となっている。この場合、ユーザからの距離が近い（手前にある）仮想物体画像ほど移動距離が大きく、ユーザからの距離が遠い仮想物体画像ほど移動距離が小さくなる。
【００７９】
図７の（ｃ）、（ｄ）は、それぞれＴ＝Ｔ１及びＴ＝Ｔ２のときに分割画像４１１に基づいて生成されたパターン画像を示している。
【００８０】
図７の（ｃ）に示すように、ここでは、分割された領域（仮想物体画像３０１〜３０３により規定される領域）に対して、チェッカー模様のパターン画像を重畳するとともに、分割された領域以外の領域に対しても、同様にパターン画像を重畳している。
【００８１】
同様に、図７の（ｄ）では、分割された領域（仮想物体画像３１１〜３１３）に対して、チェッカー模様のパターン画像を重畳するとともに、分割された領域以外の領域に対しても、別個に、チェッカー模様のパターン画像を重畳している。
【００８２】
このとき、分割された領域以外の領域に対しては、時刻Ｔ１と時刻Ｔ２とで、同じパターン画像を重畳する。
【００８３】
一方、分割された領域（仮想物体画像）に対しては、時刻Ｔ１から時刻Ｔ２の間に移動しているため、異なるパターン画像を重畳する。
【００８４】
ここで、図７の（ｄ）の例では、仮想物体画像３０１の移動距離がより大きく見えるような錯覚を誘発させるためのパターン画像を重畳している。具体的には、時刻Ｔ１において仮想物体画像３０１に重畳されたパターン画像に対して、時刻Ｔ２において仮想物体画像３１１に重畳されたパターン画像の移動距離は、仮想物体画像自体の移動距離よりも大きくなっている。
【００８５】
６０１は、仮想物体画像３０１に重畳されたパターン画像の特定の位置を指している。仮に、時刻Ｔ２において仮想物体画像３１１に重畳されるパターン画像の、時刻Ｔ１における対応するパターン画像に対する移動距離を、仮想物体画像３１１の移動距離と等しくした場合には、時刻Ｔ１における位置７０１は、時刻Ｔ２では、位置７１１となる。
【００８６】
これに対して、本実施形態では、時刻Ｔ１における位置７０１は、時刻Ｔ２では、位置７１１’に表示されるようにパターン画像を重畳している。
【００８７】
一方、時刻Ｔ２において仮想物体画像３１２、３１３に重畳されるパターン画像の、時刻Ｔ１において仮想物体画像３１２に重畳されるパターン画像に対する移動距離は、時刻Ｔ１から時刻Ｔ２までの仮想物体画像３１１の移動距離と等しい。このため、時刻Ｔ１における位置７０２は、時刻Ｔ２では、位置７１２に表示されるようにパターン画像を重畳している。同様に、時刻Ｔ１における位置７０３は、時刻Ｔ３では、位置７１３に表示されるようにパターン画像を重畳している。
【００８８】
このように、仮想物体画像に重畳されるパターン画像の移動距離を、仮想物体画像の移動距離よりも大きくすることで、当該仮想物体画像の移動距離が、実際の移動距離よりも大きいかのようにユーザに錯覚させることができる。
【００８９】
以上の説明から明らかなように、本実施形態では、複数フレームのＭＲ画像内の各物体の動きを錯覚させるために、重畳するパターン画像の移動距離を、対応する各物体画像の移動距離よりも大きくする構成とした。
【００９０】
この結果、当該物体画像の移動距離を、実際の画像空間内の移動距離よりも大きく見せることが可能となる。
【００９１】
［第３の実施形態］
上記第１及び第２の実施形態では、ＭＲ画像領域分割部４０２が、ＭＲ画像から仮想空間映像を分割する場合について説明した。しかしながら、本発明はこれに限定されない。
【００９２】
例えば、ＨＭＤ１１０に距離センサを配し、当該距離センサより出力された距離情報に基づいて、現実空間映像内の各オブジェクトのうち所定の距離にあるオブジェクトにより規定される領域を分割するようにしても良い。
【００９３】
図８は、距離情報に基づいて領域を分割する場合の、パターン画像合成部の機能構成を示す図である。図４に示すパターン画像合成部２０６Ｒ、２０６Ｌの機能と同一の機能を有する部位には、同じ参照番号を付してある。
【００９４】
図８において、８０１は特徴検出部であり、ＨＭＤ１１０より送信された距離情報（特徴情報）を取得する。８０２はＭＲ画像領域分割部であり、ＭＲ画像取得部４０１において取得されたＭＲ画像のうち、所定の距離にあるオブジェクトにより規定される領域を距離情報に基づいて識別し、当該領域を分割する。
【００９５】
８０３はパターン画像生成部であり、所定の距離にあるオブジェクトにより規定される領域を強調または抑制して見せるためのパターン画像を生成する。
【００９６】
これにより、ＭＲ画像のうち、現実空間映像内の所定の距離にあるオブジェクトにより規定される領域を、強調または抑制して見せることが可能となる。
【００９７】
なお、このときＨＭＤ１１０に配される距離センサとしては、例えば、レンジファインダが挙げられるが、これに限定されるものではない。現実物体に距離に応じたマーカを添付し、当該マーカを読み取ることで距離情報を取得するようにしてもよいし、複数のカメラを用いることにより距離情報を取得するようにしてもよい。
【００９８】
［第４の実施形態］
上記各実施形態では、パターン画像を生成するにあたり、ＭＲ画像領域分割部４０２により分割された領域を認識し、当該認識した領域に対応する領域を、予め生成されたパターン画像から抽出し、対応する領域に重畳する構成とした。
【００９９】
しかしながら、本発明はこれに限定されるものではない。例えば、前もってパターン画像を生成しておくのではなく、分割された領域を認識した後に、当該認識した領域ごとに新たにパターン画像を生成するように構成してもよい。
【０１００】
［第５の実施形態］
上記第３の実施形態では、特徴検出部において、特徴情報として距離情報を抽出することとしたが、本発明はこれに限定されない。例えば、ＭＲ画像内の各画素の明度情報を特徴情報として抽出し、ＭＲ画像領域分割部では、当該明度情報に基づいて、領域を分割するように構成してもよい。この場合、明るい領域と暗い領域とで異なるパターン画像が重畳されることとなる。
【０１０１】
［第６の実施形態］
上記各実施形態では、ＭＲ画像内の奥行き知覚の差異を是正する場合について説明したが、本発明はこれに限定されず、ＭＲ画像内を移動する所定の物体の移動速度について、ユーザに錯覚を誘発させるように構成してもよい。
【０１０２】
図９は、ＭＲ画像内を移動する所定の物体の移動速度について、ユーザの錯覚を誘発させる構成を説明するための図である。
【０１０３】
図９において、９０１は時刻Ｔ１における仮想空間映像であり、仮想物体画像９０２が含まれる。９１１は時刻Ｔ２における仮想空間映像であり、仮想物体画像９１２が含まれる。
【０１０４】
図９において、仮想物体画像９０２の移動速度を、実際の移動速度よりも速く知覚させる場合、仮想物体画像９０２に重畳するパターン画像の移動速度を仮想物体画像９０２の移動速度ｖ１よりも速くする。ここで仮想物体画像９０２に対するパターン画像の相対速度をｖ２とすると、ＭＲ画像内のパターン画像の移動速度はｖ１＋ｖ２となり、より速いオプティカルフローを提示することができる。
【０１０５】
反対に、仮想物体画像９０２の移動速度を実際の移動速度よりも遅く知覚させる場合には、仮想物体画像９０２に重畳するパターン画像の移動速度を、仮想物体画像９０２の移動速度ｖ１よりも遅くする。仮想物体画像９０２に対するパターン画像の相対速度ｖ２を負の値に設定すれば、仮想物体画像９０２の移動速度は、実際の移動速度よりも遅く知覚されることとなる。
【０１０６】
なお、上記説明では、分割された領域（仮想物体画像）９０２、９１２に対応するパターン画像の移動速度を変更することとしたが、本発明はこれに限定されない。例えば、分割された領域以外の領域（現実空間映像）９０３、９１３のパターン画像を移動させる構成としてもよい。
【０１０７】
この場合、分割された領域の移動方向と同じ方向に、分割された領域以外の領域のパターン画像を移動させる構成とすることで、分割された領域の移動速度を実際の移動速度よりも遅く知覚させることが可能となる。また、分割された領域の移動方向と反対方向に、分割された領域以外の領域のパターン画像を移動させる構成とすることで、分割された領域の移動速度を実際の移動速度よりも速く知覚させることが可能となる。
【０１０８】
［第７の実施形態］
上記第１の実施形態では、ＨＭＤ１１０の位置・姿勢計測部１１３において取得された位置・姿勢情報に基づいて、ＭＲ画像を遅滞なく生成した場合であっても生じえる奥行き知覚の差異について低減させる構成について説明した。しかしながら、本発明はこれに限定されない。
【０１０９】
一般に、ＨＭＤ１１０の位置・姿勢計測部１１３において取得された位置・姿勢情報に基づいてＭＲ画像を生成する場合、ＣＧレンダリング部２０３や現実空間映像／仮想空間映像合成部２０５に対しては、高い処理負荷がかかる。
【０１１０】
このため、ＨＭＤ１１０の動きに対して、そもそも映像生成部２０７より出力される出力画像には遅れが生じることが考えられる。
【０１１１】
そこで、本実施形態では、パターン画像を重畳することによるユーザの錯覚の効果を利用して、映像生成部２０７より出力される出力画像の遅れを目立たなくさせるための構成について説明する。
【０１１２】
なお、上記各実施形態では、ＭＲ画像を対象としてパターン画像を重畳する場合について説明したのに対して、本実施形態を含む以下の実施形態では、ＣＧ画像を対象としてパターン画像を重畳する場合について説明する。
【０１１３】
１．情報処理装置の機能構成
図１０は、本実施形態にかかる情報処理装置１０００を適用したＣＧシステムの機能構成を示す図である。図１０において、１００２はＣＧ画像生成部であり、ＨＭＤ１０２０の位置・姿勢計測部１０２１より送信された位置・姿勢情報に基づいて、記憶装置１００１より読み出された仮想データ１０１１を処理する。そして、ユーザの視点の位置・方向に対応したＣＧ画像１０１３を生成する。
【０１１４】
１００４は幾何変換量計算部であり、ＨＭＤ１０２０の位置・姿勢計測部１０２１より送信された位置・姿勢情報に基づいて、ユーザの視点の移動方向と移動距離とを計算する。１００５は、パターン画像変換部であり、記憶装置１００１より読み出したパターン画像１０１２を、幾何変換量計算部１００４において計算された移動方向及び移動距離に基づいて、平行移動変換する。
【０１１５】
１００３はパターン画像合成部であり、ＣＧ画像生成部１００２において生成されたＣＧ画像１０１３に、パターン画像変換部１００５において平行移動変換されたパターン画像１０１４を重畳する。これにより、ＣＧ画像の生成に遅延が生じた際のオプティカルフローを補う。
【０１１６】
１００６は映像生成部であり、パターン画像合成部１００３においてパターン画像が重畳されたＣＧ画像を、アナログもしくはデジタルデータに変換することで出力画像を生成し、ＨＭＤ１０２０の映像表示部１０２２へ出力する。
【０１１７】
２．情報処理装置における処理の流れ
次に、情報処理装置１０００における処理の流れについて説明する。図１１は、情報処理装置１０００における処理の流れを示すフローチャートである。
【０１１８】
ステップＳ１１０１において、初期化処理を行うと、ステップＳ１１０２では、位置・姿勢情報１０１０を取得する。
【０１１９】
ステップＳ１１０３では、取得した位置・姿勢情報１０１０に基づいて、ＣＧ画像１０１３を生成する。また、ステップＳ１１０７では、並行して、幾何変換量の計算を行い、ステップＳ１１０８では、該幾何変換量に基づいて、パターン画像１０１２を平行移動変換する。
【０１２０】
ステップＳ１１０４では、生成したＣＧ画像１０１３に、平行移動変換したパターン画像１０１４を重畳する。更に、ステップＳ１１０５では、映像生成部１００６が出力画像を生成し、生成した出力画像を出力する。
【０１２１】
ステップＳ１１０６では、処理の終了指示があったか否かを判断し、終了指示がないと判断された場合には、ステップＳ１１０２に戻り、再び位置・姿勢情報１０１０を取得する。
【０１２２】
以降、ステップＳ１１０６において、処理の終了指示があったと判断されるまで、ステップＳ１１０２からステップＳ１１０８の処理を、所定周期で繰り返す。
【０１２３】
ステップＳ１１０６において、処理の終了指示があったと判断された場合には、処理を終了する。
【０１２４】
３．情報処理装置における処理の具体例
次に、図１２を用いて、情報処理装置１０００における処理の具体例について説明する。
【０１２５】
図１２において、１２０１は、時刻Ｔ１において取得された位置・姿勢情報に基づいて生成されたＣＧ画像の一例である。１２０２は、当該位置・姿勢情報に基づいて生成されたパターン画像である。
【０１２６】
１２０３は、時刻Ｔ１＋△Ｔにおいて取得された位置・姿勢情報に基づいて生成されるべきＣＧ画像である。
【０１２７】
１２０４は、△Ｔ経過する間のオプティカルフロー量と等価となるように、時刻Ｔ１＋△Ｔにおいて取得された位置・姿勢情報に基づいて、パターン画像１２０２を平行移動変換することで生成されたパターン画像である。
【０１２８】
ここで、ＣＧ画像生成部１００２では、ＣＧ画像１２０１を生成してから、△Ｔ経過するまでに、ＣＧ画像１２０３を生成する必要があるが、処理に遅延が生じ、△Ｔ経過するまでに、ＣＧ画像１２０３を生成することができなかったとする。
【０１２９】
この場合、△Ｔ経過時点では、ＣＧ画像１２０３が生成されていないため、パターン画像合成部１００３では、１周期前のＣＧ画像１２０１に、パターン画像１２０４を重畳する（１２０５参照）。つまり、ＨＭＤ１０２０の動作に、ＣＧ画像のオプティカルフローが追いつかなかった場合には、ＣＧ画像のオプティカルフロー量に相当するパターン画像を１周期前のＣＧ画像に重畳させることで、ＣＧ画像を生成する際の処理の遅延の影響を軽減する。
【０１３０】
このように、本実施形態によれば、パターン画像を重畳することによるユーザの錯覚の効果を利用し、映像生成部１００７より出力される出力画像に遅れがないように見せることが可能となる。
【０１３１】
なお、本実施形態では、パターン画像としてチェッカー模様を用いることとしているが、本発明はこれに限定されず、例えば、ランダムドットノイズ等の他のパターン画像を用いてもよいことはいうまでもない。
【０１３２】
また、本実施形態では、幾何変換として、平行移動変換を用いる場合について説明したが、本発明はこれに限定されず、所望のオプティカルフローに補正することを目的とする幾何変換であれば、他の幾何変換を用いてもよいことはいうまでもない。
【０１３３】
例えば、ジャイロなどの地磁気を計測するセンサ情報を用いて重力方向を検出し、その情報を用いて現在の姿勢に対して重力方向へ傾く方向へ誘導するような回転変換を基準とした幾何変換が挙げられる。あるいは、加速度センサを用いて視点位置の加速度成分からそれを補正するような非線形な変換等が挙げられる。
【０１３４】
［第８の実施形態］
上記第７の実施形態では、パターン画像合成部において、ＣＧ画像に対してパターン画像を重畳する構成としたが、本発明はこれに限定されない。ＣＧ画像を生成するタイミングとパターン画像を生成するタイミングとでは、ずれがあるため、それぞれ別個に映像表示部に出力するように構成してもよい。
【０１３５】
図１３は、本実施形態における情報処理装置１３００を適用したＣＧシステムの機能構成を示す図である。図１０と同じ機能については同じ参照番号を付してある。
【０１３６】
図１０との違いは、パターン画像合成部１００３がない代わりに、ＣＧ画像用の映像生成部１３０１とパターン画像用の映像生成部１３０２を配し、それぞれの出力画像を映像表示部１０２２に出力している点である。
【０１３７】
なお、図１３の機能構成において、映像表示部１０２２は、異なる更新レートで２つの出力画像を表示することができるよう構成されているものとする。
【０１３８】
［第９の実施形態］
上記第７の実施形態では、パターン画像を常時表示する構成としたが、本発明はこれに限定されない。例えば、物体の移動速度が変化した場合に、対応するパターン画像を表示し、静止時には表示しないように構成してもよい。
【０１３９】
図１４は、本実施形態における情報処理装置１４００を適用したＣＧシステムの機能構成を示す図である。図１０と同じ機能については同じ参照番号を付してある。
【０１４０】
図１０との違いは、パターン画像合成部１００３の代わりに、パターン画像制御部１４０１が配されている点である。パターン画像制御部１４０１では、パターン画像変換部１００５において生成されたパターン画像１０１４をＣＧ画像１０１３に重畳するにあたり、位置・姿勢情報１０１０が変化した場合にのみ、パターン画像１０１４をＣＧ画像１０１３に重畳する。
【０１４１】
図１５は、本実施形態における情報処理装置１４００の処理の流れを示すフローチャートである。なお、図１１と同じ処理については、同じ参照番号を付してある。
【０１４２】
図１１との違いは、ステップＳ１１０８において生成したパターン画像を、ステップＳ１１０４において、ＣＧ画像に重畳する前に、ステップＳ１５０１において、重畳するか否かを判定している点である。
【０１４３】
ステップＳ１５０１では、ステップＳ１００２において取得された位置・姿勢情報が、１周期前に取得された位置・姿勢情報から変化しているか否かを判断し、変化していると判断された場合には、重畳すると判定し、ステップＳ１００４に進む。
【０１４４】
一方、ステップＳ１５０１において、変化していないと判断された場合には、重畳しないと判定し、ステップＳ１００５に進む。
【０１４５】
以上の説明から明らかなように、本実施形態にかかる情報処理装置では、ＨＭＤ１０２０が静止している状態では、パターン画像がＣＧ画像に重畳されることはない。このように、ＨＭＤ１０２０が静止している状態で、ＣＧ画像にパターン画像を重畳しないように制御することで、パターン画像を重畳することによる出力画像の画質の低下を、静止時においては回避することが可能となる。
【０１４６】
なお、視点が変化している場合には、ユーザは、ＣＧ画像の詳細を認識することができないため、移動中にパターン画像を重畳させても、出力画像の画質の低下の影響は小さい。
【０１４７】
［第１０の実施形態］
上記第７乃至第９の実施形態では、本発明にかかる情報処理装置をＣＧシステムに適用する場合について説明したが、本発明はこれに限定されない。
【０１４８】
例えば、手持ちで作成したハンディビデオ装置のビデオ画像において、手ぶれが大きいビデオ画像を再生する場合の再生システムに適用することも可能である。
【０１４９】
具体的には、ハンディビデオ装置などに搭載されているジャイロ情報をビデオ画像とともに記録しておき、当該ビデオ画像を再生システムにおいて再生する際に、ジャイロ情報に基づいてパターン画像を生成し、再生画像に重畳するように構成してもよい。
【０１５０】
このように構成することで、ユーザが意図していないビデオ画像のゆれを軽減させることが可能となる。
【０１５１】
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１５２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読取可能な記憶媒体を、システムあるいは装置に供給するよう構成することによっても達成されることはいうまでもない。この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することにより、上記機能が実現されることとなる。なお、この場合、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１５３】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１５４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１５５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、前述した実施形態の機能が実現される場合も含まれる。つまり、プログラムコードがメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。
【技術分野】
【０００１】
現実空間もしくは仮想空間における任意視点の画像情報を処理する情報処理装置における情報処理技術に関する。
【背景技術】
【０００２】
従来より、ヒトの視覚等に与える刺激を制御することで、本来の状態とは異なる知覚を生じさせることができることが知られている。
【０００３】
コンピュータグラフィック（以後ＣＧとする）等の技術は、ヒトの空間知覚特性を考慮することで、２次元の平面上に描画された仮想の物体を、あたかも３次元的に存在しているかのように表示する技術である。ＣＧの場合、仮想の物体の影や重なり、きめの勾配といった３次元的手がかり（奥行き手がかり）を制御することで、本来の状態（２次元）とは異なる知覚（３次元の物体という知覚）を生じさせている。
【０００４】
また、ＣＧ以外でも、ランダムドットステレオグラムや、両眼立体視を用いた立体感表示等の技術が、同様の技術として知られている。
【０００５】
これらの技術を応用したシステムとして、複合現実感システム（以下、ＭＲシステム）が挙げられる。ＭＲシステムとは、当該技術を用いて現実空間映像が示す視点の位置・方向等に対応した仮想空間映像を生成し、それらを合成することにより、現実空間映像と仮想空間映像の合成映像をユーザに表示するシステムである。
【０００６】
ＭＲシステムによれば、ユーザは、現実空間中に仮想物体が実在しているかのように知覚することができる。ＭＲシステムの場合、仮想空間映像を現実空間映像に合成する構成となっているため、従来の仮想現実感システム（ＶＲシステム）に比べて、よりリアルに、実寸感覚を伴った観察できるという利点がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平０９−２６９７２３号公報
【特許文献２】特開２００６−０６９５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、ＭＲシステム等のように現実空間映像と仮想空間映像とを合成して表示するシステムの場合、現実空間映像が示す視点の位置・方向と同じ位置・方向から見ているように仮想空間映像を生成したとしても、奥行き知覚には差異が生じてしまう。
【０００９】
つまり、現実空間と仮想空間の視点の位置及び方向が同じになるように、整合性をとった仮想物体からなる仮想空間映像を生成したとしても、現実空間映像と合成すると、奥行き知覚に差異が生じることとなる。このような現象が生じる原因としては、大きくわけて以下の２つが考えられる。
（１）奥行き手がかりの違いによるもの
第１の原因として、同じ奥行きの物体（オブジェクト）に対して、異なる奥行き手がかりが表示されていることが挙げられる。
【００１０】
一般に、ＭＲシステムの場合、現実空間映像が示す視点に基づいて仮想物体のレンダリングを行い仮想空間映像を生成するため、形状については仮想物体と現実物体との間で高い整合性を維持することができる。しかし、彩度や鮮明度については、仮想物体と現実物体との間で整合性を保つことができない。この結果、奥行き知覚に差異が生じることとなる。以下に更に詳説する。
【００１１】
（ａ）現実空間映像と仮想空間映像との彩度の不整合に起因する奥行き知覚の差異
通常、ビデオなどで撮影した現実空間映像とＣＧによって生成された仮想空間映像とでは画像生成手段が異なるため彩度が異なる。ヒトの奥行き知覚特性は、彩度が高いものほど近く、低いものほど遠くに知覚される傾向があるが、一般にＣＧよりもビデオなどによる現実空間映像の方が彩度が低い。このため、同一距離に存在する仮想物体と現実物体とでは仮想物体の方が近くに知覚されることとなる。
【００１２】
（ｂ）現実空間映像と仮想空間映像との鮮明度の不整合に起因する奥行き知覚の差異
一般に、ヒトの奥行き知覚特性は、エッジが鮮明なものほど近く、ボケ量が多いものほど遠くに知覚される傾向がある。仮想空間映像と現実空間映像とでは、仮想空間映像の方がエッジが鮮明であるため、同一距離に存在する仮想物体と現実物体とでは、通常、仮想物体の方が近くに知覚されることとなる。
【００１３】
なお、ここでは、ＭＲシステムを例に説明したが、このような奥行き知覚の差異は、ＭＲシステムに限らず、通常の仮想空間映像生成システム（以下、ＣＧシステム）やビデオカメラなどの現実空間映像生成システムの場合にも当てはまる。
（２）奥行き手がかりの欠落によるもの
第２の原因として、奥行き手がかりが欠落していることが挙げられる。具体例として、ＭＲシステムやＣＧシステムにおいて、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）や立体視用眼鏡などを用いて３次元画像をユーザに体験させるシステムについて説明する。このようなシステムでは、ヒトが奥行きを知覚するために必要な奥行き手がかり自体が欠落しているため、現実空間映像と仮想空間映像とで奥行き知覚に差異が生じることとなる。なお、ここでいう奥行き手がかりとは、輻輳情報や焦点調節情報等を指す。
【００１４】
（ａ）輻輳情報の欠落に起因する奥行き知覚の差異
ヒトが取得する奥行き手がかりとして眼球の輻輳情報がある。一般に、ヒトは近くを見るときには外眼筋を働かせて眼球を内側に向け、注視対象が両眼の網膜中心付近にくるように調節する。そして、その際の外眼筋の活動量を奥行き手がかりとして取得している。
【００１５】
しかし、ビデオカメラのように撮影者の注視情報をもとに撮像装置の位置・方向を変更することが困難な装置の場合、この輻輳情報を加味した画像情報を生成することができない。つまり、生成される画像情報には、輻輳情報という奥行き手がかりが欠落しており、このため、奥行き知覚に差異が生じることとなる。
【００１６】
（ｂ）焦点調節情報の欠落に起因する奥行き知覚の差異
ヒトが取得する奥行き手がかりとして焦点調節情報がある。一般に、ヒトがある対象を観察するとき、その距離に応じて毛様体を活動させ水晶体の厚みをコントロールすることで、焦点を合わせる。そして、その際の毛様体の活動量を奥行き手がかりとして取得している。
【００１７】
しかし、観察者が表示装置の表示面を通して対象を観察する場合、焦点はその表示面となる。つまり、表示面に表示された対象には、焦点調節情報という奥行き手がかり自体が欠落しており、このため奥行き知覚に差異が生じることとなる。
【００１８】
ここで、上述のような奥行き知覚の差異を解消するための方法として、上述したような奥行き手がかりを考慮に入れて仮想空間映像と現実空間映像との間で整合性をとるように構成することが考えられる。
【００１９】
しかしながら、このような方法の場合、現実空間映像を画像解析し、現実空間上の照明条件やヒトの焦点調節情報等を取得して、形状や彩度、鮮明度を補正する必要がある。
【００２０】
また、表示装置の輻輳角を変更可能にし、ヒトの眼球状態を計測した値に基づいて表示装置の輻輳角を変更する構成にする必要がある。あるいは、ヒトの毛様体の活動量を計測する装置を配し、計測された情報に基づいてレンズの調節を行う構成とするか、表示装置の位置を変更可能にし、ヒトの毛様体の活動量に基づいて、表示装置の位置を制御する構成とする必要がある。
【００２１】
しかしながら、このような構成とした場合、システムの大型化が不可避であり、コストもかかるという問題がある。また、処理時間が増大するため、リアルタイムで処理を行う必要のあるシステムには適用できないという問題もある。更に、仮想空間映像と現実空間映像との間で整合性をとった場合、特定の位置・方向から見た場合の奥行き知覚の差異は解消するが、異なる位置・方向から見た場合の形状（形及び大きさ）の整合性が損なわれてしまうという問題もある。
【００２２】
このため、奥行き手がかりの違いや欠落等に起因して生じる奥行き知覚の差異等、現実空間もしくは仮想空間における任意視点の画像情報において生じる知覚の差異を、簡易な方法により解消できるようにすることが望まれている。
【００２３】
本発明は上記課題に鑑みてなされたものであり、現実空間もしくは仮想空間における任意視点の画像情報を処理する情報処理装置において、当該画像情報に対して生じる知覚の差異を、簡易な方法により解消することを目的とする。
【課題を解決するための手段】
【００２４】
上記の目的を達成するために本発明に係る情報処理装置は以下のような構成を備える。即ち、
表示装置に表示する表示画像を生成する情報処理装置であって、
前記表示画像に表示されるオブジェクトまでの距離を取得する取得手段と、
前記取得された距離に基づいて、前記表示画像を複数の領域に分割する分割手段と、
前記分割手段により分割された領域のうちの少なくとも１つの領域に、重畳するパターン画像を、前記取得手段により取得された距離に基づいて、生成する生成手段と、
前記生成されたパターン画像を、前記複数の領域のうちの少なくとも１つに、重畳する重畳手段と、
前記パターン画像が重畳された表示画像を前記表示装置に出力する出力手段とを備える。
【発明の効果】
【００２５】
本発明によれば、現実空間もしくは仮想空間における任意視点の画像情報を処理する情報処理装置において、当該画像情報に対して生じる知覚の差異を、簡易な方法により解消することが可能となる。
【図面の簡単な説明】
【００２６】
【図１】本発明の第１の実施形態にかかる情報処理装置１００をＨＭＤと組み合わせることで構成されたＭＲシステムの全体構成を示す図である。
【図２】情報処理装置１００の機能構成を説明するための図である。
【図３】ＭＲ画像を生成するまでの処理の流れを説明するための図である。
【図４】パターン画像合成部２０６の機能構成を示す図である。
【図５】パターン画像合成部２０６においてパターン画像を生成するまでの処理の流れを説明するための図である。
【図６】パターン画像生成部４０３により生成されるパターン画像４１２の一例を示す図である。
【図７】本発明の第２の実施形態にかかる情報処理装置１００のパターン画像生成部４０３において生成されるパターン画像の一例を示す図である。
【図８】距離情報に基づいて領域を分割する場合の、パターン画像合成部の機能構成を示す図である。
【図９】ＭＲ画像内を移動する所定の物体の移動速度について、ユーザに錯覚を誘発させる構成を説明するための図である。
【図１０】情報処理装置１０００の機能構成を示す図である。
【図１１】情報処理装置１０００における処理の流れを示すフローチャートである。
【図１２】情報処理装置１０００における処理の具体例について説明するための図である。
【図１３】情報処理装置１３００の機能構成を示す図である。
【図１４】情報処理装置１４００の機能構成を示す図である。
【図１５】情報処理装置１４００の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２７】
以下、図面を参照しながら、本発明の好適な実施形態について説明する。なお、以下の実施形態における情報処理装置は、ユーザに提供する画像情報に対して、ユーザの錯覚を誘発する所定のパターン画像を重畳することにより、知覚の差異を解消することを特徴とする。
【００２８】
つまり、奥行き手がかりの違いや欠落に対して諸々の物理量を計測し、計測結果に基づいて表示される画像情報自体を直接補正することで、奥行き知覚の差異等を解消させるのではなく、ヒトの錯覚を利用して奥行き知覚の差異等を解消させる点に特徴がある。
【００２９】
かかる方法の場合、諸々の物理量を計測する必要がないため、システムの大型化やコストの上昇を回避することが可能である。また、表示される画像情報自体を補正するわけではないため、リアルタイム性が損なわれることもない。更に、表示される画像情報における、各物体間の形状の整合性も維持されることとなる。
【００３０】
なお、以下の各実施形態のうち、第１乃至第６の実施形態では、本発明にかかる情報処理装置を、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ（頭部装着型表示装置））と組み合わせて、ＭＲシステムとして利用する場合について説明する。
【００３１】
また、第７乃至第９の実施形態では、ＣＧシステムとして、第１０の実施形態では、再生システムとして利用する場合について説明する。ただし、本発明にかかる情報処理装置は、これらのシステムとして利用する場合に限られないことは言うまでもない。
【００３２】
［第１の実施形態］
１．ＭＲシステムの構成
図１は、本発明の第１の実施形態にかかる情報処理装置１００をＨＭＤと組み合わせることで構成されたＭＲシステムの全体構成を示す図である。
【００３３】
図１において、１００は情報処理装置であり、現実空間１２０を撮影することにより得られた現実空間映像と、仮想空間１３０の仮想物体（オブジェクト）を所定の位置・方向から見た場合の仮想空間映像とを合成し、ＭＲ画像（表示画像）を生成する。また、生成されたＭＲ画像に対して、ユーザの錯覚を誘発する所定のパターン画像を重畳することで、出力画像を生成する。更に、生成した出力画像を、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）に表示する制御を行う。
【００３４】
１１０はＨＭＤであり、現実空間１２０を撮影し、現実空間映像を生成する画像入力部１１１を備える。なお、画像入力部は、ユーザの右目に対応する右側画像入力部１１１Ｒと、ユーザの左目に対応する左側画像入力部１１１Ｌとを備える。右側画像入力部１１１Ｒと左側画像入力部１１１Ｌとにおいて生成された現実空間映像は、情報処理装置１００に入力される。
【００３５】
また、ＨＭＤ１１０は、ＨＭＤ１１０の位置及び姿勢を計測するための位置・姿勢計測部１１３を備える。位置・姿勢計測部１１３により計測されたＨＭＤ１１０の位置及び姿勢情報は、情報処理装置１００に入力される。
【００３６】
更に、ＨＭＤ１１０は、情報処理装置１００において生成された出力画像を表示するための映像表示部１１２を備える。なお、映像表示部１１２は、ユーザの右目により知覚されるように表示される右側映像表示部１１２Ｒと、ユーザの左目により知覚されるように表示される左側映像表示部１１２Ｌとを備える。
【００３７】
１２０は現実空間を示しており、また、１３０は仮想空間を示している。１３１〜１３３は、仮想空間における仮想物体を示している。
【００３８】
２．情報処理装置１００の機能構成
次に情報処理装置１００の機能構成について説明する。図２は、情報処理装置１００の機能構成を説明するための図である。
【００３９】
図２において、２０１は画像キャプチャ部であり、ＨＭＤ１１０の画像入力部１１１より入力された現実空間映像を情報処理装置１００内に取り込む。なお、画像キャプチャ部２０１は、右側画像入力部１１１Ｒより入力された現実空間映像を情報処理装置１００内に取り込む右側画像キャプチャ部２０１Ｒを備える。また、左側画像入力部１１１Ｌより入力された現実空間映像を情報処理装置１００内に取り込む左側画像キャプチャ部２０１Ｌを備える。
【００４０】
２０２は位置・姿勢情報入力部であり、位置・姿勢計測部１１３より入力されるＨＭＤ１１０の位置・姿勢情報を情報処理装置１００内に取り込む。
【００４１】
２０３はＣＧレンダリング部である。ＣＧレンダリング部２０３は、位置・姿勢情報入力部２０２を介して取り込まれた位置・姿勢情報に基づいて、画像キャプチャ部２０１を介して取り込まれた現実空間映像に対して合成される仮想空間映像の位置、姿勢、大きさ、角度（パース）などを計算する。この結果、仮想空間映像を生成する。
【００４２】
２０４はモデリング情報記憶部であり、仮想空間映像により形成される仮想空間１３０に存在する仮想物体１３１乃至１３３の情報が格納されている。ＣＧレンダリング部２０３では、位置・姿勢情報入力部２０２を介して入力された位置・姿勢情報に基づいて仮想空間映像２１２を取得する。
【００４３】
２０５は現実空間映像／仮想空間映像合成部であり、画像キャプチャ部２０１を介して入力された現実空間映像２１１に対して、ＣＧレンダリング部２０３にて生成した仮想空間映像２１２を合成し、ＭＲ画像２１３を生成する。なお、現実空間映像／仮想空間映像合成部２０５は、右側画像キャプチャ部２０１Ｒより出力された現実空間映像に対して、仮想空間映像を合成する現実空間映像／仮想空間映像合成部２０５Ｒを備える。また、左側画像キャプチャ部２０１Ｌより出力された現実空間映像に対して、仮想空間映像を合成する現実空間映像／仮想空間映像合成部２０５Ｌを備える。
【００４４】
２０６はパターン画像合成部であり、現実空間映像／仮想空間映像合成部２０５において生成されたＭＲ画像に対して、ユーザの錯覚を誘発する所定のパターン画像を重畳する。なお、パターン画像合成部２０６は、現実空間映像／仮想空間映像合成部２０５Ｒ、２０５Ｌそれぞれにおいて生成されたＭＲ画像に対してパターン画像をそれぞれ重畳するパターン画像合成部２０６Ｒとパターン画像合成部２０６Ｌとを備える。
【００４５】
２０６は映像生成部であり、パターン画像合成部２０６においてパターン画像が重畳されたＭＲ画像を、アナログもしくはデジタルデータに変換することで出力画像を生成し、ＨＭＤ１１０の映像表示部１１２へ出力する。なお、映像生成部２０７は、パターン画像合成部２０６Ｒにおいてパターン画像が重畳されたＭＲ画像に基づいて出力画像を生成する映像生成部２０７Ｒを備える。また、パターン画像合成部２０６Ｌにおいてパターン画像が重畳されたＭＲ画像に基づいて出力画像を生成する映像生成部２０７Ｌを備える。
【００４６】
３．ＭＲ画像を生成するまでの処理
次に、情報処理装置１００において、ＭＲ画像を生成するまでの処理の流れについて、図３を用いて説明する。
【００４７】
図３において、２１１は、ＨＭＤ１１０の画像入力部１１１を用いて現実空間１２０を所定の位置・方向から撮影し、画像キャプチャ部２０１を介して情報処理装置１００内に取り込まれた現実空間映像の一例である。
【００４８】
また、２１２は、ＨＭＤ１１０の位置・姿勢計測部１１３が計測することにより得られた位置・姿勢情報に基づいて、ＣＧレンダリング部２０３が生成した仮想空間映像の一例である。仮想空間映像２１２において３０１〜３０３は、仮想空間１３０における仮想物体１３１〜１３３を、所定の位置、方向から見た場合の仮想物体画像である。
【００４９】
現実空間映像／仮想空間映像合成部２０５では、画像キャプチャ部２０１より出力された現実空間映像２１１に対して、ＣＧレンダリング部２０３において生成された仮想空間映像２１２を合成し、ＭＲ画像を生成する。
【００５０】
２１３は、現実空間映像／仮想空間映像合成部２０５において生成されたＭＲ画像の一例である。ここで、現実空間映像／仮想空間映像合成部２０５において生成されるＭＲ画像２１３には、現実空間を見ている視点で仮想物体画像３０１〜３０３がレンダリングされている。このため、形状（位置、大きさ）については仮想物体と現実物体との間の整合性が高い。一方、上述したように、彩度及び鮮明度については、整合性が低いため、奥行き知覚に差異が生じている。
【００５１】
４．パターン画像合成部の機能構成
そこで、本実施形態にかかる情報処理装置１００では、パターン画像合成部２０６において、ＭＲ画像２１３に対して、ユーザの錯覚を誘発する所定のパターン画像を重畳する。
【００５２】
図４は、パターン画像合成部２０６の機能構成を示す図である。また、図５は、パターン画像合成部２０６においてパターン画像を生成するまでの処理の流れを説明するための図である。以下、図４及び図５を用いてパターン画像合成部２０６の機能について説明する。なお、パターン画像合成部２０６には、パターン画像合成部２０６Ｒと２０６Ｌとが含まれるが、それぞれの機能は同じであるため、ここでは両者を区別することなく説明する。
【００５３】
図４において、４０１はＭＲ画像取得部であり、現実空間映像／仮想空間映像合成部２０５より出力されたＭＲ画像２１３を取得する。
【００５４】
４０２はＭＲ画像領域分割部であり、取得されたＭＲ画像を複数の領域に分割することで、分割画像４１１を得る。なお、ここで分割される領域は、奥行き知覚に差異が生じており、ユーザの錯覚を誘発することで、これを是正しようとしている領域である。本実施形態では、仮想物体画像３０１〜３０３により規定される領域が、ＭＲ画像領域分割部４０２において分割されるべき領域である。
【００５５】
図５の４１１は、ＭＲ画像領域分割部４０２においてＭＲ画像が分割されることで得られた分割画像の一例を示す図である。本実施形態の場合、分割画像４１１は仮想空間映像２１２と同じ画像となる。
【００５６】
４０３はパターン画像生成部であり、ユーザの錯覚を誘発する所定のパターン画像を生成する。パターン画像生成部４０３では、ＭＲ画像領域分割部４０２において生成された分割画像４１１に基づいて、分割された領域を認識する。そして、当該分割された領域と、それ以外の領域とで、それぞれ別個にパターン画像を重畳するように（あるいは分割された領域のみにパターン画像を重畳するように）、各領域の形状に則したパターン画像をそれぞれ生成する。
【００５７】
図５の４１２は、パターン画像生成部４０３で生成されたパターン画像の一例を示す図である。図５の４１２の例では、パターン画像として、チェッカー模様が用いられている。また、分割された領域として、領域５０１〜５０３が認識されている。なお、図５の４１２では、分割された領域５０１〜５０３と、それ以外の領域の両方に、パターン画像を重畳している。
【００５８】
このように、分割された領域に選択的にパターン画像を重畳することで、あるいは分割された領域とそれ以外の領域の両方にそれぞれ別個にパターン画像を重畳することで、ユーザの錯覚を誘発し、奥行き知覚の差異を低減させることが可能となる。
【００５９】
５．パターン画像の例
次に、パターン画像生成部４０３により生成されるパターン画像４１２の例について説明する。上記説明では、パターン画像として、チェッカー模様を用いた場合について説明したが、パターン画像はチェッカー模様に限られず、誘発させようとする錯覚の内容に応じて変更するものとする。
【００６０】
図６は、パターン画像生成部４０３により生成されるパターン画像４１２の一例を示す図である。図６において、６００はオリジナルパターン画像であるチェッカー模様のパターン画像である。
【００６１】
６０１〜６０３は、各非線形変換マトリックスを用いてオリジナルパターン画像６００を変換することで得られたパターン画像である。
【００６２】
６１１〜６１３は、アフィン変換マトリックスを用いてオリジナルパターン画像６００を変換することで得られたパターン画像である。
【００６３】
６２１〜６２２は、マテリアル変換マトリックスを用いてオリジナルパターン画像６００を変換することで得られたパターン画像である。
【００６４】
このうち、パターン画像６０１〜６０３は、ＭＲ画像中の特定の領域をユーザに注視させたい場合において利用されるパターン画像である。当該パターン画像６０１〜６０３は、ＭＲ画像上の特定の点を中心にしてオリジナルパターン画像６００に対して集中変換処理、渦巻き変換処理、せん断変形変換処理などを施すことにより生成される。
【００６５】
また、パターン画像６１１は、オリジナルパターン画像６００に回転変換を施すことにより生成されるパターン画像であり、特定領域とそれ以外の領域とで回転変換量を変えたパターン画像を適用することにより平衡感覚を強調または抑制することが可能となる。つまり、ＭＲ画像内の特定の領域の平衡感覚に錯覚を起こさせるのに有効である。
【００６６】
また、パターン画像６１２〜６１４は、ＭＲ画像中の特定の領域をユーザに注視させたい場合において利用されるパターン画像である。当該パターン画像６１２〜６１４は、オリジナルパターン画像６００に対して画素単位での合成割合の変換処理や、特定領域のα値の変換処理、特定領域の色情報変換処理などを施すことにより生成される。
【００６７】
また、パターン画像６１３は、ＭＲ画像内の特定の領域の奥行き知覚に錯覚を起こさせるのに有効なパターン画像である。また、パターン画像６２１やパターン画像６２２は、ＭＲ画像内の特定の領域の明るさ（彩度）、色、透明度に錯覚を起こさせるのに有効なパターン画像である。
【００６８】
このように、誘発させようとする錯覚の内容に応じて、諸々の変換マトリックスを用いてオリジナルパターン画像６００を変換することで、様々な種類のパターン画像を生成することができる。
【００６９】
なお、図６の例では、オリジナルパターン画像６００として、チェッカー模様のパターン画像を用いる場合について説明したが、本発明はこれに限定されるものではなく、例えば、ランダムノイズのパターン画像をオリジナルパターン画像として用いてもよい。
【００７０】
以上の説明から明らかなように、本実施形態では、生成されたＭＲ画像において、現実空間映像と仮想物体画像との間に生じる奥行き知覚の差異を低減するために、ＭＲ画像にパターン画像を重畳し、ユーザの錯覚を誘発させる構成とした。
【００７１】
そして、パターン画像を重畳するにあたっては、ユーザに錯覚を誘発させるのに有効な領域を分割し、当該分割した領域に対してパターン画像を個別に重畳する構成とした。あるいは、分割した領域とそれ以外の領域とに別個にパターン画像を重畳する構成とした。
【００７２】
この結果、ＭＲ画像における奥行き知覚の差異を低減させることが可能となった。
【００７３】
［第２の実施形態］
上記第１の実施形態では、奥行き知覚の差異を低減させるために、生成されたそれぞれのＭＲ画像（１フレーム分のＭＲ画像）において、分割された領域に対して個別にパターン画像を重畳する場合について説明した。
【００７４】
しかしながら、本発明はこれに限定されず、例えば、複数フレーム間にわたるＭＲ画像内の各物体の動き（オプティカルフロー）を考慮に入れて、パターン画像を重畳するようにしてもよい。
【００７５】
図７は、本発明の第２の実施形態にかかる情報処理装置１００のパターン画像生成部４０３において生成されるパターン画像の一例を示す図である。
【００７６】
図７において、（ａ）は時刻Ｔ１における分割画像４１１を示している。また、（ｂ）は時刻Ｔ２における分割画像４１１を示している。時刻Ｔ１から時刻Ｔ２の間における、ユーザの視点変化に伴って、分割画像４１１内の仮想物体画像３０１〜３０３の見え方が、時刻Ｔ１と時刻Ｔ２とでは異なっている。
【００７７】
具体的には、時刻Ｔ１に比べて、時刻Ｔ２では、仮想物体がより重なって見える方向にユーザの視点が移動したため、時刻Ｔ２における仮想物体画像３１１〜３１３は、時刻Ｔ１における仮想物体画像３０１〜３０３と比べて、より重なって見える。
【００７８】
換言すると、時刻Ｔ１から時刻Ｔ２の間に、仮想物体画像３０１〜３０３がＭＲ画像内を移動し、仮想物体画像３１１〜３１３となっている。この場合、ユーザからの距離が近い（手前にある）仮想物体画像ほど移動距離が大きく、ユーザからの距離が遠い仮想物体画像ほど移動距離が小さくなる。
【００７９】
図７の（ｃ）、（ｄ）は、それぞれＴ＝Ｔ１及びＴ＝Ｔ２のときに分割画像４１１に基づいて生成されたパターン画像を示している。
【００８０】
図７の（ｃ）に示すように、ここでは、分割された領域（仮想物体画像３０１〜３０３により規定される領域）に対して、チェッカー模様のパターン画像を重畳するとともに、分割された領域以外の領域に対しても、同様にパターン画像を重畳している。
【００８１】
同様に、図７の（ｄ）では、分割された領域（仮想物体画像３１１〜３１３）に対して、チェッカー模様のパターン画像を重畳するとともに、分割された領域以外の領域に対しても、別個に、チェッカー模様のパターン画像を重畳している。
【００８２】
このとき、分割された領域以外の領域に対しては、時刻Ｔ１と時刻Ｔ２とで、同じパターン画像を重畳する。
【００８３】
一方、分割された領域（仮想物体画像）に対しては、時刻Ｔ１から時刻Ｔ２の間に移動しているため、異なるパターン画像を重畳する。
【００８４】
ここで、図７の（ｄ）の例では、仮想物体画像３０１の移動距離がより大きく見えるような錯覚を誘発させるためのパターン画像を重畳している。具体的には、時刻Ｔ１において仮想物体画像３０１に重畳されたパターン画像に対して、時刻Ｔ２において仮想物体画像３１１に重畳されたパターン画像の移動距離は、仮想物体画像自体の移動距離よりも大きくなっている。
【００８５】
６０１は、仮想物体画像３０１に重畳されたパターン画像の特定の位置を指している。仮に、時刻Ｔ２において仮想物体画像３１１に重畳されるパターン画像の、時刻Ｔ１における対応するパターン画像に対する移動距離を、仮想物体画像３１１の移動距離と等しくした場合には、時刻Ｔ１における位置７０１は、時刻Ｔ２では、位置７１１となる。
【００８６】
これに対して、本実施形態では、時刻Ｔ１における位置７０１は、時刻Ｔ２では、位置７１１’に表示されるようにパターン画像を重畳している。
【００８７】
一方、時刻Ｔ２において仮想物体画像３１２、３１３に重畳されるパターン画像の、時刻Ｔ１において仮想物体画像３１２に重畳されるパターン画像に対する移動距離は、時刻Ｔ１から時刻Ｔ２までの仮想物体画像３１１の移動距離と等しい。このため、時刻Ｔ１における位置７０２は、時刻Ｔ２では、位置７１２に表示されるようにパターン画像を重畳している。同様に、時刻Ｔ１における位置７０３は、時刻Ｔ３では、位置７１３に表示されるようにパターン画像を重畳している。
【００８８】
このように、仮想物体画像に重畳されるパターン画像の移動距離を、仮想物体画像の移動距離よりも大きくすることで、当該仮想物体画像の移動距離が、実際の移動距離よりも大きいかのようにユーザに錯覚させることができる。
【００８９】
以上の説明から明らかなように、本実施形態では、複数フレームのＭＲ画像内の各物体の動きを錯覚させるために、重畳するパターン画像の移動距離を、対応する各物体画像の移動距離よりも大きくする構成とした。
【００９０】
この結果、当該物体画像の移動距離を、実際の画像空間内の移動距離よりも大きく見せることが可能となる。
【００９１】
［第３の実施形態］
上記第１及び第２の実施形態では、ＭＲ画像領域分割部４０２が、ＭＲ画像から仮想空間映像を分割する場合について説明した。しかしながら、本発明はこれに限定されない。
【００９２】
例えば、ＨＭＤ１１０に距離センサを配し、当該距離センサより出力された距離情報に基づいて、現実空間映像内の各オブジェクトのうち所定の距離にあるオブジェクトにより規定される領域を分割するようにしても良い。
【００９３】
図８は、距離情報に基づいて領域を分割する場合の、パターン画像合成部の機能構成を示す図である。図４に示すパターン画像合成部２０６Ｒ、２０６Ｌの機能と同一の機能を有する部位には、同じ参照番号を付してある。
【００９４】
図８において、８０１は特徴検出部であり、ＨＭＤ１１０より送信された距離情報（特徴情報）を取得する。８０２はＭＲ画像領域分割部であり、ＭＲ画像取得部４０１において取得されたＭＲ画像のうち、所定の距離にあるオブジェクトにより規定される領域を距離情報に基づいて識別し、当該領域を分割する。
【００９５】
８０３はパターン画像生成部であり、所定の距離にあるオブジェクトにより規定される領域を強調または抑制して見せるためのパターン画像を生成する。
【００９６】
これにより、ＭＲ画像のうち、現実空間映像内の所定の距離にあるオブジェクトにより規定される領域を、強調または抑制して見せることが可能となる。
【００９７】
なお、このときＨＭＤ１１０に配される距離センサとしては、例えば、レンジファインダが挙げられるが、これに限定されるものではない。現実物体に距離に応じたマーカを添付し、当該マーカを読み取ることで距離情報を取得するようにしてもよいし、複数のカメラを用いることにより距離情報を取得するようにしてもよい。
【００９８】
［第４の実施形態］
上記各実施形態では、パターン画像を生成するにあたり、ＭＲ画像領域分割部４０２により分割された領域を認識し、当該認識した領域に対応する領域を、予め生成されたパターン画像から抽出し、対応する領域に重畳する構成とした。
【００９９】
しかしながら、本発明はこれに限定されるものではない。例えば、前もってパターン画像を生成しておくのではなく、分割された領域を認識した後に、当該認識した領域ごとに新たにパターン画像を生成するように構成してもよい。
【０１００】
［第５の実施形態］
上記第３の実施形態では、特徴検出部において、特徴情報として距離情報を抽出することとしたが、本発明はこれに限定されない。例えば、ＭＲ画像内の各画素の明度情報を特徴情報として抽出し、ＭＲ画像領域分割部では、当該明度情報に基づいて、領域を分割するように構成してもよい。この場合、明るい領域と暗い領域とで異なるパターン画像が重畳されることとなる。
【０１０１】
［第６の実施形態］
上記各実施形態では、ＭＲ画像内の奥行き知覚の差異を是正する場合について説明したが、本発明はこれに限定されず、ＭＲ画像内を移動する所定の物体の移動速度について、ユーザに錯覚を誘発させるように構成してもよい。
【０１０２】
図９は、ＭＲ画像内を移動する所定の物体の移動速度について、ユーザの錯覚を誘発させる構成を説明するための図である。
【０１０３】
図９において、９０１は時刻Ｔ１における仮想空間映像であり、仮想物体画像９０２が含まれる。９１１は時刻Ｔ２における仮想空間映像であり、仮想物体画像９１２が含まれる。
【０１０４】
図９において、仮想物体画像９０２の移動速度を、実際の移動速度よりも速く知覚させる場合、仮想物体画像９０２に重畳するパターン画像の移動速度を仮想物体画像９０２の移動速度ｖ１よりも速くする。ここで仮想物体画像９０２に対するパターン画像の相対速度をｖ２とすると、ＭＲ画像内のパターン画像の移動速度はｖ１＋ｖ２となり、より速いオプティカルフローを提示することができる。
【０１０５】
反対に、仮想物体画像９０２の移動速度を実際の移動速度よりも遅く知覚させる場合には、仮想物体画像９０２に重畳するパターン画像の移動速度を、仮想物体画像９０２の移動速度ｖ１よりも遅くする。仮想物体画像９０２に対するパターン画像の相対速度ｖ２を負の値に設定すれば、仮想物体画像９０２の移動速度は、実際の移動速度よりも遅く知覚されることとなる。
【０１０６】
なお、上記説明では、分割された領域（仮想物体画像）９０２、９１２に対応するパターン画像の移動速度を変更することとしたが、本発明はこれに限定されない。例えば、分割された領域以外の領域（現実空間映像）９０３、９１３のパターン画像を移動させる構成としてもよい。
【０１０７】
この場合、分割された領域の移動方向と同じ方向に、分割された領域以外の領域のパターン画像を移動させる構成とすることで、分割された領域の移動速度を実際の移動速度よりも遅く知覚させることが可能となる。また、分割された領域の移動方向と反対方向に、分割された領域以外の領域のパターン画像を移動させる構成とすることで、分割された領域の移動速度を実際の移動速度よりも速く知覚させることが可能となる。
【０１０８】
［第７の実施形態］
上記第１の実施形態では、ＨＭＤ１１０の位置・姿勢計測部１１３において取得された位置・姿勢情報に基づいて、ＭＲ画像を遅滞なく生成した場合であっても生じえる奥行き知覚の差異について低減させる構成について説明した。しかしながら、本発明はこれに限定されない。
【０１０９】
一般に、ＨＭＤ１１０の位置・姿勢計測部１１３において取得された位置・姿勢情報に基づいてＭＲ画像を生成する場合、ＣＧレンダリング部２０３や現実空間映像／仮想空間映像合成部２０５に対しては、高い処理負荷がかかる。
【０１１０】
このため、ＨＭＤ１１０の動きに対して、そもそも映像生成部２０７より出力される出力画像には遅れが生じることが考えられる。
【０１１１】
そこで、本実施形態では、パターン画像を重畳することによるユーザの錯覚の効果を利用して、映像生成部２０７より出力される出力画像の遅れを目立たなくさせるための構成について説明する。
【０１１２】
なお、上記各実施形態では、ＭＲ画像を対象としてパターン画像を重畳する場合について説明したのに対して、本実施形態を含む以下の実施形態では、ＣＧ画像を対象としてパターン画像を重畳する場合について説明する。
【０１１３】
１．情報処理装置の機能構成
図１０は、本実施形態にかかる情報処理装置１０００を適用したＣＧシステムの機能構成を示す図である。図１０において、１００２はＣＧ画像生成部であり、ＨＭＤ１０２０の位置・姿勢計測部１０２１より送信された位置・姿勢情報に基づいて、記憶装置１００１より読み出された仮想データ１０１１を処理する。そして、ユーザの視点の位置・方向に対応したＣＧ画像１０１３を生成する。
【０１１４】
１００４は幾何変換量計算部であり、ＨＭＤ１０２０の位置・姿勢計測部１０２１より送信された位置・姿勢情報に基づいて、ユーザの視点の移動方向と移動距離とを計算する。１００５は、パターン画像変換部であり、記憶装置１００１より読み出したパターン画像１０１２を、幾何変換量計算部１００４において計算された移動方向及び移動距離に基づいて、平行移動変換する。
【０１１５】
１００３はパターン画像合成部であり、ＣＧ画像生成部１００２において生成されたＣＧ画像１０１３に、パターン画像変換部１００５において平行移動変換されたパターン画像１０１４を重畳する。これにより、ＣＧ画像の生成に遅延が生じた際のオプティカルフローを補う。
【０１１６】
１００６は映像生成部であり、パターン画像合成部１００３においてパターン画像が重畳されたＣＧ画像を、アナログもしくはデジタルデータに変換することで出力画像を生成し、ＨＭＤ１０２０の映像表示部１０２２へ出力する。
【０１１７】
２．情報処理装置における処理の流れ
次に、情報処理装置１０００における処理の流れについて説明する。図１１は、情報処理装置１０００における処理の流れを示すフローチャートである。
【０１１８】
ステップＳ１１０１において、初期化処理を行うと、ステップＳ１１０２では、位置・姿勢情報１０１０を取得する。
【０１１９】
ステップＳ１１０３では、取得した位置・姿勢情報１０１０に基づいて、ＣＧ画像１０１３を生成する。また、ステップＳ１１０７では、並行して、幾何変換量の計算を行い、ステップＳ１１０８では、該幾何変換量に基づいて、パターン画像１０１２を平行移動変換する。
【０１２０】
ステップＳ１１０４では、生成したＣＧ画像１０１３に、平行移動変換したパターン画像１０１４を重畳する。更に、ステップＳ１１０５では、映像生成部１００６が出力画像を生成し、生成した出力画像を出力する。
【０１２１】
ステップＳ１１０６では、処理の終了指示があったか否かを判断し、終了指示がないと判断された場合には、ステップＳ１１０２に戻り、再び位置・姿勢情報１０１０を取得する。
【０１２２】
以降、ステップＳ１１０６において、処理の終了指示があったと判断されるまで、ステップＳ１１０２からステップＳ１１０８の処理を、所定周期で繰り返す。
【０１２３】
ステップＳ１１０６において、処理の終了指示があったと判断された場合には、処理を終了する。
【０１２４】
３．情報処理装置における処理の具体例
次に、図１２を用いて、情報処理装置１０００における処理の具体例について説明する。
【０１２５】
図１２において、１２０１は、時刻Ｔ１において取得された位置・姿勢情報に基づいて生成されたＣＧ画像の一例である。１２０２は、当該位置・姿勢情報に基づいて生成されたパターン画像である。
【０１２６】
１２０３は、時刻Ｔ１＋△Ｔにおいて取得された位置・姿勢情報に基づいて生成されるべきＣＧ画像である。
【０１２７】
１２０４は、△Ｔ経過する間のオプティカルフロー量と等価となるように、時刻Ｔ１＋△Ｔにおいて取得された位置・姿勢情報に基づいて、パターン画像１２０２を平行移動変換することで生成されたパターン画像である。
【０１２８】
ここで、ＣＧ画像生成部１００２では、ＣＧ画像１２０１を生成してから、△Ｔ経過するまでに、ＣＧ画像１２０３を生成する必要があるが、処理に遅延が生じ、△Ｔ経過するまでに、ＣＧ画像１２０３を生成することができなかったとする。
【０１２９】
この場合、△Ｔ経過時点では、ＣＧ画像１２０３が生成されていないため、パターン画像合成部１００３では、１周期前のＣＧ画像１２０１に、パターン画像１２０４を重畳する（１２０５参照）。つまり、ＨＭＤ１０２０の動作に、ＣＧ画像のオプティカルフローが追いつかなかった場合には、ＣＧ画像のオプティカルフロー量に相当するパターン画像を１周期前のＣＧ画像に重畳させることで、ＣＧ画像を生成する際の処理の遅延の影響を軽減する。
【０１３０】
このように、本実施形態によれば、パターン画像を重畳することによるユーザの錯覚の効果を利用し、映像生成部１００７より出力される出力画像に遅れがないように見せることが可能となる。
【０１３１】
なお、本実施形態では、パターン画像としてチェッカー模様を用いることとしているが、本発明はこれに限定されず、例えば、ランダムドットノイズ等の他のパターン画像を用いてもよいことはいうまでもない。
【０１３２】
また、本実施形態では、幾何変換として、平行移動変換を用いる場合について説明したが、本発明はこれに限定されず、所望のオプティカルフローに補正することを目的とする幾何変換であれば、他の幾何変換を用いてもよいことはいうまでもない。
【０１３３】
例えば、ジャイロなどの地磁気を計測するセンサ情報を用いて重力方向を検出し、その情報を用いて現在の姿勢に対して重力方向へ傾く方向へ誘導するような回転変換を基準とした幾何変換が挙げられる。あるいは、加速度センサを用いて視点位置の加速度成分からそれを補正するような非線形な変換等が挙げられる。
【０１３４】
［第８の実施形態］
上記第７の実施形態では、パターン画像合成部において、ＣＧ画像に対してパターン画像を重畳する構成としたが、本発明はこれに限定されない。ＣＧ画像を生成するタイミングとパターン画像を生成するタイミングとでは、ずれがあるため、それぞれ別個に映像表示部に出力するように構成してもよい。
【０１３５】
図１３は、本実施形態における情報処理装置１３００を適用したＣＧシステムの機能構成を示す図である。図１０と同じ機能については同じ参照番号を付してある。
【０１３６】
図１０との違いは、パターン画像合成部１００３がない代わりに、ＣＧ画像用の映像生成部１３０１とパターン画像用の映像生成部１３０２を配し、それぞれの出力画像を映像表示部１０２２に出力している点である。
【０１３７】
なお、図１３の機能構成において、映像表示部１０２２は、異なる更新レートで２つの出力画像を表示することができるよう構成されているものとする。
【０１３８】
［第９の実施形態］
上記第７の実施形態では、パターン画像を常時表示する構成としたが、本発明はこれに限定されない。例えば、物体の移動速度が変化した場合に、対応するパターン画像を表示し、静止時には表示しないように構成してもよい。
【０１３９】
図１４は、本実施形態における情報処理装置１４００を適用したＣＧシステムの機能構成を示す図である。図１０と同じ機能については同じ参照番号を付してある。
【０１４０】
図１０との違いは、パターン画像合成部１００３の代わりに、パターン画像制御部１４０１が配されている点である。パターン画像制御部１４０１では、パターン画像変換部１００５において生成されたパターン画像１０１４をＣＧ画像１０１３に重畳するにあたり、位置・姿勢情報１０１０が変化した場合にのみ、パターン画像１０１４をＣＧ画像１０１３に重畳する。
【０１４１】
図１５は、本実施形態における情報処理装置１４００の処理の流れを示すフローチャートである。なお、図１１と同じ処理については、同じ参照番号を付してある。
【０１４２】
図１１との違いは、ステップＳ１１０８において生成したパターン画像を、ステップＳ１１０４において、ＣＧ画像に重畳する前に、ステップＳ１５０１において、重畳するか否かを判定している点である。
【０１４３】
ステップＳ１５０１では、ステップＳ１００２において取得された位置・姿勢情報が、１周期前に取得された位置・姿勢情報から変化しているか否かを判断し、変化していると判断された場合には、重畳すると判定し、ステップＳ１００４に進む。
【０１４４】
一方、ステップＳ１５０１において、変化していないと判断された場合には、重畳しないと判定し、ステップＳ１００５に進む。
【０１４５】
以上の説明から明らかなように、本実施形態にかかる情報処理装置では、ＨＭＤ１０２０が静止している状態では、パターン画像がＣＧ画像に重畳されることはない。このように、ＨＭＤ１０２０が静止している状態で、ＣＧ画像にパターン画像を重畳しないように制御することで、パターン画像を重畳することによる出力画像の画質の低下を、静止時においては回避することが可能となる。
【０１４６】
なお、視点が変化している場合には、ユーザは、ＣＧ画像の詳細を認識することができないため、移動中にパターン画像を重畳させても、出力画像の画質の低下の影響は小さい。
【０１４７】
［第１０の実施形態］
上記第７乃至第９の実施形態では、本発明にかかる情報処理装置をＣＧシステムに適用する場合について説明したが、本発明はこれに限定されない。
【０１４８】
例えば、手持ちで作成したハンディビデオ装置のビデオ画像において、手ぶれが大きいビデオ画像を再生する場合の再生システムに適用することも可能である。
【０１４９】
具体的には、ハンディビデオ装置などに搭載されているジャイロ情報をビデオ画像とともに記録しておき、当該ビデオ画像を再生システムにおいて再生する際に、ジャイロ情報に基づいてパターン画像を生成し、再生画像に重畳するように構成してもよい。
【０１５０】
このように構成することで、ユーザが意図していないビデオ画像のゆれを軽減させることが可能となる。
【０１５１】
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【０１５２】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録したコンピュータ読取可能な記憶媒体を、システムあるいは装置に供給するよう構成することによっても達成されることはいうまでもない。この場合、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することにより、上記機能が実現されることとなる。なお、この場合、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１５３】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピ（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。
【０１５４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現される場合に限られない。例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１５５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、前述した実施形態の機能が実現される場合も含まれる。つまり、プログラムコードがメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって実現される場合も含まれる。
【特許請求の範囲】
【請求項１】
表示装置に表示する表示画像を生成する情報処理装置であって、
前記表示画像に表示されるオブジェクトまでの距離を取得する取得手段と、
前記取得された距離に基づいて、前記表示画像を複数の領域に分割する分割手段と、
前記分割手段により分割された領域のうちの少なくとも１つの領域に、重畳するパターン画像を、前記取得手段により取得された距離に基づいて、生成する生成手段と、
前記生成されたパターン画像を、前記複数の領域のうちの少なくとも１つに、重畳する重畳手段と、
前記パターン画像が重畳された表示画像を前記表示装置に出力する出力手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記分割手段は、
前記表示画像により形成される画像空間において、予め定められた特徴情報に対応するオブジェクトにより規定される領域を分割することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記分割手段は、
前記表示画像により形成される画像空間において、予め定められた奥行き方向の距離に存在するオブジェクトにより規定される領域を分割することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記分割手段は、
前記表示画像により形成される画像空間において、ユーザによって注視されるべきオブジェクトにより規定される領域を分割することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記分割手段は、
前記表示画像により形成される画像空間において、画像情報が変化しているオブジェクトにより規定される領域を分割することを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記生成手段は、
予め定められたパターン画像に対して、幾何変換を施すことにより、前記パターン画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記生成手段は、
予め定められたパターン画像に対して、画素単位の変換を施すことにより、前記パターン画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記生成手段により生成されたパターン画像を格納する格納手段を更に備え、
前記重畳手段は、
前記格納手段に格納された前記生成されたパターン画像を読み出し、前記複数の領域のうちの１つに、または複数の領域それぞれに重畳することを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記生成手段は、
前記複数の領域それぞれに、異なるパターン画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記表示装置は、頭部装着型の表示装置であり、
前記分割手段は、
前記頭部装着型の表示装置より出力された位置・姿勢情報に対応したオブジェクトにより規定される領域を分割することを特徴とする請求項２に記載の情報処理装置。
【請求項１１】
前記表示装置は、頭部装着型の表示装置であり、
前記生成手段は、
前記頭部装着型の表示装置より出力された位置・姿勢情報に基づいて、前記重畳するパターン画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項１２】
前記重畳手段は、前記予め定められた特徴情報に基づいて、前記分割手段により分割された複数の領域の中から選択された領域に対して、前記生成されたパターン画像を重畳することを特徴とする請求項２に記載の情報処理装置。
【請求項１３】
表示装置に表示する表示画像を生成する情報処理装置であって、
画像情報を取得する取得手段と、
前記画像情報に重畳するパターン画像を生成する生成手段と、
前記表示装置に表示する表示画像に対するユーザの視点変化に応じて、前記パターン画像を幾何変換する幾何変換量を計算する計算手段と、
前記幾何変換量に基づいて、前記パターン画像を制御する制御手段と、を備え、
前記制御手段により制御されたパターン画像を前記画像情報に重畳することで、表示画像を生成することを特徴とする情報処理装置。
【請求項１４】
前記制御手段は、前記ユーザの視点変化に応じて、前記生成されたパターン画像の幾何変換を制御することを特徴とする請求項１３に記載の情報処理装置。
【請求項１５】
表示装置に表示する表示画像を生成する情報処理装置における情報処理方法であって、
前記表示画像に表示されるオブジェクトまでの距離を取得する取得工程と、
前記取得された距離に基づいて、前記表示画像を複数の領域に分割する分割工程と、
前記分割工程において分割された複数の領域のうちの少なくとも１つの領域に、重畳するパターン画像を、前記取得工程において取得された距離に基づいて、生成する生成工程と、
前記生成されたパターン画像を、前記複数の領域のうちの少なくとも１つに、重畳する重畳工程と、
前記パターン画像が重畳された表示画像を前記表示装置に出力する出力工程と
を備えることを特徴とする情報処理方法。
【請求項１６】
表示装置に表示する表示画像を生成する情報処理装置における情報処理方法であって、
画像情報を取得する取得工程と、
前記画像情報に重畳するパターン画像を生成する生成工程と、
前記表示装置に表示する表示画像に対するユーザの視点変化に応じて、前記パターン画像を幾何変換する幾何変換量を計算する計算工程と、
前記幾何変換量に基づいて、前記パターン画像を制御する制御工程と、を備え、
前記制御工程において制御されたパターン画像を前記画像情報に重畳することで、表示画像を生成することを特徴とする情報処理方法。
【請求項１７】
請求項１５または１６に記載の情報処理方法をコンピュータによって実行させるためのプログラムを格納したコンピュータ読取可能な記憶媒体。
【請求項１８】
請求項１５または１６に記載の情報処理方法をコンピュータによって実行させるためのプログラム。
【請求項１】
表示装置に表示する表示画像を生成する情報処理装置であって、
前記表示画像に表示されるオブジェクトまでの距離を取得する取得手段と、
前記取得された距離に基づいて、前記表示画像を複数の領域に分割する分割手段と、
前記分割手段により分割された領域のうちの少なくとも１つの領域に、重畳するパターン画像を、前記取得手段により取得された距離に基づいて、生成する生成手段と、
前記生成されたパターン画像を、前記複数の領域のうちの少なくとも１つに、重畳する重畳手段と、
前記パターン画像が重畳された表示画像を前記表示装置に出力する出力手段と
を備えることを特徴とする情報処理装置。
【請求項２】
前記分割手段は、
前記表示画像により形成される画像空間において、予め定められた特徴情報に対応するオブジェクトにより規定される領域を分割することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記分割手段は、
前記表示画像により形成される画像空間において、予め定められた奥行き方向の距離に存在するオブジェクトにより規定される領域を分割することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記分割手段は、
前記表示画像により形成される画像空間において、ユーザによって注視されるべきオブジェクトにより規定される領域を分割することを特徴とする請求項２に記載の情報処理装置。
【請求項５】
前記分割手段は、
前記表示画像により形成される画像空間において、画像情報が変化しているオブジェクトにより規定される領域を分割することを特徴とする請求項２に記載の情報処理装置。
【請求項６】
前記生成手段は、
予め定められたパターン画像に対して、幾何変換を施すことにより、前記パターン画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項７】
前記生成手段は、
予め定められたパターン画像に対して、画素単位の変換を施すことにより、前記パターン画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項８】
前記生成手段により生成されたパターン画像を格納する格納手段を更に備え、
前記重畳手段は、
前記格納手段に格納された前記生成されたパターン画像を読み出し、前記複数の領域のうちの１つに、または複数の領域それぞれに重畳することを特徴とする請求項１に記載の情報処理装置。
【請求項９】
前記生成手段は、
前記複数の領域それぞれに、異なるパターン画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項１０】
前記表示装置は、頭部装着型の表示装置であり、
前記分割手段は、
前記頭部装着型の表示装置より出力された位置・姿勢情報に対応したオブジェクトにより規定される領域を分割することを特徴とする請求項２に記載の情報処理装置。
【請求項１１】
前記表示装置は、頭部装着型の表示装置であり、
前記生成手段は、
前記頭部装着型の表示装置より出力された位置・姿勢情報に基づいて、前記重畳するパターン画像を生成することを特徴とする請求項１に記載の情報処理装置。
【請求項１２】
前記重畳手段は、前記予め定められた特徴情報に基づいて、前記分割手段により分割された複数の領域の中から選択された領域に対して、前記生成されたパターン画像を重畳することを特徴とする請求項２に記載の情報処理装置。
【請求項１３】
表示装置に表示する表示画像を生成する情報処理装置であって、
画像情報を取得する取得手段と、
前記画像情報に重畳するパターン画像を生成する生成手段と、
前記表示装置に表示する表示画像に対するユーザの視点変化に応じて、前記パターン画像を幾何変換する幾何変換量を計算する計算手段と、
前記幾何変換量に基づいて、前記パターン画像を制御する制御手段と、を備え、
前記制御手段により制御されたパターン画像を前記画像情報に重畳することで、表示画像を生成することを特徴とする情報処理装置。
【請求項１４】
前記制御手段は、前記ユーザの視点変化に応じて、前記生成されたパターン画像の幾何変換を制御することを特徴とする請求項１３に記載の情報処理装置。
【請求項１５】
表示装置に表示する表示画像を生成する情報処理装置における情報処理方法であって、
前記表示画像に表示されるオブジェクトまでの距離を取得する取得工程と、
前記取得された距離に基づいて、前記表示画像を複数の領域に分割する分割工程と、
前記分割工程において分割された複数の領域のうちの少なくとも１つの領域に、重畳するパターン画像を、前記取得工程において取得された距離に基づいて、生成する生成工程と、
前記生成されたパターン画像を、前記複数の領域のうちの少なくとも１つに、重畳する重畳工程と、
前記パターン画像が重畳された表示画像を前記表示装置に出力する出力工程と
を備えることを特徴とする情報処理方法。
【請求項１６】
表示装置に表示する表示画像を生成する情報処理装置における情報処理方法であって、
画像情報を取得する取得工程と、
前記画像情報に重畳するパターン画像を生成する生成工程と、
前記表示装置に表示する表示画像に対するユーザの視点変化に応じて、前記パターン画像を幾何変換する幾何変換量を計算する計算工程と、
前記幾何変換量に基づいて、前記パターン画像を制御する制御工程と、を備え、
前記制御工程において制御されたパターン画像を前記画像情報に重畳することで、表示画像を生成することを特徴とする情報処理方法。
【請求項１７】
請求項１５または１６に記載の情報処理方法をコンピュータによって実行させるためのプログラムを格納したコンピュータ読取可能な記憶媒体。
【請求項１８】
請求項１５または１６に記載の情報処理方法をコンピュータによって実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１３−６９３３２（Ｐ２０１３−６９３３２Ａ）
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願番号】特願２０１２−２７４０４８（Ｐ２０１２−２７４０４８）
【出願日】平成２４年１２月１４日（２０１２．１２．１４）
【分割の表示】特願２００８−１９５３１１（Ｐ２００８−１９５３１１）の分割
【原出願日】平成２０年７月２９日（２００８．７．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年４月１８日（２０１３．４．１８）
【国際特許分類】
【出願日】平成２４年１２月１４日（２０１２．１２．１４）
【分割の表示】特願２００８−１９５３１１（Ｐ２００８−１９５３１１）の分割
【原出願日】平成２０年７月２９日（２００８．７．２９）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]