三次元画像表示装置、三次元画像表示方法およびそのプログラムを記憶した記憶媒体
【課題】表示する三次元画像の表示領域に起因する不自然な画像表示を防止して、立体感や臨場感のある三次元画像表示装置、三次元画像表示方法およびそのプログラムを記憶した記憶媒体を得ることを目的とする。
【解決手段】三次元画像表示装置は、表示させる三次元画像に応じた光を投影する投影装置１０と、投影装置１０からの光を散乱させて三次元画像を投影表示するスクリーン２０と、表示させる三次元画像に関する三次元画像情報５０と、三次元画像情報５０のうちスクリーン２０への投影表示対象となる投影画像部分に関するマスク情報６０と、に基づいて、三次元画像情報５０の中から投影画像部分を選択してスクリーン２０に表示させるよう投影装置１０またはスクリーン２０の少なくとも一方を制御する選択表示制御部７０と、を備える。
【解決手段】三次元画像表示装置は、表示させる三次元画像に応じた光を投影する投影装置１０と、投影装置１０からの光を散乱させて三次元画像を投影表示するスクリーン２０と、表示させる三次元画像に関する三次元画像情報５０と、三次元画像情報５０のうちスクリーン２０への投影表示対象となる投影画像部分に関するマスク情報６０と、に基づいて、三次元画像情報５０の中から投影画像部分を選択してスクリーン２０に表示させるよう投影装置１０またはスクリーン２０の少なくとも一方を制御する選択表示制御部７０と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、三次元画像表示装置、三次元画像表示方法およびそのプログラムを記憶した記憶媒体に関するものである。
【背景技術】
【０００２】
近年、表示デバイスの高解像度化、計算機能力の向上、ディジタル信号技術の進歩などに伴って、比較的安価に裸眼三次元画像表示システムを実現できる環境が整いつつあり、既にパララックスバリアを使った裸眼三次元画像表示機能を持った携帯電話やパーソナルコンピュータなどが商品化されている。しかしながら、これらの商品に使われている二眼式による三次元画像の表示方法では、決まった位置から画像を見る必要がある。このため、画像を立体視させるためには、観察者が一人に限定されるという欠点や、画像の観測位置が限定されるという欠点があった。
【０００３】
裸眼三次元画像を表示する方法の中で、インテグラルフォトグラフィ（ＩＰ）方式は、複数の観察者が同時に画像を観察することが出来る方法である。ＩＰ方式では、画像の観測位置が変われば画像の観測位置に伴って画像の見え方が変化するという特徴を持っており、画像表示の有力な方式の一つであると考えられている。
【特許文献１】２００４−３２５５４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＩＰ方式を含む従来の三次元画像表示方法では、液晶ディスプレイなどの表示装置を使っているので、液晶ディスプレイの枠や画枠の位置に観察者のピントが引き込まれてしまい、表示する画像の立体感を失う場合があるという問題があった。
【０００５】
また、投影装置を使用することによってスクリーンの端部を目立たなくした場合であっても、スクリーンに映った被写体の背景と、被写体が投影される位置の背景（スクリーン配設位置の背景）とが異なるものであるため、画像の投影範囲が知覚され、それにより表示する画像の立体感や臨場感が損なわれる場合があるという問題があった。
【０００６】
本発明は、上記に鑑みてなされたものであって、表示する三次元画像の表示領域に起因する不自然な画像表示を防止して、立体感や臨場感のある三次元画像を表示する三次元画像表示装置、三次元画像表示方法およびそのプログラムを記憶した記憶媒体を得ることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明は、表示させる三次元画像に応じた光を投影する投影装置と、前記投影装置からの光を散乱させて前記三次元画像を投影表示するスクリーンと、表示させる三次元画像に関する三次元画像情報と、前記三次元画像情報のうち前記スクリーンへの投影表示対象となる投影画像部分に関する画像マスク情報と、に基づいて、前記三次元画像情報の中から前記投影画像部分を選択して前記スクリーンに表示させるよう前記投影装置またはスクリーンの少なくとも一方を制御する選択表示制御部と、を備えるものである。
【発明の効果】
【０００８】
本発明によれば、表示する三次元画像の表示領域に起因する不自然な画像表示を防止して、立体感や臨場感のある三次元画像を表示する三次元画像表示装置、三次元画像表示方法およびそのプログラムを記憶した記憶媒体が得られる。
【発明を実施するための最良の形態】
【０００９】
本発明の第１の発明の三次元画像表示装置は、表示させる三次元画像に応じた光を投影する投影装置と、投影装置からの光を散乱させて三次元画像を投影表示するスクリーンと、表示させる三次元画像に関する三次元画像情報と、三次元画像情報のうちスクリーンへの投影表示対象となる投影画像部分に関する画像マスク情報と、に基づいて、三次元画像情報の中から投影画像部分を選択してスクリーンに表示させるよう投影装置またはスクリーンの少なくとも一方を制御する選択表示制御部と、を備えるものであり、三次元画像のうち表示させたい画像部分を選択的に表示できる。
【００１０】
第２の発明の三次元画像表示装置は、第１の発明の三次元画像表示装置において、選択表示制御部は、投影画像部分の色をスクリーンに投影させるとともに投影画像部分以外の色をスクリーンに投影させないよう、投影装置を制御するものであり、色を表示させるか否かを制御することによって三次元画像のうち表示させたい画像部分を選択的に表示できる。
【００１１】
第３の発明の三次元画像表示装置は、第１または第２の発明の三次元画像表示装置において、投影装置とスクリーンとの間に配置されるとともに、投影装置からの光をスクリーンに反射する光反射部をさらに備え、投影装置は、光反射部を介してスクリーンに光を投影するものであり、投影装置とスクリーンとの配設間隔を短くできる。
【００１２】
第４の発明の三次元画像表示装置は、第３の発明の三次元画像表示装置において、光反射部は、空間光変調器であり、選択表示制御部は、空間光変調器に入射してくる光のうち投影画像部分の画素に対応する光を空間光変調器に反射させるとともに投影画像部分以外の画素に対応する光を空間光変調器に反射させないよう空間光変調器を制御するものであり、空間変調器の制御によって詳細に三次元画像を選択表示できる。
【００１３】
第５の発明の三次元画像表示装置は、第１〜第４の発明の三次元画像表示装置において、選択表示制御部は、投影画像部分とスクリーンの配設位置の背景画像とを合成するとともに、合成後の三次元画像をスクリーンに投影表示させるものであり、スクリーンの配設位置の背景画像中に投影画像部分を表示できる。
【００１４】
第６の発明の三次元画像表示装置は、第１〜第４の発明の三次元画像表示装置において、選択表示制御部は、投影画像部分を可視光でスクリーンに投影するとともに投影画像部分以外の画像部分を可視光以外の光でスクリーンに投影するよう投影装置を制御し、スクリーンは、投影装置によって投影された光のうち可視光のみを散乱させることによって三次元画像を投影表示するものであり、画像を可視光を用いて投影するか否かを制御することによって三次元画像のうち表示させたい画像部分を選択的に表示できる。
【００１５】
第７の発明の三次元画像表示装置は、第１〜第４の発明の三次元画像表示装置において、選択表示制御部は、投影画像部分の画素に対応する投影光を散乱させるとともに投影画像部分以外の画素に対応する投影光を透過させるようスクリーンを制御することを特徴とする請求項１〜４のいずれか１つに記載の三次元画像表示装置。スクリーンに投影光を散乱させるか否かを制御することによって三次元画像のうち表示させたい画像部分を選択的に表示できる。
【００１６】
第８の発明の三次元画像表示装置は、第１〜第７の発明の三次元画像表示装置において、選択表示制御部による投影画像部分の選択表示処理を有効にするモードと選択表示制御部による投影画像部分の選択表示処理を無効にするモードとを、切替えるモード切替部をさらに備えるものであり、必要に応じて投影画像部分の選択表示処理を行なうことができる。
【００１７】
第９の発明の三次元画像表示装置は、第８の発明の三次元画像表示装置において、モード切替部は、ユーザからの指示情報に基づいて、投影画像部分の選択表示処理を有効にするモードと投影画像部分の選択表示処理を無効にするモードとを、切替えるものであり、ユーザが所望する態様で三次元画像を表示することができる。
【００１８】
第１０の発明の三次元画像表示装置は、第８の発明の三次元画像表示装置において、三次元画像情報から三次元画像の特徴を抽出する特徴抽出部をさらに備え、モード切替部は、特徴抽出部が抽出した三次元画像の特徴に基づいて、投影画像部分の選択表示処理を有効にするモードと投影画像部分の選択表示処理を無効にするモードとを、切替えるものであり、三次元画像の特徴に応じた態様で三次元画像を表示することができる。
【００１９】
第１１の発明の三次元画像表示装置は、第１〜第１０の発明の三次元画像表示装置において、三次元画像情報は、投影表示される三次元画像の色に関する色情報および投影表示される三次元画像の表示方向に関する方向情報を有し、選択表示制御部は、色情報に対応する色を方向情報に対応する方向へ三次元画像を表示投影するよう投影装置を制御するものであり、色情報と方向情報に応じた適切な三次元画像を表示することができる。
【００２０】
第１２の発明の三次元画像表示装置は、第１１の発明の三次元画像表示装置においてスクリーンは、三次元画像の画像投影面にほぼ平行に配置されるとともに、スクリーンと一体化されたレンズシートによって三次元画像を投影表示するものであり、色情報と方向情報に応じた適切な三次元画像をレンズシートによって表示できる。
【００２１】
第１３の発明の三次元画像表示装置は、第１２の発明の三次元画像表示装置において、レンズシートは、蝿の目レンズであり、色情報と方向情報に応じた適切な三次元画像を蝿の目レンズによって表示できる。
【００２２】
第１４の発明の三次元画像表示装置は、第１２の発明の三次元画像表示装置において、レンズシートは、レンチキュラレンズであり、色情報と方向情報に応じた適切な三次元画像をレンチキュラレンズによって表示できる。
【００２３】
第１５の発明の三次元画像表示装置は、第１〜第１４の発明の三次元画像表示装置において、投影画像部分をスクリーンへ投影表示させる際に投影画像部分を遮光する遮光マスク量と投影画像部分以外を遮光する遮光マスク量との間の中間マスク量が画像マスク情報に設定されている場合、選択表示制御部は、中間マスク量が設定されている投影画像部分とスクリーンの配設位置の背景画像とを、中間マスク量に基づいて合成するとともに、合成後の三次元画像をスクリーンに投影表示させるものであり、所定の遮光量によって投影画像部分を遮光しつつ、この投影画像部分と背景画像とを合成して三次元画像を表示できる。
【００２４】
第１６の発明の三次元画像表示装置は、第１〜第１５の発明の三次元画像表示装置において、複数方向から被写体画像を撮像する撮像部と、撮像部が複数方向から撮像した各被写体画像を三次元画像として合成する三次元画像合成部と、をさらに備え、スクリーンは、三次元画像合成部が合成した三次元画像を投影表示するものであり、撮像した被写体画像の三次元画像を表示することができる。
【００２５】
第１７の発明の三次元画像表示方法は、表示させる三次元画像に関する三次元画像情報と、三次元画像情報のうちスクリーンへの投影表示対象となる投影画像部分に関する画像マスク情報と、に基づいて、三次元画像情報の中から投影画像部分を選択する選択ステップと、選択された投影画像部分に応じた光をスクリーンに投影する投影ステップと、投影された光を散乱させて投影画像部分をスクリーンに投影表示する表示ステップと、を含むものであり、三次元画像のうち表示させたい画像部分を選択的に表示できる。
【００２６】
第１８の発明の三次元画像表示方法のプログラムを記憶した記憶媒体は、第１７の発明の三次元画像表示方法のプログラムを記憶した記憶媒体であり、三次元画像のうち表示させたい画像部分を選択的に表示させることができる。
【００２７】
以下の説明において、三次元画像を投影する方法については、種々の方法があるが、例えば図７に示すようにレンズシートを使ったＩＰ方式を使う。このＩＰ方式では、投影装置１０によって、レンズアレイ１５を貼り合せたスクリーン２０に、レンズのピッチ１１に対応した二次元の画像１２を投影する。これにより、観察者（視者）８０は、立体感のある三次元画像を観察することが出来る。図７に示したレンズシート（レンズアレイ１５を貼り合せたスクリーン２０）は、蝿の目レンズであってもよいし、レンチキュラレンズであってもよい。以下、図を参照しながら、発明を実施する最良の形態について説明する。
【００２８】
（実施の形態１）
図１は本発明の実施の形態１に係る三次元画像表示装置の構成を示す図である。図１において、１０は三次元画像に関する情報（後述の三次元画像情報５０）に基づいて画像の投影処理を行なう投影装置、２０は投影装置１０によって投影される画像を表示するスクリーン、５０はスクリーン２０に投影する画像の三次元画像情報、３０は三次元画像情報５０のうち画像の色に関する色情報、４０は三次元画像情報５０のうち画像への光線方向に関する方向情報（各色情報の色を表示する方向に関する情報）、６０は三次元画像情報５０の有効部分（スクリーン２０に表示させる領域）を示すマスク情報（画像マスク情報）、７０は三次元画像情報５０とマスク情報６０に基づいて投影装置１０やスクリーン２０を制御する選択表示制御部７０である。
【００２９】
選択表示制御部７０は、色情報３０と方向情報４０を持った三次元画像情報５０に応じた画像をスクリーン２０に表示させる際に、マスク情報６０に基づいて、三次元画像情報５０に含まれる三次元画像の一部（投影表示対象）を選択的に表示するよう、投影装置１０やスクリーン２０を制御する。
【００３０】
投影装置１０は、画像の投影方向（投影面）にほぼ平行に配置されたスクリーン２０に、三次元画像を投影する。本実施の形態の投影装置１０は、選択表示制御部７０からの指示に基づき、三次元画像情報５０の一部を用いてスクリーン２０に三次元画像の一部を投影する。具体的には、投影装置１０は、投影表示対象となる画像部分（投影画像部分）の色をスクリーン２０に投影するとともに投影表示対象とならない画像部分の色をスクリーン２０に投影しない。これにより、投影画像を見る人（観察者）に対して三次元画像の見せたい部分だけを投影できるので、観察者にスクリーン２０（表示装置）の枠や画枠を意識させることなく、立体感と臨場感のある三次元画像を表示することができる。なお、本実施の形態に係るマスク情報６０は、三次元画像のうちスクリーン２０に表示させたい三次元画像の部分（データ）を表していることとする。
【００３１】
図２は、スクリーンへの三次元画像の投影方向を説明するための図である。スクリーン２０と投影装置１０は、投影装置１０からスクリーン２０への三次元画像の投影方向によって、光線の透過と散乱とを切替えることができる。
【００３２】
スクリーン２０は、スクリーン２０の主面（裏面）に所定範囲の入射角度で入射してくる光線のみを透過させ、それ以外の光線を散乱させる性質を有している。例えば、図２に示すスクリーン２０は、斜線で示される角度の範囲（角度範囲２１）から入射する光線２２を透過させ、この角度範囲２１の範囲外から入射してくる光線２３を散乱させる。
【００３３】
従って、光線２３の方向にプロジェクタ（投影装置１０）を配置すれば、投影装置１０からスクリーン２０への光線はスクリーン２０で散乱する。そして、投影装置１０の配置される方向とは異なる他の方向（角度範囲２１）からの光線は、スクリーン２０を透過する。このため、観察者８０が図２に示す方向Ｄ１（観察者８０側に延長された角度範囲２１）からスクリーン２０を見れば、観察者８０は投影装置１０によるスクリーン２０への投影画像を見ることが出来る。
【００３４】
本実施の形態では、投影装置１０の枠（投影エリアの外縁部）に三次元画像（投影される三次元画像の外縁部）がかからないよう、スクリーン２０に三次元画像を投影できる範囲よりも狭い範囲で三次元画像を投影させる。このため、スクリーン２０に投影できる範囲よりも狭い範囲の物体像または人物像だけをマスク情報６０に設定しておく。選択表示制御部７０は、マスク情報６０に基づいて、スクリーン２０に投影させる三次元画像の部分を画素単位で制御する。具体的には、選択表示制御部７０は、マスク情報６０に対応する色情報によって示される色だけを投影するよう投影装置１０を制御する。
【００３５】
投影装置１０は、選択表示制御部７０からの指示に基づいて、画素単位で三次元画像を投影する。これにより、観察者８０からスクリーン２０を見ると、三次元画像の枠（外縁部）は目立つことない。また、人や物の撮影された側の背景を映す代わりに、人や物だけを表示して、その背景には、再生側の背景（スクリーン２０の背景）を表示する。したがって、投影装置１０は、物体像や人物像が宙に浮いたようにスクリーン２０に画像を投影することができる。これにより、投影装置１０は、その場にない物体や人物が、あたかもそこに在る又はあたかもそこに居るかのように見えるよう、スクリーン２０に三次元画像を投影表示させることが可能となる。
【００３６】
なお、本実施の形態では、マスク情報６０が三次元画像のうちスクリーン２０に表示させたい三次元画像の部分を表している場合について説明したが、マスク情報６０は三次元画像のうちスクリーン２０に表示させたくない三次元画像の部分を表してもよい。
【００３７】
また、三次元画像表示装置は、選択表示制御部７０（三次元画像の選択的な表示機能）（選択表示処理）を有効にするモードと無効にするモードとを切替えるモード切替え部を備える構成としてもよい。これにより、三次元画像表示装置は、三次元画像の選択的な表示と全ての三次元画像の表示との両方を行なうことが可能となる。例えば、撮影側の背景（人や物を撮影した際の背景）をスクリーン２０に映したい場合には、選択表示制御部７０の機能を無効にする。
【００３８】
モード切替え部は、例えばユーザ（観測者）から外部入力され指示に基づいて、有効モードと無効モードを切替える。これにより、ユーザ所望のモードで三次元画像を表示することが可能となる。
【００３９】
また、三次元画像表示装置は、三次元画像情報５０から画像の特徴を抽出する特徴抽出部と、抽出された画像の特徴に基づいてモード切替え部を制御するモード制御部を備える構成としてもよい。
【００４０】
三次元画像表示装置が特徴抽出部とモード制御部を備える場合、三次元画像表示装置は、三次元画像情報５０に基づいて選択表示制御部７０を有効にするモードと無効にするモードとの何れを用いるかを自動判断する。例えば、三次元画像表示装置は、撮影された画像の背景が単一のテクスチャである場合にモードを有効にする（撮影側の背景は表示しない）と判断する。
【００４１】
また、三次元画像表示装置は、三次元画像の表示方法として多眼式やインテグラルフォトグラフィ方式などのように光線の色と方向を再現して画像を表示してもよい。この場合、三次元画像表示装置は、色情報を方向情報の方向に表示投影する。図８に示すように、三次元画像表示装置は、例えば色情報１０１、色情報１０２、色情報１０３、色情報１０４を、それぞれ方向情報１０５、方向情報１０６、方向情報１０７、方向情報１０８に対応する方向に表示投影する。
【００４２】
また、三次元画像表示装置は、インテグラルフォトグラフィ方式で画像を表示する場合、図７に示した色情報に従って投影された光線（色情報により示される色）をレンズアレイ１５の効果によって方向情報に対応する方向に投影する。
【００４３】
また、マスク情報６０は、三次元画像のうちスクリーン２０に表示させたい三次元画像の部分（マスク情報６０がオンの部分）を示す場合や、三次元画像のうちスクリーン２０に表示させない三次元画像の部分を示す場合に限らず、マスク情報６０にこれらの中間を示すデータ（オンオフ以外の中間データ）を含めてもよい。
【００４４】
例えば、被写体がガラスなどの透明の場合、被写体はある程度透けて見える必要があるので、マスク情報６０のオン（投影表示させる画像部分を遮光する遮光マスク量）とオフ（投影表示させない画像部分を遮光する遮光マスク量）の中間値によって被写体の部分も撮影された画像と再生側の背景を合わせて表示する。三次元画像表示装置は、中間値（中間マスク量）に応じた透明度で被写体の三次元画像を表示する。
【００４５】
ところで、本実施の形態で説明した画像の投影処理は、三次元画像表示装置が所定の記録媒体に記録されたプログラムを読み出して実行してもよい。記録媒体は、例えばフレキシブルディスク（ＦＤ）、ＣＤ、ＭＯディスク、ＤＶＤ、光磁気ディスク、ハードディスクドライブ（ＨＤＤ）、ＲＡＭ、ＲＯＭなどである。
【００４６】
また、三次元画像表示装置は、複数の方向の被写体画像を撮像する撮像部、複数の方向の被写体画像から三次元画像を合成する三次元画像合成部、必要に応じて三次元画像の圧縮復元を行なうとともに遠隔地と三次元画像の通信を行なう三次元画像通信部を備える構成としてもよい。
【００４７】
三次元画像表示装置が撮像部を備える場合、三次元画像表示装置は例えば撮像部が撮像した被写体画像を用いてスクリーン２０に三次元画像を投影する。また、三次元画像表示装置が三次元画像合成部を備える場合、三次元画像表示装置は例えば撮像部が撮像した複数方向の被写体画像から三次元画像を合成し、合成した三次元画像をスクリーン２０に投影する。また、三次元画像表示装置が三次元画像通信部を備える場合、三次元画像表示装置は例えば遠隔地（外部装置）から送られてくる三次元画像を三次元画像通信部によって受信し、受信した三次元画像をスクリーン２０に投影する。また、三次元画像表示装置は、必要に応じて、被写体画像や三次元画像を遠隔地に送信してもよい。
【００４８】
このように、実施の形態１によれば、マスク情報６０に基づいて、三次元画像を投影できる範囲よりも狭い範囲で三次元画像をスクリーン２０に投影させるので、三次元画像の表示領域に起因する不自然な画像表示を防止して、立体感や臨場感のある三次元画像を表示することが可能となる。
【００４９】
また、選択表示制御部７０が、マスク情報６０に対応する色情報によって示される色だけを投影するよう投影装置１０を制御するので、投影装置１０を容易に制御して立体感や臨場感のある三次元画像を容易に表示することが可能となる。
【００５０】
（実施の形態２）
次に、本発明の実施の形態２について説明する。実施の形態２では、鏡（光反射部）を用いて投影装置１０からの三次元画像をスクリーン２０に投影する。図３は、実施の形態２に係る三次元画像表示装置の鏡の配設位置を説明するための図であり、三次元画像表示装置内における鏡９０の設置例を示している。図３では、三次元画像表示装置の一部として、投影装置１０、スクリーン２０、鏡９０を示している。
【００５１】
三次元画像表示装置では、投影装置１０からの光線３１が鏡９０で反射され、光線３１が反射光３２としてスクリーン２０に投射される。これにより、投影装置１０とスクリーン２０との間の距離を投影距離（投影装置１０とスクリーン２０の配設間隔）に合わせる必要がなくなるので、三次元画像表示装置を小さな構成にすることが可能となる。
【００５２】
実施の形態２の三次元画像表示装置も実施の形態１の三次元画像表示装置と同様に、観察者８０から見て三次元画像の枠は目立つことなく、物体像や人物像が宙に浮いたように三次元画像をスクリーン２０に投影することが可能となる。
【００５３】
なお、本実施の形態では、三次元画像表示装置が１つの鏡９０によって投影装置１０からの光線３１をスクリーン２０へ反射する場合について説明したが、三次元画像表示装置が複数枚の鏡９０を備える構成としてもよい。この場合、各鏡９０によって投影装置１０からの光線３１を順番に反射しスクリーン２０まで光線３１を導く。これにより、三次元画像表示装置の備える鏡９０が１枚である場合よりも、投影装置１０とスクリーン２０の間の配設間隔を短くすることが可能となる。したがって、三次元画像表示装置の備える鏡９０が１枚である場合よりも、三次元画像表示装置を小さく構成することが可能となる。
【００５４】
ところで、三次元画像表示装置の鏡９０を空間光変調器で構成してもよい。この場合、鏡９０を、三次元画像の画素単位で反射制御や透過制御できる液晶などの空間光変調器で構成しておく。そして、選択表示制御部７０は、空間光変調器の画素と三次元画像情報５０の画素とが対応するよう空間光変調器を制御する。このとき、選択表示制御部７０は、マスク情報６０に対応する三次元画像だけを選択的に空間光変調器で鏡９０のように反射させ、この反射光をスクリーン２０に投影することによって、三次元画像の枠は目立つことなく、物体像や人物像が宙に浮いたように三次元画像をスクリーン２０に投影することが可能となる。
【００５５】
図４は、実施の形態２に係る三次元画像表示装置の動作手順を示すフローチャートである。図４では、三次元画像表示装置の空間光変調器を用いた画像投影に関する動作手順を示している。
【００５６】
三次元画像表示装置では、予め投影装置１０と、鏡９０を構成する空間光変調器とに関するキャリブレーションを行なっておく。これにより、三次元画像表示装置では、投影画像の画素と、空間光変調器の画素との対応関係を予め認識しておく。
【００５７】
三次元画像表示装置の選択表示制御部７０は、まずマスク情報６０で指定されている画素（選択表示させる画像の画素）を空間光変調器の画素に変換する（Ｓ１）。次に、選択表示制御部７０は、マスク情報６０に対応する部分（画素）だけを反射し、それ以外の部分は透過するよう空間光変調器の設定（制御）を行なう（Ｓ２）。これにより、三次元画像表示装置は、投影装置１０からの三次元画像のうち、空間光変調器で所定の画素（マスク情報６０に対応する画素）だけを反射させて三次元画像をスクリーン２０に投影する（Ｓ３）。
【００５８】
このように、実施の形態２によれば、鏡９０を用いてスクリーン２０に三次元画像を投影するので三次元画像表示装置の構成を小さな構成にすることが可能となる。また、投影装置１０からの光線３１を反射する鏡９０として空間光変調器を用いるので、スクリーン２０に投影させる三次元画像の部分を空間光変調器によって画素単位で制御できる。
【００５９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。実施の形態３では、マスク情報６０に対応する被写体の一部分（被写体の周縁部）以外（人物像など）は、三次元画像を再生する側の背景画像（スクリーン２０の配設位置の背景）と合成する。図５は、実施の形態３に係る三次元画像表示装置の動作手順を示すフローチャートである。本実施の形態では、三次元画像を再生する側の背景画像を複数方向から撮像した撮影画像を準備しておき、三次元画像表示装置がこの背景画像（三次元画像）を外部装置（画像の撮像装置など）から取得することが出来るものとする。
【００６０】
三次元画像表示装置の選択表示制御部７０は、まず、マスク情報６０がオフの部分に対応する三次元画像であって、再生する側の背景に対応する三次元画像を取得する（Ｓ１１）。
【００６１】
次に、選択表示制御部７０は、マスク情報６０がオンの部分に対応する元の三次元画像と、取得した背景画像（三次元画像）を合成する（Ｓ１２）。そして、選択表示制御部７０は、合成した三次元画像をスクリーン２０に投影する（Ｓ１３）。
【００６２】
このように、実施の形態３によれば、再生する側の背景画像を三次元画像で再生するので、観察者８０から見て三次元画像の枠は目立つことなく、物体像や人物像などの三次元画像を、宙に浮いたようにスクリーン２０に投影することが可能となる。
【００６３】
（実施の形態４）
次に、本発明の実施の形態４について説明する。実施の形態４では、スクリーン２０が可視光の照射された箇所の入射光を散乱させ、可視光でない光が照射された場合は入射光を透過させる。
【００６４】
三次元画像表示装置は、可視光を散乱するとともに可視光でない光を透過するスクリーン２０を用いて三次元画像の投影を行なう。このとき、選択表示制御部７０は、マスク情報６０がオンに対応する画像を可視光でスクリーン２０に投影し、マスク情報６０がオフの部分を可視光でない光でスクリーン２０に投影するよう投影装置１０を制御する。
【００６５】
このように、実施の形態４によれば、スクリーン２０では可視光のみを散乱させることができるので、観察者８０から見て三次元画像の枠は目立つことなく、物体像や人物像などの三次元画像を、宙に浮いたようにスクリーン２０に投影することが可能となる。
【００６６】
（実施の形態５）
次に、本発明の実施の形態５について説明する。実施の形態５では、スクリーン２０が投影画素単位で、入射光の透過と散乱を切替える。図６は、実施の形態５に係る三次元画像表示装置の動作手順を示すフローチャートである。本実施の形態では、選択表示制御部７０が、投影装置１０によってスクリーン２０に投影させられる画素に対応する単位（画素単位）でスクリーン２０への入射光の透過範囲や散乱範囲を切替える。
【００６７】
三次元画像表示装置の選択表示制御部７０は、マスク情報６０の三次元画像に対応するスクリーン２０上の部分（三次元画像の画素位置）を求める（Ｓ２１）。次に、選択表示制御部７０は、マスク情報６０に対応するスクリーン２０の部分を散乱させ、それ以外の部分を透過させるようスクリーン２０を設定（制御）する（Ｓ２２）。これにより、三次元画像表示装置は、投影装置１０からの三次元画像のうち、マスク情報６０に対応するスクリーン２０の部分（三次元画像）をスクリーン２０に投影する（Ｓ２３）。
【００６８】
このように、実施の形態５によれば、マスク情報６０に対応するスクリーン２０の部分をスクリーン２０に散乱させるので、観察者８０から見て三次元画像の枠は目立つことなく、物体像や人物像などの三次元画像を、宙に浮いたようにスクリーン２０に投影することが可能となる。
【産業上の利用可能性】
【００６９】
以上のように、本発明に係る三次元画像表示装置、三次元画像表示方法およびそのプログラムを記憶した記憶媒体は、三次元画像の表示に適している。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施の形態１に係る三次元画像表示装置の構成を示す図
【図２】スクリーンへの三次元画像の投影方向を説明するための図
【図３】実施の形態２に係る三次元画像表示装置の鏡の配設位置を説明するための図
【図４】実施の形態２に係る三次元画像表示装置の動作手順を示すフローチャート
【図５】実施の形態３に係る三次元画像表示装置の動作手順を示すフローチャート
【図６】実施の形態５に係る三次元画像表示装置の動作手順を示すフローチャート
【図７】レンズシートを使ったＩＰ方式の概略説明図
【図８】色情報と方向情報の関係を説明するための図
【符号の説明】
【００７１】
１０ 投影装置
１１ ピッチ
１２ 画像
１５ レンズアレイ
２０ スクリーン
２１ 角度範囲
２２，２３，３１ 光線
３０ 色情報
３２ 反射光
４０ 方向情報
５０ 三次元画像情報
６０ マスク情報
７０ 選択表示制御部
８０ 観察者
９０ 鏡
【技術分野】
【０００１】
本発明は、三次元画像表示装置、三次元画像表示方法およびそのプログラムを記憶した記憶媒体に関するものである。
【背景技術】
【０００２】
近年、表示デバイスの高解像度化、計算機能力の向上、ディジタル信号技術の進歩などに伴って、比較的安価に裸眼三次元画像表示システムを実現できる環境が整いつつあり、既にパララックスバリアを使った裸眼三次元画像表示機能を持った携帯電話やパーソナルコンピュータなどが商品化されている。しかしながら、これらの商品に使われている二眼式による三次元画像の表示方法では、決まった位置から画像を見る必要がある。このため、画像を立体視させるためには、観察者が一人に限定されるという欠点や、画像の観測位置が限定されるという欠点があった。
【０００３】
裸眼三次元画像を表示する方法の中で、インテグラルフォトグラフィ（ＩＰ）方式は、複数の観察者が同時に画像を観察することが出来る方法である。ＩＰ方式では、画像の観測位置が変われば画像の観測位置に伴って画像の見え方が変化するという特徴を持っており、画像表示の有力な方式の一つであると考えられている。
【特許文献１】２００４−３２５５４２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、ＩＰ方式を含む従来の三次元画像表示方法では、液晶ディスプレイなどの表示装置を使っているので、液晶ディスプレイの枠や画枠の位置に観察者のピントが引き込まれてしまい、表示する画像の立体感を失う場合があるという問題があった。
【０００５】
また、投影装置を使用することによってスクリーンの端部を目立たなくした場合であっても、スクリーンに映った被写体の背景と、被写体が投影される位置の背景（スクリーン配設位置の背景）とが異なるものであるため、画像の投影範囲が知覚され、それにより表示する画像の立体感や臨場感が損なわれる場合があるという問題があった。
【０００６】
本発明は、上記に鑑みてなされたものであって、表示する三次元画像の表示領域に起因する不自然な画像表示を防止して、立体感や臨場感のある三次元画像を表示する三次元画像表示装置、三次元画像表示方法およびそのプログラムを記憶した記憶媒体を得ることを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために本発明は、表示させる三次元画像に応じた光を投影する投影装置と、前記投影装置からの光を散乱させて前記三次元画像を投影表示するスクリーンと、表示させる三次元画像に関する三次元画像情報と、前記三次元画像情報のうち前記スクリーンへの投影表示対象となる投影画像部分に関する画像マスク情報と、に基づいて、前記三次元画像情報の中から前記投影画像部分を選択して前記スクリーンに表示させるよう前記投影装置またはスクリーンの少なくとも一方を制御する選択表示制御部と、を備えるものである。
【発明の効果】
【０００８】
本発明によれば、表示する三次元画像の表示領域に起因する不自然な画像表示を防止して、立体感や臨場感のある三次元画像を表示する三次元画像表示装置、三次元画像表示方法およびそのプログラムを記憶した記憶媒体が得られる。
【発明を実施するための最良の形態】
【０００９】
本発明の第１の発明の三次元画像表示装置は、表示させる三次元画像に応じた光を投影する投影装置と、投影装置からの光を散乱させて三次元画像を投影表示するスクリーンと、表示させる三次元画像に関する三次元画像情報と、三次元画像情報のうちスクリーンへの投影表示対象となる投影画像部分に関する画像マスク情報と、に基づいて、三次元画像情報の中から投影画像部分を選択してスクリーンに表示させるよう投影装置またはスクリーンの少なくとも一方を制御する選択表示制御部と、を備えるものであり、三次元画像のうち表示させたい画像部分を選択的に表示できる。
【００１０】
第２の発明の三次元画像表示装置は、第１の発明の三次元画像表示装置において、選択表示制御部は、投影画像部分の色をスクリーンに投影させるとともに投影画像部分以外の色をスクリーンに投影させないよう、投影装置を制御するものであり、色を表示させるか否かを制御することによって三次元画像のうち表示させたい画像部分を選択的に表示できる。
【００１１】
第３の発明の三次元画像表示装置は、第１または第２の発明の三次元画像表示装置において、投影装置とスクリーンとの間に配置されるとともに、投影装置からの光をスクリーンに反射する光反射部をさらに備え、投影装置は、光反射部を介してスクリーンに光を投影するものであり、投影装置とスクリーンとの配設間隔を短くできる。
【００１２】
第４の発明の三次元画像表示装置は、第３の発明の三次元画像表示装置において、光反射部は、空間光変調器であり、選択表示制御部は、空間光変調器に入射してくる光のうち投影画像部分の画素に対応する光を空間光変調器に反射させるとともに投影画像部分以外の画素に対応する光を空間光変調器に反射させないよう空間光変調器を制御するものであり、空間変調器の制御によって詳細に三次元画像を選択表示できる。
【００１３】
第５の発明の三次元画像表示装置は、第１〜第４の発明の三次元画像表示装置において、選択表示制御部は、投影画像部分とスクリーンの配設位置の背景画像とを合成するとともに、合成後の三次元画像をスクリーンに投影表示させるものであり、スクリーンの配設位置の背景画像中に投影画像部分を表示できる。
【００１４】
第６の発明の三次元画像表示装置は、第１〜第４の発明の三次元画像表示装置において、選択表示制御部は、投影画像部分を可視光でスクリーンに投影するとともに投影画像部分以外の画像部分を可視光以外の光でスクリーンに投影するよう投影装置を制御し、スクリーンは、投影装置によって投影された光のうち可視光のみを散乱させることによって三次元画像を投影表示するものであり、画像を可視光を用いて投影するか否かを制御することによって三次元画像のうち表示させたい画像部分を選択的に表示できる。
【００１５】
第７の発明の三次元画像表示装置は、第１〜第４の発明の三次元画像表示装置において、選択表示制御部は、投影画像部分の画素に対応する投影光を散乱させるとともに投影画像部分以外の画素に対応する投影光を透過させるようスクリーンを制御することを特徴とする請求項１〜４のいずれか１つに記載の三次元画像表示装置。スクリーンに投影光を散乱させるか否かを制御することによって三次元画像のうち表示させたい画像部分を選択的に表示できる。
【００１６】
第８の発明の三次元画像表示装置は、第１〜第７の発明の三次元画像表示装置において、選択表示制御部による投影画像部分の選択表示処理を有効にするモードと選択表示制御部による投影画像部分の選択表示処理を無効にするモードとを、切替えるモード切替部をさらに備えるものであり、必要に応じて投影画像部分の選択表示処理を行なうことができる。
【００１７】
第９の発明の三次元画像表示装置は、第８の発明の三次元画像表示装置において、モード切替部は、ユーザからの指示情報に基づいて、投影画像部分の選択表示処理を有効にするモードと投影画像部分の選択表示処理を無効にするモードとを、切替えるものであり、ユーザが所望する態様で三次元画像を表示することができる。
【００１８】
第１０の発明の三次元画像表示装置は、第８の発明の三次元画像表示装置において、三次元画像情報から三次元画像の特徴を抽出する特徴抽出部をさらに備え、モード切替部は、特徴抽出部が抽出した三次元画像の特徴に基づいて、投影画像部分の選択表示処理を有効にするモードと投影画像部分の選択表示処理を無効にするモードとを、切替えるものであり、三次元画像の特徴に応じた態様で三次元画像を表示することができる。
【００１９】
第１１の発明の三次元画像表示装置は、第１〜第１０の発明の三次元画像表示装置において、三次元画像情報は、投影表示される三次元画像の色に関する色情報および投影表示される三次元画像の表示方向に関する方向情報を有し、選択表示制御部は、色情報に対応する色を方向情報に対応する方向へ三次元画像を表示投影するよう投影装置を制御するものであり、色情報と方向情報に応じた適切な三次元画像を表示することができる。
【００２０】
第１２の発明の三次元画像表示装置は、第１１の発明の三次元画像表示装置においてスクリーンは、三次元画像の画像投影面にほぼ平行に配置されるとともに、スクリーンと一体化されたレンズシートによって三次元画像を投影表示するものであり、色情報と方向情報に応じた適切な三次元画像をレンズシートによって表示できる。
【００２１】
第１３の発明の三次元画像表示装置は、第１２の発明の三次元画像表示装置において、レンズシートは、蝿の目レンズであり、色情報と方向情報に応じた適切な三次元画像を蝿の目レンズによって表示できる。
【００２２】
第１４の発明の三次元画像表示装置は、第１２の発明の三次元画像表示装置において、レンズシートは、レンチキュラレンズであり、色情報と方向情報に応じた適切な三次元画像をレンチキュラレンズによって表示できる。
【００２３】
第１５の発明の三次元画像表示装置は、第１〜第１４の発明の三次元画像表示装置において、投影画像部分をスクリーンへ投影表示させる際に投影画像部分を遮光する遮光マスク量と投影画像部分以外を遮光する遮光マスク量との間の中間マスク量が画像マスク情報に設定されている場合、選択表示制御部は、中間マスク量が設定されている投影画像部分とスクリーンの配設位置の背景画像とを、中間マスク量に基づいて合成するとともに、合成後の三次元画像をスクリーンに投影表示させるものであり、所定の遮光量によって投影画像部分を遮光しつつ、この投影画像部分と背景画像とを合成して三次元画像を表示できる。
【００２４】
第１６の発明の三次元画像表示装置は、第１〜第１５の発明の三次元画像表示装置において、複数方向から被写体画像を撮像する撮像部と、撮像部が複数方向から撮像した各被写体画像を三次元画像として合成する三次元画像合成部と、をさらに備え、スクリーンは、三次元画像合成部が合成した三次元画像を投影表示するものであり、撮像した被写体画像の三次元画像を表示することができる。
【００２５】
第１７の発明の三次元画像表示方法は、表示させる三次元画像に関する三次元画像情報と、三次元画像情報のうちスクリーンへの投影表示対象となる投影画像部分に関する画像マスク情報と、に基づいて、三次元画像情報の中から投影画像部分を選択する選択ステップと、選択された投影画像部分に応じた光をスクリーンに投影する投影ステップと、投影された光を散乱させて投影画像部分をスクリーンに投影表示する表示ステップと、を含むものであり、三次元画像のうち表示させたい画像部分を選択的に表示できる。
【００２６】
第１８の発明の三次元画像表示方法のプログラムを記憶した記憶媒体は、第１７の発明の三次元画像表示方法のプログラムを記憶した記憶媒体であり、三次元画像のうち表示させたい画像部分を選択的に表示させることができる。
【００２７】
以下の説明において、三次元画像を投影する方法については、種々の方法があるが、例えば図７に示すようにレンズシートを使ったＩＰ方式を使う。このＩＰ方式では、投影装置１０によって、レンズアレイ１５を貼り合せたスクリーン２０に、レンズのピッチ１１に対応した二次元の画像１２を投影する。これにより、観察者（視者）８０は、立体感のある三次元画像を観察することが出来る。図７に示したレンズシート（レンズアレイ１５を貼り合せたスクリーン２０）は、蝿の目レンズであってもよいし、レンチキュラレンズであってもよい。以下、図を参照しながら、発明を実施する最良の形態について説明する。
【００２８】
（実施の形態１）
図１は本発明の実施の形態１に係る三次元画像表示装置の構成を示す図である。図１において、１０は三次元画像に関する情報（後述の三次元画像情報５０）に基づいて画像の投影処理を行なう投影装置、２０は投影装置１０によって投影される画像を表示するスクリーン、５０はスクリーン２０に投影する画像の三次元画像情報、３０は三次元画像情報５０のうち画像の色に関する色情報、４０は三次元画像情報５０のうち画像への光線方向に関する方向情報（各色情報の色を表示する方向に関する情報）、６０は三次元画像情報５０の有効部分（スクリーン２０に表示させる領域）を示すマスク情報（画像マスク情報）、７０は三次元画像情報５０とマスク情報６０に基づいて投影装置１０やスクリーン２０を制御する選択表示制御部７０である。
【００２９】
選択表示制御部７０は、色情報３０と方向情報４０を持った三次元画像情報５０に応じた画像をスクリーン２０に表示させる際に、マスク情報６０に基づいて、三次元画像情報５０に含まれる三次元画像の一部（投影表示対象）を選択的に表示するよう、投影装置１０やスクリーン２０を制御する。
【００３０】
投影装置１０は、画像の投影方向（投影面）にほぼ平行に配置されたスクリーン２０に、三次元画像を投影する。本実施の形態の投影装置１０は、選択表示制御部７０からの指示に基づき、三次元画像情報５０の一部を用いてスクリーン２０に三次元画像の一部を投影する。具体的には、投影装置１０は、投影表示対象となる画像部分（投影画像部分）の色をスクリーン２０に投影するとともに投影表示対象とならない画像部分の色をスクリーン２０に投影しない。これにより、投影画像を見る人（観察者）に対して三次元画像の見せたい部分だけを投影できるので、観察者にスクリーン２０（表示装置）の枠や画枠を意識させることなく、立体感と臨場感のある三次元画像を表示することができる。なお、本実施の形態に係るマスク情報６０は、三次元画像のうちスクリーン２０に表示させたい三次元画像の部分（データ）を表していることとする。
【００３１】
図２は、スクリーンへの三次元画像の投影方向を説明するための図である。スクリーン２０と投影装置１０は、投影装置１０からスクリーン２０への三次元画像の投影方向によって、光線の透過と散乱とを切替えることができる。
【００３２】
スクリーン２０は、スクリーン２０の主面（裏面）に所定範囲の入射角度で入射してくる光線のみを透過させ、それ以外の光線を散乱させる性質を有している。例えば、図２に示すスクリーン２０は、斜線で示される角度の範囲（角度範囲２１）から入射する光線２２を透過させ、この角度範囲２１の範囲外から入射してくる光線２３を散乱させる。
【００３３】
従って、光線２３の方向にプロジェクタ（投影装置１０）を配置すれば、投影装置１０からスクリーン２０への光線はスクリーン２０で散乱する。そして、投影装置１０の配置される方向とは異なる他の方向（角度範囲２１）からの光線は、スクリーン２０を透過する。このため、観察者８０が図２に示す方向Ｄ１（観察者８０側に延長された角度範囲２１）からスクリーン２０を見れば、観察者８０は投影装置１０によるスクリーン２０への投影画像を見ることが出来る。
【００３４】
本実施の形態では、投影装置１０の枠（投影エリアの外縁部）に三次元画像（投影される三次元画像の外縁部）がかからないよう、スクリーン２０に三次元画像を投影できる範囲よりも狭い範囲で三次元画像を投影させる。このため、スクリーン２０に投影できる範囲よりも狭い範囲の物体像または人物像だけをマスク情報６０に設定しておく。選択表示制御部７０は、マスク情報６０に基づいて、スクリーン２０に投影させる三次元画像の部分を画素単位で制御する。具体的には、選択表示制御部７０は、マスク情報６０に対応する色情報によって示される色だけを投影するよう投影装置１０を制御する。
【００３５】
投影装置１０は、選択表示制御部７０からの指示に基づいて、画素単位で三次元画像を投影する。これにより、観察者８０からスクリーン２０を見ると、三次元画像の枠（外縁部）は目立つことない。また、人や物の撮影された側の背景を映す代わりに、人や物だけを表示して、その背景には、再生側の背景（スクリーン２０の背景）を表示する。したがって、投影装置１０は、物体像や人物像が宙に浮いたようにスクリーン２０に画像を投影することができる。これにより、投影装置１０は、その場にない物体や人物が、あたかもそこに在る又はあたかもそこに居るかのように見えるよう、スクリーン２０に三次元画像を投影表示させることが可能となる。
【００３６】
なお、本実施の形態では、マスク情報６０が三次元画像のうちスクリーン２０に表示させたい三次元画像の部分を表している場合について説明したが、マスク情報６０は三次元画像のうちスクリーン２０に表示させたくない三次元画像の部分を表してもよい。
【００３７】
また、三次元画像表示装置は、選択表示制御部７０（三次元画像の選択的な表示機能）（選択表示処理）を有効にするモードと無効にするモードとを切替えるモード切替え部を備える構成としてもよい。これにより、三次元画像表示装置は、三次元画像の選択的な表示と全ての三次元画像の表示との両方を行なうことが可能となる。例えば、撮影側の背景（人や物を撮影した際の背景）をスクリーン２０に映したい場合には、選択表示制御部７０の機能を無効にする。
【００３８】
モード切替え部は、例えばユーザ（観測者）から外部入力され指示に基づいて、有効モードと無効モードを切替える。これにより、ユーザ所望のモードで三次元画像を表示することが可能となる。
【００３９】
また、三次元画像表示装置は、三次元画像情報５０から画像の特徴を抽出する特徴抽出部と、抽出された画像の特徴に基づいてモード切替え部を制御するモード制御部を備える構成としてもよい。
【００４０】
三次元画像表示装置が特徴抽出部とモード制御部を備える場合、三次元画像表示装置は、三次元画像情報５０に基づいて選択表示制御部７０を有効にするモードと無効にするモードとの何れを用いるかを自動判断する。例えば、三次元画像表示装置は、撮影された画像の背景が単一のテクスチャである場合にモードを有効にする（撮影側の背景は表示しない）と判断する。
【００４１】
また、三次元画像表示装置は、三次元画像の表示方法として多眼式やインテグラルフォトグラフィ方式などのように光線の色と方向を再現して画像を表示してもよい。この場合、三次元画像表示装置は、色情報を方向情報の方向に表示投影する。図８に示すように、三次元画像表示装置は、例えば色情報１０１、色情報１０２、色情報１０３、色情報１０４を、それぞれ方向情報１０５、方向情報１０６、方向情報１０７、方向情報１０８に対応する方向に表示投影する。
【００４２】
また、三次元画像表示装置は、インテグラルフォトグラフィ方式で画像を表示する場合、図７に示した色情報に従って投影された光線（色情報により示される色）をレンズアレイ１５の効果によって方向情報に対応する方向に投影する。
【００４３】
また、マスク情報６０は、三次元画像のうちスクリーン２０に表示させたい三次元画像の部分（マスク情報６０がオンの部分）を示す場合や、三次元画像のうちスクリーン２０に表示させない三次元画像の部分を示す場合に限らず、マスク情報６０にこれらの中間を示すデータ（オンオフ以外の中間データ）を含めてもよい。
【００４４】
例えば、被写体がガラスなどの透明の場合、被写体はある程度透けて見える必要があるので、マスク情報６０のオン（投影表示させる画像部分を遮光する遮光マスク量）とオフ（投影表示させない画像部分を遮光する遮光マスク量）の中間値によって被写体の部分も撮影された画像と再生側の背景を合わせて表示する。三次元画像表示装置は、中間値（中間マスク量）に応じた透明度で被写体の三次元画像を表示する。
【００４５】
ところで、本実施の形態で説明した画像の投影処理は、三次元画像表示装置が所定の記録媒体に記録されたプログラムを読み出して実行してもよい。記録媒体は、例えばフレキシブルディスク（ＦＤ）、ＣＤ、ＭＯディスク、ＤＶＤ、光磁気ディスク、ハードディスクドライブ（ＨＤＤ）、ＲＡＭ、ＲＯＭなどである。
【００４６】
また、三次元画像表示装置は、複数の方向の被写体画像を撮像する撮像部、複数の方向の被写体画像から三次元画像を合成する三次元画像合成部、必要に応じて三次元画像の圧縮復元を行なうとともに遠隔地と三次元画像の通信を行なう三次元画像通信部を備える構成としてもよい。
【００４７】
三次元画像表示装置が撮像部を備える場合、三次元画像表示装置は例えば撮像部が撮像した被写体画像を用いてスクリーン２０に三次元画像を投影する。また、三次元画像表示装置が三次元画像合成部を備える場合、三次元画像表示装置は例えば撮像部が撮像した複数方向の被写体画像から三次元画像を合成し、合成した三次元画像をスクリーン２０に投影する。また、三次元画像表示装置が三次元画像通信部を備える場合、三次元画像表示装置は例えば遠隔地（外部装置）から送られてくる三次元画像を三次元画像通信部によって受信し、受信した三次元画像をスクリーン２０に投影する。また、三次元画像表示装置は、必要に応じて、被写体画像や三次元画像を遠隔地に送信してもよい。
【００４８】
このように、実施の形態１によれば、マスク情報６０に基づいて、三次元画像を投影できる範囲よりも狭い範囲で三次元画像をスクリーン２０に投影させるので、三次元画像の表示領域に起因する不自然な画像表示を防止して、立体感や臨場感のある三次元画像を表示することが可能となる。
【００４９】
また、選択表示制御部７０が、マスク情報６０に対応する色情報によって示される色だけを投影するよう投影装置１０を制御するので、投影装置１０を容易に制御して立体感や臨場感のある三次元画像を容易に表示することが可能となる。
【００５０】
（実施の形態２）
次に、本発明の実施の形態２について説明する。実施の形態２では、鏡（光反射部）を用いて投影装置１０からの三次元画像をスクリーン２０に投影する。図３は、実施の形態２に係る三次元画像表示装置の鏡の配設位置を説明するための図であり、三次元画像表示装置内における鏡９０の設置例を示している。図３では、三次元画像表示装置の一部として、投影装置１０、スクリーン２０、鏡９０を示している。
【００５１】
三次元画像表示装置では、投影装置１０からの光線３１が鏡９０で反射され、光線３１が反射光３２としてスクリーン２０に投射される。これにより、投影装置１０とスクリーン２０との間の距離を投影距離（投影装置１０とスクリーン２０の配設間隔）に合わせる必要がなくなるので、三次元画像表示装置を小さな構成にすることが可能となる。
【００５２】
実施の形態２の三次元画像表示装置も実施の形態１の三次元画像表示装置と同様に、観察者８０から見て三次元画像の枠は目立つことなく、物体像や人物像が宙に浮いたように三次元画像をスクリーン２０に投影することが可能となる。
【００５３】
なお、本実施の形態では、三次元画像表示装置が１つの鏡９０によって投影装置１０からの光線３１をスクリーン２０へ反射する場合について説明したが、三次元画像表示装置が複数枚の鏡９０を備える構成としてもよい。この場合、各鏡９０によって投影装置１０からの光線３１を順番に反射しスクリーン２０まで光線３１を導く。これにより、三次元画像表示装置の備える鏡９０が１枚である場合よりも、投影装置１０とスクリーン２０の間の配設間隔を短くすることが可能となる。したがって、三次元画像表示装置の備える鏡９０が１枚である場合よりも、三次元画像表示装置を小さく構成することが可能となる。
【００５４】
ところで、三次元画像表示装置の鏡９０を空間光変調器で構成してもよい。この場合、鏡９０を、三次元画像の画素単位で反射制御や透過制御できる液晶などの空間光変調器で構成しておく。そして、選択表示制御部７０は、空間光変調器の画素と三次元画像情報５０の画素とが対応するよう空間光変調器を制御する。このとき、選択表示制御部７０は、マスク情報６０に対応する三次元画像だけを選択的に空間光変調器で鏡９０のように反射させ、この反射光をスクリーン２０に投影することによって、三次元画像の枠は目立つことなく、物体像や人物像が宙に浮いたように三次元画像をスクリーン２０に投影することが可能となる。
【００５５】
図４は、実施の形態２に係る三次元画像表示装置の動作手順を示すフローチャートである。図４では、三次元画像表示装置の空間光変調器を用いた画像投影に関する動作手順を示している。
【００５６】
三次元画像表示装置では、予め投影装置１０と、鏡９０を構成する空間光変調器とに関するキャリブレーションを行なっておく。これにより、三次元画像表示装置では、投影画像の画素と、空間光変調器の画素との対応関係を予め認識しておく。
【００５７】
三次元画像表示装置の選択表示制御部７０は、まずマスク情報６０で指定されている画素（選択表示させる画像の画素）を空間光変調器の画素に変換する（Ｓ１）。次に、選択表示制御部７０は、マスク情報６０に対応する部分（画素）だけを反射し、それ以外の部分は透過するよう空間光変調器の設定（制御）を行なう（Ｓ２）。これにより、三次元画像表示装置は、投影装置１０からの三次元画像のうち、空間光変調器で所定の画素（マスク情報６０に対応する画素）だけを反射させて三次元画像をスクリーン２０に投影する（Ｓ３）。
【００５８】
このように、実施の形態２によれば、鏡９０を用いてスクリーン２０に三次元画像を投影するので三次元画像表示装置の構成を小さな構成にすることが可能となる。また、投影装置１０からの光線３１を反射する鏡９０として空間光変調器を用いるので、スクリーン２０に投影させる三次元画像の部分を空間光変調器によって画素単位で制御できる。
【００５９】
（実施の形態３）
次に、本発明の実施の形態３について説明する。実施の形態３では、マスク情報６０に対応する被写体の一部分（被写体の周縁部）以外（人物像など）は、三次元画像を再生する側の背景画像（スクリーン２０の配設位置の背景）と合成する。図５は、実施の形態３に係る三次元画像表示装置の動作手順を示すフローチャートである。本実施の形態では、三次元画像を再生する側の背景画像を複数方向から撮像した撮影画像を準備しておき、三次元画像表示装置がこの背景画像（三次元画像）を外部装置（画像の撮像装置など）から取得することが出来るものとする。
【００６０】
三次元画像表示装置の選択表示制御部７０は、まず、マスク情報６０がオフの部分に対応する三次元画像であって、再生する側の背景に対応する三次元画像を取得する（Ｓ１１）。
【００６１】
次に、選択表示制御部７０は、マスク情報６０がオンの部分に対応する元の三次元画像と、取得した背景画像（三次元画像）を合成する（Ｓ１２）。そして、選択表示制御部７０は、合成した三次元画像をスクリーン２０に投影する（Ｓ１３）。
【００６２】
このように、実施の形態３によれば、再生する側の背景画像を三次元画像で再生するので、観察者８０から見て三次元画像の枠は目立つことなく、物体像や人物像などの三次元画像を、宙に浮いたようにスクリーン２０に投影することが可能となる。
【００６３】
（実施の形態４）
次に、本発明の実施の形態４について説明する。実施の形態４では、スクリーン２０が可視光の照射された箇所の入射光を散乱させ、可視光でない光が照射された場合は入射光を透過させる。
【００６４】
三次元画像表示装置は、可視光を散乱するとともに可視光でない光を透過するスクリーン２０を用いて三次元画像の投影を行なう。このとき、選択表示制御部７０は、マスク情報６０がオンに対応する画像を可視光でスクリーン２０に投影し、マスク情報６０がオフの部分を可視光でない光でスクリーン２０に投影するよう投影装置１０を制御する。
【００６５】
このように、実施の形態４によれば、スクリーン２０では可視光のみを散乱させることができるので、観察者８０から見て三次元画像の枠は目立つことなく、物体像や人物像などの三次元画像を、宙に浮いたようにスクリーン２０に投影することが可能となる。
【００６６】
（実施の形態５）
次に、本発明の実施の形態５について説明する。実施の形態５では、スクリーン２０が投影画素単位で、入射光の透過と散乱を切替える。図６は、実施の形態５に係る三次元画像表示装置の動作手順を示すフローチャートである。本実施の形態では、選択表示制御部７０が、投影装置１０によってスクリーン２０に投影させられる画素に対応する単位（画素単位）でスクリーン２０への入射光の透過範囲や散乱範囲を切替える。
【００６７】
三次元画像表示装置の選択表示制御部７０は、マスク情報６０の三次元画像に対応するスクリーン２０上の部分（三次元画像の画素位置）を求める（Ｓ２１）。次に、選択表示制御部７０は、マスク情報６０に対応するスクリーン２０の部分を散乱させ、それ以外の部分を透過させるようスクリーン２０を設定（制御）する（Ｓ２２）。これにより、三次元画像表示装置は、投影装置１０からの三次元画像のうち、マスク情報６０に対応するスクリーン２０の部分（三次元画像）をスクリーン２０に投影する（Ｓ２３）。
【００６８】
このように、実施の形態５によれば、マスク情報６０に対応するスクリーン２０の部分をスクリーン２０に散乱させるので、観察者８０から見て三次元画像の枠は目立つことなく、物体像や人物像などの三次元画像を、宙に浮いたようにスクリーン２０に投影することが可能となる。
【産業上の利用可能性】
【００６９】
以上のように、本発明に係る三次元画像表示装置、三次元画像表示方法およびそのプログラムを記憶した記憶媒体は、三次元画像の表示に適している。
【図面の簡単な説明】
【００７０】
【図１】本発明の実施の形態１に係る三次元画像表示装置の構成を示す図
【図２】スクリーンへの三次元画像の投影方向を説明するための図
【図３】実施の形態２に係る三次元画像表示装置の鏡の配設位置を説明するための図
【図４】実施の形態２に係る三次元画像表示装置の動作手順を示すフローチャート
【図５】実施の形態３に係る三次元画像表示装置の動作手順を示すフローチャート
【図６】実施の形態５に係る三次元画像表示装置の動作手順を示すフローチャート
【図７】レンズシートを使ったＩＰ方式の概略説明図
【図８】色情報と方向情報の関係を説明するための図
【符号の説明】
【００７１】
１０ 投影装置
１１ ピッチ
１２ 画像
１５ レンズアレイ
２０ スクリーン
２１ 角度範囲
２２，２３，３１ 光線
３０ 色情報
３２ 反射光
４０ 方向情報
５０ 三次元画像情報
６０ マスク情報
７０ 選択表示制御部
８０ 観察者
９０ 鏡
【特許請求の範囲】
【請求項１】
表示させる三次元画像に応じた光を投影する投影装置と、
前記投影装置からの光を散乱させて前記三次元画像を投影表示するスクリーンと、
表示させる三次元画像に関する三次元画像情報と、前記三次元画像情報のうち前記スクリーンへの投影表示対象となる投影画像部分に関する画像マスク情報と、に基づいて、前記三次元画像情報の中から前記投影画像部分を選択して前記スクリーンに表示させるよう前記投影装置またはスクリーンの少なくとも一方を制御する選択表示制御部と、
を備えることを特徴とする三次元画像表示装置。
【請求項２】
前記選択表示制御部は、前記投影画像部分の色を前記スクリーンに投影させるとともに前記投影画像部分以外の色を前記スクリーンに投影させないよう、前記投影装置を制御することを特徴とする請求項１に記載の三次元画像表示装置。
【請求項３】
前記投影装置と前記スクリーンとの間に配置されるとともに、前記投影装置からの光を前記スクリーンに反射する光反射部をさらに備え、
前記投影装置は、前記光反射部を介して前記スクリーンに光を投影することを特徴とする請求項１または２に記載の三次元画像表示装置。
【請求項４】
前記光反射部は、空間光変調器であり、
前記選択表示制御部は、前記空間光変調器に入射してくる光のうち前記投影画像部分の画素に対応する光を前記空間光変調器に反射させるとともに前記投影画像部分以外の画素に対応する光を前記空間光変調器に反射させないよう前記空間光変調器を制御することを特徴とする請求項３に記載の三次元画像表示装置。
【請求項５】
前記選択表示制御部は、前記投影画像部分と前記スクリーンの配設位置の背景画像とを合成するとともに、合成後の三次元画像を前記スクリーンに投影表示させることを特徴とする請求項１〜４のいずれか１つに記載の三次元画像表示装置。
【請求項６】
前記選択表示制御部は、前記投影画像部分を可視光で前記スクリーンに投影するとともに前記投影画像部分以外の画像部分を可視光以外の光で前記スクリーンに投影するよう前記投影装置を制御し、
前記スクリーンは、前記投影装置によって投影された光のうち可視光のみを散乱させることによって前記三次元画像を投影表示することを特徴とする請求項１〜４のいずれか１つに記載の三次元画像表示装置。
【請求項７】
前記選択表示制御部は、前記投影画像部分の画素に対応する投影光を散乱させるとともに前記投影画像部分以外の画素に対応する投影光を透過させるよう前記スクリーンを制御することを特徴とする請求項１〜４のいずれか１つに記載の三次元画像表示装置。
【請求項８】
前記選択表示制御部による前記投影画像部分の選択表示処理を有効にするモードと前記選択表示制御部による前記投影画像部分の選択表示処理を無効にするモードとを、切替えるモード切替部をさらに備えることを特徴とする請求項１〜７のいずれか１つに記載の三次元画像表示装置。
【請求項９】
前記モード切替部は、ユーザからの指示情報に基づいて、前記投影画像部分の選択表示処理を有効にするモードと前記投影画像部分の選択表示処理を無効にするモードとを、切替えることを特徴とする請求項８に記載の三次元画像表示装置。
【請求項１０】
前記三次元画像情報から三次元画像の特徴を抽出する特徴抽出部をさらに備え、
前記モード切替部は、前記特徴抽出部が抽出した三次元画像の特徴に基づいて、前記投影画像部分の選択表示処理を有効にするモードと前記投影画像部分の選択表示処理を無効にするモードとを、切替えることを特徴とする請求８に記載の三次元画像表示装置。
【請求項１１】
前記三次元画像情報は、投影表示される三次元画像の色に関する色情報および投影表示される三次元画像の表示方向に関する方向情報を有し、
前記選択表示制御部は、前記色情報に対応する色を前記方向情報に対応する方向へ前記三次元画像を表示投影するよう前記投影装置を制御することを特徴とする請求項１〜１０のいずれか１つに記載の三次元画像表示装置。
【請求項１２】
前記スクリーンは、前記三次元画像の画像投影面にほぼ平行に配置されるとともに、前記スクリーンと一体化された前記レンズシートによって前記三次元画像を投影表示することを特徴とする請求項１１に記載の三次元画像表示装置。
【請求項１３】
前記レンズシートは、蝿の目レンズであることを特徴とする請求項１２に記載の三次元画像表示装置。
【請求項１４】
前記レンズシートは、レンチキュラレンズであることを特徴とする請求項１２に記載の三次元画像表示装置。
【請求項１５】
前記投影画像部分を前記スクリーンへ投影表示させる際に前記投影画像部分を遮光する遮光マスク量と前記投影画像部分以外を遮光する遮光マスク量との間の中間マスク量が前記画像マスク情報に設定されている場合、
前記選択表示制御部は、前記中間マスク量が設定されている投影画像部分と前記スクリーンの配設位置の背景画像とを、前記中間マスク量に基づいて合成するとともに、合成後の三次元画像を前記スクリーンに投影表示させることを特徴とする請求項１〜１４のいずれか１つに記載の三次元画像表示装置。
【請求項１６】
複数方向から被写体画像を撮像する撮像部と、
前記撮像部が複数方向から撮像した各被写体画像を三次元画像として合成する三次元画像合成部と、
をさらに備え、
前記スクリーンは、前記三次元画像合成部が合成した三次元画像を投影表示することを特徴とする請求項１〜１５のいずれか１つに記載の三次元画像表示装置。
【請求項１７】
表示させる三次元画像に関する三次元画像情報と、前記三次元画像情報のうち前記スクリーンへの投影表示対象となる投影画像部分に関する画像マスク情報と、に基づいて、前記三次元画像情報の中から前記投影画像部分を選択する選択ステップと、
選択された前記投影画像部分に応じた光をスクリーンに投影する投影ステップと、
投影された光を散乱させて前記投影画像部分をスクリーンに投影表示する表示ステップと、
を含むことを特徴とする三次元画像表示方法。
【請求項１８】
前記請求項１７に記載の三次元画像表示方法のプログラムを記憶した記憶媒体。
【請求項１】
表示させる三次元画像に応じた光を投影する投影装置と、
前記投影装置からの光を散乱させて前記三次元画像を投影表示するスクリーンと、
表示させる三次元画像に関する三次元画像情報と、前記三次元画像情報のうち前記スクリーンへの投影表示対象となる投影画像部分に関する画像マスク情報と、に基づいて、前記三次元画像情報の中から前記投影画像部分を選択して前記スクリーンに表示させるよう前記投影装置またはスクリーンの少なくとも一方を制御する選択表示制御部と、
を備えることを特徴とする三次元画像表示装置。
【請求項２】
前記選択表示制御部は、前記投影画像部分の色を前記スクリーンに投影させるとともに前記投影画像部分以外の色を前記スクリーンに投影させないよう、前記投影装置を制御することを特徴とする請求項１に記載の三次元画像表示装置。
【請求項３】
前記投影装置と前記スクリーンとの間に配置されるとともに、前記投影装置からの光を前記スクリーンに反射する光反射部をさらに備え、
前記投影装置は、前記光反射部を介して前記スクリーンに光を投影することを特徴とする請求項１または２に記載の三次元画像表示装置。
【請求項４】
前記光反射部は、空間光変調器であり、
前記選択表示制御部は、前記空間光変調器に入射してくる光のうち前記投影画像部分の画素に対応する光を前記空間光変調器に反射させるとともに前記投影画像部分以外の画素に対応する光を前記空間光変調器に反射させないよう前記空間光変調器を制御することを特徴とする請求項３に記載の三次元画像表示装置。
【請求項５】
前記選択表示制御部は、前記投影画像部分と前記スクリーンの配設位置の背景画像とを合成するとともに、合成後の三次元画像を前記スクリーンに投影表示させることを特徴とする請求項１〜４のいずれか１つに記載の三次元画像表示装置。
【請求項６】
前記選択表示制御部は、前記投影画像部分を可視光で前記スクリーンに投影するとともに前記投影画像部分以外の画像部分を可視光以外の光で前記スクリーンに投影するよう前記投影装置を制御し、
前記スクリーンは、前記投影装置によって投影された光のうち可視光のみを散乱させることによって前記三次元画像を投影表示することを特徴とする請求項１〜４のいずれか１つに記載の三次元画像表示装置。
【請求項７】
前記選択表示制御部は、前記投影画像部分の画素に対応する投影光を散乱させるとともに前記投影画像部分以外の画素に対応する投影光を透過させるよう前記スクリーンを制御することを特徴とする請求項１〜４のいずれか１つに記載の三次元画像表示装置。
【請求項８】
前記選択表示制御部による前記投影画像部分の選択表示処理を有効にするモードと前記選択表示制御部による前記投影画像部分の選択表示処理を無効にするモードとを、切替えるモード切替部をさらに備えることを特徴とする請求項１〜７のいずれか１つに記載の三次元画像表示装置。
【請求項９】
前記モード切替部は、ユーザからの指示情報に基づいて、前記投影画像部分の選択表示処理を有効にするモードと前記投影画像部分の選択表示処理を無効にするモードとを、切替えることを特徴とする請求項８に記載の三次元画像表示装置。
【請求項１０】
前記三次元画像情報から三次元画像の特徴を抽出する特徴抽出部をさらに備え、
前記モード切替部は、前記特徴抽出部が抽出した三次元画像の特徴に基づいて、前記投影画像部分の選択表示処理を有効にするモードと前記投影画像部分の選択表示処理を無効にするモードとを、切替えることを特徴とする請求８に記載の三次元画像表示装置。
【請求項１１】
前記三次元画像情報は、投影表示される三次元画像の色に関する色情報および投影表示される三次元画像の表示方向に関する方向情報を有し、
前記選択表示制御部は、前記色情報に対応する色を前記方向情報に対応する方向へ前記三次元画像を表示投影するよう前記投影装置を制御することを特徴とする請求項１〜１０のいずれか１つに記載の三次元画像表示装置。
【請求項１２】
前記スクリーンは、前記三次元画像の画像投影面にほぼ平行に配置されるとともに、前記スクリーンと一体化された前記レンズシートによって前記三次元画像を投影表示することを特徴とする請求項１１に記載の三次元画像表示装置。
【請求項１３】
前記レンズシートは、蝿の目レンズであることを特徴とする請求項１２に記載の三次元画像表示装置。
【請求項１４】
前記レンズシートは、レンチキュラレンズであることを特徴とする請求項１２に記載の三次元画像表示装置。
【請求項１５】
前記投影画像部分を前記スクリーンへ投影表示させる際に前記投影画像部分を遮光する遮光マスク量と前記投影画像部分以外を遮光する遮光マスク量との間の中間マスク量が前記画像マスク情報に設定されている場合、
前記選択表示制御部は、前記中間マスク量が設定されている投影画像部分と前記スクリーンの配設位置の背景画像とを、前記中間マスク量に基づいて合成するとともに、合成後の三次元画像を前記スクリーンに投影表示させることを特徴とする請求項１〜１４のいずれか１つに記載の三次元画像表示装置。
【請求項１６】
複数方向から被写体画像を撮像する撮像部と、
前記撮像部が複数方向から撮像した各被写体画像を三次元画像として合成する三次元画像合成部と、
をさらに備え、
前記スクリーンは、前記三次元画像合成部が合成した三次元画像を投影表示することを特徴とする請求項１〜１５のいずれか１つに記載の三次元画像表示装置。
【請求項１７】
表示させる三次元画像に関する三次元画像情報と、前記三次元画像情報のうち前記スクリーンへの投影表示対象となる投影画像部分に関する画像マスク情報と、に基づいて、前記三次元画像情報の中から前記投影画像部分を選択する選択ステップと、
選択された前記投影画像部分に応じた光をスクリーンに投影する投影ステップと、
投影された光を散乱させて前記投影画像部分をスクリーンに投影表示する表示ステップと、
を含むことを特徴とする三次元画像表示方法。
【請求項１８】
前記請求項１７に記載の三次元画像表示方法のプログラムを記憶した記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２００９−３１５３３（Ｐ２００９−３１５３３Ａ）
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願番号】特願２００７−１９５３８９（Ｐ２００７−１９５３８９）
【出願日】平成１９年７月２７日（２００７．７．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年２月１２日（２００９．２．１２）
【国際特許分類】
【出願日】平成１９年７月２７日（２００７．７．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]