３次元画像の提示方法
【課題】画像表示面と、それからの画像を右眼／左眼に選別する選別光学系と、を備える裸眼方式の３次元画像表示装置で、画素数の拡大または減少を伴う画像変換を可能にする。
【解決手段】インテグラルフォトグラフィによる表示画像は、提示用複眼レンズを通して閲覧者に立体像を提示するものとする。１）上記表示画像のそれぞれの要素画像について、上記提示用要素レンズを通して閲覧者が見る部分を画素として、提示用要素レンズ配列と同様に配列して２次元画像を構成し、２）上記２次元画像について、補間法を用いて画素数を増減する画像変換を行い、３）変換された画像の画素配列と同様な配列の変換画像提示用要素レンズ群を通して閲覧者から見える位置に、上記の画像変換された画像の画素を、それぞれの変換画像提示用要素レンズの配列に対応して配列した画像を生成して、上記閲覧者に提示する。
【解決手段】インテグラルフォトグラフィによる表示画像は、提示用複眼レンズを通して閲覧者に立体像を提示するものとする。１）上記表示画像のそれぞれの要素画像について、上記提示用要素レンズを通して閲覧者が見る部分を画素として、提示用要素レンズ配列と同様に配列して２次元画像を構成し、２）上記２次元画像について、補間法を用いて画素数を増減する画像変換を行い、３）変換された画像の画素配列と同様な配列の変換画像提示用要素レンズ群を通して閲覧者から見える位置に、上記の画像変換された画像の画素を、それぞれの変換画像提示用要素レンズの配列に対応して配列した画像を生成して、上記閲覧者に提示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、右眼と左眼それぞれ用の画像を表示する画像表示面と、前記画像表示面からの光を入射し右眼用と左眼用に画像を選別する選別光学系と、を備える裸眼方式の３次元画像表示装置において、画素数の拡大または減少を伴う画像変換の際に適用することができる３次元画像の提示方法に関している。
【背景技術】
【０００２】
立体ディスプレイ装置は、より実物に近い表示ができることから、展示用の表示の他に、コンピュータゲーム、訓練用シミュレータ、装置の遠隔操作の表示装置、などに用いられており、さらにその応用分野は拡大している。現在の主な立体映像の方式についてまとめると表1のようになる。表１は立体映像技術として代表的な５種類の技術について、立体映像に見える条件をどの程度満たしているかを表したものである。
【０００３】
【表１】
【０００４】
２眼式は両眼視差を利用して観察者に立体像を見せる手法である。右眼と左眼に異なる映像を与えるだけで良いので、眼鏡式については既に家庭用に普及しつつあり、裸眼式の立体テレビも最近発売されたばかりである。しかしこれらのテレビは、立体映像に見える条件を全て満たしている分けではない。特に輻輳や調節の矛盾は観察者に対して疲労感を与えるなどの問題点もある。
【０００５】
一方で、次世代方式として注目を集めているのが、超多眼式とインテグラルフォトグラフィ（Integral Photography、以下ＩＰとする）である。どちらもまだ研究段階にあり商品化はされていないが、ＩＰ方式の立体動画像システムについての展示は行われている。またホログラフィは表１を見ても分かるように、立体映像に見える全ての条件を見たしている究極の方式と言われている。しかし実現が大変難しい技術である。そのため次世代の立体テレビとしてはＩＰ方式や超多眼式が挙げられている。
【０００６】
一般に、ＩＰ方式の立体テレビでは、撮影（入力）と再生（出力）で総画素数および要素画像数については同じである必要があった。また仮に画像を拡大する必要があったとしても、画素数を変えずに単に画像を拡大しただけでは、要素画像のサイズは増加するが、要素画像の数は変化しない。即ちＩＰ画像から像を再生したときの解像度が変わらない。このため、拡大表示するために大型ディスプレイに表示しても、画像の粗さが目立つだけになる。
【０００７】
一般に、デジタル画像情報を表示する表示装置において、同じ表示装置の場合に限らず異なる表示装置を用いる場合でも、表示画面サイズを拡大／縮小する際には、その拡大／縮小に合わせて表示画面の画素数を増減させることが望ましいことはよく知られている。このため、以下の記載においても、表示画面サイズを拡大／縮小する際には、それに合わせて表示画面の画素数を増減させるものとする。
【０００８】
ＩＰは、一般に、図１（ａ）に示す様に、被写体１をフライアイレンズ（撮影用複眼レンズ２）で撮影して、撮像面に倒立像を撮像画像３として記録する。この場合、正立像を結像する屈折率分布レンズを用いると、正立像を記録することができる。この撮影用複眼レンズ２を構成する個々のレンズを撮影用要素レンズとすると、一般にその配列は、Ｆ（ｉ，ｊ）（但し、ｉ＝１，２，・・・，Ｉ、ｊ＝１，２，・・・，Ｊ）のような配列である。
この撮影用要素レンズ２のそれぞれの画像をＡ（ｉ，ｊ）とする。また、このＡ（ｉ，ｊ）をデジタル画像とすると、それぞれの画素に分解されて、画素Ａ（ｉ，ｊ，ｍ，ｎ）をもつ。
【０００９】
この画像において、次の段階では、倒立像のままでよい場合や、倒立像を正立像に変換する操作が必要になる場合がある。図１（ｂ）に示す場合は、上記のフライアイレンズと同じ配列をもった複眼レンズ（倒立用複眼レンズ４）を用いて、上記倒立像を正立像に変換する場合である。また、このような変換は光学的に行うことに限定する必要はない。例えば、図２に示す様に、デジタル的に上記のｍ、ｎに関する画素配列を、要素画像倒立部８においてそれぞれ（Ｍ+１-ｍ）、（Ｎ+１-ｎ）の画素と入換えることによって、倒立画像を正立画像に返還することは容易である。この置換処理を電気回路上で行うことによって、光学部品数を抑制することができる。このように変換された画像（表示画像５）の画素配列をＢ（ｉ，ｊ，ｍ，ｎ）とする。
【００１０】
ここで、上記画素配列Ｂ（ｉ，ｊ，ｍ，ｎ）の画像に、よく知られた画素数を増やして画像を拡大する方法、例えば、１）ニアレストネイバー法、２）バイリニア法、あるいは３）バイキュービック法などを適用しても、閲覧者から見た場合、画素数の増加は認められない。つまり、要素画像の数は元のＩＰ画像と同じで、要素画像内の画素数の大きさが増えるのみである。すなわち、１つの要素画像で取得する光線の情報が増える。しかしこれではＩＰ画像からの再生像の解像度は変わらず、ＩＰ画像の総画素数は増えるが、再生像は荒い画像のままである。
【００１１】
次に、図１（ｃ）に示す様に、この表示画像５を表示面に表示し、この表示面からの光を入射し右眼用と左眼用に画像を選別する選別光学系としての複眼レンズ（提示用複眼レンズ６）通じてこの画像を閲覧者に提示する。この際、図３（ａ）に示す様に上記提示用複眼レンズ６の閲覧者７側にさらにレンズを設け、上記表示画像を結像させることによって、上記閲覧者に実像を提示することができる。また、図３（ｂ）に示すように、そのような結像をさせない場合は、閲覧者は虚像を見ることになる。
【００１２】
閲覧者が正立画像を見ようとする場合、表示画面の結像面がある場合は、表示画面には倒立画像を表示し、結像面がない場合は、表示面には正立像を表示する必要がある。
【００１３】
提示用複眼レンズ６の要素である提示用要素レンズは、閲覧者の右眼用と左眼用とに画像を選別する選別光学系として働くので、右眼と左眼とにはそれぞれの３次元画像を提示することができ、これによってその閲覧者は右眼画像と左眼画像との融像による立体像を見ることになる。
【００１４】
従来のインテグラルイメジング方式の３次元画像表示装置の概要を、図３（ａ）、（ｂ）に示す。図３（ａ）の構成では、表示面の前に凸レンズアレイと大口径集光系としてのフレネルレンズを配置して、観察者に実像を提示する。図７（ｂ）の構成では、観察者の近くに表示面と凸レンズアレイと大口径集光系を配置して、観察者に虚像を提示する。
【００１５】
特許文献１（特開平８−２１１５１６号公報）には、レンチキュラプリントに対する画像拡大方法が開示されている。これは、低コストで改善された配列と拡大の精度を有する大きな３−Ｄ画像を形成する改善された方法を提供するものである。この方法は、ａ）元画像平面と拡大装置の画像平面との間でモアレパターンを形成し；ｂ）モアレパターンの特性に基づいて拡大光学系を調整する各段階からなる、小さな３−Ｄ元画像を拡大することにより大型のレンチキュラ３−Ｄ画像を形成する、というものである。
【００１６】
また、特許文献２（特開２００９−２７２８６９号公報）には、少ない画素数の撮像板であっても、解像度の高い立体情報を生成することが可能な立体情報生成装置が開示されている。この立体情報生成装置は、撮像面の中央に開口部を設け、当該開口部の周辺領域に要素レンズを二次元状に配列して被写体の要素画像を撮像する第一画像撮像部と、開口部に結像レンズを設け、撮像範囲が第一画像撮像部の要素レンズ全体の撮像範囲と同じになる位置で第一画像撮像部より解像度の高い要素画像を撮像する第二画像撮像部とを備えた撮像部と、第二画像撮像部で撮像された要素画像を、第一画像撮像部で撮像された要素画像の視差分、順次シフトさせることで、立体情報を生成する画像処理部とを備えるものである。
【００１７】
上記特許文献１、２においては、補間法を用いて画素数の増加や縮小を図るものでなく、本発明と異なるものであることは明らかである。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開平８−２１１５１６号公報
【特許文献２】特開２００９−２７２８６９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
一般に、ＩＰ方式で立体像の記録・再生を行う場合は、入力と出力で総画素数および要素画像数については同じである必要があった。しかし、例えば、撮影時の画素数と観賞時の画素数とは、互いに自由に設定できることが望ましいことは明らかである。
【００２０】
またＩＰ方式で記録した画像を他の立体映像技術用に変換する場合、解像度が合わないといったケースが考えられる。例えば、ＩＰからホログラムへ変換する場合であり、その他の方式についても同様な問題が生じる。そのような場合、本発明を適用することによって、画像システム間で異なる画素をもち、共通の表示画像データを用いようとする場合、それらの画像システムの性能に合わせて、任意の解像度に変換、あるいは任意の光線情報数に変換することが出来る。
【課題を解決するための手段】
【００２１】
本発明は概略、次のようなものである。要素画像の中に入っている様々な角度からの光線情報について、各要素画像から同じ角度の光線の情報を持つ画素を集めて１つの画像とする。これにより生成される画像の数は、１つの要素画像で取得できる光線情報の数（１つの要素画像の画素数）と同じである。そしてこれらの画像を、それぞれ画像補間を用いて任意の画素数に拡大(または縮小)する。ここで言う画像補間の方法は、幾何光学で用いられる既知の手法が適用できる。拡大(または縮小)された光線情報を集めた画素を持つ画像について、各画素をそれぞれ元のＩＰ画像の中の対応する位置に戻す。このときの位置関係は、初めに集められた画素については元々と同じ状態を保つものとし、補間されて生成された光線の情報を持つ画素については、その補間の元となる画素（集められた画素）を持つ要素画像の間に新たな要素画像を生成し、その中の画素として配置する。すると要素画像の大きさは変わらないが、要素画像の数が増える（または減る）ことになる。
以上によりＩＰ画像は元の画像に比べて任意の倍率の大きさに拡大(または縮小)され、同時に要素画像の数すなわちＩＰ画像の解像度も同じ倍率で拡大(または縮小)される。この方法は元の画像が実写であろうとＣＧであろうと問わずＩＰ画像であれば成立する。
【００２２】
このため、本発明の３次元画像の提示方法では、次のようにする。まず、ＩＰによるデジタル画像と同じ画素配列をもった表示画像は、２次元状の画像表示面に表示され２次元状に配列した複数の提示用要素レンズを含む複眼レンズ（提示用複眼レンズ６）を通してその画像の閲覧者に立体像を提示することができるものとする。このとき、
（１）上記表示画像のそれぞれの要素画像について、上記提示用要素レンズを通して閲覧者が見る部分を画素として、上記提示用要素レンズの配列と同様に配列して２次元画像を構成し、
（２）上記２次元画像について、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行い、
（３）その画像変換された画像の少なくとも一部でその画素配列と同様な配列をもった要素レンズ（以降、変換画像提示用要素レンズ）群を備える変換画像提示用複眼レンズのそれぞれの変換画像提示用要素レンズを通して上記閲覧者から見える位置に、上記の画像変換された画像の画素を、それぞれの変換画像提示用要素レンズの配列に対応して配列した画像を生成して、
上記閲覧者に提示する。
【００２３】
より具体的には、次のようにする。まず、
ｉ＝１，２，・・・，Ｉ、
ｊ＝１，２，・・・，Ｊ、
ｍ＝１，２，・・・，Ｍ、
ｎ＝１，２，・・・，Ｎ、
ｇ＝１，２，・・・，Ｇ、（Ｇ≠Ｉ）
ｈ＝１，２，・・・，Ｈ、（Ｈ≠Ｊ）
とし、
上記表示画像の画素配列をＢ（ｉ，ｊ，ｍ，ｎ）とする。このとき、
（１）それぞれのｍ、およびそれぞれのｎについて、画素配列Ｂ（ｉ，ｊ，ｍ，ｎ）の２次元画像を選択し、
（２）上記２次元画像の画素配列の拡大あるいは縮小を行い、
（３）上記の拡大あるいは縮小によって生成された２次元画像をｍおよびｎについて集積して、拡大あるいは縮小された画素配列Ｃ（ｇ，ｈ，ｍ，ｎ）をもつ画像を生成し、
上記画素配列Ｃ（ｇ，ｈ，ｍ，ｎ）をもつ画像を上記画像表示面に表示し、
配列Ｄ（ｇ，ｈ）をもつ変換画像提示用要素レンズ群で構成した変換画像提示用複眼レンズを用いて３次元画像を提示する。
ここで、上記画像配列Ｂ（ｉ，ｊ，ｍ，ｎ）またはＣ（ｇ，ｈ，ｍ，ｎ）では、（ｍ、ｎ）を指標とする小配列のそれぞれが、（ｉ，ｊ）または（ｇ，ｈ）なるそれぞれの位置に配列された区分配列である。
【００２４】
上記画像変換は、画素数を増大または減少させるものであり、それぞれ、
増大においては、Ｉ＜Ｇ、かつＪ＜Ｈであり、
減少においては、Ｉ＞Ｇ、かつＪ＞Ｈである。
【００２５】
上記表示画像が複数の原色からなる多色画像であるとき、それぞれの原色の画像について上記の３次元画像の提示方法における上記画像変換を行い、各原色の画像を集積して拡大（または減少）された画素数の画像を構成することができる。
【００２６】
上記の３次元画像の提示方法は、レンチキュラーレンズ方式の３次元画像に適用することもできる。つまり、上記表示画像は２次元の画素配列をもった表示画像であり、２次元状の画像表示面に表示されレンチキュラーレンズシートを通してその画像の閲覧者に立体像を提示することができるものであるとする。このとき、
（１）上記表示画像の、個々のレンチキュラーレンズを通して閲覧者が見る部分から、それぞれの画像を画素として、上記提示用要素レンズの配列と同様に配列して２次元状に広がる画像を構成し、
（２）上記２次元状に広がる画像について、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行い、
（３）その画像変換された画像の少なくとも一部でその画素配列と同様な配列をもったレンチキュラーレンズ群を備える変換画像提示用レンチキュラーレンズシートのそれぞれのレンチキュラーレンズを通して上記閲覧者から見える位置に、上記の画像変換された画像の画素を、それぞれの変換画像提示用レンチキュラーレンズの配列に対応して配列した画像を生成して、
上記閲覧者に提示する。
【００２７】
上記の補間法としては、１）ニアレストネイバー法、２）バイリニア法、あるいは３）バイキュービック法など既によく知られた補間法を適用することができる。
【発明の効果】
【００２８】
本発明により、要素画像の数が増えＩＰ画像からの再生された立体像の解像度が上がることになる。例えば、フルＨＤ（縦横の画素数：１９２０×１０８０）の中に要素画像が９２１６個あったとする。このとき要素画像１つの大きさは１５×１５とする。このときの再生像の解像度は１９２０÷１５＝１２８、１０８０÷１５＝７２で１２８×７２の映像と等価である。そして同じ角度の光線情報を集めて画素数を拡大し、また元のＩＰ画像の配置に戻すと、そのときの総画素数は４Ｋ（３８４０×２１６０）で、要素画像１つの大きさは１５×１５で変わらないので、再生される立体像の解像度は２５６×１４４となる。
【図面の簡単な説明】
【００２９】
【図１】（ａ）は、被写体をフライアイレンズ（撮影用複眼レンズ２）で撮影して、撮像面に倒立像を撮像画像３として記録する様子を示す模式図である。この場合、正立像を結像する屈折率分布レンズを用いると、正立像を記録することができる。（ｂ）に示す場合は、上記のフライアイレンズと同じ配列をもった複眼レンズ（倒立用複眼レンズ４）を用いて、上記倒立像を正立像に変換する場合である。（ｃ）は、表示画像５を表示面に表示し、この表示面からの光を入射し右眼用と左眼用に画像を選別する選別光学系としての複眼レンズ（提示用複眼レンズ６）通じてこの画像を閲覧者に提示することを示す模式図である。
【図２】（ａ）は、デジタル的に上記のｍ、ｎに関する画素配列を要素画像倒立部８で入換えることによって、倒立画像を正立画像に返還することを示す模式図である。この置換処理を電気回路上で行うことによって、光学部品数を抑制することができる。（ｂ）は、この入換位置の例を示す模式図である。
【図３】（ａ）の構成では、表示面の前に凸レンズアレイと大口径集光系としてのフレネルレンズを配置して、観察者に実像を提示する。（ｂ）の構成では、観察者の近くに表示面と凸レンズアレイと大口径集光系を配置して、観察者に虚像を提示する。
【図４】本発明を適用するＩＰの例を示す。本発明における撮像画像３は、ＩＰによる画像、あるいはそれと同じ表示形式の画像を想定している。例えば、被写体をフライアイレンズ（撮影用複眼レンズ２）で撮影して、撮像面に倒立像を撮像画像３として記録したものである。正立像を結像する屈折率分布レンズを用いると、正立像を記録したものを用いる事ができる。上記と同様に、この撮影用複眼レンズ２を構成する個々のレンズを撮影用要素レンズ１２とすると、一般にその配列は、Ｆ（ｉ，ｊ）（但し、ｉ＝１，２，・・・，Ｉ、ｊ＝１，２，・・・，Ｊ）のような配列である。この画像において、次の段階では、倒立像のままでよい場合や、倒立像を正立像に変換する操作が必要になる場合がある。必要に応じて、上記のフライアイレンズと同じ配列をもった複眼レンズ（倒立用複眼レンズ４）を用いて、上記倒立像を正立像に変換する。このように変換された画像（表示画像）の画素配列をＢ（ｉ，ｊ，ｍ，ｎ）とする。また、ｍ、ｎに関する画素配列の入れ替えが必要ない場合は、Ｂ（ｉ，ｊ，ｍ，ｎ）はＡ（ｉ，ｊ，ｍ，ｎ）に等しいものとする。次に、上記画像ｂijについて、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行う。本発明では、この区分配列について配列数を拡張あるいは縮小を行って、配列Ｃ（ｇ，ｈ，ｍ，ｎ）を構成する。ただし、この拡張あるいは縮小は、それぞれの小配列からの（ｍ、ｎ）要素を抽出した配列について、上記（１）〜（３）に示した様に、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行うものである。これを、配列Ｄ（ｇ，ｈ）をもつ変換画像提示用要素レンズ１４群で構成した変換画像提示用複眼レンズ１１を用いて３次元画像を提示する。
【図５】画素間の補間を行う補間法を用いて画素数を増減する画像変換を示す模式図である。（ａ）は補間前の例、（ｂ）はその補間後を示す。例えば、ｒ1,1＝ｂ1,1、ｒ1,3＝ｂ1,2、ｒ3,1＝ｂ2,1、ｒ3,3＝ｂ2,2、として、ｒ1,2、ｒ2,1、ｒ2,2、ｒ2,3、ｒ3,2、を補間法を用いて画像を決定する。この補間法としてはニアレストネイバー法、バイリニア法、あるいはバイキュービック法などである。これらの補間法は、画像の拡大時のみでなく、画像の画素を増やす場合や、画素を縮減して画像を縮小する際にも適用することができる。また、非整数倍の拡大縮小にも適用することができる。
【図６】補間法を用いて画素数を増減する画像変換を行った画素配列の様式を示す模式図である。（ａ）は、Ｉ＝Ｊ＝３、Ｍ＝Ｎ＝５の場合で、大白丸は、画像変換前の上記画像Ｂ（ｉ，ｊ，１，１）に相当するものである。（ｂ）は、この区分配列について配列数を拡張あるいは縮小を行って、配列Ｃ（ｇ，ｈ，ｍ，ｎ）を構成したものである。ただし、この拡張あるいは縮小は、それぞれの小配列からの（ｍ、ｎ）要素を抽出した配列について、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行うものである。
【図７】レンチキュラーレンズ方式の立体表示装置に本発明を適用する場合の例を示す図である。（ａ）は、レンチキュラーレンズシートにおけるレンチキュラーレンズｓ１、ｓ２・・・、を用いて撮像することで得られる画素配列Ｓ（ｉ，ｍ，ｎ）を示す。（ｂ）は、Ｓ（ｉ，ｍ，１）、Ｓ（ｉ，ｍ，２）、・・・、Ｓ（ｉ，ｍ，Ｎ）について、それぞれに補間法を用いて画素数を増減する画像変換を行って、Ｔ（ｐ，ｑ，１）、Ｔ（ｐ，ｑ，２）、・・・、Ｔ（ｐ，ｑ，Ｎ）、（ただし、ｐ＝１，２，・・・，Ｐ、ｑ＝１，２，・・・，Ｑ）、を求め、これらの配列を、配列Ｔ（ｐ，ｑ，ｎ）を持った画像とした配列を示す。
【発明を実施するための最良の形態】
【００３０】
以下に、この発明の実施の形態を図面に基づいて詳細に説明する。以下の説明においては、同じ機能あるいは類似の機能をもった装置に、特別な理由がない場合には、同じ符号を用いるものとする。
【実施例１】
【００３１】
図４に、本発明を適用するＩＰの例を示す。本発明における撮像画像３は、ＩＰによる画像、あるいはそれと同じ表示形式の画像を想定している。例えば、図４に示す様に、被写体をフライアイレンズ（撮影用複眼レンズ２）で撮影して、撮像面に倒立像を記録したものである。正立像を結像する屈折率分布レンズを用いると、正立像を記録したものを用いる事ができる。上記と同様に、この撮影用複眼レンズ２を構成する個々のレンズを撮影用要素レンズ１２とすると、一般にその配列は、Ｆ（ｉ，ｊ）（但し、ｉ＝１，２，・・・，Ｉ、ｊ＝１，２，・・・，Ｊ）のような配列である。
【００３２】
この撮影用要素レンズ１２のそれぞれの画像をＡ（ｉ，ｊ）とする。また、このＡ（ｉ，ｊ）をデジタル画像とすると、それぞれの画素に分解されて、画素Ａ（ｉ，ｊ，ｍ，ｎ）となる。
【００３３】
この画像において、次の段階では、倒立像のままでよい場合や、倒立像を正立像に変換する操作が必要になる場合がある。図４に示す場合は、上記のフライアイレンズと同じ配列をもった複眼レンズ（倒立用複眼レンズ４）を用いて、上記倒立像を正立像に変換する場合である。また、このような変換は、光学的に行うこと以外に、デジタル処理を用いて行ってもよい。つまり、上記のｍ、ｎに関する画素配列を、要素画像倒立部８でそれぞれ（Ｍ＋１−ｍ）、（Ｎ＋１−ｎ）の画素と入換えることによって、倒立画像を正立画像に返還することは容易である。この置換処理を電気回路上で行うことによって、光学部品数を抑制することができる。このように変換された画像（表示画像）の画素配列をＢ（ｉ，ｊ，ｍ，ｎ）とする。また、ｍ、ｎに関する画素配列の入れ替えが必要ない場合は、Ｂ（ｉ，ｊ，ｍ，ｎ）はＡ（ｉ，ｊ，ｍ，ｎ）に等しいものとし、以降、簡単のために、Ｂ（ｉ，ｊ，ｍ，ｎ）を本発明で用いる表示画像のもととする。また、画素配列Ｂ（ｉ，ｊ，ｍ，ｎ）を持つ画像を、画像Ｂ（ｉ，ｊ，ｍ，ｎ）とする。上記画像配列Ｂ（ｉ，ｊ，ｍ，ｎ）では、（ｍ、ｎ）を指標とする小配列のそれぞれが、（ｉ，ｊ）なるそれぞれの位置に配列された区分配列である。
【００３４】
（１）ここで、図１（ｃ）と同様にして、画像Ｂ（ｉ，ｊ，ｍ，ｎ）を閲覧者７が見る場合を想定すると、固定された閲覧者から見えるのは、上記画像Ｂ（ｉ，ｊ，ｍ，ｎ）の各要素の一部分ずつである。例えば、画像Ｂ（ｉ，ｊ，１，１）が、上記閲覧者から見える。これを、配列を維持しながら抽出すると、図５（a）に示す様な２次元配列をもった画像ｂi、jが得られる。
【００３５】
（２）上記画像ｂijについて、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行う。図５において、（ａ）は補間前の例、（ｂ）はその補間後を示す。例えば、ｒ1,1＝ｂ1,1、ｒ1,3＝ｂ1,2、ｒ3,1＝ｂ2,1、ｒ3,3＝ｂ2,2、として、ｒ1,2、ｒ2,1、ｒ2,2、ｒ2,3、ｒ3,2、を補間法を用いて画像を決定する。この補間法としては、次の方法を適用することができる。
（イ）ニアレストネイバー法（nearest neighbor）：拡大後の画素の最近傍の拡大前の画素を選択し、この濃度値を拡大後の画像の対応画素に採用する。
（ロ）バイリニア法（bi-linear interpolation）：拡大後の画素の周囲の４つの拡大前の画素の濃度値から、その座標（実数値）に応じて直行する２方向の線形の濃度補間を行う。
（ハ）バイキュービック法（bi-cubic convolution）：拡大後の画素の周囲の１６個の拡大前の画素の濃度値から、その座標（実数値）に応じて直行する２方向の補間を３次関数を用い行う。補間に用いる式は、ｓｉｎ（πｘ）／πｘで、これをテイラー展開の３次項までで近似し、補間式として用いる。
これらの補間法は、画像の拡大時のみでなく、画像の画素を増やす場合や、画素を縮減して画像を縮小する際にも適用することができる。また、非整数倍の拡大縮小にも適用することができる。
【００３６】
（３）上記の閲覧者と異なる位置の閲覧者からは、例えば、画像Ｂ（ｉ，ｊ，２，１）が見える。この画像についても、上記と同様の処理を行って画素を増やす、あるいは減らす。さらに配列（ｍ、ｎ）全般について、上記と同様の処理を行う。
例えば、図６（ａ）は、Ｉ＝Ｊ＝３、Ｍ＝Ｎ＝５の場合で、大白丸は、画像変換前の上記画像Ｂ（ｉ，ｊ，１，１）に相当するものである。これは、（ｍ、ｎ）を指標とする小配列；
Ｂ（１，１，ｍ，ｎ）、Ｂ（１，２，ｍ，ｎ）、Ｂ（１，３，ｍ，ｎ）、
Ｂ（２，１，ｍ，ｎ）、Ｂ（２，２，ｍ，ｎ）、Ｂ（２，３，ｍ，ｎ）、
Ｂ（３，１，ｍ，ｎ）、Ｂ（３，２，ｍ，ｎ）、Ｂ（３，３，ｍ，ｎ）、
が、配列（ｉ，ｊ）の位置にある区分配列である。
本発明では、この区分配列について配列数を拡張あるいは縮小を行って、配列Ｃ（ｇ，ｈ，ｍ，ｎ）を構成する。ただし、この拡張あるいは縮小は、それぞれの小配列からの（ｍ、ｎ）要素を抽出した配列について、上記（１）〜（３）に示した様に、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行うものである。
これによって、例えば図６（ｂ）に示す画像配列が得られる。これを図４に示す様に、配列Ｄ（ｇ，ｈ）をもつ変換画像提示用要素レンズ１４群で構成した変換画像提示用複眼レンズ１１を用いて３次元画像を提示する。
【００３７】
図６（ｂ）の画像配列の画像を閲覧者に提示する場合、上記の様に、虚像としても、実像としても提示することができる。この場合、閲覧者に提示する提示画像は、虚像または実像として提示するためには、それぞれ成立像または倒立像であることが求められる。
【実施例２】
【００３８】
図７は、レンチキュラーレンズ方式の立体表示装置に本発明を適用する場合の例を示す図である。
（１）図７（ａ）に示すように、レンチキュラーレンズシートにおけるレンチキュラーレンズｓ１、ｓ２・・・、を用いて撮像することで、画素配列Ｓ（ｉ，ｍ，ｎ）の画像が得られる。これは、（ｍ、ｎ）を指標とする小配列のそれぞれが、レンチキュラーレンズの指標（ｉ）で配列した区分配列である。ある閲覧者からは、大白丸の画素列が見え、少し横にずれた閲覧者からは、その隣の画素列が見える。
（２）次に、
Ｓ（ｉ，ｍ，１）、Ｓ（ｉ，ｍ，２）、・・・、Ｓ（ｉ，ｍ，Ｎ）について、それぞれに上記（２）に記載の補間法を用いて画素数を増減する画像変換を行って、
Ｔ（ｐ，ｑ，１）、Ｔ（ｐ，ｑ，２）、・・・、Ｔ（ｐ，ｑ，Ｎ）、（ただし、ｐ＝１，２，・・・，Ｐ、ｑ＝１，２，・・・，Ｑ）、を求める。
（３）上記の配列を、図７（ｂ）に示す様に、画素配列Ｔ（ｐ，ｑ，ｎ）を持った画像として１つの配列にする。
この様に、上記の３次元画像の提示方法は、レンチキュラーレンズ方式の３次元画像についても、画素数の拡大または減少を伴う画像変換の際に適用することができる。
【産業上の利用可能性】
【００３９】
上記のフライアイレンズの変わりにピンホール群を用いた場合でも、上記の実施例１と同様に画素数の拡大や縮小を容易に行うことができることは明らかである。また、レンチキュラーレンズ方式と同様に、パララックスバリア方式も視差障壁を利用した立体表示装置であるので、パララックスバリア方式の場合も上記の実施例２と同様に画素数の拡大や縮小を容易に行うことができる。
【符号の説明】
【００４０】
１ 対象物
２ 撮像用複眼レンズ
３ 撮像画像
４ 倒立用複眼レンズ
５ 表示画像
６ 提示用複眼レンズ
７ 閲覧者
８ 要素画像倒立部
９ 画像変換部
１０ 変換画像表示画面
１１ 変換画像提示用複眼レンズ
１２ 撮影用要素レンズ
１３ 倒立用要素レンズ
１４ 変換画像提示用要素レンズ
【技術分野】
【０００１】
この発明は、右眼と左眼それぞれ用の画像を表示する画像表示面と、前記画像表示面からの光を入射し右眼用と左眼用に画像を選別する選別光学系と、を備える裸眼方式の３次元画像表示装置において、画素数の拡大または減少を伴う画像変換の際に適用することができる３次元画像の提示方法に関している。
【背景技術】
【０００２】
立体ディスプレイ装置は、より実物に近い表示ができることから、展示用の表示の他に、コンピュータゲーム、訓練用シミュレータ、装置の遠隔操作の表示装置、などに用いられており、さらにその応用分野は拡大している。現在の主な立体映像の方式についてまとめると表1のようになる。表１は立体映像技術として代表的な５種類の技術について、立体映像に見える条件をどの程度満たしているかを表したものである。
【０００３】
【表１】
【０００４】
２眼式は両眼視差を利用して観察者に立体像を見せる手法である。右眼と左眼に異なる映像を与えるだけで良いので、眼鏡式については既に家庭用に普及しつつあり、裸眼式の立体テレビも最近発売されたばかりである。しかしこれらのテレビは、立体映像に見える条件を全て満たしている分けではない。特に輻輳や調節の矛盾は観察者に対して疲労感を与えるなどの問題点もある。
【０００５】
一方で、次世代方式として注目を集めているのが、超多眼式とインテグラルフォトグラフィ（Integral Photography、以下ＩＰとする）である。どちらもまだ研究段階にあり商品化はされていないが、ＩＰ方式の立体動画像システムについての展示は行われている。またホログラフィは表１を見ても分かるように、立体映像に見える全ての条件を見たしている究極の方式と言われている。しかし実現が大変難しい技術である。そのため次世代の立体テレビとしてはＩＰ方式や超多眼式が挙げられている。
【０００６】
一般に、ＩＰ方式の立体テレビでは、撮影（入力）と再生（出力）で総画素数および要素画像数については同じである必要があった。また仮に画像を拡大する必要があったとしても、画素数を変えずに単に画像を拡大しただけでは、要素画像のサイズは増加するが、要素画像の数は変化しない。即ちＩＰ画像から像を再生したときの解像度が変わらない。このため、拡大表示するために大型ディスプレイに表示しても、画像の粗さが目立つだけになる。
【０００７】
一般に、デジタル画像情報を表示する表示装置において、同じ表示装置の場合に限らず異なる表示装置を用いる場合でも、表示画面サイズを拡大／縮小する際には、その拡大／縮小に合わせて表示画面の画素数を増減させることが望ましいことはよく知られている。このため、以下の記載においても、表示画面サイズを拡大／縮小する際には、それに合わせて表示画面の画素数を増減させるものとする。
【０００８】
ＩＰは、一般に、図１（ａ）に示す様に、被写体１をフライアイレンズ（撮影用複眼レンズ２）で撮影して、撮像面に倒立像を撮像画像３として記録する。この場合、正立像を結像する屈折率分布レンズを用いると、正立像を記録することができる。この撮影用複眼レンズ２を構成する個々のレンズを撮影用要素レンズとすると、一般にその配列は、Ｆ（ｉ，ｊ）（但し、ｉ＝１，２，・・・，Ｉ、ｊ＝１，２，・・・，Ｊ）のような配列である。
この撮影用要素レンズ２のそれぞれの画像をＡ（ｉ，ｊ）とする。また、このＡ（ｉ，ｊ）をデジタル画像とすると、それぞれの画素に分解されて、画素Ａ（ｉ，ｊ，ｍ，ｎ）をもつ。
【０００９】
この画像において、次の段階では、倒立像のままでよい場合や、倒立像を正立像に変換する操作が必要になる場合がある。図１（ｂ）に示す場合は、上記のフライアイレンズと同じ配列をもった複眼レンズ（倒立用複眼レンズ４）を用いて、上記倒立像を正立像に変換する場合である。また、このような変換は光学的に行うことに限定する必要はない。例えば、図２に示す様に、デジタル的に上記のｍ、ｎに関する画素配列を、要素画像倒立部８においてそれぞれ（Ｍ+１-ｍ）、（Ｎ+１-ｎ）の画素と入換えることによって、倒立画像を正立画像に返還することは容易である。この置換処理を電気回路上で行うことによって、光学部品数を抑制することができる。このように変換された画像（表示画像５）の画素配列をＢ（ｉ，ｊ，ｍ，ｎ）とする。
【００１０】
ここで、上記画素配列Ｂ（ｉ，ｊ，ｍ，ｎ）の画像に、よく知られた画素数を増やして画像を拡大する方法、例えば、１）ニアレストネイバー法、２）バイリニア法、あるいは３）バイキュービック法などを適用しても、閲覧者から見た場合、画素数の増加は認められない。つまり、要素画像の数は元のＩＰ画像と同じで、要素画像内の画素数の大きさが増えるのみである。すなわち、１つの要素画像で取得する光線の情報が増える。しかしこれではＩＰ画像からの再生像の解像度は変わらず、ＩＰ画像の総画素数は増えるが、再生像は荒い画像のままである。
【００１１】
次に、図１（ｃ）に示す様に、この表示画像５を表示面に表示し、この表示面からの光を入射し右眼用と左眼用に画像を選別する選別光学系としての複眼レンズ（提示用複眼レンズ６）通じてこの画像を閲覧者に提示する。この際、図３（ａ）に示す様に上記提示用複眼レンズ６の閲覧者７側にさらにレンズを設け、上記表示画像を結像させることによって、上記閲覧者に実像を提示することができる。また、図３（ｂ）に示すように、そのような結像をさせない場合は、閲覧者は虚像を見ることになる。
【００１２】
閲覧者が正立画像を見ようとする場合、表示画面の結像面がある場合は、表示画面には倒立画像を表示し、結像面がない場合は、表示面には正立像を表示する必要がある。
【００１３】
提示用複眼レンズ６の要素である提示用要素レンズは、閲覧者の右眼用と左眼用とに画像を選別する選別光学系として働くので、右眼と左眼とにはそれぞれの３次元画像を提示することができ、これによってその閲覧者は右眼画像と左眼画像との融像による立体像を見ることになる。
【００１４】
従来のインテグラルイメジング方式の３次元画像表示装置の概要を、図３（ａ）、（ｂ）に示す。図３（ａ）の構成では、表示面の前に凸レンズアレイと大口径集光系としてのフレネルレンズを配置して、観察者に実像を提示する。図７（ｂ）の構成では、観察者の近くに表示面と凸レンズアレイと大口径集光系を配置して、観察者に虚像を提示する。
【００１５】
特許文献１（特開平８−２１１５１６号公報）には、レンチキュラプリントに対する画像拡大方法が開示されている。これは、低コストで改善された配列と拡大の精度を有する大きな３−Ｄ画像を形成する改善された方法を提供するものである。この方法は、ａ）元画像平面と拡大装置の画像平面との間でモアレパターンを形成し；ｂ）モアレパターンの特性に基づいて拡大光学系を調整する各段階からなる、小さな３−Ｄ元画像を拡大することにより大型のレンチキュラ３−Ｄ画像を形成する、というものである。
【００１６】
また、特許文献２（特開２００９−２７２８６９号公報）には、少ない画素数の撮像板であっても、解像度の高い立体情報を生成することが可能な立体情報生成装置が開示されている。この立体情報生成装置は、撮像面の中央に開口部を設け、当該開口部の周辺領域に要素レンズを二次元状に配列して被写体の要素画像を撮像する第一画像撮像部と、開口部に結像レンズを設け、撮像範囲が第一画像撮像部の要素レンズ全体の撮像範囲と同じになる位置で第一画像撮像部より解像度の高い要素画像を撮像する第二画像撮像部とを備えた撮像部と、第二画像撮像部で撮像された要素画像を、第一画像撮像部で撮像された要素画像の視差分、順次シフトさせることで、立体情報を生成する画像処理部とを備えるものである。
【００１７】
上記特許文献１、２においては、補間法を用いて画素数の増加や縮小を図るものでなく、本発明と異なるものであることは明らかである。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】特開平８−２１１５１６号公報
【特許文献２】特開２００９−２７２８６９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１９】
一般に、ＩＰ方式で立体像の記録・再生を行う場合は、入力と出力で総画素数および要素画像数については同じである必要があった。しかし、例えば、撮影時の画素数と観賞時の画素数とは、互いに自由に設定できることが望ましいことは明らかである。
【００２０】
またＩＰ方式で記録した画像を他の立体映像技術用に変換する場合、解像度が合わないといったケースが考えられる。例えば、ＩＰからホログラムへ変換する場合であり、その他の方式についても同様な問題が生じる。そのような場合、本発明を適用することによって、画像システム間で異なる画素をもち、共通の表示画像データを用いようとする場合、それらの画像システムの性能に合わせて、任意の解像度に変換、あるいは任意の光線情報数に変換することが出来る。
【課題を解決するための手段】
【００２１】
本発明は概略、次のようなものである。要素画像の中に入っている様々な角度からの光線情報について、各要素画像から同じ角度の光線の情報を持つ画素を集めて１つの画像とする。これにより生成される画像の数は、１つの要素画像で取得できる光線情報の数（１つの要素画像の画素数）と同じである。そしてこれらの画像を、それぞれ画像補間を用いて任意の画素数に拡大(または縮小)する。ここで言う画像補間の方法は、幾何光学で用いられる既知の手法が適用できる。拡大(または縮小)された光線情報を集めた画素を持つ画像について、各画素をそれぞれ元のＩＰ画像の中の対応する位置に戻す。このときの位置関係は、初めに集められた画素については元々と同じ状態を保つものとし、補間されて生成された光線の情報を持つ画素については、その補間の元となる画素（集められた画素）を持つ要素画像の間に新たな要素画像を生成し、その中の画素として配置する。すると要素画像の大きさは変わらないが、要素画像の数が増える（または減る）ことになる。
以上によりＩＰ画像は元の画像に比べて任意の倍率の大きさに拡大(または縮小)され、同時に要素画像の数すなわちＩＰ画像の解像度も同じ倍率で拡大(または縮小)される。この方法は元の画像が実写であろうとＣＧであろうと問わずＩＰ画像であれば成立する。
【００２２】
このため、本発明の３次元画像の提示方法では、次のようにする。まず、ＩＰによるデジタル画像と同じ画素配列をもった表示画像は、２次元状の画像表示面に表示され２次元状に配列した複数の提示用要素レンズを含む複眼レンズ（提示用複眼レンズ６）を通してその画像の閲覧者に立体像を提示することができるものとする。このとき、
（１）上記表示画像のそれぞれの要素画像について、上記提示用要素レンズを通して閲覧者が見る部分を画素として、上記提示用要素レンズの配列と同様に配列して２次元画像を構成し、
（２）上記２次元画像について、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行い、
（３）その画像変換された画像の少なくとも一部でその画素配列と同様な配列をもった要素レンズ（以降、変換画像提示用要素レンズ）群を備える変換画像提示用複眼レンズのそれぞれの変換画像提示用要素レンズを通して上記閲覧者から見える位置に、上記の画像変換された画像の画素を、それぞれの変換画像提示用要素レンズの配列に対応して配列した画像を生成して、
上記閲覧者に提示する。
【００２３】
より具体的には、次のようにする。まず、
ｉ＝１，２，・・・，Ｉ、
ｊ＝１，２，・・・，Ｊ、
ｍ＝１，２，・・・，Ｍ、
ｎ＝１，２，・・・，Ｎ、
ｇ＝１，２，・・・，Ｇ、（Ｇ≠Ｉ）
ｈ＝１，２，・・・，Ｈ、（Ｈ≠Ｊ）
とし、
上記表示画像の画素配列をＢ（ｉ，ｊ，ｍ，ｎ）とする。このとき、
（１）それぞれのｍ、およびそれぞれのｎについて、画素配列Ｂ（ｉ，ｊ，ｍ，ｎ）の２次元画像を選択し、
（２）上記２次元画像の画素配列の拡大あるいは縮小を行い、
（３）上記の拡大あるいは縮小によって生成された２次元画像をｍおよびｎについて集積して、拡大あるいは縮小された画素配列Ｃ（ｇ，ｈ，ｍ，ｎ）をもつ画像を生成し、
上記画素配列Ｃ（ｇ，ｈ，ｍ，ｎ）をもつ画像を上記画像表示面に表示し、
配列Ｄ（ｇ，ｈ）をもつ変換画像提示用要素レンズ群で構成した変換画像提示用複眼レンズを用いて３次元画像を提示する。
ここで、上記画像配列Ｂ（ｉ，ｊ，ｍ，ｎ）またはＣ（ｇ，ｈ，ｍ，ｎ）では、（ｍ、ｎ）を指標とする小配列のそれぞれが、（ｉ，ｊ）または（ｇ，ｈ）なるそれぞれの位置に配列された区分配列である。
【００２４】
上記画像変換は、画素数を増大または減少させるものであり、それぞれ、
増大においては、Ｉ＜Ｇ、かつＪ＜Ｈであり、
減少においては、Ｉ＞Ｇ、かつＪ＞Ｈである。
【００２５】
上記表示画像が複数の原色からなる多色画像であるとき、それぞれの原色の画像について上記の３次元画像の提示方法における上記画像変換を行い、各原色の画像を集積して拡大（または減少）された画素数の画像を構成することができる。
【００２６】
上記の３次元画像の提示方法は、レンチキュラーレンズ方式の３次元画像に適用することもできる。つまり、上記表示画像は２次元の画素配列をもった表示画像であり、２次元状の画像表示面に表示されレンチキュラーレンズシートを通してその画像の閲覧者に立体像を提示することができるものであるとする。このとき、
（１）上記表示画像の、個々のレンチキュラーレンズを通して閲覧者が見る部分から、それぞれの画像を画素として、上記提示用要素レンズの配列と同様に配列して２次元状に広がる画像を構成し、
（２）上記２次元状に広がる画像について、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行い、
（３）その画像変換された画像の少なくとも一部でその画素配列と同様な配列をもったレンチキュラーレンズ群を備える変換画像提示用レンチキュラーレンズシートのそれぞれのレンチキュラーレンズを通して上記閲覧者から見える位置に、上記の画像変換された画像の画素を、それぞれの変換画像提示用レンチキュラーレンズの配列に対応して配列した画像を生成して、
上記閲覧者に提示する。
【００２７】
上記の補間法としては、１）ニアレストネイバー法、２）バイリニア法、あるいは３）バイキュービック法など既によく知られた補間法を適用することができる。
【発明の効果】
【００２８】
本発明により、要素画像の数が増えＩＰ画像からの再生された立体像の解像度が上がることになる。例えば、フルＨＤ（縦横の画素数：１９２０×１０８０）の中に要素画像が９２１６個あったとする。このとき要素画像１つの大きさは１５×１５とする。このときの再生像の解像度は１９２０÷１５＝１２８、１０８０÷１５＝７２で１２８×７２の映像と等価である。そして同じ角度の光線情報を集めて画素数を拡大し、また元のＩＰ画像の配置に戻すと、そのときの総画素数は４Ｋ（３８４０×２１６０）で、要素画像１つの大きさは１５×１５で変わらないので、再生される立体像の解像度は２５６×１４４となる。
【図面の簡単な説明】
【００２９】
【図１】（ａ）は、被写体をフライアイレンズ（撮影用複眼レンズ２）で撮影して、撮像面に倒立像を撮像画像３として記録する様子を示す模式図である。この場合、正立像を結像する屈折率分布レンズを用いると、正立像を記録することができる。（ｂ）に示す場合は、上記のフライアイレンズと同じ配列をもった複眼レンズ（倒立用複眼レンズ４）を用いて、上記倒立像を正立像に変換する場合である。（ｃ）は、表示画像５を表示面に表示し、この表示面からの光を入射し右眼用と左眼用に画像を選別する選別光学系としての複眼レンズ（提示用複眼レンズ６）通じてこの画像を閲覧者に提示することを示す模式図である。
【図２】（ａ）は、デジタル的に上記のｍ、ｎに関する画素配列を要素画像倒立部８で入換えることによって、倒立画像を正立画像に返還することを示す模式図である。この置換処理を電気回路上で行うことによって、光学部品数を抑制することができる。（ｂ）は、この入換位置の例を示す模式図である。
【図３】（ａ）の構成では、表示面の前に凸レンズアレイと大口径集光系としてのフレネルレンズを配置して、観察者に実像を提示する。（ｂ）の構成では、観察者の近くに表示面と凸レンズアレイと大口径集光系を配置して、観察者に虚像を提示する。
【図４】本発明を適用するＩＰの例を示す。本発明における撮像画像３は、ＩＰによる画像、あるいはそれと同じ表示形式の画像を想定している。例えば、被写体をフライアイレンズ（撮影用複眼レンズ２）で撮影して、撮像面に倒立像を撮像画像３として記録したものである。正立像を結像する屈折率分布レンズを用いると、正立像を記録したものを用いる事ができる。上記と同様に、この撮影用複眼レンズ２を構成する個々のレンズを撮影用要素レンズ１２とすると、一般にその配列は、Ｆ（ｉ，ｊ）（但し、ｉ＝１，２，・・・，Ｉ、ｊ＝１，２，・・・，Ｊ）のような配列である。この画像において、次の段階では、倒立像のままでよい場合や、倒立像を正立像に変換する操作が必要になる場合がある。必要に応じて、上記のフライアイレンズと同じ配列をもった複眼レンズ（倒立用複眼レンズ４）を用いて、上記倒立像を正立像に変換する。このように変換された画像（表示画像）の画素配列をＢ（ｉ，ｊ，ｍ，ｎ）とする。また、ｍ、ｎに関する画素配列の入れ替えが必要ない場合は、Ｂ（ｉ，ｊ，ｍ，ｎ）はＡ（ｉ，ｊ，ｍ，ｎ）に等しいものとする。次に、上記画像ｂijについて、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行う。本発明では、この区分配列について配列数を拡張あるいは縮小を行って、配列Ｃ（ｇ，ｈ，ｍ，ｎ）を構成する。ただし、この拡張あるいは縮小は、それぞれの小配列からの（ｍ、ｎ）要素を抽出した配列について、上記（１）〜（３）に示した様に、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行うものである。これを、配列Ｄ（ｇ，ｈ）をもつ変換画像提示用要素レンズ１４群で構成した変換画像提示用複眼レンズ１１を用いて３次元画像を提示する。
【図５】画素間の補間を行う補間法を用いて画素数を増減する画像変換を示す模式図である。（ａ）は補間前の例、（ｂ）はその補間後を示す。例えば、ｒ1,1＝ｂ1,1、ｒ1,3＝ｂ1,2、ｒ3,1＝ｂ2,1、ｒ3,3＝ｂ2,2、として、ｒ1,2、ｒ2,1、ｒ2,2、ｒ2,3、ｒ3,2、を補間法を用いて画像を決定する。この補間法としてはニアレストネイバー法、バイリニア法、あるいはバイキュービック法などである。これらの補間法は、画像の拡大時のみでなく、画像の画素を増やす場合や、画素を縮減して画像を縮小する際にも適用することができる。また、非整数倍の拡大縮小にも適用することができる。
【図６】補間法を用いて画素数を増減する画像変換を行った画素配列の様式を示す模式図である。（ａ）は、Ｉ＝Ｊ＝３、Ｍ＝Ｎ＝５の場合で、大白丸は、画像変換前の上記画像Ｂ（ｉ，ｊ，１，１）に相当するものである。（ｂ）は、この区分配列について配列数を拡張あるいは縮小を行って、配列Ｃ（ｇ，ｈ，ｍ，ｎ）を構成したものである。ただし、この拡張あるいは縮小は、それぞれの小配列からの（ｍ、ｎ）要素を抽出した配列について、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行うものである。
【図７】レンチキュラーレンズ方式の立体表示装置に本発明を適用する場合の例を示す図である。（ａ）は、レンチキュラーレンズシートにおけるレンチキュラーレンズｓ１、ｓ２・・・、を用いて撮像することで得られる画素配列Ｓ（ｉ，ｍ，ｎ）を示す。（ｂ）は、Ｓ（ｉ，ｍ，１）、Ｓ（ｉ，ｍ，２）、・・・、Ｓ（ｉ，ｍ，Ｎ）について、それぞれに補間法を用いて画素数を増減する画像変換を行って、Ｔ（ｐ，ｑ，１）、Ｔ（ｐ，ｑ，２）、・・・、Ｔ（ｐ，ｑ，Ｎ）、（ただし、ｐ＝１，２，・・・，Ｐ、ｑ＝１，２，・・・，Ｑ）、を求め、これらの配列を、配列Ｔ（ｐ，ｑ，ｎ）を持った画像とした配列を示す。
【発明を実施するための最良の形態】
【００３０】
以下に、この発明の実施の形態を図面に基づいて詳細に説明する。以下の説明においては、同じ機能あるいは類似の機能をもった装置に、特別な理由がない場合には、同じ符号を用いるものとする。
【実施例１】
【００３１】
図４に、本発明を適用するＩＰの例を示す。本発明における撮像画像３は、ＩＰによる画像、あるいはそれと同じ表示形式の画像を想定している。例えば、図４に示す様に、被写体をフライアイレンズ（撮影用複眼レンズ２）で撮影して、撮像面に倒立像を記録したものである。正立像を結像する屈折率分布レンズを用いると、正立像を記録したものを用いる事ができる。上記と同様に、この撮影用複眼レンズ２を構成する個々のレンズを撮影用要素レンズ１２とすると、一般にその配列は、Ｆ（ｉ，ｊ）（但し、ｉ＝１，２，・・・，Ｉ、ｊ＝１，２，・・・，Ｊ）のような配列である。
【００３２】
この撮影用要素レンズ１２のそれぞれの画像をＡ（ｉ，ｊ）とする。また、このＡ（ｉ，ｊ）をデジタル画像とすると、それぞれの画素に分解されて、画素Ａ（ｉ，ｊ，ｍ，ｎ）となる。
【００３３】
この画像において、次の段階では、倒立像のままでよい場合や、倒立像を正立像に変換する操作が必要になる場合がある。図４に示す場合は、上記のフライアイレンズと同じ配列をもった複眼レンズ（倒立用複眼レンズ４）を用いて、上記倒立像を正立像に変換する場合である。また、このような変換は、光学的に行うこと以外に、デジタル処理を用いて行ってもよい。つまり、上記のｍ、ｎに関する画素配列を、要素画像倒立部８でそれぞれ（Ｍ＋１−ｍ）、（Ｎ＋１−ｎ）の画素と入換えることによって、倒立画像を正立画像に返還することは容易である。この置換処理を電気回路上で行うことによって、光学部品数を抑制することができる。このように変換された画像（表示画像）の画素配列をＢ（ｉ，ｊ，ｍ，ｎ）とする。また、ｍ、ｎに関する画素配列の入れ替えが必要ない場合は、Ｂ（ｉ，ｊ，ｍ，ｎ）はＡ（ｉ，ｊ，ｍ，ｎ）に等しいものとし、以降、簡単のために、Ｂ（ｉ，ｊ，ｍ，ｎ）を本発明で用いる表示画像のもととする。また、画素配列Ｂ（ｉ，ｊ，ｍ，ｎ）を持つ画像を、画像Ｂ（ｉ，ｊ，ｍ，ｎ）とする。上記画像配列Ｂ（ｉ，ｊ，ｍ，ｎ）では、（ｍ、ｎ）を指標とする小配列のそれぞれが、（ｉ，ｊ）なるそれぞれの位置に配列された区分配列である。
【００３４】
（１）ここで、図１（ｃ）と同様にして、画像Ｂ（ｉ，ｊ，ｍ，ｎ）を閲覧者７が見る場合を想定すると、固定された閲覧者から見えるのは、上記画像Ｂ（ｉ，ｊ，ｍ，ｎ）の各要素の一部分ずつである。例えば、画像Ｂ（ｉ，ｊ，１，１）が、上記閲覧者から見える。これを、配列を維持しながら抽出すると、図５（a）に示す様な２次元配列をもった画像ｂi、jが得られる。
【００３５】
（２）上記画像ｂijについて、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行う。図５において、（ａ）は補間前の例、（ｂ）はその補間後を示す。例えば、ｒ1,1＝ｂ1,1、ｒ1,3＝ｂ1,2、ｒ3,1＝ｂ2,1、ｒ3,3＝ｂ2,2、として、ｒ1,2、ｒ2,1、ｒ2,2、ｒ2,3、ｒ3,2、を補間法を用いて画像を決定する。この補間法としては、次の方法を適用することができる。
（イ）ニアレストネイバー法（nearest neighbor）：拡大後の画素の最近傍の拡大前の画素を選択し、この濃度値を拡大後の画像の対応画素に採用する。
（ロ）バイリニア法（bi-linear interpolation）：拡大後の画素の周囲の４つの拡大前の画素の濃度値から、その座標（実数値）に応じて直行する２方向の線形の濃度補間を行う。
（ハ）バイキュービック法（bi-cubic convolution）：拡大後の画素の周囲の１６個の拡大前の画素の濃度値から、その座標（実数値）に応じて直行する２方向の補間を３次関数を用い行う。補間に用いる式は、ｓｉｎ（πｘ）／πｘで、これをテイラー展開の３次項までで近似し、補間式として用いる。
これらの補間法は、画像の拡大時のみでなく、画像の画素を増やす場合や、画素を縮減して画像を縮小する際にも適用することができる。また、非整数倍の拡大縮小にも適用することができる。
【００３６】
（３）上記の閲覧者と異なる位置の閲覧者からは、例えば、画像Ｂ（ｉ，ｊ，２，１）が見える。この画像についても、上記と同様の処理を行って画素を増やす、あるいは減らす。さらに配列（ｍ、ｎ）全般について、上記と同様の処理を行う。
例えば、図６（ａ）は、Ｉ＝Ｊ＝３、Ｍ＝Ｎ＝５の場合で、大白丸は、画像変換前の上記画像Ｂ（ｉ，ｊ，１，１）に相当するものである。これは、（ｍ、ｎ）を指標とする小配列；
Ｂ（１，１，ｍ，ｎ）、Ｂ（１，２，ｍ，ｎ）、Ｂ（１，３，ｍ，ｎ）、
Ｂ（２，１，ｍ，ｎ）、Ｂ（２，２，ｍ，ｎ）、Ｂ（２，３，ｍ，ｎ）、
Ｂ（３，１，ｍ，ｎ）、Ｂ（３，２，ｍ，ｎ）、Ｂ（３，３，ｍ，ｎ）、
が、配列（ｉ，ｊ）の位置にある区分配列である。
本発明では、この区分配列について配列数を拡張あるいは縮小を行って、配列Ｃ（ｇ，ｈ，ｍ，ｎ）を構成する。ただし、この拡張あるいは縮小は、それぞれの小配列からの（ｍ、ｎ）要素を抽出した配列について、上記（１）〜（３）に示した様に、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行うものである。
これによって、例えば図６（ｂ）に示す画像配列が得られる。これを図４に示す様に、配列Ｄ（ｇ，ｈ）をもつ変換画像提示用要素レンズ１４群で構成した変換画像提示用複眼レンズ１１を用いて３次元画像を提示する。
【００３７】
図６（ｂ）の画像配列の画像を閲覧者に提示する場合、上記の様に、虚像としても、実像としても提示することができる。この場合、閲覧者に提示する提示画像は、虚像または実像として提示するためには、それぞれ成立像または倒立像であることが求められる。
【実施例２】
【００３８】
図７は、レンチキュラーレンズ方式の立体表示装置に本発明を適用する場合の例を示す図である。
（１）図７（ａ）に示すように、レンチキュラーレンズシートにおけるレンチキュラーレンズｓ１、ｓ２・・・、を用いて撮像することで、画素配列Ｓ（ｉ，ｍ，ｎ）の画像が得られる。これは、（ｍ、ｎ）を指標とする小配列のそれぞれが、レンチキュラーレンズの指標（ｉ）で配列した区分配列である。ある閲覧者からは、大白丸の画素列が見え、少し横にずれた閲覧者からは、その隣の画素列が見える。
（２）次に、
Ｓ（ｉ，ｍ，１）、Ｓ（ｉ，ｍ，２）、・・・、Ｓ（ｉ，ｍ，Ｎ）について、それぞれに上記（２）に記載の補間法を用いて画素数を増減する画像変換を行って、
Ｔ（ｐ，ｑ，１）、Ｔ（ｐ，ｑ，２）、・・・、Ｔ（ｐ，ｑ，Ｎ）、（ただし、ｐ＝１，２，・・・，Ｐ、ｑ＝１，２，・・・，Ｑ）、を求める。
（３）上記の配列を、図７（ｂ）に示す様に、画素配列Ｔ（ｐ，ｑ，ｎ）を持った画像として１つの配列にする。
この様に、上記の３次元画像の提示方法は、レンチキュラーレンズ方式の３次元画像についても、画素数の拡大または減少を伴う画像変換の際に適用することができる。
【産業上の利用可能性】
【００３９】
上記のフライアイレンズの変わりにピンホール群を用いた場合でも、上記の実施例１と同様に画素数の拡大や縮小を容易に行うことができることは明らかである。また、レンチキュラーレンズ方式と同様に、パララックスバリア方式も視差障壁を利用した立体表示装置であるので、パララックスバリア方式の場合も上記の実施例２と同様に画素数の拡大や縮小を容易に行うことができる。
【符号の説明】
【００４０】
１ 対象物
２ 撮像用複眼レンズ
３ 撮像画像
４ 倒立用複眼レンズ
５ 表示画像
６ 提示用複眼レンズ
７ 閲覧者
８ 要素画像倒立部
９ 画像変換部
１０ 変換画像表示画面
１１ 変換画像提示用複眼レンズ
１２ 撮影用要素レンズ
１３ 倒立用要素レンズ
１４ 変換画像提示用要素レンズ
【特許請求の範囲】
【請求項１】
インテグラルフォトグラフィによるデジタル画像と同じ画素配列をもった表示画像は、２次元状の画像表示面に表示され２次元状に配列した複数の提示用要素レンズを含む複眼レンズ（以降、提示用複眼レンズと称す）を通してその画像の閲覧者に立体像を提示することができるものであるとき、
（１）上記表示画像のそれぞれの要素画像について、上記提示用要素レンズを通して閲覧者が見る部分を画素として、上記提示用要素レンズの配列と同様に配列して２次元画像を構成し、
（２）上記２次元画像について、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行い、
（３）その画像変換された画像の少なくとも一部でその画素配列と同様な配列をもった要素レンズ（以降、変換画像提示用要素レンズ）群を備える変換画像提示用複眼レンズのそれぞれの変換画像提示用要素レンズを通して上記閲覧者から見える位置に、上記の画像変換された画像の画素を、それぞれの変換画像提示用要素レンズの配列に対応して配列した画像を生成して、
上記閲覧者に提示することを特徴とする３次元画像の提示方法。
【請求項２】
ｉ＝１，２，・・・，Ｉ、
ｊ＝１，２，・・・，Ｊ、
ｍ＝１，２，・・・，Ｍ、
ｎ＝１，２，・・・，Ｎ、
ｇ＝１，２，・・・，Ｇ、（Ｇ≠Ｉ）
ｈ＝１，２，・・・，Ｈ、（Ｈ≠Ｊ）
とし、
上記表示画像の画素配列をＢ（ｉ，ｊ，ｍ，ｎ）とするとき、
（１）それぞれのｍ、およびそれぞれのｎについて、画素配列Ｂ（ｉ，ｊ，ｍ，ｎ）の２次元画像を選択し、
（２）上記２次元画像の画素配列の拡大あるいは縮小を行い、
（３）上記の拡大あるいは縮小によって生成された２次元画像をｍおよびｎについて集積して、拡大あるいは縮小された画素配列Ｃ（ｇ，ｈ，ｍ，ｎ）をもつ画像を生成し、
上記画素配列Ｃ（ｇ，ｈ，ｍ，ｎ）をもつ画像を上記画像表示面に表示し、
配列Ｄ（ｇ，ｈ）をもつ変換画像提示用要素レンズ群で構成した変換画像提示用複眼レンズを用いて立体画像を提示するものであり、
上記画像配列Ｂ（ｉ，ｊ，ｍ，ｎ）またはＣ（ｇ，ｈ，ｍ，ｎ）では、（ｍ、ｎ）を指標とする小配列のそれぞれが、（ｉ，ｊ）または（ｇ，ｈ）なるそれぞれの位置に配列された区分配列である、
ことを特徴とする請求項1に記載の３次元画像の提示方法。
【請求項３】
上記画像変換は、画素数を増大または減少させるものであり、それぞれ、
増大においては、Ｉ＜Ｇ、かつＪ＜Ｈであり、
減少においては、Ｉ＞Ｇ、かつＪ＞Ｈである、
ことを特徴とする請求項２に記載の３次元画像の提示方法。
【請求項４】
上記表示画像が複数の原色からなる多色画像であるとき、それぞれの色の画像について上記画像変換を行うことを特徴とする請求項１から請求項３のいずれか１つに記載の３次元画像の提示方法。
【請求項５】
上記表示画像は２次元の画素配列をもった表示画像であり、２次元状の画像表示面に表示されレンチキュラーレンズシートを通してその画像の閲覧者に立体像を提示することができるものであるとき、
（１）上記表示画像の、個々のレンチキュラーレンズを通して閲覧者が見る部分から、それぞれの画像を画素として、上記提示用要素レンズの配列と同様に配列して２次元状に広がる画像を構成し、
（２）上記２次元状に広がる画像について、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行い、
（３）その画像変換された画像の少なくとも一部でその画素配列と同様な配列をもったレンチキュラーレンズ群を備える変換画像提示用レンチキュラーレンズシートのそれぞれのレンチキュラーレンズを通して上記閲覧者から見える位置に、上記の画像変換された画像の画素を、それぞれの変換画像提示用レンチキュラーレンズの配列に対応して配列した画像を生成して、
上記閲覧者に提示することを特徴とする請求項１に記載の３次元画像の提示方法。
【請求項６】
上記の補間法は、１）ニアレストネイバー法、２）バイリニア法、あるいは３）バイキュービック法のいずれかであることを特徴とする請求項１から請求項３のいずれか１つに記載の３次元画像の提示方法。
【請求項１】
インテグラルフォトグラフィによるデジタル画像と同じ画素配列をもった表示画像は、２次元状の画像表示面に表示され２次元状に配列した複数の提示用要素レンズを含む複眼レンズ（以降、提示用複眼レンズと称す）を通してその画像の閲覧者に立体像を提示することができるものであるとき、
（１）上記表示画像のそれぞれの要素画像について、上記提示用要素レンズを通して閲覧者が見る部分を画素として、上記提示用要素レンズの配列と同様に配列して２次元画像を構成し、
（２）上記２次元画像について、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行い、
（３）その画像変換された画像の少なくとも一部でその画素配列と同様な配列をもった要素レンズ（以降、変換画像提示用要素レンズ）群を備える変換画像提示用複眼レンズのそれぞれの変換画像提示用要素レンズを通して上記閲覧者から見える位置に、上記の画像変換された画像の画素を、それぞれの変換画像提示用要素レンズの配列に対応して配列した画像を生成して、
上記閲覧者に提示することを特徴とする３次元画像の提示方法。
【請求項２】
ｉ＝１，２，・・・，Ｉ、
ｊ＝１，２，・・・，Ｊ、
ｍ＝１，２，・・・，Ｍ、
ｎ＝１，２，・・・，Ｎ、
ｇ＝１，２，・・・，Ｇ、（Ｇ≠Ｉ）
ｈ＝１，２，・・・，Ｈ、（Ｈ≠Ｊ）
とし、
上記表示画像の画素配列をＢ（ｉ，ｊ，ｍ，ｎ）とするとき、
（１）それぞれのｍ、およびそれぞれのｎについて、画素配列Ｂ（ｉ，ｊ，ｍ，ｎ）の２次元画像を選択し、
（２）上記２次元画像の画素配列の拡大あるいは縮小を行い、
（３）上記の拡大あるいは縮小によって生成された２次元画像をｍおよびｎについて集積して、拡大あるいは縮小された画素配列Ｃ（ｇ，ｈ，ｍ，ｎ）をもつ画像を生成し、
上記画素配列Ｃ（ｇ，ｈ，ｍ，ｎ）をもつ画像を上記画像表示面に表示し、
配列Ｄ（ｇ，ｈ）をもつ変換画像提示用要素レンズ群で構成した変換画像提示用複眼レンズを用いて立体画像を提示するものであり、
上記画像配列Ｂ（ｉ，ｊ，ｍ，ｎ）またはＣ（ｇ，ｈ，ｍ，ｎ）では、（ｍ、ｎ）を指標とする小配列のそれぞれが、（ｉ，ｊ）または（ｇ，ｈ）なるそれぞれの位置に配列された区分配列である、
ことを特徴とする請求項1に記載の３次元画像の提示方法。
【請求項３】
上記画像変換は、画素数を増大または減少させるものであり、それぞれ、
増大においては、Ｉ＜Ｇ、かつＪ＜Ｈであり、
減少においては、Ｉ＞Ｇ、かつＪ＞Ｈである、
ことを特徴とする請求項２に記載の３次元画像の提示方法。
【請求項４】
上記表示画像が複数の原色からなる多色画像であるとき、それぞれの色の画像について上記画像変換を行うことを特徴とする請求項１から請求項３のいずれか１つに記載の３次元画像の提示方法。
【請求項５】
上記表示画像は２次元の画素配列をもった表示画像であり、２次元状の画像表示面に表示されレンチキュラーレンズシートを通してその画像の閲覧者に立体像を提示することができるものであるとき、
（１）上記表示画像の、個々のレンチキュラーレンズを通して閲覧者が見る部分から、それぞれの画像を画素として、上記提示用要素レンズの配列と同様に配列して２次元状に広がる画像を構成し、
（２）上記２次元状に広がる画像について、画素間の補間を行う補間法を用いて画素数を増減する画像変換を行い、
（３）その画像変換された画像の少なくとも一部でその画素配列と同様な配列をもったレンチキュラーレンズ群を備える変換画像提示用レンチキュラーレンズシートのそれぞれのレンチキュラーレンズを通して上記閲覧者から見える位置に、上記の画像変換された画像の画素を、それぞれの変換画像提示用レンチキュラーレンズの配列に対応して配列した画像を生成して、
上記閲覧者に提示することを特徴とする請求項１に記載の３次元画像の提示方法。
【請求項６】
上記の補間法は、１）ニアレストネイバー法、２）バイリニア法、あるいは３）バイキュービック法のいずれかであることを特徴とする請求項１から請求項３のいずれか１つに記載の３次元画像の提示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１３−３３９６（Ｐ２０１３−３３９６Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３５２９８（Ｐ２０１１−１３５２９８）
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１７日（２０１１．６．１７）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【Ｆターム（参考）】
[ Back to top ]