三次元画像表示装置および画像処理装置
【課題】帯状の妨害画像を抑制するとともに、視域からサイドローブへの遷移する領域、またはその逆に遷移する領域で観察される画像の違和感を低減し、かつ、観察される領域を狭くすることを可能にする。
【解決手段】本実施形態の三次元画像表示装置は、マトリクス状に配列された画素を有する平面表示装置と、平面表示装置に対向して配置され、動作の際に複数の射出瞳によって画素からの光線を制御可能な光線制御素子と、複数の射出瞳それぞれに対して対応付けられた、平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、複数の画素グループの境界に隣接する２つの画素を特定し、特定された２つ画素のうちいずれか一方を第１の画素とし、もう一方を第２の画素とする特定部と、特定された第１の画素の視差情報に前記第２の画素の視差情報を混在させる処理を行う処理部と、処理部によって処理された視差情報を三次元画像表示用の画像に変換する変換部と、を備え、平面表示装置は、三次元画像用の画像を表示する。
【解決手段】本実施形態の三次元画像表示装置は、マトリクス状に配列された画素を有する平面表示装置と、平面表示装置に対向して配置され、動作の際に複数の射出瞳によって画素からの光線を制御可能な光線制御素子と、複数の射出瞳それぞれに対して対応付けられた、平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、複数の画素グループの境界に隣接する２つの画素を特定し、特定された２つ画素のうちいずれか一方を第１の画素とし、もう一方を第２の画素とする特定部と、特定された第１の画素の視差情報に前記第２の画素の視差情報を混在させる処理を行う処理部と、処理部によって処理された視差情報を三次元画像表示用の画像に変換する変換部と、を備え、平面表示装置は、三次元画像用の画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、三次元画像表示装置および画像処理装置に関する。
【背景技術】
【０００２】
めがね無しで三次元画像を観察できる裸眼式三次元画像表示装置（以下、三次元画像表示装置ともいう）として、多眼式、稠密多眼式、インテグラルイメージング方式（ＩＩ方式）、一次元ＩＩ方式（１Ｄ−ＩＩ方式：水平方向にのみ視差情報（視差画像の画素値）を表示）等が知られている。これらは、液晶表示装置（ＬＣＤ）に代表されるフラットパネルディスプレイ（ＦＰＤ）の前面に、レンズアレイに代表される射出瞳を配するという共通の構造を持つ。射出瞳は一定間隔で設けられ、射出瞳ひとつに対して、複数のＦＰＤの画素が割り当てられるが、本明細書中では、このひとつの射出瞳に割り当てられた複数の画素を画素グループと称する。射出瞳は三次元画像表示装置の画素に相当し、観察位置に応じて射出瞳を経由して見える画素が切り替わる。すなわち、観察位置によって画素情報が変わる三次元画像表示用画素として振舞う。
【０００３】
このような構成の三次元画像表示装置においては、ＦＰＤの画素が有限なため画素グループを構成する画素数にも制限がある。例えば、一方向について２画素〜６４画素であり、２画素の場合、特に二眼式と呼ぶ。このため、三次元画像が観察できる範囲（視域）が制限されることが避けられない。また、観察者が視域から左右に逸脱すると、本来の射出瞳に隣接した射出瞳に対応した画素グループの視差画像を観察することが避けられない。このとき観察者が観察する光線は、本来の射出瞳に隣接した射出瞳を経由した光線による三次元画像であることから、光線方向と視差情報が一致せず、歪を含む。しかしながら、観察位置の移動に応じて視差画像が切り替わることから、この場合も三次元画像として見える。各視差画像は、視距離Ｌに発生した集光点の位置から、表示面を投影面として撮影した多視点画像に相当する。このため、上記歪を含んだ三次元映像（偽像）が見える領域をサイドローブと呼ぶ場合もある。
【０００４】
また、各射出瞳に割り当てられた画素グループの画素数を調整することで、三次元画像表示装置の視域を制御する方法が知られている。この方法は、ｎを２以上の自然数としたときに画素グループを構成する画素数をｎと（ｎ＋１）との２値とし、（ｎ＋１）個の画素を有する画素グループの出現頻度を制御する。
【０００５】
しかしながら、正しい視域からサイドローブに遷移する領域では、画素グループの境界の両側の視差画像を視差の並びが逆転した状態で見ることになるために、逆視と呼ばれる現象が発生し、凹凸が逆転した像が観察されたり、画素グループの境界の両側の視差画像を同時に見ることで、本来異なる視点で見るべき映像が多重に重なって見える多重像が生じることが知られている。
【０００６】
多眼式の三次元画像表示装置では、このような偽像の対策方法の一つとして、視域境界に対応する視差画像を過度に平滑化した、ぼかし画像に置き換えることにより、偽像を視認しにくくする手法が知られている。
【０００７】
また、偽像に由来する上記のような問題に対する対策の一つとして、例えば視域からサイドローブに遷移する領域でなんらかの警告画像を知覚できるように表示することで、違和感を減らすことはできなくても、サイドローブが正しい画像でないことを観察者に伝えるという手法が知られている。
【０００８】
また、視域を制御する上記方法を用いた場合には、上記のような問題以外に帯状の妨害画像が発生することが知られている。この対策として、（ｎ＋１）個の画素を有する画素グループの両端の画素の視差情報のうち画面中央から左か右かによって決定される片側の画素を選択し、その画素の視差情報に対して、その画素に隣接する画素方向にｎ個だけ離れた２つ以上の画素の視差情報を混在させることで帯状の妨害画像を抑制するという手法が知られている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第３８９２８０８号公報
【特許文献２】特開２００８−６７０９２号公報
【特許文献３】特開２００９−２３９６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする課題は、帯状の妨害画像を抑制するとともに、視域からサイドローブへの遷移する領域、またはその逆に遷移する領域で、観察される画像が自然かつ迅速に移行することのできる三次元画像表示装置および画像処理装置を提供することである。
【課題を解決するための手段】
【００１１】
本実施形態の三次元画像表示装置は、マトリクス状に配列された画素を有する平面表示装置と、前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、前記複数の画素グループの境界に隣接する２つの画素を特定し、特定された２つ画素のうちいずれか一方を第１の画素とし、もう一方を第２の画素とする特定部と、特定された前記第１の画素の視差情報に前記第２の画素の視差情報を混在させる処理を行う処理部と、前記処理部によって処理された視差情報を三次元画像表示用の画像に変換する変換部と、を備え、前記平面表示装置は、前記三次元画像用の画像を表示することを特徴とする。
【図面の簡単な説明】
【００１２】
【図１】図１（ａ）乃至１（ｄ）は裸眼式三次元画像表示装置を説明する図。
【図２】図２（ａ）、２（ｂ）は多眼式三次元画像表示装置を説明する図。
【図３】図３（ａ）乃至３（ｊ）は、観察位置と、この位置から観察した三次元画像表示装置の表示面を構成する視差情報を示す図。
【図４】多眼式三次元画像表示装置を説明する図。
【図５】ＩＩ方式三次元画像表示装置を説明する図。
【図６】図６（ａ）、６（ｂ）は視域最適化が適用されたＩＩ方式三次元画像表示装置を説明する図。
【図７】図７（ａ）乃至７（ｊ）は、ＩＩ方式において射出瞳を経由して観察される視差情報について説明する図。
【図８】多眼式とＩＩ方式における観察距離と視差画像番号の切り替わりの頻度を示す図。
【図９】ＩＩ方式における視差画像と視域境界を表すデータ空間を示す図。
【図１０】ＩＩ方式における視差画像と視域境界を表すデータ空間を示す図。
【図１１】図１１（ａ）、１１（ｂ）は第１実施形態による三次元画像表示装置に用いられる画像処理方法を説明する図。
【図１２】第１実施形態の実施例１による三次元画像表示装置を示すブロック図。
【図１３】第１実施形態の実施例１の画像処理手順を示すフローチャート。
【図１４】第２実施形態の実施例２による三次元画像表示装置を示すブロック図。
【図１５】第２実施形態の実施例２の画像処理手順を示すフローチャート。
【図１６】実施例２の第１変形例による三次元画像表示装置を示すブロック図。
【図１７】実施例２の第１変形例の画像処理手順を示すフローチャート。
【図１８】実施例２の第２変形例による三次元画像表示装置を示すブロック図。
【図１９】実施例２の第２変形例の画像処理手順を示すフローチャート。
【発明を実施するための形態】
【００１３】
実施形態を説明する前に、ＩＩ方式と多眼式との差および視域最適化について説明する。説明を簡単にするため、主に一次元について説明するが、二次元に適用が可能である。なお、以下の説明における上下左右縦横等の方向の説明は、下記の射出瞳のピッチ方向を横方向とした場合の相対的な方向を指す。従って、実空間における重力方向を下とした場合の、絶対的な上下左右縦横等とは必ずしも一致しない。
【００１４】
三次元画像表示装置の水平断面図を図１（ａ）に示す。三次元画像表示装置は、平面表示装置１０と、光線制御素子２０とを備えている。平面表示装置１０は、例えば、液晶表示パネルのように、画素が縦方向および横方向にマトリクス状に配列された平面画像表示部（表示パネル）を有している。光線制御素子２０は、複数の射出瞳２００〜２０８を有しており、上記画素からの光線を制御する。各射出瞳２０ｉ（ｉ＝０，・・・，８）は、例えば、レンズまたはスリットを用いて構成される。ひとつの射出瞳に割り当てられた、平面画像表示部の複数の画素を画素グループという。この画素グループは三次元画像表示装置においては、三次元画像の画素となるから、図１（ａ）においては、８個の画素グループがあるから８個の三次元画像が見られる。
【００１５】
図１（ａ）は、各射出瞳２０ｉ（ｉ＝０，・・・，８）と、この射出瞳に対応する画素グループ１５との位置関係を示す水平断面図である。各射出瞳２０ｉ（ｉ＝０，・・・，８）から有限の距離Ｌで全射出瞳、すなわち光線制御素子２０からの光線群が重畳するためには、Ａを射出瞳のピッチ、Ｂを射出瞳ひとつに対応した画素グループの平均幅とし、光線制御素子２０と、平面表示装置１０との間の距離（ギャップ）をｇとしたときに、
Ａ＝Ｂ×Ｌ／（Ｌ＋ｇ） ・・・（１）
を満たせばよい。
【００１６】
二眼式の延長である多眼式や稠密多眼式においては、光線制御素子２０から有限の距離Ｌの位置で、全ての射出瞳から射出した光線群が同一の領域に入射するように設計される。具体的には、全の画素グループのそれぞれが一定数（ｎ（≧２）個）の画素から構成され、射出瞳のピッチＡを画素グループの幅Ｂより若干狭くする。画素ピッチをＰｐとすると、
Ｂ＝ｎ×Ｐｐ ・・・（２）
（１）、（２）式より
Ａ＝Ｂ×Ｌ／（Ｌ＋ｇ）＝（ｎ×Ｐｐ）×Ｌ／（Ｌ＋ｇ） ・・・（３）
と設計される。このＬを本明細書では視域最適化距離と称する。また、（３）式の設計を採用している方式を多眼式と称する。ところが、この多眼式では、距離Ｌで集光点が発生することが避けられず、自然な物体からの光線を再生できない。これは、多眼式は集光点に両眼を位置させ、両眼視差により立体視させるからである。また、三次元画像が見える範囲が広くなる距離Ｌが固定になる。
【００１７】
より実際の物体からの光線に近い光線を再現することを目的に、観察距離で集光点を発生させずに、かつ観察距離を任意に制御する方法として、射出瞳のピッチＡを、
Ａ＝ｎ×Ｐｐ ・・・（４）
と設計する方法がある。
【００１８】
一方、有限の距離Ｌで画素グループを構成する画素数を、ｎと（ｎ＋１）の２値とし、（ｎ＋１）個の画素を有する画素グループの発生頻度ｍ（０≦ｍ＜１）を調節することで、（１）式を満たすことが可能である。すなわち（１）、（４）式より、
Ｂ＝（Ｌ＋ｇ）／Ｌ×（ｎ×Ｐｐ）＝（ｎ×Ｐｐ×（１−ｍ）＋（ｎ＋１）×Ｐｐ×ｍ）
すなわち
（Ｌ＋ｇ）／Ｌ＝（１−ｍ）＋（ｎ＋１）／ｎ×ｍ ・・・（５）
を満たすようにｍを決めればよい。（３）、（４）式より、観察距離Ｌより集光点を後方にするためには、射出瞳のピッチＡを
（ｎ×Ｐｐ）×Ｌ／（Ｌ＋ｇ）＜Ａ≦ｎ×Ｐｐ ・・・（６）
となるように設計すればよい。このように観察距離Ｌで集光点が発生することを防いだ方式を、本明細書中ではＩＩ方式と総称する。その最たる構成が、集光点を無限遠に設定した（４）式である。
【００１９】
観察距離Ｌより後方で集光点が発生するＩＩ方式では、各画素グループを構成する画素数をｎに固定すると、視域最適化距離が視距離Ｌより後方になる。このため、ＩＩ方式では、画素グループを構成する画素数をｎと（ｎ＋１）の２値にし、その画素グループの幅の平均値Ｂが（１）式を満たすように構成することで、有限の観察距離Ｌで視域を最大に確保することができる。以下、本明細書では、有限の観察距離Ｌで視域を最大にすることを視域最適化を適用すると云う。
【００２０】
図１（ｂ）、１（ｃ）、１（ｄ）に、視距離Ｌにおける各観察位置での三次元画像の見え方の水平断面図を模式的に示している。図１（ｂ）は観察距離Ｌの右端の領域から見える画像、図１（ｃ）は観察距離Ｌの中央の領域から見える画像、図１（ｄ）は観察距離Ｌの左端の領域から見える画像を示す。以下、観察位置という表現がしばしば出てくるが、現象を簡単に記述するために、位置を一点として記載する。この点は単眼での観察や単一のカメラで撮影した状態に相当する。人が両眼で観察した場合については、両眼の間隔に設定された二点から、両眼の間隔における位置の相違に相当した視差のある画像を観察していると理解すればよい。多眼式とＩＩ方式では、視差画像の見え方が異なる。これについて以下に説明する。
【００２１】
（多眼式）
比較のためにまず多眼式について説明する。これまで説明したように、多眼式では、視域最適化距離Ｌで集光点が発生する。図２（ａ）、２（ｂ）に、９視差の場合の多眼式三次元画像表示装置の水平断面を示す。図２（ａ）は視差画像番号が付けられた画素グループを示し、図２（ｂ）は観察距離Ｌの位置から各射出瞳に引かれた光線の、画素グループにおける入射位置を示している。図２（ａ）に示すように、全射出瞳ひとつに対応する画素グループ（Ｇ＿０）に含まれる画素の数は９個であり、各画素には−４から４まで番号付けされた視差画像が表示される。右端の視差画像番号４の画素から射出瞳２０１を経由した光線は、距離Ｌで集光する。逆の面から言えば、視域最適化距離Ｌから観察すると、画素グループ（Ｇ＿０）を構成する画素のうち同一視差画像番号の視差画像を表示した画素が全射出瞳２０で拡大されて見える。
【００２２】
図３（ａ）乃至図３（ｊ）に、観察位置と、その位置から観察した三次元画像表示装置の表示面を構成する視差情報（視差画像の画素値）を示す。図３（ａ）は視差画像番号が付けられた画素グループを示す図、図３（ｂ）は画素グループの平均ピッチＢと、射出瞳のピッチＡの関係を示す図、図３（ｃ）〜図３（ｇ）は観察距離Ｌから観察したときに観察される視差画像番号を示す図、図３（ｈ）〜図３（ｊ）は観察距離Ｌからはずれて観察したときに観察される視差画像番号を示す図である。距離Ｌの視域幅の中心から観察すると、全射出瞳２０越しに観察される画素は、対応した画素グループ（Ｇ＿０）の中心の画素になることから、観察される視差画像番号は０となる（図３（ｃ））。視域の右端から観察すると、全射出瞳２０越しに観察される画素は、対応した画素グループ（Ｇ＿０）の左端の画素になることから、観察される視差画像番号は−４になる（図３（ｄ））。視域幅の左端から観察すると、全射出瞳２０越しに観察される画素は、対応した画素グループ（Ｇ＿０）の右端の画素になることから、観察される視差画像番号は４になる（図３（ｅ））。このように９つの視差画像が観察位置に応じて切り替わって見え、両眼でこれらの視差画像を観察することで、図１（ｂ）乃至図１（ｃ）に示した８個の三次元画像が７回切り替わって見える。
【００２３】
さらに、右の視域境界を超えて観察した場合は、全射出瞳２０越しに観察される画素は、対応した画素グループ（Ｇ＿０）ではなく、その左に隣接する画素グループ（Ｇ＿−１）の右端の画素になることから、観察される視差画像番号は画素グループ（Ｇ＿−１）に属する４になる（図３（ｆ））。右目に画素グループ（Ｇ＿−１）の視差画像番号４、左目に画素グループ（Ｇ＿０）の視差画像番号−４を観察すると、逆視、すなわち、凹凸の反転した像を観察する。
【００２４】
さらに右に移動すると、視差画像は再び、視差画像番号が３、２、１、・・・となる視差画像に切り替わり、立体視も可能になるが、射出瞳ひとつだけ表示位置がシフトするとともに、観察位置から見たときの画面幅が視域内の正しい観察位置から見たときに比較して画面の横幅が狭く見える。このことから、縦長の三次元画像になる。画面幅の変化に応じて縦長になった画像は２次元画像では頻繁に見られる状態であることから、観察者は歪を意識しにくい。よって、これらの歪を含んだ三次元画像の観察範囲を一般的にサイドローブと呼ぶが、これを観察範囲に含む場合もある。左に移動した場合も対称的に変化するが、ここでは割愛する。
【００２５】
一方、観察距離Ｌより前または後ろに移動して観察した場合は、画面を構成する視差画像に対応する視差画像番号が、同一画素グループ（Ｇ＿０）の範囲で切り替わり、例えば、視差画像番号−４〜４になったり（図３（ｈ））、視差画像番号２〜―２になったりする（図３（ｉ））。さらに、著しく観察距離が短かったり、遠かったりすると、同一画素グループ内では対応できず、隣接した画素グループの画素の視差画像を観察することもある（図３（ｊ））。
【００２６】
図４に、観察距離Ｌ’が視域最適化距離Ｌより短くなった場合（Ｌ’＜Ｌ）の多眼式三次元画像表示装置の水平断面を示す。観察距離Ｌ’が視域最適化距離Ｌより短いと、観察距離Ｌ’における位置から各射出瞳２０ｉ（ｉ＝０，・・・，４）を経由して延びる光線の傾きの変化が大きくなり、結果的に各射出瞳２０ｉ（ｉ＝０，・・・，４）で拡大される視差画像が画面内で連続的に変化する。図４において、最左側の画素グループ１５０に関しては、光線が経由した射出瞳２００に対応する画素グループ１５０の右端の画素の視差画像が見えている。しかし、上記最左側の画素グループ１５０より右の画素グループ１５１に関しては、光線が経由した射出瞳２０１にとっての画素グループ（Ｇ＿０）に対応する、画素グループ１５１の右端の画素の視差画像と、画素グループ（Ｇ＿０）に隣接した、射出瞳２０１にとっての画素グループ（Ｇ＿１）に対応し、かつ射出瞳２０２にとっての画素グループ（Ｇ＿０）に対応する、画素グループ１５２の左端の画素の視差画像との境界が見えている。１５２、１５３、１５４に関しては、それぞれ光線が経由した射出瞳２０２、２０３、２０４にとっての画素グループ（Ｇ＿０）に対応する、画素グループ１５２、１５３、１５４に隣接した画素グループ（Ｇ＿１）の左端の画素の視差画像が観察される様子を示している。例えば、画素グループ１５２の右側に隣接した画素グループ１５３は、画素グループ１５２が、光線が経由した射出瞳２０２の右側に隣接した射出瞳２０３にとっては画素グループ（Ｇ＿０）に相当する。
【００２７】
以上、観察距離の変更に応じて、画面内で視差画像番号や画素グループが切り替わることを述べた。多眼式では、これまでも述べたように、観察距離Ｌにおいて両眼視差によって立体画像を知覚することから、両目のそれぞれに単一の視差画像が見えることが望ましい。射出瞳を経由して見える視差情報を単一にするためには、射出瞳を構成する例えばレンズのフォーカスを著しく絞ったり、射出瞳を構成するスリットやピンホールの開口幅を著しく狭くしたりする。
【００２８】
また、当然ながら、集光点の距離は眼間の距離に略一致させられる。このような設計においては、観察距離より少しでも前後にシフトして、前述したように、観察される視差画像、すなわち観察される画素が画面内で切り替わる部分で、画素間の境界にある非画素領域が観察され、輝度が低下する。また、隣接した視差画像番号の視差画像への切り替わりも不連続に見える。すなわち、視域最適化距離Ｌの近傍以外で三次元画像を観察することはできない。
【００２９】
（ＩＩ方式）
次に、各実施形態の立体画像表示装置に関係するＩＩ方式について説明する。典型的なＩＩ方式では、（４）式に従って射出瞳の間隔を画素幅のｎ倍に設定する。図５に、全ての画素グループがｎ画素から構成された場合のＩＩ方式三次元画像表示装置の水平断面図と、観察距離Ｌから各射出瞳に引かれた線の画素グループにおける入射位置を示す。図５では、ＩＩ方式の構成において、全ての画素グループをｎ個の画素で構成している。すなわち、図５は、（５）式でｍ＝０にした場合に相当する。画素グループ（Ｇ＿０）のうち、最も左の画素グループ１５０の右端の画素から射出瞳２００を経由した光線は、観察距離Ｌの視域の左端に入射している。すなわち, 画素グループ（Ｇ＿０）の右端の画素が観察される。この入射位置から透視投影的に、さらに右の射出瞳２０１を経由した線を引くと、次のことがわかる。射出瞳２０１を経由して見える情報は、経由した射出瞳２０１にとっての画素グループ（Ｇ＿０）に対応する画素グループ１５１の右端の画素と、射出瞳２０１にとっての隣接した画素グループ（Ｇ＿１）に対応し、かつ射出瞳２０２にとっての画素グループ（Ｇ＿０）に対応する画素グループ１５２の左端の画素との境界になる。さらに右の射出瞳２０２からは，射出瞳２０２にとっての画素グループ（Ｇ＿１）に対応するとともに射出瞳２０３にとっての画素グループ（Ｇ＿０）に対応する画素グループ１５３の左端の画素になってしまう（図５）。
【００３０】
図６（ａ）、６（ｂ）に視域最適化が適用された場合のＩＩ方式三次元画像表示装置の水平断面図を示す。図６（ａ）は視差画像番号が付された画素グループを示す図、図６（ｂ）は観察距離Ｌから各射出瞳に引かれた線の画素グループにおける入射位置を示す図である。
【００３１】
図６（ａ）、６（ｂ）では、ハードウェアはそのままに、離散的に（ｎ＋１）個の画素を有する画素グループを配した。これによって、有限の距離Ｌの左側の視域端から観察したときに、全ての射出瞳２００〜２０４に対応した画素グループ１５０〜１５４の右端の画素に表示された視差情報を観察できるようになった。すなわち、三次元画像を観察できる幅を最大化した。ＩＩ方式における視差画像番号は、射出瞳と画素との相対位置で定められ、同じ視差画像番号の視差画像を表示した画素から、射出瞳を経由して射出した光線同士は平行の関係になる。このため、（ｎ＋１）個の画素を有する画素グループ１５２を設けることで、射出瞳と画素グループの相対位置が１画素分だけシフトされるとともに、画素グループを構成する視差画像番号も、−４〜４から−３〜５に変化し、射出瞳から射出する光線群の傾きが変化する（図６（ｂ））。
【００３２】
ＩＩ方式は、視距離Ｌで視域幅が最大化しうる点は多眼式と同じだが、射出瞳を経由して観察される視差情報については異なる。この様子を、図７（ａ）乃至７（ｊ）を参照して説明する。図７（ａ）は視差画像番号が付された画素グループを示す図、図７（ｂ）は画素グループの平均ピッチＢと、射出瞳のピッチＡの関係を示す図、図７（ｃ）〜図７（ｇ）は観察距離Ｌから観察したときに観察される視差画像番号を示す図、図７（ｈ）〜図７（ｊ）は観察距離Ｌからはずれて観察したときに観察される視差画像番号を示す図である。
【００３３】
多眼式では視域最適化距離Ｌから観察したときに、射出瞳を経由して観察される視差画像番号は全画素グループで単一だった。しかし、ＩＩ方式では画面内で視差画像番号が変動する。図６（ａ）、（ｂ）に示す場合でも、（ｎ＋１）個の画素を有する画素グループの左側では、視差画像番号４が観察されるのに対し、（ｎ＋１）個の画素を有する画素グループの右側では、視差画像番号５が観察されている。図７（ａ）乃至図７（ｊ）に示すように、視域最適化距離Ｌの中央では、画面内で視差画像番号−３〜３の視差画像が観察され（図７（ｃ））、視域最適化距離Ｌの視域最適化距離Ｌの右よりでは、画面内で視差画像番号−４〜２の視差画像が観察され（図７（ｄ））、左よりでは、画面内で視差画像番号―２〜４の視差画像が観察される（図７（ｅ））。このように、観察される視差画像の組が観察位置に応じて変化し、それが両眼に入射することで、図１（ｂ）〜図１（ｃ）の見え方の変化を連続的に実現できる。
【００３４】
このように、ＩＩ方式の場合は、有限の観察距離から観察するときには必ず画面内で視差画像番号が切り替わることから、射出瞳を経由して画素部が見えたり画素境界部分が見えたりすることによる輝度変化は許されない。また、視差画像の切り替わりを連続的に見せる必要がある。
【００３５】
よって、視差情報を混在させること（単一位置から複数の視差情報が見えるようにすること）、すなわちクロストークが積極的に行われる。クロストークは、同一の画素グループ（例えば、Ｇ＿０）に所属する視差画像番号の中で切り替わりが生じる場合に、射出瞳経由で観察される位置の変動に応じて、隣接した二つの視差情報の比率が連続的に変化し、画像処理でいう線形補間のような効果をもたらす。
【００３６】
またこのクロストークの存在により、観察距離が前後した場合の視差画像番号の入れ替わりも連続的に行われる。なお、極端に観察距離が短いときまたは遠いときには、画素グループの入れ替わりも連続的に行われる。表示面に近づくと、観察位置から各射出瞳に向けて引かれる線の傾きの変化が大きくなり、結果的に視差画像番号の切り替わりの頻度が増加する（図７（ｈ））。
【００３７】
表示面から離れると、逆に視差画像番号の切り替わりの頻度が減少する（図７（ｉ））。すなわち、クロストークがあることにより、観察者は、視域最適化距離Ｌより表示面に対して近い位置から観察すれば、より透視度が高い三次元画像を見ることができる（図７（ｈ））。また、視域最適化距離Ｌより遠い位置から観察すれば、より透視度の低い三次元画像を連続的に違和感なく見ることができる（図７（ｉ））。すなわち、観察距離の変動に伴う透視投影度の変化を再生できており、これは、ＩＩ方式が実物体からの光線を再生できているからに他ならない。この結果、図７（ｂ）において斜線で示す領域では三次元映像は連続的に切り替わる視域であるといえる。
【００３８】
ＩＩ方式において視域境界を超えて観察した場合は、全射出瞳越しに観察される画素は、対応した画素グループ（Ｇ＿−１）だったり（図７（ｆ））、画素グループ（Ｇ＿１）であったりする（図７（ｇ））。すなわち、射出瞳ひとつだけシフトして表示された三次元画像が観察される。像の歪み方は多眼式と等しいので割愛する。
【００３９】
次に、多眼式とＩＩ方式における観察距離と視差画像番号の切り替わりの頻度について、図８を参照して説明する。本明細書中においては、多眼式とＩＩ方式ともクロストークがあり、視域最適化距離Ｌの１点から観察したときに画面内が同一視差画像番号の視差画像で構成されるのが多眼式、視域最適化距離Ｌから観察したときに、画面内で視差画像番号が切り替わるのがＩＩ方式である。
【００４０】
図９および図１０は（４）式で与えられるＩＩ方式における視差画像と視域境界を表すデータ空間の概念図である。図９に示すデータ空間は、一般に光線空間（ＥＰＩ）として知られているものとほぼ等価である。図９の横軸は射出瞳番号（画素グループの番号）を示し、縦軸は視差画像番号を示している。ここでは、最も左から二番目の射出瞳に対応した画素グループは、射出瞳に対して左側（図９では上方向）に配される。最も左の射出瞳に対応した画素グループは、左側の画素が欠けているが、これは物理的に射出瞳より外側の画素が存在していないことを意味する。略中央に位置する射出瞳に対応した画素グループは、射出瞳の真後ろに配され、右の射出瞳になるにつれ、画素グループが射出瞳に対して右側（図９では下方向）に配される。１つの四角形（それぞれ中央に点を描いてある）Ｐは、各視差画像の１画素の視差情報を表す。射出瞳に対する相対位置が同一の画素は、同一の視差画像に由来する視差情報Ｐが表示される。この１画素に表示される視差情報Ｐは、各視差画像の垂直方向の座標（ｙ座標）のある１つの値についてのみデータ空間として示している。すなわち、図９に示す画素はすべて、同じｙ座標（縦座標）の視差画像を表している。また、実空間では、画素グループは画面水平方向に隣接して配されており、データ空間の中で、図９内に矢印で結んだ画素同士は単一の画素に表示された視差情報Ｐを意味している。（４）式で示されるＩＩ方式の場合は、視域境界を表す２本の破線２１で囲まれる平行四辺形の領域が使用され、視差画像の数は視差数より多くなる。なお、視域境界の破線２１（図９では上下２本示しているが、矢印で示した画素の関係と同様、実際は１本の線である）は、以下の式で求められる。
【００４１】
画面中心より右側：Ｎｃｐ＝−（Ｂ−Ａ）×（ＸＰ−０．５）＋Ｎｃ（０）
画面中心より左側：Ｎｃｎ＝−（Ｂ−Ａ）×（ＸＰ＋０．５）＋Ｎｃ（０） ・・・（７）
ここで、Ｎｃｐ、Ｎｃｎは、視差画像番号（実数値）を示し、Ａは射出瞳のピッチを示し、Ｂは射出瞳ひとつに対応した画素グループの平均幅を示し、ＸＰは射出瞳番号を示し、Ｎｃ（０）＝Ｂ／２の場合、上記（７）式は図９の上側の破線２１を示し、−Ｂ／２の場合、上記式は下側の破線２１を示す。ただし、式（７）は射出瞳の数が偶数の場合を表している。ＸＰは画面中心を原点とした数値となっており、画面中心より右側は正の数、左側は負の数となる。なお、射出瞳の数が偶数の場合には画面中心に対応する画素グループが存在しないため、すなわち、原点が図９の中央の２つの画素グループの境界にくるため、原点の左右で射出瞳番号が飛ぶことに注意する。例えば射出瞳の数が４の場合、左から順に−２、−１、１、２の順で射出瞳番号が付けられることになる。射出瞳の数が奇数の場合にも同様の概念を用いることが出来るが、この場合には画面中心に対応する画素グループが存在するため、原点に対応する射出瞳番号が存在することになる。例えば射出瞳の数が３の場合、左から順に−１、０、１の順で射出瞳番号が付けられることになる。また、計算式は式（８）のようになる。
【００４２】
画面中心より右側：Ｎｃｐ＝−（Ｂ−Ａ）×ＸＰ＋Ｎｃ（０）
画面中心より左側：Ｎｃｎ＝−（Ｂ−Ａ）×ＸＰ＋Ｎｃ（０） ・・・（８）
ここで、Ｎｃｐ、Ｎｃｎは、視差画像番号（実数値）を示し、ＸＰは射出瞳番号を示し、
Ｎｃ（０）＝Ｂ／２の場合、上記（８）式は図９の上側の破線２１を示し、−Ｂ／２の場合、上記（８）式は下側の破線２１を示す。
【００４３】
破線２１で囲まれた領域の各射出瞳番号に対応するｎ個の画素、および（ｎ＋１）個の画素の画素群が、上述した説明におけるｎ画素グループ、および（ｎ＋１）画素グループにそれぞれ対応する。
【００４４】
観測者がある視点から単眼で見ることは、図９のデータ空間において観察位置に応じて傾きと縦軸の切片が定義される直線（例えば破線２２）が通過する画素群を見ることとほぼ等価である。画面までの距離（観察距離）が短い時は傾きが大きくなり、画面の正面から右にずれると、破線２２は下にずれる。つまり、破線２２も式（７）または式（８）を利用して表すことができ、観測者の観察距離に応じて、前述した式によりＢの値が変化し、画面の正面からの左右へのずれによってＮｃ（０）が決定される。この時のＮｃ（０）は、視差画像番号０に対応する位置を画面の正面とし、破線２１に対応する位置を視域の境界とした場合、画面正面から視域の境界までの距離と、画面正面から観察位置までの距離の比から求めることができる。ただし、実際には隣接した画素に表示された視差情報が射出瞳越しに混ざって（クロストークが存在して）観察されるため、直線が通過する画素の上下に隣接した画素の視差情報Ｐが混入されて見える。また、図９に示す概念図を射出瞳の間隔を基準に書き直すと、すなわち縦の画素群のピッチが射出瞳の間隔と一致するように書き直すと、図１０のようにも表現できる。混乱を避けるため、この時の射出瞳の間隔で区切った画素グループを射出瞳基準画素グループと呼び、上述した画素グループと区別する。多眼式は、画素グループと射出瞳基準画素グループが一致しており、ＩＩ方式は一致していないケースといえる。
【００４５】
以上、多眼式とＩＩ方式における、観察位置と視差画像番号の切り替わりについて述べた。ところが、ＩＩ方式の視域境界では、逆視、またはクロストークによって逆視の成分を同時に観察することによる二重像が見えることに加えて、さらに帯状の妨害画像が発生する。この現象について、以下に説明する。
【００４６】
（ＩＩ特有の帯状の妨害画像の説明）
ＩＩ方式ではクロストークを積極的に利用していることを既に述べた。図５、図６（ａ）、図６（ｂ）、図９、図１０を参照して、視域境界で観察される帯状の妨害画像と、本来あるべき帯状の妨害が除かれた画像を、クロストークを考慮して説明する。視域最適化が適用されない図５に示す構成では、視域境界近傍に近いある観察位置から単眼で観察すると射出瞳が右にずれるにつれて、徐々に視差画像番号４の視差画像が見える割合が減少すると同時に視差画像番号−４の視差情報が見える割合が増加し、二重像の第一の像（例えば、視差画像番号４の視差情報）と第二の像（例えば、視差画像番号−４の視差情報、偽像の成分）の濃度（第一の像と、第二の像との割合）が連続的に切り替わる。
【００４７】
視域最適化処理を施した図６（ａ）、６（ｂ）に示す構成では、中央の（ｎ＋１）個の画素を有する画素グループ１５２が設けられることで、視差画像番号―４の視差情報が、視差画像番号５の視差情報に切り替わる。これによって、射出瞳２０１と射出瞳２０２の間で、不連続的に第一の像の濃度が増加する。このことは、図１０において、視域境界を示す破線２１が通過する画素に注目して考えれば理解することができる。例えば図１０の太線に囲まれた領域２３では、射出瞳基準画素グループ２３１の、破線２１が通過する画素、すなわち、視域境界から単眼で観察される視差情報は本来、視差画像番号−４の視差情報が、視域境界を示す破線２１がまたぐ画素の視差情報を表す矩形の下辺から破線２１までの距離に応じて見えるとともに、画素グループ２３０（瞳基準画素グループ２３０と同一の射出瞳番号を持つ、図９における画素グループ）の視差画像番号５の視差情報が破線２１がまたぐ画素を表す矩形の上辺から破線２１までの距離に対応する割合だけ見えるべきである。同様に、射出瞳基準画素グループ２３２、２３３についても、破線と矩形の下辺、または上辺までの距離に応じた割合で、視差画像番号−４と５が見えるのが望ましい。しかしながら、視域最適化処理においては、射出瞳基準画素グループ２３１には−４が、射出瞳基準画素グループ２３２、２３３には視差画像番号５が表示されるため、この本来の見え方との差が原因で不連続な濃度変化が起こる。断続的な濃度変化は、（ｎ＋１）個の画素を有する画素グループ１５２の形成位置に生じることから、一定間隔で画面内に発生し、不自然な印象が強い。一次元ＩＩ方式なら、この濃度変化は垂直な線として、二次元ＩＩなら格子状に発生する。
【００４８】
特開２００９−２３９６６５号公報では（ｎ＋１）個の画素を有する画素グループ１５２を構成する最も外側の視差情報、例えば図６（ａ）では斜線で示す視差画像番号−４と視差画像番号５の視差情報を混在させて不連続な変化を緩和している。この処理だけでは緩和が不十分な場合はさらに（ｎ＋１）個の画素を有する画素グループに隣接した複数の画像グループに渡って混在させることで、妨害画像の原因である不連続な変化の緩和を試みている。これを図１０に示す光線空間で置き換えて考えると、射出瞳基準画素グループ２３２のうち太線に囲まれた領域２３に含まれる画素を中心に、射出瞳番号方向に並ぶ視差情報間で、バイリニア法、バイキュービック法といった一般的な補間方法で補間していることと等価と考えられる。これによっても偽像の濃度の不連続な変化をある程度緩和することが出来るが、前述の本来の見え方が考慮されていないために、不連続な変化を完全に緩和できないことに加え、より強く緩和をするために補間の範囲を広げると、本来視域に利用されていた視差情報にまで、他の視差情報が混在してしまう。例えば射出瞳基準画素グループ２３１の視差画像番号−４の視差情報に、この視差情報と関係ない、射出瞳基準画素グループ２３２の視差画像番号５の視差情報が混入してしまうため、それが新たな不自然さ（違和感）を産む可能性が有る。
【００４９】
（第１実施形態）
第１実施形態による三次元画像表示装置に用いられる画像処理方法を説明する。本実施形態では、ＩＩ方式における、視域境界で観察される妨害画像を抑制するとともにその違和感の低減を実現する画像処理を行う。この画像処理について、図６（ｂ）、図１０、図１１（ａ）、図１１（ｂ）を参照して説明する。前述したように、視域最適化処理により、（ｎ＋１）個の画素を有する画素グループを設けることで、視差画像番号−４の視差画像を表示していた画素に、視差画像番号５の視差画像が表示される。隣接した射出瞳間での偽像の濃度の変化が不連続なために、帯状の妨害画像として視認される。そこで例えば図１０に示す太線部２３内の３つの第１の画素において、射出瞳基準画素グループ２３１の視差画像番号−４の視差情報に射出瞳基準画素グループ２３０の視差画像番号４の視差情報を混在させることで、観察者が視域境界から単眼で観察したときに射出瞳基準画素グループ２３０に対応した射出瞳を経由して見える視差情報を、本来の見え方に近づける。なお、本来は、画素グループ２３０（瞳基準画素グループ２３０と同一の射出瞳番号を持つ、図９における画素グループ）の視差画像番号５が混入するのが望ましいが、ここでは視差画像番号４で代用している。また、射出瞳基準画素グループ２３２の視差画像番号５の視差情報に射出瞳基準画素グループ２３２の視差画像番号−３の視差情報を混在させることで、観察者が視域境界から単眼で観察したときに、射出瞳基準画素グループ２３１に対応した射出瞳を経由して見える視差画像を、本来の見え方に近づける。なお、本来は、画素グループ２３２（瞳基準画素グループ２３２と同一の射出瞳番号を持つ、図９における画素グループ）の視差画像番号−４が混入するのが望ましいが、ここでは視差画像番号−３で代用している。こうすることにより、画素グループ２３１（瞳基準画素グループ２３１と同一の射出瞳番号を持つ、図９における画素グループ）と画素グループ２３２（瞳基準画素グループ２３２と同一の射出瞳番号を持つ、図９における画素グループ）に対応した射出瞳で見える像に、それぞれ見えるべき三次元画像に由来した視差情報の成分と偽像に由来した視差情報の成分が含まれる。この例では視差画像番号−４に視差画像番号４の、視差画像番号５に視差画像番号−３の視差情報成分が含まれるため、不連続な濃度変化を抑制することができる。本実施形態では、本来、視域境界で見えるべき見え方を画像処理でほぼ再現することから、不自然な濃度変化が現れることがない。この処理を、視域境界の破線２１が通過する全ての画素に対して行う。このことは図６（ｂ）においては、各画像グループの境界の両側に位置する画素のうち視域境界を示す破線２１が通過している画素（第１の画素）の視差情報に対して、隣接した画素グループを構成する画素のうち第１の画素に隣接した画素（第２の画素）の視差情報を混在させることを意味する。この時の混在する割合の決定方法として最も好適なのは、図１０に示した視域境界を示す破線２１が通過する第１の画素の視差情報と、画素グループの物理的な境界線である図１１（ａ）に示す境界線２４を介して隣接している、第２の画素の視差情報を、視域境界の破線２１が通る第１の画素の視差情報を意味する矩形の上辺から破線２１までの距離（例えば図１１（ｂ）ではＰ１と表記）と、視域境界の破線２１が通る第１の画素の視差情報を意味する矩形の下辺から破線２１までの距離（例えば図１１（ｂ）ではＰ２と表記）に応じて混在させるというものである。例えば図１１（ｂ）の長さから決定された比が
Ｐ１の長さ：Ｐ２の長さ = ０．６：０．４
であった場合、第２の画素の視差情報を第１の画素の視差情報に０．４の割合で混在させたものを、第１の画素の視差情報とする。なお、Ｐ１およびＰ２の長さは、図１１（ｂ）に示すように、矩形の中心を通る縦方向の直線における長さであったが、上記矩形を通る縦方向の直線における長さであってもよい。
【００５０】
以上は、境界線２１が実空間における画素、データ空間における視差情報をまたぐ場合について説明したが、境界線２１が実空間における画素境界、データ空間における視差情報境界に一致する場合は、第１の画素も第２の画素も発生せず、第１の視差情報に第２の視差情報を混在させる処理は発生しない（処理を行わなくても視域境界における本来の見え方を再現できている）。
【００５１】
以上の説明で画素と表現した内容は、サブ画素と解釈してもよい。なぜなら画素がＲＧＢのトリプレットにて構成可能なことから、サブ画素ピッチで視差情報を表示したほうが再生できる光線の方向を増やせる、すなわち、より高品位な三次元画像が表示できるからである。また、説明および図面はともに水平方向についてのみ説明したが、これに直交する垂直方向にも視差情報を提示する場合（マイクロレンズアレイを用いた二次元ＩＩ方式など）には、本実施形態で説明した方法をそのまま垂直方向に適用可能である。
【００５２】
（実施例１）
第１実施形態の三次元画像表示装置について実施例１として更に詳細に説明する。
まず、本実施例の三次元画像表示装置のブロック図を図１２に示し、画像処理の手順を示すフローチャートを図１３に示す。ＩＩ方式の三次元画像表示装置は、例えば図７（ｂ）に示すように、平面表示装置１０と、光線制御素子２０とを備えている。平面画像表示装置１０は、例えば液晶表示装置であって、画素が縦方向および横方向にマトリクス状に配列された平面画像表示部を備えている。光線制御素子２０は、複数の射出瞳を有し、上記平面画像表示部に対向して配置され、前記画素からの光線を制御する。また、本実施例の三次元画像表示装置は、画像データを処理するために、図１２に示すように、画像データ処理装置３０と、画像データ提示装置４０とを更に備えている。
【００５３】
画像データ処理装置（画像処理装置）３０は、視差画像記憶部３２と、提示情報入力部３３と、混在領域特定部３４と、混在処理部３５とを備えている。また、画像データ提示装置４０は三次元画像変換部４４と、三次元画像提示部４６とを備えている。この三次元画像提示部４６は上記平面表示装置１０の平面画像表示部と、光線制御素子２０とを有している。
【００５４】
例えば、ＲＡＭを用いた視差画像記憶部３２には、取得したまたは与えられた視差画像群が記憶される。一方、提示情報入力部３３には、三次元画像表示装置のスペック（射出瞳のピッチＡ、サブ画素ピッチのＰｐ、平面画像表示部の画素数、光線制御素子と平面画像表示部との空気換算焦点距離（ギャップ）など）、観察位置が記憶されている。これらのスペックは外部から提示情報入力部３３に入力される。
【００５５】
混在領域特定部３４では、提示情報入力部３４で与えられた情報を基に図１０の視域境界を示す破線２１が通過する第１の画素と、これに隣接した画素グループに属する、第２の画素を射出瞳番号ごとに特定する。
【００５６】
混在処理部３５では、混在領域特定部３４で射出瞳番号ごとに特定された第１の画素に第２の画素の視差情報を混在させる。この時の混在割合の決定方法として最も好適なのは、図１０に示した視域境界を示す破線２１が通過する第１の画素の視差情報と、画素グループの物理的な境界線である図１１（ａ）に示す境界線２４を介して隣接している、第２の画素の視差情報を、視域境界の破線２１が通る第１の視差情報を意味する矩形の上辺から破線２１までの距離（例えば図１１（ｂ）ではＰ１と表記）と、視域境界の破線２１が通る第１の画素の視差情報を意味する矩形の下辺から破線２１までの距離（例えば図１１（ｂ）ではＰ２と表記）に応じて混在させるというものである。例えば図１１（ｂ）の長さから決定された比が
Ｐ１の長さ：Ｐ２の長さ = ０．６：０．４
であった場合、第２の画素の視差情報を第１の視差情報に０．４の割合で混在させたものを、第１の画素の視差情報とする。ここまでが画像データ処理装置３０が行う処理になる。すなわち、画像データ処理装置３０の処理手順は、まず、視差画像記憶部３２から視差画像を読み込む（図１３のステップＳ１）。続いて、提示情報入力部３３に記憶されている三次元画像表示装置のスペック（提示情報）を取得する（図１３のステップＳ２）。この提示情報を基に、混在領域特定部３４によって、射出瞳番号ごとに混在処理を行う画素群を特定する（図１３のステップＳ３）。すなわち、図１０の視域境界を示す破線２１が通過する画素を特定する。続いて、混在処理部３５によって、射出瞳番号ごとに特定された画素群で混在処理を行う（図１３のステップＳ４）。すなわち、特定された画素に対して射出瞳番号ごとに異なる位置に存在する第１の混在画素と第２の混在画素を特定し、特定された第２の混在画素の視差画像を第１の混在画素の視差画像に混在させる処理を行う。
【００５７】
この画像データ処理装置３０より出力された混在処理後の視差画像群は画像データ提示装置４０の三次元画像変換部４４において並び替えられて三次元画像表示用の画像が生成される（図１３のステップＳ５）。この生成された三次元画像表示用の画像を三次元画像提示部４６において表示する（図１３のステップＳ６）。典型的には、画像データ処理装置３０は例えばＰＣ（Personal Computer)から構成される。三次元画像変換部４４での処理は、射出瞳ごとに各視差画像の構成要素である画素情報を並べ替えることに加え、各画素情報は一般的には３個のサブ画素（例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青））に対応した画像情報から構成されており、３個のサブ画素は水平方向に並んでいることが前提とされているが、本提案における三次元画像表示装置では、水平方向に並んだサブ画素で視差を与える必要があるので（異なる視差画像を割り当てる必要があるので）、一般的には水平方向に並んだ３つのサブ画素に表示されることを前提とされたサブ画素単位の情報を、例えば縦方向に並び替える処理を行う。サブ画素単位の並び替えを三次元画像変換部４４で実行することで、処理速度の低下を防ぐことが可能である。
【００５８】
以上説明したように、本実施形態によれば、射出瞳番号ごとに混在処理が施される第１の画素と、混在する情報を保持する第２の画素が特定され、視域境界を示す破線２１の位置（＝理想的な画素グループ境界）に応じて混在処理が行われるので、帯状の妨害画像を抑制するとともに、視域からサイドローブへの遷移する領域、またはその逆に遷移する領域で、観察される画像が自然かつ最小の遷移幅で移行することができる。
【００５９】
なお、本実施形態では混在の比率を距離によって決定したが、画素の視差情報を意味する矩形の横幅に仮想的に値を設定すれば、これを面積と考えて混在の比率に利用することも考えられる。この場合、画素の視差情報を意味する矩形の内部のうち、視域の境界の破線２１の外側にあたる面積（例えば図１１（ｂ）の斜線部の面積）と内側に含まれる面積（例えば図１１（ｂ）の網掛け部の面積）とをそれぞれ求め、その比を混在の割合とすればよい。
【００６０】
（第２実施形態）
次に、第２実施形態による三次元画像表示装置を説明する。
【００６１】
上述したように、第１実施形態においては、ＩＩ方式における、視域境界で観察される帯状の妨害画像を抑制することが可能である。しかしながら、依然として視域境界付近での逆視や多重像は発生する。この問題を防止する一つの方法が知られている（例えば、李 載鎔、宮下 哲哉、内田龍男、多眼式３Ｄディスプレイ内の逆視を除去する新方式、社団法人映像情報メディア学会技術報告、Ｖｏｌ．３３，Ｎｏ．４２， ＰＰ．３７−４０，Ｏｃｔ．２００９（以下、単に文献という）。この文献によれば視域境界付近にぼかし画像を挿入することで片眼にのみぼかし画像が観測され、視野闘争の効果により鮮鋭なもう一方の目の映像が支配的になり、それにより偽像を目立ちにくくすることができる。しかしながら、この文献は多眼式を対象にした物であり、ＩＩ方式に適用することは出来ない。
【００６２】
そこで、第２実施形態では、ＩＩ方式における視域境界付近にぼかし画像を挿入することにより、帯状の妨害画像の発生を抑制するとともにＩＩ方式で発生する多重像（主に二重像）を抑制する三次元画像表示装置を提供する。
【００６３】
上述したように、多眼式において視域境界付近で見える画像は画素グループの両端に対応する視差画像であり、例えば図２に示すように、視差画像番号−４と視差画像番号４の視差画像となる。そのため、その画像をぼかし画像に置き換えればよいが、ＩＩ方式では観測者が見る画面は複数の視差画像の足し合わせになっているため、そのような単純な置き換えでは達成することが出来ない。ＩＩ方式において視域境界で観測される画素は図９、図１０の視域境界を示す破線２１上の画素群であり、この画素群にぼかし画像を挿入する必要がある。また、前述したようにＩＩ方式ではクロストークが利用されているため、視域境界を示す破線２１を中心として設定されたオフセット範囲に含まれる画素にぼかし画像を混在させることが、最も好適な実現方法となる。
【００６４】
（実施例２）
第２実施形態の三次元画像表示装置について実施例２として更に詳細に説明する。
まず、本実施例の三次元画像表示装置のブロック図を図１４に示し、画像処理の手順を示すフローチャートを図１５に示す。なお、第１実施例と同じブロックについての説明は省略する。
【００６５】
本実施例の三次元画像表示装置は、図１２に示す第１実施例の三次元画像表示装置において、画像データ処理装置３０を画像データ処理装置３０Ａに置き換えた構成となっている。この画像データ処理装置３０Ａは、視差画像記憶部３２と、提示情報入力部３３と、挿入領域特定部３６と、挿入画像生成部３７と、挿入処理部３９とを備えている。
【００６６】
挿入画像生成部３７では、まず視差画像記憶部３２よりｎ枚の視差画像を読み出す（図１５のステップＳ１０１）。ｎは視差画像記憶部３２に記憶されている視差画像の数を最大値とする整数である。その後、図１０に示す各射出瞳番号に対応する射出瞳基準画素グループの画素のうち、読み出したｎ枚の視差画像に対応する視差画像番号を持つ画素について、合計が１．０となるように加重平均して射出瞳ごとに１つの視差情報を決定する。なお、前述したように図９、図１０は視差画像のあるｙ座標を持つ視差情報であるため、実際にはｙ座標ごとに視差情報が決定される。これが各射出瞳番号について行われるため、生成される画像は視差画像の解像度と同様の解像度を持つ画像となる。最後に、この画像に対して移動平均フィルタ、ガウシアンフィルタなどの画像処理で一般的な平滑化フィルタを適用したものが挿入画像となる（図１５のステップＳ１０４）。
【００６７】
挿入領域特定部３６では、提示情報入力部３４に記憶されている三次元画像表示装置のスペック（提示情報）を取得する（図１５のステップＳ１０２）。この提示情報に基づいて、
図１０に示すように、射出瞳番号ごとに視域境界を示す破線２１を中心としたオフセット領域（破線２１を中心に垂直方向の高さがオフセット値で定義される領域）の範囲に含まれる視差情報を挿入領域として特定する（図１５のステップＳ１０３）。なお、注意するべきは、図１０のデータ空間の視差情報を示す矩形の横幅は特に意味がなく、これまで述べてきたように、点が打たれている位置の矩形の上辺と下辺からの距離にのみ意味がある。よって、点を通り矩形の上辺、および下辺に垂直で両端が上辺または下辺上にある線分（以下、仮想画素線分）を考えた際に、その線分がオフセット領域に一部でも含まれる場合には挿入領域に含まれる物とする。このように、挿入領域は、オフセット値に依存する。図１５に示すステップＳ１０２およびＳ１０３と、図１５に示すステップＳ１０４とは、異なる部で行われるため、図１５に示す手順でなくともよい。
【００６８】
挿入処理部３９では、挿入領域特定部３６で射出瞳番号ごとに特定された挿入領域に対して、挿入画像を混在させる（図１５のステップＳ１０５）。前述したように挿入画像は視差画像と同一の解像度を持ち、横方向の解像度は射出瞳の数と同等となる。この時の挿入画像のｘ座標と射出瞳の位置は対応し、最も左端の射出瞳に対応する挿入領域には挿入画像の左端の画素が混入される。射出瞳に対応する画素を以降、挿入画素と定義する。混在処理は、大きく２つのパターンに分かれる。
【００６９】
第１のパターンとしては、挿入領域として特定された視差情報Ｐの仮想画素線分が破線２１を中心としたオフセット領域に完全に含まれる画素については、その画素の視差情報を挿入画素の視差情報で置き換える。
【００７０】
第２のパターンとしては、挿入領域として特定された視差情報Ｐの仮想画素線分が部分的に含まれる画素については、オフセット領域に含まれる長さを画素ごとに算出し、その長さの比に応じて挿入画像の視差情報を混在させる。例えば視差情報Ｐの仮想画素線分の長さを１．０とし、挿入領域と判定された画素の視差情報に注目した場合に、視域境界を示す破線２１を中心としたオフセット領域に含まれている長さが０．３であれば、元の画素の重みを０．７、挿入画素の重みを０．３とする加重平均により新たな視差情報を生成する。また、処理負荷を軽くしたい場合には、第２のパターンに属する視差情報であっても第１のパターンと同様に、単純に挿入画素の視差情報で置き換えても良い。この場合は原理的に、挿入画像に帯状の妨害画像と同様の濃度変化が生じることになるが、偽像に由来する二重像の抑制効果は残る。
【００７１】
本実施例によれば、帯状の妨害画像と偽像に起因する二重像の発生を同時に抑制することが可能となる。
【００７２】
なお、本実施形態では混在の比率を仮想画素線分がオフセット領域に含まれる長さによって決定したが、画素の視差情報を意味する矩形の横幅に仮想的に値を設定すれば、これを面積と考えて混在の比率に利用することも考えられる。この場合、視差情報Ｐ内であり、かつオフセット領域の外側にあたる面積と内側に含まれる面積とをそれぞれ求め、その比を加重平均の重みとすればよい。このことは、以下の第１乃至第３変形例においても同様である。
【００７３】
（実施例２の第１変形例）
実施例２では視差画像から挿入画像を生成したが、外部から読み込む等の方法で予め決められた挿入画像を挿入することも可能である。実施例２では視差画像を読み込む都度、挿入画像を生成したが、中間色（例えばグレー）の単色画像を挿入画像とする、予め決められた静止画、動画などの場合に事前に挿入画像を作成（動画の場合、全フレームを対象にあらかじめ作成）しておくなどにより処理負荷を低減することが可能である。
【００７４】
事前に作成する際には、挿入画像生成部３７で行っている処理を同様に行えばよい。動画の際には、ｎを全フレームの視差画像分に拡張して同様に処理する、または代表的なフレームをカット検出などにより抽出後に、抽出されたフレームを対象に静止画と同様に処理するなどが考えられる。また、この挿入画像に対して正常な立体像が見える領域ではないということを表す文字やシンボル（矢印など）を含めておくことで、観測者に理解しやすい形で偽像に由来する二重像や逆視などが観測される領域であることを教え、観測位置の変更を促すことも可能である。この文字やシンボルは挿入画像上の任意の位置に置くことが可能なため、自由度の高い警告の提示が可能となる。さらに、一般に観測者が全く動かずに画面を見ることは現実的ではないため、常に観察距離を一定に保つことはできない。そのため、図１０の破線２２の傾きは観察者が観察している間ある程度変化すると考えられる。この場合、前述した式（７）または式（８）より、図１０の両端に近い位置に置いた警告は早めに提示され、中央付近に置いた警告は遅めに提示される。以上のように、警告を自由に配置できれば提示タイミングもある程度制御することが可能である。
【００７５】
本変形例の三次元画像表示装置を図１６に示し、画像処理手順を図１７に示す。本変形例の三次元画像表示装置は、図１４に示す実施例２の画像データ処理装置３０Ａを画像データ処理装置３０Ｂに置き換えた構成となっている。この画像データ処理装置３０Ｂは、実施例２の画像データ処理装置３０Ａにおいて挿入画像生成部３７を削除するとともに挿入画像を記憶する挿入画像記憶部３８を新たに設けた構成となっている。このため、図１７に示す本変形例の画像処理手順は、図１５に示す実施例２の画像処理手順において、ステップＳ１０４の代わりにステップＳ２０４を設けた構成となっている。
【００７６】
挿入画像記憶部３８には前述した方法などにより予め作成された画像や、正常な立体像が見える領域ではないということを表す文字やシンボル（矢印など）などで構成された警告を含む画像、単色の画像などが記憶される。ここでは警告の一般的な方法である文字やシンボルを挙げたが、警告の表示位置や表示する物については一般的な画像と同様の自由度があることは言うまでもない。各画素について透明度やマスク情報（画素ごとにマスクされているかが定義された情報）を保持することも可能であり、また、画像を複数種類持つことも可能である。
【００７７】
挿入処理部３９は実施例２で説明したものと基本的に同じであるが、挿入画像記憶部３８から挿入画像を読み込む処理が前段に加わる。また、挿入画素に透明度（＝１−アルファ値）などのブレンド比率やマスク情報が定義されている場合には、その情報に応じてブレンドの割合や挿入するかどうかを画素単位で切り換えても良い。例えば、挿入画素の透明度が０．５の場合には、前述した第２のパターンのように、オフセット領域に含まれる長さの比に応じて挿入画素の視差情報を混在させるのではなく、挿入画素の視差情報を５０％の割合で混在するようにしてもよいし、挿入画素の透明度が０．０である場合やマスクされている場合はその挿入画素については混在処理をスキップするように構成してもよい。また、読み込む画像は時間や外部入力などによって切り換えても良い。さらに、挿入画像は必ずしも視差画像と同一の解像度を持つ必要はなく、視差画像より解像度が小さくても良いし、大きくても良い。視差画像より解像度が大きい場合、挿入画像の画素を間引くかあるいは縮小することにより、視差画像の解像度と同一かそれより小さくなるようにした後に挿入処理を行えばよい。挿入画像の画素を間引く方法、および縮小方法については、画像処理で周知な方法（例えば、画像の偶数ラインのみ、あるいは奇数ラインのみを間引く方法や、バイリニア法、バイキュービック法などの縮小方法）を用いればよい。視差画像より解像度が小さい場合には、挿入処理部３９は挿入画像のｘ座標の終端で挿入処理を打ち切ればよい。例えば、視差画像の横解像度が２５６で挿入画像の横解像度が１２８の場合、１２８まで挿入処理を行った時点で処理を打ち切ればよい。
【００７８】
また、予め設定されるか、または提示情報の一部として入力されたスキップ量ｓだけスキップした位置から挿入処理を始めてもよい。例えば、ｓ＝１０で視差画像の横解像度が２５６で挿入画像の横解像度が１２８の場合、射出瞳番号が０から始まるとすると、射出瞳番号＝９の位置までは挿入処理を行わず、射出瞳番号＝１０から挿入処理を行うようにしてもよい。その場合、挿入画像のｘ座標は、挿入画像のｘ座標＋ｓの射出瞳番号と対応づくことになる。つまり、挿入画像の左端のｘ座標、および図１０における左端の射出瞳番号を０とすると、ｓ＝１０の時に挿入処理が行われるのは射出瞳番号１０からであり、射出瞳番号１０に対応づく挿入画素は挿入画像のｘ座標＝０の位置の画素ということになる。
【００７９】
以上説明したように、本変形例によれば、特定の条件下で処理負荷を軽減しながら帯状の妨害画像とその他の偽像に由来する逆視や二重像を同時に抑制することが可能となる。また、別の側面の効果として、観測者に理解しやすい形で上記のような問題が観測される領域であることを教え、観測位置の変更を促すことが可能となる。
【００８０】
（実施例２の第２変形例）
実施例２の三次元画像表示装置のブロック図を図１８に示し、画像処理の手順を示すフローチャートを図１９に示す。
【００８１】
本変形例の三次元画像表示装置は、図１４に示す実施例２の画像データ処理装置３０Ａを画像データ処理装置３０Ｃに置き換えた構成となっている。この画像データ処理装置３０Ｃは、実施例２の画像データ処理装置３０Ａにおいて挿入画像を記憶する挿入画像記憶部３８を新たに設けた構成となっている。このため、図１９に示す本変形例の画像処理手順は、図１５に示す実施例２の画像処理手順において、ステップＳ１０４の代わりにステップＳ１０４Ａ、Ｓ１０４Ｂ、Ｓ１０４Ｃを設けた構成となっている。
【００８２】
すなわち、本変形例は実施例２とは挿入画像生成部３７の処理が異なる。挿入画像生成部３７では、まず実施例２と同様の手順で第１の挿入画像を生成する（図１９のステップＳ１０４Ａ）。その後、挿入画像記憶部３８から画像を読み込み、これを第２の挿入画像とする（図１９のステップＳ１０４Ｂ）。そして、第１の挿入画像と第２の挿入画像を予め指定された割合で加重平均する（図１９のステップＳ１０４Ｃ）。つまり、第１の挿入画像の各画素とＸＹ座標が対応する第２挿入画像の各画素を、指定された割合でそれぞれ加重平均して最終的な挿入画像を生成する。
【００８３】
なお、第２の挿入画像は必ずしも第１の挿入画像と同一の解像度を持つ必要はなく、第１の挿入画像より解像度が小さくても良いし、大きくても良い。第１の挿入画像より解像度が大きい場合、第２の挿入画像の画素を間引くかあるいは縮小することにより、第１の挿入画像の解像度と同一かそれより小さくなるようにした後に挿入処理を行えばよい。第２の挿入画像の画素を間引く方法、および縮小方法については、画像処理で周知の方法（例えば画像の偶数ラインのみ、あるいは奇数ラインのみを間引く方法や、バイリニア法、バイキュービック法などの縮小方法）を用いればよい。第１の挿入画像より解像度が小さい場合には、挿入処理部３９は第２の挿入画像のｘ座標の終端で処理を打ち切ればよい。例えば、第１の挿入画像の横解像度が２５６で第２の挿入画像の横解像度が１２８の場合、１２８まで挿入処理を行った時点で処理を打ち切ればよい。また、予め設定されるかまたは提示情報の一部として入力されたスキップ量ｓだけスキップした位置から挿入処理を始めてもよい。例えば、ｓ＝１０で第１の挿入画像の横解像度が２５６で第２の挿入画像の横解像度が１２８の場合、第１の挿入画像のｘ座標が０から始まるとすると、第１の挿入画像のｘ座標＝９の位置までは挿入処理を行わず、第１の挿入画像のｘ座標＝１０から挿入処理を行うようにしてもよい。その場合、第２の挿入画像のｘ座標＋ｓと第１の挿入画像のｘ座標が対応づくことになる。つまり、第１の挿入画像の左端のｘ座標、および第２の挿入画像の左端のｘ座標を０とすると、ｓ＝１０の時に挿入処理が行われるのは第１の挿入画像のｘ座標＝１０からであり、それに対応づくのは第２の挿入画像のｘ座標＝０の位置の画素ということになる。
【００８４】
以上説明したように、本変形例によれば、処理負荷を軽減しながら帯状の妨害画像とその他の偽像に由来する逆視や二重像を同時に抑制すると共に、視差画像に左右されない情報を視域境界で視認される画面に含めることが可能となる。例えば警告情報を含めることができ、帯状の妨害や偽像に由来する逆視や二重像を抑制することでサイドローブへの遷移の際に不自然に見える領域を小さくするとともに、観測者に理解しやすい形で偽像に由来する逆視や二重像が観測される領域であることを教えて速やかな観測位置の変更を促すことが可能となる。
【００８５】
（実施例２の第３変形例）
第１変形例では視域境界を示す破線２１を中心としたオフセット領域の範囲に対して挿入処理を行ったが、挿入位置は必ずしも視域境界を示す破線２１を基準に考える必要はない。例えば図１０に示す破線２２を基準にオフセット領域の範囲に対して挿入処理を行えば、挿入画像をある特定の視距離、および視点位置でのみ観測者に見せることが可能となる。これにより、例えば観察者の視点が十分に視域内に入っており偽像が見えない領域でのみ正しい位置で見ていることを知らせることが可能となる。
【００８６】
また、図９に示すように、視域境界を示す破線２１より平行四辺形領域の内側に一定量だけ移動した位置に挿入処理を行うようにした場合、この移動量によって正常な立体像が見える領域ではないということを観測者に知らせるタイミングを制御することが可能となる。なお、図９の概念図は視域境界を示す破線２１を境に上下が１射出瞳番号ずれてつながっていると考えられるため、破線２２が視差画像番号−５、−６、５，６の領域を通過する場合、図１０では破線２２は１本ではなく、通過したそれぞれの領域にも破線２２が現れることに注意する。
【００８７】
実際の挿入処理については第１変形例、第２変形例における挿入領域特定部３６、および挿入処理部３９における処理の基準となっている視域境界を示す破線２１を、前述したように視距離と視点位置によって傾きと上下位置が変化する破線２２に置き換えて処理すればよい。つまり、挿入領域特定部３６では図１０に示すように、射出瞳番号ごとに破線２２を中心としたオフセット領域の範囲にある視差情報Ｐを挿入領域として特定すればよい。また、挿入処理部３９は基本的には第１変形例、第２変形例と同様だが、上述した第２のパターン２で視差情報を混入させる際の比率を、破線２２を基準として求めればよいことになる。その他の処理については同様であるので省略する。
【００８８】
なお、他の変形例と同様に挿入画像は一般的な画像と同様の自由度がある。つまり、文字やシンボルのみでなくＣＧ映像や自然画などと組み合わせてもよいし、動画像でもよい。動画像の場合には挿入画像記憶部３８から時間に応じて異なるフレームの画像を取得するようにすればよい。なお、挿入画像は必ずしも視差画像と同一の解像度を持つ必要はなく、視差画像より解像度が小さくても良いし、大きくても良い。その場合、第１変形例と同様に処理すればよい。
【００８９】
以上説明したように、本変形例によれば、観察者の視点位置に応じて文字や矢印など任意の画像（動画）を表示することが可能となり、現在の観察者の視点位置に応じた様々なナビゲーション情報を提示することが可能となる。これにより、例えば視域内にいる場合には可能な限り視域内にとどまるように、視域からサイドローブ（またはその逆）に移動する場合には自然かつ迅速に移行可能なように情報を提示するといった表示が可能である。
【００９０】
なお、以上の実施例は各視差画像を基準に説明したが、特開２００６−０９８７７９号公報には視差画像のうち実際に必要な部分のみをまとめることにより視差画像の伝送や圧縮に向くフォーマットに変換する方法が述べられている。これによって変換された画像はタイル画像と呼ばれており、各実施例およびその変形例に必要な視差画像を全て備えている。そのため、各実施形態および各実施例ならびに各変形例はタイル画像を経由しても同様に実施することが可能である。
【００９１】
以上に説明したように、帯状の妨害画像および偽像に由来する逆視や二重像を抑制すると共に、サイドローブに遷移する領域、またはその他の領域でその位置に応じた文字や矢印など任意の画像を表示することによるナビゲーションを可能とし、視域の把握を容易にすると共に視域からサイドローブ（またはその逆）に自然かつ迅速に移行することが可能となる。
【００９２】
第１及び第２実施形態では、視域最適化処理を行ったことで発生したｎと（ｎ＋１）の画素グループとそれに表示されていた視差情報で対応できる視域境界対策について述べた。しかしながら、第１実施形態の中で、本来行うべき混在処理として記載した視差画像番号で処理を行うこともできる。すなわち、図１０において、破線２１で示される画素グループ境界を忠実に再現する。視域最適化処理後の視差情報には存在しない画素情報（例えば、画素グループ２３０の視差画像５や、画素グループ２３３の視差画像−４）が必要になるが、視域最適化処理を行う前に、第１実施形態における視差画像記憶部３２が記憶する視差画像から抜き出すことができれば、このような処理も可能である。このとき、視域最適化処理で発生していた、ｎと（ｎ＋１）の画素グループの概念は解消し、離散的にしか存在しない画素に表示される視差画像の混入する割合によって、連続的な画素グループ境界を実現したといえる。
【００９３】
また第１及び第２実施形態では、主に式（４）で表現されるＩＩ方式について説明されており、図９、１０、１１のデータ空間は直交座標で描画されているが、式（６）で示されるような関係では、射出瞳と画素の相対位置は射出瞳ごとにずれてくるので、水平の軸は傾くことになる。その場合においても、観察位置に応じた画素グループ境界に相当する破線２１を描けば、第１及び第２実施形態と同様の処理を適用することが可能である。すなわち、第１及び第２実施形態の処理は、射出瞳と画素の相対位置には制約されず、画素グループ境界に相当する破線２１と、物理的な画素の境界が一致しない場合の全てにおいて、帯状妨害を発生させないための効果的な手段といえる。
【００９４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００９５】
１０ 平面表示装置
１５０〜１５４ 画素グループ
２０ 光線制御素子（全射出瞳）
２００〜２０７ 射出瞳
３０ 画像データ処理装置
３０Ａ 画像データ処理装置
３０Ｂ 画像データ処理装置
３０Ｃ 画像データ処理装置
３２ 視差画像記憶部
３３ 提示情報入力部
３４ 混在領域特定部
３５ 混在処理部
３６ 挿入領域特定部
３７ 挿入画像生成部
３８ 挿入画像記憶部
３９ 挿入処理部
４０ 画像データ提示部
４４ 三次元画像変換部
４６ 三次元画像提示部
【技術分野】
【０００１】
本発明の実施形態は、三次元画像表示装置および画像処理装置に関する。
【背景技術】
【０００２】
めがね無しで三次元画像を観察できる裸眼式三次元画像表示装置（以下、三次元画像表示装置ともいう）として、多眼式、稠密多眼式、インテグラルイメージング方式（ＩＩ方式）、一次元ＩＩ方式（１Ｄ−ＩＩ方式：水平方向にのみ視差情報（視差画像の画素値）を表示）等が知られている。これらは、液晶表示装置（ＬＣＤ）に代表されるフラットパネルディスプレイ（ＦＰＤ）の前面に、レンズアレイに代表される射出瞳を配するという共通の構造を持つ。射出瞳は一定間隔で設けられ、射出瞳ひとつに対して、複数のＦＰＤの画素が割り当てられるが、本明細書中では、このひとつの射出瞳に割り当てられた複数の画素を画素グループと称する。射出瞳は三次元画像表示装置の画素に相当し、観察位置に応じて射出瞳を経由して見える画素が切り替わる。すなわち、観察位置によって画素情報が変わる三次元画像表示用画素として振舞う。
【０００３】
このような構成の三次元画像表示装置においては、ＦＰＤの画素が有限なため画素グループを構成する画素数にも制限がある。例えば、一方向について２画素〜６４画素であり、２画素の場合、特に二眼式と呼ぶ。このため、三次元画像が観察できる範囲（視域）が制限されることが避けられない。また、観察者が視域から左右に逸脱すると、本来の射出瞳に隣接した射出瞳に対応した画素グループの視差画像を観察することが避けられない。このとき観察者が観察する光線は、本来の射出瞳に隣接した射出瞳を経由した光線による三次元画像であることから、光線方向と視差情報が一致せず、歪を含む。しかしながら、観察位置の移動に応じて視差画像が切り替わることから、この場合も三次元画像として見える。各視差画像は、視距離Ｌに発生した集光点の位置から、表示面を投影面として撮影した多視点画像に相当する。このため、上記歪を含んだ三次元映像（偽像）が見える領域をサイドローブと呼ぶ場合もある。
【０００４】
また、各射出瞳に割り当てられた画素グループの画素数を調整することで、三次元画像表示装置の視域を制御する方法が知られている。この方法は、ｎを２以上の自然数としたときに画素グループを構成する画素数をｎと（ｎ＋１）との２値とし、（ｎ＋１）個の画素を有する画素グループの出現頻度を制御する。
【０００５】
しかしながら、正しい視域からサイドローブに遷移する領域では、画素グループの境界の両側の視差画像を視差の並びが逆転した状態で見ることになるために、逆視と呼ばれる現象が発生し、凹凸が逆転した像が観察されたり、画素グループの境界の両側の視差画像を同時に見ることで、本来異なる視点で見るべき映像が多重に重なって見える多重像が生じることが知られている。
【０００６】
多眼式の三次元画像表示装置では、このような偽像の対策方法の一つとして、視域境界に対応する視差画像を過度に平滑化した、ぼかし画像に置き換えることにより、偽像を視認しにくくする手法が知られている。
【０００７】
また、偽像に由来する上記のような問題に対する対策の一つとして、例えば視域からサイドローブに遷移する領域でなんらかの警告画像を知覚できるように表示することで、違和感を減らすことはできなくても、サイドローブが正しい画像でないことを観察者に伝えるという手法が知られている。
【０００８】
また、視域を制御する上記方法を用いた場合には、上記のような問題以外に帯状の妨害画像が発生することが知られている。この対策として、（ｎ＋１）個の画素を有する画素グループの両端の画素の視差情報のうち画面中央から左か右かによって決定される片側の画素を選択し、その画素の視差情報に対して、その画素に隣接する画素方向にｎ個だけ離れた２つ以上の画素の視差情報を混在させることで帯状の妨害画像を抑制するという手法が知られている。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特許第３８９２８０８号公報
【特許文献２】特開２００８−６７０９２号公報
【特許文献３】特開２００９−２３９６６５号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
本発明が解決しようとする課題は、帯状の妨害画像を抑制するとともに、視域からサイドローブへの遷移する領域、またはその逆に遷移する領域で、観察される画像が自然かつ迅速に移行することのできる三次元画像表示装置および画像処理装置を提供することである。
【課題を解決するための手段】
【００１１】
本実施形態の三次元画像表示装置は、マトリクス状に配列された画素を有する平面表示装置と、前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、前記複数の画素グループの境界に隣接する２つの画素を特定し、特定された２つ画素のうちいずれか一方を第１の画素とし、もう一方を第２の画素とする特定部と、特定された前記第１の画素の視差情報に前記第２の画素の視差情報を混在させる処理を行う処理部と、前記処理部によって処理された視差情報を三次元画像表示用の画像に変換する変換部と、を備え、前記平面表示装置は、前記三次元画像用の画像を表示することを特徴とする。
【図面の簡単な説明】
【００１２】
【図１】図１（ａ）乃至１（ｄ）は裸眼式三次元画像表示装置を説明する図。
【図２】図２（ａ）、２（ｂ）は多眼式三次元画像表示装置を説明する図。
【図３】図３（ａ）乃至３（ｊ）は、観察位置と、この位置から観察した三次元画像表示装置の表示面を構成する視差情報を示す図。
【図４】多眼式三次元画像表示装置を説明する図。
【図５】ＩＩ方式三次元画像表示装置を説明する図。
【図６】図６（ａ）、６（ｂ）は視域最適化が適用されたＩＩ方式三次元画像表示装置を説明する図。
【図７】図７（ａ）乃至７（ｊ）は、ＩＩ方式において射出瞳を経由して観察される視差情報について説明する図。
【図８】多眼式とＩＩ方式における観察距離と視差画像番号の切り替わりの頻度を示す図。
【図９】ＩＩ方式における視差画像と視域境界を表すデータ空間を示す図。
【図１０】ＩＩ方式における視差画像と視域境界を表すデータ空間を示す図。
【図１１】図１１（ａ）、１１（ｂ）は第１実施形態による三次元画像表示装置に用いられる画像処理方法を説明する図。
【図１２】第１実施形態の実施例１による三次元画像表示装置を示すブロック図。
【図１３】第１実施形態の実施例１の画像処理手順を示すフローチャート。
【図１４】第２実施形態の実施例２による三次元画像表示装置を示すブロック図。
【図１５】第２実施形態の実施例２の画像処理手順を示すフローチャート。
【図１６】実施例２の第１変形例による三次元画像表示装置を示すブロック図。
【図１７】実施例２の第１変形例の画像処理手順を示すフローチャート。
【図１８】実施例２の第２変形例による三次元画像表示装置を示すブロック図。
【図１９】実施例２の第２変形例の画像処理手順を示すフローチャート。
【発明を実施するための形態】
【００１３】
実施形態を説明する前に、ＩＩ方式と多眼式との差および視域最適化について説明する。説明を簡単にするため、主に一次元について説明するが、二次元に適用が可能である。なお、以下の説明における上下左右縦横等の方向の説明は、下記の射出瞳のピッチ方向を横方向とした場合の相対的な方向を指す。従って、実空間における重力方向を下とした場合の、絶対的な上下左右縦横等とは必ずしも一致しない。
【００１４】
三次元画像表示装置の水平断面図を図１（ａ）に示す。三次元画像表示装置は、平面表示装置１０と、光線制御素子２０とを備えている。平面表示装置１０は、例えば、液晶表示パネルのように、画素が縦方向および横方向にマトリクス状に配列された平面画像表示部（表示パネル）を有している。光線制御素子２０は、複数の射出瞳２００〜２０８を有しており、上記画素からの光線を制御する。各射出瞳２０ｉ（ｉ＝０，・・・，８）は、例えば、レンズまたはスリットを用いて構成される。ひとつの射出瞳に割り当てられた、平面画像表示部の複数の画素を画素グループという。この画素グループは三次元画像表示装置においては、三次元画像の画素となるから、図１（ａ）においては、８個の画素グループがあるから８個の三次元画像が見られる。
【００１５】
図１（ａ）は、各射出瞳２０ｉ（ｉ＝０，・・・，８）と、この射出瞳に対応する画素グループ１５との位置関係を示す水平断面図である。各射出瞳２０ｉ（ｉ＝０，・・・，８）から有限の距離Ｌで全射出瞳、すなわち光線制御素子２０からの光線群が重畳するためには、Ａを射出瞳のピッチ、Ｂを射出瞳ひとつに対応した画素グループの平均幅とし、光線制御素子２０と、平面表示装置１０との間の距離（ギャップ）をｇとしたときに、
Ａ＝Ｂ×Ｌ／（Ｌ＋ｇ） ・・・（１）
を満たせばよい。
【００１６】
二眼式の延長である多眼式や稠密多眼式においては、光線制御素子２０から有限の距離Ｌの位置で、全ての射出瞳から射出した光線群が同一の領域に入射するように設計される。具体的には、全の画素グループのそれぞれが一定数（ｎ（≧２）個）の画素から構成され、射出瞳のピッチＡを画素グループの幅Ｂより若干狭くする。画素ピッチをＰｐとすると、
Ｂ＝ｎ×Ｐｐ ・・・（２）
（１）、（２）式より
Ａ＝Ｂ×Ｌ／（Ｌ＋ｇ）＝（ｎ×Ｐｐ）×Ｌ／（Ｌ＋ｇ） ・・・（３）
と設計される。このＬを本明細書では視域最適化距離と称する。また、（３）式の設計を採用している方式を多眼式と称する。ところが、この多眼式では、距離Ｌで集光点が発生することが避けられず、自然な物体からの光線を再生できない。これは、多眼式は集光点に両眼を位置させ、両眼視差により立体視させるからである。また、三次元画像が見える範囲が広くなる距離Ｌが固定になる。
【００１７】
より実際の物体からの光線に近い光線を再現することを目的に、観察距離で集光点を発生させずに、かつ観察距離を任意に制御する方法として、射出瞳のピッチＡを、
Ａ＝ｎ×Ｐｐ ・・・（４）
と設計する方法がある。
【００１８】
一方、有限の距離Ｌで画素グループを構成する画素数を、ｎと（ｎ＋１）の２値とし、（ｎ＋１）個の画素を有する画素グループの発生頻度ｍ（０≦ｍ＜１）を調節することで、（１）式を満たすことが可能である。すなわち（１）、（４）式より、
Ｂ＝（Ｌ＋ｇ）／Ｌ×（ｎ×Ｐｐ）＝（ｎ×Ｐｐ×（１−ｍ）＋（ｎ＋１）×Ｐｐ×ｍ）
すなわち
（Ｌ＋ｇ）／Ｌ＝（１−ｍ）＋（ｎ＋１）／ｎ×ｍ ・・・（５）
を満たすようにｍを決めればよい。（３）、（４）式より、観察距離Ｌより集光点を後方にするためには、射出瞳のピッチＡを
（ｎ×Ｐｐ）×Ｌ／（Ｌ＋ｇ）＜Ａ≦ｎ×Ｐｐ ・・・（６）
となるように設計すればよい。このように観察距離Ｌで集光点が発生することを防いだ方式を、本明細書中ではＩＩ方式と総称する。その最たる構成が、集光点を無限遠に設定した（４）式である。
【００１９】
観察距離Ｌより後方で集光点が発生するＩＩ方式では、各画素グループを構成する画素数をｎに固定すると、視域最適化距離が視距離Ｌより後方になる。このため、ＩＩ方式では、画素グループを構成する画素数をｎと（ｎ＋１）の２値にし、その画素グループの幅の平均値Ｂが（１）式を満たすように構成することで、有限の観察距離Ｌで視域を最大に確保することができる。以下、本明細書では、有限の観察距離Ｌで視域を最大にすることを視域最適化を適用すると云う。
【００２０】
図１（ｂ）、１（ｃ）、１（ｄ）に、視距離Ｌにおける各観察位置での三次元画像の見え方の水平断面図を模式的に示している。図１（ｂ）は観察距離Ｌの右端の領域から見える画像、図１（ｃ）は観察距離Ｌの中央の領域から見える画像、図１（ｄ）は観察距離Ｌの左端の領域から見える画像を示す。以下、観察位置という表現がしばしば出てくるが、現象を簡単に記述するために、位置を一点として記載する。この点は単眼での観察や単一のカメラで撮影した状態に相当する。人が両眼で観察した場合については、両眼の間隔に設定された二点から、両眼の間隔における位置の相違に相当した視差のある画像を観察していると理解すればよい。多眼式とＩＩ方式では、視差画像の見え方が異なる。これについて以下に説明する。
【００２１】
（多眼式）
比較のためにまず多眼式について説明する。これまで説明したように、多眼式では、視域最適化距離Ｌで集光点が発生する。図２（ａ）、２（ｂ）に、９視差の場合の多眼式三次元画像表示装置の水平断面を示す。図２（ａ）は視差画像番号が付けられた画素グループを示し、図２（ｂ）は観察距離Ｌの位置から各射出瞳に引かれた光線の、画素グループにおける入射位置を示している。図２（ａ）に示すように、全射出瞳ひとつに対応する画素グループ（Ｇ＿０）に含まれる画素の数は９個であり、各画素には−４から４まで番号付けされた視差画像が表示される。右端の視差画像番号４の画素から射出瞳２０１を経由した光線は、距離Ｌで集光する。逆の面から言えば、視域最適化距離Ｌから観察すると、画素グループ（Ｇ＿０）を構成する画素のうち同一視差画像番号の視差画像を表示した画素が全射出瞳２０で拡大されて見える。
【００２２】
図３（ａ）乃至図３（ｊ）に、観察位置と、その位置から観察した三次元画像表示装置の表示面を構成する視差情報（視差画像の画素値）を示す。図３（ａ）は視差画像番号が付けられた画素グループを示す図、図３（ｂ）は画素グループの平均ピッチＢと、射出瞳のピッチＡの関係を示す図、図３（ｃ）〜図３（ｇ）は観察距離Ｌから観察したときに観察される視差画像番号を示す図、図３（ｈ）〜図３（ｊ）は観察距離Ｌからはずれて観察したときに観察される視差画像番号を示す図である。距離Ｌの視域幅の中心から観察すると、全射出瞳２０越しに観察される画素は、対応した画素グループ（Ｇ＿０）の中心の画素になることから、観察される視差画像番号は０となる（図３（ｃ））。視域の右端から観察すると、全射出瞳２０越しに観察される画素は、対応した画素グループ（Ｇ＿０）の左端の画素になることから、観察される視差画像番号は−４になる（図３（ｄ））。視域幅の左端から観察すると、全射出瞳２０越しに観察される画素は、対応した画素グループ（Ｇ＿０）の右端の画素になることから、観察される視差画像番号は４になる（図３（ｅ））。このように９つの視差画像が観察位置に応じて切り替わって見え、両眼でこれらの視差画像を観察することで、図１（ｂ）乃至図１（ｃ）に示した８個の三次元画像が７回切り替わって見える。
【００２３】
さらに、右の視域境界を超えて観察した場合は、全射出瞳２０越しに観察される画素は、対応した画素グループ（Ｇ＿０）ではなく、その左に隣接する画素グループ（Ｇ＿−１）の右端の画素になることから、観察される視差画像番号は画素グループ（Ｇ＿−１）に属する４になる（図３（ｆ））。右目に画素グループ（Ｇ＿−１）の視差画像番号４、左目に画素グループ（Ｇ＿０）の視差画像番号−４を観察すると、逆視、すなわち、凹凸の反転した像を観察する。
【００２４】
さらに右に移動すると、視差画像は再び、視差画像番号が３、２、１、・・・となる視差画像に切り替わり、立体視も可能になるが、射出瞳ひとつだけ表示位置がシフトするとともに、観察位置から見たときの画面幅が視域内の正しい観察位置から見たときに比較して画面の横幅が狭く見える。このことから、縦長の三次元画像になる。画面幅の変化に応じて縦長になった画像は２次元画像では頻繁に見られる状態であることから、観察者は歪を意識しにくい。よって、これらの歪を含んだ三次元画像の観察範囲を一般的にサイドローブと呼ぶが、これを観察範囲に含む場合もある。左に移動した場合も対称的に変化するが、ここでは割愛する。
【００２５】
一方、観察距離Ｌより前または後ろに移動して観察した場合は、画面を構成する視差画像に対応する視差画像番号が、同一画素グループ（Ｇ＿０）の範囲で切り替わり、例えば、視差画像番号−４〜４になったり（図３（ｈ））、視差画像番号２〜―２になったりする（図３（ｉ））。さらに、著しく観察距離が短かったり、遠かったりすると、同一画素グループ内では対応できず、隣接した画素グループの画素の視差画像を観察することもある（図３（ｊ））。
【００２６】
図４に、観察距離Ｌ’が視域最適化距離Ｌより短くなった場合（Ｌ’＜Ｌ）の多眼式三次元画像表示装置の水平断面を示す。観察距離Ｌ’が視域最適化距離Ｌより短いと、観察距離Ｌ’における位置から各射出瞳２０ｉ（ｉ＝０，・・・，４）を経由して延びる光線の傾きの変化が大きくなり、結果的に各射出瞳２０ｉ（ｉ＝０，・・・，４）で拡大される視差画像が画面内で連続的に変化する。図４において、最左側の画素グループ１５０に関しては、光線が経由した射出瞳２００に対応する画素グループ１５０の右端の画素の視差画像が見えている。しかし、上記最左側の画素グループ１５０より右の画素グループ１５１に関しては、光線が経由した射出瞳２０１にとっての画素グループ（Ｇ＿０）に対応する、画素グループ１５１の右端の画素の視差画像と、画素グループ（Ｇ＿０）に隣接した、射出瞳２０１にとっての画素グループ（Ｇ＿１）に対応し、かつ射出瞳２０２にとっての画素グループ（Ｇ＿０）に対応する、画素グループ１５２の左端の画素の視差画像との境界が見えている。１５２、１５３、１５４に関しては、それぞれ光線が経由した射出瞳２０２、２０３、２０４にとっての画素グループ（Ｇ＿０）に対応する、画素グループ１５２、１５３、１５４に隣接した画素グループ（Ｇ＿１）の左端の画素の視差画像が観察される様子を示している。例えば、画素グループ１５２の右側に隣接した画素グループ１５３は、画素グループ１５２が、光線が経由した射出瞳２０２の右側に隣接した射出瞳２０３にとっては画素グループ（Ｇ＿０）に相当する。
【００２７】
以上、観察距離の変更に応じて、画面内で視差画像番号や画素グループが切り替わることを述べた。多眼式では、これまでも述べたように、観察距離Ｌにおいて両眼視差によって立体画像を知覚することから、両目のそれぞれに単一の視差画像が見えることが望ましい。射出瞳を経由して見える視差情報を単一にするためには、射出瞳を構成する例えばレンズのフォーカスを著しく絞ったり、射出瞳を構成するスリットやピンホールの開口幅を著しく狭くしたりする。
【００２８】
また、当然ながら、集光点の距離は眼間の距離に略一致させられる。このような設計においては、観察距離より少しでも前後にシフトして、前述したように、観察される視差画像、すなわち観察される画素が画面内で切り替わる部分で、画素間の境界にある非画素領域が観察され、輝度が低下する。また、隣接した視差画像番号の視差画像への切り替わりも不連続に見える。すなわち、視域最適化距離Ｌの近傍以外で三次元画像を観察することはできない。
【００２９】
（ＩＩ方式）
次に、各実施形態の立体画像表示装置に関係するＩＩ方式について説明する。典型的なＩＩ方式では、（４）式に従って射出瞳の間隔を画素幅のｎ倍に設定する。図５に、全ての画素グループがｎ画素から構成された場合のＩＩ方式三次元画像表示装置の水平断面図と、観察距離Ｌから各射出瞳に引かれた線の画素グループにおける入射位置を示す。図５では、ＩＩ方式の構成において、全ての画素グループをｎ個の画素で構成している。すなわち、図５は、（５）式でｍ＝０にした場合に相当する。画素グループ（Ｇ＿０）のうち、最も左の画素グループ１５０の右端の画素から射出瞳２００を経由した光線は、観察距離Ｌの視域の左端に入射している。すなわち, 画素グループ（Ｇ＿０）の右端の画素が観察される。この入射位置から透視投影的に、さらに右の射出瞳２０１を経由した線を引くと、次のことがわかる。射出瞳２０１を経由して見える情報は、経由した射出瞳２０１にとっての画素グループ（Ｇ＿０）に対応する画素グループ１５１の右端の画素と、射出瞳２０１にとっての隣接した画素グループ（Ｇ＿１）に対応し、かつ射出瞳２０２にとっての画素グループ（Ｇ＿０）に対応する画素グループ１５２の左端の画素との境界になる。さらに右の射出瞳２０２からは，射出瞳２０２にとっての画素グループ（Ｇ＿１）に対応するとともに射出瞳２０３にとっての画素グループ（Ｇ＿０）に対応する画素グループ１５３の左端の画素になってしまう（図５）。
【００３０】
図６（ａ）、６（ｂ）に視域最適化が適用された場合のＩＩ方式三次元画像表示装置の水平断面図を示す。図６（ａ）は視差画像番号が付された画素グループを示す図、図６（ｂ）は観察距離Ｌから各射出瞳に引かれた線の画素グループにおける入射位置を示す図である。
【００３１】
図６（ａ）、６（ｂ）では、ハードウェアはそのままに、離散的に（ｎ＋１）個の画素を有する画素グループを配した。これによって、有限の距離Ｌの左側の視域端から観察したときに、全ての射出瞳２００〜２０４に対応した画素グループ１５０〜１５４の右端の画素に表示された視差情報を観察できるようになった。すなわち、三次元画像を観察できる幅を最大化した。ＩＩ方式における視差画像番号は、射出瞳と画素との相対位置で定められ、同じ視差画像番号の視差画像を表示した画素から、射出瞳を経由して射出した光線同士は平行の関係になる。このため、（ｎ＋１）個の画素を有する画素グループ１５２を設けることで、射出瞳と画素グループの相対位置が１画素分だけシフトされるとともに、画素グループを構成する視差画像番号も、−４〜４から−３〜５に変化し、射出瞳から射出する光線群の傾きが変化する（図６（ｂ））。
【００３２】
ＩＩ方式は、視距離Ｌで視域幅が最大化しうる点は多眼式と同じだが、射出瞳を経由して観察される視差情報については異なる。この様子を、図７（ａ）乃至７（ｊ）を参照して説明する。図７（ａ）は視差画像番号が付された画素グループを示す図、図７（ｂ）は画素グループの平均ピッチＢと、射出瞳のピッチＡの関係を示す図、図７（ｃ）〜図７（ｇ）は観察距離Ｌから観察したときに観察される視差画像番号を示す図、図７（ｈ）〜図７（ｊ）は観察距離Ｌからはずれて観察したときに観察される視差画像番号を示す図である。
【００３３】
多眼式では視域最適化距離Ｌから観察したときに、射出瞳を経由して観察される視差画像番号は全画素グループで単一だった。しかし、ＩＩ方式では画面内で視差画像番号が変動する。図６（ａ）、（ｂ）に示す場合でも、（ｎ＋１）個の画素を有する画素グループの左側では、視差画像番号４が観察されるのに対し、（ｎ＋１）個の画素を有する画素グループの右側では、視差画像番号５が観察されている。図７（ａ）乃至図７（ｊ）に示すように、視域最適化距離Ｌの中央では、画面内で視差画像番号−３〜３の視差画像が観察され（図７（ｃ））、視域最適化距離Ｌの視域最適化距離Ｌの右よりでは、画面内で視差画像番号−４〜２の視差画像が観察され（図７（ｄ））、左よりでは、画面内で視差画像番号―２〜４の視差画像が観察される（図７（ｅ））。このように、観察される視差画像の組が観察位置に応じて変化し、それが両眼に入射することで、図１（ｂ）〜図１（ｃ）の見え方の変化を連続的に実現できる。
【００３４】
このように、ＩＩ方式の場合は、有限の観察距離から観察するときには必ず画面内で視差画像番号が切り替わることから、射出瞳を経由して画素部が見えたり画素境界部分が見えたりすることによる輝度変化は許されない。また、視差画像の切り替わりを連続的に見せる必要がある。
【００３５】
よって、視差情報を混在させること（単一位置から複数の視差情報が見えるようにすること）、すなわちクロストークが積極的に行われる。クロストークは、同一の画素グループ（例えば、Ｇ＿０）に所属する視差画像番号の中で切り替わりが生じる場合に、射出瞳経由で観察される位置の変動に応じて、隣接した二つの視差情報の比率が連続的に変化し、画像処理でいう線形補間のような効果をもたらす。
【００３６】
またこのクロストークの存在により、観察距離が前後した場合の視差画像番号の入れ替わりも連続的に行われる。なお、極端に観察距離が短いときまたは遠いときには、画素グループの入れ替わりも連続的に行われる。表示面に近づくと、観察位置から各射出瞳に向けて引かれる線の傾きの変化が大きくなり、結果的に視差画像番号の切り替わりの頻度が増加する（図７（ｈ））。
【００３７】
表示面から離れると、逆に視差画像番号の切り替わりの頻度が減少する（図７（ｉ））。すなわち、クロストークがあることにより、観察者は、視域最適化距離Ｌより表示面に対して近い位置から観察すれば、より透視度が高い三次元画像を見ることができる（図７（ｈ））。また、視域最適化距離Ｌより遠い位置から観察すれば、より透視度の低い三次元画像を連続的に違和感なく見ることができる（図７（ｉ））。すなわち、観察距離の変動に伴う透視投影度の変化を再生できており、これは、ＩＩ方式が実物体からの光線を再生できているからに他ならない。この結果、図７（ｂ）において斜線で示す領域では三次元映像は連続的に切り替わる視域であるといえる。
【００３８】
ＩＩ方式において視域境界を超えて観察した場合は、全射出瞳越しに観察される画素は、対応した画素グループ（Ｇ＿−１）だったり（図７（ｆ））、画素グループ（Ｇ＿１）であったりする（図７（ｇ））。すなわち、射出瞳ひとつだけシフトして表示された三次元画像が観察される。像の歪み方は多眼式と等しいので割愛する。
【００３９】
次に、多眼式とＩＩ方式における観察距離と視差画像番号の切り替わりの頻度について、図８を参照して説明する。本明細書中においては、多眼式とＩＩ方式ともクロストークがあり、視域最適化距離Ｌの１点から観察したときに画面内が同一視差画像番号の視差画像で構成されるのが多眼式、視域最適化距離Ｌから観察したときに、画面内で視差画像番号が切り替わるのがＩＩ方式である。
【００４０】
図９および図１０は（４）式で与えられるＩＩ方式における視差画像と視域境界を表すデータ空間の概念図である。図９に示すデータ空間は、一般に光線空間（ＥＰＩ）として知られているものとほぼ等価である。図９の横軸は射出瞳番号（画素グループの番号）を示し、縦軸は視差画像番号を示している。ここでは、最も左から二番目の射出瞳に対応した画素グループは、射出瞳に対して左側（図９では上方向）に配される。最も左の射出瞳に対応した画素グループは、左側の画素が欠けているが、これは物理的に射出瞳より外側の画素が存在していないことを意味する。略中央に位置する射出瞳に対応した画素グループは、射出瞳の真後ろに配され、右の射出瞳になるにつれ、画素グループが射出瞳に対して右側（図９では下方向）に配される。１つの四角形（それぞれ中央に点を描いてある）Ｐは、各視差画像の１画素の視差情報を表す。射出瞳に対する相対位置が同一の画素は、同一の視差画像に由来する視差情報Ｐが表示される。この１画素に表示される視差情報Ｐは、各視差画像の垂直方向の座標（ｙ座標）のある１つの値についてのみデータ空間として示している。すなわち、図９に示す画素はすべて、同じｙ座標（縦座標）の視差画像を表している。また、実空間では、画素グループは画面水平方向に隣接して配されており、データ空間の中で、図９内に矢印で結んだ画素同士は単一の画素に表示された視差情報Ｐを意味している。（４）式で示されるＩＩ方式の場合は、視域境界を表す２本の破線２１で囲まれる平行四辺形の領域が使用され、視差画像の数は視差数より多くなる。なお、視域境界の破線２１（図９では上下２本示しているが、矢印で示した画素の関係と同様、実際は１本の線である）は、以下の式で求められる。
【００４１】
画面中心より右側：Ｎｃｐ＝−（Ｂ−Ａ）×（ＸＰ−０．５）＋Ｎｃ（０）
画面中心より左側：Ｎｃｎ＝−（Ｂ−Ａ）×（ＸＰ＋０．５）＋Ｎｃ（０） ・・・（７）
ここで、Ｎｃｐ、Ｎｃｎは、視差画像番号（実数値）を示し、Ａは射出瞳のピッチを示し、Ｂは射出瞳ひとつに対応した画素グループの平均幅を示し、ＸＰは射出瞳番号を示し、Ｎｃ（０）＝Ｂ／２の場合、上記（７）式は図９の上側の破線２１を示し、−Ｂ／２の場合、上記式は下側の破線２１を示す。ただし、式（７）は射出瞳の数が偶数の場合を表している。ＸＰは画面中心を原点とした数値となっており、画面中心より右側は正の数、左側は負の数となる。なお、射出瞳の数が偶数の場合には画面中心に対応する画素グループが存在しないため、すなわち、原点が図９の中央の２つの画素グループの境界にくるため、原点の左右で射出瞳番号が飛ぶことに注意する。例えば射出瞳の数が４の場合、左から順に−２、−１、１、２の順で射出瞳番号が付けられることになる。射出瞳の数が奇数の場合にも同様の概念を用いることが出来るが、この場合には画面中心に対応する画素グループが存在するため、原点に対応する射出瞳番号が存在することになる。例えば射出瞳の数が３の場合、左から順に−１、０、１の順で射出瞳番号が付けられることになる。また、計算式は式（８）のようになる。
【００４２】
画面中心より右側：Ｎｃｐ＝−（Ｂ−Ａ）×ＸＰ＋Ｎｃ（０）
画面中心より左側：Ｎｃｎ＝−（Ｂ−Ａ）×ＸＰ＋Ｎｃ（０） ・・・（８）
ここで、Ｎｃｐ、Ｎｃｎは、視差画像番号（実数値）を示し、ＸＰは射出瞳番号を示し、
Ｎｃ（０）＝Ｂ／２の場合、上記（８）式は図９の上側の破線２１を示し、−Ｂ／２の場合、上記（８）式は下側の破線２１を示す。
【００４３】
破線２１で囲まれた領域の各射出瞳番号に対応するｎ個の画素、および（ｎ＋１）個の画素の画素群が、上述した説明におけるｎ画素グループ、および（ｎ＋１）画素グループにそれぞれ対応する。
【００４４】
観測者がある視点から単眼で見ることは、図９のデータ空間において観察位置に応じて傾きと縦軸の切片が定義される直線（例えば破線２２）が通過する画素群を見ることとほぼ等価である。画面までの距離（観察距離）が短い時は傾きが大きくなり、画面の正面から右にずれると、破線２２は下にずれる。つまり、破線２２も式（７）または式（８）を利用して表すことができ、観測者の観察距離に応じて、前述した式によりＢの値が変化し、画面の正面からの左右へのずれによってＮｃ（０）が決定される。この時のＮｃ（０）は、視差画像番号０に対応する位置を画面の正面とし、破線２１に対応する位置を視域の境界とした場合、画面正面から視域の境界までの距離と、画面正面から観察位置までの距離の比から求めることができる。ただし、実際には隣接した画素に表示された視差情報が射出瞳越しに混ざって（クロストークが存在して）観察されるため、直線が通過する画素の上下に隣接した画素の視差情報Ｐが混入されて見える。また、図９に示す概念図を射出瞳の間隔を基準に書き直すと、すなわち縦の画素群のピッチが射出瞳の間隔と一致するように書き直すと、図１０のようにも表現できる。混乱を避けるため、この時の射出瞳の間隔で区切った画素グループを射出瞳基準画素グループと呼び、上述した画素グループと区別する。多眼式は、画素グループと射出瞳基準画素グループが一致しており、ＩＩ方式は一致していないケースといえる。
【００４５】
以上、多眼式とＩＩ方式における、観察位置と視差画像番号の切り替わりについて述べた。ところが、ＩＩ方式の視域境界では、逆視、またはクロストークによって逆視の成分を同時に観察することによる二重像が見えることに加えて、さらに帯状の妨害画像が発生する。この現象について、以下に説明する。
【００４６】
（ＩＩ特有の帯状の妨害画像の説明）
ＩＩ方式ではクロストークを積極的に利用していることを既に述べた。図５、図６（ａ）、図６（ｂ）、図９、図１０を参照して、視域境界で観察される帯状の妨害画像と、本来あるべき帯状の妨害が除かれた画像を、クロストークを考慮して説明する。視域最適化が適用されない図５に示す構成では、視域境界近傍に近いある観察位置から単眼で観察すると射出瞳が右にずれるにつれて、徐々に視差画像番号４の視差画像が見える割合が減少すると同時に視差画像番号−４の視差情報が見える割合が増加し、二重像の第一の像（例えば、視差画像番号４の視差情報）と第二の像（例えば、視差画像番号−４の視差情報、偽像の成分）の濃度（第一の像と、第二の像との割合）が連続的に切り替わる。
【００４７】
視域最適化処理を施した図６（ａ）、６（ｂ）に示す構成では、中央の（ｎ＋１）個の画素を有する画素グループ１５２が設けられることで、視差画像番号―４の視差情報が、視差画像番号５の視差情報に切り替わる。これによって、射出瞳２０１と射出瞳２０２の間で、不連続的に第一の像の濃度が増加する。このことは、図１０において、視域境界を示す破線２１が通過する画素に注目して考えれば理解することができる。例えば図１０の太線に囲まれた領域２３では、射出瞳基準画素グループ２３１の、破線２１が通過する画素、すなわち、視域境界から単眼で観察される視差情報は本来、視差画像番号−４の視差情報が、視域境界を示す破線２１がまたぐ画素の視差情報を表す矩形の下辺から破線２１までの距離に応じて見えるとともに、画素グループ２３０（瞳基準画素グループ２３０と同一の射出瞳番号を持つ、図９における画素グループ）の視差画像番号５の視差情報が破線２１がまたぐ画素を表す矩形の上辺から破線２１までの距離に対応する割合だけ見えるべきである。同様に、射出瞳基準画素グループ２３２、２３３についても、破線と矩形の下辺、または上辺までの距離に応じた割合で、視差画像番号−４と５が見えるのが望ましい。しかしながら、視域最適化処理においては、射出瞳基準画素グループ２３１には−４が、射出瞳基準画素グループ２３２、２３３には視差画像番号５が表示されるため、この本来の見え方との差が原因で不連続な濃度変化が起こる。断続的な濃度変化は、（ｎ＋１）個の画素を有する画素グループ１５２の形成位置に生じることから、一定間隔で画面内に発生し、不自然な印象が強い。一次元ＩＩ方式なら、この濃度変化は垂直な線として、二次元ＩＩなら格子状に発生する。
【００４８】
特開２００９−２３９６６５号公報では（ｎ＋１）個の画素を有する画素グループ１５２を構成する最も外側の視差情報、例えば図６（ａ）では斜線で示す視差画像番号−４と視差画像番号５の視差情報を混在させて不連続な変化を緩和している。この処理だけでは緩和が不十分な場合はさらに（ｎ＋１）個の画素を有する画素グループに隣接した複数の画像グループに渡って混在させることで、妨害画像の原因である不連続な変化の緩和を試みている。これを図１０に示す光線空間で置き換えて考えると、射出瞳基準画素グループ２３２のうち太線に囲まれた領域２３に含まれる画素を中心に、射出瞳番号方向に並ぶ視差情報間で、バイリニア法、バイキュービック法といった一般的な補間方法で補間していることと等価と考えられる。これによっても偽像の濃度の不連続な変化をある程度緩和することが出来るが、前述の本来の見え方が考慮されていないために、不連続な変化を完全に緩和できないことに加え、より強く緩和をするために補間の範囲を広げると、本来視域に利用されていた視差情報にまで、他の視差情報が混在してしまう。例えば射出瞳基準画素グループ２３１の視差画像番号−４の視差情報に、この視差情報と関係ない、射出瞳基準画素グループ２３２の視差画像番号５の視差情報が混入してしまうため、それが新たな不自然さ（違和感）を産む可能性が有る。
【００４９】
（第１実施形態）
第１実施形態による三次元画像表示装置に用いられる画像処理方法を説明する。本実施形態では、ＩＩ方式における、視域境界で観察される妨害画像を抑制するとともにその違和感の低減を実現する画像処理を行う。この画像処理について、図６（ｂ）、図１０、図１１（ａ）、図１１（ｂ）を参照して説明する。前述したように、視域最適化処理により、（ｎ＋１）個の画素を有する画素グループを設けることで、視差画像番号−４の視差画像を表示していた画素に、視差画像番号５の視差画像が表示される。隣接した射出瞳間での偽像の濃度の変化が不連続なために、帯状の妨害画像として視認される。そこで例えば図１０に示す太線部２３内の３つの第１の画素において、射出瞳基準画素グループ２３１の視差画像番号−４の視差情報に射出瞳基準画素グループ２３０の視差画像番号４の視差情報を混在させることで、観察者が視域境界から単眼で観察したときに射出瞳基準画素グループ２３０に対応した射出瞳を経由して見える視差情報を、本来の見え方に近づける。なお、本来は、画素グループ２３０（瞳基準画素グループ２３０と同一の射出瞳番号を持つ、図９における画素グループ）の視差画像番号５が混入するのが望ましいが、ここでは視差画像番号４で代用している。また、射出瞳基準画素グループ２３２の視差画像番号５の視差情報に射出瞳基準画素グループ２３２の視差画像番号−３の視差情報を混在させることで、観察者が視域境界から単眼で観察したときに、射出瞳基準画素グループ２３１に対応した射出瞳を経由して見える視差画像を、本来の見え方に近づける。なお、本来は、画素グループ２３２（瞳基準画素グループ２３２と同一の射出瞳番号を持つ、図９における画素グループ）の視差画像番号−４が混入するのが望ましいが、ここでは視差画像番号−３で代用している。こうすることにより、画素グループ２３１（瞳基準画素グループ２３１と同一の射出瞳番号を持つ、図９における画素グループ）と画素グループ２３２（瞳基準画素グループ２３２と同一の射出瞳番号を持つ、図９における画素グループ）に対応した射出瞳で見える像に、それぞれ見えるべき三次元画像に由来した視差情報の成分と偽像に由来した視差情報の成分が含まれる。この例では視差画像番号−４に視差画像番号４の、視差画像番号５に視差画像番号−３の視差情報成分が含まれるため、不連続な濃度変化を抑制することができる。本実施形態では、本来、視域境界で見えるべき見え方を画像処理でほぼ再現することから、不自然な濃度変化が現れることがない。この処理を、視域境界の破線２１が通過する全ての画素に対して行う。このことは図６（ｂ）においては、各画像グループの境界の両側に位置する画素のうち視域境界を示す破線２１が通過している画素（第１の画素）の視差情報に対して、隣接した画素グループを構成する画素のうち第１の画素に隣接した画素（第２の画素）の視差情報を混在させることを意味する。この時の混在する割合の決定方法として最も好適なのは、図１０に示した視域境界を示す破線２１が通過する第１の画素の視差情報と、画素グループの物理的な境界線である図１１（ａ）に示す境界線２４を介して隣接している、第２の画素の視差情報を、視域境界の破線２１が通る第１の画素の視差情報を意味する矩形の上辺から破線２１までの距離（例えば図１１（ｂ）ではＰ１と表記）と、視域境界の破線２１が通る第１の画素の視差情報を意味する矩形の下辺から破線２１までの距離（例えば図１１（ｂ）ではＰ２と表記）に応じて混在させるというものである。例えば図１１（ｂ）の長さから決定された比が
Ｐ１の長さ：Ｐ２の長さ = ０．６：０．４
であった場合、第２の画素の視差情報を第１の画素の視差情報に０．４の割合で混在させたものを、第１の画素の視差情報とする。なお、Ｐ１およびＰ２の長さは、図１１（ｂ）に示すように、矩形の中心を通る縦方向の直線における長さであったが、上記矩形を通る縦方向の直線における長さであってもよい。
【００５０】
以上は、境界線２１が実空間における画素、データ空間における視差情報をまたぐ場合について説明したが、境界線２１が実空間における画素境界、データ空間における視差情報境界に一致する場合は、第１の画素も第２の画素も発生せず、第１の視差情報に第２の視差情報を混在させる処理は発生しない（処理を行わなくても視域境界における本来の見え方を再現できている）。
【００５１】
以上の説明で画素と表現した内容は、サブ画素と解釈してもよい。なぜなら画素がＲＧＢのトリプレットにて構成可能なことから、サブ画素ピッチで視差情報を表示したほうが再生できる光線の方向を増やせる、すなわち、より高品位な三次元画像が表示できるからである。また、説明および図面はともに水平方向についてのみ説明したが、これに直交する垂直方向にも視差情報を提示する場合（マイクロレンズアレイを用いた二次元ＩＩ方式など）には、本実施形態で説明した方法をそのまま垂直方向に適用可能である。
【００５２】
（実施例１）
第１実施形態の三次元画像表示装置について実施例１として更に詳細に説明する。
まず、本実施例の三次元画像表示装置のブロック図を図１２に示し、画像処理の手順を示すフローチャートを図１３に示す。ＩＩ方式の三次元画像表示装置は、例えば図７（ｂ）に示すように、平面表示装置１０と、光線制御素子２０とを備えている。平面画像表示装置１０は、例えば液晶表示装置であって、画素が縦方向および横方向にマトリクス状に配列された平面画像表示部を備えている。光線制御素子２０は、複数の射出瞳を有し、上記平面画像表示部に対向して配置され、前記画素からの光線を制御する。また、本実施例の三次元画像表示装置は、画像データを処理するために、図１２に示すように、画像データ処理装置３０と、画像データ提示装置４０とを更に備えている。
【００５３】
画像データ処理装置（画像処理装置）３０は、視差画像記憶部３２と、提示情報入力部３３と、混在領域特定部３４と、混在処理部３５とを備えている。また、画像データ提示装置４０は三次元画像変換部４４と、三次元画像提示部４６とを備えている。この三次元画像提示部４６は上記平面表示装置１０の平面画像表示部と、光線制御素子２０とを有している。
【００５４】
例えば、ＲＡＭを用いた視差画像記憶部３２には、取得したまたは与えられた視差画像群が記憶される。一方、提示情報入力部３３には、三次元画像表示装置のスペック（射出瞳のピッチＡ、サブ画素ピッチのＰｐ、平面画像表示部の画素数、光線制御素子と平面画像表示部との空気換算焦点距離（ギャップ）など）、観察位置が記憶されている。これらのスペックは外部から提示情報入力部３３に入力される。
【００５５】
混在領域特定部３４では、提示情報入力部３４で与えられた情報を基に図１０の視域境界を示す破線２１が通過する第１の画素と、これに隣接した画素グループに属する、第２の画素を射出瞳番号ごとに特定する。
【００５６】
混在処理部３５では、混在領域特定部３４で射出瞳番号ごとに特定された第１の画素に第２の画素の視差情報を混在させる。この時の混在割合の決定方法として最も好適なのは、図１０に示した視域境界を示す破線２１が通過する第１の画素の視差情報と、画素グループの物理的な境界線である図１１（ａ）に示す境界線２４を介して隣接している、第２の画素の視差情報を、視域境界の破線２１が通る第１の視差情報を意味する矩形の上辺から破線２１までの距離（例えば図１１（ｂ）ではＰ１と表記）と、視域境界の破線２１が通る第１の画素の視差情報を意味する矩形の下辺から破線２１までの距離（例えば図１１（ｂ）ではＰ２と表記）に応じて混在させるというものである。例えば図１１（ｂ）の長さから決定された比が
Ｐ１の長さ：Ｐ２の長さ = ０．６：０．４
であった場合、第２の画素の視差情報を第１の視差情報に０．４の割合で混在させたものを、第１の画素の視差情報とする。ここまでが画像データ処理装置３０が行う処理になる。すなわち、画像データ処理装置３０の処理手順は、まず、視差画像記憶部３２から視差画像を読み込む（図１３のステップＳ１）。続いて、提示情報入力部３３に記憶されている三次元画像表示装置のスペック（提示情報）を取得する（図１３のステップＳ２）。この提示情報を基に、混在領域特定部３４によって、射出瞳番号ごとに混在処理を行う画素群を特定する（図１３のステップＳ３）。すなわち、図１０の視域境界を示す破線２１が通過する画素を特定する。続いて、混在処理部３５によって、射出瞳番号ごとに特定された画素群で混在処理を行う（図１３のステップＳ４）。すなわち、特定された画素に対して射出瞳番号ごとに異なる位置に存在する第１の混在画素と第２の混在画素を特定し、特定された第２の混在画素の視差画像を第１の混在画素の視差画像に混在させる処理を行う。
【００５７】
この画像データ処理装置３０より出力された混在処理後の視差画像群は画像データ提示装置４０の三次元画像変換部４４において並び替えられて三次元画像表示用の画像が生成される（図１３のステップＳ５）。この生成された三次元画像表示用の画像を三次元画像提示部４６において表示する（図１３のステップＳ６）。典型的には、画像データ処理装置３０は例えばＰＣ（Personal Computer)から構成される。三次元画像変換部４４での処理は、射出瞳ごとに各視差画像の構成要素である画素情報を並べ替えることに加え、各画素情報は一般的には３個のサブ画素（例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青））に対応した画像情報から構成されており、３個のサブ画素は水平方向に並んでいることが前提とされているが、本提案における三次元画像表示装置では、水平方向に並んだサブ画素で視差を与える必要があるので（異なる視差画像を割り当てる必要があるので）、一般的には水平方向に並んだ３つのサブ画素に表示されることを前提とされたサブ画素単位の情報を、例えば縦方向に並び替える処理を行う。サブ画素単位の並び替えを三次元画像変換部４４で実行することで、処理速度の低下を防ぐことが可能である。
【００５８】
以上説明したように、本実施形態によれば、射出瞳番号ごとに混在処理が施される第１の画素と、混在する情報を保持する第２の画素が特定され、視域境界を示す破線２１の位置（＝理想的な画素グループ境界）に応じて混在処理が行われるので、帯状の妨害画像を抑制するとともに、視域からサイドローブへの遷移する領域、またはその逆に遷移する領域で、観察される画像が自然かつ最小の遷移幅で移行することができる。
【００５９】
なお、本実施形態では混在の比率を距離によって決定したが、画素の視差情報を意味する矩形の横幅に仮想的に値を設定すれば、これを面積と考えて混在の比率に利用することも考えられる。この場合、画素の視差情報を意味する矩形の内部のうち、視域の境界の破線２１の外側にあたる面積（例えば図１１（ｂ）の斜線部の面積）と内側に含まれる面積（例えば図１１（ｂ）の網掛け部の面積）とをそれぞれ求め、その比を混在の割合とすればよい。
【００６０】
（第２実施形態）
次に、第２実施形態による三次元画像表示装置を説明する。
【００６１】
上述したように、第１実施形態においては、ＩＩ方式における、視域境界で観察される帯状の妨害画像を抑制することが可能である。しかしながら、依然として視域境界付近での逆視や多重像は発生する。この問題を防止する一つの方法が知られている（例えば、李 載鎔、宮下 哲哉、内田龍男、多眼式３Ｄディスプレイ内の逆視を除去する新方式、社団法人映像情報メディア学会技術報告、Ｖｏｌ．３３，Ｎｏ．４２， ＰＰ．３７−４０，Ｏｃｔ．２００９（以下、単に文献という）。この文献によれば視域境界付近にぼかし画像を挿入することで片眼にのみぼかし画像が観測され、視野闘争の効果により鮮鋭なもう一方の目の映像が支配的になり、それにより偽像を目立ちにくくすることができる。しかしながら、この文献は多眼式を対象にした物であり、ＩＩ方式に適用することは出来ない。
【００６２】
そこで、第２実施形態では、ＩＩ方式における視域境界付近にぼかし画像を挿入することにより、帯状の妨害画像の発生を抑制するとともにＩＩ方式で発生する多重像（主に二重像）を抑制する三次元画像表示装置を提供する。
【００６３】
上述したように、多眼式において視域境界付近で見える画像は画素グループの両端に対応する視差画像であり、例えば図２に示すように、視差画像番号−４と視差画像番号４の視差画像となる。そのため、その画像をぼかし画像に置き換えればよいが、ＩＩ方式では観測者が見る画面は複数の視差画像の足し合わせになっているため、そのような単純な置き換えでは達成することが出来ない。ＩＩ方式において視域境界で観測される画素は図９、図１０の視域境界を示す破線２１上の画素群であり、この画素群にぼかし画像を挿入する必要がある。また、前述したようにＩＩ方式ではクロストークが利用されているため、視域境界を示す破線２１を中心として設定されたオフセット範囲に含まれる画素にぼかし画像を混在させることが、最も好適な実現方法となる。
【００６４】
（実施例２）
第２実施形態の三次元画像表示装置について実施例２として更に詳細に説明する。
まず、本実施例の三次元画像表示装置のブロック図を図１４に示し、画像処理の手順を示すフローチャートを図１５に示す。なお、第１実施例と同じブロックについての説明は省略する。
【００６５】
本実施例の三次元画像表示装置は、図１２に示す第１実施例の三次元画像表示装置において、画像データ処理装置３０を画像データ処理装置３０Ａに置き換えた構成となっている。この画像データ処理装置３０Ａは、視差画像記憶部３２と、提示情報入力部３３と、挿入領域特定部３６と、挿入画像生成部３７と、挿入処理部３９とを備えている。
【００６６】
挿入画像生成部３７では、まず視差画像記憶部３２よりｎ枚の視差画像を読み出す（図１５のステップＳ１０１）。ｎは視差画像記憶部３２に記憶されている視差画像の数を最大値とする整数である。その後、図１０に示す各射出瞳番号に対応する射出瞳基準画素グループの画素のうち、読み出したｎ枚の視差画像に対応する視差画像番号を持つ画素について、合計が１．０となるように加重平均して射出瞳ごとに１つの視差情報を決定する。なお、前述したように図９、図１０は視差画像のあるｙ座標を持つ視差情報であるため、実際にはｙ座標ごとに視差情報が決定される。これが各射出瞳番号について行われるため、生成される画像は視差画像の解像度と同様の解像度を持つ画像となる。最後に、この画像に対して移動平均フィルタ、ガウシアンフィルタなどの画像処理で一般的な平滑化フィルタを適用したものが挿入画像となる（図１５のステップＳ１０４）。
【００６７】
挿入領域特定部３６では、提示情報入力部３４に記憶されている三次元画像表示装置のスペック（提示情報）を取得する（図１５のステップＳ１０２）。この提示情報に基づいて、
図１０に示すように、射出瞳番号ごとに視域境界を示す破線２１を中心としたオフセット領域（破線２１を中心に垂直方向の高さがオフセット値で定義される領域）の範囲に含まれる視差情報を挿入領域として特定する（図１５のステップＳ１０３）。なお、注意するべきは、図１０のデータ空間の視差情報を示す矩形の横幅は特に意味がなく、これまで述べてきたように、点が打たれている位置の矩形の上辺と下辺からの距離にのみ意味がある。よって、点を通り矩形の上辺、および下辺に垂直で両端が上辺または下辺上にある線分（以下、仮想画素線分）を考えた際に、その線分がオフセット領域に一部でも含まれる場合には挿入領域に含まれる物とする。このように、挿入領域は、オフセット値に依存する。図１５に示すステップＳ１０２およびＳ１０３と、図１５に示すステップＳ１０４とは、異なる部で行われるため、図１５に示す手順でなくともよい。
【００６８】
挿入処理部３９では、挿入領域特定部３６で射出瞳番号ごとに特定された挿入領域に対して、挿入画像を混在させる（図１５のステップＳ１０５）。前述したように挿入画像は視差画像と同一の解像度を持ち、横方向の解像度は射出瞳の数と同等となる。この時の挿入画像のｘ座標と射出瞳の位置は対応し、最も左端の射出瞳に対応する挿入領域には挿入画像の左端の画素が混入される。射出瞳に対応する画素を以降、挿入画素と定義する。混在処理は、大きく２つのパターンに分かれる。
【００６９】
第１のパターンとしては、挿入領域として特定された視差情報Ｐの仮想画素線分が破線２１を中心としたオフセット領域に完全に含まれる画素については、その画素の視差情報を挿入画素の視差情報で置き換える。
【００７０】
第２のパターンとしては、挿入領域として特定された視差情報Ｐの仮想画素線分が部分的に含まれる画素については、オフセット領域に含まれる長さを画素ごとに算出し、その長さの比に応じて挿入画像の視差情報を混在させる。例えば視差情報Ｐの仮想画素線分の長さを１．０とし、挿入領域と判定された画素の視差情報に注目した場合に、視域境界を示す破線２１を中心としたオフセット領域に含まれている長さが０．３であれば、元の画素の重みを０．７、挿入画素の重みを０．３とする加重平均により新たな視差情報を生成する。また、処理負荷を軽くしたい場合には、第２のパターンに属する視差情報であっても第１のパターンと同様に、単純に挿入画素の視差情報で置き換えても良い。この場合は原理的に、挿入画像に帯状の妨害画像と同様の濃度変化が生じることになるが、偽像に由来する二重像の抑制効果は残る。
【００７１】
本実施例によれば、帯状の妨害画像と偽像に起因する二重像の発生を同時に抑制することが可能となる。
【００７２】
なお、本実施形態では混在の比率を仮想画素線分がオフセット領域に含まれる長さによって決定したが、画素の視差情報を意味する矩形の横幅に仮想的に値を設定すれば、これを面積と考えて混在の比率に利用することも考えられる。この場合、視差情報Ｐ内であり、かつオフセット領域の外側にあたる面積と内側に含まれる面積とをそれぞれ求め、その比を加重平均の重みとすればよい。このことは、以下の第１乃至第３変形例においても同様である。
【００７３】
（実施例２の第１変形例）
実施例２では視差画像から挿入画像を生成したが、外部から読み込む等の方法で予め決められた挿入画像を挿入することも可能である。実施例２では視差画像を読み込む都度、挿入画像を生成したが、中間色（例えばグレー）の単色画像を挿入画像とする、予め決められた静止画、動画などの場合に事前に挿入画像を作成（動画の場合、全フレームを対象にあらかじめ作成）しておくなどにより処理負荷を低減することが可能である。
【００７４】
事前に作成する際には、挿入画像生成部３７で行っている処理を同様に行えばよい。動画の際には、ｎを全フレームの視差画像分に拡張して同様に処理する、または代表的なフレームをカット検出などにより抽出後に、抽出されたフレームを対象に静止画と同様に処理するなどが考えられる。また、この挿入画像に対して正常な立体像が見える領域ではないということを表す文字やシンボル（矢印など）を含めておくことで、観測者に理解しやすい形で偽像に由来する二重像や逆視などが観測される領域であることを教え、観測位置の変更を促すことも可能である。この文字やシンボルは挿入画像上の任意の位置に置くことが可能なため、自由度の高い警告の提示が可能となる。さらに、一般に観測者が全く動かずに画面を見ることは現実的ではないため、常に観察距離を一定に保つことはできない。そのため、図１０の破線２２の傾きは観察者が観察している間ある程度変化すると考えられる。この場合、前述した式（７）または式（８）より、図１０の両端に近い位置に置いた警告は早めに提示され、中央付近に置いた警告は遅めに提示される。以上のように、警告を自由に配置できれば提示タイミングもある程度制御することが可能である。
【００７５】
本変形例の三次元画像表示装置を図１６に示し、画像処理手順を図１７に示す。本変形例の三次元画像表示装置は、図１４に示す実施例２の画像データ処理装置３０Ａを画像データ処理装置３０Ｂに置き換えた構成となっている。この画像データ処理装置３０Ｂは、実施例２の画像データ処理装置３０Ａにおいて挿入画像生成部３７を削除するとともに挿入画像を記憶する挿入画像記憶部３８を新たに設けた構成となっている。このため、図１７に示す本変形例の画像処理手順は、図１５に示す実施例２の画像処理手順において、ステップＳ１０４の代わりにステップＳ２０４を設けた構成となっている。
【００７６】
挿入画像記憶部３８には前述した方法などにより予め作成された画像や、正常な立体像が見える領域ではないということを表す文字やシンボル（矢印など）などで構成された警告を含む画像、単色の画像などが記憶される。ここでは警告の一般的な方法である文字やシンボルを挙げたが、警告の表示位置や表示する物については一般的な画像と同様の自由度があることは言うまでもない。各画素について透明度やマスク情報（画素ごとにマスクされているかが定義された情報）を保持することも可能であり、また、画像を複数種類持つことも可能である。
【００７７】
挿入処理部３９は実施例２で説明したものと基本的に同じであるが、挿入画像記憶部３８から挿入画像を読み込む処理が前段に加わる。また、挿入画素に透明度（＝１−アルファ値）などのブレンド比率やマスク情報が定義されている場合には、その情報に応じてブレンドの割合や挿入するかどうかを画素単位で切り換えても良い。例えば、挿入画素の透明度が０．５の場合には、前述した第２のパターンのように、オフセット領域に含まれる長さの比に応じて挿入画素の視差情報を混在させるのではなく、挿入画素の視差情報を５０％の割合で混在するようにしてもよいし、挿入画素の透明度が０．０である場合やマスクされている場合はその挿入画素については混在処理をスキップするように構成してもよい。また、読み込む画像は時間や外部入力などによって切り換えても良い。さらに、挿入画像は必ずしも視差画像と同一の解像度を持つ必要はなく、視差画像より解像度が小さくても良いし、大きくても良い。視差画像より解像度が大きい場合、挿入画像の画素を間引くかあるいは縮小することにより、視差画像の解像度と同一かそれより小さくなるようにした後に挿入処理を行えばよい。挿入画像の画素を間引く方法、および縮小方法については、画像処理で周知な方法（例えば、画像の偶数ラインのみ、あるいは奇数ラインのみを間引く方法や、バイリニア法、バイキュービック法などの縮小方法）を用いればよい。視差画像より解像度が小さい場合には、挿入処理部３９は挿入画像のｘ座標の終端で挿入処理を打ち切ればよい。例えば、視差画像の横解像度が２５６で挿入画像の横解像度が１２８の場合、１２８まで挿入処理を行った時点で処理を打ち切ればよい。
【００７８】
また、予め設定されるか、または提示情報の一部として入力されたスキップ量ｓだけスキップした位置から挿入処理を始めてもよい。例えば、ｓ＝１０で視差画像の横解像度が２５６で挿入画像の横解像度が１２８の場合、射出瞳番号が０から始まるとすると、射出瞳番号＝９の位置までは挿入処理を行わず、射出瞳番号＝１０から挿入処理を行うようにしてもよい。その場合、挿入画像のｘ座標は、挿入画像のｘ座標＋ｓの射出瞳番号と対応づくことになる。つまり、挿入画像の左端のｘ座標、および図１０における左端の射出瞳番号を０とすると、ｓ＝１０の時に挿入処理が行われるのは射出瞳番号１０からであり、射出瞳番号１０に対応づく挿入画素は挿入画像のｘ座標＝０の位置の画素ということになる。
【００７９】
以上説明したように、本変形例によれば、特定の条件下で処理負荷を軽減しながら帯状の妨害画像とその他の偽像に由来する逆視や二重像を同時に抑制することが可能となる。また、別の側面の効果として、観測者に理解しやすい形で上記のような問題が観測される領域であることを教え、観測位置の変更を促すことが可能となる。
【００８０】
（実施例２の第２変形例）
実施例２の三次元画像表示装置のブロック図を図１８に示し、画像処理の手順を示すフローチャートを図１９に示す。
【００８１】
本変形例の三次元画像表示装置は、図１４に示す実施例２の画像データ処理装置３０Ａを画像データ処理装置３０Ｃに置き換えた構成となっている。この画像データ処理装置３０Ｃは、実施例２の画像データ処理装置３０Ａにおいて挿入画像を記憶する挿入画像記憶部３８を新たに設けた構成となっている。このため、図１９に示す本変形例の画像処理手順は、図１５に示す実施例２の画像処理手順において、ステップＳ１０４の代わりにステップＳ１０４Ａ、Ｓ１０４Ｂ、Ｓ１０４Ｃを設けた構成となっている。
【００８２】
すなわち、本変形例は実施例２とは挿入画像生成部３７の処理が異なる。挿入画像生成部３７では、まず実施例２と同様の手順で第１の挿入画像を生成する（図１９のステップＳ１０４Ａ）。その後、挿入画像記憶部３８から画像を読み込み、これを第２の挿入画像とする（図１９のステップＳ１０４Ｂ）。そして、第１の挿入画像と第２の挿入画像を予め指定された割合で加重平均する（図１９のステップＳ１０４Ｃ）。つまり、第１の挿入画像の各画素とＸＹ座標が対応する第２挿入画像の各画素を、指定された割合でそれぞれ加重平均して最終的な挿入画像を生成する。
【００８３】
なお、第２の挿入画像は必ずしも第１の挿入画像と同一の解像度を持つ必要はなく、第１の挿入画像より解像度が小さくても良いし、大きくても良い。第１の挿入画像より解像度が大きい場合、第２の挿入画像の画素を間引くかあるいは縮小することにより、第１の挿入画像の解像度と同一かそれより小さくなるようにした後に挿入処理を行えばよい。第２の挿入画像の画素を間引く方法、および縮小方法については、画像処理で周知の方法（例えば画像の偶数ラインのみ、あるいは奇数ラインのみを間引く方法や、バイリニア法、バイキュービック法などの縮小方法）を用いればよい。第１の挿入画像より解像度が小さい場合には、挿入処理部３９は第２の挿入画像のｘ座標の終端で処理を打ち切ればよい。例えば、第１の挿入画像の横解像度が２５６で第２の挿入画像の横解像度が１２８の場合、１２８まで挿入処理を行った時点で処理を打ち切ればよい。また、予め設定されるかまたは提示情報の一部として入力されたスキップ量ｓだけスキップした位置から挿入処理を始めてもよい。例えば、ｓ＝１０で第１の挿入画像の横解像度が２５６で第２の挿入画像の横解像度が１２８の場合、第１の挿入画像のｘ座標が０から始まるとすると、第１の挿入画像のｘ座標＝９の位置までは挿入処理を行わず、第１の挿入画像のｘ座標＝１０から挿入処理を行うようにしてもよい。その場合、第２の挿入画像のｘ座標＋ｓと第１の挿入画像のｘ座標が対応づくことになる。つまり、第１の挿入画像の左端のｘ座標、および第２の挿入画像の左端のｘ座標を０とすると、ｓ＝１０の時に挿入処理が行われるのは第１の挿入画像のｘ座標＝１０からであり、それに対応づくのは第２の挿入画像のｘ座標＝０の位置の画素ということになる。
【００８４】
以上説明したように、本変形例によれば、処理負荷を軽減しながら帯状の妨害画像とその他の偽像に由来する逆視や二重像を同時に抑制すると共に、視差画像に左右されない情報を視域境界で視認される画面に含めることが可能となる。例えば警告情報を含めることができ、帯状の妨害や偽像に由来する逆視や二重像を抑制することでサイドローブへの遷移の際に不自然に見える領域を小さくするとともに、観測者に理解しやすい形で偽像に由来する逆視や二重像が観測される領域であることを教えて速やかな観測位置の変更を促すことが可能となる。
【００８５】
（実施例２の第３変形例）
第１変形例では視域境界を示す破線２１を中心としたオフセット領域の範囲に対して挿入処理を行ったが、挿入位置は必ずしも視域境界を示す破線２１を基準に考える必要はない。例えば図１０に示す破線２２を基準にオフセット領域の範囲に対して挿入処理を行えば、挿入画像をある特定の視距離、および視点位置でのみ観測者に見せることが可能となる。これにより、例えば観察者の視点が十分に視域内に入っており偽像が見えない領域でのみ正しい位置で見ていることを知らせることが可能となる。
【００８６】
また、図９に示すように、視域境界を示す破線２１より平行四辺形領域の内側に一定量だけ移動した位置に挿入処理を行うようにした場合、この移動量によって正常な立体像が見える領域ではないということを観測者に知らせるタイミングを制御することが可能となる。なお、図９の概念図は視域境界を示す破線２１を境に上下が１射出瞳番号ずれてつながっていると考えられるため、破線２２が視差画像番号−５、−６、５，６の領域を通過する場合、図１０では破線２２は１本ではなく、通過したそれぞれの領域にも破線２２が現れることに注意する。
【００８７】
実際の挿入処理については第１変形例、第２変形例における挿入領域特定部３６、および挿入処理部３９における処理の基準となっている視域境界を示す破線２１を、前述したように視距離と視点位置によって傾きと上下位置が変化する破線２２に置き換えて処理すればよい。つまり、挿入領域特定部３６では図１０に示すように、射出瞳番号ごとに破線２２を中心としたオフセット領域の範囲にある視差情報Ｐを挿入領域として特定すればよい。また、挿入処理部３９は基本的には第１変形例、第２変形例と同様だが、上述した第２のパターン２で視差情報を混入させる際の比率を、破線２２を基準として求めればよいことになる。その他の処理については同様であるので省略する。
【００８８】
なお、他の変形例と同様に挿入画像は一般的な画像と同様の自由度がある。つまり、文字やシンボルのみでなくＣＧ映像や自然画などと組み合わせてもよいし、動画像でもよい。動画像の場合には挿入画像記憶部３８から時間に応じて異なるフレームの画像を取得するようにすればよい。なお、挿入画像は必ずしも視差画像と同一の解像度を持つ必要はなく、視差画像より解像度が小さくても良いし、大きくても良い。その場合、第１変形例と同様に処理すればよい。
【００８９】
以上説明したように、本変形例によれば、観察者の視点位置に応じて文字や矢印など任意の画像（動画）を表示することが可能となり、現在の観察者の視点位置に応じた様々なナビゲーション情報を提示することが可能となる。これにより、例えば視域内にいる場合には可能な限り視域内にとどまるように、視域からサイドローブ（またはその逆）に移動する場合には自然かつ迅速に移行可能なように情報を提示するといった表示が可能である。
【００９０】
なお、以上の実施例は各視差画像を基準に説明したが、特開２００６−０９８７７９号公報には視差画像のうち実際に必要な部分のみをまとめることにより視差画像の伝送や圧縮に向くフォーマットに変換する方法が述べられている。これによって変換された画像はタイル画像と呼ばれており、各実施例およびその変形例に必要な視差画像を全て備えている。そのため、各実施形態および各実施例ならびに各変形例はタイル画像を経由しても同様に実施することが可能である。
【００９１】
以上に説明したように、帯状の妨害画像および偽像に由来する逆視や二重像を抑制すると共に、サイドローブに遷移する領域、またはその他の領域でその位置に応じた文字や矢印など任意の画像を表示することによるナビゲーションを可能とし、視域の把握を容易にすると共に視域からサイドローブ（またはその逆）に自然かつ迅速に移行することが可能となる。
【００９２】
第１及び第２実施形態では、視域最適化処理を行ったことで発生したｎと（ｎ＋１）の画素グループとそれに表示されていた視差情報で対応できる視域境界対策について述べた。しかしながら、第１実施形態の中で、本来行うべき混在処理として記載した視差画像番号で処理を行うこともできる。すなわち、図１０において、破線２１で示される画素グループ境界を忠実に再現する。視域最適化処理後の視差情報には存在しない画素情報（例えば、画素グループ２３０の視差画像５や、画素グループ２３３の視差画像−４）が必要になるが、視域最適化処理を行う前に、第１実施形態における視差画像記憶部３２が記憶する視差画像から抜き出すことができれば、このような処理も可能である。このとき、視域最適化処理で発生していた、ｎと（ｎ＋１）の画素グループの概念は解消し、離散的にしか存在しない画素に表示される視差画像の混入する割合によって、連続的な画素グループ境界を実現したといえる。
【００９３】
また第１及び第２実施形態では、主に式（４）で表現されるＩＩ方式について説明されており、図９、１０、１１のデータ空間は直交座標で描画されているが、式（６）で示されるような関係では、射出瞳と画素の相対位置は射出瞳ごとにずれてくるので、水平の軸は傾くことになる。その場合においても、観察位置に応じた画素グループ境界に相当する破線２１を描けば、第１及び第２実施形態と同様の処理を適用することが可能である。すなわち、第１及び第２実施形態の処理は、射出瞳と画素の相対位置には制約されず、画素グループ境界に相当する破線２１と、物理的な画素の境界が一致しない場合の全てにおいて、帯状妨害を発生させないための効果的な手段といえる。
【００９４】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
【符号の説明】
【００９５】
１０ 平面表示装置
１５０〜１５４ 画素グループ
２０ 光線制御素子（全射出瞳）
２００〜２０７ 射出瞳
３０ 画像データ処理装置
３０Ａ 画像データ処理装置
３０Ｂ 画像データ処理装置
３０Ｃ 画像データ処理装置
３２ 視差画像記憶部
３３ 提示情報入力部
３４ 混在領域特定部
３５ 混在処理部
３６ 挿入領域特定部
３７ 挿入画像生成部
３８ 挿入画像記憶部
３９ 挿入処理部
４０ 画像データ提示部
４４ 三次元画像変換部
４６ 三次元画像提示部
【特許請求の範囲】
【請求項１】
マトリクス状に配列された画素を有する平面表示装置と、
前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、
前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、前記複数の画素グループの境界に隣接する２つの画素を特定し、特定された２つ画素のうちいずれか一方を第１の画素とし、もう一方を第２の画素とする特定部と、
特定された前記第１の画素の視差情報に前記第２の画素の視差情報を混在させる処理を行う処理部と、
前記処理部によって処理された視差情報を三次元画像表示用の画像に変換する変換部と、
を備え、前記平面表示装置は、前記三次元画像用の画像を表示することを特徴とする三次元画像表示装置。
【請求項２】
前記処理部は、視域境界線上に位置する画素の視差情報を意味する光線空間における矩形を通りかつ縦方向に平行な直線の、前記矩形の上辺から前記視域境界線までの距離と、前記矩形の下辺から前記視域境界線までの距離の割合に基づいて、前記第１の画素の視差情報に前記第２の画素の視差情報を混在させることを特徴とする請求項１記載の三次元画像表示装置。
【請求項３】
マトリクス状に配列された画素を有する平面表示装置と、
前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、
前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、各画素グループに対して前記画素グループ内に含まれる画素の視差画像を荷重平均した挿入画像を生成する挿入画像生成部と、
視域境界を中心としたオフセット領域に含まれる画素を特定する特定部と、
前記特定部によって特定された画素に対して、前記挿入画像の対応する画像を挿入する挿入処理部と、
前記挿入処理部によって処理された画像を三次元画像表示用の画像に変換する変換部と、
を備え、前記平面表示装置は、前記三次元画像用の画像を表示することを特徴とする三次元画像表示装置。
【請求項４】
画像を記憶する記憶部を更に備え、
前記挿入画像生成部は、生成した前記挿入画像と前記記憶部に記憶されている画像とに基づいて、新たな挿入画像を生成することを特徴とする請求項３記載の三次元画像表示装置。
【請求項５】
マトリクス状に配列された画素を有する平面表示装置と、
前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、
前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、視域境界を中心としたオフセット領域に含まれる画素を特定する特定部と、
前記特定部によって特定された画素に対して挿入される挿入画像を記憶する挿入画像記憶部と、
前記特定部によって特定された画素に対して、前記挿入画像の対応する画像を挿入する挿入処理部と、
前記挿入処理部によって処理された画像を三次元画像表示用の画像に変換する変換部と、
を備え、前記平面表示装置は、前記三次元画像用の画像を表示することを特徴とする三次元画像表示装置。
【請求項６】
前記記憶部に記憶されている画像には画素ごとに挿入される割合が定義され、前記挿入処理部では定義された前記割合で前記挿入画像を挿入することを特徴とする請求項５記載の三次元画像表示装置。
【請求項７】
前記挿入処理部は、特定された画素のうち、前記オフセット領域に完全に含まれる画素については挿入画像の対応する画素と置き換え、前記オフセット領域に一部が含まれている画素については、前記オフセット領域に含まれている割合に基づいて挿入の割合を決定することを特徴とする請求項３乃至６のいずれかに記載の三次元画像表示装置。
【請求項８】
マトリクス状に配列された画素を有する平面表示装置と、前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、を備えた三次元画像表示装置に用いられる画像処理装置であって、
前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、前記複数の画素グループの境界に隣接する２つの画素を特定し、特定された２つ画素のうちいずれか一方を第１の画素とし、もう一方を第２の画素とする特定部と、
特定された前記第１の画素の視差情報に前記第２の画素の視差情報を混在させる処理を行う処理部と、
を備えていることを特徴とする画像処理装置。
【請求項９】
マトリクス状に配列された画素を有する平面表示装置と、前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、を備えた三次元画像表示装置に用いられる画像処理装置であって、
前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、各画素グループに対して前記画素グループ内に含まれる画素の視差画像を荷重平均した挿入画像を生成する挿入画像生成部と、
視域境界を中心としたオフセット領域に含まれる画素を特定する特定部と、
前記特定部によって特定された画素に対して、前記挿入画像の対応する画像を挿入する挿入処理部と、
を備えていることを特徴とする画像処理装置。
【請求項１０】
マトリクス状に配列された画素を有する平面表示装置と、前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、を備えた三次元画像表示装置に用いられる画像処理装置であって、
前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、視域境界を中心としたオフセット領域に含まれる画素を特定する特定部と、
前記特定部によって特定された画素に対して挿入される挿入画像を記憶する挿入画像記憶部と、
前記特定部によって特定された画素に対して、前記挿入画像の対応する画像を挿入する挿入処理部と、
を備えていることを特徴とする画像処理装置。
【請求項１】
マトリクス状に配列された画素を有する平面表示装置と、
前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、
前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、前記複数の画素グループの境界に隣接する２つの画素を特定し、特定された２つ画素のうちいずれか一方を第１の画素とし、もう一方を第２の画素とする特定部と、
特定された前記第１の画素の視差情報に前記第２の画素の視差情報を混在させる処理を行う処理部と、
前記処理部によって処理された視差情報を三次元画像表示用の画像に変換する変換部と、
を備え、前記平面表示装置は、前記三次元画像用の画像を表示することを特徴とする三次元画像表示装置。
【請求項２】
前記処理部は、視域境界線上に位置する画素の視差情報を意味する光線空間における矩形を通りかつ縦方向に平行な直線の、前記矩形の上辺から前記視域境界線までの距離と、前記矩形の下辺から前記視域境界線までの距離の割合に基づいて、前記第１の画素の視差情報に前記第２の画素の視差情報を混在させることを特徴とする請求項１記載の三次元画像表示装置。
【請求項３】
マトリクス状に配列された画素を有する平面表示装置と、
前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、
前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、各画素グループに対して前記画素グループ内に含まれる画素の視差画像を荷重平均した挿入画像を生成する挿入画像生成部と、
視域境界を中心としたオフセット領域に含まれる画素を特定する特定部と、
前記特定部によって特定された画素に対して、前記挿入画像の対応する画像を挿入する挿入処理部と、
前記挿入処理部によって処理された画像を三次元画像表示用の画像に変換する変換部と、
を備え、前記平面表示装置は、前記三次元画像用の画像を表示することを特徴とする三次元画像表示装置。
【請求項４】
画像を記憶する記憶部を更に備え、
前記挿入画像生成部は、生成した前記挿入画像と前記記憶部に記憶されている画像とに基づいて、新たな挿入画像を生成することを特徴とする請求項３記載の三次元画像表示装置。
【請求項５】
マトリクス状に配列された画素を有する平面表示装置と、
前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、
前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、視域境界を中心としたオフセット領域に含まれる画素を特定する特定部と、
前記特定部によって特定された画素に対して挿入される挿入画像を記憶する挿入画像記憶部と、
前記特定部によって特定された画素に対して、前記挿入画像の対応する画像を挿入する挿入処理部と、
前記挿入処理部によって処理された画像を三次元画像表示用の画像に変換する変換部と、
を備え、前記平面表示装置は、前記三次元画像用の画像を表示することを特徴とする三次元画像表示装置。
【請求項６】
前記記憶部に記憶されている画像には画素ごとに挿入される割合が定義され、前記挿入処理部では定義された前記割合で前記挿入画像を挿入することを特徴とする請求項５記載の三次元画像表示装置。
【請求項７】
前記挿入処理部は、特定された画素のうち、前記オフセット領域に完全に含まれる画素については挿入画像の対応する画素と置き換え、前記オフセット領域に一部が含まれている画素については、前記オフセット領域に含まれている割合に基づいて挿入の割合を決定することを特徴とする請求項３乃至６のいずれかに記載の三次元画像表示装置。
【請求項８】
マトリクス状に配列された画素を有する平面表示装置と、前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、を備えた三次元画像表示装置に用いられる画像処理装置であって、
前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、前記複数の画素グループの境界に隣接する２つの画素を特定し、特定された２つ画素のうちいずれか一方を第１の画素とし、もう一方を第２の画素とする特定部と、
特定された前記第１の画素の視差情報に前記第２の画素の視差情報を混在させる処理を行う処理部と、
を備えていることを特徴とする画像処理装置。
【請求項９】
マトリクス状に配列された画素を有する平面表示装置と、前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、を備えた三次元画像表示装置に用いられる画像処理装置であって、
前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、各画素グループに対して前記画素グループ内に含まれる画素の視差画像を荷重平均した挿入画像を生成する挿入画像生成部と、
視域境界を中心としたオフセット領域に含まれる画素を特定する特定部と、
前記特定部によって特定された画素に対して、前記挿入画像の対応する画像を挿入する挿入処理部と、
を備えていることを特徴とする画像処理装置。
【請求項１０】
マトリクス状に配列された画素を有する平面表示装置と、前記平面表示装置に対向して配置され、動作の際に複数の射出瞳によって前記画素からの光線を制御可能な光線制御素子と、を備えた三次元画像表示装置に用いられる画像処理装置であって、
前記複数の射出瞳それぞれに対して対応付けられた、前記平面表示装置の複数の画素を含む複数の画素グループの視差情報を読み出すとともに、視域境界を中心としたオフセット領域に含まれる画素を特定する特定部と、
前記特定部によって特定された画素に対して挿入される挿入画像を記憶する挿入画像記憶部と、
前記特定部によって特定された画素に対して、前記挿入画像の対応する画像を挿入する挿入処理部と、
を備えていることを特徴とする画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１２−８０２６１（Ｐ２０１２−８０２６１Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２２４９０（Ｐ２０１０−２２２４９０）
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年９月３０日（２０１０．９．３０）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]