立体画像表示装置および立体画像表示方法
【課題】実写立体画像を表示する際に、ディスプレイ面から手前方向に飛び出した近景領域の画質劣化を防ぐ立体画像表示装置を提供する。
【解決手段】実写多視点画像から、前景画像または背景画像を生成し、これを三次元画像表示時に二次元画像として表示したい位置を反映したシフト量で、前景画像または背景画像を取り除いた各多視点画像と合成する。
【解決手段】実写多視点画像から、前景画像または背景画像を生成し、これを三次元画像表示時に二次元画像として表示したい位置を反映したシフト量で、前景画像または背景画像を取り除いた各多視点画像と合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像表示装置および立体画像表示方法に関し、特に実写による立体画像を表示する立体画像表示装置および立体画像表示方法に関する。
【背景技術】
【０００２】
視差を有する複数枚の画像（多視点画像）の各画素を離散的に配置して１枚の合成画像を形成し、レンチキュラーレンズなどを用いて合成画像の各画素からでる光線の軌道を制御することにより、観察者に立体画像を知覚させる表示装置が知られている。
【０００３】
立体画像の表示方式は２眼式、多眼式、インテグラルフォトグラフィーなどに分類される。近年ではインテグラルフォトグラフィーはインテグラルイメージング（ＩＩ）と呼ばれることが多い。ＩＩ方式の立体画像表示装置は現実に近い光線を再生できる理想的な方式として知られているが、ディスプレイ面（レンズ面）から離れるにつれて光線の密度が粗くなり、立体画像の画質が劣化するという問題がある。
【０００４】
そこで、画質が劣化しない範囲として、MTF(Modulation Transfer Function：正弦波状の入力信号に対する変調度)に基づいて、飛び出し表示限界（Ｄｎ）と奥行き表示限界（Dｆ）を導出する方法が提案されている（例えば、非特許文献１参照。）。
【０００５】
また、多視点画像を作成する際に、ディスプレイ面からどの程度奥行き方向に離れた領域を遠景とみなすかを指定するための方法が提案されている（例えば、特許文献１参照。）。これは、利用者は背景ボードと呼ばれるＣＧの四角形モデルをディスプレイ面に平行に配置して、遠景領域と、それより手前側の領域の境界面を指定する。この背景ボードを前後に移動させることにより、遠景領域の範囲を調節することが可能である。
【０００６】
また、実写多視点画像のうち視差がない領域を背景と判定し、背景ボードとして記憶することで、任意視点画像生成時の演算量を削減する方法が提案されている（例えば、特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−９６９５１号公報
【特許文献２】特開平７−１４３７１２号公報
【非特許文献】
【０００８】
【非特許文献１】H．Hoshino et al．， “Analysis of Resolution Limitation of Integral Photography”， J． Opt． Soc．Am． A15， 2059 (1998)。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
実景・実況を写真に写したりカメラで撮った実写による立体画像を表示する際に、従来の立体画像の表示方法では、ディスプレイ面から奥行き方向に離れた遠景の画質劣化を防ぐことはできるものの、ディスプレイ面から手前方向に飛び出した近景については、視差情報の提示が粗いものとなるため、画質劣化を防ぐことができなかった。
【００１０】
また、実写による立体画像の表示では、Ｚ空間方向（奥行き方向／手前方向）の撮影領域に制約を設けることが出来ないため、ＣＧ画像のように、ディスプレイ面から手前方向に飛び出した表示対象物について表示しないようにしたり、表示範囲内に入るように表示位置を前後させるといった手直しを行うこともできない。
【００１１】
そこで、本発明においては、実写による立体画像を表示する際に、ディスプレイ面から手前方向に飛び出した近景の画質劣化を防ぐことのできる立体画像表示装置および立体画像表示方法を提供するものである。
【課題を解決するための手段】
【００１２】
本発明の一態様によれば、複数方向から対象物体を実写して多視点画像を取得する画像取得部と、前記画像取得部によって取得された多視点画像から視差マップを生成するマップ生成部と、三次元画像表示時の際に、表示面から飛び出している近景領域のうち、表示させる近景の範囲を確定する前景境界（Ｅｎ）と、表示面から奥にある遠景領域のうち、表示させる遠景の範囲を確定する背景境界（Ｅｆ）を設定する境界設定部と、前記前景境界（Ｅｎ）と前記背景境界（Ｅｆ）の値に基づいて、前記視差マップから飛び出しまたは奥行き表示限界を超えた領域を判定し、この領域の画像を前記多視点画像から除去する画像除去部と、前記除去された画像データから、三次元表示する際の前景画像と背景画像を生成する画像生成部と、前記前景画像を貼り付ける仮想面が置かれる位置を前景ボード設置位置（Ｂｎ）とし、前記背景画像を貼り付ける仮想面が置かれる位置を背景ボード設置位置（Ｂｆ）としたとき、これら前景ボード設置位置及び背景ボード設置位置を設定する位置記憶部と、前記前景ボード設置位置及び前記背景ボード設置位置の値に基づいて、前記画像除去部から出力された多視点画像に、前記画像生成部から出力された前記前景画像及び前記背景画像を合成し、裸眼式三次元画像表示装置に表示するフォーマットに並び替える画像合成部と、を備えることを特徴とする立体画像表示装置が提供される。
【００１３】
また、本発明の別の一態様によれば、三次元画像表示画面にコンテンツを表示する立体画像表示方法であって、複数方向から対象物体を実写して多視点画像を取得するステップと、前記取得された多視点画像から視差マップを生成するステップと、三次元画像表示時の際に、表示面から飛び出している近景領域のうち、表示させる近景の範囲を確定する前景境界（Ｅｎ）と、表示面から奥にある遠景領域のうち、表示させる遠景の範囲を確定する背景境界（Ｅｆ）を設定するステップと、前記前景境界（Ｅｎ）と前記背景境界（Ｅｆ）の値に基づいて、前記視差マップから飛び出しまたは奥行き表示限界を超えた領域を判定し、この領域の画像を前記多視点画像から除去するステップと、前記除去された画像データから、三次元表示する際の前景画像と背景画像を生成するステップと、前記前景画像を貼り付ける仮想面が置かれる位置を前景ボード設置位置（Ｂｎ）とし、前記背景画像を貼り付ける仮想面が置かれる位置を背景ボード設置位置（Ｂｆ）としたとき、これら前景ボード設置位置及び背景ボード設置位置を設定するステップと、前記前景ボード設置位置及び前記背景ボード設置位置の値に基づいて、前記表示限界外画像除去後の多視点画像に、前記前景画像及び前記背景画像を合成するステップと、前記合成した画像を裸眼式三次元画像表示装置に表示するフォーマットに並び替えるステップと、を有することを特徴とする立体画像表示方法が提供される。
【発明の効果】
【００１４】
本発明によれば、遠景と近景の両方の画質劣化を防ぐことができるので、撮影範囲を限定しづらい実写画像でも、高品位な立体画像として表示できるようになる。
【００１５】
また、遠景または近景の画像に適宜処理を施すことができるので、画質の改善のみならず、実写の際の奥行き方向に制約されないので、表現の自由度を増すことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る立体画像表示装置の概略構成を表すブロック図である。
【図２】立体画像表示処理を説明する図である。
【図３】立体画像表示処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施の形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。
【００１８】
図１は、本発明の実施形態に係る立体画像表示装置の概略構成を表すブロック図である。図１に示すように、立体画像表示装置は、大別すると、多視点画像取得部１と、表示用画像生成部１０と、画像表示部８を備えている。さらに、表示用画像生成部１０は、視差マップ生成部２と、前景境界／背景境界設定部３と、前景画像／背景画像生成部４と、表示限界外画像除去部５と、前景ボード設置位置／背景ボード設置位置設定部６と、画像合成部７から構成されている。尚、図１において、各ブロック間のデータの流れを矢印で示している。
【００１９】
多視点画像取得部１は、実写による三次元画像表示に必要な多視点画像データを記憶するものである。多視点画像データは、撮像素子で記録されたデータをそのまま保存するＲＡＷ（Read After Write)形式、もしくは画像を構成する各画素の赤、緑、青の値で表わすＲＧＢ形式で記憶されるのが好適である。
【００２０】
尚、多視点画像取得部１に記憶される多視点画像データは、少なくとも２台以上、例えば９台のカメラをアレイ状に配置したマルチカメラ（以降、多視点カメラともいう)で得ることができる。
【００２１】
尚、多視点画像データは、多視点カメラで事前に撮影した多視点画像データであっても、リアルタイムにマルチカメラで撮影している多視点画像データであってもよい。
【００２２】
また、多視点画像取得部１では、多視点画像を取得する時の多視点カメラの間隔と撮影距離、カメラ間の位置ずれに関するデータを記憶するための多視点画像取得情報記憶部（図示せず）を内包していてもよい。カメラ間の位置ずれは、前後／左右方向のバラツキだけでなく傾きも考慮するのが好適である。
【００２３】
多視点画像取得部１は、例えばハードディスク装置で構成することができる。
【００２４】
視差マップ生成部２は、多視点画像取得部１から取得した多視点画像データについて、視差マップを生成するものである。視差マップは、多視点カメラの画像から対応する各画素を探し、対応した画素の各視点画像間の視差量（シフト量）を計算し、マップ化したものである。視差量は、多視点画像間の画像の移動量、ズレをいう。
【００２５】
対応する各画素の探索には、例えば画像中の画像の輝度信号の差分絶対値和を尺度とするブロックマッチングの手法を利用することができる。多視点カメラからの画像情報が多量な場合には、対応画素の探索に相当の処理時間がかかる。また、後述する飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）を超えるような画素は、前景ボードまたは背景ボードへ合成する画素情報と判定することができる。そこで、視差マップ生成時に対応する画素を探す範囲を、一定の範囲とすることにより、対応画素の探索効率をあげることができる。例えば、視差マップ生成時に対応する画素を探す範囲（ｗｐｉｘピクセル）を、マルチカメラの間隔ｗｃと撮影距離Ｌと、後述する前景境界Ｅｎ及び背景境界Ｅｆを用い、次の（１）式で示される、
−ｗｃ×Ｅｆ／（Ｌ＋Ｅｆ）／Ｐｅ≦ｗｐｉｘ≦ｗｃ×Ｅｎ／（Ｌ＋Ｅｎ）／Ｐｅ・・・（１）
（Ｐｅ：三次元表示時の画素ピッチ）
の範囲で探索すれば、対応画素の探索効率が改善する。前景境界Ｅｎ及び背景境界Ｅｆとの区別は、周辺の画素との視差や画素情報の関連度から判断する。たとえば、隣接した画素が前景境界Ｅｎ近傍のｚ座標を持つようならば前景に判定し、背景境界Ｅｆ近傍のｚ座標を持つようならば背景に判定する。また、前景境界Ｅｎ近傍の画素と色や輝度情報が近ければ前景に判定し背景境界Ｅｆ近傍の画素と色や輝度情報が近ければ背景に判定する。
【００２６】
三次元画像の撮影・表示においては、カメラアレイの撮影範囲と、三次元画像表示装置のハードウェア性能から、定まる飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）を考慮する必要がある。飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）は、裸眼立体表示装置においては、非特許文献１で規定される表示限界に相当する。この表示限界を指針として三次元画像を表示することで、観る者に耐えうる画質が維持される。
【００２７】
係る観点に基づき、前景境界／背景境界設定部３は、三次元表示する範囲を区切るための前景境界（Ｅｎ）と背景境界（Ｅｆ）を設定するものである。ここで、前景境界（Ｅｎ）は、表示面から飛び出している領域、すなわち近景のうち、表示させる近景の範囲を確定するものである。同様に、背景境界（Ｅｆ）は表示面から奥にある領域、すなわち遠景のうち、表示させる遠景の範囲を確定するものである。したがって、三次元表示する範囲は、前景境界／背景境界設定部３で記憶する前景境界（Ｅｎ）と背景境界（Ｅｆ）の間になる。
【００２８】
三次元画像表示装置は、そのハードウェア性能から、飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）が定まるので、前景境界（Ｅｎ）と背景境界（Ｅｆ）の初期値は、飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）に一致させるのが好都合である。
【００２９】
一般的に、三次元画像表示装置に表示すべきコンテンツの最低空間周波数は、表示装置に表示したときに観察者が粗いと感じる直前の周波数とされ、三次元画像表示装置は、飛び出しまたは奥行きを小さくするとより高い周波数成分も表現することができる。そこで、このようなハードウェアの特徴を考慮して、例えば三次元画像表示装置のレンズピッチの１／２の周波数に比べて細かい構造を持つ映像の場合には、｜Ｄｎ｜または｜Ｄｆ｜より｜Ｅｎ｜または｜Ｅｆ｜を小さくする、すなわち、ハードウェア上からは表示可能な領域よりも、実際に三次元表示する範囲を狭くしてもよい。これとは逆に、例えばレンズピッチの１／２の周波数に比べて粗い構造を持つ映像の場合は、｜Ｄｎ｜または｜Ｄｆ｜より｜Ｅｎ｜または｜Ｅｆ｜を大きく設定する、すなわち、三次元表示する範囲を拡げることが好適である。
【００３０】
さらに、三次元表示する範囲を、ユーザによって設定可能としてもよいことは勿論である。また、三次元表示する範囲を、画像に含まれる周波数成分をフーリエ変換等で解析して映像の周波数に連動するようにしてもよい。
前景画像／背景画像生成部４は、三次元表示する際の前景画像と背景画像を生成するものである。前景画像と背景画像の生成手法について、図２を用いながら説明する。図２（ａ）は、マルチカメラによる多視点画像を示している。図２（ａ）の中央にあるのが、マルチカメラの真ん中に配置されるカメラ（センターカメラという)の画像である。図２（ａ）に示す多視点画像から、センターカメラ以外のカメラ画像は、大きな視差をもっていることがわかる。図２（ｂ）は、図２（ａ）に示す多視点画像から、飛び出し・奥行き限界内のオブジェクト（物体）を抜き出した画像である。背後にあるオブジェクト（物体）は手前にあるオブジェクト（物体）に隠される状態であるオクルージョンによって、オブジェクト（物体）に欠けが発生している。図２（ｃ）は、遠景を適切な視差量（シフト量）内にシフトさせた背景画像を示している。図２（ｄ）は、近景を適切な視差量（シフト量）内にシフトさせた前景画像を示している。図２（ｆ）は、図２（ａ）に示す多視点画像から、表示面よりも飛び出した方向の適切な視差量（シフト量）の閾値を超えた画像を切り出したものを示している。図２（ｈ）は、視差量（シフト量）の絶対値を小さくした画像を示している。
【００３１】
図２（ｇ）は、表示面よりも奥に行った方向の適切な視差量（シフト量）の閾値を超えた画像を切り出したものを示している。図２（ｉ）は、視差量（シフト量）の絶対値を小さくした画像を示している。図２（ｅ）は、画像を飛び出し・奥行き限界の範囲内に押し込むことにより、視差量（シフト量）を調整した画像を示している。
【００３２】
まず、視差マップ生成部２で生成した視差マップのなかから、前景境界と背景境界で決定される三次元画像表示範囲内の視差量に比較して大きい視差量を持つ領域を判定する。
【００３３】
次いで、多視点画像取得部１から読み出した多視点画像（図２（ａ））から、前景画像または背景画像を切り出した多視点画像（図２（ｆ）、（ｇ））から、前景ボード用の二次元画像（図２（ｉ））と背景ボード用の二次元画像（図２（ｈ））を生成する。前景ボード、背景ボードについては、後述する。
【００３４】
視差マップのうち、（１）式に示す範囲限定をせずに探索を行った場合に対応がつかなかった画素のうち、画角以外の要素に起因して欠けた画素については、背後にあるオブジェクト（物体）が手前にあるオブジェクト（物体）に隠される状態であるオクルージョン（Ｏｃｃｌｕｓｉｏｎ）が発生していることから、背景画像と判断することが可能である。また、特に背景画像については、前景画像等で覆われて欠損している領域があるが、多視点画像に補間処理等を施して、欠損した領域を埋める処理を行うのが好適である。
【００３５】
尚、視覚上の立体感を高めるため、前景画像や背景画像にぼかし処理などの画像処理を施してもよい。また、前景画像を若干拡大する処理は、オクルージョン問題を低減するとともに、同時に背景画像もやや縮小する処理により、透視投影効果により、狭い奥行きでも奥行き感を増大する効果がある。
【００３６】
実写カメラによって得られる多視点画像データのうち、三次元画像表示装置で表示可能な範囲を超えるような画像データについては前述の通りである。多視点画像データから三次元画像表示装置で表示不可能な画素情報を除外した多視点画像データは、立体画像表示に用いる。表示限界外画像除去部５は、多視点画像データから表示限界を超えるものを除去する機能を果たすものである。
【００３７】
具体的には、視差マップ生成部２で生成した視差マップのなかから、三次元画像表示範囲内の視差量に比較して同等かそれ以下の視差量を持つ領域を判定し、多視点画像取得部１から読み出した多視点画像（図２（ａ））から、前景画像（図２（ｄ））及び背景画像（図２（ｃ））を取り除いた多視点画像（図２（ｂ））を生成する。ここで表示された情報が立体情報を維持する。
【００３８】
上述したように、三次元画像表示装置で表示可能な範囲は、一義的には、飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）とによって定まる。そこで、前景画像を貼り付ける仮想面（前景ボードと称する）が置かれる位置を前景ボード設置位置（Ｂｎ）と定義し、背景画像を貼り付ける仮想面（背景ボードと称する）が置かれる位置を背景ボード設置位置（Ｂｆ）と定義したとき、前景ボード設置位置／背景ボード設置位置設定部６は、前景ボード設置位置及び背景ボード設置位置をそれぞれ設定する機能を果たすものである。
【００３９】
これら前景ボード設置位置（Ｂｎ）及び背景ボード設置位置（Ｂｆ）は、後述する画像合成部７が表示限界外画像除去部５で生成した多視点画像と、前景画像／背景画像生成部４で生成した前景画像または背景画像を合成する際、前景画像及び背景画像のシフト量を算出するのに用いられる。前景ボード設置位置（Ｂｎ）及び背景ボード設置位置（Ｂｆ）の初期値は、飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）と一致させるのが好都合である。
【００４０】
一般的に、三次元画像表示装置は、飛び出しまたは奥行きを小さくするとより高い周波数成分も表現することができる。そこで、このようなハードウェアの特徴を考慮して、例えば三次元画像表示装置のレンズピッチの１／２の周波数に比べて細かい構造を持つ映像の場合には、｜Ｄｎ｜または｜Ｄｆ｜より｜Ｂｎ｜または｜Ｂｆ｜を小さくする、すなわち、ハードウェア上からは表示可能な領域よりも、実際に前景ボード／背景ボードを設置して三次元表示する範囲を狭くしてもよい。これとは逆に、例えばレンズピッチの１／２の周波数に比べて粗い構造を持つ映像の場合は、｜Ｄｎ｜または｜Ｄｆ｜より｜Ｂｎ｜または｜Ｂｆ｜を大きく設定する、すなわち、三次元表示する範囲を拡げることが好適である。さらに、前景境界値の絶対値｜Ｅｎ｜と、前景ボード設置位置の値の絶対値｜Ｂｎ｜は、｜Ｅｎ｜＞｜Ｂｎ｜の関係にし、背景境界値の絶対値｜Ｅｆ｜と、背景ボード設置位置の値の絶対値｜Ｂｆ｜は、｜Ｅｆ｜＞｜Ｂｆ｜の関係に設定するのが、好適である
また、三次元表示する範囲を、ユーザによって設定可能としてもよいことは勿論である。さらに、三次元表示する範囲を、画像に含まれる周波数成分をフーリエ変換等で解析して映像の周波数に連動するようにしてもよい。
画像合成部７は、前景ボード設置位置／背景ボード設置位置設定部６に記憶された前景ボード設置位置（Ｂｎ）または背景ボード設置位置（Ｂｆ）から導出した画素のシフト量を反映して、前景画像／背景画像生成部４が生成した前景画像（図２（ｉ））または背景画像（図２（ｈ））と、表示限界外画像除去部５が生成した多視点画像（図２（ｂ））を合成する機能を果たすものである。
【００４１】
このとき、多視点画像（図２（ｂ））は背景画像（図２（ｈ））に上書きされ、前景画像（図２（ｉ））は、多視点画像と背景画像に上書きされる（図２（ｅ））。
【００４２】
図２に示す例では、元々の多視点画像に比較して、前景画像または背景画像の水平方向のシフト量が減少している様子を図示したが、これは、撮影対象の座標に比べて、前景ボード設置位置（Ｂｎ）または背景ボード設置位置（Ｂｆ）がディスプレイ面に近くなり、奥行き方向の表示範囲を圧縮したことを意味する。さらに画像合成部７は、生成した多視点画像を三次元画像表示装置に表示するためのフォーマットに変換する。この変換処理には、画像表示部のハードウェアパラメータを参照する。
【００４３】
画像表示部８は、画像合成部７で生成した多視点立体画像を表示するものである。画像表示部８は、周知の立体視ディスプレイを利用することができるが、例えば、平面（二次元）ディスプレイ上に設けたレンチキュラーレンズあるいはレンチキュラーシートの光学作用により、表示された画像情報は三次元画像表示用の光線に変換され、三次元画像が表示される。
【００４４】
次に、上記のように構成した立体画像表示装置における処理の流れについて説明する。
【００４５】
図３は、立体画像表示処理の流れを示すフローチャートである。
【００４６】
まず、多視点カメラによって多視点画像データを取得する（ステップＳ３０１）。この際、多視点カメラの情報として、例えば、多視点カメラの間隔と撮影距離、カメラ間の位置ずれに関するデータを取得する（ステップＳ３０２）。次いで、多視点画像データについて対応する画素を探し、対応した画素の各視点画像間の視差量（シフト量）を計算して視差マップを生成する（ステップＳ３０３）。
【００４７】
次に、表示限界または前景境界／背景境界の値を取得し（ステップＳ３０４）、生成した視差マップのなかに、前景境界／背景境界を超えた近景または遠景があるか否かを判定する（ステップＳ３０５）。ＹＥＳの場合には、前景境界／背景境界を超えた近景または遠景であるか否かを判定する（ステップＳ３０６）。ＹＥＳの場合には、境界を超えた領域から前景画像／背景画像を生成する（ステップＳ３０７）。ＮＯの場合には、境界を超えた領域の画像を除去する（ステップＳ３０８）。
【００４８】
次いで、前景ボード設置位置及び背景ボード設置位置の値を取得する（ステップＳ３０９）。各視点画像に前景画像／背景画像を合成する（ステップＳ３１０）。多視点画像が、例えば９台のマルチカメラによるものであれば、９台分の合成した画像データが得られる。これらの合成した画像データを１台で画像表示するために、並び替えを行う（ステップＳ３１１）。並び替えされた画像データは表示用画像として生成する（ステップＳ３１２）。
【００４９】
上記したように、本実施形態に係る立体画像表示装置によれば、近景や遠景に撮影範囲に制約を設けることが不可能な実写撮影画像についても、遠景と近景の両方の画質劣化を防ぐことができるので、裸眼立体表示方式で、良好な画質で三次元画像表示が実現できる。
【００５０】
なお、本発明は上記の実施形態のそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００５１】
１・・・多視点画像取得部
２・・・視差マップ生成部
３・・・前景境界／背景境界設定部
４・・・前景画像／背景画像生成部
５・・・表示限界外画像除去部
６・・・前景ボード設置位置／前景ボード設置位置設定部
７・・・画像合成部
８・・・画像表示部
１０・・・表示用画像生成部
【技術分野】
【０００１】
本発明は、立体画像表示装置および立体画像表示方法に関し、特に実写による立体画像を表示する立体画像表示装置および立体画像表示方法に関する。
【背景技術】
【０００２】
視差を有する複数枚の画像（多視点画像）の各画素を離散的に配置して１枚の合成画像を形成し、レンチキュラーレンズなどを用いて合成画像の各画素からでる光線の軌道を制御することにより、観察者に立体画像を知覚させる表示装置が知られている。
【０００３】
立体画像の表示方式は２眼式、多眼式、インテグラルフォトグラフィーなどに分類される。近年ではインテグラルフォトグラフィーはインテグラルイメージング（ＩＩ）と呼ばれることが多い。ＩＩ方式の立体画像表示装置は現実に近い光線を再生できる理想的な方式として知られているが、ディスプレイ面（レンズ面）から離れるにつれて光線の密度が粗くなり、立体画像の画質が劣化するという問題がある。
【０００４】
そこで、画質が劣化しない範囲として、MTF(Modulation Transfer Function：正弦波状の入力信号に対する変調度)に基づいて、飛び出し表示限界（Ｄｎ）と奥行き表示限界（Dｆ）を導出する方法が提案されている（例えば、非特許文献１参照。）。
【０００５】
また、多視点画像を作成する際に、ディスプレイ面からどの程度奥行き方向に離れた領域を遠景とみなすかを指定するための方法が提案されている（例えば、特許文献１参照。）。これは、利用者は背景ボードと呼ばれるＣＧの四角形モデルをディスプレイ面に平行に配置して、遠景領域と、それより手前側の領域の境界面を指定する。この背景ボードを前後に移動させることにより、遠景領域の範囲を調節することが可能である。
【０００６】
また、実写多視点画像のうち視差がない領域を背景と判定し、背景ボードとして記憶することで、任意視点画像生成時の演算量を削減する方法が提案されている（例えば、特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−９６９５１号公報
【特許文献２】特開平７−１４３７１２号公報
【非特許文献】
【０００８】
【非特許文献１】H．Hoshino et al．， “Analysis of Resolution Limitation of Integral Photography”， J． Opt． Soc．Am． A15， 2059 (1998)。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
実景・実況を写真に写したりカメラで撮った実写による立体画像を表示する際に、従来の立体画像の表示方法では、ディスプレイ面から奥行き方向に離れた遠景の画質劣化を防ぐことはできるものの、ディスプレイ面から手前方向に飛び出した近景については、視差情報の提示が粗いものとなるため、画質劣化を防ぐことができなかった。
【００１０】
また、実写による立体画像の表示では、Ｚ空間方向（奥行き方向／手前方向）の撮影領域に制約を設けることが出来ないため、ＣＧ画像のように、ディスプレイ面から手前方向に飛び出した表示対象物について表示しないようにしたり、表示範囲内に入るように表示位置を前後させるといった手直しを行うこともできない。
【００１１】
そこで、本発明においては、実写による立体画像を表示する際に、ディスプレイ面から手前方向に飛び出した近景の画質劣化を防ぐことのできる立体画像表示装置および立体画像表示方法を提供するものである。
【課題を解決するための手段】
【００１２】
本発明の一態様によれば、複数方向から対象物体を実写して多視点画像を取得する画像取得部と、前記画像取得部によって取得された多視点画像から視差マップを生成するマップ生成部と、三次元画像表示時の際に、表示面から飛び出している近景領域のうち、表示させる近景の範囲を確定する前景境界（Ｅｎ）と、表示面から奥にある遠景領域のうち、表示させる遠景の範囲を確定する背景境界（Ｅｆ）を設定する境界設定部と、前記前景境界（Ｅｎ）と前記背景境界（Ｅｆ）の値に基づいて、前記視差マップから飛び出しまたは奥行き表示限界を超えた領域を判定し、この領域の画像を前記多視点画像から除去する画像除去部と、前記除去された画像データから、三次元表示する際の前景画像と背景画像を生成する画像生成部と、前記前景画像を貼り付ける仮想面が置かれる位置を前景ボード設置位置（Ｂｎ）とし、前記背景画像を貼り付ける仮想面が置かれる位置を背景ボード設置位置（Ｂｆ）としたとき、これら前景ボード設置位置及び背景ボード設置位置を設定する位置記憶部と、前記前景ボード設置位置及び前記背景ボード設置位置の値に基づいて、前記画像除去部から出力された多視点画像に、前記画像生成部から出力された前記前景画像及び前記背景画像を合成し、裸眼式三次元画像表示装置に表示するフォーマットに並び替える画像合成部と、を備えることを特徴とする立体画像表示装置が提供される。
【００１３】
また、本発明の別の一態様によれば、三次元画像表示画面にコンテンツを表示する立体画像表示方法であって、複数方向から対象物体を実写して多視点画像を取得するステップと、前記取得された多視点画像から視差マップを生成するステップと、三次元画像表示時の際に、表示面から飛び出している近景領域のうち、表示させる近景の範囲を確定する前景境界（Ｅｎ）と、表示面から奥にある遠景領域のうち、表示させる遠景の範囲を確定する背景境界（Ｅｆ）を設定するステップと、前記前景境界（Ｅｎ）と前記背景境界（Ｅｆ）の値に基づいて、前記視差マップから飛び出しまたは奥行き表示限界を超えた領域を判定し、この領域の画像を前記多視点画像から除去するステップと、前記除去された画像データから、三次元表示する際の前景画像と背景画像を生成するステップと、前記前景画像を貼り付ける仮想面が置かれる位置を前景ボード設置位置（Ｂｎ）とし、前記背景画像を貼り付ける仮想面が置かれる位置を背景ボード設置位置（Ｂｆ）としたとき、これら前景ボード設置位置及び背景ボード設置位置を設定するステップと、前記前景ボード設置位置及び前記背景ボード設置位置の値に基づいて、前記表示限界外画像除去後の多視点画像に、前記前景画像及び前記背景画像を合成するステップと、前記合成した画像を裸眼式三次元画像表示装置に表示するフォーマットに並び替えるステップと、を有することを特徴とする立体画像表示方法が提供される。
【発明の効果】
【００１４】
本発明によれば、遠景と近景の両方の画質劣化を防ぐことができるので、撮影範囲を限定しづらい実写画像でも、高品位な立体画像として表示できるようになる。
【００１５】
また、遠景または近景の画像に適宜処理を施すことができるので、画質の改善のみならず、実写の際の奥行き方向に制約されないので、表現の自由度を増すことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態に係る立体画像表示装置の概略構成を表すブロック図である。
【図２】立体画像表示処理を説明する図である。
【図３】立体画像表示処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１７】
以下、本発明の一実施の形態について、図面を参照して説明する。尚、各図において同一箇所については同一の符号を付すとともに、重複した説明は省略する。
【００１８】
図１は、本発明の実施形態に係る立体画像表示装置の概略構成を表すブロック図である。図１に示すように、立体画像表示装置は、大別すると、多視点画像取得部１と、表示用画像生成部１０と、画像表示部８を備えている。さらに、表示用画像生成部１０は、視差マップ生成部２と、前景境界／背景境界設定部３と、前景画像／背景画像生成部４と、表示限界外画像除去部５と、前景ボード設置位置／背景ボード設置位置設定部６と、画像合成部７から構成されている。尚、図１において、各ブロック間のデータの流れを矢印で示している。
【００１９】
多視点画像取得部１は、実写による三次元画像表示に必要な多視点画像データを記憶するものである。多視点画像データは、撮像素子で記録されたデータをそのまま保存するＲＡＷ（Read After Write)形式、もしくは画像を構成する各画素の赤、緑、青の値で表わすＲＧＢ形式で記憶されるのが好適である。
【００２０】
尚、多視点画像取得部１に記憶される多視点画像データは、少なくとも２台以上、例えば９台のカメラをアレイ状に配置したマルチカメラ（以降、多視点カメラともいう)で得ることができる。
【００２１】
尚、多視点画像データは、多視点カメラで事前に撮影した多視点画像データであっても、リアルタイムにマルチカメラで撮影している多視点画像データであってもよい。
【００２２】
また、多視点画像取得部１では、多視点画像を取得する時の多視点カメラの間隔と撮影距離、カメラ間の位置ずれに関するデータを記憶するための多視点画像取得情報記憶部（図示せず）を内包していてもよい。カメラ間の位置ずれは、前後／左右方向のバラツキだけでなく傾きも考慮するのが好適である。
【００２３】
多視点画像取得部１は、例えばハードディスク装置で構成することができる。
【００２４】
視差マップ生成部２は、多視点画像取得部１から取得した多視点画像データについて、視差マップを生成するものである。視差マップは、多視点カメラの画像から対応する各画素を探し、対応した画素の各視点画像間の視差量（シフト量）を計算し、マップ化したものである。視差量は、多視点画像間の画像の移動量、ズレをいう。
【００２５】
対応する各画素の探索には、例えば画像中の画像の輝度信号の差分絶対値和を尺度とするブロックマッチングの手法を利用することができる。多視点カメラからの画像情報が多量な場合には、対応画素の探索に相当の処理時間がかかる。また、後述する飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）を超えるような画素は、前景ボードまたは背景ボードへ合成する画素情報と判定することができる。そこで、視差マップ生成時に対応する画素を探す範囲を、一定の範囲とすることにより、対応画素の探索効率をあげることができる。例えば、視差マップ生成時に対応する画素を探す範囲（ｗｐｉｘピクセル）を、マルチカメラの間隔ｗｃと撮影距離Ｌと、後述する前景境界Ｅｎ及び背景境界Ｅｆを用い、次の（１）式で示される、
−ｗｃ×Ｅｆ／（Ｌ＋Ｅｆ）／Ｐｅ≦ｗｐｉｘ≦ｗｃ×Ｅｎ／（Ｌ＋Ｅｎ）／Ｐｅ・・・（１）
（Ｐｅ：三次元表示時の画素ピッチ）
の範囲で探索すれば、対応画素の探索効率が改善する。前景境界Ｅｎ及び背景境界Ｅｆとの区別は、周辺の画素との視差や画素情報の関連度から判断する。たとえば、隣接した画素が前景境界Ｅｎ近傍のｚ座標を持つようならば前景に判定し、背景境界Ｅｆ近傍のｚ座標を持つようならば背景に判定する。また、前景境界Ｅｎ近傍の画素と色や輝度情報が近ければ前景に判定し背景境界Ｅｆ近傍の画素と色や輝度情報が近ければ背景に判定する。
【００２６】
三次元画像の撮影・表示においては、カメラアレイの撮影範囲と、三次元画像表示装置のハードウェア性能から、定まる飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）を考慮する必要がある。飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）は、裸眼立体表示装置においては、非特許文献１で規定される表示限界に相当する。この表示限界を指針として三次元画像を表示することで、観る者に耐えうる画質が維持される。
【００２７】
係る観点に基づき、前景境界／背景境界設定部３は、三次元表示する範囲を区切るための前景境界（Ｅｎ）と背景境界（Ｅｆ）を設定するものである。ここで、前景境界（Ｅｎ）は、表示面から飛び出している領域、すなわち近景のうち、表示させる近景の範囲を確定するものである。同様に、背景境界（Ｅｆ）は表示面から奥にある領域、すなわち遠景のうち、表示させる遠景の範囲を確定するものである。したがって、三次元表示する範囲は、前景境界／背景境界設定部３で記憶する前景境界（Ｅｎ）と背景境界（Ｅｆ）の間になる。
【００２８】
三次元画像表示装置は、そのハードウェア性能から、飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）が定まるので、前景境界（Ｅｎ）と背景境界（Ｅｆ）の初期値は、飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）に一致させるのが好都合である。
【００２９】
一般的に、三次元画像表示装置に表示すべきコンテンツの最低空間周波数は、表示装置に表示したときに観察者が粗いと感じる直前の周波数とされ、三次元画像表示装置は、飛び出しまたは奥行きを小さくするとより高い周波数成分も表現することができる。そこで、このようなハードウェアの特徴を考慮して、例えば三次元画像表示装置のレンズピッチの１／２の周波数に比べて細かい構造を持つ映像の場合には、｜Ｄｎ｜または｜Ｄｆ｜より｜Ｅｎ｜または｜Ｅｆ｜を小さくする、すなわち、ハードウェア上からは表示可能な領域よりも、実際に三次元表示する範囲を狭くしてもよい。これとは逆に、例えばレンズピッチの１／２の周波数に比べて粗い構造を持つ映像の場合は、｜Ｄｎ｜または｜Ｄｆ｜より｜Ｅｎ｜または｜Ｅｆ｜を大きく設定する、すなわち、三次元表示する範囲を拡げることが好適である。
【００３０】
さらに、三次元表示する範囲を、ユーザによって設定可能としてもよいことは勿論である。また、三次元表示する範囲を、画像に含まれる周波数成分をフーリエ変換等で解析して映像の周波数に連動するようにしてもよい。
前景画像／背景画像生成部４は、三次元表示する際の前景画像と背景画像を生成するものである。前景画像と背景画像の生成手法について、図２を用いながら説明する。図２（ａ）は、マルチカメラによる多視点画像を示している。図２（ａ）の中央にあるのが、マルチカメラの真ん中に配置されるカメラ（センターカメラという)の画像である。図２（ａ）に示す多視点画像から、センターカメラ以外のカメラ画像は、大きな視差をもっていることがわかる。図２（ｂ）は、図２（ａ）に示す多視点画像から、飛び出し・奥行き限界内のオブジェクト（物体）を抜き出した画像である。背後にあるオブジェクト（物体）は手前にあるオブジェクト（物体）に隠される状態であるオクルージョンによって、オブジェクト（物体）に欠けが発生している。図２（ｃ）は、遠景を適切な視差量（シフト量）内にシフトさせた背景画像を示している。図２（ｄ）は、近景を適切な視差量（シフト量）内にシフトさせた前景画像を示している。図２（ｆ）は、図２（ａ）に示す多視点画像から、表示面よりも飛び出した方向の適切な視差量（シフト量）の閾値を超えた画像を切り出したものを示している。図２（ｈ）は、視差量（シフト量）の絶対値を小さくした画像を示している。
【００３１】
図２（ｇ）は、表示面よりも奥に行った方向の適切な視差量（シフト量）の閾値を超えた画像を切り出したものを示している。図２（ｉ）は、視差量（シフト量）の絶対値を小さくした画像を示している。図２（ｅ）は、画像を飛び出し・奥行き限界の範囲内に押し込むことにより、視差量（シフト量）を調整した画像を示している。
【００３２】
まず、視差マップ生成部２で生成した視差マップのなかから、前景境界と背景境界で決定される三次元画像表示範囲内の視差量に比較して大きい視差量を持つ領域を判定する。
【００３３】
次いで、多視点画像取得部１から読み出した多視点画像（図２（ａ））から、前景画像または背景画像を切り出した多視点画像（図２（ｆ）、（ｇ））から、前景ボード用の二次元画像（図２（ｉ））と背景ボード用の二次元画像（図２（ｈ））を生成する。前景ボード、背景ボードについては、後述する。
【００３４】
視差マップのうち、（１）式に示す範囲限定をせずに探索を行った場合に対応がつかなかった画素のうち、画角以外の要素に起因して欠けた画素については、背後にあるオブジェクト（物体）が手前にあるオブジェクト（物体）に隠される状態であるオクルージョン（Ｏｃｃｌｕｓｉｏｎ）が発生していることから、背景画像と判断することが可能である。また、特に背景画像については、前景画像等で覆われて欠損している領域があるが、多視点画像に補間処理等を施して、欠損した領域を埋める処理を行うのが好適である。
【００３５】
尚、視覚上の立体感を高めるため、前景画像や背景画像にぼかし処理などの画像処理を施してもよい。また、前景画像を若干拡大する処理は、オクルージョン問題を低減するとともに、同時に背景画像もやや縮小する処理により、透視投影効果により、狭い奥行きでも奥行き感を増大する効果がある。
【００３６】
実写カメラによって得られる多視点画像データのうち、三次元画像表示装置で表示可能な範囲を超えるような画像データについては前述の通りである。多視点画像データから三次元画像表示装置で表示不可能な画素情報を除外した多視点画像データは、立体画像表示に用いる。表示限界外画像除去部５は、多視点画像データから表示限界を超えるものを除去する機能を果たすものである。
【００３７】
具体的には、視差マップ生成部２で生成した視差マップのなかから、三次元画像表示範囲内の視差量に比較して同等かそれ以下の視差量を持つ領域を判定し、多視点画像取得部１から読み出した多視点画像（図２（ａ））から、前景画像（図２（ｄ））及び背景画像（図２（ｃ））を取り除いた多視点画像（図２（ｂ））を生成する。ここで表示された情報が立体情報を維持する。
【００３８】
上述したように、三次元画像表示装置で表示可能な範囲は、一義的には、飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）とによって定まる。そこで、前景画像を貼り付ける仮想面（前景ボードと称する）が置かれる位置を前景ボード設置位置（Ｂｎ）と定義し、背景画像を貼り付ける仮想面（背景ボードと称する）が置かれる位置を背景ボード設置位置（Ｂｆ）と定義したとき、前景ボード設置位置／背景ボード設置位置設定部６は、前景ボード設置位置及び背景ボード設置位置をそれぞれ設定する機能を果たすものである。
【００３９】
これら前景ボード設置位置（Ｂｎ）及び背景ボード設置位置（Ｂｆ）は、後述する画像合成部７が表示限界外画像除去部５で生成した多視点画像と、前景画像／背景画像生成部４で生成した前景画像または背景画像を合成する際、前景画像及び背景画像のシフト量を算出するのに用いられる。前景ボード設置位置（Ｂｎ）及び背景ボード設置位置（Ｂｆ）の初期値は、飛び出し限界（Ｄｎ）と奥行き限界（Ｄｆ）と一致させるのが好都合である。
【００４０】
一般的に、三次元画像表示装置は、飛び出しまたは奥行きを小さくするとより高い周波数成分も表現することができる。そこで、このようなハードウェアの特徴を考慮して、例えば三次元画像表示装置のレンズピッチの１／２の周波数に比べて細かい構造を持つ映像の場合には、｜Ｄｎ｜または｜Ｄｆ｜より｜Ｂｎ｜または｜Ｂｆ｜を小さくする、すなわち、ハードウェア上からは表示可能な領域よりも、実際に前景ボード／背景ボードを設置して三次元表示する範囲を狭くしてもよい。これとは逆に、例えばレンズピッチの１／２の周波数に比べて粗い構造を持つ映像の場合は、｜Ｄｎ｜または｜Ｄｆ｜より｜Ｂｎ｜または｜Ｂｆ｜を大きく設定する、すなわち、三次元表示する範囲を拡げることが好適である。さらに、前景境界値の絶対値｜Ｅｎ｜と、前景ボード設置位置の値の絶対値｜Ｂｎ｜は、｜Ｅｎ｜＞｜Ｂｎ｜の関係にし、背景境界値の絶対値｜Ｅｆ｜と、背景ボード設置位置の値の絶対値｜Ｂｆ｜は、｜Ｅｆ｜＞｜Ｂｆ｜の関係に設定するのが、好適である
また、三次元表示する範囲を、ユーザによって設定可能としてもよいことは勿論である。さらに、三次元表示する範囲を、画像に含まれる周波数成分をフーリエ変換等で解析して映像の周波数に連動するようにしてもよい。
画像合成部７は、前景ボード設置位置／背景ボード設置位置設定部６に記憶された前景ボード設置位置（Ｂｎ）または背景ボード設置位置（Ｂｆ）から導出した画素のシフト量を反映して、前景画像／背景画像生成部４が生成した前景画像（図２（ｉ））または背景画像（図２（ｈ））と、表示限界外画像除去部５が生成した多視点画像（図２（ｂ））を合成する機能を果たすものである。
【００４１】
このとき、多視点画像（図２（ｂ））は背景画像（図２（ｈ））に上書きされ、前景画像（図２（ｉ））は、多視点画像と背景画像に上書きされる（図２（ｅ））。
【００４２】
図２に示す例では、元々の多視点画像に比較して、前景画像または背景画像の水平方向のシフト量が減少している様子を図示したが、これは、撮影対象の座標に比べて、前景ボード設置位置（Ｂｎ）または背景ボード設置位置（Ｂｆ）がディスプレイ面に近くなり、奥行き方向の表示範囲を圧縮したことを意味する。さらに画像合成部７は、生成した多視点画像を三次元画像表示装置に表示するためのフォーマットに変換する。この変換処理には、画像表示部のハードウェアパラメータを参照する。
【００４３】
画像表示部８は、画像合成部７で生成した多視点立体画像を表示するものである。画像表示部８は、周知の立体視ディスプレイを利用することができるが、例えば、平面（二次元）ディスプレイ上に設けたレンチキュラーレンズあるいはレンチキュラーシートの光学作用により、表示された画像情報は三次元画像表示用の光線に変換され、三次元画像が表示される。
【００４４】
次に、上記のように構成した立体画像表示装置における処理の流れについて説明する。
【００４５】
図３は、立体画像表示処理の流れを示すフローチャートである。
【００４６】
まず、多視点カメラによって多視点画像データを取得する（ステップＳ３０１）。この際、多視点カメラの情報として、例えば、多視点カメラの間隔と撮影距離、カメラ間の位置ずれに関するデータを取得する（ステップＳ３０２）。次いで、多視点画像データについて対応する画素を探し、対応した画素の各視点画像間の視差量（シフト量）を計算して視差マップを生成する（ステップＳ３０３）。
【００４７】
次に、表示限界または前景境界／背景境界の値を取得し（ステップＳ３０４）、生成した視差マップのなかに、前景境界／背景境界を超えた近景または遠景があるか否かを判定する（ステップＳ３０５）。ＹＥＳの場合には、前景境界／背景境界を超えた近景または遠景であるか否かを判定する（ステップＳ３０６）。ＹＥＳの場合には、境界を超えた領域から前景画像／背景画像を生成する（ステップＳ３０７）。ＮＯの場合には、境界を超えた領域の画像を除去する（ステップＳ３０８）。
【００４８】
次いで、前景ボード設置位置及び背景ボード設置位置の値を取得する（ステップＳ３０９）。各視点画像に前景画像／背景画像を合成する（ステップＳ３１０）。多視点画像が、例えば９台のマルチカメラによるものであれば、９台分の合成した画像データが得られる。これらの合成した画像データを１台で画像表示するために、並び替えを行う（ステップＳ３１１）。並び替えされた画像データは表示用画像として生成する（ステップＳ３１２）。
【００４９】
上記したように、本実施形態に係る立体画像表示装置によれば、近景や遠景に撮影範囲に制約を設けることが不可能な実写撮影画像についても、遠景と近景の両方の画質劣化を防ぐことができるので、裸眼立体表示方式で、良好な画質で三次元画像表示が実現できる。
【００５０】
なお、本発明は上記の実施形態のそのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記の実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００５１】
１・・・多視点画像取得部
２・・・視差マップ生成部
３・・・前景境界／背景境界設定部
４・・・前景画像／背景画像生成部
５・・・表示限界外画像除去部
６・・・前景ボード設置位置／前景ボード設置位置設定部
７・・・画像合成部
８・・・画像表示部
１０・・・表示用画像生成部
【特許請求の範囲】
【請求項１】
複数方向から対象物体を実写して多視点画像を取得する画像取得部と、
前記画像取得部によって取得された多視点画像から視差マップを生成するマップ生成部と、
三次元画像表示時の際に、表示面から飛び出している近景領域のうち、表示させる近景の範囲を確定する前景境界（Ｅｎ）と、表示面から奥にある遠景領域のうち、表示させる遠景の範囲を確定する背景境界（Ｅｆ）を設定する境界設定部と、
前記前景境界（Ｅｎ）と前記背景境界（Ｅｆ）の値に基づいて、前記視差マップから飛び出しまたは奥行き表示限界を超えた領域を判定し、この領域の画像を前記多視点画像から除去する画像除去部と、
前記除去された画像データから、三次元表示する際の前景画像と背景画像を生成する画像生成部と、
前記前景画像を貼り付ける仮想面が置かれる位置を前景ボード設置位置（Ｂｎ）とし、前記背景画像を貼り付ける仮想面が置かれる位置を背景ボード設置位置（Ｂｆ）としたとき、これら前景ボード設置位置及び背景ボード設置位置を設定する位置記憶部と、
前記前景ボード設置位置及び前記背景ボード設置位置の値に基づいて、前記画像除去部から出力された多視点画像に、前記画像生成部から出力された前記前景画像及び前記背景画像を合成し、裸眼式三次元画像表示装置に表示するフォーマットに並び替える画像合成部と、
を備えることを特徴とする立体画像表示装置。
【請求項２】
前記視差マップ生成時に対応する画素を探索する範囲を、複数の実写用カメラの間隔と実写用カメラと対象物体との撮影距離に基づいて、一定範囲に限定することを特徴とする請求項１記載の立体画像表示装置。
【請求項３】
前記一定範囲ｗｐｉｘ（ピクセル）は、実写用カメラの間隔ｗｃ、撮影距離Ｌ、三次元表示時の画素ピッチＰｅ、前景境界Ｅｎ、背景境界Ｅｆであるとき、
−ｗｃ×Ｅｆ／（Ｌ＋Ｅｆ）／Ｐｅ≦ｗｐｉｘ≦ｗｃ×Ｅｎ／（Ｌ＋Ｅｎ）／Ｐｅ
であることを特徴とする請求項２記載の立体画像表示装置。
【請求項４】
前記前景境界の値（Ｅｎ）が、三次元画像表示装置の飛び出し限界（Ｄｎ）の値と一致し、前記背景境界の値（Ｅｆ）が、三次元画像表示装置の奥行き限界（Ｄｆ）の値と一致し、前記前景ボード設置位置（Ｂｎ）の値が三次元画像表示装置の飛び出し限界（Ｄｎ）の値と一致し、前記背景ボード設置位置（Ｂｆ）の値が三次元画像表示装置の奥行き限界（Ｄｆ）の値に一致していることを特徴とする請求項１記載の立体画像表示装置。
【請求項５】
前記前景境界値の絶対値｜Ｅｎ｜と、前記前景ボード設置位置の値の絶対値｜Ｂｎ｜は、
｜Ｅｎ｜＞｜Ｂｎ｜
前記背景境界値の絶対値｜Ｅｆ｜と、前記背景ボード設置位置の値の絶対値｜Ｂｆ｜は、
｜Ｅｆ｜＞｜Ｂｆ｜
の関係にあることを特徴とする請求項４に記載の立体画像表示装置。
【請求項６】
三次元画像表示画面にコンテンツを表示する立体画像表示方法であって、
複数方向から対象物体を実写して多視点画像を取得するステップと、
前記取得された多視点画像から視差マップを生成するステップと、
三次元画像表示時の際に、表示面から飛び出している近景領域のうち、表示させる近景の範囲を確定する前景境界（Ｅｎ）と、表示面から奥にある遠景領域のうち、表示させる遠景の範囲を確定する背景境界（Ｅｆ）を設定するステップと、
前記前景境界（Ｅｎ）と前記背景境界（Ｅｆ）の値に基づいて、前記視差マップから飛び出しまたは奥行き表示限界を超えた領域を判定し、この領域の画像を前記多視点画像から除去するステップと、
前記除去された画像データから、三次元表示する際の前景画像と背景画像を生成するステップと、
前記前景画像を貼り付ける仮想面が置かれる位置を前景ボード設置位置（Ｂｎ）とし、前記背景画像を貼り付ける仮想面が置かれる位置を背景ボード設置位置（Ｂｆ）としたとき、これら前景ボード設置位置及び背景ボード設置位置を設定するステップと、
前記前景ボード設置位置及び前記背景ボード設置位置の値に基づいて、前記表示限界外画像除去後の多視点画像に、前記前景画像及び前記背景画像を合成するステップと、
前記合成した画像を裸眼式三次元画像表示装置に表示するフォーマットに並び替えるステップと、
を有することを特徴とする立体画像表示方法。
【請求項１】
複数方向から対象物体を実写して多視点画像を取得する画像取得部と、
前記画像取得部によって取得された多視点画像から視差マップを生成するマップ生成部と、
三次元画像表示時の際に、表示面から飛び出している近景領域のうち、表示させる近景の範囲を確定する前景境界（Ｅｎ）と、表示面から奥にある遠景領域のうち、表示させる遠景の範囲を確定する背景境界（Ｅｆ）を設定する境界設定部と、
前記前景境界（Ｅｎ）と前記背景境界（Ｅｆ）の値に基づいて、前記視差マップから飛び出しまたは奥行き表示限界を超えた領域を判定し、この領域の画像を前記多視点画像から除去する画像除去部と、
前記除去された画像データから、三次元表示する際の前景画像と背景画像を生成する画像生成部と、
前記前景画像を貼り付ける仮想面が置かれる位置を前景ボード設置位置（Ｂｎ）とし、前記背景画像を貼り付ける仮想面が置かれる位置を背景ボード設置位置（Ｂｆ）としたとき、これら前景ボード設置位置及び背景ボード設置位置を設定する位置記憶部と、
前記前景ボード設置位置及び前記背景ボード設置位置の値に基づいて、前記画像除去部から出力された多視点画像に、前記画像生成部から出力された前記前景画像及び前記背景画像を合成し、裸眼式三次元画像表示装置に表示するフォーマットに並び替える画像合成部と、
を備えることを特徴とする立体画像表示装置。
【請求項２】
前記視差マップ生成時に対応する画素を探索する範囲を、複数の実写用カメラの間隔と実写用カメラと対象物体との撮影距離に基づいて、一定範囲に限定することを特徴とする請求項１記載の立体画像表示装置。
【請求項３】
前記一定範囲ｗｐｉｘ（ピクセル）は、実写用カメラの間隔ｗｃ、撮影距離Ｌ、三次元表示時の画素ピッチＰｅ、前景境界Ｅｎ、背景境界Ｅｆであるとき、
−ｗｃ×Ｅｆ／（Ｌ＋Ｅｆ）／Ｐｅ≦ｗｐｉｘ≦ｗｃ×Ｅｎ／（Ｌ＋Ｅｎ）／Ｐｅ
であることを特徴とする請求項２記載の立体画像表示装置。
【請求項４】
前記前景境界の値（Ｅｎ）が、三次元画像表示装置の飛び出し限界（Ｄｎ）の値と一致し、前記背景境界の値（Ｅｆ）が、三次元画像表示装置の奥行き限界（Ｄｆ）の値と一致し、前記前景ボード設置位置（Ｂｎ）の値が三次元画像表示装置の飛び出し限界（Ｄｎ）の値と一致し、前記背景ボード設置位置（Ｂｆ）の値が三次元画像表示装置の奥行き限界（Ｄｆ）の値に一致していることを特徴とする請求項１記載の立体画像表示装置。
【請求項５】
前記前景境界値の絶対値｜Ｅｎ｜と、前記前景ボード設置位置の値の絶対値｜Ｂｎ｜は、
｜Ｅｎ｜＞｜Ｂｎ｜
前記背景境界値の絶対値｜Ｅｆ｜と、前記背景ボード設置位置の値の絶対値｜Ｂｆ｜は、
｜Ｅｆ｜＞｜Ｂｆ｜
の関係にあることを特徴とする請求項４に記載の立体画像表示装置。
【請求項６】
三次元画像表示画面にコンテンツを表示する立体画像表示方法であって、
複数方向から対象物体を実写して多視点画像を取得するステップと、
前記取得された多視点画像から視差マップを生成するステップと、
三次元画像表示時の際に、表示面から飛び出している近景領域のうち、表示させる近景の範囲を確定する前景境界（Ｅｎ）と、表示面から奥にある遠景領域のうち、表示させる遠景の範囲を確定する背景境界（Ｅｆ）を設定するステップと、
前記前景境界（Ｅｎ）と前記背景境界（Ｅｆ）の値に基づいて、前記視差マップから飛び出しまたは奥行き表示限界を超えた領域を判定し、この領域の画像を前記多視点画像から除去するステップと、
前記除去された画像データから、三次元表示する際の前景画像と背景画像を生成するステップと、
前記前景画像を貼り付ける仮想面が置かれる位置を前景ボード設置位置（Ｂｎ）とし、前記背景画像を貼り付ける仮想面が置かれる位置を背景ボード設置位置（Ｂｆ）としたとき、これら前景ボード設置位置及び背景ボード設置位置を設定するステップと、
前記前景ボード設置位置及び前記背景ボード設置位置の値に基づいて、前記表示限界外画像除去後の多視点画像に、前記前景画像及び前記背景画像を合成するステップと、
前記合成した画像を裸眼式三次元画像表示装置に表示するフォーマットに並び替えるステップと、
を有することを特徴とする立体画像表示方法。
【図１】
【図３】
【図２】
【図３】
【図２】
【公開番号】特開２０１０−２２６５００（Ｐ２０１０−２２６５００Ａ）
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願番号】特願２００９−７２４３４（Ｐ２００９−７２４３４）
【出願日】平成２１年３月２４日（２００９．３．２４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
【公開日】平成２２年１０月７日（２０１０．１０．７）
【国際特許分類】
【出願日】平成２１年３月２４日（２００９．３．２４）
【出願人】（０００００３０７８）株式会社東芝 (54,554)
【Ｆターム（参考）】
[ Back to top ]