立体画像処理装置、立体画像処理方法、及びプログラム
【課題】立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能な立体画像処理装置を提供する。
【解決手段】立体画像処理装置は、立体画像において、視差値の不連続性から視差連続領域を検出する連続性検出部３１と、視差連続領域に対して視差の勾配を強調する処理を行う変換処理部３２と、を備える。
【解決手段】立体画像処理装置は、立体画像において、視差値の不連続性から視差連続領域を検出する連続性検出部３１と、視差連続領域に対して視差の勾配を強調する処理を行う変換処理部３２と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像を処理する立体画像処理装置、立体画像処理方法、及びプログラムに関するものである。
【背景技術】
【０００２】
近年、画像表示装置により立体画像を表示するために用いられている技術では、人間の左右の目に異なる映像を提示することで立体表示を実現しており、人間は左右目用画像内の物体のずれである視差により立体感を知覚している。立体表示の課題として、視差が人間の視覚特性の許容限界を超えるような大きな量になると立体視困難となり、ユーザの疲労、不快感を招くことが挙げられる。
【０００３】
特許文献１には、左右目用画像の相対位置を水平方向にシフトさせるシフト処理を行い、このような画像変換が施された後の左右目用画像の中心を基準として拡大縮小を行うスケーリング処理を行うことで、入力画像における視差の分布が所定の範囲に収まるように制御する方法が開示されている。
【０００４】
また、特許文献２には、立体画像で提示される視差の範囲が人間の視覚特性の許容限界に収まっていても、視差の範囲が表示画面の近傍付近になり、立体感がさほどでもない場合に、左右目用画像を飛出し方向（前方）にシフトさせるように左右目用画像をシフト制御することにより、立体感を増加するように視差を制御する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−５５０２２号公報
【特許文献２】特許第３１５７３８４号公報
【非特許文献】
【０００６】
【非特許文献１】吉田光宏，繁桝博昭，“両眼立体視における局所的な対比効果の時空間的範囲”，IEICE Techinical Report，HIP2010-60(2010-11)，pp.1-6，2010.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、視差調整前の立体画像の視差の範囲が人間の視覚特性の許容限界に比べて非常に大きい場合には、制御により視差の範囲が大幅に縮小され、それに伴い立体画像で表現される奥行きも大幅に圧縮されるため、立体感が損なわれる可能性がある。
【０００８】
また、特許文献２に記載の技術では、立体画像で提示される視差の範囲を前方にシフト制御することで立体感を強調することは可能であるものの、被写体が飛び出した感覚は得られるが、被写体の奥行きが強調されるわけではない。さらに、前方にシフトすることで立体画像で提示される視差が大きくなり、視差が大きくなると立体画像が見にくくなる要因も大きくなる可能性もある。
【０００９】
一方で、立体視において、物体間の奥行き差は強調して知覚されやすいことが知られている（非特許文献１を参照）が、このような立体視に関する視覚特性は、従来の視差調整技術では全く考慮されていなかった。
【００１０】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能な立体画像処理装置、立体画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明の第１の技術手段は、立体画像の視差分布を変換する立体画像処理装置であって、前記立体画像について、視差の不連続性から視差連続領域を検出する連続性検出部と、前記視差連続領域に対して視差の勾配を強調する処理を行う変換処理部と、を備えたことを特徴としたものである。
【００１２】
第２の技術手段は、第１の技術手段において、前記連続性検出部は、前記立体画像の視差成分を視差マップとし、該視差成分を視差連続成分とそれ以外の視差成分に分離する処理を行うことで、前記視差連続領域を検出することを特徴としたものである。
【００１３】
第３の技術手段は、第２の技術手段において、前記変換処理部は、前記視差連続成分を拡大することで視差の勾配を強調する拡大処理と前記視差連続成分以外の視差成分を縮小する縮小処理を行い、前記拡大処理を施した前記視差連続成分と前記縮小処理を施した前記視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力することを特徴としたものである。
【００１４】
第４の技術手段は、第２の技術手段において、前記変換処理部は、前記視差連続成分を拡大することで視差の勾配を強調する拡大処理を行い、前記拡大処理を施した前記視差連続成分と前記視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力することを特徴としたものである。
【００１５】
第５の技術手段は、第２の技術手段において、前記変換処理部は、前記視差連続成分以外の視差成分を縮小することで相対的に前記視差連続成分についての視差の勾配を強調する縮小処理を行い、前記視差連続成分と前記縮小処理を施した前記視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力することを特徴としたものである。
【００１６】
第６の技術手段は、第３又は第４の技術手段において、前記拡大処理は、前記視差連続成分を１より大きな第１の定数によって定数倍する処理であることを特徴としたものである。
【００１７】
第７の技術手段は、第３又は第５の技術手段において、前記縮小処理は、前記視差連続成分以外の視差成分を０以上で１より小さい第２の定数によって定数倍し第３の定数を加算する処理であることを特徴としたものである。
【００１８】
第８の技術手段は、第１の技術手段において、前記連続性検出部は、前記立体画像の視差成分を視差マップとし、該視差マップから視差値のヒストグラムを作成し、該ヒストグラムに対し、所定の閾値より大きな度数をもつ視差値のヒストグラム上の領域を視差連続域として検出し、該所定の閾値以下の度数をもつ視差値のヒストグラム上の領域を視差不連続域として検出する処理を行うことで、前記視差連続領域を検出することを特徴としたものである。
【００１９】
第９の技術手段は、第８の技術手段において、前記変換処理部は、前記ヒストグラム上の前記視差不連続域を縮小又は削除して、隣り合う前記視差連続域間を詰めるようにシフトさせるシフト処理を行い、さらに該シフト処理後のヒストグラム上の視差値を拡大することで視差の勾配を強調するヒストグラム拡大処理を行うことを特徴としたものである。
【００２０】
第１０の技術手段は、第８の技術手段において、前記変換処理部は、前記ヒストグラム上の視差値を拡大することで視差の勾配を強調するヒストグラム拡大処理を行うことを特徴としたものである。
【００２１】
第１１の技術手段は、第８の技術手段において、前記変換処理部は、前記ヒストグラム上の前記視差不連続域を縮小又は削除して、隣り合う前記視差連続域間を詰めるようにシフトさせるシフト処理を行うことを特徴としたものである。
【００２２】
第１２の技術手段は、第９又は第１０の技術手段において、前記ヒストグラム拡大処理は、前記ヒストグラム上の視差値を１より大きな第４の定数によって定数倍し第５の定数を加算する処理であることを特徴としたものである。
【００２３】
第１３の技術手段は、第１２の技術手段において、前記ヒストグラム拡大処理は、前記ヒストグラム上の視差連続域毎に前記第４の定数と前記第５の定数を異ならせて処理を行うことを特徴としたものである。
【００２４】
第１４の技術手段は、第９〜第１３のいずれか１の技術手段において、前記変換処理部は、前記シフト処理及び前記ヒストグラム拡大処理を施す前のヒストグラムと施した後のヒストグラムから前記視差マップを変換するための視差マップ変換テーブルを作成し、該視差マップ変換テーブルに基づいて、前記視差マップを変換して出力することを特徴としたものである。
【００２５】
第１５の技術手段は、立体画像の視差分布を変換する立体画像処理方法であって、前記立体画像について、視差の不連続性から視差連続領域を検出するステップと、前記視差連続領域に対して視差の勾配を強調する処理を行うステップと、を有することを特徴としたものである。
【００２６】
第１６の技術手段は、コンピュータに立体画像の視差分布を変換する視差分布変換処理を実行させるためのプログラムであって、前記視差分布変換処理は、前記立体画像について、視差の不連続性から視差連続領域を検出するステップと、前記視差連続領域に対して視差の勾配を強調する処理を行うステップと、を含むことを特徴としたものである。
【発明の効果】
【００２７】
本発明の一形態によれば、立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になり、立体画像の視差が大きすぎることによる二重像化を防止することと、全体の視差量を圧縮し且つ視差の圧縮により立体感が損なわれないように立体画像の立体感を保持することとを両立させることができ、それにより、視聴者に良好な立体感を提示できるようになる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態に係る立体画像処理装置を含む立体画像表示装置の構成例を示すブロック図である。
【図２Ａ】図１の立体画像表示装置に入力される立体画像の視差マップの一例を示す図である。
【図２Ｂ】図２Ａの視差マップにおける点線に該当する行の視差値を、縦軸を視差値、横軸を水平方向の座標にとってグラフ化した図である。
【図３】図１の立体画像表示装置における視差分布変換部の具体的な構成例を示すブロック図である。
【図４Ａ】図２Ｂの視差マップに対し、図３の視差分布変換部における視差構造抽出部で視差構造抽出した後の行毎の視差マップの一例を示す図である。
【図４Ｂ】図４Ａの視差マップに対し、図３の視差分布変換部における視差縮小部で視差縮小した後の行毎の視差マップの一例を示す図である。
【図４Ｃ】図２Ｂの視差マップと図４Ａの視差マップとにより、図３の視差分布変換部における視差連続成分抽出部で視差連続成分を抽出後の行毎の視差マップの一例を示す図である。
【図４Ｄ】図４Ｃの視差マップに対し、図３の視差分布変換部における視差強調部で視差強調後の行毎の視差マップの一例を示す図である。
【図４Ｅ】図４Ｂの視差マップと図４Ｄの視差マップについて、図３の視差分布変換部における視差合成部で視差合成後の行毎の視差マップの一例を示す図である。
【図５】図１の立体画像表示装置における画像生成部の処理例を説明するためのフロー図である。
【図６】図１の立体画像表示装置における視差分布変換部の具体的な他の構成例を示すブロック図で、本発明の第２の実施形態に係る立体画像処理装置における視差分布変換部の具体的な構成例を示すブロック図である。
【図７Ａ】図１の立体画像表示装置に入力される立体画像の視差マップの他の例を示す図で、第２の実施形態に係る立体画像処理装置に入力される視差マップの一例を示す図である。
【図７Ｂ】図７Ａの視差マップの視差ヒストグラムを示す図である。
【図８Ａ】図７Ｂの視差ヒストグラムをその視差ヒストグラムの値に応じて領域分割を行った結果の一例を示す図である。
【図８Ｂ】図８Ａで領域に分割した結果に基づいて、視差ヒストグラムを圧縮した結果の一例を示す図である。
【図８Ｃ】図８Ｂで視差ヒストグラムを圧縮した結果に基づいて、視差ヒストグラムを強調した結果の一例を示す図である。
【発明を実施するための形態】
【００２９】
本発明に係る立体画像処理装置は、入力された立体画像について、被写体内（連続した視差値をもつ領域）の視差値の勾配が強調され、好ましくは被写体間の境界（視差値が不連続に変化している領域）における視差値の差が縮小されるように、その立体画像の視差分布（つまり各被写体の奥行き）を変換するような、視差調整を実現できる装置である。
以下、添付図面を参照しながら本発明の様々な実施形態について詳細に説明する。
【００３０】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る立体画像処理装置を含む立体画像表示装置の構成例を示すブロック図である。
【００３１】
図１で示したように、本実施形態の立体画像表示装置は、複数の視点画像からなる立体画像を入力する入力部１０と、基準視点画像と別視点画像から視差マップを算出する視差算出部２０と、視差算出部２０で得られた視差マップを変更することで、立体画像の視差分布を変更（変換）する視差分布変換部３０と、基準視点画像と視差分布変換部３０で変換後の視差分布から別視点画像を再構成する画像生成部４０と、基準視点画像と画像生成部４０で生成された別視点画像とにより二眼式立体表示を行う表示部５０とを有している。
【００３２】
本実施形態を含め、本発明に係る立体画像処理装置は、各部１０，２０，３０，４０，５０のうち、少なくとも視差分布変換部３０を備え、立体画像の視差分布を変換できればよい。但し、本発明における視差分布変換部３０は、視差分布の変換を、視差マップを変換することで実行しなくても、他の方法で実行してもよい。
【００３３】
以下、本実施形態の立体画像表示装置における各部の詳細を説明する。
入力部１０は、立体画像のデータ（立体画像データ）を入力し、入力された立体画像データから基準視点画像と別視点画像を出力する。ここで、入力される立体画像データは、カメラで撮影することで取得されたもの、放送波によるもの、ローカルの記憶装置や可搬記録メディアから電子的に読み出されたもの、通信により外部サーバ等から取得されたものなど、どのようなものでも構わない。
【００３４】
また、立体画像データは、右目用画像データと左目用画像データから構成されるもの、つまり２つの視点画像から構成されるものであってもよいし、３つ以上の視点画像から構成される多眼表示用の多視点画像データであっても構わない。立体画像データが右目用画像データと左目用画像データから構成される場合は、それぞれを基準視点画像と別視点画像として用い、多視点画像データである場合は、そこから２視点分のデータを選択する。
【００３５】
また、図１の説明や以下の説明では、基本的に、立体画像データが複数の視点画像のデータからなることを前提にしているが、立体画像データは画像データと奥行きデータもしくは視差データから構成されるものであっても構わない。この場合、入力部１０から別視点画像として奥行きデータもしくは視差データが出力されるが、画像データを基準視点画像として用い、奥行きデータもしくは視差データを視差マップとして用いればよい。このような構成の場合、図１の立体画像表示装置では、視差算出部２０が不要になり、視差分布変換部３０が、入力部１０で入力された視差マップを変更することで、立体画像の視差分布を変更（変換）すればよい。但し、画像生成部４０で処理可能な視差マップのフォーマットでない場合には、視差算出部２０を設けておき、視差算出部２０がこのようなフォーマットに変換を行うようにしておけばよい。以下では、奥行きデータもしくは視差データを用いる場合については補足的に簡単に説明する。
【００３６】
視差算出部２０では、基準視点画像と残りの視点画像との視差マップ、つまりこの例では基準視点画像に対するそれぞれの別視点画像の視差マップを算出する。視差マップは、別視点画像の各画素において、基準視点画像内の対応点との間の横方向（水平方向）の座標の差分値を記したものである。
【００３７】
視差マップ算出方法には、ブロックマッチング、動的計画法、グラフカットなどを用いた様々な手法が知られており、いずれを用いてもよいが、縦方向のずれや輝度や色などの差異に頑健な手法によって視差マップを算出することが好ましい。なお、横方向の視差についてのみ説明しているが、縦方向の視差も存在する場合には、同様に、縦方向についての視差マップの算出や視差分布の変換を行うことも可能である。
【００３８】
視差分布変換部３０は、連続性検出部３１及び変換処理部３２を備える。連続性検出部３１は、立体画像について、視差の不連続性から視差連続領域を検出する。ここで、視差の不連続性とは、立体画像において隣接画素間の視差値の差が所定値より大きいこと（被写体の境界等で、隣接画素間において視差値が大きく不連続に変化すること）を指す。また、視差連続領域とは、立体画像において隣接画素間の視差値の差が所定値以内にある領域、つまり、立体画像において視差値が連続的な値をとる領域を指す。同じ視差値をもつ画素領域も上記視差連続領域に属することになる。
【００３９】
換言すれば、連続性検出部３１は、視差値が所定値以内で連続する画素領域か否かを検出することになる。さらに換言すれば、連続性検出部３１は、画素領域が視差値のエッジをもたない非エッジ領域か、視差値のエッジをもつエッジ領域かを検出する。
【００４０】
なお、立体画像が複数の視点画像で構成される場合には、各視点画像間の視差値について、視差の不連続性から視差連続領域を検出すればよい。一つの基準視点画像と視差データもしくは奥行きデータで構成される場合には、その視差データもしくは奥行きデータにおいて、隣接画素に対応するデータ間の差が所定値以内か否かによって、視差の不連続性から視差連続領域を検出すればよい。
【００４１】
変換処理部３２は、連続性検出部３１で検出された視差連続領域に属する視差値と、その視差連続領域以外に属する視差値とで、異なる視差値変換処理を施すことで、視差分布の変換を行う。この視差値変換処理は、視差分布を変換する処理であればよく、この例では視差マップを変換する処理に該当する。このように、変換処理部３２は、立体画像の視差分布の視差値が視差連続領域に属するか／視差連続領域以外に属するかの違いに応じて（非特許文献１に記載のような立体視に関する人間の視覚特性に応じて）適応的になるような視差分布変換を実行できるように、立体画像表示装置に設けた操作部などから視差調整を行うことが可能になり、実際にそのような視差調整を行うことで視聴者に良好な立体感を提示できる。
【００４２】
そして、変換処理部３２は、視差連続領域に対して視差の勾配を強調する処理を行うものとする。また、変換処理部３２は、上記視差値変換処理として、（ｉ）視差連続領域以外に属する視差値に対しては隣接画素間の視差値の差を縮小するような縮小処理を施し、（ｉｉ）視差連続領域に属する視差値に対しては隣接画素間の視差値の差を強調するような強調処理を施すことが好ましい。上記（ｉｉ）の処理が視差連続領域に対して視差の勾配を強調する処理の一例である。算出された視差マップにおいて、上記（ｉ）の処理により立体画像の被写体間の境界における視差値の差（視差が連続している領域間の相対的な距離）が縮小され、上記（ｉｉ）の処理により被写体内（連続した視差値をもつ領域）の視差値の勾配が強調される。つまり、変換処理部３２は、算出された視差マップにおいて、立体画像内の被写体間の境界での視差値の差が縮小され、被写体内の視差値の勾配が強調されるように、視差分布を変換する。
【００４３】
但し、変換処理部３２は、上述したような視差値変換処理に限らず、視差連続領域に属する視差値と視差連続領域以外に属する視差値とで異なる処理を実行すればよく、例えば上記（ｉ）の処理だけを施し、視差連続領域に属する視差値はそのままにしても、あるいは上記（ｉｉ）の処理だけを施し、視差連続領域以外に属する視差値はそのままにしてもてもよい。その他、例えば、視差連続領域以外に属する視差値に対して大幅な縮小処理を施し、視差連続領域に属する視差値に対して僅かに縮小処理を施してもよいし、視差連続領域以外に属する視差値に対して僅かに強調処理を施し、視差連続領域に属する視差値に対して大幅な強調処理を施してもよい。
【００４４】
なお、立体画像が２つの視点画像で構成される場合には、連続性検出部３１が２つの視点画像間で視差の不連続性から視差連続領域を検出し、変換処理部３２がその２つの視点画像による視差分布を変換する。立体画像が３以上の視点画像で構成される場合には、ある定めた視点画像（基準視点画像）と他の複数の視点画像との間のそれぞれで、このような検出・変換処理を施せばよい。
【００４５】
次に、具体的な視差マップの例を挙げて、本実施形態における視差分布変換処理の一例を説明する。算出された視差マップの例を図２Ａに、図２Ａの視差マップのある行（図２Ａの点線部分）の視差をグラフにしたものを図２Ｂに示す。図２Ａの視差マップは、各画素で算出された視差値を輝度値に割り当てたもので、飛出し方向に行くに従って大きな輝度値を、奥行き方向に行くに従って小さな輝度値を割り当てることで、立体画像における視差値の空間分布を表現している。図２Ｂは、図２Ａの視差マップの点線の行の視差値を、縦軸を視差値（飛出し方向の視差値を大、奥行き方向の視差値を小として）、横軸を水平方向の座標にとってグラフ化したものである。また、図２Ｂでは、便宜上、視差値の最小値に横軸（水平方向座標の軸）を描いているが、視差値は奥行き方向の場合に負値をとり、飛出し方向の場合に正値をとるものとする。この例では、図２Ｂのグラフで表現される行毎の視差値に基づいて視差分布を変換する。
【００４６】
ここでは、このような図２Ｂの視差マップについて、上記視差値変換処理として、（ｉ）視差連続成分以外の視差成分に対しては縮小処理を施し、（ｉｉ）視差連続成分に対しては強調処理を施した例を、図３及び図４Ａ〜図４Ｅを参照しながら説明する。この例では、立体画像の視差成分を視差マップとし、連続性検出部３１が、視差成分を視差連続成分とそれ以外の視差成分に分離する処理を行うことで、視差連続領域を検出し、変換処理部３２が、視差連続領域に該当する視差連続成分について強調処理を施す例を説明する。ここでは、視差マップにおけるある１行の視差値に基づいて視差分布を変換する手順を説明するが、他の行についても同様の変換を行うことで、立体画像全体としての視差分布変換を行うことができる。
【００４７】
図３は、本実施形態による視差分布変換部３０の具体的な構成例を示すブロック図である。図３で示すように、本実施形態における視差分布変換部３０は、行毎の視差マップから視差構造を抽出する視差構造抽出部１０１と、視差構造抽出部１０１で抽出した視差構造抽出後の視差マップの縮小処理を行う視差縮小部１０２と、行毎の視差マップから視差構造抽出後の視差マップの差分を取ることで視差連続成分を抽出する視差連続成分抽出部１０３と、視差連続成分抽出部１０３で抽出された視差マップの視差連続成分の視差値の差を強調する視差強調部１０４と、視差縮小部１０２及び視差強調部１０４で変換された行毎の視差マップを合成して変換後視差マップを出力する視差合成部１０５とを備える。ここで、視差構造抽出部１０１及び視差連続成分抽出部１０３が上述の連続性検出部３１の例に相当し、視差縮小部１０２、視差強調部１０４、及び視差合成部１０５が上述の変換処理部３２に相当する。
【００４８】
また、図４Ａ〜図４Ｅは、図２Ｂの視差マップに対し、図３で示す視差分布変換部３０で視差分布変換処理を施した中間結果及び最終結果の一例を示す図である。ここで、図４Ａ、図４Ｂ、図４Ｃ、図４Ｄ、図４Ｅはそれぞれ、図２Ｂの視差マップに対し視差構造を抽出した後の行毎の視差マップ、図４Ａの視差マップに対し視差値の差を縮小した後の行毎の視差マップ、図２Ｂの視差マップと図４Ａの視差マップとにより視差連続成分を抽出した後の行毎の視差マップ、図４Ｃの視差マップに対し視差値の差を強調した後の行毎の視差マップ、図４Ｂの視差マップと図４Ｄの視差マップについて視差値を合成した後の行毎の視差マップの一例である。図４Ｂ、図４Ｄの行毎の視差マップの一例では、処理前の行毎の視差マップを点線で示している。
【００４９】
視差構造抽出部１０１では、行毎の視差値から視差の構造を抽出する処理を行う。抽出する視差の構造とは、図２Ｂで例示したように、視差値の大まかな空間構造を指し、視差マップにおける視差値の低周波数成分（低域成分）と境界成分（エッジ成分）を指す。この例では、エッジ保存型の非線形の平滑化フィルタであるイプシロンフィルタを用いて視差値を求めることとする。座標ｘの視差値をｄ（ｘ）、１次元のガウシアンフィルタをａ[i]、ウィンドウサイズをＷ、定数をεとすると、視差構造抽出後の視差値ｄｘ（ｘ）は次式により表わされる。その結果、図２Ｂの視差マップは図４Ａの視差マップのように、エッジ部分（隣接画素の視差値の差が所定値より大きい、視差連続領域以外の視差成分）と、それ以外の平坦な非エッジ部分（隣接画素の視差値の差が所定値以内の視差連続領域の視差成分）とが現れる。
【００５０】
【数１】
【００５１】
この例では、１次元のイプシロンフィルタを用いた処理を行うこととしたが、２次元のイプシロンフィルタを用いても、メディアンフィルタを代表としたランクオーダーフィルタや、バイラテラルフィルタや、トリラテラルフィルタ等を用いても構わず、エッジ保存型の非線形の平滑化フィルタであればこれに限定するものではない。
【００５２】
このようにして、連続性検出部３１における視差構造抽出部１０１は、視差値の大まかな空間構造を、立体画像の視差マップにおける視差値の低域成分とエッジ成分とを抽出することで検出する。
【００５３】
視差縮小部１０２は、視差構造抽出部１０１で抽出された行毎の視差マップを縮小する処理を行う。この例では、縮小処理として、視差連続領域以外に属する視差値に対して、隣接画素間の視差値の差を、第２の定数αによってα倍する処理を採用する。ここでは、定数αは０≦α＜１とする。なお、第１の定数については後述する。つまり、この縮小処理は、視差連続成分以外の視差成分を定数α倍する処理である。この縮小処理は、上述した視差構造をα倍する処理と言え、非特許文献１に記載の人間の視覚特性（物体間の奥行き差が強調されて見えてしまう特性）を利用して、強調され易い方の領域である被写体間の視差値の差（視差レンジ）を縮小する処理である。
【００５４】
さらに、この縮小処理は視差連続成分以外の視差成分を定数α倍すると共に、第３の定数ｃ１を加算する処理とする。縮小処理前の視差値をｄｘとすると、縮小処理後の視差値ｄｘ′は次式により表わされる。この式によって、図４Ｂに示したように、隣接画素間の視差値の差（視差レンジ）もα倍されることになる。
ｄｘ′ ＝ α・ｄｘ ＋ ｃ１
【００５５】
なお、ｄｘ′に関し、手前にある被写体ほど視差値が大きく、奥にある被写体ほど視差値が小さいことを前提に説明しているが、逆に手前ほど視差値が小さく奥側ほど視差値が大きいような値を採用して処理してもよい。また、定数ｃ１は、視差値が小さくなり過ぎないよう、図４Ｂの場合のように視差値の嵩上げを行うために正の値であってもよいし、視差値を一定値だけ下げるために負の値を採用してもよい。
【００５６】
この例では、視差連続領域以外の視差レンジを定数倍することとしたが、任意の視差値を中心とし、その視差値からの距離に応じた重みづけを行う非線形な縮小処理を行うこととしても構わず、視差レンジを縮小する処理であればこれに限定するものではない。
【００５７】
視差連続成分抽出部１０３は、図２Ｂで例示した行毎の視差マップから図４Ａで例示した視差構造抽出部１０１で抽出した行毎の視差値の差分を取ることで、図４Ｃで例示するように行毎の視差マップの視差連続成分を抽出する。このようにして、連続性検出部３１における視差連続成分抽出部１０３は、視差連続領域を、視差マップにおける視差値の視差連続成分を抽出することで検出する。
【００５８】
視差強調部１０４は、視差連続成分抽出部１０３で抽出された行毎の視差連続成分の視差マップの強調処理を行う。この例では、強調処理として、視差連続領域に属する視差値に対して、隣接画素間の視差値の差（視差レンジ）を、第１の定数β（β＞α）によってβ倍する処理を採用する。ここでは、定数βは１より大きい定数とする。つまり、この強調処理は、視差連続成分を１より大きな定数βによって定数倍する拡大処理である。
【００５９】
この例では、定数αは縮小処理なので０≦α＜１とし、定数βは強調処理なので１より大きい定数としたが、視差構造成分の視差レンジ縮小処理に対して相対的に視差勾配を強調する効果が得られればよく、すなわち定数αより大きい値であればよい。逆を言えば、定数αは定数βより小さい値であればよく、縮小処理であるものの０≦α＜１に限定されるものではない。上述の強調処理は、非特許文献１に記載の人間の視覚特性（物体間の奥行き差が強調されて見えてしまう特性、逆を言えば、１つの物体内の奥行き差は知覚し難い特性）を利用して、知覚し難い方の領域である視差連続領域の視差値の差（視差レンジ）を強調する処理である。
【００６０】
強調処理前の視差値をｄｘとすると、強調処理後の視差値ｄｘ′は次式により表わされる。この式によって、図４Ｃの視差マップが図４Ｄの視差マップのようになり、隣接する画素間の視差値の差もβ倍されることになる。
ｄｘ′ ＝ β・ｄｘ
【００６１】
ここで、上述したように、同じ視差値をもつ画素領域（つまり、一様な視差値をもつ平面的で真正面を向いた１つの物体など）も上記視差連続領域に属することになる。その場合にも、上記強調処理は、視差連続領域に属する視差値に対して隣接画素間の視差値の差を強調する処理であり、この例でも同様に定数αより大きな定数で定数倍すればよい。このような画素領域については元々の視差値の差が０であるため、そのような定数倍の結果、視差値の差を０に保つことになる。
【００６２】
この例では、視差連続領域の視差レンジを定数倍することとしたが、原点からの距離に応じた重みづけを行う非線形な処理を行うこととしても構わず、視差レンジを強調する処理であればこれに限定するものではない。
【００６３】
また、以上の例では、行毎の１次元の処理を例として説明したが、２次元フィルタを用いて、行毎に分けずに一括して処理しても構わない。
【００６４】
ここで例示したように視差の大まかな空間構造成分と視差連続成分を検出する構成においては、変換処理部３２が、上記視差値変換処理として、（ｉ）視差連続領域以外の視差レンジに対しては縮小処理を施し、（ｉｉ）視差連続領域の視差レンジに対しては強調処理を施すことを前提としたが、これに限らず、視差連続領域以外と視差連続領域とで視差レンジに対する処理が異なるようにしてもよい。
【００６５】
視差合成部１０５では、視差縮小部１０２及び視差強調部１０４で変換された行毎の視差マップの合成処理を行う。この例では、視差縮小部１０２で縮小された行毎の視差マップの視差連続成分以外の視差成分と、視差強調部１０４で強調された行毎の視差マップの視差連続成分との視差値の加算処理を行うことで、行毎の視差マップの合成処理を行う。
【００６６】
このようにして、変換処理部３２における視差合成部１０５は、視差連続領域以外に属する視差値（つまり視差連続成分以外の視差成分）に対して縮小処理を施した後の視差マップと、視差連続領域に属する視差値（つまり視差連続成分）に対して強調処理を施した後の視差マップとを加算することで、視差分布の変換を完了させる。
【００６７】
すなわち、変換処理部３２は、視差連続成分を拡大することで視差の勾配を強調する拡大処理と、視差連続成分以外の視差成分を縮小する縮小処理を行い、拡大処理を施した視差連続成分と縮小処理を施した視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力する。
【００６８】
縮小処理だけ施すことで、変換処理部３２は、視差連続成分以外の視差成分を縮小することで相対的に視差連続成分についての視差の勾配を強調する縮小処理を行うことになり、この場合にも、視差連続成分と縮小処理を施した視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力する。視差連続成分を拡大することで視差の勾配を強調する拡大処理だけを施した後も同様に、変換処理部３２は、拡大処理を施した視差連続成分と視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力すればよい。
【００６９】
図１に戻って、視差分布変換後の処理について説明する。画像生成部４０は、基準視点画像と視差分布変換部３０で変換後の視差マップから別視点画像を再構成する。より具体的には、画像生成部４０は、基準指定画像の各画素について、その座標の視差値を視差マップから読み取り、再構成する別視点画像において、視差値分だけ座標をずらした画像に画素値をコピーする。この処理を基準視点画像の全ての画素について行うが、同一の画素に複数の画素値が割り当てられる場合は、ｚバッファ法に基づき、視差値が飛出し方向に最大の画素の画素値を用いる。
【００７０】
図５を参照しながら、画像生成部４０における別視点画像の再構成処理の一例を説明する。（ｘ，ｙ）は画像内の座標を示すが、図５では各行での処理であり、ｙは一定である。Ｆ、Ｇ、Ｄはそれぞれ基準視点画像、表示用別視点画像、視差マップを示している。Ｚは、処理の過程において表示用別視点画像の各画素の視差値を保持するための配列であり、ｚバッファと呼ぶ。Ｗは画像の横方向の画素数である。
【００７１】
まず、ステップＳ１において、ｚバッファを初期値ＭＩＮで初期化する。視差値は飛出し方向の場合に正値、奥行き方向の場合に負値をとるものとし、ＭＩＮは、視差算出部２０で算出した視差の最小値よりも小さい値とする。さらに、以降のステップで左端画素から順に処理を行うために、ｘに０を入力する。ステップＳ２において、視差マップの視差値と、その視差値分だけ座標を移動させた画素のｚバッファの値を比較し、視差値がｚバッファの値より大きいか否かを判定する。視差値がｚバッファの値よりも大きい場合は、ステップＳ３に進み、表示用別視点画像に基準視点画像の画素値を割り当てる。また、ｚバッファの値を更新する。
【００７２】
次にステップＳ４において、現在の座標が右端画素だった場合は終了し、そうでない場合はステップＳ５に進み、右隣りの画素へ移動してステップＳ２に戻る。ステップＳ２において、視差値がｚバッファの値以下の場合は、ステップＳ３を通らずにステップＳ４へ進む。これらの手順を全ての行で行う。視差値分だけ座標を横方向にのみ移動させて再構成するため、基準視点画像との間に視差以外の差異がない表示用別視点画像を生成することができる。
【００７３】
さらに、本実施形態に係る立体画像表示装置では、画像生成部４０が、画素値が割り当てられなかった画素について補間処理を行い、画素値を割り当てる。つまり、画像生成部４０は画像補間部を具備し、常に画素値を決定できるようにしておく。この補間処理は、画素値未割当の画素について、その左側で最も近傍の画素値割当済の画素と、その右側で最も近傍の画素値割当済の画素との画素値の平均値を用いて行う。ここでは、補間処理として近傍画素値の平均値を用いたが、平均値を用いる方法に限らず、画素の距離に応じた重みづけを行ってもよいし、その他のフィルタ処理を採用するなど、他の方法を採用してもよい。
【００７４】
表示部５０は、表示デバイスと、その表示デバイスに、基準視点画像と画像生成部４０で生成された別視点画像（元々別視点画像を入力する構成においては、再構成後の別視点画像を指す）とを表示要素とする立体画像を出力する制御を行う表示制御部とで構成される。すなわち、表示部５０は、基準視点画像と生成された別視点画像とを入力し、二眼式立体表示を行う。入力部１０での基準視点画像が左目用画像、別視点画像が右目用画像だった場合は、基準視点画像を左目用画像、再構成後の別視点画像を右目用画像として表示する。入力部１０での基準視点画像が右目用画像、別視点画像が左目用画像だった場合は、基準視点画像を右目用画像、再構成後の別視点画像を左目用画像として表示する。
【００７５】
また、入力部１０に入力された画像が多視点画像だった場合は、選択された２視点分のデータの視点位置の対応関係により基準視点画像と別視点画像を左右目用画像のどちらに表示するかを決定する。なお、入力部１０に入力された画像データが画像データと奥行きデータもしくは視差データであった場合は、画像データを左右目用画像のどちらで使用するかの設定に従って決定する。表示部５０は、上述のように表示制御部と表示デバイスとでなるが、他の実施形態での説明も含め、以下では単に表示部５０での処理として説明する。
【００７６】
以上のように、本実施形態によれば、視差分布の変換処理を行う際に、視差マップから視差の構造を抽出し、抽出した視差マップを用いて視差の視差連続成分の抽出処理を行い、抽出された視差マップの構造部分の視差レンジを縮小処理した結果と視差連続成分の視差レンジを強調処理した結果とを合成した変換後視差マップに基づいて、視差分布変換処理を行うことで、入力された立体画像内の被写体間の視差値の差（視差レンジ）が縮小され、被写体内の視差値の勾配が強調されるよう、その立体画像の視差値、つまりその立体画像の奥行きを調整することが可能となる。
【００７７】
すなわち、本実施形態によれば、立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる、従って、本実施形態では、視聴者が操作部から奥行きの調整を行う場合においても、視差を小さくしようとすると立体感が保てなくなり過ぎることや、視差を大きくしようとすると立体感が増し過ぎて２重像化されてしまうといったことない範囲で、最適な視差調整を行い、視聴者に良好な立体感を提示できるようになる。
【００７８】
＜第２実施形態＞
本発明の第２の実施形態に係る立体画像表示装置は、図１で示した立体画像表示装置において、視差分布変換部３０の具体的な構成例が図３で説明した構成例とは異なるものであり、視差ヒストグラム値に基づいて視差分布を変換する。但し、本実施形態においても第１の実施形態と同様に、視差分布変換部３０における連続性検出部３１が、立体画像において、視差の不連続性から視差連続領域を検出するのと同等の処理を行い、視差分布変換部３０における変換処理部３２が、視差連続領域に属する視差値と視差連続領域以外に属する視差値とで、異なる視差値変換処理を施すのと同等の処理を行う。
【００７９】
以下では、図６、図７Ａ、図７Ｂ、図８Ａ〜図８Ｃを参照しながら、第１の実施形態と同一部分の説明は省略し、視差分布変換部３０の具体的な別の構成例に関してのみ説明する。図６は、本実施形態による視差分布変換部３０の構成の一例を示すブロック図である。図７Ａは、図１の立体画像表示装置に入力される立体画像の視差マップの他の例を示す図で、図７Ｂは、図７Ａの視差マップの視差値のヒストグラム（以下、視差ヒストグラム）を示す図である。また、図８Ａは、図７Ｂの視差ヒストグラムをその視差ヒストグラムの値に応じて領域分割を行った結果の一例を示す図、図８Ｂは、図８Ａで領域に分割した結果に基づいて、視差ヒストグラムを圧縮した結果の一例を示す図、図８Ｃは、図８Ｂで視差ヒストグラムを圧縮した結果に基づいて、視差ヒストグラムを強調した結果の一例を示す図である。
【００８０】
図６で示すように、本実施形態における視差分布変換部３０は、視差マップから視差ヒストグラムを作成する視差ヒストグラム作成部２０１と、視差ヒストグラム作成部２０１で作成された視差ヒストグラムから視差分布を変換するための視差ヒストグラム処理部２０２と、視差ヒストグラム処理部２０２で算出された視差ヒストグラム処理結果に基づき視差マップを変換して変換後視差マップを出力する視差変換処理部（視差値変換処理部）２０３とを備える。視差ヒストグラム作成部２０１と視差ヒストグラム処理部２０２の一部が連続性検出部３１の一例に相当し、視差ヒストグラム処理部２０２の残りと視差変換処理部２０３が変換処理部３２の一例に相当する。
【００８１】
図７Ａで例示した視差算出部２０で算出された視差マップは、図２Ａと同様に、各画素で算出された視差値を輝度値に割り当てたもので、飛出し方向に行くに従って大きな輝度値を、奥行き方向に行くに従って小さな輝度値を割り当てることで立体画像の視差の分布を表現している。
【００８２】
視差ヒストグラム作成部２０１は、入力された視差マップから視差ヒストグラムを作成する。例えば、図７Ｂで示す視差ヒストグラムのように、図７Ａの視差マップから、縦軸を度数（視差マップ内で同じ視差値を持つ画素値の数）、横軸を視差値（飛出し方向の視差値を大、奥行き方向の視差値を小として）グラフ化すればよい。なお、図７Ｂでは、便宜上、視差値の最小値に縦軸（度数の軸）を描いているが、図２Ａ，図２Ｂの例と同様に視差値は負の値をとるものとする。
【００８３】
視差ヒストグラム処理部２０２は、視差ヒストグラム作成部２０１で作成された視差ヒストグラムを用いて視差ヒストグラム処理を行う。本実施形態では、図７Ｂのグラフで表現される視差マップの視差ヒストグラムに基づいて、最終的に視差分布の変換を行うことになる。また、本実施形態では、視差ヒストグラムのビンの値をそのまま視差値として用いて視差ヒストグラムを作成することとするが、ビンの数として任意の値を定義し、その値に正規化して視差ヒストグラムを作成しても構わない。
【００８４】
本実施形態による視差ヒストグラム処理の一例を図８Ａ〜図８Ｃを用いて説明する。視差ヒストグラム処理部２０２では、まず、所定の閾値Ｈｉｓｔ＿ＴＨに基づいて、視差ヒストグラムの領域分割処理を行う。なお、Ｈｉｓｔ＿ＴＨ≧０とする。視差ヒストグラムの値Ｈ（ｄ）に対して、Ｈ（ｄ）＞Ｈｉｓｔ＿ＴＨの領域を有効領域（図８Ａの領域Ｉ〜ＩＶ）、Ｈ（ｄ）≦Ｈｉｓｔを無効領域として領域分割処理を行う。
【００８５】
ここでは、Ｈｉｓｔ＿ＴＨ＝０として図７Ｂの視差ヒストグラムの領域分割を行うものとする。その結果が図８Ａの視差ヒストグラムとなる。ここで、有効領域とは、図８Ａの領域Ｉ〜ＩＶで示すように、上記閾値より大きな度数をもつ視差値の視差ヒストグラム上の領域であり、無効領域とは、図８Ａにおける領域Ｉ〜ＩＶ以外の領域で示すように、上記閾値以下の度数をもつ視差値の視差ヒストグラム上の領域である。
【００８６】
本実施形態の視差ヒストグラム処理部２０２では、このような有効領域を視差連続域として検出し、このような無効領域を視差不連続域として検出する。つまり、この領域分割処理では、有効領域に属する視差値を視差連続域に属する視差値として検出し、無効領域に属する視差値を視差不連続域に属する視差値として検出する。
【００８７】
このようにして、本実施形態の連続性検出部３１は、視差ヒストグラム作成部２０１が立体画像の視差成分である視差マップから視差ヒストグラムを作成し、視差ヒストグラム処理部２０２が、そのヒストグラムに対し、所定の閾値より大きな度数をもつ視差値のヒストグラム上の領域（有効領域）を視差連続域として検出し、その所定の閾値以下の度数をもつ視差値のヒストグラム上の領域（無効領域）を視差不連続域として検出する処理（領域分割処理）を行う。
【００８８】
連続性検出部３１は、その結果として、視差連続領域の検出ができる。具体的には視差ヒストグラム上の視差連続域の視差値が存在する画素領域を、隣接画素間の視差値の差が所定値以下の視差連続領域とみなし、視差ヒストグラム上の視差不連続域の視差値が存在する画素領域を、隣接画素間の視差値の差が所定値より大きい視差連続領域以外とみなすことになる。ある一つの物体（被写体）では隣接画素間の視差値の差が連続的な値をとり、異なる視差値（又は視差レンジ）をもつ物体間では隣接画素間の視差値の差が離散的な値（不連続な値）をとるため、このような近似が可能となる。
【００８９】
次に、視差ヒストグラム処理部２０２は、図８Ｂの視差ヒストグラムで例示したように、領域分割によって無効領域と判定された領域（すなわち削除可能と判定された領域）に対して、視差値の小さい方に向かって各領域のシフト処理を行うことで、全体の視差レンジの圧縮を行う。つまり、視差ヒストグラム処理部２０２は、縮小処理として、視差ヒストグラム上で、視差不連続域（無効領域）を削除して、隣り合う視差連続域（有効領域）間を詰めるようにシフトさせるシフト処理を実行する。このようなシフト処理により、図８Ａの視差ヒストグラムが図８Ｂの視差ヒストグラムのようになり、視差ヒストグラム上での視差値をシフト後のより小さい値にすることができる。これにより、後述の視差変換処理部２０３で視差マップに変換すると、その視差マップ上では結果的に視差不連続域に属する視差値に対して隣接画素間の視差値の差を縮小することができる。
【００９０】
代わりに、視差ヒストグラム処理部２０２は、縮小処理として、視差ヒストグラム上で、視差不連続領域（無効領域）を縮小して、隣り合う有効領域間を詰めるようにシフトさせるシフト処理を実行することで、結果的に視差不連続域に属する視差値に対して隣接画素間の視差値の差を縮小してもよい。また、上述のシフト処理は、削除可能と判定された領域の全てを削除するようにシフトするに限らず、一部を残してシフトしてもよい。つまり、シフト処理は、削除可能と判定された領域のｗ％（０＜ｗ≦１００）だけ削除するようにしても、視差マップに変換した後ではその視差マップの空間的な領域の一部である視差不連続域の視差レンジを縮小（圧縮）することができる。
【００９１】
このようにして、変換処理部３２の視差ヒストグラム処理部２０２は、縮小処理として、視差ヒストグラム上の視差不連続域を縮小又は削除して、隣り合う視差連続域間を詰めるようにシフトさせるシフト処理を実行することで、結果的に視差不連続域に属する視差値に対して隣接画素間の視差値の差を縮小することができる。
【００９２】
次に、視差ヒストグラム処理部２０２は、図８Ｃで例示したように、圧縮された視差ヒストグラムを強調するために、強調処理として、視差ヒストグラム上で、有効領域に属する視差値を１より大きな定数γによって定数倍する拡大処理（つまり、視差ヒストグラム上での有効領域の幅を定数倍する処理）を行う。この例では、ヒストグラム拡大処理として、視差ヒストグラム上の視差値を１より大きな第４の定数γによって定数倍し、第５の定数ｃ２を加算する処理を行う。視差ヒストグラム上での強調処理前の視差値をｄｘとすると、視差ヒストグラム上での強調処理後の視差値ｄｘ′は次式により表わされる。
ｄｘ′ ＝ γ・ｄｘ ＋ ｃ２
【００９３】
この式によって、有効領域Ｉ〜ＩＶが図８Ｃに示したようにγ倍される。図８Ｃでは、視差ヒストグラム上で視差値を定数倍した様子を示しているが、領域Ｉ〜ＩＶの各視差値についてγ倍することで視差ヒストグラム上ではこのようになる。そして、視差ヒストグラム上での視差値が定数倍されるように変換されているため、視差マップに戻した場合でも、その視差マップの空間的な領域の一部である視差連続域の視差レンジを定数倍に強調することができる。よって、本実施形態では、視差分布の変換を、視差マップの統計値を変えることで実行していると言える。
【００９４】
上述したようにγ＞１の場合は強調処理となり、被写体内の連続した視差の勾配が強調される。なお、ここで縮小処理を施したい場合にはγ＜１とすればよく、上述のシフト処理後においても、視差幅が人間視覚特性の許容限界を超えるような量であった場合に、さらに縮小処理を行うこととしても構わない。なお、定数ｃ２は、所定の奥行き分だけ視差連続域の視差値を大きくするための値であり、正の値を採用するが、負の値を採用することで、視差連続域の視差値をその分だけ小さくしてもよい。
【００９５】
このようにして、変換処理部３２の視差ヒストグラム処理部２０２は、強調処理として、視差ヒストグラム上で、シフト処理後の視差ヒストグラム上の視差値を拡大することで視差の勾配を強調するヒストグラム拡大処理を行う。特に、有効領域に属する視差値を１より大きな定数によって定数倍する処理を行うことで、視差マップに変換後の視差連続域に属する視差値に対して隣接画素間の視差値の差を強調することができる。
【００９６】
また、この例では、領域Ｉ〜ＩＶに亘って各視差値を一様に定数倍することとしたが、任意の視差値を中心とし、その視差値からの距離に応じた重みづけを行う非線形な縮小処理を行うこととしても、領域毎に定数γ、ｃ２の値を変更することとしても構わず、視差レンジを強調する処理であればこれに限定するものではない。このように、視差ヒストグラム上の視差連続域毎に第４の定数及び／又は第５の定数を異ならせて処理を行ってもよい。無論、上述したようにγ＜１とすれば視差レンジの縮小も可能である。
【００９７】
また、このような領域分割処理を行う構成においては、変換処理部３２が、上記視差値変換処理として、（ｉ）視差不連続域に対しては縮小処理を施し、（ｉｉ）視差連続域に対しては強調処理を施すことを前提としたが、上記（ｉｉ）の強調処理のみを実行してもよい。また、上記（ｉ）の縮小処理のみを実行することもでき、有効領域と無効領域とで、換言すれば視差連続域と視差不連続域とで処理が異なるようにしておくだけでもよい。
【００９８】
このようにして、変換処理部３２の視差ヒストグラム処理部２０２は、本実施形態の視差値変換処理（つまり本実施形態の縮小処理及び／又は強調処理）を施すことで、視差ヒストグラムを変換する。さらに、視差ヒストグラム処理部２０２は、変換された視差ヒストグラムと変換前の視差ヒストグラムとを視差変換処理部２０３に出力する。
【００９９】
そして、視差変換処理部２０３では、変換前後の視差ヒストグラムから、視差マップを変換するための視差マップ変換テーブルを作成し、作成した視差マップ変換テーブル基づいて、視差マップを変換する。但し、このような変換テーブルは、上述したように視差ヒストグラムに縮小処理又は強調処理の一方を施さない結果からも作成できる。縮小処理を実行しない場合にも、強調処理に先だって上述した領域分割処理を行うものとする。
【０１００】
このようにして、変換処理部３２の視差変換処理部２０３は、シフト処理及びヒストグラム拡大処理を施す前の視差ヒストグラムと施した後の視差ヒストグラムから視差マップを変換するための視差マップ変換テーブルを作成し、その視差マップ変換テーブルに基づいて、視差マップを変換して出力する。
【０１０１】
以上のように、本実施形態によれば、視差分布の変換処理を行う際に、視差マップから作成した視差ヒストグラムから任意の閾値に基づいて有効領域と無効領域に視差ヒストグラムを領域分割し、領域分割された結果に基づいてその視差ヒストグラムを圧縮・強調処理を行い、変換された視差ヒストグラムに基づいて視差値変換処理を行うことで、入力された立体画像内の被写体間の境界での視差値の差が縮小され、被写体内の視差値の勾配が強調されるよう、その立体画像の視差値、つまりその立体画像の奥行きを調整することが可能となる。
【０１０２】
すなわち、本実施形態によれば、立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる、従って、本実施形態では、視聴者が操作部から奥行きの調整を行う場合においても、視差を小さくしようとすると立体感が保てなくなり過ぎることや、視差を大きくしようとすると立体感が増し過ぎて２重像化されてしまうといったことない範囲で、最適な視差調整を行い、視聴者に良好な立体感を提示できるようになる。
【０１０３】
＜第１，第２の実施形態について＞
以上、本発明の第１，第２の実施形態に係る立体画像表示装置において、立体画像の視差分布の変更（調整）の度合い（例えば上述した各式における各パラメータ）の調整は、立体画像における視差量の調整に該当する。このような変更の度合いは、視聴者によって操作部から操作されてもよいし、デフォルト設定に従い決定されてもよい。その他、この変更の度合いは、立体画像のジャンルや、立体画像を構成する視点画像の平均輝度等の画像特徴量など、立体画像の視差以外の指標に応じて、変更されてもよい。いずれの調整においても、各実施形態では、立体画像における視差値が視差連続領域に属するか／視差連続領域以外に属するかの違いに応じて（非特許文献１に記載のような立体視に関する人間の視覚特性に応じて）適応的に視差レンジの強調／圧縮するような視差分布変換を実行できるため、本発明では、良好な立体感を提示できる。
【０１０４】
また、本発明の第１，第２の実施形態として立体画像表示装置について説明したが、本発明は、このような立体画像表示装置から表示デバイスを取り除いた立体画像処理装置としての形態も採り得る。つまり、立体画像を表示する表示デバイス自体は、本発明に係る立体画像処理装置の本体に搭載されていても、外部に接続されていてもよい。このような立体画像処理装置は、テレビ装置やモニタ装置に組み込む以外にも、各種レコーダや各種記録メディア再生装置などの他の映像出力機器に組み込むこともできる。
【０１０５】
また、図１及び図３又は図１及び図６で例示した立体画像表示装置における各部のうち、本発明に係る立体画像処理装置に該当する部分（つまり表示部５０が備える表示デバイスを除く構成要素）は、例えばマイクロプロセッサ（又はＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部又は全部はＬＳＩ（Large Scale Integration）等の集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部又は全部を集積回路／ＩＣチップセットとして搭載することも可能である。
【０１０６】
なお、第１，第２の実施形態では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。各実施形態の機能を実現する立体画像処理装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していても構わないし、あるいは、全ての構成要素を一つの集積回路／ＩＣ（Integrated Circuit）チップセットに実装していても構わず、どのような実装形態であれ、機能として各構成要素を有していればよい。
【０１０７】
また、各実施形態に係る立体画像処理装置は単に、ＣＰＵ（Central Processing Unit）や作業領域としてのＲＡＭ（Random Access Memory）や制御用のプログラムの格納領域としてのＲＯＭ（Read Only Memory）やＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等の記憶装置などで構成することもできる。その場合、上記制御用のプログラムは、本発明に係る処理を実行するための後述の立体画像処理プログラムを含むことになる。この立体画像処理プログラムは、ＰＣ内に立体画像表示用のアプリケーションソフトとして組み込み、ＰＣを立体画像処理装置として機能させることもできる。また、この立体画像処理プログラムは、クライアントＰＣから実行可能な状態でＷｅｂサーバ等の外部サーバに格納されていてもよい。
【０１０８】
以上、本発明に係る立体画像処理装置を中心に説明したが、本発明は、この立体画像処理装置を含む立体画像表示装置における制御の流れを例示したように、立体画像処理方法としての形態も採り得る。この立体画像処理方法は、立体画像の視差分布を変換する方法であって、立体画像について、視差の不連続性から視差連続領域を検出するステップと、視差連続領域に対して視差の勾配を強調する処理を行うステップと、を有するものとする。その他の応用例については、立体画像表示装置について説明したとおりである。
【０１０９】
また、本発明は、その立体画像処理方法をコンピュータにより実行させるための立体画像処理プログラムとしての形態も採り得る。つまり、この立体画像処理プログラムは、コンピュータに、立体画像の視差分布を変換する視差分布変換処理を実行させるためのプログラムである。この視差分布変換処理は、立体画像について、視差の不連続性から視差連続領域を検出するステップと、視差連続領域に対して視差の勾配を強調する処理を行うステップと、を含んでいる。その他の応用例については、立体画像表示装置について説明したとおりである。
【０１１０】
また、その立体画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体としての形態についても容易に理解することができる。このコンピュータとしては、上述したように、汎用のＰＣに限らず、マイクロコンピュータやプログラム可能な汎用の集積回路／チップセットなど、様々な形態のコンピュータが適用できる。また、このプログラムは、可搬の記録媒体を介して流通させるに限らず、インターネット等のネットワークを介して、また放送波を介して流通させることもできる。ネットワークを介して受信するとは、外部サーバの記憶装置などに記録されたプログラムを受信することを指す。
【符号の説明】
【０１１１】
１０…入力部、２０…視差算出部、３０…視差分布変換部、３１…連続性検出部、３２…変換処理部、４０…画像生成部、５０…表示部、１０１…視差構造抽出部、１０２…視差縮小部、１０３…視差連続成分抽出部、１０４…視差強調部、１０５…視差合成部、２０１…視差ヒストグラム作成部、２０２…視差ヒストグラム処理部、２０３…視差変換処理部。
【技術分野】
【０００１】
本発明は、立体画像を処理する立体画像処理装置、立体画像処理方法、及びプログラムに関するものである。
【背景技術】
【０００２】
近年、画像表示装置により立体画像を表示するために用いられている技術では、人間の左右の目に異なる映像を提示することで立体表示を実現しており、人間は左右目用画像内の物体のずれである視差により立体感を知覚している。立体表示の課題として、視差が人間の視覚特性の許容限界を超えるような大きな量になると立体視困難となり、ユーザの疲労、不快感を招くことが挙げられる。
【０００３】
特許文献１には、左右目用画像の相対位置を水平方向にシフトさせるシフト処理を行い、このような画像変換が施された後の左右目用画像の中心を基準として拡大縮小を行うスケーリング処理を行うことで、入力画像における視差の分布が所定の範囲に収まるように制御する方法が開示されている。
【０００４】
また、特許文献２には、立体画像で提示される視差の範囲が人間の視覚特性の許容限界に収まっていても、視差の範囲が表示画面の近傍付近になり、立体感がさほどでもない場合に、左右目用画像を飛出し方向（前方）にシフトさせるように左右目用画像をシフト制御することにより、立体感を増加するように視差を制御する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−５５０２２号公報
【特許文献２】特許第３１５７３８４号公報
【非特許文献】
【０００６】
【非特許文献１】吉田光宏，繁桝博昭，“両眼立体視における局所的な対比効果の時空間的範囲”，IEICE Techinical Report，HIP2010-60(2010-11)，pp.1-6，2010.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に記載の技術では、視差調整前の立体画像の視差の範囲が人間の視覚特性の許容限界に比べて非常に大きい場合には、制御により視差の範囲が大幅に縮小され、それに伴い立体画像で表現される奥行きも大幅に圧縮されるため、立体感が損なわれる可能性がある。
【０００８】
また、特許文献２に記載の技術では、立体画像で提示される視差の範囲を前方にシフト制御することで立体感を強調することは可能であるものの、被写体が飛び出した感覚は得られるが、被写体の奥行きが強調されるわけではない。さらに、前方にシフトすることで立体画像で提示される視差が大きくなり、視差が大きくなると立体画像が見にくくなる要因も大きくなる可能性もある。
【０００９】
一方で、立体視において、物体間の奥行き差は強調して知覚されやすいことが知られている（非特許文献１を参照）が、このような立体視に関する視覚特性は、従来の視差調整技術では全く考慮されていなかった。
【００１０】
本発明は、上述のような実状に鑑みてなされたものであり、その目的は、立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能な立体画像処理装置、立体画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために、本発明の第１の技術手段は、立体画像の視差分布を変換する立体画像処理装置であって、前記立体画像について、視差の不連続性から視差連続領域を検出する連続性検出部と、前記視差連続領域に対して視差の勾配を強調する処理を行う変換処理部と、を備えたことを特徴としたものである。
【００１２】
第２の技術手段は、第１の技術手段において、前記連続性検出部は、前記立体画像の視差成分を視差マップとし、該視差成分を視差連続成分とそれ以外の視差成分に分離する処理を行うことで、前記視差連続領域を検出することを特徴としたものである。
【００１３】
第３の技術手段は、第２の技術手段において、前記変換処理部は、前記視差連続成分を拡大することで視差の勾配を強調する拡大処理と前記視差連続成分以外の視差成分を縮小する縮小処理を行い、前記拡大処理を施した前記視差連続成分と前記縮小処理を施した前記視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力することを特徴としたものである。
【００１４】
第４の技術手段は、第２の技術手段において、前記変換処理部は、前記視差連続成分を拡大することで視差の勾配を強調する拡大処理を行い、前記拡大処理を施した前記視差連続成分と前記視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力することを特徴としたものである。
【００１５】
第５の技術手段は、第２の技術手段において、前記変換処理部は、前記視差連続成分以外の視差成分を縮小することで相対的に前記視差連続成分についての視差の勾配を強調する縮小処理を行い、前記視差連続成分と前記縮小処理を施した前記視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力することを特徴としたものである。
【００１６】
第６の技術手段は、第３又は第４の技術手段において、前記拡大処理は、前記視差連続成分を１より大きな第１の定数によって定数倍する処理であることを特徴としたものである。
【００１７】
第７の技術手段は、第３又は第５の技術手段において、前記縮小処理は、前記視差連続成分以外の視差成分を０以上で１より小さい第２の定数によって定数倍し第３の定数を加算する処理であることを特徴としたものである。
【００１８】
第８の技術手段は、第１の技術手段において、前記連続性検出部は、前記立体画像の視差成分を視差マップとし、該視差マップから視差値のヒストグラムを作成し、該ヒストグラムに対し、所定の閾値より大きな度数をもつ視差値のヒストグラム上の領域を視差連続域として検出し、該所定の閾値以下の度数をもつ視差値のヒストグラム上の領域を視差不連続域として検出する処理を行うことで、前記視差連続領域を検出することを特徴としたものである。
【００１９】
第９の技術手段は、第８の技術手段において、前記変換処理部は、前記ヒストグラム上の前記視差不連続域を縮小又は削除して、隣り合う前記視差連続域間を詰めるようにシフトさせるシフト処理を行い、さらに該シフト処理後のヒストグラム上の視差値を拡大することで視差の勾配を強調するヒストグラム拡大処理を行うことを特徴としたものである。
【００２０】
第１０の技術手段は、第８の技術手段において、前記変換処理部は、前記ヒストグラム上の視差値を拡大することで視差の勾配を強調するヒストグラム拡大処理を行うことを特徴としたものである。
【００２１】
第１１の技術手段は、第８の技術手段において、前記変換処理部は、前記ヒストグラム上の前記視差不連続域を縮小又は削除して、隣り合う前記視差連続域間を詰めるようにシフトさせるシフト処理を行うことを特徴としたものである。
【００２２】
第１２の技術手段は、第９又は第１０の技術手段において、前記ヒストグラム拡大処理は、前記ヒストグラム上の視差値を１より大きな第４の定数によって定数倍し第５の定数を加算する処理であることを特徴としたものである。
【００２３】
第１３の技術手段は、第１２の技術手段において、前記ヒストグラム拡大処理は、前記ヒストグラム上の視差連続域毎に前記第４の定数と前記第５の定数を異ならせて処理を行うことを特徴としたものである。
【００２４】
第１４の技術手段は、第９〜第１３のいずれか１の技術手段において、前記変換処理部は、前記シフト処理及び前記ヒストグラム拡大処理を施す前のヒストグラムと施した後のヒストグラムから前記視差マップを変換するための視差マップ変換テーブルを作成し、該視差マップ変換テーブルに基づいて、前記視差マップを変換して出力することを特徴としたものである。
【００２５】
第１５の技術手段は、立体画像の視差分布を変換する立体画像処理方法であって、前記立体画像について、視差の不連続性から視差連続領域を検出するステップと、前記視差連続領域に対して視差の勾配を強調する処理を行うステップと、を有することを特徴としたものである。
【００２６】
第１６の技術手段は、コンピュータに立体画像の視差分布を変換する視差分布変換処理を実行させるためのプログラムであって、前記視差分布変換処理は、前記立体画像について、視差の不連続性から視差連続領域を検出するステップと、前記視差連続領域に対して視差の勾配を強調する処理を行うステップと、を含むことを特徴としたものである。
【発明の効果】
【００２７】
本発明の一形態によれば、立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になり、立体画像の視差が大きすぎることによる二重像化を防止することと、全体の視差量を圧縮し且つ視差の圧縮により立体感が損なわれないように立体画像の立体感を保持することとを両立させることができ、それにより、視聴者に良好な立体感を提示できるようになる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態に係る立体画像処理装置を含む立体画像表示装置の構成例を示すブロック図である。
【図２Ａ】図１の立体画像表示装置に入力される立体画像の視差マップの一例を示す図である。
【図２Ｂ】図２Ａの視差マップにおける点線に該当する行の視差値を、縦軸を視差値、横軸を水平方向の座標にとってグラフ化した図である。
【図３】図１の立体画像表示装置における視差分布変換部の具体的な構成例を示すブロック図である。
【図４Ａ】図２Ｂの視差マップに対し、図３の視差分布変換部における視差構造抽出部で視差構造抽出した後の行毎の視差マップの一例を示す図である。
【図４Ｂ】図４Ａの視差マップに対し、図３の視差分布変換部における視差縮小部で視差縮小した後の行毎の視差マップの一例を示す図である。
【図４Ｃ】図２Ｂの視差マップと図４Ａの視差マップとにより、図３の視差分布変換部における視差連続成分抽出部で視差連続成分を抽出後の行毎の視差マップの一例を示す図である。
【図４Ｄ】図４Ｃの視差マップに対し、図３の視差分布変換部における視差強調部で視差強調後の行毎の視差マップの一例を示す図である。
【図４Ｅ】図４Ｂの視差マップと図４Ｄの視差マップについて、図３の視差分布変換部における視差合成部で視差合成後の行毎の視差マップの一例を示す図である。
【図５】図１の立体画像表示装置における画像生成部の処理例を説明するためのフロー図である。
【図６】図１の立体画像表示装置における視差分布変換部の具体的な他の構成例を示すブロック図で、本発明の第２の実施形態に係る立体画像処理装置における視差分布変換部の具体的な構成例を示すブロック図である。
【図７Ａ】図１の立体画像表示装置に入力される立体画像の視差マップの他の例を示す図で、第２の実施形態に係る立体画像処理装置に入力される視差マップの一例を示す図である。
【図７Ｂ】図７Ａの視差マップの視差ヒストグラムを示す図である。
【図８Ａ】図７Ｂの視差ヒストグラムをその視差ヒストグラムの値に応じて領域分割を行った結果の一例を示す図である。
【図８Ｂ】図８Ａで領域に分割した結果に基づいて、視差ヒストグラムを圧縮した結果の一例を示す図である。
【図８Ｃ】図８Ｂで視差ヒストグラムを圧縮した結果に基づいて、視差ヒストグラムを強調した結果の一例を示す図である。
【発明を実施するための形態】
【００２９】
本発明に係る立体画像処理装置は、入力された立体画像について、被写体内（連続した視差値をもつ領域）の視差値の勾配が強調され、好ましくは被写体間の境界（視差値が不連続に変化している領域）における視差値の差が縮小されるように、その立体画像の視差分布（つまり各被写体の奥行き）を変換するような、視差調整を実現できる装置である。
以下、添付図面を参照しながら本発明の様々な実施形態について詳細に説明する。
【００３０】
＜第１の実施形態＞
図１は、本発明の第１の実施形態に係る立体画像処理装置を含む立体画像表示装置の構成例を示すブロック図である。
【００３１】
図１で示したように、本実施形態の立体画像表示装置は、複数の視点画像からなる立体画像を入力する入力部１０と、基準視点画像と別視点画像から視差マップを算出する視差算出部２０と、視差算出部２０で得られた視差マップを変更することで、立体画像の視差分布を変更（変換）する視差分布変換部３０と、基準視点画像と視差分布変換部３０で変換後の視差分布から別視点画像を再構成する画像生成部４０と、基準視点画像と画像生成部４０で生成された別視点画像とにより二眼式立体表示を行う表示部５０とを有している。
【００３２】
本実施形態を含め、本発明に係る立体画像処理装置は、各部１０，２０，３０，４０，５０のうち、少なくとも視差分布変換部３０を備え、立体画像の視差分布を変換できればよい。但し、本発明における視差分布変換部３０は、視差分布の変換を、視差マップを変換することで実行しなくても、他の方法で実行してもよい。
【００３３】
以下、本実施形態の立体画像表示装置における各部の詳細を説明する。
入力部１０は、立体画像のデータ（立体画像データ）を入力し、入力された立体画像データから基準視点画像と別視点画像を出力する。ここで、入力される立体画像データは、カメラで撮影することで取得されたもの、放送波によるもの、ローカルの記憶装置や可搬記録メディアから電子的に読み出されたもの、通信により外部サーバ等から取得されたものなど、どのようなものでも構わない。
【００３４】
また、立体画像データは、右目用画像データと左目用画像データから構成されるもの、つまり２つの視点画像から構成されるものであってもよいし、３つ以上の視点画像から構成される多眼表示用の多視点画像データであっても構わない。立体画像データが右目用画像データと左目用画像データから構成される場合は、それぞれを基準視点画像と別視点画像として用い、多視点画像データである場合は、そこから２視点分のデータを選択する。
【００３５】
また、図１の説明や以下の説明では、基本的に、立体画像データが複数の視点画像のデータからなることを前提にしているが、立体画像データは画像データと奥行きデータもしくは視差データから構成されるものであっても構わない。この場合、入力部１０から別視点画像として奥行きデータもしくは視差データが出力されるが、画像データを基準視点画像として用い、奥行きデータもしくは視差データを視差マップとして用いればよい。このような構成の場合、図１の立体画像表示装置では、視差算出部２０が不要になり、視差分布変換部３０が、入力部１０で入力された視差マップを変更することで、立体画像の視差分布を変更（変換）すればよい。但し、画像生成部４０で処理可能な視差マップのフォーマットでない場合には、視差算出部２０を設けておき、視差算出部２０がこのようなフォーマットに変換を行うようにしておけばよい。以下では、奥行きデータもしくは視差データを用いる場合については補足的に簡単に説明する。
【００３６】
視差算出部２０では、基準視点画像と残りの視点画像との視差マップ、つまりこの例では基準視点画像に対するそれぞれの別視点画像の視差マップを算出する。視差マップは、別視点画像の各画素において、基準視点画像内の対応点との間の横方向（水平方向）の座標の差分値を記したものである。
【００３７】
視差マップ算出方法には、ブロックマッチング、動的計画法、グラフカットなどを用いた様々な手法が知られており、いずれを用いてもよいが、縦方向のずれや輝度や色などの差異に頑健な手法によって視差マップを算出することが好ましい。なお、横方向の視差についてのみ説明しているが、縦方向の視差も存在する場合には、同様に、縦方向についての視差マップの算出や視差分布の変換を行うことも可能である。
【００３８】
視差分布変換部３０は、連続性検出部３１及び変換処理部３２を備える。連続性検出部３１は、立体画像について、視差の不連続性から視差連続領域を検出する。ここで、視差の不連続性とは、立体画像において隣接画素間の視差値の差が所定値より大きいこと（被写体の境界等で、隣接画素間において視差値が大きく不連続に変化すること）を指す。また、視差連続領域とは、立体画像において隣接画素間の視差値の差が所定値以内にある領域、つまり、立体画像において視差値が連続的な値をとる領域を指す。同じ視差値をもつ画素領域も上記視差連続領域に属することになる。
【００３９】
換言すれば、連続性検出部３１は、視差値が所定値以内で連続する画素領域か否かを検出することになる。さらに換言すれば、連続性検出部３１は、画素領域が視差値のエッジをもたない非エッジ領域か、視差値のエッジをもつエッジ領域かを検出する。
【００４０】
なお、立体画像が複数の視点画像で構成される場合には、各視点画像間の視差値について、視差の不連続性から視差連続領域を検出すればよい。一つの基準視点画像と視差データもしくは奥行きデータで構成される場合には、その視差データもしくは奥行きデータにおいて、隣接画素に対応するデータ間の差が所定値以内か否かによって、視差の不連続性から視差連続領域を検出すればよい。
【００４１】
変換処理部３２は、連続性検出部３１で検出された視差連続領域に属する視差値と、その視差連続領域以外に属する視差値とで、異なる視差値変換処理を施すことで、視差分布の変換を行う。この視差値変換処理は、視差分布を変換する処理であればよく、この例では視差マップを変換する処理に該当する。このように、変換処理部３２は、立体画像の視差分布の視差値が視差連続領域に属するか／視差連続領域以外に属するかの違いに応じて（非特許文献１に記載のような立体視に関する人間の視覚特性に応じて）適応的になるような視差分布変換を実行できるように、立体画像表示装置に設けた操作部などから視差調整を行うことが可能になり、実際にそのような視差調整を行うことで視聴者に良好な立体感を提示できる。
【００４２】
そして、変換処理部３２は、視差連続領域に対して視差の勾配を強調する処理を行うものとする。また、変換処理部３２は、上記視差値変換処理として、（ｉ）視差連続領域以外に属する視差値に対しては隣接画素間の視差値の差を縮小するような縮小処理を施し、（ｉｉ）視差連続領域に属する視差値に対しては隣接画素間の視差値の差を強調するような強調処理を施すことが好ましい。上記（ｉｉ）の処理が視差連続領域に対して視差の勾配を強調する処理の一例である。算出された視差マップにおいて、上記（ｉ）の処理により立体画像の被写体間の境界における視差値の差（視差が連続している領域間の相対的な距離）が縮小され、上記（ｉｉ）の処理により被写体内（連続した視差値をもつ領域）の視差値の勾配が強調される。つまり、変換処理部３２は、算出された視差マップにおいて、立体画像内の被写体間の境界での視差値の差が縮小され、被写体内の視差値の勾配が強調されるように、視差分布を変換する。
【００４３】
但し、変換処理部３２は、上述したような視差値変換処理に限らず、視差連続領域に属する視差値と視差連続領域以外に属する視差値とで異なる処理を実行すればよく、例えば上記（ｉ）の処理だけを施し、視差連続領域に属する視差値はそのままにしても、あるいは上記（ｉｉ）の処理だけを施し、視差連続領域以外に属する視差値はそのままにしてもてもよい。その他、例えば、視差連続領域以外に属する視差値に対して大幅な縮小処理を施し、視差連続領域に属する視差値に対して僅かに縮小処理を施してもよいし、視差連続領域以外に属する視差値に対して僅かに強調処理を施し、視差連続領域に属する視差値に対して大幅な強調処理を施してもよい。
【００４４】
なお、立体画像が２つの視点画像で構成される場合には、連続性検出部３１が２つの視点画像間で視差の不連続性から視差連続領域を検出し、変換処理部３２がその２つの視点画像による視差分布を変換する。立体画像が３以上の視点画像で構成される場合には、ある定めた視点画像（基準視点画像）と他の複数の視点画像との間のそれぞれで、このような検出・変換処理を施せばよい。
【００４５】
次に、具体的な視差マップの例を挙げて、本実施形態における視差分布変換処理の一例を説明する。算出された視差マップの例を図２Ａに、図２Ａの視差マップのある行（図２Ａの点線部分）の視差をグラフにしたものを図２Ｂに示す。図２Ａの視差マップは、各画素で算出された視差値を輝度値に割り当てたもので、飛出し方向に行くに従って大きな輝度値を、奥行き方向に行くに従って小さな輝度値を割り当てることで、立体画像における視差値の空間分布を表現している。図２Ｂは、図２Ａの視差マップの点線の行の視差値を、縦軸を視差値（飛出し方向の視差値を大、奥行き方向の視差値を小として）、横軸を水平方向の座標にとってグラフ化したものである。また、図２Ｂでは、便宜上、視差値の最小値に横軸（水平方向座標の軸）を描いているが、視差値は奥行き方向の場合に負値をとり、飛出し方向の場合に正値をとるものとする。この例では、図２Ｂのグラフで表現される行毎の視差値に基づいて視差分布を変換する。
【００４６】
ここでは、このような図２Ｂの視差マップについて、上記視差値変換処理として、（ｉ）視差連続成分以外の視差成分に対しては縮小処理を施し、（ｉｉ）視差連続成分に対しては強調処理を施した例を、図３及び図４Ａ〜図４Ｅを参照しながら説明する。この例では、立体画像の視差成分を視差マップとし、連続性検出部３１が、視差成分を視差連続成分とそれ以外の視差成分に分離する処理を行うことで、視差連続領域を検出し、変換処理部３２が、視差連続領域に該当する視差連続成分について強調処理を施す例を説明する。ここでは、視差マップにおけるある１行の視差値に基づいて視差分布を変換する手順を説明するが、他の行についても同様の変換を行うことで、立体画像全体としての視差分布変換を行うことができる。
【００４７】
図３は、本実施形態による視差分布変換部３０の具体的な構成例を示すブロック図である。図３で示すように、本実施形態における視差分布変換部３０は、行毎の視差マップから視差構造を抽出する視差構造抽出部１０１と、視差構造抽出部１０１で抽出した視差構造抽出後の視差マップの縮小処理を行う視差縮小部１０２と、行毎の視差マップから視差構造抽出後の視差マップの差分を取ることで視差連続成分を抽出する視差連続成分抽出部１０３と、視差連続成分抽出部１０３で抽出された視差マップの視差連続成分の視差値の差を強調する視差強調部１０４と、視差縮小部１０２及び視差強調部１０４で変換された行毎の視差マップを合成して変換後視差マップを出力する視差合成部１０５とを備える。ここで、視差構造抽出部１０１及び視差連続成分抽出部１０３が上述の連続性検出部３１の例に相当し、視差縮小部１０２、視差強調部１０４、及び視差合成部１０５が上述の変換処理部３２に相当する。
【００４８】
また、図４Ａ〜図４Ｅは、図２Ｂの視差マップに対し、図３で示す視差分布変換部３０で視差分布変換処理を施した中間結果及び最終結果の一例を示す図である。ここで、図４Ａ、図４Ｂ、図４Ｃ、図４Ｄ、図４Ｅはそれぞれ、図２Ｂの視差マップに対し視差構造を抽出した後の行毎の視差マップ、図４Ａの視差マップに対し視差値の差を縮小した後の行毎の視差マップ、図２Ｂの視差マップと図４Ａの視差マップとにより視差連続成分を抽出した後の行毎の視差マップ、図４Ｃの視差マップに対し視差値の差を強調した後の行毎の視差マップ、図４Ｂの視差マップと図４Ｄの視差マップについて視差値を合成した後の行毎の視差マップの一例である。図４Ｂ、図４Ｄの行毎の視差マップの一例では、処理前の行毎の視差マップを点線で示している。
【００４９】
視差構造抽出部１０１では、行毎の視差値から視差の構造を抽出する処理を行う。抽出する視差の構造とは、図２Ｂで例示したように、視差値の大まかな空間構造を指し、視差マップにおける視差値の低周波数成分（低域成分）と境界成分（エッジ成分）を指す。この例では、エッジ保存型の非線形の平滑化フィルタであるイプシロンフィルタを用いて視差値を求めることとする。座標ｘの視差値をｄ（ｘ）、１次元のガウシアンフィルタをａ[i]、ウィンドウサイズをＷ、定数をεとすると、視差構造抽出後の視差値ｄｘ（ｘ）は次式により表わされる。その結果、図２Ｂの視差マップは図４Ａの視差マップのように、エッジ部分（隣接画素の視差値の差が所定値より大きい、視差連続領域以外の視差成分）と、それ以外の平坦な非エッジ部分（隣接画素の視差値の差が所定値以内の視差連続領域の視差成分）とが現れる。
【００５０】
【数１】
【００５１】
この例では、１次元のイプシロンフィルタを用いた処理を行うこととしたが、２次元のイプシロンフィルタを用いても、メディアンフィルタを代表としたランクオーダーフィルタや、バイラテラルフィルタや、トリラテラルフィルタ等を用いても構わず、エッジ保存型の非線形の平滑化フィルタであればこれに限定するものではない。
【００５２】
このようにして、連続性検出部３１における視差構造抽出部１０１は、視差値の大まかな空間構造を、立体画像の視差マップにおける視差値の低域成分とエッジ成分とを抽出することで検出する。
【００５３】
視差縮小部１０２は、視差構造抽出部１０１で抽出された行毎の視差マップを縮小する処理を行う。この例では、縮小処理として、視差連続領域以外に属する視差値に対して、隣接画素間の視差値の差を、第２の定数αによってα倍する処理を採用する。ここでは、定数αは０≦α＜１とする。なお、第１の定数については後述する。つまり、この縮小処理は、視差連続成分以外の視差成分を定数α倍する処理である。この縮小処理は、上述した視差構造をα倍する処理と言え、非特許文献１に記載の人間の視覚特性（物体間の奥行き差が強調されて見えてしまう特性）を利用して、強調され易い方の領域である被写体間の視差値の差（視差レンジ）を縮小する処理である。
【００５４】
さらに、この縮小処理は視差連続成分以外の視差成分を定数α倍すると共に、第３の定数ｃ１を加算する処理とする。縮小処理前の視差値をｄｘとすると、縮小処理後の視差値ｄｘ′は次式により表わされる。この式によって、図４Ｂに示したように、隣接画素間の視差値の差（視差レンジ）もα倍されることになる。
ｄｘ′ ＝ α・ｄｘ ＋ ｃ１
【００５５】
なお、ｄｘ′に関し、手前にある被写体ほど視差値が大きく、奥にある被写体ほど視差値が小さいことを前提に説明しているが、逆に手前ほど視差値が小さく奥側ほど視差値が大きいような値を採用して処理してもよい。また、定数ｃ１は、視差値が小さくなり過ぎないよう、図４Ｂの場合のように視差値の嵩上げを行うために正の値であってもよいし、視差値を一定値だけ下げるために負の値を採用してもよい。
【００５６】
この例では、視差連続領域以外の視差レンジを定数倍することとしたが、任意の視差値を中心とし、その視差値からの距離に応じた重みづけを行う非線形な縮小処理を行うこととしても構わず、視差レンジを縮小する処理であればこれに限定するものではない。
【００５７】
視差連続成分抽出部１０３は、図２Ｂで例示した行毎の視差マップから図４Ａで例示した視差構造抽出部１０１で抽出した行毎の視差値の差分を取ることで、図４Ｃで例示するように行毎の視差マップの視差連続成分を抽出する。このようにして、連続性検出部３１における視差連続成分抽出部１０３は、視差連続領域を、視差マップにおける視差値の視差連続成分を抽出することで検出する。
【００５８】
視差強調部１０４は、視差連続成分抽出部１０３で抽出された行毎の視差連続成分の視差マップの強調処理を行う。この例では、強調処理として、視差連続領域に属する視差値に対して、隣接画素間の視差値の差（視差レンジ）を、第１の定数β（β＞α）によってβ倍する処理を採用する。ここでは、定数βは１より大きい定数とする。つまり、この強調処理は、視差連続成分を１より大きな定数βによって定数倍する拡大処理である。
【００５９】
この例では、定数αは縮小処理なので０≦α＜１とし、定数βは強調処理なので１より大きい定数としたが、視差構造成分の視差レンジ縮小処理に対して相対的に視差勾配を強調する効果が得られればよく、すなわち定数αより大きい値であればよい。逆を言えば、定数αは定数βより小さい値であればよく、縮小処理であるものの０≦α＜１に限定されるものではない。上述の強調処理は、非特許文献１に記載の人間の視覚特性（物体間の奥行き差が強調されて見えてしまう特性、逆を言えば、１つの物体内の奥行き差は知覚し難い特性）を利用して、知覚し難い方の領域である視差連続領域の視差値の差（視差レンジ）を強調する処理である。
【００６０】
強調処理前の視差値をｄｘとすると、強調処理後の視差値ｄｘ′は次式により表わされる。この式によって、図４Ｃの視差マップが図４Ｄの視差マップのようになり、隣接する画素間の視差値の差もβ倍されることになる。
ｄｘ′ ＝ β・ｄｘ
【００６１】
ここで、上述したように、同じ視差値をもつ画素領域（つまり、一様な視差値をもつ平面的で真正面を向いた１つの物体など）も上記視差連続領域に属することになる。その場合にも、上記強調処理は、視差連続領域に属する視差値に対して隣接画素間の視差値の差を強調する処理であり、この例でも同様に定数αより大きな定数で定数倍すればよい。このような画素領域については元々の視差値の差が０であるため、そのような定数倍の結果、視差値の差を０に保つことになる。
【００６２】
この例では、視差連続領域の視差レンジを定数倍することとしたが、原点からの距離に応じた重みづけを行う非線形な処理を行うこととしても構わず、視差レンジを強調する処理であればこれに限定するものではない。
【００６３】
また、以上の例では、行毎の１次元の処理を例として説明したが、２次元フィルタを用いて、行毎に分けずに一括して処理しても構わない。
【００６４】
ここで例示したように視差の大まかな空間構造成分と視差連続成分を検出する構成においては、変換処理部３２が、上記視差値変換処理として、（ｉ）視差連続領域以外の視差レンジに対しては縮小処理を施し、（ｉｉ）視差連続領域の視差レンジに対しては強調処理を施すことを前提としたが、これに限らず、視差連続領域以外と視差連続領域とで視差レンジに対する処理が異なるようにしてもよい。
【００６５】
視差合成部１０５では、視差縮小部１０２及び視差強調部１０４で変換された行毎の視差マップの合成処理を行う。この例では、視差縮小部１０２で縮小された行毎の視差マップの視差連続成分以外の視差成分と、視差強調部１０４で強調された行毎の視差マップの視差連続成分との視差値の加算処理を行うことで、行毎の視差マップの合成処理を行う。
【００６６】
このようにして、変換処理部３２における視差合成部１０５は、視差連続領域以外に属する視差値（つまり視差連続成分以外の視差成分）に対して縮小処理を施した後の視差マップと、視差連続領域に属する視差値（つまり視差連続成分）に対して強調処理を施した後の視差マップとを加算することで、視差分布の変換を完了させる。
【００６７】
すなわち、変換処理部３２は、視差連続成分を拡大することで視差の勾配を強調する拡大処理と、視差連続成分以外の視差成分を縮小する縮小処理を行い、拡大処理を施した視差連続成分と縮小処理を施した視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力する。
【００６８】
縮小処理だけ施すことで、変換処理部３２は、視差連続成分以外の視差成分を縮小することで相対的に視差連続成分についての視差の勾配を強調する縮小処理を行うことになり、この場合にも、視差連続成分と縮小処理を施した視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力する。視差連続成分を拡大することで視差の勾配を強調する拡大処理だけを施した後も同様に、変換処理部３２は、拡大処理を施した視差連続成分と視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力すればよい。
【００６９】
図１に戻って、視差分布変換後の処理について説明する。画像生成部４０は、基準視点画像と視差分布変換部３０で変換後の視差マップから別視点画像を再構成する。より具体的には、画像生成部４０は、基準指定画像の各画素について、その座標の視差値を視差マップから読み取り、再構成する別視点画像において、視差値分だけ座標をずらした画像に画素値をコピーする。この処理を基準視点画像の全ての画素について行うが、同一の画素に複数の画素値が割り当てられる場合は、ｚバッファ法に基づき、視差値が飛出し方向に最大の画素の画素値を用いる。
【００７０】
図５を参照しながら、画像生成部４０における別視点画像の再構成処理の一例を説明する。（ｘ，ｙ）は画像内の座標を示すが、図５では各行での処理であり、ｙは一定である。Ｆ、Ｇ、Ｄはそれぞれ基準視点画像、表示用別視点画像、視差マップを示している。Ｚは、処理の過程において表示用別視点画像の各画素の視差値を保持するための配列であり、ｚバッファと呼ぶ。Ｗは画像の横方向の画素数である。
【００７１】
まず、ステップＳ１において、ｚバッファを初期値ＭＩＮで初期化する。視差値は飛出し方向の場合に正値、奥行き方向の場合に負値をとるものとし、ＭＩＮは、視差算出部２０で算出した視差の最小値よりも小さい値とする。さらに、以降のステップで左端画素から順に処理を行うために、ｘに０を入力する。ステップＳ２において、視差マップの視差値と、その視差値分だけ座標を移動させた画素のｚバッファの値を比較し、視差値がｚバッファの値より大きいか否かを判定する。視差値がｚバッファの値よりも大きい場合は、ステップＳ３に進み、表示用別視点画像に基準視点画像の画素値を割り当てる。また、ｚバッファの値を更新する。
【００７２】
次にステップＳ４において、現在の座標が右端画素だった場合は終了し、そうでない場合はステップＳ５に進み、右隣りの画素へ移動してステップＳ２に戻る。ステップＳ２において、視差値がｚバッファの値以下の場合は、ステップＳ３を通らずにステップＳ４へ進む。これらの手順を全ての行で行う。視差値分だけ座標を横方向にのみ移動させて再構成するため、基準視点画像との間に視差以外の差異がない表示用別視点画像を生成することができる。
【００７３】
さらに、本実施形態に係る立体画像表示装置では、画像生成部４０が、画素値が割り当てられなかった画素について補間処理を行い、画素値を割り当てる。つまり、画像生成部４０は画像補間部を具備し、常に画素値を決定できるようにしておく。この補間処理は、画素値未割当の画素について、その左側で最も近傍の画素値割当済の画素と、その右側で最も近傍の画素値割当済の画素との画素値の平均値を用いて行う。ここでは、補間処理として近傍画素値の平均値を用いたが、平均値を用いる方法に限らず、画素の距離に応じた重みづけを行ってもよいし、その他のフィルタ処理を採用するなど、他の方法を採用してもよい。
【００７４】
表示部５０は、表示デバイスと、その表示デバイスに、基準視点画像と画像生成部４０で生成された別視点画像（元々別視点画像を入力する構成においては、再構成後の別視点画像を指す）とを表示要素とする立体画像を出力する制御を行う表示制御部とで構成される。すなわち、表示部５０は、基準視点画像と生成された別視点画像とを入力し、二眼式立体表示を行う。入力部１０での基準視点画像が左目用画像、別視点画像が右目用画像だった場合は、基準視点画像を左目用画像、再構成後の別視点画像を右目用画像として表示する。入力部１０での基準視点画像が右目用画像、別視点画像が左目用画像だった場合は、基準視点画像を右目用画像、再構成後の別視点画像を左目用画像として表示する。
【００７５】
また、入力部１０に入力された画像が多視点画像だった場合は、選択された２視点分のデータの視点位置の対応関係により基準視点画像と別視点画像を左右目用画像のどちらに表示するかを決定する。なお、入力部１０に入力された画像データが画像データと奥行きデータもしくは視差データであった場合は、画像データを左右目用画像のどちらで使用するかの設定に従って決定する。表示部５０は、上述のように表示制御部と表示デバイスとでなるが、他の実施形態での説明も含め、以下では単に表示部５０での処理として説明する。
【００７６】
以上のように、本実施形態によれば、視差分布の変換処理を行う際に、視差マップから視差の構造を抽出し、抽出した視差マップを用いて視差の視差連続成分の抽出処理を行い、抽出された視差マップの構造部分の視差レンジを縮小処理した結果と視差連続成分の視差レンジを強調処理した結果とを合成した変換後視差マップに基づいて、視差分布変換処理を行うことで、入力された立体画像内の被写体間の視差値の差（視差レンジ）が縮小され、被写体内の視差値の勾配が強調されるよう、その立体画像の視差値、つまりその立体画像の奥行きを調整することが可能となる。
【００７７】
すなわち、本実施形態によれば、立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる、従って、本実施形態では、視聴者が操作部から奥行きの調整を行う場合においても、視差を小さくしようとすると立体感が保てなくなり過ぎることや、視差を大きくしようとすると立体感が増し過ぎて２重像化されてしまうといったことない範囲で、最適な視差調整を行い、視聴者に良好な立体感を提示できるようになる。
【００７８】
＜第２実施形態＞
本発明の第２の実施形態に係る立体画像表示装置は、図１で示した立体画像表示装置において、視差分布変換部３０の具体的な構成例が図３で説明した構成例とは異なるものであり、視差ヒストグラム値に基づいて視差分布を変換する。但し、本実施形態においても第１の実施形態と同様に、視差分布変換部３０における連続性検出部３１が、立体画像において、視差の不連続性から視差連続領域を検出するのと同等の処理を行い、視差分布変換部３０における変換処理部３２が、視差連続領域に属する視差値と視差連続領域以外に属する視差値とで、異なる視差値変換処理を施すのと同等の処理を行う。
【００７９】
以下では、図６、図７Ａ、図７Ｂ、図８Ａ〜図８Ｃを参照しながら、第１の実施形態と同一部分の説明は省略し、視差分布変換部３０の具体的な別の構成例に関してのみ説明する。図６は、本実施形態による視差分布変換部３０の構成の一例を示すブロック図である。図７Ａは、図１の立体画像表示装置に入力される立体画像の視差マップの他の例を示す図で、図７Ｂは、図７Ａの視差マップの視差値のヒストグラム（以下、視差ヒストグラム）を示す図である。また、図８Ａは、図７Ｂの視差ヒストグラムをその視差ヒストグラムの値に応じて領域分割を行った結果の一例を示す図、図８Ｂは、図８Ａで領域に分割した結果に基づいて、視差ヒストグラムを圧縮した結果の一例を示す図、図８Ｃは、図８Ｂで視差ヒストグラムを圧縮した結果に基づいて、視差ヒストグラムを強調した結果の一例を示す図である。
【００８０】
図６で示すように、本実施形態における視差分布変換部３０は、視差マップから視差ヒストグラムを作成する視差ヒストグラム作成部２０１と、視差ヒストグラム作成部２０１で作成された視差ヒストグラムから視差分布を変換するための視差ヒストグラム処理部２０２と、視差ヒストグラム処理部２０２で算出された視差ヒストグラム処理結果に基づき視差マップを変換して変換後視差マップを出力する視差変換処理部（視差値変換処理部）２０３とを備える。視差ヒストグラム作成部２０１と視差ヒストグラム処理部２０２の一部が連続性検出部３１の一例に相当し、視差ヒストグラム処理部２０２の残りと視差変換処理部２０３が変換処理部３２の一例に相当する。
【００８１】
図７Ａで例示した視差算出部２０で算出された視差マップは、図２Ａと同様に、各画素で算出された視差値を輝度値に割り当てたもので、飛出し方向に行くに従って大きな輝度値を、奥行き方向に行くに従って小さな輝度値を割り当てることで立体画像の視差の分布を表現している。
【００８２】
視差ヒストグラム作成部２０１は、入力された視差マップから視差ヒストグラムを作成する。例えば、図７Ｂで示す視差ヒストグラムのように、図７Ａの視差マップから、縦軸を度数（視差マップ内で同じ視差値を持つ画素値の数）、横軸を視差値（飛出し方向の視差値を大、奥行き方向の視差値を小として）グラフ化すればよい。なお、図７Ｂでは、便宜上、視差値の最小値に縦軸（度数の軸）を描いているが、図２Ａ，図２Ｂの例と同様に視差値は負の値をとるものとする。
【００８３】
視差ヒストグラム処理部２０２は、視差ヒストグラム作成部２０１で作成された視差ヒストグラムを用いて視差ヒストグラム処理を行う。本実施形態では、図７Ｂのグラフで表現される視差マップの視差ヒストグラムに基づいて、最終的に視差分布の変換を行うことになる。また、本実施形態では、視差ヒストグラムのビンの値をそのまま視差値として用いて視差ヒストグラムを作成することとするが、ビンの数として任意の値を定義し、その値に正規化して視差ヒストグラムを作成しても構わない。
【００８４】
本実施形態による視差ヒストグラム処理の一例を図８Ａ〜図８Ｃを用いて説明する。視差ヒストグラム処理部２０２では、まず、所定の閾値Ｈｉｓｔ＿ＴＨに基づいて、視差ヒストグラムの領域分割処理を行う。なお、Ｈｉｓｔ＿ＴＨ≧０とする。視差ヒストグラムの値Ｈ（ｄ）に対して、Ｈ（ｄ）＞Ｈｉｓｔ＿ＴＨの領域を有効領域（図８Ａの領域Ｉ〜ＩＶ）、Ｈ（ｄ）≦Ｈｉｓｔを無効領域として領域分割処理を行う。
【００８５】
ここでは、Ｈｉｓｔ＿ＴＨ＝０として図７Ｂの視差ヒストグラムの領域分割を行うものとする。その結果が図８Ａの視差ヒストグラムとなる。ここで、有効領域とは、図８Ａの領域Ｉ〜ＩＶで示すように、上記閾値より大きな度数をもつ視差値の視差ヒストグラム上の領域であり、無効領域とは、図８Ａにおける領域Ｉ〜ＩＶ以外の領域で示すように、上記閾値以下の度数をもつ視差値の視差ヒストグラム上の領域である。
【００８６】
本実施形態の視差ヒストグラム処理部２０２では、このような有効領域を視差連続域として検出し、このような無効領域を視差不連続域として検出する。つまり、この領域分割処理では、有効領域に属する視差値を視差連続域に属する視差値として検出し、無効領域に属する視差値を視差不連続域に属する視差値として検出する。
【００８７】
このようにして、本実施形態の連続性検出部３１は、視差ヒストグラム作成部２０１が立体画像の視差成分である視差マップから視差ヒストグラムを作成し、視差ヒストグラム処理部２０２が、そのヒストグラムに対し、所定の閾値より大きな度数をもつ視差値のヒストグラム上の領域（有効領域）を視差連続域として検出し、その所定の閾値以下の度数をもつ視差値のヒストグラム上の領域（無効領域）を視差不連続域として検出する処理（領域分割処理）を行う。
【００８８】
連続性検出部３１は、その結果として、視差連続領域の検出ができる。具体的には視差ヒストグラム上の視差連続域の視差値が存在する画素領域を、隣接画素間の視差値の差が所定値以下の視差連続領域とみなし、視差ヒストグラム上の視差不連続域の視差値が存在する画素領域を、隣接画素間の視差値の差が所定値より大きい視差連続領域以外とみなすことになる。ある一つの物体（被写体）では隣接画素間の視差値の差が連続的な値をとり、異なる視差値（又は視差レンジ）をもつ物体間では隣接画素間の視差値の差が離散的な値（不連続な値）をとるため、このような近似が可能となる。
【００８９】
次に、視差ヒストグラム処理部２０２は、図８Ｂの視差ヒストグラムで例示したように、領域分割によって無効領域と判定された領域（すなわち削除可能と判定された領域）に対して、視差値の小さい方に向かって各領域のシフト処理を行うことで、全体の視差レンジの圧縮を行う。つまり、視差ヒストグラム処理部２０２は、縮小処理として、視差ヒストグラム上で、視差不連続域（無効領域）を削除して、隣り合う視差連続域（有効領域）間を詰めるようにシフトさせるシフト処理を実行する。このようなシフト処理により、図８Ａの視差ヒストグラムが図８Ｂの視差ヒストグラムのようになり、視差ヒストグラム上での視差値をシフト後のより小さい値にすることができる。これにより、後述の視差変換処理部２０３で視差マップに変換すると、その視差マップ上では結果的に視差不連続域に属する視差値に対して隣接画素間の視差値の差を縮小することができる。
【００９０】
代わりに、視差ヒストグラム処理部２０２は、縮小処理として、視差ヒストグラム上で、視差不連続領域（無効領域）を縮小して、隣り合う有効領域間を詰めるようにシフトさせるシフト処理を実行することで、結果的に視差不連続域に属する視差値に対して隣接画素間の視差値の差を縮小してもよい。また、上述のシフト処理は、削除可能と判定された領域の全てを削除するようにシフトするに限らず、一部を残してシフトしてもよい。つまり、シフト処理は、削除可能と判定された領域のｗ％（０＜ｗ≦１００）だけ削除するようにしても、視差マップに変換した後ではその視差マップの空間的な領域の一部である視差不連続域の視差レンジを縮小（圧縮）することができる。
【００９１】
このようにして、変換処理部３２の視差ヒストグラム処理部２０２は、縮小処理として、視差ヒストグラム上の視差不連続域を縮小又は削除して、隣り合う視差連続域間を詰めるようにシフトさせるシフト処理を実行することで、結果的に視差不連続域に属する視差値に対して隣接画素間の視差値の差を縮小することができる。
【００９２】
次に、視差ヒストグラム処理部２０２は、図８Ｃで例示したように、圧縮された視差ヒストグラムを強調するために、強調処理として、視差ヒストグラム上で、有効領域に属する視差値を１より大きな定数γによって定数倍する拡大処理（つまり、視差ヒストグラム上での有効領域の幅を定数倍する処理）を行う。この例では、ヒストグラム拡大処理として、視差ヒストグラム上の視差値を１より大きな第４の定数γによって定数倍し、第５の定数ｃ２を加算する処理を行う。視差ヒストグラム上での強調処理前の視差値をｄｘとすると、視差ヒストグラム上での強調処理後の視差値ｄｘ′は次式により表わされる。
ｄｘ′ ＝ γ・ｄｘ ＋ ｃ２
【００９３】
この式によって、有効領域Ｉ〜ＩＶが図８Ｃに示したようにγ倍される。図８Ｃでは、視差ヒストグラム上で視差値を定数倍した様子を示しているが、領域Ｉ〜ＩＶの各視差値についてγ倍することで視差ヒストグラム上ではこのようになる。そして、視差ヒストグラム上での視差値が定数倍されるように変換されているため、視差マップに戻した場合でも、その視差マップの空間的な領域の一部である視差連続域の視差レンジを定数倍に強調することができる。よって、本実施形態では、視差分布の変換を、視差マップの統計値を変えることで実行していると言える。
【００９４】
上述したようにγ＞１の場合は強調処理となり、被写体内の連続した視差の勾配が強調される。なお、ここで縮小処理を施したい場合にはγ＜１とすればよく、上述のシフト処理後においても、視差幅が人間視覚特性の許容限界を超えるような量であった場合に、さらに縮小処理を行うこととしても構わない。なお、定数ｃ２は、所定の奥行き分だけ視差連続域の視差値を大きくするための値であり、正の値を採用するが、負の値を採用することで、視差連続域の視差値をその分だけ小さくしてもよい。
【００９５】
このようにして、変換処理部３２の視差ヒストグラム処理部２０２は、強調処理として、視差ヒストグラム上で、シフト処理後の視差ヒストグラム上の視差値を拡大することで視差の勾配を強調するヒストグラム拡大処理を行う。特に、有効領域に属する視差値を１より大きな定数によって定数倍する処理を行うことで、視差マップに変換後の視差連続域に属する視差値に対して隣接画素間の視差値の差を強調することができる。
【００９６】
また、この例では、領域Ｉ〜ＩＶに亘って各視差値を一様に定数倍することとしたが、任意の視差値を中心とし、その視差値からの距離に応じた重みづけを行う非線形な縮小処理を行うこととしても、領域毎に定数γ、ｃ２の値を変更することとしても構わず、視差レンジを強調する処理であればこれに限定するものではない。このように、視差ヒストグラム上の視差連続域毎に第４の定数及び／又は第５の定数を異ならせて処理を行ってもよい。無論、上述したようにγ＜１とすれば視差レンジの縮小も可能である。
【００９７】
また、このような領域分割処理を行う構成においては、変換処理部３２が、上記視差値変換処理として、（ｉ）視差不連続域に対しては縮小処理を施し、（ｉｉ）視差連続域に対しては強調処理を施すことを前提としたが、上記（ｉｉ）の強調処理のみを実行してもよい。また、上記（ｉ）の縮小処理のみを実行することもでき、有効領域と無効領域とで、換言すれば視差連続域と視差不連続域とで処理が異なるようにしておくだけでもよい。
【００９８】
このようにして、変換処理部３２の視差ヒストグラム処理部２０２は、本実施形態の視差値変換処理（つまり本実施形態の縮小処理及び／又は強調処理）を施すことで、視差ヒストグラムを変換する。さらに、視差ヒストグラム処理部２０２は、変換された視差ヒストグラムと変換前の視差ヒストグラムとを視差変換処理部２０３に出力する。
【００９９】
そして、視差変換処理部２０３では、変換前後の視差ヒストグラムから、視差マップを変換するための視差マップ変換テーブルを作成し、作成した視差マップ変換テーブル基づいて、視差マップを変換する。但し、このような変換テーブルは、上述したように視差ヒストグラムに縮小処理又は強調処理の一方を施さない結果からも作成できる。縮小処理を実行しない場合にも、強調処理に先だって上述した領域分割処理を行うものとする。
【０１００】
このようにして、変換処理部３２の視差変換処理部２０３は、シフト処理及びヒストグラム拡大処理を施す前の視差ヒストグラムと施した後の視差ヒストグラムから視差マップを変換するための視差マップ変換テーブルを作成し、その視差マップ変換テーブルに基づいて、視差マップを変換して出力する。
【０１０１】
以上のように、本実施形態によれば、視差分布の変換処理を行う際に、視差マップから作成した視差ヒストグラムから任意の閾値に基づいて有効領域と無効領域に視差ヒストグラムを領域分割し、領域分割された結果に基づいてその視差ヒストグラムを圧縮・強調処理を行い、変換された視差ヒストグラムに基づいて視差値変換処理を行うことで、入力された立体画像内の被写体間の境界での視差値の差が縮小され、被写体内の視差値の勾配が強調されるよう、その立体画像の視差値、つまりその立体画像の奥行きを調整することが可能となる。
【０１０２】
すなわち、本実施形態によれば、立体画像の視差分布を、立体視に関する人間の視覚特性に応じて適応的に変換することが可能になる、従って、本実施形態では、視聴者が操作部から奥行きの調整を行う場合においても、視差を小さくしようとすると立体感が保てなくなり過ぎることや、視差を大きくしようとすると立体感が増し過ぎて２重像化されてしまうといったことない範囲で、最適な視差調整を行い、視聴者に良好な立体感を提示できるようになる。
【０１０３】
＜第１，第２の実施形態について＞
以上、本発明の第１，第２の実施形態に係る立体画像表示装置において、立体画像の視差分布の変更（調整）の度合い（例えば上述した各式における各パラメータ）の調整は、立体画像における視差量の調整に該当する。このような変更の度合いは、視聴者によって操作部から操作されてもよいし、デフォルト設定に従い決定されてもよい。その他、この変更の度合いは、立体画像のジャンルや、立体画像を構成する視点画像の平均輝度等の画像特徴量など、立体画像の視差以外の指標に応じて、変更されてもよい。いずれの調整においても、各実施形態では、立体画像における視差値が視差連続領域に属するか／視差連続領域以外に属するかの違いに応じて（非特許文献１に記載のような立体視に関する人間の視覚特性に応じて）適応的に視差レンジの強調／圧縮するような視差分布変換を実行できるため、本発明では、良好な立体感を提示できる。
【０１０４】
また、本発明の第１，第２の実施形態として立体画像表示装置について説明したが、本発明は、このような立体画像表示装置から表示デバイスを取り除いた立体画像処理装置としての形態も採り得る。つまり、立体画像を表示する表示デバイス自体は、本発明に係る立体画像処理装置の本体に搭載されていても、外部に接続されていてもよい。このような立体画像処理装置は、テレビ装置やモニタ装置に組み込む以外にも、各種レコーダや各種記録メディア再生装置などの他の映像出力機器に組み込むこともできる。
【０１０５】
また、図１及び図３又は図１及び図６で例示した立体画像表示装置における各部のうち、本発明に係る立体画像処理装置に該当する部分（つまり表示部５０が備える表示デバイスを除く構成要素）は、例えばマイクロプロセッサ（又はＤＳＰ：Digital Signal Processor）、メモリ、バス、インターフェイス、周辺装置などのハードウェアと、これらのハードウェア上にて実行可能なソフトウェアとにより実現できる。上記ハードウェアの一部又は全部はＬＳＩ（Large Scale Integration）等の集積回路／ＩＣ（Integrated Circuit）チップセットとして搭載することができ、その場合、上記ソフトウェアは上記メモリに記憶しておければよい。また、本発明の各構成要素の全てをハードウェアで構成してもよく、その場合についても同様に、そのハードウェアの一部又は全部を集積回路／ＩＣチップセットとして搭載することも可能である。
【０１０６】
なお、第１，第２の実施形態では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。各実施形態の機能を実現する立体画像処理装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していても構わないし、あるいは、全ての構成要素を一つの集積回路／ＩＣ（Integrated Circuit）チップセットに実装していても構わず、どのような実装形態であれ、機能として各構成要素を有していればよい。
【０１０７】
また、各実施形態に係る立体画像処理装置は単に、ＣＰＵ（Central Processing Unit）や作業領域としてのＲＡＭ（Random Access Memory）や制御用のプログラムの格納領域としてのＲＯＭ（Read Only Memory）やＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）等の記憶装置などで構成することもできる。その場合、上記制御用のプログラムは、本発明に係る処理を実行するための後述の立体画像処理プログラムを含むことになる。この立体画像処理プログラムは、ＰＣ内に立体画像表示用のアプリケーションソフトとして組み込み、ＰＣを立体画像処理装置として機能させることもできる。また、この立体画像処理プログラムは、クライアントＰＣから実行可能な状態でＷｅｂサーバ等の外部サーバに格納されていてもよい。
【０１０８】
以上、本発明に係る立体画像処理装置を中心に説明したが、本発明は、この立体画像処理装置を含む立体画像表示装置における制御の流れを例示したように、立体画像処理方法としての形態も採り得る。この立体画像処理方法は、立体画像の視差分布を変換する方法であって、立体画像について、視差の不連続性から視差連続領域を検出するステップと、視差連続領域に対して視差の勾配を強調する処理を行うステップと、を有するものとする。その他の応用例については、立体画像表示装置について説明したとおりである。
【０１０９】
また、本発明は、その立体画像処理方法をコンピュータにより実行させるための立体画像処理プログラムとしての形態も採り得る。つまり、この立体画像処理プログラムは、コンピュータに、立体画像の視差分布を変換する視差分布変換処理を実行させるためのプログラムである。この視差分布変換処理は、立体画像について、視差の不連続性から視差連続領域を検出するステップと、視差連続領域に対して視差の勾配を強調する処理を行うステップと、を含んでいる。その他の応用例については、立体画像表示装置について説明したとおりである。
【０１１０】
また、その立体画像処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体としての形態についても容易に理解することができる。このコンピュータとしては、上述したように、汎用のＰＣに限らず、マイクロコンピュータやプログラム可能な汎用の集積回路／チップセットなど、様々な形態のコンピュータが適用できる。また、このプログラムは、可搬の記録媒体を介して流通させるに限らず、インターネット等のネットワークを介して、また放送波を介して流通させることもできる。ネットワークを介して受信するとは、外部サーバの記憶装置などに記録されたプログラムを受信することを指す。
【符号の説明】
【０１１１】
１０…入力部、２０…視差算出部、３０…視差分布変換部、３１…連続性検出部、３２…変換処理部、４０…画像生成部、５０…表示部、１０１…視差構造抽出部、１０２…視差縮小部、１０３…視差連続成分抽出部、１０４…視差強調部、１０５…視差合成部、２０１…視差ヒストグラム作成部、２０２…視差ヒストグラム処理部、２０３…視差変換処理部。
【特許請求の範囲】
【請求項１】
立体画像の視差分布を変換する立体画像処理装置であって、
前記立体画像について、視差の不連続性から視差連続領域を検出する連続性検出部と、
前記視差連続領域に対して視差の勾配を強調する処理を行う変換処理部と、
を備えたことを特徴とする立体画像処理装置。
【請求項２】
前記連続性検出部は、前記立体画像の視差成分を視差マップとし、該視差成分を視差連続成分とそれ以外の視差成分に分離する処理を行うことで、前記視差連続領域を検出することを特徴とする請求項１に記載の立体画像処理装置。
【請求項３】
前記変換処理部は、前記視差連続成分を拡大することで視差の勾配を強調する拡大処理と前記視差連続成分以外の視差成分を縮小する縮小処理を行い、前記拡大処理を施した前記視差連続成分と前記縮小処理を施した前記視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力することを特徴とする請求項２に記載の立体画像処理装置。
【請求項４】
前記変換処理部は、前記視差連続成分を拡大することで視差の勾配を強調する拡大処理を行い、前記拡大処理を施した前記視差連続成分と前記視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力することを特徴とする請求項２に記載の立体画像処理装置。
【請求項５】
前記変換処理部は、前記視差連続成分以外の視差成分を縮小することで相対的に前記視差連続成分についての視差の勾配を強調する縮小処理を行い、前記視差連続成分と前記縮小処理を施した前記視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力することを特徴とする請求項２に記載の立体画像処理装置。
【請求項６】
前記拡大処理は、前記視差連続成分を１より大きな第１の定数によって定数倍する処理であることを特徴とする請求項３又は４に記載の立体画像処理装置。
【請求項７】
前記縮小処理は、前記視差連続成分以外の視差成分を０以上で１より小さい第２の定数によって定数倍し第３の定数を加算する処理であることを特徴とする請求項３又は５に記載の立体画像処理装置。
【請求項８】
前記連続性検出部は、前記立体画像の視差成分を視差マップとし、該視差マップから視差値のヒストグラムを作成し、該ヒストグラムに対し、所定の閾値より大きな度数をもつ視差値のヒストグラム上の領域を視差連続域として検出し、該所定の閾値以下の度数をもつ視差値のヒストグラム上の領域を視差不連続域として検出する処理を行うことで、前記視差連続領域を検出することを特徴とする請求項１に記載の立体画像処理装置。
【請求項９】
前記変換処理部は、前記ヒストグラム上の前記視差不連続域を縮小又は削除して、隣り合う前記視差連続域間を詰めるようにシフトさせるシフト処理を行い、さらに該シフト処理後のヒストグラム上の視差値を拡大することで視差の勾配を強調するヒストグラム拡大処理を行うことを特徴とする請求項８に記載の立体画像処理装置。
【請求項１０】
前記変換処理部は、前記ヒストグラム上の視差値を拡大することで視差の勾配を強調するヒストグラム拡大処理を行うことを特徴とする請求項８に記載の立体画像処理装置。
【請求項１１】
前記変換処理部は、前記ヒストグラム上の前記視差不連続域を縮小又は削除して、隣り合う前記視差連続域間を詰めるようにシフトさせるシフト処理を行うことを特徴とする請求項８に記載の立体画像処理装置。
【請求項１２】
前記ヒストグラム拡大処理は、前記ヒストグラム上の視差値を１より大きな第４の定数によって定数倍し第５の定数を加算する処理であることを特徴とする請求項９又は１０に記載の立体画像処理装置。
【請求項１３】
前記ヒストグラム拡大処理は、前記ヒストグラム上の視差連続域毎に前記第４の定数と前記第５の定数を異ならせて処理を行うことを特徴とする請求項１２に記載の立体画像処理装置。
【請求項１４】
前記変換処理部は、前記シフト処理及び前記ヒストグラム拡大処理を施す前のヒストグラムと施した後のヒストグラムから前記視差マップを変換するための視差マップ変換テーブルを作成し、該視差マップ変換テーブルに基づいて、前記視差マップを変換して出力することを特徴とする請求項９〜１３のいずれか１項に記載の立体画像処理装置。
【請求項１５】
立体画像の視差分布を変換する立体画像処理方法であって、
前記立体画像について、視差の不連続性から視差連続領域を検出するステップと、
前記視差連続領域に対して視差の勾配を強調する処理を行うステップと、
を有することを特徴とする立体画像処理方法。
【請求項１６】
コンピュータに立体画像の視差分布を変換する視差分布変換処理を実行させるためのプログラムであって、
前記視差分布変換処理は、前記立体画像について、視差の不連続性から視差連続領域を検出するステップと、前記視差連続領域に対して視差の勾配を強調する処理を行うステップと、を含むことを特徴とするプログラム。
【請求項１】
立体画像の視差分布を変換する立体画像処理装置であって、
前記立体画像について、視差の不連続性から視差連続領域を検出する連続性検出部と、
前記視差連続領域に対して視差の勾配を強調する処理を行う変換処理部と、
を備えたことを特徴とする立体画像処理装置。
【請求項２】
前記連続性検出部は、前記立体画像の視差成分を視差マップとし、該視差成分を視差連続成分とそれ以外の視差成分に分離する処理を行うことで、前記視差連続領域を検出することを特徴とする請求項１に記載の立体画像処理装置。
【請求項３】
前記変換処理部は、前記視差連続成分を拡大することで視差の勾配を強調する拡大処理と前記視差連続成分以外の視差成分を縮小する縮小処理を行い、前記拡大処理を施した前記視差連続成分と前記縮小処理を施した前記視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力することを特徴とする請求項２に記載の立体画像処理装置。
【請求項４】
前記変換処理部は、前記視差連続成分を拡大することで視差の勾配を強調する拡大処理を行い、前記拡大処理を施した前記視差連続成分と前記視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力することを特徴とする請求項２に記載の立体画像処理装置。
【請求項５】
前記変換処理部は、前記視差連続成分以外の視差成分を縮小することで相対的に前記視差連続成分についての視差の勾配を強調する縮小処理を行い、前記視差連続成分と前記縮小処理を施した前記視差連続成分以外の視差成分を加算する加算処理を行って、変換処理後の視差マップとして出力することを特徴とする請求項２に記載の立体画像処理装置。
【請求項６】
前記拡大処理は、前記視差連続成分を１より大きな第１の定数によって定数倍する処理であることを特徴とする請求項３又は４に記載の立体画像処理装置。
【請求項７】
前記縮小処理は、前記視差連続成分以外の視差成分を０以上で１より小さい第２の定数によって定数倍し第３の定数を加算する処理であることを特徴とする請求項３又は５に記載の立体画像処理装置。
【請求項８】
前記連続性検出部は、前記立体画像の視差成分を視差マップとし、該視差マップから視差値のヒストグラムを作成し、該ヒストグラムに対し、所定の閾値より大きな度数をもつ視差値のヒストグラム上の領域を視差連続域として検出し、該所定の閾値以下の度数をもつ視差値のヒストグラム上の領域を視差不連続域として検出する処理を行うことで、前記視差連続領域を検出することを特徴とする請求項１に記載の立体画像処理装置。
【請求項９】
前記変換処理部は、前記ヒストグラム上の前記視差不連続域を縮小又は削除して、隣り合う前記視差連続域間を詰めるようにシフトさせるシフト処理を行い、さらに該シフト処理後のヒストグラム上の視差値を拡大することで視差の勾配を強調するヒストグラム拡大処理を行うことを特徴とする請求項８に記載の立体画像処理装置。
【請求項１０】
前記変換処理部は、前記ヒストグラム上の視差値を拡大することで視差の勾配を強調するヒストグラム拡大処理を行うことを特徴とする請求項８に記載の立体画像処理装置。
【請求項１１】
前記変換処理部は、前記ヒストグラム上の前記視差不連続域を縮小又は削除して、隣り合う前記視差連続域間を詰めるようにシフトさせるシフト処理を行うことを特徴とする請求項８に記載の立体画像処理装置。
【請求項１２】
前記ヒストグラム拡大処理は、前記ヒストグラム上の視差値を１より大きな第４の定数によって定数倍し第５の定数を加算する処理であることを特徴とする請求項９又は１０に記載の立体画像処理装置。
【請求項１３】
前記ヒストグラム拡大処理は、前記ヒストグラム上の視差連続域毎に前記第４の定数と前記第５の定数を異ならせて処理を行うことを特徴とする請求項１２に記載の立体画像処理装置。
【請求項１４】
前記変換処理部は、前記シフト処理及び前記ヒストグラム拡大処理を施す前のヒストグラムと施した後のヒストグラムから前記視差マップを変換するための視差マップ変換テーブルを作成し、該視差マップ変換テーブルに基づいて、前記視差マップを変換して出力することを特徴とする請求項９〜１３のいずれか１項に記載の立体画像処理装置。
【請求項１５】
立体画像の視差分布を変換する立体画像処理方法であって、
前記立体画像について、視差の不連続性から視差連続領域を検出するステップと、
前記視差連続領域に対して視差の勾配を強調する処理を行うステップと、
を有することを特徴とする立体画像処理方法。
【請求項１６】
コンピュータに立体画像の視差分布を変換する視差分布変換処理を実行させるためのプログラムであって、
前記視差分布変換処理は、前記立体画像について、視差の不連続性から視差連続領域を検出するステップと、前記視差連続領域に対して視差の勾配を強調する処理を行うステップと、を含むことを特徴とするプログラム。
【図１】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図５】
【図６】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図２Ａ】
【図７Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図４Ｄ】
【図４Ｅ】
【図５】
【図６】
【図７Ｂ】
【図８Ａ】
【図８Ｂ】
【図８Ｃ】
【図２Ａ】
【図７Ａ】
【公開番号】特開２０１３−５８８４９（Ｐ２０１３−５８８４９Ａ）
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願番号】特願２０１１−１９５０７３（Ｐ２０１１−１９５０７３）
【出願日】平成２３年９月７日（２０１１．９．７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【出願人】（５０９０９３０２６）公立大学法人高知工科大学 (95)
【Ｆターム（参考）】
【公開日】平成２５年３月２８日（２０１３．３．２８）
【国際特許分類】
【出願日】平成２３年９月７日（２０１１．９．７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【出願人】（５０９０９３０２６）公立大学法人高知工科大学 (95)
【Ｆターム（参考）】
[ Back to top ]