立体画像処理装置および立体画像処理方法
【課題】 立体画像処理装置において、立体感の乏しい立体画像を判別し、立体画像の立体感の特徴に応じて立体感を強調する補正処理を行う。
【解決手段】 立体画像を入力し、該立体画像の１以上の視差特徴量を算出し、該視差特徴量により前記立体画像を複数のシーンに分類する。また、前記シーンに基づき立体画像補正処理を行う。
【解決手段】 立体画像を入力し、該立体画像の１以上の視差特徴量を算出し、該視差特徴量により前記立体画像を複数のシーンに分類する。また、前記シーンに基づき立体画像補正処理を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像処理装置および立体画像処理方法に関するものである。
【背景技術】
【０００２】
人間は、一定の間隔を持つ２つの目により得られる視覚情報の違いから、空間を把握する能力を持つ。左右の眼による異なる視点から得られる像のずれを視差と呼ぶ。人間は、視差を手掛かりの一つとして、物体までの距離を把握している。実際、物体までの距離は視差から算出することが可能である。このことを利用して、右目用画像を右目に表示し、左目用画像を左目に表示する立体画像表示装置を用意し、右目用画像、左目用画像として視差を設けた画像を提示することにより立体視が可能であることが知られている。ここでは、立体視を意図して視差を設けた複数の画像のことを立体画像と称する。また、物体までの距離を「奥行」と表現する。立体画像を撮影したカメラの焦点距離やカメラの間隔が既知であれば、視差と奥行は互いに変換可能である。
【０００３】
人間は立体視において、視差に応じた両眼の光軸のなす角度、すなわち輻輳角の大きさを対象物までの距離に対応付けていると言われている。よって、左目用画像上のある被写体の位置より右目用画像上のその被写体の位置の方が、左目用画像上から見て相対的に右側にずれるよう視差を付けた画像を見せると、被写体が実際の表示面より遠景側にあるように知覚させることができる。逆に、左目用画像上のある被写体の位置より右目用画像上のその被写体の位置の方が、左目用画像上から見て相対的に左側にずれるよう視差を付けた画像を見せると、被写体が実際の表示面より近景側にあるように知覚させることができる。
【０００４】
以下では、左目用画像を基準として右目用画像上の被写体の右方向の視差のずれを、正の視差として説明する。被写体は、視差量が正の値であると表示画面より遠景方向に見える。視差量が０の場合はちょうど表示画面と同じ距離にあるように見える。視差量が負の値になる場合、すなわち左目用画像を基準として右目用画像上の被写体が左方向にずれている場合は、表示画面より近景方向に見える。視差量の単位としては、例えば画像におけるピクセル数を用いることができる。
【０００５】
しかし、立体画像の視差量を正の方向に大きくしすぎ、観察者の目の間隔、正確には無限遠を見ている時の瞳孔間の距離を超えた視差量とすると、自然界では起き得ない状態となり、立体視が不可能となるか、立体視できたとしても人体に強い負担を強いることになる。一方、視差量を負の方向に大きくしすぎると、極度な寄り目を観察者に強いることとなり、快適な立体視ができなくなる。またいずれの場合においても、視差量が正又は負の方向に大きくなるほど輻輳と目の焦点の調節との乖離が大きくなり、不自然な状態となるので、違和感を生じる。このように、立体画像の視差量がある一定の範囲では快適に立体視が可能であるが、視差量が大きくなると両目の画像が融合しなくなり、立体視が困難あるいは不可能となる。
【０００６】
特許文献１には、これに対する解決手段が開示されている。図２５は特許文献１に記載の発明の要部を図解したものであり、これを用いて説明する。図２５においては、視差計算部５００は左右眼用の画像から、画面全体について各座標における視差を計算した視差地図を計算する。計算方法は、左右画像の輝度パターンの相関を計算する相関マッチング法等を用いる。注視点計算部５０１において立体画像の視差の最大値、すなわち最遠景視差量を計算し、視差制御部５０２が画面表示部５０３の表示画面上での左右のずれ量を、その最遠景視差量が観察者の両眼間隔を越えないように設定する。両眼間隔は、成人の場合約６５ｍｍである。これにより、観察者の視線が平行より広がることがなくなり、両目の画像の視差が融合する範囲内になるように制御することができる。あるいは、注視点計算部５０１において立体画像の視差の最小値、すなわち最近景視差量を計算し、視差制御部５０２が画面表示部５０３の表示画面上での左右のずれ量を、その最近景視差量が、ある所定の大きさβ以下にならないように設定する方法が開示されている。これにより、観察者の視点が非常に近い位置になり３次元画像表示面からの目のピント情報と視線の輻輳角の大きな不一致状態をなくすことが出来、観察者が表示画像を両眼融合しやすくなるように左右画像を制御することができる。つまり、立体画像に対してこのような補正処理を行うことにより、常に視聴者に見やすい立体画像を呈示できる。
【０００７】
また、例えば人物の上半身をアップで写した立体画像のように、被写体が画像の周辺部分にかかっており、その被写体が画面より手前に知覚されるような視差量を有する場合、その視差量にも関わらず手前に飛び出して見え難いという現象がある。視聴者にとって、表示装置の画面に表示された被写体が画面の枠部分で切り取られて手前に浮いて見えるという状況が違和感をもって感じられ、被写体が飛び出して知覚することを妨げてしまうことが原因と考えられる。
【０００８】
一方特許文献２には、表示される映像の種類に応じて適切に映像表示特性を調整する技術が開示されている。
【０００９】
図２６は特許文献２に記載の発明の要部を図解したものであり、これを用いて説明する。輝度情報検出部６０９は、受信部６０２から出力される映像信号Ｄｂに含まれる輝度信号Ｙの各画素における輝度より、輝度情報値Ｙｉを検出する。コンテンツ特徴検出部６１０は、輝度情報値Ｙｉをもとに各フレームの映像コンテンツの特徴を判定し、コンテンツ特徴判定値Ｊｉを複数コンテンツ特徴検出器６１１に出力する。複数コンテンツ特徴検出部６１１は複数フレーム分のコンテンツ特徴判定値Ｊｉより、変動の少ない映像コンテンツ判定（一時的変動の影響を受けにくいコンテンツ判定）を行い、より尤もらしい判定結果としての、複数コンテンツ特徴判定値Ｆｉを補正制御部６０６に出力する。補正制御部６０６は、複数コンテンツ特徴判定値Ｆｉを基にそれぞれのコンテンツの特徴に応じた映像補正値Ｐｉを映像補正部６０５に出力する。映像補正部６０５は、入力された映像補正パラメータＰｉを用いて映像信号Ｄｃに対して映像補正を行い、それを映像信号Ｄｄとして表示部６０４に出力する。このような構成により、入力された映像の種類に応じて適切な画質補正を行う。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平７−１６７６３３号公報
【特許文献２】特開２００８−１３４２７７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
立体画像は上記のように、視差量が正の方向に大きすぎても負の方向に大きすぎても、立体視が困難あるいは不可能となる。このため立体画像は、あまり大きな視差を付け過ぎないように製作されているものも多い。また、立体画像は上記のように、被写体が画像の周辺部分にかかっておりその被写体が画面より手前に知覚されるような視差量を有する場合、その視差量にも関わらず手前に飛び出して見え難いという現象がある。このため立体画像は、被写体があまり画面より手前に飛び出し過ぎないように製作されているものも多い。しかし画一的に上記のような方針で立体画像を製作すると、奥行が感じられない立体画像や被写体が飛び出して見えることのない立体画像、すなわち立体感が乏しい立体画像が多くなり、立体画像の特性が生かされないことになる。
【００１２】
これに対して、立体画像の表示時に立体感の乏しい立体画像に対して立体感の強調処理を行うことが考えられる。この時、全ての立体画像の立体感が乏しいわけではないため、立体感の乏しい立体画像に選択的に立体感の強調処理を行うことが望ましい。また、立体感が乏しい要因は様々であるので、立体画像の立体感の特徴に応じて立体感の強調処理の種類や強調量を変えることが望ましい。
【００１３】
しかしながら、特許文献１に記載の立体画像の調整機能は、立体画像を見やすく疲れにくくすること、すなわち立体視の安全性を考慮したものであって、立体感の強調を考慮したものではない。立体感の乏しい立体画像を判別する機能や立体画像の立体感の特徴を検出する機能を有しておらず、上記のような立体感の強調処理を適切に行うことはできない。
【００１４】
また、特許文献２に記載の技術は、表示される映像の輝度情報を用いて映像の特徴を判定し、映像の種類に応じて適切に映像表示特性を調整する技術であるが、これは立体画像ではない通常の画像に対する技術である。立体感の乏しい立体画像を判別する機能や立体画像の立体感の特徴を検出する機能、立体感を強調する機能のいずれも有しておらず、上記のような立体感の強調処理を行うことはできない。
【００１５】
本発明は上記課題を鑑みて成されたものであり、立体感の乏しい立体画像を判別すること及び立体画像の立体感の特徴に応じて立体感を強調する補正処理を行うことを目的とする。
【課題を解決するための手段】
【００１６】
本発明の一態様によれば、本発明の立体画像処理装置は、立体画像のシーンを分類する立体画像処理装置であって、前記立体画像を入力する入力部と、前記立体画像から該立体画像の１以上の視差特徴量を算出する視差特徴量算出部と、前記視差特徴量により前記立体画像を複数のシーンに分類する立体画像分類部とを備えたことを特徴とする。
【００１７】
本発明の別の一態様によれば、本発明の立体画像処理装置は、前記シーンに基づき立体画像補正処理を行う画像補正部を備えても良い。
【００１８】
本発明の別の一態様によれば、前記立体画像補正処理は、前記立体画像の視差調整処理により立体感を強調する処理であっても良い。
【００１９】
本発明の別の一態様によれば、前記視差特徴量は、前記立体画像の最近景の視差量と最遠景の視差量の幅である視差範囲幅であっても良い。
【００２０】
本発明の別の一態様によれば、前記視差特徴量は、視差量に関する第１の定数より近景側の視差量により決定される近景側度数総和であっても良い。
【００２１】
本発明の別の一態様によれば、前記視差特徴量は、前記視差量に関する第１の定数より小さい視差量に関する第２の定数より近景側の視差量により決定される第二近景側度数総和であっても良い。
【００２２】
本発明の別の一態様によれば、前記視差特徴量は、視差量に関する第３の定数より近景側の、前記立体画像の周辺部における視差量により決定される画像周辺部近景側度数総和であっても良い。
【００２３】
本発明の別の一態様によれば、前記立体画像分類部は、前記視差範囲幅と第１の視差範囲幅定数を比較して前記立体画像を分類する処理を行い、前記画像補正部は、前記視差範囲幅が前記第１の視差範囲幅定数より小さいシーンに、前記立体画像の視差を大きくする視差調整処理を行っても良い。
【００２４】
本発明の別の一態様によれば、前記立体画像分類部は、前記視差範囲幅と前記第１の視差範囲幅定数及びそれより大きい第２の視差範囲幅定数を比較して前記立体画像を分類する処理と、前記近景側度数総和と第１の近景側度数総和定数及びそれより大きい第２の近景側度数総和定数を比較して前記立体画像を分類する処理とを行い、前記画像補正処理部は、前記視差範囲幅が前記第１の視差範囲幅定数より大きくかつ前記第２の視差範囲幅定数より小さいシーンであって、かつ前記近景側度数総和が前記第１の近景側度数総和定数より大きくかつ前記第２の近景側度数総和定数より小さいシーンに、前記立体画像の視差を小さくする視差調整処理を行っても良い。
【００２５】
本発明の別の一態様によれば、前記立体画像分類部は、前記視差範囲幅と前記第１の視差範囲幅定数及びそれより大きい前記第２の視差範囲幅定数を比較して前記立体画像を分類する処理と、前記近景側度数総和と第３の近景側度数総和定数を比較して分類する処理と、前記第二近景側度数総和と第４の近景側度数総和定数を比較して前記立体画像を分類する処理とを行い、前記画像補正処理部は、前記視差範囲幅が前記第１の視差範囲幅定数より大きくかつ前記第２の視差範囲幅定数より小さいシーンであって、かつ前記近景側度数総和が前記第３の近景側度数総和定数より大きいシーンであって、かつ前記第二近景側度数総和が前記第４の近景側度数総和定数より小さいシーンに、前記立体画像の視差を小さくする視差調整処理を行っても良い。
【００２６】
本発明の別の一態様によれば、前記立体画像分類部は、前記視差範囲幅と前記第１の視差範囲幅定数を比較して前記立体画像を分類する処理と、前記画像周辺部近景側度数総和と第１の画像周辺部近景側度数総和定数を比較して前記立体画像を分類する処理とを行い、前記画像補正処理部は、前記視差範囲幅が前記第１の視差範囲幅定数より大きいシーンであって、かつ画像周辺部近景側度数総和が前記第１の画像周辺部近景側度数総和定数より大きいシーンに、前記立体画像の視差を大きくする視差調整処理を行っても良い。
【００２７】
本発明の別の一態様によれば、本発明の立体画像処理装置は、立体画像のシーンを分類する立体画像処理装置であって、前記立体画像及び該立体画像の１以上の視差特徴量を入力する入力部と、前記視差特徴量により前記立体画像を複数のシーンに分類する立体画像分類部とを備えたことを特徴とする。
【００２８】
本発明の別の一態様によれば、本発明の立体画像処理装置は、前記シーンの変化により前記立体画像のシーンチェンジを検出するシーンチェンジ検出部を備えても良い。
【００２９】
本発明の別の一態様によれば、本発明の立体画像処理方法は、立体画像のシーンを分類する立体画像処理方法であって、前記立体画像を入力するステップと、前記立体画像から該立体画像の１以上の視差特徴量を算出するステップと、前記視差特徴量により前記立体画像を複数のシーンに分類するステップとを有することを特徴とする。
【００３０】
本発明の別の一態様によれば、本発明の立体画像処理方法は、立体画像のシーンを分類する立体画像処理方法であって、前記立体画像及び該立体画像の１以上の視差特徴量を入力するステップと、前記視差特徴量により前記立体画像を複数のシーンに分類するステップとを有することを特徴とする。
【００３１】
本発明の別の一態様によれば、本発明のプログラムは、コンピュータに立体画像のシーンを分類する立体画像処理を実行させるためのプログラムであって、前記立体画像を入力するステップと、前記立体画像から該立体画像の１以上の視差特徴量を算出するステップと、前記視差特徴量により前記立体画像を複数のシーンに分類するステップとを含むことを特徴とする。
【００３２】
本発明の別の一態様によれば、本発明のプログラムは、コンピュータに立体画像のシーンを分類する立体画像処理を実行させるためのプログラムであって、前記立体画像及び該立体画像の１以上の視差特徴量を入力するステップと、前記視差特徴量により前記立体画像を複数のシーンに分類するステップとを含むことを特徴とする。
【発明の効果】
【００３３】
上記手段により、本発明に係る立体画像処理装置は、立体画像の視差特徴量を算出し、これを用いて立体画像を複数のシーンに分類することが可能となる。また、そのシーンに基づき立体画像の立体感を強調する補正処理を行うことが可能となる。
【図面の簡単な説明】
【００３４】
【図１】立体画像のフレームの概念を説明する図である。
【図２】第１の実施例に係る立体画像表示装置の構成を示すブロック図である。
【図３】第１の実施例に係る視差特徴量算出部の構成を示すブロック図である。
【図４】視差ヒストグラムの一例である。
【図５】第１の実施例における立体画像の分類の種類とそれに対応する画像補正処理を示す図である。
【図６】立体画像とそれによる奥行き知覚を説明する図である。
【図７】立体画像とそれによる奥行き知覚を説明する図である。
【図８】立体画像とそれによる奥行き知覚を説明する図である。
【図９】第２の実施例に係る立体画像表示装置の構成を示すブロック図である。
【図１０】第２の実施例に係る視差特徴量算出部の構成を示すブロック図である。
【図１１】近景側度数総和について説明するための視差ヒストグラムを示した図である。
【図１２】第２の実施例における立体画像の分類の種類とそれに対応する画像補正処理を示す図である。
【図１３】第２の実施例における視差調整量の決定方法を説明する図である。
【図１４】第３の実施例に係る立体画像表示装置の構成を示すブロック図である。
【図１５】第３の実施例に係る視差特徴量算出部の構成を示すブロック図である。
【図１６】画像の周辺部分を説明する図である。
【図１７】第３の実施例における立体画像の分類の種類とそれに対応する画像補正処理を示す図である。
【図１８】第４の実施例に係る立体画像表示装置の構成を示すブロック図である。
【図１９】第４の実施例に係る視差特徴量算出部の構成を示すブロック図である。
【図２０】近景側度数総和及び第二近景側度数総和について説明するための視差ヒストグラムを示した図である。
【図２１】第４の実施例における立体画像の分類の種類とそれに対応する画像補正処理を示す図である。
【図２２】第５の実施例に係る立体画像表示装置の構成を示すブロック図である。
【図２３】第５の実施例に係るシーンチェンジ検出部の構成を示すブロック図である。
【図２４】シーンチェンジ検出に用いるフレームと、それによって検出されるシーンチェンジの位置の関係を説明する図である。
【図２５】特許文献１に記載の視差制御方法を説明する図である。
【図２６】特許文献２に記載の映像表示装置を説明する図である。
【発明を実施するための形態】
【００３５】
以下、添付図面を参照しながら本発明の好適な立体画像処理装置の実施例について詳細に説明する。本発明は、フィールド信号とフレーム信号のいずれに対しても適用できるものであるが、フィールドとフレームは互いに類似の関係にあるため、フレーム信号を代表例として説明するものとする。
【００３６】
まず図１により、本発明における、右目用画像データと左目用画像データからなる立体画像の、フレームの概念について説明する。図１（ａ）に示すのは、1枚の画像の左半分に横方向の解像度を通常の１／２にした左目用画像（Ｌ）を、右半分に横方向の解像度を通常の１／２にした右目用画像（Ｒ）を格納した形式での立体画像である。サイドバイサイド形式と呼ばれている。この場合は、左目用画像（Ｌ）と右目用画像（Ｒ）からなる１枚の画像が１フレームになる。動画の場合は、フレームレートをＸフレーム／秒とすると、上記形式の画像が１秒間にＸ枚、すなわちフレームレートと同一の枚数必要である。
【００３７】
図１（ｂ）に示すのは、1枚の画像の上半分に縦方向の解像度を通常の１／２にした左目用画像（Ｌ）を、下半分に縦方向の解像度を通常の１／２にした右目用画像（Ｒ）を格納した形式での立体画像である。トップアンドボトム形式と呼ばれている。この場合も、左目用画像（Ｌ）と右目用画像（Ｒ）からなる１枚の画像が１フレームになる。動画もサイドバイサイド形式と同様、この形式の画像が１秒間にフレームレートと同一の枚数必要である。またこの他にも、左目用画像と右目用画像を、解像度はそのまま上下につないで大きな１枚の画像とする、フレームパッキングと呼ばれる方式もある。これも動画の場合は、この形式の画像が１秒間にフレームレートと同一の枚数必要である。
【００３８】
一方、図１（ｃ）に示すのは、左目用画像（Ｌ）と右目用画像（Ｒ）を時間軸上で交互に並べた形式での立体画像である。フレームシーケンシャル形式と呼ばれている。この場合は本願では図１（ｃ）に示すように、１枚の左目用画像（Ｌ）と１枚の右目用画像（Ｒ）をセットにして１フレームと数える。よって動画の場合は、フレームレートをＸフレーム／秒とすると、左目用画像（Ｌ）が１秒間にＸ枚、右目用画像（Ｒ）が１秒間にＸ枚、交互に並んでいることから、合計で２Ｘ枚の画像となる。
【００３９】
このように、本願においては、画像の実際の格納形式に関わらず、左目用画像と右目用画像のセットで１フレームと考える。さらには、ｎ視点（ただしｎ＞２とする）の映像からなるｎ眼画像の場合も、ｎ眼分の画像をセットにして１フレームと考える。
【００４０】
次に、本発明における、シーン及びシーンチェンジの定義について説明する。
【００４１】
本発明におけるシーンとは、同一の補正処理を施すことができるような画像群を指すものとする。言い換えると、同一のシーンに分類された画像であれば、同じ補正処理を施すことができる。
【００４２】
本発明では、立体画像の視差情報を用いてシーンの類似を判定し、分類している。２つの立体画像の視差情報が類似していれば、それらの画像は同一のシーンに分類される。
【００４３】
立体画像が動画である場合、単一のカメラで撮影した連続する一連の画像群は、同一シーンである場合が多い。これら一連の画像群においては、視差情報は大きく変わらない場合が多いためである。
【００４４】
また、立体画像の動画においてシーンが変わることをシーンチェンジと呼ぶ。立体画像の視差は通常、シーンチェンジの前後においては不連続に変化する。シーンごとに、被写体が変わったり、被写体とカメラとの位置関係が変わったりするためである。
【実施例１】
【００４５】
本発明の第１の実施例は、立体画像処理装置であって、立体画像の奥行の幅が狭いために立体感が乏しく感じられるシーンに対し、立体感を強調する画像補正処理を行うことを目的としている。このために、立体画像の視差の範囲の幅を立体画像の視差の特徴量として用いてシーン分類を行う。
【００４６】
図２は、第１の実施例にかかる立体画像処理装置１Ａの構成を示すブロック図である。立体画像処理装置１Ａは、入力部２、立体画像処理部３、視差特徴量算出部４Ａ、立体画像分類部５Ａ、画像遅延部６、画像補正部７Ａ、表示制御部８、表示部９、メガネ同期部１０から構成される。また、ユーザが装着するシャッタメガネ１１を用いる。
【００４７】
入力部２は、立体画像データを立体画像処理装置１Ａに入力する部分である。入力される立体画像データは、放送波によるもの、記録メディアから電子的に読み出されたもの、通信により取得されたものなど、どのようなものでも構わない。すなわち、入力部２は、放送電波の受信機装置であっても良いし、半導体メモリ読み出し装置、光ディスクや磁気ディスクの読み出し装置、ネットワークとの通信機能を持つものであっても良い。あるいは、立体画像処理装置１Ａは立体画像が撮影可能なカメラであり、入力部２は多眼カメラであっても良い。要するに、立体画像として解釈可能なデータを入力できるものであれば良い。また、立体画像データは、右目用画像データと左目用画像データからなるものであっても良いし、多眼表示用の多視点画像データであっても良い。また、画像データと奥行データ又は視差データからなるものであっても良い。さらに、立体画像データは、静止画であっても良いし、動画であっても良い。入力部２は、入力された立体画像データを立体画像処理部３に送る。立体画像データが静止画の場合は、同じ画像を連続して出力し、動画と同様に扱う。
【００４８】
立体画像処理部３は、入力部２により画像データの入力を受け、左目用画像データと右目用画像データに展開する。入力された画像データに付加情報がある場合は、付加情報を抽出する。付加情報は、撮影時のカメラパラメータ、視差情報や奥行き情報、視差のヒストグラム情報等であっても良い。前記の通り、入力部２に入力される立体画像データは、右目用画像データと左目用画像データからなるもののほか、様々な形式がありうる。立体画像データが右目用画像データと左目用画像データからなる場合は、それをそのまま用いる。多視点画像データである場合は、そこから２視点分のデータを選択し右目用画像データと左目用画像データとする。立体画像処理部３は、左目用画像データと右目用画像データを、視差特徴量算出部４Ａ及び画像遅延部６に送る。付加情報がある場合は、それも視差特徴量算出部４Ａに送る。なお、立体画像データが画像データと視差データからなる場合は、それらのデータをそのまま視差特徴量算出部４Ａに送ってもよい。また、立体画像データが画像データと奥行データからなる場合は、奥行データを視差データに変換し、画像データと視差データを視差特徴量算出部４Ａに送ってもよい。
【００４９】
視差特徴量算出部４Ａは、左目用画像データと右目用画像データから視差を算出し、さらに視差に関する特徴量である視差特徴量を抽出する。付加情報を用いて視差特徴量を抽出する場合もある。これらの処理の詳細な内容については後述する。視差特徴量算出部４Ａは、抽出した視差特徴量を立体画像分類部５Ａに送る。
【００５０】
立体画像分類部５Ａは、視差特徴量を用いて立体画像を所定の種類に分類する。そして立体画像分類結果を画像補正部７Ａに出力する。
【００５１】
画像遅延部６は、立体画像処理部３より入力された左目用画像データと右目用画像データを保持するメモリを有し、入力された画像データを１フレーム分遅延させて、画像補正部７Ａに出力する。すなわち、（ｎ＋１）フレーム目の画像が入力されているときは、ｎフレーム目の画像を出力する。ｎフレーム目の画像に対して視差特徴量算出部４Ａ、立体画像分類部５Ａで処理を行った結果は、ｎフレーム目の画像を全て処理した後でなければ得られない。よって、その結果を用いて同じｎフレーム目の画像に画像補正処理を施すためには、ｎフレーム目の画像データを保持して遅延して出力することが必要となる。
【００５２】
画像補正部７Ａは、立体画像分類部５Ａから入力した立体画像分類結果を元に、画像補正処理を決定し、画像遅延部６から入力した左目用画像データと右目用画像データに対して画像補正処理を行う。そして画像補正処理後の左目用画像データと右目用画像データを表示制御部８に出力する。
【００５３】
表示制御部８は、画像補正部７Ａから入力した画像補正処理後の左目用画像データと右目用画像データを、立体画像の提示方法に合わせた方式で、表示部９に出力する。また、観察者の装着したシャッタメガネ１１を表示部９における画像表示と同期して動作させるための同期信号をメガネ同期部１０に送る。
【００５４】
表示部９は、表示制御部８から入力した画像を随時表示する。本実施例では、表示部９として液晶表示パネルを用い、左目用画像と右目用画像を交互に表示する。
【００５５】
メガネ同期部１０は、表示制御部８から送られた同期信号を、赤外線や電波等を用いて、シャッタメガネ１１に対して送信する。
【００５６】
シャッタメガネ１１は、メガネ同期部１０から送信された同期信号を受信し、それに従って右目用及び左目用のシャッタを開閉する。観察者はこのシャッタメガネ１１をかけて表示部９を見る。本実施例では前記の通り、表示部９に液晶表示パネルを用い、左目用画像と右目用画像を交互に表示し、観察者の装着したシャッタメガネ１１と同期して立体視を行う方式を用いている。表示部９に左目用画像が表示されているときはシャッタメガネ１１の左目用シャッタを開、右目用シャッタを閉とすることにより左目用画像を左目に呈示し、右目用画像が表示されているときには左目用シャッタを閉、右目用シャッタを開とすることにより右目用画像を右目に呈示して、立体視を実現する。
【００５７】
さらに、視差特徴量算出部４Ａ、立体画像分類部５Ａ、画像補正部７Ａのより詳細な処理内容について説明する。
【００５８】
図３は、視差特徴量算出部４Ａの構成を示すブロック図である。視差算出部４１、視差ヒストグラム作成部４２、視差範囲幅算出部４３から構成されている。
【００５９】
視差算出部４１は、左目用画像データと右目用画像データから、立体画像を構成する右目用画像及び左目用画像の対応点のずれ、即ち視差を、ブロックマッチング等を用いて画像全域にわたって求める。この時、画像内の画素毎に視差を求めても良いし、所定の大きさのブロック（例えば８×８ピクセルのブロック）毎に視差を求めても良い。なお、入力部２に入力される立体画像データの付加情報として、画素毎あるいは所定の大きさのブロック毎の視差が付加されていた場合は、視差算出部４１における処理をスキップしても良い。また、立体画像処理部３から立体画像データとして画像データと視差データが送られてきた場合は、視差算出部４１における処理をスキップする。また、付加情報として画素毎あるいは所定の大きさのブロック毎の奥行及び撮影時のカメラの間隔と焦点距離の情報が付加されていた場合は、カメラの間隔と焦点距離の情報を用いて、奥行を視差に変換しても良い。視差算出部４１は、視差を視差ヒストグラム作成部４２に送る。
【００６０】
視差ヒストグラム作成部４２は、視差算出部４１で求めた画像全域の視差のデータから、その度数分布である視差ヒストグラムを作成する。視差ヒストグラムの代用として奥行きをヒストグラムにしたものでも良い。すなわち立体画像に表現されている表示物の視差またはそれと同等の量の度数分布が表されているものであれば良い。視差ヒストグラム作成部４２は、視差ヒストグラムを視差範囲幅算出部４３に送る。
【００６１】
視差範囲幅算出部４３は、視差ヒストグラム作成部４２から入力した視差ヒストグラムから、その画像における最近景の視差量と最遠景の視差量を求め、その幅を視差特徴量として立体画像分類部５Ａに出力する。このように、立体画像における被写体が存在する視差の範囲を、以下では視差範囲と呼ぶ。また、視差範囲の幅を視差範囲幅と呼び、Ｗと表記する。
【００６２】
図４を用いて視差範囲幅算出部４３の処理の詳細を説明する。図４は視差ヒストグラムの一例を示している。横軸は視差量、縦軸は度数である。視差量が０の点を基準とし、０以上が遠景側、０未満が近景側としている。この視差ヒストグラムには、近景側に小さなピーク、遠景側に大きなピークがある。例えば遠い風景をバックにして近くにいる数人の人間を撮影した場合に、このようなヒストグラムの形となる。閾値Ｔｄは視差ヒストグラムの度数の閾値である。実際の視差ヒストグラムは図４のように滑らかではなく小さなピークが存在するので、その影響を除外するために、閾値Ｔｄを用いる。視差ヒストグラムと閾値Ｔｄの交点の中で最大の視差量を持つ点の視差量を最遠景の視差量とし、最小の視差量を持つ点の視差量を最近景の視差量とする。つまり、図４のように複数の交点がある場合でも、視差が最大及び最小の交点の視差量を最遠景の視差量及び最近景の視差量とする。そして、最遠景の視差量から最近景の視差量を引いたものを視差範囲幅Ｗとする。
【００６３】
なお、ここでは一つの閾値Ｔｄを用いて最遠景の視差量及び最近景の視差量を検出したが、最近景の視差量及び最遠景の視差量で異なる閾値を用いて検出しても構わない。
【００６４】
立体画像分類部５Ａでは、視差範囲幅Ｗを用いて立体画像を分類する。本実施例では、視差範囲幅Ｗの大きさで２種類に分類する。判定のための閾値をＴｗ１Ａとすると、Ｗ＜Ｔｗ１Ａの場合、視差範囲幅の狭い立体画像と分類し、Ｔｗ１Ａ≦Ｗの場合、視差範囲幅の広い立体画像と分類する。この分類結果を画像補正部７Ａに出力する。
【００６５】
このように視差範囲幅の狭い立体画像を分類するため、例えばＴｗ１Ａは以下のように定めることができる。人間が許容できる遠景側の最大視差量は、前記の通り画面上での視差量が無限遠を見ている時の瞳孔間の距離と等しくなる量である。これを遠景側最大視差量とする。一方、人間が許容できる近景側の最大視差量は一般に、人間の目が画面上を見たときの輻輳角と、被写体の見かけの位置を見たときの輻輳角との差である視差角差が１°を超えないような視差量が安全であるとされている。ここから、視差角差が１°となる近景側の視差量を近景側最大視差量とする。そして、遠景側最大視差量から近景側最大視差量を引いたものを最大視差範囲幅Ｗｍａｘとする。このＷｍａｘを基準にしてＴｗ１Ａを定めることができる。例えば、Ｗｍａｘの１０％の値をＴｗ１Ａとする。
【００６６】
図５に、上記分類処理による２種類の分類に関する典型的な視差ヒストグラムの例を示す。各視差ヒストグラムの横軸は視差量、縦軸は度数であり、中央の細い縦線は、視差０の線である。また、各マスの点線以下の部分に、後述の画像補正処理の種類を記載している。
【００６７】
図５の左側の視差ヒストグラムはＷ＜Ｔｗ１Ａを満たし、視差範囲幅の狭い立体画像と分類されたものである。このように視差ヒストグラムが狭い範囲に収まっている。つまり、画像の中の被写体間の奥行の幅が狭く、立体感が乏しい立体画像である。図５の右側の視差ヒストグラムはＴｗ１Ａ≦Ｗを満たし、視差範囲幅の広い立体画像と分類されたものである。このように視差ヒストグラムが広い範囲に分布している。つまり、画像の中に様々な奥行の部分があり、立体感が豊かな立体画像である。
【００６８】
画像補正部７Ａは、視差範囲幅Ｗの大きさによる立体画像分類結果を用い、立体画像が視差範囲幅の狭いシーンと分類された場合に、立体感を強調するよう視差を調整する処理を行う。視差調整の手段として様々な方法が考えられるが、本実施例では左右の画像をそれぞれ水平方向にシフトさせることによる視差調整方法を用いる。図６〜図８を用いて、この原理を説明する。
【００６９】
図６（ａ）は、丸と三角の二つの物体が写っている左右の画像からなる立体画像を示している。図６（ｂ）は、人間がこの立体画像を立体画像表示装置を用いて見たときに各物体の奥行がどのように知覚されるかを示している。表示された左右の画像上の各物体の位置関係により、三角の物体は立体画像表示装置より手前に、丸の物体は奥に知覚される。
【００７０】
図７（ａ）は、図６（ａ）の左目用画像を左にずらし右目用画像を右にずらすシフト処理を施した立体画像を示している。この処理により、視差は画面全体で一様に大きくなる。図７（ｂ）は、図７（ａ）の立体画像による各物体の奥行の知覚を示している。図７（ｂ）を図６（ｂ）と比較すると、いずれの物体もより遠景方向に移動して見える効果があることがわかる。また、丸の物体の方が三角の物体より多く遠景方向に移動しており、二つの物体の奥行の幅が広がっていることがわかる。つまり、より立体感が強調されて見える効果があることがわかる。
【００７１】
図８（ａ）は逆に、図６（ａ）の左目用画像を右にずらし右目用画像を左にずらすシフト処理を施した立体画像を示している。この処理により、視差は画面全体で一様に小さくなる。図８（ｂ）は、図８（ａ）の立体画像による各物体の奥行の知覚を示している。図８（ｂ）を図６（ｂ）と比較すると、いずれの物体もより近景方向に移動して見える効果があることがわかる。また、丸の物体の方が三角の物体より多く近景方向に移動しており、二つの物体の奥行の幅が狭まっていることがわかる。つまり、より立体感が弱められて見える効果があることがわかる。
【００７２】
このように、単純に右目用画像と左目用画像の位置関係を水平方向にずらすシフト処理を施して視差を一様に増減させるだけでも、画像中の物体の知覚される位置を変える効果や、奥行の幅が変わることにより立体感を強調したり弱めたりする効果が得られる。この原理を用いると、物体が手前に飛び出しすぎて見える画像は奥にずらすように調整し、物体が奥すぎて見える画像は手前にずらすように調整する、といったことが可能である。また、意図的に立体感を強調したり弱めたりすることも可能である。なお、このシフト処理では視差を一様に増減させており、視差範囲幅は変わっていないが、奥行の幅は増減する効果がある、ということである。
【００７３】
画像補正部７Ａは、立体画像が視差範囲幅の狭いシーンと分類された場合、すなわち図５における「処理Ａ」と記載のあるマスに分類された場合に、左目用画像を左にずらし右目用画像を右にずらすシフト処理を行い、視差を画面全体で一様に増加させる。このシフト処理は上記で図７を用いて説明したように、奥行の幅を広げてより立体感を強調する効果がある。
【００７４】
次に、上記の視差調整のためのシフト処理の調整量の決定方法を説明する。画像補正前の立体画像の立体感が乏しいほど、立体感をより強く強調する画像補正処理を施す、すなわち調整量を大きくすることが望ましい。上記シフト処理の調整量をａとしたとき、以下のような方法でａを定めることができる。
【００７５】
例えば、前記の視差範囲幅Ｗ及び定数ｃ１を用いて、ａ＝ｃ１／Ｗと定めることができる。視差範囲幅Ｗが狭く立体感が乏しい立体画像ほど、調整量ａが大きくなるようにしたものである。
【００７６】
また、視差ヒストグラムからその最頻値Ｈｍａｘを求め、定数ｃ２を用いて、ａ＝ｃ２×Ｈｍａｘと定めることもできる。図４にＨｍａｘを示す。一般に、視差範囲幅が狭いと視差ヒストグラムの最頻値の度数Ｈｍａｘは高くなる。そこでＨｍａｘが大きいほど調整量ａが大きくなるようにしたものである。
【００７７】
あるいは、上記の視差範囲幅Ｗと視差ヒストグラムの最頻値Ｈｍａｘの両方と定数ｃ３を用いて、ａ＝ｃ３／Ｗ×Ｈｍａｘと定めることもできる。さらには上記の方法を組み合わせ、例えばａ＝ｃ１／Ｗ＋ｃ２×Ｈｍａｘと定めても良い。
【００７８】
立体画像がその他の分類をされた場合、すなわち図５において「−」と記載のあるマスに分類された場合は、画像補正部７Ａは画像補正処理を行わない。この場合は視差範囲幅が中程度以上であり、特に画像補正処理を行わなくても十分立体感が感じられるためである。
【００７９】
以上のように、本実施例における立体画像処理装置１Ａは、立体画像の視差範囲幅Ｗを用いて、立体画像を奥行の幅の狭いシーンと奥行の幅の広いシーンに分類する。これにより、立体画像の視差量の特徴により立体画像の内容に関するシーン分類を行うことができるという効果を有する。このような分類は、従来の輝度情報等を用いた画像の分類手段では不可能であった。
【００８０】
また本実施例における立体画像処理装置１Ａは、立体画像のシーン分類結果を用いて、奥行の幅の狭いシーン、すなわち立体感の乏しいシーンに対し、立体感を強調する画像補正処理を施す。これにより、立体感が少ないシーンに対して選択的に、そのシーンに適した立体感の強調処理を行うことができる、という効果を有する。
【００８１】
また本実施例における立体画像処理装置１Ａは、視差範囲幅Ｗや最頻値Ｈｍａｘといった、立体画像の立体感に関連する特徴量を用いて上記シフト処理の調整量を決定する。これにより、各立体画像に対し最適な調整量を設定することができる、という効果を有する。
【実施例２】
【００８２】
本発明の第２の実施例は、立体画像処理装置であって、第１の実施例で説明した画像補正処理に加えて、被写体の飛び出しが少ないために立体感が乏しく感じられるシーンに対し、被写体を手前に飛び出させて立体感を強調する画像補正処理を行うことを目的としている。このために第１の実施例と比べて、視差特徴量としてさらに、近景側に存在する被写体が画像内に占める割合を示す量を用いてシーン分類を行う。
【００８３】
図９は、第２の実施例にかかる立体画像処理装置１Ｂの構成を示すブロック図である。第１の実施例に係る立体画像処理装置１Ａとは、視差特徴量算出部４Ｂ、立体画像分類部５Ｂ、画像補正部７Ｂが異なる。同一の部分に関する説明は省略し、異なる部分を中心に説明する。
【００８４】
図１０は、視差特徴量算出部４Ｂの構成を示すブロック図である。視差特徴量算出部４Ａと比較すると、近景側度数総和算出部４４が追加されている。
【００８５】
近景側度数総和算出部４４は、視差ヒストグラム作成部４２から入力した視差ヒストグラムから、近景側の度数の総和である近景側度数総和Ｓを求め、これを視差特徴量として立体画像分類部５Ｂに出力する。
【００８６】
図１１は、近景側度数総和Ｓについて説明するための視差ヒストグラムを示した図である。横軸は視差量、縦軸は度数である。視差量が０の点を基準とし、０以上が遠景側、０未満が近景側としている。所定の閾値Ｔｄ１を用いて、視差ヒストグラムにおいて視差量がＴｄ１以下のビンの度数の総和を求め、これを近景側度数総和Ｓとする。図１１において網掛けを施した部分が、近景側度数総和Ｓに相当する。視差ヒストグラムが視差量−ｌからｍ（ｌ、ｍは自然数）の範囲で作成されており、視差ヒストグラムの各ビンの幅を１、各ビンの度数をｈｉ（−ｌ≦ｉ≦ｍ）とすると、近景側度数総和Ｓは以下の式で求めることができる。
Ｓ＝Σｈｉ （−ｌ≦ｉ≦Ｔｄ１）
一般的にはＴｄ１＝０とし、視差ヒストグラムの視差量０までの度数総和を算出する。しかしこれに限られるわけではなく、０以外の視差量までの度数総和を算出しても良い。例えば、視差推定には推定誤りがあることから、近景側の視差を持つ可能性がある画素まで広く含めて度数を求めるために、Ｔｄ＝１０として度数総和を求めても良い。
【００８７】
一方、視差範囲幅算出部４３は、前記の通り視差範囲幅Ｗを視差特徴量として出力する。従って、視差特徴量算出部４Ｂは視差特徴量として、視差範囲幅Ｗ及び近景側度数総和Ｓの２つの情報を立体画像分類部５Ｂに出力する。
【００８８】
立体画像分類部５Ｂは、視差特徴量である視差範囲幅Ｗ及び近景側度数総和Ｓを用いて立体画像を分類する。本実施例では、視差範囲幅Ｗの大きさで３種類に、近景側度数総和Ｓの大きさで３種類に、それぞれ分類する。従ってトータルでは３×３＝９種類に分類できる。この分類結果を画像補正部７Ｂに出力する。
【００８９】
視差範囲幅Ｗについては、判定のための閾値Ｔｗ１Ｂ、Ｔｗ２Ｂ（Ｔｗ１Ｂ＜Ｔｗ２Ｂ）を用い、以下のように分類する。
・Ｗ＜Ｔｗ１Ｂ：視差範囲幅の狭い立体画像
・Ｔｗ１Ｂ≦Ｗ≦Ｔｗ２Ｂ：視差範囲幅が中程度の立体画像
・Ｔｗ２Ｂ＜Ｗ：視差範囲幅の広い立体画像
このように視差範囲幅の狭い立体画像及び視差範囲幅の中程度の立体画像を分類するため、例えばＴｗ１Ｂとしては前記の最大視差範囲幅Ｗｍａｘの１０％の値を、Ｔｗ２ＢとしてはＷｍａｘの５０％の値を設定する。
【００９０】
近景側度数総和Ｓについては、判定のための閾値Ｔｓ１、Ｔｓ２（０≦Ｔｓ１＜Ｔｓ２）を用い、以下のように分類する。
・Ｓ＜Ｔｓ１：近景側に被写体がほとんど存在しない立体画像
・Ｔｓ１≦Ｓ≦Ｔｓ２：近景側に小さな被写体が存在する立体画像
・Ｔｓ２＜Ｓ：近景側に中程度以上の被写体が存在する立体画像
このように近景側に小さな被写体が存在するか否かを判定するために、閾値Ｔｓ１、Ｔｓ２はいずれも小さな値を設定する。例えば、Ｔｓ１は視差ヒストグラムの全度数の５％、Ｔｓ２は視差ヒストグラムの全度数の１０％のように設定する。
【００９１】
図１２に、上記分類処理による９種類のシーンの典型的な視差ヒストグラムの例を一覧表にして示す。行方向に視差範囲幅Ｗによる３つの分類を、列方向に近景側度数総和Ｓによる３つの分類を記載し、そのマトリックスで合計９種類の分類を示している。各視差ヒストグラムの横軸は視差量、縦軸は度数であり、中央の細い縦線は、視差０を表す。また、各マスの点線以下の部分に、後述の画像補正処理の種類を記載している。
【００９２】
まず視差範囲幅Ｗによる３つの分類から説明する。図１２の左側の列の視差ヒストグラムは、Ｗ＜Ｔｗ１Ｂを満たし、視差範囲幅の狭い立体画像と分類されたものである。それぞれ視差ヒストグラムの概形は異なるが、いずれも視差範囲幅が狭い。図１２の中央の列の視差ヒストグラムは、Ｔｗ１Ｂ≦Ｗ≦Ｔｗ２Ｂを満たし、視差範囲幅が中程度の立体画像と分類されたものである。それぞれ視差ヒストグラムの概形は異なるが、いずれも視差範囲幅は中程度である。図１２の右側の列の視差ヒストグラムは、Ｔｗ２Ｂ＜Ｗを満たし、視差範囲幅の広い立体画像と分類されたものである。それぞれ視差ヒストグラムの概形は異なるが、いずれも視差範囲幅は広い。
【００９３】
次に近景側度数総和Ｓによる３つの分類について説明する。図１２の上側の行の視差ヒストグラムは、Ｓ＜Ｔｓ１を満たし、近景側に被写体が存在しない立体画像と分類されたものである。それぞれ視差ヒストグラムの幅は異なるが、いずれも視差０の線より左側には視差ヒストグラムの度数がほとんどない。図１２の中央の行の視差ヒストグラムは、Ｔｓ１≦Ｓ≦Ｔｓ２を満たし、近景側に比較的小さな被写体が存在する立体画像と分類されたものである。それぞれ視差ヒストグラムの幅は異なるが、いずれも視差０の線より左側に視差ヒストグラム少し存在する。図１２の下側の行の視差ヒストグラムは、Ｔｓ２＜Ｓを満たし、近景側に中程度以上の被写体が存在する立体画像と分類されたものである。それぞれ視差ヒストグラムの幅は異なるが、いずれも視差０の線より左側に視差ヒストグラムの多くの部分が存在する。
【００９４】
画像補正部７Ｂは、上記のように９種類のシーンに分類された立体画像分類結果に従い、所定のシーンに対して画像補正処理を行う。補正手段は第１の実施例と同じく、左右の画像をそれぞれシフトさせることによる視差調整方法を用いる。
【００９５】
立体画像が、視差範囲幅が狭いシーンと分類された場合、すなわち図１２における「処理Ａ」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｂは左目用画像を左にずらし右目用画像を右にずらすシフト処理を行い、視差を画面全体で一様に増加させる。このシフト処理は上記で図７を用いて説明したように、奥行の幅を広げてより立体感を強調する効果がある。このシフト処理における調整量は、第１の実施例と同じ方法により決定することができる。
【００９６】
立体画像が、視差範囲幅が中程度でかつ近景側に比較的小さな被写体が存在するシーンと分類された場合、すなわち図１２における「処理Ｂ」と記載のあるマスに分類された場合は、画像補正部７Ｂは左目用画像を右にずらし右目用画像を左にずらすシフト処理を行い、視差を画面全体で一様に減少させる。このシフト処理は上記で図８を用いて説明したように、画像中の被写体全体がより近景側に移動して飛び出して見える効果がある。
【００９７】
ここで、視差範囲幅が中程度であることを条件としているのは、以下の理由による。前記の通り、立体画像において被写体が画像の周辺部分にかかっており、その被写体が画面より手前に知覚されるような視差量を有する場合、その視差量にも関わらず手前に飛び出して見え難いという現象がある。ここで、視差範囲幅が狭い立体画像に対して被写体を近景側に飛び出させる調整を行うと、被写体の全部、あるいは大部分が近景側に飛び出すことになり、飛び出した被写体が画像の周辺部にかかる可能性が高くなる。よって、被写体を飛び出させる画像補正処理を行ってもその効果が得られない可能性が高くなる。一方、視差範囲幅が広い場合は、そのままでも十分立体感が感じられるので、画像補正処理を行わなくても良い。以上の理由により視差範囲幅が中程度であることを条件としている。
【００９８】
また、近景側に比較的小さな被写体が存在することを条件としているのは、あまり大きな被写体を飛び出させて見えるようにすると、圧迫感が有り、かえって見難くなる事があるためである。また、被写体が大きいほど画像の周辺部分にかかる可能性が高く、被写体をより手前に飛び出させて迫力を増すという効果が得られない可能性が高いためである。
【００９９】
すなわち以上の処理は、被写体を飛び出させる画像補正処理の効果があると思われるシーンに対して選択的に当該画像補正処理を行うものである。
【０１００】
このシフト処理における調整量は、例えば以下のような方法で定めることができる。
【０１０１】
図１３は、被写体が近景方向に移動するシフト処理の処理前後の視差ヒストグラムを示したものである。（ａ）がシフト処理前の視差ヒストグラム、（ｂ）がシフト処理後の視差ヒストグラムである。各視差ヒストグラムで網掛けされている部分は、視差ヒストグラムにおける近景側部分である。近景方向へ移動させるためシフト処理を行うことで、視差ヒストグラムは全体として左方向に移動し、シフト処理後の近景側度数総和の値も変わる。シフト処理後に被写体が画面より余りに飛び出すとかえって見難くなる。そこで、シフト処理後の近景側度数総和をＳ’、所定の閾値をＴｓ３として、Ｓ’＝Ｔｓ３となるシフト量を求め、これを調整量ａとすることで、被写体が飛び出すことによる迫力の増加と、見難さの増加とのバランスを取ることができる。
【０１０２】
Ｔｓ３としては、例えば視差ヒストグラムの全度数の５０％と定めることができる。Ｓ’が５０％の時、シフト処理後の画像中の被写体の半分は画面より手前に飛び出し、残り半分が画面より奥にあることになり、近景側および遠景側の被写体がバランスよく分布するためである。
【０１０３】
立体画像がその他の分類をされた場合、すなわち図１２において「−」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｂは画像補正処理を行わない。これらはいずれも視差範囲幅が中程度以上であり、特に画像補正処理を行わなくても十分立体感が感じられ、また上記の図１２の「処理Ｂ」の場合のようにさらに立体感を強調できる条件でもないためである。
【０１０４】
以上のように、本実施例における立体画像処理装置１Ｂは、視差範囲幅Ｗ及び近景側度数総和Ｓという２種類の視差特徴量を用いて立体画像を９種類のシーンに分類している。これにより、立体画像の視差情報についてより多様な観点から、より細かく精度の高い分類を可能とする、という効果を有する。
【０１０５】
また本実施例における立体画像処理装置１Ｂは、より細かく精度の高い分類を可能となったことから、近景側に比較的小さな被写体が存在する立体画像に対して、その被写体をより手前に飛び出させて迫力を増す画像補正処理を行うことがさらに可能となった。これにより、第１の実施例に比べてより多様な画像補正処理を、シーンの内容に応じて適切に行うことができるという効果を有する。また、立体感の強調処理の対象となるシーンがより多くなるという効果を有する。
【実施例３】
【０１０６】
本発明の第３の実施例は、立体画像処理装置であって、第２の実施例で説明した２種類の画像補正処理に加えて、画像の周辺部に近景側に飛び出した被写体が有るために立体感が感じられ難いシーンに対し、被写体を奥に移動させて立体感を感じやすくすることで、相対的に立体感を強調する画像補正処理を行うことを目的としている。このために第２の実施例と比べて、視差特徴量としてさらに、画像の周辺部において近景側に飛び出した被写体が画像周辺部に占める割合を示す量を用いてシーン分類を行う。またこの新たな視差特徴量を用いることで、第２の実施例で説明した被写体を手前に飛び出させて立体感を強調する画像補正処理も、処理対象とするシーンをより的確に分類することができる。
【０１０７】
図１４は、第３の実施例にかかる立体画像処理装置１Ｃの構成を示すブロック図である。第２の実施例に係る立体画像処理装置１Ｂとは、視差特徴量算出部４Ｃ、立体画像分類部５Ｃ、画像補正部７Ｃが異なる。同一の部分に関する説明は省略し、異なる部分を中心に説明する。
【０１０８】
図１５は、視差特徴量算出部４Ｃの構成を示すブロック図である。視差特徴量算出部４Ｂと比較すると、画像周辺部視差ヒストグラム生成部４５と画像周辺部近景側度数総和算出部４６が追加されている。
【０１０９】
画像周辺部視差ヒストグラム生成部４５は、視差算出部４１で求めた画像全域の視差のデータのうち、画面の周辺部分の視差のデータのみを用いて、その度数分布である画像周辺部視差ヒストグラムを作成する。あるいは、画像周辺部視差ヒストグラムの代用として画像周辺部の奥行きをヒストグラムにしたものでも良い。すなわち立体画像に表現されている表示物の視差またはそれと同等の量の度数分布が表されているものであれば良い。画像周辺部視差ヒストグラム生成部４５は、画像周辺部視差ヒストグラムを画像周辺部近景側度数総和算出部４６に送る。
【０１１０】
図１６は、画像の周辺部分を説明するものである。網掛け部分が、画像の周辺部分である。例えば、横１９２０ピクセル、縦１０８０ピクセルの画像において、画像の周辺の幅１００ピクセルの部分を、画像の周辺部分として用いることができる。
【０１１１】
画像周辺部近景側度数総和算出部４６は、画像周辺部視差ヒストグラム生成部４５から入力した画像周辺部視差ヒストグラムを用いて、その近景側の度数の総和である画像周辺部近景側度数総和Ｓｅを求め、これを視差特徴量として立体画像分類部５Ｃに出力する。その算出方法は、前記の近景側度数総和Ｓの算出方法と同様である。
【０１１２】
一方、視差範囲幅算出部４３及び近景側度数総和算出部４４は、前記の通りそれぞれ視差範囲幅Ｗと近景側度数総和Ｓを視差特徴量として出力する。従って、視差特徴量算出部４Ｃは視差特徴量として、視差範囲幅Ｗ、近景側度数総和Ｓ、画像周辺部近景側度数総和Ｓｅの３つの情報を立体画像分類部５Ｃに出力する。
【０１１３】
立体画像分類部５Ｃは、視差特徴量である視差範囲幅Ｗ、近景側度数総和Ｓ、画像周辺部近景側度数総和Ｓｅを用いて立体画像を分類する。本実施例では、視差範囲幅Ｗの大きさで３種類に、近景側度数総和Ｓの大きさで３種類に、画像周辺部近景側度数総和Ｓｅの大きさで２種類にそれぞれ分類する。従って、トータルでは３×３×２＝１８種類に分類できる。この分類結果を画像補正部７Ｃに出力する。
【０１１４】
視差範囲幅Ｗ及び近景側度数総和Ｓを用いた分類の方法は、第２の実施例に記載の方法と同様である。
【０１１５】
画像周辺部近景側度数総和Ｓｅについては、判定のための閾値Ｔｓｅ１を用い、以下のように分類する。
・Ｓｅ≦Ｔｓｅ１：画像周辺部において近景側に被写体が存在しない立体画像
・Ｓｅ＞Ｔｓｅ１：画像周辺部において近景側に被写体が存在する立体画像
このように画像周辺部において近景側に被写体が存在するか否かを判定するために、閾値Ｔｓｅ１は小さな値を設定する。例えばＴｓｅ１＝０と設定するのが最も厳しい条件設定であり、画像周辺部ヒストグラムが近景部分に少しでも存在していれば、画像周辺部において近景側には被写体が存在すると判定することになる。条件を緩めるには、Ｔｓｅ１を０より大きな値、例えばＴｓｅ１を画像周辺部視差ヒストグラムの全度数の２％と設定すれば良い。
【０１１６】
画像補正部７Ｃは、上記のように１８種類のシーンに分類された立体画像分類結果に従い、所定のシーンに対して画像補正処理を行う。補正手段は第１及び第２の実施例と同じく、左右の画像をそれぞれシフトさせることによる視差調整方法を用いる。
【０１１７】
図１７は、上記分類処理による１８種類のシーンを表に示したものである。３種類の視差関連情報のうち、画像周辺部近景側度数総和Ｓｅによる２種類の分類については、表を（ａ）と（ｂ）に分けて示している。各マスには後述の画像補正処理の種類を記載している。
【０１１８】
立体画像が、視差範囲幅が狭いシーンと分類された場合、すなわち図１７における「処理Ａ」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｃは左目用画像を左にずらし右目用画像を右にずらすシフト処理を行い、視差を画面全体で一様に増加させる。このシフト処理は上記で図７を用いて説明したように、奥行の幅を広げてより立体感を強調する効果がある。このシフト処理における調整量は、第１の実施例と同じ方法により決定することができる。
【０１１９】
立体画像が、視差範囲幅が中程度で、かつ近景側に比較的小さな被写体が存在し、かつ画像周辺部において近景側に被写体が存在しないシーンと分類された場合、すなわち図１７における「処理Ｂ」と記載のあるマスに分類された場合は、画像補正部７Ｃは左目用画像を右にずらし右目用画像を左にずらすシフト処理を行い、視差を画面全体で一様に減少させる。このシフト処理は上記で図８を用いて説明したように、画像中の被写体全体がより近景側に移動して飛び出して見える効果がある。
【０１２０】
ここで、視差範囲幅が中程度であること及び近景側に比較的小さな被写体が存在することを条件としているのは、第２の実施例で説明した図１２の「処理Ｂ」の場合と同じ理由による。また、画像周辺部において近景側に被写体が存在しないことを条件としているのは、前記の通り、立体画像において被写体が画像の周辺部分にかかっており、その被写体が画面より手前に知覚されるような視差量を有する場合、その視差量にも関わらず手前に飛び出して見え難いという現象があり、このような状況が発生しない場合にのみ被写体を手前に飛び出させる画像補正処理を行うためである。このように、第２の実施例における図１２の「処理Ｂ」の場合と比べて、画像周辺部において近景側に被写体が存在しないという条件をさらに追加することで、被写体を手前に飛び出させる画像補正処理を行うことが適切なシーンをさらに精度高く分類することが可能となる。
【０１２１】
このシフト処理における調整量は、例えば以下のような方法で定めることができる。近景方向へ移動させるためシフト処理を行うことで、視差ヒストグラムは全体として左方向に移動し、シフト処理後の近景側度数総和の値や画像周辺部近景側度数総和の値も変わる。シフト処理後に被写体が画面より余りに飛び出すとかえって見難くなる。また、シフト処理後に画面周辺部において被写体が画面より手前に位置するようになると、やはり見難くなる。そこで、シフト処理後の近景側度数総和の値及びシフト処理後の画像周辺部近景側度数総和の値のそれぞれに関する条件により、調整量を決定する。
【０１２２】
シフト処理後の近景側度数総和に関しては、第２の実施例において図１２の「処理Ｂ」と分類された場合と同様に、閾値Ｔｓ３を用いた処理により調整量を定めることができる。こうして求めた調整量をａ１とする。一方、シフト処理後の画像周辺部近景側度数総和の値に関しては、シフト処理後の画像周辺部近景側度数総和をＳｅ’、所定の閾値をＴｓｅ２として、Ｓｅ’＝Ｔｓｅ２となるシフト量を求め、これを調整量ａ２とする。Ｔｓｅ２は、Ｔｓｅ１と同様小さな値を用いる。最終的な調整量ａは、シフト処理後の近景側度数総和の値に関する上記の条件と画像周辺部近景側度数総和の値に関する上記の条件の両方を満たす必要がある。そこで、ａ１とａ２のうち小さいほうの値を調整量ａとして採用する。
【０１２３】
立体画像が、視差範囲幅が中程度あるいは広くて、かつ画像周辺部において近景側に被写体が存在するシーンと分類された場合、すなわち図１７における「処理Ｃ」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｃは左目用画像を左にずらし右目用画像を右にずらすシフト処理を行い、視差を画面全体で一様に増加させる。このシフト処理は上記で図７を用いて説明したように、被写体はより遠景にあるように見える効果がある。この処理は、上記の図１７の「処理Ａ」と記載のあるマスのいずれかに分類された場合と類似するが、調整量が異なる。この場合は、画像周辺部において近景側に存在する被写体を画面より奥に移動させるのに必要な調整量で、シフト処理を行う。この処理により、少なくとも画像周辺部には画面より手前に位置する被写体は存在しなくなる。従って、前記の被写体が画像の周辺部分にかかっているとその被写体が手前に位置するものであっても手前に飛び出して見え難くなるという現象は発生せず、立体感が感じられやすくなる、という効果が得られる。言い換えれば、相対的に立体感を強調する効果が得られる。
【０１２４】
ここで、画像周辺部において近景側に被写体が存在することを条件としているのは、前記の通り立体画像において被写体が画像の周辺部分にかかっており、その被写体が画面より手前に知覚されるような視差量を有する場合、その視差量にも関わらず手前に飛び出して見え難という現象があるため、これを発生しないようにする画像補正処理を施すためである。また、視差範囲幅が中程度あるいは広いことを条件としているのは、視差範囲幅が狭い立体画像はそもそも立体感が乏しいために、上記の奥行の幅を広げる画像補正処理（処理Ａ）を優先して施すためである。
【０１２５】
このシフト処理における調整量は、例えば以下のような方法で定めることができる。シフト処理後に画像周辺部において近景側に被写体が存在しないようになればよい事から、所定の閾値をＴｓｅ３として、シフト処理後の画像周辺部近景側度数総和Ｓｅ’＝Ｔｓｅ３となるシフト量を求め、調整量ａとする。Ｔｓｅ３は、Ｔｓｅ１と同様小さな値を用いる。
【０１２６】
立体画像がその他の分類をされた場合、すなわち図１７において「−」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｃは画像補正処理を行わない。これらはいずれも視差範囲幅が中程度以上であり、特に画像補正処理を行わなくても十分立体感が感じられる。また、上記図１７の「処理Ｂ」の場合のように、さらに立体感を強調できる条件でもない。また、上記図１７の「処理Ｃ」の場合のように、画像周辺部において近景側に存在する被写体がありこれが立体感を阻害する、ということも無いためである。
【０１２７】
以上のように、本実施例における立体画像処理装置１Ｃは、視差範囲幅Ｗ、近景側度数総和Ｓ、画像周辺部近景側度数総和Ｓｅという３種類の視差特徴量を用いて立体画像を１８種類のシーンに分類している。これにより、第２の実施例に比べてさらに細かく精度の高い分類を可能とする、という効果を有する。
【０１２８】
また本実施例における立体画像処理装置１Ｃは、さらに細かく精度の高い分類が可能になったことから、第２の実施例で説明した被写体を飛び出させて立体感を強調する画像補正処理の対象となるシーンを、より的確に分類することが可能となるという効果を有する。
【０１２９】
さらに、本実施例における立体画像処理装置１Ｃは、視差特徴量として画像周辺部近景側度数総和Ｓｅを用いることで、被写体が画像の周辺部分にかかっているか否かを分類することができるようになり、この分類を用いて、立体感を強調するためのさらに別の画像補正処理を施すことができるという効果を有する。すなわち、画像補正処理の適用対象となるシーンがさらに多くなるという効果を有する。
【実施例４】
【０１３０】
本発明の第４の実施例は、立体画像処理装置であって、第２の実施例で説明した被写体を手前に飛び出させて立体感を強調する画像補正処理について、当該補正処理が対象とするシーンをさらに的確に分類することができるものである。このために第２の実施例と比べて、視差特徴量としてさらに、近景側に存在する被写体が画像内に占める割合を示すもう一つの量を用いてシーン分類を行う。
【０１３１】
図１８は、第４の実施例にかかる立体画像処理装置１Ｄの構成を示すブロック図である。第２の実施例に係る立体画像処理装置１Ｂとは、視差特徴量算出部４Ｄ、立体画像分類部５Ｄ、画像補正部７Ｄが異なる。同一の部分に関する説明は省略し、異なる部分を中心に説明する。
【０１３２】
図１９は、視差特徴量算出部４Ｄの構成を示すブロック図である。視差特徴量算出部４Ｂと比較すると、第二近景側度数総和算出部４７が追加されている。
【０１３３】
近景側度数総和算出部４４は第２の実施例と同様、視差ヒストグラム作成部４２から入力した視差ヒストグラムにおいて、視差量が閾値Ｔｄ１以下のビンの度数の総和である近景側度数総和Ｓを求め、これを視差特徴量として立体画像分類部５Ｄに出力する。また、第二近景側度数総和算出部４７は、視差ヒストグラム作成部４２から入力した視差ヒストグラムにおいて、視差量が閾値Ｔｄ２以下のビンの度数の総和である第二近景側度数総和Ｓ２を求め、これを視差特徴量として立体画像分類部５Ｄに出力する。ここで、Ｔｄ２＜Ｔｄ１である。
【０１３４】
図２０は、近景側度数総和Ｓ及び第二近景側度数総和Ｓ２について説明するための視差ヒストグラムを示した図である。横軸は視差量、縦軸は度数である。視差量が０の位置を実線で示す。視差量０以上が遠景側、０未満が近景側としている。また、閾値Ｔｄ１とＴｄ２の位置の一例を点線で示す。図２０（ａ）と（ｂ）は、視差ヒストグラムの近景側部分の形が異なる。
【０１３５】
図２０の各視差ヒストグラムにおいて、縦横に網掛けされている部分と横に網掛けされている部分の和が、近景側度数総和Ｓに相当する。視差ヒストグラムが視差量−ｌからｍ（ｌ、ｍは自然数）の範囲で作成されており、視差ヒストグラムの各ビンの幅を１、各ビンの度数をｈｉ（−ｌ≦ｉ≦ｍ）とすると、近景側度数総和Ｓは前記の通り以下の式で求めることができる。
Ｓ＝Σｈｉ （−ｌ≦ｉ≦Ｔｄ１）
一方、視差ヒストグラムにおいて縦横に網掛けされている部分が、第二近景側度数総和Ｓ２に相当する。これは以下の式で求めることができる。
Ｓ２＝Σｈｉ （−ｌ≦ｉ≦Ｔｄ２）
さらに図２０を用いて、視差ヒストグラムの形の違いにより近景側度数総和Ｓ及び第二近景側度数総和Ｓ２がどのような値になるかを説明する。図２０において仮に、Ｔｄ１＝−５ピクセル、Ｔｄ２＝−１５ピクセルであるとする。また、図２０（ａ）についてのＳ及びＳ２の算出値をＳａ、Ｓ２ａとし、図２０（ｂ）についてのＳ及びＳ２の算出値をＳｂ、Ｓ２ｂとする。また、図２０（ａ）の視差ヒストグラムと（ｂ）の視差ヒストグラムは、視差量がＴｄ１より大きい部分の形は同じであるが、視差量がＴｄ１より小さい部分の形が異なり、（ｂ）の方がピークの高さが低いが、より近景側に広がっているものとする。さらに、視差ヒストグラムの全度数は等しいとする。以上の条件においては、Ｔｄ１より近景側の領域の度数の総和は（ａ）と（ｂ）とで等しくなる。すなわち、Ｓａ＝Ｓｂである。また、Ｔｄ２＜Ｔｄ１であることから、Ｓａ≧Ｓ２ａ、Ｓｂ≧Ｓ２ｂとなる。
【０１３６】
ここで例えばＳａの値が、ヒストグラムの全度数の２０％、Ｓ２ａはそれより少なく８％であったとする。これに対して、Ｓｂの値は、上記の通りＳａと同じくヒストグラムの全度数の２０％である。一方Ｓ２ｂの値は、図から明らかなようにＳ２ａより大きく、例えばヒストグラムの全度数の１２％といった値になる。つまり、視差ヒストグラムがより近景側に広がっていると、第二近景側度数総和Ｓ２の値はより大きくなる。
【０１３７】
このことから本実施例では、近景側度数総和Ｓに加えて第二近景側度数総和Ｓ２を用いることにより、上記のように近景側の視差ヒストグラムの形状の違いを判別することが可能となる。このような判別ができるのは、Ｔｄ２＜Ｔｄ１としているため、すなわち第二近景側度数総和Ｓ２は近景側度数総和Ｓに比べてより近景側の狭い部分のみの度数総和を算出しているためである。
【０１３８】
Ｔｄ１については第２の実施例と同様、一般的にはＴｄ１＝０とし、視差ヒストグラムの視差０までの度数総和を算出するが、これに限られるわけではなく、０以外の視差量までの度数総和を算出しても良い。Ｔｄ２も同様に、Ｔｄ２＜Ｔｄ１を満たす範囲で適宜設定して良い。
【０１３９】
一方、視差範囲幅算出部４３は、前記の通り視差範囲幅Ｗを視差特徴量として出力する。従って、視差特徴量算出部４Ｄは視差特徴量として、視差範囲幅Ｗ、近景側度数総和Ｓ及び第二近景側度数総和Ｓ２の３つの情報を立体画像分類部５Ｄに出力する。
【０１４０】
立体画像分類部５Ｄは、視差特徴量である視差範囲幅Ｗ、近景側度数総和Ｓ、第二近景側度数総和Ｓ２を用いて立体画像を分類する。本実施例では、視差範囲幅Ｗの大きさで３種類に、近景側度数総和Ｓ及び第二近景側度数総和Ｓ２の大きさを複合させて用いて２種類にそれぞれ分類する。従って、トータルでは３×２＝６種類に分類できる。この分類結果を画像補正部７Ｄに出力する。
【０１４１】
視差範囲幅Ｗを用いた分類の方法は、第２の実施例に記載の方法と同様である。
【０１４２】
近景側度数総和Ｓ及び第二近景側度数総和Ｓ２については、判定のための閾値Ｔｓ３、Ｔｓ４（０≦Ｔｓ３、０≦Ｔｓ４）を用い、以下のように分類する。
・Ｓ＞Ｔｓ３かつＳ２＜Ｔｓ４：近景側に小さな被写体が存在しかつその被写体が手前に飛び出しすぎていない立体画像
・それ以外：それ以外の立体画像
Ｔｓ３とＴｓ４の適切な値は、近景側度数総和Ｓ及び第二近景側度数総和Ｓ２を算出するための閾値Ｔｄ１、Ｔｄ２の値によっても変わるため、適宜設定する必要がある。例えば前記の図２０に関する説明における例のように、Ｔｄ１＝−５ピクセル、Ｔｄ２＝−１５ピクセルであり、Ｓａ＝Ｓｂ＝ヒストグラムの全度数の２０％、Ｓ２ａ＝８％、Ｓ２ｂ＝１２％であったとする。これに対して、Ｔｓ３＝ヒストグラムの全度数の１５％、Ｔｓ４＝１０％の値を用いるとする。すると図２０（ａ）の視差ヒストグラムについてはＳａ＞Ｔｓ３かつＳ２ａ＜Ｔｓ４であり、図２０（ｂ）の視差ヒストグラムについてはＳｂ＞Ｔｓ３かつＳ２ｂ＞Ｔｓ４となる。よって、図２０（ａ）の視差ヒストグラムを持つ立体画像は、近景側に小さな被写体が存在しかつその被写体が手前に飛び出しすぎていない立体画像と分類され、図２０（ｂ）の視差ヒストグラムを持つ立体画像は、それ以外の立体画像と分類される。図２０（ａ）と（ｂ）の視差ヒストグラムの形を比較すると、（ｂ）の方がより近景側に被写体が飛び出している。上記の判定条件は、このような状況を判別するためのものである。
【０１４３】
画像補正部７Ｄは、上記のように６種類のシーンに分類された立体画像分類結果に従い、所定のシーンに対して、画像補正処理を行う。補正手段は第１〜第３の実施例と同じく、左右の画像をそれぞれシフトさせることによる視差調整方法を用いる。
【０１４４】
図２１は、上記分類処理による６種類のシーンを表に示したものである。行方向に視差範囲幅Ｗによる３つの分類を、列方向に近景側度数総和Ｓ及び第二近景側度数総和Ｓ２による２つの分類を記載し、そのマトリックスで合計６種類のシーンを示している。各マスには後述の画像補正処理の種類を記載している。
【０１４５】
立体画像が、視差範囲幅が狭いシーンと分類された場合、すなわち図２１における「処理Ａ」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｄは左目用画像を左にずらし右目用画像を右にずらすシフト処理を行い、視差を画面全体で一様に増加させる。このシフト処理は上記で図７を用いて説明したように、奥行の幅を広げてより立体感を強調する効果がある。このシフト処理における調整量は、第１の実施例と同じ方法により決定することができる。
【０１４６】
立体画像が、視差範囲幅が中程度で、かつ近景側に小さな被写体が存在し、かつその被写体が手前に飛び出しすぎていないと分類された場合、すなわち図２１における「処理Ｂ」と記載のあるマスに分類された場合は、画像補正部７Ｄは左目用画像を右にずらし右目用画像を左にずらすシフト処理を行い、視差を画面全体で一様に減少させる。このシフト処理は上記で図８を用いて説明したように、画像中の被写体全体がより近景側に移動して飛び出して見える効果がある。
【０１４７】
ここで、視差範囲幅が中程度であること及び近景側に比較的小さな被写体が存在することを条件としているのは、第２の実施例で説明した図１２における「処理Ｂ」の場合と同じ理由による。また、近景側の小さな被写体が手前に飛び出しすぎていないことを条件としているのは、画像補正処理前の立体画像において既に被写体が飛び出している場合、さらに被写体を飛び出させる画像補正処理を行うとかえって見難くなる可能性が高いためである。このように、第２の実施例における図１２における「処理Ｂ」の場合と比べて、近景側の小さな被写体が手前に飛び出しすぎていない、という条件をさらに追加することで、被写体を手前に飛び出させる画像補正処理を行うことが適切なシーンをさらに精度高く分類することが可能となる。
【０１４８】
このシフト処理における調整量は、第３の実施例における図１７における「処理Ｂ」の場合と同様の方法で定めることができる。
【０１４９】
立体画像がその他の分類をされた場合、すなわち図２１において「−」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｄは画像補正処理を行わない。これらはいずれも視差範囲幅が中程度以上であり、特に画像補正処理を行わなくても十分立体感が感じられる。また、上記図２１における「処理Ｂ」の場合のように、さらに立体感を強調できる条件でもないためである。
【０１５０】
以上のように、本実施例における立体画像処理装置１Ｄは、視差範囲幅Ｗ、近景側度数総和Ｓ及び第二近景側度数総和Ｓ２という３種類の視差特徴量を用いて立体画像を６種類のシーンに分類している。これにより、第２の実施例で説明した被写体を飛び出させて立体感を強調する画像補正処理の対象となるシーンを、より的確に分類することが可能となるという効果を有する。
【実施例５】
【０１５１】
本発明の第５の実施例は、第３の実施例にかかる立体画像処理装置に、シーン分類結果を用いたシーンチェンジ検出部を加えたものである。これにより、立体画像が動画である場合に、シーンチェンジを的確に検出すること、及び画像補正処理をより適切に行うことが可能になる。
【０１５２】
図２２は、第５の実施例にかかる立体画像処理装置１Ｅの構成を示すブロック図である。第３の実施例に係る立体画像処理装置１Ｃとは、画像補正部７Ｅが異なり、シーンチェンジ検出部１２が追加されている。同一の部分に関する説明は省略し、異なる部分、追加された部分を中心に説明する。
【０１５３】
図２３は、シーンチェンジ検出部１２の構成を示すブロック図である。シーンチェンジ検出部１２は、立体画像分類結果遅延部１２１と立体画像分類結果比較部１２２からなる。シーンチェンジ検出部１２は、立体画像分類部５Ｃから入力した１８種類に分類された立体画像分類結果を用いて、立体画像にシーンチェンジが発生したか否かを判定し、その結果であるシーンチェンジ検出フラグＦｓを画像補正部７Ｅに出力する。
【０１５４】
立体画像分類結果遅延部１２１は、入力された立体画像分類結果を保存し、次に入力された立体画像分類結果に対して１フレーム遅延させた立体画像分類結果を立体画像分類結果比較部１２２に送る。
【０１５５】
立体画像分類結果比較部１２２は、入力された立体画像分類結果及び立体画像分類結果遅延部１２１により1フレーム分遅延された立体画像分類結果を入力し、フレーム間で分類結果に変化があるか否かを判定する。すなわち図２３に示したように、（ｎ＋１）フレーム目の立体画像分類結果と、ｎフレーム目の立体画像分類結果が異なっているか否かを判定する。この２つの立体画像分類結果が異なっている場合、シーンチェンジ検出フラグＦｓに１を設定する。これは、立体画像のｎフレームと（ｎ＋１）フレームの間でシーンチェンジを検出したことを意味する。一方、この２つの立体画像分類結果が同じであった場合は、Ｆｓに０を設定する。これは、シーンチェンジが検出されなかったことを意味する。
【０１５６】
画像補正部７Ｅは、画像補正部７Ｃと同様、立体画像分類部５Ｃにより１８種類に分類された立体画像分類結果に従い、所定の分類に対して、画像補正処理を行う。補正手段は、第１〜第４の実施例と同じく、左右の画像をそれぞれシフトさせることによる視差調整方法を用いている。
【０１５７】
ここで、立体画像が動画の場合、被写体の視差はフレーム毎に変わっていくため、基本的にはフレーム毎に立体画像の視差の分布の状況に応じて視差の調整量を適切に設定すること、すなわちフレーム毎に視差調整処理のシフト量を変化させることが望ましい。しかしフレーム毎のシフト量の変化が大きいと奥行が頻繁に変化してしまい、観察者がそれに追従するのが困難になり、かえって見難くなるという問題がある。さらには、視差検出処理にエラーが発生すると、これによるシフト量の変化が加わってさらに見難くなるという問題が発生する。これに対しては、例えばシフト量に対して時間方向にローパスフィルタ処理を施して、シフト量の変化を滑らかにすると良い。
【０１５８】
一方、シーンチェンジの前後においては、立体画像の被写体の視差が不連続に変わる場合がある。この場合、シーンチェンジ前のシーンと後のシーンを共に立体感豊かに表示するためには、シーンチェンジ時のシフト量の変化が大きくなるとしても、シーンチェンジ前後のそれぞれのシーンに適したシフト量を使用することが望ましい。そこで、画像補正部７Ｅは、シーンチェンジ検出部１２から入力されたシーンチェンジ検出フラグＦｓが１の場合、すなわちシーンチェンジが発生している場合は、上記のローパスフィルタ処理を一旦解除し、シフト量を不連続に変化させることを許容する。このような処理を行うことで、シーンチェンジ時以外はシフト量に対するローパスフィルタ処理によりシフト量を滑らかに変化させることで見苦しさを防止しすることと、シーンチェンジが発生した場合はシーンチェンジ後の立体画像のシフト量に素早く変更することを両立させた視差調整処理を実現できる。すなわち、より適切な視差調整処理を実現できる。
【０１５９】
また、例えば画像の輝度情報の変化を用いてシーンチェンジ検出を行う従来技術があるが、この方法では視差量の変化を捉えることはできない。本実施例の立体画像処理装置１Ｄのように視差調整処理を行う場合には、視差量の変化を捉えることのできるシーンチェンジ検出方法を用いることが望ましい。例えば、シーンチェンジの前後で輝度情報には大きな変化は無いが視差量には変化がある場合、視差量の変化を捉えることのできるシーンチェンジ検出方法でなければ検出できないためである。シーンチェンジ検出部１２によるシーンチェンジ検出手段は、視差量の変化を捉えたシーンチェンジ検出を可能とするものである。
【０１６０】
なお、立体画像分類部５Ｃは入力された立体画像を１８種類に分類するが、画像補正部７Ｅは「処理Ａ」、「処理Ｂ」、「処理Ｃ」、「−」（処理無し）の４通りの画像補正処理を行っている。つまり、１８種類の分類のうちいくつかは同じ画像補正処理を行うため、まとめられている。しかしシーンチェンジにおいては、元の１８種類の分類を用いて、それに変化があった時にシーンチェンジと判定する。これは、たとえ同じ画像補正処理を行う立体画像と分類された場合であっても、シーンチェンジ時には補正量が異なる可能性があるため、分類が異なる場合にはシーンチェンジと判定すべきであるためである。
【０１６１】
以上のように、本実施例における立体画像処理装置１Ｅは、立体画像のシーン分類結果を用いてシーンチェンジ検出を行う。これにより、立体画像の被写体の視差の変化を捉えたシーンチェンジ検出を可能とするという効果を有する。
【０１６２】
また、シーンチェンジ検出結果を立体画像に対する画像補正処理に用いることで、より適切な視差調整処理を実現できるという効果を有する。
【０１６３】
ところで、本実施例においては、立体画像の（ｎ＋１）フレーム目との立体画像分類結果とｎフレーム目の立体画像分類結果の変化を見てシーンチェンジを検出した。しかし検出方法はこれに限らない。例えば、立体画像の（ｎ＋１）フレーム目の立体画像分類結果と（ｎ−１）フレーム目の立体画像分類結果の変化や、（ｎ＋１）フレーム目の立体画像分類結果と（ｎ−２）フレーム目の立体画像分類結果の変化のように、２以上離れたフレーム間での立体画像分類結果の変化によりシーンチェンジを検出することも可能である。このような場合、シーンチェンジ検出に用いる２つのフレームのうち、時間的に遅いほうのフレームとその一つ前のフレームとの間のシーンチェンジを検出することになる。例えば、（ｎ＋１）フレーム目の立体画像分類結果と（ｎ−１）フレーム目の立体画像分類結果の変化によりシーンチェンジ検出する場合は、時間的に遅い（ｎ＋１）フレーム目と、その一つ前のｎフレーム目との間のシーンチェンジを検出することになる。
【０１６４】
図２４を用いて、シーンチェンジ検出に用いるフレームと、それによって検出されるシーンチェンジの位置の関係をさらに説明する。図２４は、（ｎ−２）フレームから（ｎ＋２）フレームまでの各フレーム目を時系列順に示している。（ｎ−２）フレームからｎフレームまでが１つのシーン、ｎフレームと（ｎ＋１）フレームの間でシーンチェンジがあって立体画像分類結果が変わり、（ｎ＋１）フレームから（ｎ＋２）フレームが別のシーンである状況を図示している。
【０１６５】
隣接するフレーム間の立体画像分類結果の変化によりシーンチェンジを検出する場合、時間の経過につれ、
（１）（ｎ−２）フレームと（ｎ−１）フレームの間の立体画像分類結果の変化を判定
（２）（ｎ−１）フレームとｎフレームの間の立体画像分類結果の変化を判定
（３）ｎフレームと（ｎ＋１）フレームの間の立体画像分類結果の変化を判定
・・・
というように順に処理を行う。（１）、（２）の処理では変化が無く、（３）の処理で変化があるため、（３）の処理においてシーンチェンジを検出する。
【０１６６】
一方、一つ離れたフレーム間の多次元統計量の距離によりシーンチェンジを検出する場合、時間の経過につれ、
（１’）（ｎ−２）フレームとｎフレームの間の立体画像分類結果の変化を判定
（２’）（ｎ−１）フレームと（ｎ＋１）フレームの間の立体画像分類結果の変化を判定
（３’）ｎフレームと（ｎ＋２）フレームの間の立体画像分類結果の変化を判定
・・・
というように順に処理を行う。（１’）の処理では変化が無く、（２’）の処理では変化があるため、（２’）の処理においてシーンチェンジを検出する。また、その次の（３’）の処理でも、ｎフレームと（ｎ＋２）フレームが違うシーンに属していることから、変化がある。このように、一つ離れたフレーム間の立体画像分類結果の変化によりシーンチェンジを検出する場合、一つのシーンチェンジに対し２度立体画像分類結果の変化がある。これは誤検出となるため、例えばある時点の処理でシーンチェンジ検出すると、その次のフレームでの処理結果は無視するようにすることで解決できる。
【０１６７】
このように、複数のフレーム間での視差に関する立体画像分類結果の変化によりシーンチェンジを検出することが可能である。
【０１６８】
本実施例の立体画像処理装置１Ｅは、第３の実施例における立体画像処理装置１Ｃにシーンチェンジ検出部１２を追加したものである。同様に、第１の実施例における立体画像処理装置１Ａ、第２の実施例における立体画像処理装置１Ｂ、第４の実施例における立体画像処理装置１Ｄにシーンチェンジ検出部１２を追加した構成とすることも可能である。これらの場合も同様に、立体画像分類結果の変化によりシーンチェンジを検出可能である。
【０１６９】
上記の第１〜５の実施例では、立体感を強調する補正処理に関して説明した。しかし実際は、このような立体感の強調処理だけではなく、従来技術にあるような、立体画像の安全性を確保する補正処理も併せて行っても良い。
【０１７０】
上記の第１〜第５の実施例における視差範囲算出部４３では、視差ヒストグラムからその画像における最近景の視差量と最遠景の視差量の幅から、視差範囲幅を求めた。しかし視差範囲幅の求め方はこれに限らない。例えば、立体画像の視差マップから直接、最近景の視差量と最遠景の視差量を探索し、その幅を視差範囲幅としても良い。すなわち、どのような求め方であれ、立体画像の最近景の視差量と最遠景の視差量の幅を求め、それを視差範囲幅とすればよい。
【０１７１】
上記の第１〜第５の実施例では、視差マップから視差特徴量を算出した。しかし、入力された立体画像データの付加情報として視差特徴量のデータが付加されていても良い。この場合、視差特徴量算出部４Ａ〜４Ｄにおける視差特徴量を求める処理は、スキップしても良い。
【０１７２】
上記の第１〜第５の実施例では、立体画像データが静止画の場合は、同じ画像を連続して出力し、動画と同様に扱った。しかしこれに限らず、立体画像データが静止画の場合に、該静止画を1枚ずつ処理しても良い。
【０１７３】
上記の第１〜第５の実施例では、表示部９として、左目用画像と右目用画像を交互に表示する液晶表示パネルを用い、シャッタメガネ１１と組み合わせて立体画像を呈示している。しかし、立体画像の表示方式はこれに限定されるものではない。右目用画像と左目用画像を異なる偏光方式で表示し、左右で異なる偏光フィルタを有するメガネにより観察する方式を用いてもかまわない。また、レンチキュラレンズやパララックスバリアを用いた表示部を使用し、観察者がメガネをかけなくても立体視可能な方式を用いてもかまわない。
【０１７４】
上記の第１〜第５の実施例では、立体画像のシーン分類結果を、立体感を強調する視差調整処理を施すことに用いた。しかし、本実施例による立体画像のシーン分類結果を他の用途に用いることも可能である。例えば、上記の立体画像分類機能により複数枚の立体画像の静止画をシーン分類して、シーンごとに分けて立体画像のサムネイルを画面に表示させ、観察者にどのような立体画像がどのようなシーンに属するかを一覧させる、という用い方も可能である。また、立体画像間の視差の変化が小さくなるように並べ替えて表示する、といった用い方も可能である。また、複数枚の立体画像を自動的に順次切り替えて表示する際に、立体感の乏しい立体画像は自動的に飛ばして表示することで、観察者には立体感の豊かな立体画像のみを呈示する、といった用い方も可能である。さらに、上記の立体画像分類機能を立体画像記録装置、立体画像編集装置、立体画像編集プログラム等に用いて、立体画像のシーンチェンジ点に自動的にインデックスを入れ、立体画像再生時や編集時の目印に用いることも可能である。
【０１７５】
上記の第２〜第５の実施例では、近景側度数総和算出部４４又は第二近景側度数総和算出部４７は、視差ヒストグラム作成部４２で作成した視差ヒストグラムを用いて、近景側度数総和Ｓ又は第二近景側度数総和Ｓ２を算出した。しかし、視差算出部４１で求めた画像全域の視差のデータから直接、近景側度数総和Ｓ等を算出しても良い。例えば、画像全域の視差のデータが立体画像の画素毎の視差データである場合は、視差がＴｄ１以下の画素数を数えることで、近景側度数総和Ｓを算出できる。
【０１７６】
上記の第３及び第５の実施例では、画像周辺部近景側度数総和算出部４６において、画像周辺部視差ヒストグラム作成部４５で作成した画像周辺部視差ヒストグラムを用いて、画像周辺部近景側度数総和Ｓｅを算出した。しかし、視差算出部４１で求めた画像全域の視差のデータのうち画像の周辺部分の視差のデータを用いて直接、画像周辺部近景側度数総和Ｓｅを算出しても良い。
【０１７７】
上記の第１〜第５の実施例では、立体画像処理装置に関して説明した。しかしその他、立体画像表示装置、立体画像編集装置、立体画像処理方法、立体画像表示方法、立体画像編集方法等、立体画像に関する幅広い装置及び方法に利用することが可能である。
【０１７８】
以上、第１〜第５の実施例について具体的に説明を行ったが、本発明はそれらに限定されるものではない。上述した５つの実施例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
【０１７９】
また、上記の各実施例において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【０１８０】
上記の各実施例の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の各実施例の機能を実現する立体画像処理装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していれば良い。
【０１８１】
また、上記の各実施例で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１８２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１８３】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【産業上の利用可能性】
【０１８４】
本発明は、立体画像処理装置、立体画像表示装置、立体画像編集装置、立体画像処理方法、立体画像表示方法、立体画像編集方法等、立体画像に関する幅広い装置及び方法に利用することが可能である。
【符号の説明】
【０１８５】
１Ａ〜１Ｅ 立体画像処理装置
２ 入力部
３ 立体画像処理部
４Ａ〜４Ｄ 視差特徴量算出部
５Ａ〜５Ｄ 立体画像分類部
６ 画像遅延部
７Ａ〜７Ｅ 画像補正部
８ 表示制御部
９ 表示部
１０ メガネ同期部
１１ シャッタメガネ
１２ シーンチェンジ検出部
４１ 視差算出部
４２ 視差ヒストグラム作成部
４３ 視差範囲幅算出部
４４ 近景側度数総和算出部
４５ 画像周辺部視差ヒストグラム生成部
４６ 画像周辺部近景側度数総和算出部
４７ 第二近景側度数総和算出部
１２１ 立体画像分類結果遅延部
１２２ 立体画像分類結果比較部
【技術分野】
【０００１】
本発明は、立体画像処理装置および立体画像処理方法に関するものである。
【背景技術】
【０００２】
人間は、一定の間隔を持つ２つの目により得られる視覚情報の違いから、空間を把握する能力を持つ。左右の眼による異なる視点から得られる像のずれを視差と呼ぶ。人間は、視差を手掛かりの一つとして、物体までの距離を把握している。実際、物体までの距離は視差から算出することが可能である。このことを利用して、右目用画像を右目に表示し、左目用画像を左目に表示する立体画像表示装置を用意し、右目用画像、左目用画像として視差を設けた画像を提示することにより立体視が可能であることが知られている。ここでは、立体視を意図して視差を設けた複数の画像のことを立体画像と称する。また、物体までの距離を「奥行」と表現する。立体画像を撮影したカメラの焦点距離やカメラの間隔が既知であれば、視差と奥行は互いに変換可能である。
【０００３】
人間は立体視において、視差に応じた両眼の光軸のなす角度、すなわち輻輳角の大きさを対象物までの距離に対応付けていると言われている。よって、左目用画像上のある被写体の位置より右目用画像上のその被写体の位置の方が、左目用画像上から見て相対的に右側にずれるよう視差を付けた画像を見せると、被写体が実際の表示面より遠景側にあるように知覚させることができる。逆に、左目用画像上のある被写体の位置より右目用画像上のその被写体の位置の方が、左目用画像上から見て相対的に左側にずれるよう視差を付けた画像を見せると、被写体が実際の表示面より近景側にあるように知覚させることができる。
【０００４】
以下では、左目用画像を基準として右目用画像上の被写体の右方向の視差のずれを、正の視差として説明する。被写体は、視差量が正の値であると表示画面より遠景方向に見える。視差量が０の場合はちょうど表示画面と同じ距離にあるように見える。視差量が負の値になる場合、すなわち左目用画像を基準として右目用画像上の被写体が左方向にずれている場合は、表示画面より近景方向に見える。視差量の単位としては、例えば画像におけるピクセル数を用いることができる。
【０００５】
しかし、立体画像の視差量を正の方向に大きくしすぎ、観察者の目の間隔、正確には無限遠を見ている時の瞳孔間の距離を超えた視差量とすると、自然界では起き得ない状態となり、立体視が不可能となるか、立体視できたとしても人体に強い負担を強いることになる。一方、視差量を負の方向に大きくしすぎると、極度な寄り目を観察者に強いることとなり、快適な立体視ができなくなる。またいずれの場合においても、視差量が正又は負の方向に大きくなるほど輻輳と目の焦点の調節との乖離が大きくなり、不自然な状態となるので、違和感を生じる。このように、立体画像の視差量がある一定の範囲では快適に立体視が可能であるが、視差量が大きくなると両目の画像が融合しなくなり、立体視が困難あるいは不可能となる。
【０００６】
特許文献１には、これに対する解決手段が開示されている。図２５は特許文献１に記載の発明の要部を図解したものであり、これを用いて説明する。図２５においては、視差計算部５００は左右眼用の画像から、画面全体について各座標における視差を計算した視差地図を計算する。計算方法は、左右画像の輝度パターンの相関を計算する相関マッチング法等を用いる。注視点計算部５０１において立体画像の視差の最大値、すなわち最遠景視差量を計算し、視差制御部５０２が画面表示部５０３の表示画面上での左右のずれ量を、その最遠景視差量が観察者の両眼間隔を越えないように設定する。両眼間隔は、成人の場合約６５ｍｍである。これにより、観察者の視線が平行より広がることがなくなり、両目の画像の視差が融合する範囲内になるように制御することができる。あるいは、注視点計算部５０１において立体画像の視差の最小値、すなわち最近景視差量を計算し、視差制御部５０２が画面表示部５０３の表示画面上での左右のずれ量を、その最近景視差量が、ある所定の大きさβ以下にならないように設定する方法が開示されている。これにより、観察者の視点が非常に近い位置になり３次元画像表示面からの目のピント情報と視線の輻輳角の大きな不一致状態をなくすことが出来、観察者が表示画像を両眼融合しやすくなるように左右画像を制御することができる。つまり、立体画像に対してこのような補正処理を行うことにより、常に視聴者に見やすい立体画像を呈示できる。
【０００７】
また、例えば人物の上半身をアップで写した立体画像のように、被写体が画像の周辺部分にかかっており、その被写体が画面より手前に知覚されるような視差量を有する場合、その視差量にも関わらず手前に飛び出して見え難いという現象がある。視聴者にとって、表示装置の画面に表示された被写体が画面の枠部分で切り取られて手前に浮いて見えるという状況が違和感をもって感じられ、被写体が飛び出して知覚することを妨げてしまうことが原因と考えられる。
【０００８】
一方特許文献２には、表示される映像の種類に応じて適切に映像表示特性を調整する技術が開示されている。
【０００９】
図２６は特許文献２に記載の発明の要部を図解したものであり、これを用いて説明する。輝度情報検出部６０９は、受信部６０２から出力される映像信号Ｄｂに含まれる輝度信号Ｙの各画素における輝度より、輝度情報値Ｙｉを検出する。コンテンツ特徴検出部６１０は、輝度情報値Ｙｉをもとに各フレームの映像コンテンツの特徴を判定し、コンテンツ特徴判定値Ｊｉを複数コンテンツ特徴検出器６１１に出力する。複数コンテンツ特徴検出部６１１は複数フレーム分のコンテンツ特徴判定値Ｊｉより、変動の少ない映像コンテンツ判定（一時的変動の影響を受けにくいコンテンツ判定）を行い、より尤もらしい判定結果としての、複数コンテンツ特徴判定値Ｆｉを補正制御部６０６に出力する。補正制御部６０６は、複数コンテンツ特徴判定値Ｆｉを基にそれぞれのコンテンツの特徴に応じた映像補正値Ｐｉを映像補正部６０５に出力する。映像補正部６０５は、入力された映像補正パラメータＰｉを用いて映像信号Ｄｃに対して映像補正を行い、それを映像信号Ｄｄとして表示部６０４に出力する。このような構成により、入力された映像の種類に応じて適切な画質補正を行う。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開平７−１６７６３３号公報
【特許文献２】特開２００８−１３４２７７号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
立体画像は上記のように、視差量が正の方向に大きすぎても負の方向に大きすぎても、立体視が困難あるいは不可能となる。このため立体画像は、あまり大きな視差を付け過ぎないように製作されているものも多い。また、立体画像は上記のように、被写体が画像の周辺部分にかかっておりその被写体が画面より手前に知覚されるような視差量を有する場合、その視差量にも関わらず手前に飛び出して見え難いという現象がある。このため立体画像は、被写体があまり画面より手前に飛び出し過ぎないように製作されているものも多い。しかし画一的に上記のような方針で立体画像を製作すると、奥行が感じられない立体画像や被写体が飛び出して見えることのない立体画像、すなわち立体感が乏しい立体画像が多くなり、立体画像の特性が生かされないことになる。
【００１２】
これに対して、立体画像の表示時に立体感の乏しい立体画像に対して立体感の強調処理を行うことが考えられる。この時、全ての立体画像の立体感が乏しいわけではないため、立体感の乏しい立体画像に選択的に立体感の強調処理を行うことが望ましい。また、立体感が乏しい要因は様々であるので、立体画像の立体感の特徴に応じて立体感の強調処理の種類や強調量を変えることが望ましい。
【００１３】
しかしながら、特許文献１に記載の立体画像の調整機能は、立体画像を見やすく疲れにくくすること、すなわち立体視の安全性を考慮したものであって、立体感の強調を考慮したものではない。立体感の乏しい立体画像を判別する機能や立体画像の立体感の特徴を検出する機能を有しておらず、上記のような立体感の強調処理を適切に行うことはできない。
【００１４】
また、特許文献２に記載の技術は、表示される映像の輝度情報を用いて映像の特徴を判定し、映像の種類に応じて適切に映像表示特性を調整する技術であるが、これは立体画像ではない通常の画像に対する技術である。立体感の乏しい立体画像を判別する機能や立体画像の立体感の特徴を検出する機能、立体感を強調する機能のいずれも有しておらず、上記のような立体感の強調処理を行うことはできない。
【００１５】
本発明は上記課題を鑑みて成されたものであり、立体感の乏しい立体画像を判別すること及び立体画像の立体感の特徴に応じて立体感を強調する補正処理を行うことを目的とする。
【課題を解決するための手段】
【００１６】
本発明の一態様によれば、本発明の立体画像処理装置は、立体画像のシーンを分類する立体画像処理装置であって、前記立体画像を入力する入力部と、前記立体画像から該立体画像の１以上の視差特徴量を算出する視差特徴量算出部と、前記視差特徴量により前記立体画像を複数のシーンに分類する立体画像分類部とを備えたことを特徴とする。
【００１７】
本発明の別の一態様によれば、本発明の立体画像処理装置は、前記シーンに基づき立体画像補正処理を行う画像補正部を備えても良い。
【００１８】
本発明の別の一態様によれば、前記立体画像補正処理は、前記立体画像の視差調整処理により立体感を強調する処理であっても良い。
【００１９】
本発明の別の一態様によれば、前記視差特徴量は、前記立体画像の最近景の視差量と最遠景の視差量の幅である視差範囲幅であっても良い。
【００２０】
本発明の別の一態様によれば、前記視差特徴量は、視差量に関する第１の定数より近景側の視差量により決定される近景側度数総和であっても良い。
【００２１】
本発明の別の一態様によれば、前記視差特徴量は、前記視差量に関する第１の定数より小さい視差量に関する第２の定数より近景側の視差量により決定される第二近景側度数総和であっても良い。
【００２２】
本発明の別の一態様によれば、前記視差特徴量は、視差量に関する第３の定数より近景側の、前記立体画像の周辺部における視差量により決定される画像周辺部近景側度数総和であっても良い。
【００２３】
本発明の別の一態様によれば、前記立体画像分類部は、前記視差範囲幅と第１の視差範囲幅定数を比較して前記立体画像を分類する処理を行い、前記画像補正部は、前記視差範囲幅が前記第１の視差範囲幅定数より小さいシーンに、前記立体画像の視差を大きくする視差調整処理を行っても良い。
【００２４】
本発明の別の一態様によれば、前記立体画像分類部は、前記視差範囲幅と前記第１の視差範囲幅定数及びそれより大きい第２の視差範囲幅定数を比較して前記立体画像を分類する処理と、前記近景側度数総和と第１の近景側度数総和定数及びそれより大きい第２の近景側度数総和定数を比較して前記立体画像を分類する処理とを行い、前記画像補正処理部は、前記視差範囲幅が前記第１の視差範囲幅定数より大きくかつ前記第２の視差範囲幅定数より小さいシーンであって、かつ前記近景側度数総和が前記第１の近景側度数総和定数より大きくかつ前記第２の近景側度数総和定数より小さいシーンに、前記立体画像の視差を小さくする視差調整処理を行っても良い。
【００２５】
本発明の別の一態様によれば、前記立体画像分類部は、前記視差範囲幅と前記第１の視差範囲幅定数及びそれより大きい前記第２の視差範囲幅定数を比較して前記立体画像を分類する処理と、前記近景側度数総和と第３の近景側度数総和定数を比較して分類する処理と、前記第二近景側度数総和と第４の近景側度数総和定数を比較して前記立体画像を分類する処理とを行い、前記画像補正処理部は、前記視差範囲幅が前記第１の視差範囲幅定数より大きくかつ前記第２の視差範囲幅定数より小さいシーンであって、かつ前記近景側度数総和が前記第３の近景側度数総和定数より大きいシーンであって、かつ前記第二近景側度数総和が前記第４の近景側度数総和定数より小さいシーンに、前記立体画像の視差を小さくする視差調整処理を行っても良い。
【００２６】
本発明の別の一態様によれば、前記立体画像分類部は、前記視差範囲幅と前記第１の視差範囲幅定数を比較して前記立体画像を分類する処理と、前記画像周辺部近景側度数総和と第１の画像周辺部近景側度数総和定数を比較して前記立体画像を分類する処理とを行い、前記画像補正処理部は、前記視差範囲幅が前記第１の視差範囲幅定数より大きいシーンであって、かつ画像周辺部近景側度数総和が前記第１の画像周辺部近景側度数総和定数より大きいシーンに、前記立体画像の視差を大きくする視差調整処理を行っても良い。
【００２７】
本発明の別の一態様によれば、本発明の立体画像処理装置は、立体画像のシーンを分類する立体画像処理装置であって、前記立体画像及び該立体画像の１以上の視差特徴量を入力する入力部と、前記視差特徴量により前記立体画像を複数のシーンに分類する立体画像分類部とを備えたことを特徴とする。
【００２８】
本発明の別の一態様によれば、本発明の立体画像処理装置は、前記シーンの変化により前記立体画像のシーンチェンジを検出するシーンチェンジ検出部を備えても良い。
【００２９】
本発明の別の一態様によれば、本発明の立体画像処理方法は、立体画像のシーンを分類する立体画像処理方法であって、前記立体画像を入力するステップと、前記立体画像から該立体画像の１以上の視差特徴量を算出するステップと、前記視差特徴量により前記立体画像を複数のシーンに分類するステップとを有することを特徴とする。
【００３０】
本発明の別の一態様によれば、本発明の立体画像処理方法は、立体画像のシーンを分類する立体画像処理方法であって、前記立体画像及び該立体画像の１以上の視差特徴量を入力するステップと、前記視差特徴量により前記立体画像を複数のシーンに分類するステップとを有することを特徴とする。
【００３１】
本発明の別の一態様によれば、本発明のプログラムは、コンピュータに立体画像のシーンを分類する立体画像処理を実行させるためのプログラムであって、前記立体画像を入力するステップと、前記立体画像から該立体画像の１以上の視差特徴量を算出するステップと、前記視差特徴量により前記立体画像を複数のシーンに分類するステップとを含むことを特徴とする。
【００３２】
本発明の別の一態様によれば、本発明のプログラムは、コンピュータに立体画像のシーンを分類する立体画像処理を実行させるためのプログラムであって、前記立体画像及び該立体画像の１以上の視差特徴量を入力するステップと、前記視差特徴量により前記立体画像を複数のシーンに分類するステップとを含むことを特徴とする。
【発明の効果】
【００３３】
上記手段により、本発明に係る立体画像処理装置は、立体画像の視差特徴量を算出し、これを用いて立体画像を複数のシーンに分類することが可能となる。また、そのシーンに基づき立体画像の立体感を強調する補正処理を行うことが可能となる。
【図面の簡単な説明】
【００３４】
【図１】立体画像のフレームの概念を説明する図である。
【図２】第１の実施例に係る立体画像表示装置の構成を示すブロック図である。
【図３】第１の実施例に係る視差特徴量算出部の構成を示すブロック図である。
【図４】視差ヒストグラムの一例である。
【図５】第１の実施例における立体画像の分類の種類とそれに対応する画像補正処理を示す図である。
【図６】立体画像とそれによる奥行き知覚を説明する図である。
【図７】立体画像とそれによる奥行き知覚を説明する図である。
【図８】立体画像とそれによる奥行き知覚を説明する図である。
【図９】第２の実施例に係る立体画像表示装置の構成を示すブロック図である。
【図１０】第２の実施例に係る視差特徴量算出部の構成を示すブロック図である。
【図１１】近景側度数総和について説明するための視差ヒストグラムを示した図である。
【図１２】第２の実施例における立体画像の分類の種類とそれに対応する画像補正処理を示す図である。
【図１３】第２の実施例における視差調整量の決定方法を説明する図である。
【図１４】第３の実施例に係る立体画像表示装置の構成を示すブロック図である。
【図１５】第３の実施例に係る視差特徴量算出部の構成を示すブロック図である。
【図１６】画像の周辺部分を説明する図である。
【図１７】第３の実施例における立体画像の分類の種類とそれに対応する画像補正処理を示す図である。
【図１８】第４の実施例に係る立体画像表示装置の構成を示すブロック図である。
【図１９】第４の実施例に係る視差特徴量算出部の構成を示すブロック図である。
【図２０】近景側度数総和及び第二近景側度数総和について説明するための視差ヒストグラムを示した図である。
【図２１】第４の実施例における立体画像の分類の種類とそれに対応する画像補正処理を示す図である。
【図２２】第５の実施例に係る立体画像表示装置の構成を示すブロック図である。
【図２３】第５の実施例に係るシーンチェンジ検出部の構成を示すブロック図である。
【図２４】シーンチェンジ検出に用いるフレームと、それによって検出されるシーンチェンジの位置の関係を説明する図である。
【図２５】特許文献１に記載の視差制御方法を説明する図である。
【図２６】特許文献２に記載の映像表示装置を説明する図である。
【発明を実施するための形態】
【００３５】
以下、添付図面を参照しながら本発明の好適な立体画像処理装置の実施例について詳細に説明する。本発明は、フィールド信号とフレーム信号のいずれに対しても適用できるものであるが、フィールドとフレームは互いに類似の関係にあるため、フレーム信号を代表例として説明するものとする。
【００３６】
まず図１により、本発明における、右目用画像データと左目用画像データからなる立体画像の、フレームの概念について説明する。図１（ａ）に示すのは、1枚の画像の左半分に横方向の解像度を通常の１／２にした左目用画像（Ｌ）を、右半分に横方向の解像度を通常の１／２にした右目用画像（Ｒ）を格納した形式での立体画像である。サイドバイサイド形式と呼ばれている。この場合は、左目用画像（Ｌ）と右目用画像（Ｒ）からなる１枚の画像が１フレームになる。動画の場合は、フレームレートをＸフレーム／秒とすると、上記形式の画像が１秒間にＸ枚、すなわちフレームレートと同一の枚数必要である。
【００３７】
図１（ｂ）に示すのは、1枚の画像の上半分に縦方向の解像度を通常の１／２にした左目用画像（Ｌ）を、下半分に縦方向の解像度を通常の１／２にした右目用画像（Ｒ）を格納した形式での立体画像である。トップアンドボトム形式と呼ばれている。この場合も、左目用画像（Ｌ）と右目用画像（Ｒ）からなる１枚の画像が１フレームになる。動画もサイドバイサイド形式と同様、この形式の画像が１秒間にフレームレートと同一の枚数必要である。またこの他にも、左目用画像と右目用画像を、解像度はそのまま上下につないで大きな１枚の画像とする、フレームパッキングと呼ばれる方式もある。これも動画の場合は、この形式の画像が１秒間にフレームレートと同一の枚数必要である。
【００３８】
一方、図１（ｃ）に示すのは、左目用画像（Ｌ）と右目用画像（Ｒ）を時間軸上で交互に並べた形式での立体画像である。フレームシーケンシャル形式と呼ばれている。この場合は本願では図１（ｃ）に示すように、１枚の左目用画像（Ｌ）と１枚の右目用画像（Ｒ）をセットにして１フレームと数える。よって動画の場合は、フレームレートをＸフレーム／秒とすると、左目用画像（Ｌ）が１秒間にＸ枚、右目用画像（Ｒ）が１秒間にＸ枚、交互に並んでいることから、合計で２Ｘ枚の画像となる。
【００３９】
このように、本願においては、画像の実際の格納形式に関わらず、左目用画像と右目用画像のセットで１フレームと考える。さらには、ｎ視点（ただしｎ＞２とする）の映像からなるｎ眼画像の場合も、ｎ眼分の画像をセットにして１フレームと考える。
【００４０】
次に、本発明における、シーン及びシーンチェンジの定義について説明する。
【００４１】
本発明におけるシーンとは、同一の補正処理を施すことができるような画像群を指すものとする。言い換えると、同一のシーンに分類された画像であれば、同じ補正処理を施すことができる。
【００４２】
本発明では、立体画像の視差情報を用いてシーンの類似を判定し、分類している。２つの立体画像の視差情報が類似していれば、それらの画像は同一のシーンに分類される。
【００４３】
立体画像が動画である場合、単一のカメラで撮影した連続する一連の画像群は、同一シーンである場合が多い。これら一連の画像群においては、視差情報は大きく変わらない場合が多いためである。
【００４４】
また、立体画像の動画においてシーンが変わることをシーンチェンジと呼ぶ。立体画像の視差は通常、シーンチェンジの前後においては不連続に変化する。シーンごとに、被写体が変わったり、被写体とカメラとの位置関係が変わったりするためである。
【実施例１】
【００４５】
本発明の第１の実施例は、立体画像処理装置であって、立体画像の奥行の幅が狭いために立体感が乏しく感じられるシーンに対し、立体感を強調する画像補正処理を行うことを目的としている。このために、立体画像の視差の範囲の幅を立体画像の視差の特徴量として用いてシーン分類を行う。
【００４６】
図２は、第１の実施例にかかる立体画像処理装置１Ａの構成を示すブロック図である。立体画像処理装置１Ａは、入力部２、立体画像処理部３、視差特徴量算出部４Ａ、立体画像分類部５Ａ、画像遅延部６、画像補正部７Ａ、表示制御部８、表示部９、メガネ同期部１０から構成される。また、ユーザが装着するシャッタメガネ１１を用いる。
【００４７】
入力部２は、立体画像データを立体画像処理装置１Ａに入力する部分である。入力される立体画像データは、放送波によるもの、記録メディアから電子的に読み出されたもの、通信により取得されたものなど、どのようなものでも構わない。すなわち、入力部２は、放送電波の受信機装置であっても良いし、半導体メモリ読み出し装置、光ディスクや磁気ディスクの読み出し装置、ネットワークとの通信機能を持つものであっても良い。あるいは、立体画像処理装置１Ａは立体画像が撮影可能なカメラであり、入力部２は多眼カメラであっても良い。要するに、立体画像として解釈可能なデータを入力できるものであれば良い。また、立体画像データは、右目用画像データと左目用画像データからなるものであっても良いし、多眼表示用の多視点画像データであっても良い。また、画像データと奥行データ又は視差データからなるものであっても良い。さらに、立体画像データは、静止画であっても良いし、動画であっても良い。入力部２は、入力された立体画像データを立体画像処理部３に送る。立体画像データが静止画の場合は、同じ画像を連続して出力し、動画と同様に扱う。
【００４８】
立体画像処理部３は、入力部２により画像データの入力を受け、左目用画像データと右目用画像データに展開する。入力された画像データに付加情報がある場合は、付加情報を抽出する。付加情報は、撮影時のカメラパラメータ、視差情報や奥行き情報、視差のヒストグラム情報等であっても良い。前記の通り、入力部２に入力される立体画像データは、右目用画像データと左目用画像データからなるもののほか、様々な形式がありうる。立体画像データが右目用画像データと左目用画像データからなる場合は、それをそのまま用いる。多視点画像データである場合は、そこから２視点分のデータを選択し右目用画像データと左目用画像データとする。立体画像処理部３は、左目用画像データと右目用画像データを、視差特徴量算出部４Ａ及び画像遅延部６に送る。付加情報がある場合は、それも視差特徴量算出部４Ａに送る。なお、立体画像データが画像データと視差データからなる場合は、それらのデータをそのまま視差特徴量算出部４Ａに送ってもよい。また、立体画像データが画像データと奥行データからなる場合は、奥行データを視差データに変換し、画像データと視差データを視差特徴量算出部４Ａに送ってもよい。
【００４９】
視差特徴量算出部４Ａは、左目用画像データと右目用画像データから視差を算出し、さらに視差に関する特徴量である視差特徴量を抽出する。付加情報を用いて視差特徴量を抽出する場合もある。これらの処理の詳細な内容については後述する。視差特徴量算出部４Ａは、抽出した視差特徴量を立体画像分類部５Ａに送る。
【００５０】
立体画像分類部５Ａは、視差特徴量を用いて立体画像を所定の種類に分類する。そして立体画像分類結果を画像補正部７Ａに出力する。
【００５１】
画像遅延部６は、立体画像処理部３より入力された左目用画像データと右目用画像データを保持するメモリを有し、入力された画像データを１フレーム分遅延させて、画像補正部７Ａに出力する。すなわち、（ｎ＋１）フレーム目の画像が入力されているときは、ｎフレーム目の画像を出力する。ｎフレーム目の画像に対して視差特徴量算出部４Ａ、立体画像分類部５Ａで処理を行った結果は、ｎフレーム目の画像を全て処理した後でなければ得られない。よって、その結果を用いて同じｎフレーム目の画像に画像補正処理を施すためには、ｎフレーム目の画像データを保持して遅延して出力することが必要となる。
【００５２】
画像補正部７Ａは、立体画像分類部５Ａから入力した立体画像分類結果を元に、画像補正処理を決定し、画像遅延部６から入力した左目用画像データと右目用画像データに対して画像補正処理を行う。そして画像補正処理後の左目用画像データと右目用画像データを表示制御部８に出力する。
【００５３】
表示制御部８は、画像補正部７Ａから入力した画像補正処理後の左目用画像データと右目用画像データを、立体画像の提示方法に合わせた方式で、表示部９に出力する。また、観察者の装着したシャッタメガネ１１を表示部９における画像表示と同期して動作させるための同期信号をメガネ同期部１０に送る。
【００５４】
表示部９は、表示制御部８から入力した画像を随時表示する。本実施例では、表示部９として液晶表示パネルを用い、左目用画像と右目用画像を交互に表示する。
【００５５】
メガネ同期部１０は、表示制御部８から送られた同期信号を、赤外線や電波等を用いて、シャッタメガネ１１に対して送信する。
【００５６】
シャッタメガネ１１は、メガネ同期部１０から送信された同期信号を受信し、それに従って右目用及び左目用のシャッタを開閉する。観察者はこのシャッタメガネ１１をかけて表示部９を見る。本実施例では前記の通り、表示部９に液晶表示パネルを用い、左目用画像と右目用画像を交互に表示し、観察者の装着したシャッタメガネ１１と同期して立体視を行う方式を用いている。表示部９に左目用画像が表示されているときはシャッタメガネ１１の左目用シャッタを開、右目用シャッタを閉とすることにより左目用画像を左目に呈示し、右目用画像が表示されているときには左目用シャッタを閉、右目用シャッタを開とすることにより右目用画像を右目に呈示して、立体視を実現する。
【００５７】
さらに、視差特徴量算出部４Ａ、立体画像分類部５Ａ、画像補正部７Ａのより詳細な処理内容について説明する。
【００５８】
図３は、視差特徴量算出部４Ａの構成を示すブロック図である。視差算出部４１、視差ヒストグラム作成部４２、視差範囲幅算出部４３から構成されている。
【００５９】
視差算出部４１は、左目用画像データと右目用画像データから、立体画像を構成する右目用画像及び左目用画像の対応点のずれ、即ち視差を、ブロックマッチング等を用いて画像全域にわたって求める。この時、画像内の画素毎に視差を求めても良いし、所定の大きさのブロック（例えば８×８ピクセルのブロック）毎に視差を求めても良い。なお、入力部２に入力される立体画像データの付加情報として、画素毎あるいは所定の大きさのブロック毎の視差が付加されていた場合は、視差算出部４１における処理をスキップしても良い。また、立体画像処理部３から立体画像データとして画像データと視差データが送られてきた場合は、視差算出部４１における処理をスキップする。また、付加情報として画素毎あるいは所定の大きさのブロック毎の奥行及び撮影時のカメラの間隔と焦点距離の情報が付加されていた場合は、カメラの間隔と焦点距離の情報を用いて、奥行を視差に変換しても良い。視差算出部４１は、視差を視差ヒストグラム作成部４２に送る。
【００６０】
視差ヒストグラム作成部４２は、視差算出部４１で求めた画像全域の視差のデータから、その度数分布である視差ヒストグラムを作成する。視差ヒストグラムの代用として奥行きをヒストグラムにしたものでも良い。すなわち立体画像に表現されている表示物の視差またはそれと同等の量の度数分布が表されているものであれば良い。視差ヒストグラム作成部４２は、視差ヒストグラムを視差範囲幅算出部４３に送る。
【００６１】
視差範囲幅算出部４３は、視差ヒストグラム作成部４２から入力した視差ヒストグラムから、その画像における最近景の視差量と最遠景の視差量を求め、その幅を視差特徴量として立体画像分類部５Ａに出力する。このように、立体画像における被写体が存在する視差の範囲を、以下では視差範囲と呼ぶ。また、視差範囲の幅を視差範囲幅と呼び、Ｗと表記する。
【００６２】
図４を用いて視差範囲幅算出部４３の処理の詳細を説明する。図４は視差ヒストグラムの一例を示している。横軸は視差量、縦軸は度数である。視差量が０の点を基準とし、０以上が遠景側、０未満が近景側としている。この視差ヒストグラムには、近景側に小さなピーク、遠景側に大きなピークがある。例えば遠い風景をバックにして近くにいる数人の人間を撮影した場合に、このようなヒストグラムの形となる。閾値Ｔｄは視差ヒストグラムの度数の閾値である。実際の視差ヒストグラムは図４のように滑らかではなく小さなピークが存在するので、その影響を除外するために、閾値Ｔｄを用いる。視差ヒストグラムと閾値Ｔｄの交点の中で最大の視差量を持つ点の視差量を最遠景の視差量とし、最小の視差量を持つ点の視差量を最近景の視差量とする。つまり、図４のように複数の交点がある場合でも、視差が最大及び最小の交点の視差量を最遠景の視差量及び最近景の視差量とする。そして、最遠景の視差量から最近景の視差量を引いたものを視差範囲幅Ｗとする。
【００６３】
なお、ここでは一つの閾値Ｔｄを用いて最遠景の視差量及び最近景の視差量を検出したが、最近景の視差量及び最遠景の視差量で異なる閾値を用いて検出しても構わない。
【００６４】
立体画像分類部５Ａでは、視差範囲幅Ｗを用いて立体画像を分類する。本実施例では、視差範囲幅Ｗの大きさで２種類に分類する。判定のための閾値をＴｗ１Ａとすると、Ｗ＜Ｔｗ１Ａの場合、視差範囲幅の狭い立体画像と分類し、Ｔｗ１Ａ≦Ｗの場合、視差範囲幅の広い立体画像と分類する。この分類結果を画像補正部７Ａに出力する。
【００６５】
このように視差範囲幅の狭い立体画像を分類するため、例えばＴｗ１Ａは以下のように定めることができる。人間が許容できる遠景側の最大視差量は、前記の通り画面上での視差量が無限遠を見ている時の瞳孔間の距離と等しくなる量である。これを遠景側最大視差量とする。一方、人間が許容できる近景側の最大視差量は一般に、人間の目が画面上を見たときの輻輳角と、被写体の見かけの位置を見たときの輻輳角との差である視差角差が１°を超えないような視差量が安全であるとされている。ここから、視差角差が１°となる近景側の視差量を近景側最大視差量とする。そして、遠景側最大視差量から近景側最大視差量を引いたものを最大視差範囲幅Ｗｍａｘとする。このＷｍａｘを基準にしてＴｗ１Ａを定めることができる。例えば、Ｗｍａｘの１０％の値をＴｗ１Ａとする。
【００６６】
図５に、上記分類処理による２種類の分類に関する典型的な視差ヒストグラムの例を示す。各視差ヒストグラムの横軸は視差量、縦軸は度数であり、中央の細い縦線は、視差０の線である。また、各マスの点線以下の部分に、後述の画像補正処理の種類を記載している。
【００６７】
図５の左側の視差ヒストグラムはＷ＜Ｔｗ１Ａを満たし、視差範囲幅の狭い立体画像と分類されたものである。このように視差ヒストグラムが狭い範囲に収まっている。つまり、画像の中の被写体間の奥行の幅が狭く、立体感が乏しい立体画像である。図５の右側の視差ヒストグラムはＴｗ１Ａ≦Ｗを満たし、視差範囲幅の広い立体画像と分類されたものである。このように視差ヒストグラムが広い範囲に分布している。つまり、画像の中に様々な奥行の部分があり、立体感が豊かな立体画像である。
【００６８】
画像補正部７Ａは、視差範囲幅Ｗの大きさによる立体画像分類結果を用い、立体画像が視差範囲幅の狭いシーンと分類された場合に、立体感を強調するよう視差を調整する処理を行う。視差調整の手段として様々な方法が考えられるが、本実施例では左右の画像をそれぞれ水平方向にシフトさせることによる視差調整方法を用いる。図６〜図８を用いて、この原理を説明する。
【００６９】
図６（ａ）は、丸と三角の二つの物体が写っている左右の画像からなる立体画像を示している。図６（ｂ）は、人間がこの立体画像を立体画像表示装置を用いて見たときに各物体の奥行がどのように知覚されるかを示している。表示された左右の画像上の各物体の位置関係により、三角の物体は立体画像表示装置より手前に、丸の物体は奥に知覚される。
【００７０】
図７（ａ）は、図６（ａ）の左目用画像を左にずらし右目用画像を右にずらすシフト処理を施した立体画像を示している。この処理により、視差は画面全体で一様に大きくなる。図７（ｂ）は、図７（ａ）の立体画像による各物体の奥行の知覚を示している。図７（ｂ）を図６（ｂ）と比較すると、いずれの物体もより遠景方向に移動して見える効果があることがわかる。また、丸の物体の方が三角の物体より多く遠景方向に移動しており、二つの物体の奥行の幅が広がっていることがわかる。つまり、より立体感が強調されて見える効果があることがわかる。
【００７１】
図８（ａ）は逆に、図６（ａ）の左目用画像を右にずらし右目用画像を左にずらすシフト処理を施した立体画像を示している。この処理により、視差は画面全体で一様に小さくなる。図８（ｂ）は、図８（ａ）の立体画像による各物体の奥行の知覚を示している。図８（ｂ）を図６（ｂ）と比較すると、いずれの物体もより近景方向に移動して見える効果があることがわかる。また、丸の物体の方が三角の物体より多く近景方向に移動しており、二つの物体の奥行の幅が狭まっていることがわかる。つまり、より立体感が弱められて見える効果があることがわかる。
【００７２】
このように、単純に右目用画像と左目用画像の位置関係を水平方向にずらすシフト処理を施して視差を一様に増減させるだけでも、画像中の物体の知覚される位置を変える効果や、奥行の幅が変わることにより立体感を強調したり弱めたりする効果が得られる。この原理を用いると、物体が手前に飛び出しすぎて見える画像は奥にずらすように調整し、物体が奥すぎて見える画像は手前にずらすように調整する、といったことが可能である。また、意図的に立体感を強調したり弱めたりすることも可能である。なお、このシフト処理では視差を一様に増減させており、視差範囲幅は変わっていないが、奥行の幅は増減する効果がある、ということである。
【００７３】
画像補正部７Ａは、立体画像が視差範囲幅の狭いシーンと分類された場合、すなわち図５における「処理Ａ」と記載のあるマスに分類された場合に、左目用画像を左にずらし右目用画像を右にずらすシフト処理を行い、視差を画面全体で一様に増加させる。このシフト処理は上記で図７を用いて説明したように、奥行の幅を広げてより立体感を強調する効果がある。
【００７４】
次に、上記の視差調整のためのシフト処理の調整量の決定方法を説明する。画像補正前の立体画像の立体感が乏しいほど、立体感をより強く強調する画像補正処理を施す、すなわち調整量を大きくすることが望ましい。上記シフト処理の調整量をａとしたとき、以下のような方法でａを定めることができる。
【００７５】
例えば、前記の視差範囲幅Ｗ及び定数ｃ１を用いて、ａ＝ｃ１／Ｗと定めることができる。視差範囲幅Ｗが狭く立体感が乏しい立体画像ほど、調整量ａが大きくなるようにしたものである。
【００７６】
また、視差ヒストグラムからその最頻値Ｈｍａｘを求め、定数ｃ２を用いて、ａ＝ｃ２×Ｈｍａｘと定めることもできる。図４にＨｍａｘを示す。一般に、視差範囲幅が狭いと視差ヒストグラムの最頻値の度数Ｈｍａｘは高くなる。そこでＨｍａｘが大きいほど調整量ａが大きくなるようにしたものである。
【００７７】
あるいは、上記の視差範囲幅Ｗと視差ヒストグラムの最頻値Ｈｍａｘの両方と定数ｃ３を用いて、ａ＝ｃ３／Ｗ×Ｈｍａｘと定めることもできる。さらには上記の方法を組み合わせ、例えばａ＝ｃ１／Ｗ＋ｃ２×Ｈｍａｘと定めても良い。
【００７８】
立体画像がその他の分類をされた場合、すなわち図５において「−」と記載のあるマスに分類された場合は、画像補正部７Ａは画像補正処理を行わない。この場合は視差範囲幅が中程度以上であり、特に画像補正処理を行わなくても十分立体感が感じられるためである。
【００７９】
以上のように、本実施例における立体画像処理装置１Ａは、立体画像の視差範囲幅Ｗを用いて、立体画像を奥行の幅の狭いシーンと奥行の幅の広いシーンに分類する。これにより、立体画像の視差量の特徴により立体画像の内容に関するシーン分類を行うことができるという効果を有する。このような分類は、従来の輝度情報等を用いた画像の分類手段では不可能であった。
【００８０】
また本実施例における立体画像処理装置１Ａは、立体画像のシーン分類結果を用いて、奥行の幅の狭いシーン、すなわち立体感の乏しいシーンに対し、立体感を強調する画像補正処理を施す。これにより、立体感が少ないシーンに対して選択的に、そのシーンに適した立体感の強調処理を行うことができる、という効果を有する。
【００８１】
また本実施例における立体画像処理装置１Ａは、視差範囲幅Ｗや最頻値Ｈｍａｘといった、立体画像の立体感に関連する特徴量を用いて上記シフト処理の調整量を決定する。これにより、各立体画像に対し最適な調整量を設定することができる、という効果を有する。
【実施例２】
【００８２】
本発明の第２の実施例は、立体画像処理装置であって、第１の実施例で説明した画像補正処理に加えて、被写体の飛び出しが少ないために立体感が乏しく感じられるシーンに対し、被写体を手前に飛び出させて立体感を強調する画像補正処理を行うことを目的としている。このために第１の実施例と比べて、視差特徴量としてさらに、近景側に存在する被写体が画像内に占める割合を示す量を用いてシーン分類を行う。
【００８３】
図９は、第２の実施例にかかる立体画像処理装置１Ｂの構成を示すブロック図である。第１の実施例に係る立体画像処理装置１Ａとは、視差特徴量算出部４Ｂ、立体画像分類部５Ｂ、画像補正部７Ｂが異なる。同一の部分に関する説明は省略し、異なる部分を中心に説明する。
【００８４】
図１０は、視差特徴量算出部４Ｂの構成を示すブロック図である。視差特徴量算出部４Ａと比較すると、近景側度数総和算出部４４が追加されている。
【００８５】
近景側度数総和算出部４４は、視差ヒストグラム作成部４２から入力した視差ヒストグラムから、近景側の度数の総和である近景側度数総和Ｓを求め、これを視差特徴量として立体画像分類部５Ｂに出力する。
【００８６】
図１１は、近景側度数総和Ｓについて説明するための視差ヒストグラムを示した図である。横軸は視差量、縦軸は度数である。視差量が０の点を基準とし、０以上が遠景側、０未満が近景側としている。所定の閾値Ｔｄ１を用いて、視差ヒストグラムにおいて視差量がＴｄ１以下のビンの度数の総和を求め、これを近景側度数総和Ｓとする。図１１において網掛けを施した部分が、近景側度数総和Ｓに相当する。視差ヒストグラムが視差量−ｌからｍ（ｌ、ｍは自然数）の範囲で作成されており、視差ヒストグラムの各ビンの幅を１、各ビンの度数をｈｉ（−ｌ≦ｉ≦ｍ）とすると、近景側度数総和Ｓは以下の式で求めることができる。
Ｓ＝Σｈｉ （−ｌ≦ｉ≦Ｔｄ１）
一般的にはＴｄ１＝０とし、視差ヒストグラムの視差量０までの度数総和を算出する。しかしこれに限られるわけではなく、０以外の視差量までの度数総和を算出しても良い。例えば、視差推定には推定誤りがあることから、近景側の視差を持つ可能性がある画素まで広く含めて度数を求めるために、Ｔｄ＝１０として度数総和を求めても良い。
【００８７】
一方、視差範囲幅算出部４３は、前記の通り視差範囲幅Ｗを視差特徴量として出力する。従って、視差特徴量算出部４Ｂは視差特徴量として、視差範囲幅Ｗ及び近景側度数総和Ｓの２つの情報を立体画像分類部５Ｂに出力する。
【００８８】
立体画像分類部５Ｂは、視差特徴量である視差範囲幅Ｗ及び近景側度数総和Ｓを用いて立体画像を分類する。本実施例では、視差範囲幅Ｗの大きさで３種類に、近景側度数総和Ｓの大きさで３種類に、それぞれ分類する。従ってトータルでは３×３＝９種類に分類できる。この分類結果を画像補正部７Ｂに出力する。
【００８９】
視差範囲幅Ｗについては、判定のための閾値Ｔｗ１Ｂ、Ｔｗ２Ｂ（Ｔｗ１Ｂ＜Ｔｗ２Ｂ）を用い、以下のように分類する。
・Ｗ＜Ｔｗ１Ｂ：視差範囲幅の狭い立体画像
・Ｔｗ１Ｂ≦Ｗ≦Ｔｗ２Ｂ：視差範囲幅が中程度の立体画像
・Ｔｗ２Ｂ＜Ｗ：視差範囲幅の広い立体画像
このように視差範囲幅の狭い立体画像及び視差範囲幅の中程度の立体画像を分類するため、例えばＴｗ１Ｂとしては前記の最大視差範囲幅Ｗｍａｘの１０％の値を、Ｔｗ２ＢとしてはＷｍａｘの５０％の値を設定する。
【００９０】
近景側度数総和Ｓについては、判定のための閾値Ｔｓ１、Ｔｓ２（０≦Ｔｓ１＜Ｔｓ２）を用い、以下のように分類する。
・Ｓ＜Ｔｓ１：近景側に被写体がほとんど存在しない立体画像
・Ｔｓ１≦Ｓ≦Ｔｓ２：近景側に小さな被写体が存在する立体画像
・Ｔｓ２＜Ｓ：近景側に中程度以上の被写体が存在する立体画像
このように近景側に小さな被写体が存在するか否かを判定するために、閾値Ｔｓ１、Ｔｓ２はいずれも小さな値を設定する。例えば、Ｔｓ１は視差ヒストグラムの全度数の５％、Ｔｓ２は視差ヒストグラムの全度数の１０％のように設定する。
【００９１】
図１２に、上記分類処理による９種類のシーンの典型的な視差ヒストグラムの例を一覧表にして示す。行方向に視差範囲幅Ｗによる３つの分類を、列方向に近景側度数総和Ｓによる３つの分類を記載し、そのマトリックスで合計９種類の分類を示している。各視差ヒストグラムの横軸は視差量、縦軸は度数であり、中央の細い縦線は、視差０を表す。また、各マスの点線以下の部分に、後述の画像補正処理の種類を記載している。
【００９２】
まず視差範囲幅Ｗによる３つの分類から説明する。図１２の左側の列の視差ヒストグラムは、Ｗ＜Ｔｗ１Ｂを満たし、視差範囲幅の狭い立体画像と分類されたものである。それぞれ視差ヒストグラムの概形は異なるが、いずれも視差範囲幅が狭い。図１２の中央の列の視差ヒストグラムは、Ｔｗ１Ｂ≦Ｗ≦Ｔｗ２Ｂを満たし、視差範囲幅が中程度の立体画像と分類されたものである。それぞれ視差ヒストグラムの概形は異なるが、いずれも視差範囲幅は中程度である。図１２の右側の列の視差ヒストグラムは、Ｔｗ２Ｂ＜Ｗを満たし、視差範囲幅の広い立体画像と分類されたものである。それぞれ視差ヒストグラムの概形は異なるが、いずれも視差範囲幅は広い。
【００９３】
次に近景側度数総和Ｓによる３つの分類について説明する。図１２の上側の行の視差ヒストグラムは、Ｓ＜Ｔｓ１を満たし、近景側に被写体が存在しない立体画像と分類されたものである。それぞれ視差ヒストグラムの幅は異なるが、いずれも視差０の線より左側には視差ヒストグラムの度数がほとんどない。図１２の中央の行の視差ヒストグラムは、Ｔｓ１≦Ｓ≦Ｔｓ２を満たし、近景側に比較的小さな被写体が存在する立体画像と分類されたものである。それぞれ視差ヒストグラムの幅は異なるが、いずれも視差０の線より左側に視差ヒストグラム少し存在する。図１２の下側の行の視差ヒストグラムは、Ｔｓ２＜Ｓを満たし、近景側に中程度以上の被写体が存在する立体画像と分類されたものである。それぞれ視差ヒストグラムの幅は異なるが、いずれも視差０の線より左側に視差ヒストグラムの多くの部分が存在する。
【００９４】
画像補正部７Ｂは、上記のように９種類のシーンに分類された立体画像分類結果に従い、所定のシーンに対して画像補正処理を行う。補正手段は第１の実施例と同じく、左右の画像をそれぞれシフトさせることによる視差調整方法を用いる。
【００９５】
立体画像が、視差範囲幅が狭いシーンと分類された場合、すなわち図１２における「処理Ａ」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｂは左目用画像を左にずらし右目用画像を右にずらすシフト処理を行い、視差を画面全体で一様に増加させる。このシフト処理は上記で図７を用いて説明したように、奥行の幅を広げてより立体感を強調する効果がある。このシフト処理における調整量は、第１の実施例と同じ方法により決定することができる。
【００９６】
立体画像が、視差範囲幅が中程度でかつ近景側に比較的小さな被写体が存在するシーンと分類された場合、すなわち図１２における「処理Ｂ」と記載のあるマスに分類された場合は、画像補正部７Ｂは左目用画像を右にずらし右目用画像を左にずらすシフト処理を行い、視差を画面全体で一様に減少させる。このシフト処理は上記で図８を用いて説明したように、画像中の被写体全体がより近景側に移動して飛び出して見える効果がある。
【００９７】
ここで、視差範囲幅が中程度であることを条件としているのは、以下の理由による。前記の通り、立体画像において被写体が画像の周辺部分にかかっており、その被写体が画面より手前に知覚されるような視差量を有する場合、その視差量にも関わらず手前に飛び出して見え難いという現象がある。ここで、視差範囲幅が狭い立体画像に対して被写体を近景側に飛び出させる調整を行うと、被写体の全部、あるいは大部分が近景側に飛び出すことになり、飛び出した被写体が画像の周辺部にかかる可能性が高くなる。よって、被写体を飛び出させる画像補正処理を行ってもその効果が得られない可能性が高くなる。一方、視差範囲幅が広い場合は、そのままでも十分立体感が感じられるので、画像補正処理を行わなくても良い。以上の理由により視差範囲幅が中程度であることを条件としている。
【００９８】
また、近景側に比較的小さな被写体が存在することを条件としているのは、あまり大きな被写体を飛び出させて見えるようにすると、圧迫感が有り、かえって見難くなる事があるためである。また、被写体が大きいほど画像の周辺部分にかかる可能性が高く、被写体をより手前に飛び出させて迫力を増すという効果が得られない可能性が高いためである。
【００９９】
すなわち以上の処理は、被写体を飛び出させる画像補正処理の効果があると思われるシーンに対して選択的に当該画像補正処理を行うものである。
【０１００】
このシフト処理における調整量は、例えば以下のような方法で定めることができる。
【０１０１】
図１３は、被写体が近景方向に移動するシフト処理の処理前後の視差ヒストグラムを示したものである。（ａ）がシフト処理前の視差ヒストグラム、（ｂ）がシフト処理後の視差ヒストグラムである。各視差ヒストグラムで網掛けされている部分は、視差ヒストグラムにおける近景側部分である。近景方向へ移動させるためシフト処理を行うことで、視差ヒストグラムは全体として左方向に移動し、シフト処理後の近景側度数総和の値も変わる。シフト処理後に被写体が画面より余りに飛び出すとかえって見難くなる。そこで、シフト処理後の近景側度数総和をＳ’、所定の閾値をＴｓ３として、Ｓ’＝Ｔｓ３となるシフト量を求め、これを調整量ａとすることで、被写体が飛び出すことによる迫力の増加と、見難さの増加とのバランスを取ることができる。
【０１０２】
Ｔｓ３としては、例えば視差ヒストグラムの全度数の５０％と定めることができる。Ｓ’が５０％の時、シフト処理後の画像中の被写体の半分は画面より手前に飛び出し、残り半分が画面より奥にあることになり、近景側および遠景側の被写体がバランスよく分布するためである。
【０１０３】
立体画像がその他の分類をされた場合、すなわち図１２において「−」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｂは画像補正処理を行わない。これらはいずれも視差範囲幅が中程度以上であり、特に画像補正処理を行わなくても十分立体感が感じられ、また上記の図１２の「処理Ｂ」の場合のようにさらに立体感を強調できる条件でもないためである。
【０１０４】
以上のように、本実施例における立体画像処理装置１Ｂは、視差範囲幅Ｗ及び近景側度数総和Ｓという２種類の視差特徴量を用いて立体画像を９種類のシーンに分類している。これにより、立体画像の視差情報についてより多様な観点から、より細かく精度の高い分類を可能とする、という効果を有する。
【０１０５】
また本実施例における立体画像処理装置１Ｂは、より細かく精度の高い分類を可能となったことから、近景側に比較的小さな被写体が存在する立体画像に対して、その被写体をより手前に飛び出させて迫力を増す画像補正処理を行うことがさらに可能となった。これにより、第１の実施例に比べてより多様な画像補正処理を、シーンの内容に応じて適切に行うことができるという効果を有する。また、立体感の強調処理の対象となるシーンがより多くなるという効果を有する。
【実施例３】
【０１０６】
本発明の第３の実施例は、立体画像処理装置であって、第２の実施例で説明した２種類の画像補正処理に加えて、画像の周辺部に近景側に飛び出した被写体が有るために立体感が感じられ難いシーンに対し、被写体を奥に移動させて立体感を感じやすくすることで、相対的に立体感を強調する画像補正処理を行うことを目的としている。このために第２の実施例と比べて、視差特徴量としてさらに、画像の周辺部において近景側に飛び出した被写体が画像周辺部に占める割合を示す量を用いてシーン分類を行う。またこの新たな視差特徴量を用いることで、第２の実施例で説明した被写体を手前に飛び出させて立体感を強調する画像補正処理も、処理対象とするシーンをより的確に分類することができる。
【０１０７】
図１４は、第３の実施例にかかる立体画像処理装置１Ｃの構成を示すブロック図である。第２の実施例に係る立体画像処理装置１Ｂとは、視差特徴量算出部４Ｃ、立体画像分類部５Ｃ、画像補正部７Ｃが異なる。同一の部分に関する説明は省略し、異なる部分を中心に説明する。
【０１０８】
図１５は、視差特徴量算出部４Ｃの構成を示すブロック図である。視差特徴量算出部４Ｂと比較すると、画像周辺部視差ヒストグラム生成部４５と画像周辺部近景側度数総和算出部４６が追加されている。
【０１０９】
画像周辺部視差ヒストグラム生成部４５は、視差算出部４１で求めた画像全域の視差のデータのうち、画面の周辺部分の視差のデータのみを用いて、その度数分布である画像周辺部視差ヒストグラムを作成する。あるいは、画像周辺部視差ヒストグラムの代用として画像周辺部の奥行きをヒストグラムにしたものでも良い。すなわち立体画像に表現されている表示物の視差またはそれと同等の量の度数分布が表されているものであれば良い。画像周辺部視差ヒストグラム生成部４５は、画像周辺部視差ヒストグラムを画像周辺部近景側度数総和算出部４６に送る。
【０１１０】
図１６は、画像の周辺部分を説明するものである。網掛け部分が、画像の周辺部分である。例えば、横１９２０ピクセル、縦１０８０ピクセルの画像において、画像の周辺の幅１００ピクセルの部分を、画像の周辺部分として用いることができる。
【０１１１】
画像周辺部近景側度数総和算出部４６は、画像周辺部視差ヒストグラム生成部４５から入力した画像周辺部視差ヒストグラムを用いて、その近景側の度数の総和である画像周辺部近景側度数総和Ｓｅを求め、これを視差特徴量として立体画像分類部５Ｃに出力する。その算出方法は、前記の近景側度数総和Ｓの算出方法と同様である。
【０１１２】
一方、視差範囲幅算出部４３及び近景側度数総和算出部４４は、前記の通りそれぞれ視差範囲幅Ｗと近景側度数総和Ｓを視差特徴量として出力する。従って、視差特徴量算出部４Ｃは視差特徴量として、視差範囲幅Ｗ、近景側度数総和Ｓ、画像周辺部近景側度数総和Ｓｅの３つの情報を立体画像分類部５Ｃに出力する。
【０１１３】
立体画像分類部５Ｃは、視差特徴量である視差範囲幅Ｗ、近景側度数総和Ｓ、画像周辺部近景側度数総和Ｓｅを用いて立体画像を分類する。本実施例では、視差範囲幅Ｗの大きさで３種類に、近景側度数総和Ｓの大きさで３種類に、画像周辺部近景側度数総和Ｓｅの大きさで２種類にそれぞれ分類する。従って、トータルでは３×３×２＝１８種類に分類できる。この分類結果を画像補正部７Ｃに出力する。
【０１１４】
視差範囲幅Ｗ及び近景側度数総和Ｓを用いた分類の方法は、第２の実施例に記載の方法と同様である。
【０１１５】
画像周辺部近景側度数総和Ｓｅについては、判定のための閾値Ｔｓｅ１を用い、以下のように分類する。
・Ｓｅ≦Ｔｓｅ１：画像周辺部において近景側に被写体が存在しない立体画像
・Ｓｅ＞Ｔｓｅ１：画像周辺部において近景側に被写体が存在する立体画像
このように画像周辺部において近景側に被写体が存在するか否かを判定するために、閾値Ｔｓｅ１は小さな値を設定する。例えばＴｓｅ１＝０と設定するのが最も厳しい条件設定であり、画像周辺部ヒストグラムが近景部分に少しでも存在していれば、画像周辺部において近景側には被写体が存在すると判定することになる。条件を緩めるには、Ｔｓｅ１を０より大きな値、例えばＴｓｅ１を画像周辺部視差ヒストグラムの全度数の２％と設定すれば良い。
【０１１６】
画像補正部７Ｃは、上記のように１８種類のシーンに分類された立体画像分類結果に従い、所定のシーンに対して画像補正処理を行う。補正手段は第１及び第２の実施例と同じく、左右の画像をそれぞれシフトさせることによる視差調整方法を用いる。
【０１１７】
図１７は、上記分類処理による１８種類のシーンを表に示したものである。３種類の視差関連情報のうち、画像周辺部近景側度数総和Ｓｅによる２種類の分類については、表を（ａ）と（ｂ）に分けて示している。各マスには後述の画像補正処理の種類を記載している。
【０１１８】
立体画像が、視差範囲幅が狭いシーンと分類された場合、すなわち図１７における「処理Ａ」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｃは左目用画像を左にずらし右目用画像を右にずらすシフト処理を行い、視差を画面全体で一様に増加させる。このシフト処理は上記で図７を用いて説明したように、奥行の幅を広げてより立体感を強調する効果がある。このシフト処理における調整量は、第１の実施例と同じ方法により決定することができる。
【０１１９】
立体画像が、視差範囲幅が中程度で、かつ近景側に比較的小さな被写体が存在し、かつ画像周辺部において近景側に被写体が存在しないシーンと分類された場合、すなわち図１７における「処理Ｂ」と記載のあるマスに分類された場合は、画像補正部７Ｃは左目用画像を右にずらし右目用画像を左にずらすシフト処理を行い、視差を画面全体で一様に減少させる。このシフト処理は上記で図８を用いて説明したように、画像中の被写体全体がより近景側に移動して飛び出して見える効果がある。
【０１２０】
ここで、視差範囲幅が中程度であること及び近景側に比較的小さな被写体が存在することを条件としているのは、第２の実施例で説明した図１２の「処理Ｂ」の場合と同じ理由による。また、画像周辺部において近景側に被写体が存在しないことを条件としているのは、前記の通り、立体画像において被写体が画像の周辺部分にかかっており、その被写体が画面より手前に知覚されるような視差量を有する場合、その視差量にも関わらず手前に飛び出して見え難いという現象があり、このような状況が発生しない場合にのみ被写体を手前に飛び出させる画像補正処理を行うためである。このように、第２の実施例における図１２の「処理Ｂ」の場合と比べて、画像周辺部において近景側に被写体が存在しないという条件をさらに追加することで、被写体を手前に飛び出させる画像補正処理を行うことが適切なシーンをさらに精度高く分類することが可能となる。
【０１２１】
このシフト処理における調整量は、例えば以下のような方法で定めることができる。近景方向へ移動させるためシフト処理を行うことで、視差ヒストグラムは全体として左方向に移動し、シフト処理後の近景側度数総和の値や画像周辺部近景側度数総和の値も変わる。シフト処理後に被写体が画面より余りに飛び出すとかえって見難くなる。また、シフト処理後に画面周辺部において被写体が画面より手前に位置するようになると、やはり見難くなる。そこで、シフト処理後の近景側度数総和の値及びシフト処理後の画像周辺部近景側度数総和の値のそれぞれに関する条件により、調整量を決定する。
【０１２２】
シフト処理後の近景側度数総和に関しては、第２の実施例において図１２の「処理Ｂ」と分類された場合と同様に、閾値Ｔｓ３を用いた処理により調整量を定めることができる。こうして求めた調整量をａ１とする。一方、シフト処理後の画像周辺部近景側度数総和の値に関しては、シフト処理後の画像周辺部近景側度数総和をＳｅ’、所定の閾値をＴｓｅ２として、Ｓｅ’＝Ｔｓｅ２となるシフト量を求め、これを調整量ａ２とする。Ｔｓｅ２は、Ｔｓｅ１と同様小さな値を用いる。最終的な調整量ａは、シフト処理後の近景側度数総和の値に関する上記の条件と画像周辺部近景側度数総和の値に関する上記の条件の両方を満たす必要がある。そこで、ａ１とａ２のうち小さいほうの値を調整量ａとして採用する。
【０１２３】
立体画像が、視差範囲幅が中程度あるいは広くて、かつ画像周辺部において近景側に被写体が存在するシーンと分類された場合、すなわち図１７における「処理Ｃ」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｃは左目用画像を左にずらし右目用画像を右にずらすシフト処理を行い、視差を画面全体で一様に増加させる。このシフト処理は上記で図７を用いて説明したように、被写体はより遠景にあるように見える効果がある。この処理は、上記の図１７の「処理Ａ」と記載のあるマスのいずれかに分類された場合と類似するが、調整量が異なる。この場合は、画像周辺部において近景側に存在する被写体を画面より奥に移動させるのに必要な調整量で、シフト処理を行う。この処理により、少なくとも画像周辺部には画面より手前に位置する被写体は存在しなくなる。従って、前記の被写体が画像の周辺部分にかかっているとその被写体が手前に位置するものであっても手前に飛び出して見え難くなるという現象は発生せず、立体感が感じられやすくなる、という効果が得られる。言い換えれば、相対的に立体感を強調する効果が得られる。
【０１２４】
ここで、画像周辺部において近景側に被写体が存在することを条件としているのは、前記の通り立体画像において被写体が画像の周辺部分にかかっており、その被写体が画面より手前に知覚されるような視差量を有する場合、その視差量にも関わらず手前に飛び出して見え難という現象があるため、これを発生しないようにする画像補正処理を施すためである。また、視差範囲幅が中程度あるいは広いことを条件としているのは、視差範囲幅が狭い立体画像はそもそも立体感が乏しいために、上記の奥行の幅を広げる画像補正処理（処理Ａ）を優先して施すためである。
【０１２５】
このシフト処理における調整量は、例えば以下のような方法で定めることができる。シフト処理後に画像周辺部において近景側に被写体が存在しないようになればよい事から、所定の閾値をＴｓｅ３として、シフト処理後の画像周辺部近景側度数総和Ｓｅ’＝Ｔｓｅ３となるシフト量を求め、調整量ａとする。Ｔｓｅ３は、Ｔｓｅ１と同様小さな値を用いる。
【０１２６】
立体画像がその他の分類をされた場合、すなわち図１７において「−」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｃは画像補正処理を行わない。これらはいずれも視差範囲幅が中程度以上であり、特に画像補正処理を行わなくても十分立体感が感じられる。また、上記図１７の「処理Ｂ」の場合のように、さらに立体感を強調できる条件でもない。また、上記図１７の「処理Ｃ」の場合のように、画像周辺部において近景側に存在する被写体がありこれが立体感を阻害する、ということも無いためである。
【０１２７】
以上のように、本実施例における立体画像処理装置１Ｃは、視差範囲幅Ｗ、近景側度数総和Ｓ、画像周辺部近景側度数総和Ｓｅという３種類の視差特徴量を用いて立体画像を１８種類のシーンに分類している。これにより、第２の実施例に比べてさらに細かく精度の高い分類を可能とする、という効果を有する。
【０１２８】
また本実施例における立体画像処理装置１Ｃは、さらに細かく精度の高い分類が可能になったことから、第２の実施例で説明した被写体を飛び出させて立体感を強調する画像補正処理の対象となるシーンを、より的確に分類することが可能となるという効果を有する。
【０１２９】
さらに、本実施例における立体画像処理装置１Ｃは、視差特徴量として画像周辺部近景側度数総和Ｓｅを用いることで、被写体が画像の周辺部分にかかっているか否かを分類することができるようになり、この分類を用いて、立体感を強調するためのさらに別の画像補正処理を施すことができるという効果を有する。すなわち、画像補正処理の適用対象となるシーンがさらに多くなるという効果を有する。
【実施例４】
【０１３０】
本発明の第４の実施例は、立体画像処理装置であって、第２の実施例で説明した被写体を手前に飛び出させて立体感を強調する画像補正処理について、当該補正処理が対象とするシーンをさらに的確に分類することができるものである。このために第２の実施例と比べて、視差特徴量としてさらに、近景側に存在する被写体が画像内に占める割合を示すもう一つの量を用いてシーン分類を行う。
【０１３１】
図１８は、第４の実施例にかかる立体画像処理装置１Ｄの構成を示すブロック図である。第２の実施例に係る立体画像処理装置１Ｂとは、視差特徴量算出部４Ｄ、立体画像分類部５Ｄ、画像補正部７Ｄが異なる。同一の部分に関する説明は省略し、異なる部分を中心に説明する。
【０１３２】
図１９は、視差特徴量算出部４Ｄの構成を示すブロック図である。視差特徴量算出部４Ｂと比較すると、第二近景側度数総和算出部４７が追加されている。
【０１３３】
近景側度数総和算出部４４は第２の実施例と同様、視差ヒストグラム作成部４２から入力した視差ヒストグラムにおいて、視差量が閾値Ｔｄ１以下のビンの度数の総和である近景側度数総和Ｓを求め、これを視差特徴量として立体画像分類部５Ｄに出力する。また、第二近景側度数総和算出部４７は、視差ヒストグラム作成部４２から入力した視差ヒストグラムにおいて、視差量が閾値Ｔｄ２以下のビンの度数の総和である第二近景側度数総和Ｓ２を求め、これを視差特徴量として立体画像分類部５Ｄに出力する。ここで、Ｔｄ２＜Ｔｄ１である。
【０１３４】
図２０は、近景側度数総和Ｓ及び第二近景側度数総和Ｓ２について説明するための視差ヒストグラムを示した図である。横軸は視差量、縦軸は度数である。視差量が０の位置を実線で示す。視差量０以上が遠景側、０未満が近景側としている。また、閾値Ｔｄ１とＴｄ２の位置の一例を点線で示す。図２０（ａ）と（ｂ）は、視差ヒストグラムの近景側部分の形が異なる。
【０１３５】
図２０の各視差ヒストグラムにおいて、縦横に網掛けされている部分と横に網掛けされている部分の和が、近景側度数総和Ｓに相当する。視差ヒストグラムが視差量−ｌからｍ（ｌ、ｍは自然数）の範囲で作成されており、視差ヒストグラムの各ビンの幅を１、各ビンの度数をｈｉ（−ｌ≦ｉ≦ｍ）とすると、近景側度数総和Ｓは前記の通り以下の式で求めることができる。
Ｓ＝Σｈｉ （−ｌ≦ｉ≦Ｔｄ１）
一方、視差ヒストグラムにおいて縦横に網掛けされている部分が、第二近景側度数総和Ｓ２に相当する。これは以下の式で求めることができる。
Ｓ２＝Σｈｉ （−ｌ≦ｉ≦Ｔｄ２）
さらに図２０を用いて、視差ヒストグラムの形の違いにより近景側度数総和Ｓ及び第二近景側度数総和Ｓ２がどのような値になるかを説明する。図２０において仮に、Ｔｄ１＝−５ピクセル、Ｔｄ２＝−１５ピクセルであるとする。また、図２０（ａ）についてのＳ及びＳ２の算出値をＳａ、Ｓ２ａとし、図２０（ｂ）についてのＳ及びＳ２の算出値をＳｂ、Ｓ２ｂとする。また、図２０（ａ）の視差ヒストグラムと（ｂ）の視差ヒストグラムは、視差量がＴｄ１より大きい部分の形は同じであるが、視差量がＴｄ１より小さい部分の形が異なり、（ｂ）の方がピークの高さが低いが、より近景側に広がっているものとする。さらに、視差ヒストグラムの全度数は等しいとする。以上の条件においては、Ｔｄ１より近景側の領域の度数の総和は（ａ）と（ｂ）とで等しくなる。すなわち、Ｓａ＝Ｓｂである。また、Ｔｄ２＜Ｔｄ１であることから、Ｓａ≧Ｓ２ａ、Ｓｂ≧Ｓ２ｂとなる。
【０１３６】
ここで例えばＳａの値が、ヒストグラムの全度数の２０％、Ｓ２ａはそれより少なく８％であったとする。これに対して、Ｓｂの値は、上記の通りＳａと同じくヒストグラムの全度数の２０％である。一方Ｓ２ｂの値は、図から明らかなようにＳ２ａより大きく、例えばヒストグラムの全度数の１２％といった値になる。つまり、視差ヒストグラムがより近景側に広がっていると、第二近景側度数総和Ｓ２の値はより大きくなる。
【０１３７】
このことから本実施例では、近景側度数総和Ｓに加えて第二近景側度数総和Ｓ２を用いることにより、上記のように近景側の視差ヒストグラムの形状の違いを判別することが可能となる。このような判別ができるのは、Ｔｄ２＜Ｔｄ１としているため、すなわち第二近景側度数総和Ｓ２は近景側度数総和Ｓに比べてより近景側の狭い部分のみの度数総和を算出しているためである。
【０１３８】
Ｔｄ１については第２の実施例と同様、一般的にはＴｄ１＝０とし、視差ヒストグラムの視差０までの度数総和を算出するが、これに限られるわけではなく、０以外の視差量までの度数総和を算出しても良い。Ｔｄ２も同様に、Ｔｄ２＜Ｔｄ１を満たす範囲で適宜設定して良い。
【０１３９】
一方、視差範囲幅算出部４３は、前記の通り視差範囲幅Ｗを視差特徴量として出力する。従って、視差特徴量算出部４Ｄは視差特徴量として、視差範囲幅Ｗ、近景側度数総和Ｓ及び第二近景側度数総和Ｓ２の３つの情報を立体画像分類部５Ｄに出力する。
【０１４０】
立体画像分類部５Ｄは、視差特徴量である視差範囲幅Ｗ、近景側度数総和Ｓ、第二近景側度数総和Ｓ２を用いて立体画像を分類する。本実施例では、視差範囲幅Ｗの大きさで３種類に、近景側度数総和Ｓ及び第二近景側度数総和Ｓ２の大きさを複合させて用いて２種類にそれぞれ分類する。従って、トータルでは３×２＝６種類に分類できる。この分類結果を画像補正部７Ｄに出力する。
【０１４１】
視差範囲幅Ｗを用いた分類の方法は、第２の実施例に記載の方法と同様である。
【０１４２】
近景側度数総和Ｓ及び第二近景側度数総和Ｓ２については、判定のための閾値Ｔｓ３、Ｔｓ４（０≦Ｔｓ３、０≦Ｔｓ４）を用い、以下のように分類する。
・Ｓ＞Ｔｓ３かつＳ２＜Ｔｓ４：近景側に小さな被写体が存在しかつその被写体が手前に飛び出しすぎていない立体画像
・それ以外：それ以外の立体画像
Ｔｓ３とＴｓ４の適切な値は、近景側度数総和Ｓ及び第二近景側度数総和Ｓ２を算出するための閾値Ｔｄ１、Ｔｄ２の値によっても変わるため、適宜設定する必要がある。例えば前記の図２０に関する説明における例のように、Ｔｄ１＝−５ピクセル、Ｔｄ２＝−１５ピクセルであり、Ｓａ＝Ｓｂ＝ヒストグラムの全度数の２０％、Ｓ２ａ＝８％、Ｓ２ｂ＝１２％であったとする。これに対して、Ｔｓ３＝ヒストグラムの全度数の１５％、Ｔｓ４＝１０％の値を用いるとする。すると図２０（ａ）の視差ヒストグラムについてはＳａ＞Ｔｓ３かつＳ２ａ＜Ｔｓ４であり、図２０（ｂ）の視差ヒストグラムについてはＳｂ＞Ｔｓ３かつＳ２ｂ＞Ｔｓ４となる。よって、図２０（ａ）の視差ヒストグラムを持つ立体画像は、近景側に小さな被写体が存在しかつその被写体が手前に飛び出しすぎていない立体画像と分類され、図２０（ｂ）の視差ヒストグラムを持つ立体画像は、それ以外の立体画像と分類される。図２０（ａ）と（ｂ）の視差ヒストグラムの形を比較すると、（ｂ）の方がより近景側に被写体が飛び出している。上記の判定条件は、このような状況を判別するためのものである。
【０１４３】
画像補正部７Ｄは、上記のように６種類のシーンに分類された立体画像分類結果に従い、所定のシーンに対して、画像補正処理を行う。補正手段は第１〜第３の実施例と同じく、左右の画像をそれぞれシフトさせることによる視差調整方法を用いる。
【０１４４】
図２１は、上記分類処理による６種類のシーンを表に示したものである。行方向に視差範囲幅Ｗによる３つの分類を、列方向に近景側度数総和Ｓ及び第二近景側度数総和Ｓ２による２つの分類を記載し、そのマトリックスで合計６種類のシーンを示している。各マスには後述の画像補正処理の種類を記載している。
【０１４５】
立体画像が、視差範囲幅が狭いシーンと分類された場合、すなわち図２１における「処理Ａ」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｄは左目用画像を左にずらし右目用画像を右にずらすシフト処理を行い、視差を画面全体で一様に増加させる。このシフト処理は上記で図７を用いて説明したように、奥行の幅を広げてより立体感を強調する効果がある。このシフト処理における調整量は、第１の実施例と同じ方法により決定することができる。
【０１４６】
立体画像が、視差範囲幅が中程度で、かつ近景側に小さな被写体が存在し、かつその被写体が手前に飛び出しすぎていないと分類された場合、すなわち図２１における「処理Ｂ」と記載のあるマスに分類された場合は、画像補正部７Ｄは左目用画像を右にずらし右目用画像を左にずらすシフト処理を行い、視差を画面全体で一様に減少させる。このシフト処理は上記で図８を用いて説明したように、画像中の被写体全体がより近景側に移動して飛び出して見える効果がある。
【０１４７】
ここで、視差範囲幅が中程度であること及び近景側に比較的小さな被写体が存在することを条件としているのは、第２の実施例で説明した図１２における「処理Ｂ」の場合と同じ理由による。また、近景側の小さな被写体が手前に飛び出しすぎていないことを条件としているのは、画像補正処理前の立体画像において既に被写体が飛び出している場合、さらに被写体を飛び出させる画像補正処理を行うとかえって見難くなる可能性が高いためである。このように、第２の実施例における図１２における「処理Ｂ」の場合と比べて、近景側の小さな被写体が手前に飛び出しすぎていない、という条件をさらに追加することで、被写体を手前に飛び出させる画像補正処理を行うことが適切なシーンをさらに精度高く分類することが可能となる。
【０１４８】
このシフト処理における調整量は、第３の実施例における図１７における「処理Ｂ」の場合と同様の方法で定めることができる。
【０１４９】
立体画像がその他の分類をされた場合、すなわち図２１において「−」と記載のあるマスのいずれかに分類された場合は、画像補正部７Ｄは画像補正処理を行わない。これらはいずれも視差範囲幅が中程度以上であり、特に画像補正処理を行わなくても十分立体感が感じられる。また、上記図２１における「処理Ｂ」の場合のように、さらに立体感を強調できる条件でもないためである。
【０１５０】
以上のように、本実施例における立体画像処理装置１Ｄは、視差範囲幅Ｗ、近景側度数総和Ｓ及び第二近景側度数総和Ｓ２という３種類の視差特徴量を用いて立体画像を６種類のシーンに分類している。これにより、第２の実施例で説明した被写体を飛び出させて立体感を強調する画像補正処理の対象となるシーンを、より的確に分類することが可能となるという効果を有する。
【実施例５】
【０１５１】
本発明の第５の実施例は、第３の実施例にかかる立体画像処理装置に、シーン分類結果を用いたシーンチェンジ検出部を加えたものである。これにより、立体画像が動画である場合に、シーンチェンジを的確に検出すること、及び画像補正処理をより適切に行うことが可能になる。
【０１５２】
図２２は、第５の実施例にかかる立体画像処理装置１Ｅの構成を示すブロック図である。第３の実施例に係る立体画像処理装置１Ｃとは、画像補正部７Ｅが異なり、シーンチェンジ検出部１２が追加されている。同一の部分に関する説明は省略し、異なる部分、追加された部分を中心に説明する。
【０１５３】
図２３は、シーンチェンジ検出部１２の構成を示すブロック図である。シーンチェンジ検出部１２は、立体画像分類結果遅延部１２１と立体画像分類結果比較部１２２からなる。シーンチェンジ検出部１２は、立体画像分類部５Ｃから入力した１８種類に分類された立体画像分類結果を用いて、立体画像にシーンチェンジが発生したか否かを判定し、その結果であるシーンチェンジ検出フラグＦｓを画像補正部７Ｅに出力する。
【０１５４】
立体画像分類結果遅延部１２１は、入力された立体画像分類結果を保存し、次に入力された立体画像分類結果に対して１フレーム遅延させた立体画像分類結果を立体画像分類結果比較部１２２に送る。
【０１５５】
立体画像分類結果比較部１２２は、入力された立体画像分類結果及び立体画像分類結果遅延部１２１により1フレーム分遅延された立体画像分類結果を入力し、フレーム間で分類結果に変化があるか否かを判定する。すなわち図２３に示したように、（ｎ＋１）フレーム目の立体画像分類結果と、ｎフレーム目の立体画像分類結果が異なっているか否かを判定する。この２つの立体画像分類結果が異なっている場合、シーンチェンジ検出フラグＦｓに１を設定する。これは、立体画像のｎフレームと（ｎ＋１）フレームの間でシーンチェンジを検出したことを意味する。一方、この２つの立体画像分類結果が同じであった場合は、Ｆｓに０を設定する。これは、シーンチェンジが検出されなかったことを意味する。
【０１５６】
画像補正部７Ｅは、画像補正部７Ｃと同様、立体画像分類部５Ｃにより１８種類に分類された立体画像分類結果に従い、所定の分類に対して、画像補正処理を行う。補正手段は、第１〜第４の実施例と同じく、左右の画像をそれぞれシフトさせることによる視差調整方法を用いている。
【０１５７】
ここで、立体画像が動画の場合、被写体の視差はフレーム毎に変わっていくため、基本的にはフレーム毎に立体画像の視差の分布の状況に応じて視差の調整量を適切に設定すること、すなわちフレーム毎に視差調整処理のシフト量を変化させることが望ましい。しかしフレーム毎のシフト量の変化が大きいと奥行が頻繁に変化してしまい、観察者がそれに追従するのが困難になり、かえって見難くなるという問題がある。さらには、視差検出処理にエラーが発生すると、これによるシフト量の変化が加わってさらに見難くなるという問題が発生する。これに対しては、例えばシフト量に対して時間方向にローパスフィルタ処理を施して、シフト量の変化を滑らかにすると良い。
【０１５８】
一方、シーンチェンジの前後においては、立体画像の被写体の視差が不連続に変わる場合がある。この場合、シーンチェンジ前のシーンと後のシーンを共に立体感豊かに表示するためには、シーンチェンジ時のシフト量の変化が大きくなるとしても、シーンチェンジ前後のそれぞれのシーンに適したシフト量を使用することが望ましい。そこで、画像補正部７Ｅは、シーンチェンジ検出部１２から入力されたシーンチェンジ検出フラグＦｓが１の場合、すなわちシーンチェンジが発生している場合は、上記のローパスフィルタ処理を一旦解除し、シフト量を不連続に変化させることを許容する。このような処理を行うことで、シーンチェンジ時以外はシフト量に対するローパスフィルタ処理によりシフト量を滑らかに変化させることで見苦しさを防止しすることと、シーンチェンジが発生した場合はシーンチェンジ後の立体画像のシフト量に素早く変更することを両立させた視差調整処理を実現できる。すなわち、より適切な視差調整処理を実現できる。
【０１５９】
また、例えば画像の輝度情報の変化を用いてシーンチェンジ検出を行う従来技術があるが、この方法では視差量の変化を捉えることはできない。本実施例の立体画像処理装置１Ｄのように視差調整処理を行う場合には、視差量の変化を捉えることのできるシーンチェンジ検出方法を用いることが望ましい。例えば、シーンチェンジの前後で輝度情報には大きな変化は無いが視差量には変化がある場合、視差量の変化を捉えることのできるシーンチェンジ検出方法でなければ検出できないためである。シーンチェンジ検出部１２によるシーンチェンジ検出手段は、視差量の変化を捉えたシーンチェンジ検出を可能とするものである。
【０１６０】
なお、立体画像分類部５Ｃは入力された立体画像を１８種類に分類するが、画像補正部７Ｅは「処理Ａ」、「処理Ｂ」、「処理Ｃ」、「−」（処理無し）の４通りの画像補正処理を行っている。つまり、１８種類の分類のうちいくつかは同じ画像補正処理を行うため、まとめられている。しかしシーンチェンジにおいては、元の１８種類の分類を用いて、それに変化があった時にシーンチェンジと判定する。これは、たとえ同じ画像補正処理を行う立体画像と分類された場合であっても、シーンチェンジ時には補正量が異なる可能性があるため、分類が異なる場合にはシーンチェンジと判定すべきであるためである。
【０１６１】
以上のように、本実施例における立体画像処理装置１Ｅは、立体画像のシーン分類結果を用いてシーンチェンジ検出を行う。これにより、立体画像の被写体の視差の変化を捉えたシーンチェンジ検出を可能とするという効果を有する。
【０１６２】
また、シーンチェンジ検出結果を立体画像に対する画像補正処理に用いることで、より適切な視差調整処理を実現できるという効果を有する。
【０１６３】
ところで、本実施例においては、立体画像の（ｎ＋１）フレーム目との立体画像分類結果とｎフレーム目の立体画像分類結果の変化を見てシーンチェンジを検出した。しかし検出方法はこれに限らない。例えば、立体画像の（ｎ＋１）フレーム目の立体画像分類結果と（ｎ−１）フレーム目の立体画像分類結果の変化や、（ｎ＋１）フレーム目の立体画像分類結果と（ｎ−２）フレーム目の立体画像分類結果の変化のように、２以上離れたフレーム間での立体画像分類結果の変化によりシーンチェンジを検出することも可能である。このような場合、シーンチェンジ検出に用いる２つのフレームのうち、時間的に遅いほうのフレームとその一つ前のフレームとの間のシーンチェンジを検出することになる。例えば、（ｎ＋１）フレーム目の立体画像分類結果と（ｎ−１）フレーム目の立体画像分類結果の変化によりシーンチェンジ検出する場合は、時間的に遅い（ｎ＋１）フレーム目と、その一つ前のｎフレーム目との間のシーンチェンジを検出することになる。
【０１６４】
図２４を用いて、シーンチェンジ検出に用いるフレームと、それによって検出されるシーンチェンジの位置の関係をさらに説明する。図２４は、（ｎ−２）フレームから（ｎ＋２）フレームまでの各フレーム目を時系列順に示している。（ｎ−２）フレームからｎフレームまでが１つのシーン、ｎフレームと（ｎ＋１）フレームの間でシーンチェンジがあって立体画像分類結果が変わり、（ｎ＋１）フレームから（ｎ＋２）フレームが別のシーンである状況を図示している。
【０１６５】
隣接するフレーム間の立体画像分類結果の変化によりシーンチェンジを検出する場合、時間の経過につれ、
（１）（ｎ−２）フレームと（ｎ−１）フレームの間の立体画像分類結果の変化を判定
（２）（ｎ−１）フレームとｎフレームの間の立体画像分類結果の変化を判定
（３）ｎフレームと（ｎ＋１）フレームの間の立体画像分類結果の変化を判定
・・・
というように順に処理を行う。（１）、（２）の処理では変化が無く、（３）の処理で変化があるため、（３）の処理においてシーンチェンジを検出する。
【０１６６】
一方、一つ離れたフレーム間の多次元統計量の距離によりシーンチェンジを検出する場合、時間の経過につれ、
（１’）（ｎ−２）フレームとｎフレームの間の立体画像分類結果の変化を判定
（２’）（ｎ−１）フレームと（ｎ＋１）フレームの間の立体画像分類結果の変化を判定
（３’）ｎフレームと（ｎ＋２）フレームの間の立体画像分類結果の変化を判定
・・・
というように順に処理を行う。（１’）の処理では変化が無く、（２’）の処理では変化があるため、（２’）の処理においてシーンチェンジを検出する。また、その次の（３’）の処理でも、ｎフレームと（ｎ＋２）フレームが違うシーンに属していることから、変化がある。このように、一つ離れたフレーム間の立体画像分類結果の変化によりシーンチェンジを検出する場合、一つのシーンチェンジに対し２度立体画像分類結果の変化がある。これは誤検出となるため、例えばある時点の処理でシーンチェンジ検出すると、その次のフレームでの処理結果は無視するようにすることで解決できる。
【０１６７】
このように、複数のフレーム間での視差に関する立体画像分類結果の変化によりシーンチェンジを検出することが可能である。
【０１６８】
本実施例の立体画像処理装置１Ｅは、第３の実施例における立体画像処理装置１Ｃにシーンチェンジ検出部１２を追加したものである。同様に、第１の実施例における立体画像処理装置１Ａ、第２の実施例における立体画像処理装置１Ｂ、第４の実施例における立体画像処理装置１Ｄにシーンチェンジ検出部１２を追加した構成とすることも可能である。これらの場合も同様に、立体画像分類結果の変化によりシーンチェンジを検出可能である。
【０１６９】
上記の第１〜５の実施例では、立体感を強調する補正処理に関して説明した。しかし実際は、このような立体感の強調処理だけではなく、従来技術にあるような、立体画像の安全性を確保する補正処理も併せて行っても良い。
【０１７０】
上記の第１〜第５の実施例における視差範囲算出部４３では、視差ヒストグラムからその画像における最近景の視差量と最遠景の視差量の幅から、視差範囲幅を求めた。しかし視差範囲幅の求め方はこれに限らない。例えば、立体画像の視差マップから直接、最近景の視差量と最遠景の視差量を探索し、その幅を視差範囲幅としても良い。すなわち、どのような求め方であれ、立体画像の最近景の視差量と最遠景の視差量の幅を求め、それを視差範囲幅とすればよい。
【０１７１】
上記の第１〜第５の実施例では、視差マップから視差特徴量を算出した。しかし、入力された立体画像データの付加情報として視差特徴量のデータが付加されていても良い。この場合、視差特徴量算出部４Ａ〜４Ｄにおける視差特徴量を求める処理は、スキップしても良い。
【０１７２】
上記の第１〜第５の実施例では、立体画像データが静止画の場合は、同じ画像を連続して出力し、動画と同様に扱った。しかしこれに限らず、立体画像データが静止画の場合に、該静止画を1枚ずつ処理しても良い。
【０１７３】
上記の第１〜第５の実施例では、表示部９として、左目用画像と右目用画像を交互に表示する液晶表示パネルを用い、シャッタメガネ１１と組み合わせて立体画像を呈示している。しかし、立体画像の表示方式はこれに限定されるものではない。右目用画像と左目用画像を異なる偏光方式で表示し、左右で異なる偏光フィルタを有するメガネにより観察する方式を用いてもかまわない。また、レンチキュラレンズやパララックスバリアを用いた表示部を使用し、観察者がメガネをかけなくても立体視可能な方式を用いてもかまわない。
【０１７４】
上記の第１〜第５の実施例では、立体画像のシーン分類結果を、立体感を強調する視差調整処理を施すことに用いた。しかし、本実施例による立体画像のシーン分類結果を他の用途に用いることも可能である。例えば、上記の立体画像分類機能により複数枚の立体画像の静止画をシーン分類して、シーンごとに分けて立体画像のサムネイルを画面に表示させ、観察者にどのような立体画像がどのようなシーンに属するかを一覧させる、という用い方も可能である。また、立体画像間の視差の変化が小さくなるように並べ替えて表示する、といった用い方も可能である。また、複数枚の立体画像を自動的に順次切り替えて表示する際に、立体感の乏しい立体画像は自動的に飛ばして表示することで、観察者には立体感の豊かな立体画像のみを呈示する、といった用い方も可能である。さらに、上記の立体画像分類機能を立体画像記録装置、立体画像編集装置、立体画像編集プログラム等に用いて、立体画像のシーンチェンジ点に自動的にインデックスを入れ、立体画像再生時や編集時の目印に用いることも可能である。
【０１７５】
上記の第２〜第５の実施例では、近景側度数総和算出部４４又は第二近景側度数総和算出部４７は、視差ヒストグラム作成部４２で作成した視差ヒストグラムを用いて、近景側度数総和Ｓ又は第二近景側度数総和Ｓ２を算出した。しかし、視差算出部４１で求めた画像全域の視差のデータから直接、近景側度数総和Ｓ等を算出しても良い。例えば、画像全域の視差のデータが立体画像の画素毎の視差データである場合は、視差がＴｄ１以下の画素数を数えることで、近景側度数総和Ｓを算出できる。
【０１７６】
上記の第３及び第５の実施例では、画像周辺部近景側度数総和算出部４６において、画像周辺部視差ヒストグラム作成部４５で作成した画像周辺部視差ヒストグラムを用いて、画像周辺部近景側度数総和Ｓｅを算出した。しかし、視差算出部４１で求めた画像全域の視差のデータのうち画像の周辺部分の視差のデータを用いて直接、画像周辺部近景側度数総和Ｓｅを算出しても良い。
【０１７７】
上記の第１〜第５の実施例では、立体画像処理装置に関して説明した。しかしその他、立体画像表示装置、立体画像編集装置、立体画像処理方法、立体画像表示方法、立体画像編集方法等、立体画像に関する幅広い装置及び方法に利用することが可能である。
【０１７８】
以上、第１〜第５の実施例について具体的に説明を行ったが、本発明はそれらに限定されるものではない。上述した５つの実施例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施の形態についても本発明の技術的範囲に含まれる。
【０１７９】
また、上記の各実施例において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【０１８０】
上記の各実施例の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の各実施例の機能を実現する立体画像処理装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していれば良い。
【０１８１】
また、上記の各実施例で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行っても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１８２】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１８３】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【産業上の利用可能性】
【０１８４】
本発明は、立体画像処理装置、立体画像表示装置、立体画像編集装置、立体画像処理方法、立体画像表示方法、立体画像編集方法等、立体画像に関する幅広い装置及び方法に利用することが可能である。
【符号の説明】
【０１８５】
１Ａ〜１Ｅ 立体画像処理装置
２ 入力部
３ 立体画像処理部
４Ａ〜４Ｄ 視差特徴量算出部
５Ａ〜５Ｄ 立体画像分類部
６ 画像遅延部
７Ａ〜７Ｅ 画像補正部
８ 表示制御部
９ 表示部
１０ メガネ同期部
１１ シャッタメガネ
１２ シーンチェンジ検出部
４１ 視差算出部
４２ 視差ヒストグラム作成部
４３ 視差範囲幅算出部
４４ 近景側度数総和算出部
４５ 画像周辺部視差ヒストグラム生成部
４６ 画像周辺部近景側度数総和算出部
４７ 第二近景側度数総和算出部
１２１ 立体画像分類結果遅延部
１２２ 立体画像分類結果比較部
【特許請求の範囲】
【請求項１】
立体画像のシーンを分類する立体画像処理装置であって、
前記立体画像を入力する入力部と、
前記立体画像から該立体画像の１以上の視差特徴量を算出する視差特徴量算出部と、
前記視差特徴量により前記立体画像を複数のシーンに分類する立体画像分類部と
を備えた立体画像処理装置。
【請求項２】
前記シーンに基づき立体画像補正処理を行う画像補正部を備えた請求項１に記載の立体画像処理装置。
【請求項３】
前記立体画像補正処理は、前記立体画像の視差調整処理により立体感を強調する処理である請求項２に記載の立体画像処理装置。
【請求項４】
前記視差特徴量は、前記立体画像の最近景の視差量と最遠景の視差量の幅である視差範囲幅である請求項１〜３のいずれかに記載の立体画像処理装置。
【請求項５】
前記視差特徴量は、視差量に関する第１の定数より近景側の視差量により決定される近景側度数総和である請求項１〜３のいずれかに記載の立体画像処理装置。
【請求項６】
前記視差特徴量は、前記視差量に関する第１の定数より小さい視差量に関する第２の定数より近景側の視差量により決定される第二近景側度数総和である請求項１〜３のいずれかに記載の立体画像処理装置。
【請求項７】
前記視差特徴量は、視差量に関する第３の定数より近景側の、前記立体画像の周辺部における視差量により決定される画像周辺部近景側度数総和である請求項１〜３のいずれかに記載の立体画像処理装置。
【請求項８】
前記立体画像分類部は、前記視差範囲幅と第１の視差範囲幅定数を比較して前記立体画像を分類する処理を行い、
前記画像補正部は、前記視差範囲幅が前記第１の視差範囲幅定数より小さいシーンに、前記立体画像の視差を大きくする視差調整処理を行う
請求項３に記載の立体画像処理装置。
【請求項９】
前記立体画像分類部は、前記視差範囲幅と前記第１の視差範囲幅定数及びそれより大きい第２の視差範囲幅定数を比較して前記立体画像を分類する処理と、前記近景側度数総和と第１の近景側度数総和定数及びそれより大きい第２の近景側度数総和定数を比較して前記立体画像を分類する処理とを行い、
前記画像補正処理部は、前記視差範囲幅が前記第１の視差範囲幅定数より大きくかつ前記第２の視差範囲幅定数より小さいシーンであって、かつ前記近景側度数総和が前記第１の近景側度数総和定数より大きくかつ前記第２の近景側度数総和定数より小さいシーンに、前記立体画像の視差を小さくする視差調整処理を行う
請求項３に記載の立体画像処理装置。
【請求項１０】
前記立体画像分類部は、前記視差範囲幅と前記第１の視差範囲幅定数及びそれより大きい前記第２の視差範囲幅定数を比較して前記立体画像を分類する処理と、前記近景側度数総和と第３の近景側度数総和定数を比較して分類する処理と、前記第二近景側度数総和と第４の近景側度数総和定数を比較して前記立体画像を分類する処理とを行い、
前記画像補正処理部は、前記視差範囲幅が前記第１の視差範囲幅定数より大きくかつ前記第２の視差範囲幅定数より小さいシーンであって、かつ前記近景側度数総和が前記第３の近景側度数総和定数より大きいシーンであって、かつ前記第二近景側度数総和が前記第４の近景側度数総和定数より小さいシーンに、前記立体画像の視差を小さくする視差調整処理を行う
請求項３に記載の立体画像処理装置。
【請求項１１】
前記立体画像分類部は、前記視差範囲幅と前記第１の視差範囲幅定数を比較して前記立体画像を分類する処理と、前記画像周辺部近景側度数総和と第１の画像周辺部近景側度数総和定数を比較して前記立体画像を分類する処理とを行い、
前記画像補正処理部は、前記視差範囲幅が前記第１の視差範囲幅定数より大きいシーンであって、かつ画像周辺部近景側度数総和が前記第１の画像周辺部近景側度数総和定数より大きいシーンに、前記立体画像の視差を大きくする視差調整処理を行う
請求項３に記載の立体画像処理装置。
【請求項１２】
立体画像のシーンを分類する立体画像処理装置であって、
前記立体画像及び該立体画像の１以上の視差特徴量を入力する入力部と、
前記視差特徴量により前記立体画像を複数のシーンに分類する立体画像分類部と
を備えた立体画像処理装置。
【請求項１３】
前記シーンの変化により前記立体画像のシーンチェンジを検出するシーンチェンジ検出部を備える請求項１〜１２のいずれかに記載の立体画像処理装置。
【請求項１４】
立体画像のシーンを分類する立体画像処理方法であって、
前記立体画像を入力するステップと、
前記立体画像から該立体画像の１以上の視差特徴量を算出するステップと、
前記視差特徴量により前記立体画像を複数のシーンに分類するステップと
を有する立体画像処理方法。
【請求項１５】
立体画像のシーンを分類する立体画像処理方法であって、
前記立体画像及び該立体画像の１以上の視差特徴量を入力するステップと、
前記視差特徴量により前記立体画像を複数のシーンに分類するステップと
を有する立体画像処理方法。
【請求項１６】
コンピュータに立体画像のシーンを分類する立体画像処理を実行させるためのプログラムであって、
前記立体画像を入力するステップと、
前記立体画像から該立体画像の１以上の視差特徴量を算出するステップと、
前記視差特徴量により前記立体画像を複数のシーンに分類するステップと
を含むプログラム。
【請求項１７】
コンピュータに立体画像のシーンを分類する立体画像処理を実行させるためのプログラムであって、
前記立体画像及び該立体画像の１以上の視差特徴量を入力するステップと、
前記視差特徴量により前記立体画像を複数のシーンに分類するステップと
を含むプログラム。
【請求項１】
立体画像のシーンを分類する立体画像処理装置であって、
前記立体画像を入力する入力部と、
前記立体画像から該立体画像の１以上の視差特徴量を算出する視差特徴量算出部と、
前記視差特徴量により前記立体画像を複数のシーンに分類する立体画像分類部と
を備えた立体画像処理装置。
【請求項２】
前記シーンに基づき立体画像補正処理を行う画像補正部を備えた請求項１に記載の立体画像処理装置。
【請求項３】
前記立体画像補正処理は、前記立体画像の視差調整処理により立体感を強調する処理である請求項２に記載の立体画像処理装置。
【請求項４】
前記視差特徴量は、前記立体画像の最近景の視差量と最遠景の視差量の幅である視差範囲幅である請求項１〜３のいずれかに記載の立体画像処理装置。
【請求項５】
前記視差特徴量は、視差量に関する第１の定数より近景側の視差量により決定される近景側度数総和である請求項１〜３のいずれかに記載の立体画像処理装置。
【請求項６】
前記視差特徴量は、前記視差量に関する第１の定数より小さい視差量に関する第２の定数より近景側の視差量により決定される第二近景側度数総和である請求項１〜３のいずれかに記載の立体画像処理装置。
【請求項７】
前記視差特徴量は、視差量に関する第３の定数より近景側の、前記立体画像の周辺部における視差量により決定される画像周辺部近景側度数総和である請求項１〜３のいずれかに記載の立体画像処理装置。
【請求項８】
前記立体画像分類部は、前記視差範囲幅と第１の視差範囲幅定数を比較して前記立体画像を分類する処理を行い、
前記画像補正部は、前記視差範囲幅が前記第１の視差範囲幅定数より小さいシーンに、前記立体画像の視差を大きくする視差調整処理を行う
請求項３に記載の立体画像処理装置。
【請求項９】
前記立体画像分類部は、前記視差範囲幅と前記第１の視差範囲幅定数及びそれより大きい第２の視差範囲幅定数を比較して前記立体画像を分類する処理と、前記近景側度数総和と第１の近景側度数総和定数及びそれより大きい第２の近景側度数総和定数を比較して前記立体画像を分類する処理とを行い、
前記画像補正処理部は、前記視差範囲幅が前記第１の視差範囲幅定数より大きくかつ前記第２の視差範囲幅定数より小さいシーンであって、かつ前記近景側度数総和が前記第１の近景側度数総和定数より大きくかつ前記第２の近景側度数総和定数より小さいシーンに、前記立体画像の視差を小さくする視差調整処理を行う
請求項３に記載の立体画像処理装置。
【請求項１０】
前記立体画像分類部は、前記視差範囲幅と前記第１の視差範囲幅定数及びそれより大きい前記第２の視差範囲幅定数を比較して前記立体画像を分類する処理と、前記近景側度数総和と第３の近景側度数総和定数を比較して分類する処理と、前記第二近景側度数総和と第４の近景側度数総和定数を比較して前記立体画像を分類する処理とを行い、
前記画像補正処理部は、前記視差範囲幅が前記第１の視差範囲幅定数より大きくかつ前記第２の視差範囲幅定数より小さいシーンであって、かつ前記近景側度数総和が前記第３の近景側度数総和定数より大きいシーンであって、かつ前記第二近景側度数総和が前記第４の近景側度数総和定数より小さいシーンに、前記立体画像の視差を小さくする視差調整処理を行う
請求項３に記載の立体画像処理装置。
【請求項１１】
前記立体画像分類部は、前記視差範囲幅と前記第１の視差範囲幅定数を比較して前記立体画像を分類する処理と、前記画像周辺部近景側度数総和と第１の画像周辺部近景側度数総和定数を比較して前記立体画像を分類する処理とを行い、
前記画像補正処理部は、前記視差範囲幅が前記第１の視差範囲幅定数より大きいシーンであって、かつ画像周辺部近景側度数総和が前記第１の画像周辺部近景側度数総和定数より大きいシーンに、前記立体画像の視差を大きくする視差調整処理を行う
請求項３に記載の立体画像処理装置。
【請求項１２】
立体画像のシーンを分類する立体画像処理装置であって、
前記立体画像及び該立体画像の１以上の視差特徴量を入力する入力部と、
前記視差特徴量により前記立体画像を複数のシーンに分類する立体画像分類部と
を備えた立体画像処理装置。
【請求項１３】
前記シーンの変化により前記立体画像のシーンチェンジを検出するシーンチェンジ検出部を備える請求項１〜１２のいずれかに記載の立体画像処理装置。
【請求項１４】
立体画像のシーンを分類する立体画像処理方法であって、
前記立体画像を入力するステップと、
前記立体画像から該立体画像の１以上の視差特徴量を算出するステップと、
前記視差特徴量により前記立体画像を複数のシーンに分類するステップと
を有する立体画像処理方法。
【請求項１５】
立体画像のシーンを分類する立体画像処理方法であって、
前記立体画像及び該立体画像の１以上の視差特徴量を入力するステップと、
前記視差特徴量により前記立体画像を複数のシーンに分類するステップと
を有する立体画像処理方法。
【請求項１６】
コンピュータに立体画像のシーンを分類する立体画像処理を実行させるためのプログラムであって、
前記立体画像を入力するステップと、
前記立体画像から該立体画像の１以上の視差特徴量を算出するステップと、
前記視差特徴量により前記立体画像を複数のシーンに分類するステップと
を含むプログラム。
【請求項１７】
コンピュータに立体画像のシーンを分類する立体画像処理を実行させるためのプログラムであって、
前記立体画像及び該立体画像の１以上の視差特徴量を入力するステップと、
前記視差特徴量により前記立体画像を複数のシーンに分類するステップと
を含むプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１３−９８９４４（Ｐ２０１３−９８９４４Ａ）
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願番号】特願２０１１−２４２９５３（Ｐ２０１１−２４２９５３）
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年５月２０日（２０１３．５．２０）
【国際特許分類】
【出願日】平成２３年１１月７日（２０１１．１１．７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]