立体画像処理装置および立体画像処理方法
【課題】 立体画像処理装置において、視差量の変化を捉えることができ、かつ視差量のエラーの影響を受け難いシーンチェンジ検出手段を実現する。
【解決手段】 立体画像を入力し、該立体画像の各フレーム又はフィールド毎の視差に関する多次元統計量を算出し、特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの前記視差に関する多次元統計量の間の距離を算出し、該距離が所定の閾値以上の場合に、シーンチェンジが発生したことを示す出力信号を出力する。
【解決手段】 立体画像を入力し、該立体画像の各フレーム又はフィールド毎の視差に関する多次元統計量を算出し、特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの前記視差に関する多次元統計量の間の距離を算出し、該距離が所定の閾値以上の場合に、シーンチェンジが発生したことを示す出力信号を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像処理装置および立体画像処理方法に関するものである。
【背景技術】
【０００２】
人間は、一定の間隔を持つ２つの目により得られる視覚情報の違いから、空間を把握する能力を持つ。左右の眼による異なる視点から得られる像のずれを視差と呼ぶ。人間は、視差を手掛かりの一つとして、物体までの距離を把握している。実際、物体までの距離は視差から算出することが可能である。このことを利用して、右目用画像を右目に表示し、左目用画像を左目に表示する立体画像表示装置を用意し、右目用画像、左目用画像として視差を設けた画像を提示することにより立体視が可能であることが知られている。ここでは、立体視を意図して視差を設けた複数の画像のことを立体画像と称する。また、物体までの距離を「奥行」と表現する。カメラの撮影条件が既知であれば、視差と奥行は互いに変換可能である。
【０００３】
人間は、立体視において、視差に応じた両眼の光軸のなす角度、すなわち輻輳角の大きさを対象物までの距離に対応付けていると言われている。よって、左目用画像上のある被写体の位置より、右目用画像上のその被写体の位置の方が、左目用画像上から見て相対的に右側にずれるよう視差を付けた画像を見せると、被写体が実際の表示面より遠景側にあるように知覚させることができる。逆に、左目用画像上のある被写体の位置より、右目用画像上のその被写体の位置の方が、左目用画像上から見て相対的に左側にずれるよう視差を付けた画像を見せると、被写体が実際の表示面より近景側にあるように知覚させることができる。
【０００４】
以下では、左目用画像を基準として右目用画像上の被写体の右方向の視差のずれを、正の視差として説明する。被写体は、視差値が正の値を取ると表示画面より遠景方向に見える。視差値が０の場合はちょうど表示画面と同じ距離にあるように見える。視差値が負の値になる場合、すなわち左目用画像を基準として右目用画像上の被写体が左方向にずれている場合は、表示画面より近景方向に見える。視差量の単位としては、例えば画像におけるピクセル数を用いることができる。
【０００５】
しかし、視差値を正の方向に大きくしすぎ、観察者の目の間隔、正確には無限遠を見ている時の瞳孔間の距離を超えた視差値とすると、自然界では起き得ない状態となり、立体視が不可能となるか、立体視できたとしても人体に強い負担を強いることになる。一方、視差値を負の方向に大きくしすぎると、極度な寄り目を観察者に強いることとなり、快適な立体視ができなくなる。またいずれの場合においても、視差値が正又は負の方向に大きくなるほど輻輳と目の焦点の調節との乖離が大きくなり、不自然な状態となるので、違和感を生じる。このように、立体画像の視差量がある一定の範囲では快適に立体視が可能であるが、視差量が大きくなると両目の画像が融合しなくなり、立体視が困難あるいは不可能となる。
【０００６】
特許文献１には、これに対する解決手段が開示されている。図１７は特許文献１の要部を図解したものであり、これを用いて説明する。図１７においては、視差計算部５００は左右眼用の画像から、画面全体について各座標における視差を計算した視差地図を計算する。計算方法は、左右画像の輝度パターンの相関を計算する相関マッチング法等を用いる。注視点計算部５０１において立体画像の視差の最大値、すなわち最遠景視差値を計算し、視差制御部５０２が画面表示部５０３の表示画面上での左右のずれ量を、その最遠景視差値が観察者の両眼間隔を越えないように設定する。両眼間隔は、成人の場合約６５ｍｍである。これにより、観察者の視線が平行より広がることがなくなり、両目の画像の視差が融合する範囲内になるように制御することができる。あるいは、注視点計算部５０１において立体画像の視差の最小値、すなわち最近景視差値を計算し、視差制御部５０２が画面表示部５０３の表示画面上での左右のずれ量を、その最近景視差値が、ある所定の大きさβ以下にならないように設定する方法が開示されている。これにより、観察者の視点が非常に近い位置になり３次元画像表示面からの目のピント情報と視線の輻輳角の大きな不一致状態をなくすことが出来、観察者が表示画像を両眼融合しやすくなるように左右画像を制御することができる。つまり、このような処理により、常に視聴者に見やすい立体画像を呈示できる。
【０００７】
また、特許文献１には、このような視差の制御を行う際、視差制御量の変化が時間的に速すぎて、表示画面が頻繁に運動するときには、この信号に低域ろ波処理、すなわちローパスフィルタ処理を行い、ゆっくりとした動きのみを用いて表示画像を制御する方法が開示されている。現状では立体画像は、放送、ＤＶＤやＢＤなどのパッケージメディア、立体画像を撮影可能なデジタルカメラやデジタルビデオカメラ、インターネット上に公開された画像ファイル等により見ることができるが、これらの立体画像は右目用画像と左目用画像を組にした画像のみからなるものがほとんどである。視差に関する情報が付加された立体画像はほとんど無い。従って、上記の視差計算部５００における処理のように、入力された立体画像から視差量を計算して視差調整処理を行わなければならない。視差量の計算の処理においては、計算エラーが発生する。エラーを含む値をそのまま用いて視差調整処理を行うと、視差調整量がフレーム毎に大きく変動し、かえって見難くなる。上記のローパスフィルタ処理は、このようなエラーの影響を軽減することができる。
【０００８】
さらに、特許文献１には、左右の画像をそれぞれシフトさせることによる奥行調整方法が開示されている。図１８〜図２３を用いて、この原理を説明する。図１８は、丸と三角の二つの物体が写っている左右の画像からなる立体画像を示している。人間がこの立体画像を立体画像表示装置を用いて見たときに各物体の奥行がどのように知覚されるかを示したのが図１９である。表示された左右の画像上の各物体の位置関係により、三角の物体は立体画像表示装置より手前に、丸の物体は奥に知覚される。
【０００９】
次に、図２０に示した、左目用画像を左にずらし右目用画像を右にずらした立体画像による各物体の奥行の知覚を図２１に示す。図１９と比較すると、いずれの物体もより遠景方向に移動して見えることがわかる。逆に、図２２に示した、左目用画像を右にずらし右目用画像を左にずらした立体画像による各物体の奥行の知覚を図２３に示す。図１９と比較すると、いずれの物体もより近景方向に移動して見えることがわかる。
【００１０】
このように、単純に右目用画像と左目用画像の位置関係を水平方向にずらして視差を一様に増減させるだけでも、画像中の物体の奥行感を変えることが可能である。この原理を用いると、物体が手前に飛び出しすぎて見える画像は奥にずらすように調整し、物体が奥すぎて見える画像は手前にずらすように調整する、といったことが可能である。
【００１１】
一方、特許文献２には、右目用画像とその奥行情報を入力し、その奥行情報から奥行の最大値と最小値を求め、その奥行の最大値と最小値の平均値のフレーム間の変化量の絶対値が所定の閾値以上ならシーンチェンジと判定する方法が開示されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平７−１６７６３３号公報
【特許文献２】特開平１０−４０４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ところで、映像作品は通常、複数のシーンをつなぎ合わせて構成されている。シーンチェンジの前後においては、視差量が不連続に大きく変化する場合がある。この時、上記の特許文献１に記載のローパスフィルタ処理が問題となる。すなわち、常に視聴者に見やすい立体画像を呈示するには、シーンチェンジが発生して視差量が不連続に大きく変化した場合には、前記の視差調整処理において、視差調整量を視差量の大きな変化に素早く追従させなければならない。しかし、上記の特許文献１に記載のローパスフィルタ処理は、視差量の変化のうち素早い動きを除去してしまうため、シーンチェンジ時には視差調整量の追従を遅らせてしまうという課題がある。
【００１４】
また、上記課題はシーンチェンジの前後において視差量が大きく変化した場合に問題となることから、これに対処するためには視差量の変化を捉えることのできるシーンチェンジ検出方法が必要である、という課題も有している。
【００１５】
これに対して、例えば画像の輝度情報の変化を用いたシーンチェンジ検出を行う従来技術があるが、この方法では視差量の変化を捉えることはできない。
【００１６】
一方、特許文献２に記載のシーンチェンジ検出方法は、視差量を用いた方法である。しかし、奥行情報を外部から入力することを前提としており、その奥行情報から求めた奥行の最大値と最小値を用いてシーンチェンジを検出している。通常、立体画像には視差に関する情報があらかじめ付加されていないことから、上記の特許文献１に記載の方法のように、入力された立体画像から視差量を算出し、そこから最遠景視差値と最近景視差値を検出しなければならない。これらの視差量がエラーを含むことは上述の通りである。従って、特許文献１に記載の視差算出方法により算出した視差量を用いて、特許文献２に記載のシーンチェンジ検出方法を実施しても、視差量のエラーにより正しくシーンチェンジ検出できない可能性が高いとの課題がある。
【００１７】
本発明はこのような課題に対して、視差量の変化を捉えることができ、かつ視差量のエラーの影響を受け難いシーンチェンジ検出手段を実現することを目的とする。また、視差調整量に対するローパスフィルタ処理がシーンチェンジ時に視差調整に与える悪影響を防止した視差調整手段を実現することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の一態様によれば、本発明の立体画像処理装置は、立体画像を入力し、該立体画像の各フレーム又はフィールド毎の視差に関する多次元統計量を算出する多次元統計量算出部と、特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの前記視差に関する多次元統計量の間の距離を算出する距離算出部と、前記距離が所定の閾値以上の場合に、シーンチェンジが発生したことを示す出力信号を出力する距離閾値比較部とを備えたことを特徴とする。
【００１９】
本発明の別の一態様によれば、前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、１フレーム又はフィールドであっても良い。
【００２０】
本発明の別の一態様によれば、前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、２フレーム又はフィールドであっても良い。
【００２１】
本発明の別の一態様によれば、前記視差に関する多次元統計量が、視差ヒストグラムであっても良い。
【００２２】
本発明の別の一態様によれば、前記視差に関する多次元統計量が、画像を複数領域に分割して求めた領域毎の平均視差量であっても良い。
【００２３】
本発明の別の一態様によれば、前記距離が、多次元統計量の各要素毎の差分二乗和の平方根であっても良い。
【００２４】
本発明の別の一態様によれば、前記距離が、多次元統計量の各要素毎の差分絶対値和であっても良い。
【００２５】
本発明の別の一態様によれば、立体画像を入力し、該立体画像の最遠景視差値及び最近景視差値を算出する最遠景・最近景視差量算出部と、前記距離閾値比較部による出力信号と前記最遠景視差値及び最近景視差値に基づいて、前記立体画像の視差調整量を算出する視差調整量算出部と、前記立体画像に対して、前記視差調整量に基づいて視差調整を行った立体画像を生成する視差調整部とを有しても良い。
【００２６】
本発明の別の一態様によれば、本発明の立体画像処理方法は、立体画像を入力し、該立体画像の各フレーム又はフィールド毎の視差に関する多次元統計量を算出するステップと、特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの前記視差に関する多次元統計量の間の距離を算出するステップと、前記距離が所定の閾値以上の場合に、シーンチェンジが発生したことを示す出力信号を出力するステップとを含むことを特徴とする。
【００２７】
本発明の別の一態様によれば、前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、１フレーム又はフィールドであっても良い。
【００２８】
本発明の別の一態様によれば、前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、２フレーム又はフィールドであっても良い。
【００２９】
本発明の別の一態様によれば、前記視差に関する多次元統計量が、視差ヒストグラムであっても良い。
【００３０】
本発明の別の一態様によれば、前記視差に関する多次元統計量が、画像を複数領域に分割して求めた領域毎の平均視差量であっても良い。
【００３１】
本発明の別の一態様によれば、前記距離が、多次元統計量の各要素毎の差分二乗和の平方根であっても良い。
【００３２】
本発明の別の一態様によれば、前記距離が、多次元統計量の各要素毎の差分絶対値和であっても良い。
【００３３】
本発明の別の一態様によれば、立体画像を入力し、該立体画像の最遠景視差値及び最近景視差値を算出するステップと、前記シーンチェンジが発生したことを示す出力信号と前記最遠景視差値及び最近景視差値に基づいて、前記立体画像の視差調整量を算出するステップと、前記立体画像に対して、前記視差調整量に基づいて視差調整を行った立体画像を生成するステップとを有しても良い。
【発明の効果】
【００３４】
上記手段により、本発明に係る立体画像処理装置は、立体画像の視差量の変化を捉えることができ、かつ視差量のエラーの影響を受け難いシーンチェンジ検出手段を実現する。
【図面の簡単な説明】
【００３５】
【図１】立体画像のフレームの概念を説明する図である。
【図２】第１の実施形態に係る立体画像表示装置の構成を示すブロック図である。
【図３】第１の実施形態に係る画像解析部の基本的構成を示すブロック図である。
【図４】第１の実施形態に係る画像解析部のより具体的な構成の例を示すブロック図である。
【図５】視差ヒストグラムの様々な例を示す図である。
【図６】第１の実施形態に係るシーンチェンジ検出部の詳細な構成を示す図である。
【図７】シーンチェンジ検出フラグの算出の流れを示す図である。
【図８】視差ヒストグラムのより詳細な一例を示す図である。
【図９】第１の実施形態に係る画像解析部を簡略化した構成のブロック図である。
【図１０】視差調整量の算出処理の流れを示す図である。
【図１１】視差調整量の平滑化処理の流れを示す図である。
【図１２】第２の実施形態に係る画像解析部のより具体的な構成の例を示すブロック図である。
【図１３】画像の領域分割例を説明する図である。
【図１４】第２の実施形態に係るシーンチェンジ検出部の詳細な構成を示す図である。
【図１５】第２の実施形態に係る画像解析部を簡略化した構成のブロック図である。
【図１６】シーンチェンジ検出に用いるフレームと、それによって検出されるシーンチェンジの位置の関係を説明する図である。
【図１７】特許文献１に記載の視差制御方法を説明する図である。
【図１８】左眼用と右目用の画像からなる立体画像の例を示した図である。
【図１９】図１８の立体画像による奥行き知覚を説明する図である。
【図２０】図１８の左目用画像を左にずらし、右目用画像を右にずらした立体画像を示した図である。
【図２１】図２０の立体画像による奥行き知覚を説明する図である。
【図２２】図１８の左目用画像を右にずらし、右目用画像を左にずらした立体画像を示した図である。
【図２３】図２２の立体画像による奥行き知覚を説明する図である。
【発明を実施するための形態】
【００３６】
以下、添付図面を参照しながら本発明の好適な立体画像処理装置の実施の形態について詳細に説明する。本発明は、フィールド信号とフレーム信号のいずれに対しても適用できるものであるが、フィールドとフレームは互いに類似の関係にあるため、フレーム信号を代表例として説明するものとする。
【００３７】
まず図１により、本発明における、右目用画像データと左目用画像データからなる立体画像の、フレームの概念について説明する。図１（ａ）に示すのは、1枚の画像の左半分に横方向の解像度を通常の１／２にした左目用画像（Ｌ）を、右半分に横方向の解像度を通常の１／２にした右目用画像（Ｒ）を格納した形式での立体画像である。サイドバイサイド形式と呼ばれている。この場合は、左目用画像（Ｌ）と右目用画像（Ｒ）からなる１枚の画像が１フレームになる。動画の場合は、フレームレートをＸフレーム／秒とすると、上記形式の画像が１秒間にＸ枚、すなわちフレームレートと同一の枚数必要である。
【００３８】
図１（ｂ）に示すのは、1枚の画像の上半分に縦方向の解像度を通常の１／２にした左目用画像（Ｌ）を、下半分に縦方向の解像度を通常の１／２にした右目用画像（Ｒ）を格納した形式での立体画像である。トップアンドボトム形式と呼ばれている。この場合も、左目用画像（Ｌ）と右目用画像（Ｒ）からなる１枚の画像が１フレームになる。動画もサイドバイサイド形式と同様、この形式の画像が１秒間にフレームレートと同一の枚数必要である。またこの他にも、左目用画像と右目用画像を、解像度はそのまま上下につないで大きな１枚の画像とする、フレームパッキングと呼ばれる方式もある。これも動画の場合は、この形式の画像が１秒間にフレームレートと同一の枚数必要である。
【００３９】
一方、図１（ｃ）に示すのは、左目用画像（Ｌ）と右目用画像（Ｒ）を時間軸上で交互に並べた形式での立体画像である。フレームシーケンシャル形式と呼ばれている。この場合は本願では図１（ｃ）に示すように、１枚の左目用画像（Ｌ）と１枚の右目用画像（Ｒ）をセットにして１フレームと数える。よって動画の場合は、フレームレートをＸフレーム／秒とすると、左目用画像（Ｌ）が１秒間にＸ枚、右目用画像（Ｒ）が１秒間にＸ枚、交互に並んでいることから、合計で２Ｘ枚の画像となる。
【００４０】
このように、本願においては、画像の実際の格納形式に関わらず、左目用画像と右目用画像のセットで１フレームと考える。さらには、ｎ視点（ただしｎ＞２とする）の映像からなるｎ眼画像の場合も、ｎ眼分の画像をセットにして１フレームと考える。
【００４１】
次に、本発明における、シーン及びシーンチェンジの定義について説明する。
【００４２】
本発明におけるシーンとは、単一のカメラで撮影された一連のフレームを指すものとする。立体画像の視差は、同一のシーン内においては、被写体の動きやカメラの動きに応じて連続的に変化する。もちろん、カメラや被写体が静止していてもかまわない。ＣＧによる立体画像のように、実際にカメラで撮影されたものではない画像に関しても、仮想的なカメラにより仮想的な被写体を撮影した画像を生成していることから、これに準じる。また、例えば映画のエンドロールの字幕に視差が付けられ、字幕が画面より手前または奥にあるように見える立体画像も考えられる。これも、仮想的なカメラにより、仮想空間における被写体としての字幕を撮影したものとみなせるので、同様に扱うことができる。被写体が字幕ではなく、単純な図形、例えば三角形や四角形である場合も、同様である。さらには、黒、灰色、赤、青等の単一色の画像に関しては、そのような単一色の空間をカメラで撮影した立体画像であるとみなせるので、同様に扱うことができる。
【００４３】
また、あるシーンが終わり次のシーンへと変わることを、シーンチェンジと呼ぶ。立体画像の視差は通常、シーンチェンジの前後においては不連続に変化する。シーンごとに、被写体が変わったり、被写体とカメラとの位置関係が変わったりするためである。上記の通り、シーンには様々なものが考えられるが、シーンチェンジ前後の各シーンは、どのようなものであってもかまわない。例えば、ある実写画像から別の実写画像へのシーンの変化、実写画像から字幕画像へのシーンの変化、ＣＧ画像から実写画像へのシーンの変化、実写画像から黒の単一色の画像へのシーンの変化のいずれも、シーンチェンジである。
【００４４】
＜第１の実施形態＞
本発明の第１の実施形態は、立体画像処理装置であって、入力された立体画像の最近景と最遠景の視差の範囲が安全視差範囲内に収まるよう、該立体画像の奥行を調整するものである。以下に図面を参照して説明する。
【００４５】
図２は、本実施形態による立体画像表示装置の構成を示すブロック図である。図２が示すように、本実施形態による立体画像表示装置は、画像データを受け付ける入力部１０と、入力された画像データを処理し、立体表示が可能な表示データを生成するための画像処理を行う立体画像処理部１００と、画像の解析を行う画像解析部２０と、画像を1フレーム分保持して遅延させて出力する画像遅延部１０１と、画像の視差を調整する視差調整部１０２と、画像を表示部１０４に合わせ表示制御を行う表示制御部１０３と、画像を表示する表示部１０４と、システム全体を制御するシステム制御部１０５と、ユーザが入力を行うユーザ入力部１０６と、シャッタメガネの同期を行うメガネ同期部１０７と、ユーザが装着するシャッタメガネ１０８と、から構成される。
【００４６】
ユーザ入力部１０６は、この立体画像処理装置に対するユーザの指示の入力を受ける。例えば、ユーザが見たい立体画像の静止画や立体画像のテレビ放送を選択する、といった操作の入力を受ける。
【００４７】
システム制御部１０５は、ユーザ入力部１０６から入力されたユーザの指示を受け、入力部１０、画像解析部２０、視差調整部１０２、表示制御部１０３との間で、制御情報や制御用データを送受信する。また、受信したデータに対して演算処理を施す。詳細は以下の各部の説明で述べる。
【００４８】
入力部１０は、ユーザが見たい立体画像をユーザ入力部１０６を用いて指定し、その制御情報がシステム制御部１０５より入力部１０に送信されると、指定された立体画像を入力する。そしてその画像データを立体画像処理部１００に送る。また、入力された立体画像のフレームレートを判別し、そのフレームレート情報をシステム制御部１０５に送る。ここで、入力される立体画像データは、放送波によるもの、記録メディアから電子的に読みだされたもの、通信により取得されたものなど、どのようなものでも構わない。すなわち、入力部１０は、放送電波の受信機装置であっても良いし、半導体メモリ読み出し装置、光ディスクや磁気ディスクの読み出し装置、ネットワークとの通信機能を持つものであっても良い。要するに、立体画像として解釈可能なデータを入力できるものであればよい。また、立体画像データは、右目用画像データと左目用画像データからなるものであっても良いし、多眼表示用の多視点画像データであっても良い。また、画像データと奥行データ又は視差データからなるものであっても良い。
【００４９】
立体画像処理部１００は、入力部１０により画像データの入力を受け、左目用画像データと右目用画像データに展開する。前記の通り、入力部１０に入力される立体画像データは、右目用画像データと左目用画像データからなるもののほか、様々な形式がありうる。立体画像データが右目用画像データと左目用画像データからなるものの場合は、それをそのまま用いる。多視点画像データである場合は、そこから２視点分のデータを選択し右目用画像データと左目用画像データとする。画像データと奥行データ又は視差データからなるものである場合は、そこから右目用画像データと左目用画像データを合成する。また、入力された画像データに付加情報がある場合は付加情報を抽出し、システム制御部に伝送する。付加情報は、撮影時のパラメータや視差情報、奥行き情報等であっても良い。
【００５０】
画像解析部２０は、制御情報をシステム制御部１０５より受信すると、立体画像処理部１００より左目用画像データと右目用画像データを入力する。また、システム制御部１０５から入力された前記制御データを用いて、画像中の最近景・最遠景に対応する視差値の算出、シーンチェンジの検出を行う。前記制御データは、より具体的には、画像中の最近景・最遠景に対応する視差値を導出する際に用いる閾値Ｔｄである。そして、画像中の最近景及び最遠景に対応する視差値Ｄｎ及びＤｆと、シーンチェンジ検出フラグＦｓをシステム制御部１０５に出力する。画像解析部２０のこれらの処理の詳細については後述する。
【００５１】
システム制御部１０５は、画像解析部２０から最近景及び最遠景に対応する視差値Ｄｎ及びＤｆとシーンチェンジ検出フラグＦｓを入力し、これらを用いて視差調整量を算出する。より具体的には、画像中の最近景・最遠景に対応する視差値によって定められる立体画像の視差範囲が視覚系に疲労をもたらすものであった場合、視差範囲を適切な範囲に移動させるための視差調整量を算出する。このとき、急激に視差範囲を移動させると視覚の疲労を誘発させる場合があるので、視差範囲の移動の時間変化をなだらかにする平滑化処理が有効であるが、シーンチェンジが発生した場合は、平滑化処理を一旦停止し、切り替え後のシーンに最適な視差調整量を新たに設定する。そしてその視差調整量を視差調整部１０２に送る。この視差調整量の算出処理の詳細についても後述する。
【００５２】
画像遅延部１０１は、立体画像処理部１００より入力された左目用画像データと右目用画像データを保持するメモリを有し、入力された画像データを1フレーム分遅延させて出力する。すなわち、（ｎ＋１）フレーム目の画像が入力されているときは、ｎフレーム目の画像を出力する。ｎフレーム目の画像に対して画像解析部２０で画像中の最近景・最遠景に対応する視差値の算出結果やシーンチェンジの検出結果、システム制御部１０５における視差調整量の算出結果は、ｎフレーム目の画像を全て処理した後でなければ得られない。よって、その結果を用いて同じｎフレーム目の画像に視差調整処理を施すためには、このようにｎフレーム目の画像データを保持して遅延して出力することが必要となる。
【００５３】
視差調整部１０２では、システム制御部１０５から入力された視差調整量に従って視差を調整した立体画像を生成し、表示制御部１０３に送る。より具体的には前記の背景技術の欄で述べたように、立体画像を構成する左右画像を相対的に左右にずらすことによって左右画像の対応点間の距離を変更し、視差を調整する。画像をずらすことにより画面からはみ出した部分は削除する。また、画像をずらすことにより画像がなくなった部分は、例えば黒で埋める。本願では、視差調整量が正の値の場合は、画面内の被写体の視差値を大きくして遠景方向に移動するようにずらす、すなわち、左目用画像を左方向に、右目用画像を右方向にずらす。視差調整量が負の値の場合は、画面内の被写体の視差値を小さくして近景方向に移動するようにずらす、すなわち、左目用画像を右方向に、右目用画像を左方向にずらす。
【００５４】
表示制御部１０３は、視差調整部１０２により視差を調整された立体画像の入力を、システム制御部１０５より入力画像のフレームレート情報の入力を受け、立体画像の提示方法に合わせた方式でデータを出力する。例えば本実施例では、表示部１０４に液晶表示パネルを用い、左目用画像と右目用画像を交互に表示し、観察者の装着したシャッタメガネ１０８と同期して立体視を行う方式を使っている。表示部１０４に左目用画像が表示されているときはシャッタメガネ１０８の左目用シャッタを開、右目用シャッタを閉とすることにより左目用画像を左目に呈示し、右目用画像が表示されているときには左目用シャッタを閉、右目用シャッタを開とすることにより右目用画像を右目に呈示して、立体視を実現する。この場合、表示制御部１０３は表示部１０４に対し、左目用画像と右目用画像を交互に出力する。出力の頻度は、入力画像のフレームレートに依存する。例えば入力画像のフレームレートが毎秒６０枚であった場合は、左目用画像と右目用画像をそれぞれ毎秒６０枚、合計１２０枚表示しても良いし、あるいは左目用画像と右目用画像のそれぞれに２倍のフレームレート変換処理を施してそれぞれ毎秒１２０枚の画像を生成し、合計２４０枚表示しても良い。また、入力画像が映画であった場合はフレームレートは毎秒２４枚であるので、左目用画像と右目用画像をそれぞれ毎秒２４枚、合計４８枚表示しても良いし、あるいは例えば左目用画像と右目用画像のそれぞれに５倍のフレームレート変換処理を施してそれぞれ毎秒１２０枚の画像を生成して、合計２４０枚表示しても良い。さらに、メガネ同期部１０７に対し画像の表示タイミングに合わせて前記のようにシャッタメガネ１０８を制御するための同期信号を出力する。
【００５５】
表示部１０４は表示制御部１０３から送られる画像を随時表示する。メガネ同期部１０７は、表示制御部１０３から送られた同期信号を、赤外線や電波等を用いて、シャッタメガネ１０８に対して送信する。シャッタメガネ１０８は、メガネ同期部１０７から送信された同期信号を受信し、それに従って右目用及び左目用のシャッタを開閉する。
【００５６】
次に画像解析部２０についてより詳細に説明する。図３に画像解析部２０の基本的構成を示す。画像解析部２０は、立体画像を入力して該立体画像の各フレーム又はフィールド毎の視差に関する多次元統計量を算出する多次元統計量算出部２０１と、立体画像を入力して該立体画像の最遠景視差値及び最近景視差値を算出する最遠景・最近景視差量算出部２０２と、多次元統計量算を入力してシーンチェンジを検出するシーンチェンジ検出部２０３と、検出値や設定値を通信・制御する通信・制御部２００と、から構成される。
【００５７】
通信・制御部２００は、システム制御部１０５から制御情報を入力し、それを最遠景・最近景視差量算出部２０２及びシーンチェンジ検出部２０３に送る。制御情報は具体的には、最遠景・最近景視差量算出部２０２に送るのは閾値Ｔｄであり、シーンチェンジ検出部２０３に送るのは閾値Ｔｓである。これらについては後述する。また、最遠景・最近景視差量算出部２０２によって算出された最遠景視差量Ｄｆ、最近景視差量Ｄｎ、シーンチェンジ検出部２０３によって検出されたシーンチェンジ検出情報Ｆｓを受け、それらをシステム制御部１０５に出力する。
【００５８】
画像解析部２０のより具体的な構成の例を図４に示す。これを、画像解析部２０Ａとする。画像解析部２０Ａは、図３で示した画像解析部２０の基本的構成と比較すると、多次元統計量算出部２０１を視差算出部２０４と視差ヒストグラム生成部２０５とに展開し、最遠景・最近景視差量算出部２０２を視差算出部２０６と視差ヒストグラム生成部２０７と視差閾値比較部２０８とに展開した構成となっている。
【００５９】
視差算出部２０４は、立体画像処理部１００から入力した左目用画像データと右目用画像データに対し、フレーム毎に、立体画像を構成する右目用画像及び左目用画像の対応点のずれ即ち視差を、ブロックマッチング等を用いて画像全域にわたって求める。この時、画像内の画素毎に視差を求めても良いし、所定の大きさのブロック（例えば８×８ピクセルのブロック）毎に視差を求めても良い。なお、入力部１０に入力される立体画像データの付加情報として、画素毎あるいは所定の大きさのブロック毎の視差情報が付加されていた場合は、視差算出部２０４における処理をスキップしても良い。この場合は、視差情報をシステム制御部１０５から通信・制御部２００を経て得る。また、付加情報として画素毎あるいは所定の大きさのブロック毎の奥行情報及び撮影時のカメラの間隔と焦点距離の情報が付加されていた場合は、カメラの間隔と焦点距離の情報を用いて、奥行情報を視差情報に変換しても良い。
【００６０】
視差ヒストグラム生成部２０５は、視差算出部２０４で求めた画像全域の視差のデータから、その度数分布、すなわち視差ヒストグラムを作成する。また、視差ヒストグラムの代用として奥行きをヒストグラムにしたものでも良い。すなわち立体画像に表現されている表示物の視差またはそれと同等の量の度数分布が表されているものであればよい。
【００６１】
視差算出部２０４で求めた画面全域の視差の個々のデータには、算出エラーが存在する。このデータを統計処理により視差ヒストグラムに変換することで、個々のデータのエラーの影響は減少し、視差量の全体的な傾向が抽出される。すなわち、視差ヒストグラムを用いることで、視差量のエラーの影響を受け難くすることができる。
【００６２】
図５に視差ヒストグラムの様々な例を示す。各ヒストグラムの横軸は視差量、縦軸は度数である。図５（ａ）は、画像中に奥行きの偏りが無く被写体が存在する画像である。ここで「偏りが無い」とは、普通の自然な状態で、正規分布が期待されるような状態を意味する。近景から遠景までを含む画像であり、日常風景を撮影した画像などがこのような分布になることが多い。図５（ｂ）は、画像中に奥行きの偏りが無い被写体（群）があり、それより手前にやや距離を置いて被写体がある場合であり、飛び出す被写体を含む画像などがこのような分布になることが多い。図５（ｃ）は、画像中に奥行きの偏りが無い被写体（群）があり、それより奥にやや距離を置いて被写体がある場合であり、主要被写体以外に一部背景を含む画像などがこのような分布になることが多い。図５（ｄ）は、画像中に被写体（群）を２群含む場合であり、奥行方向に位置の異なる主要な被写体を2つ含む画像などがこのような分布になることが多い。図５（ｅ）は、画像中に近景から遠景まで奥行方向に幅広く分布する被写体（群）を含む場合であり、被写体に接近して撮影された画像などがこのような分布になることが多い。図５（ｆ）は、画像中に一様な奥行きの被写体（群）を含む場合であり、風景写真のように遠距離の被写体を撮影した画像や２次元画像などがこのような分布になることが多い。このように、画像内にどのような被写体がどのような距離に存在しているかにより、視差ヒストグラムの概形は変わる。従って、視差ヒストグラムの概形の変化を捉えることで、立体画像の動画においてシーンが切り替わったこと、すなわちシーンチェンジを検出できる。
【００６３】
シーンチェンジ検出部２０３は、視差ヒストグラム生成部２０５で作成した視差ヒストグラムと、通信・制御部２００から送られた閾値Ｔｓを用いて、シーンチェンジを検出する。図６にシーンチェンジ検出部２０３の詳細な構成を示す。シーンチェンジ検出部２０３は、データ遅延部３００と、距離算出部３０１と、距離閾値比較部３０２とからなる。
【００６４】
データ遅延部３００は、入力された視差ヒストグラムを１フレーム分保存し、次に入力された視差ヒストグラムに対して１フレーム遅延させた視差ヒストグラムを距離算出部３０１に送る。
【００６５】
距離算出部３０１は、入力された視差ヒストグラム及びデータ遅延部３００により1フレーム分遅延した視差ヒストグラムを入力し、所定の距離函数を用いてそれらの視差ヒストグラム間の距離Ｄｉｓｔを算出し、それを距離閾値比較部３０２に出力する。すなわち図６に記載のあるように、（ｎ＋１）フレーム目の視差ヒストグラムと、ｎフレーム目の視差ヒストグラムとの間の距離を算出する。
【００６６】
距離函数に関してさらに詳述する。上記で図５に関して説明したように、視差ヒストグラムの概形の変化を捉えることで、立体画像の動画においてシーンが切り替わったこと、すなわちシーンチェンジを検出できる。視差ヒストグラムの概形の変化を捉える具体的手段としては例えば、（ｎ＋１）フレーム目の視差ヒストグラムと、ｎフレーム目の視差ヒストグラムとの間の距離を指標とすることができる。この距離が小さければ、フレーム間で視差ヒストグラムの概形が余り変わっていないことがわかり、この距離が大きければ、フレーム間で視差ヒストグラムの概形が大きく変わった、すなわちシーンチェンジが発生したことがわかる。
【００６７】
一般に距離とは、ある２点間に対して測定した長さの量をいう。例えば、３次元空間における２点間を直線でつないだ場合の長さが距離である。これをより一般化して考えると、点が存在する空間は３次元より大きな多次元空間でもかまわない。視差ヒストグラムは多次元の量である。これに関しては後で詳しく述べる。また、直線でつなぐこと以外の何らかの距離の測定方法を定義してそれに従って計測した長さであっても良い。例えば地球上のある２点間の距離は、地中を貫通する直線の長さと定義することもできるし、地表面に沿った曲線の長さと定義することもできる。距離の測定方法の定義が、距離函数である。距離函数の具体例についても後述する。
【００６８】
距離算出部３０１の処理に関してさらに詳述する。立体画像における視差ヒストグラムに関して、ｌ、ｍは自然数であって、近景方向の最大の視差値を−ｌ、遠景方向の最大の視差量をｍ、ヒストグラムの各ビンの幅を１、ｎフレーム目の視差ヒストグラムをＨ（ｎ）とする。そしてその各ビンの値を以下のように表記する。
Ｈ（ｎ）＝（Ｈ（−ｌ，ｎ），Ｈ（−ｌ＋１，ｎ），・・・，Ｈ（０，ｎ），・・・，Ｈ（ｍ−１，ｎ），Ｈ（ｍ，ｎ））
つまりＨ（ｎ）は、−ｌからｍまでの（ｌ＋ｍ＋１）個の要素からなる多次元統計量である。
【００６９】
（ｎ＋１）フレーム目の視差ヒストグラムと、ｎフレーム目の視差ヒストグラムとの間の距離Ｄｉｓｔは、距離函数を一般的にｄ（ｘ，ｙ）と表記すると、以下のようになる。
Ｄｉｓｔ＝ｄ（Ｈ（ｎ＋１），Ｈ（ｎ））
具体的な距離函数としては様々なものが考えられるが、最も一般的なものが、距離ヒストグラムのビンごとの差分二乗和の平方根を求める、ユークリッド距離である。これを式で表すと以下のようになる。
Ｄｉｓｔ＝ｓｑｒｔ（Σ（Ｈ（ｉ，ｎ＋１）−Ｈ（ｉ，ｎ））２）
ここで、ｓｑｒｔ（）は平方根を求めることを意味する。以下でも同様である。また、ｉは−ｌからｍまでの値を取る。
【００７０】
しかしユークリッド距離では二乗や平方根の計算を行う必要があり、実際にハードウェアの論理回路に実装する上では多くのリソースを必要とする。ＣＰＵで計算する場合も多くの処理量を必要とする。そこで、より実装においてリソースが少なくて済む、あるいは処理量の少ない距離函数として、マンハッタン距離が考えられる。これは距離ヒストグラムのビンごとの差分の絶対値の和を求めるものである。これを式で表すと以下のようになる。
Ｄｉｓｔ＝Σ｜Ｈ（ｉ，ｎ＋１）−Ｈ（ｉ，ｎ）｜
ここで、ｉは−ｌからｍまでの値を取る。
【００７１】
この他にも、必要に応じて他の距離函数を用いてもかまわない。
【００７２】
距離比較部３０２は、距離算出部３０１より入力された距離Ｄｉｓｔと通信・制御部２００から送られた閾値Ｔｓを入力とし、ＤｉｓｔとＴｓの大きさの比較を行ってシーンチェンジ検出フラグFsを出力する。
【００７３】
その処理を図７に示す。まずＤｉｓｔ＞Ｔｓが満たされるか、つまり閾値Ｔｓよりもヒストグラム間距離Ｄｉｓｔの方が大きいかを判定する（Ｓ１）。満たされる場合は、シーンチェンジ検出フラグＦｓに１を代入する（Ｓ２）。これは、立体画像のｎフレームと（ｎ＋１）フレームの間でシーンチェンジを検出したことを意味する。一方、満たされない場合は、Ｆｓに０を代入する（Ｓ３）。これは、シーンチェンジが検出されなかったことを意味する。
【００７４】
図５に関して上記で説明したように、視差ヒストグラムの概形は、画像内にどのような被写体がどのような距離に存在しているかを反映している。従って、視差ヒストグラムの変化を捉えることで、立体画像の動画においてシーンが切り替わり写っている被写体が変化したこと、すなわちシーンチェンジを検出できる。視差ヒストグラムは−ｌからｍまでの（ｌ＋ｍ＋１）個の要素を持つ多次元の量であるので、（ｎ＋１）フレーム目の視差ヒストグラムとｎフレーム目の視差ヒストグラムとの間の距離の大きさを距離函数を用いて算出し、その距離の大きさで、視差ヒストグラムの変化の大きさを判断する。
【００７５】
視差ヒストグラムは、視差量そのものではなく、その統計量である。よって、各視差量に含まれる検出エラーの影響は緩和される。統計量としては、例えば全ての視差量の平均値も考えられる。しかし一つの統計量だけでは、画像内にどのような被写体がどのような距離に存在しているかといった情報が失われ、立体画像の動画においてシーンが切り替わったことを的確に検出できなくなる。従って、ある程度多次元の統計量であることが望ましい。視差ヒストグラムはそのような多次元統計量の一つである。
【００７６】
視差算出部２０６は視差算出部２０４と、視差ヒストグラム生成部２０７は視差ヒストグラム生成部２０５と同じ機能を持つため、説明は割愛する。
【００７７】
視差閾値比較部２０８は、視差ヒストグラム生成部２０７から入力された視差ヒストグラム及び通信・制御部２００から入力された閾値Ｔｄにより、最遠景・最近景視差量を算出する。図８を用いてその方法の一例を説明する。図８は視差ヒストグラムのより詳細な一例を示したものである。図５（ｂ）と同様、画像中に奥行きの偏りが無い被写体（群）があり、それより手前にやや距離を置いて被写体がある場合のヒストグラムの例である。横軸は視差量、縦軸は度数である。視差量は、背景技術の欄で述べたように、左目用画像を基準として画像の右方向を正の視差として表示している。閾値Ｔｄは視差ヒストグラムの縦軸の閾値として用いる。ヒストグラムと閾値Ｔｄの交点の中で最大の視差量を持つ点の視差量を最遠景視差量Ｄｆとし、最小の視差量を持つ点の視差量を最近景視差量Ｄｎとする。これは、図８のように複数の交点がある場合でも視差が最大及び最小の交点の視差量をＤｆ及びＤｎとするということである。このようにして求めた最遠景視差量Ｄｆ、最近景視差量Ｄｎを通信・制御部２００に送る。
【００７８】
図４に示した画像解析部２０Ａの構成においては、視差算出部２０６は視差算出部２０４と、視差ヒストグラム生成部２０７は視差ヒストグラム２０５と同じ機能を持っている。そこで、これらを統合して、より構成要素を少なくして簡略化することも可能である。図９にその例を示す。これを画像解析部２０Ｂとする。画像解析部２０Ｂにおいては、画像解析部２０Ａにおける視差算出部２０６と視差ヒストグラム生成部２０７を除去し、視差閾値比較部２０８には、視差ヒストグラム生成部２０５からデータを入力するよう構成する。このような構成でも、画像解析部２０Ａと同じ動作をする。
【００７９】
次に、システム制御部１０５における、視差調整部１０２に送るための視差調整量のＳの算出処理について説明する。図１０に視差調整量Ｓの算出処理の流れを示す。視差調整量Ｓの算出処理は、視差調整量の暫定値算出処理（Ｓ１１）と、視差調整量の平滑化処理（Ｓ１２）からなる。視差調整量の暫定値算出処理（Ｓ１１）は、画像解析部２０で算出された最遠景視差量Ｄｆ、最近景視差量Ｄｎと、システム制御部１０５が保持している、最遠景視差量の許容値Ｔｆと、最近景視差量の許容値Ｔｎを用いて、立体画像を見やすくするための視差調整量の暫定値Ｓｔｍｐを算出する。最遠景視差量の許容値Ｔｆは、例えば視差量がそれ以上になると画面上の視差が観察者の目の間隔を越えて立体視が困難になるような視差量、最近景視差量の許容値Ｔｎは、例えば視差量がそれ以下になると極端な寄り目となって立体視が困難になるような視差量である。厳密にこのような視差量に設定しなければならないわけではなく、例えば余裕を見てＴｆは小さめの値を、Ｔｎは大き目の値を取るなど、適宜設定すればよい。立体画像の視差が、最近景視差量の許容値Ｔｎから最遠景視差量の許容値Ｔｆの範囲内に収まっていれば、その立体画像は安全に見ることができる。逆に、立体画像の視差が安全視差範囲からはみ出していれば、その立体画像は立体視が困難であることを意味する。
【００８０】
暫定値Ｓｔｍｐの算出は、より具体的には、最遠景視差量Ｄｆが最遠景視差量の許容値Ｔｆを超えないように、また最近景視差量Ｄｎが最近景視差量の許容値Ｔｎを超えないように、画像のシフトによって視差を調整するための視差調整量の暫定値Ｓｔｍｐを設定する。最遠景視差量Ｄｆと最近景視差量Ｄｎの値によっては、視差をどう調整しても上記の２つの条件のいずれかが満たされない場合がある。そのような場合は、例えばいずれか片方の条件だけでも満たすようにＳｔｍｐを設定することができる。またあるいは、視差の調整は不可能として、Ｓｔｍｐ＝０とすることもできる。
【００８１】
視差調整量の平滑化処理（Ｓ１２）は、視差調整量の暫定値Ｓｔｍｐに対し平滑化処理を施して実際の視差調整量Ｓを算出するが、画像解析部２０で検出されたシーンチェンジ検出フラグＦｓを見て、シーンチェンジが発生している場合は平滑化処理をリセットして実際の視差調整量Ｓを算出する。
【００８２】
図１１に視差調整量の平滑化処理（Ｓ１２）の詳細な流れを示す。まず、シーンチェンジ検出フラグＦｓが０かを判定する（Ｓ２１）。Ｙｅｓの場合は、シーンチェンジが発生していないことを意味するので平滑化処理を行って実際の視差調整量Ｓを算出する（Ｓ２２）。ここで、Ｓｏｌｄは、一つ前のフレームにおける実際の視差調整量Ｓを保持しておく変数である。保持する処理については後のＳ２４の説明で述べる。実際の視差調整量Ｓは、Ｓ＝α×Ｓｔｍｐ＋β×Ｓｏｌｄという式により算出する。α、βは所定の定数であるが、α＋β＝１、０＜α、β＜１となるよう定める。αを大きくすれば実際の視差調整量Ｓに対する視差調整量の暫定値Ｓｔｍｐの寄与が大きくなる、すなわち平滑化の度合いが少なくなり、αを小さくすれば実際の視差調整量Ｓに対する視差調整量の暫定値Ｓｔｍｐの寄与が小さくなる、すなわち平滑化が強く働く。このようにα、βの値を調整することで平滑化の強さを調整できる。なお、Ｓ２２で示した数式による処理はＩＩＲフィルタ処理である。この代わりに、過去数フレーム分の視差調整量の暫定値Ｓｔｍｐを保持し、それらに対してＦＩＲフィルタ処理を施して実際の視差調整量Ｓを算出することもできる。
【００８３】
Ｓ２１においてＮｏであった場合、すなわちＦｓ＝１で、シーンチェンジが発生していた場合は、実際の視差調整量Ｓに視差調整量の暫定値Ｓｔｍｐをそのまま代入する（Ｓ２３）。すなわち、平滑化処理を施さずに実際の視差調整量Ｓを決定する。
【００８４】
Ｓ２２又はＳ２３の処理で実際の視差調整量Ｓが決まった後は、その値を一つ前のフレームにおける実際の視差調整量Ｓｏｌｄに代入する（Ｓ２４）。この値は次のフレームにおける処理で用いる。以上で視差調整量の平滑化処理（Ｓ１２）を終了する。
【００８５】
上記の第１の実施例においては、視差調整量Ｓの算出処理として、図１０を用いて説明したように、視差調整量の暫定値算出処理（Ｓ１１）を行った後に、視差調整量の平滑化処理（Ｓ１２）を行っている。しかしこの順序を逆にして、まず視差調整量の算出に用いる最遠景視差量Ｄｆ、最近景視差量Ｄｎに対して平滑化処理を行い、その平滑化処理後の最遠景視差量・最近景視差量を用いて視差調整量Ｓを算出することもできる。
【００８６】
以上のように、本発明の第１の実施形態においては、動画像の各フレーム毎の視差に関する多次元統計量、具体的には視差ヒストグラムを用いてシーンチェンジを検出している。このような視差に関する多次元の値は、画像内にどのような被写体がどのような距離に存在しているかの手がかりを有しているため、立体画像の視差量の変化を捉えたシーンチェンジ検出手段を実現できる。また、このように統計量を用いることで、視差量のエラーの影響を受け難いシーンチェンジ検出手段を実現できる。
【００８７】
さらに、シーンチェンジが検出された時は、視差調整処理における視差調整量のローパスフィルタ処理をリセットし、シーンチェンジ後のシーンの先頭からシーンの先頭のフレームの視差調整量をローパスフィルタを通さずに用いる。これにより、シーンチェンジ時以外は視差量に対するローパスフィルタ処理により視差調整量を滑らかに変化させることで見苦しさを防止することと、シーンチェンジ時にはシーンチェンジ後のシーンの視差調整量に素早く変更することを両立させた視差調整手段を実現できる。
＜第２の実施形態＞
本発明の第２の実施形態は、第１の実施形態と同様に、立体画像処理装置であって、入力された立体画像の最近景と最遠景の視差の範囲が安全視差範囲内に収まるよう、該立体画像の奥行を調整するものである。
【００８８】
第２の実施形態による立体画像表示装置の構成は、図２に示したブロック図と同一である。異なるのは、図２における画像解析部２０のより具体的な構成が、図４に示した画像解析部２０Ａや図９に示した画像解析部２０Ｂとは異なる別の構成を有することである。従って、以下では同一部分の説明は省略し、第２の実施形態における、画像解析部２０のより具体的な構成に関して説明を行う。
【００８９】
第２の実施形態に係る画像解析部２０のより具体的な構成の例を図１２に示す。これを画像解析部２０Ｃとする。画像解析部２０Ｃは、図３で示した画像解析部２０の基本的構成と比較すると、多次元統計量算出部２０１を視差算出部２０４と領域毎平均視差算出部２０９とに展開し、最遠景・最近景視差量算出部２０２を視差算出部２０６と視差ヒストグラム生成部２０７と視差閾値比較部２０８とに展開した構成となっている。また、シーンチェンジ検出部２０３はシーンチェンジ検出部２１０に変わっている。これらの構成要素のうち、視差算出部２０４、視差算出部２０６、視差ヒストグラム生成部２０７、視差閾値比較部２０８は、前記の第１の実施形態において説明したものと同一であるため、説明を割愛する。
【００９０】
領域毎平均視差算出部２０９は、視差算出部２０４で求めた画像全域の視差のデータを用い、画像を複数領域に分割しその領域毎の平均視差を算出する。図１３は、画像の領域分割例を説明する図である。画像を横ｐ領域、縦ｑ領域に分割している。ｐ、ｑは自然数である。例えば総画素数が１９２０×１０８０画素の画像を、１２０×１２０画素の大きさの領域に分割した場合、ｐ＝１６、ｑ＝９、すなわち横１６領域、縦９領域に分割できる。このようにして分割した領域ごとに、領域内の視差量の平均値を求める。なお、領域の大きさによっては、分割すると画像端で余りが出る場合がある。この場合は、余りの部分の小さな領域で平均視差を算出することもできるし、余りの部分を無視することもできる。また、領域毎の平均視差の代用として、領域毎の平均奥行を用いることもできる。この領域毎平均視差をＲとする。
【００９１】
視差算出部２０４で求めた画面全域の視差の個々のデータには、算出エラーが存在する。このデータを統計処理により領域毎の平均視差に変換することで、個々のデータのエラーの影響は減少し、視差量の全体的な傾向が抽出される。すなわち、領域毎の平均視差を用いることで、視差量のエラーの影響を受け難くすることができる。
【００９２】
シーンチェンジ検出部２１０は、領域毎平均視差算出部２０９で作成した領域毎平均視差Ｒと、通信・制御部２００から送られた閾値Ｔｓを用いて、シーンチェンジを検出する。図１４に第２の実施形態に係るシーンチェンジ検出部２１０の詳細な構成を示す。図７に示した第１の実施形態に係るシーンチェンジ検出部２０３との違いは、データ遅延部３００がデータ遅延部３０３に、距離算出部３０１が距離算出部３０４に変わったことである。以下に、変わった部分のみ説明する。
【００９３】
データ遅延部３０３は、入力された領域毎平均視差を１フレーム分保存し、次に入力された領域毎平均視差に対して１フレーム遅延させた領域毎平均視差を距離算出部３０４に送る。
【００９４】
距離算出部３０４は、入力された領域毎平均視差及びデータ遅延部３０３により1フレーム分遅延した領域毎平均視差を入力し、所定の距離函数を用いてそれらの領域毎平均視差間の距離Ｄｉｓｔを算出し、それを距離閾値比較部３０２に出力する。すなわち図１４に記載のあるように、（ｎ＋１）フレーム目の領域毎平均視差と、ｎフレーム目の領域毎平均視差との間の距離を算出する。この処理に関してさらに詳述する。
【００９５】
ｎフレーム目の画像における領域毎平均視差をＲ（ｎ）、その各要素をＲ（ｐ，ｑ，ｎ）と表記する。つまりＲは（ｐ×ｑ）個の要素からなる多次元統計量である。
【００９６】
（ｎ＋１）フレーム目の領域毎平均視差と、ｎフレーム目の領域毎平均視差との間の距離Ｄｉｓｔは、距離函数を一般的にｄ（ｘ，ｙ）と表記すると、以下のようになる。
Ｄｉｓｔ＝ｄ（Ｒ（ｎ＋１），Ｒ（ｎ））
具体的な距離函数としては、第１の実施形態と同様、様々なものが考えられる。例えば領域毎の平均視差の要素毎の差分二乗和の平方根、すなわちユークリッド距離を用いた場合、Ｄｉｓｔを式で表すと以下のようになる。
Ｄｉｓｔ＝ｓｑｒｔ（ΣΣ（Ｒ（ｉ，ｊ，ｎ＋１）−Ｒ（ｉ，ｊ，ｎ））２）
ここで、ｉは１からｐまでの値を、ｊは１からｑまでの値を取る。
【００９７】
しかし第１の実施形態と同様、ユークリッド距離では二乗や平方根の計算を行う必要があり、実際にハードウェアの論理回路に実装する上では多くのリソースを必要とする。ＣＰＵで計算する場合も多くの処理量を必要とする。そこで、より実装においてリソースが少なくて済む、あるいは処理量の少ない距離函数として、マンハッタン距離が考えられる。これは領域毎平均視差の要素毎の差分の絶対値の1和を求めるものである。これを式で表すと以下のようになる。
Ｄｉｓｔ＝ΣΣ｜Ｒ（ｉ，ｊ，ｎ＋１）−Ｒ（ｉ，ｊ，ｎ）｜
ここで、ｉは１からｐまでの値を、ｊは１からｑまでの値を取る。
【００９８】
この他にも、必要に応じて他の距離函数を用いてもかまわない。
【００９９】
領域毎平均視差は粗い視差マップであるので、画像内のどのような位置に被写体が写っており、それらがどのような距離に存在しているかを反映した量である。従って、領域毎平均視差の変化を捉えることで、立体画像の動画においてシーンが切り替わったこと、すなわちシーンチェンジを検出できる。領域毎平均視差は、（ｐ×ｑ）個の要素を持つ多次元の量であるので、（ｎ＋１）フレーム目の領域毎平均視差とｎフレーム目の領域毎平均視差との間の距離の大きさを所定の距離函数を用いて算出し、その距離の大きさで、領域毎平均視差の変化の大きさを判断する。
【０１００】
領域毎平均視差は、視差量そのものではなくその統計量である。よって、各視差量に含まれる検出エラーの影響は緩和される。第１の実施形態の説明において述べたように、統計量としては、例えば全ての視差量の平均値も考えられる。しかし一つの統計量だけでは、画像内のどのような位置に被写体が写っており、それらがどのような距離に存在しているかといった情報が失われ、立体画像の動画においてシーンが切り替わったことを的確に検出できなくなる。従って、ある程度多次元の統計量であることが望ましい。領域毎平均視差はそのような多次元統計量の一つである。
【０１０１】
図１２に示した画像解析部２０Ｃの構成においては、視差算出部２０６は視差算出部２０４と同じ機能を持っている。そこで、これらを統合して、より構成要素を少なくして簡略化することも可能である。図１５にその例を示す。これを画像解析部２０Ｄとする。画像解析部２０Ｄにおいては、画像解析部２０Ｃにおける視差算出部２０６を除去し、視差ヒストグラム生成部２０７には、視差算出部２０４からデータを入力するよう構成する。このような構成でも、画像解析部２０Ｃと同じ動作をする。
【０１０２】
以上のように、本発明の第２の実施形態においては、動画像の各フレーム毎の視差に関する多次元統計量、具体的には領域毎平均視差を用いてシーンチェンジを検出している。このような視差に関する多次元の値は、画像内のどのような位置に被写体が写っており、それらがどのような距離に存在しているかというような手がかりを有しているため、立体画像の視差量の変化を捉えたシーンチェンジ検出手段を実現できる。また、このように統計量を用いることで、視差量のエラーの影響を受け難いシーンチェンジ検出手段を実現できる。
【０１０３】
さらに、シーンチェンジが検出された時は、視差調整処理における視差調整量のローパスフィルタ処理をリセットし、シーンの先頭からシーンの先頭のフレームの視差調整量をローパスフィルタを通さずに用いるようにしている。これにより、シーンチェンジ時以外は視差調整量に対するローパスフィルタ処理により視差調整量を滑らかに変化させることで見苦しさを防止することと、シーンチェンジ時にはシーンチェンジ後のシーンの視差調整量に素早く変更することを両立させた視差調整手段を実現できる。
【０１０４】
ところで、上記第１の実施形態及び第２の実施形態の説明においては、立体画像の（ｎ＋１）フレーム目の多次元統計量とｎフレーム目の多次元統計量との間の距離を用いてシーンチェンジを検出した。しかし検出方法はこれに限らない。例えば、立体画像の（ｎ＋１）フレーム目の多次元統計量と、（ｎ−１）フレーム目の多次元統計量との間の距離や、（ｎ＋１）フレーム目の多次元統計量と、（ｎ−２）フレーム目の多次元統計量との間の距離のように、２以上離れたフレーム間での多次元統計量の距離によりシーンチェンジを検出することも可能である。このような場合、距離算出に用いる２つのフレームのうち、時間的に遅いほうのフレームとその一つ前のフレームとの間のシーンチェンジを検出することになる。例えば、（ｎ＋１）フレーム目の多次元統計量と、（ｎ−１）フレーム目の多次元統計量との間の距離によりシーンチェンジ検出する場合は、時間的に遅い（ｎ＋１）フレーム目と、その一つ前のｎフレーム目との間のシーンチェンジを検出することになる。
【０１０５】
図１６を用いて、シーンチェンジ検出に用いるフレームと、それによって検出されるシーンチェンジの位置の関係をさらに説明する。図１６においては、（ｎ−２）フレームから（ｎ＋２）フレームまでの各フレーム目を時系列順に示している。（ｎ−２）フレームからｎフレームまでが１つのシーン、ｎフレームと（ｎ＋１）フレームの間でシーンチェンジがあり、（ｎ＋１）フレームから（ｎ＋２）フレームが別のシーンである状況を図示している。
【０１０６】
隣接するフレーム間の多次元統計量の距離によりシーンチェンジを検出する場合、時間の経過につれ、
（１）（ｎ−２）フレームと（ｎ−１）フレームの間の多次元統計量の距離を算出
（２）（ｎ−１）フレームとｎフレームの間の多次元統計量の距離を算出
（３）ｎフレームと（ｎ＋１）フレームの間の多次元統計量の距離を算出
・・・
というように順に処理を行う。（１）、（２）の処理で算出した距離は小さく、（３）の処理で算出した距離は大きくなるため、（３）の処理においてシーンチェンジを検出する。
【０１０７】
一方、一つ離れたフレーム間の多次元統計量の距離によりシーンチェンジを検出する場合、時間の経過につれ、
（１’）（ｎ−２）フレームとｎフレームの間の多次元統計量の距離を算出
（２’）（ｎ−１）フレームと（ｎ＋１）フレームの間の多次元統計量の距離を算出
（３’）ｎフレームと（ｎ＋２）フレームの間の多次元統計量の距離を算出
・・・
というように順に処理を行う。（１’）の処理で算出した距離は小さく、（２’）の処理で算出した距離は大きくなるため、（２’）の処理においてシーンチェンジを検出する。なお、その次の（３’）の処理で算出した距離も、ｎフレームと（ｎ＋２）フレームが違うシーンに属していることから、大きくなる。このように、一つ離れたフレーム間の多次元統計量の距離によりシーンチェンジを検出する場合、一つのシーンチェンジに対し２度多次元統計量の距離が大きくなる。これは誤検出となるため、例えばある時点の処理でシーンチェンジ検出すると、その次のフレームでの処理結果は無視するようにすることで解決できる。
【０１０８】
上記のように、２以上離れたフレーム間での視差に関する多次元統計量の距離によりシーンチェンジを検出することも可能であるが、いくらでも離れたフレーム間で距離を求めてよいわけではない。シーンが連続しているなら近傍のフレーム同士の視差に関する多次元統計量は類似している、という性質を用いてシーンチェンジを検出しているのであり、余りに離れたフレーム間ではその性質が失われるためである。例えば、フレーム間が１〜３フレーム程度なら問題なくシーンチェンジが検出可能であろうし、フレーム間が時間にして１分もある場合は、適切なシーンチェンジ検出は不可能であろう。
【０１０９】
以上、第１の実施形態及び第２の実施形態について具体的に説明を行ったが、本発明はそれらに限定されるものではない。上述した２つの実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１１０】
また、上記の実施の形態において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【０１１１】
上記の実施の形態の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の実施形態の機能を実現する立体画像処理装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していれば良い。
【０１１２】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１１３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１１４】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【産業上の利用可能性】
【０１１５】
本発明は、立体画像処理装置、立体画像表示装置、立体画像編集装置、立体画像処理方法、立体画像表示方法、立体画像編集方法等、立体画像に関する幅広い装置及び方法に利用することが可能である。
【符号の説明】
【０１１６】
１０ 入力部
２０ 画像解析部
２０Ａ 画像解析部
２０Ｂ 画像解析部
２０Ｃ 画像解析部
２０Ｄ 画像解析部
１００ 立体画像処理部
１０１ 画像遅延部
１０２ 視差調整部
１０３ 表示制御部
１０４ 表示部
１０５ システム制御部
１０６ ユーザ入力部
１０７ メガネ同期部
１０８ シャッタメガネ
２００ 通信・制御部
２０１ 多次元統計量算出部
２０２ 最遠景・最近景視差量算出部
２０３ シーンチェンジ検出部
２０４ 視差算出部
２０５ 視差ヒストグラム生成部
２０６ 視差算出部
２０７ 視差ヒストグラム生成部
２０８ 視差閾値比較部
２０９ 領域毎平均視差算出部
２１０ シーンチェンジ検出部
３００ データ遅延部
３０１ 距離算出部
３０２ 距離閾値比較部
３０３ データ遅延部
３０４ 距離算出部
５００ 視差計算部
５０１ 注視点計算部
５０２ 視差制御部
５０３ 画面表示部
【技術分野】
【０００１】
本発明は、立体画像処理装置および立体画像処理方法に関するものである。
【背景技術】
【０００２】
人間は、一定の間隔を持つ２つの目により得られる視覚情報の違いから、空間を把握する能力を持つ。左右の眼による異なる視点から得られる像のずれを視差と呼ぶ。人間は、視差を手掛かりの一つとして、物体までの距離を把握している。実際、物体までの距離は視差から算出することが可能である。このことを利用して、右目用画像を右目に表示し、左目用画像を左目に表示する立体画像表示装置を用意し、右目用画像、左目用画像として視差を設けた画像を提示することにより立体視が可能であることが知られている。ここでは、立体視を意図して視差を設けた複数の画像のことを立体画像と称する。また、物体までの距離を「奥行」と表現する。カメラの撮影条件が既知であれば、視差と奥行は互いに変換可能である。
【０００３】
人間は、立体視において、視差に応じた両眼の光軸のなす角度、すなわち輻輳角の大きさを対象物までの距離に対応付けていると言われている。よって、左目用画像上のある被写体の位置より、右目用画像上のその被写体の位置の方が、左目用画像上から見て相対的に右側にずれるよう視差を付けた画像を見せると、被写体が実際の表示面より遠景側にあるように知覚させることができる。逆に、左目用画像上のある被写体の位置より、右目用画像上のその被写体の位置の方が、左目用画像上から見て相対的に左側にずれるよう視差を付けた画像を見せると、被写体が実際の表示面より近景側にあるように知覚させることができる。
【０００４】
以下では、左目用画像を基準として右目用画像上の被写体の右方向の視差のずれを、正の視差として説明する。被写体は、視差値が正の値を取ると表示画面より遠景方向に見える。視差値が０の場合はちょうど表示画面と同じ距離にあるように見える。視差値が負の値になる場合、すなわち左目用画像を基準として右目用画像上の被写体が左方向にずれている場合は、表示画面より近景方向に見える。視差量の単位としては、例えば画像におけるピクセル数を用いることができる。
【０００５】
しかし、視差値を正の方向に大きくしすぎ、観察者の目の間隔、正確には無限遠を見ている時の瞳孔間の距離を超えた視差値とすると、自然界では起き得ない状態となり、立体視が不可能となるか、立体視できたとしても人体に強い負担を強いることになる。一方、視差値を負の方向に大きくしすぎると、極度な寄り目を観察者に強いることとなり、快適な立体視ができなくなる。またいずれの場合においても、視差値が正又は負の方向に大きくなるほど輻輳と目の焦点の調節との乖離が大きくなり、不自然な状態となるので、違和感を生じる。このように、立体画像の視差量がある一定の範囲では快適に立体視が可能であるが、視差量が大きくなると両目の画像が融合しなくなり、立体視が困難あるいは不可能となる。
【０００６】
特許文献１には、これに対する解決手段が開示されている。図１７は特許文献１の要部を図解したものであり、これを用いて説明する。図１７においては、視差計算部５００は左右眼用の画像から、画面全体について各座標における視差を計算した視差地図を計算する。計算方法は、左右画像の輝度パターンの相関を計算する相関マッチング法等を用いる。注視点計算部５０１において立体画像の視差の最大値、すなわち最遠景視差値を計算し、視差制御部５０２が画面表示部５０３の表示画面上での左右のずれ量を、その最遠景視差値が観察者の両眼間隔を越えないように設定する。両眼間隔は、成人の場合約６５ｍｍである。これにより、観察者の視線が平行より広がることがなくなり、両目の画像の視差が融合する範囲内になるように制御することができる。あるいは、注視点計算部５０１において立体画像の視差の最小値、すなわち最近景視差値を計算し、視差制御部５０２が画面表示部５０３の表示画面上での左右のずれ量を、その最近景視差値が、ある所定の大きさβ以下にならないように設定する方法が開示されている。これにより、観察者の視点が非常に近い位置になり３次元画像表示面からの目のピント情報と視線の輻輳角の大きな不一致状態をなくすことが出来、観察者が表示画像を両眼融合しやすくなるように左右画像を制御することができる。つまり、このような処理により、常に視聴者に見やすい立体画像を呈示できる。
【０００７】
また、特許文献１には、このような視差の制御を行う際、視差制御量の変化が時間的に速すぎて、表示画面が頻繁に運動するときには、この信号に低域ろ波処理、すなわちローパスフィルタ処理を行い、ゆっくりとした動きのみを用いて表示画像を制御する方法が開示されている。現状では立体画像は、放送、ＤＶＤやＢＤなどのパッケージメディア、立体画像を撮影可能なデジタルカメラやデジタルビデオカメラ、インターネット上に公開された画像ファイル等により見ることができるが、これらの立体画像は右目用画像と左目用画像を組にした画像のみからなるものがほとんどである。視差に関する情報が付加された立体画像はほとんど無い。従って、上記の視差計算部５００における処理のように、入力された立体画像から視差量を計算して視差調整処理を行わなければならない。視差量の計算の処理においては、計算エラーが発生する。エラーを含む値をそのまま用いて視差調整処理を行うと、視差調整量がフレーム毎に大きく変動し、かえって見難くなる。上記のローパスフィルタ処理は、このようなエラーの影響を軽減することができる。
【０００８】
さらに、特許文献１には、左右の画像をそれぞれシフトさせることによる奥行調整方法が開示されている。図１８〜図２３を用いて、この原理を説明する。図１８は、丸と三角の二つの物体が写っている左右の画像からなる立体画像を示している。人間がこの立体画像を立体画像表示装置を用いて見たときに各物体の奥行がどのように知覚されるかを示したのが図１９である。表示された左右の画像上の各物体の位置関係により、三角の物体は立体画像表示装置より手前に、丸の物体は奥に知覚される。
【０００９】
次に、図２０に示した、左目用画像を左にずらし右目用画像を右にずらした立体画像による各物体の奥行の知覚を図２１に示す。図１９と比較すると、いずれの物体もより遠景方向に移動して見えることがわかる。逆に、図２２に示した、左目用画像を右にずらし右目用画像を左にずらした立体画像による各物体の奥行の知覚を図２３に示す。図１９と比較すると、いずれの物体もより近景方向に移動して見えることがわかる。
【００１０】
このように、単純に右目用画像と左目用画像の位置関係を水平方向にずらして視差を一様に増減させるだけでも、画像中の物体の奥行感を変えることが可能である。この原理を用いると、物体が手前に飛び出しすぎて見える画像は奥にずらすように調整し、物体が奥すぎて見える画像は手前にずらすように調整する、といったことが可能である。
【００１１】
一方、特許文献２には、右目用画像とその奥行情報を入力し、その奥行情報から奥行の最大値と最小値を求め、その奥行の最大値と最小値の平均値のフレーム間の変化量の絶対値が所定の閾値以上ならシーンチェンジと判定する方法が開示されている。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】特開平７−１６７６３３号公報
【特許文献２】特開平１０−４０４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【００１３】
ところで、映像作品は通常、複数のシーンをつなぎ合わせて構成されている。シーンチェンジの前後においては、視差量が不連続に大きく変化する場合がある。この時、上記の特許文献１に記載のローパスフィルタ処理が問題となる。すなわち、常に視聴者に見やすい立体画像を呈示するには、シーンチェンジが発生して視差量が不連続に大きく変化した場合には、前記の視差調整処理において、視差調整量を視差量の大きな変化に素早く追従させなければならない。しかし、上記の特許文献１に記載のローパスフィルタ処理は、視差量の変化のうち素早い動きを除去してしまうため、シーンチェンジ時には視差調整量の追従を遅らせてしまうという課題がある。
【００１４】
また、上記課題はシーンチェンジの前後において視差量が大きく変化した場合に問題となることから、これに対処するためには視差量の変化を捉えることのできるシーンチェンジ検出方法が必要である、という課題も有している。
【００１５】
これに対して、例えば画像の輝度情報の変化を用いたシーンチェンジ検出を行う従来技術があるが、この方法では視差量の変化を捉えることはできない。
【００１６】
一方、特許文献２に記載のシーンチェンジ検出方法は、視差量を用いた方法である。しかし、奥行情報を外部から入力することを前提としており、その奥行情報から求めた奥行の最大値と最小値を用いてシーンチェンジを検出している。通常、立体画像には視差に関する情報があらかじめ付加されていないことから、上記の特許文献１に記載の方法のように、入力された立体画像から視差量を算出し、そこから最遠景視差値と最近景視差値を検出しなければならない。これらの視差量がエラーを含むことは上述の通りである。従って、特許文献１に記載の視差算出方法により算出した視差量を用いて、特許文献２に記載のシーンチェンジ検出方法を実施しても、視差量のエラーにより正しくシーンチェンジ検出できない可能性が高いとの課題がある。
【００１７】
本発明はこのような課題に対して、視差量の変化を捉えることができ、かつ視差量のエラーの影響を受け難いシーンチェンジ検出手段を実現することを目的とする。また、視差調整量に対するローパスフィルタ処理がシーンチェンジ時に視差調整に与える悪影響を防止した視差調整手段を実現することを目的とする。
【課題を解決するための手段】
【００１８】
本発明の一態様によれば、本発明の立体画像処理装置は、立体画像を入力し、該立体画像の各フレーム又はフィールド毎の視差に関する多次元統計量を算出する多次元統計量算出部と、特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの前記視差に関する多次元統計量の間の距離を算出する距離算出部と、前記距離が所定の閾値以上の場合に、シーンチェンジが発生したことを示す出力信号を出力する距離閾値比較部とを備えたことを特徴とする。
【００１９】
本発明の別の一態様によれば、前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、１フレーム又はフィールドであっても良い。
【００２０】
本発明の別の一態様によれば、前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、２フレーム又はフィールドであっても良い。
【００２１】
本発明の別の一態様によれば、前記視差に関する多次元統計量が、視差ヒストグラムであっても良い。
【００２２】
本発明の別の一態様によれば、前記視差に関する多次元統計量が、画像を複数領域に分割して求めた領域毎の平均視差量であっても良い。
【００２３】
本発明の別の一態様によれば、前記距離が、多次元統計量の各要素毎の差分二乗和の平方根であっても良い。
【００２４】
本発明の別の一態様によれば、前記距離が、多次元統計量の各要素毎の差分絶対値和であっても良い。
【００２５】
本発明の別の一態様によれば、立体画像を入力し、該立体画像の最遠景視差値及び最近景視差値を算出する最遠景・最近景視差量算出部と、前記距離閾値比較部による出力信号と前記最遠景視差値及び最近景視差値に基づいて、前記立体画像の視差調整量を算出する視差調整量算出部と、前記立体画像に対して、前記視差調整量に基づいて視差調整を行った立体画像を生成する視差調整部とを有しても良い。
【００２６】
本発明の別の一態様によれば、本発明の立体画像処理方法は、立体画像を入力し、該立体画像の各フレーム又はフィールド毎の視差に関する多次元統計量を算出するステップと、特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの前記視差に関する多次元統計量の間の距離を算出するステップと、前記距離が所定の閾値以上の場合に、シーンチェンジが発生したことを示す出力信号を出力するステップとを含むことを特徴とする。
【００２７】
本発明の別の一態様によれば、前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、１フレーム又はフィールドであっても良い。
【００２８】
本発明の別の一態様によれば、前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、２フレーム又はフィールドであっても良い。
【００２９】
本発明の別の一態様によれば、前記視差に関する多次元統計量が、視差ヒストグラムであっても良い。
【００３０】
本発明の別の一態様によれば、前記視差に関する多次元統計量が、画像を複数領域に分割して求めた領域毎の平均視差量であっても良い。
【００３１】
本発明の別の一態様によれば、前記距離が、多次元統計量の各要素毎の差分二乗和の平方根であっても良い。
【００３２】
本発明の別の一態様によれば、前記距離が、多次元統計量の各要素毎の差分絶対値和であっても良い。
【００３３】
本発明の別の一態様によれば、立体画像を入力し、該立体画像の最遠景視差値及び最近景視差値を算出するステップと、前記シーンチェンジが発生したことを示す出力信号と前記最遠景視差値及び最近景視差値に基づいて、前記立体画像の視差調整量を算出するステップと、前記立体画像に対して、前記視差調整量に基づいて視差調整を行った立体画像を生成するステップとを有しても良い。
【発明の効果】
【００３４】
上記手段により、本発明に係る立体画像処理装置は、立体画像の視差量の変化を捉えることができ、かつ視差量のエラーの影響を受け難いシーンチェンジ検出手段を実現する。
【図面の簡単な説明】
【００３５】
【図１】立体画像のフレームの概念を説明する図である。
【図２】第１の実施形態に係る立体画像表示装置の構成を示すブロック図である。
【図３】第１の実施形態に係る画像解析部の基本的構成を示すブロック図である。
【図４】第１の実施形態に係る画像解析部のより具体的な構成の例を示すブロック図である。
【図５】視差ヒストグラムの様々な例を示す図である。
【図６】第１の実施形態に係るシーンチェンジ検出部の詳細な構成を示す図である。
【図７】シーンチェンジ検出フラグの算出の流れを示す図である。
【図８】視差ヒストグラムのより詳細な一例を示す図である。
【図９】第１の実施形態に係る画像解析部を簡略化した構成のブロック図である。
【図１０】視差調整量の算出処理の流れを示す図である。
【図１１】視差調整量の平滑化処理の流れを示す図である。
【図１２】第２の実施形態に係る画像解析部のより具体的な構成の例を示すブロック図である。
【図１３】画像の領域分割例を説明する図である。
【図１４】第２の実施形態に係るシーンチェンジ検出部の詳細な構成を示す図である。
【図１５】第２の実施形態に係る画像解析部を簡略化した構成のブロック図である。
【図１６】シーンチェンジ検出に用いるフレームと、それによって検出されるシーンチェンジの位置の関係を説明する図である。
【図１７】特許文献１に記載の視差制御方法を説明する図である。
【図１８】左眼用と右目用の画像からなる立体画像の例を示した図である。
【図１９】図１８の立体画像による奥行き知覚を説明する図である。
【図２０】図１８の左目用画像を左にずらし、右目用画像を右にずらした立体画像を示した図である。
【図２１】図２０の立体画像による奥行き知覚を説明する図である。
【図２２】図１８の左目用画像を右にずらし、右目用画像を左にずらした立体画像を示した図である。
【図２３】図２２の立体画像による奥行き知覚を説明する図である。
【発明を実施するための形態】
【００３６】
以下、添付図面を参照しながら本発明の好適な立体画像処理装置の実施の形態について詳細に説明する。本発明は、フィールド信号とフレーム信号のいずれに対しても適用できるものであるが、フィールドとフレームは互いに類似の関係にあるため、フレーム信号を代表例として説明するものとする。
【００３７】
まず図１により、本発明における、右目用画像データと左目用画像データからなる立体画像の、フレームの概念について説明する。図１（ａ）に示すのは、1枚の画像の左半分に横方向の解像度を通常の１／２にした左目用画像（Ｌ）を、右半分に横方向の解像度を通常の１／２にした右目用画像（Ｒ）を格納した形式での立体画像である。サイドバイサイド形式と呼ばれている。この場合は、左目用画像（Ｌ）と右目用画像（Ｒ）からなる１枚の画像が１フレームになる。動画の場合は、フレームレートをＸフレーム／秒とすると、上記形式の画像が１秒間にＸ枚、すなわちフレームレートと同一の枚数必要である。
【００３８】
図１（ｂ）に示すのは、1枚の画像の上半分に縦方向の解像度を通常の１／２にした左目用画像（Ｌ）を、下半分に縦方向の解像度を通常の１／２にした右目用画像（Ｒ）を格納した形式での立体画像である。トップアンドボトム形式と呼ばれている。この場合も、左目用画像（Ｌ）と右目用画像（Ｒ）からなる１枚の画像が１フレームになる。動画もサイドバイサイド形式と同様、この形式の画像が１秒間にフレームレートと同一の枚数必要である。またこの他にも、左目用画像と右目用画像を、解像度はそのまま上下につないで大きな１枚の画像とする、フレームパッキングと呼ばれる方式もある。これも動画の場合は、この形式の画像が１秒間にフレームレートと同一の枚数必要である。
【００３９】
一方、図１（ｃ）に示すのは、左目用画像（Ｌ）と右目用画像（Ｒ）を時間軸上で交互に並べた形式での立体画像である。フレームシーケンシャル形式と呼ばれている。この場合は本願では図１（ｃ）に示すように、１枚の左目用画像（Ｌ）と１枚の右目用画像（Ｒ）をセットにして１フレームと数える。よって動画の場合は、フレームレートをＸフレーム／秒とすると、左目用画像（Ｌ）が１秒間にＸ枚、右目用画像（Ｒ）が１秒間にＸ枚、交互に並んでいることから、合計で２Ｘ枚の画像となる。
【００４０】
このように、本願においては、画像の実際の格納形式に関わらず、左目用画像と右目用画像のセットで１フレームと考える。さらには、ｎ視点（ただしｎ＞２とする）の映像からなるｎ眼画像の場合も、ｎ眼分の画像をセットにして１フレームと考える。
【００４１】
次に、本発明における、シーン及びシーンチェンジの定義について説明する。
【００４２】
本発明におけるシーンとは、単一のカメラで撮影された一連のフレームを指すものとする。立体画像の視差は、同一のシーン内においては、被写体の動きやカメラの動きに応じて連続的に変化する。もちろん、カメラや被写体が静止していてもかまわない。ＣＧによる立体画像のように、実際にカメラで撮影されたものではない画像に関しても、仮想的なカメラにより仮想的な被写体を撮影した画像を生成していることから、これに準じる。また、例えば映画のエンドロールの字幕に視差が付けられ、字幕が画面より手前または奥にあるように見える立体画像も考えられる。これも、仮想的なカメラにより、仮想空間における被写体としての字幕を撮影したものとみなせるので、同様に扱うことができる。被写体が字幕ではなく、単純な図形、例えば三角形や四角形である場合も、同様である。さらには、黒、灰色、赤、青等の単一色の画像に関しては、そのような単一色の空間をカメラで撮影した立体画像であるとみなせるので、同様に扱うことができる。
【００４３】
また、あるシーンが終わり次のシーンへと変わることを、シーンチェンジと呼ぶ。立体画像の視差は通常、シーンチェンジの前後においては不連続に変化する。シーンごとに、被写体が変わったり、被写体とカメラとの位置関係が変わったりするためである。上記の通り、シーンには様々なものが考えられるが、シーンチェンジ前後の各シーンは、どのようなものであってもかまわない。例えば、ある実写画像から別の実写画像へのシーンの変化、実写画像から字幕画像へのシーンの変化、ＣＧ画像から実写画像へのシーンの変化、実写画像から黒の単一色の画像へのシーンの変化のいずれも、シーンチェンジである。
【００４４】
＜第１の実施形態＞
本発明の第１の実施形態は、立体画像処理装置であって、入力された立体画像の最近景と最遠景の視差の範囲が安全視差範囲内に収まるよう、該立体画像の奥行を調整するものである。以下に図面を参照して説明する。
【００４５】
図２は、本実施形態による立体画像表示装置の構成を示すブロック図である。図２が示すように、本実施形態による立体画像表示装置は、画像データを受け付ける入力部１０と、入力された画像データを処理し、立体表示が可能な表示データを生成するための画像処理を行う立体画像処理部１００と、画像の解析を行う画像解析部２０と、画像を1フレーム分保持して遅延させて出力する画像遅延部１０１と、画像の視差を調整する視差調整部１０２と、画像を表示部１０４に合わせ表示制御を行う表示制御部１０３と、画像を表示する表示部１０４と、システム全体を制御するシステム制御部１０５と、ユーザが入力を行うユーザ入力部１０６と、シャッタメガネの同期を行うメガネ同期部１０７と、ユーザが装着するシャッタメガネ１０８と、から構成される。
【００４６】
ユーザ入力部１０６は、この立体画像処理装置に対するユーザの指示の入力を受ける。例えば、ユーザが見たい立体画像の静止画や立体画像のテレビ放送を選択する、といった操作の入力を受ける。
【００４７】
システム制御部１０５は、ユーザ入力部１０６から入力されたユーザの指示を受け、入力部１０、画像解析部２０、視差調整部１０２、表示制御部１０３との間で、制御情報や制御用データを送受信する。また、受信したデータに対して演算処理を施す。詳細は以下の各部の説明で述べる。
【００４８】
入力部１０は、ユーザが見たい立体画像をユーザ入力部１０６を用いて指定し、その制御情報がシステム制御部１０５より入力部１０に送信されると、指定された立体画像を入力する。そしてその画像データを立体画像処理部１００に送る。また、入力された立体画像のフレームレートを判別し、そのフレームレート情報をシステム制御部１０５に送る。ここで、入力される立体画像データは、放送波によるもの、記録メディアから電子的に読みだされたもの、通信により取得されたものなど、どのようなものでも構わない。すなわち、入力部１０は、放送電波の受信機装置であっても良いし、半導体メモリ読み出し装置、光ディスクや磁気ディスクの読み出し装置、ネットワークとの通信機能を持つものであっても良い。要するに、立体画像として解釈可能なデータを入力できるものであればよい。また、立体画像データは、右目用画像データと左目用画像データからなるものであっても良いし、多眼表示用の多視点画像データであっても良い。また、画像データと奥行データ又は視差データからなるものであっても良い。
【００４９】
立体画像処理部１００は、入力部１０により画像データの入力を受け、左目用画像データと右目用画像データに展開する。前記の通り、入力部１０に入力される立体画像データは、右目用画像データと左目用画像データからなるもののほか、様々な形式がありうる。立体画像データが右目用画像データと左目用画像データからなるものの場合は、それをそのまま用いる。多視点画像データである場合は、そこから２視点分のデータを選択し右目用画像データと左目用画像データとする。画像データと奥行データ又は視差データからなるものである場合は、そこから右目用画像データと左目用画像データを合成する。また、入力された画像データに付加情報がある場合は付加情報を抽出し、システム制御部に伝送する。付加情報は、撮影時のパラメータや視差情報、奥行き情報等であっても良い。
【００５０】
画像解析部２０は、制御情報をシステム制御部１０５より受信すると、立体画像処理部１００より左目用画像データと右目用画像データを入力する。また、システム制御部１０５から入力された前記制御データを用いて、画像中の最近景・最遠景に対応する視差値の算出、シーンチェンジの検出を行う。前記制御データは、より具体的には、画像中の最近景・最遠景に対応する視差値を導出する際に用いる閾値Ｔｄである。そして、画像中の最近景及び最遠景に対応する視差値Ｄｎ及びＤｆと、シーンチェンジ検出フラグＦｓをシステム制御部１０５に出力する。画像解析部２０のこれらの処理の詳細については後述する。
【００５１】
システム制御部１０５は、画像解析部２０から最近景及び最遠景に対応する視差値Ｄｎ及びＤｆとシーンチェンジ検出フラグＦｓを入力し、これらを用いて視差調整量を算出する。より具体的には、画像中の最近景・最遠景に対応する視差値によって定められる立体画像の視差範囲が視覚系に疲労をもたらすものであった場合、視差範囲を適切な範囲に移動させるための視差調整量を算出する。このとき、急激に視差範囲を移動させると視覚の疲労を誘発させる場合があるので、視差範囲の移動の時間変化をなだらかにする平滑化処理が有効であるが、シーンチェンジが発生した場合は、平滑化処理を一旦停止し、切り替え後のシーンに最適な視差調整量を新たに設定する。そしてその視差調整量を視差調整部１０２に送る。この視差調整量の算出処理の詳細についても後述する。
【００５２】
画像遅延部１０１は、立体画像処理部１００より入力された左目用画像データと右目用画像データを保持するメモリを有し、入力された画像データを1フレーム分遅延させて出力する。すなわち、（ｎ＋１）フレーム目の画像が入力されているときは、ｎフレーム目の画像を出力する。ｎフレーム目の画像に対して画像解析部２０で画像中の最近景・最遠景に対応する視差値の算出結果やシーンチェンジの検出結果、システム制御部１０５における視差調整量の算出結果は、ｎフレーム目の画像を全て処理した後でなければ得られない。よって、その結果を用いて同じｎフレーム目の画像に視差調整処理を施すためには、このようにｎフレーム目の画像データを保持して遅延して出力することが必要となる。
【００５３】
視差調整部１０２では、システム制御部１０５から入力された視差調整量に従って視差を調整した立体画像を生成し、表示制御部１０３に送る。より具体的には前記の背景技術の欄で述べたように、立体画像を構成する左右画像を相対的に左右にずらすことによって左右画像の対応点間の距離を変更し、視差を調整する。画像をずらすことにより画面からはみ出した部分は削除する。また、画像をずらすことにより画像がなくなった部分は、例えば黒で埋める。本願では、視差調整量が正の値の場合は、画面内の被写体の視差値を大きくして遠景方向に移動するようにずらす、すなわち、左目用画像を左方向に、右目用画像を右方向にずらす。視差調整量が負の値の場合は、画面内の被写体の視差値を小さくして近景方向に移動するようにずらす、すなわち、左目用画像を右方向に、右目用画像を左方向にずらす。
【００５４】
表示制御部１０３は、視差調整部１０２により視差を調整された立体画像の入力を、システム制御部１０５より入力画像のフレームレート情報の入力を受け、立体画像の提示方法に合わせた方式でデータを出力する。例えば本実施例では、表示部１０４に液晶表示パネルを用い、左目用画像と右目用画像を交互に表示し、観察者の装着したシャッタメガネ１０８と同期して立体視を行う方式を使っている。表示部１０４に左目用画像が表示されているときはシャッタメガネ１０８の左目用シャッタを開、右目用シャッタを閉とすることにより左目用画像を左目に呈示し、右目用画像が表示されているときには左目用シャッタを閉、右目用シャッタを開とすることにより右目用画像を右目に呈示して、立体視を実現する。この場合、表示制御部１０３は表示部１０４に対し、左目用画像と右目用画像を交互に出力する。出力の頻度は、入力画像のフレームレートに依存する。例えば入力画像のフレームレートが毎秒６０枚であった場合は、左目用画像と右目用画像をそれぞれ毎秒６０枚、合計１２０枚表示しても良いし、あるいは左目用画像と右目用画像のそれぞれに２倍のフレームレート変換処理を施してそれぞれ毎秒１２０枚の画像を生成し、合計２４０枚表示しても良い。また、入力画像が映画であった場合はフレームレートは毎秒２４枚であるので、左目用画像と右目用画像をそれぞれ毎秒２４枚、合計４８枚表示しても良いし、あるいは例えば左目用画像と右目用画像のそれぞれに５倍のフレームレート変換処理を施してそれぞれ毎秒１２０枚の画像を生成して、合計２４０枚表示しても良い。さらに、メガネ同期部１０７に対し画像の表示タイミングに合わせて前記のようにシャッタメガネ１０８を制御するための同期信号を出力する。
【００５５】
表示部１０４は表示制御部１０３から送られる画像を随時表示する。メガネ同期部１０７は、表示制御部１０３から送られた同期信号を、赤外線や電波等を用いて、シャッタメガネ１０８に対して送信する。シャッタメガネ１０８は、メガネ同期部１０７から送信された同期信号を受信し、それに従って右目用及び左目用のシャッタを開閉する。
【００５６】
次に画像解析部２０についてより詳細に説明する。図３に画像解析部２０の基本的構成を示す。画像解析部２０は、立体画像を入力して該立体画像の各フレーム又はフィールド毎の視差に関する多次元統計量を算出する多次元統計量算出部２０１と、立体画像を入力して該立体画像の最遠景視差値及び最近景視差値を算出する最遠景・最近景視差量算出部２０２と、多次元統計量算を入力してシーンチェンジを検出するシーンチェンジ検出部２０３と、検出値や設定値を通信・制御する通信・制御部２００と、から構成される。
【００５７】
通信・制御部２００は、システム制御部１０５から制御情報を入力し、それを最遠景・最近景視差量算出部２０２及びシーンチェンジ検出部２０３に送る。制御情報は具体的には、最遠景・最近景視差量算出部２０２に送るのは閾値Ｔｄであり、シーンチェンジ検出部２０３に送るのは閾値Ｔｓである。これらについては後述する。また、最遠景・最近景視差量算出部２０２によって算出された最遠景視差量Ｄｆ、最近景視差量Ｄｎ、シーンチェンジ検出部２０３によって検出されたシーンチェンジ検出情報Ｆｓを受け、それらをシステム制御部１０５に出力する。
【００５８】
画像解析部２０のより具体的な構成の例を図４に示す。これを、画像解析部２０Ａとする。画像解析部２０Ａは、図３で示した画像解析部２０の基本的構成と比較すると、多次元統計量算出部２０１を視差算出部２０４と視差ヒストグラム生成部２０５とに展開し、最遠景・最近景視差量算出部２０２を視差算出部２０６と視差ヒストグラム生成部２０７と視差閾値比較部２０８とに展開した構成となっている。
【００５９】
視差算出部２０４は、立体画像処理部１００から入力した左目用画像データと右目用画像データに対し、フレーム毎に、立体画像を構成する右目用画像及び左目用画像の対応点のずれ即ち視差を、ブロックマッチング等を用いて画像全域にわたって求める。この時、画像内の画素毎に視差を求めても良いし、所定の大きさのブロック（例えば８×８ピクセルのブロック）毎に視差を求めても良い。なお、入力部１０に入力される立体画像データの付加情報として、画素毎あるいは所定の大きさのブロック毎の視差情報が付加されていた場合は、視差算出部２０４における処理をスキップしても良い。この場合は、視差情報をシステム制御部１０５から通信・制御部２００を経て得る。また、付加情報として画素毎あるいは所定の大きさのブロック毎の奥行情報及び撮影時のカメラの間隔と焦点距離の情報が付加されていた場合は、カメラの間隔と焦点距離の情報を用いて、奥行情報を視差情報に変換しても良い。
【００６０】
視差ヒストグラム生成部２０５は、視差算出部２０４で求めた画像全域の視差のデータから、その度数分布、すなわち視差ヒストグラムを作成する。また、視差ヒストグラムの代用として奥行きをヒストグラムにしたものでも良い。すなわち立体画像に表現されている表示物の視差またはそれと同等の量の度数分布が表されているものであればよい。
【００６１】
視差算出部２０４で求めた画面全域の視差の個々のデータには、算出エラーが存在する。このデータを統計処理により視差ヒストグラムに変換することで、個々のデータのエラーの影響は減少し、視差量の全体的な傾向が抽出される。すなわち、視差ヒストグラムを用いることで、視差量のエラーの影響を受け難くすることができる。
【００６２】
図５に視差ヒストグラムの様々な例を示す。各ヒストグラムの横軸は視差量、縦軸は度数である。図５（ａ）は、画像中に奥行きの偏りが無く被写体が存在する画像である。ここで「偏りが無い」とは、普通の自然な状態で、正規分布が期待されるような状態を意味する。近景から遠景までを含む画像であり、日常風景を撮影した画像などがこのような分布になることが多い。図５（ｂ）は、画像中に奥行きの偏りが無い被写体（群）があり、それより手前にやや距離を置いて被写体がある場合であり、飛び出す被写体を含む画像などがこのような分布になることが多い。図５（ｃ）は、画像中に奥行きの偏りが無い被写体（群）があり、それより奥にやや距離を置いて被写体がある場合であり、主要被写体以外に一部背景を含む画像などがこのような分布になることが多い。図５（ｄ）は、画像中に被写体（群）を２群含む場合であり、奥行方向に位置の異なる主要な被写体を2つ含む画像などがこのような分布になることが多い。図５（ｅ）は、画像中に近景から遠景まで奥行方向に幅広く分布する被写体（群）を含む場合であり、被写体に接近して撮影された画像などがこのような分布になることが多い。図５（ｆ）は、画像中に一様な奥行きの被写体（群）を含む場合であり、風景写真のように遠距離の被写体を撮影した画像や２次元画像などがこのような分布になることが多い。このように、画像内にどのような被写体がどのような距離に存在しているかにより、視差ヒストグラムの概形は変わる。従って、視差ヒストグラムの概形の変化を捉えることで、立体画像の動画においてシーンが切り替わったこと、すなわちシーンチェンジを検出できる。
【００６３】
シーンチェンジ検出部２０３は、視差ヒストグラム生成部２０５で作成した視差ヒストグラムと、通信・制御部２００から送られた閾値Ｔｓを用いて、シーンチェンジを検出する。図６にシーンチェンジ検出部２０３の詳細な構成を示す。シーンチェンジ検出部２０３は、データ遅延部３００と、距離算出部３０１と、距離閾値比較部３０２とからなる。
【００６４】
データ遅延部３００は、入力された視差ヒストグラムを１フレーム分保存し、次に入力された視差ヒストグラムに対して１フレーム遅延させた視差ヒストグラムを距離算出部３０１に送る。
【００６５】
距離算出部３０１は、入力された視差ヒストグラム及びデータ遅延部３００により1フレーム分遅延した視差ヒストグラムを入力し、所定の距離函数を用いてそれらの視差ヒストグラム間の距離Ｄｉｓｔを算出し、それを距離閾値比較部３０２に出力する。すなわち図６に記載のあるように、（ｎ＋１）フレーム目の視差ヒストグラムと、ｎフレーム目の視差ヒストグラムとの間の距離を算出する。
【００６６】
距離函数に関してさらに詳述する。上記で図５に関して説明したように、視差ヒストグラムの概形の変化を捉えることで、立体画像の動画においてシーンが切り替わったこと、すなわちシーンチェンジを検出できる。視差ヒストグラムの概形の変化を捉える具体的手段としては例えば、（ｎ＋１）フレーム目の視差ヒストグラムと、ｎフレーム目の視差ヒストグラムとの間の距離を指標とすることができる。この距離が小さければ、フレーム間で視差ヒストグラムの概形が余り変わっていないことがわかり、この距離が大きければ、フレーム間で視差ヒストグラムの概形が大きく変わった、すなわちシーンチェンジが発生したことがわかる。
【００６７】
一般に距離とは、ある２点間に対して測定した長さの量をいう。例えば、３次元空間における２点間を直線でつないだ場合の長さが距離である。これをより一般化して考えると、点が存在する空間は３次元より大きな多次元空間でもかまわない。視差ヒストグラムは多次元の量である。これに関しては後で詳しく述べる。また、直線でつなぐこと以外の何らかの距離の測定方法を定義してそれに従って計測した長さであっても良い。例えば地球上のある２点間の距離は、地中を貫通する直線の長さと定義することもできるし、地表面に沿った曲線の長さと定義することもできる。距離の測定方法の定義が、距離函数である。距離函数の具体例についても後述する。
【００６８】
距離算出部３０１の処理に関してさらに詳述する。立体画像における視差ヒストグラムに関して、ｌ、ｍは自然数であって、近景方向の最大の視差値を−ｌ、遠景方向の最大の視差量をｍ、ヒストグラムの各ビンの幅を１、ｎフレーム目の視差ヒストグラムをＨ（ｎ）とする。そしてその各ビンの値を以下のように表記する。
Ｈ（ｎ）＝（Ｈ（−ｌ，ｎ），Ｈ（−ｌ＋１，ｎ），・・・，Ｈ（０，ｎ），・・・，Ｈ（ｍ−１，ｎ），Ｈ（ｍ，ｎ））
つまりＨ（ｎ）は、−ｌからｍまでの（ｌ＋ｍ＋１）個の要素からなる多次元統計量である。
【００６９】
（ｎ＋１）フレーム目の視差ヒストグラムと、ｎフレーム目の視差ヒストグラムとの間の距離Ｄｉｓｔは、距離函数を一般的にｄ（ｘ，ｙ）と表記すると、以下のようになる。
Ｄｉｓｔ＝ｄ（Ｈ（ｎ＋１），Ｈ（ｎ））
具体的な距離函数としては様々なものが考えられるが、最も一般的なものが、距離ヒストグラムのビンごとの差分二乗和の平方根を求める、ユークリッド距離である。これを式で表すと以下のようになる。
Ｄｉｓｔ＝ｓｑｒｔ（Σ（Ｈ（ｉ，ｎ＋１）−Ｈ（ｉ，ｎ））２）
ここで、ｓｑｒｔ（）は平方根を求めることを意味する。以下でも同様である。また、ｉは−ｌからｍまでの値を取る。
【００７０】
しかしユークリッド距離では二乗や平方根の計算を行う必要があり、実際にハードウェアの論理回路に実装する上では多くのリソースを必要とする。ＣＰＵで計算する場合も多くの処理量を必要とする。そこで、より実装においてリソースが少なくて済む、あるいは処理量の少ない距離函数として、マンハッタン距離が考えられる。これは距離ヒストグラムのビンごとの差分の絶対値の和を求めるものである。これを式で表すと以下のようになる。
Ｄｉｓｔ＝Σ｜Ｈ（ｉ，ｎ＋１）−Ｈ（ｉ，ｎ）｜
ここで、ｉは−ｌからｍまでの値を取る。
【００７１】
この他にも、必要に応じて他の距離函数を用いてもかまわない。
【００７２】
距離比較部３０２は、距離算出部３０１より入力された距離Ｄｉｓｔと通信・制御部２００から送られた閾値Ｔｓを入力とし、ＤｉｓｔとＴｓの大きさの比較を行ってシーンチェンジ検出フラグFsを出力する。
【００７３】
その処理を図７に示す。まずＤｉｓｔ＞Ｔｓが満たされるか、つまり閾値Ｔｓよりもヒストグラム間距離Ｄｉｓｔの方が大きいかを判定する（Ｓ１）。満たされる場合は、シーンチェンジ検出フラグＦｓに１を代入する（Ｓ２）。これは、立体画像のｎフレームと（ｎ＋１）フレームの間でシーンチェンジを検出したことを意味する。一方、満たされない場合は、Ｆｓに０を代入する（Ｓ３）。これは、シーンチェンジが検出されなかったことを意味する。
【００７４】
図５に関して上記で説明したように、視差ヒストグラムの概形は、画像内にどのような被写体がどのような距離に存在しているかを反映している。従って、視差ヒストグラムの変化を捉えることで、立体画像の動画においてシーンが切り替わり写っている被写体が変化したこと、すなわちシーンチェンジを検出できる。視差ヒストグラムは−ｌからｍまでの（ｌ＋ｍ＋１）個の要素を持つ多次元の量であるので、（ｎ＋１）フレーム目の視差ヒストグラムとｎフレーム目の視差ヒストグラムとの間の距離の大きさを距離函数を用いて算出し、その距離の大きさで、視差ヒストグラムの変化の大きさを判断する。
【００７５】
視差ヒストグラムは、視差量そのものではなく、その統計量である。よって、各視差量に含まれる検出エラーの影響は緩和される。統計量としては、例えば全ての視差量の平均値も考えられる。しかし一つの統計量だけでは、画像内にどのような被写体がどのような距離に存在しているかといった情報が失われ、立体画像の動画においてシーンが切り替わったことを的確に検出できなくなる。従って、ある程度多次元の統計量であることが望ましい。視差ヒストグラムはそのような多次元統計量の一つである。
【００７６】
視差算出部２０６は視差算出部２０４と、視差ヒストグラム生成部２０７は視差ヒストグラム生成部２０５と同じ機能を持つため、説明は割愛する。
【００７７】
視差閾値比較部２０８は、視差ヒストグラム生成部２０７から入力された視差ヒストグラム及び通信・制御部２００から入力された閾値Ｔｄにより、最遠景・最近景視差量を算出する。図８を用いてその方法の一例を説明する。図８は視差ヒストグラムのより詳細な一例を示したものである。図５（ｂ）と同様、画像中に奥行きの偏りが無い被写体（群）があり、それより手前にやや距離を置いて被写体がある場合のヒストグラムの例である。横軸は視差量、縦軸は度数である。視差量は、背景技術の欄で述べたように、左目用画像を基準として画像の右方向を正の視差として表示している。閾値Ｔｄは視差ヒストグラムの縦軸の閾値として用いる。ヒストグラムと閾値Ｔｄの交点の中で最大の視差量を持つ点の視差量を最遠景視差量Ｄｆとし、最小の視差量を持つ点の視差量を最近景視差量Ｄｎとする。これは、図８のように複数の交点がある場合でも視差が最大及び最小の交点の視差量をＤｆ及びＤｎとするということである。このようにして求めた最遠景視差量Ｄｆ、最近景視差量Ｄｎを通信・制御部２００に送る。
【００７８】
図４に示した画像解析部２０Ａの構成においては、視差算出部２０６は視差算出部２０４と、視差ヒストグラム生成部２０７は視差ヒストグラム２０５と同じ機能を持っている。そこで、これらを統合して、より構成要素を少なくして簡略化することも可能である。図９にその例を示す。これを画像解析部２０Ｂとする。画像解析部２０Ｂにおいては、画像解析部２０Ａにおける視差算出部２０６と視差ヒストグラム生成部２０７を除去し、視差閾値比較部２０８には、視差ヒストグラム生成部２０５からデータを入力するよう構成する。このような構成でも、画像解析部２０Ａと同じ動作をする。
【００７９】
次に、システム制御部１０５における、視差調整部１０２に送るための視差調整量のＳの算出処理について説明する。図１０に視差調整量Ｓの算出処理の流れを示す。視差調整量Ｓの算出処理は、視差調整量の暫定値算出処理（Ｓ１１）と、視差調整量の平滑化処理（Ｓ１２）からなる。視差調整量の暫定値算出処理（Ｓ１１）は、画像解析部２０で算出された最遠景視差量Ｄｆ、最近景視差量Ｄｎと、システム制御部１０５が保持している、最遠景視差量の許容値Ｔｆと、最近景視差量の許容値Ｔｎを用いて、立体画像を見やすくするための視差調整量の暫定値Ｓｔｍｐを算出する。最遠景視差量の許容値Ｔｆは、例えば視差量がそれ以上になると画面上の視差が観察者の目の間隔を越えて立体視が困難になるような視差量、最近景視差量の許容値Ｔｎは、例えば視差量がそれ以下になると極端な寄り目となって立体視が困難になるような視差量である。厳密にこのような視差量に設定しなければならないわけではなく、例えば余裕を見てＴｆは小さめの値を、Ｔｎは大き目の値を取るなど、適宜設定すればよい。立体画像の視差が、最近景視差量の許容値Ｔｎから最遠景視差量の許容値Ｔｆの範囲内に収まっていれば、その立体画像は安全に見ることができる。逆に、立体画像の視差が安全視差範囲からはみ出していれば、その立体画像は立体視が困難であることを意味する。
【００８０】
暫定値Ｓｔｍｐの算出は、より具体的には、最遠景視差量Ｄｆが最遠景視差量の許容値Ｔｆを超えないように、また最近景視差量Ｄｎが最近景視差量の許容値Ｔｎを超えないように、画像のシフトによって視差を調整するための視差調整量の暫定値Ｓｔｍｐを設定する。最遠景視差量Ｄｆと最近景視差量Ｄｎの値によっては、視差をどう調整しても上記の２つの条件のいずれかが満たされない場合がある。そのような場合は、例えばいずれか片方の条件だけでも満たすようにＳｔｍｐを設定することができる。またあるいは、視差の調整は不可能として、Ｓｔｍｐ＝０とすることもできる。
【００８１】
視差調整量の平滑化処理（Ｓ１２）は、視差調整量の暫定値Ｓｔｍｐに対し平滑化処理を施して実際の視差調整量Ｓを算出するが、画像解析部２０で検出されたシーンチェンジ検出フラグＦｓを見て、シーンチェンジが発生している場合は平滑化処理をリセットして実際の視差調整量Ｓを算出する。
【００８２】
図１１に視差調整量の平滑化処理（Ｓ１２）の詳細な流れを示す。まず、シーンチェンジ検出フラグＦｓが０かを判定する（Ｓ２１）。Ｙｅｓの場合は、シーンチェンジが発生していないことを意味するので平滑化処理を行って実際の視差調整量Ｓを算出する（Ｓ２２）。ここで、Ｓｏｌｄは、一つ前のフレームにおける実際の視差調整量Ｓを保持しておく変数である。保持する処理については後のＳ２４の説明で述べる。実際の視差調整量Ｓは、Ｓ＝α×Ｓｔｍｐ＋β×Ｓｏｌｄという式により算出する。α、βは所定の定数であるが、α＋β＝１、０＜α、β＜１となるよう定める。αを大きくすれば実際の視差調整量Ｓに対する視差調整量の暫定値Ｓｔｍｐの寄与が大きくなる、すなわち平滑化の度合いが少なくなり、αを小さくすれば実際の視差調整量Ｓに対する視差調整量の暫定値Ｓｔｍｐの寄与が小さくなる、すなわち平滑化が強く働く。このようにα、βの値を調整することで平滑化の強さを調整できる。なお、Ｓ２２で示した数式による処理はＩＩＲフィルタ処理である。この代わりに、過去数フレーム分の視差調整量の暫定値Ｓｔｍｐを保持し、それらに対してＦＩＲフィルタ処理を施して実際の視差調整量Ｓを算出することもできる。
【００８３】
Ｓ２１においてＮｏであった場合、すなわちＦｓ＝１で、シーンチェンジが発生していた場合は、実際の視差調整量Ｓに視差調整量の暫定値Ｓｔｍｐをそのまま代入する（Ｓ２３）。すなわち、平滑化処理を施さずに実際の視差調整量Ｓを決定する。
【００８４】
Ｓ２２又はＳ２３の処理で実際の視差調整量Ｓが決まった後は、その値を一つ前のフレームにおける実際の視差調整量Ｓｏｌｄに代入する（Ｓ２４）。この値は次のフレームにおける処理で用いる。以上で視差調整量の平滑化処理（Ｓ１２）を終了する。
【００８５】
上記の第１の実施例においては、視差調整量Ｓの算出処理として、図１０を用いて説明したように、視差調整量の暫定値算出処理（Ｓ１１）を行った後に、視差調整量の平滑化処理（Ｓ１２）を行っている。しかしこの順序を逆にして、まず視差調整量の算出に用いる最遠景視差量Ｄｆ、最近景視差量Ｄｎに対して平滑化処理を行い、その平滑化処理後の最遠景視差量・最近景視差量を用いて視差調整量Ｓを算出することもできる。
【００８６】
以上のように、本発明の第１の実施形態においては、動画像の各フレーム毎の視差に関する多次元統計量、具体的には視差ヒストグラムを用いてシーンチェンジを検出している。このような視差に関する多次元の値は、画像内にどのような被写体がどのような距離に存在しているかの手がかりを有しているため、立体画像の視差量の変化を捉えたシーンチェンジ検出手段を実現できる。また、このように統計量を用いることで、視差量のエラーの影響を受け難いシーンチェンジ検出手段を実現できる。
【００８７】
さらに、シーンチェンジが検出された時は、視差調整処理における視差調整量のローパスフィルタ処理をリセットし、シーンチェンジ後のシーンの先頭からシーンの先頭のフレームの視差調整量をローパスフィルタを通さずに用いる。これにより、シーンチェンジ時以外は視差量に対するローパスフィルタ処理により視差調整量を滑らかに変化させることで見苦しさを防止することと、シーンチェンジ時にはシーンチェンジ後のシーンの視差調整量に素早く変更することを両立させた視差調整手段を実現できる。
＜第２の実施形態＞
本発明の第２の実施形態は、第１の実施形態と同様に、立体画像処理装置であって、入力された立体画像の最近景と最遠景の視差の範囲が安全視差範囲内に収まるよう、該立体画像の奥行を調整するものである。
【００８８】
第２の実施形態による立体画像表示装置の構成は、図２に示したブロック図と同一である。異なるのは、図２における画像解析部２０のより具体的な構成が、図４に示した画像解析部２０Ａや図９に示した画像解析部２０Ｂとは異なる別の構成を有することである。従って、以下では同一部分の説明は省略し、第２の実施形態における、画像解析部２０のより具体的な構成に関して説明を行う。
【００８９】
第２の実施形態に係る画像解析部２０のより具体的な構成の例を図１２に示す。これを画像解析部２０Ｃとする。画像解析部２０Ｃは、図３で示した画像解析部２０の基本的構成と比較すると、多次元統計量算出部２０１を視差算出部２０４と領域毎平均視差算出部２０９とに展開し、最遠景・最近景視差量算出部２０２を視差算出部２０６と視差ヒストグラム生成部２０７と視差閾値比較部２０８とに展開した構成となっている。また、シーンチェンジ検出部２０３はシーンチェンジ検出部２１０に変わっている。これらの構成要素のうち、視差算出部２０４、視差算出部２０６、視差ヒストグラム生成部２０７、視差閾値比較部２０８は、前記の第１の実施形態において説明したものと同一であるため、説明を割愛する。
【００９０】
領域毎平均視差算出部２０９は、視差算出部２０４で求めた画像全域の視差のデータを用い、画像を複数領域に分割しその領域毎の平均視差を算出する。図１３は、画像の領域分割例を説明する図である。画像を横ｐ領域、縦ｑ領域に分割している。ｐ、ｑは自然数である。例えば総画素数が１９２０×１０８０画素の画像を、１２０×１２０画素の大きさの領域に分割した場合、ｐ＝１６、ｑ＝９、すなわち横１６領域、縦９領域に分割できる。このようにして分割した領域ごとに、領域内の視差量の平均値を求める。なお、領域の大きさによっては、分割すると画像端で余りが出る場合がある。この場合は、余りの部分の小さな領域で平均視差を算出することもできるし、余りの部分を無視することもできる。また、領域毎の平均視差の代用として、領域毎の平均奥行を用いることもできる。この領域毎平均視差をＲとする。
【００９１】
視差算出部２０４で求めた画面全域の視差の個々のデータには、算出エラーが存在する。このデータを統計処理により領域毎の平均視差に変換することで、個々のデータのエラーの影響は減少し、視差量の全体的な傾向が抽出される。すなわち、領域毎の平均視差を用いることで、視差量のエラーの影響を受け難くすることができる。
【００９２】
シーンチェンジ検出部２１０は、領域毎平均視差算出部２０９で作成した領域毎平均視差Ｒと、通信・制御部２００から送られた閾値Ｔｓを用いて、シーンチェンジを検出する。図１４に第２の実施形態に係るシーンチェンジ検出部２１０の詳細な構成を示す。図７に示した第１の実施形態に係るシーンチェンジ検出部２０３との違いは、データ遅延部３００がデータ遅延部３０３に、距離算出部３０１が距離算出部３０４に変わったことである。以下に、変わった部分のみ説明する。
【００９３】
データ遅延部３０３は、入力された領域毎平均視差を１フレーム分保存し、次に入力された領域毎平均視差に対して１フレーム遅延させた領域毎平均視差を距離算出部３０４に送る。
【００９４】
距離算出部３０４は、入力された領域毎平均視差及びデータ遅延部３０３により1フレーム分遅延した領域毎平均視差を入力し、所定の距離函数を用いてそれらの領域毎平均視差間の距離Ｄｉｓｔを算出し、それを距離閾値比較部３０２に出力する。すなわち図１４に記載のあるように、（ｎ＋１）フレーム目の領域毎平均視差と、ｎフレーム目の領域毎平均視差との間の距離を算出する。この処理に関してさらに詳述する。
【００９５】
ｎフレーム目の画像における領域毎平均視差をＲ（ｎ）、その各要素をＲ（ｐ，ｑ，ｎ）と表記する。つまりＲは（ｐ×ｑ）個の要素からなる多次元統計量である。
【００９６】
（ｎ＋１）フレーム目の領域毎平均視差と、ｎフレーム目の領域毎平均視差との間の距離Ｄｉｓｔは、距離函数を一般的にｄ（ｘ，ｙ）と表記すると、以下のようになる。
Ｄｉｓｔ＝ｄ（Ｒ（ｎ＋１），Ｒ（ｎ））
具体的な距離函数としては、第１の実施形態と同様、様々なものが考えられる。例えば領域毎の平均視差の要素毎の差分二乗和の平方根、すなわちユークリッド距離を用いた場合、Ｄｉｓｔを式で表すと以下のようになる。
Ｄｉｓｔ＝ｓｑｒｔ（ΣΣ（Ｒ（ｉ，ｊ，ｎ＋１）−Ｒ（ｉ，ｊ，ｎ））２）
ここで、ｉは１からｐまでの値を、ｊは１からｑまでの値を取る。
【００９７】
しかし第１の実施形態と同様、ユークリッド距離では二乗や平方根の計算を行う必要があり、実際にハードウェアの論理回路に実装する上では多くのリソースを必要とする。ＣＰＵで計算する場合も多くの処理量を必要とする。そこで、より実装においてリソースが少なくて済む、あるいは処理量の少ない距離函数として、マンハッタン距離が考えられる。これは領域毎平均視差の要素毎の差分の絶対値の1和を求めるものである。これを式で表すと以下のようになる。
Ｄｉｓｔ＝ΣΣ｜Ｒ（ｉ，ｊ，ｎ＋１）−Ｒ（ｉ，ｊ，ｎ）｜
ここで、ｉは１からｐまでの値を、ｊは１からｑまでの値を取る。
【００９８】
この他にも、必要に応じて他の距離函数を用いてもかまわない。
【００９９】
領域毎平均視差は粗い視差マップであるので、画像内のどのような位置に被写体が写っており、それらがどのような距離に存在しているかを反映した量である。従って、領域毎平均視差の変化を捉えることで、立体画像の動画においてシーンが切り替わったこと、すなわちシーンチェンジを検出できる。領域毎平均視差は、（ｐ×ｑ）個の要素を持つ多次元の量であるので、（ｎ＋１）フレーム目の領域毎平均視差とｎフレーム目の領域毎平均視差との間の距離の大きさを所定の距離函数を用いて算出し、その距離の大きさで、領域毎平均視差の変化の大きさを判断する。
【０１００】
領域毎平均視差は、視差量そのものではなくその統計量である。よって、各視差量に含まれる検出エラーの影響は緩和される。第１の実施形態の説明において述べたように、統計量としては、例えば全ての視差量の平均値も考えられる。しかし一つの統計量だけでは、画像内のどのような位置に被写体が写っており、それらがどのような距離に存在しているかといった情報が失われ、立体画像の動画においてシーンが切り替わったことを的確に検出できなくなる。従って、ある程度多次元の統計量であることが望ましい。領域毎平均視差はそのような多次元統計量の一つである。
【０１０１】
図１２に示した画像解析部２０Ｃの構成においては、視差算出部２０６は視差算出部２０４と同じ機能を持っている。そこで、これらを統合して、より構成要素を少なくして簡略化することも可能である。図１５にその例を示す。これを画像解析部２０Ｄとする。画像解析部２０Ｄにおいては、画像解析部２０Ｃにおける視差算出部２０６を除去し、視差ヒストグラム生成部２０７には、視差算出部２０４からデータを入力するよう構成する。このような構成でも、画像解析部２０Ｃと同じ動作をする。
【０１０２】
以上のように、本発明の第２の実施形態においては、動画像の各フレーム毎の視差に関する多次元統計量、具体的には領域毎平均視差を用いてシーンチェンジを検出している。このような視差に関する多次元の値は、画像内のどのような位置に被写体が写っており、それらがどのような距離に存在しているかというような手がかりを有しているため、立体画像の視差量の変化を捉えたシーンチェンジ検出手段を実現できる。また、このように統計量を用いることで、視差量のエラーの影響を受け難いシーンチェンジ検出手段を実現できる。
【０１０３】
さらに、シーンチェンジが検出された時は、視差調整処理における視差調整量のローパスフィルタ処理をリセットし、シーンの先頭からシーンの先頭のフレームの視差調整量をローパスフィルタを通さずに用いるようにしている。これにより、シーンチェンジ時以外は視差調整量に対するローパスフィルタ処理により視差調整量を滑らかに変化させることで見苦しさを防止することと、シーンチェンジ時にはシーンチェンジ後のシーンの視差調整量に素早く変更することを両立させた視差調整手段を実現できる。
【０１０４】
ところで、上記第１の実施形態及び第２の実施形態の説明においては、立体画像の（ｎ＋１）フレーム目の多次元統計量とｎフレーム目の多次元統計量との間の距離を用いてシーンチェンジを検出した。しかし検出方法はこれに限らない。例えば、立体画像の（ｎ＋１）フレーム目の多次元統計量と、（ｎ−１）フレーム目の多次元統計量との間の距離や、（ｎ＋１）フレーム目の多次元統計量と、（ｎ−２）フレーム目の多次元統計量との間の距離のように、２以上離れたフレーム間での多次元統計量の距離によりシーンチェンジを検出することも可能である。このような場合、距離算出に用いる２つのフレームのうち、時間的に遅いほうのフレームとその一つ前のフレームとの間のシーンチェンジを検出することになる。例えば、（ｎ＋１）フレーム目の多次元統計量と、（ｎ−１）フレーム目の多次元統計量との間の距離によりシーンチェンジ検出する場合は、時間的に遅い（ｎ＋１）フレーム目と、その一つ前のｎフレーム目との間のシーンチェンジを検出することになる。
【０１０５】
図１６を用いて、シーンチェンジ検出に用いるフレームと、それによって検出されるシーンチェンジの位置の関係をさらに説明する。図１６においては、（ｎ−２）フレームから（ｎ＋２）フレームまでの各フレーム目を時系列順に示している。（ｎ−２）フレームからｎフレームまでが１つのシーン、ｎフレームと（ｎ＋１）フレームの間でシーンチェンジがあり、（ｎ＋１）フレームから（ｎ＋２）フレームが別のシーンである状況を図示している。
【０１０６】
隣接するフレーム間の多次元統計量の距離によりシーンチェンジを検出する場合、時間の経過につれ、
（１）（ｎ−２）フレームと（ｎ−１）フレームの間の多次元統計量の距離を算出
（２）（ｎ−１）フレームとｎフレームの間の多次元統計量の距離を算出
（３）ｎフレームと（ｎ＋１）フレームの間の多次元統計量の距離を算出
・・・
というように順に処理を行う。（１）、（２）の処理で算出した距離は小さく、（３）の処理で算出した距離は大きくなるため、（３）の処理においてシーンチェンジを検出する。
【０１０７】
一方、一つ離れたフレーム間の多次元統計量の距離によりシーンチェンジを検出する場合、時間の経過につれ、
（１’）（ｎ−２）フレームとｎフレームの間の多次元統計量の距離を算出
（２’）（ｎ−１）フレームと（ｎ＋１）フレームの間の多次元統計量の距離を算出
（３’）ｎフレームと（ｎ＋２）フレームの間の多次元統計量の距離を算出
・・・
というように順に処理を行う。（１’）の処理で算出した距離は小さく、（２’）の処理で算出した距離は大きくなるため、（２’）の処理においてシーンチェンジを検出する。なお、その次の（３’）の処理で算出した距離も、ｎフレームと（ｎ＋２）フレームが違うシーンに属していることから、大きくなる。このように、一つ離れたフレーム間の多次元統計量の距離によりシーンチェンジを検出する場合、一つのシーンチェンジに対し２度多次元統計量の距離が大きくなる。これは誤検出となるため、例えばある時点の処理でシーンチェンジ検出すると、その次のフレームでの処理結果は無視するようにすることで解決できる。
【０１０８】
上記のように、２以上離れたフレーム間での視差に関する多次元統計量の距離によりシーンチェンジを検出することも可能であるが、いくらでも離れたフレーム間で距離を求めてよいわけではない。シーンが連続しているなら近傍のフレーム同士の視差に関する多次元統計量は類似している、という性質を用いてシーンチェンジを検出しているのであり、余りに離れたフレーム間ではその性質が失われるためである。例えば、フレーム間が１〜３フレーム程度なら問題なくシーンチェンジが検出可能であろうし、フレーム間が時間にして１分もある場合は、適切なシーンチェンジ検出は不可能であろう。
【０１０９】
以上、第１の実施形態及び第２の実施形態について具体的に説明を行ったが、本発明はそれらに限定されるものではない。上述した２つの実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０１１０】
また、上記の実施の形態において、添付図面に図示されている構成等については、あくまで一例であり、これらに限定されるものではなく、本発明の効果を発揮する範囲内で適宜変更することが可能である。その他、本発明の目的の範囲を逸脱しない限りにおいて適宜変更して実施することが可能である。
【０１１１】
上記の実施の形態の説明では、機能を実現するための各構成要素をそれぞれ異なる部位であるとして説明を行っているが、実際にこのように明確に分離して認識できる部位を有していなければならないわけではない。上記の実施形態の機能を実現する立体画像処理装置が、機能を実現するための各構成要素を、例えば実際にそれぞれ異なる部位を用いて構成していてもかまわないし、あるいは、全ての構成要素を一つのＬＳＩに実装していてもかまわない。すなわち、どういう実装形態であれ、機能として各構成要素を有していれば良い。
【０１１２】
また、本実施の形態で説明した機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【０１１３】
また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。
【０１１４】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含むものとする。また前記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【産業上の利用可能性】
【０１１５】
本発明は、立体画像処理装置、立体画像表示装置、立体画像編集装置、立体画像処理方法、立体画像表示方法、立体画像編集方法等、立体画像に関する幅広い装置及び方法に利用することが可能である。
【符号の説明】
【０１１６】
１０ 入力部
２０ 画像解析部
２０Ａ 画像解析部
２０Ｂ 画像解析部
２０Ｃ 画像解析部
２０Ｄ 画像解析部
１００ 立体画像処理部
１０１ 画像遅延部
１０２ 視差調整部
１０３ 表示制御部
１０４ 表示部
１０５ システム制御部
１０６ ユーザ入力部
１０７ メガネ同期部
１０８ シャッタメガネ
２００ 通信・制御部
２０１ 多次元統計量算出部
２０２ 最遠景・最近景視差量算出部
２０３ シーンチェンジ検出部
２０４ 視差算出部
２０５ 視差ヒストグラム生成部
２０６ 視差算出部
２０７ 視差ヒストグラム生成部
２０８ 視差閾値比較部
２０９ 領域毎平均視差算出部
２１０ シーンチェンジ検出部
３００ データ遅延部
３０１ 距離算出部
３０２ 距離閾値比較部
３０３ データ遅延部
３０４ 距離算出部
５００ 視差計算部
５０１ 注視点計算部
５０２ 視差制御部
５０３ 画面表示部
【特許請求の範囲】
【請求項１】
立体画像を入力し、該立体画像の各フレーム又はフィールド毎の視差に関する多次元統計量を算出する多次元統計量算出部と、
特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの前記視差に関する多次元統計量の間の距離を算出する距離算出部と、
前記距離が所定の閾値以上の場合に、シーンチェンジが発生したことを示す出力信号を出力する距離閾値比較部と
を備えた立体画像処理装置。
【請求項２】
前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、１フレーム又はフィールドである請求項１に記載の立体画像処理装置。
【請求項３】
前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、２フレーム又はフィールドである請求項１に記載の立体画像処理装置。
【請求項４】
前記視差に関する多次元統計量が、視差ヒストグラムである請求項１乃至３に記載の立体画像処理装置。
【請求項５】
前記視差に関する多次元統計量が、画像を複数領域に分割して求めた領域毎の平均視差量である請求項１乃至３に記載の立体画像処理装置。
【請求項６】
前記距離が、多次元統計量の各要素毎の差分二乗和の平方根である請求項１乃至５に記載の立体画像処理装置。
【請求項７】
前記距離が、多次元統計量の各要素毎の差分絶対値和である請求項１乃至５に記載の立体画像処理装置。
【請求項８】
立体画像を入力し、該立体画像の最遠景視差値及び最近景視差値を算出する最遠景・最近景視差量算出部と、
前記距離閾値比較部による出力信号と前記最遠景視差値及び最近景視差値に基づいて、前記立体画像の視差調整量を算出する視差調整量算出部と、
前記立体画像に対して、前記視差調整量に基づいて視差調整を行った立体画像を生成する視差調整部と
を有する、前記請求項１乃至７に記載の立体画像処理装置。
【請求項９】
立体画像を入力し、該立体画像の各フレーム又はフィールド毎の視差に関する多次元統計量を算出するステップと、
特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの前記視差に関する多次元統計量の間の距離を算出するステップと、
前記距離が所定の閾値以上の場合に、シーンチェンジが発生したことを示す出力信号を出力するステップと
を含む立体画像処理方法。
【請求項１０】
前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、１フレーム又はフィールドである請求項９に記載の立体画像処理方法。
【請求項１１】
前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、２フレーム又はフィールドである請求項９に記載の立体画像処理方法。
【請求項１２】
前記視差に関する多次元統計量が、視差ヒストグラムである請求項９乃至１１に記載の立体画像処理方法。
【請求項１３】
前記視差に関する多次元統計量が、画像を複数領域に分割して求めた領域毎の平均視差量である請求項９乃至１１に記載の立体画像処理方法。
【請求項１４】
前記距離が、多次元統計量の各要素毎の差分二乗和の平方根である請求項９乃至１３に記載の立体画像処理方法。
【請求項１５】
前記距離が、多次元統計量の各要素毎の差分絶対値和である請求項９乃至１３に記載の立体画像処理方法。
【請求項１６】
立体画像を入力し、該立体画像の最遠景視差値及び最近景視差値を算出するステップと、
前記シーンチェンジが発生したことを示す出力信号と前記最遠景視差値及び最近景視差値に基づいて、前記立体画像の視差調整量を算出するステップと、
前記立体画像に対して、前記視差調整量に基づいて視差調整を行った立体画像を生成するステップと
を有する、前記請求項９乃至１５に記載の立体画像処理方法。
【請求項１】
立体画像を入力し、該立体画像の各フレーム又はフィールド毎の視差に関する多次元統計量を算出する多次元統計量算出部と、
特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの前記視差に関する多次元統計量の間の距離を算出する距離算出部と、
前記距離が所定の閾値以上の場合に、シーンチェンジが発生したことを示す出力信号を出力する距離閾値比較部と
を備えた立体画像処理装置。
【請求項２】
前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、１フレーム又はフィールドである請求項１に記載の立体画像処理装置。
【請求項３】
前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、２フレーム又はフィールドである請求項１に記載の立体画像処理装置。
【請求項４】
前記視差に関する多次元統計量が、視差ヒストグラムである請求項１乃至３に記載の立体画像処理装置。
【請求項５】
前記視差に関する多次元統計量が、画像を複数領域に分割して求めた領域毎の平均視差量である請求項１乃至３に記載の立体画像処理装置。
【請求項６】
前記距離が、多次元統計量の各要素毎の差分二乗和の平方根である請求項１乃至５に記載の立体画像処理装置。
【請求項７】
前記距離が、多次元統計量の各要素毎の差分絶対値和である請求項１乃至５に記載の立体画像処理装置。
【請求項８】
立体画像を入力し、該立体画像の最遠景視差値及び最近景視差値を算出する最遠景・最近景視差量算出部と、
前記距離閾値比較部による出力信号と前記最遠景視差値及び最近景視差値に基づいて、前記立体画像の視差調整量を算出する視差調整量算出部と、
前記立体画像に対して、前記視差調整量に基づいて視差調整を行った立体画像を生成する視差調整部と
を有する、前記請求項１乃至７に記載の立体画像処理装置。
【請求項９】
立体画像を入力し、該立体画像の各フレーム又はフィールド毎の視差に関する多次元統計量を算出するステップと、
特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの前記視差に関する多次元統計量の間の距離を算出するステップと、
前記距離が所定の閾値以上の場合に、シーンチェンジが発生したことを示す出力信号を出力するステップと
を含む立体画像処理方法。
【請求項１０】
前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、１フレーム又はフィールドである請求項９に記載の立体画像処理方法。
【請求項１１】
前記特定のフレーム又はフィールド及びそれに近接するフレーム又はフィールドの間隔が、２フレーム又はフィールドである請求項９に記載の立体画像処理方法。
【請求項１２】
前記視差に関する多次元統計量が、視差ヒストグラムである請求項９乃至１１に記載の立体画像処理方法。
【請求項１３】
前記視差に関する多次元統計量が、画像を複数領域に分割して求めた領域毎の平均視差量である請求項９乃至１１に記載の立体画像処理方法。
【請求項１４】
前記距離が、多次元統計量の各要素毎の差分二乗和の平方根である請求項９乃至１３に記載の立体画像処理方法。
【請求項１５】
前記距離が、多次元統計量の各要素毎の差分絶対値和である請求項９乃至１３に記載の立体画像処理方法。
【請求項１６】
立体画像を入力し、該立体画像の最遠景視差値及び最近景視差値を算出するステップと、
前記シーンチェンジが発生したことを示す出力信号と前記最遠景視差値及び最近景視差値に基づいて、前記立体画像の視差調整量を算出するステップと、
前記立体画像に対して、前記視差調整量に基づいて視差調整を行った立体画像を生成するステップと
を有する、前記請求項９乃至１５に記載の立体画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【公開番号】特開２０１３−２６９４３（Ｐ２０１３−２６９４３Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１６１５７６（Ｐ２０１１−１６１５７６）
【出願日】平成２３年７月２５日（２０１１．７．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月２５日（２０１１．７．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]