３次元画像処理装置及び３次元画像処理方法、表示装置、並びにコンピューター・プログラム
【課題】物理的且つ心理的な立体視要因を利用して、３次元画像における臨場感を高める。
【解決手段】画面中央の左右視差分布からその頻度の高い視差量の動きを検出する。奥から手前に視差ピークが移動していくとき、その移動速度に応じて徐々に画面中央を拡大していく。迫ってくる大きな物体に対し、左右視差の許容限界以内で、一定速度で画像を拡大する処理を短時間で行ない、飛び出し感を強調させることができる。また、手前から奥に視差ピークが移動していくとき、その移動速度に応じて徐々に画面中央を縮小し、物体が遠ざかっていくように見せる。
【解決手段】画面中央の左右視差分布からその頻度の高い視差量の動きを検出する。奥から手前に視差ピークが移動していくとき、その移動速度に応じて徐々に画面中央を拡大していく。迫ってくる大きな物体に対し、左右視差の許容限界以内で、一定速度で画像を拡大する処理を短時間で行ない、飛び出し感を強調させることができる。また、手前から奥に視差ピークが移動していくとき、その移動速度に応じて徐々に画面中央を縮小し、物体が遠ざかっていくように見せる。
【発明の詳細な説明】
【技術分野】
【０００１】
本明細書で開示する技術は、視差のある左眼用映像及び右眼用映像を時分割で交互に表示し、観察者の左右それぞれの目に視認させることで立体視を実現する３次元画像処理装置及び３次元画像処理方法、表示装置、並びにコンピューター・プログラムに係り、特に、左眼用映像及び右眼用映像間の視差を制御する３次元画像処理装置及び３次元画像処理方法、表示装置、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
左右の眼に視差のある画像を表示することで、観察者に立体的に見える立体視画像を提示することができる。立体視画像技術は、テレビ放送、映画、遠隔通信、遠隔医療など、さまざまな分野において適用が期待されている。
【０００３】
例えば、時分割立体視画像表示システムは、視差のある左眼用画像及び右眼用画像を非常に短い周期で交互に画面表示する表示装置と、左眼用画像及び右眼用画像の表示周期に同期して左眼用画像と右眼用画像を分離する機構からなる。観察者の左眼に左眼用画像を、右眼に右眼用画像をそれぞれ独立して視認させると、観察者の脳内ではこれらが融像され、立体的に認識される。
【０００４】
シャッター眼鏡式の時分割立体視画像表示システムの場合、観察者が装着したシャッター眼鏡は、左眼部及び右眼部にそれぞれ液晶レンズなどで構成されるシャッター機構を備え、シャッター眼鏡は、左眼用画像がディスプレイされる間に、シャッター眼鏡の左眼部が光を透過させ、右眼部が遮光する。また、右眼用画像がディスプレイされる間に、シャッター眼鏡の右眼部が光を透過させ、左眼部が遮光する（例えば、特許文献１〜３を参照のこと）。すなわち、表示装置が左眼用画像及び右眼用画像を時分割表示するとともに、表示装置の表示切り換えに同期してシャッター眼鏡がシャッター機構により画像選択を行なうことで、観察者に左眼用画像と右眼用画像を分離して視認させることができる。
【０００５】
また、アクティブ・リターダー式の時分割立体視画像表示システムの場合、ディスプレイ側に時分割で偏光を制御する機構を備えている。偏光制御機構は、表示画面に備えられた液晶シャッターと位相差フィルム又は位相差板からなり、左眼用画像及び右眼用画像の表示周期に同期して左右それぞれの偏光方向に変更する。そして、観察者は、左右それぞれの偏光方向に対応した偏光眼鏡を掛けることで、左眼用画像と右眼用画像を分離して視認することができる。
【０００６】
また、時分割立体視画像表示システムは、眼鏡式に限定されるものでなく、例えば裸眼式でも解像度の低下を防ぐためにディスプレイ側にシャッターを備えるものも考案されている。
【０００７】
ところで、３次元映像の立体感を決める要因に、両眼（左眼用画像と右眼用画像）の視差を挙げることができる。
【０００８】
例えば、適正視差の表現を後述のカメラ間隔と光軸交差位置で一般化してハードウェアに依存しない汎用的な形で記述し、その適正視差に基づいて視差画像を生成又は調整して、所望の立体表示を実現する立体画像処理装置について提案がなされている（例えば、特許文献４を参照のこと）。
【０００９】
また、立体画像を視聴する際に実世界と輻輳角が同じであっても焦点距離が異なってくるため視覚疲労を起こすこと（特に、画面内においてある部分が飛び出し過ぎている場合や、動画表示中に不用意に物体が飛び出す場合など、視差の変化が大きいと視聴者に負担になる）を考慮して、左右画像が遠ざかる方向にシフト処理や縮小のスケーリング処理を行なって飛び出し過ぎた立体像を奥に移動させる立体画像表示システムについて提案がなされている（例えば、特許文献５を参照のこと）。
【００１０】
従来から、３次元画像の表示に視差制御の技術が適用されてきたが、そのほとんどは安全重視の観点によるものであった。また、３Ｄコンソーシアムからは、「３ＤＣ安全ガイドライン」が発行されている。安全重視の観点とは、左眼用映像及び右眼用映像間の視差量を一定以内に抑え込むものである。言い換えれば、視差量が変われば３次元画像の立体感が変わるにも拘らず、アミューズメント性を追求する観点から視差制御を行なう技術は皆無に等しい。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平９−１３８３８４号公報
【特許文献２】特開２０００−３６９６９号公報
【特許文献３】特開２００３−４５３４３号公報
【特許文献４】特許第４１１８１４６号公報
【特許文献５】特開２０１１−５５０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本明細書で開示する技術の目的は、左眼用映像及び右眼用映像間の視差を制御することにより、３次元映像における臨場感を高めることができる、優れた３次元画像処理装置及び３次元画像処理方法、表示装置、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測部と、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部と、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部と、
を具備する３次元画像処理装置である。
【００１４】
本願の請求項２に記載の技術によれば、請求項１に記載の３次元画像処理装置の高頻度視差量移動観測部は、前記頻度の高い視差量が遠から近方向へ移動するときには前記注目画像が手前に移動していると判定し、前記頻度の高い視差量が近から遠方向へ移動するときには前記注目画像が奥に移動していると判定するように構成されている。
【００１５】
本願の請求項３に記載の技術によれば、請求項１に記載の３次元画像処理装置の奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が手前に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に拡大していくように構成されている。
【００１６】
本願の請求項４に記載の技術によれば、請求項１に記載の３次元画像処理装置の奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が手前に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に拡大していくとともに、画面全体で交差輻輳量を一律に増加していくように構成されている。
【００１７】
本願の請求項５に記載の技術によれば、請求項３に記載の３次元画像処理装置の奥行き制御部は、前記３次元画像の画面中央を拡大したときには、前記画面の周辺を縮小させて、中央を拡大し表示できない領域が発生しないように構成されている。
【００１８】
本願の請求項６に記載の技術によれば、請求項３に記載の３次元画像処理装置の奥行き制御部は、前記３次元画像の画面中央を一定の速度で拡大させていくように構成されている。
【００１９】
本願の請求項７に記載の技術によれば、請求項１に記載の３次元画像処理装置の奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が奥に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に縮小していくように構成されている。
【００２０】
本願の請求項８に記載の技術によれば、請求項１に記載の３次元画像処理装置の奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が奥に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に縮小していくとともに、画面全体で並行輻輳量を一律に増加していくように構成されている。
【００２１】
本願の請求項９に記載の技術によれば、請求項７に記載の３次元画像処理装置の奥行き制御部は、前記３次元画像の画面中央を縮小したときには、前記画面の周辺を拡大させて、画像表示領域が小さくならないように構成されている。
【００２２】
本願の請求項１０に記載の技術によれば、請求項７に記載の３次元画像処理装置の奥行き制御部は、前記３次元画像の画面中央を一定の速度で縮小させていくように構成されている。
【００２３】
また、本願の請求項１１に記載の技術は、
左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測ステップと、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測ステップと、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御ステップと、
を有する３次元画像処理方法である。
【００２４】
また、本願の請求項１２に記載の技術は、
左眼用画像及び右眼用画像からなる３次元画像を入力する画像入力部と
前記の入力した左眼用画像及び右眼用画像の画面中央における視差分布を計測する視差分布計測部と、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部と、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部と、
前記の奥行きが制御された３次元画像を表示する表示部と、
を具備する表示装置である。
【００２５】
また、本願の請求項１３に記載の技術は、
左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測部、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部、
としてコンピューターを機能させるための、コンピューター可読形式で記述されたコンピューター・プログラムである。
【００２６】
本願の請求項１３に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る３次元画像処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２７】
本明細書で開示する技術によれば、左眼用映像及び右眼用映像間の視差を制御することにより、３次元映像における臨場感を高めることができる、優れた３次元画像処理装置及び３次元画像処理方法、表示装置、並びにコンピューター・プログラムを提供することができる。
【００２８】
３次元画像の立体感を決める要因に、両眼視差がある。また、画像を拡大すると、左右視差量が変わり、奥行き感が変化する。画像を拡大すると、網膜像の大きさが変わり、観察者には画像が手前に見えてくる。本明細書で開示する技術によれば、このような物理的且つ心理的な立体視要因を利用して、３次元画像における臨場感を高めることができる。例えば、迫ってくる大きな物体に対し、左右視差の許容限界以内で、一定速度で画像を拡大する処理を短時間で行ない、飛び出し感を強調させる。逆に、画像を縮小して物体が遠ざかっていくように見せることができる（画像を縮小する場合は、左右視差が画面中央で大きくなることはなく、許容限界を超えることはない）。
【００２９】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００３０】
【図１】図１は、画像表示システムの構成例を模式的に示した図である。
【図２Ａ】図２Ａは、表示装置１１の左眼用画像Ｌの表示期間に同期したシャッター眼鏡１３におけるシャッター・レンズ３０８、２０９の制御動作を示した図である。
【図２Ｂ】図２Ｂは、表示装置１１の右眼用画像Ｒの表示期間に同期したシャッター眼鏡１３におけるシャッター・レンズ３０８、２０９の制御動作を示した図である。
【図３Ａ】図３Ａは、物理的且つ心理的な立体視要因を利用して左眼用画像Ｌと右眼用画像Ｒ間の視差制御を行なうための機能的構成を模式的に示した図である。
【図３Ｂ】図３Ｂは、視差ヒストグラム分布計測部３０１が計測した視差ヒストグラムの一例を示した図である。
【図３Ｃ】図３Ｃは、視差ピーク移動観測で３０２が視差ピークの移動方向を観測する様子を示した図である。
【図４Ａ】図４Ａは、視差ピークの左右視差Ｌｐ−Ｒｐが正方向に増えていく様子を示した図である。
【図４Ｂ】図４Ｂは、視差ピークの左右視差Ｌｐ−Ｒｐが負方向に増えていく様子を示した図である。
【図５Ａ】図５Ａは、画面中央を拡大するときに、画面周辺を縮小して、表示できない領域が無いように処理する様子を示した図である。
【図５Ｂ】図５Ｂは、画面中央を縮小するときに、画面周辺を拡大して、画面全体が縮小され視野が狭くならないように処理する様子を示した図である。
【図６】図６は、３次元画像に対し、画像の拡大と、左右視差Ｌｐ−Ｒｐにプラスのシフト値の加算を行なう効果を説明するための図である。
【図７】図７は、３次元画像に対し、画像の縮小と、左右視差Ｌｐ−Ｒｐにマイナスのシフト値の加算を行なう効果を説明するための図である。
【図８Ａ】図８Ａは、並行輻輳量（奥方向への視差）の増加により奥行き範囲が増加する効果を説明するための図である。
【図８Ｂ】図８Ｂは、並行輻輳量（奥方向への視差）の増加により奥行き範囲が増加する効果を説明するための図である。
【図９】図９は、手前方向へ視差量Ｘを移動させることによる視覚効果を説明するための図である。
【図１０】図１０は、手前方向へ視差量Ｘを移動させることに加えて、画像（画面中央）を拡大させることによる視覚効果を説明するための図である。
【図１１】図１１は、奥方向へ視差量Ｘを移動させることによる視覚効果を説明するための図である。
【図１２】図１２は、奥方向へ視差量Ｘを移動させることに加えて、画像（画面中央）を縮小させることによる視覚効果を説明するための図である。
【図１３Ａ】図１３Ａは、左眼用画像と右眼用画像でともに画面上の同じ位置に被写体が存在する様子を示した図である。
【図１３Ｂ】図１３Ｂは、左眼用画像の被写体と右眼用画像の被写体がともに同じ位置に存在する場合に、視聴者は液晶表示パネル１３４の表示面上で被写体を知覚することを説明するための図である。
【図１４Ａ】図１４Ａは、左眼用画像の被写体が右眼用画像の被写体よりも右寄りに存在する様子を示した図である。
【図１４Ｂ】図１４ＢＡは、左眼用画像の被写体が右眼用画像の被写体よりも右寄りに存在する場合に、視聴者は表示パネルより手前で被写体を知覚することを説明するための図である。
【図１５Ａ】図１５Ａは、右眼用画像の被写体が左眼用画像の被写体よりも右寄りに存在する様子を示した図である。
【図１５Ｂ】図１５ＢＡは、右眼用画像の被写体が左眼用画像の被写体よりも右寄りに存在する場合に、視聴者は表示パネルより奥で被写体を知覚することを説明するための図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００３２】
図１には、画像表示システムの構成例を模式的に示している。画像表示システムは、３次元表示（３次元視）対応の表示装置１１と、左眼部及び右眼部にそれぞれシャッター機構を備えたシャッター眼鏡１３の組み合わせからなる。以下では、３次元画像表示に用いる表示装置１１として、液晶ディスプレイ（ＬＣＤ）を用いるものとする。但し、本明細書で開示する技術の要旨は、液晶ディスプレイに必ずしも限定されない。
【００３３】
表示装置１１は、フレーム・シーケンシャル方式で左眼用画像Ｌ及び右眼用画像Ｒを交互に表示する。一方、シャッター眼鏡１３は、表示装置１１側での左眼用画像Ｌ及び右眼用画像Ｒの切り換えタイミングと同期をとって、左右のシャッター・レンズ３０８、３０９の開閉切り換えを行なう。表示装置１１とシャッター眼鏡１３間の通信には、Ｗｉ−ＦｉやＩＥＥＥ８０２．１５．４などの、電波通信によるワイヤレス・ネットワークが用いられ、表示装置１１からシャッター眼鏡１３へ、シャッター・レンズ３０８、３０９の開閉タイミングを制御するために必要な情報を記載したパケットが送信される。勿論、ワイヤレス・ネットワークではなく、赤外線通信やその他の通信手段を適用することもできる。
【００３４】
表示装置１１は、左右画像信号処理部１２０と、通信部１２４と、タイミング制御部１２６と、ゲート・ドライバー１３０と、データ・ドライバー１３２と、液晶表示パネル１３４を備えている。
【００３５】
液晶表示パネル１３４は、液晶層及び液晶層を挟んで対向する透明電極と、カラー・フィルターなど（いずれも図示しない）から構成されている。また、液晶表示パネル１３４の背後には、バックライト（面光源）１３６が配置されている。バックライト１３６は、残光特性の良好なＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などから構成されている。
【００３６】
左右画像信号処理部１２０には、左眼用画像Ｒ及び右眼用画像Ｌをそれぞれ表示するための左右の画像信号ＤL、ＤRからなる入力信号Ｄinが、例えばフレーム・パッキングなどの伝送フォーマットで入力される。左右画像信号処理部１２０内では、画像の鮮鋭度のエンハンスやコントラスト改善などの画質補正処理が行なわれる。また、本実施形態では、左右画像信号処理部１２０内では、左眼用画像Ｌと右眼用画像Ｒ間の視差制御を行なうが、この点の詳細については後述に譲る。そして、左右画像信号処理部１２０は、液晶表示パネル１３４でフレーム・シーケンシャル方式により左眼用画像Ｌと右眼用画像Ｒを表示させるため、左右の画像信号ＤL、ＤRを交互に出力する。
【００３７】
タイミング制御部１２６には、左右画像信号処理部１２０で変換された左眼用画像信号ＤL及び右眼用画像信号ＤRが入力される。タイミング制御部１２６は、入力された左眼用画像信号ＤL及び右眼用画像信号ＤRを液晶表示パネル１３４へ入力するための信号に変換するとともに、ゲート・ドライバー１３０及びデータ・ドライバー１３２からなるパネル駆動回路の動作に用いられるパルス信号を生成する。
【００３８】
ゲート・ドライバー１３０は、順次駆動するための信号を生成する駆動回路であり、タイミング制御部１２６から伝送された信号に応じて、液晶表示パネル１３４内の各画素に接続されたゲート・バス・ラインへ、駆動電圧を出力する。また、データ・ドライバー１３２は、映像信号に基づく駆動電圧を出力する駆動回路であり、タイミング制御部１２６から伝送された信号に基づいてデータ線へ印加する信号を生成して出力する。
【００３９】
通信部１２４は、Ｗｉ−ＦｉやＩＥＥＥ８０２．１５．４などのワイヤレス・ネットワークにおけるアクセスポイントとして動作し、端末局として動作する１以上のシャッター眼鏡１３を自分の基本サービスセット（Ｂａｓｉｃ Ｓｅｒｖｉｃｅ Ｓｅｔ：ＢＳＳ）に収容する。通信部１２４からは、シャッター眼鏡１３側でシャッター・レンズ３０８、３０９の開閉タイミングを制御するために必要な情報を記載したパケットが送信される。
【００４０】
図２Ａには、表示装置１１の左眼用画像Ｌの表示期間に同期したシャッター眼鏡１３におけるシャッター・レンズ３０８、２０９の制御動作を示している。図示のように、左眼用画像Ｌの表示期間には、表示装置１１側から無線伝送される同期パケットに従って、左眼用シャッター・レンズ３０８を開成状態、右眼用シャッター・レンズ３０９を閉成状態とし、左眼用画像Ｌに基づく表示光ＬＬがユーザーの左眼にのみ到達する。
【００４１】
また、図２Ｂには、右眼用画像Ｒの表示期間に同期したシャッター眼鏡１３におけるシャッター・レンズ３０８、２０９の制御動作を示している。図示のように、右眼用画像Ｒの表示期間には、右眼用シャッター・レンズ３０９を開成状態、左眼用シャッター・レンズ３０８を閉成状態とし、右眼用画像Ｒに基づく表示光ＲＲがユーザーの右眼にのみ到達する。
【００４２】
表示装置１１は、液晶表示パネル１３４に、フィールド毎に左眼用画像Ｌと右眼用画像Ｒを交互に表示する。シャッター眼鏡１３側では、左右のシャッター・レンズ３０８、３０９が表示装置１１のフィールド毎の画像切り換えに同期して交互に開閉動作を行なう。シャッター眼鏡１３越しに表示画像を観察するユーザーの脳内では、左眼用画像Ｌと右眼用画像Ｒが融像され、表示装置１１に表示される画像が３次元的に認識される。
【００４３】
液晶表示パネル１３４に表示する３次元画像の立体感を決める要因に、両眼視差がある。また、画像を拡大すると、左右視差量が変わり、奥行き感が変化する。画像を拡大すると、網膜像の大きさが変わり、画像の観察者には手前に見えてくる。本実施形態に係る表示装置１１では、左右画像信号処理部１２０内で、これら物理的且つ心理的な立体視要因を利用して左眼用画像Ｌと右眼用画像Ｒ間の視差制御を行なうことによって、３次元画像における臨場感を高めるようにしている。
【００４４】
ここで、左右視差量と奥行き感の関係について、図１３〜図１５を参照しながら説明しておく。
【００４５】
飛び出しも凹みもない位置に定位した被写体は、左眼用画像Ｌと右眼用画像Ｒとで視差がない。図１３Ｂに示すような、液晶表示パネル１３４の表示面上で知覚する被写体に相当する。この場合、図１３Ａに示すように、左眼用画像Ｌ内での被写体の位置Ｌｏと右眼用画像Ｒ内での被写体の位置Ｒｏは同じ、すなわちＬｏ＝Ｒｏとなる。
【００４６】
これに対し、図１４Ｂに示すように、表示パネルより手前で被写体を知覚する場合には、図１４Ａに示すように、左眼用画像の被写体が右眼用画像の被写体よりも右寄りに存在することになる。逆に言えば、左眼用画像の被写体が右眼用画像の被写体よりも右寄りに存在すると（Ｌｏ＞Ｒｏ）、視聴者は、表示パネルより手前で被写体を知覚することになる。
【００４７】
また、図１５Ｂに示すように、表示パネルより奥に被写体を知覚する場合には、図１５Ａに示すように、右眼用画像の被写体が左眼用画像の被写体よりも右寄りに存在することになる（Ｌｏ＜Ｒｏ）。逆に言えば、右眼用画像の被写体が左眼用画像の被写体よりも右寄りに存在すると、視聴者は、表示パネルより奥に被写体を知覚することになる。
【００４８】
図３Ａには、左右画像信号処理部１２０内で、物理的且つ心理的な立体視要因を利用して左眼用画像Ｌと右眼用画像Ｒ間の視差制御を行なうための機能的構成を模式的に示している。
【００４９】
視差ヒストグラム分布計測部３０１は、同時刻の左眼用画像Ｌと右眼用画像Ｒを入力すると、画面中央において、画素毎に左眼用画像Ｌと右眼用画像Ｒ間の視差（左右視差）を求め、視差の画素数分布すなわち視差ヒストグラムをとる。図３Ｂには、計測された視差ヒストグラムの一例を示している。
【００５０】
視差ピーク移動観測部３０２は、視差ヒストグラム分布計測部３０１が計測した視差ヒストグラムを入力すると、周辺の視差分布量よりも画素数が大きい視差ピークを検出する。視差ピークが大きいところは、画像の注目点であることが多い。そして、視差ピーク移動観測部３０２は、視差ピークの移動方向を観測する。図３Ｃには、視差ピーク移動観測で３０２が視差ピークの移動方向を観測する様子を示している。
【００５１】
ここで、画像左端の画素位置を０とし、画像右端の画素位置を１９２０とする。左眼用画像Ｌの水平位置をＬｐ、それに対応する右眼用画像Ｒの水平位置をＲｐとする。Ｌｐ−Ｒｐ＞０のときは表示面よりも手前にあるように見え（図１４を参照のこと）、Ｌｐ＝Ｒｐのときは表示面上にあるように見え（図１３を参照のこと）、Ｌｐ−Ｒｐ＜０のときは表示面よりも奥に画像があるように見える（図１５を参照のこと）。
【００５２】
したがって、視差ピーク移動計測部３０２は、左右視差Ｌｐ−Ｒｐの変化方向を計測することによって、視差ピークの移動方向を判定することができる。視差ピークの左右視差Ｌｐ−Ｒｐが正方向（左から右への方向）に増えていくときは、注目画像は手前に移動している（図４Ａを参照のこと）。逆に、視差ピークの左右視差Ｌｐ−Ｒｐが負方向（右から左への方向）に増えていくときは、注目画素は奥に移動していることになる（図４Ｂを参照のこと）。
【００５３】
奥行き制御部３０３は、視差ピーク移動計測部３０２で視差ピークの移動方向を左右視差Ｌｐ−Ｒｐにより検出した結果に基づいて、３次元画像の奥行きを制御する。具体的には、視差ピークが手前に移動していると判定されたときには、奥行き制御部３０３は、画面中央を拡大するようにする。これにより、網膜像の大きさも大きくなり、物体がより近くに移動しているように観察者に感じさせることができる。また、視差ピークが奥に移動していると判定されたときには、奥行き制御部３０３は、画面中央を縮小して表示する。これにより網膜像の大きさも小さくなり、物体が遠ざかるように観察者に感じさせることができる。
【００５４】
ここで、奥行き制御部３０３は、画像の拡大並びに縮小を変化させる速度は、例えば視差ピークの移動速度に応じて決定すればよい。また、画像（画面中央）の拡大並びに縮小を変化させる速度は、できる限り一定になるようにして、観察者の３次元画像酔いを防止することが望ましい。
【００５５】
視差ピークが手前に移動していると判定された際に、画像を一律に拡大すると、画面周辺の画像が表示できなくなる。このため、奥行き制御部３０３は、画面中央を拡大するときには、図５Ａに示すように、画面周辺を縮小し、表示できない領域が無いように処理する。また、画面中央の画面を拡大する画像拡大領域と画面周辺の画像縮小領域の間には、拡大縮小の境界が見えないようにするための遷移領域を設ける。遷移領域は、画像のスケーリングをなだらかに行なう領域である。
【００５６】
一方、奥行き制御部３０３は、画面中央を縮小するときには、図５Ｂに示すように、画面全体が縮小され視野が狭くなるのを避けるために、画面周辺を拡大する処理を行なう。また、画面中央の画面を縮小する画像縮小領域と画面周辺の画像拡大領域の間には、拡大縮小の境界が見えないようにするための遷移領域を設ける（同上）。
【００５７】
なお、視差ヒストグラム分布計測部３０１が視差ヒストグラムを計測する領域は、上記の遷移領域を含む画面中央側、又は、遷移領域を含まない画面中央のみの２通りが考えられる。
【００５８】
上記の説明では、奥行き制御部３０３は、専ら画像の拡大・縮小のみによって３次元画像の奥行き感を制御するものである。これに対し、奥行き制御部３０３は、画像の拡大・縮小だけでなく、さらに左右視差量にシフト値（輻輳量）を加減算して３次元画像の奥行き感を制御する方法も挙げられる。
【００５９】
画面一律で、左右視差Ｌｐ−Ｒｐにプラスのシフト値を加算する、すなわち交差輻輳量の増加を行なうと、物体が手前に見える。逆に、画面一律で、左右視差Ｌｐ−Ｒｐにマイナスのシフト値を加算する、すなわち平行輻輳量の増加を行なうと、物体が奥に見える。
【００６０】
そこで、奥行き制御部３０３は、上述した画像の拡大に加えて、交差輻輳量の増加（並行輻輳量の減少）すなわち左右視差Ｌｐ−Ｒｐにプラスのシフト値の加算を行なうと、網膜像の大きさが大きくなることに加えて、観察者の脳内で３次元画像が手前に融像されるので、より強い飛び出し感、臨場感を与えることができる（図６を参照のこと）。例えば、画面中央の視差ピークすなわち注目画像が手前に移動してくるときには、画面中央を拡大すると同時に、画面全体で交差輻輳量を一律に増加するようにする。
【００６１】
また、奥行き制御部３０３は、上述した画像の縮小に加えて、交差輻輳量の減少（並行輻輳量の増加）すなわち左右視差Ｌｐ−Ｒｐにマイナスのシフト値の加算を行なうと、網膜像の大きさが小さくなることに加えて、観察者の脳内で３次元画像が奥に融像されるので、奥に行く効果を強調することができる（図７を参照のこと）。例えば、画面中央の視差ピークすなわち注目画像が奥に移動してくるときには、画面中央を縮小すると同時に、画面全体で並行輻輳量を一律に増加するようにする。
【００６２】
ここで、図８Ａに示すように、観察者の左右の眼の位置をそれぞれＬｅ、Ｒｅ、眼の間隔をＷ、眼から液晶表示パネル１３４の表示面までの距離（視距離）をＤとする。また、物体の液晶表示パネル１３４の表示面上、すなわち左眼用画像及び右眼用画像上での位置をそれぞれＬ、Ｒ、ＬとＲ間の間隔（奥方向（若しくは手前方向）の視差）をＸ、観察者の脳内で融像された物体の位置をＡ、この融像の液晶表示パネル１３４の表示面からの奥行きをＹとする。同図から△ＡＬＲと△ＡＬｅＲｅが相似形であることは明らかである。したがって、融像された物体の奥行きＹを下式（１）のように求めることができる。
【００６３】
【数１】
【００６４】
図８Ｂには、上式（１）に従って、視差量Ｘと融像した物体の奥行きＹとの関係をグラフで示している。奥行き方向の視差量Ｘの上限が左右の眼の間隔Ｗ、及び、奥行きＹの下限が視距離Ｄであることは、図８Ａからも明らかである。上式（１）で表わされる曲線は、直線Ｘ＝Ｗ及びＹ＝−Ｄを漸近線に持つ。奥行き制御部３０３により奥方向の視差量Ｘを増大させると、この曲線に沿って、３次元画像の奥行き方向の感度が増加する。
【００６５】
手前方向へ視差量Ｘを移動させることによる視覚効果について、図９を参照しながら説明する。視差範囲を入力時３次元画像の視差範囲よりも手前へ移動すると、図示のように、縦軸で表わされる奥行き範囲が変化し、注目画像が手前に見えてくる。
【００６６】
また、手前方向へ視差量Ｘを移動させることに加えて、画像（画面中央）を拡大させることによる視覚効果について、図１０を参照しながら説明する。上述したように、視差範囲を入力時３次元画像の視差範囲よりも手前へ移動すると、注目画像の奥行き範囲が変化する。さらに画像を拡大すると、その拡大率に応じて視差範囲が広がり、これに伴って注目画像の奥行き範囲も増加する。
【００６７】
奥方向へ視差量Ｘを移動させることによる視覚効果について、図１１を参照しながら説明する。視差範囲を入力時３次元画像の視差範囲よりも奥へ移動すると、図示のように、縦軸で表わされる奥行き範囲が変化し、注目画像が奥に見えてくる。
【００６８】
また、奥方向へ視差量Ｘを移動させることに加えて、画像（画面中央）を縮小させることによる視覚効果について、図１２を参照しながら説明する。上述したように、視差範囲を入力時３次元画像の視差範囲よりも奥へ移動すると、注目画像の奥行き範囲が変化する。さらに画像を縮小すると、その縮小率に応じて視差範囲が小さくなり、これに伴って注目画像の奥行き範囲も縮小する。
【００６９】
奥行き制御部３０３は、画像の拡大縮小及び並行輻輳量を変化させる速度は、できる限り一定になるようにして、観察者の３次元画像酔いを防止することが望ましい。且つ、画像の拡大処理時の最大左右視差量は、左右視差量の許容値である１度前後以下に抑えることが望ましい。
【００７０】
本明細書で開示する技術は、注目画像となる画面中央且つ視差分布の大きい視差ピークに着目し、画面中央のみを一律に拡大又は縮小することで、周辺領域の違和感の減少とシステムの実現性を容易にするものである。画面中央の拡大並びに縮小の倍率に応じて、３次元画像の飛び出し感や臨場感を容易に制御することができる。また、画面の拡大又は縮小と輻輳量変化の速度を一定にすることで、観察者の３次元画像酔いを防止することができる。
【００７１】
なお、本明細書で開示する技術は、以下のような構成をとることも可能である。
（１）左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測部と、前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部と、前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部と、を具備する３次元画像処理装置。
（２）前記高頻度視差量移動観測部は、前記頻度の高い視差量が遠から近方向へ移動するときには前記注目画像が手前に移動していると判定し、前記頻度の高い視差量が近から遠方向へ移動するときには前記注目画像が奥に移動していると判定する、上記（１）に記載の３次元画像処理装置。
（３）前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が手前に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に拡大していく、上記（１）に記載の３次元画像処理装置。
（４）前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が手前に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に拡大していくとともに、画面全体で交差輻輳量を一律に増加していく、上記（１）に記載の３次元画像処理装置。
（５）前記奥行き制御部は、前記３次元画像の画面中央を拡大したときには、前記画面の周辺を縮小させて、中央を拡大し表示できない領域が発生しないようにする、上記（３）又は（４）のいずれかに記載の３次元画像処理装置。
（６）前記奥行き制御部は、前記３次元画像の画面中央を一定の速度で拡大させていく、上記（３）又は（４）のいずれかに記載の３次元画像処理装置。
（７）前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が奥に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に縮小していく、上記（１）乃至（６）のいずれかに記載の３次元画像処理装置。
（８）前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が奥に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に縮小していくとともに、画面全体で並行輻輳量を一律に増加していく、上記（１）乃至（６）のいずれかに記載の３次元画像処理装置。
（９）前記奥行き制御部は、前記３次元画像の画面中央を縮小したときには、前記画面の周辺を拡大させて、画像表示領域が小さくならないようにする、上記（７）又は（８）のいずれかに記載の３次元画像処理装置。
（１０）前記奥行き制御部は、前記３次元画像の画面中央を一定の速度で縮小させていく、上記（７）又は（８）のいずれかに記載の３次元画像処理装置。
（１１）左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測ステップと、前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測ステップと、前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御ステップと、を有する３次元画像処理方法。
（１２）左眼用画像及び右眼用画像からなる３次元画像を入力する画像入力部と、前記の入力した左眼用画像及び右眼用画像の画面中央における視差分布を計測する視差分布計測部と、前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部と、前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部と、前記の奥行きが制御された３次元画像を表示する表示部と、を具備する表示装置。
（１３）左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測部、前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部、前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部、としてコンピューターを機能させるための、コンピューター可読形式で記述されたコンピューター・プログラム。
【産業上の利用可能性】
【００７２】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７３】
本明細書では、シャッター眼鏡を利用した時分割３次元画像表示システムに本技術を適用した実施形態を中心に説明してきたが、シャッター眼鏡以外の左眼用画像と右眼用画像を分離する機構を用いた時分割３次元画像表示システムや、フレーム・シーケンシャル方式以外の３次元画像表示システムにも、同様に本技術を適用することができる。
【００７４】
また、本明細書で説明した実施形態における視差制御の処理は、ハードウェア、ソフトウェアのいずれにより行なうこともできる。当該処理をソフトウェアによって実現する場合には、ソフトウェアにおける処理手順をコンピューター可読形式に記述したコンピューター・プログラムを所定のコンピューターにインストールして実行すればよい。
【００７５】
要するに、例示という形態で本技術を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００７６】
１１…表示装置
１３…シャッター眼鏡
１２０…左右画像信号処理部
１２４…通信部
１２６…タイミング制御部
１３０…ゲート・ドライバー
１３２…データ・ドライバー
１３４…液晶表示パネル
３０１…視差ヒストグラム分布計測部
３０２…視差ピーク移動観測部
３０３…奥行き制御部
【技術分野】
【０００１】
本明細書で開示する技術は、視差のある左眼用映像及び右眼用映像を時分割で交互に表示し、観察者の左右それぞれの目に視認させることで立体視を実現する３次元画像処理装置及び３次元画像処理方法、表示装置、並びにコンピューター・プログラムに係り、特に、左眼用映像及び右眼用映像間の視差を制御する３次元画像処理装置及び３次元画像処理方法、表示装置、並びにコンピューター・プログラムに関する。
【背景技術】
【０００２】
左右の眼に視差のある画像を表示することで、観察者に立体的に見える立体視画像を提示することができる。立体視画像技術は、テレビ放送、映画、遠隔通信、遠隔医療など、さまざまな分野において適用が期待されている。
【０００３】
例えば、時分割立体視画像表示システムは、視差のある左眼用画像及び右眼用画像を非常に短い周期で交互に画面表示する表示装置と、左眼用画像及び右眼用画像の表示周期に同期して左眼用画像と右眼用画像を分離する機構からなる。観察者の左眼に左眼用画像を、右眼に右眼用画像をそれぞれ独立して視認させると、観察者の脳内ではこれらが融像され、立体的に認識される。
【０００４】
シャッター眼鏡式の時分割立体視画像表示システムの場合、観察者が装着したシャッター眼鏡は、左眼部及び右眼部にそれぞれ液晶レンズなどで構成されるシャッター機構を備え、シャッター眼鏡は、左眼用画像がディスプレイされる間に、シャッター眼鏡の左眼部が光を透過させ、右眼部が遮光する。また、右眼用画像がディスプレイされる間に、シャッター眼鏡の右眼部が光を透過させ、左眼部が遮光する（例えば、特許文献１〜３を参照のこと）。すなわち、表示装置が左眼用画像及び右眼用画像を時分割表示するとともに、表示装置の表示切り換えに同期してシャッター眼鏡がシャッター機構により画像選択を行なうことで、観察者に左眼用画像と右眼用画像を分離して視認させることができる。
【０００５】
また、アクティブ・リターダー式の時分割立体視画像表示システムの場合、ディスプレイ側に時分割で偏光を制御する機構を備えている。偏光制御機構は、表示画面に備えられた液晶シャッターと位相差フィルム又は位相差板からなり、左眼用画像及び右眼用画像の表示周期に同期して左右それぞれの偏光方向に変更する。そして、観察者は、左右それぞれの偏光方向に対応した偏光眼鏡を掛けることで、左眼用画像と右眼用画像を分離して視認することができる。
【０００６】
また、時分割立体視画像表示システムは、眼鏡式に限定されるものでなく、例えば裸眼式でも解像度の低下を防ぐためにディスプレイ側にシャッターを備えるものも考案されている。
【０００７】
ところで、３次元映像の立体感を決める要因に、両眼（左眼用画像と右眼用画像）の視差を挙げることができる。
【０００８】
例えば、適正視差の表現を後述のカメラ間隔と光軸交差位置で一般化してハードウェアに依存しない汎用的な形で記述し、その適正視差に基づいて視差画像を生成又は調整して、所望の立体表示を実現する立体画像処理装置について提案がなされている（例えば、特許文献４を参照のこと）。
【０００９】
また、立体画像を視聴する際に実世界と輻輳角が同じであっても焦点距離が異なってくるため視覚疲労を起こすこと（特に、画面内においてある部分が飛び出し過ぎている場合や、動画表示中に不用意に物体が飛び出す場合など、視差の変化が大きいと視聴者に負担になる）を考慮して、左右画像が遠ざかる方向にシフト処理や縮小のスケーリング処理を行なって飛び出し過ぎた立体像を奥に移動させる立体画像表示システムについて提案がなされている（例えば、特許文献５を参照のこと）。
【００１０】
従来から、３次元画像の表示に視差制御の技術が適用されてきたが、そのほとんどは安全重視の観点によるものであった。また、３Ｄコンソーシアムからは、「３ＤＣ安全ガイドライン」が発行されている。安全重視の観点とは、左眼用映像及び右眼用映像間の視差量を一定以内に抑え込むものである。言い換えれば、視差量が変われば３次元画像の立体感が変わるにも拘らず、アミューズメント性を追求する観点から視差制御を行なう技術は皆無に等しい。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平９−１３８３８４号公報
【特許文献２】特開２０００−３６９６９号公報
【特許文献３】特開２００３−４５３４３号公報
【特許文献４】特許第４１１８１４６号公報
【特許文献５】特開２０１１−５５０２２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本明細書で開示する技術の目的は、左眼用映像及び右眼用映像間の視差を制御することにより、３次元映像における臨場感を高めることができる、優れた３次元画像処理装置及び３次元画像処理方法、表示装置、並びにコンピューター・プログラムを提供することにある。
【課題を解決するための手段】
【００１３】
本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測部と、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部と、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部と、
を具備する３次元画像処理装置である。
【００１４】
本願の請求項２に記載の技術によれば、請求項１に記載の３次元画像処理装置の高頻度視差量移動観測部は、前記頻度の高い視差量が遠から近方向へ移動するときには前記注目画像が手前に移動していると判定し、前記頻度の高い視差量が近から遠方向へ移動するときには前記注目画像が奥に移動していると判定するように構成されている。
【００１５】
本願の請求項３に記載の技術によれば、請求項１に記載の３次元画像処理装置の奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が手前に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に拡大していくように構成されている。
【００１６】
本願の請求項４に記載の技術によれば、請求項１に記載の３次元画像処理装置の奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が手前に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に拡大していくとともに、画面全体で交差輻輳量を一律に増加していくように構成されている。
【００１７】
本願の請求項５に記載の技術によれば、請求項３に記載の３次元画像処理装置の奥行き制御部は、前記３次元画像の画面中央を拡大したときには、前記画面の周辺を縮小させて、中央を拡大し表示できない領域が発生しないように構成されている。
【００１８】
本願の請求項６に記載の技術によれば、請求項３に記載の３次元画像処理装置の奥行き制御部は、前記３次元画像の画面中央を一定の速度で拡大させていくように構成されている。
【００１９】
本願の請求項７に記載の技術によれば、請求項１に記載の３次元画像処理装置の奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が奥に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に縮小していくように構成されている。
【００２０】
本願の請求項８に記載の技術によれば、請求項１に記載の３次元画像処理装置の奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が奥に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に縮小していくとともに、画面全体で並行輻輳量を一律に増加していくように構成されている。
【００２１】
本願の請求項９に記載の技術によれば、請求項７に記載の３次元画像処理装置の奥行き制御部は、前記３次元画像の画面中央を縮小したときには、前記画面の周辺を拡大させて、画像表示領域が小さくならないように構成されている。
【００２２】
本願の請求項１０に記載の技術によれば、請求項７に記載の３次元画像処理装置の奥行き制御部は、前記３次元画像の画面中央を一定の速度で縮小させていくように構成されている。
【００２３】
また、本願の請求項１１に記載の技術は、
左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測ステップと、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測ステップと、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御ステップと、
を有する３次元画像処理方法である。
【００２４】
また、本願の請求項１２に記載の技術は、
左眼用画像及び右眼用画像からなる３次元画像を入力する画像入力部と
前記の入力した左眼用画像及び右眼用画像の画面中央における視差分布を計測する視差分布計測部と、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部と、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部と、
前記の奥行きが制御された３次元画像を表示する表示部と、
を具備する表示装置である。
【００２５】
また、本願の請求項１３に記載の技術は、
左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測部、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部、
としてコンピューターを機能させるための、コンピューター可読形式で記述されたコンピューター・プログラムである。
【００２６】
本願の請求項１３に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、本願の請求項１に係る３次元画像処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００２７】
本明細書で開示する技術によれば、左眼用映像及び右眼用映像間の視差を制御することにより、３次元映像における臨場感を高めることができる、優れた３次元画像処理装置及び３次元画像処理方法、表示装置、並びにコンピューター・プログラムを提供することができる。
【００２８】
３次元画像の立体感を決める要因に、両眼視差がある。また、画像を拡大すると、左右視差量が変わり、奥行き感が変化する。画像を拡大すると、網膜像の大きさが変わり、観察者には画像が手前に見えてくる。本明細書で開示する技術によれば、このような物理的且つ心理的な立体視要因を利用して、３次元画像における臨場感を高めることができる。例えば、迫ってくる大きな物体に対し、左右視差の許容限界以内で、一定速度で画像を拡大する処理を短時間で行ない、飛び出し感を強調させる。逆に、画像を縮小して物体が遠ざかっていくように見せることができる（画像を縮小する場合は、左右視差が画面中央で大きくなることはなく、許容限界を超えることはない）。
【００２９】
本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【図面の簡単な説明】
【００３０】
【図１】図１は、画像表示システムの構成例を模式的に示した図である。
【図２Ａ】図２Ａは、表示装置１１の左眼用画像Ｌの表示期間に同期したシャッター眼鏡１３におけるシャッター・レンズ３０８、２０９の制御動作を示した図である。
【図２Ｂ】図２Ｂは、表示装置１１の右眼用画像Ｒの表示期間に同期したシャッター眼鏡１３におけるシャッター・レンズ３０８、２０９の制御動作を示した図である。
【図３Ａ】図３Ａは、物理的且つ心理的な立体視要因を利用して左眼用画像Ｌと右眼用画像Ｒ間の視差制御を行なうための機能的構成を模式的に示した図である。
【図３Ｂ】図３Ｂは、視差ヒストグラム分布計測部３０１が計測した視差ヒストグラムの一例を示した図である。
【図３Ｃ】図３Ｃは、視差ピーク移動観測で３０２が視差ピークの移動方向を観測する様子を示した図である。
【図４Ａ】図４Ａは、視差ピークの左右視差Ｌｐ−Ｒｐが正方向に増えていく様子を示した図である。
【図４Ｂ】図４Ｂは、視差ピークの左右視差Ｌｐ−Ｒｐが負方向に増えていく様子を示した図である。
【図５Ａ】図５Ａは、画面中央を拡大するときに、画面周辺を縮小して、表示できない領域が無いように処理する様子を示した図である。
【図５Ｂ】図５Ｂは、画面中央を縮小するときに、画面周辺を拡大して、画面全体が縮小され視野が狭くならないように処理する様子を示した図である。
【図６】図６は、３次元画像に対し、画像の拡大と、左右視差Ｌｐ−Ｒｐにプラスのシフト値の加算を行なう効果を説明するための図である。
【図７】図７は、３次元画像に対し、画像の縮小と、左右視差Ｌｐ−Ｒｐにマイナスのシフト値の加算を行なう効果を説明するための図である。
【図８Ａ】図８Ａは、並行輻輳量（奥方向への視差）の増加により奥行き範囲が増加する効果を説明するための図である。
【図８Ｂ】図８Ｂは、並行輻輳量（奥方向への視差）の増加により奥行き範囲が増加する効果を説明するための図である。
【図９】図９は、手前方向へ視差量Ｘを移動させることによる視覚効果を説明するための図である。
【図１０】図１０は、手前方向へ視差量Ｘを移動させることに加えて、画像（画面中央）を拡大させることによる視覚効果を説明するための図である。
【図１１】図１１は、奥方向へ視差量Ｘを移動させることによる視覚効果を説明するための図である。
【図１２】図１２は、奥方向へ視差量Ｘを移動させることに加えて、画像（画面中央）を縮小させることによる視覚効果を説明するための図である。
【図１３Ａ】図１３Ａは、左眼用画像と右眼用画像でともに画面上の同じ位置に被写体が存在する様子を示した図である。
【図１３Ｂ】図１３Ｂは、左眼用画像の被写体と右眼用画像の被写体がともに同じ位置に存在する場合に、視聴者は液晶表示パネル１３４の表示面上で被写体を知覚することを説明するための図である。
【図１４Ａ】図１４Ａは、左眼用画像の被写体が右眼用画像の被写体よりも右寄りに存在する様子を示した図である。
【図１４Ｂ】図１４ＢＡは、左眼用画像の被写体が右眼用画像の被写体よりも右寄りに存在する場合に、視聴者は表示パネルより手前で被写体を知覚することを説明するための図である。
【図１５Ａ】図１５Ａは、右眼用画像の被写体が左眼用画像の被写体よりも右寄りに存在する様子を示した図である。
【図１５Ｂ】図１５ＢＡは、右眼用画像の被写体が左眼用画像の被写体よりも右寄りに存在する場合に、視聴者は表示パネルより奥で被写体を知覚することを説明するための図である。
【発明を実施するための形態】
【００３１】
以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。
【００３２】
図１には、画像表示システムの構成例を模式的に示している。画像表示システムは、３次元表示（３次元視）対応の表示装置１１と、左眼部及び右眼部にそれぞれシャッター機構を備えたシャッター眼鏡１３の組み合わせからなる。以下では、３次元画像表示に用いる表示装置１１として、液晶ディスプレイ（ＬＣＤ）を用いるものとする。但し、本明細書で開示する技術の要旨は、液晶ディスプレイに必ずしも限定されない。
【００３３】
表示装置１１は、フレーム・シーケンシャル方式で左眼用画像Ｌ及び右眼用画像Ｒを交互に表示する。一方、シャッター眼鏡１３は、表示装置１１側での左眼用画像Ｌ及び右眼用画像Ｒの切り換えタイミングと同期をとって、左右のシャッター・レンズ３０８、３０９の開閉切り換えを行なう。表示装置１１とシャッター眼鏡１３間の通信には、Ｗｉ−ＦｉやＩＥＥＥ８０２．１５．４などの、電波通信によるワイヤレス・ネットワークが用いられ、表示装置１１からシャッター眼鏡１３へ、シャッター・レンズ３０８、３０９の開閉タイミングを制御するために必要な情報を記載したパケットが送信される。勿論、ワイヤレス・ネットワークではなく、赤外線通信やその他の通信手段を適用することもできる。
【００３４】
表示装置１１は、左右画像信号処理部１２０と、通信部１２４と、タイミング制御部１２６と、ゲート・ドライバー１３０と、データ・ドライバー１３２と、液晶表示パネル１３４を備えている。
【００３５】
液晶表示パネル１３４は、液晶層及び液晶層を挟んで対向する透明電極と、カラー・フィルターなど（いずれも図示しない）から構成されている。また、液晶表示パネル１３４の背後には、バックライト（面光源）１３６が配置されている。バックライト１３６は、残光特性の良好なＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）などから構成されている。
【００３６】
左右画像信号処理部１２０には、左眼用画像Ｒ及び右眼用画像Ｌをそれぞれ表示するための左右の画像信号ＤL、ＤRからなる入力信号Ｄinが、例えばフレーム・パッキングなどの伝送フォーマットで入力される。左右画像信号処理部１２０内では、画像の鮮鋭度のエンハンスやコントラスト改善などの画質補正処理が行なわれる。また、本実施形態では、左右画像信号処理部１２０内では、左眼用画像Ｌと右眼用画像Ｒ間の視差制御を行なうが、この点の詳細については後述に譲る。そして、左右画像信号処理部１２０は、液晶表示パネル１３４でフレーム・シーケンシャル方式により左眼用画像Ｌと右眼用画像Ｒを表示させるため、左右の画像信号ＤL、ＤRを交互に出力する。
【００３７】
タイミング制御部１２６には、左右画像信号処理部１２０で変換された左眼用画像信号ＤL及び右眼用画像信号ＤRが入力される。タイミング制御部１２６は、入力された左眼用画像信号ＤL及び右眼用画像信号ＤRを液晶表示パネル１３４へ入力するための信号に変換するとともに、ゲート・ドライバー１３０及びデータ・ドライバー１３２からなるパネル駆動回路の動作に用いられるパルス信号を生成する。
【００３８】
ゲート・ドライバー１３０は、順次駆動するための信号を生成する駆動回路であり、タイミング制御部１２６から伝送された信号に応じて、液晶表示パネル１３４内の各画素に接続されたゲート・バス・ラインへ、駆動電圧を出力する。また、データ・ドライバー１３２は、映像信号に基づく駆動電圧を出力する駆動回路であり、タイミング制御部１２６から伝送された信号に基づいてデータ線へ印加する信号を生成して出力する。
【００３９】
通信部１２４は、Ｗｉ−ＦｉやＩＥＥＥ８０２．１５．４などのワイヤレス・ネットワークにおけるアクセスポイントとして動作し、端末局として動作する１以上のシャッター眼鏡１３を自分の基本サービスセット（Ｂａｓｉｃ Ｓｅｒｖｉｃｅ Ｓｅｔ：ＢＳＳ）に収容する。通信部１２４からは、シャッター眼鏡１３側でシャッター・レンズ３０８、３０９の開閉タイミングを制御するために必要な情報を記載したパケットが送信される。
【００４０】
図２Ａには、表示装置１１の左眼用画像Ｌの表示期間に同期したシャッター眼鏡１３におけるシャッター・レンズ３０８、２０９の制御動作を示している。図示のように、左眼用画像Ｌの表示期間には、表示装置１１側から無線伝送される同期パケットに従って、左眼用シャッター・レンズ３０８を開成状態、右眼用シャッター・レンズ３０９を閉成状態とし、左眼用画像Ｌに基づく表示光ＬＬがユーザーの左眼にのみ到達する。
【００４１】
また、図２Ｂには、右眼用画像Ｒの表示期間に同期したシャッター眼鏡１３におけるシャッター・レンズ３０８、２０９の制御動作を示している。図示のように、右眼用画像Ｒの表示期間には、右眼用シャッター・レンズ３０９を開成状態、左眼用シャッター・レンズ３０８を閉成状態とし、右眼用画像Ｒに基づく表示光ＲＲがユーザーの右眼にのみ到達する。
【００４２】
表示装置１１は、液晶表示パネル１３４に、フィールド毎に左眼用画像Ｌと右眼用画像Ｒを交互に表示する。シャッター眼鏡１３側では、左右のシャッター・レンズ３０８、３０９が表示装置１１のフィールド毎の画像切り換えに同期して交互に開閉動作を行なう。シャッター眼鏡１３越しに表示画像を観察するユーザーの脳内では、左眼用画像Ｌと右眼用画像Ｒが融像され、表示装置１１に表示される画像が３次元的に認識される。
【００４３】
液晶表示パネル１３４に表示する３次元画像の立体感を決める要因に、両眼視差がある。また、画像を拡大すると、左右視差量が変わり、奥行き感が変化する。画像を拡大すると、網膜像の大きさが変わり、画像の観察者には手前に見えてくる。本実施形態に係る表示装置１１では、左右画像信号処理部１２０内で、これら物理的且つ心理的な立体視要因を利用して左眼用画像Ｌと右眼用画像Ｒ間の視差制御を行なうことによって、３次元画像における臨場感を高めるようにしている。
【００４４】
ここで、左右視差量と奥行き感の関係について、図１３〜図１５を参照しながら説明しておく。
【００４５】
飛び出しも凹みもない位置に定位した被写体は、左眼用画像Ｌと右眼用画像Ｒとで視差がない。図１３Ｂに示すような、液晶表示パネル１３４の表示面上で知覚する被写体に相当する。この場合、図１３Ａに示すように、左眼用画像Ｌ内での被写体の位置Ｌｏと右眼用画像Ｒ内での被写体の位置Ｒｏは同じ、すなわちＬｏ＝Ｒｏとなる。
【００４６】
これに対し、図１４Ｂに示すように、表示パネルより手前で被写体を知覚する場合には、図１４Ａに示すように、左眼用画像の被写体が右眼用画像の被写体よりも右寄りに存在することになる。逆に言えば、左眼用画像の被写体が右眼用画像の被写体よりも右寄りに存在すると（Ｌｏ＞Ｒｏ）、視聴者は、表示パネルより手前で被写体を知覚することになる。
【００４７】
また、図１５Ｂに示すように、表示パネルより奥に被写体を知覚する場合には、図１５Ａに示すように、右眼用画像の被写体が左眼用画像の被写体よりも右寄りに存在することになる（Ｌｏ＜Ｒｏ）。逆に言えば、右眼用画像の被写体が左眼用画像の被写体よりも右寄りに存在すると、視聴者は、表示パネルより奥に被写体を知覚することになる。
【００４８】
図３Ａには、左右画像信号処理部１２０内で、物理的且つ心理的な立体視要因を利用して左眼用画像Ｌと右眼用画像Ｒ間の視差制御を行なうための機能的構成を模式的に示している。
【００４９】
視差ヒストグラム分布計測部３０１は、同時刻の左眼用画像Ｌと右眼用画像Ｒを入力すると、画面中央において、画素毎に左眼用画像Ｌと右眼用画像Ｒ間の視差（左右視差）を求め、視差の画素数分布すなわち視差ヒストグラムをとる。図３Ｂには、計測された視差ヒストグラムの一例を示している。
【００５０】
視差ピーク移動観測部３０２は、視差ヒストグラム分布計測部３０１が計測した視差ヒストグラムを入力すると、周辺の視差分布量よりも画素数が大きい視差ピークを検出する。視差ピークが大きいところは、画像の注目点であることが多い。そして、視差ピーク移動観測部３０２は、視差ピークの移動方向を観測する。図３Ｃには、視差ピーク移動観測で３０２が視差ピークの移動方向を観測する様子を示している。
【００５１】
ここで、画像左端の画素位置を０とし、画像右端の画素位置を１９２０とする。左眼用画像Ｌの水平位置をＬｐ、それに対応する右眼用画像Ｒの水平位置をＲｐとする。Ｌｐ−Ｒｐ＞０のときは表示面よりも手前にあるように見え（図１４を参照のこと）、Ｌｐ＝Ｒｐのときは表示面上にあるように見え（図１３を参照のこと）、Ｌｐ−Ｒｐ＜０のときは表示面よりも奥に画像があるように見える（図１５を参照のこと）。
【００５２】
したがって、視差ピーク移動計測部３０２は、左右視差Ｌｐ−Ｒｐの変化方向を計測することによって、視差ピークの移動方向を判定することができる。視差ピークの左右視差Ｌｐ−Ｒｐが正方向（左から右への方向）に増えていくときは、注目画像は手前に移動している（図４Ａを参照のこと）。逆に、視差ピークの左右視差Ｌｐ−Ｒｐが負方向（右から左への方向）に増えていくときは、注目画素は奥に移動していることになる（図４Ｂを参照のこと）。
【００５３】
奥行き制御部３０３は、視差ピーク移動計測部３０２で視差ピークの移動方向を左右視差Ｌｐ−Ｒｐにより検出した結果に基づいて、３次元画像の奥行きを制御する。具体的には、視差ピークが手前に移動していると判定されたときには、奥行き制御部３０３は、画面中央を拡大するようにする。これにより、網膜像の大きさも大きくなり、物体がより近くに移動しているように観察者に感じさせることができる。また、視差ピークが奥に移動していると判定されたときには、奥行き制御部３０３は、画面中央を縮小して表示する。これにより網膜像の大きさも小さくなり、物体が遠ざかるように観察者に感じさせることができる。
【００５４】
ここで、奥行き制御部３０３は、画像の拡大並びに縮小を変化させる速度は、例えば視差ピークの移動速度に応じて決定すればよい。また、画像（画面中央）の拡大並びに縮小を変化させる速度は、できる限り一定になるようにして、観察者の３次元画像酔いを防止することが望ましい。
【００５５】
視差ピークが手前に移動していると判定された際に、画像を一律に拡大すると、画面周辺の画像が表示できなくなる。このため、奥行き制御部３０３は、画面中央を拡大するときには、図５Ａに示すように、画面周辺を縮小し、表示できない領域が無いように処理する。また、画面中央の画面を拡大する画像拡大領域と画面周辺の画像縮小領域の間には、拡大縮小の境界が見えないようにするための遷移領域を設ける。遷移領域は、画像のスケーリングをなだらかに行なう領域である。
【００５６】
一方、奥行き制御部３０３は、画面中央を縮小するときには、図５Ｂに示すように、画面全体が縮小され視野が狭くなるのを避けるために、画面周辺を拡大する処理を行なう。また、画面中央の画面を縮小する画像縮小領域と画面周辺の画像拡大領域の間には、拡大縮小の境界が見えないようにするための遷移領域を設ける（同上）。
【００５７】
なお、視差ヒストグラム分布計測部３０１が視差ヒストグラムを計測する領域は、上記の遷移領域を含む画面中央側、又は、遷移領域を含まない画面中央のみの２通りが考えられる。
【００５８】
上記の説明では、奥行き制御部３０３は、専ら画像の拡大・縮小のみによって３次元画像の奥行き感を制御するものである。これに対し、奥行き制御部３０３は、画像の拡大・縮小だけでなく、さらに左右視差量にシフト値（輻輳量）を加減算して３次元画像の奥行き感を制御する方法も挙げられる。
【００５９】
画面一律で、左右視差Ｌｐ−Ｒｐにプラスのシフト値を加算する、すなわち交差輻輳量の増加を行なうと、物体が手前に見える。逆に、画面一律で、左右視差Ｌｐ−Ｒｐにマイナスのシフト値を加算する、すなわち平行輻輳量の増加を行なうと、物体が奥に見える。
【００６０】
そこで、奥行き制御部３０３は、上述した画像の拡大に加えて、交差輻輳量の増加（並行輻輳量の減少）すなわち左右視差Ｌｐ−Ｒｐにプラスのシフト値の加算を行なうと、網膜像の大きさが大きくなることに加えて、観察者の脳内で３次元画像が手前に融像されるので、より強い飛び出し感、臨場感を与えることができる（図６を参照のこと）。例えば、画面中央の視差ピークすなわち注目画像が手前に移動してくるときには、画面中央を拡大すると同時に、画面全体で交差輻輳量を一律に増加するようにする。
【００６１】
また、奥行き制御部３０３は、上述した画像の縮小に加えて、交差輻輳量の減少（並行輻輳量の増加）すなわち左右視差Ｌｐ−Ｒｐにマイナスのシフト値の加算を行なうと、網膜像の大きさが小さくなることに加えて、観察者の脳内で３次元画像が奥に融像されるので、奥に行く効果を強調することができる（図７を参照のこと）。例えば、画面中央の視差ピークすなわち注目画像が奥に移動してくるときには、画面中央を縮小すると同時に、画面全体で並行輻輳量を一律に増加するようにする。
【００６２】
ここで、図８Ａに示すように、観察者の左右の眼の位置をそれぞれＬｅ、Ｒｅ、眼の間隔をＷ、眼から液晶表示パネル１３４の表示面までの距離（視距離）をＤとする。また、物体の液晶表示パネル１３４の表示面上、すなわち左眼用画像及び右眼用画像上での位置をそれぞれＬ、Ｒ、ＬとＲ間の間隔（奥方向（若しくは手前方向）の視差）をＸ、観察者の脳内で融像された物体の位置をＡ、この融像の液晶表示パネル１３４の表示面からの奥行きをＹとする。同図から△ＡＬＲと△ＡＬｅＲｅが相似形であることは明らかである。したがって、融像された物体の奥行きＹを下式（１）のように求めることができる。
【００６３】
【数１】
【００６４】
図８Ｂには、上式（１）に従って、視差量Ｘと融像した物体の奥行きＹとの関係をグラフで示している。奥行き方向の視差量Ｘの上限が左右の眼の間隔Ｗ、及び、奥行きＹの下限が視距離Ｄであることは、図８Ａからも明らかである。上式（１）で表わされる曲線は、直線Ｘ＝Ｗ及びＹ＝−Ｄを漸近線に持つ。奥行き制御部３０３により奥方向の視差量Ｘを増大させると、この曲線に沿って、３次元画像の奥行き方向の感度が増加する。
【００６５】
手前方向へ視差量Ｘを移動させることによる視覚効果について、図９を参照しながら説明する。視差範囲を入力時３次元画像の視差範囲よりも手前へ移動すると、図示のように、縦軸で表わされる奥行き範囲が変化し、注目画像が手前に見えてくる。
【００６６】
また、手前方向へ視差量Ｘを移動させることに加えて、画像（画面中央）を拡大させることによる視覚効果について、図１０を参照しながら説明する。上述したように、視差範囲を入力時３次元画像の視差範囲よりも手前へ移動すると、注目画像の奥行き範囲が変化する。さらに画像を拡大すると、その拡大率に応じて視差範囲が広がり、これに伴って注目画像の奥行き範囲も増加する。
【００６７】
奥方向へ視差量Ｘを移動させることによる視覚効果について、図１１を参照しながら説明する。視差範囲を入力時３次元画像の視差範囲よりも奥へ移動すると、図示のように、縦軸で表わされる奥行き範囲が変化し、注目画像が奥に見えてくる。
【００６８】
また、奥方向へ視差量Ｘを移動させることに加えて、画像（画面中央）を縮小させることによる視覚効果について、図１２を参照しながら説明する。上述したように、視差範囲を入力時３次元画像の視差範囲よりも奥へ移動すると、注目画像の奥行き範囲が変化する。さらに画像を縮小すると、その縮小率に応じて視差範囲が小さくなり、これに伴って注目画像の奥行き範囲も縮小する。
【００６９】
奥行き制御部３０３は、画像の拡大縮小及び並行輻輳量を変化させる速度は、できる限り一定になるようにして、観察者の３次元画像酔いを防止することが望ましい。且つ、画像の拡大処理時の最大左右視差量は、左右視差量の許容値である１度前後以下に抑えることが望ましい。
【００７０】
本明細書で開示する技術は、注目画像となる画面中央且つ視差分布の大きい視差ピークに着目し、画面中央のみを一律に拡大又は縮小することで、周辺領域の違和感の減少とシステムの実現性を容易にするものである。画面中央の拡大並びに縮小の倍率に応じて、３次元画像の飛び出し感や臨場感を容易に制御することができる。また、画面の拡大又は縮小と輻輳量変化の速度を一定にすることで、観察者の３次元画像酔いを防止することができる。
【００７１】
なお、本明細書で開示する技術は、以下のような構成をとることも可能である。
（１）左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測部と、前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部と、前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部と、を具備する３次元画像処理装置。
（２）前記高頻度視差量移動観測部は、前記頻度の高い視差量が遠から近方向へ移動するときには前記注目画像が手前に移動していると判定し、前記頻度の高い視差量が近から遠方向へ移動するときには前記注目画像が奥に移動していると判定する、上記（１）に記載の３次元画像処理装置。
（３）前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が手前に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に拡大していく、上記（１）に記載の３次元画像処理装置。
（４）前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が手前に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に拡大していくとともに、画面全体で交差輻輳量を一律に増加していく、上記（１）に記載の３次元画像処理装置。
（５）前記奥行き制御部は、前記３次元画像の画面中央を拡大したときには、前記画面の周辺を縮小させて、中央を拡大し表示できない領域が発生しないようにする、上記（３）又は（４）のいずれかに記載の３次元画像処理装置。
（６）前記奥行き制御部は、前記３次元画像の画面中央を一定の速度で拡大させていく、上記（３）又は（４）のいずれかに記載の３次元画像処理装置。
（７）前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が奥に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に縮小していく、上記（１）乃至（６）のいずれかに記載の３次元画像処理装置。
（８）前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が奥に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に縮小していくとともに、画面全体で並行輻輳量を一律に増加していく、上記（１）乃至（６）のいずれかに記載の３次元画像処理装置。
（９）前記奥行き制御部は、前記３次元画像の画面中央を縮小したときには、前記画面の周辺を拡大させて、画像表示領域が小さくならないようにする、上記（７）又は（８）のいずれかに記載の３次元画像処理装置。
（１０）前記奥行き制御部は、前記３次元画像の画面中央を一定の速度で縮小させていく、上記（７）又は（８）のいずれかに記載の３次元画像処理装置。
（１１）左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測ステップと、前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測ステップと、前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御ステップと、を有する３次元画像処理方法。
（１２）左眼用画像及び右眼用画像からなる３次元画像を入力する画像入力部と、前記の入力した左眼用画像及び右眼用画像の画面中央における視差分布を計測する視差分布計測部と、前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部と、前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部と、前記の奥行きが制御された３次元画像を表示する表示部と、を具備する表示装置。
（１３）左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測部、前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部、前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部、としてコンピューターを機能させるための、コンピューター可読形式で記述されたコンピューター・プログラム。
【産業上の利用可能性】
【００７２】
以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【００７３】
本明細書では、シャッター眼鏡を利用した時分割３次元画像表示システムに本技術を適用した実施形態を中心に説明してきたが、シャッター眼鏡以外の左眼用画像と右眼用画像を分離する機構を用いた時分割３次元画像表示システムや、フレーム・シーケンシャル方式以外の３次元画像表示システムにも、同様に本技術を適用することができる。
【００７４】
また、本明細書で説明した実施形態における視差制御の処理は、ハードウェア、ソフトウェアのいずれにより行なうこともできる。当該処理をソフトウェアによって実現する場合には、ソフトウェアにおける処理手順をコンピューター可読形式に記述したコンピューター・プログラムを所定のコンピューターにインストールして実行すればよい。
【００７５】
要するに、例示という形態で本技術を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【符号の説明】
【００７６】
１１…表示装置
１３…シャッター眼鏡
１２０…左右画像信号処理部
１２４…通信部
１２６…タイミング制御部
１３０…ゲート・ドライバー
１３２…データ・ドライバー
１３４…液晶表示パネル
３０１…視差ヒストグラム分布計測部
３０２…視差ピーク移動観測部
３０３…奥行き制御部
【特許請求の範囲】
【請求項１】
左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測部と、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部と、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部と、
を具備する３次元画像処理装置。
【請求項２】
前記高頻度視差量移動観測部は、前記頻度の高い視差量が遠から近方向へ移動するときには前記注目画像が手前に移動していると判定し、前記頻度の高い視差量が近から遠方向へ移動するときには前記注目画像が奥に移動していると判定する、
請求項１に記載の３次元画像処理装置。
【請求項３】
前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が手前に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に拡大していく、
請求項１に記載の３次元画像処理装置。
【請求項４】
前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が手前に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に拡大していくとともに、画面全体で交差輻輳量を一律に増加していく、
請求項１に記載の３次元画像処理装置。
【請求項５】
前記奥行き制御部は、前記３次元画像の画面中央を拡大したときには、前記画面の周辺を縮小させて、中央を拡大し表示できない領域が発生しないようにする、
請求項３又は４のいずれかに記載の３次元画像処理装置。
【請求項６】
前記奥行き制御部は、前記３次元画像の画面中央を一定の速度で拡大させていく、
請求項３又は４のいずれかに記載の３次元画像処理装置。
【請求項７】
前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が奥に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に縮小していく、
請求項１に記載の３次元画像処理装置。
【請求項８】
前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が奥に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に縮小していくとともに、画面全体で並行輻輳量を一律に増加していく、
請求項１に記載の３次元画像処理装置。
【請求項９】
前記奥行き制御部は、前記３次元画像の画面中央を縮小したときには、前記画面の周辺を拡大させて、画像表示領域が小さくならないようにする、
請求項７又は８のいずれかに記載の３次元画像処理装置。
【請求項１０】
前記奥行き制御部は、前記３次元画像の画面中央を一定の速度で縮小させていく、
請求項７又は８のいずれかに記載の３次元画像処理装置。
【請求項１１】
左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測ステップと、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測ステップと、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御ステップと、
を有する３次元画像処理方法。
【請求項１２】
左眼用画像及び右眼用画像からなる３次元画像を入力する画像入力部と、
前記の入力した左眼用画像及び右眼用画像の画面中央における視差分布を計測する視差分布計測部と、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部と、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部と、
前記の奥行きが制御された３次元画像を表示する表示部と、
を具備する表示装置。
【請求項１３】
左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測部、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部、
としてコンピューターを機能させるための、コンピューター可読形式で記述されたコンピューター・プログラム。
【請求項１】
左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測部と、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部と、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部と、
を具備する３次元画像処理装置。
【請求項２】
前記高頻度視差量移動観測部は、前記頻度の高い視差量が遠から近方向へ移動するときには前記注目画像が手前に移動していると判定し、前記頻度の高い視差量が近から遠方向へ移動するときには前記注目画像が奥に移動していると判定する、
請求項１に記載の３次元画像処理装置。
【請求項３】
前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が手前に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に拡大していく、
請求項１に記載の３次元画像処理装置。
【請求項４】
前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が手前に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に拡大していくとともに、画面全体で交差輻輳量を一律に増加していく、
請求項１に記載の３次元画像処理装置。
【請求項５】
前記奥行き制御部は、前記３次元画像の画面中央を拡大したときには、前記画面の周辺を縮小させて、中央を拡大し表示できない領域が発生しないようにする、
請求項３又は４のいずれかに記載の３次元画像処理装置。
【請求項６】
前記奥行き制御部は、前記３次元画像の画面中央を一定の速度で拡大させていく、
請求項３又は４のいずれかに記載の３次元画像処理装置。
【請求項７】
前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が奥に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に縮小していく、
請求項１に記載の３次元画像処理装置。
【請求項８】
前記奥行き制御部は、前記高頻度視差量移動観測部により前記注目画像が奥に移動していると判定されたときには、その移動速度に応じて前記３次元画像の画面中央を徐々に縮小していくとともに、画面全体で並行輻輳量を一律に増加していく、
請求項１に記載の３次元画像処理装置。
【請求項９】
前記奥行き制御部は、前記３次元画像の画面中央を縮小したときには、前記画面の周辺を拡大させて、画像表示領域が小さくならないようにする、
請求項７又は８のいずれかに記載の３次元画像処理装置。
【請求項１０】
前記奥行き制御部は、前記３次元画像の画面中央を一定の速度で縮小させていく、
請求項７又は８のいずれかに記載の３次元画像処理装置。
【請求項１１】
左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測ステップと、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測ステップと、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御ステップと、
を有する３次元画像処理方法。
【請求項１２】
左眼用画像及び右眼用画像からなる３次元画像を入力する画像入力部と、
前記の入力した左眼用画像及び右眼用画像の画面中央における視差分布を計測する視差分布計測部と、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部と、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部と、
前記の奥行きが制御された３次元画像を表示する表示部と、
を具備する表示装置。
【請求項１３】
左眼用画像及び右眼用画像からなる３次元画像の画面中央における視差分布を計測する視差分布計測部、
前記の計測された視差分布から、頻度の高い視差量の移動を観測する高頻度視差量移動観測部、
前記頻度の高い視差量の移動に基づいて注目画像の移動方向を判定し、前記注目画像の移動方向に応じた前記３次元画像の奥行きを制御する奥行き制御部、
としてコンピューターを機能させるための、コンピューター可読形式で記述されたコンピューター・プログラム。
【図１】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４Ｂ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図２Ａ】
【図２Ｂ】
【図４Ａ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８Ａ】
【図３Ａ】
【図３Ｂ】
【図３Ｃ】
【図４Ｂ】
【図８Ｂ】
【図９】
【図１０】
【図１１】
【図１２】
【図１３Ａ】
【図１３Ｂ】
【図１４Ａ】
【図１４Ｂ】
【図１５Ａ】
【図１５Ｂ】
【図２Ａ】
【図２Ｂ】
【図４Ａ】
【図５Ａ】
【図５Ｂ】
【図６】
【図７】
【図８Ａ】
【公開番号】特開２０１３−５２３８（Ｐ２０１３−５２３８Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３４４９９（Ｐ２０１１−１３４４９９）
【出願日】平成２３年６月１６日（２０１１．６．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１６日（２０１１．６．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]