画像処理装置および画像処理方法
【課題】立体画像の鑑賞に伴うユーザの負担を軽減する技術を提供する。
【解決手段】定位エラー判定部５０２は、被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断する。視差エラー判定部５０４は、左目用の視差画像と右目用の視差画像とが立体画像として定位すると判断された場合、その視差画像間の視差分布のレンジが、所定の視差レンジの範囲内となるか否かを判断する。エラー通知部５０６は、左目用の視差画像と右目用の視差画像とが、立体画像として定位しないと判断されるか、両画像の視差分布のレンジが視差レンジの範囲を外れると判断されるか、の少なくとも一方に該当する場合、その旨を通知する。
【解決手段】定位エラー判定部５０２は、被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断する。視差エラー判定部５０４は、左目用の視差画像と右目用の視差画像とが立体画像として定位すると判断された場合、その視差画像間の視差分布のレンジが、所定の視差レンジの範囲内となるか否かを判断する。エラー通知部５０６は、左目用の視差画像と右目用の視差画像とが、立体画像として定位しないと判断されるか、両画像の視差分布のレンジが視差レンジの範囲を外れると判断されるか、の少なくとも一方に該当する場合、その旨を通知する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を生成することができる撮像装置が普及してきている。このような撮像装置は、例えば撮像するための光学系を２つ以上持つ多眼カメラの場合もあるし、１眼カメラを用いて複数の異なる視点から撮像した画像を画像処理することにより、視差画像を生成する場合もある。
【０００３】
一方で、立体画像に含まれる左目用の画像をユーザの左目に提示し、右目用の視差画像をユーザの右目に提示することで、ユーザに奥行きを持った映像を提示するための表示デバイスも普及しつつある。特に、シャッターメガネを利用した民生用の３次元テレビが急速に普及しつつあり、一般のユーザが撮像した立体画像をリビングで気軽に鑑賞する機会が多くなってきている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスで鑑賞する際、ユーザは眼球の調整機能を利用して脳内に立体画像を定位させようとする。表示デバイスに表示する画像が立体画像として適当でない場合、ユーザに調整に伴う負担をかけることになり得る。立体画像を生成することができる撮像装置が、立体画像の撮像に不慣れな一般ユーザの間に普及しつつある昨今においては、立体画像として適当でない画像が生成されるケースも多くなると考えられる。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、立体画像の鑑賞に伴うユーザの負担を軽減する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様は画像処理装置である。この装置は、被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断する定位エラー判定部と、左目用の視差画像と右目用の視差画像とが立体画像として定位すると判断された場合、その視差画像間の視差分布のレンジが、所定の視差レンジの範囲内となるか否かを判断する視差エラー判定部と、左目用の視差画像と右目用の視差画像とが、立体画像として定位しないと判断されるか、両画像間の視差分布のレンジが視差レンジの範囲を外れると判断されるか、の少なくとも一方に該当する場合、その旨を通知するエラー通知部とを含む。
【０００７】
上記課題を解決するために、本発明の別の態様も画像処理装置である。この装置は、被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該表示デバイスの大きさをもとに当該表示デバイスで表示する最大の視差レンジを取得する最大視差レンジ取得部と、前記左目用の視差画像と右目用の視差画像と間の視差分布が前記最大の視差レンジを超えないように、前記左目用の視差画像と右目用の視差画像との間の視差を調整する視差レンジ制御部とを含む。
【０００８】
本発明の別の態様は、画像処理方法である。この方法は、被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断するステップと、左目用の視差画像と右目用の視差画像とが立体画像として定位すると判定された場合、その視差画像間の視差分布のレンジが、所定の視差レンジの範囲内となるか否かを判断するステップと、左目用の視差画像と右目用の視差画像とが、立体画像として定位しないと判断されるか、両画像の視差分布のレンジが視差レンジの範囲を外れると判断されるか、の少なくとも一方に該当する場合、その旨を通知するステップとをプロセッサに実行させる。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、立体画像の鑑賞に伴うユーザの負担を軽減する技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る画像処理装置１００の内部構造を模式的に示した図である。
【図２】マッチング部の内部構造を模式的に示した図である。
【図３】視差算出部の内部構造を模式的に示した図である。
【図４】表示画像生成部の内部構造を模式的に示した図である。
【図５】視差の分布の一例を模式的に示した図である。
【図６】視差の調整量を求めるための重み付けの一例を模式的に示した図である。
【図７】エラー判定部の内部構造を模式的に示した図である。
【図８】視差の分布のと最大視差レンジとの関係の一例を模式的に示した図である。
【図９】実施の形態に係る画像処理装置の処理の流れを説明するフローチャートである。
【図１０】マッチング部における処理の流れを説明するフローチャートである。
【図１１】視差算出部における処理の流れを説明するフローチャートである。
【図１２】表示画像生成部における処理の流れを説明するフローチャートである。
【図１３】エラー判定部における処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００１２】
実施の形態の概要を述べる。実施の形態に係る画像処理装置１００は、立体画像を表示デバイスに表示するのに先立って、その立体画像が含む左目用の視差画像と右目用の視差画像との視差の分布を調べ、その分布をもとに立体画像として適切であるか否かを調べ、その結果を表示デバイスに表示する。
【００１３】
図１は、実施の形態に係る画像処理装置１００の内部構成を模式的に示した図である。実施の形態に係る画像処理装置１００は、画像データ記憶部１０、拡縮部１２、指示受付部１４、輝度取得部１６、信頼性判定部１８、最大視差レンジ取得部２０、マッチング部２００、視差算出部３００、表示画像生成部４００、およびエラー判定部５００を含む。
【００１４】
画像データ記憶部１０は、左目用の視差画像と右目用の視差画像とを含む立体画像を格納する。これは例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の既知の大容量記憶装置である。指示受付部１４は、図示しないキーボードやマウス、コントローラ等のユーザインタフェースを介して、画像処理装置１００に対するユーザからの種々の指示を受け付ける。
【００１５】
拡縮部１２は、指示受付部１４を介してユーザから立体画像を拡大または縮小して表示すべき旨の指示を受け取ると、画像データ記憶部１０から表示する立体画像を取得してその立体画像に含まれる左目用の視差画像と右目用の視差画像とを拡縮する。立体画像を拡大することによってその画像が表示デバイスに表示可能な最大サイズを超える場合、拡縮部１２は、表示デバイスで表示できるサイズとなるように画像をトリミングする。拡縮部１２は、ユーザから画像を拡縮すべき特段の指示がない場合には、画像データ記憶部１０から取得した画像をそのまま輝度取得部１６、信頼性判定部１８、マッチング部２００、および表示画像生成部４００に出力する。
【００１６】
信頼性判定部１８は、拡縮部１２から左目用の視差画像と右目用の視差画像とを取得して、両画像それぞれの「マッチングの信頼度」および「エッジ分布」を算出する。ここで「マッチングの信頼度」とは、撮像された被写体を構成する画像のエッジの強さを示す指標であり、その画像領域全体に対する、所定の値以上の空間周波数成分が含まれる画像領域の割合である。マッチングの信頼度が低い画像は全体として高周波成分が少なく、画像中にエッジが少ないと考えられる。マッチングの手法にもよるが、一般的にこのような画像は、後述する視差画像間のマッチングが取りづらく、マッチングの信頼性が確立しづらい。そこで「所定の値」はマッチングの手法に応じて実験により定める。信頼性判定部１８はまた、マッチングの信頼性が確立できる画像領域を「エッジ分布」として算出する。
【００１７】
マッチング部２００は、拡縮部１２から左目用の視差画像と右目用の視差画像とを取得し、その視差画像に共通に撮像されている被写体の対応関係を調べる。マッチング部２００の詳細は後述する。視差算出部３００は、信頼性判定部１８から取得した視差画像のマッチングの信頼度とマッチング部２００から取得した対応関係とをもとに、視差画像に含まれる視差の分布等を算出する。視差算出部３００の詳細は後述する。
【００１８】
表示画像生成部４００は、拡縮部１２から取得した視差画像をもとに、実際に表示デバイスに表示すべき視差画像を生成する。表示画像生成部４００の詳細については後述する。
【００１９】
最大視差レンジ取得部２０は、表示デバイスの大きさをもとにその表示デバイスで表示すべき最大の視差レンジ（以後、単に「最大視差レンジ」という。）を算出して取得する。人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像との間には視差が生じる。人間の脳は、左右の目で知覚した視差画像を利用して物体の奥行きを認識しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った立体的な画像として認識される。
【００２０】
例えば、左目用の視差画像と右目用の視差画像とが全く同一の画像の場合、両者に含まれる被写体の視差は全て０となる。ユーザがこのような画像を３次元テレビ等の表示デバイスで観察すると、テレビ画面上に全ての被写体が存在するかのように認識する。
【００２１】
左目用の視差画像と右目用の視差画像とに視差のある被写体が含まれている場合、左目用の視差画像におけるその被写体を構成する画素の水平方向の座標と、右目用の視差画像におけるその被写体を構成する画素の水平方向の座標との間にずれが生じる。表示デバイスに表示する際に、このずれが両目の間隔である６ｃｍ以上となると、ユーザは目を調整して立体映像を定位することが困難となり、負担を感じる。表示の対象となる視差画像において何画素のずれが、表示デバイスにおける６ｃｍのずれになるかは、表示デバイスの大きさ等によって異なる。
【００２２】
そこで、最大視差レンジ取得部２０は、表示デバイスの大きさをもとにその表示デバイスで表示すべき視差のレンジが一般的なユーザに調整可能な視差の範囲となるように、最大の視差レンジを算出して取得する。
【００２３】
輝度取得部１６は、拡縮部１２から左目用の視差画像と右目用の視差画像とを取得し、両画像を構成する画素の輝度値分布を生成する。エラー判定部５００は、表示デバイスに表示すべき立体画像が、立体画像として適切であるか否かを調べ、その結果を表示デバイスに表示させる。エラー判定部５００の詳細は後述する。
【００２４】
図１は、実施の形態に係る画像処理装置１００を実現するための機能構成を示しており、その他の構成は省略している。図１において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２５】
図２は、マッチング部２００の内部構造を模式的に示した図である。マッチング部２００は、ＤＰ（Dynamic Programming）マッチング部２０２と両方向判定部２０４とを含む。
【００２６】
ＤＰマッチング部２０２は、左目用の視差画像と右目用の視差画像との間でＤＰマッチングを取ることによって、視差画像間で対応し合う領域を求め、そのずれ量を求める。例えば、左目用の視差画像における座標（Ｘ，Ｙ）に存在する画素に対応する右目用の視差画像の画素が座標（Ｘ＋α，Ｙ）に存在する場合、ＤＰマッチング部２０２はそのずれ量を「Ｘ方向に＋αピクセル」として求める。
【００２７】
両方向判定部２０４はＤＰマッチング部２０２を制御し、左目用の視差画像を基準とした場合の右目用の視差画像における被写体のずれ量を求める。次いで両方向判定部２０４はＤＰマッチング部２０２を制御し、右目用の視差画像を基準とした場合の左目用の視差画像における被写体のずれ量を求める。このような視差画像に撮像されている被写体のマッチングを両方向から行った結果はエラー判定部５００に出力され、マッチングの信頼性を判定するために利用される。
【００２８】
図３は、視差算出部３００の内部構造を模式的に示した図である。視差算出部３００は、視差分布算出部３０２と最適視差算出部３０４とを含む。
【００２９】
視差分布算出部３０２は、ＤＰマッチング部２０２から左目用の視差画像と右目用の視差画像とのマッチング情報を取得し、その情報をもとに両画像間の視差の分布を算出する。ここで、例えば原色が一面に塗装された壁や、逆光撮影下で撮像された空の領域を含む視差画像は、両画像中においてその領域は非常に類似した平坦なパターンとなって撮像される。このような平坦なパターンを含む視差画像は、ＤＰマッチング部２０２にとって両画像間で対応する領域を求めることが困難となる。その結果、そのような画像領域についてのマッチングの信頼性が低くなる。そこで、視差分布算出部３０２は信頼性判定部１８から両画像のエッジ分布を取得し、両画像中でエッジ成分を含む領域についての視差の分布を算出する。このようにマッチングの信頼性の高い画像領域から視差の分布を求めることにより、求めた分布の信頼性を高めることができる。
【００３０】
最適視差算出部３０４は、視差分布算出部３０２から取得した視差の分布をもとに、表示デバイスに表示する視差画像の視差の調整量を算出する。視差の調整およびその調整量の算出についての詳細は後述する。
【００３１】
図４は、表示画像生成部４００の内部構造を模式的に示した図である。表示画像生成部４００は、視差設定部４０２、視差レンジ制御部４０４、および視差画像生成部４０６を含む。
【００３２】
視差設定部４０２は、視差算出部３００内の最適視差算出部３０４から、表示デバイスに表示する視差画像の視差の調整量を取得する。視差設定部４０２はまた、指示受付部１４を介してユーザから表示デバイスに表示する視差画像の視差の調整量を取得する。ユーザから取得した視差の調整量、および最適視差算出部３０４から取得した視差の調整量のいずれかを優先するかは画像処理装置１００の利用シーンに応じて自由に変更すればよい。
【００３３】
視差レンジ制御部４０４は、最大視差レンジ取得部２０から取得した最大視差レンジと、視差算出部３００内の視差分布算出部３０２から取得した視差画像間の視差の分布に基づいて、調整可能な視差の範囲が最大視差レンジを超えないように制御する。視差設定部４０２は、例えば指示受付部１４から取得したユーザからの調整指示にしたがう結果、視差画像間の視差分布が最大視差レンジを外れる場合には、最大視差レンジを超えない最大の調整量でとどめる。
【００３４】
図５は、視差の分布の一例を模式的に示した図である。図５に示す各図における横軸は視差であり、縦軸はその度数である。視差の単位はピクセルであり、視差画像間のずれ量を示す。ＤＰマッチング部２０２が求めた左目用の視差画像と右目用の視差画像とに両方に撮像されている被写体を構成する各画素が、左目用の視差画像と右目用の視差画像において何ピクセルずれているかを示す度数分布である。上述したように、視差が０ピクセルの画像領域をユーザが観察すると、その映像は表示デバイス上に定位する。視差が０ではない画像領域は、表示デバイスに対してユーザ側の方向、すなわち表示デバイスの手前に定位したり、表示デバイスの奥側に定位したりする。図５に示す各図においては、視差が正の場合表示デバイスの手前に定位することを示す。視差の絶対値が大きいほど、その映像は表示デバイスから離れた位置に定位する。
【００３５】
図５（ａ）は、視差分布算出部３０２が算出した、左目用の視差画像と右目用の視差画像との元画像における視差分布の一例を示した図である。図５（ａ）に示す図においては、正の値を持った視差が多い分布を示しており、ユーザがこの立体画像を観察すると、表示デバイスの手前側で定位する部分が多くなる。
【００３６】
図５（ｂ）は、最適視差算出部３０４が算出した視差の調整を施した後の視差分布を例示した図である。図５（ｂ）に示す例では、視差が０となる画素が多くなり、かつ、表示デバイスの奥側に定位する映像が多くなるように調整されている。ここで、「視差の調整」とは、表示デバイス上で視差が０となる位置を変更することを意味し、「視差の調整量」とは、表示デバイス上で視差が０となる位置を変更するために左目用の視差画像と右目用の視差画像とを相対的に何ピクセルずらすかを示す量である。
【００３７】
視差を調整してどのような映像とするかは任意であり、あらかじめ実験によって定めておけばよい。最適視差算出部３０４は、視差分布算出部３０２が算出した視差分布をもとに、目標とする映像の視差分布に近づくように視差の調整量を求める。具体的には、最適視差算出部３０４は、重み付けをした度数の総和をスコアとして視差分布を評価し、スコアが最大となるときの視差の調整量を求める。
【００３８】
図６は、視差の調整量を求めるための重み付けの一例を模式的に示した図である。図６に示す重み付けは、図５（ｂ）に示す例のように視差が０となる画素が多くなり、かつ、表示デバイスの奥側に定位する映像が多くなるような調整量を求めるための例である。図６に示すように視差の絶対値が大きいほど小さな重みとなり、かつ、視差が正の場合の重みの方が、視差が負の場合の重みよりも、視差の絶対値に対する重みの減少量が大きい。このような重みを度数に乗じた後に、その度数の総和をスコアとして算出すると、視差が０付近となる画素が多くなり、かつ、表示デバイスの奥側に定位する映像が多くなるときにスコアが大きくなる。調整量を変更しつつそのスコアを評価し、スコアの高い調整量を採用すれば、所望の視差画像が得られる。このように、目標とする映像が定まれば、そのような映像の視差分布のスコアが高くなるように重み付けを設計することにより、視差の調整量を計算で求めることができる。
【００３９】
図４に戻り、視差画像生成部４０６は、視差レンジ制御部４０４によって制御された範囲内において、視差設定部４０２が取得した視差の調整量をもとに調整を施した視差画像を生成する。ここで拡縮部１２がユーザからの指示を受けて視差画像を拡大すると、その拡大率に比例して視差画像間の視差も拡大する。そこで視差レンジ制御部４０４は、拡縮部１２が拡大した左目用の視差画像と右目用の視差画像と間の視差分布が、最大視差レンジを超えないように、視差画像間のずれ量としての視差の調整量を制御する。具体的には、画像の拡大に伴って拡大された視差を小さくするように調整量を制御する。
【００４０】
図７は、エラー判定部５００の内部構造を模式的に示した図である。エラー判定部５００は、定位エラー判定部５０２、視差エラー判定部５０４、およびエラー通知部５０６を含む。
【００４１】
定位エラー判定部５０２は、拡縮部１２から取得した左目用の視差画像と右目用の視差画像とが、３次元の画像として定位する立体画像であるか否かを判定する。具体的には、定位エラー判定部５０２は以下に述べる３種類の判定を実行する。
【００４２】
第１に、定位エラー判定部５０２は、信頼性判定部１８から取得した左目用の視差画像と右目用の視差画像とのマッチングの信頼度をもとに、両画像が３次元の画像として定位する立体画像であるか否かを判定する。具体的には、定位エラー判定部５０２は左目用の視差画像のマッチングの信頼度と右目用の視差画像のマッチングの信頼度とのいずれかあるいは両方について、そのマッチングの信頼度の割合が所定の割合以下となる場合に、両画像は３次元の画像として定位しないと判断する。マッチングの信頼度による定位エラーの判定基準となる割合はサンプル画像を集めて実験により定めればよい。マッチングの信頼度による定位エラーを用いると、視差画像間の関係に依存せず１枚の画像の特性のみから立体画像としての成立性を判断できる。左目用の視差画像と右目用の視差画像とを利用する場合であっても、それぞれの視差画像に閉じた特性を独立に用いて成立性を判定する。
【００４３】
第２に、定位エラー判定部５０２は、輝度取得部１６から取得した左目用の視差画像および右目用の視差画像それぞれの画像の輝度分布をもとに、両画像が３次元の画像として定位する立体画像であるか否かを判断する。具体的には、定位エラー判定部５０２は左目用の視差画像の輝度値の分布と、右目用の視差画像の輝度値の分布との差異が所定の割合以上となる場合に、両画像は３次元の画像として定位しないと判断する。同一の被写体を異なる角度から見た場合の画像同士であれば、その輝度分布も類似するからである。輝度分布による定位エラーの判定基準となる割合はサンプル画像を集めて実験により定めればよい。
【００４４】
第３に、定位エラー判定部５０２は、マッチング部２００内の両方向判定部２０４から取得した、視差画像に撮像されている被写体のマッチングを両方向から行った結果をもとに、視差画像が３次元の画像として定位する立体画像であるか否かを判断する。具体的には、定位エラー判定部５０２は、左目用の視差画像を基準とした場合の右目用の視差画像のずれ量の絶対値の総和に対する、その逆の場合のずれ量の総和の割合が所定の割合以上異なる場合に、両画像は３次元の画像として定位しないと判断する。同一の被写体を異なる角度から見た場合の画像同士であって、そのマッチングが適切になされていれば、いずれの視差画像を基準としてずれ量を求めても、その結果は類似するはずだからである。両方向判定部２０４による両方向の判定結果を用いた定位エラーの判定基準となる割合はサンプル画像を集めて実験により定めればよい。
【００４５】
上述の３つの判定はいずれも、左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断するものである。定位エラー判定部５０２は、視差画像に共通に撮像されている被写体の対応関係が見つからない場合、その旨をエラー通知部５０６に出力する。
【００４６】
視差エラー判定部５０４は、表示画像生成部４００内の視差画像生成部４０６が生成した視差画像に撮像されている被写体の視差分布が、最大視差レンジ内に収まるか否かを判定する。具体的には、視差エラー判定部５０４は、最大視差レンジ取得部２０から最大視差レンジを、視差算出部３００内の視差分布算出部３０２から視差画像の視差分布を、および視差画像生成部４０６から視差の調整量をそれぞれ取得して、視差調整後の視差分布が最大視差レンジを外れるか否かを判断する。
【００４７】
エラー通知部５０６は、定位エラー判定部５０２から視差画像が３次元の立体画像として定位するか否かの判断を、視差エラー判定部５０４から視差画像生成部４０６が生成した視差画像に撮像されている被写体の視差分布が、最大視差レンジ内に収まるか否かの判断をそれぞれ取得してその結果を統合する。立体画像として定位しないとの判定か、被写体の視差分布が最大視差レンジ内に収まらないとの判定かの少なくとも一方の判定を取得すると、エラー通知部５０６はその旨を表示デバイスに出力してユーザに通知する。立体画像を表示デバイスに表示するのに先立ってその画像が３次元画像として定位するか否か、その視差分布が適切か否かを判断してその結果をユーザに通知することで、ユーザはどのような画像が表示されるかを知ることができる。
【００４８】
図８は、視差の分布のと最大視差レンジとの関係の一例を模式的に示した図である。図８の各図において、横軸上の点Ａを通る破線と点Ｂを通る破線とに挟まれた領域が、最大視差レンジである。図８（ａ）に示す例では、視差画像の視差分布が最大視差レンジの中に収まっている。具体的には、視差画像の視差分布において、視差の最小値Ｂは最大視差レンジの最小値Ａよりも大きく、かつ、視差の最大値Ｃは最大視差レンジの最大値Ｄよりも小さい。このような場合、視差エラー判定部５０４は、その視差画像の視差分布が最大視差レンジに収まっていると判断する。
【００４９】
図８（ｂ）は、視差の分布のと最大視差レンジとの関係の別の例を示した図である。図８（ｂ）に示す例では、視差画像の視差分布の最小値Ｂが、最大視差レンジの最小値Ａを下回っている。このような場合、視差エラー判定部５０４は、その視差画像の視差分布が最大視差レンジを外れていると判断する。
【００５０】
なお、図８（ａ）に示す例において、最大視差レンジの最小値Ａから視差の最小値Ｂまでの差分、および視差の最大値Ｃから最大視差レンジの最大値Ｄまでの差分が、視差レンジ制御部４０４が求める調整可能な視差の範囲となる。
【００５１】
表示画像生成部４００内の視差画像生成部４０６は、視差エラー判定部５０４が差画像の視差分布が最大視差レンジに収まっていると判断した場合、表示用の視差画像を生成する。視差画像生成部４０６はまた、定位エラー判定部５０２が左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像でないと判断した場合、左目用の視差画像または右目用の視差画像のいずれかを表示用の画像として生成する。３次元的に定位する立体画像としては表示できなくとも、いずれかの視差画像を表示することにより、ユーザはその画像を確認することができる。
【００５２】
視差画像生成部４０６はさらに、視差エラー判定部５０４が、視差画像の視差分布が最大視差レンジを外れると判断した場合、最大視差レンジを外れる視差を持つ画像領域と、最大視差レンジの範囲内である画像の領域とを異なる処理手法により表示用の視差画像を生成する。具体的には、最大視差レンジを外れる視差を持つ画像領域の輝度値を大きくしたり、色相を回転して赤みを帯びさせたりする。これにより、ユーザが最大視差レンジの範囲内である画像の領域をトリミングして、３次元画像として鑑賞に堪えうる画像を作成する際の支援をすることができる。
【００５３】
図９は、実施の形態に係る画像処理装置１００の各部の処理手順を時系列的に示すフローチャートである。以下に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１２のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１２のＮ）と表示する。本フローチャートにおける処理は、画像処理装置１００が起動したときに開始する。
【００５４】
指示受付部１４は、ユーザから画像を拡縮して表示するか否かの指示を取得する（Ｓ１０）。ユーザから拡縮すべき指示を取得した場合（Ｓ１２のＹ）、拡縮部１２は画像データ記憶部１０から取得した左目用および右目用の視差画像を拡縮する（Ｓ１４）。ユーザから拡縮すべき指示を取得しない場合（Ｓ１２のＮ）、拡縮部１２は画像データ記憶部１０から画像を取得するのみで、拡縮はしない。
【００５５】
信頼性判定部１８およびマッチング部２００は、それぞれ拡縮部１２から視差画像を取得し、視差算出のための前処理を実行する（Ｓ１６）。視差算出部３００は、全段の前処理ステップＳ１６の処理結果をもとに、拡縮部１２から取得した視差画像の視差分布を算出する（Ｓ１８）。表示画像生成部４００は、拡縮部１２から取得した視差画像に対して視差の調整を施した後に表示用の視差画像を生成する（Ｓ２０）。エラー判定部５００は、輝度取得部１６から取得した視差画像の輝度の判定結果、前述の前処理ステップＳ１６の処理結果、視差算出部３００の算出した視差分布、表示画像生成部４００から取得した視差の調整量、および最大視差レンジ取得部２０から取得した最大視差レンジをもとに、視差画像が３次元画像としての信頼性があるか否かを判定する（Ｓ２２）。
【００５６】
表示画像生成部４００は、エラー判定部５００による信頼性判定の結果、３次元画像として定位する適正な立体画像と判断された場合（Ｓ２４のＹ）、その画像を表示デバイスに表示する（Ｓ２６）。エラー判定部５００による信頼性判定の結果、３次元画像として定位しないか、定位するとしてもその視差が大きな画像と判断された場合（Ｓ２４のＮ）、エラー判定部５００はその旨をエラーとして表示デバイスに表示する（Ｓ２８）。表示画像生成部４００が画像を表示するか、あるいはエラー判定部５００がエラーを表示すると、本フローチャートにおける処理は終了する。
【００５７】
図１０は、マッチング部２００における処理の流れを説明するフローチャートであり、図９におけるステップＳ１６の詳細を示す図である。
【００５８】
信頼性判定部１８は、拡縮部１２から左目用の視差画像と右目用の視差画像とを取得し両画像の「マッチングの信頼度」を算出する（Ｓ３０）。ＤＰマッチング部２０２は、左目用の視差画像と右目用の視差画像との間でＤＰマッチングを取ることによって両画像に共通に含まれる被写体の対応関係を求め、そのずれ量を求める（Ｓ３２）。
【００５９】
両方向判定部２０４は、ＤＰマッチング部２０２が左目用の視差画像を基準として右目用の視差画像の対応関係を求めること、および右目用の視差画像を基準として左目用の視差画像の対応関係を求めることとの両方向から対応関係を求めたか否かを確認し、両方向からのマッチングによる対応関係の取得が終了していない場合（Ｓ３４のＮ）、ＤＰマッチング部２０２にマッチングを実行させる。両方向からのマッチングによる対応関係の取得が終了すると（Ｓ３４のＹ）、処理は終了する。
【００６０】
図１１は、視差算出部３００における処理の流れを説明するフローチャートであり、図９におけるステップＳ１８の詳細を示す図である。
【００６１】
視差分布算出部３０２は、信頼性判定部１８から視差画像のマッチングの信頼度を取得し、ＤＰマッチング部２０２から取得した左目用の視差画像と右目用の視差画像とのマッチング情報のうち、両画像中のマッチングの信頼度の高い領域についての視差の分布を算出する（Ｓ３６）。最適視差算出部３０４は、視差分布算出部３０２から取得した視差の分布をもとに、表示デバイスに表示する視差画像の視差の調整量を算出する（Ｓ３８）。最適視差算出部３０４が視差画像の視差の調整量を算出すると処理は終了する。
【００６２】
図１２は、表示画像生成部４００における処理の流れを説明するフローチャートであり、図９におけるステップＳ２０の詳細を示す図である。
【００６３】
視差設定部４０２は、指示受付部１４を介してユーザから、および最適視差算出部３０４からそれぞれ視差の調整量を取得する（Ｓ４０）。視差レンジ制御部４０４は、最大視差レンジ取得部２０から取得した最大視差レンジと、視差算出部３００内の視差分布算出部３０２から取得した視差画像間の視差の分布に基づいて、調整可能な視差の範囲が最大視差レンジを超えないように視差のレンジを設定する（Ｓ４２）。視差画像生成部４０６は、視差レンジ制御部４０４によって制御された範囲内において、視差設定部４０２が取得した視差の調整量をもとに調整を施した視差画像を生成する（Ｓ４４）。視差画像生成部４０６が視差画像を生成すると処理は終了する。
【００６４】
図１３は、エラー判定部５００における処理の流れを説明するフローチャートであり、図９におけるステップＳ２２の詳細を示す図である。
【００６５】
定位エラー判定部５０２が、拡縮部１２から取得した左目用の視差画像と右目用の視差画像とが、３次元の画像として定位する立体画像であるか否かを判断する（Ｓ４６）のと並行して、視差エラー判定部５０４は、表示画像生成部４００内の視差画像生成部４０６が生成した視差画像間の視差分布が最大視差レンジ内に収まるか否かを求めることにより、視差の観点から見たエラーの有無を判断する（Ｓ４８）。エラー通知部５０６は、定位エラー判定部５０２と視差エラー判定部５０４との判定結果を統合する（Ｓ５０）。３次元の画像として定位しないか、あるいは視差分布が最大視差レンジ内に収まらないかの少なくとも一方のエラーが存在する場合（Ｓ５２のＹ）、エラー通知部５０６は、その旨のメッセージを表示デバイスに表示することによりユーザに通知する（Ｓ５４）。いずれのエラーも存在しないか（Ｓ５２のＮ）、エラー通知部５０６がエラーを通知すると、処理は終了する。
【００６６】
以上の構成による動作は以下のとおりである。ユーザは実施の形態に係る画像処理装置１００を起動して左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示しようとすると、エラー判定部５００は、その立体画像がユーザの鑑賞に堪えうるかどうかを判定する。判定の結果その立体画像がユーザの鑑賞に堪えうると判断されない場合、その旨を表示デバイスに表示する。また、視差画像間の視差のレンジが広すぎる場合には、その原因となる画像領域を具体的にユーザに提示する。
【００６７】
以上説明したとおり、実施の形態によれば立体画像の鑑賞に伴うユーザの負担を軽減する技術を提供できる。
【００６８】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６９】
上記の説明では、表示画像生成部４００内の視差設定部４０２が指示受付部１４を介してユーザから表示デバイスに表示する視差画像の視差の調整量を取得する場合について説明したが、ユーザは、指示受付部１４を介して画像上の任意の位置を指定できるようにしてもよい。視差画像生成部４０６は、ユーザの指定した位置に撮像されている被写体が、表示デバイス付近で定位するように調整して表示用の視差画像を生成する。具体的には、ユーザの指定した位置における視差が０となるように調整すればよい。これにより、調整量を入力する場合と比較して、より直感的な視差調整のユーザインタフェースを提供できるようになる。
【００７０】
上記の説明では、マッチング部２００内のＤＰマッチング部２０２が、左目用の視差画像と右目用の視差画像とのＤＰマッチングを取って、両画像の対応関係を調べる場合について説明したが、対応関係を調べる技術はＤＰマッチングに限らず、例えばテンプレートマッチング等、既知のマッチング技術を利用すればよい。
【００７１】
上記の説明では、定位エラー判定部５０２と視差エラー判定部５０４とが並行して同時に実行される場合について説明したが、定位エラー判定部５０２が３次元の画像として定位する立体画像でないと判断した場合に視差エラー判定部５０４を実行するようにしてもよい。３次元画像として定位しない画像ペアについての視差を求める必要はない場合が多いからである。この場合、視差エラーの判定にかかる計算コストを抑制できる点で有利である。
【符号の説明】
【００７２】
１０ 画像データ記憶部、 １２ 拡縮部、 １４ 指示受付部、 １６ 輝度取得部、 １８ 信頼性判定部、 ２０ 最大視差レンジ取得部、 １００ 画像処理装置、 ２００ マッチング部、 ２０２ ＤＰマッチング部、 ２０４ 両方向判定部、 ３００ 視差算出部、 ３０２ 視差分布算出部、 ３０４ 最適視差算出部、 ４００ 表示画像生成部、 ４０２ 視差設定部、 ４０４ 視差レンジ制御部、 ４０６ 視差画像生成部、 ５００ エラー判定部、 ５０２ 定位エラー判定部、 ５０４ 視差エラー判定部、 ５０６ エラー通知部。
【技術分野】
【０００１】
この発明は、画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を生成することができる撮像装置が普及してきている。このような撮像装置は、例えば撮像するための光学系を２つ以上持つ多眼カメラの場合もあるし、１眼カメラを用いて複数の異なる視点から撮像した画像を画像処理することにより、視差画像を生成する場合もある。
【０００３】
一方で、立体画像に含まれる左目用の画像をユーザの左目に提示し、右目用の視差画像をユーザの右目に提示することで、ユーザに奥行きを持った映像を提示するための表示デバイスも普及しつつある。特に、シャッターメガネを利用した民生用の３次元テレビが急速に普及しつつあり、一般のユーザが撮像した立体画像をリビングで気軽に鑑賞する機会が多くなってきている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスで鑑賞する際、ユーザは眼球の調整機能を利用して脳内に立体画像を定位させようとする。表示デバイスに表示する画像が立体画像として適当でない場合、ユーザに調整に伴う負担をかけることになり得る。立体画像を生成することができる撮像装置が、立体画像の撮像に不慣れな一般ユーザの間に普及しつつある昨今においては、立体画像として適当でない画像が生成されるケースも多くなると考えられる。
【０００５】
本発明はこうした課題に鑑みてなされたものであり、その目的は、立体画像の鑑賞に伴うユーザの負担を軽減する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある態様は画像処理装置である。この装置は、被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断する定位エラー判定部と、左目用の視差画像と右目用の視差画像とが立体画像として定位すると判断された場合、その視差画像間の視差分布のレンジが、所定の視差レンジの範囲内となるか否かを判断する視差エラー判定部と、左目用の視差画像と右目用の視差画像とが、立体画像として定位しないと判断されるか、両画像間の視差分布のレンジが視差レンジの範囲を外れると判断されるか、の少なくとも一方に該当する場合、その旨を通知するエラー通知部とを含む。
【０００７】
上記課題を解決するために、本発明の別の態様も画像処理装置である。この装置は、被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該表示デバイスの大きさをもとに当該表示デバイスで表示する最大の視差レンジを取得する最大視差レンジ取得部と、前記左目用の視差画像と右目用の視差画像と間の視差分布が前記最大の視差レンジを超えないように、前記左目用の視差画像と右目用の視差画像との間の視差を調整する視差レンジ制御部とを含む。
【０００８】
本発明の別の態様は、画像処理方法である。この方法は、被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断するステップと、左目用の視差画像と右目用の視差画像とが立体画像として定位すると判定された場合、その視差画像間の視差分布のレンジが、所定の視差レンジの範囲内となるか否かを判断するステップと、左目用の視差画像と右目用の視差画像とが、立体画像として定位しないと判断されるか、両画像の視差分布のレンジが視差レンジの範囲を外れると判断されるか、の少なくとも一方に該当する場合、その旨を通知するステップとをプロセッサに実行させる。
【０００９】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【００１０】
本発明によれば、立体画像の鑑賞に伴うユーザの負担を軽減する技術を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態に係る画像処理装置１００の内部構造を模式的に示した図である。
【図２】マッチング部の内部構造を模式的に示した図である。
【図３】視差算出部の内部構造を模式的に示した図である。
【図４】表示画像生成部の内部構造を模式的に示した図である。
【図５】視差の分布の一例を模式的に示した図である。
【図６】視差の調整量を求めるための重み付けの一例を模式的に示した図である。
【図７】エラー判定部の内部構造を模式的に示した図である。
【図８】視差の分布のと最大視差レンジとの関係の一例を模式的に示した図である。
【図９】実施の形態に係る画像処理装置の処理の流れを説明するフローチャートである。
【図１０】マッチング部における処理の流れを説明するフローチャートである。
【図１１】視差算出部における処理の流れを説明するフローチャートである。
【図１２】表示画像生成部における処理の流れを説明するフローチャートである。
【図１３】エラー判定部における処理の流れを説明するフローチャートである。
【発明を実施するための形態】
【００１２】
実施の形態の概要を述べる。実施の形態に係る画像処理装置１００は、立体画像を表示デバイスに表示するのに先立って、その立体画像が含む左目用の視差画像と右目用の視差画像との視差の分布を調べ、その分布をもとに立体画像として適切であるか否かを調べ、その結果を表示デバイスに表示する。
【００１３】
図１は、実施の形態に係る画像処理装置１００の内部構成を模式的に示した図である。実施の形態に係る画像処理装置１００は、画像データ記憶部１０、拡縮部１２、指示受付部１４、輝度取得部１６、信頼性判定部１８、最大視差レンジ取得部２０、マッチング部２００、視差算出部３００、表示画像生成部４００、およびエラー判定部５００を含む。
【００１４】
画像データ記憶部１０は、左目用の視差画像と右目用の視差画像とを含む立体画像を格納する。これは例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）等の既知の大容量記憶装置である。指示受付部１４は、図示しないキーボードやマウス、コントローラ等のユーザインタフェースを介して、画像処理装置１００に対するユーザからの種々の指示を受け付ける。
【００１５】
拡縮部１２は、指示受付部１４を介してユーザから立体画像を拡大または縮小して表示すべき旨の指示を受け取ると、画像データ記憶部１０から表示する立体画像を取得してその立体画像に含まれる左目用の視差画像と右目用の視差画像とを拡縮する。立体画像を拡大することによってその画像が表示デバイスに表示可能な最大サイズを超える場合、拡縮部１２は、表示デバイスで表示できるサイズとなるように画像をトリミングする。拡縮部１２は、ユーザから画像を拡縮すべき特段の指示がない場合には、画像データ記憶部１０から取得した画像をそのまま輝度取得部１６、信頼性判定部１８、マッチング部２００、および表示画像生成部４００に出力する。
【００１６】
信頼性判定部１８は、拡縮部１２から左目用の視差画像と右目用の視差画像とを取得して、両画像それぞれの「マッチングの信頼度」および「エッジ分布」を算出する。ここで「マッチングの信頼度」とは、撮像された被写体を構成する画像のエッジの強さを示す指標であり、その画像領域全体に対する、所定の値以上の空間周波数成分が含まれる画像領域の割合である。マッチングの信頼度が低い画像は全体として高周波成分が少なく、画像中にエッジが少ないと考えられる。マッチングの手法にもよるが、一般的にこのような画像は、後述する視差画像間のマッチングが取りづらく、マッチングの信頼性が確立しづらい。そこで「所定の値」はマッチングの手法に応じて実験により定める。信頼性判定部１８はまた、マッチングの信頼性が確立できる画像領域を「エッジ分布」として算出する。
【００１７】
マッチング部２００は、拡縮部１２から左目用の視差画像と右目用の視差画像とを取得し、その視差画像に共通に撮像されている被写体の対応関係を調べる。マッチング部２００の詳細は後述する。視差算出部３００は、信頼性判定部１８から取得した視差画像のマッチングの信頼度とマッチング部２００から取得した対応関係とをもとに、視差画像に含まれる視差の分布等を算出する。視差算出部３００の詳細は後述する。
【００１８】
表示画像生成部４００は、拡縮部１２から取得した視差画像をもとに、実際に表示デバイスに表示すべき視差画像を生成する。表示画像生成部４００の詳細については後述する。
【００１９】
最大視差レンジ取得部２０は、表示デバイスの大きさをもとにその表示デバイスで表示すべき最大の視差レンジ（以後、単に「最大視差レンジ」という。）を算出して取得する。人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像との間には視差が生じる。人間の脳は、左右の目で知覚した視差画像を利用して物体の奥行きを認識しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った立体的な画像として認識される。
【００２０】
例えば、左目用の視差画像と右目用の視差画像とが全く同一の画像の場合、両者に含まれる被写体の視差は全て０となる。ユーザがこのような画像を３次元テレビ等の表示デバイスで観察すると、テレビ画面上に全ての被写体が存在するかのように認識する。
【００２１】
左目用の視差画像と右目用の視差画像とに視差のある被写体が含まれている場合、左目用の視差画像におけるその被写体を構成する画素の水平方向の座標と、右目用の視差画像におけるその被写体を構成する画素の水平方向の座標との間にずれが生じる。表示デバイスに表示する際に、このずれが両目の間隔である６ｃｍ以上となると、ユーザは目を調整して立体映像を定位することが困難となり、負担を感じる。表示の対象となる視差画像において何画素のずれが、表示デバイスにおける６ｃｍのずれになるかは、表示デバイスの大きさ等によって異なる。
【００２２】
そこで、最大視差レンジ取得部２０は、表示デバイスの大きさをもとにその表示デバイスで表示すべき視差のレンジが一般的なユーザに調整可能な視差の範囲となるように、最大の視差レンジを算出して取得する。
【００２３】
輝度取得部１６は、拡縮部１２から左目用の視差画像と右目用の視差画像とを取得し、両画像を構成する画素の輝度値分布を生成する。エラー判定部５００は、表示デバイスに表示すべき立体画像が、立体画像として適切であるか否かを調べ、その結果を表示デバイスに表示させる。エラー判定部５００の詳細は後述する。
【００２４】
図１は、実施の形態に係る画像処理装置１００を実現するための機能構成を示しており、その他の構成は省略している。図１において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、ＣＰＵ（Central Processing Unit）、メインメモリ、その他のＬＳＩ（Large Scale Integration）で構成することができ、ソフトウェア的には、メインメモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。
【００２５】
図２は、マッチング部２００の内部構造を模式的に示した図である。マッチング部２００は、ＤＰ（Dynamic Programming）マッチング部２０２と両方向判定部２０４とを含む。
【００２６】
ＤＰマッチング部２０２は、左目用の視差画像と右目用の視差画像との間でＤＰマッチングを取ることによって、視差画像間で対応し合う領域を求め、そのずれ量を求める。例えば、左目用の視差画像における座標（Ｘ，Ｙ）に存在する画素に対応する右目用の視差画像の画素が座標（Ｘ＋α，Ｙ）に存在する場合、ＤＰマッチング部２０２はそのずれ量を「Ｘ方向に＋αピクセル」として求める。
【００２７】
両方向判定部２０４はＤＰマッチング部２０２を制御し、左目用の視差画像を基準とした場合の右目用の視差画像における被写体のずれ量を求める。次いで両方向判定部２０４はＤＰマッチング部２０２を制御し、右目用の視差画像を基準とした場合の左目用の視差画像における被写体のずれ量を求める。このような視差画像に撮像されている被写体のマッチングを両方向から行った結果はエラー判定部５００に出力され、マッチングの信頼性を判定するために利用される。
【００２８】
図３は、視差算出部３００の内部構造を模式的に示した図である。視差算出部３００は、視差分布算出部３０２と最適視差算出部３０４とを含む。
【００２９】
視差分布算出部３０２は、ＤＰマッチング部２０２から左目用の視差画像と右目用の視差画像とのマッチング情報を取得し、その情報をもとに両画像間の視差の分布を算出する。ここで、例えば原色が一面に塗装された壁や、逆光撮影下で撮像された空の領域を含む視差画像は、両画像中においてその領域は非常に類似した平坦なパターンとなって撮像される。このような平坦なパターンを含む視差画像は、ＤＰマッチング部２０２にとって両画像間で対応する領域を求めることが困難となる。その結果、そのような画像領域についてのマッチングの信頼性が低くなる。そこで、視差分布算出部３０２は信頼性判定部１８から両画像のエッジ分布を取得し、両画像中でエッジ成分を含む領域についての視差の分布を算出する。このようにマッチングの信頼性の高い画像領域から視差の分布を求めることにより、求めた分布の信頼性を高めることができる。
【００３０】
最適視差算出部３０４は、視差分布算出部３０２から取得した視差の分布をもとに、表示デバイスに表示する視差画像の視差の調整量を算出する。視差の調整およびその調整量の算出についての詳細は後述する。
【００３１】
図４は、表示画像生成部４００の内部構造を模式的に示した図である。表示画像生成部４００は、視差設定部４０２、視差レンジ制御部４０４、および視差画像生成部４０６を含む。
【００３２】
視差設定部４０２は、視差算出部３００内の最適視差算出部３０４から、表示デバイスに表示する視差画像の視差の調整量を取得する。視差設定部４０２はまた、指示受付部１４を介してユーザから表示デバイスに表示する視差画像の視差の調整量を取得する。ユーザから取得した視差の調整量、および最適視差算出部３０４から取得した視差の調整量のいずれかを優先するかは画像処理装置１００の利用シーンに応じて自由に変更すればよい。
【００３３】
視差レンジ制御部４０４は、最大視差レンジ取得部２０から取得した最大視差レンジと、視差算出部３００内の視差分布算出部３０２から取得した視差画像間の視差の分布に基づいて、調整可能な視差の範囲が最大視差レンジを超えないように制御する。視差設定部４０２は、例えば指示受付部１４から取得したユーザからの調整指示にしたがう結果、視差画像間の視差分布が最大視差レンジを外れる場合には、最大視差レンジを超えない最大の調整量でとどめる。
【００３４】
図５は、視差の分布の一例を模式的に示した図である。図５に示す各図における横軸は視差であり、縦軸はその度数である。視差の単位はピクセルであり、視差画像間のずれ量を示す。ＤＰマッチング部２０２が求めた左目用の視差画像と右目用の視差画像とに両方に撮像されている被写体を構成する各画素が、左目用の視差画像と右目用の視差画像において何ピクセルずれているかを示す度数分布である。上述したように、視差が０ピクセルの画像領域をユーザが観察すると、その映像は表示デバイス上に定位する。視差が０ではない画像領域は、表示デバイスに対してユーザ側の方向、すなわち表示デバイスの手前に定位したり、表示デバイスの奥側に定位したりする。図５に示す各図においては、視差が正の場合表示デバイスの手前に定位することを示す。視差の絶対値が大きいほど、その映像は表示デバイスから離れた位置に定位する。
【００３５】
図５（ａ）は、視差分布算出部３０２が算出した、左目用の視差画像と右目用の視差画像との元画像における視差分布の一例を示した図である。図５（ａ）に示す図においては、正の値を持った視差が多い分布を示しており、ユーザがこの立体画像を観察すると、表示デバイスの手前側で定位する部分が多くなる。
【００３６】
図５（ｂ）は、最適視差算出部３０４が算出した視差の調整を施した後の視差分布を例示した図である。図５（ｂ）に示す例では、視差が０となる画素が多くなり、かつ、表示デバイスの奥側に定位する映像が多くなるように調整されている。ここで、「視差の調整」とは、表示デバイス上で視差が０となる位置を変更することを意味し、「視差の調整量」とは、表示デバイス上で視差が０となる位置を変更するために左目用の視差画像と右目用の視差画像とを相対的に何ピクセルずらすかを示す量である。
【００３７】
視差を調整してどのような映像とするかは任意であり、あらかじめ実験によって定めておけばよい。最適視差算出部３０４は、視差分布算出部３０２が算出した視差分布をもとに、目標とする映像の視差分布に近づくように視差の調整量を求める。具体的には、最適視差算出部３０４は、重み付けをした度数の総和をスコアとして視差分布を評価し、スコアが最大となるときの視差の調整量を求める。
【００３８】
図６は、視差の調整量を求めるための重み付けの一例を模式的に示した図である。図６に示す重み付けは、図５（ｂ）に示す例のように視差が０となる画素が多くなり、かつ、表示デバイスの奥側に定位する映像が多くなるような調整量を求めるための例である。図６に示すように視差の絶対値が大きいほど小さな重みとなり、かつ、視差が正の場合の重みの方が、視差が負の場合の重みよりも、視差の絶対値に対する重みの減少量が大きい。このような重みを度数に乗じた後に、その度数の総和をスコアとして算出すると、視差が０付近となる画素が多くなり、かつ、表示デバイスの奥側に定位する映像が多くなるときにスコアが大きくなる。調整量を変更しつつそのスコアを評価し、スコアの高い調整量を採用すれば、所望の視差画像が得られる。このように、目標とする映像が定まれば、そのような映像の視差分布のスコアが高くなるように重み付けを設計することにより、視差の調整量を計算で求めることができる。
【００３９】
図４に戻り、視差画像生成部４０６は、視差レンジ制御部４０４によって制御された範囲内において、視差設定部４０２が取得した視差の調整量をもとに調整を施した視差画像を生成する。ここで拡縮部１２がユーザからの指示を受けて視差画像を拡大すると、その拡大率に比例して視差画像間の視差も拡大する。そこで視差レンジ制御部４０４は、拡縮部１２が拡大した左目用の視差画像と右目用の視差画像と間の視差分布が、最大視差レンジを超えないように、視差画像間のずれ量としての視差の調整量を制御する。具体的には、画像の拡大に伴って拡大された視差を小さくするように調整量を制御する。
【００４０】
図７は、エラー判定部５００の内部構造を模式的に示した図である。エラー判定部５００は、定位エラー判定部５０２、視差エラー判定部５０４、およびエラー通知部５０６を含む。
【００４１】
定位エラー判定部５０２は、拡縮部１２から取得した左目用の視差画像と右目用の視差画像とが、３次元の画像として定位する立体画像であるか否かを判定する。具体的には、定位エラー判定部５０２は以下に述べる３種類の判定を実行する。
【００４２】
第１に、定位エラー判定部５０２は、信頼性判定部１８から取得した左目用の視差画像と右目用の視差画像とのマッチングの信頼度をもとに、両画像が３次元の画像として定位する立体画像であるか否かを判定する。具体的には、定位エラー判定部５０２は左目用の視差画像のマッチングの信頼度と右目用の視差画像のマッチングの信頼度とのいずれかあるいは両方について、そのマッチングの信頼度の割合が所定の割合以下となる場合に、両画像は３次元の画像として定位しないと判断する。マッチングの信頼度による定位エラーの判定基準となる割合はサンプル画像を集めて実験により定めればよい。マッチングの信頼度による定位エラーを用いると、視差画像間の関係に依存せず１枚の画像の特性のみから立体画像としての成立性を判断できる。左目用の視差画像と右目用の視差画像とを利用する場合であっても、それぞれの視差画像に閉じた特性を独立に用いて成立性を判定する。
【００４３】
第２に、定位エラー判定部５０２は、輝度取得部１６から取得した左目用の視差画像および右目用の視差画像それぞれの画像の輝度分布をもとに、両画像が３次元の画像として定位する立体画像であるか否かを判断する。具体的には、定位エラー判定部５０２は左目用の視差画像の輝度値の分布と、右目用の視差画像の輝度値の分布との差異が所定の割合以上となる場合に、両画像は３次元の画像として定位しないと判断する。同一の被写体を異なる角度から見た場合の画像同士であれば、その輝度分布も類似するからである。輝度分布による定位エラーの判定基準となる割合はサンプル画像を集めて実験により定めればよい。
【００４４】
第３に、定位エラー判定部５０２は、マッチング部２００内の両方向判定部２０４から取得した、視差画像に撮像されている被写体のマッチングを両方向から行った結果をもとに、視差画像が３次元の画像として定位する立体画像であるか否かを判断する。具体的には、定位エラー判定部５０２は、左目用の視差画像を基準とした場合の右目用の視差画像のずれ量の絶対値の総和に対する、その逆の場合のずれ量の総和の割合が所定の割合以上異なる場合に、両画像は３次元の画像として定位しないと判断する。同一の被写体を異なる角度から見た場合の画像同士であって、そのマッチングが適切になされていれば、いずれの視差画像を基準としてずれ量を求めても、その結果は類似するはずだからである。両方向判定部２０４による両方向の判定結果を用いた定位エラーの判定基準となる割合はサンプル画像を集めて実験により定めればよい。
【００４５】
上述の３つの判定はいずれも、左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断するものである。定位エラー判定部５０２は、視差画像に共通に撮像されている被写体の対応関係が見つからない場合、その旨をエラー通知部５０６に出力する。
【００４６】
視差エラー判定部５０４は、表示画像生成部４００内の視差画像生成部４０６が生成した視差画像に撮像されている被写体の視差分布が、最大視差レンジ内に収まるか否かを判定する。具体的には、視差エラー判定部５０４は、最大視差レンジ取得部２０から最大視差レンジを、視差算出部３００内の視差分布算出部３０２から視差画像の視差分布を、および視差画像生成部４０６から視差の調整量をそれぞれ取得して、視差調整後の視差分布が最大視差レンジを外れるか否かを判断する。
【００４７】
エラー通知部５０６は、定位エラー判定部５０２から視差画像が３次元の立体画像として定位するか否かの判断を、視差エラー判定部５０４から視差画像生成部４０６が生成した視差画像に撮像されている被写体の視差分布が、最大視差レンジ内に収まるか否かの判断をそれぞれ取得してその結果を統合する。立体画像として定位しないとの判定か、被写体の視差分布が最大視差レンジ内に収まらないとの判定かの少なくとも一方の判定を取得すると、エラー通知部５０６はその旨を表示デバイスに出力してユーザに通知する。立体画像を表示デバイスに表示するのに先立ってその画像が３次元画像として定位するか否か、その視差分布が適切か否かを判断してその結果をユーザに通知することで、ユーザはどのような画像が表示されるかを知ることができる。
【００４８】
図８は、視差の分布のと最大視差レンジとの関係の一例を模式的に示した図である。図８の各図において、横軸上の点Ａを通る破線と点Ｂを通る破線とに挟まれた領域が、最大視差レンジである。図８（ａ）に示す例では、視差画像の視差分布が最大視差レンジの中に収まっている。具体的には、視差画像の視差分布において、視差の最小値Ｂは最大視差レンジの最小値Ａよりも大きく、かつ、視差の最大値Ｃは最大視差レンジの最大値Ｄよりも小さい。このような場合、視差エラー判定部５０４は、その視差画像の視差分布が最大視差レンジに収まっていると判断する。
【００４９】
図８（ｂ）は、視差の分布のと最大視差レンジとの関係の別の例を示した図である。図８（ｂ）に示す例では、視差画像の視差分布の最小値Ｂが、最大視差レンジの最小値Ａを下回っている。このような場合、視差エラー判定部５０４は、その視差画像の視差分布が最大視差レンジを外れていると判断する。
【００５０】
なお、図８（ａ）に示す例において、最大視差レンジの最小値Ａから視差の最小値Ｂまでの差分、および視差の最大値Ｃから最大視差レンジの最大値Ｄまでの差分が、視差レンジ制御部４０４が求める調整可能な視差の範囲となる。
【００５１】
表示画像生成部４００内の視差画像生成部４０６は、視差エラー判定部５０４が差画像の視差分布が最大視差レンジに収まっていると判断した場合、表示用の視差画像を生成する。視差画像生成部４０６はまた、定位エラー判定部５０２が左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像でないと判断した場合、左目用の視差画像または右目用の視差画像のいずれかを表示用の画像として生成する。３次元的に定位する立体画像としては表示できなくとも、いずれかの視差画像を表示することにより、ユーザはその画像を確認することができる。
【００５２】
視差画像生成部４０６はさらに、視差エラー判定部５０４が、視差画像の視差分布が最大視差レンジを外れると判断した場合、最大視差レンジを外れる視差を持つ画像領域と、最大視差レンジの範囲内である画像の領域とを異なる処理手法により表示用の視差画像を生成する。具体的には、最大視差レンジを外れる視差を持つ画像領域の輝度値を大きくしたり、色相を回転して赤みを帯びさせたりする。これにより、ユーザが最大視差レンジの範囲内である画像の領域をトリミングして、３次元画像として鑑賞に堪えうる画像を作成する際の支援をすることができる。
【００５３】
図９は、実施の形態に係る画像処理装置１００の各部の処理手順を時系列的に示すフローチャートである。以下に示すフローチャートにおいては、各部の処理手順を、ステップを意味するＳ（Ｓｔｅｐの頭文字）と数字との組み合わせによって表示する。また、Ｓと数字との組み合わせによって表示した処理で何らかの判断処理が実行され、その判断結果が肯定的であった場合は、Ｙ（Ｙｅｓの頭文字）を付加して、例えば、（Ｓ１２のＹ）と表示し、逆にその判断結果が否定的であった場合は、Ｎ（Ｎｏの頭文字）を付加して、（Ｓ１２のＮ）と表示する。本フローチャートにおける処理は、画像処理装置１００が起動したときに開始する。
【００５４】
指示受付部１４は、ユーザから画像を拡縮して表示するか否かの指示を取得する（Ｓ１０）。ユーザから拡縮すべき指示を取得した場合（Ｓ１２のＹ）、拡縮部１２は画像データ記憶部１０から取得した左目用および右目用の視差画像を拡縮する（Ｓ１４）。ユーザから拡縮すべき指示を取得しない場合（Ｓ１２のＮ）、拡縮部１２は画像データ記憶部１０から画像を取得するのみで、拡縮はしない。
【００５５】
信頼性判定部１８およびマッチング部２００は、それぞれ拡縮部１２から視差画像を取得し、視差算出のための前処理を実行する（Ｓ１６）。視差算出部３００は、全段の前処理ステップＳ１６の処理結果をもとに、拡縮部１２から取得した視差画像の視差分布を算出する（Ｓ１８）。表示画像生成部４００は、拡縮部１２から取得した視差画像に対して視差の調整を施した後に表示用の視差画像を生成する（Ｓ２０）。エラー判定部５００は、輝度取得部１６から取得した視差画像の輝度の判定結果、前述の前処理ステップＳ１６の処理結果、視差算出部３００の算出した視差分布、表示画像生成部４００から取得した視差の調整量、および最大視差レンジ取得部２０から取得した最大視差レンジをもとに、視差画像が３次元画像としての信頼性があるか否かを判定する（Ｓ２２）。
【００５６】
表示画像生成部４００は、エラー判定部５００による信頼性判定の結果、３次元画像として定位する適正な立体画像と判断された場合（Ｓ２４のＹ）、その画像を表示デバイスに表示する（Ｓ２６）。エラー判定部５００による信頼性判定の結果、３次元画像として定位しないか、定位するとしてもその視差が大きな画像と判断された場合（Ｓ２４のＮ）、エラー判定部５００はその旨をエラーとして表示デバイスに表示する（Ｓ２８）。表示画像生成部４００が画像を表示するか、あるいはエラー判定部５００がエラーを表示すると、本フローチャートにおける処理は終了する。
【００５７】
図１０は、マッチング部２００における処理の流れを説明するフローチャートであり、図９におけるステップＳ１６の詳細を示す図である。
【００５８】
信頼性判定部１８は、拡縮部１２から左目用の視差画像と右目用の視差画像とを取得し両画像の「マッチングの信頼度」を算出する（Ｓ３０）。ＤＰマッチング部２０２は、左目用の視差画像と右目用の視差画像との間でＤＰマッチングを取ることによって両画像に共通に含まれる被写体の対応関係を求め、そのずれ量を求める（Ｓ３２）。
【００５９】
両方向判定部２０４は、ＤＰマッチング部２０２が左目用の視差画像を基準として右目用の視差画像の対応関係を求めること、および右目用の視差画像を基準として左目用の視差画像の対応関係を求めることとの両方向から対応関係を求めたか否かを確認し、両方向からのマッチングによる対応関係の取得が終了していない場合（Ｓ３４のＮ）、ＤＰマッチング部２０２にマッチングを実行させる。両方向からのマッチングによる対応関係の取得が終了すると（Ｓ３４のＹ）、処理は終了する。
【００６０】
図１１は、視差算出部３００における処理の流れを説明するフローチャートであり、図９におけるステップＳ１８の詳細を示す図である。
【００６１】
視差分布算出部３０２は、信頼性判定部１８から視差画像のマッチングの信頼度を取得し、ＤＰマッチング部２０２から取得した左目用の視差画像と右目用の視差画像とのマッチング情報のうち、両画像中のマッチングの信頼度の高い領域についての視差の分布を算出する（Ｓ３６）。最適視差算出部３０４は、視差分布算出部３０２から取得した視差の分布をもとに、表示デバイスに表示する視差画像の視差の調整量を算出する（Ｓ３８）。最適視差算出部３０４が視差画像の視差の調整量を算出すると処理は終了する。
【００６２】
図１２は、表示画像生成部４００における処理の流れを説明するフローチャートであり、図９におけるステップＳ２０の詳細を示す図である。
【００６３】
視差設定部４０２は、指示受付部１４を介してユーザから、および最適視差算出部３０４からそれぞれ視差の調整量を取得する（Ｓ４０）。視差レンジ制御部４０４は、最大視差レンジ取得部２０から取得した最大視差レンジと、視差算出部３００内の視差分布算出部３０２から取得した視差画像間の視差の分布に基づいて、調整可能な視差の範囲が最大視差レンジを超えないように視差のレンジを設定する（Ｓ４２）。視差画像生成部４０６は、視差レンジ制御部４０４によって制御された範囲内において、視差設定部４０２が取得した視差の調整量をもとに調整を施した視差画像を生成する（Ｓ４４）。視差画像生成部４０６が視差画像を生成すると処理は終了する。
【００６４】
図１３は、エラー判定部５００における処理の流れを説明するフローチャートであり、図９におけるステップＳ２２の詳細を示す図である。
【００６５】
定位エラー判定部５０２が、拡縮部１２から取得した左目用の視差画像と右目用の視差画像とが、３次元の画像として定位する立体画像であるか否かを判断する（Ｓ４６）のと並行して、視差エラー判定部５０４は、表示画像生成部４００内の視差画像生成部４０６が生成した視差画像間の視差分布が最大視差レンジ内に収まるか否かを求めることにより、視差の観点から見たエラーの有無を判断する（Ｓ４８）。エラー通知部５０６は、定位エラー判定部５０２と視差エラー判定部５０４との判定結果を統合する（Ｓ５０）。３次元の画像として定位しないか、あるいは視差分布が最大視差レンジ内に収まらないかの少なくとも一方のエラーが存在する場合（Ｓ５２のＹ）、エラー通知部５０６は、その旨のメッセージを表示デバイスに表示することによりユーザに通知する（Ｓ５４）。いずれのエラーも存在しないか（Ｓ５２のＮ）、エラー通知部５０６がエラーを通知すると、処理は終了する。
【００６６】
以上の構成による動作は以下のとおりである。ユーザは実施の形態に係る画像処理装置１００を起動して左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示しようとすると、エラー判定部５００は、その立体画像がユーザの鑑賞に堪えうるかどうかを判定する。判定の結果その立体画像がユーザの鑑賞に堪えうると判断されない場合、その旨を表示デバイスに表示する。また、視差画像間の視差のレンジが広すぎる場合には、その原因となる画像領域を具体的にユーザに提示する。
【００６７】
以上説明したとおり、実施の形態によれば立体画像の鑑賞に伴うユーザの負担を軽減する技術を提供できる。
【００６８】
以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６９】
上記の説明では、表示画像生成部４００内の視差設定部４０２が指示受付部１４を介してユーザから表示デバイスに表示する視差画像の視差の調整量を取得する場合について説明したが、ユーザは、指示受付部１４を介して画像上の任意の位置を指定できるようにしてもよい。視差画像生成部４０６は、ユーザの指定した位置に撮像されている被写体が、表示デバイス付近で定位するように調整して表示用の視差画像を生成する。具体的には、ユーザの指定した位置における視差が０となるように調整すればよい。これにより、調整量を入力する場合と比較して、より直感的な視差調整のユーザインタフェースを提供できるようになる。
【００７０】
上記の説明では、マッチング部２００内のＤＰマッチング部２０２が、左目用の視差画像と右目用の視差画像とのＤＰマッチングを取って、両画像の対応関係を調べる場合について説明したが、対応関係を調べる技術はＤＰマッチングに限らず、例えばテンプレートマッチング等、既知のマッチング技術を利用すればよい。
【００７１】
上記の説明では、定位エラー判定部５０２と視差エラー判定部５０４とが並行して同時に実行される場合について説明したが、定位エラー判定部５０２が３次元の画像として定位する立体画像でないと判断した場合に視差エラー判定部５０４を実行するようにしてもよい。３次元画像として定位しない画像ペアについての視差を求める必要はない場合が多いからである。この場合、視差エラーの判定にかかる計算コストを抑制できる点で有利である。
【符号の説明】
【００７２】
１０ 画像データ記憶部、 １２ 拡縮部、 １４ 指示受付部、 １６ 輝度取得部、 １８ 信頼性判定部、 ２０ 最大視差レンジ取得部、 １００ 画像処理装置、 ２００ マッチング部、 ２０２ ＤＰマッチング部、 ２０４ 両方向判定部、 ３００ 視差算出部、 ３０２ 視差分布算出部、 ３０４ 最適視差算出部、 ４００ 表示画像生成部、 ４０２ 視差設定部、 ４０４ 視差レンジ制御部、 ４０６ 視差画像生成部、 ５００ エラー判定部、 ５０２ 定位エラー判定部、 ５０４ 視差エラー判定部、 ５０６ エラー通知部。
【特許請求の範囲】
【請求項１】
被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断する定位エラー判定部と、
左目用の視差画像と右目用の視差画像とが立体画像として定位すると判断された場合、その視差画像間の視差分布のレンジが、所定の視差レンジの範囲内となるか否かを判断する視差エラー判定部と、
左目用の視差画像と右目用の視差画像とが、立体画像として定位しないと判断されるか、両画像間の視差分布のレンジが視差レンジの範囲を外れると判断されるか、の少なくとも一方に該当する場合、その旨を通知するエラー通知部とを含むことを特徴とする画像処理装置。
【請求項２】
左目用の視差画像と右目用の視差画像との間の関係に依存せず、左目用の視差画像と右目用の視差画像との画像内に閉じた特性から定まる特徴をもとに両画像間のマッチングの信頼性が確立できる領域を求める信頼性判定部をさらに含み、
前記定位エラー判定部は、視差画像全体に対する、前記視差画像間のマッチングの信頼性が確立できる領域の占める割合が所定の割合以下の場合、その視差画像が３次元の画像として定位する立体画像でないと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
左目用の視差画像と右目用の視差画像との間で対応し合う領域を求めるマッチング部と、
前記マッチング部が求めた視差画像間で対応し合う領域と、前記マッチングの信頼性が確立できる領域とのふたつの領域に含まれる領域における視差の分布を算出する視差分布算出部と、
前記視差分布算出部が算出した視差分布をもとに、視差を調整して表示用の視差画像を生成する表示画像生成部とをさらに含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像でないと判断された場合、前記左目用の視差画像または右目用の視差画像のいずれかを表示用の画像として生成する表示画像生成部とをさらに含むことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該表示デバイスの大きさをもとに当該表示デバイスで表示する最大の視差レンジを取得する最大視差レンジ取得部と、
前記左目用の視差画像と右目用の視差画像との間の視差分布が前記最大の視差レンジを超えないように、前記左目用の視差画像と右目用の視差画像との間の視差を調整する視差レンジ制御部とを含むことを特徴とする画像処理装置。
【請求項６】
前記視差レンジ制御部による視差の調整後も前記視差分布が前記最大の視差レンジを外れる場合、前記最大の視差レンジを外れる視差を持つ画像領域を、前記最大の視差レンジの範囲内である画像の領域とは異なる処理手法にて表示用の視差画像を生成する表示画像生成部をさらに含むことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
視差画像上の位置の指定を受け付ける指示受付部と、
指定された位置に撮像されている被写体が、表示デバイス付近で定位するように調整して視差画像を生成する表示画像生成部とをさらに含むことを特徴とする請求項５または６のいずれかに記載の画像処理装置。
【請求項８】
前記左目用の視差画像と右目用の視差画像とを拡大または縮小する拡縮部とをさらに含み、
前記視差レンジ制御部は、前記拡縮部が拡大した左目用の視差画像と右目用の視差画像との間のずれ量としての視差が、前記最大の視差レンジを超えないように視差を調整することを特徴とする請求項５から７のいずれかに記載の画像処理装置。
【請求項９】
被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断するステップと、
左目用の視差画像と右目用の視差画像とが立体画像として定位すると判断された場合、その視差画像間の視差分布のレンジが、所定の視差レンジの範囲内となるか否かを判断するステップと、
左目用の視差画像と右目用の視差画像とが、立体画像として定位しないと判断されるか、両画像の視差分布のレンジが視差レンジの範囲を外れると判断されるか、の少なくとも一方に該当する場合、その旨を通知するステップとをプロセッサに実行させることを特徴とする画像処理方法。
【請求項１０】
被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断する機能と、
左目用の視差画像と右目用の視差画像とが立体画像として定位すると判断された場合、その視差画像間の視差分布のレンジが、所定の視差レンジの範囲内となるか否かを判断する機能と、
左目用の視差画像と右目用の視差画像とが、立体画像として定位しないと判断されるか、両画像の視差分布のレンジが視差レンジの範囲を外れると判断されるか、の少なくとも一方に該当する場合、その旨を通知する機能とをコンピュータに実現させることを特徴とするプログラム。
【請求項１】
被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断する定位エラー判定部と、
左目用の視差画像と右目用の視差画像とが立体画像として定位すると判断された場合、その視差画像間の視差分布のレンジが、所定の視差レンジの範囲内となるか否かを判断する視差エラー判定部と、
左目用の視差画像と右目用の視差画像とが、立体画像として定位しないと判断されるか、両画像間の視差分布のレンジが視差レンジの範囲を外れると判断されるか、の少なくとも一方に該当する場合、その旨を通知するエラー通知部とを含むことを特徴とする画像処理装置。
【請求項２】
左目用の視差画像と右目用の視差画像との間の関係に依存せず、左目用の視差画像と右目用の視差画像との画像内に閉じた特性から定まる特徴をもとに両画像間のマッチングの信頼性が確立できる領域を求める信頼性判定部をさらに含み、
前記定位エラー判定部は、視差画像全体に対する、前記視差画像間のマッチングの信頼性が確立できる領域の占める割合が所定の割合以下の場合、その視差画像が３次元の画像として定位する立体画像でないと判断することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
左目用の視差画像と右目用の視差画像との間で対応し合う領域を求めるマッチング部と、
前記マッチング部が求めた視差画像間で対応し合う領域と、前記マッチングの信頼性が確立できる領域とのふたつの領域に含まれる領域における視差の分布を算出する視差分布算出部と、
前記視差分布算出部が算出した視差分布をもとに、視差を調整して表示用の視差画像を生成する表示画像生成部とをさらに含むことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像でないと判断された場合、前記左目用の視差画像または右目用の視差画像のいずれかを表示用の画像として生成する表示画像生成部とをさらに含むことを特徴とする請求項１から３のいずれかに記載の画像処理装置。
【請求項５】
被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該表示デバイスの大きさをもとに当該表示デバイスで表示する最大の視差レンジを取得する最大視差レンジ取得部と、
前記左目用の視差画像と右目用の視差画像との間の視差分布が前記最大の視差レンジを超えないように、前記左目用の視差画像と右目用の視差画像との間の視差を調整する視差レンジ制御部とを含むことを特徴とする画像処理装置。
【請求項６】
前記視差レンジ制御部による視差の調整後も前記視差分布が前記最大の視差レンジを外れる場合、前記最大の視差レンジを外れる視差を持つ画像領域を、前記最大の視差レンジの範囲内である画像の領域とは異なる処理手法にて表示用の視差画像を生成する表示画像生成部をさらに含むことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
視差画像上の位置の指定を受け付ける指示受付部と、
指定された位置に撮像されている被写体が、表示デバイス付近で定位するように調整して視差画像を生成する表示画像生成部とをさらに含むことを特徴とする請求項５または６のいずれかに記載の画像処理装置。
【請求項８】
前記左目用の視差画像と右目用の視差画像とを拡大または縮小する拡縮部とをさらに含み、
前記視差レンジ制御部は、前記拡縮部が拡大した左目用の視差画像と右目用の視差画像との間のずれ量としての視差が、前記最大の視差レンジを超えないように視差を調整することを特徴とする請求項５から７のいずれかに記載の画像処理装置。
【請求項９】
被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断するステップと、
左目用の視差画像と右目用の視差画像とが立体画像として定位すると判断された場合、その視差画像間の視差分布のレンジが、所定の視差レンジの範囲内となるか否かを判断するステップと、
左目用の視差画像と右目用の視差画像とが、立体画像として定位しないと判断されるか、両画像の視差分布のレンジが視差レンジの範囲を外れると判断されるか、の少なくとも一方に該当する場合、その旨を通知するステップとをプロセッサに実行させることを特徴とする画像処理方法。
【請求項１０】
被写体の左目用の視差画像と右目用の視差画像とを含む立体画像を表示デバイスに表示するのに先立って、当該左目用の視差画像と右目用の視差画像とが３次元の画像として定位する立体画像であるか否かを判断する機能と、
左目用の視差画像と右目用の視差画像とが立体画像として定位すると判断された場合、その視差画像間の視差分布のレンジが、所定の視差レンジの範囲内となるか否かを判断する機能と、
左目用の視差画像と右目用の視差画像とが、立体画像として定位しないと判断されるか、両画像の視差分布のレンジが視差レンジの範囲を外れると判断されるか、の少なくとも一方に該当する場合、その旨を通知する機能とをコンピュータに実現させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−１９３６５（Ｐ２０１２−１９３６５Ａ）
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願番号】特願２０１０−１５５２７６（Ｐ２０１０−１５５２７６）
【出願日】平成２２年７月７日（２０１０．７．７）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
【公開日】平成２４年１月２６日（２０１２．１．２６）
【国際特許分類】
【出願日】平成２２年７月７日（２０１０．７．７）
【出願人】（３１００２１７６６）株式会社ソニー・コンピュータエンタテインメント (417)
【Ｆターム（参考）】
[ Back to top ]