情報処理装置
【課題】画像データの立体視の適否を判定し、不要なデータを削除してデータ容量を最適化するとともに、ユーザの眼精疲労発生等を防止する。
【解決手段】多眼画像データのそれぞれに含まれる対象物の領域を検出する領域検出部１１１と、対象物の特徴量を抽出する特徴量抽出部１１２と、対象物の視差ベクトルを検出する視差ベクトル検出部１２１と、対象物のサイズ差を検出するサイズ差検出部１２２と、対象物の特徴量により各画像データの対象物が一致するか、視差ベクトルが所定の範囲内であるか、サイズ差が所定の範囲内であるの判定結果の少なくとも１つを利用して、立体画像の表示に適している画像データであるかを判定する立体視判定部１３１と、立体視判定部の判定結果に基いて、立体画像の表示に適していないと判定された画像データを削除する立体画像変換部１４とを備える。
【解決手段】多眼画像データのそれぞれに含まれる対象物の領域を検出する領域検出部１１１と、対象物の特徴量を抽出する特徴量抽出部１１２と、対象物の視差ベクトルを検出する視差ベクトル検出部１２１と、対象物のサイズ差を検出するサイズ差検出部１２２と、対象物の特徴量により各画像データの対象物が一致するか、視差ベクトルが所定の範囲内であるか、サイズ差が所定の範囲内であるの判定結果の少なくとも１つを利用して、立体画像の表示に適している画像データであるかを判定する立体視判定部１３１と、立体視判定部の判定結果に基いて、立体画像の表示に適していないと判定された画像データを削除する立体画像変換部１４とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像を表す多眼画像データを扱う情報処理装置に関する。
【背景技術】
【０００２】
異なる角度から撮像された画像を立体画像にして表示する表示装置としては、２箇所から撮像した画像を右眼用画像と左眼用画像として双方の表示画面上に表示し、視認者に専用の眼鏡を掛けさせその眼鏡によりそれらの画像を切り分けて視認させて視認者に立体視させるものや、表示画面にレンチキュラーレンズを並べて貼り付けてそれらのレンズにより右眼と左眼とにそれぞれ右眼用画像と左眼用画像とを識別させて視認者に立体視させるもの等が一般的に知られている。
【０００３】
また、画像から顔の特徴を抽出して人の顔を検出する技術を活用し、複数の撮像部を駆動させ輻輳角を調整することによって視認者に立体視を行なわせるのに適した画像データを生成することができる技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１の技術の場合、立体画像の近景やテレ端では、視差が過大になりやすく、撮像装置と被写体（以後の説明において、対象物ともいう）との距離が撮影中に変化した場合、複数の撮像部の輻輳が追従しきれないことがある。また、立体動画の撮影においては、輻輳変化が視聴者にとって追従できないほど速いことがある。
【０００６】
さらに、複数の撮像部の位置や方向が調整可能で、撮影方向の中心に被写体がいないとき、複数の撮像部間の距離、あるいは、輻輳状態によって生じる、各撮像部から被写体までの距離の差によって、立体視が困難な画像となる、あるいは見難い画像となる等の問題が発生することがある。
【０００７】
また、２つの撮像部により右眼用画像と左眼用画像を撮像して１つの立体画像とする場合、各撮像部から被写体までの距離が同一であるとは限らない。そのため、同一の被写体であっても、各撮像部の画像では被写体の大きさが異なることもある。さらに、撮像中に被写体が動いた場合、被写体での左右の視差が大きすぎて立体視できないこともある。
【０００８】
また、複数の撮像部の輻輳角が小さい場合、右眼用画像と左眼用画像の撮像領域はほぼ一致する。しかし、複数の撮像部の輻輳角が大きい場合、右眼用画像と左眼用画像の撮像領域は、立体視の許容範囲外の差が生じ、大きく異なることがある。
【０００９】
さらに、２回撮りや時差撮りで別々に撮像された画像を用いて立体視画像とする場合、例えば１回目の撮像後、およその画角調整を行って、視差量と視差の方向を示す視差ベクトルをもとに、自動調整することは可能であるが、輻輳角が大きい場合、飛び出し側の被写体と引き込み側の風景との位置関係によっては調整範囲を超える領域が生じる。また、飛び出し側からニュートラルまでに位置する被写体が、画面に対する比率が大きい場合、引き込み方向に位置する領域では一方の撮像部にしか映らない場合がある。これは、複数の撮像部の位置や方向の調整が可能な場合でも同様である。
【００１０】
以上のような状況下で、立体視に適さない右眼用画像と左眼用画像の画像データが撮像されると、記憶部に不要な画像データが記録され、多くの記録容量が必要となる。また、立体視に不適切な画像をユーザが観ることによって眼精疲労発生等の危険もある。
【００１１】
本発明は、上記課題に鑑み、画像データの立体視の適否を判定し、不要なデータを削除や圧縮して記憶部のデータ容量を最適化するとともに、ユーザの眼精疲労発生等を防止する情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の特徴に係る情報処理装置は、撮像された複数の多眼画像データから、各画像データに含まれる対象物の領域を検出する領域検出部（１１１）と、前記領域検出部で検出された対象物の特徴量を抽出する特徴量抽出部（１１２）と、前記領域検出部で検出された各画像データで対応する対象物の視差ベクトルを検出する視差ベクトル検出部（１２１）と、前記領域検出部で検出された各対象物のサイズ差を検出するサイズ差検出部（１２２）と、前記特徴量抽出部で抽出された対象物の特徴量により、各画像データに含まれるそれぞれの対象物が一致するか否かの判定結果と、前記視差ベクトル検出部で検出された視差ベクトルが所定の範囲内であるか否かの判定結果と、前記サイズ差検出部で検出されたサイズ差が所定の範囲内であるか否かの判定結果との少なくともいずれかの判定結果を利用して、立体画像の表示に適している画像データであるか否かを判定する立体視判定部（１３１）と、前記立体視判定部の判定結果を利用して、立体画像の表示に適していないと判定された場合、前記同時に撮像された複数の多眼画像データのうち、少なくとも１つの画像データを削除する立体画像変換部（１４）とを備える。
【発明の効果】
【００１３】
本発明の情報装置によれば、画像データの立体視の適否を判定し、不要な画像データの削除や圧縮を行ってデータ容量を最適化するとともに、ユーザの眼精疲労発生等を防止することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る情報処理装置の立体画像最適化部の構成を説明する機能ブロック図である。
【図２】図１に示す立体画像最適化部を有する情報処理装置の構成を説明する機能ブロック図である。
【図３】図２に示す立体画像撮像装置の構成を説明する概略図である。
【図４】図３に示す立体画像撮像装置で撮像された画像データの一例である。
【図５】図４に示す画像データから検出された対象物の領域を説明する図である。
【図６】画像データの対象物の領域の特徴量を抽出する一例である。
【図７】対象領域が検出された右眼用画像と左眼用画像とを重ね合わせた画像図である。
【図８】重ね合わせた画像のサイズと、対象領域のサイズと位置について説明する図である。
【図９】右眼用画像及び左眼用画像から検出された対象領域の数の比較について説明する一例である。
【図１０】右眼用画像及び左眼用画像から検出された対象領域のサイズの比較について説明する一例である。
【図１１】視差について説明する概略図である。
【図１２】図１に示す立体画像最適化部の立体視判定の処理の一例を説明するフローチャートである。
【図１３】図１に示す立体画像最適化部の処理一例を説明するフローチャートである。
【図１４】画像データの一部の削除を促がす表示画面の一例である。
【図１５】画像データの一部の削除を促がす表示画面の他の例である。
【図１６】画像データの一部が削除されてデータ量が削減された画像データの一例である。
【発明を実施するための形態】
【００１５】
以下、図面を用いて本発明の実施の形態について説明する。
【００１６】
図１は、本発明の実施形態に係る情報処理装置１の立体画像最適化部の構成を示すブロック図である。本発明に係る立体画像最適化部１０は、画像データを立体画像として表示する際、画像データが立体視に適しているか否かを判定し、適していない場合には、立体視しないようにデータ処理を行い、データ容量を最適化する。
【００１７】
図１の立体画像最適化部１０は、図２に示す情報処理装置１で利用される。情報処理装置１は、立体画像最適化部１０の他、立体画像として表示するための画像を撮像する立体画像撮像装置２０と、画像データを処理する画像処理部３０と、撮像された画像データや処理される画像データを記憶する半導体メモリ、ハードディスクドライブ又は光ディスク等で構成される記憶部４０と、各部の処理を制御する制御部５０と、制御部５０を介して情報処理装置１を操作するスイッチやボタン等を有する操作部６０と、画像処理部３０で処理された画像データを表示する表示部７０と、操作部６０によって入力された情報に基いて、表示部７０にグラフィック表示を表示させるグラフィック部８０を備えている。
【００１８】
立体画像撮像装置２０は、図３に示すように、それぞれ不図示の撮像光学系と撮像素子とを有する２つの撮像部２１ａ，２１ｂを備え、撮像部２１ａ，２１ｂで撮像した画像データを画像処理部３０に出力する。各撮像部２１ａ，２１ｂは、一方の撮像部が撮像する画像を右眼用画像（以後の説明において、右画像ともいう）Ｒｃｈとし、他方の撮像部が撮像する画像が左眼用画像（以後の説明において、左画像ともいう）Ｌｃｈとなるように輻輳角が調節されている。
【００１９】
画像処理部３０は、図４に示すように、撮像部２１ａと撮像部２１ｂでそれぞれ撮像された右画像Ｒｃｈと左画像Ｌｃｈの画像データを１コマとしてサイドバイサイド形式で符号化する。また、画像処理部３０は、制御部５０の制御に基いて、符号化された画像データを、記憶部４０に供給して保存させる。
【００２０】
再び図１に戻って説明する。立体画像最適化部１０は、図１に示すように、画像処理部３０から供給される画像データから対象物を抽出する対象物抽出部１１と、対象物抽出部１１から供給される画像データの比較処理を行って視差量と視差の方向を示す視差ベクトルを検出する視差検出部１２と、視差検出部１２から供給される画像データのデータ変換のための処理を実行する画像変換制御部１３と、画像処理部３０から供給される立体画像データを変換する立体画像変換部１４とを備えている。
【００２１】
具体的には、対象物抽出部１１は、画像データから対象物の領域を検出する領域検出部１１１と画像データから領域検出部１１１で検出された領域内の対象物の特徴量を抽出する特徴量抽出部１１２を有している。
【００２２】
図５は、領域検出部１１１によって対象物として人物の顔の領域が検出された画像データの一例である。また、特徴量抽出部１１２は、図５に示すように対象物として人物の顔の領域を検出した場合、図６に示すように、右画像Ｒｃｈの人物の顔の領域Ａ，Ｂから各顔の特徴量と、左画像Ｌｃｈの人物の顔の領域Ａ’，Ｂ’から各顔の特徴量とを求める。そして、右画像Ｒｃｈの各顔の特徴量と対応する左画像Ｌｃｈの各顔の特徴量を比較して相関度を求めて、その相関度から右画像Ｒｃｈと左画像Ｌｃｈにおいて同一の人物であるか否かを特定する。なお、例えば特許文献１等に記載の公知技術により、対象物（例えば、人物の顔）の領域検出や対象物（例えば、人物の顔）の特徴量の抽出をすることができる。
【００２３】
なお、領域検出部１１１は、検出した対象物の大きさ、輝度、合焦点位置からの距離等に基いて、対象物の重要度を判断し、重要でないと判断した対象物を領域検出結果から除外してもよい。また、記憶部４０は、予め対象物（例えば、人物の顔）の特徴量やその対象物の重要度を含めて記憶しておいてもよい。その場合、特徴量抽出部１１２は、新たに検出した対象物の特徴量と予め記憶部４０で記憶されている対象物の特徴量との相関度を求め、記憶部４０で記憶されている重要度に基いて新たに検出した対象物の重要度を判断し、重要でないと判断した対象物を領域検出部１１１の領域検出結果から除外することもできる。なお、記憶部４０で対象物の重要度を記憶せずに、単に対象物の特徴量のみで対象物が重要であるか否かを判断してもよい。
【００２４】
視差検出部１２は、立体画像を構成する右画像Ｒｃｈと左画像Ｌｃｈの画像データから、対象物抽出部１１で抽出された対象物同士から視差ベクトルを求める視差ベクトル検出部１２１と対象物のサイズ差を求めるサイズ差検出部１２２を有している。
【００２５】
図７は、図５で対象物の領域を抽出した右画像Ｒｃｈと左画像Ｌｃｈを重ねた画像である。図８（ａ）は、図７で重ねられた１つの対象物の範囲（検出範囲）Ａ，Ａ’の人物の顔の検出位置を示している。図８に示すように、右画像Ｒｃｈの検出範囲Ａの中心座標を（ｘ０、ｙ０）とし、左画像Ｌｃｈの検出範囲Ａ’の中心の座標を（ｘ１、ｙ１）としたとき、視差ベクトル検出部１２１は、この中心座標の差から平均視差ベクトル（（ｘ１−ｘ０）、（ｙ１−ｙ０））を求める。
【００２６】
また、サイズ差検出部１２２は、各対象物について、右画像Ｒｃｈの検出範囲と左画像Ｌｃｈの検出範囲のサイズ差を検出する。例えば、サイズ差検出部１２２は、対象物が人物の顔であるとき、右画像Ｒｃｈと左画像Ｌｃｈとからそれぞれ図８（ｂ）に示すように人物の顔の検出範囲の高さＫｈと幅Ｋｗを求め、求めた高さＫｈと幅Ｋｗの値の差をサイズ差として求める。
【００２７】
画像変換制御部１３は、画像データが立体視に適しているか否かを判定する立体視判定部１３１と立体視判定部１３１での判定結果を利用して変換内容を特定する変換内容特定部１３２を有している。立体視判定部１３１は、例えば、下記の（１）〜（６）の項目を判定して判定結果を出力する。また、変換内容特定部１３２は、立体視判定部１３１の項目の判定結果を利用して、ユーザに立体画像の表示に関する操作を促がすため、立体視に適さない理由等を表示部７０に表示させて、立体画像の表示に必要な画像データを特定する。このとき、変換内容特定部１３２は、表示部７０にて表示する対象物の検出範囲を表わす枠を点滅させたり、色や輝度を変化させたり、グラフフィックを重畳させる等でユーザに判定結果を知らせるように画像処理部３０を制御する。また、変換内容特定部１３２は、操作部６０を介してユーザからの対象物の選択や削除等の操作信号や立体画像の表示中止の操作信号等が入力された場合には、これに応じて立体画像の表示に必要な画像データを特定してから、立体視判定部１３１での判定や変換内容特定部１３２での処理を行ってもよい。
【００２８】
（１）右画像Ｒｃｈと左画像Ｌｃｈとで検出された対象物の数
立体視判定部１３１は、右画像Ｒｃｈと左画像Ｌｃｈからそれぞれ検出される対象物の数を比較して判定結果を出力する。例えば、図９（ａ）に示すように、右画像Ｒｃｈでは２つの対象物（画像中四角の枠部分）が抽出されたにも関わらず、左画像Ｌｃｈでは１つの対象物（画像中四角の枠部分）が抽出されたとする。このように領域検出部１１１により右画像Ｒｃｈから検出された対象物の数と左画像Ｌｃｈから検出された対象物の数が異なる場合、立体視判定手段１３１は、対象物の数が異なるため、画像データが立体画像の表示に適さない判定結果を出力する。また、右画像Ｒｃｈと左画像Ｌｃｈとで、対象物の数のみだけでなく、立体視判定部１３１は、対象物として認識された物（例えば、人物の顔）が一致するか否かを判定してもよい。
【００２９】
変換内容特定部１３２は、立体視判定部１３１によって検出された対象物の数が異なると判定された場合、例えば図９（ｂ）に示すような左画像Ｌｃｈで検出されなかった対象物の検出範囲を右画像Ｒｃｈ中で特定する画像を表示部７０に表示するように制御し、ユーザに立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００３０】
（２）重要な対象物の検出の有無
記憶部４０は、対象物の特徴量とその対象物の重要度に関するリストを予め記憶する。その場合、立体視判定部１３１は、リストに含まれる重要度が高い対象物（例えば、特定人物の顔など）が右画像Ｒｃｈと左画像Ｌｃｈとからそれぞれ検出されるか否かを判定し、それぞれから検出された場合には、右画像Ｒｃｈと左画像Ｌｃｈとで重要度が高い対象物が含まれているため、画像データが立体画像の表示に適しているか否か他の判定項目における判定に入る。すなわち、全ての検出された対象物に対して全て一律に立体判定をすることなく、重要でない対象物については立体判定しないとすることにより、重要でない対象物の立体視破綻の判定を簡略化することもできる。
【００３１】
また、変換内容特定部１３２は、判定項目（１）と同様に、立体視判定部１３１によって重要度が高い対象物が右画像Ｒｃｈと左画像Ｌｃｈで検出されないと判定された場合、例えば図９（ｂ）に示す、他方の画像で検出されていない検出物を特定する画像を表示部７０に表示し、ユーザに立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００３２】
（３）右画像Ｒｃｈと左画像Ｌｃｈとの対象物のサイズのずれ
立体視判定部１３１は、右画像Ｒｃｈと左画像Ｌｃｈとで同一と確認できた対象物のサイズの差が所定の範囲内であるか否かを判定し、所定の範囲外である場合には、右画像Ｒｃｈと左画像Ｌｃｈとから検出された対象物の差が所定範囲外であるため、画像データが立体画像の表示に適さない判定結果を出力する。
【００３３】
例えば、図３に示すような２眼式の立体画像撮像装置２０によって得られた画像や、２回の撮像によって得られた画像の場合、機器の特性、設定、撮像状態等により、図１０に示すように、右画像と左画像とにサイズ差が生じることがある。同一の対象物のサイズのズレが右画像Ｒｃｈと左画像Ｌｃｈとで大きい場合、右画像Ｒｃｈと左画像Ｌｃｈは融合しにくくなり、表示される立体画像は見難くなる。実験によると、同一の対象物のサイズ差の比率が１．２％以上程度になると表示した立体画像は見難くなるという結果が得られている。したがって、立体視判定部１３１は、サイズ差検出部１２２によって得られた右画像Ｒｃｈと左画像Ｌｃｈとで同一の対象物の検出範囲のサイズを示す高さＫｈ及び幅Ｋｗ差の比率が（１），（２）式を満たすか否かを判定する。
【００３４】
|Ｋｈ1−Ｋｈ0| / Ｋｈ0 < １．０１２ ・・・（１）
|Ｋｗ1−Ｋｗ0| / Ｋｗ0 < １．０１２ ・・・（２）
Ｋｈ0：右画像Ｒｃｈでの検出範囲の高さ
Ｋｗ0：右画像Ｒｃｈでの検出範囲の幅
Ｋｈ1：左画像Ｌｃｈでの検出範囲の高さ
Ｋｗ1：左画像Ｌｃｈでの検出範囲の幅
変換内容特定部１３２は、立体視判定部１３１によって（１），（２）式を満たさないと判定された場合、この判定結果を表示部７０に表示し、ユーザに立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００３５】
なお、この判定結果の出力により、変換内容特定部１３２は、画像処理部３０に、右画像Ｒｃｈと左画像Ｌｃｈでの対象物の検出範囲のサイズ差が許容の範囲内に収まるように一方の画像を拡大または縮小調整させてもよい。
【００３６】
（４）右画像Ｒｃｈと左画像Ｌｃｈとの対象物の位置のずれ
立体視判定部１３１は、右画像Ｒｃｈと左画像Ｌｃｈとで同一と確認できた対象物の位置のずれが所定の範囲内であるか否かを判定し、所定の範囲外である場合には、右画像Ｒｃｈと左画像Ｌｃｈとで対象物の位置が大きくずれているため、画像データが立体画像の表示に適さない判定結果を出力する。
【００３７】
例えば、図３に示すような２眼式の立体画像撮像装置２０によって得られた画像や、２回の撮像によって得られた画像の場合、機器の特性、設定、撮像状態等により、同一の対象物であっても右画像と左画像とでの検出位置が垂直方向で異なることがある。同一の対象物の検出位置のズレが大きい場合、右画像Ｒｃｈと左画像Ｌｃｈは融合しにくくなり、表示される立体画像は見難くなる。実験によると、垂直方向のずれは画面高さに対する比率が０．７％以上程度であるとき、表示した立体画像は見難くなるという結果が得られている。したがって、立体視判定部１３１は、視差ベクトル検出部１２１の検出結果を利用して右画像Ｒｃｈと左画像Ｌｃｈとで同一の対象物の検出範囲の中心の垂直座標の差により垂直方向のずれを求め、垂直方向のずれが（３）式を満たすか否かを判定する。
【００３８】
|ｙ0−ｙ1| / Ｆｈ < ０．００７ ・・・（３）
Ｆｈ：右画像Ｒｃｈまたは左画像Ｌｃｈのどちらかまたは平均の高さ
ｙ0：右画像Ｒｃｈの対象物の検出範囲の中心のｙ座標
ｙ1：左画像Ｌｃｈの対象物の検出範囲の中心のｙ座標
変換内容特定部１３２は、立体視判定部１３１によって（３）式を満たさないと判定された場合、この判定結果を表示部７０に表示し、ユーザに立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００３９】
また、この判定結果の出力により、変換内容特定部１３２は、画像処理部３０に、右画像Ｒｃｈと左画像Ｌｃｈでの対象物の垂直方向のずれが許容範囲内に収まるように画素位置のシフトにより補正させてもよい。
【００４０】
（５）複数ある検出物の視差
立体視判定部１３１は、視差ベクトル検出部１２１で検出された視差の分布範囲が所定の範囲内であるか否かを判定し、分布範囲が所定の範囲外である場合には、画像データが立体画像の表示に適さない判定結果を出力する。具体的には、立体視判定部１３１は、図１１に示すように、一番手前の検出物Ａの視差ａ°と一番奥の検出物Ｂの視差ｂ°との差を判定する。
【００４１】
実験によると、視差の分布範囲が狭い方が左右の画像が融合しやすく、手前の検出物と奥の検出物の視差の分布が、１．０°以下程度の映像が見易いという結果が得られている。したがって、立体視判定部１３１は、一番手前の検出物の視差と一番奥の検出物の視差の分布が（４）式を満たすか否かを判定する。
【００４２】
|ａ−ｂ| < １．０ ・・・（４）
ａ°：検出物Ａの視差
ｂ°：検出物Ｂの視差
変換内容特定部１３２は、立体視判定部１３１によって（４）式を満たさないと判定された場合、この判定結果を表示部７０に表示し、ユーザに立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００４３】
（６）右画像Ｒｃｈと左画像Ｌｃｈとの検出範囲の中心のｘ座標の差分
立体視判定部１３１は、視差ベクトル検出部１２１が検出した水平方向の視差量、すなわち、対象物の検出範囲の中心のｘ座標の差分が所定の範囲内であるか否かを判定し、所定の範囲外である場合には、対象物が水平方向に大きくずれているため、画像データが立体画像の表示に適さない判定結果を出力する。
【００４４】
実験によると、飛出し側の視差量の画面横幅に対する比率が１０％程度、あるいは、横幅２２１ｃｍである１００インチのスクリーンに映したときに引っ込み側の視差量が７ｃｍ、すなわち画面横幅に対する比率が約３％程度を超えると、立体画像が立体に見難くかったり、観察者の気分が悪くなったりする場合があるという結果が得られている。したがって、立体視判定部１３１は、（５）式を満たすか否かを判定する。
【００４５】
-０．０３ <（ｘ1−ｘ0） / Ｆｗ < ０．１ ・・・（５）
視差ベクトル（ｘ1−ｘ0）> 0
d > 0 →飛び出し方向
d < 0 →引き込み方向
とすると
ｘ0：右画像Ｒｃｈの対象物の検出範囲の中心のｘ座標
ｘ1：左画像Ｌｃｈの対象物の検出範囲の中心のｘ座標
Ｆｗ：画面横幅
なお、視差ベクトル（ｘ1−ｘ0）は視差量に相当し、（ｘ1−ｘ0）> 0は飛出し側を示し、（ｘ1−ｘ0）< 0は引っ込み側を示す。
【００４６】
変換内容特定部１３２は、立体視判定部１３１によって（５）式を満たさないと判定された場合、この判定結果を表示部７０に表示し、ユーザに立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００４７】
また、対象物が輻輳点付近の人物の顔だけではなく背景を含む場合で、かつ視差ベクトル検出部１２１が検出した視差ベクトルのスカラー量が極めて０に近い場合、左右の画像が極めて同一であるといえる。したがって、視差ベクトルを含まない多眼画像は立体視の効果が見込めないので、変換内容特定部１３２は、画像データが立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００４８】
なお、視差量が飛び出し方向に所定範囲を超えた場合は、変換内容特定部１３２は、検出領域を白トビなどの効果を加えた立体画像を表示部７０にて表示するように、画像処理部３０を制御する。逆に視差量が引き込み方向に所定範囲を超えた場合は、変換内容特定部１３２は、対象領域を黒しずみさせるなど飛び出し方向と異なる効果を加えた立体画像を表示部７０にて表示するように、画像処理部３０を制御する。
【００４９】
上記の立体視判定部１３１の（１）〜（６）の判定のすべてにおいて、画像データが立体画像の表示に適さない判定結果を出力しなかった場合、変換内容特定部１３２は、画像データが立体画像の表示に適するとの判定結果を立体画像変換部１４へ出力する。なお、上記の立体視判定部１３１の（１）〜（６）の判定はすべて行うことに限定されず、一部の判定のみを行ってもよく、一部の判定結果によって、変換内容特定部１３２は、画像データが立体画像の表示の適否を特定してもよい。
【００５０】
図１２に示すフローチャートを用いて、人物の顔が対象物である場合の立体視判定部１３１における処理の一例について説明する。なお、図１２での処理は、上記の立体視判定部１３１の（１）〜（６）の判定のうち、一部の判定を行うものである。まず、立体視判定部１３１は、領域検出部１１１が右画像Ｒｃｈと左画像Ｌｃｈとから検出した人物の数が一致するか否かを判定する（Ｓ０１）。
【００５１】
右画像Ｒｃｈと左画像Ｌｃｈとに含まれる人物の人数が同一のとき（Ｓ０１でＹＥＳ）、立体視判定部１３１は、右画像Ｒｃｈと左画像Ｌｃｈとで顔が認識された人物が一致するか否かを判定する（Ｓ０２）。立体視判定部１３１は、例えば、特徴量抽出部１１２が抽出した特徴量を利用して対象物（例えば、人物の顔）が一致するか否かを判定する他、検出した人物の顔の大きさ、画像内での人物の位置、フォーカス状態、コントラスト、輝度等を利用して判定してもよい。
【００５２】
右画像Ｒｃｈと左画像Ｌｃｈとで、顔が認識された人物が一致するとき（Ｓ０２でＹＥＳ）、立体視判定部１３１は、右画像Ｒｃｈと左画像Ｌｃｈにおいて、サイズ差検出部１２２で検出された人物のサイズの差が立体画像の表示に許容される範囲であるか否かを判定する（Ｓ０３）。
【００５３】
検出された人物のサイズの差が立体画像の表示に許容されるサイズであるとき（Ｓ０３でＹＥＳ）、立体視判定部１３１は、視差ベクトル検出部１２１で検出された視差ベクトルが立体画像の表示に許容される範囲であるか否かを判定する（Ｓ０４）。
【００５４】
立体視判定部１３１における全ての判定から、右画像Ｒｃｈと左画像Ｌｃｈとから立体画像の表示が困難であるという判定結果が得られないとき（Ｓ０４でＹＥＳ）、変換内容特定部１３２は、画像データが立体視に適当（可能）であるという判定結果を立体画像変換部１４へ出力する（Ｓ０５）。
【００５５】
一方、立体視判定部１３１の少なくともいずれかの判定の結果、右画像Ｒｃｈと左画像Ｌｃｈとから（Ｓ０１〜Ｓ０４のいずれかでＮＯ）、変換内容特定部１３２は、画像データが立体視に不適当であるという判定結果と画像データの変換の候補を立体画像変換部１４へ出力する（Ｓ０６）。
【００５６】
このとき、変換内容特定部１３２は、立体画像の表示に不適当であるとの判定結果によって、画像処理部３０に判定結果を表示部７０に表示するよう制御させて、ユーザに立体画像の表示が不適切（不可能）であることを通知させて、操作信号を入力させることができる。
【００５７】
立体画像変換部１４は、変換内容特定部１３２から入力される画像データの変換の候補に応じて変換方法を選択し、選択された変換方法により画像データを変換して画像処理部３０に出力し、制御部５０を介して記憶部４０に記憶させたり、表示部７０に表示させる。なお、画像データの変換候補を操作部６０から供給される操作信号によって選択する方法でもよい。
【００５８】
すなわち、立体画像変換部１４は、画像データが立体画像の表示に適しているとの判定結果が変換内容特定部１３２より供給される場合、画像データの変換の候補に応じて、右画像Ｒｃｈまたは左画像Ｌｃｈから立体画像の画像データに変換して出力する。一方、画像データが立体画像の表示に適していないとの判定結果が変換内容特定部１３２より供給される場合、画像データの変換の候補に応じて、右画像Ｒｃｈまたは左画像Ｌｃｈのいずれか一方を削除した画像データにして出力する。
【００５９】
続いて、図１３に示すフローチャートを用いて、立体画像撮像装置２０で図４の画像を撮像した場合の立体画像最適化部１０における処理の一例について説明する。
【００６０】
まず、立体画像撮像装置２０で撮像された画像データが画像処理部３０を介して立体画像最適化部１０には、領域検出部１１１によって対象物の領域が検出される（Ｓ１１）。また、対象物の領域が検出されると（Ｓ１２でＹＥＳ）、特徴量抽出部１１２によって領域内の対象物の特徴量が抽出され（Ｓ１３）、視差ベクトル検出部１２１によって対象物同士の視差ベクトルが検出され（Ｓ１４）、サイズ差検出部１２２によって各対象物のサイズ差が検出される（Ｓ１５）。
【００６１】
その後、ステップＳ１１〜Ｓ１５の結果を利用して、立体視判定部１３１は、立体視に適した画像データであるか否かを判定する（Ｓ１６）。立体視判定部１３１が、立体視に適していない画像データであると判定するとき（Ｓ１７でＮＯ）、変換内容特定部１３２は、画像データの変換の候補を選択（特定）し（Ｓ１８）、表示部７０に表示するように画像処理部３０を制御する（Ｓ１９）。例えば、立体視判定部１３１で不適切と判断された画像が不適切とされた理由が「右画像Ｒｃｈと左画像Ｌｃｈでの検出人数一致」であるとき、人数の多い画像が選択され、人数の少ない画像を削除することが望ましい。例えば、図９（ａ）の場合、認識された人数が多い右画像Ｒｃｈが選択される。
【００６２】
また、変換内容特定部１３２は、図９（ｂ）の斜線で示すように、表示部７０により選択の理由となる対象物に所定の表示をさせて、ユーザに通知するように画像処理部３０を制御してもよい。また、変換内容特定部１３２は、選択する画像データと削除する画像データとを区別して表示部７０に表示するように画像処理部３０を制御してもよい。例えば、右画像Ｒｃｈと左画像Ｌｃｈとを並べて表示し、図１４に示すようにユーザに選択を促がす画像に対して縁取りをしたり、図１５の斜線で示す削除を促がす画像に対して色付けするなどにより、ユーザに通知して右画像Ｒｃｈ又は左画像Ｌｃｈの削除や選択を促がしてもよい。
【００６３】
その後、ユーザによって削除や選択の処理の実行が操作部６０を介して操作されると（Ｓ２０でＹＥＳ）、立体画像変換部１４は、操作に従って削除が指定された画像データを削除して、画像処理部３０に出力され削除されていない画像データを記憶部４０で記憶させる（Ｓ２１）。すなわち、立体画像変換部１４は、図１６に示すように右画像Ｒｃｈと左画像Ｌｃｈから優先された画像のみが画像データとして記憶部４０で記憶させる。なお、右画像Ｒｃｈまたは左画像Ｌｃｈを削除した画像データで更新する他、表示する新たな画像データを生成して記憶部４０に記憶してもよい。
【００６４】
一方、ユーザによって削除や選択の実行が操作されず（Ｓ２０でＮＯ）、ユーザにより操作部６０を介して、画像データの変換の中止が選択された場合（Ｓ２２でＹＥＳ）には、立体画像変換部１４は画像データを変換せずに終了する。また、画像データの変換の中止が選択されない場合には（Ｓ２２でＮＯ）、変換内容特定部１３２は、変換内容を変更して（Ｓ２３）、再びステップＳ１９に戻り、画像処理部３０に出力して表示部７０に表示させる。
【００６５】
上述したように、本発明に係る立体画像最適化部１０を利用した場合、立体画像を表示する際に、予め立体視に不適切な画像データの冗長データを適切に削除することで、記憶部４０に記憶させるデータ容量を低減することができるとともに、不適切な立体画像が表示されることによる視聴者の眼精疲労を防止できる。
【００６６】
なお、このような撮像システムは、デジタルスティルカメラ、カメラ一体の携帯型電話機、デジタルビデオカメラ等の幅広い撮像装置に適用することができる。
【００６７】
また、上述した例では、立体画像撮像装置２０は、２つの撮像部２１ａ，２１ｂを備えているが、立体画像撮像装置が備える撮像部の数は限られず、３つ以上備えていてもよいし、１つの撮像部にミラー等で構成されるアダプタを接続した構成でもよい。
【００６８】
さらに、立体画像撮像装置２０が撮像し、立体画像最適化部１０が処理する画像は、静止画であっても動画像であってもよい。
【００６９】
また、上記の実施の形態では、立体画像最適化部１０を含む情報処理装置１と立体画像撮像装置２０とが別体で構成されているものとして説明したが、一体で構成されていてもよい。さらに、前記実施の形態において示した各部の具体的な形状及び構造は、何れも本発明を実施する一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されることがあってはならないものである。
【符号の説明】
【００７０】
１…情報処理装置
１０…立体画像最適化部
１１…対象物抽出部
１１１…領域検出部
１１２…特徴量抽出部
１２…視差検出部
１２１…視差ベクトル検出部
１２２…サイズ差検出部
１３…画像変換制御部
１３１…立体視判定部
１３２…変換内容特定部
１４…立体画像変換部
２０…立体画像撮像装置
２１（２１ａ，２１ｂ）…撮像部
３０…画像処理部
４０…記憶部
５０…制御部
６０…操作部
７０…表示部
８０…グラフィック部
【技術分野】
【０００１】
本発明は、立体画像を表す多眼画像データを扱う情報処理装置に関する。
【背景技術】
【０００２】
異なる角度から撮像された画像を立体画像にして表示する表示装置としては、２箇所から撮像した画像を右眼用画像と左眼用画像として双方の表示画面上に表示し、視認者に専用の眼鏡を掛けさせその眼鏡によりそれらの画像を切り分けて視認させて視認者に立体視させるものや、表示画面にレンチキュラーレンズを並べて貼り付けてそれらのレンズにより右眼と左眼とにそれぞれ右眼用画像と左眼用画像とを識別させて視認者に立体視させるもの等が一般的に知られている。
【０００３】
また、画像から顔の特徴を抽出して人の顔を検出する技術を活用し、複数の撮像部を駆動させ輻輳角を調整することによって視認者に立体視を行なわせるのに適した画像データを生成することができる技術が提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２２１５０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述の特許文献１の技術の場合、立体画像の近景やテレ端では、視差が過大になりやすく、撮像装置と被写体（以後の説明において、対象物ともいう）との距離が撮影中に変化した場合、複数の撮像部の輻輳が追従しきれないことがある。また、立体動画の撮影においては、輻輳変化が視聴者にとって追従できないほど速いことがある。
【０００６】
さらに、複数の撮像部の位置や方向が調整可能で、撮影方向の中心に被写体がいないとき、複数の撮像部間の距離、あるいは、輻輳状態によって生じる、各撮像部から被写体までの距離の差によって、立体視が困難な画像となる、あるいは見難い画像となる等の問題が発生することがある。
【０００７】
また、２つの撮像部により右眼用画像と左眼用画像を撮像して１つの立体画像とする場合、各撮像部から被写体までの距離が同一であるとは限らない。そのため、同一の被写体であっても、各撮像部の画像では被写体の大きさが異なることもある。さらに、撮像中に被写体が動いた場合、被写体での左右の視差が大きすぎて立体視できないこともある。
【０００８】
また、複数の撮像部の輻輳角が小さい場合、右眼用画像と左眼用画像の撮像領域はほぼ一致する。しかし、複数の撮像部の輻輳角が大きい場合、右眼用画像と左眼用画像の撮像領域は、立体視の許容範囲外の差が生じ、大きく異なることがある。
【０００９】
さらに、２回撮りや時差撮りで別々に撮像された画像を用いて立体視画像とする場合、例えば１回目の撮像後、およその画角調整を行って、視差量と視差の方向を示す視差ベクトルをもとに、自動調整することは可能であるが、輻輳角が大きい場合、飛び出し側の被写体と引き込み側の風景との位置関係によっては調整範囲を超える領域が生じる。また、飛び出し側からニュートラルまでに位置する被写体が、画面に対する比率が大きい場合、引き込み方向に位置する領域では一方の撮像部にしか映らない場合がある。これは、複数の撮像部の位置や方向の調整が可能な場合でも同様である。
【００１０】
以上のような状況下で、立体視に適さない右眼用画像と左眼用画像の画像データが撮像されると、記憶部に不要な画像データが記録され、多くの記録容量が必要となる。また、立体視に不適切な画像をユーザが観ることによって眼精疲労発生等の危険もある。
【００１１】
本発明は、上記課題に鑑み、画像データの立体視の適否を判定し、不要なデータを削除や圧縮して記憶部のデータ容量を最適化するとともに、ユーザの眼精疲労発生等を防止する情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の特徴に係る情報処理装置は、撮像された複数の多眼画像データから、各画像データに含まれる対象物の領域を検出する領域検出部（１１１）と、前記領域検出部で検出された対象物の特徴量を抽出する特徴量抽出部（１１２）と、前記領域検出部で検出された各画像データで対応する対象物の視差ベクトルを検出する視差ベクトル検出部（１２１）と、前記領域検出部で検出された各対象物のサイズ差を検出するサイズ差検出部（１２２）と、前記特徴量抽出部で抽出された対象物の特徴量により、各画像データに含まれるそれぞれの対象物が一致するか否かの判定結果と、前記視差ベクトル検出部で検出された視差ベクトルが所定の範囲内であるか否かの判定結果と、前記サイズ差検出部で検出されたサイズ差が所定の範囲内であるか否かの判定結果との少なくともいずれかの判定結果を利用して、立体画像の表示に適している画像データであるか否かを判定する立体視判定部（１３１）と、前記立体視判定部の判定結果を利用して、立体画像の表示に適していないと判定された場合、前記同時に撮像された複数の多眼画像データのうち、少なくとも１つの画像データを削除する立体画像変換部（１４）とを備える。
【発明の効果】
【００１３】
本発明の情報装置によれば、画像データの立体視の適否を判定し、不要な画像データの削除や圧縮を行ってデータ容量を最適化するとともに、ユーザの眼精疲労発生等を防止することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に係る情報処理装置の立体画像最適化部の構成を説明する機能ブロック図である。
【図２】図１に示す立体画像最適化部を有する情報処理装置の構成を説明する機能ブロック図である。
【図３】図２に示す立体画像撮像装置の構成を説明する概略図である。
【図４】図３に示す立体画像撮像装置で撮像された画像データの一例である。
【図５】図４に示す画像データから検出された対象物の領域を説明する図である。
【図６】画像データの対象物の領域の特徴量を抽出する一例である。
【図７】対象領域が検出された右眼用画像と左眼用画像とを重ね合わせた画像図である。
【図８】重ね合わせた画像のサイズと、対象領域のサイズと位置について説明する図である。
【図９】右眼用画像及び左眼用画像から検出された対象領域の数の比較について説明する一例である。
【図１０】右眼用画像及び左眼用画像から検出された対象領域のサイズの比較について説明する一例である。
【図１１】視差について説明する概略図である。
【図１２】図１に示す立体画像最適化部の立体視判定の処理の一例を説明するフローチャートである。
【図１３】図１に示す立体画像最適化部の処理一例を説明するフローチャートである。
【図１４】画像データの一部の削除を促がす表示画面の一例である。
【図１５】画像データの一部の削除を促がす表示画面の他の例である。
【図１６】画像データの一部が削除されてデータ量が削減された画像データの一例である。
【発明を実施するための形態】
【００１５】
以下、図面を用いて本発明の実施の形態について説明する。
【００１６】
図１は、本発明の実施形態に係る情報処理装置１の立体画像最適化部の構成を示すブロック図である。本発明に係る立体画像最適化部１０は、画像データを立体画像として表示する際、画像データが立体視に適しているか否かを判定し、適していない場合には、立体視しないようにデータ処理を行い、データ容量を最適化する。
【００１７】
図１の立体画像最適化部１０は、図２に示す情報処理装置１で利用される。情報処理装置１は、立体画像最適化部１０の他、立体画像として表示するための画像を撮像する立体画像撮像装置２０と、画像データを処理する画像処理部３０と、撮像された画像データや処理される画像データを記憶する半導体メモリ、ハードディスクドライブ又は光ディスク等で構成される記憶部４０と、各部の処理を制御する制御部５０と、制御部５０を介して情報処理装置１を操作するスイッチやボタン等を有する操作部６０と、画像処理部３０で処理された画像データを表示する表示部７０と、操作部６０によって入力された情報に基いて、表示部７０にグラフィック表示を表示させるグラフィック部８０を備えている。
【００１８】
立体画像撮像装置２０は、図３に示すように、それぞれ不図示の撮像光学系と撮像素子とを有する２つの撮像部２１ａ，２１ｂを備え、撮像部２１ａ，２１ｂで撮像した画像データを画像処理部３０に出力する。各撮像部２１ａ，２１ｂは、一方の撮像部が撮像する画像を右眼用画像（以後の説明において、右画像ともいう）Ｒｃｈとし、他方の撮像部が撮像する画像が左眼用画像（以後の説明において、左画像ともいう）Ｌｃｈとなるように輻輳角が調節されている。
【００１９】
画像処理部３０は、図４に示すように、撮像部２１ａと撮像部２１ｂでそれぞれ撮像された右画像Ｒｃｈと左画像Ｌｃｈの画像データを１コマとしてサイドバイサイド形式で符号化する。また、画像処理部３０は、制御部５０の制御に基いて、符号化された画像データを、記憶部４０に供給して保存させる。
【００２０】
再び図１に戻って説明する。立体画像最適化部１０は、図１に示すように、画像処理部３０から供給される画像データから対象物を抽出する対象物抽出部１１と、対象物抽出部１１から供給される画像データの比較処理を行って視差量と視差の方向を示す視差ベクトルを検出する視差検出部１２と、視差検出部１２から供給される画像データのデータ変換のための処理を実行する画像変換制御部１３と、画像処理部３０から供給される立体画像データを変換する立体画像変換部１４とを備えている。
【００２１】
具体的には、対象物抽出部１１は、画像データから対象物の領域を検出する領域検出部１１１と画像データから領域検出部１１１で検出された領域内の対象物の特徴量を抽出する特徴量抽出部１１２を有している。
【００２２】
図５は、領域検出部１１１によって対象物として人物の顔の領域が検出された画像データの一例である。また、特徴量抽出部１１２は、図５に示すように対象物として人物の顔の領域を検出した場合、図６に示すように、右画像Ｒｃｈの人物の顔の領域Ａ，Ｂから各顔の特徴量と、左画像Ｌｃｈの人物の顔の領域Ａ’，Ｂ’から各顔の特徴量とを求める。そして、右画像Ｒｃｈの各顔の特徴量と対応する左画像Ｌｃｈの各顔の特徴量を比較して相関度を求めて、その相関度から右画像Ｒｃｈと左画像Ｌｃｈにおいて同一の人物であるか否かを特定する。なお、例えば特許文献１等に記載の公知技術により、対象物（例えば、人物の顔）の領域検出や対象物（例えば、人物の顔）の特徴量の抽出をすることができる。
【００２３】
なお、領域検出部１１１は、検出した対象物の大きさ、輝度、合焦点位置からの距離等に基いて、対象物の重要度を判断し、重要でないと判断した対象物を領域検出結果から除外してもよい。また、記憶部４０は、予め対象物（例えば、人物の顔）の特徴量やその対象物の重要度を含めて記憶しておいてもよい。その場合、特徴量抽出部１１２は、新たに検出した対象物の特徴量と予め記憶部４０で記憶されている対象物の特徴量との相関度を求め、記憶部４０で記憶されている重要度に基いて新たに検出した対象物の重要度を判断し、重要でないと判断した対象物を領域検出部１１１の領域検出結果から除外することもできる。なお、記憶部４０で対象物の重要度を記憶せずに、単に対象物の特徴量のみで対象物が重要であるか否かを判断してもよい。
【００２４】
視差検出部１２は、立体画像を構成する右画像Ｒｃｈと左画像Ｌｃｈの画像データから、対象物抽出部１１で抽出された対象物同士から視差ベクトルを求める視差ベクトル検出部１２１と対象物のサイズ差を求めるサイズ差検出部１２２を有している。
【００２５】
図７は、図５で対象物の領域を抽出した右画像Ｒｃｈと左画像Ｌｃｈを重ねた画像である。図８（ａ）は、図７で重ねられた１つの対象物の範囲（検出範囲）Ａ，Ａ’の人物の顔の検出位置を示している。図８に示すように、右画像Ｒｃｈの検出範囲Ａの中心座標を（ｘ０、ｙ０）とし、左画像Ｌｃｈの検出範囲Ａ’の中心の座標を（ｘ１、ｙ１）としたとき、視差ベクトル検出部１２１は、この中心座標の差から平均視差ベクトル（（ｘ１−ｘ０）、（ｙ１−ｙ０））を求める。
【００２６】
また、サイズ差検出部１２２は、各対象物について、右画像Ｒｃｈの検出範囲と左画像Ｌｃｈの検出範囲のサイズ差を検出する。例えば、サイズ差検出部１２２は、対象物が人物の顔であるとき、右画像Ｒｃｈと左画像Ｌｃｈとからそれぞれ図８（ｂ）に示すように人物の顔の検出範囲の高さＫｈと幅Ｋｗを求め、求めた高さＫｈと幅Ｋｗの値の差をサイズ差として求める。
【００２７】
画像変換制御部１３は、画像データが立体視に適しているか否かを判定する立体視判定部１３１と立体視判定部１３１での判定結果を利用して変換内容を特定する変換内容特定部１３２を有している。立体視判定部１３１は、例えば、下記の（１）〜（６）の項目を判定して判定結果を出力する。また、変換内容特定部１３２は、立体視判定部１３１の項目の判定結果を利用して、ユーザに立体画像の表示に関する操作を促がすため、立体視に適さない理由等を表示部７０に表示させて、立体画像の表示に必要な画像データを特定する。このとき、変換内容特定部１３２は、表示部７０にて表示する対象物の検出範囲を表わす枠を点滅させたり、色や輝度を変化させたり、グラフフィックを重畳させる等でユーザに判定結果を知らせるように画像処理部３０を制御する。また、変換内容特定部１３２は、操作部６０を介してユーザからの対象物の選択や削除等の操作信号や立体画像の表示中止の操作信号等が入力された場合には、これに応じて立体画像の表示に必要な画像データを特定してから、立体視判定部１３１での判定や変換内容特定部１３２での処理を行ってもよい。
【００２８】
（１）右画像Ｒｃｈと左画像Ｌｃｈとで検出された対象物の数
立体視判定部１３１は、右画像Ｒｃｈと左画像Ｌｃｈからそれぞれ検出される対象物の数を比較して判定結果を出力する。例えば、図９（ａ）に示すように、右画像Ｒｃｈでは２つの対象物（画像中四角の枠部分）が抽出されたにも関わらず、左画像Ｌｃｈでは１つの対象物（画像中四角の枠部分）が抽出されたとする。このように領域検出部１１１により右画像Ｒｃｈから検出された対象物の数と左画像Ｌｃｈから検出された対象物の数が異なる場合、立体視判定手段１３１は、対象物の数が異なるため、画像データが立体画像の表示に適さない判定結果を出力する。また、右画像Ｒｃｈと左画像Ｌｃｈとで、対象物の数のみだけでなく、立体視判定部１３１は、対象物として認識された物（例えば、人物の顔）が一致するか否かを判定してもよい。
【００２９】
変換内容特定部１３２は、立体視判定部１３１によって検出された対象物の数が異なると判定された場合、例えば図９（ｂ）に示すような左画像Ｌｃｈで検出されなかった対象物の検出範囲を右画像Ｒｃｈ中で特定する画像を表示部７０に表示するように制御し、ユーザに立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００３０】
（２）重要な対象物の検出の有無
記憶部４０は、対象物の特徴量とその対象物の重要度に関するリストを予め記憶する。その場合、立体視判定部１３１は、リストに含まれる重要度が高い対象物（例えば、特定人物の顔など）が右画像Ｒｃｈと左画像Ｌｃｈとからそれぞれ検出されるか否かを判定し、それぞれから検出された場合には、右画像Ｒｃｈと左画像Ｌｃｈとで重要度が高い対象物が含まれているため、画像データが立体画像の表示に適しているか否か他の判定項目における判定に入る。すなわち、全ての検出された対象物に対して全て一律に立体判定をすることなく、重要でない対象物については立体判定しないとすることにより、重要でない対象物の立体視破綻の判定を簡略化することもできる。
【００３１】
また、変換内容特定部１３２は、判定項目（１）と同様に、立体視判定部１３１によって重要度が高い対象物が右画像Ｒｃｈと左画像Ｌｃｈで検出されないと判定された場合、例えば図９（ｂ）に示す、他方の画像で検出されていない検出物を特定する画像を表示部７０に表示し、ユーザに立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００３２】
（３）右画像Ｒｃｈと左画像Ｌｃｈとの対象物のサイズのずれ
立体視判定部１３１は、右画像Ｒｃｈと左画像Ｌｃｈとで同一と確認できた対象物のサイズの差が所定の範囲内であるか否かを判定し、所定の範囲外である場合には、右画像Ｒｃｈと左画像Ｌｃｈとから検出された対象物の差が所定範囲外であるため、画像データが立体画像の表示に適さない判定結果を出力する。
【００３３】
例えば、図３に示すような２眼式の立体画像撮像装置２０によって得られた画像や、２回の撮像によって得られた画像の場合、機器の特性、設定、撮像状態等により、図１０に示すように、右画像と左画像とにサイズ差が生じることがある。同一の対象物のサイズのズレが右画像Ｒｃｈと左画像Ｌｃｈとで大きい場合、右画像Ｒｃｈと左画像Ｌｃｈは融合しにくくなり、表示される立体画像は見難くなる。実験によると、同一の対象物のサイズ差の比率が１．２％以上程度になると表示した立体画像は見難くなるという結果が得られている。したがって、立体視判定部１３１は、サイズ差検出部１２２によって得られた右画像Ｒｃｈと左画像Ｌｃｈとで同一の対象物の検出範囲のサイズを示す高さＫｈ及び幅Ｋｗ差の比率が（１），（２）式を満たすか否かを判定する。
【００３４】
|Ｋｈ1−Ｋｈ0| / Ｋｈ0 < １．０１２ ・・・（１）
|Ｋｗ1−Ｋｗ0| / Ｋｗ0 < １．０１２ ・・・（２）
Ｋｈ0：右画像Ｒｃｈでの検出範囲の高さ
Ｋｗ0：右画像Ｒｃｈでの検出範囲の幅
Ｋｈ1：左画像Ｌｃｈでの検出範囲の高さ
Ｋｗ1：左画像Ｌｃｈでの検出範囲の幅
変換内容特定部１３２は、立体視判定部１３１によって（１），（２）式を満たさないと判定された場合、この判定結果を表示部７０に表示し、ユーザに立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００３５】
なお、この判定結果の出力により、変換内容特定部１３２は、画像処理部３０に、右画像Ｒｃｈと左画像Ｌｃｈでの対象物の検出範囲のサイズ差が許容の範囲内に収まるように一方の画像を拡大または縮小調整させてもよい。
【００３６】
（４）右画像Ｒｃｈと左画像Ｌｃｈとの対象物の位置のずれ
立体視判定部１３１は、右画像Ｒｃｈと左画像Ｌｃｈとで同一と確認できた対象物の位置のずれが所定の範囲内であるか否かを判定し、所定の範囲外である場合には、右画像Ｒｃｈと左画像Ｌｃｈとで対象物の位置が大きくずれているため、画像データが立体画像の表示に適さない判定結果を出力する。
【００３７】
例えば、図３に示すような２眼式の立体画像撮像装置２０によって得られた画像や、２回の撮像によって得られた画像の場合、機器の特性、設定、撮像状態等により、同一の対象物であっても右画像と左画像とでの検出位置が垂直方向で異なることがある。同一の対象物の検出位置のズレが大きい場合、右画像Ｒｃｈと左画像Ｌｃｈは融合しにくくなり、表示される立体画像は見難くなる。実験によると、垂直方向のずれは画面高さに対する比率が０．７％以上程度であるとき、表示した立体画像は見難くなるという結果が得られている。したがって、立体視判定部１３１は、視差ベクトル検出部１２１の検出結果を利用して右画像Ｒｃｈと左画像Ｌｃｈとで同一の対象物の検出範囲の中心の垂直座標の差により垂直方向のずれを求め、垂直方向のずれが（３）式を満たすか否かを判定する。
【００３８】
|ｙ0−ｙ1| / Ｆｈ < ０．００７ ・・・（３）
Ｆｈ：右画像Ｒｃｈまたは左画像Ｌｃｈのどちらかまたは平均の高さ
ｙ0：右画像Ｒｃｈの対象物の検出範囲の中心のｙ座標
ｙ1：左画像Ｌｃｈの対象物の検出範囲の中心のｙ座標
変換内容特定部１３２は、立体視判定部１３１によって（３）式を満たさないと判定された場合、この判定結果を表示部７０に表示し、ユーザに立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００３９】
また、この判定結果の出力により、変換内容特定部１３２は、画像処理部３０に、右画像Ｒｃｈと左画像Ｌｃｈでの対象物の垂直方向のずれが許容範囲内に収まるように画素位置のシフトにより補正させてもよい。
【００４０】
（５）複数ある検出物の視差
立体視判定部１３１は、視差ベクトル検出部１２１で検出された視差の分布範囲が所定の範囲内であるか否かを判定し、分布範囲が所定の範囲外である場合には、画像データが立体画像の表示に適さない判定結果を出力する。具体的には、立体視判定部１３１は、図１１に示すように、一番手前の検出物Ａの視差ａ°と一番奥の検出物Ｂの視差ｂ°との差を判定する。
【００４１】
実験によると、視差の分布範囲が狭い方が左右の画像が融合しやすく、手前の検出物と奥の検出物の視差の分布が、１．０°以下程度の映像が見易いという結果が得られている。したがって、立体視判定部１３１は、一番手前の検出物の視差と一番奥の検出物の視差の分布が（４）式を満たすか否かを判定する。
【００４２】
|ａ−ｂ| < １．０ ・・・（４）
ａ°：検出物Ａの視差
ｂ°：検出物Ｂの視差
変換内容特定部１３２は、立体視判定部１３１によって（４）式を満たさないと判定された場合、この判定結果を表示部７０に表示し、ユーザに立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００４３】
（６）右画像Ｒｃｈと左画像Ｌｃｈとの検出範囲の中心のｘ座標の差分
立体視判定部１３１は、視差ベクトル検出部１２１が検出した水平方向の視差量、すなわち、対象物の検出範囲の中心のｘ座標の差分が所定の範囲内であるか否かを判定し、所定の範囲外である場合には、対象物が水平方向に大きくずれているため、画像データが立体画像の表示に適さない判定結果を出力する。
【００４４】
実験によると、飛出し側の視差量の画面横幅に対する比率が１０％程度、あるいは、横幅２２１ｃｍである１００インチのスクリーンに映したときに引っ込み側の視差量が７ｃｍ、すなわち画面横幅に対する比率が約３％程度を超えると、立体画像が立体に見難くかったり、観察者の気分が悪くなったりする場合があるという結果が得られている。したがって、立体視判定部１３１は、（５）式を満たすか否かを判定する。
【００４５】
-０．０３ <（ｘ1−ｘ0） / Ｆｗ < ０．１ ・・・（５）
視差ベクトル（ｘ1−ｘ0）> 0
d > 0 →飛び出し方向
d < 0 →引き込み方向
とすると
ｘ0：右画像Ｒｃｈの対象物の検出範囲の中心のｘ座標
ｘ1：左画像Ｌｃｈの対象物の検出範囲の中心のｘ座標
Ｆｗ：画面横幅
なお、視差ベクトル（ｘ1−ｘ0）は視差量に相当し、（ｘ1−ｘ0）> 0は飛出し側を示し、（ｘ1−ｘ0）< 0は引っ込み側を示す。
【００４６】
変換内容特定部１３２は、立体視判定部１３１によって（５）式を満たさないと判定された場合、この判定結果を表示部７０に表示し、ユーザに立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００４７】
また、対象物が輻輳点付近の人物の顔だけではなく背景を含む場合で、かつ視差ベクトル検出部１２１が検出した視差ベクトルのスカラー量が極めて０に近い場合、左右の画像が極めて同一であるといえる。したがって、視差ベクトルを含まない多眼画像は立体視の効果が見込めないので、変換内容特定部１３２は、画像データが立体画像の表示に不適切な画像データであることを通知するように画像処理部３０を制御する。
【００４８】
なお、視差量が飛び出し方向に所定範囲を超えた場合は、変換内容特定部１３２は、検出領域を白トビなどの効果を加えた立体画像を表示部７０にて表示するように、画像処理部３０を制御する。逆に視差量が引き込み方向に所定範囲を超えた場合は、変換内容特定部１３２は、対象領域を黒しずみさせるなど飛び出し方向と異なる効果を加えた立体画像を表示部７０にて表示するように、画像処理部３０を制御する。
【００４９】
上記の立体視判定部１３１の（１）〜（６）の判定のすべてにおいて、画像データが立体画像の表示に適さない判定結果を出力しなかった場合、変換内容特定部１３２は、画像データが立体画像の表示に適するとの判定結果を立体画像変換部１４へ出力する。なお、上記の立体視判定部１３１の（１）〜（６）の判定はすべて行うことに限定されず、一部の判定のみを行ってもよく、一部の判定結果によって、変換内容特定部１３２は、画像データが立体画像の表示の適否を特定してもよい。
【００５０】
図１２に示すフローチャートを用いて、人物の顔が対象物である場合の立体視判定部１３１における処理の一例について説明する。なお、図１２での処理は、上記の立体視判定部１３１の（１）〜（６）の判定のうち、一部の判定を行うものである。まず、立体視判定部１３１は、領域検出部１１１が右画像Ｒｃｈと左画像Ｌｃｈとから検出した人物の数が一致するか否かを判定する（Ｓ０１）。
【００５１】
右画像Ｒｃｈと左画像Ｌｃｈとに含まれる人物の人数が同一のとき（Ｓ０１でＹＥＳ）、立体視判定部１３１は、右画像Ｒｃｈと左画像Ｌｃｈとで顔が認識された人物が一致するか否かを判定する（Ｓ０２）。立体視判定部１３１は、例えば、特徴量抽出部１１２が抽出した特徴量を利用して対象物（例えば、人物の顔）が一致するか否かを判定する他、検出した人物の顔の大きさ、画像内での人物の位置、フォーカス状態、コントラスト、輝度等を利用して判定してもよい。
【００５２】
右画像Ｒｃｈと左画像Ｌｃｈとで、顔が認識された人物が一致するとき（Ｓ０２でＹＥＳ）、立体視判定部１３１は、右画像Ｒｃｈと左画像Ｌｃｈにおいて、サイズ差検出部１２２で検出された人物のサイズの差が立体画像の表示に許容される範囲であるか否かを判定する（Ｓ０３）。
【００５３】
検出された人物のサイズの差が立体画像の表示に許容されるサイズであるとき（Ｓ０３でＹＥＳ）、立体視判定部１３１は、視差ベクトル検出部１２１で検出された視差ベクトルが立体画像の表示に許容される範囲であるか否かを判定する（Ｓ０４）。
【００５４】
立体視判定部１３１における全ての判定から、右画像Ｒｃｈと左画像Ｌｃｈとから立体画像の表示が困難であるという判定結果が得られないとき（Ｓ０４でＹＥＳ）、変換内容特定部１３２は、画像データが立体視に適当（可能）であるという判定結果を立体画像変換部１４へ出力する（Ｓ０５）。
【００５５】
一方、立体視判定部１３１の少なくともいずれかの判定の結果、右画像Ｒｃｈと左画像Ｌｃｈとから（Ｓ０１〜Ｓ０４のいずれかでＮＯ）、変換内容特定部１３２は、画像データが立体視に不適当であるという判定結果と画像データの変換の候補を立体画像変換部１４へ出力する（Ｓ０６）。
【００５６】
このとき、変換内容特定部１３２は、立体画像の表示に不適当であるとの判定結果によって、画像処理部３０に判定結果を表示部７０に表示するよう制御させて、ユーザに立体画像の表示が不適切（不可能）であることを通知させて、操作信号を入力させることができる。
【００５７】
立体画像変換部１４は、変換内容特定部１３２から入力される画像データの変換の候補に応じて変換方法を選択し、選択された変換方法により画像データを変換して画像処理部３０に出力し、制御部５０を介して記憶部４０に記憶させたり、表示部７０に表示させる。なお、画像データの変換候補を操作部６０から供給される操作信号によって選択する方法でもよい。
【００５８】
すなわち、立体画像変換部１４は、画像データが立体画像の表示に適しているとの判定結果が変換内容特定部１３２より供給される場合、画像データの変換の候補に応じて、右画像Ｒｃｈまたは左画像Ｌｃｈから立体画像の画像データに変換して出力する。一方、画像データが立体画像の表示に適していないとの判定結果が変換内容特定部１３２より供給される場合、画像データの変換の候補に応じて、右画像Ｒｃｈまたは左画像Ｌｃｈのいずれか一方を削除した画像データにして出力する。
【００５９】
続いて、図１３に示すフローチャートを用いて、立体画像撮像装置２０で図４の画像を撮像した場合の立体画像最適化部１０における処理の一例について説明する。
【００６０】
まず、立体画像撮像装置２０で撮像された画像データが画像処理部３０を介して立体画像最適化部１０には、領域検出部１１１によって対象物の領域が検出される（Ｓ１１）。また、対象物の領域が検出されると（Ｓ１２でＹＥＳ）、特徴量抽出部１１２によって領域内の対象物の特徴量が抽出され（Ｓ１３）、視差ベクトル検出部１２１によって対象物同士の視差ベクトルが検出され（Ｓ１４）、サイズ差検出部１２２によって各対象物のサイズ差が検出される（Ｓ１５）。
【００６１】
その後、ステップＳ１１〜Ｓ１５の結果を利用して、立体視判定部１３１は、立体視に適した画像データであるか否かを判定する（Ｓ１６）。立体視判定部１３１が、立体視に適していない画像データであると判定するとき（Ｓ１７でＮＯ）、変換内容特定部１３２は、画像データの変換の候補を選択（特定）し（Ｓ１８）、表示部７０に表示するように画像処理部３０を制御する（Ｓ１９）。例えば、立体視判定部１３１で不適切と判断された画像が不適切とされた理由が「右画像Ｒｃｈと左画像Ｌｃｈでの検出人数一致」であるとき、人数の多い画像が選択され、人数の少ない画像を削除することが望ましい。例えば、図９（ａ）の場合、認識された人数が多い右画像Ｒｃｈが選択される。
【００６２】
また、変換内容特定部１３２は、図９（ｂ）の斜線で示すように、表示部７０により選択の理由となる対象物に所定の表示をさせて、ユーザに通知するように画像処理部３０を制御してもよい。また、変換内容特定部１３２は、選択する画像データと削除する画像データとを区別して表示部７０に表示するように画像処理部３０を制御してもよい。例えば、右画像Ｒｃｈと左画像Ｌｃｈとを並べて表示し、図１４に示すようにユーザに選択を促がす画像に対して縁取りをしたり、図１５の斜線で示す削除を促がす画像に対して色付けするなどにより、ユーザに通知して右画像Ｒｃｈ又は左画像Ｌｃｈの削除や選択を促がしてもよい。
【００６３】
その後、ユーザによって削除や選択の処理の実行が操作部６０を介して操作されると（Ｓ２０でＹＥＳ）、立体画像変換部１４は、操作に従って削除が指定された画像データを削除して、画像処理部３０に出力され削除されていない画像データを記憶部４０で記憶させる（Ｓ２１）。すなわち、立体画像変換部１４は、図１６に示すように右画像Ｒｃｈと左画像Ｌｃｈから優先された画像のみが画像データとして記憶部４０で記憶させる。なお、右画像Ｒｃｈまたは左画像Ｌｃｈを削除した画像データで更新する他、表示する新たな画像データを生成して記憶部４０に記憶してもよい。
【００６４】
一方、ユーザによって削除や選択の実行が操作されず（Ｓ２０でＮＯ）、ユーザにより操作部６０を介して、画像データの変換の中止が選択された場合（Ｓ２２でＹＥＳ）には、立体画像変換部１４は画像データを変換せずに終了する。また、画像データの変換の中止が選択されない場合には（Ｓ２２でＮＯ）、変換内容特定部１３２は、変換内容を変更して（Ｓ２３）、再びステップＳ１９に戻り、画像処理部３０に出力して表示部７０に表示させる。
【００６５】
上述したように、本発明に係る立体画像最適化部１０を利用した場合、立体画像を表示する際に、予め立体視に不適切な画像データの冗長データを適切に削除することで、記憶部４０に記憶させるデータ容量を低減することができるとともに、不適切な立体画像が表示されることによる視聴者の眼精疲労を防止できる。
【００６６】
なお、このような撮像システムは、デジタルスティルカメラ、カメラ一体の携帯型電話機、デジタルビデオカメラ等の幅広い撮像装置に適用することができる。
【００６７】
また、上述した例では、立体画像撮像装置２０は、２つの撮像部２１ａ，２１ｂを備えているが、立体画像撮像装置が備える撮像部の数は限られず、３つ以上備えていてもよいし、１つの撮像部にミラー等で構成されるアダプタを接続した構成でもよい。
【００６８】
さらに、立体画像撮像装置２０が撮像し、立体画像最適化部１０が処理する画像は、静止画であっても動画像であってもよい。
【００６９】
また、上記の実施の形態では、立体画像最適化部１０を含む情報処理装置１と立体画像撮像装置２０とが別体で構成されているものとして説明したが、一体で構成されていてもよい。さらに、前記実施の形態において示した各部の具体的な形状及び構造は、何れも本発明を実施する一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されることがあってはならないものである。
【符号の説明】
【００７０】
１…情報処理装置
１０…立体画像最適化部
１１…対象物抽出部
１１１…領域検出部
１１２…特徴量抽出部
１２…視差検出部
１２１…視差ベクトル検出部
１２２…サイズ差検出部
１３…画像変換制御部
１３１…立体視判定部
１３２…変換内容特定部
１４…立体画像変換部
２０…立体画像撮像装置
２１（２１ａ，２１ｂ）…撮像部
３０…画像処理部
４０…記憶部
５０…制御部
６０…操作部
７０…表示部
８０…グラフィック部
【特許請求の範囲】
【請求項１】
撮像された複数の多眼画像データから、各画像データに含まれる対象物の領域を検出する領域検出部と、
前記領域検出部で検出された対象物の特徴量を抽出する特徴量抽出部と、
前記領域検出部で検出された各画像データで対応する対象物の視差ベクトルを検出する視差ベクトル検出部と、
前記領域検出部で検出された各対象物のサイズ差を検出するサイズ差検出部と、
前記特徴量抽出部で抽出された対象物の特徴量により、各画像データに含まれるそれぞれの対象物が一致するか否かの判定結果と、前記視差ベクトル検出部で検出された視差ベクトルが所定の範囲内であるか否かの判定結果と、前記サイズ差検出部で検出されたサイズ差が所定の範囲内であるか否かの判定結果との少なくともいずれかの判定結果を利用して、立体画像の表示に適している画像データであるか否かを判定する立体視判定部と、
前記立体視判定部の判定結果を利用して、立体画像の表示に適していないと判定された場合、前記同時に撮像された複数の多眼画像データのうち、少なくとも１つの画像データを削除する立体画像変換部と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記対象領域検出部は、前記対象物の領域として各画像データに含まれる人物の顔の領域を検出し、
前記特徴量抽出部は、前記対象物の特徴量として、前記対象領域検出部で検出された人の顔の特徴量を抽出する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１】
撮像された複数の多眼画像データから、各画像データに含まれる対象物の領域を検出する領域検出部と、
前記領域検出部で検出された対象物の特徴量を抽出する特徴量抽出部と、
前記領域検出部で検出された各画像データで対応する対象物の視差ベクトルを検出する視差ベクトル検出部と、
前記領域検出部で検出された各対象物のサイズ差を検出するサイズ差検出部と、
前記特徴量抽出部で抽出された対象物の特徴量により、各画像データに含まれるそれぞれの対象物が一致するか否かの判定結果と、前記視差ベクトル検出部で検出された視差ベクトルが所定の範囲内であるか否かの判定結果と、前記サイズ差検出部で検出されたサイズ差が所定の範囲内であるか否かの判定結果との少なくともいずれかの判定結果を利用して、立体画像の表示に適している画像データであるか否かを判定する立体視判定部と、
前記立体視判定部の判定結果を利用して、立体画像の表示に適していないと判定された場合、前記同時に撮像された複数の多眼画像データのうち、少なくとも１つの画像データを削除する立体画像変換部と、
を備えることを特徴とする情報処理装置。
【請求項２】
前記対象領域検出部は、前記対象物の領域として各画像データに含まれる人物の顔の領域を検出し、
前記特徴量抽出部は、前記対象物の特徴量として、前記対象領域検出部で検出された人の顔の特徴量を抽出する
ことを特徴とする請求項１に記載の情報処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−２２１９０５（Ｐ２０１１−２２１９０５Ａ）
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願番号】特願２０１０−９２２８８（Ｐ２０１０−９２２８８）
【出願日】平成２２年４月１３日（２０１０．４．１３）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成２３年１１月４日（２０１１．１１．４）
【国際特許分類】
【出願日】平成２２年４月１３日（２０１０．４．１３）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]