画像処理装置、および画像処理方法、並びにプログラム
【課題】２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法を提供する。
【解決手段】異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、左眼画像または右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像を出力する。
【解決手段】異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、左眼画像または右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）可能な３次元画像（３Ｄ画像）の生成を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
奥行きを持つ立体画像として視覚可能なステレオ視（立体視）に対応した画像は、異なる視点からの画像である左眼用の左眼画像と右眼用の右眼画像の２つの画像の組み合わせによって構成される。これらの２つの視点からの画像、すなわち両眼視差画像を得るためには、例えば２つの撮像装置を左右に離間させて配置して撮像することが行われる。
【０００３】
撮像された一対のステレオ画像は、
左側の撮像装置で撮像し、左眼で観察する左眼画像と、
右側の撮像装置で撮像し、右眼で観察する右眼画像と、
のペア画像によって構成される。
【０００４】
左眼画像と右眼画像のペア画像によって構成されるステレオ画像対を、左眼画像と右眼画像をそれぞれ分離して観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。
【０００５】
１台のカメラによる１回の撮影処理によって、左眼画像と右眼画像のペア画像を撮影する構成として２眼（複眼）構成を持つカメラが利用される。このような２眼構成のカメラは例えばステレオカメラと呼ばれる。
【０００６】
図１は、ステレオ撮像系を有する撮像装置による撮像方法を示すものである。
図１に示すカメラ１０は、左眼画像と右眼画像を撮影する２眼（複眼）構成を持つステレオカメラである。このような２眼（複眼）ステレオ撮像系を有する撮像装置においては、通常横持ちを前提としており、左右の水平位置のズレにより、視差画像を取得する。
【０００７】
図２は、ステレオ撮像系を有する撮像装置による横持ち撮像例を示す図である。
図２（ａ）は左眼画像、
図２（ｂ）、（ｃ）はいずれも同じ図であり右眼画像である。
（ａ）左眼画像も、（ｂ），（ｃ）右眼画像も、いずれも被写体として、自動車、ビル、木、家が撮影されているが、カメラのレンズ位置のずれによって撮影方向が異なるため、各画像上におけるこれら被写体の配置が少し異なる配置となっている。
図２（ａ）の左眼画像と、図２（ｂ）の右眼画像間を結ぶ点線は、各被写体が上下にズレを生じていないことを示している。
一方、図２（ａ）の左眼画像と、図２（ｃ）の右眼画像間を結ぶ点線は、各画像の被写体位置が、撮像装置からの距離に応じて、左右方向（水平方向）にズレが発生していることを示している。
【０００８】
この左右方向（水平方向）のズレが視差である。このように視差を有する２つの画像を、観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。
【０００９】
２眼（複眼）構成を持つカメラによって、視差を有する左眼画像と右眼画像を撮影するためには、図１に示すようにカメラ１０を横持ちしなければならない。
【００１０】
しかし、縦長の構図を撮像する際にはカメラを９０度傾けて撮影する。いわゆる縦持ちをした撮影を行う。
図１に示すような２眼構成のカメラ１０を９０度傾けて縦持ちして撮影すると、撮影画像として得られる左眼画像と右眼画像には水平方向の視差が発生しない。結果としてステレオ画像としての表示ができない画像となってしまう。
【００１１】
図３は、ステレオ撮像系を有する２眼構成のカメラ１０を９０度傾けて縦持ちして撮影した処理例を示す図である。
図４は、図３に示す縦持ち撮影によって得られる（ａ）左眼画像と（ｂ）右眼画像を示している。
このように撮像された画像は通常、表示時には９０度回転した状態、図４（ｃ），（ｄ）の画像として表示される。
【００１２】
図５は、
（ａ）表示部に表示される左眼画像（＝図４（ｃ））
（ｂ），（ｃ）表示部に表示される右眼画像（＝図４（ｄ））
これらを示している。
点線は、各画像間におけるズレを示している。
【００１３】
図５（ａ），（ｃ）間の点線によって理解されるように、（ａ）左眼画像と（ｃ）右眼画像には水平方向のズレがない。すなわち視差がなく、これらの２つの画像を３Ｄ画像表示装置に表示しても立体感を知覚することはできない。
【００１４】
一方、図５（ａ），（ｂ）間の点線によって理解されるように、（ａ）左眼画像と（ｂ）右眼画像には垂直方向のズレが発生している。これらの２つの画像を３Ｄ画像表示装置に表示した場合、上下の画像ブレを知覚するのみであり、何ら立体感を得ることはできない。
３Ｄディスプレイは、水平方向の視差の設定された２つの画像を人間の左右の目に入射させることで立体感を想起させることを前提としているためである。
【００１５】
図６は、
（Ａ）横持ちステレオカメラによって撮影された水平方向に視差を有し、縦方向のズレはない左眼画像と右眼画像
（Ｂ）縦持ちステレオカメラによって撮影された水平方向に視差を有さず、縦方向のズレのみがある左眼画像と右眼画像
これらの画像を示している。
（Ａ）の画像ペアを３Ｄ表示装置に表示すれば立体感を知覚できるが、（Ｂ）の画像ペアを３Ｄ表示装置に表示しても立体感は知覚できない。
【００１６】
このように２眼カメラを用いたステレオ画像撮影において縦持ち撮影された画像は、３Ｄ表示装置において利用できなくなるという問題がある。
この問題を鑑みて、例えば特許文献１（特開２００８−１４１５１４号公報）は、２眼構成のステレオカメラを利用した構成において、縦持ち時には左右一方の撮像データを記録しないことで省メモリを図る方法を提案している。
また、特許文献２（特開２００９−１８８９３１号公報）は、縦持ち時に撮像素子が機械的に回転、移動することで立体撮影を行なう方法を提案している。
【００１７】
しかし、特許文献１（特開２００８−１４１５１４号公報）は、縦持ち撮影時には立体撮影は不可能としてしまう処理であり、本質的に立体撮影を実現する解決策ではない。
【００１８】
一方、特許文献２（特開２００９−１８８９３１号公報）の解決策は、縦持ち時の立体撮影が可能となる。しかし、撮像素子の機械的な回転を実現させるため、撮像装置が大型化すること、メカ精度に起因する左右両眼の位置や向きずれの発生しやすいことなどの問題がある。さらに、横持ちと縦持ちを切り換える際のタイムラグが発生し、即座の撮影には対応できず、また、動画撮影中の横持ちと縦持ちの切り換えが困難になるという問題がある。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００８−１４１５１４号公報
【特許文献２】特開２００９−１８８９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
本開示は、例えば上記の問題に鑑みてなされたものであり、カメラの持ち方に依存することなく、立体感を知覚可能な画像を生成すること可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００２１】
本開示の一実施例においては、ステレオカメラによって撮影された左右いずれか一方の２Ｄ画像から左右視差画像を生成する機能（２Ｄ／３Ｄ変換機能）を持たせることにより、縦持ちにおいても立体感を知覚できる視差画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
本開示の第１の側面は、
異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する画像処理装置にある。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、前記ステレオ画像生成処理部は、前記デプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記ステレオ画像生成処理部に入力する画像を９０度回転させる画像回転部と、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部と、前記デプスマップ生成処理部の生成したデプスマップを９０度回転させるデプスマップ回転部を有し、前記ステレオ画像生成処理部は、前記画像回転部から、９０度回転した画像と、前記デプスマップ回転部から９０度回転したデプスマップを入力して、これらの入力データに基づいて、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記撮影角度判定部は、前記入力画像が、
（ａ）２眼カメラの横持ち撮影による横持ち撮影画像であるか、
（ｂ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を上、右側を下とした撮影画像であるか、
（ｃ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を下、右側を上とした撮影画像であるか、
上記（ａ）〜（ｃ）３種類の撮影角度を判別可能とした制御信号を生成して出力する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記ステレオ画像生成処理部は、デプスマップを適用しない２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記入力画像に基づくデプスマップを外部から入力する構成を有し、前記ステレオ画像生成処理部は、外部から入力するデプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、撮像装置に対して、左眼画像または右眼画像のいずれか一方のみの画像を入力させる制御信号、またはいずれか一方のみの画像を撮影させる制御信号を出力する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、前記撮影角度判定部は、前記デプスマップの解析処理を実行し、解析結果に基づいて前記入力画像の撮影時のカメラの角度を判定し、判定結果に応じた制御信号を出力する。
【００３０】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力処理と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定処理と、
画像出力処理として、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力する処理、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する処理、
上記いずれかの画像出力処理を選択的に実行する処理を行う画像処理方法にある。
【００３１】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力処理と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定処理と、
画像出力処理として、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力する処理、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する処理、
上記いずれかの画像出力処理を選択的に実行する処理、
を実行させるプログラムにある。
【００３２】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００３３】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３４】
本開示の一実施例の構成によれば、２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法が実現される。
具体的には、異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、左眼画像または右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像を出力する。
この構成により、２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法が実現される。
【図面の簡単な説明】
【００３５】
【図１】２眼構成を持つステレオカメラを用いた横持ち撮影処理例について説明する図である。
【図２】２眼構成を持つステレオカメラを用いた横持ち撮影処理がなされた画像について説明する図である。
【図３】２眼構成を持つステレオカメラを用いた縦持ち撮影処理例について説明する図である。
【図４】２眼構成を持つステレオカメラを用いた縦持ち撮影処理がなされた画像について説明する図である。
【図５】２眼構成を持つステレオカメラを用いた縦持ち撮影処理がなされた画像について説明する図である。
【図６】２眼構成を持つステレオカメラを用いた横持ち撮影処理がなされた画像と、縦持ち撮影処理がなされた画像について説明する図である。
【図７】本開示の画像処理装置の一実施例の構成について説明する図である。
【図８】本開示の画像処理装置の一実施例の構成について説明する図である。
【図９】本開示の画像処理装置の一実施例の構成について説明する図である。
【図１０】本開示の画像処理装置の一実施例の構成について説明する図である。
【図１１】本開示の画像処理装置の一実施例の構成について説明する図である。
【図１２】本開示の画像処理装置の一実施例の構成について説明する図である。
【図１３】本開示の画像処理装置の一実施例の構成について説明する図である。
【図１４】デプスマップに基づく撮影角度判定処理について説明する図である。
【図１５】本開示の画像処理装置の一実施例の構成について説明する図である。
【発明を実施するための形態】
【００３６】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示の画像処理装置の構成と処理例（実施例１）について
２．デプスマップ生成処理部で行われるデプス生成処理について
３．デプスマップを内部で生成しない画像処理装置の構成と処理例（実施例２）について
４．デプスマップを外部から入力する画像処理装置の構成と処理例（実施例３）について
５．出力画像選択処理部を後段処理として設定した画像処理装置の構成と処理例（実施例４）について
６．デプスマップの９０度回転を行なわない画像処理装置の構成と処理例（実施例５）について
７．撮像装置へ制御信号を送る構成を持つ画像処理装置の構成と処理例（実施例６）について
８．撮影角度判定部における撮影角度判定処理を、デプスマップを適用して実行する画像処理装置の構成と処理例（実施例７）について
９．２Ｄ３Ｄ変換処理に適用する画像を右眼画像とした画像処理装置の構成と処理例（実施例８）について
１０．その他の実施例
１１．本開示の構成のまとめ
【００３７】
［１．本開示の画像処理装置の構成と処理例（実施例１）について］
図７以下を参照して本開示の画像処理装置の構成と処理例（実施例１）について説明する。
図７は、本開示の画像処理装置の一実施例の構成を示す図である。
【００３８】
画像処理装置１００は、右眼画像入力部１０１、左眼画像入力部１０２、撮影角度判定部１０３、出力画像選択処理部１０４、画像回転部１０５、デプスマップ生成処理部１０６、デプスマップ回転部１０７、ステレオ画像生成処理部１０８を有する。
【００３９】
画像処理装置１００は、２眼ステレオ画像信号を入力する。入力画像信号は、図１や図３に示すような２つの異なる位置に設定されたレンズを介して入力した２つの画像、すなわち右眼画像と左眼画像である。
なお、撮影処理は、横持ちである場合、縦持ちである場合、いずれの場合もあり得るものとする。
【００４０】
画像処理装置１００に入力する右眼画像と左眼画像はそれぞれ、右眼画像入力部１０１および左眼画像入力部１０２に入力される。
【００４１】
さらに、撮影角度判定部１０３には、入力画像の撮影時のカメラの角度、すなわち横持ち撮影であるか、縦持ち撮影であるかを判別するために必要な情報、例えば、撮像装置（カメラ）の向きを検出するためのセンサ情報などが入力される。撮影角度判定部１０３は、このようなセンサ情報を用いて、「縦持ち撮影」と「横持ち撮影」を判別する。なお、撮像装置のユーザによって、現在の撮影が「縦持ち」か「横持ち」か、入力部を介して入力する構成としてもよい。
【００４２】
撮影角度判定部１０３における判別結果は、制御信号として出力画像選択部１０４、画像回転部１０６、デプスマップ回転部１０７に出力される。
撮影角度判定部１０３の出力する制御信号は、
「横持ち撮影」時には「０」、
「縦持ち撮影」時には、
図２に示すように、撮像装置の左眼側を上（天井方向）、右眼側を下（地面方向）に撮像装置が構えられていると判別した場合には「１」、
図２に示す設定に対して、１８０度回転した設定、すなわち、右眼側を上（天井方向）、左眼側を下（地面方向）に撮像装置が構えられていると判別した場合には「２」、
これら３種類の制御信号を出力する。
【００４３】
画像処理装置１００の右眼画像入力部１０１および左眼画像入力部１０２に入力された左右のステレオ画像の双方は、出力画像選択処理部１０４へ入力する。一方、撮影角度判定部１０３から出力された制御信号も出力画像選択処理部１０４へ入力する。
【００４４】
図７には、画像処理装置１００の画像出力例として、
（１）ケース１［Ｃａｓｅ１］、
（２）ケース２［Ｃａｓｅ２］、
これらの２つのケースを示している。
【００４５】
ケース１［ＣＡＳＥ１］は、撮影角度判定部１０３の出力する制御信号が「０」の場合の処理である。
撮影角度判定部１０３から出力する制御信号が「０」の場合とは、撮像装置を横持ちした撮影が行われた場合である。
この横持ち撮影処理が行われた場合、出力画像選択処理部１０４は、撮影角度判定部１０３から制御信号「０」を入力する。
【００４６】
出力画像選択処理部１０４は、撮影角度判定部１０３から制御信号「０」を入力すると、入力された左右のステレオ画像を、画像処理装置１００の出力としてそのまま出力する。これが、画像処理装置１００の出力である出力右眼画像と出力左眼画像となる。
【００４７】
一方、ケース２［ＣＡＳＥ２］の場合は、撮影角度判定部１０３の出力する制御信号が「１」または「２」の場合の処理である。
撮影角度判定部１０３から出力する制御信号が「１」または「２」の場合とは、撮像装置を縦持ちした縦撮影の場合である。
この縦持ちした縦撮影処理が行われた場合には、画像処理装置１００は、右眼画像入力部１０１および左眼画像入力部１０２に入力された２つの画像の一方の画像を２Ｄ／３Ｄ変換して、ステレオ画像としての左眼画像と右眼画像を生成して出力する。
【００４８】
このケース２［ＣＡＳＥ２］の場合の処理の流れについて詳細に説明する。
縦持ち撮影処理が行われた場合、出力画像選択処理部１０４は、撮影角度判定部１０３から制御信号「１」または「２」を入力する。
【００４９】
出力画像選択処理部１０４は、撮影角度判定部１０３から制御信号「１」または「２」を入力すると、入力された左右のステレオ画像を、まずデプスマップ生成処理部１０５へと入力する。デプスマップ生成処理部１０５において、ステレオマッチングの処理が行われ、デプスマップが生成、出力される。
【００５０】
デプスマップ生成処理部１０５は、入力された２つの画像のステレオマッチング処理を実行して、対応画素位置のずれ量に基づいて各画素位置の被写体までの距離（デプス）、すなわちカメラからの被写体距離を算出する。
【００５１】
デプスマップ生成処理部１０５は、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
デプスマップは、画像を構成する画素の被写体についての被写体距離（カメラからの距離）を示すデータであり、例えば、画像の各画素の被写体の距離情報を輝度情報に変換して示した画像などによって構成される。
【００５２】
具体的には、例えば、
被写体距離が小さい（カメラに近い）被写体を持つ画素は高輝度画素（明るい画素）、
被写体距離が大きい（カメラから遠い）被写体を持つ画素は低輝度画素（暗い画素）、
このような設定とした画像がデプスマップとして利用される。
このように、デプスマップは画像に含まれる被写体の距離を画素対応データとして保持したデータであり、具体的には例えば被写体距離を画素値に変換して設定した画像データとして生成される。
【００５３】
出力画像選択処理部１０４は、さらに、入力された左右のステレオ画像のうち、一方の画像（本例では左眼画像）をステレオ画像生成処理部１０８へ入力される。この入力の前に、画像回転部１０６において、入力左眼画像を９０度回転し、縦長の画像データに変換する。
画像回転部１０６は、この回転処理に際して、撮影角度判定部１０３から出力された制御信号を用いて回転方向を決める。制御信号が「１」であるか「２」であるかに応じて、画像信号の上下を正しく設定した回転処理を行う。
【００５４】
また、デプスマップ生成処理部１０５から出力されたデプスマップも、デプスマップ回転部１０７において回転処理がなされる。
デプスマップ回転部１０７も、撮影角度判定部１０３から出力された制御信号を用いて回転方向を決める。制御信号が「１」であるか「２」であるかに応じて、画像信号の上下を正しく設定した回転処理を行う。
【００５５】
回転処理が施され、正しい上下方向を有する画像とデプスマップは、ステレオ画像生成処理部１０８に入力される。
ステレオ画像生成処理部１０８は、入力された左右のステレオ画像のうち、一方の画像（本例では左眼画像）１枚から、ステレオ画像としての左眼画像と右眼画像のペアを生成する。
【００５６】
すなわち、ステレオ画像生成処理部１０８は、１枚の２Ｄ画像に基づいて、３Ｄ画像表示に適用する視差の設定された左眼画像と右眼画像を生成する。いわゆる２Ｄ３Ｄ変換処理を実行してステレオ画像を生成する。なお、この２Ｄ３Ｄ変換処理においては、デプスマップから得られる被写体距離（デプス）に応じた視差設定処理を実行する。
【００５７】
なお、この被写体距離（デプス）に応じた視差設定を伴う２Ｄ３Ｄ変換処理によるステレオ画像生成処理は、本出願人が先に出願した特開２０１１−１２４９３５号公報に記載の処理を適用することができる。
【００５８】
画像処理装置１００は、縦持ち撮影によって撮影された画像を入力した場合、ステレオ画像生成処理部１０８が２Ｄ３Ｄ変換処理によって生成した右眼画像と左眼画像を、画像処理装置１００の出力画像とする。
【００５９】
このように、図７に示す画像処理装置１００は、
画像処理装置に入力する左目画像と右眼画像が横持ち撮影された画像である場合はそのまま出力し、
画像処理装置に入力する左目画像と右眼画像が縦持ち撮影された画像である場合は、いずれか一方の画像を９０度回転した上で、２Ｄ３Ｄ変換処理によって左眼画像と右眼画像を生成してこれらの生成画像を出力する。
【００６０】
これらの出力画像が３Ｄ画像表示装置に表示される。この処理によって横持ち撮影画像についても縦持ち撮影画像についても水平方向に視差の設定された左眼画像と右眼画像のペアが３Ｄ表示装置に表示されることになり、視覚者に対して立体感を想起させる３Ｄ画像の表示が可能となる。
【００６１】
［２．デプスマップ生成処理部で行われるデプス生成処理について］
次に、デプスマップ生成処理部１０５の実行するデプスマップ生成処理の具体例について説明する。
【００６２】
前述したように、デプスマップは、画像を構成する画素の被写体についての被写体距離（カメラからの距離）を示すデータであり、例えば、画像の各画素の被写体の距離情報を輝度情報に変換して示した画像などによって構成される。
【００６３】
具体的には、例えば、
被写体距離が小さい（カメラに近い）被写体を持つ画素は高輝度画素（明るい画素）、
被写体距離が大きい（カメラから遠い）被写体を持つ画素は低輝度画素（暗い画素）、
このような設定とした画像がデプスマップとして利用される。
このように、デプスマップは画像に含まれる被写体の距離を画素対応データとして保持したデータであり、具体的には例えば被写体距離を画素値に変換して設定した画像データとして生成される。
【００６４】
デプスマップ生成処理部１０５の実行するデプスマップ生成処理では、ステレオマッチングを用いた一般的な手法が適用可能である。
すなわち、複数の異なる視点から得られた画像、本例では、画像処理装置１００に入力する左目画像と右眼画像間の対応を求めることで，画像中の被写体のカメラからの距離を算出することができる。
複数の視点から得られた画像間の対応を、精度良く、または高速に求める手法については、数多く提案されている。
【００６５】
例えば，高精度に画像間の対応を求める手法として、特開２００３−０８５５６６号公報には、動的計画法の一種であるビタビアルゴリズムに基づき，水平走査線上の画素列に対して最適な対応を割り当てる手法を開示している．
また，高速に画像間の対応を求める手法として、特開平０７−１０３７３４号公報には、画像を縮小し階層構造を形成し、解像度の低い階層における対応検出の結果をより解像度の高い階層に伝播し、解像度の高い階層における対応探索処理の低減を図る手法を開示している。
【００６６】
図１に示す画像処理装置１００のデプスマップ生成処理部１０５においては、例えばこれらの既存の手法を適用することでデプスマップ生成処理を行うことができる。
【００６７】
［３．デプスマップを内部で生成しない画像処理装置の構成と処理例（実施例２）について］
次に、デプスマップを内部で生成しない画像処理装置の構成と処理例について、実施例２として説明する。
【００６８】
図８は、デプスマップを内部で生成しない画像処理装置１００の構成を示す図である。
先に説明した図７に示す画像処理装置との違いは、
図７に示すデプスマップ生成処理部１０５と、デプスマップ回転部１０７を有していない点である。
【００６９】
図８に示す画像処理装置１００のステレオ画像生成部１０８は、デプスマップを用いずに、画像回転部１０６から入力する１枚の画像、本例では、左眼画像１枚からステレオ画像としての左眼画像と右眼画像を生成する。
【００７０】
なお、デプスマップを用いずに１枚の２Ｄ画像から３Ｄ画像としての左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理については、本特許出願と同一出願人の先行出願である特開２０１０−０６３０８３号公報に記載がある。
図８に示す画像処理装置１００のステレオ画像生成部１０８は、例えば、この特開２０１０−０６３０８３号公報に記載の手法を適用して１枚の２Ｄ画像から３Ｄ画像としての左眼画像と右眼画像を生成する。
【００７１】
［４．デプスマップを外部から入力する画像処理装置の構成と処理例（実施例３）について］
次に、デプスマップを外部から入力する画像処理装置の構成と処理例（実施例３）について、図９を参照して説明する。
【００７２】
図９に示す画像処理装置１００において、先に説明した図７に示す画像処理装置との違いは、
図７に示すデプスマップ生成処理部１０５と、デプスマップ回転部１０７を有していない点である。
すなわち、図８に示す画像処理装置と同様である。
ただし、図９に示す画像処理装置１００は、図８に示す構成とは異なり、デプスマップを外部から入力する。
【００７３】
図９に示す画像処理装置１００のステレオ画像生成部１０８は、外部から入力するデプスマップを用いて、画像回転部１０６から入力する１枚の画像、本例では、左眼画像１枚からステレオ画像としての左眼画像と右眼画像を生成する。
【００７４】
例えば撮像装置においてデプスマップを取得して画像処理装置に入力する。例えば、撮像装置は、レンジセンサなどの被写体距離を計測する機能を有する。撮像装置が、計測した被写体距離情報に基づくデプスマップを生成して画像処理装置１００に出力する。ステレオ画像生成処理部１０８は、この外部から入力するデプスマップを用いて左右のステレオ画像を生成して、出力する。
【００７５】
［５．出力画像選択処理部を後段処理として設定した画像処理装置の構成と処理例（実施例４）について］
次に、出力画像選択処理部を後段処理として設定した画像処理装置の構成と処理例（実施例４）について、図１０を参照して説明する。
【００７６】
図１０に示す画像処理装置１００において、先に説明した図７に示す画像処理装置との違いは、
出力画像選択処理部１０４を画像処理装置１００の最終処理部として設定した点である。
【００７７】
出力画像選択処理部１０４を後段に設定した構成とすることで、ステレオ画像生成処理部１０８は、常に２Ｄ３Ｄ変換処理によるステレオ画像生成処理を行なう。
出力画像選択処理部１０４には、常時、以下の各画像が入力される。
（１）右眼画像入力部１０１からの右眼画像、
（２）左眼画像入力部１０２からの左眼画像、
（３）ステレオ画像生成処理部１０８が１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像からなるステレオ画像、
これらの画像を常時、入力する。
【００７８】
出力画像選択処理部１０４は、撮影角度判定部１０３からの入力信号に応じて、
（１）右眼画像入力部１０１からの右眼画像と、（２）左眼画像入力部１０２からの左眼画像、
または、
（３）ステレオ画像生成処理部１０８が１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像からなるステレオ画像、
上記の（１），（２）の画像ペア、または（３）の画像ペアのいずれかを出力する。
【００７９】
撮影角度判定部１０３の出力する制御信号が「０」の場合、すなわち、撮像装置を横持ちした通常の横撮影である場合、出力画像選択処理部１０４は、入力された左右のステレオ画像をそのまま出力する。すなわち、上記の（１），（２）の画像ペアを出力右眼画像と出力左眼画像として出力する。
【００８０】
一方、撮影角度判定部１０３の出力する制御信号が「１」または「２」の場合、すなわち、撮像装置を縦持ちした縦撮影の場合には、出力画像選択処理部１０４は、上記（３）の画像を出力する。ステレオ画像生成処理部１０８が１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像からなるステレオ画像を出力画像とする。
【００８１】
［６．デプスマップの９０度回転を行なわない画像処理装置の構成と処理例（実施例５）について］
次に、デプスマップの９０度回転を行なわない設定とした画像処理装置の構成と処理例（実施例５）について、図１１を参照して説明する。
【００８２】
図１１に示す画像処理装置１００において、先に説明した図７に示す画像処理装置との違いは、
図７に示すデプスマップ回転部１０７を省略した点、
図７に示す画像回転部１０６を、ステレオ画像生成処理部１０８の後段に設定して、右眼画像回転部１０６Ｒ、左眼画像回転部１０６Ｌとして構成した点、
である。
【００８３】
本構成では、図１１に示すように、出力画像選択部１０４から、９０度回転なしの１つの画像（本例では左眼画像）が直接、ステレオ画像生成処理部１０８に入力される。また、デプスマップ生成処理部１０５の生成したデプスマップが直接、ステレオ画像生成処理部１０８に入力される。
【００８４】
ステレオ画像生成処理部１０８は、回転処理の施されていない１枚の２Ｄ画像と、デプスマップを用いた２Ｄ３Ｄ変換処理を行って、視差を上下方向に設定した２枚の画像を生成する。
その後、２枚の視差設定画像を右眼画像回転部１０６Ｒ、左眼画像回転部１０６Ｌにそれぞれ入力して、それぞれの画像を９０度回転して実際の被写体の上下方向を反映させた画像を生成して出力する。
【００８５】
なお、これら右眼画像回転部１０６Ｒ、左眼画像回転部１０６Ｌには、撮影角度判定部１０３から撮影角度に応じた制御信号が入力される。
右眼画像回転部１０６Ｒ、左眼画像回転部１０６Ｌは、撮影角度判定部１０３から入力する撮影角度に応じた制御信号に基づく回転処理を実行して、実際の被写体の上下方向を反映させた画像を生成して出力する。
【００８６】
［７．撮像装置へ制御信号を送る構成を持つ画像処理装置の構成と処理例（実施例６）について］
画像処理装置１００は、カメラの縦持ち撮影を行った場合は、ステレオ画像生成処理部１０８が左眼画像または右眼画像のいずれか一方の画像に基づく２Ｄ３Ｄ変換処理によって生成したステレオ画像としての左眼画像と右眼画像を生成して出力する。
【００８７】
従って、カメラの縦持ち撮影を行った場合は、左眼画像と右眼画像の２つの画像のいずれか一方は不要となる。すなわち左眼画像または右眼画像の一方のみが撮影されればよく、他方の画像の撮影処理は不要となる。
【００８８】
本実施例の図１２に示す画像処理装置は、上記の事情を考慮して、縦持ち撮影が実行される場合には、左眼画像と右眼画像の２つの画像のうち、一方の画像のみを撮影するように制御する。
図１２に示す画像処理装置は、このような撮影制御を行う構成例を示している。
画像処理装置１００は、撮像装置２００に対する制御信号を出力する。
【００８９】
図１２に示す画像処理装置１００の撮影角度判定部１０３の制御信号が縦持ち撮影であることを示す制御信号である場合、出力画像選択処理部１０４は、撮像装置２００の右眼画像撮像部に対して撮影停止命令信号、あるいは撮像画像の入力停止命令を出力する。
このような設定とすることで、画像処理装置１００には、必要としない無駄な右眼画像が入力されない。
こうした構成で右眼画像の入力を制御することで、帯域削減や低消費電力化を実現できる。
【００９０】
［８．撮影角度判定部における撮影角度判定処理を、デプスマップを適用して実行する画像処理装置の構成と処理例（実施例７）について］
次に、撮影角度判定部における撮影角度判定処理を、デプスマップを適用して実行する画像処理装置の構成と処理例（実施例７）について説明する。
これまでの実施例では、撮影角度判定部１０３における撮影角度判定処理は、外部から情報の入力を用いて行なう構成であったが、入力している画像情報のみを用いてこの判定を行なう方法も考えられる。
【００９１】
図１３は、本実施例の画像処理装置の構成を示す図である。
図１３に示す画像処理装置１００は、撮影角度判定部１０３に、撮像装置の向きを検出するためのセンサ情報などを入力しない構成に変更したものである。図１３の構成においては、撮影角度判定部１０３に、入力右眼画像、入力左眼画像、および、この左右ステレオ画像を用いてデプスマップ生成処理部１０５で生成されたデプスマップを入力する。
【００９２】
撮影角度判定部１０３は、これらの情報を用いて、ユーザが縦持ち撮影を実行したか、横持ち撮影を実行したかを判別する。
撮影角度判定部１０３において、左右いずれか、または、双方の画像信号のみから、撮像装置がどの向きに持たれて撮像されたかを判別するためには、例えば、
（ａ）撮影画像中の人の顔の検出処理に基づく撮影角度判定処理、
（ｂ）撮影画像中の人の体の検出処理に基づく撮影角度判定処理、
（ｃ）撮影画像中の空領域の検出処理に基づく撮影角度判定処理、
（ｄ）撮影画像中の水平線の検出処理に基づく撮影角度判定処理、
これら（ａ）〜（ｄ）のいずれかの処理を適用することができる。
なお、これら（ａ）〜（ｄ）の処理には、既存技術が利用可能である。例えば、
（ａ）撮影画像中の人の顔の検出処理に基づく撮影角度判定処理については、以下の文献に記載がある。
Ｐ．Ｖｉｏｌａ， Ｍ．Ｊｏｎｅｓ： Ｒｏｂｕｓｔ Ｒｅａｌ−ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ， ＩＪＣＶ ２００１．
【００９３】
また、（ｂ）撮影画像中の人の体の検出処理に基づく撮影角度判定処理については、以下の文献に記載がある。
Ｎ．Ｄａｌａｌ， Ｂ．Ｔｒｉｇｇｓ： Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ， ＣＶＰＲ ２００５．
【００９４】
また、（ｃ）撮影画像中の空領域の検出処理に基づく撮影角度判定処理については、以下の文献に記載がある。
Ｊ．Ｌｕｏ， Ｅｔｚ Ｓ．Ｐ．： Ａ Ｐｈｙｓｉｃａｌ Ｍｏｄｅｌ−Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｄｅｔｅｃｔｉｎｇ Ｓｋｙ ｉｎ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｉｍａｇｅｓ． ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ．１１ Ｉｓｓｕｅ３， ２００２．
【００９５】
また、（ｄ）撮影画像中の水平線の検出処理に基づく撮影角度判定処理については、以下の文献に記載がある。
Ｓ． Ｔ． Ｂａｒｎａｒｄ： Ｉｎｔｅｒｐｒｅｔｉｎｇ ｐｅｒｓｐｅｃｔｉｖｅ ｉｍａｇｅｓ． Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ２１， １９８３．
【００９６】
撮影角度判定部１０３は、これらの既存技術を用いて、ユーザが縦持ち撮影を実行したか、横持ち撮影を実行したかを判別することができる。
【００９７】
また、デプスマップ生成処理部１０５で生成されたデプスマップを用いる方法としては、たとえば、図１４に示すデプスマップ解析結果を生成して用いる方法が適用可能である。
【００９８】
図１４には、
（ａ）ステレオカメラを横持ちした撮影画像に対するデプスマップの解析結果、
（ｂ）ステレオカメラを縦持ちした撮影画像（左眼画像を上側）に対するデプスマップの解析結果、
（ｃ）ステレオカメラを縦持ちした撮影画像（右眼画像を上側）に対するデプスマップの解析結果、
これらを示している。
【００９９】
（ａ）〜（ｃ）とも、上段から、
デプスマップに対する空間ローパスフィル（ＬＰＦ）タの適用結果、
ＬＰＦ適用画像から得られる縦方向の平均デプスデータ（横軸が縦方向の画素位置、縦軸がデプス）、
ＬＰＦ適用画像から得られる横方向の平均デプスデータ（横軸が横方向の画素位置、縦軸がデプス）、
これらの３つのデータを示している。
【０１００】
デプスマップ、およびそのＬＰＦ適用結果は、被写体距離（デプス）が遠いほど高い輝度、近いほど低い輝度で表現される。
上段に示すＬＰＦ適用デプスマップに基づいて、
中段に示す縦方向の平均デプス（ライン毎の平均値）分布、および、
下段に示す横方向の平均デプス（カラム毎の平均値）分布、
これらの各データを算出する。
【０１０１】
中断と下段に示す平均デプスデータの分布から見てとれるように、
横持ち撮像された画像の、縦方向の平均デプス分布は、画像の縦座標に対し、上部の座標ほど高い（遠い）値となる分布の傾向がある。
一方、横方向の平均デプス分布は、画像の横座標に対し、傾きがほとんどなく平坦な分布をとる傾向がある。
【０１０２】
また、縦持ち撮像された画像の縦方向の平均デプス分布は、画像の縦座標に対し、傾きがほとんどなく平坦な分布をとる傾向がある。左右のどちらの眼を上に位置する場合でも同じである。
一方、横方向の平均デプス分布は、画像の横座標に対し、左眼を上に位置して撮像した場合は、左部の座標ほど高い（遠い）値となる分布の傾向があり、右眼を上に位置して撮像した場合は、右部の座標ほど高い（遠い）値となる分布の傾向がある。
【０１０３】
このように、縦横方向の平均デプス分布は、撮像装置の向きに応じて異なる分布となる傾向がある。
撮影角度判定部１０３は、デプスマップ生成処理部１０５の生成したデプスマップを入力して、図１４に示す解析データを生成して、生成した解析データに基づいて、撮影画像が横持ちであるか、縦持ちであるか、さらに縦持ちである場合は、左眼画像がうえであるか右眼画像が上であるかを判別する。
これらの判別結果に応じて前述の制御信号（０〜２）を生成して出力する。
【０１０４】
［９．２Ｄ３Ｄ変換処理に適用する画像を右眼画像とした画像処理装置の構成と処理例（実施例８）について］
ここまでの実施例においては、ステレオ画像生成処理部１０８において実行する２Ｄ／３Ｄ変換処理の処理対象画像は、左眼画像とした例について説明したが、ステレオ画像生成処理部１０８において実行する２Ｄ／３Ｄ変換処理の処理対象画像は、右眼画像としてもよい。
【０１０５】
図１５に示す画像処理装置は、図７に示す画像処理装置と異なり、ステレオ画像生成処理部１０８に右眼画像を入力する構成を持つ。
ステレオ画像生成処理部１０８は、右眼画像を入力して、右眼画像に基づく２Ｄ３Ｄ変換処理を実行してステレオ画像としての左眼画像と右眼画像を生成して出力する。
【０１０６】
なお、先に説明した実施例２〜７においても、ステレオ画像生成処理部１０８に、右眼画像を入力して、右眼画像に基づく２Ｄ３Ｄ変換処理を実行してステレオ画像としての左眼画像と右眼画像を生成して出力する構成が可能である。
【０１０７】
なお、ステレオ画像生成処理部１０８において、
左眼画像に基づく２Ｄ３Ｄ変換処理を実行するか、
右眼画像に基づく２Ｄ３Ｄ変換処理を実行するか、
これらを選択適用する構成としてもよい。
【０１０８】
どちらの画像を選択するかの決定処理は、例えば、撮影角度判定部１０３から出力画像選択処理部１０４へ入力される制御信号に応じて、どちらの画像を処理するかを決定する処理態様などが可能である。
例えば、縦持ちされた撮像装置の上（天井方向）側で撮像された画像を処理対象として選択する設定とする。
このような設定では、入力された制御信号が「１」の場合には左側の画像を、入力された制御信号が「２」の場合には右側の画像を、それぞれ２Ｄ３Ｄ変換対象画像として選択し、ステレオ画像生成処理部１０８に選択出力することができる。
【０１０９】
その他の選択基準としては、例えば、左右画像のどちらが人の目から見て映りがよいか、を判断して選択する手法も考えられる。例えば、主たる被写体が、より構図の中心にある方を選ぶ、あるいは、フォーカス位置がより合致している方を選ぶ、などである。これらの判断情報を実行する画像評価部を画像処理装置１００内に構成し、この画像評価部の評価結果を出力画像選択処理部１０４に入力する。
出力画像選択処理部１０４は入力する評価結果に応じて、評価の高い画像を選択してステレオ画像生成処理部１０８に出力する。
【０１１０】
なお、撮影画像の中から総合的に良い画像を自動で評価する処理としては、例えば、特開２０１０−１１９０９７号公報に記載の構成が適用可能である。
【０１１１】
［１０．その他の実施例］
これまでに説明した実施例では、画像処理装置１００に入力する画像は、左右の撮像素子を有した２眼撮像装置で取得された、左右ステレオ画像の入力を前提としていた。しかし、画像処理装置１００に入力する画像は、単眼によるステレオ画像撮像装置で取得された左右ステレオ画像の入力としてもよい。
なお、２眼構成でない単眼構成の撮像装置を利用した左右ステレオ画像の撮影と生成処理については、例えば、特開２０１１−３５８５３号公報に記載の構成がある。
この特開２０１１−３５８５３号公報に記載の構成等、単眼構成の撮像装置を利用した左右ステレオ画像を入力としてもよい。
【０１１２】
［１１．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１１３】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する画像処理装置。
【０１１４】
（２）前記画像処理装置は、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、前記ステレオ画像生成処理部は、前記デプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する前記（１）に記載の画像処理装置。
（３）前記画像処理装置は、前記ステレオ画像生成処理部に入力する画像を９０度回転させる画像回転部と、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部と、前記デプスマップ生成処理部の生成したデプスマップを９０度回転させるデプスマップ回転部を有し、前記ステレオ画像生成処理部は、前記画像回転部から、９０度回転した画像と、前記デプスマップ回転部から９０度回転したデプスマップを入力して、これらの入力データに基づいて、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する前記（１）または（２）に記載の画像処理装置。
【０１１５】
（４）前記撮影角度判定部は、前記入力画像が、
（ａ）２眼カメラの横持ち撮影による横持ち撮影画像であるか、
（ｂ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を上、右側を下とした撮影画像であるか、
（ｃ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を下、右側を上とした撮影画像であるか、
上記（ａ）〜（ｃ）３種類の撮影角度を判別可能とした制御信号を生成して出力する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記ステレオ画像生成処理部は、デプスマップを適用しない２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する前記（１）〜（４）いずれかに記載の画像処理装置。
【０１１６】
（６）前記画像処理装置は、前記入力画像に基づくデプスマップを外部から入力する構成を有し、前記ステレオ画像生成処理部は、外部から入力するデプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記画像処理装置は、前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、撮像装置に対して、左眼画像または右眼画像のいずれか一方のみの画像を入力させる制御信号、またはいずれか一方のみの画像を撮影させる制御信号を出力する前記（１）〜（６）に記載の画像処理装置。
（８）前記画像処理装置は、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、前記撮影角度判定部は、前記デプスマップの解析処理を実行し、解析結果に基づいて前記入力画像の撮影時のカメラの角度を判定し、判定結果に応じた制御信号を出力する全期（１）〜（７）いずれかに記載の画像処理装置。
【０１１７】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１１８】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１１９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１２０】
以上、説明したように、本開示の一実施例の構成によれば、２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法が実現される。
具体的には、異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、左眼画像または右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像を出力する。
この構成により、２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法が実現される。
【符号の説明】
【０１２１】
１００ 画像処理装置
１０１ 右眼画像入力部
１０２ 左眼画像入力部
１０３ 撮影角度判定部
１０４ 出力画像選択処理部
１０５ デプスマップ生成処理部
１０６ 画像回転部
１０６ａ 右眼画像回転部
１０６ｂ 左眼画像回転部
１０７ デプスマップ回転部
１０８ ステレオ画像生成処理部
【技術分野】
【０００１】
本開示は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、ステレオ視（立体視）可能な３次元画像（３Ｄ画像）の生成を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
奥行きを持つ立体画像として視覚可能なステレオ視（立体視）に対応した画像は、異なる視点からの画像である左眼用の左眼画像と右眼用の右眼画像の２つの画像の組み合わせによって構成される。これらの２つの視点からの画像、すなわち両眼視差画像を得るためには、例えば２つの撮像装置を左右に離間させて配置して撮像することが行われる。
【０００３】
撮像された一対のステレオ画像は、
左側の撮像装置で撮像し、左眼で観察する左眼画像と、
右側の撮像装置で撮像し、右眼で観察する右眼画像と、
のペア画像によって構成される。
【０００４】
左眼画像と右眼画像のペア画像によって構成されるステレオ画像対を、左眼画像と右眼画像をそれぞれ分離して観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。
【０００５】
１台のカメラによる１回の撮影処理によって、左眼画像と右眼画像のペア画像を撮影する構成として２眼（複眼）構成を持つカメラが利用される。このような２眼構成のカメラは例えばステレオカメラと呼ばれる。
【０００６】
図１は、ステレオ撮像系を有する撮像装置による撮像方法を示すものである。
図１に示すカメラ１０は、左眼画像と右眼画像を撮影する２眼（複眼）構成を持つステレオカメラである。このような２眼（複眼）ステレオ撮像系を有する撮像装置においては、通常横持ちを前提としており、左右の水平位置のズレにより、視差画像を取得する。
【０００７】
図２は、ステレオ撮像系を有する撮像装置による横持ち撮像例を示す図である。
図２（ａ）は左眼画像、
図２（ｂ）、（ｃ）はいずれも同じ図であり右眼画像である。
（ａ）左眼画像も、（ｂ），（ｃ）右眼画像も、いずれも被写体として、自動車、ビル、木、家が撮影されているが、カメラのレンズ位置のずれによって撮影方向が異なるため、各画像上におけるこれら被写体の配置が少し異なる配置となっている。
図２（ａ）の左眼画像と、図２（ｂ）の右眼画像間を結ぶ点線は、各被写体が上下にズレを生じていないことを示している。
一方、図２（ａ）の左眼画像と、図２（ｃ）の右眼画像間を結ぶ点線は、各画像の被写体位置が、撮像装置からの距離に応じて、左右方向（水平方向）にズレが発生していることを示している。
【０００８】
この左右方向（水平方向）のズレが視差である。このように視差を有する２つの画像を、観察者の左眼と右眼に提示できる表示装置に表示することで、観察者は画像を立体画像として知覚することができる。
【０００９】
２眼（複眼）構成を持つカメラによって、視差を有する左眼画像と右眼画像を撮影するためには、図１に示すようにカメラ１０を横持ちしなければならない。
【００１０】
しかし、縦長の構図を撮像する際にはカメラを９０度傾けて撮影する。いわゆる縦持ちをした撮影を行う。
図１に示すような２眼構成のカメラ１０を９０度傾けて縦持ちして撮影すると、撮影画像として得られる左眼画像と右眼画像には水平方向の視差が発生しない。結果としてステレオ画像としての表示ができない画像となってしまう。
【００１１】
図３は、ステレオ撮像系を有する２眼構成のカメラ１０を９０度傾けて縦持ちして撮影した処理例を示す図である。
図４は、図３に示す縦持ち撮影によって得られる（ａ）左眼画像と（ｂ）右眼画像を示している。
このように撮像された画像は通常、表示時には９０度回転した状態、図４（ｃ），（ｄ）の画像として表示される。
【００１２】
図５は、
（ａ）表示部に表示される左眼画像（＝図４（ｃ））
（ｂ），（ｃ）表示部に表示される右眼画像（＝図４（ｄ））
これらを示している。
点線は、各画像間におけるズレを示している。
【００１３】
図５（ａ），（ｃ）間の点線によって理解されるように、（ａ）左眼画像と（ｃ）右眼画像には水平方向のズレがない。すなわち視差がなく、これらの２つの画像を３Ｄ画像表示装置に表示しても立体感を知覚することはできない。
【００１４】
一方、図５（ａ），（ｂ）間の点線によって理解されるように、（ａ）左眼画像と（ｂ）右眼画像には垂直方向のズレが発生している。これらの２つの画像を３Ｄ画像表示装置に表示した場合、上下の画像ブレを知覚するのみであり、何ら立体感を得ることはできない。
３Ｄディスプレイは、水平方向の視差の設定された２つの画像を人間の左右の目に入射させることで立体感を想起させることを前提としているためである。
【００１５】
図６は、
（Ａ）横持ちステレオカメラによって撮影された水平方向に視差を有し、縦方向のズレはない左眼画像と右眼画像
（Ｂ）縦持ちステレオカメラによって撮影された水平方向に視差を有さず、縦方向のズレのみがある左眼画像と右眼画像
これらの画像を示している。
（Ａ）の画像ペアを３Ｄ表示装置に表示すれば立体感を知覚できるが、（Ｂ）の画像ペアを３Ｄ表示装置に表示しても立体感は知覚できない。
【００１６】
このように２眼カメラを用いたステレオ画像撮影において縦持ち撮影された画像は、３Ｄ表示装置において利用できなくなるという問題がある。
この問題を鑑みて、例えば特許文献１（特開２００８−１４１５１４号公報）は、２眼構成のステレオカメラを利用した構成において、縦持ち時には左右一方の撮像データを記録しないことで省メモリを図る方法を提案している。
また、特許文献２（特開２００９−１８８９３１号公報）は、縦持ち時に撮像素子が機械的に回転、移動することで立体撮影を行なう方法を提案している。
【００１７】
しかし、特許文献１（特開２００８−１４１５１４号公報）は、縦持ち撮影時には立体撮影は不可能としてしまう処理であり、本質的に立体撮影を実現する解決策ではない。
【００１８】
一方、特許文献２（特開２００９−１８８９３１号公報）の解決策は、縦持ち時の立体撮影が可能となる。しかし、撮像素子の機械的な回転を実現させるため、撮像装置が大型化すること、メカ精度に起因する左右両眼の位置や向きずれの発生しやすいことなどの問題がある。さらに、横持ちと縦持ちを切り換える際のタイムラグが発生し、即座の撮影には対応できず、また、動画撮影中の横持ちと縦持ちの切り換えが困難になるという問題がある。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００８−１４１５１４号公報
【特許文献２】特開２００９−１８８９３１号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
本開示は、例えば上記の問題に鑑みてなされたものであり、カメラの持ち方に依存することなく、立体感を知覚可能な画像を生成すること可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００２１】
本開示の一実施例においては、ステレオカメラによって撮影された左右いずれか一方の２Ｄ画像から左右視差画像を生成する機能（２Ｄ／３Ｄ変換機能）を持たせることにより、縦持ちにおいても立体感を知覚できる視差画像を生成可能とした画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００２２】
本開示の第１の側面は、
異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する画像処理装置にある。
【００２３】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、前記ステレオ画像生成処理部は、前記デプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する。
【００２４】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記ステレオ画像生成処理部に入力する画像を９０度回転させる画像回転部と、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部と、前記デプスマップ生成処理部の生成したデプスマップを９０度回転させるデプスマップ回転部を有し、前記ステレオ画像生成処理部は、前記画像回転部から、９０度回転した画像と、前記デプスマップ回転部から９０度回転したデプスマップを入力して、これらの入力データに基づいて、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する。
【００２５】
さらに、本開示の画像処理装置の一実施態様において、前記撮影角度判定部は、前記入力画像が、
（ａ）２眼カメラの横持ち撮影による横持ち撮影画像であるか、
（ｂ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を上、右側を下とした撮影画像であるか、
（ｃ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を下、右側を上とした撮影画像であるか、
上記（ａ）〜（ｃ）３種類の撮影角度を判別可能とした制御信号を生成して出力する。
【００２６】
さらに、本開示の画像処理装置の一実施態様において、前記ステレオ画像生成処理部は、デプスマップを適用しない２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する。
【００２７】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記入力画像に基づくデプスマップを外部から入力する構成を有し、前記ステレオ画像生成処理部は、外部から入力するデプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する。
【００２８】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、撮像装置に対して、左眼画像または右眼画像のいずれか一方のみの画像を入力させる制御信号、またはいずれか一方のみの画像を撮影させる制御信号を出力する。
【００２９】
さらに、本開示の画像処理装置の一実施態様において、前記画像処理装置は、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、前記撮影角度判定部は、前記デプスマップの解析処理を実行し、解析結果に基づいて前記入力画像の撮影時のカメラの角度を判定し、判定結果に応じた制御信号を出力する。
【００３０】
さらに、本開示の第２の側面は、
画像処理装置において実行する画像処理方法であり、
異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力処理と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定処理と、
画像出力処理として、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力する処理、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する処理、
上記いずれかの画像出力処理を選択的に実行する処理を行う画像処理方法にある。
【００３１】
さらに、本開示の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力処理と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定処理と、
画像出力処理として、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力する処理、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する処理、
上記いずれかの画像出力処理を選択的に実行する処理、
を実行させるプログラムにある。
【００３２】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００３３】
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３４】
本開示の一実施例の構成によれば、２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法が実現される。
具体的には、異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、左眼画像または右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像を出力する。
この構成により、２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法が実現される。
【図面の簡単な説明】
【００３５】
【図１】２眼構成を持つステレオカメラを用いた横持ち撮影処理例について説明する図である。
【図２】２眼構成を持つステレオカメラを用いた横持ち撮影処理がなされた画像について説明する図である。
【図３】２眼構成を持つステレオカメラを用いた縦持ち撮影処理例について説明する図である。
【図４】２眼構成を持つステレオカメラを用いた縦持ち撮影処理がなされた画像について説明する図である。
【図５】２眼構成を持つステレオカメラを用いた縦持ち撮影処理がなされた画像について説明する図である。
【図６】２眼構成を持つステレオカメラを用いた横持ち撮影処理がなされた画像と、縦持ち撮影処理がなされた画像について説明する図である。
【図７】本開示の画像処理装置の一実施例の構成について説明する図である。
【図８】本開示の画像処理装置の一実施例の構成について説明する図である。
【図９】本開示の画像処理装置の一実施例の構成について説明する図である。
【図１０】本開示の画像処理装置の一実施例の構成について説明する図である。
【図１１】本開示の画像処理装置の一実施例の構成について説明する図である。
【図１２】本開示の画像処理装置の一実施例の構成について説明する図である。
【図１３】本開示の画像処理装置の一実施例の構成について説明する図である。
【図１４】デプスマップに基づく撮影角度判定処理について説明する図である。
【図１５】本開示の画像処理装置の一実施例の構成について説明する図である。
【発明を実施するための形態】
【００３６】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．本開示の画像処理装置の構成と処理例（実施例１）について
２．デプスマップ生成処理部で行われるデプス生成処理について
３．デプスマップを内部で生成しない画像処理装置の構成と処理例（実施例２）について
４．デプスマップを外部から入力する画像処理装置の構成と処理例（実施例３）について
５．出力画像選択処理部を後段処理として設定した画像処理装置の構成と処理例（実施例４）について
６．デプスマップの９０度回転を行なわない画像処理装置の構成と処理例（実施例５）について
７．撮像装置へ制御信号を送る構成を持つ画像処理装置の構成と処理例（実施例６）について
８．撮影角度判定部における撮影角度判定処理を、デプスマップを適用して実行する画像処理装置の構成と処理例（実施例７）について
９．２Ｄ３Ｄ変換処理に適用する画像を右眼画像とした画像処理装置の構成と処理例（実施例８）について
１０．その他の実施例
１１．本開示の構成のまとめ
【００３７】
［１．本開示の画像処理装置の構成と処理例（実施例１）について］
図７以下を参照して本開示の画像処理装置の構成と処理例（実施例１）について説明する。
図７は、本開示の画像処理装置の一実施例の構成を示す図である。
【００３８】
画像処理装置１００は、右眼画像入力部１０１、左眼画像入力部１０２、撮影角度判定部１０３、出力画像選択処理部１０４、画像回転部１０５、デプスマップ生成処理部１０６、デプスマップ回転部１０７、ステレオ画像生成処理部１０８を有する。
【００３９】
画像処理装置１００は、２眼ステレオ画像信号を入力する。入力画像信号は、図１や図３に示すような２つの異なる位置に設定されたレンズを介して入力した２つの画像、すなわち右眼画像と左眼画像である。
なお、撮影処理は、横持ちである場合、縦持ちである場合、いずれの場合もあり得るものとする。
【００４０】
画像処理装置１００に入力する右眼画像と左眼画像はそれぞれ、右眼画像入力部１０１および左眼画像入力部１０２に入力される。
【００４１】
さらに、撮影角度判定部１０３には、入力画像の撮影時のカメラの角度、すなわち横持ち撮影であるか、縦持ち撮影であるかを判別するために必要な情報、例えば、撮像装置（カメラ）の向きを検出するためのセンサ情報などが入力される。撮影角度判定部１０３は、このようなセンサ情報を用いて、「縦持ち撮影」と「横持ち撮影」を判別する。なお、撮像装置のユーザによって、現在の撮影が「縦持ち」か「横持ち」か、入力部を介して入力する構成としてもよい。
【００４２】
撮影角度判定部１０３における判別結果は、制御信号として出力画像選択部１０４、画像回転部１０６、デプスマップ回転部１０７に出力される。
撮影角度判定部１０３の出力する制御信号は、
「横持ち撮影」時には「０」、
「縦持ち撮影」時には、
図２に示すように、撮像装置の左眼側を上（天井方向）、右眼側を下（地面方向）に撮像装置が構えられていると判別した場合には「１」、
図２に示す設定に対して、１８０度回転した設定、すなわち、右眼側を上（天井方向）、左眼側を下（地面方向）に撮像装置が構えられていると判別した場合には「２」、
これら３種類の制御信号を出力する。
【００４３】
画像処理装置１００の右眼画像入力部１０１および左眼画像入力部１０２に入力された左右のステレオ画像の双方は、出力画像選択処理部１０４へ入力する。一方、撮影角度判定部１０３から出力された制御信号も出力画像選択処理部１０４へ入力する。
【００４４】
図７には、画像処理装置１００の画像出力例として、
（１）ケース１［Ｃａｓｅ１］、
（２）ケース２［Ｃａｓｅ２］、
これらの２つのケースを示している。
【００４５】
ケース１［ＣＡＳＥ１］は、撮影角度判定部１０３の出力する制御信号が「０」の場合の処理である。
撮影角度判定部１０３から出力する制御信号が「０」の場合とは、撮像装置を横持ちした撮影が行われた場合である。
この横持ち撮影処理が行われた場合、出力画像選択処理部１０４は、撮影角度判定部１０３から制御信号「０」を入力する。
【００４６】
出力画像選択処理部１０４は、撮影角度判定部１０３から制御信号「０」を入力すると、入力された左右のステレオ画像を、画像処理装置１００の出力としてそのまま出力する。これが、画像処理装置１００の出力である出力右眼画像と出力左眼画像となる。
【００４７】
一方、ケース２［ＣＡＳＥ２］の場合は、撮影角度判定部１０３の出力する制御信号が「１」または「２」の場合の処理である。
撮影角度判定部１０３から出力する制御信号が「１」または「２」の場合とは、撮像装置を縦持ちした縦撮影の場合である。
この縦持ちした縦撮影処理が行われた場合には、画像処理装置１００は、右眼画像入力部１０１および左眼画像入力部１０２に入力された２つの画像の一方の画像を２Ｄ／３Ｄ変換して、ステレオ画像としての左眼画像と右眼画像を生成して出力する。
【００４８】
このケース２［ＣＡＳＥ２］の場合の処理の流れについて詳細に説明する。
縦持ち撮影処理が行われた場合、出力画像選択処理部１０４は、撮影角度判定部１０３から制御信号「１」または「２」を入力する。
【００４９】
出力画像選択処理部１０４は、撮影角度判定部１０３から制御信号「１」または「２」を入力すると、入力された左右のステレオ画像を、まずデプスマップ生成処理部１０５へと入力する。デプスマップ生成処理部１０５において、ステレオマッチングの処理が行われ、デプスマップが生成、出力される。
【００５０】
デプスマップ生成処理部１０５は、入力された２つの画像のステレオマッチング処理を実行して、対応画素位置のずれ量に基づいて各画素位置の被写体までの距離（デプス）、すなわちカメラからの被写体距離を算出する。
【００５１】
デプスマップ生成処理部１０５は、入力画像の各画素に距離情報を対応付けたデプスマップを生成して出力する。
デプスマップは、画像を構成する画素の被写体についての被写体距離（カメラからの距離）を示すデータであり、例えば、画像の各画素の被写体の距離情報を輝度情報に変換して示した画像などによって構成される。
【００５２】
具体的には、例えば、
被写体距離が小さい（カメラに近い）被写体を持つ画素は高輝度画素（明るい画素）、
被写体距離が大きい（カメラから遠い）被写体を持つ画素は低輝度画素（暗い画素）、
このような設定とした画像がデプスマップとして利用される。
このように、デプスマップは画像に含まれる被写体の距離を画素対応データとして保持したデータであり、具体的には例えば被写体距離を画素値に変換して設定した画像データとして生成される。
【００５３】
出力画像選択処理部１０４は、さらに、入力された左右のステレオ画像のうち、一方の画像（本例では左眼画像）をステレオ画像生成処理部１０８へ入力される。この入力の前に、画像回転部１０６において、入力左眼画像を９０度回転し、縦長の画像データに変換する。
画像回転部１０６は、この回転処理に際して、撮影角度判定部１０３から出力された制御信号を用いて回転方向を決める。制御信号が「１」であるか「２」であるかに応じて、画像信号の上下を正しく設定した回転処理を行う。
【００５４】
また、デプスマップ生成処理部１０５から出力されたデプスマップも、デプスマップ回転部１０７において回転処理がなされる。
デプスマップ回転部１０７も、撮影角度判定部１０３から出力された制御信号を用いて回転方向を決める。制御信号が「１」であるか「２」であるかに応じて、画像信号の上下を正しく設定した回転処理を行う。
【００５５】
回転処理が施され、正しい上下方向を有する画像とデプスマップは、ステレオ画像生成処理部１０８に入力される。
ステレオ画像生成処理部１０８は、入力された左右のステレオ画像のうち、一方の画像（本例では左眼画像）１枚から、ステレオ画像としての左眼画像と右眼画像のペアを生成する。
【００５６】
すなわち、ステレオ画像生成処理部１０８は、１枚の２Ｄ画像に基づいて、３Ｄ画像表示に適用する視差の設定された左眼画像と右眼画像を生成する。いわゆる２Ｄ３Ｄ変換処理を実行してステレオ画像を生成する。なお、この２Ｄ３Ｄ変換処理においては、デプスマップから得られる被写体距離（デプス）に応じた視差設定処理を実行する。
【００５７】
なお、この被写体距離（デプス）に応じた視差設定を伴う２Ｄ３Ｄ変換処理によるステレオ画像生成処理は、本出願人が先に出願した特開２０１１−１２４９３５号公報に記載の処理を適用することができる。
【００５８】
画像処理装置１００は、縦持ち撮影によって撮影された画像を入力した場合、ステレオ画像生成処理部１０８が２Ｄ３Ｄ変換処理によって生成した右眼画像と左眼画像を、画像処理装置１００の出力画像とする。
【００５９】
このように、図７に示す画像処理装置１００は、
画像処理装置に入力する左目画像と右眼画像が横持ち撮影された画像である場合はそのまま出力し、
画像処理装置に入力する左目画像と右眼画像が縦持ち撮影された画像である場合は、いずれか一方の画像を９０度回転した上で、２Ｄ３Ｄ変換処理によって左眼画像と右眼画像を生成してこれらの生成画像を出力する。
【００６０】
これらの出力画像が３Ｄ画像表示装置に表示される。この処理によって横持ち撮影画像についても縦持ち撮影画像についても水平方向に視差の設定された左眼画像と右眼画像のペアが３Ｄ表示装置に表示されることになり、視覚者に対して立体感を想起させる３Ｄ画像の表示が可能となる。
【００６１】
［２．デプスマップ生成処理部で行われるデプス生成処理について］
次に、デプスマップ生成処理部１０５の実行するデプスマップ生成処理の具体例について説明する。
【００６２】
前述したように、デプスマップは、画像を構成する画素の被写体についての被写体距離（カメラからの距離）を示すデータであり、例えば、画像の各画素の被写体の距離情報を輝度情報に変換して示した画像などによって構成される。
【００６３】
具体的には、例えば、
被写体距離が小さい（カメラに近い）被写体を持つ画素は高輝度画素（明るい画素）、
被写体距離が大きい（カメラから遠い）被写体を持つ画素は低輝度画素（暗い画素）、
このような設定とした画像がデプスマップとして利用される。
このように、デプスマップは画像に含まれる被写体の距離を画素対応データとして保持したデータであり、具体的には例えば被写体距離を画素値に変換して設定した画像データとして生成される。
【００６４】
デプスマップ生成処理部１０５の実行するデプスマップ生成処理では、ステレオマッチングを用いた一般的な手法が適用可能である。
すなわち、複数の異なる視点から得られた画像、本例では、画像処理装置１００に入力する左目画像と右眼画像間の対応を求めることで，画像中の被写体のカメラからの距離を算出することができる。
複数の視点から得られた画像間の対応を、精度良く、または高速に求める手法については、数多く提案されている。
【００６５】
例えば，高精度に画像間の対応を求める手法として、特開２００３−０８５５６６号公報には、動的計画法の一種であるビタビアルゴリズムに基づき，水平走査線上の画素列に対して最適な対応を割り当てる手法を開示している．
また，高速に画像間の対応を求める手法として、特開平０７−１０３７３４号公報には、画像を縮小し階層構造を形成し、解像度の低い階層における対応検出の結果をより解像度の高い階層に伝播し、解像度の高い階層における対応探索処理の低減を図る手法を開示している。
【００６６】
図１に示す画像処理装置１００のデプスマップ生成処理部１０５においては、例えばこれらの既存の手法を適用することでデプスマップ生成処理を行うことができる。
【００６７】
［３．デプスマップを内部で生成しない画像処理装置の構成と処理例（実施例２）について］
次に、デプスマップを内部で生成しない画像処理装置の構成と処理例について、実施例２として説明する。
【００６８】
図８は、デプスマップを内部で生成しない画像処理装置１００の構成を示す図である。
先に説明した図７に示す画像処理装置との違いは、
図７に示すデプスマップ生成処理部１０５と、デプスマップ回転部１０７を有していない点である。
【００６９】
図８に示す画像処理装置１００のステレオ画像生成部１０８は、デプスマップを用いずに、画像回転部１０６から入力する１枚の画像、本例では、左眼画像１枚からステレオ画像としての左眼画像と右眼画像を生成する。
【００７０】
なお、デプスマップを用いずに１枚の２Ｄ画像から３Ｄ画像としての左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理については、本特許出願と同一出願人の先行出願である特開２０１０−０６３０８３号公報に記載がある。
図８に示す画像処理装置１００のステレオ画像生成部１０８は、例えば、この特開２０１０−０６３０８３号公報に記載の手法を適用して１枚の２Ｄ画像から３Ｄ画像としての左眼画像と右眼画像を生成する。
【００７１】
［４．デプスマップを外部から入力する画像処理装置の構成と処理例（実施例３）について］
次に、デプスマップを外部から入力する画像処理装置の構成と処理例（実施例３）について、図９を参照して説明する。
【００７２】
図９に示す画像処理装置１００において、先に説明した図７に示す画像処理装置との違いは、
図７に示すデプスマップ生成処理部１０５と、デプスマップ回転部１０７を有していない点である。
すなわち、図８に示す画像処理装置と同様である。
ただし、図９に示す画像処理装置１００は、図８に示す構成とは異なり、デプスマップを外部から入力する。
【００７３】
図９に示す画像処理装置１００のステレオ画像生成部１０８は、外部から入力するデプスマップを用いて、画像回転部１０６から入力する１枚の画像、本例では、左眼画像１枚からステレオ画像としての左眼画像と右眼画像を生成する。
【００７４】
例えば撮像装置においてデプスマップを取得して画像処理装置に入力する。例えば、撮像装置は、レンジセンサなどの被写体距離を計測する機能を有する。撮像装置が、計測した被写体距離情報に基づくデプスマップを生成して画像処理装置１００に出力する。ステレオ画像生成処理部１０８は、この外部から入力するデプスマップを用いて左右のステレオ画像を生成して、出力する。
【００７５】
［５．出力画像選択処理部を後段処理として設定した画像処理装置の構成と処理例（実施例４）について］
次に、出力画像選択処理部を後段処理として設定した画像処理装置の構成と処理例（実施例４）について、図１０を参照して説明する。
【００７６】
図１０に示す画像処理装置１００において、先に説明した図７に示す画像処理装置との違いは、
出力画像選択処理部１０４を画像処理装置１００の最終処理部として設定した点である。
【００７７】
出力画像選択処理部１０４を後段に設定した構成とすることで、ステレオ画像生成処理部１０８は、常に２Ｄ３Ｄ変換処理によるステレオ画像生成処理を行なう。
出力画像選択処理部１０４には、常時、以下の各画像が入力される。
（１）右眼画像入力部１０１からの右眼画像、
（２）左眼画像入力部１０２からの左眼画像、
（３）ステレオ画像生成処理部１０８が１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像からなるステレオ画像、
これらの画像を常時、入力する。
【００７８】
出力画像選択処理部１０４は、撮影角度判定部１０３からの入力信号に応じて、
（１）右眼画像入力部１０１からの右眼画像と、（２）左眼画像入力部１０２からの左眼画像、
または、
（３）ステレオ画像生成処理部１０８が１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像からなるステレオ画像、
上記の（１），（２）の画像ペア、または（３）の画像ペアのいずれかを出力する。
【００７９】
撮影角度判定部１０３の出力する制御信号が「０」の場合、すなわち、撮像装置を横持ちした通常の横撮影である場合、出力画像選択処理部１０４は、入力された左右のステレオ画像をそのまま出力する。すなわち、上記の（１），（２）の画像ペアを出力右眼画像と出力左眼画像として出力する。
【００８０】
一方、撮影角度判定部１０３の出力する制御信号が「１」または「２」の場合、すなわち、撮像装置を縦持ちした縦撮影の場合には、出力画像選択処理部１０４は、上記（３）の画像を出力する。ステレオ画像生成処理部１０８が１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像からなるステレオ画像を出力画像とする。
【００８１】
［６．デプスマップの９０度回転を行なわない画像処理装置の構成と処理例（実施例５）について］
次に、デプスマップの９０度回転を行なわない設定とした画像処理装置の構成と処理例（実施例５）について、図１１を参照して説明する。
【００８２】
図１１に示す画像処理装置１００において、先に説明した図７に示す画像処理装置との違いは、
図７に示すデプスマップ回転部１０７を省略した点、
図７に示す画像回転部１０６を、ステレオ画像生成処理部１０８の後段に設定して、右眼画像回転部１０６Ｒ、左眼画像回転部１０６Ｌとして構成した点、
である。
【００８３】
本構成では、図１１に示すように、出力画像選択部１０４から、９０度回転なしの１つの画像（本例では左眼画像）が直接、ステレオ画像生成処理部１０８に入力される。また、デプスマップ生成処理部１０５の生成したデプスマップが直接、ステレオ画像生成処理部１０８に入力される。
【００８４】
ステレオ画像生成処理部１０８は、回転処理の施されていない１枚の２Ｄ画像と、デプスマップを用いた２Ｄ３Ｄ変換処理を行って、視差を上下方向に設定した２枚の画像を生成する。
その後、２枚の視差設定画像を右眼画像回転部１０６Ｒ、左眼画像回転部１０６Ｌにそれぞれ入力して、それぞれの画像を９０度回転して実際の被写体の上下方向を反映させた画像を生成して出力する。
【００８５】
なお、これら右眼画像回転部１０６Ｒ、左眼画像回転部１０６Ｌには、撮影角度判定部１０３から撮影角度に応じた制御信号が入力される。
右眼画像回転部１０６Ｒ、左眼画像回転部１０６Ｌは、撮影角度判定部１０３から入力する撮影角度に応じた制御信号に基づく回転処理を実行して、実際の被写体の上下方向を反映させた画像を生成して出力する。
【００８６】
［７．撮像装置へ制御信号を送る構成を持つ画像処理装置の構成と処理例（実施例６）について］
画像処理装置１００は、カメラの縦持ち撮影を行った場合は、ステレオ画像生成処理部１０８が左眼画像または右眼画像のいずれか一方の画像に基づく２Ｄ３Ｄ変換処理によって生成したステレオ画像としての左眼画像と右眼画像を生成して出力する。
【００８７】
従って、カメラの縦持ち撮影を行った場合は、左眼画像と右眼画像の２つの画像のいずれか一方は不要となる。すなわち左眼画像または右眼画像の一方のみが撮影されればよく、他方の画像の撮影処理は不要となる。
【００８８】
本実施例の図１２に示す画像処理装置は、上記の事情を考慮して、縦持ち撮影が実行される場合には、左眼画像と右眼画像の２つの画像のうち、一方の画像のみを撮影するように制御する。
図１２に示す画像処理装置は、このような撮影制御を行う構成例を示している。
画像処理装置１００は、撮像装置２００に対する制御信号を出力する。
【００８９】
図１２に示す画像処理装置１００の撮影角度判定部１０３の制御信号が縦持ち撮影であることを示す制御信号である場合、出力画像選択処理部１０４は、撮像装置２００の右眼画像撮像部に対して撮影停止命令信号、あるいは撮像画像の入力停止命令を出力する。
このような設定とすることで、画像処理装置１００には、必要としない無駄な右眼画像が入力されない。
こうした構成で右眼画像の入力を制御することで、帯域削減や低消費電力化を実現できる。
【００９０】
［８．撮影角度判定部における撮影角度判定処理を、デプスマップを適用して実行する画像処理装置の構成と処理例（実施例７）について］
次に、撮影角度判定部における撮影角度判定処理を、デプスマップを適用して実行する画像処理装置の構成と処理例（実施例７）について説明する。
これまでの実施例では、撮影角度判定部１０３における撮影角度判定処理は、外部から情報の入力を用いて行なう構成であったが、入力している画像情報のみを用いてこの判定を行なう方法も考えられる。
【００９１】
図１３は、本実施例の画像処理装置の構成を示す図である。
図１３に示す画像処理装置１００は、撮影角度判定部１０３に、撮像装置の向きを検出するためのセンサ情報などを入力しない構成に変更したものである。図１３の構成においては、撮影角度判定部１０３に、入力右眼画像、入力左眼画像、および、この左右ステレオ画像を用いてデプスマップ生成処理部１０５で生成されたデプスマップを入力する。
【００９２】
撮影角度判定部１０３は、これらの情報を用いて、ユーザが縦持ち撮影を実行したか、横持ち撮影を実行したかを判別する。
撮影角度判定部１０３において、左右いずれか、または、双方の画像信号のみから、撮像装置がどの向きに持たれて撮像されたかを判別するためには、例えば、
（ａ）撮影画像中の人の顔の検出処理に基づく撮影角度判定処理、
（ｂ）撮影画像中の人の体の検出処理に基づく撮影角度判定処理、
（ｃ）撮影画像中の空領域の検出処理に基づく撮影角度判定処理、
（ｄ）撮影画像中の水平線の検出処理に基づく撮影角度判定処理、
これら（ａ）〜（ｄ）のいずれかの処理を適用することができる。
なお、これら（ａ）〜（ｄ）の処理には、既存技術が利用可能である。例えば、
（ａ）撮影画像中の人の顔の検出処理に基づく撮影角度判定処理については、以下の文献に記載がある。
Ｐ．Ｖｉｏｌａ， Ｍ．Ｊｏｎｅｓ： Ｒｏｂｕｓｔ Ｒｅａｌ−ｔｉｍｅ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ， ＩＪＣＶ ２００１．
【００９３】
また、（ｂ）撮影画像中の人の体の検出処理に基づく撮影角度判定処理については、以下の文献に記載がある。
Ｎ．Ｄａｌａｌ， Ｂ．Ｔｒｉｇｇｓ： Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ ｆｏｒ Ｈｕｍａｎ Ｄｅｔｅｃｔｉｏｎ， ＣＶＰＲ ２００５．
【００９４】
また、（ｃ）撮影画像中の空領域の検出処理に基づく撮影角度判定処理については、以下の文献に記載がある。
Ｊ．Ｌｕｏ， Ｅｔｚ Ｓ．Ｐ．： Ａ Ｐｈｙｓｉｃａｌ Ｍｏｄｅｌ−Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｔｏ Ｄｅｔｅｃｔｉｎｇ Ｓｋｙ ｉｎ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｉｍａｇｅｓ． ＩＥＥＥ Ｔｒａｎｓ． ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ， Ｖｏｌ．１１ Ｉｓｓｕｅ３， ２００２．
【００９５】
また、（ｄ）撮影画像中の水平線の検出処理に基づく撮影角度判定処理については、以下の文献に記載がある。
Ｓ． Ｔ． Ｂａｒｎａｒｄ： Ｉｎｔｅｒｐｒｅｔｉｎｇ ｐｅｒｓｐｅｃｔｉｖｅ ｉｍａｇｅｓ． Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ ２１， １９８３．
【００９６】
撮影角度判定部１０３は、これらの既存技術を用いて、ユーザが縦持ち撮影を実行したか、横持ち撮影を実行したかを判別することができる。
【００９７】
また、デプスマップ生成処理部１０５で生成されたデプスマップを用いる方法としては、たとえば、図１４に示すデプスマップ解析結果を生成して用いる方法が適用可能である。
【００９８】
図１４には、
（ａ）ステレオカメラを横持ちした撮影画像に対するデプスマップの解析結果、
（ｂ）ステレオカメラを縦持ちした撮影画像（左眼画像を上側）に対するデプスマップの解析結果、
（ｃ）ステレオカメラを縦持ちした撮影画像（右眼画像を上側）に対するデプスマップの解析結果、
これらを示している。
【００９９】
（ａ）〜（ｃ）とも、上段から、
デプスマップに対する空間ローパスフィル（ＬＰＦ）タの適用結果、
ＬＰＦ適用画像から得られる縦方向の平均デプスデータ（横軸が縦方向の画素位置、縦軸がデプス）、
ＬＰＦ適用画像から得られる横方向の平均デプスデータ（横軸が横方向の画素位置、縦軸がデプス）、
これらの３つのデータを示している。
【０１００】
デプスマップ、およびそのＬＰＦ適用結果は、被写体距離（デプス）が遠いほど高い輝度、近いほど低い輝度で表現される。
上段に示すＬＰＦ適用デプスマップに基づいて、
中段に示す縦方向の平均デプス（ライン毎の平均値）分布、および、
下段に示す横方向の平均デプス（カラム毎の平均値）分布、
これらの各データを算出する。
【０１０１】
中断と下段に示す平均デプスデータの分布から見てとれるように、
横持ち撮像された画像の、縦方向の平均デプス分布は、画像の縦座標に対し、上部の座標ほど高い（遠い）値となる分布の傾向がある。
一方、横方向の平均デプス分布は、画像の横座標に対し、傾きがほとんどなく平坦な分布をとる傾向がある。
【０１０２】
また、縦持ち撮像された画像の縦方向の平均デプス分布は、画像の縦座標に対し、傾きがほとんどなく平坦な分布をとる傾向がある。左右のどちらの眼を上に位置する場合でも同じである。
一方、横方向の平均デプス分布は、画像の横座標に対し、左眼を上に位置して撮像した場合は、左部の座標ほど高い（遠い）値となる分布の傾向があり、右眼を上に位置して撮像した場合は、右部の座標ほど高い（遠い）値となる分布の傾向がある。
【０１０３】
このように、縦横方向の平均デプス分布は、撮像装置の向きに応じて異なる分布となる傾向がある。
撮影角度判定部１０３は、デプスマップ生成処理部１０５の生成したデプスマップを入力して、図１４に示す解析データを生成して、生成した解析データに基づいて、撮影画像が横持ちであるか、縦持ちであるか、さらに縦持ちである場合は、左眼画像がうえであるか右眼画像が上であるかを判別する。
これらの判別結果に応じて前述の制御信号（０〜２）を生成して出力する。
【０１０４】
［９．２Ｄ３Ｄ変換処理に適用する画像を右眼画像とした画像処理装置の構成と処理例（実施例８）について］
ここまでの実施例においては、ステレオ画像生成処理部１０８において実行する２Ｄ／３Ｄ変換処理の処理対象画像は、左眼画像とした例について説明したが、ステレオ画像生成処理部１０８において実行する２Ｄ／３Ｄ変換処理の処理対象画像は、右眼画像としてもよい。
【０１０５】
図１５に示す画像処理装置は、図７に示す画像処理装置と異なり、ステレオ画像生成処理部１０８に右眼画像を入力する構成を持つ。
ステレオ画像生成処理部１０８は、右眼画像を入力して、右眼画像に基づく２Ｄ３Ｄ変換処理を実行してステレオ画像としての左眼画像と右眼画像を生成して出力する。
【０１０６】
なお、先に説明した実施例２〜７においても、ステレオ画像生成処理部１０８に、右眼画像を入力して、右眼画像に基づく２Ｄ３Ｄ変換処理を実行してステレオ画像としての左眼画像と右眼画像を生成して出力する構成が可能である。
【０１０７】
なお、ステレオ画像生成処理部１０８において、
左眼画像に基づく２Ｄ３Ｄ変換処理を実行するか、
右眼画像に基づく２Ｄ３Ｄ変換処理を実行するか、
これらを選択適用する構成としてもよい。
【０１０８】
どちらの画像を選択するかの決定処理は、例えば、撮影角度判定部１０３から出力画像選択処理部１０４へ入力される制御信号に応じて、どちらの画像を処理するかを決定する処理態様などが可能である。
例えば、縦持ちされた撮像装置の上（天井方向）側で撮像された画像を処理対象として選択する設定とする。
このような設定では、入力された制御信号が「１」の場合には左側の画像を、入力された制御信号が「２」の場合には右側の画像を、それぞれ２Ｄ３Ｄ変換対象画像として選択し、ステレオ画像生成処理部１０８に選択出力することができる。
【０１０９】
その他の選択基準としては、例えば、左右画像のどちらが人の目から見て映りがよいか、を判断して選択する手法も考えられる。例えば、主たる被写体が、より構図の中心にある方を選ぶ、あるいは、フォーカス位置がより合致している方を選ぶ、などである。これらの判断情報を実行する画像評価部を画像処理装置１００内に構成し、この画像評価部の評価結果を出力画像選択処理部１０４に入力する。
出力画像選択処理部１０４は入力する評価結果に応じて、評価の高い画像を選択してステレオ画像生成処理部１０８に出力する。
【０１１０】
なお、撮影画像の中から総合的に良い画像を自動で評価する処理としては、例えば、特開２０１０−１１９０９７号公報に記載の構成が適用可能である。
【０１１１】
［１０．その他の実施例］
これまでに説明した実施例では、画像処理装置１００に入力する画像は、左右の撮像素子を有した２眼撮像装置で取得された、左右ステレオ画像の入力を前提としていた。しかし、画像処理装置１００に入力する画像は、単眼によるステレオ画像撮像装置で取得された左右ステレオ画像の入力としてもよい。
なお、２眼構成でない単眼構成の撮像装置を利用した左右ステレオ画像の撮影と生成処理については、例えば、特開２０１１−３５８５３号公報に記載の構成がある。
この特開２０１１−３５８５３号公報に記載の構成等、単眼構成の撮像装置を利用した左右ステレオ画像を入力としてもよい。
【０１１２】
［１１．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の構成について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１１３】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） 異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する画像処理装置。
【０１１４】
（２）前記画像処理装置は、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、前記ステレオ画像生成処理部は、前記デプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する前記（１）に記載の画像処理装置。
（３）前記画像処理装置は、前記ステレオ画像生成処理部に入力する画像を９０度回転させる画像回転部と、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部と、前記デプスマップ生成処理部の生成したデプスマップを９０度回転させるデプスマップ回転部を有し、前記ステレオ画像生成処理部は、前記画像回転部から、９０度回転した画像と、前記デプスマップ回転部から９０度回転したデプスマップを入力して、これらの入力データに基づいて、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する前記（１）または（２）に記載の画像処理装置。
【０１１５】
（４）前記撮影角度判定部は、前記入力画像が、
（ａ）２眼カメラの横持ち撮影による横持ち撮影画像であるか、
（ｂ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を上、右側を下とした撮影画像であるか、
（ｃ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を下、右側を上とした撮影画像であるか、
上記（ａ）〜（ｃ）３種類の撮影角度を判別可能とした制御信号を生成して出力する前記（１）〜（３）いずれかに記載の画像処理装置。
（５）前記ステレオ画像生成処理部は、デプスマップを適用しない２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する前記（１）〜（４）いずれかに記載の画像処理装置。
【０１１６】
（６）前記画像処理装置は、前記入力画像に基づくデプスマップを外部から入力する構成を有し、前記ステレオ画像生成処理部は、外部から入力するデプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する前記（１）〜（５）いずれかに記載の画像処理装置。
（７）前記画像処理装置は、前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、撮像装置に対して、左眼画像または右眼画像のいずれか一方のみの画像を入力させる制御信号、またはいずれか一方のみの画像を撮影させる制御信号を出力する前記（１）〜（６）に記載の画像処理装置。
（８）前記画像処理装置は、前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、前記撮影角度判定部は、前記デプスマップの解析処理を実行し、解析結果に基づいて前記入力画像の撮影時のカメラの角度を判定し、判定結果に応じた制御信号を出力する全期（１）〜（７）いずれかに記載の画像処理装置。
【０１１７】
さらに、上記した装置等において実行する処理の方法や、処理を実行させるプログラムも本開示の構成に含まれる。
【０１１８】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１１９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１２０】
以上、説明したように、本開示の一実施例の構成によれば、２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法が実現される。
具体的には、異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、左眼画像または右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の画像に基づく２Ｄ３Ｄ変換処理によって生成した左眼画像と右眼画像を出力する。
この構成により、２眼カメラの横持ち撮影、縦持ち撮影いずれの場合にも３Ｄ表示可能なステレオ画像を出力可能とした装置、方法が実現される。
【符号の説明】
【０１２１】
１００ 画像処理装置
１０１ 右眼画像入力部
１０２ 左眼画像入力部
１０３ 撮影角度判定部
１０４ 出力画像選択処理部
１０５ デプスマップ生成処理部
１０６ 画像回転部
１０６ａ 右眼画像回転部
１０６ｂ 左眼画像回転部
１０７ デプスマップ回転部
１０８ ステレオ画像生成処理部
【特許請求の範囲】
【請求項１】
異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する画像処理装置。
【請求項２】
前記画像処理装置は、
前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、
前記ステレオ画像生成処理部は、
前記デプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、
前記ステレオ画像生成処理部に入力する画像を９０度回転させる画像回転部と、
前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部と、
前記デプスマップ生成処理部の生成したデプスマップを９０度回転させるデプスマップ回転部を有し、
前記ステレオ画像生成処理部は、
前記画像回転部から、９０度回転した画像と、前記デプスマップ回転部から９０度回転したデプスマップを入力して、これらの入力データに基づいて、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する請求項１に記載の画像処理装置。
【請求項４】
前記撮影角度判定部は、
前記入力画像が、
（ａ）２眼カメラの横持ち撮影による横持ち撮影画像であるか、
（ｂ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を上、右側を下とした撮影画像であるか、
（ｃ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を下、右側を上とした撮影画像であるか、
上記（ａ）〜（ｃ）３種類の撮影角度を判別可能とした制御信号を生成して出力する請求項１に記載の画像処理装置。
【請求項５】
前記ステレオ画像生成処理部は、
デプスマップを適用しない２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、
前記入力画像に基づくデプスマップを外部から入力する構成を有し、
前記ステレオ画像生成処理部は、
外部から入力するデプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、
撮像装置に対して、左眼画像または右眼画像のいずれか一方のみの画像を入力させる制御信号、またはいずれか一方のみの画像を撮影させる制御信号を出力する請求項１に記載の画像処理装置。
【請求項８】
前記画像処理装置は、
前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、
前記撮影角度判定部は、
前記デプスマップの解析処理を実行し、解析結果に基づいて前記入力画像の撮影時のカメラの角度を判定し、判定結果に応じた制御信号を出力する請求項１に記載の画像処理装置。
【請求項９】
画像処理装置において実行する画像処理方法であり、
異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力処理と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定処理と、
画像出力処理として、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力する処理、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する処理、
上記いずれかの画像出力処理を選択的に実行する処理を行う画像処理方法。
【請求項１０】
画像処理装置において画像処理を実行させるプログラムであり、
異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力処理と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定処理と、
画像出力処理として、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力する処理、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する処理、
上記いずれかの画像出力処理を選択的に実行する処理、
を実行させるプログラム。
【請求項１】
異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力部と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定部と、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力し、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する画像処理装置。
【請求項２】
前記画像処理装置は、
前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、
前記ステレオ画像生成処理部は、
前記デプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する請求項１に記載の画像処理装置。
【請求項３】
前記画像処理装置は、
前記ステレオ画像生成処理部に入力する画像を９０度回転させる画像回転部と、
前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部と、
前記デプスマップ生成処理部の生成したデプスマップを９０度回転させるデプスマップ回転部を有し、
前記ステレオ画像生成処理部は、
前記画像回転部から、９０度回転した画像と、前記デプスマップ回転部から９０度回転したデプスマップを入力して、これらの入力データに基づいて、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する請求項１に記載の画像処理装置。
【請求項４】
前記撮影角度判定部は、
前記入力画像が、
（ａ）２眼カメラの横持ち撮影による横持ち撮影画像であるか、
（ｂ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を上、右側を下とした撮影画像であるか、
（ｃ）２眼カメラの縦持ち撮影による縦持ち撮影画像であり、カメラの左側を下、右側を上とした撮影画像であるか、
上記（ａ）〜（ｃ）３種類の撮影角度を判別可能とした制御信号を生成して出力する請求項１に記載の画像処理装置。
【請求項５】
前記ステレオ画像生成処理部は、
デプスマップを適用しない２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、
前記入力画像に基づくデプスマップを外部から入力する構成を有し、
前記ステレオ画像生成処理部は、
外部から入力するデプスマップを適用して、被写体距離に応じた視差を設定した２Ｄ３Ｄ変換処理を実行して左眼画像と右眼画像を生成する請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、
撮像装置に対して、左眼画像または右眼画像のいずれか一方のみの画像を入力させる制御信号、またはいずれか一方のみの画像を撮影させる制御信号を出力する請求項１に記載の画像処理装置。
【請求項８】
前記画像処理装置は、
前記入力画像に基づくデプスマップを生成するデプスマップ生成処理部を有し、
前記撮影角度判定部は、
前記デプスマップの解析処理を実行し、解析結果に基づいて前記入力画像の撮影時のカメラの角度を判定し、判定結果に応じた制御信号を出力する請求項１に記載の画像処理装置。
【請求項９】
画像処理装置において実行する画像処理方法であり、
異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力処理と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定処理と、
画像出力処理として、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力する処理、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する処理、
上記いずれかの画像出力処理を選択的に実行する処理を行う画像処理方法。
【請求項１０】
画像処理装置において画像処理を実行させるプログラムであり、
異なる視点から撮影された左眼画像と右眼画像を入力画像として入力する画像入力処理と、
前記入力画像の撮影時のカメラの角度に応じた制御信号を出力する撮影角度判定処理と、
画像出力処理として、
前記制御信号が、２眼カメラの横持ち撮影による横持ち撮影画像であることを示す場合、前記入力画像である左眼画像と右眼画像を出力する処理、
前記制御信号が、２眼カメラの縦持ち撮影による縦持ち撮影画像であることを示す場合、前記左眼画像または前記右眼画像のいずれか一方の画像をステレオ画像生成処理部に入力し、ステレオ画像生成処理部において１枚の２Ｄ画像に基づく画像変換処理によって３Ｄ画像表示用の左眼画像と右眼画像を生成する２Ｄ３Ｄ変換処理を実行して生成した左眼画像と右眼画像を出力する処理、
上記いずれかの画像出力処理を選択的に実行する処理、
を実行させるプログラム。
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１４】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図１４】
【公開番号】特開２０１３−１１５６６８（Ｐ２０１３−１１５６６８Ａ）
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願番号】特願２０１１−２６１０３３（Ｐ２０１１−２６１０３３）
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年６月１０日（２０１３．６．１０）
【国際特許分類】
【出願日】平成２３年１１月２９日（２０１１．１１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]