画像処理装置、画像処理方法、及びプログラム
【課題】撮影中に撮像機器付属の画面で確認しながら立体感の調整を行ったとしても、別の画面で表示した場合に所望の立体感が得られない。
【解決手段】機器付属のプレビュー画面及び視環境画面の画面サイズ情報と視距離情報とを用いて、視環境の画面で表示される立体感と等しい立体感となるように機器付属のプレビュー画面に表示される立体画像を生成する。
【解決手段】機器付属のプレビュー画面及び視環境画面の画面サイズ情報と視距離情報とを用いて、視環境の画面で表示される立体感と等しい立体感となるように機器付属のプレビュー画面に表示される立体画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体視用の画像を生成する画像処理装置に関する。
【背景技術】
【０００２】
視差を利用して視聴者の左右の眼に異なる映像を見せることで、擬似的に立体映像視聴を可能にする技術がある。眼鏡無しで視聴する裸眼方式には、例えば、シリンドリカルレンズを多数並列に配置して見え方を制限するレンチキュラスクリーン方式や、１枚の板に多数のスリットを形成して映像の見え方を制限するパララックスバリア方式が知られている。
【０００３】
特殊な眼鏡を用いた方式では偏光を利用した偏光方式や、左右の映像を時分割表示してシャッター式眼鏡を用いて左右の眼に異なる映像を見せる時分割方式が知られている。また、時分割方式と偏光方式とを組み合わせた時分割・偏光方式や、時分割方式と分光方式とを組み合わせた時分割・分光方式も実用化されている。
【０００４】
上記のように、立体映像の視聴環境の整備とともに、その視聴環境に表示する立体映像を撮影する手段の実用化が進んでいる。被写体を異なる２点の位置から撮影する２眼カメラを始めとし、２点以上の複数の点から撮影した画像（以後、多視点画像と記述する）を撮影する多視点カメラの実用化が進んでいる。また、近年では、撮像素子の前に細かいレンズアレイを備えることにより、多方向からの光を同時に記録し多視点画像を生成することができるＰｌｅｎｏｐｔｉｃ方式の撮像装置も開発されている。
【０００５】
そのような中、立体映像を表示可能な画面を付属した立体映像の撮像手段が提案されている（特許文献１）。特許文献１に記載の技術を用いれば、映像の立体感を確認しながらの撮影が可能になり、撮影中に視差を調整することで立体感を強調したり弱めたりすることが可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２０３６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
撮影した立体画像を表示する画面の大きさは、機器ごとに異なることが一般的である。また、同一の立体画像から得られる立体感は、立体画像を表示する画面の大きさによって変わってしまう。そのため、撮影した立体画像を表示する画面の大きさに合わせた立体感の調整が必要となる。しかし、特許文献１に記載の技術では、撮像機器に付属の画面の大きさと撮影後に画像を観察する機器の画面の大きさが違う場合に、撮影時に付属画面で確認した際に得られる立体感と、撮影後に別の画面で表示したときに得られる立体感は等しくならない。そのため、撮影中に機器付属の画面で確認しながら立体感の調整を行ったとしても、別の画面で表示した場合に所望の立体感が得られる保証がないという課題があった。
【０００８】
そこで本発明では、任意の画面で表示される画像の立体感と、別の画面で表示される画像の立体感とが等しくなる立体画像を生成することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、少なくとも２つの異なる視点から撮像された複数の画像データを取得する画像データ取得手段と、第１の画面の環境条件と、前記第１の画面とは別の画面である第２の画面の環境条件とを含むパラメータを取得するパラメータ取得手段と、前記取得したパラメータに基づいて前記第１の画面で表示される立体感が前記第２の画面で表示される立体感と一致するように前記取得した画像データを合成して多視点画像を生成する画像合成手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明は、多視点画像を用いた立体画像を表示する際に、任意の画面に表示される立体画像と等しい立体感で、別の画面に立体画像を表示することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１における画像処理装置のシステム構成例を示すブロック図である。
【図２】本発明の実施形態１における画像処理装置の外観構成の一例を示す図である。
【図３】本発明の実施形態１の制御部の概要機能構成の一例を示す図である。
【図４】本発明の実施形態１の画像処理装置の処理の流れの一例を示すフローチャート図である。
【図５】立体表示における視差を説明する図である。
【図６】本発明の実施形態１における視差の大きさの設定画面の例を示す図である。
【図７】本発明の実施形態１におけるプレビュー画像合成処理の流れ一例を示すフローチャート図である。
【図８】本発明の実施形態１における視差に応じた視点画像の選択方法の一例を表す図である。
【図９】視距離とパースの関係を表す図である。
【図１０】プレビュー画面と視環境画面のパースの関係を表す図である。
【図１１】仮想プレビュー画面の視距離算出を説明する図である。
【図１２】本発明の実施形態１におけるプレビュー用視差の算出方法の一例を説明する図である。
【図１３】本発明の実施形態１におけるプレビュー用視差の算出方法の一例を説明する図である。
【図１４】本発明の実施形態１におけるプレビュー用視差算出処理の流れの一例を示すフローチャート図である。
【図１５】本発明の実施形態１における立体表示用画像合成処理の流れの一例を示すフローチャート図である。
【図１６】本発明の実施形態１における立体表示用画像の合成方法の一例を説明する図である。
【図１７】本発明の実施形態２における画像処理装置のシステム構成例を示すブロック図である。
【図１８】本発明の実施形態２における制御部の概要機能構成の一例を示す図である。
【図１９】本発明の実施形態２における画像処理装置の処理の流れの一例を示すフローチャート図である。
【図２０】視点位置による構図の変化を説明する図である。
【図２１】本発明の実施形態３における画像処理装置のシステム構成例を示すブロック図である。
【図２２】本発明の実施形態３における画像処理装置の外観構成の一例を示す図である。
【図２３】本発明の実施形態３における表示モードによるプレビュー画面の一例を説明する図である。
【図２４】本発明の実施形態３における画像処理装置の処理の流れの一例を示すフローチャート図である。
【図２５】本発明の実施形態３における構図再現モードプレビュー画像合成処理の流れの一例を示すフローチャート図である。
【発明を実施するための形態】
【００１２】
＜実施形態１＞
本発明に係る実施形態１を添付図面に基づいて詳細に説明する。尚、以下では説明の簡単化のため撮像データをある時刻における静止画像を示すデータとして説明するが、静止画像を時系列的に扱うことで動画像を示すデータに対しても本実施形態を適用可能である。
【００１３】
まず、本実施形態における画像処理装置のシステム構成例について、図１を用いて説明する。同図において、本実施形態における画像処理装置１００は、制御部１０１、外部インターフェース１０２、操作部１０３、及びプレビュー表示部１０４を有する。また、画像処理装置１００は外部インターフェース１０２を通し多視点画像撮像装置１０５と接続されている。
【００１４】
制御部１０１はＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成されている。ＣＰＵは、ＲＡＭをワークメモリとして、ＲＯＭに格納されたプログラムを実行し、後述する各構成を制御する。これにより、後述する様々な処理が実行される。本実施形態においては、多視点画像撮像装置１０５から取得した少なくとも２つ以上の異なる視点位置から撮影した画像データに対して、操作部１０３を通じて取得したパラメータに基づいて立体画像を生成する処理を行う。そして、プレビュー表示部１０４に生成した立体画像を表示する。
【００１５】
外部インターフェース１０２は、画像処理装置１００に接続された多視点画像撮像装置１０５と制御部１０１との間で、データの受け渡しを行う。
【００１６】
操作部１０３は、各種操作ボタン及びタッチパネル等を有し、撮影条件の設定及び変更、撮影、並びに撮影後の画像の表示などの様々な操作を行うことができる。ここで、撮影条件として後述のように立体映像の立体感の強調又は低減の設定を行うことができる。また、撮影した立体画像を観察する視環境について、画面サイズ及び視距離を示すデータを含む環境条件の入力を行うことができる。撮影した立体画像を観察する視環境とは、プレビュー表示部１０４以外の環境のことであり、例えば映画館などの大型スクリーン、又は家庭用テレビなどといった撮影した画像を観察する環境のことである。画面サイズとは、例えば、撮影した画像をその画面の大きさに合わせて全画面表示した際に、表示されるサイズである。なお、全画面表示の場合に限らず、立体画像が表示される画面領域が決まっている場合には、その領域を画面サイズとすることができる。
【００１７】
プレビュー表示部１０４は、ＬＣＤ又は有機ＥＬなどから成り、撮影中には画像のプレビュー及び各種撮影条件を表示でき、撮影後には撮影画像を表示できる。さらに、プレビュー表示部１０４は、例えば、パララックスバリア方式やレンチキュラーレンズ方式などの立体表示方法を組み合わせることで、画像を立体表示可能な構成とする。あるいは、左右それぞれの目に対する２つの電子ファインダを有し、左右のファインダに視差の異なる画像を表示し立体画像を観察可能な構成でもよい。本実施形態では立体表示方法としてレンチキュラーレンズを用いる場合を例に説明を行う。また、プレビュー表示部１０４の画面サイズ、標準的な視距離、及びプレビュー表示部１０４の立体表示に関する情報が、本画像処理装置の製造時に制御部１０１の予めＲＯＭに記録されているものとする。立体表示に関する情報とは、例えばレンチキュラーレンズのレンズ幅、視差数、ディスプレイ解像度、及びドットピッチなどである。なお、製造時に記録されたデータをユーザが操作部１０３を介して更新してもよいし、または製造時にデータが記録されていない場合には、ユーザによって新たにこれらのデータが設定されてもよい。
【００１８】
多視点画像撮像装置１０５は、２つ以上の複数の視点位置からの画像を撮影可能な装置である。例えば、複数のデジタルカメラを並べて配置してもよいし、多眼方式の撮像装置やＰｌｅｎｏｐｔｉｃ方式の撮像方式でもよい。また、１つの単眼カメラを移動しながら複数地点で撮影を行うものであってもよい。多視点画像撮像装置１０５には、撮影した多視点画像を示す多視点画像データを保存するハードディスクやメモリカードなどの記録装置が備えられている。
【００１９】
続いて、図２に、本発明の実施形態１に係る画像処理装置の外観構成を一例として示す。尚、図２には画像処理装置１００と多視点画像撮像装置１０５が一体となった装置の例を示す。図２（ａ）は画像処理装置の正面図である。画像処理装置の筺体２００は、画像データを取得する複数の撮像部（図２では２０１から２０６の６つ）からなるカメラアレイと、撮影ボタン２０７とを備えている。撮影ボタン２０７が押下されると、撮像部２０１から２０６が被写体の光情報を、それぞれの撮像部に供えられた撮像素子（不図示）で受光する。そして、受光した信号はＡ／Ｄ変換されて、複数の撮像画像を示す複数の画像データが同時に取得される。このように複数の撮像装置を備えた多眼式の撮像装置を用いることにより、同一の被写体を複数の位置から撮像した画像データ群を、同時に得ることができる。
【００２０】
続いて、図２（ｂ）は画像処理装置の背面図である。背面には、表示部２０８及び操作ボタン２０９が配置されている。表示部２０８は、本画像処理装置におけるプレビュー表示部１０４として動作し、撮影中の画像や撮影後の画像を立体表示することが可能である。また、撮影時には、各種撮影条件を表示することが可能である。操作ボタン２０９は、撮影者が項目を変更及び選択するために方向操作等を行う十字ボタンである。本図には説明の便宜上、ひとつの操作ボタンのみを代表的に示しているが、複数の操作ボタンが設けられていてもよい。また、撮影ボタン２０７や操作ボタン２０９などのボタンの替わりに、表示部２０８を覆うようにタッチパネルが備えられた構成であってもよい。その場合、感圧式、電磁誘導式など各種方式によりユーザがタッチした座標を検出し、座標によってユーザの指示を読み取ることが可能である。また、タッチパネルとともに撮影ボタン２０７や操作ボタン２０９が設けられていてもよい。撮影ボタン２０７、操作ボタン２０９、または表示部２０８に備えられたタッチパネルは、本画像処理装置における操作部１０３として動作する。
【００２１】
以上、図２では画像処理装置の外観例を示したが、画像を撮影する視点は上記に限られるものではない。例えば、図２では水平方向に直線状に撮像部が配置された例を示したが、水平・垂直の２次元的に撮像部が配置されていてもよい。また、撮像部の数も例に示した６つに限られるものではなく、２つ以上の任意の数の撮像部を配置してもよい。さらに、図２では画像処理装置１００と多視点画像撮像装置１０５とが一体になった例を示したが、必ずしも一体になっている必要はない。
【００２２】
続いて、本実施形態の制御部１０１の概要機能構成の一例について、図３を用いて説明する。尚、本画像処理装置の利用者は、利用に先立ち、先に説明したような例えば映画館などの大型スクリーン又は家庭用テレビなどといった撮影した画像を観察する環境条件を決定しておく。より具体的には、利用者の視環境における画面サイズ及び視距離を決定しておく。
【００２３】
図３において、多視点画像取得部３０１は、外部インターフェース１０２を通じ多視点画像撮像装置１０５で撮影した複数の多視点画像を示す画像データの全て又はその一部を取得する。また、多視点画像取得部３０１は、多視点画像撮像装置１０５の撮像部の配置及びピント位置を含む撮像装置情報を多視点画像撮像装置１０５から取得する。パラメータ取得部３０２は、制御部１０１のＲＯＭに記録されたプレビュー表示部１０４の視距離、画面サイズ、及び立体表示情報の各情報（パラメータと称する）を取得する。またパラメータ取得部３０２は、画像処理装置の利用者が操作部１０３を用いて入力した視環境の視距離、画面サイズ、及び視差の各情報を取得する。パラメータ取得部３０２は、これら６つのパラメータを取得する。プレビュー画像合成部３０３は、パラメータ取得部３０２で取得したパラメータを基に、多視点画像取得部３０１で取得した多視点画像を示す画像データを合成してプレビュー画面に立体表示する立体画像データを生成する。詳細については後述するが、プレビュー画像合成部３０３は、プレビュー用の視差を外部インターフェース１０２に送信し、当該視差に応じた多視点画像データを取得して立体画像データを生成する。プレビュー出力部３０４は、プレビュー画像合成部３０３で生成した立体画像データをプレビュー表示部１０４へ出力する。
【００２４】
続いて、本画像処理装置の一連の動作の例を、図４のフローチャートを参照し説明する。なお、本処理に先立ち利用者は、操作部１０３を用いて視環境の画面サイズと視距離の設定を行っているものとする。ステップＳ４０１において、パラメータ取得部３０２は、本画像処理装置の利用者によって設定された視環境の画像サイズ及び視距離を示す値を読み出す。この値は、以後のプレビュー画像合成処理において利用される。加えて、パラメータ取得部３０２は、制御部１０１のＲＯＭからプレビュー表示部１０４の画面サイズ及び視距離、並びに、立体表示に関する情報（パラメータ）の取得を行う。
【００２５】
次にステップＳ４０２において、パラメータ取得部３０２は、操作部１０３を用いて利用者によって指定された視差を取得する。ここで、本実施形態における視差とは、図５に示すように立体表示に用いる２つの視点位置と被写体が成す角度を表わすものとする。一般的に、視差が大きいほど立体感が大きく、より奥行きがあると感じ、一方、視差が小さいほど立体感が小さく、より奥行きを感じにくくなる。従って、被写体の立体感を強調した画像を撮影する場合は大きな視差を持つ視点画像を利用し、逆に、立体感を低減した画像を撮影する場合は小さな視差を持つ視点画像を使用して立体画像の作成を行えばよいことになる。なお、本実施形態では、このステップＳ４０２で利用者によって指定される視差は、視環境における視差として説明する。
【００２６】
本実施形態では、例えば図６に示すような設定画面を用いて、利用者に視差θを設定させる。６０１は視差の大きさを指定するスライドバーである。利用者は、操作ボタン２０９を用いてスライドバー６０１を移動させることで任意の視差θを指定可能である。図６の（ａ）、（ｂ）は、異なる視差に対する同一の被写体のプレビュー画像の概念図を表す。図６（ａ）のように小さな視差を指定した場合は被写体の奥行きが小さく表示され、一方、図６（ｂ）のように大きな視差を指定した場合は被写体の奥行きが大きく表示される。尚、本例ではスライドバーを用いて視差を指定する例を示したが、視差を任意の大きさで指定可能であればどのような方法を用いてもよい。
【００２７】
ステップＳ４０３において、プレビュー画像合成部３０３は、ステップＳ４０１で取得したパラメータとステップＳ４０２で取得した視差とに基づいて、多視点画像を示す画像データから少なくとも２つの画像データを選択する。そして、プレビュー画像合成部３０３は、選択した画像データを合成し、プレビュー画面における立体表示用の画像データを生成する。このステップＳ４０３におけるプレビュー画像合成処理の詳細については後述する。
【００２８】
ステップＳ４０４において、プレビュー出力部３０４は、ステップＳ４０３で生成された立体表示用の画像データをプレビュー表示部１０４に送り、立体画像をプレビュー表示させる。
【００２９】
ステップＳ４０５において、制御部１０１は、画像処理装置の利用者によってプレビューの終了操作が行われたかを判断する。具体的には、撮影ボタン２０７が押下された場合、プレビュー表示を終了する。そして、多視点画像の撮影が実行され、多視点画像撮像装置内にある記録装置に多視点画像データが記録される。このとき、２０１から２０６の全ての撮像部で撮影した多視点画像データを保存してもよいし、ステップＳ４０２で利用者が指定した視差θを持つ１組の視点画像データのみを保存してもよい。但し、全ての多視点画像データを保存する場合は、利用者が指定した視差θの値を別途保存する必要がある。その理由は視環境での表示時に、多視点画像から視差がθとなる視点の画像データを選択し表示を行うためである。
【００３０】
一方、プレビュー表示の終了操作が行われない場合は、再びステップＳ４０２の視差取得処理に戻り、利用者が指定した視差でのプレビューを続ける。
【００３１】
（プレビュー画像合成処理）
ここでは、ステップＳ４０３におけるプレビュー画像合成処理の詳細について、図７に示すフローチャートを基に説明を行う。
【００３２】
ステップＳ７０１は、プレビュー画像合成部３０３が、パラメータ取得部３０２で取得した各種パラメータを用いてプレビュー表示用の視差θ’を算出するステップである。ある視差θを持つ２枚の視点画像を示す画像データを合成して生成した立体画像を、画面サイズと視距離とが異なり得る視環境とプレビュー表示部１０４とでそれぞれ観察した場合、一般には得られる立体感は等しくならない。そのため、ステップＳ７０１ではプレビュー表示部１０４にどのような視差で立体表示すれば、視差θの立体画像を視環境で観察した場合に得られる立体感と等しい立体感を得ることができるのかを算出する。詳細については後述する。なお、この視差θは、ステップＳ４０２にて取得された視差とすることができる。
【００３３】
ステップＳ７０２では、プレビュー画像合成部３０３が、多視点画像取得部から撮像装置情報として、多視点画像撮像装置の各撮像部の配置及びピント距離を取得する。
【００３４】
ステップＳ７０３では、プレビュー画像合成部３０３が、ステップＳ７０１で算出したθ’の視差を持つ２枚の視点画像を示す画像データを右目用画像及び左目用画像として多視点画像取得部３０１から取得する（画像データ取得処理）。図８に示すように、多視点画像取得部３０１で取得する撮像装置情報のうちピント距離をＬpとすると、下記式で計算される距離Ｂだけ離れた位置に配置された撮像部で撮影された２枚の視点画像の画像データを取得する。
【００３５】
【００３６】
尚、撮像部間の距離がＢとなる撮像部が必ずしも存在するとは限らない。その場合は、撮像部間の距離がＢに最も近い２つの撮像部で撮影された画像データを用いてもよいし、中間視点画像生成の技術を用いて距離Ｂだけ離れた仮想視点での中間視点画像データを生成して使用してもよい。尚、上記では多視点画像から２枚の画像の画像データを選択、取得する例で説明を行ったが、プレビュー表示部１０４が表示可能な視差画像の数と等しい画像を選択、取得を行うことが可能である。また、中間視点画像生成には既存のどのような方法を用いてもよい。中間画像生成については、説明を省略する。
【００３７】
ステップＳ７０４は、プレビュー画像合成部３０３が、視差θ’の２枚の視点画像データを合成して、プレビュー表示部１０４で立体表示可能な画像データを生成する立体表示用画像合成処理である。詳細については後述する。
【００３８】
（プレビュー用視差算出処理）
次に図７におけるステップＳ７０１のプレビュー用視差算出処理の詳細について説明を行う。本ステップは、前述のように、視差θの立体画像を視環境で観察した場合と等しい立体感を得るためには、プレビュー表示部１０４にどのような視差の立体表示を行えばよいのかを算出する処理である。まず、本ステップの手順を説明する前に、プレビュー用視差θ’の計算方法の原理について説明を行う。
【００３９】
本実施形態では、観察者から画面までの距離（視距離）及び画面サイズとパース（ｐｅｒｓｐｅｃｔｉｖｅ）との関係を利用する。すなわち、図９に示すように、観察者の目９０１から、距離ｌ1に大きさｄ1の物体９０２、距離ｌ2に大きさｄ2の物体９０３があるとき、距離と大きさの比が等しく次式を満たす場合、２つの物体は目には等しいサイズで見えることを利用する。
【００４０】
【００４１】
視環境の画面とプレビュー画面という異なる画面に表示された画像を観察する際も、各画面までの距離と画面サイズの比が等しければ、各画面サイズに合わせた大きさで表示した画像は、等しい大きさで目には見える。同様に、視距離と画面サイズの比が等しい２つの画面それぞれに同一の画像の立体表示を行う場合、左右の目にはそれぞれ等しい大きさで同じ画像が観察されることになるため、各画面の画像から得られる立体感も等しくなる。
【００４２】
ところが、図１０（ａ）及び（ｂ）に例を示すように、２つの画面について視距離と画面サイズの比が等しくない場合、両画面に表示された画像は、目には異なる大きさで見える。尚、図１０において、プレビュー画面の視距離をｌ、画面サイズをｄとし、視環境画面の視距離をＬ、画面サイズをＤとした。図１０（ａ）に示すようにｄ／ｌ＞Ｄ／Ｌの場合、目にはプレビュー画面に表示した画像の方が大きく見える。この場合、両画面で立体表示を行うと、プレビュー画面に表示した画像より、視環境画面に表示した画像の方がより大きな立体感を感じる。なぜならば、プレビュー画面に表示した画像の方が大きく見えるということは、立体視する場合には視環境画面と比較してプレビュー画面における画像の視差が相対的に小さくなるからである。一方、図１０（ｂ）に示すようにｄ／ｌ＜Ｄ／Ｌの場合、目には視環境画面に表示した画像の方が大きく見える。この場合、両画面で立体表示を行うと、視環境画面に表示した画像より、プレビュー画面に表示した画像の方がより大きな立体感を感じる。なぜならば、視環境画面に表示した画像の方が大きく見えるということは、立体視する場合にはプレビュー画面と比較して視環境画面における画像の視差が相対的に小さくなるからである。
【００４３】
以上のように２つの画面について視距離と画面サイズの比が等しくない場合、同一の立体画像を表示しても得られる立体感は等しくならない。そこで、本実施形態では視環境画面と等しい立体感を得るため、プレビュー画面に立体表示する際の視差の調整を行う。尚、本実施形態ではプレビュー画面に表示する画像について視差の調整を行う例を示すが、視環境画面に表示する画像の視差の調整を行っても同様の効果を得ることが可能である。つまり、本実施形態においては、ユーザが例えば図６に示すようなインターフェースを用いて視環境画面の立体感を設定し、その視環境画面の立体感と同等の立体感をプレビュー画面においても立体表示する例について説明する。しかしながら、例えば図６に示すようなインターフェースを用いてプレビュー画面の視差を設定し、そのプレビュー画面の立体感と同等の立体感を視環境画面で立体表示可能なように視環境画面における視差が決定されてもよい。この場合、以下で説明するプレビュー画面と視環境画面とにおける各パラメータを入れ替えて以下で示す計算処理を行えばよい。すなわち、本実施形態は、任意の第１の画面で表示される立体感と第１の画面とは別の画面である第２の画面で表示される立体感とを一致させる処理とすることができる。
【００４４】
まず、プレビュー画面と視環境画面では、視距離と画面サイズの２パラメータが異なるが、パースの考え方を用いることで視距離の１パラメータの違いに問題を置き換えることができる。具体的には、図１１に示すように、視距離ｌ、画面サイズｄのプレビュー画面と同じ見え方になるように視環境画面と同じサイズＤの画面を見るときの視距離ｌ’は次式で計算できる。
【００４５】
【００４６】
よって、プレビュー画面（視距離ｌ、画面サイズｄ）は、視距離ｌ’の位置にあるサイズＤの画面と置き換えることができる。そこで、視距離ｌ’、画面サイズＤの画面を仮想プレビュー画面とすると、図１２に示すように、プレビュー画面と視環境画面の立体感を等しくする問題は、仮想プレビュー画面と視環境画面の立体感を等しくさせることに置き換えることができる。尚、ｄ／ｌ＞Ｄ／Ｌの場合、図１２に示すように仮想プレビュー画面が視環境画面より手前（ｌ’＜Ｌ）となる。一方、図１２には示していないが、ｄ／ｌ＜Ｄ／Ｌの場合は、反対に仮想プレビュー画面が視環境画面より視距離が大きくなる（ｌ’＞Ｌ）。
【００４７】
次に、仮想プレビュー画面に表示した際に、視環境画面に視差θの立体画像を表示したときと等しい立体感が得られる立体画像の視差θ’を算出する。これは、視距離Ｌ、視差θでの基線長と視距離ｌ’、視差θ’での基線長が等しくなるθ’を次式に従い算出すればよい。
【００４８】
図１３に（ａ）ｌ’＜Ｌの場合と、（ｂ）ｌ’＞Ｌの場合のそれぞれのθ’の計算の概念図を示す。同図より、ｌ’＜Ｌの場合はθ＜θ’となり、より大きな視差をつけてプレビュー画面に表示する必要があることがわかる。また、ｌ’＞Ｌの場合はθ＞θ’となり、視差を小さくしてプレビュー画面に表示する必要があることがわかる。
【００４９】
以上でプレビュー用視差θ’を算出することができる。図１４に上記で説明したプレビュー用視差算出処理のフローチャートを示す。
【００５０】
まず、ステップＳ１４０１は、視距離ｌ、画面サイズｄのプレビュー画面と同じ見えになる画面サイズＤの仮想プレビュー画面の視距離ｌ’を式（３）に従い計算するステップである。
【００５１】
そして、ステップＳ１４０２は、仮想プレビュー画面に表示した際に、視環境画面に視差θの立体画像を表示したときと等しい立体感が得られる立体画像の視差θ’を算出するステップである。このときの視差θ’は前述の式（４）に従い算出することができる。
【００５２】
以上で、図７におけるステップＳ７０１のプレビュー用視差算出処理の動作の説明を終了する。
【００５３】
（立体表示用画像合成処理）
プレビュー用画像合成処理におけるステップＳ７０４の立体表示用画像合成処理の動作の詳細を説明する。
【００５４】
本処理は、プレビュー表示部１０４で立体表示できるようパラメータ取得部３０２で取得したプレビュー表示部１０４の立体表示情報を参照し、画像データを合成する処理である。本実施形態では、プレビュー表示部１０４はレンチキュラーレンズ方式の立体表示方法であるとして図１５のフローチャートを基に説明を行う。プレビュー表示方法が他の方式の場合は、その表示方法に応じて本処理の内容を変えることができる。
【００５５】
ステップＳ１５０１では、立体表示情報に含まれるレンチキュラーレンズのレンズ幅に応じて、各レンズの幅内に視差画像のデータが配置されるようにステップＳ７０３で取得した画像を短冊状に分割する際の分割幅を決定する。例えば６０［ＬＰＩ（Ｌｉｎｅ Ｐｅｒ Ｉｎｃｈ）］のレンチキュラーレンズでの場合、レンズ幅は１／６０インチであるから、２枚の画像を合成する場合、それぞれの画像データの分割幅は１／１２０インチになる。即ち、Ｗ［ＬＰＩ］のレンチキュラーレンズにＭ枚の画像データを合成する場合の分割幅ΔＷ は次式になる。
【００５６】
【００５７】
ステップＳ１５０２は、ステップＳ７０３で取得した画像を示す画像データを短冊状に分割する工程である。
【００５８】
そして、ステップＳ１５０３は、ステップＳ１５０２で分割した画像データを合成する工程である。
【００５９】
ここで、図１６を参照してステップＳ１５０２及びステップＳ１５０３における画像データの分割及び合成方法の詳細について説明する。図１６において、１６０１は右目用画像、１６０２は左目用画像、１６０３は合成画像、１６０４はレンチキュラーレンズである。まず、ステップＳ１５０２として右目用画像１６０１及び左目用画像１６０２を示す画像データを、縦方向に幅がΔＷの短冊状にそれぞれ分割する。即ち、図１６における分割画像データＡ１からＡ２ｎ及びＢ１からＢ２ｎを得る。次に、ステップＳ１５０３として分割画像データを合成して合成画像１６０３を示す合成画像データを生成する。この際、レンチキュラーレンズの一つのレンズに対して右目用画像１６０１と左目用画像１６０２の分割画像データがそれぞれ対応するように交互に分割画像データを合成する。但し、分割画像データを全て合成すると生成される合成画像の幅が入力画像の２倍になるので、画像の幅を合わせるために分割画像データの一部を間引いて合成することができる。例えば、レンズＬｉ（１＜＝ｉ＜＝ｎ）に対してＡ２ｉ−１及びＢ２ｉが対応するように分割画像データを合成する。尚、レンチキュラーレンズに対して右目用画像と左目用画像の画像データがそれぞれ対応していれば、入力画像の画像データと合成画像の画像データの幅を合わせる手段はこれに限られるものではない。例えば、レンズＬｉに対してＡ２ｉ及びＢ２ｉ−１を対応させても良いし、入力画像データの幅を予め半分に縮小しておいて、合成時には全ての分割画像データを用いてもかまわない。
【００６０】
上述した画像処理方法を行うことで、多視点画像撮影装置を用いて立体画像を撮影した場合に、予め設定した視環境画面での立体感で画像処理装置に付属のプレビュー画面に立体画像を表示することが可能となる。
【００６１】
＜実施形態２＞
実施形態１では、プレビュー画面の視距離は、予め制御部１０１のＲＯＭに記録しておき、それを読み出し利用する例について説明を行った。本実施形態では、プレビュー時の視距離を撮影中にリアルタイムに測定を行い、視距離の変化に応じたプレビュー用視差θ’を算出する方法を示す。尚、以下では実施形態１と異なる動作を行う部分について説明を行う。
【００６２】
図１７に本実施形態における画像処理装置のシステム構成例を示す。本実施形態の画像処理装置１７００において、外部インターフェース１０２、操作部１０３、プレビュー表示部１０４、及び多視点画像撮像装置１０５の動作は実施形態１と同様であるため、説明を省略する。制御部１７０１は、操作部１０３を通じて取得したパラメータと、視距離測定部１７０２で測定したプレビュー画面視距離を示すデータとに基づいて、多視点画像撮像装置１０５から取得した画像について立体画像生成処理を行う。そしてプレビュー表示部１０４に立体画像を表示する。また、プレビュー表示部１０４の画面サイズ及び視距離の初期値、並びに、プレビュー表示部１０４の立体表示に関する情報の各情報が本画像処理装置の製造時に予め制御部１７０１のＲＯＭに記録されているものとする。
【００６３】
視距離測定部１７０２は、制御部１７０１からの指令によって本画像処理装置の利用者からプレビュー表示部１０４までの距離（プレビュー画面視距離）の測定を行う。視距離測定部１７０２の構成は、プレビュー画面視距離がリアルタイムに測定できればどのような構成であってもよい。例えば、マイクロ波やミリ波などの電磁波や超音波をプレビュー表示部から発信し、これが利用者で反射して戻ってくるまでの時間を計測することで距離を計測する方法がある。他にも、プレビュー表示部から利用者側をリアルタイムに撮影するステレオ（２眼式）カメラを備え、画像処理で得られるデータから利用者までの距離を算出してもよい。
【００６４】
次に、本実施形態の制御部１７０１の概要機能構成について、図１８を用いて説明する。
【００６５】
図１８において、パラメータ取得部１８０１は、制御部１７０１のＲＯＭに記録されたプレビュー表示部１０４の画面サイズ、視距離の初期値、及び立体表示情報の各情報を取得する。また、パラメータ取得部１８０１は、画像処理装置の利用者が操作部１０３を用いて設定した視環境の視距離、画面サイズ、及び視差の各パラメータを取得する。プレビュー画面視距離取得部１８０２は、視距離測定部１７０２で測定した利用者とプレビュー表示部１０４との距離であるプレビュー画面視距離を示すデータを取得し、プレビュー画像合成部３０３へプレビュー画面の視距離を示すパラメータとして引き渡す。他の部分に関しては、実施形態１と同様の動作を行うため、説明を省略する。
【００６６】
次に、本画像処理装置の一連の動作を、フローチャート図１９を参照して説明する。
【００６７】
図１９において、ステップＳ１９０１は、パラメータ取得部１８０１において動作し、制御部１７０１のＲＯＭからプレビュー表示部１０４の画面サイズ、及び、立体表示情報の各情報を取得する。加えて、本画像処理装置の利用者が、操作部１０３を用いて設定した視環境の画面サイズと視距離との各情報を読み出し、その設定値を取得する。
【００６８】
ステップＳ１９０２は、プレビュー画面視距離の初期化を行うステップである。制御部１７０１のＲＯＭに記録されているプレビュー画面視距離の初期値を読み出し、これを代入する。
【００６９】
ステップＳ４０２は、利用者が操作部１０３を用いて設定した視差を取得する視差取得処理である。実施形態１と同様であるため説明を省略する。
【００７０】
ステップＳ１９０３は、プレビュー画面視距離取得部１８０２において動作し、プレビュー画像の作成を行うごとに、視距離測定部１７０２にてリアルタイムに利用者とプレビュー画面との間の距離を測定し、プレビュー画面視距離を更新するステップである。
【００７１】
ステップＳ４０３のプレビュー画像合成処理は、ステップ１９０１で取得した各パラメータ、及び、ステップＳ１９０３で取得したプレビュー画面視距離を示すデータに基づいて、プレビュー画面に表示する立体画像の合成を行う。本処理の動作は、利用するプレビュー画面の視距離が視距離測定部１７０２で測定した値を用いること以外は実施形態１と同様である。
【００７２】
以上、説明した画像処理装置を利用することで、本画像処理装置を利用者が手で持ちながら立体画像を撮影するなど、プレビュー画像視距離が動的に変化する場合、プレビュー画像視距離に応じたプレビュー用視差を算出することができるようになる。そして、視環境と等しい立体感でプレビュー画面を観察することが可能となる。
【００７３】
なお、実施形態２においてはプレビュー画面視距離をリアルタイムで測定する技術について説明した。ここで、視環境が画像処理装置を利用する利用者の身近にあるような場合（例えば、自宅のテレビ画面のような場合）には、同種の方法で視環境の視距離を測定し、測定した視距離の情報を用いても良い。
【００７４】
＜実施形態３＞
実施形態１及び２では、画面サイズ、及び視距離の異なる２つの画面において、等しい立体感で画像を表示する方法を示した。しかし、２つの画面で立体感を等しくするためには、プレビュー画面に表示する立体画像と視環境画面に表示する画像とでは、画像の合成に用いる視点画像を変える必要がある場合が想定される。それによって、例として図２０に示すように、視点位置によって物体の見え方や向きと言った、いわゆる構図が変わってしまう恐れがある。しかしながら、このような場合に視環境での構図をプレビュー画面で再現する場合、立体感を再現することはできない。すなわち、視環境における立体感と構図の両方を同時にプレビュー画面で再現することはできない場合がある。
【００７５】
そこで本実施形態では、立体感を再現できるモードと構図を再現できるモードとの２種類のモードを用意する。そして、本画像処理装置の利用者は両モードを切り替えて利用することで視環境における構図と立体感の両方を撮影中にプレビュー画面で確認、調整できるようにする。尚、以下ではプレビュー画面で視環境画面での立体感を再現するモードを立体感再現モードと呼び、プレビュー画面で視環境画面での構図を再現するモードを構図再現モードと呼ぶ。
【００７６】
本実施形態の画像処理装置のシステム構成例を図２１に示す。実施形態１と同様に、本実施例の画像処理装置２１００は、制御部１０１、外部インターフェース１０２、操作部２１０１、及びプレビュー表示部１０４から成り、多視点画像撮像装置１０５と外部インターフェース１０２を通して接続されている。操作部２１０１以外の各部の動作は実施形態１と同様であるため、説明は省略する。操作部２１０１は、各種操作ボタンやタッチパネル等を有し、撮影条件の設定及び変更、撮影、並びに撮影後の画像の表示などの様々な操作を行うことができる。ここで、撮影条件として図６で説明したように立体映像の立体感の強調及び低減の設定を行うことができる。その他、ズーム、絞り、及びシャッタスピードなど、その他各種の撮影条件を設定や変更が可能である。また、撮影した立体画像を観察する視環境について、画面サイズ及び視距離の入力を行うことができる。本実施形態における操作部２１０１は、さらに、撮影中の画像をどのようなモードでプレビューするかを切り替えることができる。
【００７７】
図２２に、本実施形態における画像処理装置の外観構成の一例を示す。外観の背面図を示す（ｂ）において２２０１のモード切り換えボタンが追加されている点が、実施形態１の外観構成を示す図２と異なる。モード切り換えボタン２２０１は、画面に表示するプレビュー方法を切り替えるボタンである。本画像処理装置の利用者は、撮影中にモード切り換えボタン２２０１を押すことによって、構図再現モードと、立体感再現モードとを切り替えることができる。図２３に両モードでのプレビュー表示部１０４の表示例を示し、（ａ）が構図再現モードの表示例、（ｂ）が立体感再現モードの表示例である。構図再現モードでは視環境の立体感は再現されないが視環境と同じ構図の画像が表示され、立体感再現モードでは視環境の構図を再現することはできないが視環境と等しい立体感を再現することができる。
【００７８】
次に、本画像処理装置の一連の動作を、フローチャート図２４を参照して説明する。
【００７９】
図２４は、実施形態１の画像処理装置のフローチャート図４に対し、ステップＳ２４０１、ステップＳ２４０２、ステップＳ２４０３、ステップＳ２４０４の４処理を追加したものである。その他の処理は、実施形態１で説明した動作を行うため説明を省略し、以下では、本実施形態で追加した４つの処理の動作を説明する。
【００８０】
ステップＳ２４０１は、構図再現モード又は立体感再現モードのどちらのモードでプレビューを行うかを表す変数として、表示モードの値及び視差の値の２つ変数を初期化するステップである。本実施形態では、表示モードの初期値として立体感再現モードを示す値を与える。また、視差θの初期値として、多視点画像撮像装置のピント距離をＬp、人間の左右の目の間の距離の平均的な値をＢａ（＝６．５ｃｍ）として下記式で求められる値とする。
【００８１】
【００８２】
ステップＳ２４０２は、利用者が操作部２１０１を通して選択したモードを取得し、表示モードを更新するステップである。
【００８３】
ステップＳ２４０３は、表示モードが構図再現モードか、立体感再現モードかを判断するステップである。そして、表示モードが構図再現モードの場合、ステップＳ２４０４へ遷移する。一方、表示モードが立体感再現モードの場合、ステップＳ４０２へ遷移する。
【００８４】
ステップＳ２４０４は、構図再現モードにおいて、プレビュー画面に表示を行う立体画像を合成するステップである。詳細は後述する。
【００８５】
以上で、実施形態１の画像処理装置の動作と異なる４つの処理について説明を行った。なお、図２４の処理において、立体感再現モードのＳ４０２で視差を更新した後に、表示モードを切り替えた場合には、構図再現モードにおいてもその更新された視差を用いて構図が再現されることになる。
【００８６】
続いて、ステップＳ２４０４の構図再現モードプレビュー画像合成処理の詳細を説明する。図２５に構図再現モードプレビュー画像合成処理のフローチャート図を示す。
【００８７】
まず、ステップＳ７０２では、多視点画像取得部から撮像装置情報として、多視点画像撮像装置の各撮像部の配置及びピント距離を取得する。尚、本処理は実施形態１と同様である。
【００８８】
ステップＳ２５０１は、ステップＳ２４０１で与えた視差、または、ステップＳ４０２で更新した視差θを持つ２枚の視点画像を示す画像データを右目用画像、左目用画像として多視点画像取得部３０１から取得する。ステップＳ７０２で取得する撮像装置のピント距離をＬpとすると、下記式で計算される距離Ｂだけ離れた位置に配置された撮像部で撮影された２枚の視点画像を取得する。
【００８９】
【００９０】
実施形態１のプレビュー画像合成処理と同様、撮像部間の距離がＢとなる撮像部が必ずしも存在するとは限らない。その場合は、撮像部間の距離がＢに最も近い２つの撮像部で撮影された画像を用いてもよいし、中間視点画像生成の技術を用いて距離Ｂだけ離れた仮想視点での画像を生成して使用してもよい。
【００９１】
続いて、ステップＳ７０４では、ステップＳ２５０１で取得した視点画像から、プレビュー表示部１０４で立体表示ができるよう画像の合成を行う。処理内容は実施形態１と同様であるため説明は省略する。
【００９２】
以上で説明したように、本実施形態では立体感再現モードと構図再現モードの２種類のモードを用意し、本画像処理装置の利用者はモードを切り替えて利用することで視環境における構図と立体感の両方を撮影中にプレビュー画面で確認及び調整が可能となる。
【００９３】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、立体視用の画像を生成する画像処理装置に関する。
【背景技術】
【０００２】
視差を利用して視聴者の左右の眼に異なる映像を見せることで、擬似的に立体映像視聴を可能にする技術がある。眼鏡無しで視聴する裸眼方式には、例えば、シリンドリカルレンズを多数並列に配置して見え方を制限するレンチキュラスクリーン方式や、１枚の板に多数のスリットを形成して映像の見え方を制限するパララックスバリア方式が知られている。
【０００３】
特殊な眼鏡を用いた方式では偏光を利用した偏光方式や、左右の映像を時分割表示してシャッター式眼鏡を用いて左右の眼に異なる映像を見せる時分割方式が知られている。また、時分割方式と偏光方式とを組み合わせた時分割・偏光方式や、時分割方式と分光方式とを組み合わせた時分割・分光方式も実用化されている。
【０００４】
上記のように、立体映像の視聴環境の整備とともに、その視聴環境に表示する立体映像を撮影する手段の実用化が進んでいる。被写体を異なる２点の位置から撮影する２眼カメラを始めとし、２点以上の複数の点から撮影した画像（以後、多視点画像と記述する）を撮影する多視点カメラの実用化が進んでいる。また、近年では、撮像素子の前に細かいレンズアレイを備えることにより、多方向からの光を同時に記録し多視点画像を生成することができるＰｌｅｎｏｐｔｉｃ方式の撮像装置も開発されている。
【０００５】
そのような中、立体映像を表示可能な画面を付属した立体映像の撮像手段が提案されている（特許文献１）。特許文献１に記載の技術を用いれば、映像の立体感を確認しながらの撮影が可能になり、撮影中に視差を調整することで立体感を強調したり弱めたりすることが可能となる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２０３６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
撮影した立体画像を表示する画面の大きさは、機器ごとに異なることが一般的である。また、同一の立体画像から得られる立体感は、立体画像を表示する画面の大きさによって変わってしまう。そのため、撮影した立体画像を表示する画面の大きさに合わせた立体感の調整が必要となる。しかし、特許文献１に記載の技術では、撮像機器に付属の画面の大きさと撮影後に画像を観察する機器の画面の大きさが違う場合に、撮影時に付属画面で確認した際に得られる立体感と、撮影後に別の画面で表示したときに得られる立体感は等しくならない。そのため、撮影中に機器付属の画面で確認しながら立体感の調整を行ったとしても、別の画面で表示した場合に所望の立体感が得られる保証がないという課題があった。
【０００８】
そこで本発明では、任意の画面で表示される画像の立体感と、別の画面で表示される画像の立体感とが等しくなる立体画像を生成することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る画像処理装置は、少なくとも２つの異なる視点から撮像された複数の画像データを取得する画像データ取得手段と、第１の画面の環境条件と、前記第１の画面とは別の画面である第２の画面の環境条件とを含むパラメータを取得するパラメータ取得手段と、前記取得したパラメータに基づいて前記第１の画面で表示される立体感が前記第２の画面で表示される立体感と一致するように前記取得した画像データを合成して多視点画像を生成する画像合成手段とを備えることを特徴とする。
【発明の効果】
【００１０】
本発明は、多視点画像を用いた立体画像を表示する際に、任意の画面に表示される立体画像と等しい立体感で、別の画面に立体画像を表示することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１における画像処理装置のシステム構成例を示すブロック図である。
【図２】本発明の実施形態１における画像処理装置の外観構成の一例を示す図である。
【図３】本発明の実施形態１の制御部の概要機能構成の一例を示す図である。
【図４】本発明の実施形態１の画像処理装置の処理の流れの一例を示すフローチャート図である。
【図５】立体表示における視差を説明する図である。
【図６】本発明の実施形態１における視差の大きさの設定画面の例を示す図である。
【図７】本発明の実施形態１におけるプレビュー画像合成処理の流れ一例を示すフローチャート図である。
【図８】本発明の実施形態１における視差に応じた視点画像の選択方法の一例を表す図である。
【図９】視距離とパースの関係を表す図である。
【図１０】プレビュー画面と視環境画面のパースの関係を表す図である。
【図１１】仮想プレビュー画面の視距離算出を説明する図である。
【図１２】本発明の実施形態１におけるプレビュー用視差の算出方法の一例を説明する図である。
【図１３】本発明の実施形態１におけるプレビュー用視差の算出方法の一例を説明する図である。
【図１４】本発明の実施形態１におけるプレビュー用視差算出処理の流れの一例を示すフローチャート図である。
【図１５】本発明の実施形態１における立体表示用画像合成処理の流れの一例を示すフローチャート図である。
【図１６】本発明の実施形態１における立体表示用画像の合成方法の一例を説明する図である。
【図１７】本発明の実施形態２における画像処理装置のシステム構成例を示すブロック図である。
【図１８】本発明の実施形態２における制御部の概要機能構成の一例を示す図である。
【図１９】本発明の実施形態２における画像処理装置の処理の流れの一例を示すフローチャート図である。
【図２０】視点位置による構図の変化を説明する図である。
【図２１】本発明の実施形態３における画像処理装置のシステム構成例を示すブロック図である。
【図２２】本発明の実施形態３における画像処理装置の外観構成の一例を示す図である。
【図２３】本発明の実施形態３における表示モードによるプレビュー画面の一例を説明する図である。
【図２４】本発明の実施形態３における画像処理装置の処理の流れの一例を示すフローチャート図である。
【図２５】本発明の実施形態３における構図再現モードプレビュー画像合成処理の流れの一例を示すフローチャート図である。
【発明を実施するための形態】
【００１２】
＜実施形態１＞
本発明に係る実施形態１を添付図面に基づいて詳細に説明する。尚、以下では説明の簡単化のため撮像データをある時刻における静止画像を示すデータとして説明するが、静止画像を時系列的に扱うことで動画像を示すデータに対しても本実施形態を適用可能である。
【００１３】
まず、本実施形態における画像処理装置のシステム構成例について、図１を用いて説明する。同図において、本実施形態における画像処理装置１００は、制御部１０１、外部インターフェース１０２、操作部１０３、及びプレビュー表示部１０４を有する。また、画像処理装置１００は外部インターフェース１０２を通し多視点画像撮像装置１０５と接続されている。
【００１４】
制御部１０１はＣＰＵ、ＲＡＭ、及びＲＯＭ等により構成されている。ＣＰＵは、ＲＡＭをワークメモリとして、ＲＯＭに格納されたプログラムを実行し、後述する各構成を制御する。これにより、後述する様々な処理が実行される。本実施形態においては、多視点画像撮像装置１０５から取得した少なくとも２つ以上の異なる視点位置から撮影した画像データに対して、操作部１０３を通じて取得したパラメータに基づいて立体画像を生成する処理を行う。そして、プレビュー表示部１０４に生成した立体画像を表示する。
【００１５】
外部インターフェース１０２は、画像処理装置１００に接続された多視点画像撮像装置１０５と制御部１０１との間で、データの受け渡しを行う。
【００１６】
操作部１０３は、各種操作ボタン及びタッチパネル等を有し、撮影条件の設定及び変更、撮影、並びに撮影後の画像の表示などの様々な操作を行うことができる。ここで、撮影条件として後述のように立体映像の立体感の強調又は低減の設定を行うことができる。また、撮影した立体画像を観察する視環境について、画面サイズ及び視距離を示すデータを含む環境条件の入力を行うことができる。撮影した立体画像を観察する視環境とは、プレビュー表示部１０４以外の環境のことであり、例えば映画館などの大型スクリーン、又は家庭用テレビなどといった撮影した画像を観察する環境のことである。画面サイズとは、例えば、撮影した画像をその画面の大きさに合わせて全画面表示した際に、表示されるサイズである。なお、全画面表示の場合に限らず、立体画像が表示される画面領域が決まっている場合には、その領域を画面サイズとすることができる。
【００１７】
プレビュー表示部１０４は、ＬＣＤ又は有機ＥＬなどから成り、撮影中には画像のプレビュー及び各種撮影条件を表示でき、撮影後には撮影画像を表示できる。さらに、プレビュー表示部１０４は、例えば、パララックスバリア方式やレンチキュラーレンズ方式などの立体表示方法を組み合わせることで、画像を立体表示可能な構成とする。あるいは、左右それぞれの目に対する２つの電子ファインダを有し、左右のファインダに視差の異なる画像を表示し立体画像を観察可能な構成でもよい。本実施形態では立体表示方法としてレンチキュラーレンズを用いる場合を例に説明を行う。また、プレビュー表示部１０４の画面サイズ、標準的な視距離、及びプレビュー表示部１０４の立体表示に関する情報が、本画像処理装置の製造時に制御部１０１の予めＲＯＭに記録されているものとする。立体表示に関する情報とは、例えばレンチキュラーレンズのレンズ幅、視差数、ディスプレイ解像度、及びドットピッチなどである。なお、製造時に記録されたデータをユーザが操作部１０３を介して更新してもよいし、または製造時にデータが記録されていない場合には、ユーザによって新たにこれらのデータが設定されてもよい。
【００１８】
多視点画像撮像装置１０５は、２つ以上の複数の視点位置からの画像を撮影可能な装置である。例えば、複数のデジタルカメラを並べて配置してもよいし、多眼方式の撮像装置やＰｌｅｎｏｐｔｉｃ方式の撮像方式でもよい。また、１つの単眼カメラを移動しながら複数地点で撮影を行うものであってもよい。多視点画像撮像装置１０５には、撮影した多視点画像を示す多視点画像データを保存するハードディスクやメモリカードなどの記録装置が備えられている。
【００１９】
続いて、図２に、本発明の実施形態１に係る画像処理装置の外観構成を一例として示す。尚、図２には画像処理装置１００と多視点画像撮像装置１０５が一体となった装置の例を示す。図２（ａ）は画像処理装置の正面図である。画像処理装置の筺体２００は、画像データを取得する複数の撮像部（図２では２０１から２０６の６つ）からなるカメラアレイと、撮影ボタン２０７とを備えている。撮影ボタン２０７が押下されると、撮像部２０１から２０６が被写体の光情報を、それぞれの撮像部に供えられた撮像素子（不図示）で受光する。そして、受光した信号はＡ／Ｄ変換されて、複数の撮像画像を示す複数の画像データが同時に取得される。このように複数の撮像装置を備えた多眼式の撮像装置を用いることにより、同一の被写体を複数の位置から撮像した画像データ群を、同時に得ることができる。
【００２０】
続いて、図２（ｂ）は画像処理装置の背面図である。背面には、表示部２０８及び操作ボタン２０９が配置されている。表示部２０８は、本画像処理装置におけるプレビュー表示部１０４として動作し、撮影中の画像や撮影後の画像を立体表示することが可能である。また、撮影時には、各種撮影条件を表示することが可能である。操作ボタン２０９は、撮影者が項目を変更及び選択するために方向操作等を行う十字ボタンである。本図には説明の便宜上、ひとつの操作ボタンのみを代表的に示しているが、複数の操作ボタンが設けられていてもよい。また、撮影ボタン２０７や操作ボタン２０９などのボタンの替わりに、表示部２０８を覆うようにタッチパネルが備えられた構成であってもよい。その場合、感圧式、電磁誘導式など各種方式によりユーザがタッチした座標を検出し、座標によってユーザの指示を読み取ることが可能である。また、タッチパネルとともに撮影ボタン２０７や操作ボタン２０９が設けられていてもよい。撮影ボタン２０７、操作ボタン２０９、または表示部２０８に備えられたタッチパネルは、本画像処理装置における操作部１０３として動作する。
【００２１】
以上、図２では画像処理装置の外観例を示したが、画像を撮影する視点は上記に限られるものではない。例えば、図２では水平方向に直線状に撮像部が配置された例を示したが、水平・垂直の２次元的に撮像部が配置されていてもよい。また、撮像部の数も例に示した６つに限られるものではなく、２つ以上の任意の数の撮像部を配置してもよい。さらに、図２では画像処理装置１００と多視点画像撮像装置１０５とが一体になった例を示したが、必ずしも一体になっている必要はない。
【００２２】
続いて、本実施形態の制御部１０１の概要機能構成の一例について、図３を用いて説明する。尚、本画像処理装置の利用者は、利用に先立ち、先に説明したような例えば映画館などの大型スクリーン又は家庭用テレビなどといった撮影した画像を観察する環境条件を決定しておく。より具体的には、利用者の視環境における画面サイズ及び視距離を決定しておく。
【００２３】
図３において、多視点画像取得部３０１は、外部インターフェース１０２を通じ多視点画像撮像装置１０５で撮影した複数の多視点画像を示す画像データの全て又はその一部を取得する。また、多視点画像取得部３０１は、多視点画像撮像装置１０５の撮像部の配置及びピント位置を含む撮像装置情報を多視点画像撮像装置１０５から取得する。パラメータ取得部３０２は、制御部１０１のＲＯＭに記録されたプレビュー表示部１０４の視距離、画面サイズ、及び立体表示情報の各情報（パラメータと称する）を取得する。またパラメータ取得部３０２は、画像処理装置の利用者が操作部１０３を用いて入力した視環境の視距離、画面サイズ、及び視差の各情報を取得する。パラメータ取得部３０２は、これら６つのパラメータを取得する。プレビュー画像合成部３０３は、パラメータ取得部３０２で取得したパラメータを基に、多視点画像取得部３０１で取得した多視点画像を示す画像データを合成してプレビュー画面に立体表示する立体画像データを生成する。詳細については後述するが、プレビュー画像合成部３０３は、プレビュー用の視差を外部インターフェース１０２に送信し、当該視差に応じた多視点画像データを取得して立体画像データを生成する。プレビュー出力部３０４は、プレビュー画像合成部３０３で生成した立体画像データをプレビュー表示部１０４へ出力する。
【００２４】
続いて、本画像処理装置の一連の動作の例を、図４のフローチャートを参照し説明する。なお、本処理に先立ち利用者は、操作部１０３を用いて視環境の画面サイズと視距離の設定を行っているものとする。ステップＳ４０１において、パラメータ取得部３０２は、本画像処理装置の利用者によって設定された視環境の画像サイズ及び視距離を示す値を読み出す。この値は、以後のプレビュー画像合成処理において利用される。加えて、パラメータ取得部３０２は、制御部１０１のＲＯＭからプレビュー表示部１０４の画面サイズ及び視距離、並びに、立体表示に関する情報（パラメータ）の取得を行う。
【００２５】
次にステップＳ４０２において、パラメータ取得部３０２は、操作部１０３を用いて利用者によって指定された視差を取得する。ここで、本実施形態における視差とは、図５に示すように立体表示に用いる２つの視点位置と被写体が成す角度を表わすものとする。一般的に、視差が大きいほど立体感が大きく、より奥行きがあると感じ、一方、視差が小さいほど立体感が小さく、より奥行きを感じにくくなる。従って、被写体の立体感を強調した画像を撮影する場合は大きな視差を持つ視点画像を利用し、逆に、立体感を低減した画像を撮影する場合は小さな視差を持つ視点画像を使用して立体画像の作成を行えばよいことになる。なお、本実施形態では、このステップＳ４０２で利用者によって指定される視差は、視環境における視差として説明する。
【００２６】
本実施形態では、例えば図６に示すような設定画面を用いて、利用者に視差θを設定させる。６０１は視差の大きさを指定するスライドバーである。利用者は、操作ボタン２０９を用いてスライドバー６０１を移動させることで任意の視差θを指定可能である。図６の（ａ）、（ｂ）は、異なる視差に対する同一の被写体のプレビュー画像の概念図を表す。図６（ａ）のように小さな視差を指定した場合は被写体の奥行きが小さく表示され、一方、図６（ｂ）のように大きな視差を指定した場合は被写体の奥行きが大きく表示される。尚、本例ではスライドバーを用いて視差を指定する例を示したが、視差を任意の大きさで指定可能であればどのような方法を用いてもよい。
【００２７】
ステップＳ４０３において、プレビュー画像合成部３０３は、ステップＳ４０１で取得したパラメータとステップＳ４０２で取得した視差とに基づいて、多視点画像を示す画像データから少なくとも２つの画像データを選択する。そして、プレビュー画像合成部３０３は、選択した画像データを合成し、プレビュー画面における立体表示用の画像データを生成する。このステップＳ４０３におけるプレビュー画像合成処理の詳細については後述する。
【００２８】
ステップＳ４０４において、プレビュー出力部３０４は、ステップＳ４０３で生成された立体表示用の画像データをプレビュー表示部１０４に送り、立体画像をプレビュー表示させる。
【００２９】
ステップＳ４０５において、制御部１０１は、画像処理装置の利用者によってプレビューの終了操作が行われたかを判断する。具体的には、撮影ボタン２０７が押下された場合、プレビュー表示を終了する。そして、多視点画像の撮影が実行され、多視点画像撮像装置内にある記録装置に多視点画像データが記録される。このとき、２０１から２０６の全ての撮像部で撮影した多視点画像データを保存してもよいし、ステップＳ４０２で利用者が指定した視差θを持つ１組の視点画像データのみを保存してもよい。但し、全ての多視点画像データを保存する場合は、利用者が指定した視差θの値を別途保存する必要がある。その理由は視環境での表示時に、多視点画像から視差がθとなる視点の画像データを選択し表示を行うためである。
【００３０】
一方、プレビュー表示の終了操作が行われない場合は、再びステップＳ４０２の視差取得処理に戻り、利用者が指定した視差でのプレビューを続ける。
【００３１】
（プレビュー画像合成処理）
ここでは、ステップＳ４０３におけるプレビュー画像合成処理の詳細について、図７に示すフローチャートを基に説明を行う。
【００３２】
ステップＳ７０１は、プレビュー画像合成部３０３が、パラメータ取得部３０２で取得した各種パラメータを用いてプレビュー表示用の視差θ’を算出するステップである。ある視差θを持つ２枚の視点画像を示す画像データを合成して生成した立体画像を、画面サイズと視距離とが異なり得る視環境とプレビュー表示部１０４とでそれぞれ観察した場合、一般には得られる立体感は等しくならない。そのため、ステップＳ７０１ではプレビュー表示部１０４にどのような視差で立体表示すれば、視差θの立体画像を視環境で観察した場合に得られる立体感と等しい立体感を得ることができるのかを算出する。詳細については後述する。なお、この視差θは、ステップＳ４０２にて取得された視差とすることができる。
【００３３】
ステップＳ７０２では、プレビュー画像合成部３０３が、多視点画像取得部から撮像装置情報として、多視点画像撮像装置の各撮像部の配置及びピント距離を取得する。
【００３４】
ステップＳ７０３では、プレビュー画像合成部３０３が、ステップＳ７０１で算出したθ’の視差を持つ２枚の視点画像を示す画像データを右目用画像及び左目用画像として多視点画像取得部３０１から取得する（画像データ取得処理）。図８に示すように、多視点画像取得部３０１で取得する撮像装置情報のうちピント距離をＬpとすると、下記式で計算される距離Ｂだけ離れた位置に配置された撮像部で撮影された２枚の視点画像の画像データを取得する。
【００３５】
【００３６】
尚、撮像部間の距離がＢとなる撮像部が必ずしも存在するとは限らない。その場合は、撮像部間の距離がＢに最も近い２つの撮像部で撮影された画像データを用いてもよいし、中間視点画像生成の技術を用いて距離Ｂだけ離れた仮想視点での中間視点画像データを生成して使用してもよい。尚、上記では多視点画像から２枚の画像の画像データを選択、取得する例で説明を行ったが、プレビュー表示部１０４が表示可能な視差画像の数と等しい画像を選択、取得を行うことが可能である。また、中間視点画像生成には既存のどのような方法を用いてもよい。中間画像生成については、説明を省略する。
【００３７】
ステップＳ７０４は、プレビュー画像合成部３０３が、視差θ’の２枚の視点画像データを合成して、プレビュー表示部１０４で立体表示可能な画像データを生成する立体表示用画像合成処理である。詳細については後述する。
【００３８】
（プレビュー用視差算出処理）
次に図７におけるステップＳ７０１のプレビュー用視差算出処理の詳細について説明を行う。本ステップは、前述のように、視差θの立体画像を視環境で観察した場合と等しい立体感を得るためには、プレビュー表示部１０４にどのような視差の立体表示を行えばよいのかを算出する処理である。まず、本ステップの手順を説明する前に、プレビュー用視差θ’の計算方法の原理について説明を行う。
【００３９】
本実施形態では、観察者から画面までの距離（視距離）及び画面サイズとパース（ｐｅｒｓｐｅｃｔｉｖｅ）との関係を利用する。すなわち、図９に示すように、観察者の目９０１から、距離ｌ1に大きさｄ1の物体９０２、距離ｌ2に大きさｄ2の物体９０３があるとき、距離と大きさの比が等しく次式を満たす場合、２つの物体は目には等しいサイズで見えることを利用する。
【００４０】
【００４１】
視環境の画面とプレビュー画面という異なる画面に表示された画像を観察する際も、各画面までの距離と画面サイズの比が等しければ、各画面サイズに合わせた大きさで表示した画像は、等しい大きさで目には見える。同様に、視距離と画面サイズの比が等しい２つの画面それぞれに同一の画像の立体表示を行う場合、左右の目にはそれぞれ等しい大きさで同じ画像が観察されることになるため、各画面の画像から得られる立体感も等しくなる。
【００４２】
ところが、図１０（ａ）及び（ｂ）に例を示すように、２つの画面について視距離と画面サイズの比が等しくない場合、両画面に表示された画像は、目には異なる大きさで見える。尚、図１０において、プレビュー画面の視距離をｌ、画面サイズをｄとし、視環境画面の視距離をＬ、画面サイズをＤとした。図１０（ａ）に示すようにｄ／ｌ＞Ｄ／Ｌの場合、目にはプレビュー画面に表示した画像の方が大きく見える。この場合、両画面で立体表示を行うと、プレビュー画面に表示した画像より、視環境画面に表示した画像の方がより大きな立体感を感じる。なぜならば、プレビュー画面に表示した画像の方が大きく見えるということは、立体視する場合には視環境画面と比較してプレビュー画面における画像の視差が相対的に小さくなるからである。一方、図１０（ｂ）に示すようにｄ／ｌ＜Ｄ／Ｌの場合、目には視環境画面に表示した画像の方が大きく見える。この場合、両画面で立体表示を行うと、視環境画面に表示した画像より、プレビュー画面に表示した画像の方がより大きな立体感を感じる。なぜならば、視環境画面に表示した画像の方が大きく見えるということは、立体視する場合にはプレビュー画面と比較して視環境画面における画像の視差が相対的に小さくなるからである。
【００４３】
以上のように２つの画面について視距離と画面サイズの比が等しくない場合、同一の立体画像を表示しても得られる立体感は等しくならない。そこで、本実施形態では視環境画面と等しい立体感を得るため、プレビュー画面に立体表示する際の視差の調整を行う。尚、本実施形態ではプレビュー画面に表示する画像について視差の調整を行う例を示すが、視環境画面に表示する画像の視差の調整を行っても同様の効果を得ることが可能である。つまり、本実施形態においては、ユーザが例えば図６に示すようなインターフェースを用いて視環境画面の立体感を設定し、その視環境画面の立体感と同等の立体感をプレビュー画面においても立体表示する例について説明する。しかしながら、例えば図６に示すようなインターフェースを用いてプレビュー画面の視差を設定し、そのプレビュー画面の立体感と同等の立体感を視環境画面で立体表示可能なように視環境画面における視差が決定されてもよい。この場合、以下で説明するプレビュー画面と視環境画面とにおける各パラメータを入れ替えて以下で示す計算処理を行えばよい。すなわち、本実施形態は、任意の第１の画面で表示される立体感と第１の画面とは別の画面である第２の画面で表示される立体感とを一致させる処理とすることができる。
【００４４】
まず、プレビュー画面と視環境画面では、視距離と画面サイズの２パラメータが異なるが、パースの考え方を用いることで視距離の１パラメータの違いに問題を置き換えることができる。具体的には、図１１に示すように、視距離ｌ、画面サイズｄのプレビュー画面と同じ見え方になるように視環境画面と同じサイズＤの画面を見るときの視距離ｌ’は次式で計算できる。
【００４５】
【００４６】
よって、プレビュー画面（視距離ｌ、画面サイズｄ）は、視距離ｌ’の位置にあるサイズＤの画面と置き換えることができる。そこで、視距離ｌ’、画面サイズＤの画面を仮想プレビュー画面とすると、図１２に示すように、プレビュー画面と視環境画面の立体感を等しくする問題は、仮想プレビュー画面と視環境画面の立体感を等しくさせることに置き換えることができる。尚、ｄ／ｌ＞Ｄ／Ｌの場合、図１２に示すように仮想プレビュー画面が視環境画面より手前（ｌ’＜Ｌ）となる。一方、図１２には示していないが、ｄ／ｌ＜Ｄ／Ｌの場合は、反対に仮想プレビュー画面が視環境画面より視距離が大きくなる（ｌ’＞Ｌ）。
【００４７】
次に、仮想プレビュー画面に表示した際に、視環境画面に視差θの立体画像を表示したときと等しい立体感が得られる立体画像の視差θ’を算出する。これは、視距離Ｌ、視差θでの基線長と視距離ｌ’、視差θ’での基線長が等しくなるθ’を次式に従い算出すればよい。
【００４８】
図１３に（ａ）ｌ’＜Ｌの場合と、（ｂ）ｌ’＞Ｌの場合のそれぞれのθ’の計算の概念図を示す。同図より、ｌ’＜Ｌの場合はθ＜θ’となり、より大きな視差をつけてプレビュー画面に表示する必要があることがわかる。また、ｌ’＞Ｌの場合はθ＞θ’となり、視差を小さくしてプレビュー画面に表示する必要があることがわかる。
【００４９】
以上でプレビュー用視差θ’を算出することができる。図１４に上記で説明したプレビュー用視差算出処理のフローチャートを示す。
【００５０】
まず、ステップＳ１４０１は、視距離ｌ、画面サイズｄのプレビュー画面と同じ見えになる画面サイズＤの仮想プレビュー画面の視距離ｌ’を式（３）に従い計算するステップである。
【００５１】
そして、ステップＳ１４０２は、仮想プレビュー画面に表示した際に、視環境画面に視差θの立体画像を表示したときと等しい立体感が得られる立体画像の視差θ’を算出するステップである。このときの視差θ’は前述の式（４）に従い算出することができる。
【００５２】
以上で、図７におけるステップＳ７０１のプレビュー用視差算出処理の動作の説明を終了する。
【００５３】
（立体表示用画像合成処理）
プレビュー用画像合成処理におけるステップＳ７０４の立体表示用画像合成処理の動作の詳細を説明する。
【００５４】
本処理は、プレビュー表示部１０４で立体表示できるようパラメータ取得部３０２で取得したプレビュー表示部１０４の立体表示情報を参照し、画像データを合成する処理である。本実施形態では、プレビュー表示部１０４はレンチキュラーレンズ方式の立体表示方法であるとして図１５のフローチャートを基に説明を行う。プレビュー表示方法が他の方式の場合は、その表示方法に応じて本処理の内容を変えることができる。
【００５５】
ステップＳ１５０１では、立体表示情報に含まれるレンチキュラーレンズのレンズ幅に応じて、各レンズの幅内に視差画像のデータが配置されるようにステップＳ７０３で取得した画像を短冊状に分割する際の分割幅を決定する。例えば６０［ＬＰＩ（Ｌｉｎｅ Ｐｅｒ Ｉｎｃｈ）］のレンチキュラーレンズでの場合、レンズ幅は１／６０インチであるから、２枚の画像を合成する場合、それぞれの画像データの分割幅は１／１２０インチになる。即ち、Ｗ［ＬＰＩ］のレンチキュラーレンズにＭ枚の画像データを合成する場合の分割幅ΔＷ は次式になる。
【００５６】
【００５７】
ステップＳ１５０２は、ステップＳ７０３で取得した画像を示す画像データを短冊状に分割する工程である。
【００５８】
そして、ステップＳ１５０３は、ステップＳ１５０２で分割した画像データを合成する工程である。
【００５９】
ここで、図１６を参照してステップＳ１５０２及びステップＳ１５０３における画像データの分割及び合成方法の詳細について説明する。図１６において、１６０１は右目用画像、１６０２は左目用画像、１６０３は合成画像、１６０４はレンチキュラーレンズである。まず、ステップＳ１５０２として右目用画像１６０１及び左目用画像１６０２を示す画像データを、縦方向に幅がΔＷの短冊状にそれぞれ分割する。即ち、図１６における分割画像データＡ１からＡ２ｎ及びＢ１からＢ２ｎを得る。次に、ステップＳ１５０３として分割画像データを合成して合成画像１６０３を示す合成画像データを生成する。この際、レンチキュラーレンズの一つのレンズに対して右目用画像１６０１と左目用画像１６０２の分割画像データがそれぞれ対応するように交互に分割画像データを合成する。但し、分割画像データを全て合成すると生成される合成画像の幅が入力画像の２倍になるので、画像の幅を合わせるために分割画像データの一部を間引いて合成することができる。例えば、レンズＬｉ（１＜＝ｉ＜＝ｎ）に対してＡ２ｉ−１及びＢ２ｉが対応するように分割画像データを合成する。尚、レンチキュラーレンズに対して右目用画像と左目用画像の画像データがそれぞれ対応していれば、入力画像の画像データと合成画像の画像データの幅を合わせる手段はこれに限られるものではない。例えば、レンズＬｉに対してＡ２ｉ及びＢ２ｉ−１を対応させても良いし、入力画像データの幅を予め半分に縮小しておいて、合成時には全ての分割画像データを用いてもかまわない。
【００６０】
上述した画像処理方法を行うことで、多視点画像撮影装置を用いて立体画像を撮影した場合に、予め設定した視環境画面での立体感で画像処理装置に付属のプレビュー画面に立体画像を表示することが可能となる。
【００６１】
＜実施形態２＞
実施形態１では、プレビュー画面の視距離は、予め制御部１０１のＲＯＭに記録しておき、それを読み出し利用する例について説明を行った。本実施形態では、プレビュー時の視距離を撮影中にリアルタイムに測定を行い、視距離の変化に応じたプレビュー用視差θ’を算出する方法を示す。尚、以下では実施形態１と異なる動作を行う部分について説明を行う。
【００６２】
図１７に本実施形態における画像処理装置のシステム構成例を示す。本実施形態の画像処理装置１７００において、外部インターフェース１０２、操作部１０３、プレビュー表示部１０４、及び多視点画像撮像装置１０５の動作は実施形態１と同様であるため、説明を省略する。制御部１７０１は、操作部１０３を通じて取得したパラメータと、視距離測定部１７０２で測定したプレビュー画面視距離を示すデータとに基づいて、多視点画像撮像装置１０５から取得した画像について立体画像生成処理を行う。そしてプレビュー表示部１０４に立体画像を表示する。また、プレビュー表示部１０４の画面サイズ及び視距離の初期値、並びに、プレビュー表示部１０４の立体表示に関する情報の各情報が本画像処理装置の製造時に予め制御部１７０１のＲＯＭに記録されているものとする。
【００６３】
視距離測定部１７０２は、制御部１７０１からの指令によって本画像処理装置の利用者からプレビュー表示部１０４までの距離（プレビュー画面視距離）の測定を行う。視距離測定部１７０２の構成は、プレビュー画面視距離がリアルタイムに測定できればどのような構成であってもよい。例えば、マイクロ波やミリ波などの電磁波や超音波をプレビュー表示部から発信し、これが利用者で反射して戻ってくるまでの時間を計測することで距離を計測する方法がある。他にも、プレビュー表示部から利用者側をリアルタイムに撮影するステレオ（２眼式）カメラを備え、画像処理で得られるデータから利用者までの距離を算出してもよい。
【００６４】
次に、本実施形態の制御部１７０１の概要機能構成について、図１８を用いて説明する。
【００６５】
図１８において、パラメータ取得部１８０１は、制御部１７０１のＲＯＭに記録されたプレビュー表示部１０４の画面サイズ、視距離の初期値、及び立体表示情報の各情報を取得する。また、パラメータ取得部１８０１は、画像処理装置の利用者が操作部１０３を用いて設定した視環境の視距離、画面サイズ、及び視差の各パラメータを取得する。プレビュー画面視距離取得部１８０２は、視距離測定部１７０２で測定した利用者とプレビュー表示部１０４との距離であるプレビュー画面視距離を示すデータを取得し、プレビュー画像合成部３０３へプレビュー画面の視距離を示すパラメータとして引き渡す。他の部分に関しては、実施形態１と同様の動作を行うため、説明を省略する。
【００６６】
次に、本画像処理装置の一連の動作を、フローチャート図１９を参照して説明する。
【００６７】
図１９において、ステップＳ１９０１は、パラメータ取得部１８０１において動作し、制御部１７０１のＲＯＭからプレビュー表示部１０４の画面サイズ、及び、立体表示情報の各情報を取得する。加えて、本画像処理装置の利用者が、操作部１０３を用いて設定した視環境の画面サイズと視距離との各情報を読み出し、その設定値を取得する。
【００６８】
ステップＳ１９０２は、プレビュー画面視距離の初期化を行うステップである。制御部１７０１のＲＯＭに記録されているプレビュー画面視距離の初期値を読み出し、これを代入する。
【００６９】
ステップＳ４０２は、利用者が操作部１０３を用いて設定した視差を取得する視差取得処理である。実施形態１と同様であるため説明を省略する。
【００７０】
ステップＳ１９０３は、プレビュー画面視距離取得部１８０２において動作し、プレビュー画像の作成を行うごとに、視距離測定部１７０２にてリアルタイムに利用者とプレビュー画面との間の距離を測定し、プレビュー画面視距離を更新するステップである。
【００７１】
ステップＳ４０３のプレビュー画像合成処理は、ステップ１９０１で取得した各パラメータ、及び、ステップＳ１９０３で取得したプレビュー画面視距離を示すデータに基づいて、プレビュー画面に表示する立体画像の合成を行う。本処理の動作は、利用するプレビュー画面の視距離が視距離測定部１７０２で測定した値を用いること以外は実施形態１と同様である。
【００７２】
以上、説明した画像処理装置を利用することで、本画像処理装置を利用者が手で持ちながら立体画像を撮影するなど、プレビュー画像視距離が動的に変化する場合、プレビュー画像視距離に応じたプレビュー用視差を算出することができるようになる。そして、視環境と等しい立体感でプレビュー画面を観察することが可能となる。
【００７３】
なお、実施形態２においてはプレビュー画面視距離をリアルタイムで測定する技術について説明した。ここで、視環境が画像処理装置を利用する利用者の身近にあるような場合（例えば、自宅のテレビ画面のような場合）には、同種の方法で視環境の視距離を測定し、測定した視距離の情報を用いても良い。
【００７４】
＜実施形態３＞
実施形態１及び２では、画面サイズ、及び視距離の異なる２つの画面において、等しい立体感で画像を表示する方法を示した。しかし、２つの画面で立体感を等しくするためには、プレビュー画面に表示する立体画像と視環境画面に表示する画像とでは、画像の合成に用いる視点画像を変える必要がある場合が想定される。それによって、例として図２０に示すように、視点位置によって物体の見え方や向きと言った、いわゆる構図が変わってしまう恐れがある。しかしながら、このような場合に視環境での構図をプレビュー画面で再現する場合、立体感を再現することはできない。すなわち、視環境における立体感と構図の両方を同時にプレビュー画面で再現することはできない場合がある。
【００７５】
そこで本実施形態では、立体感を再現できるモードと構図を再現できるモードとの２種類のモードを用意する。そして、本画像処理装置の利用者は両モードを切り替えて利用することで視環境における構図と立体感の両方を撮影中にプレビュー画面で確認、調整できるようにする。尚、以下ではプレビュー画面で視環境画面での立体感を再現するモードを立体感再現モードと呼び、プレビュー画面で視環境画面での構図を再現するモードを構図再現モードと呼ぶ。
【００７６】
本実施形態の画像処理装置のシステム構成例を図２１に示す。実施形態１と同様に、本実施例の画像処理装置２１００は、制御部１０１、外部インターフェース１０２、操作部２１０１、及びプレビュー表示部１０４から成り、多視点画像撮像装置１０５と外部インターフェース１０２を通して接続されている。操作部２１０１以外の各部の動作は実施形態１と同様であるため、説明は省略する。操作部２１０１は、各種操作ボタンやタッチパネル等を有し、撮影条件の設定及び変更、撮影、並びに撮影後の画像の表示などの様々な操作を行うことができる。ここで、撮影条件として図６で説明したように立体映像の立体感の強調及び低減の設定を行うことができる。その他、ズーム、絞り、及びシャッタスピードなど、その他各種の撮影条件を設定や変更が可能である。また、撮影した立体画像を観察する視環境について、画面サイズ及び視距離の入力を行うことができる。本実施形態における操作部２１０１は、さらに、撮影中の画像をどのようなモードでプレビューするかを切り替えることができる。
【００７７】
図２２に、本実施形態における画像処理装置の外観構成の一例を示す。外観の背面図を示す（ｂ）において２２０１のモード切り換えボタンが追加されている点が、実施形態１の外観構成を示す図２と異なる。モード切り換えボタン２２０１は、画面に表示するプレビュー方法を切り替えるボタンである。本画像処理装置の利用者は、撮影中にモード切り換えボタン２２０１を押すことによって、構図再現モードと、立体感再現モードとを切り替えることができる。図２３に両モードでのプレビュー表示部１０４の表示例を示し、（ａ）が構図再現モードの表示例、（ｂ）が立体感再現モードの表示例である。構図再現モードでは視環境の立体感は再現されないが視環境と同じ構図の画像が表示され、立体感再現モードでは視環境の構図を再現することはできないが視環境と等しい立体感を再現することができる。
【００７８】
次に、本画像処理装置の一連の動作を、フローチャート図２４を参照して説明する。
【００７９】
図２４は、実施形態１の画像処理装置のフローチャート図４に対し、ステップＳ２４０１、ステップＳ２４０２、ステップＳ２４０３、ステップＳ２４０４の４処理を追加したものである。その他の処理は、実施形態１で説明した動作を行うため説明を省略し、以下では、本実施形態で追加した４つの処理の動作を説明する。
【００８０】
ステップＳ２４０１は、構図再現モード又は立体感再現モードのどちらのモードでプレビューを行うかを表す変数として、表示モードの値及び視差の値の２つ変数を初期化するステップである。本実施形態では、表示モードの初期値として立体感再現モードを示す値を与える。また、視差θの初期値として、多視点画像撮像装置のピント距離をＬp、人間の左右の目の間の距離の平均的な値をＢａ（＝６．５ｃｍ）として下記式で求められる値とする。
【００８１】
【００８２】
ステップＳ２４０２は、利用者が操作部２１０１を通して選択したモードを取得し、表示モードを更新するステップである。
【００８３】
ステップＳ２４０３は、表示モードが構図再現モードか、立体感再現モードかを判断するステップである。そして、表示モードが構図再現モードの場合、ステップＳ２４０４へ遷移する。一方、表示モードが立体感再現モードの場合、ステップＳ４０２へ遷移する。
【００８４】
ステップＳ２４０４は、構図再現モードにおいて、プレビュー画面に表示を行う立体画像を合成するステップである。詳細は後述する。
【００８５】
以上で、実施形態１の画像処理装置の動作と異なる４つの処理について説明を行った。なお、図２４の処理において、立体感再現モードのＳ４０２で視差を更新した後に、表示モードを切り替えた場合には、構図再現モードにおいてもその更新された視差を用いて構図が再現されることになる。
【００８６】
続いて、ステップＳ２４０４の構図再現モードプレビュー画像合成処理の詳細を説明する。図２５に構図再現モードプレビュー画像合成処理のフローチャート図を示す。
【００８７】
まず、ステップＳ７０２では、多視点画像取得部から撮像装置情報として、多視点画像撮像装置の各撮像部の配置及びピント距離を取得する。尚、本処理は実施形態１と同様である。
【００８８】
ステップＳ２５０１は、ステップＳ２４０１で与えた視差、または、ステップＳ４０２で更新した視差θを持つ２枚の視点画像を示す画像データを右目用画像、左目用画像として多視点画像取得部３０１から取得する。ステップＳ７０２で取得する撮像装置のピント距離をＬpとすると、下記式で計算される距離Ｂだけ離れた位置に配置された撮像部で撮影された２枚の視点画像を取得する。
【００８９】
【００９０】
実施形態１のプレビュー画像合成処理と同様、撮像部間の距離がＢとなる撮像部が必ずしも存在するとは限らない。その場合は、撮像部間の距離がＢに最も近い２つの撮像部で撮影された画像を用いてもよいし、中間視点画像生成の技術を用いて距離Ｂだけ離れた仮想視点での画像を生成して使用してもよい。
【００９１】
続いて、ステップＳ７０４では、ステップＳ２５０１で取得した視点画像から、プレビュー表示部１０４で立体表示ができるよう画像の合成を行う。処理内容は実施形態１と同様であるため説明は省略する。
【００９２】
以上で説明したように、本実施形態では立体感再現モードと構図再現モードの２種類のモードを用意し、本画像処理装置の利用者はモードを切り替えて利用することで視環境における構図と立体感の両方を撮影中にプレビュー画面で確認及び調整が可能となる。
【００９３】
＜その他の実施形態＞
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
少なくとも２つの異なる視点から撮像された複数の画像データを取得する画像データ取得手段と、
第１の画面の環境条件と、前記第１の画面とは別の画面である第２の画面の環境条件とを含むパラメータを取得するパラメータ取得手段と、
前記取得したパラメータに基づいて前記第１の画面で表示される立体感が前記第２の画面で表示される立体感と一致するように前記取得した画像データを合成して多視点画像を生成する画像合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記パラメータ取得手段は、前記環境条件として、画面の大きさ及び視距離を示すパラメータを取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成手段は、
前記第１の画面で表示される立体感が前記第２の画面で表示される立体感と一致する視差を算出する手段と、
前記算出した視差を構成する前記複数の画像データを前記画像データ取得手段から取得する手段と、
を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記算出される視差θ’は、次式
【数１】
で算出され、ここでＬは第２の画面の視距離を示し、θは第２の画面における視差を示し、ｌ’は、次式
【数２】
で算出され、ここでＤは第２の画面の画面サイズを示し、ｌは第１の画面の視距離を示し、ｄは第１の画面の画面サイズを示す
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の画面と前記第２の画面との立体感が一致する画像を合成するか、または、前記第１の画面と前記第２の画面との構図が一致する画像を合成するかをユーザの指示に基づいて選択する選択手段をさらに備えることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記画像合成手段は、前記複数の画像データを用いて中間視点画像データを生成する手段と、
前記取得した複数の画像データまたは前記生成した中間視点画像データの中から選択した画像データを用いて前記多視点画像を生成することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記画像処理装置は、
前記第１の画面及び前記第２の画面の少なくとも１つの視距離を測定する視距離測定手段をさらに備え、
前記パラメータ取得手段は、前記測定された視距離をパラメータとして取得すること請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
少なくとも２つの異なる視点から撮像された複数の画像データを取得する画像データ取得ステップと、
第１の画面の環境条件と、前記第１の画面とは別の画面である第２の画面の環境条件とを含むパラメータを取得するパラメータ取得ステップと、
前記取得したパラメータに基づいて前記第１の画面で表示される立体感が前記第２の画面で表示される立体感と一致するように前記取得した画像データを合成して多視点画像を生成する画像合成ステップと
を備えることを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１から７のいずれかに記載の各手段として機能させるためのプログラム。
【請求項１】
少なくとも２つの異なる視点から撮像された複数の画像データを取得する画像データ取得手段と、
第１の画面の環境条件と、前記第１の画面とは別の画面である第２の画面の環境条件とを含むパラメータを取得するパラメータ取得手段と、
前記取得したパラメータに基づいて前記第１の画面で表示される立体感が前記第２の画面で表示される立体感と一致するように前記取得した画像データを合成して多視点画像を生成する画像合成手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記パラメータ取得手段は、前記環境条件として、画面の大きさ及び視距離を示すパラメータを取得することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像合成手段は、
前記第１の画面で表示される立体感が前記第２の画面で表示される立体感と一致する視差を算出する手段と、
前記算出した視差を構成する前記複数の画像データを前記画像データ取得手段から取得する手段と、
を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記算出される視差θ’は、次式
【数１】
で算出され、ここでＬは第２の画面の視距離を示し、θは第２の画面における視差を示し、ｌ’は、次式
【数２】
で算出され、ここでＤは第２の画面の画面サイズを示し、ｌは第１の画面の視距離を示し、ｄは第１の画面の画面サイズを示す
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記第１の画面と前記第２の画面との立体感が一致する画像を合成するか、または、前記第１の画面と前記第２の画面との構図が一致する画像を合成するかをユーザの指示に基づいて選択する選択手段をさらに備えることを特徴とする請求項１から４のいずれかに記載の画像処理装置。
【請求項６】
前記画像合成手段は、前記複数の画像データを用いて中間視点画像データを生成する手段と、
前記取得した複数の画像データまたは前記生成した中間視点画像データの中から選択した画像データを用いて前記多視点画像を生成することを特徴とする請求項１から５のいずれかに記載の画像処理装置。
【請求項７】
前記画像処理装置は、
前記第１の画面及び前記第２の画面の少なくとも１つの視距離を測定する視距離測定手段をさらに備え、
前記パラメータ取得手段は、前記測定された視距離をパラメータとして取得すること請求項１から６のいずれかに記載の画像処理装置。
【請求項８】
少なくとも２つの異なる視点から撮像された複数の画像データを取得する画像データ取得ステップと、
第１の画面の環境条件と、前記第１の画面とは別の画面である第２の画面の環境条件とを含むパラメータを取得するパラメータ取得ステップと、
前記取得したパラメータに基づいて前記第１の画面で表示される立体感が前記第２の画面で表示される立体感と一致するように前記取得した画像データを合成して多視点画像を生成する画像合成ステップと
を備えることを特徴とする画像処理方法。
【請求項９】
コンピュータを、請求項１から７のいずれかに記載の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２０】
【公開番号】特開２０１３−８１１３３（Ｐ２０１３−８１１３３Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２１０２０（Ｐ２０１１−２２１０２０）
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月５日（２０１１．１０．５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]