画像生成装置及び表示制御装置及びそれらの制御方法、及び撮像装置
【課題】様々な大きさの表示装置において、同等の立体感を知覚可能な汎用的なステレオ画像を生成する。
【解決手段】両眼視差を有する左眼用及び右眼用の画像からなるステレオ画像を取得し、取得されたステレオ画像に含まれる被写体について、左眼用及び右眼用の画像間における視差量を検出する。そしてステレオ画像を表示する、複数の表示領域の物理的な大きさのそれぞれについて予め定められた補正パラメータを用いて当該視差量を補正し、当該複数の表示領域の物理的な大きさのそれぞれに対応する複数の補正ステレオ画像を生成する。さらに、生成された複数の補正ステレオ画像のそれぞれに、当該補正ステレオ画像の生成に用いた補正パラメータに対応する表示領域の物理的な大きさの情報、及び同一のステレオ画像から生成されたことを示す情報を含めて記録する。
【解決手段】両眼視差を有する左眼用及び右眼用の画像からなるステレオ画像を取得し、取得されたステレオ画像に含まれる被写体について、左眼用及び右眼用の画像間における視差量を検出する。そしてステレオ画像を表示する、複数の表示領域の物理的な大きさのそれぞれについて予め定められた補正パラメータを用いて当該視差量を補正し、当該複数の表示領域の物理的な大きさのそれぞれに対応する複数の補正ステレオ画像を生成する。さらに、生成された複数の補正ステレオ画像のそれぞれに、当該補正ステレオ画像の生成に用いた補正パラメータに対応する表示領域の物理的な大きさの情報、及び同一のステレオ画像から生成されたことを示す情報を含めて記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、両眼視差を有する両眼立体視用の画像の視差量を補正する技術に関する。
【背景技術】
【０００２】
テレビ受像機等の表示装置の中には、ユーザに対して立体視が可能な画像を提示可能なものがある。また近年ではデジタルカメラ等の撮像装置の中にも、左眼用及び右眼用の２種類の画像（ステレオ画像）を撮影可能なものがあり、ユーザは撮影したステレオ画像を家庭用のテレビ受像機やデジタルフォトフレーム等の表示装置に表示させて閲覧することができる。例えば特許文献１には、２種類の光学系を有し、左眼用及び右眼用の画像をそれぞれ独立して撮像可能な撮像装置が開示されている。
【０００３】
なお、ステレオ画像の閲覧において、ユーザが知覚する奥行き方向の立体感は表示装置の表示領域の物理的な大きさによって変化する。具体的には、表示領域の大きさに応じて推奨閲覧距離が変化するため、ユーザの両眼が閲覧時になす輻輳角が変化するからである。例えば、携帯電話等に使用される小型ＬＣＤを閲覧時の当該小型ＬＣＤの表示画面とユーザの眼球との距離は、家庭用のテレビ受像機を閲覧時の距離よりも短くなることが想定されるため、輻輳角がより大きい、所謂寄り目の状態に近づくことになる。
【０００４】
即ち、様々な大きさの表示装置において、同様の立体感を知覚する効果を得るためには、表示装置ごとにステレオ画像間の「ずれ」である水平視差量（以下、視差量）を異ならせる必要がある。例えば特許文献２には、入力されたステレオ画像と同様の立体感がユーザに知覚されるよう、表示装置の表示領域の大きさに応じて視差量を変化させる立体画像補正装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０１−２０２９８５号公報
【特許文献２】特開２０１０−０４５５８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２の立体画像補正装置は、ステレオ画像を表示させる対象の表示装置が決定した上でステレオ画像の視差量を補正するものであるので、ステレオ画像に意図的な視差量を設定してあったとしても表示装置で勝手に変更してしまうことになる。
【０００７】
また、視差量を適応的に補正する仕組みを持たない表示装置では、当然この様な補正自体が出来ない。つまり、表示領域の大きさが異なる様々な表示装置に汎用的に表示可能なステレオ画像を記録するものはこれまでなかった。また特許文献２の立体画像補正装置を備える表示装置では、入力されたステレオ画像を表示する際にステレオ画像の視差量を補正する処理が必要となるため、表示装置の処理リソースを圧迫する可能性がある。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、様々な大きさの表示装置において、同等の立体感を知覚可能な汎用的なステレオ画像を生成することを目的とする。
【課題を解決するための手段】
【０００９】
前述の目的を達成するために、本発明の画像生成装置は、以下の構成を備える。
両眼視差を有する左眼用及び右眼用の画像からなるステレオ画像について、視差量を補正した補正ステレオ画像を生成する画像生成装置であって、ステレオ画像を取得する取得手段と、取得手段により取得されたステレオ画像に含まれる被写体について、左眼用及び右眼用の画像間における視差量を検出する検出手段と、検出手段により検出されたステレオ画像に含まれる被写体の視差量を、ステレオ画像を表示する表示領域の大きさがそれぞれ異なる場合に対応させた複数の補正パラメータを用いて補正し、複数の補正ステレオ画像を生成する補正手段と、補正手段により生成された複数の補正ステレオ画像とともに、当該補正ステレオ画像の生成に用いた補正パラメータに対応する表示領域の大きさの情報を記録する記録手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
このような構成により本発明によれば、様々な大きさの表示装置において、同等の立体感を知覚可能な汎用的なステレオ画像を生成することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１に係るＰＣの機能構成を示した図
【図２】両眼立体視の原理を説明するための図
【図３】本発明の実施形態に係る視差量の補正パラメータと表示領域のインチ数との関係を示した図
【図４】本発明の実施形態に係る視差量の補正例を示した図
【図５】本発明の実施形態１に係る補正ステレオ画像のデータ構造を示した図
【図６】本発明の実施形態１に係る視差量補正処理のフローチャート
【図７】本発明の実施形態１に係る液晶モニタの機能構成を示した図
【図８】本発明の実施形態１に係る表示制御処理のフローチャート
【図９】本発明の実施形態２に係るデジタルカメラの機能構成を示した図
【図１０】本発明の実施形態２に係るステレオ撮影処理のフローチャート
【図１１】本発明の実施形態２に係る補正ステレオ画像のデータ構造を示した図
【発明を実施するための形態】
【００１２】
（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像生成装置の一例としての、１組のステレオ画像について視差量を変更した複数組のステレオ画像を生成可能なＰＣに、本発明を適用した例を説明する。しかし、本発明は、１組のステレオ画像に対して、視差量の異なる複数組のステレオ画像を生成することが可能な任意の機器に適用可能である。
【００１３】
（ＰＣの構成）
図１は、本発明の実施形態に係るＰＣ１００の機能構成を示すブロック図である。
【００１４】
制御部１０１は、例えばＣＰＵであり、ＰＣ１００が備える各ブロックの動作を制御する。制御部１０１は、例えばＲＯＭ１０２に記憶されている、後述する視差量補正処理のプログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、ＰＣ１００が備える各ブロックの動作を制御する。
【００１５】
ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、視差量補正処理のプログラムに加え、例えばＰＣ１００が備える各ブロックの動作において必要となるパラメータ等の情報を格納する。また本実施形態では、ＲＯＭ１０２は、表示装置の大きさに対応したステレオ画像の視差量を補正するための補正パラメータを記憶するものとする。
【００１６】
ＲＡＭ１０３は、揮発性メモリであり、視差量補正処理のプログラムの展開領域としてだけでなく、例えばＰＣ１００が備える各ブロックの動作において出力された中間データ等の格納領域としても用いられる。また本実施形態では、ＲＡＭ１０３には、後述する画像入力部１０４よりＰＣ１００に入力された、視差量の補正対象のステレオ画像（左眼用及び右眼用の２枚の画像）が格納されるものとする。
【００１７】
なお、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は当該各ブロックと同様の処理を行うプログラムで実現されてもよい。
【００１８】
画像入力部１０４は、ＰＣ１００が備える画像入力を受け付けるためのインタフェースであり、本実施形態では視差量の補正対象のステレオ画像の入力を受け付ける。画像入力部１０４は、入力されたステレオ画像をＲＡＭ１０３に出力し、格納させる。なお、本実施形態では入力されたステレオ画像はＲＡＭ１０３に格納されるものとして説明するが、本発明の実施はこれに限らず、例えば記録媒体１０７に記録されてもよい。また視差量の補正対象のステレオ画像の取得は、画像入力部１０４を介した入力に限らず、例えば記録媒体１０７から記録されているステレオ画像を読み出してもよい。
【００１９】
また本実施形態では、１組のステレオ画像について、視差量を補正する対象とするものとして説明するが、補正対象は連続したステレオ画像のフレームで形成される映像データであってもよいことは、容易に理解されよう。この場合、ＰＣ１００は、フレームごとにステレオ画像の視差量を補正する視差量補正処理を行えばよい。
【００２０】
視差検出部１０５は、入力されたステレオ画像について、画像に含まれる被写体のそれぞれについて視差量を検出する。ここで、本実施形態で補正するステレオ画像の視差量について、図を用いて説明する。
【００２１】
（視差量の定義）
図２は、ステレオ画像によりユーザに画像の奥行き情報を知覚させる原理を説明するための図である。図はステレオ画像が提示される、表示装置の表示面２０１とユーザ２０２の左眼２０３及び右眼２０４の位置関係と、ステレオ画像の閲覧による立体オブジェクト２０５、２０６、及び２０７の知覚位置の関係を示している。
【００２２】
図のようにユーザ２０２が表示面２０１の中央に視線方向を向ける場合、視野の中心、即ち当該表示面２０１の中央に存在する立体オブジェクト２０６にユーザの注視点が存在することになる。このとき当該立体オブジェクト２０６に向かう左眼２０３及び右眼２０４それぞれの視線方向のベクトルがなす角が輻輳角であり、当該輻輳角によりユーザは立体オブジェクト２０６までの奥行き方向の距離を知覚することができる。
【００２３】
また視野の中心である立体オブジェクト２０６については、左眼２０３及び右眼２０４のそれぞれで視線方向の違いによる見え方の違いはあるものの、それぞれの眼でとらえられる画像の中央に存在しており、位置のずれはない。ユーザは、視野の中心に位置し、左眼及び右眼の網膜に結像される像のうち位置ずれ（水平視差）を有さないオブジェクトについて輻輳角から知覚された距離を基準として、位置ずれが存在するオブジェクトとの距離を知覚する。
【００２４】
例えば立体オブジェクト２０６よりも遠離する側に存在する立体オブジェクト２０５が左眼用及び右眼用の画像のそれぞれにおいて描画される位置は、当該オブジェクトと左眼２０３及び右眼２０４のそれぞれを結ぶ直線と表示面２０１の交点２０５Ｌ及びＲとなる。また立体オブジェクト２０６よりも近接する側に存在する立体オブジェクト２０７が左眼用及び右眼用の画像のそれぞれにおいて描画される位置は、同様に２０７Ｌ及びＲとなる。即ち、ユーザ２０２は、立体オブジェクト２０５及び立体オブジェクト２０７それぞれの奥行き情報を、像の位置ずれ量である２０５Ｌと２０５Ｒとの距離、及び２０７Ｌと２０７Ｒとの距離で知覚することになる。なお、基準となるオブジェクトと比較して水平視差を有するオブジェクトが遠離しているか否かは、当該オブジェクトを注視しようとした場合に左右の視線方向が寄るか否か、即ち輻輳角が大きくなる方向に移動するか否かにより知覚される。
【００２５】
なお、表示装置の表示領域の画素数や画素ピッチは多様である。このため、人間が知覚する、水平方向の像の位置ずれである水平視差量は、左眼用と右眼用の画像間でのオブジェクトの位置ずれピクセル数をｄ[px]、画素ピッチをｐ[inch/px]、推奨閲覧距離をＤ[inch]、視野角をθＦＯＶ[rad]とすると、
【００２６】
【数１】
で表される。
【００２７】
本実施形態では、説明を簡単にするために、物理的に異なる大きさを有する表示装置の表示領域の画素数は同一であるものとする。またさらに、表示装置の物理的な大きさに比例して画素ピッチが大きくなり、表示領域が同一の大きさに見えるように推奨閲覧距離が設定される場合、画素ピッチｐを推奨閲覧距離Ｄで除した値は定数となる。即ち、数１のうち位置ずれピクセル数ｄ以外の項は定数として考えることができる。このため、本実施形態では、注視点が存在する面、即ちステレオ画像提示面においての左眼用と右眼用の画像間でのオブジェクトの位置ずれピクセル数を「視差量」として定義して以下に述べるものとする。
【００２８】
また視差補正部１０６は、入力されたステレオ画像について、当該ステレオ画像を表示する表示装置の表示領域の物理的な大きさに適した視差量となるように、補正パラメータを用いて視差検出部１０５で検出された視差量を補正し、補正ステレオ画像を生成する。視差量の補正パラメータは、例えば図３のような表示領域の物理的な大きさ（インチ数）、表示領域の画素数（解像度）に応じて予め設定されたパラメータであり、例えばＲＯＭ１０２あるいは後述する記録媒体１０７に格納されているものとする。本実施形態では表示領域の画素数が同一である表示装置について説明するため、視差量の補正パラメータは表示領域のインチ数ごとに異なる視差量に乗じる係数であるものとして以下に説明する。
【００２９】
なお、表示領域のインチ数が小さいほど推奨閲覧距離が短くなるため、補正前のステレオ画像と同等の奥行き方向の引き込み量あるいは飛び出し量（立体感）を表現するために必要な補正後のステレオ画像における視差量は増加することになる。即ち、視差量の補正パラメータである係数は、表示領域のインチ数が小さいほど大きくなる傾向をしめすものとする。例えば、入力されたステレオ画像が図４（ａ）のような左眼用画像と図４（ｂ）のような右眼用画像である場合、表示領域のインチ数が小さい表示装置に表示する用の補正ステレオ画像は、図４（ｃ）及び（ｄ）のように、補正によって視差量が増加する。
【００３０】
また、視差量の補正パラメータは固定値ではなく、奥行き方向の位置関係により異なるものであってもよい。即ち、飛び出しているオブジェクトについてはより飛び出すように、引き込まれているオブジェクトについてはより引き込まれるように視差量を補正するパラメータ関数であってもよい。なお、奥行き方向の位置関係の情報は、例えば両眼カメラにより撮像されたステレオ画像については、注視点である視野中心までの距離である焦点距離の情報と、視差検出部１０５により検出された視差量とから、画像内の被写体ごとに算出することができる。
【００３１】
また本実施形態では上述したように、視差量の補正パラメータは、視差量について乗じる係数であるものとして説明するが、本発明の実施はこれに限らなくてもよい。即ち、本発明は表示装置ごとに適した奥行き方向の位置関係がユーザに知覚されるように視差量を補正したステレオ画像が生成可能であればよく、視差補正部１０６では補正パラメータを用いない処理であってもよい。
【００３２】
例えば、表示領域の画素数及び画素ピッチ、及び推奨閲覧距離によって表現可能な奥行き方向の分解能及び範囲が異なるため、入力されたステレオ画像の引き込み方向及び飛び出し方向の位置関係のそれぞれを、表現可能な範囲にマッピングさせてもよい。即ち、入力されたステレオ画像に含まれる被写体のうち、ユーザから最も遠離する位置に知覚されるオブジェクトが表現可能な最大の引き込み量を有し、最も近接する位置に知覚されるオブジェクトが表現可能な最大の飛び出し量を有するように補正してもよい。なお、視野中心に存在する視差のないオブジェクトに、視差を持たせるような補正を行わない場合は、引き込み方向と飛び出し方向へのオブジェクトの位置関係のマッピングはそれぞれ個別に行われる。
【００３３】
また入力されたステレオ画像を撮像した両眼カメラの焦点距離を推奨閲覧距離とする表示領域インチ数を特定し、当該インチ数を有する表示領域にステレオ画像が表示された場合に、本来の（網膜上の）視差を再現するように補正を行ってもよい。
【００３４】
視差補正部１０６では、このように複数の表示装置についての、視差量を補正した補正ステレオ画像を生成し、当該ステレオ画像群を出力する。出力された補正ステレオ画像群は、同一のステレオ画像から生成されたステレオ画像であることを示す情報により関連付けされ、後述する記録媒体１０７に記録される。なお、視差補正部１０６により生成された、複数の補正ステレオ画像は、それぞれの表示に適している表示領域のインチ数及び画素数の情報が含められているものとする。
【００３５】
記録媒体１０７は、例えばメモリカードやＨＤＤ等の着脱可能な記録装置であり、画像入力部１０４により受信されたステレオ画像、あるいは視差補正部１０６により生成された複数の表示装置のそれぞれに対応した補正ステレオ画像が記録される。ステレオ画像のデータ構造は、例えばカメラ映像工業会規格により策定された、マルチピクチャフォーマット（ＭＰＦ）に準拠した構造であればよい。
【００３６】
なお、視差補正部１０６により生成された、複数の表示装置のそれぞれに対応した補正ステレオ画像は、例えばヘッダ情報に関連付けの情報等を含んだ、図５（ａ）のような表示装置ごとにそれぞれ異なるファイルであってもよい。あるいは関連付けの情報は別ファイルとして記録されてもよい。また、例えば図５（ｂ）のように複数の表示装置に対応した補正ステレオ画像が、１つの画像ファイル内に含められたデータ構造を有していてもよい。
【００３７】
（視差量補正処理）
このような構成をもつ本実施形態のＰＣ１００の視差量補正処理について、図６のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本視差量補正処理は、例えば不図示の両眼カメラがＰＣ１００に接続され、ステレオ画像の転送が始まった際に開始されるものとして説明する。また、本実施形態では当該処理により、３種類の表示装置に対応した補正ステレオ画像を生成するものとする。
【００３８】
Ｓ６０１で、制御部１０１は画像入力部１０４を介して両眼カメラより受信したステレオ画像（入力ステレオ画像）をＲＡＭ１０３に格納させた後、視差検出部１０５において当該ステレオ画像内に含まれる被写体ごとの視差量を検出させる。
【００３９】
Ｓ６０２で、制御部１０１は、ＲＡＭ１０３に格納されている入力ステレオ画像を読み出して視差補正部１０６に伝送するとともに、ＲＯＭ１０２より第１の表示装置についての視差量の補正パラメータを読み出して視差補正部１０６に伝送する。視差補正部１０６は、入力された第１の表示装置についての視差量の補正パラメータを用いて入力ステレオ画像の視差量を補正し、第１の表示装置に適した補正ステレオ画像を出力する。
【００４０】
Ｓ６０３で、制御部１０１は、視差補正部１０６より出力された第１の表示装置に適した補正ステレオ画像を、第１の表示装置の情報（表示領域のインチ数及び画素数）をヘッダ情報に含めて記録媒体１０７に記録させる。
【００４１】
このようなＳ６０２及びＳ６０３の処理を、Ｓ６０４及びＳ６０５、Ｓ６０６及びＳ６０７において第２の表示装置及び第３の表示装置について実行し、制御部１０１は処理をＳ６０８に移す。
【００４２】
Ｓ６０８で、制御部１０１は、Ｓ６０３、Ｓ６０５、及びＳ６０７で記録媒体１０７に記録した３種類の補正ステレオ画像に対し、入力ステレオ画像から生成されたことを示す情報を関連情報としてヘッダに付与する。なお、入力ステレオ画像から生成されたことを示す情報は、本視差量補正処理において生成された複数の補正ステレオ画像が同一のコンテンツについて生成されたものであることが判別できる情報であればよく、入力ステレオ画像を特定可能でなくてよい。
【００４３】
このように本視差量補正処理により、複数の大きさの表示装置のそれぞれにおいて、同等の立体感を知覚可能な補正ステレオ画像を生成することができる。また当該複数の補正ステレオ画像を同一のコンテンツについて生成されたものであることを示す情報を含めるため、表示装置が有する表示制御装置において当該表示装置に適した視差量を有するステレオ画像を選択して表示することができる。
【００４４】
（補正ステレオ画像の表示）
ここで、上述の視差量補正処理により生成された、複数の表示装置に対応した補正ステレオ画像を表示する場合に、表示装置側で行われる処理について以下に説明する。
【００４５】
（液晶モニタの構成）
図７は、本実施形態の表示装置の一例としての液晶モニタ７００の機能構成を示したブロック図である。なお、本実施形態では液晶モニタ７００は、左眼用の画像と右眼用の画像を交互に切り替えて表示し、当該切り替えに同期して対応する眼の液晶シャッタの開閉を行う液晶シャッタグラスをユーザが装着して閲覧することにより、立体視を可能とする方式を用いる。しかしながら、本発明の実施は入力された両眼視差方式のステレオ画像を、ユーザが立体視可能な状態で提示する表示装置であれば、例えば円偏光グラスをユーザに装着させる方式等、どのような画像提示方式を用いてもよいことは容易に理解されよう。
【００４６】
表示制御部７０１は、例えばＣＰＵであり、液晶モニタ７００の表示部７０５に表示する画像の表示制御を行うブロックである。表示制御部７０１は、例えばモニタＲＯＭ７０２に記憶されている表示制御処理のプログラムを読み出してモニタＲＡＭ７０３に展開して実行することにより、液晶モニタ７００が備える各ブロックの動作を制御する。
【００４７】
モニタＲＯＭ７０２は不揮発性メモリであり、表示制御処理のプログラムに加え、液晶モニタ７００の表示領域である表示部７０５のインチ数、アスペクト比、及びリフレッシュレート等、表示制御処理に必要な液晶モニタ７００のパラメータを記憶している。なお、当該パラメータはＥＤＩＤとして記憶されていてもよい。モニタＲＡＭ７０３は揮発性メモリであり、表示制御処理のプログラムの展開領域としてだけでなく、液晶モニタ７００が備える各ブロックの動作において出力された中間データ等が記憶される記憶領域としても用いられる。
【００４８】
表示画像入力部７０４は、液晶モニタ７００が備える画像入力を受け付けるためのインタフェースであり、本実施形態では視差量の補正対象のステレオ画像の入力を受け付ける。表示画像入力部７０４は、入力されたステレオ画像をモニタＲＡＭ７０３に出力し、格納させる。表示部７０５は、液晶パネルを有するステレオ画像の表示領域であり、本実施形態では左眼用と右眼用の画像が交互に表示される。
【００４９】
（表示制御処理）
このような構成をもつ本実施形態の液晶モニタ７００の表示制御処理について、図８のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、表示制御部７０１が、例えばモニタＲＯＭ７０２に記憶されている対応する処理プログラムを読み出し、モニタＲＡＭ７０３に展開して実行することにより実現することができる。なお、本視差量補正処理は、例えば上述した視差量補正処理で生成された同一のコンテンツに係る複数の補正ステレオ画像がＰＣ１００から入力された際に開始されるものとして説明する。また本実施形態では、入力される補正ステレオ画像群は、同一のコンテンツについて３種類の表示装置に対応するように生成された補正ステレオ画像で構成されるものとする。そして、当該補正ステレオ画像のそれぞれは、表示領域のインチ数が３０、５０、及び１００インチに対応しているものとする。
【００５０】
Ｓ８０１で、表示制御部７０１は、表示画像入力部７０４を介して入力された、それぞれ異なる表示装置に対応している複数の補正ステレオ画像のヘッダ情報を確認し、それぞれの補正ステレオ画像が対応している表示領域の大きさの情報を取得する。
【００５１】
Ｓ８０２で、表示制御部７０１は、Ｓ８０１で取得した入力された複数の補正ステレオ画像に、液晶モニタ７００の表示領域の大きさについて生成された補正ステレオ画像が存在するか否かを判断する。具体的には表示制御部７０１は、モニタＲＯＭ７０２に格納されている液晶モニタ７００の表示領域のインチ数の情報を取得し、当該インチ数について生成された補正ステレオ画像が、入力された複数の補正ステレオ画像に含まれているか否かを判断する。表示制御部７０１は、入力された複数の補正ステレオ画像に液晶モニタ７００の表示領域の大きさについて生成された補正ステレオ画像が存在すると判断した場合は処理をＳ８０３に移し、存在しないと判断した場合は処理をＳ８０４に移す。
【００５２】
Ｓ８０３で、表示制御部７０１は、入力された複数の補正ステレオ画像のうち、液晶モニタ７００の表示領域のインチ数について生成された補正ステレオ画像を、表示対象のステレオ画像として選択する。
【００５３】
Ｓ８０４で、表示制御部７０１は、入力された複数の補正ステレオ画像のうち、液晶モニタ７００の表示領域のインチ数に最も近いインチ数について生成された補正ステレオ画像を、表示対象のステレオ画像として選択する。即ち、本ステップにおいて表示制御部７０１は、液晶モニタ７００の表示領域について適切に視差量が補正されたステレオ画像と、画像内のオブジェクトの視差量が最も近いと思われる補正ステレオ画像を表示対象として選択する。例えば、液晶モニタ７００の表示領域のインチ数が６０インチである場合、入力された３種類の補正ステレオ画像には６０インチに対応しているものが存在しない。このため、表示制御部７０１は、最もインチ数が近い、５０インチに対応して視差量が補正された補正ステレオ画像を表示対象として選択する。
【００５４】
Ｓ８０５で、表示制御部７０１は、表示対象として選択されたステレオ画像に含まれる、左眼用及び右眼用の画像をモニタＲＡＭ７０３に展開し、表示部７０５のリフレッシュレートに合わせて、当該画像を交互に表示部７０５に伝送して表示させる。
【００５５】
このようにすることで、表示装置側の処理としてはステレオ画像の補正処理を行うことなく、当該表示装置に対応しているステレオ画像を容易に選択して表示することができる。即ち、様々な表示領域の大きさに対応可能なステレオ画像を含めて出力することができるため、表示装置側では表示領域の大きさに合わせて提示する画像を選択することで、適切に補正されたステレオ画像を提示することができる。
【００５６】
なお、上述した実施形態では表示装置の表示領域全体の大きさを基準として、表示対象のステレオ画像を選択するものとして説明したが、本発明の実施はこれに限らず、ステレオ画像を表示する領域の大きさに応じて選択が行われてもよい。即ち、ステレオ画像が表示領域の全体ではなく、表示領域のうちの一部の領域である場合は、当該一部の領域の大きさに応じて表示対象のステレオ画像を選択すればよい。例えば表示装置の表示領域の大きさは５０インチであるがステレオ画像を表示する一部の領域が３０インチに相当する場合は、複数の補正ステレオ画像のうち、３０インチに相当する補正ステレオ画像が表示対象として選択されるものとする。
【００５７】
（まとめ）
以上説明したように、本実施形態の画像生成装置は、様々な大きさの表示装置において、同等の立体感を知覚可能な汎用的なステレオ画像を生成することができる。具体的には画像生成装置は、両眼視差を有する左眼用及び右眼用の画像からなるステレオ画像を取得し、取得されたステレオ画像に含まれる被写体について、左眼用及び右眼用の画像間における視差量を検出する。そしてステレオ画像を表示する、複数の表示領域の物理的な大きさのそれぞれについて予め定められた補正パラメータを用いて当該視差量を補正し、当該複数の表示領域の物理的な大きさのそれぞれに対応する複数の補正ステレオ画像を生成する。さらに、生成された複数の補正ステレオ画像のそれぞれに、当該補正ステレオ画像の生成に用いた補正パラメータに対応する表示領域の物理的な大きさの情報、及び同一のステレオ画像から生成されたことを示す情報を含めて記録する。
【００５８】
このようにすることで、表示装置におけるステレオ画像の視差量の補正処理を実行させることなく、視差量が適切に補正されたステレオ画像を容易に選択して表示することを可能とすることができる。
【００５９】
なお、本実施形態では、表示装置の表示領域の大きさに応じてステレオ画像の視差量を補正するものとして説明したが、本発明の実施はこれに限らない。例えば、表示装置が異なることによりステレオ画像の奥行き方向の位置関係の知覚に影響を与えうる、左眼用及び右眼用の画像の表示切替時のクロストーク、リフレッシュレート、あるいは画像転送スピード等の要素に応じて、視差量の補正を行ってもよい。
【００６０】
（実施形態２）
上述した実施形態では、既にステレオ画像として生成された画像データから、視差量を補正した複数の補正ステレオ画像を生成して記録するものとして説明した。本実施形態では、画像データの生成時に複数の表示領域の大きさに対応したステレオ画像を生成して記録可能な撮像装置について説明する。即ち、本実施形態の撮像装置は、１回の撮影により、複数の表示装置に対応可能なステレオ画像を生成することができる。
【００６１】
（デジタルカメラの構成）
ここで、本実施形態に係る撮像装置の一例としてのデジタルカメラ９００について、図９を参照して以下に説明する。なお図９は、デジタルカメラ９００の機能構成を示したブロック図である。
【００６２】
カメラ制御部９０１は、例えばＣＰＵであり、デジタルカメラ９００が備える各ブロックの動作を制御する。カメラ制御部９０１は、例えばカメラＲＯＭ９０２に記憶されている、後述するステレオ撮影処理のプログラムを読み出し、カメラＲＡＭ９０３に展開して実行することにより、デジタルカメラ９００が備える各ブロックの動作を制御する。
【００６３】
カメラＲＯＭ９０２は、例えば書き換え可能な不揮発性メモリであり、ステレオ撮影処理のプログラムだけでなく、デジタルカメラ９００が備える各ブロックの動作に必要なパラメータ等の情報を記憶する記憶領域である。本実施形態では、カメラＲＯＭ９０２には、上述した実施形態１のＲＯＭ１０２に記憶された、表示装置の大きさに対応したステレオ画像の視差量の補正パラメータが記憶される。
【００６４】
カメラＲＡＭ９０３は、揮発性メモリであり、ステレオ撮影処理のプログラムの展開領域としてだけでなく、デジタルカメラ９００が備える各ブロックの動作において出力された中間データ等が一時的に格納される格納領域としても用いられる。
【００６５】
撮像部９０５ａ及びｂは、それぞれ左眼用及び右眼用に対応した例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、画像入力部１０４ａ及びｂにより撮像素子上に結像された光学像を光電変換し、アナログ画像信号を取得する。また撮像部９０５ａ及びｂは、得られたアナログ画像信号に対してＡ／Ｄ変換処理を適用することにより、撮像した画像に対応するデジタル画像データを生成して出力する。
【００６６】
測距部９０６は、例えば水平方向に並べられた一対のＣＣＤラインセンサを備えるブロックであり、各ラインセンサのアナログ画像信号出力を用いて、三角測距の原理に基づいて被写体像を分割した複数の領域において被写体までの距離情報を算出する。そしてレンズ駆動部９０７は、測距部９０６より得られた被写体までの距離情報に基づき、被写体に合焦するように撮像光学系９０４に含まれる合焦レンズの位置を駆動させる。
【００６７】
画像処理部９０８は、撮像部９０５ａ及びｂから出力された左眼用及び右眼用の画像データに対して、補正処理や符号化処理等、所定の画像処理を適用するブロックである。また画像処理部９０８は、入力された左眼用及び右眼用の画像データについて、実施形態１における視差検出部１０５及び視差補正部１０６で行われる、視差量の検出及び補正処理を実行するブロックとしても機能する。
【００６８】
カメラ表示部９０９は、例えば小型ＬＣＤ等のデジタルカメラ９００が備える表示装置であり、撮影されたステレオ画像、あるいは左眼用及び右眼用のいずれかの画像が表示される。なお、本実施形態では、カメラ表示部９０９は両眼視差を有するステレオ画像を立体視可能に表示する表示装置であるものとする。そして、後述するステレオ撮影処理において生成されるステレオ画像データには、少なくとも当該カメラ表示部９０９の表示領域に適した視差量となるように補正された画素数の少ないステレオ画像が、サムネイル画像として含まれている。
【００６９】
カメラ記録媒体Ｉ／Ｆ９１０は、ステレオ撮影処理において生成された、複数の表示装置に対応するステレオ画像のデータをカメラ記録媒体９１１に記録する、あるいはカメラ記録媒体９１１に記録されている画像データを読み出すためのインタフェースである。カメラ記録媒体９１１は、例えばメモリカードやＨＤＤ等のデジタルカメラ９００に着脱可能に接続される記録装置であり、カメラ記録媒体９１１によりデータの読み出し及び書き込みが行われる。
【００７０】
外部出力部９１２は、例えばＵＳＢやライン出力等の、外部の表示装置あるいは記録装置にデジタルカメラ９００を接続するためのインタフェースである。例えば、本実施形態のステレオ撮影処理において生成されたステレオ画像は、外部出力部９１２を介して外部の表示装置に出力されて表示されてもよい。
【００７１】
（ステレオ撮影処理）
このような構成をもつ本実施形態のデジタルカメラ９００のステレオ撮影処理について、図１０のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、カメラ制御部９０１が、例えばカメラＲＯＭ９０２に記憶されている対応する処理プログラムを読み出し、カメラＲＡＭ９０３に展開して実行することにより実現することができる。なお、本ステレオ撮影処理は、例えば撮像光学系９０４が被写体に合焦した後、不図示のレリーズボタンをユーザが操作することによって入力された本撮影の指示をカメラ制御部９０１が検出した場合に開始されるものとして説明する。
【００７２】
Ｓ１００１で、カメラ制御部９０１は、本撮影により撮影された左眼用及び右眼用の画像を撮像部９０５ａ及びｂより取得し、カメラＲＡＭ９０３に格納する。具体的にはカメラ制御部９０１は、本撮影の指示を受けて撮像部９０５ａ及びｂに記録用の画像の撮影を指示し、左眼用及び右眼用の画像をそれぞれ取得する。なお、このときステレオ画像において視差量が０となる基準面までのデジタルカメラ９００からの距離は、ステレオ画像を撮影時の合焦点までの距離となる。
【００７３】
Ｓ１００２で、カメラ制御部９０１は、ステレオ画像を撮影時の画角に応じて、予め定められた表示領域のインチ数のそれぞれにおける視差量の補正パラメータを調整する。例えばデジタルカメラ９００より遠く離れた位置に存在する被写体は、ユーザが撮影位置から見た場合、両眼視差はほとんど存在しない。しかしながら、ステレオ画像が望遠側で撮影された場合、当該被写体についての視差量は大きくなるため、本実施形態ではステレオ画像における両眼視差を、ユーザが実際に撮影位置から被写体を見た場合と同等になるように補正パラメータを調整する。即ち、このように調整された補正パラメータは、表示領域が小さいインチ数である場合であっても、視差量を小さくする係数となることもある。
【００７４】
なお、例えば望遠で撮影されたステレオ画像の閲覧において、遠方の被写体に近づいて閲覧している効果をユーザに与えたい場合は、本ステップにおける視差量の補正パラメータの調整を行わなくてもよい。
【００７５】
Ｓ１００３で、カメラ制御部９０１は、調整後の補正パラメータを用いて視差量補正処理を画像処理部９０８に実行させる。なお、本ステップにおいて実行される視差量補正処理は、実施形態１と同様の処理を行うものであるので、説明を省略する。
【００７６】
ただし、本実施形態のステレオ撮影処理では、補正ステレオ画像を記録する際にサムネイル画像としてのステレオ画像も含め、図１１に示すようなデータ構造で記録するものとする。なお、サムネイル画像としてのステレオ画像は、表示領域が小さいインチ数である表示装置における閲覧、あるいは表示領域のうちの一部の小規模領域における閲覧を想定しているため、相対的に視差量を大きくする補正がなされたステレオ画像となる。
【００７７】
このようにすることで、撮像装置でステレオ画像を撮影した際に、複数の表示装置に対応するステレオ画像を生成して記録することができる。このため、当該記録された補正ステレオ画像を再生する際は、表示制御装置ごとに適切に調整された補正ステレオ画像を選択して再生することができる。
【００７８】
なお、本実施形態では、両眼カメラを有する撮像装置でステレオ画像が撮影されるものとして説明したが、本発明の実施はこれに限らず、例えば１種類の画像からステレオ画像を生成した後に視差量補正処理を行うものであってもよい。
【００７９】
また、複数のステレオ画像で構成される画像ファイルから表示対象のステレオ画像を取得する方法は、例えば放送波や通信等により画像ファイルの全体を取得してから、取得した表示領域の情報に基づいて選択してもよい。また、例えばＨＤＤやＤＶＤ等の記録媒体に記録されている画像ファイルから、表示対象のステレオ画像のみを取得する構成であってもよい。
【００８０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、両眼視差を有する両眼立体視用の画像の視差量を補正する技術に関する。
【背景技術】
【０００２】
テレビ受像機等の表示装置の中には、ユーザに対して立体視が可能な画像を提示可能なものがある。また近年ではデジタルカメラ等の撮像装置の中にも、左眼用及び右眼用の２種類の画像（ステレオ画像）を撮影可能なものがあり、ユーザは撮影したステレオ画像を家庭用のテレビ受像機やデジタルフォトフレーム等の表示装置に表示させて閲覧することができる。例えば特許文献１には、２種類の光学系を有し、左眼用及び右眼用の画像をそれぞれ独立して撮像可能な撮像装置が開示されている。
【０００３】
なお、ステレオ画像の閲覧において、ユーザが知覚する奥行き方向の立体感は表示装置の表示領域の物理的な大きさによって変化する。具体的には、表示領域の大きさに応じて推奨閲覧距離が変化するため、ユーザの両眼が閲覧時になす輻輳角が変化するからである。例えば、携帯電話等に使用される小型ＬＣＤを閲覧時の当該小型ＬＣＤの表示画面とユーザの眼球との距離は、家庭用のテレビ受像機を閲覧時の距離よりも短くなることが想定されるため、輻輳角がより大きい、所謂寄り目の状態に近づくことになる。
【０００４】
即ち、様々な大きさの表示装置において、同様の立体感を知覚する効果を得るためには、表示装置ごとにステレオ画像間の「ずれ」である水平視差量（以下、視差量）を異ならせる必要がある。例えば特許文献２には、入力されたステレオ画像と同様の立体感がユーザに知覚されるよう、表示装置の表示領域の大きさに応じて視差量を変化させる立体画像補正装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平０１−２０２９８５号公報
【特許文献２】特開２０１０−０４５５８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献２の立体画像補正装置は、ステレオ画像を表示させる対象の表示装置が決定した上でステレオ画像の視差量を補正するものであるので、ステレオ画像に意図的な視差量を設定してあったとしても表示装置で勝手に変更してしまうことになる。
【０００７】
また、視差量を適応的に補正する仕組みを持たない表示装置では、当然この様な補正自体が出来ない。つまり、表示領域の大きさが異なる様々な表示装置に汎用的に表示可能なステレオ画像を記録するものはこれまでなかった。また特許文献２の立体画像補正装置を備える表示装置では、入力されたステレオ画像を表示する際にステレオ画像の視差量を補正する処理が必要となるため、表示装置の処理リソースを圧迫する可能性がある。
【０００８】
本発明は、上述の問題点に鑑みてなされたものであり、様々な大きさの表示装置において、同等の立体感を知覚可能な汎用的なステレオ画像を生成することを目的とする。
【課題を解決するための手段】
【０００９】
前述の目的を達成するために、本発明の画像生成装置は、以下の構成を備える。
両眼視差を有する左眼用及び右眼用の画像からなるステレオ画像について、視差量を補正した補正ステレオ画像を生成する画像生成装置であって、ステレオ画像を取得する取得手段と、取得手段により取得されたステレオ画像に含まれる被写体について、左眼用及び右眼用の画像間における視差量を検出する検出手段と、検出手段により検出されたステレオ画像に含まれる被写体の視差量を、ステレオ画像を表示する表示領域の大きさがそれぞれ異なる場合に対応させた複数の補正パラメータを用いて補正し、複数の補正ステレオ画像を生成する補正手段と、補正手段により生成された複数の補正ステレオ画像とともに、当該補正ステレオ画像の生成に用いた補正パラメータに対応する表示領域の大きさの情報を記録する記録手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
このような構成により本発明によれば、様々な大きさの表示装置において、同等の立体感を知覚可能な汎用的なステレオ画像を生成することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態１に係るＰＣの機能構成を示した図
【図２】両眼立体視の原理を説明するための図
【図３】本発明の実施形態に係る視差量の補正パラメータと表示領域のインチ数との関係を示した図
【図４】本発明の実施形態に係る視差量の補正例を示した図
【図５】本発明の実施形態１に係る補正ステレオ画像のデータ構造を示した図
【図６】本発明の実施形態１に係る視差量補正処理のフローチャート
【図７】本発明の実施形態１に係る液晶モニタの機能構成を示した図
【図８】本発明の実施形態１に係る表示制御処理のフローチャート
【図９】本発明の実施形態２に係るデジタルカメラの機能構成を示した図
【図１０】本発明の実施形態２に係るステレオ撮影処理のフローチャート
【図１１】本発明の実施形態２に係る補正ステレオ画像のデータ構造を示した図
【発明を実施するための形態】
【００１２】
（実施形態１）
以下、本発明の好適な一実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、画像生成装置の一例としての、１組のステレオ画像について視差量を変更した複数組のステレオ画像を生成可能なＰＣに、本発明を適用した例を説明する。しかし、本発明は、１組のステレオ画像に対して、視差量の異なる複数組のステレオ画像を生成することが可能な任意の機器に適用可能である。
【００１３】
（ＰＣの構成）
図１は、本発明の実施形態に係るＰＣ１００の機能構成を示すブロック図である。
【００１４】
制御部１０１は、例えばＣＰＵであり、ＰＣ１００が備える各ブロックの動作を制御する。制御部１０１は、例えばＲＯＭ１０２に記憶されている、後述する視差量補正処理のプログラムを読み出し、ＲＡＭ１０３に展開して実行することにより、ＰＣ１００が備える各ブロックの動作を制御する。
【００１５】
ＲＯＭ１０２は、書き換え可能な不揮発性メモリであり、視差量補正処理のプログラムに加え、例えばＰＣ１００が備える各ブロックの動作において必要となるパラメータ等の情報を格納する。また本実施形態では、ＲＯＭ１０２は、表示装置の大きさに対応したステレオ画像の視差量を補正するための補正パラメータを記憶するものとする。
【００１６】
ＲＡＭ１０３は、揮発性メモリであり、視差量補正処理のプログラムの展開領域としてだけでなく、例えばＰＣ１００が備える各ブロックの動作において出力された中間データ等の格納領域としても用いられる。また本実施形態では、ＲＡＭ１０３には、後述する画像入力部１０４よりＰＣ１００に入力された、視差量の補正対象のステレオ画像（左眼用及び右眼用の２枚の画像）が格納されるものとする。
【００１７】
なお、本実施形態ではハードウェアとしてデジタルカメラ１００が備える各ブロックにおいて処理が実現されるものとして説明するが、本発明の実施はこれに限らず、各ブロックの処理は当該各ブロックと同様の処理を行うプログラムで実現されてもよい。
【００１８】
画像入力部１０４は、ＰＣ１００が備える画像入力を受け付けるためのインタフェースであり、本実施形態では視差量の補正対象のステレオ画像の入力を受け付ける。画像入力部１０４は、入力されたステレオ画像をＲＡＭ１０３に出力し、格納させる。なお、本実施形態では入力されたステレオ画像はＲＡＭ１０３に格納されるものとして説明するが、本発明の実施はこれに限らず、例えば記録媒体１０７に記録されてもよい。また視差量の補正対象のステレオ画像の取得は、画像入力部１０４を介した入力に限らず、例えば記録媒体１０７から記録されているステレオ画像を読み出してもよい。
【００１９】
また本実施形態では、１組のステレオ画像について、視差量を補正する対象とするものとして説明するが、補正対象は連続したステレオ画像のフレームで形成される映像データであってもよいことは、容易に理解されよう。この場合、ＰＣ１００は、フレームごとにステレオ画像の視差量を補正する視差量補正処理を行えばよい。
【００２０】
視差検出部１０５は、入力されたステレオ画像について、画像に含まれる被写体のそれぞれについて視差量を検出する。ここで、本実施形態で補正するステレオ画像の視差量について、図を用いて説明する。
【００２１】
（視差量の定義）
図２は、ステレオ画像によりユーザに画像の奥行き情報を知覚させる原理を説明するための図である。図はステレオ画像が提示される、表示装置の表示面２０１とユーザ２０２の左眼２０３及び右眼２０４の位置関係と、ステレオ画像の閲覧による立体オブジェクト２０５、２０６、及び２０７の知覚位置の関係を示している。
【００２２】
図のようにユーザ２０２が表示面２０１の中央に視線方向を向ける場合、視野の中心、即ち当該表示面２０１の中央に存在する立体オブジェクト２０６にユーザの注視点が存在することになる。このとき当該立体オブジェクト２０６に向かう左眼２０３及び右眼２０４それぞれの視線方向のベクトルがなす角が輻輳角であり、当該輻輳角によりユーザは立体オブジェクト２０６までの奥行き方向の距離を知覚することができる。
【００２３】
また視野の中心である立体オブジェクト２０６については、左眼２０３及び右眼２０４のそれぞれで視線方向の違いによる見え方の違いはあるものの、それぞれの眼でとらえられる画像の中央に存在しており、位置のずれはない。ユーザは、視野の中心に位置し、左眼及び右眼の網膜に結像される像のうち位置ずれ（水平視差）を有さないオブジェクトについて輻輳角から知覚された距離を基準として、位置ずれが存在するオブジェクトとの距離を知覚する。
【００２４】
例えば立体オブジェクト２０６よりも遠離する側に存在する立体オブジェクト２０５が左眼用及び右眼用の画像のそれぞれにおいて描画される位置は、当該オブジェクトと左眼２０３及び右眼２０４のそれぞれを結ぶ直線と表示面２０１の交点２０５Ｌ及びＲとなる。また立体オブジェクト２０６よりも近接する側に存在する立体オブジェクト２０７が左眼用及び右眼用の画像のそれぞれにおいて描画される位置は、同様に２０７Ｌ及びＲとなる。即ち、ユーザ２０２は、立体オブジェクト２０５及び立体オブジェクト２０７それぞれの奥行き情報を、像の位置ずれ量である２０５Ｌと２０５Ｒとの距離、及び２０７Ｌと２０７Ｒとの距離で知覚することになる。なお、基準となるオブジェクトと比較して水平視差を有するオブジェクトが遠離しているか否かは、当該オブジェクトを注視しようとした場合に左右の視線方向が寄るか否か、即ち輻輳角が大きくなる方向に移動するか否かにより知覚される。
【００２５】
なお、表示装置の表示領域の画素数や画素ピッチは多様である。このため、人間が知覚する、水平方向の像の位置ずれである水平視差量は、左眼用と右眼用の画像間でのオブジェクトの位置ずれピクセル数をｄ[px]、画素ピッチをｐ[inch/px]、推奨閲覧距離をＤ[inch]、視野角をθＦＯＶ[rad]とすると、
【００２６】
【数１】
で表される。
【００２７】
本実施形態では、説明を簡単にするために、物理的に異なる大きさを有する表示装置の表示領域の画素数は同一であるものとする。またさらに、表示装置の物理的な大きさに比例して画素ピッチが大きくなり、表示領域が同一の大きさに見えるように推奨閲覧距離が設定される場合、画素ピッチｐを推奨閲覧距離Ｄで除した値は定数となる。即ち、数１のうち位置ずれピクセル数ｄ以外の項は定数として考えることができる。このため、本実施形態では、注視点が存在する面、即ちステレオ画像提示面においての左眼用と右眼用の画像間でのオブジェクトの位置ずれピクセル数を「視差量」として定義して以下に述べるものとする。
【００２８】
また視差補正部１０６は、入力されたステレオ画像について、当該ステレオ画像を表示する表示装置の表示領域の物理的な大きさに適した視差量となるように、補正パラメータを用いて視差検出部１０５で検出された視差量を補正し、補正ステレオ画像を生成する。視差量の補正パラメータは、例えば図３のような表示領域の物理的な大きさ（インチ数）、表示領域の画素数（解像度）に応じて予め設定されたパラメータであり、例えばＲＯＭ１０２あるいは後述する記録媒体１０７に格納されているものとする。本実施形態では表示領域の画素数が同一である表示装置について説明するため、視差量の補正パラメータは表示領域のインチ数ごとに異なる視差量に乗じる係数であるものとして以下に説明する。
【００２９】
なお、表示領域のインチ数が小さいほど推奨閲覧距離が短くなるため、補正前のステレオ画像と同等の奥行き方向の引き込み量あるいは飛び出し量（立体感）を表現するために必要な補正後のステレオ画像における視差量は増加することになる。即ち、視差量の補正パラメータである係数は、表示領域のインチ数が小さいほど大きくなる傾向をしめすものとする。例えば、入力されたステレオ画像が図４（ａ）のような左眼用画像と図４（ｂ）のような右眼用画像である場合、表示領域のインチ数が小さい表示装置に表示する用の補正ステレオ画像は、図４（ｃ）及び（ｄ）のように、補正によって視差量が増加する。
【００３０】
また、視差量の補正パラメータは固定値ではなく、奥行き方向の位置関係により異なるものであってもよい。即ち、飛び出しているオブジェクトについてはより飛び出すように、引き込まれているオブジェクトについてはより引き込まれるように視差量を補正するパラメータ関数であってもよい。なお、奥行き方向の位置関係の情報は、例えば両眼カメラにより撮像されたステレオ画像については、注視点である視野中心までの距離である焦点距離の情報と、視差検出部１０５により検出された視差量とから、画像内の被写体ごとに算出することができる。
【００３１】
また本実施形態では上述したように、視差量の補正パラメータは、視差量について乗じる係数であるものとして説明するが、本発明の実施はこれに限らなくてもよい。即ち、本発明は表示装置ごとに適した奥行き方向の位置関係がユーザに知覚されるように視差量を補正したステレオ画像が生成可能であればよく、視差補正部１０６では補正パラメータを用いない処理であってもよい。
【００３２】
例えば、表示領域の画素数及び画素ピッチ、及び推奨閲覧距離によって表現可能な奥行き方向の分解能及び範囲が異なるため、入力されたステレオ画像の引き込み方向及び飛び出し方向の位置関係のそれぞれを、表現可能な範囲にマッピングさせてもよい。即ち、入力されたステレオ画像に含まれる被写体のうち、ユーザから最も遠離する位置に知覚されるオブジェクトが表現可能な最大の引き込み量を有し、最も近接する位置に知覚されるオブジェクトが表現可能な最大の飛び出し量を有するように補正してもよい。なお、視野中心に存在する視差のないオブジェクトに、視差を持たせるような補正を行わない場合は、引き込み方向と飛び出し方向へのオブジェクトの位置関係のマッピングはそれぞれ個別に行われる。
【００３３】
また入力されたステレオ画像を撮像した両眼カメラの焦点距離を推奨閲覧距離とする表示領域インチ数を特定し、当該インチ数を有する表示領域にステレオ画像が表示された場合に、本来の（網膜上の）視差を再現するように補正を行ってもよい。
【００３４】
視差補正部１０６では、このように複数の表示装置についての、視差量を補正した補正ステレオ画像を生成し、当該ステレオ画像群を出力する。出力された補正ステレオ画像群は、同一のステレオ画像から生成されたステレオ画像であることを示す情報により関連付けされ、後述する記録媒体１０７に記録される。なお、視差補正部１０６により生成された、複数の補正ステレオ画像は、それぞれの表示に適している表示領域のインチ数及び画素数の情報が含められているものとする。
【００３５】
記録媒体１０７は、例えばメモリカードやＨＤＤ等の着脱可能な記録装置であり、画像入力部１０４により受信されたステレオ画像、あるいは視差補正部１０６により生成された複数の表示装置のそれぞれに対応した補正ステレオ画像が記録される。ステレオ画像のデータ構造は、例えばカメラ映像工業会規格により策定された、マルチピクチャフォーマット（ＭＰＦ）に準拠した構造であればよい。
【００３６】
なお、視差補正部１０６により生成された、複数の表示装置のそれぞれに対応した補正ステレオ画像は、例えばヘッダ情報に関連付けの情報等を含んだ、図５（ａ）のような表示装置ごとにそれぞれ異なるファイルであってもよい。あるいは関連付けの情報は別ファイルとして記録されてもよい。また、例えば図５（ｂ）のように複数の表示装置に対応した補正ステレオ画像が、１つの画像ファイル内に含められたデータ構造を有していてもよい。
【００３７】
（視差量補正処理）
このような構成をもつ本実施形態のＰＣ１００の視差量補正処理について、図６のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、制御部１０１が、例えばＲＯＭ１０２に記憶されている対応する処理プログラムを読み出し、ＲＡＭ１０３に展開して実行することにより実現することができる。なお、本視差量補正処理は、例えば不図示の両眼カメラがＰＣ１００に接続され、ステレオ画像の転送が始まった際に開始されるものとして説明する。また、本実施形態では当該処理により、３種類の表示装置に対応した補正ステレオ画像を生成するものとする。
【００３８】
Ｓ６０１で、制御部１０１は画像入力部１０４を介して両眼カメラより受信したステレオ画像（入力ステレオ画像）をＲＡＭ１０３に格納させた後、視差検出部１０５において当該ステレオ画像内に含まれる被写体ごとの視差量を検出させる。
【００３９】
Ｓ６０２で、制御部１０１は、ＲＡＭ１０３に格納されている入力ステレオ画像を読み出して視差補正部１０６に伝送するとともに、ＲＯＭ１０２より第１の表示装置についての視差量の補正パラメータを読み出して視差補正部１０６に伝送する。視差補正部１０６は、入力された第１の表示装置についての視差量の補正パラメータを用いて入力ステレオ画像の視差量を補正し、第１の表示装置に適した補正ステレオ画像を出力する。
【００４０】
Ｓ６０３で、制御部１０１は、視差補正部１０６より出力された第１の表示装置に適した補正ステレオ画像を、第１の表示装置の情報（表示領域のインチ数及び画素数）をヘッダ情報に含めて記録媒体１０７に記録させる。
【００４１】
このようなＳ６０２及びＳ６０３の処理を、Ｓ６０４及びＳ６０５、Ｓ６０６及びＳ６０７において第２の表示装置及び第３の表示装置について実行し、制御部１０１は処理をＳ６０８に移す。
【００４２】
Ｓ６０８で、制御部１０１は、Ｓ６０３、Ｓ６０５、及びＳ６０７で記録媒体１０７に記録した３種類の補正ステレオ画像に対し、入力ステレオ画像から生成されたことを示す情報を関連情報としてヘッダに付与する。なお、入力ステレオ画像から生成されたことを示す情報は、本視差量補正処理において生成された複数の補正ステレオ画像が同一のコンテンツについて生成されたものであることが判別できる情報であればよく、入力ステレオ画像を特定可能でなくてよい。
【００４３】
このように本視差量補正処理により、複数の大きさの表示装置のそれぞれにおいて、同等の立体感を知覚可能な補正ステレオ画像を生成することができる。また当該複数の補正ステレオ画像を同一のコンテンツについて生成されたものであることを示す情報を含めるため、表示装置が有する表示制御装置において当該表示装置に適した視差量を有するステレオ画像を選択して表示することができる。
【００４４】
（補正ステレオ画像の表示）
ここで、上述の視差量補正処理により生成された、複数の表示装置に対応した補正ステレオ画像を表示する場合に、表示装置側で行われる処理について以下に説明する。
【００４５】
（液晶モニタの構成）
図７は、本実施形態の表示装置の一例としての液晶モニタ７００の機能構成を示したブロック図である。なお、本実施形態では液晶モニタ７００は、左眼用の画像と右眼用の画像を交互に切り替えて表示し、当該切り替えに同期して対応する眼の液晶シャッタの開閉を行う液晶シャッタグラスをユーザが装着して閲覧することにより、立体視を可能とする方式を用いる。しかしながら、本発明の実施は入力された両眼視差方式のステレオ画像を、ユーザが立体視可能な状態で提示する表示装置であれば、例えば円偏光グラスをユーザに装着させる方式等、どのような画像提示方式を用いてもよいことは容易に理解されよう。
【００４６】
表示制御部７０１は、例えばＣＰＵであり、液晶モニタ７００の表示部７０５に表示する画像の表示制御を行うブロックである。表示制御部７０１は、例えばモニタＲＯＭ７０２に記憶されている表示制御処理のプログラムを読み出してモニタＲＡＭ７０３に展開して実行することにより、液晶モニタ７００が備える各ブロックの動作を制御する。
【００４７】
モニタＲＯＭ７０２は不揮発性メモリであり、表示制御処理のプログラムに加え、液晶モニタ７００の表示領域である表示部７０５のインチ数、アスペクト比、及びリフレッシュレート等、表示制御処理に必要な液晶モニタ７００のパラメータを記憶している。なお、当該パラメータはＥＤＩＤとして記憶されていてもよい。モニタＲＡＭ７０３は揮発性メモリであり、表示制御処理のプログラムの展開領域としてだけでなく、液晶モニタ７００が備える各ブロックの動作において出力された中間データ等が記憶される記憶領域としても用いられる。
【００４８】
表示画像入力部７０４は、液晶モニタ７００が備える画像入力を受け付けるためのインタフェースであり、本実施形態では視差量の補正対象のステレオ画像の入力を受け付ける。表示画像入力部７０４は、入力されたステレオ画像をモニタＲＡＭ７０３に出力し、格納させる。表示部７０５は、液晶パネルを有するステレオ画像の表示領域であり、本実施形態では左眼用と右眼用の画像が交互に表示される。
【００４９】
（表示制御処理）
このような構成をもつ本実施形態の液晶モニタ７００の表示制御処理について、図８のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、表示制御部７０１が、例えばモニタＲＯＭ７０２に記憶されている対応する処理プログラムを読み出し、モニタＲＡＭ７０３に展開して実行することにより実現することができる。なお、本視差量補正処理は、例えば上述した視差量補正処理で生成された同一のコンテンツに係る複数の補正ステレオ画像がＰＣ１００から入力された際に開始されるものとして説明する。また本実施形態では、入力される補正ステレオ画像群は、同一のコンテンツについて３種類の表示装置に対応するように生成された補正ステレオ画像で構成されるものとする。そして、当該補正ステレオ画像のそれぞれは、表示領域のインチ数が３０、５０、及び１００インチに対応しているものとする。
【００５０】
Ｓ８０１で、表示制御部７０１は、表示画像入力部７０４を介して入力された、それぞれ異なる表示装置に対応している複数の補正ステレオ画像のヘッダ情報を確認し、それぞれの補正ステレオ画像が対応している表示領域の大きさの情報を取得する。
【００５１】
Ｓ８０２で、表示制御部７０１は、Ｓ８０１で取得した入力された複数の補正ステレオ画像に、液晶モニタ７００の表示領域の大きさについて生成された補正ステレオ画像が存在するか否かを判断する。具体的には表示制御部７０１は、モニタＲＯＭ７０２に格納されている液晶モニタ７００の表示領域のインチ数の情報を取得し、当該インチ数について生成された補正ステレオ画像が、入力された複数の補正ステレオ画像に含まれているか否かを判断する。表示制御部７０１は、入力された複数の補正ステレオ画像に液晶モニタ７００の表示領域の大きさについて生成された補正ステレオ画像が存在すると判断した場合は処理をＳ８０３に移し、存在しないと判断した場合は処理をＳ８０４に移す。
【００５２】
Ｓ８０３で、表示制御部７０１は、入力された複数の補正ステレオ画像のうち、液晶モニタ７００の表示領域のインチ数について生成された補正ステレオ画像を、表示対象のステレオ画像として選択する。
【００５３】
Ｓ８０４で、表示制御部７０１は、入力された複数の補正ステレオ画像のうち、液晶モニタ７００の表示領域のインチ数に最も近いインチ数について生成された補正ステレオ画像を、表示対象のステレオ画像として選択する。即ち、本ステップにおいて表示制御部７０１は、液晶モニタ７００の表示領域について適切に視差量が補正されたステレオ画像と、画像内のオブジェクトの視差量が最も近いと思われる補正ステレオ画像を表示対象として選択する。例えば、液晶モニタ７００の表示領域のインチ数が６０インチである場合、入力された３種類の補正ステレオ画像には６０インチに対応しているものが存在しない。このため、表示制御部７０１は、最もインチ数が近い、５０インチに対応して視差量が補正された補正ステレオ画像を表示対象として選択する。
【００５４】
Ｓ８０５で、表示制御部７０１は、表示対象として選択されたステレオ画像に含まれる、左眼用及び右眼用の画像をモニタＲＡＭ７０３に展開し、表示部７０５のリフレッシュレートに合わせて、当該画像を交互に表示部７０５に伝送して表示させる。
【００５５】
このようにすることで、表示装置側の処理としてはステレオ画像の補正処理を行うことなく、当該表示装置に対応しているステレオ画像を容易に選択して表示することができる。即ち、様々な表示領域の大きさに対応可能なステレオ画像を含めて出力することができるため、表示装置側では表示領域の大きさに合わせて提示する画像を選択することで、適切に補正されたステレオ画像を提示することができる。
【００５６】
なお、上述した実施形態では表示装置の表示領域全体の大きさを基準として、表示対象のステレオ画像を選択するものとして説明したが、本発明の実施はこれに限らず、ステレオ画像を表示する領域の大きさに応じて選択が行われてもよい。即ち、ステレオ画像が表示領域の全体ではなく、表示領域のうちの一部の領域である場合は、当該一部の領域の大きさに応じて表示対象のステレオ画像を選択すればよい。例えば表示装置の表示領域の大きさは５０インチであるがステレオ画像を表示する一部の領域が３０インチに相当する場合は、複数の補正ステレオ画像のうち、３０インチに相当する補正ステレオ画像が表示対象として選択されるものとする。
【００５７】
（まとめ）
以上説明したように、本実施形態の画像生成装置は、様々な大きさの表示装置において、同等の立体感を知覚可能な汎用的なステレオ画像を生成することができる。具体的には画像生成装置は、両眼視差を有する左眼用及び右眼用の画像からなるステレオ画像を取得し、取得されたステレオ画像に含まれる被写体について、左眼用及び右眼用の画像間における視差量を検出する。そしてステレオ画像を表示する、複数の表示領域の物理的な大きさのそれぞれについて予め定められた補正パラメータを用いて当該視差量を補正し、当該複数の表示領域の物理的な大きさのそれぞれに対応する複数の補正ステレオ画像を生成する。さらに、生成された複数の補正ステレオ画像のそれぞれに、当該補正ステレオ画像の生成に用いた補正パラメータに対応する表示領域の物理的な大きさの情報、及び同一のステレオ画像から生成されたことを示す情報を含めて記録する。
【００５８】
このようにすることで、表示装置におけるステレオ画像の視差量の補正処理を実行させることなく、視差量が適切に補正されたステレオ画像を容易に選択して表示することを可能とすることができる。
【００５９】
なお、本実施形態では、表示装置の表示領域の大きさに応じてステレオ画像の視差量を補正するものとして説明したが、本発明の実施はこれに限らない。例えば、表示装置が異なることによりステレオ画像の奥行き方向の位置関係の知覚に影響を与えうる、左眼用及び右眼用の画像の表示切替時のクロストーク、リフレッシュレート、あるいは画像転送スピード等の要素に応じて、視差量の補正を行ってもよい。
【００６０】
（実施形態２）
上述した実施形態では、既にステレオ画像として生成された画像データから、視差量を補正した複数の補正ステレオ画像を生成して記録するものとして説明した。本実施形態では、画像データの生成時に複数の表示領域の大きさに対応したステレオ画像を生成して記録可能な撮像装置について説明する。即ち、本実施形態の撮像装置は、１回の撮影により、複数の表示装置に対応可能なステレオ画像を生成することができる。
【００６１】
（デジタルカメラの構成）
ここで、本実施形態に係る撮像装置の一例としてのデジタルカメラ９００について、図９を参照して以下に説明する。なお図９は、デジタルカメラ９００の機能構成を示したブロック図である。
【００６２】
カメラ制御部９０１は、例えばＣＰＵであり、デジタルカメラ９００が備える各ブロックの動作を制御する。カメラ制御部９０１は、例えばカメラＲＯＭ９０２に記憶されている、後述するステレオ撮影処理のプログラムを読み出し、カメラＲＡＭ９０３に展開して実行することにより、デジタルカメラ９００が備える各ブロックの動作を制御する。
【００６３】
カメラＲＯＭ９０２は、例えば書き換え可能な不揮発性メモリであり、ステレオ撮影処理のプログラムだけでなく、デジタルカメラ９００が備える各ブロックの動作に必要なパラメータ等の情報を記憶する記憶領域である。本実施形態では、カメラＲＯＭ９０２には、上述した実施形態１のＲＯＭ１０２に記憶された、表示装置の大きさに対応したステレオ画像の視差量の補正パラメータが記憶される。
【００６４】
カメラＲＡＭ９０３は、揮発性メモリであり、ステレオ撮影処理のプログラムの展開領域としてだけでなく、デジタルカメラ９００が備える各ブロックの動作において出力された中間データ等が一時的に格納される格納領域としても用いられる。
【００６５】
撮像部９０５ａ及びｂは、それぞれ左眼用及び右眼用に対応した例えばＣＣＤやＣＭＯＳセンサ等の撮像素子であり、画像入力部１０４ａ及びｂにより撮像素子上に結像された光学像を光電変換し、アナログ画像信号を取得する。また撮像部９０５ａ及びｂは、得られたアナログ画像信号に対してＡ／Ｄ変換処理を適用することにより、撮像した画像に対応するデジタル画像データを生成して出力する。
【００６６】
測距部９０６は、例えば水平方向に並べられた一対のＣＣＤラインセンサを備えるブロックであり、各ラインセンサのアナログ画像信号出力を用いて、三角測距の原理に基づいて被写体像を分割した複数の領域において被写体までの距離情報を算出する。そしてレンズ駆動部９０７は、測距部９０６より得られた被写体までの距離情報に基づき、被写体に合焦するように撮像光学系９０４に含まれる合焦レンズの位置を駆動させる。
【００６７】
画像処理部９０８は、撮像部９０５ａ及びｂから出力された左眼用及び右眼用の画像データに対して、補正処理や符号化処理等、所定の画像処理を適用するブロックである。また画像処理部９０８は、入力された左眼用及び右眼用の画像データについて、実施形態１における視差検出部１０５及び視差補正部１０６で行われる、視差量の検出及び補正処理を実行するブロックとしても機能する。
【００６８】
カメラ表示部９０９は、例えば小型ＬＣＤ等のデジタルカメラ９００が備える表示装置であり、撮影されたステレオ画像、あるいは左眼用及び右眼用のいずれかの画像が表示される。なお、本実施形態では、カメラ表示部９０９は両眼視差を有するステレオ画像を立体視可能に表示する表示装置であるものとする。そして、後述するステレオ撮影処理において生成されるステレオ画像データには、少なくとも当該カメラ表示部９０９の表示領域に適した視差量となるように補正された画素数の少ないステレオ画像が、サムネイル画像として含まれている。
【００６９】
カメラ記録媒体Ｉ／Ｆ９１０は、ステレオ撮影処理において生成された、複数の表示装置に対応するステレオ画像のデータをカメラ記録媒体９１１に記録する、あるいはカメラ記録媒体９１１に記録されている画像データを読み出すためのインタフェースである。カメラ記録媒体９１１は、例えばメモリカードやＨＤＤ等のデジタルカメラ９００に着脱可能に接続される記録装置であり、カメラ記録媒体９１１によりデータの読み出し及び書き込みが行われる。
【００７０】
外部出力部９１２は、例えばＵＳＢやライン出力等の、外部の表示装置あるいは記録装置にデジタルカメラ９００を接続するためのインタフェースである。例えば、本実施形態のステレオ撮影処理において生成されたステレオ画像は、外部出力部９１２を介して外部の表示装置に出力されて表示されてもよい。
【００７１】
（ステレオ撮影処理）
このような構成をもつ本実施形態のデジタルカメラ９００のステレオ撮影処理について、図１０のフローチャートを用いて具体的な処理を説明する。当該フローチャートに対応する処理は、カメラ制御部９０１が、例えばカメラＲＯＭ９０２に記憶されている対応する処理プログラムを読み出し、カメラＲＡＭ９０３に展開して実行することにより実現することができる。なお、本ステレオ撮影処理は、例えば撮像光学系９０４が被写体に合焦した後、不図示のレリーズボタンをユーザが操作することによって入力された本撮影の指示をカメラ制御部９０１が検出した場合に開始されるものとして説明する。
【００７２】
Ｓ１００１で、カメラ制御部９０１は、本撮影により撮影された左眼用及び右眼用の画像を撮像部９０５ａ及びｂより取得し、カメラＲＡＭ９０３に格納する。具体的にはカメラ制御部９０１は、本撮影の指示を受けて撮像部９０５ａ及びｂに記録用の画像の撮影を指示し、左眼用及び右眼用の画像をそれぞれ取得する。なお、このときステレオ画像において視差量が０となる基準面までのデジタルカメラ９００からの距離は、ステレオ画像を撮影時の合焦点までの距離となる。
【００７３】
Ｓ１００２で、カメラ制御部９０１は、ステレオ画像を撮影時の画角に応じて、予め定められた表示領域のインチ数のそれぞれにおける視差量の補正パラメータを調整する。例えばデジタルカメラ９００より遠く離れた位置に存在する被写体は、ユーザが撮影位置から見た場合、両眼視差はほとんど存在しない。しかしながら、ステレオ画像が望遠側で撮影された場合、当該被写体についての視差量は大きくなるため、本実施形態ではステレオ画像における両眼視差を、ユーザが実際に撮影位置から被写体を見た場合と同等になるように補正パラメータを調整する。即ち、このように調整された補正パラメータは、表示領域が小さいインチ数である場合であっても、視差量を小さくする係数となることもある。
【００７４】
なお、例えば望遠で撮影されたステレオ画像の閲覧において、遠方の被写体に近づいて閲覧している効果をユーザに与えたい場合は、本ステップにおける視差量の補正パラメータの調整を行わなくてもよい。
【００７５】
Ｓ１００３で、カメラ制御部９０１は、調整後の補正パラメータを用いて視差量補正処理を画像処理部９０８に実行させる。なお、本ステップにおいて実行される視差量補正処理は、実施形態１と同様の処理を行うものであるので、説明を省略する。
【００７６】
ただし、本実施形態のステレオ撮影処理では、補正ステレオ画像を記録する際にサムネイル画像としてのステレオ画像も含め、図１１に示すようなデータ構造で記録するものとする。なお、サムネイル画像としてのステレオ画像は、表示領域が小さいインチ数である表示装置における閲覧、あるいは表示領域のうちの一部の小規模領域における閲覧を想定しているため、相対的に視差量を大きくする補正がなされたステレオ画像となる。
【００７７】
このようにすることで、撮像装置でステレオ画像を撮影した際に、複数の表示装置に対応するステレオ画像を生成して記録することができる。このため、当該記録された補正ステレオ画像を再生する際は、表示制御装置ごとに適切に調整された補正ステレオ画像を選択して再生することができる。
【００７８】
なお、本実施形態では、両眼カメラを有する撮像装置でステレオ画像が撮影されるものとして説明したが、本発明の実施はこれに限らず、例えば１種類の画像からステレオ画像を生成した後に視差量補正処理を行うものであってもよい。
【００７９】
また、複数のステレオ画像で構成される画像ファイルから表示対象のステレオ画像を取得する方法は、例えば放送波や通信等により画像ファイルの全体を取得してから、取得した表示領域の情報に基づいて選択してもよい。また、例えばＨＤＤやＤＶＤ等の記録媒体に記録されている画像ファイルから、表示対象のステレオ画像のみを取得する構成であってもよい。
【００８０】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
両眼視差を有する左眼用及び右眼用の画像からなるステレオ画像について、視差量を補正した補正ステレオ画像を生成する画像生成装置であって、
前記ステレオ画像を取得する取得手段と、
前記取得手段により取得された前記ステレオ画像に含まれる被写体について、左眼用及び右眼用の画像間における視差量を検出する検出手段と、
前記検出手段により検出された前記ステレオ画像に含まれる被写体の視差量を、前記ステレオ画像を表示する表示領域の大きさがそれぞれ異なる場合に対応させた複数の補正パラメータを用いて補正し、複数の補正ステレオ画像を生成する補正手段と、
前記補正手段により生成された前記複数の補正ステレオ画像とともに、当該補正ステレオ画像の生成に用いた補正パラメータに対応する表示領域の大きさの情報を記録する記録手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記補正手段は、前記表示領域の大きさが小さいほど、前記ステレオ画像に含まれる被写体の視差量が大きくなる補正を行うことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記記録手段は、前記複数の補正ステレオ画像を１つの画像ファイルとして記録することを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の画像生成装置を備えることを特徴とする撮像装置。
【請求項５】
ステレオ画像を再生して表示する表示制御装置であって、
ステレオ画像を表示する表示領域の大きさを取得する取得手段と、
複数のステレオ画像のうち、前記取得手段により取得された表示領域の大きさに対応するステレオ画像を、表示対象のステレオ画像として選択する選択手段と、
前記選択手段により選択された前記表示対象のステレオ画像を再生して前記表示領域に表示させる再生手段と、
を備えることを特徴とする表示制御装置。
【請求項６】
各々が異なる表示領域の大きさに対応する、複数のステレオ画像を入力する入力手段を有し、
前記選択手段は、前記入力手段で入力された複数のステレオ画像から、前記表示対象のステレオ画像を選択することを特徴とする請求項５に記載の表示制御装置。
【請求項７】
各々が異なる表示領域の大きさに対応する、複数のステレオ画像が記録された記録媒体から情報を読み出す読み出し手段を有し、
前記読み出し手段は、前記選択手段により選択された前記表示対象のステレオ画像を読み出すことを特徴とする請求項５に記載の表示制御装置。
【請求項８】
前記複数のステレオ画像は、１つの画像ファイルとして構成されていることを特徴とする請求項５乃至７のいずれか１項に記載の表示制御装置。
【請求項９】
両眼視差を有する左眼用及び右眼用の画像からなるステレオ画像について、視差量を補正した補正ステレオ画像を生成する画像生成装置の制御方法であって、
取得手段が、前記ステレオ画像を取得する取得工程と、
検出手段が、前記取得工程において取得された前記ステレオ画像に含まれる被写体について、左眼用及び右眼用の画像間における視差量を検出する検出工程と、
補正手段が、前記検出工程において検出された前記ステレオ画像に含まれる被写体の視差量を、前記ステレオ画像を表示する表示領域の大きさがそれぞれ異なる場合に対応させた複数の補正パラメータを用いて補正し、複数の補正ステレオ画像を生成する補正工程と、
記録手段が、前記補正工程において生成された前記複数の補正ステレオ画像とともに、当該補正ステレオ画像の生成に用いた補正パラメータに対応する表示領域の大きさの情報を記録する記録工程と、
を備えることを特徴とする画像生成装置の制御方法。
【請求項１０】
ステレオ画像を再生して表示する表示制御装置の制御方法であって、
取得手段が、ステレオ画像を表示する表示領域の大きさを取得する取得工程と、
選択手段が、補正ステレオ画像のうち、前記取得手段により取得された表示領域の大きさに対応するステレオ画像を、表示対象のステレオ画像として選択する選択工程と、
再生手段が、前記選択工程において選択された前記表示対象のステレオ画像を再生して前記表示領域に表示させる再生工程と、
を備えることを特徴とする表示制御装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至３のいずれか１項に記載の画像生成装置の各手段として機能させるためのプログラム。
【請求項１】
両眼視差を有する左眼用及び右眼用の画像からなるステレオ画像について、視差量を補正した補正ステレオ画像を生成する画像生成装置であって、
前記ステレオ画像を取得する取得手段と、
前記取得手段により取得された前記ステレオ画像に含まれる被写体について、左眼用及び右眼用の画像間における視差量を検出する検出手段と、
前記検出手段により検出された前記ステレオ画像に含まれる被写体の視差量を、前記ステレオ画像を表示する表示領域の大きさがそれぞれ異なる場合に対応させた複数の補正パラメータを用いて補正し、複数の補正ステレオ画像を生成する補正手段と、
前記補正手段により生成された前記複数の補正ステレオ画像とともに、当該補正ステレオ画像の生成に用いた補正パラメータに対応する表示領域の大きさの情報を記録する記録手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
前記補正手段は、前記表示領域の大きさが小さいほど、前記ステレオ画像に含まれる被写体の視差量が大きくなる補正を行うことを特徴とする請求項１に記載の画像生成装置。
【請求項３】
前記記録手段は、前記複数の補正ステレオ画像を１つの画像ファイルとして記録することを特徴とする請求項１または２に記載の画像生成装置。
【請求項４】
請求項１乃至３のいずれか１項に記載の画像生成装置を備えることを特徴とする撮像装置。
【請求項５】
ステレオ画像を再生して表示する表示制御装置であって、
ステレオ画像を表示する表示領域の大きさを取得する取得手段と、
複数のステレオ画像のうち、前記取得手段により取得された表示領域の大きさに対応するステレオ画像を、表示対象のステレオ画像として選択する選択手段と、
前記選択手段により選択された前記表示対象のステレオ画像を再生して前記表示領域に表示させる再生手段と、
を備えることを特徴とする表示制御装置。
【請求項６】
各々が異なる表示領域の大きさに対応する、複数のステレオ画像を入力する入力手段を有し、
前記選択手段は、前記入力手段で入力された複数のステレオ画像から、前記表示対象のステレオ画像を選択することを特徴とする請求項５に記載の表示制御装置。
【請求項７】
各々が異なる表示領域の大きさに対応する、複数のステレオ画像が記録された記録媒体から情報を読み出す読み出し手段を有し、
前記読み出し手段は、前記選択手段により選択された前記表示対象のステレオ画像を読み出すことを特徴とする請求項５に記載の表示制御装置。
【請求項８】
前記複数のステレオ画像は、１つの画像ファイルとして構成されていることを特徴とする請求項５乃至７のいずれか１項に記載の表示制御装置。
【請求項９】
両眼視差を有する左眼用及び右眼用の画像からなるステレオ画像について、視差量を補正した補正ステレオ画像を生成する画像生成装置の制御方法であって、
取得手段が、前記ステレオ画像を取得する取得工程と、
検出手段が、前記取得工程において取得された前記ステレオ画像に含まれる被写体について、左眼用及び右眼用の画像間における視差量を検出する検出工程と、
補正手段が、前記検出工程において検出された前記ステレオ画像に含まれる被写体の視差量を、前記ステレオ画像を表示する表示領域の大きさがそれぞれ異なる場合に対応させた複数の補正パラメータを用いて補正し、複数の補正ステレオ画像を生成する補正工程と、
記録手段が、前記補正工程において生成された前記複数の補正ステレオ画像とともに、当該補正ステレオ画像の生成に用いた補正パラメータに対応する表示領域の大きさの情報を記録する記録工程と、
を備えることを特徴とする画像生成装置の制御方法。
【請求項１０】
ステレオ画像を再生して表示する表示制御装置の制御方法であって、
取得手段が、ステレオ画像を表示する表示領域の大きさを取得する取得工程と、
選択手段が、補正ステレオ画像のうち、前記取得手段により取得された表示領域の大きさに対応するステレオ画像を、表示対象のステレオ画像として選択する選択工程と、
再生手段が、前記選択工程において選択された前記表示対象のステレオ画像を再生して前記表示領域に表示させる再生工程と、
を備えることを特徴とする表示制御装置の制御方法。
【請求項１１】
コンピュータを、請求項１乃至３のいずれか１項に記載の画像生成装置の各手段として機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−５０６１（Ｐ２０１３−５０６１Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３１６３５（Ｐ２０１１−１３１６３５）
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１３日（２０１１．６．１３）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]