３次元画像出力装置及び方法
【課題】前景や背景に生じる視差量をその視差量に応じて重み付け調整をする（強弱をつける）ことができ、特に立体表示プリント上でより好ましい立体感のある視差画像を表示可能にする。
【解決手段】複数の視点から同一被写体を撮影した複数の視点画像を取得し、各視点画像のそれぞれ対応する特徴点の座標値から各特徴点における視差量を取得する。この視差量に応じて重み付けが異なる視差量の調整を行う変換テーブル（印刷用テーブル）は、プリントサイズに関わらず、各視点画像から取得した視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように視差量の変換を行うように構成されている。
【解決手段】複数の視点から同一被写体を撮影した複数の視点画像を取得し、各視点画像のそれぞれ対応する特徴点の座標値から各特徴点における視差量を取得する。この視差量に応じて重み付けが異なる視差量の調整を行う変換テーブル（印刷用テーブル）は、プリントサイズに関わらず、各視点画像から取得した視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように視差量の変換を行うように構成されている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３次元画像出力装置及び方法に係り、特に３次元画像表示デバイスにより良好な３次元画像（立体画像）を表示させる技術に関する。
【背景技術】
【０００２】
従来、使用する立体表示デバイスに応じて立体画像を構成する視点画像の視点位置を自動的に調整し、観察時のクロストークを少なくして自然な立体画像として表示できるようにした立体画像生成方法が提案されている（特許文献１）。
【０００３】
この特許文献１に記載の立体画像生成方法は、立体表示デバイスに関するデバイス情報からその立体表示デバイスに対応した複数の視点を決定し、この決定した複数の視点と複数の第１の視点画像の視差に関する視差情報とから、前記第１の視点画像を前記複数の視点に対応する複数の第２の視差画像に変換するようにしている。
【０００４】
また、３次元映像を種々の立体表示デバイスに表示する際に、立体表示デバイスのサイズが大きい場合又は解像度が低くなる場合に、視差量が拡大されるため、立体視できなくなるという問題を解決するために、ある立体表示デバイスにおける立体映像の視差量が、その立体映像の最適な立体表示デバイスにおける視差量よりも大きくなる場合には、立体映像を縮小表示させることにより視差量を変更するようにした立体映像再生装置が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１１５１９８号公報
【特許文献２】特開２００５−７３０４９号公報
【特許文献３】特開２００３−２０９８５８号公報
【特許文献４】特開平１０−４０４２０号公報
【特許文献５】特開平８−３３１６０７号公報
【特許文献６】国際公開第２００４／０８２２９７号
【特許文献７】国際公開第２００４／０８４５６０号
【特許文献８】特開２００４−２２１７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の立体画像生成方法は、使用する立体表示デバイスのサイズ等の情報により仮想視点を決め、その仮想視点から恰も撮影されたような視差画像を生成するため、観察時のクロストークを少なくすることができ、立体画像として表示させることができるが、被写体の遠近に関係なく一律に視差画像を生成するため、元の複数の視点画像によっては立体感の乏しい立体画像になったり、立体感が強調されすぎた立体画像になるおそれがあり、必ずしも好ましい立体感が得られる立体画像を生成することができない。
【０００７】
また、特許文献２に記載の立体映像再生装置は、特許文献１に記載の発明と同様に、より好ましい立体感のある立体映像を再生することができず、更に、ある立体表示デバイスにおける立体映像の視差量が、その立体映像の最適な立体表示デバイスにおける視差量よりも大きくなる場合には、立体映像を縮小表示させるため、立体表示デバイスの表示画面全体を有効に利用することができないという問題がある。
【０００８】
即ち、特許文献１、２に記載の発明は、使用する立体表示デバイスに関わらず、立体画像として視認できるように立体画像を生成するものであり、より好ましい立体感が得られる立体画像を生成するための工夫はなされていない。
【０００９】
本発明はこのような事情に鑑みてなされたもので、前景や背景に生じる視差量をその視差量に応じて重み付け調整をする（強弱をつける）ことができ、特に立体表示プリント上でより好ましい立体感のある視差画像を表示させることができる３次元画像出力装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために本発明の一の態様に係る３次元画像出力装置は、複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得手段と、前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得手段と、前記取得した各特徴点の視差量を立体表示プリント用に調整する視差量調整手段であって、前記視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように前記視差量に対して重み付けの異なる視差量の調整を行う視差量調整手段と、前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成手段と、前記生成した視差画像を含む複数の視差画像を前記立体表示プリント用として出力する視差画像出力手段と、を備えたことを特徴としている。
【００１１】
本発明の一の態様によれば、特許文献１に記載の発明のように仮想視点を決めることにより被写体の遠近に関係なく一律に視差量を調整する場合に比べて視差量の調整の自由度が高く、前景や背景に対して視差量の調整を自由に行うこと（視差の強弱を自由につけること）ができ、特に複数の視点画像から取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように視差量に対して重み付けの異なる視差量の調整を行うようにしたため、前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、立体表示プリント上でより好ましい立体感のある視差画像を表示させることが可能になる。
【００１２】
本発明の他の態様に係る３次元画像出力装置において、前記視差量調整手段は、前記飛び出し方向の視差量が大きくなるにつれて該視差量の変化率が小さくなるように視差量を調整し、前記奥行き方向の視差量が大きくなるにつれて該視差量の変化率が大きくなるように視差量を調整することを特徴としている。
【００１３】
本発明の更に他の態様に係る３次元画像出力装置において、前記視差量調整手段は、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ予め設定された視差量になるように調整することを特徴としている。
【００１４】
本発明の更に他の態様に係る３次元画像出力装置において、前記視差量調整手段は、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ３ｍｍ及び−８ｍｍの視差量になるように調整することを特徴としている。尚、飛び出し方向の視差量を正とし、奥行き方向の視差量を負としている。
【００１５】
本発明の更に他の態様に係る３次元画像出力装置において、前記視差量調整手段は、正規化された視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルを有し、前記取得した各特徴点の視差量を正規化し、該正規化した視差量に対応する調整後の視差量を前記変換テーブルから読み出すことを特徴としている。
【００１６】
本発明の更に他の態様に係る３次元画像出力方法は、複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得ステップと、前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得ステップと、前記取得した各特徴点の視差量を立体表示プリント用に調整する視差量調整ステップであって、前記視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように前記視差量に対して重み付けの異なる視差量の調整を行う視差量調整ステップと、前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成ステップと、前記生成した視差画像を含む複数の視差画像を前記立体表示プリント用として出力する視差画像出力ステップと、を含むことを特徴としている。
【００１７】
本発明の更に他の態様に係る３次元画像出力方法において、前記視差量調整ステップは、前記飛び出し方向の視差量が大きくなるにつれて該視差量の変化率が小さくなるように視差量を調整し、前記奥行き方向の視差量が大きくなるにつれて該視差量の変化率が大きくなるように視差量を調整することを特徴としている。
【００１８】
本発明の更に他の態様に係る３次元画像出力方法において、前記視差量調整ステップは、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ予め設定された視差量になるように調整することを特徴としている。
【００１９】
本発明の更に他の態様に係る３次元画像出力方法において、前記視差量調整ステップは、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ３ｍｍ及び−８ｍｍの視差量になるように調整することを特徴としている。
【００２０】
本発明の更に他の態様に係る３次元画像出力方法において、正規化された視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルを有し、前記視差量調整ステップは、前記取得した各特徴点の視差量を正規化し、該正規化した視差量に対応する調整後の視差量を前記変換テーブルから読み出すことを特徴としている。
【発明の効果】
【００２１】
本発明によれば、被写体の遠近により生じる前景や背景の複数の視差画像間における視差量を、その視差量に応じて重み付して調整したため、前景や背景の視差に所望の強弱をつけた視差画像を生成することができ、特に複数の視点画像から取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように視差量に対して重み付けの異なる視差量の調整を行うようにしたため、前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、立体表示プリント上でより好ましい立体感のある視差画像を表示させることができる。
【図面の簡単な説明】
【００２２】
【図１】図１は本発明の第１実施形態の３次元画像出力装置を示す外観図である。
【図２】図２は図１に示した３次元画像出力装置の内部構成を示すブロック図である。
【図３】図３は画像内の特徴点の例を示す図である。
【図４】図４は複数の撮像部と視点番号の付与例を示す図である。
【図５】図５は各視点から撮影された４つの視差画像の同じ特徴点ｌ、ｍの座標値の例を示す図である。
【図６】図６は仮想視点位置と視差調整パラメータΔｔとの関係を示す図である。
【図７】図７は視差調整パラメータΔｔの例を示すグラフである。
【図８】図８は本発明に係る３Ｄ画像出力装置を備えたデジタルカメラの内部構成を示すブロック図である。
【図９】図９は３Ｄ画像用の３Ｄ画像ファイルのデータ構造を示す図である。
【図１０】図１０は３Ｄ画像用の３Ｄ画像ファイル内の視差量メタデータの例を示す図である。
【図１１】図１１は各視点の代表視差量の例を示す図表である。
【図１２】図１２は３Ｄ画像用の３Ｄ画像ファイル内の視差量メタデータの他の例を示す図である。
【図１３】図１３は視差調整パラメータΔｘの一例を示すグラフである。
【図１４】図１４は各特徴点の視差量と視差調整パラメータΔｘとの関係を示す図表である。
【図１５】図１５は視差調整パラメータΔｐの一例を示すグラフである。
【図１６】図１６は視差量の変換テーブルの一例を示すグラフである。
【図１７】図１７は視差量の変換テーブルの他の例を示すグラフである。
【図１８】図１８は表示デバイスにより視差量を調整する実施例を示すフローチャートである。
【図１９】図１９は視差調整パラメータΔｘの他の例を示すグラフである。
【図２０】図２０は視差調整パラメータΔｘの更に他の例を示すグラフである。
【発明を実施するための形態】
【００２３】
以下、添付図面に従って本発明に係る３次元画像出力装置及び方法の実施の形態について説明する。
【００２４】
［３次元画像出力装置の第１実施形態］
図１は本発明の第１実施形態の３次元画像出力装置を示す外観図である。
【００２５】
図１に示すように、この３次元画像出力装置（３Ｄ画像出力装置）１０は、カラーの３次元液晶ディスプレイ（以下、「３Ｄ ＬＣＤ」という）１２を搭載したデジタルフォトフレームであり、前面には電源スイッチ、通常表示・スライドショー等を選択する操作部１４が設けられ、側面にはメモリカードスロット１６が設けられている。
【００２６】
図２は上記３Ｄ画像出力装置１０の内部構成を示すブロック図である。
【００２７】
図２に示すように３Ｄ画像出力装置１０は、上記３Ｄ ＬＣＤ１２、操作部１４の他に、中央処理装置（ＣＰＵ）２０、ワークメモリ２２、カードインターフェース（カードＩ／Ｆ）２４、表示コントローラ２６、バッファメモリ２８、ＥＥＰＲＯＭ３０、及び電源部３２を備えている。
【００２８】
３Ｄ ＬＣＤ１２は、複数の視差画像（右目用画像、左目用画像）をレンチキュラレンズやパララックスバリア等によりそれぞれ所定の指向性をもった指向性画像を表示するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右目用画像と左目用画像とを個別に見ることができるものなどが適用できる。
【００２９】
ＣＰＵ２０は、操作部１４からの入力に基づき所定の制御プログラムに従って３Ｄ画像出力装置１０全体の動作を統括制御する制御手段として機能する。尚、ＣＰＵ２０による制御内容については後述する。
【００３０】
ワークメモリ２２は、ＣＰＵ２０の演算作業用領域及び画像データの一時記憶領域を含んでいる。
【００３１】
カードＩ／Ｆ２４は、デジタルカメラの記録メディアであるメモリカード３４がメモリカードスロット１６に装着されると、メモリカード３４と電気的に接続され、メモリカード３４との間でデータ（画像データ）の送受信を行うための装置である。
【００３２】
表示コントローラ２６は、表示用の画像データ専用の一時記憶領域であるバッファメモリ２８から３Ｄ表示用の画像データ（複数の画像データ）を繰り返し読み出し、３Ｄ ＬＣＤ１２での３Ｄ表示用の信号に変換して３Ｄ ＬＣＤ１２に出力する。これにより、３Ｄ ＬＣＤ１２に３Ｄ画像を表示させる。
【００３３】
電源部３２は、図示しないバッテリ又は商用電源からの電力を制御して、３Ｄ画像出力装置１０各部に動作電力を供給する。
【００３４】
［３Ｄ画像出力装置１０の作用］
操作部１４の電源スイッチがオンされ、再生モードとしてスライドショー再生が設定されている場合には、ＣＰＵ２０は、メモリカードスロット１６に装着されているメモリカード３４からカードＩ／Ｆ２４を介してファイル番号順に画像ファイルを所定のインターバルで読み出す。尚、この画像ファイルは、１つのファイルに複数の視差画像が格納された３Ｄ表示用の３Ｄ画像ファイルであるが、この３Ｄ画像ファイルのデータ構造の詳細は後述する。
【００３５】
ＣＰＵ２０は、読み出した３Ｄ画像ファイルから複数の視差画像と、複数の視差画像上で特徴が一致する複数の組の特徴点の座標値と、複数の組の特徴点の座標値の差分である視差量を取得する。尚、３Ｄ画像ファイルの付属情報中に、上記複数の組の特徴点の座標値等が含まれていない場合には、複数の視差画像を解析して各特徴点の座標値を取得する。
【００３６】
ここで、特徴点は、図３に示すように視差画像内で一意に特定できる特徴のある特徴点ｌ，ｍであり、他の視差画像との間で同じ特徴点ｌ，ｍを特定できるものである。
【００３７】
図５に示すように、４視点から撮影された４つの視差画像の同じ特徴点ｌ、ｍの座標値はそれぞれ異なる値をとり、図５に示す例では、特徴点ｌは、視点番号が大きくなるにしたがって（図４に示すように視点位置が左側に移動する程）、ｘ座標値が小さくなり、特徴点ｍは、視点番号が大きくなるにしたがってｘ座標値が大きくなっている。
【００３８】
これは、特徴点ｌを含む被写体は、各撮像部の光軸が交差する位置よりも遠い位置にある遠景であり、特徴点ｍを含む被写体は、各撮像部の光軸が交差する位置よりも近い位置にある前景であることに基づく。
【００３９】
上記特徴点の検出は、従来から様々な手法が提案されており、例えば、ブロックマッチング法、ＫＬＴ法(Tomasi & Kanade,1991,Detection and Tracking of Point Features)、ＳＩＦＴ(Scale Invariant Feature Transform)などを用いることができ、また、近年の顔検出技術を特徴点の検出に適用することができる。
【００４０】
また、視差画像中の特徴点は、複数の視差画像間でその特徴が一意に特定できる全ての点をとることが望ましい。
【００４１】
複数の視差画像間で特徴が一致する特徴点の検出に、ブロックマッチング法を適用する場合には、複数の視差画像のうちの１つの画像（例えば、左画像）から任意の画素を基準に切り出した所定のブロックサイズのブロックと、複数の視差画像のうちの他の視差画像（例えば、右画像）のブロックとの一致度を評価し、ブロック間の一致度が最大となるときの右画像のブロックの基準の画素を、前記左画像の任意の画素に対応する右画像の画素とする。
【００４２】
ブロックマッチング法でのブロック間の一致度を評価する関数として、例えば各ブロック内の画素の輝度差の２乗和（ＳＳＤ）を使用するものがある（ＳＳＤブロックマッチング法）。
【００４３】
このＳＳＤブロックマッチング法では、両画像のブロック内の各画素f(i,j)，g(i,j)について、次式の演算を行う。
【００４４】
【数１】
【００４５】
上記［数１］式の演算を、右画像上でブロックの位置を所定の探索領域内で移動させながら行い、ＳＳＤ値が最小となるときの探索領域内の位置の画素を探索対象の画素とする。
【００４６】
そして、左画像上の画素の位置と、探索した対応する右画像上の画素との画素間のずれ量及びずれ方向を示す視差（左右の画像が水平状態で撮影されている場合には、ずれ方向は正負で表すことができる）を求める。
【００４７】
＜視差量の調整の第１実施例＞
次に、本発明に係る視差量の調整方法の第１実施例について説明する。
【００４８】
ＣＰＵ２０は、取得した各組の特徴点の視差量を調整するが、その視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う。
【００４９】
いま、図６に示すように２枚の視差画像（右目用画像Ｒ、左目用画像Ｌ）の視点間の距離をＳとすると、仮想視点（左目用画像Ｌの視点からｔの距離にある視点）で撮影された点線で示す画像（仮想視点画像）上の任意の特徴点の視差量d'(x,y)は、次式により表すことができる。
【００５０】
【数２】
【００５１】
ここで、d(x,y)は、上記任意の特徴点の右目用画像Ｒ、左目用画像Ｌ間の視差量である。
【００５２】
特許文献１に記載の発明は、上記のように仮想視点の位置を決定し、その仮想視点位置での視差量d'(x,y)を求めることで、視差量d(x,y)の調整を行っている。
【００５３】
これに対し、本発明の実施例では、仮想視点位置での任意の特徴点の視差量d'(x,y)を、次式により算出することにより視差量の調整を行うようにしている。
【００５４】
【数３】
【００５５】
ここで、Δｔは、仮想視点の位置を調整する視差調整パラメータであり、図７のグラフ(1),(2),(3)に示すように、特徴点の視差量の関数である。この視差調整パラメータΔｔにより上記仮想視点の位置は一点鎖線で示すように調整される。
【００５６】
上記［数３］式の意味するところでは、仮想視点の位置を更に視差調整パラメータΔｔにより調整し、例えば、視差調整パラメータΔｔによりｔが大きくなるように仮想視点の位置を調整すると、視差量d'(x,y)は調整前に比べて大きくなり、逆に視差調整パラメータΔｔによりｔが小さくなるように仮想視点の位置を調整すると、視差量d'(x,y)は調整前に比べて小さくなる。
【００５７】
また、図７のグラフ(1),(2)に示す視差調整パラメータΔｔは、視差量が大きい（前景に近い）程、正方向に大きな値をとり、視差量が負方向に大きい（背景に近い）程、負方向に大きな値をとる傾向を示しており、図７のグラフ(3)に示す視差調整パラメータΔｔは、上記グラフ(1),(2)とは逆に、視差量が正方向に大きい程、負方向に大きな値をとり、視差量が負方向に大きい程、正方向に大きな値をとる傾向を示している。
【００５８】
ＣＰＵ２０は、３Ｄ ＬＣＤ１２の少なくともサイズ情報を含む表示部情報に応じて上記グラフ(1),(2),(3)のうちにいずれかのグラフに対応する変換テーブルを、ＥＥＰＲＯＭ３０から読み出し、視差画像中の各特徴点ごとに、その特徴点の視差量に対応する視差調整パラメータΔｔを読み出し、上記［数３］式により視差量d'(x,y)を算出する。尚、仮想視点の位置は、特許文献１に記載の発明と同様に視点画像サイズ、視点画像間の視差に関する視差情報、及び立体表示デバイスのサイズ等の情報により決定することができる。
【００５９】
いま、右目用の視差画像を基準画像とし、左目用の視差画像から視差調整後の視差画像を生成する場合には、左目用の視差画像の各特徴点の基準画像に対する視差量と、この視差量を上記［数３］式により調整した視差量とに基づいて左目用の視差画像の各特徴点の座標値が、前記調整後の視差量をもつ座標値となるように左目用の視差画像を幾何変形される。この幾何変形は、射影変換パラメータを使用した射影変換、アフィン変換パラメータを使用したアフィン変換、ヘルマート変換パラメータを使用したヘルマート変換等によって行うことができる。
【００６０】
ＣＰＵ２０により生成された左目用の視差画像は、右目用の視差画像（基準画像）とともにバッファメモリ２８に出力され、ここに一時記憶される。
【００６１】
表示コントローラ２６は、バッファメモリ２８から２枚の視差画像（右目用画像と左目用画像）を読み出し、３Ｄ表示用の信号に変換して３Ｄ ＬＣＤ１２に出力する。これにより、３Ｄ ＬＣＤ１２に３Ｄ画像（左右の視差画像）を表示させる。
【００６２】
尚、この実施の形態の３Ｄ画像出力装置１０は、３Ｄ ＬＣＤ１２を搭載したデジタルフォトフレームであるが、本発明はこれに限らず、種々の画面サイズを有する立体表示デバイス、３Ｄプラズマディスプレイ、３Ｄ有機ＥＬディスプレイ等の種類の異なる立体表示デバイス、立体表示プリントを生成するプリンタ等に視差画像を出力する３Ｄ画像出力装置にも適用できる。この場合、立体表示に使用される表示部に関する情報のうちの少なくとも表示部のサイズ情報を含む表示部情報を取得し、その表示部情報に基づいて視差量を調整することが好ましい。
【００６３】
例えば、表示サイズが小さい立体表示デバイスの場合には、図７のグラフ(1),(2)に対応する変換テーブルから視差調整パラメータΔｔを求め、その視差調整パラメータΔｔで調整した視差量となるように視差画像を生成することにより、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える立体画像（迫力のある立体感のある立体画像）の表示が可能になる。
【００６４】
一方、表示サイズが大きい立体表示デバイスの場合には、図７のグラフ(3)に対応する変換テーブルから視差調整パラメータΔｔを求め、その視差調整パラメータΔｔで調整した視差量となるように視差画像を生成することにより、前景の飛び出し量を抑制し、背景の奥行き感を強調した立体画像（ソフトな立体感のある立体画像）の表示が可能になる。
【００６５】
［３次元画像出力装置の第２実施形態］
図８は本発明に係る３Ｄ画像出力装置を備えたデジタルカメラ１００の内部構成を示すブロック図である。
【００６６】
図８に示すように、デジタルカメラ１００は、２つの撮影部１１２Ｒ及び１１２Ｌを備えた複眼カメラである。尚、撮影部１１２は、２つ以上であってもよい。
【００６７】
デジタルカメラ１００は、複数の撮影部１１２Ｒ及び１１２Ｌによって撮影した複数の画像からなる３Ｄ画像を１つの３Ｄ表示用の３Ｄ画像ファイルとして記録することができる。
【００６８】
メインＣＰＵ１１４（以下、「ＣＰＵ１１４」という）は、操作部１１６からの入力に基づき所定の制御プログラムに従ってデジタルカメラ１００全体の動作を統括制御する。
【００６９】
ＣＰＵ１１４には、システムバス１２２を介してＲＯＭ１２４、ＥＥＰＲＯＭ１２６及びワークメモリ１２８が接続されている。ＲＯＭ１２４には、ＣＰＵ１１４が実行する制御プログラム及び制御に必要な各種データ等が格納される。ＥＥＰＲＯＭ１２６には、ユーザ設定情報等のデジタルカメラ１００の動作に関する各種設定情報等が格納される。ワークメモリ１２８は、ＣＰＵ１１４の演算作業用領域及び画像データの一時記憶領域を含んでいる。
【００７０】
操作部１１６は、ユーザが各種の操作入力を行うための手段であり、電源／モードスイッチ、モードダイヤル、レリーズスイッチ、十字キー、ズームボタン、ＭＥＮＵ／ＯＫボタン、ＤＩＳＰボタン及びＢＡＣＫボタンを含んでいる。操作用表示部１１８は、操作部１１６からの操作入力の結果を表示するための手段であり、例えば、液晶パネル又は発光ダイオード（ＬＥＤ）を含んでいる。
【００７１】
電源／モードスイッチは、デジタルカメラ１００の電源のオン／オフの切り替え、及びデジタルカメラ１００の動作モード（再生モード及び撮影モード）の切り替え手段である。電源／モードスイッチがオンになると、電源部１２０からデジタルカメラ１００の各部への電力の供給が開始され、デジタルカメラ１００の各種の動作が開始される。また、電源／モードスイッチがオフになると、電源部１２０からデジタルカメラ１００の各部への電力の供給が停止される。
【００７２】
モードダイヤルは、デジタルカメラ１００の撮影モードを切り替えるための操作手段であり、モードダイヤルの設定位置に応じて、２Ｄの静止画を撮影する２Ｄ静止画撮影モード、２Ｄの動画を撮影する２Ｄ動画撮影モード、３Ｄの静止画を撮影する３Ｄ静止画撮影モード及び３Ｄの動画を撮影する３Ｄ動画撮影モードの間で撮影モードが切り替えられる。撮影モードが２Ｄ静止画撮影モード又は２Ｄ動画撮影モードに設定されると、撮影モード管理フラグ１３０に、２Ｄ画像を撮影するための２Ｄモードであることを示すフラグが設定される。また、撮影モードが３Ｄ静止画撮影モード又は３Ｄ動画撮影モードに設定されると、撮影モード管理フラグ１３０に、３Ｄ画像を撮影するための３Ｄモードであることを示すフラグが設定される。ＣＰＵ１１４は、撮影モード管理フラグ１３０を参照して、撮影モードの設定を判別する。
【００７３】
レリーズスイッチは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影モード時には、レリーズスイッチが半押しされると、撮影準備処理（例えば、ＡＥ（Automatic Exposure：自動露出）処理、ＡＦ（Auto Focus：自動焦点合わせ）処理、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）処理）が行われ、レリーズスイッチが全押しされると、静止画の撮影・記録処理が行われる。また、動画撮影モード時には、レリーズスイッチが全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。尚、静止画撮影用のレリーズスイッチ及び動画撮影用のレリーズスイッチを別々に設けるようにしてもよい。
【００７４】
３Ｄ ＬＣＤ１５０は、図１に示した３Ｄ画像出力装置１０の３Ｄ ＬＣＤ１２と同様の３Ｄ画像表示器であり、撮影した２Ｄ画像又は３Ｄ画像を表示するための画像表示部として機能するとともに、各種設定時にＧＵＩとして機能する。また、３Ｄ ＬＣＤ１５０は、撮影モード時に画角を確認するための電子ファインダとして機能する。
【００７５】
縦／横撮り検出回路１３２は、例えば、デジタルカメラ１００の向きを検出するためのセンサを含んでおり、デジタルカメラ１００の向きの検出結果をＣＰＵ１１４に入力する。ＣＰＵ１１４は、デジタルカメラ１００が向きの場合に、縦撮りと横撮りの切り替えを行う。
【００７６】
次に、デジタルカメラ１００の撮影機能について説明する。尚、図８では、各撮影部１１２Ｒ及び１１２Ｌ内の各部にそれぞれ符号Ｒ及びＬを付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号Ｒ及びＬを省略して説明する。
【００７７】
撮影レンズ１６０は、ズームレンズ、フォーカスレンズ及び絞りを備えている。ズームレンズ及びフォーカスレンズは、各撮影部の光軸（図中のＬＲ及びＬＬ）に沿って前後に移動する。ＣＰＵ１１４は、測光・測距ＣＰＵ１８０を介して不図示のズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御してズーミングを行い、測光・測距ＣＰＵ１８０を介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御してフォーカシングを行う。また、ＣＰＵ１１４は、測光・測距ＣＰＵ１８０を介して絞りアクチュエータの駆動を制御することにより、絞りの開口量（絞り値）を制御し、撮像素子１６２への入射光量を制御する。
【００７８】
ＣＰＵ１１４は、３Ｄモード時に複数の画像を撮影する場合に、各撮影部１１２Ｒ及び１１２Ｌの撮影レンズ１６０Ｒ及び１６０Ｌを同期させて駆動する。即ち、撮影レンズ１６０Ｒ及び１６０Ｌは、常に同じ焦点距離（ズーム倍率）に設定される。また、常に同じ入射光量（絞り値）となるように絞りが調整される。更に、３Ｄモード時には、常に同じ被写体にピントが合うように焦点調節が行われる。
【００７９】
フラッシュ発光部１７６は、例えば、放電管（キセノン管）により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。充電／発光制御部１７８は、フラッシュ発光部１７６を発光させるための電流を供給するためのメインコンデンサを含んでいる。ＣＰＵ１１４は、測光・測距ＣＰＵ１８０にフラッシュ発光指令を送信して、メインコンデンサの充電制御、フラッシュ発光部１７６の放電（発光）のタイミング及び放電時間の制御等を行う。尚、フラッシュ発光部１７６としては、発光ダイオードを用いてもよい。
【００８０】
撮影部１１２は、被写体に光を照射するための距離用発光素子１８６（例えば、発光ダイオード）と、上記距離用発光素子１８６により光が照射された被写体の画像（測距用画像）を撮影する距離用撮像素子１８４とを備えている。
【００８１】
測光・測距ＣＰＵ１８０は、ＣＰＵ１１４からの指令に基づいて、所定のタイミングで距離用発光素子１８６を発光させるとともに、距離用撮像素子１８４を制御して測距用画像を撮影させる。
【００８２】
距離用撮像素子１８４によって撮影された測距用画像は、Ａ／Ｄ変換器１９６によりデジタルデータに変換されて、距離情報処理回路１９８に入力される。
【００８３】
距離情報処理回路１９８は、距離用撮像素子１８４から取得した測距用画像を用いて、いわゆる三角測距の原理に基づいて、撮影部１１２Ｒ及び１１２Ｌによって撮影された被写体とデジタルカメラ１００との間の距離（被写体距離）を算出する。距離情報処理回路１９８によって算出された被写体距離は、距離情報記憶回路１０３に記録される。
【００８４】
尚、被写体距離の算出方法としては、距離用発光素子１８６が発光してから、距離用発光素子１８６によって照射された光が被写体によって反射され、距離用撮像素子１８４に届くまでの光の飛行時間（遅れ時間）と光の速度から被写体距離を算出するＴＯＦ（Time of Flight）法を用いてもよい。
【００８５】
また、撮影部１１２は、間隔／輻輳角駆動回路１８８及び間隔／輻輳角検出回路１９０を備えている。
【００８６】
間隔／輻輳角駆動回路１８８Ｒ及び１８８Ｌは、それぞれ撮影部１１２Ｒ及び１１２Ｌを駆動する。ＣＰＵ１１４は、間隔／輻輳角制御回路１９２を介して間隔／輻輳角駆動回路１８８Ｒ及び１８８Ｌを動作させて、撮影レンズ１６０Ｒと１６０Ｌとの間隔及び輻輳角を調整する。
【００８７】
間隔／輻輳角検出回路１９０Ｒ及び１９０Ｌは、例えば、電波を送受信する手段を含んでいる。ＣＰＵ１１４は、間隔／輻輳角制御回路９２を介して間隔／輻輳角検出回路１９０Ｒ及び１９０Ｌを動作させて、電波を相互に送受信させることにより、撮影レンズ１６０Ｒと１６０Ｌとの間隔及び輻輳角を測定する。撮影レンズ１６０Ｒと１６０Ｌとの間隔及び輻輳角の測定結果は、レンズ間隔・輻輳角記憶回路１０２に記憶される。
【００８８】
撮像素子１６２は、例えば、カラーＣＣＤ固体撮像素子により構成されている。撮像素子１６２の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列で３原色（Ｒ、Ｇ、Ｂ）のカラーフィルタが配置されている。撮影レンズ１６０によって撮像素子６２の受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１４の指令に従ってＴＧ１６４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（Ｒ、Ｇ、Ｂ信号）として撮像素子１６２から順次読み出される。撮像素子１６２は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。
【００８９】
尚、撮像素子１６２としては、ＣＭＯＳセンサ等のＣＣＤ以外の撮像素子を用いることもできる。
【００９０】
アナログ信号処理部１６６は、撮像素子１６２から出力されたＲ、Ｇ、Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、Ｒ、Ｇ、Ｂ信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含んでいる。撮像素子１６２から出力されるアナログのＲ、Ｇ、Ｂ信号は、アナログ信号処理部１６６によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部１６６から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１６８によってデジタルのＲ、Ｇ、Ｂ信号に変換されて、画像入力コントローラ（バッファメモリ）１７０に入力される。
【００９１】
デジタル信号処理部１７２は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、階調変換処理回路（ガンマ補正回路）、輪郭補正回路、輝度・色差信号生成回路等を含んでいる。画像入力コントローラ１７０に入力されたデジタルのＲ、Ｇ、Ｂ信号は、デジタル信号処理部１７２によって、同時化処理、ホワイトバランス調整、階調変換及び輪郭補正等の所定の処理が施されるとともに、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹ／Ｃ信号に変換される。
【００９２】
ライブビュー画像（スルー画）を３Ｄ ＬＣＤ１５０に表示する場合、デジタル信号処理部１７２において生成されたＹ／Ｃ信号がバッファメモリ１４４に順次供給される。表示コントローラ１４２は、バッファメモリ１４４に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部１４６に出力する。ＹＣ−ＲＧＢ変換部１４６は、表示コントローラ１４２から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ１４８を介して３Ｄ ＬＣＤ１５０に出力する。これにより、３Ｄ ＬＣＤ１５０にスルー画が表示される。
【００９３】
ここで、カメラのモードが撮影モードであり、２Ｄモードの場合には、所定の１つの撮影部（例えば、１１２Ｒ）により記録用の画像が撮影される。２Ｄモード時に、撮影部１１２Ｒによって撮影された画像は、圧縮・伸張処理部１７４Ｒによって圧縮される。この圧縮画像データは、メモリコントローラ１３４及びカードＩ／Ｆ１３８を介して、所定形式の画像ファイルとしてメモリカード３４に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像ファイルとして記録される。
【００９４】
また、カメラのモードが撮影モードであり、３Ｄモード時には、撮影部１１２Ｒ及び１１２Ｌによって同期して画像が撮影される。尚、３Ｄモード時には、ＡＦ処理及びＡＥ処理は、撮影部１１２Ｒ及び１１２Ｌのいずれか一方によって取得された画像信号に基づいて行われる。３Ｄモード時に、各撮影部１１２Ｒ及び１１２Ｌによって撮影された２視点の画像は、それぞれ圧縮・伸張処理部１７４Ｒ及び１７４Ｌによって圧縮され、１つの３Ｄ画像ファイルに格納されてメモリカード３４に記録される。また、３Ｄ画像ファイルには、２視点の圧縮画像データとともに、被写体距離情報、撮影レンズ１６０Ｒ及び１６０Ｌの間隔及び輻輳角に関する情報等が格納される。
【００９５】
一方、カメラの動作モードが再生モード時には、メモリカード３４に記録されている最終の画像ファイル（最後に記録された画像ファイル）が読み出されて、圧縮・伸張処理部１７４によって非圧縮のＹ／Ｃ信号に伸張された後、バッファメモリ１４４に入力される。表示コントローラ１４２は、バッファメモリ１４４に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部１４６に出力する。ＹＣ−ＲＧＢ変換部１４６は、表示コントローラ１４２から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ１４８を介して３Ｄ ＬＣＤ１５０に出力する。これにより、メモリカード３４に記録されている画像ファイルの画像が３Ｄ ＬＣＤ１５０に表示される。
【００９６】
ここで、メモリカード３４から読み出された画像ファイルが３Ｄ画像ファイルの場合には、前述した３Ｄ画像出力装置１０と同様に、視差量を調整した視差画像が生成され、調整後の視差画像を含む２枚の視差画像が３Ｄ ＬＣＤ１５０に表示される。
【００９７】
［３Ｄ画像ファイルのデータ構造］
図９はデジタルカメラ１００によりメモリカード３４に記録される３Ｄ表示用の３Ｄ画像ファイルのデータ構造の一例を示す図である。
【００９８】
図９に示すように３Ｄ画像ファイルＦは、Exif規格のファイルフォーマットを利用し、複数の画像を一体化して記録するファイル形式を採っており、視点画像(1)（先頭画像）Ａ１、視点画像(2)Ａ２，視点画像(2)Ａ２、…、視点画像(n)Ａｎが連結されて構成されている。
【００９９】
各視点画像の領域は、各視点画像の開始位置を示すＳＯＩ（Start of Image）と終了位置を示すＥＯＩ（End of Image）とにより区分されており、ＳＯＩの次に視点画像のExif付属情報が記録されるAPP1マーカセグメントと、多視点付属情報が記録されるAPP2マーカセグメントが設けられ、その次に視点画像が記録される。
【０１００】
尚、APP1マーカセグメントには、Ｅｘｉｆ識別情報、ＴＩＦＦヘッダ、ＩＦＤ（Image file directory）領域（ＩＦＤ０領域（0th IFD）及びＩＦＤ１領域（1st IFD））が設けられている。ＩＦＤ１領域（1st IFD）には、視点画像から生成されたサムネイル画像が格納される。また、APP2マーカセグメントには、個別情報ＩＦＤが含まれる。
【０１０１】
個別情報ＩＦＤには、視点画像の枚数、視点画像番号、輻輳角、基線長等が含まれるが、この実施の形態では、図１０に示すように、基準視点番号のタグ値と前景代表視差量、背景代表視差量のタグ値が更に記録される。
【０１０２】
前景代表視差量は、基準視点（図１０の例では、「１」）と、視点画像の視点（ｉ）間の前景の視差を代表する値であり、ＡＦ合焦時の視差、最近接位置視差、顔認識位置中心の視差などを表す値を使用することができる。
【０１０３】
背景代表視差量は、基準視点（図１０の例では、「１」）と、視点画像の視点（ｉ）間の背景の視差を代表する値であり、例えば、視差量が最も小さい値（負値を含む）を表す値を使用することができる。
【０１０４】
尚、図１０に示した前景代表視差量、背景代表視差量の数値の例は、視差画像の左右方向の視差量に相当する画素数（負は視差方向が逆）を示している。また、視差画像の左右方向の画素数は１０００画素である。
【０１０５】
図１１は図４に示した４視点の場合の各視点の代表視差量（前景代表視差量、背景代表視差量）の例を示す図表である。
【０１０６】
また、図１２に示すように、３Ｄ画像ファイルの個別情報ＩＦＤには、視点画像内の各特徴点１、２、３、…、ｋの座標値が更に記録されている。
【０１０７】
尚、各視差画像間の特徴点の抽出、前景代表視差量、背景代表視差量の算出等は、デジタルカメラ１００により行われ、３Ｄ画像ファイルの作成時に視差画像の付属情報として記録される。
【０１０８】
＜視差量の調整の第２実施例＞
図１３は視差量を調整する視差調整パラメータΔｘの一例を示すグラフである。
【０１０９】
図７に示した第１実施例の視差調整パラメータΔｔは、仮想視点位置を調整するパラメータであるが、図１３のグラフ(1),(2)に示す視差調整パラメータΔｘは、視差量に加算されることにより該視差量を調整するパラメータである。
【０１１０】
いま、図１４に示すように視差画像からｎ個の特徴点が抽出され、各特徴点別に視差量が求められている場合、その視差量に基づいて図１３のグラフ(1)に対応する変換テーブルから対応する視差調整パラメータΔｘを読み出す。図１３のグラフ(1)によれば、視差調整パラメータΔｘは、視差量が正方向に大きい（前景に近い）程、及び視差量が負方向に大きい（背景に近い）程、正方向に大きな値をとるようになっている。
【０１１１】
上記視差量に対応する視差調整パラメータΔｘを各特徴点別の視差量に加算することにより、視差量を調整することができる。
【０１１２】
図１３のグラフ(1)に示した視差調整パラメータΔｘによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより大きくする重み付け調整が行われ、一方、遠くに見える特徴点の視差量（負方向に大きくなる視差量）を小さくする重み付け調整が行われることになる。
【０１１３】
そして、上記のように視差量が調整された特徴点をもつように視差画像を幾何変形させた視差画像を生成することにより、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
【０１１４】
尚、図１３のグラフ(1)とは逆の特性をもったグラフ(2)の視差調整パラメータΔｘによれば、上記とは逆に前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になる。
【０１１５】
＜視差量の調整の第３実施例＞
図１５は視差量を調整する視差調整パラメータΔｐの一例を示すグラフである。
【０１１６】
図１５のグラフ(1),(2)に示す視差調整パラメータΔｐは、視差量に乗算されることにより該視差量を調整するパラメータであり、グラフ(1)によれば、視差調整パラメータΔｐは、視差量が大きい（前景に近い）程、１よりも大きな値をとり、視差量が負方向に大きい（背景に近い）程、１よりも小さい値をとるようになっている。
【０１１７】
上記視差量に対応する視差調整パラメータΔｐを各特徴点別の視差量に乗算することにより、視差量を調整することができる。
【０１１８】
図１５のグラフ(1)に示した視差調整パラメータΔｐによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより大きくする重み付け調整が行われ、一方、遠くに見える特徴点の視差量（負方向に大きくなる視差量）をより小さくする重み付け調整が行われることになり、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
【０１１９】
一方、図１５のグラフ(1)とは逆の特性をもったグラフ(2)の視差調整パラメータΔｐによれば、上記とは逆に前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になる。
【０１２０】
＜視差量の調整の第４実施例＞
図１５は入力する視差量を所望の視差量に変換して出力する変換テーブルの一例を示す
グラフである。
【０１２１】
図１６のグラフ(1),(2)に示す変換テーブルは、入力画像の各特徴点の視差量を、その視差量の大きさに応じて適宜の視差量に変換する変換テーブルであり、グラフ(1)に示す変換テーブルによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより大きくする変換が行われ、一方、遠くに見える特徴点の視差量（負方向に大きくなる視差量）をより小さくする変換が行われることになる。
【０１２２】
一方、図１６のグラフ(2)に示す変換テーブルによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより小さくする変換が行われ、遠くに見える特徴点の視差量（負方向に大きくなる視差量）をより大きくする変換が行われることになる。
【０１２３】
＜視差量の調整の第５実施例＞
図１７は入力する視差量を所望の視差量に変換して出力する変換テーブルの他の例を示すグラフである。
【０１２４】
図１７に示す変換テーブルは、プリント用紙（表示部）に視差画像を印刷する際に使用される変換テーブルであり、入力画像上の最大の視差量(max)がプリント用紙上で３mmの視差量となり、入力画像上の負方向の最大の視差量(min)がプリント用紙上で−８mmの視差量となるように変換する。
【０１２５】
例えば、入力する視差画像の各特徴点の視差量のうちの最大値（前景代表値）及び負方向の最大値（背景代表値）を求め、これらの前景代表値及び背景代表値により各特徴点の視差量を正規化し（例えば前景代表値が１、背景代表値が−１となるように正規化し）、この正規化した視差量を、図１７に示す変換テーブルによりプリント用紙上での視差量に変換する。
【０１２６】
上記のように視差量が調整された視差画像が印画されたプリント用紙の表面には、レンチキュラーシートが貼付され、これにより立体視が可能な写真プリントになる。
【０１２７】
立体視が可能な写真プリントでは、そのプリント上の各視差画像の最大の視差量(max)が３mm、負方向の最大の視差量(min)が−８mmのときに、より好ましい立体画像を視認することができることが実験により確認されている。
【０１２８】
［表示デバイスにより視差量を調整する実施例］
図１８は表示デバイスにより視差量を調整する実施例を示すフローチャートである。
【０１２９】
まず、複数の視差画像を読み込み（ステップＳ１０）、各視差画像における特徴点（対応点）の視差量を取得する（ステップＳ１２）。尚、図１２に示したように３Ｄ画像ファイルの個別情報に各特徴点の座標値が含まれている場合には、その座標値から視差量を演算することができ、一方、３Ｄ画像ファイルの個別情報に各特徴点の座標値が含まれていない場合には、各視差画像から特徴点の抽出を行い、視点の座標値を取得して視差量を算出する。
【０１３０】
次に、表示デバイスの情報を取得する（ステップＳ１４）。この表示デバイスの情報の取得は、本発明に係る３Ｄ画像出力装置を表示デバイスに接続することにより、表示デバイス側から自動的に表示デバイスの情報を取得してもよいし、マニュアルで表示デバイスの情報を入力してもよい。
【０１３１】
続いて、取得した表示デバイスの情報からデバイスの種別（ディスプレイ、プリンタ）を判別し（ステップＳ１６）、更にディスプレイと判別されると、ディスプレイの画面サイズが、所定のサイズ（水平方向の長さが６５mm）以上か否かを判別する（ステップＳ１８）。尚、６５mmは、人の左右の目の間隔である。
【０１３２】
ここで、デバイス種別がディスプレイで、その画面サイズが６５mm以上と判別されると、視差量を変換する変換テーブルとして大画面用テーブルが選択され（ステップＳ２０）、画面サイズが６５mm未満と判別されると、変換テーブルとして大画面用テーブルが選択され（ステップＳ２２）。
【０１３３】
一方、デバイス種別がプリンタと判別されると、変換テーブルとして印刷用テーブルが選択され（ステップＳ２４）。
【０１３４】
例えば、上記大画面用テーブルとしては、図１６のグラフ(2)に示した変換テーブルを適用し、小画面用テーブルとしては、図１６のグラフ(1)に示した変換テーブルを適用することが考えられる。
【０１３５】
これによれば、大画面の表示ディスプレイの場合には、前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になり、観察者の疲労感を軽減させることができる。また、小画面の表示ディスプレイの場合には、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
【０１３６】
一方、印刷用テーブルとしては、図１７に示した変換テーブルを使用する。これによれば、より好ましい立体視が可能な写真プリントを印刷することができる。尚、この実施の形態では、デバイス種別がプリンタの場合には、更にプリントサイズにより変換テーブルを切り替えていない。これは、図１７に示した変換テーブルによれば、写真プリントのプリントサイズに関わらず、好ましい立体視が可能な写真プリントが得られることが確認されているからである。
【０１３７】
上記のようにして変換テーブルが選択されると、選択された変換テーブルにより入力する各視差量を変換し、その変換後（視差調整後）の各特徴点の視差量に対応する視差画像を生成する（ステップＳ２６）。このようにして生成した各視差画像を３Ｄの表示デバイスに出力し、３Ｄ画像の立体視を可能にする（ステップＳ２８）。
【０１３８】
＜視差量の調整の第６実施例＞
図１９は視差量を調整する視差調整パラメータΔｘの他の例を示すグラフである。
【０１３９】
図１９のグラフ(1)-1は、グラフ(1)(図１３のグラフ(1)に相当)を視差量の正方向にシフトしたグラフであり、図１９のグラフ(1)-2は、グラフ(1)を視差量の負方向にシフトしたグラフである。
【０１４０】
従って、グラフ(1)-1に示す視差調整パラメータΔｘによって視差画像の視差量が調整されると、グラフ(1)に示す視差調整パラメータΔｘによって視差量が調整される視差画像に比べて、前景の飛び出し量が低減されるとともに、背景の奥行き感も低減された視差画像が生成される。
【０１４１】
一方、グラフ(1)-2に示す視差調整パラメータΔｘによって視差画像の視差量が調整されると、グラフ(1)に示す視差調整パラメータΔｘによって視差量が調整される視差画像に比べて、前景の飛び出し量が強調されるとともに、背景の奥行き感も強調された視差画像が生成される。
【０１４２】
また、上記グラフ(1)-1,(1),(1)-2に示す視差調整パラメータΔｘを、３Ｄディスプレイの画面サイズに応じて選択するようにしてもよい。この場合、大画面、中画面、及び小画面に応じて、それぞれグラフ(1)-1,(1),及び(1)-2に示す視差調整パラメータΔｘを適用することが考えられる。
【０１４３】
また、３Ｄディスプレイの画面サイズに限らず、視距離に応じて上記グラフ(1)-1,(1),及び(1)-2を選択するようにしてもよく、視距離が近いときはグラフ(1)-1,遠いときはグラフ(1)-2を選択することが考えられる。尚、視距離は、３Ｄディスプレイ又はその近傍に配設した測距手段により自動的に取得してもよいし、マニュアルで視距離を入力するようにしてもよい。
【０１４４】
＜視差量の調整の第７実施例＞
図２０は視差量を調整する視差調整パラメータΔｘの更に他の例を示すグラフである。
【０１４５】
図２０のグラフ(1)-3,(1)-4に示す視差調整パラメータΔｘは、視差が正方向に一定以上大きくなる場合には、その視差を強調しないように制限されている。
【０１４６】
即ち、図２０のグラフ(1)-3,(1)-4に示す入出力関係を示す変換テーブルでは、変換後の視差量が、予め設定された最大視差量を越えないように制限されている。これは、視差をつけすぎると、３Ｄとして視認できなくなるからである。
【０１４７】
また、図２０のグラフ(1)-3, (1)-4に示す視差調整パラメータΔｘを、３Ｄディスプレイの画面サイズに応じて選択するようにしてもよい。この場合、小画面、大画面に応じて、それぞれグラフ(1)-3,及び(1)-4に示す視差調整パラメータΔｘを適用することが考えられる。
【０１４８】
尚、図１９及び図２０に示した第６実施例及び第７実施例は、図１３のグラフ(1)に示す視差調整パラメータの変形例であるが、図１３のグラフ(2)に示す視差調整パラメータ、図１５に示した視差調整パラメータΔｐ、及び図１６に示した視差量の変換テーブルを変形させる場合にも適用できる。
【０１４９】
［その他］
この実施の形態の３Ｄ画像出力装置（デジタルフォトフレーム、デジタルカメラ）は、３Ｄディスプレイが一体化されたものであるが、これに限らず、本発明は、表示デバイスを備えていない装置（例えば、パソコン本体）にも適用できる。また、本発明に係る３Ｄ画像出力装置は、ハードウエアで実現してもよいし、パソコン本体にインストールするソフトウエアで実現するようにしてもよい。
【０１５０】
３Ｄディスプレイは、実施の形態の３Ｄ ＬＣＤに限らず、３Ｄプラズマディスプレイ、３Ｄ有機ＥＬディスプレイ等の他の３Ｄディスプレイでもよい。
【０１５１】
更に、本発明は上述した実施形態に限定されず、被写体の遠近に関係なく、視差量の調整を自由に行うことができるものであればよく、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１５２】
１０…３次元画像出力装置（３Ｄ画像出力装置）、１２、１５０…３次元液晶ディスプレイ（３Ｄ ＬＣＤ）、２０、１１４…中央処理装置（ＣＰＵ）、２２、１２８…ワークメモリ、２６、１４２…表示コントローラ、２８、１３６…バッファメモリ、３０、１２６…ＥＥＰＲＯＭ
【技術分野】
【０００１】
本発明は３次元画像出力装置及び方法に係り、特に３次元画像表示デバイスにより良好な３次元画像（立体画像）を表示させる技術に関する。
【背景技術】
【０００２】
従来、使用する立体表示デバイスに応じて立体画像を構成する視点画像の視点位置を自動的に調整し、観察時のクロストークを少なくして自然な立体画像として表示できるようにした立体画像生成方法が提案されている（特許文献１）。
【０００３】
この特許文献１に記載の立体画像生成方法は、立体表示デバイスに関するデバイス情報からその立体表示デバイスに対応した複数の視点を決定し、この決定した複数の視点と複数の第１の視点画像の視差に関する視差情報とから、前記第１の視点画像を前記複数の視点に対応する複数の第２の視差画像に変換するようにしている。
【０００４】
また、３次元映像を種々の立体表示デバイスに表示する際に、立体表示デバイスのサイズが大きい場合又は解像度が低くなる場合に、視差量が拡大されるため、立体視できなくなるという問題を解決するために、ある立体表示デバイスにおける立体映像の視差量が、その立体映像の最適な立体表示デバイスにおける視差量よりも大きくなる場合には、立体映像を縮小表示させることにより視差量を変更するようにした立体映像再生装置が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−１１５１９８号公報
【特許文献２】特開２００５−７３０４９号公報
【特許文献３】特開２００３−２０９８５８号公報
【特許文献４】特開平１０−４０４２０号公報
【特許文献５】特開平８−３３１６０７号公報
【特許文献６】国際公開第２００４／０８２２９７号
【特許文献７】国際公開第２００４／０８４５６０号
【特許文献８】特開２００４−２２１７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の立体画像生成方法は、使用する立体表示デバイスのサイズ等の情報により仮想視点を決め、その仮想視点から恰も撮影されたような視差画像を生成するため、観察時のクロストークを少なくすることができ、立体画像として表示させることができるが、被写体の遠近に関係なく一律に視差画像を生成するため、元の複数の視点画像によっては立体感の乏しい立体画像になったり、立体感が強調されすぎた立体画像になるおそれがあり、必ずしも好ましい立体感が得られる立体画像を生成することができない。
【０００７】
また、特許文献２に記載の立体映像再生装置は、特許文献１に記載の発明と同様に、より好ましい立体感のある立体映像を再生することができず、更に、ある立体表示デバイスにおける立体映像の視差量が、その立体映像の最適な立体表示デバイスにおける視差量よりも大きくなる場合には、立体映像を縮小表示させるため、立体表示デバイスの表示画面全体を有効に利用することができないという問題がある。
【０００８】
即ち、特許文献１、２に記載の発明は、使用する立体表示デバイスに関わらず、立体画像として視認できるように立体画像を生成するものであり、より好ましい立体感が得られる立体画像を生成するための工夫はなされていない。
【０００９】
本発明はこのような事情に鑑みてなされたもので、前景や背景に生じる視差量をその視差量に応じて重み付け調整をする（強弱をつける）ことができ、特に立体表示プリント上でより好ましい立体感のある視差画像を表示させることができる３次元画像出力装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
前記目的を達成するために本発明の一の態様に係る３次元画像出力装置は、複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得手段と、前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得手段と、前記取得した各特徴点の視差量を立体表示プリント用に調整する視差量調整手段であって、前記視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように前記視差量に対して重み付けの異なる視差量の調整を行う視差量調整手段と、前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成手段と、前記生成した視差画像を含む複数の視差画像を前記立体表示プリント用として出力する視差画像出力手段と、を備えたことを特徴としている。
【００１１】
本発明の一の態様によれば、特許文献１に記載の発明のように仮想視点を決めることにより被写体の遠近に関係なく一律に視差量を調整する場合に比べて視差量の調整の自由度が高く、前景や背景に対して視差量の調整を自由に行うこと（視差の強弱を自由につけること）ができ、特に複数の視点画像から取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように視差量に対して重み付けの異なる視差量の調整を行うようにしたため、前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、立体表示プリント上でより好ましい立体感のある視差画像を表示させることが可能になる。
【００１２】
本発明の他の態様に係る３次元画像出力装置において、前記視差量調整手段は、前記飛び出し方向の視差量が大きくなるにつれて該視差量の変化率が小さくなるように視差量を調整し、前記奥行き方向の視差量が大きくなるにつれて該視差量の変化率が大きくなるように視差量を調整することを特徴としている。
【００１３】
本発明の更に他の態様に係る３次元画像出力装置において、前記視差量調整手段は、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ予め設定された視差量になるように調整することを特徴としている。
【００１４】
本発明の更に他の態様に係る３次元画像出力装置において、前記視差量調整手段は、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ３ｍｍ及び−８ｍｍの視差量になるように調整することを特徴としている。尚、飛び出し方向の視差量を正とし、奥行き方向の視差量を負としている。
【００１５】
本発明の更に他の態様に係る３次元画像出力装置において、前記視差量調整手段は、正規化された視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルを有し、前記取得した各特徴点の視差量を正規化し、該正規化した視差量に対応する調整後の視差量を前記変換テーブルから読み出すことを特徴としている。
【００１６】
本発明の更に他の態様に係る３次元画像出力方法は、複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得ステップと、前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得ステップと、前記取得した各特徴点の視差量を立体表示プリント用に調整する視差量調整ステップであって、前記視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように前記視差量に対して重み付けの異なる視差量の調整を行う視差量調整ステップと、前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成ステップと、前記生成した視差画像を含む複数の視差画像を前記立体表示プリント用として出力する視差画像出力ステップと、を含むことを特徴としている。
【００１７】
本発明の更に他の態様に係る３次元画像出力方法において、前記視差量調整ステップは、前記飛び出し方向の視差量が大きくなるにつれて該視差量の変化率が小さくなるように視差量を調整し、前記奥行き方向の視差量が大きくなるにつれて該視差量の変化率が大きくなるように視差量を調整することを特徴としている。
【００１８】
本発明の更に他の態様に係る３次元画像出力方法において、前記視差量調整ステップは、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ予め設定された視差量になるように調整することを特徴としている。
【００１９】
本発明の更に他の態様に係る３次元画像出力方法において、前記視差量調整ステップは、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ３ｍｍ及び−８ｍｍの視差量になるように調整することを特徴としている。
【００２０】
本発明の更に他の態様に係る３次元画像出力方法において、正規化された視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルを有し、前記視差量調整ステップは、前記取得した各特徴点の視差量を正規化し、該正規化した視差量に対応する調整後の視差量を前記変換テーブルから読み出すことを特徴としている。
【発明の効果】
【００２１】
本発明によれば、被写体の遠近により生じる前景や背景の複数の視差画像間における視差量を、その視差量に応じて重み付して調整したため、前景や背景の視差に所望の強弱をつけた視差画像を生成することができ、特に複数の視点画像から取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように視差量に対して重み付けの異なる視差量の調整を行うようにしたため、前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、立体表示プリント上でより好ましい立体感のある視差画像を表示させることができる。
【図面の簡単な説明】
【００２２】
【図１】図１は本発明の第１実施形態の３次元画像出力装置を示す外観図である。
【図２】図２は図１に示した３次元画像出力装置の内部構成を示すブロック図である。
【図３】図３は画像内の特徴点の例を示す図である。
【図４】図４は複数の撮像部と視点番号の付与例を示す図である。
【図５】図５は各視点から撮影された４つの視差画像の同じ特徴点ｌ、ｍの座標値の例を示す図である。
【図６】図６は仮想視点位置と視差調整パラメータΔｔとの関係を示す図である。
【図７】図７は視差調整パラメータΔｔの例を示すグラフである。
【図８】図８は本発明に係る３Ｄ画像出力装置を備えたデジタルカメラの内部構成を示すブロック図である。
【図９】図９は３Ｄ画像用の３Ｄ画像ファイルのデータ構造を示す図である。
【図１０】図１０は３Ｄ画像用の３Ｄ画像ファイル内の視差量メタデータの例を示す図である。
【図１１】図１１は各視点の代表視差量の例を示す図表である。
【図１２】図１２は３Ｄ画像用の３Ｄ画像ファイル内の視差量メタデータの他の例を示す図である。
【図１３】図１３は視差調整パラメータΔｘの一例を示すグラフである。
【図１４】図１４は各特徴点の視差量と視差調整パラメータΔｘとの関係を示す図表である。
【図１５】図１５は視差調整パラメータΔｐの一例を示すグラフである。
【図１６】図１６は視差量の変換テーブルの一例を示すグラフである。
【図１７】図１７は視差量の変換テーブルの他の例を示すグラフである。
【図１８】図１８は表示デバイスにより視差量を調整する実施例を示すフローチャートである。
【図１９】図１９は視差調整パラメータΔｘの他の例を示すグラフである。
【図２０】図２０は視差調整パラメータΔｘの更に他の例を示すグラフである。
【発明を実施するための形態】
【００２３】
以下、添付図面に従って本発明に係る３次元画像出力装置及び方法の実施の形態について説明する。
【００２４】
［３次元画像出力装置の第１実施形態］
図１は本発明の第１実施形態の３次元画像出力装置を示す外観図である。
【００２５】
図１に示すように、この３次元画像出力装置（３Ｄ画像出力装置）１０は、カラーの３次元液晶ディスプレイ（以下、「３Ｄ ＬＣＤ」という）１２を搭載したデジタルフォトフレームであり、前面には電源スイッチ、通常表示・スライドショー等を選択する操作部１４が設けられ、側面にはメモリカードスロット１６が設けられている。
【００２６】
図２は上記３Ｄ画像出力装置１０の内部構成を示すブロック図である。
【００２７】
図２に示すように３Ｄ画像出力装置１０は、上記３Ｄ ＬＣＤ１２、操作部１４の他に、中央処理装置（ＣＰＵ）２０、ワークメモリ２２、カードインターフェース（カードＩ／Ｆ）２４、表示コントローラ２６、バッファメモリ２８、ＥＥＰＲＯＭ３０、及び電源部３２を備えている。
【００２８】
３Ｄ ＬＣＤ１２は、複数の視差画像（右目用画像、左目用画像）をレンチキュラレンズやパララックスバリア等によりそれぞれ所定の指向性をもった指向性画像を表示するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右目用画像と左目用画像とを個別に見ることができるものなどが適用できる。
【００２９】
ＣＰＵ２０は、操作部１４からの入力に基づき所定の制御プログラムに従って３Ｄ画像出力装置１０全体の動作を統括制御する制御手段として機能する。尚、ＣＰＵ２０による制御内容については後述する。
【００３０】
ワークメモリ２２は、ＣＰＵ２０の演算作業用領域及び画像データの一時記憶領域を含んでいる。
【００３１】
カードＩ／Ｆ２４は、デジタルカメラの記録メディアであるメモリカード３４がメモリカードスロット１６に装着されると、メモリカード３４と電気的に接続され、メモリカード３４との間でデータ（画像データ）の送受信を行うための装置である。
【００３２】
表示コントローラ２６は、表示用の画像データ専用の一時記憶領域であるバッファメモリ２８から３Ｄ表示用の画像データ（複数の画像データ）を繰り返し読み出し、３Ｄ ＬＣＤ１２での３Ｄ表示用の信号に変換して３Ｄ ＬＣＤ１２に出力する。これにより、３Ｄ ＬＣＤ１２に３Ｄ画像を表示させる。
【００３３】
電源部３２は、図示しないバッテリ又は商用電源からの電力を制御して、３Ｄ画像出力装置１０各部に動作電力を供給する。
【００３４】
［３Ｄ画像出力装置１０の作用］
操作部１４の電源スイッチがオンされ、再生モードとしてスライドショー再生が設定されている場合には、ＣＰＵ２０は、メモリカードスロット１６に装着されているメモリカード３４からカードＩ／Ｆ２４を介してファイル番号順に画像ファイルを所定のインターバルで読み出す。尚、この画像ファイルは、１つのファイルに複数の視差画像が格納された３Ｄ表示用の３Ｄ画像ファイルであるが、この３Ｄ画像ファイルのデータ構造の詳細は後述する。
【００３５】
ＣＰＵ２０は、読み出した３Ｄ画像ファイルから複数の視差画像と、複数の視差画像上で特徴が一致する複数の組の特徴点の座標値と、複数の組の特徴点の座標値の差分である視差量を取得する。尚、３Ｄ画像ファイルの付属情報中に、上記複数の組の特徴点の座標値等が含まれていない場合には、複数の視差画像を解析して各特徴点の座標値を取得する。
【００３６】
ここで、特徴点は、図３に示すように視差画像内で一意に特定できる特徴のある特徴点ｌ，ｍであり、他の視差画像との間で同じ特徴点ｌ，ｍを特定できるものである。
【００３７】
図５に示すように、４視点から撮影された４つの視差画像の同じ特徴点ｌ、ｍの座標値はそれぞれ異なる値をとり、図５に示す例では、特徴点ｌは、視点番号が大きくなるにしたがって（図４に示すように視点位置が左側に移動する程）、ｘ座標値が小さくなり、特徴点ｍは、視点番号が大きくなるにしたがってｘ座標値が大きくなっている。
【００３８】
これは、特徴点ｌを含む被写体は、各撮像部の光軸が交差する位置よりも遠い位置にある遠景であり、特徴点ｍを含む被写体は、各撮像部の光軸が交差する位置よりも近い位置にある前景であることに基づく。
【００３９】
上記特徴点の検出は、従来から様々な手法が提案されており、例えば、ブロックマッチング法、ＫＬＴ法(Tomasi & Kanade,1991,Detection and Tracking of Point Features)、ＳＩＦＴ(Scale Invariant Feature Transform)などを用いることができ、また、近年の顔検出技術を特徴点の検出に適用することができる。
【００４０】
また、視差画像中の特徴点は、複数の視差画像間でその特徴が一意に特定できる全ての点をとることが望ましい。
【００４１】
複数の視差画像間で特徴が一致する特徴点の検出に、ブロックマッチング法を適用する場合には、複数の視差画像のうちの１つの画像（例えば、左画像）から任意の画素を基準に切り出した所定のブロックサイズのブロックと、複数の視差画像のうちの他の視差画像（例えば、右画像）のブロックとの一致度を評価し、ブロック間の一致度が最大となるときの右画像のブロックの基準の画素を、前記左画像の任意の画素に対応する右画像の画素とする。
【００４２】
ブロックマッチング法でのブロック間の一致度を評価する関数として、例えば各ブロック内の画素の輝度差の２乗和（ＳＳＤ）を使用するものがある（ＳＳＤブロックマッチング法）。
【００４３】
このＳＳＤブロックマッチング法では、両画像のブロック内の各画素f(i,j)，g(i,j)について、次式の演算を行う。
【００４４】
【数１】
【００４５】
上記［数１］式の演算を、右画像上でブロックの位置を所定の探索領域内で移動させながら行い、ＳＳＤ値が最小となるときの探索領域内の位置の画素を探索対象の画素とする。
【００４６】
そして、左画像上の画素の位置と、探索した対応する右画像上の画素との画素間のずれ量及びずれ方向を示す視差（左右の画像が水平状態で撮影されている場合には、ずれ方向は正負で表すことができる）を求める。
【００４７】
＜視差量の調整の第１実施例＞
次に、本発明に係る視差量の調整方法の第１実施例について説明する。
【００４８】
ＣＰＵ２０は、取得した各組の特徴点の視差量を調整するが、その視差量の大きさに応じて該視差量に対して重み付けの異なる調整を行う。
【００４９】
いま、図６に示すように２枚の視差画像（右目用画像Ｒ、左目用画像Ｌ）の視点間の距離をＳとすると、仮想視点（左目用画像Ｌの視点からｔの距離にある視点）で撮影された点線で示す画像（仮想視点画像）上の任意の特徴点の視差量d'(x,y)は、次式により表すことができる。
【００５０】
【数２】
【００５１】
ここで、d(x,y)は、上記任意の特徴点の右目用画像Ｒ、左目用画像Ｌ間の視差量である。
【００５２】
特許文献１に記載の発明は、上記のように仮想視点の位置を決定し、その仮想視点位置での視差量d'(x,y)を求めることで、視差量d(x,y)の調整を行っている。
【００５３】
これに対し、本発明の実施例では、仮想視点位置での任意の特徴点の視差量d'(x,y)を、次式により算出することにより視差量の調整を行うようにしている。
【００５４】
【数３】
【００５５】
ここで、Δｔは、仮想視点の位置を調整する視差調整パラメータであり、図７のグラフ(1),(2),(3)に示すように、特徴点の視差量の関数である。この視差調整パラメータΔｔにより上記仮想視点の位置は一点鎖線で示すように調整される。
【００５６】
上記［数３］式の意味するところでは、仮想視点の位置を更に視差調整パラメータΔｔにより調整し、例えば、視差調整パラメータΔｔによりｔが大きくなるように仮想視点の位置を調整すると、視差量d'(x,y)は調整前に比べて大きくなり、逆に視差調整パラメータΔｔによりｔが小さくなるように仮想視点の位置を調整すると、視差量d'(x,y)は調整前に比べて小さくなる。
【００５７】
また、図７のグラフ(1),(2)に示す視差調整パラメータΔｔは、視差量が大きい（前景に近い）程、正方向に大きな値をとり、視差量が負方向に大きい（背景に近い）程、負方向に大きな値をとる傾向を示しており、図７のグラフ(3)に示す視差調整パラメータΔｔは、上記グラフ(1),(2)とは逆に、視差量が正方向に大きい程、負方向に大きな値をとり、視差量が負方向に大きい程、正方向に大きな値をとる傾向を示している。
【００５８】
ＣＰＵ２０は、３Ｄ ＬＣＤ１２の少なくともサイズ情報を含む表示部情報に応じて上記グラフ(1),(2),(3)のうちにいずれかのグラフに対応する変換テーブルを、ＥＥＰＲＯＭ３０から読み出し、視差画像中の各特徴点ごとに、その特徴点の視差量に対応する視差調整パラメータΔｔを読み出し、上記［数３］式により視差量d'(x,y)を算出する。尚、仮想視点の位置は、特許文献１に記載の発明と同様に視点画像サイズ、視点画像間の視差に関する視差情報、及び立体表示デバイスのサイズ等の情報により決定することができる。
【００５９】
いま、右目用の視差画像を基準画像とし、左目用の視差画像から視差調整後の視差画像を生成する場合には、左目用の視差画像の各特徴点の基準画像に対する視差量と、この視差量を上記［数３］式により調整した視差量とに基づいて左目用の視差画像の各特徴点の座標値が、前記調整後の視差量をもつ座標値となるように左目用の視差画像を幾何変形される。この幾何変形は、射影変換パラメータを使用した射影変換、アフィン変換パラメータを使用したアフィン変換、ヘルマート変換パラメータを使用したヘルマート変換等によって行うことができる。
【００６０】
ＣＰＵ２０により生成された左目用の視差画像は、右目用の視差画像（基準画像）とともにバッファメモリ２８に出力され、ここに一時記憶される。
【００６１】
表示コントローラ２６は、バッファメモリ２８から２枚の視差画像（右目用画像と左目用画像）を読み出し、３Ｄ表示用の信号に変換して３Ｄ ＬＣＤ１２に出力する。これにより、３Ｄ ＬＣＤ１２に３Ｄ画像（左右の視差画像）を表示させる。
【００６２】
尚、この実施の形態の３Ｄ画像出力装置１０は、３Ｄ ＬＣＤ１２を搭載したデジタルフォトフレームであるが、本発明はこれに限らず、種々の画面サイズを有する立体表示デバイス、３Ｄプラズマディスプレイ、３Ｄ有機ＥＬディスプレイ等の種類の異なる立体表示デバイス、立体表示プリントを生成するプリンタ等に視差画像を出力する３Ｄ画像出力装置にも適用できる。この場合、立体表示に使用される表示部に関する情報のうちの少なくとも表示部のサイズ情報を含む表示部情報を取得し、その表示部情報に基づいて視差量を調整することが好ましい。
【００６３】
例えば、表示サイズが小さい立体表示デバイスの場合には、図７のグラフ(1),(2)に対応する変換テーブルから視差調整パラメータΔｔを求め、その視差調整パラメータΔｔで調整した視差量となるように視差画像を生成することにより、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える立体画像（迫力のある立体感のある立体画像）の表示が可能になる。
【００６４】
一方、表示サイズが大きい立体表示デバイスの場合には、図７のグラフ(3)に対応する変換テーブルから視差調整パラメータΔｔを求め、その視差調整パラメータΔｔで調整した視差量となるように視差画像を生成することにより、前景の飛び出し量を抑制し、背景の奥行き感を強調した立体画像（ソフトな立体感のある立体画像）の表示が可能になる。
【００６５】
［３次元画像出力装置の第２実施形態］
図８は本発明に係る３Ｄ画像出力装置を備えたデジタルカメラ１００の内部構成を示すブロック図である。
【００６６】
図８に示すように、デジタルカメラ１００は、２つの撮影部１１２Ｒ及び１１２Ｌを備えた複眼カメラである。尚、撮影部１１２は、２つ以上であってもよい。
【００６７】
デジタルカメラ１００は、複数の撮影部１１２Ｒ及び１１２Ｌによって撮影した複数の画像からなる３Ｄ画像を１つの３Ｄ表示用の３Ｄ画像ファイルとして記録することができる。
【００６８】
メインＣＰＵ１１４（以下、「ＣＰＵ１１４」という）は、操作部１１６からの入力に基づき所定の制御プログラムに従ってデジタルカメラ１００全体の動作を統括制御する。
【００６９】
ＣＰＵ１１４には、システムバス１２２を介してＲＯＭ１２４、ＥＥＰＲＯＭ１２６及びワークメモリ１２８が接続されている。ＲＯＭ１２４には、ＣＰＵ１１４が実行する制御プログラム及び制御に必要な各種データ等が格納される。ＥＥＰＲＯＭ１２６には、ユーザ設定情報等のデジタルカメラ１００の動作に関する各種設定情報等が格納される。ワークメモリ１２８は、ＣＰＵ１１４の演算作業用領域及び画像データの一時記憶領域を含んでいる。
【００７０】
操作部１１６は、ユーザが各種の操作入力を行うための手段であり、電源／モードスイッチ、モードダイヤル、レリーズスイッチ、十字キー、ズームボタン、ＭＥＮＵ／ＯＫボタン、ＤＩＳＰボタン及びＢＡＣＫボタンを含んでいる。操作用表示部１１８は、操作部１１６からの操作入力の結果を表示するための手段であり、例えば、液晶パネル又は発光ダイオード（ＬＥＤ）を含んでいる。
【００７１】
電源／モードスイッチは、デジタルカメラ１００の電源のオン／オフの切り替え、及びデジタルカメラ１００の動作モード（再生モード及び撮影モード）の切り替え手段である。電源／モードスイッチがオンになると、電源部１２０からデジタルカメラ１００の各部への電力の供給が開始され、デジタルカメラ１００の各種の動作が開始される。また、電源／モードスイッチがオフになると、電源部１２０からデジタルカメラ１００の各部への電力の供給が停止される。
【００７２】
モードダイヤルは、デジタルカメラ１００の撮影モードを切り替えるための操作手段であり、モードダイヤルの設定位置に応じて、２Ｄの静止画を撮影する２Ｄ静止画撮影モード、２Ｄの動画を撮影する２Ｄ動画撮影モード、３Ｄの静止画を撮影する３Ｄ静止画撮影モード及び３Ｄの動画を撮影する３Ｄ動画撮影モードの間で撮影モードが切り替えられる。撮影モードが２Ｄ静止画撮影モード又は２Ｄ動画撮影モードに設定されると、撮影モード管理フラグ１３０に、２Ｄ画像を撮影するための２Ｄモードであることを示すフラグが設定される。また、撮影モードが３Ｄ静止画撮影モード又は３Ｄ動画撮影モードに設定されると、撮影モード管理フラグ１３０に、３Ｄ画像を撮影するための３Ｄモードであることを示すフラグが設定される。ＣＰＵ１１４は、撮影モード管理フラグ１３０を参照して、撮影モードの設定を判別する。
【００７３】
レリーズスイッチは、いわゆる「半押し」と「全押し」とからなる２段ストローク式のスイッチで構成されている。静止画撮影モード時には、レリーズスイッチが半押しされると、撮影準備処理（例えば、ＡＥ（Automatic Exposure：自動露出）処理、ＡＦ（Auto Focus：自動焦点合わせ）処理、ＡＷＢ（Automatic White Balance：自動ホワイトバランス）処理）が行われ、レリーズスイッチが全押しされると、静止画の撮影・記録処理が行われる。また、動画撮影モード時には、レリーズスイッチが全押しされると動画の撮影が開始され、再度全押しされると動画の撮影が終了する。尚、静止画撮影用のレリーズスイッチ及び動画撮影用のレリーズスイッチを別々に設けるようにしてもよい。
【００７４】
３Ｄ ＬＣＤ１５０は、図１に示した３Ｄ画像出力装置１０の３Ｄ ＬＣＤ１２と同様の３Ｄ画像表示器であり、撮影した２Ｄ画像又は３Ｄ画像を表示するための画像表示部として機能するとともに、各種設定時にＧＵＩとして機能する。また、３Ｄ ＬＣＤ１５０は、撮影モード時に画角を確認するための電子ファインダとして機能する。
【００７５】
縦／横撮り検出回路１３２は、例えば、デジタルカメラ１００の向きを検出するためのセンサを含んでおり、デジタルカメラ１００の向きの検出結果をＣＰＵ１１４に入力する。ＣＰＵ１１４は、デジタルカメラ１００が向きの場合に、縦撮りと横撮りの切り替えを行う。
【００７６】
次に、デジタルカメラ１００の撮影機能について説明する。尚、図８では、各撮影部１１２Ｒ及び１１２Ｌ内の各部にそれぞれ符号Ｒ及びＬを付して区別しているが、各部の機能は略同様であるため、以下の説明では、符号Ｒ及びＬを省略して説明する。
【００７７】
撮影レンズ１６０は、ズームレンズ、フォーカスレンズ及び絞りを備えている。ズームレンズ及びフォーカスレンズは、各撮影部の光軸（図中のＬＲ及びＬＬ）に沿って前後に移動する。ＣＰＵ１１４は、測光・測距ＣＰＵ１８０を介して不図示のズームアクチュエータの駆動を制御することにより、ズームレンズの位置を制御してズーミングを行い、測光・測距ＣＰＵ１８０を介してフォーカスアクチュエータの駆動を制御することにより、フォーカスレンズの位置を制御してフォーカシングを行う。また、ＣＰＵ１１４は、測光・測距ＣＰＵ１８０を介して絞りアクチュエータの駆動を制御することにより、絞りの開口量（絞り値）を制御し、撮像素子１６２への入射光量を制御する。
【００７８】
ＣＰＵ１１４は、３Ｄモード時に複数の画像を撮影する場合に、各撮影部１１２Ｒ及び１１２Ｌの撮影レンズ１６０Ｒ及び１６０Ｌを同期させて駆動する。即ち、撮影レンズ１６０Ｒ及び１６０Ｌは、常に同じ焦点距離（ズーム倍率）に設定される。また、常に同じ入射光量（絞り値）となるように絞りが調整される。更に、３Ｄモード時には、常に同じ被写体にピントが合うように焦点調節が行われる。
【００７９】
フラッシュ発光部１７６は、例えば、放電管（キセノン管）により構成され、暗い被写体を撮影する場合や逆光時等に必要に応じて発光される。充電／発光制御部１７８は、フラッシュ発光部１７６を発光させるための電流を供給するためのメインコンデンサを含んでいる。ＣＰＵ１１４は、測光・測距ＣＰＵ１８０にフラッシュ発光指令を送信して、メインコンデンサの充電制御、フラッシュ発光部１７６の放電（発光）のタイミング及び放電時間の制御等を行う。尚、フラッシュ発光部１７６としては、発光ダイオードを用いてもよい。
【００８０】
撮影部１１２は、被写体に光を照射するための距離用発光素子１８６（例えば、発光ダイオード）と、上記距離用発光素子１８６により光が照射された被写体の画像（測距用画像）を撮影する距離用撮像素子１８４とを備えている。
【００８１】
測光・測距ＣＰＵ１８０は、ＣＰＵ１１４からの指令に基づいて、所定のタイミングで距離用発光素子１８６を発光させるとともに、距離用撮像素子１８４を制御して測距用画像を撮影させる。
【００８２】
距離用撮像素子１８４によって撮影された測距用画像は、Ａ／Ｄ変換器１９６によりデジタルデータに変換されて、距離情報処理回路１９８に入力される。
【００８３】
距離情報処理回路１９８は、距離用撮像素子１８４から取得した測距用画像を用いて、いわゆる三角測距の原理に基づいて、撮影部１１２Ｒ及び１１２Ｌによって撮影された被写体とデジタルカメラ１００との間の距離（被写体距離）を算出する。距離情報処理回路１９８によって算出された被写体距離は、距離情報記憶回路１０３に記録される。
【００８４】
尚、被写体距離の算出方法としては、距離用発光素子１８６が発光してから、距離用発光素子１８６によって照射された光が被写体によって反射され、距離用撮像素子１８４に届くまでの光の飛行時間（遅れ時間）と光の速度から被写体距離を算出するＴＯＦ（Time of Flight）法を用いてもよい。
【００８５】
また、撮影部１１２は、間隔／輻輳角駆動回路１８８及び間隔／輻輳角検出回路１９０を備えている。
【００８６】
間隔／輻輳角駆動回路１８８Ｒ及び１８８Ｌは、それぞれ撮影部１１２Ｒ及び１１２Ｌを駆動する。ＣＰＵ１１４は、間隔／輻輳角制御回路１９２を介して間隔／輻輳角駆動回路１８８Ｒ及び１８８Ｌを動作させて、撮影レンズ１６０Ｒと１６０Ｌとの間隔及び輻輳角を調整する。
【００８７】
間隔／輻輳角検出回路１９０Ｒ及び１９０Ｌは、例えば、電波を送受信する手段を含んでいる。ＣＰＵ１１４は、間隔／輻輳角制御回路９２を介して間隔／輻輳角検出回路１９０Ｒ及び１９０Ｌを動作させて、電波を相互に送受信させることにより、撮影レンズ１６０Ｒと１６０Ｌとの間隔及び輻輳角を測定する。撮影レンズ１６０Ｒと１６０Ｌとの間隔及び輻輳角の測定結果は、レンズ間隔・輻輳角記憶回路１０２に記憶される。
【００８８】
撮像素子１６２は、例えば、カラーＣＣＤ固体撮像素子により構成されている。撮像素子１６２の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列で３原色（Ｒ、Ｇ、Ｂ）のカラーフィルタが配置されている。撮影レンズ１６０によって撮像素子６２の受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ１１４の指令に従ってＴＧ１６４から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（Ｒ、Ｇ、Ｂ信号）として撮像素子１６２から順次読み出される。撮像素子１６２は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。
【００８９】
尚、撮像素子１６２としては、ＣＭＯＳセンサ等のＣＣＤ以外の撮像素子を用いることもできる。
【００９０】
アナログ信号処理部１６６は、撮像素子１６２から出力されたＲ、Ｇ、Ｂ信号に含まれるリセットノイズ（低周波）を除去するための相関２重サンプリング回路（ＣＤＳ）、Ｒ、Ｇ、Ｂ信号を増幅して一定レベルの大きさにコントロールするためのＡＧＳ回路を含んでいる。撮像素子１６２から出力されるアナログのＲ、Ｇ、Ｂ信号は、アナログ信号処理部１６６によって相関２重サンプリング処理されるとともに増幅される。アナログ信号処理部１６６から出力されたアナログのＲ、Ｇ、Ｂ信号は、Ａ／Ｄ変換器１６８によってデジタルのＲ、Ｇ、Ｂ信号に変換されて、画像入力コントローラ（バッファメモリ）１７０に入力される。
【００９１】
デジタル信号処理部１７２は、同時化回路（単板ＣＣＤのカラーフィルタ配列に伴う色信号の空間的なズレを補間して色信号を同時式に変換する処理回路）、ホワイトバランス調整回路、階調変換処理回路（ガンマ補正回路）、輪郭補正回路、輝度・色差信号生成回路等を含んでいる。画像入力コントローラ１７０に入力されたデジタルのＲ、Ｇ、Ｂ信号は、デジタル信号処理部１７２によって、同時化処理、ホワイトバランス調整、階調変換及び輪郭補正等の所定の処理が施されるとともに、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹ／Ｃ信号に変換される。
【００９２】
ライブビュー画像（スルー画）を３Ｄ ＬＣＤ１５０に表示する場合、デジタル信号処理部１７２において生成されたＹ／Ｃ信号がバッファメモリ１４４に順次供給される。表示コントローラ１４２は、バッファメモリ１４４に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部１４６に出力する。ＹＣ−ＲＧＢ変換部１４６は、表示コントローラ１４２から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ１４８を介して３Ｄ ＬＣＤ１５０に出力する。これにより、３Ｄ ＬＣＤ１５０にスルー画が表示される。
【００９３】
ここで、カメラのモードが撮影モードであり、２Ｄモードの場合には、所定の１つの撮影部（例えば、１１２Ｒ）により記録用の画像が撮影される。２Ｄモード時に、撮影部１１２Ｒによって撮影された画像は、圧縮・伸張処理部１７４Ｒによって圧縮される。この圧縮画像データは、メモリコントローラ１３４及びカードＩ／Ｆ１３８を介して、所定形式の画像ファイルとしてメモリカード３４に記録される。例えば、静止画についてはＪＰＥＧ（Joint Photographic Experts Group）、動画についてはＭＰＥＧ２又はＭＰＥＧ４、Ｈ．２６４規格に準拠した圧縮画像ファイルとして記録される。
【００９４】
また、カメラのモードが撮影モードであり、３Ｄモード時には、撮影部１１２Ｒ及び１１２Ｌによって同期して画像が撮影される。尚、３Ｄモード時には、ＡＦ処理及びＡＥ処理は、撮影部１１２Ｒ及び１１２Ｌのいずれか一方によって取得された画像信号に基づいて行われる。３Ｄモード時に、各撮影部１１２Ｒ及び１１２Ｌによって撮影された２視点の画像は、それぞれ圧縮・伸張処理部１７４Ｒ及び１７４Ｌによって圧縮され、１つの３Ｄ画像ファイルに格納されてメモリカード３４に記録される。また、３Ｄ画像ファイルには、２視点の圧縮画像データとともに、被写体距離情報、撮影レンズ１６０Ｒ及び１６０Ｌの間隔及び輻輳角に関する情報等が格納される。
【００９５】
一方、カメラの動作モードが再生モード時には、メモリカード３４に記録されている最終の画像ファイル（最後に記録された画像ファイル）が読み出されて、圧縮・伸張処理部１７４によって非圧縮のＹ／Ｃ信号に伸張された後、バッファメモリ１４４に入力される。表示コントローラ１４２は、バッファメモリ１４４に供給されたＹ／Ｃ信号を読み出してＹＣ−ＲＧＢ変換部１４６に出力する。ＹＣ−ＲＧＢ変換部１４６は、表示コントローラ１４２から入力されたＹ／Ｃ信号をＲ、Ｇ、Ｂ信号に変換してドライバ１４８を介して３Ｄ ＬＣＤ１５０に出力する。これにより、メモリカード３４に記録されている画像ファイルの画像が３Ｄ ＬＣＤ１５０に表示される。
【００９６】
ここで、メモリカード３４から読み出された画像ファイルが３Ｄ画像ファイルの場合には、前述した３Ｄ画像出力装置１０と同様に、視差量を調整した視差画像が生成され、調整後の視差画像を含む２枚の視差画像が３Ｄ ＬＣＤ１５０に表示される。
【００９７】
［３Ｄ画像ファイルのデータ構造］
図９はデジタルカメラ１００によりメモリカード３４に記録される３Ｄ表示用の３Ｄ画像ファイルのデータ構造の一例を示す図である。
【００９８】
図９に示すように３Ｄ画像ファイルＦは、Exif規格のファイルフォーマットを利用し、複数の画像を一体化して記録するファイル形式を採っており、視点画像(1)（先頭画像）Ａ１、視点画像(2)Ａ２，視点画像(2)Ａ２、…、視点画像(n)Ａｎが連結されて構成されている。
【００９９】
各視点画像の領域は、各視点画像の開始位置を示すＳＯＩ（Start of Image）と終了位置を示すＥＯＩ（End of Image）とにより区分されており、ＳＯＩの次に視点画像のExif付属情報が記録されるAPP1マーカセグメントと、多視点付属情報が記録されるAPP2マーカセグメントが設けられ、その次に視点画像が記録される。
【０１００】
尚、APP1マーカセグメントには、Ｅｘｉｆ識別情報、ＴＩＦＦヘッダ、ＩＦＤ（Image file directory）領域（ＩＦＤ０領域（0th IFD）及びＩＦＤ１領域（1st IFD））が設けられている。ＩＦＤ１領域（1st IFD）には、視点画像から生成されたサムネイル画像が格納される。また、APP2マーカセグメントには、個別情報ＩＦＤが含まれる。
【０１０１】
個別情報ＩＦＤには、視点画像の枚数、視点画像番号、輻輳角、基線長等が含まれるが、この実施の形態では、図１０に示すように、基準視点番号のタグ値と前景代表視差量、背景代表視差量のタグ値が更に記録される。
【０１０２】
前景代表視差量は、基準視点（図１０の例では、「１」）と、視点画像の視点（ｉ）間の前景の視差を代表する値であり、ＡＦ合焦時の視差、最近接位置視差、顔認識位置中心の視差などを表す値を使用することができる。
【０１０３】
背景代表視差量は、基準視点（図１０の例では、「１」）と、視点画像の視点（ｉ）間の背景の視差を代表する値であり、例えば、視差量が最も小さい値（負値を含む）を表す値を使用することができる。
【０１０４】
尚、図１０に示した前景代表視差量、背景代表視差量の数値の例は、視差画像の左右方向の視差量に相当する画素数（負は視差方向が逆）を示している。また、視差画像の左右方向の画素数は１０００画素である。
【０１０５】
図１１は図４に示した４視点の場合の各視点の代表視差量（前景代表視差量、背景代表視差量）の例を示す図表である。
【０１０６】
また、図１２に示すように、３Ｄ画像ファイルの個別情報ＩＦＤには、視点画像内の各特徴点１、２、３、…、ｋの座標値が更に記録されている。
【０１０７】
尚、各視差画像間の特徴点の抽出、前景代表視差量、背景代表視差量の算出等は、デジタルカメラ１００により行われ、３Ｄ画像ファイルの作成時に視差画像の付属情報として記録される。
【０１０８】
＜視差量の調整の第２実施例＞
図１３は視差量を調整する視差調整パラメータΔｘの一例を示すグラフである。
【０１０９】
図７に示した第１実施例の視差調整パラメータΔｔは、仮想視点位置を調整するパラメータであるが、図１３のグラフ(1),(2)に示す視差調整パラメータΔｘは、視差量に加算されることにより該視差量を調整するパラメータである。
【０１１０】
いま、図１４に示すように視差画像からｎ個の特徴点が抽出され、各特徴点別に視差量が求められている場合、その視差量に基づいて図１３のグラフ(1)に対応する変換テーブルから対応する視差調整パラメータΔｘを読み出す。図１３のグラフ(1)によれば、視差調整パラメータΔｘは、視差量が正方向に大きい（前景に近い）程、及び視差量が負方向に大きい（背景に近い）程、正方向に大きな値をとるようになっている。
【０１１１】
上記視差量に対応する視差調整パラメータΔｘを各特徴点別の視差量に加算することにより、視差量を調整することができる。
【０１１２】
図１３のグラフ(1)に示した視差調整パラメータΔｘによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより大きくする重み付け調整が行われ、一方、遠くに見える特徴点の視差量（負方向に大きくなる視差量）を小さくする重み付け調整が行われることになる。
【０１１３】
そして、上記のように視差量が調整された特徴点をもつように視差画像を幾何変形させた視差画像を生成することにより、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
【０１１４】
尚、図１３のグラフ(1)とは逆の特性をもったグラフ(2)の視差調整パラメータΔｘによれば、上記とは逆に前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になる。
【０１１５】
＜視差量の調整の第３実施例＞
図１５は視差量を調整する視差調整パラメータΔｐの一例を示すグラフである。
【０１１６】
図１５のグラフ(1),(2)に示す視差調整パラメータΔｐは、視差量に乗算されることにより該視差量を調整するパラメータであり、グラフ(1)によれば、視差調整パラメータΔｐは、視差量が大きい（前景に近い）程、１よりも大きな値をとり、視差量が負方向に大きい（背景に近い）程、１よりも小さい値をとるようになっている。
【０１１７】
上記視差量に対応する視差調整パラメータΔｐを各特徴点別の視差量に乗算することにより、視差量を調整することができる。
【０１１８】
図１５のグラフ(1)に示した視差調整パラメータΔｐによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより大きくする重み付け調整が行われ、一方、遠くに見える特徴点の視差量（負方向に大きくなる視差量）をより小さくする重み付け調整が行われることになり、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
【０１１９】
一方、図１５のグラフ(1)とは逆の特性をもったグラフ(2)の視差調整パラメータΔｐによれば、上記とは逆に前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になる。
【０１２０】
＜視差量の調整の第４実施例＞
図１５は入力する視差量を所望の視差量に変換して出力する変換テーブルの一例を示す
グラフである。
【０１２１】
図１６のグラフ(1),(2)に示す変換テーブルは、入力画像の各特徴点の視差量を、その視差量の大きさに応じて適宜の視差量に変換する変換テーブルであり、グラフ(1)に示す変換テーブルによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより大きくする変換が行われ、一方、遠くに見える特徴点の視差量（負方向に大きくなる視差量）をより小さくする変換が行われることになる。
【０１２２】
一方、図１６のグラフ(2)に示す変換テーブルによれば、近くに見える特徴点の視差量（正方向に大きい視差量）をより小さくする変換が行われ、遠くに見える特徴点の視差量（負方向に大きくなる視差量）をより大きくする変換が行われることになる。
【０１２３】
＜視差量の調整の第５実施例＞
図１７は入力する視差量を所望の視差量に変換して出力する変換テーブルの他の例を示すグラフである。
【０１２４】
図１７に示す変換テーブルは、プリント用紙（表示部）に視差画像を印刷する際に使用される変換テーブルであり、入力画像上の最大の視差量(max)がプリント用紙上で３mmの視差量となり、入力画像上の負方向の最大の視差量(min)がプリント用紙上で−８mmの視差量となるように変換する。
【０１２５】
例えば、入力する視差画像の各特徴点の視差量のうちの最大値（前景代表値）及び負方向の最大値（背景代表値）を求め、これらの前景代表値及び背景代表値により各特徴点の視差量を正規化し（例えば前景代表値が１、背景代表値が−１となるように正規化し）、この正規化した視差量を、図１７に示す変換テーブルによりプリント用紙上での視差量に変換する。
【０１２６】
上記のように視差量が調整された視差画像が印画されたプリント用紙の表面には、レンチキュラーシートが貼付され、これにより立体視が可能な写真プリントになる。
【０１２７】
立体視が可能な写真プリントでは、そのプリント上の各視差画像の最大の視差量(max)が３mm、負方向の最大の視差量(min)が−８mmのときに、より好ましい立体画像を視認することができることが実験により確認されている。
【０１２８】
［表示デバイスにより視差量を調整する実施例］
図１８は表示デバイスにより視差量を調整する実施例を示すフローチャートである。
【０１２９】
まず、複数の視差画像を読み込み（ステップＳ１０）、各視差画像における特徴点（対応点）の視差量を取得する（ステップＳ１２）。尚、図１２に示したように３Ｄ画像ファイルの個別情報に各特徴点の座標値が含まれている場合には、その座標値から視差量を演算することができ、一方、３Ｄ画像ファイルの個別情報に各特徴点の座標値が含まれていない場合には、各視差画像から特徴点の抽出を行い、視点の座標値を取得して視差量を算出する。
【０１３０】
次に、表示デバイスの情報を取得する（ステップＳ１４）。この表示デバイスの情報の取得は、本発明に係る３Ｄ画像出力装置を表示デバイスに接続することにより、表示デバイス側から自動的に表示デバイスの情報を取得してもよいし、マニュアルで表示デバイスの情報を入力してもよい。
【０１３１】
続いて、取得した表示デバイスの情報からデバイスの種別（ディスプレイ、プリンタ）を判別し（ステップＳ１６）、更にディスプレイと判別されると、ディスプレイの画面サイズが、所定のサイズ（水平方向の長さが６５mm）以上か否かを判別する（ステップＳ１８）。尚、６５mmは、人の左右の目の間隔である。
【０１３２】
ここで、デバイス種別がディスプレイで、その画面サイズが６５mm以上と判別されると、視差量を変換する変換テーブルとして大画面用テーブルが選択され（ステップＳ２０）、画面サイズが６５mm未満と判別されると、変換テーブルとして大画面用テーブルが選択され（ステップＳ２２）。
【０１３３】
一方、デバイス種別がプリンタと判別されると、変換テーブルとして印刷用テーブルが選択され（ステップＳ２４）。
【０１３４】
例えば、上記大画面用テーブルとしては、図１６のグラフ(2)に示した変換テーブルを適用し、小画面用テーブルとしては、図１６のグラフ(1)に示した変換テーブルを適用することが考えられる。
【０１３５】
これによれば、大画面の表示ディスプレイの場合には、前景の飛び出し量を抑制し、背景の奥行き感を強調した視差画像を生成することができ、ソフトな立体感のある立体画像の表示が可能になり、観察者の疲労感を軽減させることができる。また、小画面の表示ディスプレイの場合には、背景の奥行き感を抑制しつつ、前景がより前方に飛び出して見える視点画像を生成することができ、より迫力のある立体感のある立体画像の表示が可能になる。
【０１３６】
一方、印刷用テーブルとしては、図１７に示した変換テーブルを使用する。これによれば、より好ましい立体視が可能な写真プリントを印刷することができる。尚、この実施の形態では、デバイス種別がプリンタの場合には、更にプリントサイズにより変換テーブルを切り替えていない。これは、図１７に示した変換テーブルによれば、写真プリントのプリントサイズに関わらず、好ましい立体視が可能な写真プリントが得られることが確認されているからである。
【０１３７】
上記のようにして変換テーブルが選択されると、選択された変換テーブルにより入力する各視差量を変換し、その変換後（視差調整後）の各特徴点の視差量に対応する視差画像を生成する（ステップＳ２６）。このようにして生成した各視差画像を３Ｄの表示デバイスに出力し、３Ｄ画像の立体視を可能にする（ステップＳ２８）。
【０１３８】
＜視差量の調整の第６実施例＞
図１９は視差量を調整する視差調整パラメータΔｘの他の例を示すグラフである。
【０１３９】
図１９のグラフ(1)-1は、グラフ(1)(図１３のグラフ(1)に相当)を視差量の正方向にシフトしたグラフであり、図１９のグラフ(1)-2は、グラフ(1)を視差量の負方向にシフトしたグラフである。
【０１４０】
従って、グラフ(1)-1に示す視差調整パラメータΔｘによって視差画像の視差量が調整されると、グラフ(1)に示す視差調整パラメータΔｘによって視差量が調整される視差画像に比べて、前景の飛び出し量が低減されるとともに、背景の奥行き感も低減された視差画像が生成される。
【０１４１】
一方、グラフ(1)-2に示す視差調整パラメータΔｘによって視差画像の視差量が調整されると、グラフ(1)に示す視差調整パラメータΔｘによって視差量が調整される視差画像に比べて、前景の飛び出し量が強調されるとともに、背景の奥行き感も強調された視差画像が生成される。
【０１４２】
また、上記グラフ(1)-1,(1),(1)-2に示す視差調整パラメータΔｘを、３Ｄディスプレイの画面サイズに応じて選択するようにしてもよい。この場合、大画面、中画面、及び小画面に応じて、それぞれグラフ(1)-1,(1),及び(1)-2に示す視差調整パラメータΔｘを適用することが考えられる。
【０１４３】
また、３Ｄディスプレイの画面サイズに限らず、視距離に応じて上記グラフ(1)-1,(1),及び(1)-2を選択するようにしてもよく、視距離が近いときはグラフ(1)-1,遠いときはグラフ(1)-2を選択することが考えられる。尚、視距離は、３Ｄディスプレイ又はその近傍に配設した測距手段により自動的に取得してもよいし、マニュアルで視距離を入力するようにしてもよい。
【０１４４】
＜視差量の調整の第７実施例＞
図２０は視差量を調整する視差調整パラメータΔｘの更に他の例を示すグラフである。
【０１４５】
図２０のグラフ(1)-3,(1)-4に示す視差調整パラメータΔｘは、視差が正方向に一定以上大きくなる場合には、その視差を強調しないように制限されている。
【０１４６】
即ち、図２０のグラフ(1)-3,(1)-4に示す入出力関係を示す変換テーブルでは、変換後の視差量が、予め設定された最大視差量を越えないように制限されている。これは、視差をつけすぎると、３Ｄとして視認できなくなるからである。
【０１４７】
また、図２０のグラフ(1)-3, (1)-4に示す視差調整パラメータΔｘを、３Ｄディスプレイの画面サイズに応じて選択するようにしてもよい。この場合、小画面、大画面に応じて、それぞれグラフ(1)-3,及び(1)-4に示す視差調整パラメータΔｘを適用することが考えられる。
【０１４８】
尚、図１９及び図２０に示した第６実施例及び第７実施例は、図１３のグラフ(1)に示す視差調整パラメータの変形例であるが、図１３のグラフ(2)に示す視差調整パラメータ、図１５に示した視差調整パラメータΔｐ、及び図１６に示した視差量の変換テーブルを変形させる場合にも適用できる。
【０１４９】
［その他］
この実施の形態の３Ｄ画像出力装置（デジタルフォトフレーム、デジタルカメラ）は、３Ｄディスプレイが一体化されたものであるが、これに限らず、本発明は、表示デバイスを備えていない装置（例えば、パソコン本体）にも適用できる。また、本発明に係る３Ｄ画像出力装置は、ハードウエアで実現してもよいし、パソコン本体にインストールするソフトウエアで実現するようにしてもよい。
【０１５０】
３Ｄディスプレイは、実施の形態の３Ｄ ＬＣＤに限らず、３Ｄプラズマディスプレイ、３Ｄ有機ＥＬディスプレイ等の他の３Ｄディスプレイでもよい。
【０１５１】
更に、本発明は上述した実施形態に限定されず、被写体の遠近に関係なく、視差量の調整を自由に行うことができるものであればよく、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１５２】
１０…３次元画像出力装置（３Ｄ画像出力装置）、１２、１５０…３次元液晶ディスプレイ（３Ｄ ＬＣＤ）、２０、１１４…中央処理装置（ＣＰＵ）、２２、１２８…ワークメモリ、２６、１４２…表示コントローラ、２８、１３６…バッファメモリ、３０、１２６…ＥＥＰＲＯＭ
【特許請求の範囲】
【請求項１】
複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得手段と、
前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得手段と、
前記取得した各特徴点の視差量を立体表示プリント用に調整する視差量調整手段であって、前記視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように前記視差量に対して重み付けの異なる視差量の調整を行う視差量調整手段と、
前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成手段と、
前記生成した視差画像を含む複数の視差画像を前記立体表示プリント用として出力する視差画像出力手段と、
を備えたことを特徴とする３次元画像出力装置。
【請求項２】
前記視差量調整手段は、前記飛び出し方向の視差量が大きくなるにつれて該視差量の変化率が小さくなるように視差量を調整し、前記奥行き方向の視差量が大きくなるにつれて該視差量の変化率が大きくなるように視差量を調整することを特徴とする請求項１に記載の３次元画像出力装置。
【請求項３】
前記視差量調整手段は、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ予め設定された視差量になるように調整することを特徴とする請求項１又は２に記載の３次元画像出力装置。
【請求項４】
前記視差量調整手段は、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ３ｍｍ及び−８ｍｍの視差量になるように調整することを特徴とする請求項１又は２に記載の３次元画像出力装置。
【請求項５】
前記視差量調整手段は、正規化された視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルを有し、前記取得した各特徴点の視差量を正規化し、該正規化した視差量に対応する調整後の視差量を前記変換テーブルから読み出すことを特徴とするとする請求項１から４のいずれか１項に記載の３次元画像出力装置。
【請求項６】
複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得ステップと、
前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得ステップと、
前記取得した各特徴点の視差量を立体表示プリント用に調整する視差量調整ステップであって、前記視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように前記視差量に対して重み付けの異なる視差量の調整を行う視差量調整ステップと、
前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成ステップと、
前記生成した視差画像を含む複数の視差画像を前記立体表示プリント用として出力する視差画像出力ステップと、
を含むことを特徴とする３次元画像出力方法。
【請求項７】
前記視差量調整ステップは、前記飛び出し方向の視差量が大きくなるにつれて該視差量の変化率が小さくなるように視差量を調整し、前記奥行き方向の視差量が大きくなるにつれて該視差量の変化率が大きくなるように視差量を調整することを特徴とする請求項６に記載の３次元画像出力方法。
【請求項８】
前記視差量調整ステップは、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ予め設定された視差量になるように調整することを特徴とする請求項６又は７に記載の３次元画像出力方法。
【請求項９】
前記視差量調整ステップは、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ３ｍｍ及び−８ｍｍの視差量になるように調整することを特徴とする請求項６又は７に記載の３次元画像出力方法。
【請求項１０】
正規化された視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルを有し、前記視差量調整ステップは、前記取得した各特徴点の視差量を正規化し、該正規化した視差量に対応する調整後の視差量を前記変換テーブルから読み出すことを特徴とするとする請求項６から９のいずれか１項に記載の３次元画像出力方法。
【請求項１】
複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得手段と、
前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得手段と、
前記取得した各特徴点の視差量を立体表示プリント用に調整する視差量調整手段であって、前記視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように前記視差量に対して重み付けの異なる視差量の調整を行う視差量調整手段と、
前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成手段と、
前記生成した視差画像を含む複数の視差画像を前記立体表示プリント用として出力する視差画像出力手段と、
を備えたことを特徴とする３次元画像出力装置。
【請求項２】
前記視差量調整手段は、前記飛び出し方向の視差量が大きくなるにつれて該視差量の変化率が小さくなるように視差量を調整し、前記奥行き方向の視差量が大きくなるにつれて該視差量の変化率が大きくなるように視差量を調整することを特徴とする請求項１に記載の３次元画像出力装置。
【請求項３】
前記視差量調整手段は、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ予め設定された視差量になるように調整することを特徴とする請求項１又は２に記載の３次元画像出力装置。
【請求項４】
前記視差量調整手段は、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ３ｍｍ及び−８ｍｍの視差量になるように調整することを特徴とする請求項１又は２に記載の３次元画像出力装置。
【請求項５】
前記視差量調整手段は、正規化された視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルを有し、前記取得した各特徴点の視差量を正規化し、該正規化した視差量に対応する調整後の視差量を前記変換テーブルから読み出すことを特徴とするとする請求項１から４のいずれか１項に記載の３次元画像出力装置。
【請求項６】
複数の視点から同一被写体を撮影した複数の視点画像を取得する視点画像取得ステップと、
前記取得した複数の視点画像から特徴が一致する複数の組の特徴点における視差量を取得する視差情報取得ステップと、
前記取得した各特徴点の視差量を立体表示プリント用に調整する視差量調整ステップであって、前記視差量のうちの飛び出し方向の視差量の最大値の絶対値よりも奥行き方向の視差量の最大値の絶対値が大きくなるように前記視差量に対して重み付けの異なる視差量の調整を行う視差量調整ステップと、
前記調整後の各特徴点の視差量に対応する視差画像を生成する視差画像生成ステップと、
前記生成した視差画像を含む複数の視差画像を前記立体表示プリント用として出力する視差画像出力ステップと、
を含むことを特徴とする３次元画像出力方法。
【請求項７】
前記視差量調整ステップは、前記飛び出し方向の視差量が大きくなるにつれて該視差量の変化率が小さくなるように視差量を調整し、前記奥行き方向の視差量が大きくなるにつれて該視差量の変化率が大きくなるように視差量を調整することを特徴とする請求項６に記載の３次元画像出力方法。
【請求項８】
前記視差量調整ステップは、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ予め設定された視差量になるように調整することを特徴とする請求項６又は７に記載の３次元画像出力方法。
【請求項９】
前記視差量調整ステップは、前記取得した各特徴点の視差量のうちの飛び出し方向の視差量の最大値及び奥行き方向の視差量の最大値が、それぞれ３ｍｍ及び−８ｍｍの視差量になるように調整することを特徴とする請求項６又は７に記載の３次元画像出力方法。
【請求項１０】
正規化された視差量と該視差量の調整後の視差量との入出力関係を示す変換テーブルを有し、前記視差量調整ステップは、前記取得した各特徴点の視差量を正規化し、該正規化した視差量に対応する調整後の視差量を前記変換テーブルから読み出すことを特徴とするとする請求項６から９のいずれか１項に記載の３次元画像出力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１１−２１１７１７（Ｐ２０１１−２１１７１７Ａ）
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願番号】特願２０１１−１０１７１３（Ｐ２０１１−１０１７１３）
【出願日】平成２３年４月２８日（２０１１．４．２８）
【分割の表示】特願２００９−２７４４５１（Ｐ２００９−２７４４５１）の分割
【原出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
【公開日】平成２３年１０月２０日（２０１１．１０．２０）
【国際特許分類】
【出願日】平成２３年４月２８日（２０１１．４．２８）
【分割の表示】特願２００９−２７４４５１（Ｐ２００９−２７４４５１）の分割
【原出願日】平成２１年１２月２日（２００９．１２．２）
【出願人】（３０６０３７３１１）富士フイルム株式会社 (25,513)
【Ｆターム（参考）】
[ Back to top ]