画像処理装置、および画像処理方法、並びにプログラム
【課題】異なる視点から撮影された画像の３次元画像としての適正を判定し、判定結果に応じて記録や出力画像の設定を変更する。
【解決手段】異なる視点からの撮影画像の画像領域単位の被写体距離を解析して、画像の３次元画像としての適正を判定する。例えば、Ｌ画像とＲ画像各々の対応座標位置の被写体までの距離の差分データの全てまたは予め設定した割合以上が、既定しきい値未満である場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像の記録、出力を行い、既定しきい値未満の差分でない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像の記録、出力を行う。
【解決手段】異なる視点からの撮影画像の画像領域単位の被写体距離を解析して、画像の３次元画像としての適正を判定する。例えば、Ｌ画像とＲ画像各々の対応座標位置の被写体までの距離の差分データの全てまたは予め設定した割合以上が、既定しきい値未満である場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像の記録、出力を行い、既定しきい値未満の差分でない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像の記録、出力を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、画像の解析結果に応じて３次元画像（３Ｄ画像）と２次元画像（２Ｄ画像）を切り替えて記録や出力または表示を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
昨今、３次元画像（３Ｄ画像）を表示可能としたテレビやＰＣなどの表示装置や、３次元画像（３Ｄ画像）を記録可能としたビデオカメラ、スチルカメラなどが開発され利用されている。３Ｄ画像は異なる視点からの撮影画像、すなわち左目用画像と右目用画像を利用して表示処理が行われる。従って、３次元画像をメディアに記録する場合は、左目用画像と右目用画像の１組の画像を記録することが必要となり、再生処理に際してはこれらの１組の画像を利用して再生を行うことになる。
【０００３】
３次元画像を撮影可能としたカメラには、離間した位置に左目用画像と右目用画像を撮影するためのレンズが設定され、これらの離間したレンズ位置から２つの異なる視点からの画像を同時に撮影する。いわゆる２眼カメラを利用した撮影を行う。しかしながら、このような２眼カメラにおいて良好な３次元画像を撮影するためには、いくつかの条件がある。例えば被写体の位置によっては良好な３次元画像が撮影できない場合がある。
【０００４】
良好な３次元画像の撮影ができない場合に、３次元画像としての記録を行わず、２次元画像として記録する処理を実行するカメラについて開示した従来技術して、例えば特許文献１（特許３１８６４４８号公報）や特許文献２（特開２０１０−１６１４９２号公報）などがある。
【０００５】
これらの特許文献１，２には、２眼カメラでの撮影時に撮影モードを被写体距離に応じて２次元画像を撮影する２Ｄモードと、３次元画像を撮影する３Ｄモードを自動的に切り替える構成を開示している。
【０００６】
具体例について図１を参照して説明する。図１には、
（ａ）被写体がカメラから遠い場合、
（ｂ）被写体がカメラに近い場合、
これらの２つのケースについての被写体と２眼カメラの各レンズ（カメラ１、カメラ２）の位置関係を示している。
【０００７】
図１（ａ）に示すように被写体がカメラから遠いときには被写体に対して両方のレンズ（カメラ１、カメラ２）が同時にフォーカスをあわせることができるので３次元画像（３Ｄ）の撮影を行う。
しかし、図１（ｂ）に示すように、被写体がカメラに近いときは被写体に対して両方のレンズ（カメラ１、カメラ２）のフォーカスが合わせられないので２次元画像（２Ｄ）で撮影するというものである。
【０００８】
図２を参照して、この切り替え処理についてさらに説明する。
図２（ａ）に示すように通常時（図１（ａ）のように被写体がカメラから所定距離以上離れている場合）は左目画像、右目画像のフォーカス点が同じ位置にフォーカスをあわせることで３Ｄ表示が可能となる。
しかしながら図１（ｂ）のように近距離に被写体がある場合は、２つの撮像部で撮影された画像のフォーカス点を合わせようとしても図２（ｂ）に示したように合わせられず、３Ｄ表示は２つの画像がぶれたような表示に見えてしまう。
【０００９】
なお、図２（ｂ）のような画像に対して、図２（ｃ）のように画像処理によって３次元表示可能な画像を生成する構成についても提案されている。
図２（ｃ）に示す処理は、２つの画像のフォーカス点があうようにずらし、２つの画像が重ならない領域はもう片方の目の画像データが存在しないため、３Ｄ表示ができない領域として黒塗りつぶしなどによるマスク処理を行う画像処理を行うものである。
【００１０】
従来、３次元画像を撮影するための３Ｄカメラは価格が高価なことや、大きさの問題で一部のプロが３Ｄ効果を狙った画像を特別に取得するために、用いられていたため、遠い被写体といっても視差がある範囲内でのことしか考慮になかった。
【００１１】
しかし、現在は安価で小型の３Ｄカメラが販売され、一般ユーザーが気軽に利用可能な状態になっている。例えば、一般ユーザーが旅行先でスナップ写真などを３Ｄ画像として撮影することも多くなってきた。しかし、例えば遠方の山なみなどの被写体のみを含む風景写真は、被写体全体が視差の少ない画像となる。このような被写体を３Ｄ画像として撮影して記録し、その記録画像を３Ｄ表示可能なディスプレイで３Ｄ画像として表示しても、立体間、すなわち遠近感をほとんど認識できないといった事態が発生する。表示装置で３Ｄ表示を実行して立体感を認識するためには、十分な視差を発生させる被写体が含まれていることが必要となる。
【００１２】
このような事実を考慮した場合、現行の３Ｄ画像の撮影機能を持つカメラ（撮像装置）には以下のような問題点がある。
［問題点１］
左目視点、右目視点を撮影する２つの撮像部を備えた撮像装置において、撮影を行う際に、風景写真などのように被写体全ての距離が遠方である場合、あるいは例えば絵画等の平面な被写体を撮影すると、左視点の画像と、右視点の画像に視差が生じない、または少ない。このため、３Ｄ表示用ディスプレイに表示しても２Ｄ表示用ディスプレイと同等の立体感をほとんど得られない画像が表示されてしまう。一方、３Ｄ画像データは２Ｄ画像と比較して２倍のファイルサイズであるため、記録部に必要となる記憶容量が過大となってしまう。
【００１３】
［問題点２］
左目視点、右目視点を撮影する２つの撮像部を備えた撮像装置において、撮影を行う際に、風景写真などのように被写体全ての距離が遠方である場合、あるいは例えば絵画等の平面な被写体を撮影すると、左視点の画像と、右視点の画像に視差が生じない、または少ない。このため、３Ｄ表示用ディスプレイに表示しても２Ｄ表示用ディスプレイの表示と同等の立体感をほとんど得られない画像が表示されてしまう。一方、記録部には３Ｄ用のファイルフォーマットで記録されるため、３Ｄ表示用ディスプレイや３Ｄ表示対応の出力装置でないと表示できない。
【００１４】
［問題点３］
左目視点、右目視点を撮影する２つの撮像部を備えた撮像装置において、撮影を行う際に、風景写真などのように被写体全ての距離が遠方にある場合、あるいは例えば絵画等の平面な被写体を撮影すると、左視点の画像と、右視点の画像に視差が生じない、または少ない。このため、３Ｄ表示用ディスプレイに表示しても２Ｄ表示用ディスプレイの表示と同等の立体感をほとんど得られない画像が表示されてしまう。このため、例えば撮影時に裸眼で３Ｄ表示可能ディスプレイを見ながら撮影の設定をする際に、実際にはそれぞれの撮像部の露出やホワイトバランスなど各種設定のばらつきが発生しているが、３Ｄ表示の左右目映像へのクロストークの影響との分別が困難で最適設定ができないことがある。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特許３１８６４４８号公報
【特許文献２】特開２０１０−１６１４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本発明は、例えば上述の状況に鑑みてなされたものであり、画像の解析結果に応じて３次元画像（３Ｄ画像）と２次元画像（２Ｄ画像）を切り替えて記録や出力または表示を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の第１の側面は、
異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析する距離データ解析部と、
前記距離データ解析部の解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行うデータ生成部を有し、
前記データ生成部は、
前記距離データ解析部の解析結果に基づいて、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成する画像処理装置にある。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記距離データ解析部は、
異なる視点からの画像であるＬ画像とＲ画像各々の対応座標位置の被写体までの距離である測距値の差分データを算出し、前記データ生成部は、前記距離データ解析部の解析結果として取得するＬ画像とＲ画像各々の対応座標位置の被写体までの距離である測距値の差分データの全てまたは予め設定した割合以上が、既定しきい値未満の差分であるか否かを判定し、既定しきい値未満の差分である場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像を記録または出力画像として生成し、既定しきい値未満の差分でない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像を記録または出力画像として生成する。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記距離データ解析部は、異なる視点からの画像であるＬ画像とＲ画像の少なくともいずれかの画像に複数設定した被写体距離測定点の測定値である距離データを取得し、前記データ生成部は、前記距離データの全てまたは予め設定した割合以上が、被写体距離が遠いことを示す既定しきい値以上の距離データを有しているか否かを判定し、有している場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像を記録または出力画像として生成し、有していない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像を記録または出力画像として生成する。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、異なる視点からの撮影画像を撮影する２つの撮像部を有し、前記撮像部は、画像の部分領域単位の被写体距離情報を取得する撮像素子を有する構成である。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記撮像部は、位相差検出法によって画像の部分領域単位の被写体距離情報を取得する画素領域を持つ撮像素子を有する構成である。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記距離データ解析部は、画像の一部の画像領域を選択して、選択領域のみの被写体距離情報を解析し、前記データ生成部は、前記選択領域のみの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行う。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記距離データ解析部は、フォーカスの合った画像領域を選択して、選択領域のみの被写体距離情報を解析し、前記データ生成部は、前記選択領域のみの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行う。
【００２４】
さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
距離データ解析部が、異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析する距離データ解析ステップと、
データ生成部が、前記距離データ解析ステップの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行うデータ生成ステップを有し、
前記データ生成ステップは、
前記距離データ解析ステップにおける解析結果に基づいて、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成する画像処理方法にある。
【００２５】
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
距離データ解析部に、異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析させる距離データ解析ステップと、
データ生成部に、前記距離データ解析ステップの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行わせるデータ生成ステップを実行させ、
前記データ生成ステップにおいては、
前記距離データ解析ステップにおける解析結果に基づいて、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成させるプログラムにある。
【００２６】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００２７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２８】
本発明の一実施例によれば、異なる視点から撮影された画像の３次元画像としての適正を判定し、判定結果に応じて記録や出力画像の設定を変更する構成が実現される。具体的には例えば左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像領域単位の被写体距離を解析して、画像の３次元画像としての適正を判定する。例えば、Ｌ画像とＲ画像各々の対応座標位置の被写体までの距離の差分データの全てまたは予め設定した割合以上が、既定しきい値未満である場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像の記録、出力を行い、既定しきい値未満の差分でない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像の記録、出力を行う。
この処理により、画像の適正に応じた画像記録、表示処理が実現される。
【図面の簡単な説明】
【００２９】
【図１】２眼カメラでの撮影処理における被写体距離に応じた撮影状況について説明する図である。
【図２】２眼カメラでの撮影画像に基づく出力画像の生成処理について説明する図である。
【図３】本発明の撮像装置の外観構成例について説明する図である。
【図４】本発明の撮像装置の機能を説明するブロック図である。
【図５】本発明の撮像装置の処理を説明するフローチャートである。
【図６】本発明の撮像装置の撮像素子の具体的構成例である位相差検出による距離測定を可能とした撮像素子の例を説明する図である。
【図７】本発明の撮像装置の撮像素子の具体的構成例である位相差検出による距離測定を可能とした撮像素子の例を説明する図である。
【図８】位相差検出による距離測定を可能とした撮像素子の処理例について説明する図である。
【図９】位相差検出による距離測定を可能とした撮像素子の処理例について説明する図である。
【図１０】撮影画像に対応する距離測定データである測距データの例について説明する図である。
【図１１】３Ｄ形式の画像データの例について説明する図である。
【図１２】３Ｄテレビなどの外部出力装置に左目用の画像と右目用の画像を交互に出力する処理例について説明する図である。
【図１３】レンチキュラーレンズをパネル上に備えた３Ｄ画像表示部の構成例について説明する図である。
【図１４】本発明の実施例２に係る撮像装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
【図１５】被写体距離が比較的近い場合の２つの撮像部の撮影画像の例について説明する図である。
【図１６】被写体距離が比較的遠い場合の２つの撮像部の撮影画像の例について説明する図である。
【図１７】本発明の実施例４の画像処理装置（再生装置）の機能ブロック図を示す図である。
【図１８】本発明の実施例４の画像処理装置（再生装置）の実行する処理シーケンスについて説明するフローチャートを示す図である。
【図１９】本発明の画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の対応点の被写体距離情報に基づいてモード切り替えを実行する実施例について（実施例１）
２．撮影画像における被写体距離がすべて遠い距離の場合に２次元画像の記録、出力を実行する処理例について（実施例２）
３．実施例１，２の変形例について
３−１．距離測定点の一部のみの測定情報を考慮した処理例（実施例３）
３−２．撮影後の記録データに対する処理例（実施例４）
４．プログラム（ソフトウェア）による処理を実行する装置構成例について
【００３１】
［１．左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の対応点の被写体距離情報に基づいてモード切り替えを実行する実施例について（実施例１）］
まず、本発明の画像処理装置の一例である撮像装置の実施例１として、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の対応点の被写体距離情報に基づいてモード切り替えを実行する実施例について説明する。
【００３２】
図３を参照して本発明の撮像装置の外観構成例について説明する。撮像装置２０は撮影に使用するレンズ、撮像素子が複数、備えられている。図３に示すレンズと撮像素子を備えた２つの撮像部２１Ａ、２１Ｂである。ユーザーはシャッターボタン２２を押すことで２つの撮像部２１Ａ，２１Ｂから視差のある２つの画像を撮影することができる。
【００３３】
撮影画像は、下蓋２３を開けたところに存在するメモリーカード２４にＭＰＯ（Ｍｕｌｔｉ Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）形式で記録することができる。また下蓋２３をあけたところにはバッテリー２５の装着部があり、バッテリー駆動が可能であり、ユーザーは撮像装置２０を自由に持ち出し撮影することができる。また側面蓋２６をあけるとバッテリー２５の充電や機器の電源供給のための電源端子２７と外部出力端子２８が存在する。
【００３４】
この外部出力端子２８から、撮影画像やメモリーカード２４に記録された画像を出力することができる。例えば外部出力端子２８と３次元映像出力対応テレビ（３Ｄ対応テレビと呼ぶ）とをＨＤＭＩケーブルで接続して、撮像装置から３Ｄ対応テレビに対する画像出力を実行して３Ｄ対応テレビに３次元画像（３Ｄ画像）を表示することが可能となる。なお、本発明の撮像装置は、３次元画像（３Ｄ画像）と、２次元画像（２Ｄ画像）、双方の記録、出力が可能な構成である。
【００３５】
なお、以下の実施例ではシャッターボタン２２の押下を撮影のトリガとする例について説明するが、音声をトリガとした撮影開始構成や、あるいは例えば顔認識や笑顔認識等の機能を持つ構成においては、これらの認識処理に基づいて撮影を開始するなど、様々な撮影開始構成が利用可能である。
【００３６】
また、以下の実施例では撮影画像をメモリーカード２４に所定のファイルフォーマット、すなわちＭＰＯに従って記録する例について説明するが、左目画像、右目画像をそれぞれ別々に記録し、ファイル名などで関連付ける方式をとっても良いし、他の別の形式で記録しても構わない。
また、外部出力端子２８としてはＨＤＭＩ Ｉ／Ｆに限らず、その他、様々なＩ／Ｆが利用可能である。
【００３７】
次に、図４と図５を参照して、本発明の撮像装置の機能と処理について説明する。
図４は、本発明の撮像装置の機能を説明するブロック図である。
図５は、本発明の撮像装置の処理を説明するフローチャートである。
【００３８】
図４に示すように、本発明の撮像装置１００は撮像部１０１、撮像部１０２、撮像データ格納部１０３、撮像データ格納部１０４、距離データ解析部１０５、入力部１０６、出力データ生成部１０７、外部出力部１０８、表示部１０９、記録データ生成部１１０、記録部１１１を有する。
なお、図示していないが、図４に示す各構成部の処理を制御する制御部を有し、また、制御部によって実行する処理プログラムを格納したメモリを有する。
撮像装置１００において実行する各種の処理は、予めメモリに格納されたプログラムに従って制御部の制御下で実行される。
【００３９】
図４に示す撮像装置１００の各構成部について説明する。
撮像部１０１と、撮像部１０２は、３次元画像としての左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）を撮影する撮像部である。すなわち、異なる視点から被写体を撮影するカメラの離間した位置に設定された撮像部である。図３に示す撮像部２１Ａ，２１Ｂに対応する。
【００４０】
撮像データ格納部１０３と、撮像データ格納部１０４は、各撮像部１０１，１０２の撮像データを一時的に格納する例えばフレームメモリである。
各撮像部１０１，１０２の撮像データは、撮像データ格納部１０３と、撮像データ格納部１０４に入力されるとともに、距離データ解析部１０５にも入力される。
【００４１】
距離データ解析部１０５は、各撮像部１０１，１０２の撮像画像に含まれる被写体のカメラからの距離を比較する。
入力部１０６は、ユーザーの操作情報を入力する。例えば撮影データの記録媒体に対する記録処理や削除命令等の指示入力である。
【００４２】
出力データ生成部１０７は、撮像データ格納部１０３と、撮像データ格納部１０４に格納された画像データを、表示部１０９、あるいは外部出力部１０８を介して外部出力装置に出力するための画像データの生成を行う。
なお、出力データ生成部１０７は、距離データ解析部１０５において実行される距離データの比較結果に応じて、出力画像データを３次元画像（３Ｄ画像）とするか、２次元画像（２Ｄ画像）とするかを決定して、決定結果に応じた出力画像データを生成する。
【００４３】
出力データ生成部１０７は、距離データ解析部１０５の解析結果に応じて３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を出力画像として生成する。
【００４４】
外部出力部１０８は、例えばＨＤＭＩ Ｉ／Ｆ等の外部装置に対する入出力インタフェースである。なお、外部装置は例えば２次元画像や３次元画像を表示可能なテレビなどの表示装置などによって構成される。
表示部１０９は、例えば有機ＥＬディスプレイや液晶ディスプレイ等である。なお、本実施例では、例えば２次元画像と３次元画像の表示が可能なディスプレイによって構成される。例えばレンチキュラーレンズを用いた表示装置である。この構成については後段で説明する。
【００４５】
記録データ生成部１１０は、入力部１０６からの記録命令に応じて、記録媒体に記録するデータを生成する。
なお、記録データ生成部１１０は、距離データ解析部１０５において実行される距離データの比較結果に応じて、記録データを３次元画像（３Ｄ画像）として記録するか、２次元画像（２Ｄ画像）として記録するかを決定して、決定結果に応じた記録データを生成する。
【００４６】
記録データ生成部１１０は、距離データ解析部１０５の解析結果に応じて３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録画像として生成する。
【００４７】
記録部１１１は、記録データ生成部１１０の生成した記録データを記録媒体に記録する処理を実行する。
【００４８】
本発明の撮像装置１００の電源をＯＮにすると撮像装置１００の動作が開始される。図５に示すフローチャートを参照して図４に示す撮像装置１００の実行する処理のシーケンスについて説明する。なお、先に説明したように、撮像装置１００において実行する各種の処理は、予めメモリに格納されたプログラムに従って制御部の制御下で実行される処理であり、図５に示す処理も制御部の制御に基づいて行われる。
【００４９】
（ステップＳ１０１）
図５のＳ１０１から動作が開始する。ステップＳ１０１において、例えばユーザーのシャッタ操作に応じて撮像装置１００が備える２つの撮像部１０１，１０２において並列に撮像処理が実行される。
【００５０】
例えば図３に示すカメラの左右に配置した撮像部２１Ａ，２１Ｂにより、右目視点の画像と左目視点の画像を得る。なお、図４のブロック図では、撮像部１０１は被写体を左方向から撮影して左目用画像（Ｌ画像）を取得し、撮像部１０２は被写体を右方向から撮影して右目用画像（Ｒ画像）の取得処理を行う。
【００５１】
左目用画像（Ｌ画像）を撮影する撮像部１０１は内蔵するＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）やＣＭＯＳイメージセンサ（ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などの撮像素子上に被写体の画像を結像させ、撮像素子上に蓄積された画像のデータを、１画像分のデータ毎に撮像データ格納部１０３に転送する。
【００５２】
撮像部１０１は位相差検出により測距信号を出力する光電変換セルを撮像素子上に多数、備えており、画像データの取得だけでなく、撮像素子上に取り込まれる被写体までの距離情報を、多数の測距信号を出力する光電変換セル単位で取得可能な構成を持つ。測距された距離データは距離データ解析部１０５に転送する。
【００５３】
図６〜図９を参照して本発明の撮像装置の撮像部の撮像素子の具体的構成例、すなわち、位相差検出による距離測定を可能とした撮像素子についての一例を説明する。なお、図６〜図９を参照して説明する撮像素子構成は、本出願人と同一出願人による先の特許出願（特開２００９−１９２６０５号公報）に記載された構成である。本発明の撮像装置は、例えばこの特許出願（特開２００９−１９２６０５号公報）に記載された撮像素子を用いることで画素単位の被写体距離を取得する。
【００５４】
図６は、撮像部１０１の撮像素子の構成を示す図である。図に示されるように、フォトダイオード上にＲ（赤）、Ｇ（緑）およびＢ（青）の各カラーフィルタが配設されたＲ画素２０１、Ｇ画素２０２およびＢ画素２０３からなる通常の画素が設けられるとともに、位相差検出を行うための位相差検出素子である画素ａ，２１１ａ、画素ｂ，２１１ｂが設けられている。
【００５５】
撮像素子上には通常画素の水平ラインとしてＧ画素１１２とＲ画素１１１とが水平方向に交互に配置されたＧｒラインＬ１と、Ｂ画素１１３とＧ画素１１２とが水平方向に交互に配置されたＧｂラインＬ２とが形成されている。このＧｒラインＬ１とＧｂラインＬ２とが垂直方向に交互に配置されることによりベイヤー配列が構成される。また、撮像素子上には例えば上記通常画素の水平ライン６本毎に位相差検出画素２１１ａ，２１１ｂが水平方向に配列された位相差検出ラインＬｆが形成されている。
【００５６】
位相差検出ラインＬｆは、撮影光学系の射出瞳を瞳分割して被写体光を受光する一対の位相差検出画素２１１ａ，２１１ｂを交互に備えた構成を有している。
【００５７】
１組の位相差検出画素２１１ａ，２１１ｂの詳細構成例を図７に示す。
図７に示されるように、位相差検出ラインＬｆには、撮影光学系の射出瞳ＥＹの右側部分（「右側の部分瞳領域」または単に「右瞳領域」とも称する）Ｑａからの光束Ｔａと左側部分（「左側の部分瞳領域」または単に「左瞳領域」とも称する）Ｑｂからの光束Ｔｂとを受光する一対の位相差検出画素２１１ａ，２１１ｂが水平方向に配列されている。なお、ここでは、図中＋Ｘ方向側を右側と、−Ｘ方向側を左側と表現している。
【００５８】
一対の位相差検出画素２１１ａ，２１１ｂのうち、一方の位相差検出画素（以下では「第１位相差検出画素」とも称する）２１１ａは、第１位相差検出画素２１１ａへの入射光を集光するマイクロレンズＭＬと、スリット（矩形）状の第１開口部ＯＰ１を有する第１遮光板ＡＳ１と、当該第１遮光板ＡＳ１の下方に配置され、スリット（矩形）状の第２開口部ＯＰ２を有する第２遮光板ＡＳ２と、光電変換部ＰＤとを備えている。
【００５９】
そして、第１位相差検出画素２１１ａにおける第１開口部ＯＰ１は、受光素子ＰＤの中心を通り光軸ＬＴに平行な中心軸ＣＬを基準（起点）にして特定方向（ここでは、右方向（＋Ｘ方向））に偏った位置に設けられている。また、第１位相差検出画素１１ａにおける第２開口部ＯＰ２は、中心軸ＣＬを基準にして上記特定方向とは反対の方向（「反特定方向」とも称する）に偏った位置に設けられている。
【００６０】
また、一対の位相差検出画素２１１ａ，２１１ｂのうち、他方の位相差検出画素（以下では、「第２位相差検出画素」とも称する）２１１ｂは、スリット状の第１開口部ＯＰ１を有する第１遮光板ＡＳ１と、当該第１遮光板ＡＳ１の下方に配置され、スリット状の第２開口部ＯＰ２を有する第２遮光板ＡＳ２とを備えている。そして、第２位相差検出画素２１１ｂにおける第１開口部ＯＰ１は、中心軸ＣＬを基準にして上記特定方向とは反対の方向に偏った位置に設けられている。また、第２位相差検出画素２１１ｂにおける第２開口部ＯＰ２は、中心軸ＣＬを基準にして上記特定方向に偏った位置に設けられている。
【００６１】
すなわち、一対の位相差検出画素２１１ａ，２１１ｂでは、第１開口部ＯＰ１が互いに異なる方向に偏って配置される。また、第２開口部ＯＰ２は、位相差検出画素２１１ａ，２１１ｂ内の対応する第１開口部ＯＰ１に対して異なる方向にずれて配置される。
【００６２】
上述のような構成を有する一対の位相差検出画素ａ，ｂでは、射出瞳ＥＹにおいて異なる領域（部分）を通過した被写体光についての測距信号が取得される。
具体的には、射出瞳ＥＹの右瞳領域Ｑａを通過した光束Ｔａは、位相差検出画素ａに対応するマイクロレンズＭＬおよび第１遮光板ＡＳ１の第１開口部ＯＰ１を通過し、さらに第２遮光板ＡＳ２によって制限（限定）された後、第１位相差検出画素ａの受光素子ＰＤで受光される。この受光素子の出力が右瞳領域Ｑａの光束Ｔａに関する測距信号ａとして取得される。
【００６３】
また、射出瞳ＥＹの左瞳領域Ｑｂを通過した光束Ｔｂは、位相差検出画素ｂに対応するマイクロレンズＭＬおよび第２遮光板ＡＳ２の第１開口部ＯＰ１を通過し、さらに第２遮光板ＡＳ２によって制限された後、第２位相差検出画素ｂの受光素子ＰＤで受光される。この受光素子の出力が左瞳領域Ｑｂの光束Ｔｂに関する測距信号ｂとして取得される
【００６４】
図６に示す１つの位相差検出ラインＬｆのａｂａｂａｂ・・・において取得される受光素子の出力（測距信号）の例を図８に示す。図８に示すように、画素ａからの出力ラインと、画素ｂからの出力ラインは、所定量のシフト量Ｓｆを持つ信号となる。
【００６５】
図９（ａ）は、フォーカスレンズが、被写体距離に応じた位置に設定され、フォーカスが合った場合、すなわち合焦状態において、ａ，ｂ各画素間で発生するシフト量Ｓｆａを示している。
図９（ｂ１），（ｂ２）は、フォーカスレンズが、被写体距離に応じた位置に設定されず、フォーカスが合っていないた場合、すなわち非合焦状態において、ａ，ｂ各画素間で発生するシフト量Ｓｆａを示している。
（ｂ１）は、シフト量が合焦時より大きい場合、（ｂ２）はシフト量が合焦時より小さい場合の例である。
【００６６】
図９（ｂ１），（ｂ２）のような場合は、フォーカス時のシフト量になるようにフォーカスレンズを移動させて合焦させることが可能となる。
この処理が「位相差検出法」に従った合焦処理である。
この「位相差検出法」に従った合焦処理によってフォーカスレンズの合焦位置への設定が可能であり、フォーカスレンズは被写体距離に応じた位置に設定できる。
【００６７】
図９を参照して説明したシフト量は、図６に示すすべての位相差検出素子である画素ａ，画素ｂの組単位で計測可能であり、この微細領域（ａ，ｂ画素の組み合わせ領域）に撮り込まれる画像に対するフォーカスポイントを個別に決定することも可能であり、その結果として、微細領域（ａ，ｂ画素の組み合わせ領域）に対応する被写体の距離に応じたフォーカス位置（合焦位置）に応じた距離を算出することができる。
【００６８】
図４に示す本発明の撮像装置における撮像部１０１，１０２は、この「位相差検出法」に従った合焦技術を適用して、画像の微細領域単位での被写体距離を算出し、その距離情報を切りデータ比較部１０５に出力する。なお、各画素ペアａｂ単位での距離算出処理に際しては、シフト量に基づく演算処理を実行してもよいし、予めシフト量と被写体距離との対応データを予め計測して撮像部内のメモリに格納し、その格納データを適用して距離値を取得する構成としてもよい。
また、撮影レンズの焦点距離をｆ、第１位相差検出画素２１１ａ、第２位相差検出画素２１１ｂの基線長となるピッチサイズをＬ、位相差検出によって得られたずれ量をｎとすると、これから三角測量の原理により被写体までの距離Ｒを以下の式で算出することができる。
Ｒ＝ｆ×Ｌ／ｎ
上記式を用いて被写体までの距離を算出する構成としてもよい。
【００６９】
なお、本発明の測距手段は必ずしもこの「位相差検出法」に限定はされるものではなく、画像信号と同時に測距信号が取得できる構成であれば構わない。
なお測距データは上述したオートフォーカス処理の他、静止画や動画と共に記録することで、測距値を使用したアプリケーションに用いることができる。
【００７０】
撮像部１０２は撮像部１０１と同様に内蔵するＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）やＣＭＯＳイメージセンサ（ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などの撮像素子上に被写体の画像を結像させ、撮像素子上に蓄積された画像のデータを、１画像分のデータ毎に撮像データ格納部１０４に転送する。また撮像部１０１と同様に位相差検出により測距信号を出力する光電変換セルを備えており、画像データの取得だけでなく、被写体までの距離情報の取得も可能な構成となっており、測距された距離データは距離データ解析部１０５に転送する。
【００７１】
撮像データ格納部１０３は、半導体メモリなどにより構成され、撮像部１０１から撮像データを数フレーム分一時格納することができるものである。格納された撮像部１０１からの撮像データは、出力データ生成部１０７に転送される。また記録データ生成部１１０より、記録データ出力命令が発行されると、命令発行のタイミングで取得された撮像データ１フレーム分を記録データ生成部１１０へ転送する。
【００７２】
撮像データ格納部１０４は、撮像データ格納部１０３と同様の構成であり、半導体メモリなどにより構成され、撮像部１０２から撮像データを数フレーム分一時格納することができるものである。格納された撮像部１０２からの撮像データは、出力データ生成部１０７に転送される。また記録データ生成部１１０より、記録データ出力命令が発行されると、命令発行のタイミングで取得された撮像データ１フレーム分を記録データ生成部１１０へ転送する。
【００７３】
撮像データ格納部１０３、１０４に対して、それぞれの撮像部の撮像データの格納を完了するとＳ１０２へ移行する。
【００７４】
（ステップＳ１０２）
ステップＳ１０２において、距離の比較を行う。
距離データ解析部１０５は、撮像部１０１、撮像部１０２より取得した測距データをもとに比較を行う。具体的には、左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）の対応座標位置間で距離の比較を行う。
【００７５】
撮像部１０１、または撮像部１０２のいずれか一方において取得した測距データのイメージを図１０に示す。図１０（ａ）が撮像部１０１、または撮像部１０２により取得した撮像データであり、一部を拡大した図が図１０（ｂ）である。撮像部１０１、撮像部１０２は図６に示したような位相差検出画素を含む撮像素子を備え、撮像素子上に形成された多数の位相差検出画素により図１０（ｂ）のように各位相差検出画素の部分の測距値が取得可能である。この例では測距値は７ｂｉｔ（０〜１２７）のデータとして取得され、被写体が遠方ほど大きな値となる例である。
【００７６】
（ステップＳ１０３〜Ｓ１０５）
距離データ解析部１０５は、ステップＳ１０３において、撮像部１０１と撮像部１０２より取得した測距データについて、全ての対応座標位置について位相差検出画素の測距値を比較し、Ｌ画像とＲ画像の対応点の距離差が予め設定された閾値未満であるか否かを判定する。
【００７７】
比較した対応点の測距データが同じ、もしくは表示結果が人間の目では同等とみなせる誤差範囲内（例えば測距値は７ｂｉｔ（０〜１２７）において誤差±５以内など）に全ての対応画素が入っている場合はステップＳ１０３でＹｅｓと判断され、Ｓ１０４に移行する。そうでない場合はＳ１０３でＮｏと判断され、Ｓ１０５へ移行する。
【００７８】
左目用画像（Ｌ画像）と右目用画像（Ｒ画像）との同じ座標位置に、同じ被写体が撮影されている場合は、ＬＲ画像の対応点の測距データはほぼ等しくなる。
しかし、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）との同じ座標位置に、異なる被写体が撮影されている場合は、ＬＲ画像の対応点の測距データは等しくならない。
左目用画像（Ｌ画像）と右目用画像（Ｒ画像）との同じ座標位置に、異なる被写体が撮影されている場合は、異なる距離の被写体を含む画像がＬ画像とＲ画像として撮影され、３Ｄ画像として表示した場合に立体感を把握できる画像であることを意味する。
【００７９】
例えば、遠方の山並みのみを撮影した画像では、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の全ての対応座標位置において、同じ被写体距離情報（例えば無限遠）となる。同様に壁に設置された絵画等の平面を撮影した場合も、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の全ての対応座標位置において、ほぼ同じ被写体距離情報となる。
このような場合は、ステップＳ１０３の判定はＹｅｓとなりステップＳ１０４に進む。ステップＳ１０４ではカメラが２次元画像モードに設定される。
【００８０】
一方、例えば遠方の山並みを背景として、カメラから数ｍの距離にいる人物を撮影した場合、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）において、対応座標の一部において、一方は近い距離の人物、他方は遠方の山並みの画像となる部分が発生する。このような場合、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）との対応座標位置の距離データは大きく異なり、閾値以上の距離差が検出される。この結果、ステップＳ１０３の判定はＮｏとなりステップＳ１０５に進む。ステップＳ１０５ではカメラが３次元画像モードに設定される。
【００８１】
なお、本実施例では、比較した対応点の測距データの全てについて、所定の閾値未満の距離差であるか否かという判定処理を実行しているが、距離計測の誤差等を勘案して、例えば、対応点としての計測点数の多くの部分、例えば９５％以上の点が、所定の閾値未満の距離差であるか否かという判定処理を実行するといった設定としてもよい。
この設定とした場合、ＬＲ各画像について比較した対応座標点の測距データの９５％以上の点が、所定の閾値未満の距離差である場合には、ステップＳ１０３の判定がＹｅｓとなり、それ以外の場合はＮｏと判定することになる。
【００８２】
ステップＳ１０３において、ＬＲ画像間で比較した測距データが同じ、もしくは表示結果が人間の目では同等とみなせる誤差範囲内（例えば測距値は７ｂｉｔ（０〜１２７）において誤差±５以内など）に全ての対応画素が入っていると判定した場合は、ステップＳ１０４に進み、ステップＳ１０４において、撮像装置１００を、２次元画像（２Ｄ画像）の記録及び出力を実行する２Ｄモードに設定する。撮像装置１００の備える各部が２Ｄモードに切り替わったらＳ１０６へ移行する。
【００８３】
一方、ステップＳ１０３において、ＬＲ画像間で比較した測距データが同じ、もしくは表示結果が人間の目では同等とみなせる誤差範囲内（例えば測距値は７ｂｉｔ（０〜１２７）において誤差±５以内など）に入らない対応画素があると判定した場合は、ステップＳ１０４に進み、ステップＳ１０４において、撮像装置１００を、３次元画像（３Ｄ画像）の記録及び出力を実行する３Ｄモードに設定する。撮像装置１００の備える各部が３Ｄモードに切り替わったらＳ１０６へ移行する。
【００８４】
（ステップＳ１０６）
ステップＳ１０６では、撮像装置の設定モード（２Ｄモードまたは３Ｄモード）に応じた画像表示処理を実行する。
【００８５】
ステップＳ１０３においてＹｅｓと判定され、ステップＳ１０４において２Ｄモードに設定された場合、出力データ生成部１０７は、以下の処理を行う。
撮像装置１００のモードが２次元画像の撮影記録を行う２Ｄモード設定時においては、出力データ生成部１０７は、撮像データ格納部１０３か撮像データ格納部１０４に格納されたいずれか一方の画像データを出力画像として選択する。
【００８６】
なお、２Ｄモード設定時において出力する画像の選択処理態様としては、撮像データ格納部１０３の画像データもしくは撮像データ格納部１０４の画像データのどちらかに予め設定しておいてもよいし、ユーザーに選ばせる形式でも構わない。例えば撮像データ格納部１０３を選択すると図３の撮像部２１Ｂで撮像した画が取得され、撮像データ格納部１０４を選択すると図３の撮像部２１Ａで撮像した画が取得される。取得された画像データは外部出力部１０８、表示部１０９に転送される。
【００８７】
一方、ステップＳ１０３においてＮｏと判定され、ステップＳ１０５において３Ｄモードに設定された場合は、出力データ生成部１０７は以下の処理を実行する。
【００８８】
撮像装置１００のモードが３次元画像の撮影記録を行う３Ｄモード設定時においては、出力データ生成部１０７は、撮像データ格納部１０３に格納されている画像データと撮像データ格納部１０４に格納されている画像データ、すなわち左右異なる視点からの２つの画像データ（Ｌ画像とＲ画像）を入力し、これらの画像から出力画像としての３Ｄ形式の画像データを生成する。
【００８９】
３Ｄ形式の画像データとしては、例えば図１１（ａ）に示すような左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を、１フレーム画像中の左右分割領域に配置するサイドバイサイド形式や、図１１（ｂ）に示すような左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を、１フレーム画像中の上下分割領域に配置するトップアンドボトム形式などがある。出力データ生成部１０７は、例えば、図１１（ａ），（ｂ）等の３Ｄ画像の出力フォーマットに変換して、外部出力部１０８、あるいは表示部１０９に出力する。
【００９０】
外部出力部１０８は、出力データ生成部１０７からの入力データをテレビなどの出力装置に転送する。外部出力部１０８は、出力データ生成部１０７からの入力データを、例えばテレビなどの外部出力装置が表示可能なフォーマットに変換し、外部出力装置に対して出力を行う。
【００９１】
具体的には、外部出力部１０８は、出力データ生成部１０７から受け取ったデータに対して、ガンマ補正などの各種画づくりのための信号処理を行い、その画像を出力先の解像度に合わせて解像度変換を行う。例えばＳＤテレビであれば７２０ｘ４８０画素、ＨＤテレビであれば１９２０ｘ１０８０画素などに解像度を変換する処理等を行い、ＨＤＭＩなどの外部出力装置が備えるＩ／Ｆフォーマットに変換して出力を行う。
【００９２】
この出力処理により、外部出力装置では撮像装置１００のモードに応じた画像再生表示が可能となる。すなわち、
撮像装置１００のモードが２Ｄモードに設定されている場合は、出力データ生成部１０７が生成したＬ画像またはＲ画像いずれか一方の画像に基づいて生成された２次元画像データの視聴が可能となる。
【００９３】
また、撮像装置１００のモードが３Ｄモードに設定されている場合は、例えば、図１２に示すように、３Ｄテレビなどの外部出力装置に左目用の画像と右目用の画像を交互に出力し、外部出力装置に付属のアクティブシャッターメガネの左右のレンズを交互に開閉することで左目用画像（Ｌ画像）は左目のみに、右目用画像（Ｒ画像）は右目のみに見せる設定とすることで３Ｄ画像の視聴が可能になる。
【００９４】
表示部１０９は、例えば有機ＥＬディスプレイや液晶ディスプレイにより構成され、出力データ生成部１０７から受け取ったデータに対して、ガンマ補正などの各種画づくりのための信号処理を行い、その画像を出力先の解像度に合わせて解像度変換を行う。例えば表示部１０９に使用される液晶ディスプレイの解像度がＶＧＡの場合は６４０ｘ４８０の解像度に変換する。その画像を撮像装置１００の内蔵ディスプレイに表示することで、ユーザーはフレーミングを決めることが可能になる。
【００９５】
表示部１０９も、２Ｄ画像、３Ｄ画像いずれの表示も可能な構成とされている。この構成により、撮像装置１００の設定モードに応じた画像再生表示が可能となる。すなわち、
撮像装置１００のモードが２Ｄモードに設定されている場合は、出力データ生成部１０７で生成されたＬ画像またはＲ画像いずれか一方の画像に基づいて生成された２次元画像データが視聴可能となる。
一方、撮像装置１００のモードが３Ｄモードに設定されている場合は、左目用画像（Ｌ画像）は左目のみに、右目用画像（Ｒ画像）は右目のみに見せる設定とした表示を行うことで３Ｄ画像の視聴が可能になる。
【００９６】
なお、表示部１０９の構成としては裸眼で３Ｄ画像の観察が可能な構成とすることが好ましい。例えば、図１２のようにレンチキュラーレンズをパネル上に備えた構成により実現される。
【００９７】
図１３は、表示部１０９の一例を示す図である。表示部１０９の表面には、図１３に示すようにレンチキュラーレンズが構成されている。左目用画像（Ｌ画像）２９１、右目用画像（Ｒ画像）２９２を短冊のようにして交互に出力する。このような出力を行うことで、左目用画像（Ｌ画像）２９１は左目２９６のみに、右目用画像（Ｒ画像）２９２は右目２９５のみに見せることが可能となり、３Ｄ画像として視聴が可能になる。
【００９８】
（ステップＳ１０７〜Ｓ１０８）
ステップＳ１０６における設定モードでの表示処理が完了すると、ステップＳ１０７へ移行する。
ステップＳ１０７において、入力部１０６を介して記録命令を取得したかの判断を行う。
入力部１０６はユーザーからの指示入力を受け取り、制御部がその指示内容を解釈し、記録命令が発行されたと認識すると、記録データ生成部１１０に対して、記録命令を発行する。記録命令が発行された場合はステップＳ１０８へ移行する。記録命令が発行されていない場合はステップＳ１０９へ移行する。
【００９９】
ステップＳ１０８においては、撮影画像の記録媒体に対する記録動作を行う。
撮像装置１００のモードが２次元画像の記録、表示を実行する２Ｄモードに設定されている場合は、記録データ生成部１１０は、入力部１０６からの記録命令が発行されたタイミングで撮像データ格納部１０３か撮像データ格納部１０４のどちらかに格納されている画像データを記録データとして選択する。
【０１００】
この記録データの選択処理は、予め機器によって常に撮像データ格納部１０３の画像データ、もしくは撮像データ格納部１０４の画像データのどちらかを記録する設定としてもよいし、ユーザーに選ばせる設定としてもよい。制御部は、記録データとして選択した画像を格納した撮像データ格納部に対して、記録データ出力命令を発行して記録データを取得する。
【０１０１】
例えば、撮像データ格納部１０３を選択すると図３の撮像部２１Ｂを介して撮像した画像が記録媒体への記録データとして取得される。一方、撮像データ格納部１０４を選択した場合は、図３の撮像部２１Ａで撮像した画像が記録媒体への記録データとして取得される。記録データ生成部１１０は、取得した画像データをＪＰＥＧ形式などの画像圧縮フォーマットに変換し、記録部１１１へ転送する。
【０１０２】
また撮像装置１００のモードが３次元画像の記録、表示を実行する３Ｄモードに設定されている場合は、記録データ生成部１１０は、撮像データ格納部１０３と撮像データ格納部１０４の双方に対して、記録データ出力命令を発行する。記録データ生成部１１０は、この命令に基づいて、撮像データ格納部１０３に格納されている画像データと撮像データ格納部１０４に格納されている画像データの両方の画像データを取得し、それぞれをＪＰＥＧ形式などの画像圧縮フォーマットに変換する。
【０１０３】
さらに、記録データ生成部１１０は、複数ファイルを１つのファイルに記録するフォーマットに変換する。例えばＣＩＰＡで規定されている複数のＪＰＥＧ画像を１つのファイルとして記録するマルチピクチャフォーマット（ＭＰＯ）などである。取得されたデータは記録部１１１へ転送する。
なお、記録媒体に対するデータの記録フォーマットは、マルチピクチャフォーマットに限らず、例えば２つの画像ファイルを名前で関連付けたり、画像ファイルの関連付けを記す設定ファイルを同時に記録したりの方法など、他の記録方法を適用してもよい。
【０１０４】
記録部１１１では、記録データ生成部１１０で生成したデータを記録媒体に記録する。記録媒体としては、例えば取り外し可能な半導体メモリーカード、光ディスクなどがある。またはネットワークインターフェースを通じて外部サーバのデータベースへ記録する方法をとってもよい。
【０１０５】
なお、図４では記録媒体は撮像装置１００外の構成として示してあるが、撮像装置１００に内蔵するハードディスクなどの磁気記録装置やフラッシュメモリなどの半導体メモリなどの設定としてもよい。記録媒体への記録処理が終了するとステップＳ１０９へ移行する。
【０１０６】
（ステップＳ１０９）
ステップＳ１０９において、電源がＯＦＦされたかの確認を行う。電源がＯＦＦにされたと判断されれば動作を終了する。ＯＦＦにされたと判断されなければステップＳ１０１に移行し、引き続き処理を続ける。
【０１０７】
このように、本発明の撮像装置は、距離データ解析部１０５の解析結果に基づいて、記録データ生成部１１０や出力データ生成部１０７が３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成する。
【０１０８】
具体的には、記録データ生成部１１０や出力データ生成部１０７は、Ｌ画像とＲ画像各々の対応座標位置の被写体までの距離である測距値の差分データの全てまたは予め設定した割合以上が、既定しきい値未満の差分であるか否かを判定する。
記録データ生成部１１０や出力データ生成部１０７が、既定しきい値未満の差分であると判定した場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像を記録または出力画像として生成し、
既定しきい値未満の差分でないと判定した場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像を記録または出力画像として生成する。
【０１０９】
［２．撮影画像における被写体距離がすべて遠い距離の場合に２次元画像の記録、出力を実行する処理例について（実施例２）］
次に、本発明の撮像装置の実施例２として、撮影画像における被写体距離がすべて遠い距離の場合に２次元画像の記録、出力を実行する実施例について説明する。
【０１１０】
前述した実施例では、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の対応座標における被写体距離情報を比較して、全ての対応座標位置における被写体までの距離差が、所定の閾値未満である場合、あるいは、予め設定した対応点範囲（たとえば９５％）以上の対応座標位置における被写体までの距離差が、所定の閾値未満である場合、２次元画像としての記録や表示装置に対する出力を実行する構成として説明した。
【０１１１】
以下に説明する実施例は、このようなＬＲ画像相互の距離の比較処理を実行するのではなく、撮像部で撮影した１つの画像、例えば左目用画像（Ｌ画像）の各画素の測距データ（被写体距離情報）を比較して、画像に含まれる被写体が全て遠い距離にある場合には、２次元画像としての記録、出力を実行する２Ｄモードに設定する。
【０１１２】
なお、本実施例２の撮像装置の構成としては、前述の実施例１と同様、外観は図３、内部構成は図４と同様の構成を持つ。
【０１１３】
本実施例２における撮像装置の実行する処理シーケンスについて図１４に示すフローチャートを参照して説明する。
図１４に示すフローチャートは、先に図５を参照して説明した実施例１の撮像装置における処理フローと多くの部分で共通する。
異なる処理は、ステップＳ２０２〜Ｓ２０３の処理である。
【０１１４】
図４に示す撮像装置の構成図と、図１４に示すフローチャートを参照して本実施例の撮像装置の処理について説明する。なお。実施例１と共通するステップの処理については簡略化して説明する。
【０１１５】
（ステップＳ２０１）
ステップＳ２０１において、例えばユーザーのシャッタ操作に応じて図４に示す撮像装置１００が備える２つの撮像部１０１，１０２において並列に撮像処理が実行される。
【０１１６】
例えば図３に示すカメラの左右に配置した撮像部２１Ａ，２１Ｂにより、右目視点の画像と左目視点の画像を得る。なお、図４のブロック図では、撮像部１０１は被写体を左方向から撮影して左目用画像（Ｌ画像）を取得し、撮像部１０２は被写体を右方向から撮影して右目用画像（Ｒ画像）の取得処理を行う。
【０１１７】
なお、撮像部１０１，１０２は先に図６〜図８を参照して説明したように、位相差検出により測距信号を出力する光電変換セルを撮像素子上に多数、備えており、画像データの取得だけでなく、撮像素子上に取り込まれる被写体までの距離情報を、多数の測距信号を出力する光電変換セル単位で取得可能な構成を持つ。測距された距離データは距離データ解析部１０５に転送する。
【０１１８】
（ステップＳＳ２０２〜Ｓ２０３）
ステップＳ２０２では、撮像部で撮影した１つの画像、例えば左目用画像（Ｌ画像）の各画素の測距データ（被写体距離情報）を取得して、画像に含まれる被写体が全て遠い距離にあるか否かを判定する。
この処理は、実施例１の処理と異なる処理である。
本実施例では、距離データ解析部１０５は、ＬＲ画像の対応座標位置での距離データの比較を行うのではなく、１つの画像内に設定した多数の距離情報取得位置の距離データを解析して、画像に含まれる被写体が全て遠い距離にあるか否かを判定する。
【０１１９】
距離データ解析部１０５は、撮像部１０１、撮像部１０２から各々、撮影画像内の測距ポイント対応の複数の測距データを取得する。例えば図６（ｂ）を参照して説明した７ｂｉｔ（０〜１２７）のデータである。
例えばすべての距離測定点の値が閾値（例えば１２０）以上である場合は、ステップＳ２０の判定はＹｅｓとなる。それ以外の場合はＮｏとなる。
【０１２０】
距離データ解析部１０５は、撮像部１０１、撮像部１０２から取得したＬＲ各画像のいずれか一方、あるいは２つの画像各々について画像内の測距データの全てが予め設定した所定閾値以上の遠い距離データを示しているか否かを判定する。
【０１２１】
距離情報の取得、判定処理を実行する画像は、ＬＲ画像いずれか一方の画像としてもよいし、２つの画像としてもよい。
【０１２２】
なお、本実施例においても先の実施例１と同様、ステップＳ２０３の判定処理として、測距データの全てについて、所定の閾値以上の距離を持つか否かという判定処理を実行しているが、距離計測の誤差等を勘案して、例えば、距離計測点数の多くの部分、例えば９５％以上の点が、所定の閾値以上の距離であるか否かという判定処理を実行するといった設定としてもよい。
この設定とした場合、処理対象画像の測距データの９５％以上の点が、所定の閾値以上の距離である場合には、ステップＳ２０３の判定がＹｅｓとなり、それ以外の場合はＮｏと判定することになる。
【０１２３】
ステップＳ２０３の判定がＹｅｓの場合、すなわち、撮影画像の全てまたは大部分が遠い距離の被写体である場合は、ステップＳ２０４に進み、撮像装置１００を、２次元画像（２Ｄ画像）の記録及び出力を実行する２Ｄモードに設定する。撮像装置１００の備える各部が２Ｄモードに切り替わったらＳ２０６へ移行する。
【０１２４】
一方、ステップＳ２０３の判定がＮｏの場合、すなわち、撮影画像の全てまたは大部分が遠い距離の被写体であると判定されない場合は、ステップＳ２０５に進み、撮像装置１００を、３次元画像（３Ｄ画像）の記録及び出力を実行する３Ｄモードに設定する。撮像装置１００の備える各部が３Ｄモードに切り替わったらＳ２０６へ移行する。
以下の処理は、実施例１と同様の処理であり、説明を省略する。
【０１２５】
このように、本実施例では、画像の測距値が大きい、すなわち全ての被写体が遠い場合には、２次元画像として記録、出力する処理を実行する。この処理は、全ての被写体が遠い場合には、３次元画像として表示してもほとんど立体感を実感することができないという理由に基づく処理である。
【０１２６】
この具体例について、図１５、図１６を参照して説明する。
図１５は、被写体距離が比較的近い場合の２つの撮像部の撮影画像の例を示している。
図１６は、被写体距離が比較的遠い場合の２つの撮像部の撮影画像の例を示している。
【０１２７】
まず、図１５の被写体距離が比較的近い場合の２つの撮像部の撮影画像の例について説明する。
図１５（ａ）に示すように所定の離間した位置に設定された撮像部１と撮像部２を有するカメラによって、比較的カメラに近い位置の被写体（人物と木）を撮影する。
図１５（ａ）のように撮像部と被写体の距離が近い場合に、撮像部１が撮影する範囲、角度と、撮像部２が撮影する範囲、角度は被写体（人物と木）に対して相対的に大きな違いがある。このような場合、図１５（ａ１），（ａ２）に示すように撮像部１と撮像部２とで異なる画像が取得される。
【０１２８】
図１５（ａ１）が撮像部１の取得画像であり、図１５（ａ２）が撮像部２の取得画像である。これらの２つの画像における被写体（人物と木）の記録位置は明らかに異なっている。この被写体の記録位置の差が、３Ｄ画像として表示した際に明確な視差となり、奥行感のある画像として提示されることになる。
【０１２９】
次に図１６を参照して被写体距離が比較的遠い場合の２つの撮像部の撮影画像の例について説明する。
図１６（ｂ）に示すように所定の離間した位置に設定された撮像部１と撮像部２を有するカメラによって、比較的カメラに遠い位置の被写体（山なみ）を撮影する。
図１６（ｂ）のように撮像部と被写体の距離が遠い場合に、撮像部１が撮影する範囲、角度と、撮像部２が撮影する範囲、角度は、被写体（山なみ）に対して相対的に大きな違いはない。このような場合、図１６（ｂ１），（ｂ２）に示すように撮像部１と撮像部２とでほぼ同じ画像が取得される。
【０１３０】
図１６（ｂ１）が撮像部１の取得画像であり、図１６（ｂ２）が撮像部２の取得画像である。これらの２つの画像における被写体（山なみ）の記録位置はほぼ同じである。このように被写体の記録位置の差がほとんど無い２つの画像を３Ｄ画像として表示しても、明確な視差がなく、奥行感の感じられない画像として提示されることになる。
【０１３１】
被写体の距離が遠方で視差が所定値以下となると判断する値は理論的には被写体を一度にどれだけのフレーミングでとらえられるかのレンズの性能や２つの撮像部を配置する間隔などで決定されるが、実際にはわずかな視差をとらえるのは困難なため、ある人にとっては視差があるとは感じず、ある人にとっては視差があると感じるといった場合も存在する。
【０１３２】
そのためユーザーが本撮像装置を使用当初は撮影時にフレーミングを決めながら、もしくは撮影後に撮影画像を見ながら、自分で視差があると思った場合は３Ｄモード、視差がないと思った場合は２Ｄモードと手動で設定していき、そのパタンを学習することで、撮像装置が被写体とどの程度の距離のときに２Ｄモードに自動的に切り替えればよいかと判断できるようになり、切り替え精度をあげることが可能である。
【０１３３】
本実施例では、撮像素子から出力される距離情報の解析を行えばよく、２つの画像の距離データの比較処理は不要である。本実施例は取得された距離情報がある距離値以上であることのみ判断できればよいので、先に説明した実施例１と比較して、測距データの比較動作がないこと、また片方の撮像装置からの距離情報のみで判断することも可能なため高速に実行することが可能になる。
【０１３４】
このように、本実施例の撮像装置は、距離データ解析部１０５の解析結果に基づいて、記録データ生成部１１０や出力データ生成部１０７が、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成する。
【０１３５】
具体的には、距離データ解析部１０５がＬ画像とＲ画像の少なくともいずれかの画像に複数設定した被写体距離測定点の測定値である距離データを取得する。
記録データ生成部１１０や出力データ生成部１０７は、距離データの全てまたは予め設定した割合以上が、被写体距離が遠いことを示す既定しきい値以上の距離データを有しているか否かを判定する。
有している場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像を記録または出力画像として生成し、
有していない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像を記録または出力画像として生成する。
【０１３６】
［３．実施例１，２の変形例について］
（３−１．距離測定点の一部のみの測定情報を考慮した処理例（実施例３））
上述した実施例１，２においては、位相差検出によって被写体距離を計測する手法において、全ての測距点の情報を取得した処理例として説明した。
このように、全ての測距点の情報を取得せず、一部の測距点の計測距離情報のみを取得して２Ｄモードとするか３Ｄモードとするかの決定を行う構成としてもよい。
【０１３７】
上述した実施例１、実施例２では全ての測距点について、ＬＲ画像の対応点の距離比較処理や、１つの画像の全ての測距点の距離値がある値以上かなどの全測距点のデータを対象とした処理を実行していた。このような全ての測距点を対象とした処理を実行するのではなく、例えば、ボケでなくフォーカスがあっている部分の測距点についてのみを処理対象とする構成や、ユーザーが選択したオブジェクト上の測距点など一部の測距点のみを処理対象として２Ｄモードとするか３Ｄモードとするかの決定を行う構成としてもよい。
【０１３８】
（３−２．撮影後の記録データに対する処理例（実施例４））
上述した実施例１，２において説明した処理例は、撮像装置において新たな画像の撮影時に、その撮影画像の記録または表示を２Ｄモードで行うか３Ｄモードで行うかを制御する処理として説明した。
【０１３９】
しかし、この処理は、撮影後に既に記録媒体やメモリに格納された撮影済み画像に対して行うことも可能である。すなわち既に撮影され、左目用画像（Ｌ画像）（と右目用画像（Ｒ画像）の画像ペアとして記録媒体に格納されている画像を読み出して、これらの記録画像の検証を実行して、２Ｄモードでの再記録や表示、あるいは３Ｄモードでの再記録や表示を実行する構成である。以下、この処理例について説明する。
【０１４０】
なお、この処理を実行する場合の前提として、撮像装置は、撮影時に３Ｄモードで撮影し、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像ペアを記録媒体に記録し、この記録処理に際して、先に図１０等を参照して説明した距離情報を画像に対する属性情報（メタデータ）、例えばＥＸＩＦのメタデータとして併せて記録していることが条件である。
【０１４１】
なお、この記録済みデータを利用した処理は、撮像装置に限らず、画像表示や編集、再生処理等を実行する画像処理装置においても実行可能であり、例えばＰＣや、テレビなどの装置において実行可能である。
【０１４２】
この実施例４の画像処理装置（再生装置）４００の機能ブロック図を図１７に示す。
また、図１７に示す画像処理装置４００において実行する画像再記録処理、または出力（表示）処理の処理シーケンスについて説明するフローチャートを図１８に示す。
【０１４３】
図１７に示すように、画像処理装置４００は、記録媒体読み出し部４０１、デコード部４０２、画像データ格納部４０３、距離データ解析部４０４、記録データ生成部４０５、記録部４０６、出力データ生成部４０７、外部出力部４０８を有する。
【０１４４】
記録媒体読み出し部４０１は、３次元画像としての左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像ペアと各画像対応のメタデータとしての距離情報を記録した記録媒体４１０から、画像データの読み出しを実行する。
デコード部４０２は、記録媒体読み出し部４０１の読みだしたデータのデコード処理を実行する。デコード結果には、３次元画像としての左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像ペアと、各画像対応のメタデータとしての距離情報が含まれる。
【０１４５】
画像データは、画像データ格納部４０３に格納される。
距離情報は、距離データ解析部４０４に提供される。
記録データ生成部４０５は、画像データ格納部４０３に格納された画像データを入力するとともに、距離データ解析部４０４において処理された距離比較結果情報を入力して、距離比較結果情報に応じた再記録データを生成する。すなわち、距離比較結果情報に応じて、記録データとして２次元画像データまたは３次元画像データを生成する。
記録部４０６は、記録データ生成部４０５の生成した２次元画像データまたは３次元画像データを記録媒体４１０に記録する。
【０１４６】
出力データ生成部４０７は、画像データ格納部４０３に格納された画像データを入力するとともに、距離データ解析部４０４において処理された距離比較結果情報を入力して、距離比較結果情報に応じた出力用（表示用）データを生成する。すなわち、距離比較結果情報に応じて、出力データとして２次元画像データまたは３次元画像データを生成する。
【０１４７】
次に、図１８に示すフローチャートを参照して、図１７に示す画像処理装置の実行する処理シーケンスについて説明する。
なお、この処理は、例えば図１７には示されない制御部がメモリに格納されたプログラムに従った制御の下で実行される。
【０１４８】
図１８に示すフローチャートに従った処理は、画像処理装置４００による３Ｄデータを記録媒体に記録した後に機器の処理に余裕があるときに自動的に、もしくはユーザーが開始処理を選択したとき、あるいは、画像処理装置４００にメモリーカード等の記録媒体４１０が挿入されたときなどをトリガーとして開始される。
【０１４９】
（ステップＳ３０１）
まず、ステップＳ３０１において、記録媒体読み出し部４０１が、処理対象ファイルを記録媒体から読みだす。読み出しデータには、３次元画像としての左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像ペアと各画像対応のメタデータとしての距離情報が含まれる。
【０１５０】
なお、処理対象ファイルの選択としては、例えば、記録媒体読出部４０１が読み出したファイル情報を確認した中で３Ｄ形式で書き込まれているファイルのうち一番古くに記録され、かつ本発明の処理を実行したことがないものを選択する。記録日時はＥＸＩＦなどのメタデータを読出すことでわかる。
【０１５１】
またこの処理フローに従った再記録処理を行ったことがあるか、ないかを示すフラグもＥＸＩＦなどのメタデータとして埋め込み、このフラグを検証して、未処理データであることが確認された場合に読み出し対象として選択するという構成としてもよい。
【０１５２】
また、図１７には図示していない表示装置に記録媒体読出部４０１が読み出したファイルの一覧を表示して、処理対象ファイルをユーザーに選択させるなど、他の方法を使って選択してもよい。
【０１５３】
（ステップＳ３０２）
次にステップＳ３０２において、デコード部４０２が、記録媒体読み出し部４０１の読みだしたデータのデコード処理を実行する。デコード結果には、３次元画像としての左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像ペアと、各画像対応のメタデータとしての距離情報が含まれる。
【０１５４】
具体的には、例えばＭＰＯ形式などにより格納された３Ｄ形式のデータから左右の画像データを取り出しデコードを行い、左目画像データ、右目画像データのそれぞれを画像データ格納部４０３へ転送する。またＥＸＩＦなどにメタデータとして埋め込まれている測距データの取り出しも行い距離データ解析部４０４へ転送する。なお、画像データを格納する画像データ格納部４０３は半導体メモリなどにより構成され、左右画像の一時保存が可能な構成となっている。画像データ、測距データの転送が終了するとステップＳ３０３に移行する。
【０１５５】
（ステップＳ３０３）
次に、ステップＳ３０３において、距離データ解析部４０４が距離データの比較処理を実行する。
なお、この距離データ比較処理は、先の実施例１において説明した処理、または実施例２において説明した処理のいずれかの処理として実行する。
【０１５６】
例えば、先の実施例１において説明した処理を行う場合は、左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）の対応座標位置間で距離の比較を行う。
一方、実施例２において説明した処理を行う場合は、左目用画像（Ｌ画像）、または右目用画像（Ｒ画像）の１つの画像内での測距点の距離の検出を行う。
【０１５７】
（ステップＳ３０４〜Ｓ３０６）
ステップＳ３０４では、ステップＳ３０３において実行した距離情報解析処理に基づく判定を実行する。
ステップＳ３０３において、先の実施例１において説明した処理を行った場合、すなわち、左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）の対応座標の距離情報の比較を実行した場合は、Ｌ画像とＲ画像の対応点の距離差の、全て、あるいは予め定めた閾値（たとえば全体の９５％など）以上の領域において予め設定された閾値未満であるか否かを判定する。
【０１５８】
比較した対応点の測距データが同じ、もしくは表示結果が人間の目では同等とみなせる誤差範囲内（例えば測距値は７ｂｉｔ（０〜１２７）において誤差±５以内など）に全てまたは閾値以上の対応画素が入っている場合はステップＳ３０４でＹｅｓと判断され、Ｓ３０５に移行し、画像処理装置４００を２次元画像（２Ｄ画像）の記録及び出力を実行する２Ｄモードに設定する。
そうでない場合はＳ３０４でＮｏと判断され、Ｓ３０６へ移行し、画像処理装置４００を３次元画像（３Ｄ画像）の記録及び出力を実行する３Ｄモードに設定する。
【０１５９】
一方、ステップＳ３０３において、先の実施例２において説明した処理を行った場合、すなわち、左目用画像（Ｌ画像）または右目用画像（Ｒ画像）少なくともいずれか一方の画像に設定した被写体距離測定点において取得された距離値の判定処理を行った場合は、これらの全て（または所定数以上）が予め設定した閾値以上の値、すなわち遠い被写体を撮影しているか否かの判定を実行する。
【０１６０】
ステップＳ３０４の判定がＹｅｓの場合、すなわち、撮影画像の全てまたは大部分が遠い距離の被写体である場合は、ステップＳ３０５に進み、画像処理装置４００を、２次元画像（２Ｄ画像）の記録及び出力を実行する２Ｄモードに設定する。
【０１６１】
一方、ステップＳ３０４の判定がＮｏの場合、すなわち、撮影画像の全てまたは大部分が遠い距離の被写体であると判定されない場合は、ステップＳ３０６に進み、画像処理装置４００を、３次元画像（３Ｄ画像）の記録及び出力を実行する３Ｄモードに設定する。
【０１６２】
（ステップＳ３０７）
ステップＳ３０７では、ステップＳ３０５またはステップＳＺ３０６において設定したモードに従った画像データの記録媒体に対する再記録、または出力（表示）処理を実行する。
【０１６３】
すなわち、ステップＳ３０５において、２次元画像モードに設定した場合は、２次元画像としてのデータ記録、または出力処理を実行する。２次元画像の記録または出力処理は、例えばＬＲ画像のいずれか一方のみを記録対象または出力（表示）対象とした処理として実行する。
【０１６４】
なお２Ｄモードにおける記録または出力対象の画像をＬＲ画像のどちらに設定するかは、先に説明した実施例と同様、機器によって常に左目画像データか右目画像データの画像データのどちらかに決めておいてもよいし、ユーザーに選ばせる形式でも構わない。記録対象として選択された画像データは例えばＪＰＥＧ形式などの画像圧縮フォーマットに変換し、記録部４０６へ転送され記録媒体４１０に記録される。
【０１６５】
また画像処理装置４００のモードが３Ｄモードに設定されている場合は、記録データ生成部４０５は、画像データ格納部４０３に格納されている左目用画像データと右目用画像データの両方の画像データを取得し、それぞれをＪＰＥＧ形式などの画像圧縮フォーマットに変換する、そして複数ファイルを１つのファイルに記録するフォーマットに変換する。例えばＣＩＰＡで規定されている複数のＪＰＥＧ画像を１つのファイルとして記録するマルチピクチャフォーマットなどである。取得されたデータは記録部４０６へ転送され記録媒体４１０に記録される。
【０１６６】
なお、記録媒体４１０に対する記録フォーマットは、マルチピクチャフォーマットに限らず、２つの画像ファイルを名前で関連付けたり、画像ファイルの関連付けを記す設定ファイルを同時に記録したりの方法など、他の記録方法を実行してもよい。
【０１６７】
記録部４０６では、記録データ生成部４０５で生成したデータを記録媒体４１０に記録する。なお、記録媒体としては取り外し可能な半導体メモリーカード、光ディスクなどが利用できる。また、ネットワークインターフェースを通じて外部サーバのデータベースなどへ記録する処理を行ってもよい。
【０１６８】
なお、図１７において、記録媒体４１０は画像処理装置（再生装置）４００の外に記してあるが、画像処理装置（再生装置）４００に内蔵するハードディスクなどの磁気記録装置やフラッシュメモリなどの半導体メモリなど、どのような形式でも構わない。記録または出力処理が終了するとステップＳ３０８へ移行する。
【０１６９】
（ステップＳ３０８）
ステップＳ３０８において、全ての指定ファイルの処理が終了したか否かを判定する。処理が終了したと判断されれば動作を終了する。未処理ファイルがある場合はステップＳ３０１に移行し、引き続き処理を続ける。
【０１７０】
なお、距離情報に基づく再記録処理を行ったファイルについては処理済みであることを示すフラグの値を設定する構成とし、フラグを例えばＥＸＩＦなどのメタデータとして記録する。記録データ生成部４０５はこのフラグの値に基づいて各ファイルの処理状況を判定することができる。
【０１７１】
［４．プログラム（ソフトウェア）による処理を実行する装置構成例について］
次に、本発明に従った撮像装置や画像処理装置のハードウェア構成例について、図１９を参照して説明する。
図１９に示す画像処理装置５００は、再生機能を備えた撮像装置であり、プログラム（ソフトウェア）実行部としての制御部であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５６３を有している。
プログラムは、例えば不揮発性メモリ５６２に格納されている。ＣＰＵ５６３は例えば比較的高速にアクセスが可能なＤＤＲ ＳＤＲＡＭ（Ｄｏｕｂｌｅ−Ｄａｔａ−Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される高速メモリ５６１をワークエリアとして利用し、不揮発性メモリ５６２から読みこんだプログラムを展開して画像の距離情報の解析処理等を実行する。
【０１７２】
なお、図１９の画像処理装置５００内に示す各構成部間において、データはＣＰＵ５６３や、バスＩ／Ｆ５６４に内蔵される調停機能に従った制御のもと、バスを介して転送される。
【０１７３】
撮像部５０１，５０２はそれぞれ入射光（左）５８１、入射光（右）５８２を入力し、異なる視点からの画像、すなわち左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を撮影する。
画像データ格納部５０３，５０４はこれらのＬＲ画像を格納する。
入力部５０６はもユーザーからの指示入力５８３、例えば記録命令などを入力する。
【０１７４】
ＣＰＵ５６３は、プログラムに従って画像データ格納部５０３，５０４に格納されたＬＲ画像に対応する距離情報の解析を実行する。すなわち、前述の各実施例に従った距離情報の解析処理である。
【０１７５】
記録データ生成部５１０は、画像データ格納部５０３，５０４に格納されたＬＲ画像を取得し、さらに、ＣＰＵ５６３の生成した距離情報の解析結果を入力して、記録する画像を２次元画像とするか３次元画像とするかを判定して、判定結果に応じた記録データを生成する。生成した記録データは記録媒体５８４に記録される。
なお、記録画像を２次元画像とするか３次元画像の判定処理は、前述の実施例において説明したいずれかの判定処理として実行される。
【０１７６】
出力データ生成部５０７は、画像データ格納部５０３，５０４に格納されたＬＲ画像を取得し、さらに、ＣＰＵ５６３の生成した距離情報の解析結果を入力して、出力する画像を２次元画像とするか３次元画像とするかを判定して、判定結果に応じた出力データを生成する。生成した出力データは外部出力部５０８を介して外部出力装置５９１に出力される。または表示部５０９に表示される。
なお、出力画像を２次元画像とするか３次元画像の判定処理は、前述の実施例において説明したいずれかの判定処理として実行される。
【０１７７】
記録媒体５８４からのデータ読み出しは、記録媒体読み出し部５５１において実行される。記録データデコード部５５２は読み出しデータのデコード処理を実行してデコード結果を画像データ格納部５５３に格納する。
【０１７８】
この画像データ格納部５５３に格納された画像データに対する再記録、あるいは出力（表示）処理を実行する場合は、先に図１７、図１８を参照して説明した処理と同様、画像に対応するメタデータとして記録された距離情報の解析を行い、解析結果に応じて２次元画像または３次元画像のいずれかで再記録や出力表示処理を実行する。
【０１７９】
この処理に際して距離情報の解析は、ＣＰＵ（制御部）５６３において予め不揮発性メモリ５６２に格納されたプログラムに従って実行される。
ＣＰＵ５６３の距離情報解析結果に応じて、記録データ生成部５１０が再記録するデータ形式を２次元画像とするか３次元画像とするかを決定して記録データを生成する。
同様に、ＣＰＵ５６３の距離情報解析結果に応じて、出力データ生成部５０７が出力するデータ形式を２次元画像とするか３次元画像とするかを決定して記録データを生成する。
この処理は、先に図１８を参照して説明したシーケンスと同様のシーケンスである。
【０１８０】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１８１】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１８２】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１８３】
以上、説明したように、本発明の一実施例によれば、異なる視点から撮影された画像の３次元画像としての適正を判定し、判定結果に応じて記録や出力画像の設定を変更する構成が実現される。具体的には例えば左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像領域単位の被写体距離を解析して、画像の３次元画像としての適正を判定する。例えば、Ｌ画像とＲ画像各々の対応座標位置の被写体までの距離の差分データの全てまたは予め設定した割合以上が、既定しきい値未満である場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像の記録、出力を行い、既定しきい値未満の差分でない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像の記録、出力を行う。
この処理により、画像の適正に応じた画像記録、表示処理が実現される。
【符号の説明】
【０１８４】
２１ 撮像部
２２ シャッターボタン
２３ 下蓋
２４ メモリーカード
２５ バッテリー
２６ 側面蓋
２７ 電源端子
２８ 外部出力端子
１００ 撮像装置
１０１，１０２ 撮像部
１０３，１０４ 撮像データ格納部
１０５ 距離データ解析部
１０６ 入力部
１０７ 出力データ生成部
１０８ 外部出力部
１０９ 表示部
１１０ 記録データ生成部
１１１ 記録部
２９１ 左目用画像（Ｌ画像）
２９２ 右目用画像（Ｒ画像）
２９５ 右目
２９６ 左目
４００ 画像処理装置
４０１ 記録媒体読み出し部
４０２ デコード部
４０３ 画像データ格納部
４０４ 距離データ解析部
４０５ 記録データ生成部
４０６ 記録部
４０７ 出力データ生成部
４０８ 外部出力部
４１０ 記録媒体
５００ 画像処理装置
５０１，５０２ 撮像部
５０３，５０４ 撮像データ格納部
５０６ 入力部
５０７ 出力データ生成部
５０８ 外部出力部
５０９ 表示部
５１１ 記録部
５５１ 記録媒体読み出し部
５５２ 記録データデコード部
５５３ 画像データ格納部
５６１ 高速メモリ
５６２ 不揮発性メモリ
５６３ ＣＰＵ
５８１ 入射光（左）
５８２ 入射光（右）
５８３ 指示入力
５８４ 記録媒体
５９１ 外部出力装置
【技術分野】
【０００１】
本発明は、画像処理装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、画像の解析結果に応じて３次元画像（３Ｄ画像）と２次元画像（２Ｄ画像）を切り替えて記録や出力または表示を行う画像処理装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
昨今、３次元画像（３Ｄ画像）を表示可能としたテレビやＰＣなどの表示装置や、３次元画像（３Ｄ画像）を記録可能としたビデオカメラ、スチルカメラなどが開発され利用されている。３Ｄ画像は異なる視点からの撮影画像、すなわち左目用画像と右目用画像を利用して表示処理が行われる。従って、３次元画像をメディアに記録する場合は、左目用画像と右目用画像の１組の画像を記録することが必要となり、再生処理に際してはこれらの１組の画像を利用して再生を行うことになる。
【０００３】
３次元画像を撮影可能としたカメラには、離間した位置に左目用画像と右目用画像を撮影するためのレンズが設定され、これらの離間したレンズ位置から２つの異なる視点からの画像を同時に撮影する。いわゆる２眼カメラを利用した撮影を行う。しかしながら、このような２眼カメラにおいて良好な３次元画像を撮影するためには、いくつかの条件がある。例えば被写体の位置によっては良好な３次元画像が撮影できない場合がある。
【０００４】
良好な３次元画像の撮影ができない場合に、３次元画像としての記録を行わず、２次元画像として記録する処理を実行するカメラについて開示した従来技術して、例えば特許文献１（特許３１８６４４８号公報）や特許文献２（特開２０１０−１６１４９２号公報）などがある。
【０００５】
これらの特許文献１，２には、２眼カメラでの撮影時に撮影モードを被写体距離に応じて２次元画像を撮影する２Ｄモードと、３次元画像を撮影する３Ｄモードを自動的に切り替える構成を開示している。
【０００６】
具体例について図１を参照して説明する。図１には、
（ａ）被写体がカメラから遠い場合、
（ｂ）被写体がカメラに近い場合、
これらの２つのケースについての被写体と２眼カメラの各レンズ（カメラ１、カメラ２）の位置関係を示している。
【０００７】
図１（ａ）に示すように被写体がカメラから遠いときには被写体に対して両方のレンズ（カメラ１、カメラ２）が同時にフォーカスをあわせることができるので３次元画像（３Ｄ）の撮影を行う。
しかし、図１（ｂ）に示すように、被写体がカメラに近いときは被写体に対して両方のレンズ（カメラ１、カメラ２）のフォーカスが合わせられないので２次元画像（２Ｄ）で撮影するというものである。
【０００８】
図２を参照して、この切り替え処理についてさらに説明する。
図２（ａ）に示すように通常時（図１（ａ）のように被写体がカメラから所定距離以上離れている場合）は左目画像、右目画像のフォーカス点が同じ位置にフォーカスをあわせることで３Ｄ表示が可能となる。
しかしながら図１（ｂ）のように近距離に被写体がある場合は、２つの撮像部で撮影された画像のフォーカス点を合わせようとしても図２（ｂ）に示したように合わせられず、３Ｄ表示は２つの画像がぶれたような表示に見えてしまう。
【０００９】
なお、図２（ｂ）のような画像に対して、図２（ｃ）のように画像処理によって３次元表示可能な画像を生成する構成についても提案されている。
図２（ｃ）に示す処理は、２つの画像のフォーカス点があうようにずらし、２つの画像が重ならない領域はもう片方の目の画像データが存在しないため、３Ｄ表示ができない領域として黒塗りつぶしなどによるマスク処理を行う画像処理を行うものである。
【００１０】
従来、３次元画像を撮影するための３Ｄカメラは価格が高価なことや、大きさの問題で一部のプロが３Ｄ効果を狙った画像を特別に取得するために、用いられていたため、遠い被写体といっても視差がある範囲内でのことしか考慮になかった。
【００１１】
しかし、現在は安価で小型の３Ｄカメラが販売され、一般ユーザーが気軽に利用可能な状態になっている。例えば、一般ユーザーが旅行先でスナップ写真などを３Ｄ画像として撮影することも多くなってきた。しかし、例えば遠方の山なみなどの被写体のみを含む風景写真は、被写体全体が視差の少ない画像となる。このような被写体を３Ｄ画像として撮影して記録し、その記録画像を３Ｄ表示可能なディスプレイで３Ｄ画像として表示しても、立体間、すなわち遠近感をほとんど認識できないといった事態が発生する。表示装置で３Ｄ表示を実行して立体感を認識するためには、十分な視差を発生させる被写体が含まれていることが必要となる。
【００１２】
このような事実を考慮した場合、現行の３Ｄ画像の撮影機能を持つカメラ（撮像装置）には以下のような問題点がある。
［問題点１］
左目視点、右目視点を撮影する２つの撮像部を備えた撮像装置において、撮影を行う際に、風景写真などのように被写体全ての距離が遠方である場合、あるいは例えば絵画等の平面な被写体を撮影すると、左視点の画像と、右視点の画像に視差が生じない、または少ない。このため、３Ｄ表示用ディスプレイに表示しても２Ｄ表示用ディスプレイと同等の立体感をほとんど得られない画像が表示されてしまう。一方、３Ｄ画像データは２Ｄ画像と比較して２倍のファイルサイズであるため、記録部に必要となる記憶容量が過大となってしまう。
【００１３】
［問題点２］
左目視点、右目視点を撮影する２つの撮像部を備えた撮像装置において、撮影を行う際に、風景写真などのように被写体全ての距離が遠方である場合、あるいは例えば絵画等の平面な被写体を撮影すると、左視点の画像と、右視点の画像に視差が生じない、または少ない。このため、３Ｄ表示用ディスプレイに表示しても２Ｄ表示用ディスプレイの表示と同等の立体感をほとんど得られない画像が表示されてしまう。一方、記録部には３Ｄ用のファイルフォーマットで記録されるため、３Ｄ表示用ディスプレイや３Ｄ表示対応の出力装置でないと表示できない。
【００１４】
［問題点３］
左目視点、右目視点を撮影する２つの撮像部を備えた撮像装置において、撮影を行う際に、風景写真などのように被写体全ての距離が遠方にある場合、あるいは例えば絵画等の平面な被写体を撮影すると、左視点の画像と、右視点の画像に視差が生じない、または少ない。このため、３Ｄ表示用ディスプレイに表示しても２Ｄ表示用ディスプレイの表示と同等の立体感をほとんど得られない画像が表示されてしまう。このため、例えば撮影時に裸眼で３Ｄ表示可能ディスプレイを見ながら撮影の設定をする際に、実際にはそれぞれの撮像部の露出やホワイトバランスなど各種設定のばらつきが発生しているが、３Ｄ表示の左右目映像へのクロストークの影響との分別が困難で最適設定ができないことがある。
【先行技術文献】
【特許文献】
【００１５】
【特許文献１】特許３１８６４４８号公報
【特許文献２】特開２０１０−１６１４９２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１６】
本発明は、例えば上述の状況に鑑みてなされたものであり、画像の解析結果に応じて３次元画像（３Ｄ画像）と２次元画像（２Ｄ画像）を切り替えて記録や出力または表示を行う画像処理装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１７】
本発明の第１の側面は、
異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析する距離データ解析部と、
前記距離データ解析部の解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行うデータ生成部を有し、
前記データ生成部は、
前記距離データ解析部の解析結果に基づいて、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成する画像処理装置にある。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記距離データ解析部は、
異なる視点からの画像であるＬ画像とＲ画像各々の対応座標位置の被写体までの距離である測距値の差分データを算出し、前記データ生成部は、前記距離データ解析部の解析結果として取得するＬ画像とＲ画像各々の対応座標位置の被写体までの距離である測距値の差分データの全てまたは予め設定した割合以上が、既定しきい値未満の差分であるか否かを判定し、既定しきい値未満の差分である場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像を記録または出力画像として生成し、既定しきい値未満の差分でない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像を記録または出力画像として生成する。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記距離データ解析部は、異なる視点からの画像であるＬ画像とＲ画像の少なくともいずれかの画像に複数設定した被写体距離測定点の測定値である距離データを取得し、前記データ生成部は、前記距離データの全てまたは予め設定した割合以上が、被写体距離が遠いことを示す既定しきい値以上の距離データを有しているか否かを判定し、有している場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像を記録または出力画像として生成し、有していない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像を記録または出力画像として生成する。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、異なる視点からの撮影画像を撮影する２つの撮像部を有し、前記撮像部は、画像の部分領域単位の被写体距離情報を取得する撮像素子を有する構成である。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記撮像部は、位相差検出法によって画像の部分領域単位の被写体距離情報を取得する画素領域を持つ撮像素子を有する構成である。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記距離データ解析部は、画像の一部の画像領域を選択して、選択領域のみの被写体距離情報を解析し、前記データ生成部は、前記選択領域のみの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行う。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記距離データ解析部は、フォーカスの合った画像領域を選択して、選択領域のみの被写体距離情報を解析し、前記データ生成部は、前記選択領域のみの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行う。
【００２４】
さらに、本発明の第２の側面は、
画像処理装置において実行する画像処理方法であり、
距離データ解析部が、異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析する距離データ解析ステップと、
データ生成部が、前記距離データ解析ステップの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行うデータ生成ステップを有し、
前記データ生成ステップは、
前記距離データ解析ステップにおける解析結果に基づいて、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成する画像処理方法にある。
【００２５】
さらに、本発明の第３の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
距離データ解析部に、異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析させる距離データ解析ステップと、
データ生成部に、前記距離データ解析ステップの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行わせるデータ生成ステップを実行させ、
前記データ生成ステップにおいては、
前記距離データ解析ステップにおける解析結果に基づいて、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成させるプログラムにある。
【００２６】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して例えば記憶媒体によって提供されるプログラムである。このようなプログラムを情報処理装置やコンピュータ・システム上のプログラム実行部で実行することでプログラムに応じた処理が実現される。
【００２７】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００２８】
本発明の一実施例によれば、異なる視点から撮影された画像の３次元画像としての適正を判定し、判定結果に応じて記録や出力画像の設定を変更する構成が実現される。具体的には例えば左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像領域単位の被写体距離を解析して、画像の３次元画像としての適正を判定する。例えば、Ｌ画像とＲ画像各々の対応座標位置の被写体までの距離の差分データの全てまたは予め設定した割合以上が、既定しきい値未満である場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像の記録、出力を行い、既定しきい値未満の差分でない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像の記録、出力を行う。
この処理により、画像の適正に応じた画像記録、表示処理が実現される。
【図面の簡単な説明】
【００２９】
【図１】２眼カメラでの撮影処理における被写体距離に応じた撮影状況について説明する図である。
【図２】２眼カメラでの撮影画像に基づく出力画像の生成処理について説明する図である。
【図３】本発明の撮像装置の外観構成例について説明する図である。
【図４】本発明の撮像装置の機能を説明するブロック図である。
【図５】本発明の撮像装置の処理を説明するフローチャートである。
【図６】本発明の撮像装置の撮像素子の具体的構成例である位相差検出による距離測定を可能とした撮像素子の例を説明する図である。
【図７】本発明の撮像装置の撮像素子の具体的構成例である位相差検出による距離測定を可能とした撮像素子の例を説明する図である。
【図８】位相差検出による距離測定を可能とした撮像素子の処理例について説明する図である。
【図９】位相差検出による距離測定を可能とした撮像素子の処理例について説明する図である。
【図１０】撮影画像に対応する距離測定データである測距データの例について説明する図である。
【図１１】３Ｄ形式の画像データの例について説明する図である。
【図１２】３Ｄテレビなどの外部出力装置に左目用の画像と右目用の画像を交互に出力する処理例について説明する図である。
【図１３】レンチキュラーレンズをパネル上に備えた３Ｄ画像表示部の構成例について説明する図である。
【図１４】本発明の実施例２に係る撮像装置の実行する処理シーケンスについて説明するフローチャートを示す図である。
【図１５】被写体距離が比較的近い場合の２つの撮像部の撮影画像の例について説明する図である。
【図１６】被写体距離が比較的遠い場合の２つの撮像部の撮影画像の例について説明する図である。
【図１７】本発明の実施例４の画像処理装置（再生装置）の機能ブロック図を示す図である。
【図１８】本発明の実施例４の画像処理装置（再生装置）の実行する処理シーケンスについて説明するフローチャートを示す図である。
【図１９】本発明の画像処理装置のハードウェア構成例について説明する図である。
【発明を実施するための形態】
【００３０】
以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。説明は、以下の項目に従って行う。
１．左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の対応点の被写体距離情報に基づいてモード切り替えを実行する実施例について（実施例１）
２．撮影画像における被写体距離がすべて遠い距離の場合に２次元画像の記録、出力を実行する処理例について（実施例２）
３．実施例１，２の変形例について
３−１．距離測定点の一部のみの測定情報を考慮した処理例（実施例３）
３−２．撮影後の記録データに対する処理例（実施例４）
４．プログラム（ソフトウェア）による処理を実行する装置構成例について
【００３１】
［１．左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の対応点の被写体距離情報に基づいてモード切り替えを実行する実施例について（実施例１）］
まず、本発明の画像処理装置の一例である撮像装置の実施例１として、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の対応点の被写体距離情報に基づいてモード切り替えを実行する実施例について説明する。
【００３２】
図３を参照して本発明の撮像装置の外観構成例について説明する。撮像装置２０は撮影に使用するレンズ、撮像素子が複数、備えられている。図３に示すレンズと撮像素子を備えた２つの撮像部２１Ａ、２１Ｂである。ユーザーはシャッターボタン２２を押すことで２つの撮像部２１Ａ，２１Ｂから視差のある２つの画像を撮影することができる。
【００３３】
撮影画像は、下蓋２３を開けたところに存在するメモリーカード２４にＭＰＯ（Ｍｕｌｔｉ Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）形式で記録することができる。また下蓋２３をあけたところにはバッテリー２５の装着部があり、バッテリー駆動が可能であり、ユーザーは撮像装置２０を自由に持ち出し撮影することができる。また側面蓋２６をあけるとバッテリー２５の充電や機器の電源供給のための電源端子２７と外部出力端子２８が存在する。
【００３４】
この外部出力端子２８から、撮影画像やメモリーカード２４に記録された画像を出力することができる。例えば外部出力端子２８と３次元映像出力対応テレビ（３Ｄ対応テレビと呼ぶ）とをＨＤＭＩケーブルで接続して、撮像装置から３Ｄ対応テレビに対する画像出力を実行して３Ｄ対応テレビに３次元画像（３Ｄ画像）を表示することが可能となる。なお、本発明の撮像装置は、３次元画像（３Ｄ画像）と、２次元画像（２Ｄ画像）、双方の記録、出力が可能な構成である。
【００３５】
なお、以下の実施例ではシャッターボタン２２の押下を撮影のトリガとする例について説明するが、音声をトリガとした撮影開始構成や、あるいは例えば顔認識や笑顔認識等の機能を持つ構成においては、これらの認識処理に基づいて撮影を開始するなど、様々な撮影開始構成が利用可能である。
【００３６】
また、以下の実施例では撮影画像をメモリーカード２４に所定のファイルフォーマット、すなわちＭＰＯに従って記録する例について説明するが、左目画像、右目画像をそれぞれ別々に記録し、ファイル名などで関連付ける方式をとっても良いし、他の別の形式で記録しても構わない。
また、外部出力端子２８としてはＨＤＭＩ Ｉ／Ｆに限らず、その他、様々なＩ／Ｆが利用可能である。
【００３７】
次に、図４と図５を参照して、本発明の撮像装置の機能と処理について説明する。
図４は、本発明の撮像装置の機能を説明するブロック図である。
図５は、本発明の撮像装置の処理を説明するフローチャートである。
【００３８】
図４に示すように、本発明の撮像装置１００は撮像部１０１、撮像部１０２、撮像データ格納部１０３、撮像データ格納部１０４、距離データ解析部１０５、入力部１０６、出力データ生成部１０７、外部出力部１０８、表示部１０９、記録データ生成部１１０、記録部１１１を有する。
なお、図示していないが、図４に示す各構成部の処理を制御する制御部を有し、また、制御部によって実行する処理プログラムを格納したメモリを有する。
撮像装置１００において実行する各種の処理は、予めメモリに格納されたプログラムに従って制御部の制御下で実行される。
【００３９】
図４に示す撮像装置１００の各構成部について説明する。
撮像部１０１と、撮像部１０２は、３次元画像としての左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）を撮影する撮像部である。すなわち、異なる視点から被写体を撮影するカメラの離間した位置に設定された撮像部である。図３に示す撮像部２１Ａ，２１Ｂに対応する。
【００４０】
撮像データ格納部１０３と、撮像データ格納部１０４は、各撮像部１０１，１０２の撮像データを一時的に格納する例えばフレームメモリである。
各撮像部１０１，１０２の撮像データは、撮像データ格納部１０３と、撮像データ格納部１０４に入力されるとともに、距離データ解析部１０５にも入力される。
【００４１】
距離データ解析部１０５は、各撮像部１０１，１０２の撮像画像に含まれる被写体のカメラからの距離を比較する。
入力部１０６は、ユーザーの操作情報を入力する。例えば撮影データの記録媒体に対する記録処理や削除命令等の指示入力である。
【００４２】
出力データ生成部１０７は、撮像データ格納部１０３と、撮像データ格納部１０４に格納された画像データを、表示部１０９、あるいは外部出力部１０８を介して外部出力装置に出力するための画像データの生成を行う。
なお、出力データ生成部１０７は、距離データ解析部１０５において実行される距離データの比較結果に応じて、出力画像データを３次元画像（３Ｄ画像）とするか、２次元画像（２Ｄ画像）とするかを決定して、決定結果に応じた出力画像データを生成する。
【００４３】
出力データ生成部１０７は、距離データ解析部１０５の解析結果に応じて３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を出力画像として生成する。
【００４４】
外部出力部１０８は、例えばＨＤＭＩ Ｉ／Ｆ等の外部装置に対する入出力インタフェースである。なお、外部装置は例えば２次元画像や３次元画像を表示可能なテレビなどの表示装置などによって構成される。
表示部１０９は、例えば有機ＥＬディスプレイや液晶ディスプレイ等である。なお、本実施例では、例えば２次元画像と３次元画像の表示が可能なディスプレイによって構成される。例えばレンチキュラーレンズを用いた表示装置である。この構成については後段で説明する。
【００４５】
記録データ生成部１１０は、入力部１０６からの記録命令に応じて、記録媒体に記録するデータを生成する。
なお、記録データ生成部１１０は、距離データ解析部１０５において実行される距離データの比較結果に応じて、記録データを３次元画像（３Ｄ画像）として記録するか、２次元画像（２Ｄ画像）として記録するかを決定して、決定結果に応じた記録データを生成する。
【００４６】
記録データ生成部１１０は、距離データ解析部１０５の解析結果に応じて３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録画像として生成する。
【００４７】
記録部１１１は、記録データ生成部１１０の生成した記録データを記録媒体に記録する処理を実行する。
【００４８】
本発明の撮像装置１００の電源をＯＮにすると撮像装置１００の動作が開始される。図５に示すフローチャートを参照して図４に示す撮像装置１００の実行する処理のシーケンスについて説明する。なお、先に説明したように、撮像装置１００において実行する各種の処理は、予めメモリに格納されたプログラムに従って制御部の制御下で実行される処理であり、図５に示す処理も制御部の制御に基づいて行われる。
【００４９】
（ステップＳ１０１）
図５のＳ１０１から動作が開始する。ステップＳ１０１において、例えばユーザーのシャッタ操作に応じて撮像装置１００が備える２つの撮像部１０１，１０２において並列に撮像処理が実行される。
【００５０】
例えば図３に示すカメラの左右に配置した撮像部２１Ａ，２１Ｂにより、右目視点の画像と左目視点の画像を得る。なお、図４のブロック図では、撮像部１０１は被写体を左方向から撮影して左目用画像（Ｌ画像）を取得し、撮像部１０２は被写体を右方向から撮影して右目用画像（Ｒ画像）の取得処理を行う。
【００５１】
左目用画像（Ｌ画像）を撮影する撮像部１０１は内蔵するＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）やＣＭＯＳイメージセンサ（ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などの撮像素子上に被写体の画像を結像させ、撮像素子上に蓄積された画像のデータを、１画像分のデータ毎に撮像データ格納部１０３に転送する。
【００５２】
撮像部１０１は位相差検出により測距信号を出力する光電変換セルを撮像素子上に多数、備えており、画像データの取得だけでなく、撮像素子上に取り込まれる被写体までの距離情報を、多数の測距信号を出力する光電変換セル単位で取得可能な構成を持つ。測距された距離データは距離データ解析部１０５に転送する。
【００５３】
図６〜図９を参照して本発明の撮像装置の撮像部の撮像素子の具体的構成例、すなわち、位相差検出による距離測定を可能とした撮像素子についての一例を説明する。なお、図６〜図９を参照して説明する撮像素子構成は、本出願人と同一出願人による先の特許出願（特開２００９−１９２６０５号公報）に記載された構成である。本発明の撮像装置は、例えばこの特許出願（特開２００９−１９２６０５号公報）に記載された撮像素子を用いることで画素単位の被写体距離を取得する。
【００５４】
図６は、撮像部１０１の撮像素子の構成を示す図である。図に示されるように、フォトダイオード上にＲ（赤）、Ｇ（緑）およびＢ（青）の各カラーフィルタが配設されたＲ画素２０１、Ｇ画素２０２およびＢ画素２０３からなる通常の画素が設けられるとともに、位相差検出を行うための位相差検出素子である画素ａ，２１１ａ、画素ｂ，２１１ｂが設けられている。
【００５５】
撮像素子上には通常画素の水平ラインとしてＧ画素１１２とＲ画素１１１とが水平方向に交互に配置されたＧｒラインＬ１と、Ｂ画素１１３とＧ画素１１２とが水平方向に交互に配置されたＧｂラインＬ２とが形成されている。このＧｒラインＬ１とＧｂラインＬ２とが垂直方向に交互に配置されることによりベイヤー配列が構成される。また、撮像素子上には例えば上記通常画素の水平ライン６本毎に位相差検出画素２１１ａ，２１１ｂが水平方向に配列された位相差検出ラインＬｆが形成されている。
【００５６】
位相差検出ラインＬｆは、撮影光学系の射出瞳を瞳分割して被写体光を受光する一対の位相差検出画素２１１ａ，２１１ｂを交互に備えた構成を有している。
【００５７】
１組の位相差検出画素２１１ａ，２１１ｂの詳細構成例を図７に示す。
図７に示されるように、位相差検出ラインＬｆには、撮影光学系の射出瞳ＥＹの右側部分（「右側の部分瞳領域」または単に「右瞳領域」とも称する）Ｑａからの光束Ｔａと左側部分（「左側の部分瞳領域」または単に「左瞳領域」とも称する）Ｑｂからの光束Ｔｂとを受光する一対の位相差検出画素２１１ａ，２１１ｂが水平方向に配列されている。なお、ここでは、図中＋Ｘ方向側を右側と、−Ｘ方向側を左側と表現している。
【００５８】
一対の位相差検出画素２１１ａ，２１１ｂのうち、一方の位相差検出画素（以下では「第１位相差検出画素」とも称する）２１１ａは、第１位相差検出画素２１１ａへの入射光を集光するマイクロレンズＭＬと、スリット（矩形）状の第１開口部ＯＰ１を有する第１遮光板ＡＳ１と、当該第１遮光板ＡＳ１の下方に配置され、スリット（矩形）状の第２開口部ＯＰ２を有する第２遮光板ＡＳ２と、光電変換部ＰＤとを備えている。
【００５９】
そして、第１位相差検出画素２１１ａにおける第１開口部ＯＰ１は、受光素子ＰＤの中心を通り光軸ＬＴに平行な中心軸ＣＬを基準（起点）にして特定方向（ここでは、右方向（＋Ｘ方向））に偏った位置に設けられている。また、第１位相差検出画素１１ａにおける第２開口部ＯＰ２は、中心軸ＣＬを基準にして上記特定方向とは反対の方向（「反特定方向」とも称する）に偏った位置に設けられている。
【００６０】
また、一対の位相差検出画素２１１ａ，２１１ｂのうち、他方の位相差検出画素（以下では、「第２位相差検出画素」とも称する）２１１ｂは、スリット状の第１開口部ＯＰ１を有する第１遮光板ＡＳ１と、当該第１遮光板ＡＳ１の下方に配置され、スリット状の第２開口部ＯＰ２を有する第２遮光板ＡＳ２とを備えている。そして、第２位相差検出画素２１１ｂにおける第１開口部ＯＰ１は、中心軸ＣＬを基準にして上記特定方向とは反対の方向に偏った位置に設けられている。また、第２位相差検出画素２１１ｂにおける第２開口部ＯＰ２は、中心軸ＣＬを基準にして上記特定方向に偏った位置に設けられている。
【００６１】
すなわち、一対の位相差検出画素２１１ａ，２１１ｂでは、第１開口部ＯＰ１が互いに異なる方向に偏って配置される。また、第２開口部ＯＰ２は、位相差検出画素２１１ａ，２１１ｂ内の対応する第１開口部ＯＰ１に対して異なる方向にずれて配置される。
【００６２】
上述のような構成を有する一対の位相差検出画素ａ，ｂでは、射出瞳ＥＹにおいて異なる領域（部分）を通過した被写体光についての測距信号が取得される。
具体的には、射出瞳ＥＹの右瞳領域Ｑａを通過した光束Ｔａは、位相差検出画素ａに対応するマイクロレンズＭＬおよび第１遮光板ＡＳ１の第１開口部ＯＰ１を通過し、さらに第２遮光板ＡＳ２によって制限（限定）された後、第１位相差検出画素ａの受光素子ＰＤで受光される。この受光素子の出力が右瞳領域Ｑａの光束Ｔａに関する測距信号ａとして取得される。
【００６３】
また、射出瞳ＥＹの左瞳領域Ｑｂを通過した光束Ｔｂは、位相差検出画素ｂに対応するマイクロレンズＭＬおよび第２遮光板ＡＳ２の第１開口部ＯＰ１を通過し、さらに第２遮光板ＡＳ２によって制限された後、第２位相差検出画素ｂの受光素子ＰＤで受光される。この受光素子の出力が左瞳領域Ｑｂの光束Ｔｂに関する測距信号ｂとして取得される
【００６４】
図６に示す１つの位相差検出ラインＬｆのａｂａｂａｂ・・・において取得される受光素子の出力（測距信号）の例を図８に示す。図８に示すように、画素ａからの出力ラインと、画素ｂからの出力ラインは、所定量のシフト量Ｓｆを持つ信号となる。
【００６５】
図９（ａ）は、フォーカスレンズが、被写体距離に応じた位置に設定され、フォーカスが合った場合、すなわち合焦状態において、ａ，ｂ各画素間で発生するシフト量Ｓｆａを示している。
図９（ｂ１），（ｂ２）は、フォーカスレンズが、被写体距離に応じた位置に設定されず、フォーカスが合っていないた場合、すなわち非合焦状態において、ａ，ｂ各画素間で発生するシフト量Ｓｆａを示している。
（ｂ１）は、シフト量が合焦時より大きい場合、（ｂ２）はシフト量が合焦時より小さい場合の例である。
【００６６】
図９（ｂ１），（ｂ２）のような場合は、フォーカス時のシフト量になるようにフォーカスレンズを移動させて合焦させることが可能となる。
この処理が「位相差検出法」に従った合焦処理である。
この「位相差検出法」に従った合焦処理によってフォーカスレンズの合焦位置への設定が可能であり、フォーカスレンズは被写体距離に応じた位置に設定できる。
【００６７】
図９を参照して説明したシフト量は、図６に示すすべての位相差検出素子である画素ａ，画素ｂの組単位で計測可能であり、この微細領域（ａ，ｂ画素の組み合わせ領域）に撮り込まれる画像に対するフォーカスポイントを個別に決定することも可能であり、その結果として、微細領域（ａ，ｂ画素の組み合わせ領域）に対応する被写体の距離に応じたフォーカス位置（合焦位置）に応じた距離を算出することができる。
【００６８】
図４に示す本発明の撮像装置における撮像部１０１，１０２は、この「位相差検出法」に従った合焦技術を適用して、画像の微細領域単位での被写体距離を算出し、その距離情報を切りデータ比較部１０５に出力する。なお、各画素ペアａｂ単位での距離算出処理に際しては、シフト量に基づく演算処理を実行してもよいし、予めシフト量と被写体距離との対応データを予め計測して撮像部内のメモリに格納し、その格納データを適用して距離値を取得する構成としてもよい。
また、撮影レンズの焦点距離をｆ、第１位相差検出画素２１１ａ、第２位相差検出画素２１１ｂの基線長となるピッチサイズをＬ、位相差検出によって得られたずれ量をｎとすると、これから三角測量の原理により被写体までの距離Ｒを以下の式で算出することができる。
Ｒ＝ｆ×Ｌ／ｎ
上記式を用いて被写体までの距離を算出する構成としてもよい。
【００６９】
なお、本発明の測距手段は必ずしもこの「位相差検出法」に限定はされるものではなく、画像信号と同時に測距信号が取得できる構成であれば構わない。
なお測距データは上述したオートフォーカス処理の他、静止画や動画と共に記録することで、測距値を使用したアプリケーションに用いることができる。
【００７０】
撮像部１０２は撮像部１０１と同様に内蔵するＣＣＤイメージセンサ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ Ｉｍａｇｅ Ｓｅｎｓｏｒ）やＣＭＯＳイメージセンサ（ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ Ｉｍａｇｅ Ｓｅｎｓｏｒ）などの撮像素子上に被写体の画像を結像させ、撮像素子上に蓄積された画像のデータを、１画像分のデータ毎に撮像データ格納部１０４に転送する。また撮像部１０１と同様に位相差検出により測距信号を出力する光電変換セルを備えており、画像データの取得だけでなく、被写体までの距離情報の取得も可能な構成となっており、測距された距離データは距離データ解析部１０５に転送する。
【００７１】
撮像データ格納部１０３は、半導体メモリなどにより構成され、撮像部１０１から撮像データを数フレーム分一時格納することができるものである。格納された撮像部１０１からの撮像データは、出力データ生成部１０７に転送される。また記録データ生成部１１０より、記録データ出力命令が発行されると、命令発行のタイミングで取得された撮像データ１フレーム分を記録データ生成部１１０へ転送する。
【００７２】
撮像データ格納部１０４は、撮像データ格納部１０３と同様の構成であり、半導体メモリなどにより構成され、撮像部１０２から撮像データを数フレーム分一時格納することができるものである。格納された撮像部１０２からの撮像データは、出力データ生成部１０７に転送される。また記録データ生成部１１０より、記録データ出力命令が発行されると、命令発行のタイミングで取得された撮像データ１フレーム分を記録データ生成部１１０へ転送する。
【００７３】
撮像データ格納部１０３、１０４に対して、それぞれの撮像部の撮像データの格納を完了するとＳ１０２へ移行する。
【００７４】
（ステップＳ１０２）
ステップＳ１０２において、距離の比較を行う。
距離データ解析部１０５は、撮像部１０１、撮像部１０２より取得した測距データをもとに比較を行う。具体的には、左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）の対応座標位置間で距離の比較を行う。
【００７５】
撮像部１０１、または撮像部１０２のいずれか一方において取得した測距データのイメージを図１０に示す。図１０（ａ）が撮像部１０１、または撮像部１０２により取得した撮像データであり、一部を拡大した図が図１０（ｂ）である。撮像部１０１、撮像部１０２は図６に示したような位相差検出画素を含む撮像素子を備え、撮像素子上に形成された多数の位相差検出画素により図１０（ｂ）のように各位相差検出画素の部分の測距値が取得可能である。この例では測距値は７ｂｉｔ（０〜１２７）のデータとして取得され、被写体が遠方ほど大きな値となる例である。
【００７６】
（ステップＳ１０３〜Ｓ１０５）
距離データ解析部１０５は、ステップＳ１０３において、撮像部１０１と撮像部１０２より取得した測距データについて、全ての対応座標位置について位相差検出画素の測距値を比較し、Ｌ画像とＲ画像の対応点の距離差が予め設定された閾値未満であるか否かを判定する。
【００７７】
比較した対応点の測距データが同じ、もしくは表示結果が人間の目では同等とみなせる誤差範囲内（例えば測距値は７ｂｉｔ（０〜１２７）において誤差±５以内など）に全ての対応画素が入っている場合はステップＳ１０３でＹｅｓと判断され、Ｓ１０４に移行する。そうでない場合はＳ１０３でＮｏと判断され、Ｓ１０５へ移行する。
【００７８】
左目用画像（Ｌ画像）と右目用画像（Ｒ画像）との同じ座標位置に、同じ被写体が撮影されている場合は、ＬＲ画像の対応点の測距データはほぼ等しくなる。
しかし、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）との同じ座標位置に、異なる被写体が撮影されている場合は、ＬＲ画像の対応点の測距データは等しくならない。
左目用画像（Ｌ画像）と右目用画像（Ｒ画像）との同じ座標位置に、異なる被写体が撮影されている場合は、異なる距離の被写体を含む画像がＬ画像とＲ画像として撮影され、３Ｄ画像として表示した場合に立体感を把握できる画像であることを意味する。
【００７９】
例えば、遠方の山並みのみを撮影した画像では、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の全ての対応座標位置において、同じ被写体距離情報（例えば無限遠）となる。同様に壁に設置された絵画等の平面を撮影した場合も、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の全ての対応座標位置において、ほぼ同じ被写体距離情報となる。
このような場合は、ステップＳ１０３の判定はＹｅｓとなりステップＳ１０４に進む。ステップＳ１０４ではカメラが２次元画像モードに設定される。
【００８０】
一方、例えば遠方の山並みを背景として、カメラから数ｍの距離にいる人物を撮影した場合、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）において、対応座標の一部において、一方は近い距離の人物、他方は遠方の山並みの画像となる部分が発生する。このような場合、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）との対応座標位置の距離データは大きく異なり、閾値以上の距離差が検出される。この結果、ステップＳ１０３の判定はＮｏとなりステップＳ１０５に進む。ステップＳ１０５ではカメラが３次元画像モードに設定される。
【００８１】
なお、本実施例では、比較した対応点の測距データの全てについて、所定の閾値未満の距離差であるか否かという判定処理を実行しているが、距離計測の誤差等を勘案して、例えば、対応点としての計測点数の多くの部分、例えば９５％以上の点が、所定の閾値未満の距離差であるか否かという判定処理を実行するといった設定としてもよい。
この設定とした場合、ＬＲ各画像について比較した対応座標点の測距データの９５％以上の点が、所定の閾値未満の距離差である場合には、ステップＳ１０３の判定がＹｅｓとなり、それ以外の場合はＮｏと判定することになる。
【００８２】
ステップＳ１０３において、ＬＲ画像間で比較した測距データが同じ、もしくは表示結果が人間の目では同等とみなせる誤差範囲内（例えば測距値は７ｂｉｔ（０〜１２７）において誤差±５以内など）に全ての対応画素が入っていると判定した場合は、ステップＳ１０４に進み、ステップＳ１０４において、撮像装置１００を、２次元画像（２Ｄ画像）の記録及び出力を実行する２Ｄモードに設定する。撮像装置１００の備える各部が２Ｄモードに切り替わったらＳ１０６へ移行する。
【００８３】
一方、ステップＳ１０３において、ＬＲ画像間で比較した測距データが同じ、もしくは表示結果が人間の目では同等とみなせる誤差範囲内（例えば測距値は７ｂｉｔ（０〜１２７）において誤差±５以内など）に入らない対応画素があると判定した場合は、ステップＳ１０４に進み、ステップＳ１０４において、撮像装置１００を、３次元画像（３Ｄ画像）の記録及び出力を実行する３Ｄモードに設定する。撮像装置１００の備える各部が３Ｄモードに切り替わったらＳ１０６へ移行する。
【００８４】
（ステップＳ１０６）
ステップＳ１０６では、撮像装置の設定モード（２Ｄモードまたは３Ｄモード）に応じた画像表示処理を実行する。
【００８５】
ステップＳ１０３においてＹｅｓと判定され、ステップＳ１０４において２Ｄモードに設定された場合、出力データ生成部１０７は、以下の処理を行う。
撮像装置１００のモードが２次元画像の撮影記録を行う２Ｄモード設定時においては、出力データ生成部１０７は、撮像データ格納部１０３か撮像データ格納部１０４に格納されたいずれか一方の画像データを出力画像として選択する。
【００８６】
なお、２Ｄモード設定時において出力する画像の選択処理態様としては、撮像データ格納部１０３の画像データもしくは撮像データ格納部１０４の画像データのどちらかに予め設定しておいてもよいし、ユーザーに選ばせる形式でも構わない。例えば撮像データ格納部１０３を選択すると図３の撮像部２１Ｂで撮像した画が取得され、撮像データ格納部１０４を選択すると図３の撮像部２１Ａで撮像した画が取得される。取得された画像データは外部出力部１０８、表示部１０９に転送される。
【００８７】
一方、ステップＳ１０３においてＮｏと判定され、ステップＳ１０５において３Ｄモードに設定された場合は、出力データ生成部１０７は以下の処理を実行する。
【００８８】
撮像装置１００のモードが３次元画像の撮影記録を行う３Ｄモード設定時においては、出力データ生成部１０７は、撮像データ格納部１０３に格納されている画像データと撮像データ格納部１０４に格納されている画像データ、すなわち左右異なる視点からの２つの画像データ（Ｌ画像とＲ画像）を入力し、これらの画像から出力画像としての３Ｄ形式の画像データを生成する。
【００８９】
３Ｄ形式の画像データとしては、例えば図１１（ａ）に示すような左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を、１フレーム画像中の左右分割領域に配置するサイドバイサイド形式や、図１１（ｂ）に示すような左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を、１フレーム画像中の上下分割領域に配置するトップアンドボトム形式などがある。出力データ生成部１０７は、例えば、図１１（ａ），（ｂ）等の３Ｄ画像の出力フォーマットに変換して、外部出力部１０８、あるいは表示部１０９に出力する。
【００９０】
外部出力部１０８は、出力データ生成部１０７からの入力データをテレビなどの出力装置に転送する。外部出力部１０８は、出力データ生成部１０７からの入力データを、例えばテレビなどの外部出力装置が表示可能なフォーマットに変換し、外部出力装置に対して出力を行う。
【００９１】
具体的には、外部出力部１０８は、出力データ生成部１０７から受け取ったデータに対して、ガンマ補正などの各種画づくりのための信号処理を行い、その画像を出力先の解像度に合わせて解像度変換を行う。例えばＳＤテレビであれば７２０ｘ４８０画素、ＨＤテレビであれば１９２０ｘ１０８０画素などに解像度を変換する処理等を行い、ＨＤＭＩなどの外部出力装置が備えるＩ／Ｆフォーマットに変換して出力を行う。
【００９２】
この出力処理により、外部出力装置では撮像装置１００のモードに応じた画像再生表示が可能となる。すなわち、
撮像装置１００のモードが２Ｄモードに設定されている場合は、出力データ生成部１０７が生成したＬ画像またはＲ画像いずれか一方の画像に基づいて生成された２次元画像データの視聴が可能となる。
【００９３】
また、撮像装置１００のモードが３Ｄモードに設定されている場合は、例えば、図１２に示すように、３Ｄテレビなどの外部出力装置に左目用の画像と右目用の画像を交互に出力し、外部出力装置に付属のアクティブシャッターメガネの左右のレンズを交互に開閉することで左目用画像（Ｌ画像）は左目のみに、右目用画像（Ｒ画像）は右目のみに見せる設定とすることで３Ｄ画像の視聴が可能になる。
【００９４】
表示部１０９は、例えば有機ＥＬディスプレイや液晶ディスプレイにより構成され、出力データ生成部１０７から受け取ったデータに対して、ガンマ補正などの各種画づくりのための信号処理を行い、その画像を出力先の解像度に合わせて解像度変換を行う。例えば表示部１０９に使用される液晶ディスプレイの解像度がＶＧＡの場合は６４０ｘ４８０の解像度に変換する。その画像を撮像装置１００の内蔵ディスプレイに表示することで、ユーザーはフレーミングを決めることが可能になる。
【００９５】
表示部１０９も、２Ｄ画像、３Ｄ画像いずれの表示も可能な構成とされている。この構成により、撮像装置１００の設定モードに応じた画像再生表示が可能となる。すなわち、
撮像装置１００のモードが２Ｄモードに設定されている場合は、出力データ生成部１０７で生成されたＬ画像またはＲ画像いずれか一方の画像に基づいて生成された２次元画像データが視聴可能となる。
一方、撮像装置１００のモードが３Ｄモードに設定されている場合は、左目用画像（Ｌ画像）は左目のみに、右目用画像（Ｒ画像）は右目のみに見せる設定とした表示を行うことで３Ｄ画像の視聴が可能になる。
【００９６】
なお、表示部１０９の構成としては裸眼で３Ｄ画像の観察が可能な構成とすることが好ましい。例えば、図１２のようにレンチキュラーレンズをパネル上に備えた構成により実現される。
【００９７】
図１３は、表示部１０９の一例を示す図である。表示部１０９の表面には、図１３に示すようにレンチキュラーレンズが構成されている。左目用画像（Ｌ画像）２９１、右目用画像（Ｒ画像）２９２を短冊のようにして交互に出力する。このような出力を行うことで、左目用画像（Ｌ画像）２９１は左目２９６のみに、右目用画像（Ｒ画像）２９２は右目２９５のみに見せることが可能となり、３Ｄ画像として視聴が可能になる。
【００９８】
（ステップＳ１０７〜Ｓ１０８）
ステップＳ１０６における設定モードでの表示処理が完了すると、ステップＳ１０７へ移行する。
ステップＳ１０７において、入力部１０６を介して記録命令を取得したかの判断を行う。
入力部１０６はユーザーからの指示入力を受け取り、制御部がその指示内容を解釈し、記録命令が発行されたと認識すると、記録データ生成部１１０に対して、記録命令を発行する。記録命令が発行された場合はステップＳ１０８へ移行する。記録命令が発行されていない場合はステップＳ１０９へ移行する。
【００９９】
ステップＳ１０８においては、撮影画像の記録媒体に対する記録動作を行う。
撮像装置１００のモードが２次元画像の記録、表示を実行する２Ｄモードに設定されている場合は、記録データ生成部１１０は、入力部１０６からの記録命令が発行されたタイミングで撮像データ格納部１０３か撮像データ格納部１０４のどちらかに格納されている画像データを記録データとして選択する。
【０１００】
この記録データの選択処理は、予め機器によって常に撮像データ格納部１０３の画像データ、もしくは撮像データ格納部１０４の画像データのどちらかを記録する設定としてもよいし、ユーザーに選ばせる設定としてもよい。制御部は、記録データとして選択した画像を格納した撮像データ格納部に対して、記録データ出力命令を発行して記録データを取得する。
【０１０１】
例えば、撮像データ格納部１０３を選択すると図３の撮像部２１Ｂを介して撮像した画像が記録媒体への記録データとして取得される。一方、撮像データ格納部１０４を選択した場合は、図３の撮像部２１Ａで撮像した画像が記録媒体への記録データとして取得される。記録データ生成部１１０は、取得した画像データをＪＰＥＧ形式などの画像圧縮フォーマットに変換し、記録部１１１へ転送する。
【０１０２】
また撮像装置１００のモードが３次元画像の記録、表示を実行する３Ｄモードに設定されている場合は、記録データ生成部１１０は、撮像データ格納部１０３と撮像データ格納部１０４の双方に対して、記録データ出力命令を発行する。記録データ生成部１１０は、この命令に基づいて、撮像データ格納部１０３に格納されている画像データと撮像データ格納部１０４に格納されている画像データの両方の画像データを取得し、それぞれをＪＰＥＧ形式などの画像圧縮フォーマットに変換する。
【０１０３】
さらに、記録データ生成部１１０は、複数ファイルを１つのファイルに記録するフォーマットに変換する。例えばＣＩＰＡで規定されている複数のＪＰＥＧ画像を１つのファイルとして記録するマルチピクチャフォーマット（ＭＰＯ）などである。取得されたデータは記録部１１１へ転送する。
なお、記録媒体に対するデータの記録フォーマットは、マルチピクチャフォーマットに限らず、例えば２つの画像ファイルを名前で関連付けたり、画像ファイルの関連付けを記す設定ファイルを同時に記録したりの方法など、他の記録方法を適用してもよい。
【０１０４】
記録部１１１では、記録データ生成部１１０で生成したデータを記録媒体に記録する。記録媒体としては、例えば取り外し可能な半導体メモリーカード、光ディスクなどがある。またはネットワークインターフェースを通じて外部サーバのデータベースへ記録する方法をとってもよい。
【０１０５】
なお、図４では記録媒体は撮像装置１００外の構成として示してあるが、撮像装置１００に内蔵するハードディスクなどの磁気記録装置やフラッシュメモリなどの半導体メモリなどの設定としてもよい。記録媒体への記録処理が終了するとステップＳ１０９へ移行する。
【０１０６】
（ステップＳ１０９）
ステップＳ１０９において、電源がＯＦＦされたかの確認を行う。電源がＯＦＦにされたと判断されれば動作を終了する。ＯＦＦにされたと判断されなければステップＳ１０１に移行し、引き続き処理を続ける。
【０１０７】
このように、本発明の撮像装置は、距離データ解析部１０５の解析結果に基づいて、記録データ生成部１１０や出力データ生成部１０７が３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成する。
【０１０８】
具体的には、記録データ生成部１１０や出力データ生成部１０７は、Ｌ画像とＲ画像各々の対応座標位置の被写体までの距離である測距値の差分データの全てまたは予め設定した割合以上が、既定しきい値未満の差分であるか否かを判定する。
記録データ生成部１１０や出力データ生成部１０７が、既定しきい値未満の差分であると判定した場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像を記録または出力画像として生成し、
既定しきい値未満の差分でないと判定した場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像を記録または出力画像として生成する。
【０１０９】
［２．撮影画像における被写体距離がすべて遠い距離の場合に２次元画像の記録、出力を実行する処理例について（実施例２）］
次に、本発明の撮像装置の実施例２として、撮影画像における被写体距離がすべて遠い距離の場合に２次元画像の記録、出力を実行する実施例について説明する。
【０１１０】
前述した実施例では、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の対応座標における被写体距離情報を比較して、全ての対応座標位置における被写体までの距離差が、所定の閾値未満である場合、あるいは、予め設定した対応点範囲（たとえば９５％）以上の対応座標位置における被写体までの距離差が、所定の閾値未満である場合、２次元画像としての記録や表示装置に対する出力を実行する構成として説明した。
【０１１１】
以下に説明する実施例は、このようなＬＲ画像相互の距離の比較処理を実行するのではなく、撮像部で撮影した１つの画像、例えば左目用画像（Ｌ画像）の各画素の測距データ（被写体距離情報）を比較して、画像に含まれる被写体が全て遠い距離にある場合には、２次元画像としての記録、出力を実行する２Ｄモードに設定する。
【０１１２】
なお、本実施例２の撮像装置の構成としては、前述の実施例１と同様、外観は図３、内部構成は図４と同様の構成を持つ。
【０１１３】
本実施例２における撮像装置の実行する処理シーケンスについて図１４に示すフローチャートを参照して説明する。
図１４に示すフローチャートは、先に図５を参照して説明した実施例１の撮像装置における処理フローと多くの部分で共通する。
異なる処理は、ステップＳ２０２〜Ｓ２０３の処理である。
【０１１４】
図４に示す撮像装置の構成図と、図１４に示すフローチャートを参照して本実施例の撮像装置の処理について説明する。なお。実施例１と共通するステップの処理については簡略化して説明する。
【０１１５】
（ステップＳ２０１）
ステップＳ２０１において、例えばユーザーのシャッタ操作に応じて図４に示す撮像装置１００が備える２つの撮像部１０１，１０２において並列に撮像処理が実行される。
【０１１６】
例えば図３に示すカメラの左右に配置した撮像部２１Ａ，２１Ｂにより、右目視点の画像と左目視点の画像を得る。なお、図４のブロック図では、撮像部１０１は被写体を左方向から撮影して左目用画像（Ｌ画像）を取得し、撮像部１０２は被写体を右方向から撮影して右目用画像（Ｒ画像）の取得処理を行う。
【０１１７】
なお、撮像部１０１，１０２は先に図６〜図８を参照して説明したように、位相差検出により測距信号を出力する光電変換セルを撮像素子上に多数、備えており、画像データの取得だけでなく、撮像素子上に取り込まれる被写体までの距離情報を、多数の測距信号を出力する光電変換セル単位で取得可能な構成を持つ。測距された距離データは距離データ解析部１０５に転送する。
【０１１８】
（ステップＳＳ２０２〜Ｓ２０３）
ステップＳ２０２では、撮像部で撮影した１つの画像、例えば左目用画像（Ｌ画像）の各画素の測距データ（被写体距離情報）を取得して、画像に含まれる被写体が全て遠い距離にあるか否かを判定する。
この処理は、実施例１の処理と異なる処理である。
本実施例では、距離データ解析部１０５は、ＬＲ画像の対応座標位置での距離データの比較を行うのではなく、１つの画像内に設定した多数の距離情報取得位置の距離データを解析して、画像に含まれる被写体が全て遠い距離にあるか否かを判定する。
【０１１９】
距離データ解析部１０５は、撮像部１０１、撮像部１０２から各々、撮影画像内の測距ポイント対応の複数の測距データを取得する。例えば図６（ｂ）を参照して説明した７ｂｉｔ（０〜１２７）のデータである。
例えばすべての距離測定点の値が閾値（例えば１２０）以上である場合は、ステップＳ２０の判定はＹｅｓとなる。それ以外の場合はＮｏとなる。
【０１２０】
距離データ解析部１０５は、撮像部１０１、撮像部１０２から取得したＬＲ各画像のいずれか一方、あるいは２つの画像各々について画像内の測距データの全てが予め設定した所定閾値以上の遠い距離データを示しているか否かを判定する。
【０１２１】
距離情報の取得、判定処理を実行する画像は、ＬＲ画像いずれか一方の画像としてもよいし、２つの画像としてもよい。
【０１２２】
なお、本実施例においても先の実施例１と同様、ステップＳ２０３の判定処理として、測距データの全てについて、所定の閾値以上の距離を持つか否かという判定処理を実行しているが、距離計測の誤差等を勘案して、例えば、距離計測点数の多くの部分、例えば９５％以上の点が、所定の閾値以上の距離であるか否かという判定処理を実行するといった設定としてもよい。
この設定とした場合、処理対象画像の測距データの９５％以上の点が、所定の閾値以上の距離である場合には、ステップＳ２０３の判定がＹｅｓとなり、それ以外の場合はＮｏと判定することになる。
【０１２３】
ステップＳ２０３の判定がＹｅｓの場合、すなわち、撮影画像の全てまたは大部分が遠い距離の被写体である場合は、ステップＳ２０４に進み、撮像装置１００を、２次元画像（２Ｄ画像）の記録及び出力を実行する２Ｄモードに設定する。撮像装置１００の備える各部が２Ｄモードに切り替わったらＳ２０６へ移行する。
【０１２４】
一方、ステップＳ２０３の判定がＮｏの場合、すなわち、撮影画像の全てまたは大部分が遠い距離の被写体であると判定されない場合は、ステップＳ２０５に進み、撮像装置１００を、３次元画像（３Ｄ画像）の記録及び出力を実行する３Ｄモードに設定する。撮像装置１００の備える各部が３Ｄモードに切り替わったらＳ２０６へ移行する。
以下の処理は、実施例１と同様の処理であり、説明を省略する。
【０１２５】
このように、本実施例では、画像の測距値が大きい、すなわち全ての被写体が遠い場合には、２次元画像として記録、出力する処理を実行する。この処理は、全ての被写体が遠い場合には、３次元画像として表示してもほとんど立体感を実感することができないという理由に基づく処理である。
【０１２６】
この具体例について、図１５、図１６を参照して説明する。
図１５は、被写体距離が比較的近い場合の２つの撮像部の撮影画像の例を示している。
図１６は、被写体距離が比較的遠い場合の２つの撮像部の撮影画像の例を示している。
【０１２７】
まず、図１５の被写体距離が比較的近い場合の２つの撮像部の撮影画像の例について説明する。
図１５（ａ）に示すように所定の離間した位置に設定された撮像部１と撮像部２を有するカメラによって、比較的カメラに近い位置の被写体（人物と木）を撮影する。
図１５（ａ）のように撮像部と被写体の距離が近い場合に、撮像部１が撮影する範囲、角度と、撮像部２が撮影する範囲、角度は被写体（人物と木）に対して相対的に大きな違いがある。このような場合、図１５（ａ１），（ａ２）に示すように撮像部１と撮像部２とで異なる画像が取得される。
【０１２８】
図１５（ａ１）が撮像部１の取得画像であり、図１５（ａ２）が撮像部２の取得画像である。これらの２つの画像における被写体（人物と木）の記録位置は明らかに異なっている。この被写体の記録位置の差が、３Ｄ画像として表示した際に明確な視差となり、奥行感のある画像として提示されることになる。
【０１２９】
次に図１６を参照して被写体距離が比較的遠い場合の２つの撮像部の撮影画像の例について説明する。
図１６（ｂ）に示すように所定の離間した位置に設定された撮像部１と撮像部２を有するカメラによって、比較的カメラに遠い位置の被写体（山なみ）を撮影する。
図１６（ｂ）のように撮像部と被写体の距離が遠い場合に、撮像部１が撮影する範囲、角度と、撮像部２が撮影する範囲、角度は、被写体（山なみ）に対して相対的に大きな違いはない。このような場合、図１６（ｂ１），（ｂ２）に示すように撮像部１と撮像部２とでほぼ同じ画像が取得される。
【０１３０】
図１６（ｂ１）が撮像部１の取得画像であり、図１６（ｂ２）が撮像部２の取得画像である。これらの２つの画像における被写体（山なみ）の記録位置はほぼ同じである。このように被写体の記録位置の差がほとんど無い２つの画像を３Ｄ画像として表示しても、明確な視差がなく、奥行感の感じられない画像として提示されることになる。
【０１３１】
被写体の距離が遠方で視差が所定値以下となると判断する値は理論的には被写体を一度にどれだけのフレーミングでとらえられるかのレンズの性能や２つの撮像部を配置する間隔などで決定されるが、実際にはわずかな視差をとらえるのは困難なため、ある人にとっては視差があるとは感じず、ある人にとっては視差があると感じるといった場合も存在する。
【０１３２】
そのためユーザーが本撮像装置を使用当初は撮影時にフレーミングを決めながら、もしくは撮影後に撮影画像を見ながら、自分で視差があると思った場合は３Ｄモード、視差がないと思った場合は２Ｄモードと手動で設定していき、そのパタンを学習することで、撮像装置が被写体とどの程度の距離のときに２Ｄモードに自動的に切り替えればよいかと判断できるようになり、切り替え精度をあげることが可能である。
【０１３３】
本実施例では、撮像素子から出力される距離情報の解析を行えばよく、２つの画像の距離データの比較処理は不要である。本実施例は取得された距離情報がある距離値以上であることのみ判断できればよいので、先に説明した実施例１と比較して、測距データの比較動作がないこと、また片方の撮像装置からの距離情報のみで判断することも可能なため高速に実行することが可能になる。
【０１３４】
このように、本実施例の撮像装置は、距離データ解析部１０５の解析結果に基づいて、記録データ生成部１１０や出力データ生成部１０７が、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成する。
【０１３５】
具体的には、距離データ解析部１０５がＬ画像とＲ画像の少なくともいずれかの画像に複数設定した被写体距離測定点の測定値である距離データを取得する。
記録データ生成部１１０や出力データ生成部１０７は、距離データの全てまたは予め設定した割合以上が、被写体距離が遠いことを示す既定しきい値以上の距離データを有しているか否かを判定する。
有している場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像を記録または出力画像として生成し、
有していない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像を記録または出力画像として生成する。
【０１３６】
［３．実施例１，２の変形例について］
（３−１．距離測定点の一部のみの測定情報を考慮した処理例（実施例３））
上述した実施例１，２においては、位相差検出によって被写体距離を計測する手法において、全ての測距点の情報を取得した処理例として説明した。
このように、全ての測距点の情報を取得せず、一部の測距点の計測距離情報のみを取得して２Ｄモードとするか３Ｄモードとするかの決定を行う構成としてもよい。
【０１３７】
上述した実施例１、実施例２では全ての測距点について、ＬＲ画像の対応点の距離比較処理や、１つの画像の全ての測距点の距離値がある値以上かなどの全測距点のデータを対象とした処理を実行していた。このような全ての測距点を対象とした処理を実行するのではなく、例えば、ボケでなくフォーカスがあっている部分の測距点についてのみを処理対象とする構成や、ユーザーが選択したオブジェクト上の測距点など一部の測距点のみを処理対象として２Ｄモードとするか３Ｄモードとするかの決定を行う構成としてもよい。
【０１３８】
（３−２．撮影後の記録データに対する処理例（実施例４））
上述した実施例１，２において説明した処理例は、撮像装置において新たな画像の撮影時に、その撮影画像の記録または表示を２Ｄモードで行うか３Ｄモードで行うかを制御する処理として説明した。
【０１３９】
しかし、この処理は、撮影後に既に記録媒体やメモリに格納された撮影済み画像に対して行うことも可能である。すなわち既に撮影され、左目用画像（Ｌ画像）（と右目用画像（Ｒ画像）の画像ペアとして記録媒体に格納されている画像を読み出して、これらの記録画像の検証を実行して、２Ｄモードでの再記録や表示、あるいは３Ｄモードでの再記録や表示を実行する構成である。以下、この処理例について説明する。
【０１４０】
なお、この処理を実行する場合の前提として、撮像装置は、撮影時に３Ｄモードで撮影し、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像ペアを記録媒体に記録し、この記録処理に際して、先に図１０等を参照して説明した距離情報を画像に対する属性情報（メタデータ）、例えばＥＸＩＦのメタデータとして併せて記録していることが条件である。
【０１４１】
なお、この記録済みデータを利用した処理は、撮像装置に限らず、画像表示や編集、再生処理等を実行する画像処理装置においても実行可能であり、例えばＰＣや、テレビなどの装置において実行可能である。
【０１４２】
この実施例４の画像処理装置（再生装置）４００の機能ブロック図を図１７に示す。
また、図１７に示す画像処理装置４００において実行する画像再記録処理、または出力（表示）処理の処理シーケンスについて説明するフローチャートを図１８に示す。
【０１４３】
図１７に示すように、画像処理装置４００は、記録媒体読み出し部４０１、デコード部４０２、画像データ格納部４０３、距離データ解析部４０４、記録データ生成部４０５、記録部４０６、出力データ生成部４０７、外部出力部４０８を有する。
【０１４４】
記録媒体読み出し部４０１は、３次元画像としての左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像ペアと各画像対応のメタデータとしての距離情報を記録した記録媒体４１０から、画像データの読み出しを実行する。
デコード部４０２は、記録媒体読み出し部４０１の読みだしたデータのデコード処理を実行する。デコード結果には、３次元画像としての左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像ペアと、各画像対応のメタデータとしての距離情報が含まれる。
【０１４５】
画像データは、画像データ格納部４０３に格納される。
距離情報は、距離データ解析部４０４に提供される。
記録データ生成部４０５は、画像データ格納部４０３に格納された画像データを入力するとともに、距離データ解析部４０４において処理された距離比較結果情報を入力して、距離比較結果情報に応じた再記録データを生成する。すなわち、距離比較結果情報に応じて、記録データとして２次元画像データまたは３次元画像データを生成する。
記録部４０６は、記録データ生成部４０５の生成した２次元画像データまたは３次元画像データを記録媒体４１０に記録する。
【０１４６】
出力データ生成部４０７は、画像データ格納部４０３に格納された画像データを入力するとともに、距離データ解析部４０４において処理された距離比較結果情報を入力して、距離比較結果情報に応じた出力用（表示用）データを生成する。すなわち、距離比較結果情報に応じて、出力データとして２次元画像データまたは３次元画像データを生成する。
【０１４７】
次に、図１８に示すフローチャートを参照して、図１７に示す画像処理装置の実行する処理シーケンスについて説明する。
なお、この処理は、例えば図１７には示されない制御部がメモリに格納されたプログラムに従った制御の下で実行される。
【０１４８】
図１８に示すフローチャートに従った処理は、画像処理装置４００による３Ｄデータを記録媒体に記録した後に機器の処理に余裕があるときに自動的に、もしくはユーザーが開始処理を選択したとき、あるいは、画像処理装置４００にメモリーカード等の記録媒体４１０が挿入されたときなどをトリガーとして開始される。
【０１４９】
（ステップＳ３０１）
まず、ステップＳ３０１において、記録媒体読み出し部４０１が、処理対象ファイルを記録媒体から読みだす。読み出しデータには、３次元画像としての左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像ペアと各画像対応のメタデータとしての距離情報が含まれる。
【０１５０】
なお、処理対象ファイルの選択としては、例えば、記録媒体読出部４０１が読み出したファイル情報を確認した中で３Ｄ形式で書き込まれているファイルのうち一番古くに記録され、かつ本発明の処理を実行したことがないものを選択する。記録日時はＥＸＩＦなどのメタデータを読出すことでわかる。
【０１５１】
またこの処理フローに従った再記録処理を行ったことがあるか、ないかを示すフラグもＥＸＩＦなどのメタデータとして埋め込み、このフラグを検証して、未処理データであることが確認された場合に読み出し対象として選択するという構成としてもよい。
【０１５２】
また、図１７には図示していない表示装置に記録媒体読出部４０１が読み出したファイルの一覧を表示して、処理対象ファイルをユーザーに選択させるなど、他の方法を使って選択してもよい。
【０１５３】
（ステップＳ３０２）
次にステップＳ３０２において、デコード部４０２が、記録媒体読み出し部４０１の読みだしたデータのデコード処理を実行する。デコード結果には、３次元画像としての左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像ペアと、各画像対応のメタデータとしての距離情報が含まれる。
【０１５４】
具体的には、例えばＭＰＯ形式などにより格納された３Ｄ形式のデータから左右の画像データを取り出しデコードを行い、左目画像データ、右目画像データのそれぞれを画像データ格納部４０３へ転送する。またＥＸＩＦなどにメタデータとして埋め込まれている測距データの取り出しも行い距離データ解析部４０４へ転送する。なお、画像データを格納する画像データ格納部４０３は半導体メモリなどにより構成され、左右画像の一時保存が可能な構成となっている。画像データ、測距データの転送が終了するとステップＳ３０３に移行する。
【０１５５】
（ステップＳ３０３）
次に、ステップＳ３０３において、距離データ解析部４０４が距離データの比較処理を実行する。
なお、この距離データ比較処理は、先の実施例１において説明した処理、または実施例２において説明した処理のいずれかの処理として実行する。
【０１５６】
例えば、先の実施例１において説明した処理を行う場合は、左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）の対応座標位置間で距離の比較を行う。
一方、実施例２において説明した処理を行う場合は、左目用画像（Ｌ画像）、または右目用画像（Ｒ画像）の１つの画像内での測距点の距離の検出を行う。
【０１５７】
（ステップＳ３０４〜Ｓ３０６）
ステップＳ３０４では、ステップＳ３０３において実行した距離情報解析処理に基づく判定を実行する。
ステップＳ３０３において、先の実施例１において説明した処理を行った場合、すなわち、左目用画像（Ｌ画像）と、右目用画像（Ｒ画像）の対応座標の距離情報の比較を実行した場合は、Ｌ画像とＲ画像の対応点の距離差の、全て、あるいは予め定めた閾値（たとえば全体の９５％など）以上の領域において予め設定された閾値未満であるか否かを判定する。
【０１５８】
比較した対応点の測距データが同じ、もしくは表示結果が人間の目では同等とみなせる誤差範囲内（例えば測距値は７ｂｉｔ（０〜１２７）において誤差±５以内など）に全てまたは閾値以上の対応画素が入っている場合はステップＳ３０４でＹｅｓと判断され、Ｓ３０５に移行し、画像処理装置４００を２次元画像（２Ｄ画像）の記録及び出力を実行する２Ｄモードに設定する。
そうでない場合はＳ３０４でＮｏと判断され、Ｓ３０６へ移行し、画像処理装置４００を３次元画像（３Ｄ画像）の記録及び出力を実行する３Ｄモードに設定する。
【０１５９】
一方、ステップＳ３０３において、先の実施例２において説明した処理を行った場合、すなわち、左目用画像（Ｌ画像）または右目用画像（Ｒ画像）少なくともいずれか一方の画像に設定した被写体距離測定点において取得された距離値の判定処理を行った場合は、これらの全て（または所定数以上）が予め設定した閾値以上の値、すなわち遠い被写体を撮影しているか否かの判定を実行する。
【０１６０】
ステップＳ３０４の判定がＹｅｓの場合、すなわち、撮影画像の全てまたは大部分が遠い距離の被写体である場合は、ステップＳ３０５に進み、画像処理装置４００を、２次元画像（２Ｄ画像）の記録及び出力を実行する２Ｄモードに設定する。
【０１６１】
一方、ステップＳ３０４の判定がＮｏの場合、すなわち、撮影画像の全てまたは大部分が遠い距離の被写体であると判定されない場合は、ステップＳ３０６に進み、画像処理装置４００を、３次元画像（３Ｄ画像）の記録及び出力を実行する３Ｄモードに設定する。
【０１６２】
（ステップＳ３０７）
ステップＳ３０７では、ステップＳ３０５またはステップＳＺ３０６において設定したモードに従った画像データの記録媒体に対する再記録、または出力（表示）処理を実行する。
【０１６３】
すなわち、ステップＳ３０５において、２次元画像モードに設定した場合は、２次元画像としてのデータ記録、または出力処理を実行する。２次元画像の記録または出力処理は、例えばＬＲ画像のいずれか一方のみを記録対象または出力（表示）対象とした処理として実行する。
【０１６４】
なお２Ｄモードにおける記録または出力対象の画像をＬＲ画像のどちらに設定するかは、先に説明した実施例と同様、機器によって常に左目画像データか右目画像データの画像データのどちらかに決めておいてもよいし、ユーザーに選ばせる形式でも構わない。記録対象として選択された画像データは例えばＪＰＥＧ形式などの画像圧縮フォーマットに変換し、記録部４０６へ転送され記録媒体４１０に記録される。
【０１６５】
また画像処理装置４００のモードが３Ｄモードに設定されている場合は、記録データ生成部４０５は、画像データ格納部４０３に格納されている左目用画像データと右目用画像データの両方の画像データを取得し、それぞれをＪＰＥＧ形式などの画像圧縮フォーマットに変換する、そして複数ファイルを１つのファイルに記録するフォーマットに変換する。例えばＣＩＰＡで規定されている複数のＪＰＥＧ画像を１つのファイルとして記録するマルチピクチャフォーマットなどである。取得されたデータは記録部４０６へ転送され記録媒体４１０に記録される。
【０１６６】
なお、記録媒体４１０に対する記録フォーマットは、マルチピクチャフォーマットに限らず、２つの画像ファイルを名前で関連付けたり、画像ファイルの関連付けを記す設定ファイルを同時に記録したりの方法など、他の記録方法を実行してもよい。
【０１６７】
記録部４０６では、記録データ生成部４０５で生成したデータを記録媒体４１０に記録する。なお、記録媒体としては取り外し可能な半導体メモリーカード、光ディスクなどが利用できる。また、ネットワークインターフェースを通じて外部サーバのデータベースなどへ記録する処理を行ってもよい。
【０１６８】
なお、図１７において、記録媒体４１０は画像処理装置（再生装置）４００の外に記してあるが、画像処理装置（再生装置）４００に内蔵するハードディスクなどの磁気記録装置やフラッシュメモリなどの半導体メモリなど、どのような形式でも構わない。記録または出力処理が終了するとステップＳ３０８へ移行する。
【０１６９】
（ステップＳ３０８）
ステップＳ３０８において、全ての指定ファイルの処理が終了したか否かを判定する。処理が終了したと判断されれば動作を終了する。未処理ファイルがある場合はステップＳ３０１に移行し、引き続き処理を続ける。
【０１７０】
なお、距離情報に基づく再記録処理を行ったファイルについては処理済みであることを示すフラグの値を設定する構成とし、フラグを例えばＥＸＩＦなどのメタデータとして記録する。記録データ生成部４０５はこのフラグの値に基づいて各ファイルの処理状況を判定することができる。
【０１７１】
［４．プログラム（ソフトウェア）による処理を実行する装置構成例について］
次に、本発明に従った撮像装置や画像処理装置のハードウェア構成例について、図１９を参照して説明する。
図１９に示す画像処理装置５００は、再生機能を備えた撮像装置であり、プログラム（ソフトウェア）実行部としての制御部であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５６３を有している。
プログラムは、例えば不揮発性メモリ５６２に格納されている。ＣＰＵ５６３は例えば比較的高速にアクセスが可能なＤＤＲ ＳＤＲＡＭ（Ｄｏｕｂｌｅ−Ｄａｔａ−Ｒａｔｅ Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などにより構成される高速メモリ５６１をワークエリアとして利用し、不揮発性メモリ５６２から読みこんだプログラムを展開して画像の距離情報の解析処理等を実行する。
【０１７２】
なお、図１９の画像処理装置５００内に示す各構成部間において、データはＣＰＵ５６３や、バスＩ／Ｆ５６４に内蔵される調停機能に従った制御のもと、バスを介して転送される。
【０１７３】
撮像部５０１，５０２はそれぞれ入射光（左）５８１、入射光（右）５８２を入力し、異なる視点からの画像、すなわち左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を撮影する。
画像データ格納部５０３，５０４はこれらのＬＲ画像を格納する。
入力部５０６はもユーザーからの指示入力５８３、例えば記録命令などを入力する。
【０１７４】
ＣＰＵ５６３は、プログラムに従って画像データ格納部５０３，５０４に格納されたＬＲ画像に対応する距離情報の解析を実行する。すなわち、前述の各実施例に従った距離情報の解析処理である。
【０１７５】
記録データ生成部５１０は、画像データ格納部５０３，５０４に格納されたＬＲ画像を取得し、さらに、ＣＰＵ５６３の生成した距離情報の解析結果を入力して、記録する画像を２次元画像とするか３次元画像とするかを判定して、判定結果に応じた記録データを生成する。生成した記録データは記録媒体５８４に記録される。
なお、記録画像を２次元画像とするか３次元画像の判定処理は、前述の実施例において説明したいずれかの判定処理として実行される。
【０１７６】
出力データ生成部５０７は、画像データ格納部５０３，５０４に格納されたＬＲ画像を取得し、さらに、ＣＰＵ５６３の生成した距離情報の解析結果を入力して、出力する画像を２次元画像とするか３次元画像とするかを判定して、判定結果に応じた出力データを生成する。生成した出力データは外部出力部５０８を介して外部出力装置５９１に出力される。または表示部５０９に表示される。
なお、出力画像を２次元画像とするか３次元画像の判定処理は、前述の実施例において説明したいずれかの判定処理として実行される。
【０１７７】
記録媒体５８４からのデータ読み出しは、記録媒体読み出し部５５１において実行される。記録データデコード部５５２は読み出しデータのデコード処理を実行してデコード結果を画像データ格納部５５３に格納する。
【０１７８】
この画像データ格納部５５３に格納された画像データに対する再記録、あるいは出力（表示）処理を実行する場合は、先に図１７、図１８を参照して説明した処理と同様、画像に対応するメタデータとして記録された距離情報の解析を行い、解析結果に応じて２次元画像または３次元画像のいずれかで再記録や出力表示処理を実行する。
【０１７９】
この処理に際して距離情報の解析は、ＣＰＵ（制御部）５６３において予め不揮発性メモリ５６２に格納されたプログラムに従って実行される。
ＣＰＵ５６３の距離情報解析結果に応じて、記録データ生成部５１０が再記録するデータ形式を２次元画像とするか３次元画像とするかを決定して記録データを生成する。
同様に、ＣＰＵ５６３の距離情報解析結果に応じて、出力データ生成部５０７が出力するデータ形式を２次元画像とするか３次元画像とするかを決定して記録データを生成する。
この処理は、先に図１８を参照して説明したシーケンスと同様のシーケンスである。
【０１８０】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０１８１】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０１８２】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０１８３】
以上、説明したように、本発明の一実施例によれば、異なる視点から撮影された画像の３次元画像としての適正を判定し、判定結果に応じて記録や出力画像の設定を変更する構成が実現される。具体的には例えば左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の画像領域単位の被写体距離を解析して、画像の３次元画像としての適正を判定する。例えば、Ｌ画像とＲ画像各々の対応座標位置の被写体までの距離の差分データの全てまたは予め設定した割合以上が、既定しきい値未満である場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像の記録、出力を行い、既定しきい値未満の差分でない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像の記録、出力を行う。
この処理により、画像の適正に応じた画像記録、表示処理が実現される。
【符号の説明】
【０１８４】
２１ 撮像部
２２ シャッターボタン
２３ 下蓋
２４ メモリーカード
２５ バッテリー
２６ 側面蓋
２７ 電源端子
２８ 外部出力端子
１００ 撮像装置
１０１，１０２ 撮像部
１０３，１０４ 撮像データ格納部
１０５ 距離データ解析部
１０６ 入力部
１０７ 出力データ生成部
１０８ 外部出力部
１０９ 表示部
１１０ 記録データ生成部
１１１ 記録部
２９１ 左目用画像（Ｌ画像）
２９２ 右目用画像（Ｒ画像）
２９５ 右目
２９６ 左目
４００ 画像処理装置
４０１ 記録媒体読み出し部
４０２ デコード部
４０３ 画像データ格納部
４０４ 距離データ解析部
４０５ 記録データ生成部
４０６ 記録部
４０７ 出力データ生成部
４０８ 外部出力部
４１０ 記録媒体
５００ 画像処理装置
５０１，５０２ 撮像部
５０３，５０４ 撮像データ格納部
５０６ 入力部
５０７ 出力データ生成部
５０８ 外部出力部
５０９ 表示部
５１１ 記録部
５５１ 記録媒体読み出し部
５５２ 記録データデコード部
５５３ 画像データ格納部
５６１ 高速メモリ
５６２ 不揮発性メモリ
５６３ ＣＰＵ
５８１ 入射光（左）
５８２ 入射光（右）
５８３ 指示入力
５８４ 記録媒体
５９１ 外部出力装置
【特許請求の範囲】
【請求項１】
異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析する距離データ解析部と、
前記距離データ解析部の解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行うデータ生成部を有し、
前記データ生成部は、
前記距離データ解析部の解析結果に基づいて、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成する画像処理装置。
【請求項２】
前記距離データ解析部は、
異なる視点からの画像であるＬ画像とＲ画像各々の対応座標位置の被写体までの距離である測距値の差分データを算出し、
前記データ生成部は、
前記距離データ解析部の解析結果として取得するＬ画像とＲ画像各々の対応座標位置の被写体までの距離である測距値の差分データの全てまたは予め設定した割合以上が、既定しきい値未満の差分であるか否かを判定し、
既定しきい値未満の差分である場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像を記録または出力画像として生成し、
既定しきい値未満の差分でない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像を記録または出力画像として生成する請求項１に記載の画像処理装置。
【請求項３】
前記距離データ解析部は、
異なる視点からの画像であるＬ画像とＲ画像の少なくともいずれかの画像に複数設定した被写体距離測定点の測定値である距離データを取得し、
前記データ生成部は、
前記距離データの全てまたは予め設定した割合以上が、被写体距離が遠いことを示す既定しきい値以上の距離データを有しているか否かを判定し、
有している場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像を記録または出力画像として生成し、
有していない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像を記録または出力画像として生成する請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、
異なる視点からの撮影画像を撮影する２つの撮像部を有し、
前記撮像部は、画像の部分領域単位の被写体距離情報を取得する撮像素子を有する構成である請求項１に記載の画像処理装置。
【請求項５】
前記撮像部は、位相差検出法によって画像の部分領域単位の被写体距離情報を取得する画素領域を持つ撮像素子を有する構成である請求項４に記載の画像処理装置。
【請求項６】
前記距離データ解析部は、
画像の一部の画像領域を選択して、選択領域のみの被写体距離情報を解析し、
前記データ生成部は、
前記選択領域のみの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行う請求項１に記載の画像処理装置。
【請求項７】
前記距離データ解析部は、
フォーカスの合った画像領域を選択して、選択領域のみの被写体距離情報を解析し、
前記データ生成部は、
前記選択領域のみの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行う請求項６に記載の画像処理装置。
【請求項８】
画像処理装置において実行する画像処理方法であり、
距離データ解析部が、異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析する距離データ解析ステップと、
データ生成部が、前記距離データ解析ステップの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行うデータ生成ステップを有し、
前記データ生成ステップは、
前記距離データ解析ステップにおける解析結果に基づいて、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成する画像処理方法。
【請求項９】
画像処理装置において画像処理を実行させるプログラムであり、
距離データ解析部に、異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析させる距離データ解析ステップと、
データ生成部に、前記距離データ解析ステップの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行わせるデータ生成ステップを実行させ、
前記データ生成ステップにおいては、
前記距離データ解析ステップにおける解析結果に基づいて、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成させるプログラム。
【請求項１】
異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析する距離データ解析部と、
前記距離データ解析部の解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行うデータ生成部を有し、
前記データ生成部は、
前記距離データ解析部の解析結果に基づいて、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成する画像処理装置。
【請求項２】
前記距離データ解析部は、
異なる視点からの画像であるＬ画像とＲ画像各々の対応座標位置の被写体までの距離である測距値の差分データを算出し、
前記データ生成部は、
前記距離データ解析部の解析結果として取得するＬ画像とＲ画像各々の対応座標位置の被写体までの距離である測距値の差分データの全てまたは予め設定した割合以上が、既定しきい値未満の差分であるか否かを判定し、
既定しきい値未満の差分である場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像を記録または出力画像として生成し、
既定しきい値未満の差分でない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像を記録または出力画像として生成する請求項１に記載の画像処理装置。
【請求項３】
前記距離データ解析部は、
異なる視点からの画像であるＬ画像とＲ画像の少なくともいずれかの画像に複数設定した被写体距離測定点の測定値である距離データを取得し、
前記データ生成部は、
前記距離データの全てまたは予め設定した割合以上が、被写体距離が遠いことを示す既定しきい値以上の距離データを有しているか否かを判定し、
有している場合は、３次元画像表示における立体感の想起レベルが低いと判定し、２次元画像を記録または出力画像として生成し、
有していない場合は、３次元画像表示における立体感の想起レベルが高いと判定し、３次元画像を記録または出力画像として生成する請求項１に記載の画像処理装置。
【請求項４】
前記画像処理装置は、
異なる視点からの撮影画像を撮影する２つの撮像部を有し、
前記撮像部は、画像の部分領域単位の被写体距離情報を取得する撮像素子を有する構成である請求項１に記載の画像処理装置。
【請求項５】
前記撮像部は、位相差検出法によって画像の部分領域単位の被写体距離情報を取得する画素領域を持つ撮像素子を有する構成である請求項４に記載の画像処理装置。
【請求項６】
前記距離データ解析部は、
画像の一部の画像領域を選択して、選択領域のみの被写体距離情報を解析し、
前記データ生成部は、
前記選択領域のみの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行う請求項１に記載の画像処理装置。
【請求項７】
前記距離データ解析部は、
フォーカスの合った画像領域を選択して、選択領域のみの被写体距離情報を解析し、
前記データ生成部は、
前記選択領域のみの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行う請求項６に記載の画像処理装置。
【請求項８】
画像処理装置において実行する画像処理方法であり、
距離データ解析部が、異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析する距離データ解析ステップと、
データ生成部が、前記距離データ解析ステップの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行うデータ生成ステップを有し、
前記データ生成ステップは、
前記距離データ解析ステップにおける解析結果に基づいて、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成する画像処理方法。
【請求項９】
画像処理装置において画像処理を実行させるプログラムであり、
距離データ解析部に、異なる視点からの撮影画像の部分領域単位の被写体距離情報を解析させる距離データ解析ステップと、
データ生成部に、前記距離データ解析ステップの解析結果に応じて、記録または出力画像を２次元画像とするか３次元画像とするかを判定し、判定結果に基づく記録または出力画像の生成を行わせるデータ生成ステップを実行させ、
前記データ生成ステップにおいては、
前記距離データ解析ステップにおける解析結果に基づいて、３次元画像表示における立体感の想起レベルを判定し、立体感の想起レベルが低いと判定した場合は２次元画像を記録または出力画像として生成し、立体感の想起レベルが高いと判定した場合は３次元画像を記録または出力画像として生成させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１４】
【図１７】
【図１８】
【図１９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１４】
【図１７】
【図１８】
【図１９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【公開番号】特開２０１２−１２４７６６（Ｐ２０１２−１２４７６６Ａ）
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願番号】特願２０１０−２７４８０６（Ｐ２０１０−２７４８０６）
【出願日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年６月２８日（２０１２．６．２８）
【国際特許分類】
【出願日】平成２２年１２月９日（２０１０．１２．９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]