画像処理装置、撮像装置、および画像処理方法、並びにプログラム
【課題】複数の画像から切り出した短冊領域を連結して生成した３次元画像表示に適用する左目用合成画像と右目用合成画像の適正を評価する装置および方法を提供する。
【解決手段】合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルを解析し、規定閾値以上の大きさを有するブロック対応差分ベクトルを持つブロック面積（Ｓ）、またはベクトル長加算値である移動量加算値（Ｌ）が予め規定した閾値以上である場合、合成画像の３次元画像としての適正がないと判定する処理を実行し、判定結果に応じた警告出力や記録制御を実行する。
【解決手段】合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルを解析し、規定閾値以上の大きさを有するブロック対応差分ベクトルを持つブロック面積（Ｓ）、またはベクトル長加算値である移動量加算値（Ｌ）が予め規定した閾値以上である場合、合成画像の３次元画像としての適正がないと判定する処理を実行し、判定結果に応じた警告出力や記録制御を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、カメラを移動させながら撮影した複数の画像を利用して３次元画像（３Ｄ画像）表示用の画像の生成処理を行う画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
３次元画像（３Ｄ画像またはステレオ画像とも呼ばれる）を生成するためには、異なる視点からの画像、すなわち左目用画像と右目用画像を撮影することが必要となる。これらの異なる視点からの画像を撮影する方法は大別すると２通りに区分できる。
第１の手法は、複数のカメラユニットを用いて同時に異なる視点から被写体を撮像する、いわゆる多眼式カメラを用いた手法である。
第２の手法は、単一のカメラユニットを用いて撮像装置を移動させて、異なる視点からの画像を連続的に撮像する、いわゆる単眼式カメラを用いた手法である。
【０００３】
例えば、上記第１の手法に利用される多眼式カメラシステムは離間した位置にレンズを備え、異なる視点からの被写体を同時に撮影可能とした構成を持つ。しかし、このような多眼式カメラシステムは、複数のカメラユニットが必要なためカメラシステムが高価となるという問題がある。
【０００４】
これに対して、上記第２の手法に利用される単眼式カメラシステムは、従来型のカメラと同様の１つのカメラユニットを備えた構成でよい。１つのカメラユニットを備えたカメラを移動させて異なる視点からの画像を連続的に撮影し、複数の撮影画像を利用して３次元画像を生成するものである。
このように、単眼式カメラシステムを利用する場合、従来型のカメラと同様の１つのカメラユニットのみでよく比較的安価なシステムとして実現できる。
【０００５】
なお、単眼式カメラを移動しながら撮影した画像から被写体の距離情報を得る手法を開示した従来技術として、非特許文献１［「全方位視野の距離情報獲得」（電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ，Ｎｏ．４，１９９１）］がある。
【０００６】
この非特許文献１は、カメラを回転台上の回転中心から一定距離、離間した円周上に固定して設置し、回転台を回転させながら連続的に画像を撮影して２本の垂直スリットを通して得られる２つの画像を用いて被写体の距離情報を得る手法を開示している。
【０００７】
また特許文献１（特開平１１−１６４３２６号公報）は、非特許文献１の構成と同様、カメラを回転台上の回転中心から一定距離おいて設置して回転させながら画像を撮影し、２本のスリットを通して得られる２つの画像を用いることで、３次元画像表示に適用する左目用のパノラマ画像と右目用のパノラマ画像を取得する構成を開示している。
【０００８】
このように、複数の従来技術において、カメラを回転させてスリットを通して得られる画像を用いることで、３次元画像表示に適用する左目用の画像と右目用の画像を取得することが可能であることが開示されている。
【０００９】
しかしながら、単眼式のカメラを移動させて順次、画像を撮像する場合、各画像の撮影時刻が異なるという問題がある。例えば、上述のようにカメラを回転させながら画像を撮影して２本のスリットを通して得られる２つの画像を用いて左目用画像と右目用画像を生成した場合、左目用画像と右目用画像に含まれる同一被写体の撮影時刻が異なる場合が発生する。
【００１０】
従って、被写体が車や歩行者などの動く被写体、すなわち動被写体であると、動被写体に対して静止物体とは異なる誤った視差量が設定された左目用画像と右目用画像が生成されてしまう。すなわち、動被写体が含まれる場合には正しい奥行き感を持つ３次元画像（３Ｄ画像／ステレオ画像）が提供できなくなるという問題が発生する。
さらに、左目用画像と右目用画像を生成する場合、複数の異なる時間の撮影画像の一部（短冊）を切り出して連結する画像合成処理が行われるが、この際、カメラからの距離が遠い被写体と近接した被写体が混在すると画像の連結部分に不連続な部分が発生するという問題がある。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平１１−１６４３２６号公報
【非特許文献】
【００１２】
【非特許文献１】「全方位視野の距離情報獲得」（電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ，Ｎｏ．４，１９９１）
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明は、例えば、上述の問題点に鑑みてなされたものであり、単眼式のカメラを移動させて順次、画像を撮影し、この撮影画像を利用して３次元画像表示に適用する左目用画像と右目用画像を生成する構成において、３次元画像としての適正を判定する画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１４】
例えば、本発明の一実施例構成では、３次元画像としての適正を判定するために撮影画像内の動被写体の検出、あるいはカメラからの距離が遠い被写体と近接した被写体が混在すか否かを検出するために、画像から動きベクトルを解析して３次元画像としての適正を判定する画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１５】
さらに、本発明の一実施例構成においては、３次元画像としての適正の判定処理としての画像評価を実行し、評価情報を撮影処理を行ったユーザに提供する処理、あるいは判定結果に応じてメディアに対する記録処理の制御を行う画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の第１の側面は、
異なる位置からの撮影画像各々から切り出した短冊領域の連結処理により生成した３次元画像表示に適用する合成画像の３次元画像としての適正を評価する画像評価部を有し、
前記画像評価部は、
前記合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行し、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも前記ブロック面積（Ｓ）、または前記移動量加算値（Ｌ）いずれかの値と予め規定した閾値を比較して、
前記ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行する画像処理装置にある。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記画像評価部は、前記合成画像中のブロック位置に応じた重み設定を行い、画像中央部ほど大きい重み係数を乗算して、前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）の算出処理を実行し、重み係数を乗算した結果と閾値との比較処理を実行する。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記画像評価部は、前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）の算出処理に際して、前記合成画像の画像サイズに基づく正規化処理を実行して各値の算出処理を実行し、算出結果と閾値との比較処理を行う。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記画像評価部は、３次元画像としての適正評価値：Ａを、下記式、
Ａ＝ａΣ（α１）（Ｓ）＋ｂΣ（α２）（Ｌ）
ただし、
Ｓは前記ブロック面積、
Ｌは前記移動量加算値、
α１、α２は画像位置対応の重み係数、
ａ，ｂは、前記ブロック面積（Ｓ）と前記移動量加算値（Ｌ）のバランス調整用重み係数、
上記式に従って算出する。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記画像評価部は、前記合成画像に対応する差分ベクトルをブロック単位で示した可視化画像を生成し、該可視化画像を適用して前記ブロック面積（Ｓ）、または前記移動量加算値（Ｌ）の算出を行う。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、前記撮影画像を入力し、撮影画像間のマッチング処理により前記ブロック動きベクトルを算出する移動量検出部を有し、前記画像評価部は、前記移動量検出部の算出したブロック動きベクトルを適用して前記ブロック面積（Ｓ）、または前記移動量加算値（Ｌ）の算出を行う。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、異なる位置から撮影された複数の画像を入力し、各画像から切り出した短冊領域を連結して合成画像を生成する画像合成部を有し、前記画像合成部は、各画像に設定した左目用画像短冊の連結合成処理により３次元画像表示に適用する左目用合成画像を生成し、各画像に設定した右目用画像短冊の連結合成処理により３次元画像表示に適用する右目用合成画像を生成し、前記画像評価部は、前記画像合成部の生成した合成画像について、３次元画像としての適正評価を行う。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像評価部の合成画像評価結果が３次元画像としての適正がないとの判定である場合、警告出力を実行する制御部を有する。
【００２４】
さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記画像評価部の合成画像評価結果が３次元画像としての適正がないとの判定である場合、前記合成画像の記録メディアに対する記録処理を保留し、前記警告出力に応じたユーザからの記録要求の入力を条件として記録処理を実行する。
【００２５】
さらに、本発明の第２の側面は、
画像撮影に適用するレンズ部と、
撮影画像の光電変換を行う撮像素子と、
前記請求項１〜９いずれかに記載の画像処理を実行する画像処理部を備えた撮像装置にある。
【００２６】
さらに、本発明の第３の側面は、
画像処理装置において実行する画像処理方法であり、
画像評価部が、異なる位置からの撮影画像各々から切り出した短冊領域の連結処理により生成した３次元画像表示に適用する合成画像の３次元画像としての適正を評価する画像評価ステップを有し、
前記画像評価ステップは、
前記合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行し、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）のいずれかの値と予め規定した閾値を比較して、
前記ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行する画像処理方法にある。
【００２７】
さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像評価部に、異なる位置からの撮影画像各々から切り出した短冊領域の連結処理により生成した３次元画像表示に適用する合成画像の３次元画像としての適正を評価させる画像評価ステップを有し、
前記画像評価ステップは、
前記合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行するステップであり、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）のいずれかの値と予め規定した閾値を比較して、
前記ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行するステップであるプログラムにある。
【００２８】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３０】
本発明の一実施例の構成によれば、複数の画像から切り出した短冊領域を連結して生成した３次元画像表示に適用する左目用合成画像と右目用合成画像の適正を評価する装置および方法を提供する。合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルを解析し、規定閾値以上の大きさを有するブロック対応差分ベクトルを持つブロック面積（Ｓ）、またはベクトル長加算値である移動量加算値（Ｌ）が予め規定した閾値以上である場合、合成画像の３次元画像としての適正がないと判定する処理を実行し、判定結果に応じた警告出力や記録制御を行う。
【図面の簡単な説明】
【００３１】
【図１】パノラマ画像の生成処理について説明する図である。
【図２】３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の生成処理について説明する図である。
【図３】３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の生成原理について説明する図である。
【図４】仮想撮像面を用いた逆モデルについて説明する図である。
【図５】パノラマ画像（３Ｄパノラマ画像）の撮影処理のモデルについて説明する図である。
【図６】パノラマ画像（３Ｄパノラマ画像）の撮影処理において撮影される画像と左目用画像および右目用画像の短冊の設定例について説明する図である。
【図７】短冊領域の連結処理と、３Ｄ左目用合成画像（３ＤパノラマＬ画像）および３Ｄ右目用合成画像（３ＤパノラマＲ画像）の生成処理例について説明する図である。
【図８】動いている被写体である動被写体を含む場合の左目用画像と右目用画像の問題点について説明する図である。
【図９】左目用画像と右目用画像に含まれる被写体の視差の範囲が多きすぎる、すなわち画像の一部に「視差が大きく異なる被写体」が含まれる場合の問題点について説明する図である。
【図１０】本発明の画像処理装置の一実施例である撮像装置の構成例について説明する図である。
【図１１】本発明の画像処理装置の実行する画像撮影および合成処理シーケンスについて説明するフローチャートを示す図である。
【図１２】画像内に動被写体が含まれない場合における動きベクトルマップの生成例と画像評価処理について説明する図である。
【図１３】画像内に動被写体が含まれる場合における動きベクトルマップの生成例と画像評価処理について説明する図である。
【図１４】画像内に「視差が大きく異なる被写体」が含まれる場合における動きベクトルマップの生成例と画像評価処理について説明する図である。
【図１５】動被写体を含む画像に対する画像評価部２１１の実行する処理例について説明する図である。
【図１６】動被写体を含む画像に対する画像評価部２１１の実行する処理例について説明する図である。
【図１７】画像評価部２１１の実行する処理例としての画像の位置に応じた重み設定例について説明する図である。
【図１８】画像評価部２１１の実行する処理例であり、動被写体面積（Ｓ）とどう被写体移動量（Ｌ）を適用した画像評価処理の一例について説明する図である。
【発明を実施するための形態】
【００３２】
以下、図面を参照しながら、本発明の画像処理装置、撮像装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．パノラマ画像の生成と３次元（３Ｄ）画像生成処理の基本構成について
２．カメラ移動により撮影した複数画像の短冊領域を利用した３Ｄ画像生成における問題点
３．本発明の画像処理装置の構成例について
４．画像撮影および画像処理シーケンスについて
５．動きベクトルに基づく３次元画像の適正判定処理の原理について
６．画像評価部における画像評価処理の詳細について
【００３３】
［１．パノラマ画像の生成と３次元（３Ｄ）画像生成処理の基本構成について］
撮像装置（カメラ）を移動させながら連続的に撮影した複数の画像を用い、各画像から短冊状に切り出した領域（短冊領域）を連結して３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を生成することができる。本発明は、このような処理によって生成した画像が３次元画像として適正を有するか否かを判定する構成を有する。
【００３４】
なお、カメラを移動させながら連続的に撮影した複数の画像を用いて２次元のパノラマ画像（２Ｄパノラマ画像）を生成するカメラは、すでに利用されている。まず、２次元合成画像として生成されるパノラマ画像（２Ｄパノラマ画像）の生成処理について図１を参照して説明する。図１には、
（１）撮影処理
（２）撮影画像
（３）２次元合成画像（２Ｄパノラマ画像）
これらを説明する図を示している。
【００３５】
ユーザは、カメラ１０をパノラマ撮影モードにして、カメラ１０を手に持ち、シャッターを押して図１（１）に示すように左（Ａ点）から右（Ｂ点）にカメラを移動させる。カメラ１０はパノラマ撮影モード設定下でユーザによるシャッター押下を検出すると、連続的な画像撮影を実行する。例えば、数１０〜１００枚程度の画像を連続的に撮影する。
【００３６】
これらの画像が図１（２）に示す画像２０である。これら複数の画像２０は、カメラ１０を移動させながら連続撮影した画像であり、異なる視点からの画像となる。例えば１００枚の異なる視点から撮影された画像２０がメモリ上に順次記録される。カメラ１０のデータ処理部は、図１（２）に示す複数画像２０をメモリから読み出して、各画像からパノラマ画像を生成するための短冊領域を切り出して、切り出した短冊領域を連結する処理を実行して図１（３）に示す２Ｄパノラマ画像３０を生成する。
【００３７】
図１（３）に示す２Ｄパノラマ画像３０は、２次元（２Ｄ）の画像であり、単に、撮影画像の一部を切り出して連結することで横長にした画像である。図１（３）に示す点線が画像の連結部を示している。各画像２０の切り出し領域を短冊領域と呼ぶ。
【００３８】
本発明の画像処理装置あるいは撮像装置は、この図１に示すと同様の画像撮影処理、すなわち、図１（１）に示すようにカメラを移動させながら連続撮影した複数の画像を利用して生成した３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の適正評価を実行する。
【００３９】
この左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を生成する処理の基本構成について図２を参照して説明する。
図２（ａ）には、図１（２）に示すパノラマ撮影において撮影された１枚の画像２０を示している。
【００４０】
３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）は、図１を参照して説明した２Ｄパノラマ画像の生成処理と同様、この画像２０から所定の短冊領域を切り出して連結することで生成する。
ただし、切り出し領域とする短冊領域は、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）とでは異なる位置とする。
【００４１】
図２（ａ）に示すように、左目用画像短冊（Ｌ画像短冊）５１と、右目用画像短冊（Ｒ画像短冊）５２は、切り出し位置が異なっている。図２には１つの画像２０についてのみ示しているが、図１（２）に示すカメラを移動させて撮影した複数の画像各々について、異なる切り出し位置の左目用画像短冊（Ｌ画像短冊）と、右目用画像短冊（Ｒ画像短冊）を各々設定する。
【００４２】
その後、左目用画像短冊（Ｌ画像短冊）のみを集めて連結することで、図２（ｂ１）３Ｄ左目用パノラマ画像（３ＤパノラマＬ画像）を生成することができる。
また、右目用画像短冊（Ｒ画像短冊）のみを集めて連結することで、図２（ｂ２）３Ｄ右目用パノラマ画像（３ＤパノラマＲ画像）を生成することができる。
【００４３】
このように、カメラを移動させながら撮影した複数画像各々からの切り出し位置を異ならせて設定した短冊を連結することで、３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を生成することが可能となる。図３を参照してこの原理について説明する。
【００４４】
図３には、カメラ１０を移動させて２つの撮影地点（ａ），（ｂ）において被写体８０を撮影した状況を示している。（ａ）地点では被写体８０の画像は、カメラ１０の撮像素子７０の左目用画像短冊（Ｌ画像短冊）５１に左側から見た画像が記録される。次に、カメラ１０が移動した（ｂ）地点では被写体８０の画像は、カメラ１０の撮像素子７０の右目用画像短冊（Ｒ画像短冊）５２に右側から見た画像が記録される。
【００４５】
このように、同一被写体に対する異なる視点からの画像が撮像素子７０の所定領域（短冊領域）に記録される。
これらを個別に抽出、すなわち、左目用画像短冊（Ｌ画像短冊）のみを集めて連結することで、図２（ｂ１）３Ｄ左目用パノラマ画像（３ＤパノラマＬ画像）が生成され、右目用画像短冊（Ｒ画像短冊）のみを集めて連結することで、図２（ｂ２）３Ｄ右目用パノラマ画像（３ＤパノラマＲ画像）が生成される。
【００４６】
なお、図３では、理解を容易にするためカメラ１０が被写体８０の左側から右側に被写体をクロスする移動の設定として示しているが、このようにカメラ１０が被写体８０をクロスする移動を行うことは必須ではない。カメラ１０の撮像素子７０の所定領域に異なる視点からの画像が記録できれば、３Ｄ画像表示に適用する左目用画像と右目用画像を生成することができる。
【００４７】
次に、図４を参照して、以下の説明において適用する仮想撮像面を用いた逆モデルについて説明する。図４には、
（ａ）画像撮影構成
（ｂ）順モデル
（ｃ）逆モデル
これらの各図を示している。
【００４８】
図４（ａ）に示す画像撮影構成は、図３を参照して説明したと同様のパノラマ画像の撮影時の処理構成を示す図である。
図４（ｂ）は、図４（ａ）に示す撮影処理において実際にカメラ１０内の撮像素子７０に撮り込まれる画像の例を示している。
撮像素子７０には、図４（ｂ）に示すように左目用画像７２、右目用画像７３が上下反転して記録される。このような反転した画像を利用して説明すると混乱しやすいため、以下の説明では、図４（ｃ）に示す逆モデルを利用して説明する。
なお、この逆モデルは撮像装置の画像の解説等においては頻繁に利用されるモデルである。
【００４９】
図４（ｃ）に示す逆モデルは、カメラの焦点に対応する光学中心１０２の前方に仮想撮像素子１０１を設定し、この仮想撮像素子１０１に被写体像が撮り込まれるものと想定している。図４（ｃ）に示すように仮想撮像素子１０１には、カメラ前方左側の被写体Ａ９１が左側、カメラ前方右側の被写体Ｂ９２が右側に撮り込まれ、上下も反転しない設定となり、実際の被写体の位置関係をそのまま反映している。すなわち、仮想撮像素子１０１上の画像は、実際の撮影画像と同じ画像データである。
【００５０】
以下の説明では、この仮想撮像素子１０１を用いた逆モデルを適用して説明を行う。
ただし、図４（ｃ）に示すように、仮想撮像素子１０１上では、左目用画像（Ｌ画像）１１１は、仮想撮像素子１０１上の右側に撮り込まれ、右目用画像（Ｒ画像）１１２は仮想撮像素子１０１上の左側に撮り込まる。
【００５１】
［２．カメラ移動により撮影した複数画像の短冊領域を利用した３Ｄ画像生成における問題点］
次に、カメラ移動により撮影した複数画像の短冊領域を利用した３Ｄ画像生成における問題点について説明する。
【００５２】
パノラマ画像（３Ｄパノラマ画像）の撮影処理のモデルの一例として、図５に示す撮影モデルを想定する。図５に示すように、カメラ１００の光学中心１０２が回転中心である回転軸Ｐから距離Ｒ（回転半径）だけ離れた位置に設定されるようにカメラ１００を置く。
仮想撮像面１０１は光学中心１０２から、焦点距離ｆだけ回転軸Ｐから外側に設定される。
このような設定で、カメラ１００を回転軸Ｐ回りに右回り（ＡからＢ方向）に回転させて、連続的に複数枚の画像を撮影する。
【００５３】
各撮影ポイントにおいて、左目用画像短冊１１１、右目用画像短冊１１２の各画像が仮想撮像素子１０１上に記録される。
記録画像は例えば図６に示すような構成となる。
図６は、カメラ１００によって撮影された画像１１０を示している。なお、この画像１１０は仮想撮像面１０１上の画像と同じである。
画像１１０に対して、図６に示すように画像中心部から左にオフセットさせて短冊状に切り抜いた領域（短冊領域）を右目用画像短冊１１２とし、右にオフセットさせて短冊状に切り抜いた領域（短冊領域）を左目用画像短冊１１１とする。
【００５４】
なお、図６には、参考として２次元（２Ｄ）パノラマ画像生成時に利用する２Ｄパノラマ画像用短冊１１５を示している。
図６に示すように、２次元合成画像用の短冊である２Ｄパノラマ画像短冊１１５と左目用画像短冊１１１との距離、および２Ｄパノラマ画像短冊１１５と右目用画像短冊１１２との距離を、
「オフセット」、または「短冊オフセット」
と定義する。
さらに、左目用画像短冊１１１と右目用画像短冊１１２との距離を、
「短冊間オフセット」
と定義する。
なお、
短冊間オフセット＝（短冊オフセット）×２
となる。
【００５５】
短冊幅ｗは、２Ｄパノラマ画像短冊１１５と、左目用画像短冊１１１と、右目用画像短冊１１２ともすべて共通の幅ｗとなる。この短冊幅は、カメラの移動速度等によって変化する。カメラの移動速度が早い場合は短冊幅ｗは広くなり、遅い場合は狭くなる。
【００５６】
短冊オフセットや短冊間オセットは様々な値に設定可能である。例えば短冊オフセットを大きくすれば、左目用画像と右目用画像の視差がより大きくなり、短冊オフセットを小さくすれば、左目用画像と右目用画像の視差が小さくなる。
【００５７】
短冊オフセット＝０とした場合は、
左目用画像短冊１１１＝右目用画像短冊１１２＝２Ｄパノラマ画像短冊１１５
となる。
この場合は、左目用画像短冊１１１を合成して得られる左目用合成画像（左目用パノラマ画像）と、右目用画像短冊１１２を合成して得られる右目用合成画像（右目用パノラマ画像）は全く同じ画像、すなわち、２Ｄパノラマ画像短冊１１５を合成して得られる２次元パノラマ画像と同じ画像となり、３次元画像表示には利用できなくなる。
【００５８】
カメラ１００内のデータ処理部は、カメラ１００を移動させながら連続撮像された画像間の動きベクトルを求め、前述した短冊領域の絵柄が繋がるように位置あわせをしながら、各画像から切り出す短冊領域を順次決定し、各画像から切り出した短冊領域を連結する。
【００５９】
すなわち各画像から左目用画像短冊１１１のみを選択して連結合成して左目用合成画像（左目用パノラマ画像）を生成し、右目用画像短冊１１２のみを選択して連結合成して右目用合成画像（右目用パノラマ画像）を生成する。
【００６０】
図７（１）は短冊領域の連結処理例を示す図である。各画像の撮影時間間隔をΔｔとして、撮影時間：Ｔ＝０〜ｎΔｔの間にｎ＋１枚の画像を撮影したことを想定している。これらｎ＋１枚の各画像から取り出した短冊領域を連結する。
【００６１】
ただし、３Ｄ左目用合成画像（３ＤパノラマＬ画像）を生成する場合は、左目用画像短冊（Ｌ画像短冊）１１１のみを抽出して連結する。また、３Ｄ右目用合成画像（３ＤパノラマＲ画像）を生成する場合は、右目用画像短冊（Ｒ画像短冊）１１２のみを抽出して連結する。
【００６２】
このように左目用画像短冊（Ｌ画像短冊）１１１のみを集めて連結することで、図７（２ａ）３Ｄ左目用合成画像（３ＤパノラマＬ画像）が生成される。
また、右目用画像短冊（Ｒ画像短冊）１１２のみを集めて連結することで、図７（２ｂ）３Ｄ右目用合成画像（３ＤパノラマＲ画像）が生成される。
【００６３】
図６、図７を参照して説明したように、
画像１００の中心から右側にオフセットした短冊領域をつなぎ合わせて、図７（２ａ）３Ｄ左目用合成画像（３ＤパノラマＬ画像）が生成される。
画像１００の中心から左側にオフセットした短冊領域をつなぎ合わせて、図７（２ｂ）３Ｄ右目用合成画像（３ＤパノラマＲ画像）が生成される。
【００６４】
これら２枚の画像には、先に図３を参照して説明したように、基本的に同じ被写体が写っているが、同じ被写体でも互いに異なる位置から撮像されているので、視差が生じている。これら視差を有する２つの画像を３Ｄ（ステレオ）画像を表示可能な表示装置に表示することで、撮像対象の被写体を立体的に表示することができる。
【００６５】
なお、３Ｄ画像の表示方式には様々な方式がある。
例えば、偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する３Ｄ画像表示方式、あるいは、液晶シャッターを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する３Ｄ画像表示方式などがある。
上述した短冊連結処理によって生成された左目用画像、右目用画像は、これらの各方式に適用可能である。
【００６６】
しかし、このようにカメラ１００を移動させながら連続撮像された複数の画像の各々から短冊領域を切り出して左目用画像と右目用画像を生成した場合、左目用画像と右目用画像に含まれる同一被写体の撮影時刻が異なる場合が発生する。
従って、被写体が車や歩行者などの動く被写体、すなわち動被写体であると、動被写体に対して静止物体とは異なる誤った視差量が設定された左目用画像と右目用画像が生成されてしまう。すなわち、動被写体が含まれる場合には正しい奥行き感を持つ３次元画像（３Ｄ画像／ステレオ画像）が提供できなくなるという問題が発生する。
【００６７】
さらに、３次元画像用の左目用画像や右目用画像に含まれる被写体の視差の範囲が多きすぎる場合、すなわち、カメラからの距離が遠い被写体と近接した被写体が混在すると画像の連結部分に不連続な部分が発生するという問題がある。このように、画像の一部に「視差が大きく異なる被写体」が含まれる場合にも、遠景または近景の少なくとも一方の画像の連結部分に不連続部分が発生する等の問題が発生する。
以下、図８、図９を参照してこれらの問題点について説明する。
【００６８】
図８には、カメラを移動させながら連続撮像した複数の画像から短冊領域を切り出して生成した（ａ）左目用画像と（ｂ）右目用画像を示している。
この２つの（ａ）左目用画像と（ｂ）右目用画像には様々な被写体が撮影されている。その中に動いている被写体、すなわち動被写体（歩行者）１５１が含まれる。
【００６９】
（ａ）左目用画像に含まれる動被写体（歩行者）１５１Ｌと、（ｂ）右目用画像に含まれる動被写体（歩行者）１５１Ｒは同一被写体であるが、異なる撮影時刻の画像から切り出されている。従って、（ａ）左目用画像と（ｂ）右目用画像には、被写体の移動前と移動後の画像が切り出されて設定されている。従って、その他の固定された被写体であるビルや雲や太陽とは、明らかに位置関係が異なっている。
【００７０】
この結果、ビルや雲や太陽については（ａ）左目用画像と（ｂ）右目用画像間で、個々の距離に応じた視差が設定され、正しい奥行き感が提供されるが、歩行者１５１については、本来の視差とは異なる視差が設定され、正しい奥行き感が提供できなくなる。
【００７１】
このように、撮影画像中に動く被写体が含まれると、動被写体の視差が、正しい３次元画像（３Ｄ画像／ステレオ画像）用の左目用画像と右目用画像に設定されるべき視差と異なる誤った視差が設定され、正しい３次元画像表示ができなくなる。
【００７２】
また、例えば、撮像装置の回転軸と光学中心が完全に一致していない状態で極端に近い被写体と遠くの被写体が１つの画像に撮影された場合には、連続撮像画像の短冊領域を繋ぎ合せようとしても、近景または遠景いずれか一方の被写体が上手く繋がらない場合がある。図９を参照して、この例について説明する。
図９は、複数の連続撮影画像を連結して生成した合成画像である。この図９に示す画像には、極端に近い被写体（近距離の被写体）と遠くの被写体（遠距離の被写体）が含まれている。
【００７３】
図９に示す画像は、複数の連続撮影画像の短冊領域の連結に際して、遠くの景色（遠距離の被写体）を正しく繋ぎ合わせている。しかし、近くのもの（近距離の被写体）が上手く繋がっていない。近景領域の壁に不連続な段差が発生している。
これは近くの被写体の視差と、遠くの被写体の視差が大きく異なることが原因である。このように、画像の一部に「視差が大きく異なる被写体」が含まれる場合には、遠景または近景の少なくとも一方の画像の連結部分に不連続な画像などの不具合が発生する。
【００７４】
しかし、例えばカメラを持ったユーザがカメラを移動させながら複数の画像を連続撮影する場合、その撮影中に動く被写体が含まれるか否かや、視差の大きく異なる被写体が含まれるか否か等を判断することは困難である。
【００７５】
［３．本発明の画像処理装置の構成例について］
次に、上述の問題点を解決し、撮影画像を解析して３次元画像表示用画像としての適正についての判定処理を行う本発明の画像処理装置の実施例について説明する。本発明の一実施例に係る画像処理装置は、撮影画像に基づいて生成される合成画像の３次元画像としての適正を判定する。例えば画像に含まれる動被写体の有無等を判別して３次元画像としての画像評価を行い評価結果に基づく処理、例えば、メディアに対する画像記録の実行制御や、ユーザに対する警告を行う。以下、本発明の一実施例に係る画像処理装置の構成例および処理例について説明する。
【００７６】
図１０を参照して、本発明の画像処理装置の一実施例である撮像装置２００の構成例について説明する。
図１０に示す撮像装置２００は、先に図１を参照して説明したカメラ１０に相当し、例えばユーザが手に持ち、例えばパノラマ撮影モードなどのモード設定を行って複数の画像を連続撮影することが可能な構成を持つ。
【００７７】
被写体からの光はレンズ系２０１を経て撮像素子２０２に入射する．撮像素子２０２は例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサによって構成される。
【００７８】
撮像素子２０２に入射した被写体像は、撮像素子２０２によって電気信号に変換される。なお、図示しないが、撮像素子２０２は所定の信号処理回路を有し、信号処理回路において変換された電気信号をさらにデジタル画像データに変換して、画像信号処理部２０３に供給する。
【００７９】
画像信号処理部２０３では、ガンマ補正や輪郭強調補正等の画像信号処理を行い、信号処理結果としての画像信号を表示部２０４に表示する。
さらに、画像信号処理部２０３の処理結果としての画像信号は、
合成処理に適用するための画像メモリである画像メモリ（合成処理用）２０５、
連続撮影された各画像間の移動量を検出するための画像メモリである画像メモリ（移動量検出用）２０６、
各画像間の移動量を算出する移動量算出部２０７、
これらの各部に提供される。
【００８０】
移動量検出部２０７は、画像信号処理部２０３から供給される画像信号とともに、画像メモリ（移動量検出用）２０６に保存された１フレーム前の画像を取得し、現在の画像と１フレーム前の画像の移動量を検出する。例えば連続して撮影された２つの画像を構成する画素間のマッチング処理、すなわち同一被写体の撮影領域を判別するマッチング処理を実行して、各画像間での移動した画素数を算出するものである。
【００８１】
なお、移動量検出部２０７は、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）と、画像の分割領域としてのブロック単位、あるいは画素単位の移動量を示すブロック対応の動きベクトルを算出する。
【００８２】
なお、ブロックの設定としては様々な設定が可能であり１画素単位やｎ×ｍ画素単位のブロック毎に移動量を算出する。なお、以下の説明では、１画素もブロックの概念に含まれるものとして説明する。すなわち、ブロック対応のベクトルとは、１つの画像フレームを分割した複数画素からなる分割領域対応のベクトル、または１画素単位の画素対応のベクトルである。
【００８３】
移動量検出部２０７は、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）と、画像の分割領域あるいは画素単位の移動量を示すブロック対応の動きベクトルを移動量メモリ２０８に記録する。なお、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）は、カメラ移動に伴って発生する画像全体の動きに対応する動きベクトルである。
【００８４】
移動量検出部２０７は、例えば移動画素数と移動方向を有するベクトル情報を、画像単位およびブロック単位で算出したマップ、すなわち動きベクトルマップを移動量情報として生成する。移動量検出部２０７は、例えば画像ｎの移動量を算出する場合、画像ｎと、先行画像ｎ−１との比較を実行する。検出された移動量は画像ｎに対応する移動量として移動量メモリ２０８に格納する。なお、移動量検出部２０７の検出する移動量としてのベクトル情報（動きベクトルマップ）の例については後段で詳細に説明する。
【００８５】
画像メモリ（合成処理用）２０５は、連続撮影された画像の合成処理、すなわちパノラマ画像を生成するための画像を保存するメモリである。この画像メモリ（合成処理用）２０５は、パノラマ撮影モードで撮影された複数の画像すべてを保存する構成としてもよいが、例えば画像の端部を切り落とし、パノラマ画像の生成に必要となる短冊領域を確保できるような画像の中央領域のみを選択して保存しておく設定としてもよい。このような設定とすることで、必要とするメモリ容量を削減することが可能となる。
【００８６】
撮影終了後、画像合成部２１０は、画像メモリ（合成処理用）２０５から画像を取り出して短冊領域を切り出して連結する画像合成処理を実行し、左目用合成画像（左目用パノラマ画像）と、右目用合成画像（右目用パノラマ画像）を生成する。
【００８７】
画像合成部２１０は、撮影終了後に、画像メモリ(合成処理用)２０５から撮影中に保存された複数の画像（あるいは部分画像）とともに、移動量メモリ２０８に保存された各画像対応の移動量、さらにメモリ２０９から左目用画像短冊と右目用画像短冊の設定位置を決定するためのオフセット情報等、各種パラメータを入力する。
【００８８】
画像合成部２１０は、これらの入力情報を用いて連続して撮影された画像に左目用画像短冊と右目用画像短冊を設定し、これらを切り出して連結合成する処理を実行して左目用合成画像（例えば左目用パノラマ画像）と、右目用合成画像（例えば右目用パノラマ画像）を生成する。なお、画像合成部２１０は画像合成部２１０の生成した合成画像に含まれる各撮影画像の短冊領域情報をメモリ２０９に記録する。
【００８９】
画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適した画像であるか否かの評価を実行する。画像評価部２１１は、短冊領域情報をメモリ２０９から取得し、さらに、移動量検出部２０７の生成した移動量情報（動きベクトル情報）を移動量メモリ２０８から取得して、画像合成部２１０の生成した画像が３次元画像表示に適した画像であるか否かの評価を実行する。
【００９０】
画像評価部２１１は、例えば画像合成部２１０の生成した左目用合成画像と、右目用合成画像の各画像に含まれる動く被写体の量を解析する。また、画像合成部２１０の生成した左目用合成画像と、右目用合成画像の各画像に含まれる被写体の視差の範囲等を解析して、画像合成部２１０の生成した画像が３次元画像としての適正を有するか雛かを判定する。
【００９１】
先に図８を参照して説明したように、左目用画像と、右目用画像に動被写体が含まれる場合、動被写体の視差が正しく設定されず、３次元画像表示が正しく行なえない。
また、先に図９を参照して説明したように、左目用画像と右目用画像に含まれる被写体の視差の範囲が大きすぎる、すなわち、画像の一部に「視差が大きく異なる被写体」が含まれる場合には、遠景または近景の少なくとも一方の画像の連結部分に不連続な画像などの不具合が発生する。
【００９２】
画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像について、移動量検出部２０７の生成した移動量情報（動きベクトル情報）を適用して動被写体や視差範囲を解析する。さらに、予め設定済みの画像評価判定情報（例えば閾値）をメモリ２０９から取得して、画像の解析情報と判定情報（閾値）との比較を実行して、画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適する画像であるか否かを判定する。
【００９３】
例えば判定結果が、Ｙｅｓ、すなわち画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適する画像であると判定した場合は、その画像を記録部２１２に記録する。
一方、判定結果が、Ｎｏ、すなわち画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適さない画像であると判定した場合は、出力部２０４に警告メッセージの表示または警告音の出力等を実行する。
この警告に対してユーザが記録を要求した場合は、記録部２１２に記録される。ユーザが記録を要求しない場合は、記録処理は停止される。例えば、ユーザはその後、撮影のやり直しを行うことができる。
なお、具体的な評価処理例については後段で詳細に説明する。
【００９４】
記録部（記録メディア）２１２に対する画像記録処理に際しては、例えば各画像についてＪＰＥＧ等の圧縮処理を行った後、記録される。
また、画像評価部２１１の生成した画像評価結果についても画像対応の属性情報（メタデータ）としてメディアに記録する構成としてもよい。この場合、例えば動被写体の有無、動被写体の位置、あるいは画像に対する動被写体の占有率などの情報、さらに画像に含まれる視差の範囲情報などの詳細情報が記録される。さらに、これらの詳細情報に基づく評価値、例えば評価の高い順に（Ｓ，Ａ，Ｂ，Ｃ，Ｄ）などの評価値を示すランキング情報を設定して記録する構成としてもよい。
【００９５】
評価情報を画像対応の属性情報（メタデータ）として記録することで、例えば３Ｄ画像表示を実行するＰＣ等の表示装置において、メタデータを読み取って、画像に含まれる動被写体の位置情報等を得て、その動被写体に対する画像補正処理等により３Ｄ画像としての不自然さを解消するといった処理を行うことが可能となる。
【００９６】
このように、記録部（記録メディア）２１２は、画像合成部２１０において合成された合成画像、すなわち、左目用合成画像（左目用パノラマ画像）と、右目用合成画像（右目用パノラマ画像を保存し、さらに、画像評価部２１１の生成した画像評価情報を画像の属性情報（メタデータ）として記録する。
【００９７】
記録部（記録メディア）２１２は、デジタル信号を記録可能な記録媒体であれば、どのような記録媒体でも良く、例えばハードディスク、光磁気ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＭＤ（Ｍｉｎｉ Ｄｉｓｋ ）、半導体メモリ、磁気テープといった記録媒体を用いることができる。
【００９８】
なお、図１０には示していないが、図１０に示す構成以外に撮像装置２００はユーザによる操作の可能なシャッターや、モード設定処理などの各種入力を行なうための入力操作部、さらに、撮像装置２００において実行される処理の制御を行う制御部や、制御部他の各構成部での処理のプログラム、パラメータを記録した記憶部（メモリ）等を有する。
【００９９】
図１０に示す撮像装置２００の各構成部の処理やデータ入出力は、撮像装置２００内の制御部の制御に従って行われる。制御部は、撮像装置２００内のメモリに予め格納されたプログラムを読み出して、プログラムに従って、撮影画像の取得、データ処理、合成画像の生成、生成した合成画像の記録処理、あるいは表示処理等、撮像装置２００において実行される処理の全般的な制御を実行する。
【０１００】
［４．画像撮影および画像処理シーケンスについて］
次に、図１１に示すフローチャートを参照して本発明の画像処理装置の実行する処理シーケンスの一例について説明する。
図１１に示すフローチャートに従った処理は、例えば図１０に示す撮像装置２００内の制御部の制御下で実行される。
図１１に示すフローチャートの各ステップの処理について説明する。
まず、画像処理装置（例えば撮像装置２００）は電源ＯＮにより、ハードウェアの診断や初期化を行った後、ステップＳ１０１へ移行する。
【０１０１】
ステップＳ１０１では、各種の撮影パラメータを計算する。このステップＳ１０１では、例えば露出計により識別された明るさに関する情報を取得し、絞り値やシャッター速度等の撮影パラメータを計算する。
【０１０２】
次にステップＳ１０２へ移行し、制御部は、ユーザによるシャッター操作が行われたか否かを判定する。なお、ここでは、既に３Ｄ画像パノラマ撮影モードに設定されているものとする。
３Ｄ画像パノラマ撮影モードではユーザのシャッター操作により複数毎の画像を連続撮影し、撮影画像から左目用画像短冊と右目用画像短冊を切り出して３Ｄ画像表示に適用可能な左目用合成画像（パノラマ画像）と右目用合成画像（パノラマ画像）を生成して記録する処理が実行される。
【０１０３】
ステップＳ１０２において、制御部がユーザによるシャッター操作の検出がなされない場合は、ステップＳ１０１に戻る。
一方、ステップＳ１０２において、制御部がユーザによるシャッター操作があったことを検出するとステップＳ１０３に進む。
ステップＳ１０３では、制御部は、ステップＳ１０１において計算したパラメータに基づく制御を行い撮影処理を開始する。具体的には、例えば、図１０に示すレンズ系２０１の絞り駆動部の調整等を実行して、画像の撮影を開始する。
【０１０４】
画像の撮影処理は、連続的に複数の画像を撮影する処理として行われる。図１０に示す撮像素子２０２から連続撮影画像各々に対応する電気信号が、順次読み出されて画像信号処理部２０３においてガンマ補正や輪郭強調補正等の処理が実行され、処理結果が表示部２０４に表示されるとともに、各メモリ２０５，２０６、移動量検出部２０７に順次、供給される。
【０１０５】
次にステップＳ１０４に移行し、画像間移動量を算出する。この処理は、図１０に示す移動量検出部２０７の処理である。
移動量検出部２０７は、画像信号処理部２０３から供給される画像信号とともに、画像メモリ（移動量検出用）２０６に保存された１フレーム前の画像を取得し、現在の画像と１フレーム前の画像の移動量を検出する。
【０１０６】
なお、ここで算出する移動量は、前述したように例えば連続して撮影された２つの画像を構成する画素間のマッチング処理、すなわち同一被写体の撮影領域を判別するマッチング処理を実行して、各画像間での移動した画素数を算出する。前述したように、移動量検出部２０７は、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）と、画像の分割領域あるいは画素単位の移動量を示すブロック対応の動きベクトルを算出し、算出したこれらの移動量情報を移動量メモリ２０８に記録する。なお、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）は、カメラ移動に伴って発生する画像全体の動きに対応する動きベクトルである。
【０１０７】
なお移動量は例えば移動画素数として算出する。画像ｎの移動量は、画像ｎと、先行画像ｎ−１との比較により実行し、検出された移動量（画素数）を画像ｎに対応する移動量として移動量メモリ２０８に格納する。
この移動量保存処理がステップＳ１０５の保存処理に対応する。ステップＳ１０５では、ステップＳ１０４で検出した各画像の移動量を各画像のＩＤと関連付けて、図１０に示す移動量メモリ２０８に保存する。
【０１０８】
次に、ステップＳ１０６に移行し、ステップＳ１０３において撮影され画像信号処理部２０３において処理された画像を図１０に示す画像メモリ（合成処理用）２０５に格納する。なお、前述したように、画像メモリ（合成処理用）２０５は、パノラマ撮影モード（または３Ｄ画像パノラマ撮影モード）で撮影された例えばｎ＋１枚の画像のすべての画像を保存する構成としてもよいが、例えば画像の端部を切り落とし、パノラマ画像（３Ｄパノラマ画像）の生成に必要となる短冊領域を確保できるような画像の中央領域のみを選択して保存しておく設定としてもよい。このような設定とすることで、必要とするメモリ容量を削減することが可能となる。なお、画像メモリ（合成処理用）２０５には、ＪＰＥＧ等の圧縮処理を行った後、保存する構成としてもよい。
【０１０９】
次にステップＳ１０７に移行し、制御部は、ユーザによるシャッターの押圧が継続しているか否を判定する。すなわち、撮影終了のタイミングを判別する。
ユーザによるシャッターの押圧が継続している場合は、撮影を継続させるべくステップＳ１０３へ戻り、被写体の撮像を繰り返す。
一方、ステップＳ１０７において、シャッターの押圧が終了していると判断すると、撮影の終了動作へ移行すべくステップＳ１０８へ進む。
【０１１０】
パノラマ撮影モードでの連続画像撮影が終了すると、ステップＳ１０８に進む。
ステップＳ１０８において、画像合成部２１０は、３Ｄ画像として成立する左目用画像と右目用画像の生成条件を満たす短冊領域のオフセット条件、すなわち許容オフセット量をメモリ２０９から取得する。あるいはメモリ２０９から許容オフセット量を算出するために必要なパラメータを取得して許容オフセット量を算出する。
【０１１１】
次に、ステップＳ１０９に進み、撮影画像を利用した第１画像合成処理を行う。さらに、ステップＳ１１０に進み、撮影画像を利用した第２画像合成処理を行う。
これらステップＳ１０９〜Ｓ１１０の画像合成処理は、３Ｄ画像表示に適用する左目用合成画像と右目用合成画像の生成処理である。合成画像は例えばパノラマ画像として生成される。
【０１１２】
前述したように、左目用合成画像は、左目用画像短冊のみを抽出して連結する合成処理により生成される。右目用合成画像は、右目用画像短冊のみを抽出して連結する合成処理により生成される。これらの合成処理の結果、例えば図７（２ａ），（２ｂ）に示す２つのパノラマ画像が生成されることになる。
【０１１３】
ステップＳ１０９〜Ｓ１１０の画像合成処理は、ステップＳ１０２のシャッター押下判定がＹｅｓとなってからステップＳ１０７でシャッター押下終了が確認されるまでの連続画像撮影中に画像メモリ（合成処理用）２０５に保存された複数の画像（または部分画像）を利用して実行される。
【０１１４】
この合成処理に際して、画像合成部２１０は、複数の画像各々に関連づけられた移動量を移動量メモリ２０８から取得し、さらに、メモリ２０９から許容オフセット量を取得する。あるいはメモリ２０９から許容オフセット量を算出するために必要なパラメータを取得して許容オフセット量を算出する。
【０１１５】
画像合成部２１０は、移動量と許容オフセット量に基づいて各画像の切り出し領域としての短冊領域を決定する。
すなわち、左目用合成画像を構成するための左目画像用短冊と右目用合成画像を構成するための右目画像用短冊の各短冊領域を決定する。
左目用合成画像を構成するための左目画像用短冊は、画像中央から右側へ所定量オフセットした位置に設定する。
右目用合成画像を構成するための右目画像用短冊は、画像中央から左側へ所定量オフセットした位置に設定する。
【０１１６】
画像合成部２１０は、この短冊領域の設定処理に際して、左目用画像と右目用画像の生成条件を満たす既定のオフセット条件を満たすように短冊領域を決定する。すなわちステップＳ１０８においてメモリから取得またはメモリから取得したパラメータに基づいて算出したオフセット許容量を満たすように短冊のオフセットを設定して画像切り出しを実行する。
【０１１７】
画像合成部２１０は、各画像について左目用および右目用画像短冊を切り出して連結することで画像合成を行い、左目用合成画像と右目用合成画像を生成する。
なお、画像メモリ（合成処理用）２０５に保存された画像（または部分画像）がＪＰＥＧ等で圧縮されたデータである場合は、処理速度の高速化を図るため、ステップＳ１０４で求められた画像間の移動量に基づいて、ＪＰＥＧ等の圧縮を解凍する画像領域を、合成画像として利用する短冊領域のみに設定する適応的な解凍処理を実行する構成としてもよい。
【０１１８】
ステップＳ１０９、Ｓ１１０の処理によって、３Ｄ画像表示に適用する左目用合成画像と右目用合成画像が生成される。
【０１１９】
次にステップＳ１１１に移行し、ステップＳ１０９、Ｓ１１０で合成され左目用合成画像と右目用合成画像の画像評価処理を実行する。
この処理は、図１０に示す画像評価部２１１の処理である。画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適した画像であるか否かの評価を実行する。
具体的には、画像合成部２１０の生成した左目用合成画像と、右目用合成画像の各画像に含まれる動く被写体の量や、各画像に含まれる被写体の視差の範囲を解析する。
【０１２０】
先に図８を参照して説明したように、左目用画像と、右目用画像に動被写体が含まれる場合、動被写体の視差が正しく設定されず、３次元画像表示が正しく行なえない。
また、先に図９を参照して説明したように、左目用画像と右目用画像に含まれる被写体の視差の範囲が多きすぎる場合は、遠景または近景の少なくとも一方の画像の連結部分に不連続な画像などの不具合が発生する。
【０１２１】
画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像について動被写体や視差範囲を解析し、例えば、予め設定済みの画像評価判定情報（例えば閾値）をメモリ２０９から取得して、画像の解析情報と判定情報（閾値）との比較を実行して、画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適する画像であるか否かを判定する。
【０１２２】
具体的には、画像評価部２１１は、画像合成部２１０の生成した合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行し、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも上記のブロック面積（Ｓ）、または移動量加算値（Ｌ）いずれかの値と予め規定した閾値を比較して、ブロック面積（Ｓ）が予め規定した面積閾値以上、または動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行する。なお、この処理の詳細については後述する。
【０１２３】
ステップＳ１１２において、例えば判定結果が、Ｙｅｓ、すなわち、
画像評価値と閾値（画像評価判定情報）との比較に基づいて、画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適する画像であると判定した場合（ステップＳ１１２の判定がＹｅｓ）は、ステップＳ１１５に進み、画像を記録部２１２に記録する。
【０１２４】
一方、ステップＳ１１２において、例えば判定結果がＮｏ、すなわち、
画像評価値と閾値（画像評価判定情報）との比較に基づいて、画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適さない画像であると判定（ステップＳ１１２の判定がＮｏ）した場合は、ステップＳ１１３に進む。
【０１２５】
ステップＳ１１３では、図１０に示す出力部２０４に警告メッセージの表示または警告音の出力等を実行する。
ステップＳ１１４において、この警告に対してユーザが記録を要求した場合（ステップＳ１１４の判定がＹｅｓ）は、ステップＳ１１５に進み、画像合成部２１０の生成した左目用合成画像と、右目用合成画像を記録部２１２に記録する。
【０１２６】
ステップＳ１１４において、警告に対してユーザが記録を要求しない場合（ステップＳ１１４の判定がＮｏ）は、記録処理は停止され、ステップＳ１０１に戻り、即座に撮影可能モードへの移行処理が実行される。例えば、ユーザはその後、撮影のやり直しを行うことができる。
【０１２７】
なお、ステップＳ１１３〜Ｓ１１４の判定処理やステップＳ１１５の記録処理の制御は、例えば画像処理装置の制御部の処理によって実行される。制御部は、画像評価部２１１の合成画像評価結果が３次元画像としての適正がないとの判定である場合、出力部２０４に対する警告出力を実行する。さらに、合成画像の記録部（記録メディア）２１２に対する記録処理を保留し、警告出力に応じたユーザからの記録要求の入力を条件として記録処理を実行する制御を行う。
【０１２８】
なお、ステップＳ１１５における記録部（記録メディア）２１２に対するデータ記録処理に際しては、前述したように、例えば各画像についてＪＰＥＧ等の圧縮処理を行った後、記録される。
【０１２９】
また、画像評価部２１１の生成した画像評価結果についても画像対応の属性情報（メタデータ）として記録する処理が行われる。例えば動被写体の有無、動被写体の位置、あるいは画像に対する動被写体の占有率などの情報、さらに画像に含まれる視差の範囲情報などの詳細情報が記録される。さらに、これらの詳細情報に基づく評価値、例えば評価の高い順に（Ｓ，Ａ，Ｂ，Ｃ，Ｄ）などの評価値を示すランキング情報を設定して記録する構成としてもよい。
【０１３０】
このような評価情報を画像対応の属性情報（メタデータ）として記録することで、例えば３Ｄ画像表示を実行するＰＣ等の表示装置において、メタデータを読み取って、例えば画像に含まれる動被写体の位置情報を得て、その動被写体に対する画像補正処理等により３Ｄ画像としての不自然さを解消する処理を行うことが可能となる。
【０１３１】
［５．動きベクトルに基づく３次元画像の適正判定処理の原理について］
次に、動きベクトルに基づく３次元画像の適正判定処理の原理について説明する。
移動量検出部２０７は移動量情報として動きベクトルマップを生成して移動量メモリ２０８に記録する。画像評価部２１１は、この動きベクトルマップを適用して画像評価を実行する。
【０１３２】
図１０に示す画像処理装置（撮像装置２００）内の移動量検出部２０７は、前述したように、画像信号処理部２０３から供給される画像信号とともに、画像メモリ（移動量検出用）２０６に保存された１フレーム前の画像を取得し、現在の画像と１フレーム前の画像の移動量を検出する。移動量検出部２０７は、連続して撮影された２つの画像を構成する画素間のマッチング処理、すなわち同一被写体の撮影領域を判別するマッチング処理を実行して、各画像について、画像単位およびブロック単位の移動画素数と移動方向からなる動きベクトルを検出する。
【０１３３】
このように、移動量検出部２０７は、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）と、画像の分割領域あるいは画素単位の移動量を示すブロック対応の動きベクトルを算出し、算出したこれらの移動量情報を移動量メモリ２０８に記録する。
【０１３４】
移動量検出部２０７は、例えば移動量情報として動きベクトルマップを生成する。
すなわち、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）と、画像の分割領域としてのブロック単位（画素単位も含む）の移動量を示すブロック対応の動きベクトルをマップ化した動きベクトルマップを生成する。
動きベクトルマップは、
（ａ）画像の識別情報である画像ＩＤと画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）との対応データ、
（ｂ）画像内のプロック位置を示すブロック位置情報（例えば座標情報）と各ブロック対応の動きベクトルとの対応データ、
これらの対応データを有する情報として構成される。
【０１３５】
移動量検出部は、上記情報を持つ動きベクトルマップを各画像対応の移動量情報として生成し、移動量メモリ２０８に格納する。
画像評価部２１１は、この動きベクトルマップを移動量メモリから取得して画像の評価、すなわち３次元画像としての適正についての評価を実行する。
画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像の各々について評価処理を実行する。
【０１３６】
画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像の各々について、３次元画像としての適正を評価する。
なお、適正評価に際して、画像評価部２１１は、合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析を行う。
【０１３７】
画像評価部２１１は、具体的には、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも上記のブロック面積（Ｓ）、または移動量加算値（Ｌ）いずれかの値と予め規定した閾値を比較して、ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する。
【０１３８】
この適正判定処理の原理について、図１２〜図１４を参照して説明する。
（１）動きベクトルが画像内でほぼ一様となる場合
（２）動きベクトルが画像内で非一様となる場合
これらの場合について、順次説明する。
（１）動きベクトルが画像内でほぼ一様となる場合は、その画像は３次元画像の適正を有する。一方、（２）動きベクトルが画像内で非一様となる場合は、その画像は３次元画像の適正を有さない場合がある。
図１２〜図１４を参照して、このような適正判定処理が成立する原理について説明する。
【０１３９】
（１）動きベクトルが画面内で一様となる場合
図１２を参照して、動きベクトルが画面内で一様となる場合の動きベクトルマップの構成例と、３次元画像としての適正について説明する。
図１２には、以下の（ａ）〜（ｄ）の図を示している。
（ａ）画像撮影処理
（ｂ）時間：Ｔ＝ｔ０の撮影画像
（ｃ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
（ｄ）動きベクトルマップの構成情報
【０１４０】
（ａ）画像撮影処理には、カメラを移動させて画像を撮影した例を示している。
すなわち、時間Ｔ＝ｔ０まず、最初の画像を撮影し、その後、カメラを矢印３０１に沿って移動させて、時間Ｔ＝ｔ０＋Δｔにおいて次の画像を撮影したことを説明する図である。
このようなカメラを移動させながらの連続撮影処理によって、図１２（ｂ），（ｃ）の２つの画像が取得される。すなわち、
（ｂ）時間：Ｔ＝ｔ０の撮影画像
（ｃ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
これらの２つの画像である。
【０１４１】
移動量検出部２０７は、例えばこの２つの画像を用いて移動量を検出する。移動量の検出処理として、２枚の画像から２画像間の動きベクトルを求める。その方法としては様々な方法があるが、画像領域を分割してブロックごとに動きベクトルを求める方法について説明する。なお画像全体の動きに対応するグローバル・モーション・ベクトル（ＧＭＶ）は、例えばこれらのブロック対応の動きベクトルの平均値等から算出することができる。
【０１４２】
移動量検出部２０７は、一枚目の画像を基準に二枚目の画像で被写体がどれだけ移動したか、動きベクトルを計算する。この処理によって、例えば図１２（ｄ）のようなベクトル群が得られる。図１２（ｄ）に示す矢印は、ブロック対応の動きベクトルを示している。
【０１４３】
この例では、画像内に動被写体がないため、すべての動きベクトルが同じ向きと、同じ大きさを有している。これらのベクトルはカメラの動きに起因するものであり、画像全体に対応するベクトルであるグローバル・モーション・ベクトル（ＧＭＶ）に等しい一様なベクトルである。
【０１４４】
画像合成部２１０は、このベクトルを適用して２つの画像の位置合わせを行い、繋ぎ合せて左目用合成画像と右目用合成画像を生成することができる。
図１２に示すような設定、すなわちブロックベクトルのほぼすべてが等しくＧＭＶに等しい場合、合成画像における動被写体に起因する視差上の問題は発生しない。すなわち動被写体に起因する誤った視差の設定された被写体が発生しない。
【０１４５】
図１２（ｄ）のような一様なベクトル群からなるベクトルマップが得られた場合、画像評価部２１１は、画像内に動被写体が存在しないと判定することができる。また、
非常に近い被写体と遠くの被写体が共存、すなわち、画像の一部に「視差が大きく異なる被写体」が含れないと判定することができる。なおこの理由については、図１４を参照して後段で説明する。
なお、合成画像が３次元画像として適正であると判断した場合は、ユーザに対する警告出力等の処理を実行することなく、そのままメディアに対する記録を行うことになる。
【０１４６】
なお、画像評価部２１１は、移動量検出部２０７が生成した各撮影画像対応の動きベクトルマップ（例えば図１２（ｄ））またはその生成情報を移動量メモリ２０８から取得して、さらに後段（６．画像評価部における画像評価処理の詳細について）で説明する合成画像（左目用合成画像または右目用合成画像）に対応する「動被写体可視化画像」を生成して各合成画像についての３次元画像としての適正を評価する処理を実行することになる。
この処理の詳細については、後段（６．画像評価部における画像評価処理の詳細について）において説明する。
【０１４７】
（２）動きベクトルが画面内で非一様となる場合
次に、図１３を参照して、動きベクトルが画面内で非一様となる場合の動きベクトルマップの構成例と、３次元画像としての適正について説明する。
図１３には、図１２と同様、以下の（ａ）〜（ｄ）の図を示している。
（ａ）画像撮影処理
（ｂ）時間：Ｔ＝ｔ０の撮影画像
（ｃ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
（ｄ）動きベクトルマップの構成情報
【０１４８】
（ａ）画像撮影処理には、カメラを移動させて画像を撮影した例を示している。
すなわち、時間Ｔ＝ｔ０まず、最初の画像を撮影し、その後、カメラを矢印３０１に沿って移動させて、時間Ｔ＝ｔ０＋Δｔにおいて次の画像を撮影したことを説明する図である。
この例では、画像内に動被写体である歩行者３０２が含まれる。この
歩行者３０２ｐは、時間：Ｔ＝ｔ０の撮影画像に含まれる歩行者である。
歩行者３０２ｑは、時間：Ｔ＝ｔ０＋Δｔの撮影画像に含まれる歩行者である。
これらの歩行者は同一の歩行者であり時間Δｔの間に移動している動被写体である。
【０１４９】
このようなカメラを移動させながらの連続撮影処理によって、図１３（ｂ），（ｃ）の２つの画像が取得される。すなわち、
（ｂ）時間：Ｔ＝ｔ０の撮影画像
（ｃ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
これらの２つの画像である。
【０１５０】
移動量検出部２０７は、例えばこの２つの画像を用いて移動量を検出する。移動量の検出処理として、２枚の画像から２画像間の動きベクトルを求める。
この処理によって、例えば図１３（ｄ）のようなベクトル群が得られる。図１３（ｄ）に示す矢印は、ブロック対応の動きベクトルを示している。
【０１５１】
この図１３（ｄ）に示すブロック対応のベクトル群は、先に説明した図１２（ｄ）のブロック対応ベクトルとは異なり、一様とはならない。
すなわち、動被写体である歩行者３０２の撮影されている画像部分の動きベクトルは、カメラの動きに、さらに動被写体の動きが反映されたベクトルとなる。
【０１５２】
図１３（ｄ）上の点線で示すベクトル群は、動被写体を含まない画像領域のブロック対応の動きベクトルであり、カメラの動きのみに起因する動きベクトルであるが、実線で示す動きベクトルは、カメラの動きに、さらに動被写体の動きが反映されたベクトルである。
このように画像内に動被写体が含まれる場合、ブロック対応の動きベクトルは一様とはならない。
【０１５３】
なお、図１３に示す例は、撮影画像内に動被写体が含まれる場合の動きベクトルの非一様性が発生する例を説明しているが、例えば、先に図９を参照して説明した画像例、すなわち、非常に近い被写体と遠くの被写体が同時に撮像された場合、すなわち、画像の一部に「視差が大きく異なる被写体」が含まれる場合も、２つの画像間の動きベクトルの非一様性が発生する。
なぜなら、近くの被写体の視差による移動量は、遠くの被写体の視差による移動量より大きい（異なる）からである。
【０１５４】
この例について図１４を参照して説明する。
図１４には、以下の（ａ）〜（ｃ）の図を示している。
（ａ）時間：Ｔ＝ｔ０の撮影画像
（ｂ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
（ｃ）動きベクトルマップの構成情報
【０１５５】
（ａ）時間：Ｔ＝ｔ０の撮影画像と、（ｂ）時間：Ｔ＝ｔ０＋Δｔの撮影画像はカメラを移動させて連続撮影した画像である。
この画像にはカメラに極めて近い近距離被写体（花）３０５と、遠距離被写体が含まれる。
【０１５６】
カメラは近距離被写体（花）３０５の間近に設定して撮影している。そのため、カメラを移動させると、近距離被写体（花）３０５の撮影画像中の位置は大きくずれることになる。この結果、（ａ）時間：Ｔ＝ｔ０の撮影画像と、（ｂ）時間：Ｔ＝ｔ０＋Δｔの撮影画像中の近距離被写体（花）３０５の画像位置が大きく異なる。
【０１５７】
このようなカメラを移動させながらの連続撮影処理によって、図１４（ａ），（ｂ）の２つの画像が取得される。すなわち、
（ａ）時間：Ｔ＝ｔ０の撮影画像
（ｂ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
これらの２つの画像である。
【０１５８】
移動量検出部２０７は、例えばこの２つの画像を用いて移動量を検出する。移動量の検出処理として、２枚の画像から２画像間の動きベクトルを求める。
この処理によって、例えば図１４（ｃ）のようなベクトル群が得られる。図１４（ｃ）に示す矢印は、ブロック対応の動きベクトルを示している。
【０１５９】
この図１４（ｃ）に示すブロック対応のベクトル群は、先に説明した図１２（ｄ）のブロック対応ベクトルとは異なり、一様とはならない。
この撮影画像には動被写体は含まれず、すべて静止被写体であるが、近距離被写体（花）３０５の撮影されている画像部分のブロック対応動きベクトルは、その他の遠距離被写体部分の動きベクトルよりはるかに大きくなる。
これは、近距離被写体はカメラの動きによる画像内での動き量が大きくなるためである。
【０１６０】
このように画像内に非常に近い被写体と遠くの被写体が同時に撮像された場合には、動きベクトルが非一様となる。
【０１６１】
図１３（ｄ）または、図１４（ｃ）のような一様でないベクトル群からなるベクトルマップが得られた場合、画像評価部２１１は、画像内に「動被写体が存在する」、あるいは画像内に非常に近い被写体と遠くの被写体が含まれ、画像の一部に「視差が大きく異なる被写体が含まれる」と判断することができる。
なお、画像評価部２１１は、一様でないベクトル群からなるベクトルマップに基づいてブロック対応差分ベクトルを生成し、生成したブロック対応差分ベクトルに基づいて最終的な評価処理を行う。
【０１６２】
画像評価部２１１は、移動量検出部２０７が生成した各撮影画像対応の動きベクトルマップ（例えば図１２（ｄ））またはその生成情報を移動量メモリ２０８から取得して、合成画像（左目用合成画像または右目用合成画像）に対応する「動被写体可視化画像」を生成して各合成画像についての３次元画像としての適正を評価する処理を実行する。この処理については、後段で詳細に説明する。
【０１６３】
画像評価部２１１は、画像合成部２１０の生成した合成画像（左目用合成画像または右目用合成画像）が３次元画像として適正でないと判定した場合は、ユーザに対する警告出力等の処理を実行する。
【０１６４】
［６．画像評価部における画像評価処理の詳細について］
上述したように、画像評価部２１１は、例えば動きベクトルマップを取得して、画像合成部２１０の生成した画像が３次元画像表示に適正な画像であるか適正でない画像であるかを判定する。
【０１６５】
この画像の適正度判定は、上述したように動きベクトルの一様性から判定することができる。以下では、画像評価部２１１の実行する動きベクトルの一様性に基づく３次元画像としての適正を判定するアルゴリズムの一例ついて説明する。
【０１６６】
画像評価部２１１は、動きベクトルの一様性に基づく判定処理を行うが、この判定処理は、具体的には、３Ｄ画像の画質に強く影響を及ぼす「動被写体」または「視差が大きく異なる被写体」が画像に含まれるか否かの判処理に相当する。この判定アルゴリズムとしては、様々な方法が適用可能である。
以下、その一例として、画像全体の動きに対応するグローバル・モーション・ベクトル（ＧＭＶ）と異なるブロック対応ベクトルをもつ領域の被写体を「動被写体」または「視差が大きく異なる被写体」が含まれると判断する手法について説明する。
【０１６７】
「動被写体」または「視差が大きく異なる被写体」が３Ｄ画像の画質に与える影響の感じ方は個人差があり、定量的に行うことは難しい。しかしながら定性的には、
（１）「動被写体」または「視差が大きく異なる被写体」が画面に占める面積、
（２）「動被写体」または「視差が大きく異なる被写体」の画面における中心からの距離、
（３）画面中での「動被写体」または「視差が大きく異なる被写体」の移動量、
これらの指標を用いて、画像が３次元画像表示に適正な画像であるか適正でない画像であるかを判定することができる。
【０１６８】
画像評価部２１１は、画像合成部２１０の生成した画像（左目用合成画像、右目用合成画像）と、移動量検出部２０７の生成した動きベクトル情報を利用して上記の各指標を算出し、算出した指標に基づいて、画像合成部２１０の生成した画像が３次元画像としての適正を持つか否かを判定する。なお、判定処理に際しては、例えばメモリ２０９に予め格納した各指標に対応する画像評価判定情報（閾値等）が利用される。
【０１６９】
図１５を参照して、動被写体を含む画像に対する画像評価部２１１の実行する処理例について説明する。なお、以下では、「動被写体」に対する処理例について説明するが、「動被写体」は「視差が大きく異なる被写体」に置き換えても同様の処理が可能である。
【０１７０】
図１５には、以下の図を示している。
（ａ）時間：Ｔ＝ｔ０の撮影画像
（ｂ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
（ｃ）動きベクトルマップの構成情報
（ｄ）動被写体のみの動きベクトル情報
（ｅ）動被写体部分の差分ベクトル（ＧＭＶとの差分）
（ｆ）動被写体領域とベクトルの可視化情報
【０１７１】
連続撮像された複数枚の画像（図１５（ａ），（ｂ））から動きベクトルマップ（図１５（ｃ））が求められる。これは先に図１２他を参照して説明した手法によって、移動量検出部２０７の実行する処理である。
図１５（ｃ）に示す動きベクトルマップから、動被写体領域として判定されたブロックのみを選択したブロック対応動きベクトルは図１５（ｄ）のようなベクトルマップとなる。
【０１７２】
この図１５（ｄ）に示すブロック対応動きベクトルは、
カメラの移動に起因するグローバル・モーション・ベクトル（ＧＭＶ）と、
動被写体の動きに起因する動きベクトル、
これらの加算結果としてのベクトルである。
【０１７３】
３次元画像の画質に影響を与える成分は、背景に対する動被写体の動きであるので、動被写体の動きベクトルから、グローバル・モーション・ベクトル（ＧＭＶ）を減算する。この減算結果として得られるブロック対応差分ベクトルを「真の動きベクトル」と呼ぶ。
図１５（ｅ）に動被写体の動きベクトルからグローバル・モーション・ベクトルを減算したブロック対応差分ベクトルを示す。このブロック対応差分ベクトルとしての「真の動きベクトル」が重要となる。
【０１７４】
図１５（ｅ）のブロック対応差分ベクトル（「真の動きベクトル」）が設定されるブロックは、ＧＭＶと異なる動きベクトルが検出されたブロックとなる。このブロック領域を「動被写体」検出領域であると判定することができる。
【０１７５】
画像評価部２１１は、画像合成部２１０の生成した合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する。
【０１７６】
図１５（ｆ）は、図１５（ｅ）のブロック対応差分ベクトルから、予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックと、そのブロック対応差分ベクトルのみを示した図である。
【０１７７】
図１５（ｆ）に示すブロックを「動被写体検出領域３５１」として、他の領域と区別して示し、「動被写体検出領域３５１」の「真の動きベクトル３５２」（＝動被写体の動きベクトルからグローバル・モーション・ベクトルを減算したブロック対応差分ベクトル）を示すことで、動被写体情報を可視化した「動被写体可視化画像」を生成することができる。
【０１７８】
画像評価部２１１は、この「動被写体可視化画像」を生成し、この情報を適用して画像評価、すなわち、画像合成部２１０の生成した合成画像（左目用合成画像や右目用合成画像）が３次元画像としての適正を有するか否かを判定することができる。なお、この情報は、例えば出力部２０４に表示することも可能であり、ユーザが３次元画像としての適正を阻害する問題領域としての例えば動被写体の領域を確認することが可能となる。
【０１７９】
画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像の各々についての３次元画像としての適正評価処理に際して、合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトル（図１５（ｅ），（ｆ））の解析を行う。この処理に際して、例えば「動被写体可視化画像」を適用した処理を行う。
【０１８０】
具体的には、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも上記のブロック面積（Ｓ）、または移動量加算値（Ｌ）いずれかの値と予め規定した閾値を比較して、ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する。
【０１８１】
前述したように、３次元画像表示用の左目用画像と右目用画像は画像合成部２１０において、連続撮像画像の中心から左右にオフセットした短冊領域をつなぎ合わせて生成する。
【０１８２】
図１６を参照して「動被写体可視化画像」の生成処理例について説明する。
図１６に示すように、「動被写体可視化画像３６０」は、３次元画像表示用の左目用合成画像と右目用合成画像の生成処理と同様、各合成画像の生成処理に使用した短冊の連結処理によって生成することができる。
図１６の上段に示す画像（ｆ１）〜（ｆｎ）は、画像合成部２１０が左目用合成画像または右目用合成画像の合成画像生成処理に用いた撮影画像を示しておいる。
左目用合成画像または右目用合成画像は、これらの各撮影画像（ｆ１）〜（ｆｎ）の短冊領域を切り出して連結して生成されている。
【０１８３】
「動被写体可視化画像３６０」は、画像合成部２１０が生成した左目用合成画像または右目用合成画像の合成画像の生成に適用した短冊領域を利用して生成される。
なお、撮影画像（ｆ１）〜（ｆｎ）は、図１５（ｆ）に示す画像に対応する。すなわち、
（ｆ）動被写体領域とベクトルの可視化情報
である。すなわち、先に図１５（ｆ）を参照して説明したように、「動被写体検出領域３５１」の「真の動きベクトル３５２」（＝動被写体の動きベクトルからグローバル・モーション・ベクトルを減算したブロック対応差分ベクトル）を持つ画像である。
【０１８４】
画像評価部２１１は、画像合成部２１０の生成した合成画像に含まれる各撮影画像の短冊領域情報をメモリ２０９から取得し、画像合成部２１０の生成した合成画像に対応する短冊領域単位で、図１５（ｆ）に示す［（ｆ）動被写体領域とベクトルの可視化情報］を生成して、これらを連結して、図１６に示す「動被写体可視化画像３６０」を生成する。
【０１８５】
この図１６に示す「動被写体可視化画像３６０」は、画像合成部２１０の生成した合成画像（左目用合成画像または右目用合成画像）に対応する動被写体可視化画像である。
画像評価部２１１は、この可視化可情報である動被写体可視化画像を適用して画像評価を実行する。なお、図１６に示す動被写体可視化画像は、３Ｄ画像生成に使用した短冊領域内の動被写体検出情報のみを使用した例であるが、短冊領域に限定せず画像全体の動被写体検出情報を使用して、重ね合わせて１枚の動被写体可視化画像を生成してもよい。
【０１８６】
以下、画像評価部２１１において実行する動被写体可視化画像３６０を適用した画像評価処理の具体例について説明する。
前述したように、画像評価部２１１は、画像合成部２１０の生成した画像の評価を以下の指標を算出して実行する。
（１）「動被写体」または「視差が大きく異なる被写体」が画面に占める面積、
（２）「動被写体」または「視差が大きく異なる被写体」の画面における中心からの距離、
（３）画面中での「動被写体」または「視差が大きく異なる被写体」の移動量、
これらの指標を用いて、画像が３次元画像表示に適正な画像であるか適正でない画像であるかを判定する。
以下、図１６に示す動被写体可視化画像３６０を適用してこれらの指標値を算出する処理例について説明する。
【０１８７】
（１）「動被写体」または「視差が大きく異なる被写体」が画面に占める割合を求める処理例
画像評価部２１１は、画像合成部２１０の生成した画像と、移動量検出部２０７の生成した動きベクトル情報を利用して図１６に示す動被写体可視化画像３６０を生成し、この画像を適用して、「動被写体」または「視差が大きく異なる被写体」の面積を求める。
以下の説明では、「動被写体」に対する処理例として説明するが、「視差が大きく異なる被写体」についても同様の処理が適用可能である。
【０１８８】
この処理に際しては、合成処理後の画像サイズに基づく正規化処理を行う。すなわち、正規化により、画像全体に対する動被写体領域の面積の割合を算出する。
画像評価部２１１は、動被写体領域の面積（Ｓ）、すなわち、
「予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）」を以下の式に従って算出する。
【０１８９】
【数１】
・・・（式１）
【０１９０】
上記式（式１）によって算出される値（Ｓ）を動被写体面積と呼ぶ。
なお、上記式において、
ｗは合成後の画像横サイズ、
ｈは画像縦サイズ、
ｐは動被写体検出領域の画素、
である。
つまり、上記式（式１）は、図１６に示す動被写体可視化画像３６０中の「動被写体検出領域３５１」の面積を求める式に相当する。
【０１９１】
なお、合成後画像サイズで正規化をする理由は、動被写体面積と動被写体が画質劣化に与える影響において、画像サイズ依存性をなくすためである。最終画像サイズが大きい場合は、最終画像サイズが小さい場合にくらべて、動被写体による画質劣化はあまり大きくないはずであり、これを反映させるために、動被写体領域面積を画像サイズで正規化する。
【０１９２】
なお、この上記式（式１）によって算出される動被写体面積については、画像評価値として算出する場合は、画像の位置に応じた重みを付けて、評価値を算出する構成としてもよい。この重み設定例については、以下の（２）において説明する。
【０１９３】
（２）「動被写体」または「視差が大きく異なる被写体」の画面における中心からの距離に対する処理例
次に、画像評価部２１１の実行する画像評価において、「動被写体」または「視差が大きく異なる被写体」の画面における中心からの距離に応じて重みを設定する処理例について説明する。
以下の説明では、「動被写体」に対する処理例として説明するが、「視差が大きく異なる被写体」についても同様の処理が適用可能である。
【０１９４】
画像評価部２１１は、画像合成部２１０の生成した画像と、移動量検出部２０７の生成した動きベクトル情報を利用して図１６に示す動被写体可視化画像３６０を生成し、この画像を適用して、「動被写体」の画面における中心からの距離に対する処理を行う。
【０１９５】
人が画像を見る際に、中央付近を主に見るという性質を利用して、画像の位置に応じた重みを付けて、動被写体として検出されたブロックの面積に重み係数を乗算してから、動被写体面積を合計してもよい。重み係数（α＝０〜１）の分布の一例を図１７に示す。図１７に示す例は、合成画像に設定する重み係数を濃淡情報として示した図である。合成画像中の中央付近の重み係数を高くし、画面端に行くにつれて重み係数を減少させる設定とする。重み係数は、例えばα＝１〜０の範囲で設定する。
【０１９６】
例えば、前述の式（式１）によって算出される動被写体面積（Ｓ）について画像評価値として算出する場合は、画像の位置に応じた重みを付けて評価値を算出することができる。動被写体の検出位置に応じて、重み係数：α＝１〜０を乗算して、
ΣαＳ
上記式に従って、画像に対応する動被写体面積に基づく画像評価値を算出することができる。
【０１９７】
（３）画面中での「動被写体」または「視差が大きく異なる被写体」の移動量を算出する処理例、
次に、画像評価部２１１の実行する画像評価において、画面中での「動被写体」または「視差が大きく異なる被写体」の移動量を算出する処理例について説明する。
以下の説明では、「動被写体」に対する処理例として説明するが、「視差が大きく異なる被写体」についても同様の処理が適用可能である。
【０１９８】
画像評価部２１１は、図１６に示す動被写体可視化画像３６０において、表示されている真の動きベクトルの長さをすべて足し合わせたベクトル加算値（Ｌ）、
すなわち、「予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）」を以下の式（式２）に従って算出する。なお、この算出処理に際しても合成画像の画像サイズに基づく正規化を行う。
【０１９９】
【数２】
・・・・（式２）
【０２００】
上記式（式２）によって算出される動被写体の真のベクトルのベクトル加算値（Ｌ）を動被写体移動量と呼ぶ。
なお、上記式において、
ｗは合成後の画像横サイズ、
ｈは画像縦サイズ、
ｖは動被写体可視化画像中にある真のベクトル、
である。
【０２０１】
なお、合成後画像サイズで正規化をする理由は、先に説明した式（式１）の場合と同様、動被写体面積と動被写体が画質劣化に与える影響において、画像サイズ依存性をなくすためである。最終画像サイズが大きい場合は、最終画像サイズが小さい場合にくらべて、動被写体による画質劣化はあまり大きくないはずであり、これを反映させるために、動被写体領域面積を画像サイズで正規化する。
【０２０２】
なお、この上記式（式２）によって算出される動被写体移動量、すなわち、
「予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）」
についても、画像評価値として算出する場合は、先に図１７を参照して説明したように画像の位置に応じた重みを付けて、動被写体として検出されたベクトルの長さに重みを乗算して、動被写体移動量に基づく評価値を算出する構成としてもよい。
【０２０３】
例えば、前述の式（式２）によって算出される動被写体の移動量（Ｌ）について画像評価値として算出する場合は、画像の位置に応じた重みを付けて評価値を算出することができる。動被写体の検出位置に応じて、重み係数：α＝１〜０を乗算して、
ΣαＬ
上記式に従って、画像に対応する動被写体の移動量（Ｌ）、すなわち、
「予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）」
に基づく画像評価値を算出することができる。
【０２０４】
画像評価部２１１は、このように様々な指標に従った画像評価値を算出し、これらの評価値を利用して、各合成画像の３次元画像としての適正を判定する。
原理的に、動被写体面積と動被写体移動量はどちらも、値が大きければ３次元画像としての画質が悪く、値が小さければ３次元画像の画質が良いという傾向がある。
【０２０５】
画像評価部２１１は、画像合成部２１０から提供される画像単位で、上述した動被写体面積（Ｓ）、または動被写体移動量（Ｌ）の少なくともいずれかの指標値を算出して、これらの値から３次元画像としての適正を判定する。
【０２０６】
画像評価部２１１は、例えば動被写体面積（Ｓ）、または動被写体移動量（Ｌ）の少なくともいずれかの指標値と、予めメモリ２０９に記録済みの画像評価判定情報としての閾値を比較して最終的な画像の適正判定を行う。
なお、評価処理は、適正あり、なしの２段階評価に限らず、複数の閾値を設けてこの数段階評価を行う構成としてもよい。その評価結果を撮像直後に出力部２０４に出力してユーザ（撮影者）に知らせる等の処理を行う。
【０２０７】
この画像評価情報提供処理により、ユーザは、画像を３次元画像表示ディスプレイで見なくても３次元画像としての画質を把握することができる。
また、低い評価のときは、撮像画像を記録せず、撮影をやり直すといった処理を行うといった判断を行うことが可能となる。
【０２０８】
なお、動被写体面積（Ｓ）や、動被写体移動量（Ｌ）、すなわち、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
これらの２つの指標値中、３次元画像の適正評価に際しては、一方のみの指標を利用してもよいが、両者を合わせて最終的な指標値としてもよい。さらに、前述したように重み情報［α］を適用して画像に対応する最終的な３次元画像適正評価値を算出してもよい。
【０２０９】
例えば、画像評価部２１１は、３次元画像適正評価値［Ａ］を以下のように算出する。
Ａ＝ａΣ（α１）（Ｓ）＋ｂΣ（α２）（Ｌ）
・・・（式３）
上記式（式３）において、
Ｓ：動被写体面積
Ｌ：動被写体移動量
α１：重み係数（画像位置対応重み係数）
α２：重み係数（画像位置対応重み係数）
ａ，ｂ：重み係数（動被写体面積（Ｓ）と、動被写体移動量（Ｌ）のバランス調整用重み係数）
である。
なお、α１，α２，ａ，ｂ等のパラメータは予めメモリ２０９に格納しておく。
【０２１０】
画像評価部２１１は、上記式（式３）によって算出した３次元画像適正評価値［Ａ］と、メモリ２０９に予め格納した画像評価判定情報（閾値Ｔｈ）と比較する。
例えば、この比較処理において、
Ａ≧Ｔｈ
上記判定式が成立した場合は、その画像は３次元画像としての適正がないと判定する。
上記判定式が成立しない場合は、その画像は３次元画像としての適正があると判定する。
上記判定式による判定処理は、例えば図１１のステップＳ１１２の判定処理に対応した処理として画像評価部２１１において実行される。
【０２１１】
また、例えば、動被写体面積（Ｓ）の値をｘ座標、動被写体移動量（Ｌ）の値をｙ座標として、ｘｙ平面に画像評価データ（ｘ，ｙ）＝（Ｓ，Ｌ）としてプロットして、３次元画像としての適正を判断することも可能である。
【０２１２】
例えば図１８に示すようにｘ軸に垂直な直線とｙ軸に垂直な直線で囲まれた領域３８１に入っている画像を３次元画像として適正がある。すなわち画質が高いとみなす。
図１８は、
横軸（ｘ軸）が、動被写体面積（Ｓ）、すなわち、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
縦軸（ｙ軸）が、動被写体移動量（Ｌ）、すなわち、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
これらの各軸を設定したグラフであり、グラフ上のプロットは、各画像の評価データ（ｘ，ｙ）＝（Ｓ，Ｌ）のプロットである。
【０２１３】
領域３８１以外に画像評価データ（ｘ，ｙ）＝（Ｓ，Ｌ）が設定される画像は、３次元画像として適正がない。すなわち画質が低いとみなすといった判定処理を実行してもよい。なお、図１８には、領域３８１を矩形としているが、この領域は矩形ではなく楕円でも多項式でも良い。
【０２１４】
さらに、ほかの方法として、画像評価データ（ｘ，ｙ）＝（Ｓ，Ｌ）を入力としてある評価関数ｆ（ｘ，ｙ）を定義し、この関数の出力を３Ｄ画像の画質判断に使用しても良い。前述の３次元画像適正評価値［Ａ］の算出式（式３）、すなわち、
Ａ＝ａΣ（α１）（Ｓ）＋ｂΣ（α２）（Ｌ）
・・・（式３）
上記式も１つの評価関数ｆ（ｘ，ｙ）の適用例に相当する。
なお、評価関数の係数は、メモリ２０９に記録された固定値を適用してもよいが、例えば学習処理によって算出し、順次更新する設定としてもよい。学習処理は例えばオフラインで随時実行し、その結果として得られる係数を画像処理装置に順次、提供して更新して利用するといった処理が可能である。
【０２１５】
画像評価部２１１は、このようにして画像合成部２１０の生成した画像、すなわち３次元画像表示に適用するための左目用画像と、右目用画像が３次元画像としての適正をもつか否かの評価を実行する。この評価結果が３次元画像としての適正がないとの評価結果である場合は、例えば記録メディアへの記録処理を保留してユーザに対する警告を実行する。ユーザによる記録処理の要求があった場合は記録を行い、記録要求がなされない場合は記録処理を中止する処理などを行う。
【０２１６】
また前述したように評価情報は、画像評価部２１１から記録部２１２に提供され、記録部２１２がメディアに記録する画像の属性情報（メタデータ）として画像に併せて記録する。この記録情報を利用することで、例えばＰＣなど３次元画像の表示処理を行う情報処理装置や画像処理装置において、適切な画像補正を迅速に行うことが可能となる。
【０２１７】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２１８】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２１９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２２０】
以上、説明したように、本発明の一実施例の構成によれば、複数の画像から切り出した短冊領域を連結して生成した３次元画像表示に適用する左目用合成画像と右目用合成画像の適正を評価する装置および方法を提供する。合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルを解析し、規定閾値以上の大きさを有するブロック対応差分ベクトルを持つブロック面積（Ｓ）、またはベクトル長加算値である移動量加算値（Ｌ）が予め規定した閾値以上である場合、合成画像の３次元画像としての適正がないと判定する処理を実行し、判定結果に応じた警告出力や記録制御を行う。
【符号の説明】
【０２２１】
１０ カメラ
２０ 画像
２１ ２Ｄパノラマ画像用短冊
３０ ２Ｄパノラマ画像
５１ 左目用画像短冊
５２ 右目用画像短冊
７０ 撮像素子
７２ 左目用画像
７３ 右目用画像
１００ カメラ
１０１ 仮想撮像面
１０２ 光学中心
１１０ 画像
１１１ 左目用画像短冊
１１２ 右目用画像短冊
１１５ ２Ｄパノラマ画像用短冊
２００ 撮像装置
２０１ レンズ系
２０２ 撮像素子
２０３ 画像信号処理部
２０４ 表示部
２０５ 画像メモリ（合成処理用）
２０６ 画像メモリ（移動量検出用）
２０７ 移動量検出部
２０８ 移動量メモリ
２０９ メモリ
２１０ 画像合成部
２１１ 画像評価部
２１２ 記録部
３６０ 動被写体可視化画像
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。さらに詳細には、カメラを移動させながら撮影した複数の画像を利用して３次元画像（３Ｄ画像）表示用の画像の生成処理を行う画像処理装置、撮像装置、および画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
３次元画像（３Ｄ画像またはステレオ画像とも呼ばれる）を生成するためには、異なる視点からの画像、すなわち左目用画像と右目用画像を撮影することが必要となる。これらの異なる視点からの画像を撮影する方法は大別すると２通りに区分できる。
第１の手法は、複数のカメラユニットを用いて同時に異なる視点から被写体を撮像する、いわゆる多眼式カメラを用いた手法である。
第２の手法は、単一のカメラユニットを用いて撮像装置を移動させて、異なる視点からの画像を連続的に撮像する、いわゆる単眼式カメラを用いた手法である。
【０００３】
例えば、上記第１の手法に利用される多眼式カメラシステムは離間した位置にレンズを備え、異なる視点からの被写体を同時に撮影可能とした構成を持つ。しかし、このような多眼式カメラシステムは、複数のカメラユニットが必要なためカメラシステムが高価となるという問題がある。
【０００４】
これに対して、上記第２の手法に利用される単眼式カメラシステムは、従来型のカメラと同様の１つのカメラユニットを備えた構成でよい。１つのカメラユニットを備えたカメラを移動させて異なる視点からの画像を連続的に撮影し、複数の撮影画像を利用して３次元画像を生成するものである。
このように、単眼式カメラシステムを利用する場合、従来型のカメラと同様の１つのカメラユニットのみでよく比較的安価なシステムとして実現できる。
【０００５】
なお、単眼式カメラを移動しながら撮影した画像から被写体の距離情報を得る手法を開示した従来技術として、非特許文献１［「全方位視野の距離情報獲得」（電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ，Ｎｏ．４，１９９１）］がある。
【０００６】
この非特許文献１は、カメラを回転台上の回転中心から一定距離、離間した円周上に固定して設置し、回転台を回転させながら連続的に画像を撮影して２本の垂直スリットを通して得られる２つの画像を用いて被写体の距離情報を得る手法を開示している。
【０００７】
また特許文献１（特開平１１−１６４３２６号公報）は、非特許文献１の構成と同様、カメラを回転台上の回転中心から一定距離おいて設置して回転させながら画像を撮影し、２本のスリットを通して得られる２つの画像を用いることで、３次元画像表示に適用する左目用のパノラマ画像と右目用のパノラマ画像を取得する構成を開示している。
【０００８】
このように、複数の従来技術において、カメラを回転させてスリットを通して得られる画像を用いることで、３次元画像表示に適用する左目用の画像と右目用の画像を取得することが可能であることが開示されている。
【０００９】
しかしながら、単眼式のカメラを移動させて順次、画像を撮像する場合、各画像の撮影時刻が異なるという問題がある。例えば、上述のようにカメラを回転させながら画像を撮影して２本のスリットを通して得られる２つの画像を用いて左目用画像と右目用画像を生成した場合、左目用画像と右目用画像に含まれる同一被写体の撮影時刻が異なる場合が発生する。
【００１０】
従って、被写体が車や歩行者などの動く被写体、すなわち動被写体であると、動被写体に対して静止物体とは異なる誤った視差量が設定された左目用画像と右目用画像が生成されてしまう。すなわち、動被写体が含まれる場合には正しい奥行き感を持つ３次元画像（３Ｄ画像／ステレオ画像）が提供できなくなるという問題が発生する。
さらに、左目用画像と右目用画像を生成する場合、複数の異なる時間の撮影画像の一部（短冊）を切り出して連結する画像合成処理が行われるが、この際、カメラからの距離が遠い被写体と近接した被写体が混在すると画像の連結部分に不連続な部分が発生するという問題がある。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】特開平１１−１６４３２６号公報
【非特許文献】
【００１２】
【非特許文献１】「全方位視野の距離情報獲得」（電子情報通信学会論文誌，Ｄ−ＩＩ，Ｖｏｌ．Ｊ７４−Ｄ−ＩＩ，Ｎｏ．４，１９９１）
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明は、例えば、上述の問題点に鑑みてなされたものであり、単眼式のカメラを移動させて順次、画像を撮影し、この撮影画像を利用して３次元画像表示に適用する左目用画像と右目用画像を生成する構成において、３次元画像としての適正を判定する画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１４】
例えば、本発明の一実施例構成では、３次元画像としての適正を判定するために撮影画像内の動被写体の検出、あるいはカメラからの距離が遠い被写体と近接した被写体が混在すか否かを検出するために、画像から動きベクトルを解析して３次元画像としての適正を判定する画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【００１５】
さらに、本発明の一実施例構成においては、３次元画像としての適正の判定処理としての画像評価を実行し、評価情報を撮影処理を行ったユーザに提供する処理、あるいは判定結果に応じてメディアに対する記録処理の制御を行う画像処理装置、撮像装置、および画像処理方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１６】
本発明の第１の側面は、
異なる位置からの撮影画像各々から切り出した短冊領域の連結処理により生成した３次元画像表示に適用する合成画像の３次元画像としての適正を評価する画像評価部を有し、
前記画像評価部は、
前記合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行し、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも前記ブロック面積（Ｓ）、または前記移動量加算値（Ｌ）いずれかの値と予め規定した閾値を比較して、
前記ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行する画像処理装置にある。
【００１７】
さらに、本発明の画像処理装置の一実施態様において、前記画像評価部は、前記合成画像中のブロック位置に応じた重み設定を行い、画像中央部ほど大きい重み係数を乗算して、前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）の算出処理を実行し、重み係数を乗算した結果と閾値との比較処理を実行する。
【００１８】
さらに、本発明の画像処理装置の一実施態様において、前記画像評価部は、前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）の算出処理に際して、前記合成画像の画像サイズに基づく正規化処理を実行して各値の算出処理を実行し、算出結果と閾値との比較処理を行う。
【００１９】
さらに、本発明の画像処理装置の一実施態様において、前記画像評価部は、３次元画像としての適正評価値：Ａを、下記式、
Ａ＝ａΣ（α１）（Ｓ）＋ｂΣ（α２）（Ｌ）
ただし、
Ｓは前記ブロック面積、
Ｌは前記移動量加算値、
α１、α２は画像位置対応の重み係数、
ａ，ｂは、前記ブロック面積（Ｓ）と前記移動量加算値（Ｌ）のバランス調整用重み係数、
上記式に従って算出する。
【００２０】
さらに、本発明の画像処理装置の一実施態様において、前記画像評価部は、前記合成画像に対応する差分ベクトルをブロック単位で示した可視化画像を生成し、該可視化画像を適用して前記ブロック面積（Ｓ）、または前記移動量加算値（Ｌ）の算出を行う。
【００２１】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、前記撮影画像を入力し、撮影画像間のマッチング処理により前記ブロック動きベクトルを算出する移動量検出部を有し、前記画像評価部は、前記移動量検出部の算出したブロック動きベクトルを適用して前記ブロック面積（Ｓ）、または前記移動量加算値（Ｌ）の算出を行う。
【００２２】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、異なる位置から撮影された複数の画像を入力し、各画像から切り出した短冊領域を連結して合成画像を生成する画像合成部を有し、前記画像合成部は、各画像に設定した左目用画像短冊の連結合成処理により３次元画像表示に適用する左目用合成画像を生成し、各画像に設定した右目用画像短冊の連結合成処理により３次元画像表示に適用する右目用合成画像を生成し、前記画像評価部は、前記画像合成部の生成した合成画像について、３次元画像としての適正評価を行う。
【００２３】
さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像評価部の合成画像評価結果が３次元画像としての適正がないとの判定である場合、警告出力を実行する制御部を有する。
【００２４】
さらに、本発明の画像処理装置の一実施態様において、前記制御部は、前記画像評価部の合成画像評価結果が３次元画像としての適正がないとの判定である場合、前記合成画像の記録メディアに対する記録処理を保留し、前記警告出力に応じたユーザからの記録要求の入力を条件として記録処理を実行する。
【００２５】
さらに、本発明の第２の側面は、
画像撮影に適用するレンズ部と、
撮影画像の光電変換を行う撮像素子と、
前記請求項１〜９いずれかに記載の画像処理を実行する画像処理部を備えた撮像装置にある。
【００２６】
さらに、本発明の第３の側面は、
画像処理装置において実行する画像処理方法であり、
画像評価部が、異なる位置からの撮影画像各々から切り出した短冊領域の連結処理により生成した３次元画像表示に適用する合成画像の３次元画像としての適正を評価する画像評価ステップを有し、
前記画像評価ステップは、
前記合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行し、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）のいずれかの値と予め規定した閾値を比較して、
前記ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行する画像処理方法にある。
【００２７】
さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像評価部に、異なる位置からの撮影画像各々から切り出した短冊領域の連結処理により生成した３次元画像表示に適用する合成画像の３次元画像としての適正を評価させる画像評価ステップを有し、
前記画像評価ステップは、
前記合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行するステップであり、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）のいずれかの値と予め規定した閾値を比較して、
前記ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行するステップであるプログラムにある。
【００２８】
なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００２９】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００３０】
本発明の一実施例の構成によれば、複数の画像から切り出した短冊領域を連結して生成した３次元画像表示に適用する左目用合成画像と右目用合成画像の適正を評価する装置および方法を提供する。合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルを解析し、規定閾値以上の大きさを有するブロック対応差分ベクトルを持つブロック面積（Ｓ）、またはベクトル長加算値である移動量加算値（Ｌ）が予め規定した閾値以上である場合、合成画像の３次元画像としての適正がないと判定する処理を実行し、判定結果に応じた警告出力や記録制御を行う。
【図面の簡単な説明】
【００３１】
【図１】パノラマ画像の生成処理について説明する図である。
【図２】３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の生成処理について説明する図である。
【図３】３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の生成原理について説明する図である。
【図４】仮想撮像面を用いた逆モデルについて説明する図である。
【図５】パノラマ画像（３Ｄパノラマ画像）の撮影処理のモデルについて説明する図である。
【図６】パノラマ画像（３Ｄパノラマ画像）の撮影処理において撮影される画像と左目用画像および右目用画像の短冊の設定例について説明する図である。
【図７】短冊領域の連結処理と、３Ｄ左目用合成画像（３ＤパノラマＬ画像）および３Ｄ右目用合成画像（３ＤパノラマＲ画像）の生成処理例について説明する図である。
【図８】動いている被写体である動被写体を含む場合の左目用画像と右目用画像の問題点について説明する図である。
【図９】左目用画像と右目用画像に含まれる被写体の視差の範囲が多きすぎる、すなわち画像の一部に「視差が大きく異なる被写体」が含まれる場合の問題点について説明する図である。
【図１０】本発明の画像処理装置の一実施例である撮像装置の構成例について説明する図である。
【図１１】本発明の画像処理装置の実行する画像撮影および合成処理シーケンスについて説明するフローチャートを示す図である。
【図１２】画像内に動被写体が含まれない場合における動きベクトルマップの生成例と画像評価処理について説明する図である。
【図１３】画像内に動被写体が含まれる場合における動きベクトルマップの生成例と画像評価処理について説明する図である。
【図１４】画像内に「視差が大きく異なる被写体」が含まれる場合における動きベクトルマップの生成例と画像評価処理について説明する図である。
【図１５】動被写体を含む画像に対する画像評価部２１１の実行する処理例について説明する図である。
【図１６】動被写体を含む画像に対する画像評価部２１１の実行する処理例について説明する図である。
【図１７】画像評価部２１１の実行する処理例としての画像の位置に応じた重み設定例について説明する図である。
【図１８】画像評価部２１１の実行する処理例であり、動被写体面積（Ｓ）とどう被写体移動量（Ｌ）を適用した画像評価処理の一例について説明する図である。
【発明を実施するための形態】
【００３２】
以下、図面を参照しながら、本発明の画像処理装置、撮像装置、および画像処理方法、並びにプログラムについて説明する。説明は以下の項目順に行う。
１．パノラマ画像の生成と３次元（３Ｄ）画像生成処理の基本構成について
２．カメラ移動により撮影した複数画像の短冊領域を利用した３Ｄ画像生成における問題点
３．本発明の画像処理装置の構成例について
４．画像撮影および画像処理シーケンスについて
５．動きベクトルに基づく３次元画像の適正判定処理の原理について
６．画像評価部における画像評価処理の詳細について
【００３３】
［１．パノラマ画像の生成と３次元（３Ｄ）画像生成処理の基本構成について］
撮像装置（カメラ）を移動させながら連続的に撮影した複数の画像を用い、各画像から短冊状に切り出した領域（短冊領域）を連結して３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を生成することができる。本発明は、このような処理によって生成した画像が３次元画像として適正を有するか否かを判定する構成を有する。
【００３４】
なお、カメラを移動させながら連続的に撮影した複数の画像を用いて２次元のパノラマ画像（２Ｄパノラマ画像）を生成するカメラは、すでに利用されている。まず、２次元合成画像として生成されるパノラマ画像（２Ｄパノラマ画像）の生成処理について図１を参照して説明する。図１には、
（１）撮影処理
（２）撮影画像
（３）２次元合成画像（２Ｄパノラマ画像）
これらを説明する図を示している。
【００３５】
ユーザは、カメラ１０をパノラマ撮影モードにして、カメラ１０を手に持ち、シャッターを押して図１（１）に示すように左（Ａ点）から右（Ｂ点）にカメラを移動させる。カメラ１０はパノラマ撮影モード設定下でユーザによるシャッター押下を検出すると、連続的な画像撮影を実行する。例えば、数１０〜１００枚程度の画像を連続的に撮影する。
【００３６】
これらの画像が図１（２）に示す画像２０である。これら複数の画像２０は、カメラ１０を移動させながら連続撮影した画像であり、異なる視点からの画像となる。例えば１００枚の異なる視点から撮影された画像２０がメモリ上に順次記録される。カメラ１０のデータ処理部は、図１（２）に示す複数画像２０をメモリから読み出して、各画像からパノラマ画像を生成するための短冊領域を切り出して、切り出した短冊領域を連結する処理を実行して図１（３）に示す２Ｄパノラマ画像３０を生成する。
【００３７】
図１（３）に示す２Ｄパノラマ画像３０は、２次元（２Ｄ）の画像であり、単に、撮影画像の一部を切り出して連結することで横長にした画像である。図１（３）に示す点線が画像の連結部を示している。各画像２０の切り出し領域を短冊領域と呼ぶ。
【００３８】
本発明の画像処理装置あるいは撮像装置は、この図１に示すと同様の画像撮影処理、すなわち、図１（１）に示すようにカメラを移動させながら連続撮影した複数の画像を利用して生成した３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）の適正評価を実行する。
【００３９】
この左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を生成する処理の基本構成について図２を参照して説明する。
図２（ａ）には、図１（２）に示すパノラマ撮影において撮影された１枚の画像２０を示している。
【００４０】
３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）は、図１を参照して説明した２Ｄパノラマ画像の生成処理と同様、この画像２０から所定の短冊領域を切り出して連結することで生成する。
ただし、切り出し領域とする短冊領域は、左目用画像（Ｌ画像）と右目用画像（Ｒ画像）とでは異なる位置とする。
【００４１】
図２（ａ）に示すように、左目用画像短冊（Ｌ画像短冊）５１と、右目用画像短冊（Ｒ画像短冊）５２は、切り出し位置が異なっている。図２には１つの画像２０についてのみ示しているが、図１（２）に示すカメラを移動させて撮影した複数の画像各々について、異なる切り出し位置の左目用画像短冊（Ｌ画像短冊）と、右目用画像短冊（Ｒ画像短冊）を各々設定する。
【００４２】
その後、左目用画像短冊（Ｌ画像短冊）のみを集めて連結することで、図２（ｂ１）３Ｄ左目用パノラマ画像（３ＤパノラマＬ画像）を生成することができる。
また、右目用画像短冊（Ｒ画像短冊）のみを集めて連結することで、図２（ｂ２）３Ｄ右目用パノラマ画像（３ＤパノラマＲ画像）を生成することができる。
【００４３】
このように、カメラを移動させながら撮影した複数画像各々からの切り出し位置を異ならせて設定した短冊を連結することで、３次元（３Ｄ）画像表示に適用する左目用画像（Ｌ画像）と右目用画像（Ｒ画像）を生成することが可能となる。図３を参照してこの原理について説明する。
【００４４】
図３には、カメラ１０を移動させて２つの撮影地点（ａ），（ｂ）において被写体８０を撮影した状況を示している。（ａ）地点では被写体８０の画像は、カメラ１０の撮像素子７０の左目用画像短冊（Ｌ画像短冊）５１に左側から見た画像が記録される。次に、カメラ１０が移動した（ｂ）地点では被写体８０の画像は、カメラ１０の撮像素子７０の右目用画像短冊（Ｒ画像短冊）５２に右側から見た画像が記録される。
【００４５】
このように、同一被写体に対する異なる視点からの画像が撮像素子７０の所定領域（短冊領域）に記録される。
これらを個別に抽出、すなわち、左目用画像短冊（Ｌ画像短冊）のみを集めて連結することで、図２（ｂ１）３Ｄ左目用パノラマ画像（３ＤパノラマＬ画像）が生成され、右目用画像短冊（Ｒ画像短冊）のみを集めて連結することで、図２（ｂ２）３Ｄ右目用パノラマ画像（３ＤパノラマＲ画像）が生成される。
【００４６】
なお、図３では、理解を容易にするためカメラ１０が被写体８０の左側から右側に被写体をクロスする移動の設定として示しているが、このようにカメラ１０が被写体８０をクロスする移動を行うことは必須ではない。カメラ１０の撮像素子７０の所定領域に異なる視点からの画像が記録できれば、３Ｄ画像表示に適用する左目用画像と右目用画像を生成することができる。
【００４７】
次に、図４を参照して、以下の説明において適用する仮想撮像面を用いた逆モデルについて説明する。図４には、
（ａ）画像撮影構成
（ｂ）順モデル
（ｃ）逆モデル
これらの各図を示している。
【００４８】
図４（ａ）に示す画像撮影構成は、図３を参照して説明したと同様のパノラマ画像の撮影時の処理構成を示す図である。
図４（ｂ）は、図４（ａ）に示す撮影処理において実際にカメラ１０内の撮像素子７０に撮り込まれる画像の例を示している。
撮像素子７０には、図４（ｂ）に示すように左目用画像７２、右目用画像７３が上下反転して記録される。このような反転した画像を利用して説明すると混乱しやすいため、以下の説明では、図４（ｃ）に示す逆モデルを利用して説明する。
なお、この逆モデルは撮像装置の画像の解説等においては頻繁に利用されるモデルである。
【００４９】
図４（ｃ）に示す逆モデルは、カメラの焦点に対応する光学中心１０２の前方に仮想撮像素子１０１を設定し、この仮想撮像素子１０１に被写体像が撮り込まれるものと想定している。図４（ｃ）に示すように仮想撮像素子１０１には、カメラ前方左側の被写体Ａ９１が左側、カメラ前方右側の被写体Ｂ９２が右側に撮り込まれ、上下も反転しない設定となり、実際の被写体の位置関係をそのまま反映している。すなわち、仮想撮像素子１０１上の画像は、実際の撮影画像と同じ画像データである。
【００５０】
以下の説明では、この仮想撮像素子１０１を用いた逆モデルを適用して説明を行う。
ただし、図４（ｃ）に示すように、仮想撮像素子１０１上では、左目用画像（Ｌ画像）１１１は、仮想撮像素子１０１上の右側に撮り込まれ、右目用画像（Ｒ画像）１１２は仮想撮像素子１０１上の左側に撮り込まる。
【００５１】
［２．カメラ移動により撮影した複数画像の短冊領域を利用した３Ｄ画像生成における問題点］
次に、カメラ移動により撮影した複数画像の短冊領域を利用した３Ｄ画像生成における問題点について説明する。
【００５２】
パノラマ画像（３Ｄパノラマ画像）の撮影処理のモデルの一例として、図５に示す撮影モデルを想定する。図５に示すように、カメラ１００の光学中心１０２が回転中心である回転軸Ｐから距離Ｒ（回転半径）だけ離れた位置に設定されるようにカメラ１００を置く。
仮想撮像面１０１は光学中心１０２から、焦点距離ｆだけ回転軸Ｐから外側に設定される。
このような設定で、カメラ１００を回転軸Ｐ回りに右回り（ＡからＢ方向）に回転させて、連続的に複数枚の画像を撮影する。
【００５３】
各撮影ポイントにおいて、左目用画像短冊１１１、右目用画像短冊１１２の各画像が仮想撮像素子１０１上に記録される。
記録画像は例えば図６に示すような構成となる。
図６は、カメラ１００によって撮影された画像１１０を示している。なお、この画像１１０は仮想撮像面１０１上の画像と同じである。
画像１１０に対して、図６に示すように画像中心部から左にオフセットさせて短冊状に切り抜いた領域（短冊領域）を右目用画像短冊１１２とし、右にオフセットさせて短冊状に切り抜いた領域（短冊領域）を左目用画像短冊１１１とする。
【００５４】
なお、図６には、参考として２次元（２Ｄ）パノラマ画像生成時に利用する２Ｄパノラマ画像用短冊１１５を示している。
図６に示すように、２次元合成画像用の短冊である２Ｄパノラマ画像短冊１１５と左目用画像短冊１１１との距離、および２Ｄパノラマ画像短冊１１５と右目用画像短冊１１２との距離を、
「オフセット」、または「短冊オフセット」
と定義する。
さらに、左目用画像短冊１１１と右目用画像短冊１１２との距離を、
「短冊間オフセット」
と定義する。
なお、
短冊間オフセット＝（短冊オフセット）×２
となる。
【００５５】
短冊幅ｗは、２Ｄパノラマ画像短冊１１５と、左目用画像短冊１１１と、右目用画像短冊１１２ともすべて共通の幅ｗとなる。この短冊幅は、カメラの移動速度等によって変化する。カメラの移動速度が早い場合は短冊幅ｗは広くなり、遅い場合は狭くなる。
【００５６】
短冊オフセットや短冊間オセットは様々な値に設定可能である。例えば短冊オフセットを大きくすれば、左目用画像と右目用画像の視差がより大きくなり、短冊オフセットを小さくすれば、左目用画像と右目用画像の視差が小さくなる。
【００５７】
短冊オフセット＝０とした場合は、
左目用画像短冊１１１＝右目用画像短冊１１２＝２Ｄパノラマ画像短冊１１５
となる。
この場合は、左目用画像短冊１１１を合成して得られる左目用合成画像（左目用パノラマ画像）と、右目用画像短冊１１２を合成して得られる右目用合成画像（右目用パノラマ画像）は全く同じ画像、すなわち、２Ｄパノラマ画像短冊１１５を合成して得られる２次元パノラマ画像と同じ画像となり、３次元画像表示には利用できなくなる。
【００５８】
カメラ１００内のデータ処理部は、カメラ１００を移動させながら連続撮像された画像間の動きベクトルを求め、前述した短冊領域の絵柄が繋がるように位置あわせをしながら、各画像から切り出す短冊領域を順次決定し、各画像から切り出した短冊領域を連結する。
【００５９】
すなわち各画像から左目用画像短冊１１１のみを選択して連結合成して左目用合成画像（左目用パノラマ画像）を生成し、右目用画像短冊１１２のみを選択して連結合成して右目用合成画像（右目用パノラマ画像）を生成する。
【００６０】
図７（１）は短冊領域の連結処理例を示す図である。各画像の撮影時間間隔をΔｔとして、撮影時間：Ｔ＝０〜ｎΔｔの間にｎ＋１枚の画像を撮影したことを想定している。これらｎ＋１枚の各画像から取り出した短冊領域を連結する。
【００６１】
ただし、３Ｄ左目用合成画像（３ＤパノラマＬ画像）を生成する場合は、左目用画像短冊（Ｌ画像短冊）１１１のみを抽出して連結する。また、３Ｄ右目用合成画像（３ＤパノラマＲ画像）を生成する場合は、右目用画像短冊（Ｒ画像短冊）１１２のみを抽出して連結する。
【００６２】
このように左目用画像短冊（Ｌ画像短冊）１１１のみを集めて連結することで、図７（２ａ）３Ｄ左目用合成画像（３ＤパノラマＬ画像）が生成される。
また、右目用画像短冊（Ｒ画像短冊）１１２のみを集めて連結することで、図７（２ｂ）３Ｄ右目用合成画像（３ＤパノラマＲ画像）が生成される。
【００６３】
図６、図７を参照して説明したように、
画像１００の中心から右側にオフセットした短冊領域をつなぎ合わせて、図７（２ａ）３Ｄ左目用合成画像（３ＤパノラマＬ画像）が生成される。
画像１００の中心から左側にオフセットした短冊領域をつなぎ合わせて、図７（２ｂ）３Ｄ右目用合成画像（３ＤパノラマＲ画像）が生成される。
【００６４】
これら２枚の画像には、先に図３を参照して説明したように、基本的に同じ被写体が写っているが、同じ被写体でも互いに異なる位置から撮像されているので、視差が生じている。これら視差を有する２つの画像を３Ｄ（ステレオ）画像を表示可能な表示装置に表示することで、撮像対象の被写体を立体的に表示することができる。
【００６５】
なお、３Ｄ画像の表示方式には様々な方式がある。
例えば、偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する３Ｄ画像表示方式、あるいは、液晶シャッターを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する３Ｄ画像表示方式などがある。
上述した短冊連結処理によって生成された左目用画像、右目用画像は、これらの各方式に適用可能である。
【００６６】
しかし、このようにカメラ１００を移動させながら連続撮像された複数の画像の各々から短冊領域を切り出して左目用画像と右目用画像を生成した場合、左目用画像と右目用画像に含まれる同一被写体の撮影時刻が異なる場合が発生する。
従って、被写体が車や歩行者などの動く被写体、すなわち動被写体であると、動被写体に対して静止物体とは異なる誤った視差量が設定された左目用画像と右目用画像が生成されてしまう。すなわち、動被写体が含まれる場合には正しい奥行き感を持つ３次元画像（３Ｄ画像／ステレオ画像）が提供できなくなるという問題が発生する。
【００６７】
さらに、３次元画像用の左目用画像や右目用画像に含まれる被写体の視差の範囲が多きすぎる場合、すなわち、カメラからの距離が遠い被写体と近接した被写体が混在すると画像の連結部分に不連続な部分が発生するという問題がある。このように、画像の一部に「視差が大きく異なる被写体」が含まれる場合にも、遠景または近景の少なくとも一方の画像の連結部分に不連続部分が発生する等の問題が発生する。
以下、図８、図９を参照してこれらの問題点について説明する。
【００６８】
図８には、カメラを移動させながら連続撮像した複数の画像から短冊領域を切り出して生成した（ａ）左目用画像と（ｂ）右目用画像を示している。
この２つの（ａ）左目用画像と（ｂ）右目用画像には様々な被写体が撮影されている。その中に動いている被写体、すなわち動被写体（歩行者）１５１が含まれる。
【００６９】
（ａ）左目用画像に含まれる動被写体（歩行者）１５１Ｌと、（ｂ）右目用画像に含まれる動被写体（歩行者）１５１Ｒは同一被写体であるが、異なる撮影時刻の画像から切り出されている。従って、（ａ）左目用画像と（ｂ）右目用画像には、被写体の移動前と移動後の画像が切り出されて設定されている。従って、その他の固定された被写体であるビルや雲や太陽とは、明らかに位置関係が異なっている。
【００７０】
この結果、ビルや雲や太陽については（ａ）左目用画像と（ｂ）右目用画像間で、個々の距離に応じた視差が設定され、正しい奥行き感が提供されるが、歩行者１５１については、本来の視差とは異なる視差が設定され、正しい奥行き感が提供できなくなる。
【００７１】
このように、撮影画像中に動く被写体が含まれると、動被写体の視差が、正しい３次元画像（３Ｄ画像／ステレオ画像）用の左目用画像と右目用画像に設定されるべき視差と異なる誤った視差が設定され、正しい３次元画像表示ができなくなる。
【００７２】
また、例えば、撮像装置の回転軸と光学中心が完全に一致していない状態で極端に近い被写体と遠くの被写体が１つの画像に撮影された場合には、連続撮像画像の短冊領域を繋ぎ合せようとしても、近景または遠景いずれか一方の被写体が上手く繋がらない場合がある。図９を参照して、この例について説明する。
図９は、複数の連続撮影画像を連結して生成した合成画像である。この図９に示す画像には、極端に近い被写体（近距離の被写体）と遠くの被写体（遠距離の被写体）が含まれている。
【００７３】
図９に示す画像は、複数の連続撮影画像の短冊領域の連結に際して、遠くの景色（遠距離の被写体）を正しく繋ぎ合わせている。しかし、近くのもの（近距離の被写体）が上手く繋がっていない。近景領域の壁に不連続な段差が発生している。
これは近くの被写体の視差と、遠くの被写体の視差が大きく異なることが原因である。このように、画像の一部に「視差が大きく異なる被写体」が含まれる場合には、遠景または近景の少なくとも一方の画像の連結部分に不連続な画像などの不具合が発生する。
【００７４】
しかし、例えばカメラを持ったユーザがカメラを移動させながら複数の画像を連続撮影する場合、その撮影中に動く被写体が含まれるか否かや、視差の大きく異なる被写体が含まれるか否か等を判断することは困難である。
【００７５】
［３．本発明の画像処理装置の構成例について］
次に、上述の問題点を解決し、撮影画像を解析して３次元画像表示用画像としての適正についての判定処理を行う本発明の画像処理装置の実施例について説明する。本発明の一実施例に係る画像処理装置は、撮影画像に基づいて生成される合成画像の３次元画像としての適正を判定する。例えば画像に含まれる動被写体の有無等を判別して３次元画像としての画像評価を行い評価結果に基づく処理、例えば、メディアに対する画像記録の実行制御や、ユーザに対する警告を行う。以下、本発明の一実施例に係る画像処理装置の構成例および処理例について説明する。
【００７６】
図１０を参照して、本発明の画像処理装置の一実施例である撮像装置２００の構成例について説明する。
図１０に示す撮像装置２００は、先に図１を参照して説明したカメラ１０に相当し、例えばユーザが手に持ち、例えばパノラマ撮影モードなどのモード設定を行って複数の画像を連続撮影することが可能な構成を持つ。
【００７７】
被写体からの光はレンズ系２０１を経て撮像素子２０２に入射する．撮像素子２０２は例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサによって構成される。
【００７８】
撮像素子２０２に入射した被写体像は、撮像素子２０２によって電気信号に変換される。なお、図示しないが、撮像素子２０２は所定の信号処理回路を有し、信号処理回路において変換された電気信号をさらにデジタル画像データに変換して、画像信号処理部２０３に供給する。
【００７９】
画像信号処理部２０３では、ガンマ補正や輪郭強調補正等の画像信号処理を行い、信号処理結果としての画像信号を表示部２０４に表示する。
さらに、画像信号処理部２０３の処理結果としての画像信号は、
合成処理に適用するための画像メモリである画像メモリ（合成処理用）２０５、
連続撮影された各画像間の移動量を検出するための画像メモリである画像メモリ（移動量検出用）２０６、
各画像間の移動量を算出する移動量算出部２０７、
これらの各部に提供される。
【００８０】
移動量検出部２０７は、画像信号処理部２０３から供給される画像信号とともに、画像メモリ（移動量検出用）２０６に保存された１フレーム前の画像を取得し、現在の画像と１フレーム前の画像の移動量を検出する。例えば連続して撮影された２つの画像を構成する画素間のマッチング処理、すなわち同一被写体の撮影領域を判別するマッチング処理を実行して、各画像間での移動した画素数を算出するものである。
【００８１】
なお、移動量検出部２０７は、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）と、画像の分割領域としてのブロック単位、あるいは画素単位の移動量を示すブロック対応の動きベクトルを算出する。
【００８２】
なお、ブロックの設定としては様々な設定が可能であり１画素単位やｎ×ｍ画素単位のブロック毎に移動量を算出する。なお、以下の説明では、１画素もブロックの概念に含まれるものとして説明する。すなわち、ブロック対応のベクトルとは、１つの画像フレームを分割した複数画素からなる分割領域対応のベクトル、または１画素単位の画素対応のベクトルである。
【００８３】
移動量検出部２０７は、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）と、画像の分割領域あるいは画素単位の移動量を示すブロック対応の動きベクトルを移動量メモリ２０８に記録する。なお、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）は、カメラ移動に伴って発生する画像全体の動きに対応する動きベクトルである。
【００８４】
移動量検出部２０７は、例えば移動画素数と移動方向を有するベクトル情報を、画像単位およびブロック単位で算出したマップ、すなわち動きベクトルマップを移動量情報として生成する。移動量検出部２０７は、例えば画像ｎの移動量を算出する場合、画像ｎと、先行画像ｎ−１との比較を実行する。検出された移動量は画像ｎに対応する移動量として移動量メモリ２０８に格納する。なお、移動量検出部２０７の検出する移動量としてのベクトル情報（動きベクトルマップ）の例については後段で詳細に説明する。
【００８５】
画像メモリ（合成処理用）２０５は、連続撮影された画像の合成処理、すなわちパノラマ画像を生成するための画像を保存するメモリである。この画像メモリ（合成処理用）２０５は、パノラマ撮影モードで撮影された複数の画像すべてを保存する構成としてもよいが、例えば画像の端部を切り落とし、パノラマ画像の生成に必要となる短冊領域を確保できるような画像の中央領域のみを選択して保存しておく設定としてもよい。このような設定とすることで、必要とするメモリ容量を削減することが可能となる。
【００８６】
撮影終了後、画像合成部２１０は、画像メモリ（合成処理用）２０５から画像を取り出して短冊領域を切り出して連結する画像合成処理を実行し、左目用合成画像（左目用パノラマ画像）と、右目用合成画像（右目用パノラマ画像）を生成する。
【００８７】
画像合成部２１０は、撮影終了後に、画像メモリ(合成処理用)２０５から撮影中に保存された複数の画像（あるいは部分画像）とともに、移動量メモリ２０８に保存された各画像対応の移動量、さらにメモリ２０９から左目用画像短冊と右目用画像短冊の設定位置を決定するためのオフセット情報等、各種パラメータを入力する。
【００８８】
画像合成部２１０は、これらの入力情報を用いて連続して撮影された画像に左目用画像短冊と右目用画像短冊を設定し、これらを切り出して連結合成する処理を実行して左目用合成画像（例えば左目用パノラマ画像）と、右目用合成画像（例えば右目用パノラマ画像）を生成する。なお、画像合成部２１０は画像合成部２１０の生成した合成画像に含まれる各撮影画像の短冊領域情報をメモリ２０９に記録する。
【００８９】
画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適した画像であるか否かの評価を実行する。画像評価部２１１は、短冊領域情報をメモリ２０９から取得し、さらに、移動量検出部２０７の生成した移動量情報（動きベクトル情報）を移動量メモリ２０８から取得して、画像合成部２１０の生成した画像が３次元画像表示に適した画像であるか否かの評価を実行する。
【００９０】
画像評価部２１１は、例えば画像合成部２１０の生成した左目用合成画像と、右目用合成画像の各画像に含まれる動く被写体の量を解析する。また、画像合成部２１０の生成した左目用合成画像と、右目用合成画像の各画像に含まれる被写体の視差の範囲等を解析して、画像合成部２１０の生成した画像が３次元画像としての適正を有するか雛かを判定する。
【００９１】
先に図８を参照して説明したように、左目用画像と、右目用画像に動被写体が含まれる場合、動被写体の視差が正しく設定されず、３次元画像表示が正しく行なえない。
また、先に図９を参照して説明したように、左目用画像と右目用画像に含まれる被写体の視差の範囲が大きすぎる、すなわち、画像の一部に「視差が大きく異なる被写体」が含まれる場合には、遠景または近景の少なくとも一方の画像の連結部分に不連続な画像などの不具合が発生する。
【００９２】
画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像について、移動量検出部２０７の生成した移動量情報（動きベクトル情報）を適用して動被写体や視差範囲を解析する。さらに、予め設定済みの画像評価判定情報（例えば閾値）をメモリ２０９から取得して、画像の解析情報と判定情報（閾値）との比較を実行して、画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適する画像であるか否かを判定する。
【００９３】
例えば判定結果が、Ｙｅｓ、すなわち画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適する画像であると判定した場合は、その画像を記録部２１２に記録する。
一方、判定結果が、Ｎｏ、すなわち画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適さない画像であると判定した場合は、出力部２０４に警告メッセージの表示または警告音の出力等を実行する。
この警告に対してユーザが記録を要求した場合は、記録部２１２に記録される。ユーザが記録を要求しない場合は、記録処理は停止される。例えば、ユーザはその後、撮影のやり直しを行うことができる。
なお、具体的な評価処理例については後段で詳細に説明する。
【００９４】
記録部（記録メディア）２１２に対する画像記録処理に際しては、例えば各画像についてＪＰＥＧ等の圧縮処理を行った後、記録される。
また、画像評価部２１１の生成した画像評価結果についても画像対応の属性情報（メタデータ）としてメディアに記録する構成としてもよい。この場合、例えば動被写体の有無、動被写体の位置、あるいは画像に対する動被写体の占有率などの情報、さらに画像に含まれる視差の範囲情報などの詳細情報が記録される。さらに、これらの詳細情報に基づく評価値、例えば評価の高い順に（Ｓ，Ａ，Ｂ，Ｃ，Ｄ）などの評価値を示すランキング情報を設定して記録する構成としてもよい。
【００９５】
評価情報を画像対応の属性情報（メタデータ）として記録することで、例えば３Ｄ画像表示を実行するＰＣ等の表示装置において、メタデータを読み取って、画像に含まれる動被写体の位置情報等を得て、その動被写体に対する画像補正処理等により３Ｄ画像としての不自然さを解消するといった処理を行うことが可能となる。
【００９６】
このように、記録部（記録メディア）２１２は、画像合成部２１０において合成された合成画像、すなわち、左目用合成画像（左目用パノラマ画像）と、右目用合成画像（右目用パノラマ画像を保存し、さらに、画像評価部２１１の生成した画像評価情報を画像の属性情報（メタデータ）として記録する。
【００９７】
記録部（記録メディア）２１２は、デジタル信号を記録可能な記録媒体であれば、どのような記録媒体でも良く、例えばハードディスク、光磁気ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＭＤ（Ｍｉｎｉ Ｄｉｓｋ ）、半導体メモリ、磁気テープといった記録媒体を用いることができる。
【００９８】
なお、図１０には示していないが、図１０に示す構成以外に撮像装置２００はユーザによる操作の可能なシャッターや、モード設定処理などの各種入力を行なうための入力操作部、さらに、撮像装置２００において実行される処理の制御を行う制御部や、制御部他の各構成部での処理のプログラム、パラメータを記録した記憶部（メモリ）等を有する。
【００９９】
図１０に示す撮像装置２００の各構成部の処理やデータ入出力は、撮像装置２００内の制御部の制御に従って行われる。制御部は、撮像装置２００内のメモリに予め格納されたプログラムを読み出して、プログラムに従って、撮影画像の取得、データ処理、合成画像の生成、生成した合成画像の記録処理、あるいは表示処理等、撮像装置２００において実行される処理の全般的な制御を実行する。
【０１００】
［４．画像撮影および画像処理シーケンスについて］
次に、図１１に示すフローチャートを参照して本発明の画像処理装置の実行する処理シーケンスの一例について説明する。
図１１に示すフローチャートに従った処理は、例えば図１０に示す撮像装置２００内の制御部の制御下で実行される。
図１１に示すフローチャートの各ステップの処理について説明する。
まず、画像処理装置（例えば撮像装置２００）は電源ＯＮにより、ハードウェアの診断や初期化を行った後、ステップＳ１０１へ移行する。
【０１０１】
ステップＳ１０１では、各種の撮影パラメータを計算する。このステップＳ１０１では、例えば露出計により識別された明るさに関する情報を取得し、絞り値やシャッター速度等の撮影パラメータを計算する。
【０１０２】
次にステップＳ１０２へ移行し、制御部は、ユーザによるシャッター操作が行われたか否かを判定する。なお、ここでは、既に３Ｄ画像パノラマ撮影モードに設定されているものとする。
３Ｄ画像パノラマ撮影モードではユーザのシャッター操作により複数毎の画像を連続撮影し、撮影画像から左目用画像短冊と右目用画像短冊を切り出して３Ｄ画像表示に適用可能な左目用合成画像（パノラマ画像）と右目用合成画像（パノラマ画像）を生成して記録する処理が実行される。
【０１０３】
ステップＳ１０２において、制御部がユーザによるシャッター操作の検出がなされない場合は、ステップＳ１０１に戻る。
一方、ステップＳ１０２において、制御部がユーザによるシャッター操作があったことを検出するとステップＳ１０３に進む。
ステップＳ１０３では、制御部は、ステップＳ１０１において計算したパラメータに基づく制御を行い撮影処理を開始する。具体的には、例えば、図１０に示すレンズ系２０１の絞り駆動部の調整等を実行して、画像の撮影を開始する。
【０１０４】
画像の撮影処理は、連続的に複数の画像を撮影する処理として行われる。図１０に示す撮像素子２０２から連続撮影画像各々に対応する電気信号が、順次読み出されて画像信号処理部２０３においてガンマ補正や輪郭強調補正等の処理が実行され、処理結果が表示部２０４に表示されるとともに、各メモリ２０５，２０６、移動量検出部２０７に順次、供給される。
【０１０５】
次にステップＳ１０４に移行し、画像間移動量を算出する。この処理は、図１０に示す移動量検出部２０７の処理である。
移動量検出部２０７は、画像信号処理部２０３から供給される画像信号とともに、画像メモリ（移動量検出用）２０６に保存された１フレーム前の画像を取得し、現在の画像と１フレーム前の画像の移動量を検出する。
【０１０６】
なお、ここで算出する移動量は、前述したように例えば連続して撮影された２つの画像を構成する画素間のマッチング処理、すなわち同一被写体の撮影領域を判別するマッチング処理を実行して、各画像間での移動した画素数を算出する。前述したように、移動量検出部２０７は、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）と、画像の分割領域あるいは画素単位の移動量を示すブロック対応の動きベクトルを算出し、算出したこれらの移動量情報を移動量メモリ２０８に記録する。なお、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）は、カメラ移動に伴って発生する画像全体の動きに対応する動きベクトルである。
【０１０７】
なお移動量は例えば移動画素数として算出する。画像ｎの移動量は、画像ｎと、先行画像ｎ−１との比較により実行し、検出された移動量（画素数）を画像ｎに対応する移動量として移動量メモリ２０８に格納する。
この移動量保存処理がステップＳ１０５の保存処理に対応する。ステップＳ１０５では、ステップＳ１０４で検出した各画像の移動量を各画像のＩＤと関連付けて、図１０に示す移動量メモリ２０８に保存する。
【０１０８】
次に、ステップＳ１０６に移行し、ステップＳ１０３において撮影され画像信号処理部２０３において処理された画像を図１０に示す画像メモリ（合成処理用）２０５に格納する。なお、前述したように、画像メモリ（合成処理用）２０５は、パノラマ撮影モード（または３Ｄ画像パノラマ撮影モード）で撮影された例えばｎ＋１枚の画像のすべての画像を保存する構成としてもよいが、例えば画像の端部を切り落とし、パノラマ画像（３Ｄパノラマ画像）の生成に必要となる短冊領域を確保できるような画像の中央領域のみを選択して保存しておく設定としてもよい。このような設定とすることで、必要とするメモリ容量を削減することが可能となる。なお、画像メモリ（合成処理用）２０５には、ＪＰＥＧ等の圧縮処理を行った後、保存する構成としてもよい。
【０１０９】
次にステップＳ１０７に移行し、制御部は、ユーザによるシャッターの押圧が継続しているか否を判定する。すなわち、撮影終了のタイミングを判別する。
ユーザによるシャッターの押圧が継続している場合は、撮影を継続させるべくステップＳ１０３へ戻り、被写体の撮像を繰り返す。
一方、ステップＳ１０７において、シャッターの押圧が終了していると判断すると、撮影の終了動作へ移行すべくステップＳ１０８へ進む。
【０１１０】
パノラマ撮影モードでの連続画像撮影が終了すると、ステップＳ１０８に進む。
ステップＳ１０８において、画像合成部２１０は、３Ｄ画像として成立する左目用画像と右目用画像の生成条件を満たす短冊領域のオフセット条件、すなわち許容オフセット量をメモリ２０９から取得する。あるいはメモリ２０９から許容オフセット量を算出するために必要なパラメータを取得して許容オフセット量を算出する。
【０１１１】
次に、ステップＳ１０９に進み、撮影画像を利用した第１画像合成処理を行う。さらに、ステップＳ１１０に進み、撮影画像を利用した第２画像合成処理を行う。
これらステップＳ１０９〜Ｓ１１０の画像合成処理は、３Ｄ画像表示に適用する左目用合成画像と右目用合成画像の生成処理である。合成画像は例えばパノラマ画像として生成される。
【０１１２】
前述したように、左目用合成画像は、左目用画像短冊のみを抽出して連結する合成処理により生成される。右目用合成画像は、右目用画像短冊のみを抽出して連結する合成処理により生成される。これらの合成処理の結果、例えば図７（２ａ），（２ｂ）に示す２つのパノラマ画像が生成されることになる。
【０１１３】
ステップＳ１０９〜Ｓ１１０の画像合成処理は、ステップＳ１０２のシャッター押下判定がＹｅｓとなってからステップＳ１０７でシャッター押下終了が確認されるまでの連続画像撮影中に画像メモリ（合成処理用）２０５に保存された複数の画像（または部分画像）を利用して実行される。
【０１１４】
この合成処理に際して、画像合成部２１０は、複数の画像各々に関連づけられた移動量を移動量メモリ２０８から取得し、さらに、メモリ２０９から許容オフセット量を取得する。あるいはメモリ２０９から許容オフセット量を算出するために必要なパラメータを取得して許容オフセット量を算出する。
【０１１５】
画像合成部２１０は、移動量と許容オフセット量に基づいて各画像の切り出し領域としての短冊領域を決定する。
すなわち、左目用合成画像を構成するための左目画像用短冊と右目用合成画像を構成するための右目画像用短冊の各短冊領域を決定する。
左目用合成画像を構成するための左目画像用短冊は、画像中央から右側へ所定量オフセットした位置に設定する。
右目用合成画像を構成するための右目画像用短冊は、画像中央から左側へ所定量オフセットした位置に設定する。
【０１１６】
画像合成部２１０は、この短冊領域の設定処理に際して、左目用画像と右目用画像の生成条件を満たす既定のオフセット条件を満たすように短冊領域を決定する。すなわちステップＳ１０８においてメモリから取得またはメモリから取得したパラメータに基づいて算出したオフセット許容量を満たすように短冊のオフセットを設定して画像切り出しを実行する。
【０１１７】
画像合成部２１０は、各画像について左目用および右目用画像短冊を切り出して連結することで画像合成を行い、左目用合成画像と右目用合成画像を生成する。
なお、画像メモリ（合成処理用）２０５に保存された画像（または部分画像）がＪＰＥＧ等で圧縮されたデータである場合は、処理速度の高速化を図るため、ステップＳ１０４で求められた画像間の移動量に基づいて、ＪＰＥＧ等の圧縮を解凍する画像領域を、合成画像として利用する短冊領域のみに設定する適応的な解凍処理を実行する構成としてもよい。
【０１１８】
ステップＳ１０９、Ｓ１１０の処理によって、３Ｄ画像表示に適用する左目用合成画像と右目用合成画像が生成される。
【０１１９】
次にステップＳ１１１に移行し、ステップＳ１０９、Ｓ１１０で合成され左目用合成画像と右目用合成画像の画像評価処理を実行する。
この処理は、図１０に示す画像評価部２１１の処理である。画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適した画像であるか否かの評価を実行する。
具体的には、画像合成部２１０の生成した左目用合成画像と、右目用合成画像の各画像に含まれる動く被写体の量や、各画像に含まれる被写体の視差の範囲を解析する。
【０１２０】
先に図８を参照して説明したように、左目用画像と、右目用画像に動被写体が含まれる場合、動被写体の視差が正しく設定されず、３次元画像表示が正しく行なえない。
また、先に図９を参照して説明したように、左目用画像と右目用画像に含まれる被写体の視差の範囲が多きすぎる場合は、遠景または近景の少なくとも一方の画像の連結部分に不連続な画像などの不具合が発生する。
【０１２１】
画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像について動被写体や視差範囲を解析し、例えば、予め設定済みの画像評価判定情報（例えば閾値）をメモリ２０９から取得して、画像の解析情報と判定情報（閾値）との比較を実行して、画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適する画像であるか否かを判定する。
【０１２２】
具体的には、画像評価部２１１は、画像合成部２１０の生成した合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行し、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも上記のブロック面積（Ｓ）、または移動量加算値（Ｌ）いずれかの値と予め規定した閾値を比較して、ブロック面積（Ｓ）が予め規定した面積閾値以上、または動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行する。なお、この処理の詳細については後述する。
【０１２３】
ステップＳ１１２において、例えば判定結果が、Ｙｅｓ、すなわち、
画像評価値と閾値（画像評価判定情報）との比較に基づいて、画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適する画像であると判定した場合（ステップＳ１１２の判定がＹｅｓ）は、ステップＳ１１５に進み、画像を記録部２１２に記録する。
【０１２４】
一方、ステップＳ１１２において、例えば判定結果がＮｏ、すなわち、
画像評価値と閾値（画像評価判定情報）との比較に基づいて、画像合成部２１０の生成した左目用合成画像と、右目用合成画像が３次元画像表示に適さない画像であると判定（ステップＳ１１２の判定がＮｏ）した場合は、ステップＳ１１３に進む。
【０１２５】
ステップＳ１１３では、図１０に示す出力部２０４に警告メッセージの表示または警告音の出力等を実行する。
ステップＳ１１４において、この警告に対してユーザが記録を要求した場合（ステップＳ１１４の判定がＹｅｓ）は、ステップＳ１１５に進み、画像合成部２１０の生成した左目用合成画像と、右目用合成画像を記録部２１２に記録する。
【０１２６】
ステップＳ１１４において、警告に対してユーザが記録を要求しない場合（ステップＳ１１４の判定がＮｏ）は、記録処理は停止され、ステップＳ１０１に戻り、即座に撮影可能モードへの移行処理が実行される。例えば、ユーザはその後、撮影のやり直しを行うことができる。
【０１２７】
なお、ステップＳ１１３〜Ｓ１１４の判定処理やステップＳ１１５の記録処理の制御は、例えば画像処理装置の制御部の処理によって実行される。制御部は、画像評価部２１１の合成画像評価結果が３次元画像としての適正がないとの判定である場合、出力部２０４に対する警告出力を実行する。さらに、合成画像の記録部（記録メディア）２１２に対する記録処理を保留し、警告出力に応じたユーザからの記録要求の入力を条件として記録処理を実行する制御を行う。
【０１２８】
なお、ステップＳ１１５における記録部（記録メディア）２１２に対するデータ記録処理に際しては、前述したように、例えば各画像についてＪＰＥＧ等の圧縮処理を行った後、記録される。
【０１２９】
また、画像評価部２１１の生成した画像評価結果についても画像対応の属性情報（メタデータ）として記録する処理が行われる。例えば動被写体の有無、動被写体の位置、あるいは画像に対する動被写体の占有率などの情報、さらに画像に含まれる視差の範囲情報などの詳細情報が記録される。さらに、これらの詳細情報に基づく評価値、例えば評価の高い順に（Ｓ，Ａ，Ｂ，Ｃ，Ｄ）などの評価値を示すランキング情報を設定して記録する構成としてもよい。
【０１３０】
このような評価情報を画像対応の属性情報（メタデータ）として記録することで、例えば３Ｄ画像表示を実行するＰＣ等の表示装置において、メタデータを読み取って、例えば画像に含まれる動被写体の位置情報を得て、その動被写体に対する画像補正処理等により３Ｄ画像としての不自然さを解消する処理を行うことが可能となる。
【０１３１】
［５．動きベクトルに基づく３次元画像の適正判定処理の原理について］
次に、動きベクトルに基づく３次元画像の適正判定処理の原理について説明する。
移動量検出部２０７は移動量情報として動きベクトルマップを生成して移動量メモリ２０８に記録する。画像評価部２１１は、この動きベクトルマップを適用して画像評価を実行する。
【０１３２】
図１０に示す画像処理装置（撮像装置２００）内の移動量検出部２０７は、前述したように、画像信号処理部２０３から供給される画像信号とともに、画像メモリ（移動量検出用）２０６に保存された１フレーム前の画像を取得し、現在の画像と１フレーム前の画像の移動量を検出する。移動量検出部２０７は、連続して撮影された２つの画像を構成する画素間のマッチング処理、すなわち同一被写体の撮影領域を判別するマッチング処理を実行して、各画像について、画像単位およびブロック単位の移動画素数と移動方向からなる動きベクトルを検出する。
【０１３３】
このように、移動量検出部２０７は、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）と、画像の分割領域あるいは画素単位の移動量を示すブロック対応の動きベクトルを算出し、算出したこれらの移動量情報を移動量メモリ２０８に記録する。
【０１３４】
移動量検出部２０７は、例えば移動量情報として動きベクトルマップを生成する。
すなわち、画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）と、画像の分割領域としてのブロック単位（画素単位も含む）の移動量を示すブロック対応の動きベクトルをマップ化した動きベクトルマップを生成する。
動きベクトルマップは、
（ａ）画像の識別情報である画像ＩＤと画像全体の動きに対応する動きベクトル（ＧＭＶ：グローバル・モーション・ベクトル）との対応データ、
（ｂ）画像内のプロック位置を示すブロック位置情報（例えば座標情報）と各ブロック対応の動きベクトルとの対応データ、
これらの対応データを有する情報として構成される。
【０１３５】
移動量検出部は、上記情報を持つ動きベクトルマップを各画像対応の移動量情報として生成し、移動量メモリ２０８に格納する。
画像評価部２１１は、この動きベクトルマップを移動量メモリから取得して画像の評価、すなわち３次元画像としての適正についての評価を実行する。
画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像の各々について評価処理を実行する。
【０１３６】
画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像の各々について、３次元画像としての適正を評価する。
なお、適正評価に際して、画像評価部２１１は、合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析を行う。
【０１３７】
画像評価部２１１は、具体的には、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも上記のブロック面積（Ｓ）、または移動量加算値（Ｌ）いずれかの値と予め規定した閾値を比較して、ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する。
【０１３８】
この適正判定処理の原理について、図１２〜図１４を参照して説明する。
（１）動きベクトルが画像内でほぼ一様となる場合
（２）動きベクトルが画像内で非一様となる場合
これらの場合について、順次説明する。
（１）動きベクトルが画像内でほぼ一様となる場合は、その画像は３次元画像の適正を有する。一方、（２）動きベクトルが画像内で非一様となる場合は、その画像は３次元画像の適正を有さない場合がある。
図１２〜図１４を参照して、このような適正判定処理が成立する原理について説明する。
【０１３９】
（１）動きベクトルが画面内で一様となる場合
図１２を参照して、動きベクトルが画面内で一様となる場合の動きベクトルマップの構成例と、３次元画像としての適正について説明する。
図１２には、以下の（ａ）〜（ｄ）の図を示している。
（ａ）画像撮影処理
（ｂ）時間：Ｔ＝ｔ０の撮影画像
（ｃ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
（ｄ）動きベクトルマップの構成情報
【０１４０】
（ａ）画像撮影処理には、カメラを移動させて画像を撮影した例を示している。
すなわち、時間Ｔ＝ｔ０まず、最初の画像を撮影し、その後、カメラを矢印３０１に沿って移動させて、時間Ｔ＝ｔ０＋Δｔにおいて次の画像を撮影したことを説明する図である。
このようなカメラを移動させながらの連続撮影処理によって、図１２（ｂ），（ｃ）の２つの画像が取得される。すなわち、
（ｂ）時間：Ｔ＝ｔ０の撮影画像
（ｃ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
これらの２つの画像である。
【０１４１】
移動量検出部２０７は、例えばこの２つの画像を用いて移動量を検出する。移動量の検出処理として、２枚の画像から２画像間の動きベクトルを求める。その方法としては様々な方法があるが、画像領域を分割してブロックごとに動きベクトルを求める方法について説明する。なお画像全体の動きに対応するグローバル・モーション・ベクトル（ＧＭＶ）は、例えばこれらのブロック対応の動きベクトルの平均値等から算出することができる。
【０１４２】
移動量検出部２０７は、一枚目の画像を基準に二枚目の画像で被写体がどれだけ移動したか、動きベクトルを計算する。この処理によって、例えば図１２（ｄ）のようなベクトル群が得られる。図１２（ｄ）に示す矢印は、ブロック対応の動きベクトルを示している。
【０１４３】
この例では、画像内に動被写体がないため、すべての動きベクトルが同じ向きと、同じ大きさを有している。これらのベクトルはカメラの動きに起因するものであり、画像全体に対応するベクトルであるグローバル・モーション・ベクトル（ＧＭＶ）に等しい一様なベクトルである。
【０１４４】
画像合成部２１０は、このベクトルを適用して２つの画像の位置合わせを行い、繋ぎ合せて左目用合成画像と右目用合成画像を生成することができる。
図１２に示すような設定、すなわちブロックベクトルのほぼすべてが等しくＧＭＶに等しい場合、合成画像における動被写体に起因する視差上の問題は発生しない。すなわち動被写体に起因する誤った視差の設定された被写体が発生しない。
【０１４５】
図１２（ｄ）のような一様なベクトル群からなるベクトルマップが得られた場合、画像評価部２１１は、画像内に動被写体が存在しないと判定することができる。また、
非常に近い被写体と遠くの被写体が共存、すなわち、画像の一部に「視差が大きく異なる被写体」が含れないと判定することができる。なおこの理由については、図１４を参照して後段で説明する。
なお、合成画像が３次元画像として適正であると判断した場合は、ユーザに対する警告出力等の処理を実行することなく、そのままメディアに対する記録を行うことになる。
【０１４６】
なお、画像評価部２１１は、移動量検出部２０７が生成した各撮影画像対応の動きベクトルマップ（例えば図１２（ｄ））またはその生成情報を移動量メモリ２０８から取得して、さらに後段（６．画像評価部における画像評価処理の詳細について）で説明する合成画像（左目用合成画像または右目用合成画像）に対応する「動被写体可視化画像」を生成して各合成画像についての３次元画像としての適正を評価する処理を実行することになる。
この処理の詳細については、後段（６．画像評価部における画像評価処理の詳細について）において説明する。
【０１４７】
（２）動きベクトルが画面内で非一様となる場合
次に、図１３を参照して、動きベクトルが画面内で非一様となる場合の動きベクトルマップの構成例と、３次元画像としての適正について説明する。
図１３には、図１２と同様、以下の（ａ）〜（ｄ）の図を示している。
（ａ）画像撮影処理
（ｂ）時間：Ｔ＝ｔ０の撮影画像
（ｃ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
（ｄ）動きベクトルマップの構成情報
【０１４８】
（ａ）画像撮影処理には、カメラを移動させて画像を撮影した例を示している。
すなわち、時間Ｔ＝ｔ０まず、最初の画像を撮影し、その後、カメラを矢印３０１に沿って移動させて、時間Ｔ＝ｔ０＋Δｔにおいて次の画像を撮影したことを説明する図である。
この例では、画像内に動被写体である歩行者３０２が含まれる。この
歩行者３０２ｐは、時間：Ｔ＝ｔ０の撮影画像に含まれる歩行者である。
歩行者３０２ｑは、時間：Ｔ＝ｔ０＋Δｔの撮影画像に含まれる歩行者である。
これらの歩行者は同一の歩行者であり時間Δｔの間に移動している動被写体である。
【０１４９】
このようなカメラを移動させながらの連続撮影処理によって、図１３（ｂ），（ｃ）の２つの画像が取得される。すなわち、
（ｂ）時間：Ｔ＝ｔ０の撮影画像
（ｃ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
これらの２つの画像である。
【０１５０】
移動量検出部２０７は、例えばこの２つの画像を用いて移動量を検出する。移動量の検出処理として、２枚の画像から２画像間の動きベクトルを求める。
この処理によって、例えば図１３（ｄ）のようなベクトル群が得られる。図１３（ｄ）に示す矢印は、ブロック対応の動きベクトルを示している。
【０１５１】
この図１３（ｄ）に示すブロック対応のベクトル群は、先に説明した図１２（ｄ）のブロック対応ベクトルとは異なり、一様とはならない。
すなわち、動被写体である歩行者３０２の撮影されている画像部分の動きベクトルは、カメラの動きに、さらに動被写体の動きが反映されたベクトルとなる。
【０１５２】
図１３（ｄ）上の点線で示すベクトル群は、動被写体を含まない画像領域のブロック対応の動きベクトルであり、カメラの動きのみに起因する動きベクトルであるが、実線で示す動きベクトルは、カメラの動きに、さらに動被写体の動きが反映されたベクトルである。
このように画像内に動被写体が含まれる場合、ブロック対応の動きベクトルは一様とはならない。
【０１５３】
なお、図１３に示す例は、撮影画像内に動被写体が含まれる場合の動きベクトルの非一様性が発生する例を説明しているが、例えば、先に図９を参照して説明した画像例、すなわち、非常に近い被写体と遠くの被写体が同時に撮像された場合、すなわち、画像の一部に「視差が大きく異なる被写体」が含まれる場合も、２つの画像間の動きベクトルの非一様性が発生する。
なぜなら、近くの被写体の視差による移動量は、遠くの被写体の視差による移動量より大きい（異なる）からである。
【０１５４】
この例について図１４を参照して説明する。
図１４には、以下の（ａ）〜（ｃ）の図を示している。
（ａ）時間：Ｔ＝ｔ０の撮影画像
（ｂ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
（ｃ）動きベクトルマップの構成情報
【０１５５】
（ａ）時間：Ｔ＝ｔ０の撮影画像と、（ｂ）時間：Ｔ＝ｔ０＋Δｔの撮影画像はカメラを移動させて連続撮影した画像である。
この画像にはカメラに極めて近い近距離被写体（花）３０５と、遠距離被写体が含まれる。
【０１５６】
カメラは近距離被写体（花）３０５の間近に設定して撮影している。そのため、カメラを移動させると、近距離被写体（花）３０５の撮影画像中の位置は大きくずれることになる。この結果、（ａ）時間：Ｔ＝ｔ０の撮影画像と、（ｂ）時間：Ｔ＝ｔ０＋Δｔの撮影画像中の近距離被写体（花）３０５の画像位置が大きく異なる。
【０１５７】
このようなカメラを移動させながらの連続撮影処理によって、図１４（ａ），（ｂ）の２つの画像が取得される。すなわち、
（ａ）時間：Ｔ＝ｔ０の撮影画像
（ｂ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
これらの２つの画像である。
【０１５８】
移動量検出部２０７は、例えばこの２つの画像を用いて移動量を検出する。移動量の検出処理として、２枚の画像から２画像間の動きベクトルを求める。
この処理によって、例えば図１４（ｃ）のようなベクトル群が得られる。図１４（ｃ）に示す矢印は、ブロック対応の動きベクトルを示している。
【０１５９】
この図１４（ｃ）に示すブロック対応のベクトル群は、先に説明した図１２（ｄ）のブロック対応ベクトルとは異なり、一様とはならない。
この撮影画像には動被写体は含まれず、すべて静止被写体であるが、近距離被写体（花）３０５の撮影されている画像部分のブロック対応動きベクトルは、その他の遠距離被写体部分の動きベクトルよりはるかに大きくなる。
これは、近距離被写体はカメラの動きによる画像内での動き量が大きくなるためである。
【０１６０】
このように画像内に非常に近い被写体と遠くの被写体が同時に撮像された場合には、動きベクトルが非一様となる。
【０１６１】
図１３（ｄ）または、図１４（ｃ）のような一様でないベクトル群からなるベクトルマップが得られた場合、画像評価部２１１は、画像内に「動被写体が存在する」、あるいは画像内に非常に近い被写体と遠くの被写体が含まれ、画像の一部に「視差が大きく異なる被写体が含まれる」と判断することができる。
なお、画像評価部２１１は、一様でないベクトル群からなるベクトルマップに基づいてブロック対応差分ベクトルを生成し、生成したブロック対応差分ベクトルに基づいて最終的な評価処理を行う。
【０１６２】
画像評価部２１１は、移動量検出部２０７が生成した各撮影画像対応の動きベクトルマップ（例えば図１２（ｄ））またはその生成情報を移動量メモリ２０８から取得して、合成画像（左目用合成画像または右目用合成画像）に対応する「動被写体可視化画像」を生成して各合成画像についての３次元画像としての適正を評価する処理を実行する。この処理については、後段で詳細に説明する。
【０１６３】
画像評価部２１１は、画像合成部２１０の生成した合成画像（左目用合成画像または右目用合成画像）が３次元画像として適正でないと判定した場合は、ユーザに対する警告出力等の処理を実行する。
【０１６４】
［６．画像評価部における画像評価処理の詳細について］
上述したように、画像評価部２１１は、例えば動きベクトルマップを取得して、画像合成部２１０の生成した画像が３次元画像表示に適正な画像であるか適正でない画像であるかを判定する。
【０１６５】
この画像の適正度判定は、上述したように動きベクトルの一様性から判定することができる。以下では、画像評価部２１１の実行する動きベクトルの一様性に基づく３次元画像としての適正を判定するアルゴリズムの一例ついて説明する。
【０１６６】
画像評価部２１１は、動きベクトルの一様性に基づく判定処理を行うが、この判定処理は、具体的には、３Ｄ画像の画質に強く影響を及ぼす「動被写体」または「視差が大きく異なる被写体」が画像に含まれるか否かの判処理に相当する。この判定アルゴリズムとしては、様々な方法が適用可能である。
以下、その一例として、画像全体の動きに対応するグローバル・モーション・ベクトル（ＧＭＶ）と異なるブロック対応ベクトルをもつ領域の被写体を「動被写体」または「視差が大きく異なる被写体」が含まれると判断する手法について説明する。
【０１６７】
「動被写体」または「視差が大きく異なる被写体」が３Ｄ画像の画質に与える影響の感じ方は個人差があり、定量的に行うことは難しい。しかしながら定性的には、
（１）「動被写体」または「視差が大きく異なる被写体」が画面に占める面積、
（２）「動被写体」または「視差が大きく異なる被写体」の画面における中心からの距離、
（３）画面中での「動被写体」または「視差が大きく異なる被写体」の移動量、
これらの指標を用いて、画像が３次元画像表示に適正な画像であるか適正でない画像であるかを判定することができる。
【０１６８】
画像評価部２１１は、画像合成部２１０の生成した画像（左目用合成画像、右目用合成画像）と、移動量検出部２０７の生成した動きベクトル情報を利用して上記の各指標を算出し、算出した指標に基づいて、画像合成部２１０の生成した画像が３次元画像としての適正を持つか否かを判定する。なお、判定処理に際しては、例えばメモリ２０９に予め格納した各指標に対応する画像評価判定情報（閾値等）が利用される。
【０１６９】
図１５を参照して、動被写体を含む画像に対する画像評価部２１１の実行する処理例について説明する。なお、以下では、「動被写体」に対する処理例について説明するが、「動被写体」は「視差が大きく異なる被写体」に置き換えても同様の処理が可能である。
【０１７０】
図１５には、以下の図を示している。
（ａ）時間：Ｔ＝ｔ０の撮影画像
（ｂ）時間：Ｔ＝ｔ０＋Δｔの撮影画像
（ｃ）動きベクトルマップの構成情報
（ｄ）動被写体のみの動きベクトル情報
（ｅ）動被写体部分の差分ベクトル（ＧＭＶとの差分）
（ｆ）動被写体領域とベクトルの可視化情報
【０１７１】
連続撮像された複数枚の画像（図１５（ａ），（ｂ））から動きベクトルマップ（図１５（ｃ））が求められる。これは先に図１２他を参照して説明した手法によって、移動量検出部２０７の実行する処理である。
図１５（ｃ）に示す動きベクトルマップから、動被写体領域として判定されたブロックのみを選択したブロック対応動きベクトルは図１５（ｄ）のようなベクトルマップとなる。
【０１７２】
この図１５（ｄ）に示すブロック対応動きベクトルは、
カメラの移動に起因するグローバル・モーション・ベクトル（ＧＭＶ）と、
動被写体の動きに起因する動きベクトル、
これらの加算結果としてのベクトルである。
【０１７３】
３次元画像の画質に影響を与える成分は、背景に対する動被写体の動きであるので、動被写体の動きベクトルから、グローバル・モーション・ベクトル（ＧＭＶ）を減算する。この減算結果として得られるブロック対応差分ベクトルを「真の動きベクトル」と呼ぶ。
図１５（ｅ）に動被写体の動きベクトルからグローバル・モーション・ベクトルを減算したブロック対応差分ベクトルを示す。このブロック対応差分ベクトルとしての「真の動きベクトル」が重要となる。
【０１７４】
図１５（ｅ）のブロック対応差分ベクトル（「真の動きベクトル」）が設定されるブロックは、ＧＭＶと異なる動きベクトルが検出されたブロックとなる。このブロック領域を「動被写体」検出領域であると判定することができる。
【０１７５】
画像評価部２１１は、画像合成部２１０の生成した合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する。
【０１７６】
図１５（ｆ）は、図１５（ｅ）のブロック対応差分ベクトルから、予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックと、そのブロック対応差分ベクトルのみを示した図である。
【０１７７】
図１５（ｆ）に示すブロックを「動被写体検出領域３５１」として、他の領域と区別して示し、「動被写体検出領域３５１」の「真の動きベクトル３５２」（＝動被写体の動きベクトルからグローバル・モーション・ベクトルを減算したブロック対応差分ベクトル）を示すことで、動被写体情報を可視化した「動被写体可視化画像」を生成することができる。
【０１７８】
画像評価部２１１は、この「動被写体可視化画像」を生成し、この情報を適用して画像評価、すなわち、画像合成部２１０の生成した合成画像（左目用合成画像や右目用合成画像）が３次元画像としての適正を有するか否かを判定することができる。なお、この情報は、例えば出力部２０４に表示することも可能であり、ユーザが３次元画像としての適正を阻害する問題領域としての例えば動被写体の領域を確認することが可能となる。
【０１７９】
画像評価部２１１は、画像合成部２１０の生成した左目用合成画像と、右目用合成画像の各々についての３次元画像としての適正評価処理に際して、合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトル（図１５（ｅ），（ｆ））の解析を行う。この処理に際して、例えば「動被写体可視化画像」を適用した処理を行う。
【０１８０】
具体的には、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも上記のブロック面積（Ｓ）、または移動量加算値（Ｌ）いずれかの値と予め規定した閾値を比較して、ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する。
【０１８１】
前述したように、３次元画像表示用の左目用画像と右目用画像は画像合成部２１０において、連続撮像画像の中心から左右にオフセットした短冊領域をつなぎ合わせて生成する。
【０１８２】
図１６を参照して「動被写体可視化画像」の生成処理例について説明する。
図１６に示すように、「動被写体可視化画像３６０」は、３次元画像表示用の左目用合成画像と右目用合成画像の生成処理と同様、各合成画像の生成処理に使用した短冊の連結処理によって生成することができる。
図１６の上段に示す画像（ｆ１）〜（ｆｎ）は、画像合成部２１０が左目用合成画像または右目用合成画像の合成画像生成処理に用いた撮影画像を示しておいる。
左目用合成画像または右目用合成画像は、これらの各撮影画像（ｆ１）〜（ｆｎ）の短冊領域を切り出して連結して生成されている。
【０１８３】
「動被写体可視化画像３６０」は、画像合成部２１０が生成した左目用合成画像または右目用合成画像の合成画像の生成に適用した短冊領域を利用して生成される。
なお、撮影画像（ｆ１）〜（ｆｎ）は、図１５（ｆ）に示す画像に対応する。すなわち、
（ｆ）動被写体領域とベクトルの可視化情報
である。すなわち、先に図１５（ｆ）を参照して説明したように、「動被写体検出領域３５１」の「真の動きベクトル３５２」（＝動被写体の動きベクトルからグローバル・モーション・ベクトルを減算したブロック対応差分ベクトル）を持つ画像である。
【０１８４】
画像評価部２１１は、画像合成部２１０の生成した合成画像に含まれる各撮影画像の短冊領域情報をメモリ２０９から取得し、画像合成部２１０の生成した合成画像に対応する短冊領域単位で、図１５（ｆ）に示す［（ｆ）動被写体領域とベクトルの可視化情報］を生成して、これらを連結して、図１６に示す「動被写体可視化画像３６０」を生成する。
【０１８５】
この図１６に示す「動被写体可視化画像３６０」は、画像合成部２１０の生成した合成画像（左目用合成画像または右目用合成画像）に対応する動被写体可視化画像である。
画像評価部２１１は、この可視化可情報である動被写体可視化画像を適用して画像評価を実行する。なお、図１６に示す動被写体可視化画像は、３Ｄ画像生成に使用した短冊領域内の動被写体検出情報のみを使用した例であるが、短冊領域に限定せず画像全体の動被写体検出情報を使用して、重ね合わせて１枚の動被写体可視化画像を生成してもよい。
【０１８６】
以下、画像評価部２１１において実行する動被写体可視化画像３６０を適用した画像評価処理の具体例について説明する。
前述したように、画像評価部２１１は、画像合成部２１０の生成した画像の評価を以下の指標を算出して実行する。
（１）「動被写体」または「視差が大きく異なる被写体」が画面に占める面積、
（２）「動被写体」または「視差が大きく異なる被写体」の画面における中心からの距離、
（３）画面中での「動被写体」または「視差が大きく異なる被写体」の移動量、
これらの指標を用いて、画像が３次元画像表示に適正な画像であるか適正でない画像であるかを判定する。
以下、図１６に示す動被写体可視化画像３６０を適用してこれらの指標値を算出する処理例について説明する。
【０１８７】
（１）「動被写体」または「視差が大きく異なる被写体」が画面に占める割合を求める処理例
画像評価部２１１は、画像合成部２１０の生成した画像と、移動量検出部２０７の生成した動きベクトル情報を利用して図１６に示す動被写体可視化画像３６０を生成し、この画像を適用して、「動被写体」または「視差が大きく異なる被写体」の面積を求める。
以下の説明では、「動被写体」に対する処理例として説明するが、「視差が大きく異なる被写体」についても同様の処理が適用可能である。
【０１８８】
この処理に際しては、合成処理後の画像サイズに基づく正規化処理を行う。すなわち、正規化により、画像全体に対する動被写体領域の面積の割合を算出する。
画像評価部２１１は、動被写体領域の面積（Ｓ）、すなわち、
「予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）」を以下の式に従って算出する。
【０１８９】
【数１】
・・・（式１）
【０１９０】
上記式（式１）によって算出される値（Ｓ）を動被写体面積と呼ぶ。
なお、上記式において、
ｗは合成後の画像横サイズ、
ｈは画像縦サイズ、
ｐは動被写体検出領域の画素、
である。
つまり、上記式（式１）は、図１６に示す動被写体可視化画像３６０中の「動被写体検出領域３５１」の面積を求める式に相当する。
【０１９１】
なお、合成後画像サイズで正規化をする理由は、動被写体面積と動被写体が画質劣化に与える影響において、画像サイズ依存性をなくすためである。最終画像サイズが大きい場合は、最終画像サイズが小さい場合にくらべて、動被写体による画質劣化はあまり大きくないはずであり、これを反映させるために、動被写体領域面積を画像サイズで正規化する。
【０１９２】
なお、この上記式（式１）によって算出される動被写体面積については、画像評価値として算出する場合は、画像の位置に応じた重みを付けて、評価値を算出する構成としてもよい。この重み設定例については、以下の（２）において説明する。
【０１９３】
（２）「動被写体」または「視差が大きく異なる被写体」の画面における中心からの距離に対する処理例
次に、画像評価部２１１の実行する画像評価において、「動被写体」または「視差が大きく異なる被写体」の画面における中心からの距離に応じて重みを設定する処理例について説明する。
以下の説明では、「動被写体」に対する処理例として説明するが、「視差が大きく異なる被写体」についても同様の処理が適用可能である。
【０１９４】
画像評価部２１１は、画像合成部２１０の生成した画像と、移動量検出部２０７の生成した動きベクトル情報を利用して図１６に示す動被写体可視化画像３６０を生成し、この画像を適用して、「動被写体」の画面における中心からの距離に対する処理を行う。
【０１９５】
人が画像を見る際に、中央付近を主に見るという性質を利用して、画像の位置に応じた重みを付けて、動被写体として検出されたブロックの面積に重み係数を乗算してから、動被写体面積を合計してもよい。重み係数（α＝０〜１）の分布の一例を図１７に示す。図１７に示す例は、合成画像に設定する重み係数を濃淡情報として示した図である。合成画像中の中央付近の重み係数を高くし、画面端に行くにつれて重み係数を減少させる設定とする。重み係数は、例えばα＝１〜０の範囲で設定する。
【０１９６】
例えば、前述の式（式１）によって算出される動被写体面積（Ｓ）について画像評価値として算出する場合は、画像の位置に応じた重みを付けて評価値を算出することができる。動被写体の検出位置に応じて、重み係数：α＝１〜０を乗算して、
ΣαＳ
上記式に従って、画像に対応する動被写体面積に基づく画像評価値を算出することができる。
【０１９７】
（３）画面中での「動被写体」または「視差が大きく異なる被写体」の移動量を算出する処理例、
次に、画像評価部２１１の実行する画像評価において、画面中での「動被写体」または「視差が大きく異なる被写体」の移動量を算出する処理例について説明する。
以下の説明では、「動被写体」に対する処理例として説明するが、「視差が大きく異なる被写体」についても同様の処理が適用可能である。
【０１９８】
画像評価部２１１は、図１６に示す動被写体可視化画像３６０において、表示されている真の動きベクトルの長さをすべて足し合わせたベクトル加算値（Ｌ）、
すなわち、「予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）」を以下の式（式２）に従って算出する。なお、この算出処理に際しても合成画像の画像サイズに基づく正規化を行う。
【０１９９】
【数２】
・・・・（式２）
【０２００】
上記式（式２）によって算出される動被写体の真のベクトルのベクトル加算値（Ｌ）を動被写体移動量と呼ぶ。
なお、上記式において、
ｗは合成後の画像横サイズ、
ｈは画像縦サイズ、
ｖは動被写体可視化画像中にある真のベクトル、
である。
【０２０１】
なお、合成後画像サイズで正規化をする理由は、先に説明した式（式１）の場合と同様、動被写体面積と動被写体が画質劣化に与える影響において、画像サイズ依存性をなくすためである。最終画像サイズが大きい場合は、最終画像サイズが小さい場合にくらべて、動被写体による画質劣化はあまり大きくないはずであり、これを反映させるために、動被写体領域面積を画像サイズで正規化する。
【０２０２】
なお、この上記式（式２）によって算出される動被写体移動量、すなわち、
「予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）」
についても、画像評価値として算出する場合は、先に図１７を参照して説明したように画像の位置に応じた重みを付けて、動被写体として検出されたベクトルの長さに重みを乗算して、動被写体移動量に基づく評価値を算出する構成としてもよい。
【０２０３】
例えば、前述の式（式２）によって算出される動被写体の移動量（Ｌ）について画像評価値として算出する場合は、画像の位置に応じた重みを付けて評価値を算出することができる。動被写体の検出位置に応じて、重み係数：α＝１〜０を乗算して、
ΣαＬ
上記式に従って、画像に対応する動被写体の移動量（Ｌ）、すなわち、
「予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）」
に基づく画像評価値を算出することができる。
【０２０４】
画像評価部２１１は、このように様々な指標に従った画像評価値を算出し、これらの評価値を利用して、各合成画像の３次元画像としての適正を判定する。
原理的に、動被写体面積と動被写体移動量はどちらも、値が大きければ３次元画像としての画質が悪く、値が小さければ３次元画像の画質が良いという傾向がある。
【０２０５】
画像評価部２１１は、画像合成部２１０から提供される画像単位で、上述した動被写体面積（Ｓ）、または動被写体移動量（Ｌ）の少なくともいずれかの指標値を算出して、これらの値から３次元画像としての適正を判定する。
【０２０６】
画像評価部２１１は、例えば動被写体面積（Ｓ）、または動被写体移動量（Ｌ）の少なくともいずれかの指標値と、予めメモリ２０９に記録済みの画像評価判定情報としての閾値を比較して最終的な画像の適正判定を行う。
なお、評価処理は、適正あり、なしの２段階評価に限らず、複数の閾値を設けてこの数段階評価を行う構成としてもよい。その評価結果を撮像直後に出力部２０４に出力してユーザ（撮影者）に知らせる等の処理を行う。
【０２０７】
この画像評価情報提供処理により、ユーザは、画像を３次元画像表示ディスプレイで見なくても３次元画像としての画質を把握することができる。
また、低い評価のときは、撮像画像を記録せず、撮影をやり直すといった処理を行うといった判断を行うことが可能となる。
【０２０８】
なお、動被写体面積（Ｓ）や、動被写体移動量（Ｌ）、すなわち、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
これらの２つの指標値中、３次元画像の適正評価に際しては、一方のみの指標を利用してもよいが、両者を合わせて最終的な指標値としてもよい。さらに、前述したように重み情報［α］を適用して画像に対応する最終的な３次元画像適正評価値を算出してもよい。
【０２０９】
例えば、画像評価部２１１は、３次元画像適正評価値［Ａ］を以下のように算出する。
Ａ＝ａΣ（α１）（Ｓ）＋ｂΣ（α２）（Ｌ）
・・・（式３）
上記式（式３）において、
Ｓ：動被写体面積
Ｌ：動被写体移動量
α１：重み係数（画像位置対応重み係数）
α２：重み係数（画像位置対応重み係数）
ａ，ｂ：重み係数（動被写体面積（Ｓ）と、動被写体移動量（Ｌ）のバランス調整用重み係数）
である。
なお、α１，α２，ａ，ｂ等のパラメータは予めメモリ２０９に格納しておく。
【０２１０】
画像評価部２１１は、上記式（式３）によって算出した３次元画像適正評価値［Ａ］と、メモリ２０９に予め格納した画像評価判定情報（閾値Ｔｈ）と比較する。
例えば、この比較処理において、
Ａ≧Ｔｈ
上記判定式が成立した場合は、その画像は３次元画像としての適正がないと判定する。
上記判定式が成立しない場合は、その画像は３次元画像としての適正があると判定する。
上記判定式による判定処理は、例えば図１１のステップＳ１１２の判定処理に対応した処理として画像評価部２１１において実行される。
【０２１１】
また、例えば、動被写体面積（Ｓ）の値をｘ座標、動被写体移動量（Ｌ）の値をｙ座標として、ｘｙ平面に画像評価データ（ｘ，ｙ）＝（Ｓ，Ｌ）としてプロットして、３次元画像としての適正を判断することも可能である。
【０２１２】
例えば図１８に示すようにｘ軸に垂直な直線とｙ軸に垂直な直線で囲まれた領域３８１に入っている画像を３次元画像として適正がある。すなわち画質が高いとみなす。
図１８は、
横軸（ｘ軸）が、動被写体面積（Ｓ）、すなわち、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
縦軸（ｙ軸）が、動被写体移動量（Ｌ）、すなわち、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
これらの各軸を設定したグラフであり、グラフ上のプロットは、各画像の評価データ（ｘ，ｙ）＝（Ｓ，Ｌ）のプロットである。
【０２１３】
領域３８１以外に画像評価データ（ｘ，ｙ）＝（Ｓ，Ｌ）が設定される画像は、３次元画像として適正がない。すなわち画質が低いとみなすといった判定処理を実行してもよい。なお、図１８には、領域３８１を矩形としているが、この領域は矩形ではなく楕円でも多項式でも良い。
【０２１４】
さらに、ほかの方法として、画像評価データ（ｘ，ｙ）＝（Ｓ，Ｌ）を入力としてある評価関数ｆ（ｘ，ｙ）を定義し、この関数の出力を３Ｄ画像の画質判断に使用しても良い。前述の３次元画像適正評価値［Ａ］の算出式（式３）、すなわち、
Ａ＝ａΣ（α１）（Ｓ）＋ｂΣ（α２）（Ｌ）
・・・（式３）
上記式も１つの評価関数ｆ（ｘ，ｙ）の適用例に相当する。
なお、評価関数の係数は、メモリ２０９に記録された固定値を適用してもよいが、例えば学習処理によって算出し、順次更新する設定としてもよい。学習処理は例えばオフラインで随時実行し、その結果として得られる係数を画像処理装置に順次、提供して更新して利用するといった処理が可能である。
【０２１５】
画像評価部２１１は、このようにして画像合成部２１０の生成した画像、すなわち３次元画像表示に適用するための左目用画像と、右目用画像が３次元画像としての適正をもつか否かの評価を実行する。この評価結果が３次元画像としての適正がないとの評価結果である場合は、例えば記録メディアへの記録処理を保留してユーザに対する警告を実行する。ユーザによる記録処理の要求があった場合は記録を行い、記録要求がなされない場合は記録処理を中止する処理などを行う。
【０２１６】
また前述したように評価情報は、画像評価部２１１から記録部２１２に提供され、記録部２１２がメディアに記録する画像の属性情報（メタデータ）として画像に併せて記録する。この記録情報を利用することで、例えばＰＣなど３次元画像の表示処理を行う情報処理装置や画像処理装置において、適切な画像補正を迅速に行うことが可能となる。
【０２１７】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２１８】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２１９】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２２０】
以上、説明したように、本発明の一実施例の構成によれば、複数の画像から切り出した短冊領域を連結して生成した３次元画像表示に適用する左目用合成画像と右目用合成画像の適正を評価する装置および方法を提供する。合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルを解析し、規定閾値以上の大きさを有するブロック対応差分ベクトルを持つブロック面積（Ｓ）、またはベクトル長加算値である移動量加算値（Ｌ）が予め規定した閾値以上である場合、合成画像の３次元画像としての適正がないと判定する処理を実行し、判定結果に応じた警告出力や記録制御を行う。
【符号の説明】
【０２２１】
１０ カメラ
２０ 画像
２１ ２Ｄパノラマ画像用短冊
３０ ２Ｄパノラマ画像
５１ 左目用画像短冊
５２ 右目用画像短冊
７０ 撮像素子
７２ 左目用画像
７３ 右目用画像
１００ カメラ
１０１ 仮想撮像面
１０２ 光学中心
１１０ 画像
１１１ 左目用画像短冊
１１２ 右目用画像短冊
１１５ ２Ｄパノラマ画像用短冊
２００ 撮像装置
２０１ レンズ系
２０２ 撮像素子
２０３ 画像信号処理部
２０４ 表示部
２０５ 画像メモリ（合成処理用）
２０６ 画像メモリ（移動量検出用）
２０７ 移動量検出部
２０８ 移動量メモリ
２０９ メモリ
２１０ 画像合成部
２１１ 画像評価部
２１２ 記録部
３６０ 動被写体可視化画像
【特許請求の範囲】
【請求項１】
異なる位置からの撮影画像各々から切り出した短冊領域の連結処理により生成した３次元画像表示に適用する合成画像の３次元画像としての適正を評価する画像評価部を有し、
前記画像評価部は、
前記合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行し、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも前記ブロック面積（Ｓ）、または前記移動量加算値（Ｌ）いずれかの値と予め規定した閾値を比較して、
前記ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行する画像処理装置。
【請求項２】
前記画像評価部は、
前記合成画像中のブロック位置に応じた重み設定を行い、画像中央部ほど大きい重み係数を乗算して、前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）の算出処理を実行し、重み係数を乗算した結果と閾値との比較処理を実行する請求項１に記載の画像処理装置。
【請求項３】
前記画像評価部は、
前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）の算出処理に際して、前記合成画像の画像サイズに基づく正規化処理を実行して各値の算出処理を実行し、算出結果と閾値との比較処理を行う請求項１または２に記載の画像処理装置。
【請求項４】
前記画像評価部は、
３次元画像としての適正評価値：Ａを、下記式、
Ａ＝ａΣ（α１）（Ｓ）＋ｂΣ（α２）（Ｌ）
ただし、
Ｓは前記ブロック面積、
Ｌは前記移動量加算値、
α１、α２は画像位置対応の重み係数、
ａ，ｂは、前記ブロック面積（Ｓ）と前記移動量加算値（Ｌ）のバランス調整用重み係数、
上記式に従って算出する請求項１に記載の画像処理装置。
【請求項５】
前記画像評価部は、
前記合成画像に対応する差分ベクトルをブロック単位で示した可視化画像を生成し、該可視化画像を適用して前記ブロック面積（Ｓ）、または前記移動量加算値（Ｌ）の算出を行う請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、
前記撮影画像を入力し、撮影画像間のマッチング処理により前記ブロック動きベクトルを算出する移動量検出部を有し、
前記画像評価部は、前記移動量検出部の算出したブロック動きベクトルを適用して前記ブロック面積（Ｓ）、または前記移動量加算値（Ｌ）の算出を行う請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
異なる位置から撮影された複数の画像を入力し、各画像から切り出した短冊領域を連結して合成画像を生成する画像合成部を有し、
前記画像合成部は、
各画像に設定した左目用画像短冊の連結合成処理により３次元画像表示に適用する左目用合成画像を生成し、
各画像に設定した右目用画像短冊の連結合成処理により３次元画像表示に適用する右目用合成画像を生成し、
前記画像評価部は、前記画像合成部の生成した合成画像について、３次元画像としての適正評価を行う請求項１〜６いずれかに記載の画像処理装置。
【請求項８】
前記画像処理装置は、さらに、
前記画像評価部の合成画像評価結果が３次元画像としての適正がないとの判定である場合、警告出力を実行する制御部を有する請求項１〜７いずれかに記載の画像処理装置。
【請求項９】
前記制御部は、
前記画像評価部の合成画像評価結果が３次元画像としての適正がないとの判定である場合、前記合成画像の記録メディアに対する記録処理を保留し、前記警告出力に応じたユーザからの記録要求の入力を条件として記録処理を実行する請求項８に記載の画像処理装置。
【請求項１０】
画像撮影に適用するレンズ部と、
撮影画像の光電変換を行う撮像素子と、
前記請求項１〜９いずれかに記載の画像処理を実行する画像処理部を備えた撮像装置。
【請求項１１】
画像処理装置において実行する画像処理方法であり、
画像評価部が、異なる位置からの撮影画像各々から切り出した短冊領域の連結処理により生成した３次元画像表示に適用する合成画像の３次元画像としての適正を評価する画像評価ステップを有し、
前記画像評価ステップは、
前記合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行し、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）のいずれかの値と予め規定した閾値を比較して、
前記ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行する画像処理方法。
【請求項１２】
画像処理装置において画像処理を実行させるプログラムであり、
画像評価部に、異なる位置からの撮影画像各々から切り出した短冊領域の連結処理により生成した３次元画像表示に適用する合成画像の３次元画像としての適正を評価させる画像評価ステップを有し、
前記画像評価ステップは、
前記合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行するステップであり、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）のいずれかの値と予め規定した閾値を比較して、
前記ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行するステップであるプログラム。
【請求項１】
異なる位置からの撮影画像各々から切り出した短冊領域の連結処理により生成した３次元画像表示に適用する合成画像の３次元画像としての適正を評価する画像評価部を有し、
前記画像評価部は、
前記合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行し、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも前記ブロック面積（Ｓ）、または前記移動量加算値（Ｌ）いずれかの値と予め規定した閾値を比較して、
前記ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行する画像処理装置。
【請求項２】
前記画像評価部は、
前記合成画像中のブロック位置に応じた重み設定を行い、画像中央部ほど大きい重み係数を乗算して、前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）の算出処理を実行し、重み係数を乗算した結果と閾値との比較処理を実行する請求項１に記載の画像処理装置。
【請求項３】
前記画像評価部は、
前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）の算出処理に際して、前記合成画像の画像サイズに基づく正規化処理を実行して各値の算出処理を実行し、算出結果と閾値との比較処理を行う請求項１または２に記載の画像処理装置。
【請求項４】
前記画像評価部は、
３次元画像としての適正評価値：Ａを、下記式、
Ａ＝ａΣ（α１）（Ｓ）＋ｂΣ（α２）（Ｌ）
ただし、
Ｓは前記ブロック面積、
Ｌは前記移動量加算値、
α１、α２は画像位置対応の重み係数、
ａ，ｂは、前記ブロック面積（Ｓ）と前記移動量加算値（Ｌ）のバランス調整用重み係数、
上記式に従って算出する請求項１に記載の画像処理装置。
【請求項５】
前記画像評価部は、
前記合成画像に対応する差分ベクトルをブロック単位で示した可視化画像を生成し、該可視化画像を適用して前記ブロック面積（Ｓ）、または前記移動量加算値（Ｌ）の算出を行う請求項１に記載の画像処理装置。
【請求項６】
前記画像処理装置は、
前記撮影画像を入力し、撮影画像間のマッチング処理により前記ブロック動きベクトルを算出する移動量検出部を有し、
前記画像評価部は、前記移動量検出部の算出したブロック動きベクトルを適用して前記ブロック面積（Ｓ）、または前記移動量加算値（Ｌ）の算出を行う請求項１に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
異なる位置から撮影された複数の画像を入力し、各画像から切り出した短冊領域を連結して合成画像を生成する画像合成部を有し、
前記画像合成部は、
各画像に設定した左目用画像短冊の連結合成処理により３次元画像表示に適用する左目用合成画像を生成し、
各画像に設定した右目用画像短冊の連結合成処理により３次元画像表示に適用する右目用合成画像を生成し、
前記画像評価部は、前記画像合成部の生成した合成画像について、３次元画像としての適正評価を行う請求項１〜６いずれかに記載の画像処理装置。
【請求項８】
前記画像処理装置は、さらに、
前記画像評価部の合成画像評価結果が３次元画像としての適正がないとの判定である場合、警告出力を実行する制御部を有する請求項１〜７いずれかに記載の画像処理装置。
【請求項９】
前記制御部は、
前記画像評価部の合成画像評価結果が３次元画像としての適正がないとの判定である場合、前記合成画像の記録メディアに対する記録処理を保留し、前記警告出力に応じたユーザからの記録要求の入力を条件として記録処理を実行する請求項８に記載の画像処理装置。
【請求項１０】
画像撮影に適用するレンズ部と、
撮影画像の光電変換を行う撮像素子と、
前記請求項１〜９いずれかに記載の画像処理を実行する画像処理部を備えた撮像装置。
【請求項１１】
画像処理装置において実行する画像処理方法であり、
画像評価部が、異なる位置からの撮影画像各々から切り出した短冊領域の連結処理により生成した３次元画像表示に適用する合成画像の３次元画像としての適正を評価する画像評価ステップを有し、
前記画像評価ステップは、
前記合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行し、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）のいずれかの値と予め規定した閾値を比較して、
前記ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行する画像処理方法。
【請求項１２】
画像処理装置において画像処理を実行させるプログラムであり、
画像評価部に、異なる位置からの撮影画像各々から切り出した短冊領域の連結処理により生成した３次元画像表示に適用する合成画像の３次元画像としての適正を評価させる画像評価ステップを有し、
前記画像評価ステップは、
前記合成画像のブロック単位の動きベクトルであるブロック動きベクトルから画像全体の動きを示すグローバル動きベクトルを減算して算出したブロック対応差分ベクトルの解析により合成画像の３次元画像としての適正を評価する処理を実行するステップであり、
（１）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルを持つブロックのブロック面積（Ｓ）、
（２）予め規定した閾値以上の大きさを有するブロック対応差分ベクトルのベクトル長に相当する移動量の加算値である移動量加算値（Ｌ）、
少なくとも前記ブロック面積（Ｓ）、または移動量加算値（Ｌ）のいずれかの値と予め規定した閾値を比較して、
前記ブロック面積（Ｓ）が予め規定した面積閾値以上、または前記移動量加算値が予め規定した移動量閾値以上である場合に、合成画像の３次元画像としての適正がないと判定する処理を実行するステップであるプログラム。
【図１】
【図２】
【図３】
【図４】
【図７】
【図１０】
【図１１】
【図１４】
【図５】
【図６】
【図８】
【図９】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図２】
【図３】
【図４】
【図７】
【図１０】
【図１１】
【図１４】
【図５】
【図６】
【図８】
【図９】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【公開番号】特開２０１１−１６６２６４（Ｐ２０１１−１６６２６４Ａ）
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願番号】特願２０１０−２４０１６（Ｐ２０１０−２４０１６）
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年８月２５日（２０１１．８．２５）
【国際特許分類】
【出願日】平成２２年２月５日（２０１０．２．５）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]