撮像装置、撮像方法及びプログラム
【課題】複数の隣接した画像を取り纏めて一枚の画像を生成するために取得した、被写体が一部重複している複数の精細な画像データを後に有効活用可能な状態で記録する。
【解決手段】隣接する複数の画像を撮影する撮影系11〜13と、撮影した複数の画像を保持するＤＲＡＭ14と、ＤＲＡＭ14で保持される複数の画像の被写体の重複部分を検出し、その検出結果に基づいて複数の各画像毎の位置補正情報を算出する特徴量演算部15ｂ及びブロックマッチング部15ｃと、上記検出結果及び算出した位置補正情報に基づいてＤＲＡＭ14で保持される複数の画像から一枚の画像を生成する画像変形合成加算部15ｄと、生成した合成画像とＤＲＡＭ14で保持する複数の画像及び各画像毎の位置補正情報を関連付けてメモリカード31に記録させるＣＰＵ21とを備える。
【解決手段】隣接する複数の画像を撮影する撮影系11〜13と、撮影した複数の画像を保持するＤＲＡＭ14と、ＤＲＡＭ14で保持される複数の画像の被写体の重複部分を検出し、その検出結果に基づいて複数の各画像毎の位置補正情報を算出する特徴量演算部15ｂ及びブロックマッチング部15ｃと、上記検出結果及び算出した位置補正情報に基づいてＤＲＡＭ14で保持される複数の画像から一枚の画像を生成する画像変形合成加算部15ｄと、生成した合成画像とＤＲＡＭ14で保持する複数の画像及び各画像毎の位置補正情報を関連付けてメモリカード31に記録させるＣＰＵ21とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばパノラマ撮影機能を有する撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
電子カメラでパノラマ撮影時に接合する画像の位置関係がわかるように各画像のデータファイルを生成することを目的とした技術が考えられている。（例えば、特許文献１）
当該特許文献に記載された技術では、撮影モード時に、主画像データと、主画像データよりデータサイズが小さい副画像データとを画像データファイルに記録する。パノラマ撮影時の副画像は、当該コマに対応するサムネイル画像と前コマに対応する副画像とする。並べる方向は、前コマからの移動方向とする。電子カメラは再生モード時に、副画像表示するコマの画像データファイルにパノラマ画像を示す情報が含まれているとき、副画像を構成する複数のサムネイル画像をＬＣＤモニタに表示するとともに、当該コマに対応するサムネイル画像を太い枠で囲むように表示させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−００７１６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献に記載された技術も含めて、パノラマ画像を複数の画像からパノラマ画像を生成するのに際して、通常、ユーザによるパン動作は、撮像素子を中心位置とした正確な旋回動作による撮影を行なうことは困難である。そのため、取得される隣接する画像では、旋回方向と直交する方向の画角が旋回角度毎に異なるような微小な歪みを生じている。したがって、時間的に連続するタイミングで撮影された複数の画像中の重複する被写体領域でも、正確には旋回方向と直交する方向の画角が異なるので、重複領域をそのままの画像サイズで合成することはできず、少なくとも一方に画像サイズを合わせて補間処理を行なう必要が生じる。
【０００５】
一般に部分的に重複した複数の隣接画像から１枚のパノラマ画像を生成する場合、画像サイズは撮影時のものに比してリサイズ処理でより小さいものに変換するのが通常である。そして、パノラマ画像を生成した後は、パノラマ画像を生成するために使用した個々の画像データは消去するか、あるいは上記特許文献のようにサムネイル画像として大幅に画像サイズをダウンさせたものとして記録させる。
【０００６】
以上のようにパノラマ画像撮影においては、撮影時に取得した個々の画像データが精細なものであっても、パノラマ画像生成後に元の各画像データが精細なままに記録されることはない。
【０００７】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、複数の隣接した画像を取り纏めて一枚の画像を生成するために取得した、被写体が一部重複している複数の精細な画像データを後に有効活用可能な状態で記録する撮像装置、撮像方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
請求項１記載の発明は、被写体の少なくとも一部が重複する隣接した複数の画像を撮影する撮影手段と、上記撮影手段によって撮影された複数の画像を保持する保持手段と、上記保持手段によって保持される複数の画像間の被写体の重複部分を検出する検出手段と、上記検出手段による検出結果に基づいて上記複数の各画像毎に位置補正情報を算出する算出手段と、上記検出手段による検出結果、及び、上記算出手段によって算出された位置補正情報に基づいて上記保持手段で保持される複数の画像を合成する画像合成手段と、上記画像合成手段によって合成された合成画像、上記保持手段によって保持されている複数の画像、及び、上記算出手段によって複数の各画像毎に算出された位置補正情報を関連付けて記録する記録手段とを具備したことを特徴とする。
【０００９】
請求項２記載の発明は、上記請求項１記載の発明において、上記算出手段は、上記保持手段によって保持される複数の画像間で撮影順で先頭に位置する画像を基準とし、それ以外の各画像毎に上記基準となる画像に対する位置補正情報を算出することを特徴とする。
【００１０】
請求項３記載の発明は、撮影部で撮影した、被写体の少なくとも一部が重複する隣接した複数の画像を保持する保持ステップと、上記保持ステップにて保持される複数の画像間の被写体の重複部分を検出する検出ステップと、上記検出ステップでの検出結果に基づいて上記複数の各画像毎の位置補正情報を算出する算出ステップと、上記検出ステップでの検出結果、及び、上記算出ステップにて算出された位置補正情報に基づいて上記保持ステップにて保持された複数の画像から一枚の画像を合成する画像合成ステップと、上記画像合成ステップにて合成された合成画像、上記保持ステップにて保持された複数の画像、及び、上記算出ステップにて上記複数の各画像毎に算出された位置補正情報を関連付けて記録媒体に記録させる記録ステップとを含むことを特徴とする。
【００１１】
請求項４記載の発明は、撮像装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、被写体の少なくとも一部が重複する隣接した複数の画像を撮影する撮影手段、上記撮影手段によって撮影された複数の画像を保持する保持手段、上記保持手段によって保持される複数の画像間の被写体の重複部分を検出する検出手段、上記検出手段による検出結果に基づいて上記複数の各画像毎に位置補正情報を算出する算出手段、上記検出手段による検出結果、及び、上記算出手段によって算出された位置補正情報に基づいて上記保持手段で保持される複数の画像を合成する画像合成手段、及び上記画像合成手段によって合成された合成画像、上記保持手段によって保持されている複数の画像、及び、上記算出手段によって複数の各画像毎に算出された位置補正情報を関連付けて記録する記録手段として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、複数の隣接した画像を取り纏めて一枚の画像を生成するために取得した、被写体が一部重複している複数の精細な画像データを後に有効活用可能な状態で記録することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係るデジタルカメラの機能回路の概略構成を示すブロック図。
【図２】同実施形態に係る画像の撮影から合成、記録に至る一連の処理内容を示すフローチャート。
【図３】同実施形態に係る画像の撮影から合成、記録に至る一連の処理内容を示すフローチャート。
【図４】同実施形態に係る位置合わせのための補正変換処理を説明する図。
【図５】同実施形態に係る位置合わせのための補正変換処理を説明する図。
【発明を実施するための形態】
【００１４】
以下本発明をパノラマ撮影機能を有するデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。
【００１５】
図１は、本実施形態に係るデジタルカメラ１０の回路構成を示すものである。同図では、カメラ筐体の前面に配設される光学レンズユニット１１を介して、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳイメージセンサ等で構成される固体撮像素子（ＩＳ）１２の撮像面上に被写体の光像を入射して結像させる。
【００１６】
スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、この固体撮像素子１２での撮像により得た画像信号をＡＧＣ・Ａ／Ｄ変換部１３に送り、相関二乗サンプリングや自動ゲイン調整、Ａ／Ｄ変換処理を実行してデジタル化する。このデジタル値の画像データはシステムバスＳＢを介してバッファメモリであるＤＲＡＭ１４に保持される。
【００１７】
このＤＲＡＭ１４に保持された画像データに対して、画像処理部１５が適宜必要な画像処理を施す。画像処理部１５は、デモザイク部１５ａ、特徴量演算部１５ｂ、ブロックマッチング部１５ｃ、及び画像変形合成加算部１５ｄを備える。また、画像処理部１５には、ＳＲＡＭ１６が接続される。
【００１８】
画像処理部１５では、固体撮像素子１２に備えられるベイヤー配列のカラーフィルタの構成に応じた画像データ（以下「ベイヤーデータ」と称する）に対してマトリックス演算、画素補間処理、ガンマ補正処理等をデモザイク処理することで、ＲＡＷ（生）データであるベイヤーデータに現像を施して輝度色差系（ＹＵＶ）の画像データに変換する。
【００１９】
画像処理部１５は、その画像データから表示用に画素数及び階調ビットを大幅に減じた画像データを作成して表示部１７へ送り、スルー画像として表示させる。
【００２０】
また、上記光学レンズユニット１１と同じくカメラ筐体前面には、一対のマイクロホン１８Ｌ，１８Ｒが配設され、被写体方向の音声がステレオで入力される。マイクロホン１８Ｌ，１８Ｒはそれぞれ入力した音声を電気信号化し、音声処理部１９へ出力する。
【００２１】
音声処理部１９は、音声単体での録音時、音声付き静止画像撮影時、及び動画像の撮影時にマイクロホン１８Ｌ，１８Ｒから入力する音声信号をデジタルデータ化する。さらに音声処理部１９は、デジタル化した音声データの音圧レベルを検出する一方で、該音声データを所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ−４ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。
【００２２】
加えて音声処理部１９は、ＰＣＭ音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ１０の筐体背面側に設けられるスピーカ２０を駆動して、拡声放音させる。
【００２３】
以上の回路をＣＰＵ２１が統括制御する。このＣＰＵ２１は、メインメモリ２２、プログラムメモリ２３と直接接続される。メインメモリ２２は、例えばＳＲＡＭで構成され、ワークメモリとして機能する。プログラムメモリ２３は、例えばフラッシュメモリなどの電気的に書換可能な不揮発性メモリで構成され、後述するパノラマ画像の生成の制御を含む動作プログラムやデータ等を固定的に記憶する。
【００２４】
ＣＰＵ２１はプログラムメモリ２３から必要なプログラムやデータ等を読出し、メインメモリ２２に適宜一時的に展開記憶させながら、このデジタルカメラ１０全体の制御動作を実行する。
【００２５】
さらに上記ＣＰＵ２１は、操作部２４から直接入力される各種キー操作信号に対応して制御動作を実行する。操作部２４は、例えば電源キー、シャッタレリーズキー、ズームアップ／ダウンキー、撮影モードキー、再生モードキー、メニューキー、カーソル（「↑」「→」「↓」「←」）キー、セットキー、解除キー、ディスプレイキー等を備える。
【００２６】
ＣＰＵ２１は、システムバスＳＢを介して上記ＡＧＣ・Ａ／Ｄ変換部１３、ＤＲＡＭ１４、画像処理部１５、表示部１７、及び音声処理部１９の他、さらにレンズ駆動部２５、フラッシュ駆動部２６、イメージセンサ（ＩＳ）駆動部２７、及びメモリカードコントローラ２８と接続される。
【００２７】
レンズ駆動部２５は、ＣＰＵ２１からの制御信号を受けてレンズ用ＤＣモータ（Ｍ）２９の回転を制御し、上記光学レンズユニット１１を構成する複数のレンズ群中の一部、具体的にはズームレンズ及びフォーカスレンズの位置をそれぞれ個別に光軸方向に沿って移動させる。
【００２８】
フラッシュ駆動部２６は、静止画像撮影時にＣＰＵ２１からの制御信号を受けて複数の白色高輝度ＬＥＤで構成されるフラッシュ部３０を撮影タイミングに同期して点灯駆動する。
【００２９】
イメージセンサ駆動部２７は、その時点で設定されている撮影条件等に応じて上記固体撮像素子１２の走査駆動を行なう。
【００３０】
上記画像処理部１５は、上記操作部２４のシャッタレリーズキー操作に伴う画像撮影時に、ＡＧＣ・Ａ／Ｄ変換部１３から送られてきてＤＲＡＭ１４に保持される画像データをデモザイク処理し、さらに所定のデータファイル形式、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であればＤＣＴ（離散コサイン変換）やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスＳＢ、メモリカードコントローラ２６を介してメモリカード３１に記録される。
【００３１】
また画像処理部１５は、再生モード時にメモリカード３１からメモリカードコントローラ２８を介して読出されてくる画像データをシステムバスＳＢを介して受取り、ＤＲＡＭ１４に保持させた上で、このＤＲＡＭ１４に保持させた画像データを記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをシステムバスＳＢを介して表示部１７に出力して表示させる。
メモリカードコントローラ２８は、カードコネクタ３２を介してメモリカード３１と接続される。メモリカード３１は、このデジタルカメラ１０に着脱自在に装着され、このデジタルカメラ１０の記録媒体となる画像データ等の記録用メモリであり、内部にはブロック単位で電気的に書換え可能な不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。
【００３２】
次に上記実施形態の動作について説明する。
なお、以下に示す動作は、パノラマ画像の撮影モード下でデジタルカメラ１０をパン（旋回）させながらシャッタレリーズキーを任意時間だけ押圧操作して、時間的に連続した複数の静止画像の撮影を行なう際、ＣＰＵ２１がプログラムメモリ２３に記憶されている動作プログラムやデータを読出してメインメモリ２２に展開して記憶させた上で実行するものである。
【００３３】
プログラムメモリ２３に記憶されている動作プログラム等は、このデジタルカメラ１０の製造工場出荷時にプログラムメモリ２３に記憶されていたものに加え、例えばこのデジタルカメラ１０のバージョンアップに際して、デジタルカメラ１０をパーソナルコンピュータと接続することにより外部から新たな動作プログラム、データ等をダウンロードして記憶するものも含む。
【００３４】
図２及び図３は、パノラマ画像の撮影とその後の合成処理に係る一連の処理内容を示すものである。その処理当初には、ＣＰＵ２１がメインメモリ２２に保持する、撮影画像枚数をカウントする変数ｎの値を初期化して「１」とする（ステップＳ１０１）。
【００３５】
その後、ＣＰＵ２１は操作部２４のシャッタレリーズキーが操作されたか否かを判断する（ステップＳ１０２）。ここでシャッタレリーズキーが操作されていないと判断すると、次いでＣＰＵ２１は操作部２４の解除キーが操作されたか否かを判断する（ステップＳ１０３）。ここで解除キーも操作されていないと判断すると、再び上記ステップＳ１０２からの処理に戻る。
【００３６】
こうしてステップＳ１０２，Ｓ１０３の処理を繰返し実行することで、ＣＰＵ２１は操作部２４のシャッタレリーズキーか、解除キーのいずれかが操作されるのを待機する。
しかして解除キーが操作された場合、ＣＰＵ２１はそれを上記ステップＳ１０３で判断し、以上でこの図２及び図３のパノラマ画像の撮影とその後の合成処理に係る一連の処理内容を終了し、通常の静止画像の撮影に戻る。
【００３７】
また、シャッタレリーズキーが操作されたと判断した場合、ＣＰＵ２１は直ちに静止画像の撮影を実行した上で（ステップＳ１０４）、撮影画像枚数をカウントする上記変数ｎの値を「＋１」更新設定する（ステップＳ１０５）。撮影により得られたベイヤーデータはＤＲＡＭ１４に保持される。
【００３８】
次にＣＰＵ２１は、更新設定した変数ｎの値が、このデジタルカメラ１０に予め設定されている連写可能な最大枚数を超えていないことを確認した上で（ステップＳ１０６）、まだシャッタレリーズキーが操作され続けているか否かを判断する（ステップＳ１０７）。
【００３９】
ここで、まだシャッタレリーズキーが操作されていると判断すると、再び上記ステップＳ１０４からの処理に戻って、シャッタレリーズキーの操作通りに、時間的に連続したさらなる静止画像の撮影を続行する。この撮影により得られるベイヤーデータも順次ＤＲＡＭ１４に保持して蓄積していく。
【００４０】
こうしてシャッタレリーズキーが操作されている間、ステップＳ１０４〜Ｓ１０７の処理を繰返し実行し、上記連写可能な最大枚数を超えるまで撮影と画像データの保持とを続行する。
【００４１】
シャッタレリーズキーの押圧操作は続いているが、更新設定した変数ｎが連写可能な最大枚数を超えた場合、あるいはシャッタレリーズキーの押圧操作が停止された場合、ＣＰＵ２１は上記ステップＳ１０６またはＳ１０７でそれを判断し、撮影動作を停止するとともに、それまでに蓄積したベイヤーデータに基づいて画像合成を行なう処理に移行する。
【００４２】
まず１枚目のベイヤーデータを位置合わせの基準とするべく、画像処理部１５のデモザイク部１５ａによりデモザイクする（ステップＳ１０８）。ここでデモザイク処理とは、上述した如く固体撮像素子１２から得たベイヤーデータに現像を施して輝度色差系（ＹＵＶ）の画像データに変換することとする。
この際、位置合わせの精度にもよるが、画像サイズを縮小した画像データに変換するものとしても良い。
【００４３】
次に、ＣＰＵ２１がメインメモリ２２に保持する、処理画像枚数をカウントする変数ｍの値を初期化して「２」とする（ステップＳ１０９）。なお、本処理では時間的に先頭に位置する「１」枚目の画像データを基準とするため、「１」枚目の画像データに関しては以下の補正処理を行なわず、したがって上記ステップＳ１０９での処理により最初の位置補正処理を行なう画像データを選択するべく初期値「２」を設定するものである。
【００４４】
変数ｍの値「２」が、連続して撮影した画像の数ｎ以下であることを確認した上で（ステップＳ１１０）、「２」枚目のベイヤーデータをデモザイク部１５ａにより上記ステップＳ１０８と同様にデモザイク処理する（ステップＳ１１１）。
【００４５】
このデモザイクした「２」枚目の画像データを、その直前の「１」枚目の画像データに位置合わせするべく、ブロックマッチング部１５ｃと特徴量演算部１５ｂにより補正係数を算出する（ステップＳ１１２）。
【００４６】
ここで位置合わせのための補正係数を算出する方法としては、例えば特徴量演算部１５ｂが画像エッジ上の特徴点を抽出し、２つの対象画像どうしで最多の特徴点が一致する補正変換行列を求める手法などがある。補正変換行列には、例えば次式で示すような変換行列が用いられる。すなわち、
【数１】
【００４７】
図４及び図５により上記位置合わせのための補正変換処理を説明する。
図４（Ａ）は、撮影対象となる被写体としての「都市部の夜景」を例示している。
【００４８】
このような被写体を図４（Ｂ）〜図４（Ｄ）に示すようにデジタルカメラ１０を左から右へ横方向にパンしながら撮影を行なったものとする。
【００４９】
ここでは、説明を簡易にするべく、図５（Ａ）に示すようにパン動作中に２回の撮影がなされたものとする。１回目の撮影で得た画像データＦＬ１と２回目の撮影で得た画像データＦＬ２は共有領域Ｃ１を含んでいる。
【００５０】
図５（Ｂ）に示すように１回目の撮影で得た画像データＦＬ１は、上述した如く基準画像となるので、パン動作による移動量が「０（ゼロ）」であるとして無条件に単位行列Ｍ１が与えられる。
【００５１】
これに対して、図５（Ｃ）に示すように２回目の撮影で得た画像データＦＬ２は、上述した如く基準画像である画像データＦＬ１から水平方向にＸだけ位置を移動した画像であるので、パン動作による当該水平移動量Ｘを用いた補正行列Ｍ２を用いる。
【００５２】
ブロックマッチング部１５ｃが上記共有部分Ｃ１のマッチング処理を実行し、上記特徴量演算部１５ｂが上述したように画像エッジ上の特徴点を抽出し、２つの対象画像どうしで最多の特徴点が一致するように補正変換行列を求めることで、位置の移動量に応じた補正係数、具体的には上記補正行列Ｍ２における移動量Ｘが算出できる。
【００５３】
こうして補正係数を算出した上で、１つ前の変換行列に累積していくことで、各画像データを１枚目の画像データを基準として補正変換行列にしたがって変換することができる（ステップＳ１１３）。
【００５４】
その後、変数ｍの値を「＋１」更新設定した上で（ステップＳ１１４）、再び上記ステップＳ１１０からの処理に戻る。
【００５５】
こうしてステップＳ１１０〜Ｓ１１４の処理を順次繰返し実行することにより、上記補正変換行列は１枚目の画像データを基準とした累積結果を示すものとなる。
【００５６】
しかして、更新設定した変数ｍの値が連続して撮影した画像の数ｎを超えた時点で、連続して撮影したすべての画像データに対する累積補正変換行列の算出を終えたこととなり、上記ステップＳ１１０でそれを判断する。
【００５７】
次いで、取得した累積補正変換行列の平行移動成分から、合成画像の取り得る画像サイズを算出する（ステップＳ１１５）。算出した画像サイズに基づき、ＤＲＡＭ１４上に合成画像領域を確保する（ステップＳ１１６）。
【００５８】
次に、撮影画像と補正変換行列の保存と合成処理を行なう。
まず、ＣＰＵ２１がメインメモリ２２に保持する、処理画像枚数をカウントする変数ｍの値を初期化して「１」とする（ステップＳ１１７）。次いで、変数ｍの値「１」が、連続して撮影した画像の数ｎ以下であることを確認した上で（ステップＳ１１８）、「１」枚目のベイヤーデータを通常の撮影画像と同様にデモザイク部１５ａによりデモザイク処理する（ステップＳ１１９）。
【００５９】
このデモザイクした「１」枚目の画像データを、例えばＪＰＥＧのフォーマットに基づいてデータファイル化した上で、この画像データに対応する上記位置の移動量を表す補正変換行列（ここではｍ＝１であるので上記単位行列Ｍ１）をデータファイルのオプション情報領域に付加して、このデジタルカメラ１０の記録媒体であるメモリカード３１に記録させる（ステップＳ１２０）。
【００６０】
上記データファイルのオプション情報領域は、例えばＪＦＩＦ（ＪＰＥＧ Ｆｉｌｅ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）やＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）で規定される情報領域を想定している。
【００６１】
その後、この「１」番目の画像データを累積補正変換行列Ｍ１で変換した上で、変換後の画像データを画像変形合成加算部１５ｄにより上記ステップＳ１１６の処理でＤＲＡＭ１４に確保した合成画像領域の該当する画素位置範囲に順次書込む（ステップＳ１２１）。
【００６２】
その後、変数ｍの値を「＋１」更新設定した上で（ステップＳ１２２）、再び上記ステップＳ１１８からの処理に戻る。
【００６３】
こうしてステップＳ１１８〜Ｓ１２２の処理を順次画像データ数分だけ繰返し実行することにより、連続した個々の画像データを順次基準画像に対する位置の移動量を示す補正変換行列の情報を付加してメモリカード３１に記録していくとともに、ＤＲＡＭ１４に確保した合成画像領域の該当する画素位置範囲に書込んでいく。
【００６４】
そして、最後の画像データに関する同様の処理を終えた後、さらにステップＳ１２２で変数ｍの値を「＋１」更新設定すると、続くステップＳ１１８で変数ｍの値が、連続して撮影した画像の数ｎを超えており、すべての画像データに対する処理を終えたものと判断する。
【００６５】
この時点で、ＤＲＡＭ１４に確保した合成画像領域には、パノラマ画像の画像データが完成された状態で書込まれているため、この一枚の画像データを読出してデータファイル化し、このデジタルカメラ１０の記録媒体であるメモリカード３１に記録させる（ステップＳ１２３）。
以上でこの図２及び図３の一連の処理を終了する。
【００６６】
以上詳記した如く本実施形態によれば、パノラマ画像を生成するために取得した、被写体が一部重複している複数の精細な画像データを、当該パノラマ画像のデータとは別に、先頭画像を基準とした移動量を示す情報と共に記録するものとした。
【００６７】
これにより、合成処理によって解像度を落とさざるを得ないパノラマ画像で失われる情報を消失させることなく、後に有効活用することが可能な状態で元の画像データを自動的に記録することができる。
【００６８】
加えて上記実施形態では、パノラマ画像のための撮影で得た複数の画像データ中、先頭に位置する画像データの位置を基準として、他の画像データは累積した移動量を示す補正変換行列の情報を付加して記録するものとしたので、各画像データの移動量を容易に算出でき、且つその移動量から基準の画像データに対する位置関係を把握することが容易となる。
【００６９】
なお上記実施形態では、１回のパン動作により複数の時間的に連続した画像を撮影するパノラマ画像を撮影するデジタルカメラに適用した場合について説明したものであるが、パノラマ画像のような直線的な走査に応じた複数の画像のみならず、２次元的な広がりを持つ被写体をジグザグ走査、あるいはラスタ走査しながらマトリックス状に複数の画像を撮影するような場合についても同様の処理で対応することが可能となる。
【００７０】
また上記実施形態は、デジタルカメラに適用した場合について説明したものであるが、本発明はこれに限らず、カメラ機能を有する電子機器であれば、他にも携帯電話端末やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ：個人向け情報携帯端末）、携帯メディアプレーヤ、電子ブック、モバイルコンピュータなどの各種機器にも同様に適用可能となる。
【００７１】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００７２】
１０…デジタルカメラ、１１…光学レンズユニット、１２…固体撮像素子（ＩＳ）、１３…ＡＧＣ・Ａ／Ｄ変換部、１４…ＤＲＡＭ、１５…画像処理部、１５ａ…デモザイク部、１５ｂ…特徴量演算部、１５ｃ…ブロックマッチング部、１５ｄ…画像変形合成加算部、１６…ＳＲＡＭ、１７…表示部、１８Ｌ，１８Ｒ…マイクロホン、１９…音声処理部、２０…スピーカ、２１…ＣＰＵ、２２…メインメモリ、２３…プログラムメモリ、２４…操作部、２５…レンズ駆動部、２６…フラッシュ駆動部、２７…イメージセンサ（ＩＳ）駆動部、２８…メモリカードコントローラ、２９…レンズ用ＤＣモータ（Ｍ）、３０…フラッシュ部、３１…メモリカード、３２…カードコネクタ、ＳＢ…システムバス。
【技術分野】
【０００１】
本発明は、例えばパノラマ撮影機能を有する撮像装置、撮像方法及びプログラムに関する。
【背景技術】
【０００２】
電子カメラでパノラマ撮影時に接合する画像の位置関係がわかるように各画像のデータファイルを生成することを目的とした技術が考えられている。（例えば、特許文献１）
当該特許文献に記載された技術では、撮影モード時に、主画像データと、主画像データよりデータサイズが小さい副画像データとを画像データファイルに記録する。パノラマ撮影時の副画像は、当該コマに対応するサムネイル画像と前コマに対応する副画像とする。並べる方向は、前コマからの移動方向とする。電子カメラは再生モード時に、副画像表示するコマの画像データファイルにパノラマ画像を示す情報が含まれているとき、副画像を構成する複数のサムネイル画像をＬＣＤモニタに表示するとともに、当該コマに対応するサムネイル画像を太い枠で囲むように表示させる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−００７１６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献に記載された技術も含めて、パノラマ画像を複数の画像からパノラマ画像を生成するのに際して、通常、ユーザによるパン動作は、撮像素子を中心位置とした正確な旋回動作による撮影を行なうことは困難である。そのため、取得される隣接する画像では、旋回方向と直交する方向の画角が旋回角度毎に異なるような微小な歪みを生じている。したがって、時間的に連続するタイミングで撮影された複数の画像中の重複する被写体領域でも、正確には旋回方向と直交する方向の画角が異なるので、重複領域をそのままの画像サイズで合成することはできず、少なくとも一方に画像サイズを合わせて補間処理を行なう必要が生じる。
【０００５】
一般に部分的に重複した複数の隣接画像から１枚のパノラマ画像を生成する場合、画像サイズは撮影時のものに比してリサイズ処理でより小さいものに変換するのが通常である。そして、パノラマ画像を生成した後は、パノラマ画像を生成するために使用した個々の画像データは消去するか、あるいは上記特許文献のようにサムネイル画像として大幅に画像サイズをダウンさせたものとして記録させる。
【０００６】
以上のようにパノラマ画像撮影においては、撮影時に取得した個々の画像データが精細なものであっても、パノラマ画像生成後に元の各画像データが精細なままに記録されることはない。
【０００７】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、複数の隣接した画像を取り纏めて一枚の画像を生成するために取得した、被写体が一部重複している複数の精細な画像データを後に有効活用可能な状態で記録する撮像装置、撮像方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
請求項１記載の発明は、被写体の少なくとも一部が重複する隣接した複数の画像を撮影する撮影手段と、上記撮影手段によって撮影された複数の画像を保持する保持手段と、上記保持手段によって保持される複数の画像間の被写体の重複部分を検出する検出手段と、上記検出手段による検出結果に基づいて上記複数の各画像毎に位置補正情報を算出する算出手段と、上記検出手段による検出結果、及び、上記算出手段によって算出された位置補正情報に基づいて上記保持手段で保持される複数の画像を合成する画像合成手段と、上記画像合成手段によって合成された合成画像、上記保持手段によって保持されている複数の画像、及び、上記算出手段によって複数の各画像毎に算出された位置補正情報を関連付けて記録する記録手段とを具備したことを特徴とする。
【０００９】
請求項２記載の発明は、上記請求項１記載の発明において、上記算出手段は、上記保持手段によって保持される複数の画像間で撮影順で先頭に位置する画像を基準とし、それ以外の各画像毎に上記基準となる画像に対する位置補正情報を算出することを特徴とする。
【００１０】
請求項３記載の発明は、撮影部で撮影した、被写体の少なくとも一部が重複する隣接した複数の画像を保持する保持ステップと、上記保持ステップにて保持される複数の画像間の被写体の重複部分を検出する検出ステップと、上記検出ステップでの検出結果に基づいて上記複数の各画像毎の位置補正情報を算出する算出ステップと、上記検出ステップでの検出結果、及び、上記算出ステップにて算出された位置補正情報に基づいて上記保持ステップにて保持された複数の画像から一枚の画像を合成する画像合成ステップと、上記画像合成ステップにて合成された合成画像、上記保持ステップにて保持された複数の画像、及び、上記算出ステップにて上記複数の各画像毎に算出された位置補正情報を関連付けて記録媒体に記録させる記録ステップとを含むことを特徴とする。
【００１１】
請求項４記載の発明は、撮像装置が内蔵するコンピュータが実行するプログラムであって、上記コンピュータを、被写体の少なくとも一部が重複する隣接した複数の画像を撮影する撮影手段、上記撮影手段によって撮影された複数の画像を保持する保持手段、上記保持手段によって保持される複数の画像間の被写体の重複部分を検出する検出手段、上記検出手段による検出結果に基づいて上記複数の各画像毎に位置補正情報を算出する算出手段、上記検出手段による検出結果、及び、上記算出手段によって算出された位置補正情報に基づいて上記保持手段で保持される複数の画像を合成する画像合成手段、及び上記画像合成手段によって合成された合成画像、上記保持手段によって保持されている複数の画像、及び、上記算出手段によって複数の各画像毎に算出された位置補正情報を関連付けて記録する記録手段として機能させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、複数の隣接した画像を取り纏めて一枚の画像を生成するために取得した、被写体が一部重複している複数の精細な画像データを後に有効活用可能な状態で記録することができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態に係るデジタルカメラの機能回路の概略構成を示すブロック図。
【図２】同実施形態に係る画像の撮影から合成、記録に至る一連の処理内容を示すフローチャート。
【図３】同実施形態に係る画像の撮影から合成、記録に至る一連の処理内容を示すフローチャート。
【図４】同実施形態に係る位置合わせのための補正変換処理を説明する図。
【図５】同実施形態に係る位置合わせのための補正変換処理を説明する図。
【発明を実施するための形態】
【００１４】
以下本発明をパノラマ撮影機能を有するデジタルカメラに適用した場合の一実施形態について図面を参照して説明する。
【００１５】
図１は、本実施形態に係るデジタルカメラ１０の回路構成を示すものである。同図では、カメラ筐体の前面に配設される光学レンズユニット１１を介して、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）やＣＭＯＳイメージセンサ等で構成される固体撮像素子（ＩＳ）１２の撮像面上に被写体の光像を入射して結像させる。
【００１６】
スルー画像表示、あるいはライブビュー画像表示とも称されるモニタ状態では、この固体撮像素子１２での撮像により得た画像信号をＡＧＣ・Ａ／Ｄ変換部１３に送り、相関二乗サンプリングや自動ゲイン調整、Ａ／Ｄ変換処理を実行してデジタル化する。このデジタル値の画像データはシステムバスＳＢを介してバッファメモリであるＤＲＡＭ１４に保持される。
【００１７】
このＤＲＡＭ１４に保持された画像データに対して、画像処理部１５が適宜必要な画像処理を施す。画像処理部１５は、デモザイク部１５ａ、特徴量演算部１５ｂ、ブロックマッチング部１５ｃ、及び画像変形合成加算部１５ｄを備える。また、画像処理部１５には、ＳＲＡＭ１６が接続される。
【００１８】
画像処理部１５では、固体撮像素子１２に備えられるベイヤー配列のカラーフィルタの構成に応じた画像データ（以下「ベイヤーデータ」と称する）に対してマトリックス演算、画素補間処理、ガンマ補正処理等をデモザイク処理することで、ＲＡＷ（生）データであるベイヤーデータに現像を施して輝度色差系（ＹＵＶ）の画像データに変換する。
【００１９】
画像処理部１５は、その画像データから表示用に画素数及び階調ビットを大幅に減じた画像データを作成して表示部１７へ送り、スルー画像として表示させる。
【００２０】
また、上記光学レンズユニット１１と同じくカメラ筐体前面には、一対のマイクロホン１８Ｌ，１８Ｒが配設され、被写体方向の音声がステレオで入力される。マイクロホン１８Ｌ，１８Ｒはそれぞれ入力した音声を電気信号化し、音声処理部１９へ出力する。
【００２１】
音声処理部１９は、音声単体での録音時、音声付き静止画像撮影時、及び動画像の撮影時にマイクロホン１８Ｌ，１８Ｒから入力する音声信号をデジタルデータ化する。さらに音声処理部１９は、デジタル化した音声データの音圧レベルを検出する一方で、該音声データを所定のデータファイル形式、例えばＡＡＣ（ｍｏｖｉｎｇ ｐｉｃｔｕｒｅ ｅｘｐｅｒｔｓ ｇｒｏｕｐ−４ Ａｄｖａｎｃｅｄ Ａｕｄｉｏ Ｃｏｄｉｎｇ）形式でデータ圧縮して音声データファイルを作成し、後述する記録媒体へ送出する。
【００２２】
加えて音声処理部１９は、ＰＣＭ音源等の音源回路を備え、音声の再生時に送られてくる音声データファイルの圧縮を解いてアナログ化し、このデジタルカメラ１０の筐体背面側に設けられるスピーカ２０を駆動して、拡声放音させる。
【００２３】
以上の回路をＣＰＵ２１が統括制御する。このＣＰＵ２１は、メインメモリ２２、プログラムメモリ２３と直接接続される。メインメモリ２２は、例えばＳＲＡＭで構成され、ワークメモリとして機能する。プログラムメモリ２３は、例えばフラッシュメモリなどの電気的に書換可能な不揮発性メモリで構成され、後述するパノラマ画像の生成の制御を含む動作プログラムやデータ等を固定的に記憶する。
【００２４】
ＣＰＵ２１はプログラムメモリ２３から必要なプログラムやデータ等を読出し、メインメモリ２２に適宜一時的に展開記憶させながら、このデジタルカメラ１０全体の制御動作を実行する。
【００２５】
さらに上記ＣＰＵ２１は、操作部２４から直接入力される各種キー操作信号に対応して制御動作を実行する。操作部２４は、例えば電源キー、シャッタレリーズキー、ズームアップ／ダウンキー、撮影モードキー、再生モードキー、メニューキー、カーソル（「↑」「→」「↓」「←」）キー、セットキー、解除キー、ディスプレイキー等を備える。
【００２６】
ＣＰＵ２１は、システムバスＳＢを介して上記ＡＧＣ・Ａ／Ｄ変換部１３、ＤＲＡＭ１４、画像処理部１５、表示部１７、及び音声処理部１９の他、さらにレンズ駆動部２５、フラッシュ駆動部２６、イメージセンサ（ＩＳ）駆動部２７、及びメモリカードコントローラ２８と接続される。
【００２７】
レンズ駆動部２５は、ＣＰＵ２１からの制御信号を受けてレンズ用ＤＣモータ（Ｍ）２９の回転を制御し、上記光学レンズユニット１１を構成する複数のレンズ群中の一部、具体的にはズームレンズ及びフォーカスレンズの位置をそれぞれ個別に光軸方向に沿って移動させる。
【００２８】
フラッシュ駆動部２６は、静止画像撮影時にＣＰＵ２１からの制御信号を受けて複数の白色高輝度ＬＥＤで構成されるフラッシュ部３０を撮影タイミングに同期して点灯駆動する。
【００２９】
イメージセンサ駆動部２７は、その時点で設定されている撮影条件等に応じて上記固体撮像素子１２の走査駆動を行なう。
【００３０】
上記画像処理部１５は、上記操作部２４のシャッタレリーズキー操作に伴う画像撮影時に、ＡＧＣ・Ａ／Ｄ変換部１３から送られてきてＤＲＡＭ１４に保持される画像データをデモザイク処理し、さらに所定のデータファイル形式、例えばＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）であればＤＣＴ（離散コサイン変換）やハフマン符号化等のデータ圧縮処理を施してデータ量を大幅に削減した画像データファイルを作成する。作成した画像データファイルはシステムバスＳＢ、メモリカードコントローラ２６を介してメモリカード３１に記録される。
【００３１】
また画像処理部１５は、再生モード時にメモリカード３１からメモリカードコントローラ２８を介して読出されてくる画像データをシステムバスＳＢを介して受取り、ＤＲＡＭ１４に保持させた上で、このＤＲＡＭ１４に保持させた画像データを記録時とは逆の手順で圧縮を解く伸長処理により元のサイズの画像データを得、これをシステムバスＳＢを介して表示部１７に出力して表示させる。
メモリカードコントローラ２８は、カードコネクタ３２を介してメモリカード３１と接続される。メモリカード３１は、このデジタルカメラ１０に着脱自在に装着され、このデジタルカメラ１０の記録媒体となる画像データ等の記録用メモリであり、内部にはブロック単位で電気的に書換え可能な不揮発性メモリであるフラッシュメモリと、その駆動回路とが設けられる。
【００３２】
次に上記実施形態の動作について説明する。
なお、以下に示す動作は、パノラマ画像の撮影モード下でデジタルカメラ１０をパン（旋回）させながらシャッタレリーズキーを任意時間だけ押圧操作して、時間的に連続した複数の静止画像の撮影を行なう際、ＣＰＵ２１がプログラムメモリ２３に記憶されている動作プログラムやデータを読出してメインメモリ２２に展開して記憶させた上で実行するものである。
【００３３】
プログラムメモリ２３に記憶されている動作プログラム等は、このデジタルカメラ１０の製造工場出荷時にプログラムメモリ２３に記憶されていたものに加え、例えばこのデジタルカメラ１０のバージョンアップに際して、デジタルカメラ１０をパーソナルコンピュータと接続することにより外部から新たな動作プログラム、データ等をダウンロードして記憶するものも含む。
【００３４】
図２及び図３は、パノラマ画像の撮影とその後の合成処理に係る一連の処理内容を示すものである。その処理当初には、ＣＰＵ２１がメインメモリ２２に保持する、撮影画像枚数をカウントする変数ｎの値を初期化して「１」とする（ステップＳ１０１）。
【００３５】
その後、ＣＰＵ２１は操作部２４のシャッタレリーズキーが操作されたか否かを判断する（ステップＳ１０２）。ここでシャッタレリーズキーが操作されていないと判断すると、次いでＣＰＵ２１は操作部２４の解除キーが操作されたか否かを判断する（ステップＳ１０３）。ここで解除キーも操作されていないと判断すると、再び上記ステップＳ１０２からの処理に戻る。
【００３６】
こうしてステップＳ１０２，Ｓ１０３の処理を繰返し実行することで、ＣＰＵ２１は操作部２４のシャッタレリーズキーか、解除キーのいずれかが操作されるのを待機する。
しかして解除キーが操作された場合、ＣＰＵ２１はそれを上記ステップＳ１０３で判断し、以上でこの図２及び図３のパノラマ画像の撮影とその後の合成処理に係る一連の処理内容を終了し、通常の静止画像の撮影に戻る。
【００３７】
また、シャッタレリーズキーが操作されたと判断した場合、ＣＰＵ２１は直ちに静止画像の撮影を実行した上で（ステップＳ１０４）、撮影画像枚数をカウントする上記変数ｎの値を「＋１」更新設定する（ステップＳ１０５）。撮影により得られたベイヤーデータはＤＲＡＭ１４に保持される。
【００３８】
次にＣＰＵ２１は、更新設定した変数ｎの値が、このデジタルカメラ１０に予め設定されている連写可能な最大枚数を超えていないことを確認した上で（ステップＳ１０６）、まだシャッタレリーズキーが操作され続けているか否かを判断する（ステップＳ１０７）。
【００３９】
ここで、まだシャッタレリーズキーが操作されていると判断すると、再び上記ステップＳ１０４からの処理に戻って、シャッタレリーズキーの操作通りに、時間的に連続したさらなる静止画像の撮影を続行する。この撮影により得られるベイヤーデータも順次ＤＲＡＭ１４に保持して蓄積していく。
【００４０】
こうしてシャッタレリーズキーが操作されている間、ステップＳ１０４〜Ｓ１０７の処理を繰返し実行し、上記連写可能な最大枚数を超えるまで撮影と画像データの保持とを続行する。
【００４１】
シャッタレリーズキーの押圧操作は続いているが、更新設定した変数ｎが連写可能な最大枚数を超えた場合、あるいはシャッタレリーズキーの押圧操作が停止された場合、ＣＰＵ２１は上記ステップＳ１０６またはＳ１０７でそれを判断し、撮影動作を停止するとともに、それまでに蓄積したベイヤーデータに基づいて画像合成を行なう処理に移行する。
【００４２】
まず１枚目のベイヤーデータを位置合わせの基準とするべく、画像処理部１５のデモザイク部１５ａによりデモザイクする（ステップＳ１０８）。ここでデモザイク処理とは、上述した如く固体撮像素子１２から得たベイヤーデータに現像を施して輝度色差系（ＹＵＶ）の画像データに変換することとする。
この際、位置合わせの精度にもよるが、画像サイズを縮小した画像データに変換するものとしても良い。
【００４３】
次に、ＣＰＵ２１がメインメモリ２２に保持する、処理画像枚数をカウントする変数ｍの値を初期化して「２」とする（ステップＳ１０９）。なお、本処理では時間的に先頭に位置する「１」枚目の画像データを基準とするため、「１」枚目の画像データに関しては以下の補正処理を行なわず、したがって上記ステップＳ１０９での処理により最初の位置補正処理を行なう画像データを選択するべく初期値「２」を設定するものである。
【００４４】
変数ｍの値「２」が、連続して撮影した画像の数ｎ以下であることを確認した上で（ステップＳ１１０）、「２」枚目のベイヤーデータをデモザイク部１５ａにより上記ステップＳ１０８と同様にデモザイク処理する（ステップＳ１１１）。
【００４５】
このデモザイクした「２」枚目の画像データを、その直前の「１」枚目の画像データに位置合わせするべく、ブロックマッチング部１５ｃと特徴量演算部１５ｂにより補正係数を算出する（ステップＳ１１２）。
【００４６】
ここで位置合わせのための補正係数を算出する方法としては、例えば特徴量演算部１５ｂが画像エッジ上の特徴点を抽出し、２つの対象画像どうしで最多の特徴点が一致する補正変換行列を求める手法などがある。補正変換行列には、例えば次式で示すような変換行列が用いられる。すなわち、
【数１】
【００４７】
図４及び図５により上記位置合わせのための補正変換処理を説明する。
図４（Ａ）は、撮影対象となる被写体としての「都市部の夜景」を例示している。
【００４８】
このような被写体を図４（Ｂ）〜図４（Ｄ）に示すようにデジタルカメラ１０を左から右へ横方向にパンしながら撮影を行なったものとする。
【００４９】
ここでは、説明を簡易にするべく、図５（Ａ）に示すようにパン動作中に２回の撮影がなされたものとする。１回目の撮影で得た画像データＦＬ１と２回目の撮影で得た画像データＦＬ２は共有領域Ｃ１を含んでいる。
【００５０】
図５（Ｂ）に示すように１回目の撮影で得た画像データＦＬ１は、上述した如く基準画像となるので、パン動作による移動量が「０（ゼロ）」であるとして無条件に単位行列Ｍ１が与えられる。
【００５１】
これに対して、図５（Ｃ）に示すように２回目の撮影で得た画像データＦＬ２は、上述した如く基準画像である画像データＦＬ１から水平方向にＸだけ位置を移動した画像であるので、パン動作による当該水平移動量Ｘを用いた補正行列Ｍ２を用いる。
【００５２】
ブロックマッチング部１５ｃが上記共有部分Ｃ１のマッチング処理を実行し、上記特徴量演算部１５ｂが上述したように画像エッジ上の特徴点を抽出し、２つの対象画像どうしで最多の特徴点が一致するように補正変換行列を求めることで、位置の移動量に応じた補正係数、具体的には上記補正行列Ｍ２における移動量Ｘが算出できる。
【００５３】
こうして補正係数を算出した上で、１つ前の変換行列に累積していくことで、各画像データを１枚目の画像データを基準として補正変換行列にしたがって変換することができる（ステップＳ１１３）。
【００５４】
その後、変数ｍの値を「＋１」更新設定した上で（ステップＳ１１４）、再び上記ステップＳ１１０からの処理に戻る。
【００５５】
こうしてステップＳ１１０〜Ｓ１１４の処理を順次繰返し実行することにより、上記補正変換行列は１枚目の画像データを基準とした累積結果を示すものとなる。
【００５６】
しかして、更新設定した変数ｍの値が連続して撮影した画像の数ｎを超えた時点で、連続して撮影したすべての画像データに対する累積補正変換行列の算出を終えたこととなり、上記ステップＳ１１０でそれを判断する。
【００５７】
次いで、取得した累積補正変換行列の平行移動成分から、合成画像の取り得る画像サイズを算出する（ステップＳ１１５）。算出した画像サイズに基づき、ＤＲＡＭ１４上に合成画像領域を確保する（ステップＳ１１６）。
【００５８】
次に、撮影画像と補正変換行列の保存と合成処理を行なう。
まず、ＣＰＵ２１がメインメモリ２２に保持する、処理画像枚数をカウントする変数ｍの値を初期化して「１」とする（ステップＳ１１７）。次いで、変数ｍの値「１」が、連続して撮影した画像の数ｎ以下であることを確認した上で（ステップＳ１１８）、「１」枚目のベイヤーデータを通常の撮影画像と同様にデモザイク部１５ａによりデモザイク処理する（ステップＳ１１９）。
【００５９】
このデモザイクした「１」枚目の画像データを、例えばＪＰＥＧのフォーマットに基づいてデータファイル化した上で、この画像データに対応する上記位置の移動量を表す補正変換行列（ここではｍ＝１であるので上記単位行列Ｍ１）をデータファイルのオプション情報領域に付加して、このデジタルカメラ１０の記録媒体であるメモリカード３１に記録させる（ステップＳ１２０）。
【００６０】
上記データファイルのオプション情報領域は、例えばＪＦＩＦ（ＪＰＥＧ Ｆｉｌｅ Ｉｎｔｅｒｃｈａｎｇｅ Ｆｏｒｍａｔ）やＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）で規定される情報領域を想定している。
【００６１】
その後、この「１」番目の画像データを累積補正変換行列Ｍ１で変換した上で、変換後の画像データを画像変形合成加算部１５ｄにより上記ステップＳ１１６の処理でＤＲＡＭ１４に確保した合成画像領域の該当する画素位置範囲に順次書込む（ステップＳ１２１）。
【００６２】
その後、変数ｍの値を「＋１」更新設定した上で（ステップＳ１２２）、再び上記ステップＳ１１８からの処理に戻る。
【００６３】
こうしてステップＳ１１８〜Ｓ１２２の処理を順次画像データ数分だけ繰返し実行することにより、連続した個々の画像データを順次基準画像に対する位置の移動量を示す補正変換行列の情報を付加してメモリカード３１に記録していくとともに、ＤＲＡＭ１４に確保した合成画像領域の該当する画素位置範囲に書込んでいく。
【００６４】
そして、最後の画像データに関する同様の処理を終えた後、さらにステップＳ１２２で変数ｍの値を「＋１」更新設定すると、続くステップＳ１１８で変数ｍの値が、連続して撮影した画像の数ｎを超えており、すべての画像データに対する処理を終えたものと判断する。
【００６５】
この時点で、ＤＲＡＭ１４に確保した合成画像領域には、パノラマ画像の画像データが完成された状態で書込まれているため、この一枚の画像データを読出してデータファイル化し、このデジタルカメラ１０の記録媒体であるメモリカード３１に記録させる（ステップＳ１２３）。
以上でこの図２及び図３の一連の処理を終了する。
【００６６】
以上詳記した如く本実施形態によれば、パノラマ画像を生成するために取得した、被写体が一部重複している複数の精細な画像データを、当該パノラマ画像のデータとは別に、先頭画像を基準とした移動量を示す情報と共に記録するものとした。
【００６７】
これにより、合成処理によって解像度を落とさざるを得ないパノラマ画像で失われる情報を消失させることなく、後に有効活用することが可能な状態で元の画像データを自動的に記録することができる。
【００６８】
加えて上記実施形態では、パノラマ画像のための撮影で得た複数の画像データ中、先頭に位置する画像データの位置を基準として、他の画像データは累積した移動量を示す補正変換行列の情報を付加して記録するものとしたので、各画像データの移動量を容易に算出でき、且つその移動量から基準の画像データに対する位置関係を把握することが容易となる。
【００６９】
なお上記実施形態では、１回のパン動作により複数の時間的に連続した画像を撮影するパノラマ画像を撮影するデジタルカメラに適用した場合について説明したものであるが、パノラマ画像のような直線的な走査に応じた複数の画像のみならず、２次元的な広がりを持つ被写体をジグザグ走査、あるいはラスタ走査しながらマトリックス状に複数の画像を撮影するような場合についても同様の処理で対応することが可能となる。
【００７０】
また上記実施形態は、デジタルカメラに適用した場合について説明したものであるが、本発明はこれに限らず、カメラ機能を有する電子機器であれば、他にも携帯電話端末やＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ：個人向け情報携帯端末）、携帯メディアプレーヤ、電子ブック、モバイルコンピュータなどの各種機器にも同様に適用可能となる。
【００７１】
その他、本発明は上述した実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、上述した実施形態で実行される機能は可能な限り適宜組み合わせて実施しても良い。上述した実施形態には種々の段階が含まれており、開示される複数の構成要件による適宜の組み合せにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、効果が得られるのであれば、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【００７２】
１０…デジタルカメラ、１１…光学レンズユニット、１２…固体撮像素子（ＩＳ）、１３…ＡＧＣ・Ａ／Ｄ変換部、１４…ＤＲＡＭ、１５…画像処理部、１５ａ…デモザイク部、１５ｂ…特徴量演算部、１５ｃ…ブロックマッチング部、１５ｄ…画像変形合成加算部、１６…ＳＲＡＭ、１７…表示部、１８Ｌ，１８Ｒ…マイクロホン、１９…音声処理部、２０…スピーカ、２１…ＣＰＵ、２２…メインメモリ、２３…プログラムメモリ、２４…操作部、２５…レンズ駆動部、２６…フラッシュ駆動部、２７…イメージセンサ（ＩＳ）駆動部、２８…メモリカードコントローラ、２９…レンズ用ＤＣモータ（Ｍ）、３０…フラッシュ部、３１…メモリカード、３２…カードコネクタ、ＳＢ…システムバス。
【特許請求の範囲】
【請求項１】
被写体の少なくとも一部が重複する隣接した複数の画像を撮影する撮影手段と、
上記撮影手段によって撮影された複数の画像を保持する保持手段と、
上記保持手段によって保持される複数の画像間の被写体の重複部分を検出する検出手段と、
上記検出手段による検出結果に基づいて上記複数の各画像毎に位置補正情報を算出する算出手段と、
上記検出手段による検出結果、及び、上記算出手段によって算出された位置補正情報に基づいて上記保持手段で保持される複数の画像を合成する画像合成手段と、
上記画像合成手段によって合成された合成画像、上記保持手段によって保持されている複数の画像、及び、上記算出手段によって複数の各画像毎に算出された位置補正情報を関連付けて記録する記録手段と
を具備したことを特徴とする撮像装置。
【請求項２】
上記算出手段は、上記保持手段によって保持される複数の画像間で撮影順で先頭に位置する画像を基準とし、それ以外の各画像毎に上記基準となる画像に対する位置補正情報を算出することを特徴とする請求項１記載の撮像装置。
【請求項３】
撮影部で撮影した、被写体の少なくとも一部が重複する隣接した複数の画像を保持する保持ステップと、
上記保持ステップにて保持される複数の画像間の被写体の重複部分を検出する検出ステップと、
上記検出ステップでの検出結果に基づいて上記複数の各画像毎の位置補正情報を算出する算出ステップと、
上記検出ステップでの検出結果、及び、上記算出ステップにて算出された位置補正情報に基づいて上記保持ステップにて保持された複数の画像から一枚の画像を合成する画像合成ステップと、
上記画像合成ステップにて合成された合成画像、上記保持ステップにて保持された複数の画像、及び、上記算出ステップにて上記複数の各画像毎に算出された位置補正情報を関連付けて記録媒体に記録させる記録ステップと
を含むことを特徴とする撮像方法。
【請求項４】
撮像装置が内蔵するコンピュータが実行するプログラムであって、
上記コンピュータを、
被写体の少なくとも一部が重複する隣接した複数の画像を撮影する撮影手段、
上記撮影手段によって撮影された複数の画像を保持する保持手段、
上記保持手段によって保持される複数の画像間の被写体の重複部分を検出する検出手段、
上記検出手段による検出結果に基づいて上記複数の各画像毎に位置補正情報を算出する算出手段、
上記検出手段による検出結果、及び、上記算出手段によって算出された位置補正情報に基づいて上記保持手段で保持される複数の画像を合成する画像合成手段、及び
上記画像合成手段によって合成された合成画像、上記保持手段によって保持されている複数の画像、及び、上記算出手段によって複数の各画像毎に算出された位置補正情報を関連付けて記録する記録手段
として機能させることを特徴とするプログラム。
【請求項１】
被写体の少なくとも一部が重複する隣接した複数の画像を撮影する撮影手段と、
上記撮影手段によって撮影された複数の画像を保持する保持手段と、
上記保持手段によって保持される複数の画像間の被写体の重複部分を検出する検出手段と、
上記検出手段による検出結果に基づいて上記複数の各画像毎に位置補正情報を算出する算出手段と、
上記検出手段による検出結果、及び、上記算出手段によって算出された位置補正情報に基づいて上記保持手段で保持される複数の画像を合成する画像合成手段と、
上記画像合成手段によって合成された合成画像、上記保持手段によって保持されている複数の画像、及び、上記算出手段によって複数の各画像毎に算出された位置補正情報を関連付けて記録する記録手段と
を具備したことを特徴とする撮像装置。
【請求項２】
上記算出手段は、上記保持手段によって保持される複数の画像間で撮影順で先頭に位置する画像を基準とし、それ以外の各画像毎に上記基準となる画像に対する位置補正情報を算出することを特徴とする請求項１記載の撮像装置。
【請求項３】
撮影部で撮影した、被写体の少なくとも一部が重複する隣接した複数の画像を保持する保持ステップと、
上記保持ステップにて保持される複数の画像間の被写体の重複部分を検出する検出ステップと、
上記検出ステップでの検出結果に基づいて上記複数の各画像毎の位置補正情報を算出する算出ステップと、
上記検出ステップでの検出結果、及び、上記算出ステップにて算出された位置補正情報に基づいて上記保持ステップにて保持された複数の画像から一枚の画像を合成する画像合成ステップと、
上記画像合成ステップにて合成された合成画像、上記保持ステップにて保持された複数の画像、及び、上記算出ステップにて上記複数の各画像毎に算出された位置補正情報を関連付けて記録媒体に記録させる記録ステップと
を含むことを特徴とする撮像方法。
【請求項４】
撮像装置が内蔵するコンピュータが実行するプログラムであって、
上記コンピュータを、
被写体の少なくとも一部が重複する隣接した複数の画像を撮影する撮影手段、
上記撮影手段によって撮影された複数の画像を保持する保持手段、
上記保持手段によって保持される複数の画像間の被写体の重複部分を検出する検出手段、
上記検出手段による検出結果に基づいて上記複数の各画像毎に位置補正情報を算出する算出手段、
上記検出手段による検出結果、及び、上記算出手段によって算出された位置補正情報に基づいて上記保持手段で保持される複数の画像を合成する画像合成手段、及び
上記画像合成手段によって合成された合成画像、上記保持手段によって保持されている複数の画像、及び、上記算出手段によって複数の各画像毎に算出された位置補正情報を関連付けて記録する記録手段
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−６０３０９（Ｐ２０１２−６０３０９Ａ）
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願番号】特願２０１０−２０００２０（Ｐ２０１０−２０００２０）
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２４年３月２２日（２０１２．３．２２）
【国際特許分類】
【出願日】平成２２年９月７日（２０１０．９．７）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]