撮像装置
【課題】 光学特性の良い領域を切り出すパノラマ撮影では、従来一方向のパノラマ撮影しかできなかった。
【解決手段】 撮像装置の移動方向によって切り出し位置を変更することで、縦横両方向の平面的なパノラマ撮影を実現できる。
【解決手段】 撮像装置の移動方向によって切り出し位置を変更することで、縦横両方向の平面的なパノラマ撮影を実現できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するもので、その中でもパノラマ撮影における画像の切り出し方法に関するものである。
【背景技術】
【０００２】
従来より広く用いられている単眼式の電子スチルカメラでパノラマ状の画像を撮影するカメラシステムは、連続撮影した個々の単位画像を継ぎ目が目立たないように接合して一枚の全体画像を生成する画像処理技術が必須となる。即ち、撮影方向を順次シフトさせて撮影を行う関係上、撮影された個々の視野は互いに異なることから、パターンマッチング等の技術を用いて隣接する単位画像間の位置ずれ量を推定してこれを補正する必要がある。
【０００３】
ところで、この単眼式のカメラシステムは、連続撮影の結果取得される単位画像の境界付近に被写体が写し出されている場合に、光学的収差によるズレ等の不連続部分が生じる結果、最終的に生成される全体画像において破綻をきたすという問題点もあった。
【０００４】
これに対し特許文献１は、撮影方向を順次変化させて撮影範囲の一部を構成する単位画像を撮像し、撮像ステップにおいて撮像した単位画像の一部を構成する所定サイズの画像領域を互いに重複領域が生じるように切り出す。そして、切り出した画像領域を順次重ね合わせることにより撮影範囲全体を表す全体画像を生成しており、従来問題となっていた単位画像の境界付近のズレによる画像の破綻を抑制できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2005-328497号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来のカメラシステムでは、横や縦など一方向に画像を接合するだけでなく、２ｘ２や３ｘ３などアスペクト比を保ったまま画像を結合するパノラマ状の画像も撮影できた。
【０００７】
しかしながら、特許文献１では切り出し領域が予め定められていたり、撮影画像を結合する方向が一方向に決まっていたりしており、縦横両方向に画像を結合する切り出し駆動を行うことができなかった。
【０００８】
そのため、特許文献１で縦横方向に結合可能なパノラマ画像の撮影ができなかった。
【０００９】
そこで本発明の目的は、パノラマ撮影を行う際に、撮影方向に応じて切り出し領域を変更し、切り出した画像を順次結合することで、縦横斜め方向へ展開するパノラマ撮影を可能にした撮像装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、
撮影方向を順次変化させて撮影範囲の一部を撮像する単位画像撮像手段と、
上記単位画像撮像手段により撮像された単位画像の一部を構成する所定サイズの画像領域を、直前に撮影した画像と重複領域が生じるように切り出す画像切出手段と、
撮影方向を検出する撮影方向検出手段と、
撮影方向に応じて上記画像切出手段で切り出す画像領域の形状やサイズを変更する切り出し領域変更手段と、を有し、
上記切り出し領域変更手段によって変更した切り出し領域を、上記画像切出手段により切り出し、画像領域を順次重ね合わせることにより、
上記撮影範囲全体を表す全体画像を生成する全体画像生成手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によると、撮影方向によって撮影画像の切り出し領域を変更することができるため、光学特性に優れた画像を縦横両方向に結合することが可能である。本発明によれば、縦横斜め方向へ展開するパノラマ撮影が可能である撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１の構成図である。
【図２】撮影した切り出し画像を重ね合わせつつ合成する説明図である。
【図３】切り出し画像を合成する模式図である。
【図４】切り出し画像を重ねあわせ、パノラマ合成画像を作成する説明図である。
【図５】撮影方向に応じて切り出し領域が変わることを説明する図である。
【図６】各種撮影パラメータの計算手順を示すフローチャートである。
【図７】パノラマ撮影処理を説明するフローチャートである。
【図８】マッチング処理を説明するフローチャートである。
【図９】実施例１の切り出し画像の撮影方向に対して直行する方向を平均化する方法の説明図である。
【図１０】撮像装置が撮影方向に移動して撮影する際に、撮像装置がねじれた場合の影響を説明する図である。
【図１１】実施例２の構成図である。
【図１２】実施例２の切り出し画像の撮影方向に対して直行する方向を平均化する方法の説明図である。
【発明を実施するための形態】
【００１３】
［実施例１］
実施例１ではパノラマ撮影をする際に撮像装置の撮影方向を検出し、撮影方向に応じて切り出し領域を変更する撮像装置について説明する。
【００１４】
この撮像装置では、切り出し領域を任意に変更することにより、図２に示すように撮影方向に応じたスリット状の画像を短い撮影間隔で多数撮影する。その際に、撮像装置の撮影方向を検出し、撮影方向に応じて切り出し領域を変更する。そして撮像したスリット状の画像を互いに重ね合わせつつ接合することにより、図３に示すような撮影範囲全体を表したパノラマ状の全体画像を合成する。
【００１５】
実施例１の構成は図１に示すとおりである。
【００１６】
被写体を撮像する撮像部１０１は、被写体からの像光を結像させるためのレンズ１０２と、絞り駆動部１０３と、入力される被写体像に基づき電気的な撮像信号を生成するＣＭＯＳ(Complementary Metal-Oxide Semiconductor) イメージセンサ１０４とを有している。
【００１７】
また、この撮像装置は、ＣＭＯＳイメージセンサ１０４により生成された撮像信号のばらつきを補償するためのＣＤＳ(Correlated Double Sampling)回路１０５と、Ａ／Ｄ変換部１０６とを備えている。
【００１８】
また、この撮像装置このＡ／Ｄ変換部１０６から供給されるデジタル化した撮像信号としての画像データを一時的に格納し、これに所定の処理を施すディジタルシグナルプロセッサ（ＤＳＰ）１０８と、画像データを格納する記録部１０９とを備えている。
【００１９】
この撮像装置は、ＤＳＰ１０８から供給される画像をユーザに表示するための表示部１０７を備え、接続された内部バス１１２を介して撮像装置全体を制御するためのＣＰＵ（Central Processing Unit）１１１と、内部バス１１２に接続されている。また、各種操作を実行するための操作部１１３と、ＣＰＵ１１１からの制御信号に基づき、ＣＭＯＳイメージセンサ１０４からＤＳＰ１０８に至るまでの信号処理系を制御するタイミングジェネレータ１１０が、内部バス１１２に接続されている。
【００２０】
撮像部１０１は、ＣＰＵ１１１から供給された動作信号に基づき、自動絞り制御動作や自動焦点制御動作等を実行する。また、この撮像部１０１は、かかる動作信号に基づいて、撮影方向を水平、垂直方向へ調整し、また操作部１１３を介して入力される絞り値に応じて、図示しないシャッタ羽根を開閉させることにより絞り量を調整する。
【００２１】
ＣＭＯＳイメージセンサ１０４は、レンズ部１０２並びに絞り駆動部１０３を介して入射される被写体像を電気信号に変換した撮像信号を生成し、これをＣＤＳ回路１０５へ出力する。なお、このＣＭＯＳイメージセンサ１０４は、撮像面上に結像された被写体像のうち一部の領域を選択し、当該領域の画素値のみを効率よく読み出すことができる。
【００２２】
ＣＤＳ回路１０５は、ＣＭＯＳイメージセンサ１０４から供給される撮像信号の雑音を相関二重サンプリング回路を用いて除去し、或いはゲインを増幅させるための処理を施し、これを撮像信号としてＡ／Ｄ変換部１０６へ出力する。Ａ／Ｄ変換部１０６は、このＣＤＳ回路１０５から供給される撮像信号をアナログ／デジタル変換処理し、これをＤＳＰ１０８へと出力する。ちなみに、このＣＤＳ回路１０５及びＡ／Ｄ変換部１３における各動作タイミングは、一定のフレームレートで画像取り込みを継続すべく、タイミングジェネレータ１１０により制御される。
【００２３】
ＤＳＰ１０８は、ともに図示しない信号処理用プロセッサと、画像用ＲＡＭとを有するブロックである。Ａ／Ｄ変換部１０６からの撮像信号で表される画像は、タイミングジェネレータ１１０による制御の下、一定のフレームレートで構成されるストリームデータとして供給され、この画像用ＲＡＭに一時的に格納される。
【００２４】
記録部１０９は、例えば半導体メモリ、磁気記録媒体、光磁気記録媒体等で構成され、圧縮処理された画像データを所定のアドレスに記録するための 媒体である。この記録部１０９を着脱自在な記録媒体として構成することにより、撮像した画像を他のＰＣ等に移し換えてこれを鑑賞し、又は各種検索や処理を実行することができる。
【００２５】
表示部１０７は、ユーザ自身が撮像処理を実行しつつリアルタイムに撮影内容の確認ができるように、撮像装置１の筐体側面等に設けられる液晶表示素子等で構成してもよい。
【００２６】
ＣＰＵ１１１は、内部バス１１２を介して、実行すべき制御プログラムを格納するＲＯＭやデータの蓄積や展開等に使用する作業領域としてのＤＲＡＭ等が接続され、撮像装置全体を制御する中央演算ユニットとしての役割を担う。ＣＰＵ１１１は、操作部１１３から供給される操作信号等の動作信号を生成し、これを内部バス１１２を介して撮像部１０１へ送信する。
【００２７】
操作部１１３は、撮影画角や撮影方向をユーザが自由に調整するため、或いは撮像部１０１における絞り値や露出時間を自由に調整するためのキー等で構成される。この操作部１１３は、ユーザにより入力された情報に応じた操作信号を生成し、これを内部バス１１２を介してＣＰＵ１１１へ送信する。さらに、この操作部１１３は、シャッタボタン１１４を有し、ユーザによるシャッタボタン１１４の押圧入力操作に基づいて、撮像を開始又は停止する旨の操作信号を生成し、これを内部バス１１２を介してＣＰＵ１１１へ送信する。
【００２８】
撮影方向検出部１１５は、撮像装置の撮影方向を検出するもので、水平方向、垂直方向の２軸の変位量を検出することができる。変位量の検出には、加速度センサのような物理量を認識するデバイスから変位を求めても、ＣＭＯＳセンサ１０４からの撮像信号を処理したＤＳＰ１０９からの画像データを元に変位量を求めてもよい。
【００２９】
上述の構成からなる撮像装置より撮像された被写体像は、ＣＭＯＳイメージセンサ１０４において電気信号に変換され撮像信号となり、ＣＤＳ回路１０５により雑音を除去され撮像信号となり、更にはＡ／Ｄ変換部１０６においてアナログ／デジタル変換処理される。
【００３０】
また、この撮像信号で示される画像は、ＤＳＰ１０８における図示しない画像用ＲＡＭに格納され、所定の画像処理が施された後に、表示部１０７において表示され、或いは記録部１０９に記録されることになる。
【００３１】
次に、本発明を適用した具体的な撮影方法を説明する。
【００３２】
この撮像装置では、切り出し領域を任意に変更することにより、図２に示すように撮影方向に応じたスリット状の画像を、短い撮影間隔で多数撮影する。ここで、図２（ａ）は撮像装置の撮影方向を上下に移動させたときの切り出し領域で、図２（ｂ）は撮像装置の撮影方向を左右に移動させたときの切り出し領域で、図２（ｃ）は撮像装置の撮影方向を斜めに移動させたときの切り出し領域である。撮像したスリット状の画像を互いに重ね合わせつつ接合することにより、図３に示すような撮影範囲全体を表したパノラマ状の全体画像を合成する。即ち、幅の狭いスリット状の画像を接合することにより、視差やレンズ歪等が原因となる画像の不連続が生じるのを軽減できる。また、短時間でこれらの幅の狭いスリット状画像を撮影することにより、動被写体による画像の不連続が生じるのを軽減できる。
【００３３】
また、本発明では撮影方向検出部１１５によって検出された、水平方向、垂直方向の変位量から切り出し領域を決定する。例えば、撮像装置の撮影方向が上方向の場合の切り出し領域を図５（ａ）に示す。実際の撮像装置の撮影方向を、撮影方向検出部１１５が水平方向、垂直方向のそれぞれの変位量から認識する。例えば、図５（ａ）の場合、撮影方向検出部１１５が垂直方向には上方向の変位を、水平方向には変位が０であることを認識し、その変位量を合成することで、撮像装置の撮影方向を認識する。
【００３４】
撮影方向を認識すれば、その撮影方向に対して垂直方向に長い、切り出し領域を設定する。
【００３５】
同様に、図５（ｂ）では、垂直方向には下方向の変位を、水平方向には左方向の変位があることを認識し、その変位量を合成して撮像装置の撮影方向を認識する。そして、切り出し領域は撮影方向の垂直方向に長い、つまり左上から右下へ長い領域が指定される。
【００３６】
図５（ｃ）も同様で上方向、右方向の変位を認識し、撮像装置が右上に変位していると判断する。そして、切り出し領域は、左上から右下へ長い領域が指定される。
【００３７】
本発明では、この重ね合わせ枚数Ｌは、生成すべき全体画像の各画像位置につき平均して２以上の画像領域を重複させることを構成要件（好適には重なり枚数が２以上である）としてもよい。これにより、各画像位置につき少なくとも２枚以上の画像領域が重なって形成されることになり、最終的に生成される全体画像につき全ての画像位置でノイズの軽減が図られ、画質の改善がなされていることになる。
【００３８】
次に、本発明を適用した撮像装置においてパノラマ読み出しに基づき撮影する手順につき説明をする。
【００３９】
このパノラマ読み出しでは、図６に示すように、先ずＳ６０１において各種撮影パラメータを計算する。このＳ６０１では、明るさに関する情報を取得し、絞り値やシャッタ速度等の撮影パラメータを計算する。
【００４０】
このような図６に示されるＳ６０１の詳細を実行した後、図６に示されるＳ６０２へ移行し、操作部１１３におけるシャッタボタン１１４が押圧入力操作に基づく操作信号が生成されたか否か識別する。その結果、かかる操作信号の生成を識別することができた場合には、Ｓ６０３へ移行しパノラマ撮影処理を実行する。これに対して、かかる操作信号の生成を識別することができなかった場合には、再びＳ６０１へ戻り、上述した処理を繰り返し実行する。
【００４１】
図７は、このＳ６０３におけるパノラマ撮影処理手順を更に詳細に示したフローチャートである。撮像部１０１は、この図７に示すＳ７０１において、撮像装置の撮影方向を検出する。撮影方向の検出は、撮影方向検出部１１５により行われる。
【００４２】
次に、Ｓ７０２において、撮影方向に応じた切り出し領域を設定する。撮影方向は撮影方向検出部１１５によって検出し、撮影方向に対して垂直方向に長い切り出し領域を設定する。
【００４３】
次に、Ｓ７０３において、画像の撮像を実行する。この撮像においては、Ｓ６０１において決定した撮影パラメータを使用する。なお、この撮影パラメータは、Ｓ７０３を実行する都度、Ｓ６０１と同様の処理を実行することにより、これを順次更新するようにしてもよい。このＳ７０３において撮像された被写体像がＣＭＯＳイメージセンサ１０４において電気信号に変換され、また一部のスリット状の画像領域が選択され、当該画像領域の画素値が読み出されて撮像信号となる。またこの撮像信号は上述の如く順次撮像信号に変換され、ＤＳＰ１０８における図示しない画像用ＲＡＭに格納された後、Ｓ７０４へ移行する。
【００４４】
Ｓ７０４では、新たに取得した画像領域と、先に撮像した画像領域との相対変位を計算するマッチング処理を行う。
【００４５】
図８は、このＳ７０４におけるマッチング処理手順を更に詳細に示したフローチャートである。
【００４６】
先ずＤＳＰ１０８は、ＣＰＵ１１１による制御の下、図８に示すＳ８０１では、新たに取得した画像領域の黒レベル補償処理やガンマ補正処理等の前処理を実行する。
【００４７】
Ｓ８０２では、取得した画像領域につきローパスフィルタを適用してその結果をリサンプリングする。撮影方向の移動速度が速い場合、それに応じた高速なシャッタが必要だが、その場合、通常の撮影時間よりも短い露出時間で撮影するため、得られた画像全体が暗くなり、ノイズが多くなってしまう。このため、このＳ８０２において実際にマッチング処理を行う前にこのノイズを軽減する。本実施の形態では、撮影方向の変位の精度が重要となるため、変位方向に対して直交する方向を平均化するようにフィルタをかける。本発明では、撮影方向に対する直交する方向を平均化する。このフィルタリング処理は、図９（ａ）に示すように、９０１に示すような画像領域を新たに取得した場合に、先ず画像領域９０１を複数の行に分割し、列毎にそれぞれ平均化する。図９（ａ）に示す例では、行方向に配列される５画素分を１グループとして平均化した場合、９０２に示すような一次元の画像列９０３,９０４,９０５が得られる。この画像列を以後のマッチング処理において使用する。
【００４８】
ここで、撮像装置の撮影方向が水平方向ではなく、斜めや上下の場合は図９（ｂ）、図９（ｃ）に示すように平均化する画素が異なる。例えば、撮影方向が右上から左下方向の斜め方向の場合は、図９（ｂ）に示すように撮影方向に垂直に配列される画素を１グループとして平均化する。画素領域９０６を複数の斜めの行に分解し、９０７に示す斜めの列毎にそれぞれ平均化する。その結果、９０８、９０９、９１０のような1次元の斜めの画素列が得られ、この画素列をマッチング処理に使用する。
【００４９】
図９（ｃ）においても同様で、撮影方向が上下の場合を示している。
【００５０】
Ｓ８０３へ移行した場合には、上記画像領域９０１より以前に撮像して得られた画像領域における正規化を行う。この撮影済みの画像領域は、多数の画素を記憶する比較的大きな記憶領域に順次重ねて記憶されている。この記憶領域に重ね合わせて生成された画像領域を以後キャンバス画像という。キャンバス画像を構成する各画素は、通常の画像のようにＲ,Ｇ,Ｂの３原色成分に加え、重ね合わせ枚数Ｌを合わせた４つの要素で定義することができる。新たに画像が撮像されるにつれて、重ね合わせ枚数Ｌを１ずつ増加させてゆく。次にＳ８０４へ移行し、Ｓ８０２におけるフィルタリング処理並びにリサンプリング処理を、Ｓ８０３において正規化された画像につき適用する。そして変位方向に対して直交する方向としての垂直方向を平均化するフィルタリング処理を施す。ここでは、図９（ａ）に示す撮像装置の移動方向が水平の場合を考える。上述したキャンバスの画像に対応する、図示していない一次元の画像列９０３ａ、９０４ａ、９０５ａを生成する。ちなみに、これら画像列９０３ａ、９０４ａ、９０５ａは、それぞれ画像列９０３、９０４、９０５に対応することになる。
【００５１】
次にＳ８０５へ移行し、Ｓ８０２により得られた画像列９０３、９０４９０５と、Ｓ８０４により得られた画像列９０３ａ９０４ａ９０５ａを互いにパターンマッチングさせる。そして、互いの画像列の相対位置変位を求める。マッチングさせる画像列は、Ｓ８０２とＳ８０４においてそれぞれフィルタリング処理が施されているため、ノイズの影響のない高精度なマッチングを実現することができる。このパターンマッチングは、例えば画像列９０３に対応する画像列９０３ａを互いにずらしながら相関値を求め、その値が最大となる位置が、両画像列が最も相関する位置（以下、最大相関位置という。）として特定する。これを全ての画像列につき実行する。
【００５２】
これらＳ８０５におけるマッチング処理を終了させた後、図７におけるＳ７０５の重ね合わせ処理を実行する。この重ね合わせ処理では、Ｓ７０２において求められた最大相関位置に、上記新たに撮像して得られた画像領域９０１を合わせるための補正を実行する。そして、当該画像領域９０１は、キャンバス画像上に画素毎に足し合わせる処理を実行する。これにより、パノラマ状の全体画像を構成する各画素値を複数の画像領域の画素値の合計から計算することができ、ランダムノイズが軽減されたＳ／Ｎ比のよい全体画像を得ることが可能となり、ひいては、見た目の自然な良質の全体画像を作り出すことができる。
【００５３】
Ｓ７０５における重ね合わせ処理を終了させた後、Ｓ７０６へ移行し、操作部１１３におけるシャッタボタン１１４の押圧入力が継続しているか否か、操作信号を介して識別する。その結果、未だ当該押圧入力操作が継続している場合には、Ｓ７０１へ戻り、被写体の撮像を繰り返す。これに対して、シャッタボタン１１４の押圧入力が終了しているものと識別した場合には、図５に示すＳ６０４の処理を終了させ、図６に示すＳ６０５へ移行する。
【００５４】
最後にＳ６０５へ移行し、取得した画像データを、記録部１１３へ書き込むことで処理を終了させる。
【００５５】
このように、本発明を適用した撮像装置では、光学特性の良い画像を重ねたパノラマ撮影を行うことができ、従来のパノラマ撮影で問題となっていた、重ね合わせる画像間の光学的収差による影響を低減できる。更に、撮影方向に応じて切り出し領域と読み出し画像の重ね合わせを変更することで、従来一方向にしか撮影できなかったパノラマ画像を、縦横斜めの全方向に撮影することができ、全方向に展開するパノラマ撮影が可能となった。
【００５６】
また、本発明を適用した撮像装置では、切り出した画像領域間を重複させることによる画質を向上を実現することに加え、さらにカメラの旋回と停止を高速かつ正確に繰り返すハードウェアも必要なくなり、システム全体のコストを抑え込むことができる。
【００５７】
また、撮像部１０１における撮像が実行される度に、上記画像領域の重ね合わせを行い、さらに重ね合わせ終了後の当該画像領域を廃棄するようにしてもよい。これにより、処理に必要なメモリの容量を小さくすることができるため、ハードウェアの実現コストを低くすることができ、リアルタイム処理により適したシステムを構築することも可能となる。
【００５８】
本発明では、さらにこのパノラマ読み出しにおいて、スリット状の画像領域を図４に示すように、互いに重複領域が生じるように切り出す。例えば、図４においては、１／２の感度で撮影された画像領域を２枚重ね合わせることにより１倍の感度相当で撮影した画像が得られ、ノイズ成分の目立たない良質な全体画像を作り出すことが可能となる。
【００５９】
このように、本発明では、所定サイズの画像領域を互いに重複領域が生じるように切り出し、切り出された画像領域を順次重ね合わせる。この画像領域を重ね合わせることによって生じる重複領域を、画質を向上させるために用いることができる。即ち、シャッタ速度を高速化することにより、得られる画像全体が暗くなり、またノイズも増加する場合であっても、重複領域を作り出すことで良質の画像を生成することができる。
【００６０】
また、本発明を実施する際に、直前に撮影した画像との変位量に応じて切り出し領域の幅を変更してもよい。具体的には、直前に撮影した画像との変位量が大きい場合、撮影方向の切り出し領域の幅を広げ、直前に撮影した画像との変位量が小さい場合、撮影方向の切り出し領域の幅を予め決めた幅か、それより狭くする。
【００６１】
以上に示す通り、撮影方向に応じて切り出し領域を変更することで、縦横両方向に画像を結合するパノラマ画像を撮影することができる。
【００６２】
［実施例２］
実施例２ではパノラマ撮影をする際に撮像装置の傾きを検出し、傾きに応じて切り出し領域を変更する撮像装置について説明する。
【００６３】
この撮像装置では、撮影方向を任意にシフトさせることにより、図１０（ａ）に示すように撮影方向に応じたスリット状の画像を短い撮影間隔で多数撮影する。撮影方向を移動する際に、撮像装置を垂直にしなければ、図１０（ｂ）に示すように切り出し領域の画角の角度がフレーム毎に異なるため、画像を合成する際に画像毎の角度が異なる、歪んだ画像が作成される。
【００６４】
撮像装置の傾きを検出し、傾きに応じて切り出し領域を変更する。そして撮像したスリット状の画像を互いに重ね合わせつつ接合することにより、図１０（ｃ）に示すように、撮像装置が傾いても、画像合成に必要な画角の画像を記録できる。
【００６５】
実施例２の構成は図１１に示すように、角度検出器１１１６が搭載されている個所以外は、実施例１と同じである。
【００６６】
次に、本発明を適用した具体的な撮影方法を説明する。
【００６７】
撮影方法は実施例１で説明した図６、図７、図８と同様である。
【００６８】
ここで、Ｓ８０２では、取得した画像領域につきローパスフィルタを適用してその結果をリサンプリングする。撮影方向の移動速度が速い場合、それに応じた高速なシャッタが必要だが、その場合、通常の撮影時間よりも短い露出時間で撮影するため、得られた画像全体が暗くなり、ノイズが多くなってしまう。このため、このＳ８０２において実際にマッチング処理を行う前にこのノイズを軽減する。本実施の形態では、撮影方向の変位の精度が重要となるため、変位方向に対して直交する方向を平均化するようにフィルタをかける。本発明では、撮影方向に対する直交する方向を平均化する。このフィルタリング処理は、図１２（ａ）に示すように、１２０１に示すような画像領域を新たに取得した場合に、先ず画像領域１２０１を複数の行に分割し、列毎にそれぞれ平均化する。図１２（ａ）に示す例では、行方向に配列される３画素分を１グループとして平均化し、１２０２に示すような３列の画像列１２０３,１２０４,１２０５が得られる。この画像列を以後のマッチング処理において使用する。
【００６９】
ここで、撮像装置の撮影方向が水平方向ではなく、斜めや上下の場合は図１２（ｂ）、図１２（ｃ）に示すように平均化する画素が異なる。例えば、撮影方向が右上から左下方向の斜め方向の場合は、図１２（ｂ）に示すように撮影方向に垂直に配列される画素を１グループとして平均化する。画素領域９０６を複数の斜めの行に分解し、１２０７に示す斜めの列毎にそれぞれ平均化する。その結果、１２０８、１２０９、１２１０のような３列の斜めの画素列が得られ、この画素列をマッチング処理に使用する。
【００７０】
図１２（ｃ）においても同様で、撮影方向が上下の場合を示している。
【００７１】
なお、本実施例では図１２のように画像を平均化して３列の画素列に変換しているが、列数を増やしてもよい。また、画素列を作る際に同色画素のみで画素列を構成してもよい。また、平均化する画素数を増やしてもよい。
【００７２】
Ｓ８０３、Ｓ８０４は実施例１と同じである。
【００７３】
Ｓ８０５へ移行し、Ｓ８０２により得られた画像列９０３, ９０４, ９０５と、Ｓ８０４により得られた画像列９０３ａ, ９０４ａ, ９０５ａを互いにパターンマッチングさせる。そして、互いの画像列の相対位置変位を求める。
【００７４】
ここで角度検出部１１１６より前回読みだした画像から撮像装置の角度の変化量を検出する。そして角度の変化分だけＳ８０２で取り込んだ画像を回転させて、マッチングを行う。
【００７５】
以降の処理は実施例１と同じである。
【００７６】
以上に示す構成で、パノラマ撮影をする際に撮像装置の傾きを検出し、傾きに応じて切り出し領域を変更する撮像装置を実現できる。また回転角度に応じて画像を合成する際の角度を変更することで、パノラマ画像を撮影中に撮像装置の角度が変わっても最終的に合成されたパノラマ画像への影響を低減することができる。
【符号の説明】
【００７７】
１０１ 撮像部
１０２ レンズ
１０３ 絞り駆動部
【技術分野】
【０００１】
本発明は、撮像装置に関するもので、その中でもパノラマ撮影における画像の切り出し方法に関するものである。
【背景技術】
【０００２】
従来より広く用いられている単眼式の電子スチルカメラでパノラマ状の画像を撮影するカメラシステムは、連続撮影した個々の単位画像を継ぎ目が目立たないように接合して一枚の全体画像を生成する画像処理技術が必須となる。即ち、撮影方向を順次シフトさせて撮影を行う関係上、撮影された個々の視野は互いに異なることから、パターンマッチング等の技術を用いて隣接する単位画像間の位置ずれ量を推定してこれを補正する必要がある。
【０００３】
ところで、この単眼式のカメラシステムは、連続撮影の結果取得される単位画像の境界付近に被写体が写し出されている場合に、光学的収差によるズレ等の不連続部分が生じる結果、最終的に生成される全体画像において破綻をきたすという問題点もあった。
【０００４】
これに対し特許文献１は、撮影方向を順次変化させて撮影範囲の一部を構成する単位画像を撮像し、撮像ステップにおいて撮像した単位画像の一部を構成する所定サイズの画像領域を互いに重複領域が生じるように切り出す。そして、切り出した画像領域を順次重ね合わせることにより撮影範囲全体を表す全体画像を生成しており、従来問題となっていた単位画像の境界付近のズレによる画像の破綻を抑制できる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2005-328497号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来のカメラシステムでは、横や縦など一方向に画像を接合するだけでなく、２ｘ２や３ｘ３などアスペクト比を保ったまま画像を結合するパノラマ状の画像も撮影できた。
【０００７】
しかしながら、特許文献１では切り出し領域が予め定められていたり、撮影画像を結合する方向が一方向に決まっていたりしており、縦横両方向に画像を結合する切り出し駆動を行うことができなかった。
【０００８】
そのため、特許文献１で縦横方向に結合可能なパノラマ画像の撮影ができなかった。
【０００９】
そこで本発明の目的は、パノラマ撮影を行う際に、撮影方向に応じて切り出し領域を変更し、切り出した画像を順次結合することで、縦横斜め方向へ展開するパノラマ撮影を可能にした撮像装置を提供することである。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、
撮影方向を順次変化させて撮影範囲の一部を撮像する単位画像撮像手段と、
上記単位画像撮像手段により撮像された単位画像の一部を構成する所定サイズの画像領域を、直前に撮影した画像と重複領域が生じるように切り出す画像切出手段と、
撮影方向を検出する撮影方向検出手段と、
撮影方向に応じて上記画像切出手段で切り出す画像領域の形状やサイズを変更する切り出し領域変更手段と、を有し、
上記切り出し領域変更手段によって変更した切り出し領域を、上記画像切出手段により切り出し、画像領域を順次重ね合わせることにより、
上記撮影範囲全体を表す全体画像を生成する全体画像生成手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によると、撮影方向によって撮影画像の切り出し領域を変更することができるため、光学特性に優れた画像を縦横両方向に結合することが可能である。本発明によれば、縦横斜め方向へ展開するパノラマ撮影が可能である撮像装置を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】実施例１の構成図である。
【図２】撮影した切り出し画像を重ね合わせつつ合成する説明図である。
【図３】切り出し画像を合成する模式図である。
【図４】切り出し画像を重ねあわせ、パノラマ合成画像を作成する説明図である。
【図５】撮影方向に応じて切り出し領域が変わることを説明する図である。
【図６】各種撮影パラメータの計算手順を示すフローチャートである。
【図７】パノラマ撮影処理を説明するフローチャートである。
【図８】マッチング処理を説明するフローチャートである。
【図９】実施例１の切り出し画像の撮影方向に対して直行する方向を平均化する方法の説明図である。
【図１０】撮像装置が撮影方向に移動して撮影する際に、撮像装置がねじれた場合の影響を説明する図である。
【図１１】実施例２の構成図である。
【図１２】実施例２の切り出し画像の撮影方向に対して直行する方向を平均化する方法の説明図である。
【発明を実施するための形態】
【００１３】
［実施例１］
実施例１ではパノラマ撮影をする際に撮像装置の撮影方向を検出し、撮影方向に応じて切り出し領域を変更する撮像装置について説明する。
【００１４】
この撮像装置では、切り出し領域を任意に変更することにより、図２に示すように撮影方向に応じたスリット状の画像を短い撮影間隔で多数撮影する。その際に、撮像装置の撮影方向を検出し、撮影方向に応じて切り出し領域を変更する。そして撮像したスリット状の画像を互いに重ね合わせつつ接合することにより、図３に示すような撮影範囲全体を表したパノラマ状の全体画像を合成する。
【００１５】
実施例１の構成は図１に示すとおりである。
【００１６】
被写体を撮像する撮像部１０１は、被写体からの像光を結像させるためのレンズ１０２と、絞り駆動部１０３と、入力される被写体像に基づき電気的な撮像信号を生成するＣＭＯＳ(Complementary Metal-Oxide Semiconductor) イメージセンサ１０４とを有している。
【００１７】
また、この撮像装置は、ＣＭＯＳイメージセンサ１０４により生成された撮像信号のばらつきを補償するためのＣＤＳ(Correlated Double Sampling)回路１０５と、Ａ／Ｄ変換部１０６とを備えている。
【００１８】
また、この撮像装置このＡ／Ｄ変換部１０６から供給されるデジタル化した撮像信号としての画像データを一時的に格納し、これに所定の処理を施すディジタルシグナルプロセッサ（ＤＳＰ）１０８と、画像データを格納する記録部１０９とを備えている。
【００１９】
この撮像装置は、ＤＳＰ１０８から供給される画像をユーザに表示するための表示部１０７を備え、接続された内部バス１１２を介して撮像装置全体を制御するためのＣＰＵ（Central Processing Unit）１１１と、内部バス１１２に接続されている。また、各種操作を実行するための操作部１１３と、ＣＰＵ１１１からの制御信号に基づき、ＣＭＯＳイメージセンサ１０４からＤＳＰ１０８に至るまでの信号処理系を制御するタイミングジェネレータ１１０が、内部バス１１２に接続されている。
【００２０】
撮像部１０１は、ＣＰＵ１１１から供給された動作信号に基づき、自動絞り制御動作や自動焦点制御動作等を実行する。また、この撮像部１０１は、かかる動作信号に基づいて、撮影方向を水平、垂直方向へ調整し、また操作部１１３を介して入力される絞り値に応じて、図示しないシャッタ羽根を開閉させることにより絞り量を調整する。
【００２１】
ＣＭＯＳイメージセンサ１０４は、レンズ部１０２並びに絞り駆動部１０３を介して入射される被写体像を電気信号に変換した撮像信号を生成し、これをＣＤＳ回路１０５へ出力する。なお、このＣＭＯＳイメージセンサ１０４は、撮像面上に結像された被写体像のうち一部の領域を選択し、当該領域の画素値のみを効率よく読み出すことができる。
【００２２】
ＣＤＳ回路１０５は、ＣＭＯＳイメージセンサ１０４から供給される撮像信号の雑音を相関二重サンプリング回路を用いて除去し、或いはゲインを増幅させるための処理を施し、これを撮像信号としてＡ／Ｄ変換部１０６へ出力する。Ａ／Ｄ変換部１０６は、このＣＤＳ回路１０５から供給される撮像信号をアナログ／デジタル変換処理し、これをＤＳＰ１０８へと出力する。ちなみに、このＣＤＳ回路１０５及びＡ／Ｄ変換部１３における各動作タイミングは、一定のフレームレートで画像取り込みを継続すべく、タイミングジェネレータ１１０により制御される。
【００２３】
ＤＳＰ１０８は、ともに図示しない信号処理用プロセッサと、画像用ＲＡＭとを有するブロックである。Ａ／Ｄ変換部１０６からの撮像信号で表される画像は、タイミングジェネレータ１１０による制御の下、一定のフレームレートで構成されるストリームデータとして供給され、この画像用ＲＡＭに一時的に格納される。
【００２４】
記録部１０９は、例えば半導体メモリ、磁気記録媒体、光磁気記録媒体等で構成され、圧縮処理された画像データを所定のアドレスに記録するための 媒体である。この記録部１０９を着脱自在な記録媒体として構成することにより、撮像した画像を他のＰＣ等に移し換えてこれを鑑賞し、又は各種検索や処理を実行することができる。
【００２５】
表示部１０７は、ユーザ自身が撮像処理を実行しつつリアルタイムに撮影内容の確認ができるように、撮像装置１の筐体側面等に設けられる液晶表示素子等で構成してもよい。
【００２６】
ＣＰＵ１１１は、内部バス１１２を介して、実行すべき制御プログラムを格納するＲＯＭやデータの蓄積や展開等に使用する作業領域としてのＤＲＡＭ等が接続され、撮像装置全体を制御する中央演算ユニットとしての役割を担う。ＣＰＵ１１１は、操作部１１３から供給される操作信号等の動作信号を生成し、これを内部バス１１２を介して撮像部１０１へ送信する。
【００２７】
操作部１１３は、撮影画角や撮影方向をユーザが自由に調整するため、或いは撮像部１０１における絞り値や露出時間を自由に調整するためのキー等で構成される。この操作部１１３は、ユーザにより入力された情報に応じた操作信号を生成し、これを内部バス１１２を介してＣＰＵ１１１へ送信する。さらに、この操作部１１３は、シャッタボタン１１４を有し、ユーザによるシャッタボタン１１４の押圧入力操作に基づいて、撮像を開始又は停止する旨の操作信号を生成し、これを内部バス１１２を介してＣＰＵ１１１へ送信する。
【００２８】
撮影方向検出部１１５は、撮像装置の撮影方向を検出するもので、水平方向、垂直方向の２軸の変位量を検出することができる。変位量の検出には、加速度センサのような物理量を認識するデバイスから変位を求めても、ＣＭＯＳセンサ１０４からの撮像信号を処理したＤＳＰ１０９からの画像データを元に変位量を求めてもよい。
【００２９】
上述の構成からなる撮像装置より撮像された被写体像は、ＣＭＯＳイメージセンサ１０４において電気信号に変換され撮像信号となり、ＣＤＳ回路１０５により雑音を除去され撮像信号となり、更にはＡ／Ｄ変換部１０６においてアナログ／デジタル変換処理される。
【００３０】
また、この撮像信号で示される画像は、ＤＳＰ１０８における図示しない画像用ＲＡＭに格納され、所定の画像処理が施された後に、表示部１０７において表示され、或いは記録部１０９に記録されることになる。
【００３１】
次に、本発明を適用した具体的な撮影方法を説明する。
【００３２】
この撮像装置では、切り出し領域を任意に変更することにより、図２に示すように撮影方向に応じたスリット状の画像を、短い撮影間隔で多数撮影する。ここで、図２（ａ）は撮像装置の撮影方向を上下に移動させたときの切り出し領域で、図２（ｂ）は撮像装置の撮影方向を左右に移動させたときの切り出し領域で、図２（ｃ）は撮像装置の撮影方向を斜めに移動させたときの切り出し領域である。撮像したスリット状の画像を互いに重ね合わせつつ接合することにより、図３に示すような撮影範囲全体を表したパノラマ状の全体画像を合成する。即ち、幅の狭いスリット状の画像を接合することにより、視差やレンズ歪等が原因となる画像の不連続が生じるのを軽減できる。また、短時間でこれらの幅の狭いスリット状画像を撮影することにより、動被写体による画像の不連続が生じるのを軽減できる。
【００３３】
また、本発明では撮影方向検出部１１５によって検出された、水平方向、垂直方向の変位量から切り出し領域を決定する。例えば、撮像装置の撮影方向が上方向の場合の切り出し領域を図５（ａ）に示す。実際の撮像装置の撮影方向を、撮影方向検出部１１５が水平方向、垂直方向のそれぞれの変位量から認識する。例えば、図５（ａ）の場合、撮影方向検出部１１５が垂直方向には上方向の変位を、水平方向には変位が０であることを認識し、その変位量を合成することで、撮像装置の撮影方向を認識する。
【００３４】
撮影方向を認識すれば、その撮影方向に対して垂直方向に長い、切り出し領域を設定する。
【００３５】
同様に、図５（ｂ）では、垂直方向には下方向の変位を、水平方向には左方向の変位があることを認識し、その変位量を合成して撮像装置の撮影方向を認識する。そして、切り出し領域は撮影方向の垂直方向に長い、つまり左上から右下へ長い領域が指定される。
【００３６】
図５（ｃ）も同様で上方向、右方向の変位を認識し、撮像装置が右上に変位していると判断する。そして、切り出し領域は、左上から右下へ長い領域が指定される。
【００３７】
本発明では、この重ね合わせ枚数Ｌは、生成すべき全体画像の各画像位置につき平均して２以上の画像領域を重複させることを構成要件（好適には重なり枚数が２以上である）としてもよい。これにより、各画像位置につき少なくとも２枚以上の画像領域が重なって形成されることになり、最終的に生成される全体画像につき全ての画像位置でノイズの軽減が図られ、画質の改善がなされていることになる。
【００３８】
次に、本発明を適用した撮像装置においてパノラマ読み出しに基づき撮影する手順につき説明をする。
【００３９】
このパノラマ読み出しでは、図６に示すように、先ずＳ６０１において各種撮影パラメータを計算する。このＳ６０１では、明るさに関する情報を取得し、絞り値やシャッタ速度等の撮影パラメータを計算する。
【００４０】
このような図６に示されるＳ６０１の詳細を実行した後、図６に示されるＳ６０２へ移行し、操作部１１３におけるシャッタボタン１１４が押圧入力操作に基づく操作信号が生成されたか否か識別する。その結果、かかる操作信号の生成を識別することができた場合には、Ｓ６０３へ移行しパノラマ撮影処理を実行する。これに対して、かかる操作信号の生成を識別することができなかった場合には、再びＳ６０１へ戻り、上述した処理を繰り返し実行する。
【００４１】
図７は、このＳ６０３におけるパノラマ撮影処理手順を更に詳細に示したフローチャートである。撮像部１０１は、この図７に示すＳ７０１において、撮像装置の撮影方向を検出する。撮影方向の検出は、撮影方向検出部１１５により行われる。
【００４２】
次に、Ｓ７０２において、撮影方向に応じた切り出し領域を設定する。撮影方向は撮影方向検出部１１５によって検出し、撮影方向に対して垂直方向に長い切り出し領域を設定する。
【００４３】
次に、Ｓ７０３において、画像の撮像を実行する。この撮像においては、Ｓ６０１において決定した撮影パラメータを使用する。なお、この撮影パラメータは、Ｓ７０３を実行する都度、Ｓ６０１と同様の処理を実行することにより、これを順次更新するようにしてもよい。このＳ７０３において撮像された被写体像がＣＭＯＳイメージセンサ１０４において電気信号に変換され、また一部のスリット状の画像領域が選択され、当該画像領域の画素値が読み出されて撮像信号となる。またこの撮像信号は上述の如く順次撮像信号に変換され、ＤＳＰ１０８における図示しない画像用ＲＡＭに格納された後、Ｓ７０４へ移行する。
【００４４】
Ｓ７０４では、新たに取得した画像領域と、先に撮像した画像領域との相対変位を計算するマッチング処理を行う。
【００４５】
図８は、このＳ７０４におけるマッチング処理手順を更に詳細に示したフローチャートである。
【００４６】
先ずＤＳＰ１０８は、ＣＰＵ１１１による制御の下、図８に示すＳ８０１では、新たに取得した画像領域の黒レベル補償処理やガンマ補正処理等の前処理を実行する。
【００４７】
Ｓ８０２では、取得した画像領域につきローパスフィルタを適用してその結果をリサンプリングする。撮影方向の移動速度が速い場合、それに応じた高速なシャッタが必要だが、その場合、通常の撮影時間よりも短い露出時間で撮影するため、得られた画像全体が暗くなり、ノイズが多くなってしまう。このため、このＳ８０２において実際にマッチング処理を行う前にこのノイズを軽減する。本実施の形態では、撮影方向の変位の精度が重要となるため、変位方向に対して直交する方向を平均化するようにフィルタをかける。本発明では、撮影方向に対する直交する方向を平均化する。このフィルタリング処理は、図９（ａ）に示すように、９０１に示すような画像領域を新たに取得した場合に、先ず画像領域９０１を複数の行に分割し、列毎にそれぞれ平均化する。図９（ａ）に示す例では、行方向に配列される５画素分を１グループとして平均化した場合、９０２に示すような一次元の画像列９０３,９０４,９０５が得られる。この画像列を以後のマッチング処理において使用する。
【００４８】
ここで、撮像装置の撮影方向が水平方向ではなく、斜めや上下の場合は図９（ｂ）、図９（ｃ）に示すように平均化する画素が異なる。例えば、撮影方向が右上から左下方向の斜め方向の場合は、図９（ｂ）に示すように撮影方向に垂直に配列される画素を１グループとして平均化する。画素領域９０６を複数の斜めの行に分解し、９０７に示す斜めの列毎にそれぞれ平均化する。その結果、９０８、９０９、９１０のような1次元の斜めの画素列が得られ、この画素列をマッチング処理に使用する。
【００４９】
図９（ｃ）においても同様で、撮影方向が上下の場合を示している。
【００５０】
Ｓ８０３へ移行した場合には、上記画像領域９０１より以前に撮像して得られた画像領域における正規化を行う。この撮影済みの画像領域は、多数の画素を記憶する比較的大きな記憶領域に順次重ねて記憶されている。この記憶領域に重ね合わせて生成された画像領域を以後キャンバス画像という。キャンバス画像を構成する各画素は、通常の画像のようにＲ,Ｇ,Ｂの３原色成分に加え、重ね合わせ枚数Ｌを合わせた４つの要素で定義することができる。新たに画像が撮像されるにつれて、重ね合わせ枚数Ｌを１ずつ増加させてゆく。次にＳ８０４へ移行し、Ｓ８０２におけるフィルタリング処理並びにリサンプリング処理を、Ｓ８０３において正規化された画像につき適用する。そして変位方向に対して直交する方向としての垂直方向を平均化するフィルタリング処理を施す。ここでは、図９（ａ）に示す撮像装置の移動方向が水平の場合を考える。上述したキャンバスの画像に対応する、図示していない一次元の画像列９０３ａ、９０４ａ、９０５ａを生成する。ちなみに、これら画像列９０３ａ、９０４ａ、９０５ａは、それぞれ画像列９０３、９０４、９０５に対応することになる。
【００５１】
次にＳ８０５へ移行し、Ｓ８０２により得られた画像列９０３、９０４９０５と、Ｓ８０４により得られた画像列９０３ａ９０４ａ９０５ａを互いにパターンマッチングさせる。そして、互いの画像列の相対位置変位を求める。マッチングさせる画像列は、Ｓ８０２とＳ８０４においてそれぞれフィルタリング処理が施されているため、ノイズの影響のない高精度なマッチングを実現することができる。このパターンマッチングは、例えば画像列９０３に対応する画像列９０３ａを互いにずらしながら相関値を求め、その値が最大となる位置が、両画像列が最も相関する位置（以下、最大相関位置という。）として特定する。これを全ての画像列につき実行する。
【００５２】
これらＳ８０５におけるマッチング処理を終了させた後、図７におけるＳ７０５の重ね合わせ処理を実行する。この重ね合わせ処理では、Ｓ７０２において求められた最大相関位置に、上記新たに撮像して得られた画像領域９０１を合わせるための補正を実行する。そして、当該画像領域９０１は、キャンバス画像上に画素毎に足し合わせる処理を実行する。これにより、パノラマ状の全体画像を構成する各画素値を複数の画像領域の画素値の合計から計算することができ、ランダムノイズが軽減されたＳ／Ｎ比のよい全体画像を得ることが可能となり、ひいては、見た目の自然な良質の全体画像を作り出すことができる。
【００５３】
Ｓ７０５における重ね合わせ処理を終了させた後、Ｓ７０６へ移行し、操作部１１３におけるシャッタボタン１１４の押圧入力が継続しているか否か、操作信号を介して識別する。その結果、未だ当該押圧入力操作が継続している場合には、Ｓ７０１へ戻り、被写体の撮像を繰り返す。これに対して、シャッタボタン１１４の押圧入力が終了しているものと識別した場合には、図５に示すＳ６０４の処理を終了させ、図６に示すＳ６０５へ移行する。
【００５４】
最後にＳ６０５へ移行し、取得した画像データを、記録部１１３へ書き込むことで処理を終了させる。
【００５５】
このように、本発明を適用した撮像装置では、光学特性の良い画像を重ねたパノラマ撮影を行うことができ、従来のパノラマ撮影で問題となっていた、重ね合わせる画像間の光学的収差による影響を低減できる。更に、撮影方向に応じて切り出し領域と読み出し画像の重ね合わせを変更することで、従来一方向にしか撮影できなかったパノラマ画像を、縦横斜めの全方向に撮影することができ、全方向に展開するパノラマ撮影が可能となった。
【００５６】
また、本発明を適用した撮像装置では、切り出した画像領域間を重複させることによる画質を向上を実現することに加え、さらにカメラの旋回と停止を高速かつ正確に繰り返すハードウェアも必要なくなり、システム全体のコストを抑え込むことができる。
【００５７】
また、撮像部１０１における撮像が実行される度に、上記画像領域の重ね合わせを行い、さらに重ね合わせ終了後の当該画像領域を廃棄するようにしてもよい。これにより、処理に必要なメモリの容量を小さくすることができるため、ハードウェアの実現コストを低くすることができ、リアルタイム処理により適したシステムを構築することも可能となる。
【００５８】
本発明では、さらにこのパノラマ読み出しにおいて、スリット状の画像領域を図４に示すように、互いに重複領域が生じるように切り出す。例えば、図４においては、１／２の感度で撮影された画像領域を２枚重ね合わせることにより１倍の感度相当で撮影した画像が得られ、ノイズ成分の目立たない良質な全体画像を作り出すことが可能となる。
【００５９】
このように、本発明では、所定サイズの画像領域を互いに重複領域が生じるように切り出し、切り出された画像領域を順次重ね合わせる。この画像領域を重ね合わせることによって生じる重複領域を、画質を向上させるために用いることができる。即ち、シャッタ速度を高速化することにより、得られる画像全体が暗くなり、またノイズも増加する場合であっても、重複領域を作り出すことで良質の画像を生成することができる。
【００６０】
また、本発明を実施する際に、直前に撮影した画像との変位量に応じて切り出し領域の幅を変更してもよい。具体的には、直前に撮影した画像との変位量が大きい場合、撮影方向の切り出し領域の幅を広げ、直前に撮影した画像との変位量が小さい場合、撮影方向の切り出し領域の幅を予め決めた幅か、それより狭くする。
【００６１】
以上に示す通り、撮影方向に応じて切り出し領域を変更することで、縦横両方向に画像を結合するパノラマ画像を撮影することができる。
【００６２】
［実施例２］
実施例２ではパノラマ撮影をする際に撮像装置の傾きを検出し、傾きに応じて切り出し領域を変更する撮像装置について説明する。
【００６３】
この撮像装置では、撮影方向を任意にシフトさせることにより、図１０（ａ）に示すように撮影方向に応じたスリット状の画像を短い撮影間隔で多数撮影する。撮影方向を移動する際に、撮像装置を垂直にしなければ、図１０（ｂ）に示すように切り出し領域の画角の角度がフレーム毎に異なるため、画像を合成する際に画像毎の角度が異なる、歪んだ画像が作成される。
【００６４】
撮像装置の傾きを検出し、傾きに応じて切り出し領域を変更する。そして撮像したスリット状の画像を互いに重ね合わせつつ接合することにより、図１０（ｃ）に示すように、撮像装置が傾いても、画像合成に必要な画角の画像を記録できる。
【００６５】
実施例２の構成は図１１に示すように、角度検出器１１１６が搭載されている個所以外は、実施例１と同じである。
【００６６】
次に、本発明を適用した具体的な撮影方法を説明する。
【００６７】
撮影方法は実施例１で説明した図６、図７、図８と同様である。
【００６８】
ここで、Ｓ８０２では、取得した画像領域につきローパスフィルタを適用してその結果をリサンプリングする。撮影方向の移動速度が速い場合、それに応じた高速なシャッタが必要だが、その場合、通常の撮影時間よりも短い露出時間で撮影するため、得られた画像全体が暗くなり、ノイズが多くなってしまう。このため、このＳ８０２において実際にマッチング処理を行う前にこのノイズを軽減する。本実施の形態では、撮影方向の変位の精度が重要となるため、変位方向に対して直交する方向を平均化するようにフィルタをかける。本発明では、撮影方向に対する直交する方向を平均化する。このフィルタリング処理は、図１２（ａ）に示すように、１２０１に示すような画像領域を新たに取得した場合に、先ず画像領域１２０１を複数の行に分割し、列毎にそれぞれ平均化する。図１２（ａ）に示す例では、行方向に配列される３画素分を１グループとして平均化し、１２０２に示すような３列の画像列１２０３,１２０４,１２０５が得られる。この画像列を以後のマッチング処理において使用する。
【００６９】
ここで、撮像装置の撮影方向が水平方向ではなく、斜めや上下の場合は図１２（ｂ）、図１２（ｃ）に示すように平均化する画素が異なる。例えば、撮影方向が右上から左下方向の斜め方向の場合は、図１２（ｂ）に示すように撮影方向に垂直に配列される画素を１グループとして平均化する。画素領域９０６を複数の斜めの行に分解し、１２０７に示す斜めの列毎にそれぞれ平均化する。その結果、１２０８、１２０９、１２１０のような３列の斜めの画素列が得られ、この画素列をマッチング処理に使用する。
【００７０】
図１２（ｃ）においても同様で、撮影方向が上下の場合を示している。
【００７１】
なお、本実施例では図１２のように画像を平均化して３列の画素列に変換しているが、列数を増やしてもよい。また、画素列を作る際に同色画素のみで画素列を構成してもよい。また、平均化する画素数を増やしてもよい。
【００７２】
Ｓ８０３、Ｓ８０４は実施例１と同じである。
【００７３】
Ｓ８０５へ移行し、Ｓ８０２により得られた画像列９０３, ９０４, ９０５と、Ｓ８０４により得られた画像列９０３ａ, ９０４ａ, ９０５ａを互いにパターンマッチングさせる。そして、互いの画像列の相対位置変位を求める。
【００７４】
ここで角度検出部１１１６より前回読みだした画像から撮像装置の角度の変化量を検出する。そして角度の変化分だけＳ８０２で取り込んだ画像を回転させて、マッチングを行う。
【００７５】
以降の処理は実施例１と同じである。
【００７６】
以上に示す構成で、パノラマ撮影をする際に撮像装置の傾きを検出し、傾きに応じて切り出し領域を変更する撮像装置を実現できる。また回転角度に応じて画像を合成する際の角度を変更することで、パノラマ画像を撮影中に撮像装置の角度が変わっても最終的に合成されたパノラマ画像への影響を低減することができる。
【符号の説明】
【００７７】
１０１ 撮像部
１０２ レンズ
１０３ 絞り駆動部
【特許請求の範囲】
【請求項１】
撮影方向を順次変化させて撮影範囲の一部を撮像する単位画像撮像手段と、
上記単位画像撮像手段により撮像された単位画像の一部を構成する所定サイズの画像領域を、直前に撮影した画像と重複領域が生じるように切り出す画像切出手段と、
撮影方向を検出する撮影方向検出手段と、
撮影方向に応じて上記画像切出手段で切り出す画像領域の形状やサイズを変更する切り出し領域変更手段と、を有し、
上記切り出し領域変更手段によって変更した切り出し領域を、上記画像切出手段により切り出し、画像領域を順次重ね合わせることにより、
上記撮影範囲全体を表す全体画像を生成する全体画像生成手段とを備えることを特徴とする撮像装置。
【請求項２】
撮影方向を順次変化させて撮影範囲の一部を撮像する単位画像撮像手段と、
上記単位画像撮像手段により撮像された単位画像の一部を構成する所定サイズの画像領域を、直前に撮影した画像と重複領域が生じるように切り出す画像切出手段と、
撮影方向を検出する撮影方向検出手段と、
撮像装置の傾き角度を検出する角度検出手段と、
撮影方向に応じて上記画像切出手段で切り出す画像領域の形状やサイズを変更する切り出し領域変更手段と、を有し、
上記切り出し領域変更手段によって変更した切り出し領域を、上記画像切出手段により切り出し、画像領域を順次重ね合わせる際に、
上記角度検出手段から得られた角度情報より重ね合わせる画像の角度を変更し、
上記撮影範囲全体を表す全体画像を生成する全体画像生成手段とを備えることを特徴とする撮像装置。
【請求項３】
撮影方向を順次変化させる速度に応じて切り出し領域の幅を変更することを特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項１】
撮影方向を順次変化させて撮影範囲の一部を撮像する単位画像撮像手段と、
上記単位画像撮像手段により撮像された単位画像の一部を構成する所定サイズの画像領域を、直前に撮影した画像と重複領域が生じるように切り出す画像切出手段と、
撮影方向を検出する撮影方向検出手段と、
撮影方向に応じて上記画像切出手段で切り出す画像領域の形状やサイズを変更する切り出し領域変更手段と、を有し、
上記切り出し領域変更手段によって変更した切り出し領域を、上記画像切出手段により切り出し、画像領域を順次重ね合わせることにより、
上記撮影範囲全体を表す全体画像を生成する全体画像生成手段とを備えることを特徴とする撮像装置。
【請求項２】
撮影方向を順次変化させて撮影範囲の一部を撮像する単位画像撮像手段と、
上記単位画像撮像手段により撮像された単位画像の一部を構成する所定サイズの画像領域を、直前に撮影した画像と重複領域が生じるように切り出す画像切出手段と、
撮影方向を検出する撮影方向検出手段と、
撮像装置の傾き角度を検出する角度検出手段と、
撮影方向に応じて上記画像切出手段で切り出す画像領域の形状やサイズを変更する切り出し領域変更手段と、を有し、
上記切り出し領域変更手段によって変更した切り出し領域を、上記画像切出手段により切り出し、画像領域を順次重ね合わせる際に、
上記角度検出手段から得られた角度情報より重ね合わせる画像の角度を変更し、
上記撮影範囲全体を表す全体画像を生成する全体画像生成手段とを備えることを特徴とする撮像装置。
【請求項３】
撮影方向を順次変化させる速度に応じて切り出し領域の幅を変更することを特徴とする請求項１又は請求項２に記載の撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−１０６１８２（Ｐ２０１３−１０６１８２Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４８６４５（Ｐ２０１１−２４８６４５）
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]