高品質な合成パノラマ画像のイン・カメラ生成
【課題】パノラマ画像を自動的に生成する装置及び方法を提供する。
【解決手段】カメラ内のプログラムにより、ユーザが、手間のかかるユーザの「継ぎ合わせ」をせずに、複数のキャプチャされた静止写真及び／又はビデオ・フレームからパノラマ画像出力を生成することが可能になる。ユーザがパンする（いずれかの方向に）所望の対象領域にわたるカメラの制御下で、一連の画像がキャプチャされる。画像がキャプチャされるとき、プログラムは、所望の対象領域がパンされるときに、一連の隣り合う画像の縁部が互いに十分に重なり合うこと、及び、他の必要なカメラ調整（例えば、固定焦点を維持すること）の制御を保証する。一連の重なり合う画像フレームの組を収集し、結合して、少なくとも１つのパノラマ静止写真を生成する。ユーザが、どのように画像を結合してパノラマ画像出力にするかを制御するための設定を変更できることが好ましい。
【解決手段】カメラ内のプログラムにより、ユーザが、手間のかかるユーザの「継ぎ合わせ」をせずに、複数のキャプチャされた静止写真及び／又はビデオ・フレームからパノラマ画像出力を生成することが可能になる。ユーザがパンする（いずれかの方向に）所望の対象領域にわたるカメラの制御下で、一連の画像がキャプチャされる。画像がキャプチャされるとき、プログラムは、所望の対象領域がパンされるときに、一連の隣り合う画像の縁部が互いに十分に重なり合うこと、及び、他の必要なカメラ調整（例えば、固定焦点を維持すること）の制御を保証する。一連の重なり合う画像フレームの組を収集し、結合して、少なくとも１つのパノラマ静止写真を生成する。ユーザが、どのように画像を結合してパノラマ画像出力にするかを制御するための設定を変更できることが好ましい。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、カメラ装置に関し、より特定的にはパノラマ画像の自動生成に関する。
関連出願の相互参照
該当なし
連邦支援開発研究に関する記載
該当なし
コンパクト・ディスクにおいて提出された題材の引用による組み入れ
該当なし
（著作権保護の対象となる題材の注記）
本特許文書の中の題材の一部は、合衆国及び他の国々の著作権法の下の著作権保護を受ける。著作権者は、本特許文献又は本特許開示が米国特許商標庁の公的に入手可能なファイル又は記録において公開されたときに、本特許書類又は本特許開示の何人による複写による複製に対しても異議を申し立てないが、それ以外はいかなるものであれ一切の著作権を留保する。著作権者は、本特許文書を秘密裡に保持するために、制限なく米国特許法施行規則（３７Ｃ．Ｆ．Ｒ．）§１．１４に従う権利を含む、権利のいずれもここに放棄するものではない。
【背景技術】
【０００２】
パノラマ写真撮影は、細長い視野を有する画像のキャプチャを提供し、ワイド形式と呼ばれることも多い。一面では、約１６０°×７５°であるヒトの目のものに近い又はそれよりも大きい視野を与える画像をパノラマ式と名づけることができる。「パノラマ式（ｐａｎｏｒａｍｉｃ）」という用語は、一般に、ワイド形式又はロング形式にトリミングしたものを含む種々の形態のワイド（又はロング）形式の画像のために用い得るが、ここでの議論は、画像センサによってキャプチャされたものを超えて１つ又はそれ以上の方向（例えば、水平方向又は垂直方向）に延ばされた写真を意味するためにこの用語を用いる。
【０００３】
複数のレンズ及びシャッターを用いるカメラが入手可能であるが、これらは高価で、嵩高く、プロの写真家でさえも容易に入手できるものではなく、通常の撮影者には確実に入手できないことが理解されるであろう。
【０００４】
従来型のカメラを用いたパノラマ画像の生成には、現在のところ、一定の露光及び適切な重なり／位置合わせによって多数の対象画像をキャプチャし、その後、物理的な画像の断片を切ってパノラマ式に組み合わせるか、又は、写真エディタで同じことをするかのプロセスを必要とする。どちらの場合でも、高品質の結果を達成するのは、困難で手間がかかる。
【０００５】
単一の画像でキャプチャすることができない、垂直方向又は水平方向に延びるパノラマの広がりの前に立ったとき、人はパノラマ画像形成を使用することを考える。述べたように、パノラマを生成する従来の方法は、ユーザの多大な努力を要し、良好なパノラマ写真を保証できないこともある。ここで生じる別の問題は、撮影者が、画像をキャプチャするプロセスの際に、そのようにキャプチャされた画像が組み合わされたときに所望のパノラマをもたらすかどうかの確信をもつことができないという点である。ユーザは、焦点を固定するのを忘れる、固定されたパノラマ面上に留まっていない、ショットを十分に重ね合わせることができない、カメラをパノラマ面から外して傾けるといった、パノラマの生成に適していない画像をキャプチャすることがある。ユーザが最終的にこれらの画像の作業を始めるときに、付加的な画像を取得することによってこれらの問題を補正するには遅すぎるということになる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、ユーザが努力せずに高品質なパノラマ画像を自動的に生成するシステム及び方法に対する必要性が存在する。これらの必要性及び他のものは、本発明において満たされ、これまで開発されたパノラマ技術の欠陥を克服する。
【課題を解決するための手段】
【０００７】
本発明は、複数の画像をキャプチャすることに応答して、カメラ内で自動的にパノラマ画像を生成するカメラ及び方法である。本発明の重要点の１つは、カメラによる画像の取得が、パノラマの被写体に向けられていること、及び／又は、パノラマ・プロセスに結合されていることである。カメラ自体が、対象画像を自動的にパノラマに処理するだけではなく、キャプチャされた連続的画像間に十分な重なり部分が得られることを保証する。
【０００８】
本発明の一実施形態において、一旦パノラマ・モードが選択されると、撮影者は、対象を横切って（例えば、垂直方向に又は水平方向に）パンしながらシャッターを押し続けるだけでよい。カメラは、十分な重なり部分に加えて、ショットにわたって適切な固定焦点が維持されることを自動的に保証し、十分なコマ数を保証する。ユーザは、カメラに関して、「スナップショット」を撮りながら画像をパンするだけでいい。
【０００９】
本発明は、初心者から熟練者まで、あらゆるユーザのための解決法を提供するものであり、ユーザが、最先端のＣＭＯＳセンサ及びデジタル画像処理技術の組み合わせを用いてパノラマ画像を直接生成する方法に応答して、殆ど努力せずに又は付加的な努力なしに、高品質なパノラマ写真を生成することを可能にする。
【００１０】
以下の用語は、一般に、本明細書に関して説明されるものであり、本明細書の具体的な記述の制約のために解釈されるべきではない。
【００１１】
本明細書で述べられる「パンする（ｐａｎ）」という用語は、水平方向の動き（従来のパン）に応じて生じるか、又は垂直方向の動き（従来の傾斜）に応じて生じるか、或いは垂直方向の動きと水平方向の動きの組み合わせに応じて生じるかによらず、キャプチャされる所望の画像の空間的広がりにわたってカメラを移動させるプロセスに適用される。
【００１２】
「登録する（ｒｅｇｉｓｔｅｒ）」という用語は、多数の定義を有しており、本明細書で述べられるときは、「カメラの動きを登録する」といったカメラの動きの検知又は予測を記述し、パノラマ生成の際に隣り合う画像の位置合わせを記述するためにも用いられる。画像処理の技術分野においては、「位置合わせ（ｒｅｇｉｓｔｅｒ）」という用語が、多くの場合、画像位置合わせプロセスのみを意味するように、より制限的に用いられることを認識すべきである。
【００１３】
本発明は、これらに限定されるものではないが、以下の記述を含む多数の方法で具体化するのに適している。
【００１４】
本発明の一実施形態は、（ａ）カメラをいずれかの所望の方向又は方向の組み合わせにパンする間に（静止画、ビデオ、又は静止画とビデオとの組み合わせの）一連のデジタル画像をキャプチャするための手段（例えば、少なくとも１つの撮像装置及び焦点制御）と、（ｂ）メモリが結合されたコンピュータと、（ｃ）（ｉ）パノラマ画像でキャプチャされることになる所望のパノラマビューにわたってカメラがパンされるとき、一連の対をなす重なり合う画像フレーム内に画像フレームをキャプチャし、（ｃ）（ｉｉ）パン動作（ｐａｎｎｉｎｇ ｍｏｔｉｏｎ）を登録（検出／推定）し、（ｃ）（ｉｉｉ）画像フレーム間に間隙を生じさせずに適切な対をなす重なり部分を保証するために、検出されたパン動作に応答して、一連の対をなす重なり合う画像フレーム内の一連のフレームの各々のキャプチャを制御し、かつ、随意的に、重なり合う画像フレームのサブセットを所望のように選択し、（ｃ）（ｉｖ）一連の対をなす重なり合う画像フレームを結合して、カメラによる出力のためにパノラマ静止写真を生成するための、コンピュータ上で実行されるように適合されたプログラムとを含む、パノラマ画像をキャプチャするための装置である。
【００１５】
パノラマ画像は、装置によってキャプチャされた従来の非パノラマ画像に比べて、少なくとも１つの寸法（例えば、水平方向、垂直方向、斜め方向、恣意的な、２Ｄ（垂直面積及び水平面積）など）においてさらに延びていることに留意されたい。従って、パノラマ画像は、いずれの対象の所望の空間領域に及ぶこともできる。
【００１６】
装置はこれらのステップの全てを自動的に実行できるため、ユーザは、適切な画像の取得又は手動の継ぎ合わせ及びブレンド作業に苦労することなく、パノラマ画像を形成することができる。データを印刷し、格納し、及び／又は通信するように構成された外部電子デバイスにデータを伝達するためのいずれかの所望の形式で、パノラマ出力を生成することができる。
【００１７】
本発明による装置は、ユーザがパノラマ画像のキャプチャを選択し、随意的にキャプチャ及び画像結合プロセスを変更するための特徴を選択することを可能にするように適合された、あらゆる所望のユーザ・インターフェースをサポートすることができる。
【００１８】
パン動作を装置内に登録することは、光学的検知、物理的運動の検知、又はそれらの組み合わせに応答して実行することができる。
【００１９】
画像を結合する際、プログラムは、隣り合う画像間のインターフェースにおけるピクセルを補正し、従って、画像をブレンドして「継ぎ目（ｓｅａｍ）」のいずれの出現も低減する。
【００２０】
超解像処理技術は、結果の解像度を向上させるために、１つ又はそれ以上のパノラマ画像の生成前又は後、画像フレームに対して用いることができる。
【００２１】
本発明の一実施形態は、（ａ）一連のデジタル画像をキャプチャするように適合されたカメラ内の電子画像形成要素と、（ｂ）カメラの電子画像形成要素を制御するように構成されたメモリが結合されたコンピュータと、（ｃ）（ｉ）カメラがパノラマ画像としてキャプチャされることになる所望のパノラマビューにわたってパンされるとき、電子画像形成要素内に一連の対をなす重なり合う画像フレームにキャプチャし、（ｃ）（ｉｉ）画像フレーム間に間隙を生じさせずに適切な対をなす重なり部分を保証するために、パン動作を検知することに応答して、キャプチャ中の画像フレームの重なり部分を制御し、又は、一連の重なり合う画像フレームの組を選択し、（ｃ）（ｉｉｉ）一連の重なり合う画像フレームの組を結合して、カメラにより出力するためにパノラマ静止写真を形成するための、コンピュータ上で実行されるように適合されたプログラムとを含む、所望の対象をパンすることに応答してパノラマ静止写真を自動的に生成するように構成されたカメラである。
【００２２】
本発明の一実施形態は、（ａ）パンされている所望の対象領域にわたる一連の画像をキャプチャし、（ｂ）所望の対象領域がパンされているとき、カメラの動きに基づき十分な画像のキャプチャに応答して、一連の画像における隣り合う画像の縁部が互いに重なり合うことを保証し、（ｃ）一連の画像を結合して、少なくとも１つのパノラマ静止写真画像を生成することを含む、パノラマ静止写真をカメラ内に自動的にキャプチャするための方法である。
【００２３】
本発明は、本教示から逸脱することなく、別個に、又はいずれかの所望の組み合わせで実施することができる多数の有利な態様を提供する。
【００２４】
本発明の１つの態様は、パノラマ・モードにある際、パンする間にキャプチャした複数の画像を結合することに応答して、パノラマ画像を自動的に生成するための方法及び装置である。
本発明の別の態様は、所望の対象領域にわたる十分な数の画像フレームの収集に応答して、パノラマ画像を自動的に生成することを可能にすることである。
本発明の別の態様は、平均的な「オートフォーカス（ｐｏｉｎｔ−ａｎｄ−ｓｈｏｏｔ）」の撮影者が所望のパノラマ効果を生成するのを可能にすることである。
本発明の別の態様は、撮影者が、付加的な機器又は処理ステップを必要とすることなく、パノラマ画像の結果を生成するのを可能にすることである。
本発明の別の態様は、極めて精密なカメラ機材及び制御機構を必要とすることなく、パノラマ画像を生成する能力である。
本発明の別の態様は、撮影者が、隣り合う画像の適切な重なり部分を保証するカメラを用いてパノラマ画像を生成するのを可能にすることである。
本発明の更に別の態様は、デジタル・スチールカメラ及び／又はビデオ・カメラ装置内に組み込むことができる方法である。
本発明の更に別の態様は、多数の形態の画像収集及び処理装置に適用できることである。
【００２５】
本発明の更に別の態様は、明細書の以下の部分に明らかにされ、詳細な記述は、制限を課すことなく、本発明の好ましい実施形態を完全に開示するためのものである。
【００２６】
本発明は、例示目的にすぎない添付の図面を参照することによって、より完全に理解されるであろう。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態による、パノラマ画像を自動的に生成するための一般的なステップの流れ図である。
【図２】本発明の一実施形態による、静止画像及びビデオ画像のキャプチャに応答して、パノラマ画像を自動的に生成するためのステップの流れ図である。
【図３】本発明の一実施形態による、ビデオ画像のキャプチャ及び超解像技術に応答してパノラマ画像を自動的に生成するためのステップの流れ図である。
【図４】本発明の一実施形態による、静止画像及びビデオ画像のキャプチャ、並びに超解像アップスケーリング技術に応答してパノラマ画像を自動的に生成するためのステップの流れ図である。
【図５】本発明の１つの態様による、パノラマ画像を生成するように構成されたカメラ装置のブロック図である。
【図６】本発明の１つの態様による、パノラマ画像への画像のキャプチャ及び結合を示す画像である。
【図７】本発明の１つの態様による、パノラマ画像への画像のキャプチャ及び結合を示す画像である。
【図８】本発明の１つの態様による、パノラマ画像への画像のキャプチャ及び結合を示す画像である。
【図９】図９の自然のままの画像キャプチャを、図１０の本発明に従って生成されたパノラマ画像（ページ幅に合わせて圧縮した状態で示される）と比較する、サンフランシスコ市ベイエリアの画像である。
【図１０】図９の自然のままの画像キャプチャを、図１０の本発明に従って生成されたパノラマ画像（ページ幅に合わせて圧縮した状態で示される）と比較する、サンフランシスコ市ベイエリアの画像である。
【図１１】図１１の自然のままの画像キャプチャを、図１２の本発明に従って生成された垂直方向のパノラマ画像（ページ領域に合わせて圧縮した状態で示される）と比較する、サンフランシスコ市コイト・タワーの画像である。
【図１２】図１１の自然のままの画像キャプチャを、図１２の本発明に従って生成された垂直方向のパノラマ画像（ページ領域に合わせて圧縮した状態で示される）と比較する、サンフランシスコ市コイト・タワーの画像である。
【発明を実施するための形態】
【００２８】
図面をより詳細に参照すると、説明目的のために、本発明は、図１乃至図１２に全体的に示される装置において具体化される。この装置は、本明細書に開示される基本的な概念から逸脱することなく、構成及び部品の細部に関して異なる場合があり、本方法は、特定のステップ及びシーケンスに関して異なる場合があることが認識されるであろう。
【００２９】
１．序論
本発明によるカメラ装置は、高度なデジタル画像感知（例えば、ＣＭＯＳイメージセンサ）と、高度な画像処理を行ってパノラマ画像を生成するための十分な処理能力を与える、カメラ内の高度な計算チップと、を用いる。このカメラは、初心者の撮影者でさえも、対象の任意の所望の領域にわたるパノラマ写真画像を生成できるようにする。パノラマを生成する方法は、マルチフレーム処理を適用して既存のデジタルカメラの制限を超え、自動化されたキャプチャ及び処理を提供し、パノラマ画像が出力できるようにする。
【００３０】
図１は、カメラ装置からパノラマ画像を自動的に生成する１つの例示的な実施形態を示す。ブロック１０において、カメラがパノラマの所望の対象にわたってパンするとき、一連の画像がキャプチャされる。ブロック１２により、カメラの動きが登録／判定される。好ましい一実施形態において、カメラの動きの登録／判定に応答して、一連の画像がキャプチャされ、隣り合うショットが、パノラマ画像を生成する際の入力として用いるのに十分な重なり部分を有することを保証する。代替的に、高いフレームレート（ｆｒａｍｉｎｇ ｒａｔｅ）など、十分な重なり部分が他の方法で保証される場合、パノラマに用いられる画像のサブセットの決定に用いるように、及び／又は、どのように画像をパノラマ画像出力内に結合させるかを他の方法で制御するように、カメラの動きを登録／判定することができる。最適な画像の重なり量は、画像を継ぎ合わせるのに用いられる方法、及び、超解像度など、キャプチャの随意的な側面の使用によって決まり、重なり合う画像を用いて、結果として得られる画像の解像度を向上させ得ることを認識すべきである。ブロック１４に示されるように、キャプチャされた画像のシーケンスを結合して、別個にキャプチャされた画像のいずれをも超えて広がるパノラマ静止写真を生成する。結合プロセスの際、画像間の継ぎ目は、継ぎ目の可視性が最小になるようにブレンド（ｂｌｅｎｄ）される。
【００３１】
入力画像のシーケンスからの画像を結合する前に、場合によっては、本発明のプログラムは、一連の画像の組をパノラマ画像に結合させる前に、非パン動作及び／又は傾斜を補償することが好ましい。例えば、画像を補正することによって、又はパノラマを生成するのに十分な他の画像が存在する場合に選択されたキャプチャを消去することなどによって、アルゴリズムを実行し、カメラぶれがパノラマに導入されるのを低減することができる。矩形のパノラマを生成する場合、画像を結合する前に、入力画像の一部をトリミングすることができる。この画像トリミングは、例えば、レンズの幾何学的形状など、任意の所望の形状によることができる。本発明の教示から逸脱することなく、任意の形の前処理及びその組み合わせを付加的に実行し得ることを認識すべきである。
【００３２】
限定ではなく一例として、重なり合う画像フレームを「互いに継ぎ合わせる」又は結合させるための方法の１つは、以下の一般的なステップを有するマッチング・ブレンド・プロセスによるものである。（１）重なり合った領域における何らかのマッチング基準の最適化（例えば、ピクセル誤差の最小化）に向けて、第１のフレームと第２のフレームの重なり部分をマッチングする。幾つかの例は、平均二乗誤差又は平均絶対誤差を最小化すること、相互相関、正規化された相互相関、又は位相相関を最大化すること、画像間のオプティカル・フローを推定すること、前述した基準に従って、パラメータ化されたグローバル・モデルをマッチングの結果に適合させること、又は、所望のグローバル・モデルに従って制約されたオプティカル・フローを適用することを含む。適切なマッチングを保証するために、フレームのうちの１つ又はそれ以上のサイズ又は照明などを調整できることを認識すべきである。マッチングを確実にするために、重なり部分の位置決めは、垂直方向の変位、又は水平方向のパノラマ・パンにおける回転などの軸外変位を考慮に入れることが留意される。（２）「継ぎ目」の片側又は両側におけるピクセル領域のブレンドを行い、目に見える不連続性がないことを保証する。継ぎ目領域をさらに目立たなくするように、ブレンド・プロセスは、ランダム誤差拡散を含むことが好ましい。代替的に、ブレンド・プロセスは、滑らかさ又は入力画像との諧調度の類似性など継ぎ目付近の種々の画像基準を最適化することができる。当業者であれば、本発明の教示から逸脱することなく、ピクセルをブレンドするために、多数の技術を用い得ることを認識するであろう。
【００３３】
本発明から逸脱することなく、多数の異なる方法で、動き及び動きの速度を検知するといった、カメラの動きを登録することができる。少なくとも１つの実施において、一連の画像フレームを比較して、重なり量を判定し、これによりパノラマのための相対的なカメラの動きを決定する。１つの変形においては、十分な細部を迅速に得るために、低解像度のイメージセンサ又は通常のイメージセンサの低解像度モードを使用し、フレーム間にどれだけのマッチングが、よって重なり部分が存在するかを判定することなどにより、フレーム間のパン距離を確認する。少なくとも１つの他の実施形態において、任意の所望の運動軸におけるカメラの運動を推定するために時間的に処理される加速度センサに応じてなど、カメラの動きが物理的に登録される。代替的に、運動解析ソフトウェアなどと組み合わせて、重力計、慣性検知などを使用し、カメラのパン速度に基づいてパノラマのために画像をキャプチャすることができる。物理的検知の使用により、所定のパン速度のための画像収集レートの最適化が可能になる。他の実施形態においては、カメラの動きを判定するために、物理運動の感知及び光学感知の組み合わせが用いられる。
【００３４】
本発明の１つの形態において、装置は、ユーザに、画像をどのように組み合わせるか及び／又はトリミングするかを制御するための選択肢を提供する。１つの形態において、ユーザは矩形の形式を選択する（又は他の方法で水平方向及び／又は垂直方向にパンの限界を設定する）ことができ、この場合、プログラミングは、画像を水平方向又は垂直方向に結合し、結果として得られる矩形の表示領域の外側にある画像部分をトリミングにより自動的に取り去る（例えば、図１０におけるように成形された画像を生成する）。装置の１つの形態は、自由形状のパンの組をサポートし、ここで、画像は、パンする間にユーザがたどった任意の所望の経路に従って結合される。本発明の簡単な実施形態は、パノラマ画像キャプチャプロセスを簡略に保つために、ユーザに対して選択肢の数を制限する場合があることが認識されるであろう。しかしながら、本発明の開示から逸脱することなく、多数の異なる方法で本発明を拡張できることを理解すべきである。
【００３５】
一連の画像に十分な画像重なり部分が与えられる場合、１つ又はそれ以上の画像「問題」に悩まされるものなど、１つ又はそれ以上のキャプチャ画像を消去するように、プログラムを選択することができる。例えば、これらの問題は、撮影者の手ぶれを含み、画像の１つ又はそれ以上が他の画像よりもぼやけることがある。画像の組の間、結果として得られるパノラマの品質に悪影響を与える、視野内のカメラ・フラッシュ、イメージセンサを横切って飛ぶ虫、及び他の異常などの他のアーチファクトが現れることがある。
【００３６】
本発明の教示は、いずれかの恣意的な方向又は経路にわたってパノラマ画像を生成できることをさらに認識すべきである。例えば、本発明の実施形態は、ユーザが蛇行パターン（例えば、Ｓ字）を描きながらシャッターを押し続けることに応答して、パノラマ画像を生成するように構成することができる。本発明の１つの形態においては、カメラは、ユーザが、画像パンの間にカメラを意図的に傾けることを可能にし、場合によっては人気のあるモザイク傾斜効果を与えることさえ可能にする。
【００３７】
最新の実施形態において、本明細書における技術は、ユーザが、カメラの解像度を有効に向上させるなどのために、垂直方向のパノラマ及び水平方向のパノラマの両方をキャプチャすることさえ可能にする。例えば、ある現場の地層を調べることを望む地質学者は、パノラマ・モードを選択し、次いで、左から右、次いで下へ、右から左、次いで下へ、次いで左から右に戻るなど、所与の領域をカバーするために有効な任意のパターンでパンすることができる。本発明に従ったカメラは、対象にわたる非常に大きい（高解像度の）静止写真を提供することができ、かつ、ユーザが、これらを所望のように拡大して、微細な細部を見ることを可能にする。
【００３８】
一実施形態において、ユーザがタイル表示されたパノラマ出力を選択するのを可能にするモードが提供される。例えば、上記の例において、生成された巨大な領域のパノラマが、転送、閲覧などのためには大きすぎる（例えば、２０−１０００ＭＢより大きい）場合がある。従って、タイル表示モードは、ユーザが、タイル表示モードを選択することを可能にし、ここでは、パノラマが生成された後で画像がタイル表示されることから、画像は、互いに完全に嵌合する選択されたサイズの画像に分割される。１つ又はそれ以上の実施形態におけるプログラムは、ユーザが、例えばパノラマのプレビュー又は分類のために、縮小したパノラマ（例えば、１つの通常の画像空間に適合する）を出力することを可能にする。１つの態様において、縮小したパノラマは、印（例えば、ファイル名）を有した状態で又はない状態で、下にある画像の各々の位置を示す上を覆うグリッドと共に出力される。
【００３９】
２．ユーザ・インターフェース
本発明の実施形態は、多数の異なったユーザ・インターフェース構成の使用に応じて、パノラマ画像を生成するように構成することができる。１つの非常に基本的な構成においては、ユーザは、ボタンを押すこと又はセレクタを動かすことなどにより、単にパノラマ・モードを選択し、次いで、パノラマ画像が生成されることになる所望の領域をパンしながらシャッターを押し続ける。より高度なユーザ・インターフェースは、ユーザが、キャプチャがどのように行われるかの態様、画像解像度とキャプチャ頻度との間のトレードオフ、実施される継ぎ目の量（例えば、ショットの重なり比率）、画像を互いに継ぎ目なしにブレンドするためのブレンド方法及びパラメータ（又は、必要に応じて継ぎ目が見えるのを可能にすることを選択すること）、傾斜の補正を行うかどうか（例えば、図６の入力から図８の結果に向けて見られるように）、超解像度の使用、パノラマの最大出力サイズ、並びにそれらの変形及び組み合わせを選択することを可能にする。当業者であれば、本発明の教示から逸脱することなく、これらの特徴を変更することができ、他のカメラの制御態様と組み合わせることもできることを認識するであろう。
【００４０】
本発明の実施形態はまた、パノラマ画像出力の選択をユーザに提供することもできる。１つの形態において、同じ入力画像のシーケンスから生成された一連のパノラマ画像がユーザに示される。別の形態においては、１つのパノラマ画像がユーザに示され、ユーザはカメラがパノラマの付加的な構成をユーザに示すことを選択することができる。トリミング、ブレンド、及び解像度の変更の異なる方法が存在するので、これらの機構は、ユーザに自動化された選択の組を与える。ユーザは、同じ画像のシーケンスから生成されるこれらの結果のうちの１つ又はそれ以上を保存するよう選択することができる。少なくとも１つの実施において、高度な制御により、ユーザが、自らの選択のためにどのように異なるパノラマ形態をどのように提示するかについての優先順位、又は、そもそもその機能の起動を望むかどうかを指定することが可能になる。
【００４１】
３．付加的なパノラマの実施形態
図２は、静止画像及びビデオ画像のキャプチャに応答してパノラマ画像を自動的に生成することに向けられた例示的な一実施形態を示す。この実施形態において、パノラマに用いるために、静止画像に併せてビデオがキャプチャされる。静止画像のキャプチャ３０は、ビデオのキャプチャ３２より高い解像度で行われるが、より高い解像度モードといった、同じイメージセンサを用い得ることが好ましい。この実施形態におけるビデオのキャプチャは、静止画像をキャプチャ及び／又は結合して、高品質のパノラマ写真を生成するのを助けるために用いられる。ブロック３４において、カメラの動きの登録に応答して、静止画像フレームのキャプチャ中の遅延を判定する。代替的に、サブセットの連続的な画像フレーム間に間隙を生じさせることなく適正な対をなす重なり部分を保証するために、登録された（検知された）パン動作に応答して、キャプチャされたフレームの全体の組から重なり合うフレームのサブセットを選択することができる。動きとキャプチャの関係を示すために、カメラの動き３４の登録が再びブロック３０に結合された状態で、フローチャートを正確に描き得ることも認識すべきである。
【００４２】
物理センサを用いることによって、光学的感知によって、又はそれらの組み合わせによって、パン動作を登録できることが認識されるであろう。この実施形態において、ビデオ・フレームを分析して、前のビデオ・フレームからのパン動作、従ってパン速度及び次の静止画像フレームがキャプチャされるタイミングを判断できることが認識されるであろう。ステップ３６において、静止画像フレームを互いに継ぎ合わせるのを助けるために、ビデオ画像フレームを用いて、静止画像フレームが結合される。かなりの重なり部分を有するビデオ・フレームを用いる場合、ビブオ・フレームをアライン（位置合わせ）することは比較的容易である。この位置合わせ情報は、２つの画像の位置合わせが容易に利用可能になるまで、２つの静止画像間で時折キャプチャされるビデオ・フレームのために蓄積することができる。近似法は、２つの静止画像の正確な位置合わせのための初期条件を提供し、位置合わせのための検索空間を低減させ、従って複雑さを低減させる。
【００４３】
図３は、ビデオ画像キャプチャ及び超解像技術に応答してパノラマ画像を自動的に生成することに向けられた例示的な実施形態を示す。ビデオ・フレームをキャプチャ５０、カメラの動きを登録する５２。ビデオ・フレームは、典型的には静止画像フレームよりも低い解像度であるので、超解像技術を用いて、オリジナルのビデオ・フレームよりも高い解像度を有する重なり合うフレームのサブセットを生成すること５４が好ましい。超解像技術が、小規模の時間的又は空間的変位に従う第１の解像度の複数フレームを、第２のより高い解像度の単一フレームに結合することを可能にすることは周知である。次いで、超解像で生成された静止フレームは、カメラにより出力されるパノラマ画像に結合される５６。図２に示される方法と同様に、オリジナルのビデオを継ぎ合わせ用ガイドとして用い得ることが留意される。
【００４４】
本発明の代替的な実施形態はまた、複数の組の画像が複数のパノラマ画像に結合されることを可能にし、複数のパノラマ画像は、次いで、超解像技術を用いて最終的なパノラマ画像に結合される。例えば、一回パンする間に収集されたフレームｎ１乃至フレームｎ８を考える。次に、重なり合うフレームｎ１、ｎ３、ｎ５、及びｎ７が、第１の組のフレームの一部として選択され、一方、フレームｎ２、ｎ４、ｎ６、及びｎ８は、第２の組のフレームの一部として選択される。第１の組は、第１のパノラマ静止写真に結合され、さらに第２の組は、第２のパノラマ静止写真に結合される。次に、実質的に同じ領域をカバーする両方のパノラマが、超解像度を用いて、単一のより高い解像度のパノラマ出力に結合される。この逆順（ｒｅｖｅｒｅｓｅｄ−ｏｒｄｅｒ）手法の１つの利点は、超解像処理自体が別個のパノラマ画像内の継ぎ目を目立たなくすることである。この態様は、本明細書で教示されるいずれの実施及びその変形とも組み合わせ得ることを認識すべきである。
【００４５】
図４は、超解像度アップスケーリング技術と組み合わせられた静止画像及びビデオ画像キャプチャに応答して、高解像度のパノラマ・ビデオを自動的に生成するためのステップの流れ図である。高解像度のビデオは、より高い解像度をもたらすだけではなく、水平方向のフレームを拡張するものであり、従ってフレームずつのパノラマの形態であることを認識すべきである。本発明のこの実施形態は、用いられるビデオ・カメラが所望のアスペクト比（例えば、十分な幅）を有する画像形成装置を持たないときに特に適用可能である。
【００４６】
「アスペクト比」という用語は、その高さに対する、写真（又は画面）の幅を指すことに留意すべきである。比は、典型的には、「幅×高さ」の形で表される。例えば、４×３（より一般的には４：３と表される）比は、その写真が４単位の幅×３単位の高さであることを意味する。アスペクト比は幅と高さの間の関係のみを言うので、写真の実際の物理的寸法（ピクセル数）は、アスペクト比の計算には無関係である。４：３の比は、通常、標準解像度のキャプチャと呼ばれ、１６：９の比は、今日では典型的には、所謂「高解像度」のための形式と呼ばれる。また、２１：９の形式を有する、「Ｃｉｎｅｍａｓｃｏｐｅ（登録商標）」などの他の「パノラマ」映像形式も存在する。本発明によりフレームを任意の所望の方向に延ばせる能力を用いて、例えば、４：３→１６：９、又は１６：９→２１：９など、より小さい形式からより大きい形式に、制限なくアップスケーリングできることが認識されるであろう。
【００４７】
この方法において、ビデオ・パノラマのための基礎として、ビデオがキャプチャされる７０。ビデオをキャプチャする間、高解像度のパノラマ静止写真がキャプチャされる（例えば、定期的に、及び／又は、カメラ又は対象の動きにトリガされて）こと７２が好ましい。１つのビデオ・セグメント中に、少なくとも２つの静止画像をキャプチャすることが好ましい。静止画像をいつキャプチャするかの判断を助けるために、再びカメラの動きを登録すること７４が好ましい。次いで、超解像アップスケーリング（又は、デジタル・ズーム）技術７６を用いて、隣り合うビデオ・フレームを結合し、ビデオ・フレームの解像度を拡張する。次に、生成された高解像度のビデオ・フレームは、ブロック７８により、オリジナルのビデオ・フレームより幅広い（又は、選択された用途において所望され得るようにより高い）パノラマ・ビデオ・フレームに結合される。この方法において、両方のアップスケーリング・プロセス中、及び、超解像度技術に応答して生成されたビデオ・フレームの結合の際の案内のために、静止画像を用いることができる。この実施形態は、カメラ自体の内部で実施できるが、ビデオ・シーケンスに必要とされる高い処理オーバーヘッドは、より具体的には、収集されたビデオ及び静止画フレーム、及び、随意的な動きの情報によって案内されるようなオフライン処理に向いている。
【００４８】
４．カメラ・ハードウェア
図５は、本発明による、パノラマ画像を生成するように構成された装置の例示的な実施形態９０を示す。図面において、本発明に従って、パノラマ画像を自動的に生成するように構成された画像キャプチャ装置（カメラ）が示される。フォーカス／ズーム制御９４は、コンピュータ（ＣＰＵ）９６により制御される画像形成光学系９２に結合されるように示される。コンピュータ９６は、カメラを制御し、メモリ９８及び／又は補助メモリ１００から実行される命令に応答してパノラマ生成方法を実施する。カメラ装置（例えば、ビデオ及び／又は静止写真）の例として、随意的な画像ディスプレイ１０２、随意的なタッチスクリーン１０４、及び随意的な非タッチスクリーン１０６が示される。どのような数もサポートすることができる有線及び／又は無線通信ポート、メモリ・カード・スロットなどは、図面に示されていない。
【００４９】
さらに、パン動作を登録（検知）できる随意的な運動センサ１０８が示される。運動センサ１０８は、光学センサ又は物理センサ（例えば、慣性、加速度など）を含むことができるが、ビデオ及び／又は静止画像を収集するのに用いられるイメージセンサを用いてもよい。
【００５０】
特定のアプリケーションが異なる画像形成装置を用いてビデオ及び静止フレームを収集するのを可能にするように、画像形成システム１１０及び焦点／ズーム１１２を含む随意的な第２の画像形成システムが一例として示される。その機能が単一のキャプチャ要素を共有していないので、これはビデオ及び静止画像キャプチャのフレームレートを最大化する利点を有する。しかしながら、ビデオ・フレーム又は静止フレームの選択を可能にする異なる操作モードの使用に応答するといったように、ビデオ及び静止画像出力を同じ画像形成装置から収集できることを認識すべきである。少なくとも１つの実施において、ビデオ・フレームと静止フレームの間の違いは解像度であるが、アスペクト比及び他の特性が異なることもある。
【００５１】
上記の図は、限定としてではなく一例として示される。本発明による方法は、画像のシーケンスをキャプチャ／受信し、パノラマ出力を生成するように構成された種々の画像キャプチャ・処理デバイス上に実装できることを認識すべきである。本発明は、ＭＰＥＧビデオの処理及びそれに関連した動きベクトル処理には向けられていない。本方法は、画像形成装置自体に実装されることが好ましいが、パノラマ・ビデオ出力の生成におけるような後処理において実装することもできる。本発明は、ターゲット・システムに応じて、ハードウェア及び／又はソフトウェアにおいて実施することができる。本発明は、必要な光学系及び十分な処理能力を有するいずれのカメラ又はシステム上でもソフトウェアとして実施できることを認識すべきである。
【００５２】
パノラマ画像は、静止画像ファイル形式、ビデオ形式、データ形式、自然のままの（ｎａｔｉｖｅ）格納形式などを含むいずれかの所望の形式で、装置の画像ディスプレイ上に表示する（又は印刷する）、及び／又は、装置から出力することができる。
【００５３】
５．パノラマ画像出力の例
図６乃至図８は、パンする間にキャプチャされた一連の画像を自動的にキャプチャし、調整し、結合するプロセスを示す。これらの画像は、プロセスをシミュレートするものであるが、説明のために従来の方法で収集されたものである。図６において、アリゾナ州グランド・キャニオンの３つの画像をキャプチャする代表例を示す。これらの画像は、意図的に著しく位置がずれた状態で示されるが、これは、本発明により自動的に克服される側面であることを認識すべきである。本発明のプログラミングは、図６におけるような、キャプチャされた画像が適切に重なり合うのを確実にするように、画像キャプチャのタイミングを確立することにも留意すべきである。傾斜した（パン軸を外れた）画像は、水平軸などのより近い軸上にキャプチャされた画像と比べてより多くの画像の重なり部分を必要とすることが留意されるであろう。図７においては、画像をパターンに合わせてトリミングし、画像を互いに結合して継ぎ合わせるように単純化する。図８においては、画像は、フレーム間の継ぎ目が明らかにならないように、隣接する画像間のピクセル界接面で自動的に結合されている。
【００５４】
図９及び図１０は、サンフランシスコ湾のビデオ又は静止画像を示す。図９において、画像形成装置によってキャプチャされた単一の画像が示される。パンする間、本発明によって自動的にキャプチャされた、こうした一連の画像を結合して、図１０のパノラマ画像を生成する。レンズ及び画像形成装置の限界のために、図９の画像をキャプチャしたカメラは、全視野をカバーするのに幾つかの画像をキャプチャすることを必要とする。本発明によると、ユーザはカメラを水平方向にパンするだけでよく、カメラ装置が、パノラマ写真を自動的に生成する。
【００５５】
図１１及び図１２は、コイト・タワー（サンフランシスコ市テレグラフ・ヒル）の単一のビデオ又は静止画像と、本発明に従って生成されたパノラマ画像との間の比較を示す。示された光景においては、１４４０×１０８０ピクセルのオリジナルのビデオ・フレームが示される（表示しやすくするために、ここではサイズが変更されている）。この画像を適切にキャプチャするために、カメラは、ビデオ・フレームを収集しながら、タワーの範囲をカバーするように垂直方向にパンされた。本発明に従った処理により、キャプチャが行なわれ、これらのキャプチャされたフレームが図１２に示される垂直方向のパノラマに結合された。本発明は、単にカメラを垂直方向にパンし、カメラが全ての作業を自動的に行うのを可能にすることに応答して、本発明に従ったカメラが、この高層ビルの全長をカバーするような垂直方向のパノラマを容易にキャプチャすることを可能にすることが認識されるであろう。
【００５６】
６．パノラマ画像と他の画像技術との組み合わせ
本明細書に教示されるパノラマ画像技術は、他の画像処理技術と組み合わせて用いることができる。
【００５７】
１つの変形において、本明細書に教示されるパノラマ画像技術は、本出願人が他で教示したシミュレートされた長時間露光方法と組み合わせて用いることができる。これらの技術を組み合わせる中で、パノラマ画像をカメラ内で生成することができ、又は、同じく長時間露光をシミュレートする自動化された後処理に応答して、静止画像又はビデオ・フレームのいずれかを出力として生成することができる。カメラをパンしている間に十分な数の画像を取得することに応答して、又は二重（静止−ビデオ）画像キャプチャ技術を用いることによって、パノラマ処理及び長時間露光のシミュレーションの両方を助長することができることが認識されるであろう。
【００５８】
７．結論
本発明は、パンしている間にキャプチャされた重なり合う画像のシーケンスの入力に応答して、パノラマ画像を自動的に生成するための方法及び装置を提供する。本発明の教示は、カメラ（スチール及び／又はビデオ）、ビデオ処理機器及びソフトウェア、ビデオ再生装置などを含む種々の装置及び用途に適用することができる。
【００５９】
従って、以上のように、本発明は、とりわけ次の発明の実施形態を含む。すなわち、
１．パノラマ画像をキャプチャするための装置であって、
（ａ）一連のデジタル画像をキャプチャするための手段と、
（ｂ）メモリが結合されたコンピュータと、
（ｃ）（ｉ）カメラがパノラマ画像でキャプチャされることになる所望のパノラマビューにわたってパンされるとき、一連の対をなす重なり合う画像フレーム内に画像フレームをキャプチャし、
（ｉｉ）パン動作を登録し、
（ｉｉｉ）画像フレーム間に間隙を生じさせずに適切な対をなす重なり部分を保証するために、登録されたパン動作に応答して、一連の対をなす重なり合う画像フレームの中の一連のフレームのキャプチャを制御し、
（ｉｖ）一連の対をなす重なり合う画像フレームを結合して、カメラによる出力のためにパノラマ静止写真を生成するための、コンピュータ上で実行されるように適合されたプログラムと、
を含むことを特徴とする装置。
２．パノラマ画像は、装置によってキャプチャされた従来の非パノラマ画像に比べて、少なくとも１つの寸法においてさらに延びていることを特徴とする、実施形態１に記載の装置。
３．パノラマ画像は、対象のいずれかの所望空間領域に及ぶことができることを特徴とする、実施形態１に記載の装置。
４．パノラマ画像は、装置がキャプチャした画像の組を外部から処理する必要なしに、装置によって生成されることを特徴とする、実施形態１に記載の装置。
５．前述の手段は、
画像を電子的にキャプチャするように構成された画像形成装置と、
前記画像形成装置がキャプチャした画像の焦点距離を制御するように適合された焦点制御部と、
を含むことを特徴とする、実施形態１に記載の装置。
６．結合される一連の対をなす重なり合う画像フレームの中から１組の連続する重なり合う画像フレームを選択するためのプログラムをさらに含むことを特徴とする、実施形態１に記載の装置。
７．ユーザがパノラマ画像キャプチャモードを選択するのを可能にするように適合されたユーザ・インターフェースをさらに含むことを特徴とする、実施形態１に記載の装置。
８．パン動作は、光学式感知に応答して登録されることを特徴とする、実施形態１に記載の装置。
９．その出力がパン動作を登録するためにプログラムにより用いられる運動センサをさらに含むことを特徴とする、実施形態１に記載の装置。
１０．一連の対をなす重なり合う画像フレームをパノラマ画像に結合する前に、非パン動作及び／又は傾斜を補償するためのプログラムをさらに含むことを特徴とする、実施形態１に記載の装置。
１１．一連の対をなす重なり合う画像フレームは、ビデオ・フレームのシーケンスを含むことを特徴とする、実施形態１に記載の装置。
１２．装置のパノラマ出力は、パノラマ・デジタル写真を含むことを特徴とする、実施形態１に記載の装置。
１３．装置のパノラマ出力はパノラマ・デジタル写真を含み、
装置は、パノラマ・デジタル写真のためのデータを、データを印刷し、格納し、及び／又は通信するように構成された外部電子デバイスに通信するように構成されることを特徴とする、実施形態１に記載の装置。
１４．一連の対をなす重なり合う画像フレームを結合した後、対をなす重なり合う画像フレーム間をインターフェースするピクセルを補正するためのプログラムをさらに含むことを特徴とする、実施形態１に記載の装置。
１５．解像度を向上させるために画像フレームに対して超解像技術を実施するためのプログラムをさらに含むことを特徴とする、実施形態１に記載の装置。
１６．所望の対象をパンすることに応答して、パノラマ静止画像を自動的に生成するように構成されたカメラであって、
（ａ）デジタル画像をキャプチャするように適合されたカメラ内の電子画像形成要素と、
（ｂ）カメラの電子画像形成要素を制御するように構成された、メモリが結合されたコンピュータと、
（ｃ）（ｉ）カメラがパノラマ画像でキャプチャされることになる所望のパノラマビューにわたってパンされるとき、電子画像形成要素内に一連の対をなす重なり合う画像フレームをキャプチャし、
（ｉｉ）画像フレーム間に間隙を生じさせずに適切な対をなす重なり部分を保証するために、パン動作を登録することに応答して、キャプチャ中の画像フレームの重なり部分を制御し、又は、対をなす重なり合う画像フレームからサブセットを選択し、
（ｉｉｉ）一連の対をなす重なり合う画像フレームの組を結合して、カメラにより出力するためにパノラマ静止写真を生成するための、コンピュータ上で実行されるように適合されたプログラムと、
を含むことを特徴とするカメラ。
１７．一連の画像を結合した後、一連の対をなす重なり合う画像フレームの滑らかな継ぎ目のないブレンドを生成するために、ピクセル・インターフェースを補正するためのプログラムをさらに含むことを特徴とする、実施形態１６に記載の装置。
１８．解像度を向上させるために画像フレームに超解像技術を実施するためのプログラムをさらに含むことを特徴とする、実施形態１６に記載の装置。
１９．パノラマ静止写真をカメラ内に自動的にキャプチャする方法であって、
パンされる所望の対象領域にわたる一連の画像をキャプチャし、
所望の対象領域がパンされているとき、カメラの動きに基づき十分な画像をキャプチャすることに応答して、一連の画像における隣り合う画像の縁部が互いに重なり合うことを保証し、
一連の画像を結合して、少なくとも１つのパノラマ静止写真画像を生成する、
ことを含むことを特徴とする方法。
２０．解像度を向上させるために画像フレームに超解像技術を実施するためのプログラムをさらに含むことを特徴とする、実施形態１９に記載の方法。
【００６０】
上記の記述は多数の詳細を含むが、これらは本発明の範囲を限定するものではなく、単に、本発明の現在のところ好ましい実施形態の幾つかの例示を与えるものとして解釈されるべきである。従って、本発明の範囲は、当業者には明らかになり得る他の実施形態を完全に含むこと、従って、本発明の範囲は、添付の特許請求の範囲以外の何ものにも制限されず、そこで、単数形の要素の参照は、明示的にそのように述べられない限り「１つ、及び１つのみ」を意味することを意図するものではなく、寧ろ「１つ又はそれ以上」を意味するものであることが認識されるであろう。当業者には周知である上述の好ましい実施形態の要素の構造的及び機能的に同等物の全ては、引用により本明細書に明確に組み入れられ、かつ、本特許請求の範囲に包含されることが意図される。さらに、本特許請求の範囲により包含されるように、方法又は装置は、本発明により解決することが求められるありとあらゆる問題に対処する必要はない。さらに、本開示におけるいかなる要素、構成部品又は方法ステップが特許請求の範囲において明示的に記載されているかに関わらず、公衆に向けられることを意図するものではない。本明細書の特許請求の範囲のいずれの要素も、この要素が「のための手段」という語句を用いて明示的に引用されない限り、合衆国法典第３５巻第１１２条第６項の条項に基づいて解釈されるべきではない。
【符号の説明】
【００６１】
９２：画像形成光学装置
９４：フォーカス／ズーム
９６：コンピュータ
９８：メモリ
１００：補助メモリ
１０２：画像ディスプレイ
１０４：タッチスクリーン
１０６：非タッチスクリーン
１０８：運動センサ
１１０：画像形成システム
１１２：焦点／ズーム
【技術分野】
【０００１】
本発明は、一般に、カメラ装置に関し、より特定的にはパノラマ画像の自動生成に関する。
関連出願の相互参照
該当なし
連邦支援開発研究に関する記載
該当なし
コンパクト・ディスクにおいて提出された題材の引用による組み入れ
該当なし
（著作権保護の対象となる題材の注記）
本特許文書の中の題材の一部は、合衆国及び他の国々の著作権法の下の著作権保護を受ける。著作権者は、本特許文献又は本特許開示が米国特許商標庁の公的に入手可能なファイル又は記録において公開されたときに、本特許書類又は本特許開示の何人による複写による複製に対しても異議を申し立てないが、それ以外はいかなるものであれ一切の著作権を留保する。著作権者は、本特許文書を秘密裡に保持するために、制限なく米国特許法施行規則（３７Ｃ．Ｆ．Ｒ．）§１．１４に従う権利を含む、権利のいずれもここに放棄するものではない。
【背景技術】
【０００２】
パノラマ写真撮影は、細長い視野を有する画像のキャプチャを提供し、ワイド形式と呼ばれることも多い。一面では、約１６０°×７５°であるヒトの目のものに近い又はそれよりも大きい視野を与える画像をパノラマ式と名づけることができる。「パノラマ式（ｐａｎｏｒａｍｉｃ）」という用語は、一般に、ワイド形式又はロング形式にトリミングしたものを含む種々の形態のワイド（又はロング）形式の画像のために用い得るが、ここでの議論は、画像センサによってキャプチャされたものを超えて１つ又はそれ以上の方向（例えば、水平方向又は垂直方向）に延ばされた写真を意味するためにこの用語を用いる。
【０００３】
複数のレンズ及びシャッターを用いるカメラが入手可能であるが、これらは高価で、嵩高く、プロの写真家でさえも容易に入手できるものではなく、通常の撮影者には確実に入手できないことが理解されるであろう。
【０００４】
従来型のカメラを用いたパノラマ画像の生成には、現在のところ、一定の露光及び適切な重なり／位置合わせによって多数の対象画像をキャプチャし、その後、物理的な画像の断片を切ってパノラマ式に組み合わせるか、又は、写真エディタで同じことをするかのプロセスを必要とする。どちらの場合でも、高品質の結果を達成するのは、困難で手間がかかる。
【０００５】
単一の画像でキャプチャすることができない、垂直方向又は水平方向に延びるパノラマの広がりの前に立ったとき、人はパノラマ画像形成を使用することを考える。述べたように、パノラマを生成する従来の方法は、ユーザの多大な努力を要し、良好なパノラマ写真を保証できないこともある。ここで生じる別の問題は、撮影者が、画像をキャプチャするプロセスの際に、そのようにキャプチャされた画像が組み合わされたときに所望のパノラマをもたらすかどうかの確信をもつことができないという点である。ユーザは、焦点を固定するのを忘れる、固定されたパノラマ面上に留まっていない、ショットを十分に重ね合わせることができない、カメラをパノラマ面から外して傾けるといった、パノラマの生成に適していない画像をキャプチャすることがある。ユーザが最終的にこれらの画像の作業を始めるときに、付加的な画像を取得することによってこれらの問題を補正するには遅すぎるということになる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従って、ユーザが努力せずに高品質なパノラマ画像を自動的に生成するシステム及び方法に対する必要性が存在する。これらの必要性及び他のものは、本発明において満たされ、これまで開発されたパノラマ技術の欠陥を克服する。
【課題を解決するための手段】
【０００７】
本発明は、複数の画像をキャプチャすることに応答して、カメラ内で自動的にパノラマ画像を生成するカメラ及び方法である。本発明の重要点の１つは、カメラによる画像の取得が、パノラマの被写体に向けられていること、及び／又は、パノラマ・プロセスに結合されていることである。カメラ自体が、対象画像を自動的にパノラマに処理するだけではなく、キャプチャされた連続的画像間に十分な重なり部分が得られることを保証する。
【０００８】
本発明の一実施形態において、一旦パノラマ・モードが選択されると、撮影者は、対象を横切って（例えば、垂直方向に又は水平方向に）パンしながらシャッターを押し続けるだけでよい。カメラは、十分な重なり部分に加えて、ショットにわたって適切な固定焦点が維持されることを自動的に保証し、十分なコマ数を保証する。ユーザは、カメラに関して、「スナップショット」を撮りながら画像をパンするだけでいい。
【０００９】
本発明は、初心者から熟練者まで、あらゆるユーザのための解決法を提供するものであり、ユーザが、最先端のＣＭＯＳセンサ及びデジタル画像処理技術の組み合わせを用いてパノラマ画像を直接生成する方法に応答して、殆ど努力せずに又は付加的な努力なしに、高品質なパノラマ写真を生成することを可能にする。
【００１０】
以下の用語は、一般に、本明細書に関して説明されるものであり、本明細書の具体的な記述の制約のために解釈されるべきではない。
【００１１】
本明細書で述べられる「パンする（ｐａｎ）」という用語は、水平方向の動き（従来のパン）に応じて生じるか、又は垂直方向の動き（従来の傾斜）に応じて生じるか、或いは垂直方向の動きと水平方向の動きの組み合わせに応じて生じるかによらず、キャプチャされる所望の画像の空間的広がりにわたってカメラを移動させるプロセスに適用される。
【００１２】
「登録する（ｒｅｇｉｓｔｅｒ）」という用語は、多数の定義を有しており、本明細書で述べられるときは、「カメラの動きを登録する」といったカメラの動きの検知又は予測を記述し、パノラマ生成の際に隣り合う画像の位置合わせを記述するためにも用いられる。画像処理の技術分野においては、「位置合わせ（ｒｅｇｉｓｔｅｒ）」という用語が、多くの場合、画像位置合わせプロセスのみを意味するように、より制限的に用いられることを認識すべきである。
【００１３】
本発明は、これらに限定されるものではないが、以下の記述を含む多数の方法で具体化するのに適している。
【００１４】
本発明の一実施形態は、（ａ）カメラをいずれかの所望の方向又は方向の組み合わせにパンする間に（静止画、ビデオ、又は静止画とビデオとの組み合わせの）一連のデジタル画像をキャプチャするための手段（例えば、少なくとも１つの撮像装置及び焦点制御）と、（ｂ）メモリが結合されたコンピュータと、（ｃ）（ｉ）パノラマ画像でキャプチャされることになる所望のパノラマビューにわたってカメラがパンされるとき、一連の対をなす重なり合う画像フレーム内に画像フレームをキャプチャし、（ｃ）（ｉｉ）パン動作（ｐａｎｎｉｎｇ ｍｏｔｉｏｎ）を登録（検出／推定）し、（ｃ）（ｉｉｉ）画像フレーム間に間隙を生じさせずに適切な対をなす重なり部分を保証するために、検出されたパン動作に応答して、一連の対をなす重なり合う画像フレーム内の一連のフレームの各々のキャプチャを制御し、かつ、随意的に、重なり合う画像フレームのサブセットを所望のように選択し、（ｃ）（ｉｖ）一連の対をなす重なり合う画像フレームを結合して、カメラによる出力のためにパノラマ静止写真を生成するための、コンピュータ上で実行されるように適合されたプログラムとを含む、パノラマ画像をキャプチャするための装置である。
【００１５】
パノラマ画像は、装置によってキャプチャされた従来の非パノラマ画像に比べて、少なくとも１つの寸法（例えば、水平方向、垂直方向、斜め方向、恣意的な、２Ｄ（垂直面積及び水平面積）など）においてさらに延びていることに留意されたい。従って、パノラマ画像は、いずれの対象の所望の空間領域に及ぶこともできる。
【００１６】
装置はこれらのステップの全てを自動的に実行できるため、ユーザは、適切な画像の取得又は手動の継ぎ合わせ及びブレンド作業に苦労することなく、パノラマ画像を形成することができる。データを印刷し、格納し、及び／又は通信するように構成された外部電子デバイスにデータを伝達するためのいずれかの所望の形式で、パノラマ出力を生成することができる。
【００１７】
本発明による装置は、ユーザがパノラマ画像のキャプチャを選択し、随意的にキャプチャ及び画像結合プロセスを変更するための特徴を選択することを可能にするように適合された、あらゆる所望のユーザ・インターフェースをサポートすることができる。
【００１８】
パン動作を装置内に登録することは、光学的検知、物理的運動の検知、又はそれらの組み合わせに応答して実行することができる。
【００１９】
画像を結合する際、プログラムは、隣り合う画像間のインターフェースにおけるピクセルを補正し、従って、画像をブレンドして「継ぎ目（ｓｅａｍ）」のいずれの出現も低減する。
【００２０】
超解像処理技術は、結果の解像度を向上させるために、１つ又はそれ以上のパノラマ画像の生成前又は後、画像フレームに対して用いることができる。
【００２１】
本発明の一実施形態は、（ａ）一連のデジタル画像をキャプチャするように適合されたカメラ内の電子画像形成要素と、（ｂ）カメラの電子画像形成要素を制御するように構成されたメモリが結合されたコンピュータと、（ｃ）（ｉ）カメラがパノラマ画像としてキャプチャされることになる所望のパノラマビューにわたってパンされるとき、電子画像形成要素内に一連の対をなす重なり合う画像フレームにキャプチャし、（ｃ）（ｉｉ）画像フレーム間に間隙を生じさせずに適切な対をなす重なり部分を保証するために、パン動作を検知することに応答して、キャプチャ中の画像フレームの重なり部分を制御し、又は、一連の重なり合う画像フレームの組を選択し、（ｃ）（ｉｉｉ）一連の重なり合う画像フレームの組を結合して、カメラにより出力するためにパノラマ静止写真を形成するための、コンピュータ上で実行されるように適合されたプログラムとを含む、所望の対象をパンすることに応答してパノラマ静止写真を自動的に生成するように構成されたカメラである。
【００２２】
本発明の一実施形態は、（ａ）パンされている所望の対象領域にわたる一連の画像をキャプチャし、（ｂ）所望の対象領域がパンされているとき、カメラの動きに基づき十分な画像のキャプチャに応答して、一連の画像における隣り合う画像の縁部が互いに重なり合うことを保証し、（ｃ）一連の画像を結合して、少なくとも１つのパノラマ静止写真画像を生成することを含む、パノラマ静止写真をカメラ内に自動的にキャプチャするための方法である。
【００２３】
本発明は、本教示から逸脱することなく、別個に、又はいずれかの所望の組み合わせで実施することができる多数の有利な態様を提供する。
【００２４】
本発明の１つの態様は、パノラマ・モードにある際、パンする間にキャプチャした複数の画像を結合することに応答して、パノラマ画像を自動的に生成するための方法及び装置である。
本発明の別の態様は、所望の対象領域にわたる十分な数の画像フレームの収集に応答して、パノラマ画像を自動的に生成することを可能にすることである。
本発明の別の態様は、平均的な「オートフォーカス（ｐｏｉｎｔ−ａｎｄ−ｓｈｏｏｔ）」の撮影者が所望のパノラマ効果を生成するのを可能にすることである。
本発明の別の態様は、撮影者が、付加的な機器又は処理ステップを必要とすることなく、パノラマ画像の結果を生成するのを可能にすることである。
本発明の別の態様は、極めて精密なカメラ機材及び制御機構を必要とすることなく、パノラマ画像を生成する能力である。
本発明の別の態様は、撮影者が、隣り合う画像の適切な重なり部分を保証するカメラを用いてパノラマ画像を生成するのを可能にすることである。
本発明の更に別の態様は、デジタル・スチールカメラ及び／又はビデオ・カメラ装置内に組み込むことができる方法である。
本発明の更に別の態様は、多数の形態の画像収集及び処理装置に適用できることである。
【００２５】
本発明の更に別の態様は、明細書の以下の部分に明らかにされ、詳細な記述は、制限を課すことなく、本発明の好ましい実施形態を完全に開示するためのものである。
【００２６】
本発明は、例示目的にすぎない添付の図面を参照することによって、より完全に理解されるであろう。
【図面の簡単な説明】
【００２７】
【図１】本発明の一実施形態による、パノラマ画像を自動的に生成するための一般的なステップの流れ図である。
【図２】本発明の一実施形態による、静止画像及びビデオ画像のキャプチャに応答して、パノラマ画像を自動的に生成するためのステップの流れ図である。
【図３】本発明の一実施形態による、ビデオ画像のキャプチャ及び超解像技術に応答してパノラマ画像を自動的に生成するためのステップの流れ図である。
【図４】本発明の一実施形態による、静止画像及びビデオ画像のキャプチャ、並びに超解像アップスケーリング技術に応答してパノラマ画像を自動的に生成するためのステップの流れ図である。
【図５】本発明の１つの態様による、パノラマ画像を生成するように構成されたカメラ装置のブロック図である。
【図６】本発明の１つの態様による、パノラマ画像への画像のキャプチャ及び結合を示す画像である。
【図７】本発明の１つの態様による、パノラマ画像への画像のキャプチャ及び結合を示す画像である。
【図８】本発明の１つの態様による、パノラマ画像への画像のキャプチャ及び結合を示す画像である。
【図９】図９の自然のままの画像キャプチャを、図１０の本発明に従って生成されたパノラマ画像（ページ幅に合わせて圧縮した状態で示される）と比較する、サンフランシスコ市ベイエリアの画像である。
【図１０】図９の自然のままの画像キャプチャを、図１０の本発明に従って生成されたパノラマ画像（ページ幅に合わせて圧縮した状態で示される）と比較する、サンフランシスコ市ベイエリアの画像である。
【図１１】図１１の自然のままの画像キャプチャを、図１２の本発明に従って生成された垂直方向のパノラマ画像（ページ領域に合わせて圧縮した状態で示される）と比較する、サンフランシスコ市コイト・タワーの画像である。
【図１２】図１１の自然のままの画像キャプチャを、図１２の本発明に従って生成された垂直方向のパノラマ画像（ページ領域に合わせて圧縮した状態で示される）と比較する、サンフランシスコ市コイト・タワーの画像である。
【発明を実施するための形態】
【００２８】
図面をより詳細に参照すると、説明目的のために、本発明は、図１乃至図１２に全体的に示される装置において具体化される。この装置は、本明細書に開示される基本的な概念から逸脱することなく、構成及び部品の細部に関して異なる場合があり、本方法は、特定のステップ及びシーケンスに関して異なる場合があることが認識されるであろう。
【００２９】
１．序論
本発明によるカメラ装置は、高度なデジタル画像感知（例えば、ＣＭＯＳイメージセンサ）と、高度な画像処理を行ってパノラマ画像を生成するための十分な処理能力を与える、カメラ内の高度な計算チップと、を用いる。このカメラは、初心者の撮影者でさえも、対象の任意の所望の領域にわたるパノラマ写真画像を生成できるようにする。パノラマを生成する方法は、マルチフレーム処理を適用して既存のデジタルカメラの制限を超え、自動化されたキャプチャ及び処理を提供し、パノラマ画像が出力できるようにする。
【００３０】
図１は、カメラ装置からパノラマ画像を自動的に生成する１つの例示的な実施形態を示す。ブロック１０において、カメラがパノラマの所望の対象にわたってパンするとき、一連の画像がキャプチャされる。ブロック１２により、カメラの動きが登録／判定される。好ましい一実施形態において、カメラの動きの登録／判定に応答して、一連の画像がキャプチャされ、隣り合うショットが、パノラマ画像を生成する際の入力として用いるのに十分な重なり部分を有することを保証する。代替的に、高いフレームレート（ｆｒａｍｉｎｇ ｒａｔｅ）など、十分な重なり部分が他の方法で保証される場合、パノラマに用いられる画像のサブセットの決定に用いるように、及び／又は、どのように画像をパノラマ画像出力内に結合させるかを他の方法で制御するように、カメラの動きを登録／判定することができる。最適な画像の重なり量は、画像を継ぎ合わせるのに用いられる方法、及び、超解像度など、キャプチャの随意的な側面の使用によって決まり、重なり合う画像を用いて、結果として得られる画像の解像度を向上させ得ることを認識すべきである。ブロック１４に示されるように、キャプチャされた画像のシーケンスを結合して、別個にキャプチャされた画像のいずれをも超えて広がるパノラマ静止写真を生成する。結合プロセスの際、画像間の継ぎ目は、継ぎ目の可視性が最小になるようにブレンド（ｂｌｅｎｄ）される。
【００３１】
入力画像のシーケンスからの画像を結合する前に、場合によっては、本発明のプログラムは、一連の画像の組をパノラマ画像に結合させる前に、非パン動作及び／又は傾斜を補償することが好ましい。例えば、画像を補正することによって、又はパノラマを生成するのに十分な他の画像が存在する場合に選択されたキャプチャを消去することなどによって、アルゴリズムを実行し、カメラぶれがパノラマに導入されるのを低減することができる。矩形のパノラマを生成する場合、画像を結合する前に、入力画像の一部をトリミングすることができる。この画像トリミングは、例えば、レンズの幾何学的形状など、任意の所望の形状によることができる。本発明の教示から逸脱することなく、任意の形の前処理及びその組み合わせを付加的に実行し得ることを認識すべきである。
【００３２】
限定ではなく一例として、重なり合う画像フレームを「互いに継ぎ合わせる」又は結合させるための方法の１つは、以下の一般的なステップを有するマッチング・ブレンド・プロセスによるものである。（１）重なり合った領域における何らかのマッチング基準の最適化（例えば、ピクセル誤差の最小化）に向けて、第１のフレームと第２のフレームの重なり部分をマッチングする。幾つかの例は、平均二乗誤差又は平均絶対誤差を最小化すること、相互相関、正規化された相互相関、又は位相相関を最大化すること、画像間のオプティカル・フローを推定すること、前述した基準に従って、パラメータ化されたグローバル・モデルをマッチングの結果に適合させること、又は、所望のグローバル・モデルに従って制約されたオプティカル・フローを適用することを含む。適切なマッチングを保証するために、フレームのうちの１つ又はそれ以上のサイズ又は照明などを調整できることを認識すべきである。マッチングを確実にするために、重なり部分の位置決めは、垂直方向の変位、又は水平方向のパノラマ・パンにおける回転などの軸外変位を考慮に入れることが留意される。（２）「継ぎ目」の片側又は両側におけるピクセル領域のブレンドを行い、目に見える不連続性がないことを保証する。継ぎ目領域をさらに目立たなくするように、ブレンド・プロセスは、ランダム誤差拡散を含むことが好ましい。代替的に、ブレンド・プロセスは、滑らかさ又は入力画像との諧調度の類似性など継ぎ目付近の種々の画像基準を最適化することができる。当業者であれば、本発明の教示から逸脱することなく、ピクセルをブレンドするために、多数の技術を用い得ることを認識するであろう。
【００３３】
本発明から逸脱することなく、多数の異なる方法で、動き及び動きの速度を検知するといった、カメラの動きを登録することができる。少なくとも１つの実施において、一連の画像フレームを比較して、重なり量を判定し、これによりパノラマのための相対的なカメラの動きを決定する。１つの変形においては、十分な細部を迅速に得るために、低解像度のイメージセンサ又は通常のイメージセンサの低解像度モードを使用し、フレーム間にどれだけのマッチングが、よって重なり部分が存在するかを判定することなどにより、フレーム間のパン距離を確認する。少なくとも１つの他の実施形態において、任意の所望の運動軸におけるカメラの運動を推定するために時間的に処理される加速度センサに応じてなど、カメラの動きが物理的に登録される。代替的に、運動解析ソフトウェアなどと組み合わせて、重力計、慣性検知などを使用し、カメラのパン速度に基づいてパノラマのために画像をキャプチャすることができる。物理的検知の使用により、所定のパン速度のための画像収集レートの最適化が可能になる。他の実施形態においては、カメラの動きを判定するために、物理運動の感知及び光学感知の組み合わせが用いられる。
【００３４】
本発明の１つの形態において、装置は、ユーザに、画像をどのように組み合わせるか及び／又はトリミングするかを制御するための選択肢を提供する。１つの形態において、ユーザは矩形の形式を選択する（又は他の方法で水平方向及び／又は垂直方向にパンの限界を設定する）ことができ、この場合、プログラミングは、画像を水平方向又は垂直方向に結合し、結果として得られる矩形の表示領域の外側にある画像部分をトリミングにより自動的に取り去る（例えば、図１０におけるように成形された画像を生成する）。装置の１つの形態は、自由形状のパンの組をサポートし、ここで、画像は、パンする間にユーザがたどった任意の所望の経路に従って結合される。本発明の簡単な実施形態は、パノラマ画像キャプチャプロセスを簡略に保つために、ユーザに対して選択肢の数を制限する場合があることが認識されるであろう。しかしながら、本発明の開示から逸脱することなく、多数の異なる方法で本発明を拡張できることを理解すべきである。
【００３５】
一連の画像に十分な画像重なり部分が与えられる場合、１つ又はそれ以上の画像「問題」に悩まされるものなど、１つ又はそれ以上のキャプチャ画像を消去するように、プログラムを選択することができる。例えば、これらの問題は、撮影者の手ぶれを含み、画像の１つ又はそれ以上が他の画像よりもぼやけることがある。画像の組の間、結果として得られるパノラマの品質に悪影響を与える、視野内のカメラ・フラッシュ、イメージセンサを横切って飛ぶ虫、及び他の異常などの他のアーチファクトが現れることがある。
【００３６】
本発明の教示は、いずれかの恣意的な方向又は経路にわたってパノラマ画像を生成できることをさらに認識すべきである。例えば、本発明の実施形態は、ユーザが蛇行パターン（例えば、Ｓ字）を描きながらシャッターを押し続けることに応答して、パノラマ画像を生成するように構成することができる。本発明の１つの形態においては、カメラは、ユーザが、画像パンの間にカメラを意図的に傾けることを可能にし、場合によっては人気のあるモザイク傾斜効果を与えることさえ可能にする。
【００３７】
最新の実施形態において、本明細書における技術は、ユーザが、カメラの解像度を有効に向上させるなどのために、垂直方向のパノラマ及び水平方向のパノラマの両方をキャプチャすることさえ可能にする。例えば、ある現場の地層を調べることを望む地質学者は、パノラマ・モードを選択し、次いで、左から右、次いで下へ、右から左、次いで下へ、次いで左から右に戻るなど、所与の領域をカバーするために有効な任意のパターンでパンすることができる。本発明に従ったカメラは、対象にわたる非常に大きい（高解像度の）静止写真を提供することができ、かつ、ユーザが、これらを所望のように拡大して、微細な細部を見ることを可能にする。
【００３８】
一実施形態において、ユーザがタイル表示されたパノラマ出力を選択するのを可能にするモードが提供される。例えば、上記の例において、生成された巨大な領域のパノラマが、転送、閲覧などのためには大きすぎる（例えば、２０−１０００ＭＢより大きい）場合がある。従って、タイル表示モードは、ユーザが、タイル表示モードを選択することを可能にし、ここでは、パノラマが生成された後で画像がタイル表示されることから、画像は、互いに完全に嵌合する選択されたサイズの画像に分割される。１つ又はそれ以上の実施形態におけるプログラムは、ユーザが、例えばパノラマのプレビュー又は分類のために、縮小したパノラマ（例えば、１つの通常の画像空間に適合する）を出力することを可能にする。１つの態様において、縮小したパノラマは、印（例えば、ファイル名）を有した状態で又はない状態で、下にある画像の各々の位置を示す上を覆うグリッドと共に出力される。
【００３９】
２．ユーザ・インターフェース
本発明の実施形態は、多数の異なったユーザ・インターフェース構成の使用に応じて、パノラマ画像を生成するように構成することができる。１つの非常に基本的な構成においては、ユーザは、ボタンを押すこと又はセレクタを動かすことなどにより、単にパノラマ・モードを選択し、次いで、パノラマ画像が生成されることになる所望の領域をパンしながらシャッターを押し続ける。より高度なユーザ・インターフェースは、ユーザが、キャプチャがどのように行われるかの態様、画像解像度とキャプチャ頻度との間のトレードオフ、実施される継ぎ目の量（例えば、ショットの重なり比率）、画像を互いに継ぎ目なしにブレンドするためのブレンド方法及びパラメータ（又は、必要に応じて継ぎ目が見えるのを可能にすることを選択すること）、傾斜の補正を行うかどうか（例えば、図６の入力から図８の結果に向けて見られるように）、超解像度の使用、パノラマの最大出力サイズ、並びにそれらの変形及び組み合わせを選択することを可能にする。当業者であれば、本発明の教示から逸脱することなく、これらの特徴を変更することができ、他のカメラの制御態様と組み合わせることもできることを認識するであろう。
【００４０】
本発明の実施形態はまた、パノラマ画像出力の選択をユーザに提供することもできる。１つの形態において、同じ入力画像のシーケンスから生成された一連のパノラマ画像がユーザに示される。別の形態においては、１つのパノラマ画像がユーザに示され、ユーザはカメラがパノラマの付加的な構成をユーザに示すことを選択することができる。トリミング、ブレンド、及び解像度の変更の異なる方法が存在するので、これらの機構は、ユーザに自動化された選択の組を与える。ユーザは、同じ画像のシーケンスから生成されるこれらの結果のうちの１つ又はそれ以上を保存するよう選択することができる。少なくとも１つの実施において、高度な制御により、ユーザが、自らの選択のためにどのように異なるパノラマ形態をどのように提示するかについての優先順位、又は、そもそもその機能の起動を望むかどうかを指定することが可能になる。
【００４１】
３．付加的なパノラマの実施形態
図２は、静止画像及びビデオ画像のキャプチャに応答してパノラマ画像を自動的に生成することに向けられた例示的な一実施形態を示す。この実施形態において、パノラマに用いるために、静止画像に併せてビデオがキャプチャされる。静止画像のキャプチャ３０は、ビデオのキャプチャ３２より高い解像度で行われるが、より高い解像度モードといった、同じイメージセンサを用い得ることが好ましい。この実施形態におけるビデオのキャプチャは、静止画像をキャプチャ及び／又は結合して、高品質のパノラマ写真を生成するのを助けるために用いられる。ブロック３４において、カメラの動きの登録に応答して、静止画像フレームのキャプチャ中の遅延を判定する。代替的に、サブセットの連続的な画像フレーム間に間隙を生じさせることなく適正な対をなす重なり部分を保証するために、登録された（検知された）パン動作に応答して、キャプチャされたフレームの全体の組から重なり合うフレームのサブセットを選択することができる。動きとキャプチャの関係を示すために、カメラの動き３４の登録が再びブロック３０に結合された状態で、フローチャートを正確に描き得ることも認識すべきである。
【００４２】
物理センサを用いることによって、光学的感知によって、又はそれらの組み合わせによって、パン動作を登録できることが認識されるであろう。この実施形態において、ビデオ・フレームを分析して、前のビデオ・フレームからのパン動作、従ってパン速度及び次の静止画像フレームがキャプチャされるタイミングを判断できることが認識されるであろう。ステップ３６において、静止画像フレームを互いに継ぎ合わせるのを助けるために、ビデオ画像フレームを用いて、静止画像フレームが結合される。かなりの重なり部分を有するビデオ・フレームを用いる場合、ビブオ・フレームをアライン（位置合わせ）することは比較的容易である。この位置合わせ情報は、２つの画像の位置合わせが容易に利用可能になるまで、２つの静止画像間で時折キャプチャされるビデオ・フレームのために蓄積することができる。近似法は、２つの静止画像の正確な位置合わせのための初期条件を提供し、位置合わせのための検索空間を低減させ、従って複雑さを低減させる。
【００４３】
図３は、ビデオ画像キャプチャ及び超解像技術に応答してパノラマ画像を自動的に生成することに向けられた例示的な実施形態を示す。ビデオ・フレームをキャプチャ５０、カメラの動きを登録する５２。ビデオ・フレームは、典型的には静止画像フレームよりも低い解像度であるので、超解像技術を用いて、オリジナルのビデオ・フレームよりも高い解像度を有する重なり合うフレームのサブセットを生成すること５４が好ましい。超解像技術が、小規模の時間的又は空間的変位に従う第１の解像度の複数フレームを、第２のより高い解像度の単一フレームに結合することを可能にすることは周知である。次いで、超解像で生成された静止フレームは、カメラにより出力されるパノラマ画像に結合される５６。図２に示される方法と同様に、オリジナルのビデオを継ぎ合わせ用ガイドとして用い得ることが留意される。
【００４４】
本発明の代替的な実施形態はまた、複数の組の画像が複数のパノラマ画像に結合されることを可能にし、複数のパノラマ画像は、次いで、超解像技術を用いて最終的なパノラマ画像に結合される。例えば、一回パンする間に収集されたフレームｎ１乃至フレームｎ８を考える。次に、重なり合うフレームｎ１、ｎ３、ｎ５、及びｎ７が、第１の組のフレームの一部として選択され、一方、フレームｎ２、ｎ４、ｎ６、及びｎ８は、第２の組のフレームの一部として選択される。第１の組は、第１のパノラマ静止写真に結合され、さらに第２の組は、第２のパノラマ静止写真に結合される。次に、実質的に同じ領域をカバーする両方のパノラマが、超解像度を用いて、単一のより高い解像度のパノラマ出力に結合される。この逆順（ｒｅｖｅｒｅｓｅｄ−ｏｒｄｅｒ）手法の１つの利点は、超解像処理自体が別個のパノラマ画像内の継ぎ目を目立たなくすることである。この態様は、本明細書で教示されるいずれの実施及びその変形とも組み合わせ得ることを認識すべきである。
【００４５】
図４は、超解像度アップスケーリング技術と組み合わせられた静止画像及びビデオ画像キャプチャに応答して、高解像度のパノラマ・ビデオを自動的に生成するためのステップの流れ図である。高解像度のビデオは、より高い解像度をもたらすだけではなく、水平方向のフレームを拡張するものであり、従ってフレームずつのパノラマの形態であることを認識すべきである。本発明のこの実施形態は、用いられるビデオ・カメラが所望のアスペクト比（例えば、十分な幅）を有する画像形成装置を持たないときに特に適用可能である。
【００４６】
「アスペクト比」という用語は、その高さに対する、写真（又は画面）の幅を指すことに留意すべきである。比は、典型的には、「幅×高さ」の形で表される。例えば、４×３（より一般的には４：３と表される）比は、その写真が４単位の幅×３単位の高さであることを意味する。アスペクト比は幅と高さの間の関係のみを言うので、写真の実際の物理的寸法（ピクセル数）は、アスペクト比の計算には無関係である。４：３の比は、通常、標準解像度のキャプチャと呼ばれ、１６：９の比は、今日では典型的には、所謂「高解像度」のための形式と呼ばれる。また、２１：９の形式を有する、「Ｃｉｎｅｍａｓｃｏｐｅ（登録商標）」などの他の「パノラマ」映像形式も存在する。本発明によりフレームを任意の所望の方向に延ばせる能力を用いて、例えば、４：３→１６：９、又は１６：９→２１：９など、より小さい形式からより大きい形式に、制限なくアップスケーリングできることが認識されるであろう。
【００４７】
この方法において、ビデオ・パノラマのための基礎として、ビデオがキャプチャされる７０。ビデオをキャプチャする間、高解像度のパノラマ静止写真がキャプチャされる（例えば、定期的に、及び／又は、カメラ又は対象の動きにトリガされて）こと７２が好ましい。１つのビデオ・セグメント中に、少なくとも２つの静止画像をキャプチャすることが好ましい。静止画像をいつキャプチャするかの判断を助けるために、再びカメラの動きを登録すること７４が好ましい。次いで、超解像アップスケーリング（又は、デジタル・ズーム）技術７６を用いて、隣り合うビデオ・フレームを結合し、ビデオ・フレームの解像度を拡張する。次に、生成された高解像度のビデオ・フレームは、ブロック７８により、オリジナルのビデオ・フレームより幅広い（又は、選択された用途において所望され得るようにより高い）パノラマ・ビデオ・フレームに結合される。この方法において、両方のアップスケーリング・プロセス中、及び、超解像度技術に応答して生成されたビデオ・フレームの結合の際の案内のために、静止画像を用いることができる。この実施形態は、カメラ自体の内部で実施できるが、ビデオ・シーケンスに必要とされる高い処理オーバーヘッドは、より具体的には、収集されたビデオ及び静止画フレーム、及び、随意的な動きの情報によって案内されるようなオフライン処理に向いている。
【００４８】
４．カメラ・ハードウェア
図５は、本発明による、パノラマ画像を生成するように構成された装置の例示的な実施形態９０を示す。図面において、本発明に従って、パノラマ画像を自動的に生成するように構成された画像キャプチャ装置（カメラ）が示される。フォーカス／ズーム制御９４は、コンピュータ（ＣＰＵ）９６により制御される画像形成光学系９２に結合されるように示される。コンピュータ９６は、カメラを制御し、メモリ９８及び／又は補助メモリ１００から実行される命令に応答してパノラマ生成方法を実施する。カメラ装置（例えば、ビデオ及び／又は静止写真）の例として、随意的な画像ディスプレイ１０２、随意的なタッチスクリーン１０４、及び随意的な非タッチスクリーン１０６が示される。どのような数もサポートすることができる有線及び／又は無線通信ポート、メモリ・カード・スロットなどは、図面に示されていない。
【００４９】
さらに、パン動作を登録（検知）できる随意的な運動センサ１０８が示される。運動センサ１０８は、光学センサ又は物理センサ（例えば、慣性、加速度など）を含むことができるが、ビデオ及び／又は静止画像を収集するのに用いられるイメージセンサを用いてもよい。
【００５０】
特定のアプリケーションが異なる画像形成装置を用いてビデオ及び静止フレームを収集するのを可能にするように、画像形成システム１１０及び焦点／ズーム１１２を含む随意的な第２の画像形成システムが一例として示される。その機能が単一のキャプチャ要素を共有していないので、これはビデオ及び静止画像キャプチャのフレームレートを最大化する利点を有する。しかしながら、ビデオ・フレーム又は静止フレームの選択を可能にする異なる操作モードの使用に応答するといったように、ビデオ及び静止画像出力を同じ画像形成装置から収集できることを認識すべきである。少なくとも１つの実施において、ビデオ・フレームと静止フレームの間の違いは解像度であるが、アスペクト比及び他の特性が異なることもある。
【００５１】
上記の図は、限定としてではなく一例として示される。本発明による方法は、画像のシーケンスをキャプチャ／受信し、パノラマ出力を生成するように構成された種々の画像キャプチャ・処理デバイス上に実装できることを認識すべきである。本発明は、ＭＰＥＧビデオの処理及びそれに関連した動きベクトル処理には向けられていない。本方法は、画像形成装置自体に実装されることが好ましいが、パノラマ・ビデオ出力の生成におけるような後処理において実装することもできる。本発明は、ターゲット・システムに応じて、ハードウェア及び／又はソフトウェアにおいて実施することができる。本発明は、必要な光学系及び十分な処理能力を有するいずれのカメラ又はシステム上でもソフトウェアとして実施できることを認識すべきである。
【００５２】
パノラマ画像は、静止画像ファイル形式、ビデオ形式、データ形式、自然のままの（ｎａｔｉｖｅ）格納形式などを含むいずれかの所望の形式で、装置の画像ディスプレイ上に表示する（又は印刷する）、及び／又は、装置から出力することができる。
【００５３】
５．パノラマ画像出力の例
図６乃至図８は、パンする間にキャプチャされた一連の画像を自動的にキャプチャし、調整し、結合するプロセスを示す。これらの画像は、プロセスをシミュレートするものであるが、説明のために従来の方法で収集されたものである。図６において、アリゾナ州グランド・キャニオンの３つの画像をキャプチャする代表例を示す。これらの画像は、意図的に著しく位置がずれた状態で示されるが、これは、本発明により自動的に克服される側面であることを認識すべきである。本発明のプログラミングは、図６におけるような、キャプチャされた画像が適切に重なり合うのを確実にするように、画像キャプチャのタイミングを確立することにも留意すべきである。傾斜した（パン軸を外れた）画像は、水平軸などのより近い軸上にキャプチャされた画像と比べてより多くの画像の重なり部分を必要とすることが留意されるであろう。図７においては、画像をパターンに合わせてトリミングし、画像を互いに結合して継ぎ合わせるように単純化する。図８においては、画像は、フレーム間の継ぎ目が明らかにならないように、隣接する画像間のピクセル界接面で自動的に結合されている。
【００５４】
図９及び図１０は、サンフランシスコ湾のビデオ又は静止画像を示す。図９において、画像形成装置によってキャプチャされた単一の画像が示される。パンする間、本発明によって自動的にキャプチャされた、こうした一連の画像を結合して、図１０のパノラマ画像を生成する。レンズ及び画像形成装置の限界のために、図９の画像をキャプチャしたカメラは、全視野をカバーするのに幾つかの画像をキャプチャすることを必要とする。本発明によると、ユーザはカメラを水平方向にパンするだけでよく、カメラ装置が、パノラマ写真を自動的に生成する。
【００５５】
図１１及び図１２は、コイト・タワー（サンフランシスコ市テレグラフ・ヒル）の単一のビデオ又は静止画像と、本発明に従って生成されたパノラマ画像との間の比較を示す。示された光景においては、１４４０×１０８０ピクセルのオリジナルのビデオ・フレームが示される（表示しやすくするために、ここではサイズが変更されている）。この画像を適切にキャプチャするために、カメラは、ビデオ・フレームを収集しながら、タワーの範囲をカバーするように垂直方向にパンされた。本発明に従った処理により、キャプチャが行なわれ、これらのキャプチャされたフレームが図１２に示される垂直方向のパノラマに結合された。本発明は、単にカメラを垂直方向にパンし、カメラが全ての作業を自動的に行うのを可能にすることに応答して、本発明に従ったカメラが、この高層ビルの全長をカバーするような垂直方向のパノラマを容易にキャプチャすることを可能にすることが認識されるであろう。
【００５６】
６．パノラマ画像と他の画像技術との組み合わせ
本明細書に教示されるパノラマ画像技術は、他の画像処理技術と組み合わせて用いることができる。
【００５７】
１つの変形において、本明細書に教示されるパノラマ画像技術は、本出願人が他で教示したシミュレートされた長時間露光方法と組み合わせて用いることができる。これらの技術を組み合わせる中で、パノラマ画像をカメラ内で生成することができ、又は、同じく長時間露光をシミュレートする自動化された後処理に応答して、静止画像又はビデオ・フレームのいずれかを出力として生成することができる。カメラをパンしている間に十分な数の画像を取得することに応答して、又は二重（静止−ビデオ）画像キャプチャ技術を用いることによって、パノラマ処理及び長時間露光のシミュレーションの両方を助長することができることが認識されるであろう。
【００５８】
７．結論
本発明は、パンしている間にキャプチャされた重なり合う画像のシーケンスの入力に応答して、パノラマ画像を自動的に生成するための方法及び装置を提供する。本発明の教示は、カメラ（スチール及び／又はビデオ）、ビデオ処理機器及びソフトウェア、ビデオ再生装置などを含む種々の装置及び用途に適用することができる。
【００５９】
従って、以上のように、本発明は、とりわけ次の発明の実施形態を含む。すなわち、
１．パノラマ画像をキャプチャするための装置であって、
（ａ）一連のデジタル画像をキャプチャするための手段と、
（ｂ）メモリが結合されたコンピュータと、
（ｃ）（ｉ）カメラがパノラマ画像でキャプチャされることになる所望のパノラマビューにわたってパンされるとき、一連の対をなす重なり合う画像フレーム内に画像フレームをキャプチャし、
（ｉｉ）パン動作を登録し、
（ｉｉｉ）画像フレーム間に間隙を生じさせずに適切な対をなす重なり部分を保証するために、登録されたパン動作に応答して、一連の対をなす重なり合う画像フレームの中の一連のフレームのキャプチャを制御し、
（ｉｖ）一連の対をなす重なり合う画像フレームを結合して、カメラによる出力のためにパノラマ静止写真を生成するための、コンピュータ上で実行されるように適合されたプログラムと、
を含むことを特徴とする装置。
２．パノラマ画像は、装置によってキャプチャされた従来の非パノラマ画像に比べて、少なくとも１つの寸法においてさらに延びていることを特徴とする、実施形態１に記載の装置。
３．パノラマ画像は、対象のいずれかの所望空間領域に及ぶことができることを特徴とする、実施形態１に記載の装置。
４．パノラマ画像は、装置がキャプチャした画像の組を外部から処理する必要なしに、装置によって生成されることを特徴とする、実施形態１に記載の装置。
５．前述の手段は、
画像を電子的にキャプチャするように構成された画像形成装置と、
前記画像形成装置がキャプチャした画像の焦点距離を制御するように適合された焦点制御部と、
を含むことを特徴とする、実施形態１に記載の装置。
６．結合される一連の対をなす重なり合う画像フレームの中から１組の連続する重なり合う画像フレームを選択するためのプログラムをさらに含むことを特徴とする、実施形態１に記載の装置。
７．ユーザがパノラマ画像キャプチャモードを選択するのを可能にするように適合されたユーザ・インターフェースをさらに含むことを特徴とする、実施形態１に記載の装置。
８．パン動作は、光学式感知に応答して登録されることを特徴とする、実施形態１に記載の装置。
９．その出力がパン動作を登録するためにプログラムにより用いられる運動センサをさらに含むことを特徴とする、実施形態１に記載の装置。
１０．一連の対をなす重なり合う画像フレームをパノラマ画像に結合する前に、非パン動作及び／又は傾斜を補償するためのプログラムをさらに含むことを特徴とする、実施形態１に記載の装置。
１１．一連の対をなす重なり合う画像フレームは、ビデオ・フレームのシーケンスを含むことを特徴とする、実施形態１に記載の装置。
１２．装置のパノラマ出力は、パノラマ・デジタル写真を含むことを特徴とする、実施形態１に記載の装置。
１３．装置のパノラマ出力はパノラマ・デジタル写真を含み、
装置は、パノラマ・デジタル写真のためのデータを、データを印刷し、格納し、及び／又は通信するように構成された外部電子デバイスに通信するように構成されることを特徴とする、実施形態１に記載の装置。
１４．一連の対をなす重なり合う画像フレームを結合した後、対をなす重なり合う画像フレーム間をインターフェースするピクセルを補正するためのプログラムをさらに含むことを特徴とする、実施形態１に記載の装置。
１５．解像度を向上させるために画像フレームに対して超解像技術を実施するためのプログラムをさらに含むことを特徴とする、実施形態１に記載の装置。
１６．所望の対象をパンすることに応答して、パノラマ静止画像を自動的に生成するように構成されたカメラであって、
（ａ）デジタル画像をキャプチャするように適合されたカメラ内の電子画像形成要素と、
（ｂ）カメラの電子画像形成要素を制御するように構成された、メモリが結合されたコンピュータと、
（ｃ）（ｉ）カメラがパノラマ画像でキャプチャされることになる所望のパノラマビューにわたってパンされるとき、電子画像形成要素内に一連の対をなす重なり合う画像フレームをキャプチャし、
（ｉｉ）画像フレーム間に間隙を生じさせずに適切な対をなす重なり部分を保証するために、パン動作を登録することに応答して、キャプチャ中の画像フレームの重なり部分を制御し、又は、対をなす重なり合う画像フレームからサブセットを選択し、
（ｉｉｉ）一連の対をなす重なり合う画像フレームの組を結合して、カメラにより出力するためにパノラマ静止写真を生成するための、コンピュータ上で実行されるように適合されたプログラムと、
を含むことを特徴とするカメラ。
１７．一連の画像を結合した後、一連の対をなす重なり合う画像フレームの滑らかな継ぎ目のないブレンドを生成するために、ピクセル・インターフェースを補正するためのプログラムをさらに含むことを特徴とする、実施形態１６に記載の装置。
１８．解像度を向上させるために画像フレームに超解像技術を実施するためのプログラムをさらに含むことを特徴とする、実施形態１６に記載の装置。
１９．パノラマ静止写真をカメラ内に自動的にキャプチャする方法であって、
パンされる所望の対象領域にわたる一連の画像をキャプチャし、
所望の対象領域がパンされているとき、カメラの動きに基づき十分な画像をキャプチャすることに応答して、一連の画像における隣り合う画像の縁部が互いに重なり合うことを保証し、
一連の画像を結合して、少なくとも１つのパノラマ静止写真画像を生成する、
ことを含むことを特徴とする方法。
２０．解像度を向上させるために画像フレームに超解像技術を実施するためのプログラムをさらに含むことを特徴とする、実施形態１９に記載の方法。
【００６０】
上記の記述は多数の詳細を含むが、これらは本発明の範囲を限定するものではなく、単に、本発明の現在のところ好ましい実施形態の幾つかの例示を与えるものとして解釈されるべきである。従って、本発明の範囲は、当業者には明らかになり得る他の実施形態を完全に含むこと、従って、本発明の範囲は、添付の特許請求の範囲以外の何ものにも制限されず、そこで、単数形の要素の参照は、明示的にそのように述べられない限り「１つ、及び１つのみ」を意味することを意図するものではなく、寧ろ「１つ又はそれ以上」を意味するものであることが認識されるであろう。当業者には周知である上述の好ましい実施形態の要素の構造的及び機能的に同等物の全ては、引用により本明細書に明確に組み入れられ、かつ、本特許請求の範囲に包含されることが意図される。さらに、本特許請求の範囲により包含されるように、方法又は装置は、本発明により解決することが求められるありとあらゆる問題に対処する必要はない。さらに、本開示におけるいかなる要素、構成部品又は方法ステップが特許請求の範囲において明示的に記載されているかに関わらず、公衆に向けられることを意図するものではない。本明細書の特許請求の範囲のいずれの要素も、この要素が「のための手段」という語句を用いて明示的に引用されない限り、合衆国法典第３５巻第１１２条第６項の条項に基づいて解釈されるべきではない。
【符号の説明】
【００６１】
９２：画像形成光学装置
９４：フォーカス／ズーム
９６：コンピュータ
９８：メモリ
１００：補助メモリ
１０２：画像ディスプレイ
１０４：タッチスクリーン
１０６：非タッチスクリーン
１０８：運動センサ
１１０：画像形成システム
１１２：焦点／ズーム
【特許請求の範囲】
【請求項１】
パノラマ画像をキャプチャするための装置であって、
（ａ）一連のデジタル画像をキャプチャするための手段と、
（ｂ）メモリが結合されたコンピュータと、
（ｃ）（ｉ）カメラがパノラマ画像でキャプチャされることになる所望のパノラマビューにわたってパンされるとき、一連の対をなす重なり合う画像フレーム内の画像フレームをキャプチャし、
（ｉｉ）パン動作を登録し、
（ｉｉｉ）前記画像フレーム間に間隙を生じさせずに適切な対をなす重なり部分を保証するために、登録されたパン動作に応答して、前記一連の対をなす重なり合う画像フレーム内の一連のフレームのキャプチャを制御し、
（ｉｖ）前記一連の対をなす重なり合う画像フレームを結合して、前記カメラにより出力するためにパノラマ静止写真を生成するための、前記コンピュータ上で実行されるように適合されたプログラムと、
を含むことを特徴とする装置。
【請求項２】
前記パノラマ画像は、前記装置によってキャプチャされた従来の非パノラマ画像に比べて、少なくとも１つの寸法においてさらに延びていることを特徴とする、請求項１に記載の装置。
【請求項３】
前記パノラマ画像は、対象のいずれかの所望空間領域に及ぶことができることを特徴とする、請求項１に記載の装置。
【請求項４】
前記パノラマ画像は、前記装置がキャプチャした画像の組を外部から処理する必要なしに、該装置によって生成されることを特徴とする、請求項１に記載の装置。
【請求項５】
前記手段は、
画像を電子的にキャプチャするように構成された画像形成装置と、
前記画像形成装置がキャプチャした画像の焦点距離を制御するように適合された焦点制御部と、
を含むことを特徴とする、請求項１に記載の装置。
【請求項６】
結合される前記一連の対をなす重なり合う画像フレームの中から１組の連続する重なり合う画像フレームを選択するためのプログラムをさらに含むことを特徴とする、請求項１に記載の装置。
【請求項７】
ユーザがパノラマ画像キャプチャモードを選択するのを可能にするように適合されたユーザ・インターフェースをさらに含むことを特徴とする、請求項１に記載の装置。
【請求項８】
前記パン動作は、光学的感知に応答して登録されることを特徴とする、請求項１に記載の装置。
【請求項９】
その出力がパン動作を登録するために前記プログラムにより用いられる運動センサをさらに含むことを特徴とする、請求項１に記載の装置。
【請求項１０】
前記一連の対をなす重なり合う画像フレームを前記パノラマ画像に結合する前に、非パン動作及び／又は傾斜を補償するためのプログラムをさらに含むことを特徴とする、請求項１に記載の装置。
【請求項１１】
前記一連の対をなす重なり合う画像フレームは、ビデオ・フレームのシーケンスを含むことを特徴とする、請求項１に記載の装置。
【請求項１２】
前記装置の前記パノラマ出力は、パノラマ・デジタル写真を含むことを特徴とする、請求項１に記載の装置。
【請求項１３】
前記装置の前記パノラマ出力はパノラマ・デジタル写真を含み、
前記装置は、前記パノラマ・デジタル写真のためのデータを、前記データを印刷し、格納し、及び／又は通信するように構成された外部電子デバイスに通信するように構成されることを特徴とする、請求項１に記載の装置。
【請求項１４】
前記一連の対をなす重なり合う画像フレームを結合した後、対をなす重なり合う画像フレーム間をインターフェースするピクセルを補正するためのプログラムをさらに含むことを特徴とする、請求項１に記載の装置。
【請求項１５】
解像度を向上させるために画像フレームに対して超解像技術を実施するためのプログラムをさらに含むことを特徴とする、請求項１に記載の装置。
【請求項１６】
所望の対象をパンすることに応答して、パノラマ静止画像を自動的に生成するように構成されたカメラであって、
デジタル画像をキャプチャするように適合されたカメラ内の電子画像形成要素と、
前記カメラの前記電子画像形成要素を制御するように構成された、メモリが結合されたコンピュータと、
前記カメラがパノラマ画像でキャプチャされることになる所望のパノラマビューにわたってパンされるとき、前記電子画像形成要素内に一連の対をなす重なり合う画像フレームをキャプチャし、
前記画像フレーム間に間隙を生じさせずに適切な対をなす重なり部分を保証するために、パン動作を登録することに応答して、キャプチャ中の画像フレームの重なり部分を制御し、又は、前記対をなす重なり合う画像フレームからサブセットを選択し、
前記一連の対をなす重なり合う画像フレームの組を結合して、前記カメラにより出力するためにパノラマ静止写真を生成するための、前記コンピュータ上で実行されるように適合されたプログラムと、
を含むことを特徴とするカメラ。
【請求項１７】
前記一連の画像を結合した後、前記一連の対をなす重なり合う画像フレームの滑らかな継ぎ目のないブレンドを生成するために、ピクセル・インターフェースを補正するためのプログラムをさらに含むことを特徴とする、請求項１６に記載の装置。
【請求項１８】
解像度を向上させるために、画像フレームに超解像技術を実施するためのプログラムをさらに含むことを特徴とする、請求項１６に記載の装置。
【請求項１９】
パノラマ静止写真をカメラ内に自動的にキャプチャするための方法であって、
パンしている所望の対象領域にわたる一連の画像をキャプチャし、
所望の対象領域をパンする際のカメラ運動に基づき、十分な画像をキャプチャすることに応答して、一連の画像内の隣接する画像の縁部が互いに重なり合うことを保証し、
前記一連の画像を組み合わせて少なくとも１つのパノラマ静止写真画像を生成することを含むことを特徴とする方法。
【請求項２０】
解像度を向上させるために画像フレームに超解像技術を実施するためのプログラムをさらに含むことを特徴とする、請求項１９に記載の方法。
【請求項１】
パノラマ画像をキャプチャするための装置であって、
（ａ）一連のデジタル画像をキャプチャするための手段と、
（ｂ）メモリが結合されたコンピュータと、
（ｃ）（ｉ）カメラがパノラマ画像でキャプチャされることになる所望のパノラマビューにわたってパンされるとき、一連の対をなす重なり合う画像フレーム内の画像フレームをキャプチャし、
（ｉｉ）パン動作を登録し、
（ｉｉｉ）前記画像フレーム間に間隙を生じさせずに適切な対をなす重なり部分を保証するために、登録されたパン動作に応答して、前記一連の対をなす重なり合う画像フレーム内の一連のフレームのキャプチャを制御し、
（ｉｖ）前記一連の対をなす重なり合う画像フレームを結合して、前記カメラにより出力するためにパノラマ静止写真を生成するための、前記コンピュータ上で実行されるように適合されたプログラムと、
を含むことを特徴とする装置。
【請求項２】
前記パノラマ画像は、前記装置によってキャプチャされた従来の非パノラマ画像に比べて、少なくとも１つの寸法においてさらに延びていることを特徴とする、請求項１に記載の装置。
【請求項３】
前記パノラマ画像は、対象のいずれかの所望空間領域に及ぶことができることを特徴とする、請求項１に記載の装置。
【請求項４】
前記パノラマ画像は、前記装置がキャプチャした画像の組を外部から処理する必要なしに、該装置によって生成されることを特徴とする、請求項１に記載の装置。
【請求項５】
前記手段は、
画像を電子的にキャプチャするように構成された画像形成装置と、
前記画像形成装置がキャプチャした画像の焦点距離を制御するように適合された焦点制御部と、
を含むことを特徴とする、請求項１に記載の装置。
【請求項６】
結合される前記一連の対をなす重なり合う画像フレームの中から１組の連続する重なり合う画像フレームを選択するためのプログラムをさらに含むことを特徴とする、請求項１に記載の装置。
【請求項７】
ユーザがパノラマ画像キャプチャモードを選択するのを可能にするように適合されたユーザ・インターフェースをさらに含むことを特徴とする、請求項１に記載の装置。
【請求項８】
前記パン動作は、光学的感知に応答して登録されることを特徴とする、請求項１に記載の装置。
【請求項９】
その出力がパン動作を登録するために前記プログラムにより用いられる運動センサをさらに含むことを特徴とする、請求項１に記載の装置。
【請求項１０】
前記一連の対をなす重なり合う画像フレームを前記パノラマ画像に結合する前に、非パン動作及び／又は傾斜を補償するためのプログラムをさらに含むことを特徴とする、請求項１に記載の装置。
【請求項１１】
前記一連の対をなす重なり合う画像フレームは、ビデオ・フレームのシーケンスを含むことを特徴とする、請求項１に記載の装置。
【請求項１２】
前記装置の前記パノラマ出力は、パノラマ・デジタル写真を含むことを特徴とする、請求項１に記載の装置。
【請求項１３】
前記装置の前記パノラマ出力はパノラマ・デジタル写真を含み、
前記装置は、前記パノラマ・デジタル写真のためのデータを、前記データを印刷し、格納し、及び／又は通信するように構成された外部電子デバイスに通信するように構成されることを特徴とする、請求項１に記載の装置。
【請求項１４】
前記一連の対をなす重なり合う画像フレームを結合した後、対をなす重なり合う画像フレーム間をインターフェースするピクセルを補正するためのプログラムをさらに含むことを特徴とする、請求項１に記載の装置。
【請求項１５】
解像度を向上させるために画像フレームに対して超解像技術を実施するためのプログラムをさらに含むことを特徴とする、請求項１に記載の装置。
【請求項１６】
所望の対象をパンすることに応答して、パノラマ静止画像を自動的に生成するように構成されたカメラであって、
デジタル画像をキャプチャするように適合されたカメラ内の電子画像形成要素と、
前記カメラの前記電子画像形成要素を制御するように構成された、メモリが結合されたコンピュータと、
前記カメラがパノラマ画像でキャプチャされることになる所望のパノラマビューにわたってパンされるとき、前記電子画像形成要素内に一連の対をなす重なり合う画像フレームをキャプチャし、
前記画像フレーム間に間隙を生じさせずに適切な対をなす重なり部分を保証するために、パン動作を登録することに応答して、キャプチャ中の画像フレームの重なり部分を制御し、又は、前記対をなす重なり合う画像フレームからサブセットを選択し、
前記一連の対をなす重なり合う画像フレームの組を結合して、前記カメラにより出力するためにパノラマ静止写真を生成するための、前記コンピュータ上で実行されるように適合されたプログラムと、
を含むことを特徴とするカメラ。
【請求項１７】
前記一連の画像を結合した後、前記一連の対をなす重なり合う画像フレームの滑らかな継ぎ目のないブレンドを生成するために、ピクセル・インターフェースを補正するためのプログラムをさらに含むことを特徴とする、請求項１６に記載の装置。
【請求項１８】
解像度を向上させるために、画像フレームに超解像技術を実施するためのプログラムをさらに含むことを特徴とする、請求項１６に記載の装置。
【請求項１９】
パノラマ静止写真をカメラ内に自動的にキャプチャするための方法であって、
パンしている所望の対象領域にわたる一連の画像をキャプチャし、
所望の対象領域をパンする際のカメラ運動に基づき、十分な画像をキャプチャすることに応答して、一連の画像内の隣接する画像の縁部が互いに重なり合うことを保証し、
前記一連の画像を組み合わせて少なくとも１つのパノラマ静止写真画像を生成することを含むことを特徴とする方法。
【請求項２０】
解像度を向上させるために画像フレームに超解像技術を実施するためのプログラムをさらに含むことを特徴とする、請求項１９に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１０−２５２３１２（Ｐ２０１０−２５２３１２Ａ）
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１０−４９７８６（Ｐ２０１０−４９７８６）
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５９３１８１６３８）ソニー エレクトロニクス インク (371)
【Ｆターム（参考）】
【公開日】平成２２年１１月４日（２０１０．１１．４）
【国際特許分類】
【出願番号】特願２０１０−４９７８６（Ｐ２０１０−４９７８６）
【出願日】平成２２年２月１６日（２０１０．２．１６）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【出願人】（５９３１８１６３８）ソニー エレクトロニクス インク (371)
【Ｆターム（参考）】
[ Back to top ]