異なる解像度の画像を使用した改良された画像の形成
シーンの複数の画像が、同時時間期間に渡って獲得される。複数の画像の大半は、複数の画像の他のものよりも低解像度で獲得された低解像度画像である。画像の補正されたセットが、低解像度画像の少なくともいくらかの間に存在する動きを少なくとも補正することによって形成される。加えて、合成された画像が、（ａ）画像の補正されたセットにおける画像の少なくとも一つの少なくとも一部、及び（ｂ）複数の画像の他のものの少なくとも一つの少なくとも一部、を少なくとも合体することによって、形成される。合成された画像は、プロセッサ・アクセス可能メモリシステムに記憶される。合成された画像は、従来の技法に対して、低減された動きのぶれ、より高いＳ／Ｎ比、及びより高い解像度を含む改良された画質を示す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像からの改良された画像の生成に関する。より具体的には、低減された動きのぶれ及び低減されたノイズを有する改良された画像を形成するために、複数の画像が使用される。
【背景技術】
【０００２】
解決されるべき問題は、画像における動きのぶれを作り出す画像獲得中の動きが存在する光量不足の写真である。動きは、撮像されているシーン全体が共に動くグローバルな多様なものであることができ、あるいは、シーンの一つ又はそれ以上の部分がシーンの残りと比べて異なる速さ又は方向に動くローカルな多様なものであることができる。グローバルな動きは、画像獲得中のシーンとカメラとの間の相対的な動きによるものである。ローカルな動きは、シーンの他の部分に対して動いているシーン内の物体によるものである。ローカルな動きは、シーンの異なる部分で異なって生じることができる。
【０００３】
露光時間が短く且つ動きが遅い場合には、良好な画質を有する画像を獲得するために、単一な画像の獲得が使用されることができる。しかし、高いＳ／Ｎ比を有する画像を得るために必要とされる露光時間が画像獲得中に存在する動きに対して長くなるにつれて、あるいは利用可能な光が減るにつれて、獲得された画質は、画像内の動きのぶれの増加及びノイズの増加の形態で、劣化していく。
【０００４】
民生用デジタルカメラに対して、画素のサイズは時間とともに小さくなる傾向にあり、これは露光中に光を獲得するために利用可能な面積を減らし、ノイズがより問題になる。露光時間は、より小さな画素を補償するために増加させられることができるが、そのときには動きのぶれがより問題になる。したがって、光に対する画素の感度を増す方法は、ハミルトンによる米国特許出願第11/191,729号（docket 91045）に記述されており、これは、画像センサに全色性画素を追加する。露光時間に対して動きが増すか、又は利用可能な光が減るにつれて、なされることができる一連の妥協がある。空間解像度、時間解像度、又は画質を増すために、写真空間においていくつかの妥協がなされることができるが、各々の利点とともに欠点もまた存在することに留意することが重要である。例えば、動きのぶれを減らすために露光時間を減らし、それによって時間解像度を増すことができるが、画像内のノイズの増加という犠牲を伴う。フラッシュは画像内のノイズを減らす効果的な方法であり、露光時間を短くすることを可能にすることによって時間解像度が増加されるが、不均一な光照射及び赤目という犠牲を伴う。より長い露光時間が画像内のノイズを減らすことを可能にし、動きのブレを減らして空間解像度を増すために、露光中に光学的に基づいた画像の安定が使用されることができる。しかし、光学的に基づいた画像の安定は、カメラの動きからの動きのぶれ（グローバルな動き）を減らすためにのみ使用されることができる。画素の有効サイズは、ビニング（binnig）（すなわち、隣接する画素がお互いに接続されて、隣接する画素の電荷が合計されて信号が増やされる）によって、露光時間を減らすことを可能にするために増加されることができる。しかし、ビニングには、空間解像度の減少を伴う。複数の低解像度ビデオ画像を使用して、空間解像度を維持し且つ時間解像度と露光時間との間のバランスを提供しながら、改良された画質を有する単一の画像を形成することができる。所与の時間内に複数の画像を読み出すことは、各画像に対して、より短い露光時間を使用することによって、動きのぶれを減らすことができるが、各画像はノイズが多いものになる。複数の画像をお互いに位置合わせして個別の画像獲得の間の動きを補正し、それから個別の画像を共に合計する（スタックする）ことによって、形成された単一の画像においてノイズが低減されることができる。
【０００５】
複数の低解像度ビデオ画像は比較的迅速に（30〜60画像／秒が典型である）読み出されることができ、且つ画素がしばしばビニング（binned）されているので画像が典型的には低ノイズである一方で、形成されることができる単一の画像は、比較的低解像度に限定される。逆に、複数の高解像度画像を使用して高解像度の単一画像を形成することができる。しかし、高解像度画像は、画素が小さいので典型的にはノイズが多く、より顕著なことには、ハードウエアの制約のために、複数の高解像度画像を読み出すために比較的長い時間が要求される（1.5〜7画像／秒が典型である）。加えて、画像獲得の間の顕著な動きのために、画像を位置合わせするという問題が大きくなる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許明細書４２９６４３６号
【特許文献２】米国特許明細書５３２５４４５号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、当該技術分野において、特に動きが存在するシーンにおいて、複数の画像を結合して改良された画像を形成するための改良された解決策に対する必要性が存在する。
【課題を解決するための手段】
【０００８】
本発明の様々な実施形態に従って画像を形成するシステム及び方法によって、当該技術において、上述の問題が克服され、技術的な解決策が達成される。本発明のいくつかの実施形態では、シーンの複数の画像が同時時間期間に渡って獲得され、複数の画像の大半は、複数の画像の他のものよりも低解像度で獲得された低解像度画像である。低解像度画像の少なくともいくつかはビデオ画像又はプレビュー画像であり得て、低解像度画像は複数の画像の他のものの獲得に先立って獲得され得る。いくつかの実施形態では、低解像度画像は、複数の画像の他のものと同じか又はより長い露光時間を有する。いくつかの実施形態では、複数の画像の他のものは、単一の高解像度画像のみを含む。画像の補正されたセットが、低解像度画像の少なくともいくつかの間に存在する動きを少なくとも補正することによって形成される。加えて、合成された画像が、（ａ）画像の補正されたセットにおける画像の少なくとも一つの少なくとも一部、及び（ｂ）複数の画像の他のものの少なくとも一つの少なくとも一部を、少なくとも合成することによって形成される。さらに、合成された画像はプロセッサ・アクセス可能メモリシステムに記憶される。合成された画像は、従来の技法に対して、低減された動きのぶれ、より高いＳ／Ｎ比、及びより高い解像度を含む改良された画質を示す。
【０００９】
いくつかの実施形態では、画像の補正されたセットの形成は、動き補正された低解像度画像を単一の低解像度画像へ合体するステップを含み、画像の補正されたセットは単一の低解像度画像のみを含む。これらの実施形態のいくつかでは、画像の補正されたセットの形成は、低解像度画像の少なくともいくつかの中で特徴を位置合わせして、そのような画像をお互いにオフセットするステップを含み、その位置合わせは、低解像度画像の合体に先立って生じる。
【００１０】
いくつかの実施形態では、低解像度画像はローリングバッファに保存される。これらの実施形態は、複数の低解像度画像を獲得するための時間がシャッター遅れに寄与することを妨げることを手助けする。
【００１１】
いくつかの実施形態では、獲得ボタン部分的押下信号の受領が低解像度画像の獲得を生じさせ、獲得ボタン完全押下信号の受領が複数の画像の他のものの獲得を生じさせる。
【００１２】
低解像度画像がビデオ画像であるようないくつかの実施形態では、低解像度画像を獲得する間に音声データが獲得される。これらの場合には、音声データ及び低解像度画像は、音声データ及び低解像度画像を合成された画像にリンクするような方法で、プロセッサ・アクセス可能メモリシステムに記憶される。そのような実施形態は、合成された画像に付随するビデオ及び音声コンテクストを提供する。
【００１３】
上述の実施形態に加えて、さらなる実施形態が、図面を参照することによって及び以下の詳細な記述を研究することによって明らかになるであろう。
【図面の簡単な説明】
【００１４】
本発明は、以下に提示される例示的な実施形態の詳細な記述を添付の図面とともに考慮することから、より容易に理解されるであろう。
【図１】本発明の一つの実施形態に従って、画像を形成するシステムを描いた図である。
【図２】本発明の一つの実施形態に従って、大半が他のものより低解像度である複数の画像のセットを獲得するプロセスの流れ図である。
【図３】本発明の一つの実施形態に従って、複数の画像の獲得されたセットから一つの画像を形成するプロセスの流れ図である。
【図４】本発明の一つの実施形態に従って、複数の画像の獲得されたセットから一つの画像を形成するプロセスの流れ図である。
【図５】本発明の他の実施形態に従って、複数の画像の獲得されたセットから一つの画像を形成する他のプロセスの模式図である。
【図６】本発明の様々な実施形態に従って、図３、図４、及び図５に示されたようなプロセスが様々な時点で挿入され得る画像処理ワークフローを描いた図である。
【００１５】
添付の図面が本発明の概念を描く目的のものであり、必ずしも縮尺が揃えられていないことが理解されるべきである。
【発明を実施するための形態】
【００１６】
本発明の実施形態は、シーンの複数の画像の獲得又は撮影に関しており、複数の画像は、低解像度画像とより少数の高解像度画像とから構成される獲得セットを形成する。画像の全ては、比較的短い時間期間内に獲得され、それらはお互いに同時とみなされることができる。低解像度画像は、高解像度画像よりも、センサ上のビニングのために、同じ又はより長い露光時間と効果的により大きい画素とを有する。したがって、低解像度画像は、各画像内のより高いＳ／Ｎ比、より低い解像度、及び同じ又はより多い動きのぶれを有する。対照的に、高解像度画像は、低解像度画像に比べて、センサ上のビニングがより少ないことによるより高い解像度、より低いＳ／Ｎ比、及び同じ又はより少ない動きのぶれを有する。改良された画質（より高い解像度、低減された動きのぶれ、及び増加したＳ／Ｎ比）を有する合成画像がそれから、獲得セットにおける画像の少なくとも一部を共に合体することによって形成される。動きのぶれは、合成画像において、（ａ）獲得セットの獲得の間に生じる動きを補正するために、合体に先立って獲得セット内の画像をお互いにオフセットすることによって、（ｂ）低解像度画像における動きのぶれを補正するために低減された動きのぶれを有する高解像度画像を使用することによって、又は（ａ）及び（ｂ）の組み合わせによって、低減され得る。
【００１７】
典型的なデジタルカメラ内部では、低解像度画像及び高解像度画像の両方が、典型的に獲得されることができる。高解像度画像は、典型的には画像センサのフル解像度で提供され、低解像度画像は、センサ上の画素をビニング又は減少することによって提供される。
【００１８】
ビニングは、隣接する画素を共に電子的に接続し、隣接する画素の電荷を共に加算することを伴い、それによってＳ／Ｎ比を増し且つまた画素のサイズを効果的に増し、センサの解像度を低減する（画素数を減らす）。数の減少は、画素のいくつかにおける電荷をリセットすることを伴い、そのために、減らされた画素に対する画素データを使用しない。Ｓ／Ｎ比を増すために、本発明の実施形態は、ビニングを使用して獲得セット内に低解像度画像を生成する。低光のようないくつかの実施形態では、高解像度画像さえもビニングされ得て、画像内のＳ／Ｎ比を増すが、ビニングレベルは、低解像度画像に対して使用されるものよりも少ない。
【００１９】
デジタルカメラにおけるハードウエアの制約のために、処理経路の機会に制約が存在する。複数の画像の高フレームレートでの獲得は、低解像度画像とともに獲得することが容易である。加えて、高Ｓ／Ｎ比画像は、より長い露光時間で低解像度画像とともに獲得することが容易である。複数の画像間の動きの補正は、単一の画像が、獲得セット内の複数の画像の結合獲得時間のものと等しい露光時間で獲得されると、動きのぶれを低減する。しかし、細かいエッジの詳細は、高解像度画像から来なければならない。
【００２０】
本発明の様々な実施形態において、低解像度画像は、高くビニングされたビデオモード又はプレビューモードで獲得されることができ、画像は、30〜120画像／秒のような高速レートで連続して獲得される。対照的に、フル解像度画像は、フル解像度モードで、又はより遅いレートでより低いビニングモードで、獲得されることができる。加えて、高解像度画像は、シーン内に存在する写真状態に対する自動露光モードによって典型的に計算されるよりも短い露光時間で獲得される。典型的には、複数の画像の獲得レートはまず露光時間によって制限されるが、それから、画像センサが読み出されることができて且つ画像が記憶された速さによって制限され、これは画像内の画素の数によって決定される。したがって、画素数がより少ない低解像度画像は、画素数が多い高解像度画像よりもはるかに速く読み出されて且つ記憶されることができる。ビデオ画像における画素数とフル解像度画像における画素数との間の差は、しばしば10Ｘから20Ｘである。したがって、複数の画像獲得セットに対する獲得時間を減らすためには、より多数の低解像度画像及びより少数の高解像度画像を使用することが効果的である。したがって、本発明の実施形態は、より少数の（又は単一の）高解像度画像とともに複数の低解像度画像を含む獲得セットに関する。
【００２１】
獲得セットにおける画像の獲得の間に、低解像度画像は、獲得セットの獲得の間に画像間に生じることができるシーンにおける動き及びシーンに対するカメラの動きの両方の効果を減らすために、できるだけ迅速に獲得され得る。低解像度画像は迅速に獲得されるが、低解像度画像の各々に対する露光時間は、各低解像度画像における同じ又はより多くの動きのぶれを生じさせることができる高解像度画像に対する露光時間と同じ又はより長いものであることができる。露光時間は、シーン内に存在する光量及び検出された動きの量の両方に基づいて、選択されることができる。低解像度画像及び高解像度画像の両方に対して同じ露光時間を使用することは、一様なシャープさで合成画像を生成することができ、低解像度画像に対してより長い露光時間を使用することは、最高のＳ／Ｎ比及び最低の色彩ノイズで合成画像を生成することができる。最終的な結果は、より低い解像度の画像が、解像度がより低く且つ動きのぶれが同じ又はより多いことを犠牲にして、同じ又はより長い露光時間及びビニングからの効果的に大きな画素のために、より高いＳ／Ｎ比を有することである。対照的に、高解像度の画像に対する露光時間は、動きのぶれを減らすための撮影条件に対して典型的に使用されるよりも短く選択され、より低いＳ／Ｎ比を受容する。獲得セットはそのときは、より高いＳ／Ｎ比を有する複数の低解像度画像ならびにより低いＳ／Ｎ比及び低減された動きのぶれを有する一つ又はそれ以上の高解像度画像から構成され得る。
【００２２】
加えて、本発明の実施形態は、獲得セットにおける低解像度画像が記憶されることができるローリングバッファの使用を含み得る。ローリングバッファの使用の恩恵は、高解像度画像の獲得に先立って、低解像度画像が獲得され且つローリングバッファに連続して読み出されることができることである。このようにして、低解像度画像を獲得するための時間は、操作者によって感知されるようなシャッター遅れに寄与しないものとなる。シャッター遅れは、獲得ボタンが完全に押された時点と画像が実際に獲得される時点との間の操作者によって感知される遅れである。実際には、カメラによって、操作者が画像獲得の準備ができたことが検出されると、操作者が獲得ボタンを部分的に押すか又は操作者がカメラを獲得位置に配置したことをカメラが検出するかのいずれかによって、低解像度画像が獲得され且つローリングバッファに読み出され始める。操作者が（獲得ボタンを完全に押すことによって）画像獲得に対する瞬間の信号を出すと、そのときには、低解像度画像のローリングバッファへの獲得が停止され、高解像度画像が獲得される。このようにして、感知されたシャッター遅れは、高解像度画像を獲得するために必要とされる時間のみである。
【００２３】
さらに、本発明は、低解像度画像が改良された画質を有する画像を生成するために使用されることに加えて、低解像度画像が合成画像とともに記憶されて合成画像にコンテクストを提供することができることを開示する。このことは、改良された画質を有する生成された静止画像に、ビデオコンテクストを提供する。この目的のために、同期した音声が獲得されて、低解像度画像とともに記憶されることができる。
【００２４】
図１は、本発明のある実施形態に従って画像を形成するシステム１００を描いている。このシステム１００は、データ処理システム１１０、周辺システム１２０、ユーザインターフェースシステム１３０、及びプロセッサ・アクセス可能メモリシステム１４０を含む。プロセッサ・アクセス可能メモリシステム１４０、周辺システム１２０、及びユーザインターフェースシステム１３０は、データ処理システム１１０に通信的に接続される。本発明は限定されないが、全システム１００は、デジタル静止カメラ、デジタルビデオカメラ、あるいは任意の他のデジタル画像獲得システム又は装置であり得る。あるいは、システム１００の一部のみが、周辺システム１１０のようなそのようなデジタル画像獲得装置に存在し得て、システム１００の他の部分は、コンピュータシステムのようなより汎用的なデータ処理システム内に存在し得る。
【００２５】
データ処理システム１１０は、本発明の様々な実施形態のプロセスの実行を実現するか又は容易にする一つ又はそれ以上のデータ処理装置を含み、これには、ここで記述される図２〜５の例示的なプロセスを含む。「データ処理装置」又は「データプロセッサ」という表現は、電気的、磁気的、光学的、生物学的構成要素で実現されるか又はその他の方法で実現される中央処理ユニット（「ＣＰＵ」）あるいはデータ処理、データ管理、又はデータ取扱いのための任意の他の装置のような任意のデータ処理装置を含むことが意図されている。そのようなデータ処理装置は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、メインフレームコンピュータ、携帯個人端末、ブラックベリーＴＭ、デジタルカメラ、又は携帯電話の内部に存在し得る。異なるように明示的に記載されるか又は文脈から要求されない限り、「又は」という語句は、本開示では非排他的な意味で使用される。
【００２６】
プロセッサ・アクセス可能メモリシステム１４０は、情報を記憶するように構成された一つ又はそれ以上のプロセッサ・アクセス可能メモリを含み、この情報は、ここで記述される図２〜５の例示的なプロセスを含む本発明の様々な実施形態のプロセスの実行を実現するか又は容易にするために必要とされる情報を含む。プロセッサ・アクセス可能メモリシステム１４０は、複数のコンピュータ及び／又は装置を介してデータ処理システム１１０に通信的に接続された複数のプロセッサ・アクセス可能メモリを含む分散型プロセッサ・アクセス可能メモリシステムであり得る。一方、プロセッサ・アクセス可能メモリシステム１４０は、分散型プロセッサ・アクセス可能メモリシステムである必要は無く、したがって、単一のデータプロセッサ又は装置内に位置する一つ又はそれ以上のプロセッサ・アクセス可能メモリを含み得る。
【００２７】
「プロセッサ・アクセス可能メモリ」という表現は、揮発性又は不揮発性、電子的、磁気的、光学的、又はその他のものである任意のプロセッサ・アクセス可能データ記憶装置を含むことが意図されており、これはレジスタ、フロッピー（登録商標）ディスク、ハードディスク、コンパクトディスク、ＤＶＤ、フラッシュメモリ、ＲＯＭ、及びＲＡＭを含むが、これらに限られるものではない。
【００２８】
「通信的に接続された」という表現は、有線であってもワイヤレスであっても、データが通信され得る装置、データプロセッサ、又はプログラム間の任意のタイプの接続を含むことが意図される。さらに、「通信的に接続された」という表現は、単一のデータプロセッサ内の装置又はプログラム間の通信、異なるデータプロセッサに位置する装置又はプログラム間の通信、及びデータプロセッサには全く位置しない装置間の通信を含む。これに関して、プロセッサ・アクセス可能メモリシステム１４０がデータ処理システム１１０から離れて示されているが、当業者は、プロセッサ・アクセス可能メモリシステム１４０がデータ処理システム１１０内に完全に又は部分的に記憶され得ることを理解するであろう。さらにこれに関して、周辺システム１２０及びユーザインターフェースシステム１３０がデータ処理システム１１０から離れて示されているが、当業者は、そのようなシステムの一方又は両方がデータ処理システム１１０内に完全に又は部分的に記憶され得ることを理解するであろう。
【００２９】
周辺システム１２０は、デジタル画像をデータ処理システム１１０に提供するように構成された一つ又はそれ以上の装置を含み得る。例えば、周辺システム１２０は、デジタルビデオカメラ、携帯電話、通常のデジタルカメラ、又はその他のデータプロセッサを含み得る。データ処理システム１１０は、周辺システム１２０の装置からデジタルコンテンツ記録を受領すると、そのようなデジタルコンテンツ記録をプロセッサ・アクセス可能メモリシステム１４０に記憶し得る。
【００３０】
ユーザインターフェースシステム１３０は、マウス、キーボード、タッチスクリーン、他のコンピュータ、あるいはデータがそこからデータ処理システム１１０に入力される任意の他の装置又は装置の組み合わせを含み得る。これに関して、周辺システム１２０がユーザインターフェースシステム１３０から離れて示されているが、周辺システム１２０はユーザインターフェースシステム１３０の一部として含まれ得る。
【００３１】
ユーザインターフェースシステム１３０もまた、ディスプレー装置、プロセッサ・アクセス可能メモリ、又はデータ処理システム１１０によってそこにデータが出力される任意の他の装置又は装置の組み合わせを含み得る。これに関して、ユーザインターフェースシステム１３０がプロセッサ・アクセス可能メモリを含むならば、そのようなメモリは、ユーザインターフェースシステム１３０及びプロセッサ・アクセス可能メモリシステム１４０が図１では離れて示されているが、プロセッサ・アクセス可能メモリシステム１４０の一部であり得る。
【００３２】
図２は、本発明のある実施形態にしたがって、その大半が他のものより低解像度である複数の画像のセットを獲得するプロセスの流れ図である。ステップ２１０において、操作者が画像を構成する際に、操作者はカメラ上の獲得ボタンをＳ０位置（押されていない位置）からＳ１位置（部分的に押された位置）まで押すことによって獲得プロセスを始め、それによって獲得ボタン部分的押下信号をカメラのデータプロセッサに送る。データプロセッサはそれから、ステップ２２０に示されているように、複数の低解像度画像を連続的にカメラ上のローリングバッファに獲得し始めるように、カメラに指示する。ローリングバッファは、少なくとも３つ又はそれ以上の低解像度画像を記憶することができる。同時にカメラ内のデータプロセッサがまた典型的には自動焦点合わせ及び自動露光を完遂することに留意されたい。獲得の瞬間が操作者によって特定されると、ステップ２３０に示されているように、操作者は獲得ボタンをＳ１からＳ２（完全に押された位置）に押し、それによって獲得ボタン完全押下信号をカメラ内のデータプロセッサに送る。この時点で、ステップ２４０にて、データプロセッサはカメラに、低解像度画像のローリングバッファへの連続獲得又はキャプチャを停止し、高解像度画像の獲得を始めるように指示する。データプロセッサはそれから、ステップ２５０にて、複数の低解像度画像及び高解像度画像から構成される獲得セットに複数の画像を記憶するように、カメラに指示する。ここでは本発明が、獲得セット内に単一の高解像度画像のみを獲得するように記述されているが、獲得セット内に一つより多くの高解像度画像を含むことは、本発明の範囲内である。本発明内のある実施形態に記述されているように、ローリングバッファからの記憶された低解像度画像が、ステップ２３０に先立って獲得されるので時間的に高解像度画像に先行することに留意されたい。しかし、本発明は同様に、カメラがＳ０からＳ２まで直接的に駆動されるときのように、低解像度画像が高解像度画像の後に獲得される方法を含む。獲得セット内の複数の画像はそれから、記憶された高解像度画像及び記憶された低解像度画像から構成される。
【００３３】
獲得セットの一例は、１０メガ画素のデジタルカメラに対して、以下の通りである。操作者が獲得ボタンをＳ０からＳ１まで押すと、データプロセッサはカメラに、低解像度ビデオ画像をローリングバッファに連続的に獲得し始めるように指示する。ビデオ画像は９Ｘにビニングされ、各ビデオ画像の解像度は約１メガ画素である。ビデオ画像は３０画像／秒で獲得される。シーン内に存在する光のレベルに依存して、ビデオ画像は各々１／３０秒又はそれ以下の露光時間で獲得されることができる。ローリングバッファは、一度に１０個のビデオ画像を記憶できる大きさである。ローリングバッファが満たされると、新しいビデオ画像が記憶されるのに先立って最も古いビデオ画像が消去され、このプロセスは、操作者が獲得ボタンをＳ１からＳ２まで押すまで連続して実行される。獲得ボタンがＳ２まで押されると、単一の高解像度画像が獲得される。高解像度画像は、フル解像度又は１０メガ画素で獲得されることができる。高解像度画像に対する露光時間は１／３０秒又はそれ以下であることができて、これは、低解像度画像に対する露光時間を、高解像度画像の露光時間と実質的に同じにする。高解像度画像における動きのぶれを低減するために、露光時間は１／６０秒又はそれ以下であることができる。獲得セットはそのときには単一の１０メガ画素の画像及び１０個の１メガ画素の画像から構成され、１０個の１メガ画素の画像は単一の１０メガ画素の画像より時間的に先行する。データプロセッサはそれから、獲得セットに複数の画像を記憶するようにカメラに指示する。
【００３４】
図３は、本発明のある実施形態にしたがって且つデータプロセッサによって指示されるように、複数の画像の獲得セットから単一の改良された画像を形成するプロセスの流れ図である。ステップ３１０は、複数の画像から構成される獲得セット内の記憶された画像で始まる。ステップ３２０において、獲得セットにおける複数の画像が分析されて、画像間に存在する動きを特定する。獲得セットにおける画像を分析して画像間に存在する動きを特定するために、様々な方法が利用可能である。米国特許出願第11/130,690号（docket 89105）において、ディーヴァーは、画像を相関させて画像間の動きを特定し、ビデオシーケンスにおけるジッタを除去するためのブロックに基づく方法を記述している。この技法は、動きが画像間で比較的一様である画像に良く適合する。米国特許出願第2003/0213892号において、ツァオは、画像の部分間で動きが異なる画像の間で動きを特定する方法を記述している。
【００３５】
ステップ３３０において、データプロセッサからの指示に基づいて、画像は横方向にシフトされ、あるいはお互いにオフセットされ、画像内の共通の特徴を位置合わせして、画像間の特定された動きを補正して、画像の補正されたセットを形成する。位置合わせプロセスにおいて、複数の画像はシフトされて、同じ単一のベース画像と位置合わせされる。単一のベース画像は、優先的には高解像度画像である。改良された画像がそれから、ステップ３４０にて、画像の補正されたセットの一部と高解像度画像の一部とを合体することによって合成され、改良された画像の一部は、少なくともより高いＳ／Ｎ比又は低減された動きのぶれを有する。この合体は、獲得セットの複数の画像内の共通特徴の位置合わせされた部分の画素値を合計することによって達成され得る。
【００３６】
図４は、本発明のある実施形態にしたがって、獲得セット内の複数の画像の獲得されたセットから改良された単一の画像を形成するためのさらなるプロセスの模式図である。複数の低解像度画像が、ステップ４１０で画像処理のために提供される。ステップ４２０で、低解像度画像は画像間の動きが補正される。ステップ４２０は、低解像度画像間の動きの分析を含む。ステップ４２０がまた、シーン内の動く物体によって生成されるような低解像度画像内の動きに対する分析を含むことができることにもまた留意されたい。合成画像にてどの低解像度画像が使用されるべきかの選択は、動き分析（低解像度画像の間の動きについて及び低解像度画像内の動きについての両方）、及び選択された低解像度画像がお互いにどれだけよく位置合わせされているかに基づいている。低解像度画像に動きが存在しすぎるか、又はよく位置合わせされていない場合には、合成画像を形成するために使用され得ない。ステップ４３０にて、補正された低解像度画像が合体されて、単一の合成された低解像度画像を形成する。合体ステップにおいて、データプロセッサは、シーン内の動く物体を補正するために、合成された低解像度画像が獲得セット内のある画像の一部から構成されるように指示し得る。単一の合成された低解像度画像は、それからステップ４４０でアンサンプリングされて、低解像度画像内の画素数を高解像度画像と同じ画素数まで増やす。アンサンプリングされた画像を形成するために使用される補間方法は、バイキュービック（bicubic）であるか、又は当業者に既知の任意の他のものであることができる。高解像度画像が、ステップ４６０で画像処理のために提供される。アンサンプリングされた画像が、ステップ４５０で高解像度画像と位置合わせされる。ステップ４５０は、エッジの詳細をアンサンプリングされた画像により近づけるように変調するために、高解像度画像のルーマ（luma）又は緑のチャンネルをぶれさせることを含み得る。ステップ４５０の位置合わせステップは、アンサンプリングされていない画像から高解像度画像に色を適用するための位置合わせマップを生成する。ステップ４７０で、色差画像が高解像度画像（ステップ４６０）及びアンサンプリングされた画像（ステップ４４０）の両方から生成され、それからステップ４５０からの位置合わせマップと組み合わされて、合成された色差を形成する。所与の画素に対する色差の適用は、アンサンプリングされた画像の画素値からの８０％と高解像度画像の画素値からの２０％との平均であり得るか、又は、アンサンプリングされた画像の画素値と高解像度画素値との何らかの他の重み付けされた組み合わせであり得る。色差画像はそれからステップ４８０で合成されたカラー画像に変換されて、合成されたカラー画像は、アンサンプリングされた画像の一部と高解像度画像の一部とから構成される。
【００３７】
図５は、本発明の他の実施形態に従って、獲得セットの複数の画像の獲得されたセットから改良された単一の画像を形成する他のさらなるプロセスの模式図である。図４に示された方法と同様に、ステップ４１０で提示された低解像度画像は、ステップ４２０で画像間の動きが補正され、ステップ４３０で低解像度の合成画像を形成するために使用され、これは、ステップ４４０で高解像度画像に合致するようにアンサンプリングされる。アンサンプリングされた画像はそれから、ステップ４６０に提示されるような高解像度画像と、ステップ４５０で位置合わせされる。しかし、ステップ５７０で、アンサンプリングされた画像のカラー又は色彩部分が高解像度画像の黒白又はルーマ部分と合体されて、ステップ５８０で、改良された画質を有する合成カラー画像を形成する。
【００３８】
ビデオ画像がしばしば静止画像とは異なるアスペクト比で獲得されることに留意されたい。獲得セットの低解像度画像がビデオ撮像経路を通して獲得されると、複数の画像獲得セットから生成された合成画像は、ビデオ画像のアスペクト比に制限され得る。あるいは、低解像度画像は、高解像度画像のアスペクト比及び高いビニング度で獲得され得て、合成画像は高解像度画像のアスペクト比になるであろう。
【００３９】
図６は、データプロセッサによって指示されるような画像処理のワークフローを描いており、本発明の様々な実施形態にしたがって、図３、図４、及び図５に示されたようなプロセスが様々な点で挿入され得る。ステップ６１０は画像獲得ステップであり、図２で示されたように、獲得セット内の複数の画像が獲得されて記憶される。ステップ６２０は、センサからの暗電流タイプのノイズを補正する。ステップ６３０は、悪い画素及び悪い列を含むセンサ上の欠陥を補正する。ステップ６４０は画素データに基づくノイズ低減ステップであり、これは、カラーフィルタアレイの影響を含む。ステップ６５０は画素データを補間し、全ての画素について完全な色情報を派生する。ステップ６６０は補間された画素データを分析し、画像内のエッジを特定する。ステップ６７０は補間された画素データに基づくノイズ低減ステップであり、クロミナンスチャンネルのみを含む。ステップ６８０では、任意のデジタルズームが適用されて、完全に処理される画像の部分を規定する。ステップ６９０は、シーンにおける一般的な光の補正である。ステップ６９１はカラー補正ステップである。ステップ６９２は、赤／緑／青からＹＣｒＣｂへの画像の変換である（Ｙは明るさ（ルーマ）、Ｃｂは青−ルーマ（Ｂ−Ｙ）、及びＣｒは赤−ルーマ（Ｒ−Ｙ）である）。ステップ６９３で、画像内の物体のエッジが強調される。ステップ６９４で、画像がＪＰＥＧファイルまたはその他の圧縮されたファイルフォーマットに圧縮される。ステップ６９５で、処理された画像が記憶される。この画像処理チェーンに基づいて、図３、図４、及び図５に示されるような獲得セット内の複数の画像の処理が、任意のノイズ低減の前に実行されて、ステップ６１０と６２０との間などで画像処理されなければならない画像の数を減らすことができる。他のオプションは、ステップ６４０と６５０との間などでのようにセンサに関連したノイズが獲得セット内の複数の画像の各々から除去された後に、獲得セット内の複数の画像を処理することである。代替的なオプションは、ステップ６６０と６７０との間などでのように複数の画像が動きの補正を手助けするためにエッジが特定された後に、獲得セット内の複数の画像の画像処理を実行することである。更なるオプションは、ステップ６７０と６８０との間などでのように獲得セットの画像の各々でノイズの多くが除去される更なるクロミナンスチャンネルのノイズクリーニングの後に、獲得セット内の複数の画像の画像処理を実行することである。獲得セット内の複数の画像の画像処理を実行するための他のオプションは、ステップ６９３と６９４との間などでのように獲得セットの画像が完全に色補正されて且つエッジ強調された後である。獲得セットの複数の画像の画像処理を行うための上記でリストされた場合の全ては、同様の改良された画質を有する最終画像をもたらす結果となり、異なるオプションの間の相違は、要求される計算パワーのレベル及び画像処理の間に複数の画像を記憶するために必要とされる計算メモリのサイズにおけるものである。
【００４０】
本発明のいくつかの実施形態によれば、複数のノイズクリーニング操作が処理経路にて提供され得て、Ｓ／Ｎ比をさらに改良する。獲得セットの画像の大半がビニングされた画素を有する低解像度画像であるので、空間的ノイズのクリーニングがある。複数の低解像度画像が画像間の動きの補正がされ、それから共に加算されて低解像度の合成画像を生成するので、時間的ノイズのクリーニングがある。低解像度から高解像度へのアンサンプリングプロセスは高周波ノイズを導入しないので、低解像度の合成画像に対するアンサンプリングノイズのクリーニングがある。アンサンプリングされた画像が高解像度画像と位置合わせされるときに、他の時間的ノイズのクリーニングがある。低解像度の色差が高解像度の色差画像に適用されるときに、他の空間的なノイズのクリーニングがある。他のノイズクリーニングステップが画像処理を通して生成される様々な画像に適用され得ることが予期される。
【００４１】
生成された合成カラー画像は、以下の質、すなわち、低解像度画像と同様の高Ｓ／Ｎ比、高解像度画像と同様の低減された動きのぶれ、高解像度画像と同様の解像度、及び単一の高解像度画像の獲得と同様のシャッター遅れに近付くものと特徴付けられることができる。
【符号の説明】
【００４２】
１００ 画像を形成するためのシステム、１１０ データ処理システム、１２０ 周辺システム、１３０ ユーザインターフェースシステム、１４０ プロセッサ・アクセス可能メモリシステム、２１０，２２０，２３０，２４０，２５０，３１０，３２０，３３０，３４０，４１０，４２０，４３０，４４０，４５０，４６０，４７０，４８０，５７０，５８０，６１０，６２０，６３０，６４０，６５０，６６０，６７０，６８０，６９０，６９１，６９２，６９３，６９４，６９５ ステップ。
【技術分野】
【０００１】
本発明は、複数の画像からの改良された画像の生成に関する。より具体的には、低減された動きのぶれ及び低減されたノイズを有する改良された画像を形成するために、複数の画像が使用される。
【背景技術】
【０００２】
解決されるべき問題は、画像における動きのぶれを作り出す画像獲得中の動きが存在する光量不足の写真である。動きは、撮像されているシーン全体が共に動くグローバルな多様なものであることができ、あるいは、シーンの一つ又はそれ以上の部分がシーンの残りと比べて異なる速さ又は方向に動くローカルな多様なものであることができる。グローバルな動きは、画像獲得中のシーンとカメラとの間の相対的な動きによるものである。ローカルな動きは、シーンの他の部分に対して動いているシーン内の物体によるものである。ローカルな動きは、シーンの異なる部分で異なって生じることができる。
【０００３】
露光時間が短く且つ動きが遅い場合には、良好な画質を有する画像を獲得するために、単一な画像の獲得が使用されることができる。しかし、高いＳ／Ｎ比を有する画像を得るために必要とされる露光時間が画像獲得中に存在する動きに対して長くなるにつれて、あるいは利用可能な光が減るにつれて、獲得された画質は、画像内の動きのぶれの増加及びノイズの増加の形態で、劣化していく。
【０００４】
民生用デジタルカメラに対して、画素のサイズは時間とともに小さくなる傾向にあり、これは露光中に光を獲得するために利用可能な面積を減らし、ノイズがより問題になる。露光時間は、より小さな画素を補償するために増加させられることができるが、そのときには動きのぶれがより問題になる。したがって、光に対する画素の感度を増す方法は、ハミルトンによる米国特許出願第11/191,729号（docket 91045）に記述されており、これは、画像センサに全色性画素を追加する。露光時間に対して動きが増すか、又は利用可能な光が減るにつれて、なされることができる一連の妥協がある。空間解像度、時間解像度、又は画質を増すために、写真空間においていくつかの妥協がなされることができるが、各々の利点とともに欠点もまた存在することに留意することが重要である。例えば、動きのぶれを減らすために露光時間を減らし、それによって時間解像度を増すことができるが、画像内のノイズの増加という犠牲を伴う。フラッシュは画像内のノイズを減らす効果的な方法であり、露光時間を短くすることを可能にすることによって時間解像度が増加されるが、不均一な光照射及び赤目という犠牲を伴う。より長い露光時間が画像内のノイズを減らすことを可能にし、動きのブレを減らして空間解像度を増すために、露光中に光学的に基づいた画像の安定が使用されることができる。しかし、光学的に基づいた画像の安定は、カメラの動きからの動きのぶれ（グローバルな動き）を減らすためにのみ使用されることができる。画素の有効サイズは、ビニング（binnig）（すなわち、隣接する画素がお互いに接続されて、隣接する画素の電荷が合計されて信号が増やされる）によって、露光時間を減らすことを可能にするために増加されることができる。しかし、ビニングには、空間解像度の減少を伴う。複数の低解像度ビデオ画像を使用して、空間解像度を維持し且つ時間解像度と露光時間との間のバランスを提供しながら、改良された画質を有する単一の画像を形成することができる。所与の時間内に複数の画像を読み出すことは、各画像に対して、より短い露光時間を使用することによって、動きのぶれを減らすことができるが、各画像はノイズが多いものになる。複数の画像をお互いに位置合わせして個別の画像獲得の間の動きを補正し、それから個別の画像を共に合計する（スタックする）ことによって、形成された単一の画像においてノイズが低減されることができる。
【０００５】
複数の低解像度ビデオ画像は比較的迅速に（30〜60画像／秒が典型である）読み出されることができ、且つ画素がしばしばビニング（binned）されているので画像が典型的には低ノイズである一方で、形成されることができる単一の画像は、比較的低解像度に限定される。逆に、複数の高解像度画像を使用して高解像度の単一画像を形成することができる。しかし、高解像度画像は、画素が小さいので典型的にはノイズが多く、より顕著なことには、ハードウエアの制約のために、複数の高解像度画像を読み出すために比較的長い時間が要求される（1.5〜7画像／秒が典型である）。加えて、画像獲得の間の顕著な動きのために、画像を位置合わせするという問題が大きくなる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許明細書４２９６４３６号
【特許文献２】米国特許明細書５３２５４４５号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
したがって、当該技術分野において、特に動きが存在するシーンにおいて、複数の画像を結合して改良された画像を形成するための改良された解決策に対する必要性が存在する。
【課題を解決するための手段】
【０００８】
本発明の様々な実施形態に従って画像を形成するシステム及び方法によって、当該技術において、上述の問題が克服され、技術的な解決策が達成される。本発明のいくつかの実施形態では、シーンの複数の画像が同時時間期間に渡って獲得され、複数の画像の大半は、複数の画像の他のものよりも低解像度で獲得された低解像度画像である。低解像度画像の少なくともいくつかはビデオ画像又はプレビュー画像であり得て、低解像度画像は複数の画像の他のものの獲得に先立って獲得され得る。いくつかの実施形態では、低解像度画像は、複数の画像の他のものと同じか又はより長い露光時間を有する。いくつかの実施形態では、複数の画像の他のものは、単一の高解像度画像のみを含む。画像の補正されたセットが、低解像度画像の少なくともいくつかの間に存在する動きを少なくとも補正することによって形成される。加えて、合成された画像が、（ａ）画像の補正されたセットにおける画像の少なくとも一つの少なくとも一部、及び（ｂ）複数の画像の他のものの少なくとも一つの少なくとも一部を、少なくとも合成することによって形成される。さらに、合成された画像はプロセッサ・アクセス可能メモリシステムに記憶される。合成された画像は、従来の技法に対して、低減された動きのぶれ、より高いＳ／Ｎ比、及びより高い解像度を含む改良された画質を示す。
【０００９】
いくつかの実施形態では、画像の補正されたセットの形成は、動き補正された低解像度画像を単一の低解像度画像へ合体するステップを含み、画像の補正されたセットは単一の低解像度画像のみを含む。これらの実施形態のいくつかでは、画像の補正されたセットの形成は、低解像度画像の少なくともいくつかの中で特徴を位置合わせして、そのような画像をお互いにオフセットするステップを含み、その位置合わせは、低解像度画像の合体に先立って生じる。
【００１０】
いくつかの実施形態では、低解像度画像はローリングバッファに保存される。これらの実施形態は、複数の低解像度画像を獲得するための時間がシャッター遅れに寄与することを妨げることを手助けする。
【００１１】
いくつかの実施形態では、獲得ボタン部分的押下信号の受領が低解像度画像の獲得を生じさせ、獲得ボタン完全押下信号の受領が複数の画像の他のものの獲得を生じさせる。
【００１２】
低解像度画像がビデオ画像であるようないくつかの実施形態では、低解像度画像を獲得する間に音声データが獲得される。これらの場合には、音声データ及び低解像度画像は、音声データ及び低解像度画像を合成された画像にリンクするような方法で、プロセッサ・アクセス可能メモリシステムに記憶される。そのような実施形態は、合成された画像に付随するビデオ及び音声コンテクストを提供する。
【００１３】
上述の実施形態に加えて、さらなる実施形態が、図面を参照することによって及び以下の詳細な記述を研究することによって明らかになるであろう。
【図面の簡単な説明】
【００１４】
本発明は、以下に提示される例示的な実施形態の詳細な記述を添付の図面とともに考慮することから、より容易に理解されるであろう。
【図１】本発明の一つの実施形態に従って、画像を形成するシステムを描いた図である。
【図２】本発明の一つの実施形態に従って、大半が他のものより低解像度である複数の画像のセットを獲得するプロセスの流れ図である。
【図３】本発明の一つの実施形態に従って、複数の画像の獲得されたセットから一つの画像を形成するプロセスの流れ図である。
【図４】本発明の一つの実施形態に従って、複数の画像の獲得されたセットから一つの画像を形成するプロセスの流れ図である。
【図５】本発明の他の実施形態に従って、複数の画像の獲得されたセットから一つの画像を形成する他のプロセスの模式図である。
【図６】本発明の様々な実施形態に従って、図３、図４、及び図５に示されたようなプロセスが様々な時点で挿入され得る画像処理ワークフローを描いた図である。
【００１５】
添付の図面が本発明の概念を描く目的のものであり、必ずしも縮尺が揃えられていないことが理解されるべきである。
【発明を実施するための形態】
【００１６】
本発明の実施形態は、シーンの複数の画像の獲得又は撮影に関しており、複数の画像は、低解像度画像とより少数の高解像度画像とから構成される獲得セットを形成する。画像の全ては、比較的短い時間期間内に獲得され、それらはお互いに同時とみなされることができる。低解像度画像は、高解像度画像よりも、センサ上のビニングのために、同じ又はより長い露光時間と効果的により大きい画素とを有する。したがって、低解像度画像は、各画像内のより高いＳ／Ｎ比、より低い解像度、及び同じ又はより多い動きのぶれを有する。対照的に、高解像度画像は、低解像度画像に比べて、センサ上のビニングがより少ないことによるより高い解像度、より低いＳ／Ｎ比、及び同じ又はより少ない動きのぶれを有する。改良された画質（より高い解像度、低減された動きのぶれ、及び増加したＳ／Ｎ比）を有する合成画像がそれから、獲得セットにおける画像の少なくとも一部を共に合体することによって形成される。動きのぶれは、合成画像において、（ａ）獲得セットの獲得の間に生じる動きを補正するために、合体に先立って獲得セット内の画像をお互いにオフセットすることによって、（ｂ）低解像度画像における動きのぶれを補正するために低減された動きのぶれを有する高解像度画像を使用することによって、又は（ａ）及び（ｂ）の組み合わせによって、低減され得る。
【００１７】
典型的なデジタルカメラ内部では、低解像度画像及び高解像度画像の両方が、典型的に獲得されることができる。高解像度画像は、典型的には画像センサのフル解像度で提供され、低解像度画像は、センサ上の画素をビニング又は減少することによって提供される。
【００１８】
ビニングは、隣接する画素を共に電子的に接続し、隣接する画素の電荷を共に加算することを伴い、それによってＳ／Ｎ比を増し且つまた画素のサイズを効果的に増し、センサの解像度を低減する（画素数を減らす）。数の減少は、画素のいくつかにおける電荷をリセットすることを伴い、そのために、減らされた画素に対する画素データを使用しない。Ｓ／Ｎ比を増すために、本発明の実施形態は、ビニングを使用して獲得セット内に低解像度画像を生成する。低光のようないくつかの実施形態では、高解像度画像さえもビニングされ得て、画像内のＳ／Ｎ比を増すが、ビニングレベルは、低解像度画像に対して使用されるものよりも少ない。
【００１９】
デジタルカメラにおけるハードウエアの制約のために、処理経路の機会に制約が存在する。複数の画像の高フレームレートでの獲得は、低解像度画像とともに獲得することが容易である。加えて、高Ｓ／Ｎ比画像は、より長い露光時間で低解像度画像とともに獲得することが容易である。複数の画像間の動きの補正は、単一の画像が、獲得セット内の複数の画像の結合獲得時間のものと等しい露光時間で獲得されると、動きのぶれを低減する。しかし、細かいエッジの詳細は、高解像度画像から来なければならない。
【００２０】
本発明の様々な実施形態において、低解像度画像は、高くビニングされたビデオモード又はプレビューモードで獲得されることができ、画像は、30〜120画像／秒のような高速レートで連続して獲得される。対照的に、フル解像度画像は、フル解像度モードで、又はより遅いレートでより低いビニングモードで、獲得されることができる。加えて、高解像度画像は、シーン内に存在する写真状態に対する自動露光モードによって典型的に計算されるよりも短い露光時間で獲得される。典型的には、複数の画像の獲得レートはまず露光時間によって制限されるが、それから、画像センサが読み出されることができて且つ画像が記憶された速さによって制限され、これは画像内の画素の数によって決定される。したがって、画素数がより少ない低解像度画像は、画素数が多い高解像度画像よりもはるかに速く読み出されて且つ記憶されることができる。ビデオ画像における画素数とフル解像度画像における画素数との間の差は、しばしば10Ｘから20Ｘである。したがって、複数の画像獲得セットに対する獲得時間を減らすためには、より多数の低解像度画像及びより少数の高解像度画像を使用することが効果的である。したがって、本発明の実施形態は、より少数の（又は単一の）高解像度画像とともに複数の低解像度画像を含む獲得セットに関する。
【００２１】
獲得セットにおける画像の獲得の間に、低解像度画像は、獲得セットの獲得の間に画像間に生じることができるシーンにおける動き及びシーンに対するカメラの動きの両方の効果を減らすために、できるだけ迅速に獲得され得る。低解像度画像は迅速に獲得されるが、低解像度画像の各々に対する露光時間は、各低解像度画像における同じ又はより多くの動きのぶれを生じさせることができる高解像度画像に対する露光時間と同じ又はより長いものであることができる。露光時間は、シーン内に存在する光量及び検出された動きの量の両方に基づいて、選択されることができる。低解像度画像及び高解像度画像の両方に対して同じ露光時間を使用することは、一様なシャープさで合成画像を生成することができ、低解像度画像に対してより長い露光時間を使用することは、最高のＳ／Ｎ比及び最低の色彩ノイズで合成画像を生成することができる。最終的な結果は、より低い解像度の画像が、解像度がより低く且つ動きのぶれが同じ又はより多いことを犠牲にして、同じ又はより長い露光時間及びビニングからの効果的に大きな画素のために、より高いＳ／Ｎ比を有することである。対照的に、高解像度の画像に対する露光時間は、動きのぶれを減らすための撮影条件に対して典型的に使用されるよりも短く選択され、より低いＳ／Ｎ比を受容する。獲得セットはそのときは、より高いＳ／Ｎ比を有する複数の低解像度画像ならびにより低いＳ／Ｎ比及び低減された動きのぶれを有する一つ又はそれ以上の高解像度画像から構成され得る。
【００２２】
加えて、本発明の実施形態は、獲得セットにおける低解像度画像が記憶されることができるローリングバッファの使用を含み得る。ローリングバッファの使用の恩恵は、高解像度画像の獲得に先立って、低解像度画像が獲得され且つローリングバッファに連続して読み出されることができることである。このようにして、低解像度画像を獲得するための時間は、操作者によって感知されるようなシャッター遅れに寄与しないものとなる。シャッター遅れは、獲得ボタンが完全に押された時点と画像が実際に獲得される時点との間の操作者によって感知される遅れである。実際には、カメラによって、操作者が画像獲得の準備ができたことが検出されると、操作者が獲得ボタンを部分的に押すか又は操作者がカメラを獲得位置に配置したことをカメラが検出するかのいずれかによって、低解像度画像が獲得され且つローリングバッファに読み出され始める。操作者が（獲得ボタンを完全に押すことによって）画像獲得に対する瞬間の信号を出すと、そのときには、低解像度画像のローリングバッファへの獲得が停止され、高解像度画像が獲得される。このようにして、感知されたシャッター遅れは、高解像度画像を獲得するために必要とされる時間のみである。
【００２３】
さらに、本発明は、低解像度画像が改良された画質を有する画像を生成するために使用されることに加えて、低解像度画像が合成画像とともに記憶されて合成画像にコンテクストを提供することができることを開示する。このことは、改良された画質を有する生成された静止画像に、ビデオコンテクストを提供する。この目的のために、同期した音声が獲得されて、低解像度画像とともに記憶されることができる。
【００２４】
図１は、本発明のある実施形態に従って画像を形成するシステム１００を描いている。このシステム１００は、データ処理システム１１０、周辺システム１２０、ユーザインターフェースシステム１３０、及びプロセッサ・アクセス可能メモリシステム１４０を含む。プロセッサ・アクセス可能メモリシステム１４０、周辺システム１２０、及びユーザインターフェースシステム１３０は、データ処理システム１１０に通信的に接続される。本発明は限定されないが、全システム１００は、デジタル静止カメラ、デジタルビデオカメラ、あるいは任意の他のデジタル画像獲得システム又は装置であり得る。あるいは、システム１００の一部のみが、周辺システム１１０のようなそのようなデジタル画像獲得装置に存在し得て、システム１００の他の部分は、コンピュータシステムのようなより汎用的なデータ処理システム内に存在し得る。
【００２５】
データ処理システム１１０は、本発明の様々な実施形態のプロセスの実行を実現するか又は容易にする一つ又はそれ以上のデータ処理装置を含み、これには、ここで記述される図２〜５の例示的なプロセスを含む。「データ処理装置」又は「データプロセッサ」という表現は、電気的、磁気的、光学的、生物学的構成要素で実現されるか又はその他の方法で実現される中央処理ユニット（「ＣＰＵ」）あるいはデータ処理、データ管理、又はデータ取扱いのための任意の他の装置のような任意のデータ処理装置を含むことが意図されている。そのようなデータ処理装置は、例えば、デスクトップコンピュータ、ラップトップコンピュータ、メインフレームコンピュータ、携帯個人端末、ブラックベリーＴＭ、デジタルカメラ、又は携帯電話の内部に存在し得る。異なるように明示的に記載されるか又は文脈から要求されない限り、「又は」という語句は、本開示では非排他的な意味で使用される。
【００２６】
プロセッサ・アクセス可能メモリシステム１４０は、情報を記憶するように構成された一つ又はそれ以上のプロセッサ・アクセス可能メモリを含み、この情報は、ここで記述される図２〜５の例示的なプロセスを含む本発明の様々な実施形態のプロセスの実行を実現するか又は容易にするために必要とされる情報を含む。プロセッサ・アクセス可能メモリシステム１４０は、複数のコンピュータ及び／又は装置を介してデータ処理システム１１０に通信的に接続された複数のプロセッサ・アクセス可能メモリを含む分散型プロセッサ・アクセス可能メモリシステムであり得る。一方、プロセッサ・アクセス可能メモリシステム１４０は、分散型プロセッサ・アクセス可能メモリシステムである必要は無く、したがって、単一のデータプロセッサ又は装置内に位置する一つ又はそれ以上のプロセッサ・アクセス可能メモリを含み得る。
【００２７】
「プロセッサ・アクセス可能メモリ」という表現は、揮発性又は不揮発性、電子的、磁気的、光学的、又はその他のものである任意のプロセッサ・アクセス可能データ記憶装置を含むことが意図されており、これはレジスタ、フロッピー（登録商標）ディスク、ハードディスク、コンパクトディスク、ＤＶＤ、フラッシュメモリ、ＲＯＭ、及びＲＡＭを含むが、これらに限られるものではない。
【００２８】
「通信的に接続された」という表現は、有線であってもワイヤレスであっても、データが通信され得る装置、データプロセッサ、又はプログラム間の任意のタイプの接続を含むことが意図される。さらに、「通信的に接続された」という表現は、単一のデータプロセッサ内の装置又はプログラム間の通信、異なるデータプロセッサに位置する装置又はプログラム間の通信、及びデータプロセッサには全く位置しない装置間の通信を含む。これに関して、プロセッサ・アクセス可能メモリシステム１４０がデータ処理システム１１０から離れて示されているが、当業者は、プロセッサ・アクセス可能メモリシステム１４０がデータ処理システム１１０内に完全に又は部分的に記憶され得ることを理解するであろう。さらにこれに関して、周辺システム１２０及びユーザインターフェースシステム１３０がデータ処理システム１１０から離れて示されているが、当業者は、そのようなシステムの一方又は両方がデータ処理システム１１０内に完全に又は部分的に記憶され得ることを理解するであろう。
【００２９】
周辺システム１２０は、デジタル画像をデータ処理システム１１０に提供するように構成された一つ又はそれ以上の装置を含み得る。例えば、周辺システム１２０は、デジタルビデオカメラ、携帯電話、通常のデジタルカメラ、又はその他のデータプロセッサを含み得る。データ処理システム１１０は、周辺システム１２０の装置からデジタルコンテンツ記録を受領すると、そのようなデジタルコンテンツ記録をプロセッサ・アクセス可能メモリシステム１４０に記憶し得る。
【００３０】
ユーザインターフェースシステム１３０は、マウス、キーボード、タッチスクリーン、他のコンピュータ、あるいはデータがそこからデータ処理システム１１０に入力される任意の他の装置又は装置の組み合わせを含み得る。これに関して、周辺システム１２０がユーザインターフェースシステム１３０から離れて示されているが、周辺システム１２０はユーザインターフェースシステム１３０の一部として含まれ得る。
【００３１】
ユーザインターフェースシステム１３０もまた、ディスプレー装置、プロセッサ・アクセス可能メモリ、又はデータ処理システム１１０によってそこにデータが出力される任意の他の装置又は装置の組み合わせを含み得る。これに関して、ユーザインターフェースシステム１３０がプロセッサ・アクセス可能メモリを含むならば、そのようなメモリは、ユーザインターフェースシステム１３０及びプロセッサ・アクセス可能メモリシステム１４０が図１では離れて示されているが、プロセッサ・アクセス可能メモリシステム１４０の一部であり得る。
【００３２】
図２は、本発明のある実施形態にしたがって、その大半が他のものより低解像度である複数の画像のセットを獲得するプロセスの流れ図である。ステップ２１０において、操作者が画像を構成する際に、操作者はカメラ上の獲得ボタンをＳ０位置（押されていない位置）からＳ１位置（部分的に押された位置）まで押すことによって獲得プロセスを始め、それによって獲得ボタン部分的押下信号をカメラのデータプロセッサに送る。データプロセッサはそれから、ステップ２２０に示されているように、複数の低解像度画像を連続的にカメラ上のローリングバッファに獲得し始めるように、カメラに指示する。ローリングバッファは、少なくとも３つ又はそれ以上の低解像度画像を記憶することができる。同時にカメラ内のデータプロセッサがまた典型的には自動焦点合わせ及び自動露光を完遂することに留意されたい。獲得の瞬間が操作者によって特定されると、ステップ２３０に示されているように、操作者は獲得ボタンをＳ１からＳ２（完全に押された位置）に押し、それによって獲得ボタン完全押下信号をカメラ内のデータプロセッサに送る。この時点で、ステップ２４０にて、データプロセッサはカメラに、低解像度画像のローリングバッファへの連続獲得又はキャプチャを停止し、高解像度画像の獲得を始めるように指示する。データプロセッサはそれから、ステップ２５０にて、複数の低解像度画像及び高解像度画像から構成される獲得セットに複数の画像を記憶するように、カメラに指示する。ここでは本発明が、獲得セット内に単一の高解像度画像のみを獲得するように記述されているが、獲得セット内に一つより多くの高解像度画像を含むことは、本発明の範囲内である。本発明内のある実施形態に記述されているように、ローリングバッファからの記憶された低解像度画像が、ステップ２３０に先立って獲得されるので時間的に高解像度画像に先行することに留意されたい。しかし、本発明は同様に、カメラがＳ０からＳ２まで直接的に駆動されるときのように、低解像度画像が高解像度画像の後に獲得される方法を含む。獲得セット内の複数の画像はそれから、記憶された高解像度画像及び記憶された低解像度画像から構成される。
【００３３】
獲得セットの一例は、１０メガ画素のデジタルカメラに対して、以下の通りである。操作者が獲得ボタンをＳ０からＳ１まで押すと、データプロセッサはカメラに、低解像度ビデオ画像をローリングバッファに連続的に獲得し始めるように指示する。ビデオ画像は９Ｘにビニングされ、各ビデオ画像の解像度は約１メガ画素である。ビデオ画像は３０画像／秒で獲得される。シーン内に存在する光のレベルに依存して、ビデオ画像は各々１／３０秒又はそれ以下の露光時間で獲得されることができる。ローリングバッファは、一度に１０個のビデオ画像を記憶できる大きさである。ローリングバッファが満たされると、新しいビデオ画像が記憶されるのに先立って最も古いビデオ画像が消去され、このプロセスは、操作者が獲得ボタンをＳ１からＳ２まで押すまで連続して実行される。獲得ボタンがＳ２まで押されると、単一の高解像度画像が獲得される。高解像度画像は、フル解像度又は１０メガ画素で獲得されることができる。高解像度画像に対する露光時間は１／３０秒又はそれ以下であることができて、これは、低解像度画像に対する露光時間を、高解像度画像の露光時間と実質的に同じにする。高解像度画像における動きのぶれを低減するために、露光時間は１／６０秒又はそれ以下であることができる。獲得セットはそのときには単一の１０メガ画素の画像及び１０個の１メガ画素の画像から構成され、１０個の１メガ画素の画像は単一の１０メガ画素の画像より時間的に先行する。データプロセッサはそれから、獲得セットに複数の画像を記憶するようにカメラに指示する。
【００３４】
図３は、本発明のある実施形態にしたがって且つデータプロセッサによって指示されるように、複数の画像の獲得セットから単一の改良された画像を形成するプロセスの流れ図である。ステップ３１０は、複数の画像から構成される獲得セット内の記憶された画像で始まる。ステップ３２０において、獲得セットにおける複数の画像が分析されて、画像間に存在する動きを特定する。獲得セットにおける画像を分析して画像間に存在する動きを特定するために、様々な方法が利用可能である。米国特許出願第11/130,690号（docket 89105）において、ディーヴァーは、画像を相関させて画像間の動きを特定し、ビデオシーケンスにおけるジッタを除去するためのブロックに基づく方法を記述している。この技法は、動きが画像間で比較的一様である画像に良く適合する。米国特許出願第2003/0213892号において、ツァオは、画像の部分間で動きが異なる画像の間で動きを特定する方法を記述している。
【００３５】
ステップ３３０において、データプロセッサからの指示に基づいて、画像は横方向にシフトされ、あるいはお互いにオフセットされ、画像内の共通の特徴を位置合わせして、画像間の特定された動きを補正して、画像の補正されたセットを形成する。位置合わせプロセスにおいて、複数の画像はシフトされて、同じ単一のベース画像と位置合わせされる。単一のベース画像は、優先的には高解像度画像である。改良された画像がそれから、ステップ３４０にて、画像の補正されたセットの一部と高解像度画像の一部とを合体することによって合成され、改良された画像の一部は、少なくともより高いＳ／Ｎ比又は低減された動きのぶれを有する。この合体は、獲得セットの複数の画像内の共通特徴の位置合わせされた部分の画素値を合計することによって達成され得る。
【００３６】
図４は、本発明のある実施形態にしたがって、獲得セット内の複数の画像の獲得されたセットから改良された単一の画像を形成するためのさらなるプロセスの模式図である。複数の低解像度画像が、ステップ４１０で画像処理のために提供される。ステップ４２０で、低解像度画像は画像間の動きが補正される。ステップ４２０は、低解像度画像間の動きの分析を含む。ステップ４２０がまた、シーン内の動く物体によって生成されるような低解像度画像内の動きに対する分析を含むことができることにもまた留意されたい。合成画像にてどの低解像度画像が使用されるべきかの選択は、動き分析（低解像度画像の間の動きについて及び低解像度画像内の動きについての両方）、及び選択された低解像度画像がお互いにどれだけよく位置合わせされているかに基づいている。低解像度画像に動きが存在しすぎるか、又はよく位置合わせされていない場合には、合成画像を形成するために使用され得ない。ステップ４３０にて、補正された低解像度画像が合体されて、単一の合成された低解像度画像を形成する。合体ステップにおいて、データプロセッサは、シーン内の動く物体を補正するために、合成された低解像度画像が獲得セット内のある画像の一部から構成されるように指示し得る。単一の合成された低解像度画像は、それからステップ４４０でアンサンプリングされて、低解像度画像内の画素数を高解像度画像と同じ画素数まで増やす。アンサンプリングされた画像を形成するために使用される補間方法は、バイキュービック（bicubic）であるか、又は当業者に既知の任意の他のものであることができる。高解像度画像が、ステップ４６０で画像処理のために提供される。アンサンプリングされた画像が、ステップ４５０で高解像度画像と位置合わせされる。ステップ４５０は、エッジの詳細をアンサンプリングされた画像により近づけるように変調するために、高解像度画像のルーマ（luma）又は緑のチャンネルをぶれさせることを含み得る。ステップ４５０の位置合わせステップは、アンサンプリングされていない画像から高解像度画像に色を適用するための位置合わせマップを生成する。ステップ４７０で、色差画像が高解像度画像（ステップ４６０）及びアンサンプリングされた画像（ステップ４４０）の両方から生成され、それからステップ４５０からの位置合わせマップと組み合わされて、合成された色差を形成する。所与の画素に対する色差の適用は、アンサンプリングされた画像の画素値からの８０％と高解像度画像の画素値からの２０％との平均であり得るか、又は、アンサンプリングされた画像の画素値と高解像度画素値との何らかの他の重み付けされた組み合わせであり得る。色差画像はそれからステップ４８０で合成されたカラー画像に変換されて、合成されたカラー画像は、アンサンプリングされた画像の一部と高解像度画像の一部とから構成される。
【００３７】
図５は、本発明の他の実施形態に従って、獲得セットの複数の画像の獲得されたセットから改良された単一の画像を形成する他のさらなるプロセスの模式図である。図４に示された方法と同様に、ステップ４１０で提示された低解像度画像は、ステップ４２０で画像間の動きが補正され、ステップ４３０で低解像度の合成画像を形成するために使用され、これは、ステップ４４０で高解像度画像に合致するようにアンサンプリングされる。アンサンプリングされた画像はそれから、ステップ４６０に提示されるような高解像度画像と、ステップ４５０で位置合わせされる。しかし、ステップ５７０で、アンサンプリングされた画像のカラー又は色彩部分が高解像度画像の黒白又はルーマ部分と合体されて、ステップ５８０で、改良された画質を有する合成カラー画像を形成する。
【００３８】
ビデオ画像がしばしば静止画像とは異なるアスペクト比で獲得されることに留意されたい。獲得セットの低解像度画像がビデオ撮像経路を通して獲得されると、複数の画像獲得セットから生成された合成画像は、ビデオ画像のアスペクト比に制限され得る。あるいは、低解像度画像は、高解像度画像のアスペクト比及び高いビニング度で獲得され得て、合成画像は高解像度画像のアスペクト比になるであろう。
【００３９】
図６は、データプロセッサによって指示されるような画像処理のワークフローを描いており、本発明の様々な実施形態にしたがって、図３、図４、及び図５に示されたようなプロセスが様々な点で挿入され得る。ステップ６１０は画像獲得ステップであり、図２で示されたように、獲得セット内の複数の画像が獲得されて記憶される。ステップ６２０は、センサからの暗電流タイプのノイズを補正する。ステップ６３０は、悪い画素及び悪い列を含むセンサ上の欠陥を補正する。ステップ６４０は画素データに基づくノイズ低減ステップであり、これは、カラーフィルタアレイの影響を含む。ステップ６５０は画素データを補間し、全ての画素について完全な色情報を派生する。ステップ６６０は補間された画素データを分析し、画像内のエッジを特定する。ステップ６７０は補間された画素データに基づくノイズ低減ステップであり、クロミナンスチャンネルのみを含む。ステップ６８０では、任意のデジタルズームが適用されて、完全に処理される画像の部分を規定する。ステップ６９０は、シーンにおける一般的な光の補正である。ステップ６９１はカラー補正ステップである。ステップ６９２は、赤／緑／青からＹＣｒＣｂへの画像の変換である（Ｙは明るさ（ルーマ）、Ｃｂは青−ルーマ（Ｂ−Ｙ）、及びＣｒは赤−ルーマ（Ｒ−Ｙ）である）。ステップ６９３で、画像内の物体のエッジが強調される。ステップ６９４で、画像がＪＰＥＧファイルまたはその他の圧縮されたファイルフォーマットに圧縮される。ステップ６９５で、処理された画像が記憶される。この画像処理チェーンに基づいて、図３、図４、及び図５に示されるような獲得セット内の複数の画像の処理が、任意のノイズ低減の前に実行されて、ステップ６１０と６２０との間などで画像処理されなければならない画像の数を減らすことができる。他のオプションは、ステップ６４０と６５０との間などでのようにセンサに関連したノイズが獲得セット内の複数の画像の各々から除去された後に、獲得セット内の複数の画像を処理することである。代替的なオプションは、ステップ６６０と６７０との間などでのように複数の画像が動きの補正を手助けするためにエッジが特定された後に、獲得セット内の複数の画像の画像処理を実行することである。更なるオプションは、ステップ６７０と６８０との間などでのように獲得セットの画像の各々でノイズの多くが除去される更なるクロミナンスチャンネルのノイズクリーニングの後に、獲得セット内の複数の画像の画像処理を実行することである。獲得セット内の複数の画像の画像処理を実行するための他のオプションは、ステップ６９３と６９４との間などでのように獲得セットの画像が完全に色補正されて且つエッジ強調された後である。獲得セットの複数の画像の画像処理を行うための上記でリストされた場合の全ては、同様の改良された画質を有する最終画像をもたらす結果となり、異なるオプションの間の相違は、要求される計算パワーのレベル及び画像処理の間に複数の画像を記憶するために必要とされる計算メモリのサイズにおけるものである。
【００４０】
本発明のいくつかの実施形態によれば、複数のノイズクリーニング操作が処理経路にて提供され得て、Ｓ／Ｎ比をさらに改良する。獲得セットの画像の大半がビニングされた画素を有する低解像度画像であるので、空間的ノイズのクリーニングがある。複数の低解像度画像が画像間の動きの補正がされ、それから共に加算されて低解像度の合成画像を生成するので、時間的ノイズのクリーニングがある。低解像度から高解像度へのアンサンプリングプロセスは高周波ノイズを導入しないので、低解像度の合成画像に対するアンサンプリングノイズのクリーニングがある。アンサンプリングされた画像が高解像度画像と位置合わせされるときに、他の時間的ノイズのクリーニングがある。低解像度の色差が高解像度の色差画像に適用されるときに、他の空間的なノイズのクリーニングがある。他のノイズクリーニングステップが画像処理を通して生成される様々な画像に適用され得ることが予期される。
【００４１】
生成された合成カラー画像は、以下の質、すなわち、低解像度画像と同様の高Ｓ／Ｎ比、高解像度画像と同様の低減された動きのぶれ、高解像度画像と同様の解像度、及び単一の高解像度画像の獲得と同様のシャッター遅れに近付くものと特徴付けられることができる。
【符号の説明】
【００４２】
１００ 画像を形成するためのシステム、１１０ データ処理システム、１２０ 周辺システム、１３０ ユーザインターフェースシステム、１４０ プロセッサ・アクセス可能メモリシステム、２１０，２２０，２３０，２４０，２５０，３１０，３２０，３３０，３４０，４１０，４２０，４３０，４４０，４５０，４６０，４７０，４８０，５７０，５８０，６１０，６２０，６３０，６４０，６５０，６６０，６７０，６８０，６９０，６９１，６９２，６９３，６９４，６９５ ステップ。
【特許請求の範囲】
【請求項１】
少なくとも部分的にデータ処理システムによって実行される方法であって、前記方法は画像を形成するための方法であり、前記方法は、
同時時間期間に渡ってシーンの複数の画像の獲得を指示するステップであり、前記複数の画像の大半は、前記複数の画像の他のものよりも低解像度で獲得された低解像度画像であるステップと、
前記低解像度画像の少なくともいくらかの間に存在する動きを少なくとも補正することによって、画像の補正されたセットの形成を指示するステップと、
（ａ）前記画像の補正されたセットにおける画像の少なくとも一つの少なくとも一部、及び（ｂ）前記複数の画像の他のものの少なくとも一つの少なくとも一部、を少なくとも合体することによって、合成された画像の形成を指示するステップと、
前記合成された画像のプロセッサ・アクセス可能メモリシステムへの記憶を指示するステップと、
を包含する、方法。
【請求項２】
前記画像の補正されたセットの形成を指示するステップが、動き補正された前記低解像度画像の単一の低解像度画像への合体を指示するステップをさらに包含し、前記画像の補正されたセットが前記単一の低解像度画像のみを備える、請求項１に記載の方法。
【請求項３】
前記画像の補正されたセットの形成を指示するステップが、前記低解像度画像の少なくともいくらかの内部における特徴を位置合わせして、そのような画像をお互いにオフセットするステップをさらに包含し、前記位置合わせが前記低解像度画像の前記合体に先立って生じる、請求項２に記載の方法。
【請求項４】
前記低解像度画像の位置合わせが、前記複数の画像の他のものの一つと特徴を位置合わせするように行われる、請求項３に記載の方法。
【請求項５】
前記複数の画像の他のものが単一の高解像度画像のみを備える、請求項１に記載の方法。
【請求項６】
前記獲得を指示するステップが、前記複数の画像の他のものの獲得に先立って前記低解像度画像の獲得を指示するステップをさらに包含する、請求項１に記載の方法。
【請求項７】
前記獲得を指示するステップが、前記低解像度画像がローリングバッファ内に保存されることを指示するステップをさらに包含する、請求項６に記載の方法。
【請求項８】
獲得ボタン部分的押下信号を受領するステップをさらに包含し、これが前記低解像度画像の獲得を指示するステップを生じさせ、
前記獲得ボタン部分的押下信号を受領した後に獲得ボタン完全押下信号を受領するステップをさらに包含し、前記獲得ボタン完全押下信号の受領が前記複数の画像の他のものの獲得の指示を生じさせる、請求項６に記載の方法。
【請求項９】
前記低解像度画像の少なくともいくらかがビデオ画像又はプレビュー画像である、請求項１に記載の方法。
【請求項１０】
前記低解像度画像がビデオ画像であり、
前記獲得を指示するステップが、前記低解像度画像を獲得している間に音声データの獲得を指示するステップをさらに包含し、
前記音声データ及び前記低解像度画像を、前記音声データ及び前記低解像度画像が前記合成された画像にリンクするような方法で前記プロセッサ・アクセス可能メモリシステムに記憶するように指示するステップをさらに包含する、請求項８に記載の方法。
【請求項１１】
前記低解像度画像が前記複数の画像の他のものと実質的に同じ露光時間を有する、請求項１に記載の方法。
【請求項１２】
前記低解像度画像が前記複数の画像の他のものよりも長い露光時間を有する、請求項１に記載の方法。
【請求項１３】
前記画像の補正させたセットの形成を指示するステップ、前記合成された画像の形成を指示するステップ、及び前記合成された画像の記憶を指示するステップが、前記複数の画像の他のものに実行されるノイズ低減処理に先立って生じる、請求項１に記載の方法。
【請求項１４】
前記画像の補正させたセットの形成を指示するステップ、前記合成された画像の形成を指示するステップ、及び前記合成された画像の記憶を指示するステップが、画像センサに関連したノイズが前記複数の画像の各々から除去された後に生じる、請求項１に記載の方法。
【請求項１５】
前記画像の補正させたセットの形成を指示するステップ、前記合成された画像の形成を指示するステップ、及び前記合成された画像の記憶を指示するステップが、前記複数の画像の各々でエッジが特定された後に生じる、請求項１に記載の方法。
【請求項１６】
前記画像の補正させたセットの形成を指示するステップ、前記合成された画像の形成を指示するステップ、及び前記合成された画像の記憶を指示するステップが、前記複数の画像が完全にカラー補正され且つエッジ強調された後に生じる、請求項１に記載の方法。
【請求項１７】
データ処理システムに画像を形成するための方法を実行させるように構成された指示を記憶したプロセッサ・アクセス可能メモリシステムであって、前記指示は、
同時時間期間に渡ってシーンの複数の画像を獲得する指示であり、前記複数の画像の大半は、前記複数の画像の他のものよりも低解像度で獲得された低解像度画像である指示と、
前記低解像度画像の少なくともいくらかの間に存在する動きを少なくとも補正することによって、画像の補正されたセットを形成する指示と、
（ａ）前記画像の補正されたセットにおける画像の少なくとも一つの少なくとも一部、及び（ｂ）前記複数の画像の他のものの少なくとも一つの少なくとも一部、を少なくとも合体することによって、合成された画像を形成する指示と、
前記合成された画像のプロセッサ・アクセス可能メモリシステムへ記憶する指示と、
を備える、メモリシステム。
【請求項１８】
前記複数の画像の他のものが単一の高解像度画像のみを備える、請求項１７に記載のメモリシステム。
【請求項１９】
前記獲得指示が、前記複数の画像の他のものの獲得に先立って前記低解像度画像を獲得する指示を備える、請求項１７に記載のメモリシステム。
【請求項２０】
データ処理システムと、
前記データ処理システムと通信的に接続され、前記データ処理システムに画像を形成するための方法を実行させるように構成された指示を記憶したメモリシステムと、
を備えたシステムであって、前記指示は、
同時時間期間に渡ってシーンの複数の画像を獲得する指示であり、前記複数の画像の大半は、前記複数の画像の他のものよりも低解像度で獲得された低解像度画像である指示と、
前記低解像度画像の少なくともいくらかの間に存在する動きを少なくとも補正することによって、画像の補正されたセットを形成する指示と、
（ａ）前記画像の補正されたセットにおける画像の少なくとも一つの少なくとも一部、及び（ｂ）前記複数の画像の他のものの少なくとも一つの少なくとも一部、を少なくとも合体することによって、合成された画像を形成する指示と、
前記合成された画像のプロセッサ・アクセス可能メモリシステムへ記憶する指示と、
を備える、システム。
【請求項２１】
前記複数の画像の他のものが単一の高解像度画像のみを備える、請求項２０に記載のシステム。
【請求項２２】
前記獲得指示が、前記複数の画像の他のものの獲得に先立って前記低解像度画像を獲得する指示を備える、請求項２０に記載のシステム。
【請求項１】
少なくとも部分的にデータ処理システムによって実行される方法であって、前記方法は画像を形成するための方法であり、前記方法は、
同時時間期間に渡ってシーンの複数の画像の獲得を指示するステップであり、前記複数の画像の大半は、前記複数の画像の他のものよりも低解像度で獲得された低解像度画像であるステップと、
前記低解像度画像の少なくともいくらかの間に存在する動きを少なくとも補正することによって、画像の補正されたセットの形成を指示するステップと、
（ａ）前記画像の補正されたセットにおける画像の少なくとも一つの少なくとも一部、及び（ｂ）前記複数の画像の他のものの少なくとも一つの少なくとも一部、を少なくとも合体することによって、合成された画像の形成を指示するステップと、
前記合成された画像のプロセッサ・アクセス可能メモリシステムへの記憶を指示するステップと、
を包含する、方法。
【請求項２】
前記画像の補正されたセットの形成を指示するステップが、動き補正された前記低解像度画像の単一の低解像度画像への合体を指示するステップをさらに包含し、前記画像の補正されたセットが前記単一の低解像度画像のみを備える、請求項１に記載の方法。
【請求項３】
前記画像の補正されたセットの形成を指示するステップが、前記低解像度画像の少なくともいくらかの内部における特徴を位置合わせして、そのような画像をお互いにオフセットするステップをさらに包含し、前記位置合わせが前記低解像度画像の前記合体に先立って生じる、請求項２に記載の方法。
【請求項４】
前記低解像度画像の位置合わせが、前記複数の画像の他のものの一つと特徴を位置合わせするように行われる、請求項３に記載の方法。
【請求項５】
前記複数の画像の他のものが単一の高解像度画像のみを備える、請求項１に記載の方法。
【請求項６】
前記獲得を指示するステップが、前記複数の画像の他のものの獲得に先立って前記低解像度画像の獲得を指示するステップをさらに包含する、請求項１に記載の方法。
【請求項７】
前記獲得を指示するステップが、前記低解像度画像がローリングバッファ内に保存されることを指示するステップをさらに包含する、請求項６に記載の方法。
【請求項８】
獲得ボタン部分的押下信号を受領するステップをさらに包含し、これが前記低解像度画像の獲得を指示するステップを生じさせ、
前記獲得ボタン部分的押下信号を受領した後に獲得ボタン完全押下信号を受領するステップをさらに包含し、前記獲得ボタン完全押下信号の受領が前記複数の画像の他のものの獲得の指示を生じさせる、請求項６に記載の方法。
【請求項９】
前記低解像度画像の少なくともいくらかがビデオ画像又はプレビュー画像である、請求項１に記載の方法。
【請求項１０】
前記低解像度画像がビデオ画像であり、
前記獲得を指示するステップが、前記低解像度画像を獲得している間に音声データの獲得を指示するステップをさらに包含し、
前記音声データ及び前記低解像度画像を、前記音声データ及び前記低解像度画像が前記合成された画像にリンクするような方法で前記プロセッサ・アクセス可能メモリシステムに記憶するように指示するステップをさらに包含する、請求項８に記載の方法。
【請求項１１】
前記低解像度画像が前記複数の画像の他のものと実質的に同じ露光時間を有する、請求項１に記載の方法。
【請求項１２】
前記低解像度画像が前記複数の画像の他のものよりも長い露光時間を有する、請求項１に記載の方法。
【請求項１３】
前記画像の補正させたセットの形成を指示するステップ、前記合成された画像の形成を指示するステップ、及び前記合成された画像の記憶を指示するステップが、前記複数の画像の他のものに実行されるノイズ低減処理に先立って生じる、請求項１に記載の方法。
【請求項１４】
前記画像の補正させたセットの形成を指示するステップ、前記合成された画像の形成を指示するステップ、及び前記合成された画像の記憶を指示するステップが、画像センサに関連したノイズが前記複数の画像の各々から除去された後に生じる、請求項１に記載の方法。
【請求項１５】
前記画像の補正させたセットの形成を指示するステップ、前記合成された画像の形成を指示するステップ、及び前記合成された画像の記憶を指示するステップが、前記複数の画像の各々でエッジが特定された後に生じる、請求項１に記載の方法。
【請求項１６】
前記画像の補正させたセットの形成を指示するステップ、前記合成された画像の形成を指示するステップ、及び前記合成された画像の記憶を指示するステップが、前記複数の画像が完全にカラー補正され且つエッジ強調された後に生じる、請求項１に記載の方法。
【請求項１７】
データ処理システムに画像を形成するための方法を実行させるように構成された指示を記憶したプロセッサ・アクセス可能メモリシステムであって、前記指示は、
同時時間期間に渡ってシーンの複数の画像を獲得する指示であり、前記複数の画像の大半は、前記複数の画像の他のものよりも低解像度で獲得された低解像度画像である指示と、
前記低解像度画像の少なくともいくらかの間に存在する動きを少なくとも補正することによって、画像の補正されたセットを形成する指示と、
（ａ）前記画像の補正されたセットにおける画像の少なくとも一つの少なくとも一部、及び（ｂ）前記複数の画像の他のものの少なくとも一つの少なくとも一部、を少なくとも合体することによって、合成された画像を形成する指示と、
前記合成された画像のプロセッサ・アクセス可能メモリシステムへ記憶する指示と、
を備える、メモリシステム。
【請求項１８】
前記複数の画像の他のものが単一の高解像度画像のみを備える、請求項１７に記載のメモリシステム。
【請求項１９】
前記獲得指示が、前記複数の画像の他のものの獲得に先立って前記低解像度画像を獲得する指示を備える、請求項１７に記載のメモリシステム。
【請求項２０】
データ処理システムと、
前記データ処理システムと通信的に接続され、前記データ処理システムに画像を形成するための方法を実行させるように構成された指示を記憶したメモリシステムと、
を備えたシステムであって、前記指示は、
同時時間期間に渡ってシーンの複数の画像を獲得する指示であり、前記複数の画像の大半は、前記複数の画像の他のものよりも低解像度で獲得された低解像度画像である指示と、
前記低解像度画像の少なくともいくらかの間に存在する動きを少なくとも補正することによって、画像の補正されたセットを形成する指示と、
（ａ）前記画像の補正されたセットにおける画像の少なくとも一つの少なくとも一部、及び（ｂ）前記複数の画像の他のものの少なくとも一つの少なくとも一部、を少なくとも合体することによって、合成された画像を形成する指示と、
前記合成された画像のプロセッサ・アクセス可能メモリシステムへ記憶する指示と、
を備える、システム。
【請求項２１】
前記複数の画像の他のものが単一の高解像度画像のみを備える、請求項２０に記載のシステム。
【請求項２２】
前記獲得指示が、前記複数の画像の他のものの獲得に先立って前記低解像度画像を獲得する指示を備える、請求項２０に記載のシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公表番号】特表２０１１−５３０２０８（Ｐ２０１１−５３０２０８Ａ）
【公表日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１１−５２１１０１（Ｐ２０１１−５２１１０１）
【出願日】平成２１年７月２１日（２００９．７．２１）
【国際出願番号】ＰＣＴ／ＵＳ２００９／００４２０４
【国際公開番号】ＷＯ２０１０／０１４１５７
【国際公開日】平成２２年２月４日（２０１０．２．４）
【出願人】（５１０２１５６０６）オムニヴィジョン テクノロジーズ インコーポレイテッド (20)
【Ｆターム（参考）】
【公表日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２１年７月２１日（２００９．７．２１）
【国際出願番号】ＰＣＴ／ＵＳ２００９／００４２０４
【国際公開番号】ＷＯ２０１０／０１４１５７
【国際公開日】平成２２年２月４日（２０１０．２．４）
【出願人】（５１０２１５６０６）オムニヴィジョン テクノロジーズ インコーポレイテッド (20)
【Ｆターム（参考）】
[ Back to top ]