静止画像及びプレビュー画像を用いた高ダイナミックレンジ画像の生成
撮像されたデジタル画像のダイナミックレンジを改善するための方法であって、ライブビュー画像ストリームから少なくとも１つの画像を取得するステップであって、取得された各ライブビュー画像はそれぞれある実効露出と第１の解像度とを有しているステップと、前記取得された各ライブビュー画像のいずれとも異なるある実効露出且つ前記第１の解像度より高いある解像度で、少なくとも１つの静止画像を撮像するステップと、前記少なくとも１つのライブビュー画像と前記少なくとも１つの静止画像とを組み合わせるステップと、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画像からの改善された画像の生成に関する。より詳しくは、複数の画像は、ダイナミックレンジを増大させた高解像度の画像を形成するために利用される。
【背景技術】
【０００２】
電荷結合素子（ＣＣＤ）等の画像検出デバイスは、デジタルカメラ、スキャナ、ビデオカメラ等の製品中に一般に見出される。これら画像検出デバイスは、従来のネガフィルム製品と比べた場合、ダイナミックレンジが非常に限られている。典型的な画像検出デバイスは、約５ストップ（絞り値）のダイナミックレンジを有する。このことは、信号のクリップを避けるために、典型的なシーンのための露出をかなりの正確度をもって決定しなければならないことを意味する。更に、複数の照明（例えばシーン内の、前から照明された部分と後ろから照明された部分）の結果としてシーンが非常に広いダイナミックレンジを持つこともよくある。広ダイナミックレンジのシーンの場合、被写体のために適切な露出を選ぶには、画像の他の部分のデータをクリップすることが必要になる場合もよくある。このように、銀塩媒体と比べて劣っている画像検出デバイスのダイナミックレンジにより、画像検出デバイスによって得られる画像の画質が低いものとなってしまう。
【０００３】
画像検出デバイスにより獲得された画像のダイナミックレンジを増大させる方法によれば、そのような画像をより心地よく表現できるようにバランス調整することが可能となる。また、ダイナミックレンジが増大した画像によれば、共に譲渡された米国特許第５，０１２，３３３号においてリー（Lee）らにより説明されているように、より心地よいコントラストの改善が可能となる。
【０００４】
画像検出デバイスを用いて改善された画像を得るために用いられる一つの方法は、露出ブラケットである。露出ブラケットでは、ある範囲内の異なる複数の露出で同じ解像度の複数の静止画像が撮像され、それら画像のうちの１つが全体での最良の露出として選択される。しかし、この方式は、画像検出デバイスで撮像された個々の画像のダイナミックレンジをも増大させるものではない。ダイナミックレンジを増大させた画像を得るための１つの方法は、異なる露出で同じ解像度の複数の静止画像を撮像し、それら画像を組み合わせることでダイナミックレンジを増大させた１つの出力画像を生成するというものである。この方法は、本発明の譲受人に譲渡された米国特許第５，８２８，７９３号にマン（Mann）により記載され、本発明の譲受人に譲渡された米国特許第６，０４０，８５８号にイケダ（Ikeda）により記載されている。この方法では、しばしば、デジタルカメラ内に別に撮像モード及び処理経路を設ける必要がある。さらに、複数の撮像画像の時間的な近接度合いは、画像センサから画像を読み出せる速度により制限される。撮像画像間の時間的な差を大きくすれば、手の振れに関連するカメラの動きや、シーン内を動く物体によるシーンの動きなど、それら撮像画像間に動きが存在する可能性が高くなる。動きは、複数の画像を１つの出力画像へと合成する困難さを増大させる。
【０００５】
複数の画像間に存在する動きの問題に対処する、ダイナミックレンジを増大させた画像を得るための他の方法は、異なる露出を持つ複数の画像の同時撮像である。続いて、それら複数の画像が、組み合わされて、増大したダイナミックレンジを持つ１つの出力画像となる。この撮像プロセスは、複数の画像生成経路（パス）及び複数のセンサを用いて実現することができる。しかし、この解決策は、複数の画像生成経路及びセンサの形での更なるコスト高を招く。また、この解決策では、それら複数のセンサは、同じ位置にあるのではないので、視野が異なる複数の画像を生成することになり、それら複数の画像の一致製の問題も招いてしまう。この代わりに、ビームスプリッタを用いて入射光を１つの画像撮像デバイス内の複数のセンサへ投影することもできる。この解決策は、ビームスプリッタ及び複数のセンサの形での更なるコスト高を招くとともに、個々の画像センサが利用できる光の量を減少させてしまう。
【０００６】
ダイナミックレンジを増した画像を得るための別の方法は、露出に対して標準的な応答をする画素群と、露出に対して非標準的な応答をする画素群とを有する１つの画像センサを用いるものである。このような解決策は、本発明の譲受人に譲渡された米国特許第６，９０９，４６１号にギャラガー（Gallagher）により説明されている。しかし、低速な、非標準的な応答を持つ画素群は、標準的な応答を持つ画素群よりも信号対ノイズ性能が劣っているので、このようなセンサは、広大なミックレンジの特徴を示さないシーンについての性能が劣る。
【０００７】
ダイナミックレンジを増大させた画像を得るための別の方法は、画像センサ内の各画素を第１の露出の際に読み出して蓄積しながらもその画像センサの露出を続行するようにプログラムされた画像センサを利用することによるものである。このような解決策は、本発明の譲受人に譲渡された米国特許第７，６１６，２５６号にウォード（Ward）らにより説明されている。１つの例では、ＣＣＤからの画素群は、第１の露出時間の後に、遮光された垂直レジスタに読み込まれ、画像センサの露出は第２の露出時間が完了するまで続行される。この解決策は、それら露出同士の間の最短の時間で画像センサから個々の画素を複数回読み出すことを可能にするものの、センサからデータを読み出すための特別なハードウエアを必要とするという欠点を有する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第５，０１２，３３３号明細書
【特許文献２】米国特許第５，８２８，７９３号明細書
【特許文献３】米国特許第６，０４０，８５８号明細書
【特許文献４】米国特許第６，９０９，４６１号明細書
【特許文献５】米国特許第７，６１６，２５６号明細書
【特許文献６】米国特許出願公開第２００８−２１９５８１号明細書
【特許文献７】米国特許出願公開第２００９−２３１４４５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、この分野では、特別なハードウエアや画像センサの追加を必要とせず、高いダイナミックレンジを必要としないシーンについての性能を犠牲にせず、別の撮像モードを必要とせず、複数の露光同士の間の短い時間で、複数の画像を組み合わせてダイナミックレンジを向上させた画像を形成するための、改善された方法が必要とされる。
【課題を解決するための手段】
【００１０】
本発明の目的は、少なくとも１つのライブビュー（live view）画像と少なくとも１つの静止画像とを用いて、ダイナミックレンジを増大させた画像を生成することである。この目的は、撮像されたデジタル画像のダイナミックレンジを改善するための方法により達成される。この方法は、（ａ）ライブビュー画像ストリームから少なくとも１つの画像を取得するステップであって、取得された各ライブビュー画像はそれぞれある実効露出（effective exposure）と第１の解像度とを有しているステップと、（ｂ）前記取得された各ライブビュー画像のいずれとも異なるある実効露出且つ前記第１の解像度より高いある解像度で、少なくとも１つの静止画像を撮像するステップと、（ｃ）前記少なくとも１つのライブビュー画像と前記少なくとも１つの静止画像とを組み合わせるステップと、を含む。
【発明の効果】
【００１１】
本発明の利点は、特別なハードウエア又は追加の画像センサがなくても、ダイナミックレンジを増大させた画像を生成することができるということである。
【００１２】
本発明の更なる利点は、高いダイナミックレンジを必要としないシーンについての性能を犠牲にすることなく、ダイナミックレンジを増大させた画像を生成することができるということである。
【００１３】
本発明の更なる利点は、別の撮像モードを必要とすることなく、ダイナミックレンジを増大させた画像を生成することができるということである。
【００１４】
本発明の更なる利点は、複数の露出同士の間の最小の時間で、ダイナミックレンジを増大させた画像を生成することができるということである。
【００１５】
本発明についての、この、及び他の、側面、目的、特徴、及び利点については、添付する図面を参照しつつ、好適な実施の形態についての後述する詳細な説明、及び付加した特許請求の範囲を読むことにより、より明確に理解され評価されるであろう。
【図面の簡単な説明】
【００１６】
【図１】本発明の処理方法と共に用いるデジタルスチルカメラのブロック図である。
【図２】（従来技術）画像センサ上のベイヤーパターンを例示する図である。
【図３ａ】本発明の実施形態のフローチャートである。
【図３ｂ】本発明の実施形態のフローチャートである。
【図４】本発明の、ライブビューと静止画像とを組み合わせる方法のフローチャートである。
【図５】本発明の、ライブビューと静止画像とを組み合わせる方法のフローチャートである。
【図６】本発明の、ライブビュー画像と代表ライブビュー画像とを組み合わせる方法のフローチャートである。
【図７】本発明の、拡大・縮小されたライブビュー画像と代表ライブビュー画像とを組み合わせる方法のフローチャートである。
【図８】本発明の、拡大・縮小されたライブビュー画像と代表ライブビュー画像とを組み合わせる方法のフローチャートである。
【発明を実施するための形態】
【００１７】
撮像デバイスと、信号獲得及び補正のため及び露出制御のための回路と、を用いたデジタルカメラはよく知られているので、この明細書の説明は、本発明に関連する方法及び装置の一部をなす要素群、又はそれら方法及び装置とより直接的に協働する要素群を特に指向するものとする。この明細書で特に説明又は記載しない要素群は、この分野で知られているものの中から選択して用いればよい。以下に説明する実施の形態のいくつかの側面は、ソフトウエアとして提供される。以下の記事において本発明に従って説明され、記載されるシステムを考える場合に、この明細書に特に説明、記載又は示唆されないものの本発明の実施に有益なソフトウエアは、従来のものでありこれらの分野での普通の技術の範囲内のものである。
【００１８】
さて図１には、本発明を具現化した、デジタルカメラとして示される画像撮像デバイスのブロック図が示される。ここではデジタルカメラを説明するが、本発明は、他のタイプの画像生成システム、例えば携帯電話機や自動車等のようなカメラでない装置に含まれる画像生成サブシステムなどのようなもの、にも適用可能であることは明らかである。被写シーンからの光１０は画像生成ステージ１１に入力され、このステージ１１でその光がレンズ１２により集束され、固体画像センサ２０上に画像を形成する。画像センサ２０は、各画像要素（画素）に電荷を蓄積することにより、入力光を電気信号へと変換する。好適な実施形態の画像センサ２０は、電荷結合素子（ＣＣＤ）タイプ、又はアクティブピクセルセンサ（ＡＰＳ）タイプである。（ＡＰＳデバイスは、しばしば、ＣＭＯＳセンサとも呼ばれる。それらデバイスを相補型金属酸化膜半導体（ＣＭＯＳ）プロセスにより製造できるからである。）そのセンサは、カラーフィルタの配列を備えており、これらについては後で更に詳しく説明する。
【００１９】
センサ２０に到達する光の量は、開口を変化させる絞り（虹彩）ブロック１４と、光学経路内に挿入された１以上の中性（ＮＤ）フィルタを含んだＮＤフィルタブロック１３とにより規制される。全体の光レベルは、更に、シャッターブロック１８が開いている時間によっても規制される。露出コントローラブロック４０は、明るさセンサブロック１６により測定される、シーンにおいて得られる光の量に反応し、それら３つすべての規制機能を制御する。
【００２０】
画像センサ２０からのアナログ信号は、アナログシグナルプロセッサ２２により処理されるとともに、それらセンサ信号をデジタル化するためにアナログ・デジタル（Ａ／Ｄ）コンバータ２４に入力される。タイミング発生器２６は、様々なクロック信号を生成し、これにより行及び画素の選択と、アナログシグナルプロセッサ２２及びＡ／Ｄコンバータ２４の動作の同期ができるようにする。画像センサステージ２８は、画像センサ２０、アナログシグナルプロセッサ２２、Ａ／Ｄコンバータ２４及びタイミング発生器２６を有する。画像センサステージ２８の各機能要素はそれぞれ個別に製造された集積回路であってもよいし、ＣＭＯＳ画像センサで一般的なようにそれら機能要素群が１つの集積回路として製造されてもよい。Ａ／Ｄコンバータ２４から出力されるデジタル画素値のストリームは、デジタルシグナルプロセッサ（ＤＳＰ）３６に関連づけられたメモリ３２に格納される。
【００２１】
デジタルシグナルプロセッサ３６は、本実施形態の３つのプロセッサ又はコントローラのうちの１つであり、他の２つはシステムコントローラ５０及び露出コントローラ４０である。複数のコントローラ及びプロセッサの間でのこのようなカメラ機能制御の分散は典型的なものであるが、それらコントローラ又はプロセッサは、カメラの機能的な動作及び本発明の応用に影響を与えることなく、様々な方法で組み合わせることができる。これらコントローラ又はプロセッサは、１以上のデジタルシグナルプロセッサデバイス、マイクロコントローラ、プログラマブルロジックデバイス又はその他のデジタル論理回路を含んでいてよい。そのようなコントローラ群又はプロセッサ群の組合せについて説明してきたが、明らかなように、１つのコントローラ又はプロセッサが必要な機能群のすべてを実行するように指定されてもよい。これらすべての変形例は、同じ機能を実行することができ、本発明の範囲内のものである。そして、「プロセッシングステージ」という用語は、例えば図１におけるプロセッシングステージ３８のように、１つの側面に含まれるそのような機能のすべてを包含するものとして用いる。
【００２２】
例示する実施形態では、ＤＳＰ３６は、そのメモリ３２内にあるデジタル画像データを、プログラムメモリ５４内に永久的に格納され且つ画像取得の間の実行のためにメモリ３２にコピーされたソフトウエアプログラムに従って、処理する。ＤＳＰ３６は、図３ａ及び３ｂに示すように画像処理を実行するために必要なソフトウエアを実行する。メモリ３２は、ＳＤＲＡＭのような、どのような種類のランダムアクセスメモリであってもよい。アドレス信号及びデータ信号のための経路を有するバス３０は、ＤＳＰ３６を、これに関連づけられたメモリ３２、Ａ／Ｄコンバータ２４及び他の関連するデバイス群に接続する。
【００２３】
システムコントローラ５０は、プログラムメモリ５４内に格納されたソフトウエアプログラムに基づいて、カメラの全体的な動作を制御する。プログラムメモリ５４は、フラッシュＥＥＰＲＯＭ又はその他の不揮発性メモリ等であってよい。このメモリは、更に、画像センサ較正用データ、ユーザ設定選択値群、及びカメラの電源がオフされた時に保存すべきその他のデータを格納するために用いてもよい。システムコントローラ５０は、画像取得の一連の流れを制御するために、レンズ１２、ＮＤフィルタ１３及び絞り１４及びシャッター１８を前述したように動作させるよう露出コントローラ４０に指示し、画像センサ２０及び関連する要素群を動作させるようタイミング発生器２６に指示し、取得された画像データを処理するようＤＳＰ３６に指示する。画像が取得され処理された後、メモリ３２内に記憶されている最終的な画像ファイルは、インタフェース５７を介してホストコンピュータに転送され、又は着脱式のメモリカード６４やその他の記憶装置に格納され、又はユーザのために画像表示部８８上に表示される。
【００２４】
バス５２は、アドレス信号、データ信号及び制御信号のための経路を有し、システムコントローラ５０を、ＤＳＰ３６、プログラムメモリ５４、システムメモリ５６、ホストインタフェース５７、メモリカードインタフェース６０及びその他の関連する装置群に接続する。ホストインタフェース５７は、画像データの表示、格納、取り扱い、又は印刷のための転送のために、パーソナルコンピュータ（ＰＣ）その他のホストコンピュータに対する高速接続を提供する。このインタフェースは、ＩＥＥＥ１３９４又はＵＳＢ２．０等のシリアルインタフェース、又はその他の適切なデジタルインタフェースである。メモリカード６４は、例えば、コンパクトフラッシュ（登録商標）（ＣＦ）カードであり、ソケット６２に挿入され、メモリカードインタフェース６０経由でシステムコントローラ５０に接続されている。使用される他の種類の記憶装置には、ＰＣカード、マルチメディアカード（ＭＭＣ）、又はセキュアデジタル（ＳＤ）カード等が含まれる（ただしこれらに限定されるものではない）。
【００２５】
処理された画像は、システムメモリ５６内の表示バッファにコピーされ、ビデオエンコーダ８０によって連続的に読み出されることで、ビデオ信号が生成される。この信号は、外部モニタへの表示のためにカメラから直接出力されるか、又は表示コントローラ８２により処理されて画像表示部８８上に提示される。この表示部は、例えばアクティブマトリックスのカラー液晶ディスプレイ（ＬＣＤ）であるが、他の種類のディスプレイも同様に使用可能である。
【００２６】
ユーザインタフェース６８は、ビューファインダ表示部７０、露出表示部７２、ステータス表示部７６、画像表示部８８、ユーザ入力部７４のすべて、又はそれらの任意の組合せを有しており、露出コントローラ４０及びシステムコントローラ５０上で実行されるソフトウエアプログラムの組合せにより制御される。ユーザ入力部７４は、例えば、ボタン、ロッカースイッチ、ロータリーダイアル、又はタッチスクリーン等の何らかの組合せを有している。露出コントローラ４０は、光の測定、露出モード、オートフォーカス及びその他の露出機能を制御する。システムコントローラ５０は、画像表示部８８等の１以上の表示部上に提示されるグラフィカルユーザインタフェース（ＧＵＩ）を管理する。このＧＵＩは、例えば、様々な選択肢の選択のためのメニューや、取得した画像を検査するためのレビューモード等を含んでいる。
【００２７】
露出コントローラ４０は、露出モード、レンズ開口、露出時間（シャッター速度）、及び、露出指数又はＩＳＯ感度（speed rating）を選択するためのユーザ入力を受け付けると共に、その後に続く画像取得のためにそれら入力に従ってレンズ及びシャッターに指示を出す。明るさセンサ１６は、シーンの明るさを測定するために使用され、露出測定機能をユーザに提供し、ＩＳＯ感度、開口及びシャッター速度をマニュアル設定する際に参照できるようにする。この場合において、ユーザが１以上の設定を変更すると、ビューファインダ表示部７０上に提示された光メーターインジケータは、画像がどの程度露出オーバー又は露出アンダーとなっているかをユーザに示す。自動露出モードでは、ユーザが１つの設定を変更すると、露出コントローラ４０は、他の設定を自動的に変えることで、正しい露出を維持する。例えば、あるＩＳＯ感度が指定されている場合に、ユーザがレンズ開口を小さくすると、露出コントローラ４０は、全体的な露出を同じ値に維持するよう、自動的に露出時間を増大させる。
【００２８】
ＩＳＯ感度は、デジタルスチルカメラの重要な属性の１つである。露出時間、レンズ開口、レンズ透過率（lens transmittance）、シーン照明のレベル及びスペクトル分布、及びシーン反射率は、デジタルカメラの露出レベルを決定する。デジタルカメラから不十分な露出で画像が取得された場合、一般的には、電子的又はデジタルのゲインを増大させることにより適切な階調再現が維持されるが、画像は受け入れ不可能な量のノイズを含むことになる。露出が増大するにつれて、そのゲインは低くなり、これにより画像のノイズは通常は受け入れ可能なレベルまで低減される。もし露出が過度に増大されると、画像内の明るい領域についての信号は、画像センサ又はカメラの信号処理の最大信号レベル容量を超えることもあり得る。これは、画像のハイライト部が、クリップされて均一な明るい領域を形成したり、にじんで画像の周囲の領域にとけ込んだりする原因となり得る。ＩＳＯ感度は、このようなガイドとして用いられることを意図したものである。撮影者により簡単に理解できるようにするために、デジタルスチルカメラのためのＩＳＯ感度は、フィルムカメラのためのＩＳＯ感度と直接対応しているべきである。例えば、デジタルスチルカメラのＩＳＯ感度がＩＳＯ２００である場合、適切な露出時間及び開口は、ＩＳＯ２００のフィルム／処理システムについての露出時間及び開口と同じであるべきである。
【００２９】
ＩＳＯ感度は、フィルムのＩＳＯ感度と調和することを意図している。しかし、電子的な画像生成システムとフィルムを用いた画像生成システムとの間には相違があり、その相違は、両者が正確に等価となることの妨げとなっている。デジタルスチルカメラは可変のゲインを有し得ると共に、画像が取得された後にデジタル処理を実行することが可能であり、カメラのある露出範囲にわたって達成されるべき階調再現を可能としている。この柔軟性のために、デジタルスチルカメラはある範囲にわたる感度を持ったものとなり得る。この範囲は、ＩＳＯ感度ラティチュードとして定義されている。混乱を避けるために、ＩＳＯ感度としては単一の値が指定され、ＩＳＯ感度ラティチュードについてはその感度範囲を示す上限及び下限すなわち実効的な感度を含む範囲が指定されており、この点が固有のＩＳＯ感度と異なる。このことを念頭に置くと、固有のＩＳＯ感度は、指定されたカメラ出力信号特性を得るために、デジタルスチルカメラの焦点面にもたらされる露出から計算される数値である。その固有の感度は、通常は、所与のカメラシステムにて通常のシーンについてのピーク画質を得るための露出インデックス値であり、その露出インデックスは画像センサに対する露出に反比例する数値である。
【００３０】
デジタルカメラに関する以上の説明は、当業者にはありふれたものであろう。この実施態様に対して可能な多数のバリエーションが存在しており、コストを低下させるため、特徴を追加するため、カメラの性能を向上させるためにそうしたバリエーションを選択することができる。例えば、オートフォーカスシステムを追加したり、レンズを着脱交換式にしたりすることもできる。理解されるように、本発明はいかなる種類のデジタルカメラ、あるいはより一般的には、デジタル撮像装置に適用可能であり、このようなデジタル撮像装置では代替的なモジュール群が類似の機能を提供する。
【００３１】
図１に示す例を参照して、以下の説明では、本発明に従って画像を撮像するためのこのカメラの動作を詳細に説明する。以下の説明において包括的に画像センサについて言及する場合は、常に、図１の画像センサ２０を表しているものとする。図１に示される画像センサ２０は、一般に、シリコン基板上に製造された二次元の感光画素アレイを含んでおり、その感光画素が、各画素への入射光を測定して電気信号に変換する。画像センサの文脈では、画素（「画像要素」の縮約形）は、離散的な感光領域と、その感光領域に関係した電荷シフト回路または電荷測定回路を意味する。デジタルカラー画像の文脈では、画素という用語は、一般に、画像内での色値を伴った特定の位置を意味する。カラー画素という用語は、比較的狭いスペクトル帯域についてのカラー光応答を有する画素のことをいう。露出継続時間（exposure duration）という用語及び露出時間という用語は、互換のものとして用いる。
【００３２】
センサ２０が露出すると、自由電子が生成され、各画素の電子的構造内に捕獲される。このような自由電子をある時間にわたって捕獲し、その後、捕獲した電子の数の測定、又は自由電子が生成されるレート（速度）の測定、を行うことにより、各画素での光レベルを測定することができる。前者の場合、電荷結合素子（ＣＣＤ）等におけるように、蓄積された電荷が画素アレイからシフト出力され、電荷から電圧を測定する測定回路へ送られるか、又はアクティブピクセルセンサ（ＡＰＳ又はＣＭＯＳセンサ）におけるように、各画素の近くの領域に、電荷から電圧を測定する測定回路に対する要素群を含むことができる。
【００３３】
カラー画像を生成するために、画像センサ内の画素のアレイは、典型的には、それら画素の上に配設された、あるパターンのカラーフィルタ群を有している。図２には、よく用いられている赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のカラーフィルタ群のパターンを示す。このパターンは、米国特許第３，９７１，０６５号に開示されるように、発明者ブライス・ベイヤー（Bryce Bayer）の名にちなんで、ベイヤー（Bayer）カラーフィルタアレイ（ＣＦＡ）としてよく知られている。このパターンは、色画素の二次元アレイを有する画像センサにおいて効果的に利用されている。結果として、各画素は、この場合それぞれ赤、緑及び青の光に対して高い感度を持つ、特定のカラー光応答を有することとなる。他の便利なカラー光応答は、マゼンタ、イエロー、シアンの光に対して高い感度を持つものである。各々のケースでは、特定のカラー光応答は、可視光スペクトルのある部分に対して高い感受性を有すると共に、可視光スペクトルの他の部分に対して低い感受性を有する。
【００３４】
図２のＣＦＡ配列の２次元アレイを有する画像センサを用いて撮像された画像は、画素ごとにただ１つの色値を有する。フルカラー画像を生成するために、各画素にない色を推定すなわち補間する数多くの技術がある。これらＣＦＡ補間技術は当該分野で周知であり、以下の特許文献、すなわち米国特許第５，５０６，６１９号、米国特許第５，６２９，７３４号及び米国特許第５，６５２，６２１号を参照されたい。
【００３５】
図３ａには、本発明の１つの実施形態に従ったフロー図が例示されている。ステップ３１０では、カメラの撮影ボタンをＳ０ポジション（押し下げられていない状態：undepressed position）からＳ１ポジション（部分的に押し下げられた状態）まで押し下げることで取得プロセスが開始され、「撮影ボタン半押し」信号がカメラ内のシステムコントローラ５０に送信され、操作者が画像の構図決めを行う。システムコントローラ５０は、使用可能なＤＳＰメモリ３２を用いてライブビュー画像の取得及び格納３２０を開始するようカメラに指示する。ここで注意すべきは、同時に、カメラ内のシステムコントローラ５０は、典型的にはオートフォーカス及びオート露出をも完了させてしまうことがあり得るということである。ステップ３３０に示すように、操作者は、撮影の瞬間を識別すると、撮影ボタンをＳ１からＳ２（完全に押し下げられた状態）まで押し下げ、これにより「撮影ボタン全押し」信号がカメラ内のシステムコントローラ５０に送られる。この時点で、ステップ３４０にて、システムコントローラ５０は、ライブビュー画像の連続的な取得又は撮像を停止してライブビュー画像よりも空間解像度が高い静止画像の撮像を開始するようカメラに指示する。ステップ３５０では、それらライブビュー画像群と静止画像とが組み合わされ、撮影された元々の静止画像よりもダイナミックレンジの高い、改善された静止画像が形成される。最後に、ステップ３６０では、改善された静止画像が出力空間に描画される。
【００３６】
ステップ３２０で取得されたライブビュー画像群は、カメラのＬＣＤ表示部８８上にしばしば表示されるようなライブビュー画像ストリームからのものであってよい。そのような画像群は、典型的には、１秒間に３０フレーム、空間解像度縦３２０×横２４０（ＱＶＧＡ解像度）又は縦６４０×横４８０（ＶＧＡ解像度）で撮影され表示される。しかし、この空間解像度に限定されるべきではなく、ライブビュー画像はより高い空間解像度で撮影されてもよい。また、ライブビュー画像は、より高い空間解像度で表示されてもよい。ライブビュー画像が撮影されセンサから読み出される周波数は、ライブビュー画像の空間解像度に反比例する。
【００３７】
ステップ３２０で取得された各ライブビュー画像は、最初は、ある実効露出（effective exposure）で撮影されたものである。この明細書で定義するように、実効露出は、所与の画像についての画像センサの露出時間と定義され、画像センサから画像データを読み出すときに用いられるビニング係数（binning factor）により尺度調整されている。例えば、１つのライブビュー画像について、９×のビニング係数とともに１／３０秒の露出を用いている画像センサは、そのライブビュー画像に対して、９／３０すなわち３／１０の実効露出を生成する。この文脈では、ビニングとは、読み出しに先立って隣接する複数の画素からの電荷を足し合わせることであり、ビニング係数は、いくつの画素の電荷を足し合わせて読み出し対象の単一の値にするのかを表す。ビニングは、典型的には、画像センサ上のＣＦＡパターン内の類似した画素群からの電荷を足し合わせることにより行われる。例えば、図２では、例示された４つの赤色画素からの電荷を足し合わせて1つの赤画素を形成すると共に、青色画素及び緑色画素についても同様の電荷の足し合わせを行うことにより、４×のビニング係数が実現される。ここで、ベイヤーパターンでは緑の画素数が青や赤の２倍あり、それら緑の画素群は、２つの個別のグループごとに足し合わされることで、２つの別々のビニングされた画素群を形成する。
【００３８】
ステップ３４０で撮像された静止画像は、ステップ３２０の間に取得されるライブビュー画像よりも高い空間解像度をもつ。多くの場合、静止画像は画像センサ２０の最大空間解像度を有する。静止画像は、ライブビュー画像に対応する実効露出とは異なる実効露出で撮像される。実効露出が異なることで、後続のステップ３５０にて、高いダイナミックレンジを生み出すことができる。
【００３９】
ライブビュー画像の取得は、Ｓ１の外側で行われてもよい。カメラがＳ０ポジションにある間、ステップ３２０のように、ライブビュー画像群を取得するようにしてもよい。このライブビュー画像の取得は、Ｓ０からＳ１へ遷移したときにも、又はＳ１からＳ０へ遷移したときにも、続行してよい。
【００４０】
取得されたライブビュー画像群は、静止画像の実効露出とは異なる実効露出を有する。本発明の１つの実施形態では、取得されたライブビュー画像群の実効露出は、静止画像の実効露出よりも低い。概念的には、このシナリオでは、静止画像は、光に対する露出オーバーにより飽和した領域を含んでいる。実効露出が低いライブビュー画像群は、それら露出オーバーの領域に対応する画素群が同様に飽和していないならば、それら領域についての追加の情報を提供する。
【００４１】
本発明の別の実施形態では、取得されたライブビュー画像群は、静止画像の実効露出よりも高い実効露出を有する。概念的には、このシナリオでは、静止画像は、暗くて信号対ノイズ比が低い領域を含んでいる。これら暗い領域については、画素値に対してデジタルゲイン係数を適用したり、あるいはシャドー部分のディテールを引き出す階調スケーリング処理を適用したりすることで明るくすることができるが、これは信号に伴ってノイズも増大させる。実効露出が高いライブビュー画像群は、それら領域について低ノイズの追加の情報を提供する。暗い領域内の信号対ノイズ比を改善することにより、好ましくないノイズが生じるリスクを低減しつつも、それらの領域を明るくすることができる。
【００４２】
本発明の他の実施形態では、少なくとも１つの取得したライブビュー画像は、静止画像の実効露出よりも低い実効露出を有し、少なくとも１つの取得したライブビュー画像は、静止画像の実効露出よりも高い実効露出を有する。概念的には、このシナリオでは、それらライブビュー画像がもたらす追加の情報を用いて、静止画像の暗い領域と飽和した領域の両方の画質を改善することができる。
【００４３】
複数の画像を用いて、ダイナミックレンジを向上させた画像を生成する際には、それら複数の画像は同じシーンを撮像したものであることが望ましい。これを達成するために、それら複数の画像は、画像同士の間の時間差ができるだけ少なくなるように、撮像するとよい。これにより、カメラの動きや被写体の動き、照明光の変化等のような出来事によりもたらされるシーンの変化の可能性を最小限にすることができる。ライブビュー画像ストリームは、複数のライブビュー画像からなる連続的なストリームを生み出すものであり、その後に続いて静止画像が撮像される。取得されたライブビュー画像群と静止画像との間の時間差を最小化するためには、ライブビュー画像群のうち最も直近に撮像された画像を取得し、格納し、次々により古いライブビュー画像と置き換えるようにすればよい。
【００４４】
異なる実効露出を有する複数のライブビュー画像が取得され、格納される例では、ライブビュー画像ストリームにおける画像の実効露出を何らかの時点で変化させる必要がある。２つの実効露出を有するライブビュー画像群を取得するための１つの方法は、実効露出を交互に切り替えてライブビュー画像群を撮像することである。このような方式によれば、静止画像が撮像されるときには常に、直近の２つのライブビュー画像が、第１の実効露出を持つ１つの画像と、第２の実効露出を持つもう１つの画像とを含んでいることが保証される。このような方式の欠点は、交互に切り替わる実効露出を持つライブビュー画像群をカメラの背面に視覚的な副作用（アーチファクト）なく表示することが困難になり得ることである。しかし、いくつかの例では、カメラの背面でのライブビュー画像群の表示速度を超える速度（レート）でライブビュー画像群を撮像することもできる。例えば、ライブビュー画像を毎秒６０フレームで撮像し、カメラの背面に毎秒３０フレームで表示すれば、カメラの背面に表示するのは１つの実効露出に対応するライブビュー画像のみを表示すればよく、視覚的な副作用の懸念が払拭される。
【００４５】
図３ｂには、異なる実効露出を持つ複数のライブビュー画像を取得するための別の方法が例示される。ステップ３１０では、操作者はカメラの撮影ボタンをＳ０ポジション（押し下げられていない状態）からＳ１ポジション（部分的に押し下げられた状態）まで押し下げることで取得プロセスを開始し、これにより「撮影ボタン半押し」信号がカメラ内のシステムコントローラ５０に送信され、操作者が画像の構図決めを行う。システムコントローラ５０は、使用可能なＤＳＰメモリ３２を用いてライブビュー画像の取得及び格納３２０を開始するようカメラに指示する。取得されるライブビュー画像群は、単一の実効露出に対応したものであってよい。ステップ３３０に示すように、操作者は、撮影の瞬間を識別すると、撮影ボタンをＳ１からＳ２（完全に押し下げられた状態）まで押し下げ、これにより「撮影ボタン全押し」信号がカメラ内のシステムコントローラ５０に送られる。この時点で、ステップ３３５に示すように、システムコントローラ５０は、それ以前とは異なる実効露出で少なくとも１つの追加のライブビュー画像を撮像するようカメラに指示する。１以上の追加のライブビュー画像が撮像された後、システムコントローラ５０は、ライブビュー画像の連続的な取得又は撮像を停止してライブビュー画像よりも空間解像度が高い静止画像の撮像を開始するようカメラに指示する。ステップ３５０では、それらライブビュー画像群と静止画像とが組み合わされ、撮影された元々の静止画像よりもダイナミックレンジの高い、改善された静止画像が形成される。最後に、ステップ３６０では、改善された静止画像が出力空間に描画される。
【００４６】
第２の実効露出を持つライブビュー画像の撮像を、ユーザが撮影ボタンをＳ１からＳ２へと押下した後まで遅らせることにより、Ｓ２より前に撮像されたライブビュー画像群は、ライブビュー画像間で実効露出が変化することから起こる視覚的な副作用の懸念無く、カメラの背面に表示することができる。すべて例において、ライブビュー画像群は、すなわちユーザがカメラモードを切り替えたり、ライブビュー画像のための露出をマニュアル設定したりすることなく、自動的に撮像されるようにしてよい。
【００４７】
図４は、本発明の１つの実施形態に基づく、ライブビュー画像と静止画像を組み合わせるステップ（図３ａ及び図３ｂのステップ３５０）の更なる詳細を示したものである。ライブビュー画像と静止画像とを組み合わせるステップは、静止画像４１０と少なくとも１つのライブビュー画像４２０とから開始される。最初に、４３０で、静止画像の解像度が低減される。個々で注意すべきは、この明細書では、「代表ライブビュー画像」はステップ４３０の結果として生成された画像として定義される。このステップでは、画素同士の結合、間引き、クロッピング（トリミング）などを用いてよい。ある好適な実施例では、静止画像の解像度を低減するステップは、ライブビュー画像を生成するためにカメラにて用いられている方法とよく似た方法を用いる。
【００４８】
４０３２列、３０３４行の１２００万画素のベイヤーパターンのセンサについての解像度の低減の例は以下の通りである。静止画像は、カメラボタンがＳ１ポジションまで押下されている間に生成されるのと同様に、解像度が低減され、１３１２×５０６のライブビュー画像が生成される。４０３２列×３０３４行は、各次元について３の係数でデジタル的に結合される。これは、対応するベイヤーパターンの画素位置の複数の画素値を結合することで実現される。９個の青色画素の値が結合されて１つの結合済み青色画素の値が生成される。同様に、９個の赤色画素の値が結合されて１つの結合済み赤色画素の値が生成される。赤色画素と同じ行にある９個の緑色画素の値が結合されて１つの結合済み緑色画素の値が生成される。そして、青色画素と同じ行にある９個の緑色画素の値が結合されて１つの結合済み緑色画素の値が生成される。結合済み画素の値は、その値を構成する画素の数によりその値を割り算することにより正規化される。この結合ステップでは、いくつかの画素値を捨ててもよい。例えば、結合済みが措置を形成する際に、９個の画素値のうちの６個のみを用いてもよい。その結果得られる画像は、１３４２×１０１０の解像度を有し、ベイヤーパターンを維持している。画像のベイヤーパターンを維持したまま、縦の解像度を更に係数２で低減する（１／２にする）ために、行のペアが１つおきに廃棄される。この結果、１３４２×５０６の解像度を持つベイヤーパターン画像が得られる。最後に、画像の左から１６列が切り取られ、画像の右から１４列が切り取られることにより、ライブビュー画像に対応する１３１２×５０６の解像度の画像が生成される。
【００４９】
続いて、代表ライブビュー画像は、４４０にて、元の静止画像の解像度まで戻るよう、空間的に補間される。この処理は、補間済み静止画像を生み出す。元の画像のいくつかの行又は列が代表ライブビュー画像の形成の間にトリミングされた（切り取られた）場合には、補間ステップでは、そのトリミング済みの静止画像と同じ解像度の補間画像を生成するのみである。好適な実施例では、補間済み静止画像を生成するために、バイキュービック補間が用いられる。しかしながら、当業者ならわかるように、補間済み静止画像を生成するための適切な技術は数多く存在している。
【００５０】
ステップ４５０では、補間済み静止画像が元の静止画像から減算され、残余画像が生成される。もし元の静止画像と補間済み静止画像とのサイズが違っている場合には、残余画像は補間済み静止画像と同じサイズとしてもよく、元の静止画像の余分の行／列は無視してもよい。この代わりに、残余画像を元の静止画像と同じサイズとしてもよく、残余画像の解像度の外側の位置では、残余画像が元の静止画像と同じ値を持つようにしてもよい。残余画像が生成されると、元の画像は記憶装置内にある必要はないことに注意されたい。
【００５１】
ステップ４６０では、ライブビュー画像群がその代表ライブビュー画像と組み合わされることで、ダイナミックレンジを増大させた最終的ライブビュー画像が形成される。このステップがいったん完了すると、４７０で、最終的ライブビュー画像が、静止画像（トリミングされている場合もある）の解像度まで戻すよう、補間される。好適な実施例では、この補間ステップは、ステップ４５０で用いられた補間ステップと同じものである。最後に、４８０で、この補間ステップの結果すなわち補間済みの最終的ライブビュー画像が、残余画像に加算され、これにより、ダイナミックレンジを増大させた、静止画像の解像度の改善された画像が生成される。
【００５２】
図５には、本発明の別の実施形態に基づく、ライブビュー画像と静止画像を組み合わせるステップ（図３ａ及び図３ｂのステップ３５０）の更なる詳細が示される。ライブビュー画像と静止画像とを組み合わせるステップは、静止画像４１０と少なくとも１つのライブビュー画像４２０とから開始される。５３０で、それらライブビュー画像は静止画像と同じ解像度まで補間される。続いて、５４０で、補間済みライブビュー画像が静止画像と組み合わされ、これにより、ダイナミックレンジを増大させた最終的静止画像が形成される。
【００５３】
図６には、本発明のある好適な実施例に基づく、ライブビュー画像と代表ライブビュー画像とを組み合わせて、ダイナミックレンジを増大させた最終的ライブビュー画像を生成するステップ（図４のステップ４６０）の更なる詳細が示される。ライブビュー画像と代表ライブビュー画像とを組み合わせて、ダイナミックレンジを増大させた最終的ライブビュー画像を生成するために、６１０で、ライブビュー画像と代表ライブビュー画像とが、ある露出尺度で表されるよう処理される。すなわち、画素値が相対露光量までたどることができる尺度にて処理される。好適な実施例では、そのメトリックは、線形の相対露光量である。
【００５４】
次に、６２０で、ライブビュー画像と代表ライブビュー画像とが同じシーン内容を表すよう、それら両画像が位置合わせされる。前述のように、複数の画像が同じシーンを撮像したものであるならば、それら複数の撮像の間に生じる全体的な動きや被写体の動きは存在しない。しかし、動きについては、ライブビュー画像と代表ライブビュー画像都を組み合わせる前に、動き補償の追加ステップを挿入してもよい。
【００５５】
動き補償のある方法では、全体動き補償ステップによりライブビュー画像と代表ライブビュー画像とを位置合わせする。全体動きの推定及び補償は本発明の属する分野での周知技術であり、ライブビュー画像と代表ライブビュー画像の位置合わせのためには、適切などのような方法を用いてもよい。１つの好適な実施例では、位置合わせされるそれら画像がＣＦＡ画像である場合、動き推定ステップは、ＣＦＡパターンサイズ、例えばベイヤーパターンの場合は２×２、の整数倍の平行移動に限定される。ベイヤーパターンの場合これにより、動き補償済み画像もベイヤーパターンとなることが補償される。
【００５６】
局所的な動き推定及び補正を、全体的な動き推定の代わりに、又は全体的な動き推定を更に向上させるために、用いてもよい。局所的な動き推定及び補正処理は本発明の属する分野での周知技術であり、ライブビュー画像と代表ライブビュー画像の位置合わせのためには、適切などのような方法を用いてもよい。特に、局所領域（ブロック）の動き評価値を求めるために、ブロックベースの動き推定アルゴリズムを用いてもよい。
次のステップでは、露出及びフレアの評価値を生成する。以下の関係を仮定する。
【数１】
式Ｅｑ．（１）では、（ｘ，ｙ）は画素の座標を表し、Ｘはライブビュー画像を表し、Ｙは代表ライブビュー画像を表す、ＥｘｐｏｓｕｒｅＤｅｌｔａ及びＦｌａｒｅＤｅｌｔａは、解くべき２つの未知の項である。線形の露出尺度の画像データについては、露出のみが異なる２つの画像は、ＥｘｐｏｓｕｒｅＤｅｌｔａとして表された乗算の項（multiplicative term）に関連づけてよい。フレア内の差分などのような、乗算の項ではモデル化できない２つの画像同士の間に残る差分は、ＦｌａｒｅＤｅｌｔａとして与えられる追加のオフセット項によりモデル化することができる。
【００５７】
概略的には、２つの画像同士の間の露出の差、したがってＥｘｐｏｓｕｒｅＤｅｌｔａ項は、カメラ撮像システムから求めることができる。しかし、機械式シャッター及びその他のカメラの構成要素の性能のばらつきによって、画像についての記録される露出と実際の露出との間には顕著な差がでることもある。ライブビュー画像と代表ライブビュー画像について説明するその露出（Ｅｘｐｏｓｕｒｅ）項及びフレア（Ｆｌａｒｅ）項を推定するために、まず、６３０で、ライブビュー画像と代表ライブビュー画像が、プレフィルタリングにより小さい画像表現（例えば１２×８画素）へとパクセル化すなわちサイズ低減される。１つの好適な実施例では、ライブビュー画像及び代表ライブビュー画像は、ＣＦＡデータであり、各画像のパクセル化バージョンは、１つのチャネルからの画像データのみを用いて形成される。例えば、緑色画素データを用いてパクセル化画像を計算してもよい。この代わりに、ベイヤーパターンＣＦＡデータの３つのチャネル全部を用いて、パクセル化画像の輝度値を生成してもよい。ライブビュー画像及び代表ライブビュー画像が、すべての画素位置で赤、緑及び青の値を持つフルカラー画像である場合、パクセル化画像は、１つのチャネルからのデータを用いて、又は、そのフルカラー画像から輝度チャネルを計算して輝度画像データからパクセル化画像を求めることにより、形成してもよい。
【００５８】
ライブビュー画像及び代表ライブビュー画像のパクセル化表現は、それぞれ、ＸP（ｉ，ｊ）及びＹP（ｉ，ｊ）として与えられ、ここで（ｉ，ｊ）は画素座標である。パクセル化画像群は、ベクトル化され、２列の配列へと構成される。その配列の各行はＸPからの１つの画素値とＹPからの対応する画素値とを含んでいる。次に、クリップされたパクセル値を含んだすべての行のデータが削除される。シーンの輝度が上がるにつれて画素値は、これ以上高くなれない値まで上昇し、その後その同じ値にとどまることに留意されたい。この値が、クリップされた値である。画素がクリップされた値である場合、その画素はクリップの対象である。また、６４０で、ノイズが支配的であると考えられるパクセル値を含んだ行がすべて削除される。ノイズが支配的なパクセル値であるかを判定するための閾値は、所与の撮像装置の母集団についてのノイズデータに基づいて、あらかじめ設定しておけばよい。そして、６５０で、残った配列データに対して線形回帰処理が施されることで、その配列の第１列内のデータをその配列の第２列内のデータへ関係づける傾きとオフセットが計算される。傾きは露出のシフト（ＥｘｐｏｓｕｒｅＤｅｌｔａ）を表し、オフセットは全体的なフレアの評価値（ＦｌａｒｅＤｅｌｔａ）を表す。次のステップでは、６６０で、式Ｅｑ．（１）に従って、ライブビュー画像Ｘを、代表ライブビュー画像Ｙに合わせて、露出及びフレアに関して変換する。このステップの結果、尺度調整済みのライブビュー画像が得られる。ある好適な実施例では、もしオフセット項ＦｌａｒｅＤｅｌｔａが正であれば、そのＦｌａｒｅＤｅｌｔａ項は、代表ライブビュー画像及び尺度調整済みのライブビュー画像の両方から減算される。これにより、フレアが低減された代表ライブビュー画像及び尺度調整済みライブビュー画像の計算がなされる。
【００５９】
６７０で、代表ライブビュー画像及び尺度調整済みライブビュー画像は、ダイナミックレンジを増大させた最終的なライブビュー画像を形成するために組み合わされる。この代表ライブビュー画像と尺度調整済みライブビュー画像を組み合わせるステップは、図７及び図８に更に詳しく説明されている。
【００６０】
図７において、７１０で尺度調整済みライブビュー画像内の画素がクリップされており、かつ７３０で代表ライブビュー画像内の、対応する画素がクリップされていれば、高ダイナミックレンジ画像（ＨＤＲ画像：ＨＤＲはHigh Dynamic Rangeの略）内の、対応する画素が７６０でそのクリップされている値に設定される。もし７１０で尺度調整済みライブビュー画像内の画素がクリップされており、かつ７３０で代表ライブビュー画像内の、対応する画素がクリップされていなければ、ＨＤＲ画像内の、対応する画素が、７７０で、代表ライブビュー画像の、その対応する画素の値に設定される。もし７１０で尺度調整済みライブビュー画像内の画素がクリップされておらず、かつ７２０で代表ライブビュー画像内の、対応する画素がクリップされていれば、ＨＤＲ画像内の、対応する画素が、７４０で、尺度調整済みライブビュー画像の、その対応する画素の値に設定される。もし７１０で尺度調整済みライブビュー画像内の画素がクリップされておらず、かつ７２０で代表ライブビュー画像内の、対応する画素がクリップされていなければ、ＨＤＲ画像内の、対応する画素が、７５０で、次に説明する図８に示した方法のうちの１つに基づいて設定される。
【００６１】
画素群を組み合わせる第１の方法（方法１）８１０は、８２０で、それら画素の値を単純平均するというものである。この平均処理は、加重平均であってもよい。この加重平均では、重みは、各画像内に含まれる相対ノイズの関数である。方法２（８３０）は、撮像画像のうちの１つが、より低い解像度及びより低い露出を持つ場合のものである。この場合、２つの画像を平均することで、ディテールが失われる可能性がある。これを防ぐために、８４０では、露出が高い方の画像からの情報を常に選択する。方法３（８５０）は、ハードロジックな境目ができるのを避けて、低解像度、低露出の画像へと「にじむ」ような方法を採用する。８６０で、露出が高い方の画像の画素値がある閾値と比較される。閾値を超える画素群については、８７０で、２つの画像からの画素値を平均する形での組合せが行われる。閾値を超えない画素値については、８８０で、露出が高い方の画像からの画素値を採用するという形での組合せが行われる。
【００６２】
図３ａ及び３ｂに戻ると、いったんライブビュー画像と静止画像とが組み合わされてダイナミックレンジを向上させた画像ができると、この画像は出力空間３６０に描画される。例えば、ダイナミックレンジを向上させた画像は、ギンデル（Gindele）らによる米国特許第７，１，３０，４８５号のように、階調スケーリング処理によりｓＲＧＢ画像へと描画出力される。なお、高ダイナミックレンジ画像を取り扱い表示する能力を元々有する装置でその画像が表示される場合には、ステップ３６０はスキップしてもよい。
【００６３】
図４に関するある好適な実施形態では、ライブビュー画像及び代表ライブビュー画像はＣＦＡ画像であり、ダイナミックレンジが向上した最終的なライブビュー画像もＣＦＡ画像である。この場合、高ダイナミックレンジの画像が生成された後に、標準的なＣＦＡ補間の画像処理ステップが実行される。この代わりに、ライブビュー画像及び静止画像に対して最初にＣＦＡ補間を行い、後に続くすべてのステップはフルカラー画像を用いて実行するようにしてもよい。
【００６４】
図６に例示された、ライブビュー画像と代表ライブビュー画像とを組み合わせる方法は、ステップ５４０のように組合せ対象の２つの画像が補間済みライブビュー画像と静止画像である場合にも適用可能である。この場合、図６に概略的に示したステップの各々は、ライブビュー画像及び代表ライブビュー画像を用いるところを、それぞれ補間済みライブビュー画像及び静止画像を用いるように置き換えて適用される。また、この場合、組み合わせるステップの出力は、静止画像の解像度を持つ高ダイナミックレンジ画像である。
【００６５】
異なる露出を持つ複数のライブビュー画像がある場合には、図６に例示されたライブビュー画像と代表ライブビュー画像とを組み合わせる方法は、複数回適用するようにしてもよい。各ライブビュー画像は、それぞれ当該画像を代表ライブ画像に関係づけるために計算される尺度及びオフセット値を個別に有していてよい。最終的なライブビュー画像は、複数の尺度調整されたライブビュー画像と代表ライブビュー画像との組合せとして形成される。
【００６６】
動き補償の別の方法では、局所的な動き推定すなわち動き検出を用いて、シーン内の対象物の動きの領域を識別する。対象物の動きに対応する画素群が識別され、ライブビュー画像と代表ライブビュー画像とを組み合わせるステップ（図４のステップ４６０）又は補間済みライブビュー画像と静止画像とを組み合わせるステップ（図５のステップ５４０）において、（他とは）異なるように処理される。特に、対象物の動きがあると識別された領域内では、静止画像とライブビュー画像との間でシーンの内容が一致しないので、それら領域において静止画像のダイナミックレンジを改善するためには、ライブビュー画像は使用されない。様々な動き検出の方法が本発明の属する技術分野において周知であり、適切な方法であればどのような方法でも、静止画像及びライブビュー画像内の動き領域を検出するために利用してよい。
【００６７】
当業者ならば、本発明に対して多くの代替的な方法があることが理解されるであろう。ここまで、本発明のいくつかの好適な実施形態を参照しつつ説明してきたが、当業者には、上述の、及び、添付する特許請求の範囲に示される本発明の範囲内で、本発明の範囲から逸脱することなく、様々なバリエーションや変形が可能であることが理解されるであろう。
【符号の説明】
【００６８】
１０ 光
１１ 画像生成ステージ
１２ レンズ
１３ ＮＤフィルタブロック
１４ 絞り
１６ センサブロック
１８ シャッターブロック
２０ 画像センサ
２２ アナログシグナルプロセッサ
２４ Ａ／Ｄコンバータ
２６ タイミング発生器
２８ センサステージ
３０ バス
３２ ＤＳＰメモリ
３６ デジタルシグナルプロセッサ
３８ プロセッシングステージ
４０ 露出コントローラ
５０ システムコントローラ
５２ バス
５４ プログラムメモリ
５６ システムメモリ
５７ ホストインタフェース
６０ メモリカードインタフェース
６２ ソケット
６４ メモリカード
６８ ユーザインタフェース
７０ ビューファインダ表示部
７２ 露出表示部
７４ ユーザ入力部
７６ ステータス表示部
８０ ビデオエンコーダ
８２ 表示コントローラ
８８ 画像表示部
３１０ 撮像ボタンをＳ１へ
３２０ 画像取得
３３０ 撮像ボタンをＳ２へ
３３５ 画像撮像
３４０ 画像撮像
３５０ 画像を組み合わせる
３６０ 画像レンダリング
４１０ 静止画像
４２０ ライブビュー画像
４３０ 解像度低減
４４０ 補間
４５０ 残余を計算
４６０ 画像を組み合わせる
４７０ 補間
４８０ 画像を組み合わせる
５３０ 補間
５４０ 画像を組み合わせる
６１０ 画像処理
６２０ 画像の位置合わせ
６３０ 画像の画素形成
６４０ クリップされたデータ及びノイズの多いデータを削除
６５０ 回帰処理
６６０ ライブビュー尺度調整
６７０ 画像を組み合わせる
７１０ ライブビュー画素がクリップされているか
７２０ 代表ライブビュー画素がクリップされているか
７３０ 代表ライブビュー画素がクリップされているか
７４０ 割り当て
７５０ 割り当て
７６０ 割り当て
７７０ 割り当て
８１０ 方法１
８２０ 割り当て
８３０ 方法２
８４０ 割り当て
８５０ 方法３
８６０ 画素値問合せ
８７０ 割り当て
８８０ 割り当て。
【技術分野】
【０００１】
本発明は、複数の画像からの改善された画像の生成に関する。より詳しくは、複数の画像は、ダイナミックレンジを増大させた高解像度の画像を形成するために利用される。
【背景技術】
【０００２】
電荷結合素子（ＣＣＤ）等の画像検出デバイスは、デジタルカメラ、スキャナ、ビデオカメラ等の製品中に一般に見出される。これら画像検出デバイスは、従来のネガフィルム製品と比べた場合、ダイナミックレンジが非常に限られている。典型的な画像検出デバイスは、約５ストップ（絞り値）のダイナミックレンジを有する。このことは、信号のクリップを避けるために、典型的なシーンのための露出をかなりの正確度をもって決定しなければならないことを意味する。更に、複数の照明（例えばシーン内の、前から照明された部分と後ろから照明された部分）の結果としてシーンが非常に広いダイナミックレンジを持つこともよくある。広ダイナミックレンジのシーンの場合、被写体のために適切な露出を選ぶには、画像の他の部分のデータをクリップすることが必要になる場合もよくある。このように、銀塩媒体と比べて劣っている画像検出デバイスのダイナミックレンジにより、画像検出デバイスによって得られる画像の画質が低いものとなってしまう。
【０００３】
画像検出デバイスにより獲得された画像のダイナミックレンジを増大させる方法によれば、そのような画像をより心地よく表現できるようにバランス調整することが可能となる。また、ダイナミックレンジが増大した画像によれば、共に譲渡された米国特許第５，０１２，３３３号においてリー（Lee）らにより説明されているように、より心地よいコントラストの改善が可能となる。
【０００４】
画像検出デバイスを用いて改善された画像を得るために用いられる一つの方法は、露出ブラケットである。露出ブラケットでは、ある範囲内の異なる複数の露出で同じ解像度の複数の静止画像が撮像され、それら画像のうちの１つが全体での最良の露出として選択される。しかし、この方式は、画像検出デバイスで撮像された個々の画像のダイナミックレンジをも増大させるものではない。ダイナミックレンジを増大させた画像を得るための１つの方法は、異なる露出で同じ解像度の複数の静止画像を撮像し、それら画像を組み合わせることでダイナミックレンジを増大させた１つの出力画像を生成するというものである。この方法は、本発明の譲受人に譲渡された米国特許第５，８２８，７９３号にマン（Mann）により記載され、本発明の譲受人に譲渡された米国特許第６，０４０，８５８号にイケダ（Ikeda）により記載されている。この方法では、しばしば、デジタルカメラ内に別に撮像モード及び処理経路を設ける必要がある。さらに、複数の撮像画像の時間的な近接度合いは、画像センサから画像を読み出せる速度により制限される。撮像画像間の時間的な差を大きくすれば、手の振れに関連するカメラの動きや、シーン内を動く物体によるシーンの動きなど、それら撮像画像間に動きが存在する可能性が高くなる。動きは、複数の画像を１つの出力画像へと合成する困難さを増大させる。
【０００５】
複数の画像間に存在する動きの問題に対処する、ダイナミックレンジを増大させた画像を得るための他の方法は、異なる露出を持つ複数の画像の同時撮像である。続いて、それら複数の画像が、組み合わされて、増大したダイナミックレンジを持つ１つの出力画像となる。この撮像プロセスは、複数の画像生成経路（パス）及び複数のセンサを用いて実現することができる。しかし、この解決策は、複数の画像生成経路及びセンサの形での更なるコスト高を招く。また、この解決策では、それら複数のセンサは、同じ位置にあるのではないので、視野が異なる複数の画像を生成することになり、それら複数の画像の一致製の問題も招いてしまう。この代わりに、ビームスプリッタを用いて入射光を１つの画像撮像デバイス内の複数のセンサへ投影することもできる。この解決策は、ビームスプリッタ及び複数のセンサの形での更なるコスト高を招くとともに、個々の画像センサが利用できる光の量を減少させてしまう。
【０００６】
ダイナミックレンジを増した画像を得るための別の方法は、露出に対して標準的な応答をする画素群と、露出に対して非標準的な応答をする画素群とを有する１つの画像センサを用いるものである。このような解決策は、本発明の譲受人に譲渡された米国特許第６，９０９，４６１号にギャラガー（Gallagher）により説明されている。しかし、低速な、非標準的な応答を持つ画素群は、標準的な応答を持つ画素群よりも信号対ノイズ性能が劣っているので、このようなセンサは、広大なミックレンジの特徴を示さないシーンについての性能が劣る。
【０００７】
ダイナミックレンジを増大させた画像を得るための別の方法は、画像センサ内の各画素を第１の露出の際に読み出して蓄積しながらもその画像センサの露出を続行するようにプログラムされた画像センサを利用することによるものである。このような解決策は、本発明の譲受人に譲渡された米国特許第７，６１６，２５６号にウォード（Ward）らにより説明されている。１つの例では、ＣＣＤからの画素群は、第１の露出時間の後に、遮光された垂直レジスタに読み込まれ、画像センサの露出は第２の露出時間が完了するまで続行される。この解決策は、それら露出同士の間の最短の時間で画像センサから個々の画素を複数回読み出すことを可能にするものの、センサからデータを読み出すための特別なハードウエアを必要とするという欠点を有する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】米国特許第５，０１２，３３３号明細書
【特許文献２】米国特許第５，８２８，７９３号明細書
【特許文献３】米国特許第６，０４０，８５８号明細書
【特許文献４】米国特許第６，９０９，４６１号明細書
【特許文献５】米国特許第７，６１６，２５６号明細書
【特許文献６】米国特許出願公開第２００８−２１９５８１号明細書
【特許文献７】米国特許出願公開第２００９−２３１４４５号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００９】
したがって、この分野では、特別なハードウエアや画像センサの追加を必要とせず、高いダイナミックレンジを必要としないシーンについての性能を犠牲にせず、別の撮像モードを必要とせず、複数の露光同士の間の短い時間で、複数の画像を組み合わせてダイナミックレンジを向上させた画像を形成するための、改善された方法が必要とされる。
【課題を解決するための手段】
【００１０】
本発明の目的は、少なくとも１つのライブビュー（live view）画像と少なくとも１つの静止画像とを用いて、ダイナミックレンジを増大させた画像を生成することである。この目的は、撮像されたデジタル画像のダイナミックレンジを改善するための方法により達成される。この方法は、（ａ）ライブビュー画像ストリームから少なくとも１つの画像を取得するステップであって、取得された各ライブビュー画像はそれぞれある実効露出（effective exposure）と第１の解像度とを有しているステップと、（ｂ）前記取得された各ライブビュー画像のいずれとも異なるある実効露出且つ前記第１の解像度より高いある解像度で、少なくとも１つの静止画像を撮像するステップと、（ｃ）前記少なくとも１つのライブビュー画像と前記少なくとも１つの静止画像とを組み合わせるステップと、を含む。
【発明の効果】
【００１１】
本発明の利点は、特別なハードウエア又は追加の画像センサがなくても、ダイナミックレンジを増大させた画像を生成することができるということである。
【００１２】
本発明の更なる利点は、高いダイナミックレンジを必要としないシーンについての性能を犠牲にすることなく、ダイナミックレンジを増大させた画像を生成することができるということである。
【００１３】
本発明の更なる利点は、別の撮像モードを必要とすることなく、ダイナミックレンジを増大させた画像を生成することができるということである。
【００１４】
本発明の更なる利点は、複数の露出同士の間の最小の時間で、ダイナミックレンジを増大させた画像を生成することができるということである。
【００１５】
本発明についての、この、及び他の、側面、目的、特徴、及び利点については、添付する図面を参照しつつ、好適な実施の形態についての後述する詳細な説明、及び付加した特許請求の範囲を読むことにより、より明確に理解され評価されるであろう。
【図面の簡単な説明】
【００１６】
【図１】本発明の処理方法と共に用いるデジタルスチルカメラのブロック図である。
【図２】（従来技術）画像センサ上のベイヤーパターンを例示する図である。
【図３ａ】本発明の実施形態のフローチャートである。
【図３ｂ】本発明の実施形態のフローチャートである。
【図４】本発明の、ライブビューと静止画像とを組み合わせる方法のフローチャートである。
【図５】本発明の、ライブビューと静止画像とを組み合わせる方法のフローチャートである。
【図６】本発明の、ライブビュー画像と代表ライブビュー画像とを組み合わせる方法のフローチャートである。
【図７】本発明の、拡大・縮小されたライブビュー画像と代表ライブビュー画像とを組み合わせる方法のフローチャートである。
【図８】本発明の、拡大・縮小されたライブビュー画像と代表ライブビュー画像とを組み合わせる方法のフローチャートである。
【発明を実施するための形態】
【００１７】
撮像デバイスと、信号獲得及び補正のため及び露出制御のための回路と、を用いたデジタルカメラはよく知られているので、この明細書の説明は、本発明に関連する方法及び装置の一部をなす要素群、又はそれら方法及び装置とより直接的に協働する要素群を特に指向するものとする。この明細書で特に説明又は記載しない要素群は、この分野で知られているものの中から選択して用いればよい。以下に説明する実施の形態のいくつかの側面は、ソフトウエアとして提供される。以下の記事において本発明に従って説明され、記載されるシステムを考える場合に、この明細書に特に説明、記載又は示唆されないものの本発明の実施に有益なソフトウエアは、従来のものでありこれらの分野での普通の技術の範囲内のものである。
【００１８】
さて図１には、本発明を具現化した、デジタルカメラとして示される画像撮像デバイスのブロック図が示される。ここではデジタルカメラを説明するが、本発明は、他のタイプの画像生成システム、例えば携帯電話機や自動車等のようなカメラでない装置に含まれる画像生成サブシステムなどのようなもの、にも適用可能であることは明らかである。被写シーンからの光１０は画像生成ステージ１１に入力され、このステージ１１でその光がレンズ１２により集束され、固体画像センサ２０上に画像を形成する。画像センサ２０は、各画像要素（画素）に電荷を蓄積することにより、入力光を電気信号へと変換する。好適な実施形態の画像センサ２０は、電荷結合素子（ＣＣＤ）タイプ、又はアクティブピクセルセンサ（ＡＰＳ）タイプである。（ＡＰＳデバイスは、しばしば、ＣＭＯＳセンサとも呼ばれる。それらデバイスを相補型金属酸化膜半導体（ＣＭＯＳ）プロセスにより製造できるからである。）そのセンサは、カラーフィルタの配列を備えており、これらについては後で更に詳しく説明する。
【００１９】
センサ２０に到達する光の量は、開口を変化させる絞り（虹彩）ブロック１４と、光学経路内に挿入された１以上の中性（ＮＤ）フィルタを含んだＮＤフィルタブロック１３とにより規制される。全体の光レベルは、更に、シャッターブロック１８が開いている時間によっても規制される。露出コントローラブロック４０は、明るさセンサブロック１６により測定される、シーンにおいて得られる光の量に反応し、それら３つすべての規制機能を制御する。
【００２０】
画像センサ２０からのアナログ信号は、アナログシグナルプロセッサ２２により処理されるとともに、それらセンサ信号をデジタル化するためにアナログ・デジタル（Ａ／Ｄ）コンバータ２４に入力される。タイミング発生器２６は、様々なクロック信号を生成し、これにより行及び画素の選択と、アナログシグナルプロセッサ２２及びＡ／Ｄコンバータ２４の動作の同期ができるようにする。画像センサステージ２８は、画像センサ２０、アナログシグナルプロセッサ２２、Ａ／Ｄコンバータ２４及びタイミング発生器２６を有する。画像センサステージ２８の各機能要素はそれぞれ個別に製造された集積回路であってもよいし、ＣＭＯＳ画像センサで一般的なようにそれら機能要素群が１つの集積回路として製造されてもよい。Ａ／Ｄコンバータ２４から出力されるデジタル画素値のストリームは、デジタルシグナルプロセッサ（ＤＳＰ）３６に関連づけられたメモリ３２に格納される。
【００２１】
デジタルシグナルプロセッサ３６は、本実施形態の３つのプロセッサ又はコントローラのうちの１つであり、他の２つはシステムコントローラ５０及び露出コントローラ４０である。複数のコントローラ及びプロセッサの間でのこのようなカメラ機能制御の分散は典型的なものであるが、それらコントローラ又はプロセッサは、カメラの機能的な動作及び本発明の応用に影響を与えることなく、様々な方法で組み合わせることができる。これらコントローラ又はプロセッサは、１以上のデジタルシグナルプロセッサデバイス、マイクロコントローラ、プログラマブルロジックデバイス又はその他のデジタル論理回路を含んでいてよい。そのようなコントローラ群又はプロセッサ群の組合せについて説明してきたが、明らかなように、１つのコントローラ又はプロセッサが必要な機能群のすべてを実行するように指定されてもよい。これらすべての変形例は、同じ機能を実行することができ、本発明の範囲内のものである。そして、「プロセッシングステージ」という用語は、例えば図１におけるプロセッシングステージ３８のように、１つの側面に含まれるそのような機能のすべてを包含するものとして用いる。
【００２２】
例示する実施形態では、ＤＳＰ３６は、そのメモリ３２内にあるデジタル画像データを、プログラムメモリ５４内に永久的に格納され且つ画像取得の間の実行のためにメモリ３２にコピーされたソフトウエアプログラムに従って、処理する。ＤＳＰ３６は、図３ａ及び３ｂに示すように画像処理を実行するために必要なソフトウエアを実行する。メモリ３２は、ＳＤＲＡＭのような、どのような種類のランダムアクセスメモリであってもよい。アドレス信号及びデータ信号のための経路を有するバス３０は、ＤＳＰ３６を、これに関連づけられたメモリ３２、Ａ／Ｄコンバータ２４及び他の関連するデバイス群に接続する。
【００２３】
システムコントローラ５０は、プログラムメモリ５４内に格納されたソフトウエアプログラムに基づいて、カメラの全体的な動作を制御する。プログラムメモリ５４は、フラッシュＥＥＰＲＯＭ又はその他の不揮発性メモリ等であってよい。このメモリは、更に、画像センサ較正用データ、ユーザ設定選択値群、及びカメラの電源がオフされた時に保存すべきその他のデータを格納するために用いてもよい。システムコントローラ５０は、画像取得の一連の流れを制御するために、レンズ１２、ＮＤフィルタ１３及び絞り１４及びシャッター１８を前述したように動作させるよう露出コントローラ４０に指示し、画像センサ２０及び関連する要素群を動作させるようタイミング発生器２６に指示し、取得された画像データを処理するようＤＳＰ３６に指示する。画像が取得され処理された後、メモリ３２内に記憶されている最終的な画像ファイルは、インタフェース５７を介してホストコンピュータに転送され、又は着脱式のメモリカード６４やその他の記憶装置に格納され、又はユーザのために画像表示部８８上に表示される。
【００２４】
バス５２は、アドレス信号、データ信号及び制御信号のための経路を有し、システムコントローラ５０を、ＤＳＰ３６、プログラムメモリ５４、システムメモリ５６、ホストインタフェース５７、メモリカードインタフェース６０及びその他の関連する装置群に接続する。ホストインタフェース５７は、画像データの表示、格納、取り扱い、又は印刷のための転送のために、パーソナルコンピュータ（ＰＣ）その他のホストコンピュータに対する高速接続を提供する。このインタフェースは、ＩＥＥＥ１３９４又はＵＳＢ２．０等のシリアルインタフェース、又はその他の適切なデジタルインタフェースである。メモリカード６４は、例えば、コンパクトフラッシュ（登録商標）（ＣＦ）カードであり、ソケット６２に挿入され、メモリカードインタフェース６０経由でシステムコントローラ５０に接続されている。使用される他の種類の記憶装置には、ＰＣカード、マルチメディアカード（ＭＭＣ）、又はセキュアデジタル（ＳＤ）カード等が含まれる（ただしこれらに限定されるものではない）。
【００２５】
処理された画像は、システムメモリ５６内の表示バッファにコピーされ、ビデオエンコーダ８０によって連続的に読み出されることで、ビデオ信号が生成される。この信号は、外部モニタへの表示のためにカメラから直接出力されるか、又は表示コントローラ８２により処理されて画像表示部８８上に提示される。この表示部は、例えばアクティブマトリックスのカラー液晶ディスプレイ（ＬＣＤ）であるが、他の種類のディスプレイも同様に使用可能である。
【００２６】
ユーザインタフェース６８は、ビューファインダ表示部７０、露出表示部７２、ステータス表示部７６、画像表示部８８、ユーザ入力部７４のすべて、又はそれらの任意の組合せを有しており、露出コントローラ４０及びシステムコントローラ５０上で実行されるソフトウエアプログラムの組合せにより制御される。ユーザ入力部７４は、例えば、ボタン、ロッカースイッチ、ロータリーダイアル、又はタッチスクリーン等の何らかの組合せを有している。露出コントローラ４０は、光の測定、露出モード、オートフォーカス及びその他の露出機能を制御する。システムコントローラ５０は、画像表示部８８等の１以上の表示部上に提示されるグラフィカルユーザインタフェース（ＧＵＩ）を管理する。このＧＵＩは、例えば、様々な選択肢の選択のためのメニューや、取得した画像を検査するためのレビューモード等を含んでいる。
【００２７】
露出コントローラ４０は、露出モード、レンズ開口、露出時間（シャッター速度）、及び、露出指数又はＩＳＯ感度（speed rating）を選択するためのユーザ入力を受け付けると共に、その後に続く画像取得のためにそれら入力に従ってレンズ及びシャッターに指示を出す。明るさセンサ１６は、シーンの明るさを測定するために使用され、露出測定機能をユーザに提供し、ＩＳＯ感度、開口及びシャッター速度をマニュアル設定する際に参照できるようにする。この場合において、ユーザが１以上の設定を変更すると、ビューファインダ表示部７０上に提示された光メーターインジケータは、画像がどの程度露出オーバー又は露出アンダーとなっているかをユーザに示す。自動露出モードでは、ユーザが１つの設定を変更すると、露出コントローラ４０は、他の設定を自動的に変えることで、正しい露出を維持する。例えば、あるＩＳＯ感度が指定されている場合に、ユーザがレンズ開口を小さくすると、露出コントローラ４０は、全体的な露出を同じ値に維持するよう、自動的に露出時間を増大させる。
【００２８】
ＩＳＯ感度は、デジタルスチルカメラの重要な属性の１つである。露出時間、レンズ開口、レンズ透過率（lens transmittance）、シーン照明のレベル及びスペクトル分布、及びシーン反射率は、デジタルカメラの露出レベルを決定する。デジタルカメラから不十分な露出で画像が取得された場合、一般的には、電子的又はデジタルのゲインを増大させることにより適切な階調再現が維持されるが、画像は受け入れ不可能な量のノイズを含むことになる。露出が増大するにつれて、そのゲインは低くなり、これにより画像のノイズは通常は受け入れ可能なレベルまで低減される。もし露出が過度に増大されると、画像内の明るい領域についての信号は、画像センサ又はカメラの信号処理の最大信号レベル容量を超えることもあり得る。これは、画像のハイライト部が、クリップされて均一な明るい領域を形成したり、にじんで画像の周囲の領域にとけ込んだりする原因となり得る。ＩＳＯ感度は、このようなガイドとして用いられることを意図したものである。撮影者により簡単に理解できるようにするために、デジタルスチルカメラのためのＩＳＯ感度は、フィルムカメラのためのＩＳＯ感度と直接対応しているべきである。例えば、デジタルスチルカメラのＩＳＯ感度がＩＳＯ２００である場合、適切な露出時間及び開口は、ＩＳＯ２００のフィルム／処理システムについての露出時間及び開口と同じであるべきである。
【００２９】
ＩＳＯ感度は、フィルムのＩＳＯ感度と調和することを意図している。しかし、電子的な画像生成システムとフィルムを用いた画像生成システムとの間には相違があり、その相違は、両者が正確に等価となることの妨げとなっている。デジタルスチルカメラは可変のゲインを有し得ると共に、画像が取得された後にデジタル処理を実行することが可能であり、カメラのある露出範囲にわたって達成されるべき階調再現を可能としている。この柔軟性のために、デジタルスチルカメラはある範囲にわたる感度を持ったものとなり得る。この範囲は、ＩＳＯ感度ラティチュードとして定義されている。混乱を避けるために、ＩＳＯ感度としては単一の値が指定され、ＩＳＯ感度ラティチュードについてはその感度範囲を示す上限及び下限すなわち実効的な感度を含む範囲が指定されており、この点が固有のＩＳＯ感度と異なる。このことを念頭に置くと、固有のＩＳＯ感度は、指定されたカメラ出力信号特性を得るために、デジタルスチルカメラの焦点面にもたらされる露出から計算される数値である。その固有の感度は、通常は、所与のカメラシステムにて通常のシーンについてのピーク画質を得るための露出インデックス値であり、その露出インデックスは画像センサに対する露出に反比例する数値である。
【００３０】
デジタルカメラに関する以上の説明は、当業者にはありふれたものであろう。この実施態様に対して可能な多数のバリエーションが存在しており、コストを低下させるため、特徴を追加するため、カメラの性能を向上させるためにそうしたバリエーションを選択することができる。例えば、オートフォーカスシステムを追加したり、レンズを着脱交換式にしたりすることもできる。理解されるように、本発明はいかなる種類のデジタルカメラ、あるいはより一般的には、デジタル撮像装置に適用可能であり、このようなデジタル撮像装置では代替的なモジュール群が類似の機能を提供する。
【００３１】
図１に示す例を参照して、以下の説明では、本発明に従って画像を撮像するためのこのカメラの動作を詳細に説明する。以下の説明において包括的に画像センサについて言及する場合は、常に、図１の画像センサ２０を表しているものとする。図１に示される画像センサ２０は、一般に、シリコン基板上に製造された二次元の感光画素アレイを含んでおり、その感光画素が、各画素への入射光を測定して電気信号に変換する。画像センサの文脈では、画素（「画像要素」の縮約形）は、離散的な感光領域と、その感光領域に関係した電荷シフト回路または電荷測定回路を意味する。デジタルカラー画像の文脈では、画素という用語は、一般に、画像内での色値を伴った特定の位置を意味する。カラー画素という用語は、比較的狭いスペクトル帯域についてのカラー光応答を有する画素のことをいう。露出継続時間（exposure duration）という用語及び露出時間という用語は、互換のものとして用いる。
【００３２】
センサ２０が露出すると、自由電子が生成され、各画素の電子的構造内に捕獲される。このような自由電子をある時間にわたって捕獲し、その後、捕獲した電子の数の測定、又は自由電子が生成されるレート（速度）の測定、を行うことにより、各画素での光レベルを測定することができる。前者の場合、電荷結合素子（ＣＣＤ）等におけるように、蓄積された電荷が画素アレイからシフト出力され、電荷から電圧を測定する測定回路へ送られるか、又はアクティブピクセルセンサ（ＡＰＳ又はＣＭＯＳセンサ）におけるように、各画素の近くの領域に、電荷から電圧を測定する測定回路に対する要素群を含むことができる。
【００３３】
カラー画像を生成するために、画像センサ内の画素のアレイは、典型的には、それら画素の上に配設された、あるパターンのカラーフィルタ群を有している。図２には、よく用いられている赤（Ｒ）、緑（Ｇ）及び青（Ｂ）のカラーフィルタ群のパターンを示す。このパターンは、米国特許第３，９７１，０６５号に開示されるように、発明者ブライス・ベイヤー（Bryce Bayer）の名にちなんで、ベイヤー（Bayer）カラーフィルタアレイ（ＣＦＡ）としてよく知られている。このパターンは、色画素の二次元アレイを有する画像センサにおいて効果的に利用されている。結果として、各画素は、この場合それぞれ赤、緑及び青の光に対して高い感度を持つ、特定のカラー光応答を有することとなる。他の便利なカラー光応答は、マゼンタ、イエロー、シアンの光に対して高い感度を持つものである。各々のケースでは、特定のカラー光応答は、可視光スペクトルのある部分に対して高い感受性を有すると共に、可視光スペクトルの他の部分に対して低い感受性を有する。
【００３４】
図２のＣＦＡ配列の２次元アレイを有する画像センサを用いて撮像された画像は、画素ごとにただ１つの色値を有する。フルカラー画像を生成するために、各画素にない色を推定すなわち補間する数多くの技術がある。これらＣＦＡ補間技術は当該分野で周知であり、以下の特許文献、すなわち米国特許第５，５０６，６１９号、米国特許第５，６２９，７３４号及び米国特許第５，６５２，６２１号を参照されたい。
【００３５】
図３ａには、本発明の１つの実施形態に従ったフロー図が例示されている。ステップ３１０では、カメラの撮影ボタンをＳ０ポジション（押し下げられていない状態：undepressed position）からＳ１ポジション（部分的に押し下げられた状態）まで押し下げることで取得プロセスが開始され、「撮影ボタン半押し」信号がカメラ内のシステムコントローラ５０に送信され、操作者が画像の構図決めを行う。システムコントローラ５０は、使用可能なＤＳＰメモリ３２を用いてライブビュー画像の取得及び格納３２０を開始するようカメラに指示する。ここで注意すべきは、同時に、カメラ内のシステムコントローラ５０は、典型的にはオートフォーカス及びオート露出をも完了させてしまうことがあり得るということである。ステップ３３０に示すように、操作者は、撮影の瞬間を識別すると、撮影ボタンをＳ１からＳ２（完全に押し下げられた状態）まで押し下げ、これにより「撮影ボタン全押し」信号がカメラ内のシステムコントローラ５０に送られる。この時点で、ステップ３４０にて、システムコントローラ５０は、ライブビュー画像の連続的な取得又は撮像を停止してライブビュー画像よりも空間解像度が高い静止画像の撮像を開始するようカメラに指示する。ステップ３５０では、それらライブビュー画像群と静止画像とが組み合わされ、撮影された元々の静止画像よりもダイナミックレンジの高い、改善された静止画像が形成される。最後に、ステップ３６０では、改善された静止画像が出力空間に描画される。
【００３６】
ステップ３２０で取得されたライブビュー画像群は、カメラのＬＣＤ表示部８８上にしばしば表示されるようなライブビュー画像ストリームからのものであってよい。そのような画像群は、典型的には、１秒間に３０フレーム、空間解像度縦３２０×横２４０（ＱＶＧＡ解像度）又は縦６４０×横４８０（ＶＧＡ解像度）で撮影され表示される。しかし、この空間解像度に限定されるべきではなく、ライブビュー画像はより高い空間解像度で撮影されてもよい。また、ライブビュー画像は、より高い空間解像度で表示されてもよい。ライブビュー画像が撮影されセンサから読み出される周波数は、ライブビュー画像の空間解像度に反比例する。
【００３７】
ステップ３２０で取得された各ライブビュー画像は、最初は、ある実効露出（effective exposure）で撮影されたものである。この明細書で定義するように、実効露出は、所与の画像についての画像センサの露出時間と定義され、画像センサから画像データを読み出すときに用いられるビニング係数（binning factor）により尺度調整されている。例えば、１つのライブビュー画像について、９×のビニング係数とともに１／３０秒の露出を用いている画像センサは、そのライブビュー画像に対して、９／３０すなわち３／１０の実効露出を生成する。この文脈では、ビニングとは、読み出しに先立って隣接する複数の画素からの電荷を足し合わせることであり、ビニング係数は、いくつの画素の電荷を足し合わせて読み出し対象の単一の値にするのかを表す。ビニングは、典型的には、画像センサ上のＣＦＡパターン内の類似した画素群からの電荷を足し合わせることにより行われる。例えば、図２では、例示された４つの赤色画素からの電荷を足し合わせて1つの赤画素を形成すると共に、青色画素及び緑色画素についても同様の電荷の足し合わせを行うことにより、４×のビニング係数が実現される。ここで、ベイヤーパターンでは緑の画素数が青や赤の２倍あり、それら緑の画素群は、２つの個別のグループごとに足し合わされることで、２つの別々のビニングされた画素群を形成する。
【００３８】
ステップ３４０で撮像された静止画像は、ステップ３２０の間に取得されるライブビュー画像よりも高い空間解像度をもつ。多くの場合、静止画像は画像センサ２０の最大空間解像度を有する。静止画像は、ライブビュー画像に対応する実効露出とは異なる実効露出で撮像される。実効露出が異なることで、後続のステップ３５０にて、高いダイナミックレンジを生み出すことができる。
【００３９】
ライブビュー画像の取得は、Ｓ１の外側で行われてもよい。カメラがＳ０ポジションにある間、ステップ３２０のように、ライブビュー画像群を取得するようにしてもよい。このライブビュー画像の取得は、Ｓ０からＳ１へ遷移したときにも、又はＳ１からＳ０へ遷移したときにも、続行してよい。
【００４０】
取得されたライブビュー画像群は、静止画像の実効露出とは異なる実効露出を有する。本発明の１つの実施形態では、取得されたライブビュー画像群の実効露出は、静止画像の実効露出よりも低い。概念的には、このシナリオでは、静止画像は、光に対する露出オーバーにより飽和した領域を含んでいる。実効露出が低いライブビュー画像群は、それら露出オーバーの領域に対応する画素群が同様に飽和していないならば、それら領域についての追加の情報を提供する。
【００４１】
本発明の別の実施形態では、取得されたライブビュー画像群は、静止画像の実効露出よりも高い実効露出を有する。概念的には、このシナリオでは、静止画像は、暗くて信号対ノイズ比が低い領域を含んでいる。これら暗い領域については、画素値に対してデジタルゲイン係数を適用したり、あるいはシャドー部分のディテールを引き出す階調スケーリング処理を適用したりすることで明るくすることができるが、これは信号に伴ってノイズも増大させる。実効露出が高いライブビュー画像群は、それら領域について低ノイズの追加の情報を提供する。暗い領域内の信号対ノイズ比を改善することにより、好ましくないノイズが生じるリスクを低減しつつも、それらの領域を明るくすることができる。
【００４２】
本発明の他の実施形態では、少なくとも１つの取得したライブビュー画像は、静止画像の実効露出よりも低い実効露出を有し、少なくとも１つの取得したライブビュー画像は、静止画像の実効露出よりも高い実効露出を有する。概念的には、このシナリオでは、それらライブビュー画像がもたらす追加の情報を用いて、静止画像の暗い領域と飽和した領域の両方の画質を改善することができる。
【００４３】
複数の画像を用いて、ダイナミックレンジを向上させた画像を生成する際には、それら複数の画像は同じシーンを撮像したものであることが望ましい。これを達成するために、それら複数の画像は、画像同士の間の時間差ができるだけ少なくなるように、撮像するとよい。これにより、カメラの動きや被写体の動き、照明光の変化等のような出来事によりもたらされるシーンの変化の可能性を最小限にすることができる。ライブビュー画像ストリームは、複数のライブビュー画像からなる連続的なストリームを生み出すものであり、その後に続いて静止画像が撮像される。取得されたライブビュー画像群と静止画像との間の時間差を最小化するためには、ライブビュー画像群のうち最も直近に撮像された画像を取得し、格納し、次々により古いライブビュー画像と置き換えるようにすればよい。
【００４４】
異なる実効露出を有する複数のライブビュー画像が取得され、格納される例では、ライブビュー画像ストリームにおける画像の実効露出を何らかの時点で変化させる必要がある。２つの実効露出を有するライブビュー画像群を取得するための１つの方法は、実効露出を交互に切り替えてライブビュー画像群を撮像することである。このような方式によれば、静止画像が撮像されるときには常に、直近の２つのライブビュー画像が、第１の実効露出を持つ１つの画像と、第２の実効露出を持つもう１つの画像とを含んでいることが保証される。このような方式の欠点は、交互に切り替わる実効露出を持つライブビュー画像群をカメラの背面に視覚的な副作用（アーチファクト）なく表示することが困難になり得ることである。しかし、いくつかの例では、カメラの背面でのライブビュー画像群の表示速度を超える速度（レート）でライブビュー画像群を撮像することもできる。例えば、ライブビュー画像を毎秒６０フレームで撮像し、カメラの背面に毎秒３０フレームで表示すれば、カメラの背面に表示するのは１つの実効露出に対応するライブビュー画像のみを表示すればよく、視覚的な副作用の懸念が払拭される。
【００４５】
図３ｂには、異なる実効露出を持つ複数のライブビュー画像を取得するための別の方法が例示される。ステップ３１０では、操作者はカメラの撮影ボタンをＳ０ポジション（押し下げられていない状態）からＳ１ポジション（部分的に押し下げられた状態）まで押し下げることで取得プロセスを開始し、これにより「撮影ボタン半押し」信号がカメラ内のシステムコントローラ５０に送信され、操作者が画像の構図決めを行う。システムコントローラ５０は、使用可能なＤＳＰメモリ３２を用いてライブビュー画像の取得及び格納３２０を開始するようカメラに指示する。取得されるライブビュー画像群は、単一の実効露出に対応したものであってよい。ステップ３３０に示すように、操作者は、撮影の瞬間を識別すると、撮影ボタンをＳ１からＳ２（完全に押し下げられた状態）まで押し下げ、これにより「撮影ボタン全押し」信号がカメラ内のシステムコントローラ５０に送られる。この時点で、ステップ３３５に示すように、システムコントローラ５０は、それ以前とは異なる実効露出で少なくとも１つの追加のライブビュー画像を撮像するようカメラに指示する。１以上の追加のライブビュー画像が撮像された後、システムコントローラ５０は、ライブビュー画像の連続的な取得又は撮像を停止してライブビュー画像よりも空間解像度が高い静止画像の撮像を開始するようカメラに指示する。ステップ３５０では、それらライブビュー画像群と静止画像とが組み合わされ、撮影された元々の静止画像よりもダイナミックレンジの高い、改善された静止画像が形成される。最後に、ステップ３６０では、改善された静止画像が出力空間に描画される。
【００４６】
第２の実効露出を持つライブビュー画像の撮像を、ユーザが撮影ボタンをＳ１からＳ２へと押下した後まで遅らせることにより、Ｓ２より前に撮像されたライブビュー画像群は、ライブビュー画像間で実効露出が変化することから起こる視覚的な副作用の懸念無く、カメラの背面に表示することができる。すべて例において、ライブビュー画像群は、すなわちユーザがカメラモードを切り替えたり、ライブビュー画像のための露出をマニュアル設定したりすることなく、自動的に撮像されるようにしてよい。
【００４７】
図４は、本発明の１つの実施形態に基づく、ライブビュー画像と静止画像を組み合わせるステップ（図３ａ及び図３ｂのステップ３５０）の更なる詳細を示したものである。ライブビュー画像と静止画像とを組み合わせるステップは、静止画像４１０と少なくとも１つのライブビュー画像４２０とから開始される。最初に、４３０で、静止画像の解像度が低減される。個々で注意すべきは、この明細書では、「代表ライブビュー画像」はステップ４３０の結果として生成された画像として定義される。このステップでは、画素同士の結合、間引き、クロッピング（トリミング）などを用いてよい。ある好適な実施例では、静止画像の解像度を低減するステップは、ライブビュー画像を生成するためにカメラにて用いられている方法とよく似た方法を用いる。
【００４８】
４０３２列、３０３４行の１２００万画素のベイヤーパターンのセンサについての解像度の低減の例は以下の通りである。静止画像は、カメラボタンがＳ１ポジションまで押下されている間に生成されるのと同様に、解像度が低減され、１３１２×５０６のライブビュー画像が生成される。４０３２列×３０３４行は、各次元について３の係数でデジタル的に結合される。これは、対応するベイヤーパターンの画素位置の複数の画素値を結合することで実現される。９個の青色画素の値が結合されて１つの結合済み青色画素の値が生成される。同様に、９個の赤色画素の値が結合されて１つの結合済み赤色画素の値が生成される。赤色画素と同じ行にある９個の緑色画素の値が結合されて１つの結合済み緑色画素の値が生成される。そして、青色画素と同じ行にある９個の緑色画素の値が結合されて１つの結合済み緑色画素の値が生成される。結合済み画素の値は、その値を構成する画素の数によりその値を割り算することにより正規化される。この結合ステップでは、いくつかの画素値を捨ててもよい。例えば、結合済みが措置を形成する際に、９個の画素値のうちの６個のみを用いてもよい。その結果得られる画像は、１３４２×１０１０の解像度を有し、ベイヤーパターンを維持している。画像のベイヤーパターンを維持したまま、縦の解像度を更に係数２で低減する（１／２にする）ために、行のペアが１つおきに廃棄される。この結果、１３４２×５０６の解像度を持つベイヤーパターン画像が得られる。最後に、画像の左から１６列が切り取られ、画像の右から１４列が切り取られることにより、ライブビュー画像に対応する１３１２×５０６の解像度の画像が生成される。
【００４９】
続いて、代表ライブビュー画像は、４４０にて、元の静止画像の解像度まで戻るよう、空間的に補間される。この処理は、補間済み静止画像を生み出す。元の画像のいくつかの行又は列が代表ライブビュー画像の形成の間にトリミングされた（切り取られた）場合には、補間ステップでは、そのトリミング済みの静止画像と同じ解像度の補間画像を生成するのみである。好適な実施例では、補間済み静止画像を生成するために、バイキュービック補間が用いられる。しかしながら、当業者ならわかるように、補間済み静止画像を生成するための適切な技術は数多く存在している。
【００５０】
ステップ４５０では、補間済み静止画像が元の静止画像から減算され、残余画像が生成される。もし元の静止画像と補間済み静止画像とのサイズが違っている場合には、残余画像は補間済み静止画像と同じサイズとしてもよく、元の静止画像の余分の行／列は無視してもよい。この代わりに、残余画像を元の静止画像と同じサイズとしてもよく、残余画像の解像度の外側の位置では、残余画像が元の静止画像と同じ値を持つようにしてもよい。残余画像が生成されると、元の画像は記憶装置内にある必要はないことに注意されたい。
【００５１】
ステップ４６０では、ライブビュー画像群がその代表ライブビュー画像と組み合わされることで、ダイナミックレンジを増大させた最終的ライブビュー画像が形成される。このステップがいったん完了すると、４７０で、最終的ライブビュー画像が、静止画像（トリミングされている場合もある）の解像度まで戻すよう、補間される。好適な実施例では、この補間ステップは、ステップ４５０で用いられた補間ステップと同じものである。最後に、４８０で、この補間ステップの結果すなわち補間済みの最終的ライブビュー画像が、残余画像に加算され、これにより、ダイナミックレンジを増大させた、静止画像の解像度の改善された画像が生成される。
【００５２】
図５には、本発明の別の実施形態に基づく、ライブビュー画像と静止画像を組み合わせるステップ（図３ａ及び図３ｂのステップ３５０）の更なる詳細が示される。ライブビュー画像と静止画像とを組み合わせるステップは、静止画像４１０と少なくとも１つのライブビュー画像４２０とから開始される。５３０で、それらライブビュー画像は静止画像と同じ解像度まで補間される。続いて、５４０で、補間済みライブビュー画像が静止画像と組み合わされ、これにより、ダイナミックレンジを増大させた最終的静止画像が形成される。
【００５３】
図６には、本発明のある好適な実施例に基づく、ライブビュー画像と代表ライブビュー画像とを組み合わせて、ダイナミックレンジを増大させた最終的ライブビュー画像を生成するステップ（図４のステップ４６０）の更なる詳細が示される。ライブビュー画像と代表ライブビュー画像とを組み合わせて、ダイナミックレンジを増大させた最終的ライブビュー画像を生成するために、６１０で、ライブビュー画像と代表ライブビュー画像とが、ある露出尺度で表されるよう処理される。すなわち、画素値が相対露光量までたどることができる尺度にて処理される。好適な実施例では、そのメトリックは、線形の相対露光量である。
【００５４】
次に、６２０で、ライブビュー画像と代表ライブビュー画像とが同じシーン内容を表すよう、それら両画像が位置合わせされる。前述のように、複数の画像が同じシーンを撮像したものであるならば、それら複数の撮像の間に生じる全体的な動きや被写体の動きは存在しない。しかし、動きについては、ライブビュー画像と代表ライブビュー画像都を組み合わせる前に、動き補償の追加ステップを挿入してもよい。
【００５５】
動き補償のある方法では、全体動き補償ステップによりライブビュー画像と代表ライブビュー画像とを位置合わせする。全体動きの推定及び補償は本発明の属する分野での周知技術であり、ライブビュー画像と代表ライブビュー画像の位置合わせのためには、適切などのような方法を用いてもよい。１つの好適な実施例では、位置合わせされるそれら画像がＣＦＡ画像である場合、動き推定ステップは、ＣＦＡパターンサイズ、例えばベイヤーパターンの場合は２×２、の整数倍の平行移動に限定される。ベイヤーパターンの場合これにより、動き補償済み画像もベイヤーパターンとなることが補償される。
【００５６】
局所的な動き推定及び補正を、全体的な動き推定の代わりに、又は全体的な動き推定を更に向上させるために、用いてもよい。局所的な動き推定及び補正処理は本発明の属する分野での周知技術であり、ライブビュー画像と代表ライブビュー画像の位置合わせのためには、適切などのような方法を用いてもよい。特に、局所領域（ブロック）の動き評価値を求めるために、ブロックベースの動き推定アルゴリズムを用いてもよい。
次のステップでは、露出及びフレアの評価値を生成する。以下の関係を仮定する。
【数１】
式Ｅｑ．（１）では、（ｘ，ｙ）は画素の座標を表し、Ｘはライブビュー画像を表し、Ｙは代表ライブビュー画像を表す、ＥｘｐｏｓｕｒｅＤｅｌｔａ及びＦｌａｒｅＤｅｌｔａは、解くべき２つの未知の項である。線形の露出尺度の画像データについては、露出のみが異なる２つの画像は、ＥｘｐｏｓｕｒｅＤｅｌｔａとして表された乗算の項（multiplicative term）に関連づけてよい。フレア内の差分などのような、乗算の項ではモデル化できない２つの画像同士の間に残る差分は、ＦｌａｒｅＤｅｌｔａとして与えられる追加のオフセット項によりモデル化することができる。
【００５７】
概略的には、２つの画像同士の間の露出の差、したがってＥｘｐｏｓｕｒｅＤｅｌｔａ項は、カメラ撮像システムから求めることができる。しかし、機械式シャッター及びその他のカメラの構成要素の性能のばらつきによって、画像についての記録される露出と実際の露出との間には顕著な差がでることもある。ライブビュー画像と代表ライブビュー画像について説明するその露出（Ｅｘｐｏｓｕｒｅ）項及びフレア（Ｆｌａｒｅ）項を推定するために、まず、６３０で、ライブビュー画像と代表ライブビュー画像が、プレフィルタリングにより小さい画像表現（例えば１２×８画素）へとパクセル化すなわちサイズ低減される。１つの好適な実施例では、ライブビュー画像及び代表ライブビュー画像は、ＣＦＡデータであり、各画像のパクセル化バージョンは、１つのチャネルからの画像データのみを用いて形成される。例えば、緑色画素データを用いてパクセル化画像を計算してもよい。この代わりに、ベイヤーパターンＣＦＡデータの３つのチャネル全部を用いて、パクセル化画像の輝度値を生成してもよい。ライブビュー画像及び代表ライブビュー画像が、すべての画素位置で赤、緑及び青の値を持つフルカラー画像である場合、パクセル化画像は、１つのチャネルからのデータを用いて、又は、そのフルカラー画像から輝度チャネルを計算して輝度画像データからパクセル化画像を求めることにより、形成してもよい。
【００５８】
ライブビュー画像及び代表ライブビュー画像のパクセル化表現は、それぞれ、ＸP（ｉ，ｊ）及びＹP（ｉ，ｊ）として与えられ、ここで（ｉ，ｊ）は画素座標である。パクセル化画像群は、ベクトル化され、２列の配列へと構成される。その配列の各行はＸPからの１つの画素値とＹPからの対応する画素値とを含んでいる。次に、クリップされたパクセル値を含んだすべての行のデータが削除される。シーンの輝度が上がるにつれて画素値は、これ以上高くなれない値まで上昇し、その後その同じ値にとどまることに留意されたい。この値が、クリップされた値である。画素がクリップされた値である場合、その画素はクリップの対象である。また、６４０で、ノイズが支配的であると考えられるパクセル値を含んだ行がすべて削除される。ノイズが支配的なパクセル値であるかを判定するための閾値は、所与の撮像装置の母集団についてのノイズデータに基づいて、あらかじめ設定しておけばよい。そして、６５０で、残った配列データに対して線形回帰処理が施されることで、その配列の第１列内のデータをその配列の第２列内のデータへ関係づける傾きとオフセットが計算される。傾きは露出のシフト（ＥｘｐｏｓｕｒｅＤｅｌｔａ）を表し、オフセットは全体的なフレアの評価値（ＦｌａｒｅＤｅｌｔａ）を表す。次のステップでは、６６０で、式Ｅｑ．（１）に従って、ライブビュー画像Ｘを、代表ライブビュー画像Ｙに合わせて、露出及びフレアに関して変換する。このステップの結果、尺度調整済みのライブビュー画像が得られる。ある好適な実施例では、もしオフセット項ＦｌａｒｅＤｅｌｔａが正であれば、そのＦｌａｒｅＤｅｌｔａ項は、代表ライブビュー画像及び尺度調整済みのライブビュー画像の両方から減算される。これにより、フレアが低減された代表ライブビュー画像及び尺度調整済みライブビュー画像の計算がなされる。
【００５９】
６７０で、代表ライブビュー画像及び尺度調整済みライブビュー画像は、ダイナミックレンジを増大させた最終的なライブビュー画像を形成するために組み合わされる。この代表ライブビュー画像と尺度調整済みライブビュー画像を組み合わせるステップは、図７及び図８に更に詳しく説明されている。
【００６０】
図７において、７１０で尺度調整済みライブビュー画像内の画素がクリップされており、かつ７３０で代表ライブビュー画像内の、対応する画素がクリップされていれば、高ダイナミックレンジ画像（ＨＤＲ画像：ＨＤＲはHigh Dynamic Rangeの略）内の、対応する画素が７６０でそのクリップされている値に設定される。もし７１０で尺度調整済みライブビュー画像内の画素がクリップされており、かつ７３０で代表ライブビュー画像内の、対応する画素がクリップされていなければ、ＨＤＲ画像内の、対応する画素が、７７０で、代表ライブビュー画像の、その対応する画素の値に設定される。もし７１０で尺度調整済みライブビュー画像内の画素がクリップされておらず、かつ７２０で代表ライブビュー画像内の、対応する画素がクリップされていれば、ＨＤＲ画像内の、対応する画素が、７４０で、尺度調整済みライブビュー画像の、その対応する画素の値に設定される。もし７１０で尺度調整済みライブビュー画像内の画素がクリップされておらず、かつ７２０で代表ライブビュー画像内の、対応する画素がクリップされていなければ、ＨＤＲ画像内の、対応する画素が、７５０で、次に説明する図８に示した方法のうちの１つに基づいて設定される。
【００６１】
画素群を組み合わせる第１の方法（方法１）８１０は、８２０で、それら画素の値を単純平均するというものである。この平均処理は、加重平均であってもよい。この加重平均では、重みは、各画像内に含まれる相対ノイズの関数である。方法２（８３０）は、撮像画像のうちの１つが、より低い解像度及びより低い露出を持つ場合のものである。この場合、２つの画像を平均することで、ディテールが失われる可能性がある。これを防ぐために、８４０では、露出が高い方の画像からの情報を常に選択する。方法３（８５０）は、ハードロジックな境目ができるのを避けて、低解像度、低露出の画像へと「にじむ」ような方法を採用する。８６０で、露出が高い方の画像の画素値がある閾値と比較される。閾値を超える画素群については、８７０で、２つの画像からの画素値を平均する形での組合せが行われる。閾値を超えない画素値については、８８０で、露出が高い方の画像からの画素値を採用するという形での組合せが行われる。
【００６２】
図３ａ及び３ｂに戻ると、いったんライブビュー画像と静止画像とが組み合わされてダイナミックレンジを向上させた画像ができると、この画像は出力空間３６０に描画される。例えば、ダイナミックレンジを向上させた画像は、ギンデル（Gindele）らによる米国特許第７，１，３０，４８５号のように、階調スケーリング処理によりｓＲＧＢ画像へと描画出力される。なお、高ダイナミックレンジ画像を取り扱い表示する能力を元々有する装置でその画像が表示される場合には、ステップ３６０はスキップしてもよい。
【００６３】
図４に関するある好適な実施形態では、ライブビュー画像及び代表ライブビュー画像はＣＦＡ画像であり、ダイナミックレンジが向上した最終的なライブビュー画像もＣＦＡ画像である。この場合、高ダイナミックレンジの画像が生成された後に、標準的なＣＦＡ補間の画像処理ステップが実行される。この代わりに、ライブビュー画像及び静止画像に対して最初にＣＦＡ補間を行い、後に続くすべてのステップはフルカラー画像を用いて実行するようにしてもよい。
【００６４】
図６に例示された、ライブビュー画像と代表ライブビュー画像とを組み合わせる方法は、ステップ５４０のように組合せ対象の２つの画像が補間済みライブビュー画像と静止画像である場合にも適用可能である。この場合、図６に概略的に示したステップの各々は、ライブビュー画像及び代表ライブビュー画像を用いるところを、それぞれ補間済みライブビュー画像及び静止画像を用いるように置き換えて適用される。また、この場合、組み合わせるステップの出力は、静止画像の解像度を持つ高ダイナミックレンジ画像である。
【００６５】
異なる露出を持つ複数のライブビュー画像がある場合には、図６に例示されたライブビュー画像と代表ライブビュー画像とを組み合わせる方法は、複数回適用するようにしてもよい。各ライブビュー画像は、それぞれ当該画像を代表ライブ画像に関係づけるために計算される尺度及びオフセット値を個別に有していてよい。最終的なライブビュー画像は、複数の尺度調整されたライブビュー画像と代表ライブビュー画像との組合せとして形成される。
【００６６】
動き補償の別の方法では、局所的な動き推定すなわち動き検出を用いて、シーン内の対象物の動きの領域を識別する。対象物の動きに対応する画素群が識別され、ライブビュー画像と代表ライブビュー画像とを組み合わせるステップ（図４のステップ４６０）又は補間済みライブビュー画像と静止画像とを組み合わせるステップ（図５のステップ５４０）において、（他とは）異なるように処理される。特に、対象物の動きがあると識別された領域内では、静止画像とライブビュー画像との間でシーンの内容が一致しないので、それら領域において静止画像のダイナミックレンジを改善するためには、ライブビュー画像は使用されない。様々な動き検出の方法が本発明の属する技術分野において周知であり、適切な方法であればどのような方法でも、静止画像及びライブビュー画像内の動き領域を検出するために利用してよい。
【００６７】
当業者ならば、本発明に対して多くの代替的な方法があることが理解されるであろう。ここまで、本発明のいくつかの好適な実施形態を参照しつつ説明してきたが、当業者には、上述の、及び、添付する特許請求の範囲に示される本発明の範囲内で、本発明の範囲から逸脱することなく、様々なバリエーションや変形が可能であることが理解されるであろう。
【符号の説明】
【００６８】
１０ 光
１１ 画像生成ステージ
１２ レンズ
１３ ＮＤフィルタブロック
１４ 絞り
１６ センサブロック
１８ シャッターブロック
２０ 画像センサ
２２ アナログシグナルプロセッサ
２４ Ａ／Ｄコンバータ
２６ タイミング発生器
２８ センサステージ
３０ バス
３２ ＤＳＰメモリ
３６ デジタルシグナルプロセッサ
３８ プロセッシングステージ
４０ 露出コントローラ
５０ システムコントローラ
５２ バス
５４ プログラムメモリ
５６ システムメモリ
５７ ホストインタフェース
６０ メモリカードインタフェース
６２ ソケット
６４ メモリカード
６８ ユーザインタフェース
７０ ビューファインダ表示部
７２ 露出表示部
７４ ユーザ入力部
７６ ステータス表示部
８０ ビデオエンコーダ
８２ 表示コントローラ
８８ 画像表示部
３１０ 撮像ボタンをＳ１へ
３２０ 画像取得
３３０ 撮像ボタンをＳ２へ
３３５ 画像撮像
３４０ 画像撮像
３５０ 画像を組み合わせる
３６０ 画像レンダリング
４１０ 静止画像
４２０ ライブビュー画像
４３０ 解像度低減
４４０ 補間
４５０ 残余を計算
４６０ 画像を組み合わせる
４７０ 補間
４８０ 画像を組み合わせる
５３０ 補間
５４０ 画像を組み合わせる
６１０ 画像処理
６２０ 画像の位置合わせ
６３０ 画像の画素形成
６４０ クリップされたデータ及びノイズの多いデータを削除
６５０ 回帰処理
６６０ ライブビュー尺度調整
６７０ 画像を組み合わせる
７１０ ライブビュー画素がクリップされているか
７２０ 代表ライブビュー画素がクリップされているか
７３０ 代表ライブビュー画素がクリップされているか
７４０ 割り当て
７５０ 割り当て
７６０ 割り当て
７７０ 割り当て
８１０ 方法１
８２０ 割り当て
８３０ 方法２
８４０ 割り当て
８５０ 方法３
８６０ 画素値問合せ
８７０ 割り当て
８８０ 割り当て。
【特許請求の範囲】
【請求項１】
撮像されたデジタル画像のダイナミックレンジを改善するための方法であって、
（ａ）ライブビュー画像ストリームから少なくとも１つの画像を取得するステップであって、取得された各ライブビュー画像はそれぞれある実効露出と第１の解像度とを有しているステップと、
（ｂ）前記取得された各ライブビュー画像のいずれとも異なるある実効露出且つ前記第１の解像度より高いある解像度で、少なくとも１つの静止画像を撮像するステップと、
（ｃ）前記少なくとも１つのライブビュー画像と前記少なくとも１つの静止画像とを組み合わせるステップと、
を含む方法。
【請求項２】
請求項１に記載の方法であって、組み合わせた結果の画像を描画するステップを更に含む方法。
【請求項３】
請求項１に記載の方法であって、前記ステップ（ｃ）では、前記少なくとも１つのライブビュー画像と前記少なくとも１つの静止画像とを組み合わせて、それら個別の取得されたライブビュー画像及び静止画像よりも高いダイナミックレンジの共通の露出空間とする、ことを特徴とする方法。
【請求項４】
請求項１に記載の方法であって、前記ステップ（ａ）では、各画像を自動的に取得する、ことを特徴とする方法。
【請求項５】
請求項１に記載の方法であって、取得される前記各ライブビュー画像はそれぞれ前記静止画像の実効露出よりも低い実効露出を有することを特徴とする方法。
【請求項６】
請求項１に記載の方法であって、取得される前記各ライブビュー画像はそれぞれ前記静止画像の実効露出よりも高い実効露出を有することを特徴とする方法。
【請求項７】
請求項１に記載の方法であって、前記ステップ（ａ）では、第１の実効露出で第１のライブビュー画像を取得し、前記第１の実効露出と異なる第２の実効露出で第２のライブビュー画像を取得する、ことを特徴とする方法。
【請求項８】
請求項７に記載の方法であって、取得される第１のライブビュー画像は前記静止画像の実効露出よりも低い実効露出を有し、取得される第２のライブビュー画像は前記静止画像よりも高い実効露出を有することを特徴とする方法。
【請求項９】
請求項１に記載の方法であって、前記組み合わせるステップは、前記ライブビュー画像の解像度で行われる、ことを特徴とする方法。
【請求項１０】
請求項１に記載の方法であって、前記組み合わせるステップは、前記静止画像の解像度で行われる、ことを特徴とする方法。
【請求項１１】
請求項１に記載の方法であって、前記ステップ（ｃ）では、前記ライブビュー画像及び前記静止画像における動きを検出し、補償する、ことを特徴とする方法。
【請求項１】
撮像されたデジタル画像のダイナミックレンジを改善するための方法であって、
（ａ）ライブビュー画像ストリームから少なくとも１つの画像を取得するステップであって、取得された各ライブビュー画像はそれぞれある実効露出と第１の解像度とを有しているステップと、
（ｂ）前記取得された各ライブビュー画像のいずれとも異なるある実効露出且つ前記第１の解像度より高いある解像度で、少なくとも１つの静止画像を撮像するステップと、
（ｃ）前記少なくとも１つのライブビュー画像と前記少なくとも１つの静止画像とを組み合わせるステップと、
を含む方法。
【請求項２】
請求項１に記載の方法であって、組み合わせた結果の画像を描画するステップを更に含む方法。
【請求項３】
請求項１に記載の方法であって、前記ステップ（ｃ）では、前記少なくとも１つのライブビュー画像と前記少なくとも１つの静止画像とを組み合わせて、それら個別の取得されたライブビュー画像及び静止画像よりも高いダイナミックレンジの共通の露出空間とする、ことを特徴とする方法。
【請求項４】
請求項１に記載の方法であって、前記ステップ（ａ）では、各画像を自動的に取得する、ことを特徴とする方法。
【請求項５】
請求項１に記載の方法であって、取得される前記各ライブビュー画像はそれぞれ前記静止画像の実効露出よりも低い実効露出を有することを特徴とする方法。
【請求項６】
請求項１に記載の方法であって、取得される前記各ライブビュー画像はそれぞれ前記静止画像の実効露出よりも高い実効露出を有することを特徴とする方法。
【請求項７】
請求項１に記載の方法であって、前記ステップ（ａ）では、第１の実効露出で第１のライブビュー画像を取得し、前記第１の実効露出と異なる第２の実効露出で第２のライブビュー画像を取得する、ことを特徴とする方法。
【請求項８】
請求項７に記載の方法であって、取得される第１のライブビュー画像は前記静止画像の実効露出よりも低い実効露出を有し、取得される第２のライブビュー画像は前記静止画像よりも高い実効露出を有することを特徴とする方法。
【請求項９】
請求項１に記載の方法であって、前記組み合わせるステップは、前記ライブビュー画像の解像度で行われる、ことを特徴とする方法。
【請求項１０】
請求項１に記載の方法であって、前記組み合わせるステップは、前記静止画像の解像度で行われる、ことを特徴とする方法。
【請求項１１】
請求項１に記載の方法であって、前記ステップ（ｃ）では、前記ライブビュー画像及び前記静止画像における動きを検出し、補償する、ことを特徴とする方法。
【図１】
【図２】
【図３ａ】
【図３ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３ａ】
【図３ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【公表番号】特表２０１３−５１５４４２（Ｐ２０１３−５１５４４２Ａ）
【公表日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１２−５４６００２（Ｐ２０１２−５４６００２）
【出願日】平成２２年１２月８日（２０１０．１２．８）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５９４１４
【国際公開番号】ＷＯ２０１１／０８７６３０
【国際公開日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【Ｆターム（参考）】
【公表日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２２年１２月８日（２０１０．１２．８）
【国際出願番号】ＰＣＴ／ＵＳ２０１０／０５９４１４
【国際公開番号】ＷＯ２０１１／０８７６３０
【国際公開日】平成２３年７月２１日（２０１１．７．２１）
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【Ｆターム（参考）】
[ Back to top ]