カラーおよび全色性チャネルＣＦＡ画像の修正
複数のカラー・チャネルおよび全色性チャネルを有するCFA画像またはフルカラー画像を修正する方法が、一画像内に、CFAセンサーを用いて、前記カラー画像チャネルの少なくとも一つとは異なる露出時間で全色性チャネルを取り込む段階と；CFA画像から全色性エッジ・マップおよびカラー・エッジ・マップを生成する段階と；全色性エッジ・マップおよびカラー・エッジ・マップを使って動き推定を与える段階と；前記動き推定を使って前記CFA画像またはフルカラー画像の前記チャネルの少なくとも一つを修正する段階とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カラー・チャネルおよび全色性（パンクロマティック、panchromatic）チャネルを有するカラー・フィルタ・アレイ（color filter array）に関し、より詳細には修正されたCFA画像またはフルカラー（full-color）画像を提供することに関する。
【背景技術】
【０００２】
電子撮像システムは、電子イメージセンサー上に像を形成して視覚像の電子表現を生成するためにレンズ系に依存する。そのような電子イメージセンサーの例としては、電荷結合素子（CCD: charge coupled device）イメージセンサーおよびアクティブ・ピクセル・センサー（APS: active pixel sensor）素子が含まれる。（APS素子は相補型金属酸化物半導体（Complementary Metal Oxide Semiconductor）プロセスにおいて製造できるため、しばしばCMOSセンサーと称される。）センサーは個々の画素センサーまたはピクセルの二次元アレイを含む。各ピクセルは典型的には、本願と同じ被譲渡者に譲渡された米国特許第3,971,065号においてベイヤー（Bayer）によって記述されるような赤、緑または青のフィルタを設けられ、それによりフルカラー画像が生成できる。用いられる電子技術、たとえばCCDかCMOSかに関わりなく、ピクセルは、電子撮像システムによる画像の取り込みの際にピクセルに入射する光の量に正比例して光電子が蓄積されるバケツのはたらきをする。
【０００３】
電子撮像システムの前面の光学要素に入射した光のすべてがピクセルに当たるわけではない。光の多くは、電子撮像システムの光学経路を通過するときに失われる。典型的には、光の約５％がレンズ反射およびかすみ（haze）のために失われ、約６０％がカラー・フィルタ・アレイのために失われる。さらに、光の一部はピクセルのうち光に感応しない領域に当たる。正しい露光をするために必要とされる光の量を集めるため、電子撮像センサーは露光時間と呼ばれる時間期間にわたって光を集める。撮像されるべきシーンの明るさ測定に基づいて、効果的な明るさをもつ画像を与える好適な露出時間を決定するために電子撮像システム、典型的には自動露出制御が用いられる。シーンが暗いほど、正しい露出をするために電子撮像システムが光を集める必要がある時間が長くなる。しかしながら、長い露出はぶれた像につながることがあることはよく知られている。このぼけはシーン内で動くオブジェクトの結果であることがある。また、画像取り込み装置が取り込みの際にシーンに対して相対的に動くときにも生じることがある。
【０００４】
ぼけ（blur）を減らす一つの方法は露出時間を短くすることである。この方法は画像取り込みの際に電子イメージセンサーを過少露出にし、それにより暗い画像が生成される。暗い画像を明るくするために画像信号にアナログまたはデジタルの利得が適用されることができるが、当業者はこれはノイズのある画像につながることを認識するであろう。
【０００５】
ぼけを減らすもう一つの方法は、露出時間を短くするとともに、光学経路を通過する光のより多くを保持して電子イメージセンサーのピクセルに向けることである。この方法は、ぼけが減った、受け容れ可能なノイズ・レベルの画像を生成できる。しかしながら、電子撮像システムにおける現在の業界の傾向は、撮像システムをより小型に、より安価にすることである。したがって、より多くの光を集め、通過するより多くの光を保持することのできる大きな開口をもつ高級な光学要素は、現実的ではない。
【０００６】
ぼけを減らすもう一つの方法は、露出時間を短くするとともに写真フラッシュを用いて利用可能な光を補足することである。写真フラッシュは１秒の何分の一かの間持続する強い光束を生成し、露出時間はフラッシュ時間を含むよう設定される。写真フラッシュは強力なので、露出時間は、フラッシュなしの場合よりも著しく短い期間に設定できる。したがって、露光の間のぼけが軽減される。しかしながら、明るい昼間光のもとにある物体でも動きぼけがあることがあり、フラッシュ写真はフラッシュと物体との間の距離が小さい場合に最も有用であり、フラッシュは画像取り込み装置に追加的なコストと重さを加えることになる。
【０００７】
Tullに対する米国特許第6,441,848号は、電子が各ピクセルによって収集されるレートをモニタリングすることによって物体の動きぼけを除去する電子イメージセンサーをもつデジタル・カメラを記述している。光がピクセルに当たるレートが変わる場合、そのピクセルが見ている画像の明るさが変わると想定される。センサー・アレイに組み込まれた回路が画像の明るさが変わっていると検出するとき、集められた電荷の量が保持され、明るさの変化が検出された時刻が記録される。ピクセル値を線形補外することによって、露出が止められた各ピクセル値が適正な値に調整され、それによりピクセル値は画像全体のダイナミックレンジに対応するようになる。この手法の欠点は、露出が始まったときにすでに動いていたオブジェクトの補外されたピクセル値はきわめて不確かであるということである。センサーによって見られる画像の明るさは決して一定値をもつことはなく、したがって、補外されたピクセル値の不確かさは動きアーチファクトをもつ画像につながる。もう一つの欠点は、特化したハードウェアを使うので、現在市販のカメラにおいて使われている従来の電子イメージセンサーとともに使うことができないということである。
【０００８】
ぼけを減らすもう一つの方法は、短い露出時間の画像および長い露出時間の画像という二つの画像を取り込むことである。短い露出時間は、ノイズはあるが比較的動きぼけがない画像を生成するよう選択される。長い露出時間は、ほとんどノイズがないがかなりの動きぼけがあることがある画像を生成するよう選択される。画像処理アルゴリズムを使って二つの取り込み画像を一つの最終出力画像に組み合わせる。そのような手法は米国特許第7,239,342号、米国特許出願公開第2006/0017837号、米国特許出願公開第2006/0187308号および米国特許出願公開第2007/0223831号に記載されている。これらの手法の欠点は、複数の画像を記憶するための追加的なバッファ・メモリが必要とされること、複数の画像を処理するために複雑さが増すことおよび物体の動きのぼけを分解することの難しさを含む。
【０００９】
ぼけを減らすもう一つの方法は、露出時間を短くするとともに、カラー・フィルタ・アレイを通過するより多くの光を保持することである。シリコン・ベースのイメージセンサーについては、ピクセル・コンポーネント自身が可視光に広く感応性であり、フィルタのないピクセルは単色画像を取り込むために好適となることが許される。カラー画像を取り込むためには、ピクセルのパターンの上に、フィルタの二次元パターンが典型的には製作される。個々のピクセルを可視光スペクトルの一部のみに感応するようにするために異なるフィルタ材料が使われる。そのようなフィルタのパターンの例は、米国特許第3,971,065号に記載される、よく知られたベイヤー・カラー・フィルタ・アレイ・パターンである。ベイヤー・カラー・フィルタ・アレイは典型的な条件下ではフルカラー画像を得るための利点があるが、この解決策も欠点があることが見出されている。フィルタは狭帯域のスペクトル応答を提供することが必要とされているのであるが、入射光をフィルタリングすると、どんなフィルタリングであっても各ピクセルに到達する光の量を減らす傾向があり、そのため各ピクセルの有効光感度を低下させ、ピクセル応答速度を低下させる。
【００１０】
変化する光の条件下での画像取り込みを改善するためおよび撮像センサーの全体的な感度を改善するための解決策としては、おなじみのベイヤー・パターンへの修正が開示されている。たとえば、本願と同じ被譲渡者に譲渡されたHamiltonらによる米国特許出願公開第2007/0046807号およびComptonらによる米国特許出願公開第2007/0024931号はいずれも、何らかの仕方で空間的にインターリーブされた仕方で、カラー・フィルタを全色性のフィルタ要素と組み合わせる代替的なセンサー構成を記述している。この型の解決策では、イメージセンサーの一部分が色を検出し、他の全色性の部分は改善されたダイナミックレンジおよび感度のために可視帯域にまたがる光を検出するよう最適化される。これらの解決策はこのように、一部のピクセルはカラー・フィルタをもち（狭帯域のスペクトル応答を与える）、一部のピクセルはカラー・フィルタをもたない（フィルタリングされない「全色性（panchromatic）」ピクセルまたは広帯域のスペクトル応答を与えるようフィルタリングされるピクセル）、ピクセルのパターンを与える。しかしながら、この解決策は、低光量条件下で動きぼけのない高品質の画像の取り込みを許容するのに十分ではない。
【００１１】
天体写真術およびリモート・センシングの分野において知られている、ぼけを減らして低光量シナリオにおいて画像を取り込むもう一つの方法は、高い空間解像度をもつ全色性画像と低い空間解像度をもつ多スペクトル画像との二つの画像を取り込むことである。それらの画像が融合されて高い空間解像度をもつ多スペクトル画像が生成される。そのような手法は、米国特許第7,340,099号、米国特許第6,937,774号および米国特許出願公開第2008/0129752号において記述されている。これらの手法の欠点は、複数の画像を記憶するために追加的なバッファ・メモリを必要とすることおよび物体の動きぼけを分解する難しさである。
【００１２】
このように、従来の電子イメージセンサーを使うことによって、写真フラッシュを使わずに、画像ノイズを増すことなく、著しい追加的なコストまたは複雑さまたはメモリ要求もなしで、カラー・ピクセルおよび全色性ピクセルをもち、低減された動きぶれをもつ、改善されたカラー・フィルタ・アレイ画像またはフルカラー画像を生成する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、カラー・ピクセルおよび全色性ピクセルをもつ修正されたCFA画像またはフルカラー画像を提供することである。
【課題を解決するための手段】
【００１４】
この目的は、複数のカラー・チャネルおよび全色性チャネルを有するCFA画像またはフルカラー画像を修正する方法であって：
（ａ）一画像内に、前記CFAセンサーを用いて、前記カラー画像チャネルの少なくとも一つとは異なる露出時間で前記全色性チャネルを取り込み；
（ｂ）前記CFA画像から全色性エッジ・マップおよびカラー・エッジ・マップを生成し；
（ｃ）前記全色性エッジ・マップおよび前記カラー・エッジ・マップを使って動き推定を与え；
（ｄ）前記動き推定を使って前記CFA画像またはフルカラー画像の前記チャネルの少なくとも一つを修正する、
ことを含む方法によって達成される。
【発明の効果】
【００１５】
本発明の利点は、ぼけが軽減された改善されたカラー・フィルタ・アレイ画像またはフルカラー画像が、単一の画像を適正に露出するための写真フラッシュまたは長い露出時間を使う必要なしに、画像処理ソフトウェアへの基本的な変更によって生成できるということである。
【００１６】
本発明のさらなる利点は、画像取り込み装置に由来するぼけが軽減されたカラー・フィルタ・アレイ画像またはフルカラー画像が、横方向に可動なレンズ素子をもつ高価な特殊レンズの必要なしに、生成できるということである。
【００１７】
本発明のさらなる利点は、ぼけが軽減されたカラー・フィルタ・アレイ画像またはフルカラー画像が、複数の画像を記憶するためにバッファ・メモリ要求を増すことなく、生成できるということである。
【図面の簡単な説明】
【００１８】
【図１】本発明を実装するためのデジタル・カメラを含むコンピュータ・システムの斜視図である。
【図２】本発明のある好ましい実施形態のブロック図である。
【図３】図２のブロック２０２をより詳細に示すブロック図である。
【図４】図３のブロック２１８で使われるピクセルの領域を示す図である。
【図５】図２のブロック２０６をより詳細に示すブロック図である。
【図６】図５のブロック２３８におけるピクセルの領域を示す図である。
【図７】図５のブロック２３８におけるピクセルの領域を示す図である。
【図８】図５のブロック２５０におけるピクセルの領域を示す図である。
【図９】図２のブロック２１０をより詳細に示すブロック図である。
【図１０】図２のブロック２０４をより詳細に示す図である。
【図１１】図２のブロック２００におけるピクセルの領域を示す図である。
【図１２】図２のブロック２１４において生成されるピクセルの領域を示す図である。
【図１３】本発明の代替的な実施形態のブロック図である。
【発明を実施するための形態】
【００１９】
以下の記述では、本発明のある好ましい実施形態について、通常はソフトウェア・プログラムとして実装されるであろう用語において記述する。当業者は、そのようなソフトウェアの等価物がハードウェアで構築されることもできることをすぐ認識するであろう。画像操作アルゴリズムおよびシステムはよく知られているので、本記述は特に、本発明に従って該システムおよび方法の一部をなす、またはそれらとより直接協働するアルゴリズムおよびシステムに向けられる。本稿で具体的に図示や記載がされていない、関係する画像信号を生成するまたは他の仕方で処理するためのそのようなアルゴリズムおよびシステムならびにハードウェアまたはソフトウェアの他の側面は、当技術分野において知られているようなシステム、アルゴリズム、コンポーネントおよび要素から選択することができる。以下の素材において本発明に従って記述されるシステムが与えられれば、本発明を実装するために有用な、本稿において具体的に図示、示唆または記載されていないソフトウェアは通常のものであり、当技術分野の通常の技量の範囲内である。
【００２０】
さらに、本稿での用法では、コンピュータ・プログラムはコンピュータ可読記憶媒体に記憶されることができる。コンピュータ可読記憶媒体はたとえば、（ハードドライブまたはフロッピーディスクのような）磁気ディスクまたは磁気テープのような磁気記憶媒体；光学式ディスク、光学式テープまたは機械可読バーコードのような光学式記憶媒体；ランダム・アクセス・メモリ（RAM）または読み出し専用メモリ（ROM）のような半導体電子記憶デバイス；またはコンピュータ・プログラムを記憶するために用いられる他の任意の物理デバイスまたは媒体を含むことができる。
【００２１】
本発明を記述する前に、本発明が好ましくは、パーソナル・コンピュータのような任意のよく知られたコンピュータ・システム上で利用されることを注意しておくことが理解を容易にする。結果として、コンピュータ・システムは本稿では詳細に論じることはしない。また、画像は、（たとえばデジタル・カメラによって）コンピュータ・システムに直接入力されるまたは（たとえば銀塩フィルムのようなオリジナルをスキャンすることによって）コンピュータ・システムに入力される前にデジタル化されるということを注意しておくことが有益である。
【００２２】
図１を参照するに、本発明を実装するためのコンピュータ・システム１１０が示されている。コンピュータ・システム１１０はある好ましい実施形態を図示する目的のために示されているが、本発明は図示したコンピュータ・システム１１０に限定されるものではなく、家庭コンピュータ、キオスク、小売または卸売のDPE〔現像・焼き付け・引き延ばし〕業またはデジタル画像の処理のための他の任意のシステムといった、任意の電子処理システム上で使用されることができる。コンピュータ・システム１１０は、ソフトウェア・プログラムを受け取り、処理するためおよび他の処理機能を実行するためのマイクロプロセッサ・ベースのユニット１１２を含む。ディスプレイ１１４は、ソフトウェアに関連付けられたユーザー関係情報をたとえばグラフィカル・ユーザー・インターフェースによって表示するためのマイクロプロセッサ・ベースのユニット１１２に電気的に接続される。ソフトウェアへの情報をユーザーが入力することを許すために、キーボード１１６もマイクロプロセッサ・ベースのユニット１１２に接続される。入力のためのキーボード１１６を使うことへの代替として、当技術分野でよく知られているように、ディスプレイ１１４上でセレクタ１２０を動かすためおよびセレクタ１２０が載っているアイテムを選択するためにマウス１１８が使われることができる。
【００２３】
マイクロプロセッサ・ベースのユニット１１２にソフトウェア・プログラムおよび他の情報を入力する方法を提供するため、ソフトウェア・プログラムを典型的に含むコンパクト・ディスク読み出し専用メモリ（CD-ROM）１２４がマイクロプロセッサ・ベースのユニット１１２に挿入される。さらに、フロッピーディスク１２６もソフトウェア・プログラムを含むことができ、該ソフトウェア・プログラムを入力するためにマイクロプロセッサ・ベースのユニット１１２に挿入される。コンパクト・ディスク読み出し専用メモリ（CD-ROM）１２４またはフロッピーディスク１２６は代替的には、マイクロプロセッサ・ベースのユニット１１２に接続されている外部に位置するディスク・ドライブ・ユニット１２２に挿入されることができる。さらには、マイクロプロセッサ・ベースのユニット１１２は、当技術分野でよく知られているように、内部的にソフトウェア・プログラムを記憶するためにプログラムされることができる。マイクロプロセッサ・ベースのユニット１１２は、ローカル・エリア・ネットワークまたはインターネットのような外部ネットワークへの、電話線のようなネットワーク接続１２７をも有することができる。コンピュータ・システム１１０からの出力のハードコピーを印刷するために、プリンタ１２８もマイクロプロセッサ・ベースのユニット１１２に接続されることができる。
【００２４】
画像は、PCカード１３０において電子的に具現されたデジタル化された画像を含む、かつての呼称でいうところのPCMCIAカード（パーソナル・コンピュータ・メモリ・カード国際協会（Personal Computer Memory Card International Association）の仕様に基づく）のようなパーソナル・コンピュータ・カード（PCカード）１３０を介してディスプレイ１１４上に表示されることもできる。PCカード１３０は最終的には、画像のディスプレイ１１４上での視覚的表示を許すためにマイクロプロセッサ・ベースのユニット１１２に挿入される。あるいはまた、PCカード１３０は、マイクロプロセッサ・ベースのユニット１１２に接続された外部に位置するPCカード・リーダー１３２に挿入されることができる。画像は、コンパクト・ディスク１２４、フロッピーディスク１２６またはネットワーク接続１２７を介して入力されることもできる。PCカード１３０、フロッピーディスク１２６またはコンパクト・ディスク１２４に記憶されたまたはネットワーク接続１２７を通じて入力されるいかなる画像も、デジタル・カメラ（図示せず）またはスキャナ（図示せず）のような多様なソースから得られたものであることができる。画像は、マイクロプロセッサ・ベースのユニット１１２に接続されたカメラ・ドッキング・ポート１３６を介してデジタル・カメラ１３４から直接、あるいはマイクロプロセッサ・ベースのユニット１１２へのケーブル接続１３８もしくはマイクロプロセッサ・ベースのユニット１１２への無線接続１４０を介してデジタル・カメラ１３４から直接、入力されることもできる。
【００２５】
本発明によれば、アルゴリズムは上述した記憶デバイスのいずれに記憶されることもでき、疎にデータがある画像を補間するために画像に適用されることができる。
【００２６】
図２は、ある好ましい実施形態の高レベルの図である。デジタル・カメラ１３４が、もとのデジタルの赤・緑・青・全色（RGBP: red-green-blue-panchromatic）カラー・フィルタ・アレイ（CFA）画像２００（デジタルRGBP CFA画像またはRGBP CFA画像とも称する）を生成する役割を担う。以下の記述における赤・緑・青・全色の代わりにシアン・マゼンタ・イエロー・全色のような他のカラー・チャネル組み合わせを使うこともできることをここで注意しておく。キーとなる点は、全色性チャネルを含めることである。この画像は、画像中の各ピクセルが赤、緑、青または全色性データの一ピクセル値のみを含むので、疎にサンプリングされた（sparsely sampled）画像と考えられる。全色性エッジ・マップ生成ブロック２０２は、RGBP CFA画像２００から全色性エッジ・マップ２０４を生成する。カラー・エッジ・マップ生成ブロック２０６はカラー・エッジ・マップ２０８を生成する。動き推定ブロック２１０は、全色性エッジ・マップ２０４およびカラー・エッジ・マップ２０８から動き推定２１２を生成する。動き補償ブロック２１４は、RGBP CFA画像２００および動き推定２１２から修正されたRGBP CFA画像２１６を生成する。
【００２７】
図３は、前記好ましい実施形態のブロック２０２（図２）のより詳細な図である。全色性ピクセルぼかしブロック２１８はRGBP CFA画像２００（図２）を受け、ぼかされた全色性CFA画像２２０を生成する。エッジ勾配生成ブロック２２２はぼかされた全色性CFA画像２２０を受け、エッジ勾配マップ２２４を生成する。エッジ大きさ生成ブロック２２６はエッジ勾配マップ２２４からエッジ勾配および大きさマップ２２８を生成する。エッジ細線化（edge thinning）ブロック２３０は、エッジ勾配および大きさマップ２２８から細線化されたエッジ・マップ２３２を生成する。最後に、エッジ大きさ閾値ブロック２３２は、細線化されたエッジ・マップ２３２から全色性エッジ・マップ２０４（図２）を生成する。
【００２８】
図３では、全色性ピクセルぼかしブロック２１８は、当業者に知られている任意の適切な仕方で実行されることができる。図４を参照するに、ピクセルP13についてぼかされた（blurred）全色性値P13Bを生成する一つの方法は、図示される近傍内の全色性ピクセル値の重み付けされた平均を次のようにして計算することである。
【００２９】
P13B＝(P1＋2P3＋P5＋2P11＋4P13＋2P15＋P21＋2P23＋P25)/16
当業者には、他の重みの集合を使うこともできることは明白であろう。
【００３０】
図３に戻ると、エッジ勾配生成ブロック２２２は当業者に知られている任意の適切な仕方で実行できる。図４を参照するに、ピクセルB14について全色性エッジ（edge）勾配E14HおよびE14Vを生成する一つの方法は、隣接するぼかされた全色性ピクセルから差の絶対値を次のようにして計算することである。
【００３１】
E14H＝|P13B−P15B|
E14V＝|P9B−P19B|
この方法は、図４のすべての非全色性ピクセルについて機能する。全色性ピクセルの場合、ピクセルB13について全色性エッジ勾配E13HおよびE13Vを生成する一つの方法は、隣接するぼかされた全色性ピクセルから差の絶対値の平均を次のようにして計算することである。
【００３２】
E13H＝(|P7B−P9B|＋|P17B−P19B|)/2
E13V＝(|P7B−P17B|＋|P9B−P19B|)/2
この方法は、図４のすべての全色性ピクセルについて機能する。エッジ勾配を生成する他の方法を使うこともできることは当業者には明白であろう。
【００３３】
図３に戻ると、エッジ大きさ生成ブロック２２６は当業者に知られている任意の適切な方法で実行できる。図４を参照するに、全色性エッジ大きさ（magnitude）E13Mを生成する一つの方法は、全色性エッジ勾配E13HおよびE13Vを合計することである。これは、図４のすべてのピクセルについて機能する。エッジ大きさを生成する他の方法を使うこともできることは当業者には明白であろう。
【００３４】
図３に戻ると、エッジ細線化ブロック２３０は当業者に知られている任意の適切な方法で実行できる。図４を参照するに、細線化された（thinned）全色性エッジ大きさE13Tを生成する一つの方法は、非最大抑制として当業者に一般に知られる方法によるものである。次の擬似コードが、E13Tを生成するためのこの方法の一例を示す。
【００３５】
if E13H≧E13V
if(E12M≧E13M)または(E14M≧E13M)
E13T＝0
else
E13T＝E13M
end
else
if(E8M≧E13M)または(E18M≧E13M)
E13T＝0
else
E13T＝E13M
end
end
ことばで表すと、E13Mがその水平方向または垂直方向に隣接する値よりも大きくない場合には、E13Tは0に設定される。それ以外の場合には、E13TはE13Mに設定される。水平処理か垂直処理かの方向の決定は、全色性エッジ勾配E13HおよびE13Vの相対的なサイズに基づいてなされる。
【００３６】
図３に戻ると、エッジ大きさ閾値処理ブロック２３４は当業者に知られている任意の適切な方法で実行できる。図４を参照するに、全色性エッジ・マップ値E13を生成する一つの方法は、硬閾値処理として当業者に一般に知られる方法によるものである。簡単にいうと、E13Tが供給される閾値より大きければ、E13はE13Tに設定され、そうでなければE13は0に設定される。供給される閾値は、結果として得られる全色性エッジ・マップ２０４（図２）に、偽のおよび弱いエッジ特徴やノイズがないようにし、強い、視覚的によく定義されたエッジ特徴だけを残す値である。
【００３７】
図５は、前記好ましい実施形態のブロック２０６（図２）のより詳細な図である。RGB CFA画像生成ブロック２３６はRGBP CFA画像２００（図２）を受け、RGB CFA画像２３８を生成する。RGBピクセルぼかしブロック２４０はRGB CFA画像２３８を受け、ぼかされたRGB CFA画像２４２を生成する。エッジ勾配生成ブロック２４４はぼかされたRGB CFA画像２４２を受け、エッジ勾配マップ２４６を生成する。エッジ大きさ生成ブロック２４８はエッジ勾配マップ２４６からエッジ勾配および大きさマップ２５０を生成する。エッジ・マップ・サイズ変更ブロック２５２は、エッジ勾配および大きさマップ２５０から大きさ変更されたエッジ勾配および大きさマップ２５４を生成する。エッジ細線化ブロック２５６は、サイズ変更されたエッジ勾配および大きさマップ２５４から細線化されたエッジ・マップ２５８を生成する。最後に、エッジ大きさ閾値ブロック２６０は細線化されたエッジ・マップ２５８からカラー・エッジ・マップ２０８（図２）を生成する。
【００３８】
図５において、RGB CFA画像生成ブロック２３６は当業者に知られている任意の適切な方法で実行できる。図４はRGBP CFA画像２００（図２）の一部の例である。図６は、RGB CFA画像２３８の一部の例である。RGB CFA画像値R26（図６）を生成する一つの方法は、図４に示されるRGBP CFA画像２００（図２）の部分から、赤のピクセル値の平均を次のようにして計算することである。
【００３９】
R26＝(R2＋R6)/2
同様の仕方で、図６に示される他のRGB CFA画像値が計算できる。
【００４０】
G27＝(G4＋G8)/2
G28＝(G12＋G16)/2
B29＝(B14＋B18)/2
後述するエッジ・マップ・サイズ変更ブロック２５２の議論のために述べておくと、RGB CFA画像２３８は、RGBP CFA画像２００（図２）の四分の一の数のピクセルをもつ。
【００４１】
図５に戻ると、RGBピクセルぼかしブロック２４０は当業者に知られている任意の適切な方法で実行できる。図７を参照するに、ピクセルG42についてのぼかされた緑の値G42Bを生成するための一つの方法は、図示した近傍内の緑のピクセル値の重み付けされた平均を次のようにして計算することである。
【００４２】
G42B＝(G30＋2G32＋G34＋2G40＋4G42＋2G44＋G50＋2G52＋G54)/16
同様のプロセスが赤および青のピクセルにも適用される。当業者には、他の重みの集合を使うこともできることは明白であろう。
【００４３】
図５に戻ると、エッジ勾配生成ブロック２４４は当業者に知られている任意の適切な仕方で実行できる。図７を参照するに、ピクセルB43についてカラー・エッジ勾配F43HおよびF43Vを生成する一つの方法は、隣接するぼかされた緑ピクセルから差の絶対値を次のようにして計算することである。
【００４４】
F43H＝|G42B−G44B|
F43V＝|G38B−G48B|
この方法は、図７のすべての赤および青のピクセルについて機能する。緑のピクセルの場合、ピクセルG42についてカラー・エッジ勾配F42HおよびF42Vを生成する一つの方法は、隣接するぼかされた緑のピクセルから差の絶対値の平均を次のようにして計算することである。
【００４５】
F42H＝(|G36B−G38B|＋|G46B−G48B|)/2
F42V＝(|G36B−G46B|＋|G38B−G48B|)/2
この方法は、図７のすべての緑のピクセルについて機能する。エッジ勾配を生成する他の方法を使うこともできることは当業者には明白であろう。
【００４６】
図５に戻ると、エッジ大きさ生成ブロック２４８は当業者に知られている任意の適切な方法で実行できる。図７を参照するに、カラー・エッジ大きさF42Mを生成する一つの方法は、カラー・エッジ勾配F42HおよびF42Vを合計することである。これは、図７のすべてのピクセルについて機能する。エッジ大きさを生成する他の方法を使うこともできることは当業者には明白であろう。
【００４７】
図５に戻ると、エッジ・マップ・サイズ変更ブロック２５２は当業者に知られている任意の適切な方法で実行できる。RGB CFA画像生成ブロック２３６を記述する際に上述したように、RGB CFA画像２３８はRGBP CFA画像２００（図２）の四分の一の数のピクセルをもつので、エッジ勾配および大きさマップ２５０もRGBP CFA画像２００（図２）の四分の一の数のピクセルをもつ。エッジ勾配および大きさマップ２５０はカラー・エッジ勾配FHおよびFVならびにカラー・エッジ大きさFMを含む。RGBP CFA画像２００（図２）と同数のピクセルをもつサイズ変更されたエッジ勾配および大きさマップ２５４を生成するために、エッジ勾配および大きさマップ２５０の寸法（行数および列数）を倍にする必要がある。これは、双線形補間または双三次補間のような任意の標準的な補間技法を使って達成できる。本好ましい実施形態の方法は、双線形補間を使う。図８を参照するに、カラー・エッジ大きさ値F1M、F3M、F7MおよびF9Mはエッジ勾配および大きさマップ２５０からのものである。エッジ・マップ・サイズ変更ブロック２５２は次のような仕方で他のカラー・エッジ大きさ値を計算する：
F2M＝(F1M＋F3M)/2
F4M＝(F1M＋F7M)/2
F5M＝(F1M＋F3M＋F7M＋F9M)/4
F6M＝(F3M＋F9M)/2
F8M＝(F7M＋F9M)/2
図５に戻ると、エッジ細線化ブロック２５６は当業者に知られている任意の適切な方法で実行できる。図８を参照するに、細線化されたカラー・エッジ大きさF5Tを生成する一つの方法は、非最大抑制として当業者に一般に知られる方法によるものである。次の擬似コードが、F5Tを生成するためのこの方法の一例を示す。
【００４８】
if F5H≧F5V
if(F4M≧F5M)または(F6M≧F5M)
F5T＝0
else
F5T＝F5M
end
else
if(F2M≧F5M)または(F8M≧F5M)
F5T＝0
else
F5T＝F5M
end
end
ことばで表すと、F5Mがその水平方向または垂直方向に隣接する値よりも大きくない場合には、F5Tは0に設定される。それ以外の場合には、F5TはF5Mに設定される。水平処理か垂直処理かの方向の決定は、全色性エッジ勾配F5HおよびF5Vの相対的なサイズに基づいてなされる。
【００４９】
図５に戻ると、エッジ大きさ閾値処理ブロック２６０は当業者に知られている任意の適切な方法で実行できる。図８を参照するに、カラー・エッジ・マップ値F5を生成する一つの方法は、硬閾値処理として当業者に一般に知られる方法によるものである。簡単にいうと、F5Tが供給される閾値より大きければ、F5はF5Tに設定され、そうでなければF5は0に設定される。供給される閾値は、結果として得られるカラー・エッジ・マップ２０８（図２）に、偽のおよび弱いエッジ特徴やノイズがないようにし、強い、視覚的によく定義されたエッジ特徴だけを残す値である。
【００５０】
図９は、前記好ましい実施形態のブロック２１０（図２）のより詳細な図である。相互相関生成ブロック２６２は全色性エッジ・マップ２０４（図２）およびカラー・エッジ・マップ２０８（図２）を受け、相互相関マップ２６４を生成する。最大探索ブロック２６６は相互相関マップ２６４を受け、ブロック動き推定２６８を生成する。動き推定補間ブロック２７０はブロック動き推定２６８を受け、動き推定２１２（図２）を生成する。
【００５１】
図９において、相互相関生成ブロック２６２は当業者に知られている任意の適切な方法で実行できる。図１０を参照するに、好ましい実施形態において、全色性エッジ・マップ２０４（図２）は領域ブロック２７２の8×8の配列にセグメント分割される。各領域ブロック２７２はもとのエッジ・マップの６４分の１を含む。各領域ブロック２７２についての相互相関マップ２６４（図９）を生成するためには、領域ブロック２７２は何らかの行数および列数だけ位置をシフトさせられ、結果として得られるシフトされた領域ブロック２７４が（シフトされていない）カラー・エッジ・マップ２０８（図２）に比較される。シフトされた領域ブロック２７４における各ピクセル位置について（すなわち、(i,j)∈B）、次の合計が計算される。
【００５２】
【数１】
この式において、Eはシフトされた領域ブロック２７４からの値であり、Fはカラー・エッジ・マップ２０８（図２）からの値である。シフトの量はis行およびjs列である。Cは相互相関マップ２６４（図９）の値である。min()関数は二つの値のうちの小さいほうを返す。好ましい実施形態では、isおよびjsの値は−7から7までの範囲であり、相互相関マップ２６４（図９）は15×15の値の配列を含む結果となる。
【００５３】
図９に戻ると、最大探索ブロック２６６が、相互相関マップ２６４内で最大の値の位置(is,js)を求めて相互相関マップ２６４を探索する。この特定の(is,js)値は、所与の領域ブロック２７２（図１０）についてのブロック動き推定になる。そのようなブロック動き推定すべてがまとまって、全色性エッジ・マップ２０４（図２）についてのブロック動き推定２６８になる。結果として、ブロック動き推定２６８は8×8の値の配列を含む。
【００５４】
図９に戻ると、動き推定補間ブロック２７０は、ブロック動き推定２６８を補間することによって全色性エッジ・マップ２０４（図２）内の各ピクセル位置について動き推定２１２（図２）を生成する。この補間は、当業者に知られている任意の適切な方法で実行できる。好ましい実施形態では、双線形補間が使われる。ブロック動き推定２６８のそれぞれは、各領域ブロック２７２（図１０）の中心に対応すると考えられる。これらの値は、その後、全色性エッジ・マップ２０４（図２）内の他のすべての位置に補間される。
【００５５】
図２に戻ると、動き補償ブロック２１４はRGBP CFA画像２００内の全色性値を、動き推定２１２によって示される補間された全色性値によって置き換える。図１１は典型的な状況を示している。ピクセルP56についての動き推定２１２（図２）は、P56における値がP′における値で置き換えられることを示している。P′を中心とするピクセルはないので、値は補間されねばならない。これは、好ましい実施形態では、双線形補間を通じてなされる。図１１における四つの全色性ピクセルの座標位置は、次のようなものであると想定される：P56(−1,0)、P55(0,1)、P57(1,0)およびP58(0,−1)。所望される位置の座標はP′(x,y)である。次のアフィン変換により、図１１における構成は図１２における構成に変換される。
【００５６】
【数２】
図１２における全色性ピクセルの座標は今やP56(0,0)、P55(0,1)、P57(1,1)およびP58(1,0)である。所望される位置の座標はP′(x″,y″)である。図１２は今や、標準的な双線形補間問題であり、答えは次の表式によって与えられる。
【００５７】
P′＝(P58−P56)x″＋(P55−P56)y″＋(P57＋P56−P55−P58)x″y″＋P56
図１３は、代替的な実施形態の高レベルの図である。デジタル・カメラ１３４（図１）はRGBP CFA画像２００を生成する。全色性エッジ・マップ生成ブロック２０２は、RGBP CFA画像２００から全色性エッジ・マップ２０４を生成する。カラー・エッジ・マップ生成ブロック２０６はカラー・エッジ・マップ２０８を生成する。動き推定ブロック２１０は、全色性エッジ・マップ２０４およびカラー・エッジ・マップ２０８から動き推定２１２を生成する。CFA補間ブロック２７６はRGBP CFA画像２００からフルカラー画像２７８を生成する。動き補償ブロック２８０は、フルカラー画像２７８および動き推定２１２から修正されたフルカラー画像２８２を生成する。
【００５８】
図１３において、ブロック２００ないし２１２は前記好ましい実施形態のところで論じてある。CFA補間ブロック２７６は、米国特許出願公開第2007/0248753号において記載されるように実行できる。結果として得られるフルカラー（full-color）画像２７８はフル解像度の赤、緑、青および全色性チャネルを含む。動き補償ブロック２８０は、フルカラー画像２７８のフル解像度の全色性チャネルに対して作用する。フルカラー画像２７８内の全色性ピクセル値はすでに図１２のように配列されているので、先に論じた動き補償ブロック２１４（図２）の方法を、単に最初のアフィン変換ステップを省略することによって使うことができる。修正されたフルカラー画像２８２はフル解像度の赤、緑、青および動き補償された全色性チャネルを含む。
【００５９】
本発明の好ましい諸実施形態において開示された動き補償アルゴリズムは、多様なユーザー・コンテキストおよび環境において用いることができる。例示的なコンテキストおよび環境は、限定することなく、卸売のデジタルDPE（これはフィルム入力、デジタル処理、プリント出力のような例示的なプロセス工程または段階を含む）、小売デジタルDPE（フィルム入力、デジタル処理、プリント出力）、家庭プリント（家庭でスキャンされたフィルムまたはデジタル画像、デジタル処理、プリント出力）、デスクトップ・ソフトウェア（よりよくするために――または単に変更するために――デジタル・プリントにアルゴリズムを適用するソフトウェア）、デジタル実現（digital fulfillment）（メディアからまたはウェブを通じたデジタル画像入力、デジタル処理、メディア上のデジタル形式、ウェブを通じたデジタル形式またはハードコピー・プリントにプリントされた画像出力）、キオスク（デジタルまたはスキャンされた入力、デジタル処理、デジタルまたはスキャンされた出力）、モバイル機器（たとえば処理ユニット、表示ユニットまたは処理命令を与えるユニットとして使用できるPDAまたは携帯電話）およびワールド・ワイド・ウェブを介して提供されるサービスを含む。
【００６０】
それぞれの場合において、動き補償アルゴリズムはスタンドアローンでもよいし、あるいはより大きなシステム・ソリューションのコンポーネントであってもよい。さらに、アルゴリズムとのインターフェース、たとえばスキャンまたは入力、デジタル処理、ユーザーへの表示（必要なら）、ユーザー要求または処理命令の入力（必要なら）、出力は、それぞれ、同じまたは異なる装置上および物理的な位置上であることができ、装置間および位置間の通信は公共または専用ネットワークを介してであることができ、あるいはメディア・ベースの通信であることができる。本発明の以上の開示と整合する場合は、アルゴリズム自身が全自動であることができ、ユーザー入力をもつ（完全にまたは部分的に手動である）ことができ、ユーザーまたはオペレーターに結果を検討して受け容れ／拒否させることができ、あるいはメタデータ（ユーザーによって供給される、（たとえばカメラ内の）測定装置によって供給される、あるいはアルゴリズムによって決定されることのできるメタデータ）によって支援されることができる。さらに、アルゴリズムは、多様な作業フロー・ユーザー・インターフェース・方式とインターフェースをもつことができる。
【００６１】
本発明に基づいて本稿に開示される動き補償アルゴリズムは、さまざまなデータ検出および削減技法（たとえば顔検出、目検出、肌色検出、フラッシュ検出）を利用する内部コンポーネントをもつことができる。
【符号の説明】
【００６２】
１１０ コンピュータ・システム
１１２ マイクロプロセッサ・ベースのユニット
１１４ ディスプレイ
１１６ キーボード
１１８ マウス
１２０ ディスプレイ上のセレクタ
１２２ ディスク・ドライブ・ユニット
１２４ コンパクト・ディスク読み出し専用メモリ（CD-ROM）
１２６ フロッピーディスク
１２７ ネットワーク接続
１２８ プリンタ
１３０ パーソナル・コンピュータ・カード（PCカード）
１３２ PCカード・リーダー
１３４ デジタル・カメラ
１３６ カメラ・ドッキング・ポート
１３８ ケーブル接続
１４０ 無線接続
２００ RGBP CFA画像
２０２ 全色性エッジ・マップ生成
２０４ 全色性エッジ・マップ
２０６ カラー・エッジ・マップ生成
２０８ カラー・エッジ・マップ
２１０ 動き推定
２１２ 動き推定結果
２１４ 動き補償
２１６ 修正されたRGBP CFA画像
２１８ 全色性ピクセルぼかし
２２０ ぼかされた全色性CFA画像
２２２ エッジ勾配生成
２２４ エッジ勾配マップ
２２６ エッジ大きさ生成
２２８ エッジ勾配および大きさマップ
２３０ エッジ細線化
２３２ 細線化されたエッジ・マップ
２３４ エッジ大きさ閾値処理
２３６ RGB CFA画像生成
２３８ RGB CFA画像
２４０ RGBピクセルぼかし
２４２ ぼかされたRGB CFA画像
２４４ エッジ勾配生成
２４６ エッジ勾配マップ
２４８ エッジ大きさ生成
２５０ エッジ勾配および大きさマップ
２５２ エッジ・マップ・サイズ変更
２５４ サイズ変更されたエッジ勾配および大きさマップ
２５６ エッジ細線化
２５８ 細線化されたエッジ・マップ
２６０ エッジ大きさ閾値処理
２６２ 相互相関生成
２６４ 相互相関マップ
２６６ 最大探索
２６８ ブロック動き推定
２７０ 動き推定補間
２７２ 領域ブロック
２７４ シフトされた領域ブロック
２７６ CFA補間
２７８ フルカラー画像
２８０ 動き補償
２８２ 修正されたフルカラー画像
【技術分野】
【０００１】
本発明は、カラー・チャネルおよび全色性（パンクロマティック、panchromatic）チャネルを有するカラー・フィルタ・アレイ（color filter array）に関し、より詳細には修正されたCFA画像またはフルカラー（full-color）画像を提供することに関する。
【背景技術】
【０００２】
電子撮像システムは、電子イメージセンサー上に像を形成して視覚像の電子表現を生成するためにレンズ系に依存する。そのような電子イメージセンサーの例としては、電荷結合素子（CCD: charge coupled device）イメージセンサーおよびアクティブ・ピクセル・センサー（APS: active pixel sensor）素子が含まれる。（APS素子は相補型金属酸化物半導体（Complementary Metal Oxide Semiconductor）プロセスにおいて製造できるため、しばしばCMOSセンサーと称される。）センサーは個々の画素センサーまたはピクセルの二次元アレイを含む。各ピクセルは典型的には、本願と同じ被譲渡者に譲渡された米国特許第3,971,065号においてベイヤー（Bayer）によって記述されるような赤、緑または青のフィルタを設けられ、それによりフルカラー画像が生成できる。用いられる電子技術、たとえばCCDかCMOSかに関わりなく、ピクセルは、電子撮像システムによる画像の取り込みの際にピクセルに入射する光の量に正比例して光電子が蓄積されるバケツのはたらきをする。
【０００３】
電子撮像システムの前面の光学要素に入射した光のすべてがピクセルに当たるわけではない。光の多くは、電子撮像システムの光学経路を通過するときに失われる。典型的には、光の約５％がレンズ反射およびかすみ（haze）のために失われ、約６０％がカラー・フィルタ・アレイのために失われる。さらに、光の一部はピクセルのうち光に感応しない領域に当たる。正しい露光をするために必要とされる光の量を集めるため、電子撮像センサーは露光時間と呼ばれる時間期間にわたって光を集める。撮像されるべきシーンの明るさ測定に基づいて、効果的な明るさをもつ画像を与える好適な露出時間を決定するために電子撮像システム、典型的には自動露出制御が用いられる。シーンが暗いほど、正しい露出をするために電子撮像システムが光を集める必要がある時間が長くなる。しかしながら、長い露出はぶれた像につながることがあることはよく知られている。このぼけはシーン内で動くオブジェクトの結果であることがある。また、画像取り込み装置が取り込みの際にシーンに対して相対的に動くときにも生じることがある。
【０００４】
ぼけ（blur）を減らす一つの方法は露出時間を短くすることである。この方法は画像取り込みの際に電子イメージセンサーを過少露出にし、それにより暗い画像が生成される。暗い画像を明るくするために画像信号にアナログまたはデジタルの利得が適用されることができるが、当業者はこれはノイズのある画像につながることを認識するであろう。
【０００５】
ぼけを減らすもう一つの方法は、露出時間を短くするとともに、光学経路を通過する光のより多くを保持して電子イメージセンサーのピクセルに向けることである。この方法は、ぼけが減った、受け容れ可能なノイズ・レベルの画像を生成できる。しかしながら、電子撮像システムにおける現在の業界の傾向は、撮像システムをより小型に、より安価にすることである。したがって、より多くの光を集め、通過するより多くの光を保持することのできる大きな開口をもつ高級な光学要素は、現実的ではない。
【０００６】
ぼけを減らすもう一つの方法は、露出時間を短くするとともに写真フラッシュを用いて利用可能な光を補足することである。写真フラッシュは１秒の何分の一かの間持続する強い光束を生成し、露出時間はフラッシュ時間を含むよう設定される。写真フラッシュは強力なので、露出時間は、フラッシュなしの場合よりも著しく短い期間に設定できる。したがって、露光の間のぼけが軽減される。しかしながら、明るい昼間光のもとにある物体でも動きぼけがあることがあり、フラッシュ写真はフラッシュと物体との間の距離が小さい場合に最も有用であり、フラッシュは画像取り込み装置に追加的なコストと重さを加えることになる。
【０００７】
Tullに対する米国特許第6,441,848号は、電子が各ピクセルによって収集されるレートをモニタリングすることによって物体の動きぼけを除去する電子イメージセンサーをもつデジタル・カメラを記述している。光がピクセルに当たるレートが変わる場合、そのピクセルが見ている画像の明るさが変わると想定される。センサー・アレイに組み込まれた回路が画像の明るさが変わっていると検出するとき、集められた電荷の量が保持され、明るさの変化が検出された時刻が記録される。ピクセル値を線形補外することによって、露出が止められた各ピクセル値が適正な値に調整され、それによりピクセル値は画像全体のダイナミックレンジに対応するようになる。この手法の欠点は、露出が始まったときにすでに動いていたオブジェクトの補外されたピクセル値はきわめて不確かであるということである。センサーによって見られる画像の明るさは決して一定値をもつことはなく、したがって、補外されたピクセル値の不確かさは動きアーチファクトをもつ画像につながる。もう一つの欠点は、特化したハードウェアを使うので、現在市販のカメラにおいて使われている従来の電子イメージセンサーとともに使うことができないということである。
【０００８】
ぼけを減らすもう一つの方法は、短い露出時間の画像および長い露出時間の画像という二つの画像を取り込むことである。短い露出時間は、ノイズはあるが比較的動きぼけがない画像を生成するよう選択される。長い露出時間は、ほとんどノイズがないがかなりの動きぼけがあることがある画像を生成するよう選択される。画像処理アルゴリズムを使って二つの取り込み画像を一つの最終出力画像に組み合わせる。そのような手法は米国特許第7,239,342号、米国特許出願公開第2006/0017837号、米国特許出願公開第2006/0187308号および米国特許出願公開第2007/0223831号に記載されている。これらの手法の欠点は、複数の画像を記憶するための追加的なバッファ・メモリが必要とされること、複数の画像を処理するために複雑さが増すことおよび物体の動きのぼけを分解することの難しさを含む。
【０００９】
ぼけを減らすもう一つの方法は、露出時間を短くするとともに、カラー・フィルタ・アレイを通過するより多くの光を保持することである。シリコン・ベースのイメージセンサーについては、ピクセル・コンポーネント自身が可視光に広く感応性であり、フィルタのないピクセルは単色画像を取り込むために好適となることが許される。カラー画像を取り込むためには、ピクセルのパターンの上に、フィルタの二次元パターンが典型的には製作される。個々のピクセルを可視光スペクトルの一部のみに感応するようにするために異なるフィルタ材料が使われる。そのようなフィルタのパターンの例は、米国特許第3,971,065号に記載される、よく知られたベイヤー・カラー・フィルタ・アレイ・パターンである。ベイヤー・カラー・フィルタ・アレイは典型的な条件下ではフルカラー画像を得るための利点があるが、この解決策も欠点があることが見出されている。フィルタは狭帯域のスペクトル応答を提供することが必要とされているのであるが、入射光をフィルタリングすると、どんなフィルタリングであっても各ピクセルに到達する光の量を減らす傾向があり、そのため各ピクセルの有効光感度を低下させ、ピクセル応答速度を低下させる。
【００１０】
変化する光の条件下での画像取り込みを改善するためおよび撮像センサーの全体的な感度を改善するための解決策としては、おなじみのベイヤー・パターンへの修正が開示されている。たとえば、本願と同じ被譲渡者に譲渡されたHamiltonらによる米国特許出願公開第2007/0046807号およびComptonらによる米国特許出願公開第2007/0024931号はいずれも、何らかの仕方で空間的にインターリーブされた仕方で、カラー・フィルタを全色性のフィルタ要素と組み合わせる代替的なセンサー構成を記述している。この型の解決策では、イメージセンサーの一部分が色を検出し、他の全色性の部分は改善されたダイナミックレンジおよび感度のために可視帯域にまたがる光を検出するよう最適化される。これらの解決策はこのように、一部のピクセルはカラー・フィルタをもち（狭帯域のスペクトル応答を与える）、一部のピクセルはカラー・フィルタをもたない（フィルタリングされない「全色性（panchromatic）」ピクセルまたは広帯域のスペクトル応答を与えるようフィルタリングされるピクセル）、ピクセルのパターンを与える。しかしながら、この解決策は、低光量条件下で動きぼけのない高品質の画像の取り込みを許容するのに十分ではない。
【００１１】
天体写真術およびリモート・センシングの分野において知られている、ぼけを減らして低光量シナリオにおいて画像を取り込むもう一つの方法は、高い空間解像度をもつ全色性画像と低い空間解像度をもつ多スペクトル画像との二つの画像を取り込むことである。それらの画像が融合されて高い空間解像度をもつ多スペクトル画像が生成される。そのような手法は、米国特許第7,340,099号、米国特許第6,937,774号および米国特許出願公開第2008/0129752号において記述されている。これらの手法の欠点は、複数の画像を記憶するために追加的なバッファ・メモリを必要とすることおよび物体の動きぼけを分解する難しさである。
【００１２】
このように、従来の電子イメージセンサーを使うことによって、写真フラッシュを使わずに、画像ノイズを増すことなく、著しい追加的なコストまたは複雑さまたはメモリ要求もなしで、カラー・ピクセルおよび全色性ピクセルをもち、低減された動きぶれをもつ、改善されたカラー・フィルタ・アレイ画像またはフルカラー画像を生成する必要がある。
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明の目的は、カラー・ピクセルおよび全色性ピクセルをもつ修正されたCFA画像またはフルカラー画像を提供することである。
【課題を解決するための手段】
【００１４】
この目的は、複数のカラー・チャネルおよび全色性チャネルを有するCFA画像またはフルカラー画像を修正する方法であって：
（ａ）一画像内に、前記CFAセンサーを用いて、前記カラー画像チャネルの少なくとも一つとは異なる露出時間で前記全色性チャネルを取り込み；
（ｂ）前記CFA画像から全色性エッジ・マップおよびカラー・エッジ・マップを生成し；
（ｃ）前記全色性エッジ・マップおよび前記カラー・エッジ・マップを使って動き推定を与え；
（ｄ）前記動き推定を使って前記CFA画像またはフルカラー画像の前記チャネルの少なくとも一つを修正する、
ことを含む方法によって達成される。
【発明の効果】
【００１５】
本発明の利点は、ぼけが軽減された改善されたカラー・フィルタ・アレイ画像またはフルカラー画像が、単一の画像を適正に露出するための写真フラッシュまたは長い露出時間を使う必要なしに、画像処理ソフトウェアへの基本的な変更によって生成できるということである。
【００１６】
本発明のさらなる利点は、画像取り込み装置に由来するぼけが軽減されたカラー・フィルタ・アレイ画像またはフルカラー画像が、横方向に可動なレンズ素子をもつ高価な特殊レンズの必要なしに、生成できるということである。
【００１７】
本発明のさらなる利点は、ぼけが軽減されたカラー・フィルタ・アレイ画像またはフルカラー画像が、複数の画像を記憶するためにバッファ・メモリ要求を増すことなく、生成できるということである。
【図面の簡単な説明】
【００１８】
【図１】本発明を実装するためのデジタル・カメラを含むコンピュータ・システムの斜視図である。
【図２】本発明のある好ましい実施形態のブロック図である。
【図３】図２のブロック２０２をより詳細に示すブロック図である。
【図４】図３のブロック２１８で使われるピクセルの領域を示す図である。
【図５】図２のブロック２０６をより詳細に示すブロック図である。
【図６】図５のブロック２３８におけるピクセルの領域を示す図である。
【図７】図５のブロック２３８におけるピクセルの領域を示す図である。
【図８】図５のブロック２５０におけるピクセルの領域を示す図である。
【図９】図２のブロック２１０をより詳細に示すブロック図である。
【図１０】図２のブロック２０４をより詳細に示す図である。
【図１１】図２のブロック２００におけるピクセルの領域を示す図である。
【図１２】図２のブロック２１４において生成されるピクセルの領域を示す図である。
【図１３】本発明の代替的な実施形態のブロック図である。
【発明を実施するための形態】
【００１９】
以下の記述では、本発明のある好ましい実施形態について、通常はソフトウェア・プログラムとして実装されるであろう用語において記述する。当業者は、そのようなソフトウェアの等価物がハードウェアで構築されることもできることをすぐ認識するであろう。画像操作アルゴリズムおよびシステムはよく知られているので、本記述は特に、本発明に従って該システムおよび方法の一部をなす、またはそれらとより直接協働するアルゴリズムおよびシステムに向けられる。本稿で具体的に図示や記載がされていない、関係する画像信号を生成するまたは他の仕方で処理するためのそのようなアルゴリズムおよびシステムならびにハードウェアまたはソフトウェアの他の側面は、当技術分野において知られているようなシステム、アルゴリズム、コンポーネントおよび要素から選択することができる。以下の素材において本発明に従って記述されるシステムが与えられれば、本発明を実装するために有用な、本稿において具体的に図示、示唆または記載されていないソフトウェアは通常のものであり、当技術分野の通常の技量の範囲内である。
【００２０】
さらに、本稿での用法では、コンピュータ・プログラムはコンピュータ可読記憶媒体に記憶されることができる。コンピュータ可読記憶媒体はたとえば、（ハードドライブまたはフロッピーディスクのような）磁気ディスクまたは磁気テープのような磁気記憶媒体；光学式ディスク、光学式テープまたは機械可読バーコードのような光学式記憶媒体；ランダム・アクセス・メモリ（RAM）または読み出し専用メモリ（ROM）のような半導体電子記憶デバイス；またはコンピュータ・プログラムを記憶するために用いられる他の任意の物理デバイスまたは媒体を含むことができる。
【００２１】
本発明を記述する前に、本発明が好ましくは、パーソナル・コンピュータのような任意のよく知られたコンピュータ・システム上で利用されることを注意しておくことが理解を容易にする。結果として、コンピュータ・システムは本稿では詳細に論じることはしない。また、画像は、（たとえばデジタル・カメラによって）コンピュータ・システムに直接入力されるまたは（たとえば銀塩フィルムのようなオリジナルをスキャンすることによって）コンピュータ・システムに入力される前にデジタル化されるということを注意しておくことが有益である。
【００２２】
図１を参照するに、本発明を実装するためのコンピュータ・システム１１０が示されている。コンピュータ・システム１１０はある好ましい実施形態を図示する目的のために示されているが、本発明は図示したコンピュータ・システム１１０に限定されるものではなく、家庭コンピュータ、キオスク、小売または卸売のDPE〔現像・焼き付け・引き延ばし〕業またはデジタル画像の処理のための他の任意のシステムといった、任意の電子処理システム上で使用されることができる。コンピュータ・システム１１０は、ソフトウェア・プログラムを受け取り、処理するためおよび他の処理機能を実行するためのマイクロプロセッサ・ベースのユニット１１２を含む。ディスプレイ１１４は、ソフトウェアに関連付けられたユーザー関係情報をたとえばグラフィカル・ユーザー・インターフェースによって表示するためのマイクロプロセッサ・ベースのユニット１１２に電気的に接続される。ソフトウェアへの情報をユーザーが入力することを許すために、キーボード１１６もマイクロプロセッサ・ベースのユニット１１２に接続される。入力のためのキーボード１１６を使うことへの代替として、当技術分野でよく知られているように、ディスプレイ１１４上でセレクタ１２０を動かすためおよびセレクタ１２０が載っているアイテムを選択するためにマウス１１８が使われることができる。
【００２３】
マイクロプロセッサ・ベースのユニット１１２にソフトウェア・プログラムおよび他の情報を入力する方法を提供するため、ソフトウェア・プログラムを典型的に含むコンパクト・ディスク読み出し専用メモリ（CD-ROM）１２４がマイクロプロセッサ・ベースのユニット１１２に挿入される。さらに、フロッピーディスク１２６もソフトウェア・プログラムを含むことができ、該ソフトウェア・プログラムを入力するためにマイクロプロセッサ・ベースのユニット１１２に挿入される。コンパクト・ディスク読み出し専用メモリ（CD-ROM）１２４またはフロッピーディスク１２６は代替的には、マイクロプロセッサ・ベースのユニット１１２に接続されている外部に位置するディスク・ドライブ・ユニット１２２に挿入されることができる。さらには、マイクロプロセッサ・ベースのユニット１１２は、当技術分野でよく知られているように、内部的にソフトウェア・プログラムを記憶するためにプログラムされることができる。マイクロプロセッサ・ベースのユニット１１２は、ローカル・エリア・ネットワークまたはインターネットのような外部ネットワークへの、電話線のようなネットワーク接続１２７をも有することができる。コンピュータ・システム１１０からの出力のハードコピーを印刷するために、プリンタ１２８もマイクロプロセッサ・ベースのユニット１１２に接続されることができる。
【００２４】
画像は、PCカード１３０において電子的に具現されたデジタル化された画像を含む、かつての呼称でいうところのPCMCIAカード（パーソナル・コンピュータ・メモリ・カード国際協会（Personal Computer Memory Card International Association）の仕様に基づく）のようなパーソナル・コンピュータ・カード（PCカード）１３０を介してディスプレイ１１４上に表示されることもできる。PCカード１３０は最終的には、画像のディスプレイ１１４上での視覚的表示を許すためにマイクロプロセッサ・ベースのユニット１１２に挿入される。あるいはまた、PCカード１３０は、マイクロプロセッサ・ベースのユニット１１２に接続された外部に位置するPCカード・リーダー１３２に挿入されることができる。画像は、コンパクト・ディスク１２４、フロッピーディスク１２６またはネットワーク接続１２７を介して入力されることもできる。PCカード１３０、フロッピーディスク１２６またはコンパクト・ディスク１２４に記憶されたまたはネットワーク接続１２７を通じて入力されるいかなる画像も、デジタル・カメラ（図示せず）またはスキャナ（図示せず）のような多様なソースから得られたものであることができる。画像は、マイクロプロセッサ・ベースのユニット１１２に接続されたカメラ・ドッキング・ポート１３６を介してデジタル・カメラ１３４から直接、あるいはマイクロプロセッサ・ベースのユニット１１２へのケーブル接続１３８もしくはマイクロプロセッサ・ベースのユニット１１２への無線接続１４０を介してデジタル・カメラ１３４から直接、入力されることもできる。
【００２５】
本発明によれば、アルゴリズムは上述した記憶デバイスのいずれに記憶されることもでき、疎にデータがある画像を補間するために画像に適用されることができる。
【００２６】
図２は、ある好ましい実施形態の高レベルの図である。デジタル・カメラ１３４が、もとのデジタルの赤・緑・青・全色（RGBP: red-green-blue-panchromatic）カラー・フィルタ・アレイ（CFA）画像２００（デジタルRGBP CFA画像またはRGBP CFA画像とも称する）を生成する役割を担う。以下の記述における赤・緑・青・全色の代わりにシアン・マゼンタ・イエロー・全色のような他のカラー・チャネル組み合わせを使うこともできることをここで注意しておく。キーとなる点は、全色性チャネルを含めることである。この画像は、画像中の各ピクセルが赤、緑、青または全色性データの一ピクセル値のみを含むので、疎にサンプリングされた（sparsely sampled）画像と考えられる。全色性エッジ・マップ生成ブロック２０２は、RGBP CFA画像２００から全色性エッジ・マップ２０４を生成する。カラー・エッジ・マップ生成ブロック２０６はカラー・エッジ・マップ２０８を生成する。動き推定ブロック２１０は、全色性エッジ・マップ２０４およびカラー・エッジ・マップ２０８から動き推定２１２を生成する。動き補償ブロック２１４は、RGBP CFA画像２００および動き推定２１２から修正されたRGBP CFA画像２１６を生成する。
【００２７】
図３は、前記好ましい実施形態のブロック２０２（図２）のより詳細な図である。全色性ピクセルぼかしブロック２１８はRGBP CFA画像２００（図２）を受け、ぼかされた全色性CFA画像２２０を生成する。エッジ勾配生成ブロック２２２はぼかされた全色性CFA画像２２０を受け、エッジ勾配マップ２２４を生成する。エッジ大きさ生成ブロック２２６はエッジ勾配マップ２２４からエッジ勾配および大きさマップ２２８を生成する。エッジ細線化（edge thinning）ブロック２３０は、エッジ勾配および大きさマップ２２８から細線化されたエッジ・マップ２３２を生成する。最後に、エッジ大きさ閾値ブロック２３２は、細線化されたエッジ・マップ２３２から全色性エッジ・マップ２０４（図２）を生成する。
【００２８】
図３では、全色性ピクセルぼかしブロック２１８は、当業者に知られている任意の適切な仕方で実行されることができる。図４を参照するに、ピクセルP13についてぼかされた（blurred）全色性値P13Bを生成する一つの方法は、図示される近傍内の全色性ピクセル値の重み付けされた平均を次のようにして計算することである。
【００２９】
P13B＝(P1＋2P3＋P5＋2P11＋4P13＋2P15＋P21＋2P23＋P25)/16
当業者には、他の重みの集合を使うこともできることは明白であろう。
【００３０】
図３に戻ると、エッジ勾配生成ブロック２２２は当業者に知られている任意の適切な仕方で実行できる。図４を参照するに、ピクセルB14について全色性エッジ（edge）勾配E14HおよびE14Vを生成する一つの方法は、隣接するぼかされた全色性ピクセルから差の絶対値を次のようにして計算することである。
【００３１】
E14H＝|P13B−P15B|
E14V＝|P9B−P19B|
この方法は、図４のすべての非全色性ピクセルについて機能する。全色性ピクセルの場合、ピクセルB13について全色性エッジ勾配E13HおよびE13Vを生成する一つの方法は、隣接するぼかされた全色性ピクセルから差の絶対値の平均を次のようにして計算することである。
【００３２】
E13H＝(|P7B−P9B|＋|P17B−P19B|)/2
E13V＝(|P7B−P17B|＋|P9B−P19B|)/2
この方法は、図４のすべての全色性ピクセルについて機能する。エッジ勾配を生成する他の方法を使うこともできることは当業者には明白であろう。
【００３３】
図３に戻ると、エッジ大きさ生成ブロック２２６は当業者に知られている任意の適切な方法で実行できる。図４を参照するに、全色性エッジ大きさ（magnitude）E13Mを生成する一つの方法は、全色性エッジ勾配E13HおよびE13Vを合計することである。これは、図４のすべてのピクセルについて機能する。エッジ大きさを生成する他の方法を使うこともできることは当業者には明白であろう。
【００３４】
図３に戻ると、エッジ細線化ブロック２３０は当業者に知られている任意の適切な方法で実行できる。図４を参照するに、細線化された（thinned）全色性エッジ大きさE13Tを生成する一つの方法は、非最大抑制として当業者に一般に知られる方法によるものである。次の擬似コードが、E13Tを生成するためのこの方法の一例を示す。
【００３５】
if E13H≧E13V
if(E12M≧E13M)または(E14M≧E13M)
E13T＝0
else
E13T＝E13M
end
else
if(E8M≧E13M)または(E18M≧E13M)
E13T＝0
else
E13T＝E13M
end
end
ことばで表すと、E13Mがその水平方向または垂直方向に隣接する値よりも大きくない場合には、E13Tは0に設定される。それ以外の場合には、E13TはE13Mに設定される。水平処理か垂直処理かの方向の決定は、全色性エッジ勾配E13HおよびE13Vの相対的なサイズに基づいてなされる。
【００３６】
図３に戻ると、エッジ大きさ閾値処理ブロック２３４は当業者に知られている任意の適切な方法で実行できる。図４を参照するに、全色性エッジ・マップ値E13を生成する一つの方法は、硬閾値処理として当業者に一般に知られる方法によるものである。簡単にいうと、E13Tが供給される閾値より大きければ、E13はE13Tに設定され、そうでなければE13は0に設定される。供給される閾値は、結果として得られる全色性エッジ・マップ２０４（図２）に、偽のおよび弱いエッジ特徴やノイズがないようにし、強い、視覚的によく定義されたエッジ特徴だけを残す値である。
【００３７】
図５は、前記好ましい実施形態のブロック２０６（図２）のより詳細な図である。RGB CFA画像生成ブロック２３６はRGBP CFA画像２００（図２）を受け、RGB CFA画像２３８を生成する。RGBピクセルぼかしブロック２４０はRGB CFA画像２３８を受け、ぼかされたRGB CFA画像２４２を生成する。エッジ勾配生成ブロック２４４はぼかされたRGB CFA画像２４２を受け、エッジ勾配マップ２４６を生成する。エッジ大きさ生成ブロック２４８はエッジ勾配マップ２４６からエッジ勾配および大きさマップ２５０を生成する。エッジ・マップ・サイズ変更ブロック２５２は、エッジ勾配および大きさマップ２５０から大きさ変更されたエッジ勾配および大きさマップ２５４を生成する。エッジ細線化ブロック２５６は、サイズ変更されたエッジ勾配および大きさマップ２５４から細線化されたエッジ・マップ２５８を生成する。最後に、エッジ大きさ閾値ブロック２６０は細線化されたエッジ・マップ２５８からカラー・エッジ・マップ２０８（図２）を生成する。
【００３８】
図５において、RGB CFA画像生成ブロック２３６は当業者に知られている任意の適切な方法で実行できる。図４はRGBP CFA画像２００（図２）の一部の例である。図６は、RGB CFA画像２３８の一部の例である。RGB CFA画像値R26（図６）を生成する一つの方法は、図４に示されるRGBP CFA画像２００（図２）の部分から、赤のピクセル値の平均を次のようにして計算することである。
【００３９】
R26＝(R2＋R6)/2
同様の仕方で、図６に示される他のRGB CFA画像値が計算できる。
【００４０】
G27＝(G4＋G8)/2
G28＝(G12＋G16)/2
B29＝(B14＋B18)/2
後述するエッジ・マップ・サイズ変更ブロック２５２の議論のために述べておくと、RGB CFA画像２３８は、RGBP CFA画像２００（図２）の四分の一の数のピクセルをもつ。
【００４１】
図５に戻ると、RGBピクセルぼかしブロック２４０は当業者に知られている任意の適切な方法で実行できる。図７を参照するに、ピクセルG42についてのぼかされた緑の値G42Bを生成するための一つの方法は、図示した近傍内の緑のピクセル値の重み付けされた平均を次のようにして計算することである。
【００４２】
G42B＝(G30＋2G32＋G34＋2G40＋4G42＋2G44＋G50＋2G52＋G54)/16
同様のプロセスが赤および青のピクセルにも適用される。当業者には、他の重みの集合を使うこともできることは明白であろう。
【００４３】
図５に戻ると、エッジ勾配生成ブロック２４４は当業者に知られている任意の適切な仕方で実行できる。図７を参照するに、ピクセルB43についてカラー・エッジ勾配F43HおよびF43Vを生成する一つの方法は、隣接するぼかされた緑ピクセルから差の絶対値を次のようにして計算することである。
【００４４】
F43H＝|G42B−G44B|
F43V＝|G38B−G48B|
この方法は、図７のすべての赤および青のピクセルについて機能する。緑のピクセルの場合、ピクセルG42についてカラー・エッジ勾配F42HおよびF42Vを生成する一つの方法は、隣接するぼかされた緑のピクセルから差の絶対値の平均を次のようにして計算することである。
【００４５】
F42H＝(|G36B−G38B|＋|G46B−G48B|)/2
F42V＝(|G36B−G46B|＋|G38B−G48B|)/2
この方法は、図７のすべての緑のピクセルについて機能する。エッジ勾配を生成する他の方法を使うこともできることは当業者には明白であろう。
【００４６】
図５に戻ると、エッジ大きさ生成ブロック２４８は当業者に知られている任意の適切な方法で実行できる。図７を参照するに、カラー・エッジ大きさF42Mを生成する一つの方法は、カラー・エッジ勾配F42HおよびF42Vを合計することである。これは、図７のすべてのピクセルについて機能する。エッジ大きさを生成する他の方法を使うこともできることは当業者には明白であろう。
【００４７】
図５に戻ると、エッジ・マップ・サイズ変更ブロック２５２は当業者に知られている任意の適切な方法で実行できる。RGB CFA画像生成ブロック２３６を記述する際に上述したように、RGB CFA画像２３８はRGBP CFA画像２００（図２）の四分の一の数のピクセルをもつので、エッジ勾配および大きさマップ２５０もRGBP CFA画像２００（図２）の四分の一の数のピクセルをもつ。エッジ勾配および大きさマップ２５０はカラー・エッジ勾配FHおよびFVならびにカラー・エッジ大きさFMを含む。RGBP CFA画像２００（図２）と同数のピクセルをもつサイズ変更されたエッジ勾配および大きさマップ２５４を生成するために、エッジ勾配および大きさマップ２５０の寸法（行数および列数）を倍にする必要がある。これは、双線形補間または双三次補間のような任意の標準的な補間技法を使って達成できる。本好ましい実施形態の方法は、双線形補間を使う。図８を参照するに、カラー・エッジ大きさ値F1M、F3M、F7MおよびF9Mはエッジ勾配および大きさマップ２５０からのものである。エッジ・マップ・サイズ変更ブロック２５２は次のような仕方で他のカラー・エッジ大きさ値を計算する：
F2M＝(F1M＋F3M)/2
F4M＝(F1M＋F7M)/2
F5M＝(F1M＋F3M＋F7M＋F9M)/4
F6M＝(F3M＋F9M)/2
F8M＝(F7M＋F9M)/2
図５に戻ると、エッジ細線化ブロック２５６は当業者に知られている任意の適切な方法で実行できる。図８を参照するに、細線化されたカラー・エッジ大きさF5Tを生成する一つの方法は、非最大抑制として当業者に一般に知られる方法によるものである。次の擬似コードが、F5Tを生成するためのこの方法の一例を示す。
【００４８】
if F5H≧F5V
if(F4M≧F5M)または(F6M≧F5M)
F5T＝0
else
F5T＝F5M
end
else
if(F2M≧F5M)または(F8M≧F5M)
F5T＝0
else
F5T＝F5M
end
end
ことばで表すと、F5Mがその水平方向または垂直方向に隣接する値よりも大きくない場合には、F5Tは0に設定される。それ以外の場合には、F5TはF5Mに設定される。水平処理か垂直処理かの方向の決定は、全色性エッジ勾配F5HおよびF5Vの相対的なサイズに基づいてなされる。
【００４９】
図５に戻ると、エッジ大きさ閾値処理ブロック２６０は当業者に知られている任意の適切な方法で実行できる。図８を参照するに、カラー・エッジ・マップ値F5を生成する一つの方法は、硬閾値処理として当業者に一般に知られる方法によるものである。簡単にいうと、F5Tが供給される閾値より大きければ、F5はF5Tに設定され、そうでなければF5は0に設定される。供給される閾値は、結果として得られるカラー・エッジ・マップ２０８（図２）に、偽のおよび弱いエッジ特徴やノイズがないようにし、強い、視覚的によく定義されたエッジ特徴だけを残す値である。
【００５０】
図９は、前記好ましい実施形態のブロック２１０（図２）のより詳細な図である。相互相関生成ブロック２６２は全色性エッジ・マップ２０４（図２）およびカラー・エッジ・マップ２０８（図２）を受け、相互相関マップ２６４を生成する。最大探索ブロック２６６は相互相関マップ２６４を受け、ブロック動き推定２６８を生成する。動き推定補間ブロック２７０はブロック動き推定２６８を受け、動き推定２１２（図２）を生成する。
【００５１】
図９において、相互相関生成ブロック２６２は当業者に知られている任意の適切な方法で実行できる。図１０を参照するに、好ましい実施形態において、全色性エッジ・マップ２０４（図２）は領域ブロック２７２の8×8の配列にセグメント分割される。各領域ブロック２７２はもとのエッジ・マップの６４分の１を含む。各領域ブロック２７２についての相互相関マップ２６４（図９）を生成するためには、領域ブロック２７２は何らかの行数および列数だけ位置をシフトさせられ、結果として得られるシフトされた領域ブロック２７４が（シフトされていない）カラー・エッジ・マップ２０８（図２）に比較される。シフトされた領域ブロック２７４における各ピクセル位置について（すなわち、(i,j)∈B）、次の合計が計算される。
【００５２】
【数１】
この式において、Eはシフトされた領域ブロック２７４からの値であり、Fはカラー・エッジ・マップ２０８（図２）からの値である。シフトの量はis行およびjs列である。Cは相互相関マップ２６４（図９）の値である。min()関数は二つの値のうちの小さいほうを返す。好ましい実施形態では、isおよびjsの値は−7から7までの範囲であり、相互相関マップ２６４（図９）は15×15の値の配列を含む結果となる。
【００５３】
図９に戻ると、最大探索ブロック２６６が、相互相関マップ２６４内で最大の値の位置(is,js)を求めて相互相関マップ２６４を探索する。この特定の(is,js)値は、所与の領域ブロック２７２（図１０）についてのブロック動き推定になる。そのようなブロック動き推定すべてがまとまって、全色性エッジ・マップ２０４（図２）についてのブロック動き推定２６８になる。結果として、ブロック動き推定２６８は8×8の値の配列を含む。
【００５４】
図９に戻ると、動き推定補間ブロック２７０は、ブロック動き推定２６８を補間することによって全色性エッジ・マップ２０４（図２）内の各ピクセル位置について動き推定２１２（図２）を生成する。この補間は、当業者に知られている任意の適切な方法で実行できる。好ましい実施形態では、双線形補間が使われる。ブロック動き推定２６８のそれぞれは、各領域ブロック２７２（図１０）の中心に対応すると考えられる。これらの値は、その後、全色性エッジ・マップ２０４（図２）内の他のすべての位置に補間される。
【００５５】
図２に戻ると、動き補償ブロック２１４はRGBP CFA画像２００内の全色性値を、動き推定２１２によって示される補間された全色性値によって置き換える。図１１は典型的な状況を示している。ピクセルP56についての動き推定２１２（図２）は、P56における値がP′における値で置き換えられることを示している。P′を中心とするピクセルはないので、値は補間されねばならない。これは、好ましい実施形態では、双線形補間を通じてなされる。図１１における四つの全色性ピクセルの座標位置は、次のようなものであると想定される：P56(−1,0)、P55(0,1)、P57(1,0)およびP58(0,−1)。所望される位置の座標はP′(x,y)である。次のアフィン変換により、図１１における構成は図１２における構成に変換される。
【００５６】
【数２】
図１２における全色性ピクセルの座標は今やP56(0,0)、P55(0,1)、P57(1,1)およびP58(1,0)である。所望される位置の座標はP′(x″,y″)である。図１２は今や、標準的な双線形補間問題であり、答えは次の表式によって与えられる。
【００５７】
P′＝(P58−P56)x″＋(P55−P56)y″＋(P57＋P56−P55−P58)x″y″＋P56
図１３は、代替的な実施形態の高レベルの図である。デジタル・カメラ１３４（図１）はRGBP CFA画像２００を生成する。全色性エッジ・マップ生成ブロック２０２は、RGBP CFA画像２００から全色性エッジ・マップ２０４を生成する。カラー・エッジ・マップ生成ブロック２０６はカラー・エッジ・マップ２０８を生成する。動き推定ブロック２１０は、全色性エッジ・マップ２０４およびカラー・エッジ・マップ２０８から動き推定２１２を生成する。CFA補間ブロック２７６はRGBP CFA画像２００からフルカラー画像２７８を生成する。動き補償ブロック２８０は、フルカラー画像２７８および動き推定２１２から修正されたフルカラー画像２８２を生成する。
【００５８】
図１３において、ブロック２００ないし２１２は前記好ましい実施形態のところで論じてある。CFA補間ブロック２７６は、米国特許出願公開第2007/0248753号において記載されるように実行できる。結果として得られるフルカラー（full-color）画像２７８はフル解像度の赤、緑、青および全色性チャネルを含む。動き補償ブロック２８０は、フルカラー画像２７８のフル解像度の全色性チャネルに対して作用する。フルカラー画像２７８内の全色性ピクセル値はすでに図１２のように配列されているので、先に論じた動き補償ブロック２１４（図２）の方法を、単に最初のアフィン変換ステップを省略することによって使うことができる。修正されたフルカラー画像２８２はフル解像度の赤、緑、青および動き補償された全色性チャネルを含む。
【００５９】
本発明の好ましい諸実施形態において開示された動き補償アルゴリズムは、多様なユーザー・コンテキストおよび環境において用いることができる。例示的なコンテキストおよび環境は、限定することなく、卸売のデジタルDPE（これはフィルム入力、デジタル処理、プリント出力のような例示的なプロセス工程または段階を含む）、小売デジタルDPE（フィルム入力、デジタル処理、プリント出力）、家庭プリント（家庭でスキャンされたフィルムまたはデジタル画像、デジタル処理、プリント出力）、デスクトップ・ソフトウェア（よりよくするために――または単に変更するために――デジタル・プリントにアルゴリズムを適用するソフトウェア）、デジタル実現（digital fulfillment）（メディアからまたはウェブを通じたデジタル画像入力、デジタル処理、メディア上のデジタル形式、ウェブを通じたデジタル形式またはハードコピー・プリントにプリントされた画像出力）、キオスク（デジタルまたはスキャンされた入力、デジタル処理、デジタルまたはスキャンされた出力）、モバイル機器（たとえば処理ユニット、表示ユニットまたは処理命令を与えるユニットとして使用できるPDAまたは携帯電話）およびワールド・ワイド・ウェブを介して提供されるサービスを含む。
【００６０】
それぞれの場合において、動き補償アルゴリズムはスタンドアローンでもよいし、あるいはより大きなシステム・ソリューションのコンポーネントであってもよい。さらに、アルゴリズムとのインターフェース、たとえばスキャンまたは入力、デジタル処理、ユーザーへの表示（必要なら）、ユーザー要求または処理命令の入力（必要なら）、出力は、それぞれ、同じまたは異なる装置上および物理的な位置上であることができ、装置間および位置間の通信は公共または専用ネットワークを介してであることができ、あるいはメディア・ベースの通信であることができる。本発明の以上の開示と整合する場合は、アルゴリズム自身が全自動であることができ、ユーザー入力をもつ（完全にまたは部分的に手動である）ことができ、ユーザーまたはオペレーターに結果を検討して受け容れ／拒否させることができ、あるいはメタデータ（ユーザーによって供給される、（たとえばカメラ内の）測定装置によって供給される、あるいはアルゴリズムによって決定されることのできるメタデータ）によって支援されることができる。さらに、アルゴリズムは、多様な作業フロー・ユーザー・インターフェース・方式とインターフェースをもつことができる。
【００６１】
本発明に基づいて本稿に開示される動き補償アルゴリズムは、さまざまなデータ検出および削減技法（たとえば顔検出、目検出、肌色検出、フラッシュ検出）を利用する内部コンポーネントをもつことができる。
【符号の説明】
【００６２】
１１０ コンピュータ・システム
１１２ マイクロプロセッサ・ベースのユニット
１１４ ディスプレイ
１１６ キーボード
１１８ マウス
１２０ ディスプレイ上のセレクタ
１２２ ディスク・ドライブ・ユニット
１２４ コンパクト・ディスク読み出し専用メモリ（CD-ROM）
１２６ フロッピーディスク
１２７ ネットワーク接続
１２８ プリンタ
１３０ パーソナル・コンピュータ・カード（PCカード）
１３２ PCカード・リーダー
１３４ デジタル・カメラ
１３６ カメラ・ドッキング・ポート
１３８ ケーブル接続
１４０ 無線接続
２００ RGBP CFA画像
２０２ 全色性エッジ・マップ生成
２０４ 全色性エッジ・マップ
２０６ カラー・エッジ・マップ生成
２０８ カラー・エッジ・マップ
２１０ 動き推定
２１２ 動き推定結果
２１４ 動き補償
２１６ 修正されたRGBP CFA画像
２１８ 全色性ピクセルぼかし
２２０ ぼかされた全色性CFA画像
２２２ エッジ勾配生成
２２４ エッジ勾配マップ
２２６ エッジ大きさ生成
２２８ エッジ勾配および大きさマップ
２３０ エッジ細線化
２３２ 細線化されたエッジ・マップ
２３４ エッジ大きさ閾値処理
２３６ RGB CFA画像生成
２３８ RGB CFA画像
２４０ RGBピクセルぼかし
２４２ ぼかされたRGB CFA画像
２４４ エッジ勾配生成
２４６ エッジ勾配マップ
２４８ エッジ大きさ生成
２５０ エッジ勾配および大きさマップ
２５２ エッジ・マップ・サイズ変更
２５４ サイズ変更されたエッジ勾配および大きさマップ
２５６ エッジ細線化
２５８ 細線化されたエッジ・マップ
２６０ エッジ大きさ閾値処理
２６２ 相互相関生成
２６４ 相互相関マップ
２６６ 最大探索
２６８ ブロック動き推定
２７０ 動き推定補間
２７２ 領域ブロック
２７４ シフトされた領域ブロック
２７６ CFA補間
２７８ フルカラー画像
２８０ 動き補償
２８２ 修正されたフルカラー画像
【特許請求の範囲】
【請求項１】
複数のカラー・チャネルおよび全色性チャネルを有するCFA画像またはフルカラー画像を修正する方法であって：
（ａ）一画像内に、前記CFAセンサーを用いて、前記カラー画像チャネルの少なくとも一つとは異なる露出時間で前記全色性チャネルを取り込む段階と；
（ｂ）前記CFA画像から全色性エッジ・マップおよびカラー・エッジ・マップを生成する段階と；
（ｃ）前記全色性エッジ・マップおよび前記カラー・エッジ・マップを使って動き推定を与える段階と；
（ｄ）前記動き推定を使って前記CFA画像またはフルカラー画像の前記チャネルの少なくとも一つを修正する段階とを含む、
方法。
【請求項２】
請求項１記載の方法であって、段階（ｂ）がさらに、
（ａ）前記CFA画像からぼかされた全色性CFA画像を生成する段階と；
（ｂ）前記ぼかされた全色性CFA画像からエッジ勾配マップを生成する段階と；
（ｃ）前記エッジ勾配マップからエッジ勾配および大きさマップを生成する段階と；
（ｄ）前記エッジ勾配および大きさマップから細線化されたエッジ・マップを生成する段階と；
（ｅ）前記細線化されたエッジ・マップから前記全色性エッジ・マップを生成する段階とを含む、方法。
【請求項３】
請求項１記載の方法であって、段階（ｂ）がさらに、
（ａ）前記CFA画像からRGB CFA画像を生成する段階と；
（ｂ）前記RGB CFA画像からぼかされたRGB CFA画像を生成する段階と；
（ｃ）前記ぼかされたRGB CFA画像からエッジ勾配マップを生成する段階と；
（ｄ）前記エッジ勾配マップからエッジ勾配および大きさマップを生成する段階と；
（ｅ）前記エッジ勾配および大きさマップからサイズ変更されたエッジ勾配および大きさマップを生成する段階と；
（ｆ）前記サイズ変更されたエッジ勾配および大きさマップから細線化されたエッジ・マップを生成する段階と；
（ｇ）前記細線化されたエッジ・マップから前記カラー・エッジ・マップを生成する段階とを含む、方法。
【請求項４】
請求項１記載の方法であって、段階（ｃ）がさらに、
（ａ）前記全色性エッジ・マップから相互相関マップを生成する段階と；
（ｂ）前記相互相関マップからブロック動き推定を生成する段階と；
（ｃ）前記ブロック動き推定から前記動き推定を生成する段階とを含む、
方法。
【請求項５】
請求項１記載の方法であって、段階（ｄ）がさらに、前記動き推定を使って前記CFA画像またはフルカラー画像の前記全色性チャネルを修正することを含む、方法。
【請求項１】
複数のカラー・チャネルおよび全色性チャネルを有するCFA画像またはフルカラー画像を修正する方法であって：
（ａ）一画像内に、前記CFAセンサーを用いて、前記カラー画像チャネルの少なくとも一つとは異なる露出時間で前記全色性チャネルを取り込む段階と；
（ｂ）前記CFA画像から全色性エッジ・マップおよびカラー・エッジ・マップを生成する段階と；
（ｃ）前記全色性エッジ・マップおよび前記カラー・エッジ・マップを使って動き推定を与える段階と；
（ｄ）前記動き推定を使って前記CFA画像またはフルカラー画像の前記チャネルの少なくとも一つを修正する段階とを含む、
方法。
【請求項２】
請求項１記載の方法であって、段階（ｂ）がさらに、
（ａ）前記CFA画像からぼかされた全色性CFA画像を生成する段階と；
（ｂ）前記ぼかされた全色性CFA画像からエッジ勾配マップを生成する段階と；
（ｃ）前記エッジ勾配マップからエッジ勾配および大きさマップを生成する段階と；
（ｄ）前記エッジ勾配および大きさマップから細線化されたエッジ・マップを生成する段階と；
（ｅ）前記細線化されたエッジ・マップから前記全色性エッジ・マップを生成する段階とを含む、方法。
【請求項３】
請求項１記載の方法であって、段階（ｂ）がさらに、
（ａ）前記CFA画像からRGB CFA画像を生成する段階と；
（ｂ）前記RGB CFA画像からぼかされたRGB CFA画像を生成する段階と；
（ｃ）前記ぼかされたRGB CFA画像からエッジ勾配マップを生成する段階と；
（ｄ）前記エッジ勾配マップからエッジ勾配および大きさマップを生成する段階と；
（ｅ）前記エッジ勾配および大きさマップからサイズ変更されたエッジ勾配および大きさマップを生成する段階と；
（ｆ）前記サイズ変更されたエッジ勾配および大きさマップから細線化されたエッジ・マップを生成する段階と；
（ｇ）前記細線化されたエッジ・マップから前記カラー・エッジ・マップを生成する段階とを含む、方法。
【請求項４】
請求項１記載の方法であって、段階（ｃ）がさらに、
（ａ）前記全色性エッジ・マップから相互相関マップを生成する段階と；
（ｂ）前記相互相関マップからブロック動き推定を生成する段階と；
（ｃ）前記ブロック動き推定から前記動き推定を生成する段階とを含む、
方法。
【請求項５】
請求項１記載の方法であって、段階（ｄ）がさらに、前記動き推定を使って前記CFA画像またはフルカラー画像の前記全色性チャネルを修正することを含む、方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公表番号】特表２０１２−５０８４７９（Ｐ２０１２−５０８４７９Ａ）
【公表日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１１−５３４５００（Ｐ２０１１−５３４５００）
【出願日】平成２１年１０月２６日（２００９．１０．２６）
【国際出願番号】ＰＣＴ／ＵＳ２００９／００５８００
【国際公開番号】ＷＯ２０１０／０５３５０７
【国際公開日】平成２２年５月１４日（２０１０．５．１４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５１０２１５６０６）オムニヴィジョン テクノロジーズ インコーポレイテッド (20)
【Ｆターム（参考）】
【公表日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２１年１０月２６日（２００９．１０．２６）
【国際出願番号】ＰＣＴ／ＵＳ２００９／００５８００
【国際公開番号】ＷＯ２０１０／０５３５０７
【国際公開日】平成２２年５月１４日（２０１０．５．１４）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．フロッピー
【出願人】（５１０２１５６０６）オムニヴィジョン テクノロジーズ インコーポレイテッド (20)
【Ｆターム（参考）】
[ Back to top ]