パンクロマティック画素を使用するエッジマッピング
カラー画素及びパンクロマティック画素の両方を有する２次元センサ・アレイを用いてシーンの画像を捕捉すること、該捕捉されたカラー画素に応答してフルカラー画像を形成すること、該捕捉されたパンクロマティック画素に応答して基準パンクロマティック画像を形成すること、該基準パンクロマティック画像に応答してエッジマップを形成すること、そして該フルカラー画像を増強するために該エッジマップを使用することを含むシーンの増強されたフルカラー画像を提供する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パンクロマティック画像及びカラー画像から増強されたカラー画像を形成するためにエッジマップを使用することに関する。
【背景技術】
【０００２】
ビデオカメラ及びデジタル・スチルカメラは一般に、シーンを記録するために、カラーフィルタ・アレイを有する単独の画像センサを採用する。このアプローチは、カラー情報がカラーフィルタ・アレイ・パターンによってコードされる疎い密度の単一チャネル画像で始まる。これに続く、近傍画素値の補間が、完全な３チャネル・フルカラー画像の再構成を可能にする。このフルカラー画像は、画像の外観を改善又は増強するために、ノイズ除去、鮮鋭化、又は色補正することができる。この画像増強は、画像をエッジ領域とフラット領域とに分類するために画像のエッジマップを計算することにより、大幅に容易にすることができる。このことは、エッジ領域とフラット領域とに対して異なる計算を実施するアルゴリズムを使用するのを可能にする。１つの一般的なアプローチは、輝度色チャネル、例えば「グリーン」を直接的に検出するか又は合成し、次いで、輝度画像からエッジマップを生成することである。米国特許第６，６１４，４７４号明細書（Malkin他）には、輝度チャネルを計算し、次いで方向性エッジ検出カーネル集合からエッジ情報を生成することが記載されている。このアプローチの問題点は、クロミナンスだけが変化して輝度は変化しないエッジが、検出されないリスクを負うことである。この問題に対処するために、米国特許第５，４２０，９７１号明細書（Westerink他）において、ＹＵＶ輝度−クロミナンス画像を計算し、３つ全てのチャネル（Ｙ、Ｕ、及びＶ）からエッジ情報を計算し、次いで、これらを輝度エッジ及びクロミナンス・エッジの両方を検出するためのＬ2−ノルムとして組み合わせることが教示されている。このアプローチの問題点は、計算された輝度−クロミナンス画像のノイズが、オリジナルの色データ、例えばＲＧＢのノイズによって定義されることである。オリジナルの色データのこのようなノイズレベルは、とりわけ、個々の色チャネルのスペクトル周波数応答の相対的な狭さによって決定される。捕捉されるシーンがよく照らされている場合、例えば太陽が照っている景色の場合、スペクトル周波数応答の狭さは通常、問題ではない。シーンがよく照らされていない場合、例えば屋内の場合、又はスポーツ・イベントのときに動作のぶれを低減するために必然的に露光時間が短い場合、個々の色チャネルのスペクトル周波数応答の相対的な狭さは、ノイズの多い画像を生成するおそれがある。
【０００３】
低光量イメージング状況下では、画素のうちの１つ又は２つ以上を、カラーフィルタ・アレイでフィルタリングされない状態で、すなわちスペクトル感光性がホワイト又はパンクロマティックである状態で有することが有利である。これらのパンクロマティック画素は、キャプチャ・システムの最大感光性能力を有する。パンクロマティック画素を採用することは、キャプチャ・システムにおいて、感光性と色空間解像度との間で妥協することを意味する。これを目的として、多くの４色カラーフィルタ・アレイ・システムが記載されている。米国特許第６，５２９，２３９号明細書（Dyck他）には、センサ表面全体にわたってモザイク状に形成された２×２ブロックとして配列されたグリーン−シアン−イエロー−ホワイト・パターンが教示されている。米国特許第６，７５７，０１２号明細書（Hubina他）には、レッド−グリーン−ブルー−ホワイト・パターン、及びイエロー−シアン−マゼンタ−ホワイト・パターンの両方が開示されている。両事例において、色は、イメージング装置の表面全体にわたってモザイク状に形成された２×２ブロックとして配列されている。このようなシステムの難しさは、カラーフィルタ・アレイにおける画素のうちの４分の１しか最大感光性を有さず、従って、キャプチャ装置の低光量性能全体を制限することである。
【０００４】
より多くの画素がカラーフィルタ・アレイにおいて最大感光性を有することの必要性に対処するために、米国特許出願公開第２００３／０２１０３３２号明細書（Frame）には、画素のうちのほとんどがフィルタリングされない画素アレイが記載されている。そのシーンからのカラー情報を捕捉するのに割り当てられる画素は比較的僅かであり、これにより、色空間解像度の低いシステムが生成される。加えて、Frameは、画像内の高頻度色空間ディテールに対して応答しない、又はこれを保護しない、単純な線形補間技術を用いることも教示している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、パンクロマティック画素及びカラー画素を有するデジタル画像から、増強されたデジタルカラー画像を生成することである。
【課題を解決するための手段】
【０００６】
この目的は、
ａ． カラー画素及びパンクロマティック画素の両方を有する２次元センサ・アレイによって捕捉されたシーンの捕捉画像を使用すること；
ｂ． 該捕捉されたカラー画素に応答してフルカラー画像を形成すること；
ｃ． 該捕捉されたパンクロマティック画素に応答して基準パンクロマティック画像を形成すること；
ｄ． 該基準パンクロマティック画像に応答してエッジマップを形成すること；そして
ｅ． 該フルカラー画像を増強するために該エッジマップを使用すること
を含んで成るシーンの増強されたフルカラー画像を提供する方法によって達成される。
【発明の効果】
【０００７】
本発明の特徴は、パンクロマティック画素及びカラー画素を有するセンサを用いて低光量条件下で画像を捕捉することができ、処理を施すことにより、パンクロマティック画素及びカラー画素から生成された増強されたデジタルカラー画像がもたらされることである。
【０００８】
本発明は、上記方法が改善された低光量感受性及び改善された色空間分解忠実度の両方を提供するのを可能にするように、パンクロマティック画素とカラー画素とが好適に複合されたカラーフィルタ・アレイを利用する。上記方法は、パンクロマティック空間ディテール及びカラー空間ディテールを維持・増強し、そして増強されたフルカラー画像を生成する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明を実施するためのデジタルカメラを含むコンピュータシステムを示す斜視図である。
【図２】図２は、本発明の好ましい態様のブロック・ダイヤグラムである。
【図３】図３は、図２のブロック２１０をより詳細に示すブロック・ダイヤグラムである。
【図４】図４は、図２のブロック２１０の別の態様をより詳細に示すブロック・ダイヤグラムである。
【図５】図５は、図４のブロック２２８における非最大値抑制の実行中に使用される画素近傍を示す図である。
【図６】図６は、本発明の別の態様を示すブロック・ダイヤグラムである。
【発明を実施するための形態】
【００１０】
以下に、通常はソフトウェア・プログラムとして実施される、本発明の好ましい態様を説明する。当業者には明らかなように、このようなソフトウェアの等価物をハードウェア内に構成することもできる。画像操作アルゴリズム及びシステムはよく知られているので、ここでは具体的には本発明によるシステム及び方法の一部を形成するアルゴリズム及びシステム、又は本発明によるシステム及び方法とより直接的に協働するアルゴリズム及びシステムに関して説明する。このようなアルゴリズム及びシステムの他の態様、及びこれに関与する画像信号を生成し、又はその他の形式で処理するためのハードウェア又はソフトウェアは、本明細書中では特に図示又は説明していないが、当業者に知られたこのようなシステム、アルゴリズム、成分及び要素から選択することができる。下記材料において本発明に基づいて説明されるシステムを考えると、本発明の実施に有用な、具体的には図示、示唆又は記載されていないソフトウェアはコンベンショナルなものであり、当業者の技術範囲に含まれる。
【００１１】
さらに、本明細書中に使用されるコンピュータプログラムは、コンピュータで読み出し可能な記憶媒体に記憶することができる。記憶媒体は例えば、磁気記憶媒体、例えば磁気ディスク（例えばハードドライブ又はフロッピー（登録商標）ディスク）、又は磁気テープ；光学記憶媒体、例えば光ディスク、光学テープ、又は機械で読み出し可能なバーコード；固体電子記憶デバイス、例えばランダム・アクセス・メモリー（ＲＡＭ）、又は読み出し専用メモリ（ＲＯＭ）；又はコンピュータプログラムを記憶するために採用される任意のその他の物理的デバイス又は媒体を含むことができる。
【００１２】
本発明の説明の前に、本発明が好ましくは、任意のよく知られたコンピュータシステム、例えばパーソナルコンピュータ上で利用されることに留意すると、理解しやすくなる。従って、コンピュータシステムについてはここでは詳細には論じない。画像がコンピュータシステム内に（例えばデジタルカメラによって）直接的に入力されるか、又はコンピュータシステム内への入力前に（例えばオリジナルのフィルム、例えばハロゲン化銀塩フィルムを走査することによって）デジタル化されることに留意するのも有益である。
【００１３】
図１を参照すると、本発明の実施のためのコンピュータシステム１１０が示されている。コンピュータシステム１１０は好ましい態様を説明する目的で図示されているが、本発明は図示のコンピュータシステム１１０に限定されるものではなく、家庭用コンピュータ、キオスク、小売店、大規模現像所、又は任意の他のデジタル画像処理システムに見いだされるような任意の電子処理システムにおいて使用することができる。コンピュータシステム１１０は、ソフトウェア・プログラムを受容して処理するための、そして他の処理機能を発揮するための、マイクロプロセッサをベースとするユニット１１２を含む。例えばグラフィカル・ユーザー・インターフェイスによって、ソフトウェアと連携するユーザー関連情報を表示するために、マイクロプロセッサをベースとするユニット１１２にはディスプレイ１１４が電気的に接続される。ユーザーがソフトウェアに情報を入力するのを可能にするために、マイクロプロセッサをベースとするユニット１１２にはキーボード１１６も接続される。入力のためのキーボード１１６の使用に代わるものとして、当業者によく知られているように、ディスプレイ１１４上でセレクタ１２０を動かすために、そしてセレクタ１２０が重なるアイテムを選択するためにマウス１１８を使用することもできる。
【００１４】
マイクロプロセッサをベースとするユニット１１２にソフトウェア・プログラム及びその他の情報を入力する手段を提供するために、マイクロプロセッサをベースとするユニット内には、典型的にはソフトウェア・プログラムを含むコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４が挿入される。加えて、フロッピー（登録商標）ディスク１２６がソフトウェア・プログラムを含んでもよく、これはソフトウェア・プログラムを入力するために、マイクロプロセッサをベースとするユニット１１２内に挿入される。コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４又はフロッピー（登録商標）ディスク１２６は、或いは、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ディスク・ドライブ・ユニット１２２内に挿入することもできる。さらに、マイクロプロセッサをベースとするユニット１１２は、ソフトウェア・プログラムを内部に記憶するために、当業者によく知られているようにプログラミングすることができる。マイクロプロセッサをベースとするユニット１１２は、外部ネットワーク、例えばローカル区域ネットワーク又はインターネットとのネットワーク接続１２７、例えば電話線を有することもできる。コンピュータシステム１１０からの出力のハードコピーをプリントするために、マイクロプロセッサをベースとするユニット１１２にプリンタ１２８を接続することもできる。
【００１５】
ディスプレイ１１４上には、パーソナルコンピュータ・カード（ＰＣカード）１３０、例えば以前から知られている、ＰＣカード１３０内に電子的に具体化されたデジタル化画像を含有するＰＣＭＣＩＡカード（Personal Computer Memory Card International Associationの仕様に基づく）を介して、画像を表示することもできる。ＰＣカード１３０は最終的には、ディスプレイ１１４上の画像の視覚的な表示を可能にするために、マイクロプロセッサをベースとするユニット１１２内に挿入される。或いは、ＰＣカード１３０は、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ＰＣカードリーダ１３２内に挿入することもできる。コンパクトディスク１２４、フロッピー（登録商標）ディスク１２６、又はネットワーク接続１２７を介して、画像を入力することもできる。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６又はコンパクトディスク１２４内に記憶された、又はネットワーク接続１２７を介して入力された任意の画像は、種々の源、例えばデジタルカメラ（図示せず）又はスキャナ（図示せず）から得られたものであってよい。画像は、マイクロプロセッサをベースとするユニット１１２に接続されたカメラ・ドッキング・ポート１３６を介してデジタルカメラ１３４から直接的に、又はマイクロプロセッサをベースとするユニット１１２とのケーブル接続１３８を介して、又はマイクロプロセッサをベースとするユニット１１２とのワイヤレス接続１４０を介して、デジタルカメラ１３４から直接的に入力することもできる。
【００１６】
本発明によれば、アルゴリズムを前述の記憶デバイスのうちのいずれかに記憶し、そして画像を鮮鋭化するために画像に適用することができる。
【００１７】
図２は、本発明の好ましい態様の高レベル・ダイヤグラムである。デジタルカメラ１３４（図１）は、オリジナルのデジタル・レッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００（デジタルＲＧＢＰ ＣＦＡ画像又はＲＧＢＰ ＣＦＡ画像とも呼ばれる）を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。パンクロマティック画像補間ブロック２０２が、ＲＧＢＰ ＣＦＡ画像２００から基準パンクロマティック画像２０４を生成する。エッジマップ生成ブロック２１０が基準パンクロマティック画像２０４からエッジマップ２１６を生成する。ＲＧＢＰ ＣＦＡ画像２００から、ＲＧＢ ＣＦＡ画像補間ブロック２０６が続いてフルカラー画像２０８を生成する。フルカラー画像増強ブロック２１４が、フルカラー画像２０８及びエッジマップ２０４から、増強されたフルカラー画像２１２を生成する。
【００１８】
図２において、パンクロマティック画像補間ブロック２０２及びＲＧＢ ＣＦＡ画像補間ブロック２０６は、当業者に知られたいかなる好適な方法でも実施することができる。米国特許出願第２００７／００２４９３４号明細書中に、いくつかの例を見いだすことができる。この参考文献には、基準パンクロマティック画像を生成するために捕捉されたパンクロマティック画素だけを使用する例、基準画像を生成するために捕捉されたパンクロマティック画素及び捕捉されたカラー画素を使用する例、フルカラー画像を生成するために捕捉されたカラー画素だけを使用する例、及び、フルカラー画像を生成するために捕捉されたカラー画素及び捕捉されたパンクロマティック画素を使用する例が含まれている。
【００１９】
図３は、好ましい態様のためのエッジマップ生成ブロック２１０（図２）の詳細なブロック・ダイヤグラムである。ハイパス・フィルタリング・ブロック２１８が、基準パンクロマティック画像２０４（図２）から高周波数画像２２０を生成する。ハイパス・フィルタリングは一般に、２つの方法のうちの一方によって、すなわち直接コンボリューション法によって又はアンシャープ・マスキングの一部として実施される。直接コンボリューションの場合、基準パンクロマティック画像２０４（図２）は、ハイパス・カーネルと一緒に畳み込まれ、結果の絶対値は高周波数画像２２０である。好適なハイパス・カーネルの例は、次式である。
【００２０】
【数１】
【００２１】
他の好適なハイパス・カーネルをどのように作成するかは当業者によく知られている。アンシャープ・マスキングの場合、基準パンクロマティック画像２０４（図２）は、ローパス・カーネルと一緒に畳み込まれ、結果としての低周波数画像は、基準パンクロマティック画像２０４（図２）から差し引かれる。この減算の絶対値は、高周波数画像２２０である。好適なローパス・カーネルの例は、次式となる。
【００２２】
【数２】
【００２３】
他の好適なローパス・カーネルをどのように作成するかは当業者によく知られている。図３の説明を続けると、閾値による数値化(thresholding)ブロック２２２が高周波数画像２２０からエッジマップ２１６（図２）を生成した。ブロック２２２の閾値による数値化は一般に、高周波数画像２２０の各画素値を所与の閾値に対してテストすることにより実施される。高周波数画像２２０の画素値が所与の閾値以上である場合、エッジマップにおける対応画素値は、エッジ画素としてマーキングされ、そしてエッジの存在を示す値、例えば１に設定される。高周波数画像２２０の画素値が所与の閾値未満である場合、エッジマップにおける対応画素値は、フラット画素としてマーキングされ、そしてエッジの不在を示す値、例えば０に設定される。複数の閾値を使用することもできる。一例としては、比較的大きい第１閾値を使用して第１エッジマップを生成した後、より小さい第２閾値を使用して、第１エッジマップ及び高周波数画像２２０から第２エッジマップを生成する。この事例では、エッジ画素としてマーキングされた第１エッジマップにおける各画素位置は、対応位置の第２エッジマップにおけるエッジ画素として自動的にマーキングされる。第１エッジマップにおける或る画素位置がフラット画素としてマーキングされ、そして隣接画素位置のうちの少なくとも１つがエッジ画素としてマーキングされた場合、対応高周波数画像２２０の画素値は、第２閾値と比較される。高周波数画像２２０の画素値が第２閾値以上である場合、第２エッジマップにおける対応画素値は、エッジ画素としてマーキングされる。高周波数画像２２０の画素値が第２閾値未満である場合、第２エッジマップにおける対応画素値は、フラット画素としてマーキングされる。追加の閾値を使用してこの過程を続行できることは当業者には明らかである。
【００２４】
図４は、別の態様に対応するエッジマップ生成ブロック２１０（図２）の詳細なブロック・ダイヤグラムである。ハイパス・フィルタリング・ブロック２２４が、基準パンクロマティック画像２０４（図２）から高周波数画像２２６を生成する。高周波数画像２２６は３つのチャネルを有している。第１チャネルはエッジ強度値を含み、このエッジ強度値は、ハイパス・フィルタリング・ブロック２１８（図３）によって実施されるのと同じ計算によって生成された結果である。第２チャネルは、水平勾配カーネルとのコンボリューションの絶対値を求めることにより生成された水平勾配値を含む。このようなカーネルの例は次式である。
【００２５】
【数３】
【００２６】
第３チャネルは、垂直勾配カーネルとのコンボリューションの絶対値を求めることにより生成された垂直勾配値を含む。このようなカーネルの例は次式である。
【００２７】
【数４】
【００２８】
次に、非最大値抑制ブロック２２８は、高周波数画像２２６からエッジ薄化された(edge-thinned)高周波数画像２３０を生成する。各エッジ強度(edge magnitude)画素位置に対して水平勾配値を垂直勾配値と比較することにより、ブロック２２８の非最大値抑制を行う。水平勾配値が垂直勾配値以上である場合には、非最大値抑制方向は水平方向である。垂直勾配値が水平勾配値を上回る場合には、非最大値抑制方向は垂直方向である。図５は、エッジ強度値の画素近傍の一例であり、この場合エッジ強度値Ｅ3が操作される。非最大値抑制方向が水平方向である場合、Ｅ3はＥ2及びＥ4双方以上であれば、変わらないままにされる。そうでなければ、Ｅ3はゼロに設定される。非最大値抑制方向が垂直方向である場合、Ｅ3はＥ1及びＥ5双方以上であれば、変わらないままにされる。そうでなければ、Ｅ3はゼロに設定される。図４において、閾値による数値化ブロック２２２は、図３に基づいて前述したのと同じ操作である。
【００２９】
あらゆる方法で、例えば形態学的処理によって、エッジマップ２１６（図２）を増強することにより、ノイズの影響を軽減し、又はエッジマップ２１６（図２）内部の特徴の厚さを、このエッジマップを続いて用いるのに伴って変化させ得ることは当業者に明らかである。
【００３０】
図２に戻って、フルカラー画像増強ブロック２１４のためにいくつかの例をここで示す。１つのこのようなフルカラー画像増強は、ノイズ低減である。以後中心画素と呼ぶフルカラー画像２０８内の各画素に対して、エッジマップ２１６内の対応値を、これがエッジ画素としてマーキングされるか又はフラット画素としてマーキングされるかを見るためにチェックする。中心画素がエッジ画素である場合、その画素値のノイズ低減は、エッジ・ディテールを維持するために省くことができる。中心画素がフラット画素である場合、中心画素から所与の距離以内の他のフラット画素の全てを、ノイズ低減された中心画素値を生成するために、一緒に平均する。
【００３１】
フルカラー画像増強の別の例は、鮮鋭化（エッジ増強）である。2007年1月9日付けで出願された米国特許出願第１１／６２１，１３９号明細書に教示されているように、フルカラー画像２０８から、又は基準パンクロマティック画像２０４から、鮮鋭化チャネルを生成することができる。次に、以後中心画素と呼ぶフルカラー画像２０８内の各画素に対して、エッジマップ２１６内の対応値を、これがエッジ画素としてマーキングされるか又はフラット画素としてマーキングされるかを見るためにチェックする。中心画素がエッジ画素である場合、エッジ・ディテールを鮮鋭化するために、完全対応鮮鋭化チャネル値を中心画素値に加える。中心画素がフラット画素である場合、フルカラー画像内の望ましくないノイズ増幅を低減するために、中心画素値に対応鮮鋭化チャネル値を一部加えるか、又は全く加えない。
【００３２】
フルカラー画像増強の別の例は、色補正である。色補正は通常、増強されたフルカラー画像２１２を生成するために、フルカラー画像２０８のカラーチャネル値を３×３行列で掛け算することにより行われる。この計算は下記形態を成す。
【００３３】
【数５】
【００３４】
上記式中（Ｒ，Ｇ，Ｂ）は、フルカラー画像２０８のカラーチャネル値を意味し、そして（Ｒ’，Ｇ’，Ｂ’）は、増強されたフルカラー画像２１２を意味する。フルカラー画像２０８内の各画素に対して、エッジマップ２１６内の対応値を、これがエッジ画素としてマーキングされるか又はフラット画素としてマーキングされるかを見るためにチェックする。画素がエッジ画素である場合、完全対応色補正をフルカラー画像２０８の画素値に施す。画素がフラット画素である場合、ノイズ及び画像処理アーチファクトの可視性を低減するために、フルカラー画像２０８の画素値に色補正を一部施すか、又は全く施さない。
【００３５】
図６は、本発明の別の態様の高レベル・ダイヤグラムである。図１に示すデジタルカメラ１３４は、デジタルＲＧＢＰ ＣＦＡ画像又はＲＧＢＰ ＣＦＡ画像とも呼ばれるオリジナルのデジタル・レッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。パンクロマティック画像補間ブロック２０２が、ＲＧＢＰ ＣＦＡ画像２００から基準パンクロマティック画像２０４を生成する。エッジマップ生成ブロック２１０が基準パンクロマティック画像２０４からエッジマップ２１６を生成する。ＲＧＢＰ ＣＦＡ画像２００及び基準パンクロマティック画像２０４から、ＲＧＢ ＣＦＡ画像補間ブロック２３２が続いてフルカラー画像２０８を生成する。フルカラー画像増強ブロック２１４が、フルカラー画像２３４及びエッジマップ２１６から、増強されたフルカラー画像２３６を生成する。
【００３６】
図６において、パンクロマティック画像補間ブロック２０２及びＲＧＢ ＣＦＡ画像補間ブロック２３２は、当業者に知られたいかなる好適な方法でも実施することができる。米国特許出願第２００７／００２４９３４号明細書に例を見いだすことができる。この参考文献には、基準パンクロマティック画像を生成するために捕捉されたパンクロマティック画素だけを使用する例、基準画像を生成するために捕捉されたパンクロマティック画素及び捕捉されたカラー画素を使用する例、フルカラー画像を生成するために捕捉されたカラー画素だけを使用する例、及び、フルカラー画像を生成するために捕捉されたカラー画素及び捕捉されたパンクロマティック画素を使用する例が含まれている。図６の他のブロックのディテールは、図面に示されている好ましい態様におけるのと同じである。
【産業上の利用可能性】
【００３７】
本発明の好ましい態様に開示されたエッジマップに基づくアルゴリズムは、種々様々なユーザー状況及び環境において採用することができる。状況及び環境は、一例として、卸売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウトのようなプロセス・ステップ又は段に関与する）、小売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウト）、家庭内印刷（家庭内で走査されたフィルム又はデジタル画像、デジタル処理、プリントアウト）、デスクトップ・ソフトウェア（デジタルプリントをより良くするか、又はただこれらを変化させるだけのために、アルゴリズムをデジタルプリントに適用するソフトウェア）、デジタル・フルフィルメント（媒体からの、又はウェブを介したデジタル画像の受け入れ、デジタル処理、そして媒体上のデジタル形態の画像、又はウェブを介したデジタル形態の画像、又はハードコピー・プリント上に印刷された画像の納品を伴う）、キオスク（デジタル又は走査入力、デジタル処理、デジタル又は走査出力）、携帯デバイス（例えばＰＤＡ、又は処理ユニット、ディスプレイ・ユニット、又は処理指示を与えるためのユニットとして使用することができる携帯電話機）、及びワールド・ワイド・ウェブを介して提供されるサービスを含む。
【００３８】
それぞれの事例において、エッジマップに基づくアルゴリズムは、独立していてよく、或いは、より大型のシステム手段の構成部分であってもよい。さらに、アルゴリズムを有するインターフェイス、例えば走査又は入力、デジタル処理、（必要な場合には）ユーザーに対する表示、（必要な場合には）ユーザー要求又は処理指示の入力、出力がそれぞれ、同じか又は異なるデバイス、及び物理的場所上で行われてよく、そしてデバイス及び場所の間の通信は、公的又は私的なネットワーク接続、又は媒体に基づく通信を介して行うことができる。本発明の前記開示内容と一致する場合には、アルゴリズム自体は、完全自動であってよい。しかしながら、ユーザー入力を用いることもでき、或いは操作者が結果を受諾／拒絶することもできる。（例えばカメラ内の）測定デバイスによって供給されたメタデータを使用することもできる。さらに、アルゴリズムは、種々のワークフロー・ユーザー・インターフェイス・スキームとインターフェイス接続することができる。
【００３９】
本発明による本明細書中に開示されたエッジマップに基づくアルゴリズムは、種々のデータ検出・整理技術（例えば顔検出、眼検出、皮膚検出、フラッシュ検出）を利用する内部成分を有することができる。
【符号の説明】
【００４０】
１１０ コンピュータシステム
１１２ マイクロプロセッサをベースとするユニット
１１４ ディスプレイ
１１６ キーボード
１１８ マウス
１２０ ディスプレイ上のセレクタ
１２２ ディスク・ドライブ・ユニット
１２４ コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）
１２６ フロッピー（登録商標）ディスク
１２７ ネットワーク接続
１２８ プリンタ
１３０ パーソナルコンピュータ・カード（ＰＣカード）
１３２ ＰＣカードリーダ
１３４ デジタルカメラ
１３６ カメラ・ドッキング・ポート
１３８ ケーブル接続
１４０ ワイヤレス接続
２００ ＲＧＢＰ ＣＦＡ画像
２０２ パンクロマティック画像補間
２０４ 基準パンクロマティック画像
２０６ ＲＧＢ ＣＦＡ画像補間
２０８ フルカラー画像
２１０ エッジマップ生成
２１２ 増強されたフルカラー画像
２１４ フルカラー画像増強
２１６ エッジマップ
２１８ ハイパス・フィルタリング
２２０ 高周波数画像
２２２ 閾値による数値化
２２４ ハイパス・フィルタリング
２２６ 高周波数画像
２２８ 非最大値抑制
２３０ エッジ薄化された高周波数画像
２３２ ＲＧＢ ＣＦＡ画像補間
２３４ フルカラー画像
２３６ 増強されたフルカラー画像
【技術分野】
【０００１】
本発明は、パンクロマティック画像及びカラー画像から増強されたカラー画像を形成するためにエッジマップを使用することに関する。
【背景技術】
【０００２】
ビデオカメラ及びデジタル・スチルカメラは一般に、シーンを記録するために、カラーフィルタ・アレイを有する単独の画像センサを採用する。このアプローチは、カラー情報がカラーフィルタ・アレイ・パターンによってコードされる疎い密度の単一チャネル画像で始まる。これに続く、近傍画素値の補間が、完全な３チャネル・フルカラー画像の再構成を可能にする。このフルカラー画像は、画像の外観を改善又は増強するために、ノイズ除去、鮮鋭化、又は色補正することができる。この画像増強は、画像をエッジ領域とフラット領域とに分類するために画像のエッジマップを計算することにより、大幅に容易にすることができる。このことは、エッジ領域とフラット領域とに対して異なる計算を実施するアルゴリズムを使用するのを可能にする。１つの一般的なアプローチは、輝度色チャネル、例えば「グリーン」を直接的に検出するか又は合成し、次いで、輝度画像からエッジマップを生成することである。米国特許第６，６１４，４７４号明細書（Malkin他）には、輝度チャネルを計算し、次いで方向性エッジ検出カーネル集合からエッジ情報を生成することが記載されている。このアプローチの問題点は、クロミナンスだけが変化して輝度は変化しないエッジが、検出されないリスクを負うことである。この問題に対処するために、米国特許第５，４２０，９７１号明細書（Westerink他）において、ＹＵＶ輝度−クロミナンス画像を計算し、３つ全てのチャネル（Ｙ、Ｕ、及びＶ）からエッジ情報を計算し、次いで、これらを輝度エッジ及びクロミナンス・エッジの両方を検出するためのＬ2−ノルムとして組み合わせることが教示されている。このアプローチの問題点は、計算された輝度−クロミナンス画像のノイズが、オリジナルの色データ、例えばＲＧＢのノイズによって定義されることである。オリジナルの色データのこのようなノイズレベルは、とりわけ、個々の色チャネルのスペクトル周波数応答の相対的な狭さによって決定される。捕捉されるシーンがよく照らされている場合、例えば太陽が照っている景色の場合、スペクトル周波数応答の狭さは通常、問題ではない。シーンがよく照らされていない場合、例えば屋内の場合、又はスポーツ・イベントのときに動作のぶれを低減するために必然的に露光時間が短い場合、個々の色チャネルのスペクトル周波数応答の相対的な狭さは、ノイズの多い画像を生成するおそれがある。
【０００３】
低光量イメージング状況下では、画素のうちの１つ又は２つ以上を、カラーフィルタ・アレイでフィルタリングされない状態で、すなわちスペクトル感光性がホワイト又はパンクロマティックである状態で有することが有利である。これらのパンクロマティック画素は、キャプチャ・システムの最大感光性能力を有する。パンクロマティック画素を採用することは、キャプチャ・システムにおいて、感光性と色空間解像度との間で妥協することを意味する。これを目的として、多くの４色カラーフィルタ・アレイ・システムが記載されている。米国特許第６，５２９，２３９号明細書（Dyck他）には、センサ表面全体にわたってモザイク状に形成された２×２ブロックとして配列されたグリーン−シアン−イエロー−ホワイト・パターンが教示されている。米国特許第６，７５７，０１２号明細書（Hubina他）には、レッド−グリーン−ブルー−ホワイト・パターン、及びイエロー−シアン−マゼンタ−ホワイト・パターンの両方が開示されている。両事例において、色は、イメージング装置の表面全体にわたってモザイク状に形成された２×２ブロックとして配列されている。このようなシステムの難しさは、カラーフィルタ・アレイにおける画素のうちの４分の１しか最大感光性を有さず、従って、キャプチャ装置の低光量性能全体を制限することである。
【０００４】
より多くの画素がカラーフィルタ・アレイにおいて最大感光性を有することの必要性に対処するために、米国特許出願公開第２００３／０２１０３３２号明細書（Frame）には、画素のうちのほとんどがフィルタリングされない画素アレイが記載されている。そのシーンからのカラー情報を捕捉するのに割り当てられる画素は比較的僅かであり、これにより、色空間解像度の低いシステムが生成される。加えて、Frameは、画像内の高頻度色空間ディテールに対して応答しない、又はこれを保護しない、単純な線形補間技術を用いることも教示している。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、パンクロマティック画素及びカラー画素を有するデジタル画像から、増強されたデジタルカラー画像を生成することである。
【課題を解決するための手段】
【０００６】
この目的は、
ａ． カラー画素及びパンクロマティック画素の両方を有する２次元センサ・アレイによって捕捉されたシーンの捕捉画像を使用すること；
ｂ． 該捕捉されたカラー画素に応答してフルカラー画像を形成すること；
ｃ． 該捕捉されたパンクロマティック画素に応答して基準パンクロマティック画像を形成すること；
ｄ． 該基準パンクロマティック画像に応答してエッジマップを形成すること；そして
ｅ． 該フルカラー画像を増強するために該エッジマップを使用すること
を含んで成るシーンの増強されたフルカラー画像を提供する方法によって達成される。
【発明の効果】
【０００７】
本発明の特徴は、パンクロマティック画素及びカラー画素を有するセンサを用いて低光量条件下で画像を捕捉することができ、処理を施すことにより、パンクロマティック画素及びカラー画素から生成された増強されたデジタルカラー画像がもたらされることである。
【０００８】
本発明は、上記方法が改善された低光量感受性及び改善された色空間分解忠実度の両方を提供するのを可能にするように、パンクロマティック画素とカラー画素とが好適に複合されたカラーフィルタ・アレイを利用する。上記方法は、パンクロマティック空間ディテール及びカラー空間ディテールを維持・増強し、そして増強されたフルカラー画像を生成する。
【図面の簡単な説明】
【０００９】
【図１】図１は、本発明を実施するためのデジタルカメラを含むコンピュータシステムを示す斜視図である。
【図２】図２は、本発明の好ましい態様のブロック・ダイヤグラムである。
【図３】図３は、図２のブロック２１０をより詳細に示すブロック・ダイヤグラムである。
【図４】図４は、図２のブロック２１０の別の態様をより詳細に示すブロック・ダイヤグラムである。
【図５】図５は、図４のブロック２２８における非最大値抑制の実行中に使用される画素近傍を示す図である。
【図６】図６は、本発明の別の態様を示すブロック・ダイヤグラムである。
【発明を実施するための形態】
【００１０】
以下に、通常はソフトウェア・プログラムとして実施される、本発明の好ましい態様を説明する。当業者には明らかなように、このようなソフトウェアの等価物をハードウェア内に構成することもできる。画像操作アルゴリズム及びシステムはよく知られているので、ここでは具体的には本発明によるシステム及び方法の一部を形成するアルゴリズム及びシステム、又は本発明によるシステム及び方法とより直接的に協働するアルゴリズム及びシステムに関して説明する。このようなアルゴリズム及びシステムの他の態様、及びこれに関与する画像信号を生成し、又はその他の形式で処理するためのハードウェア又はソフトウェアは、本明細書中では特に図示又は説明していないが、当業者に知られたこのようなシステム、アルゴリズム、成分及び要素から選択することができる。下記材料において本発明に基づいて説明されるシステムを考えると、本発明の実施に有用な、具体的には図示、示唆又は記載されていないソフトウェアはコンベンショナルなものであり、当業者の技術範囲に含まれる。
【００１１】
さらに、本明細書中に使用されるコンピュータプログラムは、コンピュータで読み出し可能な記憶媒体に記憶することができる。記憶媒体は例えば、磁気記憶媒体、例えば磁気ディスク（例えばハードドライブ又はフロッピー（登録商標）ディスク）、又は磁気テープ；光学記憶媒体、例えば光ディスク、光学テープ、又は機械で読み出し可能なバーコード；固体電子記憶デバイス、例えばランダム・アクセス・メモリー（ＲＡＭ）、又は読み出し専用メモリ（ＲＯＭ）；又はコンピュータプログラムを記憶するために採用される任意のその他の物理的デバイス又は媒体を含むことができる。
【００１２】
本発明の説明の前に、本発明が好ましくは、任意のよく知られたコンピュータシステム、例えばパーソナルコンピュータ上で利用されることに留意すると、理解しやすくなる。従って、コンピュータシステムについてはここでは詳細には論じない。画像がコンピュータシステム内に（例えばデジタルカメラによって）直接的に入力されるか、又はコンピュータシステム内への入力前に（例えばオリジナルのフィルム、例えばハロゲン化銀塩フィルムを走査することによって）デジタル化されることに留意するのも有益である。
【００１３】
図１を参照すると、本発明の実施のためのコンピュータシステム１１０が示されている。コンピュータシステム１１０は好ましい態様を説明する目的で図示されているが、本発明は図示のコンピュータシステム１１０に限定されるものではなく、家庭用コンピュータ、キオスク、小売店、大規模現像所、又は任意の他のデジタル画像処理システムに見いだされるような任意の電子処理システムにおいて使用することができる。コンピュータシステム１１０は、ソフトウェア・プログラムを受容して処理するための、そして他の処理機能を発揮するための、マイクロプロセッサをベースとするユニット１１２を含む。例えばグラフィカル・ユーザー・インターフェイスによって、ソフトウェアと連携するユーザー関連情報を表示するために、マイクロプロセッサをベースとするユニット１１２にはディスプレイ１１４が電気的に接続される。ユーザーがソフトウェアに情報を入力するのを可能にするために、マイクロプロセッサをベースとするユニット１１２にはキーボード１１６も接続される。入力のためのキーボード１１６の使用に代わるものとして、当業者によく知られているように、ディスプレイ１１４上でセレクタ１２０を動かすために、そしてセレクタ１２０が重なるアイテムを選択するためにマウス１１８を使用することもできる。
【００１４】
マイクロプロセッサをベースとするユニット１１２にソフトウェア・プログラム及びその他の情報を入力する手段を提供するために、マイクロプロセッサをベースとするユニット内には、典型的にはソフトウェア・プログラムを含むコンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４が挿入される。加えて、フロッピー（登録商標）ディスク１２６がソフトウェア・プログラムを含んでもよく、これはソフトウェア・プログラムを入力するために、マイクロプロセッサをベースとするユニット１１２内に挿入される。コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）１２４又はフロッピー（登録商標）ディスク１２６は、或いは、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ディスク・ドライブ・ユニット１２２内に挿入することもできる。さらに、マイクロプロセッサをベースとするユニット１１２は、ソフトウェア・プログラムを内部に記憶するために、当業者によく知られているようにプログラミングすることができる。マイクロプロセッサをベースとするユニット１１２は、外部ネットワーク、例えばローカル区域ネットワーク又はインターネットとのネットワーク接続１２７、例えば電話線を有することもできる。コンピュータシステム１１０からの出力のハードコピーをプリントするために、マイクロプロセッサをベースとするユニット１１２にプリンタ１２８を接続することもできる。
【００１５】
ディスプレイ１１４上には、パーソナルコンピュータ・カード（ＰＣカード）１３０、例えば以前から知られている、ＰＣカード１３０内に電子的に具体化されたデジタル化画像を含有するＰＣＭＣＩＡカード（Personal Computer Memory Card International Associationの仕様に基づく）を介して、画像を表示することもできる。ＰＣカード１３０は最終的には、ディスプレイ１１４上の画像の視覚的な表示を可能にするために、マイクロプロセッサをベースとするユニット１１２内に挿入される。或いは、ＰＣカード１３０は、マイクロプロセッサをベースとするユニット１１２に接続された外部配置型ＰＣカードリーダ１３２内に挿入することもできる。コンパクトディスク１２４、フロッピー（登録商標）ディスク１２６、又はネットワーク接続１２７を介して、画像を入力することもできる。ＰＣカード１３０、フロッピー（登録商標）ディスク１２６又はコンパクトディスク１２４内に記憶された、又はネットワーク接続１２７を介して入力された任意の画像は、種々の源、例えばデジタルカメラ（図示せず）又はスキャナ（図示せず）から得られたものであってよい。画像は、マイクロプロセッサをベースとするユニット１１２に接続されたカメラ・ドッキング・ポート１３６を介してデジタルカメラ１３４から直接的に、又はマイクロプロセッサをベースとするユニット１１２とのケーブル接続１３８を介して、又はマイクロプロセッサをベースとするユニット１１２とのワイヤレス接続１４０を介して、デジタルカメラ１３４から直接的に入力することもできる。
【００１６】
本発明によれば、アルゴリズムを前述の記憶デバイスのうちのいずれかに記憶し、そして画像を鮮鋭化するために画像に適用することができる。
【００１７】
図２は、本発明の好ましい態様の高レベル・ダイヤグラムである。デジタルカメラ１３４（図１）は、オリジナルのデジタル・レッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００（デジタルＲＧＢＰ ＣＦＡ画像又はＲＧＢＰ ＣＦＡ画像とも呼ばれる）を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。パンクロマティック画像補間ブロック２０２が、ＲＧＢＰ ＣＦＡ画像２００から基準パンクロマティック画像２０４を生成する。エッジマップ生成ブロック２１０が基準パンクロマティック画像２０４からエッジマップ２１６を生成する。ＲＧＢＰ ＣＦＡ画像２００から、ＲＧＢ ＣＦＡ画像補間ブロック２０６が続いてフルカラー画像２０８を生成する。フルカラー画像増強ブロック２１４が、フルカラー画像２０８及びエッジマップ２０４から、増強されたフルカラー画像２１２を生成する。
【００１８】
図２において、パンクロマティック画像補間ブロック２０２及びＲＧＢ ＣＦＡ画像補間ブロック２０６は、当業者に知られたいかなる好適な方法でも実施することができる。米国特許出願第２００７／００２４９３４号明細書中に、いくつかの例を見いだすことができる。この参考文献には、基準パンクロマティック画像を生成するために捕捉されたパンクロマティック画素だけを使用する例、基準画像を生成するために捕捉されたパンクロマティック画素及び捕捉されたカラー画素を使用する例、フルカラー画像を生成するために捕捉されたカラー画素だけを使用する例、及び、フルカラー画像を生成するために捕捉されたカラー画素及び捕捉されたパンクロマティック画素を使用する例が含まれている。
【００１９】
図３は、好ましい態様のためのエッジマップ生成ブロック２１０（図２）の詳細なブロック・ダイヤグラムである。ハイパス・フィルタリング・ブロック２１８が、基準パンクロマティック画像２０４（図２）から高周波数画像２２０を生成する。ハイパス・フィルタリングは一般に、２つの方法のうちの一方によって、すなわち直接コンボリューション法によって又はアンシャープ・マスキングの一部として実施される。直接コンボリューションの場合、基準パンクロマティック画像２０４（図２）は、ハイパス・カーネルと一緒に畳み込まれ、結果の絶対値は高周波数画像２２０である。好適なハイパス・カーネルの例は、次式である。
【００２０】
【数１】
【００２１】
他の好適なハイパス・カーネルをどのように作成するかは当業者によく知られている。アンシャープ・マスキングの場合、基準パンクロマティック画像２０４（図２）は、ローパス・カーネルと一緒に畳み込まれ、結果としての低周波数画像は、基準パンクロマティック画像２０４（図２）から差し引かれる。この減算の絶対値は、高周波数画像２２０である。好適なローパス・カーネルの例は、次式となる。
【００２２】
【数２】
【００２３】
他の好適なローパス・カーネルをどのように作成するかは当業者によく知られている。図３の説明を続けると、閾値による数値化(thresholding)ブロック２２２が高周波数画像２２０からエッジマップ２１６（図２）を生成した。ブロック２２２の閾値による数値化は一般に、高周波数画像２２０の各画素値を所与の閾値に対してテストすることにより実施される。高周波数画像２２０の画素値が所与の閾値以上である場合、エッジマップにおける対応画素値は、エッジ画素としてマーキングされ、そしてエッジの存在を示す値、例えば１に設定される。高周波数画像２２０の画素値が所与の閾値未満である場合、エッジマップにおける対応画素値は、フラット画素としてマーキングされ、そしてエッジの不在を示す値、例えば０に設定される。複数の閾値を使用することもできる。一例としては、比較的大きい第１閾値を使用して第１エッジマップを生成した後、より小さい第２閾値を使用して、第１エッジマップ及び高周波数画像２２０から第２エッジマップを生成する。この事例では、エッジ画素としてマーキングされた第１エッジマップにおける各画素位置は、対応位置の第２エッジマップにおけるエッジ画素として自動的にマーキングされる。第１エッジマップにおける或る画素位置がフラット画素としてマーキングされ、そして隣接画素位置のうちの少なくとも１つがエッジ画素としてマーキングされた場合、対応高周波数画像２２０の画素値は、第２閾値と比較される。高周波数画像２２０の画素値が第２閾値以上である場合、第２エッジマップにおける対応画素値は、エッジ画素としてマーキングされる。高周波数画像２２０の画素値が第２閾値未満である場合、第２エッジマップにおける対応画素値は、フラット画素としてマーキングされる。追加の閾値を使用してこの過程を続行できることは当業者には明らかである。
【００２４】
図４は、別の態様に対応するエッジマップ生成ブロック２１０（図２）の詳細なブロック・ダイヤグラムである。ハイパス・フィルタリング・ブロック２２４が、基準パンクロマティック画像２０４（図２）から高周波数画像２２６を生成する。高周波数画像２２６は３つのチャネルを有している。第１チャネルはエッジ強度値を含み、このエッジ強度値は、ハイパス・フィルタリング・ブロック２１８（図３）によって実施されるのと同じ計算によって生成された結果である。第２チャネルは、水平勾配カーネルとのコンボリューションの絶対値を求めることにより生成された水平勾配値を含む。このようなカーネルの例は次式である。
【００２５】
【数３】
【００２６】
第３チャネルは、垂直勾配カーネルとのコンボリューションの絶対値を求めることにより生成された垂直勾配値を含む。このようなカーネルの例は次式である。
【００２７】
【数４】
【００２８】
次に、非最大値抑制ブロック２２８は、高周波数画像２２６からエッジ薄化された(edge-thinned)高周波数画像２３０を生成する。各エッジ強度(edge magnitude)画素位置に対して水平勾配値を垂直勾配値と比較することにより、ブロック２２８の非最大値抑制を行う。水平勾配値が垂直勾配値以上である場合には、非最大値抑制方向は水平方向である。垂直勾配値が水平勾配値を上回る場合には、非最大値抑制方向は垂直方向である。図５は、エッジ強度値の画素近傍の一例であり、この場合エッジ強度値Ｅ3が操作される。非最大値抑制方向が水平方向である場合、Ｅ3はＥ2及びＥ4双方以上であれば、変わらないままにされる。そうでなければ、Ｅ3はゼロに設定される。非最大値抑制方向が垂直方向である場合、Ｅ3はＥ1及びＥ5双方以上であれば、変わらないままにされる。そうでなければ、Ｅ3はゼロに設定される。図４において、閾値による数値化ブロック２２２は、図３に基づいて前述したのと同じ操作である。
【００２９】
あらゆる方法で、例えば形態学的処理によって、エッジマップ２１６（図２）を増強することにより、ノイズの影響を軽減し、又はエッジマップ２１６（図２）内部の特徴の厚さを、このエッジマップを続いて用いるのに伴って変化させ得ることは当業者に明らかである。
【００３０】
図２に戻って、フルカラー画像増強ブロック２１４のためにいくつかの例をここで示す。１つのこのようなフルカラー画像増強は、ノイズ低減である。以後中心画素と呼ぶフルカラー画像２０８内の各画素に対して、エッジマップ２１６内の対応値を、これがエッジ画素としてマーキングされるか又はフラット画素としてマーキングされるかを見るためにチェックする。中心画素がエッジ画素である場合、その画素値のノイズ低減は、エッジ・ディテールを維持するために省くことができる。中心画素がフラット画素である場合、中心画素から所与の距離以内の他のフラット画素の全てを、ノイズ低減された中心画素値を生成するために、一緒に平均する。
【００３１】
フルカラー画像増強の別の例は、鮮鋭化（エッジ増強）である。2007年1月9日付けで出願された米国特許出願第１１／６２１，１３９号明細書に教示されているように、フルカラー画像２０８から、又は基準パンクロマティック画像２０４から、鮮鋭化チャネルを生成することができる。次に、以後中心画素と呼ぶフルカラー画像２０８内の各画素に対して、エッジマップ２１６内の対応値を、これがエッジ画素としてマーキングされるか又はフラット画素としてマーキングされるかを見るためにチェックする。中心画素がエッジ画素である場合、エッジ・ディテールを鮮鋭化するために、完全対応鮮鋭化チャネル値を中心画素値に加える。中心画素がフラット画素である場合、フルカラー画像内の望ましくないノイズ増幅を低減するために、中心画素値に対応鮮鋭化チャネル値を一部加えるか、又は全く加えない。
【００３２】
フルカラー画像増強の別の例は、色補正である。色補正は通常、増強されたフルカラー画像２１２を生成するために、フルカラー画像２０８のカラーチャネル値を３×３行列で掛け算することにより行われる。この計算は下記形態を成す。
【００３３】
【数５】
【００３４】
上記式中（Ｒ，Ｇ，Ｂ）は、フルカラー画像２０８のカラーチャネル値を意味し、そして（Ｒ’，Ｇ’，Ｂ’）は、増強されたフルカラー画像２１２を意味する。フルカラー画像２０８内の各画素に対して、エッジマップ２１６内の対応値を、これがエッジ画素としてマーキングされるか又はフラット画素としてマーキングされるかを見るためにチェックする。画素がエッジ画素である場合、完全対応色補正をフルカラー画像２０８の画素値に施す。画素がフラット画素である場合、ノイズ及び画像処理アーチファクトの可視性を低減するために、フルカラー画像２０８の画素値に色補正を一部施すか、又は全く施さない。
【００３５】
図６は、本発明の別の態様の高レベル・ダイヤグラムである。図１に示すデジタルカメラ１３４は、デジタルＲＧＢＰ ＣＦＡ画像又はＲＧＢＰ ＣＦＡ画像とも呼ばれるオリジナルのデジタル・レッド−グリーン−ブルー−パンクロマティック（ＲＧＢＰ）カラーフィルタ・アレイ（ＣＦＡ）画像２００を形成することに関与する。なおここで注意すべきなのは、下記説明におけるレッド−グリーン−ブルー−パンクロマティックの代わりに、他のカラーチャネルの組み合わせ、例えばシアン−マゼンタ−イエロー−パンクロマティックを使用できることである。重要なことは、パンクロマティック・チャネルを含んでいることである。この画像は、スパース・サンプリングされた画像であると考えられる。なぜならば画像内の各画素はレッド、グリーン、ブルー、又はパンクロマティック・データの画素値を１つしか含有していないからである。パンクロマティック画像補間ブロック２０２が、ＲＧＢＰ ＣＦＡ画像２００から基準パンクロマティック画像２０４を生成する。エッジマップ生成ブロック２１０が基準パンクロマティック画像２０４からエッジマップ２１６を生成する。ＲＧＢＰ ＣＦＡ画像２００及び基準パンクロマティック画像２０４から、ＲＧＢ ＣＦＡ画像補間ブロック２３２が続いてフルカラー画像２０８を生成する。フルカラー画像増強ブロック２１４が、フルカラー画像２３４及びエッジマップ２１６から、増強されたフルカラー画像２３６を生成する。
【００３６】
図６において、パンクロマティック画像補間ブロック２０２及びＲＧＢ ＣＦＡ画像補間ブロック２３２は、当業者に知られたいかなる好適な方法でも実施することができる。米国特許出願第２００７／００２４９３４号明細書に例を見いだすことができる。この参考文献には、基準パンクロマティック画像を生成するために捕捉されたパンクロマティック画素だけを使用する例、基準画像を生成するために捕捉されたパンクロマティック画素及び捕捉されたカラー画素を使用する例、フルカラー画像を生成するために捕捉されたカラー画素だけを使用する例、及び、フルカラー画像を生成するために捕捉されたカラー画素及び捕捉されたパンクロマティック画素を使用する例が含まれている。図６の他のブロックのディテールは、図面に示されている好ましい態様におけるのと同じである。
【産業上の利用可能性】
【００３７】
本発明の好ましい態様に開示されたエッジマップに基づくアルゴリズムは、種々様々なユーザー状況及び環境において採用することができる。状況及び環境は、一例として、卸売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウトのようなプロセス・ステップ又は段に関与する）、小売業用デジタル写真仕上げ（例えば、フィルムの受け入れ、デジタル処理、プリントアウト）、家庭内印刷（家庭内で走査されたフィルム又はデジタル画像、デジタル処理、プリントアウト）、デスクトップ・ソフトウェア（デジタルプリントをより良くするか、又はただこれらを変化させるだけのために、アルゴリズムをデジタルプリントに適用するソフトウェア）、デジタル・フルフィルメント（媒体からの、又はウェブを介したデジタル画像の受け入れ、デジタル処理、そして媒体上のデジタル形態の画像、又はウェブを介したデジタル形態の画像、又はハードコピー・プリント上に印刷された画像の納品を伴う）、キオスク（デジタル又は走査入力、デジタル処理、デジタル又は走査出力）、携帯デバイス（例えばＰＤＡ、又は処理ユニット、ディスプレイ・ユニット、又は処理指示を与えるためのユニットとして使用することができる携帯電話機）、及びワールド・ワイド・ウェブを介して提供されるサービスを含む。
【００３８】
それぞれの事例において、エッジマップに基づくアルゴリズムは、独立していてよく、或いは、より大型のシステム手段の構成部分であってもよい。さらに、アルゴリズムを有するインターフェイス、例えば走査又は入力、デジタル処理、（必要な場合には）ユーザーに対する表示、（必要な場合には）ユーザー要求又は処理指示の入力、出力がそれぞれ、同じか又は異なるデバイス、及び物理的場所上で行われてよく、そしてデバイス及び場所の間の通信は、公的又は私的なネットワーク接続、又は媒体に基づく通信を介して行うことができる。本発明の前記開示内容と一致する場合には、アルゴリズム自体は、完全自動であってよい。しかしながら、ユーザー入力を用いることもでき、或いは操作者が結果を受諾／拒絶することもできる。（例えばカメラ内の）測定デバイスによって供給されたメタデータを使用することもできる。さらに、アルゴリズムは、種々のワークフロー・ユーザー・インターフェイス・スキームとインターフェイス接続することができる。
【００３９】
本発明による本明細書中に開示されたエッジマップに基づくアルゴリズムは、種々のデータ検出・整理技術（例えば顔検出、眼検出、皮膚検出、フラッシュ検出）を利用する内部成分を有することができる。
【符号の説明】
【００４０】
１１０ コンピュータシステム
１１２ マイクロプロセッサをベースとするユニット
１１４ ディスプレイ
１１６ キーボード
１１８ マウス
１２０ ディスプレイ上のセレクタ
１２２ ディスク・ドライブ・ユニット
１２４ コンパクトディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）
１２６ フロッピー（登録商標）ディスク
１２７ ネットワーク接続
１２８ プリンタ
１３０ パーソナルコンピュータ・カード（ＰＣカード）
１３２ ＰＣカードリーダ
１３４ デジタルカメラ
１３６ カメラ・ドッキング・ポート
１３８ ケーブル接続
１４０ ワイヤレス接続
２００ ＲＧＢＰ ＣＦＡ画像
２０２ パンクロマティック画像補間
２０４ 基準パンクロマティック画像
２０６ ＲＧＢ ＣＦＡ画像補間
２０８ フルカラー画像
２１０ エッジマップ生成
２１２ 増強されたフルカラー画像
２１４ フルカラー画像増強
２１６ エッジマップ
２１８ ハイパス・フィルタリング
２２０ 高周波数画像
２２２ 閾値による数値化
２２４ ハイパス・フィルタリング
２２６ 高周波数画像
２２８ 非最大値抑制
２３０ エッジ薄化された高周波数画像
２３２ ＲＧＢ ＣＦＡ画像補間
２３４ フルカラー画像
２３６ 増強されたフルカラー画像
【特許請求の範囲】
【請求項１】
シーンの増強されたフルカラー画像を提供する方法であって：当該方法は、
ａ． カラー画素及びパンクロマティック画素の両方を有する２次元センサ・アレイによって捕捉されたシーンの捕捉画像を使用すること；
ｂ． 該捕捉されたカラー画素に応答してフルカラー画像を形成すること；
ｃ． 該捕捉されたパンクロマティック画素に応答して基準パンクロマティック画像を形成すること；
ｄ． 該基準パンクロマティック画像に応答してエッジマップを形成すること；そして
ｅ． 該フルカラー画像を増強するために該エッジマップを使用すること
を含んで成る。
【請求項２】
要素ｂが、該フルカラー画像を形成するために、該捕捉されたカラー画素及び該捕捉されたパンクロマティック画素の両方を使用することを含む請求項１に記載の方法。
【請求項３】
要素ｃが、該基準パンクロマティック画像を形成するために、該捕捉されたカラー画素及び該捕捉されたパンクロマティック画素の両方を使用することを含む請求項１に記載の方法。
【請求項４】
該フルカラー画像を形成するために該基準パンクロマティック画像を使用することをさらに含む請求項２に記載の方法。
【請求項５】
該エッジマップが、ノイズ除去を行うために使用される請求項１に記載の方法。
【請求項６】
該エッジマップが、鮮鋭化を行うために使用される請求項１に記載の方法。
【請求項７】
該エッジマップが、色補正を行うために使用される請求項１に記載の方法。
【請求項１】
シーンの増強されたフルカラー画像を提供する方法であって：当該方法は、
ａ． カラー画素及びパンクロマティック画素の両方を有する２次元センサ・アレイによって捕捉されたシーンの捕捉画像を使用すること；
ｂ． 該捕捉されたカラー画素に応答してフルカラー画像を形成すること；
ｃ． 該捕捉されたパンクロマティック画素に応答して基準パンクロマティック画像を形成すること；
ｄ． 該基準パンクロマティック画像に応答してエッジマップを形成すること；そして
ｅ． 該フルカラー画像を増強するために該エッジマップを使用すること
を含んで成る。
【請求項２】
要素ｂが、該フルカラー画像を形成するために、該捕捉されたカラー画素及び該捕捉されたパンクロマティック画素の両方を使用することを含む請求項１に記載の方法。
【請求項３】
要素ｃが、該基準パンクロマティック画像を形成するために、該捕捉されたカラー画素及び該捕捉されたパンクロマティック画素の両方を使用することを含む請求項１に記載の方法。
【請求項４】
該フルカラー画像を形成するために該基準パンクロマティック画像を使用することをさらに含む請求項２に記載の方法。
【請求項５】
該エッジマップが、ノイズ除去を行うために使用される請求項１に記載の方法。
【請求項６】
該エッジマップが、鮮鋭化を行うために使用される請求項１に記載の方法。
【請求項７】
該エッジマップが、色補正を行うために使用される請求項１に記載の方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公表番号】特表２０１０−５２５４２７（Ｐ２０１０−５２５４２７Ａ）
【公表日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願番号】特願２０１０−５０２０９２（Ｐ２０１０−５０２０９２）
【出願日】平成２０年３月２６日（２００８．３．２６）
【国際出願番号】ＰＣＴ／ＵＳ２００８／００３９４１
【国際公開番号】ＷＯ２００８／１２１２８０
【国際公開日】平成２０年１０月９日（２００８．１０．９）
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【Ｆターム（参考）】
【公表日】平成２２年７月２２日（２０１０．７．２２）
【国際特許分類】
【出願日】平成２０年３月２６日（２００８．３．２６）
【国際出願番号】ＰＣＴ／ＵＳ２００８／００３９４１
【国際公開番号】ＷＯ２００８／１２１２８０
【国際公開日】平成２０年１０月９日（２００８．１０．９）
【出願人】（５９００００８４６）イーストマン コダック カンパニー (1,594)
【Ｆターム（参考）】
[ Back to top ]