撮像装置、画像処理装置およびプログラム
【課題】 後処理工程のときに飽和領域の抽出を高速かつより正確に行う手段を提供する。
【解決手段】 撮像装置は、カラー画像を撮像するための複数の画素が二次元配列された撮像素子と、飽和領域判定部と、記録処理部とを備える。飽和領域判定部は、画素から出力される画素値が、飽和領域に対応する閾値以上か否かを判定する。記録処理部は、画素値が閾値以上である飽和領域画素の位置を示す付帯データを、カラー画像のデータに対応付けて記憶媒体に記録する。
【解決手段】 撮像装置は、カラー画像を撮像するための複数の画素が二次元配列された撮像素子と、飽和領域判定部と、記録処理部とを備える。飽和領域判定部は、画素から出力される画素値が、飽和領域に対応する閾値以上か否かを判定する。記録処理部は、画素値が閾値以上である飽和領域画素の位置を示す付帯データを、カラー画像のデータに対応付けて記憶媒体に記録する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
撮像装置でダイナミックレンジの大きなシーンを撮影すると、被写体の明るい領域で撮像素子の出力が飽和することがあり、この場合には正しい階調情報が得られなくなる。そのため、撮像装置で撮影された画像の画素値を参照して飽和領域を抽出し、飽和領域の各画素で色成分信号を変更する方法も提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開ＷＯ２００６／１３４９２３
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記の手法では、後処理工程において撮影後の画像をコンピュータで処理するたびに、画像から飽和領域を抽出しなければならない。また、飽和領域の抽出精度についても改善の余地があった。
【０００５】
上記事情に鑑み、後処理工程のときに飽和領域の抽出を高速かつより正確に行う手段を提供する。
【課題を解決するための手段】
【０００６】
一の態様に係る撮像装置は、カラー画像を撮像するための複数の画素が二次元配列された撮像素子と、飽和領域判定部と、記録処理部とを備える。飽和領域判定部は、画素から出力される画素値が、飽和領域に対応する閾値以上か否かを判定する。記録処理部は、画素値が閾値以上である飽和領域画素の位置を示す付帯データを、カラー画像のデータに対応付けて記憶媒体に記録する。
【０００７】
上記の一の態様において、記録処理部は、飽和領域画素に対応する色成分を示す情報を付帯データに含めてもよい。
【０００８】
上記の一の態様において、撮像素子は、入射光に応じた画素値を出力する有効画素と、黒レベルの信号を生成する遮光画素とを含んでいてもよい。また、飽和領域判定部は、黒レベルの大きさを考慮して、有効画素の画素値が閾値以上か否かを判定してもよい。
【０００９】
上記の一の態様において、記録処理部は、付帯データとカラー画像のデータとを、それぞれ異なる圧縮形式で圧縮してもよい。
【００１０】
他の態様に係る画像処理装置は、一の態様に係る撮像装置で生成されたカラー画像のデータおよび付帯データを取得する取得部と、画像処理部とを備える。画像処理部は、付帯データを用いて、カラー画像上の飽和領域画素の位置を特定する。そして、画像処理部は、画素値が飽和領域に属する色成分に応じて、カラー画像の飽和領域画素での色再現を補正する。
【００１１】
なお、コンピュータを上記の画像処理装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の画像処理装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。
【発明の効果】
【００１２】
画素値が閾値以上である飽和領域画素の位置を示す付帯データを、カラー画像のデータに対応付けて記憶媒体に記録する。これにより、後処理工程のときに飽和領域の抽出を高速かつより正確に行うことが可能となる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態の撮像装置の構成例を示す図
【図２】撮像素子の画素の配置例を示す図
【図３】第１実施形態の撮像装置におけるＲＡＷ記録モードでの動作例を示す流れ図
【図４】撮影画像および飽和領域マップの例を模式的に示す図
【図５】第２実施形態の画像処理装置の構成例を示す図
【図６】第２実施形態の画像処理装置の動作例を示す流れ図
【図７】画像のハイライトでの色相変化の例を示す図
【発明を実施するための形態】
【００１４】
＜第１実施形態の説明＞
図１は、第１実施形態の撮像装置（電子カメラ）の構成例を示す図である。
【００１５】
電子カメラ１１は、撮影レンズ１２と、撮像素子１３と、Ａ／Ｄ変換部１４と、画像処理エンジン１５と、バッファメモリ１６と、記録Ｉ／Ｆ１７と、操作部１８とを備えている。ここで、Ａ／Ｄ変換部１４、バッファメモリ１６、記録Ｉ／Ｆ１７および操作部１８は、それぞれ画像処理エンジン１５と接続されている。なお、操作部１８は、ユーザの操作（例えば被写体の撮影指示など）を受け付けるスイッチである。
【００１６】
撮像素子１３は、撮影レンズ１２による結像を撮像する撮像デバイスである。撮像素子１３の出力は、画像信号のＡ／Ｄ変換を行うＡ／Ｄ変換部１４を介して、画像処理エンジン１５に入力される。上記の撮像素子１３は、順次走査方式の固体撮像素子（例えばＣＣＤ）であってもよく、ＸＹアドレス方式の固体撮像素子（例えばＣＭＯＳ）であってもよい。
【００１７】
図２は、撮像素子１３の画素の配置例を示す図である。撮像素子１３の受光面には、複数の画素（１３ａ、１３ｂ）がマトリクス状に二次元配列されている。図２では画素の配列を簡略化して示すが、実際の固体撮像素子の受光面にはさらに多数の画素が配列されることはいうまでもない。
【００１８】
撮像素子１３の画素は、有効画素１３ａと遮光画素１３ｂとを含む。有効画素１３ａは、入射光の明るさに応じて信号電荷を蓄積する画素である。そして、有効画素１３ａの出力に基づいて撮影画像の画像信号が生成される。また、有効画素１３ａには、赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列に従って配置されている。図２では、有効画素１３ａにカラーフィルタの色を表記する。撮像素子１３の各有効画素１３ａは、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像素子１３は、撮影時にカラーの画像を取得できる。
【００１９】
一方、遮光画素１３ｂは、遮光膜によって表面が覆われた画素である。遮光画素１３ｂは、温度変化等によって受光素子に蓄積される電荷（暗電流成分）を検出する。そして、遮光画素１３ｂの出力に基づいて画像の黒色に相当する黒レベルが決定される。一例として、撮像素子１３の受光面において、有効画素１３ａの周囲のリングピクセル部分に遮光画素１３ｂが形成される。図２の例では、遮光画素１３ｂの領域を破線で囲んで示す。
【００２０】
画像処理エンジン１５は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン１５は、ユーザの撮影指示に応じて画像の撮影を実行する。また、第１実施形態での画像処理エンジン１５は、画像処理部２１、飽和領域判定部２２、記録処理部２３を有している。
【００２１】
画像処理部２１は、Ａ／Ｄ変換部１４から入力されたＲＡＷ画像のデータに対して、黒レベル補正、欠陥画素補正などの信号処置と、デジタル現像処理とを施す回路である。ここで、デジタル現像処理は、ＲＡＷ画像から写真に相当する現像画像を生成するための画像処理であって、一例として、色補間、ホワイトバランス補正、階調変換、色変換、ガマットマッピングなどの処理が含まれる。
【００２２】
飽和領域判定部２２は、デジタル現像処理が施される前のＲＡＷ画像のデータを記録する撮影モード（ＲＡＷ記録モード）において、有効画素の画素値が飽和領域に対応する閾値以上か否かを判定する。
【００２３】
記録処理部２３は、上記のＲＡＷ記録モードにおいて、後述の飽和領域画素を示す付帯データを、ＲＡＷ画像のデータに対応付けて記録する。
【００２４】
バッファメモリ１６は、各画像のデータを一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭで構成される。
【００２５】
記録Ｉ／Ｆ１７は、不揮発性の記憶媒体１９を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体１９に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。
【００２６】
次に、図３を参照しつつ、第１実施形態の撮像装置におけるＲＡＷ記録モードでの動作例を説明する。なお、図３の処理は、ＲＡＷ記録モード下で撮影指示（レリーズ釦の全押し操作）があるときに開始される。
【００２７】
ステップ＃１０１：画像処理エンジン１５は、撮像素子１３を駆動させて被写体の像を撮影する。画像処理エンジン１５の制御により、撮像素子１３から出力された信号は、Ａ／Ｄ変換部１４を通過してバッファメモリ１６に記録される。これにより、バッファメモリ１６には、１画像分のＲＡＷ画像のデータが蓄積される。なお、第１実施形態のＲＡＷ記録モードでは、ＲＡＷ画像の画素値の階調を１２ビット（０〜４０９５）とする。
【００２８】
ステップ＃１０２：画像処理部２１は、ＲＡＷ画像のデータに対して黒レベル補正を行う。一例として、画像処理部２１は、遮光画素の画素値から黒レベルの値を決定し、有効画素の画素値から黒レベルの値を減算すればよい。これにより、有効画素の画素値から暗電流成分が除去される。
【００２９】
第１実施形態において、＃１０２のＲＡＷ画像は、色補間前の状態であるベイヤ配列構造のモザイク画像である。しかし、画像処理部２１は、この段階で色補間処理を行ってもよい。この場合、ＲＡＷ画像のデータは、各画素がそれぞれＲＧＢの３チャネルの情報を有する形式となる。なお、＃１０２のＲＡＷ画像のデータは、欠陥画素補正が施されたデータであってもよい。
【００３０】
ステップ＃１０３：記録処理部２３は、ＪＰＥＧ２０００やＤＰＣＭなどの圧縮方式で黒レベル補正後のＲＡＷ画像のデータ（＃１０２）を圧縮する。なお、圧縮後のＲＡＷ画像のデータは、バッファメモリ１６に一時的に記憶される。
【００３１】
ステップ＃１０４：一方、飽和領域判定部２２は、黒レベル補正後のＲＡＷ画像のデータ（＃１０２）に飽和判定を行う。この飽和判定は、ＲＡＷ画像の各有効画素を判定対象として行われる。
【００３２】
＃１０４での飽和領域判定部２２は、ＲＡＷ画像の有効画素の画素値が、飽和領域に対応する閾値以上か否かを判定する。第１実施形態では、飽和領域に対応する閾値は、白トビによって画素の階調が失われるレベルに相当し、黒レベルの大きさを考慮してその値が決定される。一例として、飽和領域判定部２２は、画素値の最大値（４０９５）から黒レベルの値を差し引いて撮影ごとに上記の閾値を設定してもよい。
【００３３】
あるいは、飽和領域判定部２２は、撮像素子１３の特性や各種回路の特性を考慮して、実際の黒レベルの値に拘わらず上記の閾値を予め設定してもよい。一例として、飽和領域判定部２２は、画素値の最大値（４０９５）から想定される黒レベルのマージン（例えば５００）を差し引いて、上記の閾値を３５９５に設定してもよい。このとき、飽和領域判定部２２は、撮影条件を考慮して飽和領域に対応する閾値を変更してもよい。例えば、撮影時の露出時間か長くなれば暗電流成分は増加するので、飽和領域判定部２２は露出時間の長さに応じて上記の閾値を低減させてもよい。また、撮像感度の下限がＩＳＯ２００相当であるときに撮像感度をＩＳＯ１００相当まで拡張する場合、飽和領域判定部２２は黒レベルのマージンを小さくして、有効に使える階調範囲をより広くしてもよい。
【００３４】
＃１０４での飽和領域判定部２２は、判定対象の画素値が上記の閾値以上であるときには、判定対象の画素を飽和領域画素に指定する。そして、飽和領域判定部２２は、飽和領域画素の位置（画素配列での座標）と、飽和領域画素に対応する色成分とをバッファメモリ１６に記憶する。これにより、バッファメモリ１６には、各色チャネルでの飽和領域画素の位置を示す飽和領域マップが生成される。なお、各々の飽和領域マップは、例えば、飽和領域画素か否かを２進数で示す１ビットの画素配列データで表現される。
【００３５】
図４は、撮影画像および飽和領域マップの例を模式的に示す図である。図４（ａ）は、逆光下で風景を撮影したデジタル現像処理後の画像の例であり、図４（ｂ）〜（ｄ）は、図４（ａ）に対応するＲＡＷ画像でのＲＧＢ各チャネルの飽和領域マップの例を示している。なお、図４の飽和領域マップにおいて、飽和領域画素はハッチングで示す。
【００３６】
図４の例では、Ｇチャネルで飽和領域が比較的多く分布し、ＢチャネルではＧチャネルの飽和領域と重なる位置に飽和領域が部分的に存在する。一方、Ｒチャネルでは飽和領域が全く存在しない。上記のような色ごとの飽和領域の相違は、撮像素子１３でのカラーフィルタの感度の違いによって生じる。かかる飽和領域マップを参照することで、或る画素において飽和した色成分を判断することができ、後処理工程のデジタル現像処理において画像の色再現をより自然な状態に近づけることが可能となる。
【００３７】
ステップ＃１０５：記録処理部２３は、＃１０４で生成した飽和領域マップのデータを圧縮する。飽和領域マップのデータでは、性質上２進数の一方の値が連続することが多い。そのため、記録処理部２３は、＃１０３とは異なりランレングス圧縮やＪＢＩＧなどの圧縮方式で飽和領域マップのデータを圧縮する。両者の圧縮方式を異ならせることで、ＲＡＷ画像のデータと飽和領域マップのデータとをそれぞれ効率よく圧縮できる。なお、圧縮後の飽和領域マップのデータは、バッファメモリ１６に一時的に記憶される。
【００３８】
ステップ＃１０６：記録処理部２３は、圧縮されたＲＡＷ画像のデータ（＃１０３）と、付帯データである飽和領域マップのデータ（＃１０５）とを対応付けして、ＲＡＷ画像ファイルを生成する。そして、記録処理部２３は、ＲＡＷ画像ファイルを記憶媒体１９に記録する。なお、記録処理部２３は、ＲＡＷ画像ファイルの付帯データとして撮像素子１３のカラーフィルタの配列パターンを示す情報や、撮影時の光源判定に基づくホワイトバランスデータなどをさらに付与する。以上で、図３の処理が終了する。
【００３９】
なお、ＲＡＷ記録モードで生成されたＲＡＷ画像ファイルは、後述の画像処理装置に読み込まれて撮影後にデジタル現像処理が施される。これにより、後処理工程でＲＡＷ画像から写真に相当する現像画像を得ることができる。画像処理装置は、デジタル現像処理を行うときに、ＲＡＷ画像ファイルの飽和領域マップを用いて、飽和領域画素に応じた色補正を行うことが可能となる。また、第１実施形態では、ＲＡＷ画像ファイルに飽和領域マップが予め記憶されているため、後処理工程のときに飽和領域の抽出を高速かつより正確に行うことが可能となる。
【００４０】
＜第２実施形態の説明＞
図５は、第２実施形態の画像処理装置の構成例を示す図である。第２実施形態の画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。第２実施形態の画像処理装置は、第１実施形態で生成されたＲＡＷ画像ファイルに対してデジタル現像処理を施す。
【００４１】
図５に示すコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。
【００４２】
データ読込部３２は、ＲＡＷ画像ファイルや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部３２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。
【００４３】
記憶装置３３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置３３には、画像処理プログラムが記録される。なお、記憶装置３３には、データ読込部３２から読み込んだＲＡＷ画像ファイルや、ＲＡＷ画像から生成された現像画像のデータを記憶しておくこともできる。
【００４４】
ＣＰＵ３４は、コンピュータ３１の各部を統括的に制御するプロセッサである。このＣＰＵ３４は、画像処理プログラムの実行によって、上記の画像処理部２１として機能する。
【００４５】
メモリ３５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭである。
【００４６】
次に、図６を参照しつつ、第２実施形態の画像処理装置の動作例を説明する。なお、図６の処理は、ユーザによる画像処理プログラムの実行指示に応じて開始される。
【００４７】
ステップ＃２０１：ＣＰＵ３４は、デジタル現像処理の対象となるＲＡＷ画像ファイル（第１実施形態で生成されたＲＡＷ画像ファイル）を、データ読込部３２から取得する。＃２０１で取得されたＲＡＷ画像ファイルは、ＣＰＵ３４の制御によって、記憶装置３３またはメモリ３５に記録される。なお、ＲＡＷ画像ファイルが予め記憶装置３３に記憶されている場合には、ＣＰＵ３４は＃２０１の処理を省略してもよい。
【００４８】
ステップ＃２０２：画像処理部２１は、ＲＡＷ画像ファイルの付帯データ（飽和領域マップ）を用いて、ＲＡＷ画像の色チャネルごとに飽和領域画素の位置をそれぞれ特定する。なお、飽和領域マップがベイヤ配列構造のデータである場合、ＣＰＵ３４はカラーフィルタの配列パターンの情報を用いて、ＲＧＢの各チャネルの飽和領域マップを生成する。
【００４９】
なお、図４に示すように、飽和領域画素の分布は色チャネルごとに相違する。そのため、ＲＡＷ画像には、全ての色チャネルで飽和が生じていない画素と、１または複数の色チャネルで飽和が生じている画素とが混在しうる。
【００５０】
ステップ＃２０３：画像処理部２１は、ＲＡＷ画像ファイルのＲＡＷ画像のデータに対して、デジタル現像処理を施す。
【００５１】
一例として、画像処理部２１は、付帯データのホワイトバランスデータを用いてＲＡＷ画像のホワイトバランス補正を行い、その後に必要に応じて色補間処理を行う。
【００５２】
そして、画像処理部２１は、ホワイトバランス補正後の画像のデータに対して、＃２０２で特定した飽和領域画素のハイライト補正を行う。このとき、画像処理部２１は、いずれかの色成分が飽和している飽和領域画素での色再現を、飽和領域に属している色成分の種類に応じて補正する。
【００５３】
図７は、画像のハイライトでの色相変化の例を示す図である。図７では、一例として肌色（Ｒ＞Ｇ＞Ｂ）の領域で明るさが増加するケースを示す。
【００５４】
肌色の領域で被写体の明るさが増加すると、最初にＲ成分が飽和する。さらに被写体の明るさが増加すると画素の色は黄色（図７のＹ）に近付くように変化する。その後、被写体の明るさが増加するとＧ成分、Ｂ成分の順に飽和して画素の色は白色（図７のＷ）となる。ここで、注目画素でＲ成分が飽和している場合、実際の被写体では赤色の強度が非常に大きいにも拘わらず、飽和レベルで赤色が制限されることから、実際の被写体との色相にズレが生じうる。そのため、画像処理部２１は、１つの色成分（Ｒ）が飽和している飽和領域画素にハイライト補正を行う場合、飽和していない他の２つの色成分（Ｇ、Ｂ）の画素値の差が小さくなるように補正するとともに、その画素の彩度を低減させて色相ズレを抑制する。
【００５５】
また、２つの色成分（例えばＲ、Ｇ）が飽和している飽和領域画素では、２つの色成分の階調が失われているため、２つの色成分（Ｇ、Ｂ）の画素値の差を小さく補正しても好ましい色再現とならない可能性もある。そのため、２つの色成分（例えばＲ、Ｇ）が飽和している飽和領域画素にハイライト補正を行う場合、画像処理部２１は、その画素の彩度を低減させる補正のみを行う。勿論、ハイライト補正に関する説明において、飽和する色成分の組み合わせはあくまで例示にすぎない。
【００５６】
その後、画像処理部２１は、ハイライト補正後の画像のデータに対して、色変換、階調変換、ガマットマッピングを行い、現像画像を生成する。
【００５７】
ステップ＃２０４：ＣＰＵ３４は、現像画像のデータ（＃２０３）を記憶装置３３に記録する。このとき、ＣＰＵ３４は現像画像をモニタ３９に表示させてもよい。以上で、図６の処理が終了する。
【００５８】
第２実施形態の画像処理装置では、ＲＡＷ画像ファイルに予め記録された飽和領域マップを用いて、飽和領域画素のハイライト補正を行う。上記のハイライト補正では、飽和した色成分に応じて補正の方法を変更するので、実際の被写体と画像との色相ズレを抑制することができ、より見栄えのよい現像画像を得ることができる。
【００５９】
＜実施形態の補足事項＞
（補足事項１）第１実施形態において、撮像装置は黒レベル補正前のＲＡＷ画像のデータに飽和判定を行ってもよい。
【００６０】
（補足事項２）上記実施形態では、「飽和領域に対応する閾値」を白トビによって画素の階調が失われるレベルに設定したが、これに限定されるものではない。
【００６１】
例えば、撮像素子１３の出力特性について、入射光に対する画素値の線形性が高輝度側で悪化する場合、入射光に対する画素値の線形性が保たれる範囲の上限で、上記の閾値を設定してもよい。この場合、入射光に対する画素値の線形性が低く、被写体の階調が必ずしも正確に再現されていない領域についても、擬似的に飽和したものとみなしてハイライト補正の対象にすることができる。
【００６２】
（補足事項３）第１実施形態において、撮像装置は、撮影モードに連動して所定の色成分の飽和領域マップのみを生成するようにしてもよい。例えば、撮像装置は、夕焼けの撮影に適した撮影モードにおいてＲの飽和領域マップのみを生成するようにしてもよい。
【００６３】
（補足事項４）第２実施形態では、画像処理装置の各機能をプログラムによってＣＰＵ３４がソフトウエア的に実現する例を説明した。しかし、本発明では、ＡＳＩＣを用いて画像処理装置の動作をハードウエア的に実現してもかまわない。また、上記の第２実施形態では、画像処理装置の一例としてパーソナルコンピュータを開示したが、第１実施形態の電子カメラ１１に画像処理装置を実装してもよい。
【００６４】
（補足事項５）上記実施形態では、ＲＡＷ画像のデータに対して、飽和領域マップを用いて色補正を行う例を説明した。しかし、本発明は、例えば、ＲＡＷ画像以外の画像データ（ＪＰＥＧ形式の画像のデータなど）にも応用することができる。
【００６５】
（補足事項６）上記実施形態では、画像の階調が１２ビットで表現されている例を説明したが、他のビットデータ（１４ビット、１６ビット等）の場合にも本発明を適用することができる。
【００６６】
（補足事項７）上記実施形態では、ＲＧＢの色分解フィルタを通して撮影された画像の例を説明したが、補色系色分解フィルタを通して撮影された画像にも本発明を適用できる。なお、色分解数は３色に限らず、４色のものであってもよい。
【００６７】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００６８】
１１…電子カメラ、１２…撮影レンズ、１３…撮像素子、１３ａ…有効画素、１３ｂ…遮光画素、１４…Ａ／Ｄ変換部、１５…画像処理エンジン、１６…バッファメモリ、１７…記録Ｉ／Ｆ、１８…操作部、１９…記憶媒体、２１…画像処理部、２２…飽和領域判定部、２３…記録処理部、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ、３５…メモリ、３６…入出力Ｉ／Ｆ、３７…バス、３８…入力デバイス、３９…モニタ
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
撮像装置でダイナミックレンジの大きなシーンを撮影すると、被写体の明るい領域で撮像素子の出力が飽和することがあり、この場合には正しい階調情報が得られなくなる。そのため、撮像装置で撮影された画像の画素値を参照して飽和領域を抽出し、飽和領域の各画素で色成分信号を変更する方法も提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開ＷＯ２００６／１３４９２３
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上記の手法では、後処理工程において撮影後の画像をコンピュータで処理するたびに、画像から飽和領域を抽出しなければならない。また、飽和領域の抽出精度についても改善の余地があった。
【０００５】
上記事情に鑑み、後処理工程のときに飽和領域の抽出を高速かつより正確に行う手段を提供する。
【課題を解決するための手段】
【０００６】
一の態様に係る撮像装置は、カラー画像を撮像するための複数の画素が二次元配列された撮像素子と、飽和領域判定部と、記録処理部とを備える。飽和領域判定部は、画素から出力される画素値が、飽和領域に対応する閾値以上か否かを判定する。記録処理部は、画素値が閾値以上である飽和領域画素の位置を示す付帯データを、カラー画像のデータに対応付けて記憶媒体に記録する。
【０００７】
上記の一の態様において、記録処理部は、飽和領域画素に対応する色成分を示す情報を付帯データに含めてもよい。
【０００８】
上記の一の態様において、撮像素子は、入射光に応じた画素値を出力する有効画素と、黒レベルの信号を生成する遮光画素とを含んでいてもよい。また、飽和領域判定部は、黒レベルの大きさを考慮して、有効画素の画素値が閾値以上か否かを判定してもよい。
【０００９】
上記の一の態様において、記録処理部は、付帯データとカラー画像のデータとを、それぞれ異なる圧縮形式で圧縮してもよい。
【００１０】
他の態様に係る画像処理装置は、一の態様に係る撮像装置で生成されたカラー画像のデータおよび付帯データを取得する取得部と、画像処理部とを備える。画像処理部は、付帯データを用いて、カラー画像上の飽和領域画素の位置を特定する。そして、画像処理部は、画素値が飽和領域に属する色成分に応じて、カラー画像の飽和領域画素での色再現を補正する。
【００１１】
なお、コンピュータを上記の画像処理装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の画像処理装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。
【発明の効果】
【００１２】
画素値が閾値以上である飽和領域画素の位置を示す付帯データを、カラー画像のデータに対応付けて記憶媒体に記録する。これにより、後処理工程のときに飽和領域の抽出を高速かつより正確に行うことが可能となる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態の撮像装置の構成例を示す図
【図２】撮像素子の画素の配置例を示す図
【図３】第１実施形態の撮像装置におけるＲＡＷ記録モードでの動作例を示す流れ図
【図４】撮影画像および飽和領域マップの例を模式的に示す図
【図５】第２実施形態の画像処理装置の構成例を示す図
【図６】第２実施形態の画像処理装置の動作例を示す流れ図
【図７】画像のハイライトでの色相変化の例を示す図
【発明を実施するための形態】
【００１４】
＜第１実施形態の説明＞
図１は、第１実施形態の撮像装置（電子カメラ）の構成例を示す図である。
【００１５】
電子カメラ１１は、撮影レンズ１２と、撮像素子１３と、Ａ／Ｄ変換部１４と、画像処理エンジン１５と、バッファメモリ１６と、記録Ｉ／Ｆ１７と、操作部１８とを備えている。ここで、Ａ／Ｄ変換部１４、バッファメモリ１６、記録Ｉ／Ｆ１７および操作部１８は、それぞれ画像処理エンジン１５と接続されている。なお、操作部１８は、ユーザの操作（例えば被写体の撮影指示など）を受け付けるスイッチである。
【００１６】
撮像素子１３は、撮影レンズ１２による結像を撮像する撮像デバイスである。撮像素子１３の出力は、画像信号のＡ／Ｄ変換を行うＡ／Ｄ変換部１４を介して、画像処理エンジン１５に入力される。上記の撮像素子１３は、順次走査方式の固体撮像素子（例えばＣＣＤ）であってもよく、ＸＹアドレス方式の固体撮像素子（例えばＣＭＯＳ）であってもよい。
【００１７】
図２は、撮像素子１３の画素の配置例を示す図である。撮像素子１３の受光面には、複数の画素（１３ａ、１３ｂ）がマトリクス状に二次元配列されている。図２では画素の配列を簡略化して示すが、実際の固体撮像素子の受光面にはさらに多数の画素が配列されることはいうまでもない。
【００１８】
撮像素子１３の画素は、有効画素１３ａと遮光画素１３ｂとを含む。有効画素１３ａは、入射光の明るさに応じて信号電荷を蓄積する画素である。そして、有効画素１３ａの出力に基づいて撮影画像の画像信号が生成される。また、有効画素１３ａには、赤色（Ｒ）、緑色（Ｇｒ，Ｇｂ）、青色（Ｂ）のカラーフィルタが公知のベイヤ配列に従って配置されている。図２では、有効画素１３ａにカラーフィルタの色を表記する。撮像素子１３の各有効画素１３ａは、カラーフィルタでの色分解によって各色に対応する画像信号を出力する。これにより、撮像素子１３は、撮影時にカラーの画像を取得できる。
【００１９】
一方、遮光画素１３ｂは、遮光膜によって表面が覆われた画素である。遮光画素１３ｂは、温度変化等によって受光素子に蓄積される電荷（暗電流成分）を検出する。そして、遮光画素１３ｂの出力に基づいて画像の黒色に相当する黒レベルが決定される。一例として、撮像素子１３の受光面において、有効画素１３ａの周囲のリングピクセル部分に遮光画素１３ｂが形成される。図２の例では、遮光画素１３ｂの領域を破線で囲んで示す。
【００２０】
画像処理エンジン１５は、電子カメラ１１の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン１５は、ユーザの撮影指示に応じて画像の撮影を実行する。また、第１実施形態での画像処理エンジン１５は、画像処理部２１、飽和領域判定部２２、記録処理部２３を有している。
【００２１】
画像処理部２１は、Ａ／Ｄ変換部１４から入力されたＲＡＷ画像のデータに対して、黒レベル補正、欠陥画素補正などの信号処置と、デジタル現像処理とを施す回路である。ここで、デジタル現像処理は、ＲＡＷ画像から写真に相当する現像画像を生成するための画像処理であって、一例として、色補間、ホワイトバランス補正、階調変換、色変換、ガマットマッピングなどの処理が含まれる。
【００２２】
飽和領域判定部２２は、デジタル現像処理が施される前のＲＡＷ画像のデータを記録する撮影モード（ＲＡＷ記録モード）において、有効画素の画素値が飽和領域に対応する閾値以上か否かを判定する。
【００２３】
記録処理部２３は、上記のＲＡＷ記録モードにおいて、後述の飽和領域画素を示す付帯データを、ＲＡＷ画像のデータに対応付けて記録する。
【００２４】
バッファメモリ１６は、各画像のデータを一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭで構成される。
【００２５】
記録Ｉ／Ｆ１７は、不揮発性の記憶媒体１９を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ１７は、コネクタに接続された記憶媒体１９に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体１９は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図１では記憶媒体１９の一例としてメモリカードを図示する。
【００２６】
次に、図３を参照しつつ、第１実施形態の撮像装置におけるＲＡＷ記録モードでの動作例を説明する。なお、図３の処理は、ＲＡＷ記録モード下で撮影指示（レリーズ釦の全押し操作）があるときに開始される。
【００２７】
ステップ＃１０１：画像処理エンジン１５は、撮像素子１３を駆動させて被写体の像を撮影する。画像処理エンジン１５の制御により、撮像素子１３から出力された信号は、Ａ／Ｄ変換部１４を通過してバッファメモリ１６に記録される。これにより、バッファメモリ１６には、１画像分のＲＡＷ画像のデータが蓄積される。なお、第１実施形態のＲＡＷ記録モードでは、ＲＡＷ画像の画素値の階調を１２ビット（０〜４０９５）とする。
【００２８】
ステップ＃１０２：画像処理部２１は、ＲＡＷ画像のデータに対して黒レベル補正を行う。一例として、画像処理部２１は、遮光画素の画素値から黒レベルの値を決定し、有効画素の画素値から黒レベルの値を減算すればよい。これにより、有効画素の画素値から暗電流成分が除去される。
【００２９】
第１実施形態において、＃１０２のＲＡＷ画像は、色補間前の状態であるベイヤ配列構造のモザイク画像である。しかし、画像処理部２１は、この段階で色補間処理を行ってもよい。この場合、ＲＡＷ画像のデータは、各画素がそれぞれＲＧＢの３チャネルの情報を有する形式となる。なお、＃１０２のＲＡＷ画像のデータは、欠陥画素補正が施されたデータであってもよい。
【００３０】
ステップ＃１０３：記録処理部２３は、ＪＰＥＧ２０００やＤＰＣＭなどの圧縮方式で黒レベル補正後のＲＡＷ画像のデータ（＃１０２）を圧縮する。なお、圧縮後のＲＡＷ画像のデータは、バッファメモリ１６に一時的に記憶される。
【００３１】
ステップ＃１０４：一方、飽和領域判定部２２は、黒レベル補正後のＲＡＷ画像のデータ（＃１０２）に飽和判定を行う。この飽和判定は、ＲＡＷ画像の各有効画素を判定対象として行われる。
【００３２】
＃１０４での飽和領域判定部２２は、ＲＡＷ画像の有効画素の画素値が、飽和領域に対応する閾値以上か否かを判定する。第１実施形態では、飽和領域に対応する閾値は、白トビによって画素の階調が失われるレベルに相当し、黒レベルの大きさを考慮してその値が決定される。一例として、飽和領域判定部２２は、画素値の最大値（４０９５）から黒レベルの値を差し引いて撮影ごとに上記の閾値を設定してもよい。
【００３３】
あるいは、飽和領域判定部２２は、撮像素子１３の特性や各種回路の特性を考慮して、実際の黒レベルの値に拘わらず上記の閾値を予め設定してもよい。一例として、飽和領域判定部２２は、画素値の最大値（４０９５）から想定される黒レベルのマージン（例えば５００）を差し引いて、上記の閾値を３５９５に設定してもよい。このとき、飽和領域判定部２２は、撮影条件を考慮して飽和領域に対応する閾値を変更してもよい。例えば、撮影時の露出時間か長くなれば暗電流成分は増加するので、飽和領域判定部２２は露出時間の長さに応じて上記の閾値を低減させてもよい。また、撮像感度の下限がＩＳＯ２００相当であるときに撮像感度をＩＳＯ１００相当まで拡張する場合、飽和領域判定部２２は黒レベルのマージンを小さくして、有効に使える階調範囲をより広くしてもよい。
【００３４】
＃１０４での飽和領域判定部２２は、判定対象の画素値が上記の閾値以上であるときには、判定対象の画素を飽和領域画素に指定する。そして、飽和領域判定部２２は、飽和領域画素の位置（画素配列での座標）と、飽和領域画素に対応する色成分とをバッファメモリ１６に記憶する。これにより、バッファメモリ１６には、各色チャネルでの飽和領域画素の位置を示す飽和領域マップが生成される。なお、各々の飽和領域マップは、例えば、飽和領域画素か否かを２進数で示す１ビットの画素配列データで表現される。
【００３５】
図４は、撮影画像および飽和領域マップの例を模式的に示す図である。図４（ａ）は、逆光下で風景を撮影したデジタル現像処理後の画像の例であり、図４（ｂ）〜（ｄ）は、図４（ａ）に対応するＲＡＷ画像でのＲＧＢ各チャネルの飽和領域マップの例を示している。なお、図４の飽和領域マップにおいて、飽和領域画素はハッチングで示す。
【００３６】
図４の例では、Ｇチャネルで飽和領域が比較的多く分布し、ＢチャネルではＧチャネルの飽和領域と重なる位置に飽和領域が部分的に存在する。一方、Ｒチャネルでは飽和領域が全く存在しない。上記のような色ごとの飽和領域の相違は、撮像素子１３でのカラーフィルタの感度の違いによって生じる。かかる飽和領域マップを参照することで、或る画素において飽和した色成分を判断することができ、後処理工程のデジタル現像処理において画像の色再現をより自然な状態に近づけることが可能となる。
【００３７】
ステップ＃１０５：記録処理部２３は、＃１０４で生成した飽和領域マップのデータを圧縮する。飽和領域マップのデータでは、性質上２進数の一方の値が連続することが多い。そのため、記録処理部２３は、＃１０３とは異なりランレングス圧縮やＪＢＩＧなどの圧縮方式で飽和領域マップのデータを圧縮する。両者の圧縮方式を異ならせることで、ＲＡＷ画像のデータと飽和領域マップのデータとをそれぞれ効率よく圧縮できる。なお、圧縮後の飽和領域マップのデータは、バッファメモリ１６に一時的に記憶される。
【００３８】
ステップ＃１０６：記録処理部２３は、圧縮されたＲＡＷ画像のデータ（＃１０３）と、付帯データである飽和領域マップのデータ（＃１０５）とを対応付けして、ＲＡＷ画像ファイルを生成する。そして、記録処理部２３は、ＲＡＷ画像ファイルを記憶媒体１９に記録する。なお、記録処理部２３は、ＲＡＷ画像ファイルの付帯データとして撮像素子１３のカラーフィルタの配列パターンを示す情報や、撮影時の光源判定に基づくホワイトバランスデータなどをさらに付与する。以上で、図３の処理が終了する。
【００３９】
なお、ＲＡＷ記録モードで生成されたＲＡＷ画像ファイルは、後述の画像処理装置に読み込まれて撮影後にデジタル現像処理が施される。これにより、後処理工程でＲＡＷ画像から写真に相当する現像画像を得ることができる。画像処理装置は、デジタル現像処理を行うときに、ＲＡＷ画像ファイルの飽和領域マップを用いて、飽和領域画素に応じた色補正を行うことが可能となる。また、第１実施形態では、ＲＡＷ画像ファイルに飽和領域マップが予め記憶されているため、後処理工程のときに飽和領域の抽出を高速かつより正確に行うことが可能となる。
【００４０】
＜第２実施形態の説明＞
図５は、第２実施形態の画像処理装置の構成例を示す図である。第２実施形態の画像処理装置は、画像処理プログラムがインストールされたパーソナルコンピュータである。第２実施形態の画像処理装置は、第１実施形態で生成されたＲＡＷ画像ファイルに対してデジタル現像処理を施す。
【００４１】
図５に示すコンピュータ３１は、データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６、バス３７を有している。データ読込部３２、記憶装置３３、ＣＰＵ３４、メモリ３５および入出力Ｉ／Ｆ３６は、バス３７を介して相互に接続されている。さらに、コンピュータ３１には、入出力Ｉ／Ｆ３６を介して、入力デバイス３８（キーボード、ポインティングデバイスなど）とモニタ３９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ３６は、入力デバイス３８からの各種入力を受け付けるとともに、モニタ３９に対して表示用のデータを出力する。
【００４２】
データ読込部３２は、ＲＡＷ画像ファイルや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部３２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。
【００４３】
記憶装置３３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置３３には、画像処理プログラムが記録される。なお、記憶装置３３には、データ読込部３２から読み込んだＲＡＷ画像ファイルや、ＲＡＷ画像から生成された現像画像のデータを記憶しておくこともできる。
【００４４】
ＣＰＵ３４は、コンピュータ３１の各部を統括的に制御するプロセッサである。このＣＰＵ３４は、画像処理プログラムの実行によって、上記の画像処理部２１として機能する。
【００４５】
メモリ３５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ３５は、例えば揮発性のＳＤＲＡＭである。
【００４６】
次に、図６を参照しつつ、第２実施形態の画像処理装置の動作例を説明する。なお、図６の処理は、ユーザによる画像処理プログラムの実行指示に応じて開始される。
【００４７】
ステップ＃２０１：ＣＰＵ３４は、デジタル現像処理の対象となるＲＡＷ画像ファイル（第１実施形態で生成されたＲＡＷ画像ファイル）を、データ読込部３２から取得する。＃２０１で取得されたＲＡＷ画像ファイルは、ＣＰＵ３４の制御によって、記憶装置３３またはメモリ３５に記録される。なお、ＲＡＷ画像ファイルが予め記憶装置３３に記憶されている場合には、ＣＰＵ３４は＃２０１の処理を省略してもよい。
【００４８】
ステップ＃２０２：画像処理部２１は、ＲＡＷ画像ファイルの付帯データ（飽和領域マップ）を用いて、ＲＡＷ画像の色チャネルごとに飽和領域画素の位置をそれぞれ特定する。なお、飽和領域マップがベイヤ配列構造のデータである場合、ＣＰＵ３４はカラーフィルタの配列パターンの情報を用いて、ＲＧＢの各チャネルの飽和領域マップを生成する。
【００４９】
なお、図４に示すように、飽和領域画素の分布は色チャネルごとに相違する。そのため、ＲＡＷ画像には、全ての色チャネルで飽和が生じていない画素と、１または複数の色チャネルで飽和が生じている画素とが混在しうる。
【００５０】
ステップ＃２０３：画像処理部２１は、ＲＡＷ画像ファイルのＲＡＷ画像のデータに対して、デジタル現像処理を施す。
【００５１】
一例として、画像処理部２１は、付帯データのホワイトバランスデータを用いてＲＡＷ画像のホワイトバランス補正を行い、その後に必要に応じて色補間処理を行う。
【００５２】
そして、画像処理部２１は、ホワイトバランス補正後の画像のデータに対して、＃２０２で特定した飽和領域画素のハイライト補正を行う。このとき、画像処理部２１は、いずれかの色成分が飽和している飽和領域画素での色再現を、飽和領域に属している色成分の種類に応じて補正する。
【００５３】
図７は、画像のハイライトでの色相変化の例を示す図である。図７では、一例として肌色（Ｒ＞Ｇ＞Ｂ）の領域で明るさが増加するケースを示す。
【００５４】
肌色の領域で被写体の明るさが増加すると、最初にＲ成分が飽和する。さらに被写体の明るさが増加すると画素の色は黄色（図７のＹ）に近付くように変化する。その後、被写体の明るさが増加するとＧ成分、Ｂ成分の順に飽和して画素の色は白色（図７のＷ）となる。ここで、注目画素でＲ成分が飽和している場合、実際の被写体では赤色の強度が非常に大きいにも拘わらず、飽和レベルで赤色が制限されることから、実際の被写体との色相にズレが生じうる。そのため、画像処理部２１は、１つの色成分（Ｒ）が飽和している飽和領域画素にハイライト補正を行う場合、飽和していない他の２つの色成分（Ｇ、Ｂ）の画素値の差が小さくなるように補正するとともに、その画素の彩度を低減させて色相ズレを抑制する。
【００５５】
また、２つの色成分（例えばＲ、Ｇ）が飽和している飽和領域画素では、２つの色成分の階調が失われているため、２つの色成分（Ｇ、Ｂ）の画素値の差を小さく補正しても好ましい色再現とならない可能性もある。そのため、２つの色成分（例えばＲ、Ｇ）が飽和している飽和領域画素にハイライト補正を行う場合、画像処理部２１は、その画素の彩度を低減させる補正のみを行う。勿論、ハイライト補正に関する説明において、飽和する色成分の組み合わせはあくまで例示にすぎない。
【００５６】
その後、画像処理部２１は、ハイライト補正後の画像のデータに対して、色変換、階調変換、ガマットマッピングを行い、現像画像を生成する。
【００５７】
ステップ＃２０４：ＣＰＵ３４は、現像画像のデータ（＃２０３）を記憶装置３３に記録する。このとき、ＣＰＵ３４は現像画像をモニタ３９に表示させてもよい。以上で、図６の処理が終了する。
【００５８】
第２実施形態の画像処理装置では、ＲＡＷ画像ファイルに予め記録された飽和領域マップを用いて、飽和領域画素のハイライト補正を行う。上記のハイライト補正では、飽和した色成分に応じて補正の方法を変更するので、実際の被写体と画像との色相ズレを抑制することができ、より見栄えのよい現像画像を得ることができる。
【００５９】
＜実施形態の補足事項＞
（補足事項１）第１実施形態において、撮像装置は黒レベル補正前のＲＡＷ画像のデータに飽和判定を行ってもよい。
【００６０】
（補足事項２）上記実施形態では、「飽和領域に対応する閾値」を白トビによって画素の階調が失われるレベルに設定したが、これに限定されるものではない。
【００６１】
例えば、撮像素子１３の出力特性について、入射光に対する画素値の線形性が高輝度側で悪化する場合、入射光に対する画素値の線形性が保たれる範囲の上限で、上記の閾値を設定してもよい。この場合、入射光に対する画素値の線形性が低く、被写体の階調が必ずしも正確に再現されていない領域についても、擬似的に飽和したものとみなしてハイライト補正の対象にすることができる。
【００６２】
（補足事項３）第１実施形態において、撮像装置は、撮影モードに連動して所定の色成分の飽和領域マップのみを生成するようにしてもよい。例えば、撮像装置は、夕焼けの撮影に適した撮影モードにおいてＲの飽和領域マップのみを生成するようにしてもよい。
【００６３】
（補足事項４）第２実施形態では、画像処理装置の各機能をプログラムによってＣＰＵ３４がソフトウエア的に実現する例を説明した。しかし、本発明では、ＡＳＩＣを用いて画像処理装置の動作をハードウエア的に実現してもかまわない。また、上記の第２実施形態では、画像処理装置の一例としてパーソナルコンピュータを開示したが、第１実施形態の電子カメラ１１に画像処理装置を実装してもよい。
【００６４】
（補足事項５）上記実施形態では、ＲＡＷ画像のデータに対して、飽和領域マップを用いて色補正を行う例を説明した。しかし、本発明は、例えば、ＲＡＷ画像以外の画像データ（ＪＰＥＧ形式の画像のデータなど）にも応用することができる。
【００６５】
（補足事項６）上記実施形態では、画像の階調が１２ビットで表現されている例を説明したが、他のビットデータ（１４ビット、１６ビット等）の場合にも本発明を適用することができる。
【００６６】
（補足事項７）上記実施形態では、ＲＧＢの色分解フィルタを通して撮影された画像の例を説明したが、補色系色分解フィルタを通して撮影された画像にも本発明を適用できる。なお、色分解数は３色に限らず、４色のものであってもよい。
【００６７】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図するものである。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００６８】
１１…電子カメラ、１２…撮影レンズ、１３…撮像素子、１３ａ…有効画素、１３ｂ…遮光画素、１４…Ａ／Ｄ変換部、１５…画像処理エンジン、１６…バッファメモリ、１７…記録Ｉ／Ｆ、１８…操作部、１９…記憶媒体、２１…画像処理部、２２…飽和領域判定部、２３…記録処理部、３１…コンピュータ、３２…データ読込部、３３…記憶装置、３４…ＣＰＵ、３５…メモリ、３６…入出力Ｉ／Ｆ、３７…バス、３８…入力デバイス、３９…モニタ
【特許請求の範囲】
【請求項１】
カラー画像を撮像するための複数の画素が二次元配列された撮像素子と、
前記画素から出力される画素値が、飽和領域に対応する閾値以上か否かを判定する飽和領域判定部と、
前記画素値が前記閾値以上である飽和領域画素の位置を示す付帯データを、前記カラー画像のデータに対応付けて記憶媒体に記録する記録処理部と、
を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記記録処理部は、前記飽和領域画素に対応する色成分を示す情報を前記付帯データに含める撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記撮像素子は、入射光に応じた画素値を出力する有効画素と、黒レベルの信号を生成する遮光画素とを含み、
前記飽和領域判定部は、前記黒レベルの大きさを考慮して、前記有効画素の画素値が前記閾値以上か否かを判定する撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記記録処理部は、前記付帯データと前記カラー画像のデータとを、それぞれ異なる圧縮形式で圧縮する撮像装置。
【請求項５】
請求項１から請求項４のいずれか１項の撮像装置で生成されたカラー画像のデータおよび付帯データを取得する取得部と、
前記付帯データを用いて、前記カラー画像上の飽和領域画素の位置を特定するとともに、前記飽和領域画素で画素値が飽和領域に属する色成分に応じて、前記カラー画像の前記飽和領域画素での色再現を補正する画像処理部と、
を備える画像処理装置。
【請求項６】
コンピュータに、
請求項１から請求項４のいずれか１項の撮像装置で生成されたカラー画像のデータおよび付帯データを取得する処理と、
前記付帯データを用いて、前記カラー画像上の飽和領域画素の位置を特定するとともに、前記飽和領域画素で画素値が飽和領域に属する色成分に応じて、前記カラー画像の前記飽和領域画素での色再現を補正する処理と、
を実行させるプログラム。
【請求項１】
カラー画像を撮像するための複数の画素が二次元配列された撮像素子と、
前記画素から出力される画素値が、飽和領域に対応する閾値以上か否かを判定する飽和領域判定部と、
前記画素値が前記閾値以上である飽和領域画素の位置を示す付帯データを、前記カラー画像のデータに対応付けて記憶媒体に記録する記録処理部と、
を備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記記録処理部は、前記飽和領域画素に対応する色成分を示す情報を前記付帯データに含める撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記撮像素子は、入射光に応じた画素値を出力する有効画素と、黒レベルの信号を生成する遮光画素とを含み、
前記飽和領域判定部は、前記黒レベルの大きさを考慮して、前記有効画素の画素値が前記閾値以上か否かを判定する撮像装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の撮像装置において、
前記記録処理部は、前記付帯データと前記カラー画像のデータとを、それぞれ異なる圧縮形式で圧縮する撮像装置。
【請求項５】
請求項１から請求項４のいずれか１項の撮像装置で生成されたカラー画像のデータおよび付帯データを取得する取得部と、
前記付帯データを用いて、前記カラー画像上の飽和領域画素の位置を特定するとともに、前記飽和領域画素で画素値が飽和領域に属する色成分に応じて、前記カラー画像の前記飽和領域画素での色再現を補正する画像処理部と、
を備える画像処理装置。
【請求項６】
コンピュータに、
請求項１から請求項４のいずれか１項の撮像装置で生成されたカラー画像のデータおよび付帯データを取得する処理と、
前記付帯データを用いて、前記カラー画像上の飽和領域画素の位置を特定するとともに、前記飽和領域画素で画素値が飽和領域に属する色成分に応じて、前記カラー画像の前記飽和領域画素での色再現を補正する処理と、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図４】
【図２】
【図３】
【図５】
【図６】
【図７】
【図４】
【公開番号】特開２０１３−５５４５９（Ｐ２０１３−５５４５９Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９１５５７（Ｐ２０１１−１９１５５７）
【出願日】平成２３年９月２日（２０１１．９．２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月２日（２０１１．９．２）
【出願人】（０００００４１１２）株式会社ニコン (12,601)
【Ｆターム（参考）】
[ Back to top ]