撮像装置および撮像方法
【課題】露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影でダイナミックレンジを拡大することができる撮像装置および撮像方法を提供する。
【解決手段】ＹＵＶ変換部３６に設けたＤレンジ拡大予測補間部５０は、入力されるデジタルの画像データから、ＲＧＢ原色フィルタが配置された各画素からの出力を検出するとともに、各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する輝度レベル判定部６０と、Ｇフィルタが配置された画素の出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していないＲ、Ｂフィルタが配置された画素からの出力に基づいて、飽和レベル領域以上における画素出力を補間する画素出力補正処理部６１を有している。
【解決手段】ＹＵＶ変換部３６に設けたＤレンジ拡大予測補間部５０は、入力されるデジタルの画像データから、ＲＧＢ原色フィルタが配置された各画素からの出力を検出するとともに、各画素からの出力が所定の飽和レベル以上に達しているか否かを判定する輝度レベル判定部６０と、Ｇフィルタが配置された画素の出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していないＲ、Ｂフィルタが配置された画素からの出力に基づいて、飽和レベル領域以上における画素出力を補間する画素出力補正処理部６１を有している。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置および撮像方法に関し、特に撮影画像のダイナミックレンジを拡大することができる撮像装置および撮像方法に関する。
【背景技術】
【０００２】
銀塩写真フィルムを用いる従来の銀塩カメラで撮影される画像のダイナミックレンジに比べ、ＣＣＤ等の固体撮像素子を有するデジタルスチルカメラやデジタルビデオカメラ等で撮影される画像のダイナミックレンジは極めて狭い。ダイナミックレンジが狭いと、被写体の暗い部分は「黒つぶれ」といわれる現象が発生し、逆に被写体の明るい部分は「白とび」といわれる現象が発生して画像品質が低下する。
【０００３】
そこで、ＣＣＤ等の固体撮像素子で撮像される画像のダイナミックレンジを拡大するために、例えば、同一被写体に対して露光量を変えて複数回の撮影を行い、露光量の異なる複数の画像を取得し、これらの画像を加算してダイナミックレンジが拡大された合成画像を生成する技術が従来より知られている（例えば、特許文献１参照）。
【特許文献１】特開２０００−９２３７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ダイナミックレンジを拡大するために、前記特許文献１のように露光量を変えて複数回の撮影を行う方法では、移動物体の被写体を撮影したりすると、被写体が２重にずれた画像になり、正しく画像を合成できないことがある。
【０００５】
そこで、本発明は、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するために請求項１に記載の撮像装置は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備え、前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する画素出力補正処理手段とを有することを特徴としている。
【０００７】
請求項２に記載の撮像装置は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備え、前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する画素出力補正処理手段とを有することを特徴としている。
【０００８】
請求項３に記載の撮像装置は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備え、前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第１の画素出力補正処理手段と、前記画素出力検出手段により、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第２の画素出力補正処理手段と、前記第１の画素出力補正処理手段と前記第２の画素出力補正処理手段からそれぞれ出力される補間情報に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する補間処理手段とを有することを特徴としている。
【０００９】
請求項４に記載の撮像装置は、前記画素出力検出手段で各画素からの出力を検出する際の処理単位は、水平・垂直方向に２×２画素の大きさであることを特徴としている。
【００１０】
請求項５に記載の撮像装置は、前記光学系の前方側または後方側に、前記特定色と同じ色のカラーフィルタを出し入れ自在に設け、前記カラーフィルタを前記光学系の前方側または後方側に入れることにより、前記特定色のフィルタの輝度に対する感度に対して、前記他の色のフィルタの輝度に対する感度を相対的に低下させることを特徴としている。
【００１１】
請求項６に記載の撮像装置は、前記カラーフィルタは複数設けられており、前記複数のカラーフィルタはそれぞれ光の透過率が異なっていることを特徴としている。
【００１２】
請求項７に記載の撮像装置は、前記特定色のフィルタが配置された画素の出力に対して、前記所定の飽和レベル以上に達しているときに前記補間させる動作を、選択して実行させるための動作選択手段を備えていることを特徴としている。
【００１３】
請求項８に記載の撮像装置は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数に圧縮するビット圧縮変換手段を備え、前記ビット圧縮変換手段は、前記飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、前記飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴としている。
【００１４】
請求項９に記載の撮像装置は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記補間処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張されたすべてのデータを、再度前記第１ビット数に圧縮するビット圧縮変換手段を備え、前記ビット圧縮変換手段は、前記飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、前記飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴としている。
【００１５】
請求項１０に記載の撮像装置は、前記飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、前記ビット圧縮変換手段でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることを特徴としている。
【００１６】
請求項１１に記載の撮像装置は、前記画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも大きくなる場合のみ、前記所定の飽和レベル以上と判定した画素出力の補間を行うことを特徴としている。
【００１７】
請求項１２に記載の撮像装置は、前記画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも小さくなる場合には、前記演算に用いる画素の範囲を拡大することを特徴としている。
【００１８】
請求項１３、１６に記載の撮像装置は、前記演算に用いる画素の範囲を拡大する場合には、前記特定色のフィルタが配置された画素と同色のフィルタが配置された画素も併せて用いることを特徴としている。
【００１９】
請求項１４に記載の撮像装置は、前記第１、第２の画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも大きくなる場合のみ、前記所定の飽和レベル以上と判定した画素出力の補間を行うことを特徴としている。
【００２０】
請求項１５に記載の撮像装置は、前記第１、第２の画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも小さくなる場合には、前記演算に用いる画素の範囲を拡大することを特徴としている。
【００２１】
請求項１７に記載の撮像方法は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、前記判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する補間処理ステップと、を含むことを特徴としている。
【００２２】
請求項１８に記載の撮像方法は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、前記判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する補完処理ステップと、を含むことを特徴としている。
【００２３】
請求項１９に記載の撮像方法は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、前記判定ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第１の補間処理ステップと、前記判定ステップにより、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第２の補間処理ステップと、前記第１の補間処理ステップと前記第２の補間処理ステップからそれぞれ出力される補間情報に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第３の補間処理ステップと、を含むことを特徴としている。
【発明の効果】
【００２４】
請求項１、１７に記載の発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない他の色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上領域における画素出力を補間してダイナミックレンジを拡大することにより、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる。
【００２５】
請求項２、１８に記載の発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない複数の特定色と同じ色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上領域における画素出力を補間してダイナミックレンジを拡大することにより、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる。
【００２６】
請求項３、１９に記載の発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない他の色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上に達している画素の出力を補間し、更に、その周囲の飽和していない複数の特定色と同じ色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上に達している画素の出力を補間し、これらの両方の補間情報に基づいて適切な補間処理を行ってダイナミックレンジを拡大することにより、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる。
【００２７】
請求項５に記載の発明によれば、光学系の前方側または後方側に特定色と同じ色のカラーフィルタを入れることにより、特定色のフィルタの輝度に対する感度に対して、他の色のフィルタの輝度に対する感度を相対的に低下させることができるので、容易にダイナミックレンジを更に拡大することができる。
【００２８】
請求項６に記載の発明によれば、複数のカラーフィルタはそれぞれ光の透過率が異なっていることにより、ダイナミックレンジの拡大倍率を容易に変更することができる。
【００２９】
請求項７に記載の発明によれば、特定色のフィルタが配置された画素の出力に対して、前記所定の飽和レベル以上に達しているときに予測補間させる動作を、動作選択手段で動作選択することにより撮影者の判断で行うことができる。
【００３０】
請求項８、９に記載の発明によれば、飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することにより、飽和レベル以下における階調性を良好に保持することができる。
【００３１】
請求項１０に記載の発明によれば、飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮変換手段でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることにより、低輝度レベルにおける階調性を良好に保持することができる。
【００３２】
請求項１１、１４に記載の発明によれば、所定の飽和レベル以上に達している特定色のフィルタが配置された画素からの出力に対して、その周囲の他の色のフィルタが配置された画素からの出力が大幅に小さいときに、補間処理によって逆に特定色のフィルタが配置された画素からの出力が元よりも小さくなる不具合を防止できるので、ダイナミックレンジが逆に小さくなるのを防止することができる。
【００３３】
請求項１２、１５に記載の発明によれば、所定の飽和レベル以上に達している特定色のフィルタが配置された画素からの出力に対して、その周囲の他の色のフィルタが配置された画素からの出力が大幅に小さいときに、さらにその外側の画素からの出力情報を用いることで、元の画素出力よりも大きくなるように補間処理することが可能となる。
【００３４】
請求項１３、１６に記載の発明によれば、特定色のフィルタが配置された画素と同色のフィルタが配置された画素からの出力情報も併せて用いることで、より良好な補間処理を行うことができる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明を図示の実施形態に基づいて説明する。
〈実施形態１〉
【００３６】
図１（ａ）は、本発明の実施形態１に係る撮像装置の一例としてのデジタルスチルカメラ（以下、「デジタルカメラ」という）を示す正面図、図１（ｂ）は、その上面図、図１（ｃ）は、その背面図、図２は、図１（ａ），（ｂ），（ｃ）に示したデジタルカメラ内のシステム構成の概要を示すブロック図である。
【００３７】
（デジタルカメラの外観構成）
図１（ａ），（ｂ），（ｃ）に示すように、本実施形態に係るデジタルカメラ１の上面側には、レリーズボタン（シャッタボタン）２、電源ボタン３、撮影・再生切替ダイアル４が設けられており、デジタルカメラ１の正面（前面）側には、撮影レンズ系５を有する鏡胴ユニット６、ストロボ発光部（フラッシュ）７、光学ファインダ８が設けられている。
【００３８】
デジタルカメラ１の背面側には、液晶モニタ（ＬＣＤ）９、前記光学ファインダ８の接眼レンズ部８ａ、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定ボタン（ＯＫボタン）１３等が設けられている。また、デジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカード１４（図２参照）を収納するメモリカード収納部１５が設けられている。
【００３９】
（デジタルカメラのシステム構成）
図２に示すように、このデジタルカメラ１は、鏡胴ユニット６の撮影レンズ系５を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ２０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部（以下、「ＡＦＥ部」という）２１、ＡＦＥ部２１から出力されるデジタル信号を処理する信号処理部２２、データを一時的に格納するＳＤＲＡＭ２３、制御プログラム等が記憶されたＲＯＭ２４、鏡胴ユニット６を駆動するモータドライバ２５等を有している。
【００４０】
鏡胴ユニット６は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７を備えており、撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７の各駆動ユニットは、モータドライバ２５によって駆動される。モータドライバ２５は、信号処理部２２の制御部（ＣＰＵ）２８からの駆動信号により駆動制御される。
【００４１】
ＣＣＤ２０は、ＣＣＤ２０を構成する複数の画素上にＲＧＢ原色フィルタ（図７参照：以下、「ＲＧＢフィルタ」という）が配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。
【００４２】
ＡＦＥ部２１は、ＣＣＤ２０を駆動するＴＧ（タイミング信号発生部）３０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）３１、ＣＤＳ３１にてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）３２、ＡＧＣ３２でゲイン調整された画像信号をデジタル信号（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換するＡ／Ｄ変換部３３を備えている。
【００４３】
信号処理部２２は、ＡＦＥ部２１のＴＧ３０へ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部２１のＡ／Ｄ変換部３３から出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（以下、「ＣＣＤＩ／Ｆ」という）３４と、ＳＤＲＡＭ２３を制御するメモリコントローラ３５と、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部３６と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部３７と、画像データの表示出力を制御する表示出力制御部３８と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部３９と、画像データをメモリカード１４へ書き込み、又はメモリカード１４に書き込まれた画像データを読み出すメディアインターフェース（以下、「メディアＩ／Ｆ」という）４０と、操作部４１からの操作入力情報に基づき、ＲＯＭ２４に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部（ＣＰＵ）２８を備えている。
【００４４】
操作部４１は、デジタルカメラ１（図１（ａ），（ｂ），（ｃ）参照）の外観表面に設けられているレリーズボタン２、電源ボタン３、撮影・再生切替ダイアル４、広角側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、確定ボタン１３等であり、撮影者の操作によって所定の動作指示信号が制御部２８に入力される。
【００４５】
ＳＤＲＡＭ２３には、ＣＣＤＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部３６で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部３９で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。
【００４６】
なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。
【００４７】
（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、前記したデジタルカメラ１のモニタリング動作と静止画撮影動作について説明する。このデジタルカメラ１は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
【００４８】
先ず、撮影者が電源ボタン３をＯＮし、撮影・再生切替ダイアル４を撮影モードに設定することで、デジタルカメラ１が記録モードで起動する。電源ボタン３がＯＮされて、撮影・再生切替ダイアル４が撮影モードに設定されたことを制御部２８が検知すると、制御部２８はモータドライバ２５に制御信号を出力して、鏡胴ユニット６を撮影可能位置に移動させ、かつ、ＣＣＤ２０、ＡＦＥ部２１、信号処理部２２、ＳＤＲＡＭ２３、ＲＯＭ２４、液晶モニタ９等を起動させる。
【００４９】
そして、鏡胴ユニット６の撮影レンズ系５を被写体に向けることにより、撮影レンズ系５を通して入射される被写体画像がＣＣＤ２０の各画素の受光面上に結像する。そして、ＣＣＤ２０から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ３１、ＡＧＣ３２を介してＡ／Ｄ変換部３３に入力され、Ａ／Ｄ変換部３３により１２ビット（bit）のＲＡＷ−ＲＧＢデータに変換する。
【００５０】
このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれてメモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、ＳＤＲＡＭ２３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部３６で表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラ３５を介してＳＤＲＡＭ２３にＹＵＶデータが保存される。
【００５１】
そして、ＳＤＲＡＭ２３からメモリコントローラ３５を介して読み出したＹＵＶデータは、表示出力制御部３８を介して液晶モニタ（ＬＣＤ）９へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤ）９に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ３４による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
【００５２】
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤ）９に撮影画像が表示されているだけで、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。
【００５３】
この撮影画像の液晶モニタ（ＬＣＤ）９への表示によって、撮影画像を撮影者が確認することができる。なお、表示出力制御部３８からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。
【００５４】
そして、信号処理部２２のＣＣＤＩ／Ｆ３４は、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
【００５５】
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系５内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
【００５６】
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ２０の全画素の受光面に対応した画面を２５６エリアに等分割（水平１６分割、垂直１６分割）し、それぞれのエリアのＲＧＢ積算を算出する。
【００５７】
そして、制御部２８は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリアの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ２０の電子シャッタ回数、絞りユニット２６の絞り値等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部３６でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。
【００５８】
そして、前記したモニタリング動作時に、レリーズボタン２が押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。
【００５９】
即ち、レリーズボタン２が押圧（半押しから全押し）操作されると、制御部２８からモータドライバ２５への駆動指令により撮影レンズ系５のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。
【００６０】
ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系５のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ３４で算出されている各フォーカス位置における前記ＡＦ評価値を制御部２８が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
【００６１】
そして、前記したＡＥ処理が行われ、露光完了時点で、制御部２８からモータドライバ２５への駆動指令によりメカシャッタユニット２７が閉じられ、ＣＣＤ２０から静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部２１のＡ／Ｄ変換部３３によりＲＡＷ−ＲＧＢデータに変換される。
【００６２】
そして、このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれ、後述するＹＵＶ変換部３６でＹＵＶデータに変換されて、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、このＹＵＶデータはＳＤＲＡＭ２３から読み出されて、リサイズ処理部３７で記録画素数に対応するサイズに変換され、データ圧縮部３９でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４０を介してメモリカード１４に保存される。
【００６３】
（ＹＵＶ変換部３６によるダイナミックレンジ拡大処理）
本実施形態に係るデジタルカメラ１のＹＵＶ変換部３６は、ダイナミックレンジを拡大するためのダイナミックレンジ拡大処理機能を有している。
【００６４】
デジタルカメラ１のＣＣＤ２０を構成する各画素上には、ベイヤ配列のＲＧＢフィルタ（図７参照）が配置されているが、太陽光のように広い波長帯域を持つ光に対して、通常のＲＧＢフィルタは各色毎に輝度に対する感度が異なっている。
【００６５】
例えば、図３に示すように、Ｇ（グリーン）フィルタの感度が、Ｒ（レッド）フィルタ、Ｂ（ブルー）フィルタの２倍程度の感度を有するＲＧＢフィルタ（図３のａ、ｂ、ｃ）を有するＣＣＤ２０の場合、太陽光のように広い波長帯域を持つ光が同じだけＲＧＢフィルタに入射したときに、Ｒ、Ｂフィルタの各画素出力に対してＧフィルタ（図３のｃの斜線部分）の画素出力の方が先に飽和レベルＡに達してしまう。なお、図３において、ｆはＧフィルタの画素感度特性、ｇはＲ、Ｂフィルタの各画素感度特性であり、Ｇフィルタの画素感度特性は、Ｒ、Ｂフィルタの各画素感度特性の２倍程度の感度を有している。
【００６６】
ところで、従来のＲＧＢフィルタを有するＣＣＤなどの固体撮像素子を有するデジタルカメラでは、図３のａ、ｂ、ｃのＲＧＢフィルタのように、感度の高いＧフィルタの画素出力に応じた飽和レベルＡに合わせてダイナミックレンジの範囲を設定している。即ち、Ｇフィルタの画素出力が飽和レベルＡに達している場合でも、Ｒ、Ｂフィルタの画素出力は飽和レベルＡの１／２程度である。
【００６７】
これに対して、本発明では、図３のｄ、ｅのＲＧＢフィルタのように、Ｇフィルタの画素出力が飽和レベルＡを超えていても、Ｒ、Ｂフィルタの各画素出力が飽和レベルＡを超えていない範囲内にあるときに、Ｒ、Ｂフィルタの各画素出力レベルから、Ｒ、Ｂフィルタの各画素感度特性（図３のｇ）とＧフィルタの画素感度特性（図３のｆ）とに基づいてＧフィルタの画素出力レベルを予測補間（一点鎖線部分）し、この予測補間した分だけダイナミックレンジを拡大するようにした。
【００６８】
以下、本実施形態におけるダイナミックレンジの拡大処理動作について説明する。
【００６９】
本実施形態では、撮影者がメニュー（ＭＥＮＵ）ボタン１２（図１（Ｃ）参照）を押圧操作することにより、例えば、図４に示すような撮影設定画面が液晶モニタ（ＬＣＤ）９に表示され、この表示画面から「ダイナミックレンジ２倍」の項目を選択することにより、制御部２８からＹＵＶ変換部３６へ制御信号が出力され、ダイナミックレンジを２倍に拡大する処理動作が実行される。
【００７０】
例えば、被写体の背景の一部に極端に明るい部分がある場合などに、撮影者の判断によりメニュー（ＭＥＮＵ）ボタン１２を押圧操作して「ダイナミックレンジ２倍」の項目を選択することにより、ダイナミックレンジの拡大処理が行われる。
【００７１】
なお、本実施形態では、前記したようにＧフィルタの画素感度特性が、Ｒ、Ｂフィルタの各画素感度特性の２倍程度の感度を有していることを前提としているため、極端に赤い光源下や青い光源下では、Ｇフィルタの画素感度よりもＲ、Ｂフィルタの画素感度の方が飽和してしまう場合がある。このような状況下で前記したダイナミックレンジの拡大処理を行うと正確な諧調および色再現が得られないので、このような場合には撮影者の判断により、前記した「ダイナミックレンジ２倍」の項目を選択しないようにする。
【００７２】
ダイナミックレンジの拡大処理は、ＹＵＶ変換部３６で行われる。図５に示すように、ＹＵＶ変換部３６は、ダイナミックレンジ拡大予測補間部（以下、「Ｄレンジ拡大予測補間部」という）５０、ビット圧縮変換部５１、ホワイトバランス制御部５２、同時化部５３、トーンカーブ変換部５４、ＲＧＢ−ＹＵＶ変換部５５、画像サイズコンバータ部５６、輝度ヒストグラム生成部５７、エッジエンハンス部５８を備えている。
【００７３】
図６に示すように、Ｄレンジ拡大予測補間部５０は、入力されるＲＡＷ−ＲＧＢデータからＲＧＢフィルタを設けた各画素の画素出力を検出するとともに、感度が一番高いＧフィルタを設けた画素の画素出力（以下、「Ｇフィルタの画素出力」という）が飽和レベル以上に達したか否かを判定する輝度レベル判定部６０と、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベル以上に達したと判定した場合に、その周囲のＲ、Ｂフィルタを設けた画素の画素出力（以下、「Ｒ、Ｂフィルタの画素出力」という）によって飽和レベル以上に達しているＧフィルタの画素出力の予測補間処理を行う画素出力補正処理部６１と、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベルに達していないと判定された場合に、Ｇフィルタの画素出力、およびＲ、Ｂフィルタの画素出力に対して、出力レベルの変換を行うことなく１２ビットから１４ビットにそれぞれビット拡張のみを行うビット拡張処理部６２を備えている。
【００７４】
輝度レベル判定部６０でＧフィルタの画素出力が飽和レベル以上に達したか否かを判定処理する際において、本実施形態では、ＲＧＢフィルタを有するＣＣＤ２０の各画素に対して、図７に示すように、太枠Ａ内の２×２画素（２つのＧフィルタの画素、１つずつのＲ、Ｂフィルタの画素）を処理単位（最小単位）とする。この処理単位（太枠Ａ）内にある２つのＧフィルタの画素のうちの少なくとも１つの画素出力が飽和レベル以上に達している場合に、Ｇフィルタの感度は、前記したようにＲ、Ｂフィルタの感度の約２倍であるため、Ｇフィルタの画素出力値は、下記の式（１）から算出する。
【００７５】
Ｇ＝｛（Ｒ＋Ｂ）／２｝×２ …式（１）
画素出力補正処理部６１は、式（１）のように、Ｒ、Ｂフィルタの画素出力の平均値を算出して、それを２倍することでＧフィルタの画素出力値を算出する。算出されたＧフィルタの画素出力値は、処理単位（２×２画素）内にある２つのＧフィルタの画素出力値として置き換えられる。なお、前記Ｇフィルタの画素出力値は１２ビットを超えたデータになるため、ここでは一度１４ビットのデータに置き換える。よって、Ｒ、Ｂフィルタの画素出力の最大値はいずれも４０９５（１２ビット）なので、Ｇフィルタの画素出力の最大値は８１９０となるので、１４ビットのデータとして扱うことができる。
【００７６】
ところで、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベル以上に達しているか否かを判定処理する前に、欠陥画素の補正が完了している必要がある。即ち、Ｇフィルタを設けた画素に欠陥画素があり、常に飽和する値を出力する画素があった場合、同じ処理単位内にあるＧフィルタを設けた画素を大きな値に置き換えてしまうため、新たな欠陥画素を生成してしまうことになる。また、Ｒ、Ｂフィルタを設けた画素に欠陥画素がある場合、前記式（１）によるＧフィルタを設けた画素の換算が正しくない値になってしまう。このため、本実施形態では、ＣＣＤＩ／Ｆ３４に欠陥画素を取り除く欠陥画素除去処理部（不図示）を備えている。
【００７７】
そして、Ｄレンジ拡大予測補間部５０からＲ、Ｂフィルタの画素出力データ、および飽和レベル以上に達して予測補間処理されたＧフィルタの画素出力データが、ビット圧縮変換部５１に出力される。ビット圧縮変換部５１は、例えば、図８（ａ）に示すような変換特性（３箇所の節点を指定し、それらの間を直線で近似する４区間の折れ線近似特性）によって、１４ビットに拡張されたＲ、Ｇ、Ｂフィルタの画素出力のうちのＧフィルタの画素出力を１２ビットに圧縮する。なお、図８（ａ）において、ａは１２ビットの範囲であり、ｂは最大値８１９０のデータを１／２倍する単純な線形変換特性（一点鎖線部分）である。
【００７８】
図８（ａ）に示す変換特性では、Ｇフィルタの画素出力の最大値は８１９０なので、８１９０が４０９５になるように圧縮する。そして、Ｇフィルタの画素出力の圧縮倍率に合わせて、Ｒ、Ｂフィルタの画素出力の値も圧縮する。
【００７９】
前記したように本実施形態では、最大値が８１９０に拡張されたＧフィルタの画素出力を最大値が４０９５に圧縮する場合の一例として、図８（ａ）の実線で示したような３つの節点を有する変換特性を用いた。本実施形態では、単純な節点のない線形変換特性（図８（ａ）のｂ）では得られない以下のような２つの効果が得られる。
【００８０】
第１の効果としては、データの信頼性が高いデータにより多くのビット数を割り当てることができる。即ち、飽和レベル以上に達しているＧフィルタの画素出力に対して予測補間処理する場合、前記したようにＧフィルタの画素出力の飽和レベル付近の規定値以上の値になった範囲について予測補間を行い、この規定値以下の範囲では予測補間は行われない。よって、予測補間を行う範囲と行わない範囲とでは、データの精度が異なっている。
【００８１】
即ち、例えば前記式（１）によって飽和しているＧフィルタの画素出力値を予測補間（補正）する場合、主被写体の色によっては、予測補間を行う範囲においては被写体の輝度レベルが正確に再現できていない場合がある。これに対して予測補間を行っていない範囲は、ＲＧＢフィルタを有するＣＣＤ２０から出力される実際のデータ（アナログＲＧＢ画像信号）をＡ／Ｄ変換したデータであるので、このデータの信頼性は高いものとなる。
【００８２】
即ち、図８（ａ）に示した本実施形態における変換特性（実線で示した部分）では、例えば、入力１４ビットデータが１０２４ときに出力１２ビットデータは１０２４になっており、元のデータがそのまま使われている。これに対し、例えば、入力１４ビットデータが３０７２ときに出力１２ビットデータは２５６０になっており、この範囲では予測補間前のビット割付よりも少ない割付となることによって、多少のビット誤差が発生する。
【００８３】
このように、単純な節点のない線形変換を行う特性（一点鎖線で示した部分）ではなく、本実施形態のように３つの節点を有する変換特性（実線で示した部分）を採用することにより、ビット割付をだんだんと少なくしていくことができるので、データの信頼性が高いデータにより多くのビット数を割り当てることができる。
【００８４】
そして、第２の効果としては、低・中輝度における階調を正確に保存することができる。即ち、単純な線形変換特性（図８（ａ）のｂ）でビット圧縮を行った場合、低輝度側の予測補間が行われていない範囲では、ビット割付が１／４になってしまう。このため、階調感のない画像になってしまう。これに対し、図８（ａ）に示したような本実施形態における変換特性（実線部分）でビット圧縮を行った場合には、飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮変換部５１でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることにより、低輝度レベルにおける階調性を良好に保持することができる。
【００８５】
なお、本実施形態では、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小するときに、図８（ａ）のように３つの節点を指定し、それらの間を直線で近似する４区間の折れ線近似特性（変換特性）でビット圧縮を行う構成であったが、この区間数は特に限定されるものではない。例えば、１つの節点を指定する２区間の折れ線近似特性としてもよいが、節点付近でビット割付が大きく変わることにより、前記した２つの効果が小さくなる。よって、３区間以上の区間数を有する折れ線近似特性（変換特性）が好ましい。
【００８６】
また、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小する変換特性を、図８（ｂ）に示すように、複数の節点を有していない曲線による変換特性としてもよい。即ち、図８（ａ）の４区間を有する変換特性に対して、区間数を８１９２にしたものがこの曲線による変換特性となる。なお、図８（ｂ）において、ａは１２ビットの範囲である。
【００８７】
更に、入力１４ビットデータの０〜８１９２に対して、１２ビットに縮小変換後の数値データを持ったルックアップテーブルを設けておくことにより、この曲線による変換特性で、拡張したＧフィルタの画素出力の１４ビットデータを良好に１２ビットに圧縮することができる。
【００８８】
そして、ビット圧縮変換部５１で１４ビットから１２ビットに圧縮変換されたＲ、Ｇ、Ｂフィルタの画素出力データは、ホワイトバランス制御部５２に入力される。ホワイトバランス制御部５２は、入力されるＲ、Ｇ、Ｂフィルタの画素出力データをそれぞれ増幅する。この際、制御部２８は、ＣＣＤＩ／Ｆ３４で算出された前記ＡＷＢ評価値に基づいてホワイトバランスを合わせるための補正値を算出し、算出した補正値をホワイトバランス制御部５２に出力する。ホワイトバランス制御部５２は、入力される前記補正値に基づいてホワイトバランスを合わせる。
【００８９】
そして、ホワイトバランス制御部５２からホワイトバランスが合わされたＲ、Ｇ、Ｂフィルタの画素出力データ（１２ビット）は、同時化部５３に入力される。同時化部５３は、ベイヤ配列等の１画素に１色のデータしか持っていないＲＡＷデータに対して補間演算処理を行い、１画素に対してＲＧＢの全てのデータを生成する。
【００９０】
そして、同時化部５３で生成されたＲＧＢの全てのデータ（１２ビット）は、トーンカーブ変換部５４に入力される。トーンカーブ変換部５４は、図９に示すような変換テーブルによって１２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換するγ変換を行って、８ビットのＲＧＢ値を生成し、ＲＧＢ−ＹＵＶ変換部５５に出力する。
【００９１】
ＲＧＢ−ＹＵＶ変換部５５は、入力されるＲＧＢデータ（８ビット）をマトリックス演算によりＹＵＶデータに変換し、画像サイズコンバータ部５６に出力する。画像サイズコンバータ部５６は、入力されるＹＵＶデータ（８ビット）に対して所望の画像サイズに縮小または拡大を行い、輝度ヒストグラム生成部５７およびエッジエンハンス部５８に出力する。
【００９２】
輝度ヒストグラム生成部５７は、入力されるＹＵＶデータにより輝度ヒストグラムを生成する。エッジエンハンス部５８は、入力されるＹＵＶデータに対して画像に合わせたエッジ強調等の処理を行い、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存する。
【００９３】
このように、本実施形態では、処理単位内の感度の高いＧフィルタの画素出力が飽和レベルを超えているような撮影においても、感度の低いＲ、Ｂフィルタの画素出力に基づいて、飽和しているＧフィルタの画素出力を予測補間処理することにより、図３に示すように、Ｇフィルタ（図３のｄ、ｅ）の画素出力の予測補間した拡張領域（図３のｄ、ｅのＧフィルタの画素出力の一点鎖線部分）に基づいて、１回の撮影でダイナミックレンジを２倍に拡大することが可能となる。
【００９４】
よって、撮影画像内の背景等に高輝度部分がある場合でも、白とびの発生を防止して良好な階調性を得ることが可能となる。
【００９５】
また、図１０（ａ）は、Ｇフィルタの画素出力が飽和レベルを超えたときに、前記した本実施形態におけるダイナミックレンジの拡大処理を行った場合の、輝度ヒストグラム生成部５７で生成されたヒストグラムの一例である。このヒストグラムから明らかなように、ダイナミックレンジの拡大処理を行ったことにより、最大輝度部分（２５５）における白飛びがほとんど発生していなく、良好な階調で再現されている。
【００９６】
これに対し、図１０（ｂ）は、Ｇフィルタの画素出力が飽和レベルを超えたときに、前記した本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合の、輝度ヒストグラム生成部５７で生成されたヒストグラムの一例である。このヒストグラムから明らかなように、ダイナミックレンジの拡大処理を行わなかったことにより、最大輝度部分（２５５）に度数があり、白飛びが発生しているのが分かる。
【００９７】
なお、前記した実施形態１の説明および図３において、所定の飽和レベル判定値である図３の飽和レベルＡと、補正後の１２ビットの最大値である４０９５とが一致しているように説明したが、これに限定するものではない。例えば、出力が完全に飽和する付近の高輝度部において、出力の直線性（リニアリティー）が良くないＲＧＢフィルタを有するＣＣＤでは、例えば完全に飽和する４０９５よりも小さい値である４０３２を所定の飽和レベル値（図３の飽和レベルＡ）とおいて、その値を超えた画素出力を予測補間処理の対象としてもよい。
【００９８】
また、デジタルカメラのシステム構成によっては、高輝度被写体でも１２ビットの最大値である４０９５にならないものもある。その場合も同様に所定の飽和レベルを４０９５よりも低い値に設定するとよい。
【００９９】
このように、４０９５未満を所定の飽和レベルとしたときでも、その特性に合わせて図９の変換カーブを切り替えることで、ビット圧縮変換部５１の出力を４０９５にすることができ、後段の処理を変えることなくダイナミックレンジの拡大が可能となる。
【０１００】
なお、本実施形態において、例えば、Ｇフィルタの画素出力とＲフィルタの画素出力の値が飽和レベル以上に達した場合、前記式（１）から算出される予測補間したＧフィルタの画素出力の値が不正確になるとともに、Ｒフィルタの画素出力の値を予測補間しないで、Ｇフィルタの画素出力で用いた圧縮率でビット圧縮するため、色相が変化してしまう可能性がある。
【０１０１】
そこで、Ｇフィルタの画素出力とＲフィルタ（またはＢフィルタ）の画素出力の値が少なくとも飽和レベル以上に達している場合には、前記した予測補間によるダイナミックレンジの拡大処理を行わないようにすることが好ましい。あるいは、複数（Ｇフィルタの画素出力とＲフィルタ（またはＢフィルタ））の画素出力の値が飽和レベル以上に達しているということは、その処理単位エリアの明るさは極めて明るいと仮定して、Ｇフィルタの画素出力の値を予め決めた値、例えば、
Ｇフィルタの画素出力＝４０９６×１．８＝７３７２（１４ビット）
などに設定してもよい。
【０１０２】
また、本実施形態では、図５に示したように、Ｄレンジ拡大予測補間部５０から出力される１４ビットのＲＡＷ−ＲＧＢデータ（Ｒ、Ｇ、Ｂフィルタの画素出力データ）をビット圧縮変換部５１で１２ビットに縮小処理し、ホワイトバランス制御部５２、同時化部５３においては１２ビットのデータ処理を行う構成であったが、これ以外にも、同時化部５３の後にビット圧縮変換部５１を設けて、同時化部５３から出力される１４ビットのデータを１２ビットのデータに縮小処理する構成でもよい。
【０１０３】
〈実施形態２〉
前記実施形態１では図７に示したように、ＲＧＢ原色フィルタを有するＣＣＤ２０に対して、２×２画素を処理単位（最小単位）としていたが、本実施形態では、図１１に示すように、太枠Ａ内の５画素（１つのＧフィルタの画素、２つずつのＲ（Ｒ１，Ｒ２）、Ｂ（Ｂ１，Ｂ２）フィルタの画素）を処理単位（最小単位）とし、処理単位を前記実施形態１の場合よりも広い範囲とした例である。なお、デジタルカメラの構成、モニタリング動作、静止画撮影動作、およびダイナミックレンジの拡大処理動作は、前記実施形態１と同様である。
【０１０４】
図１１に示した太枠Ａの処理単位内にあるＧフィルタの画素出力が飽和レベル以上に達している場合、Ｇフィルタの感度は、前記したようにＲ、Ｂフィルタの感度の約２倍であるため、Ｇフィルタの画素出力値は、下記の式（２）から算出する。
【０１０５】
Ｇ＝［｛（Ｒ１＋Ｒ２）／２＋（Ｂ１＋Ｂ２）／２｝／２］×２ …式（２）
そして、図６に示したＤレンジ拡大予測補間部５０の画素出力補正処理部６１は、前記式（２）より算出されたＧフィルタの画素出力値を、前記処理単位（図１１参照）内にあるＧフィルタの画素出力値として置き換え、以下、前記実施形態１と同様の処理を行う。
【０１０６】
このように、処理単位を広くすることで、処理単位内の他のＲ１，Ｒ２フィルタの画素、Ｂ１，Ｂ２フィルタの画素が持っている感度差による影響を緩和することができ、Ｇフィルタの画素出力に対して、より正確なダイナミックレンジ拡大予測補間が可能となる。
【０１０７】
〈実施形態３〉
本実施形態では、図１２に示すように、ＲＧＢフィルタを有するＣＣＤ２０に対して、前記実施形態２の場合よりも更に処理単位（太枠Ａ）を広くした例である。なお、デジタルカメラの構成、モニタリング動作、静止画撮影動作、およびダイナミックレンジの拡大処理動作は、前記実施形態１と同様である。
【０１０８】
処理単位を広くすると、広い範囲の輝度情報に基づいて処理することになるため、ローパスフィルタをかけたことと等価になってしまう。そのため、輝度変化のエッジ部分がなまってしまう。そこで、本実施形態では、広くした処理単位の大きさを、例えば、前記ＡＦ評価値を利用して部分的に変更するものとする。
【０１０９】
即ち、図２に示した信号処理部２２のＣＣＤＩ／Ｆ３４では、前記したようにＡＦを行うためのＡＦ評価値を算出している。これは、ハイパスフィルタ（ＨＰＦ）の出力であり、撮影画像の画面内に輝度の変化がある部分では大きな値が出力される。そして、制御部２８は、静止画撮影時のＡＦ評価値を読み出し、画面内の輝度変化がある部分とない部分を判別する。そして、制御部２８は、この判別データを基にＤレンジ拡大予測補間部５０に対して、輝度変化がある部分には処理単位が狭くなるような設定を行い、輝度変化がない部分には、図１２に示したように処理単位が広い範囲になるように設定を行う。
【０１１０】
このように、処理単位を更に広くした場合でも、輝度変化がある部分には処理単位が狭くなるような設定を行うことで、解像度を落とすことなく、正確なダイナミックレンジ拡大予測補間が可能となる。
【０１１１】
〈実施形態４〉
本実施形態では、ＲＧＢフィルタを有するＣＣＤ２０に対して、図１３に示すように、太枠Ａ内の水平方向５画素、垂直方向５画素の５×５画素を処理単位とし、この処理単位の中心部のＧフィルタに対して、対角線方向（図１３のａ方向、ｂ方向）にも複数のＧフィルタの画素が配置されている。処理単位（太枠Ａ内）の中心部のＧフィルタの画素出力に対して、飽和レベル以上に達したか否かの判定が行われる。
【０１１２】
また、本実施形態におけるＹＵＶ変換部３６のＤレンジ拡大予測補間部５０は、図１４に示すように、輝度レベル判定部６０と、画素出力補正処理部６１ａと、ビット拡張処理部６２を備えている。なお、デジタルカメラの他の構成、モニタリング動作、静止画撮影動作は、前記実施形態１と同様である。
【０１１３】
輝度レベル判定部６０は、入力される処理単位（図１３参照：太枠Ａ）の中心部のＧフィルタの画素出力が飽和レベル以上に達したか否かを判定する。画素出力補正処理部６１ａは、輝度レベル判定部６０で中心部のＧフィルタの画素出力が飽和レベル以上に達したと判定した場合に、輝度レベル判定部６０から出力される中心部のＧフィルタの画素出力に対して、処理単位（太枠Ａ）の対角線方向（図１３のａ方向、ｂ方向）に配置されている他の複数のＧフィルタの画素出力によって飽和レベル以上に達している中心部のＧフィルタの画素出力の予測補間処理を行う。
【０１１４】
ビット拡張処理部６２は、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベルに達していないと判定された場合に、Ｇフィルタの画素出力、およびＲ、Ｂフィルタの画素出力に対して、出力レベルの変換を行うことなく１２ビットから１４ビットにそれぞれビット拡張のみを行う。
【０１１５】
本実施形態では、ダイナミックレンジの拡大処理時において、Ｄレンジ拡大予測補間部５０の輝度レベル判定部６０により、図１３に示した処理単位（太枠Ａ）の中心部のＧフィルタの画素出力が飽和レベル以上に達していると判定した場合、画素出力補正処理部６１ａは、輝度レベル判定部６０から出力される中心部のＧフィルタの画素出力に対して、図１５（ａ），（ｂ）に示すように、処理単位の各対角線方向（図１３のａ方向、ｂ方向）に配置されている複数のＧフィルタの画素出力の値の分布から、飽和しているＧフィルタの画素出力を予測するようにした。
【０１１６】
図１５（ａ）は、ａ方向の対角線における各Ｇフィルタの画素出力の値であり、これらの出力値から中心部のＧフィルタの画素出力の予測値ａ１は６０００（１４ビット）程度になることが予測できる。また、図１５（ｂ）は、ｂ方向の対角線における各Ｇフィルタの画素出力の値であり、これらの出力値から中心部のＧフィルタの画素出力の予測値ｂ１は５０００（１４ビット）程度になることが予測できる。なお、図１５（ａ），（ｂ）において、４０９５（１２ビット）が中心部のＧフィルタの画素出力の飽和レベルである。
【０１１７】
そして、これらの予測結果から、処理単位（図１３参照：太枠Ａ）の中心部の飽和レベル以上に達しているＧフィルタの画素出力の値は５０００〜６０００程度であることが予測できる。このＧフィルタの画素出力の値を決定する場合は、例えば、この２つの予測値の平均をとって５５００とする。
【０１１８】
このように、処理単位内で中心部のＧフィルタの画素出力が飽和レベル以上に達した場合に、処理単位内の他のＧフィルタの画素出力の値の分布から飽和したＧフィルタの画素出力の値を予測することにより、正確なダイナミックレンジ拡大予測補間が可能となる。
【０１１９】
なお、本実施形態では、飽和レベル以上に達しているＧフィルタの画素出力の値を予測する際に、処理単位内の対角線方向に配置されている複数のＧフィルタの画素出力の値から予測する構成であったが、更に処理単位内の水平方向および垂直方向に配置されている複数のＧフィルタの画素出力の値も同時に併せて考慮して、飽和レベル以上に達しているＧフィルタの画素出力の値を予測するようにしてもよい。これにより、より正確なダイナミックレンジ拡大予測補間が可能となる。
【０１２０】
また、本実施形態では、処理単位内のＧフィルタの画素についてのみ説明したが、Ｒ、Ｂフィルタの画素につても同様に処理することが可能である。
【０１２１】
〈実施形態５〉
本実施形態におけるＹＵＶ変換部３６のＤレンジ拡大予測補間部５０は、図１６に示すように、輝度レベル判定部６０、ビット拡張処理部６２、第１画素出力補正処理部６３、第２画素出力補正処理部６４、および補正データ合成部６５を備えている。輝度レベル判定部６０とビット拡張処理部６２は、図６に示した実施形態１と同様である。なお、デジタルカメラの他の構成、モニタリング動作、静止画撮影動作は、前記実施形態１と同様である。
【０１２２】
第１画素出力補正処理部６３（図６に示した実施形態１における「画素出力補正処理部６１」に相当）は、輝度レベル判定部６０で処理単位内のＧフィルタの画素出力が飽和レベル以上に達していると判定した場合に、前記実施形態１（実施形態２、３も含む）と同様に、処理単位内のＲ、Ｂフィルタの画素出力から、飽和レベル以上に達しているＧフィルタの画素出力を予測補間する。
【０１２３】
第２画素出力補正処理部６４（図１４に示した実施形態４における「画素出力補正処理部６１ａ」に相当）は、輝度レベル判定部６０で処理単位内のＧフィルタの画素出力が飽和レベル以上に達していると判定した場合に、前記実施形態４と同様に、処理単位内の他の複数のＧフィルタの画素出力の値の分布から、飽和レベル以上に達しているＧフィルタの画素出力を予測補間する。
【０１２４】
補正データ合成部６５は、以下のような各処理条件（第１〜第４の処理条件）に基づいて、適切な予測補間処理を行う。
【０１２５】
（第１の処理条件）
第１の処理条件では、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間情報を平均する。
【０１２６】
即ち、補正データ合成部６５は、第１、第２画素出力補正処理部６３、６４からＧフィルタの画素出力に対する各予測補間情報が入力された場合に、両方の予測補間情報を平均し、平均した予測補間情報に基づいて飽和レベル以上に達しているＧフィルタの画素出力を予測補間する。
【０１２７】
（第２の処理条件）
第２の処理条件では、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間値情報に対して、第１画素出力補正処理部６３側の予測補間値情報を優先する。
【０１２８】
例えば、主被写体が緑色の背景領域にある場合には、Ｒ、Ｂフィルタの画素出力は非常に低い値となってしまう。そして、前記緑色の背景領域において、Ｇフィルタの画素出力が飽和レベル以上に達していて、第１画素出力補正処理部６３でＧフィルタの画素出力に対して予測補間を行った場合における画素出力の予測値は、元の飽和レベル以上に達しているＧフィルタの画素出力の値よりも低くなってしまうことがある。
【０１２９】
そして、補正データ合成部６５は、第１画素出力補正処理部６３からの飽和レベル以上に達しているＧフィルタの画素出力に対する予測補間値と輝度レベル判定部６０で飽和レベルの判定に用いた値との比較を行い、第１画素出力補正処理部６３からの予測補間値が飽和レベルよりも高い値になっている場合は、第１画素出力補正処理部６３からの予測補間値を最終の予測補間値として採用し、第１画素出力補正処理部６３からの予測補間値が飽和レベルよりも低い値になっている場合は、第２画素出力補正処理部６４からの予測補間値を最終の予測補間値として採用する。
【０１３０】
（第３の処理条件）
第３の処理条件では、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間値情報に対して、第２画素出力補正処理部６４側の予測補間値情報を優先する。
【０１３１】
処理単位内のＧフィルタの画素出力が飽和レベルに達している場合、その周辺のＧフィルタの画素出力は飽和レベル近くに達している可能性がある。そのため、前記したように第２画素出力補正処理部６４は、輝度レベル判定部６０で処理単位内のＧフィルタの画素出力が飽和レベル以上に達していると判定した場合に、処理単位内の他の複数のＧフィルタの画素出力の値の分布から、飽和レベル以上に達しているＧフィルタの画素出力を予測補間する。
【０１３２】
この際、第２画素出力補正処理部６４が、処理単位内の他の複数のＧフィルタの画素出力の値の分布から、飽和レベル以上に達しているＧフィルタの画素出力を正しく予測補間処理できなかった場合は、第２画素出力補正処理部６４からの出力値を「０」とする。
【０１３３】
そして、補正データ合成部６５は、第２画素出力補正処理部６４からの飽和レベル以上に達しているＧフィルタの画素出力に対する予測補間値と輝度レベル判定部６０で飽和レベルの判定に用いた値との比較を行い、第２画素出力補正処理部６４からの予測補間値が飽和レベルよりも小さい値になっている場合は、第１画素出力補正処理部６３からの予測補間値を最終の予測補間値として採用し、第２画素出力補正処理部６４からの予測補間値が飽和レベルよりも高い値になっている場合は、第２画素出力補正処理部６４からの予測補間値を最終の予測補間値として採用する。
【０１３４】
（第４の処理条件）
第４の処理条件では、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間値情報に応じて、前記第１〜第３の処理条件を適切に選択する。
【０１３５】
即ち、補正データ合成部６５は、第１、第２画素出力補正処理部６３、６４から飽和レベルに達しているＧフィルタの画素出力の各予測補間値情報が入力された場合には、前記第１の処理条件を選択して両方の予測補間値を加重平均し、平均した予測補間値を最終の予測補間値として採用する。
【０１３６】
そして、第１画素出力補正処理部６３からの出力が飽和レベルよりも高い値になっている場合、補正データ合成部６５は、前記第２の処理条件を選択して第１画素出力補正処理部６３からの予測補間値を最終の予測補間値として採用する。また、第２画素出力補正処理部６４からの出力が飽和レベルよりも高い値になっている場合、補正データ合成部６５は、前記第３の処理条件を選択して第２画素出力補正処理部６４からの予測補間値を最終の予測補間値として採用する。
【０１３７】
このように、補正データ合成部６５は、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間値情報に応じて、飽和レベル以上に達しているＧフィルタの画素出力の値を適切に予測補正することができるので、正確なダイナミックレンジ拡大予測補間が可能となる。
【０１３８】
〈実施形態６〉
本実施形態では、図１７に示すように、鏡胴ユニット６の撮影レンズ系５と絞りユニット２６の間に、光透過率の異なる２枚の第１、第２の緑色フィルタ７０ａ，７０ｂと開口部７１を有する回転自在なターレット板７２を設置した構成である。ターレット板７２は、制御部２８からの信号により駆動されるモータドライバ２５によって回転し、第１、第２の緑色フィルタ７０ａ，７０ｂ、および開口部７１が選択されて撮影レンズ系５の光軸上に移動するように構成されている。なお、デジタルカメラの他の構成、モニタリング動作、静止画撮影動作は、前記実施形態１と同様である。
【０１３９】
ターレット板７２の開口部７１を撮影レンズ系５の光軸上に移動させている状態では、撮影レンズ系５と絞りユニット２６間に何もない前記実施形態１と同様の構成である。
【０１４０】
ターレット板７２の第１の緑色フィルタ７０ａまたは第２の緑色フィルタ７０ｂを撮影レンズ系５の光軸上に移動させている状態では、ＲＧＢフィルタを有するＣＣＤ２０のＲ、Ｂフィルタの感度が大きく低下する。なお、Ｇフィルタの感度は変化しない。図１８（ａ）は、第１の緑色フィルタ７０ａの光の波長に対する光透過率特性であり、図１８（ｂ）は、第２の緑色フィルタ７０ｂの光の波長に対する光透過率特性である。これらの光透過率特性に示すように、第１の緑色フィルタ７０ａの方が第２の緑色フィルタ７０ｂよりも約２倍程度だけ光透過率がよい。
【０１４１】
第１の緑色フィルタ７０ａを撮影レンズ系５の光軸上に移動させている状態では、第１の緑色フィルタ７０ａは、Ｒ、Ｂフィルタの感度が通常の約１／２となるような光透過率特性を有している。よって、この状態では相対的にＲ、Ｂフィルタの感度は、Ｇフィルタの感度の約１／４になる（前記したように、元々Ｇフィルタの感度がＲ、Ｂフィルタの２倍程度高い感度なので）。
【０１４２】
また、第２の緑色フィルタ７０ｂを撮影レンズ系５の光軸上に移動させている状態では、第２の緑色フィルタ７０ｂは、Ｒ、Ｂフィルタの感度が通常の約１／４となるような光透過率特性を有している。よって、この状態では相対的にＲ、Ｂフィルタの感度は、Ｇフィルタの感度の約１／８になる（前記したように、元々Ｇフィルタの感度がＲ、Ｂフィルタの２倍程度高い感度なので）。
【０１４３】
図１９は、第１の緑色フィルタ７０ａを撮影レンズ系５の光軸上に移動させたときにおける、ＲＧＢフィルタの各画素出力を示した図であり、ａのＲＧＢフィルタでは、感度の高いＧフィルタの画素出力も飽和レベルＡ以下の状況にある。
【０１４４】
そして、本実施形態においても、図１９のｂ、ｃ、ｄ、ｅのＲＧＢフィルタのように、Ｇフィルタの画素出力が飽和レベルＡ以上に達しているが、Ｒ、Ｂフィルタの各画素出力が飽和レベルＡの範囲内にあるときに、Ｒ、Ｂフィルタの各画素出力レベルからＧフィルタの画素出力レベルを、Ｒ、Ｂフィルタの各画素出力レベルから、Ｒ、Ｂフィルタの各画素感度特性（図１９のｇ）とＧフィルタの画素感度特性（図１９のｆ）とに基づいてＧフィルタの画素出力レベルを予測補間（一点鎖線部分）し、この予測補間によってダイナミックレンジを拡大するようにした。
【０１４５】
そして、例えば主被写体の背景の一部に極端に明るい部分がある場合などに、撮影者の判断によりメニュー（ＭＥＮＵ）ボタン１２（図１（Ｃ）参照）を押圧操作して「ダイナミックレンジ４倍」の項目を選択することにより、制御部２８からＹＵＶ変換部３６へ制御信号が出力され、前記実施形態１と同様なダイナミックレンジの拡大処理が行われる。
【０１４６】
そして、例えば、実施形態１と同様な処理単位（図７参照）内にあるＧフィルタの画素出力が飽和レベルに達している場合、Ｇフィルタの感度は、前記したように本実施形態ではＲ、Ｂフィルタの感度の約４倍であるため、Ｇフィルタの画素出力値は、下記の式（３）から算出する。
【０１４７】
Ｇ＝｛（Ｒ＋Ｂ）／２｝×４ …式（３）
そして、図６に示したＤレンジ拡大予測補間部５０の画素出力補正処理部６１は、前記式（３）より算出されたＧフィルタの画素出力値を、前記処理単位内にあるＧフィルタの画素出力値として置き換える。なお、前記Ｇフィルタの画素出力値は１２ビットを超えたデータになるため、ここでは一度１４ビットのデータに置き換える。よって、Ｒ、Ｂフィルタの画素出力の最大値はいずれも４０９５（１２ビット）なので、Ｇフィルタの画素出力の最大値は１６３８３（１４ビット）となる。
【０１４８】
なお、処理単位は、実施形態１における処理単位（図７参照）以外にも、実施形態２、３、４における各処理単位（図１１、１２、１３参照）としてもよい。
【０１４９】
ビット圧縮変換部５１は、図２０に示すような変換特性によって１４ビットに拡張されたＧフィルタの画素出力を１２ビットに縮小する。図２０に示す変換テーブルでは、Ｇフィルタの画素出力の最大値は１６３８３なので、１６３８３が４０９５になるように圧縮する。そして、Ｇフィルタの画素出力の圧縮倍率に合わせて、Ｒ、Ｂフィルタの画素出力の値も圧縮する。以下、前記実施形態１と同様の処理を行う。
【０１５０】
なお、本実施形態における変換特性においても、前記同様に飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮変換部５１でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることにより、低輝度レベルにおける階調性を良好に保持することができる。
【０１５１】
このように、本実施形態では、処理単位内のＧフィルタの画素出力が飽和レベル以上に達しているような撮影時においても、撮影レンズ系５の光軸上に移動させた第１の緑色フィルタ７０ａにより、相対的にＲ、Ｂフィルタの感度をＧフィルタの感度の約１／４に低下させることができる。これにより、図１９に示したように、Ｇフィルタの画素出力の予測補間の拡張領域（図１９のｂ、ｃ、ｄ、ｅのＧフィルタの画素出力の一点鎖線部分）に基づいて、１回の撮影でダイナミックレンジを４倍に拡大することが可能となる。
【０１５２】
なお、前記本実施形態６、７では、光透過率の異なる２枚の第１、第２の緑色フィルタ７０ａ，７０ｂと開口部７１を有する回転自在なターレット板７２を、鏡胴ユニット６の撮影レンズ系５と絞りユニット２６の間に設置した構成であったが、このターレット板７２を撮影レンズ系５の前面側（絞りユニット２６と反対側）に設けてもよい。
【０１５３】
〈実施形態７〉
前記実施形態６では、ターレット板７２の第１の緑色フィルタ７０ａを撮影レンズ系５の光軸上に移動させて、ダイナミックレンジを４倍に拡大する構成であったが、本実施形態では、図１７に示したターレット板７２の第２の緑色フィルタ７０ｂを撮影レンズ系５の光軸上に移動させて、ダイナミックレンジを８倍に拡大する例である。なお、デジタルカメラの他の構成、モニタリング動作、静止画撮影動作は、前記実施形態１と同様である。
【０１５４】
前記したように、第２の緑色フィルタ７０ｂを撮影レンズ系５の光軸上に移動させている状態では、相対的にＲ、Ｂフィルタの感度は、前記したようにＧフィルタの感度の約１／８になる。
【０１５５】
そして、例えば主被写体の背景の一部に極端に明るい部分がある場合などに、撮影者の判断によりメニュー（ＭＥＮＵ）ボタン１２（図１（Ｃ）参照）を押圧操作して「ダイナミックレンジ８倍」の項目を選択することにより、制御部２８からＹＵＶ変換部３６へ制御信号が出力され、前記実施形態１と同様なダイナミックレンジの拡大処理が行われる。
【０１５６】
そして、例えば、実施形態１と同様な処理単位（図７参照）内にあるＧフィルタの画素出力が飽和レベル以上に達している場合、Ｇフィルタの感度は、前記したように本実施形態ではＲ、Ｂフィルタの感度の約８倍であるため、Ｇフィルタの画素出力値は、下記の式（４）から算出する。なお、処理単位は、実施形態１における処理単位（図７参照）以外にも、実施形態２、３、４における各処理単位（図１１、１２、１３参照）としてもよい。
【０１５７】
Ｇ＝｛（Ｒ＋Ｂ）／２｝×８ …式（４）
そして、図６に示したＤレンジ拡大予測補間部５０の画素出力補正処理部６１は、前記式（４）より算出されたＧフィルタの画素出力値を、前記処理単位内にあるＧフィルタの画素出力値として置き換える。なお、前記Ｇフィルタの画素出力値は１２ビットを超えたデータになるため、一度１４ビットのデータに置き換える。
【０１５８】
そして、ビット圧縮変換部５１により１４ビットに拡張されたＧフィルタの画素出力を１２ビットに縮小する。そして、Ｇフィルタの画素出力の縮小倍率に合わせて、Ｒ、Ｂフィルタの画素出力の値も縮小する。以下、前記実施形態１と同様の処理を行う。
【０１５９】
このように、本実施形態では、処理単位内のＧフィルタの画素出力が飽和レベル以上に達しているような撮影時においても、撮影レンズ系５の光軸上に移動させた第２の緑色フィルタ７０ｂにより、相対的にＲ、Ｂフィルタの感度をＧフィルタの感度の約１／８に低下させることができる。これにより、１回の撮影でダイナミックレンジを８倍に拡大することが可能となる。
【０１６０】
〈実施形態８〉
図２１（ａ）に示すように、前記した処理単位（図７参照）内にあるＧフィルタの画素出力が飽和レベルＡ以上に達しているときに、その周囲のＲ、Ｂフィルタの画素出力もある程度高い（飽和レベルＡ以下）場合には、実施形態１で述べたように式（１）に基づいて、Ｇフィルタの画素出力を飽和レベル以上に拡大するように補間して、ダイナミックレンジを拡大することができる。
【０１６１】
しかしながら、例えば、図２１（ｂ）に示すように、前記した処理単位（図７参照）内にあるＧフィルタの画素出力が飽和レベルＡ以上に達しているときに、その周囲のＲ、Ｂフィルタの画素出力がＧフィルタの画素出力に対して極端に小さい場合がある。この場合に、実施形態１の式（１）によりＧフィルタの画素出力を補間すると、周囲の極端に画素出力が小さいＲ、Ｂフィルタの影響により、Ｇフィルタの画素出力が逆に飽和レベルＡ以下に縮小される不具合が生じる。
【０１６２】
そこで、本実施形態では、実施形態１で述べＤレンジ拡大予測補間部５０の画素出力補正処理部６１（図６参照）によって、飽和レベル以上に達しているＧフィルタの画素出力を式（１）により演算したときに、その演算結果が、図２１（ａ）のように元のＧフィルタの画素出力よりも大きくなる場合のみ、Ｇフィルタの画素出力を飽和レベル以上に拡大するように補間を行う。
【０１６３】
よって、本実施形態では、飽和レベル以上に達しているＧフィルタの画素出力を式（１）により演算したときに、その演算結果が、図２１（ｂ）のように元のＧフィルタの画素出力よりも小さくなる場合は、Ｇフィルタの画素出力に対する補間処理を中止する。
【０１６４】
このように、本実施形態によれば、Ｇフィルタの画素出力が飽和レベル以上に達しているときでも、その周囲のＲ、Ｂフィルタの画素出力がＧフィルタの画素出力に対して極端に小さい場合には、Ｇフィルタの画素出力に対する補間処理が中止されるので、Ｇフィルタの画素出力が飽和レベル以下に下げられて、色ずれが生じることを防止することができる。
【０１６５】
〈実施形態９〉
実施形態８で述べたように、例えば、図２１（ｂ）に示すように、前記した処理単位（図７参照）内にあるＧフィルタの画素出力が飽和レベルＡ以上に達しているときに、その周囲のＲ、Ｂフィルタの画素出力がＧフィルタの画素出力に対して極端に小さい場合がある。この場合に、実施形態１の式（１）によりＧフィルタの画素出力を補間すると、周囲の極端に画素出力が小さいＲ、Ｂフィルタの影響により、Ｇフィルタの画素出力が逆に飽和レベルＡ以下に縮小される不具合が生じる。
【０１６６】
そこで、本実施形態では、飽和レベル以上に達しているＧフィルタの画素出力を補間処理するときに、その周囲のＲ、Ｂフィルタの画素出力がＧフィルタの画素出力に対して極端に小さい場合には、例えば、実施形態２の図１１に示したように、処理単位を実施形態１の図７の場合よりも拡大するようにした。この場合には、実施形態２の式（２）によりＧフィルタの画素出力を補間する。
【０１６７】
このように、本実施形態によれば、Ｇフィルタの画素出力が飽和レベル以上に達しているときに、その周囲のＲ、Ｂフィルタの画素出力がＧフィルタの画素出力に対して極端に小さい場合には、補間処理する際の処理単位を拡大することにより、拡大した他のＲ、Ｂフィルタの画素出力によって、Ｇフィルタの画素出力を飽和レベル以上に拡大するように補間することが可能となる。
【０１６８】
なお、処理単位を前記した図１１のように拡大した場合でも、まだＧフィルタの画素出力が飽和レベル以下に縮小される場合は、例えば、実施形態３の図１２に示したように、処理単位を更に拡大するようにしてもよい。図１２のように、処理単位を更に拡大した場合には、画素出力が飽和レベル以上に達しているＧフィルタと同色の他のＧフィルタの画素出力も併せて補間処理する際の演算に用いることにより、より良好な補間処理を行うことが可能となる。
【０１６９】
なお、前記した各実施形態では、色分解フィルタとしてＲＧＢの３原色系フィルタを配置した構成であったが、色分解フィルタとして補色系フィルタを配置した構成においても、同様に本発明を適用することができる。
【図面の簡単な説明】
【０１７０】
【図１】（ａ）は、本発明の実施形態１〜８に係る撮像装置の一例としてのデジタルカメラを示す正面図、（ｂ）は、その上面図、（ｃ）は、その背面図。
【図２】本発明の実施形態１〜８に係る撮像装置の一例としてのデジタルカメラ内のシステム構成の概要を示すブロック図。
【図３】本発明の実施形態１におけるダイナミックレンジ拡大の原理を説明するための図。
【図４】液晶モニタに表示された撮影設定画面の一例を示す図。
【図５】本発明の実施形態１におけるＹＵＶ変換部の構成を示すブロック図。
【図６】本発明の実施形態１におけるＤレンジ拡大予測補間部の構成を示すブロック図。
【図７】本発明の実施形態１におけるＲＧＢフィルタを有するＣＣＤの画素配置位置と処理単位を示す図。
【図８】（ａ）は、本発明の実施形態１における、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小する変換特性を示す図、（ｂ）は、本発明の実施形態１の他の例における、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小する変換特性を示す図。
【図９】１２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換（γ変換）する変換テーブルを示す図。
【図１０】（ａ）は、本発明の実施形態１におけるダイナミックレンジの拡大処理を行った場合のヒストグラムを示す図、（ｂ）は、本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合のヒストグラムを示す図。
【図１１】本発明の実施形態２におけるＲＧＢフィルタを有するＣＣＤの画素配置位置と処理単位を示す図。
【図１２】本発明の実施形態３におけるＲＧＢフィルタを有するＣＣＤの画素配置位置と処理単位を示す図。
【図１３】本発明の実施形態４におけるＲＧＢフィルタを有するＣＣＤの画素配置位置と処理単位を示す図。
【図１４】本発明の実施形態４におけるＤレンジ拡大予測補間部の構成を示すブロック図。
【図１５】（ａ）は、ａ方向の対角線における各Ｇフィルタの画素出力の値と中心部のＧフィルタの画素出力の予測値を示す図、（ｂ）は、ｂ方向の対角線における各Ｇフィルタの画素出力の値と中心部のＧフィルタの画素出力の予測値を示す図。
【図１６】本発明の実施形態５におけるＤレンジ拡大予測補間部の構成を示すブロック図。
【図１７】本発明の実施形態６におけるデジタルカメラの鏡胴ユニット内の構成を示す図。
【図１８】（ａ）は、第１の緑色フィルタの光の波長に対する光透過率特性を示す図、（ｂ）は、第２の緑色フィルタの光の波長に対する光透過率特性を示す図。
【図１９】本発明の実施形態６におけるダイナミックレンジ拡大の原理を説明するための図。
【図２０】本発明の実施形態６における、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小する変換特性を示す図。
【図２１】（ａ）は、Ｇフィルタの画素出力が飽和レベル以上に達しているときに、その周囲のＲ、Ｂフィルタの画素出力に基づいて、Ｇフィルタの画素出力を飽和レベル以上に拡大補間した状態を示す図、（ａ）は、Ｇフィルタの画素出力が飽和レベル以上に達しているときに、その周囲のＲ、Ｂフィルタの画素出力が極端に小さい場合に、Ｇフィルタの画素出力が飽和レベル以下に縮小補間された状態を示す図。
【符号の説明】
【０１７１】
１ デジタルカメラ（撮像装置）
５ 撮影レンズ系（レンズ系）
６ 鏡胴ユニット
９ 液晶モニタ
１２ メニューボタン（動作選択手段）
２０ ＣＣＤ（撮像素子）
２１ アナログフロントエンド部（アナログ・デジタル変換手段）
２２ 信号処理部
２３ ＳＤＲＡＭ
２８ 制御部
３４ ＣＣＤインターフェース
３５ メモリコントローラ
３６ ＹＵＶ変換部
５０ Ｄレンジ拡大予測補間部
５１ ビット圧縮変換部（ビット圧縮変換部）
６０ 輝度レベル判定部（画素出力検出手段）
６１、６１ａ 画素出力補正処理部（画素出力補正処理手段）
６２ ビット拡張処理部
６３ 第１画素出力補正処理部（第１の画素出力補正処理手段）
６４ 第２画素出力補正処理部（第２の画素出力補正処理手段）
６５ 補正データ合成部（予測補間処理手段）
７０ａ 第１緑色フィルタ（カラーフィルタ）
７０ｂ 第２緑色フィルタ（カラーフィルタ）
７２ ターレット板
【技術分野】
【０００１】
本発明は、デジタルスチルカメラ、デジタルビデオカメラ等の撮像装置および撮像方法に関し、特に撮影画像のダイナミックレンジを拡大することができる撮像装置および撮像方法に関する。
【背景技術】
【０００２】
銀塩写真フィルムを用いる従来の銀塩カメラで撮影される画像のダイナミックレンジに比べ、ＣＣＤ等の固体撮像素子を有するデジタルスチルカメラやデジタルビデオカメラ等で撮影される画像のダイナミックレンジは極めて狭い。ダイナミックレンジが狭いと、被写体の暗い部分は「黒つぶれ」といわれる現象が発生し、逆に被写体の明るい部分は「白とび」といわれる現象が発生して画像品質が低下する。
【０００３】
そこで、ＣＣＤ等の固体撮像素子で撮像される画像のダイナミックレンジを拡大するために、例えば、同一被写体に対して露光量を変えて複数回の撮影を行い、露光量の異なる複数の画像を取得し、これらの画像を加算してダイナミックレンジが拡大された合成画像を生成する技術が従来より知られている（例えば、特許文献１参照）。
【特許文献１】特開２０００−９２３７８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、ダイナミックレンジを拡大するために、前記特許文献１のように露光量を変えて複数回の撮影を行う方法では、移動物体の被写体を撮影したりすると、被写体が２重にずれた画像になり、正しく画像を合成できないことがある。
【０００５】
そこで、本発明は、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる撮像装置および撮像方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
前記目的を達成するために請求項１に記載の撮像装置は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備え、前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する画素出力補正処理手段とを有することを特徴としている。
【０００７】
請求項２に記載の撮像装置は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備え、前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する画素出力補正処理手段とを有することを特徴としている。
【０００８】
請求項３に記載の撮像装置は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備え、前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第１の画素出力補正処理手段と、前記画素出力検出手段により、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第２の画素出力補正処理手段と、前記第１の画素出力補正処理手段と前記第２の画素出力補正処理手段からそれぞれ出力される補間情報に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する補間処理手段とを有することを特徴としている。
【０００９】
請求項４に記載の撮像装置は、前記画素出力検出手段で各画素からの出力を検出する際の処理単位は、水平・垂直方向に２×２画素の大きさであることを特徴としている。
【００１０】
請求項５に記載の撮像装置は、前記光学系の前方側または後方側に、前記特定色と同じ色のカラーフィルタを出し入れ自在に設け、前記カラーフィルタを前記光学系の前方側または後方側に入れることにより、前記特定色のフィルタの輝度に対する感度に対して、前記他の色のフィルタの輝度に対する感度を相対的に低下させることを特徴としている。
【００１１】
請求項６に記載の撮像装置は、前記カラーフィルタは複数設けられており、前記複数のカラーフィルタはそれぞれ光の透過率が異なっていることを特徴としている。
【００１２】
請求項７に記載の撮像装置は、前記特定色のフィルタが配置された画素の出力に対して、前記所定の飽和レベル以上に達しているときに前記補間させる動作を、選択して実行させるための動作選択手段を備えていることを特徴としている。
【００１３】
請求項８に記載の撮像装置は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数に圧縮するビット圧縮変換手段を備え、前記ビット圧縮変換手段は、前記飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、前記飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴としている。
【００１４】
請求項９に記載の撮像装置は、前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記補間処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張されたすべてのデータを、再度前記第１ビット数に圧縮するビット圧縮変換手段を備え、前記ビット圧縮変換手段は、前記飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、前記飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することを特徴としている。
【００１５】
請求項１０に記載の撮像装置は、前記飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、前記ビット圧縮変換手段でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることを特徴としている。
【００１６】
請求項１１に記載の撮像装置は、前記画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも大きくなる場合のみ、前記所定の飽和レベル以上と判定した画素出力の補間を行うことを特徴としている。
【００１７】
請求項１２に記載の撮像装置は、前記画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも小さくなる場合には、前記演算に用いる画素の範囲を拡大することを特徴としている。
【００１８】
請求項１３、１６に記載の撮像装置は、前記演算に用いる画素の範囲を拡大する場合には、前記特定色のフィルタが配置された画素と同色のフィルタが配置された画素も併せて用いることを特徴としている。
【００１９】
請求項１４に記載の撮像装置は、前記第１、第２の画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも大きくなる場合のみ、前記所定の飽和レベル以上と判定した画素出力の補間を行うことを特徴としている。
【００２０】
請求項１５に記載の撮像装置は、前記第１、第２の画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも小さくなる場合には、前記演算に用いる画素の範囲を拡大することを特徴としている。
【００２１】
請求項１７に記載の撮像方法は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、前記判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する補間処理ステップと、を含むことを特徴としている。
【００２２】
請求項１８に記載の撮像方法は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、前記判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する補完処理ステップと、を含むことを特徴としている。
【００２３】
請求項１９に記載の撮像方法は、光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、前記判定ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第１の補間処理ステップと、前記判定ステップにより、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第２の補間処理ステップと、前記第１の補間処理ステップと前記第２の補間処理ステップからそれぞれ出力される補間情報に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第３の補間処理ステップと、を含むことを特徴としている。
【発明の効果】
【００２４】
請求項１、１７に記載の発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない他の色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上領域における画素出力を補間してダイナミックレンジを拡大することにより、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる。
【００２５】
請求項２、１８に記載の発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない複数の特定色と同じ色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上領域における画素出力を補間してダイナミックレンジを拡大することにより、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる。
【００２６】
請求項３、１９に記載の発明によれば、特定色のフィルタが配置された画素からの出力が所定の飽和レベル以上に達していると判定した場合に、その周囲の飽和していない他の色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上に達している画素の出力を補間し、更に、その周囲の飽和していない複数の特定色と同じ色のフィルタが配置された画素からの出力に基づいて、飽和レベル以上に達している画素の出力を補間し、これらの両方の補間情報に基づいて適切な補間処理を行ってダイナミックレンジを拡大することにより、露光量を変え複数回の撮影を行って画像を合成することなく、１回の撮影によってダイナミックレンジを拡大することができる。
【００２７】
請求項５に記載の発明によれば、光学系の前方側または後方側に特定色と同じ色のカラーフィルタを入れることにより、特定色のフィルタの輝度に対する感度に対して、他の色のフィルタの輝度に対する感度を相対的に低下させることができるので、容易にダイナミックレンジを更に拡大することができる。
【００２８】
請求項６に記載の発明によれば、複数のカラーフィルタはそれぞれ光の透過率が異なっていることにより、ダイナミックレンジの拡大倍率を容易に変更することができる。
【００２９】
請求項７に記載の発明によれば、特定色のフィルタが配置された画素の出力に対して、前記所定の飽和レベル以上に達しているときに予測補間させる動作を、動作選択手段で動作選択することにより撮影者の判断で行うことができる。
【００３０】
請求項８、９に記載の発明によれば、飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮することにより、飽和レベル以下における階調性を良好に保持することができる。
【００３１】
請求項１０に記載の発明によれば、飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮変換手段でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることにより、低輝度レベルにおける階調性を良好に保持することができる。
【００３２】
請求項１１、１４に記載の発明によれば、所定の飽和レベル以上に達している特定色のフィルタが配置された画素からの出力に対して、その周囲の他の色のフィルタが配置された画素からの出力が大幅に小さいときに、補間処理によって逆に特定色のフィルタが配置された画素からの出力が元よりも小さくなる不具合を防止できるので、ダイナミックレンジが逆に小さくなるのを防止することができる。
【００３３】
請求項１２、１５に記載の発明によれば、所定の飽和レベル以上に達している特定色のフィルタが配置された画素からの出力に対して、その周囲の他の色のフィルタが配置された画素からの出力が大幅に小さいときに、さらにその外側の画素からの出力情報を用いることで、元の画素出力よりも大きくなるように補間処理することが可能となる。
【００３４】
請求項１３、１６に記載の発明によれば、特定色のフィルタが配置された画素と同色のフィルタが配置された画素からの出力情報も併せて用いることで、より良好な補間処理を行うことができる。
【発明を実施するための最良の形態】
【００３５】
以下、本発明を図示の実施形態に基づいて説明する。
〈実施形態１〉
【００３６】
図１（ａ）は、本発明の実施形態１に係る撮像装置の一例としてのデジタルスチルカメラ（以下、「デジタルカメラ」という）を示す正面図、図１（ｂ）は、その上面図、図１（ｃ）は、その背面図、図２は、図１（ａ），（ｂ），（ｃ）に示したデジタルカメラ内のシステム構成の概要を示すブロック図である。
【００３７】
（デジタルカメラの外観構成）
図１（ａ），（ｂ），（ｃ）に示すように、本実施形態に係るデジタルカメラ１の上面側には、レリーズボタン（シャッタボタン）２、電源ボタン３、撮影・再生切替ダイアル４が設けられており、デジタルカメラ１の正面（前面）側には、撮影レンズ系５を有する鏡胴ユニット６、ストロボ発光部（フラッシュ）７、光学ファインダ８が設けられている。
【００３８】
デジタルカメラ１の背面側には、液晶モニタ（ＬＣＤ）９、前記光学ファインダ８の接眼レンズ部８ａ、広角側ズーム（Ｗ）スイッチ１０、望遠側ズーム（Ｔ）スイッチ１１、メニュー（ＭＥＮＵ）ボタン１２、確定ボタン（ＯＫボタン）１３等が設けられている。また、デジタルカメラ１の側面内部には、撮影した画像データを保存するためのメモリカード１４（図２参照）を収納するメモリカード収納部１５が設けられている。
【００３９】
（デジタルカメラのシステム構成）
図２に示すように、このデジタルカメラ１は、鏡胴ユニット６の撮影レンズ系５を通して入射される被写体画像が受光面上に結像する固体撮像素子としてのＣＣＤ２０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をデジタル信号に処理するアナログフロントエンド部（以下、「ＡＦＥ部」という）２１、ＡＦＥ部２１から出力されるデジタル信号を処理する信号処理部２２、データを一時的に格納するＳＤＲＡＭ２３、制御プログラム等が記憶されたＲＯＭ２４、鏡胴ユニット６を駆動するモータドライバ２５等を有している。
【００４０】
鏡胴ユニット６は、ズームレンズやフォーカスレンズ等を有する撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７を備えており、撮影レンズ系５、絞りユニット２６、メカシャッタユニット２７の各駆動ユニットは、モータドライバ２５によって駆動される。モータドライバ２５は、信号処理部２２の制御部（ＣＰＵ）２８からの駆動信号により駆動制御される。
【００４１】
ＣＣＤ２０は、ＣＣＤ２０を構成する複数の画素上にＲＧＢ原色フィルタ（図７参照：以下、「ＲＧＢフィルタ」という）が配置されており、ＲＧＢ３原色に対応した電気信号（アナログＲＧＢ画像信号）が出力される。
【００４２】
ＡＦＥ部２１は、ＣＣＤ２０を駆動するＴＧ（タイミング信号発生部）３０、ＣＣＤ２０から出力される電気信号（アナログＲＧＢ画像信号）をサンプリングするＣＤＳ（相関２重サンプリング部）３１、ＣＤＳ３１にてサンプリングされた画像信号のゲインを調整するＡＧＣ（アナログ利得制御部）３２、ＡＧＣ３２でゲイン調整された画像信号をデジタル信号（以下、「ＲＡＷ−ＲＧＢデータ」という）に変換するＡ／Ｄ変換部３３を備えている。
【００４３】
信号処理部２２は、ＡＦＥ部２１のＴＧ３０へ画面水平同期信号（ＨＤ）と画面垂直同期信号（ＶＤ）の出力を行い、これらの同期信号に合わせて、ＡＦＥ部２１のＡ／Ｄ変換部３３から出力されるＲＡＷ−ＲＧＢデータを取り込むＣＣＤインターフェース（以下、「ＣＣＤＩ／Ｆ」という）３４と、ＳＤＲＡＭ２３を制御するメモリコントローラ３５と、取り込んだＲＡＷ−ＲＧＢデータを表示や記録が可能なＹＵＶ形式の画像データに変換するＹＵＶ変換部３６と、表示や記録される画像データのサイズに合わせて画像サイズを変更するリサイズ処理部３７と、画像データの表示出力を制御する表示出力制御部３８と、画像データをＪＰＥＧ形成などで記録するためのデータ圧縮部３９と、画像データをメモリカード１４へ書き込み、又はメモリカード１４に書き込まれた画像データを読み出すメディアインターフェース（以下、「メディアＩ／Ｆ」という）４０と、操作部４１からの操作入力情報に基づき、ＲＯＭ２４に記憶された制御プログラムに基づいてデジタルカメラ１全体のシステム制御等を行う制御部（ＣＰＵ）２８を備えている。
【００４４】
操作部４１は、デジタルカメラ１（図１（ａ），（ｂ），（ｃ）参照）の外観表面に設けられているレリーズボタン２、電源ボタン３、撮影・再生切替ダイアル４、広角側ズームスイッチ１０、望遠側ズームスイッチ１１、メニューボタン１２、確定ボタン１３等であり、撮影者の操作によって所定の動作指示信号が制御部２８に入力される。
【００４５】
ＳＤＲＡＭ２３には、ＣＣＤＩ／Ｆ３４に取り込まれたＲＡＷ−ＲＧＢデータが保存されると共に、ＹＵＶ変換部３６で変換処理されたＹＵＶデータ（ＹＵＶ形式の画像データ）が保存され、更に、データ圧縮部３９で圧縮処理されたＪＰＥＧ形成などの画像データが保存される。
【００４６】
なお、前記ＹＵＶデータのＹＵＶは、輝度データ（Ｙ）と、色差（輝度データと青色（Ｂ）成分データの差分（Ｕ）と、輝度データと赤色（Ｒ）成分データの差分（Ｖ））の情報で色を表現する形式である。
【００４７】
（デジタルカメラのモニタリング動作、静止画撮影動作）
次に、前記したデジタルカメラ１のモニタリング動作と静止画撮影動作について説明する。このデジタルカメラ１は、静止画撮影モード時には、以下に説明するようなモニタリング動作を実行しながら静止画撮影動作が行われる。
【００４８】
先ず、撮影者が電源ボタン３をＯＮし、撮影・再生切替ダイアル４を撮影モードに設定することで、デジタルカメラ１が記録モードで起動する。電源ボタン３がＯＮされて、撮影・再生切替ダイアル４が撮影モードに設定されたことを制御部２８が検知すると、制御部２８はモータドライバ２５に制御信号を出力して、鏡胴ユニット６を撮影可能位置に移動させ、かつ、ＣＣＤ２０、ＡＦＥ部２１、信号処理部２２、ＳＤＲＡＭ２３、ＲＯＭ２４、液晶モニタ９等を起動させる。
【００４９】
そして、鏡胴ユニット６の撮影レンズ系５を被写体に向けることにより、撮影レンズ系５を通して入射される被写体画像がＣＣＤ２０の各画素の受光面上に結像する。そして、ＣＣＤ２０から出力される被写体画像に応じた電気信号（アナログＲＧＢ画像信号）は、ＣＤＳ３１、ＡＧＣ３２を介してＡ／Ｄ変換部３３に入力され、Ａ／Ｄ変換部３３により１２ビット（bit）のＲＡＷ−ＲＧＢデータに変換する。
【００５０】
このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれてメモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、ＳＤＲＡＭ２３から読み出されたＲＡＷ−ＲＧＢデータは、ＹＵＶ変換部３６で表示可能な形式であるＹＵＶデータ（ＹＵＶ信号）に変換された後に、メモリコントローラ３５を介してＳＤＲＡＭ２３にＹＵＶデータが保存される。
【００５１】
そして、ＳＤＲＡＭ２３からメモリコントローラ３５を介して読み出したＹＵＶデータは、表示出力制御部３８を介して液晶モニタ（ＬＣＤ）９へ送られ、撮影画像（動画）が表示される。前記した液晶モニタ（ＬＣＤ）９に撮影画像を表示しているモニタリング時においては、ＣＣＤＩ／Ｆ３４による画素数の間引き処理により１／３０秒の時間で１フレームを読み出している。
【００５２】
なお、このモニタリング動作時は、電子ファインダとして機能する液晶モニタ（ＬＣＤ）９に撮影画像が表示されているだけで、まだレリーズボタン２が押圧（半押も含む）操作されていない状態である。
【００５３】
この撮影画像の液晶モニタ（ＬＣＤ）９への表示によって、撮影画像を撮影者が確認することができる。なお、表示出力制御部３８からＴＶビデオ信号として出力して、ビデオケーブルを介して外部のＴＶ（テレビ）に撮影画像（動画）を表示することもできる。
【００５４】
そして、信号処理部２２のＣＣＤＩ／Ｆ３４は、取り込まれたＲＡＷ−ＲＧＢデータより、ＡＦ（自動合焦）評価値、ＡＥ（自動露出）評価値、ＡＷＢ（オートホワイトバランス）評価値を算出する。
【００５５】
ＡＦ評価値は、例えば高周波成分抽出フィルタの出力積分値や、近接画素の輝度差の積分値によって算出される。合焦状態にあるときは、被写体のエッジ部分がはっきりとしているため、高周波成分が一番高くなる。これを利用して、ＡＦ動作時（合焦検出動作時）には、撮影レンズ系５内の各フォーカスレンズ位置におけるＡＦ評価値を取得して、その極大になる点を合焦検出位置としてＡＦ動作が実行される。
【００５６】
ＡＥ評価値とＡＷＢ評価値は、ＲＡＷ−ＲＧＢデータにおけるＲＧＢ値のそれぞれの積分値から算出される。例えば、ＣＣＤ２０の全画素の受光面に対応した画面を２５６エリアに等分割（水平１６分割、垂直１６分割）し、それぞれのエリアのＲＧＢ積算を算出する。
【００５７】
そして、制御部２８は、算出されたＲＧＢ積算値を読み出し、ＡＥ処理では、画面のそれぞれのエリアの輝度を算出して、輝度分布から適正な露光量を決定する。決定した露光量に基づいて、露光条件（ＣＣＤ２０の電子シャッタ回数、絞りユニット２６の絞り値等）を設定する。また、ＡＷＢ処理では、ＲＧＢの分布から被写体の光源の色に合わせたＡＷＢの制御値を決定する。このＡＷＢ処理により、ＹＵＶ変換部３６でＹＵＶデータに変換処理するときのホワイトバランスを合わせる。なお、前記したＡＥ処理とＡＷＢ処理は、前記モニタリング時には連続的に行われている。
【００５８】
そして、前記したモニタリング動作時に、レリーズボタン２が押圧（半押しから全押し）操作される静止画撮影動作が開始されると、合焦位置検出動作であるＡＦ動作と静止画記録処理が行われる。
【００５９】
即ち、レリーズボタン２が押圧（半押しから全押し）操作されると、制御部２８からモータドライバ２５への駆動指令により撮影レンズ系５のフォーカスレンズが移動し、例えば、いわゆる山登りＡＦと称されるコントラスト評価方式のＡＦ動作が実行される。
【００６０】
ＡＦ（合焦）対象範囲が無限から至近までの全領域であった場合、撮影レンズ系５のフォーカスレンズは、至近から無限、又は無限から至近までの間の各フォーカス位置に移動し、ＣＣＤＩ／Ｆ３４で算出されている各フォーカス位置における前記ＡＦ評価値を制御部２８が読み出す。そして、各フォーカス位置のＡＦ評価値が極大になる点を合焦位置としてフォーカスレンズを合焦位置に移動させ、合焦させる。
【００６１】
そして、前記したＡＥ処理が行われ、露光完了時点で、制御部２８からモータドライバ２５への駆動指令によりメカシャッタユニット２７が閉じられ、ＣＣＤ２０から静止画用のアナログＲＧＢ画像信号が出力される。そして、前記モニタリング時と同様に、ＡＦＥ部２１のＡ／Ｄ変換部３３によりＲＡＷ−ＲＧＢデータに変換される。
【００６２】
そして、このＲＡＷ−ＲＧＢデータは、信号処理部２２のＣＣＤＩ／Ｆ３４に取り込まれ、後述するＹＵＶ変換部３６でＹＵＶデータに変換されて、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存される。そして、このＹＵＶデータはＳＤＲＡＭ２３から読み出されて、リサイズ処理部３７で記録画素数に対応するサイズに変換され、データ圧縮部３９でＪＰＥＧ形式等の画像データへと圧縮される。圧縮されたＪＰＥＧ形式等の画像データは、ＳＤＲＡＭ２３に書き戻された後にメモリコントローラ３５を介してＳＤＲＡＭ２３から読み出され、メディアＩ／Ｆ４０を介してメモリカード１４に保存される。
【００６３】
（ＹＵＶ変換部３６によるダイナミックレンジ拡大処理）
本実施形態に係るデジタルカメラ１のＹＵＶ変換部３６は、ダイナミックレンジを拡大するためのダイナミックレンジ拡大処理機能を有している。
【００６４】
デジタルカメラ１のＣＣＤ２０を構成する各画素上には、ベイヤ配列のＲＧＢフィルタ（図７参照）が配置されているが、太陽光のように広い波長帯域を持つ光に対して、通常のＲＧＢフィルタは各色毎に輝度に対する感度が異なっている。
【００６５】
例えば、図３に示すように、Ｇ（グリーン）フィルタの感度が、Ｒ（レッド）フィルタ、Ｂ（ブルー）フィルタの２倍程度の感度を有するＲＧＢフィルタ（図３のａ、ｂ、ｃ）を有するＣＣＤ２０の場合、太陽光のように広い波長帯域を持つ光が同じだけＲＧＢフィルタに入射したときに、Ｒ、Ｂフィルタの各画素出力に対してＧフィルタ（図３のｃの斜線部分）の画素出力の方が先に飽和レベルＡに達してしまう。なお、図３において、ｆはＧフィルタの画素感度特性、ｇはＲ、Ｂフィルタの各画素感度特性であり、Ｇフィルタの画素感度特性は、Ｒ、Ｂフィルタの各画素感度特性の２倍程度の感度を有している。
【００６６】
ところで、従来のＲＧＢフィルタを有するＣＣＤなどの固体撮像素子を有するデジタルカメラでは、図３のａ、ｂ、ｃのＲＧＢフィルタのように、感度の高いＧフィルタの画素出力に応じた飽和レベルＡに合わせてダイナミックレンジの範囲を設定している。即ち、Ｇフィルタの画素出力が飽和レベルＡに達している場合でも、Ｒ、Ｂフィルタの画素出力は飽和レベルＡの１／２程度である。
【００６７】
これに対して、本発明では、図３のｄ、ｅのＲＧＢフィルタのように、Ｇフィルタの画素出力が飽和レベルＡを超えていても、Ｒ、Ｂフィルタの各画素出力が飽和レベルＡを超えていない範囲内にあるときに、Ｒ、Ｂフィルタの各画素出力レベルから、Ｒ、Ｂフィルタの各画素感度特性（図３のｇ）とＧフィルタの画素感度特性（図３のｆ）とに基づいてＧフィルタの画素出力レベルを予測補間（一点鎖線部分）し、この予測補間した分だけダイナミックレンジを拡大するようにした。
【００６８】
以下、本実施形態におけるダイナミックレンジの拡大処理動作について説明する。
【００６９】
本実施形態では、撮影者がメニュー（ＭＥＮＵ）ボタン１２（図１（Ｃ）参照）を押圧操作することにより、例えば、図４に示すような撮影設定画面が液晶モニタ（ＬＣＤ）９に表示され、この表示画面から「ダイナミックレンジ２倍」の項目を選択することにより、制御部２８からＹＵＶ変換部３６へ制御信号が出力され、ダイナミックレンジを２倍に拡大する処理動作が実行される。
【００７０】
例えば、被写体の背景の一部に極端に明るい部分がある場合などに、撮影者の判断によりメニュー（ＭＥＮＵ）ボタン１２を押圧操作して「ダイナミックレンジ２倍」の項目を選択することにより、ダイナミックレンジの拡大処理が行われる。
【００７１】
なお、本実施形態では、前記したようにＧフィルタの画素感度特性が、Ｒ、Ｂフィルタの各画素感度特性の２倍程度の感度を有していることを前提としているため、極端に赤い光源下や青い光源下では、Ｇフィルタの画素感度よりもＲ、Ｂフィルタの画素感度の方が飽和してしまう場合がある。このような状況下で前記したダイナミックレンジの拡大処理を行うと正確な諧調および色再現が得られないので、このような場合には撮影者の判断により、前記した「ダイナミックレンジ２倍」の項目を選択しないようにする。
【００７２】
ダイナミックレンジの拡大処理は、ＹＵＶ変換部３６で行われる。図５に示すように、ＹＵＶ変換部３６は、ダイナミックレンジ拡大予測補間部（以下、「Ｄレンジ拡大予測補間部」という）５０、ビット圧縮変換部５１、ホワイトバランス制御部５２、同時化部５３、トーンカーブ変換部５４、ＲＧＢ−ＹＵＶ変換部５５、画像サイズコンバータ部５６、輝度ヒストグラム生成部５７、エッジエンハンス部５８を備えている。
【００７３】
図６に示すように、Ｄレンジ拡大予測補間部５０は、入力されるＲＡＷ−ＲＧＢデータからＲＧＢフィルタを設けた各画素の画素出力を検出するとともに、感度が一番高いＧフィルタを設けた画素の画素出力（以下、「Ｇフィルタの画素出力」という）が飽和レベル以上に達したか否かを判定する輝度レベル判定部６０と、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベル以上に達したと判定した場合に、その周囲のＲ、Ｂフィルタを設けた画素の画素出力（以下、「Ｒ、Ｂフィルタの画素出力」という）によって飽和レベル以上に達しているＧフィルタの画素出力の予測補間処理を行う画素出力補正処理部６１と、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベルに達していないと判定された場合に、Ｇフィルタの画素出力、およびＲ、Ｂフィルタの画素出力に対して、出力レベルの変換を行うことなく１２ビットから１４ビットにそれぞれビット拡張のみを行うビット拡張処理部６２を備えている。
【００７４】
輝度レベル判定部６０でＧフィルタの画素出力が飽和レベル以上に達したか否かを判定処理する際において、本実施形態では、ＲＧＢフィルタを有するＣＣＤ２０の各画素に対して、図７に示すように、太枠Ａ内の２×２画素（２つのＧフィルタの画素、１つずつのＲ、Ｂフィルタの画素）を処理単位（最小単位）とする。この処理単位（太枠Ａ）内にある２つのＧフィルタの画素のうちの少なくとも１つの画素出力が飽和レベル以上に達している場合に、Ｇフィルタの感度は、前記したようにＲ、Ｂフィルタの感度の約２倍であるため、Ｇフィルタの画素出力値は、下記の式（１）から算出する。
【００７５】
Ｇ＝｛（Ｒ＋Ｂ）／２｝×２ …式（１）
画素出力補正処理部６１は、式（１）のように、Ｒ、Ｂフィルタの画素出力の平均値を算出して、それを２倍することでＧフィルタの画素出力値を算出する。算出されたＧフィルタの画素出力値は、処理単位（２×２画素）内にある２つのＧフィルタの画素出力値として置き換えられる。なお、前記Ｇフィルタの画素出力値は１２ビットを超えたデータになるため、ここでは一度１４ビットのデータに置き換える。よって、Ｒ、Ｂフィルタの画素出力の最大値はいずれも４０９５（１２ビット）なので、Ｇフィルタの画素出力の最大値は８１９０となるので、１４ビットのデータとして扱うことができる。
【００７６】
ところで、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベル以上に達しているか否かを判定処理する前に、欠陥画素の補正が完了している必要がある。即ち、Ｇフィルタを設けた画素に欠陥画素があり、常に飽和する値を出力する画素があった場合、同じ処理単位内にあるＧフィルタを設けた画素を大きな値に置き換えてしまうため、新たな欠陥画素を生成してしまうことになる。また、Ｒ、Ｂフィルタを設けた画素に欠陥画素がある場合、前記式（１）によるＧフィルタを設けた画素の換算が正しくない値になってしまう。このため、本実施形態では、ＣＣＤＩ／Ｆ３４に欠陥画素を取り除く欠陥画素除去処理部（不図示）を備えている。
【００７７】
そして、Ｄレンジ拡大予測補間部５０からＲ、Ｂフィルタの画素出力データ、および飽和レベル以上に達して予測補間処理されたＧフィルタの画素出力データが、ビット圧縮変換部５１に出力される。ビット圧縮変換部５１は、例えば、図８（ａ）に示すような変換特性（３箇所の節点を指定し、それらの間を直線で近似する４区間の折れ線近似特性）によって、１４ビットに拡張されたＲ、Ｇ、Ｂフィルタの画素出力のうちのＧフィルタの画素出力を１２ビットに圧縮する。なお、図８（ａ）において、ａは１２ビットの範囲であり、ｂは最大値８１９０のデータを１／２倍する単純な線形変換特性（一点鎖線部分）である。
【００７８】
図８（ａ）に示す変換特性では、Ｇフィルタの画素出力の最大値は８１９０なので、８１９０が４０９５になるように圧縮する。そして、Ｇフィルタの画素出力の圧縮倍率に合わせて、Ｒ、Ｂフィルタの画素出力の値も圧縮する。
【００７９】
前記したように本実施形態では、最大値が８１９０に拡張されたＧフィルタの画素出力を最大値が４０９５に圧縮する場合の一例として、図８（ａ）の実線で示したような３つの節点を有する変換特性を用いた。本実施形態では、単純な節点のない線形変換特性（図８（ａ）のｂ）では得られない以下のような２つの効果が得られる。
【００８０】
第１の効果としては、データの信頼性が高いデータにより多くのビット数を割り当てることができる。即ち、飽和レベル以上に達しているＧフィルタの画素出力に対して予測補間処理する場合、前記したようにＧフィルタの画素出力の飽和レベル付近の規定値以上の値になった範囲について予測補間を行い、この規定値以下の範囲では予測補間は行われない。よって、予測補間を行う範囲と行わない範囲とでは、データの精度が異なっている。
【００８１】
即ち、例えば前記式（１）によって飽和しているＧフィルタの画素出力値を予測補間（補正）する場合、主被写体の色によっては、予測補間を行う範囲においては被写体の輝度レベルが正確に再現できていない場合がある。これに対して予測補間を行っていない範囲は、ＲＧＢフィルタを有するＣＣＤ２０から出力される実際のデータ（アナログＲＧＢ画像信号）をＡ／Ｄ変換したデータであるので、このデータの信頼性は高いものとなる。
【００８２】
即ち、図８（ａ）に示した本実施形態における変換特性（実線で示した部分）では、例えば、入力１４ビットデータが１０２４ときに出力１２ビットデータは１０２４になっており、元のデータがそのまま使われている。これに対し、例えば、入力１４ビットデータが３０７２ときに出力１２ビットデータは２５６０になっており、この範囲では予測補間前のビット割付よりも少ない割付となることによって、多少のビット誤差が発生する。
【００８３】
このように、単純な節点のない線形変換を行う特性（一点鎖線で示した部分）ではなく、本実施形態のように３つの節点を有する変換特性（実線で示した部分）を採用することにより、ビット割付をだんだんと少なくしていくことができるので、データの信頼性が高いデータにより多くのビット数を割り当てることができる。
【００８４】
そして、第２の効果としては、低・中輝度における階調を正確に保存することができる。即ち、単純な線形変換特性（図８（ａ）のｂ）でビット圧縮を行った場合、低輝度側の予測補間が行われていない範囲では、ビット割付が１／４になってしまう。このため、階調感のない画像になってしまう。これに対し、図８（ａ）に示したような本実施形態における変換特性（実線部分）でビット圧縮を行った場合には、飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮変換部５１でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることにより、低輝度レベルにおける階調性を良好に保持することができる。
【００８５】
なお、本実施形態では、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小するときに、図８（ａ）のように３つの節点を指定し、それらの間を直線で近似する４区間の折れ線近似特性（変換特性）でビット圧縮を行う構成であったが、この区間数は特に限定されるものではない。例えば、１つの節点を指定する２区間の折れ線近似特性としてもよいが、節点付近でビット割付が大きく変わることにより、前記した２つの効果が小さくなる。よって、３区間以上の区間数を有する折れ線近似特性（変換特性）が好ましい。
【００８６】
また、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小する変換特性を、図８（ｂ）に示すように、複数の節点を有していない曲線による変換特性としてもよい。即ち、図８（ａ）の４区間を有する変換特性に対して、区間数を８１９２にしたものがこの曲線による変換特性となる。なお、図８（ｂ）において、ａは１２ビットの範囲である。
【００８７】
更に、入力１４ビットデータの０〜８１９２に対して、１２ビットに縮小変換後の数値データを持ったルックアップテーブルを設けておくことにより、この曲線による変換特性で、拡張したＧフィルタの画素出力の１４ビットデータを良好に１２ビットに圧縮することができる。
【００８８】
そして、ビット圧縮変換部５１で１４ビットから１２ビットに圧縮変換されたＲ、Ｇ、Ｂフィルタの画素出力データは、ホワイトバランス制御部５２に入力される。ホワイトバランス制御部５２は、入力されるＲ、Ｇ、Ｂフィルタの画素出力データをそれぞれ増幅する。この際、制御部２８は、ＣＣＤＩ／Ｆ３４で算出された前記ＡＷＢ評価値に基づいてホワイトバランスを合わせるための補正値を算出し、算出した補正値をホワイトバランス制御部５２に出力する。ホワイトバランス制御部５２は、入力される前記補正値に基づいてホワイトバランスを合わせる。
【００８９】
そして、ホワイトバランス制御部５２からホワイトバランスが合わされたＲ、Ｇ、Ｂフィルタの画素出力データ（１２ビット）は、同時化部５３に入力される。同時化部５３は、ベイヤ配列等の１画素に１色のデータしか持っていないＲＡＷデータに対して補間演算処理を行い、１画素に対してＲＧＢの全てのデータを生成する。
【００９０】
そして、同時化部５３で生成されたＲＧＢの全てのデータ（１２ビット）は、トーンカーブ変換部５４に入力される。トーンカーブ変換部５４は、図９に示すような変換テーブルによって１２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換するγ変換を行って、８ビットのＲＧＢ値を生成し、ＲＧＢ−ＹＵＶ変換部５５に出力する。
【００９１】
ＲＧＢ−ＹＵＶ変換部５５は、入力されるＲＧＢデータ（８ビット）をマトリックス演算によりＹＵＶデータに変換し、画像サイズコンバータ部５６に出力する。画像サイズコンバータ部５６は、入力されるＹＵＶデータ（８ビット）に対して所望の画像サイズに縮小または拡大を行い、輝度ヒストグラム生成部５７およびエッジエンハンス部５８に出力する。
【００９２】
輝度ヒストグラム生成部５７は、入力されるＹＵＶデータにより輝度ヒストグラムを生成する。エッジエンハンス部５８は、入力されるＹＵＶデータに対して画像に合わせたエッジ強調等の処理を行い、メモリコントローラ３５を介してＳＤＲＡＭ２３に保存する。
【００９３】
このように、本実施形態では、処理単位内の感度の高いＧフィルタの画素出力が飽和レベルを超えているような撮影においても、感度の低いＲ、Ｂフィルタの画素出力に基づいて、飽和しているＧフィルタの画素出力を予測補間処理することにより、図３に示すように、Ｇフィルタ（図３のｄ、ｅ）の画素出力の予測補間した拡張領域（図３のｄ、ｅのＧフィルタの画素出力の一点鎖線部分）に基づいて、１回の撮影でダイナミックレンジを２倍に拡大することが可能となる。
【００９４】
よって、撮影画像内の背景等に高輝度部分がある場合でも、白とびの発生を防止して良好な階調性を得ることが可能となる。
【００９５】
また、図１０（ａ）は、Ｇフィルタの画素出力が飽和レベルを超えたときに、前記した本実施形態におけるダイナミックレンジの拡大処理を行った場合の、輝度ヒストグラム生成部５７で生成されたヒストグラムの一例である。このヒストグラムから明らかなように、ダイナミックレンジの拡大処理を行ったことにより、最大輝度部分（２５５）における白飛びがほとんど発生していなく、良好な階調で再現されている。
【００９６】
これに対し、図１０（ｂ）は、Ｇフィルタの画素出力が飽和レベルを超えたときに、前記した本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合の、輝度ヒストグラム生成部５７で生成されたヒストグラムの一例である。このヒストグラムから明らかなように、ダイナミックレンジの拡大処理を行わなかったことにより、最大輝度部分（２５５）に度数があり、白飛びが発生しているのが分かる。
【００９７】
なお、前記した実施形態１の説明および図３において、所定の飽和レベル判定値である図３の飽和レベルＡと、補正後の１２ビットの最大値である４０９５とが一致しているように説明したが、これに限定するものではない。例えば、出力が完全に飽和する付近の高輝度部において、出力の直線性（リニアリティー）が良くないＲＧＢフィルタを有するＣＣＤでは、例えば完全に飽和する４０９５よりも小さい値である４０３２を所定の飽和レベル値（図３の飽和レベルＡ）とおいて、その値を超えた画素出力を予測補間処理の対象としてもよい。
【００９８】
また、デジタルカメラのシステム構成によっては、高輝度被写体でも１２ビットの最大値である４０９５にならないものもある。その場合も同様に所定の飽和レベルを４０９５よりも低い値に設定するとよい。
【００９９】
このように、４０９５未満を所定の飽和レベルとしたときでも、その特性に合わせて図９の変換カーブを切り替えることで、ビット圧縮変換部５１の出力を４０９５にすることができ、後段の処理を変えることなくダイナミックレンジの拡大が可能となる。
【０１００】
なお、本実施形態において、例えば、Ｇフィルタの画素出力とＲフィルタの画素出力の値が飽和レベル以上に達した場合、前記式（１）から算出される予測補間したＧフィルタの画素出力の値が不正確になるとともに、Ｒフィルタの画素出力の値を予測補間しないで、Ｇフィルタの画素出力で用いた圧縮率でビット圧縮するため、色相が変化してしまう可能性がある。
【０１０１】
そこで、Ｇフィルタの画素出力とＲフィルタ（またはＢフィルタ）の画素出力の値が少なくとも飽和レベル以上に達している場合には、前記した予測補間によるダイナミックレンジの拡大処理を行わないようにすることが好ましい。あるいは、複数（Ｇフィルタの画素出力とＲフィルタ（またはＢフィルタ））の画素出力の値が飽和レベル以上に達しているということは、その処理単位エリアの明るさは極めて明るいと仮定して、Ｇフィルタの画素出力の値を予め決めた値、例えば、
Ｇフィルタの画素出力＝４０９６×１．８＝７３７２（１４ビット）
などに設定してもよい。
【０１０２】
また、本実施形態では、図５に示したように、Ｄレンジ拡大予測補間部５０から出力される１４ビットのＲＡＷ−ＲＧＢデータ（Ｒ、Ｇ、Ｂフィルタの画素出力データ）をビット圧縮変換部５１で１２ビットに縮小処理し、ホワイトバランス制御部５２、同時化部５３においては１２ビットのデータ処理を行う構成であったが、これ以外にも、同時化部５３の後にビット圧縮変換部５１を設けて、同時化部５３から出力される１４ビットのデータを１２ビットのデータに縮小処理する構成でもよい。
【０１０３】
〈実施形態２〉
前記実施形態１では図７に示したように、ＲＧＢ原色フィルタを有するＣＣＤ２０に対して、２×２画素を処理単位（最小単位）としていたが、本実施形態では、図１１に示すように、太枠Ａ内の５画素（１つのＧフィルタの画素、２つずつのＲ（Ｒ１，Ｒ２）、Ｂ（Ｂ１，Ｂ２）フィルタの画素）を処理単位（最小単位）とし、処理単位を前記実施形態１の場合よりも広い範囲とした例である。なお、デジタルカメラの構成、モニタリング動作、静止画撮影動作、およびダイナミックレンジの拡大処理動作は、前記実施形態１と同様である。
【０１０４】
図１１に示した太枠Ａの処理単位内にあるＧフィルタの画素出力が飽和レベル以上に達している場合、Ｇフィルタの感度は、前記したようにＲ、Ｂフィルタの感度の約２倍であるため、Ｇフィルタの画素出力値は、下記の式（２）から算出する。
【０１０５】
Ｇ＝［｛（Ｒ１＋Ｒ２）／２＋（Ｂ１＋Ｂ２）／２｝／２］×２ …式（２）
そして、図６に示したＤレンジ拡大予測補間部５０の画素出力補正処理部６１は、前記式（２）より算出されたＧフィルタの画素出力値を、前記処理単位（図１１参照）内にあるＧフィルタの画素出力値として置き換え、以下、前記実施形態１と同様の処理を行う。
【０１０６】
このように、処理単位を広くすることで、処理単位内の他のＲ１，Ｒ２フィルタの画素、Ｂ１，Ｂ２フィルタの画素が持っている感度差による影響を緩和することができ、Ｇフィルタの画素出力に対して、より正確なダイナミックレンジ拡大予測補間が可能となる。
【０１０７】
〈実施形態３〉
本実施形態では、図１２に示すように、ＲＧＢフィルタを有するＣＣＤ２０に対して、前記実施形態２の場合よりも更に処理単位（太枠Ａ）を広くした例である。なお、デジタルカメラの構成、モニタリング動作、静止画撮影動作、およびダイナミックレンジの拡大処理動作は、前記実施形態１と同様である。
【０１０８】
処理単位を広くすると、広い範囲の輝度情報に基づいて処理することになるため、ローパスフィルタをかけたことと等価になってしまう。そのため、輝度変化のエッジ部分がなまってしまう。そこで、本実施形態では、広くした処理単位の大きさを、例えば、前記ＡＦ評価値を利用して部分的に変更するものとする。
【０１０９】
即ち、図２に示した信号処理部２２のＣＣＤＩ／Ｆ３４では、前記したようにＡＦを行うためのＡＦ評価値を算出している。これは、ハイパスフィルタ（ＨＰＦ）の出力であり、撮影画像の画面内に輝度の変化がある部分では大きな値が出力される。そして、制御部２８は、静止画撮影時のＡＦ評価値を読み出し、画面内の輝度変化がある部分とない部分を判別する。そして、制御部２８は、この判別データを基にＤレンジ拡大予測補間部５０に対して、輝度変化がある部分には処理単位が狭くなるような設定を行い、輝度変化がない部分には、図１２に示したように処理単位が広い範囲になるように設定を行う。
【０１１０】
このように、処理単位を更に広くした場合でも、輝度変化がある部分には処理単位が狭くなるような設定を行うことで、解像度を落とすことなく、正確なダイナミックレンジ拡大予測補間が可能となる。
【０１１１】
〈実施形態４〉
本実施形態では、ＲＧＢフィルタを有するＣＣＤ２０に対して、図１３に示すように、太枠Ａ内の水平方向５画素、垂直方向５画素の５×５画素を処理単位とし、この処理単位の中心部のＧフィルタに対して、対角線方向（図１３のａ方向、ｂ方向）にも複数のＧフィルタの画素が配置されている。処理単位（太枠Ａ内）の中心部のＧフィルタの画素出力に対して、飽和レベル以上に達したか否かの判定が行われる。
【０１１２】
また、本実施形態におけるＹＵＶ変換部３６のＤレンジ拡大予測補間部５０は、図１４に示すように、輝度レベル判定部６０と、画素出力補正処理部６１ａと、ビット拡張処理部６２を備えている。なお、デジタルカメラの他の構成、モニタリング動作、静止画撮影動作は、前記実施形態１と同様である。
【０１１３】
輝度レベル判定部６０は、入力される処理単位（図１３参照：太枠Ａ）の中心部のＧフィルタの画素出力が飽和レベル以上に達したか否かを判定する。画素出力補正処理部６１ａは、輝度レベル判定部６０で中心部のＧフィルタの画素出力が飽和レベル以上に達したと判定した場合に、輝度レベル判定部６０から出力される中心部のＧフィルタの画素出力に対して、処理単位（太枠Ａ）の対角線方向（図１３のａ方向、ｂ方向）に配置されている他の複数のＧフィルタの画素出力によって飽和レベル以上に達している中心部のＧフィルタの画素出力の予測補間処理を行う。
【０１１４】
ビット拡張処理部６２は、輝度レベル判定部６０でＧフィルタの画素出力が飽和レベルに達していないと判定された場合に、Ｇフィルタの画素出力、およびＲ、Ｂフィルタの画素出力に対して、出力レベルの変換を行うことなく１２ビットから１４ビットにそれぞれビット拡張のみを行う。
【０１１５】
本実施形態では、ダイナミックレンジの拡大処理時において、Ｄレンジ拡大予測補間部５０の輝度レベル判定部６０により、図１３に示した処理単位（太枠Ａ）の中心部のＧフィルタの画素出力が飽和レベル以上に達していると判定した場合、画素出力補正処理部６１ａは、輝度レベル判定部６０から出力される中心部のＧフィルタの画素出力に対して、図１５（ａ），（ｂ）に示すように、処理単位の各対角線方向（図１３のａ方向、ｂ方向）に配置されている複数のＧフィルタの画素出力の値の分布から、飽和しているＧフィルタの画素出力を予測するようにした。
【０１１６】
図１５（ａ）は、ａ方向の対角線における各Ｇフィルタの画素出力の値であり、これらの出力値から中心部のＧフィルタの画素出力の予測値ａ１は６０００（１４ビット）程度になることが予測できる。また、図１５（ｂ）は、ｂ方向の対角線における各Ｇフィルタの画素出力の値であり、これらの出力値から中心部のＧフィルタの画素出力の予測値ｂ１は５０００（１４ビット）程度になることが予測できる。なお、図１５（ａ），（ｂ）において、４０９５（１２ビット）が中心部のＧフィルタの画素出力の飽和レベルである。
【０１１７】
そして、これらの予測結果から、処理単位（図１３参照：太枠Ａ）の中心部の飽和レベル以上に達しているＧフィルタの画素出力の値は５０００〜６０００程度であることが予測できる。このＧフィルタの画素出力の値を決定する場合は、例えば、この２つの予測値の平均をとって５５００とする。
【０１１８】
このように、処理単位内で中心部のＧフィルタの画素出力が飽和レベル以上に達した場合に、処理単位内の他のＧフィルタの画素出力の値の分布から飽和したＧフィルタの画素出力の値を予測することにより、正確なダイナミックレンジ拡大予測補間が可能となる。
【０１１９】
なお、本実施形態では、飽和レベル以上に達しているＧフィルタの画素出力の値を予測する際に、処理単位内の対角線方向に配置されている複数のＧフィルタの画素出力の値から予測する構成であったが、更に処理単位内の水平方向および垂直方向に配置されている複数のＧフィルタの画素出力の値も同時に併せて考慮して、飽和レベル以上に達しているＧフィルタの画素出力の値を予測するようにしてもよい。これにより、より正確なダイナミックレンジ拡大予測補間が可能となる。
【０１２０】
また、本実施形態では、処理単位内のＧフィルタの画素についてのみ説明したが、Ｒ、Ｂフィルタの画素につても同様に処理することが可能である。
【０１２１】
〈実施形態５〉
本実施形態におけるＹＵＶ変換部３６のＤレンジ拡大予測補間部５０は、図１６に示すように、輝度レベル判定部６０、ビット拡張処理部６２、第１画素出力補正処理部６３、第２画素出力補正処理部６４、および補正データ合成部６５を備えている。輝度レベル判定部６０とビット拡張処理部６２は、図６に示した実施形態１と同様である。なお、デジタルカメラの他の構成、モニタリング動作、静止画撮影動作は、前記実施形態１と同様である。
【０１２２】
第１画素出力補正処理部６３（図６に示した実施形態１における「画素出力補正処理部６１」に相当）は、輝度レベル判定部６０で処理単位内のＧフィルタの画素出力が飽和レベル以上に達していると判定した場合に、前記実施形態１（実施形態２、３も含む）と同様に、処理単位内のＲ、Ｂフィルタの画素出力から、飽和レベル以上に達しているＧフィルタの画素出力を予測補間する。
【０１２３】
第２画素出力補正処理部６４（図１４に示した実施形態４における「画素出力補正処理部６１ａ」に相当）は、輝度レベル判定部６０で処理単位内のＧフィルタの画素出力が飽和レベル以上に達していると判定した場合に、前記実施形態４と同様に、処理単位内の他の複数のＧフィルタの画素出力の値の分布から、飽和レベル以上に達しているＧフィルタの画素出力を予測補間する。
【０１２４】
補正データ合成部６５は、以下のような各処理条件（第１〜第４の処理条件）に基づいて、適切な予測補間処理を行う。
【０１２５】
（第１の処理条件）
第１の処理条件では、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間情報を平均する。
【０１２６】
即ち、補正データ合成部６５は、第１、第２画素出力補正処理部６３、６４からＧフィルタの画素出力に対する各予測補間情報が入力された場合に、両方の予測補間情報を平均し、平均した予測補間情報に基づいて飽和レベル以上に達しているＧフィルタの画素出力を予測補間する。
【０１２７】
（第２の処理条件）
第２の処理条件では、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間値情報に対して、第１画素出力補正処理部６３側の予測補間値情報を優先する。
【０１２８】
例えば、主被写体が緑色の背景領域にある場合には、Ｒ、Ｂフィルタの画素出力は非常に低い値となってしまう。そして、前記緑色の背景領域において、Ｇフィルタの画素出力が飽和レベル以上に達していて、第１画素出力補正処理部６３でＧフィルタの画素出力に対して予測補間を行った場合における画素出力の予測値は、元の飽和レベル以上に達しているＧフィルタの画素出力の値よりも低くなってしまうことがある。
【０１２９】
そして、補正データ合成部６５は、第１画素出力補正処理部６３からの飽和レベル以上に達しているＧフィルタの画素出力に対する予測補間値と輝度レベル判定部６０で飽和レベルの判定に用いた値との比較を行い、第１画素出力補正処理部６３からの予測補間値が飽和レベルよりも高い値になっている場合は、第１画素出力補正処理部６３からの予測補間値を最終の予測補間値として採用し、第１画素出力補正処理部６３からの予測補間値が飽和レベルよりも低い値になっている場合は、第２画素出力補正処理部６４からの予測補間値を最終の予測補間値として採用する。
【０１３０】
（第３の処理条件）
第３の処理条件では、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間値情報に対して、第２画素出力補正処理部６４側の予測補間値情報を優先する。
【０１３１】
処理単位内のＧフィルタの画素出力が飽和レベルに達している場合、その周辺のＧフィルタの画素出力は飽和レベル近くに達している可能性がある。そのため、前記したように第２画素出力補正処理部６４は、輝度レベル判定部６０で処理単位内のＧフィルタの画素出力が飽和レベル以上に達していると判定した場合に、処理単位内の他の複数のＧフィルタの画素出力の値の分布から、飽和レベル以上に達しているＧフィルタの画素出力を予測補間する。
【０１３２】
この際、第２画素出力補正処理部６４が、処理単位内の他の複数のＧフィルタの画素出力の値の分布から、飽和レベル以上に達しているＧフィルタの画素出力を正しく予測補間処理できなかった場合は、第２画素出力補正処理部６４からの出力値を「０」とする。
【０１３３】
そして、補正データ合成部６５は、第２画素出力補正処理部６４からの飽和レベル以上に達しているＧフィルタの画素出力に対する予測補間値と輝度レベル判定部６０で飽和レベルの判定に用いた値との比較を行い、第２画素出力補正処理部６４からの予測補間値が飽和レベルよりも小さい値になっている場合は、第１画素出力補正処理部６３からの予測補間値を最終の予測補間値として採用し、第２画素出力補正処理部６４からの予測補間値が飽和レベルよりも高い値になっている場合は、第２画素出力補正処理部６４からの予測補間値を最終の予測補間値として採用する。
【０１３４】
（第４の処理条件）
第４の処理条件では、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間値情報に応じて、前記第１〜第３の処理条件を適切に選択する。
【０１３５】
即ち、補正データ合成部６５は、第１、第２画素出力補正処理部６３、６４から飽和レベルに達しているＧフィルタの画素出力の各予測補間値情報が入力された場合には、前記第１の処理条件を選択して両方の予測補間値を加重平均し、平均した予測補間値を最終の予測補間値として採用する。
【０１３６】
そして、第１画素出力補正処理部６３からの出力が飽和レベルよりも高い値になっている場合、補正データ合成部６５は、前記第２の処理条件を選択して第１画素出力補正処理部６３からの予測補間値を最終の予測補間値として採用する。また、第２画素出力補正処理部６４からの出力が飽和レベルよりも高い値になっている場合、補正データ合成部６５は、前記第３の処理条件を選択して第２画素出力補正処理部６４からの予測補間値を最終の予測補間値として採用する。
【０１３７】
このように、補正データ合成部６５は、第１、第２画素出力補正処理部６３、６４からそれぞれ出力される予測補間値情報に応じて、飽和レベル以上に達しているＧフィルタの画素出力の値を適切に予測補正することができるので、正確なダイナミックレンジ拡大予測補間が可能となる。
【０１３８】
〈実施形態６〉
本実施形態では、図１７に示すように、鏡胴ユニット６の撮影レンズ系５と絞りユニット２６の間に、光透過率の異なる２枚の第１、第２の緑色フィルタ７０ａ，７０ｂと開口部７１を有する回転自在なターレット板７２を設置した構成である。ターレット板７２は、制御部２８からの信号により駆動されるモータドライバ２５によって回転し、第１、第２の緑色フィルタ７０ａ，７０ｂ、および開口部７１が選択されて撮影レンズ系５の光軸上に移動するように構成されている。なお、デジタルカメラの他の構成、モニタリング動作、静止画撮影動作は、前記実施形態１と同様である。
【０１３９】
ターレット板７２の開口部７１を撮影レンズ系５の光軸上に移動させている状態では、撮影レンズ系５と絞りユニット２６間に何もない前記実施形態１と同様の構成である。
【０１４０】
ターレット板７２の第１の緑色フィルタ７０ａまたは第２の緑色フィルタ７０ｂを撮影レンズ系５の光軸上に移動させている状態では、ＲＧＢフィルタを有するＣＣＤ２０のＲ、Ｂフィルタの感度が大きく低下する。なお、Ｇフィルタの感度は変化しない。図１８（ａ）は、第１の緑色フィルタ７０ａの光の波長に対する光透過率特性であり、図１８（ｂ）は、第２の緑色フィルタ７０ｂの光の波長に対する光透過率特性である。これらの光透過率特性に示すように、第１の緑色フィルタ７０ａの方が第２の緑色フィルタ７０ｂよりも約２倍程度だけ光透過率がよい。
【０１４１】
第１の緑色フィルタ７０ａを撮影レンズ系５の光軸上に移動させている状態では、第１の緑色フィルタ７０ａは、Ｒ、Ｂフィルタの感度が通常の約１／２となるような光透過率特性を有している。よって、この状態では相対的にＲ、Ｂフィルタの感度は、Ｇフィルタの感度の約１／４になる（前記したように、元々Ｇフィルタの感度がＲ、Ｂフィルタの２倍程度高い感度なので）。
【０１４２】
また、第２の緑色フィルタ７０ｂを撮影レンズ系５の光軸上に移動させている状態では、第２の緑色フィルタ７０ｂは、Ｒ、Ｂフィルタの感度が通常の約１／４となるような光透過率特性を有している。よって、この状態では相対的にＲ、Ｂフィルタの感度は、Ｇフィルタの感度の約１／８になる（前記したように、元々Ｇフィルタの感度がＲ、Ｂフィルタの２倍程度高い感度なので）。
【０１４３】
図１９は、第１の緑色フィルタ７０ａを撮影レンズ系５の光軸上に移動させたときにおける、ＲＧＢフィルタの各画素出力を示した図であり、ａのＲＧＢフィルタでは、感度の高いＧフィルタの画素出力も飽和レベルＡ以下の状況にある。
【０１４４】
そして、本実施形態においても、図１９のｂ、ｃ、ｄ、ｅのＲＧＢフィルタのように、Ｇフィルタの画素出力が飽和レベルＡ以上に達しているが、Ｒ、Ｂフィルタの各画素出力が飽和レベルＡの範囲内にあるときに、Ｒ、Ｂフィルタの各画素出力レベルからＧフィルタの画素出力レベルを、Ｒ、Ｂフィルタの各画素出力レベルから、Ｒ、Ｂフィルタの各画素感度特性（図１９のｇ）とＧフィルタの画素感度特性（図１９のｆ）とに基づいてＧフィルタの画素出力レベルを予測補間（一点鎖線部分）し、この予測補間によってダイナミックレンジを拡大するようにした。
【０１４５】
そして、例えば主被写体の背景の一部に極端に明るい部分がある場合などに、撮影者の判断によりメニュー（ＭＥＮＵ）ボタン１２（図１（Ｃ）参照）を押圧操作して「ダイナミックレンジ４倍」の項目を選択することにより、制御部２８からＹＵＶ変換部３６へ制御信号が出力され、前記実施形態１と同様なダイナミックレンジの拡大処理が行われる。
【０１４６】
そして、例えば、実施形態１と同様な処理単位（図７参照）内にあるＧフィルタの画素出力が飽和レベルに達している場合、Ｇフィルタの感度は、前記したように本実施形態ではＲ、Ｂフィルタの感度の約４倍であるため、Ｇフィルタの画素出力値は、下記の式（３）から算出する。
【０１４７】
Ｇ＝｛（Ｒ＋Ｂ）／２｝×４ …式（３）
そして、図６に示したＤレンジ拡大予測補間部５０の画素出力補正処理部６１は、前記式（３）より算出されたＧフィルタの画素出力値を、前記処理単位内にあるＧフィルタの画素出力値として置き換える。なお、前記Ｇフィルタの画素出力値は１２ビットを超えたデータになるため、ここでは一度１４ビットのデータに置き換える。よって、Ｒ、Ｂフィルタの画素出力の最大値はいずれも４０９５（１２ビット）なので、Ｇフィルタの画素出力の最大値は１６３８３（１４ビット）となる。
【０１４８】
なお、処理単位は、実施形態１における処理単位（図７参照）以外にも、実施形態２、３、４における各処理単位（図１１、１２、１３参照）としてもよい。
【０１４９】
ビット圧縮変換部５１は、図２０に示すような変換特性によって１４ビットに拡張されたＧフィルタの画素出力を１２ビットに縮小する。図２０に示す変換テーブルでは、Ｇフィルタの画素出力の最大値は１６３８３なので、１６３８３が４０９５になるように圧縮する。そして、Ｇフィルタの画素出力の圧縮倍率に合わせて、Ｒ、Ｂフィルタの画素出力の値も圧縮する。以下、前記実施形態１と同様の処理を行う。
【０１５０】
なお、本実施形態における変換特性においても、前記同様に飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、ビット圧縮変換部５１でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いることにより、低輝度レベルにおける階調性を良好に保持することができる。
【０１５１】
このように、本実施形態では、処理単位内のＧフィルタの画素出力が飽和レベル以上に達しているような撮影時においても、撮影レンズ系５の光軸上に移動させた第１の緑色フィルタ７０ａにより、相対的にＲ、Ｂフィルタの感度をＧフィルタの感度の約１／４に低下させることができる。これにより、図１９に示したように、Ｇフィルタの画素出力の予測補間の拡張領域（図１９のｂ、ｃ、ｄ、ｅのＧフィルタの画素出力の一点鎖線部分）に基づいて、１回の撮影でダイナミックレンジを４倍に拡大することが可能となる。
【０１５２】
なお、前記本実施形態６、７では、光透過率の異なる２枚の第１、第２の緑色フィルタ７０ａ，７０ｂと開口部７１を有する回転自在なターレット板７２を、鏡胴ユニット６の撮影レンズ系５と絞りユニット２６の間に設置した構成であったが、このターレット板７２を撮影レンズ系５の前面側（絞りユニット２６と反対側）に設けてもよい。
【０１５３】
〈実施形態７〉
前記実施形態６では、ターレット板７２の第１の緑色フィルタ７０ａを撮影レンズ系５の光軸上に移動させて、ダイナミックレンジを４倍に拡大する構成であったが、本実施形態では、図１７に示したターレット板７２の第２の緑色フィルタ７０ｂを撮影レンズ系５の光軸上に移動させて、ダイナミックレンジを８倍に拡大する例である。なお、デジタルカメラの他の構成、モニタリング動作、静止画撮影動作は、前記実施形態１と同様である。
【０１５４】
前記したように、第２の緑色フィルタ７０ｂを撮影レンズ系５の光軸上に移動させている状態では、相対的にＲ、Ｂフィルタの感度は、前記したようにＧフィルタの感度の約１／８になる。
【０１５５】
そして、例えば主被写体の背景の一部に極端に明るい部分がある場合などに、撮影者の判断によりメニュー（ＭＥＮＵ）ボタン１２（図１（Ｃ）参照）を押圧操作して「ダイナミックレンジ８倍」の項目を選択することにより、制御部２８からＹＵＶ変換部３６へ制御信号が出力され、前記実施形態１と同様なダイナミックレンジの拡大処理が行われる。
【０１５６】
そして、例えば、実施形態１と同様な処理単位（図７参照）内にあるＧフィルタの画素出力が飽和レベル以上に達している場合、Ｇフィルタの感度は、前記したように本実施形態ではＲ、Ｂフィルタの感度の約８倍であるため、Ｇフィルタの画素出力値は、下記の式（４）から算出する。なお、処理単位は、実施形態１における処理単位（図７参照）以外にも、実施形態２、３、４における各処理単位（図１１、１２、１３参照）としてもよい。
【０１５７】
Ｇ＝｛（Ｒ＋Ｂ）／２｝×８ …式（４）
そして、図６に示したＤレンジ拡大予測補間部５０の画素出力補正処理部６１は、前記式（４）より算出されたＧフィルタの画素出力値を、前記処理単位内にあるＧフィルタの画素出力値として置き換える。なお、前記Ｇフィルタの画素出力値は１２ビットを超えたデータになるため、一度１４ビットのデータに置き換える。
【０１５８】
そして、ビット圧縮変換部５１により１４ビットに拡張されたＧフィルタの画素出力を１２ビットに縮小する。そして、Ｇフィルタの画素出力の縮小倍率に合わせて、Ｒ、Ｂフィルタの画素出力の値も縮小する。以下、前記実施形態１と同様の処理を行う。
【０１５９】
このように、本実施形態では、処理単位内のＧフィルタの画素出力が飽和レベル以上に達しているような撮影時においても、撮影レンズ系５の光軸上に移動させた第２の緑色フィルタ７０ｂにより、相対的にＲ、Ｂフィルタの感度をＧフィルタの感度の約１／８に低下させることができる。これにより、１回の撮影でダイナミックレンジを８倍に拡大することが可能となる。
【０１６０】
〈実施形態８〉
図２１（ａ）に示すように、前記した処理単位（図７参照）内にあるＧフィルタの画素出力が飽和レベルＡ以上に達しているときに、その周囲のＲ、Ｂフィルタの画素出力もある程度高い（飽和レベルＡ以下）場合には、実施形態１で述べたように式（１）に基づいて、Ｇフィルタの画素出力を飽和レベル以上に拡大するように補間して、ダイナミックレンジを拡大することができる。
【０１６１】
しかしながら、例えば、図２１（ｂ）に示すように、前記した処理単位（図７参照）内にあるＧフィルタの画素出力が飽和レベルＡ以上に達しているときに、その周囲のＲ、Ｂフィルタの画素出力がＧフィルタの画素出力に対して極端に小さい場合がある。この場合に、実施形態１の式（１）によりＧフィルタの画素出力を補間すると、周囲の極端に画素出力が小さいＲ、Ｂフィルタの影響により、Ｇフィルタの画素出力が逆に飽和レベルＡ以下に縮小される不具合が生じる。
【０１６２】
そこで、本実施形態では、実施形態１で述べＤレンジ拡大予測補間部５０の画素出力補正処理部６１（図６参照）によって、飽和レベル以上に達しているＧフィルタの画素出力を式（１）により演算したときに、その演算結果が、図２１（ａ）のように元のＧフィルタの画素出力よりも大きくなる場合のみ、Ｇフィルタの画素出力を飽和レベル以上に拡大するように補間を行う。
【０１６３】
よって、本実施形態では、飽和レベル以上に達しているＧフィルタの画素出力を式（１）により演算したときに、その演算結果が、図２１（ｂ）のように元のＧフィルタの画素出力よりも小さくなる場合は、Ｇフィルタの画素出力に対する補間処理を中止する。
【０１６４】
このように、本実施形態によれば、Ｇフィルタの画素出力が飽和レベル以上に達しているときでも、その周囲のＲ、Ｂフィルタの画素出力がＧフィルタの画素出力に対して極端に小さい場合には、Ｇフィルタの画素出力に対する補間処理が中止されるので、Ｇフィルタの画素出力が飽和レベル以下に下げられて、色ずれが生じることを防止することができる。
【０１６５】
〈実施形態９〉
実施形態８で述べたように、例えば、図２１（ｂ）に示すように、前記した処理単位（図７参照）内にあるＧフィルタの画素出力が飽和レベルＡ以上に達しているときに、その周囲のＲ、Ｂフィルタの画素出力がＧフィルタの画素出力に対して極端に小さい場合がある。この場合に、実施形態１の式（１）によりＧフィルタの画素出力を補間すると、周囲の極端に画素出力が小さいＲ、Ｂフィルタの影響により、Ｇフィルタの画素出力が逆に飽和レベルＡ以下に縮小される不具合が生じる。
【０１６６】
そこで、本実施形態では、飽和レベル以上に達しているＧフィルタの画素出力を補間処理するときに、その周囲のＲ、Ｂフィルタの画素出力がＧフィルタの画素出力に対して極端に小さい場合には、例えば、実施形態２の図１１に示したように、処理単位を実施形態１の図７の場合よりも拡大するようにした。この場合には、実施形態２の式（２）によりＧフィルタの画素出力を補間する。
【０１６７】
このように、本実施形態によれば、Ｇフィルタの画素出力が飽和レベル以上に達しているときに、その周囲のＲ、Ｂフィルタの画素出力がＧフィルタの画素出力に対して極端に小さい場合には、補間処理する際の処理単位を拡大することにより、拡大した他のＲ、Ｂフィルタの画素出力によって、Ｇフィルタの画素出力を飽和レベル以上に拡大するように補間することが可能となる。
【０１６８】
なお、処理単位を前記した図１１のように拡大した場合でも、まだＧフィルタの画素出力が飽和レベル以下に縮小される場合は、例えば、実施形態３の図１２に示したように、処理単位を更に拡大するようにしてもよい。図１２のように、処理単位を更に拡大した場合には、画素出力が飽和レベル以上に達しているＧフィルタと同色の他のＧフィルタの画素出力も併せて補間処理する際の演算に用いることにより、より良好な補間処理を行うことが可能となる。
【０１６９】
なお、前記した各実施形態では、色分解フィルタとしてＲＧＢの３原色系フィルタを配置した構成であったが、色分解フィルタとして補色系フィルタを配置した構成においても、同様に本発明を適用することができる。
【図面の簡単な説明】
【０１７０】
【図１】（ａ）は、本発明の実施形態１〜８に係る撮像装置の一例としてのデジタルカメラを示す正面図、（ｂ）は、その上面図、（ｃ）は、その背面図。
【図２】本発明の実施形態１〜８に係る撮像装置の一例としてのデジタルカメラ内のシステム構成の概要を示すブロック図。
【図３】本発明の実施形態１におけるダイナミックレンジ拡大の原理を説明するための図。
【図４】液晶モニタに表示された撮影設定画面の一例を示す図。
【図５】本発明の実施形態１におけるＹＵＶ変換部の構成を示すブロック図。
【図６】本発明の実施形態１におけるＤレンジ拡大予測補間部の構成を示すブロック図。
【図７】本発明の実施形態１におけるＲＧＢフィルタを有するＣＣＤの画素配置位置と処理単位を示す図。
【図８】（ａ）は、本発明の実施形態１における、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小する変換特性を示す図、（ｂ）は、本発明の実施形態１の他の例における、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小する変換特性を示す図。
【図９】１２ビットのＲＧＢのデータを８ビットのＲＧＢのデータに変換（γ変換）する変換テーブルを示す図。
【図１０】（ａ）は、本発明の実施形態１におけるダイナミックレンジの拡大処理を行った場合のヒストグラムを示す図、（ｂ）は、本実施形態におけるダイナミックレンジの拡大処理を行わなかった場合のヒストグラムを示す図。
【図１１】本発明の実施形態２におけるＲＧＢフィルタを有するＣＣＤの画素配置位置と処理単位を示す図。
【図１２】本発明の実施形態３におけるＲＧＢフィルタを有するＣＣＤの画素配置位置と処理単位を示す図。
【図１３】本発明の実施形態４におけるＲＧＢフィルタを有するＣＣＤの画素配置位置と処理単位を示す図。
【図１４】本発明の実施形態４におけるＤレンジ拡大予測補間部の構成を示すブロック図。
【図１５】（ａ）は、ａ方向の対角線における各Ｇフィルタの画素出力の値と中心部のＧフィルタの画素出力の予測値を示す図、（ｂ）は、ｂ方向の対角線における各Ｇフィルタの画素出力の値と中心部のＧフィルタの画素出力の予測値を示す図。
【図１６】本発明の実施形態５におけるＤレンジ拡大予測補間部の構成を示すブロック図。
【図１７】本発明の実施形態６におけるデジタルカメラの鏡胴ユニット内の構成を示す図。
【図１８】（ａ）は、第１の緑色フィルタの光の波長に対する光透過率特性を示す図、（ｂ）は、第２の緑色フィルタの光の波長に対する光透過率特性を示す図。
【図１９】本発明の実施形態６におけるダイナミックレンジ拡大の原理を説明するための図。
【図２０】本発明の実施形態６における、拡張したＧフィルタの画素出力の１４ビットデータを１２ビットに縮小する変換特性を示す図。
【図２１】（ａ）は、Ｇフィルタの画素出力が飽和レベル以上に達しているときに、その周囲のＲ、Ｂフィルタの画素出力に基づいて、Ｇフィルタの画素出力を飽和レベル以上に拡大補間した状態を示す図、（ａ）は、Ｇフィルタの画素出力が飽和レベル以上に達しているときに、その周囲のＲ、Ｂフィルタの画素出力が極端に小さい場合に、Ｇフィルタの画素出力が飽和レベル以下に縮小補間された状態を示す図。
【符号の説明】
【０１７１】
１ デジタルカメラ（撮像装置）
５ 撮影レンズ系（レンズ系）
６ 鏡胴ユニット
９ 液晶モニタ
１２ メニューボタン（動作選択手段）
２０ ＣＣＤ（撮像素子）
２１ アナログフロントエンド部（アナログ・デジタル変換手段）
２２ 信号処理部
２３ ＳＤＲＡＭ
２８ 制御部
３４ ＣＣＤインターフェース
３５ メモリコントローラ
３６ ＹＵＶ変換部
５０ Ｄレンジ拡大予測補間部
５１ ビット圧縮変換部（ビット圧縮変換部）
６０ 輝度レベル判定部（画素出力検出手段）
６１、６１ａ 画素出力補正処理部（画素出力補正処理手段）
６２ ビット拡張処理部
６３ 第１画素出力補正処理部（第１の画素出力補正処理手段）
６４ 第２画素出力補正処理部（第２の画素出力補正処理手段）
６５ 補正データ合成部（予測補間処理手段）
７０ａ 第１緑色フィルタ（カラーフィルタ）
７０ｂ 第２緑色フィルタ（カラーフィルタ）
７２ ターレット板
【特許請求の範囲】
【請求項１】
光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備え、
前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する画素出力補正処理手段とを有する、
ことを特徴とする撮像装置。
【請求項２】
光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備え、
前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する画素出力補正処理手段とを有する、
ことを特徴とする撮像装置。
【請求項３】
光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備え、
前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第１の画素出力補正処理手段と、
前記画素出力検出手段により、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第２の画素出力補正処理手段と、
前記第１の画素出力補正処理手段と前記第２の画素出力補正処理手段からそれぞれ出力される補間情報に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する補間処理手段とを有する、
ことを特徴とする撮像装置。
【請求項４】
前記画素出力検出手段で各画素からの出力を検出する際の処理単位は、水平・垂直方向に２×２画素の大きさである、
ことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
【請求項５】
前記光学系の前方側または後方側に、前記特定色と同じ色のカラーフィルタを出し入れ自在に設け、前記カラーフィルタを前記光学系の前方側または後方側に入れることにより、前記特定色のフィルタの輝度に対する感度に対して、前記他の色のフィルタの輝度に対する感度を相対的に低下させる、
ことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
【請求項６】
前記カラーフィルタは複数設けられており、前記複数のカラーフィルタはそれぞれ光の透過率が異なっている、
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記特定色のフィルタが配置された画素の出力に対して、前記所定の飽和レベル以上に達しているときに前記補間させる動作を、選択して実行させるための動作選択手段を備えている、
ことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
【請求項８】
前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数に圧縮するビット圧縮変換手段を備え、
前記ビット圧縮変換手段は、前記飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、前記飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮する、
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項９】
前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記補間処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張されたすべてのデータを、再度前記第１ビット数に圧縮するビット圧縮変換手段を備え、
前記ビット圧縮変換手段は、前記飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、前記飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮する、
ことを特徴とする請求項３に記載の撮像装置。
【請求項１０】
前記飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、前記ビット圧縮変換手段でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いる、
ことを特徴とする請求項８または９に記載の撮像装置。
【請求項１１】
前記画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも大きくなる場合のみ、前記所定の飽和レベル以上と判定した画素出力の補間を行う、
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項１２】
前記画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも小さくなる場合には、前記演算に用いる画素の範囲を拡大する、
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項１３】
前記演算に用いる画素の範囲を拡大する場合には、前記特定色のフィルタが配置された画素と同色のフィルタが配置された画素も併せて用いる、
ことを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記第１、第２の画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも大きくなる場合のみ、前記所定の飽和レベル以上と判定した画素出力の補間を行う、
ことを特徴とする請求項３に記載の撮像装置。
【請求項１５】
前記第１、第２の画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも小さくなる場合には、前記演算に用いる画素の範囲を拡大する、
ことを特徴とする請求項３に記載の撮像装置。
【請求項１６】
前記演算に用いる画素の範囲を拡大する場合には、前記特定色のフィルタが配置された画素と同色のフィルタが配置された画素も併せて用いる、
ことを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、
前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、
前記判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する補間処理ステップと、を含む、
ことを特徴とする撮像方法。
【請求項１８】
光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、
前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、
前記判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する補完処理ステップと、を含む、
ことを特徴とする撮像方法。
【請求項１９】
光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、
前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、
前記判定ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第１の補間処理ステップと、
前記判定ステップにより、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第２の補間処理ステップと、
前記第１の補間処理ステップと前記第２の補間処理ステップからそれぞれ出力される補間情報に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第３の補間処理ステップと、を含む、
ことを特徴とする撮像方法。
【請求項１】
光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備え、
前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する画素出力補正処理手段とを有する、
ことを特徴とする撮像装置。
【請求項２】
光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備え、
前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する画素出力補正処理手段とを有する、
ことを特徴とする撮像装置。
【請求項３】
光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備え、
前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する画素出力検出手段と、
前記画素出力検出手段により、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第１の画素出力補正処理手段と、
前記画素出力検出手段により、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第２の画素出力補正処理手段と、
前記第１の画素出力補正処理手段と前記第２の画素出力補正処理手段からそれぞれ出力される補間情報に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する補間処理手段とを有する、
ことを特徴とする撮像装置。
【請求項４】
前記画素出力検出手段で各画素からの出力を検出する際の処理単位は、水平・垂直方向に２×２画素の大きさである、
ことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
【請求項５】
前記光学系の前方側または後方側に、前記特定色と同じ色のカラーフィルタを出し入れ自在に設け、前記カラーフィルタを前記光学系の前方側または後方側に入れることにより、前記特定色のフィルタの輝度に対する感度に対して、前記他の色のフィルタの輝度に対する感度を相対的に低下させる、
ことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
【請求項６】
前記カラーフィルタは複数設けられており、前記複数のカラーフィルタはそれぞれ光の透過率が異なっている、
ことを特徴とする請求項５に記載の撮像装置。
【請求項７】
前記特定色のフィルタが配置された画素の出力に対して、前記所定の飽和レベル以上に達しているときに前記補間させる動作を、選択して実行させるための動作選択手段を備えている、
ことを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。
【請求項８】
前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記画素出力補正処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張された画素出力のデータを、再度前記第１のビット数に圧縮するビット圧縮変換手段を備え、
前記ビット圧縮変換手段は、前記飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、前記飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮する、
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項９】
前記特定色のフィルタが配置された画素の出力が前記所定の飽和レベル以上に達している場合に前記補間処理手段から出力される、前記所定の飽和レベル以下における第１のビット数から第２のビット数に一度拡張されたすべてのデータを、再度前記第１ビット数に圧縮するビット圧縮変換手段を備え、
前記ビット圧縮変換手段は、前記飽和レベル以上領域における画素出力に対応したデータに対する圧縮率よりも、前記飽和レベル以下における画素出力に対応したデータに対する圧縮率を小さくして圧縮する、
ことを特徴とする請求項３に記載の撮像装置。
【請求項１０】
前記飽和レベル以下で低輝度レベルにおける画素出力に対応したデータに対しては、前記ビット圧縮変換手段でビット圧縮する前とビット圧縮した後で略同じ値となるような圧縮率を用いる、
ことを特徴とする請求項８または９に記載の撮像装置。
【請求項１１】
前記画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも大きくなる場合のみ、前記所定の飽和レベル以上と判定した画素出力の補間を行う、
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項１２】
前記画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも小さくなる場合には、前記演算に用いる画素の範囲を拡大する、
ことを特徴とする請求項１または２に記載の撮像装置。
【請求項１３】
前記演算に用いる画素の範囲を拡大する場合には、前記特定色のフィルタが配置された画素と同色のフィルタが配置された画素も併せて用いる、
ことを特徴とする請求項１２に記載の撮像装置。
【請求項１４】
前記第１、第２の画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも大きくなる場合のみ、前記所定の飽和レベル以上と判定した画素出力の補間を行う、
ことを特徴とする請求項３に記載の撮像装置。
【請求項１５】
前記第１、第２の画素出力補正処理手段は、前記所定の飽和レベル以上と判定した画素出力を補間するための演算を行ったときに、その演算結果が元の前記画素出力よりも小さくなる場合には、前記演算に用いる画素の範囲を拡大する、
ことを特徴とする請求項３に記載の撮像装置。
【請求項１６】
前記演算に用いる画素の範囲を拡大する場合には、前記特定色のフィルタが配置された画素と同色のフィルタが配置された画素も併せて用いる、
ことを特徴とする請求項１５に記載の撮像装置。
【請求項１７】
光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、
前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、
前記判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する補間処理ステップと、を含む、
ことを特徴とする撮像方法。
【請求項１８】
光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、
前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、
前記判定処理ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する補完処理ステップと、を含む、
ことを特徴とする撮像方法。
【請求項１９】
光学系を通して入射される被写体像を複数の画素を有する受光面に受光して電気信号に変換するとともに、前記各画素の前面側に複数色の色分解フィルタが配置された撮像素子を備えた撮像装置の撮像方法において、
前記各画素からの出力に対し、いずれかの画素からの出力が所定の飽和レベル以上に達しているか否かを判定する判定処理ステップと、
前記判定ステップにより、特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色以外のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第１の補間処理ステップと、
前記判定ステップにより、前記特定色のフィルタが配置された画素からの出力が前記所定の飽和レベル以上に達していると判定した場合に、その周囲の前記特定色と同じ色のフィルタが配置された画素からの出力に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第２の補間処理ステップと、
前記第１の補間処理ステップと前記第２の補間処理ステップからそれぞれ出力される補間情報に基づいて、前記所定の飽和レベル以上と判定した画素出力を補間する第３の補間処理ステップと、を含む、
ことを特徴とする撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２００９−８９３５５（Ｐ２００９−８９３５５Ａ）
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願番号】特願２００８−１６５９０８（Ｐ２００８−１６５９０８）
【出願日】平成２０年６月２５日（２００８．６．２５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２１年４月２３日（２００９．４．２３）
【国際特許分類】
【出願日】平成２０年６月２５日（２００８．６．２５）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]