画像処理装置及び画像処理方法
【課題】 撮影により得られた１画面の画像おいて小さな領域で白飛びが発生している様な局所的な明るさの差異まで考慮した高精度な階調補正を行うことができる。
【解決手段】 撮影画像に対して、複数に分割された領域ごとの輝度平均値を算出し、前記撮影画像に対して、複数に分割された領域ごとの輝度ピーク値を算出し、算出された複数の輝度平均値と算出された複数の輝度ピーク値とを、それぞれが算出された領域の位置に基づいて対応付けし、対応付けられた輝度平均値と輝度ピーク値との組み合わせの結果に基づいて、高輝度領域の階調を圧縮する処理を制御する。
【解決手段】 撮影画像に対して、複数に分割された領域ごとの輝度平均値を算出し、前記撮影画像に対して、複数に分割された領域ごとの輝度ピーク値を算出し、算出された複数の輝度平均値と算出された複数の輝度ピーク値とを、それぞれが算出された領域の位置に基づいて対応付けし、対応付けられた輝度平均値と輝度ピーク値との組み合わせの結果に基づいて、高輝度領域の階調を圧縮する処理を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラやデジタルカメラなどの撮影画像の画像処理に関するものであり、特に撮影により得られた画像の階調補正に関する。
【背景技術】
【０００２】
従来より、ビデオカメラやデジタルカメラなどの撮影装置では、ＣＣＤやＣＭＯＳなどの撮像素子を使って、画像信号を得ている。このような撮像素子では、黒レベルから白レベルまでを表現する階調表現の範囲が狭く、得られた画像信号は、実際の被写体の画像の階調範囲を十分に表現できない。そのうえ、画像信号をデジタル化して、記録する方式では、この階調範囲がデジタル信号の表現範囲へとさらに制限されることになる。この問題を解決するため、画像信号の高輝度領域の階調を圧縮することで全体に表現できる階調範囲を広げる、ニー処理が広く行われている。
【０００３】
ここで、図１４を用いて、ニー処理の入出力特性及び階調範囲を説明する。図で、横軸は入力信号の範囲を示しており、縦軸は、ニー処理後の出力信号の値を示している。各直線はニー処理を変更した場合の入出力特性を示している。ニー処理を行わない場合、入出力特性は直線ａの状態であり、入力信号値と出力信号値は同じ値となっている。すなわち、入力信号値Ｉａの範囲は出力信号値Ｏａの範囲に等しい。ニー処理を行った場合、入出力特性は直線ａから直線ｂまたは直線ｃへと移行する。直線ｂの特性の状態の場合、入力信号値がＩｂまでは、ニー処理を行わない場合と同様に、入力信号値と出力信号値は同じ値となっている。これに対し、入力信号値がＩｂ以上の高輝度領域では、出力信号値の階調が圧縮され、全体の特性としては入力信号値０からＩａの範囲が、出力信号値０からＯｂの範囲に圧縮される。同様に、直線ｃの状態の場合、Ｉｃ以上の高輝度領域では、出力信号値の階調が圧縮されて、全体として、入力信号値０からＩａの範囲が出力信号値０からＩｃの範囲に圧縮される。
【０００４】
この様に、ニー処理を加えることで、入力信号値を圧縮し、実質的に表現できる階調範囲を広げている。ここで、各特性中の折れ線の始点ｋｂ及びｋｃをニーポイント、ニーポイント以上の傾きをニースロープと呼んでいる。一般に、ニー処理を強めるという場合、ニーポイントを下げる、またはニースロープを平坦に向けるという処理を行う。
【０００５】
この様なニー処理を行うことで、逆光状態の被写体や、高輝度物体の写りこんだ画像に対する階調範囲の補正が行われている。また、被写体の画像の状態によって、補正量すなわちニー強度を設定することが行われている。例えば、特許文献１には、フィールドまたはフレーム単位で、平均値とピーク値を検出し、それを適切な比率で加算することでニー強度を設定する方法が開示されている。また、特許文献２には、画面内に設定された複数の領域から得られる輝度信号レベルを用いて、ニー強度を設定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０２−０３３２６５号
【特許文献２】特開平０３−２０４２８１号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に示された方法では、画面全体の平均値と最大値を利用するものであるため、画面の一部の領域で輝度レベルが高く白飛びを発生している場合には、適切な検出できなかった。また、特許文献２では、画面内に複数の領域を設定することでニー強度を設定しているが、白飛びが発生する領域は画面内で様々に存在するため、適切な検出領域を設定することは困難であった。そして、いずれの文献も、設定する検出領域をより細かく小さな領域にした場合については説明されていない。
【０００８】
本発明は、上述した問題点を解決するためのものであり、撮影画像おいて小さな領域で白飛びが発生している様な局所的な明るさの差異まで考慮した高精度な階調補正を行うことを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の画像処理装置は、撮影画像に対して、複数に分割された領域ごとの輝度平均値を算出する第１の算出手段と、前記撮影画像に対して、複数に分割された領域ごとの輝度ピーク値を算出する第２の算出手段と、前記第１の算出手段により算出された複数の輝度平均値と前記第２の算出手段により算出された複数の輝度ピーク値とを、それぞれが算出された領域の位置に基づいて対応付けし、対応付けられた輝度平均値と輝度ピーク値との組み合わせの結果に基づいて、高輝度領域の階調を圧縮する処理を制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮影により得られた１画面の画像おいて小さな領域で白飛びが発生している様な局所的な明るさの差異まで考慮した高精度な階調補正を行うことができるという効果がある。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態における撮影装置の構成図
【図２】第１の実施形態の枠設定
【図３】第１の実施形態のニー算出のアルゴリズム・フロー
【図４】第１の実施形態の数値例
【図５】第１の実施形態の平均値とピーク値の関係
【図６】第２の実施形態における撮影装置の構成図
【図７】第２の実施形態の枠設定
【図８】第２の実施形態のピーク枠設定の別例
【図９】第２の実施形態のニー算出のアルゴリズム・フロー
【図１０】第２の実施形態の数値例
【図１１】第３の実施形態のニー算出のアルゴリズム・フロー
【図１２】第３の実施形態の数値例
【図１３】第３の実施形態の平均値とピーク値の関係
【図１４】ニー特性を示す図
【発明を実施するための形態】
【００１２】
（第１の実施形態）
図１は、本実施形態の画像処理装置（デジタルビデオカメラ、デジタルスチルカメラ等）の概略構成を示す図である。図１において、１０１は撮影レンズ、１０２はＣＣＤやＣＭＯＳなどの撮像素子、１０４はカメラ信号処理部である。撮影レンズ１０１で撮影された画像は撮像素子１０２により画像信号に変換され、変換された画像信号はさらに１０３のＡ／Ｄ変換部でデジタル信号に変換される。変換された画像信号はカメラ信号処理部１０４で必要な信号処理を加えられ、不図示の記録媒体に記録可能な画像信号として出力される。カメラ信号処理部１０４は、１０５の前処理回路、１１２のニー処理回路、１１３のγ（ガンマ）処理回路を含む。前処理回路１０５は、Ａ／Ｄ変換部からの画像信号に対して解像度変換を行い、変換後の画像信号から輝度信号と色信号とを生成する。また、前処理回路１０５は、生成した色信号に対する色調整処理、生成した輝度信号に対しては後述の検出や出力のための付加的な処理等を行う。生成された輝度信号は１０６のＬＰＦ及びニー処理回路１１２の両方に入力される。なお、色信号はニー処理等された輝度信号とともにカメラ信号処理部１０４から出力されるが、以下、その説明は省略する。
【００１３】
ＬＰＦ１０６は、輝度信号にローパスフィルター処理を行う。１０７の枠設定回路は、１画面の画像に所定の測光枠を設定し、以下の各処理の単位とする。１０８の輝度平均値測定回路は、各測光枠単位に輝度信号の平均値を算出する。１０９の輝度ピーク値測定回路は、各測光枠単位に輝度信号のピーク値を検出する。１１０のニー算出回路は、各測光枠単位の輝度平均値及び輝度ピーク値から、後述する算出方法にしたがって、設定すべきニー強度を算出する。１１１のニー制御回路は、ニー算出回路１１０の結果に基づき時間方向の平滑処理などを行い、実際の輝度信号に与えるニー特性を決定する。ニー処理回路１１２は、ニー制御回路１１１のニー制御の結果に基づき、輝度信号に図１４で説明したようなニー特性を与える。γ処理回路は、ニー処理された輝度信号に、ニー処理とは階調特性の異なる所定のγ処理を行う。
【００１４】
以上、図１における各回路について説明してきたが、本発明に係わる処理は本実施形態の様な専用の処理回路を用いた態様に制限されるものではない。例えば、図示しない撮影装置全体を制御するＣＰＵが、ＬＰＦ１０６〜ニー制御回路１１１までのニー制御のための検出及び設定の全部或は一部を実行する等、本発明に係わる処理の一部をソフトウェア処理として実行するように構成してもよい。
【００１５】
本実施形態による枠設定について図２を用いて説明する。図２（ａ）は前処理回路１０５から出力された１画面の撮影画像である。枠設定回路１０７はこの撮影画像を画素単位で分割し、測光枠を設定する。図２（ｂ）は、撮影画像を、縦４列、横６列に分割して測光枠を設定した例である。
【００１６】
なお、画像の外側の数値は枠の行番号と列番号を示している。この図では、０−３行、０−５列の枠を設定している。本実施形態では各測光枠の形状は最も簡易的な一定の矩形としているが、本発明においてその形状は限定されない。また、撮影画像の全画素に枠を設定する必要は無く、一定幅の余白をもって設定しても良い。なお、測光枠の数は画像サイズなどによって異なるものにしてもよい。
【００１７】
次に図３を用いて、ニー算出回路１１０が実行するニー強度の算出処理の手順について説明する。
【００１８】
まず、ステップＳ３０１で、輝度平均回路１０８が、測光枠単位で、その中に含まれる画素の輝度信号の平均値を取得し、輝度ピーク回路１０９が、同じく測光枠単位で、輝度信号のピーク値を取得する。次にステップＳ３０２で、ニー算出回路１１０は、各測光枠単位で、取得した平均値とピーク値の合成処理を行い、合成値を得る。例えば、ｉ行ｊ列の測光枠から得られた平均値をＡｉｊ、ピーク値をＰｉｊとして、平均値に所定の係数ａ、ピーク値に所定の係数ｐを掛けて、その合成値をＣｉｊとして算出する。この場合、Ｃｉｊは以下の式で表される。
【００１９】
【数１】
【００２０】
ここで、用途等の所定の条件によって所定の係数ａとｐを変化させることができ、例えば、１．０にした単純加算にしてもよい。
【００２１】
次に、ステップＳ３０３で、Ｃｉｊが所定の閾値Ｔｈ０以上になる枠を抽出し、その平均値Ｔａを求める。すなわち、Ｔｈ０以上の合成値の数がｎ個であった場合、
【００２２】
【数２】
【００２３】
を求める。
【００２４】
次に、ステップＳ３０４で、ニー算出回路１１０はこの求めた平均値Ｔａからニー強度を決定する。例えば、下記のような表１を用いて、ニー強度の無し、弱、中、強の段階を設定する。
【００２５】
【表１】
【００２６】
決定したニー強度は、ニー算出回路１１０からニー制御回路１１１に送られて、ニー制御回路１１１がニー処理回路１１２のニー処理を制御するために用いられる。
【００２７】
ここで、ニー算出回路１１０が実行する具体的な計算例について、図４を用いて説明する。
【００２８】
図４では、図２と同様に画像に測光枠が設定されている。この画像で、測光枠単位で平均値を求めた結果が図４（ａ）であり、ピーク値を求めた結果が図４（ｂ）であったとする。これらの結果から、測光枠単位の合成値が図４（ｃ）として得られる。例えば、０行０列の枠の場合、平均値が“１８１”でピーク値が“２２９”であるから、合成値は“４１０”となる。
【００２９】
ここで、閾値を“３８０”と設定した場合、この閾値を超える合成値を持つ測光枠は、図４（ｄ）の様になる。すなわち、０行０列、０行１列、０行４列、０行５列、１行４列、２行２列及び２行５列の、７個の測光枠である。ニー算出回路１１０はこの結果を平均する。すなわち、“（４１０＋４３４＋３９０＋４４６＋３８５＋３８６＋３８６）／７＝４０５．８６“が求まる。この結果から、先の表１に基づくと、”３９０≦４０５．８６＜４１０“であるから、ニー強度は“中”と決定される。
【００３０】
次に、図５を用いて、本実施形態の白飛び検出の効果の特徴について説明する。図は、測光枠単位に得られた平均値とピーク値の相関関係を示す。ここで、横軸は平均値、縦軸はピーク値として、各測光枠単位の値が“Ｘ”で示してある。
【００３１】
図のＡの範囲は、平均値、ピーク値共に高い値を示し、この範囲に含まれる枠は枠内全体の画像が白飛び状態と考えられるが、これは従来からの平均値だけによる方法でも検出容易であった。
【００３２】
これに対して、図のＢの範囲は、平均値は中間より上程度だがピーク値は高い値を示している。この範囲に含まれる枠は、測光枠内のほとんどの画素の輝度値が平均値程度の値であったとすると、ピーク値を発生させた画素付近には、同程度の高輝度の画素が存在し、画像としては、白飛び状態となっている場合が考えられる。Ｂの範囲の場合、平均値は高くないので、従来の平均値のみの検出方法では白飛びの検出が困難であった。例えば、図４の例で、１行４列、２行２列、２行５列の各測光枠では、平均値は、１６０−１７０と高くないが、ピーク値は２１６−２２６と高い。このため平均値のみの検出では、これらの枠の白飛びを検出することができないこととなる。一方、本実施形態では、合成値に換算してから検出するため、これらの枠の白飛びを検出できている。
【００３３】
また、図のＣの範囲は平均値はＢの範囲と同程度を示すが、ピーク値は低い値を示している。この場合は、ピーク値が低いことからも白飛び画像は存在せず、ニー処理の必要はほとんど無い。従来方法の平均値のみでの検出の場合、この領域も検出対象となってしまっていたが、本実施形態では、この範囲を検出対象から外している。すなわち、本実施形態では、白飛び画像が発生していない範囲をニー強度の設定に用いていないので、より適切なニー強度の設定が行える。
【００３４】
また、図のＤの範囲は、平均値が低くピーク値が高い値を示している。この場合、測光枠のほとんどの画素値が平均より低く、一部の画素だけピーク値を持つ。この範囲は、例えば、暗闇に輝点があるような場合であり、高輝度部分の面積は小さく、ニー処理による階調改善を行ってもそれほどの効果は期待できない。ピーク値のみの検出では、この範囲は誤検出されてしまうが、本実施形態では、合成値に換算してから検出するため、これらの範囲を検出することは無い。なお、図のＥの範囲は、平均値、ピーク値共に低い値を示し、もともとニー処理が不要な範囲である。
【００３５】
以上説明した通り、本実施形態によれば、画面に複数の測光枠を設定し、測光枠単位で、輝度平均値と輝度ピーク値を求めるようにした。そして、求めた測光枠単位の輝度平均値と輝度ピーク値のそれぞれを所定の係数を掛けて合成し、合成結果を演算処理結果とした。さらに、測光枠単位に求めた演算処理結果が一定の閾値以上の場合について平均値を求め、それを元にニー強度の設定を行うようにした。これにより、小さな領域で白飛びを起こしている画像の場合に、ニー処理による階調改善が行われやすいという効果を得ることができる。
【００３６】
（第２の実施形態）
第２の実施形態は、ピーク値用の測光枠の設定を複数の平均値測光枠を合わせた形で構成する例である。
【００３７】
図６に、本実施形態の撮影装置の構成図を示す。本実施形態では、測光枠の設定が平均値用とピーク用で異なる他は第１の実施形態と同様である。したがって、同等の機能を持つブロックについては、同一の記号を用いてその説明を省略する。
【００３８】
図６で、６０３は本実施形態のカメラ信号処理部である。６０７の枠設定回路は平均値用の測光枠の設定を行う。６０８の枠設定回路はピーク値用の測光枠の設定を行う。６０９の輝度平均値測定回路は、枠設定回路６０７の枠設定に従って各測光枠単位に輝度信号の平均値を算出する。６１０の輝度ピーク値測定回路は、枠設定回路６０８の枠設定に従って各測光枠単位に輝度信号のピーク値を検出する。６１１のニー算出回路は、輝度平均値測定回路６０９からの輝度平均値及び輝度ピーク値測定回路６１０からの輝度ピーク値から、後述する算出方法にしたがって設定すべきニー強度を算出する。
【００３９】
本実施形態による枠設定について図７を用いて説明する。図７（ａ）は前処理回路１０５から出力された１画面の撮影画像である。枠設定回路１０７はこの撮影画像を、輝度平均値測定用に図７（ｂ）に示すように分割する。図７（ｂ）の例は、画像を、縦４列、横６列に分割して平均値測光枠を設定した例である。これに対して、同じ撮影画像に対して、輝度ピーク値測定用に、図７（ｃ）で示すように分割する。図の例は、画像を、縦方向に２列、横方向に３列に分割してピーク値測光枠を設定した例である。すなわち、ピーク値測光枠は、平均値測光枠よりも大きく複数の平均値測光枠の範囲を合わせた形で構成される。この結果、平均値測光で得られる平均値が２４個あるのに対して、ピーク値については６個となる。ニー算出回路６１１及び第１の実施形態のニー算出回路１１０は、輝度平均値と輝度ピーク値の合成のためにこれらの値を保持するためのメモリ（不図示）を有している。第１の実施形態では、このメモリは、平均値のために２４個、ピーク値のために２４個の値を保持するための記憶容量が必要であった。これに対して、本実施形態では、ピーク値は６個でよいので、１８個分の記憶容量を削減することができる。
【００４０】
図７では、平均値測光枠の縦２行横２列分の大きさで一つのピーク値測光枠を設定しているが、これに限られることなく、１行４列、２行３列など、異なる大きさ分の枠でも良い。さらには、図８の様にピーク測光枠として異なる形状を設定しても良い。図８は、画面の中央、上部、下部などの画面内の位置に応じて、ピーク測光枠を異なった形状で設定した例である。このように、ピーク値測光枠は、ピーク値処理の用途・効果に応じて、平均値測光枠の単位での組み合わせにより設定できる。
【００４１】
次に図９を用いて、図７の枠設定を行った場合における、ニー算出回路６１１が実行するニー強度の算出処理の手順について説明する。図９で、図３で説明した処理手順と同等の処理には、同一の記号を用いている。
【００４２】
まず、ステップＳ９０１で、それぞれの測光枠単位で、輝度信号の平均値とピーク値を取得する。すなわち、輝度平均回路６０９が平均値測光枠数分の輝度平均値を取得し、輝度ピーク回路６１０がピーク値測光枠分の輝度ピーク値を得る。図７について説明したように本実施形態では、平均値測光枠２４枠分の平均値と、ピーク値測光枠６枠分のピーク値を取得する。
【００４３】
次にステップＳ９０２で、各平均値測光枠の値とピーク値測光枠の値を対応付けることで、各平均測光枠単位で、平均値とピーク値の組を求める。図７において、例えば、平均値測光枠の０行０列目の平均値については、ピーク測光枠の０行０列目のピーク値を、平均値測光枠の０行１列目の平均値については、ピーク測光枠の０行０列目のピーク値を、それぞれ対応付ける。同様に、平均値測光枠の０行３列目の平均値については、ピーク測光枠の０行１列目のピーク値を、平均値測光枠の０行４列目の平均値については、ピーク測光枠の０行１列目のピーク値を、それぞれ対応付ける。ｉ行ｊ列の平均値測光枠に対応するピーク値をＰｉｊ、ｋ行ｌ列のピーク値測光枠から得られたピーク値をＱｋｌとしたとき、整数の除算”／”を用いて、次の様に計算できる。
【００４４】
【数３】
【００４５】
すなわち、平均測光枠のアドレスｉ，ｊに対応するピーク測光枠のアドレスｋ，ｊは、ｉとｊをそれぞれ２で除算したｉ／２とｊ／２から得られる。図７では、２行２列の平均値測光枠を合わせて、一つのピーク値測光枠を設定しているため、対応付けの処理が簡単になる。
【００４６】
この平均値測光枠の値とピーク値測光枠の値との対応付けの際、ピーク値にその位置に対応して規定した係数を掛けても良い。これにより、画面のどこの白飛びを重点的に補正するかを調整できる。特に、図８の例の様に、画面内の位置に応じてピーク測光枠を異なった形状で設定した場合、中央や周辺の重要度を区別することがし易くなる。
【００４７】
以下、ステップＳ３０２からステップＳ３０４までの処理は、第１の実施形態の図３の場合と同様である。
【００４８】
ここで、図７の設定を行った場合における、具体的な計算例について、図１０を用いて説明する。図１０で、測光枠単位で平均値を求めた結果が図１０（ａ）で、ピーク値を求めた結果が図１０（ｂ）であったとする。図１０（ｂ）からは、平均値測光枠に対応するピーク値が図１０（ｃ）の様に求められる。これから、平均値測光枠単位の合成値が、図１０（ｄ）として得られる。例えば、平均値測光枠の０行０列の場合、対応するピーク値測光枠は０行０列であるから、平均値が“１８１”で、対応するピーク値が“２２９”となり、合成値は“４１０”となる。
【００４９】
ここで、閾値を３８０と設定した場合、この閾値を超える合成値を持つ測光枠は、図１０（ｅ）の様になる。すなわち、０行０列、０行１列、０行４列、０行５列、１行４列、２行２列及び２行５列の、７個の測光枠である。ニー算出回路６１１は、この結果を平均する。すなわち、“（４１０＋４４４＋４０１＋４４６＋３８６＋３８９＋３９０）／７＝４０８．８６“が求まる。この結果から、先の表１に基づいてニー強度を決定すると、”３９０≦４０８．８６＜４１０“であるから、ニー強度は“中”と決定される。
【００５０】
以上説明した通り、本実施形態によれば、ピーク値用の測光枠の設定を、所定数の平均値測光枠を合わせた形で構成した。これにより、ピーク値の測光結果を保持する記憶容量を削減できるという効果が得られる。さらには、平均値測光枠の値とピーク値測光枠の値との対応付けの際、ピーク値に、その位置に対応して規定した係数を掛けることもできる。これにより、画面のどこの白飛びを重点的に補正するかを調整し易くなる。
【００５１】
（第３の実施形態）
第３の実施形態は、測光枠単位の演算処理として、輝度ピーク値にピーク閾値を設定し、輝度ピーク値がピーク閾値以上である測光枠の輝度平均値を選択し、輝度平均値を演算処理結果として用いた例である。
【００５２】
本実施形態では、測光枠の設定についてのブロック構成などは、第１の実施形態と同様である。ただし、ニー算出回路１１０の機能が第１の実施形態と異なっており、後述する算出方法にしたがって、設定すべきニー強度を算出する。本実施形態による枠設定も、第１の実施形態と同様に、図２の分割態様に従って行われる。
【００５３】
次に図１１を用いて、ニー算出回路１１０が実行するニー強度算出処理の手順について説明する。図１１で、図３で説明した処理手順と同等の処理には、同一の記号を用いている。
【００５４】
まず、ステップＳ３０１で、第１の実施形態と同様に、輝度平均回路１０８及び輝度ピーク回路１０９が、測光枠単位で、輝度信号の平均値とピーク値を取得する。次にステップＳ１１０１で、ピーク値測光枠の値を調べ、所定のピーク閾値以上のピーク値を示す測光枠を選択する。次にステップＳ１１０２で、ニー算出回路１１０は選択したピーク値測光枠に対応する平均値測光枠を選択する。すなわち、全ての平均値測光枠の中から選択したピーク枠に対応する平均値測光枠のみを選び、以降、この範囲内の平均値測光枠を処理の対象とする。図２において、例えばピーク値測光枠の０行０列目のピーク値が所定の閾値以上であった場合、この枠に対応する平均値測光枠、すなわち０行０列の平均値測光枠が選択される。
【００５５】
次にステップＳ１１０３で、選択した平均測光枠のうち、その平均測光値が所定の閾値以上になる枠を抽出し、抽出結果の平均値を求める。ｉ行ｊ列の平均測光値をＡｉｊとして、所定の閾値をＴｈ１としたとき、選択した平均値測光枠のうち、平均測光値がＴｈ１以上となる枠がｎ個であった場合、その平均値Ｔｂを求める。すなわち、
【００５６】
【数４】
【００５７】
を求める。
【００５８】
次に、ステップＳ１１０４で、ニー算出回路１１０は、この求めた平均値Ｔａからニー強度を決定する。例えば、下記のような表２を用いて、ニー強度の無し、弱、中、強の段階を設定する。
【００５９】
【表２】
【００６０】
決定したニー強度は、ニー算出回路１１０からニー制御回路１１１に送られて、ニー制御回路１１１がニー処理回路１１２のニー処理を制御するために用いられる。
【００６１】
ここで、ニー算出回路１１０が実行する具体的な計算例について、図１２を用いて説明する。
【００６２】
図１２で、図２と同様に画像に平均値測光枠とピーク値測光枠が設定されている。この画像で、測光枠単位で平均値を求めた結果が図１２（ａ）であり、ピーク値を求めた結果が図１２（ｂ）であったとする。
【００６３】
ここでピーク閾値として“２００”を設定した場合、図１２（ｂ）のうち、ピーク閾値を越えたピーク値測光枠が図１２（ｃ）の様に求められる。すなわち、ピーク枠のうち、０行０列、０行１列、０行４列、１行４列、１行５列、２行２列、２行５列、３行２列及び３行４列のピーク枠が選択される。これに対応する平均値測光枠の平均値は、図１２（ｄ）に示す通りである。
【００６４】
次に、所定の閾値としてＴｈ１＝１４０とした場合、閾値以上の値を持つ枠は図１２（ｅ）の様になる。すなわち、０行０列、０行１列、０行４列、０行５列、１行４列、２行２列及び２行５列の、７個の測光枠で、閾値Ｔｈ１以上の平均測光値が得られる。この結果を平均する。すなわち、“（１８１＋２１１＋１７５＋２２０＋１６０＋１７０＋１６２）／７＝１８２．７１“が求まる。この結果から、先の表２に基づくと、”１７０≦１８２．７１＜１９０“であるから、ニー強度は“中”と決定される。
【００６５】
次に、図１３を用いて、実施形態の白飛び検出の効果の特徴について説明する。図１３は、図５に対して、本実施形態で用いたピーク閾値と平均測光値についての閾値Ｔｈ１を記入したものである。図５と同様に、横軸は平均値、縦軸はピーク値として、各測光枠単位の値が“Ｘ”で示してある。
【００６６】
本実施形態では、まずピーク閾値により図のＡ，Ｂ及びＤの範囲を選択している。次に平均測光値についての閾値Ｔｈ１によりＡ及びＢの範囲を選択している。すなわち、ピーク閾値により、図のＣやＥの様に白飛び画像が発生していないとみなせる範囲を除去している。さらに、平均測光値についての閾値で平均値が低くピーク値のみが高いＤの範囲を除去している。この様に、本実施形態では、ピーク閾値と平均値についての閾値の２つの閾値を設定することで、白飛び画像の範囲を効率的に検出している。さらに、検出した枠の平均測光値の平均値を用いることで、Ａの範囲から検出された枠とＢの範囲から検出された枠に対して、バランスのとれたニー強度の設定を行っている。
【００６７】
以上説明した通り、本実施形態によれば、画面に複数の測光枠を設定し、測光枠単位で、輝度平均値と輝度ピーク値を求めるようにした。そして、輝度ピーク値にピーク閾値を設定し、輝度ピーク値がピーク閾値以上である測光枠の輝度平均値を選択し、選択した輝度平均値について平均値を求め、それを元にニー強度の設定を行うようにした。これにより、従来よりも白飛びを起こしている画像の場合に、ニー処理による階調改善が行われやすいという効果を得ることができる。
【００６８】
（他の実施形態）
上記各実施形態では、一枚の画像の測光枠からの平均値とピーク値を、同時に取得するように記述したが、測光枠からの平均値とピーク値は、時分割で取得することも可能である。さらには、複数枚フレームから成る動画像の場合、フレーム間にまたがって、平均値及び／またはピーク値を取得しても、同等のニー強度の設定が可能である。例えば、１フレーム時間では一部分の測光枠の輝度平均値と輝度ピーク値を求め、フレーム間で測光する測光枠の位置を変えることで、１つの画面の測光枠の値を求めることができる。
【００６９】
本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【００７０】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００７１】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７２】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００７３】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【符号の説明】
【００７４】
１０７ 枠設定回路
１０８ 輝度平均値測定回路
１０９ 輝度ピーク値測定回路
１１０ ニー算出回路
１１１ ニー制御回路
１１２ ニー処理回路
１１３ γ処理回路
【技術分野】
【０００１】
本発明は、ビデオカメラやデジタルカメラなどの撮影画像の画像処理に関するものであり、特に撮影により得られた画像の階調補正に関する。
【背景技術】
【０００２】
従来より、ビデオカメラやデジタルカメラなどの撮影装置では、ＣＣＤやＣＭＯＳなどの撮像素子を使って、画像信号を得ている。このような撮像素子では、黒レベルから白レベルまでを表現する階調表現の範囲が狭く、得られた画像信号は、実際の被写体の画像の階調範囲を十分に表現できない。そのうえ、画像信号をデジタル化して、記録する方式では、この階調範囲がデジタル信号の表現範囲へとさらに制限されることになる。この問題を解決するため、画像信号の高輝度領域の階調を圧縮することで全体に表現できる階調範囲を広げる、ニー処理が広く行われている。
【０００３】
ここで、図１４を用いて、ニー処理の入出力特性及び階調範囲を説明する。図で、横軸は入力信号の範囲を示しており、縦軸は、ニー処理後の出力信号の値を示している。各直線はニー処理を変更した場合の入出力特性を示している。ニー処理を行わない場合、入出力特性は直線ａの状態であり、入力信号値と出力信号値は同じ値となっている。すなわち、入力信号値Ｉａの範囲は出力信号値Ｏａの範囲に等しい。ニー処理を行った場合、入出力特性は直線ａから直線ｂまたは直線ｃへと移行する。直線ｂの特性の状態の場合、入力信号値がＩｂまでは、ニー処理を行わない場合と同様に、入力信号値と出力信号値は同じ値となっている。これに対し、入力信号値がＩｂ以上の高輝度領域では、出力信号値の階調が圧縮され、全体の特性としては入力信号値０からＩａの範囲が、出力信号値０からＯｂの範囲に圧縮される。同様に、直線ｃの状態の場合、Ｉｃ以上の高輝度領域では、出力信号値の階調が圧縮されて、全体として、入力信号値０からＩａの範囲が出力信号値０からＩｃの範囲に圧縮される。
【０００４】
この様に、ニー処理を加えることで、入力信号値を圧縮し、実質的に表現できる階調範囲を広げている。ここで、各特性中の折れ線の始点ｋｂ及びｋｃをニーポイント、ニーポイント以上の傾きをニースロープと呼んでいる。一般に、ニー処理を強めるという場合、ニーポイントを下げる、またはニースロープを平坦に向けるという処理を行う。
【０００５】
この様なニー処理を行うことで、逆光状態の被写体や、高輝度物体の写りこんだ画像に対する階調範囲の補正が行われている。また、被写体の画像の状態によって、補正量すなわちニー強度を設定することが行われている。例えば、特許文献１には、フィールドまたはフレーム単位で、平均値とピーク値を検出し、それを適切な比率で加算することでニー強度を設定する方法が開示されている。また、特許文献２には、画面内に設定された複数の領域から得られる輝度信号レベルを用いて、ニー強度を設定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平０２−０３３２６５号
【特許文献２】特開平０３−２０４２８１号
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に示された方法では、画面全体の平均値と最大値を利用するものであるため、画面の一部の領域で輝度レベルが高く白飛びを発生している場合には、適切な検出できなかった。また、特許文献２では、画面内に複数の領域を設定することでニー強度を設定しているが、白飛びが発生する領域は画面内で様々に存在するため、適切な検出領域を設定することは困難であった。そして、いずれの文献も、設定する検出領域をより細かく小さな領域にした場合については説明されていない。
【０００８】
本発明は、上述した問題点を解決するためのものであり、撮影画像おいて小さな領域で白飛びが発生している様な局所的な明るさの差異まで考慮した高精度な階調補正を行うことを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明の画像処理装置は、撮影画像に対して、複数に分割された領域ごとの輝度平均値を算出する第１の算出手段と、前記撮影画像に対して、複数に分割された領域ごとの輝度ピーク値を算出する第２の算出手段と、前記第１の算出手段により算出された複数の輝度平均値と前記第２の算出手段により算出された複数の輝度ピーク値とを、それぞれが算出された領域の位置に基づいて対応付けし、対応付けられた輝度平均値と輝度ピーク値との組み合わせの結果に基づいて、高輝度領域の階調を圧縮する処理を制御する制御手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、撮影により得られた１画面の画像おいて小さな領域で白飛びが発生している様な局所的な明るさの差異まで考慮した高精度な階調補正を行うことができるという効果がある。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態における撮影装置の構成図
【図２】第１の実施形態の枠設定
【図３】第１の実施形態のニー算出のアルゴリズム・フロー
【図４】第１の実施形態の数値例
【図５】第１の実施形態の平均値とピーク値の関係
【図６】第２の実施形態における撮影装置の構成図
【図７】第２の実施形態の枠設定
【図８】第２の実施形態のピーク枠設定の別例
【図９】第２の実施形態のニー算出のアルゴリズム・フロー
【図１０】第２の実施形態の数値例
【図１１】第３の実施形態のニー算出のアルゴリズム・フロー
【図１２】第３の実施形態の数値例
【図１３】第３の実施形態の平均値とピーク値の関係
【図１４】ニー特性を示す図
【発明を実施するための形態】
【００１２】
（第１の実施形態）
図１は、本実施形態の画像処理装置（デジタルビデオカメラ、デジタルスチルカメラ等）の概略構成を示す図である。図１において、１０１は撮影レンズ、１０２はＣＣＤやＣＭＯＳなどの撮像素子、１０４はカメラ信号処理部である。撮影レンズ１０１で撮影された画像は撮像素子１０２により画像信号に変換され、変換された画像信号はさらに１０３のＡ／Ｄ変換部でデジタル信号に変換される。変換された画像信号はカメラ信号処理部１０４で必要な信号処理を加えられ、不図示の記録媒体に記録可能な画像信号として出力される。カメラ信号処理部１０４は、１０５の前処理回路、１１２のニー処理回路、１１３のγ（ガンマ）処理回路を含む。前処理回路１０５は、Ａ／Ｄ変換部からの画像信号に対して解像度変換を行い、変換後の画像信号から輝度信号と色信号とを生成する。また、前処理回路１０５は、生成した色信号に対する色調整処理、生成した輝度信号に対しては後述の検出や出力のための付加的な処理等を行う。生成された輝度信号は１０６のＬＰＦ及びニー処理回路１１２の両方に入力される。なお、色信号はニー処理等された輝度信号とともにカメラ信号処理部１０４から出力されるが、以下、その説明は省略する。
【００１３】
ＬＰＦ１０６は、輝度信号にローパスフィルター処理を行う。１０７の枠設定回路は、１画面の画像に所定の測光枠を設定し、以下の各処理の単位とする。１０８の輝度平均値測定回路は、各測光枠単位に輝度信号の平均値を算出する。１０９の輝度ピーク値測定回路は、各測光枠単位に輝度信号のピーク値を検出する。１１０のニー算出回路は、各測光枠単位の輝度平均値及び輝度ピーク値から、後述する算出方法にしたがって、設定すべきニー強度を算出する。１１１のニー制御回路は、ニー算出回路１１０の結果に基づき時間方向の平滑処理などを行い、実際の輝度信号に与えるニー特性を決定する。ニー処理回路１１２は、ニー制御回路１１１のニー制御の結果に基づき、輝度信号に図１４で説明したようなニー特性を与える。γ処理回路は、ニー処理された輝度信号に、ニー処理とは階調特性の異なる所定のγ処理を行う。
【００１４】
以上、図１における各回路について説明してきたが、本発明に係わる処理は本実施形態の様な専用の処理回路を用いた態様に制限されるものではない。例えば、図示しない撮影装置全体を制御するＣＰＵが、ＬＰＦ１０６〜ニー制御回路１１１までのニー制御のための検出及び設定の全部或は一部を実行する等、本発明に係わる処理の一部をソフトウェア処理として実行するように構成してもよい。
【００１５】
本実施形態による枠設定について図２を用いて説明する。図２（ａ）は前処理回路１０５から出力された１画面の撮影画像である。枠設定回路１０７はこの撮影画像を画素単位で分割し、測光枠を設定する。図２（ｂ）は、撮影画像を、縦４列、横６列に分割して測光枠を設定した例である。
【００１６】
なお、画像の外側の数値は枠の行番号と列番号を示している。この図では、０−３行、０−５列の枠を設定している。本実施形態では各測光枠の形状は最も簡易的な一定の矩形としているが、本発明においてその形状は限定されない。また、撮影画像の全画素に枠を設定する必要は無く、一定幅の余白をもって設定しても良い。なお、測光枠の数は画像サイズなどによって異なるものにしてもよい。
【００１７】
次に図３を用いて、ニー算出回路１１０が実行するニー強度の算出処理の手順について説明する。
【００１８】
まず、ステップＳ３０１で、輝度平均回路１０８が、測光枠単位で、その中に含まれる画素の輝度信号の平均値を取得し、輝度ピーク回路１０９が、同じく測光枠単位で、輝度信号のピーク値を取得する。次にステップＳ３０２で、ニー算出回路１１０は、各測光枠単位で、取得した平均値とピーク値の合成処理を行い、合成値を得る。例えば、ｉ行ｊ列の測光枠から得られた平均値をＡｉｊ、ピーク値をＰｉｊとして、平均値に所定の係数ａ、ピーク値に所定の係数ｐを掛けて、その合成値をＣｉｊとして算出する。この場合、Ｃｉｊは以下の式で表される。
【００１９】
【数１】
【００２０】
ここで、用途等の所定の条件によって所定の係数ａとｐを変化させることができ、例えば、１．０にした単純加算にしてもよい。
【００２１】
次に、ステップＳ３０３で、Ｃｉｊが所定の閾値Ｔｈ０以上になる枠を抽出し、その平均値Ｔａを求める。すなわち、Ｔｈ０以上の合成値の数がｎ個であった場合、
【００２２】
【数２】
【００２３】
を求める。
【００２４】
次に、ステップＳ３０４で、ニー算出回路１１０はこの求めた平均値Ｔａからニー強度を決定する。例えば、下記のような表１を用いて、ニー強度の無し、弱、中、強の段階を設定する。
【００２５】
【表１】
【００２６】
決定したニー強度は、ニー算出回路１１０からニー制御回路１１１に送られて、ニー制御回路１１１がニー処理回路１１２のニー処理を制御するために用いられる。
【００２７】
ここで、ニー算出回路１１０が実行する具体的な計算例について、図４を用いて説明する。
【００２８】
図４では、図２と同様に画像に測光枠が設定されている。この画像で、測光枠単位で平均値を求めた結果が図４（ａ）であり、ピーク値を求めた結果が図４（ｂ）であったとする。これらの結果から、測光枠単位の合成値が図４（ｃ）として得られる。例えば、０行０列の枠の場合、平均値が“１８１”でピーク値が“２２９”であるから、合成値は“４１０”となる。
【００２９】
ここで、閾値を“３８０”と設定した場合、この閾値を超える合成値を持つ測光枠は、図４（ｄ）の様になる。すなわち、０行０列、０行１列、０行４列、０行５列、１行４列、２行２列及び２行５列の、７個の測光枠である。ニー算出回路１１０はこの結果を平均する。すなわち、“（４１０＋４３４＋３９０＋４４６＋３８５＋３８６＋３８６）／７＝４０５．８６“が求まる。この結果から、先の表１に基づくと、”３９０≦４０５．８６＜４１０“であるから、ニー強度は“中”と決定される。
【００３０】
次に、図５を用いて、本実施形態の白飛び検出の効果の特徴について説明する。図は、測光枠単位に得られた平均値とピーク値の相関関係を示す。ここで、横軸は平均値、縦軸はピーク値として、各測光枠単位の値が“Ｘ”で示してある。
【００３１】
図のＡの範囲は、平均値、ピーク値共に高い値を示し、この範囲に含まれる枠は枠内全体の画像が白飛び状態と考えられるが、これは従来からの平均値だけによる方法でも検出容易であった。
【００３２】
これに対して、図のＢの範囲は、平均値は中間より上程度だがピーク値は高い値を示している。この範囲に含まれる枠は、測光枠内のほとんどの画素の輝度値が平均値程度の値であったとすると、ピーク値を発生させた画素付近には、同程度の高輝度の画素が存在し、画像としては、白飛び状態となっている場合が考えられる。Ｂの範囲の場合、平均値は高くないので、従来の平均値のみの検出方法では白飛びの検出が困難であった。例えば、図４の例で、１行４列、２行２列、２行５列の各測光枠では、平均値は、１６０−１７０と高くないが、ピーク値は２１６−２２６と高い。このため平均値のみの検出では、これらの枠の白飛びを検出することができないこととなる。一方、本実施形態では、合成値に換算してから検出するため、これらの枠の白飛びを検出できている。
【００３３】
また、図のＣの範囲は平均値はＢの範囲と同程度を示すが、ピーク値は低い値を示している。この場合は、ピーク値が低いことからも白飛び画像は存在せず、ニー処理の必要はほとんど無い。従来方法の平均値のみでの検出の場合、この領域も検出対象となってしまっていたが、本実施形態では、この範囲を検出対象から外している。すなわち、本実施形態では、白飛び画像が発生していない範囲をニー強度の設定に用いていないので、より適切なニー強度の設定が行える。
【００３４】
また、図のＤの範囲は、平均値が低くピーク値が高い値を示している。この場合、測光枠のほとんどの画素値が平均より低く、一部の画素だけピーク値を持つ。この範囲は、例えば、暗闇に輝点があるような場合であり、高輝度部分の面積は小さく、ニー処理による階調改善を行ってもそれほどの効果は期待できない。ピーク値のみの検出では、この範囲は誤検出されてしまうが、本実施形態では、合成値に換算してから検出するため、これらの範囲を検出することは無い。なお、図のＥの範囲は、平均値、ピーク値共に低い値を示し、もともとニー処理が不要な範囲である。
【００３５】
以上説明した通り、本実施形態によれば、画面に複数の測光枠を設定し、測光枠単位で、輝度平均値と輝度ピーク値を求めるようにした。そして、求めた測光枠単位の輝度平均値と輝度ピーク値のそれぞれを所定の係数を掛けて合成し、合成結果を演算処理結果とした。さらに、測光枠単位に求めた演算処理結果が一定の閾値以上の場合について平均値を求め、それを元にニー強度の設定を行うようにした。これにより、小さな領域で白飛びを起こしている画像の場合に、ニー処理による階調改善が行われやすいという効果を得ることができる。
【００３６】
（第２の実施形態）
第２の実施形態は、ピーク値用の測光枠の設定を複数の平均値測光枠を合わせた形で構成する例である。
【００３７】
図６に、本実施形態の撮影装置の構成図を示す。本実施形態では、測光枠の設定が平均値用とピーク用で異なる他は第１の実施形態と同様である。したがって、同等の機能を持つブロックについては、同一の記号を用いてその説明を省略する。
【００３８】
図６で、６０３は本実施形態のカメラ信号処理部である。６０７の枠設定回路は平均値用の測光枠の設定を行う。６０８の枠設定回路はピーク値用の測光枠の設定を行う。６０９の輝度平均値測定回路は、枠設定回路６０７の枠設定に従って各測光枠単位に輝度信号の平均値を算出する。６１０の輝度ピーク値測定回路は、枠設定回路６０８の枠設定に従って各測光枠単位に輝度信号のピーク値を検出する。６１１のニー算出回路は、輝度平均値測定回路６０９からの輝度平均値及び輝度ピーク値測定回路６１０からの輝度ピーク値から、後述する算出方法にしたがって設定すべきニー強度を算出する。
【００３９】
本実施形態による枠設定について図７を用いて説明する。図７（ａ）は前処理回路１０５から出力された１画面の撮影画像である。枠設定回路１０７はこの撮影画像を、輝度平均値測定用に図７（ｂ）に示すように分割する。図７（ｂ）の例は、画像を、縦４列、横６列に分割して平均値測光枠を設定した例である。これに対して、同じ撮影画像に対して、輝度ピーク値測定用に、図７（ｃ）で示すように分割する。図の例は、画像を、縦方向に２列、横方向に３列に分割してピーク値測光枠を設定した例である。すなわち、ピーク値測光枠は、平均値測光枠よりも大きく複数の平均値測光枠の範囲を合わせた形で構成される。この結果、平均値測光で得られる平均値が２４個あるのに対して、ピーク値については６個となる。ニー算出回路６１１及び第１の実施形態のニー算出回路１１０は、輝度平均値と輝度ピーク値の合成のためにこれらの値を保持するためのメモリ（不図示）を有している。第１の実施形態では、このメモリは、平均値のために２４個、ピーク値のために２４個の値を保持するための記憶容量が必要であった。これに対して、本実施形態では、ピーク値は６個でよいので、１８個分の記憶容量を削減することができる。
【００４０】
図７では、平均値測光枠の縦２行横２列分の大きさで一つのピーク値測光枠を設定しているが、これに限られることなく、１行４列、２行３列など、異なる大きさ分の枠でも良い。さらには、図８の様にピーク測光枠として異なる形状を設定しても良い。図８は、画面の中央、上部、下部などの画面内の位置に応じて、ピーク測光枠を異なった形状で設定した例である。このように、ピーク値測光枠は、ピーク値処理の用途・効果に応じて、平均値測光枠の単位での組み合わせにより設定できる。
【００４１】
次に図９を用いて、図７の枠設定を行った場合における、ニー算出回路６１１が実行するニー強度の算出処理の手順について説明する。図９で、図３で説明した処理手順と同等の処理には、同一の記号を用いている。
【００４２】
まず、ステップＳ９０１で、それぞれの測光枠単位で、輝度信号の平均値とピーク値を取得する。すなわち、輝度平均回路６０９が平均値測光枠数分の輝度平均値を取得し、輝度ピーク回路６１０がピーク値測光枠分の輝度ピーク値を得る。図７について説明したように本実施形態では、平均値測光枠２４枠分の平均値と、ピーク値測光枠６枠分のピーク値を取得する。
【００４３】
次にステップＳ９０２で、各平均値測光枠の値とピーク値測光枠の値を対応付けることで、各平均測光枠単位で、平均値とピーク値の組を求める。図７において、例えば、平均値測光枠の０行０列目の平均値については、ピーク測光枠の０行０列目のピーク値を、平均値測光枠の０行１列目の平均値については、ピーク測光枠の０行０列目のピーク値を、それぞれ対応付ける。同様に、平均値測光枠の０行３列目の平均値については、ピーク測光枠の０行１列目のピーク値を、平均値測光枠の０行４列目の平均値については、ピーク測光枠の０行１列目のピーク値を、それぞれ対応付ける。ｉ行ｊ列の平均値測光枠に対応するピーク値をＰｉｊ、ｋ行ｌ列のピーク値測光枠から得られたピーク値をＱｋｌとしたとき、整数の除算”／”を用いて、次の様に計算できる。
【００４４】
【数３】
【００４５】
すなわち、平均測光枠のアドレスｉ，ｊに対応するピーク測光枠のアドレスｋ，ｊは、ｉとｊをそれぞれ２で除算したｉ／２とｊ／２から得られる。図７では、２行２列の平均値測光枠を合わせて、一つのピーク値測光枠を設定しているため、対応付けの処理が簡単になる。
【００４６】
この平均値測光枠の値とピーク値測光枠の値との対応付けの際、ピーク値にその位置に対応して規定した係数を掛けても良い。これにより、画面のどこの白飛びを重点的に補正するかを調整できる。特に、図８の例の様に、画面内の位置に応じてピーク測光枠を異なった形状で設定した場合、中央や周辺の重要度を区別することがし易くなる。
【００４７】
以下、ステップＳ３０２からステップＳ３０４までの処理は、第１の実施形態の図３の場合と同様である。
【００４８】
ここで、図７の設定を行った場合における、具体的な計算例について、図１０を用いて説明する。図１０で、測光枠単位で平均値を求めた結果が図１０（ａ）で、ピーク値を求めた結果が図１０（ｂ）であったとする。図１０（ｂ）からは、平均値測光枠に対応するピーク値が図１０（ｃ）の様に求められる。これから、平均値測光枠単位の合成値が、図１０（ｄ）として得られる。例えば、平均値測光枠の０行０列の場合、対応するピーク値測光枠は０行０列であるから、平均値が“１８１”で、対応するピーク値が“２２９”となり、合成値は“４１０”となる。
【００４９】
ここで、閾値を３８０と設定した場合、この閾値を超える合成値を持つ測光枠は、図１０（ｅ）の様になる。すなわち、０行０列、０行１列、０行４列、０行５列、１行４列、２行２列及び２行５列の、７個の測光枠である。ニー算出回路６１１は、この結果を平均する。すなわち、“（４１０＋４４４＋４０１＋４４６＋３８６＋３８９＋３９０）／７＝４０８．８６“が求まる。この結果から、先の表１に基づいてニー強度を決定すると、”３９０≦４０８．８６＜４１０“であるから、ニー強度は“中”と決定される。
【００５０】
以上説明した通り、本実施形態によれば、ピーク値用の測光枠の設定を、所定数の平均値測光枠を合わせた形で構成した。これにより、ピーク値の測光結果を保持する記憶容量を削減できるという効果が得られる。さらには、平均値測光枠の値とピーク値測光枠の値との対応付けの際、ピーク値に、その位置に対応して規定した係数を掛けることもできる。これにより、画面のどこの白飛びを重点的に補正するかを調整し易くなる。
【００５１】
（第３の実施形態）
第３の実施形態は、測光枠単位の演算処理として、輝度ピーク値にピーク閾値を設定し、輝度ピーク値がピーク閾値以上である測光枠の輝度平均値を選択し、輝度平均値を演算処理結果として用いた例である。
【００５２】
本実施形態では、測光枠の設定についてのブロック構成などは、第１の実施形態と同様である。ただし、ニー算出回路１１０の機能が第１の実施形態と異なっており、後述する算出方法にしたがって、設定すべきニー強度を算出する。本実施形態による枠設定も、第１の実施形態と同様に、図２の分割態様に従って行われる。
【００５３】
次に図１１を用いて、ニー算出回路１１０が実行するニー強度算出処理の手順について説明する。図１１で、図３で説明した処理手順と同等の処理には、同一の記号を用いている。
【００５４】
まず、ステップＳ３０１で、第１の実施形態と同様に、輝度平均回路１０８及び輝度ピーク回路１０９が、測光枠単位で、輝度信号の平均値とピーク値を取得する。次にステップＳ１１０１で、ピーク値測光枠の値を調べ、所定のピーク閾値以上のピーク値を示す測光枠を選択する。次にステップＳ１１０２で、ニー算出回路１１０は選択したピーク値測光枠に対応する平均値測光枠を選択する。すなわち、全ての平均値測光枠の中から選択したピーク枠に対応する平均値測光枠のみを選び、以降、この範囲内の平均値測光枠を処理の対象とする。図２において、例えばピーク値測光枠の０行０列目のピーク値が所定の閾値以上であった場合、この枠に対応する平均値測光枠、すなわち０行０列の平均値測光枠が選択される。
【００５５】
次にステップＳ１１０３で、選択した平均測光枠のうち、その平均測光値が所定の閾値以上になる枠を抽出し、抽出結果の平均値を求める。ｉ行ｊ列の平均測光値をＡｉｊとして、所定の閾値をＴｈ１としたとき、選択した平均値測光枠のうち、平均測光値がＴｈ１以上となる枠がｎ個であった場合、その平均値Ｔｂを求める。すなわち、
【００５６】
【数４】
【００５７】
を求める。
【００５８】
次に、ステップＳ１１０４で、ニー算出回路１１０は、この求めた平均値Ｔａからニー強度を決定する。例えば、下記のような表２を用いて、ニー強度の無し、弱、中、強の段階を設定する。
【００５９】
【表２】
【００６０】
決定したニー強度は、ニー算出回路１１０からニー制御回路１１１に送られて、ニー制御回路１１１がニー処理回路１１２のニー処理を制御するために用いられる。
【００６１】
ここで、ニー算出回路１１０が実行する具体的な計算例について、図１２を用いて説明する。
【００６２】
図１２で、図２と同様に画像に平均値測光枠とピーク値測光枠が設定されている。この画像で、測光枠単位で平均値を求めた結果が図１２（ａ）であり、ピーク値を求めた結果が図１２（ｂ）であったとする。
【００６３】
ここでピーク閾値として“２００”を設定した場合、図１２（ｂ）のうち、ピーク閾値を越えたピーク値測光枠が図１２（ｃ）の様に求められる。すなわち、ピーク枠のうち、０行０列、０行１列、０行４列、１行４列、１行５列、２行２列、２行５列、３行２列及び３行４列のピーク枠が選択される。これに対応する平均値測光枠の平均値は、図１２（ｄ）に示す通りである。
【００６４】
次に、所定の閾値としてＴｈ１＝１４０とした場合、閾値以上の値を持つ枠は図１２（ｅ）の様になる。すなわち、０行０列、０行１列、０行４列、０行５列、１行４列、２行２列及び２行５列の、７個の測光枠で、閾値Ｔｈ１以上の平均測光値が得られる。この結果を平均する。すなわち、“（１８１＋２１１＋１７５＋２２０＋１６０＋１７０＋１６２）／７＝１８２．７１“が求まる。この結果から、先の表２に基づくと、”１７０≦１８２．７１＜１９０“であるから、ニー強度は“中”と決定される。
【００６５】
次に、図１３を用いて、実施形態の白飛び検出の効果の特徴について説明する。図１３は、図５に対して、本実施形態で用いたピーク閾値と平均測光値についての閾値Ｔｈ１を記入したものである。図５と同様に、横軸は平均値、縦軸はピーク値として、各測光枠単位の値が“Ｘ”で示してある。
【００６６】
本実施形態では、まずピーク閾値により図のＡ，Ｂ及びＤの範囲を選択している。次に平均測光値についての閾値Ｔｈ１によりＡ及びＢの範囲を選択している。すなわち、ピーク閾値により、図のＣやＥの様に白飛び画像が発生していないとみなせる範囲を除去している。さらに、平均測光値についての閾値で平均値が低くピーク値のみが高いＤの範囲を除去している。この様に、本実施形態では、ピーク閾値と平均値についての閾値の２つの閾値を設定することで、白飛び画像の範囲を効率的に検出している。さらに、検出した枠の平均測光値の平均値を用いることで、Ａの範囲から検出された枠とＢの範囲から検出された枠に対して、バランスのとれたニー強度の設定を行っている。
【００６７】
以上説明した通り、本実施形態によれば、画面に複数の測光枠を設定し、測光枠単位で、輝度平均値と輝度ピーク値を求めるようにした。そして、輝度ピーク値にピーク閾値を設定し、輝度ピーク値がピーク閾値以上である測光枠の輝度平均値を選択し、選択した輝度平均値について平均値を求め、それを元にニー強度の設定を行うようにした。これにより、従来よりも白飛びを起こしている画像の場合に、ニー処理による階調改善が行われやすいという効果を得ることができる。
【００６８】
（他の実施形態）
上記各実施形態では、一枚の画像の測光枠からの平均値とピーク値を、同時に取得するように記述したが、測光枠からの平均値とピーク値は、時分割で取得することも可能である。さらには、複数枚フレームから成る動画像の場合、フレーム間にまたがって、平均値及び／またはピーク値を取得しても、同等のニー強度の設定が可能である。例えば、１フレーム時間では一部分の測光枠の輝度平均値と輝度ピーク値を求め、フレーム間で測光する測光枠の位置を変えることで、１つの画面の測光枠の値を求めることができる。
【００６９】
本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
【００７０】
この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【００７１】
また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００７２】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【００７３】
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。
【符号の説明】
【００７４】
１０７ 枠設定回路
１０８ 輝度平均値測定回路
１０９ 輝度ピーク値測定回路
１１０ ニー算出回路
１１１ ニー制御回路
１１２ ニー処理回路
１１３ γ処理回路
【特許請求の範囲】
【請求項１】
撮影画像に対して、複数に分割された領域ごとの輝度平均値を算出する第１の算出手段と、
前記撮影画像に対して、複数に分割された領域ごとの輝度ピーク値を算出する第２の算出手段と、
前記第１の算出手段により算出された複数の輝度平均値と前記第２の算出手段により算出された複数の輝度ピーク値とを、それぞれが算出された領域の位置に基づいて対応付けし、対応付けられた輝度平均値と輝度ピーク値との組み合わせの結果に基づいて、高輝度領域の階調を圧縮する処理を制御する制御手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記対応付けられた輝度平均値と輝度ピーク値との組み合わせの結果に基づいて、前記高輝度領域の階調を圧縮する処理における高輝度領域の階調を圧縮する圧縮量を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対応付けられた輝度平均値と輝度ピーク値との組み合わせごとに合成値を算出する第３の算出手段を備え、
前記制御手段は、前記第３の算出手段により算出された複数の合成値に基づいて、前記高輝度領域の階調を圧縮する処理を制御することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
撮影画像に対して、複数に分割された領域ごとの輝度平均値を算出する第１の算出工程と、
前記撮影画像に対して、複数に分割された領域ごとの輝度ピーク値を算出する第２の算出工程と、
前記第１の算出工程で算出された複数の輝度平均値と前記第２の算出工程で算出された複数の輝度ピーク値とを、それぞれが算出された領域の位置に基づいて対応付けし、対応付けられた輝度平均値と輝度ピーク値との組み合わせの結果に基づいて、高輝度領域の階調を圧縮する処理を制御する制御工程と、を備えることを特徴とする画像処理方法。
【請求項１】
撮影画像に対して、複数に分割された領域ごとの輝度平均値を算出する第１の算出手段と、
前記撮影画像に対して、複数に分割された領域ごとの輝度ピーク値を算出する第２の算出手段と、
前記第１の算出手段により算出された複数の輝度平均値と前記第２の算出手段により算出された複数の輝度ピーク値とを、それぞれが算出された領域の位置に基づいて対応付けし、対応付けられた輝度平均値と輝度ピーク値との組み合わせの結果に基づいて、高輝度領域の階調を圧縮する処理を制御する制御手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記対応付けられた輝度平均値と輝度ピーク値との組み合わせの結果に基づいて、前記高輝度領域の階調を圧縮する処理における高輝度領域の階調を圧縮する圧縮量を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記対応付けられた輝度平均値と輝度ピーク値との組み合わせごとに合成値を算出する第３の算出手段を備え、
前記制御手段は、前記第３の算出手段により算出された複数の合成値に基づいて、前記高輝度領域の階調を圧縮する処理を制御することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
撮影画像に対して、複数に分割された領域ごとの輝度平均値を算出する第１の算出工程と、
前記撮影画像に対して、複数に分割された領域ごとの輝度ピーク値を算出する第２の算出工程と、
前記第１の算出工程で算出された複数の輝度平均値と前記第２の算出工程で算出された複数の輝度ピーク値とを、それぞれが算出された領域の位置に基づいて対応付けし、対応付けられた輝度平均値と輝度ピーク値との組み合わせの結果に基づいて、高輝度領域の階調を圧縮する処理を制御する制御工程と、を備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１３−８１２３５（Ｐ２０１３−８１２３５Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１２−２７２６７０（Ｐ２０１２−２７２６７０）
【出願日】平成２４年１２月１３日（２０１２．１２．１３）
【分割の表示】特願２００９−１７３２（Ｐ２００９−１７３２）の分割
【原出願日】平成２１年１月７日（２００９．１．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２４年１２月１３日（２０１２．１２．１３）
【分割の表示】特願２００９−１７３２（Ｐ２００９−１７３２）の分割
【原出願日】平成２１年１月７日（２００９．１．７）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]