画像処理方法及び画像処理装置
【課題】 特定の被写体の劣化を極力防いだ状態で、画像全体に適したダイナミックレンジ拡大を行う。
【解決手段】 検出された被写体の輝度信号から被写体の明るさを示す代表値を取得し、画像データから白飛び量を算出し、取得された代表値に応じて白飛び量を制限し、制限された白飛び量に応じて、予め備えた複数の非線形特性の中から１つの非線形特性を選択し、選択された非線形特性に応じて、画像データのガンマ補正を行う。
【解決手段】 検出された被写体の輝度信号から被写体の明るさを示す代表値を取得し、画像データから白飛び量を算出し、取得された代表値に応じて白飛び量を制限し、制限された白飛び量に応じて、予め備えた複数の非線形特性の中から１つの非線形特性を選択し、選択された非線形特性に応じて、画像データのガンマ補正を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置により得られた画像データの画像処理に関し、特に顔等の特定被写体検出時の階調表現の手法に関する。
【背景技術】
【０００２】
従来のデジタルビデオカメラはモニタのガンマ特性に対して補正するためにガンマ補正回路を備えているのが一般的である。ガンマ補正回路でモニタの逆ガンマ特性をそのまま設定し、露出を適正にすると、ダイナミックレンジが低く、高輝度部が白飛びしやすい。そこで、高輝度部は階調を犠牲にしてモニタの逆ガンマ特性よりも抑圧された特性にすることにより、階調表現できるダイナミックレンジを広げる処理を行っている。
【０００３】
さらに高輝度部の映像表現良くするために、適応的に高輝度部の階調を変更するオートニー制御やダイナミックレンジ制御が考案されている。オートニー制御は高輝度部の信号量が多ければ高輝度部の非線形特性の傾きを大きくし、高輝度部の階調表現を高める手法である。また、ダイナミックレンジ制御は高輝度部の信号量が多ければ、露出を下げ、ダイナミックレンジを広げ、ガンマ補正回路でより高輝度部の階調を表現できるような非線形特性になるように変更する手法である。オートニー制御に比べ、露出の変更を行うため、より高輝度な被写体を表現することができる。さらに特許文献１では上記手法に加え、高輝度部の信号量に加え、顔の白飛び量からダイナミックレンジ拡大量を決定する手法が考案されている。この手法では顔や背景の白飛びが多いとダイナミックレンジを拡大するため、顔や背景の白飛びを防ぐことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１８３４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の手法では高輝度部の階調性を良くするために、他の部分の階調性を落としている。例えば顔のような見慣れた特定の被写体の階調性が落ちると、出力映像を鑑賞する際に違和感を感じやすく、階調の劣化を極力防ぎたい。
【０００６】
本発明は、上述した問題点を解決するためのものであり、特定の被写体の劣化を極力防いだ状態で、画像全体に適したダイナミックレンジ拡大を行うようにする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の画像処理方法は、画像データから特定の被写体を検出する検出ステップと、検出された被写体の輝度信号から被写体の明るさを示す代表値を取得する取得ステップと、画像データから白飛び量を算出する算出ステップと、前記取得ステップにより取得された代表値に応じて前記白飛び量を制限する制限ステップと、前記制限された白飛び量に応じて、予め備えた複数の非線形特性の中から１つの非線形特性を選択する選択ステップと、選択された非線形特性に応じて、画像データのガンマ補正を行うガンマ補正ステップと、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、特定の被写体の劣化を極力防いだ状態で、画像全体に適したダイナミックレンジ拡大を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態におけるデジタルビデオカメラの構成を概略的に示す図の一例である。
【図２】第１の実施形態における非線形特性の決定方法を示すフローチャートである。
【図３】第１及び第２の実施形態における入射光に対するガンマ補正回路の出力の非線形特性を例示した図である。
【図４】第２の実施形態における非線形特性の決定方法を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明に係る実施の形態を説明する。
【００１１】
＜第１の実施形態＞
図１に本実施形態における画像処理方法を実行可能なデジタルビデオカメラの概略構成図を示す。図示のデジタルビデオカメラは、アイリス及びレンズを備える光学系１０１、撮像部１０２、アナログフロントエンド（ＡＦＥ）１０３、信号処理部１０４、ガンマ補正回路１０５、検波部１０６、顔検出部１０７、システム制御部１０８を有している。
【００１２】
システム制御部１０８は、光学系１０１、撮像部１０２、ＡＦＥ１０３、ガンマ補正回路１０５、検波部１０６、顔検出部１０７を制御する。また、システム制御部１０８は検波部１０６、顔検出部１０７より検波信号を得る。光学系１０１は光量調性に使用するアイリス、結像やズーミングを行うレンズを有している。
【００１３】
撮像部１０２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーまたはＣＣＤイメージセンサー（図示せず）等の撮像素子を有している。また、撮像部１０２にはタイミングジェネレータ（ＴＧ）も含まれている。
【００１４】
被写体（図示せず）を撮影すると、光学系１０１を通過した光が、撮像部１０２内の撮像素子上に結像される。そして、撮像素子は、結像による像を光電変換して、アナログ画像信号として出力する。この際、システム制御部１０８によって定められたシャッタースピードでアナログ画像信号を撮像部１０２から出力する。
【００１５】
ＡＦＥ１０３では、このアナログ画像信号をアナログ−デジタル（Ａ／Ｄ）変換して、デジタル画像信号（以下、画像データと呼ぶ）とする。また、撮影状況に応じて信号の増幅も行われる。例えば、暗い被写体の時は信号の増幅値を大きくして、出力を上げる。ＡＤ変換や信号増幅が行われた画像データは、信号処理部１０４に与えられる。
【００１６】
信号処理部１０４では黒レベルの補正、ホワイトバランスの調整やエッジ補正等が行われる。信号処理部１０４を経た画像データはガンマ補正回路１０５に送られる。
【００１７】
ガンマ補正回路１０５では信号が非線形変換される。非線形変換の特性は撮影モードや被写体、撮影条件に応じて、システム制御部１０８があらかじめ記憶している非線形特性より選択し、ガンマ補正回路１０５に設定する。
【００１８】
非線形変換された画像データはビデオ信号処理され、ＬＣＤやビューファインダー等の表示装置（図示せず）やモニタアウトとして出力される。
【００１９】
検波部１０６は、信号処理部１０４より出力された画像データは検波し、システム制御部１０８の指定に基づき、露出制御用の代表値や高輝度信号量を示す代表値を、システム制御部１０８に出力する。
【００２０】
露出制御用の代表値は例えば、１フレームの画面全体の輝度信号の平均値である。また、１フレームの画面を複数の枠に分割して枠ごとの輝度の平均値を取得し、枠に重みを付けた平均値としても良い。
【００２１】
高輝度信号量を示す代表値は、あるフレームにおける高輝度部の信号量を表す値となる。例えば、予め閾値を決めておき、その閾値を超えた輝度信号の積分値を代表値とする。
【００２２】
顔検出部１０７では信号処理部１０４より出力された画像データに対して顔検出処理を施し、顔の位置、大きさを検出する。検出された顔の位置、大きさよりおおよその顔の領域が枠として設定される。設定された枠の中の信号より、例えば枠の中の輝度信号の平均値等の顔の代表値を取得する。取得された代表値はシステム制御部１０８に送信される。
【００２３】
顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔を検出する方法等がある。本発明の顔検出処理は、本実施形態により限定されるものではなく、どのような手法を用いても構わない。また、本発明は、人物の顔に限らず、特定の被写体であればよい。例えば、顔検出部の代わりに動体検出部を設け、フレーム差分等から検出した動体を特定の被写体としてもよい。
【００２４】
システム制御部１０８では検波部１０６より取得した、露出制御用の代表値を使用して、光学系１０１に含まれるアイリスの開口量、撮像部１０２で設定されるシャッタースピード、ＡＦＥ１０３で設定されるゲイン値を決定する。あらかじめ目標値を定め、露出制御用の代表値が目標値になるようにアイリス、シャッター、ゲイン値を決める。高輝度信号量や顔の代表値を使用して上記の値を決めても良い。
【００２５】
また、システム制御部１０８では高輝度信号量と顔の代表値より、入射光に対するガンマ補正回路１０５の出力の非線形特性を決定する。決定された非線形特性になるように、露出とガンマ補正回路１０５の非線形特性または、ガンマ補正回路１０５の非線形特性のみを変更する。
【００２６】
図２に、システム制御部１０８が、高輝度信号量と顔の代表値より、入射光に対するガンマ補正回路１０５の非線形特性を決定する手順を説明するためのフローチャートを示す。以下、フローチャートに従って説明を行う。
【００２７】
最初に高輝度信号量の代表値Ｈを取得する（Ｓ２０１）。次にＨに応じた高輝度レベルＬ（白飛び量）を算出する。Ｈが大きいほどＬが高く、小さいほどＬが低い。高輝度レベルＬの数は予め非線形特性を準備している数とする。
【００２８】
図３に本実施形態における非線形特性の例を示す。本実施形態では３種類の非線形特性３０１、３０２、３０３を予め準備しているものとする。参考のためにモニタの逆ガンマ特性３００も記載している。非線形特性の数は特に限定するものではなく、例示した３種類の非線形特性の間の非線形特性を複数準備しても良い。
【００２９】
図３に示す非線形特性は入射光に対するガンマ補正回路１０５の出力の特性である。所望の非線形特性を実現する際に、ガンマ補正回路１０５の非線形特性のみで実現しても良いし、露出の変更とガンマ補正回路１０５の非線形特性の変更を組み合わせて実現しても良い。
【００３０】
高輝度レベルＬ１、２、３に対応する非線形特性はそれぞれ３０１、３０２、３０３となる。非線形特性３０１、３０２、３０３の入力最大光量はＸｍａｘ１、Ｘｍａｘ２（＝１．５×Ｘｍａｘ１）、Ｘｍａｘ３（＝２×Ｘｍａｘ１）であり出力最大信号は全てＹｍａｘとなる。また、モニタの逆ガンマ特性３００に対して非線形特性３０１、３０２、３０３はそれぞれ（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）、（Ｘ３、Ｙ３）以上で特性が異なる。例示した非線形特性は基本的にはモニタの逆ガンマ特性になっており、上記ポイント以降でモニタの逆ガンマ特性を抑圧した特性となっている。つまり、上記ポイント以降では階調表現が劣化していることを意味している。
【００３１】
次に顔の代表値Ｆを取得する（Ｓ２０３）。次に顔の代表値Ｆに応じた高輝度レベルＬの上限値Ｌｍａｘを選択する（Ｓ２０４）。Ｌｍａｘは非線形特性により予め決められている。本実施形態では以下のように決定されている。顔の代表値Ｆは図３の横軸の値に換算することができる。換算された値をＦ’とする。Ｆ’がＸ３未満の時Ｌｍａｘを３、Ｆ’がＸ３以上Ｘ２未満の時Ｌｍａｘを２、Ｘ２以上の時Ｌｍａｘを１とする。このように制限すれば、Ｆ’がＸ３以上Ｘ２の時に非線形特性３０３が選ばれることが無くなる。またＦ’がＸ３以上Ｘ２未満の時に非線形特性３０２、３０３が選ばれることが無くなる。
【００３２】
次にＬとＬｍａｘを比較する（Ｓ２０５）。ＬがＬｍａｘより大きい時ＬをＬｍａｘに変更する（Ｓ２０６）。ＬがＬｍａｘより小さい時はＬをそのまま使用する（Ｓ２０７）。決定されたＬに対応した非線形特性を選択する（Ｓ２０８）。例えば、Ｌが３であったとする。顔の代表値がＸ３未満であれば、Ｌは３のままとなり、非線形特性は３０３が選択される。顔の代表値はＸ３未満にあるため顔の階調は抑圧されない。顔の代表値がＸ３以上Ｘ２未満であれば、Ｌｍａｘが２となりＬは２となる。そのため非線形特性３０２が選択され、高輝度部の被写体は飛び気味になるが、顔の階調は保たれる。また顔の階調がＸ２以上の時はＬｍａｘが１であるため、非線形特性３０１が選択される。顔の代表値がＸ２以上、Ｘ１未満の時は顔の階調が保たれる。
【００３３】
以上のような手法で非線形特性を選択すれば、顔の階調を極力保つ高輝度レベルの上限値Ｌｍａｘ以下の高輝度レベルＬの中で最適値が選択されるため、顔の階調を極力保ちつつ、高輝度信号を極力表現することができる。
【００３４】
以上説明したように、本実施形態によれば、顔の明るさ情報に基づき、選択する非線形特性に制限を持たせているため、顔の階調の劣化を極力防いだ状態で、画像全体に適した非線形特性を選択し、ダイナミックレンジを拡大させることができる。また、露出と非線形特性を変更して階調表現を変更する際にも、同様の効果を有する。
【００３５】
＜第２の実施形態＞
第１の実施形態では顔の代表値と高輝度部の代表値より、選択された非線形特性となるように露出とガンマ補正回路の設定値を変更している。動画の場合、連続したフレームで非線形特性が大きく変化すると、非線形特性の切り替わりが映像の中に見えてしまう。そこで本実施形態では、動画の生成に適した非線形特性の生成の手法を提案する。
【００３６】
概略構成は第１の実施形態と同様であるため省略する。図４に非線形特性を決定する方法を説明するフローチャートを示す。以下フローチャートに従い本実施形態の制御を説明する。
【００３７】
Ｓ４０１〜Ｓ４０７までのステップでは第１の実施形態と同様の手法で、高輝度信号量Ｈと顔の代表値Ｆより高輝度レベルＬを決定する。本実施形態では、ここで求めたＬを目標の値とし、実際に選択するためのＬｂｅｆｏｒｅを算出する。以前に得られたフレーム、ここでは１枚だけ前フレームで決定したＬをＬｂｅｆｏｒｅとする。決定されたＬとＬｂｅｆｏｒｅを比較する（Ｓ４０８）。
【００３８】
ＬｂｅｆｏｒｅがＬ未満であれば目標より小さいため、Ｌｂｅｆｏｒｅに１を加算する（Ｓ４０９）。ＬｂｅｆｏｒｅがＬ以上であれば再度ＬとＬｂｅｆｏｒｅを比較する（Ｓ４１０）。ＬｂｅｆｏｒｅがＬより大きければ目標より大きいためＬｂｅｆｏｒｅを小さくする必要がある。さらにＬｂｅｆｏｒｅとＬｍａｘを比較する（Ｓ４１１）。
【００３９】
ＬｂｅｆｏｒｅよりＬｍａｘが小さい時、Ｌｂｅｆｏｒｅに１を減算する（Ｓ４１２）。ＬｂｅｆｏｒｅよりＬｍａｘが小さい時、顔の階調は所望の階調になっていないため、この場合は通常より速くＬに近づけたい。そこでＬｂｅｆｏｒｅに２を減算する（Ｓ４１３）。ステップ４１０でＬｂｅｆｏｒｅがＬ以上ではないとき、つまりＬｂｅｆｏｒｅがＬと等しい時Ｌｂｅｆｏｒｅの値に対して演算を行わないためそのまま維持される。以上でＬｂｅｆｏｒｅが決まる。Ｌｂｅｆｏｒｅに対応する非線形特性を決定する（Ｓ４１４）。
【００４０】
図３の非線形特性を例に挙げて説明する。現在のＬｂｅｆｏｒｅが１で非線形特性が３０１であったとする。ステップＳ４０６、ステップＳ４０７でＬが３となると通常であれば非線形特性３０３が選択される。しかし急激な変化を避けたいため、次のフレームではＬｂｅｆｏｒｅに１が加算され２となり、非線形特性３０２が選択される。次のフレームでもう一度Ｌが３であれば、Ｌｂｅｆｏｒｅに１が加算され３となり、非線形特性３０３が選択される。図３の例では非線形特性が３種類であるが、さらに細かく非線形特性を準備することで非線形特性の動きを滑らかにすることができる。
【００４１】
本実施形態ではＬｂｅｆｏｒｅに加減する値を１とした。また高速に変更する際には減じる量を２とした。この値は限定されるものではなく、別の値でも良い。また、応答速度が速くなると映像の変化が大きくなるため、顔の階調が所望の階調になっていない状況においても同様の応答速度としても良い。また、ＬとＬｂｅｆｏｒｅの差を見て、差が大きければ応答速度を上げて、差が小さければ応答速度を下げても良い。
【００４２】
フレーム毎に上述した方法で非線形特性を決定する。応答速度が速ければＬｂｅｆｏｒｅの変更を数フレームに１回にしても良い。決定された非線形特性にするように露出とガンマ補正回路１０５の非線形特性を変化させる。
【００４３】
以上のような方法で非線形特性を決定すれば、急激な非線形特性の変化を防ぐことができる。そのため、連続したフレームの非線形特性の変化が小さいため、違和感のない動画映像を生成することができる。
【００４４】
＜他の実施形態＞
本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【符号の説明】
【００４５】
１０１ 光学系
１０２ 撮像部
１０３ アナログフロントエンド（ＡＦＥ）
１０４ 信号処理部
１０５ ガンマ補正回路
１０６ 検波部
１０７ 顔検出部
１０８ システム制御部
【技術分野】
【０００１】
本発明は撮像装置により得られた画像データの画像処理に関し、特に顔等の特定被写体検出時の階調表現の手法に関する。
【背景技術】
【０００２】
従来のデジタルビデオカメラはモニタのガンマ特性に対して補正するためにガンマ補正回路を備えているのが一般的である。ガンマ補正回路でモニタの逆ガンマ特性をそのまま設定し、露出を適正にすると、ダイナミックレンジが低く、高輝度部が白飛びしやすい。そこで、高輝度部は階調を犠牲にしてモニタの逆ガンマ特性よりも抑圧された特性にすることにより、階調表現できるダイナミックレンジを広げる処理を行っている。
【０００３】
さらに高輝度部の映像表現良くするために、適応的に高輝度部の階調を変更するオートニー制御やダイナミックレンジ制御が考案されている。オートニー制御は高輝度部の信号量が多ければ高輝度部の非線形特性の傾きを大きくし、高輝度部の階調表現を高める手法である。また、ダイナミックレンジ制御は高輝度部の信号量が多ければ、露出を下げ、ダイナミックレンジを広げ、ガンマ補正回路でより高輝度部の階調を表現できるような非線形特性になるように変更する手法である。オートニー制御に比べ、露出の変更を行うため、より高輝度な被写体を表現することができる。さらに特許文献１では上記手法に加え、高輝度部の信号量に加え、顔の白飛び量からダイナミックレンジ拡大量を決定する手法が考案されている。この手法では顔や背景の白飛びが多いとダイナミックレンジを拡大するため、顔や背景の白飛びを防ぐことができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−１８３４６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の手法では高輝度部の階調性を良くするために、他の部分の階調性を落としている。例えば顔のような見慣れた特定の被写体の階調性が落ちると、出力映像を鑑賞する際に違和感を感じやすく、階調の劣化を極力防ぎたい。
【０００６】
本発明は、上述した問題点を解決するためのものであり、特定の被写体の劣化を極力防いだ状態で、画像全体に適したダイナミックレンジ拡大を行うようにする。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の画像処理方法は、画像データから特定の被写体を検出する検出ステップと、検出された被写体の輝度信号から被写体の明るさを示す代表値を取得する取得ステップと、画像データから白飛び量を算出する算出ステップと、前記取得ステップにより取得された代表値に応じて前記白飛び量を制限する制限ステップと、前記制限された白飛び量に応じて、予め備えた複数の非線形特性の中から１つの非線形特性を選択する選択ステップと、選択された非線形特性に応じて、画像データのガンマ補正を行うガンマ補正ステップと、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、特定の被写体の劣化を極力防いだ状態で、画像全体に適したダイナミックレンジ拡大を行うことができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態におけるデジタルビデオカメラの構成を概略的に示す図の一例である。
【図２】第１の実施形態における非線形特性の決定方法を示すフローチャートである。
【図３】第１及び第２の実施形態における入射光に対するガンマ補正回路の出力の非線形特性を例示した図である。
【図４】第２の実施形態における非線形特性の決定方法を示すフローチャートである。
【発明を実施するための形態】
【００１０】
以下、図面を参照して、本発明に係る実施の形態を説明する。
【００１１】
＜第１の実施形態＞
図１に本実施形態における画像処理方法を実行可能なデジタルビデオカメラの概略構成図を示す。図示のデジタルビデオカメラは、アイリス及びレンズを備える光学系１０１、撮像部１０２、アナログフロントエンド（ＡＦＥ）１０３、信号処理部１０４、ガンマ補正回路１０５、検波部１０６、顔検出部１０７、システム制御部１０８を有している。
【００１２】
システム制御部１０８は、光学系１０１、撮像部１０２、ＡＦＥ１０３、ガンマ補正回路１０５、検波部１０６、顔検出部１０７を制御する。また、システム制御部１０８は検波部１０６、顔検出部１０７より検波信号を得る。光学系１０１は光量調性に使用するアイリス、結像やズーミングを行うレンズを有している。
【００１３】
撮像部１０２は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサーまたはＣＣＤイメージセンサー（図示せず）等の撮像素子を有している。また、撮像部１０２にはタイミングジェネレータ（ＴＧ）も含まれている。
【００１４】
被写体（図示せず）を撮影すると、光学系１０１を通過した光が、撮像部１０２内の撮像素子上に結像される。そして、撮像素子は、結像による像を光電変換して、アナログ画像信号として出力する。この際、システム制御部１０８によって定められたシャッタースピードでアナログ画像信号を撮像部１０２から出力する。
【００１５】
ＡＦＥ１０３では、このアナログ画像信号をアナログ−デジタル（Ａ／Ｄ）変換して、デジタル画像信号（以下、画像データと呼ぶ）とする。また、撮影状況に応じて信号の増幅も行われる。例えば、暗い被写体の時は信号の増幅値を大きくして、出力を上げる。ＡＤ変換や信号増幅が行われた画像データは、信号処理部１０４に与えられる。
【００１６】
信号処理部１０４では黒レベルの補正、ホワイトバランスの調整やエッジ補正等が行われる。信号処理部１０４を経た画像データはガンマ補正回路１０５に送られる。
【００１７】
ガンマ補正回路１０５では信号が非線形変換される。非線形変換の特性は撮影モードや被写体、撮影条件に応じて、システム制御部１０８があらかじめ記憶している非線形特性より選択し、ガンマ補正回路１０５に設定する。
【００１８】
非線形変換された画像データはビデオ信号処理され、ＬＣＤやビューファインダー等の表示装置（図示せず）やモニタアウトとして出力される。
【００１９】
検波部１０６は、信号処理部１０４より出力された画像データは検波し、システム制御部１０８の指定に基づき、露出制御用の代表値や高輝度信号量を示す代表値を、システム制御部１０８に出力する。
【００２０】
露出制御用の代表値は例えば、１フレームの画面全体の輝度信号の平均値である。また、１フレームの画面を複数の枠に分割して枠ごとの輝度の平均値を取得し、枠に重みを付けた平均値としても良い。
【００２１】
高輝度信号量を示す代表値は、あるフレームにおける高輝度部の信号量を表す値となる。例えば、予め閾値を決めておき、その閾値を超えた輝度信号の積分値を代表値とする。
【００２２】
顔検出部１０７では信号処理部１０４より出力された画像データに対して顔検出処理を施し、顔の位置、大きさを検出する。検出された顔の位置、大きさよりおおよその顔の領域が枠として設定される。設定された枠の中の信号より、例えば枠の中の輝度信号の平均値等の顔の代表値を取得する。取得された代表値はシステム制御部１０８に送信される。
【００２３】
顔検出処理としては、例えば、画像データで表される各画素の階調色から、肌色領域を抽出し、予め用意する顔の輪郭プレートとのマッチング度で顔を検出する方法が知られている。また、周知のパターン認識技術を用いて、目、鼻、口等の顔の特徴点を抽出することで顔を検出する方法等がある。本発明の顔検出処理は、本実施形態により限定されるものではなく、どのような手法を用いても構わない。また、本発明は、人物の顔に限らず、特定の被写体であればよい。例えば、顔検出部の代わりに動体検出部を設け、フレーム差分等から検出した動体を特定の被写体としてもよい。
【００２４】
システム制御部１０８では検波部１０６より取得した、露出制御用の代表値を使用して、光学系１０１に含まれるアイリスの開口量、撮像部１０２で設定されるシャッタースピード、ＡＦＥ１０３で設定されるゲイン値を決定する。あらかじめ目標値を定め、露出制御用の代表値が目標値になるようにアイリス、シャッター、ゲイン値を決める。高輝度信号量や顔の代表値を使用して上記の値を決めても良い。
【００２５】
また、システム制御部１０８では高輝度信号量と顔の代表値より、入射光に対するガンマ補正回路１０５の出力の非線形特性を決定する。決定された非線形特性になるように、露出とガンマ補正回路１０５の非線形特性または、ガンマ補正回路１０５の非線形特性のみを変更する。
【００２６】
図２に、システム制御部１０８が、高輝度信号量と顔の代表値より、入射光に対するガンマ補正回路１０５の非線形特性を決定する手順を説明するためのフローチャートを示す。以下、フローチャートに従って説明を行う。
【００２７】
最初に高輝度信号量の代表値Ｈを取得する（Ｓ２０１）。次にＨに応じた高輝度レベルＬ（白飛び量）を算出する。Ｈが大きいほどＬが高く、小さいほどＬが低い。高輝度レベルＬの数は予め非線形特性を準備している数とする。
【００２８】
図３に本実施形態における非線形特性の例を示す。本実施形態では３種類の非線形特性３０１、３０２、３０３を予め準備しているものとする。参考のためにモニタの逆ガンマ特性３００も記載している。非線形特性の数は特に限定するものではなく、例示した３種類の非線形特性の間の非線形特性を複数準備しても良い。
【００２９】
図３に示す非線形特性は入射光に対するガンマ補正回路１０５の出力の特性である。所望の非線形特性を実現する際に、ガンマ補正回路１０５の非線形特性のみで実現しても良いし、露出の変更とガンマ補正回路１０５の非線形特性の変更を組み合わせて実現しても良い。
【００３０】
高輝度レベルＬ１、２、３に対応する非線形特性はそれぞれ３０１、３０２、３０３となる。非線形特性３０１、３０２、３０３の入力最大光量はＸｍａｘ１、Ｘｍａｘ２（＝１．５×Ｘｍａｘ１）、Ｘｍａｘ３（＝２×Ｘｍａｘ１）であり出力最大信号は全てＹｍａｘとなる。また、モニタの逆ガンマ特性３００に対して非線形特性３０１、３０２、３０３はそれぞれ（Ｘ１、Ｙ１）、（Ｘ２、Ｙ２）、（Ｘ３、Ｙ３）以上で特性が異なる。例示した非線形特性は基本的にはモニタの逆ガンマ特性になっており、上記ポイント以降でモニタの逆ガンマ特性を抑圧した特性となっている。つまり、上記ポイント以降では階調表現が劣化していることを意味している。
【００３１】
次に顔の代表値Ｆを取得する（Ｓ２０３）。次に顔の代表値Ｆに応じた高輝度レベルＬの上限値Ｌｍａｘを選択する（Ｓ２０４）。Ｌｍａｘは非線形特性により予め決められている。本実施形態では以下のように決定されている。顔の代表値Ｆは図３の横軸の値に換算することができる。換算された値をＦ’とする。Ｆ’がＸ３未満の時Ｌｍａｘを３、Ｆ’がＸ３以上Ｘ２未満の時Ｌｍａｘを２、Ｘ２以上の時Ｌｍａｘを１とする。このように制限すれば、Ｆ’がＸ３以上Ｘ２の時に非線形特性３０３が選ばれることが無くなる。またＦ’がＸ３以上Ｘ２未満の時に非線形特性３０２、３０３が選ばれることが無くなる。
【００３２】
次にＬとＬｍａｘを比較する（Ｓ２０５）。ＬがＬｍａｘより大きい時ＬをＬｍａｘに変更する（Ｓ２０６）。ＬがＬｍａｘより小さい時はＬをそのまま使用する（Ｓ２０７）。決定されたＬに対応した非線形特性を選択する（Ｓ２０８）。例えば、Ｌが３であったとする。顔の代表値がＸ３未満であれば、Ｌは３のままとなり、非線形特性は３０３が選択される。顔の代表値はＸ３未満にあるため顔の階調は抑圧されない。顔の代表値がＸ３以上Ｘ２未満であれば、Ｌｍａｘが２となりＬは２となる。そのため非線形特性３０２が選択され、高輝度部の被写体は飛び気味になるが、顔の階調は保たれる。また顔の階調がＸ２以上の時はＬｍａｘが１であるため、非線形特性３０１が選択される。顔の代表値がＸ２以上、Ｘ１未満の時は顔の階調が保たれる。
【００３３】
以上のような手法で非線形特性を選択すれば、顔の階調を極力保つ高輝度レベルの上限値Ｌｍａｘ以下の高輝度レベルＬの中で最適値が選択されるため、顔の階調を極力保ちつつ、高輝度信号を極力表現することができる。
【００３４】
以上説明したように、本実施形態によれば、顔の明るさ情報に基づき、選択する非線形特性に制限を持たせているため、顔の階調の劣化を極力防いだ状態で、画像全体に適した非線形特性を選択し、ダイナミックレンジを拡大させることができる。また、露出と非線形特性を変更して階調表現を変更する際にも、同様の効果を有する。
【００３５】
＜第２の実施形態＞
第１の実施形態では顔の代表値と高輝度部の代表値より、選択された非線形特性となるように露出とガンマ補正回路の設定値を変更している。動画の場合、連続したフレームで非線形特性が大きく変化すると、非線形特性の切り替わりが映像の中に見えてしまう。そこで本実施形態では、動画の生成に適した非線形特性の生成の手法を提案する。
【００３６】
概略構成は第１の実施形態と同様であるため省略する。図４に非線形特性を決定する方法を説明するフローチャートを示す。以下フローチャートに従い本実施形態の制御を説明する。
【００３７】
Ｓ４０１〜Ｓ４０７までのステップでは第１の実施形態と同様の手法で、高輝度信号量Ｈと顔の代表値Ｆより高輝度レベルＬを決定する。本実施形態では、ここで求めたＬを目標の値とし、実際に選択するためのＬｂｅｆｏｒｅを算出する。以前に得られたフレーム、ここでは１枚だけ前フレームで決定したＬをＬｂｅｆｏｒｅとする。決定されたＬとＬｂｅｆｏｒｅを比較する（Ｓ４０８）。
【００３８】
ＬｂｅｆｏｒｅがＬ未満であれば目標より小さいため、Ｌｂｅｆｏｒｅに１を加算する（Ｓ４０９）。ＬｂｅｆｏｒｅがＬ以上であれば再度ＬとＬｂｅｆｏｒｅを比較する（Ｓ４１０）。ＬｂｅｆｏｒｅがＬより大きければ目標より大きいためＬｂｅｆｏｒｅを小さくする必要がある。さらにＬｂｅｆｏｒｅとＬｍａｘを比較する（Ｓ４１１）。
【００３９】
ＬｂｅｆｏｒｅよりＬｍａｘが小さい時、Ｌｂｅｆｏｒｅに１を減算する（Ｓ４１２）。ＬｂｅｆｏｒｅよりＬｍａｘが小さい時、顔の階調は所望の階調になっていないため、この場合は通常より速くＬに近づけたい。そこでＬｂｅｆｏｒｅに２を減算する（Ｓ４１３）。ステップ４１０でＬｂｅｆｏｒｅがＬ以上ではないとき、つまりＬｂｅｆｏｒｅがＬと等しい時Ｌｂｅｆｏｒｅの値に対して演算を行わないためそのまま維持される。以上でＬｂｅｆｏｒｅが決まる。Ｌｂｅｆｏｒｅに対応する非線形特性を決定する（Ｓ４１４）。
【００４０】
図３の非線形特性を例に挙げて説明する。現在のＬｂｅｆｏｒｅが１で非線形特性が３０１であったとする。ステップＳ４０６、ステップＳ４０７でＬが３となると通常であれば非線形特性３０３が選択される。しかし急激な変化を避けたいため、次のフレームではＬｂｅｆｏｒｅに１が加算され２となり、非線形特性３０２が選択される。次のフレームでもう一度Ｌが３であれば、Ｌｂｅｆｏｒｅに１が加算され３となり、非線形特性３０３が選択される。図３の例では非線形特性が３種類であるが、さらに細かく非線形特性を準備することで非線形特性の動きを滑らかにすることができる。
【００４１】
本実施形態ではＬｂｅｆｏｒｅに加減する値を１とした。また高速に変更する際には減じる量を２とした。この値は限定されるものではなく、別の値でも良い。また、応答速度が速くなると映像の変化が大きくなるため、顔の階調が所望の階調になっていない状況においても同様の応答速度としても良い。また、ＬとＬｂｅｆｏｒｅの差を見て、差が大きければ応答速度を上げて、差が小さければ応答速度を下げても良い。
【００４２】
フレーム毎に上述した方法で非線形特性を決定する。応答速度が速ければＬｂｅｆｏｒｅの変更を数フレームに１回にしても良い。決定された非線形特性にするように露出とガンマ補正回路１０５の非線形特性を変化させる。
【００４３】
以上のような方法で非線形特性を決定すれば、急激な非線形特性の変化を防ぐことができる。そのため、連続したフレームの非線形特性の変化が小さいため、違和感のない動画映像を生成することができる。
【００４４】
＜他の実施形態＞
本発明の目的は、前述した各実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給し、そのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。
【符号の説明】
【００４５】
１０１ 光学系
１０２ 撮像部
１０３ アナログフロントエンド（ＡＦＥ）
１０４ 信号処理部
１０５ ガンマ補正回路
１０６ 検波部
１０７ 顔検出部
１０８ システム制御部
【特許請求の範囲】
【請求項１】
画像データから特定の被写体を検出する検出ステップと、
検出された被写体の輝度信号から被写体の明るさを示す代表値を取得する取得ステップと、
画像データから白飛び量を算出する算出ステップと、
前記取得ステップにより取得された代表値に応じて前記白飛び量を制限する制限ステップと、
前記制限された白飛び量に応じて、予め備えた複数の非線形特性の中から１つの非線形特性を選択する選択ステップと、
選択された非線形特性に応じて、画像データのガンマ補正を行うガンマ補正ステップと、を有することを特徴とする画像処理方法。
【請求項２】
前記特定の被写体は顔であることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記白飛び量の制限は、白飛び量に応じた非線形特性において、前記特定の被写体の明るさが抑圧されない非線形特性の中で最大の白飛び量を上限値とすることを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
以前のフレームで算出された白飛び量を記憶しておき、現在のフレームで算出された白飛び量と記憶されている白飛び量を比較するステップをさらに備え、
前記制限ステップは、前記記憶されている白飛び量に対して現在のフレームで算出された白飛び量が大きければ記憶されている白飛び量の加算を行い、小さければ記憶されている白飛び量の減算を行い、前記選択ステップは、前記制限ステップにより加算又は減算された白飛び量に従い非線形特性を選択することを特徴とする請求項１〜３のいずれかに記載の画像処理方法。
【請求項５】
記憶されている白飛び量が白飛び量の制限内かどうかの白飛び量制限判定ステップをさらにを備え、前記制限ステップは、白飛び量が制限外であれば前記加算又は減算を大きくすることを特徴とする請求項４記載の画像処理方法。
【請求項６】
画像データから特定の被写体を検出する検出手段と、
検出された被写体の輝度信号から被写体の明るさを示す代表値を取得する取得手段と、
画像データから白飛び量を算出する算出手段と、
前記取得手段により取得された代表値に応じて前記白飛び量を制限する制限手段と、
前記制限された白飛び量に応じて、予め備えた複数の非線形特性の中から１つの非線形特性を選択する選択手段と、
選択された非線形特性に応じて、画像データのガンマ補正を行うガンマ補正手段と、を有することを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理方法を実行するためのプログラムコードを記憶した記憶媒体。
【請求項１】
画像データから特定の被写体を検出する検出ステップと、
検出された被写体の輝度信号から被写体の明るさを示す代表値を取得する取得ステップと、
画像データから白飛び量を算出する算出ステップと、
前記取得ステップにより取得された代表値に応じて前記白飛び量を制限する制限ステップと、
前記制限された白飛び量に応じて、予め備えた複数の非線形特性の中から１つの非線形特性を選択する選択ステップと、
選択された非線形特性に応じて、画像データのガンマ補正を行うガンマ補正ステップと、を有することを特徴とする画像処理方法。
【請求項２】
前記特定の被写体は顔であることを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記白飛び量の制限は、白飛び量に応じた非線形特性において、前記特定の被写体の明るさが抑圧されない非線形特性の中で最大の白飛び量を上限値とすることを特徴とする請求項１または２記載の画像処理方法。
【請求項４】
以前のフレームで算出された白飛び量を記憶しておき、現在のフレームで算出された白飛び量と記憶されている白飛び量を比較するステップをさらに備え、
前記制限ステップは、前記記憶されている白飛び量に対して現在のフレームで算出された白飛び量が大きければ記憶されている白飛び量の加算を行い、小さければ記憶されている白飛び量の減算を行い、前記選択ステップは、前記制限ステップにより加算又は減算された白飛び量に従い非線形特性を選択することを特徴とする請求項１〜３のいずれかに記載の画像処理方法。
【請求項５】
記憶されている白飛び量が白飛び量の制限内かどうかの白飛び量制限判定ステップをさらにを備え、前記制限ステップは、白飛び量が制限外であれば前記加算又は減算を大きくすることを特徴とする請求項４記載の画像処理方法。
【請求項６】
画像データから特定の被写体を検出する検出手段と、
検出された被写体の輝度信号から被写体の明るさを示す代表値を取得する取得手段と、
画像データから白飛び量を算出する算出手段と、
前記取得手段により取得された代表値に応じて前記白飛び量を制限する制限手段と、
前記制限された白飛び量に応じて、予め備えた複数の非線形特性の中から１つの非線形特性を選択する選択手段と、
選択された非線形特性に応じて、画像データのガンマ補正を行うガンマ補正手段と、を有することを特徴とする画像処理装置。
【請求項７】
請求項１に記載の画像処理方法を実行するためのプログラムコードを記憶した記憶媒体。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１２−１１９９９７（Ｐ２０１２−１１９９９７Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６８７５５（Ｐ２０１０−２６８７５５）
【出願日】平成２２年１２月１日（２０１０．１２．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１２月１日（２０１０．１２．１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]