画像処理装置、画像処理装置の制御方法、プログラム及び記憶媒体
【課題】入力された画像に主被写体が含まれているか否かに関わらず、鮮やかなシーンを含む画像に対して適切な画像処理を施すことができるようにする。
【解決手段】彩度算出部１１１は、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）からブロック毎の彩度（Chroma）を算出する。そして、シーン判別部１１３は、顔検出部１１４において検出した人物の顔領域を除外した残りのブロックから所定の閾値以上の彩度であるブロックの数を算出し、顔領域を除外した全ブロック数に対する所定の閾値以上の彩度である高彩度ブロック割合を算出する。そして、平均彩度及び高彩度ブロック割合が所定値以上である場合に鮮やかなシーンと判別する。このとき、過去に鮮やかなシーンと判別している場合は、高彩度ブロック割合の基準となる閾値を小さくし、そうでない場合は、閾値を大きくする。
【解決手段】彩度算出部１１１は、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）からブロック毎の彩度（Chroma）を算出する。そして、シーン判別部１１３は、顔検出部１１４において検出した人物の顔領域を除外した残りのブロックから所定の閾値以上の彩度であるブロックの数を算出し、顔領域を除外した全ブロック数に対する所定の閾値以上の彩度である高彩度ブロック割合を算出する。そして、平均彩度及び高彩度ブロック割合が所定値以上である場合に鮮やかなシーンと判別する。このとき、過去に鮮やかなシーンと判別している場合は、高彩度ブロック割合の基準となる閾値を小さくし、そうでない場合は、閾値を大きくする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、鮮やかな被写体を含むシーンに対して画像処理を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、画像のシーンや被写体の種類を判別し、判別したシーンの被写体の種類に応じた画像処理を行う画像処理装置が知られている。例えば、特許文献１には、入力された画像が、鮮やかな被写体を含むシーン（以下、鮮やかなシーン）であるか否かを判別し、鮮やかなシーンの画像については高解像度で出力する画像出力装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２５９３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の特許文献１に開示された技術によれば、彩度の高い画素が所定数よりも多いか否かによって鮮やかなシーンであるか否かを判別している。ここで、鮮やかなシーンとしては、背景が鮮やかなシーンと、主となる被写体（主被写体）が鮮やかなシーンとがありうる。このうち、背景が鮮やかなシーンでは、例えば人物など背景以外の主被写体の有無によって、彩度の高い画素の分布が異なり、例えば、人物が入るとその分、背景における彩度の高い画素の量が低下してしまう。そのため、特許文献１に記載の画像出力装置では、背景が鮮やかなシーンで主被写体が入った画像の場合は鮮やかなシーンと判別することが難しく、適切に判別して高解像度で出力することができないという問題点がある。
【０００５】
本発明は前述の問題点に鑑み、入力された画像に主被写体が含まれているか否かに関わらず、鮮やかなシーンを含む画像に対して適切な画像処理を施すことができるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、入力された画像信号から少なくとも彩度の情報を含む評価値を算出する算出手段と、前記入力された画像信号から主被写体の領域を検出する検出手段と、前記算出手段によって算出された評価値に基づいて、前記入力された画像信号の画像が鮮やかなシーンであるか否かを判別する判別手段と、前記判別手段による判別結果を出力する出力手段と、を備え、前記判別手段は、前記検出手段によって検出された主被写体の領域に対する評価値に基づく割合を制限して、前記判別を行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、入力された画像に主被写体が含まれるか否かに関わらず、鮮やかなシーンを判別することができる。これにより、どのような鮮やかなシーンを含む画像に対しても適切な画像処理を施すことができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】８×８ブロックに分割された撮影画像の一例を示す図である。
【図３】鮮やかなシーンの判別処理手順の一例を示すフローチャートである。
【図４】顔領域を含む撮影画像の一例を示す図である。
【図５】鮮やかなシーンの判別基準の一例を示す図である。
【図６】鮮やか度と高彩度ブロック割合との関係の一例を示す図である。
【図７】画像中の顔の割合に応じた鮮やかなシーンの判別基準例を示す図である。
【図８】画像中の顔の割合が異なる撮影画像の一例を示す図である。
【図９】第２の実施形態に係る撮像装置の構成例を示すブロック図である。
【図１０】鮮やかなシーンの判別処理手順の一例を示すフローチャートである。
【図１１】評価値を置き換える様子を示す図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
以下、図１〜図８を参照しながら本発明の第１の実施形態に係る撮像装置について説明する。
図１は、本実施形態において、撮影した画像のシーンを検出する機能を備え、シーンに応じた画像補正処理を行う撮像装置１００の構成例を示すブロック図である。
図１において、レンズ１０１は被写体の光束を結像するためのものであり、撮像素子１０３は、レンズ１０１及びアイリス１０２を介して入射した光を光電変換するためのものである。ＡＧＣアンプ１０４は、撮像素子１０３から出力された信号を適正レベルに増幅するためのものである。
【００１０】
輝度・色信号生成部１０５は、撮像素子１０３において生成された信号を輝度信号（Ｙ）及び色信号（Ｒ０，Ｇ０，Ｂ０）に変換するためのものである。ホワイトバランス増幅部１０６は、輝度・色信号生成部１０５から出力される色信号（Ｒ０，Ｇ０，Ｂ０）をホワイトバランスゲインに従って増幅し、増幅色信号（Ｒ，Ｇ，Ｂ）を生成するためのものである。色差信号生成部１０７は、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を生成するためのものである。色差信号補正部１０８は、色差信号に対してゲインをかけるなどの補正を行うためのものであり、エンコーダ１０９は、入力された画像信号を標準テレビ信号等に変換するためのものである。
【００１１】
信号分割部１１０は、輝度信号（Ｙ）、及び色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を所定の小ブロックに分割するためのものである。彩度算出部１１１は、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）から彩度（Chroma）を算出するためのものであり、カメラ制御部１１２は、撮像システム全体を制御するためのものである。シーン判別部１１３は、入力された撮影画像のシーンを判別するためのものであり、顔検出部１１４は、撮影画像から人物の顔を検出するためのものである。
【００１２】
次に、図１の撮像装置１００による処理動作について説明する。レンズ１０１に入射した光は撮像素子１０３により光電変換され、ＡＧＣアンプ１０４により適正レベルに増幅され、輝度・色信号生成部１０５に出力される。輝度・色信号生成部１０５は、撮像素子１０３において結像した画像信号から輝度信号（Ｙ）及び色信号（Ｒ０，Ｇ０，Ｂ０）を生成し、このうちの色信号（Ｒ０，Ｇ０，Ｂ０）をホワイトバランス増幅部１０６に出力する。
【００１３】
ホワイトバランス増幅部１０６は、カメラ制御部１１２によって算出されたホワイトバランスゲインに基づいて色信号（Ｒ０，Ｇ０，Ｂ０）を増幅し、増幅した色信号（Ｒ，Ｇ，Ｂ）を色差信号生成部１０７に出力する。色差信号生成部１０７は、増幅した色信号（Ｒ，Ｇ，Ｂ）から色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を生成し、色差信号補正部１０８及び信号分割部１１０に出力する。色差信号補正部１０８は画像処理手段として機能し、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）に対して、カメラ制御部１１２によって算出された色差ゲインＧ（Ｇは１以上）をかけて補正する。すなわち、補正後の色差信号｛（Ｒ−Ｙ）'，（Ｂ−Ｙ）'｝はそれぞれ、
（Ｒ−Ｙ）'＝Ｇ×（Ｒ−Ｙ）、
（Ｂ−Ｙ）'＝Ｇ×（Ｂ−Ｙ）、
となる。そして、補正後の色差信号｛（Ｒ−Ｙ）'，（Ｂ−Ｙ）'｝をエンコーダ１０９に出力する。なお、色差ゲインＧの強度に関しては後述する。エンコーダ１０９は、輝度信号（Ｙ）及び補正後の色差信号（Ｒ−Ｙ）'，（Ｂ−Ｙ）'からＮＴＳＣ等の標準テレビジョン信号を生成し、外部に出力する。
【００１４】
以上が、撮像時の基本的な処理であるが、さらにカメラ制御部１１２は、画像信号の特性に応じて色差信号補正部１０８において用いるパラメータを適応的に制御し、色差信号補正部１０８において画像信号を補正する。以下、画像信号の特性の解析処理について説明する。
【００１５】
信号分割部１１０は、図２に示すようなブロック（８×８ブロック）に画像信号を分割し、ブロック毎の輝度信号（Ｙ）、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）の平均値を算出して、彩度算出部１１１にその結果を出力する。彩度算出部１１１は、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）から各ブロックの彩度（Chroma）を算出する。彩度（Chroma）は以下の数１に示す式に基づき算出する。
【００１６】
【数１】
【００１７】
そして、彩度算出部１１１は、算出した各ブロックの彩度（Chroma）の情報をシーン判別部１１３へ出力する。一方、顔検出部１１４は、輝度・色信号生成部１０５から出力された輝度信号（Ｙ）に基づき、撮影画像から主被写体である人物の顔を検出し、顔の検出結果をシーン判別部１１３へ出力する。ここで、人物の顔を検出した場合は、顔の位置情報もシーン判別部１１３へ出力する。なお、人物の顔の認識手段に関しては、輝度信号のパターンマッチングを行う方法など、従来から様々な手法が提案されており、それらのどのような方法を用いてもかまわない。
【００１８】
シーン判別部１１３は、彩度算出部１１１から出力されたブロック毎の彩度（Chroma）と、顔検出部１１４から出力された顔検出結果とに基づき、撮影したシーンがより彩度に重みを付すべき画像（鮮やかなシーン）であるか否かを判別する。以下、図３を参照しながらシーン判別部１１３の処理の流れについて説明する。
【００１９】
図３は、シーン判別部１１３による鮮やかなシーンの判別処理手順の一例を示すフローチャートである。
まず、図３のステップＳ３０１において、顔検出部１１４において顔が検出されたか否かをチェックする。このチェックの結果、顔が検出された場合はステップＳ３０２へ進み、顔が検出されていない場合はステップＳ３０７へ進む。
【００２０】
そして、ステップＳ３０２においては、顔領域を除外した領域から平均彩度を算出する。この処理について図４を参照しながら説明する。図４（ａ）は、顔領域を含む撮影画像の一例を示す図である。図４（ａ）に示すように、顔を含んだ撮影画像の場合は、顔を含む顔領域を除外して平均彩度を算出する。ステップＳ３０２においては、図４（ｂ）に示すような顔領域４０１を除外したブロックの平均彩度を算出する。
【００２１】
次に、ステップＳ３０３において、顔領域（例えば、図４（ｂ）に示す顔領域４０１）を除外したブロックから所定の閾値以上の彩度であるブロックの数を算出する。そして、顔領域を除外した全ブロック数（図４の例では、５２個のブロック）に対する所定の閾値以上の彩度であるブロック数の割合（高彩度ブロック割合）を算出する。そして、ステップＳ３０４において、過去の鮮やか判別結果を参照し、過去に鮮やかシーンと判別しているか否かをチェックする。シーン判別部１１３は、所定時間前（例えば２秒前など）の鮮やかなシーンであるか否かの判別結果を記憶しており、ステップＳ３０４では記憶している過去の判別結果に基づいて判別を行う。このチェックの結果、過去に鮮やかシーンと判別している場合はステップＳ３０５へ進み、過去に鮮やかシーンと判別していない場合はステップＳ３０６に進む。
【００２２】
ステップＳ３０５、Ｓ３０６においては、鮮やかなシーンであるか否かを判別するパラメータの１つである、ステップＳ３０３で算出した高彩度ブロック割合の閾値Ａｔを決定する。
【００２３】
図５は、平均彩度及び高彩度ブロック割合に対する鮮やかなシーンの判別基準の一例を示す図である。
図５（ａ）に示すように、ステップＳ３０２で算出した平均彩度が平均彩度閾値Ｃｔよりも高く、かつ、ステップＳ３０３で算出した高彩度ブロック割合が、閾値Ａｔよりも大きい場合は、後述するステップＳ３１０において鮮やかなシーンであると判別する。ステップＳ３０５、Ｓ３０６ではこの閾値Ａｔを決定する。
【００２４】
ステップＳ３０５においては、高彩度ブロック割合の閾値Ａｔを基準値Ａｔ（Base）よりも下げ、判別基準を緩和する。この様子を図５（ｂ）に示す。このようにすることにより、過去に鮮やかと判別されている場合は、顔で鮮やかな被写体が隠れた場合でも鮮やかなシーンと判別しやすくする。これに対して、ステップＳ３０６においては、高彩度ブロック割合の閾値Ａｔを基準値Ａｔ（Base）よりも上げ、判別基準を厳格にする。すなわち、過去に鮮やかなシーンであると判別されている場合には、鮮やかなシーンであると判別されていない場合に比べて判別基準を緩和する。
この様子を図５（ｃ）に示す。このようにすることにより、顔以外の領域に少量の鮮やかな被写体が入っただけで鮮やかなシーンと判別してしまうことを防ぐことができる。
【００２５】
一方、ステップＳ３０１のチェックの結果、顔が検出されていない場合は、ステップＳ３０７において、全ブロック（８×８ブロック）の平均彩度を算出する。次に、ステップＳ３０８において、全ブロックから所定の閾値以上の彩度であるブロックの数を算出する。そして、全ブロック数（図４の例では、６４個のブロック）に対する所定の閾値以上の彩度であるブロック数の割合（高彩度ブロック割合）を算出する。次に、ステップＳ３０９において、ステップＳ３０５、Ｓ３０６と同様に、鮮やかなシーンであるか否かを判別するパラメータの一つである高彩度ブロック割合の閾値Ａｔを決定する。本ステップでは、顔が検出されていないため、図５（ａ）に示す基準値Ａｔ（Base）を高彩度ブロック割合の閾値Ａｔに設定する。
【００２６】
そして、ステップＳ３１０においては、前述の通り、図５に示した鮮やかなシーンの判別基準に従って鮮やかなシーンか否かを判別する。すなわち、ステップＳ３０２（もしくはＳ３０７）で算出した平均彩度が平均彩度閾値Ｃｔより高く、かつステップＳ３０３（もしくはＳ３０８）で算出した高彩度ブロック割合が、閾値Ａｔよりも大きいときに鮮やかなシーンであると判別する。
【００２７】
以上の処理手順によりシーン判別部１１３で判別した鮮やかなシーンであるか否かの情報は、カメラ制御部１１２へ出力される。カメラ制御部１１２は、シーン判別部１１３において判別された鮮やかなシーンであるか否かの情報に基づいて、色差信号補正部１０８において用いるパラメータを制御する。
【００２８】
本実施形態では、前述したようにカメラ制御部１１２が色差信号補正部１０８において用いる色差ゲインＧを制御する。色差ゲインＧとしてはＧ１、Ｇ２というパラメータがあり、Ｇ１＞Ｇ２≧１という関係である。ここで、鮮やかなシーンと判別した場合は色差ゲインＧをＧ１に設定し、鮮やかなシーンではないと判別した場合は色差ゲインＧをＧ２に設定する。すなわち、鮮やかなシーンと判別した場合は、色差信号に対するゲインをより高くすることにより、より彩度を強調した画像に補正する。
【００２９】
以上、説明したように、本実施形態によれば、鮮やかなシーンか否かを判別し、その判別結果に応じて画像処理を制御する。具体的には、人物の顔を検出し、鮮やかであるか否かのシーン判別に対して、検出した顔の領域が与える影響を制限するような制御を行うようにした。これにより、入力された撮影画像に人物が入っているか否かに関わらず、鮮やかなシーンを適切に判別することができ、どのような鮮やかなシーンを含む画像に対してもより彩度を強調した画像処理を施すことができる。
【００３０】
なお、本実施形態では、人物の顔を検出する場合を例に説明したが、人物の顔に限定するものではない。例えば、動物や、植物などどのようなものを検出してもよい。また、本実施形態では、鮮やかなシーンであるか否かを判別するために、彩度の平均値などの情報を、顔領域を除外して算出する例について説明した。一方、鮮やかなシーンの判別に対して、顔領域の影響が少なくなるのであればどのような処理を行ってもよい。例えば、顔領域に相当するブロック（例えば、図４（ｂ）に示す顔領域４０１）に対して重み付けをし、彩度の平均値を算出する際に顔領域の影響が少なくなるような制御を行ってもよい。
【００３１】
また、本実施形態では、高彩度ブロック割合の閾値を顔の検出結果に応じて変更したが、鮮やかなシーンを判別するためのパラメータであればどのようなパラメータを顔の検出によって制御してもよい。また、鮮やかなシーンを判別するためのパラメータを高彩度ブロック割合及び平均彩度の２つに限定するものではなく、人間の知覚に倣って鮮やかなシーンだと判別されるために設定された条件であれば、どのような条件やパラメータ、判別基準を用いてもよい。
【００３２】
また、本実施形態では、色差信号補正部１０８において用いる色差ゲインＧを、鮮やかなシーンと鮮やかなシーンでない場合との２値で用意しているが、これに限らない。主被写体として人物が検出された場合、人物が検出されていない場合と同じように色差ゲインを設定し、彩度を強調すると、人物の肌色が不自然な色に見えてしまう場合がある。そこで、人物が検出された場合には、検出されていない場合に比べて彩度への重みを小さくし、鮮やかさを強調する補正の程度を抑えるようにしてもよい。すなわち、人物が検出されたときの色差ゲインＧをＧ３とすると、Ｇ１＞Ｇ３＞Ｇ２の関係が成り立つように、Ｇ３を設定するとよい。
【００３３】
また、本実施形態では、鮮やかなシーンであると判別された画像データに対して彩度を上げ、鮮やかさを強調する処理について述べたが、これに限らず、鮮やかなシーンに対して逆に彩度を下げ、鮮やかさを抑えるような処理にも適用することができる。この場合、例えばＧ１＜Ｇ２≦１のようにゲインを設定してやるとよい。上記のように人物が検出された場合の色差ゲインＧをＧ３とするならば、当然Ｇ１＜Ｇ３＜Ｇ２である。
【００３４】
また、本実施形態では、鮮やかなシーンであるか否かの判別結果を基に設定された色差ゲインＧを、画像データ全体に一律にかけているが、これに限らない。画像データ中の彩度の高いブロック（あるいは画素）に限定して、それ以外のブロックに比べて高い色差ゲインＧをかけるなどしてもよい。
【００３５】
さらに、本実施形態では、数１に示した式により色差信号（Ｒ−Ｙ，Ｂ−Ｙ）から彩度（chroma）を算出したが、彩度の算出方法をこれに限定するものではない。例えば、L*a*b*空間などの他の空間に一度変換してからL*a*b*空間で彩度を算出してもよい。また、本実施形態では、信号分割部１１０により８×８ブロックに画像信号を分割する例について説明したが、どのような分割数であってもよい。
【００３６】
また、本実施形態では、鮮やかなシーンであるか否かについて２値で判別したが、鮮やか度合い等のように多値で算出してもよい。この場合、平均彩度が高いほど、また、高彩度ブロック割合が多いほど鮮やか度合いが高くなるようにする。
【００３７】
図６は、鮮やか度と高彩度ブロック割合との関係の一例を示す図である。
図６において、６０１は顔が検出されていないときの基準特性である。一方、顔が検出されると、基準特性６０１を変化させる。例えば、６０２は、顔が検出され、過去に鮮やかと判別されていた場合の特性である。この場合は、図３のステップＳ３０５において、基準特性６０１よりも鮮やか度が高くなる特性６０２となる。これに対して、６０３は、顔が検出され、過去に鮮やかと判別されていない場合の特性である。この場合は、図３のステップＳ３０６において、基準特性６０１よりも鮮やか度が低くなる特性６０３となる。
【００３８】
以上のように制御することにより、鮮やかなシーンの判別結果を２値ではなく、多値（鮮やか度）で表現した場合でも、顔の有無により鮮やかの判別のしやすさを制御できるようになり、鮮やかなシーンをより適切に判別することができる。
【００３９】
さらに、画像中に顔が占める面積割合に応じて、鮮やかなシーンを判別するためのパラメータを制御してもよい。例えば、本実施形態では、顔検出した場合に、高彩度ブロック割合の閾値Ａｔを過去の判別結果に応じて一律に決定するものとして説明したが、画像中に占める顔の割合に応じて閾値Ａｔを動的に決定するようにしてもよい。これについて図７を参照しながら説明する。
【００４０】
図７（ａ）は、過去に鮮やかと判別されている場合の鮮やかなシーンを判別するための高彩度ブロック割合の閾値Ａｔの一例を示す図である。
図７（ａ）において、Ａｔ（min）は、基準値Ａｔ（Base）の最大変動量（閾値の下限値）を示す。図７に示す例では、画像中における顔の占める割合に基づき、下限値Ａｔ（min）と基準値Ａｔ（Base）との間の値を最終的な鮮やかシーン判別の閾値Ａｔとして決定する。
【００４１】
図７（ｂ）は、画像中における顔の占める割合と鮮やかなシーンと判別する閾値Ａｔとの関係の一例を示す図である。
図７（ｂ）に示すように、例えば、画像中における顔の占める割合がＦｒの場合、最終的な高彩度ブロック割合の閾値ＡｔはＡｔ（Ｆｒ）に決定される。例えば、図８（ａ）に示すように画像中における顔の占める割合が小さい場合は、顔が検出されていても、鮮やかなシーンを判別する際に顔の影響度は低い。一方、図８（ｂ）に示すように、画像中における顔の占める割合が大きい場合は、顔の検出結果によって鮮やかなシーンを判別する際に顔の影響度は高い。そこで、画像に対して顔が占める面積割合が高くなるほど、鮮やかなシーンを判別するための閾値Ａｔを基準値Ａｔ（Base）から大きく変更するようにしてもよい。
【００４２】
また、本実施形態では、シーン判別部１１３によるシーン判別結果を、その判別に用いた画像データに対して反映させ出力しているが、発明としては特にこれに限定されるものではない。すなわち、あるフレーム（画像データ）に対する判別結果に応じた画像処理を、その次のフレーム以降に反映させることなども当然可能である。また、複数フレーム鮮やかなシーン判別結果が続いたときに初めてシーンを特定したり、複数フレーム中、鮮やかなシーンと判別された割合が高い場合にシーンを特定したりと、複数フレームの判別結果からシーンを特定することも考えられる。このとき、判別結果に応じた画像処理は、それら複数フレームや、以降のフレームに反映させることが考えられる。また、このとき、過去の判別結果として用いる判別結果は、判別対象のフレームの直前のフレームの判別結果でも良いし、直前までの複数フレームから得られる判別結果であってもよい。
【００４３】
具体的に想定される状況としては、静止画撮影が可能な撮像装置や画像データに画像処理を施すＰＣなどの情報処理装置において、撮影された画像データ（フレーム）に対して処理を行う状況がある。また、ライブビュー表示または動画撮影が可能な撮像装置や動画に画像処理を施すＰＣなどの情報処理装置において、複数フレームにまたがった上記のような処理が想定される。
【００４４】
また、本実施形態では、シーン判別部１１３によって出力された判別結果を用いて画像データに対して彩度の補正をかけているが、判別結果の利用法としてはこれに限らない。例えば、判別結果を不図示の表示手段に表示させ、ユーザに知らしめたり、画像データを保存する際に、判別結果に対応した情報をヘッダなどに付帯して、保存後に画像データの撮影されたシーンが特定できるようにしたりもできる。また、補正１つをとってみても、彩度以外を補正することで鮮やかさを強調するようにしてもよい。このような処理には例えば、輝度を上げる補正や輪郭の強調処理などが考えられる。
【００４５】
（第２の実施形態）
以下、図９〜図１１を参照しながら、本発明の第２の実施形態に係る撮像装置について説明する。本実施形態では、顔が検出されたことにより隠れてしまった彩度などの評価値を、過去に検出した評価値で置き換えるようにしている。
【００４６】
図９は、本実施形態に係る撮像装置９００の構成例を示すブロック図である。なお、図９において、図１と同じ符号のものは同じブロックであるため説明を省略する。本実施例では、図１の構成に対して、評価値メモリ９０１、及び動き量検出部９０２をさらに備えている。
【００４７】
次に、図９に示した撮像装置９００の処理の流れについて説明する。画像を撮影し、エンコーダ１０９から画像信号を出力するまでの流れは第１の実施形態と同様である。また、シーン判別部１１３において鮮やかなシーンであるか否かを判別し、その結果に応じてカメラ制御部１１２が色差信号補正部１０８において用いるパラメータを制御する点も第１の実施形態と同様であるため、詳細な説明は省略する。以下、第１の実施形態と異なる点について説明する。
【００４８】
信号分割部１１０は第１の実施形態と同様に、ブロック毎の輝度信号（Ｙ）、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）の平均値を算出し、評価値として彩度算出部１１１に出力する。彩度算出部１１１は、第１の実施形態と同様に色差信号（Ｒ−Ｙ，Ｂ−Ｙ）からブロック毎の彩度（Chroma）を算出し、算出した彩度（Chroma）の情報を評価値メモリ９０１、及びシーン判別部１１３に出力する。
【００４９】
評価値メモリ９０１は記憶手段として機能し、過去のものを含めて彩度算出部１１１から出力された全ブロックの彩度（Chroma）の情報を記憶する。ここで、評価値メモリ９０１に彩度の情報を記憶する処理は、所定時間の間隔で行われるものとする。ただし、顔検出部１１４において顔が検出されている場合は彩度の情報を記憶しないようにする。動き量検出部９０２は、レンズ１０１のズームや防振情報から動き量を算出、算出した動き量の情報をシーン判別部１１３に出力する。
【００５０】
シーン判別部１１３は、彩度算出部１１１において算出された彩度の情報、評価値メモリ９０１に記憶された彩度の情報、顔検出部１１４による顔検出結果、及び動き量検出部９０２から出力された動き量の情報に基づき鮮やかなシーンであるか否かを判別する。
【００５１】
以下、図１０を参照しながらシーン判別部１１３による処理の流れについて説明する。
図１０は、シーン判別部１１３による鮮やかなシーンの判別処理手順の一例を示すフローチャートである。なお、図１０において、図３と同符号の処理は、第１の実施形態で説明したものと同様のため、説明を省略する。
【００５２】
ステップＳ１００１においては、動き量検出部９０２から出力される動き量の情報に基づいて、画像全体として動いているか否かを判別する。すなわち、動き量検出部９０２から出力される動き量が所定値以上であるか否かを判別する。この判別の結果、動き量が所定値以上であり、画像全体で動いている場合は、ステップＳ３０２へ進む。なお、ステップＳ３０２以降の処理は第１の実施形態と同様である。
【００５３】
一方、ステップＳ１００１の判別の結果、動き量が所定値よりも小さく、画像全体で動いていない場合はステップＳ１００２に進む。そして、ステップＳ１００２において、検出された顔領域の彩度を、評価値メモリ９０１に記憶されている彩度に置き換える。この処理ついて、図１１を参照しながら説明する。
【００５４】
図１１（ａ）は、顔を含まない撮影画像を示している。前述したように顔を含まない場合の過去の彩度の情報は評価値メモリ９０１に記憶されている。図１１（ｂ）は、図１１（ａ）に示す撮影画像の、評価値メモリ９０１に記憶されている彩度の分布を示す図である。図１１（ｂ）においては、各ブロックにおいて暗い色で表示したブロックほど彩度が高いことを示している。図１１（ｃ）は、図１１（ａ）のシーン（撮影画像）に対して人物の顔が入ったシーンの一例を示す図である。図１１（ｄ）は、図１１（ｃ）に示すシーンの顔領域１１０１を示している。
【００５５】
ステップＳ１００２においては、例えば、この顔領域１１０１に含まれるブロックの彩度を、図１１（ｂ）に示す評価値メモリ９０１に記憶された顔領域に対応する彩度１１０２に置き換える。ステップＳ１００２において顔領域の評価値を置き換えることにより顔の影響をなくすことができる。したがって、以下の処理では顔がない場合と同様に扱うことができるため、ステップＳ３０７に進む。ステップＳ３０７以降の処理は第１の実施形態で説明した処理と同様のため説明は省略する。
【００５６】
以上のように本実施形態によれば、顔を検出した場合に、顔領域の評価値を過去の顔が検出されていない場合の評価値に置き換えるようにした。このように評価値を置き換えることにより、人物の顔で背景の被写体が隠れてしまった場合でも鮮やかなシーンであるかどうかを適切に判別することができる。これにより、どのような鮮やかなシーンを含む画像に対してもより彩度を強調した画像処理を施すことができる。
【００５７】
なお、本実施形態では、顔領域の評価値を過去の顔がないときの評価値に置き換える例について説明したが、動き量に応じた比率で２つの評価値を混合するようにしてもよい。また、本実施形態では、評価値として彩度を例に説明したが、顔が入った場合に置き換える評価値は、鮮やかなシーンを判別するために用いる評価値であればどのようなパラメータであってもよい。さらに、本実施形態では、動き量検出部９０２は、レンズ１０１など光学系の情報に基づいて動き量を算出したが、動き量を算出できるのであればどのように算出してもよい。例えば、光学系の情報以外に、画像信号を用いて動き量を算出してもよい。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００５８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５９】
１０８ 色差信号補正部、１１１ 彩度算出部、１１２ カメラ制御部、１１３ シーン判別部、１１４ 顔検出部
【技術分野】
【０００１】
本発明は画像処理装置、画像処理方法及びプログラムに関し、特に、鮮やかな被写体を含むシーンに対して画像処理を行うために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、画像のシーンや被写体の種類を判別し、判別したシーンの被写体の種類に応じた画像処理を行う画像処理装置が知られている。例えば、特許文献１には、入力された画像が、鮮やかな被写体を含むシーン（以下、鮮やかなシーン）であるか否かを判別し、鮮やかなシーンの画像については高解像度で出力する画像出力装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−２５９３７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の特許文献１に開示された技術によれば、彩度の高い画素が所定数よりも多いか否かによって鮮やかなシーンであるか否かを判別している。ここで、鮮やかなシーンとしては、背景が鮮やかなシーンと、主となる被写体（主被写体）が鮮やかなシーンとがありうる。このうち、背景が鮮やかなシーンでは、例えば人物など背景以外の主被写体の有無によって、彩度の高い画素の分布が異なり、例えば、人物が入るとその分、背景における彩度の高い画素の量が低下してしまう。そのため、特許文献１に記載の画像出力装置では、背景が鮮やかなシーンで主被写体が入った画像の場合は鮮やかなシーンと判別することが難しく、適切に判別して高解像度で出力することができないという問題点がある。
【０００５】
本発明は前述の問題点に鑑み、入力された画像に主被写体が含まれているか否かに関わらず、鮮やかなシーンを含む画像に対して適切な画像処理を施すことができるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の画像処理装置は、入力された画像信号から少なくとも彩度の情報を含む評価値を算出する算出手段と、前記入力された画像信号から主被写体の領域を検出する検出手段と、前記算出手段によって算出された評価値に基づいて、前記入力された画像信号の画像が鮮やかなシーンであるか否かを判別する判別手段と、前記判別手段による判別結果を出力する出力手段と、を備え、前記判別手段は、前記検出手段によって検出された主被写体の領域に対する評価値に基づく割合を制限して、前記判別を行うことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、入力された画像に主被写体が含まれるか否かに関わらず、鮮やかなシーンを判別することができる。これにより、どのような鮮やかなシーンを含む画像に対しても適切な画像処理を施すことができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】８×８ブロックに分割された撮影画像の一例を示す図である。
【図３】鮮やかなシーンの判別処理手順の一例を示すフローチャートである。
【図４】顔領域を含む撮影画像の一例を示す図である。
【図５】鮮やかなシーンの判別基準の一例を示す図である。
【図６】鮮やか度と高彩度ブロック割合との関係の一例を示す図である。
【図７】画像中の顔の割合に応じた鮮やかなシーンの判別基準例を示す図である。
【図８】画像中の顔の割合が異なる撮影画像の一例を示す図である。
【図９】第２の実施形態に係る撮像装置の構成例を示すブロック図である。
【図１０】鮮やかなシーンの判別処理手順の一例を示すフローチャートである。
【図１１】評価値を置き換える様子を示す図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
以下、図１〜図８を参照しながら本発明の第１の実施形態に係る撮像装置について説明する。
図１は、本実施形態において、撮影した画像のシーンを検出する機能を備え、シーンに応じた画像補正処理を行う撮像装置１００の構成例を示すブロック図である。
図１において、レンズ１０１は被写体の光束を結像するためのものであり、撮像素子１０３は、レンズ１０１及びアイリス１０２を介して入射した光を光電変換するためのものである。ＡＧＣアンプ１０４は、撮像素子１０３から出力された信号を適正レベルに増幅するためのものである。
【００１０】
輝度・色信号生成部１０５は、撮像素子１０３において生成された信号を輝度信号（Ｙ）及び色信号（Ｒ０，Ｇ０，Ｂ０）に変換するためのものである。ホワイトバランス増幅部１０６は、輝度・色信号生成部１０５から出力される色信号（Ｒ０，Ｇ０，Ｂ０）をホワイトバランスゲインに従って増幅し、増幅色信号（Ｒ，Ｇ，Ｂ）を生成するためのものである。色差信号生成部１０７は、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を生成するためのものである。色差信号補正部１０８は、色差信号に対してゲインをかけるなどの補正を行うためのものであり、エンコーダ１０９は、入力された画像信号を標準テレビ信号等に変換するためのものである。
【００１１】
信号分割部１１０は、輝度信号（Ｙ）、及び色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を所定の小ブロックに分割するためのものである。彩度算出部１１１は、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）から彩度（Chroma）を算出するためのものであり、カメラ制御部１１２は、撮像システム全体を制御するためのものである。シーン判別部１１３は、入力された撮影画像のシーンを判別するためのものであり、顔検出部１１４は、撮影画像から人物の顔を検出するためのものである。
【００１２】
次に、図１の撮像装置１００による処理動作について説明する。レンズ１０１に入射した光は撮像素子１０３により光電変換され、ＡＧＣアンプ１０４により適正レベルに増幅され、輝度・色信号生成部１０５に出力される。輝度・色信号生成部１０５は、撮像素子１０３において結像した画像信号から輝度信号（Ｙ）及び色信号（Ｒ０，Ｇ０，Ｂ０）を生成し、このうちの色信号（Ｒ０，Ｇ０，Ｂ０）をホワイトバランス増幅部１０６に出力する。
【００１３】
ホワイトバランス増幅部１０６は、カメラ制御部１１２によって算出されたホワイトバランスゲインに基づいて色信号（Ｒ０，Ｇ０，Ｂ０）を増幅し、増幅した色信号（Ｒ，Ｇ，Ｂ）を色差信号生成部１０７に出力する。色差信号生成部１０７は、増幅した色信号（Ｒ，Ｇ，Ｂ）から色差信号（Ｒ−Ｙ，Ｂ−Ｙ）を生成し、色差信号補正部１０８及び信号分割部１１０に出力する。色差信号補正部１０８は画像処理手段として機能し、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）に対して、カメラ制御部１１２によって算出された色差ゲインＧ（Ｇは１以上）をかけて補正する。すなわち、補正後の色差信号｛（Ｒ−Ｙ）'，（Ｂ−Ｙ）'｝はそれぞれ、
（Ｒ−Ｙ）'＝Ｇ×（Ｒ−Ｙ）、
（Ｂ−Ｙ）'＝Ｇ×（Ｂ−Ｙ）、
となる。そして、補正後の色差信号｛（Ｒ−Ｙ）'，（Ｂ−Ｙ）'｝をエンコーダ１０９に出力する。なお、色差ゲインＧの強度に関しては後述する。エンコーダ１０９は、輝度信号（Ｙ）及び補正後の色差信号（Ｒ−Ｙ）'，（Ｂ−Ｙ）'からＮＴＳＣ等の標準テレビジョン信号を生成し、外部に出力する。
【００１４】
以上が、撮像時の基本的な処理であるが、さらにカメラ制御部１１２は、画像信号の特性に応じて色差信号補正部１０８において用いるパラメータを適応的に制御し、色差信号補正部１０８において画像信号を補正する。以下、画像信号の特性の解析処理について説明する。
【００１５】
信号分割部１１０は、図２に示すようなブロック（８×８ブロック）に画像信号を分割し、ブロック毎の輝度信号（Ｙ）、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）の平均値を算出して、彩度算出部１１１にその結果を出力する。彩度算出部１１１は、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）から各ブロックの彩度（Chroma）を算出する。彩度（Chroma）は以下の数１に示す式に基づき算出する。
【００１６】
【数１】
【００１７】
そして、彩度算出部１１１は、算出した各ブロックの彩度（Chroma）の情報をシーン判別部１１３へ出力する。一方、顔検出部１１４は、輝度・色信号生成部１０５から出力された輝度信号（Ｙ）に基づき、撮影画像から主被写体である人物の顔を検出し、顔の検出結果をシーン判別部１１３へ出力する。ここで、人物の顔を検出した場合は、顔の位置情報もシーン判別部１１３へ出力する。なお、人物の顔の認識手段に関しては、輝度信号のパターンマッチングを行う方法など、従来から様々な手法が提案されており、それらのどのような方法を用いてもかまわない。
【００１８】
シーン判別部１１３は、彩度算出部１１１から出力されたブロック毎の彩度（Chroma）と、顔検出部１１４から出力された顔検出結果とに基づき、撮影したシーンがより彩度に重みを付すべき画像（鮮やかなシーン）であるか否かを判別する。以下、図３を参照しながらシーン判別部１１３の処理の流れについて説明する。
【００１９】
図３は、シーン判別部１１３による鮮やかなシーンの判別処理手順の一例を示すフローチャートである。
まず、図３のステップＳ３０１において、顔検出部１１４において顔が検出されたか否かをチェックする。このチェックの結果、顔が検出された場合はステップＳ３０２へ進み、顔が検出されていない場合はステップＳ３０７へ進む。
【００２０】
そして、ステップＳ３０２においては、顔領域を除外した領域から平均彩度を算出する。この処理について図４を参照しながら説明する。図４（ａ）は、顔領域を含む撮影画像の一例を示す図である。図４（ａ）に示すように、顔を含んだ撮影画像の場合は、顔を含む顔領域を除外して平均彩度を算出する。ステップＳ３０２においては、図４（ｂ）に示すような顔領域４０１を除外したブロックの平均彩度を算出する。
【００２１】
次に、ステップＳ３０３において、顔領域（例えば、図４（ｂ）に示す顔領域４０１）を除外したブロックから所定の閾値以上の彩度であるブロックの数を算出する。そして、顔領域を除外した全ブロック数（図４の例では、５２個のブロック）に対する所定の閾値以上の彩度であるブロック数の割合（高彩度ブロック割合）を算出する。そして、ステップＳ３０４において、過去の鮮やか判別結果を参照し、過去に鮮やかシーンと判別しているか否かをチェックする。シーン判別部１１３は、所定時間前（例えば２秒前など）の鮮やかなシーンであるか否かの判別結果を記憶しており、ステップＳ３０４では記憶している過去の判別結果に基づいて判別を行う。このチェックの結果、過去に鮮やかシーンと判別している場合はステップＳ３０５へ進み、過去に鮮やかシーンと判別していない場合はステップＳ３０６に進む。
【００２２】
ステップＳ３０５、Ｓ３０６においては、鮮やかなシーンであるか否かを判別するパラメータの１つである、ステップＳ３０３で算出した高彩度ブロック割合の閾値Ａｔを決定する。
【００２３】
図５は、平均彩度及び高彩度ブロック割合に対する鮮やかなシーンの判別基準の一例を示す図である。
図５（ａ）に示すように、ステップＳ３０２で算出した平均彩度が平均彩度閾値Ｃｔよりも高く、かつ、ステップＳ３０３で算出した高彩度ブロック割合が、閾値Ａｔよりも大きい場合は、後述するステップＳ３１０において鮮やかなシーンであると判別する。ステップＳ３０５、Ｓ３０６ではこの閾値Ａｔを決定する。
【００２４】
ステップＳ３０５においては、高彩度ブロック割合の閾値Ａｔを基準値Ａｔ（Base）よりも下げ、判別基準を緩和する。この様子を図５（ｂ）に示す。このようにすることにより、過去に鮮やかと判別されている場合は、顔で鮮やかな被写体が隠れた場合でも鮮やかなシーンと判別しやすくする。これに対して、ステップＳ３０６においては、高彩度ブロック割合の閾値Ａｔを基準値Ａｔ（Base）よりも上げ、判別基準を厳格にする。すなわち、過去に鮮やかなシーンであると判別されている場合には、鮮やかなシーンであると判別されていない場合に比べて判別基準を緩和する。
この様子を図５（ｃ）に示す。このようにすることにより、顔以外の領域に少量の鮮やかな被写体が入っただけで鮮やかなシーンと判別してしまうことを防ぐことができる。
【００２５】
一方、ステップＳ３０１のチェックの結果、顔が検出されていない場合は、ステップＳ３０７において、全ブロック（８×８ブロック）の平均彩度を算出する。次に、ステップＳ３０８において、全ブロックから所定の閾値以上の彩度であるブロックの数を算出する。そして、全ブロック数（図４の例では、６４個のブロック）に対する所定の閾値以上の彩度であるブロック数の割合（高彩度ブロック割合）を算出する。次に、ステップＳ３０９において、ステップＳ３０５、Ｓ３０６と同様に、鮮やかなシーンであるか否かを判別するパラメータの一つである高彩度ブロック割合の閾値Ａｔを決定する。本ステップでは、顔が検出されていないため、図５（ａ）に示す基準値Ａｔ（Base）を高彩度ブロック割合の閾値Ａｔに設定する。
【００２６】
そして、ステップＳ３１０においては、前述の通り、図５に示した鮮やかなシーンの判別基準に従って鮮やかなシーンか否かを判別する。すなわち、ステップＳ３０２（もしくはＳ３０７）で算出した平均彩度が平均彩度閾値Ｃｔより高く、かつステップＳ３０３（もしくはＳ３０８）で算出した高彩度ブロック割合が、閾値Ａｔよりも大きいときに鮮やかなシーンであると判別する。
【００２７】
以上の処理手順によりシーン判別部１１３で判別した鮮やかなシーンであるか否かの情報は、カメラ制御部１１２へ出力される。カメラ制御部１１２は、シーン判別部１１３において判別された鮮やかなシーンであるか否かの情報に基づいて、色差信号補正部１０８において用いるパラメータを制御する。
【００２８】
本実施形態では、前述したようにカメラ制御部１１２が色差信号補正部１０８において用いる色差ゲインＧを制御する。色差ゲインＧとしてはＧ１、Ｇ２というパラメータがあり、Ｇ１＞Ｇ２≧１という関係である。ここで、鮮やかなシーンと判別した場合は色差ゲインＧをＧ１に設定し、鮮やかなシーンではないと判別した場合は色差ゲインＧをＧ２に設定する。すなわち、鮮やかなシーンと判別した場合は、色差信号に対するゲインをより高くすることにより、より彩度を強調した画像に補正する。
【００２９】
以上、説明したように、本実施形態によれば、鮮やかなシーンか否かを判別し、その判別結果に応じて画像処理を制御する。具体的には、人物の顔を検出し、鮮やかであるか否かのシーン判別に対して、検出した顔の領域が与える影響を制限するような制御を行うようにした。これにより、入力された撮影画像に人物が入っているか否かに関わらず、鮮やかなシーンを適切に判別することができ、どのような鮮やかなシーンを含む画像に対してもより彩度を強調した画像処理を施すことができる。
【００３０】
なお、本実施形態では、人物の顔を検出する場合を例に説明したが、人物の顔に限定するものではない。例えば、動物や、植物などどのようなものを検出してもよい。また、本実施形態では、鮮やかなシーンであるか否かを判別するために、彩度の平均値などの情報を、顔領域を除外して算出する例について説明した。一方、鮮やかなシーンの判別に対して、顔領域の影響が少なくなるのであればどのような処理を行ってもよい。例えば、顔領域に相当するブロック（例えば、図４（ｂ）に示す顔領域４０１）に対して重み付けをし、彩度の平均値を算出する際に顔領域の影響が少なくなるような制御を行ってもよい。
【００３１】
また、本実施形態では、高彩度ブロック割合の閾値を顔の検出結果に応じて変更したが、鮮やかなシーンを判別するためのパラメータであればどのようなパラメータを顔の検出によって制御してもよい。また、鮮やかなシーンを判別するためのパラメータを高彩度ブロック割合及び平均彩度の２つに限定するものではなく、人間の知覚に倣って鮮やかなシーンだと判別されるために設定された条件であれば、どのような条件やパラメータ、判別基準を用いてもよい。
【００３２】
また、本実施形態では、色差信号補正部１０８において用いる色差ゲインＧを、鮮やかなシーンと鮮やかなシーンでない場合との２値で用意しているが、これに限らない。主被写体として人物が検出された場合、人物が検出されていない場合と同じように色差ゲインを設定し、彩度を強調すると、人物の肌色が不自然な色に見えてしまう場合がある。そこで、人物が検出された場合には、検出されていない場合に比べて彩度への重みを小さくし、鮮やかさを強調する補正の程度を抑えるようにしてもよい。すなわち、人物が検出されたときの色差ゲインＧをＧ３とすると、Ｇ１＞Ｇ３＞Ｇ２の関係が成り立つように、Ｇ３を設定するとよい。
【００３３】
また、本実施形態では、鮮やかなシーンであると判別された画像データに対して彩度を上げ、鮮やかさを強調する処理について述べたが、これに限らず、鮮やかなシーンに対して逆に彩度を下げ、鮮やかさを抑えるような処理にも適用することができる。この場合、例えばＧ１＜Ｇ２≦１のようにゲインを設定してやるとよい。上記のように人物が検出された場合の色差ゲインＧをＧ３とするならば、当然Ｇ１＜Ｇ３＜Ｇ２である。
【００３４】
また、本実施形態では、鮮やかなシーンであるか否かの判別結果を基に設定された色差ゲインＧを、画像データ全体に一律にかけているが、これに限らない。画像データ中の彩度の高いブロック（あるいは画素）に限定して、それ以外のブロックに比べて高い色差ゲインＧをかけるなどしてもよい。
【００３５】
さらに、本実施形態では、数１に示した式により色差信号（Ｒ−Ｙ，Ｂ−Ｙ）から彩度（chroma）を算出したが、彩度の算出方法をこれに限定するものではない。例えば、L*a*b*空間などの他の空間に一度変換してからL*a*b*空間で彩度を算出してもよい。また、本実施形態では、信号分割部１１０により８×８ブロックに画像信号を分割する例について説明したが、どのような分割数であってもよい。
【００３６】
また、本実施形態では、鮮やかなシーンであるか否かについて２値で判別したが、鮮やか度合い等のように多値で算出してもよい。この場合、平均彩度が高いほど、また、高彩度ブロック割合が多いほど鮮やか度合いが高くなるようにする。
【００３７】
図６は、鮮やか度と高彩度ブロック割合との関係の一例を示す図である。
図６において、６０１は顔が検出されていないときの基準特性である。一方、顔が検出されると、基準特性６０１を変化させる。例えば、６０２は、顔が検出され、過去に鮮やかと判別されていた場合の特性である。この場合は、図３のステップＳ３０５において、基準特性６０１よりも鮮やか度が高くなる特性６０２となる。これに対して、６０３は、顔が検出され、過去に鮮やかと判別されていない場合の特性である。この場合は、図３のステップＳ３０６において、基準特性６０１よりも鮮やか度が低くなる特性６０３となる。
【００３８】
以上のように制御することにより、鮮やかなシーンの判別結果を２値ではなく、多値（鮮やか度）で表現した場合でも、顔の有無により鮮やかの判別のしやすさを制御できるようになり、鮮やかなシーンをより適切に判別することができる。
【００３９】
さらに、画像中に顔が占める面積割合に応じて、鮮やかなシーンを判別するためのパラメータを制御してもよい。例えば、本実施形態では、顔検出した場合に、高彩度ブロック割合の閾値Ａｔを過去の判別結果に応じて一律に決定するものとして説明したが、画像中に占める顔の割合に応じて閾値Ａｔを動的に決定するようにしてもよい。これについて図７を参照しながら説明する。
【００４０】
図７（ａ）は、過去に鮮やかと判別されている場合の鮮やかなシーンを判別するための高彩度ブロック割合の閾値Ａｔの一例を示す図である。
図７（ａ）において、Ａｔ（min）は、基準値Ａｔ（Base）の最大変動量（閾値の下限値）を示す。図７に示す例では、画像中における顔の占める割合に基づき、下限値Ａｔ（min）と基準値Ａｔ（Base）との間の値を最終的な鮮やかシーン判別の閾値Ａｔとして決定する。
【００４１】
図７（ｂ）は、画像中における顔の占める割合と鮮やかなシーンと判別する閾値Ａｔとの関係の一例を示す図である。
図７（ｂ）に示すように、例えば、画像中における顔の占める割合がＦｒの場合、最終的な高彩度ブロック割合の閾値ＡｔはＡｔ（Ｆｒ）に決定される。例えば、図８（ａ）に示すように画像中における顔の占める割合が小さい場合は、顔が検出されていても、鮮やかなシーンを判別する際に顔の影響度は低い。一方、図８（ｂ）に示すように、画像中における顔の占める割合が大きい場合は、顔の検出結果によって鮮やかなシーンを判別する際に顔の影響度は高い。そこで、画像に対して顔が占める面積割合が高くなるほど、鮮やかなシーンを判別するための閾値Ａｔを基準値Ａｔ（Base）から大きく変更するようにしてもよい。
【００４２】
また、本実施形態では、シーン判別部１１３によるシーン判別結果を、その判別に用いた画像データに対して反映させ出力しているが、発明としては特にこれに限定されるものではない。すなわち、あるフレーム（画像データ）に対する判別結果に応じた画像処理を、その次のフレーム以降に反映させることなども当然可能である。また、複数フレーム鮮やかなシーン判別結果が続いたときに初めてシーンを特定したり、複数フレーム中、鮮やかなシーンと判別された割合が高い場合にシーンを特定したりと、複数フレームの判別結果からシーンを特定することも考えられる。このとき、判別結果に応じた画像処理は、それら複数フレームや、以降のフレームに反映させることが考えられる。また、このとき、過去の判別結果として用いる判別結果は、判別対象のフレームの直前のフレームの判別結果でも良いし、直前までの複数フレームから得られる判別結果であってもよい。
【００４３】
具体的に想定される状況としては、静止画撮影が可能な撮像装置や画像データに画像処理を施すＰＣなどの情報処理装置において、撮影された画像データ（フレーム）に対して処理を行う状況がある。また、ライブビュー表示または動画撮影が可能な撮像装置や動画に画像処理を施すＰＣなどの情報処理装置において、複数フレームにまたがった上記のような処理が想定される。
【００４４】
また、本実施形態では、シーン判別部１１３によって出力された判別結果を用いて画像データに対して彩度の補正をかけているが、判別結果の利用法としてはこれに限らない。例えば、判別結果を不図示の表示手段に表示させ、ユーザに知らしめたり、画像データを保存する際に、判別結果に対応した情報をヘッダなどに付帯して、保存後に画像データの撮影されたシーンが特定できるようにしたりもできる。また、補正１つをとってみても、彩度以外を補正することで鮮やかさを強調するようにしてもよい。このような処理には例えば、輝度を上げる補正や輪郭の強調処理などが考えられる。
【００４５】
（第２の実施形態）
以下、図９〜図１１を参照しながら、本発明の第２の実施形態に係る撮像装置について説明する。本実施形態では、顔が検出されたことにより隠れてしまった彩度などの評価値を、過去に検出した評価値で置き換えるようにしている。
【００４６】
図９は、本実施形態に係る撮像装置９００の構成例を示すブロック図である。なお、図９において、図１と同じ符号のものは同じブロックであるため説明を省略する。本実施例では、図１の構成に対して、評価値メモリ９０１、及び動き量検出部９０２をさらに備えている。
【００４７】
次に、図９に示した撮像装置９００の処理の流れについて説明する。画像を撮影し、エンコーダ１０９から画像信号を出力するまでの流れは第１の実施形態と同様である。また、シーン判別部１１３において鮮やかなシーンであるか否かを判別し、その結果に応じてカメラ制御部１１２が色差信号補正部１０８において用いるパラメータを制御する点も第１の実施形態と同様であるため、詳細な説明は省略する。以下、第１の実施形態と異なる点について説明する。
【００４８】
信号分割部１１０は第１の実施形態と同様に、ブロック毎の輝度信号（Ｙ）、色差信号（Ｒ−Ｙ，Ｂ−Ｙ）の平均値を算出し、評価値として彩度算出部１１１に出力する。彩度算出部１１１は、第１の実施形態と同様に色差信号（Ｒ−Ｙ，Ｂ−Ｙ）からブロック毎の彩度（Chroma）を算出し、算出した彩度（Chroma）の情報を評価値メモリ９０１、及びシーン判別部１１３に出力する。
【００４９】
評価値メモリ９０１は記憶手段として機能し、過去のものを含めて彩度算出部１１１から出力された全ブロックの彩度（Chroma）の情報を記憶する。ここで、評価値メモリ９０１に彩度の情報を記憶する処理は、所定時間の間隔で行われるものとする。ただし、顔検出部１１４において顔が検出されている場合は彩度の情報を記憶しないようにする。動き量検出部９０２は、レンズ１０１のズームや防振情報から動き量を算出、算出した動き量の情報をシーン判別部１１３に出力する。
【００５０】
シーン判別部１１３は、彩度算出部１１１において算出された彩度の情報、評価値メモリ９０１に記憶された彩度の情報、顔検出部１１４による顔検出結果、及び動き量検出部９０２から出力された動き量の情報に基づき鮮やかなシーンであるか否かを判別する。
【００５１】
以下、図１０を参照しながらシーン判別部１１３による処理の流れについて説明する。
図１０は、シーン判別部１１３による鮮やかなシーンの判別処理手順の一例を示すフローチャートである。なお、図１０において、図３と同符号の処理は、第１の実施形態で説明したものと同様のため、説明を省略する。
【００５２】
ステップＳ１００１においては、動き量検出部９０２から出力される動き量の情報に基づいて、画像全体として動いているか否かを判別する。すなわち、動き量検出部９０２から出力される動き量が所定値以上であるか否かを判別する。この判別の結果、動き量が所定値以上であり、画像全体で動いている場合は、ステップＳ３０２へ進む。なお、ステップＳ３０２以降の処理は第１の実施形態と同様である。
【００５３】
一方、ステップＳ１００１の判別の結果、動き量が所定値よりも小さく、画像全体で動いていない場合はステップＳ１００２に進む。そして、ステップＳ１００２において、検出された顔領域の彩度を、評価値メモリ９０１に記憶されている彩度に置き換える。この処理ついて、図１１を参照しながら説明する。
【００５４】
図１１（ａ）は、顔を含まない撮影画像を示している。前述したように顔を含まない場合の過去の彩度の情報は評価値メモリ９０１に記憶されている。図１１（ｂ）は、図１１（ａ）に示す撮影画像の、評価値メモリ９０１に記憶されている彩度の分布を示す図である。図１１（ｂ）においては、各ブロックにおいて暗い色で表示したブロックほど彩度が高いことを示している。図１１（ｃ）は、図１１（ａ）のシーン（撮影画像）に対して人物の顔が入ったシーンの一例を示す図である。図１１（ｄ）は、図１１（ｃ）に示すシーンの顔領域１１０１を示している。
【００５５】
ステップＳ１００２においては、例えば、この顔領域１１０１に含まれるブロックの彩度を、図１１（ｂ）に示す評価値メモリ９０１に記憶された顔領域に対応する彩度１１０２に置き換える。ステップＳ１００２において顔領域の評価値を置き換えることにより顔の影響をなくすことができる。したがって、以下の処理では顔がない場合と同様に扱うことができるため、ステップＳ３０７に進む。ステップＳ３０７以降の処理は第１の実施形態で説明した処理と同様のため説明は省略する。
【００５６】
以上のように本実施形態によれば、顔を検出した場合に、顔領域の評価値を過去の顔が検出されていない場合の評価値に置き換えるようにした。このように評価値を置き換えることにより、人物の顔で背景の被写体が隠れてしまった場合でも鮮やかなシーンであるかどうかを適切に判別することができる。これにより、どのような鮮やかなシーンを含む画像に対してもより彩度を強調した画像処理を施すことができる。
【００５７】
なお、本実施形態では、顔領域の評価値を過去の顔がないときの評価値に置き換える例について説明したが、動き量に応じた比率で２つの評価値を混合するようにしてもよい。また、本実施形態では、評価値として彩度を例に説明したが、顔が入った場合に置き換える評価値は、鮮やかなシーンを判別するために用いる評価値であればどのようなパラメータであってもよい。さらに、本実施形態では、動き量検出部９０２は、レンズ１０１など光学系の情報に基づいて動き量を算出したが、動き量を算出できるのであればどのように算出してもよい。例えば、光学系の情報以外に、画像信号を用いて動き量を算出してもよい。以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【００５８】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００５９】
１０８ 色差信号補正部、１１１ 彩度算出部、１１２ カメラ制御部、１１３ シーン判別部、１１４ 顔検出部
【特許請求の範囲】
【請求項１】
入力された画像信号から少なくとも彩度の情報を含む評価値を算出する算出手段と、
前記入力された画像信号から主被写体の領域を検出する検出手段と、
前記算出手段によって算出された評価値に基づいて、前記入力された画像信号の画像が鮮やかなシーンであるか否かを判別する判別手段と、
前記判別手段による判別結果を出力する出力手段と、を備え、
前記判別手段は、前記検出手段によって検出された主被写体の領域に対する評価値に基づく割合を制限して、前記判別を行うことを特徴とする画像処理装置。
【請求項２】
前記判別手段は、前記主被写体の領域に対応する評価値を除外して判別することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判別手段は、前記検出手段による主被写体の検出結果に応じて、判別する基準を変更することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記判別手段は、さらに過去の判別の結果に応じて、判別する基準を変更することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記判別手段は、過去の判別で鮮やかなシーンであると判別している場合は、鮮やかなシーンであると判別していない場合に比べて、判別する基準を緩和することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記判別手段は、前記検出手段により検出された主被写体の領域の画像全体に占める割合が大きいほど、判別する基準を緩和することを特徴とする請求項３〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記算出手段によって算出された過去の評価値を記憶する記憶手段をさらに備え、
前記判別手段は、前記検出手段によって検出された主被写体の領域の評価値を、前記記憶手段に記憶されている評価値に置き換えて鮮やかなシーンであるか否かを判別することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
前記入力された画像の動き量を検出する動き量検出手段をさらに備え、
前記判別手段は、前記動き量検出手段により検出された動き量が所定値よりも小さい場合に前記記憶手段に記憶されている評価値に置き換えて判別することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記主被写体は人物であることを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
入力された画像信号から少なくとも彩度の情報を含む評価値を算出する算出工程と、
前記入力された画像信号から主被写体の領域を検出する検出工程と、
前記算出工程において算出された評価値に基づいて、前記入力された画像信号の画像が鮮やかなシーンであるか否かを判別する判別工程と、
前記判別工程における判別結果を出力する出力工程とを備え、
前記判別工程においては、前記検出工程において検出された主被写体の領域に対する評価値に基づく割合を制限して、前記判別を行うことを特徴とする画像処理方法。
【請求項１１】
入力された画像信号から少なくとも彩度の情報を含む評価値を算出する算出工程と、
前記入力された画像信号から主被写体の領域を検出する検出工程と、
前記算出工程において算出された評価値に基づいて、前記入力された画像信号の画像が鮮やかなシーンであるか否かを判別する判別工程と、
前記判別工程における判別結果を出力する出力工程とをコンピュータに実行させ、
前記判別工程においては、前記検出工程において検出された主被写体の領域に対する評価値に基づく割合を制限して、前記判別を行うことを特徴とするプログラム。
【請求項１】
入力された画像信号から少なくとも彩度の情報を含む評価値を算出する算出手段と、
前記入力された画像信号から主被写体の領域を検出する検出手段と、
前記算出手段によって算出された評価値に基づいて、前記入力された画像信号の画像が鮮やかなシーンであるか否かを判別する判別手段と、
前記判別手段による判別結果を出力する出力手段と、を備え、
前記判別手段は、前記検出手段によって検出された主被写体の領域に対する評価値に基づく割合を制限して、前記判別を行うことを特徴とする画像処理装置。
【請求項２】
前記判別手段は、前記主被写体の領域に対応する評価値を除外して判別することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判別手段は、前記検出手段による主被写体の検出結果に応じて、判別する基準を変更することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記判別手段は、さらに過去の判別の結果に応じて、判別する基準を変更することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記判別手段は、過去の判別で鮮やかなシーンであると判別している場合は、鮮やかなシーンであると判別していない場合に比べて、判別する基準を緩和することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記判別手段は、前記検出手段により検出された主被写体の領域の画像全体に占める割合が大きいほど、判別する基準を緩和することを特徴とする請求項３〜５の何れか１項に記載の画像処理装置。
【請求項７】
前記算出手段によって算出された過去の評価値を記憶する記憶手段をさらに備え、
前記判別手段は、前記検出手段によって検出された主被写体の領域の評価値を、前記記憶手段に記憶されている評価値に置き換えて鮮やかなシーンであるか否かを判別することを特徴とする請求項１〜６の何れか１項に記載の画像処理装置。
【請求項８】
前記入力された画像の動き量を検出する動き量検出手段をさらに備え、
前記判別手段は、前記動き量検出手段により検出された動き量が所定値よりも小さい場合に前記記憶手段に記憶されている評価値に置き換えて判別することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記主被写体は人物であることを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
【請求項１０】
入力された画像信号から少なくとも彩度の情報を含む評価値を算出する算出工程と、
前記入力された画像信号から主被写体の領域を検出する検出工程と、
前記算出工程において算出された評価値に基づいて、前記入力された画像信号の画像が鮮やかなシーンであるか否かを判別する判別工程と、
前記判別工程における判別結果を出力する出力工程とを備え、
前記判別工程においては、前記検出工程において検出された主被写体の領域に対する評価値に基づく割合を制限して、前記判別を行うことを特徴とする画像処理方法。
【請求項１１】
入力された画像信号から少なくとも彩度の情報を含む評価値を算出する算出工程と、
前記入力された画像信号から主被写体の領域を検出する検出工程と、
前記算出工程において算出された評価値に基づいて、前記入力された画像信号の画像が鮮やかなシーンであるか否かを判別する判別工程と、
前記判別工程における判別結果を出力する出力工程とをコンピュータに実行させ、
前記判別工程においては、前記検出工程において検出された主被写体の領域に対する評価値に基づく割合を制限して、前記判別を行うことを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１２−１４２９８０（Ｐ２０１２−１４２９８０Ａ）
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願番号】特願２０１２−４８１６９（Ｐ２０１２−４８１６９）
【出願日】平成２４年３月５日（２０１２．３．５）
【分割の表示】特願２００９−２９５５１１（Ｐ２００９−２９５５１１）の分割
【原出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年７月２６日（２０１２．７．２６）
【国際特許分類】
【出願日】平成２４年３月５日（２０１２．３．５）
【分割の表示】特願２００９−２９５５１１（Ｐ２００９−２９５５１１）の分割
【原出願日】平成２１年１２月２５日（２００９．１２．２５）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]