カメラ
【課題】逆光シーンのような明るさが大きく変化するシーンでも被写体が確認でき、失敗なく撮影できるカメラを提供する。
【解決手段】撮像素子３から取得された被写体の画像信号を、被写体の視認性を向上させるために被写体の分割された領域毎の輝度に応じてその輝度を上げるよう補正する視認性向上部５ｂと、上記撮像素子３から取得された被写体の画像信号に基づく画像を表示する表示部８と、を備え上記視認性向上部５ｂは、実際に撮影される画像への上記輝度の補正量を上記表示部８へ表示されるモニタ用画像への補正量よりも小さくするものである。
【解決手段】撮像素子３から取得された被写体の画像信号を、被写体の視認性を向上させるために被写体の分割された領域毎の輝度に応じてその輝度を上げるよう補正する視認性向上部５ｂと、上記撮像素子３から取得された被写体の画像信号に基づく画像を表示する表示部８と、を備え上記視認性向上部５ｂは、実際に撮影される画像への上記輝度の補正量を上記表示部８へ表示されるモニタ用画像への補正量よりも小さくするものである。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、逆光シーン等の輝度差の大きいシーンの撮影に対応できるカメラに関する。
【背景技術】
【０００２】
逆光のシーンは、撮影の難しいシーンである。撮像素子は銀塩フィルムに比べてダイナミックレンジが狭いので、撮像素子を使用するデジタルカメラでは、より撮影が難しくなる。特に、人物が主被写体である場合、逆光で顔が真っ暗になった失敗写真が撮影されてしまうことが多い。そこで、このように人物が被写体の逆光シーンでは、ストロボ撮影により人物を適正露光にして撮影することが通常行われる。そして、このストロボ撮影は、撮影者がストロボモードを選択する操作や、あるいは撮影者がカメラのシーンモードを逆光シーンに選択する等の操作により実行される。
【０００３】
この逆光シーンの撮影に関しては従来から色々提案がなされている。例えば、対応できる明るさのダイナミックレンジをかせぐために、撮像素子からの出力を画面内の領域ごとに最適なコントラストに制御して、暗い所と明るいところのいずれも見えやすい画像に画像処理で修正する技術が知られている（特許文献１）。
【０００４】
一方最近は顔検出技術が発達しているので（例えば特許文献２）、この顔検出技術の応用によって被写体が人物であるかの判断もできるので、この顔検出技術の利用も期待される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００４−５３０３６８号公報
【特許文献２】特開平０７−０７３２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記顔検出が精度よく行われるためには、対象となる被写体の輪郭が十分鮮明に表現されていることが前提になる。逆光の状況下では、被写体の像がつぶれてしまうので、顔検出技術により簡単に人物判定ができることは期待できない。
【０００７】
また、上述のような逆光のシーンに代表されるような、明るい部分と暗い部分が混在するような状況での撮影では、通常はストロボを照射することで、暗い被写体を明るくしてその表情などを撮影してきた。撮影の際にはストロボ使用は有効であるが、ストロボでは連続照明ができないので、モニタ画像が見ながら画角決定をするような場面では、このストロボを使ってモニタ画像の視認性を向上させる方法は実用的ではない。また、ストロボ照射は電力消費も大きいので、撮影以外でストロボ照射を多用すると、電池寿命が大幅に短くなってしまうという問題もある。
【０００８】
このような逆光シーンのような明るさが大きく変化するシーンでも、被写体確認が正しくでき、かつ、撮影時にも撮像素子の特性を考慮してこれを美しく描写するカメラが求められる。
【０００９】
本発明は以上の点に鑑み、逆光シーンのような明るさが大きく変化するシーンでも被写体の確認ができ、失敗なく撮影のできるカメラを提供するものである。
【課題を解決するための手段】
【００１０】
本発明における一態様のカメラは、撮像素子から取得された被写体の画像信号に基づく画像を表示する表示部と、上記撮像素子から取得された被写体の画像信号に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在するか否かを判定する撮影シーン判定部と、上記撮影シーン判定部に判定結果に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在する場合、当該暗部領域における被写体の顔の蓋然的存在の有無を判定する顔蓋然的存在判定部と、上記顔蓋然的存在判定部において上記撮影画面において被写体の顔が蓋然的に存在すると判定された場合において、当該被写体の露出量を増加させる処理を施して顔検出を可能とする顔検出部と、上記顔検出部において被写体の顔が検出された場合、上記表示部に表示するモニタ用画像に対する処理として、当該撮影画面における明部領域について輝度を低下させる処理を施す視認性向上部と、を備える。
【００１１】
本発明における他の態様のカメラは、撮像素子から取得された被写体の画像信号に基づく画像を表示する表示部と、上記撮像素子から取得された被写体の画像信号に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在するか否かを判定する撮影シーン判定部と、上記撮影シーン判定部に判定結果に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在する場合、当該暗部領域における被写体の顔の蓋然的存在の有無を判定する顔蓋然的存在判定部と、上記顔蓋然的存在判定部において上記撮影画面において被写体の顔が蓋然的に存在すると判定された場合において、当該被写体の顔の逆光状態を判定する顔逆光判定部と、上記顔逆光判定部において当該被写体の顔の存在が明確に判別できない場合においては当該被写体の露出量を増加させる処理を施して顔検出を可能とする顔検出部と、上記顔検出部において被写体の顔が検出された場合、上記表示部に表示するモニタ用画像に対する処理として、当該撮影画面における明部領域について輝度を低下させる処理を施す視認性向上部と、を備える。
【発明の効果】
【００１２】
本発明によれば、逆光シーンのような明るさが大きく変化するシーンでも被写体の確認ができ、失敗なく撮影できるカメラを提供可能となる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態において、本発明が適用されるカメラ１０の全体ブロック図。
【図２】第１実施形態において、逆光撮影シーンの一般的な例を示す図。
【図３】第１実施形態において、 図２と同じ撮影シーンで、輝度分布の位置を示す図。
【図４】第１実施形態において、最適化処理部により補正された屋外と室内の明るさとコントラストを示すグラフ。
【図５】第１実施形態において、撮影時のシャッターとストロボ発光のタイミングを示すタイミングチャート。
【図６】第１実施形態において、人物のいない風景を示す図。
【図７】第１実施形態において、顔検出により画面に人物がいるかを判定する例を示す図。
【図８】第１実施形態において、図４による制御処理の手順を説明するためのフローチャート。
【図９】第１実施形態において、メイン画像３１と補助画像３２が同時に表示された画面を示す図。
【図１０】第１実施形態において、モニタ用画像表示時と実際の撮影時における、最適化処理部の補正量の違いによる画像の例を示す図。
【図１１】第２実施形態において、制御処理の手順を説明するためのフローチャート。
【図１２】第３実施形態において、最適化処理部により補正された屋外と室内の明るさとコントラストを示すグラフ。
【図１３】第３実施形態において、制御処理の手順を説明するためのフローチャート。
【発明を実施するための形態】
【００１４】
以下本発明を実施するための最良の形態を図面を参照して説明する。
【００１５】
（第１実施形態）
図１は、本発明が適用されるカメラ１０の全体ブロック図である。カメラ１０にはレンズ部２、シャッター２ａ、撮像素子３、アナログフロントエンド（以下、ＡＦＥと略す）部４、画像処理部５、表示部８、表示制御部８ａ、記録再生制御部９ａおよび記録メディア９が設けられる。
【００１６】
レンズ部２は、入射した被写体２０の像を撮像素子３に結像する。シャッター２ａは、レンズ部２を通過した光が撮像素子３へ入射するのを選択的に遮り、露出量を調整する。撮像素子３は、ＣＭＯＳやＣＣＤからなり、結像された被写体像を画像信号に変換する。
【００１７】
ＡＦＥ部４は、撮像素子３から出力されるアナログの電気信号をデジタルの画像データに変換して出力する。 ＡＦＥ部４には切り出し部４ａが設けられる。切り出し部４ａは、指示に応じて、撮像素子３の出力する信号を取捨選択して、全部の受光面から限られた画素信号のみを抽出したり、また撮像素子３から画素を間引いて抽出する。
【００１８】
表示部８に表示できる画像サイズは限られているので、モニタ用画像表示時には、切り出し部４ａが画素数を削減し、ＡＦＥ部４が削減された画像データを出力する。これによって、高速の表示制御が可能となり、特別に光学ファインダーなどを設けなくとも、撮像素子に入ってきた信号を処理して略リアルタイムに表示されるので、ユーザーはこれを見ながら撮影をすることが出来る。また、ＡＦＥ部４は、実際の撮影時には、撮影画像としてフル画素または設定された画質モードに合わせた画素の画像データを出力する。
【００１９】
画像処理部５は、ＡＦＥ部４から出力された画像データについて、ガンマ（階調補正）や色や階調やシャープネス等の補正処理を行う。また、画像処理部５は、画像処理部内のＪＰＥＧ（Joint Photographic Coding Experts Group）コア部（図示せず）などの静止画像用の圧縮伸長部を有し、撮影時にはこの圧縮伸長部で画像データを圧縮し、再生時には画像データを伸長する。
【００２０】
画像処理部５には、最適化処理部５ｂが設けられる。最適化処理部５ｂは、画像信号に対して輝度の補正やコントラスト強調等の処理を行う。最適化処理部５ｂは、撮像素子から取得された被写体の像信号に対して、画面を適当なサイズで複数の領域に分割して、その中で明るい領域や暗い領域を検出する。そして、その輝度値に基づいて各々の領域に適切に増幅やコントラスト強調等の補正を行う。なお以下では、輝度の増幅補正やコントラスト強調補正を単に補正とも呼ぶ。最適化処理部５ｂは、それぞれの領域に存在する被写体の視認性を向上させるので、以下では視認性向上手段あるいは視認性向上部とも呼ぶ。
【００２１】
記録再生制御部９ａは、撮影時には画像処理部５で圧縮処理された画像データを記録媒体である記録メディア９に記録する。記録メディア９は、画像を保存記録する記録媒体である。また、記録再生制御部９ａは再生時には記録メディア９から画像データを読み出す。
【００２２】
表示部８は、例えば液晶や有機ＥＬ等から構成され、撮影時にはモニタ用画像を表示し、再生時には伸張処理された記録画像を表示する。この表示部８にはバックライトが備えられ、表示制御部８ａには、そのバックライトの明るさを変更する明るさ調整部８ｂが具備されている。これは、自動的またはユーザーの操作によって、バックライトの明るさを変更可能としたものである。
【００２３】
撮影時には、ユーザーは表示部８に表示された画像を見ながら、構図やタイミングを決めて撮影操作を行う。撮像素子３からの画像信号がほぼリアルタイムで表示されるように、ＡＦＥ部４によって表示用サイズに制限された画像データが、画像処理部５で高速に処理されて、表示制御部８ａを介して表示部８に表示される。
【００２４】
また、上述したように、最適化処理部５ｂは、モニタ用画像表示時に被写体の視認性を向上させるように、画像を領域毎に輝度の増幅、コントラスト強調等の補正処理を行う。そして、再生時には、記録メディア９に記録された圧縮データが記録再生制御部９ａにより読み出され、画像処理部５によって伸長され、表示部８に表示される。
【００２５】
また、カメラ１０には、ＭＰＵ１、ＲＯＭ１９、操作部１ａ〜１ｃが設けられる。ＭＰＵ（マイクロプロセッサー）１は、プログラムに従って撮影や再生等カメラ１０の全体の制御を司る制御部である。ＲＯＭ１９は、不揮発性でかつ記録可能なメモリで例えばフラッシュＲＯＭからなり、カメラ１０の制御処理を行う制御用のプログラムが格納される。
【００２６】
操作部１ａ〜１ｃは、撮影者の指示をＭＰＵ１に通知する。操作部の代表例としてスイッチ１ａ、１ｂ、１ｃを図示するが、スイッチ１aはレリーズスイッチ、１ｂは、例えば撮影／再生モード切替や撮影モードや表示モードの切替などのスイッチである。また、スイッチ１ｃは、更なる視認性向上指示用の指示部として、明るいシーンでより表示部パネル８を見やすくするために、バックライト(ＢＬ)を明るくするよう指示し、また最適化処理部５ｂに輝度補正量の増加を指示する指示スイッチである。ＭＰＵ１は、撮影や表示などに対するユーザーのスイッチ１ａ、１ｂ、１ｃ操作を検出する。
【００２７】
更に、カメラ１０には、ＡＦ制御部２ｃ、シャッター制御部２ｂ、ストロボ部６、露出制御部１２ａ、シーン判定部１２ｂおよび顔検出部１１が設けられる。ＡＦ制御部２ｃは、ＭＰＵ１の指示に基づいてレンズ部２のピント位置を制御する。ピント位置の制御は、画像処理部５が撮像素子３から出力される画像データのコントラストを検出してＭＰＵ１に出力し、これに従ってＭＰＵ１がＡＦ制御部２ｃに制御信号を出力することにより実行される。ＭＰＵ１は画像データのコントラスト信号が最大になるようにＡＦ制御部２ｃに制御信号を出力する。
【００２８】
シャッター制御部２ｂはシャッター２ａの開閉を制御する。シャッター制御部２ｂは、明るいときには短い時間でシャッター２ａを閉じ、暗いところでは、長い時間でシャッター２ａを閉じるような制御をして、撮像素子３への入射光量を所定量に保つ露出制御を行う。
【００２９】
ストロボ部６は、露出を補助する補助光照射手段である。ストロボ部６は、Ｘｅ放電発光管のような光源で、流す電流量で光量が制御できるようになっている。被写体が相対的、または絶対的に暗い場合には、強い光を投射するストロボ部６が補助光として利用される。補助光照射手段としては、ストロボに限られず白色ＬＥＤで代替も可能である。
【００３０】
露出制御部１２ａは、ＭＰＵ１で実行される制御機能の1つである。露出制御部１２ａは、ＡＦＥ部４から出力される画像データに基づいて、シャッター２ａの開放時間の切り替えや撮像素子３のデータ読出し（電子シャッター）を制御する。また、露出制御部１２ａは、不図示のＮＤフィルタや絞りやストロボ部６を制御し、画像処理部５のガンマ補正機能と共同して画像の明るさを適正にする。
【００３１】
さらに露出制御部１２ａは、単独でもしくは最適化処理部５ｂと連携して、画像の明るさを適正にする。そして、露出制御部１２ａは、最適化処理部５ｂと連携した視認性向上のための露出制御を、撮影時とモニタ用画像表示時でそれぞれ最適になるようにその条件を変えて実行する。ＣＣＤ等の撮像素子３や表示部８は、従来の写真フィルムやプリントとは異なり、ダイナミックレンジが狭く明暗の細かい記録や表示が難しいので、露出制御部１２ａと最適化処理部５ｂがさらに表示部８のバックライト(ＢＬ)制御も利用して、さまざまなシーンで被写体の視認や識別が可能なように制御する。
【００３２】
シーン判定部１２ｂは、ＭＰＵ１で実行される処理機能の1つである。シーン判定部１２ｂは、ＡＦＥ部４から出力される画像データ（モニタ用画像）を解析して画面全体の明るさを判断して、暗いシーンとか逆光シーンとかのシーン名を判定する。シーン判定部１２ｂは、判定に際して、画面の広い範囲の画像データを利用する。また、シーン判定部１２ｂは、シーン判定に際して、顔検出部１１による顔検出の結果も利用する。そして、露出制御部１２ａはシーン判定結果にも応じてシャッター制御部２ｂや不図示の絞りを制御して、撮像素子３に入射する光量を切り替える。
【００３３】
顔検出部１１は、画像データを利用して、被写体の中に人間の顔が存在するかどうかを検出する。顔検出部１１は、画像処理部５から出力される画像データ（モニタ用画像）に基づいて、ピントあわせ時の情報や先に説明したモニタ用画像の中から特徴点を抽出することによって顔を検出する。そして、顔検出部１１は、顔が検出されたときはその画面内での顔の大きさや位置をＭＰＵ１に出力する。ただし、逆光シーンのような画面内の暗い部分に主被写体が位置する場合には、画像が黒くつぶれて細かい明暗の差異が分からなくなり、そのままでは顔検出部１１が検出できない。このような逆光シーンのときには、最適化処理部５ｂと露出制御部１２ａが、顔検出のために暗い部分を明るくするような処理や制御を行うようにする。詳細は後述する。
【００３４】
図２は、第１実施形態の課題を説明するための図である。図２は逆光撮影シーンの一般的な画面の例を示す図で、画面には明るい屋外の風景３０ａと暗い室内の人物３０ｂの両方が存在している。図２（Ａ）が、この画面で撮影される望ましいシーンを示す図である。つまり、明るい屋外の風景３０ａと暗い室内の人物３０ｂが共に美しく描写されるが望ましい撮影である。しかし、従来は、撮像素子３のダイナミックレンジの限界によって、撮影される画像は、明るい部分（風景30ａ）を重視した画像（ 図２（Ｂ）参照）か、または暗い部分（人物30ｂ）を重視した画像（図２（Ｃ）参照）のいずれかしか得ることが出来なかった。
【００３５】
同様に、撮影時に表示部８に表示されるモニタ用画像についても、従来は、撮像素子３および表示部８のダイナミックレンジの限界によって、明るい部分（風景３０ａ）を重視した画像（ 図２（Ｂ）参照）か、または暗い部分（人物30ｂ）を重視した画像（ 図２（Ｃ）参照）のいずれかしか表示することが出来なかった。つまり、図２（Ｂ）の画像では人物３０ｂが黒くつぶれてしまい、図２（Ｃ）の画像では風景３０ａが白く飛んでしまうような画像になっていた。本実施形態のカメラ１０は、この課題を解決して、明るい屋外の風景３０ａと暗い室内の人物３０ｂが共に美しく描写するものである。
【００３６】
図３は図２と同じ撮影シーンで、図４で示す画面の輝度分布の抽出位置をライン３０ｃで示す。図４は、このライン３０ｃにおける画面の輝度分布のグラフである。
【００３７】
図４（Ａ），（Ｂ）は、視認性向上手段である最適化処理部５ｂによる、撮影時の制御処理を説明するグラフである。最適化処理部５ｂによる画像の視認性向上の処理は、モニタ用画像の表示時および実際の撮影時の両方で行われる。図４（Ａ），（Ｂ）はいずれも、図３のライン３０ｃに沿った輝度分布をグラフ化した図で、横軸が画面の水平方向の位置、縦軸が明るさ（輝度値）を示す。明るさは、上方向が明るい方向である。Ｌ（細い１点鎖線）は撮像素子３のノイズレベルを示す。つまり、Ｌ以下は、ノイズ領域で画像の識別は困難な領域である。
【００３８】
図４（Ａ）は、最適化処理部５ｂによる第1の処理を説明する図である。破線（Ｅ０、Ｆ０）が、処理前の輝度カーブで、Ｅ０が風景３０ａ、Ｆ０が人物３０ｂに対応する輝度カーブである。また、ΔＥ０、ΔＦ０はそれぞれの輝度差（コントラスト）を示す。処理前の明るさカーブは、風景３０ａが適正輝度レベルになるよう露出制御されて得られた画像によるカーブである。そして、この場面では人物３０ｂの部分であるＦ０はノイズレベルＬと同等な明るさしか得られず、黒くつぶれてしまうとする（ 図２（Ｂ）参照）。
【００３９】
そこでまず、最適化処理部５ｂが、風景３０ａの部分については所定の補正量であるゲイン１で増幅補正を行い、風景３０ａの輝度をＥ０からＥ１に上げる。さらに、最適化処理部５ｂが、風景３０ａについてコントラスト強調処理も行い、コントラストをΔＥ０からΔＥ１に向上させる。
【００４０】
一方、人物３０ｂのF０については、ゲイン１によってF０からF1に上昇させても、このＦ１がノイズレベルより十分に高くなる可能性は少ない。つまり、このレベルでは十分に視認性が確保できない可能性が高い。なぜなら、ゲイン1の量は風景３０ａに対応する補正量なので、ゲイン１は、それほど大きな値はとれない。なぜなら、風景３０ａはある程度の明るさが確保されているので、ゲイン１は風景３０ａが飽和しない程度の比較的小さなゲインしかとりえないからである。
【００４１】
そこで、最適化処理部５ｂが、人物３０ｂについては、ゲイン１より大きな補正値であるゲイン２で補正処理を行い、輝度カーブをＦ０からＦ２に上げる。あわせて、最適化処理部５ｂは、風景３０ａより大きなコントラスト強調処理も行い、コントラストをΔＦ０からΔＦ２に向上させる。これにより室内の視認性が十分に向上する。これによって、ようやく、人の目で見た感じに近い画像（ 図２（ａ））が得られるようになる。
【００４２】
このように、第1の処理では、最適化処理部５ｂ（視認性向上手段）が、明るい部位と暗い部位で、輝度補正量やコントラスト強調の補正量を異ならせて処理を行うので、画面の一部だけでなく画面全体で、視認性が向上する。輝度差の大きい画面に対して特に有効である。なお、この処理は、モニタ用画像と撮影時の画像の両方に適用してもよいし、あるいはモニタ用画像のみに適用してもよい。なお、後述するようにモニタ用画像と撮影時の画像の両方に適用する場合には、モニタ用画像への補正量を撮影時の画像への補正量よりも大きくするようにする。コントラスト強調量についても同様である。
【００４３】
次に、ストロボ撮影時に最適化処理部５ｂを併用させる第2の処理を説明する。第２の処理は、主に撮影時の画像データに対する処理である。図４（Ｂ）は、ストロボ撮影時の最適化処理部５ｂによる処理を説明する図である。上記 図４（Ａ）の第1の処理の例では、最適化処理部５ｂによる画像処理のみで輝度を上げるので、補正量が大きいとその画像が不自然になるおそれがある。また、暗い部分（室内）の輝度がノイズレベルと同等かそれ以下の場合には、ノイズもともに増幅してしまうので、増幅（補正）によるノイズ増加によりかえって汚い画像が目立つばかりになってしまうおそれもある。これは、実際の撮影時に大きな問題になる。そこで、第2の処理では、ストロボ照明を最適化処理に組み合わせてこの問題を解決する。
【００４４】
図４（Ａ）と同様に、図４（Ｂ）の1点鎖線（Ｅ０、Ｆ０）のカーブが、処理前の輝度カーブである。まず、最適化処理部５ｂは、風景部分および人物部分について、第1の処理と同様なゲイン１で輝度補正を行う。これにより、屋外部分（風景）の輝度はＥ０からＥ１に上がり、室内部分（人物）の輝度もＦ０からＦ１に上がる。また、最適化処理部５ｂは、屋外部分および室内部分について、コントラスト強調補正処理も行う。これにより、屋外部分のコントラストがΔＥ０からΔＥ１に向上し、室内部分のコントラストがΔＦ０からΔＦ１に向上する。
【００４５】
そして、前述したようにこれだけでは、室内部分の視認性が不十分な可能性が高いので、本例ではストロボ発光を加える。ストロボ発光により、人物部分の輝度がＦ１からＦｓｔに向上する。また、コントラストも、ΔＦ１からΔＦｓｔに向上する。一方、屋外部分は距離の関係でストロボ光が到達しないので、輝度はＥ１のままで変化せず、コントラストもΔＥ１のままで変化しない。なお、上記の説明では、輝度補正とコントラスト強調補正の後にストロボ発光処理を行うよう説明したが、これは説明の都合上であって、実際の撮影手順は逆である。
【００４６】
このように、第２の処理では、さらに屋外の風景および室内の人物両方の視認性が向上する。また、低輝度の部分が、ストロボによる光が補われて輝度が増加するので、電気的な補正だけによって実際の撮影画像がきたなくなることも防止される。つまり、ごく自然な図２（ａ）のような画像が得られることとなる。なお、この処理も、撮影時だけでなくモニタ画表示時に適用してもよい。ただし、ストロボ発光を利用するとモニタ画像が間欠的な画像になるので、ＬＥＤ照明のような連続発光可能な照明手段がより望ましい。
【００４７】
図５は、図４（Ｂ）で説明した撮影時のシャッターとストロボ発光のタイミングを示すタイミングチャートである。シャッターのタイミングチャートでは、ＬＯＷが開放を示す。ストロボ光の発光時間が短時間なので、ストロボ発光にあわせて上記のシャッター時間も短くするようにする。つまり、上記撮影ではシャッターも高速になる方向に制御するのが望ましい。シャッター開放時間（ＬＯＷ）を短くすれば、露出に対するストロボ光の寄与率を相対的に大きくできるからである。
【００４８】
図６は、逆光であっても風景のみで人物のいないシーンを示す図である。このようなシーンでは、最適化処理部５ｂは最適化処理を行わない。最適化処理部５ｂは、図３のように逆光の部分で人物が検出されたようなシーンで最適化処理を行い、上記露出制御を行うようにする。風景のみで逆光下に人物がいないようなシーン、つまり風景を浮き出させるような写真においては、上記のような露出制御を行わせる必要は通常ないからである。こうしたシーンでは、余計な光の補助をさせないことで暗い部分を際立たせる効果も出せ、さらに、ストロボ発光をさせないことはエネルギーの節約にもなるからである。
【００４９】
図７は、顔検出部１１による顔検出の例を簡単に説明する図である。この顔検出により画面に人物がいるかが判定される。人物の存在を判定する手段は色々あるが、ここでは、画面内に顔のパターンがあるかを検出して人物の有無を判定する方法を説明する。 図７（Ａ）は、基準となる顔類似パターンの一例である。（Ａ−１）、（Ａ−２）、（Ａ−３）は、顔サイズの異なる顔類似パターンで、このような顔類似パターン（Ａ−１）、（Ａ−２）、（Ａ−３）は、ＲＯＭ１９に予め記憶されている。
【００５０】
図７（Ｂ）のシーンは図２と同一シーンである。顔検出部１１は、（Ｂ）のシーンで、基準となる顔類似パターン（Ａ−１）、（Ａ−２）、（Ａ−３）を画面内で走査させ、それがマッチングする部分があれば、撮影画面に人物がいると判定する。ここでは、Ａ−１の顔類似パターンが適合した場合である。
【００５１】
図８は、上記最適化処理を中心にした撮影時の制御処理の手順を説明するフローチャートである。この制御処理は、プログラムに従ったＭＰＵ１、画像処理部５、最適化処理部５ｂ、露出制御部１２ａ、シーン判定部１２ｂ及び顔検出部１１等により主に実行される。
【００５２】
まず、カメラ１０のモードをモニタ画モードに設定する（ステップＳ１）。モニタ画モードは、撮影時に撮像素子の出力をモニタ用画像として表示部８に表示するモードである。このモードでは画像表示に遅れが生じないように撮像素子３や他のシステムが駆動制御される。ここで得られた画像データに基づいて、レンズ部２のピント制御や、露出制御部１２ａによる露出の制御も行われる(ステップＳ２)。
【００５３】
次にレリーズ操作を待つが（ステップS３）、撮影に先立ち（ステップＳ３ＮＯ）、顔検出及び逆光判定を行う（ステップＳ１０）。顔検出は顔検出部１１により、逆光判定はシーン判定部１２ｂによりそれぞれ行われる。そして、顔検出部１１により顔検出ができたかを判断する（ステップＳ１１）。顔検出ができたときはその旨を表示部８に表示させる（ステップＳ１２）。そして、顔検出用の類似パターンを図７（Ａ）に示したようなデフォルトの顔類似パターンから、今回検出された顔類似パターン（今回検出された顔の形に近づけたもの）に切替える（ステップＳ１３）。これによって、二回目以降の検出スピードを速くすることが可能となる。つまり、基準として持っていたパターン（基準顔類似パターン）から新しい顔類似パターンに切り換えて検出するので、顔が動かないシーンでは顔の判定をスピーディに行うことができ、顔の位置や角度が変化する時でも、画面内の前回検出位置近傍を重点的に検出することにより、顔部を追尾するような効果が得られる。
【００５４】
そして、顔が検出されたときは（ステップＳ１１ＹＥＳ）、図４（Ａ）で示したように、最適化処理部５ｂが、顔の部分や人物に対して、その明るさ補正やコントラストを強調する最適化処理を行う（ステップS１７）。最適化処理され、顔の部分の明るさやコントラストが強調された画像を表示部８に表示させる。このレリーズに先立つモニタ表示時には、常時画像が切り替わるので、多少のノイズによる乱れは気にならず、顔の表情が見えるかどうかが重要になる。そこで、視認性を高める最適化処理を行い、表示部８上で被写体の人物をよく見えるようにする。また、屋外での撮影時には、太陽光が表示部８の表面パネルに反射等するので、細かいノイズレベルは気にならないことも多いからである。
【００５５】
モニタ表示時には、上記最適化処理を更に強くしたい場合もある。この状況を不図示のセンサーで自動的に判断したり、あるいはユーザーがもっとよく見たいとき用の操作ボタン（スイッチ１ｃ）の操作で判断する（ステップＳ１８）。この操作を検出して（ステップＳ１８ＹＥＳ）、表示制御部８ａの明るさ制御部８ｂが表示部８のバックライト(ＢＬ)をもっと明るくするよう制御させる(ステップＳ１９)。また、それと同時に、最適化処理部５ｂが、更に暗い部分の補正量を上げたりコントラスト値をより強調させる処理を行う（ステップＳ２０）。これを強い最適化処理とも呼ぶ。
【００５６】
このように顔が検出された時には、極力表示部で顔を見えやすくする表示を行って、ステップＳ２に戻る。ステップＳ２では、検出された顔情報を利用して、顔の部分を重視したピント制御や露出制御を行うようにしてもよい。そして、このループを循環しながらレリーズ操作を待つ（ステップＳ３）。
【００５７】
一方、ステップＳ１１で顔の検出が出来なかった時には（ステップＳ１１ＮＯ）、顔検出ができるようにするための処理を行う。例えば図２（Ｂ）のような顔が暗すぎて顔検出ができない画像について、画像の露出や処理を切替えて、図２（Ｃ）のように背景を白く飛ばして、暗い所を重視して顔検出のできるような画像にするのである。
【００５８】
まず、露出制御部１２ａにより、顔検出用に露出時間を長くしたりして、露光量を増加させる(ステップＳ１４）。さらに、最適化処理部５ｂは、顔検出用の強調補正処理（増幅補正やコントラスト強調など）を行う（ステップＳ１５）。具体的には、最適化処理部５ｂは、図４（Ａ）で説明したような、暗い部分の像信号を増幅補正や強調補正を行う。また場合によっては、図４（Ｂ）で説明したように、ストロボ照射やＬＥＤ光源を有していれば連続的に照射させて、露出を補って、顔検出しやすいような制御を行ってもよい。なお、上記長時間露出、増幅補正／コントラスト強調補正、照明の各処理の組み合わせや取捨は、場面に応じた選択事項である。
【００５９】
以上により、背景を白く飛ばして、暗い所を重視した画像である 図２（Ｃ）のような画像あるいはそれに近い画像が得られ、これにより、暗い部分に顔があっても図２（Ｂ）のような画像では得られなかった明瞭な顔部の像を得ることができ、顔検出が容易となる。なお、この画像はモニタ用画像なので背景部分が飽和しても撮影への直接の影響はない。顔検出ができた場合は、ステップＳ１６をＹＥＳに分岐して、ステップＳ１２以降に進む。一方、顔検出ができないときは（ステップＳ１６ＮＯ）、ステップＳ２に戻る。
【００６０】
なお、こうして顔検出が出来たときには、上記顔検出用の強調補正処理された画像を補助画像３２として表示部８に表示させてもよい。図９は、通常表示される画像であるメイン画像３１と補助画像３２が同時に表示された画面を示す図である。ここで補助画像としては、ステップＳ１７による顔表示用に最適化処理された画像、ステップＳ２０による強い最適化処理された画像、またはステップＳ１５による顔検出用に強調処理された画像の３種類がある。補助画像として、ステップＳ１７による顔表示用に最適化処理された画像、または ステップＳ２０による強い最適化処理された画像を表示させる場合には、撮像素子３から得られた画像に対して最適化処理をする画像と処理しない画像と同時に表示させればよい。
【００６１】
一方、ステップＳ１５による顔検出用に強調処理された画像を補助画像として表示させる場合には、２つの画像のシャッタースピードが異なり後の画像処理だけで対応することができないので、撮像素子から得る画像をメイン画像３１と補助画像３２用の２つのシャッタースピードで交互に得るようにする。そして、それぞれ対応する処理をして、その処理がされた２つの画像を表示させる。ただし、２つの画像の読み出し回数の割合は、必ずしも１対１にする必要はない。なお、読み出す画像に合わせたシャッタースピードの切替は、露出制御部１２ａによって制御される。このような工夫によって、ユーザーは背景と人物の表情とを同時に確認しながら撮影することも可能となる。
【００６２】
一方、図９のような補助画像を同時に表示させないモードが選択された時に、ステップＳ１５による顔検出用に強調処理された画像を必要とする場合には、露出制御部１２ａは、図２（Ｃ）のような顔を主とした画像を、撮像素子３から読み出される毎回の画像ではなく何回に一回（例えば10回に1回）得るように、シャッタースピードを切替えるよう制御する。顔検出用のシャッタースピードによる画像取得が頻繁になると、被写体の動きが不自然になり、表示画像に影響がでるからである。
【００６３】
図８のフローチャートに戻る。ユーザーの撮影指示があると（ステップＳ３ＹＥＳ）撮影を行う。ここでは、「暗い」または「逆光」または「顔がある」かの各条件（ステップＳ４、ステップＳ２１、ステップＳ２２）に応じて、露出制御を変える。なお、「逆光」や「顔がある」かの判断は、上記ステップＳ１０、ステップＳ１１での顔検出逆光判定の結果を利用する。
【００６４】
まず、シーン判定部１２ｂが被写体の全体が暗いか判定する（ステップＳ４）。シーン判定部１２ｂが全体が暗いと判定したときは（ステップＳ４ＹＥＳ）、ストロボ発光を伴う露出制御により撮影を行う（ステップＳ５）。この時、至近の被写体ならＮＤフィルタや絞り制御を併用するようにしてもよい。一方、暗くなくかつ逆光でないときは（ステップＳ４ＮＯ、ステップＳ２１ＮＯ）、ストロボを使用せずに通常の露出制御により撮影を行う（ステップＳ２５）。また、暗くなく逆光であるが、顔がないときも（ステップＳ４ＮＯ、ステップＳ２１ＹＥＳ、ステップＳ２２ＮＯ）、通常の露出制御により撮影を行う（ステップＳ２５）。これは、図６のようなシーンの場合では、風景が明確に撮影されればよいからである。
【００６５】
そして、図２のシーンのような、全体が暗くなく逆光でかつ顔があるときは（ステップＳ４ＮＯ、ステップＳ２１ＹＥＳ、ステップＳ２２ＹＥＳ）、ＮＤフィルタや絞りの影響を極力排除して、ストロボ６により図４（Ｂ）で説明したようなストロボ発光および露出制御により撮影を行う（ステップＳ２３）。実際の撮影時には、ＡＦＥ部４が、フル画素または指定された画素数による画像データを出力する。そして、画像処理部５が最適化処理を含む画像処理、圧縮を行う（ステップＳ２４）。最適化処理として、 図４（Ｂ）で示したように、最適化処理部５ｂが、画面全体にコントラストが出るような処理や暗い部分の輝度を増幅する処理を行う。
【００６６】
ステップＳ２４では、最適化処理部５ｂは、その輝度／コントラスト強調の値（補正量）を上記モニタ表示の場合（ステップＳ１７、ステップＳ２０）よりも少なくする。つまり画像処理のみで輝度を確保するのではなく、ステップＳ２３のストロボ発光を利用して光を補って、画像強調の量が過度にならないようにして破綻のない画像を得るようにする。図４（Ｂ）で説明したようにである。そして、記録メディア９への記録を行う（ステップS７）。また、ステップＳ５やステップＳ２５による撮影（露出制御）の後は、撮像素子の画素データをすべて読み出し、得られた画像を画像処理部５で画像処理や圧縮を行い（ステップＳ６）、記録メディア９への記録を行う（ステップＳ７）。
【００６７】
図１０は、最適化処理部５ｂによる、モニタ表示時と撮影時の補正の大小を説明する図である。同図（Ａ）は補正前の人物画像、（Ｂ）はモニタ表示時の補正による人物画像、（Ｃ）は撮影時の補正による人物画像を示す。つまり、図９（Ａ）のようなかなり暗いシーンについて、モニタ表示には、被写体がはっきりわかりまた顔が認識できるように、最適化処理部５ｂは、輝度/コントラスト等の補正量を大きくする。一方、撮影時には、最適化処理部５ｂは、その補正量をモニタ表示時よりも少なくする。そして、撮影時には必要ならば輝度の不足分はストロボ照明でカバーするようにする。
【００６８】
撮影時に、モニタ表示時と画像強調処理の条件を変える理由は、実際に撮影される画像は、単に顔の視認性をよくするために、顔の部分のみを重点的にコントラスト強調したり明るくしたりするモニタ用画像とは、その性格が大きく異なるからである。つまり、モニタ表示時には、カメラを構える方向によっては太陽の光が反射したりして視認性が悪くなるので、これを改善するために強い補正にすることも必要になるが、撮影時にはそのような改善は不要で、むしろ背景とのバランスや、顔の陰影の自然な階調を表現する必要とされるからである。顔をよぎって影が出るほどの逆光シーンなども、撮影時に画像強調だけで改善しようとすると不自然な画像になり、ストロボ照射によって自然な描写の画像が得られるようになる。
【００６９】
以上のように上記第１実施形態によれば輝度変化の激しいシーン、例えば強い太陽光下の撮影においても、画像処理やストロボを有効に使い分けることによって、人物の表情や顔の色までを適切に確認した上で、きれいに撮影することが出来る。つまり、大きな輝度差があるシーンでもモニタ画像の視認性が確保され、かつ表現力豊かな画像の撮影も可能になる。
【００７０】
また、人物の判定が困難な逆光下であっても、モニタ用画像表示中のきめ細やかな露出制御や画像強調補正量の切替の工夫により被写体の顔を検出して、被写体の状況を適切に判定できるようになる。そして人物を主被写体と判定されれば、その表情や肌の色を正しく再現すると共に、雰囲気豊かに背景の描写もないがしろにしない写真撮影ができるようになる。
【００７１】
（第２実施形態）
図１１を用いて第2実施形態を説明する。第2実施形態は、最適化処理を施す際の増幅量（輝度補正量）及びまたはコントラスト強調の補正量に応じて、その後の撮影のストロボ発光量を制御するものである。簡単にいうと、撮影に先立つフレーミング状態（モニタ画表示状態）で、本発明の１つの特徴であるシーン判定に応じて、顔のある暗い場所の明るさを補正した表示やコントラストを強調した表示を行い、その後の撮影では、表示時の増幅や強調量に応じてストロボ発光量を制御して、より自然な撮影を可能とするものである。
【００７２】
図１１は、第２実施形態における撮影制御処理の手順を説明するフローチャートである。この撮影制御処理は、プログラムに従ったＭＰＵ１、画像処理部５、最適化処理部５ｂ、露出制御部１２ａ、シーン判定部１２ｂ及び顔検出部１１により主に実行される。なお、本実施形態が適用されるカメラのブロック図は図１と同様なので省略する。
【００７３】
カメラ１０をモニタ画モードに設定し、撮像素子から出力されるモニタ用画像を表示部８に表示させる（ステップＳ３１）。ユーザーはこれを見ながら撮影タイミングや構図を決める。この時、シーン判定部１２ｂがシーンを判定し、顔検出部１１が顔の有無を検出する（ステップＳ３２）。そして、顔部分が逆光かを判断する（ステップＳ３３）。被写体の顔部が逆光なら（ステップＳ３３ＹＥＳ）その表情がよく見えるように、最適化処理部５ｂが表示用画像について最適化処理（暗い部分について輝度補正やコントラスト強調補正の画像処理）を行い、最適化処理された画像が表示部８に表示される（ステップＳ３４）。そして撮影指示を待つ（ステップＳ３５）。
【００７４】
一方、逆光でなければ（ステップＳ３３NO）、最適化表示部５ｂによる輝度補正やコントラスト強調補正をしないで、通常の表示を行う（ステップS４１）。そして、撮影指示を待ち（ステップS４２）、撮影指示を検出したら（ステップS４２ＹＥＳ）通常の露出制御で撮影を行う（ステップS４３）。
【００７５】
ステップＳ３５に戻る。撮影指示を検出したら（ステップＳ３５ＹＥＳ）、ステップＳ３６に進む。以降、ステップＳ３４にて輝度補正あるいは強調補正した量に従って、撮影時に発光させるストロボの光量を切り替える。撮影時には、ステップＳ３４において最適化処理部５ｂによってなされた輝度補正/コントラスト強調補正のすべてまたは一部をストロボの照明が補うようにする。
【００７６】
ステップＳ３４における輝度補正量／コントラスト強調補正量の大きさを判断する（ステップＳ３６）。モニタ用画像での輝度補正量／コントラスト強調補正量が大きいときは（ステップＳ３６ＹＥＳ）、撮影時にストロボ光量大で露出制御して撮影を行う（ステップＳ３７）。この場合、顔部分の輝度が大幅に不足しているので、その全部または大部分をストロボ発光で補うようにする。逆に、モニタ用画像での輝度補正量／コントラスト強調補正量が小さいときは（ステップＳ３６ＮＯ）、ストロボ光量小で露出制御して撮影を行う（ステップＳ３８）。この場合、顔部分の輝度の不足は少ないので、少量のストロボ発光と最適化表示部５ｂによる輝度補正／コントラスト強調補正で補うようにする。また、不足分が少ないのでストロボ発光を停止して、最適化表示部５ｂによる輝度補正／コントラスト強調補正のみで補ってもよい。そして、ステップS３７、S３８、S４３の後は、所定の画像処理を施し、記録する（ステップS４４）。
【００７７】
このように、最適化表示部５ｂによるモニタ用画像での輝度補正量／コントラスト強調補正量に応じてストロボ光量を増減することにより、省エネ効果を追及すると同時に、ストロボ発光によって、画像が不自然になってしまうのを防止している。例えば、逆光下であっても、顔と背景の輝度差が３ＥＶ以下で小さいなら、ストロボの光量は少なくても画像処理によって両方の見え方のバランスをとった調整をすることが出来る。強調した量が小さい場合には、ストロボ光量は少なくすることによって、画像が不自然になってしまうのを防止すると同時に、省エネ効果も発揮される。
【００７８】
一方モニタ用画像で輝度補正量やコントラスト強調補正量が大きい画像は、モニタ用画像であればノイズ等が大きな問題にはならないが、ノイズにより色がおかしくなったり画面も荒れるので、撮影画像には適さない。そこでモニタ用画像で補正量が大きい画像に対しては、撮影時にはストロボ発光の光量を大きくして、ノイズに埋もれがちな部分の信号を増加させる。これにより、画像強調によって得られる撮影画像が不自然になることを防止することができる。
【００７９】
（第３実施形態）
図１２、図１３を用いて第３実施形態を説明する。第３実施形態は、最適化処理と露出制御の新たな組み合わせにより、モニタ画表示の視認性を向上させる制御処理に関する。なお、本実施形態が適用されるカメラのブロック図は 図１と同様なので省略する。
【００８０】
図１２は、最適化処理部５ｂによる輝度分布の変化を説明する図である。対象とするシーンは図２（A）のようなシーンである。また、グラフの見方は、図４と同様なので、同一部分の説明は省略する。図１２（A）は、まず露出制御部１２ａにより露光量を増加させて、視認性を改善する処理である。図１２（B）は、その後、最適化処理部５ｂにより増幅補正等してさらに視認性を改善する処理である。
【００８１】
図１２（A）から説明する。Ｅ０が最適化処理前の屋外部分（風景）の輝度分布（破線）で、Ｆ０が室内部分（人物を含む）の輝度分布（破線）である。 図１１のような、明るい所と暗い所で大きな輝度差があるシーンでは、暗い部分（Ｆ０）がノイズレベルぎりぎりの画像になる場合がある。このような場合には、暗い所（室内）のコントラストΔF0は、明るい所（屋外）のコントラストΔE0に比べてかなり小さくなる。
【００８２】
そこで、まず、露出制御部12ａが露出時間を長くあるいは絞りを開くように制御して露出量を増加させて、屋外部分Ｅ０が飽和レベルぎりぎりになるまで信号を蓄積させる。増加させる露出量は、屋外部分E1が飽和ぎりぎりのレベルになる程度に設定する。これによって、屋外部分Ｅ０がＥ１（実線）まで上がり、室内部分Ｆ０がＦ１（実線）まで上がる。コントラストも、屋外部分でΔＥ０からΔＥ１に増加し、室内部分でΔＦ０からＦ１に増加する。室内部分（暗いところ）のコントラストΔF1も、ノイズレベルより極力大きくすることが出来る。
【００８３】
続いて、図１２（A）で露出増加により改善された明るさカーブに対して、図１２（B）のように最適化処理により更に望ましい明るさにする。最適化処理部５ｂにより、室内部分F1についてゲイン３で増幅して、Ｆ１からＦ２（１点鎖線）にする。逆に、屋外部分についてはゲイン４（マイナス）で逆に減衰させて、E1からE2（１点鎖線）に低下させる。これにより、暗いところ（室内部分）を明るくすると同時に、明るいところ（屋外部分）が飽和するおそれも防ぐことができる。室内部分のノイズも少なくすることができ、屋外室内いずれも視認性よく表示されることになる。
【００８４】
図１３は、図１２で説明した第３実施形態の撮影制御処理を説明するためのフローチャートである。この撮影制御処理は、プログラムに従ったＭＰＵ１、画像処理部５、最適化処理部５ｂ、露出制御部１２ａ、シーン判定部１２ｂ及び顔検出部１１により主に実行される。
【００８５】
まず、撮像素子３から画像信号の取り込みを行う（ステップS５１）。取り込んだ画像信号からシーン判定部１２ｂで撮影シーンを判定する（ステップＳ５２）。その結果、画面中央が暗かったり、画面の下半分が暗かったり、暗い部分が多かったりすることで、顔がありそうかを判断する（ステップS５３）。顔がありそうと判断された場合（ステップS５３ＹＥＳ）、次に顔部分が逆光か順光かを判断する（ステップＳ５４、ステップＳ６１）。
【００８６】
顔が逆光と判断された場合は（ステップＳ５４ＹＥＳ）、ステップＳ５５以下のフローで、図１２で説明したような処理を行う。露出制御部１２ａが露出量を大きくするよう制御する（ステップＳ５５、図１２（Ａ））。そして、最適化処理部５ｂが、顔部（暗いところ）信号の輝度を増加し、コントラスト強調を大きくする（ステップＳ５６、 図１２（Ｂ））。そして、明るい部分の信号については、輝度を低下させ、コントラスト強調もしない（ステップＳ５７、図１２（Ｂ））。そして、以上の処理がされた画像を表示部８に表示する（ステップＳ５８）。
【００８７】
また、シーン判定の結果、得られた画像が、顔がなさそうなシーン（ステップＳ５３ＮＯ）あるいはその顔が順光であると判断すれば（ステップＳ６１ＹＥＳ）、その画像については最適化処理を行わずに表示する（ステップＳ５８）。
【００８８】
一方、顔がありそうで（ステップＳ５３ＹＥＳ）、顔が判定されない場合（ステップＳ６１ＮＯ）には、ステップＳ６２以下のフローを実行する。まず暗い部分の画像を浮かび上がらせるために、露出制御部１２ａがもっと露出量を多くするよう制御する（ステップＳ６２）。そして、顔検出部１１で顔の有無を判定する（ステップＳ６３）。これによって顔の位置の検出が出来れば（ステップＳ６３ＹＥＳ）、この結果を反映させて、ステップＳ５１からのフローを再開する。顔検出部１１で顔検出できなければ、最適化処理部５ｂは、さらに暗い部分の画像を輝度補正/コントラスト強調するよう処理する (ステップＳ６４)。そして、顔検出部１１が顔の有無を判定する（ステップＳ６５）。これによって顔の位置の検出が出来れば（ステップＳ６５ＹＥＳ）、この結果を反映させて、ステップＳ５１からのフローを再開する。
【００８９】
しかし、画像が横顔や後姿などのときは、顔検出部１１が顔の位置を検出できないことがある。この場合は、ＡＦ動作の結果を利用する。撮影レンズのピント位置を変えながら（いわゆるマルチＡＦ動作）、画面内の各位置でのコントラストの変化を検出する（ステップＳ６６）。レンズ位置が一番手前にある時にコントラストが高くなる画面の位置に、一番近い被写体が存在すると推定される。この位置に顔があると仮定する（ステップＳ６７）。そして、ステップＳ５１に戻りフローを再開する。被写体の顔の表情や様子をきれいに見えるようにすることが出来る。
【００９０】
以上、表示（ステップＳ５８）後は撮影指示を待ち（ステップＳ５９）、撮影操作がなされれば（ステップＳ５９ＹＥＳ）、撮影シーケンスを行う。もちろん、撮影時に上記露出や輝度補正を行ってもよい。単にモニタ時の表示だけでなく、こうして得られた顔の位置や明るさに応じた撮影を行えば、きれいな写真撮影が可能となる。
【００９１】
以上により、輝度差の大きいシーンであっても、暗いところはノイズを増やさずに明るくすることができ、明るいところも飽和するおそれなく表示することができる。屋外室内いずれも視認性よく表示されることになる。
【００９２】
（その他の例）
なお上記各実施形態において、上記各実施形態で説明したＭＰＵ１処理や露出制御部１２ａ、シーン判定部１２ｂに関しては、一部または全てをハードウェアで構成してもよい。逆に、最適化処理部５ｂや顔検出部１１等のハードウェアをソフトウェアで構成しても良い。具体的な構成は設計事項である。
【００９３】
そして、ＭＰＵ１による各制御処理は、ＲＯＭ１９に格納されたソフトウェアプログラムがＭＰＵに供給され、供給されたプログラムに従って上記動作させることによって実現されるものである。従って、上記ソフトウェアのプログラム自体がＭＰＵ１の機能を実現することになり、そのプログラム自体は本発明を構成する。
【００９４】
また、そのプログラムを格納する記録媒体も本発明を構成する。記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、各実施形態では本願発明をデジタルカメラに適用した例を説明したが、これに限らず例えば携帯電話のカメラ部に適用しても良い。
【００９５】
さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００９６】
１…ＭＰＵ
１ａ…レリーズスイッチ
１ｂ…モード切替スイッチ
１ｃ…指示スイッチ
２…レンズ部
２ａ…シャッター
２ｂ…シャッター制御部
２ｃ…ＡＦ制御部
３…撮像素子
４…ＡＦＥ部
４ａ…切り出し部
５…画像処理部
５ｂ…最適化処理部
６…ストロボ
８…表示部
８ａ…表示制御部
８ｂ…明るさ調整部
９…記録メディア
９ａ…記録再生制御部
1０…カメラ
１１…顔検出部
１２ａ…露出制御部
１２ｂ…シーン判定部
１９…ＲＯＭ
【技術分野】
【０００１】
この発明は、逆光シーン等の輝度差の大きいシーンの撮影に対応できるカメラに関する。
【背景技術】
【０００２】
逆光のシーンは、撮影の難しいシーンである。撮像素子は銀塩フィルムに比べてダイナミックレンジが狭いので、撮像素子を使用するデジタルカメラでは、より撮影が難しくなる。特に、人物が主被写体である場合、逆光で顔が真っ暗になった失敗写真が撮影されてしまうことが多い。そこで、このように人物が被写体の逆光シーンでは、ストロボ撮影により人物を適正露光にして撮影することが通常行われる。そして、このストロボ撮影は、撮影者がストロボモードを選択する操作や、あるいは撮影者がカメラのシーンモードを逆光シーンに選択する等の操作により実行される。
【０００３】
この逆光シーンの撮影に関しては従来から色々提案がなされている。例えば、対応できる明るさのダイナミックレンジをかせぐために、撮像素子からの出力を画面内の領域ごとに最適なコントラストに制御して、暗い所と明るいところのいずれも見えやすい画像に画像処理で修正する技術が知られている（特許文献１）。
【０００４】
一方最近は顔検出技術が発達しているので（例えば特許文献２）、この顔検出技術の応用によって被写体が人物であるかの判断もできるので、この顔検出技術の利用も期待される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００４−５３０３６８号公報
【特許文献２】特開平０７−０７３２９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記顔検出が精度よく行われるためには、対象となる被写体の輪郭が十分鮮明に表現されていることが前提になる。逆光の状況下では、被写体の像がつぶれてしまうので、顔検出技術により簡単に人物判定ができることは期待できない。
【０００７】
また、上述のような逆光のシーンに代表されるような、明るい部分と暗い部分が混在するような状況での撮影では、通常はストロボを照射することで、暗い被写体を明るくしてその表情などを撮影してきた。撮影の際にはストロボ使用は有効であるが、ストロボでは連続照明ができないので、モニタ画像が見ながら画角決定をするような場面では、このストロボを使ってモニタ画像の視認性を向上させる方法は実用的ではない。また、ストロボ照射は電力消費も大きいので、撮影以外でストロボ照射を多用すると、電池寿命が大幅に短くなってしまうという問題もある。
【０００８】
このような逆光シーンのような明るさが大きく変化するシーンでも、被写体確認が正しくでき、かつ、撮影時にも撮像素子の特性を考慮してこれを美しく描写するカメラが求められる。
【０００９】
本発明は以上の点に鑑み、逆光シーンのような明るさが大きく変化するシーンでも被写体の確認ができ、失敗なく撮影のできるカメラを提供するものである。
【課題を解決するための手段】
【００１０】
本発明における一態様のカメラは、撮像素子から取得された被写体の画像信号に基づく画像を表示する表示部と、上記撮像素子から取得された被写体の画像信号に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在するか否かを判定する撮影シーン判定部と、上記撮影シーン判定部に判定結果に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在する場合、当該暗部領域における被写体の顔の蓋然的存在の有無を判定する顔蓋然的存在判定部と、上記顔蓋然的存在判定部において上記撮影画面において被写体の顔が蓋然的に存在すると判定された場合において、当該被写体の露出量を増加させる処理を施して顔検出を可能とする顔検出部と、上記顔検出部において被写体の顔が検出された場合、上記表示部に表示するモニタ用画像に対する処理として、当該撮影画面における明部領域について輝度を低下させる処理を施す視認性向上部と、を備える。
【００１１】
本発明における他の態様のカメラは、撮像素子から取得された被写体の画像信号に基づく画像を表示する表示部と、上記撮像素子から取得された被写体の画像信号に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在するか否かを判定する撮影シーン判定部と、上記撮影シーン判定部に判定結果に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在する場合、当該暗部領域における被写体の顔の蓋然的存在の有無を判定する顔蓋然的存在判定部と、上記顔蓋然的存在判定部において上記撮影画面において被写体の顔が蓋然的に存在すると判定された場合において、当該被写体の顔の逆光状態を判定する顔逆光判定部と、上記顔逆光判定部において当該被写体の顔の存在が明確に判別できない場合においては当該被写体の露出量を増加させる処理を施して顔検出を可能とする顔検出部と、上記顔検出部において被写体の顔が検出された場合、上記表示部に表示するモニタ用画像に対する処理として、当該撮影画面における明部領域について輝度を低下させる処理を施す視認性向上部と、を備える。
【発明の効果】
【００１２】
本発明によれば、逆光シーンのような明るさが大きく変化するシーンでも被写体の確認ができ、失敗なく撮影できるカメラを提供可能となる。
【図面の簡単な説明】
【００１３】
【図１】第１実施形態において、本発明が適用されるカメラ１０の全体ブロック図。
【図２】第１実施形態において、逆光撮影シーンの一般的な例を示す図。
【図３】第１実施形態において、 図２と同じ撮影シーンで、輝度分布の位置を示す図。
【図４】第１実施形態において、最適化処理部により補正された屋外と室内の明るさとコントラストを示すグラフ。
【図５】第１実施形態において、撮影時のシャッターとストロボ発光のタイミングを示すタイミングチャート。
【図６】第１実施形態において、人物のいない風景を示す図。
【図７】第１実施形態において、顔検出により画面に人物がいるかを判定する例を示す図。
【図８】第１実施形態において、図４による制御処理の手順を説明するためのフローチャート。
【図９】第１実施形態において、メイン画像３１と補助画像３２が同時に表示された画面を示す図。
【図１０】第１実施形態において、モニタ用画像表示時と実際の撮影時における、最適化処理部の補正量の違いによる画像の例を示す図。
【図１１】第２実施形態において、制御処理の手順を説明するためのフローチャート。
【図１２】第３実施形態において、最適化処理部により補正された屋外と室内の明るさとコントラストを示すグラフ。
【図１３】第３実施形態において、制御処理の手順を説明するためのフローチャート。
【発明を実施するための形態】
【００１４】
以下本発明を実施するための最良の形態を図面を参照して説明する。
【００１５】
（第１実施形態）
図１は、本発明が適用されるカメラ１０の全体ブロック図である。カメラ１０にはレンズ部２、シャッター２ａ、撮像素子３、アナログフロントエンド（以下、ＡＦＥと略す）部４、画像処理部５、表示部８、表示制御部８ａ、記録再生制御部９ａおよび記録メディア９が設けられる。
【００１６】
レンズ部２は、入射した被写体２０の像を撮像素子３に結像する。シャッター２ａは、レンズ部２を通過した光が撮像素子３へ入射するのを選択的に遮り、露出量を調整する。撮像素子３は、ＣＭＯＳやＣＣＤからなり、結像された被写体像を画像信号に変換する。
【００１７】
ＡＦＥ部４は、撮像素子３から出力されるアナログの電気信号をデジタルの画像データに変換して出力する。 ＡＦＥ部４には切り出し部４ａが設けられる。切り出し部４ａは、指示に応じて、撮像素子３の出力する信号を取捨選択して、全部の受光面から限られた画素信号のみを抽出したり、また撮像素子３から画素を間引いて抽出する。
【００１８】
表示部８に表示できる画像サイズは限られているので、モニタ用画像表示時には、切り出し部４ａが画素数を削減し、ＡＦＥ部４が削減された画像データを出力する。これによって、高速の表示制御が可能となり、特別に光学ファインダーなどを設けなくとも、撮像素子に入ってきた信号を処理して略リアルタイムに表示されるので、ユーザーはこれを見ながら撮影をすることが出来る。また、ＡＦＥ部４は、実際の撮影時には、撮影画像としてフル画素または設定された画質モードに合わせた画素の画像データを出力する。
【００１９】
画像処理部５は、ＡＦＥ部４から出力された画像データについて、ガンマ（階調補正）や色や階調やシャープネス等の補正処理を行う。また、画像処理部５は、画像処理部内のＪＰＥＧ（Joint Photographic Coding Experts Group）コア部（図示せず）などの静止画像用の圧縮伸長部を有し、撮影時にはこの圧縮伸長部で画像データを圧縮し、再生時には画像データを伸長する。
【００２０】
画像処理部５には、最適化処理部５ｂが設けられる。最適化処理部５ｂは、画像信号に対して輝度の補正やコントラスト強調等の処理を行う。最適化処理部５ｂは、撮像素子から取得された被写体の像信号に対して、画面を適当なサイズで複数の領域に分割して、その中で明るい領域や暗い領域を検出する。そして、その輝度値に基づいて各々の領域に適切に増幅やコントラスト強調等の補正を行う。なお以下では、輝度の増幅補正やコントラスト強調補正を単に補正とも呼ぶ。最適化処理部５ｂは、それぞれの領域に存在する被写体の視認性を向上させるので、以下では視認性向上手段あるいは視認性向上部とも呼ぶ。
【００２１】
記録再生制御部９ａは、撮影時には画像処理部５で圧縮処理された画像データを記録媒体である記録メディア９に記録する。記録メディア９は、画像を保存記録する記録媒体である。また、記録再生制御部９ａは再生時には記録メディア９から画像データを読み出す。
【００２２】
表示部８は、例えば液晶や有機ＥＬ等から構成され、撮影時にはモニタ用画像を表示し、再生時には伸張処理された記録画像を表示する。この表示部８にはバックライトが備えられ、表示制御部８ａには、そのバックライトの明るさを変更する明るさ調整部８ｂが具備されている。これは、自動的またはユーザーの操作によって、バックライトの明るさを変更可能としたものである。
【００２３】
撮影時には、ユーザーは表示部８に表示された画像を見ながら、構図やタイミングを決めて撮影操作を行う。撮像素子３からの画像信号がほぼリアルタイムで表示されるように、ＡＦＥ部４によって表示用サイズに制限された画像データが、画像処理部５で高速に処理されて、表示制御部８ａを介して表示部８に表示される。
【００２４】
また、上述したように、最適化処理部５ｂは、モニタ用画像表示時に被写体の視認性を向上させるように、画像を領域毎に輝度の増幅、コントラスト強調等の補正処理を行う。そして、再生時には、記録メディア９に記録された圧縮データが記録再生制御部９ａにより読み出され、画像処理部５によって伸長され、表示部８に表示される。
【００２５】
また、カメラ１０には、ＭＰＵ１、ＲＯＭ１９、操作部１ａ〜１ｃが設けられる。ＭＰＵ（マイクロプロセッサー）１は、プログラムに従って撮影や再生等カメラ１０の全体の制御を司る制御部である。ＲＯＭ１９は、不揮発性でかつ記録可能なメモリで例えばフラッシュＲＯＭからなり、カメラ１０の制御処理を行う制御用のプログラムが格納される。
【００２６】
操作部１ａ〜１ｃは、撮影者の指示をＭＰＵ１に通知する。操作部の代表例としてスイッチ１ａ、１ｂ、１ｃを図示するが、スイッチ１aはレリーズスイッチ、１ｂは、例えば撮影／再生モード切替や撮影モードや表示モードの切替などのスイッチである。また、スイッチ１ｃは、更なる視認性向上指示用の指示部として、明るいシーンでより表示部パネル８を見やすくするために、バックライト(ＢＬ)を明るくするよう指示し、また最適化処理部５ｂに輝度補正量の増加を指示する指示スイッチである。ＭＰＵ１は、撮影や表示などに対するユーザーのスイッチ１ａ、１ｂ、１ｃ操作を検出する。
【００２７】
更に、カメラ１０には、ＡＦ制御部２ｃ、シャッター制御部２ｂ、ストロボ部６、露出制御部１２ａ、シーン判定部１２ｂおよび顔検出部１１が設けられる。ＡＦ制御部２ｃは、ＭＰＵ１の指示に基づいてレンズ部２のピント位置を制御する。ピント位置の制御は、画像処理部５が撮像素子３から出力される画像データのコントラストを検出してＭＰＵ１に出力し、これに従ってＭＰＵ１がＡＦ制御部２ｃに制御信号を出力することにより実行される。ＭＰＵ１は画像データのコントラスト信号が最大になるようにＡＦ制御部２ｃに制御信号を出力する。
【００２８】
シャッター制御部２ｂはシャッター２ａの開閉を制御する。シャッター制御部２ｂは、明るいときには短い時間でシャッター２ａを閉じ、暗いところでは、長い時間でシャッター２ａを閉じるような制御をして、撮像素子３への入射光量を所定量に保つ露出制御を行う。
【００２９】
ストロボ部６は、露出を補助する補助光照射手段である。ストロボ部６は、Ｘｅ放電発光管のような光源で、流す電流量で光量が制御できるようになっている。被写体が相対的、または絶対的に暗い場合には、強い光を投射するストロボ部６が補助光として利用される。補助光照射手段としては、ストロボに限られず白色ＬＥＤで代替も可能である。
【００３０】
露出制御部１２ａは、ＭＰＵ１で実行される制御機能の1つである。露出制御部１２ａは、ＡＦＥ部４から出力される画像データに基づいて、シャッター２ａの開放時間の切り替えや撮像素子３のデータ読出し（電子シャッター）を制御する。また、露出制御部１２ａは、不図示のＮＤフィルタや絞りやストロボ部６を制御し、画像処理部５のガンマ補正機能と共同して画像の明るさを適正にする。
【００３１】
さらに露出制御部１２ａは、単独でもしくは最適化処理部５ｂと連携して、画像の明るさを適正にする。そして、露出制御部１２ａは、最適化処理部５ｂと連携した視認性向上のための露出制御を、撮影時とモニタ用画像表示時でそれぞれ最適になるようにその条件を変えて実行する。ＣＣＤ等の撮像素子３や表示部８は、従来の写真フィルムやプリントとは異なり、ダイナミックレンジが狭く明暗の細かい記録や表示が難しいので、露出制御部１２ａと最適化処理部５ｂがさらに表示部８のバックライト(ＢＬ)制御も利用して、さまざまなシーンで被写体の視認や識別が可能なように制御する。
【００３２】
シーン判定部１２ｂは、ＭＰＵ１で実行される処理機能の1つである。シーン判定部１２ｂは、ＡＦＥ部４から出力される画像データ（モニタ用画像）を解析して画面全体の明るさを判断して、暗いシーンとか逆光シーンとかのシーン名を判定する。シーン判定部１２ｂは、判定に際して、画面の広い範囲の画像データを利用する。また、シーン判定部１２ｂは、シーン判定に際して、顔検出部１１による顔検出の結果も利用する。そして、露出制御部１２ａはシーン判定結果にも応じてシャッター制御部２ｂや不図示の絞りを制御して、撮像素子３に入射する光量を切り替える。
【００３３】
顔検出部１１は、画像データを利用して、被写体の中に人間の顔が存在するかどうかを検出する。顔検出部１１は、画像処理部５から出力される画像データ（モニタ用画像）に基づいて、ピントあわせ時の情報や先に説明したモニタ用画像の中から特徴点を抽出することによって顔を検出する。そして、顔検出部１１は、顔が検出されたときはその画面内での顔の大きさや位置をＭＰＵ１に出力する。ただし、逆光シーンのような画面内の暗い部分に主被写体が位置する場合には、画像が黒くつぶれて細かい明暗の差異が分からなくなり、そのままでは顔検出部１１が検出できない。このような逆光シーンのときには、最適化処理部５ｂと露出制御部１２ａが、顔検出のために暗い部分を明るくするような処理や制御を行うようにする。詳細は後述する。
【００３４】
図２は、第１実施形態の課題を説明するための図である。図２は逆光撮影シーンの一般的な画面の例を示す図で、画面には明るい屋外の風景３０ａと暗い室内の人物３０ｂの両方が存在している。図２（Ａ）が、この画面で撮影される望ましいシーンを示す図である。つまり、明るい屋外の風景３０ａと暗い室内の人物３０ｂが共に美しく描写されるが望ましい撮影である。しかし、従来は、撮像素子３のダイナミックレンジの限界によって、撮影される画像は、明るい部分（風景30ａ）を重視した画像（ 図２（Ｂ）参照）か、または暗い部分（人物30ｂ）を重視した画像（図２（Ｃ）参照）のいずれかしか得ることが出来なかった。
【００３５】
同様に、撮影時に表示部８に表示されるモニタ用画像についても、従来は、撮像素子３および表示部８のダイナミックレンジの限界によって、明るい部分（風景３０ａ）を重視した画像（ 図２（Ｂ）参照）か、または暗い部分（人物30ｂ）を重視した画像（ 図２（Ｃ）参照）のいずれかしか表示することが出来なかった。つまり、図２（Ｂ）の画像では人物３０ｂが黒くつぶれてしまい、図２（Ｃ）の画像では風景３０ａが白く飛んでしまうような画像になっていた。本実施形態のカメラ１０は、この課題を解決して、明るい屋外の風景３０ａと暗い室内の人物３０ｂが共に美しく描写するものである。
【００３６】
図３は図２と同じ撮影シーンで、図４で示す画面の輝度分布の抽出位置をライン３０ｃで示す。図４は、このライン３０ｃにおける画面の輝度分布のグラフである。
【００３７】
図４（Ａ），（Ｂ）は、視認性向上手段である最適化処理部５ｂによる、撮影時の制御処理を説明するグラフである。最適化処理部５ｂによる画像の視認性向上の処理は、モニタ用画像の表示時および実際の撮影時の両方で行われる。図４（Ａ），（Ｂ）はいずれも、図３のライン３０ｃに沿った輝度分布をグラフ化した図で、横軸が画面の水平方向の位置、縦軸が明るさ（輝度値）を示す。明るさは、上方向が明るい方向である。Ｌ（細い１点鎖線）は撮像素子３のノイズレベルを示す。つまり、Ｌ以下は、ノイズ領域で画像の識別は困難な領域である。
【００３８】
図４（Ａ）は、最適化処理部５ｂによる第1の処理を説明する図である。破線（Ｅ０、Ｆ０）が、処理前の輝度カーブで、Ｅ０が風景３０ａ、Ｆ０が人物３０ｂに対応する輝度カーブである。また、ΔＥ０、ΔＦ０はそれぞれの輝度差（コントラスト）を示す。処理前の明るさカーブは、風景３０ａが適正輝度レベルになるよう露出制御されて得られた画像によるカーブである。そして、この場面では人物３０ｂの部分であるＦ０はノイズレベルＬと同等な明るさしか得られず、黒くつぶれてしまうとする（ 図２（Ｂ）参照）。
【００３９】
そこでまず、最適化処理部５ｂが、風景３０ａの部分については所定の補正量であるゲイン１で増幅補正を行い、風景３０ａの輝度をＥ０からＥ１に上げる。さらに、最適化処理部５ｂが、風景３０ａについてコントラスト強調処理も行い、コントラストをΔＥ０からΔＥ１に向上させる。
【００４０】
一方、人物３０ｂのF０については、ゲイン１によってF０からF1に上昇させても、このＦ１がノイズレベルより十分に高くなる可能性は少ない。つまり、このレベルでは十分に視認性が確保できない可能性が高い。なぜなら、ゲイン1の量は風景３０ａに対応する補正量なので、ゲイン１は、それほど大きな値はとれない。なぜなら、風景３０ａはある程度の明るさが確保されているので、ゲイン１は風景３０ａが飽和しない程度の比較的小さなゲインしかとりえないからである。
【００４１】
そこで、最適化処理部５ｂが、人物３０ｂについては、ゲイン１より大きな補正値であるゲイン２で補正処理を行い、輝度カーブをＦ０からＦ２に上げる。あわせて、最適化処理部５ｂは、風景３０ａより大きなコントラスト強調処理も行い、コントラストをΔＦ０からΔＦ２に向上させる。これにより室内の視認性が十分に向上する。これによって、ようやく、人の目で見た感じに近い画像（ 図２（ａ））が得られるようになる。
【００４２】
このように、第1の処理では、最適化処理部５ｂ（視認性向上手段）が、明るい部位と暗い部位で、輝度補正量やコントラスト強調の補正量を異ならせて処理を行うので、画面の一部だけでなく画面全体で、視認性が向上する。輝度差の大きい画面に対して特に有効である。なお、この処理は、モニタ用画像と撮影時の画像の両方に適用してもよいし、あるいはモニタ用画像のみに適用してもよい。なお、後述するようにモニタ用画像と撮影時の画像の両方に適用する場合には、モニタ用画像への補正量を撮影時の画像への補正量よりも大きくするようにする。コントラスト強調量についても同様である。
【００４３】
次に、ストロボ撮影時に最適化処理部５ｂを併用させる第2の処理を説明する。第２の処理は、主に撮影時の画像データに対する処理である。図４（Ｂ）は、ストロボ撮影時の最適化処理部５ｂによる処理を説明する図である。上記 図４（Ａ）の第1の処理の例では、最適化処理部５ｂによる画像処理のみで輝度を上げるので、補正量が大きいとその画像が不自然になるおそれがある。また、暗い部分（室内）の輝度がノイズレベルと同等かそれ以下の場合には、ノイズもともに増幅してしまうので、増幅（補正）によるノイズ増加によりかえって汚い画像が目立つばかりになってしまうおそれもある。これは、実際の撮影時に大きな問題になる。そこで、第2の処理では、ストロボ照明を最適化処理に組み合わせてこの問題を解決する。
【００４４】
図４（Ａ）と同様に、図４（Ｂ）の1点鎖線（Ｅ０、Ｆ０）のカーブが、処理前の輝度カーブである。まず、最適化処理部５ｂは、風景部分および人物部分について、第1の処理と同様なゲイン１で輝度補正を行う。これにより、屋外部分（風景）の輝度はＥ０からＥ１に上がり、室内部分（人物）の輝度もＦ０からＦ１に上がる。また、最適化処理部５ｂは、屋外部分および室内部分について、コントラスト強調補正処理も行う。これにより、屋外部分のコントラストがΔＥ０からΔＥ１に向上し、室内部分のコントラストがΔＦ０からΔＦ１に向上する。
【００４５】
そして、前述したようにこれだけでは、室内部分の視認性が不十分な可能性が高いので、本例ではストロボ発光を加える。ストロボ発光により、人物部分の輝度がＦ１からＦｓｔに向上する。また、コントラストも、ΔＦ１からΔＦｓｔに向上する。一方、屋外部分は距離の関係でストロボ光が到達しないので、輝度はＥ１のままで変化せず、コントラストもΔＥ１のままで変化しない。なお、上記の説明では、輝度補正とコントラスト強調補正の後にストロボ発光処理を行うよう説明したが、これは説明の都合上であって、実際の撮影手順は逆である。
【００４６】
このように、第２の処理では、さらに屋外の風景および室内の人物両方の視認性が向上する。また、低輝度の部分が、ストロボによる光が補われて輝度が増加するので、電気的な補正だけによって実際の撮影画像がきたなくなることも防止される。つまり、ごく自然な図２（ａ）のような画像が得られることとなる。なお、この処理も、撮影時だけでなくモニタ画表示時に適用してもよい。ただし、ストロボ発光を利用するとモニタ画像が間欠的な画像になるので、ＬＥＤ照明のような連続発光可能な照明手段がより望ましい。
【００４７】
図５は、図４（Ｂ）で説明した撮影時のシャッターとストロボ発光のタイミングを示すタイミングチャートである。シャッターのタイミングチャートでは、ＬＯＷが開放を示す。ストロボ光の発光時間が短時間なので、ストロボ発光にあわせて上記のシャッター時間も短くするようにする。つまり、上記撮影ではシャッターも高速になる方向に制御するのが望ましい。シャッター開放時間（ＬＯＷ）を短くすれば、露出に対するストロボ光の寄与率を相対的に大きくできるからである。
【００４８】
図６は、逆光であっても風景のみで人物のいないシーンを示す図である。このようなシーンでは、最適化処理部５ｂは最適化処理を行わない。最適化処理部５ｂは、図３のように逆光の部分で人物が検出されたようなシーンで最適化処理を行い、上記露出制御を行うようにする。風景のみで逆光下に人物がいないようなシーン、つまり風景を浮き出させるような写真においては、上記のような露出制御を行わせる必要は通常ないからである。こうしたシーンでは、余計な光の補助をさせないことで暗い部分を際立たせる効果も出せ、さらに、ストロボ発光をさせないことはエネルギーの節約にもなるからである。
【００４９】
図７は、顔検出部１１による顔検出の例を簡単に説明する図である。この顔検出により画面に人物がいるかが判定される。人物の存在を判定する手段は色々あるが、ここでは、画面内に顔のパターンがあるかを検出して人物の有無を判定する方法を説明する。 図７（Ａ）は、基準となる顔類似パターンの一例である。（Ａ−１）、（Ａ−２）、（Ａ−３）は、顔サイズの異なる顔類似パターンで、このような顔類似パターン（Ａ−１）、（Ａ−２）、（Ａ−３）は、ＲＯＭ１９に予め記憶されている。
【００５０】
図７（Ｂ）のシーンは図２と同一シーンである。顔検出部１１は、（Ｂ）のシーンで、基準となる顔類似パターン（Ａ−１）、（Ａ−２）、（Ａ−３）を画面内で走査させ、それがマッチングする部分があれば、撮影画面に人物がいると判定する。ここでは、Ａ−１の顔類似パターンが適合した場合である。
【００５１】
図８は、上記最適化処理を中心にした撮影時の制御処理の手順を説明するフローチャートである。この制御処理は、プログラムに従ったＭＰＵ１、画像処理部５、最適化処理部５ｂ、露出制御部１２ａ、シーン判定部１２ｂ及び顔検出部１１等により主に実行される。
【００５２】
まず、カメラ１０のモードをモニタ画モードに設定する（ステップＳ１）。モニタ画モードは、撮影時に撮像素子の出力をモニタ用画像として表示部８に表示するモードである。このモードでは画像表示に遅れが生じないように撮像素子３や他のシステムが駆動制御される。ここで得られた画像データに基づいて、レンズ部２のピント制御や、露出制御部１２ａによる露出の制御も行われる(ステップＳ２)。
【００５３】
次にレリーズ操作を待つが（ステップS３）、撮影に先立ち（ステップＳ３ＮＯ）、顔検出及び逆光判定を行う（ステップＳ１０）。顔検出は顔検出部１１により、逆光判定はシーン判定部１２ｂによりそれぞれ行われる。そして、顔検出部１１により顔検出ができたかを判断する（ステップＳ１１）。顔検出ができたときはその旨を表示部８に表示させる（ステップＳ１２）。そして、顔検出用の類似パターンを図７（Ａ）に示したようなデフォルトの顔類似パターンから、今回検出された顔類似パターン（今回検出された顔の形に近づけたもの）に切替える（ステップＳ１３）。これによって、二回目以降の検出スピードを速くすることが可能となる。つまり、基準として持っていたパターン（基準顔類似パターン）から新しい顔類似パターンに切り換えて検出するので、顔が動かないシーンでは顔の判定をスピーディに行うことができ、顔の位置や角度が変化する時でも、画面内の前回検出位置近傍を重点的に検出することにより、顔部を追尾するような効果が得られる。
【００５４】
そして、顔が検出されたときは（ステップＳ１１ＹＥＳ）、図４（Ａ）で示したように、最適化処理部５ｂが、顔の部分や人物に対して、その明るさ補正やコントラストを強調する最適化処理を行う（ステップS１７）。最適化処理され、顔の部分の明るさやコントラストが強調された画像を表示部８に表示させる。このレリーズに先立つモニタ表示時には、常時画像が切り替わるので、多少のノイズによる乱れは気にならず、顔の表情が見えるかどうかが重要になる。そこで、視認性を高める最適化処理を行い、表示部８上で被写体の人物をよく見えるようにする。また、屋外での撮影時には、太陽光が表示部８の表面パネルに反射等するので、細かいノイズレベルは気にならないことも多いからである。
【００５５】
モニタ表示時には、上記最適化処理を更に強くしたい場合もある。この状況を不図示のセンサーで自動的に判断したり、あるいはユーザーがもっとよく見たいとき用の操作ボタン（スイッチ１ｃ）の操作で判断する（ステップＳ１８）。この操作を検出して（ステップＳ１８ＹＥＳ）、表示制御部８ａの明るさ制御部８ｂが表示部８のバックライト(ＢＬ)をもっと明るくするよう制御させる(ステップＳ１９)。また、それと同時に、最適化処理部５ｂが、更に暗い部分の補正量を上げたりコントラスト値をより強調させる処理を行う（ステップＳ２０）。これを強い最適化処理とも呼ぶ。
【００５６】
このように顔が検出された時には、極力表示部で顔を見えやすくする表示を行って、ステップＳ２に戻る。ステップＳ２では、検出された顔情報を利用して、顔の部分を重視したピント制御や露出制御を行うようにしてもよい。そして、このループを循環しながらレリーズ操作を待つ（ステップＳ３）。
【００５７】
一方、ステップＳ１１で顔の検出が出来なかった時には（ステップＳ１１ＮＯ）、顔検出ができるようにするための処理を行う。例えば図２（Ｂ）のような顔が暗すぎて顔検出ができない画像について、画像の露出や処理を切替えて、図２（Ｃ）のように背景を白く飛ばして、暗い所を重視して顔検出のできるような画像にするのである。
【００５８】
まず、露出制御部１２ａにより、顔検出用に露出時間を長くしたりして、露光量を増加させる(ステップＳ１４）。さらに、最適化処理部５ｂは、顔検出用の強調補正処理（増幅補正やコントラスト強調など）を行う（ステップＳ１５）。具体的には、最適化処理部５ｂは、図４（Ａ）で説明したような、暗い部分の像信号を増幅補正や強調補正を行う。また場合によっては、図４（Ｂ）で説明したように、ストロボ照射やＬＥＤ光源を有していれば連続的に照射させて、露出を補って、顔検出しやすいような制御を行ってもよい。なお、上記長時間露出、増幅補正／コントラスト強調補正、照明の各処理の組み合わせや取捨は、場面に応じた選択事項である。
【００５９】
以上により、背景を白く飛ばして、暗い所を重視した画像である 図２（Ｃ）のような画像あるいはそれに近い画像が得られ、これにより、暗い部分に顔があっても図２（Ｂ）のような画像では得られなかった明瞭な顔部の像を得ることができ、顔検出が容易となる。なお、この画像はモニタ用画像なので背景部分が飽和しても撮影への直接の影響はない。顔検出ができた場合は、ステップＳ１６をＹＥＳに分岐して、ステップＳ１２以降に進む。一方、顔検出ができないときは（ステップＳ１６ＮＯ）、ステップＳ２に戻る。
【００６０】
なお、こうして顔検出が出来たときには、上記顔検出用の強調補正処理された画像を補助画像３２として表示部８に表示させてもよい。図９は、通常表示される画像であるメイン画像３１と補助画像３２が同時に表示された画面を示す図である。ここで補助画像としては、ステップＳ１７による顔表示用に最適化処理された画像、ステップＳ２０による強い最適化処理された画像、またはステップＳ１５による顔検出用に強調処理された画像の３種類がある。補助画像として、ステップＳ１７による顔表示用に最適化処理された画像、または ステップＳ２０による強い最適化処理された画像を表示させる場合には、撮像素子３から得られた画像に対して最適化処理をする画像と処理しない画像と同時に表示させればよい。
【００６１】
一方、ステップＳ１５による顔検出用に強調処理された画像を補助画像として表示させる場合には、２つの画像のシャッタースピードが異なり後の画像処理だけで対応することができないので、撮像素子から得る画像をメイン画像３１と補助画像３２用の２つのシャッタースピードで交互に得るようにする。そして、それぞれ対応する処理をして、その処理がされた２つの画像を表示させる。ただし、２つの画像の読み出し回数の割合は、必ずしも１対１にする必要はない。なお、読み出す画像に合わせたシャッタースピードの切替は、露出制御部１２ａによって制御される。このような工夫によって、ユーザーは背景と人物の表情とを同時に確認しながら撮影することも可能となる。
【００６２】
一方、図９のような補助画像を同時に表示させないモードが選択された時に、ステップＳ１５による顔検出用に強調処理された画像を必要とする場合には、露出制御部１２ａは、図２（Ｃ）のような顔を主とした画像を、撮像素子３から読み出される毎回の画像ではなく何回に一回（例えば10回に1回）得るように、シャッタースピードを切替えるよう制御する。顔検出用のシャッタースピードによる画像取得が頻繁になると、被写体の動きが不自然になり、表示画像に影響がでるからである。
【００６３】
図８のフローチャートに戻る。ユーザーの撮影指示があると（ステップＳ３ＹＥＳ）撮影を行う。ここでは、「暗い」または「逆光」または「顔がある」かの各条件（ステップＳ４、ステップＳ２１、ステップＳ２２）に応じて、露出制御を変える。なお、「逆光」や「顔がある」かの判断は、上記ステップＳ１０、ステップＳ１１での顔検出逆光判定の結果を利用する。
【００６４】
まず、シーン判定部１２ｂが被写体の全体が暗いか判定する（ステップＳ４）。シーン判定部１２ｂが全体が暗いと判定したときは（ステップＳ４ＹＥＳ）、ストロボ発光を伴う露出制御により撮影を行う（ステップＳ５）。この時、至近の被写体ならＮＤフィルタや絞り制御を併用するようにしてもよい。一方、暗くなくかつ逆光でないときは（ステップＳ４ＮＯ、ステップＳ２１ＮＯ）、ストロボを使用せずに通常の露出制御により撮影を行う（ステップＳ２５）。また、暗くなく逆光であるが、顔がないときも（ステップＳ４ＮＯ、ステップＳ２１ＹＥＳ、ステップＳ２２ＮＯ）、通常の露出制御により撮影を行う（ステップＳ２５）。これは、図６のようなシーンの場合では、風景が明確に撮影されればよいからである。
【００６５】
そして、図２のシーンのような、全体が暗くなく逆光でかつ顔があるときは（ステップＳ４ＮＯ、ステップＳ２１ＹＥＳ、ステップＳ２２ＹＥＳ）、ＮＤフィルタや絞りの影響を極力排除して、ストロボ６により図４（Ｂ）で説明したようなストロボ発光および露出制御により撮影を行う（ステップＳ２３）。実際の撮影時には、ＡＦＥ部４が、フル画素または指定された画素数による画像データを出力する。そして、画像処理部５が最適化処理を含む画像処理、圧縮を行う（ステップＳ２４）。最適化処理として、 図４（Ｂ）で示したように、最適化処理部５ｂが、画面全体にコントラストが出るような処理や暗い部分の輝度を増幅する処理を行う。
【００６６】
ステップＳ２４では、最適化処理部５ｂは、その輝度／コントラスト強調の値（補正量）を上記モニタ表示の場合（ステップＳ１７、ステップＳ２０）よりも少なくする。つまり画像処理のみで輝度を確保するのではなく、ステップＳ２３のストロボ発光を利用して光を補って、画像強調の量が過度にならないようにして破綻のない画像を得るようにする。図４（Ｂ）で説明したようにである。そして、記録メディア９への記録を行う（ステップS７）。また、ステップＳ５やステップＳ２５による撮影（露出制御）の後は、撮像素子の画素データをすべて読み出し、得られた画像を画像処理部５で画像処理や圧縮を行い（ステップＳ６）、記録メディア９への記録を行う（ステップＳ７）。
【００６７】
図１０は、最適化処理部５ｂによる、モニタ表示時と撮影時の補正の大小を説明する図である。同図（Ａ）は補正前の人物画像、（Ｂ）はモニタ表示時の補正による人物画像、（Ｃ）は撮影時の補正による人物画像を示す。つまり、図９（Ａ）のようなかなり暗いシーンについて、モニタ表示には、被写体がはっきりわかりまた顔が認識できるように、最適化処理部５ｂは、輝度/コントラスト等の補正量を大きくする。一方、撮影時には、最適化処理部５ｂは、その補正量をモニタ表示時よりも少なくする。そして、撮影時には必要ならば輝度の不足分はストロボ照明でカバーするようにする。
【００６８】
撮影時に、モニタ表示時と画像強調処理の条件を変える理由は、実際に撮影される画像は、単に顔の視認性をよくするために、顔の部分のみを重点的にコントラスト強調したり明るくしたりするモニタ用画像とは、その性格が大きく異なるからである。つまり、モニタ表示時には、カメラを構える方向によっては太陽の光が反射したりして視認性が悪くなるので、これを改善するために強い補正にすることも必要になるが、撮影時にはそのような改善は不要で、むしろ背景とのバランスや、顔の陰影の自然な階調を表現する必要とされるからである。顔をよぎって影が出るほどの逆光シーンなども、撮影時に画像強調だけで改善しようとすると不自然な画像になり、ストロボ照射によって自然な描写の画像が得られるようになる。
【００６９】
以上のように上記第１実施形態によれば輝度変化の激しいシーン、例えば強い太陽光下の撮影においても、画像処理やストロボを有効に使い分けることによって、人物の表情や顔の色までを適切に確認した上で、きれいに撮影することが出来る。つまり、大きな輝度差があるシーンでもモニタ画像の視認性が確保され、かつ表現力豊かな画像の撮影も可能になる。
【００７０】
また、人物の判定が困難な逆光下であっても、モニタ用画像表示中のきめ細やかな露出制御や画像強調補正量の切替の工夫により被写体の顔を検出して、被写体の状況を適切に判定できるようになる。そして人物を主被写体と判定されれば、その表情や肌の色を正しく再現すると共に、雰囲気豊かに背景の描写もないがしろにしない写真撮影ができるようになる。
【００７１】
（第２実施形態）
図１１を用いて第2実施形態を説明する。第2実施形態は、最適化処理を施す際の増幅量（輝度補正量）及びまたはコントラスト強調の補正量に応じて、その後の撮影のストロボ発光量を制御するものである。簡単にいうと、撮影に先立つフレーミング状態（モニタ画表示状態）で、本発明の１つの特徴であるシーン判定に応じて、顔のある暗い場所の明るさを補正した表示やコントラストを強調した表示を行い、その後の撮影では、表示時の増幅や強調量に応じてストロボ発光量を制御して、より自然な撮影を可能とするものである。
【００７２】
図１１は、第２実施形態における撮影制御処理の手順を説明するフローチャートである。この撮影制御処理は、プログラムに従ったＭＰＵ１、画像処理部５、最適化処理部５ｂ、露出制御部１２ａ、シーン判定部１２ｂ及び顔検出部１１により主に実行される。なお、本実施形態が適用されるカメラのブロック図は図１と同様なので省略する。
【００７３】
カメラ１０をモニタ画モードに設定し、撮像素子から出力されるモニタ用画像を表示部８に表示させる（ステップＳ３１）。ユーザーはこれを見ながら撮影タイミングや構図を決める。この時、シーン判定部１２ｂがシーンを判定し、顔検出部１１が顔の有無を検出する（ステップＳ３２）。そして、顔部分が逆光かを判断する（ステップＳ３３）。被写体の顔部が逆光なら（ステップＳ３３ＹＥＳ）その表情がよく見えるように、最適化処理部５ｂが表示用画像について最適化処理（暗い部分について輝度補正やコントラスト強調補正の画像処理）を行い、最適化処理された画像が表示部８に表示される（ステップＳ３４）。そして撮影指示を待つ（ステップＳ３５）。
【００７４】
一方、逆光でなければ（ステップＳ３３NO）、最適化表示部５ｂによる輝度補正やコントラスト強調補正をしないで、通常の表示を行う（ステップS４１）。そして、撮影指示を待ち（ステップS４２）、撮影指示を検出したら（ステップS４２ＹＥＳ）通常の露出制御で撮影を行う（ステップS４３）。
【００７５】
ステップＳ３５に戻る。撮影指示を検出したら（ステップＳ３５ＹＥＳ）、ステップＳ３６に進む。以降、ステップＳ３４にて輝度補正あるいは強調補正した量に従って、撮影時に発光させるストロボの光量を切り替える。撮影時には、ステップＳ３４において最適化処理部５ｂによってなされた輝度補正/コントラスト強調補正のすべてまたは一部をストロボの照明が補うようにする。
【００７６】
ステップＳ３４における輝度補正量／コントラスト強調補正量の大きさを判断する（ステップＳ３６）。モニタ用画像での輝度補正量／コントラスト強調補正量が大きいときは（ステップＳ３６ＹＥＳ）、撮影時にストロボ光量大で露出制御して撮影を行う（ステップＳ３７）。この場合、顔部分の輝度が大幅に不足しているので、その全部または大部分をストロボ発光で補うようにする。逆に、モニタ用画像での輝度補正量／コントラスト強調補正量が小さいときは（ステップＳ３６ＮＯ）、ストロボ光量小で露出制御して撮影を行う（ステップＳ３８）。この場合、顔部分の輝度の不足は少ないので、少量のストロボ発光と最適化表示部５ｂによる輝度補正／コントラスト強調補正で補うようにする。また、不足分が少ないのでストロボ発光を停止して、最適化表示部５ｂによる輝度補正／コントラスト強調補正のみで補ってもよい。そして、ステップS３７、S３８、S４３の後は、所定の画像処理を施し、記録する（ステップS４４）。
【００７７】
このように、最適化表示部５ｂによるモニタ用画像での輝度補正量／コントラスト強調補正量に応じてストロボ光量を増減することにより、省エネ効果を追及すると同時に、ストロボ発光によって、画像が不自然になってしまうのを防止している。例えば、逆光下であっても、顔と背景の輝度差が３ＥＶ以下で小さいなら、ストロボの光量は少なくても画像処理によって両方の見え方のバランスをとった調整をすることが出来る。強調した量が小さい場合には、ストロボ光量は少なくすることによって、画像が不自然になってしまうのを防止すると同時に、省エネ効果も発揮される。
【００７８】
一方モニタ用画像で輝度補正量やコントラスト強調補正量が大きい画像は、モニタ用画像であればノイズ等が大きな問題にはならないが、ノイズにより色がおかしくなったり画面も荒れるので、撮影画像には適さない。そこでモニタ用画像で補正量が大きい画像に対しては、撮影時にはストロボ発光の光量を大きくして、ノイズに埋もれがちな部分の信号を増加させる。これにより、画像強調によって得られる撮影画像が不自然になることを防止することができる。
【００７９】
（第３実施形態）
図１２、図１３を用いて第３実施形態を説明する。第３実施形態は、最適化処理と露出制御の新たな組み合わせにより、モニタ画表示の視認性を向上させる制御処理に関する。なお、本実施形態が適用されるカメラのブロック図は 図１と同様なので省略する。
【００８０】
図１２は、最適化処理部５ｂによる輝度分布の変化を説明する図である。対象とするシーンは図２（A）のようなシーンである。また、グラフの見方は、図４と同様なので、同一部分の説明は省略する。図１２（A）は、まず露出制御部１２ａにより露光量を増加させて、視認性を改善する処理である。図１２（B）は、その後、最適化処理部５ｂにより増幅補正等してさらに視認性を改善する処理である。
【００８１】
図１２（A）から説明する。Ｅ０が最適化処理前の屋外部分（風景）の輝度分布（破線）で、Ｆ０が室内部分（人物を含む）の輝度分布（破線）である。 図１１のような、明るい所と暗い所で大きな輝度差があるシーンでは、暗い部分（Ｆ０）がノイズレベルぎりぎりの画像になる場合がある。このような場合には、暗い所（室内）のコントラストΔF0は、明るい所（屋外）のコントラストΔE0に比べてかなり小さくなる。
【００８２】
そこで、まず、露出制御部12ａが露出時間を長くあるいは絞りを開くように制御して露出量を増加させて、屋外部分Ｅ０が飽和レベルぎりぎりになるまで信号を蓄積させる。増加させる露出量は、屋外部分E1が飽和ぎりぎりのレベルになる程度に設定する。これによって、屋外部分Ｅ０がＥ１（実線）まで上がり、室内部分Ｆ０がＦ１（実線）まで上がる。コントラストも、屋外部分でΔＥ０からΔＥ１に増加し、室内部分でΔＦ０からＦ１に増加する。室内部分（暗いところ）のコントラストΔF1も、ノイズレベルより極力大きくすることが出来る。
【００８３】
続いて、図１２（A）で露出増加により改善された明るさカーブに対して、図１２（B）のように最適化処理により更に望ましい明るさにする。最適化処理部５ｂにより、室内部分F1についてゲイン３で増幅して、Ｆ１からＦ２（１点鎖線）にする。逆に、屋外部分についてはゲイン４（マイナス）で逆に減衰させて、E1からE2（１点鎖線）に低下させる。これにより、暗いところ（室内部分）を明るくすると同時に、明るいところ（屋外部分）が飽和するおそれも防ぐことができる。室内部分のノイズも少なくすることができ、屋外室内いずれも視認性よく表示されることになる。
【００８４】
図１３は、図１２で説明した第３実施形態の撮影制御処理を説明するためのフローチャートである。この撮影制御処理は、プログラムに従ったＭＰＵ１、画像処理部５、最適化処理部５ｂ、露出制御部１２ａ、シーン判定部１２ｂ及び顔検出部１１により主に実行される。
【００８５】
まず、撮像素子３から画像信号の取り込みを行う（ステップS５１）。取り込んだ画像信号からシーン判定部１２ｂで撮影シーンを判定する（ステップＳ５２）。その結果、画面中央が暗かったり、画面の下半分が暗かったり、暗い部分が多かったりすることで、顔がありそうかを判断する（ステップS５３）。顔がありそうと判断された場合（ステップS５３ＹＥＳ）、次に顔部分が逆光か順光かを判断する（ステップＳ５４、ステップＳ６１）。
【００８６】
顔が逆光と判断された場合は（ステップＳ５４ＹＥＳ）、ステップＳ５５以下のフローで、図１２で説明したような処理を行う。露出制御部１２ａが露出量を大きくするよう制御する（ステップＳ５５、図１２（Ａ））。そして、最適化処理部５ｂが、顔部（暗いところ）信号の輝度を増加し、コントラスト強調を大きくする（ステップＳ５６、 図１２（Ｂ））。そして、明るい部分の信号については、輝度を低下させ、コントラスト強調もしない（ステップＳ５７、図１２（Ｂ））。そして、以上の処理がされた画像を表示部８に表示する（ステップＳ５８）。
【００８７】
また、シーン判定の結果、得られた画像が、顔がなさそうなシーン（ステップＳ５３ＮＯ）あるいはその顔が順光であると判断すれば（ステップＳ６１ＹＥＳ）、その画像については最適化処理を行わずに表示する（ステップＳ５８）。
【００８８】
一方、顔がありそうで（ステップＳ５３ＹＥＳ）、顔が判定されない場合（ステップＳ６１ＮＯ）には、ステップＳ６２以下のフローを実行する。まず暗い部分の画像を浮かび上がらせるために、露出制御部１２ａがもっと露出量を多くするよう制御する（ステップＳ６２）。そして、顔検出部１１で顔の有無を判定する（ステップＳ６３）。これによって顔の位置の検出が出来れば（ステップＳ６３ＹＥＳ）、この結果を反映させて、ステップＳ５１からのフローを再開する。顔検出部１１で顔検出できなければ、最適化処理部５ｂは、さらに暗い部分の画像を輝度補正/コントラスト強調するよう処理する (ステップＳ６４)。そして、顔検出部１１が顔の有無を判定する（ステップＳ６５）。これによって顔の位置の検出が出来れば（ステップＳ６５ＹＥＳ）、この結果を反映させて、ステップＳ５１からのフローを再開する。
【００８９】
しかし、画像が横顔や後姿などのときは、顔検出部１１が顔の位置を検出できないことがある。この場合は、ＡＦ動作の結果を利用する。撮影レンズのピント位置を変えながら（いわゆるマルチＡＦ動作）、画面内の各位置でのコントラストの変化を検出する（ステップＳ６６）。レンズ位置が一番手前にある時にコントラストが高くなる画面の位置に、一番近い被写体が存在すると推定される。この位置に顔があると仮定する（ステップＳ６７）。そして、ステップＳ５１に戻りフローを再開する。被写体の顔の表情や様子をきれいに見えるようにすることが出来る。
【００９０】
以上、表示（ステップＳ５８）後は撮影指示を待ち（ステップＳ５９）、撮影操作がなされれば（ステップＳ５９ＹＥＳ）、撮影シーケンスを行う。もちろん、撮影時に上記露出や輝度補正を行ってもよい。単にモニタ時の表示だけでなく、こうして得られた顔の位置や明るさに応じた撮影を行えば、きれいな写真撮影が可能となる。
【００９１】
以上により、輝度差の大きいシーンであっても、暗いところはノイズを増やさずに明るくすることができ、明るいところも飽和するおそれなく表示することができる。屋外室内いずれも視認性よく表示されることになる。
【００９２】
（その他の例）
なお上記各実施形態において、上記各実施形態で説明したＭＰＵ１処理や露出制御部１２ａ、シーン判定部１２ｂに関しては、一部または全てをハードウェアで構成してもよい。逆に、最適化処理部５ｂや顔検出部１１等のハードウェアをソフトウェアで構成しても良い。具体的な構成は設計事項である。
【００９３】
そして、ＭＰＵ１による各制御処理は、ＲＯＭ１９に格納されたソフトウェアプログラムがＭＰＵに供給され、供給されたプログラムに従って上記動作させることによって実現されるものである。従って、上記ソフトウェアのプログラム自体がＭＰＵ１の機能を実現することになり、そのプログラム自体は本発明を構成する。
【００９４】
また、そのプログラムを格納する記録媒体も本発明を構成する。記録媒体としては、フラッシュメモリ以外でも、ＣＤ−ＲＯＭ、ＤＶＤ等の光学記録媒体、ＭＤ等の磁気記録媒体、テープ媒体、ＩＣカード等の半導体メモリ等を用いることができる。また、各実施形態では本願発明をデジタルカメラに適用した例を説明したが、これに限らず例えば携帯電話のカメラ部に適用しても良い。
【００９５】
さらに、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【符号の説明】
【００９６】
１…ＭＰＵ
１ａ…レリーズスイッチ
１ｂ…モード切替スイッチ
１ｃ…指示スイッチ
２…レンズ部
２ａ…シャッター
２ｂ…シャッター制御部
２ｃ…ＡＦ制御部
３…撮像素子
４…ＡＦＥ部
４ａ…切り出し部
５…画像処理部
５ｂ…最適化処理部
６…ストロボ
８…表示部
８ａ…表示制御部
８ｂ…明るさ調整部
９…記録メディア
９ａ…記録再生制御部
1０…カメラ
１１…顔検出部
１２ａ…露出制御部
１２ｂ…シーン判定部
１９…ＲＯＭ
【特許請求の範囲】
【請求項１】
撮像素子から取得された被写体の画像信号に基づく画像を表示する表示部と、
上記撮像素子から取得された被写体の画像信号に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在するか否かを判定する撮影シーン判定部と、
上記撮影シーン判定部に判定結果に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在する場合、当該暗部領域における被写体の顔の蓋然的存在の有無を判定する顔蓋然的存在判定部と、
上記顔蓋然的存在判定部において上記撮影画面において被写体の顔が蓋然的に存在すると判定された場合において、当該被写体の露出量を増加させる処理を施して顔検出を可能とする顔検出部と、
上記顔検出部において被写体の顔が検出された場合、上記表示部に表示するモニタ用画像に対する処理として、当該撮影画面における明部領域について輝度を低下させる処理を施す視認性向上部と、
を備えたことを特徴とするカメラ。
【請求項２】
撮像素子から取得された被写体の画像信号に基づく画像を表示する表示部と、
上記撮像素子から取得された被写体の画像信号に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在するか否かを判定する撮影シーン判定部と、
上記撮影シーン判定部に判定結果に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在する場合、当該暗部領域における被写体の顔の蓋然的存在の有無を判定する顔蓋然的存在判定部と、
上記顔蓋然的存在判定部において上記撮影画面において被写体の顔が蓋然的に存在すると判定された場合において、当該被写体の顔の逆光状態を判定する顔逆光判定部と、
上記顔逆光判定部において当該被写体の顔の存在が明確に判別できない場合においては当該被写体の露出量を増加させる処理を施して顔検出を可能とする顔検出部と、
上記顔検出部において被写体の顔が検出された場合、上記表示部に表示するモニタ用画像に対する処理として、当該撮影画面における明部領域について輝度を低下させる処理を施す視認性向上部と、
を備えたことを特徴とするカメラ。
【請求項３】
上記視認性向上部は、上記顔逆光判定部において被写体の顔が逆光であると判定した場合、上記表示部に表示するモニタ用画像に対する処理として、当該被写体画像全体の露出量を増加させると共に当該被写体の顔部の輝度増加補正処理を施す一方で、当該撮影画面における明部領域について輝度を低下させる処理を施すことを特徴とする請求項２に記載のカメラ。
【請求項４】
上記顔検出部は、当該被写体の露出量を増加させる処理を施すと共に前記暗部領域の輝度増加補正処理を施して顔検出を可能とすることを特徴とする請求項１−３のいずれか一項に記載のカメラ。
【請求項１】
撮像素子から取得された被写体の画像信号に基づく画像を表示する表示部と、
上記撮像素子から取得された被写体の画像信号に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在するか否かを判定する撮影シーン判定部と、
上記撮影シーン判定部に判定結果に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在する場合、当該暗部領域における被写体の顔の蓋然的存在の有無を判定する顔蓋然的存在判定部と、
上記顔蓋然的存在判定部において上記撮影画面において被写体の顔が蓋然的に存在すると判定された場合において、当該被写体の露出量を増加させる処理を施して顔検出を可能とする顔検出部と、
上記顔検出部において被写体の顔が検出された場合、上記表示部に表示するモニタ用画像に対する処理として、当該撮影画面における明部領域について輝度を低下させる処理を施す視認性向上部と、
を備えたことを特徴とするカメラ。
【請求項２】
撮像素子から取得された被写体の画像信号に基づく画像を表示する表示部と、
上記撮像素子から取得された被写体の画像信号に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在するか否かを判定する撮影シーン判定部と、
上記撮影シーン判定部に判定結果に基づいて、被写体画像の撮影画面において所定範囲の暗部領域が存在する場合、当該暗部領域における被写体の顔の蓋然的存在の有無を判定する顔蓋然的存在判定部と、
上記顔蓋然的存在判定部において上記撮影画面において被写体の顔が蓋然的に存在すると判定された場合において、当該被写体の顔の逆光状態を判定する顔逆光判定部と、
上記顔逆光判定部において当該被写体の顔の存在が明確に判別できない場合においては当該被写体の露出量を増加させる処理を施して顔検出を可能とする顔検出部と、
上記顔検出部において被写体の顔が検出された場合、上記表示部に表示するモニタ用画像に対する処理として、当該撮影画面における明部領域について輝度を低下させる処理を施す視認性向上部と、
を備えたことを特徴とするカメラ。
【請求項３】
上記視認性向上部は、上記顔逆光判定部において被写体の顔が逆光であると判定した場合、上記表示部に表示するモニタ用画像に対する処理として、当該被写体画像全体の露出量を増加させると共に当該被写体の顔部の輝度増加補正処理を施す一方で、当該撮影画面における明部領域について輝度を低下させる処理を施すことを特徴とする請求項２に記載のカメラ。
【請求項４】
上記顔検出部は、当該被写体の露出量を増加させる処理を施すと共に前記暗部領域の輝度増加補正処理を施して顔検出を可能とすることを特徴とする請求項１−３のいずれか一項に記載のカメラ。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１３−６２８４７（Ｐ２０１３−６２８４７Ａ）
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願番号】特願２０１２−２４３６９８（Ｐ２０１２−２４３６９８）
【出願日】平成２４年１１月５日（２０１２．１１．５）
【分割の表示】特願２００７−１２６７５４（Ｐ２００７−１２６７５４）の分割
【原出願日】平成１９年５月１１日（２００７．５．１１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
【公開日】平成２５年４月４日（２０１３．４．４）
【国際特許分類】
【出願日】平成２４年１１月５日（２０１２．１１．５）
【分割の表示】特願２００７−１２６７５４（Ｐ２００７−１２６７５４）の分割
【原出願日】平成１９年５月１１日（２００７．５．１１）
【出願人】（５０４３７１９７４）オリンパスイメージング株式会社 (2,647)
【Ｆターム（参考）】
[ Back to top ]