撮像装置及び撮像方法
【課題】複雑な画像合成回路等の構成を必要とせずに、撮影対象の全体について場面認識を行うことができるとともに、モニタに表示されるスルー画像の表示品質を損なうことのない撮像装置及び撮像方法を提供する。
【解決手段】撮像光学系と、撮像素子と、第１の露出制御と、第２の露出制御と、を交互に行うように構成された露出制御部と、スルー画像生成部と、所定周期ごとに前記スルー画像を更新してモニタに表示するスルー画像表示部と、第１及び第２スルー画像に基づいて撮像している場面の認識結果を出力する場面認識部と、を備え、前記場面認識部が、第１認識結果と、第２認識結果と、を組み合わせて場面の認識結果を出力するように構成されており、前記スルー画像表示部が、前記第１スルー画像のみ、又は、前記第２スルー画像のみを前記モニタに表示させ続けるように構成した。
【解決手段】撮像光学系と、撮像素子と、第１の露出制御と、第２の露出制御と、を交互に行うように構成された露出制御部と、スルー画像生成部と、所定周期ごとに前記スルー画像を更新してモニタに表示するスルー画像表示部と、第１及び第２スルー画像に基づいて撮像している場面の認識結果を出力する場面認識部と、を備え、前記場面認識部が、第１認識結果と、第２認識結果と、を組み合わせて場面の認識結果を出力するように構成されており、前記スルー画像表示部が、前記第１スルー画像のみ、又は、前記第２スルー画像のみを前記モニタに表示させ続けるように構成した。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、場面認識演算を行うことができる撮像装置及びその撮像方法に関するものである。
【背景技術】
【０００２】
近年、被写体や場面を認識し、その認識結果に基づいて、ホワイトバランス、色再現処理、ノイズ処理等を変更する構成を有した撮像装置の研究開発が進められている。
【０００３】
この場面認識演算はＣＰＵ等に相当の負荷のかかる演算であり、撮影時、特にシャッタが切られる直前等において場面認識演算を行うと、演算処理時間によってレリーズラグ等が発生し、シャッタチャンスを逃す場合がある。このため、例えばシャッタボタンが押される前等の撮影前の期間において、撮像装置に設けられたモニタに表示されるスルー画像を利用して場面認識が行われる。
【０００４】
上述した場面認識は、画像のパターン、色情報、輝度情報等に基づいて解析を行うものであるため、ダイナミックレンジの不足により撮像素子からの画像信号が飽和してスルー画像中に白つぶれ（露出過多）や黒つぶれ（露出不足）が発生した領域が存在すると、その領域に関しては全く解析を行うことができない。
【０００５】
このような問題に対して、スルー画像のダイナミックレンジを拡大して白つぶれや黒つぶれが存在しないものにし、画像全体での場面認識を可能にすることが考えられる。
【０００６】
例えば、スルー画像のダイナミックレンジを拡大する構成としては、特許文献１に挙げられるような特別な回路を用いたものがある。より具体的には、特許文献１の撮像装置は、撮像素子の電荷蓄積期間を制御する電荷蓄積期間制御部と、前記撮像素子から出力された電荷蓄積期間の異なる２つの画像を合成して１つの画像とする合成部と、を備え、２つの露光量の異なる画像を合成して１つのワイドダイナミックレンジのスルー画像を出力して白つぶれ又は黒つぶれが存在しないようにしている。
【０００７】
しかしながら、上述したような露光量の異なる２つの画像を合成して１つのスルー画像にするためには専用の処理回路が必要となってしまい、例えば汎用のデジタルカメラ等にこの構成を追加することは難しい。
【０００８】
一方、場面認識を優先してスルー画像に白つぶれによる解析不能な領域がないように単純に露出制御を行うと、モニタに表示されるスルー画像全体が暗くなってしまい、ユーザによるフレーミング等に適した明るさでスルー画像をモニタに表示できなくなる恐れがある。すなわち、場面認識をスルー画像全体で行えるようにすると、スルー画像の本来の機能が損なわれる恐れがある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平６−１４１２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
そこで、本発明は上述したような問題点を鑑みてなされたものであり、露光量の異なる複数の画像を合成してスルー画像を生成するといった複雑な回路等の構成を必要とせずに、撮影対象の全体について場面認識を行うことができるとともに、モニタに表示されるスルー画像の表示品質を損なうことのない撮像装置及び撮像方法を提供する。
【課題を解決するための手段】
【００１１】
すなわち、本発明の撮像装置は、撮像光学系と、前記撮像光学系により形成される被写体像を画像信号に変換する撮像素子と、前記撮像素子への露光量を制御するものであり、第１の露出制御と、当該第１の露出制御に比べて所定量だけ露光量を異ならせた第２の露出制御と、を交互に行うように構成された露出制御部と、前記画像信号からスルー画像を生成するスルー画像生成部と、所定周期ごとに前記スルー画像を更新してモニタに表示するスルー画像表示部と、前記スルー画像に基づいて場面認識演算を行い、前記撮像素子により撮像している場面の認識結果を出力する場面認識部と、を備え、前記場面認識部が、前記第１の露出制御中に出力される画像信号から生成される第１スルー画像に基づいた第１認識結果と、前記第２の露出制御中に出力される画像信号から生成される第２スルー画像に基づいた第２認識結果と、を組み合わせて場面の認識結果を出力するように構成されており、前記スルー画像表示部が、前記第１スルー画像のみ、又は、前記第２スルー画像のみを前記モニタに表示させ続けるように構成されていることを特徴とする。
【００１２】
また、本発明の撮像方法は、撮像光学系と、前記撮像光学系により形成される被写体像を画像信号に変換する撮像素子と、スルー画像が表示されるモニタと、を備えた撮像装置に用いられる撮像方法であって前記撮像素子の露光量を制御するものであり、第１の露出制御と、当該第１の露出制御に比べて所定量だけ露光量を抑えた第２の露出制御と、を交互に行うように構成された露出制御ステップと、前記画像信号からスルー画像を生成するスルー画像生成ステップと、所定周期ごとに前記スルー画像を更新して前記モニタに表示するスルー画像表示ステップと、前記スルー画像に基づいて場面認識演算を行い、前記撮像素子により撮像している場面の認識結果を出力させる場面認識ステップと、を備え、前記場面認識ステップにおいて、前記第１の露出制御中に出力される画像信号から生成される第１スルー画像に基づいた第１認識結果と、前記第２の露出制御中に出力される画像信号から生成される第２スルー画像に基づいた第２認識結果と、を組み合わせて場面の認識結果を出力させるようにし、前記スルー画像表示ステップにおいて、前記第１スルー画像のみ、又は、前記第２スルー画像のみを前記モニタに表示させ続けることを特徴とする。
【００１３】
このようなものであれば、第１の露出制御と第２の露出制御を交互に行うことにより２つの露光量が異なる第１スルー画像と第２スルー画像を生成し、前記第１スルー画像に基づいた第１認識結果と、前記第２スルー画像に基づいた第２認識結果と、を組み合わせて画像全体の場面認識を行うので、第１スルー画像と第２スルー画像を合成して１枚の画像にするための特別な処理回路等が必要とならない。しかも、第２スルー画像は第１スルー画像に比べて所定量だけ露光量を異ならせているので、例えば第１スルー画像において輝度が大きすぎるために飽和している領域があり、その領域に関しては場面認識が行えなかったとしても、第２スルー画像では対応する当該領域を飽和させず場面認識を行うことができる。従って、各スルー画像における認識結果を組み合わせることによってスルー画像全体の場面認識を行うことができる。逆に第２スルー画像において輝度が小さすぎるために場面認識を行えない領域があったとしても、第１スルー画像の方が露光量を大きく設定されているので、当該領域の場面認識を行うことができ、やはり画面全体での場面認識を行うことができる。
【００１４】
さらに、前記スルー画像表示部が、前記第１スルー画像のみ、又は、前記第２スルー画像のみを前記モニタに表示させ続けるように構成されているので、前記露出制御部が第１の露出制御と、第２の露出制御を交互に行っていても、前記モニタには、明るさが異なる画像が交互に表示されることにより、ユーザがスルー画像を見づらく感じたり、不快に感じたりすることがない。加えて、第１スルー画像及び第２スルー画像のうち、ユーザにとって見やすい方のする画像のみを表示させ続けることができ、通常のスルー画像とほとんど違いを感じることがないようにもできる。従って、場面認識用の露出制御を前記露出制御部で行ったとしても、スルー画像のモニタでの表示品質を保つことができ、ユーザがスルー画像を用いてフレーミング等をする際に好適に用いることができるようになる。
【００１５】
前記モニタに表示されるスルー画像をユーザにとってより見やすいものにするには、前記露出制御部が、前記第１の露出制御において、前記第１スルー画像の全体の輝度平均値が飽和値の略半分の値となるように露光量を制御し、前記スルー画像表示部が、前記第１スルー画像のみを前記モニタに表示させ続けるように構成されたものであればよい。
【００１６】
前記モニタに表示されるスルー画像を特にフレーミングする際において好ましいものにするには、前記露出制御部が、前記モニタに表示されている前記第１スルー画像中の被写体が、ユーザが直接その被写体を見る態様と略同じになるように前記第１の露出制御における露光量を制御し、前記スルー画像表示部が、前記第１スルー画像のみを前記モニタに表示させ続けるように構成されたものであればよい。
【００１７】
ユーザにとって被写体を捉えやすく、見やすいスルー画像を前記モニタに表示させ続けるには、前記露出制御部が、前記第１スルー画像の少なくとも中央部の領域が適正露光量となるように前記第１の露出制御における露光量を制御し、前記スルー画像表示部が、前記第１スルー画像のみを前記モニタに表示させ続けるように構成されたものであればよい。
【００１８】
前記場面認識部がスルー画像全体において場面認識をするための具体的な露出制御の態様としては、前記露出制御部が、前記第２の露出制御において、前記第２スルー画像の全画素のうち飽和している画素の割合が、所定割合以下となるように露光量を制御するものであればよい。
【００１９】
交互に露光量を変えて露出制御を行わなくても、スルー画像全体の場面認識を行える場合には、スルー画像の更新頻度をあげ、場面認識中でもよりなめらかに動くスルー画像を前記モニタに表示させることができるようにするには、前記露出制御部の露出制御方法を切り替える露出制御切替部を更に備え、前記露出制御切替部が、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以下の場合には、前記露出制御部が第１の露出制御のみを行い、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以上の場合には、前記露出制御部に第１の露出制御と、第２の露出制御とを交互に行うように露出制御方法を切り替えるように構成されたものであればよい。
【発明の効果】
【００２０】
このように本発明の撮像装置及び撮像方法によれば、第１の露出制御と第２の露出制御を交互に行うことにより、第１スルー画像と第２スルー画像の露光量を異ならせて、各スルー画像での場面認識結果を行い、その場面認識結果を組み合わせることでスルー画像全体の場面認識行うので、第１スルー画像と第２スルー画像とを１枚のスルー画像に合成するような複雑な処理回路を必要としない。しかも、交互に生成される第１スルー画像と第２スルー画像のうち一方を表示させつづけるので、明るさの異なる画像が交互に表示されて画面がちらついて見えづらくなることがなく、モニタに表示される画像の品質を略保つことができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る撮像装置を示す模式的前方斜視図。
【図２】同実施形態における撮像装置を示す模式的後方斜視図。
【図３】同実施形態における撮像装置全体の電気的構成を示す機能ブロック図。
【図４】同実施形態における表示装置に関する構成を示す機能ブロック図。
【図５】同実施形態におけるスルー画像表示に関連する動作のタイミングチャート。
【図６】同実施形態における場面認識部の動作を示す模式図。
【図７】同実施形態における場面認識を行う際の各部の動作を示すフローチャート。
【発明を実施するための形態】
【００２２】
本発明の一実施形態について図面を参照しながら説明する。
【００２３】
＜装置全体の構成に関する説明＞
本実施形態の撮像装置１００は、図１の前方斜視図に示すように、前面には電源オン時において撮像光学系１を保持する鏡筒が突出するように設けている他、ストロボ装置３８等が設けてある。なお、これらの鏡筒は電源オフ時には内部に収容されるようにしてある。また、図２の後方斜視図に示すように背面には撮像されているスルー画像を見るためのモニタ３５と、各種操作に用いられる操作キー５３等が設けてある。そして上面には、シャッターレリーズ操作を行うために用いられるシャッタボタン５１と、撮影モードを切り替えるためのモードダイヤル５２が設けてある。
【００２４】
図３は、本実施形態の撮像装置１００の電気的な構成を機能ブロックとして示すものである。図３に示すように、撮像光学系１、撮像素子２、画像信号処理回路３１、ＶＲＡＭ３２、評価値算出回路３３、表示画像処理回路３４、モニタ３５、圧縮処理回路３６、記録メディア３７、ＣＰＵ４１、メモリ４２、４３、等が協業して、いわゆるデジタルカメラとしての機能を発揮するように構成してある。以下に各部について説明する。
【００２５】
前記撮像光学系１は、光軸１４に沿って外側から順に、ズームレンズ１１、絞り１２、フォーカスレンズ１３、シャッタ１７の順で並べて構成してあり、前記フォーカスレンズ１３の後ろ側に前記撮像素子２が設けてある。前記撮像素子２としては、例えばＣＣＤ型やＣＭＯS型のイメージセンサが用いられる。
【００２６】
前記絞り１２にはアイリスモータが接続されており、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）動作時に絞り１２値を変化させて光束を制限して露出量を制御するために用いられる。また前記フォーカスレンズ１３にはレンズモータが接続されており、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）動作時に当該フォーカスレンズ１３を撮像光学系１の光軸１４に沿って移動させることにより、撮像光学系１のフォーカス位置を制御してピント調整を行うように構成してある。
【００２７】
前記撮像素子２は、前記撮像光学系１により結像された被写体像を画像信号に変化するものである。当該撮像素子２には、タイミングジェネレータ２１（ＴＧ）が接続してあり、ＴＧ２１により前記撮像素子２の光電荷蓄積、転送動作が制御される。この光電荷蓄積及び転送動作の時間を制御することによって、撮像素子２への露光量が制御できるようにしてある。なお、前記絞り１２、前記フォーカスレンズ１３、前記シャッタ１７はドライバ１５、１６、１８を介して、前記撮像素子２はタイミングジェネレータ２１（ＴＧ）を介して、ＣＰＵ４１により制御される。
【００２８】
前記撮像素子２から出力された画像信号は、相関二重サンプリング回路（ＣＤＳ）及び増幅器（ＡＭＰ）２２、Ａ／Ｄコンバータ（ＡDＣ）２３、の順で入力され、アナログデータからデジタルデータへと変換される。デジタルデータに変換された画像信号は、画像コントローラ２４が入出力をコントロールする。また、前記増幅器２２のゲインを制御することにより露光量を制御できるようにもしてある。前記画像信号は、画像信号処理回路３１に入力され、階調変換、ホワイトバランス補正、γ補正処理等が施され、前記モニタ３５で表示されるスルー画像として、ＶＲＡＭ３２の所定領域Ａ、Ｂに一次的に記憶される。このＶＲＡＭ３２に記憶されている各画像は所定周期ごとに更新される。具体的には例えば前記タイミングジェネレータ２１により撮像素子２が１／３０秒（１フレーム）ごとに露光及び画像信号の出力が繰り返されるのに合わせて更新できるようにしてある。本実施形態では、前記スルー画像を１フレームごとに更新するか又は２フレーム毎に更新するかについても制御できるようにしてある。
【００２９】
前記評価値算出回路３３は、ＶＲＡＭ３２に記憶された画像からＡＦ評価値及びＡＥ評価値等を算出するものである。ＡＦ評価値とは、例えばコントラスト評価値に相当するものである。またコントラスト評価値は、前記各画像の所定領域について、輝度値の高周波成分を積算することにより算出されたものである。すなわち、隣接する画素間のコントラスト（輝度差）を所定領域内について足し合わせたものである。また、ＡＥ評価値とは、各画像データの所定領域について輝度値を積算することで算出され、画像の明るさを表すものである。コントラスト評価値、ＡＥ評価値はそれぞれ後述するＡＦ動作及びＡＥ動作において用いられる。
【００３０】
前記表示画像処理回路３４は、ＶＲＡＭ３２に記憶されている画像に基づいてＬＣＤモニタ３５においてスルー画像を表示するための処理を行うものである。
【００３１】
前記圧縮処理回路３６は、ＶＲＡＭ３２に記憶された画像に対して、ＪＰＥＧ方式等の圧縮形式により圧縮処理を施すものである。メディアコントーラ３７１は、圧縮処理回路３６によって圧縮処理された各画像をメモリカード等の記録メディア３７に保存する。また、モードダイヤル５２によりビューモードが選択されている場合には、この記録メディア３７に保存されている画像に基づいて、前記表示画像処理回路３４により生成された立体画像が前記モニタ３５により表示される。
【００３２】
前記ＣＰＵ４１は、撮像装置１００の全体の動作を統括的に制御するものである。ＣＰＵ４１には、前述のシャッタボタン５１、モードダイヤル５２、各種操作キー５３の他、不揮発性メモリ４３が接続されている。
【００３３】
前記シャッタボタン５１は、２段押のスイッチ構造となっている。シャッタボタン５１がユーザにより軽く押圧（半押し）されると、撮像準備動作が開始される。本実施形態では、後述するようにシャッタボタン５１が半押しになった時点で全てのＡＦ動作が開始される入力後モードと、シャッタボタン５１が半押しとなる前に、ＡＦ動作の一部が既に開始されている入力前モードとがある。このモードの切り替えは例えば、モードダイヤル５２等や設定画面で切り換えるようにしてある。シャッタボタン５１が強く押圧（全押し）されると、撮影処理が行われ、１画面分の第１及び第２画像がＶＲＡＭ３２から記録メディア３７に転送されて記憶される。また、この記録メディア３７に記憶されている撮影された画像は、モードダイヤル５２で再生モードが選択されている場合には、前記表示画像処理回路で所定の処理が行われた後に前記モニタ３５に表示される。
【００３４】
＜場面認識及びモニタへのスルー画像の表示に関連する構成の説明＞
前記前記不揮発性メモリ４３には、各種制御用のプログラムや設定情報等が記憶されている。しかして、前記ＣＰＵ４１、ＳＤＲAM４２、不揮発性メモリ４３、各種回路等、記録メディア３７等が協業してプログラムや設定情報に基づき、少なくとも、露出制御部６１、露出制御切替部６５、スルー画像生成部６２、スルー画像表示部６３、場面認識部６４、としての機能を発揮するように構成してある。これらの各部を示す機能ブロック図は図４のようになる。
【００３５】
前記露出制御部６１は、前述した評価値算出回路から出力される前記ＡＥ評価値に基づいて、例えばスルー画像における各画素の輝度の平均値が予め定めてある目標値となるように、前記タイミングジェネレータ２１、前記絞り１２、前記増幅器２２のゲイン等を変更して、前記撮像素子への露光量を制御するものである。そして第１の露出制御と第２の露出制御とを交互に行うように構成してある。なお、前記露出制御部６１は、第１露出制御のみを連続して行うことができるようにも構成してある。以下の説明では、第１及び第２の露出制御中において生成されたスルー画像のことをそれぞれ第１スルー画像、第２スルー画像とよぶ。
【００３６】
前記第１の露出制御前記モニタに表示されるスルー画像を、適切な明るさとするための露出制御であり、前記第１スルー画像の全体の輝度平均値が前記撮像素子の出力信号の飽和値の略半分の値となるように露光量を制御している。
【００３７】
前記第２の露出制御は、前記第１の露出制御と比較して、撮像素子への露光量が小さくなるように露出を抑えた露出制御にしてある。より具体的には、第２の露出制御においては、前記第２スルー画像の全画素のうち飽和している画素の割合が、所定割合以下となるように露光量を制御している。ここで、所定割合とは例えば全画素の５％以下等が例として挙げられる。
【００３８】
前記スルー画像生成部６２は、前記撮像素子からの画像信号からスルー画像を生成するものであり、前記画像信号処理回路３１に相当するものである。
【００３９】
前記スルー画像表示部６３は、前記露出制御部６１により第１及び第２の露出制御が交互に行われているときには、前記第１スルー画像のみを前記モニタ３５に表示するように構成してある。より具体的には、前記スルー画像表示部６３は、前記スルー画像生成部６２で生成された第１スルー画像を前記第１の露出制御が行われて第１スルー画像が生成されるごとに、ＶＲＡＭ３２に形成される表示用バッファ（図示しない）に更新して格納し、格納されている画像を前記モニタ３５に表示する。逆に言うと、第２の露出制御が行われているときに生成される第２スルー画像については前記表示用バッファに格納しないようにしてある。従って、図５のタイミングチャートに示されるように、第１及び第２の露出制御を交互に行っている場合には、新たなスルー画像を生成されてもモニタに表示される表示フレームは２フレームに１回の更新となる。
【００４０】
前記場面認識部６４は、前記第１の露出制御中に出力される画像信号から生成される第１スルー画像に基づいた第１認識結果と、前記第２の露出制御中に出力される画像信号から生成される第２スルー画像に基づいた第２認識結果と、を組み合わせて場面の認識結果である最終認識結果を出力するように構成してある。より具体的には、図６に示すようにスルー画像を水平方向に１３、垂直方向に９の計１３×９のブロックに分割し、それぞれのブロックの画素データから、輝度情報、色情報、パターン情報を用いて、予め用意してある被写体パターンのいずれに該当するかを判断するようにしてある。ここで、被写体パターンとは例えば撮影されている被写体が何であるかを示すものである。
【００４１】
図６は、逆光で人物を取った際の画像を例としたものである。まず、第１の露出制御中に撮像された第１スルー画像は、中央部の人物像は鮮明に撮像できているものの、背景は飽和して白つぶれを起こしている。このため第１認識結果では、人物の映っているブロックについては場面認識に成功し、周囲の白つぶれの背景については判定ができない。次に第２の露出制御中に撮像された第２スルー画像では、第１スルー画像に比べて露光量を抑えているため、全体的に暗い画像となっている。このため、中央部の人物については黒つぶれを起こしかけているが、周囲の背景については鮮明に撮像できている。この第２スルー画像を用いた場面認識では、前記第１スルー画像で場面認識に成功したブロック以外の認識演算が行われる。その結果、背景が青空と雲であることの認識に成功し、これを第２認識結果として出力する。最後に第１認識結果と第２認識結果を組み合わせて最終認識結果として出力するように前記場面認識部６４は構成してある。
【００４２】
この場面認識結果は前記露出制御、コントラストＡＦ等の合焦位置の調整、撮像された画像のホワイトバランス調整、色調整、各種画像処理に補助的に用いられるものであり、被写体の種類ごとに応じた補正等を可能にするものである。
【００４３】
前記露出制御切替部６５は、前記露出制御部６１が、第１の露出制御が終わった時点で、続けて第１の露出制御を行うか、あるいは、第２の露出制御を行うかを条件に基づいて選択して、切り替えるものである。より具体的には、前記露出制御切替部６５は、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以下の場合であり、前記第１認識結果のみで画像全体の場面認識が略行えている場合には、前記露出制御部６１が第１の露出制御のみを行い、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以上の場合には、前記露出制御部６１に第１の露出制御と、第２の露出制御とを交互に行うように露出制御方法を切り替えるように構成してある。
【００４４】
このように構成した撮像装置の場面認識時の動作について図７のフローチャートを参照しながら説明する。なお、この動作は撮像装置１００の電源が入れられ、ユーザによりシャッタボタン５２が押されておらず、合焦動作等が開始されていない状態で行われる。また、場面認識を行っている間は、前記スルー画像表示において表示される画像は、第１スルー画像のみに設定してあり、新たに第１スルー画像が生成される度に更新される。
【００４５】
まず、前記露出制御部６１が第１の露出制御を開始する（ステップＳ１）。前記露出制御部６１は、まず前記評価値算出部からＡＥ評価値を取得し（ステップＳ２）、第１スルー画像の全体の輝度が予め設定してある輝度平均値となるように、タイミングジェネレータ２１、絞り１２、増幅器２２のゲイン等に関する制御パラメータを演算して、各部を制御し所定の露光量に制御する（ステップＳ３）。各部の制御が完了した後に、前記場面認識部６４は第１の露出制御中に生成される第１スルー画像に基づいて、場面認識演算を行う。この際、第１スルー画像で輝度が飽和している部分に関しては解析不能として場面認識演算を終了し、第１認識結果を出力する（ステップＳ４）。その後、前記露出制御切替部６５は、前記第１スルー画像又は前記第１認識結果に基づいて、第１スルー画像において輝度が飽和しており、解析不能であった領域が予め定めてある割合、すなわち許容値よりも小さいかどうかを判別し（ステップＳ５）、第１スルー画像における飽和領域が許容値以下の割合であった場合には、第１認識結果を最終認識結果として（ステップＳ６）、再びステップＳ１からＳ５の動作を繰り返す。このように第１認識結果だけで、画像の略全体について場面認識を行えた場合には、後述する第２の露出制御動作を行わずに、第１の露出制御動作を繰り返すようにしてあるので、スルー画像の更新頻度を２フレームに１回から１フレームに１回にすることができ、モニタに表示されスルー画像の動きのなめらかさ等を向上させることができる。
【００４６】
次に、第１認識結果だけでは、画像全体の場面認識が所定割合以上行えなかった場合には（ステップＳ５）、前記露出制御切替部６５が、前記露出制御部６１に行わせる露出制御を第１の露出制御から第２の露出制御へと切替させ、前記露出制御部６１が第２の露出制御を開始する（ステップＳ７）。そして、前記露出制御部６１は、前記評価値算出部からＡＥ評価値を取得し（ステップＳ８）、第２スルー画像が予め定めてあるように第１のスルー画像よりも露光量が抑えられ、暗い画像となるように、タイミングジェネレータ２１、絞り１２、増幅器２２のゲイン等に関する制御パラメータを演算して、各部を制御して所定の露光量に制御する（ステップＳ９）。各部の制御が完了した後に、前記場面認識部６４は第２の露出制御中に生成される第２スルー画像に基づいて、場面認識演算を行う。この際、第１スルー画像で解析に成功したブロックについては演算を省略し、第１スルー画像では解析不能であったブロックに関して場面認識演算を行った結果である第２認識結果を出力する（ステップＳ１０）。その後、前記場面認識部６４は、第１認識結果と第２認識結果を組み合わせて画像全体の認識結果である最終認識結果とする（ステップＳ１１）。最後にシャッタボタン５２などが押圧されているかどうか等に基づいて、撮影直前であるかどうかの判断が行われ、場面認識演算を終了するか継続するかについての判断が行われる（ステップＳ１２）。
【００４７】
＜本実施形態の効果＞ このように本実施形態の撮像装置によれば、明暗差の大きい被写体であっても第１の露出制御と第２の露出制御とを交互に行い、第１及び第２スルー画像を生成し、それぞれから第１認識結果と第２認識結果とを組み合わせて最終認識結果とすることで、画像全体の場面認識を行うことができる。しかも、第１及び第２スルー画像を合成してワイドダイナミックレンジの画像とする必要がないので、合成処理を行う複雑な回路等も設ける必要がなく、構成の複雑化を防ぐことができる。さらに、露光量がユーザにとって見やすい適正レベルに設定された第１スルー画像のみを前記スルー画像表示部６３は、前記モニタに表示させ続けるので、第１及び第２の露出制御を交互に行っても表示品質には略変化がない。言い換えると、場面認識を画像全体に行うことができるとともに、スルー画像についても見やすく、略なめらかな画像をモニタに表示することができる。
【００４８】
その他の実施形態について説明する。
【００４９】
前記実施形態では、逆行時の場面認識に基づいて説明を行ったが、その他の明暗差の大きい被写体を取る際にも本発明の撮影装置及び撮像方法を適用することができる。例えば、通常の露光では、黒つぶれが発生するような被写体に対して場面認識を行う場合でも有効である。すなわち、前記露出制御部が、前記撮像素子への露光量を制御するものであり、第１の露出制御と、当該第１の露出制御に比べて所定量だけ露光量を異ならせた第２の露出制御と、を交互に行うように構成されているものであれば、２つの認識結果に基づいて黒つぶれの領域に関しても場面認識を行うことができる。この場合、例えば、第１の露出制御が通常の適正レベルの露光量に制御するものとした場合、第２の露出制御は露光量を所定量だけ大きくするように制御すればよい。また、被写体によっては、適正露光される第１の露光制御よりも、第２の露光制御による第２スルー画像の方が見やすい場合等には、前記スルー画像表示部が、第２スルー画像のみをモニタに表示し続けるように構成しても構わない。
【００５０】
また、モニタに表示される画像に注目すると、前記露出制御部が、前記モニタに表示されている前記第１スルー画像中の被写体が、ユーザが直接その被写体を見る態様と略同じになるように前記第１の露出制御における露光量を制御するものであればよい。また、より好ましくは、前記露出制御部が、前記第１スルー画像の少なくとも中央部の領域が適正露光量となるように前記第１の露出制御における露光量を制御するものであればよい。
【００５１】
さらに、前記実施形態では前記場面認識部は、第２スルー画像について第１スルー画像で場面認識できなかったブロックのみ場面認識を行うように構成していたが、例えば、認識できるブロックは全て場面認識を行うようにしても構わない。その場合、場面認識が重複したブロックにおいては第１認識結果を優先する等といった条件を決めておけばよい。
【００５２】
その他、本発明の趣旨に反しない限りにおいて、様々な変形や実施形態の組み合わせを行っても構わない。
【符号の説明】
【００５３】
１００・・・撮像装置
１ ・・・撮像光学系
２ ・・・撮像素子
６１ ・・・露出制御部
６２ ・・・スルー画像生成部
６３ ・・・スルー画像表示部
６４ ・・・場面認識部
６５ ・・・露出制御切替部
３５ ・・・モニタ
【技術分野】
【０００１】
本発明は、場面認識演算を行うことができる撮像装置及びその撮像方法に関するものである。
【背景技術】
【０００２】
近年、被写体や場面を認識し、その認識結果に基づいて、ホワイトバランス、色再現処理、ノイズ処理等を変更する構成を有した撮像装置の研究開発が進められている。
【０００３】
この場面認識演算はＣＰＵ等に相当の負荷のかかる演算であり、撮影時、特にシャッタが切られる直前等において場面認識演算を行うと、演算処理時間によってレリーズラグ等が発生し、シャッタチャンスを逃す場合がある。このため、例えばシャッタボタンが押される前等の撮影前の期間において、撮像装置に設けられたモニタに表示されるスルー画像を利用して場面認識が行われる。
【０００４】
上述した場面認識は、画像のパターン、色情報、輝度情報等に基づいて解析を行うものであるため、ダイナミックレンジの不足により撮像素子からの画像信号が飽和してスルー画像中に白つぶれ（露出過多）や黒つぶれ（露出不足）が発生した領域が存在すると、その領域に関しては全く解析を行うことができない。
【０００５】
このような問題に対して、スルー画像のダイナミックレンジを拡大して白つぶれや黒つぶれが存在しないものにし、画像全体での場面認識を可能にすることが考えられる。
【０００６】
例えば、スルー画像のダイナミックレンジを拡大する構成としては、特許文献１に挙げられるような特別な回路を用いたものがある。より具体的には、特許文献１の撮像装置は、撮像素子の電荷蓄積期間を制御する電荷蓄積期間制御部と、前記撮像素子から出力された電荷蓄積期間の異なる２つの画像を合成して１つの画像とする合成部と、を備え、２つの露光量の異なる画像を合成して１つのワイドダイナミックレンジのスルー画像を出力して白つぶれ又は黒つぶれが存在しないようにしている。
【０００７】
しかしながら、上述したような露光量の異なる２つの画像を合成して１つのスルー画像にするためには専用の処理回路が必要となってしまい、例えば汎用のデジタルカメラ等にこの構成を追加することは難しい。
【０００８】
一方、場面認識を優先してスルー画像に白つぶれによる解析不能な領域がないように単純に露出制御を行うと、モニタに表示されるスルー画像全体が暗くなってしまい、ユーザによるフレーミング等に適した明るさでスルー画像をモニタに表示できなくなる恐れがある。すなわち、場面認識をスルー画像全体で行えるようにすると、スルー画像の本来の機能が損なわれる恐れがある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平６−１４１２２９号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
そこで、本発明は上述したような問題点を鑑みてなされたものであり、露光量の異なる複数の画像を合成してスルー画像を生成するといった複雑な回路等の構成を必要とせずに、撮影対象の全体について場面認識を行うことができるとともに、モニタに表示されるスルー画像の表示品質を損なうことのない撮像装置及び撮像方法を提供する。
【課題を解決するための手段】
【００１１】
すなわち、本発明の撮像装置は、撮像光学系と、前記撮像光学系により形成される被写体像を画像信号に変換する撮像素子と、前記撮像素子への露光量を制御するものであり、第１の露出制御と、当該第１の露出制御に比べて所定量だけ露光量を異ならせた第２の露出制御と、を交互に行うように構成された露出制御部と、前記画像信号からスルー画像を生成するスルー画像生成部と、所定周期ごとに前記スルー画像を更新してモニタに表示するスルー画像表示部と、前記スルー画像に基づいて場面認識演算を行い、前記撮像素子により撮像している場面の認識結果を出力する場面認識部と、を備え、前記場面認識部が、前記第１の露出制御中に出力される画像信号から生成される第１スルー画像に基づいた第１認識結果と、前記第２の露出制御中に出力される画像信号から生成される第２スルー画像に基づいた第２認識結果と、を組み合わせて場面の認識結果を出力するように構成されており、前記スルー画像表示部が、前記第１スルー画像のみ、又は、前記第２スルー画像のみを前記モニタに表示させ続けるように構成されていることを特徴とする。
【００１２】
また、本発明の撮像方法は、撮像光学系と、前記撮像光学系により形成される被写体像を画像信号に変換する撮像素子と、スルー画像が表示されるモニタと、を備えた撮像装置に用いられる撮像方法であって前記撮像素子の露光量を制御するものであり、第１の露出制御と、当該第１の露出制御に比べて所定量だけ露光量を抑えた第２の露出制御と、を交互に行うように構成された露出制御ステップと、前記画像信号からスルー画像を生成するスルー画像生成ステップと、所定周期ごとに前記スルー画像を更新して前記モニタに表示するスルー画像表示ステップと、前記スルー画像に基づいて場面認識演算を行い、前記撮像素子により撮像している場面の認識結果を出力させる場面認識ステップと、を備え、前記場面認識ステップにおいて、前記第１の露出制御中に出力される画像信号から生成される第１スルー画像に基づいた第１認識結果と、前記第２の露出制御中に出力される画像信号から生成される第２スルー画像に基づいた第２認識結果と、を組み合わせて場面の認識結果を出力させるようにし、前記スルー画像表示ステップにおいて、前記第１スルー画像のみ、又は、前記第２スルー画像のみを前記モニタに表示させ続けることを特徴とする。
【００１３】
このようなものであれば、第１の露出制御と第２の露出制御を交互に行うことにより２つの露光量が異なる第１スルー画像と第２スルー画像を生成し、前記第１スルー画像に基づいた第１認識結果と、前記第２スルー画像に基づいた第２認識結果と、を組み合わせて画像全体の場面認識を行うので、第１スルー画像と第２スルー画像を合成して１枚の画像にするための特別な処理回路等が必要とならない。しかも、第２スルー画像は第１スルー画像に比べて所定量だけ露光量を異ならせているので、例えば第１スルー画像において輝度が大きすぎるために飽和している領域があり、その領域に関しては場面認識が行えなかったとしても、第２スルー画像では対応する当該領域を飽和させず場面認識を行うことができる。従って、各スルー画像における認識結果を組み合わせることによってスルー画像全体の場面認識を行うことができる。逆に第２スルー画像において輝度が小さすぎるために場面認識を行えない領域があったとしても、第１スルー画像の方が露光量を大きく設定されているので、当該領域の場面認識を行うことができ、やはり画面全体での場面認識を行うことができる。
【００１４】
さらに、前記スルー画像表示部が、前記第１スルー画像のみ、又は、前記第２スルー画像のみを前記モニタに表示させ続けるように構成されているので、前記露出制御部が第１の露出制御と、第２の露出制御を交互に行っていても、前記モニタには、明るさが異なる画像が交互に表示されることにより、ユーザがスルー画像を見づらく感じたり、不快に感じたりすることがない。加えて、第１スルー画像及び第２スルー画像のうち、ユーザにとって見やすい方のする画像のみを表示させ続けることができ、通常のスルー画像とほとんど違いを感じることがないようにもできる。従って、場面認識用の露出制御を前記露出制御部で行ったとしても、スルー画像のモニタでの表示品質を保つことができ、ユーザがスルー画像を用いてフレーミング等をする際に好適に用いることができるようになる。
【００１５】
前記モニタに表示されるスルー画像をユーザにとってより見やすいものにするには、前記露出制御部が、前記第１の露出制御において、前記第１スルー画像の全体の輝度平均値が飽和値の略半分の値となるように露光量を制御し、前記スルー画像表示部が、前記第１スルー画像のみを前記モニタに表示させ続けるように構成されたものであればよい。
【００１６】
前記モニタに表示されるスルー画像を特にフレーミングする際において好ましいものにするには、前記露出制御部が、前記モニタに表示されている前記第１スルー画像中の被写体が、ユーザが直接その被写体を見る態様と略同じになるように前記第１の露出制御における露光量を制御し、前記スルー画像表示部が、前記第１スルー画像のみを前記モニタに表示させ続けるように構成されたものであればよい。
【００１７】
ユーザにとって被写体を捉えやすく、見やすいスルー画像を前記モニタに表示させ続けるには、前記露出制御部が、前記第１スルー画像の少なくとも中央部の領域が適正露光量となるように前記第１の露出制御における露光量を制御し、前記スルー画像表示部が、前記第１スルー画像のみを前記モニタに表示させ続けるように構成されたものであればよい。
【００１８】
前記場面認識部がスルー画像全体において場面認識をするための具体的な露出制御の態様としては、前記露出制御部が、前記第２の露出制御において、前記第２スルー画像の全画素のうち飽和している画素の割合が、所定割合以下となるように露光量を制御するものであればよい。
【００１９】
交互に露光量を変えて露出制御を行わなくても、スルー画像全体の場面認識を行える場合には、スルー画像の更新頻度をあげ、場面認識中でもよりなめらかに動くスルー画像を前記モニタに表示させることができるようにするには、前記露出制御部の露出制御方法を切り替える露出制御切替部を更に備え、前記露出制御切替部が、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以下の場合には、前記露出制御部が第１の露出制御のみを行い、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以上の場合には、前記露出制御部に第１の露出制御と、第２の露出制御とを交互に行うように露出制御方法を切り替えるように構成されたものであればよい。
【発明の効果】
【００２０】
このように本発明の撮像装置及び撮像方法によれば、第１の露出制御と第２の露出制御を交互に行うことにより、第１スルー画像と第２スルー画像の露光量を異ならせて、各スルー画像での場面認識結果を行い、その場面認識結果を組み合わせることでスルー画像全体の場面認識行うので、第１スルー画像と第２スルー画像とを１枚のスルー画像に合成するような複雑な処理回路を必要としない。しかも、交互に生成される第１スルー画像と第２スルー画像のうち一方を表示させつづけるので、明るさの異なる画像が交互に表示されて画面がちらついて見えづらくなることがなく、モニタに表示される画像の品質を略保つことができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の一実施形態に係る撮像装置を示す模式的前方斜視図。
【図２】同実施形態における撮像装置を示す模式的後方斜視図。
【図３】同実施形態における撮像装置全体の電気的構成を示す機能ブロック図。
【図４】同実施形態における表示装置に関する構成を示す機能ブロック図。
【図５】同実施形態におけるスルー画像表示に関連する動作のタイミングチャート。
【図６】同実施形態における場面認識部の動作を示す模式図。
【図７】同実施形態における場面認識を行う際の各部の動作を示すフローチャート。
【発明を実施するための形態】
【００２２】
本発明の一実施形態について図面を参照しながら説明する。
【００２３】
＜装置全体の構成に関する説明＞
本実施形態の撮像装置１００は、図１の前方斜視図に示すように、前面には電源オン時において撮像光学系１を保持する鏡筒が突出するように設けている他、ストロボ装置３８等が設けてある。なお、これらの鏡筒は電源オフ時には内部に収容されるようにしてある。また、図２の後方斜視図に示すように背面には撮像されているスルー画像を見るためのモニタ３５と、各種操作に用いられる操作キー５３等が設けてある。そして上面には、シャッターレリーズ操作を行うために用いられるシャッタボタン５１と、撮影モードを切り替えるためのモードダイヤル５２が設けてある。
【００２４】
図３は、本実施形態の撮像装置１００の電気的な構成を機能ブロックとして示すものである。図３に示すように、撮像光学系１、撮像素子２、画像信号処理回路３１、ＶＲＡＭ３２、評価値算出回路３３、表示画像処理回路３４、モニタ３５、圧縮処理回路３６、記録メディア３７、ＣＰＵ４１、メモリ４２、４３、等が協業して、いわゆるデジタルカメラとしての機能を発揮するように構成してある。以下に各部について説明する。
【００２５】
前記撮像光学系１は、光軸１４に沿って外側から順に、ズームレンズ１１、絞り１２、フォーカスレンズ１３、シャッタ１７の順で並べて構成してあり、前記フォーカスレンズ１３の後ろ側に前記撮像素子２が設けてある。前記撮像素子２としては、例えばＣＣＤ型やＣＭＯS型のイメージセンサが用いられる。
【００２６】
前記絞り１２にはアイリスモータが接続されており、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）動作時に絞り１２値を変化させて光束を制限して露出量を制御するために用いられる。また前記フォーカスレンズ１３にはレンズモータが接続されており、ＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）動作時に当該フォーカスレンズ１３を撮像光学系１の光軸１４に沿って移動させることにより、撮像光学系１のフォーカス位置を制御してピント調整を行うように構成してある。
【００２７】
前記撮像素子２は、前記撮像光学系１により結像された被写体像を画像信号に変化するものである。当該撮像素子２には、タイミングジェネレータ２１（ＴＧ）が接続してあり、ＴＧ２１により前記撮像素子２の光電荷蓄積、転送動作が制御される。この光電荷蓄積及び転送動作の時間を制御することによって、撮像素子２への露光量が制御できるようにしてある。なお、前記絞り１２、前記フォーカスレンズ１３、前記シャッタ１７はドライバ１５、１６、１８を介して、前記撮像素子２はタイミングジェネレータ２１（ＴＧ）を介して、ＣＰＵ４１により制御される。
【００２８】
前記撮像素子２から出力された画像信号は、相関二重サンプリング回路（ＣＤＳ）及び増幅器（ＡＭＰ）２２、Ａ／Ｄコンバータ（ＡDＣ）２３、の順で入力され、アナログデータからデジタルデータへと変換される。デジタルデータに変換された画像信号は、画像コントローラ２４が入出力をコントロールする。また、前記増幅器２２のゲインを制御することにより露光量を制御できるようにもしてある。前記画像信号は、画像信号処理回路３１に入力され、階調変換、ホワイトバランス補正、γ補正処理等が施され、前記モニタ３５で表示されるスルー画像として、ＶＲＡＭ３２の所定領域Ａ、Ｂに一次的に記憶される。このＶＲＡＭ３２に記憶されている各画像は所定周期ごとに更新される。具体的には例えば前記タイミングジェネレータ２１により撮像素子２が１／３０秒（１フレーム）ごとに露光及び画像信号の出力が繰り返されるのに合わせて更新できるようにしてある。本実施形態では、前記スルー画像を１フレームごとに更新するか又は２フレーム毎に更新するかについても制御できるようにしてある。
【００２９】
前記評価値算出回路３３は、ＶＲＡＭ３２に記憶された画像からＡＦ評価値及びＡＥ評価値等を算出するものである。ＡＦ評価値とは、例えばコントラスト評価値に相当するものである。またコントラスト評価値は、前記各画像の所定領域について、輝度値の高周波成分を積算することにより算出されたものである。すなわち、隣接する画素間のコントラスト（輝度差）を所定領域内について足し合わせたものである。また、ＡＥ評価値とは、各画像データの所定領域について輝度値を積算することで算出され、画像の明るさを表すものである。コントラスト評価値、ＡＥ評価値はそれぞれ後述するＡＦ動作及びＡＥ動作において用いられる。
【００３０】
前記表示画像処理回路３４は、ＶＲＡＭ３２に記憶されている画像に基づいてＬＣＤモニタ３５においてスルー画像を表示するための処理を行うものである。
【００３１】
前記圧縮処理回路３６は、ＶＲＡＭ３２に記憶された画像に対して、ＪＰＥＧ方式等の圧縮形式により圧縮処理を施すものである。メディアコントーラ３７１は、圧縮処理回路３６によって圧縮処理された各画像をメモリカード等の記録メディア３７に保存する。また、モードダイヤル５２によりビューモードが選択されている場合には、この記録メディア３７に保存されている画像に基づいて、前記表示画像処理回路３４により生成された立体画像が前記モニタ３５により表示される。
【００３２】
前記ＣＰＵ４１は、撮像装置１００の全体の動作を統括的に制御するものである。ＣＰＵ４１には、前述のシャッタボタン５１、モードダイヤル５２、各種操作キー５３の他、不揮発性メモリ４３が接続されている。
【００３３】
前記シャッタボタン５１は、２段押のスイッチ構造となっている。シャッタボタン５１がユーザにより軽く押圧（半押し）されると、撮像準備動作が開始される。本実施形態では、後述するようにシャッタボタン５１が半押しになった時点で全てのＡＦ動作が開始される入力後モードと、シャッタボタン５１が半押しとなる前に、ＡＦ動作の一部が既に開始されている入力前モードとがある。このモードの切り替えは例えば、モードダイヤル５２等や設定画面で切り換えるようにしてある。シャッタボタン５１が強く押圧（全押し）されると、撮影処理が行われ、１画面分の第１及び第２画像がＶＲＡＭ３２から記録メディア３７に転送されて記憶される。また、この記録メディア３７に記憶されている撮影された画像は、モードダイヤル５２で再生モードが選択されている場合には、前記表示画像処理回路で所定の処理が行われた後に前記モニタ３５に表示される。
【００３４】
＜場面認識及びモニタへのスルー画像の表示に関連する構成の説明＞
前記前記不揮発性メモリ４３には、各種制御用のプログラムや設定情報等が記憶されている。しかして、前記ＣＰＵ４１、ＳＤＲAM４２、不揮発性メモリ４３、各種回路等、記録メディア３７等が協業してプログラムや設定情報に基づき、少なくとも、露出制御部６１、露出制御切替部６５、スルー画像生成部６２、スルー画像表示部６３、場面認識部６４、としての機能を発揮するように構成してある。これらの各部を示す機能ブロック図は図４のようになる。
【００３５】
前記露出制御部６１は、前述した評価値算出回路から出力される前記ＡＥ評価値に基づいて、例えばスルー画像における各画素の輝度の平均値が予め定めてある目標値となるように、前記タイミングジェネレータ２１、前記絞り１２、前記増幅器２２のゲイン等を変更して、前記撮像素子への露光量を制御するものである。そして第１の露出制御と第２の露出制御とを交互に行うように構成してある。なお、前記露出制御部６１は、第１露出制御のみを連続して行うことができるようにも構成してある。以下の説明では、第１及び第２の露出制御中において生成されたスルー画像のことをそれぞれ第１スルー画像、第２スルー画像とよぶ。
【００３６】
前記第１の露出制御前記モニタに表示されるスルー画像を、適切な明るさとするための露出制御であり、前記第１スルー画像の全体の輝度平均値が前記撮像素子の出力信号の飽和値の略半分の値となるように露光量を制御している。
【００３７】
前記第２の露出制御は、前記第１の露出制御と比較して、撮像素子への露光量が小さくなるように露出を抑えた露出制御にしてある。より具体的には、第２の露出制御においては、前記第２スルー画像の全画素のうち飽和している画素の割合が、所定割合以下となるように露光量を制御している。ここで、所定割合とは例えば全画素の５％以下等が例として挙げられる。
【００３８】
前記スルー画像生成部６２は、前記撮像素子からの画像信号からスルー画像を生成するものであり、前記画像信号処理回路３１に相当するものである。
【００３９】
前記スルー画像表示部６３は、前記露出制御部６１により第１及び第２の露出制御が交互に行われているときには、前記第１スルー画像のみを前記モニタ３５に表示するように構成してある。より具体的には、前記スルー画像表示部６３は、前記スルー画像生成部６２で生成された第１スルー画像を前記第１の露出制御が行われて第１スルー画像が生成されるごとに、ＶＲＡＭ３２に形成される表示用バッファ（図示しない）に更新して格納し、格納されている画像を前記モニタ３５に表示する。逆に言うと、第２の露出制御が行われているときに生成される第２スルー画像については前記表示用バッファに格納しないようにしてある。従って、図５のタイミングチャートに示されるように、第１及び第２の露出制御を交互に行っている場合には、新たなスルー画像を生成されてもモニタに表示される表示フレームは２フレームに１回の更新となる。
【００４０】
前記場面認識部６４は、前記第１の露出制御中に出力される画像信号から生成される第１スルー画像に基づいた第１認識結果と、前記第２の露出制御中に出力される画像信号から生成される第２スルー画像に基づいた第２認識結果と、を組み合わせて場面の認識結果である最終認識結果を出力するように構成してある。より具体的には、図６に示すようにスルー画像を水平方向に１３、垂直方向に９の計１３×９のブロックに分割し、それぞれのブロックの画素データから、輝度情報、色情報、パターン情報を用いて、予め用意してある被写体パターンのいずれに該当するかを判断するようにしてある。ここで、被写体パターンとは例えば撮影されている被写体が何であるかを示すものである。
【００４１】
図６は、逆光で人物を取った際の画像を例としたものである。まず、第１の露出制御中に撮像された第１スルー画像は、中央部の人物像は鮮明に撮像できているものの、背景は飽和して白つぶれを起こしている。このため第１認識結果では、人物の映っているブロックについては場面認識に成功し、周囲の白つぶれの背景については判定ができない。次に第２の露出制御中に撮像された第２スルー画像では、第１スルー画像に比べて露光量を抑えているため、全体的に暗い画像となっている。このため、中央部の人物については黒つぶれを起こしかけているが、周囲の背景については鮮明に撮像できている。この第２スルー画像を用いた場面認識では、前記第１スルー画像で場面認識に成功したブロック以外の認識演算が行われる。その結果、背景が青空と雲であることの認識に成功し、これを第２認識結果として出力する。最後に第１認識結果と第２認識結果を組み合わせて最終認識結果として出力するように前記場面認識部６４は構成してある。
【００４２】
この場面認識結果は前記露出制御、コントラストＡＦ等の合焦位置の調整、撮像された画像のホワイトバランス調整、色調整、各種画像処理に補助的に用いられるものであり、被写体の種類ごとに応じた補正等を可能にするものである。
【００４３】
前記露出制御切替部６５は、前記露出制御部６１が、第１の露出制御が終わった時点で、続けて第１の露出制御を行うか、あるいは、第２の露出制御を行うかを条件に基づいて選択して、切り替えるものである。より具体的には、前記露出制御切替部６５は、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以下の場合であり、前記第１認識結果のみで画像全体の場面認識が略行えている場合には、前記露出制御部６１が第１の露出制御のみを行い、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以上の場合には、前記露出制御部６１に第１の露出制御と、第２の露出制御とを交互に行うように露出制御方法を切り替えるように構成してある。
【００４４】
このように構成した撮像装置の場面認識時の動作について図７のフローチャートを参照しながら説明する。なお、この動作は撮像装置１００の電源が入れられ、ユーザによりシャッタボタン５２が押されておらず、合焦動作等が開始されていない状態で行われる。また、場面認識を行っている間は、前記スルー画像表示において表示される画像は、第１スルー画像のみに設定してあり、新たに第１スルー画像が生成される度に更新される。
【００４５】
まず、前記露出制御部６１が第１の露出制御を開始する（ステップＳ１）。前記露出制御部６１は、まず前記評価値算出部からＡＥ評価値を取得し（ステップＳ２）、第１スルー画像の全体の輝度が予め設定してある輝度平均値となるように、タイミングジェネレータ２１、絞り１２、増幅器２２のゲイン等に関する制御パラメータを演算して、各部を制御し所定の露光量に制御する（ステップＳ３）。各部の制御が完了した後に、前記場面認識部６４は第１の露出制御中に生成される第１スルー画像に基づいて、場面認識演算を行う。この際、第１スルー画像で輝度が飽和している部分に関しては解析不能として場面認識演算を終了し、第１認識結果を出力する（ステップＳ４）。その後、前記露出制御切替部６５は、前記第１スルー画像又は前記第１認識結果に基づいて、第１スルー画像において輝度が飽和しており、解析不能であった領域が予め定めてある割合、すなわち許容値よりも小さいかどうかを判別し（ステップＳ５）、第１スルー画像における飽和領域が許容値以下の割合であった場合には、第１認識結果を最終認識結果として（ステップＳ６）、再びステップＳ１からＳ５の動作を繰り返す。このように第１認識結果だけで、画像の略全体について場面認識を行えた場合には、後述する第２の露出制御動作を行わずに、第１の露出制御動作を繰り返すようにしてあるので、スルー画像の更新頻度を２フレームに１回から１フレームに１回にすることができ、モニタに表示されスルー画像の動きのなめらかさ等を向上させることができる。
【００４６】
次に、第１認識結果だけでは、画像全体の場面認識が所定割合以上行えなかった場合には（ステップＳ５）、前記露出制御切替部６５が、前記露出制御部６１に行わせる露出制御を第１の露出制御から第２の露出制御へと切替させ、前記露出制御部６１が第２の露出制御を開始する（ステップＳ７）。そして、前記露出制御部６１は、前記評価値算出部からＡＥ評価値を取得し（ステップＳ８）、第２スルー画像が予め定めてあるように第１のスルー画像よりも露光量が抑えられ、暗い画像となるように、タイミングジェネレータ２１、絞り１２、増幅器２２のゲイン等に関する制御パラメータを演算して、各部を制御して所定の露光量に制御する（ステップＳ９）。各部の制御が完了した後に、前記場面認識部６４は第２の露出制御中に生成される第２スルー画像に基づいて、場面認識演算を行う。この際、第１スルー画像で解析に成功したブロックについては演算を省略し、第１スルー画像では解析不能であったブロックに関して場面認識演算を行った結果である第２認識結果を出力する（ステップＳ１０）。その後、前記場面認識部６４は、第１認識結果と第２認識結果を組み合わせて画像全体の認識結果である最終認識結果とする（ステップＳ１１）。最後にシャッタボタン５２などが押圧されているかどうか等に基づいて、撮影直前であるかどうかの判断が行われ、場面認識演算を終了するか継続するかについての判断が行われる（ステップＳ１２）。
【００４７】
＜本実施形態の効果＞ このように本実施形態の撮像装置によれば、明暗差の大きい被写体であっても第１の露出制御と第２の露出制御とを交互に行い、第１及び第２スルー画像を生成し、それぞれから第１認識結果と第２認識結果とを組み合わせて最終認識結果とすることで、画像全体の場面認識を行うことができる。しかも、第１及び第２スルー画像を合成してワイドダイナミックレンジの画像とする必要がないので、合成処理を行う複雑な回路等も設ける必要がなく、構成の複雑化を防ぐことができる。さらに、露光量がユーザにとって見やすい適正レベルに設定された第１スルー画像のみを前記スルー画像表示部６３は、前記モニタに表示させ続けるので、第１及び第２の露出制御を交互に行っても表示品質には略変化がない。言い換えると、場面認識を画像全体に行うことができるとともに、スルー画像についても見やすく、略なめらかな画像をモニタに表示することができる。
【００４８】
その他の実施形態について説明する。
【００４９】
前記実施形態では、逆行時の場面認識に基づいて説明を行ったが、その他の明暗差の大きい被写体を取る際にも本発明の撮影装置及び撮像方法を適用することができる。例えば、通常の露光では、黒つぶれが発生するような被写体に対して場面認識を行う場合でも有効である。すなわち、前記露出制御部が、前記撮像素子への露光量を制御するものであり、第１の露出制御と、当該第１の露出制御に比べて所定量だけ露光量を異ならせた第２の露出制御と、を交互に行うように構成されているものであれば、２つの認識結果に基づいて黒つぶれの領域に関しても場面認識を行うことができる。この場合、例えば、第１の露出制御が通常の適正レベルの露光量に制御するものとした場合、第２の露出制御は露光量を所定量だけ大きくするように制御すればよい。また、被写体によっては、適正露光される第１の露光制御よりも、第２の露光制御による第２スルー画像の方が見やすい場合等には、前記スルー画像表示部が、第２スルー画像のみをモニタに表示し続けるように構成しても構わない。
【００５０】
また、モニタに表示される画像に注目すると、前記露出制御部が、前記モニタに表示されている前記第１スルー画像中の被写体が、ユーザが直接その被写体を見る態様と略同じになるように前記第１の露出制御における露光量を制御するものであればよい。また、より好ましくは、前記露出制御部が、前記第１スルー画像の少なくとも中央部の領域が適正露光量となるように前記第１の露出制御における露光量を制御するものであればよい。
【００５１】
さらに、前記実施形態では前記場面認識部は、第２スルー画像について第１スルー画像で場面認識できなかったブロックのみ場面認識を行うように構成していたが、例えば、認識できるブロックは全て場面認識を行うようにしても構わない。その場合、場面認識が重複したブロックにおいては第１認識結果を優先する等といった条件を決めておけばよい。
【００５２】
その他、本発明の趣旨に反しない限りにおいて、様々な変形や実施形態の組み合わせを行っても構わない。
【符号の説明】
【００５３】
１００・・・撮像装置
１ ・・・撮像光学系
２ ・・・撮像素子
６１ ・・・露出制御部
６２ ・・・スルー画像生成部
６３ ・・・スルー画像表示部
６４ ・・・場面認識部
６５ ・・・露出制御切替部
３５ ・・・モニタ
【特許請求の範囲】
【請求項１】
撮像光学系と、
前記撮像光学系により形成される被写体像を画像信号に変換する撮像素子と、
前記撮像素子への露光量を制御するものであり、第１の露出制御と、当該第１の露出制御に比べて所定量だけ露光量を異ならせた第２の露出制御と、を交互に行うように構成された露出制御部と、
前記画像信号からスルー画像を生成するスルー画像生成部と、
所定周期ごとに前記スルー画像を更新してモニタに表示するスルー画像表示部と、
前記スルー画像に基づいて場面認識演算を行い、前記撮像素子により撮像している場面の認識結果を出力する場面認識部と、を備え、
前記場面認識部が、前記第１の露出制御中に出力される画像信号から生成される第１スルー画像に基づいた第１認識結果と、前記第２の露出制御中に出力される画像信号から生成される第２スルー画像に基づいた第２認識結果と、を組み合わせて場面の認識結果を出力するように構成されており、
前記スルー画像表示部が、前記第１スルー画像のみ、又は、前記第２スルー画像のみを前記モニタに表示させ続けるように構成されていることを特徴とする撮像装置。
【請求項２】
前記露出制御部が、前記第１の露出制御において、前記第１スルー画像の全体の輝度平均値が飽和値の略半分の値となるように露光量を制御し、
前記スルー画像表示部が、前記第１スルー画像のみを前記モニタに表示させ続けるように構成された請求項１記載の撮像装置。
【請求項３】
前記露出制御部が、前記モニタに表示されている前記第１スルー画像中の被写体が、ユーザが直接その被写体を見る態様と略同じになるように前記第１の露出制御における露光量を制御し、
前記スルー画像表示部が、前記第１スルー画像のみを前記モニタに表示させ続けるように構成された請求項１又は２記載の撮像装置。
【請求項４】
前記露出制御部が、前記第１スルー画像の少なくとも中央部の領域が適正露光量となるように前記第１の露出制御における露光量を制御し、
前記スルー画像表示部が、前記第１スルー画像のみを前記モニタに表示させ続けるように構成された請求項１、２又は３記載の撮像装置。
【請求項５】
前記露出制御部が、前記第２の露出制御において、前記第２スルー画像の全画素のうち飽和している画素の割合が、所定割合以下となるように露光量を制御する請求項１、２、３又は４記載の撮像装置。
【請求項６】
前記露出制御部の露出制御方法を切り替える露出制御切替部を更に備え、
前記露出制御切替部が、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以下の場合には、前記露出制御部が第１の露出制御のみを行い、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以上の場合には、前記露出制御部に第１の露出制御と、第２の露出制御とを交互に行うように露出制御方法を切り替えるように構成された請求項１、２、３、４又は５記載の撮像装置。
【請求項７】
撮像光学系と、前記撮像光学系により形成される被写体像を画像信号に変換する撮像素子と、スルー画像が表示されるモニタと、を備えた撮像装置に用いられる撮像方法であって
前記撮像素子の露光量を制御するものであり、第１の露出制御と、当該第１の露出制御に比べて所定量だけ露光量を抑えた第２の露出制御と、を交互に行うように構成された露出制御ステップと、
前記画像信号からスルー画像を生成するスルー画像生成ステップと、
所定周期ごとに前記スルー画像を更新して前記モニタに表示するスルー画像表示ステップと、
前記スルー画像に基づいて場面認識演算を行い、前記撮像素子により撮像している場面の認識結果を出力させる場面認識ステップと、を備え、
前記場面認識ステップにおいて、前記第１の露出制御中に出力される画像信号から生成される第１スルー画像に基づいた第１認識結果と、前記第２の露出制御中に出力される画像信号から生成される第２スルー画像に基づいた第２認識結果と、を組み合わせて場面の認識結果を出力させるようにし、
前記スルー画像表示ステップにおいて、前記第１スルー画像のみ、又は、前記第２スルー画像のみを前記モニタに表示させ続けることを特徴とする撮像方法。
【請求項８】
前記露出制御ステップ中の前記第１の露出制御において、前記第１スルー画像の全体の輝度平均値が飽和値の略半分の値となるように露光量を制御し、
前記スルー画像表示ステップにおいて、前記第１スルー画像のみを前記モニタに表示させ続ける請求項７記載の撮像方法。
【請求項９】
前記露出制御ステップにおいて、前記モニタに表示されている前記第１スルー画像中の被写体が、ユーザが直接その被写体を見る態様と略同じになるように前記第１の露出制御における露光量を制御し、
前記スルー画像表示ステップにおいて、前記第１スルー画像のみを前記モニタに表示させ続ける請求項７又は８記載の撮像方法。
【請求項１０】
前記露出制御ステップにおいて、前記第１スルー画像の少なくとも中央部の領域が適正露光量となるように前記第１の露出制御における露光量を制御し、
前記スルー画像表示ステップにおいて、前記第１スルー画像のみを前記モニタに表示させ続ける請求項７、８又は９記載の撮像方法。
【請求項１１】
前記露出制御ステップ中の前記第２の露出制御において、前記第２スルー画像の各画素が飽和している割合が、前記第１スルー画像の各画素が飽和している割合に比べて小さくなるように露光量を制御する請求項７、８、９又は１０記載の撮像方法。
【請求項１２】
前記露出制御ステップの露出制御方法を切り替える露出制御切替ステップを更に備え、
前記露出制御切替ステップにおいて、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以下の場合には、前記露出制御部が第１の露出制御のみを行い、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以上の場合には、前記露出制御部に第１の露出制御と、第２の露出制御とを交互に行うように露出制御方法を切り替える請求項７、８、９、１０又は１１記載の撮像方法。
【請求項１】
撮像光学系と、
前記撮像光学系により形成される被写体像を画像信号に変換する撮像素子と、
前記撮像素子への露光量を制御するものであり、第１の露出制御と、当該第１の露出制御に比べて所定量だけ露光量を異ならせた第２の露出制御と、を交互に行うように構成された露出制御部と、
前記画像信号からスルー画像を生成するスルー画像生成部と、
所定周期ごとに前記スルー画像を更新してモニタに表示するスルー画像表示部と、
前記スルー画像に基づいて場面認識演算を行い、前記撮像素子により撮像している場面の認識結果を出力する場面認識部と、を備え、
前記場面認識部が、前記第１の露出制御中に出力される画像信号から生成される第１スルー画像に基づいた第１認識結果と、前記第２の露出制御中に出力される画像信号から生成される第２スルー画像に基づいた第２認識結果と、を組み合わせて場面の認識結果を出力するように構成されており、
前記スルー画像表示部が、前記第１スルー画像のみ、又は、前記第２スルー画像のみを前記モニタに表示させ続けるように構成されていることを特徴とする撮像装置。
【請求項２】
前記露出制御部が、前記第１の露出制御において、前記第１スルー画像の全体の輝度平均値が飽和値の略半分の値となるように露光量を制御し、
前記スルー画像表示部が、前記第１スルー画像のみを前記モニタに表示させ続けるように構成された請求項１記載の撮像装置。
【請求項３】
前記露出制御部が、前記モニタに表示されている前記第１スルー画像中の被写体が、ユーザが直接その被写体を見る態様と略同じになるように前記第１の露出制御における露光量を制御し、
前記スルー画像表示部が、前記第１スルー画像のみを前記モニタに表示させ続けるように構成された請求項１又は２記載の撮像装置。
【請求項４】
前記露出制御部が、前記第１スルー画像の少なくとも中央部の領域が適正露光量となるように前記第１の露出制御における露光量を制御し、
前記スルー画像表示部が、前記第１スルー画像のみを前記モニタに表示させ続けるように構成された請求項１、２又は３記載の撮像装置。
【請求項５】
前記露出制御部が、前記第２の露出制御において、前記第２スルー画像の全画素のうち飽和している画素の割合が、所定割合以下となるように露光量を制御する請求項１、２、３又は４記載の撮像装置。
【請求項６】
前記露出制御部の露出制御方法を切り替える露出制御切替部を更に備え、
前記露出制御切替部が、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以下の場合には、前記露出制御部が第１の露出制御のみを行い、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以上の場合には、前記露出制御部に第１の露出制御と、第２の露出制御とを交互に行うように露出制御方法を切り替えるように構成された請求項１、２、３、４又は５記載の撮像装置。
【請求項７】
撮像光学系と、前記撮像光学系により形成される被写体像を画像信号に変換する撮像素子と、スルー画像が表示されるモニタと、を備えた撮像装置に用いられる撮像方法であって
前記撮像素子の露光量を制御するものであり、第１の露出制御と、当該第１の露出制御に比べて所定量だけ露光量を抑えた第２の露出制御と、を交互に行うように構成された露出制御ステップと、
前記画像信号からスルー画像を生成するスルー画像生成ステップと、
所定周期ごとに前記スルー画像を更新して前記モニタに表示するスルー画像表示ステップと、
前記スルー画像に基づいて場面認識演算を行い、前記撮像素子により撮像している場面の認識結果を出力させる場面認識ステップと、を備え、
前記場面認識ステップにおいて、前記第１の露出制御中に出力される画像信号から生成される第１スルー画像に基づいた第１認識結果と、前記第２の露出制御中に出力される画像信号から生成される第２スルー画像に基づいた第２認識結果と、を組み合わせて場面の認識結果を出力させるようにし、
前記スルー画像表示ステップにおいて、前記第１スルー画像のみ、又は、前記第２スルー画像のみを前記モニタに表示させ続けることを特徴とする撮像方法。
【請求項８】
前記露出制御ステップ中の前記第１の露出制御において、前記第１スルー画像の全体の輝度平均値が飽和値の略半分の値となるように露光量を制御し、
前記スルー画像表示ステップにおいて、前記第１スルー画像のみを前記モニタに表示させ続ける請求項７記載の撮像方法。
【請求項９】
前記露出制御ステップにおいて、前記モニタに表示されている前記第１スルー画像中の被写体が、ユーザが直接その被写体を見る態様と略同じになるように前記第１の露出制御における露光量を制御し、
前記スルー画像表示ステップにおいて、前記第１スルー画像のみを前記モニタに表示させ続ける請求項７又は８記載の撮像方法。
【請求項１０】
前記露出制御ステップにおいて、前記第１スルー画像の少なくとも中央部の領域が適正露光量となるように前記第１の露出制御における露光量を制御し、
前記スルー画像表示ステップにおいて、前記第１スルー画像のみを前記モニタに表示させ続ける請求項７、８又は９記載の撮像方法。
【請求項１１】
前記露出制御ステップ中の前記第２の露出制御において、前記第２スルー画像の各画素が飽和している割合が、前記第１スルー画像の各画素が飽和している割合に比べて小さくなるように露光量を制御する請求項７、８、９又は１０記載の撮像方法。
【請求項１２】
前記露出制御ステップの露出制御方法を切り替える露出制御切替ステップを更に備え、
前記露出制御切替ステップにおいて、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以下の場合には、前記露出制御部が第１の露出制御のみを行い、前記第１スルー画像の各画素のうち飽和しているものの割合が所定量以上の場合には、前記露出制御部に第１の露出制御と、第２の露出制御とを交互に行うように露出制御方法を切り替える請求項７、８、９、１０又は１１記載の撮像方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１２９９００（Ｐ２０１２−１２９９００Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２８１３１１（Ｐ２０１０−２８１３１１）
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１７日（２０１０．１２．１７）
【出願人】（５９８０４５０５８）株式会社サムスン横浜研究所 (294)
【Ｆターム（参考）】
[ Back to top ]