撮像装置、画像処理装置、方法およびプログラム
【課題】人物の顔領域と服領域とがともに高画質な画像を自動的に撮像する。
【解決手段】撮像条件を変化させた連続的な撮像動作が行われて、複数の撮像画像データ１５ａが得られた後、顔領域抽出部３１は、一つの撮像画像データ１５ａから人物の顔を検出してその顔領域を検出し、服領域抽出部３２は、検出された顔に対応する服領域を検出する。顔領域用画像選択部３３および服領域用画像選択部３４は、複数の撮像画像データ１５ａを基に、検出された顔領域および服領域を解析し、各領域における画質がそれぞれ最も適正な画像データを複数の撮像画像データ１５ａから一つずつ選択する。画像合成部３５は、複数の撮像画像データ１５ａのうち一つの画像データにおける顔領域および服領域のデータを、顔領域用画像選択部３３および服領域用画像選択部３４によってそれぞれ選択された画像データで置換して合成画像データを生成する。
【解決手段】撮像条件を変化させた連続的な撮像動作が行われて、複数の撮像画像データ１５ａが得られた後、顔領域抽出部３１は、一つの撮像画像データ１５ａから人物の顔を検出してその顔領域を検出し、服領域抽出部３２は、検出された顔に対応する服領域を検出する。顔領域用画像選択部３３および服領域用画像選択部３４は、複数の撮像画像データ１５ａを基に、検出された顔領域および服領域を解析し、各領域における画質がそれぞれ最も適正な画像データを複数の撮像画像データ１５ａから一つずつ選択する。画像合成部３５は、複数の撮像画像データ１５ａのうち一つの画像データにおける顔領域および服領域のデータを、顔領域用画像選択部３３および服領域用画像選択部３４によってそれぞれ選択された画像データで置換して合成画像データを生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、方法およびプログラムに関し、特に、顔検出機能を備えた撮像装置、画像処理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラなどのデジタル方式の撮像装置では、撮影シーンに応じて露出設定などを最適化するモード選択機能を備えているものが多い。このような撮影シーンとしては、例えば被写体として風景、人物、スポーツ、夜景、集合写真などを撮影する場合などが考えられる。その中でも、特に人物の顔の画質を高めることが重要視されている。
【０００３】
一方、最近では、入力画像からデジタル画像処理によって人物の顔を検出する技術が急速に発達しており、このような顔検出技術を用いて、撮像された画像の画質を高めることが考えられている。そのような技術の代表例として、撮像した画像から顔を検出し、顔の有無やその面積を基にシーンを判別して、シーンに応じて階調や彩度を補正する画像処理装置があった（例えば、特許文献１参照）。また、顔の判別精度を向上させるために、入力画像から肌色領域を抽出し、その肌色領域に基づいて、頭頂部、目、口などの顔の特徴点の位置を検出して、その検出結果から肌色領域が顔か否かを判定するようにした画像処理装置もあった（例えば、特許文献２参照）。
【特許文献１】特開２００５−１７３９３２号公報（段落番号〔００３４〕〜〔００４１〕、図１）
【特許文献２】特開２００４−５３８４号公報（段落番号〔００５１〕、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、一般的に、人物を撮像する代表的なシーンとしては、結婚式、入学式などの各種の祝い事や儀式などが考えられ、これらのシーンでは顔だけでなく、衣服の画質についても重要視される。しかし、上記の特許文献に記載された技術は、人物の顔を検出し、その顔の領域の画質を最適化するものであり、それ以外の画像領域の画質については考慮されていない。このため、顔の領域が最適な階調や彩度とされても、衣服の領域が白飛び状態となったり、黒く潰れた状態となるなど、衣服の画質が低くなる場合があることが問題となっていた。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、画像内の人物の顔の領域と衣服の領域とをともに高画質化できるようにした撮像装置、画像処理装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では上記課題を解決するために、固体撮像素子により画像を撮像する撮像装置において、撮像条件を変化させて撮像動作を連続的に実行させる連続撮像制御部と、前記連続撮像制御部の制御による撮像動作によって得られた複数の画像データのうち一つの画像データから、人物の顔を検出してその顔領域を検出する顔領域検出部と、前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出する服領域検出部と、前記複数の画像データを基に、検出された前記顔領域および前記服領域を解析し、前記顔領域および前記服領域における画質がそれぞれ最も適正な画像データを前記複数の画像データから一つずつ選択する画像選択部と、前記複数の画像データのうち一つの画像データにおける前記顔領域および前記服領域のデータを、前記画像選択部によってそれぞれ選択された画像データで置換して合成画像データを生成する画像合成部とを有することを特徴とする撮像装置が提供される。
【０００７】
このような撮像装置では、連続撮像制御部の制御により、撮像条件を変化させた連続的な撮像動作が行われ、これにより複数の画像データが得られる。顔領域検出部は、得られた複数の画像データのうちの一つから、人物の顔を検出してその顔領域を検出し、服領域検出部は、同じ画像データを基に、検出された顔に対応する服領域を検出する。画像選択部は、上記の複数の画像データを基に、検出された顔領域および服領域を解析し、各領域における画質がそれぞれ最も適正な画像データを複数の画像データから一つずつ選択する。画像合成部は、複数の画像データのうち一つの画像データにおける顔領域および服領域のデータを、画像選択部によってそれぞれ選択された画像データで置換して合成画像データを生成する。
【０００８】
また、本発明では、固体撮像素子により画像を撮像する撮像装置において、１回の撮像動作により得られた画像データから、人物の顔を検出してその顔領域を検出する顔領域検出部と、前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出する服領域検出部と、前記顔領域検出部によって顔が検出された画像データを解析して、検出された前記顔領域および前記服領域の画質がそれぞれ適正となるような顔領域用撮像条件および服領域用撮像条件を決定する撮像条件決定部と、決定された前記顔領域用撮像条件および前記服領域用撮像条件と、画像全体の画質が適正となるような通常撮像条件とをそれぞれ適用して、連続的な撮像動作を実行させる連続撮像制御部と、前記通常撮像条件を適用して得られた画像データにおける前記顔領域および前記服領域のデータを、前記顔領域用撮像条件および前記服領域用撮像条件を適用してそれぞれ得られた画像データで置換して合成画像データを生成する画像合成部とを有することを特徴とする撮像装置が提供される。
【０００９】
このような撮像装置では、まず、１回の撮像動作により得られた画像データから、顔領域検出部によって顔領域が検出され、さらに、服領域検出部によってその顔に対応する服領域が検出される。そして、撮像条件決定部により、その画像データが解析されて、顔領域および服領域の画質がそれぞれ適正となるような顔領域用撮像条件および服領域用撮像条件が決定される。次に、連続撮像制御部の制御により、顔領域用撮像条件および服領域用撮像条件と、画像全体の画質が適正となるような通常撮像条件とがそれぞれ適用されて、連続的な撮像動作が実行され、これにより複数の画像データが得られる。画像合成部は、通常撮像条件を適用して得られた画像データにおける顔領域および服領域のデータを、顔領域用撮像条件および服領域用撮像条件を適用してそれぞれ得られた画像データで置換して、合成画像データを生成する。
【発明の効果】
【００１０】
本発明の撮像装置によれば、連続的に撮像されて得られた画像データから、顔領域および服領域の画質がそれぞれ最も適正なものが選択され、それらの画像データが顔領域および服領域に合成された合成画像データが生成されることにより、顔領域および服領域の両方が高画質な画像を自動的に撮像できるようになる。
【００１１】
また、本発明の撮像装置によれば、１回の撮像動作により得られた画像データから顔が検出されると、その顔領域と対応する服領域とが検出され、各領域の画質がそれぞれ適正となるような撮像条件で連続的な撮像動作が実行され、得られた複数の画像データを用いて、顔領域および服領域がそれぞれ適正化された画像データを対応する領域に合成した合成画像データが生成される。これにより、顔領域および服領域の両方が高画質な画像を自動的に撮像できるようになる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。
【００１３】
図１に示す撮像装置は、デジタルスチルカメラあるいはデジタルビデオカメラなどとして実現されるものである。この撮像装置は、光学ブロック１１、ドライバ１１ａ、撮像素子１２、タイミングジェネレータ（ＴＧ）１２ａ、アナログフロントエンド（ＡＦＥ）回路１３、カメラ信号処理回路１４、画像メモリ１５、画像エンコーダ１６、記録装置１７、グラフィック処理回路１８、ディスプレイ１９、システムコントローラ２０、および入力部２１を具備する。
【００１４】
光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ１１ａは、システムコントローラ２０からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。
【００１５】
撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２ａは、システムコントローラ２０の制御の下でタイミング信号を出力する。
【００１６】
ＡＦＥ回路１３は、撮像素子１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像データを出力する。
【００１７】
カメラ信号処理回路１４は、ＡＦＥ回路１３からの画像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、各種画質補正処理のための検波処理や、検波情報を基にシステムコントローラ２０から出力される信号に応じた画質補正処理を施す。なお、後述するように、本実施の形態では、このカメラ信号処理回路１４は、顔や衣服の領域を検出する機能やその領域の明るさなどを解析する機能、複数の画像データを合成する機能などを備えている。
【００１８】
画像メモリ１５は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などからなり、カメラ信号処理回路１４で処理される画像データを一時的に格納する。
画像エンコーダ１６は、カメラ信号処理回路１４から出力された画像データを圧縮符号化し、符号化データを記録装置１７に出力する。具体的には、カメラ信号処理回路１４で処理された１フレーム分の画像データを、ＪＰＥＧ（Joint Photographic Experts Group）などの符号化方式に従って圧縮符号化し、静止画像の符号化データを出力する。なお、静止画像だけでなく、動画像のデータを圧縮符号化できるようにしてもよい。
【００１９】
記録装置１７は、画像エンコーダ１６からの符号化データを画像ファイルとして記録する装置であり、例えば、磁気テープ、光ディスクなどの可搬型記録媒体のドライブ装置、あるいはＨＤＤ（Hard Disk Drive）などとして実現される。
【００２０】
グラフィック処理回路１８は、カメラ信号処理回路１４から出力された画像データを、ディスプレイ１９に表示するための信号に変換し、ディスプレイ１９に供給する。ディスプレイ１９は、例えばＬＣＤ（Liquid Crystal Display）などからなり、グラフィック処理回路１８からの画像信号を基に画像を表示する。
【００２１】
システムコントローラ２０は、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などのメモリを備えるマイクロコンピュータとして構成され、メモリに格納されたプログラムを実行することで、この撮像装置を統括的に制御する。
【００２２】
入力部２１は、各種の入力スイッチを備え、これらの入力スイッチに対するユーザによる操作入力に応じた制御信号を、システムコントローラ２０に出力する。
図２は、この撮像装置の外観を示す斜視図であり、（Ａ）は撮像装置を前面から見たときの図、（Ｂ）は背面から見たときの図である。
【００２３】
この図２に示すように、撮像装置の前面には光学レンズ１１ｂが設けられ、例えば上面には、シャッタ操作を行うためのシャッタレリーズボタン２１ａと、電源のオン／オフ操作を行うための電源ボタン２１ｂが設けられている。また、撮像装置の背面には、撮像画像のモニタ用のディスプレイ１９が設けられ、その横には、各種設定操作のための複数の操作キーからなる操作パネル２１ｃが設けられている。
【００２４】
以上の撮像装置では、撮像素子１２によって受光されて光電変換された信号が、順次ＡＦＥ回路１３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル画像データに変換される。カメラ信号処理回路１４は、ＡＦＥ回路１３から供給された画像データを画質補正処理し、処理後の画像データはグラフィック処理回路１８に供給されて表示用の画像信号に変換される。これによりディスプレイ１９には、現在撮像中の画像（カメラスルー画像）が表示され、撮影者はこの画像を視認して画角を確認できるようになる。
【００２５】
また、この状態から、シャッタレリーズボタン２１ａが押下されることなどにより、システムコントローラ２０に対して画像の記録が指示されると、カメラ信号処理回路１４からの画像データは画像エンコーダ１６に供給され、圧縮符号化処理が施されて、記録装置１７に記録される。静止画像の記録の際には、カメラ信号処理回路１４からは１フレーム分の画像データが画像エンコーダ１６にも供給され、動画像の記録の際には、処理された画像データが画像エンコーダ１６に連続的に供給される。
【００２６】
次に、この撮像装置において静止画像を撮像する際に、顔および衣服をともに良好な画質にすることが可能な撮像モードについて説明する。以下、この撮像モードを「人物撮像モード」と呼ぶことにする。
【００２７】
図３は、人物撮像モードを実現するために撮像装置に設けられた機能を示すブロック図である。
本実施の形態に係る撮像装置は、人物撮像モードの実現のために、顔領域抽出部３１、服領域抽出部３２、顔領域用画像選択部３３、服領域用画像選択部３４、画像合成部３５、および複数画像撮像制御部３６を備えている。また、画像メモリ１５には、後述する複数回露光動作によって連続的に得られた複数フレーム分の撮像画像データ１５ａが、一時的に記憶される。
【００２８】
顔領域抽出部３１は、画像メモリ１５内の１フレーム分の撮像画像データ１５ａを基に、その画像内に存在する人物の顔を検出して、顔領域の位置や顔の向きなどを示す顔検出情報を生成する。
【００２９】
服領域抽出部３２は、顔領域抽出部３１によって生成された顔検出情報と、画像メモリ１５内の１フレーム分の撮像画像データ１５ａとを基に、検出された顔に対応する衣服の領域を抽出し、その領域の位置を示す服領域情報を生成する。
【００３０】
顔領域用画像選択部３３は、画像メモリ１５内の複数フレーム分の撮像画像データ１５ａを用いて、顔領域抽出部３１からの顔検出情報に基づく顔領域をフレームごとに解析し、その解析結果を基に、画像合成部３５において顔領域に合成するのに最適な画像を選択して、その選択情報を顔領域の位置を示す顔領域情報とともに出力する。
【００３１】
服領域用画像選択部３４は、画像メモリ１５内の複数フレーム分の撮像画像データ１５ａを用いて、服領域抽出部３２からの服領域情報に基づく服領域をフレームごとに解析し、その解析結果を基に、画像合成部３５において服領域に合成するのに最適な画像を選択して、その選択情報を服領域情報とともに出力する。
【００３２】
画像合成部３５は、顔領域用画像選択部３３および服領域用画像選択部３４からの各制御情報に基づき、画像メモリ１５内の複数フレーム分の撮像画像データ１５ａのうちのいずれかを画素ごとに選択して合成し、顔領域および服領域の画質がともに最適化された画像データを生成する。
【００３３】
複数画像撮像制御部３６は、複数の画像を連続的に高速に撮像する、いわゆるブラケット撮像を行うための制御機能であり、複数の画像のそれぞれを撮像する際の露出制御値などの撮像条件を演算して、ドライバ１１ａやＴＧ１２ａに対して制御信号を出力し、撮像動作を実行させる。
【００３４】
以上の各機能ブロックによる動作を簡単に説明すると、まず、複数画像撮像制御部３６による制御によって、露出制御値などの撮像条件が異なる複数回の露光動作が実行され、各露光動作によって得られた撮像画像データ１５ａが画像メモリ１５に一旦格納される。次に、これらの撮像画像データ１５ａのうち一つを基に、顔領域抽出部３１および服領域抽出部３２がそれぞれ顔領域および服領域の抽出を行う。
【００３５】
次に、それらの抽出結果に基づいて、顔領域用画像選択部３３および服領域用画像選択部３４によって、複数の撮像画像データ１５ａにおける顔領域および服領域の解析がそれぞれ行われ、それらの解析結果を基に、顔領域および服領域の画質がそれぞれ最適な画像データが選択される。そして、それらの選択情報と合成位置とが画像合成部３５に指示される。これにより、画像合成部３５では、画像メモリ１５内の複数の撮像画像データ１５ａが画素ごとに適宜選択されて合成され、顔および衣服の画質がともに最適化された１フレーム分の画像データが生成される。
【００３６】
なお、以上の顔領域抽出部３１、服領域抽出部３２、顔領域用画像選択部３３、服領域用画像選択部３４、画像合成部３５、および複数画像撮像制御部３６の機能は、例えば、システムコントローラ２０によるソフトウェア処理によって実現される。しかし、例えば、顔領域抽出部３１、服領域抽出部３２、顔領域用画像選択部３３、および服領域用画像選択部３４が備える輝度情報、色相情報などの検波機能やそれらのヒストグラム検出機能など、上記機能の一部またはすべてを、カメラ信号処理回路１４内のハードウェアとして実現してもよい。
【００３７】
図４は、第１の実施の形態での人物撮像モードにおける撮像装置内の処理の流れを示すフローチャートである。このフローチャートを用いて、上記各機能ブロックの処理についてより詳しく説明する。
【００３８】
〔ステップＳ１〕ユーザによりシャッタレリーズボタン２１ａに対する全押し操作が行われると、複数画像撮像制御部３６の制御の下で、撮像条件をそれぞれ変えて複数回の露光動作が実行される。各露光動作によって得られた撮像画像データ１５ａは、画像メモリ１５に一時的に格納される。
【００３９】
より具体的には、例えば、複数画像撮像制御部３６はまず、１フレーム分の撮像画像データからの輝度の検波情報を取得し、その検波情報を基に、従来の一般的なＡＥ制御手法に従って画像全体で好適な露出となるような露出制御値を算出する。そして、この露出制御値を中心として、その上下方向にそれぞれ１段または数段分シフトさせた露出制御値を算出して、これらのすべての露出制御値をそれぞれ用いて連続的な露光動作を実行させる。
【００４０】
なお、このステップでの露光動作は３回〜７回程度が適当であり、各露光動作の間隔はできるだけ短くすることが好ましい。このため、例えば、シャッタ速度をできるだけ高速に設定して固定し、アイリスの絞り量のみを変化させることで複数回の露光動作を行うようにする。これによって、得られた各画像間での被写体位置の変化を少なくして、後の画像合成部３５での合成処理時の画質劣化を抑制できる。
【００４１】
また、撮像間隔を短縮するためには、例えばＣＭＯＳ型センサなど、画像信号の転送速度が高速な撮像素子１２を用いることが望ましい。また、標準のフレームレート（例えば１／３０秒）より高速のフレームレート（例えば１／１２０秒）で撮像できるようなシステム構成であれば、さらに有効である。一例として、撮像素子１２において、画素補間などを行うことで有効画素数より低い画素数の画像データを標準より高速なフレームレートで出力するようにし、ＡＦＥ回路１３などの後段回路において処理周波数を高めることなく高速なフレームレートの画像データを処理できるようにする手法が考えられる。
【００４２】
なお、複数回の露光動作を行う際には、ＡＥ制御手法を用いずに、例えば、その中間的な撮像条件について、あるいはすべての露光動作の撮像条件について、ユーザの操作入力に応じて任意に設定できるようにしてもよい。
【００４３】
〔ステップＳ２〕画像メモリ１５内の撮像画像データ１５ａのうちの一つを基に、顔領域抽出部３１によって顔領域の検出が行われる。
ここでは例えば、複数の撮像画像データ１５ａのうち、中間的な露出条件（例えば通常のＡＥ制御手法による露出条件）で撮像されたものを、背景画像データとして選択する。この背景画像データは、画像合成部３５において、顔領域および服領域を除いた背景領域で使用されるデータとなる。顔領域抽出部３１は、背景画像データから検波した輝度情報または色差情報、またはそれらの双方を基に、顔領域やその顔の傾きなどを検出する。
【００４４】
顔の検出手法としては既知の手法を用いることができるが、例えば、特許３７６３２９３号公報に記載された以下のような手法を用いることができる。まず、入力画像データの各画素値を色空間上の座標値に変換し、その座標値のヒストグラムの極大点近傍を含む初期領域を設定する。次に、初期領域を画素の分布状態に応じて複数の領域に分割し、人間の肌の色に対応する領域を抽出する。元の入力画像データと抽出された肌色領域のデータとから、人物の頭頂部、口、目、顔の中心線を検出し、その検出結果を基に顔領域である肌色領域を判別して出力する。
【００４５】
顔領域抽出部３１は、上記処理により、顔領域の位置情報や、顔の傾き情報などを含む顔検出情報を生成する。この顔検出情報は、図示しないＲＡＭに一時的に記憶される。
〔ステップＳ３〕顔領域の検出対象と同じ撮像画像データ１５ａ、すなわち上述した背景画像データを基に、服領域抽出部３２によって服領域の検出が行われる。
【００４６】
ここで、図５は、図４のステップＳ３における服検出処理の流れを示すフローチャートである。
服領域抽出部３２は、まず、顔領域抽出部３１により生成された顔検出情報を取得し（ステップＳ１１）、その情報に含まれる顔領域の位置情報や顔の傾き情報を基に、背景画像内の服領域を大まかに推定する（ステップＳ１２）。その後、推定した大まかな服領域、またはその領域を含む領域の画像データを解析して、より正確な服領域を検出する（ステップＳ１３）。
【００４７】
図６は、大まかな服領域を推定する手法を説明するための図である。
図５のステップＳ１２では、背景画像において、顔検出情報に基づく顔領域５１の下方の一定領域を、大まかな服領域５２として設定する。服領域５２の形状としては典型的な衣服の形状をあらかじめ規定しておけばよく、図６では例として、服領域５２を高さＢＨ、幅ＢＷの矩形領域として規定している。
【００４８】
服領域５２の具体的な推定手順としては、まず、顔領域５１の位置情報に基づき、その顔領域５１が収まるような高さＦＨ、幅ＦＷの矩形領域を検出する。次に、服領域５２の高さＢＨ、幅ＢＷを、それぞれＦＨ，ＦＷの値に対してあらかじめ決められた倍率で乗算することで決定する。例えば、高さＢＨをＦＨの２倍〜３倍程度とし、幅ＢＷをＦＷの１．５倍〜２倍程度とする。次に、顔検出情報に含まれる顔の傾き情報を基に、顔の矩形領域に対して服領域５２を配置する方向を決定し、顔の矩形領域から下方に所定画素分だけ離れた領域に、高さＢＨ、幅ＢＷの服領域５２を設定する。このとき、服領域５２の位置情報を、例えば、右上の座標Ｐｂと、その座標Ｐｂを基準とした大きさ（ＢＷ，ＢＨ）として算出する。
【００４９】
なお、この撮像装置に重力センサを設けておき、その検出結果を基に服領域５２の配置方向を決定してもよい。また、顔領域抽出部３１において顔のパーツ（頭頂部、目、鼻、口など）の位置情報が検出されている場合には、その位置情報を基に服領域の配置方向を決定してもよい。また、顔の傾き情報などを基に、例えば、顔の矩形領域に対する服領域５２の相対位置を縦横方向にシフトさせたり、服領域５２を決定する際の倍率やその形状を変化させてもよい。
【００５０】
図７は、正確な服領域を検出する手順を説明するための図である。
図５のステップＳ１３では、背景画像データのうち、ステップＳ１２で求めた大まかな服領域のデータを解析して、服領域と背景領域とのエッジを検出し、服領域の範囲を画素単位で正確に求める。なお、ここでは例として、解析の対象領域をステップＳ１２で求めた服領域に一致させるものとするが、この解析対象領域としては、大まかな服領域をその周囲に所定画素数分だけ拡大あるいは縮小した領域としてもよい。
【００５１】
ここでは、まず、図７（Ａ）に示すように、大まかな服領域における輝度情報あるいは色相情報の階調ごとの度数を示すヒストグラムを検出する。そして、このヒストグラムのピーク位置の階調を、服領域を最も多く占める階調を示すモード値（代表階調値）として算出する。
【００５２】
次に、図７（Ｂ）に示すように、大まかな服領域の階調をラインごとに水平方向にスキャンし、隣接画素間の差分値を基に服領域と背景領域とのエッジを検出する。例えば、大まかな服領域の中心を始点に両側に向かって隣接画素間の差分値を演算し、差分値が大きくなる位置をエッジとする。このとき、エッジか否かを正確に判定するために、モード値を利用できる。例えば、階調の値がモード値を中心とした一定範囲内にあれば、その位置をエッジとは判定しないようにする。また、モード値との差分値が大きい領域は背景領域と推定できることから、モード値を基に背景領域を大まかに推定しておき、隣接画素間の差分値が大きい場合にその推定した背景領域との境界に近ければ、エッジであると判定することもできる。
【００５３】
なお、服領域と背景領域の各階調の値が近接していて、差分に基づくエッジが検出できない場合には、例えばステップＳ１２で求めた大まかな服領域など、あらかじめ設定しておいた領域を最終的な服領域として採用すればよい。一方、このエッジ検出のための解析処理では、解析対象のデータとして輝度情報あるいは色相情報のいずれか一方を用いればよいが、それらの両方を用いることで、エッジをより正確に判別することができる。
【００５４】
例えば、上記のモード値算出およびエッジ検出の手順を輝度情報および色相情報の双方について実行し、色相情報より輝度情報についての隣接画素間の差分値が大きい場合は、輝度情報に基づいてエッジを判別し、その逆の場合は色相情報に基づいてエッジを判別する。これにより、服領域と背景領域との境界で、明るさと色のいずれか一方に差があればエッジを検出可能になる。また、服領域は顔領域とは異なり、多数の色が混在する場合も多く、そのような場合には輝度情報と色相情報の両方を用いることが有効である。
【００５５】
以上の処理によって、服領域抽出部３２では、正確な服領域の位置が座標情報として算出される。その座標情報は服領域情報として、図示しないＲＡＭなどに一旦格納される。
以下、図４に戻って説明する。
【００５６】
〔ステップＳ４〕顔領域用画像選択部３３は、画像メモリ１５内の複数の撮像画像データ１５ａのそれぞれに対して、顔検出情報に基づく顔領域の解析を行い、顔の画質が最も適切な撮像画像データ１５ａを選択する。また、服領域用画像選択部３４も同様に、画像メモリ１５内の複数の撮像画像データ１５ａのそれぞれに対して、服領域情報に基づく服領域の解析を行い、衣服の画質が最も適切な撮像画像データ１５ａを選択する。
【００５７】
ここで、図８は、画像選択のための画像解析手順を説明するための図である。
図８は、検出された顔領域または服領域内のあるライン（あるいは垂直方向のある列でもよい）の輝度情報の階調分布を示したものである。図８（Ａ）は画像メモリ１５内の複数の撮像画像データ１５ａのうちの一つから検出されたグラフであり、（Ｂ）は他の撮像画像データ１５ａから検出されたグラフである。
【００５８】
顔領域用画像選択部３３および服領域用画像選択部３４では、基本的に、それぞれ顔領域および服領域における明るさのコントラストが高い画像を、各領域の画質が高いものとして選択する。これによって、顔領域および服領域の双方において、輝度の階調表現性が豊かで、白飛びや黒つぶれのない鮮明な画像が選択されるようになる。図８の例では、（Ａ）における輝度階調の最大値と最小値との差分Ｄ１の方が、（Ｂ）における差分Ｄ２より大きいことから、（Ａ）に対応する撮像画像データ１５ａが最適なものとして選択される。
【００５９】
このような輝度分布の比較は、各画像データについて１行または１列だけ行ってもよいし、複数行または複数列について行ってそれらの平均などを基に選択してもよい。また、水平方向と垂直方向の両方について行ってもよい。なお、複数の画像データ間で輝度階調の差分がほぼ同じである場合には、ＡＥ制御によって得られた撮像画像データ１５ａ（すなわち背景画像データ）、またはこのときの露出制御値に近い露出制御値により撮像された撮像画像データ１５ａを選択すればよい。
【００６０】
また、行あるいは列ごとの輝度階調分布の他に、行あるいは列ごと、もしくは各領域全体における輝度階調の度数を示すヒストグラムから、コントラストの高い画像を選択してもよい。この場合、ヒストグラム上で度数がある一定の値以上となる輝度の最小値と最大値との差分を基に、最適な撮像画像データ１５ａを選択すればよい。
【００６１】
また、このような差分値を演算によって求める方法の他、例えば、顔領域、服領域についてそれぞれ適切とされるヒストグラム形状のテンプレートを保持しておき、このテンプレートと各画像から検出されたヒストグラムとをマッチングさせて、テンプレートのヒストグラム形状に近い撮像画像データ１５ａを選択してもよい。
【００６２】
以上の手順により、顔領域および服領域としてそれぞれ適切な撮像画像データ１５ａが選択されると、顔領域用画像選択部３３および服領域用画像選択部３４ではそれぞれ、選択した撮像画像データ１５ａを示す選択情報と、顔領域および服領域の正確な位置を示す顔領域情報および服領域情報とが生成されて、これらの情報が図示しないＲＡＭなどに一旦格納される。
【００６３】
以下、図４に戻って説明する。
〔ステップＳ５〕顔領域用画像選択部３３および服領域用画像選択部３４によって生成された顔領域情報、服領域情報、および選択情報に基づいて、画像合成部３５が、画像メモリ１５内の複数の撮像画像データ１５ａを適宜選択して、合成画像データを生成する。なお、顔領域および服領域以外の背景領域には、上述した背景画像に対応する撮像画像データ１５ａが合成される。
【００６４】
なお、上記の処理において、顔領域抽出部３１によって複数の顔が検出された場合には、例えば、検出された顔ごとに顔領域および服領域を求め、顔領域および服領域にそれぞれ適切な撮像画像データ１５ａの選択処理（ステップＳ４）を、検出された顔ごとに行えばよい。また、多数の顔が検出された場合には、例えば顔領域が広い順など、優先される所定数の顔についてのみ、それらの顔領域および服領域に対応する画像選択処理を行うようにしてもよい。このとき、選択処理が行われなかった顔の領域については、背景画像データが合成されてもよいし、あるいは、選択処理が行われた他のいずれかの顔およびその衣服に対応する画像データが合成時に選択されてもよい。さらに、検出された複数の顔のうち、例えば顔領域が最も広いものなど、代表的な顔についてのみ、画像データの選択処理を行い、検出されたすべての顔領域およびそれらの対応する服領域について、同じ画像データを選択して合成してもよい。
【００６５】
以上説明した処理によれば、撮像画像から顔が検出されると、顔領域だけでなく、その顔に対応する衣服の服領域の画質が適正化された画像が、自動的に生成される。特に、露出制御値などの撮像条件を変化させて複数回の撮像を行うことで、顔領域および服領域の画質、特に明るさが適切に撮像された画像を確実に取得して合成できる。従って、撮像条件の設定方法などの知識が少ないユーザなどでも、顔領域および服領域の画質が向上された画像を確実に撮像することができるようになる。
【００６６】
［第２の実施の形態］
図９は、第２の実施の形態に係る撮像装置の主な機能を示すブロック図である。なお、この図９では、図３に対応するブロックについては同じ符号を付して示しており、その説明については省略する。
【００６７】
図９において、顔領域抽出部３１、服領域抽出部３２、および画像合成部３５は、図３に示したものと同様の機能を備える。ただし、顔領域抽出部３１および服領域抽出部３２は、後述するように、１回の露光動作によって得られた撮像画像データ１５ｂを基に、顔領域および服領域をそれぞれ抽出する。
【００６８】
撮像条件決定部３７は、撮像画像データ１５ｂを基に、顔検出情報に基づく顔領域、および服領域情報に基づく服領域が、それぞれ適正な画質となるような撮像条件を演算する。また、撮像条件決定部３７は、これらの領域に関係なく画像全体が適正な画質となるような撮像条件も演算する。
【００６９】
複数画像撮像制御部３６ａは、撮像条件決定部３７によって演算された撮像条件をそれぞれ適用した撮像動作を連続的に実行させる。その結果、複数の撮像画像データ１５ｃが得られて、画像メモリ１５に一時的に格納される。また、複数画像撮像制御部３６ａは、顔領域および服領域の位置をそれぞれ示す顔領域情報および服領域情報と、顔領域および服領域にそれぞれ適するとして選択した画像を示す選択情報とを生成する。これらの情報は、画像合成部３５における画像合成処理時に利用される。
【００７０】
なお、上記の複数画像撮像制御部３６ａおよび撮像条件決定部３７の機能は、例えば、システムコントローラ２０によるソフトウェア処理によって実現されればよいが、例えば、撮像条件決定部３７が備える輝度情報の検波機能など、上記機能の一部またはすべてを、カメラ信号処理回路１４内のハードウェアとして実現してもよい。
【００７１】
図１０は、第２の実施の形態での人物撮像モードにおける撮像装置内の処理の流れを示すフローチャートである。このフローチャートを用いて、上記各機能ブロックの処理についてより詳しく説明する。
【００７２】
〔ステップＳ２１〕システムコントローラ２０の制御の下で、例えば、ユーザによる人物撮像モードの設定操作、あるいは、シャッタレリーズボタン２１ａに対する半押し操作などに応じて、１回の露光動作が実行されて、撮像画像データ１５ｂが画像メモリ１５に取り込まれる。この露光動作では、例えば、通常のＡＥ制御手法によって求められた露出制御値などの撮像条件に従って露光が行われればよい。そして、この撮像画像データ１５ｂを基に、顔領域抽出部３１により顔領域が抽出される。この顔領域の抽出処理手順は、図４のステップＳ２と同様である。
【００７３】
〔ステップＳ２２〕服領域抽出部３２は、顔領域抽出部３１で生成された顔検出情報に基づいて、撮像画像データ１５ｂから服領域を抽出する。この服領域の抽出処理手順は、図４のステップＳ３と同様である。
【００７４】
〔ステップＳ２３〕撮像条件決定部３７は、顔検出情報に含まれる顔領域の位置情報と服領域情報とを取得し、撮像画像データ１５ｂを解析して、顔領域および服領域がそれぞれ適正な画質となるような撮像条件を演算する。ここでは、例えば、撮像画像データ１５ｂに基づく輝度情報、あるいはそれらの輝度値ごとの度数を示すヒストグラムなどの検波が行われ、それらの検波結果を基に、顔領域および服領域の明るさがそれぞれ適正となるような露出制御値が算出される。また、これらの領域に対応する露出制御値とともに、画像全体の明るさを適正化するような露出制御値も算出される。
【００７５】
なお、画像全体に対応する露出制御値は、例えば撮像画像データ１５ｂを基に通常のＡＥ制御手法によって算出されてもよいが、撮像画像データ１５ｂの取り込みの際にＡＥ制御手法による露出制御値が算出されている場合には、この値をそのまま用いてもよい。後者の場合、顔領域および服領域に対応する露出制御値は、画像全体に対応する露出制御値に対する露出補正値や露出補正段数として算出されてもよい。
【００７６】
〔ステップＳ２４〕複数画像撮像制御部３６ａの制御により、複数回の露光動作が実行されて、得られた複数の撮像画像データ１５ｃが画像メモリ１５に一旦格納される。ここでは、撮像条件決定部３７によって算出された複数の撮像条件がそれぞれ適用されて、露光動作が連続的に行われる。これにより、撮像画像データ１５ｃとして、顔領域を適正化した画像データと、服領域を適正化した画像データと、画像全体を適正化した背景領域用の背景画像データとが取り込まれる。また、複数画像撮像制御部３６ａは、顔領域用および服領域用にそれぞれ対応する撮像画像データ１５ｃを示す選択情報を生成し、顔領域および服領域の位置をそれぞれ示す顔領域情報および服領域情報とともに、図示しないＲＡＭなどに一旦格納する。
【００７７】
なお、顔領域用、服領域用、背景領域用の各撮像条件のうち、同一のものについては、露光動作を共通化して、露光回数を少なくすることが望ましい。この場合、対応する領域で使用する画像データを示す選択情報は、同じ撮像画像データ１５ｃを使用するように設定される。
【００７８】
〔ステップＳ２５〕複数画像撮像制御部３６ａから出力された顔領域情報、服領域情報、および選択情報に基づいて、画像合成部３５が、画像メモリ１５内の複数の撮像画像データ１５ｃを適宜選択して、合成画像データを生成する。なお、顔領域および服領域以外の背景領域には、上述した背景画像に対応する撮像画像データ１５ｃが合成される。
【００７９】
なお、画像合成部３５による合成の直前に、複数のうちのいずれかの撮像画像データ１５ｃから顔領域および服領域をあらためて抽出し、それによって生成された顔領域情報および服領域情報に基づいて合成処理を行ってもよい。これにより、被写体が動いた場合でも、顔領域および服領域を確実に抽出して適切な画像データを合成でき、合成画像データにおける画質を向上させることができる。
【００８０】
また、上記の処理において、顔領域抽出部３１によって複数の顔が検出された場合には、例えば、検出された顔ごとに顔領域および服領域を求め、顔領域および服領域にそれぞれ適切な撮像条件を算出して、検出された顔ごとに露光動作を行って撮像画像データ１５ｃを取り込めばよい。また、多数の顔が検出された場合には、例えば顔領域が広い順など、優先される所定数の顔についてのみ、それらの顔領域および服領域に対応する撮像画像データ１５ｃを取り込むようにしてもよい。このとき、撮像条件の演算対象とされなかった顔の領域については、背景画像データが合成されてもよいし、あるいは、撮像条件の演算対象とされた他のいずれかの顔およびその衣服に対応する画像データが合成時に選択されてもよい。さらに、検出された複数の顔のうち、例えば顔領域が最も広いものなど、代表的な顔についてのみ、対応する撮像画像データ１５ｃの取り込みを行い、検出されたすべての顔領域およびそれらの対応する服領域について、同じ撮像画像データ１５ｃを選択して合成してもよい。
【００８１】
以上説明した第２の実施の形態での処理によれば、最終的な合成処理に用いる画像の撮像の前に、顔領域および服領域の画質が適正となるように撮像条件が決められ、その撮像条件で画像が撮像されることで、顔領域および服領域の画質を確実に向上できる。これとともに、その合成のための複数の画像の撮像回数を必要最小限に留めることができる。従って、撮像時のユーザの違和感を軽減できるとともに、被写体が動いた場合の合成時の画質劣化を防止することもできる。
【００８２】
なお、以上の各実施の形態では、本発明をデジタルスチルカメラやデジタルビデオカメラといった撮像専用の装置に適用した場合について説明したが、同様な撮像機能を備えた携帯電話機、携帯端末などの各種の電子機器に、本発明を適用することも可能である。
【００８３】
また、撮像機能を外付けしたＰＣ（パーソナルコンピュータ）などの情報処理機器において、上記の図３や図９に示した処理機能をコンピュータにおけるソフトウェア処理によって実現することもできる。
【００８４】
さらに、第１の実施の形態における処理機能については、撮像機能を持たない画像処理装置に適用することも可能である。この場合、事前にブラケット撮像により得られた複数の画像データを画像処理装置に入力して、顔領域や服領域を抽出し、各領域に適切な画像データを選択して合成する。また、このような画像処理装置の処理機能をコンピュータにおけるソフトウェア処理によって実現することもできる。
【００８５】
また、上記の処理機能をコンピュータによって実現する場合には、そのような処理機能の処理内容を記述したプログラムが提供される。すなわち、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。また、処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気テープやハードディスクなどの磁気記録媒体、光ディスク、光磁気記録媒体、半導体メモリなどがある。
【００８６】
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、そのプログラムを、サーバコンピュータからネットワークを介して他のコンピュータに転送することもできる。
【００８７】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自機に接続された記憶装置に格納する。そして、コンピュータは、その記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【図面の簡単な説明】
【００８８】
【図１】第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。
【図２】撮像装置の外観を示す斜視図であり、（Ａ）は撮像装置を前面から見たときの図、（Ｂ）は背面から見たときの図である。
【図３】第１の実施の形態において、人物撮像モードを実現するために撮像装置に設けられた機能を示すブロック図である。
【図４】第１の実施の形態での人物撮像モードにおける撮像装置内の処理の流れを示すフローチャートである。
【図５】服検出処理の流れを示すフローチャートである。
【図６】大まかな服領域を推定する手法を説明するための図である。
【図７】正確な服領域を検出する手順を説明するための図である。
【図８】画像選択のための画像解析手順を説明するための図である。
【図９】第２の実施の形態に係る撮像装置の主な機能を示すブロック図である。
【図１０】第２の実施の形態での人物撮像モードにおける撮像装置内の処理の流れを示すフローチャートである。
【符号の説明】
【００８９】
１１……光学ブロック、１１ａ……ドライバ、１１ｂ……光学レンズ、１２……撮像素子、１２ａ……タイミングジェネレータ（ＴＧ）、１３……アナログフロントエンド（ＡＦＥ）回路、１４……カメラ信号処理回路、１５……画像メモリ、１５ａ……撮像画像データ、１６……画像エンコーダ、１７……記録装置、１８……グラフィック処理回路、１９……ディスプレイ、２０……システムコントローラ、２１……入力部、２１ａ……シャッタレリーズボタン、２１ｂ……電源ボタン、２１ｃ……操作パネル、３１……顔領域抽出部、３２……服領域抽出部、３３……顔領域用画像選択部、３４……服領域用画像選択部、３５……画像合成部、３６……複数画像撮像制御部
【技術分野】
【０００１】
本発明は、撮像装置、画像処理装置、方法およびプログラムに関し、特に、顔検出機能を備えた撮像装置、画像処理装置、方法およびプログラムに関する。
【背景技術】
【０００２】
デジタルスチルカメラなどのデジタル方式の撮像装置では、撮影シーンに応じて露出設定などを最適化するモード選択機能を備えているものが多い。このような撮影シーンとしては、例えば被写体として風景、人物、スポーツ、夜景、集合写真などを撮影する場合などが考えられる。その中でも、特に人物の顔の画質を高めることが重要視されている。
【０００３】
一方、最近では、入力画像からデジタル画像処理によって人物の顔を検出する技術が急速に発達しており、このような顔検出技術を用いて、撮像された画像の画質を高めることが考えられている。そのような技術の代表例として、撮像した画像から顔を検出し、顔の有無やその面積を基にシーンを判別して、シーンに応じて階調や彩度を補正する画像処理装置があった（例えば、特許文献１参照）。また、顔の判別精度を向上させるために、入力画像から肌色領域を抽出し、その肌色領域に基づいて、頭頂部、目、口などの顔の特徴点の位置を検出して、その検出結果から肌色領域が顔か否かを判定するようにした画像処理装置もあった（例えば、特許文献２参照）。
【特許文献１】特開２００５−１７３９３２号公報（段落番号〔００３４〕〜〔００４１〕、図１）
【特許文献２】特開２００４−５３８４号公報（段落番号〔００５１〕、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、一般的に、人物を撮像する代表的なシーンとしては、結婚式、入学式などの各種の祝い事や儀式などが考えられ、これらのシーンでは顔だけでなく、衣服の画質についても重要視される。しかし、上記の特許文献に記載された技術は、人物の顔を検出し、その顔の領域の画質を最適化するものであり、それ以外の画像領域の画質については考慮されていない。このため、顔の領域が最適な階調や彩度とされても、衣服の領域が白飛び状態となったり、黒く潰れた状態となるなど、衣服の画質が低くなる場合があることが問題となっていた。
【０００５】
本発明はこのような課題に鑑みてなされたものであり、画像内の人物の顔の領域と衣服の領域とをともに高画質化できるようにした撮像装置、画像処理装置、方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明では上記課題を解決するために、固体撮像素子により画像を撮像する撮像装置において、撮像条件を変化させて撮像動作を連続的に実行させる連続撮像制御部と、前記連続撮像制御部の制御による撮像動作によって得られた複数の画像データのうち一つの画像データから、人物の顔を検出してその顔領域を検出する顔領域検出部と、前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出する服領域検出部と、前記複数の画像データを基に、検出された前記顔領域および前記服領域を解析し、前記顔領域および前記服領域における画質がそれぞれ最も適正な画像データを前記複数の画像データから一つずつ選択する画像選択部と、前記複数の画像データのうち一つの画像データにおける前記顔領域および前記服領域のデータを、前記画像選択部によってそれぞれ選択された画像データで置換して合成画像データを生成する画像合成部とを有することを特徴とする撮像装置が提供される。
【０００７】
このような撮像装置では、連続撮像制御部の制御により、撮像条件を変化させた連続的な撮像動作が行われ、これにより複数の画像データが得られる。顔領域検出部は、得られた複数の画像データのうちの一つから、人物の顔を検出してその顔領域を検出し、服領域検出部は、同じ画像データを基に、検出された顔に対応する服領域を検出する。画像選択部は、上記の複数の画像データを基に、検出された顔領域および服領域を解析し、各領域における画質がそれぞれ最も適正な画像データを複数の画像データから一つずつ選択する。画像合成部は、複数の画像データのうち一つの画像データにおける顔領域および服領域のデータを、画像選択部によってそれぞれ選択された画像データで置換して合成画像データを生成する。
【０００８】
また、本発明では、固体撮像素子により画像を撮像する撮像装置において、１回の撮像動作により得られた画像データから、人物の顔を検出してその顔領域を検出する顔領域検出部と、前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出する服領域検出部と、前記顔領域検出部によって顔が検出された画像データを解析して、検出された前記顔領域および前記服領域の画質がそれぞれ適正となるような顔領域用撮像条件および服領域用撮像条件を決定する撮像条件決定部と、決定された前記顔領域用撮像条件および前記服領域用撮像条件と、画像全体の画質が適正となるような通常撮像条件とをそれぞれ適用して、連続的な撮像動作を実行させる連続撮像制御部と、前記通常撮像条件を適用して得られた画像データにおける前記顔領域および前記服領域のデータを、前記顔領域用撮像条件および前記服領域用撮像条件を適用してそれぞれ得られた画像データで置換して合成画像データを生成する画像合成部とを有することを特徴とする撮像装置が提供される。
【０００９】
このような撮像装置では、まず、１回の撮像動作により得られた画像データから、顔領域検出部によって顔領域が検出され、さらに、服領域検出部によってその顔に対応する服領域が検出される。そして、撮像条件決定部により、その画像データが解析されて、顔領域および服領域の画質がそれぞれ適正となるような顔領域用撮像条件および服領域用撮像条件が決定される。次に、連続撮像制御部の制御により、顔領域用撮像条件および服領域用撮像条件と、画像全体の画質が適正となるような通常撮像条件とがそれぞれ適用されて、連続的な撮像動作が実行され、これにより複数の画像データが得られる。画像合成部は、通常撮像条件を適用して得られた画像データにおける顔領域および服領域のデータを、顔領域用撮像条件および服領域用撮像条件を適用してそれぞれ得られた画像データで置換して、合成画像データを生成する。
【発明の効果】
【００１０】
本発明の撮像装置によれば、連続的に撮像されて得られた画像データから、顔領域および服領域の画質がそれぞれ最も適正なものが選択され、それらの画像データが顔領域および服領域に合成された合成画像データが生成されることにより、顔領域および服領域の両方が高画質な画像を自動的に撮像できるようになる。
【００１１】
また、本発明の撮像装置によれば、１回の撮像動作により得られた画像データから顔が検出されると、その顔領域と対応する服領域とが検出され、各領域の画質がそれぞれ適正となるような撮像条件で連続的な撮像動作が実行され、得られた複数の画像データを用いて、顔領域および服領域がそれぞれ適正化された画像データを対応する領域に合成した合成画像データが生成される。これにより、顔領域および服領域の両方が高画質な画像を自動的に撮像できるようになる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態を図面を参照して詳細に説明する。
［第１の実施の形態］
図１は、第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。
【００１３】
図１に示す撮像装置は、デジタルスチルカメラあるいはデジタルビデオカメラなどとして実現されるものである。この撮像装置は、光学ブロック１１、ドライバ１１ａ、撮像素子１２、タイミングジェネレータ（ＴＧ）１２ａ、アナログフロントエンド（ＡＦＥ）回路１３、カメラ信号処理回路１４、画像メモリ１５、画像エンコーダ１６、記録装置１７、グラフィック処理回路１８、ディスプレイ１９、システムコントローラ２０、および入力部２１を具備する。
【００１４】
光学ブロック１１は、被写体からの光を撮像素子１２に集光するためのレンズ、レンズを移動させてフォーカス合わせやズーミングを行うための駆動機構、シャッタ機構、アイリス機構などを具備している。ドライバ１１ａは、システムコントローラ２０からの制御信号に基づいて、光学ブロック１１内の各機構の駆動を制御する。
【００１５】
撮像素子１２は、例えば、ＣＣＤ（Charge Coupled Device）型、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）型などの固体撮像素子であり、ＴＧ１２ａから出力されるタイミング信号に基づいて駆動され、被写体からの入射光を電気信号に変換する。ＴＧ１２ａは、システムコントローラ２０の制御の下でタイミング信号を出力する。
【００１６】
ＡＦＥ回路１３は、撮像素子１２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理によりＳ／Ｎ（Signal／Noise）比を良好に保つようにサンプルホールドを行い、さらにＡＧＣ（Auto Gain Control）処理により利得を制御し、Ａ／Ｄ変換を行ってデジタル画像データを出力する。
【００１７】
カメラ信号処理回路１４は、ＡＦＥ回路１３からの画像データに対して、ＡＦ（Auto Focus）、ＡＥ（Auto Exposure）、各種画質補正処理のための検波処理や、検波情報を基にシステムコントローラ２０から出力される信号に応じた画質補正処理を施す。なお、後述するように、本実施の形態では、このカメラ信号処理回路１４は、顔や衣服の領域を検出する機能やその領域の明るさなどを解析する機能、複数の画像データを合成する機能などを備えている。
【００１８】
画像メモリ１５は、例えばＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）などからなり、カメラ信号処理回路１４で処理される画像データを一時的に格納する。
画像エンコーダ１６は、カメラ信号処理回路１４から出力された画像データを圧縮符号化し、符号化データを記録装置１７に出力する。具体的には、カメラ信号処理回路１４で処理された１フレーム分の画像データを、ＪＰＥＧ（Joint Photographic Experts Group）などの符号化方式に従って圧縮符号化し、静止画像の符号化データを出力する。なお、静止画像だけでなく、動画像のデータを圧縮符号化できるようにしてもよい。
【００１９】
記録装置１７は、画像エンコーダ１６からの符号化データを画像ファイルとして記録する装置であり、例えば、磁気テープ、光ディスクなどの可搬型記録媒体のドライブ装置、あるいはＨＤＤ（Hard Disk Drive）などとして実現される。
【００２０】
グラフィック処理回路１８は、カメラ信号処理回路１４から出力された画像データを、ディスプレイ１９に表示するための信号に変換し、ディスプレイ１９に供給する。ディスプレイ１９は、例えばＬＣＤ（Liquid Crystal Display）などからなり、グラフィック処理回路１８からの画像信号を基に画像を表示する。
【００２１】
システムコントローラ２０は、ＣＰＵ（Central Processing Unit）や、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などのメモリを備えるマイクロコンピュータとして構成され、メモリに格納されたプログラムを実行することで、この撮像装置を統括的に制御する。
【００２２】
入力部２１は、各種の入力スイッチを備え、これらの入力スイッチに対するユーザによる操作入力に応じた制御信号を、システムコントローラ２０に出力する。
図２は、この撮像装置の外観を示す斜視図であり、（Ａ）は撮像装置を前面から見たときの図、（Ｂ）は背面から見たときの図である。
【００２３】
この図２に示すように、撮像装置の前面には光学レンズ１１ｂが設けられ、例えば上面には、シャッタ操作を行うためのシャッタレリーズボタン２１ａと、電源のオン／オフ操作を行うための電源ボタン２１ｂが設けられている。また、撮像装置の背面には、撮像画像のモニタ用のディスプレイ１９が設けられ、その横には、各種設定操作のための複数の操作キーからなる操作パネル２１ｃが設けられている。
【００２４】
以上の撮像装置では、撮像素子１２によって受光されて光電変換された信号が、順次ＡＦＥ回路１３に供給され、ＣＤＳ処理やＡＧＣ処理が施された後、デジタル画像データに変換される。カメラ信号処理回路１４は、ＡＦＥ回路１３から供給された画像データを画質補正処理し、処理後の画像データはグラフィック処理回路１８に供給されて表示用の画像信号に変換される。これによりディスプレイ１９には、現在撮像中の画像（カメラスルー画像）が表示され、撮影者はこの画像を視認して画角を確認できるようになる。
【００２５】
また、この状態から、シャッタレリーズボタン２１ａが押下されることなどにより、システムコントローラ２０に対して画像の記録が指示されると、カメラ信号処理回路１４からの画像データは画像エンコーダ１６に供給され、圧縮符号化処理が施されて、記録装置１７に記録される。静止画像の記録の際には、カメラ信号処理回路１４からは１フレーム分の画像データが画像エンコーダ１６にも供給され、動画像の記録の際には、処理された画像データが画像エンコーダ１６に連続的に供給される。
【００２６】
次に、この撮像装置において静止画像を撮像する際に、顔および衣服をともに良好な画質にすることが可能な撮像モードについて説明する。以下、この撮像モードを「人物撮像モード」と呼ぶことにする。
【００２７】
図３は、人物撮像モードを実現するために撮像装置に設けられた機能を示すブロック図である。
本実施の形態に係る撮像装置は、人物撮像モードの実現のために、顔領域抽出部３１、服領域抽出部３２、顔領域用画像選択部３３、服領域用画像選択部３４、画像合成部３５、および複数画像撮像制御部３６を備えている。また、画像メモリ１５には、後述する複数回露光動作によって連続的に得られた複数フレーム分の撮像画像データ１５ａが、一時的に記憶される。
【００２８】
顔領域抽出部３１は、画像メモリ１５内の１フレーム分の撮像画像データ１５ａを基に、その画像内に存在する人物の顔を検出して、顔領域の位置や顔の向きなどを示す顔検出情報を生成する。
【００２９】
服領域抽出部３２は、顔領域抽出部３１によって生成された顔検出情報と、画像メモリ１５内の１フレーム分の撮像画像データ１５ａとを基に、検出された顔に対応する衣服の領域を抽出し、その領域の位置を示す服領域情報を生成する。
【００３０】
顔領域用画像選択部３３は、画像メモリ１５内の複数フレーム分の撮像画像データ１５ａを用いて、顔領域抽出部３１からの顔検出情報に基づく顔領域をフレームごとに解析し、その解析結果を基に、画像合成部３５において顔領域に合成するのに最適な画像を選択して、その選択情報を顔領域の位置を示す顔領域情報とともに出力する。
【００３１】
服領域用画像選択部３４は、画像メモリ１５内の複数フレーム分の撮像画像データ１５ａを用いて、服領域抽出部３２からの服領域情報に基づく服領域をフレームごとに解析し、その解析結果を基に、画像合成部３５において服領域に合成するのに最適な画像を選択して、その選択情報を服領域情報とともに出力する。
【００３２】
画像合成部３５は、顔領域用画像選択部３３および服領域用画像選択部３４からの各制御情報に基づき、画像メモリ１５内の複数フレーム分の撮像画像データ１５ａのうちのいずれかを画素ごとに選択して合成し、顔領域および服領域の画質がともに最適化された画像データを生成する。
【００３３】
複数画像撮像制御部３６は、複数の画像を連続的に高速に撮像する、いわゆるブラケット撮像を行うための制御機能であり、複数の画像のそれぞれを撮像する際の露出制御値などの撮像条件を演算して、ドライバ１１ａやＴＧ１２ａに対して制御信号を出力し、撮像動作を実行させる。
【００３４】
以上の各機能ブロックによる動作を簡単に説明すると、まず、複数画像撮像制御部３６による制御によって、露出制御値などの撮像条件が異なる複数回の露光動作が実行され、各露光動作によって得られた撮像画像データ１５ａが画像メモリ１５に一旦格納される。次に、これらの撮像画像データ１５ａのうち一つを基に、顔領域抽出部３１および服領域抽出部３２がそれぞれ顔領域および服領域の抽出を行う。
【００３５】
次に、それらの抽出結果に基づいて、顔領域用画像選択部３３および服領域用画像選択部３４によって、複数の撮像画像データ１５ａにおける顔領域および服領域の解析がそれぞれ行われ、それらの解析結果を基に、顔領域および服領域の画質がそれぞれ最適な画像データが選択される。そして、それらの選択情報と合成位置とが画像合成部３５に指示される。これにより、画像合成部３５では、画像メモリ１５内の複数の撮像画像データ１５ａが画素ごとに適宜選択されて合成され、顔および衣服の画質がともに最適化された１フレーム分の画像データが生成される。
【００３６】
なお、以上の顔領域抽出部３１、服領域抽出部３２、顔領域用画像選択部３３、服領域用画像選択部３４、画像合成部３５、および複数画像撮像制御部３６の機能は、例えば、システムコントローラ２０によるソフトウェア処理によって実現される。しかし、例えば、顔領域抽出部３１、服領域抽出部３２、顔領域用画像選択部３３、および服領域用画像選択部３４が備える輝度情報、色相情報などの検波機能やそれらのヒストグラム検出機能など、上記機能の一部またはすべてを、カメラ信号処理回路１４内のハードウェアとして実現してもよい。
【００３７】
図４は、第１の実施の形態での人物撮像モードにおける撮像装置内の処理の流れを示すフローチャートである。このフローチャートを用いて、上記各機能ブロックの処理についてより詳しく説明する。
【００３８】
〔ステップＳ１〕ユーザによりシャッタレリーズボタン２１ａに対する全押し操作が行われると、複数画像撮像制御部３６の制御の下で、撮像条件をそれぞれ変えて複数回の露光動作が実行される。各露光動作によって得られた撮像画像データ１５ａは、画像メモリ１５に一時的に格納される。
【００３９】
より具体的には、例えば、複数画像撮像制御部３６はまず、１フレーム分の撮像画像データからの輝度の検波情報を取得し、その検波情報を基に、従来の一般的なＡＥ制御手法に従って画像全体で好適な露出となるような露出制御値を算出する。そして、この露出制御値を中心として、その上下方向にそれぞれ１段または数段分シフトさせた露出制御値を算出して、これらのすべての露出制御値をそれぞれ用いて連続的な露光動作を実行させる。
【００４０】
なお、このステップでの露光動作は３回〜７回程度が適当であり、各露光動作の間隔はできるだけ短くすることが好ましい。このため、例えば、シャッタ速度をできるだけ高速に設定して固定し、アイリスの絞り量のみを変化させることで複数回の露光動作を行うようにする。これによって、得られた各画像間での被写体位置の変化を少なくして、後の画像合成部３５での合成処理時の画質劣化を抑制できる。
【００４１】
また、撮像間隔を短縮するためには、例えばＣＭＯＳ型センサなど、画像信号の転送速度が高速な撮像素子１２を用いることが望ましい。また、標準のフレームレート（例えば１／３０秒）より高速のフレームレート（例えば１／１２０秒）で撮像できるようなシステム構成であれば、さらに有効である。一例として、撮像素子１２において、画素補間などを行うことで有効画素数より低い画素数の画像データを標準より高速なフレームレートで出力するようにし、ＡＦＥ回路１３などの後段回路において処理周波数を高めることなく高速なフレームレートの画像データを処理できるようにする手法が考えられる。
【００４２】
なお、複数回の露光動作を行う際には、ＡＥ制御手法を用いずに、例えば、その中間的な撮像条件について、あるいはすべての露光動作の撮像条件について、ユーザの操作入力に応じて任意に設定できるようにしてもよい。
【００４３】
〔ステップＳ２〕画像メモリ１５内の撮像画像データ１５ａのうちの一つを基に、顔領域抽出部３１によって顔領域の検出が行われる。
ここでは例えば、複数の撮像画像データ１５ａのうち、中間的な露出条件（例えば通常のＡＥ制御手法による露出条件）で撮像されたものを、背景画像データとして選択する。この背景画像データは、画像合成部３５において、顔領域および服領域を除いた背景領域で使用されるデータとなる。顔領域抽出部３１は、背景画像データから検波した輝度情報または色差情報、またはそれらの双方を基に、顔領域やその顔の傾きなどを検出する。
【００４４】
顔の検出手法としては既知の手法を用いることができるが、例えば、特許３７６３２９３号公報に記載された以下のような手法を用いることができる。まず、入力画像データの各画素値を色空間上の座標値に変換し、その座標値のヒストグラムの極大点近傍を含む初期領域を設定する。次に、初期領域を画素の分布状態に応じて複数の領域に分割し、人間の肌の色に対応する領域を抽出する。元の入力画像データと抽出された肌色領域のデータとから、人物の頭頂部、口、目、顔の中心線を検出し、その検出結果を基に顔領域である肌色領域を判別して出力する。
【００４５】
顔領域抽出部３１は、上記処理により、顔領域の位置情報や、顔の傾き情報などを含む顔検出情報を生成する。この顔検出情報は、図示しないＲＡＭに一時的に記憶される。
〔ステップＳ３〕顔領域の検出対象と同じ撮像画像データ１５ａ、すなわち上述した背景画像データを基に、服領域抽出部３２によって服領域の検出が行われる。
【００４６】
ここで、図５は、図４のステップＳ３における服検出処理の流れを示すフローチャートである。
服領域抽出部３２は、まず、顔領域抽出部３１により生成された顔検出情報を取得し（ステップＳ１１）、その情報に含まれる顔領域の位置情報や顔の傾き情報を基に、背景画像内の服領域を大まかに推定する（ステップＳ１２）。その後、推定した大まかな服領域、またはその領域を含む領域の画像データを解析して、より正確な服領域を検出する（ステップＳ１３）。
【００４７】
図６は、大まかな服領域を推定する手法を説明するための図である。
図５のステップＳ１２では、背景画像において、顔検出情報に基づく顔領域５１の下方の一定領域を、大まかな服領域５２として設定する。服領域５２の形状としては典型的な衣服の形状をあらかじめ規定しておけばよく、図６では例として、服領域５２を高さＢＨ、幅ＢＷの矩形領域として規定している。
【００４８】
服領域５２の具体的な推定手順としては、まず、顔領域５１の位置情報に基づき、その顔領域５１が収まるような高さＦＨ、幅ＦＷの矩形領域を検出する。次に、服領域５２の高さＢＨ、幅ＢＷを、それぞれＦＨ，ＦＷの値に対してあらかじめ決められた倍率で乗算することで決定する。例えば、高さＢＨをＦＨの２倍〜３倍程度とし、幅ＢＷをＦＷの１．５倍〜２倍程度とする。次に、顔検出情報に含まれる顔の傾き情報を基に、顔の矩形領域に対して服領域５２を配置する方向を決定し、顔の矩形領域から下方に所定画素分だけ離れた領域に、高さＢＨ、幅ＢＷの服領域５２を設定する。このとき、服領域５２の位置情報を、例えば、右上の座標Ｐｂと、その座標Ｐｂを基準とした大きさ（ＢＷ，ＢＨ）として算出する。
【００４９】
なお、この撮像装置に重力センサを設けておき、その検出結果を基に服領域５２の配置方向を決定してもよい。また、顔領域抽出部３１において顔のパーツ（頭頂部、目、鼻、口など）の位置情報が検出されている場合には、その位置情報を基に服領域の配置方向を決定してもよい。また、顔の傾き情報などを基に、例えば、顔の矩形領域に対する服領域５２の相対位置を縦横方向にシフトさせたり、服領域５２を決定する際の倍率やその形状を変化させてもよい。
【００５０】
図７は、正確な服領域を検出する手順を説明するための図である。
図５のステップＳ１３では、背景画像データのうち、ステップＳ１２で求めた大まかな服領域のデータを解析して、服領域と背景領域とのエッジを検出し、服領域の範囲を画素単位で正確に求める。なお、ここでは例として、解析の対象領域をステップＳ１２で求めた服領域に一致させるものとするが、この解析対象領域としては、大まかな服領域をその周囲に所定画素数分だけ拡大あるいは縮小した領域としてもよい。
【００５１】
ここでは、まず、図７（Ａ）に示すように、大まかな服領域における輝度情報あるいは色相情報の階調ごとの度数を示すヒストグラムを検出する。そして、このヒストグラムのピーク位置の階調を、服領域を最も多く占める階調を示すモード値（代表階調値）として算出する。
【００５２】
次に、図７（Ｂ）に示すように、大まかな服領域の階調をラインごとに水平方向にスキャンし、隣接画素間の差分値を基に服領域と背景領域とのエッジを検出する。例えば、大まかな服領域の中心を始点に両側に向かって隣接画素間の差分値を演算し、差分値が大きくなる位置をエッジとする。このとき、エッジか否かを正確に判定するために、モード値を利用できる。例えば、階調の値がモード値を中心とした一定範囲内にあれば、その位置をエッジとは判定しないようにする。また、モード値との差分値が大きい領域は背景領域と推定できることから、モード値を基に背景領域を大まかに推定しておき、隣接画素間の差分値が大きい場合にその推定した背景領域との境界に近ければ、エッジであると判定することもできる。
【００５３】
なお、服領域と背景領域の各階調の値が近接していて、差分に基づくエッジが検出できない場合には、例えばステップＳ１２で求めた大まかな服領域など、あらかじめ設定しておいた領域を最終的な服領域として採用すればよい。一方、このエッジ検出のための解析処理では、解析対象のデータとして輝度情報あるいは色相情報のいずれか一方を用いればよいが、それらの両方を用いることで、エッジをより正確に判別することができる。
【００５４】
例えば、上記のモード値算出およびエッジ検出の手順を輝度情報および色相情報の双方について実行し、色相情報より輝度情報についての隣接画素間の差分値が大きい場合は、輝度情報に基づいてエッジを判別し、その逆の場合は色相情報に基づいてエッジを判別する。これにより、服領域と背景領域との境界で、明るさと色のいずれか一方に差があればエッジを検出可能になる。また、服領域は顔領域とは異なり、多数の色が混在する場合も多く、そのような場合には輝度情報と色相情報の両方を用いることが有効である。
【００５５】
以上の処理によって、服領域抽出部３２では、正確な服領域の位置が座標情報として算出される。その座標情報は服領域情報として、図示しないＲＡＭなどに一旦格納される。
以下、図４に戻って説明する。
【００５６】
〔ステップＳ４〕顔領域用画像選択部３３は、画像メモリ１５内の複数の撮像画像データ１５ａのそれぞれに対して、顔検出情報に基づく顔領域の解析を行い、顔の画質が最も適切な撮像画像データ１５ａを選択する。また、服領域用画像選択部３４も同様に、画像メモリ１５内の複数の撮像画像データ１５ａのそれぞれに対して、服領域情報に基づく服領域の解析を行い、衣服の画質が最も適切な撮像画像データ１５ａを選択する。
【００５７】
ここで、図８は、画像選択のための画像解析手順を説明するための図である。
図８は、検出された顔領域または服領域内のあるライン（あるいは垂直方向のある列でもよい）の輝度情報の階調分布を示したものである。図８（Ａ）は画像メモリ１５内の複数の撮像画像データ１５ａのうちの一つから検出されたグラフであり、（Ｂ）は他の撮像画像データ１５ａから検出されたグラフである。
【００５８】
顔領域用画像選択部３３および服領域用画像選択部３４では、基本的に、それぞれ顔領域および服領域における明るさのコントラストが高い画像を、各領域の画質が高いものとして選択する。これによって、顔領域および服領域の双方において、輝度の階調表現性が豊かで、白飛びや黒つぶれのない鮮明な画像が選択されるようになる。図８の例では、（Ａ）における輝度階調の最大値と最小値との差分Ｄ１の方が、（Ｂ）における差分Ｄ２より大きいことから、（Ａ）に対応する撮像画像データ１５ａが最適なものとして選択される。
【００５９】
このような輝度分布の比較は、各画像データについて１行または１列だけ行ってもよいし、複数行または複数列について行ってそれらの平均などを基に選択してもよい。また、水平方向と垂直方向の両方について行ってもよい。なお、複数の画像データ間で輝度階調の差分がほぼ同じである場合には、ＡＥ制御によって得られた撮像画像データ１５ａ（すなわち背景画像データ）、またはこのときの露出制御値に近い露出制御値により撮像された撮像画像データ１５ａを選択すればよい。
【００６０】
また、行あるいは列ごとの輝度階調分布の他に、行あるいは列ごと、もしくは各領域全体における輝度階調の度数を示すヒストグラムから、コントラストの高い画像を選択してもよい。この場合、ヒストグラム上で度数がある一定の値以上となる輝度の最小値と最大値との差分を基に、最適な撮像画像データ１５ａを選択すればよい。
【００６１】
また、このような差分値を演算によって求める方法の他、例えば、顔領域、服領域についてそれぞれ適切とされるヒストグラム形状のテンプレートを保持しておき、このテンプレートと各画像から検出されたヒストグラムとをマッチングさせて、テンプレートのヒストグラム形状に近い撮像画像データ１５ａを選択してもよい。
【００６２】
以上の手順により、顔領域および服領域としてそれぞれ適切な撮像画像データ１５ａが選択されると、顔領域用画像選択部３３および服領域用画像選択部３４ではそれぞれ、選択した撮像画像データ１５ａを示す選択情報と、顔領域および服領域の正確な位置を示す顔領域情報および服領域情報とが生成されて、これらの情報が図示しないＲＡＭなどに一旦格納される。
【００６３】
以下、図４に戻って説明する。
〔ステップＳ５〕顔領域用画像選択部３３および服領域用画像選択部３４によって生成された顔領域情報、服領域情報、および選択情報に基づいて、画像合成部３５が、画像メモリ１５内の複数の撮像画像データ１５ａを適宜選択して、合成画像データを生成する。なお、顔領域および服領域以外の背景領域には、上述した背景画像に対応する撮像画像データ１５ａが合成される。
【００６４】
なお、上記の処理において、顔領域抽出部３１によって複数の顔が検出された場合には、例えば、検出された顔ごとに顔領域および服領域を求め、顔領域および服領域にそれぞれ適切な撮像画像データ１５ａの選択処理（ステップＳ４）を、検出された顔ごとに行えばよい。また、多数の顔が検出された場合には、例えば顔領域が広い順など、優先される所定数の顔についてのみ、それらの顔領域および服領域に対応する画像選択処理を行うようにしてもよい。このとき、選択処理が行われなかった顔の領域については、背景画像データが合成されてもよいし、あるいは、選択処理が行われた他のいずれかの顔およびその衣服に対応する画像データが合成時に選択されてもよい。さらに、検出された複数の顔のうち、例えば顔領域が最も広いものなど、代表的な顔についてのみ、画像データの選択処理を行い、検出されたすべての顔領域およびそれらの対応する服領域について、同じ画像データを選択して合成してもよい。
【００６５】
以上説明した処理によれば、撮像画像から顔が検出されると、顔領域だけでなく、その顔に対応する衣服の服領域の画質が適正化された画像が、自動的に生成される。特に、露出制御値などの撮像条件を変化させて複数回の撮像を行うことで、顔領域および服領域の画質、特に明るさが適切に撮像された画像を確実に取得して合成できる。従って、撮像条件の設定方法などの知識が少ないユーザなどでも、顔領域および服領域の画質が向上された画像を確実に撮像することができるようになる。
【００６６】
［第２の実施の形態］
図９は、第２の実施の形態に係る撮像装置の主な機能を示すブロック図である。なお、この図９では、図３に対応するブロックについては同じ符号を付して示しており、その説明については省略する。
【００６７】
図９において、顔領域抽出部３１、服領域抽出部３２、および画像合成部３５は、図３に示したものと同様の機能を備える。ただし、顔領域抽出部３１および服領域抽出部３２は、後述するように、１回の露光動作によって得られた撮像画像データ１５ｂを基に、顔領域および服領域をそれぞれ抽出する。
【００６８】
撮像条件決定部３７は、撮像画像データ１５ｂを基に、顔検出情報に基づく顔領域、および服領域情報に基づく服領域が、それぞれ適正な画質となるような撮像条件を演算する。また、撮像条件決定部３７は、これらの領域に関係なく画像全体が適正な画質となるような撮像条件も演算する。
【００６９】
複数画像撮像制御部３６ａは、撮像条件決定部３７によって演算された撮像条件をそれぞれ適用した撮像動作を連続的に実行させる。その結果、複数の撮像画像データ１５ｃが得られて、画像メモリ１５に一時的に格納される。また、複数画像撮像制御部３６ａは、顔領域および服領域の位置をそれぞれ示す顔領域情報および服領域情報と、顔領域および服領域にそれぞれ適するとして選択した画像を示す選択情報とを生成する。これらの情報は、画像合成部３５における画像合成処理時に利用される。
【００７０】
なお、上記の複数画像撮像制御部３６ａおよび撮像条件決定部３７の機能は、例えば、システムコントローラ２０によるソフトウェア処理によって実現されればよいが、例えば、撮像条件決定部３７が備える輝度情報の検波機能など、上記機能の一部またはすべてを、カメラ信号処理回路１４内のハードウェアとして実現してもよい。
【００７１】
図１０は、第２の実施の形態での人物撮像モードにおける撮像装置内の処理の流れを示すフローチャートである。このフローチャートを用いて、上記各機能ブロックの処理についてより詳しく説明する。
【００７２】
〔ステップＳ２１〕システムコントローラ２０の制御の下で、例えば、ユーザによる人物撮像モードの設定操作、あるいは、シャッタレリーズボタン２１ａに対する半押し操作などに応じて、１回の露光動作が実行されて、撮像画像データ１５ｂが画像メモリ１５に取り込まれる。この露光動作では、例えば、通常のＡＥ制御手法によって求められた露出制御値などの撮像条件に従って露光が行われればよい。そして、この撮像画像データ１５ｂを基に、顔領域抽出部３１により顔領域が抽出される。この顔領域の抽出処理手順は、図４のステップＳ２と同様である。
【００７３】
〔ステップＳ２２〕服領域抽出部３２は、顔領域抽出部３１で生成された顔検出情報に基づいて、撮像画像データ１５ｂから服領域を抽出する。この服領域の抽出処理手順は、図４のステップＳ３と同様である。
【００７４】
〔ステップＳ２３〕撮像条件決定部３７は、顔検出情報に含まれる顔領域の位置情報と服領域情報とを取得し、撮像画像データ１５ｂを解析して、顔領域および服領域がそれぞれ適正な画質となるような撮像条件を演算する。ここでは、例えば、撮像画像データ１５ｂに基づく輝度情報、あるいはそれらの輝度値ごとの度数を示すヒストグラムなどの検波が行われ、それらの検波結果を基に、顔領域および服領域の明るさがそれぞれ適正となるような露出制御値が算出される。また、これらの領域に対応する露出制御値とともに、画像全体の明るさを適正化するような露出制御値も算出される。
【００７５】
なお、画像全体に対応する露出制御値は、例えば撮像画像データ１５ｂを基に通常のＡＥ制御手法によって算出されてもよいが、撮像画像データ１５ｂの取り込みの際にＡＥ制御手法による露出制御値が算出されている場合には、この値をそのまま用いてもよい。後者の場合、顔領域および服領域に対応する露出制御値は、画像全体に対応する露出制御値に対する露出補正値や露出補正段数として算出されてもよい。
【００７６】
〔ステップＳ２４〕複数画像撮像制御部３６ａの制御により、複数回の露光動作が実行されて、得られた複数の撮像画像データ１５ｃが画像メモリ１５に一旦格納される。ここでは、撮像条件決定部３７によって算出された複数の撮像条件がそれぞれ適用されて、露光動作が連続的に行われる。これにより、撮像画像データ１５ｃとして、顔領域を適正化した画像データと、服領域を適正化した画像データと、画像全体を適正化した背景領域用の背景画像データとが取り込まれる。また、複数画像撮像制御部３６ａは、顔領域用および服領域用にそれぞれ対応する撮像画像データ１５ｃを示す選択情報を生成し、顔領域および服領域の位置をそれぞれ示す顔領域情報および服領域情報とともに、図示しないＲＡＭなどに一旦格納する。
【００７７】
なお、顔領域用、服領域用、背景領域用の各撮像条件のうち、同一のものについては、露光動作を共通化して、露光回数を少なくすることが望ましい。この場合、対応する領域で使用する画像データを示す選択情報は、同じ撮像画像データ１５ｃを使用するように設定される。
【００７８】
〔ステップＳ２５〕複数画像撮像制御部３６ａから出力された顔領域情報、服領域情報、および選択情報に基づいて、画像合成部３５が、画像メモリ１５内の複数の撮像画像データ１５ｃを適宜選択して、合成画像データを生成する。なお、顔領域および服領域以外の背景領域には、上述した背景画像に対応する撮像画像データ１５ｃが合成される。
【００７９】
なお、画像合成部３５による合成の直前に、複数のうちのいずれかの撮像画像データ１５ｃから顔領域および服領域をあらためて抽出し、それによって生成された顔領域情報および服領域情報に基づいて合成処理を行ってもよい。これにより、被写体が動いた場合でも、顔領域および服領域を確実に抽出して適切な画像データを合成でき、合成画像データにおける画質を向上させることができる。
【００８０】
また、上記の処理において、顔領域抽出部３１によって複数の顔が検出された場合には、例えば、検出された顔ごとに顔領域および服領域を求め、顔領域および服領域にそれぞれ適切な撮像条件を算出して、検出された顔ごとに露光動作を行って撮像画像データ１５ｃを取り込めばよい。また、多数の顔が検出された場合には、例えば顔領域が広い順など、優先される所定数の顔についてのみ、それらの顔領域および服領域に対応する撮像画像データ１５ｃを取り込むようにしてもよい。このとき、撮像条件の演算対象とされなかった顔の領域については、背景画像データが合成されてもよいし、あるいは、撮像条件の演算対象とされた他のいずれかの顔およびその衣服に対応する画像データが合成時に選択されてもよい。さらに、検出された複数の顔のうち、例えば顔領域が最も広いものなど、代表的な顔についてのみ、対応する撮像画像データ１５ｃの取り込みを行い、検出されたすべての顔領域およびそれらの対応する服領域について、同じ撮像画像データ１５ｃを選択して合成してもよい。
【００８１】
以上説明した第２の実施の形態での処理によれば、最終的な合成処理に用いる画像の撮像の前に、顔領域および服領域の画質が適正となるように撮像条件が決められ、その撮像条件で画像が撮像されることで、顔領域および服領域の画質を確実に向上できる。これとともに、その合成のための複数の画像の撮像回数を必要最小限に留めることができる。従って、撮像時のユーザの違和感を軽減できるとともに、被写体が動いた場合の合成時の画質劣化を防止することもできる。
【００８２】
なお、以上の各実施の形態では、本発明をデジタルスチルカメラやデジタルビデオカメラといった撮像専用の装置に適用した場合について説明したが、同様な撮像機能を備えた携帯電話機、携帯端末などの各種の電子機器に、本発明を適用することも可能である。
【００８３】
また、撮像機能を外付けしたＰＣ（パーソナルコンピュータ）などの情報処理機器において、上記の図３や図９に示した処理機能をコンピュータにおけるソフトウェア処理によって実現することもできる。
【００８４】
さらに、第１の実施の形態における処理機能については、撮像機能を持たない画像処理装置に適用することも可能である。この場合、事前にブラケット撮像により得られた複数の画像データを画像処理装置に入力して、顔領域や服領域を抽出し、各領域に適切な画像データを選択して合成する。また、このような画像処理装置の処理機能をコンピュータにおけるソフトウェア処理によって実現することもできる。
【００８５】
また、上記の処理機能をコンピュータによって実現する場合には、そのような処理機能の処理内容を記述したプログラムが提供される。すなわち、そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。また、処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体としては、磁気テープやハードディスクなどの磁気記録媒体、光ディスク、光磁気記録媒体、半導体メモリなどがある。
【００８６】
プログラムを流通させる場合には、例えば、そのプログラムが記録された光ディスクなどの可搬型記録媒体が販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、そのプログラムを、サーバコンピュータからネットワークを介して他のコンピュータに転送することもできる。
【００８７】
プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自機に接続された記憶装置に格納する。そして、コンピュータは、その記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。
【図面の簡単な説明】
【００８８】
【図１】第１の実施の形態に係る撮像装置の要部構成を示すブロック図である。
【図２】撮像装置の外観を示す斜視図であり、（Ａ）は撮像装置を前面から見たときの図、（Ｂ）は背面から見たときの図である。
【図３】第１の実施の形態において、人物撮像モードを実現するために撮像装置に設けられた機能を示すブロック図である。
【図４】第１の実施の形態での人物撮像モードにおける撮像装置内の処理の流れを示すフローチャートである。
【図５】服検出処理の流れを示すフローチャートである。
【図６】大まかな服領域を推定する手法を説明するための図である。
【図７】正確な服領域を検出する手順を説明するための図である。
【図８】画像選択のための画像解析手順を説明するための図である。
【図９】第２の実施の形態に係る撮像装置の主な機能を示すブロック図である。
【図１０】第２の実施の形態での人物撮像モードにおける撮像装置内の処理の流れを示すフローチャートである。
【符号の説明】
【００８９】
１１……光学ブロック、１１ａ……ドライバ、１１ｂ……光学レンズ、１２……撮像素子、１２ａ……タイミングジェネレータ（ＴＧ）、１３……アナログフロントエンド（ＡＦＥ）回路、１４……カメラ信号処理回路、１５……画像メモリ、１５ａ……撮像画像データ、１６……画像エンコーダ、１７……記録装置、１８……グラフィック処理回路、１９……ディスプレイ、２０……システムコントローラ、２１……入力部、２１ａ……シャッタレリーズボタン、２１ｂ……電源ボタン、２１ｃ……操作パネル、３１……顔領域抽出部、３２……服領域抽出部、３３……顔領域用画像選択部、３４……服領域用画像選択部、３５……画像合成部、３６……複数画像撮像制御部
【特許請求の範囲】
【請求項１】
固体撮像素子により画像を撮像する撮像装置において、
撮像条件を変化させて撮像動作を連続的に実行させる連続撮像制御部と、
前記連続撮像制御部の制御による撮像動作によって得られた複数の画像データのうち一つの画像データから、人物の顔を検出してその顔領域を検出する顔領域検出部と、
前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出する服領域検出部と、
前記複数の画像データを基に、検出された前記顔領域および前記服領域を解析し、前記顔領域および前記服領域における画質がそれぞれ最も適正な画像データを前記複数の画像データから一つずつ選択する画像選択部と、
前記複数の画像データのうち一つの画像データにおける前記顔領域および前記服領域のデータを、前記画像選択部によってそれぞれ選択された画像データで置換して合成画像データを生成する画像合成部と、
を有することを特徴とする撮像装置。
【請求項２】
前記服領域検出部は、前記顔領域検出部によって顔が検出された画像において、前記顔領域に対して所定の位置にあらかじめ決められた形状の仮服領域を設定し、前記仮服領域内の画像データを解析して前記服領域をより正確に検出することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記服領域検出部は、前記服領域の検出処理において、前記仮服領域内の画像データを基に前記服領域とその背景領域とのエッジを検出することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記服領域検出部は、前記服領域の検出処理において、前記仮服領域内の画像データの輝度情報および色相情報の両方を用いて隣接画素間の差分値を検出し、前記輝度情報および前記色相情報のうち前記差分値が大きい方を基に前記エッジを判定することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記服領域検出部は、前記服領域の検出処理において、前記仮服領域を最も多く占める階調値である、輝度情報または色差情報の少なくとも一方による代表階調を検出し、前記代表階調との差分値の大きさを基に前記エッジを判定することを特徴とする請求項３記載の撮像装置。
【請求項６】
前記画像選択部は、前記顔領域および前記服領域のそれぞれにおける輝度情報の分布状態を基に、前記画質が最も適正な画像データを選択することを特徴とする請求項１記載の撮像装置。
【請求項７】
前記画像選択部は、前記顔領域および前記服領域のそれぞれにおけるコントラストが高いものを、前記画質が最も適正な画像データとして選択することを特徴とする請求項６記載の撮像装置。
【請求項８】
前記連続撮像制御部は、前記撮像条件として露出制御値を変化させることで連続的な撮像動作を実行させることを特徴とする請求項１記載の撮像装置。
【請求項９】
前記連続撮像制御部は、標準よりも高速なフレームレートで連続的な撮像動作を実行させることを特徴とする請求項１記載の撮像装置。
【請求項１０】
固体撮像素子により画像を撮像する撮像装置において、
１回の撮像動作により得られた画像データから、人物の顔を検出してその顔領域を検出する顔領域検出部と、
前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出する服領域検出部と、
前記顔領域検出部によって顔が検出された画像データを解析して、検出された前記顔領域および前記服領域の画質がそれぞれ適正となるような顔領域用撮像条件および服領域用撮像条件を決定する撮像条件決定部と、
決定された前記顔領域用撮像条件および前記服領域用撮像条件と、画像全体の画質が適正となるような通常撮像条件とをそれぞれ適用して、連続的な撮像動作を実行させる連続撮像制御部と、
前記通常撮像条件を適用して得られた画像データにおける前記顔領域および前記服領域のデータを、前記顔領域用撮像条件および前記服領域用撮像条件を適用してそれぞれ得られた画像データで置換して合成画像データを生成する画像合成部と、
を有することを特徴とする撮像装置。
【請求項１１】
前記撮像条件決定部は、前記顔領域用撮像条件および前記服領域用撮像条件として、前記顔領域および前記服領域の明るさがそれぞれ適正となるような露出制御値を決定することを特徴とする請求項１０記載の撮像装置。
【請求項１２】
前記顔領域検出部および前記服領域検出部は、前記連続撮像制御部の制御により複数回の撮像動作が実行された後、前記通常撮像条件を適用して得られた画像データを基に前記顔領域および前記服領域を再度検出し、
前記画像合成部は、前記通常撮像条件を適用して得られた画像データに基づく前記顔領域および前記服領域の検出結果を用いて、前記合成画像データを生成する、
ことを特徴とする請求項１０記載の撮像装置。
【請求項１３】
前記連続撮像制御部は、前記通常撮像条件として、前記顔領域検出部によって顔が検出された画像データの撮像時における撮像条件を適用することを特徴とする請求項１０記載の撮像装置。
【請求項１４】
入力された画像データを処理して一つの合成画像データを出力する画像処理装置において、
撮像条件を変化させて連続的に撮像された複数の画像データの入力を受ける画像入力部と、
前記複数の画像データのうち一つの画像データから、人物の顔を検出してその顔領域を検出する顔領域検出部と、
前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出する服領域検出部と、
前記複数の画像データを基に、検出された前記顔領域および前記服領域を解析し、前記顔領域および前記服領域における画質がそれぞれ最も適正な画像データを前記複数の画像データから一つずつ選択する画像選択部と、
前記複数の画像データのうち一つの画像データにおける前記顔領域および前記服領域のデータを、前記画像選択部によってそれぞれ選択された画像データで置換して前記合成画像データを生成する画像合成部と、
を有することを特徴とする画像処理装置。
【請求項１５】
固体撮像素子により画像を撮像する撮像方法において、
連続撮像制御部が、撮像条件を変化させて撮像動作を連続的に実行させ、
顔領域検出部が、前記連続撮像制御部の制御による撮像動作によって得られた複数の画像データのうち一つの画像データから、人物の顔を検出してその顔領域を検出し、
服領域検出部が、前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出し、
画像選択部が、前記複数の画像データを基に、検出された前記顔領域および前記服領域を解析し、前記顔領域および前記服領域における画質がそれぞれ最も適正な画像データを前記複数の画像データから一つずつ選択し、
画像合成部が、前記複数の画像データのうち一つの画像データにおける前記顔領域および前記服領域のデータを、前記画像選択部によってそれぞれ選択された画像データで置換して合成画像データを生成する、
ことを特徴とする撮像方法。
【請求項１６】
固体撮像素子により画像を撮像する撮像方法において、
顔領域検出部が、１回の撮像動作により得られた画像データから、人物の顔を検出してその顔領域を検出し、
服領域検出部が、前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出し、
撮像条件決定部が、前記顔領域検出部によって顔が検出された画像データを解析して、検出された前記顔領域および前記服領域の画質がそれぞれ適正となるような顔領域用撮像条件および服領域用撮像条件を決定し、
連続撮像制御部が、決定された前記顔領域用撮像条件および前記服領域用撮像条件と、画像全体の画質が適正となるような通常撮像条件とをそれぞれ適用して、連続的な撮像動作を実行させ、
画像合成部が、前記通常撮像条件を適用して得られた画像データにおける前記顔領域および前記服領域のデータを、前記顔領域用撮像条件および前記服領域用撮像条件を適用してそれぞれ得られた画像データで置換して合成画像データを生成する、
ことを特徴とする撮像方法。
【請求項１７】
入力された画像データを処理して一つの合成画像データを出力する画像処理方法において、
画像入力部が、撮像条件を変化させて連続的に撮像された複数の画像データの入力を受け、
顔領域検出部が、前記複数の画像データのうち一つの画像データから、人物の顔を検出してその顔領域を検出し、
服領域検出部が、前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出し、
画像選択部が、前記複数の画像データを基に、検出された前記顔領域および前記服領域を解析し、前記顔領域および前記服領域における画質がそれぞれ最も適正な画像データを前記複数の画像データから一つずつ選択し、
画像合成部が、前記複数の画像データのうち一つの画像データにおける前記顔領域および前記服領域のデータを、前記画像選択部によってそれぞれ選択された画像データで置換して前記合成画像データを生成する、
ことを特徴とする画像処理方法。
【請求項１８】
入力された画像データを処理して一つの合成画像データを出力するための画像処理プログラムにおいて、
コンピュータを、
撮像条件を変化させて連続的に撮像された複数の画像データの入力を受ける画像入力部、
前記複数の画像データのうち一つの画像データから、人物の顔を検出してその顔領域を検出する顔領域検出部、
前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出する服領域検出部、
前記複数の画像データを基に、検出された前記顔領域および前記服領域を解析し、前記顔領域および前記服領域における画質がそれぞれ最も適正な画像データを前記複数の画像データから一つずつ選択する画像選択部、
前記複数の画像データのうち一つの画像データにおける前記顔領域および前記服領域のデータを、前記画像選択部によってそれぞれ選択された画像データで置換して前記合成画像データを生成する画像合成部、
として機能させることを特徴とする画像処理プログラム。
【請求項１】
固体撮像素子により画像を撮像する撮像装置において、
撮像条件を変化させて撮像動作を連続的に実行させる連続撮像制御部と、
前記連続撮像制御部の制御による撮像動作によって得られた複数の画像データのうち一つの画像データから、人物の顔を検出してその顔領域を検出する顔領域検出部と、
前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出する服領域検出部と、
前記複数の画像データを基に、検出された前記顔領域および前記服領域を解析し、前記顔領域および前記服領域における画質がそれぞれ最も適正な画像データを前記複数の画像データから一つずつ選択する画像選択部と、
前記複数の画像データのうち一つの画像データにおける前記顔領域および前記服領域のデータを、前記画像選択部によってそれぞれ選択された画像データで置換して合成画像データを生成する画像合成部と、
を有することを特徴とする撮像装置。
【請求項２】
前記服領域検出部は、前記顔領域検出部によって顔が検出された画像において、前記顔領域に対して所定の位置にあらかじめ決められた形状の仮服領域を設定し、前記仮服領域内の画像データを解析して前記服領域をより正確に検出することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記服領域検出部は、前記服領域の検出処理において、前記仮服領域内の画像データを基に前記服領域とその背景領域とのエッジを検出することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記服領域検出部は、前記服領域の検出処理において、前記仮服領域内の画像データの輝度情報および色相情報の両方を用いて隣接画素間の差分値を検出し、前記輝度情報および前記色相情報のうち前記差分値が大きい方を基に前記エッジを判定することを特徴とする請求項３記載の撮像装置。
【請求項５】
前記服領域検出部は、前記服領域の検出処理において、前記仮服領域を最も多く占める階調値である、輝度情報または色差情報の少なくとも一方による代表階調を検出し、前記代表階調との差分値の大きさを基に前記エッジを判定することを特徴とする請求項３記載の撮像装置。
【請求項６】
前記画像選択部は、前記顔領域および前記服領域のそれぞれにおける輝度情報の分布状態を基に、前記画質が最も適正な画像データを選択することを特徴とする請求項１記載の撮像装置。
【請求項７】
前記画像選択部は、前記顔領域および前記服領域のそれぞれにおけるコントラストが高いものを、前記画質が最も適正な画像データとして選択することを特徴とする請求項６記載の撮像装置。
【請求項８】
前記連続撮像制御部は、前記撮像条件として露出制御値を変化させることで連続的な撮像動作を実行させることを特徴とする請求項１記載の撮像装置。
【請求項９】
前記連続撮像制御部は、標準よりも高速なフレームレートで連続的な撮像動作を実行させることを特徴とする請求項１記載の撮像装置。
【請求項１０】
固体撮像素子により画像を撮像する撮像装置において、
１回の撮像動作により得られた画像データから、人物の顔を検出してその顔領域を検出する顔領域検出部と、
前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出する服領域検出部と、
前記顔領域検出部によって顔が検出された画像データを解析して、検出された前記顔領域および前記服領域の画質がそれぞれ適正となるような顔領域用撮像条件および服領域用撮像条件を決定する撮像条件決定部と、
決定された前記顔領域用撮像条件および前記服領域用撮像条件と、画像全体の画質が適正となるような通常撮像条件とをそれぞれ適用して、連続的な撮像動作を実行させる連続撮像制御部と、
前記通常撮像条件を適用して得られた画像データにおける前記顔領域および前記服領域のデータを、前記顔領域用撮像条件および前記服領域用撮像条件を適用してそれぞれ得られた画像データで置換して合成画像データを生成する画像合成部と、
を有することを特徴とする撮像装置。
【請求項１１】
前記撮像条件決定部は、前記顔領域用撮像条件および前記服領域用撮像条件として、前記顔領域および前記服領域の明るさがそれぞれ適正となるような露出制御値を決定することを特徴とする請求項１０記載の撮像装置。
【請求項１２】
前記顔領域検出部および前記服領域検出部は、前記連続撮像制御部の制御により複数回の撮像動作が実行された後、前記通常撮像条件を適用して得られた画像データを基に前記顔領域および前記服領域を再度検出し、
前記画像合成部は、前記通常撮像条件を適用して得られた画像データに基づく前記顔領域および前記服領域の検出結果を用いて、前記合成画像データを生成する、
ことを特徴とする請求項１０記載の撮像装置。
【請求項１３】
前記連続撮像制御部は、前記通常撮像条件として、前記顔領域検出部によって顔が検出された画像データの撮像時における撮像条件を適用することを特徴とする請求項１０記載の撮像装置。
【請求項１４】
入力された画像データを処理して一つの合成画像データを出力する画像処理装置において、
撮像条件を変化させて連続的に撮像された複数の画像データの入力を受ける画像入力部と、
前記複数の画像データのうち一つの画像データから、人物の顔を検出してその顔領域を検出する顔領域検出部と、
前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出する服領域検出部と、
前記複数の画像データを基に、検出された前記顔領域および前記服領域を解析し、前記顔領域および前記服領域における画質がそれぞれ最も適正な画像データを前記複数の画像データから一つずつ選択する画像選択部と、
前記複数の画像データのうち一つの画像データにおける前記顔領域および前記服領域のデータを、前記画像選択部によってそれぞれ選択された画像データで置換して前記合成画像データを生成する画像合成部と、
を有することを特徴とする画像処理装置。
【請求項１５】
固体撮像素子により画像を撮像する撮像方法において、
連続撮像制御部が、撮像条件を変化させて撮像動作を連続的に実行させ、
顔領域検出部が、前記連続撮像制御部の制御による撮像動作によって得られた複数の画像データのうち一つの画像データから、人物の顔を検出してその顔領域を検出し、
服領域検出部が、前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出し、
画像選択部が、前記複数の画像データを基に、検出された前記顔領域および前記服領域を解析し、前記顔領域および前記服領域における画質がそれぞれ最も適正な画像データを前記複数の画像データから一つずつ選択し、
画像合成部が、前記複数の画像データのうち一つの画像データにおける前記顔領域および前記服領域のデータを、前記画像選択部によってそれぞれ選択された画像データで置換して合成画像データを生成する、
ことを特徴とする撮像方法。
【請求項１６】
固体撮像素子により画像を撮像する撮像方法において、
顔領域検出部が、１回の撮像動作により得られた画像データから、人物の顔を検出してその顔領域を検出し、
服領域検出部が、前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出し、
撮像条件決定部が、前記顔領域検出部によって顔が検出された画像データを解析して、検出された前記顔領域および前記服領域の画質がそれぞれ適正となるような顔領域用撮像条件および服領域用撮像条件を決定し、
連続撮像制御部が、決定された前記顔領域用撮像条件および前記服領域用撮像条件と、画像全体の画質が適正となるような通常撮像条件とをそれぞれ適用して、連続的な撮像動作を実行させ、
画像合成部が、前記通常撮像条件を適用して得られた画像データにおける前記顔領域および前記服領域のデータを、前記顔領域用撮像条件および前記服領域用撮像条件を適用してそれぞれ得られた画像データで置換して合成画像データを生成する、
ことを特徴とする撮像方法。
【請求項１７】
入力された画像データを処理して一つの合成画像データを出力する画像処理方法において、
画像入力部が、撮像条件を変化させて連続的に撮像された複数の画像データの入力を受け、
顔領域検出部が、前記複数の画像データのうち一つの画像データから、人物の顔を検出してその顔領域を検出し、
服領域検出部が、前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出し、
画像選択部が、前記複数の画像データを基に、検出された前記顔領域および前記服領域を解析し、前記顔領域および前記服領域における画質がそれぞれ最も適正な画像データを前記複数の画像データから一つずつ選択し、
画像合成部が、前記複数の画像データのうち一つの画像データにおける前記顔領域および前記服領域のデータを、前記画像選択部によってそれぞれ選択された画像データで置換して前記合成画像データを生成する、
ことを特徴とする画像処理方法。
【請求項１８】
入力された画像データを処理して一つの合成画像データを出力するための画像処理プログラムにおいて、
コンピュータを、
撮像条件を変化させて連続的に撮像された複数の画像データの入力を受ける画像入力部、
前記複数の画像データのうち一つの画像データから、人物の顔を検出してその顔領域を検出する顔領域検出部、
前記顔領域検出部によって顔が検出された画像データから、検出された顔に対応する服領域を検出する服領域検出部、
前記複数の画像データを基に、検出された前記顔領域および前記服領域を解析し、前記顔領域および前記服領域における画質がそれぞれ最も適正な画像データを前記複数の画像データから一つずつ選択する画像選択部、
前記複数の画像データのうち一つの画像データにおける前記顔領域および前記服領域のデータを、前記画像選択部によってそれぞれ選択された画像データで置換して前記合成画像データを生成する画像合成部、
として機能させることを特徴とする画像処理プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００８−１７２３９５（Ｐ２００８−１７２３９５Ａ）
【公開日】平成２０年７月２４日（２００８．７．２４）
【国際特許分類】
【出願番号】特願２００７−２１３１（Ｐ２００７−２１３１）
【出願日】平成１９年１月１０日（２００７．１．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２０年７月２４日（２００８．７．２４）
【国際特許分類】
【出願日】平成１９年１月１０日（２００７．１．１０）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]