撮像装置、運転者監視装置および顔部測距方法
【課題】顔部品の距離を精度良く測定することのできる撮像装置を提供する。
【解決手段】撮像装置１は、二つの光学系で同一の被写体の画像をそれぞれ撮影するカメラ部３と、カメラ部３で撮影した画像に含まれる顔部を構成する複数の顔部品を検出する顔部品検出部９と、検出された複数の顔部品の輝度値を計算する顔部品輝度計算部１０と、複数の顔部品の輝度値に基づいて、カメラ部の露光制御値を求める露光制御値決定部１２を備えている。撮像装置１の測距部１７は、この露光制御値を用いてカメラ部３で撮影した画像に基づいて、顔部品の距離測定を行う。
【解決手段】撮像装置１は、二つの光学系で同一の被写体の画像をそれぞれ撮影するカメラ部３と、カメラ部３で撮影した画像に含まれる顔部を構成する複数の顔部品を検出する顔部品検出部９と、検出された複数の顔部品の輝度値を計算する顔部品輝度計算部１０と、複数の顔部品の輝度値に基づいて、カメラ部の露光制御値を求める露光制御値決定部１２を備えている。撮像装置１の測距部１７は、この露光制御値を用いてカメラ部３で撮影した画像に基づいて、顔部品の距離測定を行う。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像に含まれる顔部を測距する機能を備えた撮像装置に関するものである。
【背景技術】
【０００２】
従来から、被写体までの距離を測定する（測距する）機能を備えた撮像装置として、ステレオカメラが用いられている。ステレオカメラは、複数の光学系を持っており、それぞれの光学系では光軸が異なっている。そのため、同一被写体をステレオカメラで撮影したときに、それぞれの光学系で撮像される画像に視差が発生し、この視差を求めることにより被写体までの距離が求められる。例えば、複数の光学系のうち１つの光学系で撮像された画像を基準画像として、残りの光学系で撮影された画像を参照画像とする。そして、基準画像の一部の画像をテンプレートとしてブロックマッチングを行って、参照画像での類似点を求めることにより視差を求め、この視差に基づいて被写体までの距離を計算する。
【０００３】
視差を正しく求めるためには、被写体を撮影した画像の輝度が適切でなければならない。適切でない輝度の一例として、露光時間が適切な時間より長く、飽和が発生する場合がある。この場合には、それぞれの被写体が明るさに応じた適正な輝度とならず、視差を正しく求めることができず、その結果、正しく測距することができない。また、適切でない輝度の他の例として、露光時間が適切な時間より短く、輝度が小さい場合がある。この場合には、ランダムノイズに対する輝度の比（Ｓ／Ｎ比）が小さく、視差の精度が低くなり、その結果、測距精度が低くなる。
【０００４】
そこで、従来、顔部の輝度を適切にする撮像装置が提案されている（例えば特許文献１参照）。この従来の撮像装置は、撮影した画像から複数の切り出し領域（例えば３つの顔検出領域枠）を設定し、それぞれの切り出し領域において顔が含まれるかどうかを検出する。そして、顔が含まれる領域の輝度が適正になるように自動露光を行う。例えば、顔検出された領域が１つの顔検出領域枠のみであった場合には、その顔検出領域枠の領域の輝度が適正になるように、絞りとシャッタースピードが決定される。また、２つの顔検出領域枠に顔が検出された場合においては、それらの顔検出領域枠の領域内の平均輝度が適正になるように絞りとシャッタースピードが決定される。更に、３つすべての顔検出領域枠に顔が検出された場合においては、それらすべての顔検出領域枠の領域の平均輝度が適正になるように絞りとシャッタースピードが決定される。また、何れの顔検出領域枠にも顔が検出されなかった場合には、３つの顔検出領域枠内の平均輝度が適正になるように絞りとシャッタースピードが決定される。
【特許文献１】特開２００７−８１７３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の撮像装置においては、あらかじめ切り出し領域が設定されるため、その切り出し領域に本来の被写体（顔部）の他に高輝度被写体（ライトなど）が含まれる場合には、その高輝度被写体の分だけ露光時間が短くなるように制御される。その結果、顔部の輝度が小さくなり、Ｓ／Ｎ比が小さくなってしまうため、視差の精度が低くなり、測距精度が低くなるという問題があった。
【０００６】
本発明は、上記従来の問題を解決するためになされたもので、顔部の輝度を適切にするように露光制御を行うことができ、顔部までの距離を正確に測定することのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、少なくとも二つの光学系で同一の被写体の画像をそれぞれ撮影するカメラ部と、前記カメラ部で撮影した画像から、前記画像に含まれる顔部を構成する複数の顔部品を検出する顔部品検出部と、検出された前記複数の顔部品の輝度値を計算する顔部品輝度計算部と、前記複数の顔部品の輝度値に基づいて、前記カメラ部の露光制御値を求める露光制御値決定部と、前記顔部品の輝度値に基づいて、前記カメラ部の露光制御値を補正する露光制御値補正部と、補正された前記露光制御値を用いて前記カメラ部で撮影した少なくとも二つの画像に基づいて、前記複数の顔部品の距離測定を行う測距部と、
を備えた構成を有している。この構成により、顔部品（目頭、目尻、唇端など）の輝度値に基づいて、露光制御値（絞り値、露光時間、利得など）が適切に求められる。このようにして、顔部品の輝度が適切になるように露光制御が行われるので、顔部品の視差を精度良く求めることができ、顔部品の距離を精度良く測定することができる。
【０００８】
また、本発明の撮像装置では、前記露光制御値決定部は、前記複数の顔部品の輝度値のうちの最大の輝度値が所定の輝度目標値になるように、前記カメラ部の露光制御値を求める構成を有している。この構成により、複数の顔部品の輝度値のうちの最大輝度値を目標値として用いるので、平均輝度値を目標値に用いる場合に比べて、照明条件の変化に対して適切な露光制御を容易に行うことが可能になる。したがって、照明条件が変化した場合（例えば、被写体の「正面からの照明」から「側面からの照明」に変化した場合）であっても、顔部品の輝度が適切になるように露光制御を行うことが容易になる。
【０００９】
また、本発明の撮像装置では、前記露光制御値決定部は、前記複数の顔部品のうち対称的に配置された一対の顔部品の輝度値の差が所定の閾値より大きい場合には、前記一対の顔部品を除いた他の顔部品のうちの最大の輝度値が輝度目標値になるように、前記カメラ部の露光制御値を求める構成を有している。この構成により、対称的に配置された一対の顔部品（例えば、左目尻と右目尻）の輝度値の差が大きい場合には、その顔部品は目標値として用いられない。つまり、過度に大きな輝度値や過度に小さな輝度値の顔部品は、目標値から除外される。このように、適正な輝度値の範囲内にある（輝度値の差が小さい）顔部品の輝度値を目標値として用いて露光制御を行うことにより、適切な露光制御を行うことが可能になる。
【００１０】
また、本発明の撮像装置では、前記カメラ部で撮影した画像に含まれる顔部を検出する顔検出部と、検出された前記顔部の輝度値を計算する顔輝度計算部と、前記顔部の輝度値に基づいて、前記カメラ部の露光制御値を補正する露光制御値補正部と、を備え、前記露光制御値補正部は、前記カメラ部で撮影した少なくとも二つの画像に含まれる顔部品の輝度値が同一になるように、前記カメラ部の露光制御値を補正する構成を有している。この構成により、視差の計算に利用する顔部の輝度値の差が小さくなるように、露光制御値（絞り値、露光時間、利得など）が補正される。したがって、顔部品の視差を精度良く求めることができ、顔部品の距離を精度良く測定することができる。
【００１１】
また、本発明の撮像装置では、前記露光制御値には、絞り値と露光時間と利得とが含まれており、前記露光制御値補正部は、前記二つの光学系のそれぞれの前記絞り値と前記露光時間とを同一とし、前記二つの画像に含まれる顔部品の輝度値が同一となるように前記二つの光学系のそれぞれの前記利得を補正する。この構成により、視差演算に利用する二つの光学系の輝度差をなくすことができるので、視差演算の精度が高くなり、距離演算の精度を高くすることができる。
【００１２】
また、本発明の撮像装置では、前記露光制御値決定部は、前記複数の顔部品の輝度値から選択された輝度値に応じて輝度目標値を設定し、前記選択された輝度値が前記輝度目標値になるように、前記カメラ部の露光制御値を求める構成を有している。この構成により、顔部品の輝度値に応じて目標値が適切に設定される。
【００１３】
また、本発明の撮像装置では、前記露光制御値決定部は、前記選択された輝度値が所定の閾値より大きい場合には、前記選択された輝度値が前記閾値より小さい場合に比べて、前記輝度目標値を小さい値に設定する構成を有している。この構成により、輝度値が大きい場合には目標値を小さくすることにより、すばやく短時間で適切な輝度値になるように露光制御が行われる。したがって、輝度が高すぎて測距精度が低い期間を短縮することができる。
【００１４】
また、本発明の撮像装置では、前記露光制御値決定部は、前記顔部品の輝度値が所定の飽和基準値より大きいことを示す飽和信号の有無に基づいて、前記カメラ部の露光制御値を求める頻度を制御する構成を有している。この構成により、飽和信号の有無に基づいて、適切なタイミングで露光制御値の決定が行われる。
【００１５】
また、本発明の撮像装置では、前記露光制御値決定部は、前記飽和信号が有の場合には、前記画像が撮影されるたびに前記カメラ部の露光制御値を求める構成を有している。この構成により、輝度の飽和が発生したときは直ちに露光制御値の演算を行うことにより、すばやく短時間で適切な輝度値になるように露光制御が行われる。したがって、輝度が高すぎて測距精度が低い期間を短縮することができる。
【００１６】
本発明の運転者監視装置は、少なくとも二つの光学系で被写体である運転者の画像をそれぞれ撮影するカメラ部と、前記カメラ部で撮影した画像から、前記運転者の顔部を構成する複数の顔部品を検出する顔部品検出部と、検出された前記複数の顔部品の輝度値を計算する顔部品輝度計算部と、前記複数の顔部品の輝度値に基づいて、前記カメラ部の露光制御値を求める露光制御値決定部と、前記露光制御値を用いて前記カメラ部で撮影した少なくとも二つの画像に基づいて、前記運転者の複数の顔部品の距離測定を行う測距部と、前記複数の顔部品の距離測定結果に基づいて、前記運転者の顔モデルを作成する顔モデル作成部と、作成された前記顔モデルに基づいて、前記運転者の顔向きを追跡する処理を行う顔追跡処理部と、を備えた構成を有している。この構成により、顔部品（目頭、目尻、唇端など）の輝度値に基づいて、露光制御値（絞り値、露光時間、利得など）が適切に求められる。このようにして、顔部品の輝度が適切になるように露光制御が行われるので、顔部品の視差を精度良く求めることができ、顔部品の距離を精度良く測定することができる。そして、顔部品の正確な距離を用いて顔向きを追跡するので、精度良く顔向きを追跡することができる。
【００１７】
本発明のる顔部測距方法は、少なくとも二つの光学系で同一の被写体の画像をそれぞれ撮影し、前記撮影した画像に含まれる顔部を構成する複数の顔部品を検出し、検出された前記複数の顔部品の輝度値を計算し、前記複数の顔部品の輝度値に基づいて、画像撮影のための露光制御値を求め、前記複数の顔部品の輝度値に基づいて、画像撮影のための露光制御値を補正し、補正された前記露光制御値を用いて撮影した少なくとも二つの画像に基づいて、前記顔部の距離測定を行う。この方法によっても、上記の撮像装置と同様に、顔部品の輝度が適切になるように露光制御が行われるので、顔部品の視差を精度良く求めることができ、顔部品の距離を精度良く測定することができる。
【発明の効果】
【００１８】
本発明は、顔部品の輝度に基づいて露光制御値を求める露光制御値決定部を設けることにより、顔部品の距離を精度良く測定することができるという効果を有する撮像装置を提供することができるものである。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態の撮像装置について、図面を用いて説明する。
【００２０】
（第１の実施の形態）
本発明の第１の実施の形態では、カメラ付き携帯電話機、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、立体画像入力カメラ等に用いられる撮像装置の場合を例示する。
【００２１】
まず、本実施の形態の撮像装置の構成を、図１〜図６を参照して説明する。図１は、本実施の形態の撮像装置の構成を示すブロック図である。図１に示すように、撮像装置１は、二つの光学系２（第１および第２の光学系２）を有するカメラ部３と、ＣＰＵやマイコンなどで構成される制御部４を備えている。
【００２２】
ここでは、まず、二つの光学系２の構成について説明する。第１の光学系２（図１では、上側の光学系２）は、第１の絞り５、第１のレンズ６、第１の撮像素子７、第１の回路部８を有しており、また、第２の光学系２（図１では、下側の光学系２）は、第２の絞り５、第２のレンズ６、第２の撮像素子７、および第２の顔路部を有している。そして、この二つの光学系２は、それぞれ同一の被写体の画像を撮影できるように構成されいる。
【００２３】
カメラ部３で同一の被写体を撮影した場合、第１の光学系２では、第１の絞り５を通過した第１のレンズ６への入射光が、第１の撮像素子７の撮像面上に結像され、第１の回路部８により撮像素子７からの電気信号に対してノイズ除去、利得制御、およびアナログ／デジタル変換などの処理が行われて、第１の画像として出力される。また、第２の光学系２でも同様に、第２の絞り５を通過した第２のレンズ６への入射光は第２の撮像素子７の撮像面上に結像され、第２の回路部８により撮像素子７からの電気信号に対してノイズ除去、利得制御、およびアナログ／デジタル変換などの処理が行われされ、第２の画像として出力される。
【００２４】
第１の画像および第２の画像は、制御部４に入力される。制御部４では、後述のように各種の処理が実行されて、第１の露光制御値および第２の露光制御値が出力される。この第１の露光制御値および第２の露光制御値は、カメラ部３に入力され、カメラ部３における露光制御に用いられる。なお、第１の画像および第２の画像は、外部にも出力される。
【００２５】
第１の露光制御値には、第１の絞り値、第１の露光時間、第１の利得が含まれており、第１の光学系２では、この第１の露光制御値に基づいて露光制御が行われる。すなわち、第１の光学系２では、第１の絞り値に基づいて第１の絞り５の開度が制御され、第１の露光時間に基づいて第１の撮像素子７の電子シャッターが制御され、第１の利得に基づいて第１の回路部８の利得が制御される。
【００２６】
また、第２の露光制御値には、第２の絞り値、第２の露光時間、第２の利得が含まれており、第２の光学系２では、この第２の露光制御値に基づいて露光制御が行われる。すなわち、第２の光学系２では、第２の絞り値に基づいて第２の絞り５の開度が制御され、第２の露光時間に基づいて第２の撮像素子７の電子シャッターが制御され、第２の利得に基づいて第２の回路部８の利得が制御される。
【００２７】
この場合、第１と第２の光学系２は、画像の水平方向に離れて配置されている。そのため、画像の水平方向に視差が発生する。また、第１の画像および第２の画像には、種々の補正（キャリブレーション）が施される。例えば、第１の画像および第２の画像には、シェーディングが補正され、光軸中心が画像の同一位置（例えば、画像中心）となるように補正され、光軸中心周りの歪みがないように補正され、倍率が補正され、視差が発生する方向が画像の水平方向になるように補正される。
【００２８】
つぎに、制御部４の構成について説明する。図１に示すように、制御部４は、カメラ部３で撮影した画像から複数の顔部品（目頭、目尻、唇端など）を検出する顔部品検出部９と、それらの顔部品の輝度を計算する顔部品輝度計算部１０と、複数の顔部品の輝度のうち最大の輝度値を選択する顔部品輝度選択部１１と、顔部品の輝度値に基づいて露光制御値を求める露光制御値決定部１２と、顔部品の輝度値が所定の飽和基準値より大きい場合に飽和信号を作成する飽和信号作成部１３を備えている。
【００２９】
また、制御部４は、第１の光学系２で撮影した画像から顔部を検出する第１の顔検出部１４と、その顔部の輝度値を計算する第１の顔輝度計算部１５と、第２の光学系２で撮影した画像から顔部を検出する第２の顔検出部１４と、その顔部の輝度値を計算する第２の顔輝度計算部１５と、これらの顔部の輝度値に基づいて露光制御値の補正を行う（その結果、後述するように、第１の露光制御値と第２の露光制御値が生成される）露光制御値補正部１６と、補正された露光制御値を用いてカメラ部３で撮影された画像に基づいて顔部の測距を行う測距部１７を備えている。この測距部１７は、顔部を構成する顔部品の測距を行う機能も備えている。そして、測定された顔部の距離（または顔部品の距離）は、外部に出力されるように構成されている。
【００３０】
ここで、制御部４の各構成のうち本発明に特徴的なものについて、図面を用いて詳しく説明する。図２は、顔部品検出部９における処理（顔部品検出処理）の一例を示す図である。図２では、カメラ部３（第１の光学系２）で撮影した人物の画像から６つの顔部品（図２で、斜線を付した領域）が検出されたときの例が示されている。この例では、「右目頭」付近の正方形領域が第１の顔部品ａ、「左目頭」付近の正方形領域が第２の顔部品ｂ、「右目尻」付近の正方形領域が第３の顔部品ｃ、「左目尻」付近の正方形領域が第４の顔部品ｄ、「右唇端」付近の正方形領域が第５の顔部品ｅ、「左唇端」付近の正方形領域が第６の顔部品ｆとして検出されている。この場合、汗などで濡れた額にライトの光が反射して高輝度領域Ｒが存在していたとしても、そのような領域（額付近の領域）は顔部品として検出されない。顔部品検出部９は、これらの顔部品ａ〜ｆの位置（顔部品位置ともいう）を、顔部品輝度計算部１０、飽和信号作成部１３および測距部１７に出力する。
【００３１】
なお、図２では、顔部品の数が６つである場合を例示したが、顔部品の数がこれに限定されないことは言うまでもない。また、ここでは、正方形の領域を顔部品としたが、顔部品の形状はこれに限定されるものではなく、例えば、長方形、三角形、台形などの他の形状や、顔部品を曲線で囲んだ形状などでもよい。
【００３２】
図３は、露光制御値決定部１２の構成を示すブロック図である。図３に示すように、露光制御値決定部１２は、目標値設定部１８と露光制御演算部１９から構成される。目的値設定部１８は、顔部品輝度選択部１１で選択された輝度値に基づいて輝度目標値を設定する機能を備えており、露光制御演算部１９は、顔部品輝度選択部１１で選択された輝度値が輝度目標値になるように露光制御値を決定する機能を備えている。なお、この露光制御値決定部１２の詳しい動作については、図面を用いて後述する。
【００３３】
図４は、顔検出部１４における処理（顔検出処理）の一例を示す図である。図４では、カメラ部３（第１の光学系２や第２の光学系２）で撮影した人物の画像から顔部が検出されたときの例が示されている。例えば、人物の顔すべてを含む大きな四角形（顔に外接する四角形など）の領域Ｘが顔部として検出される。この場合には、人物の顔から離れた部分にライトなどの高輝度領域Ｐが存在していたとしても、その高輝度領域Ｐを含まないような領域Ｘを顔部として検出することができる。また、人物の顔の一部を含む小さな四角形（顔に内接する四角形など）の領域Ｙを顔部として検出してもよい。この場合には、人物の顔の近くにライトなどの高輝度領域Ｑが存在していたとしても、その高輝度領域Ｑを含まないような領域Ｙを顔部として検出することができる。また、人物の顔の輪郭を検知し、顔の輪郭で囲まれた領域を顔部として検出してもよい。
【００３４】
図５は、露光制御値補正部１６の構成を示すブロック図である。図５に示すように、露光制御値補正部１６は、「第１の絞り値」および「第２の絞り値」として、補正前の絞り値（同一の絞り値）を出力するように構成されている。また、露光制御値補正部１６は、「第１の露光時間」および「第２の露光時間」として、補正前の露光時間（同一の露光時間）を出力するように構成されている。そして、この露光制御値補正部１６は、「第１の利得」として補正前の利得を出力し、また、「第２の利得」として、第１の顔輝度から第２の顔輝度を減算し、その減算結果を比例積分制御した結果をオフセットとして求めて、このオフセットを補正前の利得に加算した結果を出力するように構成されている。
【００３５】
図６は、測距部１７におけるブロックマッチング処理の一例を示す図である。図６に示すように、測距部１７では、第１の画像上の顔部品（例えば、第１の顔部品ａ）が示す領域をテンプレートとして、第２の画像上の対応する位置（例えば、第１の顔部品ａに対応する位置ｍ）から水平方向（視差が発生する方向）に所定の位置ｎまで１画素づつずらしながら、ブロックマッチングを行う。そして、類似度が最も高いずらし量を第１の視差Δ１とする。さらに、三角測量の原理を用いて下記の式１を用いて、第１の距離Ｌ１を求める。
Ｌ＝（ｆ×Ｂ）／（ｐ×Δ） （式１）
【００３６】
この式１において、Ｌは被写体の距離である。また、ｆは第１のレンズ６の焦点距離であり、Ｂは第１と第２の光学系２の光軸間の距離である。また、ｐは撮像素子７の画素の水平方向の間隔であり、Δは視差である。視差Δの単位は、撮像素子７の画素の水平方向の間隔である。
【００３７】
同様にして、第２の顔部品ｂ、第３の顔部品ｃ、第４の顔部品ｄ、第５の顔部品ｅ、第６の顔部品ｆについても、ブロックマッチングを行って、それぞれ第２の視差Δ２、第３の視差Δ３、第４の視差Δ４、第５の視差Δ５、第６の視差Δ６を求める。そして、式１を用いて、それぞれ第２の距離Ｌ２、第３の距離Ｌ３、第４の距離Ｌ４、第５の距離Ｌ５、第６の距離Ｌ６を求める。
【００３８】
以上のように構成された第１の実施の形態の撮像装置１について、図７および図８を用いてその動作を説明する。
【００３９】
図７は、撮像装置１を用いて測距を行うときの制御部４の動作の流れを示すフロー図である。この撮像装置１は、上位装置（例えば、この撮像装置１を用いた運転者監視装置など）やユーザからの命令等によって動作が開始される（Ｓ１０）。
【００４０】
制御部４では、まず、カメラ部３によって撮影した画像の読み込みが行われる（Ｓ１１）。この場合、第１の光学系２から第１の画像が読み込まれ、第２の光学系２から第２の画像が読み込まれる。読み込んだ画像は、適宜、ＲＡＭ（Random Read Memory）などに一時的に保存される。
【００４１】
次に、顔部品検出部９に、第１の画像が入力され、顔部品が検出される（Ｓ１２）。そして、顔部品検出部９から、検出した顔部品の位置が出力される。例えば、図２のように、６つの顔部品ａ〜ｆの位置が出力される。顔部品輝度計算部１０には、第１の画像と顔部品の位置が入力され、ぞれぞれの顔部品の輝度平均が計算される（Ｓ１３）。そして、顔部品輝度計算部１０から、顔部品の輝度値（例えば、顔部品ａ〜ｆのそれぞれの平均輝度値）が出力される。
【００４２】
顔部品輝度選択部１１に、顔部品の輝度値（顔部品ａ〜ｆの輝度値）が入力されると、その中から最大の輝度値が選択される（Ｓ１４）。なお、この顔部品輝度選択部１１では、左右対称の顔部品（例えば、右唇端と左唇端：顔部品ｅおよびｆ）の輝度値の差が大きい場合には、それらの顔部品を除いた他の顔部品（例えば、顔部品ａ〜ｄ）の輝度値の中から最大の輝度値が選択されてもよい。顔部品輝度選択部１１で選択された輝度値は、露光制御値決定部１２に出力される。
【００４３】
飽和信号作成部１３には、第１の画像と顔部品の位置が入力され、飽和が発生しているか否かを示す飽和信号が生成される（Ｓ１５）。例えば、６つの顔部品ａ〜ｆのいずれかの領域で飽和が発生していた場合には、飽和の発生「有」を示す飽和信号Ｈが生成され、顔部品ａ〜ｆのいずれかの領域でも飽和が発生していなかった場合には、飽和の発生「無」を示す飽和信号Ｌが生成される。そして、飽和信号作成部１３で作成された飽和信号は、露光制御値決定部１２に出力される。
【００４４】
そして、露光制御値決定部１２には、選択された輝度値と飽和信号が入力され、カメラ部３の露光制御値（補正前の露光制御値：補正前の絞り値、補正前の露光時間、補正前の利得）が求められる（Ｓ１６）。
【００４５】
ここで、図８を参照して、露光制御値決定部１２の動作を詳しく説明する。図８は、露光制御値決定部１２における処理の流れを示すフロー図である。図８に示すように、露光制御値決定部１２の動作が開始されると（Ｓ１６１）、飽和信号がＬ（飽和の発生「無」）であるか否かの判断が行われる（Ｓ１６２）。
【００４６】
飽和信号がＨ（飽和の発生「有」）であった場合には、カウンタＮの値を「０」に初期化する（Ｓ１６３）。一方、飽和信号がＬ（飽和の発生「無」）であった場合には、カウンタＮの初期化は行わない。
【００４７】
次に、カウンタＮの値が「０」であるか否かの判定が行われる（Ｓ１６４）。カウンタの値が「０」であった場合には、露光演算の処理が行われる。具体的には、まず、目標値設定部１８で、選択された輝度値に基づいて、輝度目標値が設定される（Ｓ１６５）。例えば、選択された輝度値が所定の閾値未満である場合には、輝度目標値を第１の目標値（所定の目標値）に設定する。一方、選択された輝度値が閾値以上である場合には、輝度目標値を第２の目標値（第１の目標値より小さい目標値）に設定する。
【００４８】
そして、露光制御演算部１９において、選択された輝度値と輝度目標値に基づいて、露光制御値（補正前の露光制御値）が決定される。例えば、選択された輝度値が輝度目標値になるように、露光制御値（補正前の絞り値、補正前の露光時間、補正前の利得）が決定され、露光制御値決定部１２から出力される。一方、ステップＳ１６４において、カウンタの値が「０」でなかった場合には、上記の露光演算の処理（ステップＳ１６５、Ｓ１６６）は行われない。この場合には、前回出力した露光制御値と同じ露光制御値が、露光制御値決定部１２から出力される。
【００４９】
最後に、カウンタＮに「１」を加算して「４」で除算したときの剰余を、新たなカウンタＮに設定し（Ｓ１６８）、露光制御値決定部１２は動作を終了する（Ｓ１６９）。
【００５０】
なお、ここでは、ステップＳ１６８において、カウンタＮに「１」を加算して「４」で除算したときの剰余を取り、ステップＳ１６４において、カウンタＮが「０」かどうかを判断し、カウンタＮが「０」のときのみ、露光演算の処理（ステップＳ１６５、Ｓ１６６）を実行する場合を例示した。つまり、画像読込みの４回に１回だけ露光演算の処理（目標値設定、露光制御演算）が行われる場合を例示した。
【００５１】
しかし、本発明の範囲はこれに限定されるものではなく、例えば、ステップＳ１６８で「３」で除算してもよく、また、除算の数値を適宜変更してもよい。このように、数回（例えば４回）に１回だけ露光演算を行うことにより、毎回演算を行うときと比較して、撮像装置１全体での演算時間を短縮することができる。そして、除算の数値が大きいほど、撮像装置１全体での演算時間が短縮される。したがって、露光制御値（露光時間など）の設定から、その露光制御値（露光時間など）が反映された画像を取り込むまでにある程度の待機時間が必要な場合には、除算の数値を変更することにより、待機時間を適宜調整することができる。
【００５２】
また、この場合、ステップＳ１６２において飽和信号３９がＨのとき（飽和の発生が「有」のとき）、ステップＳ１６３においてカウンタＮが０に初期化され、ステップＳ１６４においてカウンタＮが０であると判断され、露光演算の処理（ステップＳ１６５、Ｓ１６６）が実行される。これにより、飽和信号がＨときは（飽和の発生が「有」のときは）、目標値設定（ステップＳ１６５）および露光制御演算（ステップＳ１６６）が、必ず実行される。なお、被写体の明るさが変化しない場合には、露光制御値（露光時間など）が反映された画像を取り込むまで飽和信号の状態が変化しないため（飽和信号がＨのままであるため）、ステップＳ１６２の処理を省略してもよい。なお、ここでは、飽和の発生が「有」のときに露光制御演算が常に行われる場合を例示したが、本発明の範囲はこれに限定されるものではなく、例えば、飽和の発生が「有」のときにＮ＝０に初期化したのち３回だけ露光制御演算を止めてもよい。
【００５３】
図７に戻って、制御部４の動作の説明を続ける。第１の顔検出部１４には、第１の画像が入力され、その画像の中から第１の顔部を検出する処理が行われる（Ｓ１７）。そして、第１の顔検出部１４から、第１の顔部の位置が出力される。例えば、図４のように、顔部の領域Ｙの位置が出力される。第１の顔輝度計算部１５には、第１の画像と第１の顔部の位置が入力され、第１の顔部（例えば領域Ｙ）の輝度平均が計算される（Ｓ１８）。そして、第１の顔輝度計算部１５から、第１の顔部の輝度値（領域Ｙの平均輝度値）が出力される。
【００５４】
同様に、第２の顔検出部１４には、第２の画像が入力され、その画像の中から第２の顔部を検出する処理が行われる（Ｓ１９）。そして、第２の顔検出部１４から、第２の顔部の位置が出力される。第２の顔輝度計算部１５には、第２の画像と第２の顔部の位置が入力され、第２の顔部の輝度平均が計算される（Ｓ２０）。そして、第２の顔輝度計算部１５から、第２の顔部の輝度値が出力される。
【００５５】
露光制御値補正部１６には、露光制御値決定部１２で求めた露光制御値（補正前の露光制御値）、第１の顔部の輝度値、第２の顔部の輝度値が入力され、露光制御値の補正が行われて、補正後の露光制御値（第１の露光制御値と第２の露光制御値）が出力される（Ｓ２１）。例えば、第１の露光制御値として、補正前と同一の露光制御値（絞り値、露光時間、利得）が出力され、第２の露光制御値として、補正前と同一の絞り値、補正前と同一の露光時間、補正前の利得にオフセットを加算した利得が出力される。
【００５６】
そして、測距部１７には、補正後の露光制御値を用いて撮影した画像（第１の画像、第２の画像）とその画像から検出した顔部品の位置（例えば、６つの顔部品ａ〜ｆの位置）が入力され、それらの顔部品の測距が行われる（Ｓ２２）。そして、測距部１７からは、それらの顔部品（例えば、６つの顔部品ａ〜ｆ）の距離が出力される。
【００５７】
最後に、制御部４では、動作を終了するか否かの判断が行われ（Ｓ２３）、終了すると判断されたときには、制御部４は、動作を終了する（Ｓ２４）。
【００５８】
このような第１の実施の形態の撮像装置１によれば、以下のような作用効果が奏される。すなわち、本実施の形態の撮像装置１では、画像から顔部品を検知し、それぞれの顔部品の輝度平均を求め、その中で最も大きいものに基づき露光制御を行うことにより、顔部品を適切な輝度とし、顔部品の正確な視差を求め、それゆえ顔部品の正確な距離を求めることができる。
【００５９】
また、本実施の形態の撮像装置１では、２つの光学系２により撮像された画像から顔部を検知し、それぞれ２つの光学系２に対する顔部の平均輝度を求め、両者が同一となるように、それぞれの光学系２の利得を制御する。このようにして、顔部において、２つの光学系２の輝度を同一とするため、顔部を正確にブロックマッチングでき、顔部の正確な視差を求めることができ、それゆえ顔部を正確に測距できる。
【００６０】
具体的には、第１の実施の形態の撮像装置１は、顔部品検出部９により顔位置に関する情報である顔部品位置を認識し、顔部品輝度計算部１０により顔部品位置に基づき顔部品輝度を演算し、露光制御値決定部１２が顔部品輝度に基づき作成された顔部品輝度選択値を用いて露光制御を行い、測距部１７が第１の画像と第２の画像とに基づき顔部の一部である顔部品位置の距離を作成する。
【００６１】
これにより、画像内の顔位置以外に高輝度箇所（例えば、図４の高輝度領域Ｐ）があっても、顔部の輝度を適切に制御できる。一方、従来の撮像装置では、あらかじめ領域を分割して、顔が含まれる領域を検知するため、顔近傍に高輝度領域が含まれると、この高輝度領域を含んだ輝度の情報に基づいて露光制御することになり、顔部の輝度が過小になってしまい（Ｓ／Ｎ比が小さくなってしまい）、視差精度が低く、測距精度が低下してしまう。これに対して、本実施の形態では、顔部の輝度が過大にならず（飽和することなく）、また、顔部の輝度が過小にならないため（Ｓ／Ｎ比が大きいため）、視差精度が高くなり、測距精度が向上する。
【００６２】
しかも、本実施の形態では、顔位置以外の高輝度箇所が１箇所だけでなく、複数の高輝度領域（例えば、図４の高輝度領域ＰとＱ）があっても、顔位置の輝度に基づき露光制御することにより、顔位置の輝度を適切に制御できる。さらに、それら複数の高輝度箇所の輝度が異なっていても、また、高輝度箇所が顔の近傍にあっても、顔位置の輝度に基づき露光制御することにより、顔位置の輝度を適切に制御できる。
【００６３】
また、第１の実施の形態に係る撮像装置１では、顔部品検出部９により顔部品の位置を認識し、顔部品輝度計算部１０により顔部品の輝度を演算し、露光制御値決定部１２がその中から選択した顔部品の輝度を用いて露光制御を行い、測距部１７が第１の画像と第２の画像とに基づき顔部品の距離を求める。
【００６４】
これにより、顔部の領域の中で測距に利用しない高輝度箇所（例えば、図２の高輝度領域Ｒ）があっても、顔部品の領域の輝度に基づき露光制御するため、顔部品の輝度を適切に制御できる。一方、従来の撮像装置では、あらかじめ領域を分割して、顔が含まれる領域を検知するため、顔部の領域の中で測距に利用しない高輝度箇所があると、この高輝度領域を含んだ輝度の情報に基づいて露光制御することになり、顔位置の輝度が過小になってしまい（Ｓ／Ｎ比が小さくなってしまい）、視差精度が低く、測距精度が低下してしまう。これに対して、本実施の形態では、顔部品の位置の輝度が過大にならず（飽和することなく）、顔部品の輝度が過小にならないため（Ｓ／Ｎ比が大きいため）、視差精度が高く、測距精度が向上する。
【００６５】
さらに、露光調整のための輝度を求める領域と距離を求める領域とが同一の顔部品領域であり、それぞれの領域を個別に検知する必要がない。そのため、その分だけ領域検知に要する演算時間を短縮でき、高速に（短時間で）測距することができる。また、この領域検知の処理は、同一の演算器で実行することができるので、その分だけ（演算器の共通化の分だけ）装置のコストを削減することができる。
【００６６】
また、第１の実施の形態に係る撮像装置１では、顔部品検出部９により顔部品の位置を認識し、顔部品輝度計算部１０により顔部品の輝度を演算し、顔部品輝度選択部１１により顔部品の輝度値のうち一番大きい輝度値を選択し、露光制御値決定部１２がその選択された輝度値を用いて露光制御を行い、測距部１７が第１の画像と第２の画像に基づき顔部品の距離を求める。
【００６７】
これにより、顔部品の輝度値の最大値を用いて露光制御するため、照明条件が変化しても常に顔部品の輝度を適切に制御できる。この点について、以下、図９を参照して詳しく説明する。
【００６８】
図９は、第１の実施の形態の撮像装置１において、照明条件を変えたときの顔全体の輝度平均と顔部品の輝度平均の一例を示す表である。図９に示すように、条件１Ａおよび１Ｂは、本実施の形態の撮像装置１を用いたときの輝度平均であり、条件２Ａ条件２Ｂは、従来の撮像装置を用いたときの輝度平均（比較例１とする）である。
【００６９】
条件１Ａおよび条件２Ａは、人物のほぼ前面から照明が照射されたときの輝度平均を示している。このとき、人物の右側にある顔部品（例えば、右目頭ａ、右目尻ｃ、右唇端ｅ）の輝度と、左側にある顔部品（例えば、左目頭ｂ、左目尻ｄ、左唇端ｆ）の輝度の差は小さい。一方、条件１Ｂおよび条件２Ｂは、人物の左側から照明が照射されたときの輝度平均を示している。このときには、人物の右側にある顔部品の輝度に比べて、左側にある顔部品の輝度が大きくなる。
【００７０】
第１の実施の形態の撮像装置１を用いたときの輝度平均は、輝度目標値が顔部品ａ〜ｆの輝度値の最大値（図９で、丸印で囲まれた数値「１３０」）に設定される。つまり、条件１Ａおよび条件１Ｂのいずれの場合でも、顔部品の最大輝度が「１３０」になるように制御される。一方、比較例１では、輝度目標値が顔全体の平均輝度（図９で、丸印で囲まれた数値「５０」）に設定される。つまり、条件２Ａおよび条件２Ｂのいずれの場合でも、顔全体の平均輝度が「５０」になるように制御される。この場合、条件１Ｂと条件２Ｂ（左側からの照明）では、同じような露光制御が行われるが、条件１Ａと条件１Ｂ（正面からの照明）を比べると、本実施の形態のほうが比較例１より輝度平均が大きく（Ｓ／Ｎ比が大きく）、視差精度が高く、測距精度が向上している。
【００７１】
ここで、比較例１において単に輝度目標値を大きくすることも考えられる。条件３Ａおよび条件３Ｂは、単に輝度目標値を大きくした（輝度目標値を「１０６」にした）ときの輝度平均（比較例２という）を示している。この比較例２の場合、条件３Ａ（正面からの照明）では、適切に輝度を高めることができるが、条件３Ｂ（左側からの照明）では、輝度が過大になり（飽和が発生し）、視差精度が低く、測距精度が低下してしまう。これに対して、本実施の形態では、照明の条件が変わっても（正面からの照明であっても、側面からの照明であっても）、常に、顔部品の輝度が適切に保たれる。
【００７２】
なお、ヒストグラムなどを用いることにより、従来の撮像装置で平均輝度を用いるものと比べて改善を図ることも考えられる。しかし、ヒストグラム演算は複雑である。したがって、ヒストグラムを利用した場合と比較して、第１の実施の形態のように平均輝度を用いた場合のほうが演算時間を短縮することができる。
【００７３】
また、第１の実施の形態に係る撮像装置１では、第１の顔検出部１４が第１の画像上の第１の顔領域を検知し第１の顔位置を作成し、第１の顔輝度計算部１５が第１の顔輝度を演算し、第２の顔検出部１４が第２の画像上の顔領域を検知し第２の顔位置を作成し、第２の顔輝度計算部１５が第２の顔輝度を演算し、第１の顔輝度と第２の顔輝度とが同一となるように、第１の利得を補正前利得に保ちつつ、補正前利得にオフセットを加算したものを第２の利得とする。
【００７４】
これにより、第１の光学系２で撮像される第１の画像と第２の光学系２で撮像される第２の画像とで同一の被写体における輝度を同一とすることにより、正確にブロックマッチングを行うことができ、正確に視差演算し、正確に距離演算することができる。第１の画像と第２の画像との輝度の違いの原因として、光学系２のばらつき、撮像素子７のばらつき、回路部８（利得器）のばらつき、アナログデジタル変換器のばらつきなどがある。本実施の形態の撮像装置１では、製造時に測定を行いオフセットを作成し、オフセットを加算したものを第２の利得とすることにより、これらのばらつきの影響を低減できる。
【００７５】
ところで、第１の画像１６と第２の画像２６との輝度の違いの原因として、回路部８（利得器）などが温度特性を持ち、第１と第２の光学系２の温度が異なることにより利得が異なることが考えられる。また、光学系２の経年変化、撮像素子７の経年変化、利得器の経年変化、アナログデジタル変換器の経年変化などの原因により、輝度が異なることが考えられる。このような場合、第１の実施の形態の撮像装置１によれば、第１の画像と第２の画像との輝度の違いを補償することにより、正確にブロックマッチングを行い、正確に視差演算し、正確に距離演算することができる。
【００７６】
なお、第１の実施の形態では、露光制御量（絞り値、露光時間、利得）のうち、第２の利得を補正し、第１の画像と第２の画像との輝度の違いを補償することにより、正確にブロックマッチングを行い、正確に視差演算し、正確に距離演算を行う。ここで、利得に代えて、絞り値や露光時間を変化させても同様に第１の画像と第２の画像との輝度の違いを補償でき、正確にブロックマッチングを行い、正確に視差演算し、正確に距離演算を行うことができる。ただし、第１のカメラ部と第２のカメラ部とで絞り値が異なるとき、第１のカメラ部と第２のカメラ部との焦点深度が異なり、第１の画像と第２の画像とのぼけ具合が異なるため、ブロックマッチングにおいて精度悪化の原因となる。また、第１のカメラ部と第２のカメラ部とで露光時間が異なり、被写体が高速に移動するとき、第１のカメラ部と第２のカメラ部とで露光される長さが異なり、第１の画像と第２の画像との被写体ぶれ具合が異なるため、ブロックマッチングにおいて精度悪化の原因となる。そのため、露光制御量（絞り値、露光時間、利得）のうち、利得を補正することにより、第１の画像と第２の画像との輝度の違いを補償することが望ましい。
【００７７】
なお、本実施の形態では、顔部品輝度選択部１１が顔部品の輝度値の中で最も大きい輝度値を選択し、露光制御値決定部１２がその選択された輝度値に基づき露光制御を行う例について説明したが、本発明の範囲はこれに限定されるものではない。例えば、顔部品輝度選択部１１は、左右一対の顔部品の輝度値の中で左右の差が大きいものを省き、残りの顔部品輝度値のうち一番大きい顔部品の輝度値を選択し、露光制御値決定部１２がこの選択された顔部品の輝度値に基づき露光制御してもよい。
【００７８】
図１０は、顔部品の輝度を選択するときの変形例を示す図である。条件４Ａおよび条件４Ｂは、変形例の輝度平均を示しており、条件４Ａは、人物のほぼ前面から照明が照射されたときの輝度平均を示し、条件４Ｂは、人物の左側から照明が照射されたときの輝度平均を示している。条件４Ａでは、左右一対の顔部品の輝度値の中で左右の差が大きい組がないため、第１の実施の形態と同様（条件１Ａと同様）、顔部品の輝度の最大値が１３０（丸で囲まれた数値）になるように制御される。一方、条件４Ｂでは、左右一対の顔部品の輝度値の中に左右の差が大きい組があるため、これらの組が除かれる。この例では、第３の顔部品ｃと第４の顔部品ｄの輝度の組（×が書かれた数値）と、第５の顔部品ｅと第６の顔部品ｆの輝度の組（×が書かれた数値）が除かれて、残りの顔部品ａと第２の顔部品ｂの輝度のうちの最大の輝度値が選択され、顔部品の輝度が１３０（第２の顔部品ｂの輝度値、丸で囲まれた数値）になるように制御される。このように、左右の輝度差が大きい顔部品の組を省いて、残りの顔部品の輝度値を用いて測距を行うことにより、露光時間が長くなり、輝度が大きくなる。これにより、信頼性の高い顔部品（左右の輝度差の小さい顔部品）の輝度値を適切に大きくすることができ、それらの顔部品の測距の精度を向上できる。
【００７９】
また、第１の実施の形態の撮像装置１では、露光制御値決定部１２において、目標値設定部１８が第１の画像から選択された顔部品の輝度値に応じて目標値を設定し、露光制御演算部１９が顔部品の輝度値を目標値に一致するように露光制御値（補正前の露光制御値）を決定する。ここで、目標値設定部１８は、選択された輝度値が所定の閾値未満の場合には、目標値を所定の第１の目標値に設定し、また、選択された輝度値が所定の閾値以上の場合には、目標値を所定の第２の目標値（第１の目標値より小さい）に設定する。これにより、輝度が大きくいときは目標値を小さくして、すばやく輝度値を適切に調整でき、視差演算精度が低い期間を短縮でき、測距精度が低い期間を短縮できる。そのため、より長い期間だけ、精度良く視差演算でき、精度良く距離演算できる。
【００８０】
また、第１の実施の形態の撮像装置１では、飽和信号作成部１３が第１の画像に基づき顔部品位置に飽和箇所があるかどうかを示す飽和信号を作成し、露光制御値決定部１２は、選択された顔部品の輝度値と飽和信号とに基づいて露光制御値（補正前の露光制御値）を決定する。そして、この露光制御値決定部１２は、飽和信号がＬのときは（飽和が発生していないときは）、画像を４枚だけ取り込む毎に露光制御演算を行い、飽和信号がＨのときは（飽和が発生しているときは）、カウンタＮを０に初期化し、直ちに露光処理演算行う。これにより、飽和が発生したときは直ちに露光制御演算を行って、すばやく輝度値を適切に調整することができ、輝度が高く測距精度が低い期間を短縮でき、測距精度が低い期間を短縮できる。そのため、より長い期間だけ、精度良く視差演算でき、精度良く距離演算できる。
【００８１】
なお、第１の実施の形態の撮像装置１では、第１の光学系２が、第１の絞り値、第１の露光時間、第１の利得に基づき撮影を行い、第２の光学系２が、第２の絞り値、第２の露光時間、第２の利得に基づき撮像を行う例について説明したが、これらの露光制御値のうちいくつかは固定されていてもよい。また、絞り値を変化させる機構を持たない光学系２であってもよい。
【００８２】
また、第１の実施の形態の撮像装置１では、第２の画像から第２の顔位置を作成した例について説明したが、第１の顔位置から視差分だけずらした位置を第２の顔位置としてもよい。この視差は逐次演算してもよい。また、被写体の距離がほぼ一定しているものとして、この視差は一定の値であってもよい。
【００８３】
（第２の実施の形態）
本発明の第２の実施の形態では、脇見運転や居眠運転の検知システム等に用いられる運転者監視装置の場合を例示する。
【００８４】
まず、本実施の形態の運転者監視装置の構成を、図１１〜図１３を参照して説明する。図１１は、運転者監視装置の概略図であり、図１２は、運転者監視装置の正面図である。図１１および図１２に示すように、運転者監視装置２０のカメラユニット２１は、ステアリングホイール２２を支持するステアリングコラム２３の上に取り付けられており、このカメラユニット２１は、運転者の画像を正面から撮影できるように配置されている。この場合、カメラユニット２１は、第１の実施の形態の撮像装置１と、運転者を照射する複数の補助照明２４（近赤外のＬＥＤ等）から構成されている。そして、撮像装置１からの出力は、電子制御ユニット２５に入力されるように構成されている。
【００８５】
図１３は、運転者監視装置２０の構成を説明するためのブロック図である。上述のように、運転監視装置は、カメラユニット２１と電子制御ユニット２５で構成されており、カメラユニット２１は、撮像装置１と補助照明２４を備えている。電子制御ユニット２５は、撮像装置１から入力される画像と距離に基づいて複数の顔部品特徴点の３次元位置を演算する顔モデル作成部２６と、運転者の顔向きを順次撮影された画像から逐次的に推定する顔追跡処理部２７と、顔モデル作成部２６と顔追跡処理部２７との処理結果より運転者の顔向きを判定する顔向き判定部２８を備えている。また、この電子制御ユニット２５は、撮影条件等を含めて撮像装置１の動作を全体的に制御する全体制御部２９と、この全体制御部２９の制御結果に基づいて補助照明２４の発光を制御する照明発光制御部３０を備えている。
【００８６】
以上のように構成された運転者監視装置２０について、図１４を用いてその動作を説明する。
【００８７】
本実施の形態の運転者監視装置２０では、まず、電子制御ユニット２５の全体制御部２９から撮像装置１へ撮影を許可する信号が出力され（Ｓ２００）、その信号に基づいて撮像装置１が、運転者を正面から約２５度見上げた角度で正面画像を取得する（Ｓ２０１）。また、その信号に同期して、照明発光制御部３０によって補助照明２４が制御され、運転者に近赤外光を一定時間照射する。例えば３０フレームの期間、撮像装置１により運転者を撮影した画像と距離が取得され、顔モデル作成演算回路に入力される（Ｓ２０２）。顔モデル作成演算回路は、取得した距離から複数の顔部品の３次元位置を演算によって求める（Ｓ２０３）。このようにして、演算により得られた複数の顔部品の３次元位置情報と、３次元位置情報を取得した顔部品の周辺の画像を同時に取得する（Ｓ２０４）。
【００８８】
顔追跡処理部２７では、パーティクルフィルタを用いて運転者の顔向きを逐次的に推定する（Ｓ２０５）。例えば、１フレーム前の顔の位置からある方向に顔が動いたと予測する。そして、顔モデル作成部２６で取得した顔部品の３次元位置情報をもとに、予測した動きによる顔部品が移動した位置を推定し、その推定した位置での現在の取得画像と、顔モデル作成部２６で取得済みの顔部品の周辺の画像とをテンプレートマッチングにより相関をとる。１フレーム前の顔向きの確率密度や運動履歴にもとづいて、現在の顔向きを複数パターン予測し、その予測パターンごとに上述と同様にテンプレートマッチングによる相関値を得る。
【００８９】
顔向き判定部２８は、推定した顔の向きと、その顔向きでのパターンマッチングの相関値より現在の顔向きを判定し、外部に出力する（Ｓ２０６）。これにより、例えば、車両情報や車両周辺情報をもとに、運転者の脇見等を判定し、運転者に対し警報等を発し、注意を喚起させることが可能となる。
【００９０】
なお、顔向き判定部２８は、運転者が大きく顔を振った場合など、取得済みのテンプレートマッチングの元画像と現在の画像が異なる等の理由によってパターンマッチングの相関値より正しく顔向きを判定できないと判断された場合には、その時点での顔部品の３次元位置情報と、テンプレートマッチングの元画像となるその周辺画像を取得し直し、上記と同様の処理を行って運転者の顔向きを判定する。
【００９１】
このような第２の実施の形態の運転者監視装置２０によれば、適切な輝度とし、正確な視差を求め、それゆえ正確な距離を求めることができる撮像装置１を用いて顔向きを検知する。そして、この正確な距離を用いて顔向きを検知するため、正確に顔向きを検知できる。
【００９２】
運転者監視装置２０において顔向きを検知するときには、目などの顔部品の距離情報が必要であるが、額などの距離情報は不要である。このとき、従来の装置では、顔部の他にライトなどの高輝度被写体が含まれないときであっても、顔部の一部、例えば、額に反射などの高輝度部があると、その高輝度部の分だけ露光時間が短くなり、それゆえ、目などの顔部品において、輝度が小さく（Ｓ／Ｎ比が小さく）、視差の精度が低くなり、測距精度が低下する。そのため、この測距結果を用いて運転者監視装置２０で行う顔向き検知の精度は低くなってしまう。
【００９３】
これに対して、第２の実施の形態の運転者監視装置２０では、第１の実施の形態の撮像装置１から、正確な画像と距離を取得する。そして、顔モデル作成部２６が距離に基づき顔モデルを作成し、顔追跡処理部２７が顔モデルと所定の時間間隔で運転者の顔を順次撮影された画像とから顔向きを逐次的に推定する。これにより、顔部の輝度を適切に制御し、精度良く視差演算して、精度良く距離演算した画像と距離を用いて顔向きを検知するので、精度良く運転さの顔向きを検知することができる。
【００９４】
なお、第２の実施の形態の運転者監視装置２０では、運転者を照射する補助照明２４を撮像装置１の近傍に配置した例について説明したが、補助照明２４の配置位置はこの例に限らず、運転者を照射できる位置であれば、設置位置は問わない。
【００９５】
また、第２の実施の形態の運転者監視装置２０では、顔向き判定の結果を脇見判定に使用した例について説明したが、本発明の範囲はこれに限定されるものではない。例えば、取得した画像から黒目の３次元位置を検出して、視線方向を検出することも可能であり、また、様々な運転支援システムへ顔向き判定結果、視線方向判定結果を利用することも可能である。
【００９６】
また、第２の実施の形態の運転者監視装置２０では、撮像装置１が顔部品検知と測距を行い、電子制御ユニット２５において顔向きを検知したが、これらの機能の分担はこれに限定されない。例えば、電子制御ユニット２５が顔部品検知と測距を行ってもよい。また、撮像装置１の機能の一部を、電子制御ユニット２５が持っていてもよい。
【００９７】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００９８】
以上のように、本発明にかかる撮像装置は、顔部品の距離を精度良く測定することができるという効果を有し、運転者の顔向きを検知する運転者監視装置等に用いられ、有用である。
【図面の簡単な説明】
【００９９】
【図１】第１の実施の形態における撮像装置の構成を示すブロック図
【図２】顔部品検出部における処理（顔部品検出処理）の説明図
【図３】露光制御値決定部の構成を示すブロック図
【図４】顔検出部における処理（顔検出処理）の説明図
【図５】露光制御値補正部の構成を示すブロック図
【図６】測距部におけるブロックマッチング処理の説明図
【図７】第１の実施の形態における撮像装置の動作を説明するためのフロー図
【図８】露光制御の動作を説明するためのフロー図
【図９】第１の実施の形態において照明条件を変えたときの顔全体の輝度平均と顔部品の輝度の一例を示す図
【図１０】顔部品の輝度を選択するときの変形例を（第１の実施の形態と比較して）示す図
【図１１】第２の実施の形態における運転者監視装置の一例を示す概略図
【図１２】運転者監視装置の正面図
【図１３】運転者監視装置の構成を示すブロック図
【図１４】第２の実施の形態における運転者監視装置の動作を説明するためのフロー図
【符号の説明】
【０１００】
１ 撮像装置
２ 光学系
３ カメラ部
４ 制御部
９ 顔部品検出部
１０ 顔部品輝度計算部
１１ 顔部品輝度選択部
１２ 露光制御値決定部
１３ 飽和信号作成部
１４ 顔検出部
１５ 顔輝度計算部
１６ 露光制御値補正部
１７ 測距部
１８ 目標値設定部
１９ 露光制御演算部
２０ 運転者監視装置
２１ カメラユニット
２５ 電子制御ユニット
２６ 顔モデル作成部
２７ 顔追跡処理部
２８ 顔向き判定部
【技術分野】
【０００１】
本発明は、撮影した画像に含まれる顔部を測距する機能を備えた撮像装置に関するものである。
【背景技術】
【０００２】
従来から、被写体までの距離を測定する（測距する）機能を備えた撮像装置として、ステレオカメラが用いられている。ステレオカメラは、複数の光学系を持っており、それぞれの光学系では光軸が異なっている。そのため、同一被写体をステレオカメラで撮影したときに、それぞれの光学系で撮像される画像に視差が発生し、この視差を求めることにより被写体までの距離が求められる。例えば、複数の光学系のうち１つの光学系で撮像された画像を基準画像として、残りの光学系で撮影された画像を参照画像とする。そして、基準画像の一部の画像をテンプレートとしてブロックマッチングを行って、参照画像での類似点を求めることにより視差を求め、この視差に基づいて被写体までの距離を計算する。
【０００３】
視差を正しく求めるためには、被写体を撮影した画像の輝度が適切でなければならない。適切でない輝度の一例として、露光時間が適切な時間より長く、飽和が発生する場合がある。この場合には、それぞれの被写体が明るさに応じた適正な輝度とならず、視差を正しく求めることができず、その結果、正しく測距することができない。また、適切でない輝度の他の例として、露光時間が適切な時間より短く、輝度が小さい場合がある。この場合には、ランダムノイズに対する輝度の比（Ｓ／Ｎ比）が小さく、視差の精度が低くなり、その結果、測距精度が低くなる。
【０００４】
そこで、従来、顔部の輝度を適切にする撮像装置が提案されている（例えば特許文献１参照）。この従来の撮像装置は、撮影した画像から複数の切り出し領域（例えば３つの顔検出領域枠）を設定し、それぞれの切り出し領域において顔が含まれるかどうかを検出する。そして、顔が含まれる領域の輝度が適正になるように自動露光を行う。例えば、顔検出された領域が１つの顔検出領域枠のみであった場合には、その顔検出領域枠の領域の輝度が適正になるように、絞りとシャッタースピードが決定される。また、２つの顔検出領域枠に顔が検出された場合においては、それらの顔検出領域枠の領域内の平均輝度が適正になるように絞りとシャッタースピードが決定される。更に、３つすべての顔検出領域枠に顔が検出された場合においては、それらすべての顔検出領域枠の領域の平均輝度が適正になるように絞りとシャッタースピードが決定される。また、何れの顔検出領域枠にも顔が検出されなかった場合には、３つの顔検出領域枠内の平均輝度が適正になるように絞りとシャッタースピードが決定される。
【特許文献１】特開２００７−８１７３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の撮像装置においては、あらかじめ切り出し領域が設定されるため、その切り出し領域に本来の被写体（顔部）の他に高輝度被写体（ライトなど）が含まれる場合には、その高輝度被写体の分だけ露光時間が短くなるように制御される。その結果、顔部の輝度が小さくなり、Ｓ／Ｎ比が小さくなってしまうため、視差の精度が低くなり、測距精度が低くなるという問題があった。
【０００６】
本発明は、上記従来の問題を解決するためになされたもので、顔部の輝度を適切にするように露光制御を行うことができ、顔部までの距離を正確に測定することのできる撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の撮像装置は、少なくとも二つの光学系で同一の被写体の画像をそれぞれ撮影するカメラ部と、前記カメラ部で撮影した画像から、前記画像に含まれる顔部を構成する複数の顔部品を検出する顔部品検出部と、検出された前記複数の顔部品の輝度値を計算する顔部品輝度計算部と、前記複数の顔部品の輝度値に基づいて、前記カメラ部の露光制御値を求める露光制御値決定部と、前記顔部品の輝度値に基づいて、前記カメラ部の露光制御値を補正する露光制御値補正部と、補正された前記露光制御値を用いて前記カメラ部で撮影した少なくとも二つの画像に基づいて、前記複数の顔部品の距離測定を行う測距部と、
を備えた構成を有している。この構成により、顔部品（目頭、目尻、唇端など）の輝度値に基づいて、露光制御値（絞り値、露光時間、利得など）が適切に求められる。このようにして、顔部品の輝度が適切になるように露光制御が行われるので、顔部品の視差を精度良く求めることができ、顔部品の距離を精度良く測定することができる。
【０００８】
また、本発明の撮像装置では、前記露光制御値決定部は、前記複数の顔部品の輝度値のうちの最大の輝度値が所定の輝度目標値になるように、前記カメラ部の露光制御値を求める構成を有している。この構成により、複数の顔部品の輝度値のうちの最大輝度値を目標値として用いるので、平均輝度値を目標値に用いる場合に比べて、照明条件の変化に対して適切な露光制御を容易に行うことが可能になる。したがって、照明条件が変化した場合（例えば、被写体の「正面からの照明」から「側面からの照明」に変化した場合）であっても、顔部品の輝度が適切になるように露光制御を行うことが容易になる。
【０００９】
また、本発明の撮像装置では、前記露光制御値決定部は、前記複数の顔部品のうち対称的に配置された一対の顔部品の輝度値の差が所定の閾値より大きい場合には、前記一対の顔部品を除いた他の顔部品のうちの最大の輝度値が輝度目標値になるように、前記カメラ部の露光制御値を求める構成を有している。この構成により、対称的に配置された一対の顔部品（例えば、左目尻と右目尻）の輝度値の差が大きい場合には、その顔部品は目標値として用いられない。つまり、過度に大きな輝度値や過度に小さな輝度値の顔部品は、目標値から除外される。このように、適正な輝度値の範囲内にある（輝度値の差が小さい）顔部品の輝度値を目標値として用いて露光制御を行うことにより、適切な露光制御を行うことが可能になる。
【００１０】
また、本発明の撮像装置では、前記カメラ部で撮影した画像に含まれる顔部を検出する顔検出部と、検出された前記顔部の輝度値を計算する顔輝度計算部と、前記顔部の輝度値に基づいて、前記カメラ部の露光制御値を補正する露光制御値補正部と、を備え、前記露光制御値補正部は、前記カメラ部で撮影した少なくとも二つの画像に含まれる顔部品の輝度値が同一になるように、前記カメラ部の露光制御値を補正する構成を有している。この構成により、視差の計算に利用する顔部の輝度値の差が小さくなるように、露光制御値（絞り値、露光時間、利得など）が補正される。したがって、顔部品の視差を精度良く求めることができ、顔部品の距離を精度良く測定することができる。
【００１１】
また、本発明の撮像装置では、前記露光制御値には、絞り値と露光時間と利得とが含まれており、前記露光制御値補正部は、前記二つの光学系のそれぞれの前記絞り値と前記露光時間とを同一とし、前記二つの画像に含まれる顔部品の輝度値が同一となるように前記二つの光学系のそれぞれの前記利得を補正する。この構成により、視差演算に利用する二つの光学系の輝度差をなくすことができるので、視差演算の精度が高くなり、距離演算の精度を高くすることができる。
【００１２】
また、本発明の撮像装置では、前記露光制御値決定部は、前記複数の顔部品の輝度値から選択された輝度値に応じて輝度目標値を設定し、前記選択された輝度値が前記輝度目標値になるように、前記カメラ部の露光制御値を求める構成を有している。この構成により、顔部品の輝度値に応じて目標値が適切に設定される。
【００１３】
また、本発明の撮像装置では、前記露光制御値決定部は、前記選択された輝度値が所定の閾値より大きい場合には、前記選択された輝度値が前記閾値より小さい場合に比べて、前記輝度目標値を小さい値に設定する構成を有している。この構成により、輝度値が大きい場合には目標値を小さくすることにより、すばやく短時間で適切な輝度値になるように露光制御が行われる。したがって、輝度が高すぎて測距精度が低い期間を短縮することができる。
【００１４】
また、本発明の撮像装置では、前記露光制御値決定部は、前記顔部品の輝度値が所定の飽和基準値より大きいことを示す飽和信号の有無に基づいて、前記カメラ部の露光制御値を求める頻度を制御する構成を有している。この構成により、飽和信号の有無に基づいて、適切なタイミングで露光制御値の決定が行われる。
【００１５】
また、本発明の撮像装置では、前記露光制御値決定部は、前記飽和信号が有の場合には、前記画像が撮影されるたびに前記カメラ部の露光制御値を求める構成を有している。この構成により、輝度の飽和が発生したときは直ちに露光制御値の演算を行うことにより、すばやく短時間で適切な輝度値になるように露光制御が行われる。したがって、輝度が高すぎて測距精度が低い期間を短縮することができる。
【００１６】
本発明の運転者監視装置は、少なくとも二つの光学系で被写体である運転者の画像をそれぞれ撮影するカメラ部と、前記カメラ部で撮影した画像から、前記運転者の顔部を構成する複数の顔部品を検出する顔部品検出部と、検出された前記複数の顔部品の輝度値を計算する顔部品輝度計算部と、前記複数の顔部品の輝度値に基づいて、前記カメラ部の露光制御値を求める露光制御値決定部と、前記露光制御値を用いて前記カメラ部で撮影した少なくとも二つの画像に基づいて、前記運転者の複数の顔部品の距離測定を行う測距部と、前記複数の顔部品の距離測定結果に基づいて、前記運転者の顔モデルを作成する顔モデル作成部と、作成された前記顔モデルに基づいて、前記運転者の顔向きを追跡する処理を行う顔追跡処理部と、を備えた構成を有している。この構成により、顔部品（目頭、目尻、唇端など）の輝度値に基づいて、露光制御値（絞り値、露光時間、利得など）が適切に求められる。このようにして、顔部品の輝度が適切になるように露光制御が行われるので、顔部品の視差を精度良く求めることができ、顔部品の距離を精度良く測定することができる。そして、顔部品の正確な距離を用いて顔向きを追跡するので、精度良く顔向きを追跡することができる。
【００１７】
本発明のる顔部測距方法は、少なくとも二つの光学系で同一の被写体の画像をそれぞれ撮影し、前記撮影した画像に含まれる顔部を構成する複数の顔部品を検出し、検出された前記複数の顔部品の輝度値を計算し、前記複数の顔部品の輝度値に基づいて、画像撮影のための露光制御値を求め、前記複数の顔部品の輝度値に基づいて、画像撮影のための露光制御値を補正し、補正された前記露光制御値を用いて撮影した少なくとも二つの画像に基づいて、前記顔部の距離測定を行う。この方法によっても、上記の撮像装置と同様に、顔部品の輝度が適切になるように露光制御が行われるので、顔部品の視差を精度良く求めることができ、顔部品の距離を精度良く測定することができる。
【発明の効果】
【００１８】
本発明は、顔部品の輝度に基づいて露光制御値を求める露光制御値決定部を設けることにより、顔部品の距離を精度良く測定することができるという効果を有する撮像装置を提供することができるものである。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態の撮像装置について、図面を用いて説明する。
【００２０】
（第１の実施の形態）
本発明の第１の実施の形態では、カメラ付き携帯電話機、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、立体画像入力カメラ等に用いられる撮像装置の場合を例示する。
【００２１】
まず、本実施の形態の撮像装置の構成を、図１〜図６を参照して説明する。図１は、本実施の形態の撮像装置の構成を示すブロック図である。図１に示すように、撮像装置１は、二つの光学系２（第１および第２の光学系２）を有するカメラ部３と、ＣＰＵやマイコンなどで構成される制御部４を備えている。
【００２２】
ここでは、まず、二つの光学系２の構成について説明する。第１の光学系２（図１では、上側の光学系２）は、第１の絞り５、第１のレンズ６、第１の撮像素子７、第１の回路部８を有しており、また、第２の光学系２（図１では、下側の光学系２）は、第２の絞り５、第２のレンズ６、第２の撮像素子７、および第２の顔路部を有している。そして、この二つの光学系２は、それぞれ同一の被写体の画像を撮影できるように構成されいる。
【００２３】
カメラ部３で同一の被写体を撮影した場合、第１の光学系２では、第１の絞り５を通過した第１のレンズ６への入射光が、第１の撮像素子７の撮像面上に結像され、第１の回路部８により撮像素子７からの電気信号に対してノイズ除去、利得制御、およびアナログ／デジタル変換などの処理が行われて、第１の画像として出力される。また、第２の光学系２でも同様に、第２の絞り５を通過した第２のレンズ６への入射光は第２の撮像素子７の撮像面上に結像され、第２の回路部８により撮像素子７からの電気信号に対してノイズ除去、利得制御、およびアナログ／デジタル変換などの処理が行われされ、第２の画像として出力される。
【００２４】
第１の画像および第２の画像は、制御部４に入力される。制御部４では、後述のように各種の処理が実行されて、第１の露光制御値および第２の露光制御値が出力される。この第１の露光制御値および第２の露光制御値は、カメラ部３に入力され、カメラ部３における露光制御に用いられる。なお、第１の画像および第２の画像は、外部にも出力される。
【００２５】
第１の露光制御値には、第１の絞り値、第１の露光時間、第１の利得が含まれており、第１の光学系２では、この第１の露光制御値に基づいて露光制御が行われる。すなわち、第１の光学系２では、第１の絞り値に基づいて第１の絞り５の開度が制御され、第１の露光時間に基づいて第１の撮像素子７の電子シャッターが制御され、第１の利得に基づいて第１の回路部８の利得が制御される。
【００２６】
また、第２の露光制御値には、第２の絞り値、第２の露光時間、第２の利得が含まれており、第２の光学系２では、この第２の露光制御値に基づいて露光制御が行われる。すなわち、第２の光学系２では、第２の絞り値に基づいて第２の絞り５の開度が制御され、第２の露光時間に基づいて第２の撮像素子７の電子シャッターが制御され、第２の利得に基づいて第２の回路部８の利得が制御される。
【００２７】
この場合、第１と第２の光学系２は、画像の水平方向に離れて配置されている。そのため、画像の水平方向に視差が発生する。また、第１の画像および第２の画像には、種々の補正（キャリブレーション）が施される。例えば、第１の画像および第２の画像には、シェーディングが補正され、光軸中心が画像の同一位置（例えば、画像中心）となるように補正され、光軸中心周りの歪みがないように補正され、倍率が補正され、視差が発生する方向が画像の水平方向になるように補正される。
【００２８】
つぎに、制御部４の構成について説明する。図１に示すように、制御部４は、カメラ部３で撮影した画像から複数の顔部品（目頭、目尻、唇端など）を検出する顔部品検出部９と、それらの顔部品の輝度を計算する顔部品輝度計算部１０と、複数の顔部品の輝度のうち最大の輝度値を選択する顔部品輝度選択部１１と、顔部品の輝度値に基づいて露光制御値を求める露光制御値決定部１２と、顔部品の輝度値が所定の飽和基準値より大きい場合に飽和信号を作成する飽和信号作成部１３を備えている。
【００２９】
また、制御部４は、第１の光学系２で撮影した画像から顔部を検出する第１の顔検出部１４と、その顔部の輝度値を計算する第１の顔輝度計算部１５と、第２の光学系２で撮影した画像から顔部を検出する第２の顔検出部１４と、その顔部の輝度値を計算する第２の顔輝度計算部１５と、これらの顔部の輝度値に基づいて露光制御値の補正を行う（その結果、後述するように、第１の露光制御値と第２の露光制御値が生成される）露光制御値補正部１６と、補正された露光制御値を用いてカメラ部３で撮影された画像に基づいて顔部の測距を行う測距部１７を備えている。この測距部１７は、顔部を構成する顔部品の測距を行う機能も備えている。そして、測定された顔部の距離（または顔部品の距離）は、外部に出力されるように構成されている。
【００３０】
ここで、制御部４の各構成のうち本発明に特徴的なものについて、図面を用いて詳しく説明する。図２は、顔部品検出部９における処理（顔部品検出処理）の一例を示す図である。図２では、カメラ部３（第１の光学系２）で撮影した人物の画像から６つの顔部品（図２で、斜線を付した領域）が検出されたときの例が示されている。この例では、「右目頭」付近の正方形領域が第１の顔部品ａ、「左目頭」付近の正方形領域が第２の顔部品ｂ、「右目尻」付近の正方形領域が第３の顔部品ｃ、「左目尻」付近の正方形領域が第４の顔部品ｄ、「右唇端」付近の正方形領域が第５の顔部品ｅ、「左唇端」付近の正方形領域が第６の顔部品ｆとして検出されている。この場合、汗などで濡れた額にライトの光が反射して高輝度領域Ｒが存在していたとしても、そのような領域（額付近の領域）は顔部品として検出されない。顔部品検出部９は、これらの顔部品ａ〜ｆの位置（顔部品位置ともいう）を、顔部品輝度計算部１０、飽和信号作成部１３および測距部１７に出力する。
【００３１】
なお、図２では、顔部品の数が６つである場合を例示したが、顔部品の数がこれに限定されないことは言うまでもない。また、ここでは、正方形の領域を顔部品としたが、顔部品の形状はこれに限定されるものではなく、例えば、長方形、三角形、台形などの他の形状や、顔部品を曲線で囲んだ形状などでもよい。
【００３２】
図３は、露光制御値決定部１２の構成を示すブロック図である。図３に示すように、露光制御値決定部１２は、目標値設定部１８と露光制御演算部１９から構成される。目的値設定部１８は、顔部品輝度選択部１１で選択された輝度値に基づいて輝度目標値を設定する機能を備えており、露光制御演算部１９は、顔部品輝度選択部１１で選択された輝度値が輝度目標値になるように露光制御値を決定する機能を備えている。なお、この露光制御値決定部１２の詳しい動作については、図面を用いて後述する。
【００３３】
図４は、顔検出部１４における処理（顔検出処理）の一例を示す図である。図４では、カメラ部３（第１の光学系２や第２の光学系２）で撮影した人物の画像から顔部が検出されたときの例が示されている。例えば、人物の顔すべてを含む大きな四角形（顔に外接する四角形など）の領域Ｘが顔部として検出される。この場合には、人物の顔から離れた部分にライトなどの高輝度領域Ｐが存在していたとしても、その高輝度領域Ｐを含まないような領域Ｘを顔部として検出することができる。また、人物の顔の一部を含む小さな四角形（顔に内接する四角形など）の領域Ｙを顔部として検出してもよい。この場合には、人物の顔の近くにライトなどの高輝度領域Ｑが存在していたとしても、その高輝度領域Ｑを含まないような領域Ｙを顔部として検出することができる。また、人物の顔の輪郭を検知し、顔の輪郭で囲まれた領域を顔部として検出してもよい。
【００３４】
図５は、露光制御値補正部１６の構成を示すブロック図である。図５に示すように、露光制御値補正部１６は、「第１の絞り値」および「第２の絞り値」として、補正前の絞り値（同一の絞り値）を出力するように構成されている。また、露光制御値補正部１６は、「第１の露光時間」および「第２の露光時間」として、補正前の露光時間（同一の露光時間）を出力するように構成されている。そして、この露光制御値補正部１６は、「第１の利得」として補正前の利得を出力し、また、「第２の利得」として、第１の顔輝度から第２の顔輝度を減算し、その減算結果を比例積分制御した結果をオフセットとして求めて、このオフセットを補正前の利得に加算した結果を出力するように構成されている。
【００３５】
図６は、測距部１７におけるブロックマッチング処理の一例を示す図である。図６に示すように、測距部１７では、第１の画像上の顔部品（例えば、第１の顔部品ａ）が示す領域をテンプレートとして、第２の画像上の対応する位置（例えば、第１の顔部品ａに対応する位置ｍ）から水平方向（視差が発生する方向）に所定の位置ｎまで１画素づつずらしながら、ブロックマッチングを行う。そして、類似度が最も高いずらし量を第１の視差Δ１とする。さらに、三角測量の原理を用いて下記の式１を用いて、第１の距離Ｌ１を求める。
Ｌ＝（ｆ×Ｂ）／（ｐ×Δ） （式１）
【００３６】
この式１において、Ｌは被写体の距離である。また、ｆは第１のレンズ６の焦点距離であり、Ｂは第１と第２の光学系２の光軸間の距離である。また、ｐは撮像素子７の画素の水平方向の間隔であり、Δは視差である。視差Δの単位は、撮像素子７の画素の水平方向の間隔である。
【００３７】
同様にして、第２の顔部品ｂ、第３の顔部品ｃ、第４の顔部品ｄ、第５の顔部品ｅ、第６の顔部品ｆについても、ブロックマッチングを行って、それぞれ第２の視差Δ２、第３の視差Δ３、第４の視差Δ４、第５の視差Δ５、第６の視差Δ６を求める。そして、式１を用いて、それぞれ第２の距離Ｌ２、第３の距離Ｌ３、第４の距離Ｌ４、第５の距離Ｌ５、第６の距離Ｌ６を求める。
【００３８】
以上のように構成された第１の実施の形態の撮像装置１について、図７および図８を用いてその動作を説明する。
【００３９】
図７は、撮像装置１を用いて測距を行うときの制御部４の動作の流れを示すフロー図である。この撮像装置１は、上位装置（例えば、この撮像装置１を用いた運転者監視装置など）やユーザからの命令等によって動作が開始される（Ｓ１０）。
【００４０】
制御部４では、まず、カメラ部３によって撮影した画像の読み込みが行われる（Ｓ１１）。この場合、第１の光学系２から第１の画像が読み込まれ、第２の光学系２から第２の画像が読み込まれる。読み込んだ画像は、適宜、ＲＡＭ（Random Read Memory）などに一時的に保存される。
【００４１】
次に、顔部品検出部９に、第１の画像が入力され、顔部品が検出される（Ｓ１２）。そして、顔部品検出部９から、検出した顔部品の位置が出力される。例えば、図２のように、６つの顔部品ａ〜ｆの位置が出力される。顔部品輝度計算部１０には、第１の画像と顔部品の位置が入力され、ぞれぞれの顔部品の輝度平均が計算される（Ｓ１３）。そして、顔部品輝度計算部１０から、顔部品の輝度値（例えば、顔部品ａ〜ｆのそれぞれの平均輝度値）が出力される。
【００４２】
顔部品輝度選択部１１に、顔部品の輝度値（顔部品ａ〜ｆの輝度値）が入力されると、その中から最大の輝度値が選択される（Ｓ１４）。なお、この顔部品輝度選択部１１では、左右対称の顔部品（例えば、右唇端と左唇端：顔部品ｅおよびｆ）の輝度値の差が大きい場合には、それらの顔部品を除いた他の顔部品（例えば、顔部品ａ〜ｄ）の輝度値の中から最大の輝度値が選択されてもよい。顔部品輝度選択部１１で選択された輝度値は、露光制御値決定部１２に出力される。
【００４３】
飽和信号作成部１３には、第１の画像と顔部品の位置が入力され、飽和が発生しているか否かを示す飽和信号が生成される（Ｓ１５）。例えば、６つの顔部品ａ〜ｆのいずれかの領域で飽和が発生していた場合には、飽和の発生「有」を示す飽和信号Ｈが生成され、顔部品ａ〜ｆのいずれかの領域でも飽和が発生していなかった場合には、飽和の発生「無」を示す飽和信号Ｌが生成される。そして、飽和信号作成部１３で作成された飽和信号は、露光制御値決定部１２に出力される。
【００４４】
そして、露光制御値決定部１２には、選択された輝度値と飽和信号が入力され、カメラ部３の露光制御値（補正前の露光制御値：補正前の絞り値、補正前の露光時間、補正前の利得）が求められる（Ｓ１６）。
【００４５】
ここで、図８を参照して、露光制御値決定部１２の動作を詳しく説明する。図８は、露光制御値決定部１２における処理の流れを示すフロー図である。図８に示すように、露光制御値決定部１２の動作が開始されると（Ｓ１６１）、飽和信号がＬ（飽和の発生「無」）であるか否かの判断が行われる（Ｓ１６２）。
【００４６】
飽和信号がＨ（飽和の発生「有」）であった場合には、カウンタＮの値を「０」に初期化する（Ｓ１６３）。一方、飽和信号がＬ（飽和の発生「無」）であった場合には、カウンタＮの初期化は行わない。
【００４７】
次に、カウンタＮの値が「０」であるか否かの判定が行われる（Ｓ１６４）。カウンタの値が「０」であった場合には、露光演算の処理が行われる。具体的には、まず、目標値設定部１８で、選択された輝度値に基づいて、輝度目標値が設定される（Ｓ１６５）。例えば、選択された輝度値が所定の閾値未満である場合には、輝度目標値を第１の目標値（所定の目標値）に設定する。一方、選択された輝度値が閾値以上である場合には、輝度目標値を第２の目標値（第１の目標値より小さい目標値）に設定する。
【００４８】
そして、露光制御演算部１９において、選択された輝度値と輝度目標値に基づいて、露光制御値（補正前の露光制御値）が決定される。例えば、選択された輝度値が輝度目標値になるように、露光制御値（補正前の絞り値、補正前の露光時間、補正前の利得）が決定され、露光制御値決定部１２から出力される。一方、ステップＳ１６４において、カウンタの値が「０」でなかった場合には、上記の露光演算の処理（ステップＳ１６５、Ｓ１６６）は行われない。この場合には、前回出力した露光制御値と同じ露光制御値が、露光制御値決定部１２から出力される。
【００４９】
最後に、カウンタＮに「１」を加算して「４」で除算したときの剰余を、新たなカウンタＮに設定し（Ｓ１６８）、露光制御値決定部１２は動作を終了する（Ｓ１６９）。
【００５０】
なお、ここでは、ステップＳ１６８において、カウンタＮに「１」を加算して「４」で除算したときの剰余を取り、ステップＳ１６４において、カウンタＮが「０」かどうかを判断し、カウンタＮが「０」のときのみ、露光演算の処理（ステップＳ１６５、Ｓ１６６）を実行する場合を例示した。つまり、画像読込みの４回に１回だけ露光演算の処理（目標値設定、露光制御演算）が行われる場合を例示した。
【００５１】
しかし、本発明の範囲はこれに限定されるものではなく、例えば、ステップＳ１６８で「３」で除算してもよく、また、除算の数値を適宜変更してもよい。このように、数回（例えば４回）に１回だけ露光演算を行うことにより、毎回演算を行うときと比較して、撮像装置１全体での演算時間を短縮することができる。そして、除算の数値が大きいほど、撮像装置１全体での演算時間が短縮される。したがって、露光制御値（露光時間など）の設定から、その露光制御値（露光時間など）が反映された画像を取り込むまでにある程度の待機時間が必要な場合には、除算の数値を変更することにより、待機時間を適宜調整することができる。
【００５２】
また、この場合、ステップＳ１６２において飽和信号３９がＨのとき（飽和の発生が「有」のとき）、ステップＳ１６３においてカウンタＮが０に初期化され、ステップＳ１６４においてカウンタＮが０であると判断され、露光演算の処理（ステップＳ１６５、Ｓ１６６）が実行される。これにより、飽和信号がＨときは（飽和の発生が「有」のときは）、目標値設定（ステップＳ１６５）および露光制御演算（ステップＳ１６６）が、必ず実行される。なお、被写体の明るさが変化しない場合には、露光制御値（露光時間など）が反映された画像を取り込むまで飽和信号の状態が変化しないため（飽和信号がＨのままであるため）、ステップＳ１６２の処理を省略してもよい。なお、ここでは、飽和の発生が「有」のときに露光制御演算が常に行われる場合を例示したが、本発明の範囲はこれに限定されるものではなく、例えば、飽和の発生が「有」のときにＮ＝０に初期化したのち３回だけ露光制御演算を止めてもよい。
【００５３】
図７に戻って、制御部４の動作の説明を続ける。第１の顔検出部１４には、第１の画像が入力され、その画像の中から第１の顔部を検出する処理が行われる（Ｓ１７）。そして、第１の顔検出部１４から、第１の顔部の位置が出力される。例えば、図４のように、顔部の領域Ｙの位置が出力される。第１の顔輝度計算部１５には、第１の画像と第１の顔部の位置が入力され、第１の顔部（例えば領域Ｙ）の輝度平均が計算される（Ｓ１８）。そして、第１の顔輝度計算部１５から、第１の顔部の輝度値（領域Ｙの平均輝度値）が出力される。
【００５４】
同様に、第２の顔検出部１４には、第２の画像が入力され、その画像の中から第２の顔部を検出する処理が行われる（Ｓ１９）。そして、第２の顔検出部１４から、第２の顔部の位置が出力される。第２の顔輝度計算部１５には、第２の画像と第２の顔部の位置が入力され、第２の顔部の輝度平均が計算される（Ｓ２０）。そして、第２の顔輝度計算部１５から、第２の顔部の輝度値が出力される。
【００５５】
露光制御値補正部１６には、露光制御値決定部１２で求めた露光制御値（補正前の露光制御値）、第１の顔部の輝度値、第２の顔部の輝度値が入力され、露光制御値の補正が行われて、補正後の露光制御値（第１の露光制御値と第２の露光制御値）が出力される（Ｓ２１）。例えば、第１の露光制御値として、補正前と同一の露光制御値（絞り値、露光時間、利得）が出力され、第２の露光制御値として、補正前と同一の絞り値、補正前と同一の露光時間、補正前の利得にオフセットを加算した利得が出力される。
【００５６】
そして、測距部１７には、補正後の露光制御値を用いて撮影した画像（第１の画像、第２の画像）とその画像から検出した顔部品の位置（例えば、６つの顔部品ａ〜ｆの位置）が入力され、それらの顔部品の測距が行われる（Ｓ２２）。そして、測距部１７からは、それらの顔部品（例えば、６つの顔部品ａ〜ｆ）の距離が出力される。
【００５７】
最後に、制御部４では、動作を終了するか否かの判断が行われ（Ｓ２３）、終了すると判断されたときには、制御部４は、動作を終了する（Ｓ２４）。
【００５８】
このような第１の実施の形態の撮像装置１によれば、以下のような作用効果が奏される。すなわち、本実施の形態の撮像装置１では、画像から顔部品を検知し、それぞれの顔部品の輝度平均を求め、その中で最も大きいものに基づき露光制御を行うことにより、顔部品を適切な輝度とし、顔部品の正確な視差を求め、それゆえ顔部品の正確な距離を求めることができる。
【００５９】
また、本実施の形態の撮像装置１では、２つの光学系２により撮像された画像から顔部を検知し、それぞれ２つの光学系２に対する顔部の平均輝度を求め、両者が同一となるように、それぞれの光学系２の利得を制御する。このようにして、顔部において、２つの光学系２の輝度を同一とするため、顔部を正確にブロックマッチングでき、顔部の正確な視差を求めることができ、それゆえ顔部を正確に測距できる。
【００６０】
具体的には、第１の実施の形態の撮像装置１は、顔部品検出部９により顔位置に関する情報である顔部品位置を認識し、顔部品輝度計算部１０により顔部品位置に基づき顔部品輝度を演算し、露光制御値決定部１２が顔部品輝度に基づき作成された顔部品輝度選択値を用いて露光制御を行い、測距部１７が第１の画像と第２の画像とに基づき顔部の一部である顔部品位置の距離を作成する。
【００６１】
これにより、画像内の顔位置以外に高輝度箇所（例えば、図４の高輝度領域Ｐ）があっても、顔部の輝度を適切に制御できる。一方、従来の撮像装置では、あらかじめ領域を分割して、顔が含まれる領域を検知するため、顔近傍に高輝度領域が含まれると、この高輝度領域を含んだ輝度の情報に基づいて露光制御することになり、顔部の輝度が過小になってしまい（Ｓ／Ｎ比が小さくなってしまい）、視差精度が低く、測距精度が低下してしまう。これに対して、本実施の形態では、顔部の輝度が過大にならず（飽和することなく）、また、顔部の輝度が過小にならないため（Ｓ／Ｎ比が大きいため）、視差精度が高くなり、測距精度が向上する。
【００６２】
しかも、本実施の形態では、顔位置以外の高輝度箇所が１箇所だけでなく、複数の高輝度領域（例えば、図４の高輝度領域ＰとＱ）があっても、顔位置の輝度に基づき露光制御することにより、顔位置の輝度を適切に制御できる。さらに、それら複数の高輝度箇所の輝度が異なっていても、また、高輝度箇所が顔の近傍にあっても、顔位置の輝度に基づき露光制御することにより、顔位置の輝度を適切に制御できる。
【００６３】
また、第１の実施の形態に係る撮像装置１では、顔部品検出部９により顔部品の位置を認識し、顔部品輝度計算部１０により顔部品の輝度を演算し、露光制御値決定部１２がその中から選択した顔部品の輝度を用いて露光制御を行い、測距部１７が第１の画像と第２の画像とに基づき顔部品の距離を求める。
【００６４】
これにより、顔部の領域の中で測距に利用しない高輝度箇所（例えば、図２の高輝度領域Ｒ）があっても、顔部品の領域の輝度に基づき露光制御するため、顔部品の輝度を適切に制御できる。一方、従来の撮像装置では、あらかじめ領域を分割して、顔が含まれる領域を検知するため、顔部の領域の中で測距に利用しない高輝度箇所があると、この高輝度領域を含んだ輝度の情報に基づいて露光制御することになり、顔位置の輝度が過小になってしまい（Ｓ／Ｎ比が小さくなってしまい）、視差精度が低く、測距精度が低下してしまう。これに対して、本実施の形態では、顔部品の位置の輝度が過大にならず（飽和することなく）、顔部品の輝度が過小にならないため（Ｓ／Ｎ比が大きいため）、視差精度が高く、測距精度が向上する。
【００６５】
さらに、露光調整のための輝度を求める領域と距離を求める領域とが同一の顔部品領域であり、それぞれの領域を個別に検知する必要がない。そのため、その分だけ領域検知に要する演算時間を短縮でき、高速に（短時間で）測距することができる。また、この領域検知の処理は、同一の演算器で実行することができるので、その分だけ（演算器の共通化の分だけ）装置のコストを削減することができる。
【００６６】
また、第１の実施の形態に係る撮像装置１では、顔部品検出部９により顔部品の位置を認識し、顔部品輝度計算部１０により顔部品の輝度を演算し、顔部品輝度選択部１１により顔部品の輝度値のうち一番大きい輝度値を選択し、露光制御値決定部１２がその選択された輝度値を用いて露光制御を行い、測距部１７が第１の画像と第２の画像に基づき顔部品の距離を求める。
【００６７】
これにより、顔部品の輝度値の最大値を用いて露光制御するため、照明条件が変化しても常に顔部品の輝度を適切に制御できる。この点について、以下、図９を参照して詳しく説明する。
【００６８】
図９は、第１の実施の形態の撮像装置１において、照明条件を変えたときの顔全体の輝度平均と顔部品の輝度平均の一例を示す表である。図９に示すように、条件１Ａおよび１Ｂは、本実施の形態の撮像装置１を用いたときの輝度平均であり、条件２Ａ条件２Ｂは、従来の撮像装置を用いたときの輝度平均（比較例１とする）である。
【００６９】
条件１Ａおよび条件２Ａは、人物のほぼ前面から照明が照射されたときの輝度平均を示している。このとき、人物の右側にある顔部品（例えば、右目頭ａ、右目尻ｃ、右唇端ｅ）の輝度と、左側にある顔部品（例えば、左目頭ｂ、左目尻ｄ、左唇端ｆ）の輝度の差は小さい。一方、条件１Ｂおよび条件２Ｂは、人物の左側から照明が照射されたときの輝度平均を示している。このときには、人物の右側にある顔部品の輝度に比べて、左側にある顔部品の輝度が大きくなる。
【００７０】
第１の実施の形態の撮像装置１を用いたときの輝度平均は、輝度目標値が顔部品ａ〜ｆの輝度値の最大値（図９で、丸印で囲まれた数値「１３０」）に設定される。つまり、条件１Ａおよび条件１Ｂのいずれの場合でも、顔部品の最大輝度が「１３０」になるように制御される。一方、比較例１では、輝度目標値が顔全体の平均輝度（図９で、丸印で囲まれた数値「５０」）に設定される。つまり、条件２Ａおよび条件２Ｂのいずれの場合でも、顔全体の平均輝度が「５０」になるように制御される。この場合、条件１Ｂと条件２Ｂ（左側からの照明）では、同じような露光制御が行われるが、条件１Ａと条件１Ｂ（正面からの照明）を比べると、本実施の形態のほうが比較例１より輝度平均が大きく（Ｓ／Ｎ比が大きく）、視差精度が高く、測距精度が向上している。
【００７１】
ここで、比較例１において単に輝度目標値を大きくすることも考えられる。条件３Ａおよび条件３Ｂは、単に輝度目標値を大きくした（輝度目標値を「１０６」にした）ときの輝度平均（比較例２という）を示している。この比較例２の場合、条件３Ａ（正面からの照明）では、適切に輝度を高めることができるが、条件３Ｂ（左側からの照明）では、輝度が過大になり（飽和が発生し）、視差精度が低く、測距精度が低下してしまう。これに対して、本実施の形態では、照明の条件が変わっても（正面からの照明であっても、側面からの照明であっても）、常に、顔部品の輝度が適切に保たれる。
【００７２】
なお、ヒストグラムなどを用いることにより、従来の撮像装置で平均輝度を用いるものと比べて改善を図ることも考えられる。しかし、ヒストグラム演算は複雑である。したがって、ヒストグラムを利用した場合と比較して、第１の実施の形態のように平均輝度を用いた場合のほうが演算時間を短縮することができる。
【００７３】
また、第１の実施の形態に係る撮像装置１では、第１の顔検出部１４が第１の画像上の第１の顔領域を検知し第１の顔位置を作成し、第１の顔輝度計算部１５が第１の顔輝度を演算し、第２の顔検出部１４が第２の画像上の顔領域を検知し第２の顔位置を作成し、第２の顔輝度計算部１５が第２の顔輝度を演算し、第１の顔輝度と第２の顔輝度とが同一となるように、第１の利得を補正前利得に保ちつつ、補正前利得にオフセットを加算したものを第２の利得とする。
【００７４】
これにより、第１の光学系２で撮像される第１の画像と第２の光学系２で撮像される第２の画像とで同一の被写体における輝度を同一とすることにより、正確にブロックマッチングを行うことができ、正確に視差演算し、正確に距離演算することができる。第１の画像と第２の画像との輝度の違いの原因として、光学系２のばらつき、撮像素子７のばらつき、回路部８（利得器）のばらつき、アナログデジタル変換器のばらつきなどがある。本実施の形態の撮像装置１では、製造時に測定を行いオフセットを作成し、オフセットを加算したものを第２の利得とすることにより、これらのばらつきの影響を低減できる。
【００７５】
ところで、第１の画像１６と第２の画像２６との輝度の違いの原因として、回路部８（利得器）などが温度特性を持ち、第１と第２の光学系２の温度が異なることにより利得が異なることが考えられる。また、光学系２の経年変化、撮像素子７の経年変化、利得器の経年変化、アナログデジタル変換器の経年変化などの原因により、輝度が異なることが考えられる。このような場合、第１の実施の形態の撮像装置１によれば、第１の画像と第２の画像との輝度の違いを補償することにより、正確にブロックマッチングを行い、正確に視差演算し、正確に距離演算することができる。
【００７６】
なお、第１の実施の形態では、露光制御量（絞り値、露光時間、利得）のうち、第２の利得を補正し、第１の画像と第２の画像との輝度の違いを補償することにより、正確にブロックマッチングを行い、正確に視差演算し、正確に距離演算を行う。ここで、利得に代えて、絞り値や露光時間を変化させても同様に第１の画像と第２の画像との輝度の違いを補償でき、正確にブロックマッチングを行い、正確に視差演算し、正確に距離演算を行うことができる。ただし、第１のカメラ部と第２のカメラ部とで絞り値が異なるとき、第１のカメラ部と第２のカメラ部との焦点深度が異なり、第１の画像と第２の画像とのぼけ具合が異なるため、ブロックマッチングにおいて精度悪化の原因となる。また、第１のカメラ部と第２のカメラ部とで露光時間が異なり、被写体が高速に移動するとき、第１のカメラ部と第２のカメラ部とで露光される長さが異なり、第１の画像と第２の画像との被写体ぶれ具合が異なるため、ブロックマッチングにおいて精度悪化の原因となる。そのため、露光制御量（絞り値、露光時間、利得）のうち、利得を補正することにより、第１の画像と第２の画像との輝度の違いを補償することが望ましい。
【００７７】
なお、本実施の形態では、顔部品輝度選択部１１が顔部品の輝度値の中で最も大きい輝度値を選択し、露光制御値決定部１２がその選択された輝度値に基づき露光制御を行う例について説明したが、本発明の範囲はこれに限定されるものではない。例えば、顔部品輝度選択部１１は、左右一対の顔部品の輝度値の中で左右の差が大きいものを省き、残りの顔部品輝度値のうち一番大きい顔部品の輝度値を選択し、露光制御値決定部１２がこの選択された顔部品の輝度値に基づき露光制御してもよい。
【００７８】
図１０は、顔部品の輝度を選択するときの変形例を示す図である。条件４Ａおよび条件４Ｂは、変形例の輝度平均を示しており、条件４Ａは、人物のほぼ前面から照明が照射されたときの輝度平均を示し、条件４Ｂは、人物の左側から照明が照射されたときの輝度平均を示している。条件４Ａでは、左右一対の顔部品の輝度値の中で左右の差が大きい組がないため、第１の実施の形態と同様（条件１Ａと同様）、顔部品の輝度の最大値が１３０（丸で囲まれた数値）になるように制御される。一方、条件４Ｂでは、左右一対の顔部品の輝度値の中に左右の差が大きい組があるため、これらの組が除かれる。この例では、第３の顔部品ｃと第４の顔部品ｄの輝度の組（×が書かれた数値）と、第５の顔部品ｅと第６の顔部品ｆの輝度の組（×が書かれた数値）が除かれて、残りの顔部品ａと第２の顔部品ｂの輝度のうちの最大の輝度値が選択され、顔部品の輝度が１３０（第２の顔部品ｂの輝度値、丸で囲まれた数値）になるように制御される。このように、左右の輝度差が大きい顔部品の組を省いて、残りの顔部品の輝度値を用いて測距を行うことにより、露光時間が長くなり、輝度が大きくなる。これにより、信頼性の高い顔部品（左右の輝度差の小さい顔部品）の輝度値を適切に大きくすることができ、それらの顔部品の測距の精度を向上できる。
【００７９】
また、第１の実施の形態の撮像装置１では、露光制御値決定部１２において、目標値設定部１８が第１の画像から選択された顔部品の輝度値に応じて目標値を設定し、露光制御演算部１９が顔部品の輝度値を目標値に一致するように露光制御値（補正前の露光制御値）を決定する。ここで、目標値設定部１８は、選択された輝度値が所定の閾値未満の場合には、目標値を所定の第１の目標値に設定し、また、選択された輝度値が所定の閾値以上の場合には、目標値を所定の第２の目標値（第１の目標値より小さい）に設定する。これにより、輝度が大きくいときは目標値を小さくして、すばやく輝度値を適切に調整でき、視差演算精度が低い期間を短縮でき、測距精度が低い期間を短縮できる。そのため、より長い期間だけ、精度良く視差演算でき、精度良く距離演算できる。
【００８０】
また、第１の実施の形態の撮像装置１では、飽和信号作成部１３が第１の画像に基づき顔部品位置に飽和箇所があるかどうかを示す飽和信号を作成し、露光制御値決定部１２は、選択された顔部品の輝度値と飽和信号とに基づいて露光制御値（補正前の露光制御値）を決定する。そして、この露光制御値決定部１２は、飽和信号がＬのときは（飽和が発生していないときは）、画像を４枚だけ取り込む毎に露光制御演算を行い、飽和信号がＨのときは（飽和が発生しているときは）、カウンタＮを０に初期化し、直ちに露光処理演算行う。これにより、飽和が発生したときは直ちに露光制御演算を行って、すばやく輝度値を適切に調整することができ、輝度が高く測距精度が低い期間を短縮でき、測距精度が低い期間を短縮できる。そのため、より長い期間だけ、精度良く視差演算でき、精度良く距離演算できる。
【００８１】
なお、第１の実施の形態の撮像装置１では、第１の光学系２が、第１の絞り値、第１の露光時間、第１の利得に基づき撮影を行い、第２の光学系２が、第２の絞り値、第２の露光時間、第２の利得に基づき撮像を行う例について説明したが、これらの露光制御値のうちいくつかは固定されていてもよい。また、絞り値を変化させる機構を持たない光学系２であってもよい。
【００８２】
また、第１の実施の形態の撮像装置１では、第２の画像から第２の顔位置を作成した例について説明したが、第１の顔位置から視差分だけずらした位置を第２の顔位置としてもよい。この視差は逐次演算してもよい。また、被写体の距離がほぼ一定しているものとして、この視差は一定の値であってもよい。
【００８３】
（第２の実施の形態）
本発明の第２の実施の形態では、脇見運転や居眠運転の検知システム等に用いられる運転者監視装置の場合を例示する。
【００８４】
まず、本実施の形態の運転者監視装置の構成を、図１１〜図１３を参照して説明する。図１１は、運転者監視装置の概略図であり、図１２は、運転者監視装置の正面図である。図１１および図１２に示すように、運転者監視装置２０のカメラユニット２１は、ステアリングホイール２２を支持するステアリングコラム２３の上に取り付けられており、このカメラユニット２１は、運転者の画像を正面から撮影できるように配置されている。この場合、カメラユニット２１は、第１の実施の形態の撮像装置１と、運転者を照射する複数の補助照明２４（近赤外のＬＥＤ等）から構成されている。そして、撮像装置１からの出力は、電子制御ユニット２５に入力されるように構成されている。
【００８５】
図１３は、運転者監視装置２０の構成を説明するためのブロック図である。上述のように、運転監視装置は、カメラユニット２１と電子制御ユニット２５で構成されており、カメラユニット２１は、撮像装置１と補助照明２４を備えている。電子制御ユニット２５は、撮像装置１から入力される画像と距離に基づいて複数の顔部品特徴点の３次元位置を演算する顔モデル作成部２６と、運転者の顔向きを順次撮影された画像から逐次的に推定する顔追跡処理部２７と、顔モデル作成部２６と顔追跡処理部２７との処理結果より運転者の顔向きを判定する顔向き判定部２８を備えている。また、この電子制御ユニット２５は、撮影条件等を含めて撮像装置１の動作を全体的に制御する全体制御部２９と、この全体制御部２９の制御結果に基づいて補助照明２４の発光を制御する照明発光制御部３０を備えている。
【００８６】
以上のように構成された運転者監視装置２０について、図１４を用いてその動作を説明する。
【００８７】
本実施の形態の運転者監視装置２０では、まず、電子制御ユニット２５の全体制御部２９から撮像装置１へ撮影を許可する信号が出力され（Ｓ２００）、その信号に基づいて撮像装置１が、運転者を正面から約２５度見上げた角度で正面画像を取得する（Ｓ２０１）。また、その信号に同期して、照明発光制御部３０によって補助照明２４が制御され、運転者に近赤外光を一定時間照射する。例えば３０フレームの期間、撮像装置１により運転者を撮影した画像と距離が取得され、顔モデル作成演算回路に入力される（Ｓ２０２）。顔モデル作成演算回路は、取得した距離から複数の顔部品の３次元位置を演算によって求める（Ｓ２０３）。このようにして、演算により得られた複数の顔部品の３次元位置情報と、３次元位置情報を取得した顔部品の周辺の画像を同時に取得する（Ｓ２０４）。
【００８８】
顔追跡処理部２７では、パーティクルフィルタを用いて運転者の顔向きを逐次的に推定する（Ｓ２０５）。例えば、１フレーム前の顔の位置からある方向に顔が動いたと予測する。そして、顔モデル作成部２６で取得した顔部品の３次元位置情報をもとに、予測した動きによる顔部品が移動した位置を推定し、その推定した位置での現在の取得画像と、顔モデル作成部２６で取得済みの顔部品の周辺の画像とをテンプレートマッチングにより相関をとる。１フレーム前の顔向きの確率密度や運動履歴にもとづいて、現在の顔向きを複数パターン予測し、その予測パターンごとに上述と同様にテンプレートマッチングによる相関値を得る。
【００８９】
顔向き判定部２８は、推定した顔の向きと、その顔向きでのパターンマッチングの相関値より現在の顔向きを判定し、外部に出力する（Ｓ２０６）。これにより、例えば、車両情報や車両周辺情報をもとに、運転者の脇見等を判定し、運転者に対し警報等を発し、注意を喚起させることが可能となる。
【００９０】
なお、顔向き判定部２８は、運転者が大きく顔を振った場合など、取得済みのテンプレートマッチングの元画像と現在の画像が異なる等の理由によってパターンマッチングの相関値より正しく顔向きを判定できないと判断された場合には、その時点での顔部品の３次元位置情報と、テンプレートマッチングの元画像となるその周辺画像を取得し直し、上記と同様の処理を行って運転者の顔向きを判定する。
【００９１】
このような第２の実施の形態の運転者監視装置２０によれば、適切な輝度とし、正確な視差を求め、それゆえ正確な距離を求めることができる撮像装置１を用いて顔向きを検知する。そして、この正確な距離を用いて顔向きを検知するため、正確に顔向きを検知できる。
【００９２】
運転者監視装置２０において顔向きを検知するときには、目などの顔部品の距離情報が必要であるが、額などの距離情報は不要である。このとき、従来の装置では、顔部の他にライトなどの高輝度被写体が含まれないときであっても、顔部の一部、例えば、額に反射などの高輝度部があると、その高輝度部の分だけ露光時間が短くなり、それゆえ、目などの顔部品において、輝度が小さく（Ｓ／Ｎ比が小さく）、視差の精度が低くなり、測距精度が低下する。そのため、この測距結果を用いて運転者監視装置２０で行う顔向き検知の精度は低くなってしまう。
【００９３】
これに対して、第２の実施の形態の運転者監視装置２０では、第１の実施の形態の撮像装置１から、正確な画像と距離を取得する。そして、顔モデル作成部２６が距離に基づき顔モデルを作成し、顔追跡処理部２７が顔モデルと所定の時間間隔で運転者の顔を順次撮影された画像とから顔向きを逐次的に推定する。これにより、顔部の輝度を適切に制御し、精度良く視差演算して、精度良く距離演算した画像と距離を用いて顔向きを検知するので、精度良く運転さの顔向きを検知することができる。
【００９４】
なお、第２の実施の形態の運転者監視装置２０では、運転者を照射する補助照明２４を撮像装置１の近傍に配置した例について説明したが、補助照明２４の配置位置はこの例に限らず、運転者を照射できる位置であれば、設置位置は問わない。
【００９５】
また、第２の実施の形態の運転者監視装置２０では、顔向き判定の結果を脇見判定に使用した例について説明したが、本発明の範囲はこれに限定されるものではない。例えば、取得した画像から黒目の３次元位置を検出して、視線方向を検出することも可能であり、また、様々な運転支援システムへ顔向き判定結果、視線方向判定結果を利用することも可能である。
【００９６】
また、第２の実施の形態の運転者監視装置２０では、撮像装置１が顔部品検知と測距を行い、電子制御ユニット２５において顔向きを検知したが、これらの機能の分担はこれに限定されない。例えば、電子制御ユニット２５が顔部品検知と測距を行ってもよい。また、撮像装置１の機能の一部を、電子制御ユニット２５が持っていてもよい。
【００９７】
以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。
【産業上の利用可能性】
【００９８】
以上のように、本発明にかかる撮像装置は、顔部品の距離を精度良く測定することができるという効果を有し、運転者の顔向きを検知する運転者監視装置等に用いられ、有用である。
【図面の簡単な説明】
【００９９】
【図１】第１の実施の形態における撮像装置の構成を示すブロック図
【図２】顔部品検出部における処理（顔部品検出処理）の説明図
【図３】露光制御値決定部の構成を示すブロック図
【図４】顔検出部における処理（顔検出処理）の説明図
【図５】露光制御値補正部の構成を示すブロック図
【図６】測距部におけるブロックマッチング処理の説明図
【図７】第１の実施の形態における撮像装置の動作を説明するためのフロー図
【図８】露光制御の動作を説明するためのフロー図
【図９】第１の実施の形態において照明条件を変えたときの顔全体の輝度平均と顔部品の輝度の一例を示す図
【図１０】顔部品の輝度を選択するときの変形例を（第１の実施の形態と比較して）示す図
【図１１】第２の実施の形態における運転者監視装置の一例を示す概略図
【図１２】運転者監視装置の正面図
【図１３】運転者監視装置の構成を示すブロック図
【図１４】第２の実施の形態における運転者監視装置の動作を説明するためのフロー図
【符号の説明】
【０１００】
１ 撮像装置
２ 光学系
３ カメラ部
４ 制御部
９ 顔部品検出部
１０ 顔部品輝度計算部
１１ 顔部品輝度選択部
１２ 露光制御値決定部
１３ 飽和信号作成部
１４ 顔検出部
１５ 顔輝度計算部
１６ 露光制御値補正部
１７ 測距部
１８ 目標値設定部
１９ 露光制御演算部
２０ 運転者監視装置
２１ カメラユニット
２５ 電子制御ユニット
２６ 顔モデル作成部
２７ 顔追跡処理部
２８ 顔向き判定部
【特許請求の範囲】
【請求項１】
少なくとも二つの光学系で同一の被写体の画像をそれぞれ撮影するカメラ部と、
前記カメラ部で撮影した画像から、前記画像に含まれる顔部を構成する複数の顔部品を検出する顔部品検出部と、
検出された前記複数の顔部品の輝度値を計算する顔部品輝度計算部と、
前記複数の顔部品の輝度値に基づいて、前記カメラ部の露光制御値を求める露光制御値決定部と、
補正された前記露光制御値を用いて前記カメラ部で撮影した少なくとも二つの画像に基づいて、前記複数の顔部品の距離測定を行う測距部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記露光制御値決定部は、前記複数の顔部品の輝度値のうちの最大の輝度値が所定の輝度目標値になるように、前記カメラ部の露光制御値を求める請求項１に記載の撮像装置。
【請求項３】
前記露光制御値決定部は、前記複数の顔部品のうち対称的に配置された一対の顔部品の輝度値の差が所定の閾値より大きい場合には、前記一対の顔部品を除いた他の顔部品のうちの最大の輝度値が輝度目標値になるように、前記カメラ部の露光制御値を求める請求項１に記載の撮像装置。
【請求項４】
前記カメラ部で撮影した画像に含まれる顔部を検出する顔検出部と、
検出された前記顔部の輝度値を計算する顔輝度計算部と、
前記顔部の輝度値に基づいて、前記カメラ部の露光制御値を補正する露光制御値補正部と、を備え、
前記露光制御値補正部は、前記カメラ部で撮影した少なくとも二つの画像に含まれる顔部品の輝度値が同一になるように、前記カメラ部の露光制御値を補正する請求項１ないし請求項３のいずれかに記載の撮像装置。
【請求項５】
前記露光制御値には、絞り値と露光時間と利得とが含まれており、
前記露光制御値補正部は、前記二つの光学系のそれぞれの前記絞り値と前記露光時間とを同一とし、前記二つの画像に含まれる顔部品の輝度値が同一となるように前記二つの光学系のそれぞれの前記利得を補正する請求項４に記載の撮像装置。
【請求項６】
前記露光制御値決定部は、前記複数の顔部品の輝度値から選択された輝度値に応じた輝度目標値を設定し、前記選択された輝度値が前記輝度目標値になるように、前記カメラ部の露光制御値を求める請求項１ないし請求項５のいずれかに記載の撮像装置。
【請求項７】
前記露光制御値決定部は、前記選択された輝度値が所定の閾値より大きい場合には、前記選択された輝度値が前記閾値より小さい場合に比べて、前記輝度目標値を小さい値に設定する請求項６に記載の撮像装置。
【請求項８】
前記露光制御値決定部は、前記顔部品の輝度値が所定の飽和基準値より大きいことを示す飽和信号の有無に基づいて、前記カメラ部の露光制御値を求める頻度を制御する請求項１ないし請求項７のいずれかに記載の撮像装置。
【請求項９】
前記露光制御値決定部は、前記飽和信号が有の場合には、前記画像が撮影されるたびに前記カメラ部の露光制御値を求める請求項８に記載の撮像装置。
【請求項１０】
少なくとも二つの光学系で被写体である運転者の画像をそれぞれ撮影するカメラ部と、
前記カメラ部で撮影した画像から、前記運転者の顔部を構成する複数の顔部品を検出する顔部品検出部と、
検出された前記複数の顔部品の輝度値を計算する顔部品輝度計算部と、
前記複数の顔部品の輝度値に基づいて、前記カメラ部の露光制御値を求める露光制御値決定部と、
前記露光制御値を用いて前記カメラ部で撮影した少なくとも二つの画像に基づいて、前記運転者の複数の顔部品の距離測定を行う測距部と、
前記複数の顔部品の距離測定結果に基づいて、前記運転者の顔モデルを作成する顔モデル作成部と、
作成された前記顔モデルに基づいて、前記運転者の顔向きを追跡する処理を行う顔追跡処理部と、
を備えたことを特徴とする運転者監視装置。
【請求項１１】
少なくとも二つの光学系で同一の被写体の画像をそれぞれ撮影し、
前記撮影した画像に含まれる顔部を構成する複数の顔部品を検出し、
検出された前記複数の顔部品の輝度値を計算し、
前記複数の顔部品の輝度値に基づいて、画像撮影のための露光制御値を求め、
前記露光制御値を用いて撮影した少なくとも二つの画像に基づいて、前記顔部の距離測定を行うことを特徴とする顔部測距方法。
【請求項１】
少なくとも二つの光学系で同一の被写体の画像をそれぞれ撮影するカメラ部と、
前記カメラ部で撮影した画像から、前記画像に含まれる顔部を構成する複数の顔部品を検出する顔部品検出部と、
検出された前記複数の顔部品の輝度値を計算する顔部品輝度計算部と、
前記複数の顔部品の輝度値に基づいて、前記カメラ部の露光制御値を求める露光制御値決定部と、
補正された前記露光制御値を用いて前記カメラ部で撮影した少なくとも二つの画像に基づいて、前記複数の顔部品の距離測定を行う測距部と、
を備えたことを特徴とする撮像装置。
【請求項２】
前記露光制御値決定部は、前記複数の顔部品の輝度値のうちの最大の輝度値が所定の輝度目標値になるように、前記カメラ部の露光制御値を求める請求項１に記載の撮像装置。
【請求項３】
前記露光制御値決定部は、前記複数の顔部品のうち対称的に配置された一対の顔部品の輝度値の差が所定の閾値より大きい場合には、前記一対の顔部品を除いた他の顔部品のうちの最大の輝度値が輝度目標値になるように、前記カメラ部の露光制御値を求める請求項１に記載の撮像装置。
【請求項４】
前記カメラ部で撮影した画像に含まれる顔部を検出する顔検出部と、
検出された前記顔部の輝度値を計算する顔輝度計算部と、
前記顔部の輝度値に基づいて、前記カメラ部の露光制御値を補正する露光制御値補正部と、を備え、
前記露光制御値補正部は、前記カメラ部で撮影した少なくとも二つの画像に含まれる顔部品の輝度値が同一になるように、前記カメラ部の露光制御値を補正する請求項１ないし請求項３のいずれかに記載の撮像装置。
【請求項５】
前記露光制御値には、絞り値と露光時間と利得とが含まれており、
前記露光制御値補正部は、前記二つの光学系のそれぞれの前記絞り値と前記露光時間とを同一とし、前記二つの画像に含まれる顔部品の輝度値が同一となるように前記二つの光学系のそれぞれの前記利得を補正する請求項４に記載の撮像装置。
【請求項６】
前記露光制御値決定部は、前記複数の顔部品の輝度値から選択された輝度値に応じた輝度目標値を設定し、前記選択された輝度値が前記輝度目標値になるように、前記カメラ部の露光制御値を求める請求項１ないし請求項５のいずれかに記載の撮像装置。
【請求項７】
前記露光制御値決定部は、前記選択された輝度値が所定の閾値より大きい場合には、前記選択された輝度値が前記閾値より小さい場合に比べて、前記輝度目標値を小さい値に設定する請求項６に記載の撮像装置。
【請求項８】
前記露光制御値決定部は、前記顔部品の輝度値が所定の飽和基準値より大きいことを示す飽和信号の有無に基づいて、前記カメラ部の露光制御値を求める頻度を制御する請求項１ないし請求項７のいずれかに記載の撮像装置。
【請求項９】
前記露光制御値決定部は、前記飽和信号が有の場合には、前記画像が撮影されるたびに前記カメラ部の露光制御値を求める請求項８に記載の撮像装置。
【請求項１０】
少なくとも二つの光学系で被写体である運転者の画像をそれぞれ撮影するカメラ部と、
前記カメラ部で撮影した画像から、前記運転者の顔部を構成する複数の顔部品を検出する顔部品検出部と、
検出された前記複数の顔部品の輝度値を計算する顔部品輝度計算部と、
前記複数の顔部品の輝度値に基づいて、前記カメラ部の露光制御値を求める露光制御値決定部と、
前記露光制御値を用いて前記カメラ部で撮影した少なくとも二つの画像に基づいて、前記運転者の複数の顔部品の距離測定を行う測距部と、
前記複数の顔部品の距離測定結果に基づいて、前記運転者の顔モデルを作成する顔モデル作成部と、
作成された前記顔モデルに基づいて、前記運転者の顔向きを追跡する処理を行う顔追跡処理部と、
を備えたことを特徴とする運転者監視装置。
【請求項１１】
少なくとも二つの光学系で同一の被写体の画像をそれぞれ撮影し、
前記撮影した画像に含まれる顔部を構成する複数の顔部品を検出し、
検出された前記複数の顔部品の輝度値を計算し、
前記複数の顔部品の輝度値に基づいて、画像撮影のための露光制御値を求め、
前記露光制御値を用いて撮影した少なくとも二つの画像に基づいて、前記顔部の距離測定を行うことを特徴とする顔部測距方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１０−２０４３０４（Ｐ２０１０−２０４３０４Ａ）
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願番号】特願２００９−４８４９９（Ｐ２００９−４８４９９）
【出願日】平成２１年３月２日（２００９．３．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年９月１６日（２０１０．９．１６）
【国際特許分類】
【出願日】平成２１年３月２日（２００９．３．２）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]