撮像装置
【課題】被写体の部分の画像処理において適した画像を取得可能な撮像装置を提供する。
【解決手段】撮像手段(2)と、部分領域設定手段(4、ステップS10。以下ステップ番号のみ記載)と、輝度情報算出手段(4、S12)と、画像取得手段(3、S15)とを備える撮像装置である。撮像手段は、それぞれ異なる露光時間で被写体を撮像した複数の全体画像を取得可能である。部分領域設定手段は、被写体が撮像された全体画像内に複数の部分領域(トラッキング領域)を設定する。輝度情報算出手段は、部分領域に対する輝度情報を算出する。画像取得手段は、部分領域に対する輝度情報に基づいて、撮像手段で撮像した複数の全体画像の中から、少なくとも1つの部分領域に対応付けされた1つの全体画像を該部分領域に対応する選択画像として取得する。
【解決手段】撮像手段(2)と、部分領域設定手段(4、ステップS10。以下ステップ番号のみ記載)と、輝度情報算出手段(4、S12)と、画像取得手段(3、S15)とを備える撮像装置である。撮像手段は、それぞれ異なる露光時間で被写体を撮像した複数の全体画像を取得可能である。部分領域設定手段は、被写体が撮像された全体画像内に複数の部分領域(トラッキング領域)を設定する。輝度情報算出手段は、部分領域に対する輝度情報を算出する。画像取得手段は、部分領域に対する輝度情報に基づいて、撮像手段で撮像した複数の全体画像の中から、少なくとも1つの部分領域に対応付けされた1つの全体画像を該部分領域に対応する選択画像として取得する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置に関し、例えば、運転者を撮像する撮像装置に関する。
【背景技術】
【0002】
従来から、撮像素子のフィールド毎に露光時間を変え、ダイナミックレンジを拡大した画像を取得する方法が存在する。例えば、特許文献1に記載の方法では、撮像素子における色フィルタアレイのフィールド毎にシャッタ時間又は絞りを切り替えて別々に撮像し、得られたそれぞれの画像を合成することにより1枚の画像を取得する方法が提案されている。具体的には、特許文献1に記載の方法は、長い第1シャッタ時間と短い第2シャッタ時間とを切り替えて撮像し、1フィールド毎のデータの信号レベルが所定のレベルより大きいか否かを判定している。データの信号レベルが所定のレベルより大きい場合は、短い第2シャッタ時間で撮像されたフィールドのデータが用いられ、所定のレベル以下の場合は長い第1シャッタ時間で撮像されたフィールドのデータが用いられ、合成される。このようにして、ダイナミックレンジの広い画像を撮像している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−78594号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1に記載の方法では以下のような課題があった。すなわち、合成した画像を用いてエッジ検出等で画像処理を行う際、明るいエリアと暗いエリアとを結合した結合線をエッジとして誤検出してしまう場合がある。例えば、運転者の顔を撮像する撮像装置においては、目の検出方法としてエッジを元にベジェ曲線等により目の境界を検出しているため、結合画像の結合線があるとその結合線自体をエッジとして検出してしまう場合がある。このため、目や鼻、口等の顔部品を正確に検出することができなくなる。
【0005】
それ故、本発明の目的は、被写体の部分の画像処理において適した画像を取得可能な撮像装置を提供することである。
【課題を解決するための手段】
【0006】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施形態との対応関係の一例を示したものであって、本発明を何ら限定するものではない。
【0007】
第1の発明は、撮像手段(2)と、部分領域設定手段(4、ステップS10。以下ステップ番号のみ記載)と、輝度情報算出手段(4、S12)と、画像取得手段(3、S15)とを備える撮像装置である。撮像手段は、それぞれ異なる露光時間で被写体を撮像した複数の全体画像を取得可能である。部分領域設定手段は、被写体が撮像される領域内に複数の部分領域(トラッキング領域)を設定する。輝度情報算出手段は、部分領域に対する輝度情報を算出する。画像取得手段は、部分領域に対する輝度情報に基づいて、撮像手段で撮像した複数の全体画像の中から、少なくとも1つの部分領域に対応付けされた1つの全体画像を該部分領域に対応する選択画像として取得する。
【0008】
この発明によれば、被写体を撮像した画像の部分領域の輝度情報に基づいて、当該部分領域に適した露光時間の画像を取得することができる。これにより、部分領域の画像処理に適した画像を取得することができる。
【0009】
第2の発明において、撮像装置は、画像分割手段(3、S15)と、画像結合手段(3、S15)とをさらに備えてもよい。画像分割手段は、部分領域に対応する選択画像から該部分領域を含む部分画像を分割する。画像結合手段は、部分画像を複数の部分領域毎に取得し、該複数の部分画像を結合して被写体を撮像した画像を結合画像として生成する。そして、画像結合手段は、複数の部分画像を結合する際、該部分画像の結合境界(結合線)が部分領域設定手段によって設定された部分領域に存在しないように、複数の部分画像を結合する。
【0010】
この発明によれば、露光時間の異なる複数の画像を結合する際、結合境界が上記部分領域内に存在しないように、複数の画像が結合される。これにより、画像認識の際、結合境界をエッジとして誤検出することを防止することができる。
【0011】
第3の発明において、撮像装置は、露光時間算出手段(3、S13)をさらに備えてもよい。露光時間算出手段は、輝度情報算出手段によって算出された輝度情報に基づいて、部分領域に対する露光時間を算出する。次に、撮像手段は、露光時間算出手段によって算出された露光時間で被写体を撮像する。そして、画像取得手段は、露光時間算出手段によって算出された露光時間で撮像した画像を上記選択画像として取得する。
【0012】
この発明によれば、部分領域毎に最適な露光時間の画像を取得することができる。これにより、部分領域において画像認識に適した画像を取得することができる。
【0013】
第4の発明において、撮像装置は、共通露光時間設定手段(3)をさらに備えてもよい。共通露光時間設定手段は、上記複数の部分領域のうち、2以上の部分領域の輝度情報が所定の条件を満たす場合、該部分領域に対する共通の露光時間を設定する。撮像手段は、共通露光時間設定手段によって設定された共通の露光時間で被写体を撮像する。そして、画像取得手段は、共通露光時間設定手段によって設定された共通の露光時間で撮影した画像を、上記共通の露光時間が設定された部分領域に対応する選択画像として取得する。
【0014】
この発明によれば、各部分領域に対して露光制御を行う場合に比べて、被写体の全体を撮像した画像を取得するために要する時間を短縮することができる。
【0015】
第5の発明において、撮像装置は、閾値変更手段をさらに備えてもよい。閾値変更手段は、露光時間算出手段によって算出された露光時間と共通露光時間設定手段で設定された共通の露光時間とに基づいて、共通の露光時間が設定された部分領域内のエッジ検出の際に用いられる閾値を変更する。
【0016】
この発明によれば、複数の部分領域に対して共通の露光時間で撮像した場合でも、当該領域内のエッジ検出の閾値を変更することができる。これにより、共通の露光時間で撮像した場合でも、エッジ検出の精度を維持することができる。
【0017】
第6の発明において、上記共通露光時間設定手段は、上記所定の条件として、部分領域の平均輝度が所定の範囲であり、かつ、部分領域の平均輝度の差が所定の範囲である場合、該部分領域に対する共通の露光時間を設定してもよい。
【0018】
この発明によれば、複数の部分領域の平均輝度が所定の条件を満たす場合、当該領域に対して共通の露光時間を設定することができる。
【0019】
第7の発明において、画像取得手段は、撮像手段が配設されたカメラ部に配設されてもよい。また、部分領域設定手段と、輝度情報算出手段とは、カメラ部とは別体のカメラECU部に配設されてもよい。そして、カメラ部は、カメラECU部の要求に応じて、カメラECU部に対して上記選択画像を伝送する。
【0020】
この発明によれば、カメラ部は、カメラECU部に対して、選択画像を伝送することができる。これにより、カメラECU部は、画像処理に必要な選択画像を取得することができる。
【0021】
第8の発明において、カメラ部とカメラECU部とは、伝送ケーブルと制御線とで接続されてもよい。カメラECU部は、制御線を介して上記輝度情報及び上記部分領域を含む制御信号を送信する。カメラ部は、伝送ケーブルを用いて上記選択画像を伝送する。
【0022】
この発明によれば、制御線及び伝送ケーブルを用いてカメラ部とカメラECU部とを接続することができる。
【0023】
第9の発明において、上記伝送ケーブルで伝送する信号はNTSCであってもよい。
【0024】
この発明によれば、比較的安価で実績のあるNTSCケーブルを使用することができる。
【0025】
第10の発明において、上記伝送ケーブルで伝送する信号はGVIFまたはLVDSであってもよい。
【0026】
この発明によれば、取得した画像をデジタル伝送することができる。また、高速伝送が可能なため、より高画質な画像を伝送することができる。
【0027】
第11の発明において、上記伝送ケーブルは、シールド線付の差動信号伝送ケーブルであり、該シールド線を制御線として使用してもよい。
【0028】
この発明によれば、カメラ部とカメラECU部とを接続する制御線を省略することができるため、低コスト化を実現できる。また、制御線を省略することによって、ケーブルの配線スペースを省略することができる。
【0029】
第12の発明において、画像取得手段と、画像分割手段と、画像結合手段とは、撮像手段が配設されたカメラ部に配設されてもよい。また、部分領域設定手段と、輝度情報算出手段とは、カメラ部とは別体のカメラECU部に配設されてもよい。そして、カメラ部は、カメラECU部の要求に応じて、カメラECU部に対して結合画像又は選択画像を伝送する。
【0030】
この発明によれば、カメラ部は、カメラECU部に対して、結合画像又は選択画像を伝送することができる。
【0031】
第13の発明において、部分領域設定手段と、輝度情報算出手段と、画像取得手段と、画像分割手段と、画像結合手段とは、撮像手段が配設されたカメラ部に配設されてもよい。そして、カメラ部は、カメラ部とは別体の画像認識処理を行うカメラECU部に対して結合画像を伝送する。
【0032】
この発明によれば、カメラECU部からカメラ部に対して制御信号を送信しなくてもよいため、信号の送受信に関する遅延を防止することができる。また、制御線を省略することができ、低コスト化を実現できる。
【0033】
第14の発明において、輝度情報算出手段は、部分領域の輝度情報として、部分領域における各画素の輝度に関するヒストグラムを算出してもよい。そして、画像取得手段は、上記輝度に関するヒストグラムに基づいて選択画像を取得する。
【0034】
この発明によれば、輝度情報として、輝度に関するヒストグラムを用いて、選択画像を取得することができる。
【0035】
第15の発明において、画像取得手段は、部分領域において所定の範囲の輝度値を持つ画素の割合が所定の値より小さい全体画像を、上記選択画像として取得してもよい。
【0036】
この発明によれば、白飛び又は黒つぶれしている可能性のある画像を除外することができる。
【0037】
第16の発明において、画像取得手段は、部分領域において所定の範囲の輝度値を持つ画素の割合が所定の値より小さい全体画像が複数存在する場合、露光時間の最も短い全体画像を上記選択画像として取得してもよい。
【0038】
この発明によれば、露光時間の短い画像を選択することができ、ブレの少ない画像を取得することができる。
【0039】
第17の発明において、輝度情報算出手段は、部分領域の輝度情報として、部分領域におけるエッジ強度に関するヒストグラムを算出してもよい。そして、画像取得手段は、エッジ強度に関するヒストグラムに基づいて上記選択画像を取得する。
【0040】
この発明によれば、エッジ強度に関するヒストグラムを用いて、選択画像を取得することができる。
【0041】
第18の発明において、撮像手段は、予め定められた複数の異なる露光時間で複数の全体画像を撮像してもよい。そして、画像取得手段は、予め定められた複数の露光時間の全体画像から1つの画像を選択画像として取得する。
【0042】
この発明によれば、露光時間を算出する時間を短縮することができるため、被写体が移動した場合の影響を軽減することができる。
【0043】
第19の発明において、撮像装置は、スケジューリング手段(S40)をさらに備えてもよい。スケジューリング手段は、露光時間算出手段によって算出された露光時間の短い順に撮像すべき順番をスケジューリングする。そして、撮像手段は、スケジューリング手段によってスケジュールされた順に全体画像を撮像する。
【0044】
この発明によれば、露光時間の長いものから順に撮像する場合に比べて、被写体が移動する場合の影響を低減することができる。すなわち、被写体の移動によって撮像する時間が遅い部分領域はより大きく移動するため、被写体の部分が設定された部分領域を外れる場合があるが、この発明によれば、被写体の移動による影響を軽減することができる。
【0045】
第20の発明において、撮像装置は、部分領域変更手段(S42)をさらに備えてもよい。部分領域変更手段は、スケジューリング手段によってスケジュールされた順が遅くなるに従って部分領域の範囲を移動又は拡大する。
【0046】
この発明によれば、被写体が移動する場合の影響を低減することができる。すなわち、被写体の移動によって撮像する時間が遅い部分領域はより大きく移動するが、部分領域を拡大又は移動させることにより、移動後でも被写体の部分が当該部分領域から外れることを防止することができる。
【0047】
第21の発明において、複数の部分領域毎に動的予測処理を行う動的予測手段(S41)をさらに備えてもよい。
【0048】
この発明によれば、被写体が移動する場合においても移動の方向や移動量を予測することができ、その予測に従って、部分領域の拡大又は移動をすることができる。
【0049】
第22の発明において、部分領域設定手段は、被写体の撮像範囲のうち、予め定められた所定の範囲を部分領域として設定してもよい。
【0050】
この発明によれば、被写体の部分の初期発見時においても、初期発見に適した画像を取得することができる。
【発明の効果】
【0051】
被写体を撮像した画像の部分領域の輝度情報に基づいて、当該部分領域に適した露光時間の画像を取得することができる。これにより、部分領域の画像処理に適した画像を取得することができる。
【図面の簡単な説明】
【0052】
【図1】第1の実施形態に係る撮像装置の構成を示すブロック図
【図2】運転者の顔の各部品について複数のトラッキング領域を設定した様子を示した図
【図3A】運転者の顔の一部に太陽光などの強い光が照射した場合において、撮像センサ2によって撮像された露光時間の短い画像を示した図
【図3B】運転者の顔の一部に太陽光などの強い光が照射した場合において、撮像センサ2によって撮像された露光時間の長い画像を示した図
【図4】露光制御・選択結合部3が、短い露光時間で撮像された画像と長い露光時間で撮像された画像とを結合する様子を示した図
【図5】4つのトラッキング領域に対して異なる露光時間の画像を撮像し、結合する様子を示した図
【図6】撮像装置1の動作の流れを示すフローチャート
【図7】輝度情報が所定の範囲の場合、予め定められた共通露光時間を設定するための露光時間変換テーブルの一例を示す図
【図8】変形例2に係る撮像装置の構成を示すブロック図
【図9】第2の実施形態に係る撮像装置の構成を示すブロック図
【図10】第2の実施形態に係る撮像装置50の動作の流れを示すフローチャート
【図11】複数のトラッキング領域と複数の撮像画像との輝度情報に関する対応テーブルの一例を示す図
【図12】第3の実施形態に係る撮像装置の動作の流れを示すフローチャート
【発明を実施するための形態】
【0053】
(第1の実施形態)
以下、図面を参照して本発明の第1の実施形態に係る撮像装置について、説明する。図1は、第1の実施形態に係る撮像装置の構成を示すブロック図である。第1の実施形態に係る撮像装置1は、例えば、車両に搭載され、運転者の顔を撮影するために用いられる。
【0054】
図1に示されるように、撮像装置1は、撮像センサ2と、露光制御・選択結合部3と、部分領域設定・輝度情報算出部4とを備える。撮像センサ2と露光制御・選択結合部3とは、カメラ部11に配設されている。部分領域設定・輝度情報算出部4は、カメラECU部12に配設されている。また、カメラ部11には、画像を一時的に保存しておくためのバッファ6が配設されている。同様に、カメラECU部12には、バッファ7が配設されている。また、画像処理部10がカメラECU部12に配設されている。さらに、カメラ部11とカメラECU部12とは、伝送ケーブル8と制御線9とで接続されている。以下、各部について説明する。
【0055】
(撮像装置1の各部の説明)
カメラ部11は、撮像センサ2及び露光制御・選択結合部3を搭載したカメラである。カメラ部11は、車両の室内、例えば、ステアリングコラムカバーの上部に配設され、運転者の顔を撮像可能に配設される。カメラ部11は、例えば、近赤外線LEDを搭載し、運転者の顔を照明してもよい。
【0056】
カメラECU部12は、カメラ部11とは物理的に離れた位置に配設され、例えば、インストルメントパネル内部に配設される。カメラECU部12は、具体的には、CPU、RAM、ROM等を備える情報処理装置であり、プログラムが実行されることによって部分領域設定・輝度情報算出部4及び画像処理部10を実現する。
【0057】
撮像センサ2は、被写体を撮像する撮像手段であり、レンズから入射した光を電気信号に変換する。撮像センサ2は、被写体である運転者の顔を含む車両の運転席周辺を所定の解像度で撮影する。撮像センサ2により撮像された画像は、一時的にバッファ6に保存される。撮像センサ2は、露光制御・選択結合部3により露光制御が行われ、複数の露光時間の異なる画像を撮像可能である。撮像センサ2は、具体的には、CCDイメージセンサやCMOSイメージセンサ等である。撮像センサ2の各画素の輝度値は、例えば、8ビット(最大輝度255)で表される。
【0058】
露光制御・選択結合部3は、所定の処理を行う回路である。すなわち、露光制御・選択結合部3は、例えばシャッタスピードを制御することにより撮像センサ2に対する露光制御を行う。また、露光制御・選択結合部3は、撮像センサ2によって撮像された露光時間の異なる複数の画像を結合する。具体的には、露光制御・選択結合部3は、部分領域設定・輝度情報算出部4から部分領域毎に部分領域の範囲及び輝度情報を受信する。ここで部分領域とは、被写体(運転者の顔)の一部の領域であり、部分領域は、部分領域設定・輝度情報算出部4によって複数設定される。露光制御・選択結合部3は、受信した部分領域の範囲及びその部分領域の範囲に対する輝度情報に基づいて、部分領域毎に、当該部分領域に対応する選択画像(撮像センサ2により撮像された画像の中から選択された画像であって、1つの部分領域に対応付けられた1つの画像)を選択する。より具体的には、露光制御・選択結合部3は、受信した部分領域の範囲及びその部分領域の範囲に対する輝度情報に基づいて、部分領域毎に、当該部分領域に対する露光時間を算出し、算出した露光時間で運転者を撮像するように撮像センサ2を制御する。そして、露光制御・選択結合部3は、算出した露光時間で撮像された各画像を各部分領域に対応する選択画像としてそれぞれ取得する。次に、露光制御・選択結合部3は、各選択画像をそれぞれの部分領域を含む部分画像に分割し、分割した複数の部分画像を結合して1つの結合画像を生成する。すなわち、露光制御・選択結合部3は、1つの部分領域に対する1つの選択画像(全体画像)を取得し、他の部分領域に対する他の選択画像を取得し、これらの選択画像を結合することによって、1つの結合画像を生成する。そして、露光制御・選択結合部3は、生成した結合画像を、伝送ケーブル8を介してカメラECU部12に伝送する。なお、複数の部分領域の輝度情報が同一又は所定の範囲である場合、当該複数の部分領域に対応する1つの画像が選択画像として取得されてもよい。また、露光制御・選択結合部3は、上記複数の部分画像を結合せずに撮像センサ2により撮像した全体画像をそのままカメラECU部12に伝送する場合もある。また、露光制御・選択結合部3は、露光制御としてゲインを調整してもよい。露光制御・選択結合部3の詳細については、後述する。
【0059】
部分領域設定・輝度情報算出部4は、実際にはカメラECU部12のCPUがプログラムを実行することによって実現される。部分領域設定・輝度情報算出部4は、撮像センサ2により撮像された全体画像から運転者の顔の部品(目、鼻、口等)を認識し、各部品をトラッキング領域として複数設定する。また、部分領域設定・輝度情報算出部4は、設定した複数のトラッキング領域のうち、1つのトラッキング領域について、輝度情報を算出する。そして、部分領域設定・輝度情報算出部4は、複数のトラッキング領域について、トラッキング領域の範囲と当該トラッキング領域の輝度情報とを制御線9を介して露光制御・選択結合部3に送信する。ここで、輝度情報とは、トラッキング領域内の各画素の輝度値に関する情報であり、例えば、当該トラッキング領域における平均輝度(各画素の輝度値の平均)である。輝度情報は、トラッキング領域の最大輝度や最小輝度であってもよい。また、部分領域設定・輝度情報算出部4は、輝度情報としてトラッキング領域における輝度に関するヒストグラム(輝度に関する各画素の頻度分布)を算出してもよい。
【0060】
バッファ6及びバッファ7は、画像を一時的に保存する記憶手段である。バッファ6は、撮像センサ2により撮像された画像を一時的に保存し、保存した画像を露光制御・選択結合部3に出力する。バッファ7は、露光制御・選択結合部3から出力された、結合画像又は撮像センサ2により撮像した全体画像を一時的に保存し、保存した画像を部分領域設定・輝度情報算出部4に出力する。
【0061】
伝送ケーブル8及び制御線9は、カメラ部11とカメラECU部12とを接続する。伝送ケーブル8は、画像伝送ケーブルであり、カメラ部11からカメラECU部12に対して画像をNTSC信号で伝送する。制御線9は、カメラECU部12からカメラ部11に対して制御信号を送信するためのケーブルである。なお、カメラ部11とカメラECU部12とは、伝送ケーブル8および制御線9で物理的に接続される必要は無く、無線通信により画像および制御信号が伝送されてもよい。
【0062】
画像処理部10は、実際にはカメラECU部12のCPUがプログラムを実行することによって実現される。画像処理部10は、カメラ部11から伝送された画像を画像処理し、統計処理することにより、運転者の状態推定等を行う。例えば、画像処理部10は、結合画像のうち目の部分(目のトラッキング領域)に基づいて運転者の目の開閉状態を認識し、運転者が正常な状態か否かを判断する。そして、画像処理部10は、運転者の状態推定結果に応じて、車両の制御を行う制御ECUに対して、必要な動作を行うように制御信号を送信する。なお、画像処理部10の動作については本発明の特徴部分ではないため、詳細な説明を省略する。
【0063】
(撮像装置1の動作の説明)
次に、撮像装置1の動作について、図2から図7を参照して説明する。図2は、運転者の顔の各部品について複数のトラッキング領域を設定した様子を示した図である。まず、部分領域設定・輝度情報算出部4は、撮像センサ2により撮像された画像から運転者の顔の各部品である、左目、右目、鼻、及び、口を認識し、それぞれについてトラッキング領域を設定する(初期発見する)。具体的には、部分領域設定・輝度情報算出部4は、図2に示されるように、運転者の右目の領域であるトラッキング領域21、左目の領域であるトラッキング領域22、鼻の領域であるトラッキング領域23、及び、口の領域であるトラッキング領域24を設定する。以降、初期発見により顔の各部品に対するトラッキング領域が設定された後の撮像装置1の動作について、詳細に説明する。
【0064】
上述したように、撮像センサ2は、露光制御されることにより、複数の露光時間の異なる画像を撮像可能である。以下では、運転者の顔に太陽光などの強い光が照射した場合において、短い露光時間と長い露光時間とで運転者の顔を撮像した場合について説明する。
【0065】
図3Aは、運転者の顔の一部に太陽光などの強い光が照射した場合において、撮像センサ2によって撮像された露光時間の短い画像を示した図である。図3Aに示されるように、短い露光時間で撮像された画像は、強い光が照射された下半分(照射領域32)と光が照射されない上半分(非照射領域31)とに分けられる。非照射領域31は、当該領域にある顔部品が認識できない程度に黒つぶれしている。これは、非照射領域31に照射した光が弱く、かつ、露光時間が十分ではないため、受光した光量が少ないためである。一方、照射領域32は、当該領域にある顔部品を認識することができる程度に各部品の境界が明瞭である。これは、照射領域32に照射した光が強いため、短い露光時間でも十分な光量が得られるからである。このように、短い露光時間で撮像された画像は、顔の全部品について明瞭な画像を得ることができず、一部の顔部品(鼻及び口)のみについて明瞭な画像が得られる。
【0066】
一方、露光時間が長い場合は、上記非照射領域31にある顔部品を認識可能な画像が得られる。図3Bは、運転者の顔の一部に太陽光などの強い光が照射した場合において、撮像センサ2によって撮像された露光時間の長い画像を示した図である。図3Bに示されるように、長い露光時間で撮像された画像は、非照射領域31にある顔部品(右目及び左目)を認識できる程度に各部品の境界が明瞭である。これは、非照射領域31に照射した光は弱いが、露光時間が長いため十分な光量が得られるからである。しかしながら、その一方で、照射領域32にある顔部品(鼻及び口)は、その境界を認識できない程度に白飛びしている。これは、照射領域32に照射した光が強く、かつ、露光時間が長いため受光した光量が大きすぎるためである。すなわち、撮像センサ2の照射領域32に対応する各画素の輝度値が最大輝度(255)に達している(最大輝度を超えている)ため、当該領域が白飛びしている。これにより、照射領域32にある顔部品(鼻及び口)が認識できなくなっている。
【0067】
上述したように、短い露光時間で撮像された画像は、鼻及び口が明瞭な画像であり、長い露光時間で撮像された画像は、右目及び左目が明瞭な画像である。露光制御・選択結合部3は、これら2つの画像を結合することで、1つの結合画像を生成する。図4は、露光制御・選択結合部3が、短い露光時間で撮像された画像と長い露光時間で撮像された画像とを結合する様子を示した図である。図4に示されるように、露光制御・選択結合部3は、トラッキング領域に結合線が存在しないように、短い露光時間で撮像された画像と長い露光時間で撮像された画像とを結合する。ここで、結合線とは、複数の画像を結合する場合の各画像の境界線であり、2つの画像を結合する場合は、結合線は1本となる。
【0068】
具体的には、露光制御・選択結合部3は、次のような処理を行う。まず、露光制御・選択結合部3は、制御線9を介して部分領域設定・輝度情報算出部4から複数のトラッキング領域及び各トラッキング領域に対する輝度情報を受信する。次に、露光制御・選択結合部3は、各トラッキング領域の輝度情報に基づいて、各トラッキング領域に対する露光時間を算出する。すなわち、露光制御・選択結合部3は、右目の領域であるトラッキング領域21に対する露光時間、左目の領域であるトラッキング領域22に対する露光時間、鼻の領域であるトラッキング領域23に対する露光時間、及び、口の領域であるトラッキング領域24に対する露光時間を算出する。各領域に対する露光時間の算出は、例えば、次のようにして行われる。
【0069】
部分領域設定・輝度情報算出部4は、各トラッキング領域に対する輝度情報として、例えば、各トラッキング領域における平均輝度を算出する。そして、露光制御・選択結合部3は、算出された各領域の平均輝度に基づいて各領域に対する露光時間を算出する。露光制御・選択結合部3は、平均輝度が比較的高い場合は、露光時間を短く、平均輝度が比較的低い場合は、露光時間を長く設定する。ここでは、トラッキング領域21及び22(右目及び左目)の平均輝度が同じであり、トラッキング領域23及び24(鼻及び口)の平均輝度が同じであるとする。
【0070】
次に、露光制御・選択結合部3は、算出した各領域に対する露光時間で運転者の顔を撮像するように撮像センサ2を制御する。ここでは、露光制御・選択結合部3で算出された露光時間は、トラッキング領域21及び22(右目及び左目)に対しては10msec、トラッキング領域23及び24(鼻及び口)に対しては1msecとする。次に、撮像センサ2は、10msecの露光時間の画像(長い露光時間の画像)と1msecの露光時間の画像(短い露光時間の画像)とを撮像し、2つの画像をバッファ6に保存する。そして、露光制御・選択結合部3は、トラッキング領域21及び22に対する長い露光時間の画像(トラッキング領域21及び22に対応する選択画像)とトラッキング領域23及び24に対する短い露光時間の画像(トラッキング領域23及び24に対応する選択画像)とを、バッファ6から取得する。
【0071】
次に、露光制御・選択結合部3は、取得した2つの画像を結合する。例えば、図4に示されるように、露光制御・選択結合部3は、長い露光時間の画像をトラッキング領域21及び22を完全に含むように結合線を定めて分割し、結合線より上の部分画像をトラッキング領域21及び22の部分画像として取得する。例えば、露光制御・選択結合部3は、トラッキング領域21とトラッキング領域23との中間を横方向(水平方向)の結合線として定める。あるいは、露光制御・選択結合部3は、トラッキング領域21及び22の下端を結合線として定めてもよい。同様に、露光制御・選択結合部3は、短い露光時間の画像を、定められた結合線で分割し、結合線より下の部分画像をトラッキング領域23及び24の部分画像として取得する。そして、露光制御・選択結合部3は、これら2つの部分画像を結合し、1つの結合画像を生成する。図4に示されるように、結合画像の境界線より上の部分は、長い露光時間の画像における結合線より上の部分であり、結合画像の境界線より下の部分は、短い露光時間の画像における結合線より下の部分である。そして、生成された結合画像は、伝送ケーブル8を介してカメラECU部12に伝送され、画像処理がなされる。なお、結合線は、各トラッキング領域内に存在しなければどのようにして定められてもよく、曲線であってもよい。
【0072】
このようにして生成された結合画像では、図4に示される結合線より上の部分はトラッキング領域21及び22に対して画像認識に適した露光時間の画像(画像認識が可能な境界が明瞭な画像)であり、結合線より下の部分はトラッキング領域23及び24に対して画像認識に適した露光時間の画像である。さらに、各トラッキング領域に結合線が存在しない。このため、得られた結合画像を用いて画像処理をする場合、誤って結合線をエッジ検出することを防止することができる。
【0073】
なお、上記では、長い露光時間の画像と短い露光時間の画像との2つの画像を撮像して結合したが、各トラッキング領域に対して異なる露光時間の画像を取得し、結合してもよい。例えば、4つのトラッキング領域に対してそれぞれ異なる露光時間の4つ画像(4つのトラッキング領域に対応する4つの選択画像)を撮像し、これら4つの画像を結合してもよい。図5は、4つのトラッキング領域に対して異なる露光時間の画像を撮像し、結合する様子を示した図である。図5に示されるように、各トラッキング領域を含む画像がトラッキング領域に対する部分画像として分割され、1つの結合画像が生成されている。すなわち、生成された結合画像は、トラッキング領域24に対応する選択画像(1msecで撮像)の部分である部分画像aと、トラッキング領域23に対応する選択画像(2msecで撮像)の部分である部分画像bと、トラッキング領域21に対応する選択画像(10msecで撮像)の部分である部分画像cと、トラッキング領域22に対応する選択画像(12msecで撮像)の部分である部分画像dとを結合した画像である。
【0074】
次に、上述した撮像装置1の詳細な動作について、図6を参照して説明する。図6は、撮像装置1の動作の流れを示すフローチャートである。図6のフローチャートで示される処理は、カメラECU部12によって制御される。図6のフローチャートで示される処理は、例えば、車両が走行中に繰り返し実行される。
【0075】
ステップS10において、部分領域設定・輝度情報算出部4(カメラECU部12)は、運転者の顔の各部品である右目、左目、鼻、及び、口を認識し、それぞれについてトラッキング領域(トラッキング領域21〜24)を設定する。具体的には、カメラECU部12は、露光制御・選択結合部3に対して制御線9を介して所定の露光時間で画像を撮像するように命令を送信する。撮像された画像は、伝送ケーブル8を介してバッファ7に伝送される。そして、カメラECU部12は、撮像センサ2により撮像された画像をバッファ7から読み出し、従来の顔認識技術であるパターンマッチングやエッジ検出等により各顔部品を認識する。次に、カメラECU部12は、各顔部品について位置と大きさを設定し、カメラECU部12内のRAMに保存する。なお、ステップS10では、上述した顔部品の初期発見と初期発見後の各顔部品の追跡とを行う。すなわち、既に以前のサイクル(図6のフローチャートで示される1回の処理を1サイクルとする)において、初期発見がなされている場合は、カメラECU部12は、設定されたトラッキング領域に基づいて各顔部品を認識し、各顔部品が移動している場合は、顔部品の移動量に応じてトラッキング領域の位置を移動させる。各顔部品の追跡のために用いられる画像は、前回サイクル時にバッファ7に保存された1つの結合前の画像であってもよい。また、顔部品の初期発見及び各顔部品の追跡のために用いられる画像は、結合後の画像であってもよいし、複数の露光時間の異なる画像(結合前の画像)であってもよい。次に、ステップS11の処理が実行される。
【0076】
ステップS11において、カメラECU部12は、複数のトラッキング領域のうち、1つのトラッキング領域に対する輝度情報を算出する。カメラECU部12は、既に輝度情報が算出されたトラッキング領域以外のトラッキング領域について、輝度情報を算出する。カメラECU部12は、具体的には、トラッキング領域に対する輝度情報として、トラッキング領域における平均輝度を算出する。すなわち、カメラECU部12は、各領域に含まれる画素の輝度値の和を各領域に含まれる画素数で除した値を算出し、制御線9を介して露光制御・選択結合部3に送信する。次に、ステップS12の処理が実行される。
【0077】
ステップS12において、カメラECU部12は、すべてのトラッキング領域に対して輝度情報が算出されたか否かを判定する。判定結果が肯定の場合、次にステップS13の処理が実行される。判定結果が否定の場合、ステップS11の処理が再び実行される。
【0078】
ステップS13において、露光制御・選択結合部3は、各トラッキング領域の平均輝度に基づいて、各トラッキング領域に対する露光時間を算出する。具体的には、カメラECU部12が、露光制御・選択結合部3に対して制御線9を介して命令を送信する。命令を受信した露光制御・選択結合部3は、予め露光制御・選択結合部3に保存された露光時間変換テーブルにより、各トラッキング領域に対する露光時間を算出する。ここで、露光時間変換テーブルは、予め露光制御・選択結合部3に保存された平均輝度と露光時間との対応表である。次に、ステップS14の処理が実行される。
【0079】
ステップS14において、算出された露光時間で撮像した画像が取得される。具体的には、露光制御・選択結合部3は、各トラッキング領域に対する露光時間で画像を撮像するように撮像センサ2を制御し、複数の異なる露光時間の画像を取得する。すなわち、露光制御・選択結合部3は、トラッキング領域21に対応する選択画像、トラッキング領域22に対応する選択画像、トラッキング領域23に対応する選択画像、及び、トラッキング領域24に対応する選択画像を取得する。次に、ステップS15の処理が実行される。
【0080】
ステップS15において、露光制御・選択結合部3は、ステップS14で取得した複数の選択画像を結合し、結合画像を生成する。具体的には、露光制御・選択結合部3は、取得した複数の選択画像を、それぞれのトラッキング領域を含む部分画像に分割する。すなわち、露光制御・選択結合部3は、例えば、トラッキング領域21を完全に含む部分画像を当該トラッキング領域21に対応する選択画像から分割する。具体的には、例えば、露光制御・選択結合部3は、トラッキング領域21及び22の位置と大きさとに基づいて、各領域から等距離にある点を通る線分を1つの結合線として算出する。同様に、露光制御・選択結合部3は、トラッキング領域21及び23から等距離にある点を通る線分を他の結合線として算出する。このようにして隣り合う領域と領域との中間を通る結合線を算出することにより、各領域は、それぞれの領域を含む部分に分割される。そして、露光制御・選択結合部3は、各トラッキング領域に対応する選択画像を上記方法で算出した結合線で分割して切り取ることにより、各トラッキング領域に対する部分画像を取得する。そして、露光制御・選択結合部3は、これらの部分画像を結合し、1つの結合画像を生成する。露光制御・選択結合部3は、生成した結合画像をカメラECU部12のバッファ7に伝送ケーブル8を介して伝送する。次に、ステップS16の処理が行われる。
【0081】
ステップS16において、画像処理部10(カメラECU部12)は、伝送された結合画像を画像処理することによって、運転者の状態を推定する。具体的には、カメラECU部12は、バッファ7に保存された結合画像を取得し、各トラッキング領域に対して種々の画像処理を行う。例えば、画像処理部10は、トラッキング領域21及び22に対してエッジ検出を行うことにより、運転者の目の開閉状態を検出する。また、画像処理部10は、トラッキング領域23及び24に対してエッジ検出を行うことにより、運転者の顔の向きを検出する。そして、カメラECU部12は、目の開閉状態から運転者の覚醒状態を推定したり、運転者の顔の向きから運転者の注意状態を判断したりする。
【0082】
以上のようにして、撮像装置1は、トラッキング領域毎に異なる露光時間の画像を撮像し、トラッキング領域内に結合線が存在しないように、複数の画像を結合する。これによってトラッキング領域内に結合線を有さない画像を取得することができ、エッジ検出の際に誤検出を防止することが可能な画像を取得することができる。従って、画像処理に適した画像を取得することができる。
【0083】
なお、本実施形態では、部分領域設定・輝度情報算出部4は、各トラッキング領域に対する輝度情報として、各トラッキング領域における平均輝度を算出した。他の実施形態では、各トラッキング領域の輝度情報として、トラッキング領域における輝度値の最大値又は最小値を算出してもよい。また、トラッキング領域内の一部の領域の平均輝度であってもよく、トラッキング領域内の一部の領域における最大輝度又は最小輝度であってもよい。また、算出される輝度情報は、トラッキング領域内の輝度に関するヒストグラムであってもよい。例えば、所定の第1閾値より大きな輝度値を有する画素の割合を輝度情報として算出してもよい。同様に、所定の第2閾値より小さな輝度値を有する画素の割合を輝度情報として算出してもよい。さらに、輝度情報として、トラッキング領域内のエッジ強度に関するヒストグラムが算出されてもよい。そして、以上のようにして算出された輝度情報に基づいて、露光制御・選択結合部3は、露光時間を算出する。
【0084】
また、本実施形態では、露光制御・選択結合部3は、予め定められた露光時間変換テーブルにより、露光時間を算出したが、他の実施形態では、輝度情報と露光時間とを関連付けた関係式に基づいて、露光時間を算出してもよい。
【0085】
また、本実施形態では、露光制御・選択結合部3は、複数の露光時間の異なる画像を結合してカメラECU部12に伝送したが、結合せずに複数の露光時間の異なる画像(複数の選択画像)をそのまま伝送してもよい。このように結合せずに伝送することで、結合するための処理を省略することができる。これにより、処理負荷の低減、及び、結合処理による時間の遅延を防止することができる。
【0086】
また、本実施形態では、部分領域設定・輝度情報算出部4は、トラッキングすべき顔部品をトラッキング領域として設定したが、他の実施形態では、トラッキング領域は、予め定められた部分領域であってもよい。すなわち、初期発見時のように、トラッキング領域が定められていない場合においても、予め画像を部分領域に分割しておく。そして、各部分領域に対する輝度情報に基づいて、各部分領域に対する露光時間を算出することで、各部分領域の画像認識に適した画像を取得することができ、初期発見に適した画像を取得することができる。
【0087】
また、他の実施形態では、伝送ケーブル8は、シールド線付の差動信号伝送ケーブルでもよい。この場合、カメラ部11において画像のアナログ信号がデジタル信号に変換され、カメラ部11からカメラECU部12へGVIFまたはLVDS信号により、デジタル化された画像が伝送される。さらに、この場合、上記シールド線を制御線9として利用する。これにより、制御線9を省略することができる。
【0088】
(変形例1)
なお、第1の実施形態の変形例としては、算出される露光時間は、複数のトラッキング領域に対して共通の時間であってもよい。以下、第1の実施形態の変形例1について説明する。
【0089】
変形例1では、具体的には、複数のトラッキング領域に対する輝度情報が所定の範囲である場合、露光制御・選択結合部3は、それらトラッキング領域に対して共通の露光時間を設定する。図7は、輝度情報が所定の範囲の場合、予め定められた共通露光時間を設定するための露光時間変換テーブルの一例を示す図である。図7において、「輝度情報」の列は、露光時間を求めるトラッキング領域の輝度情報であり、具体的には、平均輝度である。また、「共通露光時間を用いる条件」の列は、複数のトラッキング領域に対して共通の露光時間を設定する際の条件である。すなわち、複数のトラッキング領域の輝度情報が、図7の「輝度情報」の列に示される同じ範囲にある場合においても、これら複数のトラッキング領域の輝度差が「共通露光時間を用いる条件」の列で示される範囲にない場合は、これら複数のトラッキング領域に対して共通の露光時間を設定しない。また、図7の「露光時間」の列に示される値は、複数のトラッキング領域に設定する共通の露光時間である。
【0090】
図7に示されるように、露光制御・選択結合部3は、輝度情報が所定の範囲の場合、予め定められた共通の露光時間を設定する。例えば、トラッキング領域21(右目の領域)の平均輝度が10で、トラッキング領域22(左目の領域)の平均輝度が7である場合、これら2つのトラッキング領域の平均輝度が1−20の範囲内であり、かつ、平均輝度の差が3であるため、露光制御・選択結合部3は、トラッキング領域21及び22の露光時間として共通の露光時間10msecを設定する。同様に、例えば、トラッキング領域23(鼻の領域)の平均輝度が120で、トラッキング領域24(口の領域)の平均輝度が150である場合、露光制御・選択結合部3は、トラッキング領域23及び24の露光時間として共通の露光時間1msecを設定する。
【0091】
このように、共通の露光時間を設定することにより、トラッキング領域毎に異なる露光時間で撮像する場合に比べて、短時間で画像を取得することができる。また、輝度情報が所定の範囲内である場合(輝度値が近い場合)、共通の露光時間で撮像した場合においてもある程度(画像認識が可能な程度に)明瞭な画像を取得することができる。
【0092】
以上のようにして、複数のトラッキング領域(例えば、右目及び左目の領域)に対して共通の露光時間を設定し、共通の露光時間でこれらのトラッキング領域(右目及び左目の領域)の画像を取得した場合、それぞれのトラッキング領域に最適な露光時間ではない可能性がある。従って、このような場合、トラッキング領域に対する最適な露光時間と共通の露光時間とに基づいて、当該トラッキング領域におけるエッジ検出の閾値を変更してもよい。すなわち、露光制御・選択結合部3は、第1の実施形態と同様、各トラッキング領域に対する露光時間を、最適な露光時間としてそれぞれ算出する。同時に、露光制御・選択結合部3は、複数のトラッキング領域(例えば、トラッキング領域21及び22)の輝度情報が所定の範囲内である場合、それらトラッキング領域に対して共通の露光時間を算出する。次に、露光制御・選択結合部3は、それぞれの最適な露光時間及び共通の露光時間をカメラECU部12に送信する。そして、画像処理部10(カメラECU部12)は、算出した最適な露光時間と共通の露光時間とのずれに基づいて、エッジ検出の閾値を変更する。例えば、トラッキング領域21の最適な露光時間が30msec、トラッキング領域22の最適な露光時間が50msec、共通の露光時間が40msecである場合、画像処理部10は、トラッキング領域21に対するエッジ検出処理の際、30msecと40msecとのずれに基づいて、エッジ検出の閾値を変更する(例えば、通常の閾値の3/4に設定する)。
【0093】
以上のようにして、エッジ検出の際の閾値を変更することにより、複数のトラッキング領域に対して共通の露光時間で撮像した場合においても、正確なエッジ検出処理を行うことができる。
【0094】
(変形例2)
次に、第1の実施形態に係る撮像装置の変形例2について説明する。図8は、変形例2に係る撮像装置の構成を示すブロック図である。撮像装置40では、第1の実施形態に係る撮像装置1の部分領域設定・輝度情報算出部4の位置が異なる。また、撮像装置40では、制御線9が省略されている。変形例2では、第1の実施形態に係る撮像装置1と同様の構成については、同一の符号を付し、説明を省略する。
【0095】
変形例2では、部分領域設定・輝度情報算出部4が、カメラ部11に移動している。すなわち、トラッキング領域の設定及び当該トラッキング領域の輝度情報の算出は、カメラ部11にて行われる。部分領域設定・輝度情報算出部4は、上述したトラッキング領域の設定及び当該トラッキング領域における輝度情報の算出を行う部分であり、1つの回路によって実現されてもよい。なお、露光制御・選択結合部3と部分領域設定・輝度情報算出部4とは、同一の回路によって実現されてもよいし、異なる回路によって実現されてもよい。
【0096】
本変形例では、カメラ部11の部分領域設定・輝度情報算出部4において、トラッキング領域が設定され、各トラッキング領域の輝度情報が算出される。そして、算出された輝度情報に基づいて、露光制御・選択結合部3が露光時間を算出し、各トラッキング領域に対する露光制御画像を取得する。そして、各露光制御画像を結合することによって、結合画像を生成し、結合画像をカメラECU部12に伝送する。
【0097】
このように、部分領域設定・輝度情報算出部4をカメラ部11に配設することにより、カメラ部11とカメラECU部12とを接続する制御線9が不要になる。従って、コストを低減することができる。また、カメラ部11とカメラECU部12との制御線9を介した情報の送受信が不要になり、遅延を防止することができる。
【0098】
(第2の実施形態)
次に、第2の実施形態に係る撮像装置について説明する。図9は、第2の実施形態に係る撮像装置の構成を示すブロック図である。第2の実施形態に係る撮像装置50では、第1の実施形態に係る撮像装置1の露光制御・選択結合部3及び部分領域設定・輝度情報算出部4がそれぞれ露光制御・画像選択部53及び部分領域設定部54に置換されている。第2の実施形態に係る撮像装置50において、第1の実施形態に係る撮像装置1と同様の構成については、同一の符号を付し、説明を省略する。
【0099】
露光制御・画像選択部53は、複数の露光時間の異なる画像を撮像した場合において、各トラッキング領域に対する輝度情報に基づいて、各トラッキング領域に対する1つの画像を選択する。第1の実施形態に係る撮像装置1の露光制御・選択結合部3は、各トラッキング領域に対する露光時間を算出し、算出した露光時間で露光制御を行い、複数の露光時間の異なる画像を取得した。すなわち、第1の実施形態では、ステップS10で撮像した画像の輝度情報に基づいて、撮像すべき画像の露光時間を算出し(ステップS13)、その露光時間で画像を撮像した。これに対して、第2の実施形態では、露光時間の異なる複数の画像を撮像し、撮像された画像中から各トラッキング領域に対応する選択画像が選択される。
【0100】
次に、上述した撮像装置50の詳細な動作について、図10を参照して説明する。図10は、第2の実施形態に係る撮像装置50の動作の流れを示すフローチャートである。図10において、図6と同様の処理については、同一のステップ番号を付し、説明を省略する。
【0101】
ステップS30において、撮像センサ2により複数の異なる露光時間の画像が撮像される。具体的には、カメラECU部12は、制御線9を介して、露光制御・画像選択部53に対して、複数の異なる露光時間の画像を取得するように命令を送信する。命令を受信した露光制御・画像選択部53は、複数の異なる露光時間で画像を撮像するように撮像センサ2を制御し、撮像センサ2が複数の画像を撮像する。露光時間は、前回サイクル時(ステップS13)に算出される。なお、露光時間は、予め定められてもよい。また、カメラECU部12からの命令を受信することなく、予め定められた時間間隔で複数の異なる露光時間の画像が撮像されてもよい。撮像された複数の異なる露光時間の画像は、バッファ6に送信され、一時的に保存される。次に、ステップS10からステップS12の処理が行われ、その後、ステップS31の処理が行われる。
【0102】
ステップS10からステップS13において、各トラッキング領域に対する輝度情報が算出され、次のサイクルで撮像される画像の露光時間が算出される。なお、第1の実施形態では、ステップS10からステップS12の処理はカメラECU部12(部分領域設定・輝度情報算出部4)によって行われたが、第3の実施形態では、ステップS11及びステップS12の処理は、露光制御・画像選択部53によって行われる。すなわち、ステップS10において、部分領域設定部54(カメラECU部12)は、第1の実施形態と同様、複数のトラッキング領域を設定する。次に、ステップS11及びステップS12において、露光制御・画像選択部53は、各トラッキング領域の情報(位置及び大きさ)をカメラECU部12から受信し、バッファ6に保存された複数の異なる露光時間の画像に対して、各トラッキング領域の輝度情報を算出する。具体的には、ステップS12において、露光制御・画像選択部53は、複数の異なる露光時間の画像のそれぞれについて1つのトラッキング領域に相当する画素の輝度値を取り出し、輝度情報として、例えば、それらの平均輝度を算出する。そして、露光制御・画像選択部53は、すべてのトラッキング領域に対して輝度情報を算出する。図11は、複数のトラッキング領域と複数の撮像画像との輝度情報に関する対応テーブルの一例を示す図である。図11に示されるように、画像Aから画像Dが撮像センサ2によって撮像された場合、露光制御・画像選択部53は、各トラッキング領域の平均輝度を、各画像に対して算出する。例えば、露光制御・画像選択部53は、画像Aのトラッキング領域21を取り出し、その領域の平均輝度を算出する。また、同様に画像Bのトラッキング領域21を取り出して、その領域の平均輝度を算出する。このようにして、1つのトラッキング領域に対して、画像毎にその領域の平均輝度を算出する。そして、すべてのトラッキング領域に対して、同様の処理を行うことにより(ステップS12でステップS11を繰り返すことにより)、図11に示される対応テーブルが作成される。また、ステップS13において、露光制御・画像選択部53は、第1の実施形態と同様、各トラッキング領域に対する露光時間を算出する。各トラッキング領域に対する露光時間は、ステップS30で撮像された1つの画像を用いて各トラッキング領域の輝度情報に基づいて算出される。算出された露光時間は次のサイクルにおけるステップS30の処理で用いられる。次に、ステップS31の処理が実行される。
【0103】
ステップS31において、露光制御・画像選択部53は、各トラッキング領域に対する輝度情報に基づいて、各トラッキング領域に対応する選択画像を選択する。具体的には、露光制御・画像選択部53は、ステップS11及びS12で算出された各トラッキング領域の輝度情報に基づいて、1つのトラッキング領域に対応する1つの画像をバッファ6に保存された複数の画像の中から選択する(トラッキング領域に対応する選択画像を選択する)。例えば、露光制御・画像選択部53は、予め定められた最適な平均輝度と各画像の当該トラッキング領域の平均輝度とを比較し、最適な平均輝度に最も近い画像を選択画像として選択する。このようにして、露光制御・画像選択部53は、すべてのトラッキング領域に対応する選択画像を選択する。
【0104】
なお、上記では、輝度情報として平均輝度を用いて選択画像が選択されたが、他の実施形態では、輝度情報として輝度に関するヒストグラムを用いて選択画像が選択されてもよい。例えば、露光制御・画像選択部53は、輝度情報として、トラッキング領域の各画素の輝度値に関するヒストグラムを作成する。そして、あるトラッキング領域において、露光制御・画像選択部53は、所定の条件を満たす画像のみをそのトラッキング領域に対応する選択画像の1つとして選択する(選択画像の候補として選択する)。所定の条件とは、例えば、そのトラッキング領域において、輝度値が所定の範囲(例えば、輝度値20〜240)である画素の割合が、所定の割合(例えば、80%)よりも小さい場合である。すなわち、ある画像のトラッキング領域において、所定の第1閾値(例えば、240)よりも大きな輝度値を有する画素の割合が所定の割合(例えば、20%)より大きい場合、そのような画像はそのトラッキング領域において白とびが発生している可能性が高い画像であると考えられるため、露光制御・画像選択部53は、選択画像として選択しない。一方、ある画像のトラッキング領域において、所定の第2閾値(例えば、20)よりも小さな輝度値を有する画素の割合が所定の割合(例えば、20%)より大きい場合、そのような画像はそのトラッキング領域において黒つぶれが発生している可能性が高い画像であると考えられるため、露光制御・画像選択部53は、選択画像として選択しない。なお、上記所定の条件を満たす画像が複数存在する場合、露光制御・画像選択部53は、露光時間の最も短い画像を選択画像として選択する。一般的に、被写体は移動するため、露光時間が長いほど画像にブレが生じる可能性が高い。従って、露光制御・画像選択部53が、輝度に関する所定の条件を満たした画像の中から最も露光時間の短い画像を選択することによって、画像認識に適した画像を取得することができる。このようにして、露光制御・画像選択部53は、トラッキング領域の輝度に関するヒストグラムに基づいて、複数の画像の中から1つの画像を選択画像として選択することができる。
【0105】
また、他の実施形態では、輝度情報としてエッジ強度に関するヒストグラムを用いて選択画像が選択されてもよい。ここで、エッジ強度とは、撮像された画像に対してエッジ処理した場合に、濃淡の変化の急激さを示す値である。エッジ強度は、撮像された画像について例えばソーベルフィルタを用いて水平方向(x方向)及び垂直方向(y方向)の一次微分を行うことにより、求められる。そして、上述した方法と同様、露光制御・画像選択部53は、求められたエッジ強度に関するヒストグラムに基づいて、画像を選択してもよい。例えば、露光制御・画像選択部53は、上述と同様の条件を満たす画像を選択してもよい。
【0106】
図10に戻り、次に、ステップS15及びステップS16の処理が実行される。なお、ステップS15の処理は、実行されなくてもよい。すなわち、ステップS31において選択された各トラッキング領域に対応する選択画像を結合せずに、各トラッキング領域に対応する選択画像がカメラECU部12に送信されてもよい。そして、画像処理部10(カメラECU部12)は、送信された各選択画像を画像処理し、目の開閉状態から運転者の覚醒状態を推定したり、運転者の顔の向き等を判断したりする。このように、各選択画像を結合せずに送信することによって、結合のための処理を省略することができる。また、複数の画像を結合せずに撮像された画像を用いて画像処理を行うため、エッジ検出の際に結合線をエッジとして誤検出することを防止することができる。また、ソーベルフィルタ等を用いて選択画像が選択される場合には、それぞれの選択画像に対してソーベルフィルタを適用し、ソーベルフィルタ適用後の画像をそのままカメラECU部12へ伝送してもよいし、ステップS15の処理において、ソーベルフィルタ適用後の画像を結合し、カメラECU部12へ伝送してもよい。そして、ステップS16において、画像処理部10で、ソーベルフィルタ適用後の画像に対して画像処理を行ってもよい。
【0107】
以上のように、第2の実施形態では、予め撮像された複数の露光時間の異なる画像の中から、トラッキング領域毎の輝度情報に基づいて、各トラッキング領域に対応する選択画像を選択する。これにより、各トラッキング領域に対して画像処理に適した画像を選択することができる。従って、トラッキング領域に対して画像処理を行う場合に、各トラッキング領域の画像処理に適した画像を取得することができる。また、露光制御をその都度行わないため、第1の実施形態と比較して遅延の少ない画像を取得することができる。
【0108】
(第3の実施形態)
次に、第3の実施形態に係る撮像装置について説明する。第3の実施形態に係る撮像装置の構成は、第1の実施形態に係る撮像装置1と同様であるため、説明を省略する。
【0109】
第3の実施形態では、第1の実施形態において各トラッキング領域に対する輝度情報に基づいて、露光時間を算出した後、露光時間が短い順に画像を撮像する。また、各トラッキング領域に対して、動的予測を行い、撮像する順番が遅いトラッキング領域に対して、当該トラッキング領域を移動又は拡大させる。このように、第3の実施形態では、スケジューリング処理、トラッキング領域に対する動的予測処理、及び、トラッキング領域の移動又は拡大処理が追加される。これらの処理は、カメラECU部12で行われる。以下、詳細について説明する。
【0110】
図12は、第3の実施形態に係る撮像装置の動作の流れを示すフローチャートである。図12において、図6と同様の処理については、同一のステップ番号を付し、説明を省略する。
【0111】
ステップS10からステップS13において、トラッキング領域が設定され、各トラッキング領域に対する露光時間が算出される。その後、ステップS40の処理が実行される。
【0112】
ステップS40において、カメラECU部12は、撮像順のスケジューリングを行う。具体的には、カメラECU部12は、露光制御・選択結合部3から制御線9を介して各トラッキング領域に対する露光時間を受信し、露光時間が短い順に順番を決定する。例えば、トラッキング領域21の露光時間が10msec、トラッキング領域22の露光時間が13msec、トラッキング領域23の露光時間が1msec、トラッキング領域24の露光時間が0.8msecと算出された場合、カメラECU部12は、撮像する順番をトラッキング領域24、23、21、22の順に設定する。次に、ステップS41の処理が実行される。
【0113】
ステップS41において、カメラECU部12は、各トラッキング領域に対して、動的予測を行う。具体的には、カメラECU部12は、例えば、カルマンフィルタを用いて各トラッキング領域に対する画像が撮像される時点における各トラッキング領域の位置及び範囲を予測する。これにより、例えば、運転者が進行方向の右側を見ようとしていることにより、トラッキング領域21が進行方向に対して右側に所定の距離だけ移動しようとしている場合、カメラECU部12は、所定時間後(画像が撮像される時点)のトラッキング領域21の位置を現在の位置より進行方向の右側に予測する。なお、動的予測の方法については、どのような方法(例えば、移動平均を算出する方法や最小二乗法等)でもよい。次に、ステップS42の処理が実行される。
【0114】
ステップS42において、カメラECU部12は、各トラッキング領域に対する動的予測の結果に基づいて、各トラッキング領域の位置を移動又は各トラッキング領域を拡大する。例えば、カメラECU部12は、ステップS41においてトラッキング領域21が所定時間後に進行方向の右側に所定距離だけ移動すると予測した場合、トラッキング領域21の位置を右側に所定距離移動させる。又は、カメラECU部12は、予測した移動後の位置を含むようにトラッキング領域21を現在設定されている大きさよりも拡大する。
【0115】
次に、ステップS14からステップS16の処理が実行される。なお、ステップS14において、ステップS40で設定された順番に、画像が撮像される。
【0116】
以上のようにして、露光時間の短いトラッキング領域から順番に撮像し、順番の遅いトラッキング領域ほど当該領域を移動又は拡大することにより、運転者の顔が移動している場合においても、カメラECU部12は、画像認識の際、各トラッキング領域内に各顔部品を検出することができる。これにより、運転者の顔が移動している場合においても、各トラッキング領域に対する画像認識に適した画像を取得することができる。
【産業上の利用可能性】
【0117】
以上のように、本発明では、各部分領域における画像認識に適した画像を取得することができ、例えば、運転者を撮像する撮像装置を提供することができる。
【符号の説明】
【0118】
1、40、50 撮像装置
2 撮像センサ
3 露光制御・選択結合部
4 部分領域設定・輝度情報算出部
6、7 バッファ
8 伝送ケーブル
9 制御線
10 画像処理部
11 カメラ部
12 カメラECU部
21、22、23、24 トラッキング領域
31 非照射領域
32 照射領域
53 露光制御・画像選択部
54 部分領域設定部
【技術分野】
【0001】
本発明は、撮像装置に関し、例えば、運転者を撮像する撮像装置に関する。
【背景技術】
【0002】
従来から、撮像素子のフィールド毎に露光時間を変え、ダイナミックレンジを拡大した画像を取得する方法が存在する。例えば、特許文献1に記載の方法では、撮像素子における色フィルタアレイのフィールド毎にシャッタ時間又は絞りを切り替えて別々に撮像し、得られたそれぞれの画像を合成することにより1枚の画像を取得する方法が提案されている。具体的には、特許文献1に記載の方法は、長い第1シャッタ時間と短い第2シャッタ時間とを切り替えて撮像し、1フィールド毎のデータの信号レベルが所定のレベルより大きいか否かを判定している。データの信号レベルが所定のレベルより大きい場合は、短い第2シャッタ時間で撮像されたフィールドのデータが用いられ、所定のレベル以下の場合は長い第1シャッタ時間で撮像されたフィールドのデータが用いられ、合成される。このようにして、ダイナミックレンジの広い画像を撮像している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2000−78594号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、上記特許文献1に記載の方法では以下のような課題があった。すなわち、合成した画像を用いてエッジ検出等で画像処理を行う際、明るいエリアと暗いエリアとを結合した結合線をエッジとして誤検出してしまう場合がある。例えば、運転者の顔を撮像する撮像装置においては、目の検出方法としてエッジを元にベジェ曲線等により目の境界を検出しているため、結合画像の結合線があるとその結合線自体をエッジとして検出してしまう場合がある。このため、目や鼻、口等の顔部品を正確に検出することができなくなる。
【0005】
それ故、本発明の目的は、被写体の部分の画像処理において適した画像を取得可能な撮像装置を提供することである。
【課題を解決するための手段】
【0006】
本発明は、上記の課題を解決するために、以下の構成を採用した。なお、括弧内の参照符号および補足説明等は、本発明の理解を助けるために後述する実施形態との対応関係の一例を示したものであって、本発明を何ら限定するものではない。
【0007】
第1の発明は、撮像手段(2)と、部分領域設定手段(4、ステップS10。以下ステップ番号のみ記載)と、輝度情報算出手段(4、S12)と、画像取得手段(3、S15)とを備える撮像装置である。撮像手段は、それぞれ異なる露光時間で被写体を撮像した複数の全体画像を取得可能である。部分領域設定手段は、被写体が撮像される領域内に複数の部分領域(トラッキング領域)を設定する。輝度情報算出手段は、部分領域に対する輝度情報を算出する。画像取得手段は、部分領域に対する輝度情報に基づいて、撮像手段で撮像した複数の全体画像の中から、少なくとも1つの部分領域に対応付けされた1つの全体画像を該部分領域に対応する選択画像として取得する。
【0008】
この発明によれば、被写体を撮像した画像の部分領域の輝度情報に基づいて、当該部分領域に適した露光時間の画像を取得することができる。これにより、部分領域の画像処理に適した画像を取得することができる。
【0009】
第2の発明において、撮像装置は、画像分割手段(3、S15)と、画像結合手段(3、S15)とをさらに備えてもよい。画像分割手段は、部分領域に対応する選択画像から該部分領域を含む部分画像を分割する。画像結合手段は、部分画像を複数の部分領域毎に取得し、該複数の部分画像を結合して被写体を撮像した画像を結合画像として生成する。そして、画像結合手段は、複数の部分画像を結合する際、該部分画像の結合境界(結合線)が部分領域設定手段によって設定された部分領域に存在しないように、複数の部分画像を結合する。
【0010】
この発明によれば、露光時間の異なる複数の画像を結合する際、結合境界が上記部分領域内に存在しないように、複数の画像が結合される。これにより、画像認識の際、結合境界をエッジとして誤検出することを防止することができる。
【0011】
第3の発明において、撮像装置は、露光時間算出手段(3、S13)をさらに備えてもよい。露光時間算出手段は、輝度情報算出手段によって算出された輝度情報に基づいて、部分領域に対する露光時間を算出する。次に、撮像手段は、露光時間算出手段によって算出された露光時間で被写体を撮像する。そして、画像取得手段は、露光時間算出手段によって算出された露光時間で撮像した画像を上記選択画像として取得する。
【0012】
この発明によれば、部分領域毎に最適な露光時間の画像を取得することができる。これにより、部分領域において画像認識に適した画像を取得することができる。
【0013】
第4の発明において、撮像装置は、共通露光時間設定手段(3)をさらに備えてもよい。共通露光時間設定手段は、上記複数の部分領域のうち、2以上の部分領域の輝度情報が所定の条件を満たす場合、該部分領域に対する共通の露光時間を設定する。撮像手段は、共通露光時間設定手段によって設定された共通の露光時間で被写体を撮像する。そして、画像取得手段は、共通露光時間設定手段によって設定された共通の露光時間で撮影した画像を、上記共通の露光時間が設定された部分領域に対応する選択画像として取得する。
【0014】
この発明によれば、各部分領域に対して露光制御を行う場合に比べて、被写体の全体を撮像した画像を取得するために要する時間を短縮することができる。
【0015】
第5の発明において、撮像装置は、閾値変更手段をさらに備えてもよい。閾値変更手段は、露光時間算出手段によって算出された露光時間と共通露光時間設定手段で設定された共通の露光時間とに基づいて、共通の露光時間が設定された部分領域内のエッジ検出の際に用いられる閾値を変更する。
【0016】
この発明によれば、複数の部分領域に対して共通の露光時間で撮像した場合でも、当該領域内のエッジ検出の閾値を変更することができる。これにより、共通の露光時間で撮像した場合でも、エッジ検出の精度を維持することができる。
【0017】
第6の発明において、上記共通露光時間設定手段は、上記所定の条件として、部分領域の平均輝度が所定の範囲であり、かつ、部分領域の平均輝度の差が所定の範囲である場合、該部分領域に対する共通の露光時間を設定してもよい。
【0018】
この発明によれば、複数の部分領域の平均輝度が所定の条件を満たす場合、当該領域に対して共通の露光時間を設定することができる。
【0019】
第7の発明において、画像取得手段は、撮像手段が配設されたカメラ部に配設されてもよい。また、部分領域設定手段と、輝度情報算出手段とは、カメラ部とは別体のカメラECU部に配設されてもよい。そして、カメラ部は、カメラECU部の要求に応じて、カメラECU部に対して上記選択画像を伝送する。
【0020】
この発明によれば、カメラ部は、カメラECU部に対して、選択画像を伝送することができる。これにより、カメラECU部は、画像処理に必要な選択画像を取得することができる。
【0021】
第8の発明において、カメラ部とカメラECU部とは、伝送ケーブルと制御線とで接続されてもよい。カメラECU部は、制御線を介して上記輝度情報及び上記部分領域を含む制御信号を送信する。カメラ部は、伝送ケーブルを用いて上記選択画像を伝送する。
【0022】
この発明によれば、制御線及び伝送ケーブルを用いてカメラ部とカメラECU部とを接続することができる。
【0023】
第9の発明において、上記伝送ケーブルで伝送する信号はNTSCであってもよい。
【0024】
この発明によれば、比較的安価で実績のあるNTSCケーブルを使用することができる。
【0025】
第10の発明において、上記伝送ケーブルで伝送する信号はGVIFまたはLVDSであってもよい。
【0026】
この発明によれば、取得した画像をデジタル伝送することができる。また、高速伝送が可能なため、より高画質な画像を伝送することができる。
【0027】
第11の発明において、上記伝送ケーブルは、シールド線付の差動信号伝送ケーブルであり、該シールド線を制御線として使用してもよい。
【0028】
この発明によれば、カメラ部とカメラECU部とを接続する制御線を省略することができるため、低コスト化を実現できる。また、制御線を省略することによって、ケーブルの配線スペースを省略することができる。
【0029】
第12の発明において、画像取得手段と、画像分割手段と、画像結合手段とは、撮像手段が配設されたカメラ部に配設されてもよい。また、部分領域設定手段と、輝度情報算出手段とは、カメラ部とは別体のカメラECU部に配設されてもよい。そして、カメラ部は、カメラECU部の要求に応じて、カメラECU部に対して結合画像又は選択画像を伝送する。
【0030】
この発明によれば、カメラ部は、カメラECU部に対して、結合画像又は選択画像を伝送することができる。
【0031】
第13の発明において、部分領域設定手段と、輝度情報算出手段と、画像取得手段と、画像分割手段と、画像結合手段とは、撮像手段が配設されたカメラ部に配設されてもよい。そして、カメラ部は、カメラ部とは別体の画像認識処理を行うカメラECU部に対して結合画像を伝送する。
【0032】
この発明によれば、カメラECU部からカメラ部に対して制御信号を送信しなくてもよいため、信号の送受信に関する遅延を防止することができる。また、制御線を省略することができ、低コスト化を実現できる。
【0033】
第14の発明において、輝度情報算出手段は、部分領域の輝度情報として、部分領域における各画素の輝度に関するヒストグラムを算出してもよい。そして、画像取得手段は、上記輝度に関するヒストグラムに基づいて選択画像を取得する。
【0034】
この発明によれば、輝度情報として、輝度に関するヒストグラムを用いて、選択画像を取得することができる。
【0035】
第15の発明において、画像取得手段は、部分領域において所定の範囲の輝度値を持つ画素の割合が所定の値より小さい全体画像を、上記選択画像として取得してもよい。
【0036】
この発明によれば、白飛び又は黒つぶれしている可能性のある画像を除外することができる。
【0037】
第16の発明において、画像取得手段は、部分領域において所定の範囲の輝度値を持つ画素の割合が所定の値より小さい全体画像が複数存在する場合、露光時間の最も短い全体画像を上記選択画像として取得してもよい。
【0038】
この発明によれば、露光時間の短い画像を選択することができ、ブレの少ない画像を取得することができる。
【0039】
第17の発明において、輝度情報算出手段は、部分領域の輝度情報として、部分領域におけるエッジ強度に関するヒストグラムを算出してもよい。そして、画像取得手段は、エッジ強度に関するヒストグラムに基づいて上記選択画像を取得する。
【0040】
この発明によれば、エッジ強度に関するヒストグラムを用いて、選択画像を取得することができる。
【0041】
第18の発明において、撮像手段は、予め定められた複数の異なる露光時間で複数の全体画像を撮像してもよい。そして、画像取得手段は、予め定められた複数の露光時間の全体画像から1つの画像を選択画像として取得する。
【0042】
この発明によれば、露光時間を算出する時間を短縮することができるため、被写体が移動した場合の影響を軽減することができる。
【0043】
第19の発明において、撮像装置は、スケジューリング手段(S40)をさらに備えてもよい。スケジューリング手段は、露光時間算出手段によって算出された露光時間の短い順に撮像すべき順番をスケジューリングする。そして、撮像手段は、スケジューリング手段によってスケジュールされた順に全体画像を撮像する。
【0044】
この発明によれば、露光時間の長いものから順に撮像する場合に比べて、被写体が移動する場合の影響を低減することができる。すなわち、被写体の移動によって撮像する時間が遅い部分領域はより大きく移動するため、被写体の部分が設定された部分領域を外れる場合があるが、この発明によれば、被写体の移動による影響を軽減することができる。
【0045】
第20の発明において、撮像装置は、部分領域変更手段(S42)をさらに備えてもよい。部分領域変更手段は、スケジューリング手段によってスケジュールされた順が遅くなるに従って部分領域の範囲を移動又は拡大する。
【0046】
この発明によれば、被写体が移動する場合の影響を低減することができる。すなわち、被写体の移動によって撮像する時間が遅い部分領域はより大きく移動するが、部分領域を拡大又は移動させることにより、移動後でも被写体の部分が当該部分領域から外れることを防止することができる。
【0047】
第21の発明において、複数の部分領域毎に動的予測処理を行う動的予測手段(S41)をさらに備えてもよい。
【0048】
この発明によれば、被写体が移動する場合においても移動の方向や移動量を予測することができ、その予測に従って、部分領域の拡大又は移動をすることができる。
【0049】
第22の発明において、部分領域設定手段は、被写体の撮像範囲のうち、予め定められた所定の範囲を部分領域として設定してもよい。
【0050】
この発明によれば、被写体の部分の初期発見時においても、初期発見に適した画像を取得することができる。
【発明の効果】
【0051】
被写体を撮像した画像の部分領域の輝度情報に基づいて、当該部分領域に適した露光時間の画像を取得することができる。これにより、部分領域の画像処理に適した画像を取得することができる。
【図面の簡単な説明】
【0052】
【図1】第1の実施形態に係る撮像装置の構成を示すブロック図
【図2】運転者の顔の各部品について複数のトラッキング領域を設定した様子を示した図
【図3A】運転者の顔の一部に太陽光などの強い光が照射した場合において、撮像センサ2によって撮像された露光時間の短い画像を示した図
【図3B】運転者の顔の一部に太陽光などの強い光が照射した場合において、撮像センサ2によって撮像された露光時間の長い画像を示した図
【図4】露光制御・選択結合部3が、短い露光時間で撮像された画像と長い露光時間で撮像された画像とを結合する様子を示した図
【図5】4つのトラッキング領域に対して異なる露光時間の画像を撮像し、結合する様子を示した図
【図6】撮像装置1の動作の流れを示すフローチャート
【図7】輝度情報が所定の範囲の場合、予め定められた共通露光時間を設定するための露光時間変換テーブルの一例を示す図
【図8】変形例2に係る撮像装置の構成を示すブロック図
【図9】第2の実施形態に係る撮像装置の構成を示すブロック図
【図10】第2の実施形態に係る撮像装置50の動作の流れを示すフローチャート
【図11】複数のトラッキング領域と複数の撮像画像との輝度情報に関する対応テーブルの一例を示す図
【図12】第3の実施形態に係る撮像装置の動作の流れを示すフローチャート
【発明を実施するための形態】
【0053】
(第1の実施形態)
以下、図面を参照して本発明の第1の実施形態に係る撮像装置について、説明する。図1は、第1の実施形態に係る撮像装置の構成を示すブロック図である。第1の実施形態に係る撮像装置1は、例えば、車両に搭載され、運転者の顔を撮影するために用いられる。
【0054】
図1に示されるように、撮像装置1は、撮像センサ2と、露光制御・選択結合部3と、部分領域設定・輝度情報算出部4とを備える。撮像センサ2と露光制御・選択結合部3とは、カメラ部11に配設されている。部分領域設定・輝度情報算出部4は、カメラECU部12に配設されている。また、カメラ部11には、画像を一時的に保存しておくためのバッファ6が配設されている。同様に、カメラECU部12には、バッファ7が配設されている。また、画像処理部10がカメラECU部12に配設されている。さらに、カメラ部11とカメラECU部12とは、伝送ケーブル8と制御線9とで接続されている。以下、各部について説明する。
【0055】
(撮像装置1の各部の説明)
カメラ部11は、撮像センサ2及び露光制御・選択結合部3を搭載したカメラである。カメラ部11は、車両の室内、例えば、ステアリングコラムカバーの上部に配設され、運転者の顔を撮像可能に配設される。カメラ部11は、例えば、近赤外線LEDを搭載し、運転者の顔を照明してもよい。
【0056】
カメラECU部12は、カメラ部11とは物理的に離れた位置に配設され、例えば、インストルメントパネル内部に配設される。カメラECU部12は、具体的には、CPU、RAM、ROM等を備える情報処理装置であり、プログラムが実行されることによって部分領域設定・輝度情報算出部4及び画像処理部10を実現する。
【0057】
撮像センサ2は、被写体を撮像する撮像手段であり、レンズから入射した光を電気信号に変換する。撮像センサ2は、被写体である運転者の顔を含む車両の運転席周辺を所定の解像度で撮影する。撮像センサ2により撮像された画像は、一時的にバッファ6に保存される。撮像センサ2は、露光制御・選択結合部3により露光制御が行われ、複数の露光時間の異なる画像を撮像可能である。撮像センサ2は、具体的には、CCDイメージセンサやCMOSイメージセンサ等である。撮像センサ2の各画素の輝度値は、例えば、8ビット(最大輝度255)で表される。
【0058】
露光制御・選択結合部3は、所定の処理を行う回路である。すなわち、露光制御・選択結合部3は、例えばシャッタスピードを制御することにより撮像センサ2に対する露光制御を行う。また、露光制御・選択結合部3は、撮像センサ2によって撮像された露光時間の異なる複数の画像を結合する。具体的には、露光制御・選択結合部3は、部分領域設定・輝度情報算出部4から部分領域毎に部分領域の範囲及び輝度情報を受信する。ここで部分領域とは、被写体(運転者の顔)の一部の領域であり、部分領域は、部分領域設定・輝度情報算出部4によって複数設定される。露光制御・選択結合部3は、受信した部分領域の範囲及びその部分領域の範囲に対する輝度情報に基づいて、部分領域毎に、当該部分領域に対応する選択画像(撮像センサ2により撮像された画像の中から選択された画像であって、1つの部分領域に対応付けられた1つの画像)を選択する。より具体的には、露光制御・選択結合部3は、受信した部分領域の範囲及びその部分領域の範囲に対する輝度情報に基づいて、部分領域毎に、当該部分領域に対する露光時間を算出し、算出した露光時間で運転者を撮像するように撮像センサ2を制御する。そして、露光制御・選択結合部3は、算出した露光時間で撮像された各画像を各部分領域に対応する選択画像としてそれぞれ取得する。次に、露光制御・選択結合部3は、各選択画像をそれぞれの部分領域を含む部分画像に分割し、分割した複数の部分画像を結合して1つの結合画像を生成する。すなわち、露光制御・選択結合部3は、1つの部分領域に対する1つの選択画像(全体画像)を取得し、他の部分領域に対する他の選択画像を取得し、これらの選択画像を結合することによって、1つの結合画像を生成する。そして、露光制御・選択結合部3は、生成した結合画像を、伝送ケーブル8を介してカメラECU部12に伝送する。なお、複数の部分領域の輝度情報が同一又は所定の範囲である場合、当該複数の部分領域に対応する1つの画像が選択画像として取得されてもよい。また、露光制御・選択結合部3は、上記複数の部分画像を結合せずに撮像センサ2により撮像した全体画像をそのままカメラECU部12に伝送する場合もある。また、露光制御・選択結合部3は、露光制御としてゲインを調整してもよい。露光制御・選択結合部3の詳細については、後述する。
【0059】
部分領域設定・輝度情報算出部4は、実際にはカメラECU部12のCPUがプログラムを実行することによって実現される。部分領域設定・輝度情報算出部4は、撮像センサ2により撮像された全体画像から運転者の顔の部品(目、鼻、口等)を認識し、各部品をトラッキング領域として複数設定する。また、部分領域設定・輝度情報算出部4は、設定した複数のトラッキング領域のうち、1つのトラッキング領域について、輝度情報を算出する。そして、部分領域設定・輝度情報算出部4は、複数のトラッキング領域について、トラッキング領域の範囲と当該トラッキング領域の輝度情報とを制御線9を介して露光制御・選択結合部3に送信する。ここで、輝度情報とは、トラッキング領域内の各画素の輝度値に関する情報であり、例えば、当該トラッキング領域における平均輝度(各画素の輝度値の平均)である。輝度情報は、トラッキング領域の最大輝度や最小輝度であってもよい。また、部分領域設定・輝度情報算出部4は、輝度情報としてトラッキング領域における輝度に関するヒストグラム(輝度に関する各画素の頻度分布)を算出してもよい。
【0060】
バッファ6及びバッファ7は、画像を一時的に保存する記憶手段である。バッファ6は、撮像センサ2により撮像された画像を一時的に保存し、保存した画像を露光制御・選択結合部3に出力する。バッファ7は、露光制御・選択結合部3から出力された、結合画像又は撮像センサ2により撮像した全体画像を一時的に保存し、保存した画像を部分領域設定・輝度情報算出部4に出力する。
【0061】
伝送ケーブル8及び制御線9は、カメラ部11とカメラECU部12とを接続する。伝送ケーブル8は、画像伝送ケーブルであり、カメラ部11からカメラECU部12に対して画像をNTSC信号で伝送する。制御線9は、カメラECU部12からカメラ部11に対して制御信号を送信するためのケーブルである。なお、カメラ部11とカメラECU部12とは、伝送ケーブル8および制御線9で物理的に接続される必要は無く、無線通信により画像および制御信号が伝送されてもよい。
【0062】
画像処理部10は、実際にはカメラECU部12のCPUがプログラムを実行することによって実現される。画像処理部10は、カメラ部11から伝送された画像を画像処理し、統計処理することにより、運転者の状態推定等を行う。例えば、画像処理部10は、結合画像のうち目の部分(目のトラッキング領域)に基づいて運転者の目の開閉状態を認識し、運転者が正常な状態か否かを判断する。そして、画像処理部10は、運転者の状態推定結果に応じて、車両の制御を行う制御ECUに対して、必要な動作を行うように制御信号を送信する。なお、画像処理部10の動作については本発明の特徴部分ではないため、詳細な説明を省略する。
【0063】
(撮像装置1の動作の説明)
次に、撮像装置1の動作について、図2から図7を参照して説明する。図2は、運転者の顔の各部品について複数のトラッキング領域を設定した様子を示した図である。まず、部分領域設定・輝度情報算出部4は、撮像センサ2により撮像された画像から運転者の顔の各部品である、左目、右目、鼻、及び、口を認識し、それぞれについてトラッキング領域を設定する(初期発見する)。具体的には、部分領域設定・輝度情報算出部4は、図2に示されるように、運転者の右目の領域であるトラッキング領域21、左目の領域であるトラッキング領域22、鼻の領域であるトラッキング領域23、及び、口の領域であるトラッキング領域24を設定する。以降、初期発見により顔の各部品に対するトラッキング領域が設定された後の撮像装置1の動作について、詳細に説明する。
【0064】
上述したように、撮像センサ2は、露光制御されることにより、複数の露光時間の異なる画像を撮像可能である。以下では、運転者の顔に太陽光などの強い光が照射した場合において、短い露光時間と長い露光時間とで運転者の顔を撮像した場合について説明する。
【0065】
図3Aは、運転者の顔の一部に太陽光などの強い光が照射した場合において、撮像センサ2によって撮像された露光時間の短い画像を示した図である。図3Aに示されるように、短い露光時間で撮像された画像は、強い光が照射された下半分(照射領域32)と光が照射されない上半分(非照射領域31)とに分けられる。非照射領域31は、当該領域にある顔部品が認識できない程度に黒つぶれしている。これは、非照射領域31に照射した光が弱く、かつ、露光時間が十分ではないため、受光した光量が少ないためである。一方、照射領域32は、当該領域にある顔部品を認識することができる程度に各部品の境界が明瞭である。これは、照射領域32に照射した光が強いため、短い露光時間でも十分な光量が得られるからである。このように、短い露光時間で撮像された画像は、顔の全部品について明瞭な画像を得ることができず、一部の顔部品(鼻及び口)のみについて明瞭な画像が得られる。
【0066】
一方、露光時間が長い場合は、上記非照射領域31にある顔部品を認識可能な画像が得られる。図3Bは、運転者の顔の一部に太陽光などの強い光が照射した場合において、撮像センサ2によって撮像された露光時間の長い画像を示した図である。図3Bに示されるように、長い露光時間で撮像された画像は、非照射領域31にある顔部品(右目及び左目)を認識できる程度に各部品の境界が明瞭である。これは、非照射領域31に照射した光は弱いが、露光時間が長いため十分な光量が得られるからである。しかしながら、その一方で、照射領域32にある顔部品(鼻及び口)は、その境界を認識できない程度に白飛びしている。これは、照射領域32に照射した光が強く、かつ、露光時間が長いため受光した光量が大きすぎるためである。すなわち、撮像センサ2の照射領域32に対応する各画素の輝度値が最大輝度(255)に達している(最大輝度を超えている)ため、当該領域が白飛びしている。これにより、照射領域32にある顔部品(鼻及び口)が認識できなくなっている。
【0067】
上述したように、短い露光時間で撮像された画像は、鼻及び口が明瞭な画像であり、長い露光時間で撮像された画像は、右目及び左目が明瞭な画像である。露光制御・選択結合部3は、これら2つの画像を結合することで、1つの結合画像を生成する。図4は、露光制御・選択結合部3が、短い露光時間で撮像された画像と長い露光時間で撮像された画像とを結合する様子を示した図である。図4に示されるように、露光制御・選択結合部3は、トラッキング領域に結合線が存在しないように、短い露光時間で撮像された画像と長い露光時間で撮像された画像とを結合する。ここで、結合線とは、複数の画像を結合する場合の各画像の境界線であり、2つの画像を結合する場合は、結合線は1本となる。
【0068】
具体的には、露光制御・選択結合部3は、次のような処理を行う。まず、露光制御・選択結合部3は、制御線9を介して部分領域設定・輝度情報算出部4から複数のトラッキング領域及び各トラッキング領域に対する輝度情報を受信する。次に、露光制御・選択結合部3は、各トラッキング領域の輝度情報に基づいて、各トラッキング領域に対する露光時間を算出する。すなわち、露光制御・選択結合部3は、右目の領域であるトラッキング領域21に対する露光時間、左目の領域であるトラッキング領域22に対する露光時間、鼻の領域であるトラッキング領域23に対する露光時間、及び、口の領域であるトラッキング領域24に対する露光時間を算出する。各領域に対する露光時間の算出は、例えば、次のようにして行われる。
【0069】
部分領域設定・輝度情報算出部4は、各トラッキング領域に対する輝度情報として、例えば、各トラッキング領域における平均輝度を算出する。そして、露光制御・選択結合部3は、算出された各領域の平均輝度に基づいて各領域に対する露光時間を算出する。露光制御・選択結合部3は、平均輝度が比較的高い場合は、露光時間を短く、平均輝度が比較的低い場合は、露光時間を長く設定する。ここでは、トラッキング領域21及び22(右目及び左目)の平均輝度が同じであり、トラッキング領域23及び24(鼻及び口)の平均輝度が同じであるとする。
【0070】
次に、露光制御・選択結合部3は、算出した各領域に対する露光時間で運転者の顔を撮像するように撮像センサ2を制御する。ここでは、露光制御・選択結合部3で算出された露光時間は、トラッキング領域21及び22(右目及び左目)に対しては10msec、トラッキング領域23及び24(鼻及び口)に対しては1msecとする。次に、撮像センサ2は、10msecの露光時間の画像(長い露光時間の画像)と1msecの露光時間の画像(短い露光時間の画像)とを撮像し、2つの画像をバッファ6に保存する。そして、露光制御・選択結合部3は、トラッキング領域21及び22に対する長い露光時間の画像(トラッキング領域21及び22に対応する選択画像)とトラッキング領域23及び24に対する短い露光時間の画像(トラッキング領域23及び24に対応する選択画像)とを、バッファ6から取得する。
【0071】
次に、露光制御・選択結合部3は、取得した2つの画像を結合する。例えば、図4に示されるように、露光制御・選択結合部3は、長い露光時間の画像をトラッキング領域21及び22を完全に含むように結合線を定めて分割し、結合線より上の部分画像をトラッキング領域21及び22の部分画像として取得する。例えば、露光制御・選択結合部3は、トラッキング領域21とトラッキング領域23との中間を横方向(水平方向)の結合線として定める。あるいは、露光制御・選択結合部3は、トラッキング領域21及び22の下端を結合線として定めてもよい。同様に、露光制御・選択結合部3は、短い露光時間の画像を、定められた結合線で分割し、結合線より下の部分画像をトラッキング領域23及び24の部分画像として取得する。そして、露光制御・選択結合部3は、これら2つの部分画像を結合し、1つの結合画像を生成する。図4に示されるように、結合画像の境界線より上の部分は、長い露光時間の画像における結合線より上の部分であり、結合画像の境界線より下の部分は、短い露光時間の画像における結合線より下の部分である。そして、生成された結合画像は、伝送ケーブル8を介してカメラECU部12に伝送され、画像処理がなされる。なお、結合線は、各トラッキング領域内に存在しなければどのようにして定められてもよく、曲線であってもよい。
【0072】
このようにして生成された結合画像では、図4に示される結合線より上の部分はトラッキング領域21及び22に対して画像認識に適した露光時間の画像(画像認識が可能な境界が明瞭な画像)であり、結合線より下の部分はトラッキング領域23及び24に対して画像認識に適した露光時間の画像である。さらに、各トラッキング領域に結合線が存在しない。このため、得られた結合画像を用いて画像処理をする場合、誤って結合線をエッジ検出することを防止することができる。
【0073】
なお、上記では、長い露光時間の画像と短い露光時間の画像との2つの画像を撮像して結合したが、各トラッキング領域に対して異なる露光時間の画像を取得し、結合してもよい。例えば、4つのトラッキング領域に対してそれぞれ異なる露光時間の4つ画像(4つのトラッキング領域に対応する4つの選択画像)を撮像し、これら4つの画像を結合してもよい。図5は、4つのトラッキング領域に対して異なる露光時間の画像を撮像し、結合する様子を示した図である。図5に示されるように、各トラッキング領域を含む画像がトラッキング領域に対する部分画像として分割され、1つの結合画像が生成されている。すなわち、生成された結合画像は、トラッキング領域24に対応する選択画像(1msecで撮像)の部分である部分画像aと、トラッキング領域23に対応する選択画像(2msecで撮像)の部分である部分画像bと、トラッキング領域21に対応する選択画像(10msecで撮像)の部分である部分画像cと、トラッキング領域22に対応する選択画像(12msecで撮像)の部分である部分画像dとを結合した画像である。
【0074】
次に、上述した撮像装置1の詳細な動作について、図6を参照して説明する。図6は、撮像装置1の動作の流れを示すフローチャートである。図6のフローチャートで示される処理は、カメラECU部12によって制御される。図6のフローチャートで示される処理は、例えば、車両が走行中に繰り返し実行される。
【0075】
ステップS10において、部分領域設定・輝度情報算出部4(カメラECU部12)は、運転者の顔の各部品である右目、左目、鼻、及び、口を認識し、それぞれについてトラッキング領域(トラッキング領域21〜24)を設定する。具体的には、カメラECU部12は、露光制御・選択結合部3に対して制御線9を介して所定の露光時間で画像を撮像するように命令を送信する。撮像された画像は、伝送ケーブル8を介してバッファ7に伝送される。そして、カメラECU部12は、撮像センサ2により撮像された画像をバッファ7から読み出し、従来の顔認識技術であるパターンマッチングやエッジ検出等により各顔部品を認識する。次に、カメラECU部12は、各顔部品について位置と大きさを設定し、カメラECU部12内のRAMに保存する。なお、ステップS10では、上述した顔部品の初期発見と初期発見後の各顔部品の追跡とを行う。すなわち、既に以前のサイクル(図6のフローチャートで示される1回の処理を1サイクルとする)において、初期発見がなされている場合は、カメラECU部12は、設定されたトラッキング領域に基づいて各顔部品を認識し、各顔部品が移動している場合は、顔部品の移動量に応じてトラッキング領域の位置を移動させる。各顔部品の追跡のために用いられる画像は、前回サイクル時にバッファ7に保存された1つの結合前の画像であってもよい。また、顔部品の初期発見及び各顔部品の追跡のために用いられる画像は、結合後の画像であってもよいし、複数の露光時間の異なる画像(結合前の画像)であってもよい。次に、ステップS11の処理が実行される。
【0076】
ステップS11において、カメラECU部12は、複数のトラッキング領域のうち、1つのトラッキング領域に対する輝度情報を算出する。カメラECU部12は、既に輝度情報が算出されたトラッキング領域以外のトラッキング領域について、輝度情報を算出する。カメラECU部12は、具体的には、トラッキング領域に対する輝度情報として、トラッキング領域における平均輝度を算出する。すなわち、カメラECU部12は、各領域に含まれる画素の輝度値の和を各領域に含まれる画素数で除した値を算出し、制御線9を介して露光制御・選択結合部3に送信する。次に、ステップS12の処理が実行される。
【0077】
ステップS12において、カメラECU部12は、すべてのトラッキング領域に対して輝度情報が算出されたか否かを判定する。判定結果が肯定の場合、次にステップS13の処理が実行される。判定結果が否定の場合、ステップS11の処理が再び実行される。
【0078】
ステップS13において、露光制御・選択結合部3は、各トラッキング領域の平均輝度に基づいて、各トラッキング領域に対する露光時間を算出する。具体的には、カメラECU部12が、露光制御・選択結合部3に対して制御線9を介して命令を送信する。命令を受信した露光制御・選択結合部3は、予め露光制御・選択結合部3に保存された露光時間変換テーブルにより、各トラッキング領域に対する露光時間を算出する。ここで、露光時間変換テーブルは、予め露光制御・選択結合部3に保存された平均輝度と露光時間との対応表である。次に、ステップS14の処理が実行される。
【0079】
ステップS14において、算出された露光時間で撮像した画像が取得される。具体的には、露光制御・選択結合部3は、各トラッキング領域に対する露光時間で画像を撮像するように撮像センサ2を制御し、複数の異なる露光時間の画像を取得する。すなわち、露光制御・選択結合部3は、トラッキング領域21に対応する選択画像、トラッキング領域22に対応する選択画像、トラッキング領域23に対応する選択画像、及び、トラッキング領域24に対応する選択画像を取得する。次に、ステップS15の処理が実行される。
【0080】
ステップS15において、露光制御・選択結合部3は、ステップS14で取得した複数の選択画像を結合し、結合画像を生成する。具体的には、露光制御・選択結合部3は、取得した複数の選択画像を、それぞれのトラッキング領域を含む部分画像に分割する。すなわち、露光制御・選択結合部3は、例えば、トラッキング領域21を完全に含む部分画像を当該トラッキング領域21に対応する選択画像から分割する。具体的には、例えば、露光制御・選択結合部3は、トラッキング領域21及び22の位置と大きさとに基づいて、各領域から等距離にある点を通る線分を1つの結合線として算出する。同様に、露光制御・選択結合部3は、トラッキング領域21及び23から等距離にある点を通る線分を他の結合線として算出する。このようにして隣り合う領域と領域との中間を通る結合線を算出することにより、各領域は、それぞれの領域を含む部分に分割される。そして、露光制御・選択結合部3は、各トラッキング領域に対応する選択画像を上記方法で算出した結合線で分割して切り取ることにより、各トラッキング領域に対する部分画像を取得する。そして、露光制御・選択結合部3は、これらの部分画像を結合し、1つの結合画像を生成する。露光制御・選択結合部3は、生成した結合画像をカメラECU部12のバッファ7に伝送ケーブル8を介して伝送する。次に、ステップS16の処理が行われる。
【0081】
ステップS16において、画像処理部10(カメラECU部12)は、伝送された結合画像を画像処理することによって、運転者の状態を推定する。具体的には、カメラECU部12は、バッファ7に保存された結合画像を取得し、各トラッキング領域に対して種々の画像処理を行う。例えば、画像処理部10は、トラッキング領域21及び22に対してエッジ検出を行うことにより、運転者の目の開閉状態を検出する。また、画像処理部10は、トラッキング領域23及び24に対してエッジ検出を行うことにより、運転者の顔の向きを検出する。そして、カメラECU部12は、目の開閉状態から運転者の覚醒状態を推定したり、運転者の顔の向きから運転者の注意状態を判断したりする。
【0082】
以上のようにして、撮像装置1は、トラッキング領域毎に異なる露光時間の画像を撮像し、トラッキング領域内に結合線が存在しないように、複数の画像を結合する。これによってトラッキング領域内に結合線を有さない画像を取得することができ、エッジ検出の際に誤検出を防止することが可能な画像を取得することができる。従って、画像処理に適した画像を取得することができる。
【0083】
なお、本実施形態では、部分領域設定・輝度情報算出部4は、各トラッキング領域に対する輝度情報として、各トラッキング領域における平均輝度を算出した。他の実施形態では、各トラッキング領域の輝度情報として、トラッキング領域における輝度値の最大値又は最小値を算出してもよい。また、トラッキング領域内の一部の領域の平均輝度であってもよく、トラッキング領域内の一部の領域における最大輝度又は最小輝度であってもよい。また、算出される輝度情報は、トラッキング領域内の輝度に関するヒストグラムであってもよい。例えば、所定の第1閾値より大きな輝度値を有する画素の割合を輝度情報として算出してもよい。同様に、所定の第2閾値より小さな輝度値を有する画素の割合を輝度情報として算出してもよい。さらに、輝度情報として、トラッキング領域内のエッジ強度に関するヒストグラムが算出されてもよい。そして、以上のようにして算出された輝度情報に基づいて、露光制御・選択結合部3は、露光時間を算出する。
【0084】
また、本実施形態では、露光制御・選択結合部3は、予め定められた露光時間変換テーブルにより、露光時間を算出したが、他の実施形態では、輝度情報と露光時間とを関連付けた関係式に基づいて、露光時間を算出してもよい。
【0085】
また、本実施形態では、露光制御・選択結合部3は、複数の露光時間の異なる画像を結合してカメラECU部12に伝送したが、結合せずに複数の露光時間の異なる画像(複数の選択画像)をそのまま伝送してもよい。このように結合せずに伝送することで、結合するための処理を省略することができる。これにより、処理負荷の低減、及び、結合処理による時間の遅延を防止することができる。
【0086】
また、本実施形態では、部分領域設定・輝度情報算出部4は、トラッキングすべき顔部品をトラッキング領域として設定したが、他の実施形態では、トラッキング領域は、予め定められた部分領域であってもよい。すなわち、初期発見時のように、トラッキング領域が定められていない場合においても、予め画像を部分領域に分割しておく。そして、各部分領域に対する輝度情報に基づいて、各部分領域に対する露光時間を算出することで、各部分領域の画像認識に適した画像を取得することができ、初期発見に適した画像を取得することができる。
【0087】
また、他の実施形態では、伝送ケーブル8は、シールド線付の差動信号伝送ケーブルでもよい。この場合、カメラ部11において画像のアナログ信号がデジタル信号に変換され、カメラ部11からカメラECU部12へGVIFまたはLVDS信号により、デジタル化された画像が伝送される。さらに、この場合、上記シールド線を制御線9として利用する。これにより、制御線9を省略することができる。
【0088】
(変形例1)
なお、第1の実施形態の変形例としては、算出される露光時間は、複数のトラッキング領域に対して共通の時間であってもよい。以下、第1の実施形態の変形例1について説明する。
【0089】
変形例1では、具体的には、複数のトラッキング領域に対する輝度情報が所定の範囲である場合、露光制御・選択結合部3は、それらトラッキング領域に対して共通の露光時間を設定する。図7は、輝度情報が所定の範囲の場合、予め定められた共通露光時間を設定するための露光時間変換テーブルの一例を示す図である。図7において、「輝度情報」の列は、露光時間を求めるトラッキング領域の輝度情報であり、具体的には、平均輝度である。また、「共通露光時間を用いる条件」の列は、複数のトラッキング領域に対して共通の露光時間を設定する際の条件である。すなわち、複数のトラッキング領域の輝度情報が、図7の「輝度情報」の列に示される同じ範囲にある場合においても、これら複数のトラッキング領域の輝度差が「共通露光時間を用いる条件」の列で示される範囲にない場合は、これら複数のトラッキング領域に対して共通の露光時間を設定しない。また、図7の「露光時間」の列に示される値は、複数のトラッキング領域に設定する共通の露光時間である。
【0090】
図7に示されるように、露光制御・選択結合部3は、輝度情報が所定の範囲の場合、予め定められた共通の露光時間を設定する。例えば、トラッキング領域21(右目の領域)の平均輝度が10で、トラッキング領域22(左目の領域)の平均輝度が7である場合、これら2つのトラッキング領域の平均輝度が1−20の範囲内であり、かつ、平均輝度の差が3であるため、露光制御・選択結合部3は、トラッキング領域21及び22の露光時間として共通の露光時間10msecを設定する。同様に、例えば、トラッキング領域23(鼻の領域)の平均輝度が120で、トラッキング領域24(口の領域)の平均輝度が150である場合、露光制御・選択結合部3は、トラッキング領域23及び24の露光時間として共通の露光時間1msecを設定する。
【0091】
このように、共通の露光時間を設定することにより、トラッキング領域毎に異なる露光時間で撮像する場合に比べて、短時間で画像を取得することができる。また、輝度情報が所定の範囲内である場合(輝度値が近い場合)、共通の露光時間で撮像した場合においてもある程度(画像認識が可能な程度に)明瞭な画像を取得することができる。
【0092】
以上のようにして、複数のトラッキング領域(例えば、右目及び左目の領域)に対して共通の露光時間を設定し、共通の露光時間でこれらのトラッキング領域(右目及び左目の領域)の画像を取得した場合、それぞれのトラッキング領域に最適な露光時間ではない可能性がある。従って、このような場合、トラッキング領域に対する最適な露光時間と共通の露光時間とに基づいて、当該トラッキング領域におけるエッジ検出の閾値を変更してもよい。すなわち、露光制御・選択結合部3は、第1の実施形態と同様、各トラッキング領域に対する露光時間を、最適な露光時間としてそれぞれ算出する。同時に、露光制御・選択結合部3は、複数のトラッキング領域(例えば、トラッキング領域21及び22)の輝度情報が所定の範囲内である場合、それらトラッキング領域に対して共通の露光時間を算出する。次に、露光制御・選択結合部3は、それぞれの最適な露光時間及び共通の露光時間をカメラECU部12に送信する。そして、画像処理部10(カメラECU部12)は、算出した最適な露光時間と共通の露光時間とのずれに基づいて、エッジ検出の閾値を変更する。例えば、トラッキング領域21の最適な露光時間が30msec、トラッキング領域22の最適な露光時間が50msec、共通の露光時間が40msecである場合、画像処理部10は、トラッキング領域21に対するエッジ検出処理の際、30msecと40msecとのずれに基づいて、エッジ検出の閾値を変更する(例えば、通常の閾値の3/4に設定する)。
【0093】
以上のようにして、エッジ検出の際の閾値を変更することにより、複数のトラッキング領域に対して共通の露光時間で撮像した場合においても、正確なエッジ検出処理を行うことができる。
【0094】
(変形例2)
次に、第1の実施形態に係る撮像装置の変形例2について説明する。図8は、変形例2に係る撮像装置の構成を示すブロック図である。撮像装置40では、第1の実施形態に係る撮像装置1の部分領域設定・輝度情報算出部4の位置が異なる。また、撮像装置40では、制御線9が省略されている。変形例2では、第1の実施形態に係る撮像装置1と同様の構成については、同一の符号を付し、説明を省略する。
【0095】
変形例2では、部分領域設定・輝度情報算出部4が、カメラ部11に移動している。すなわち、トラッキング領域の設定及び当該トラッキング領域の輝度情報の算出は、カメラ部11にて行われる。部分領域設定・輝度情報算出部4は、上述したトラッキング領域の設定及び当該トラッキング領域における輝度情報の算出を行う部分であり、1つの回路によって実現されてもよい。なお、露光制御・選択結合部3と部分領域設定・輝度情報算出部4とは、同一の回路によって実現されてもよいし、異なる回路によって実現されてもよい。
【0096】
本変形例では、カメラ部11の部分領域設定・輝度情報算出部4において、トラッキング領域が設定され、各トラッキング領域の輝度情報が算出される。そして、算出された輝度情報に基づいて、露光制御・選択結合部3が露光時間を算出し、各トラッキング領域に対する露光制御画像を取得する。そして、各露光制御画像を結合することによって、結合画像を生成し、結合画像をカメラECU部12に伝送する。
【0097】
このように、部分領域設定・輝度情報算出部4をカメラ部11に配設することにより、カメラ部11とカメラECU部12とを接続する制御線9が不要になる。従って、コストを低減することができる。また、カメラ部11とカメラECU部12との制御線9を介した情報の送受信が不要になり、遅延を防止することができる。
【0098】
(第2の実施形態)
次に、第2の実施形態に係る撮像装置について説明する。図9は、第2の実施形態に係る撮像装置の構成を示すブロック図である。第2の実施形態に係る撮像装置50では、第1の実施形態に係る撮像装置1の露光制御・選択結合部3及び部分領域設定・輝度情報算出部4がそれぞれ露光制御・画像選択部53及び部分領域設定部54に置換されている。第2の実施形態に係る撮像装置50において、第1の実施形態に係る撮像装置1と同様の構成については、同一の符号を付し、説明を省略する。
【0099】
露光制御・画像選択部53は、複数の露光時間の異なる画像を撮像した場合において、各トラッキング領域に対する輝度情報に基づいて、各トラッキング領域に対する1つの画像を選択する。第1の実施形態に係る撮像装置1の露光制御・選択結合部3は、各トラッキング領域に対する露光時間を算出し、算出した露光時間で露光制御を行い、複数の露光時間の異なる画像を取得した。すなわち、第1の実施形態では、ステップS10で撮像した画像の輝度情報に基づいて、撮像すべき画像の露光時間を算出し(ステップS13)、その露光時間で画像を撮像した。これに対して、第2の実施形態では、露光時間の異なる複数の画像を撮像し、撮像された画像中から各トラッキング領域に対応する選択画像が選択される。
【0100】
次に、上述した撮像装置50の詳細な動作について、図10を参照して説明する。図10は、第2の実施形態に係る撮像装置50の動作の流れを示すフローチャートである。図10において、図6と同様の処理については、同一のステップ番号を付し、説明を省略する。
【0101】
ステップS30において、撮像センサ2により複数の異なる露光時間の画像が撮像される。具体的には、カメラECU部12は、制御線9を介して、露光制御・画像選択部53に対して、複数の異なる露光時間の画像を取得するように命令を送信する。命令を受信した露光制御・画像選択部53は、複数の異なる露光時間で画像を撮像するように撮像センサ2を制御し、撮像センサ2が複数の画像を撮像する。露光時間は、前回サイクル時(ステップS13)に算出される。なお、露光時間は、予め定められてもよい。また、カメラECU部12からの命令を受信することなく、予め定められた時間間隔で複数の異なる露光時間の画像が撮像されてもよい。撮像された複数の異なる露光時間の画像は、バッファ6に送信され、一時的に保存される。次に、ステップS10からステップS12の処理が行われ、その後、ステップS31の処理が行われる。
【0102】
ステップS10からステップS13において、各トラッキング領域に対する輝度情報が算出され、次のサイクルで撮像される画像の露光時間が算出される。なお、第1の実施形態では、ステップS10からステップS12の処理はカメラECU部12(部分領域設定・輝度情報算出部4)によって行われたが、第3の実施形態では、ステップS11及びステップS12の処理は、露光制御・画像選択部53によって行われる。すなわち、ステップS10において、部分領域設定部54(カメラECU部12)は、第1の実施形態と同様、複数のトラッキング領域を設定する。次に、ステップS11及びステップS12において、露光制御・画像選択部53は、各トラッキング領域の情報(位置及び大きさ)をカメラECU部12から受信し、バッファ6に保存された複数の異なる露光時間の画像に対して、各トラッキング領域の輝度情報を算出する。具体的には、ステップS12において、露光制御・画像選択部53は、複数の異なる露光時間の画像のそれぞれについて1つのトラッキング領域に相当する画素の輝度値を取り出し、輝度情報として、例えば、それらの平均輝度を算出する。そして、露光制御・画像選択部53は、すべてのトラッキング領域に対して輝度情報を算出する。図11は、複数のトラッキング領域と複数の撮像画像との輝度情報に関する対応テーブルの一例を示す図である。図11に示されるように、画像Aから画像Dが撮像センサ2によって撮像された場合、露光制御・画像選択部53は、各トラッキング領域の平均輝度を、各画像に対して算出する。例えば、露光制御・画像選択部53は、画像Aのトラッキング領域21を取り出し、その領域の平均輝度を算出する。また、同様に画像Bのトラッキング領域21を取り出して、その領域の平均輝度を算出する。このようにして、1つのトラッキング領域に対して、画像毎にその領域の平均輝度を算出する。そして、すべてのトラッキング領域に対して、同様の処理を行うことにより(ステップS12でステップS11を繰り返すことにより)、図11に示される対応テーブルが作成される。また、ステップS13において、露光制御・画像選択部53は、第1の実施形態と同様、各トラッキング領域に対する露光時間を算出する。各トラッキング領域に対する露光時間は、ステップS30で撮像された1つの画像を用いて各トラッキング領域の輝度情報に基づいて算出される。算出された露光時間は次のサイクルにおけるステップS30の処理で用いられる。次に、ステップS31の処理が実行される。
【0103】
ステップS31において、露光制御・画像選択部53は、各トラッキング領域に対する輝度情報に基づいて、各トラッキング領域に対応する選択画像を選択する。具体的には、露光制御・画像選択部53は、ステップS11及びS12で算出された各トラッキング領域の輝度情報に基づいて、1つのトラッキング領域に対応する1つの画像をバッファ6に保存された複数の画像の中から選択する(トラッキング領域に対応する選択画像を選択する)。例えば、露光制御・画像選択部53は、予め定められた最適な平均輝度と各画像の当該トラッキング領域の平均輝度とを比較し、最適な平均輝度に最も近い画像を選択画像として選択する。このようにして、露光制御・画像選択部53は、すべてのトラッキング領域に対応する選択画像を選択する。
【0104】
なお、上記では、輝度情報として平均輝度を用いて選択画像が選択されたが、他の実施形態では、輝度情報として輝度に関するヒストグラムを用いて選択画像が選択されてもよい。例えば、露光制御・画像選択部53は、輝度情報として、トラッキング領域の各画素の輝度値に関するヒストグラムを作成する。そして、あるトラッキング領域において、露光制御・画像選択部53は、所定の条件を満たす画像のみをそのトラッキング領域に対応する選択画像の1つとして選択する(選択画像の候補として選択する)。所定の条件とは、例えば、そのトラッキング領域において、輝度値が所定の範囲(例えば、輝度値20〜240)である画素の割合が、所定の割合(例えば、80%)よりも小さい場合である。すなわち、ある画像のトラッキング領域において、所定の第1閾値(例えば、240)よりも大きな輝度値を有する画素の割合が所定の割合(例えば、20%)より大きい場合、そのような画像はそのトラッキング領域において白とびが発生している可能性が高い画像であると考えられるため、露光制御・画像選択部53は、選択画像として選択しない。一方、ある画像のトラッキング領域において、所定の第2閾値(例えば、20)よりも小さな輝度値を有する画素の割合が所定の割合(例えば、20%)より大きい場合、そのような画像はそのトラッキング領域において黒つぶれが発生している可能性が高い画像であると考えられるため、露光制御・画像選択部53は、選択画像として選択しない。なお、上記所定の条件を満たす画像が複数存在する場合、露光制御・画像選択部53は、露光時間の最も短い画像を選択画像として選択する。一般的に、被写体は移動するため、露光時間が長いほど画像にブレが生じる可能性が高い。従って、露光制御・画像選択部53が、輝度に関する所定の条件を満たした画像の中から最も露光時間の短い画像を選択することによって、画像認識に適した画像を取得することができる。このようにして、露光制御・画像選択部53は、トラッキング領域の輝度に関するヒストグラムに基づいて、複数の画像の中から1つの画像を選択画像として選択することができる。
【0105】
また、他の実施形態では、輝度情報としてエッジ強度に関するヒストグラムを用いて選択画像が選択されてもよい。ここで、エッジ強度とは、撮像された画像に対してエッジ処理した場合に、濃淡の変化の急激さを示す値である。エッジ強度は、撮像された画像について例えばソーベルフィルタを用いて水平方向(x方向)及び垂直方向(y方向)の一次微分を行うことにより、求められる。そして、上述した方法と同様、露光制御・画像選択部53は、求められたエッジ強度に関するヒストグラムに基づいて、画像を選択してもよい。例えば、露光制御・画像選択部53は、上述と同様の条件を満たす画像を選択してもよい。
【0106】
図10に戻り、次に、ステップS15及びステップS16の処理が実行される。なお、ステップS15の処理は、実行されなくてもよい。すなわち、ステップS31において選択された各トラッキング領域に対応する選択画像を結合せずに、各トラッキング領域に対応する選択画像がカメラECU部12に送信されてもよい。そして、画像処理部10(カメラECU部12)は、送信された各選択画像を画像処理し、目の開閉状態から運転者の覚醒状態を推定したり、運転者の顔の向き等を判断したりする。このように、各選択画像を結合せずに送信することによって、結合のための処理を省略することができる。また、複数の画像を結合せずに撮像された画像を用いて画像処理を行うため、エッジ検出の際に結合線をエッジとして誤検出することを防止することができる。また、ソーベルフィルタ等を用いて選択画像が選択される場合には、それぞれの選択画像に対してソーベルフィルタを適用し、ソーベルフィルタ適用後の画像をそのままカメラECU部12へ伝送してもよいし、ステップS15の処理において、ソーベルフィルタ適用後の画像を結合し、カメラECU部12へ伝送してもよい。そして、ステップS16において、画像処理部10で、ソーベルフィルタ適用後の画像に対して画像処理を行ってもよい。
【0107】
以上のように、第2の実施形態では、予め撮像された複数の露光時間の異なる画像の中から、トラッキング領域毎の輝度情報に基づいて、各トラッキング領域に対応する選択画像を選択する。これにより、各トラッキング領域に対して画像処理に適した画像を選択することができる。従って、トラッキング領域に対して画像処理を行う場合に、各トラッキング領域の画像処理に適した画像を取得することができる。また、露光制御をその都度行わないため、第1の実施形態と比較して遅延の少ない画像を取得することができる。
【0108】
(第3の実施形態)
次に、第3の実施形態に係る撮像装置について説明する。第3の実施形態に係る撮像装置の構成は、第1の実施形態に係る撮像装置1と同様であるため、説明を省略する。
【0109】
第3の実施形態では、第1の実施形態において各トラッキング領域に対する輝度情報に基づいて、露光時間を算出した後、露光時間が短い順に画像を撮像する。また、各トラッキング領域に対して、動的予測を行い、撮像する順番が遅いトラッキング領域に対して、当該トラッキング領域を移動又は拡大させる。このように、第3の実施形態では、スケジューリング処理、トラッキング領域に対する動的予測処理、及び、トラッキング領域の移動又は拡大処理が追加される。これらの処理は、カメラECU部12で行われる。以下、詳細について説明する。
【0110】
図12は、第3の実施形態に係る撮像装置の動作の流れを示すフローチャートである。図12において、図6と同様の処理については、同一のステップ番号を付し、説明を省略する。
【0111】
ステップS10からステップS13において、トラッキング領域が設定され、各トラッキング領域に対する露光時間が算出される。その後、ステップS40の処理が実行される。
【0112】
ステップS40において、カメラECU部12は、撮像順のスケジューリングを行う。具体的には、カメラECU部12は、露光制御・選択結合部3から制御線9を介して各トラッキング領域に対する露光時間を受信し、露光時間が短い順に順番を決定する。例えば、トラッキング領域21の露光時間が10msec、トラッキング領域22の露光時間が13msec、トラッキング領域23の露光時間が1msec、トラッキング領域24の露光時間が0.8msecと算出された場合、カメラECU部12は、撮像する順番をトラッキング領域24、23、21、22の順に設定する。次に、ステップS41の処理が実行される。
【0113】
ステップS41において、カメラECU部12は、各トラッキング領域に対して、動的予測を行う。具体的には、カメラECU部12は、例えば、カルマンフィルタを用いて各トラッキング領域に対する画像が撮像される時点における各トラッキング領域の位置及び範囲を予測する。これにより、例えば、運転者が進行方向の右側を見ようとしていることにより、トラッキング領域21が進行方向に対して右側に所定の距離だけ移動しようとしている場合、カメラECU部12は、所定時間後(画像が撮像される時点)のトラッキング領域21の位置を現在の位置より進行方向の右側に予測する。なお、動的予測の方法については、どのような方法(例えば、移動平均を算出する方法や最小二乗法等)でもよい。次に、ステップS42の処理が実行される。
【0114】
ステップS42において、カメラECU部12は、各トラッキング領域に対する動的予測の結果に基づいて、各トラッキング領域の位置を移動又は各トラッキング領域を拡大する。例えば、カメラECU部12は、ステップS41においてトラッキング領域21が所定時間後に進行方向の右側に所定距離だけ移動すると予測した場合、トラッキング領域21の位置を右側に所定距離移動させる。又は、カメラECU部12は、予測した移動後の位置を含むようにトラッキング領域21を現在設定されている大きさよりも拡大する。
【0115】
次に、ステップS14からステップS16の処理が実行される。なお、ステップS14において、ステップS40で設定された順番に、画像が撮像される。
【0116】
以上のようにして、露光時間の短いトラッキング領域から順番に撮像し、順番の遅いトラッキング領域ほど当該領域を移動又は拡大することにより、運転者の顔が移動している場合においても、カメラECU部12は、画像認識の際、各トラッキング領域内に各顔部品を検出することができる。これにより、運転者の顔が移動している場合においても、各トラッキング領域に対する画像認識に適した画像を取得することができる。
【産業上の利用可能性】
【0117】
以上のように、本発明では、各部分領域における画像認識に適した画像を取得することができ、例えば、運転者を撮像する撮像装置を提供することができる。
【符号の説明】
【0118】
1、40、50 撮像装置
2 撮像センサ
3 露光制御・選択結合部
4 部分領域設定・輝度情報算出部
6、7 バッファ
8 伝送ケーブル
9 制御線
10 画像処理部
11 カメラ部
12 カメラECU部
21、22、23、24 トラッキング領域
31 非照射領域
32 照射領域
53 露光制御・画像選択部
54 部分領域設定部
【特許請求の範囲】
【請求項1】
それぞれ異なる露光時間で被写体を撮像した複数の全体画像を取得可能な撮像手段と、
前記被写体が撮像される領域内に複数の部分領域を設定する部分領域設定手段と、
前記部分領域に対する輝度情報を算出する輝度情報算出手段と、
前記部分領域に対する輝度情報に基づいて、前記撮像手段で撮像した複数の全体画像の中から、少なくとも1つの前記部分領域に対応付けされた1つの前記全体画像を該部分領域に対応する選択画像として取得する画像取得手段とを備える、撮像装置。
【請求項2】
前記部分領域に対応する選択画像から該部分領域を含む部分画像を分割する画像分割手段と、
前記部分画像を前記複数の部分領域毎に取得し、該複数の部分画像を結合して前記被写体を撮像した画像を結合画像として生成する画像結合手段とをさらに備え、
前記画像結合手段は、前記複数の部分画像を結合する際、該部分画像の結合境界が前記部分領域設定手段によって設定された部分領域に存在しないように、前記複数の部分画像を結合することを特徴とする、請求項1に記載の撮像装置。
【請求項3】
前記輝度情報算出手段によって算出された輝度情報に基づいて、前記部分領域に対する露光時間を算出する露光時間算出手段をさらに備え、
前記撮像手段は、前記露光時間算出手段によって算出された露光時間で前記被写体を撮像し、
前記画像取得手段は、前記露光時間算出手段によって算出された露光時間で撮像した画像を前記選択画像として取得することを特徴とする、請求項1に記載の撮像装置。
【請求項4】
前記複数の部分領域のうち、2以上の部分領域の輝度情報が所定の条件を満たす場合、該部分領域に対する共通の露光時間を設定する共通露光時間設定手段をさらに備え、
前記撮像手段は、前記共通露光時間設定手段によって設定された前記共通の露光時間で前記被写体を撮像し、
前記画像取得手段は、前記共通露光時間設定手段によって設定された前記共通の露光時間で撮影した画像を、前記共通の露光時間が設定された部分領域に対応する選択画像として取得することを特徴とする、請求項1に記載の撮像装置。
【請求項5】
前記露光時間算出手段によって算出された露光時間と共通露光時間設定手段で設定された前記共通の露光時間とに基づいて、前記共通の露光時間が設定された部分領域内のエッジ検出の際に用いられる閾値を変更する閾値変更手段をさらに備えたことを特徴とする、請求項4に記載の撮像装置。
【請求項6】
前記共通露光時間設定手段は、前記所定の条件として、前記部分領域の平均輝度が所定の範囲であり、かつ、前記部分領域の平均輝度の差が所定の範囲である場合、該部分領域に対する共通の露光時間を設定することを特徴とする、請求項4に記載の撮像装置。
【請求項7】
前記画像取得手段は、前記撮像手段が配設されたカメラ部に配設され、
前記部分領域設定手段と、前記輝度情報算出手段とは、前記カメラ部とは別体のカメラECU部に配設され、
前記カメラ部は、前記カメラECU部の要求に応じて、前記カメラECU部に対して前記選択画像を伝送することを特徴とする、請求項1に記載の撮像装置。
【請求項8】
前記カメラ部と前記カメラECU部とは、伝送ケーブルと制御線とで接続され、
前記カメラECU部は、前記制御線を介して前記輝度情報及び前記部分領域を含む制御信号を送信し、
前記カメラ部は、前記伝送ケーブルを用いて前記選択画像を伝送することを特徴とする、請求項7に記載の撮像装置。
【請求項9】
前記伝送ケーブルで伝送する信号はNTSCであることを特徴とする、請求項8に記載の撮像装置。
【請求項10】
前記伝送ケーブルで伝送する信号はGVIFまたはLVDSであることを特徴とする、請求項8に記載の撮像装置。
【請求項11】
前記伝送ケーブルは、シールド線付の差動信号伝送ケーブルであり、該シールド線を前記制御線として使用することを特徴とする、請求項8に記載の撮像装置。
【請求項12】
前記画像取得手段と、前記画像分割手段と、前記画像結合手段とは、前記撮像手段が配設されたカメラ部に配設され、
前記部分領域設定手段と、前記輝度情報算出手段とは、前記カメラ部とは別体のカメラECU部に配設され、
前記カメラ部は、前記カメラECU部の要求に応じて、前記カメラECU部に対して前記結合画像又は前記選択画像を伝送することを特徴とする、請求項2に記載の撮像装置。
【請求項13】
前記部分領域設定手段と、前記輝度情報算出手段と、前記画像取得手段と、前記画像分割手段と、前記画像結合手段とは、前記撮像手段が配設されたカメラ部に配設され、
前記カメラ部は、前記カメラ部とは別体の画像認識処理を行うカメラECU部に対して結合画像を伝送することを特徴とする、請求項2に記載の撮像装置。
【請求項14】
前記輝度情報算出手段は、前記部分領域の輝度情報として、前記部分領域における各画素の輝度に関するヒストグラムを算出し、
前記画像取得手段は、前記輝度に関するヒストグラムに基づいて前記選択画像を取得することを特徴とする、請求項1に記載の撮像装置。
【請求項15】
前記画像取得手段は、前記部分領域において所定の範囲の輝度値を持つ画素の割合が所定の値より小さい全体画像を、前記選択画像として取得することを特徴とする、請求項14に記載の撮像装置。
【請求項16】
前記画像取得手段は、前記部分領域において所定の範囲の輝度値を持つ画素の割合が所定の値より小さい全体画像が複数存在する場合、露光時間の最も短い全体画像を前記選択画像として取得することを特徴とする、請求項15に記載の撮像装置。
【請求項17】
前記輝度情報算出手段は、前記部分領域の輝度情報として、前記部分領域におけるエッジ強度に関するヒストグラムを算出し、
前記画像取得手段は、前記エッジ強度に関するヒストグラムに基づいて前記選択画像を取得することを特徴とする、請求項1に記載の撮像装置。
【請求項18】
前記撮像手段は、予め定められた複数の異なる露光時間で前記複数の全体画像を撮像し、
前記画像取得手段は、前記予め定められた複数の露光時間の前記全体画像から1つの画像を選択画像として取得することを特徴とする、請求項1に記載の撮像装置。
【請求項19】
前記露光時間算出手段によって算出された露光時間の短い順に撮像すべき順番をスケジューリングするスケジューリング手段をさらに備え、
前記撮像手段は、前記スケジューリング手段によってスケジュールされた順に前記全体画像を撮像することを特徴とする、請求項3に記載の撮像装置。
【請求項20】
前記スケジューリング手段によってスケジュールされた順が遅くなるに従って前記部分領域の範囲を移動又は拡大する部分領域変更手段をさらに備えたことを特徴とする、請求項19に記載の撮像装置。
【請求項21】
前記複数の部分領域毎に動的予測処理を行う動的予測手段をさらに備えたことを特徴とする、請求項19に記載の撮像装置。
【請求項22】
前記部分領域設定手段は、前記被写体の撮像範囲のうち、予め定められた所定の範囲を前記部分領域として設定することを特徴とする、請求項1に記載の撮像装置。
【請求項1】
それぞれ異なる露光時間で被写体を撮像した複数の全体画像を取得可能な撮像手段と、
前記被写体が撮像される領域内に複数の部分領域を設定する部分領域設定手段と、
前記部分領域に対する輝度情報を算出する輝度情報算出手段と、
前記部分領域に対する輝度情報に基づいて、前記撮像手段で撮像した複数の全体画像の中から、少なくとも1つの前記部分領域に対応付けされた1つの前記全体画像を該部分領域に対応する選択画像として取得する画像取得手段とを備える、撮像装置。
【請求項2】
前記部分領域に対応する選択画像から該部分領域を含む部分画像を分割する画像分割手段と、
前記部分画像を前記複数の部分領域毎に取得し、該複数の部分画像を結合して前記被写体を撮像した画像を結合画像として生成する画像結合手段とをさらに備え、
前記画像結合手段は、前記複数の部分画像を結合する際、該部分画像の結合境界が前記部分領域設定手段によって設定された部分領域に存在しないように、前記複数の部分画像を結合することを特徴とする、請求項1に記載の撮像装置。
【請求項3】
前記輝度情報算出手段によって算出された輝度情報に基づいて、前記部分領域に対する露光時間を算出する露光時間算出手段をさらに備え、
前記撮像手段は、前記露光時間算出手段によって算出された露光時間で前記被写体を撮像し、
前記画像取得手段は、前記露光時間算出手段によって算出された露光時間で撮像した画像を前記選択画像として取得することを特徴とする、請求項1に記載の撮像装置。
【請求項4】
前記複数の部分領域のうち、2以上の部分領域の輝度情報が所定の条件を満たす場合、該部分領域に対する共通の露光時間を設定する共通露光時間設定手段をさらに備え、
前記撮像手段は、前記共通露光時間設定手段によって設定された前記共通の露光時間で前記被写体を撮像し、
前記画像取得手段は、前記共通露光時間設定手段によって設定された前記共通の露光時間で撮影した画像を、前記共通の露光時間が設定された部分領域に対応する選択画像として取得することを特徴とする、請求項1に記載の撮像装置。
【請求項5】
前記露光時間算出手段によって算出された露光時間と共通露光時間設定手段で設定された前記共通の露光時間とに基づいて、前記共通の露光時間が設定された部分領域内のエッジ検出の際に用いられる閾値を変更する閾値変更手段をさらに備えたことを特徴とする、請求項4に記載の撮像装置。
【請求項6】
前記共通露光時間設定手段は、前記所定の条件として、前記部分領域の平均輝度が所定の範囲であり、かつ、前記部分領域の平均輝度の差が所定の範囲である場合、該部分領域に対する共通の露光時間を設定することを特徴とする、請求項4に記載の撮像装置。
【請求項7】
前記画像取得手段は、前記撮像手段が配設されたカメラ部に配設され、
前記部分領域設定手段と、前記輝度情報算出手段とは、前記カメラ部とは別体のカメラECU部に配設され、
前記カメラ部は、前記カメラECU部の要求に応じて、前記カメラECU部に対して前記選択画像を伝送することを特徴とする、請求項1に記載の撮像装置。
【請求項8】
前記カメラ部と前記カメラECU部とは、伝送ケーブルと制御線とで接続され、
前記カメラECU部は、前記制御線を介して前記輝度情報及び前記部分領域を含む制御信号を送信し、
前記カメラ部は、前記伝送ケーブルを用いて前記選択画像を伝送することを特徴とする、請求項7に記載の撮像装置。
【請求項9】
前記伝送ケーブルで伝送する信号はNTSCであることを特徴とする、請求項8に記載の撮像装置。
【請求項10】
前記伝送ケーブルで伝送する信号はGVIFまたはLVDSであることを特徴とする、請求項8に記載の撮像装置。
【請求項11】
前記伝送ケーブルは、シールド線付の差動信号伝送ケーブルであり、該シールド線を前記制御線として使用することを特徴とする、請求項8に記載の撮像装置。
【請求項12】
前記画像取得手段と、前記画像分割手段と、前記画像結合手段とは、前記撮像手段が配設されたカメラ部に配設され、
前記部分領域設定手段と、前記輝度情報算出手段とは、前記カメラ部とは別体のカメラECU部に配設され、
前記カメラ部は、前記カメラECU部の要求に応じて、前記カメラECU部に対して前記結合画像又は前記選択画像を伝送することを特徴とする、請求項2に記載の撮像装置。
【請求項13】
前記部分領域設定手段と、前記輝度情報算出手段と、前記画像取得手段と、前記画像分割手段と、前記画像結合手段とは、前記撮像手段が配設されたカメラ部に配設され、
前記カメラ部は、前記カメラ部とは別体の画像認識処理を行うカメラECU部に対して結合画像を伝送することを特徴とする、請求項2に記載の撮像装置。
【請求項14】
前記輝度情報算出手段は、前記部分領域の輝度情報として、前記部分領域における各画素の輝度に関するヒストグラムを算出し、
前記画像取得手段は、前記輝度に関するヒストグラムに基づいて前記選択画像を取得することを特徴とする、請求項1に記載の撮像装置。
【請求項15】
前記画像取得手段は、前記部分領域において所定の範囲の輝度値を持つ画素の割合が所定の値より小さい全体画像を、前記選択画像として取得することを特徴とする、請求項14に記載の撮像装置。
【請求項16】
前記画像取得手段は、前記部分領域において所定の範囲の輝度値を持つ画素の割合が所定の値より小さい全体画像が複数存在する場合、露光時間の最も短い全体画像を前記選択画像として取得することを特徴とする、請求項15に記載の撮像装置。
【請求項17】
前記輝度情報算出手段は、前記部分領域の輝度情報として、前記部分領域におけるエッジ強度に関するヒストグラムを算出し、
前記画像取得手段は、前記エッジ強度に関するヒストグラムに基づいて前記選択画像を取得することを特徴とする、請求項1に記載の撮像装置。
【請求項18】
前記撮像手段は、予め定められた複数の異なる露光時間で前記複数の全体画像を撮像し、
前記画像取得手段は、前記予め定められた複数の露光時間の前記全体画像から1つの画像を選択画像として取得することを特徴とする、請求項1に記載の撮像装置。
【請求項19】
前記露光時間算出手段によって算出された露光時間の短い順に撮像すべき順番をスケジューリングするスケジューリング手段をさらに備え、
前記撮像手段は、前記スケジューリング手段によってスケジュールされた順に前記全体画像を撮像することを特徴とする、請求項3に記載の撮像装置。
【請求項20】
前記スケジューリング手段によってスケジュールされた順が遅くなるに従って前記部分領域の範囲を移動又は拡大する部分領域変更手段をさらに備えたことを特徴とする、請求項19に記載の撮像装置。
【請求項21】
前記複数の部分領域毎に動的予測処理を行う動的予測手段をさらに備えたことを特徴とする、請求項19に記載の撮像装置。
【請求項22】
前記部分領域設定手段は、前記被写体の撮像範囲のうち、予め定められた所定の範囲を前記部分領域として設定することを特徴とする、請求項1に記載の撮像装置。
【図1】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−171777(P2010−171777A)
【公開日】平成22年8月5日(2010.8.5)
【国際特許分類】
【出願番号】特願2009−12855(P2009−12855)
【出願日】平成21年1月23日(2009.1.23)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【出願人】(000004260)株式会社デンソー (27,639)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【Fターム(参考)】
【公開日】平成22年8月5日(2010.8.5)
【国際特許分類】
【出願日】平成21年1月23日(2009.1.23)
【出願人】(000003207)トヨタ自動車株式会社 (59,920)
【出願人】(000000011)アイシン精機株式会社 (5,421)
【出願人】(000004260)株式会社デンソー (27,639)
【出願人】(000003609)株式会社豊田中央研究所 (4,200)
【Fターム(参考)】
[ Back to top ]