広ダイナミックレンジ撮像装置
【課題】露光時間の異なる複数の撮像画像から合成画像を生成する広ダイナミックレンジ撮像装置の撮像素子を高画素化することなく撮像画像のブレを補正する。
【解決手段】撮像された光学像に基づいて、光量レベルの複数の画像信号を生成する複数画像信号生成部３１と、閾値に基づいて複数の各画像信号から部分画像信号を抽出する部分画像信号抽出部３５と、部分画像信号から被写体の撮影画像全体に対応する合成画像信号を生成する合成画像信号生成部３８からなる広ダイナミックレンジ撮像装置において、複数画像信号生成部３１と部分画像信号抽出部３５との間に、複数画像信号生成部３１からの複数画像信号と移動量判別画像信号３２とを比較して複数画像信号のブレ量を算出し、ブレ量を補正した複数画像信号を出力するブレ補正された複数画像信号生成部３３を備えることを特徴とする。
【解決手段】撮像された光学像に基づいて、光量レベルの複数の画像信号を生成する複数画像信号生成部３１と、閾値に基づいて複数の各画像信号から部分画像信号を抽出する部分画像信号抽出部３５と、部分画像信号から被写体の撮影画像全体に対応する合成画像信号を生成する合成画像信号生成部３８からなる広ダイナミックレンジ撮像装置において、複数画像信号生成部３１と部分画像信号抽出部３５との間に、複数画像信号生成部３１からの複数画像信号と移動量判別画像信号３２とを比較して複数画像信号のブレ量を算出し、ブレ量を補正した複数画像信号を出力するブレ補正された複数画像信号生成部３３を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載、監視、工業用等において、被写体を撮像する広ダイナミックレンジ撮像装置に係わり、特に、光量差の異なる複数の撮影画像から広ダイナミックレンジの撮像画像を取得する広ダイナミックレンジ撮像装置において、複数の撮像画像または複数の撮像画像から合成された合成画像のブレを補正した広ダイナミックレンジ撮像装置に関する。
【背景技術】
【０００２】
特許文献１には、物体を時分割で露光時間が異なる状態で撮像して得られる長時間露光画像と短時間露光画像とを合成することによって広ダイナミックレンジの画像を得る画像合成方法が記載されており、短時間露光画像と長時間露光画像の各データの露光比を算出すると共に、露光比を乗算した短時間露光画像と長時間露光画像のデータの差分を算出し、差分が予め設定された閾値を越えた時には、短時間露光画像と長時間露光画像とに画像のブレがあると判断して、短時間露光画像のデータの代わりに長時間露光画像のデータ、または長時間露光画像のデータ代わりに短時間露光画像のデータを差分の極性に応じて選択的に使用することが記載されている。
【０００３】
また、特許文献２には、被写体からの光を受けて撮像レンズから出射する光束を、光量が比較的小さな第１光束と光量が比較的大なる第２光束とに分離して、第１光束および第２光束が撮像素子の撮像面上の互いに離間した異なる領域に第１および第２の光学像を生成するように出射し、第１の光学像から切出した第１画像データと第２の光学像から切出した第２画像データとを重ねて１枚の画像データとして合成することによって、第１画像データおよび第２画像データがそれぞれ有する輝度のダイナミックレンジを複合して拡大された輝度ダイナミックレンジを有する画像データを生成出力する撮像装置が記載されている。
【０００４】
また、特許文献３には、２次元的に配列された受光セルを高感度受光領域と低感度受光領域を含む複数の受光領域に分割し、高感度受光領域および低感度受光領域からそれぞれ独立に画像信号を取り出す固体撮像素子を用いて被写体を撮像し、高感度受光領域で光電変換された信号電荷に基づく高感度画像信号と低感度受光領域で光電変換された信号電荷に基づく低感度画像信号とを取得し、高感度画像信号が示す高感度画像および低感度画像信号が示す低感度画像のうち一方の画像から所定基準よりも画質が劣化している画質劣化領域を特定し、特定された画質劣化領域の情報に基づいて、高感度画像および低感度画像のうち他方の画像から画質劣化領域に対応する画像部分を抽出し、他方の画像から抽出した画像部分を一方の画像の画質劣化領域に合成する画像合成方法が記載されている。
【０００５】
【特許文献１】特開２００２−１０１３４７号公報
【特許文献２】特開２００３−３２５５９号公報
【特許文献３】特開２００４−４８４４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の画像合成方法は、短時間露光画像と長時間露光画像の各データの露光比を算出し、予め設定された条件を越えた時に、短時間露光画像と長時間露光画像とに画像ブレがあると判断して、短時間露光画像のデータの代わりに長時間露光画像のデータ、または逆のデータを差分の極性に応じて選択的に使用するものであるが、ブレ自体を補正するものではない。また、一つの撮像素子で同時に短時間露光画像と長時間露光画像を取得し、時間差によりブレを解消しようとしているため、合成画像の高画素化が必要で、かつ光学系についても複雑な構成となるため、コスト的な問題がある。さらに、画像の連続性の不具合を解消しようとするものであるが、本来必要なブレの補正を行わないダイナミックレンジ画像であるため、良質なコントラスト画像を保持することができない。また、特許文献２に記載の撮像装置および特許文献３に記載の画像合成方法では、不連続性の発生を極力防止するために、所定の解像力を得るために画素数の多い撮像素子を用い、複雑な光学系で２種類の光量レベルの画像を取得して解決しようとしているため、コスト的な問題がある。
【０００７】
本発明の目的は、露光時間を変えた光量差の異なる複数の撮影画像から広ダイナミックレンジの撮像画像を取得する広ダイナミックレンジ撮像装置において、前後の合成画像の元となる複数の撮像画像の内の少なくとも１つの露光条件の画像に着目し、前後の合成画像の当該露光条件の撮像画像を比較して、合成画像を生成するための基となる露光時間を変えた光量差の異なる複数の撮影画像の撮像中の画像の移動（ブレ）量を算出し、その結果に基づいて、移動量を比較していない光量差の異なる他の撮像画像の移動量も推定算出し、露光時間を変えた光量差の異なる複数の撮影画像間の撮影対象の移動によるブレを補正した合成画像を得ることのできる広ダイナミックレンジ撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決するために、次のような手段を採用した。
第１の手段は、撮像光学系により被写体の光学像を結像する撮像素子と、該撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルの複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として合成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、前記複数画像信号生成部と部分画像信号抽出部との間には、タイミングの異なる前記合成画像信号を生成する前記複数画像信号生成部の画像信号から、前記複数の画像信号の移動量を算出し、前記複数の画像信号を前記算出された移動量に基づいて補正する移動量補正画像信号生成部を備えることを特徴とする広ダイナミックレンジ撮像装置である。
第２の手段は、第１の手段において、前記移動量補正画像信号生成部は、さらに比較されなかった複数画像信号生成部の複数の画像の移動量を推定算出し、移動補正した複数の画像信号を生成することを特徴とする広ダイナミックレンジ撮像装置である。
第３の手段は、第１又は２の手段において、前記移動量補正画像信号生成部の前記複数の画像信号の移動量を算出する基準となる画像信号は、前記複数画像信号生成部の複数の画像信号のうち最もコントラストの高い画像信号であることを特徴とする広ダイナミックレンジ撮像装置である。
第４の手段は、第１の手段ないし第３の手段において、前記移動量補正画像信号生成部は、撮像素子に結像された光学像面の水平方向（Ｘ軸方向）と垂直方向（Ｙ軸方向）で行われることを特徴とする広ダイナミックレンジ撮像装置である。
第５の手段は、第１の手段ないし第４の手段のいずれか１つの手段に記載の広ダイナミックレンジ撮像装置が車載用に適用された広ダイナミックレンジ撮像装置であって、さらに前記合成画像信号間で合成画像の垂直方向（Ｙ軸方向）でブレ補正を行うことを特徴とする車載用広ダイナミックレンジ撮像装置である。
【発明の効果】
【０００９】
本発明によれば、合成画像の画像ブレによる不連続性を大幅に低減することができ、広ダイナミックレンジの性能を向上させた広ダイナミックレンジ撮像装置を実現することができる。
また、１２０ｄＢ以上の非常に高コントラストな画像もブレ補正して撮像可能となることから、従来実用化が困難視されていた分野における使用が可能となり、これらの分野における安全性、信頼性を大幅に向上させることができる。
また、車載用の適用に際しては、合成画像が撮像素子に結像された光学像面の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）で補正され、ブレのない合成画像が取得できると共に、合成後の合成画像のブレ補正を車の上下振動方向（Ｙ軸方向）のみとすることにより、安全性に優れた広ダイナミックレンジ撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
本発明の一実施形態を図１ないし図６を用いて説明する。
図１は、本発明に係る広ダイナミックレンジ撮像装置の制御系統を示すブロック図である。
同図において、１は撮像光学系、２は撮像素子、３は制御部、３１は撮像素子２に結像された光学像に基づいて、複数の異なる露光条件（複数の異なる光量レベル）を有する画像信号を生成する複数画像信号生成部、３２は複数画像信号生成部３１において生成された露光条件の異なる複数の画像信号の中から取得された高コントラストの画像信号を移動量判別画像信号として保存する移動量判別画像信号保存部、３３は複数画像信号生成部３１で生成された複数の各画像信号と移動量判別画像信号保存部３２に保存されている移動量判別画像信号とを比較して移動量を検出し、複数の各画像信号に対して移動量が補正された複数の画像信号を生成する移動補正された複数画像信号生成部、３４は部分画像信号抽出用の閾値が設定されている閾値設定部、３５は閾値設定部３４に設定されている閾値に基づいて、複数の各移動補正された画像信号から各部分画像信号を抽出する部分画像信号抽出部、３６は部分画像信号生成部３５から出力された移動補正された部分画像信号を合成して合成画像信号を生成する合成画像信号生成部、３７は合成画像信号生成部３６において生成された合成画像の中から移動量判別合成画像信号を抽出して保存する移動量判別合成画像信号保存部、３８は合成画像信号生成部３６で生成された合成画像信号と移動量判別合成画像信号保存部３７に保存されている移動量判別合成画像信号とを比較してブレ量を検出し、各合成画像信号に対してブレ補正した合成画像信号を生成するブレ補正された合成画像信号生成部、３９はブレ補正された合成画像信号を出力する合成画像信号出力部、４は合成画像を表示する画像表示部である。
【００１１】
図２（ａ）は、撮像素子２から取得された露光時間の異なる複数個（例えば、４個）の画像信号（１）〜（４）と撮影環境の明るさとの関係を示す図であり、画像信号（１）〜（４）は、複数画像信号生成部３１で生成された複数画像信号に相当し、これらの複数画像信号は、さらに、移動（ブレ）量補正を行う複数画像信号生成部３３において移動（ブレ）量補正される。図２（ｂ）は、閾値設定部３４における閾値の設定例を示す図である。図２（ｃ）は、部分画像信号抽出部３５において、移動（ブレ）量補正された各複数画像信号を閾値設定部３４に設定されている閾値に基づいて抽出した部分画像信号（１’）〜（４’）と、撮影環境の明るさとの関係を示す図である。
【００１２】
次に、図１に示したブロック図に基づいて、本発明に係る広ダイナミックレンジ撮像装置の動作について説明する。
まず、撮像光学系１により被写体の光学像を撮像素子２に結像する。次に、制御部３においては、複数画像信号生成部３１において、撮像素子２で結像された光学像に基づいて、複数の異なる露光条件の画像信号［｛露光条件１の画像信号１（ｔ−１）、露光条件２の画像信号２（ｔ−１）、・・・露光条件ｎの画像信号ｎ（ｔ−１）}、{（露光条件１の画像信号１（ｔ）、露光条件２の画像信号２（ｔ）、・・・露光条件ｎの画像信号ｎ（ｔ）}、・・・{（露光条件１の画像信号１（ｔ＋１）、露光条件２の画像信号２（ｔ＋１）、・・・露光条件ｎの画像信号ｎ（ｔ＋１）}］を生成する。なお、ここで、ｔ−１は前回、ｔは今回、ｔ＋１は次回であり、例えば、「露光条件１の画像信号１（ｔ）」とは、露光条件１で今回（ｔ）取得された画像信号を意味する。
【００１３】
次に、移動量判別画像信号保存部３２において、複数画像信号生成部３１において取得された複数の異なる露光条件の画像信号の中から、例えば、前回（ｔ−１）取得された複数画像信号｛（露光条件１の画像信号１（ｔ−１）、露光条件２の画像信号２（ｔ−１）、・・・露光条件ｎの画像信号ｎ（ｔ−１）｝の中から最もコントラストの高い、例えば、露光条件ｉの画像信号ｉ（ｔ−１）を移動量判別画像信号として保存する。
【００１４】
次に、ブレ補正された複数画像信号生成部３３において、移動量判別画像信号保存部３２に保存されている移動量判別の基となる移動量判別画像信号（露光条件ｉの画像信号ｉ（ｔ−１））と、今回（ｔ）複数画像信号生成部３１において取得されたコントラストのある複数画像信号（図４の例では、コントラストのある前回と同じ露光条件ｉの複数画像信号ｉ（ｔ））と比較して、移動（ブレ）量を算出し、今回（ｔ）取得された複数画像信号｛（露光条件１の画像信号１（ｔ）、露光条件２の画像信号２（ｔ）、・・・露光条件ｎの画像信号ｎ（ｔ）｝を画像面の２次元方向（Ｘ軸方向，Ｙ軸方向）または１次元方向（Ｙ軸方向）に移動させ、ブレ補正された複数画像信号を取得する。
【００１５】
次に、部分画像信号抽出部３５において、閾値設定部３４において設定された閾値に基づいて、ブレ補正された複数画像信号生成部３３で生成された移動（ブレ）量補正された複数画像信号から、部分画像信号を抽出する。
【００１６】
次に、合成画像信号生成部３６は、部分画像信号抽出部３５において抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号を生成する。
【００１７】
次に、移動量判別合成画像信号保存部３７においては、合成画像信号生成部３６において取得されている合成画像信号から、例えば、今回（ｔ）取得された合成画像信号（ｔ）を移動量判別合成画像信号として保存する。
【００１８】
次に、ブレ量補正合成画像信号生成部３８において、移動量判別合成画像信号保存部３７に保存された移動量判別合成画像信号｛（合成画像信号（ｔ−１）｝と、合成画像信号生成部３６において今回（ｔ）取得された合成画像信号（ｔ）とを比較して、ブレ量（移動量）を算出し、今回（ｔ）の合成画像信号（ｔ）を画像面である２次元方向（Ｘ軸，Ｙ軸方向）または１次元方向（Ｙ軸方向）に移動させ、ブレ量が補正された合成画像信号を得る。
【００１９】
次に、ブレ補正された合成画像信号生成部３８からブレ補正された合成画像信号が合成画像出力部３９に出力され、さらに合成画像信号生成部３９から出力された合成画像が画像表示部４に表示される。
【００２０】
次に、図１に示した複数画像信号生成部３１、移動量判別画像信号保存部３２、およびブレ量補正複数画像信号生成部３３における処理手順を図３を参照して説明する。なお、図４は、複数画像信号のブレ補正の状況を説明するための図である。
ステップＳ１において、複数画像信号生成部３１において取得されている少なくとも２以上の光量レベル（露光時間）の異なる複数画像信号の中から、例えば、本例においては、前回（ｔ−１）取得された複数画像信号｛（露光条件１の画像信号１（ｔ−１）、露光条件２の画像信号２（ｔ−１）、・・・露光条件ｎの画像信号ｎ（ｔ−１）｝の中から最もコントラストの高い、例えば、露光条件ｉの画像信号ｉ（ｔ−１）を移動量を判別する基となる移動量判別画像信号として抽出して移動量判別画像信号保存部３２に保存する。ステップＳ２において、今回（ｔ）複数画像信号生成部３１から取得された画像信号｛（露光条件１の画像信号１（ｔ）、露光条件２の画像信号２（ｔ）、・・・露光条件ｎの画像信号ｎ（ｔ）｝の中でコントラストのある画像がある場合は、ステップＳ３以降の処理へ進み、コントラストの低い画像の場合は、今回の処理を終了する。ステップＳ３において、前回（ｔ−１）取得された複数画像信号の中で最もコントラストの高い画像信号（例えば、露光条件ｉの画像信号ｉ（ｔ−１））と、今回（ｔ）取得された画像信号｛（露光条件１の画像信号１（ｔ）、露光条件２の画像信号２（ｔ）、・・・露光条件ｎの画像信号ｎ（ｔ）｝の中でコントラストのある画像信号との明るさを比較する。ステップＳ４において、比較の結果、同じ明るさの画像の場合は、ステップＳ６に移行し、明るさが違う場合は、ステップＳ５に移行する。ステップＳ５では、今回（ｔ）の複数画像信号の中でコントラストのある画像信号の明るさを調整して、前回（ｔ−１）の画像信号ｉ（ｔ−１）の明るさを今回の複数画像信号の明るさと同レベルにする。ここで、明るさのレベルの調整は、今回の複数画像信号の明るさを前回（ｔ−１）の画像信号ｉ（ｔ−１）の明るさと合わせるようにしても良い。そして、ステップＳ６では、今回（ｔ）の複数画像信号と前回（ｔ−１）の複数画像信号の被写体が同じであるかを判定し、同じである場合は、ステップＳ７に移行し、同じでない場合は、ステップＳ９に移行する。ステップＳ７においては、図３に示すように、前回（ｔ−１）の移動量判別画像信号に対する今回（ｔ）の各複数画像信号との移動（ブレ）量を２次元（Ｘ軸、Ｙ軸）方向または１次元（Ｙ軸）方向について求め、ステップＳ８において、求めた移動（ブレ）量に基づいて、今回（ｔ）の各複数画像信号を２次元（Ｘ軸、Ｙ軸）方向または１次元（Ｙ軸）方向に移動し、移動（ブレ）量補正する。ステップＳ９において、ブレ補正した複数画像信号を保存する。
図４では、露光条件ｎの前回（ｔ−１）の画像信号ｎ（ｔ−１）と、同じ露光条件ｎの今回（ｔ）の画像信号ｎ（ｔ）から移動（ブレ）量を算出し、今回の他の（露光条件１の画像信号１（ｔ）、露光条件２の画像信号２（ｔ）、・・・）のブレ量を撮像素子が露光されるタイミングから推定量を算出しているが、比較される今回（ｔ）の複数画像信号は、コントラストを有していれば、どの露光条件のものであってもよい。ブレ量を算出するための前回と今回の複数画像信号が、露光条件の異なる複数画像信号である場合は、ステップ３で比較される画像信号間の時間間隔によって今回の他の複数画像信号の移動（ブレ）量が推定算出される。
【００２１】
このように、露光条件の異なる複数画像信号間の移動量補正を、複数画像信号のうち最もコントラストの高い画像信号を選択して移動量を算出し、移動量を比較しなかった画像信号は、推定算出して移動量を補正することによりデータの処理量を軽減し、処理速度を高める事が出来るとともに、メモリサイズ等を大型化することなく低コストでシステムを実現することが可能となる。
【００２２】
次に、図１に示した合成画像信号生成部３６、移動量判別合成画像信号保存部３７、およびブレ量補正合成画像信号生成部３８における処理手順を図５を参照して説明する。なお、図６は合成画像信号のブレ補正の状況を説明するための図である。
ステップＳ１１において、合成画像信号生成部３６の合成画像信号のコントラストのある、例えば、前回（ｔ−１）取得された合成画像（ｔ−１）を移動量判別合成画像信号として移動量判別合成画像信号保存部３７に保存する。ステップＳ１２において、抽出された合成画像信号がコントラストのある画像である場合は、ステップＳ１３以降の処理へ進み、コントラストのある画像でない場合は、今回の処理を終了する。ステップＳ１３において、前回（ｔ−１）取得された合成画像信号と今回（ｔ）取得された合成画像信号とを比較する。ステップＳ１４では、今回（ｔ）の合成画像信号と前回（ｔ−１）の合成画像信号の被写体が同じであるかを判定し、同じである場合は、ステップＳ１５に移行し、同じでない場合は、ステップＳ１７に移行する。ステップＳ１５において、図６に示すように、今回（ｔ）の合成画像信号に対する前回（ｔ−１）の合成画像信号とのブレ量（移動量）を２次元（Ｘ軸、Ｙ軸）方向または１次元（Ｙ軸）方向について求め、ステップＳ１６において、求めたブレ量（移動量）に基づいて、今回（ｔ）の合成画像信号を２次元（Ｘ軸、Ｙ軸）方向または１次元（Ｙ軸）方向に移動しブレ補正する。ステップＳ１７において、ブレ補正した合成画像信号を保存する。
【００２３】
図７は、本発明に係る広ダイナミックレンジ撮像装置を車載用カメラに適用した場合の説明図である。
車載用カメラに適用された本発明に係る広ダイナミックレンジ撮像装置においては、２次元（Ｘ軸、Ｙ軸）方向のブレ情報のうち、合成された合成画像について１次元（Ｙ軸）方向にのみのブレ補正を行って、車の上下方向の振動のみのブレを補正した合成画像を表示する。そのため、表示される画像は車の上下方向の振動に対しては静止した画像信号が得られ、その後の画像信号を使いやすくすることができる。例えば、車両の左右のヘッドライト付近にカメラを装着し、道路の白線認識６に用いると極めて有用である。
【００２４】
車載用カメラでは、特に処理速度が要求されるが、露光条件の異なる複数画像信号間の移動量補正を、複数画像信号のうち最もコントラストの高い画像信号を選択して移動量を算出し、移動量を比較しなかった画像信号は、推定算出して移動量を補正することによりデータの処理量を軽減し、処理速度を向上させ、さらに、合成画像信号間のブレ補正は、最も補正効果の大きい１次元（Ｙ軸）方向にのみのブレ補正を行って処理速度を高めている。
【００２５】
図８は、本発明に係る広ダイナミックレンジ撮像装置を交差点などの監視用カメラに適用した場合の説明図である。
同図に示すように、監視用カメラ７として適用された広ダイナミックレンジ撮像装置は、交差点８を監視するために、周囲のビルや信号機などに設置され、２４時間３６５日、常時交差点８の監視を行い、朝日や夕日などの強い入射光などが画像に取込まれる環境下にあっても、撮像画像が飽和せず、状況確認の行える撮影画像９を取得することができる。
【００２６】
図９は、本発明に係る広ダイナミックレンジ撮像装置を工場内のＦＡ（ＦａｃｔｏｒｙＡｕｔｏｍａｔｉｏｎ）カメラに適用した場合の説明図である。
同図に示すように、ＦＡカメラ１０として適用された広ダイナミックレンジ撮像装置は、レーザー半田付け装置１１付近に装備され、電子部品とプリント基板の半田付けの様子を撮像し、撮像画像１２をＴＶモニターなどに表示する。そのため、作業者はレーザーの危険に曝されずに、レーザー加工状況を安全に確認することができ、レーザー加工時の強い光にも撮像画像が飽和せず、安定した画像が得られるため、その画像を画像処理し、半田付け状況を正確に観察して自動半田を行うためのアシスト機能を実現することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明に係る広ダイナミックレンジ撮像装置の制御系統を示すブロック図である。
【図２】撮像素子２から取得された露光時間の異なる複数個の画像信号（１）〜（４）と撮影環境の明るさとの関係、閾値設定部３４における閾値の設定例、および抽出された部分画像信号（１’）〜（４’）と撮影環境の明るさとの関係を示す図である。
【図３】図１に示した複数画像信号生成部３１、移動量判別画像信号保存部３２、およびブレ量補正複数画像信号生成部３３における処理手順を示す図である。
【図４】複数画像信号のブレ補正の状況を説明するための図である。
【図５】図１に示した合成画像信号生成部３６、移動量判別合成画像信号保存部３７、およびブレ量補正合成画像信号生成部３８における処理手順を示す図である。
【図６】合成画像信号のブレ補正の状況を説明するための図である。
【図７】本発明に係る広ダイナミックレンジ撮像装置を車載用カメラに適用した場合の説明図である。
【図８】本発明に係る広ダイナミックレンジ撮像装置を交差点などの監視用カメラに適用した場合の説明図である。
【図９】本発明に係る広ダイナミックレンジ撮像装置を工場内のＦＡカメラに適用した場合の説明図である。
【符号の説明】
【００２８】
１ 撮像光学系
２ 撮像素子
３ 制御部
３１ 複数画像信号生成部
３２ 移動量判別画像信号保存部
３３ ブレ補正された複数画像信号生成部
３４ 閾値設定部
３５ 部分画像信号抽出部
３６ 合成画像信号生成部
３７ 移動量判別合成画像信号保存部
３８ ブレ補正された合成画像信号生成部
３９ 合成画像信号出力部
４ 画像表示部
５ 車載用カメラ
６ 白線認識
７ 監視用カメラ
８ 交差点
９ 撮影画像
１０ ＦＡカメラ
１１ レーザー半田付け装置
１２ 撮像画像
【技術分野】
【０００１】
本発明は、車載、監視、工業用等において、被写体を撮像する広ダイナミックレンジ撮像装置に係わり、特に、光量差の異なる複数の撮影画像から広ダイナミックレンジの撮像画像を取得する広ダイナミックレンジ撮像装置において、複数の撮像画像または複数の撮像画像から合成された合成画像のブレを補正した広ダイナミックレンジ撮像装置に関する。
【背景技術】
【０００２】
特許文献１には、物体を時分割で露光時間が異なる状態で撮像して得られる長時間露光画像と短時間露光画像とを合成することによって広ダイナミックレンジの画像を得る画像合成方法が記載されており、短時間露光画像と長時間露光画像の各データの露光比を算出すると共に、露光比を乗算した短時間露光画像と長時間露光画像のデータの差分を算出し、差分が予め設定された閾値を越えた時には、短時間露光画像と長時間露光画像とに画像のブレがあると判断して、短時間露光画像のデータの代わりに長時間露光画像のデータ、または長時間露光画像のデータ代わりに短時間露光画像のデータを差分の極性に応じて選択的に使用することが記載されている。
【０００３】
また、特許文献２には、被写体からの光を受けて撮像レンズから出射する光束を、光量が比較的小さな第１光束と光量が比較的大なる第２光束とに分離して、第１光束および第２光束が撮像素子の撮像面上の互いに離間した異なる領域に第１および第２の光学像を生成するように出射し、第１の光学像から切出した第１画像データと第２の光学像から切出した第２画像データとを重ねて１枚の画像データとして合成することによって、第１画像データおよび第２画像データがそれぞれ有する輝度のダイナミックレンジを複合して拡大された輝度ダイナミックレンジを有する画像データを生成出力する撮像装置が記載されている。
【０００４】
また、特許文献３には、２次元的に配列された受光セルを高感度受光領域と低感度受光領域を含む複数の受光領域に分割し、高感度受光領域および低感度受光領域からそれぞれ独立に画像信号を取り出す固体撮像素子を用いて被写体を撮像し、高感度受光領域で光電変換された信号電荷に基づく高感度画像信号と低感度受光領域で光電変換された信号電荷に基づく低感度画像信号とを取得し、高感度画像信号が示す高感度画像および低感度画像信号が示す低感度画像のうち一方の画像から所定基準よりも画質が劣化している画質劣化領域を特定し、特定された画質劣化領域の情報に基づいて、高感度画像および低感度画像のうち他方の画像から画質劣化領域に対応する画像部分を抽出し、他方の画像から抽出した画像部分を一方の画像の画質劣化領域に合成する画像合成方法が記載されている。
【０００５】
【特許文献１】特開２００２−１０１３４７号公報
【特許文献２】特開２００３−３２５５９号公報
【特許文献３】特開２００４−４８４４５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の画像合成方法は、短時間露光画像と長時間露光画像の各データの露光比を算出し、予め設定された条件を越えた時に、短時間露光画像と長時間露光画像とに画像ブレがあると判断して、短時間露光画像のデータの代わりに長時間露光画像のデータ、または逆のデータを差分の極性に応じて選択的に使用するものであるが、ブレ自体を補正するものではない。また、一つの撮像素子で同時に短時間露光画像と長時間露光画像を取得し、時間差によりブレを解消しようとしているため、合成画像の高画素化が必要で、かつ光学系についても複雑な構成となるため、コスト的な問題がある。さらに、画像の連続性の不具合を解消しようとするものであるが、本来必要なブレの補正を行わないダイナミックレンジ画像であるため、良質なコントラスト画像を保持することができない。また、特許文献２に記載の撮像装置および特許文献３に記載の画像合成方法では、不連続性の発生を極力防止するために、所定の解像力を得るために画素数の多い撮像素子を用い、複雑な光学系で２種類の光量レベルの画像を取得して解決しようとしているため、コスト的な問題がある。
【０００７】
本発明の目的は、露光時間を変えた光量差の異なる複数の撮影画像から広ダイナミックレンジの撮像画像を取得する広ダイナミックレンジ撮像装置において、前後の合成画像の元となる複数の撮像画像の内の少なくとも１つの露光条件の画像に着目し、前後の合成画像の当該露光条件の撮像画像を比較して、合成画像を生成するための基となる露光時間を変えた光量差の異なる複数の撮影画像の撮像中の画像の移動（ブレ）量を算出し、その結果に基づいて、移動量を比較していない光量差の異なる他の撮像画像の移動量も推定算出し、露光時間を変えた光量差の異なる複数の撮影画像間の撮影対象の移動によるブレを補正した合成画像を得ることのできる広ダイナミックレンジ撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決するために、次のような手段を採用した。
第１の手段は、撮像光学系により被写体の光学像を結像する撮像素子と、該撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルの複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として合成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、前記複数画像信号生成部と部分画像信号抽出部との間には、タイミングの異なる前記合成画像信号を生成する前記複数画像信号生成部の画像信号から、前記複数の画像信号の移動量を算出し、前記複数の画像信号を前記算出された移動量に基づいて補正する移動量補正画像信号生成部を備えることを特徴とする広ダイナミックレンジ撮像装置である。
第２の手段は、第１の手段において、前記移動量補正画像信号生成部は、さらに比較されなかった複数画像信号生成部の複数の画像の移動量を推定算出し、移動補正した複数の画像信号を生成することを特徴とする広ダイナミックレンジ撮像装置である。
第３の手段は、第１又は２の手段において、前記移動量補正画像信号生成部の前記複数の画像信号の移動量を算出する基準となる画像信号は、前記複数画像信号生成部の複数の画像信号のうち最もコントラストの高い画像信号であることを特徴とする広ダイナミックレンジ撮像装置である。
第４の手段は、第１の手段ないし第３の手段において、前記移動量補正画像信号生成部は、撮像素子に結像された光学像面の水平方向（Ｘ軸方向）と垂直方向（Ｙ軸方向）で行われることを特徴とする広ダイナミックレンジ撮像装置である。
第５の手段は、第１の手段ないし第４の手段のいずれか１つの手段に記載の広ダイナミックレンジ撮像装置が車載用に適用された広ダイナミックレンジ撮像装置であって、さらに前記合成画像信号間で合成画像の垂直方向（Ｙ軸方向）でブレ補正を行うことを特徴とする車載用広ダイナミックレンジ撮像装置である。
【発明の効果】
【０００９】
本発明によれば、合成画像の画像ブレによる不連続性を大幅に低減することができ、広ダイナミックレンジの性能を向上させた広ダイナミックレンジ撮像装置を実現することができる。
また、１２０ｄＢ以上の非常に高コントラストな画像もブレ補正して撮像可能となることから、従来実用化が困難視されていた分野における使用が可能となり、これらの分野における安全性、信頼性を大幅に向上させることができる。
また、車載用の適用に際しては、合成画像が撮像素子に結像された光学像面の水平方向（Ｘ軸方向）および垂直方向（Ｙ軸方向）で補正され、ブレのない合成画像が取得できると共に、合成後の合成画像のブレ補正を車の上下振動方向（Ｙ軸方向）のみとすることにより、安全性に優れた広ダイナミックレンジ撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
本発明の一実施形態を図１ないし図６を用いて説明する。
図１は、本発明に係る広ダイナミックレンジ撮像装置の制御系統を示すブロック図である。
同図において、１は撮像光学系、２は撮像素子、３は制御部、３１は撮像素子２に結像された光学像に基づいて、複数の異なる露光条件（複数の異なる光量レベル）を有する画像信号を生成する複数画像信号生成部、３２は複数画像信号生成部３１において生成された露光条件の異なる複数の画像信号の中から取得された高コントラストの画像信号を移動量判別画像信号として保存する移動量判別画像信号保存部、３３は複数画像信号生成部３１で生成された複数の各画像信号と移動量判別画像信号保存部３２に保存されている移動量判別画像信号とを比較して移動量を検出し、複数の各画像信号に対して移動量が補正された複数の画像信号を生成する移動補正された複数画像信号生成部、３４は部分画像信号抽出用の閾値が設定されている閾値設定部、３５は閾値設定部３４に設定されている閾値に基づいて、複数の各移動補正された画像信号から各部分画像信号を抽出する部分画像信号抽出部、３６は部分画像信号生成部３５から出力された移動補正された部分画像信号を合成して合成画像信号を生成する合成画像信号生成部、３７は合成画像信号生成部３６において生成された合成画像の中から移動量判別合成画像信号を抽出して保存する移動量判別合成画像信号保存部、３８は合成画像信号生成部３６で生成された合成画像信号と移動量判別合成画像信号保存部３７に保存されている移動量判別合成画像信号とを比較してブレ量を検出し、各合成画像信号に対してブレ補正した合成画像信号を生成するブレ補正された合成画像信号生成部、３９はブレ補正された合成画像信号を出力する合成画像信号出力部、４は合成画像を表示する画像表示部である。
【００１１】
図２（ａ）は、撮像素子２から取得された露光時間の異なる複数個（例えば、４個）の画像信号（１）〜（４）と撮影環境の明るさとの関係を示す図であり、画像信号（１）〜（４）は、複数画像信号生成部３１で生成された複数画像信号に相当し、これらの複数画像信号は、さらに、移動（ブレ）量補正を行う複数画像信号生成部３３において移動（ブレ）量補正される。図２（ｂ）は、閾値設定部３４における閾値の設定例を示す図である。図２（ｃ）は、部分画像信号抽出部３５において、移動（ブレ）量補正された各複数画像信号を閾値設定部３４に設定されている閾値に基づいて抽出した部分画像信号（１’）〜（４’）と、撮影環境の明るさとの関係を示す図である。
【００１２】
次に、図１に示したブロック図に基づいて、本発明に係る広ダイナミックレンジ撮像装置の動作について説明する。
まず、撮像光学系１により被写体の光学像を撮像素子２に結像する。次に、制御部３においては、複数画像信号生成部３１において、撮像素子２で結像された光学像に基づいて、複数の異なる露光条件の画像信号［｛露光条件１の画像信号１（ｔ−１）、露光条件２の画像信号２（ｔ−１）、・・・露光条件ｎの画像信号ｎ（ｔ−１）}、{（露光条件１の画像信号１（ｔ）、露光条件２の画像信号２（ｔ）、・・・露光条件ｎの画像信号ｎ（ｔ）}、・・・{（露光条件１の画像信号１（ｔ＋１）、露光条件２の画像信号２（ｔ＋１）、・・・露光条件ｎの画像信号ｎ（ｔ＋１）}］を生成する。なお、ここで、ｔ−１は前回、ｔは今回、ｔ＋１は次回であり、例えば、「露光条件１の画像信号１（ｔ）」とは、露光条件１で今回（ｔ）取得された画像信号を意味する。
【００１３】
次に、移動量判別画像信号保存部３２において、複数画像信号生成部３１において取得された複数の異なる露光条件の画像信号の中から、例えば、前回（ｔ−１）取得された複数画像信号｛（露光条件１の画像信号１（ｔ−１）、露光条件２の画像信号２（ｔ−１）、・・・露光条件ｎの画像信号ｎ（ｔ−１）｝の中から最もコントラストの高い、例えば、露光条件ｉの画像信号ｉ（ｔ−１）を移動量判別画像信号として保存する。
【００１４】
次に、ブレ補正された複数画像信号生成部３３において、移動量判別画像信号保存部３２に保存されている移動量判別の基となる移動量判別画像信号（露光条件ｉの画像信号ｉ（ｔ−１））と、今回（ｔ）複数画像信号生成部３１において取得されたコントラストのある複数画像信号（図４の例では、コントラストのある前回と同じ露光条件ｉの複数画像信号ｉ（ｔ））と比較して、移動（ブレ）量を算出し、今回（ｔ）取得された複数画像信号｛（露光条件１の画像信号１（ｔ）、露光条件２の画像信号２（ｔ）、・・・露光条件ｎの画像信号ｎ（ｔ）｝を画像面の２次元方向（Ｘ軸方向，Ｙ軸方向）または１次元方向（Ｙ軸方向）に移動させ、ブレ補正された複数画像信号を取得する。
【００１５】
次に、部分画像信号抽出部３５において、閾値設定部３４において設定された閾値に基づいて、ブレ補正された複数画像信号生成部３３で生成された移動（ブレ）量補正された複数画像信号から、部分画像信号を抽出する。
【００１６】
次に、合成画像信号生成部３６は、部分画像信号抽出部３５において抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号を生成する。
【００１７】
次に、移動量判別合成画像信号保存部３７においては、合成画像信号生成部３６において取得されている合成画像信号から、例えば、今回（ｔ）取得された合成画像信号（ｔ）を移動量判別合成画像信号として保存する。
【００１８】
次に、ブレ量補正合成画像信号生成部３８において、移動量判別合成画像信号保存部３７に保存された移動量判別合成画像信号｛（合成画像信号（ｔ−１）｝と、合成画像信号生成部３６において今回（ｔ）取得された合成画像信号（ｔ）とを比較して、ブレ量（移動量）を算出し、今回（ｔ）の合成画像信号（ｔ）を画像面である２次元方向（Ｘ軸，Ｙ軸方向）または１次元方向（Ｙ軸方向）に移動させ、ブレ量が補正された合成画像信号を得る。
【００１９】
次に、ブレ補正された合成画像信号生成部３８からブレ補正された合成画像信号が合成画像出力部３９に出力され、さらに合成画像信号生成部３９から出力された合成画像が画像表示部４に表示される。
【００２０】
次に、図１に示した複数画像信号生成部３１、移動量判別画像信号保存部３２、およびブレ量補正複数画像信号生成部３３における処理手順を図３を参照して説明する。なお、図４は、複数画像信号のブレ補正の状況を説明するための図である。
ステップＳ１において、複数画像信号生成部３１において取得されている少なくとも２以上の光量レベル（露光時間）の異なる複数画像信号の中から、例えば、本例においては、前回（ｔ−１）取得された複数画像信号｛（露光条件１の画像信号１（ｔ−１）、露光条件２の画像信号２（ｔ−１）、・・・露光条件ｎの画像信号ｎ（ｔ−１）｝の中から最もコントラストの高い、例えば、露光条件ｉの画像信号ｉ（ｔ−１）を移動量を判別する基となる移動量判別画像信号として抽出して移動量判別画像信号保存部３２に保存する。ステップＳ２において、今回（ｔ）複数画像信号生成部３１から取得された画像信号｛（露光条件１の画像信号１（ｔ）、露光条件２の画像信号２（ｔ）、・・・露光条件ｎの画像信号ｎ（ｔ）｝の中でコントラストのある画像がある場合は、ステップＳ３以降の処理へ進み、コントラストの低い画像の場合は、今回の処理を終了する。ステップＳ３において、前回（ｔ−１）取得された複数画像信号の中で最もコントラストの高い画像信号（例えば、露光条件ｉの画像信号ｉ（ｔ−１））と、今回（ｔ）取得された画像信号｛（露光条件１の画像信号１（ｔ）、露光条件２の画像信号２（ｔ）、・・・露光条件ｎの画像信号ｎ（ｔ）｝の中でコントラストのある画像信号との明るさを比較する。ステップＳ４において、比較の結果、同じ明るさの画像の場合は、ステップＳ６に移行し、明るさが違う場合は、ステップＳ５に移行する。ステップＳ５では、今回（ｔ）の複数画像信号の中でコントラストのある画像信号の明るさを調整して、前回（ｔ−１）の画像信号ｉ（ｔ−１）の明るさを今回の複数画像信号の明るさと同レベルにする。ここで、明るさのレベルの調整は、今回の複数画像信号の明るさを前回（ｔ−１）の画像信号ｉ（ｔ−１）の明るさと合わせるようにしても良い。そして、ステップＳ６では、今回（ｔ）の複数画像信号と前回（ｔ−１）の複数画像信号の被写体が同じであるかを判定し、同じである場合は、ステップＳ７に移行し、同じでない場合は、ステップＳ９に移行する。ステップＳ７においては、図３に示すように、前回（ｔ−１）の移動量判別画像信号に対する今回（ｔ）の各複数画像信号との移動（ブレ）量を２次元（Ｘ軸、Ｙ軸）方向または１次元（Ｙ軸）方向について求め、ステップＳ８において、求めた移動（ブレ）量に基づいて、今回（ｔ）の各複数画像信号を２次元（Ｘ軸、Ｙ軸）方向または１次元（Ｙ軸）方向に移動し、移動（ブレ）量補正する。ステップＳ９において、ブレ補正した複数画像信号を保存する。
図４では、露光条件ｎの前回（ｔ−１）の画像信号ｎ（ｔ−１）と、同じ露光条件ｎの今回（ｔ）の画像信号ｎ（ｔ）から移動（ブレ）量を算出し、今回の他の（露光条件１の画像信号１（ｔ）、露光条件２の画像信号２（ｔ）、・・・）のブレ量を撮像素子が露光されるタイミングから推定量を算出しているが、比較される今回（ｔ）の複数画像信号は、コントラストを有していれば、どの露光条件のものであってもよい。ブレ量を算出するための前回と今回の複数画像信号が、露光条件の異なる複数画像信号である場合は、ステップ３で比較される画像信号間の時間間隔によって今回の他の複数画像信号の移動（ブレ）量が推定算出される。
【００２１】
このように、露光条件の異なる複数画像信号間の移動量補正を、複数画像信号のうち最もコントラストの高い画像信号を選択して移動量を算出し、移動量を比較しなかった画像信号は、推定算出して移動量を補正することによりデータの処理量を軽減し、処理速度を高める事が出来るとともに、メモリサイズ等を大型化することなく低コストでシステムを実現することが可能となる。
【００２２】
次に、図１に示した合成画像信号生成部３６、移動量判別合成画像信号保存部３７、およびブレ量補正合成画像信号生成部３８における処理手順を図５を参照して説明する。なお、図６は合成画像信号のブレ補正の状況を説明するための図である。
ステップＳ１１において、合成画像信号生成部３６の合成画像信号のコントラストのある、例えば、前回（ｔ−１）取得された合成画像（ｔ−１）を移動量判別合成画像信号として移動量判別合成画像信号保存部３７に保存する。ステップＳ１２において、抽出された合成画像信号がコントラストのある画像である場合は、ステップＳ１３以降の処理へ進み、コントラストのある画像でない場合は、今回の処理を終了する。ステップＳ１３において、前回（ｔ−１）取得された合成画像信号と今回（ｔ）取得された合成画像信号とを比較する。ステップＳ１４では、今回（ｔ）の合成画像信号と前回（ｔ−１）の合成画像信号の被写体が同じであるかを判定し、同じである場合は、ステップＳ１５に移行し、同じでない場合は、ステップＳ１７に移行する。ステップＳ１５において、図６に示すように、今回（ｔ）の合成画像信号に対する前回（ｔ−１）の合成画像信号とのブレ量（移動量）を２次元（Ｘ軸、Ｙ軸）方向または１次元（Ｙ軸）方向について求め、ステップＳ１６において、求めたブレ量（移動量）に基づいて、今回（ｔ）の合成画像信号を２次元（Ｘ軸、Ｙ軸）方向または１次元（Ｙ軸）方向に移動しブレ補正する。ステップＳ１７において、ブレ補正した合成画像信号を保存する。
【００２３】
図７は、本発明に係る広ダイナミックレンジ撮像装置を車載用カメラに適用した場合の説明図である。
車載用カメラに適用された本発明に係る広ダイナミックレンジ撮像装置においては、２次元（Ｘ軸、Ｙ軸）方向のブレ情報のうち、合成された合成画像について１次元（Ｙ軸）方向にのみのブレ補正を行って、車の上下方向の振動のみのブレを補正した合成画像を表示する。そのため、表示される画像は車の上下方向の振動に対しては静止した画像信号が得られ、その後の画像信号を使いやすくすることができる。例えば、車両の左右のヘッドライト付近にカメラを装着し、道路の白線認識６に用いると極めて有用である。
【００２４】
車載用カメラでは、特に処理速度が要求されるが、露光条件の異なる複数画像信号間の移動量補正を、複数画像信号のうち最もコントラストの高い画像信号を選択して移動量を算出し、移動量を比較しなかった画像信号は、推定算出して移動量を補正することによりデータの処理量を軽減し、処理速度を向上させ、さらに、合成画像信号間のブレ補正は、最も補正効果の大きい１次元（Ｙ軸）方向にのみのブレ補正を行って処理速度を高めている。
【００２５】
図８は、本発明に係る広ダイナミックレンジ撮像装置を交差点などの監視用カメラに適用した場合の説明図である。
同図に示すように、監視用カメラ７として適用された広ダイナミックレンジ撮像装置は、交差点８を監視するために、周囲のビルや信号機などに設置され、２４時間３６５日、常時交差点８の監視を行い、朝日や夕日などの強い入射光などが画像に取込まれる環境下にあっても、撮像画像が飽和せず、状況確認の行える撮影画像９を取得することができる。
【００２６】
図９は、本発明に係る広ダイナミックレンジ撮像装置を工場内のＦＡ（ＦａｃｔｏｒｙＡｕｔｏｍａｔｉｏｎ）カメラに適用した場合の説明図である。
同図に示すように、ＦＡカメラ１０として適用された広ダイナミックレンジ撮像装置は、レーザー半田付け装置１１付近に装備され、電子部品とプリント基板の半田付けの様子を撮像し、撮像画像１２をＴＶモニターなどに表示する。そのため、作業者はレーザーの危険に曝されずに、レーザー加工状況を安全に確認することができ、レーザー加工時の強い光にも撮像画像が飽和せず、安定した画像が得られるため、その画像を画像処理し、半田付け状況を正確に観察して自動半田を行うためのアシスト機能を実現することができる。
【図面の簡単な説明】
【００２７】
【図１】本発明に係る広ダイナミックレンジ撮像装置の制御系統を示すブロック図である。
【図２】撮像素子２から取得された露光時間の異なる複数個の画像信号（１）〜（４）と撮影環境の明るさとの関係、閾値設定部３４における閾値の設定例、および抽出された部分画像信号（１’）〜（４’）と撮影環境の明るさとの関係を示す図である。
【図３】図１に示した複数画像信号生成部３１、移動量判別画像信号保存部３２、およびブレ量補正複数画像信号生成部３３における処理手順を示す図である。
【図４】複数画像信号のブレ補正の状況を説明するための図である。
【図５】図１に示した合成画像信号生成部３６、移動量判別合成画像信号保存部３７、およびブレ量補正合成画像信号生成部３８における処理手順を示す図である。
【図６】合成画像信号のブレ補正の状況を説明するための図である。
【図７】本発明に係る広ダイナミックレンジ撮像装置を車載用カメラに適用した場合の説明図である。
【図８】本発明に係る広ダイナミックレンジ撮像装置を交差点などの監視用カメラに適用した場合の説明図である。
【図９】本発明に係る広ダイナミックレンジ撮像装置を工場内のＦＡカメラに適用した場合の説明図である。
【符号の説明】
【００２８】
１ 撮像光学系
２ 撮像素子
３ 制御部
３１ 複数画像信号生成部
３２ 移動量判別画像信号保存部
３３ ブレ補正された複数画像信号生成部
３４ 閾値設定部
３５ 部分画像信号抽出部
３６ 合成画像信号生成部
３７ 移動量判別合成画像信号保存部
３８ ブレ補正された合成画像信号生成部
３９ 合成画像信号出力部
４ 画像表示部
５ 車載用カメラ
６ 白線認識
７ 監視用カメラ
８ 交差点
９ 撮影画像
１０ ＦＡカメラ
１１ レーザー半田付け装置
１２ 撮像画像
【特許請求の範囲】
【請求項１】
撮像光学系により被写体の光学像を結像する撮像素子と、該撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルの複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として生成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、
前記複数画像信号生成部と部分画像信号抽出部との間には、タイミングの異なる前記合成画像信号を生成する前記複数画像信号生成部の画像信号から、前記複数の画像信号の移動量を算出し、前記複数の画像信号を前記算出された移動量に基づいて補正する移動量補正画像信号生成部を備えることを特徴とする広ダイナミックレンジ撮像装置。
【請求項２】
前記移動量補正画像信号生成部は、さらに比較されなかった複数画像信号生成部の複数の画像の移動量を推定算出し、移動補正した複数の画像信号を生成することを特徴とする請求項１に記載の広ダイナミックレンジ撮像装置
【請求項３】
前記移動量補正画像信号生成部の前記複数の画像信号の移動量を算出する基準となる画像信号は、前記複数画像信号生成部の複数の画像信号のうち最もコントラストの高い画像信号であることを特徴とする請求項1又は２に記載の広ダイナミックレンジ撮像装置。
【請求項４】
前記移動量補正画像信号生成部は、撮像素子に結像された光学像面の水平方向（Ｘ軸方向）と垂直方向（Ｙ軸方向）で行われることを特徴とする請求項１ないし３のいずれか１つの請求項に記載の広ダイナミックレンジ撮像装置。
【請求項５】
前記請求項１ないし請求項４のいずれか１つの請求項に記載の広ダイナミックレンジ撮像装置が車載用に適用された広ダイナミックレンジ撮像装置であって、さらに前記合成画像信号間で合成画像の垂直方向（Ｙ軸方向）でブレ補正を行うことを特徴とする車載用広ダイナミックレンジ撮像装置。
【請求項１】
撮像光学系により被写体の光学像を結像する撮像素子と、該撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルの複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として生成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、
前記複数画像信号生成部と部分画像信号抽出部との間には、タイミングの異なる前記合成画像信号を生成する前記複数画像信号生成部の画像信号から、前記複数の画像信号の移動量を算出し、前記複数の画像信号を前記算出された移動量に基づいて補正する移動量補正画像信号生成部を備えることを特徴とする広ダイナミックレンジ撮像装置。
【請求項２】
前記移動量補正画像信号生成部は、さらに比較されなかった複数画像信号生成部の複数の画像の移動量を推定算出し、移動補正した複数の画像信号を生成することを特徴とする請求項１に記載の広ダイナミックレンジ撮像装置
【請求項３】
前記移動量補正画像信号生成部の前記複数の画像信号の移動量を算出する基準となる画像信号は、前記複数画像信号生成部の複数の画像信号のうち最もコントラストの高い画像信号であることを特徴とする請求項1又は２に記載の広ダイナミックレンジ撮像装置。
【請求項４】
前記移動量補正画像信号生成部は、撮像素子に結像された光学像面の水平方向（Ｘ軸方向）と垂直方向（Ｙ軸方向）で行われることを特徴とする請求項１ないし３のいずれか１つの請求項に記載の広ダイナミックレンジ撮像装置。
【請求項５】
前記請求項１ないし請求項４のいずれか１つの請求項に記載の広ダイナミックレンジ撮像装置が車載用に適用された広ダイナミックレンジ撮像装置であって、さらに前記合成画像信号間で合成画像の垂直方向（Ｙ軸方向）でブレ補正を行うことを特徴とする車載用広ダイナミックレンジ撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−１０９９４８（Ｐ２０１０−１０９９４８Ａ）
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願番号】特願２００８−２８２５２７（Ｐ２００８−２８２５２７）
【出願日】平成２０年１０月３１日（２００８．１０．３１）
【出願人】（０００００１２２５）日本電産コパル株式会社 (755)
【Ｆターム（参考）】
【公開日】平成２２年５月１３日（２０１０．５．１３）
【国際特許分類】
【出願日】平成２０年１０月３１日（２００８．１０．３１）
【出願人】（０００００１２２５）日本電産コパル株式会社 (755)
【Ｆターム（参考）】
[ Back to top ]