広ダイナミックレンジ撮像装置
【課題】低照度の環境においても撮像フレームレートを低下させず、移動体を撮像する場合であっても複数の画像の合成処理を行う際の合成画像毎のズレを小さくする広ダイナミックレンジ撮像装置の提供。
【解決手段】撮像光学系により被写体の光学像を結像する撮像素子と、前記撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルで取得した撮像信号から複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として生成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、撮像する被写体に光を照射する照明部と、前記撮像信号を取得する撮像時ごとに前記照明部の光量を制御する照明制御部と、を備えることを特徴とする。
【解決手段】撮像光学系により被写体の光学像を結像する撮像素子と、前記撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルで取得した撮像信号から複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として生成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、撮像する被写体に光を照射する照明部と、前記撮像信号を取得する撮像時ごとに前記照明部の光量を制御する照明制御部と、を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載、監視、工業用等において、被写体を撮像する広ダイナミックレンジ撮像装置に係わり、特に、照明の制御により、光量の異なる複数の撮影画像から広ダイナミックレンジの撮像画像を生成する広ダイナミックレンジ撮像装置に関する。
【背景技術】
【０００２】
特許文献１には、静止画撮影を行う際、照明としての光を照射する発光手段を有し、第１の露出値に応じた光量を第１の露光時間にて被写体に向けて発光手段から発光させ、第２の露出値に応じた光量を第２の露光時間にて被写体に向けて発光させることを特徴とする露出制御手段を備える撮像装置が記載されており＜請求項７＞、より具体的には、２つの露光時間において被写体に対して発光部を発光させて撮像を行う際に、第２の露光時間における発光時間を露光時間よりも短く設定し、第１および第２の各露光時間に応じた露出比に対応する発光光量を被写体に向けて照射することにより、光量の異なる複数の撮影画像を取得する撮像装置が記載されている＜００７６＞。
【０００３】
特許文献２には、発光の形態を制御可能な閃光発光手段を有し、第１の露光時間および第２の露光時間でそれぞれ閃光発光手段を発光せしめるときに、第２の露光時間における総露光量が、第１の露光時間における総露光量を超えないように閃光発光手段の発光の形態を制御し、且つ、閃光発光手段の各発光について単位時間当たりの発光量を制御することにより当該発光による露光量を制御するための発光制御手段を備えていることを特徴とする撮像装置が記載されており＜請求項３＞、より具体的には、連続する２つの露光時間のうち、撮像素子の電子シャッタ動作を行った比較的短時間の信号蓄積時間のフィールドの時には、この信号蓄積時間の間に光量の小さい発光を行い、電子シャッタ動作を行わない比較的長時間の信号蓄積時間のフィールドの時には、この信号蓄積時間の間に光量の大きい発光を行なうことにより、撮像素子の短時間の信号蓄積時間の時には小さい露光量の画像、長時間の信号蓄積時間の時には大きい露光量の画像というように、光量の異なる複数の撮影画像を取得する撮像装置が記載されている＜００２４、００２７＞。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−０５４００９号公報
【特許文献２】特開平９−３２６９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載の撮像装置においては、複数の露光期間において、撮像装置の撮像時間とその撮像時間との関係で定められる発光時間を変化させて撮像することにより、光量の異なる複数の画像を生成・合成している。この場合、低照度での環境において被写体を撮像する場合には、露光時間を長く設定して光量を得るため、撮像フレームレートが低下する問題がある。また、露光時間を長く設定することにより、長時間露光と短時間露光の撮像タイミングの時間差が大きくなるため、移動体を撮像する場合などでは、複数の画像の合成処理を行った際、合成画像毎のズレが顕著になり、安定した広ダイナミックレンジ画像が得られない問題がある。
【０００６】
また、特許文献２記載の撮像装置においては、複数の露光期間において、撮像装置の撮像時間と、その撮像時間との関係で定められる閃光の発光時間および単位時間当たりの発光光量とを変化させて撮像することにより、光量の異なる複数の画像を生成・合成している。この場合、撮像素子にＣＭＯＳ構造を採用する撮像装置においては、一画面内の場所によって明るさの差が生じる問題がある。すなわち、ＣＣＤの蓄積方式であるグローバルシャッター方式においては、同一時間内に画素内のＰＤ（フォトダイオード）へ入射した光を信号電荷として蓄積し、全ての画素を同時に垂直ＣＣＤへ読み出すことができるが、一般的なＣＭＯＳイメージセンサの蓄積方式であるローリングシャッター方式においては、信号を出力した画素はその時点から再び光電変換した信号の蓄積を開始するため、撮像面の走査方法、タイミングにより、蓄積時間にずれが生じ、フラッシュやストロボ等の発光期間の短い照明成分がある場合には、一画面内の場所によって明るさの差が生じる。
また、最近ＣＭＯＳイメージセンサにおいても、グローバルシャッター方式で撮像するものがあるが、信号電荷の基本的な蓄積・読み出し方法には変わりはないため、一度に読み出すことのできる画素数には限界があり、取得する画像が小さなものとなったり、一度に読み出す必要性から、開口面を小さくしなければならないので画面が暗くなるという問題がある。
【０００７】
本発明は、上記の事情に鑑みて成されたものであり、その目的とするところは、光量の異なる複数の撮影画像から広ダイナミックレンジの撮像画像を生成する広ダイナミックレンジ撮像装置において、撮像面に入射する光を露光時間や絞りにより制御することに着目するのではなく、被写体に照射する照明を制御することに着目することにより、低照度の環境においても撮像フレームレートを低下させず、移動体を撮像する場合であっても複数の画像の合成処理を行う際の合成画像毎のズレを小さくし、また、ＣＭＯＳ構造の撮像素子を有する撮像装置においても画面の明るさを確保し、さらに、ローリングシャッター方式のＣＭＯＳ構造の撮像素子である場合でも、一画面内の場所によって明るさに差を生じることがない広ダイナミックレンジ撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決するために、次のような手段を採用した。
第１の手段は、撮像光学系により被写体の光学像を結像する撮像素子と、前記撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルで取得した撮像信号から複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として生成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、撮像する被写体に光を照射する照明部と、前記撮像信号を取得する撮像時ごとに前記照明部の光量を制御する照明制御部と、を備えることを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとに照明部の光量を制御し撮像信号を取得することにより、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【０００９】
第２の手段は、第１の手段において、複数画像信号生成部は、一連の前記撮像時ごとの露光時間を一定にして前記撮像信号を取得し、前記複数の画像信号を生成することを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとの露光時間を一定にして、撮像時ごとに照明部の光量を制御し撮像信号を取得することにより、露光時間を変化させることなく、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【００１０】
第３の手段は、第２の手段において、前記照明部は、前記照明制御部の制御により、少なくとも２つの異なる光度または点灯時間で被写体に光を照射することを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとの露光時間を一定にして、撮像時ごとに照明部の光度または点灯時間を制御し撮像信号を取得することにより、露光時間を変化させることなく、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【００１１】
第４の手段は、第１の手段において、前記複数画像信号生成部は、一連の前記撮像時ごとの露光時間を変化させて前記撮像信号を取得する際、前記照明部は、前記照明制御部の制御により、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射することにより、前記複数の画像信号を生成することを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとの露光時間を変化させるとともに、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射し、撮像信号を取得することにより、最も長い露光となる露光時間を長くせずに、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【００１２】
第５の手段は、第４の手段において、前記複数画像信号生成部は、前記最も長い露光時間となる撮像時以外の撮像時には前記最も大きい光度よりも小さい一定の光度で被写体に光を照射することにより、前記複数の画像信号を生成することを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとの露光時間を変化させるとともに、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射し、それ以外の撮像時にはそれよりも小さい一定の光度で被写体に光を照射し、撮像時ごとに照明部の光量を制御し撮像信号を取得することにより、最も長い露光となる露光時間を長くせずに、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【００１３】
第６の手段は、第１の手段において、前記撮像素子は、ＣＭＯＳ構造であってローリングシャッター方式により露光の制御を行うことを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとに照明部の光量を制御し撮像信号を取得することにより、ローリングシャッター方式を採用するＣＭＯＳ構造の撮像素子を有する撮像装置においても、画像が小さくなったり、暗くなったりすることがなく、一画面内の場所により明るさに差を生ずることのない、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【発明の効果】
【００１４】
本発明によれば、低照度の環境においても撮像フレームレートを低下させず、移動体を撮像する場合であっても複数の画像の合成処理を行う際の合成画像毎のズレを小さくし、また、ＣＭＯＳ構造の撮像素子を有する撮像装置においても画面の明るさを確保し、さらに、ローリングシャッター方式のＣＭＯＳ構造の撮像素子である場合でも、一画面内の場所によって明るさに差を生じることがない広ダイナミックレンジ撮像装置を提供することが可能となり、また、１２０ｄＢ以上の非常に高コントラスト画像においてもフレームレートの低下を抑えて撮影することが可能となり、従来実用化の困難だった分野の安全性、保安性、信頼性の向上に貢献する広ダイナミックレンジ撮像装置を提供できる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る広ダイナミックレンジ撮像装置の外観を示す斜視図である。
【図２】本発明の広ダイナミックレンジ撮像装置に適用される光路と平行な切断面から見た撮像光学系１の断面図である。
【図３】本発明に係る広ダイナミックレンジ撮像装置の制御系統を示すブロック図である。
【図４】撮像素子４から取得された光量の異なる複数個の画像信号（１）〜（４）と撮影環境の明るさとの関係、閾値設定部７２における閾値の設定例、および抽出された部分画像信号（１’）〜（４’）と撮影画像の明るさとの関係を示す図である。
【図５】本発明に係る照明と複数画像合成による広ダイナミックレンジシステム図（その１）
【図６】本発明に係るダイナミックレンジ拡大のフローチャート（その１）
【図７】本発明に係る照明と複数画像合成による広ダイナミックレンジシステム図（その２）
【図８】本発明に係るダイナミックレンジ拡大のフローチャート（その２）
【図９】本発明に係る広ダイナミックレンジ撮像装置を車載用カメラに適用した場合の説明図である。
【図１０】本発明に係る広ダイナミックレンジ撮像装置をＡＴＭコーナーなどの監視用カメラに適用した場合の説明図である。
【図１１】本発明に係る広ダイナミックレンジ撮像装置を工場内のＦＡカメラに適用した場合の説明図である。
【発明を実施するための形態】
【００１６】
本発明の実施形態を図１ないし図１１を用いて説明する。
図１は、本実施形態の発明に係る広ダイナミックレンジ撮像装置の外観を示す斜視図である。
図２は、本発明の広ダイナミックレンジ撮像装置に適用される光路と平行な切断面から見た撮像光学系１の断面図である。
同図において、１は撮像光学系、２は撮像光学系１を構成する筐体、３は撮像光学系１における結像光学系を構成するために配置された複数枚の反射ミラー、４は撮像素子、５は広ダイナミックレンジカメラシステム基板、６は撮像光学系１に入射された光が撮像素子４に入射されるまでの光路である。
【００１７】
図３は、本発明に係る広ダイナミックレンジ撮像装置の制御系統を示すブロック図である。
同図において、７は制御回路部、７１は撮像素子４に結像された光学像に基づいて、複数の異なる光量レベルを有する画像信号を生成する複数画像信号生成部、７２は部分画像信号抽出用の閾値が設定されている閾値設定部、７３は、閾値設定部７２に設定されている閾値に基づいて、複数画像信号生成部７１で生成された複数の各画像信号から選択されるべき部分画像信号を抽出する部分画像信号抽出部、７４は部分画像信号抽出部７３から出力された撮像画像の明るさが補正された部分画像信号を合成して合成画像信号を生成する合成画像信号生成部、７５は合成画像信号生成部７４で生成された合成画像信号を出力する合成画像信号出力部、７６は、撮像信号を取得する際、照明部１０を制御する照明制御部、７７は撮像素子４及び照明制御部７６に対して撮像の同期を制御する撮像駆動部、８は合成画像を表示する画像表示部、１０は照明制御部７６の制御により被写体に光を照射する照明部である。なお、その他の構成は図２に示した同符号の構成に対応する。
【００１８】
図４（ａ）は、撮像素子４から取得された光量の異なる複数個の画像信号（１）〜（４）と撮影環境の明るさとの関係を示す図であり、図４（ｂ）は、閾値設定部７２における閾値の設定例を示す図であり、図４（ｃ）は、部分画像信号抽出部７３において、取得された画像信号（１）〜（４）から、閾値設定部７２において設定された閾値に基づいて、抽出された部分画像信号（１’）〜（４’）と撮影画像の明るさとの関係を示す図である。
【００１９】
次に、図３に示したブロック図に基づいて、本発明に係る広ダイナミックレンジ撮像装置の動作について説明する。
照明制御部７６は、後述の設定値に基づき、撮像時ごとに照明部１０の光量（点灯時間又は光度）を制御する。照明部１０は、照明制御部７６により制御され、被写体に光を照射する。照射を受けた被写体は、撮像光学系１を通して、その光学像をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）構造であってローリングシャッター方式により露光される撮像素子４に結像する。その際、撮像駆動部７７は、撮像素子４及び照明制御部７６に対して撮像の同期を制御する。複数画像信号生成部７１は、撮像素子４で結像された光学像に基づいて、複数の異なる露光レベルの画像信号を生成する。部分画像信号抽出部７３は、複数画像信号生成部７１で生成された光量の異なる複数の画像信号を、閾値設定部７２において設定された閾値に基づいて、部分画像信号を抽出する。合成画像信号生成部７４は、部分画像信号抽出部７３において抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号を生成する。
【００２０】
図５は、本発明に係る照明と複数画像合成による広ダイナミックレンジシステム図（その１）である。また、図６は、本発明に係るダイナミックレンジ拡大のフローチャート（その１）である。
図５及び図６を用いて、本実施形態における広ダイナミックレンジシステム全体の処理手順を説明する。本実施形態は、上記第５の手段に対応するものであり、撮像時ごとの露光時間を変化させるとともに、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射し、それ以外の撮像時にはそれよりも小さい一定の光度で被写体に光を照射し、光量の異なる複数の撮影画像を取得する広ダイナミックレンジ撮像装置である。なお、複数画像取得枚数は４枚を例にして述べる。
【００２１】
図５においては、露光時間と光量の関係を表しており、露光時間を１／１、１／３２、１／４８０、１／４０３０と変化させつつ４回撮像し、最初の撮像時に、即ち、最も長い露光時間となる撮像時には、最も大きい光度で被写体に光を照射し、２回目以降の撮像時にはそれよりも小さい一定の光度で被写体に光を照射し、撮像している。なお、この実施例では、２回目以降の光度を一定にしているが、各回の光度を変化させてもよいし、光を照射しなくてもよい。また、最初の撮像時最も長い露光時間となる撮像を行っているが、上記４回の撮像を１セットとして周期的に繰り返すので、「最も長い露光時間となる撮像時」とは、「４回の撮像の中で最も長い露光時間となる撮像時」のことである。
【００２２】
図６は、広ダイナミックレンジシステムにおけるメイン関数をフローチャートで表したものである。
まず、ステップＳ１において、本広ダイナミックレンジ撮像装置の電源が投入される。電源の投入は人間が行ってもよいし、タイマーなどの装置が行ってもよい。
ステップＳ２において、制御部内のＣＭＯＳレジスタ（図示せず）の設定を含め、周辺回路の初期設定を行う。この設定は、電源投入後に人間が行ってもよいが、好ましくは、記憶部（図示せず）に設定値を保存しておき、電源投入後に本システムが該記憶部に保存された値を取り出し、該ＣＭＯＳレジスタなどに設定を行うとよい。ＣＭＯＳレジスタの種類には、露光時間の異なる画像取得枚数、各撮像時の露光時間、各撮像時の光量（点灯時間および光度）などがある。該画像取得枚数は、少なくとも２枚以上の露光時間の異なる画像を取り込むように設定する。本実施形態では、画像取得枚数は４枚とし、各撮像時の露光時間は、それぞれ１／１、１／３２、１／４８０、１／４０３０とする。また、各撮像時の光量は、例えば、最初の撮像時の照明の光量を、即ち、図５との関係で述べれば、最も長い露光時間となる撮像時の照明の光量は１００とし、２回目以降の撮像時の照明の光量は１０とするといった具合に設定する。
ステップＳ３において、本システム、好適には撮像駆動部７７が、該設定に基づいた画像取り込みとそのデータの転送を撮像素子４に要求する。
ステップＳ４において、さらに、本システム、好適には撮像駆動部７７は、撮像素子４の画像取り込みと同期するように照明制御部７６を制御し、照明制御部７６は、該設定に基づいた光量で光を照射するように照明部１０を制御する。照明部１０は、好適には、明るさの立ち上がり・立ち下り特性が良いＬＥＤランプやキセノンランプを用いると良い。
ステップＳ５において、ＣＭＯＳの撮像素子４から転送された画像データをメモリへ取り込む。
ステップＳ６において、上記ステップＳ４とＳ５を、該設定に基づいた枚数分繰り返し、ここの例では４枚になった場合は、次のステップＳ７を行う。
ステップＳ７において、複数枚、ここでは４枚の画像を合成する。図４に基づき具体的に説明すれば、取得された複数の異なる光量レベルを有する画像信号（１）〜（４）に基づき、部分画像信号抽出部７３において、閾値設定部７２において設定された閾値に基づいて、各画像信号（１）〜（４）から選択されるべき画像信号部分をそれぞれ部分画像信号（１’）〜（４’）として抽出する。次に、合成画像生成部７４において、抽出された部分画像信号（１’）〜（４’）に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号を生成する。
ステップＳ８において、得られた合成画像を合成画像出力部７５に出力し、画像表示部８、具体的にはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）モニター等の外部表示機器に表示される。
ステップＳ９において、終了要求がある場合は終了処理を行い、終了要求ない場合はステップＳ４に戻る。
【００２３】
このように、最も長い露光となる撮像時に最も大きな光量の光を被写体に照射することにより、該最も長い露光となる露光時間をあまり長くする必要がなくなり、その結果、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【００２４】
図７は、本発明に係る照明と複数画像合成による広ダイナミックレンジシステム図（その２）である。また、図８は、本発明に係るダイナミックレンジ拡大のフローチャート（その２）である。
図７及び図８を用いて、本実施形態における広ダイナミックレンジシステム全体の処理手順を説明する。本実施形態は、上記第３の手段に対応するものであり、撮像時ごとの露光時間を一定にして、撮像時ごとに照明部の光度を変化させ被写体に光を照射し、光量の異なる複数の撮影画像を取得する広ダイナミックレンジ撮像装置である。なお、複数画像取得枚数は４枚を例にして述べる。
【００２５】
図７においては、露光時間と光量の関係を表しており、露光時間は、各撮像時を通して、１／１と一定である。最初の撮像時に、最も大きい光度で被写体に光を照射し、２回目の撮像時には１回目の撮像時の光度よりも小さい光度で被写体に光を照射し、３回目の撮像時には２回目の撮像時の光度よりも小さい光度で被写体に光を照射し、４回目の撮像時には３回目の撮像時の光度よりも小さい光度で被写体に光を照射し、撮像している。なお、この実施例では、全ての撮像時において光を照射しているが、例えば、最後の撮像時には光を照射しなくてもよい。また、最初の撮像時に最も大きな光度の光を照射し撮像を行っているが、上記４回の撮像を１セットとして周期的に繰り返すので、「最初の撮像時に最も大きな光度の光を照射」とは、「４回の撮像の中で最も大きな光度の光を照射」のことである。
【００２６】
図８は、広ダイナミックレンジシステムにおけるメイン関数をフローチャートで表したものである。
まず、ステップＳ１１において、本広ダイナミックレンジ撮像装置の電源が投入される。電源の投入は人間が行ってもよいし、タイマーなどの装置が行ってもよい。
ステップＳ１２において、制御部内のＣＭＯＳレジスタ（図示せず）の設定を含め、周辺回路の初期設定を行う。この設定は、電源投入後に人間が行ってもよいが、好ましくは、記憶部（図示せず）に設定値を保存しておき、電源投入後に本システムが該記憶部に保存された値を取り出し、該ＣＭＯＳレジスタなどに設定を行うとよい。ＣＭＯＳレジスタの種類には、露光時間の異なる画像取得枚数、各撮像時の露光時間、各撮像時の光量（点灯時間および光度）などがある。該画像取得枚数は、少なくとも２枚以上の一定の露光時間で画像を取り込むように設定する。本実施形態では、画像取得枚数は４枚とし、各撮像時の露光時間は、すべて１／１とする。また、各撮像時の光量は、例えば、最初の撮像時の照明の光量を、即ち、図７との関係で述べれば、最初の撮像時の照明の光量は１００、２回目の撮像時の照明の光量は５０、３回目の撮像時の照明の光量は２５、４回目の撮像時の照明の光量は１０といった具合に設定する。
ステップＳ１３において、本システム、好適には撮像駆動部７７が、該設定に基づいた画像取り込みとそのデータの転送を撮像素子４に要求する。
ステップＳ１４において、さらに、本システム、好適には撮像駆動部７７は、撮像素子４の画像取り込みと同期するように照明制御部７６を制御し、照明制御部７６は、該設定に基づいた光量で光を照射するように照明部１０を制御する。照明部１０は、好適には、明るさの立ち上がり・立ち下り特性が良いＬＥＤランプやキセノンランプを用いると良い。
ステップＳ１５において、ＣＭＯＳの撮像素子４から転送された画像データをメモリへ取り込む。
ステップＳ１６において、上記ステップＳ１４とＳ１５を、該設定に基づいた枚数分繰り返し、ここの例では４枚になった場合は、次のステップＳ１７を行う。
ステップＳ１７において、複数枚、ここでは４枚の画像を合成する。図４に基づき具体的に説明すれば、取得された複数の異なる光量レベルを有する画像信号（１）〜（４）に基づき、部分画像信号抽出部７３において、閾値設定部７２において設定された閾値に基づいて、各画像信号（１）〜（４）から選択されるべき画像信号部分をそれぞれ部分画像信号（１’）〜（４’）として抽出する。次に、合成画像生成部７４において、抽出された部分画像信号（１’）〜（４’）に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号を生成する。
ステップＳ１８において、得られた合成画像を合成画像出力部７５に出力し、画像表示部８、具体的にはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）モニター等の外部表示機器に表示される。
ステップＳ１９において、終了要求がある場合は終了処理を行い、終了要求ない場合はステップＳ１４に戻る。
【００２７】
このように、撮像時ごとの露光時間を一定にし、照明部の光度のみを変化させて、光量の異なる複数の撮影画像を取得することにより、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。尚、照明部の点灯時間のみを変化させてもよい。
【００２８】
図９は、本発明に係る撮像装置を広ダイナミックレンジの車載用カメラに適用した場合の説明図である。
同図に示すように、高レスポンスが要求される車載用カメラ１１として適用された広ダイナミックレンジの撮像装置を、車両の左右のヘッドライト付近に装着し、ヘッドライト１２の光量を制御し、相対的に移動する道路の白線を認識することに用いると、ヘッドライトを点灯しなければならない低照度環境下においてもフレームレートを低下させないため、カメラから見ると白線は常に動いているが、その合成画像ごとのズレは小さく抑えることができ、極めて有効な車載用カメラを提供できる。
【００２９】
図１０は、本発明に係る撮像装置をＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ：現金自動預け払い機）コーナーなどの広ダイナミックレンジの監視用カメラに適用した場合の説明図である。
同図に示すように、監視用カメラ１３として適用された広ダイナミックレンジの撮像装置を、ＡＴＭコーナーでの人の振る舞いを監視するためにＡＴＭ周辺を撮影できる場所などに照明１４と共に設置し、常時監視を行うことにより、低照度環境の場所であってもフレームレートが低下しないため、人の振る舞いの抜けが小さくなり、一部始終を捉えることができるので、保安上極めて有効な監視カメラを提供できる。
【００３０】
図１１は、本発明に係る撮像装置を工場内の広ダイナミックレンジのＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）用カメラに適用した場合の説明図である。
同図に示すように、ＦＡ用カメラ１５として適用された広ダイナミックレンジの撮像装置を、例えば、レーザー半田付け装置付近に装備し、電子部品とプリント基板の半田付けの様子を、照明１６の光量を制御しながら撮像し、その撮像画像をＴＶモニターなどに表示する。これによって、作業者はレーザーの危険に曝されずに、レーザー加工状況を安全に確認することができ、撮像素子が飽和せずに安定した画像が得られるため、その画像を画像処理し、半田付け状況を正確に観察して自動半田を行うためのアシスト機能を実現することができる。
【符号の説明】
【００３１】
１ 撮像光学系
２ 筐体
３ 反射ミラー
４ 撮像素子
５ ダイナミックレンジカメラシステム基板
６ 光路
７ 制御回路部
７１ 複数画像信号生成部
７２ 閾値設定部
７３ 部分画像信号抽出部
７４ 合成画像生成部
７５ 合成画像出力部
７６ 照明制御部
７７ 撮像駆動部
８ 画像表示部
９ 透明板（カバーガラス）
１０ 照明部
１１ 車載用カメラ
１２ ヘッドライト
１３ 監視カメラ
１４ 監視用照明
１５ ＦＡカメラ
１６ ＦＡ用照明
【技術分野】
【０００１】
本発明は、車載、監視、工業用等において、被写体を撮像する広ダイナミックレンジ撮像装置に係わり、特に、照明の制御により、光量の異なる複数の撮影画像から広ダイナミックレンジの撮像画像を生成する広ダイナミックレンジ撮像装置に関する。
【背景技術】
【０００２】
特許文献１には、静止画撮影を行う際、照明としての光を照射する発光手段を有し、第１の露出値に応じた光量を第１の露光時間にて被写体に向けて発光手段から発光させ、第２の露出値に応じた光量を第２の露光時間にて被写体に向けて発光させることを特徴とする露出制御手段を備える撮像装置が記載されており＜請求項７＞、より具体的には、２つの露光時間において被写体に対して発光部を発光させて撮像を行う際に、第２の露光時間における発光時間を露光時間よりも短く設定し、第１および第２の各露光時間に応じた露出比に対応する発光光量を被写体に向けて照射することにより、光量の異なる複数の撮影画像を取得する撮像装置が記載されている＜００７６＞。
【０００３】
特許文献２には、発光の形態を制御可能な閃光発光手段を有し、第１の露光時間および第２の露光時間でそれぞれ閃光発光手段を発光せしめるときに、第２の露光時間における総露光量が、第１の露光時間における総露光量を超えないように閃光発光手段の発光の形態を制御し、且つ、閃光発光手段の各発光について単位時間当たりの発光量を制御することにより当該発光による露光量を制御するための発光制御手段を備えていることを特徴とする撮像装置が記載されており＜請求項３＞、より具体的には、連続する２つの露光時間のうち、撮像素子の電子シャッタ動作を行った比較的短時間の信号蓄積時間のフィールドの時には、この信号蓄積時間の間に光量の小さい発光を行い、電子シャッタ動作を行わない比較的長時間の信号蓄積時間のフィールドの時には、この信号蓄積時間の間に光量の大きい発光を行なうことにより、撮像素子の短時間の信号蓄積時間の時には小さい露光量の画像、長時間の信号蓄積時間の時には大きい露光量の画像というように、光量の異なる複数の撮影画像を取得する撮像装置が記載されている＜００２４、００２７＞。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−０５４００９号公報
【特許文献２】特開平９−３２６９６３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１記載の撮像装置においては、複数の露光期間において、撮像装置の撮像時間とその撮像時間との関係で定められる発光時間を変化させて撮像することにより、光量の異なる複数の画像を生成・合成している。この場合、低照度での環境において被写体を撮像する場合には、露光時間を長く設定して光量を得るため、撮像フレームレートが低下する問題がある。また、露光時間を長く設定することにより、長時間露光と短時間露光の撮像タイミングの時間差が大きくなるため、移動体を撮像する場合などでは、複数の画像の合成処理を行った際、合成画像毎のズレが顕著になり、安定した広ダイナミックレンジ画像が得られない問題がある。
【０００６】
また、特許文献２記載の撮像装置においては、複数の露光期間において、撮像装置の撮像時間と、その撮像時間との関係で定められる閃光の発光時間および単位時間当たりの発光光量とを変化させて撮像することにより、光量の異なる複数の画像を生成・合成している。この場合、撮像素子にＣＭＯＳ構造を採用する撮像装置においては、一画面内の場所によって明るさの差が生じる問題がある。すなわち、ＣＣＤの蓄積方式であるグローバルシャッター方式においては、同一時間内に画素内のＰＤ（フォトダイオード）へ入射した光を信号電荷として蓄積し、全ての画素を同時に垂直ＣＣＤへ読み出すことができるが、一般的なＣＭＯＳイメージセンサの蓄積方式であるローリングシャッター方式においては、信号を出力した画素はその時点から再び光電変換した信号の蓄積を開始するため、撮像面の走査方法、タイミングにより、蓄積時間にずれが生じ、フラッシュやストロボ等の発光期間の短い照明成分がある場合には、一画面内の場所によって明るさの差が生じる。
また、最近ＣＭＯＳイメージセンサにおいても、グローバルシャッター方式で撮像するものがあるが、信号電荷の基本的な蓄積・読み出し方法には変わりはないため、一度に読み出すことのできる画素数には限界があり、取得する画像が小さなものとなったり、一度に読み出す必要性から、開口面を小さくしなければならないので画面が暗くなるという問題がある。
【０００７】
本発明は、上記の事情に鑑みて成されたものであり、その目的とするところは、光量の異なる複数の撮影画像から広ダイナミックレンジの撮像画像を生成する広ダイナミックレンジ撮像装置において、撮像面に入射する光を露光時間や絞りにより制御することに着目するのではなく、被写体に照射する照明を制御することに着目することにより、低照度の環境においても撮像フレームレートを低下させず、移動体を撮像する場合であっても複数の画像の合成処理を行う際の合成画像毎のズレを小さくし、また、ＣＭＯＳ構造の撮像素子を有する撮像装置においても画面の明るさを確保し、さらに、ローリングシャッター方式のＣＭＯＳ構造の撮像素子である場合でも、一画面内の場所によって明るさに差を生じることがない広ダイナミックレンジ撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
本発明は、上記の課題を解決するために、次のような手段を採用した。
第１の手段は、撮像光学系により被写体の光学像を結像する撮像素子と、前記撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルで取得した撮像信号から複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として生成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、撮像する被写体に光を照射する照明部と、前記撮像信号を取得する撮像時ごとに前記照明部の光量を制御する照明制御部と、を備えることを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとに照明部の光量を制御し撮像信号を取得することにより、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【０００９】
第２の手段は、第１の手段において、複数画像信号生成部は、一連の前記撮像時ごとの露光時間を一定にして前記撮像信号を取得し、前記複数の画像信号を生成することを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとの露光時間を一定にして、撮像時ごとに照明部の光量を制御し撮像信号を取得することにより、露光時間を変化させることなく、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【００１０】
第３の手段は、第２の手段において、前記照明部は、前記照明制御部の制御により、少なくとも２つの異なる光度または点灯時間で被写体に光を照射することを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとの露光時間を一定にして、撮像時ごとに照明部の光度または点灯時間を制御し撮像信号を取得することにより、露光時間を変化させることなく、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【００１１】
第４の手段は、第１の手段において、前記複数画像信号生成部は、一連の前記撮像時ごとの露光時間を変化させて前記撮像信号を取得する際、前記照明部は、前記照明制御部の制御により、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射することにより、前記複数の画像信号を生成することを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとの露光時間を変化させるとともに、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射し、撮像信号を取得することにより、最も長い露光となる露光時間を長くせずに、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【００１２】
第５の手段は、第４の手段において、前記複数画像信号生成部は、前記最も長い露光時間となる撮像時以外の撮像時には前記最も大きい光度よりも小さい一定の光度で被写体に光を照射することにより、前記複数の画像信号を生成することを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとの露光時間を変化させるとともに、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射し、それ以外の撮像時にはそれよりも小さい一定の光度で被写体に光を照射し、撮像時ごとに照明部の光量を制御し撮像信号を取得することにより、最も長い露光となる露光時間を長くせずに、光量の異なる複数の撮影画像を取得することが可能となり、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【００１３】
第６の手段は、第１の手段において、前記撮像素子は、ＣＭＯＳ構造であってローリングシャッター方式により露光の制御を行うことを特徴とする広ダイナミックレンジ撮像装置である。
この構成によれば、撮像時ごとに照明部の光量を制御し撮像信号を取得することにより、ローリングシャッター方式を採用するＣＭＯＳ構造の撮像素子を有する撮像装置においても、画像が小さくなったり、暗くなったりすることがなく、一画面内の場所により明るさに差を生ずることのない、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【発明の効果】
【００１４】
本発明によれば、低照度の環境においても撮像フレームレートを低下させず、移動体を撮像する場合であっても複数の画像の合成処理を行う際の合成画像毎のズレを小さくし、また、ＣＭＯＳ構造の撮像素子を有する撮像装置においても画面の明るさを確保し、さらに、ローリングシャッター方式のＣＭＯＳ構造の撮像素子である場合でも、一画面内の場所によって明るさに差を生じることがない広ダイナミックレンジ撮像装置を提供することが可能となり、また、１２０ｄＢ以上の非常に高コントラスト画像においてもフレームレートの低下を抑えて撮影することが可能となり、従来実用化の困難だった分野の安全性、保安性、信頼性の向上に貢献する広ダイナミックレンジ撮像装置を提供できる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る広ダイナミックレンジ撮像装置の外観を示す斜視図である。
【図２】本発明の広ダイナミックレンジ撮像装置に適用される光路と平行な切断面から見た撮像光学系１の断面図である。
【図３】本発明に係る広ダイナミックレンジ撮像装置の制御系統を示すブロック図である。
【図４】撮像素子４から取得された光量の異なる複数個の画像信号（１）〜（４）と撮影環境の明るさとの関係、閾値設定部７２における閾値の設定例、および抽出された部分画像信号（１’）〜（４’）と撮影画像の明るさとの関係を示す図である。
【図５】本発明に係る照明と複数画像合成による広ダイナミックレンジシステム図（その１）
【図６】本発明に係るダイナミックレンジ拡大のフローチャート（その１）
【図７】本発明に係る照明と複数画像合成による広ダイナミックレンジシステム図（その２）
【図８】本発明に係るダイナミックレンジ拡大のフローチャート（その２）
【図９】本発明に係る広ダイナミックレンジ撮像装置を車載用カメラに適用した場合の説明図である。
【図１０】本発明に係る広ダイナミックレンジ撮像装置をＡＴＭコーナーなどの監視用カメラに適用した場合の説明図である。
【図１１】本発明に係る広ダイナミックレンジ撮像装置を工場内のＦＡカメラに適用した場合の説明図である。
【発明を実施するための形態】
【００１６】
本発明の実施形態を図１ないし図１１を用いて説明する。
図１は、本実施形態の発明に係る広ダイナミックレンジ撮像装置の外観を示す斜視図である。
図２は、本発明の広ダイナミックレンジ撮像装置に適用される光路と平行な切断面から見た撮像光学系１の断面図である。
同図において、１は撮像光学系、２は撮像光学系１を構成する筐体、３は撮像光学系１における結像光学系を構成するために配置された複数枚の反射ミラー、４は撮像素子、５は広ダイナミックレンジカメラシステム基板、６は撮像光学系１に入射された光が撮像素子４に入射されるまでの光路である。
【００１７】
図３は、本発明に係る広ダイナミックレンジ撮像装置の制御系統を示すブロック図である。
同図において、７は制御回路部、７１は撮像素子４に結像された光学像に基づいて、複数の異なる光量レベルを有する画像信号を生成する複数画像信号生成部、７２は部分画像信号抽出用の閾値が設定されている閾値設定部、７３は、閾値設定部７２に設定されている閾値に基づいて、複数画像信号生成部７１で生成された複数の各画像信号から選択されるべき部分画像信号を抽出する部分画像信号抽出部、７４は部分画像信号抽出部７３から出力された撮像画像の明るさが補正された部分画像信号を合成して合成画像信号を生成する合成画像信号生成部、７５は合成画像信号生成部７４で生成された合成画像信号を出力する合成画像信号出力部、７６は、撮像信号を取得する際、照明部１０を制御する照明制御部、７７は撮像素子４及び照明制御部７６に対して撮像の同期を制御する撮像駆動部、８は合成画像を表示する画像表示部、１０は照明制御部７６の制御により被写体に光を照射する照明部である。なお、その他の構成は図２に示した同符号の構成に対応する。
【００１８】
図４（ａ）は、撮像素子４から取得された光量の異なる複数個の画像信号（１）〜（４）と撮影環境の明るさとの関係を示す図であり、図４（ｂ）は、閾値設定部７２における閾値の設定例を示す図であり、図４（ｃ）は、部分画像信号抽出部７３において、取得された画像信号（１）〜（４）から、閾値設定部７２において設定された閾値に基づいて、抽出された部分画像信号（１’）〜（４’）と撮影画像の明るさとの関係を示す図である。
【００１９】
次に、図３に示したブロック図に基づいて、本発明に係る広ダイナミックレンジ撮像装置の動作について説明する。
照明制御部７６は、後述の設定値に基づき、撮像時ごとに照明部１０の光量（点灯時間又は光度）を制御する。照明部１０は、照明制御部７６により制御され、被写体に光を照射する。照射を受けた被写体は、撮像光学系１を通して、その光学像をＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）構造であってローリングシャッター方式により露光される撮像素子４に結像する。その際、撮像駆動部７７は、撮像素子４及び照明制御部７６に対して撮像の同期を制御する。複数画像信号生成部７１は、撮像素子４で結像された光学像に基づいて、複数の異なる露光レベルの画像信号を生成する。部分画像信号抽出部７３は、複数画像信号生成部７１で生成された光量の異なる複数の画像信号を、閾値設定部７２において設定された閾値に基づいて、部分画像信号を抽出する。合成画像信号生成部７４は、部分画像信号抽出部７３において抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号を生成する。
【００２０】
図５は、本発明に係る照明と複数画像合成による広ダイナミックレンジシステム図（その１）である。また、図６は、本発明に係るダイナミックレンジ拡大のフローチャート（その１）である。
図５及び図６を用いて、本実施形態における広ダイナミックレンジシステム全体の処理手順を説明する。本実施形態は、上記第５の手段に対応するものであり、撮像時ごとの露光時間を変化させるとともに、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射し、それ以外の撮像時にはそれよりも小さい一定の光度で被写体に光を照射し、光量の異なる複数の撮影画像を取得する広ダイナミックレンジ撮像装置である。なお、複数画像取得枚数は４枚を例にして述べる。
【００２１】
図５においては、露光時間と光量の関係を表しており、露光時間を１／１、１／３２、１／４８０、１／４０３０と変化させつつ４回撮像し、最初の撮像時に、即ち、最も長い露光時間となる撮像時には、最も大きい光度で被写体に光を照射し、２回目以降の撮像時にはそれよりも小さい一定の光度で被写体に光を照射し、撮像している。なお、この実施例では、２回目以降の光度を一定にしているが、各回の光度を変化させてもよいし、光を照射しなくてもよい。また、最初の撮像時最も長い露光時間となる撮像を行っているが、上記４回の撮像を１セットとして周期的に繰り返すので、「最も長い露光時間となる撮像時」とは、「４回の撮像の中で最も長い露光時間となる撮像時」のことである。
【００２２】
図６は、広ダイナミックレンジシステムにおけるメイン関数をフローチャートで表したものである。
まず、ステップＳ１において、本広ダイナミックレンジ撮像装置の電源が投入される。電源の投入は人間が行ってもよいし、タイマーなどの装置が行ってもよい。
ステップＳ２において、制御部内のＣＭＯＳレジスタ（図示せず）の設定を含め、周辺回路の初期設定を行う。この設定は、電源投入後に人間が行ってもよいが、好ましくは、記憶部（図示せず）に設定値を保存しておき、電源投入後に本システムが該記憶部に保存された値を取り出し、該ＣＭＯＳレジスタなどに設定を行うとよい。ＣＭＯＳレジスタの種類には、露光時間の異なる画像取得枚数、各撮像時の露光時間、各撮像時の光量（点灯時間および光度）などがある。該画像取得枚数は、少なくとも２枚以上の露光時間の異なる画像を取り込むように設定する。本実施形態では、画像取得枚数は４枚とし、各撮像時の露光時間は、それぞれ１／１、１／３２、１／４８０、１／４０３０とする。また、各撮像時の光量は、例えば、最初の撮像時の照明の光量を、即ち、図５との関係で述べれば、最も長い露光時間となる撮像時の照明の光量は１００とし、２回目以降の撮像時の照明の光量は１０とするといった具合に設定する。
ステップＳ３において、本システム、好適には撮像駆動部７７が、該設定に基づいた画像取り込みとそのデータの転送を撮像素子４に要求する。
ステップＳ４において、さらに、本システム、好適には撮像駆動部７７は、撮像素子４の画像取り込みと同期するように照明制御部７６を制御し、照明制御部７６は、該設定に基づいた光量で光を照射するように照明部１０を制御する。照明部１０は、好適には、明るさの立ち上がり・立ち下り特性が良いＬＥＤランプやキセノンランプを用いると良い。
ステップＳ５において、ＣＭＯＳの撮像素子４から転送された画像データをメモリへ取り込む。
ステップＳ６において、上記ステップＳ４とＳ５を、該設定に基づいた枚数分繰り返し、ここの例では４枚になった場合は、次のステップＳ７を行う。
ステップＳ７において、複数枚、ここでは４枚の画像を合成する。図４に基づき具体的に説明すれば、取得された複数の異なる光量レベルを有する画像信号（１）〜（４）に基づき、部分画像信号抽出部７３において、閾値設定部７２において設定された閾値に基づいて、各画像信号（１）〜（４）から選択されるべき画像信号部分をそれぞれ部分画像信号（１’）〜（４’）として抽出する。次に、合成画像生成部７４において、抽出された部分画像信号（１’）〜（４’）に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号を生成する。
ステップＳ８において、得られた合成画像を合成画像出力部７５に出力し、画像表示部８、具体的にはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）モニター等の外部表示機器に表示される。
ステップＳ９において、終了要求がある場合は終了処理を行い、終了要求ない場合はステップＳ４に戻る。
【００２３】
このように、最も長い露光となる撮像時に最も大きな光量の光を被写体に照射することにより、該最も長い露光となる露光時間をあまり長くする必要がなくなり、その結果、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。
【００２４】
図７は、本発明に係る照明と複数画像合成による広ダイナミックレンジシステム図（その２）である。また、図８は、本発明に係るダイナミックレンジ拡大のフローチャート（その２）である。
図７及び図８を用いて、本実施形態における広ダイナミックレンジシステム全体の処理手順を説明する。本実施形態は、上記第３の手段に対応するものであり、撮像時ごとの露光時間を一定にして、撮像時ごとに照明部の光度を変化させ被写体に光を照射し、光量の異なる複数の撮影画像を取得する広ダイナミックレンジ撮像装置である。なお、複数画像取得枚数は４枚を例にして述べる。
【００２５】
図７においては、露光時間と光量の関係を表しており、露光時間は、各撮像時を通して、１／１と一定である。最初の撮像時に、最も大きい光度で被写体に光を照射し、２回目の撮像時には１回目の撮像時の光度よりも小さい光度で被写体に光を照射し、３回目の撮像時には２回目の撮像時の光度よりも小さい光度で被写体に光を照射し、４回目の撮像時には３回目の撮像時の光度よりも小さい光度で被写体に光を照射し、撮像している。なお、この実施例では、全ての撮像時において光を照射しているが、例えば、最後の撮像時には光を照射しなくてもよい。また、最初の撮像時に最も大きな光度の光を照射し撮像を行っているが、上記４回の撮像を１セットとして周期的に繰り返すので、「最初の撮像時に最も大きな光度の光を照射」とは、「４回の撮像の中で最も大きな光度の光を照射」のことである。
【００２６】
図８は、広ダイナミックレンジシステムにおけるメイン関数をフローチャートで表したものである。
まず、ステップＳ１１において、本広ダイナミックレンジ撮像装置の電源が投入される。電源の投入は人間が行ってもよいし、タイマーなどの装置が行ってもよい。
ステップＳ１２において、制御部内のＣＭＯＳレジスタ（図示せず）の設定を含め、周辺回路の初期設定を行う。この設定は、電源投入後に人間が行ってもよいが、好ましくは、記憶部（図示せず）に設定値を保存しておき、電源投入後に本システムが該記憶部に保存された値を取り出し、該ＣＭＯＳレジスタなどに設定を行うとよい。ＣＭＯＳレジスタの種類には、露光時間の異なる画像取得枚数、各撮像時の露光時間、各撮像時の光量（点灯時間および光度）などがある。該画像取得枚数は、少なくとも２枚以上の一定の露光時間で画像を取り込むように設定する。本実施形態では、画像取得枚数は４枚とし、各撮像時の露光時間は、すべて１／１とする。また、各撮像時の光量は、例えば、最初の撮像時の照明の光量を、即ち、図７との関係で述べれば、最初の撮像時の照明の光量は１００、２回目の撮像時の照明の光量は５０、３回目の撮像時の照明の光量は２５、４回目の撮像時の照明の光量は１０といった具合に設定する。
ステップＳ１３において、本システム、好適には撮像駆動部７７が、該設定に基づいた画像取り込みとそのデータの転送を撮像素子４に要求する。
ステップＳ１４において、さらに、本システム、好適には撮像駆動部７７は、撮像素子４の画像取り込みと同期するように照明制御部７６を制御し、照明制御部７６は、該設定に基づいた光量で光を照射するように照明部１０を制御する。照明部１０は、好適には、明るさの立ち上がり・立ち下り特性が良いＬＥＤランプやキセノンランプを用いると良い。
ステップＳ１５において、ＣＭＯＳの撮像素子４から転送された画像データをメモリへ取り込む。
ステップＳ１６において、上記ステップＳ１４とＳ１５を、該設定に基づいた枚数分繰り返し、ここの例では４枚になった場合は、次のステップＳ１７を行う。
ステップＳ１７において、複数枚、ここでは４枚の画像を合成する。図４に基づき具体的に説明すれば、取得された複数の異なる光量レベルを有する画像信号（１）〜（４）に基づき、部分画像信号抽出部７３において、閾値設定部７２において設定された閾値に基づいて、各画像信号（１）〜（４）から選択されるべき画像信号部分をそれぞれ部分画像信号（１’）〜（４’）として抽出する。次に、合成画像生成部７４において、抽出された部分画像信号（１’）〜（４’）に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号を生成する。
ステップＳ１８において、得られた合成画像を合成画像出力部７５に出力し、画像表示部８、具体的にはＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）モニター等の外部表示機器に表示される。
ステップＳ１９において、終了要求がある場合は終了処理を行い、終了要求ない場合はステップＳ１４に戻る。
【００２７】
このように、撮像時ごとの露光時間を一定にし、照明部の光度のみを変化させて、光量の異なる複数の撮影画像を取得することにより、低照度環境での高フレームレート化及び移動体合成画像でのズレの最小化を可能にする広ダイナミックレンジ撮像装置を実現できる。尚、照明部の点灯時間のみを変化させてもよい。
【００２８】
図９は、本発明に係る撮像装置を広ダイナミックレンジの車載用カメラに適用した場合の説明図である。
同図に示すように、高レスポンスが要求される車載用カメラ１１として適用された広ダイナミックレンジの撮像装置を、車両の左右のヘッドライト付近に装着し、ヘッドライト１２の光量を制御し、相対的に移動する道路の白線を認識することに用いると、ヘッドライトを点灯しなければならない低照度環境下においてもフレームレートを低下させないため、カメラから見ると白線は常に動いているが、その合成画像ごとのズレは小さく抑えることができ、極めて有効な車載用カメラを提供できる。
【００２９】
図１０は、本発明に係る撮像装置をＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ：現金自動預け払い機）コーナーなどの広ダイナミックレンジの監視用カメラに適用した場合の説明図である。
同図に示すように、監視用カメラ１３として適用された広ダイナミックレンジの撮像装置を、ＡＴＭコーナーでの人の振る舞いを監視するためにＡＴＭ周辺を撮影できる場所などに照明１４と共に設置し、常時監視を行うことにより、低照度環境の場所であってもフレームレートが低下しないため、人の振る舞いの抜けが小さくなり、一部始終を捉えることができるので、保安上極めて有効な監視カメラを提供できる。
【００３０】
図１１は、本発明に係る撮像装置を工場内の広ダイナミックレンジのＦＡ（Ｆａｃｔｏｒｙ Ａｕｔｏｍａｔｉｏｎ）用カメラに適用した場合の説明図である。
同図に示すように、ＦＡ用カメラ１５として適用された広ダイナミックレンジの撮像装置を、例えば、レーザー半田付け装置付近に装備し、電子部品とプリント基板の半田付けの様子を、照明１６の光量を制御しながら撮像し、その撮像画像をＴＶモニターなどに表示する。これによって、作業者はレーザーの危険に曝されずに、レーザー加工状況を安全に確認することができ、撮像素子が飽和せずに安定した画像が得られるため、その画像を画像処理し、半田付け状況を正確に観察して自動半田を行うためのアシスト機能を実現することができる。
【符号の説明】
【００３１】
１ 撮像光学系
２ 筐体
３ 反射ミラー
４ 撮像素子
５ ダイナミックレンジカメラシステム基板
６ 光路
７ 制御回路部
７１ 複数画像信号生成部
７２ 閾値設定部
７３ 部分画像信号抽出部
７４ 合成画像生成部
７５ 合成画像出力部
７６ 照明制御部
７７ 撮像駆動部
８ 画像表示部
９ 透明板（カバーガラス）
１０ 照明部
１１ 車載用カメラ
１２ ヘッドライト
１３ 監視カメラ
１４ 監視用照明
１５ ＦＡカメラ
１６ ＦＡ用照明
【特許請求の範囲】
【請求項１】
撮像光学系により被写体の光学像を結像する撮像素子と、前記撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルで取得した撮像信号から複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として生成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、
撮像する被写体に光を照射する照明部と、前記撮像信号を取得する撮像時ごとに前記照明部の光量を制御する照明制御部と、を備えることを特徴とする広ダイナミックレンジ撮像装置。
【請求項２】
前記複数画像信号生成部は、一連の前記撮像時ごとの露光時間を一定にして前記撮像信号を取得し、前記複数の画像信号を生成することを特徴とする請求項１に記載の広ダイナミックレンジ撮像装置。
【請求項３】
前記照明部は、前記照明制御部の制御により、少なくとも２つの異なる光度または点灯時間で被写体に光を照射することを特徴とする請求項２に記載の広ダイナミックレンジ撮像装置。
【請求項４】
前記複数画像信号生成部は、一連の前記撮像時ごとの露光時間を変化させて前記撮像信号を取得する際、前記照明部は、前記照明制御部の制御により、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射することにより、前記複数の画像信号を生成することを特徴とする請求項１に記載の広ダイナミックレンジ撮像装置。
【請求項５】
前記複数画像信号生成部は、前記最も長い露光時間となる撮像時以外の撮像時には前記最も大きい光度よりも小さい一定の光度で被写体に光を照射することにより、前記複数の画像信号を生成することを特徴とする請求項４に記載の広ダイナミックレンジ撮像装置。
【請求項６】
前記撮像素子は、ＣＭＯＳ構造であってローリングシャッター方式により露光の制御をおこなうことを特徴とする請求項１に記載の広ダイナミックレンジ撮像装置。
【請求項１】
撮像光学系により被写体の光学像を結像する撮像素子と、前記撮像素子に結像された光学像に基づいて、少なくとも２つの異なる光量レベルで取得した撮像信号から複数の画像信号を生成する複数画像信号生成部と、閾値が設定された閾値設定部と、前記閾値に基づいて、前記複数の各画像信号から選択される部分画像信号を抽出する部分画像信号抽出部と、抽出された部分画像信号に基づいて、被写体の撮影画像全体に対応する１つの合成画像信号として生成する合成画像信号生成部とを備えた広ダイナミックレンジ撮像装置において、
撮像する被写体に光を照射する照明部と、前記撮像信号を取得する撮像時ごとに前記照明部の光量を制御する照明制御部と、を備えることを特徴とする広ダイナミックレンジ撮像装置。
【請求項２】
前記複数画像信号生成部は、一連の前記撮像時ごとの露光時間を一定にして前記撮像信号を取得し、前記複数の画像信号を生成することを特徴とする請求項１に記載の広ダイナミックレンジ撮像装置。
【請求項３】
前記照明部は、前記照明制御部の制御により、少なくとも２つの異なる光度または点灯時間で被写体に光を照射することを特徴とする請求項２に記載の広ダイナミックレンジ撮像装置。
【請求項４】
前記複数画像信号生成部は、一連の前記撮像時ごとの露光時間を変化させて前記撮像信号を取得する際、前記照明部は、前記照明制御部の制御により、最も長い露光時間となる撮像時に最も大きい光度で被写体に光を照射することにより、前記複数の画像信号を生成することを特徴とする請求項１に記載の広ダイナミックレンジ撮像装置。
【請求項５】
前記複数画像信号生成部は、前記最も長い露光時間となる撮像時以外の撮像時には前記最も大きい光度よりも小さい一定の光度で被写体に光を照射することにより、前記複数の画像信号を生成することを特徴とする請求項４に記載の広ダイナミックレンジ撮像装置。
【請求項６】
前記撮像素子は、ＣＭＯＳ構造であってローリングシャッター方式により露光の制御をおこなうことを特徴とする請求項１に記載の広ダイナミックレンジ撮像装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−１６０１３３（Ｐ２０１１−１６０１３３Ａ）
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願番号】特願２０１０−１９３３７（Ｐ２０１０−１９３３７）
【出願日】平成２２年１月２９日（２０１０．１．２９）
【出願人】（０００００１２２５）日本電産コパル株式会社 (755)
【Ｆターム（参考）】
【公開日】平成２３年８月１８日（２０１１．８．１８）
【国際特許分類】
【出願日】平成２２年１月２９日（２０１０．１．２９）
【出願人】（０００００１２２５）日本電産コパル株式会社 (755)
【Ｆターム（参考）】
[ Back to top ]