撮像装置およびこれを備えた移動体
【課題】レンズへのフィルタの取り付け・取り外しや複雑な画像処理を必要とせず、良好な画像を得ることのできる撮像装置を提供する。
【解決手段】
撮像装置１００は、複数の画素が平面状に配列され、各画素が蓄積した信号電荷を水平ラインごとに後段の利得制御回路２１に出力するＣＣＤイメージセンサ１１と、ＣＣＤイメージセンサ１１から入力される信号電荷を電圧に変換して映像信号を生成する利得制御回路２１とを備えている。ここで、利得制御回路２１は、信号電荷を電圧に変換するときの変換比率を、１水平ライン分の信号電荷が入力されるたびに変更する。これにより、撮像装置１００はＣＣＤイメージセンサ１１の感度を水平ラインごとに制御することができ、得られる映像は水平ライン単位で輝度補正が行われたものとなる。
【解決手段】
撮像装置１００は、複数の画素が平面状に配列され、各画素が蓄積した信号電荷を水平ラインごとに後段の利得制御回路２１に出力するＣＣＤイメージセンサ１１と、ＣＣＤイメージセンサ１１から入力される信号電荷を電圧に変換して映像信号を生成する利得制御回路２１とを備えている。ここで、利得制御回路２１は、信号電荷を電圧に変換するときの変換比率を、１水平ライン分の信号電荷が入力されるたびに変更する。これにより、撮像装置１００はＣＣＤイメージセンサ１１の感度を水平ラインごとに制御することができ、得られる映像は水平ライン単位で輝度補正が行われたものとなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画素が平面内に配列された撮像センサによって画像を取得する撮像装置、およびこの撮像装置を備えた移動体に関するものである。
【背景技術】
【０００２】
近年、運転手の支援を目的として、自動車などの車両に撮像装置が取り付けられるようになっている。この撮像装置は車両外部の景色を撮影し、運転席から視認可能な位置に取り付けられた表示装置に、撮影した映像が表示される。また、撮影した映像をコンピュータによってリアルタイムに解析し、安全機構などに利用することも考えられている。
【０００３】
ところで、撮像装置が撮影する外部の景色は、昼や夜、照明があるかないかなどによって、明るさが様々に変化する。ここで、景色の明るさがダイナミックレンジを超えてしまうと、得られた映像において白飛びや黒潰れが発生する。
【０００４】
映像に白飛びや黒潰れが発生すると、それらの箇所について明るさや色などの階調情報が欠落して、一様に白い領域や黒い領域となり、運転手やコンピュータが必要な情報を得ることができなくなってしまう。また、白飛びや黒潰れが発生すると、それらの周囲の箇所についても階調が飽和して情報が粗くなる。
【０００５】
このように、白飛びや黒潰れが発生すると、元の階調情報が完全に欠落するか、残っていてもＳＮ比の低いものしか得られず、本来的に情報が欠落してしまう。そのため、後段のディジタル画像処理によってエッジの先鋭化やコントラストの調整、色温度調整などを行ったとしても、映像の品位が著しく劣化し、人間やコンピュータによる認識処理に悪影響を及ぼすことがあった。
【０００６】
特に、映像に白飛びがある場合、これを見た人間は、視神経の特性から白飛びした部分に注意が引き付けられる傾向にあるため、本来見なければならない部分への注意が散漫となり、誤認識や認識の遅れなどを生じるおそれがある。
【０００７】
このような問題を防止するため、撮像装置は、露出時間を調節するなどして輝度補正を行っている。しかしながら、ある景色の中に含まれる暗部と明部のコントラストが極端に大きい場合には、暗部に合わせて輝度補正を行うと明部において白飛びが発生し、また、明部に合わせて輝度補正を行うと暗部において黒潰れが発生してしまう。
【０００８】
このような問題は、車両に搭載された撮像装置が景色を撮影する場合にも発生する。車両から見える景色には、主として、路面（地面）と空とが含まれる。昼間などでは、空の方が路面よりもかなり明るいため、路面に合わせて輝度補正をすると空の映像が白飛びし、空に合わせて輝度補正をすると路面の映像が黒潰れしてしまうことがある。
【０００９】
路面と空のコントラストを下げてダイナミックレンジに収めたい場合には、一般にハーフフィルタを使用する。ハーフフィルタは、撮像装置のレンズに取り付けるものであり、中には、フィルタが上下に２分割されており、上半分が減光機能を有するＮＤ（Neutral Density）フィルタで、下半分が光をそのまま透過させるスルーフィルタとなっているものもある。
【００１０】
このハーフフィルタをレンズに取り付けると、ＮＤフィルタを透過した光は強度が低減される一方、スルーフィルタを透過した光は強度が変化しない。その結果、空が含まれる上部領域の明るさのみを低減することができる。
【００１１】
また、同様の問題を解決する手法として、特許文献１には、撮像装置の見かけ上のダイナミックレンジを広げる技術が開示されている。この技術では、撮像センサが電荷を蓄積する時間をフィールドごとに切り替えることにより、露光量が大きい映像と小さい映像とを交互に取得し、露光量の異なるそれぞれの映像の中から、良好な部分を切り貼りして１枚の映像を作成する。これにより、白飛びおよび黒潰れの発生頻度を下げ、良好な映像を取得することができるとされている。
【特許文献１】特開平２−１７４４７０号公報（平成２年７月５日公開）
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、上述した従来の技術にはそれぞれ問題がある。ハーフフィルタは、撮像装置に入射する光の強度を領域ごとに変化させることができるが、使用するときは取り付ける必要があり、使用しないときは取り外さなければならない。
【００１３】
また、特許文献１の技術では、露光量の異なる２つの画像を合成して１つの画像を作成するため、後段で複雑な画像処理を行わなければならない。
【００１４】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、レンズへのフィルタの取り付け・取り外しや複雑な画像処理を必要とせず、良好な画像を得ることのできる撮像装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明に係る撮像装置は、複数の画素が平面状に配列された撮像センサによって画像を取得する撮像装置であって、上記撮像センサの感度を、１又は複数の画素を含む画素ブロックごとに制御する感度制御手段を備えていることを特徴とする。
【００１６】
上記構成によれば、撮像センサの各画素は平面状に配列されており、それぞれの画素が受光することにより画像が取得される。ここで、撮像センサの感度は、感度制御手段によって１又は複数の画素を含む画素ブロックごとに制御される。従って、輝度コントラストの高い明部と暗部を含む景色などを撮像する場合であっても、明部に対応する画素ブロックの感度を下げ、暗部に対応する画素ブロックの感度を上げることにより、白飛びおよび黒潰れのない良好な画像を得ることができる。
【００１７】
さらに、上記の構成によれば、撮像センサの感度を制御することによって白飛びおよび黒潰れを防止するため、レンズへのフィルタの取り付け・取り外しを行う必要がない。また、画像を取得する時点で感度が画素ブロックごとに制御されるため、２枚の画像を１枚に合成するような複雑な画像処理を行う必要もない。
【００１８】
なお、上記画素ブロックは、上記撮像センサの画素の集合を、上記撮像センサの水平走査方向と平行な直線により区分して得られるものであることが好ましい。
【００１９】
上述したように、自動車などの移動体に取り付けられる撮像装置では、路面などを撮像する下側領域と空などを撮像する上側領域とで輝度が著しく異なることにより、白飛びや黒潰れが発生する傾向にある。しかしながら、上記の構成によれば、撮像センサの水平走査方向と平行な直線よりも上側の領域と下側の領域とで、撮像センサの感度が別々に制御されるので、それぞれの領域に応じて感度の制御を行うことにより、白飛びおよび黒潰れを抑制することができる。従って、例えば路面および空を含む景色などを撮像した際に良好な画像を得ることができる。
【００２０】
また、上記撮像センサは、該撮像センサの水平走査方向と平行な画素列である水平ラインごとに、各画素が蓄積した信号電荷を上記感度制御手段に出力し、上記感度制御手段は、上記撮像センサから入力される信号電荷を電圧に変換して画像信号を生成するものであるとともに、信号電荷を電圧に変換するときの変換比率を、１水平ライン分の信号電荷が入力されるたびに変更することによって、撮像センサの感度を水平ラインごとに制御することが好ましい。
【００２１】
上記の構成によれば、感度制御手段に１水平ライン分の信号電荷が入力されるたびに、感度制御手段が信号電荷を電圧に変換するときの変換比率が変更される。これにより、撮像センサの感度を水平ラインごとに制御することができる。この構成によれば、それぞれの画素に対して感度調整用の入力配線を設ける必要がないので、製造コストの上昇や歩留まりの低下を抑制することができる。また、撮像センサの受光面に複雑な入力配線を追加する必要がないので、撮像センサの感度やＳＮ比の低下を回避することができる。
【００２２】
また、上記撮像装置は、上記感度制御手段が各水平ラインに対して設定する感度を決定するための感度制御情報を上記感度制御手段に出力する感度制御情報出力手段と、上記感度制御情報を水平ラインごとに格納する感度制御情報記憶部とをさらに備え、上記感度制御情報出力手段は、上記撮像センサが１水平ライン分の信号電荷を出力するタイミングを示す同期信号に同期して、信号電荷の出力が行われる水平ラインに応じた感度制御情報を上記感度制御情報記憶部から読み出して上記感度制御手段に出力し、上記感度制御手段は、上記感度制御情報出力手段から上記同期信号に同期して入力される感度制御情報に基づいた上記変換比率によって、信号電荷を電圧に変換することが好ましい。
【００２３】
上記の構成によれば、感度情報記憶部に格納された感度制御情報に基づいて各水平ラインの感度が制御されるため、水平ラインごとの感度の制御を自由自在に設定することができる。
【００２４】
また、上記撮像装置は、水平ラインごとに上記感度制御情報を作成して上記感度制御情報記憶部に格納する感度制御情報作成手段をさらに備えていることが好ましい。
【００２５】
上記構成によれば、感度制御情報作成手段によって、そのときどきの状況に応じた感度制御情報を作成することができる。従って、感度制御手段による感度の制御内容を状況に適応させることができる。
【００２６】
また、上記感度制御手段は、上記撮像センサの感度を、上記撮像センサの垂直走査方向に沿って段階的に変化させることが好ましい。
【００２７】
上記構成によれば、撮像センサの感度が垂直走査方向に沿って段階的に変化するので、得られた画像は、輝度レベルの補正が垂直方向に沿って段階的に行われたものとなる。従って、輝度レベルが徐々に変化した自然な画像を得ることができる。
【００２８】
また、上記撮像装置は、画像を連続的に取得する撮像装置であって、上記撮像センサによって取得された画像について、領域ごとに輝度を求める輝度検出手段をさらに備え、上記感度制御手段は、上記輝度検出手段が求めた領域ごとの輝度に基づいて上記撮像センサの感度を制御することが好ましい。
【００２９】
上記構成によれば、輝度検出手段によって領域ごとの輝度が求められ、求められた輝度に基づいて撮像センサの感度が制御される。従って、実際に撮像される景色の明部と暗部の位置や程度に応じて適切な感度の制御を行うことができる。
【００３０】
また、上記輝度検出手段は、上記領域ごとに輝度の分布を求め、上記感度制御手段は、上記輝度検出手段によって作成された領域ごとの輝度の分布のそれぞれにおける分布の偏りが補正されるように、上記撮像センサの感度を制御することが好ましい。
【００３１】
上構成によれば、各領域における輝度の分布の偏りが補正されるように感度が制御されるので、各領域において、白飛びや黒潰れが発生するのを抑制することができる。さらに、それぞれの領域での分布の偏りを補正することにより、結果として、領域間での輝度の差も小さくすることができる。
【００３２】
また、上記撮像装置は、移動体に取り付けられ、該移動体の外部を撮像する撮像装置であって、上記領域は、画像を１本の境界線によって分割して得られる分割領域であり、上記撮像装置は、上記境界線を設定する境界線設定手段をさらに備え、上記境界線設定手段は、上記撮像センサによって得られた、フレームが互いに異なる２つの画像を取得し、取得した２つの画像に含まれる被写体の移動方向から画像内での無限遠点の位置を求めるとともに、求めた無限遠点の位置に基づいて上記境界線を設定することが好ましい。
【００３３】
上記構成によれば、境界線設定手段により、画像内での無限遠点の位置に基づいて境界線が設定される。ここで、無限遠点は路面と空とを区分する地平線が通過する点であるため、この点に基づいて設定された境界線により、画像は、主として空などを含む上側領域と主として路面などを含む下側領域とに分割される。そして、分割された各領域についてそれぞれ輝度が求められ、その輝度に応じて感度が補正されるので、輝度コントラストの高い路面と空の双方を含む景色を撮像した場合であっても、良好な画像を得ることができる。
【００３４】
さらに、画像内での地平線の位置は、撮像装置の取り付け角度や車の前後方向の傾きによって変動するおそれがあるが、上記構成によれば、実際に取得した画像から画像内での無限遠点を求めて境界線を設定するため、たとえ撮像装置の取り付け角度や車が傾いていても、その傾きに応じて適切な位置に境界線を設定することができる。それゆえ、撮像装置の取り付け角度や車の傾きに関らず、良好な画像を得ることができる。
【００３５】
なお、上記撮像装置は、移動体に取り付けられ、該移動体の外部を撮影するビデオカメラ装置であってもよい。
【００３６】
上記構成によれば、例えば輝度コントラストの高い空および路面の双方を含む景色を撮像した場合であっても、白飛びおよび黒潰れのない良好な画像を得ることができる。
【００３７】
また、本発明に係る移動体は、上述した撮像装置と、上記撮像装置によって得られた画像を表示する表示装置とを備えていることを特徴とする。
【００３８】
上記構成によれば、例えば輝度コントラストの高い空および路面の双方を含む景色を撮像した場合であっても、白飛びおよび黒潰れのない良好な画像が操縦者に提示されるため、操縦者の誤認や認知遅れを抑制できる安全な移動体が提供される。
【発明の効果】
【００３９】
以上のように、本発明に係る撮像装置は、撮像センサの感度を、１又は複数の画素を含む画素ブロックごとに制御する感度制御手段を備えた構成となっている。従って、レンズへのフィルタの取り付け・取り外しや複雑な画像処理を必要とせず、良好な画像を得ることができるという効果を奏する。
【００４０】
また、本発明に係る移動体は、この撮像装置を備えた構成となっているため、操縦者の誤認や認知遅れを抑制することができるという効果を奏する。
【発明を実施するための最良の形態】
【００４１】
本発明の一実施形態について図１から図１９に基づいて説明すると以下の通りである。本実施形態の撮像装置は、運転手の支援のため、自動車（移動体）の外装部分などに取り付けられて自動車の外部を撮影するものである。上述したように、路面と空のコントラストが高い場合には、得られた画像において白飛びおよび／または黒潰れが生じやすいが、本実施形態の撮像装置によれば、このような問題を解消することができる。以下では、その詳細について説明する。
【００４２】
図１は、本実施形態の撮像装置１００の構成を示すブロック図である。撮像装置１００は、図１に示すように、光学系１０、ＣＣＤ（Charge Coupled Device）イメージセンサ（撮像センサ）１１、アナログフロントエンド２０、Ａ／Ｄ変換器２５、画像バス３０、画像メモリ３１、境界検出回路（境界線設定手段）３２、画像処理回路（輝度検出手段）３３、ＭＰＵ（Micro Processing Unit）４０、記憶部（感度制御情報記憶部）４３、Ｄ／Ａ変換器４５を備えている。そして、撮像装置１００の画像バス３０には、表示装置２００が接続されている。
【００４３】
光学系１０は、フォーカス機構、レンズおよび絞りなどを有し、撮像装置１００によって撮影する景色などをＣＣＤイメージセンサ１１の受光面上に結像させる。ＣＣＤイメージセンサ１１は、受光した光を光電変換により信号電荷に変換して蓄積する複数のフォトダイオードと、該フォトダイオードの蓄積した信号電荷を読み出して転送するＣＣＤとを有している。フォトダイオードは、平面状（例えばマトリクス状またはハニカム状など）に配列されており、ＣＣＤイメージセンサ１１の画素を構成する。
【００４４】
ＣＣＤイメージセンサ１１には、垂直転送ＣＣＤおよび水平転送ＣＣＤが含まれている。水平転送ＣＣＤは、ＣＣＤイメージセンサ１１の水平走査方向と平行な画素列である水平ラインごとに、該水平ラインに含まれる各画素が蓄積した信号電荷をアナログフロントエンド２０に転送するようになっている。
【００４５】
アナログフロントエンド２０は、各種アナログ回路によって構成されている。アナログフロントエンド２０は、より詳細には、ＣＣＤイメージセンサ１１を駆動するための駆動信号を生成する駆動信号発生回路２２を有している。この駆動信号には、ＣＣＤイメージセンサ１１の水平転送ＣＣＤが１水平ライン分の信号電荷をアナログフロントエンド２０に転送するタイミングを規定する水平同期信号（水平転送ＣＣＤ駆動信号）や、垂直転送ＣＣＤの駆動タイミングを規定する垂直同期信号（垂直転送ＣＣＤ駆動信号）などが含まれている。このため、駆動信号発生回路２２は、同期パルス幅、フロントポーチ、バックポーチなどのタイミングデータを格納管理したレジスタなどを有している。
【００４６】
アナログフロントエンド２０はまた、上記の水平同期信号に同期してＣＣＤイメージセンサ１１から順次転送される信号電荷を電圧に変換する利得制御回路（感度制御手段）２１を有している。この利得制御回路２１は、詳細は後述するが、信号電荷を電圧に変換する際に、その変換比率を調節する機能を有している。特に本実施形態では、１水平ライン分の信号電荷が転送されるたびに、利得制御回路２１が上記変換比率を変化させることができるようになっている。これにより、ＣＣＤイメージセンサ１１の感度を水平ラインごとに制御することができる。そして、利得制御回路２１からは、映像（画像）を示すアナログ映像信号（画像信号）が出力される。このアナログ映像信号では、映像に含まれる各画像画素の輝度が電圧によって表現されている。
【００４７】
Ａ／Ｄ変換器２５は、利得制御回路２１から出力されるアナログ映像信号をディジタル信号で示された画像データに変換するものである。画像バス３０は、Ａ／Ｄ変換器２５、画像メモリ３１、境界検出回路３２、画像処理回路３３、ＭＰＵ４０、表示装置２００を互いに接続するデータバスである。
【００４８】
画像メモリ３１は、Ａ／Ｄ変換器２５から出力された画像データを一時的に格納するためのものである。画像メモリ３１は、複数フレーム分の画像データを格納できるだけの記憶容量を有している。
【００４９】
境界検出回路３２は、画像メモリ３１からフレームの異なる２つの画像を読み出し、これら２つの画像間で照合追跡を行うことによって画像に含まれる被写体の移動方向を求めるとともに、求めた移動方向に基づいて、路面と空との境界線である地平線の画像内での位置を求めるものである。
【００５０】
画像処理回路３３は、画像メモリ３１から画像を読み出すとともに、読み出した画像について、境界検出回路３２が求めた境界線によって画像を分割して得られる分割領域ごとに、輝度のヒストグラムを作成するものである。本実施形態では、境界線が地平線に相当するため、画像は、空などを含む上側領域と路面などを含む下側領域の２つの分割領域に分割されることになる。
【００５１】
ＭＰＵ４０は、図示しないメモリに格納されたプログラムを実行することにより、各種機能を実現するコンピュータである。ＭＰＵ４０は、機能ブロックとして、感度制御信号出力部４１およびテーブル作成部４２を含んでいる。
【００５２】
感度制御信号出力部４１は、Ｄ／Ａ変換器４５を介してアナログフロントエンド２０の利得制御回路２１に感度制御信号を送信するものである。この感度制御信号は、利得制御回路２１がＣＣＤイメージセンサ１１に設定する感度値の情報（感度制御情報）を含んでいる。従って、利得制御回路２１が信号電荷を電圧に変換する際の変換比率は、この感度制御信号に基づいて決定される。Ｄ／Ａ変換器４５は、感度制御信号出力部４１から出力されるディジタル感度制御信号をアナログ感度制御信号に変換して利得制御回路２１に入力する。
【００５３】
本実施形態において、感度制御信号出力部４１には、駆動信号発生回路２２から水平同期信号および垂直同期信号が入力される。そして、感度制御信号出力部４１は、入力された水平同期信号に同期して、感度制御信号に含める感度値を変化させる。つまり、感度制御信号出力部４１は、ＣＣＤイメージセンサ１１の水平転送ＣＣＤが１水平ライン分の信号電荷を転送するごとに、利得制御回路２１に出力する感度値を変化させることができるようになっている。
【００５４】
記憶部４３は、感度制御信号に含まれる感度値が示された感度テーブル４４を格納するものである。本実施形態では、上述したように水平ラインごとにＣＣＤイメージセンサ１１の感度が変更される構成となっているため、感度テーブル４４には、感度値が水平ラインごとに示されている。つまり、感度テーブル４４では、水平ラインのアドレスと、その水平ラインに適用される感度値とが１対１で対応している。次の表１は、ＣＣＤイメージセンサ１１の垂直解像度が４８０画素の場合の感度テーブル４４の一例を示したものである。なお、本実施形態では、感度値が大きい場合にはＣＣＤイメージセンサ１１の感度が高くなり、感度値が小さい場合には低くなる。
【００５５】
【表１】
【００５６】
ただし、表１は、感度テーブル４４の構成を示す一例にすぎない。実際の感度値は表１に示される値に限定されず、より細かく設定されていてもよい。
【００５７】
この感度テーブル４４は、実際には、記憶部４３の水平ライン数に相当する番地に感度値を書き込むことによって作成される。そして、感度テーブル４４を参照する際には、水平ラインのアドレスに対応する記憶部４３の番地を指定し、指定した番地に格納されている感度値を順々に読み出していく。
【００５８】
感度制御信号出力部４１は、入力される垂直同期信号および水平同期信号とスキャンライン数とから、ＣＣＤイメージセンサ１１から利得制御回路２１に転送される１水平ライン分の信号電荷を蓄積していた水平ラインを特定するとともに、特定した水平ラインに応じた感度値を記憶部４３の感度テーブル４４から読み出し、該感度値を示す感度制御信号を利得制御回路２１の入力端子に入力する。
【００５９】
テーブル作成部４２は、記憶部４３に格納される感度テーブル４４を作成するものである。ここで、テーブル作成部４２は、画像処理回路３３によって上側領域および下側領域のそれぞれについて作成された輝度のヒストグラムに基づいて、上側領域と下側領域の輝度の差が小さくなるように、感度テーブル４４に含まれる各感度値を設定する。
【００６０】
表示装置２００は、画像メモリ３１に格納された画像データに対応するフレーム画像を連続的に表示するものであり、液晶表示装置などが好適である。この表示装置２００は、自動車内において運転手から視認可能な位置に取り付けられている。表示装置２００の取り付け位置としては、例えば運転席と助手席との間のセンターコンソールパネル、またはダッシュボードなどが好適である。
【００６１】
図２は、上記の撮像装置１００が取り付けられた自動車１の概略構成を示す側面図である。撮像装置１００は、この自動車１の前端に設けられたフロントバンパーに、レンズが進行方向を向くような角度で取り付けられ、自動車１の前方を撮影するようになっている。なお、撮像装置１００は、水滴や汚れなどが付着しないように、透明な樹脂板などで覆われていることが好ましい。
【００６２】
次に、撮像装置１００による輝度補正処理について説明する。図３は、撮像装置１００による輝度補正処理の流れを示すフロー図である。また、図４は、輝度補正処理に含まれる各工程のタイミングを示すタイミング図である。
【００６３】
初期段階では、撮像装置１００の輝度補正（すなわち利得制御回路２１による感度の補正）は行われていない。このとき、感度制御信号出力部４１から利得制御回路２１へ出力される感度値は所定の一定値に設定される。
【００６４】
この状態で、ＣＣＤイメージセンサ１１の水平転送ＣＣＤが１水平ライン分ずつ信号電荷を利得制御回路２１に順次転送するとともに、利得制御回路２１が転送された信号電荷を所定の一定比率で電圧に変換し、アナログ映像信号を生成する。そして、Ａ／Ｄ変換器２５が利得制御回路２１から受け取ったアナログ映像信号をＡ／Ｄ変換して、部分画像データを作成する。この部分画像データは、画像バス３０を介して順次画像メモリ３１に格納される。そして、１フレーム分の処理が終了すると、第１フレームの画像（以下、第１フレーム画像という）のデータが画像メモリ３１に蓄積される（Ｓ１１）。
【００６５】
図５は、第１フレーム画像の一例を示す図である。図５の例では、２つの地上構造物が被写体として画像中に含まれている。なお、図５中、構造物は黒の四角で表現されている。
【００６６】
そして垂直帰線期間の後、境界検出回路３２が画像メモリ３１から画像バス３０を介して第１フレーム画像を読み出し、読み出した第１フレーム画像から第１フレームのエッジ画像を作成する（Ｓ１３）。このエッジ画像の作成は、第１フレーム画像の中で輝度コントラストの高い境界領域（すなわち構造物の輪郭であるエッジ）を抽出することによって行われる。図６は、図５に示す第１フレーム画像から作成したエッジ画像の一例を示す図である。図６に示すように、エッジ画像では構造物の輪郭が抽出されている。以下では、このステップで作成されたエッジ画像を第１エッジ画像という。
【００６７】
また図４に示すように、ステップＳ１３と並行して、ＣＣＤイメージセンサ１１から第２フレームの信号電荷の転送が行われ、第２フレームの画像（以下、第２フレーム画像という）のデータが画像メモリ３１に格納される（Ｓ１５）。図７は、第２フレーム画像の一例を示す図である。自動車１が前方に進行したことにより、第１フレーム画像に含まれていた２つの構造物が自動車１に近づき、第２フレーム画像では、それら構造物の大きさが大きくなっている。
【００６８】
そして垂直帰線期間の後、第３フレームの信号電荷の転送と並行して、境界検出回路３２が画像メモリ３１から第２フレーム画像を読み出し、第１フレームのときと同様にして、第２フレーム画像から第２フレームのエッジ画像を作成する（Ｓ１７）。図８は、図７に示す第２フレーム画像から作成したエッジ画像の一例を示す図である。以下では、このステップで作成されたエッジ画像を第２エッジ画像という。
【００６９】
次の垂直帰線期間中に、境界検出回路３２は、フレームが互いに異なる第１および第２エッジ画像からオプティカルフローを作成し、地平線に相当する境界線を決定する（Ｓ１９）。その処理の詳細について以下に説明する。図９は、オプティカルフローを作成して境界線を決定する方法を示す図である。図９では、上述したステップＳ１３・Ｓ１７で作成した２つのエッジ画像を重ね合わせている。
【００７０】
境界検出回路３２は、まず、２つのエッジ画像に含まれる各構造物について、第１エッジ画像と第２エッジ画像との間でエッジ照合を行う。ここで、フレーム間でエッジが一致する構造物同士は、同一の構造物であると判断される。看板、信号機、センターラインなどは利用しやすいエッジを持っているため、オプティカルフローの作成に適している。
【００７１】
そして、境界検出回路３２は、フレーム間でエッジが一致した少なくとも２つの構造物について、オプティカルフローを求める。オプティカルフローとは、画像内での構造物の移動方向および移動量をベクトルによって表したものである。オプティカルフローは、例えば第１エッジ画像における構造物の中心の座標と、第２エッジ画像における同一の構造物の中心の座標とから求めることができる。図９の例では、左側および右側のそれぞれの構造物についてオプティカルフローを求めている。
【００７２】
そして、境界検出回路３２は、２つのオプティカルフローの延長線の交点の座標を求める。この交点は、画像内での無限遠点（中心消滅点）に相当する。地平線は無限遠点を通るため、境界検出回路３２は、この無限遠点の座標を通り、かつ、画像の水平方向（ＣＣＤイメージセンサ１１の水平走査方向）と平行な直線を境界線とする。この境界線により、画像は、上側領域と下側領域とに分割される。なお、境界線そのものは、上側領域、下側領域のいずれに属してもよい。図１０は、画像を上側領域と下側領域とに分割した様子を示す図である。ここで求められた境界線の位置情報は、画像処理回路３３およびＭＰＵ４０のテーブル作成部４２に入力される。
【００７３】
なお、車が停止しているためにステップＳ１９においてオプティカルフローを作成できない場合は、所定の位置（例えば画像の中心）を無限遠点とし、この無限遠点に基づいて境界線を設定してもよい。
【００７４】
続いて、第４フレームの信号電荷の転送と並行して、画像処理回路３３が、第１フレーム画像の上側領域と下側領域とのそれぞれについて、輝度のヒストグラムを作成する（Ｓ２１）。図１１から図１３は、各領域について得られる代表的な輝度のヒストグラムを示す図であり、図１１は輝度の分布が高輝度側に偏っている場合のヒストグラム、図１２は輝度の分布がどちらにも偏っていない場合のヒストグラム、図１３は輝度の分布が低輝度側に偏っている場合のヒストグラムを示している。
【００７５】
画像処理回路３３は、上側領域および下側領域のそれぞれについて作成したヒストグラムから、それぞれの領域の輝度の分布が（ａ）高輝度側に偏っている状態（図１１に相当）、（ｂ）高輝度側・低輝度側のどちらにも偏っていない状態（図１２に相当）、（ｃ）低輝度側に偏っている状態（図１３に相当）、のいずれの状態であるかを判定する。
【００７６】
具体的には、作成したヒストグラムにおける最頻値や中央値などの代表値が、低輝度側の第１の閾値よりも小さい場合には（ｃ）の状態、高輝度側の第２の閾値（すなわち第１の閾値＜第２の閾値）よりも大きい場合には（ａ）の状態、第１の閾値よりも大きく第２の閾値よりも小さい場合には（ｂ）の状態であると判断する。
【００７７】
通常、上側領域には空が含まれるので、上側領域は（ａ）の状態である確率が高く、また、下側領域には路面が含まれるので、下側領域は（ｂ）または（ｃ）の状態である確率が高い。しかしながら実際には、時間帯、天気、街灯の点灯の有無、またはヘッドライトの点灯の有無などに依存して、各領域の輝度状態は様々に変化する。上側領域および下側領域のそれぞれについて得られた輝度の分布の状態を示す情報は、ＭＰＵ４０のテーブル作成部４２に入力される。
【００７８】
続く垂直帰線期間中に、テーブル作成部４２は、各領域の輝度の分布の状態と境界線の位置とから、各水平ラインに適用する感度値を決定し、決定した感度値を記憶部４３に書き込んで感度テーブル４４を作成する（Ｓ２３）。この処理について詳細に説明すると以下の通りである。
【００７９】
領域の輝度の分布が状態（ａ）の場合には、感度を下げて白飛びを減らしてやる必要がある。よって、輝度の分布が状態（ａ）の領域に対しては、小さい感度値が設定される。一方、領域の輝度の分布が状態（ｃ）の場合、感度を上げて黒潰れを減らしてやる必要があるため、その領域に対しては、大きい感度値が設定される。また、状態（ｂ）の領域に対しては、中程度の感度値が設定される。
【００８０】
以上のように、テーブル作成部４２は、利得制御回路２１がそれぞれの領域内での輝度の分布の偏りを補正できるよう、感度値を設定する。これにより、結果的に２つの領域間での輝度の差も小さくなる。
【００８１】
ここで、テーブル作成部４２は、上側領域、下側領域のそれぞれに含まれる全ての水平ラインに対して一定の感度値を設定してもよいが、このようにすると、境界線の上下で感度が急激に変化するため、得られる映像が不自然になってしまう。従って、テーブル作成部４２は、境界線を跨いで感度が段階的に（連続的に）遷移していくよう、感度値を設定することが好ましい。
【００８２】
図１４から図１６は、テーブル作成部４２が作成する感度テーブル４４の一例をグラフとして示した図であり、図１４は下側領域の輝度の分布が状態（ｂ）の場合のもの、図１５は下側領域の輝度の分布が状態（ａ）の場合のもの、図１６は下側領域の輝度の分布が状態（ｃ）の場合のものを示している。
【００８３】
図１４から図１６に示すように、最も上の水平ラインを含む上部領域の感度値は、上側領域の輝度の分布状態に応じてＳ１，Ｓ２，Ｓ３のいずれか１つに設定される。同様に、最も下の水平ラインを含む下部領域の感度値も、下側領域の輝度の分布状態に応じてＳ１，Ｓ２，Ｓ３のいずれか１つに設定される。そして、境界線を含む中間領域に含まれる水平ラインの感度値は、上部領域の感度値から下部領域の感度値へと段階的に（徐々に）遷移するように設定される。これにより、利得制御回路２１が上部領域の水平ラインから下部領域の水平ラインにかけて感度をなめらかに変化させるために、不自然さの目立たない良好な映像を得ることができる。
【００８４】
なお、このような感度曲線は、関数を利用することによって作成することができる。また、中間領域の上下位置（すなわち感度を段階的に遷移させる対象となる水平ライン）は、境界検出回路３２によって求められた境界線の位置に応じて決定する（上下させる）ことが好ましい。これにより、画像内での地平線の位置が変動しても、それに合わせて自然に感度を遷移させることができる。
【００８５】
以上のようにして感度テーブル４４が作成されると、この感度テーブル４４を使用して、感度制御信号出力部４１および利得制御回路２１によってＣＣＤイメージセンサ１１に対する感度補正が行われる（Ｓ２５）。この感度補正処理により、映像に対する水平ラインごとの輝度補正が実現する。感度補正処理の詳細は次の通りである。
【００８６】
ＣＣＤイメージセンサ１１の各画素が蓄積した信号電荷は、水平転送ＣＣＤによって、水平同期信号に同期して１水平ライン分ずつ利得制御回路２１へ転送される。ここで、感度制御信号出力部４１は、駆動信号発生回路２２から供給される水平同期信号に同期して、ＣＣＤイメージセンサ１１から転送される１水平ライン分の信号電荷に適用される感度値を、感度テーブル４４から読み出すとともに、利得制御回路２１へ出力する。そして、利得制御回路２１は、感度制御信号出力部４１から供給される感度値に基づいた比率で、水平転送ＣＣＤから転送されてくる各信号電荷を電圧に変換する。
【００８７】
感度制御信号出力部４１は、水平転送ＣＣＤが１水平ライン分の信号電荷を転送するごとに、感度テーブル４４から次の水平ラインに応じた感度値を順々に読み出して利得制御回路２１へ出力する。これに応じて、利得制御回路２１は、水平転送ＣＣＤから１水平ライン分の信号電荷が転送されるごとに変換比率を変更しながら、信号電荷を電圧に変換していく。
【００８８】
この処理を１フレーム分繰り返すことにより、画像メモリ３１には、水平ラインごとに輝度補正が行われたフレーム画像のデータが格納される（Ｓ２７）。そして、表示装置２００が、画像メモリ３１に格納されたデータに対応するフレーム画像を表示する（Ｓ２９）。本実施形態の輝度補正処理によれば、図４に示すように、第５フレーム画像から輝度補正を開始することができる。
【００８９】
そして、撮像装置１００の電源がオフされるまで、ステップＳ２５からＳ２７までの処理が繰り返され、表示装置２００には、輝度が適切に補正され、白飛びおよび黒潰れの抑制された映像が表示される。
【００９０】
図１７は、感度補正の効果を説明する図である。例えば景色の中に明るい空などが含まれている場合、感度補正前の上側領域の輝度の分布は、図１７左側のヒストグラムのようになる。このとき、飽和領域に近い箇所では白飛びが発生する。ここで、感度テーブル４４を用いた感度補正が行われると、図１７右側のヒストグラムに示すように、輝度の分布（およびその分布における代表値）が低輝度側にシフトするため、白飛びが抑制される。
【００９１】
一方、路面などを含む下側領域は、上側領域とは異なる感度に設定されるため、上側領域の補正に伴って下側領域に黒潰れが発生することもない。それゆえ、地平線よりも上の明るい空などの感度飽和が緩和され、かつ、路面の黒潰れのない視認しやすい画像を得ることができる。
【００９２】
次に、利得制御回路２１の構成例およびその動作について説明する。図１８は、利得制御回路２１およびその周辺の構成例を示す回路図である。利得制御回路２１は、図１８に示すように、主として、電荷シフタ２１０、サンプルホールド回路２１１、コンパレータ２１２およびＩ／Ｖ変換器２１３、ならびにクランプ発生回路を構成する定電流回路２１４、キャパシタ２１５、フォロワ２１６およびスイッチ２１７などを備えている。
【００９３】
電荷シフタ２１０は、ＣＣＤイメージセンサ１１の水平転送ＣＣＤから１水平ライン分の信号電荷を受け取るものである。サンプルホールド回路２１１は、読み出しパルスに従って電荷シフタ２１０から取り出された１画素分の信号電荷をキャパシタにより保持するものである。
【００９４】
コンパレータ２１２およびＩ／Ｖ変換器２１３は、パルスウイズモジュレーションを利用してサンプルホールド回路２１１に保持された信号電荷を電圧に変換するものである。コンパレータ２１２の入力側の一端には、サンプルホールド回路２１１のキャパシタが接続されており、入力側の他端にはクランプ発生回路のフォロワ２１６の出力端が接続されている。そして、コンパレータ２１２の出力端はＩ／Ｖ変換器２１３に接続されている。
【００９５】
クランプ発生回路では、定電流回路２１４およびキャパシタ２１５が直列に接続されており、キャパシタ２１５の電圧をボルテージフォロワであるフォロワ２１６によって取り出してコンパレータ２１２に出力するようになっている。
【００９６】
図１９は、コンパレータ２１２に入力される２つのパルス信号とコンパレータ２１２から出力されるパルス信号とを示した波形図である。図１９のパルス信号（Ｂ）は、クランプ発生回路からコンパレータ２１２に入力されるクランプパルスを示している。このクランプパルスの波形は、１画素分の信号電荷を電圧に変換する期間（１ｄｏｔに相当）に、電荷ゼロに相当する最小電圧から電荷最大に相当する最大電圧まで、電圧が直線的に上昇する三角波形となっている。この三角波形は、クランプ発生回路のスイッチ２１７を１ｄｏｔごとにオンしてやることにより実現する。
【００９７】
図１９のパルス信号（Ａ）は、サンプルホールド回路２１１からコンパレータ２１２に入力されるパルス信号を示している。このパルス信号（Ａ）は、ＣＣＤイメージセンサ１１の各画素が蓄積した信号電荷の大きさに比例した電圧の矩形パルス信号となっている。
【００９８】
コンパレータ２１２にパルス信号（Ａ），（Ｂ）が入力されると、コンパレータ２１２は、サンプルホールド回路２１１からのパルス信号（Ａ）の電圧がクランプパルス信号（Ｂ）の電圧を上回っている期間にオンを出力する。これにより、コンパレータ２１２からは、画素に蓄積された信号電荷の大きさに比例したパルス幅を有する矩形のパルス信号（Ｃ）が出力される。
【００９９】
そして、パルス信号（Ｃ）がＩ／Ｖ変換器２１３に入力され、Ｉ／Ｖ変換器２１３からは、パルス信号（Ｃ）の各パルス幅に比例した電圧の電圧信号が順次出力される。上述したように、パルス信号（Ｃ）のパルス幅は画素の信号電荷の大きさに比例するので、Ｉ／Ｖ変換器２１３から出力される電圧信号の電圧も、画素の信号電荷の大きさに比例する。Ｉ／Ｖ変換器２１３から出力されるこの電圧信号がアナログ映像信号であり、上述したＡ／Ｄ変換器２５に入力される。以上のようにして、ＣＣＤイメージセンサ１１によって取得された画素ごとの微小な信号電荷が電圧に変換される。
【０１００】
ここで、クランプ発生回路から出力されるクランプパルス信号（Ｂ）の傾斜の傾きを変化させると、コンパレータ２１２から出力されるパルス信号（Ｃ）のパルス幅が変化し、信号電荷から電圧に変換する際の変換倍率、ひいてはＣＣＤイメージセンサ１１の感度を調節することができる。このクランプパルス信号（Ｂ）の傾き調節は、定電流回路２１４から出力される電流の大きさを変化させることによって行うことができる。
【０１０１】
定電流回路２１４の出力電流の大きさは、上述したＤ／Ａ変換器４５を介して感度制御信号出力部４１により制御される。本実施形態の撮像装置１００では、感度制御信号出力部４１が感度テーブル４４から水平走査期間ごとに感度値を読み出し、この感度値を含む感度制御信号を利得制御回路２１の定電流回路２１４に与えるにより、定電流回路２１４からの出力電流の大きさが１水平走査期間ごとに変更される。これにより、水平ラインごとの感度補正が実現される。
【０１０２】
以上のように、本実施形態の撮像装置１００では、ＣＣＤイメージセンサ１１から転送される信号電荷を利得制御回路２１が電圧に変換して映像信号を生成する際に、信号電荷を電圧に変換するときの変換比率が、１水平ライン分の信号電荷が転送されるたびに変更される構成となっている。
【０１０３】
上記の構成によれば、撮像装置１００の感度を水平ライン単位で制御することができる。それゆえ、例えば空および路面を含む景色など、輝度のコントラストが大きい景色を撮影した場合であっても、白飛び・黒潰れのない良好な映像を得ることができる。
【０１０４】
なお、本実施形態の撮像装置１００は、ＣＣＤイメージセンサ１１を採用しているが、本発明はこれに限定されない。ＣＣＤイメージセンサ１１の代わりにＣ−ＭＯＳ（complementary metal-oxide semiconductor）イメージセンサを採用することもできる。また、撮像装置１００は、動画を撮影するビデオカメラ装置であってもよいし、静止画を撮影するスチルカメラ装置であってもよい。
【０１０５】
また、本実施形態の撮像装置１００では、１水平ラインごとに感度を調節する構成としたが、本発明はこれに限定されない。例えば、上述した境界線によって区分される上側領域および下側領域のそれぞれの感度を独立して制御する構成としてもよい。この場合、感度制御信号出力部４１は、各領域に含まれる水平ライン数に応じた周期で感度値を変更すればよい。また、本実施形態の撮像装置１００において、感度制御信号出力部４１が感度値を１水平走査期間内でさらに切り替えるように構成すれば、ＣＣＤイメージセンサ１１の感度を右側領域と左側領域とで別々に制御することも可能である。
【０１０６】
また、ＣＣＤイメージセンサ１１の感度を画素単位で制御することもできる。この場合、画素数に応じた数のキャパシタと、各画素に対して感度調整用の入力を行うための入力ラインと、画素を選択して感度値を書き込むための垂直および水平選択ラインとを撮像装置に設けておく。ここで、キャパシタには、感度値に対応する大きさの電荷をチャージしておく。そして、各画素から信号電荷を読み出す際に、各画素が、対応するキャパシタの保持する感度値を参照するように構成すればよい。
【０１０７】
以上のように、本発明において、センサの感度をどのような領域ごとに制御するかは任意である。従って、撮像センサの感度を１又は複数の画素を含む画素ブロックごとに制御する感度制御手段を備えた撮像装置であれば、本発明の範囲に含まれる。
【０１０８】
ただし、画素単位で感度を制御する上記の構成よりも、本実施形態の撮像装置１００の方が好ましい。本実施形態の撮像装置１００によれば、複雑な回路や配線を追加で設ける必要がないため、制御ラインや感度制御回路などがそれぞれのフォトダイオードの開口率を下げるおそれもない。それゆえ、感度やＳＮ比の低下を防止することができる。
【０１０９】
また、本実施形態の撮像装置１００によれば、簡単な構成により領域ごとの感度補正を実現できるため、コストの観点から有利である。具体的には、画素単位で感度補正を行う場合と比べて、（１）ＩＴＯなどの導電性物質からなる垂直・水平選択ライン、（２）垂直・水平選択ラインによって書き込みを行うためにラインごとに必要な駆動用オペアンプ、（３）オペアンプの電源回路および周辺ＣＲ素子、（４）オペアンプをオン／オフ制御したりライン単位での書き込み電位を保持したりするためのサンプルホールド回路、（５）全体の動作タイミングを発生するコントローラＬＳＩとその周辺ＣＲ素子、などを少なくとも省略することができる。それゆえ、製造プロセス費用を削減でき、また、歩留まりの低下を抑制するための検査費用や改修費用なども削減できる。
【０１１０】
また、本実施形態の撮像装置１００では、利得制御回路２１がＣＣＤイメージセンサ１１の感度を水平ライン単位で制御するだけでなく、さらに、感度を垂直走査方向に沿って段階的（連続的に）に変化させる構成となっている。それゆえ、輝度がなめらかに補正された映像を取得することができる。
【０１１１】
また、本実施形態の撮像装置１００は、取得した画像について領域ごとに輝度の分布を求める画像処理回路３３を備えており、利得制御回路２１は、それぞれの領域について輝度の分布の偏りが補正されるように、ＣＣＤイメージセンサ１１の感度を制御する構成となっている。
【０１１２】
それゆえ、例えば映像内での暗部と明部の位置関係が変化したり、暗部や明部の明るさが変化したりしても、それに合わせて良好な映像を得ることができる。
【０１１３】
また、本実施形態の撮像装置１００は、感度値が水平ラインごとに示された感度テーブル４４を格納する記憶部４３と、ＣＣＤイメージセンサ１１から１水平ライン分の信号電荷が利得制御回路２１に転送されるたびに、上記感度テーブル４４から感度値を読み出して利得制御回路２１に出力する感度制御信号出力部４１とを備えた構成になっている。
【０１１４】
上記の構成によれば、利得制御回路２１の変換倍率を水平ラインごとに周期的に変化させることができるとともに、感度テーブル４４によりきめの細かい感度制御が可能になる。
【０１１５】
なお、本実施形態の撮像装置１００では、画像処理回路３３によって作成されたヒストグラムに基づいて感度テーブル４４を作成する構成としたが、本発明はこれに限定されない。例えば、図１４から図１６に示す感度テーブルを予め準備して記憶部４３に格納しておき、領域ごとに求められたヒストグラムに基づいて、テーブル選択手段が感度制御信号出力部４１によって参照される感度テーブルを選択するようにしてもよい。
【０１１６】
さらに、撮像装置１００が自動車１などに搭載される場合、感度制御信号出力部４１によって参照される感度テーブルを昼と夜とで切り替えるようにしてもよい。例えば自動車１のスモールランプもしくはヘッドライトの点灯状態、または、自動車１に設けられた照度計の値に基づいて、上記感度テーブルを切り替えてもよい。これにより、周囲の状況に応じた好適な輝度補正を行うことができる。
【０１１７】
また、本実施形態の撮像装置１００では、動作開始時にのみ感度テーブル４４を作成する構成としたが、所定時間が経過するごとに、あるいは、所定のイベント（例えば自動車１に設けられたスモールランプまたはヘッドライトのオン・オフ操作）が発生するたびに、テーブル作成部４２が感度テーブル４４を作成しなおす構成とすることが好ましい。これにより、周囲の状況が変化しても、それに追従することができる。
【０１１８】
また、本実施形態の撮像装置１００は、輝度の分布を求める領域を規定するための境界線を決定する境界検出回路３２を備え、この境界検出回路３２は、オプティカルフローを作成して画像内での地平線の位置を検出し、これを境界線として設定する構成となっている。それゆえ、撮像装置１００の取り付け角度が上向きまたは下向きに傾いていても、画像内での地平線の位置を正確に求め、適切に映像の輝度補正を行うことができる。
【０１１９】
ただし、画像内での無限遠点が画像の中心に来るように撮像装置１００の取り付け角度を調整すれば、地平線は常に画像の中心を通過するようになる。従って、簡易的には、画像の中心を通り、かつ、画像の水平方向と平行な線を境界線としてもよい。
【０１２０】
なお、自動車１が左右（ロール方向）に傾いている場合には、画像内での地平線も傾くことになる。それゆえ、自動車１に傾きセンサを設け、この傾きセンサに基づいて、画像内での境界線の角度を、画像内での実際の地平線に適合するように境界検出回路３２が補正してもよい。例えば自動車１が右に５度傾いている場合には、画像内での境界線を逆の方向に５度傾けてやればよい。そして、この場合には、低感度から高感度へ遷移する領域での感度の変化率を少なくして遷移する区間を広げてもよい。
【０１２１】
また、自動車１が前後（ピッチ方向）に傾いている場合には、画像内での地平線の位置もそれに伴って上下に変動する。それゆえ、自動車１にピッチ方向の傾きを検知する傾きセンサを設けるとともに、該傾き検知センサからの出力値に基づいて、境界線の上下位置を補正してもよい。例えば、自動車１が上方に５度傾いていることを傾きセンサが検知した場合には、境界線の上下位置をカメラの画角と画素数に応じたライン数だけ下に移動させればよい。
【０１２２】
なお、本実施形態では、撮像装置１００が取り付けられる対象として自動車１を例示したが、本発明はこれに限定されず、鉄道車両、自動二輪車、自転車、トラックなどの各種車両、さらには、船舶、航空機など、あらゆる移動体に取り付けることができる。
【０１２３】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１２４】
本発明は、例えばビデオカメラ装置やディジタルスチルカメラ装置などに利用することができる。
【図面の簡単な説明】
【０１２５】
【図１】本発明の一実施形態を示すものであり、撮像装置の構成を示すブロック図である。
【図２】本発明の一実施形態を示すものであり、撮像装置が搭載された自動車の概略構成を示す側面図である。
【図３】本発明の一実施形態を示すものであり、撮像装置による輝度補正処理の流れを示すフロー図である。
【図４】本発明の一実施形態を示すものであり、輝度補正処理に含まれる各工程のタイミングを示すタイミング図である。
【図５】第１フレーム画像の一例を示す図である。
【図６】図５に示す第１フレーム画像から作成したエッジ画像の一例を示す図である。
【図７】第２フレーム画像の一例を示す図である。
【図８】図７に示す第２フレーム画像から作成したエッジ画像の一例を示す図である。
【図９】オプティカルフローを作成して境界線を決定する方法を示す図である。
【図１０】画像を上側領域と下側領域とに分割した様子を示す図である。
【図１１】輝度の分布が高輝度側に偏っている場合のヒストグラムを示す図である。
【図１２】輝度の分布がどちらにも偏っていない場合のヒストグラムを示す図である。
【図１３】輝度の分布が低輝度側に偏っている場合のヒストグラムを示す図である。
【図１４】下側領域の輝度の分布がどちらにも偏っていない場合の感度テーブルの一例をグラフとして示した図である。
【図１５】下側領域の輝度の分布が高輝度側に偏っている場合の感度テーブルの一例をグラフとして示した図である。
【図１６】下側領域の輝度の分布が低輝度側に偏っている場合の感度テーブルの一例をグラフとして示した図である。
【図１７】感度補正の効果を説明する図である。
【図１８】利得制御回路およびその周辺の構成例を示す回路図である。
【図１９】図１８のコンパレータに入力される２つのパルス信号とコンパレータから出力されるパルス信号とを示した波形図である。
【符号の説明】
【０１２６】
１ 自動車（移動体）
１１ ＣＣＤイメージセンサ（撮像センサ）
２０ アナログフロントエンド
２１ 利得制御回路（感度制御手段）
２２ 駆動信号発生回路
３１ 画像メモリ
３２ 境界検出回路（境界線設定手段）
３３ 画像処理回路（輝度検出手段）
４０ ＭＰＵ
４１ 感度制御信号出力部（感度制御情報出力手段）
４２ テーブル作成部（感度制御情報作成手段）
４３ 記憶部（感度制御情報記憶部）
４４ 感度テーブル
１００ 撮像装置
２００ 表示装置
【技術分野】
【０００１】
本発明は、複数の画素が平面内に配列された撮像センサによって画像を取得する撮像装置、およびこの撮像装置を備えた移動体に関するものである。
【背景技術】
【０００２】
近年、運転手の支援を目的として、自動車などの車両に撮像装置が取り付けられるようになっている。この撮像装置は車両外部の景色を撮影し、運転席から視認可能な位置に取り付けられた表示装置に、撮影した映像が表示される。また、撮影した映像をコンピュータによってリアルタイムに解析し、安全機構などに利用することも考えられている。
【０００３】
ところで、撮像装置が撮影する外部の景色は、昼や夜、照明があるかないかなどによって、明るさが様々に変化する。ここで、景色の明るさがダイナミックレンジを超えてしまうと、得られた映像において白飛びや黒潰れが発生する。
【０００４】
映像に白飛びや黒潰れが発生すると、それらの箇所について明るさや色などの階調情報が欠落して、一様に白い領域や黒い領域となり、運転手やコンピュータが必要な情報を得ることができなくなってしまう。また、白飛びや黒潰れが発生すると、それらの周囲の箇所についても階調が飽和して情報が粗くなる。
【０００５】
このように、白飛びや黒潰れが発生すると、元の階調情報が完全に欠落するか、残っていてもＳＮ比の低いものしか得られず、本来的に情報が欠落してしまう。そのため、後段のディジタル画像処理によってエッジの先鋭化やコントラストの調整、色温度調整などを行ったとしても、映像の品位が著しく劣化し、人間やコンピュータによる認識処理に悪影響を及ぼすことがあった。
【０００６】
特に、映像に白飛びがある場合、これを見た人間は、視神経の特性から白飛びした部分に注意が引き付けられる傾向にあるため、本来見なければならない部分への注意が散漫となり、誤認識や認識の遅れなどを生じるおそれがある。
【０００７】
このような問題を防止するため、撮像装置は、露出時間を調節するなどして輝度補正を行っている。しかしながら、ある景色の中に含まれる暗部と明部のコントラストが極端に大きい場合には、暗部に合わせて輝度補正を行うと明部において白飛びが発生し、また、明部に合わせて輝度補正を行うと暗部において黒潰れが発生してしまう。
【０００８】
このような問題は、車両に搭載された撮像装置が景色を撮影する場合にも発生する。車両から見える景色には、主として、路面（地面）と空とが含まれる。昼間などでは、空の方が路面よりもかなり明るいため、路面に合わせて輝度補正をすると空の映像が白飛びし、空に合わせて輝度補正をすると路面の映像が黒潰れしてしまうことがある。
【０００９】
路面と空のコントラストを下げてダイナミックレンジに収めたい場合には、一般にハーフフィルタを使用する。ハーフフィルタは、撮像装置のレンズに取り付けるものであり、中には、フィルタが上下に２分割されており、上半分が減光機能を有するＮＤ（Neutral Density）フィルタで、下半分が光をそのまま透過させるスルーフィルタとなっているものもある。
【００１０】
このハーフフィルタをレンズに取り付けると、ＮＤフィルタを透過した光は強度が低減される一方、スルーフィルタを透過した光は強度が変化しない。その結果、空が含まれる上部領域の明るさのみを低減することができる。
【００１１】
また、同様の問題を解決する手法として、特許文献１には、撮像装置の見かけ上のダイナミックレンジを広げる技術が開示されている。この技術では、撮像センサが電荷を蓄積する時間をフィールドごとに切り替えることにより、露光量が大きい映像と小さい映像とを交互に取得し、露光量の異なるそれぞれの映像の中から、良好な部分を切り貼りして１枚の映像を作成する。これにより、白飛びおよび黒潰れの発生頻度を下げ、良好な映像を取得することができるとされている。
【特許文献１】特開平２−１７４４７０号公報（平成２年７月５日公開）
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、上述した従来の技術にはそれぞれ問題がある。ハーフフィルタは、撮像装置に入射する光の強度を領域ごとに変化させることができるが、使用するときは取り付ける必要があり、使用しないときは取り外さなければならない。
【００１３】
また、特許文献１の技術では、露光量の異なる２つの画像を合成して１つの画像を作成するため、後段で複雑な画像処理を行わなければならない。
【００１４】
本発明は上記の問題点に鑑みてなされたものであり、その目的は、レンズへのフィルタの取り付け・取り外しや複雑な画像処理を必要とせず、良好な画像を得ることのできる撮像装置を提供することにある。
【課題を解決するための手段】
【００１５】
上記課題を解決するために、本発明に係る撮像装置は、複数の画素が平面状に配列された撮像センサによって画像を取得する撮像装置であって、上記撮像センサの感度を、１又は複数の画素を含む画素ブロックごとに制御する感度制御手段を備えていることを特徴とする。
【００１６】
上記構成によれば、撮像センサの各画素は平面状に配列されており、それぞれの画素が受光することにより画像が取得される。ここで、撮像センサの感度は、感度制御手段によって１又は複数の画素を含む画素ブロックごとに制御される。従って、輝度コントラストの高い明部と暗部を含む景色などを撮像する場合であっても、明部に対応する画素ブロックの感度を下げ、暗部に対応する画素ブロックの感度を上げることにより、白飛びおよび黒潰れのない良好な画像を得ることができる。
【００１７】
さらに、上記の構成によれば、撮像センサの感度を制御することによって白飛びおよび黒潰れを防止するため、レンズへのフィルタの取り付け・取り外しを行う必要がない。また、画像を取得する時点で感度が画素ブロックごとに制御されるため、２枚の画像を１枚に合成するような複雑な画像処理を行う必要もない。
【００１８】
なお、上記画素ブロックは、上記撮像センサの画素の集合を、上記撮像センサの水平走査方向と平行な直線により区分して得られるものであることが好ましい。
【００１９】
上述したように、自動車などの移動体に取り付けられる撮像装置では、路面などを撮像する下側領域と空などを撮像する上側領域とで輝度が著しく異なることにより、白飛びや黒潰れが発生する傾向にある。しかしながら、上記の構成によれば、撮像センサの水平走査方向と平行な直線よりも上側の領域と下側の領域とで、撮像センサの感度が別々に制御されるので、それぞれの領域に応じて感度の制御を行うことにより、白飛びおよび黒潰れを抑制することができる。従って、例えば路面および空を含む景色などを撮像した際に良好な画像を得ることができる。
【００２０】
また、上記撮像センサは、該撮像センサの水平走査方向と平行な画素列である水平ラインごとに、各画素が蓄積した信号電荷を上記感度制御手段に出力し、上記感度制御手段は、上記撮像センサから入力される信号電荷を電圧に変換して画像信号を生成するものであるとともに、信号電荷を電圧に変換するときの変換比率を、１水平ライン分の信号電荷が入力されるたびに変更することによって、撮像センサの感度を水平ラインごとに制御することが好ましい。
【００２１】
上記の構成によれば、感度制御手段に１水平ライン分の信号電荷が入力されるたびに、感度制御手段が信号電荷を電圧に変換するときの変換比率が変更される。これにより、撮像センサの感度を水平ラインごとに制御することができる。この構成によれば、それぞれの画素に対して感度調整用の入力配線を設ける必要がないので、製造コストの上昇や歩留まりの低下を抑制することができる。また、撮像センサの受光面に複雑な入力配線を追加する必要がないので、撮像センサの感度やＳＮ比の低下を回避することができる。
【００２２】
また、上記撮像装置は、上記感度制御手段が各水平ラインに対して設定する感度を決定するための感度制御情報を上記感度制御手段に出力する感度制御情報出力手段と、上記感度制御情報を水平ラインごとに格納する感度制御情報記憶部とをさらに備え、上記感度制御情報出力手段は、上記撮像センサが１水平ライン分の信号電荷を出力するタイミングを示す同期信号に同期して、信号電荷の出力が行われる水平ラインに応じた感度制御情報を上記感度制御情報記憶部から読み出して上記感度制御手段に出力し、上記感度制御手段は、上記感度制御情報出力手段から上記同期信号に同期して入力される感度制御情報に基づいた上記変換比率によって、信号電荷を電圧に変換することが好ましい。
【００２３】
上記の構成によれば、感度情報記憶部に格納された感度制御情報に基づいて各水平ラインの感度が制御されるため、水平ラインごとの感度の制御を自由自在に設定することができる。
【００２４】
また、上記撮像装置は、水平ラインごとに上記感度制御情報を作成して上記感度制御情報記憶部に格納する感度制御情報作成手段をさらに備えていることが好ましい。
【００２５】
上記構成によれば、感度制御情報作成手段によって、そのときどきの状況に応じた感度制御情報を作成することができる。従って、感度制御手段による感度の制御内容を状況に適応させることができる。
【００２６】
また、上記感度制御手段は、上記撮像センサの感度を、上記撮像センサの垂直走査方向に沿って段階的に変化させることが好ましい。
【００２７】
上記構成によれば、撮像センサの感度が垂直走査方向に沿って段階的に変化するので、得られた画像は、輝度レベルの補正が垂直方向に沿って段階的に行われたものとなる。従って、輝度レベルが徐々に変化した自然な画像を得ることができる。
【００２８】
また、上記撮像装置は、画像を連続的に取得する撮像装置であって、上記撮像センサによって取得された画像について、領域ごとに輝度を求める輝度検出手段をさらに備え、上記感度制御手段は、上記輝度検出手段が求めた領域ごとの輝度に基づいて上記撮像センサの感度を制御することが好ましい。
【００２９】
上記構成によれば、輝度検出手段によって領域ごとの輝度が求められ、求められた輝度に基づいて撮像センサの感度が制御される。従って、実際に撮像される景色の明部と暗部の位置や程度に応じて適切な感度の制御を行うことができる。
【００３０】
また、上記輝度検出手段は、上記領域ごとに輝度の分布を求め、上記感度制御手段は、上記輝度検出手段によって作成された領域ごとの輝度の分布のそれぞれにおける分布の偏りが補正されるように、上記撮像センサの感度を制御することが好ましい。
【００３１】
上構成によれば、各領域における輝度の分布の偏りが補正されるように感度が制御されるので、各領域において、白飛びや黒潰れが発生するのを抑制することができる。さらに、それぞれの領域での分布の偏りを補正することにより、結果として、領域間での輝度の差も小さくすることができる。
【００３２】
また、上記撮像装置は、移動体に取り付けられ、該移動体の外部を撮像する撮像装置であって、上記領域は、画像を１本の境界線によって分割して得られる分割領域であり、上記撮像装置は、上記境界線を設定する境界線設定手段をさらに備え、上記境界線設定手段は、上記撮像センサによって得られた、フレームが互いに異なる２つの画像を取得し、取得した２つの画像に含まれる被写体の移動方向から画像内での無限遠点の位置を求めるとともに、求めた無限遠点の位置に基づいて上記境界線を設定することが好ましい。
【００３３】
上記構成によれば、境界線設定手段により、画像内での無限遠点の位置に基づいて境界線が設定される。ここで、無限遠点は路面と空とを区分する地平線が通過する点であるため、この点に基づいて設定された境界線により、画像は、主として空などを含む上側領域と主として路面などを含む下側領域とに分割される。そして、分割された各領域についてそれぞれ輝度が求められ、その輝度に応じて感度が補正されるので、輝度コントラストの高い路面と空の双方を含む景色を撮像した場合であっても、良好な画像を得ることができる。
【００３４】
さらに、画像内での地平線の位置は、撮像装置の取り付け角度や車の前後方向の傾きによって変動するおそれがあるが、上記構成によれば、実際に取得した画像から画像内での無限遠点を求めて境界線を設定するため、たとえ撮像装置の取り付け角度や車が傾いていても、その傾きに応じて適切な位置に境界線を設定することができる。それゆえ、撮像装置の取り付け角度や車の傾きに関らず、良好な画像を得ることができる。
【００３５】
なお、上記撮像装置は、移動体に取り付けられ、該移動体の外部を撮影するビデオカメラ装置であってもよい。
【００３６】
上記構成によれば、例えば輝度コントラストの高い空および路面の双方を含む景色を撮像した場合であっても、白飛びおよび黒潰れのない良好な画像を得ることができる。
【００３７】
また、本発明に係る移動体は、上述した撮像装置と、上記撮像装置によって得られた画像を表示する表示装置とを備えていることを特徴とする。
【００３８】
上記構成によれば、例えば輝度コントラストの高い空および路面の双方を含む景色を撮像した場合であっても、白飛びおよび黒潰れのない良好な画像が操縦者に提示されるため、操縦者の誤認や認知遅れを抑制できる安全な移動体が提供される。
【発明の効果】
【００３９】
以上のように、本発明に係る撮像装置は、撮像センサの感度を、１又は複数の画素を含む画素ブロックごとに制御する感度制御手段を備えた構成となっている。従って、レンズへのフィルタの取り付け・取り外しや複雑な画像処理を必要とせず、良好な画像を得ることができるという効果を奏する。
【００４０】
また、本発明に係る移動体は、この撮像装置を備えた構成となっているため、操縦者の誤認や認知遅れを抑制することができるという効果を奏する。
【発明を実施するための最良の形態】
【００４１】
本発明の一実施形態について図１から図１９に基づいて説明すると以下の通りである。本実施形態の撮像装置は、運転手の支援のため、自動車（移動体）の外装部分などに取り付けられて自動車の外部を撮影するものである。上述したように、路面と空のコントラストが高い場合には、得られた画像において白飛びおよび／または黒潰れが生じやすいが、本実施形態の撮像装置によれば、このような問題を解消することができる。以下では、その詳細について説明する。
【００４２】
図１は、本実施形態の撮像装置１００の構成を示すブロック図である。撮像装置１００は、図１に示すように、光学系１０、ＣＣＤ（Charge Coupled Device）イメージセンサ（撮像センサ）１１、アナログフロントエンド２０、Ａ／Ｄ変換器２５、画像バス３０、画像メモリ３１、境界検出回路（境界線設定手段）３２、画像処理回路（輝度検出手段）３３、ＭＰＵ（Micro Processing Unit）４０、記憶部（感度制御情報記憶部）４３、Ｄ／Ａ変換器４５を備えている。そして、撮像装置１００の画像バス３０には、表示装置２００が接続されている。
【００４３】
光学系１０は、フォーカス機構、レンズおよび絞りなどを有し、撮像装置１００によって撮影する景色などをＣＣＤイメージセンサ１１の受光面上に結像させる。ＣＣＤイメージセンサ１１は、受光した光を光電変換により信号電荷に変換して蓄積する複数のフォトダイオードと、該フォトダイオードの蓄積した信号電荷を読み出して転送するＣＣＤとを有している。フォトダイオードは、平面状（例えばマトリクス状またはハニカム状など）に配列されており、ＣＣＤイメージセンサ１１の画素を構成する。
【００４４】
ＣＣＤイメージセンサ１１には、垂直転送ＣＣＤおよび水平転送ＣＣＤが含まれている。水平転送ＣＣＤは、ＣＣＤイメージセンサ１１の水平走査方向と平行な画素列である水平ラインごとに、該水平ラインに含まれる各画素が蓄積した信号電荷をアナログフロントエンド２０に転送するようになっている。
【００４５】
アナログフロントエンド２０は、各種アナログ回路によって構成されている。アナログフロントエンド２０は、より詳細には、ＣＣＤイメージセンサ１１を駆動するための駆動信号を生成する駆動信号発生回路２２を有している。この駆動信号には、ＣＣＤイメージセンサ１１の水平転送ＣＣＤが１水平ライン分の信号電荷をアナログフロントエンド２０に転送するタイミングを規定する水平同期信号（水平転送ＣＣＤ駆動信号）や、垂直転送ＣＣＤの駆動タイミングを規定する垂直同期信号（垂直転送ＣＣＤ駆動信号）などが含まれている。このため、駆動信号発生回路２２は、同期パルス幅、フロントポーチ、バックポーチなどのタイミングデータを格納管理したレジスタなどを有している。
【００４６】
アナログフロントエンド２０はまた、上記の水平同期信号に同期してＣＣＤイメージセンサ１１から順次転送される信号電荷を電圧に変換する利得制御回路（感度制御手段）２１を有している。この利得制御回路２１は、詳細は後述するが、信号電荷を電圧に変換する際に、その変換比率を調節する機能を有している。特に本実施形態では、１水平ライン分の信号電荷が転送されるたびに、利得制御回路２１が上記変換比率を変化させることができるようになっている。これにより、ＣＣＤイメージセンサ１１の感度を水平ラインごとに制御することができる。そして、利得制御回路２１からは、映像（画像）を示すアナログ映像信号（画像信号）が出力される。このアナログ映像信号では、映像に含まれる各画像画素の輝度が電圧によって表現されている。
【００４７】
Ａ／Ｄ変換器２５は、利得制御回路２１から出力されるアナログ映像信号をディジタル信号で示された画像データに変換するものである。画像バス３０は、Ａ／Ｄ変換器２５、画像メモリ３１、境界検出回路３２、画像処理回路３３、ＭＰＵ４０、表示装置２００を互いに接続するデータバスである。
【００４８】
画像メモリ３１は、Ａ／Ｄ変換器２５から出力された画像データを一時的に格納するためのものである。画像メモリ３１は、複数フレーム分の画像データを格納できるだけの記憶容量を有している。
【００４９】
境界検出回路３２は、画像メモリ３１からフレームの異なる２つの画像を読み出し、これら２つの画像間で照合追跡を行うことによって画像に含まれる被写体の移動方向を求めるとともに、求めた移動方向に基づいて、路面と空との境界線である地平線の画像内での位置を求めるものである。
【００５０】
画像処理回路３３は、画像メモリ３１から画像を読み出すとともに、読み出した画像について、境界検出回路３２が求めた境界線によって画像を分割して得られる分割領域ごとに、輝度のヒストグラムを作成するものである。本実施形態では、境界線が地平線に相当するため、画像は、空などを含む上側領域と路面などを含む下側領域の２つの分割領域に分割されることになる。
【００５１】
ＭＰＵ４０は、図示しないメモリに格納されたプログラムを実行することにより、各種機能を実現するコンピュータである。ＭＰＵ４０は、機能ブロックとして、感度制御信号出力部４１およびテーブル作成部４２を含んでいる。
【００５２】
感度制御信号出力部４１は、Ｄ／Ａ変換器４５を介してアナログフロントエンド２０の利得制御回路２１に感度制御信号を送信するものである。この感度制御信号は、利得制御回路２１がＣＣＤイメージセンサ１１に設定する感度値の情報（感度制御情報）を含んでいる。従って、利得制御回路２１が信号電荷を電圧に変換する際の変換比率は、この感度制御信号に基づいて決定される。Ｄ／Ａ変換器４５は、感度制御信号出力部４１から出力されるディジタル感度制御信号をアナログ感度制御信号に変換して利得制御回路２１に入力する。
【００５３】
本実施形態において、感度制御信号出力部４１には、駆動信号発生回路２２から水平同期信号および垂直同期信号が入力される。そして、感度制御信号出力部４１は、入力された水平同期信号に同期して、感度制御信号に含める感度値を変化させる。つまり、感度制御信号出力部４１は、ＣＣＤイメージセンサ１１の水平転送ＣＣＤが１水平ライン分の信号電荷を転送するごとに、利得制御回路２１に出力する感度値を変化させることができるようになっている。
【００５４】
記憶部４３は、感度制御信号に含まれる感度値が示された感度テーブル４４を格納するものである。本実施形態では、上述したように水平ラインごとにＣＣＤイメージセンサ１１の感度が変更される構成となっているため、感度テーブル４４には、感度値が水平ラインごとに示されている。つまり、感度テーブル４４では、水平ラインのアドレスと、その水平ラインに適用される感度値とが１対１で対応している。次の表１は、ＣＣＤイメージセンサ１１の垂直解像度が４８０画素の場合の感度テーブル４４の一例を示したものである。なお、本実施形態では、感度値が大きい場合にはＣＣＤイメージセンサ１１の感度が高くなり、感度値が小さい場合には低くなる。
【００５５】
【表１】
【００５６】
ただし、表１は、感度テーブル４４の構成を示す一例にすぎない。実際の感度値は表１に示される値に限定されず、より細かく設定されていてもよい。
【００５７】
この感度テーブル４４は、実際には、記憶部４３の水平ライン数に相当する番地に感度値を書き込むことによって作成される。そして、感度テーブル４４を参照する際には、水平ラインのアドレスに対応する記憶部４３の番地を指定し、指定した番地に格納されている感度値を順々に読み出していく。
【００５８】
感度制御信号出力部４１は、入力される垂直同期信号および水平同期信号とスキャンライン数とから、ＣＣＤイメージセンサ１１から利得制御回路２１に転送される１水平ライン分の信号電荷を蓄積していた水平ラインを特定するとともに、特定した水平ラインに応じた感度値を記憶部４３の感度テーブル４４から読み出し、該感度値を示す感度制御信号を利得制御回路２１の入力端子に入力する。
【００５９】
テーブル作成部４２は、記憶部４３に格納される感度テーブル４４を作成するものである。ここで、テーブル作成部４２は、画像処理回路３３によって上側領域および下側領域のそれぞれについて作成された輝度のヒストグラムに基づいて、上側領域と下側領域の輝度の差が小さくなるように、感度テーブル４４に含まれる各感度値を設定する。
【００６０】
表示装置２００は、画像メモリ３１に格納された画像データに対応するフレーム画像を連続的に表示するものであり、液晶表示装置などが好適である。この表示装置２００は、自動車内において運転手から視認可能な位置に取り付けられている。表示装置２００の取り付け位置としては、例えば運転席と助手席との間のセンターコンソールパネル、またはダッシュボードなどが好適である。
【００６１】
図２は、上記の撮像装置１００が取り付けられた自動車１の概略構成を示す側面図である。撮像装置１００は、この自動車１の前端に設けられたフロントバンパーに、レンズが進行方向を向くような角度で取り付けられ、自動車１の前方を撮影するようになっている。なお、撮像装置１００は、水滴や汚れなどが付着しないように、透明な樹脂板などで覆われていることが好ましい。
【００６２】
次に、撮像装置１００による輝度補正処理について説明する。図３は、撮像装置１００による輝度補正処理の流れを示すフロー図である。また、図４は、輝度補正処理に含まれる各工程のタイミングを示すタイミング図である。
【００６３】
初期段階では、撮像装置１００の輝度補正（すなわち利得制御回路２１による感度の補正）は行われていない。このとき、感度制御信号出力部４１から利得制御回路２１へ出力される感度値は所定の一定値に設定される。
【００６４】
この状態で、ＣＣＤイメージセンサ１１の水平転送ＣＣＤが１水平ライン分ずつ信号電荷を利得制御回路２１に順次転送するとともに、利得制御回路２１が転送された信号電荷を所定の一定比率で電圧に変換し、アナログ映像信号を生成する。そして、Ａ／Ｄ変換器２５が利得制御回路２１から受け取ったアナログ映像信号をＡ／Ｄ変換して、部分画像データを作成する。この部分画像データは、画像バス３０を介して順次画像メモリ３１に格納される。そして、１フレーム分の処理が終了すると、第１フレームの画像（以下、第１フレーム画像という）のデータが画像メモリ３１に蓄積される（Ｓ１１）。
【００６５】
図５は、第１フレーム画像の一例を示す図である。図５の例では、２つの地上構造物が被写体として画像中に含まれている。なお、図５中、構造物は黒の四角で表現されている。
【００６６】
そして垂直帰線期間の後、境界検出回路３２が画像メモリ３１から画像バス３０を介して第１フレーム画像を読み出し、読み出した第１フレーム画像から第１フレームのエッジ画像を作成する（Ｓ１３）。このエッジ画像の作成は、第１フレーム画像の中で輝度コントラストの高い境界領域（すなわち構造物の輪郭であるエッジ）を抽出することによって行われる。図６は、図５に示す第１フレーム画像から作成したエッジ画像の一例を示す図である。図６に示すように、エッジ画像では構造物の輪郭が抽出されている。以下では、このステップで作成されたエッジ画像を第１エッジ画像という。
【００６７】
また図４に示すように、ステップＳ１３と並行して、ＣＣＤイメージセンサ１１から第２フレームの信号電荷の転送が行われ、第２フレームの画像（以下、第２フレーム画像という）のデータが画像メモリ３１に格納される（Ｓ１５）。図７は、第２フレーム画像の一例を示す図である。自動車１が前方に進行したことにより、第１フレーム画像に含まれていた２つの構造物が自動車１に近づき、第２フレーム画像では、それら構造物の大きさが大きくなっている。
【００６８】
そして垂直帰線期間の後、第３フレームの信号電荷の転送と並行して、境界検出回路３２が画像メモリ３１から第２フレーム画像を読み出し、第１フレームのときと同様にして、第２フレーム画像から第２フレームのエッジ画像を作成する（Ｓ１７）。図８は、図７に示す第２フレーム画像から作成したエッジ画像の一例を示す図である。以下では、このステップで作成されたエッジ画像を第２エッジ画像という。
【００６９】
次の垂直帰線期間中に、境界検出回路３２は、フレームが互いに異なる第１および第２エッジ画像からオプティカルフローを作成し、地平線に相当する境界線を決定する（Ｓ１９）。その処理の詳細について以下に説明する。図９は、オプティカルフローを作成して境界線を決定する方法を示す図である。図９では、上述したステップＳ１３・Ｓ１７で作成した２つのエッジ画像を重ね合わせている。
【００７０】
境界検出回路３２は、まず、２つのエッジ画像に含まれる各構造物について、第１エッジ画像と第２エッジ画像との間でエッジ照合を行う。ここで、フレーム間でエッジが一致する構造物同士は、同一の構造物であると判断される。看板、信号機、センターラインなどは利用しやすいエッジを持っているため、オプティカルフローの作成に適している。
【００７１】
そして、境界検出回路３２は、フレーム間でエッジが一致した少なくとも２つの構造物について、オプティカルフローを求める。オプティカルフローとは、画像内での構造物の移動方向および移動量をベクトルによって表したものである。オプティカルフローは、例えば第１エッジ画像における構造物の中心の座標と、第２エッジ画像における同一の構造物の中心の座標とから求めることができる。図９の例では、左側および右側のそれぞれの構造物についてオプティカルフローを求めている。
【００７２】
そして、境界検出回路３２は、２つのオプティカルフローの延長線の交点の座標を求める。この交点は、画像内での無限遠点（中心消滅点）に相当する。地平線は無限遠点を通るため、境界検出回路３２は、この無限遠点の座標を通り、かつ、画像の水平方向（ＣＣＤイメージセンサ１１の水平走査方向）と平行な直線を境界線とする。この境界線により、画像は、上側領域と下側領域とに分割される。なお、境界線そのものは、上側領域、下側領域のいずれに属してもよい。図１０は、画像を上側領域と下側領域とに分割した様子を示す図である。ここで求められた境界線の位置情報は、画像処理回路３３およびＭＰＵ４０のテーブル作成部４２に入力される。
【００７３】
なお、車が停止しているためにステップＳ１９においてオプティカルフローを作成できない場合は、所定の位置（例えば画像の中心）を無限遠点とし、この無限遠点に基づいて境界線を設定してもよい。
【００７４】
続いて、第４フレームの信号電荷の転送と並行して、画像処理回路３３が、第１フレーム画像の上側領域と下側領域とのそれぞれについて、輝度のヒストグラムを作成する（Ｓ２１）。図１１から図１３は、各領域について得られる代表的な輝度のヒストグラムを示す図であり、図１１は輝度の分布が高輝度側に偏っている場合のヒストグラム、図１２は輝度の分布がどちらにも偏っていない場合のヒストグラム、図１３は輝度の分布が低輝度側に偏っている場合のヒストグラムを示している。
【００７５】
画像処理回路３３は、上側領域および下側領域のそれぞれについて作成したヒストグラムから、それぞれの領域の輝度の分布が（ａ）高輝度側に偏っている状態（図１１に相当）、（ｂ）高輝度側・低輝度側のどちらにも偏っていない状態（図１２に相当）、（ｃ）低輝度側に偏っている状態（図１３に相当）、のいずれの状態であるかを判定する。
【００７６】
具体的には、作成したヒストグラムにおける最頻値や中央値などの代表値が、低輝度側の第１の閾値よりも小さい場合には（ｃ）の状態、高輝度側の第２の閾値（すなわち第１の閾値＜第２の閾値）よりも大きい場合には（ａ）の状態、第１の閾値よりも大きく第２の閾値よりも小さい場合には（ｂ）の状態であると判断する。
【００７７】
通常、上側領域には空が含まれるので、上側領域は（ａ）の状態である確率が高く、また、下側領域には路面が含まれるので、下側領域は（ｂ）または（ｃ）の状態である確率が高い。しかしながら実際には、時間帯、天気、街灯の点灯の有無、またはヘッドライトの点灯の有無などに依存して、各領域の輝度状態は様々に変化する。上側領域および下側領域のそれぞれについて得られた輝度の分布の状態を示す情報は、ＭＰＵ４０のテーブル作成部４２に入力される。
【００７８】
続く垂直帰線期間中に、テーブル作成部４２は、各領域の輝度の分布の状態と境界線の位置とから、各水平ラインに適用する感度値を決定し、決定した感度値を記憶部４３に書き込んで感度テーブル４４を作成する（Ｓ２３）。この処理について詳細に説明すると以下の通りである。
【００７９】
領域の輝度の分布が状態（ａ）の場合には、感度を下げて白飛びを減らしてやる必要がある。よって、輝度の分布が状態（ａ）の領域に対しては、小さい感度値が設定される。一方、領域の輝度の分布が状態（ｃ）の場合、感度を上げて黒潰れを減らしてやる必要があるため、その領域に対しては、大きい感度値が設定される。また、状態（ｂ）の領域に対しては、中程度の感度値が設定される。
【００８０】
以上のように、テーブル作成部４２は、利得制御回路２１がそれぞれの領域内での輝度の分布の偏りを補正できるよう、感度値を設定する。これにより、結果的に２つの領域間での輝度の差も小さくなる。
【００８１】
ここで、テーブル作成部４２は、上側領域、下側領域のそれぞれに含まれる全ての水平ラインに対して一定の感度値を設定してもよいが、このようにすると、境界線の上下で感度が急激に変化するため、得られる映像が不自然になってしまう。従って、テーブル作成部４２は、境界線を跨いで感度が段階的に（連続的に）遷移していくよう、感度値を設定することが好ましい。
【００８２】
図１４から図１６は、テーブル作成部４２が作成する感度テーブル４４の一例をグラフとして示した図であり、図１４は下側領域の輝度の分布が状態（ｂ）の場合のもの、図１５は下側領域の輝度の分布が状態（ａ）の場合のもの、図１６は下側領域の輝度の分布が状態（ｃ）の場合のものを示している。
【００８３】
図１４から図１６に示すように、最も上の水平ラインを含む上部領域の感度値は、上側領域の輝度の分布状態に応じてＳ１，Ｓ２，Ｓ３のいずれか１つに設定される。同様に、最も下の水平ラインを含む下部領域の感度値も、下側領域の輝度の分布状態に応じてＳ１，Ｓ２，Ｓ３のいずれか１つに設定される。そして、境界線を含む中間領域に含まれる水平ラインの感度値は、上部領域の感度値から下部領域の感度値へと段階的に（徐々に）遷移するように設定される。これにより、利得制御回路２１が上部領域の水平ラインから下部領域の水平ラインにかけて感度をなめらかに変化させるために、不自然さの目立たない良好な映像を得ることができる。
【００８４】
なお、このような感度曲線は、関数を利用することによって作成することができる。また、中間領域の上下位置（すなわち感度を段階的に遷移させる対象となる水平ライン）は、境界検出回路３２によって求められた境界線の位置に応じて決定する（上下させる）ことが好ましい。これにより、画像内での地平線の位置が変動しても、それに合わせて自然に感度を遷移させることができる。
【００８５】
以上のようにして感度テーブル４４が作成されると、この感度テーブル４４を使用して、感度制御信号出力部４１および利得制御回路２１によってＣＣＤイメージセンサ１１に対する感度補正が行われる（Ｓ２５）。この感度補正処理により、映像に対する水平ラインごとの輝度補正が実現する。感度補正処理の詳細は次の通りである。
【００８６】
ＣＣＤイメージセンサ１１の各画素が蓄積した信号電荷は、水平転送ＣＣＤによって、水平同期信号に同期して１水平ライン分ずつ利得制御回路２１へ転送される。ここで、感度制御信号出力部４１は、駆動信号発生回路２２から供給される水平同期信号に同期して、ＣＣＤイメージセンサ１１から転送される１水平ライン分の信号電荷に適用される感度値を、感度テーブル４４から読み出すとともに、利得制御回路２１へ出力する。そして、利得制御回路２１は、感度制御信号出力部４１から供給される感度値に基づいた比率で、水平転送ＣＣＤから転送されてくる各信号電荷を電圧に変換する。
【００８７】
感度制御信号出力部４１は、水平転送ＣＣＤが１水平ライン分の信号電荷を転送するごとに、感度テーブル４４から次の水平ラインに応じた感度値を順々に読み出して利得制御回路２１へ出力する。これに応じて、利得制御回路２１は、水平転送ＣＣＤから１水平ライン分の信号電荷が転送されるごとに変換比率を変更しながら、信号電荷を電圧に変換していく。
【００８８】
この処理を１フレーム分繰り返すことにより、画像メモリ３１には、水平ラインごとに輝度補正が行われたフレーム画像のデータが格納される（Ｓ２７）。そして、表示装置２００が、画像メモリ３１に格納されたデータに対応するフレーム画像を表示する（Ｓ２９）。本実施形態の輝度補正処理によれば、図４に示すように、第５フレーム画像から輝度補正を開始することができる。
【００８９】
そして、撮像装置１００の電源がオフされるまで、ステップＳ２５からＳ２７までの処理が繰り返され、表示装置２００には、輝度が適切に補正され、白飛びおよび黒潰れの抑制された映像が表示される。
【００９０】
図１７は、感度補正の効果を説明する図である。例えば景色の中に明るい空などが含まれている場合、感度補正前の上側領域の輝度の分布は、図１７左側のヒストグラムのようになる。このとき、飽和領域に近い箇所では白飛びが発生する。ここで、感度テーブル４４を用いた感度補正が行われると、図１７右側のヒストグラムに示すように、輝度の分布（およびその分布における代表値）が低輝度側にシフトするため、白飛びが抑制される。
【００９１】
一方、路面などを含む下側領域は、上側領域とは異なる感度に設定されるため、上側領域の補正に伴って下側領域に黒潰れが発生することもない。それゆえ、地平線よりも上の明るい空などの感度飽和が緩和され、かつ、路面の黒潰れのない視認しやすい画像を得ることができる。
【００９２】
次に、利得制御回路２１の構成例およびその動作について説明する。図１８は、利得制御回路２１およびその周辺の構成例を示す回路図である。利得制御回路２１は、図１８に示すように、主として、電荷シフタ２１０、サンプルホールド回路２１１、コンパレータ２１２およびＩ／Ｖ変換器２１３、ならびにクランプ発生回路を構成する定電流回路２１４、キャパシタ２１５、フォロワ２１６およびスイッチ２１７などを備えている。
【００９３】
電荷シフタ２１０は、ＣＣＤイメージセンサ１１の水平転送ＣＣＤから１水平ライン分の信号電荷を受け取るものである。サンプルホールド回路２１１は、読み出しパルスに従って電荷シフタ２１０から取り出された１画素分の信号電荷をキャパシタにより保持するものである。
【００９４】
コンパレータ２１２およびＩ／Ｖ変換器２１３は、パルスウイズモジュレーションを利用してサンプルホールド回路２１１に保持された信号電荷を電圧に変換するものである。コンパレータ２１２の入力側の一端には、サンプルホールド回路２１１のキャパシタが接続されており、入力側の他端にはクランプ発生回路のフォロワ２１６の出力端が接続されている。そして、コンパレータ２１２の出力端はＩ／Ｖ変換器２１３に接続されている。
【００９５】
クランプ発生回路では、定電流回路２１４およびキャパシタ２１５が直列に接続されており、キャパシタ２１５の電圧をボルテージフォロワであるフォロワ２１６によって取り出してコンパレータ２１２に出力するようになっている。
【００９６】
図１９は、コンパレータ２１２に入力される２つのパルス信号とコンパレータ２１２から出力されるパルス信号とを示した波形図である。図１９のパルス信号（Ｂ）は、クランプ発生回路からコンパレータ２１２に入力されるクランプパルスを示している。このクランプパルスの波形は、１画素分の信号電荷を電圧に変換する期間（１ｄｏｔに相当）に、電荷ゼロに相当する最小電圧から電荷最大に相当する最大電圧まで、電圧が直線的に上昇する三角波形となっている。この三角波形は、クランプ発生回路のスイッチ２１７を１ｄｏｔごとにオンしてやることにより実現する。
【００９７】
図１９のパルス信号（Ａ）は、サンプルホールド回路２１１からコンパレータ２１２に入力されるパルス信号を示している。このパルス信号（Ａ）は、ＣＣＤイメージセンサ１１の各画素が蓄積した信号電荷の大きさに比例した電圧の矩形パルス信号となっている。
【００９８】
コンパレータ２１２にパルス信号（Ａ），（Ｂ）が入力されると、コンパレータ２１２は、サンプルホールド回路２１１からのパルス信号（Ａ）の電圧がクランプパルス信号（Ｂ）の電圧を上回っている期間にオンを出力する。これにより、コンパレータ２１２からは、画素に蓄積された信号電荷の大きさに比例したパルス幅を有する矩形のパルス信号（Ｃ）が出力される。
【００９９】
そして、パルス信号（Ｃ）がＩ／Ｖ変換器２１３に入力され、Ｉ／Ｖ変換器２１３からは、パルス信号（Ｃ）の各パルス幅に比例した電圧の電圧信号が順次出力される。上述したように、パルス信号（Ｃ）のパルス幅は画素の信号電荷の大きさに比例するので、Ｉ／Ｖ変換器２１３から出力される電圧信号の電圧も、画素の信号電荷の大きさに比例する。Ｉ／Ｖ変換器２１３から出力されるこの電圧信号がアナログ映像信号であり、上述したＡ／Ｄ変換器２５に入力される。以上のようにして、ＣＣＤイメージセンサ１１によって取得された画素ごとの微小な信号電荷が電圧に変換される。
【０１００】
ここで、クランプ発生回路から出力されるクランプパルス信号（Ｂ）の傾斜の傾きを変化させると、コンパレータ２１２から出力されるパルス信号（Ｃ）のパルス幅が変化し、信号電荷から電圧に変換する際の変換倍率、ひいてはＣＣＤイメージセンサ１１の感度を調節することができる。このクランプパルス信号（Ｂ）の傾き調節は、定電流回路２１４から出力される電流の大きさを変化させることによって行うことができる。
【０１０１】
定電流回路２１４の出力電流の大きさは、上述したＤ／Ａ変換器４５を介して感度制御信号出力部４１により制御される。本実施形態の撮像装置１００では、感度制御信号出力部４１が感度テーブル４４から水平走査期間ごとに感度値を読み出し、この感度値を含む感度制御信号を利得制御回路２１の定電流回路２１４に与えるにより、定電流回路２１４からの出力電流の大きさが１水平走査期間ごとに変更される。これにより、水平ラインごとの感度補正が実現される。
【０１０２】
以上のように、本実施形態の撮像装置１００では、ＣＣＤイメージセンサ１１から転送される信号電荷を利得制御回路２１が電圧に変換して映像信号を生成する際に、信号電荷を電圧に変換するときの変換比率が、１水平ライン分の信号電荷が転送されるたびに変更される構成となっている。
【０１０３】
上記の構成によれば、撮像装置１００の感度を水平ライン単位で制御することができる。それゆえ、例えば空および路面を含む景色など、輝度のコントラストが大きい景色を撮影した場合であっても、白飛び・黒潰れのない良好な映像を得ることができる。
【０１０４】
なお、本実施形態の撮像装置１００は、ＣＣＤイメージセンサ１１を採用しているが、本発明はこれに限定されない。ＣＣＤイメージセンサ１１の代わりにＣ−ＭＯＳ（complementary metal-oxide semiconductor）イメージセンサを採用することもできる。また、撮像装置１００は、動画を撮影するビデオカメラ装置であってもよいし、静止画を撮影するスチルカメラ装置であってもよい。
【０１０５】
また、本実施形態の撮像装置１００では、１水平ラインごとに感度を調節する構成としたが、本発明はこれに限定されない。例えば、上述した境界線によって区分される上側領域および下側領域のそれぞれの感度を独立して制御する構成としてもよい。この場合、感度制御信号出力部４１は、各領域に含まれる水平ライン数に応じた周期で感度値を変更すればよい。また、本実施形態の撮像装置１００において、感度制御信号出力部４１が感度値を１水平走査期間内でさらに切り替えるように構成すれば、ＣＣＤイメージセンサ１１の感度を右側領域と左側領域とで別々に制御することも可能である。
【０１０６】
また、ＣＣＤイメージセンサ１１の感度を画素単位で制御することもできる。この場合、画素数に応じた数のキャパシタと、各画素に対して感度調整用の入力を行うための入力ラインと、画素を選択して感度値を書き込むための垂直および水平選択ラインとを撮像装置に設けておく。ここで、キャパシタには、感度値に対応する大きさの電荷をチャージしておく。そして、各画素から信号電荷を読み出す際に、各画素が、対応するキャパシタの保持する感度値を参照するように構成すればよい。
【０１０７】
以上のように、本発明において、センサの感度をどのような領域ごとに制御するかは任意である。従って、撮像センサの感度を１又は複数の画素を含む画素ブロックごとに制御する感度制御手段を備えた撮像装置であれば、本発明の範囲に含まれる。
【０１０８】
ただし、画素単位で感度を制御する上記の構成よりも、本実施形態の撮像装置１００の方が好ましい。本実施形態の撮像装置１００によれば、複雑な回路や配線を追加で設ける必要がないため、制御ラインや感度制御回路などがそれぞれのフォトダイオードの開口率を下げるおそれもない。それゆえ、感度やＳＮ比の低下を防止することができる。
【０１０９】
また、本実施形態の撮像装置１００によれば、簡単な構成により領域ごとの感度補正を実現できるため、コストの観点から有利である。具体的には、画素単位で感度補正を行う場合と比べて、（１）ＩＴＯなどの導電性物質からなる垂直・水平選択ライン、（２）垂直・水平選択ラインによって書き込みを行うためにラインごとに必要な駆動用オペアンプ、（３）オペアンプの電源回路および周辺ＣＲ素子、（４）オペアンプをオン／オフ制御したりライン単位での書き込み電位を保持したりするためのサンプルホールド回路、（５）全体の動作タイミングを発生するコントローラＬＳＩとその周辺ＣＲ素子、などを少なくとも省略することができる。それゆえ、製造プロセス費用を削減でき、また、歩留まりの低下を抑制するための検査費用や改修費用なども削減できる。
【０１１０】
また、本実施形態の撮像装置１００では、利得制御回路２１がＣＣＤイメージセンサ１１の感度を水平ライン単位で制御するだけでなく、さらに、感度を垂直走査方向に沿って段階的（連続的に）に変化させる構成となっている。それゆえ、輝度がなめらかに補正された映像を取得することができる。
【０１１１】
また、本実施形態の撮像装置１００は、取得した画像について領域ごとに輝度の分布を求める画像処理回路３３を備えており、利得制御回路２１は、それぞれの領域について輝度の分布の偏りが補正されるように、ＣＣＤイメージセンサ１１の感度を制御する構成となっている。
【０１１２】
それゆえ、例えば映像内での暗部と明部の位置関係が変化したり、暗部や明部の明るさが変化したりしても、それに合わせて良好な映像を得ることができる。
【０１１３】
また、本実施形態の撮像装置１００は、感度値が水平ラインごとに示された感度テーブル４４を格納する記憶部４３と、ＣＣＤイメージセンサ１１から１水平ライン分の信号電荷が利得制御回路２１に転送されるたびに、上記感度テーブル４４から感度値を読み出して利得制御回路２１に出力する感度制御信号出力部４１とを備えた構成になっている。
【０１１４】
上記の構成によれば、利得制御回路２１の変換倍率を水平ラインごとに周期的に変化させることができるとともに、感度テーブル４４によりきめの細かい感度制御が可能になる。
【０１１５】
なお、本実施形態の撮像装置１００では、画像処理回路３３によって作成されたヒストグラムに基づいて感度テーブル４４を作成する構成としたが、本発明はこれに限定されない。例えば、図１４から図１６に示す感度テーブルを予め準備して記憶部４３に格納しておき、領域ごとに求められたヒストグラムに基づいて、テーブル選択手段が感度制御信号出力部４１によって参照される感度テーブルを選択するようにしてもよい。
【０１１６】
さらに、撮像装置１００が自動車１などに搭載される場合、感度制御信号出力部４１によって参照される感度テーブルを昼と夜とで切り替えるようにしてもよい。例えば自動車１のスモールランプもしくはヘッドライトの点灯状態、または、自動車１に設けられた照度計の値に基づいて、上記感度テーブルを切り替えてもよい。これにより、周囲の状況に応じた好適な輝度補正を行うことができる。
【０１１７】
また、本実施形態の撮像装置１００では、動作開始時にのみ感度テーブル４４を作成する構成としたが、所定時間が経過するごとに、あるいは、所定のイベント（例えば自動車１に設けられたスモールランプまたはヘッドライトのオン・オフ操作）が発生するたびに、テーブル作成部４２が感度テーブル４４を作成しなおす構成とすることが好ましい。これにより、周囲の状況が変化しても、それに追従することができる。
【０１１８】
また、本実施形態の撮像装置１００は、輝度の分布を求める領域を規定するための境界線を決定する境界検出回路３２を備え、この境界検出回路３２は、オプティカルフローを作成して画像内での地平線の位置を検出し、これを境界線として設定する構成となっている。それゆえ、撮像装置１００の取り付け角度が上向きまたは下向きに傾いていても、画像内での地平線の位置を正確に求め、適切に映像の輝度補正を行うことができる。
【０１１９】
ただし、画像内での無限遠点が画像の中心に来るように撮像装置１００の取り付け角度を調整すれば、地平線は常に画像の中心を通過するようになる。従って、簡易的には、画像の中心を通り、かつ、画像の水平方向と平行な線を境界線としてもよい。
【０１２０】
なお、自動車１が左右（ロール方向）に傾いている場合には、画像内での地平線も傾くことになる。それゆえ、自動車１に傾きセンサを設け、この傾きセンサに基づいて、画像内での境界線の角度を、画像内での実際の地平線に適合するように境界検出回路３２が補正してもよい。例えば自動車１が右に５度傾いている場合には、画像内での境界線を逆の方向に５度傾けてやればよい。そして、この場合には、低感度から高感度へ遷移する領域での感度の変化率を少なくして遷移する区間を広げてもよい。
【０１２１】
また、自動車１が前後（ピッチ方向）に傾いている場合には、画像内での地平線の位置もそれに伴って上下に変動する。それゆえ、自動車１にピッチ方向の傾きを検知する傾きセンサを設けるとともに、該傾き検知センサからの出力値に基づいて、境界線の上下位置を補正してもよい。例えば、自動車１が上方に５度傾いていることを傾きセンサが検知した場合には、境界線の上下位置をカメラの画角と画素数に応じたライン数だけ下に移動させればよい。
【０１２２】
なお、本実施形態では、撮像装置１００が取り付けられる対象として自動車１を例示したが、本発明はこれに限定されず、鉄道車両、自動二輪車、自転車、トラックなどの各種車両、さらには、船舶、航空機など、あらゆる移動体に取り付けることができる。
【０１２３】
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【産業上の利用可能性】
【０１２４】
本発明は、例えばビデオカメラ装置やディジタルスチルカメラ装置などに利用することができる。
【図面の簡単な説明】
【０１２５】
【図１】本発明の一実施形態を示すものであり、撮像装置の構成を示すブロック図である。
【図２】本発明の一実施形態を示すものであり、撮像装置が搭載された自動車の概略構成を示す側面図である。
【図３】本発明の一実施形態を示すものであり、撮像装置による輝度補正処理の流れを示すフロー図である。
【図４】本発明の一実施形態を示すものであり、輝度補正処理に含まれる各工程のタイミングを示すタイミング図である。
【図５】第１フレーム画像の一例を示す図である。
【図６】図５に示す第１フレーム画像から作成したエッジ画像の一例を示す図である。
【図７】第２フレーム画像の一例を示す図である。
【図８】図７に示す第２フレーム画像から作成したエッジ画像の一例を示す図である。
【図９】オプティカルフローを作成して境界線を決定する方法を示す図である。
【図１０】画像を上側領域と下側領域とに分割した様子を示す図である。
【図１１】輝度の分布が高輝度側に偏っている場合のヒストグラムを示す図である。
【図１２】輝度の分布がどちらにも偏っていない場合のヒストグラムを示す図である。
【図１３】輝度の分布が低輝度側に偏っている場合のヒストグラムを示す図である。
【図１４】下側領域の輝度の分布がどちらにも偏っていない場合の感度テーブルの一例をグラフとして示した図である。
【図１５】下側領域の輝度の分布が高輝度側に偏っている場合の感度テーブルの一例をグラフとして示した図である。
【図１６】下側領域の輝度の分布が低輝度側に偏っている場合の感度テーブルの一例をグラフとして示した図である。
【図１７】感度補正の効果を説明する図である。
【図１８】利得制御回路およびその周辺の構成例を示す回路図である。
【図１９】図１８のコンパレータに入力される２つのパルス信号とコンパレータから出力されるパルス信号とを示した波形図である。
【符号の説明】
【０１２６】
１ 自動車（移動体）
１１ ＣＣＤイメージセンサ（撮像センサ）
２０ アナログフロントエンド
２１ 利得制御回路（感度制御手段）
２２ 駆動信号発生回路
３１ 画像メモリ
３２ 境界検出回路（境界線設定手段）
３３ 画像処理回路（輝度検出手段）
４０ ＭＰＵ
４１ 感度制御信号出力部（感度制御情報出力手段）
４２ テーブル作成部（感度制御情報作成手段）
４３ 記憶部（感度制御情報記憶部）
４４ 感度テーブル
１００ 撮像装置
２００ 表示装置
【特許請求の範囲】
【請求項１】
複数の画素が平面状に配列された撮像センサによって画像を取得する撮像装置であって、
上記撮像センサの感度を、１又は複数の画素を含む画素ブロックごとに制御する感度制御手段を備えていることを特徴とする撮像装置。
【請求項２】
上記画素ブロックは、上記撮像センサの画素の集合を、上記撮像センサの水平走査方向と平行な直線により区分して得られるものであることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
上記撮像センサは、該撮像センサの水平走査方向と平行な画素列である水平ラインごとに、各画素が蓄積した信号電荷を上記感度制御手段に出力し、
上記感度制御手段は、上記撮像センサから入力される信号電荷を電圧に変換して画像信号を生成するものであるとともに、信号電荷を電圧に変換するときの変換比率を、１水平ライン分の信号電荷が入力されるたびに変更することによって、撮像センサの感度を水平ラインごとに制御することを特徴とする、請求項２に記載の撮像装置。
【請求項４】
上記感度制御手段が各水平ラインに対して設定する感度を決定するための感度制御情報を上記感度制御手段に出力する感度制御情報出力手段と、
上記感度制御情報を水平ラインごとに格納する感度制御情報記憶部とをさらに備え、
上記感度制御情報出力手段は、上記撮像センサが１水平ライン分の信号電荷を出力するタイミングを示す同期信号に同期して、信号電荷の出力が行われる水平ラインに応じた感度制御情報を上記感度制御情報記憶部から読み出して上記感度制御手段に出力し、
上記感度制御手段は、上記感度制御情報出力手段から上記同期信号に同期して入力される感度制御情報に基づいた上記変換比率によって、信号電荷を電圧に変換することを特徴とする、請求項３に記載の撮像装置。
【請求項５】
水平ラインごとに上記感度制御情報を作成して上記感度制御情報記憶部に格納する感度制御情報作成手段をさらに備えていることを特徴とする、請求項４に記載の撮像装置。
【請求項６】
上記感度制御手段は、上記撮像センサの感度を、上記撮像センサの垂直走査方向に沿って段階的に変化させることを特徴とする、請求項３に記載の撮像装置。
【請求項７】
画像を連続的に取得する撮像装置であって、
上記撮像センサによって取得された画像について、領域ごとに輝度を求める輝度検出手段をさらに備え、
上記感度制御手段は、上記輝度検出手段が求めた領域ごとの輝度に基づいて上記撮像センサの感度を制御することを特徴とする、請求項２に記載の撮像装置。
【請求項８】
上記輝度検出手段は、上記領域ごとに輝度の分布を求め、
上記感度制御手段は、上記輝度検出手段によって作成された領域ごとの輝度の分布のそれぞれにおける分布の偏りが補正されるように、上記撮像センサの感度を制御することを特徴とする、請求項７に記載の撮像装置。
【請求項９】
移動体に取り付けられ、該移動体の外部を撮像する撮像装置であって、
上記領域は、画像を１本の境界線によって分割して得られる分割領域であり、
上記境界線を設定する境界線設定手段をさらに備え、
上記境界線設定手段は、上記撮像センサによって得られた、フレームが互いに異なる２つの画像を取得し、取得した２つの画像に含まれる被写体の移動方向から画像内での無限遠点の位置を求めるとともに、求めた無限遠点の位置に基づいて上記境界線を設定することを特徴とする、請求項７に記載の撮像装置。
【請求項１０】
移動体に取り付けられ、該移動体の外部を撮影するビデオカメラ装置であることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１１】
請求項９または１０に記載の撮像装置と、
上記撮像装置によって得られた画像を表示する表示装置とを備えていることを特徴とする移動体。
【請求項１】
複数の画素が平面状に配列された撮像センサによって画像を取得する撮像装置であって、
上記撮像センサの感度を、１又は複数の画素を含む画素ブロックごとに制御する感度制御手段を備えていることを特徴とする撮像装置。
【請求項２】
上記画素ブロックは、上記撮像センサの画素の集合を、上記撮像センサの水平走査方向と平行な直線により区分して得られるものであることを特徴とする、請求項１に記載の撮像装置。
【請求項３】
上記撮像センサは、該撮像センサの水平走査方向と平行な画素列である水平ラインごとに、各画素が蓄積した信号電荷を上記感度制御手段に出力し、
上記感度制御手段は、上記撮像センサから入力される信号電荷を電圧に変換して画像信号を生成するものであるとともに、信号電荷を電圧に変換するときの変換比率を、１水平ライン分の信号電荷が入力されるたびに変更することによって、撮像センサの感度を水平ラインごとに制御することを特徴とする、請求項２に記載の撮像装置。
【請求項４】
上記感度制御手段が各水平ラインに対して設定する感度を決定するための感度制御情報を上記感度制御手段に出力する感度制御情報出力手段と、
上記感度制御情報を水平ラインごとに格納する感度制御情報記憶部とをさらに備え、
上記感度制御情報出力手段は、上記撮像センサが１水平ライン分の信号電荷を出力するタイミングを示す同期信号に同期して、信号電荷の出力が行われる水平ラインに応じた感度制御情報を上記感度制御情報記憶部から読み出して上記感度制御手段に出力し、
上記感度制御手段は、上記感度制御情報出力手段から上記同期信号に同期して入力される感度制御情報に基づいた上記変換比率によって、信号電荷を電圧に変換することを特徴とする、請求項３に記載の撮像装置。
【請求項５】
水平ラインごとに上記感度制御情報を作成して上記感度制御情報記憶部に格納する感度制御情報作成手段をさらに備えていることを特徴とする、請求項４に記載の撮像装置。
【請求項６】
上記感度制御手段は、上記撮像センサの感度を、上記撮像センサの垂直走査方向に沿って段階的に変化させることを特徴とする、請求項３に記載の撮像装置。
【請求項７】
画像を連続的に取得する撮像装置であって、
上記撮像センサによって取得された画像について、領域ごとに輝度を求める輝度検出手段をさらに備え、
上記感度制御手段は、上記輝度検出手段が求めた領域ごとの輝度に基づいて上記撮像センサの感度を制御することを特徴とする、請求項２に記載の撮像装置。
【請求項８】
上記輝度検出手段は、上記領域ごとに輝度の分布を求め、
上記感度制御手段は、上記輝度検出手段によって作成された領域ごとの輝度の分布のそれぞれにおける分布の偏りが補正されるように、上記撮像センサの感度を制御することを特徴とする、請求項７に記載の撮像装置。
【請求項９】
移動体に取り付けられ、該移動体の外部を撮像する撮像装置であって、
上記領域は、画像を１本の境界線によって分割して得られる分割領域であり、
上記境界線を設定する境界線設定手段をさらに備え、
上記境界線設定手段は、上記撮像センサによって得られた、フレームが互いに異なる２つの画像を取得し、取得した２つの画像に含まれる被写体の移動方向から画像内での無限遠点の位置を求めるとともに、求めた無限遠点の位置に基づいて上記境界線を設定することを特徴とする、請求項７に記載の撮像装置。
【請求項１０】
移動体に取り付けられ、該移動体の外部を撮影するビデオカメラ装置であることを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
【請求項１１】
請求項９または１０に記載の撮像装置と、
上記撮像装置によって得られた画像を表示する表示装置とを備えていることを特徴とする移動体。
【図１】
【図２】
【図３】
【図４】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図５】
【図７】
【図２】
【図３】
【図４】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図５】
【図７】
【公開番号】特開２００８−２７７９２１（Ｐ２００８−２７７９２１Ａ）
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願番号】特願２００７−１１６１４５（Ｐ２００７−１１６１４５）
【出願日】平成１９年４月２５日（２００７．４．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２０年１１月１３日（２００８．１１．１３）
【国際特許分類】
【出願日】平成１９年４月２５日（２００７．４．２５）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]