車載カメラ装置を用いた運転支援装置
【課題】従来の車載カメラ装置では、メカニカルシャッタの制御が複雑となり、部品点数も多く装置全体が大型になり、更に、消費電力の点で不利である。また、車載カメラ装置で撮像された画像を用いて運転支援を行うものはない。
【解決手段】カメラ１１０は、交差点などの指定地点を、グローバルシャッタ型ＣＭＯＳセンサ１１２によりズーム撮影して、その映像信号を信号記録再生回路１２２により記録媒体に記録する。グローバルシャッタ型ＣＭＯＳセンサ１１２によりメカニカルシャッタを用いなくとも動く被写体の歪みの無い撮影画像が得られる。指定地点の手前で表示画面１３２の画面枠上部１３３ａに、信号記録再生回路１２２からの撮影画像を表示すると共に、マップナビ１４０からの道路地図の上面図情報と走行地点及び指定地点の画像情報を表示させ、指定地点の実風景との対比や位置情報の把握を可能として運転支援に供する。
【解決手段】カメラ１１０は、交差点などの指定地点を、グローバルシャッタ型ＣＭＯＳセンサ１１２によりズーム撮影して、その映像信号を信号記録再生回路１２２により記録媒体に記録する。グローバルシャッタ型ＣＭＯＳセンサ１１２によりメカニカルシャッタを用いなくとも動く被写体の歪みの無い撮影画像が得られる。指定地点の手前で表示画面１３２の画面枠上部１３３ａに、信号記録再生回路１２２からの撮影画像を表示すると共に、マップナビ１４０からの道路地図の上面図情報と走行地点及び指定地点の画像情報を表示させ、指定地点の実風景との対比や位置情報の把握を可能として運転支援に供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は車載カメラ装置を用いた運転支援装置に係り、特に固体撮像素子であるＣＭＯＳセンサを用いた車載カメラ装置により数分後に通過する指定地点の目印、風景等を予め遠方拡大撮影し、指定地点を通過する間際に、その撮影情報を運転操作に役立てる機能を有する運転支援装置に関する。
【背景技術】
【０００２】
図９は従来の車載カメラ装置の一例の構成図を示す。同図において、車載カメラ装置は、撮像装置群であるカメラ２１０とプロセッサ２２０とからなり、これらは自動車に搭載されている。カメラ２１０は、被写体からの光をレンズ２１１により集光して、メカニカルシャッタ２１２を介して、後述するローリングシャッタ型ＣＭＯＳエリアセンサ（以下、「ローリング型ＣＭＯＳセンサ」という）２１３の撮像面に光学像を結像し、ローリング型ＣＭＯＳセンサ２１３で光電変換して得られた撮像信号を出力する。メカニカルシャッタ２１２は露光時間を制御するために用いられる。
【０００３】
プロセッサ２２０は、カメラ２１０から出力された撮像信号を信号処理回路２２１で入力として受け、信号処理回路２２１で所定の信号処理を行ってから出力端子２２２から映像信号として外部へ出力する。このプロセッサ２２０から出力された映像信号は、例えばモニタ装置に供給されて表示される。これにより、車載カメラ装置は、例えば車庫入れの際に、カメラ２１０で撮像した撮像画像に基づいて、車庫入れを正確に行うなどの用途に使用される。
【０００４】
図１０は従来の運転支援装置の一例の構成図を示す。同図において、運転支援装置２３０は、自動車に搭載されており、地図装置２３１と表示部（モニタ）２３２とからなり、地図装置２３１と表示部２３２の一体型と、地図装置２３１及び表示部２３２とを結線した連結型とがある。地図装置２３１は、地図上の上面図情報を予め記憶しており、その情報を表示部２３２に提供する。表示部２３２は、地図装置２３１からの地図の上面図情報を受け、運転地図の上面図を画面枠２３３に表示することで、運転を支援する。
【０００５】
次に、図９の車載カメラ装置について更に詳細に説明する。図９の車載カメラ装置では、カメラ２１０に用いる固体撮像素子として、ＣＣＤ（Charge Coupled Devise：電荷結合素子）よりも製造方法が容易で、低消費電力として知られ、また、近年、微細化とプロセス技術の向上により画質が向上したＣＭＯＳセンサ２１３が用いられる。このＣＭＯＳセンサ２１３は従来から知られているローリングシャッタ型ＣＭＯＳセンサである（例えば、特許文献１参照）。
【０００６】
図１１は上記の従来のＣＭＯＳセンサの一例の等価回路図を示す。同図に示すＣＭＯＳセンサは、簡単のため、単位画素１が横方向２画素、縦方向２画素の２×２画素の配置とされている。単位画素１は、被写体像を光電変換するフォトダイオード（ＰＤ）２と、信号電荷の増幅用ＭＯＳ型電界効果トランジスタ（以下、ＭＯＳＦＥＴ）３と、電荷転送用ＭＯＳＦＥＴ４と、リセット用ＭＯＳＦＥＴ５と、選択用ＭＯＳＦＥＴ７とよりなり、電源ライン６がＭＯＳＦＥＴ３、５のドレインに接続され、増幅用ＭＯＳＦＥＴ３のソースが選択用ＭＯＳＦＥＴ７のドレインに接続されている。
【０００７】
増幅用ＭＯＳＦＥＴ３のゲート電極はフローティングディフュージョン（ＦＤ）になっており、フォトダイオード２の電荷が電荷転送用ＭＯＳＦＥＴ４のドレイン−ソースを介して増幅用ＭＯＳＦＥＴ３のゲート電極（ＦＤ）に転送される。また、増幅用ＭＯＳＦＥＴ３のゲート電極（ＦＤ）の電位は、リセット用ＭＯＳＦＥＴ５によりリセットされる。
【０００８】
選択用ＭＯＳＦＥＴ７がオン状態になると、増幅用ＭＯＳＦＥＴ３のソースを選択用ＭＯＳＦＥＴ７のドレイン・ソースを通して画素出力ライン８に導通させる。画素出力ライン８は定電流供給用ＭＯＳＦＥＴ９のドレインに接続されている。定電流供給用ＭＯＳＦＥＴ９は、増幅用ＭＯＳＦＥＴ３のソースフォロア回路の負荷として作用する。定電流供給用ＭＯＳＦＥＴ９は、ゲート電位供給ライン１３のゲート電位により制御される。
【０００９】
また、リセット用制御ライン１０、電荷転送用制御ライン１１、画素選択用制御ライン１２は、それぞれリセット用ＭＯＳＦＥＴ５、電荷転送用ＭＯＳＦＥＴ４、選択用ＭＯＳＦＥＴ７の各ゲート電極に接続されており、その電位はそれぞれパルス供給端子１５、１４、１６から、ＭＯＳＦＥＴ１９、２０、２１のドレイン・ソースをそれぞれ通して供給される。
【００１０】
垂直シフトレジスタ１７は、行順次走査のために２×２画素の行を選択する回路で、その垂直シフトレジスタ出力線１８−１、１８−２が、各行のＭＯＳＦＥＴ１９、２０、２１のゲート電極に接続されており、パルス供給端子１５、１４、１６の端子に供給されたパルスがどの行の画素を制御するかを決定する。
【００１１】
また、読み出しブロック２２は、リセット信号出力を保持する容量２３、光信号出力を保持する容量２４、どちらの容量に保持するかを選択するスイッチ用ＭＯＳＦＥＴ２５及び２６、水平出力線２７、２８に接続されたスイッチ用ＭＯＳＦＥＴ２９、３０からなる。スイッチ用ＭＯＳＦＥＴ２５、２６は端子３７、３８からそのゲート電極に供給されるパルスによりスイッチング制御される。
【００１２】
水平シフトレジスタ３４は、２×２画素のうち、どの列の画素の保持信号を水平出力線２７、２８に出力するかをスイッチ用ＭＯＳＦＥＴ２９、３０のゲートに接続された水平シフトレジスタ出力線３５−１、３５−２への出力電位で決定する。また、水平出力線２７、２８をリセットするための電位を端子３３から供給し、リセットのタイミングは端子３６から供給するパルスでスイッチ用ＭＯＳＦＥＴ３１、３２をスイッチング制御して行う。水平出力線２７、２８は差動アンプ３９の入力端子に接続されている。差動アンプ３９はリセット信号出力と光信号出力の差をとり、その差信号をアンプ出力端子４０からセンサ外に出力する。
【００１３】
次に、図１１に示す従来のＣＭＯＳセンサの動作について図１２のタイミングチャートを併せ参照して説明する。なお、図１１中のＭＯＳＦＥＴはすべてＮ型とし、よって、ＭＯＳＦＥＴはそのゲート電位がハイレベル（Ｈｉｇｈ）でオン、ローレベル（Ｌｏｗ）でオフとなる。
【００１４】
まず、垂直シフトレジスタ出力線１８−１の電位が図１２（Ｄ）に示すように時刻ｔ１でＨｉｇｈとなり、これにより１行目の画素１が選択される。続いて、パルス供給端子１６の入力パルスが図１２（Ｃ）に示すように時刻ｔ２でＨｉｇｈになり、これにより１行目の画素１の選択用ＭＯＳＦＥＴ７がオン状態になるため、１行目の画素１の増幅用ＭＯＳＦＥＴ３のソースが選択用ＭＯＳＦＥＴ７のドレイン・ソースと画素出力ライン８を通して定電流供給用ＭＯＳＦＥＴ９につながり、ソースフォロア回路を形成する。
【００１５】
この状態で、最初にパルス供給端子１５に図１２（Ｂ）に示すように一定時間Ｈｉｇｈのパルスが供給され、１行目の画素１のリセット用ＭＯＳＦＥＴ５のドレイン・ソースを通して増幅用ＭＯＳＦＥＴ３のゲート電極（ＦＤ）がリセットされる。その後の時刻ｔ３で、パルス供給端子３７の入力パルスが図１２（Ｉ）に示すようにＨｉｇｈになり、スイッチ用ＭＯＳＦＥＴ２５をオン状態とし、容量２３に１行目の画素１のソースフォロワ回路から出力されたリセット信号出力が保持される。
【００１６】
次に、パルス供給端子１４に時刻ｔ４で図１２（Ａ）に示すようにＨｉｇｈパルスが印加されると、１行目の画素１内の電荷転送用ＭＯＳＦＥＴ４がオンし、１行目の画素１内のフォトダイオード２に蓄積されている電荷が電荷転送用ＭＯＳＦＥＴ４のドレイン・ソースを介して増幅用ＭＯＳＦＥＴ３のゲート電極（ＦＤ）に転送される。その後の時刻ｔ５で、パルス供給端子３８に図１２（Ｊ）に示すようにＨｉｇｈパルスが印加されると、容量２４に１行目の画素１のソースフォロワ回路から出力された光信号出力が保持される。続いて、パルス供給端子１６の入力パルスが図１２（Ｃ）に示すように、時刻ｔ６でＬｏｗになるため、１行目の画素１内の選択用ＭＯＳＦＥＴ７がオフになり、１行目の画素１からの出力はなくなる。
【００１７】
端子３６の入力信号はこの間図１２（Ｈ）に示すようにＨｉｇｈであり、水平出力ライン２７、２８はリセット状態になっている。しかし、上記の時刻ｔ６で端子３６の入力信号が図１２（Ｈ）に示すようにＬｏｗになり、この状態で水平シフトレジスタ出力線３５−１に図１２（Ｆ）に示すＨｉｇｈパルスを印加すると、１列目のスイッチ用ＭＯＳＦＥＴ２９、３０がそれぞれオンとされるため、１列目の容量２３、２４の各信号が１列目のスイッチ用ＭＯＳＦＥＴ２９、３０を通して水平出力ライン２７、２８にそれぞれ出力されて差動アンプ３９に供給される。差動アンプ３９は１列目の容量２３、２４の各信号、すなわち、リセット信号出力と光信号出力との差をとり、増幅用ＭＯＳＦＥＴ３のしきい値ばらつきに起因したノイズを除去した光信号を出力端子４０より出力する。
【００１８】
次に、端子３６に図１２（Ｈ）に示す時刻ｔ７でＨｉｇｈパルスを印加すると、水平出力ライン２７、２８が再びリセットされ、その後水平シフトレジスタ出力線３５−２に、図１２（Ｇ）に示すように時刻ｔ８でＨｉｇｈパルスが印加され、２列目のスイッチ用ＭＯＳＦＥＴ２９、３０がそれぞれオンとされるため、２列目の容量２３、２４の各信号が２列目のスイッチ用ＭＯＳＦＥＴ２９、３０を通して水平出力ライン２７、２８にそれぞれ出力されて差動アンプ３９に供給され、２列目の信号が１列目と同様に差動アンプ３９から出力端子４０に出力される。
【００１９】
その後、図１２（Ｄ）に示す時刻ｔ９で垂直シフトレジスタ出力線１８−１の電位がＬｏｗとなり、１行目の処理が終わる。次に時刻ｔ１０で図１２（Ｅ）に示すように、垂直シフトレジスタ出力線１８−２の電位がＨｉｇｈになり、以下１行目と同様な処理が行われ、全画素の読み出しが終了する。
【００２０】
従って、このＣＭＯＳセンサの場合、１行目と２行目のフォトダイオード２で光電変換しているタイミングが異なる。このような撮像方式をローリングシャッタ、あるいはフォーカルプレーンと呼ぶ。
【００２１】
【特許文献１】特開２００３−１７６７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
このようなローリング型ＣＭＯＳセンサ２１３を用いて撮像する場合、簡単のため２行４列の画素Ｐ１１〜Ｐ２４の図１３（Ａ）に示す概念図と共に説明すると、或る１行の画素Ｐ１１〜Ｐ１４を左方向から右方向へ順番に読み出しを行い（実線矢印I）、１行読み終わると次の行の先頭に戻り（破線矢印II）、続いて次の行を再び左から右方向へ読む（実線矢印III）という動作を繰り返す。従って、画素各々が選択されたときに初めて露光される処理になるので、画素すべて読み終わった時点で各々の画素で信号の取得時間が一致しない。ＣＭＯＳセンサの全ての画素を読み終わった時点で１枚の絵を読んだことになる。
【００２３】
例えば、図１３（Ｂ）に示すように画面左から右方向へ動く長方形１５０を撮影した場合、従来のローリング型ＣＭＯＳセンサ２１３を用いて撮影すると、撮影した画像は各行で撮影時刻が異なるために、上述のように画素を読んでいる間に撮影したい長方形が動いてしまうと、図１３（Ｃ）に示すように、長方形１５０の移動により歪んで平行四辺形の像１５１となって撮影される。
【００２４】
従って、車載カメラ装置により、例えば、図１４（Ａ）に示すように、当該車載カメラ装置を搭載した自動車が数分後に通過するであろう交差点１０４付近の遠景風景をズーム撮影した場合、交差点１０４を左から右方向へ高速で移動する車両１０５の撮像画像は同図（Ｂ）に１０５’で示すように著しく歪むと共に焦点が合っておらず、また同図（Ａ）に示す交差点１０４の前方左側に固定設置されている信号機１０６、交差点１０４の右手にある郵便局１０７の各撮像画像も、同図（Ｂ）に１０６’、１０７’で示すように、車載カメラ装置自体が移動しているために、歪んでしまう。
【００２５】
そこで、図９の車載カメラ装置では、ローリング型ＣＭＯＳセンサ２１３の光入射側前方にメカニカルシャッタ２１２を用い、そのオープン期間に対応して全ラインの１フレーム期間の露光を行い、そのクローズ期間で各１ラインずつ順次に読み出しを行うことで、露光プロセスと信号読出しプロセスを分離することができ、その結果、高速で移動する車両などの動く被写体の撮像画像を歪まないようにすることができる。しかしながら、メカニカルシャッタ２１２の制御が複雑となり、部品点数も多く装置全体が大型になり、更に、消費電力の点で不利である。
【００２６】
このような車載カメラ装置からの撮像信号を利用して運転支援に利用することが考えられる。しかしながら、従来の車載の多目的装置としては、音響機器、地図装置、表示部の複合型があるものの、従来は図９の車載カメラ装置と図１０の運転支援装置とは別々に設けられており、車載カメラ装置は車庫入れの監視など用途が限られ、これらを接続して車載カメラ装置で撮像された画像を用いて運転支援を行うものはない。
【００２７】
また、従来の車載カメラ装置では、例えば、夜間、悪天候、明暗差の大きいトンネル前後の地点において、カメラが交通標識を認識することはローリング型ＣＭＯＳセンサ２１３を用いているため、撮像画像の画像品質などの点から多大な制約を受ける問題がある。また、更に、従来の運転支援装置では、地図装置２３１が提供する地図の情報は、上面図情報であり、立体情報ではないので、経路選択の際の情報としては不十分であり、また、地図装置２３１が提供する地図の情報は既製情報であり、走行中の情報を即時に運転操作へ反映することは困難である。
【００２８】
本発明は以上の点に鑑みなされたもので、高速走行時に歪みのない鮮明な撮像画像が得られ、その撮像画像に基づいて、即時に交通標識の認識、経路の選択、運転操作などへ反映することが可能な走行中の撮像情報を提供し得る車載カメラ装置を用いた運転支援装置を提供することを目的とする。
【００２９】
また、本発明の他の目的は、地図装置と撮像画像とを連動させることで、地図上で指定された経路選択地点の周辺風景、交通標識を、事前に遠方地点から撮影記録した画像に基づいて、経路選択地点の直前に、運転者に正確な経路を選択することを支援するための車載カメラ装置を用いた運転支援装置を提供することにある。
【課題を解決するための手段】
【００３０】
上記の目的を達成するため、本発明は、自動車に搭載されており、自動車の車外の被写体を固体撮像素子により撮像し、固体撮像素子から出力された映像信号を用いて運転支援を行う車載カメラ装置を用いた運転支援装置であって、被写体の光学像を複数の全画素の光電変換領域に同時に露光して光電変換して得た電荷を全画素に蓄積した後、露光期間に蓄積した電荷を各画素から映像信号として順次出力する、固体撮像素子としてのグローバルシャッタ型ＣＭＯＳセンサを備え、自動車の走行中に予め指定した指定地点を撮影する車載カメラ装置と、グローバルシャッタ型ＣＭＯＳセンサから出力された映像信号に対して、所定の信号処理を行って映像信号を出力する共に、信号処理を行った映像信号を記録媒体に記録し再生する記録再生手段と、少なくとも自動車が現在走行している走行地点と、指定地点との間の道路地図情報を走行地点及び指定地点の各画像情報と共に生成する地図情報生成手段と、指定地点に到る手前の近傍の位置で、記録再生手段からの映像信号の画像を第１の領域に表示すると共に、地図情報生成手段で生成された道路地図情報及び走行地点及び指定地点の各画像情報を第２の領域に表示する表示手段とを有し、表示手段の第１及び第２の領域に表示する画像により運転支援を行うことを特徴とする。
【００３１】
この発明では、走行中にグローバルシャッタ型ＣＭＯＳセンサを備えた車載カメラ装置で指定地点を撮影して得た映像信号を、記録再生手段により記録媒体に記録しておき、その後、指定地点に到る手前の近傍の位置で、記録再生手段からの指定地点の撮影画像を表示手段の第１の領域に表示させるようにしたため、メカニカルシャッタを有しなくても、高速で走行する自動車から指定地点を撮影して得た、指定地点の各被写体の撮影画像を歪み無く表示させることができ、また、表示手段の第２の領域に道路地図情報及び走行地点及び指定地点の各画像情報を表示することで、運転者に現在の走行位置と指定地点までの位置関係を把握させると共に、第１の領域に表示される指定地点の立体撮影画像を指定地点の実風景とを対比させることができる。
【００３２】
また、本発明は、上記のグローバルシャッタ型ＣＭＯＳセンサを、基板上のリング状ゲート電極と、リング状ゲート電極の中央開口部に対応する基板の位置に設けられたソース領域と、ソース領域を取り囲み、かつ、リング状ゲート電極の外周に達しないように基板に設けられたソース近傍領域とからなる信号出力用トランジスタと、光を電荷に変換して蓄積する光電変換領域と、光電変換領域に蓄積された電荷をソース近傍領域へ転送する電荷転送手段とを含む画素が複数配列された構造であり、各画素内の電荷転送手段は、光電変換領域に蓄積された電荷を、同じ画素内の対応するソース近傍領域へ全画素一斉に転送し、信号出力用トランジスタは、入力された電荷の量をしきい値の変化として出力する構成としたことを特徴とする。
【００３３】
この発明では、グローバルシャッタ型ＣＭＯＳセンサが、信号出力用蓄積容量が大きなソース近傍領域に、光電変換により光電変換領域に蓄積されている電荷を一括転送するようにしたため、従来のローリング型ＣＭＯＳセンサに比べて広ダイナミックレンジを実現できる。
【発明の効果】
【００３４】
本発明によれば、グローバルシャッタ型ＣＭＯＳセンサを用いたことにより、メカニカルシャッタを有しなくても、高速で走行する自動車から指定地点を撮影して得た、指定地点の各被写体の撮影画像を、読み出し方式に依存する映像の変形などを引き起こすことなく、歪み無く表示させることができるため、メカニカルシャッタを用いた場合の複雑な制御が不要であり、装置全体が大型化することもなく、更に消費電力も低減できる。
【００３５】
また、本発明によれば、表示手段の第２の領域に道路地図情報及び走行地点及び指定地点の各画像情報を表示することで、運転者に現在の走行位置と指定地点までの位置関係を把握させると共に、第１の領域に表示される指定地点の立体撮影画像を指定地点の実風景とを対比させることができるようにしたため、運転者に指定地点手前で交通標識を判別させると共に、運転者が指定地点周辺の実風景を確認しながら、運転操作・移動することができ、指定地点として交通標識などを間違えやすい交差点近傍に接近した時に、その周辺画像が経路を選択することを支援するための画像として表示されるので、運転者は正確な経路選択を行い、自動車を誘導でき、運転操作、運転支援、例えば経路選択、標識遵守に活用し、経路選択の間違い防止、安全運転を行わせることができる。
【００３６】
また、本発明によれば、グローバルシャッタ型ＣＭＯＳセンサが、信号出力用蓄積容量が大きなソース近傍領域に、光電変換により光電変換領域に蓄積されている電荷を一括転送することで、従来のローリング型ＣＭＯＳセンサに比べて広ダイナミックレンジを実現しているため、例えば、夜間、悪天候、明暗差の大きいトンネル前後の地点においても、従来に比べて交通標識をより鮮明に認識することができ、従来に比べてより正確な経路選択、標識遵守などの運転支援を行うことができる。
【発明を実施するための最良の形態】
【００３７】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる車載カメラ装置を用いた運転支援装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の運転支援装置は、撮像装置群であるカメラ１１０と、記録再生装置群であるレコーダ１２０と、表示装置群であるディスプレイ１３０と、マップナビ１４０とからなり、自動車に搭載されている。カメラ１１０は、レンズ１１１と、後述するグローバルシャッタ型ＣＭＯＳエリアセンサ（以下、「グローバル型ＣＭＯＳセンサ」という）１１２とからなり、被写体からの光学像をレンズ１１１によりグローバル型ＣＭＯＳセンサ１１２の撮像面に結像し、グローバル型ＣＭＯＳセンサ１１２で光電変換して得られた撮像信号をレコーダ１２０へ出力する。
【００３８】
レコーダ１２０は、信号処理回路１２１、信号記録再生回路１２２及び出力端子１２３から構成され、カメラ１１０からの撮像信号に対して、信号処理回路１２１でガンマ補正等の従来より公知の所定の信号処理を施した後、信号処理して得られた映像信号を、信号記録再生回路１２２に供給して一旦所定の信号フォーマットで記録媒体に記録すると共に、出力端子１２３を介してディスプレイ１３０へ出力する。
【００３９】
ディスプレイ１３０は、表示処理部１３１とその表示画面１３２とからなり、レコーダ１２０から供給された映像信号を、表示処理部１３１で表示のための所定の信号処理を行って、表示画面１３２の画面枠上部１３３ａに画像表示させる。また、表示画面１３２の画面枠下部１３３ｂには、マップナビ１４０を構成する地図装置１４１からの地図の上面図情報等が表示される。表示画面１３２は、運転者が運転中に視認できる位置に設けられる。
【００４０】
マップナビ１４０は、地図装置１４１によりこの装置が搭載されている自動車が現在走行している走行地点と撮影対象の指定地点との間の道路地図の上面図情報を生成すると共に、少なくとも走行地点及び指定地点の各画像情報とをそれぞれ生成してディスプレイ１３０へ供給する。なお、マップナビ１４０は、走行地点及び指定地点の各画像情報は、それらの位置情報を、例えばＧＰＳ（Global Positioning System:全地球測位システム）などを利用した公知の方法で取得し、それに基づいて画像情報を生成するが、その方法は公知であるので、その詳細な説明は省略する。
【００４１】
図２は図１中の表示処理部１３１の一実施の形態のブロック図を示す。図２に示すように、表示処理部１３１は入力処理部１３１１、メモリ１３１２及びバッファ１３１３からなり、レコーダ１２０から入力される映像信号に対して、入力処理部１３１１が、表示画面１３２で表示する画像の明るさ、解像度、サイズ、技術的な視点の信号圧縮制御等に関する操作信号に基づいて、表示のための処理を行い、その処理後の映像信号をメモリ１３１２に記憶する。
【００４２】
メモリ１３１２は、指定された読み出しアドレスの記憶映像信号を読み出して、バッファ１３１３に供給して一時保持した後、ディスプレイ１３０へ出力する。上記の読み出しアドレスは、例えば、画面枠選択のための番地、画面タッチパネルの要素データが格納されている番地などを示す。
【００４３】
次に、本実施の形態で用いるグローバル型ＣＭＯＳセンサ１１２の構成及び動作について詳細に説明する。図４（Ａ）は上記のグローバル型ＣＭＯＳセンサ１１２の一画素当たりの一例の平面図、同図（Ｂ）は同図（Ａ）のＸ−Ｘ’線に沿う断面図を示す。図４（Ａ）、（Ｂ）に示すように、ｐ+型基板４１上にｐ-型エピタキシャル層４２を成長し、このエピタキシャル層４２の表面にｎウェル４３がある。ｎウェル４３上にはゲート酸化膜４４を挟んで第１のゲート電極である平面形状がリング状のゲート電極４５が形成されている。
【００４４】
リング状ゲート電極４５の中心部に対応したｎウェル４３の表面にはｎ+型のソース領域４６が形成されており、そのソース領域４６に隣接してソース近傍ｐ型領域４７が形成され、更にソース領域４６とソース近傍ｐ型領域４７の外側の離間した位置にはｎ+型のドレイン領域４８が形成されている。更に、ドレイン領域４８の下のｎウェル４３中には埋め込みのｐ-型領域４９がある。この埋め込みのｐ-型領域４９とｎウェル４３は、図３（Ａ）に示す埋め込みフォトダイオード５０を構成している。
【００４５】
埋め込みフォトダイオード５０とリング状ゲート電極４５との間には、第２のゲート電極である転送ゲート電極５１がある。ドレイン領域４８、リング状ゲート電極４５、ソース領域４６、転送ゲート電極５１には、それぞれメタル配線であるドレイン電極配線５２、リング状ゲート電極配線５３、ソース電極配線（出力線）５４、転送ゲート電極配線５５が接続されている。また、上記の各構成の上方には、図３（Ｂ）に示すように遮光膜５６が形成されており、その遮光膜５６の埋め込みフォトダイオード５０に対応した位置には開口部５７が穿設されている。この遮光膜５６は金属、あるいは有機膜等で形成される。光は、開口部５７を通して埋め込みフォトダイオード５０に達して光電変換される。
【００４６】
次に、ＣＭＯＳセンサの画素構造と撮像素子全体の構造について、電気回路で表現した図４と共に説明する。同図において、まず、画素はｍ行ｎ列に画素敷き詰め領域６１に配置されている。図４ではこれらｍ行ｎ列の画素のうち、ｓ行ｔ列の一画素６２を代表として等価回路で表現している。この画素６２は、リング状ゲートＭＯＳＦＥＴ６３と、フォトダイオード６４と、転送ゲートＭＯＳＦＥＴ６５とからなり、リング状ゲートＭＯＳＦＥＴ６３のドレインがフォトダイオード６４のｎ側端子とドレイン電極配線６６（図３の５２に相当）に接続され、転送ゲートＭＯＳＦＥＴ６５のソースがフォトダイオード６４のｐ側端子に接続され、ドレインがリング状ゲートＭＯＳＦＥＴ６３のバックゲートに接続されている。
【００４７】
なお、上記のリング状ゲートＭＯＳＦＥＴ６３は、図３（Ｂ）ではリング状ゲート電極４５直下のソース近傍ｐ型領域４７をゲート領域とし、ｎ＋型のソース領域４６及びｎ＋型のドレイン領域４８を有するｎチャネルＭＯＳＦＥＴである。また、上記の転送ゲートＭＯＳＦＥＴ６５は、図３（Ｂ）では転送ゲート電極５１直下のｎウェル４３をゲート領域、フォトダイオード５０の埋め込みのｐ−型領域４９をソース領域、ソース近傍ｐ型領域４７をドレインとするｐチャネルＭＯＳＦＥＴである。
【００４８】
図４において、ｍ行ｎ列の各画素から１フレーム分の信号を読み出すために、まず読み出しを始める合図を出すフレームスタート信号を発生させる回路６７がある。このフレームスタート信号は撮像素子の外から与えられてもよい。このフレームスタート信号は垂直シフトレジスタ６８に供給される。垂直シフトレジスタ６８は、ｍ行ｎ列の各画素のうちの何行目の画素を読み出すかの信号を出力する。
【００４９】
各行の画素はリング状ゲート電極、転送ゲート電極、ドレイン電極の電位を制御する制御回路に接続されており、これらの制御回路は垂直レジスタ６８の出力信号が供給される。例えば、ｓ行目の各画素のリング状ゲート電極は、リング状ゲート電極配線６９（図３の５３に相当）を介してリング状ゲート電位制御回路７０に接続され、各画素の転送ゲート電極は、転送ゲート電極配線７１（図３の５５に相当）を介して転送ゲート電位制御回路７２に接続され、各画素のドレイン電極は、ドレイン電極配線６６（図３の５２に相当）を介してドレイン電位制御回路７３に接続されている。上記の各制御回路７０、７２、７３には垂直シフトレジスタ６８の出力信号が供給される。
【００５０】
なお、リング状ゲート電極は、行毎に制御するので横方向に配線するが、転送ゲート電極は全画素で一斉に制御するので、配線方向は問わず、縦方向でもよい。ここでは横方向に配線するものとして表現する。ドレイン電位制御回路７３は、全画素一斉に制御するが、行毎に制御する可能性もあるので、フレームスタート信号と垂直レジスタ６８の両方と接続して表現している。
【００５１】
画素６２のリング状ゲートＭＯＳＦＥＴ６３のソース電極は、ソース電極配線７４（図３の５４に相当）を介して２分岐され、一方はスイッチＳＷ１を介してソース電極電位を制御するソース電位制御回路７５に接続され、他方はスイッチＳＷ２を介して信号読み出し回路７６に接続されている。信号を読み出すときにはスイッチＳＷ１をオフ、スイッチＳＷ２をオンにし、ソース電位を制御する時にはスイッチＳＷ１をオン、スイッチＳＷ２をオフにする。信号は縦方向に出すので、ソース電極の配線方向は縦にする。
【００５２】
信号読み出し回路７６は次のように構成されている。画素６２の出力はリング状ゲートＭＯＳＦＥＴ６３のソースから行われ、出力線７４には負荷、例えば電流源７７が繋がっている。従って、ソースフォロア回路となっている。電流源７７にはキャパシタＣ１とキャパシタＣ２の各一端がスイッチｓｃ１とスイッチｓｃ２を介して繋がっている。他端が接地されているキャパシタＣ１、Ｃ２の各一端は、また差動アンプ７８の反転入力端子と非反転入力端子に繋がっており、両キャパシタＣ１及びＣ２の電位差を差動アンプ７８から出力するようになっている。
【００５３】
このような信号読み出し回路７６はＣＤＳ回路と呼ばれ、ここに描かれた方式以外にも種々の回路が提案されており、この回路に限るわけではない。信号読み出し回路７６から出力された信号は、出力スイッチｓｗｔを介して出力される。同じ列にある出力スイッチｓｗｔは、水平シフトレジスタ７９から出力される信号によりスイッチング制御される。
【００５４】
次に、図４に示すＣＭＯＳセンサの駆動方法について、図５のタイミングチャートと共に説明する。まず、図５（１）に示す期間では、埋め込みのフォトダイオード（図３（Ａ）の５０、図４の６４等）に光が入射し、光電変換効果により電子・ホール対が発生し、フォトダイオードの埋め込みｐ-型領域４９にホールが蓄積される。このとき転送ゲート電極５１の電位はドレイン電位Ｖｄｄと同じになっており、転送ゲートＭＯＳＦＥＴ６５はオフ状態である。これらの蓄積は、前フレームの読み出し操作が行われている時に同時に実行されている。
【００５５】
続く図５（２）に示す期間では、前フレームの読み出しが終了すると、同図（Ａ）に示すように新しいフレームスタート信号が発信されて、次のフレームの読み出しが始まる。最初に行うのは全画素一斉にフォトダイオード（図３（Ａ）の５０、図４の６４等）からリング状ゲート電極（図３の４５）のソース近傍ｐ型領域（図３の４７）にホールを転送することである。そのため、図５（Ｂ）に示すように転送ゲート電位制御回路７２から出力される転送ゲート制御信号がＶｄｄからＬｏｗ２に下がり、転送ゲート電極（図３の４１）の電位がＬｏｗ２となり、転送ゲートＭＯＳＦＥＴ６５がオン状態になる。
【００５６】
このとき、リング状ゲート電位制御回路７０により制御されるリング状ゲート電極配線６９の電位は、図５（Ｃ）に示すように、ＬｏｗからＬｏｗ１になるが、Ｌｏｗ２の方がＬｏｗ１よりも大きい。Ｌｏｗ１はＬｏｗと同じでもよい。最も簡便にはＬｏｗ１＝Ｌｏｗ＝０（Ｖ）に設定する。
【００５７】
一方、ソース電位制御回路７５からスイッチＳＷ１を介してソース電極配線７４からリング状ゲートＭＯＳＦＥＴ６３のソースに供給されるソース電位をはじめとする、全画素のソース電位は図５（Ｄ）に示すように電位Ｓ１に設定される。Ｓ１＞Ｌｏｗ１であり、これにより、リング状ゲートＭＯＳＦＥＴ６３がオフのままであり、電流が流れないようにする。この結果、全画素のフォトダイオードに蓄積された電荷（ホール）が、対応する画素のリング状ゲート電極の下に一斉に転送される。
【００５８】
図３（Ｂ）に示すリング状ゲート電極４５の下の領域で、ソース近傍ｐ型領域４７が最もポテンシャルが低いので、フォトダイオードに蓄積されていたホールはソース近傍ｐ型領域４７に達し、そこに蓄積される。ホールが蓄積される結果、ソース近傍ｐ型領域４７の電位が上昇する。
【００５９】
続いて、図５（３）に示す期間では、同図（Ｂ）に示すように転送ゲート電極が再びＶｄｄになり、転送ゲートＭＯＳＦＥＴ６５がオフになる。これにより、フォトダイオード（図３（Ａ）の５０、図４の６４等）では再び光電変換効果により電子・ホール対が発生し、フォトダイオードの埋め込みｐ−型領域４９にホールが蓄積され始める。この蓄積動作は次の電荷転送時まで続けられる。
【００６０】
一方、読み出し操作は行単位で順番に行われるので、１行目〜（ｓ−１）行目を読み出す期間（３）では、リング状ゲート電極の電位は図５（Ｃ）に示すようにＬｏｗの状態で、ソース近傍ｐ型領域４７にホールを蓄積したまま待機状態となる。ソース電位は他の行からの信号読み出しが行われている間、その画素からの信号の値により、様々な値をとり得る。また、リング状ゲート電極電位は行毎に様々な値をとり得るが、ｓ行目ではＬｏｗに設定され、リング状ゲートＭＯＳＦＥＴ６３がオフ状態である。
【００６１】
続く図５（４）〜（６）に示す期間では、画素の信号読み出しが行われる。ｓ行目ｔ列目の画素６２について代表してこの信号読み出し動作について説明するに、まず、ソース近傍ｐ型領域４７にホールを蓄積した状態で、図５（Ｅ）に示す垂直シフトレジスタ６８の出力信号が、同図（Ｈ）に示すようにローレベルである期間（４）において、リング状ゲート電位制御回路７０からリング状ゲート電極配線６９に出力される制御信号により、リング状ゲート電極４５の電位を図５（Ｋ）に示すように、ＬｏｗからＶｇ１に上げる。
【００６２】
ここで、上記の電位Ｖｇ１は、前述した各電位Ｌｏｗ、Ｌｏｗ１、Ｖｄｄとの間に
Ｌｏｗ≦Ｌｏｗ１≦Ｖｇ１≦Ｖｄｄ （ただし、Ｌｏｗ＜Ｖｄｄ）
なる不等式が成立する電位である。また、上記の期間（４）ではスイッチＳＷ１が図５（Ｉ）に示すようにオフ、スイッチＳＷ２が同図（Ｊ）に示すようにオン、スイッチｓｃ１が同図（Ｍ）に示すようにオン、スイッチｓｃ２が同図（Ｎ）に示すようにオフとされる。この結果、リング状ゲートＭＯＳＦＥＴ６３のソースに接続されたソースフォロア回路が働き、リング状ゲートＭＯＳＦＥＴ６３のソース電位は、図５（Ｌ）に示すように期間（４）ではＳ２（＝Ｖｇ１−Ｖｔｈ１）となる。ここで、Ｖｔｈ１とはバックゲート（ソース近傍ｐ型領域４７）にホールがある状態での、リング状ゲートＭＯＳＦＥＴ６３のしきい値電圧である。このソース電位Ｓ２がオンとされているスイッチｓｃ１を通してキャパシタＣ１に記憶される。
【００６３】
続く図５（５）に示す期間では、リング状ゲート電位制御回路７０からリング状ゲート電極配線６９に出力される制御信号により、リング状ゲート電極４５の電位を図５（Ｋ）に示すようにＨｉｇｈ１に上げると同時に、同図（Ｉ）、（Ｊ）に示すようにスイッチＳＷ１をオン、スイッチＳＷ２をオフとすると共に、ソース電位制御回路７５から出力されるソース電位を同図（Ｌ）に示すようにＨｉｇｈｓに上げる。ここで、Ｈｉｇｈ１、Ｈｉｇｈｓ＞Ｌｏｗ１である。
【００６４】
上記の電位Ｈｉｇｈ１及びＨｉｇｈｓの値は同じであっても異なっていてもよいが、設計の簡単のためにはＨｉｇｈ１、Ｈｉｇｈｓ≦Ｖｄｄが望ましい。簡便な設定では、Ｈｉｇｈ１＝Ｈｉｇｈｓ＝Ｖｄｄとする。また、リング状ゲートＭＯＳＦＥＴ６３がオンして電流が流れないような電位設定にすることが望ましい。この結果、ソース近傍ｐ型領域４７のポテンシャルが上昇し、ｎウェル４３のバリアを越えてホールがエピタキシャル層４２に排出される（リセット）。
【００６５】
続く図５（６）に示す期間では、再び前記期間（４）と同じ信号読み出し状態にする。ただし、期間（４）とは異なり、図５（Ｍ）、（Ｎ）に示すように、スイッチｓｃ１はオフ、スイッチｓｃ２はオンとする。リング状ゲート電極は図５（Ｋ）に示すように期間（４）と同じＶｇ１とする。しかし、この期間（６）では直前の期間（５）でホールが基板に排出されていて、ソース近傍ｐ型領域４７にはホールが存在しないので、リング状ゲートＭＯＳＦＥＴ６３のソース電位は、図５（Ｌ）に示すように期間（６）ではＳ０（＝Ｖｇ１−Ｖｔｈ０）となる。ここでＶｔｈ０は、バックゲート（ソース近傍ｐ型領域４７）にホールがない状態でのリング状ゲートＭＯＳＦＥＴ６３のしきい値電圧である。
【００６６】
このソース電位Ｓ０はオンとされたスイッチｓｃ２を介してキャパシタＣ２に記憶される。差動アンプ７８はキャパシタＣ１とＣ２の電位差を出力する。すなわち、差動アンプ７８は（Ｖｔｈ０−Ｖｔｈ１）を出力する。この出力値（Ｖｔｈ０−Ｖｔｈ１）は、ホール電荷によるしきい値変化分である。その後、水平シフトレジスタ７９から出力される図５（Ｆ）に示すパルスのうち、同図（Ｏ）に示すｔ列目の出力パルスに基づき、図４の出力スイッチｓｗｔがオンとされ、このｓｗｔのオン期間に図５（Ｐ）にハッチングにより模式的に示すように、差動アンプ７８からのホール電荷によるしきい値変化分が画素６２の出力信号Ｖｏｕｔとしてセンサ外へ出力される。
【００６７】
続いて、図５に（７）で示す期間では、再びリング状ゲート電極４５の電位を図５（Ｂ）に示すようにＬｏｗにし、ソース近傍ｐ型領域４７にはホールがない状態で、全ての行の信号処理が終了するまで（ｓ＋１行〜ｎ行の画素の読み出しが終了するまで）待機する。これらの読み出し期間中、フォトダイオード６４では光電変換効果によるホールの蓄積が進行している。その後、前記期間（１）に戻って、ホールの転送から繰り返す。これにより、各画素から図５（Ｇ）に示す出力信号が読み出される。
【００６８】
上記の図３（Ａ）、（Ｂ）に示す構成の固体撮像素子は、リング状のゲート電極４５を持つリング状ゲートＭＯＳＦＥＴ６３が増幅用ＭＯＳＦＥＴであり、図４に示したように各画素内に増幅用ＭＯＳＦＥＴを持つという意味で、ＣＭＯＳセンサの一種である。そして、このＣＭＯＳセンサは、フォトダイオードに蓄積された電荷（ホール）が、対応する画素のリング状ゲート電極の下のソース近傍ｐ型領域４７に一斉に転送されるようにすることで、グローバルシャッタを実現している。
【００６９】
なお、図５の期間（５）のリセット時のソース電極配線７４の電位供給は、ソース電位制御回路７５から供給する以外の次の方法もある。すなわち、上記期間（５）でスイッチＳＷ１、ＳＷ２をともにオフとして、ソース電極配線７４をフローティングにする。ここでリング状ゲート電極配線６９の電位をＨｉｇｈ１とすると、リング状ゲートＭＯＳＦＥＴ６３がオン状態となり、ソース電極にドレインから電流が供給され、ソース電極電位が上昇する。この結果、ソース近傍ｐ型領域４７のポテンシャルが持ち上げられ、ｎウェル４３のバリアを越えて、ホールがｐ型エピタキシャル層４２に排出される（リセット）。ホールが完全に排出されたときのソース電極電位は、Ｈｉｇｈ１−Ｖｔｈ０になる。この方法では、ソース電位制御回路７５のうち、Ｈｉｇｈｓを供給するトランジスタを削減することができ、その結果、チップ面積を減らすことができる。
【００７０】
本実施の形態におけるグローバル型ＣＭＯＳセンサ１１２は、被写体からの露光は各ライン毎にタイミングがずれることなく同一の１フレーム期間で行われる。これは図５の期間（１）に当たる。一定期間の露光後、グローバル型ＣＭＯＳセンサ１１２内の転送ゲート（図４の転送ゲートＭＯＳＦＥＴ６５等）により、全画素の電荷が一斉に各画素の所定領域（図４のリング状ゲートＭＯＳＦＥＴ６３のバックゲート（図３（Ｂ）のソース近傍ｐ型領域４７））に転送される。これは図５の期間（２）に当たる。その後、読み出し回路により、読み出し期間内で、順次各画素からの信号が読み出される。これは図５の期間（３）〜（７）に当たる。
【００７１】
これにより、図６（Ａ）に示すように画面中、例えば左から右方向に移動する被写体１５０を撮像した場合でも、撮像画像は同一時刻で露光した画像であるので、同図（Ｂ）に１６０で示すような撮像画像が得られ、被写体１５０の画像と異なる画像歪みは発生しない。
【００７２】
次に、本実施の形態の撮影方法、撮像画像、運転支援動作などについて更に詳細に説明する。図１に示した実施の形態の運転支援装置は、図７に示すように、カメラ１１０が例えば自動車１００の屋根などの所定位置に固定されて、自動車１００の走行方向前方位置の被写体を撮像する。ここでは、例えば、自動車１００が数分後に通過する指定地点の目印、風景等を遠方拡大撮影し、自動車１００が指定地点を通過する間際に、その撮影情報を運転操作に役立てる場合について説明する。
【００７３】
図８に示すように、本実施の形態の運転支援装置を搭載している自動車１００が、例えば数分後に通過するであろう指定地点（Ｚ地点）である交差点１０４の１０００ｍ手前の確認地点、すなわちチェックポイント（Ｘ地点）に走行して来た時に、カメラ１１０で交差点１０４の実風景１０８をズーム撮影し、その時撮影して得られた映像信号を、図１のレコーダ１２０内の信号記録再生回路１２２で記録媒体に記録すると共に、ディスプレイ１３０の表示画面１３２の画面枠上部１３３ａに画像表示する。
【００７４】
これにより、画面枠上部１３３ａには、図８（Ａ）に示すように、現在走行中のＸ地点からＺ地点の交差点１０４を遠方拡大撮影した画像、すなわち、交差点１０４を左から右方向へ高速で移動する車両１０５の画像１０５ａと、交差点１０４の前方左側に固定設置されている信号機１０６の画像１０６ａと交差点１０４の右手にある郵便局１０７の画像１０７ａとが立体的に表示される。
【００７５】
ここで、本実施の形態では、グローバル型ＣＭＯＳセンサ１１２を用いているため、従来のローリング型ＣＭＯＳセンサを用いて撮影した時の図１４（Ｂ）に示したような画像の歪みは発生せず、高速に移動する車両１０５の画像１０５ａも静止して表示され、同様に、信号機の画像１０６ａ及び郵便局１０７の画像１０７ａもそれぞれ歪み無く鮮明に表示される。また、本実施の形態では、メカニカルシャッタを用いないため、メカニカルシャッタを用いた場合の複雑な制御が不要であり、装置全体が大型化することもなく、更に消費電力も低減できる。特に消費電力については、１００万画素ビデオカメラの事例で、ＣＣＤ式が８３１ｍＷに対して、本実施の形態のＣＭＯＳセンサが３５０ｍＷであり、約３分の１に低減できる。
【００７６】
また、この時、図１の表示画面１３２の画面枠下部１３３ｂには、図８（Ａ）に示すように、自動車１００が現在走行中のＸ地点からＺ地点までの道路地図の上面図の画像が、自動車の現在位置を示す画像と共に、地図装置１４１からの地図情報に基づいて表示される。これにより、運転者は現在走行中のＸ地点とＺ地点との位置関係を確認できる。これにより、運転者は、画面枠上部１３３ａのＺ地点における立体的な風景画像と、画面枠下部１３３ｂの位置関係情報とに基づいて、Ｚ地点の状況を視覚で確認できる。従って、運転者は安心して運転し、余裕のある判断操作ができる。
【００７７】
自動車１００が更に走行して交差点１０４に接近し、予め設定した位置、例えば、交差点１０４の手前１００ｍの地点（Ｙ地点）に来た時に、運転者の操作により、又は自動的に図１の信号記録再生回路１２２により記録媒体に記録されているＸ地点でズーム撮影した交差点１０４の映像信号が再生されて、ディスプレイ１３０に供給され、画面枠上部１３３ａに図８（Ｂ）に示すように、Ｘ地点で表示された画像と同じＸ地点でズーム撮影した交差点１０４の撮影画像が再表示される。
【００７８】
また、これと同時に、画面枠下部１３３ｂには、図８（Ｂ）に示すように、地図装置１４１から供給された地図情報に基づいて、チェックポイントであるＸ地点からＺ地点までの道路地図の上面図の画像と、自動車１００の現在走行中のＹ地点を示す画像１４５とが表示される。Ｙ地点の画像１４５は、例えば、地図上でフラッシュ“瞬間”表示が行われ、運転者に注意を促す。
【００７９】
これにより、運転者は、指定地点（Ｚ地点）に近いＹ地点において、画面枠上部１３３ａに表示されている予め視覚認識したＺ地点の立体的な風景画像を、実風景１０８と対比しながら、走行中の情報を即時に運転操作へ反映させてＺ地点である交差点１０４へ自動車１００を進入させることができると共に、画面枠下部１３３ｂに表示されている画像から現在走行中のＹ地点とＺ地点の位置関係を把握することで、運転者は安心して交通規則を遵守した安全運転ができ、余裕のある判断操作ができる。また、経路選択の誤りや道路標識の見落とし、不測の事態の遭遇などを防止できる。
【００８０】
なお、本実施の形態のカメラ１１０で用いられるグローバル型ＣＭＯＳセンサ１１２は、図３〜図５と共に説明したように、蓄積容量が大きなリング状ゲートＭＯＳＦＥＴのソース近傍ｐ型領域４７に、光電変換によりｐ-型領域４９に蓄積されている電荷を一括転送することができる。従って、従来のローリング型ＣＭＯＳセンサに比べて広ダイナミックレンジを実現できるため、例えば、夜間、悪天候、明暗差の大きいトンネル前後の地点においても、従来に比べて交通標識をより鮮明に認識することができる。
【図面の簡単な説明】
【００８１】
【図１】本発明の車載カメラ装置を用いた運転支援装置の一実施の形態のブロック図である。
【図２】図１中の表示処理部の一実施の形態のブロック図である。
【図３】本発明で用いるグローバルシャッタ型ＣＭＯＳエリアセンサの１画素分の平面図とそのＸ−Ｘ’線に伴う断面図である。
【図４】本発明で用いるグローバルシャッタ型ＣＭＯＳエリアセンサの全体構成を示す等価回路図である。
【図５】図４の等価回路の動作を説明用タイミングチャートである。
【図６】本発明で用いるグローバルシャッタ型ＣＭＯＳエリアセンサによる動きのある被写体画像とその撮影画像の一例を示す図である。
【図７】自動車に搭載した本発明の運転支援装置の説明図である。
【図８】本発明の運転支援装置のチェックポイントでの遠方撮影と表示画像と、指定地点手前の位置での撮影画像の再表示と実風景の対比を示す説明図である。
【図９】従来の車載カメラ装置の一例の構成図である。
【図１０】従来の運転支援装置の一例の構成図である。
【図１１】ローリングシャッタ型ＣＭＯＳセンサの一例の等価回路図である。
【図１２】図１１の動作説明用タイミングチャートである。
【図１３】ローリングシャッタ型ＣＭＯＳセンサによる読み出し方法と動きのある被写体画像とその撮影画像の一例を示す図である。
【図１４】被写体風景とローリングシャッタ型ＣＭＯＳセンサによる撮影画像の一例を示す図である。
【符号の説明】
【００８２】
４３ ｎウェル
４５ リング状ゲート電極
４６ ｎ＋型ソース領域
４７ ソース近傍ｐ型領域
４８ ｎ＋型ドレイン領域
４９ 埋め込みｐ−型領域
５０、６４ フォトダイオード
５１ 転送ゲート電極
５２、６６ ドレイン電極配線
５３、６９ リング状ゲート電極配線
５４、７４ ソース電極配線（出力線）
５５、７１ 転送ゲート電極配線
６１ 画素敷き詰め領域
６２ 画素
６３ リング状ゲートＭＯＳＦＥＴ
６５ 転送ゲートＭＯＳＦＥＴ
１００ 本発明の運転支援装置を搭載した自動車
１１０ カメラ
１１１ レンズ
１１２ グローバルシャッタ型ＣＭＯＳエリアセンサ
１２０ レコーダ
１２１ 信号処理回路
１２２ 信号記録再生回路
１３０ ディスプレイ
１３１ 表示処理部
１３２ 表示画面
１３３ａ 画面枠上部
１３３ｂ 画面枠下部
１４０ マップナビ
１４１ 地図装置
１３１１ 入力処理部
１３１２ メモリ
１３１３ バッファ
【技術分野】
【０００１】
本発明は車載カメラ装置を用いた運転支援装置に係り、特に固体撮像素子であるＣＭＯＳセンサを用いた車載カメラ装置により数分後に通過する指定地点の目印、風景等を予め遠方拡大撮影し、指定地点を通過する間際に、その撮影情報を運転操作に役立てる機能を有する運転支援装置に関する。
【背景技術】
【０００２】
図９は従来の車載カメラ装置の一例の構成図を示す。同図において、車載カメラ装置は、撮像装置群であるカメラ２１０とプロセッサ２２０とからなり、これらは自動車に搭載されている。カメラ２１０は、被写体からの光をレンズ２１１により集光して、メカニカルシャッタ２１２を介して、後述するローリングシャッタ型ＣＭＯＳエリアセンサ（以下、「ローリング型ＣＭＯＳセンサ」という）２１３の撮像面に光学像を結像し、ローリング型ＣＭＯＳセンサ２１３で光電変換して得られた撮像信号を出力する。メカニカルシャッタ２１２は露光時間を制御するために用いられる。
【０００３】
プロセッサ２２０は、カメラ２１０から出力された撮像信号を信号処理回路２２１で入力として受け、信号処理回路２２１で所定の信号処理を行ってから出力端子２２２から映像信号として外部へ出力する。このプロセッサ２２０から出力された映像信号は、例えばモニタ装置に供給されて表示される。これにより、車載カメラ装置は、例えば車庫入れの際に、カメラ２１０で撮像した撮像画像に基づいて、車庫入れを正確に行うなどの用途に使用される。
【０００４】
図１０は従来の運転支援装置の一例の構成図を示す。同図において、運転支援装置２３０は、自動車に搭載されており、地図装置２３１と表示部（モニタ）２３２とからなり、地図装置２３１と表示部２３２の一体型と、地図装置２３１及び表示部２３２とを結線した連結型とがある。地図装置２３１は、地図上の上面図情報を予め記憶しており、その情報を表示部２３２に提供する。表示部２３２は、地図装置２３１からの地図の上面図情報を受け、運転地図の上面図を画面枠２３３に表示することで、運転を支援する。
【０００５】
次に、図９の車載カメラ装置について更に詳細に説明する。図９の車載カメラ装置では、カメラ２１０に用いる固体撮像素子として、ＣＣＤ（Charge Coupled Devise：電荷結合素子）よりも製造方法が容易で、低消費電力として知られ、また、近年、微細化とプロセス技術の向上により画質が向上したＣＭＯＳセンサ２１３が用いられる。このＣＭＯＳセンサ２１３は従来から知られているローリングシャッタ型ＣＭＯＳセンサである（例えば、特許文献１参照）。
【０００６】
図１１は上記の従来のＣＭＯＳセンサの一例の等価回路図を示す。同図に示すＣＭＯＳセンサは、簡単のため、単位画素１が横方向２画素、縦方向２画素の２×２画素の配置とされている。単位画素１は、被写体像を光電変換するフォトダイオード（ＰＤ）２と、信号電荷の増幅用ＭＯＳ型電界効果トランジスタ（以下、ＭＯＳＦＥＴ）３と、電荷転送用ＭＯＳＦＥＴ４と、リセット用ＭＯＳＦＥＴ５と、選択用ＭＯＳＦＥＴ７とよりなり、電源ライン６がＭＯＳＦＥＴ３、５のドレインに接続され、増幅用ＭＯＳＦＥＴ３のソースが選択用ＭＯＳＦＥＴ７のドレインに接続されている。
【０００７】
増幅用ＭＯＳＦＥＴ３のゲート電極はフローティングディフュージョン（ＦＤ）になっており、フォトダイオード２の電荷が電荷転送用ＭＯＳＦＥＴ４のドレイン−ソースを介して増幅用ＭＯＳＦＥＴ３のゲート電極（ＦＤ）に転送される。また、増幅用ＭＯＳＦＥＴ３のゲート電極（ＦＤ）の電位は、リセット用ＭＯＳＦＥＴ５によりリセットされる。
【０００８】
選択用ＭＯＳＦＥＴ７がオン状態になると、増幅用ＭＯＳＦＥＴ３のソースを選択用ＭＯＳＦＥＴ７のドレイン・ソースを通して画素出力ライン８に導通させる。画素出力ライン８は定電流供給用ＭＯＳＦＥＴ９のドレインに接続されている。定電流供給用ＭＯＳＦＥＴ９は、増幅用ＭＯＳＦＥＴ３のソースフォロア回路の負荷として作用する。定電流供給用ＭＯＳＦＥＴ９は、ゲート電位供給ライン１３のゲート電位により制御される。
【０００９】
また、リセット用制御ライン１０、電荷転送用制御ライン１１、画素選択用制御ライン１２は、それぞれリセット用ＭＯＳＦＥＴ５、電荷転送用ＭＯＳＦＥＴ４、選択用ＭＯＳＦＥＴ７の各ゲート電極に接続されており、その電位はそれぞれパルス供給端子１５、１４、１６から、ＭＯＳＦＥＴ１９、２０、２１のドレイン・ソースをそれぞれ通して供給される。
【００１０】
垂直シフトレジスタ１７は、行順次走査のために２×２画素の行を選択する回路で、その垂直シフトレジスタ出力線１８−１、１８−２が、各行のＭＯＳＦＥＴ１９、２０、２１のゲート電極に接続されており、パルス供給端子１５、１４、１６の端子に供給されたパルスがどの行の画素を制御するかを決定する。
【００１１】
また、読み出しブロック２２は、リセット信号出力を保持する容量２３、光信号出力を保持する容量２４、どちらの容量に保持するかを選択するスイッチ用ＭＯＳＦＥＴ２５及び２６、水平出力線２７、２８に接続されたスイッチ用ＭＯＳＦＥＴ２９、３０からなる。スイッチ用ＭＯＳＦＥＴ２５、２６は端子３７、３８からそのゲート電極に供給されるパルスによりスイッチング制御される。
【００１２】
水平シフトレジスタ３４は、２×２画素のうち、どの列の画素の保持信号を水平出力線２７、２８に出力するかをスイッチ用ＭＯＳＦＥＴ２９、３０のゲートに接続された水平シフトレジスタ出力線３５−１、３５−２への出力電位で決定する。また、水平出力線２７、２８をリセットするための電位を端子３３から供給し、リセットのタイミングは端子３６から供給するパルスでスイッチ用ＭＯＳＦＥＴ３１、３２をスイッチング制御して行う。水平出力線２７、２８は差動アンプ３９の入力端子に接続されている。差動アンプ３９はリセット信号出力と光信号出力の差をとり、その差信号をアンプ出力端子４０からセンサ外に出力する。
【００１３】
次に、図１１に示す従来のＣＭＯＳセンサの動作について図１２のタイミングチャートを併せ参照して説明する。なお、図１１中のＭＯＳＦＥＴはすべてＮ型とし、よって、ＭＯＳＦＥＴはそのゲート電位がハイレベル（Ｈｉｇｈ）でオン、ローレベル（Ｌｏｗ）でオフとなる。
【００１４】
まず、垂直シフトレジスタ出力線１８−１の電位が図１２（Ｄ）に示すように時刻ｔ１でＨｉｇｈとなり、これにより１行目の画素１が選択される。続いて、パルス供給端子１６の入力パルスが図１２（Ｃ）に示すように時刻ｔ２でＨｉｇｈになり、これにより１行目の画素１の選択用ＭＯＳＦＥＴ７がオン状態になるため、１行目の画素１の増幅用ＭＯＳＦＥＴ３のソースが選択用ＭＯＳＦＥＴ７のドレイン・ソースと画素出力ライン８を通して定電流供給用ＭＯＳＦＥＴ９につながり、ソースフォロア回路を形成する。
【００１５】
この状態で、最初にパルス供給端子１５に図１２（Ｂ）に示すように一定時間Ｈｉｇｈのパルスが供給され、１行目の画素１のリセット用ＭＯＳＦＥＴ５のドレイン・ソースを通して増幅用ＭＯＳＦＥＴ３のゲート電極（ＦＤ）がリセットされる。その後の時刻ｔ３で、パルス供給端子３７の入力パルスが図１２（Ｉ）に示すようにＨｉｇｈになり、スイッチ用ＭＯＳＦＥＴ２５をオン状態とし、容量２３に１行目の画素１のソースフォロワ回路から出力されたリセット信号出力が保持される。
【００１６】
次に、パルス供給端子１４に時刻ｔ４で図１２（Ａ）に示すようにＨｉｇｈパルスが印加されると、１行目の画素１内の電荷転送用ＭＯＳＦＥＴ４がオンし、１行目の画素１内のフォトダイオード２に蓄積されている電荷が電荷転送用ＭＯＳＦＥＴ４のドレイン・ソースを介して増幅用ＭＯＳＦＥＴ３のゲート電極（ＦＤ）に転送される。その後の時刻ｔ５で、パルス供給端子３８に図１２（Ｊ）に示すようにＨｉｇｈパルスが印加されると、容量２４に１行目の画素１のソースフォロワ回路から出力された光信号出力が保持される。続いて、パルス供給端子１６の入力パルスが図１２（Ｃ）に示すように、時刻ｔ６でＬｏｗになるため、１行目の画素１内の選択用ＭＯＳＦＥＴ７がオフになり、１行目の画素１からの出力はなくなる。
【００１７】
端子３６の入力信号はこの間図１２（Ｈ）に示すようにＨｉｇｈであり、水平出力ライン２７、２８はリセット状態になっている。しかし、上記の時刻ｔ６で端子３６の入力信号が図１２（Ｈ）に示すようにＬｏｗになり、この状態で水平シフトレジスタ出力線３５−１に図１２（Ｆ）に示すＨｉｇｈパルスを印加すると、１列目のスイッチ用ＭＯＳＦＥＴ２９、３０がそれぞれオンとされるため、１列目の容量２３、２４の各信号が１列目のスイッチ用ＭＯＳＦＥＴ２９、３０を通して水平出力ライン２７、２８にそれぞれ出力されて差動アンプ３９に供給される。差動アンプ３９は１列目の容量２３、２４の各信号、すなわち、リセット信号出力と光信号出力との差をとり、増幅用ＭＯＳＦＥＴ３のしきい値ばらつきに起因したノイズを除去した光信号を出力端子４０より出力する。
【００１８】
次に、端子３６に図１２（Ｈ）に示す時刻ｔ７でＨｉｇｈパルスを印加すると、水平出力ライン２７、２８が再びリセットされ、その後水平シフトレジスタ出力線３５−２に、図１２（Ｇ）に示すように時刻ｔ８でＨｉｇｈパルスが印加され、２列目のスイッチ用ＭＯＳＦＥＴ２９、３０がそれぞれオンとされるため、２列目の容量２３、２４の各信号が２列目のスイッチ用ＭＯＳＦＥＴ２９、３０を通して水平出力ライン２７、２８にそれぞれ出力されて差動アンプ３９に供給され、２列目の信号が１列目と同様に差動アンプ３９から出力端子４０に出力される。
【００１９】
その後、図１２（Ｄ）に示す時刻ｔ９で垂直シフトレジスタ出力線１８−１の電位がＬｏｗとなり、１行目の処理が終わる。次に時刻ｔ１０で図１２（Ｅ）に示すように、垂直シフトレジスタ出力線１８−２の電位がＨｉｇｈになり、以下１行目と同様な処理が行われ、全画素の読み出しが終了する。
【００２０】
従って、このＣＭＯＳセンサの場合、１行目と２行目のフォトダイオード２で光電変換しているタイミングが異なる。このような撮像方式をローリングシャッタ、あるいはフォーカルプレーンと呼ぶ。
【００２１】
【特許文献１】特開２００３−１７６７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００２２】
このようなローリング型ＣＭＯＳセンサ２１３を用いて撮像する場合、簡単のため２行４列の画素Ｐ１１〜Ｐ２４の図１３（Ａ）に示す概念図と共に説明すると、或る１行の画素Ｐ１１〜Ｐ１４を左方向から右方向へ順番に読み出しを行い（実線矢印I）、１行読み終わると次の行の先頭に戻り（破線矢印II）、続いて次の行を再び左から右方向へ読む（実線矢印III）という動作を繰り返す。従って、画素各々が選択されたときに初めて露光される処理になるので、画素すべて読み終わった時点で各々の画素で信号の取得時間が一致しない。ＣＭＯＳセンサの全ての画素を読み終わった時点で１枚の絵を読んだことになる。
【００２３】
例えば、図１３（Ｂ）に示すように画面左から右方向へ動く長方形１５０を撮影した場合、従来のローリング型ＣＭＯＳセンサ２１３を用いて撮影すると、撮影した画像は各行で撮影時刻が異なるために、上述のように画素を読んでいる間に撮影したい長方形が動いてしまうと、図１３（Ｃ）に示すように、長方形１５０の移動により歪んで平行四辺形の像１５１となって撮影される。
【００２４】
従って、車載カメラ装置により、例えば、図１４（Ａ）に示すように、当該車載カメラ装置を搭載した自動車が数分後に通過するであろう交差点１０４付近の遠景風景をズーム撮影した場合、交差点１０４を左から右方向へ高速で移動する車両１０５の撮像画像は同図（Ｂ）に１０５’で示すように著しく歪むと共に焦点が合っておらず、また同図（Ａ）に示す交差点１０４の前方左側に固定設置されている信号機１０６、交差点１０４の右手にある郵便局１０７の各撮像画像も、同図（Ｂ）に１０６’、１０７’で示すように、車載カメラ装置自体が移動しているために、歪んでしまう。
【００２５】
そこで、図９の車載カメラ装置では、ローリング型ＣＭＯＳセンサ２１３の光入射側前方にメカニカルシャッタ２１２を用い、そのオープン期間に対応して全ラインの１フレーム期間の露光を行い、そのクローズ期間で各１ラインずつ順次に読み出しを行うことで、露光プロセスと信号読出しプロセスを分離することができ、その結果、高速で移動する車両などの動く被写体の撮像画像を歪まないようにすることができる。しかしながら、メカニカルシャッタ２１２の制御が複雑となり、部品点数も多く装置全体が大型になり、更に、消費電力の点で不利である。
【００２６】
このような車載カメラ装置からの撮像信号を利用して運転支援に利用することが考えられる。しかしながら、従来の車載の多目的装置としては、音響機器、地図装置、表示部の複合型があるものの、従来は図９の車載カメラ装置と図１０の運転支援装置とは別々に設けられており、車載カメラ装置は車庫入れの監視など用途が限られ、これらを接続して車載カメラ装置で撮像された画像を用いて運転支援を行うものはない。
【００２７】
また、従来の車載カメラ装置では、例えば、夜間、悪天候、明暗差の大きいトンネル前後の地点において、カメラが交通標識を認識することはローリング型ＣＭＯＳセンサ２１３を用いているため、撮像画像の画像品質などの点から多大な制約を受ける問題がある。また、更に、従来の運転支援装置では、地図装置２３１が提供する地図の情報は、上面図情報であり、立体情報ではないので、経路選択の際の情報としては不十分であり、また、地図装置２３１が提供する地図の情報は既製情報であり、走行中の情報を即時に運転操作へ反映することは困難である。
【００２８】
本発明は以上の点に鑑みなされたもので、高速走行時に歪みのない鮮明な撮像画像が得られ、その撮像画像に基づいて、即時に交通標識の認識、経路の選択、運転操作などへ反映することが可能な走行中の撮像情報を提供し得る車載カメラ装置を用いた運転支援装置を提供することを目的とする。
【００２９】
また、本発明の他の目的は、地図装置と撮像画像とを連動させることで、地図上で指定された経路選択地点の周辺風景、交通標識を、事前に遠方地点から撮影記録した画像に基づいて、経路選択地点の直前に、運転者に正確な経路を選択することを支援するための車載カメラ装置を用いた運転支援装置を提供することにある。
【課題を解決するための手段】
【００３０】
上記の目的を達成するため、本発明は、自動車に搭載されており、自動車の車外の被写体を固体撮像素子により撮像し、固体撮像素子から出力された映像信号を用いて運転支援を行う車載カメラ装置を用いた運転支援装置であって、被写体の光学像を複数の全画素の光電変換領域に同時に露光して光電変換して得た電荷を全画素に蓄積した後、露光期間に蓄積した電荷を各画素から映像信号として順次出力する、固体撮像素子としてのグローバルシャッタ型ＣＭＯＳセンサを備え、自動車の走行中に予め指定した指定地点を撮影する車載カメラ装置と、グローバルシャッタ型ＣＭＯＳセンサから出力された映像信号に対して、所定の信号処理を行って映像信号を出力する共に、信号処理を行った映像信号を記録媒体に記録し再生する記録再生手段と、少なくとも自動車が現在走行している走行地点と、指定地点との間の道路地図情報を走行地点及び指定地点の各画像情報と共に生成する地図情報生成手段と、指定地点に到る手前の近傍の位置で、記録再生手段からの映像信号の画像を第１の領域に表示すると共に、地図情報生成手段で生成された道路地図情報及び走行地点及び指定地点の各画像情報を第２の領域に表示する表示手段とを有し、表示手段の第１及び第２の領域に表示する画像により運転支援を行うことを特徴とする。
【００３１】
この発明では、走行中にグローバルシャッタ型ＣＭＯＳセンサを備えた車載カメラ装置で指定地点を撮影して得た映像信号を、記録再生手段により記録媒体に記録しておき、その後、指定地点に到る手前の近傍の位置で、記録再生手段からの指定地点の撮影画像を表示手段の第１の領域に表示させるようにしたため、メカニカルシャッタを有しなくても、高速で走行する自動車から指定地点を撮影して得た、指定地点の各被写体の撮影画像を歪み無く表示させることができ、また、表示手段の第２の領域に道路地図情報及び走行地点及び指定地点の各画像情報を表示することで、運転者に現在の走行位置と指定地点までの位置関係を把握させると共に、第１の領域に表示される指定地点の立体撮影画像を指定地点の実風景とを対比させることができる。
【００３２】
また、本発明は、上記のグローバルシャッタ型ＣＭＯＳセンサを、基板上のリング状ゲート電極と、リング状ゲート電極の中央開口部に対応する基板の位置に設けられたソース領域と、ソース領域を取り囲み、かつ、リング状ゲート電極の外周に達しないように基板に設けられたソース近傍領域とからなる信号出力用トランジスタと、光を電荷に変換して蓄積する光電変換領域と、光電変換領域に蓄積された電荷をソース近傍領域へ転送する電荷転送手段とを含む画素が複数配列された構造であり、各画素内の電荷転送手段は、光電変換領域に蓄積された電荷を、同じ画素内の対応するソース近傍領域へ全画素一斉に転送し、信号出力用トランジスタは、入力された電荷の量をしきい値の変化として出力する構成としたことを特徴とする。
【００３３】
この発明では、グローバルシャッタ型ＣＭＯＳセンサが、信号出力用蓄積容量が大きなソース近傍領域に、光電変換により光電変換領域に蓄積されている電荷を一括転送するようにしたため、従来のローリング型ＣＭＯＳセンサに比べて広ダイナミックレンジを実現できる。
【発明の効果】
【００３４】
本発明によれば、グローバルシャッタ型ＣＭＯＳセンサを用いたことにより、メカニカルシャッタを有しなくても、高速で走行する自動車から指定地点を撮影して得た、指定地点の各被写体の撮影画像を、読み出し方式に依存する映像の変形などを引き起こすことなく、歪み無く表示させることができるため、メカニカルシャッタを用いた場合の複雑な制御が不要であり、装置全体が大型化することもなく、更に消費電力も低減できる。
【００３５】
また、本発明によれば、表示手段の第２の領域に道路地図情報及び走行地点及び指定地点の各画像情報を表示することで、運転者に現在の走行位置と指定地点までの位置関係を把握させると共に、第１の領域に表示される指定地点の立体撮影画像を指定地点の実風景とを対比させることができるようにしたため、運転者に指定地点手前で交通標識を判別させると共に、運転者が指定地点周辺の実風景を確認しながら、運転操作・移動することができ、指定地点として交通標識などを間違えやすい交差点近傍に接近した時に、その周辺画像が経路を選択することを支援するための画像として表示されるので、運転者は正確な経路選択を行い、自動車を誘導でき、運転操作、運転支援、例えば経路選択、標識遵守に活用し、経路選択の間違い防止、安全運転を行わせることができる。
【００３６】
また、本発明によれば、グローバルシャッタ型ＣＭＯＳセンサが、信号出力用蓄積容量が大きなソース近傍領域に、光電変換により光電変換領域に蓄積されている電荷を一括転送することで、従来のローリング型ＣＭＯＳセンサに比べて広ダイナミックレンジを実現しているため、例えば、夜間、悪天候、明暗差の大きいトンネル前後の地点においても、従来に比べて交通標識をより鮮明に認識することができ、従来に比べてより正確な経路選択、標識遵守などの運転支援を行うことができる。
【発明を実施するための最良の形態】
【００３７】
次に、本発明の実施の形態について図面と共に説明する。図１は本発明になる車載カメラ装置を用いた運転支援装置の一実施の形態のブロック図を示す。同図に示すように、本実施の形態の運転支援装置は、撮像装置群であるカメラ１１０と、記録再生装置群であるレコーダ１２０と、表示装置群であるディスプレイ１３０と、マップナビ１４０とからなり、自動車に搭載されている。カメラ１１０は、レンズ１１１と、後述するグローバルシャッタ型ＣＭＯＳエリアセンサ（以下、「グローバル型ＣＭＯＳセンサ」という）１１２とからなり、被写体からの光学像をレンズ１１１によりグローバル型ＣＭＯＳセンサ１１２の撮像面に結像し、グローバル型ＣＭＯＳセンサ１１２で光電変換して得られた撮像信号をレコーダ１２０へ出力する。
【００３８】
レコーダ１２０は、信号処理回路１２１、信号記録再生回路１２２及び出力端子１２３から構成され、カメラ１１０からの撮像信号に対して、信号処理回路１２１でガンマ補正等の従来より公知の所定の信号処理を施した後、信号処理して得られた映像信号を、信号記録再生回路１２２に供給して一旦所定の信号フォーマットで記録媒体に記録すると共に、出力端子１２３を介してディスプレイ１３０へ出力する。
【００３９】
ディスプレイ１３０は、表示処理部１３１とその表示画面１３２とからなり、レコーダ１２０から供給された映像信号を、表示処理部１３１で表示のための所定の信号処理を行って、表示画面１３２の画面枠上部１３３ａに画像表示させる。また、表示画面１３２の画面枠下部１３３ｂには、マップナビ１４０を構成する地図装置１４１からの地図の上面図情報等が表示される。表示画面１３２は、運転者が運転中に視認できる位置に設けられる。
【００４０】
マップナビ１４０は、地図装置１４１によりこの装置が搭載されている自動車が現在走行している走行地点と撮影対象の指定地点との間の道路地図の上面図情報を生成すると共に、少なくとも走行地点及び指定地点の各画像情報とをそれぞれ生成してディスプレイ１３０へ供給する。なお、マップナビ１４０は、走行地点及び指定地点の各画像情報は、それらの位置情報を、例えばＧＰＳ（Global Positioning System:全地球測位システム）などを利用した公知の方法で取得し、それに基づいて画像情報を生成するが、その方法は公知であるので、その詳細な説明は省略する。
【００４１】
図２は図１中の表示処理部１３１の一実施の形態のブロック図を示す。図２に示すように、表示処理部１３１は入力処理部１３１１、メモリ１３１２及びバッファ１３１３からなり、レコーダ１２０から入力される映像信号に対して、入力処理部１３１１が、表示画面１３２で表示する画像の明るさ、解像度、サイズ、技術的な視点の信号圧縮制御等に関する操作信号に基づいて、表示のための処理を行い、その処理後の映像信号をメモリ１３１２に記憶する。
【００４２】
メモリ１３１２は、指定された読み出しアドレスの記憶映像信号を読み出して、バッファ１３１３に供給して一時保持した後、ディスプレイ１３０へ出力する。上記の読み出しアドレスは、例えば、画面枠選択のための番地、画面タッチパネルの要素データが格納されている番地などを示す。
【００４３】
次に、本実施の形態で用いるグローバル型ＣＭＯＳセンサ１１２の構成及び動作について詳細に説明する。図４（Ａ）は上記のグローバル型ＣＭＯＳセンサ１１２の一画素当たりの一例の平面図、同図（Ｂ）は同図（Ａ）のＸ−Ｘ’線に沿う断面図を示す。図４（Ａ）、（Ｂ）に示すように、ｐ+型基板４１上にｐ-型エピタキシャル層４２を成長し、このエピタキシャル層４２の表面にｎウェル４３がある。ｎウェル４３上にはゲート酸化膜４４を挟んで第１のゲート電極である平面形状がリング状のゲート電極４５が形成されている。
【００４４】
リング状ゲート電極４５の中心部に対応したｎウェル４３の表面にはｎ+型のソース領域４６が形成されており、そのソース領域４６に隣接してソース近傍ｐ型領域４７が形成され、更にソース領域４６とソース近傍ｐ型領域４７の外側の離間した位置にはｎ+型のドレイン領域４８が形成されている。更に、ドレイン領域４８の下のｎウェル４３中には埋め込みのｐ-型領域４９がある。この埋め込みのｐ-型領域４９とｎウェル４３は、図３（Ａ）に示す埋め込みフォトダイオード５０を構成している。
【００４５】
埋め込みフォトダイオード５０とリング状ゲート電極４５との間には、第２のゲート電極である転送ゲート電極５１がある。ドレイン領域４８、リング状ゲート電極４５、ソース領域４６、転送ゲート電極５１には、それぞれメタル配線であるドレイン電極配線５２、リング状ゲート電極配線５３、ソース電極配線（出力線）５４、転送ゲート電極配線５５が接続されている。また、上記の各構成の上方には、図３（Ｂ）に示すように遮光膜５６が形成されており、その遮光膜５６の埋め込みフォトダイオード５０に対応した位置には開口部５７が穿設されている。この遮光膜５６は金属、あるいは有機膜等で形成される。光は、開口部５７を通して埋め込みフォトダイオード５０に達して光電変換される。
【００４６】
次に、ＣＭＯＳセンサの画素構造と撮像素子全体の構造について、電気回路で表現した図４と共に説明する。同図において、まず、画素はｍ行ｎ列に画素敷き詰め領域６１に配置されている。図４ではこれらｍ行ｎ列の画素のうち、ｓ行ｔ列の一画素６２を代表として等価回路で表現している。この画素６２は、リング状ゲートＭＯＳＦＥＴ６３と、フォトダイオード６４と、転送ゲートＭＯＳＦＥＴ６５とからなり、リング状ゲートＭＯＳＦＥＴ６３のドレインがフォトダイオード６４のｎ側端子とドレイン電極配線６６（図３の５２に相当）に接続され、転送ゲートＭＯＳＦＥＴ６５のソースがフォトダイオード６４のｐ側端子に接続され、ドレインがリング状ゲートＭＯＳＦＥＴ６３のバックゲートに接続されている。
【００４７】
なお、上記のリング状ゲートＭＯＳＦＥＴ６３は、図３（Ｂ）ではリング状ゲート電極４５直下のソース近傍ｐ型領域４７をゲート領域とし、ｎ＋型のソース領域４６及びｎ＋型のドレイン領域４８を有するｎチャネルＭＯＳＦＥＴである。また、上記の転送ゲートＭＯＳＦＥＴ６５は、図３（Ｂ）では転送ゲート電極５１直下のｎウェル４３をゲート領域、フォトダイオード５０の埋め込みのｐ−型領域４９をソース領域、ソース近傍ｐ型領域４７をドレインとするｐチャネルＭＯＳＦＥＴである。
【００４８】
図４において、ｍ行ｎ列の各画素から１フレーム分の信号を読み出すために、まず読み出しを始める合図を出すフレームスタート信号を発生させる回路６７がある。このフレームスタート信号は撮像素子の外から与えられてもよい。このフレームスタート信号は垂直シフトレジスタ６８に供給される。垂直シフトレジスタ６８は、ｍ行ｎ列の各画素のうちの何行目の画素を読み出すかの信号を出力する。
【００４９】
各行の画素はリング状ゲート電極、転送ゲート電極、ドレイン電極の電位を制御する制御回路に接続されており、これらの制御回路は垂直レジスタ６８の出力信号が供給される。例えば、ｓ行目の各画素のリング状ゲート電極は、リング状ゲート電極配線６９（図３の５３に相当）を介してリング状ゲート電位制御回路７０に接続され、各画素の転送ゲート電極は、転送ゲート電極配線７１（図３の５５に相当）を介して転送ゲート電位制御回路７２に接続され、各画素のドレイン電極は、ドレイン電極配線６６（図３の５２に相当）を介してドレイン電位制御回路７３に接続されている。上記の各制御回路７０、７２、７３には垂直シフトレジスタ６８の出力信号が供給される。
【００５０】
なお、リング状ゲート電極は、行毎に制御するので横方向に配線するが、転送ゲート電極は全画素で一斉に制御するので、配線方向は問わず、縦方向でもよい。ここでは横方向に配線するものとして表現する。ドレイン電位制御回路７３は、全画素一斉に制御するが、行毎に制御する可能性もあるので、フレームスタート信号と垂直レジスタ６８の両方と接続して表現している。
【００５１】
画素６２のリング状ゲートＭＯＳＦＥＴ６３のソース電極は、ソース電極配線７４（図３の５４に相当）を介して２分岐され、一方はスイッチＳＷ１を介してソース電極電位を制御するソース電位制御回路７５に接続され、他方はスイッチＳＷ２を介して信号読み出し回路７６に接続されている。信号を読み出すときにはスイッチＳＷ１をオフ、スイッチＳＷ２をオンにし、ソース電位を制御する時にはスイッチＳＷ１をオン、スイッチＳＷ２をオフにする。信号は縦方向に出すので、ソース電極の配線方向は縦にする。
【００５２】
信号読み出し回路７６は次のように構成されている。画素６２の出力はリング状ゲートＭＯＳＦＥＴ６３のソースから行われ、出力線７４には負荷、例えば電流源７７が繋がっている。従って、ソースフォロア回路となっている。電流源７７にはキャパシタＣ１とキャパシタＣ２の各一端がスイッチｓｃ１とスイッチｓｃ２を介して繋がっている。他端が接地されているキャパシタＣ１、Ｃ２の各一端は、また差動アンプ７８の反転入力端子と非反転入力端子に繋がっており、両キャパシタＣ１及びＣ２の電位差を差動アンプ７８から出力するようになっている。
【００５３】
このような信号読み出し回路７６はＣＤＳ回路と呼ばれ、ここに描かれた方式以外にも種々の回路が提案されており、この回路に限るわけではない。信号読み出し回路７６から出力された信号は、出力スイッチｓｗｔを介して出力される。同じ列にある出力スイッチｓｗｔは、水平シフトレジスタ７９から出力される信号によりスイッチング制御される。
【００５４】
次に、図４に示すＣＭＯＳセンサの駆動方法について、図５のタイミングチャートと共に説明する。まず、図５（１）に示す期間では、埋め込みのフォトダイオード（図３（Ａ）の５０、図４の６４等）に光が入射し、光電変換効果により電子・ホール対が発生し、フォトダイオードの埋め込みｐ-型領域４９にホールが蓄積される。このとき転送ゲート電極５１の電位はドレイン電位Ｖｄｄと同じになっており、転送ゲートＭＯＳＦＥＴ６５はオフ状態である。これらの蓄積は、前フレームの読み出し操作が行われている時に同時に実行されている。
【００５５】
続く図５（２）に示す期間では、前フレームの読み出しが終了すると、同図（Ａ）に示すように新しいフレームスタート信号が発信されて、次のフレームの読み出しが始まる。最初に行うのは全画素一斉にフォトダイオード（図３（Ａ）の５０、図４の６４等）からリング状ゲート電極（図３の４５）のソース近傍ｐ型領域（図３の４７）にホールを転送することである。そのため、図５（Ｂ）に示すように転送ゲート電位制御回路７２から出力される転送ゲート制御信号がＶｄｄからＬｏｗ２に下がり、転送ゲート電極（図３の４１）の電位がＬｏｗ２となり、転送ゲートＭＯＳＦＥＴ６５がオン状態になる。
【００５６】
このとき、リング状ゲート電位制御回路７０により制御されるリング状ゲート電極配線６９の電位は、図５（Ｃ）に示すように、ＬｏｗからＬｏｗ１になるが、Ｌｏｗ２の方がＬｏｗ１よりも大きい。Ｌｏｗ１はＬｏｗと同じでもよい。最も簡便にはＬｏｗ１＝Ｌｏｗ＝０（Ｖ）に設定する。
【００５７】
一方、ソース電位制御回路７５からスイッチＳＷ１を介してソース電極配線７４からリング状ゲートＭＯＳＦＥＴ６３のソースに供給されるソース電位をはじめとする、全画素のソース電位は図５（Ｄ）に示すように電位Ｓ１に設定される。Ｓ１＞Ｌｏｗ１であり、これにより、リング状ゲートＭＯＳＦＥＴ６３がオフのままであり、電流が流れないようにする。この結果、全画素のフォトダイオードに蓄積された電荷（ホール）が、対応する画素のリング状ゲート電極の下に一斉に転送される。
【００５８】
図３（Ｂ）に示すリング状ゲート電極４５の下の領域で、ソース近傍ｐ型領域４７が最もポテンシャルが低いので、フォトダイオードに蓄積されていたホールはソース近傍ｐ型領域４７に達し、そこに蓄積される。ホールが蓄積される結果、ソース近傍ｐ型領域４７の電位が上昇する。
【００５９】
続いて、図５（３）に示す期間では、同図（Ｂ）に示すように転送ゲート電極が再びＶｄｄになり、転送ゲートＭＯＳＦＥＴ６５がオフになる。これにより、フォトダイオード（図３（Ａ）の５０、図４の６４等）では再び光電変換効果により電子・ホール対が発生し、フォトダイオードの埋め込みｐ−型領域４９にホールが蓄積され始める。この蓄積動作は次の電荷転送時まで続けられる。
【００６０】
一方、読み出し操作は行単位で順番に行われるので、１行目〜（ｓ−１）行目を読み出す期間（３）では、リング状ゲート電極の電位は図５（Ｃ）に示すようにＬｏｗの状態で、ソース近傍ｐ型領域４７にホールを蓄積したまま待機状態となる。ソース電位は他の行からの信号読み出しが行われている間、その画素からの信号の値により、様々な値をとり得る。また、リング状ゲート電極電位は行毎に様々な値をとり得るが、ｓ行目ではＬｏｗに設定され、リング状ゲートＭＯＳＦＥＴ６３がオフ状態である。
【００６１】
続く図５（４）〜（６）に示す期間では、画素の信号読み出しが行われる。ｓ行目ｔ列目の画素６２について代表してこの信号読み出し動作について説明するに、まず、ソース近傍ｐ型領域４７にホールを蓄積した状態で、図５（Ｅ）に示す垂直シフトレジスタ６８の出力信号が、同図（Ｈ）に示すようにローレベルである期間（４）において、リング状ゲート電位制御回路７０からリング状ゲート電極配線６９に出力される制御信号により、リング状ゲート電極４５の電位を図５（Ｋ）に示すように、ＬｏｗからＶｇ１に上げる。
【００６２】
ここで、上記の電位Ｖｇ１は、前述した各電位Ｌｏｗ、Ｌｏｗ１、Ｖｄｄとの間に
Ｌｏｗ≦Ｌｏｗ１≦Ｖｇ１≦Ｖｄｄ （ただし、Ｌｏｗ＜Ｖｄｄ）
なる不等式が成立する電位である。また、上記の期間（４）ではスイッチＳＷ１が図５（Ｉ）に示すようにオフ、スイッチＳＷ２が同図（Ｊ）に示すようにオン、スイッチｓｃ１が同図（Ｍ）に示すようにオン、スイッチｓｃ２が同図（Ｎ）に示すようにオフとされる。この結果、リング状ゲートＭＯＳＦＥＴ６３のソースに接続されたソースフォロア回路が働き、リング状ゲートＭＯＳＦＥＴ６３のソース電位は、図５（Ｌ）に示すように期間（４）ではＳ２（＝Ｖｇ１−Ｖｔｈ１）となる。ここで、Ｖｔｈ１とはバックゲート（ソース近傍ｐ型領域４７）にホールがある状態での、リング状ゲートＭＯＳＦＥＴ６３のしきい値電圧である。このソース電位Ｓ２がオンとされているスイッチｓｃ１を通してキャパシタＣ１に記憶される。
【００６３】
続く図５（５）に示す期間では、リング状ゲート電位制御回路７０からリング状ゲート電極配線６９に出力される制御信号により、リング状ゲート電極４５の電位を図５（Ｋ）に示すようにＨｉｇｈ１に上げると同時に、同図（Ｉ）、（Ｊ）に示すようにスイッチＳＷ１をオン、スイッチＳＷ２をオフとすると共に、ソース電位制御回路７５から出力されるソース電位を同図（Ｌ）に示すようにＨｉｇｈｓに上げる。ここで、Ｈｉｇｈ１、Ｈｉｇｈｓ＞Ｌｏｗ１である。
【００６４】
上記の電位Ｈｉｇｈ１及びＨｉｇｈｓの値は同じであっても異なっていてもよいが、設計の簡単のためにはＨｉｇｈ１、Ｈｉｇｈｓ≦Ｖｄｄが望ましい。簡便な設定では、Ｈｉｇｈ１＝Ｈｉｇｈｓ＝Ｖｄｄとする。また、リング状ゲートＭＯＳＦＥＴ６３がオンして電流が流れないような電位設定にすることが望ましい。この結果、ソース近傍ｐ型領域４７のポテンシャルが上昇し、ｎウェル４３のバリアを越えてホールがエピタキシャル層４２に排出される（リセット）。
【００６５】
続く図５（６）に示す期間では、再び前記期間（４）と同じ信号読み出し状態にする。ただし、期間（４）とは異なり、図５（Ｍ）、（Ｎ）に示すように、スイッチｓｃ１はオフ、スイッチｓｃ２はオンとする。リング状ゲート電極は図５（Ｋ）に示すように期間（４）と同じＶｇ１とする。しかし、この期間（６）では直前の期間（５）でホールが基板に排出されていて、ソース近傍ｐ型領域４７にはホールが存在しないので、リング状ゲートＭＯＳＦＥＴ６３のソース電位は、図５（Ｌ）に示すように期間（６）ではＳ０（＝Ｖｇ１−Ｖｔｈ０）となる。ここでＶｔｈ０は、バックゲート（ソース近傍ｐ型領域４７）にホールがない状態でのリング状ゲートＭＯＳＦＥＴ６３のしきい値電圧である。
【００６６】
このソース電位Ｓ０はオンとされたスイッチｓｃ２を介してキャパシタＣ２に記憶される。差動アンプ７８はキャパシタＣ１とＣ２の電位差を出力する。すなわち、差動アンプ７８は（Ｖｔｈ０−Ｖｔｈ１）を出力する。この出力値（Ｖｔｈ０−Ｖｔｈ１）は、ホール電荷によるしきい値変化分である。その後、水平シフトレジスタ７９から出力される図５（Ｆ）に示すパルスのうち、同図（Ｏ）に示すｔ列目の出力パルスに基づき、図４の出力スイッチｓｗｔがオンとされ、このｓｗｔのオン期間に図５（Ｐ）にハッチングにより模式的に示すように、差動アンプ７８からのホール電荷によるしきい値変化分が画素６２の出力信号Ｖｏｕｔとしてセンサ外へ出力される。
【００６７】
続いて、図５に（７）で示す期間では、再びリング状ゲート電極４５の電位を図５（Ｂ）に示すようにＬｏｗにし、ソース近傍ｐ型領域４７にはホールがない状態で、全ての行の信号処理が終了するまで（ｓ＋１行〜ｎ行の画素の読み出しが終了するまで）待機する。これらの読み出し期間中、フォトダイオード６４では光電変換効果によるホールの蓄積が進行している。その後、前記期間（１）に戻って、ホールの転送から繰り返す。これにより、各画素から図５（Ｇ）に示す出力信号が読み出される。
【００６８】
上記の図３（Ａ）、（Ｂ）に示す構成の固体撮像素子は、リング状のゲート電極４５を持つリング状ゲートＭＯＳＦＥＴ６３が増幅用ＭＯＳＦＥＴであり、図４に示したように各画素内に増幅用ＭＯＳＦＥＴを持つという意味で、ＣＭＯＳセンサの一種である。そして、このＣＭＯＳセンサは、フォトダイオードに蓄積された電荷（ホール）が、対応する画素のリング状ゲート電極の下のソース近傍ｐ型領域４７に一斉に転送されるようにすることで、グローバルシャッタを実現している。
【００６９】
なお、図５の期間（５）のリセット時のソース電極配線７４の電位供給は、ソース電位制御回路７５から供給する以外の次の方法もある。すなわち、上記期間（５）でスイッチＳＷ１、ＳＷ２をともにオフとして、ソース電極配線７４をフローティングにする。ここでリング状ゲート電極配線６９の電位をＨｉｇｈ１とすると、リング状ゲートＭＯＳＦＥＴ６３がオン状態となり、ソース電極にドレインから電流が供給され、ソース電極電位が上昇する。この結果、ソース近傍ｐ型領域４７のポテンシャルが持ち上げられ、ｎウェル４３のバリアを越えて、ホールがｐ型エピタキシャル層４２に排出される（リセット）。ホールが完全に排出されたときのソース電極電位は、Ｈｉｇｈ１−Ｖｔｈ０になる。この方法では、ソース電位制御回路７５のうち、Ｈｉｇｈｓを供給するトランジスタを削減することができ、その結果、チップ面積を減らすことができる。
【００７０】
本実施の形態におけるグローバル型ＣＭＯＳセンサ１１２は、被写体からの露光は各ライン毎にタイミングがずれることなく同一の１フレーム期間で行われる。これは図５の期間（１）に当たる。一定期間の露光後、グローバル型ＣＭＯＳセンサ１１２内の転送ゲート（図４の転送ゲートＭＯＳＦＥＴ６５等）により、全画素の電荷が一斉に各画素の所定領域（図４のリング状ゲートＭＯＳＦＥＴ６３のバックゲート（図３（Ｂ）のソース近傍ｐ型領域４７））に転送される。これは図５の期間（２）に当たる。その後、読み出し回路により、読み出し期間内で、順次各画素からの信号が読み出される。これは図５の期間（３）〜（７）に当たる。
【００７１】
これにより、図６（Ａ）に示すように画面中、例えば左から右方向に移動する被写体１５０を撮像した場合でも、撮像画像は同一時刻で露光した画像であるので、同図（Ｂ）に１６０で示すような撮像画像が得られ、被写体１５０の画像と異なる画像歪みは発生しない。
【００７２】
次に、本実施の形態の撮影方法、撮像画像、運転支援動作などについて更に詳細に説明する。図１に示した実施の形態の運転支援装置は、図７に示すように、カメラ１１０が例えば自動車１００の屋根などの所定位置に固定されて、自動車１００の走行方向前方位置の被写体を撮像する。ここでは、例えば、自動車１００が数分後に通過する指定地点の目印、風景等を遠方拡大撮影し、自動車１００が指定地点を通過する間際に、その撮影情報を運転操作に役立てる場合について説明する。
【００７３】
図８に示すように、本実施の形態の運転支援装置を搭載している自動車１００が、例えば数分後に通過するであろう指定地点（Ｚ地点）である交差点１０４の１０００ｍ手前の確認地点、すなわちチェックポイント（Ｘ地点）に走行して来た時に、カメラ１１０で交差点１０４の実風景１０８をズーム撮影し、その時撮影して得られた映像信号を、図１のレコーダ１２０内の信号記録再生回路１２２で記録媒体に記録すると共に、ディスプレイ１３０の表示画面１３２の画面枠上部１３３ａに画像表示する。
【００７４】
これにより、画面枠上部１３３ａには、図８（Ａ）に示すように、現在走行中のＸ地点からＺ地点の交差点１０４を遠方拡大撮影した画像、すなわち、交差点１０４を左から右方向へ高速で移動する車両１０５の画像１０５ａと、交差点１０４の前方左側に固定設置されている信号機１０６の画像１０６ａと交差点１０４の右手にある郵便局１０７の画像１０７ａとが立体的に表示される。
【００７５】
ここで、本実施の形態では、グローバル型ＣＭＯＳセンサ１１２を用いているため、従来のローリング型ＣＭＯＳセンサを用いて撮影した時の図１４（Ｂ）に示したような画像の歪みは発生せず、高速に移動する車両１０５の画像１０５ａも静止して表示され、同様に、信号機の画像１０６ａ及び郵便局１０７の画像１０７ａもそれぞれ歪み無く鮮明に表示される。また、本実施の形態では、メカニカルシャッタを用いないため、メカニカルシャッタを用いた場合の複雑な制御が不要であり、装置全体が大型化することもなく、更に消費電力も低減できる。特に消費電力については、１００万画素ビデオカメラの事例で、ＣＣＤ式が８３１ｍＷに対して、本実施の形態のＣＭＯＳセンサが３５０ｍＷであり、約３分の１に低減できる。
【００７６】
また、この時、図１の表示画面１３２の画面枠下部１３３ｂには、図８（Ａ）に示すように、自動車１００が現在走行中のＸ地点からＺ地点までの道路地図の上面図の画像が、自動車の現在位置を示す画像と共に、地図装置１４１からの地図情報に基づいて表示される。これにより、運転者は現在走行中のＸ地点とＺ地点との位置関係を確認できる。これにより、運転者は、画面枠上部１３３ａのＺ地点における立体的な風景画像と、画面枠下部１３３ｂの位置関係情報とに基づいて、Ｚ地点の状況を視覚で確認できる。従って、運転者は安心して運転し、余裕のある判断操作ができる。
【００７７】
自動車１００が更に走行して交差点１０４に接近し、予め設定した位置、例えば、交差点１０４の手前１００ｍの地点（Ｙ地点）に来た時に、運転者の操作により、又は自動的に図１の信号記録再生回路１２２により記録媒体に記録されているＸ地点でズーム撮影した交差点１０４の映像信号が再生されて、ディスプレイ１３０に供給され、画面枠上部１３３ａに図８（Ｂ）に示すように、Ｘ地点で表示された画像と同じＸ地点でズーム撮影した交差点１０４の撮影画像が再表示される。
【００７８】
また、これと同時に、画面枠下部１３３ｂには、図８（Ｂ）に示すように、地図装置１４１から供給された地図情報に基づいて、チェックポイントであるＸ地点からＺ地点までの道路地図の上面図の画像と、自動車１００の現在走行中のＹ地点を示す画像１４５とが表示される。Ｙ地点の画像１４５は、例えば、地図上でフラッシュ“瞬間”表示が行われ、運転者に注意を促す。
【００７９】
これにより、運転者は、指定地点（Ｚ地点）に近いＹ地点において、画面枠上部１３３ａに表示されている予め視覚認識したＺ地点の立体的な風景画像を、実風景１０８と対比しながら、走行中の情報を即時に運転操作へ反映させてＺ地点である交差点１０４へ自動車１００を進入させることができると共に、画面枠下部１３３ｂに表示されている画像から現在走行中のＹ地点とＺ地点の位置関係を把握することで、運転者は安心して交通規則を遵守した安全運転ができ、余裕のある判断操作ができる。また、経路選択の誤りや道路標識の見落とし、不測の事態の遭遇などを防止できる。
【００８０】
なお、本実施の形態のカメラ１１０で用いられるグローバル型ＣＭＯＳセンサ１１２は、図３〜図５と共に説明したように、蓄積容量が大きなリング状ゲートＭＯＳＦＥＴのソース近傍ｐ型領域４７に、光電変換によりｐ-型領域４９に蓄積されている電荷を一括転送することができる。従って、従来のローリング型ＣＭＯＳセンサに比べて広ダイナミックレンジを実現できるため、例えば、夜間、悪天候、明暗差の大きいトンネル前後の地点においても、従来に比べて交通標識をより鮮明に認識することができる。
【図面の簡単な説明】
【００８１】
【図１】本発明の車載カメラ装置を用いた運転支援装置の一実施の形態のブロック図である。
【図２】図１中の表示処理部の一実施の形態のブロック図である。
【図３】本発明で用いるグローバルシャッタ型ＣＭＯＳエリアセンサの１画素分の平面図とそのＸ−Ｘ’線に伴う断面図である。
【図４】本発明で用いるグローバルシャッタ型ＣＭＯＳエリアセンサの全体構成を示す等価回路図である。
【図５】図４の等価回路の動作を説明用タイミングチャートである。
【図６】本発明で用いるグローバルシャッタ型ＣＭＯＳエリアセンサによる動きのある被写体画像とその撮影画像の一例を示す図である。
【図７】自動車に搭載した本発明の運転支援装置の説明図である。
【図８】本発明の運転支援装置のチェックポイントでの遠方撮影と表示画像と、指定地点手前の位置での撮影画像の再表示と実風景の対比を示す説明図である。
【図９】従来の車載カメラ装置の一例の構成図である。
【図１０】従来の運転支援装置の一例の構成図である。
【図１１】ローリングシャッタ型ＣＭＯＳセンサの一例の等価回路図である。
【図１２】図１１の動作説明用タイミングチャートである。
【図１３】ローリングシャッタ型ＣＭＯＳセンサによる読み出し方法と動きのある被写体画像とその撮影画像の一例を示す図である。
【図１４】被写体風景とローリングシャッタ型ＣＭＯＳセンサによる撮影画像の一例を示す図である。
【符号の説明】
【００８２】
４３ ｎウェル
４５ リング状ゲート電極
４６ ｎ＋型ソース領域
４７ ソース近傍ｐ型領域
４８ ｎ＋型ドレイン領域
４９ 埋め込みｐ−型領域
５０、６４ フォトダイオード
５１ 転送ゲート電極
５２、６６ ドレイン電極配線
５３、６９ リング状ゲート電極配線
５４、７４ ソース電極配線（出力線）
５５、７１ 転送ゲート電極配線
６１ 画素敷き詰め領域
６２ 画素
６３ リング状ゲートＭＯＳＦＥＴ
６５ 転送ゲートＭＯＳＦＥＴ
１００ 本発明の運転支援装置を搭載した自動車
１１０ カメラ
１１１ レンズ
１１２ グローバルシャッタ型ＣＭＯＳエリアセンサ
１２０ レコーダ
１２１ 信号処理回路
１２２ 信号記録再生回路
１３０ ディスプレイ
１３１ 表示処理部
１３２ 表示画面
１３３ａ 画面枠上部
１３３ｂ 画面枠下部
１４０ マップナビ
１４１ 地図装置
１３１１ 入力処理部
１３１２ メモリ
１３１３ バッファ
【特許請求の範囲】
【請求項１】
自動車に搭載されており、該自動車の車外の被写体を固体撮像素子により撮像し、該固体撮像素子から出力された映像信号を用いて運転支援を行う車載カメラ装置を用いた運転支援装置であって、
前記被写体の光学像を複数の全画素の光電変換領域に同時に露光して光電変換して得た電荷を全画素に蓄積した後、露光期間に蓄積した前記電荷を各画素から前記映像信号として順次出力する、前記固体撮像素子としてのグローバルシャッタ型ＣＭＯＳセンサを備え、前記自動車の走行中に予め指定した指定地点を撮影する車載カメラ装置と、
前記グローバルシャッタ型ＣＭＯＳセンサから出力された映像信号に対して、所定の信号処理を行って映像信号を出力する共に、前記信号処理を行った映像信号を記録媒体に記録し再生する記録再生手段と、
少なくとも前記自動車が現在走行している走行地点と、前記指定地点との間の道路地図情報を前記走行地点及び指定地点の各画像情報と共に生成する地図情報生成手段と、
前記指定地点に到る手前の近傍の位置で、前記記録再生手段からの前記映像信号の画像を第１の領域に表示すると共に、前記地図情報生成手段で生成された道路地図情報及び前記走行地点及び指定地点の各画像情報を第２の領域に表示する表示手段と
を有し、前記表示手段の前記第１及び第２の領域に表示する画像により運転支援を行うことを特徴とする車載カメラ装置を用いた運転支援装置。
【請求項２】
前記グローバルシャッタ型ＣＭＯＳセンサは、
基板上のリング状ゲート電極と、前記リング状ゲート電極の中央開口部に対応する前記基板の位置に設けられたソース領域と、前記ソース領域を取り囲み、かつ、前記リング状ゲート電極の外周に達しないように前記基板に設けられたソース近傍領域とからなる信号出力用トランジスタと、
光を電荷に変換して蓄積する光電変換領域と、
前記光電変換領域に蓄積された前記電荷を前記ソース近傍領域へ転送する電荷転送手段とを含む画素が複数配列された構造であり、
各画素内の前記電荷転送手段は、前記光電変換領域に蓄積された前記電荷を、同じ画素内の対応する前記ソース近傍領域へ全画素一斉に転送し、前記信号出力用トランジスタは、入力された電荷の量をしきい値の変化として出力することを特徴とする請求項１記載の車載カメラ装置を用いた運転支援装置。
【請求項１】
自動車に搭載されており、該自動車の車外の被写体を固体撮像素子により撮像し、該固体撮像素子から出力された映像信号を用いて運転支援を行う車載カメラ装置を用いた運転支援装置であって、
前記被写体の光学像を複数の全画素の光電変換領域に同時に露光して光電変換して得た電荷を全画素に蓄積した後、露光期間に蓄積した前記電荷を各画素から前記映像信号として順次出力する、前記固体撮像素子としてのグローバルシャッタ型ＣＭＯＳセンサを備え、前記自動車の走行中に予め指定した指定地点を撮影する車載カメラ装置と、
前記グローバルシャッタ型ＣＭＯＳセンサから出力された映像信号に対して、所定の信号処理を行って映像信号を出力する共に、前記信号処理を行った映像信号を記録媒体に記録し再生する記録再生手段と、
少なくとも前記自動車が現在走行している走行地点と、前記指定地点との間の道路地図情報を前記走行地点及び指定地点の各画像情報と共に生成する地図情報生成手段と、
前記指定地点に到る手前の近傍の位置で、前記記録再生手段からの前記映像信号の画像を第１の領域に表示すると共に、前記地図情報生成手段で生成された道路地図情報及び前記走行地点及び指定地点の各画像情報を第２の領域に表示する表示手段と
を有し、前記表示手段の前記第１及び第２の領域に表示する画像により運転支援を行うことを特徴とする車載カメラ装置を用いた運転支援装置。
【請求項２】
前記グローバルシャッタ型ＣＭＯＳセンサは、
基板上のリング状ゲート電極と、前記リング状ゲート電極の中央開口部に対応する前記基板の位置に設けられたソース領域と、前記ソース領域を取り囲み、かつ、前記リング状ゲート電極の外周に達しないように前記基板に設けられたソース近傍領域とからなる信号出力用トランジスタと、
光を電荷に変換して蓄積する光電変換領域と、
前記光電変換領域に蓄積された前記電荷を前記ソース近傍領域へ転送する電荷転送手段とを含む画素が複数配列された構造であり、
各画素内の前記電荷転送手段は、前記光電変換領域に蓄積された前記電荷を、同じ画素内の対応する前記ソース近傍領域へ全画素一斉に転送し、前記信号出力用トランジスタは、入力された電荷の量をしきい値の変化として出力することを特徴とする請求項１記載の車載カメラ装置を用いた運転支援装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００７−１５５４２８（Ｐ２００７−１５５４２８Ａ）
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願番号】特願２００５−３４８９６１（Ｐ２００５−３４８９６１）
【出願日】平成１７年１２月２日（２００５．１２．２）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
【公開日】平成１９年６月２１日（２００７．６．２１）
【国際特許分類】
【出願日】平成１７年１２月２日（２００５．１２．２）
【出願人】（０００００４３２９）日本ビクター株式会社 (3,896)
【Ｆターム（参考）】
[ Back to top ]