説明

動画撮像装置及び車両用画像表示装置

【課題】緊急車両のフラッシュライトのようにダイナミック点灯する被写体であっても撮像することができる動画撮像装置を提供する。
【解決手段】有効画像期間Ts内の画像を一定周期T0(Ts≦T0)で出力する動画撮像装置であって、被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタ部と、シャッタ部の出力を光電変換する光電変換部と、光電変換部によって光電変換した情報を累積するフィールド内積分回路と、有効画像期間Ts内においてシャッタ部を、シャッタ開時間τを有する周期T1でn回(n・T1≦Ts)シャッタ動作を繰り返すように制御し、光電変換部で光電変換した前記周期T1内の光電変換結果をフィールド内積分回路にn個累積するように制御する制御部と、を具備する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視用の動画撮像装置に関する。また動画撮像装置を車両に搭載して周囲の映像を撮影し自車両周辺の画像を表示する車両用画像表示装置に関する。
【背景技術】
【0002】
従来、車両に複数の撮影装置(カメラ)を搭載し、自車両の前方や後方等の周囲の映像を撮影し、走行中の見えにくい領域を撮影して表示部に表示して運転の補助を行うようにした車両用画像表示装置が知られている。撮像装置で撮像した画像を処理することにより、車両前方の障害物の有無や、後方から急接近してくる車両(例えば緊急車両)等を運転者に知らせることができる。
【0003】
ところで、撮像装置で周囲の映像を撮影した場合、LED信号機や緊急車両の警告灯が正確に撮像できないことがある。例えばLED信号機は、交流電源の周期で点滅するため、NTSC方式で撮像する場合、撮像装置の各フィールドの垂直周波数とLED信号機の点滅周期が近似し、撮像タイミングと信号機の点滅周期(暗くなる周期)が同期してしまうと信号機の点灯状態を撮影できないことがある。
【0004】
特許文献1には、撮像素子の露光開始タイミングと露光終了タイミングを制御するシャッタタイミング制御部を備え、LEDが暗くなるタイミングとシャッタが解放されるタイミングをずらすようにした撮像装置が開示されている。また特許文献2には、LED信号機の点滅周期を記憶する記憶手段と、撮像のシャッタタイミングを制御するコントローラを有し、LEDの点灯状態において撮像画像が得られる確率を大きくした車載カメラが開示されている。
【0005】
しかしながら緊急自動車の警告灯には、フラッシュキセノン灯やダイナミック点灯LEDが使用されている場合があり、ランダムなインパルス状に発光する緊急車両の警告灯を正確に撮像できないことがある。人間には残像があるため、視認感覚としては或る点灯パターンで点滅しているように見えるが、緊急車両の警告灯は、点灯期間において、実際には短い周期のインパルス状発光が所定の間隔で連続している。しかもこの点灯期間中の発光時間あるいは発光間隔に規定はなく、また警告のための点灯パターンも各種各様のものが使用されており、殆どランダムなインパルス発光をしている。
【0006】
一方、撮像の露光調整手段として絞りとシャッタがあるが、車載用カメラではシャッタで露光時間を制御する手法が広く用いられている。晴天時のような明るい環境ではシャッタが開いている露光時間は極めて短くなり、映像周期は一定に設定されるため、映像周期内でシャッタが開放されている割合は低くなり、ほとんどシャッタ閉となる。したがって、シャッタが開いている期間とインパルス状の発光タイミングが一致した場合には撮像できるが、撮像の確率は極めて低くなる。したがって、緊急自動車の警告灯を人間は視認できるが、撮像装置では全く表示されない状況が発生する可能性がある。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2009−17293号公報
【特許文献2】特開2009−65586号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来、緊急車両の警告灯は、点灯期間において短い周期のインパルス状発光が所定の間隔で連続しているため、撮像装置のシャッタが開いている期間とインパルス状の発光タイミングが一致した場合には撮像できるが、撮像できる確率は極めて低くなり、撮像しても全く表示されない状況が発生することがある。
【0009】
本発明はこのような事情に鑑み、緊急車両のフラッシュライトのようにダイナミック点灯する被写体であっても撮像することが撮像装置及び車両用画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
請求項1記載の本発明の実施形態は、有効画像期間Ts内の画像を一定周期T0(Ts≦T0)で出力する動画撮像装置であって、被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタ部と、前記シャッタ部の出力を光電変換する光電変換部と、前記光電変換部によって光電変換した情報を累積するフィールド内積分回路と、前記シャッタ部、光電変換部及び前記フィールド内積分回路を制御する制御部とを備え、前記制御部は、有効画像期間Ts内において前記シャッタ部を、シャッタ開時間τを有する周期T1でn回(n・T1≦Ts)シャッタ動作を繰り返すように制御し、前記光電変換部で光電変換した前記周期T1内の光電変換結果を前記フィールド内積分回路にn個累積するように制御することを特徴とする。
【0011】
請求項3記載の本発明の実施形態は、有効画像期間Ts内の画像を一定周期T0(Ts≦T0)で出力する動画撮像装置であって、被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタと、前記シャッタからの出力を光電変換する動画カメラと、前記光電変換した情報を累積するフィールド内積分回路と、シャッタ開時間τを有する周期T1でn回(n・T1≦Ts)のシャッタ動作を繰り返すように前記シャッタを制御し、前記動画カメラに含む電子シャッタを全開するように制御する制御部と、を具備すること特徴とする。
【0012】
請求項4記載の本発明の実施形態は、車両の周囲を撮影する撮像部と、前記撮像部で撮影した画像をもとに車両周辺にある障害物を判別する画像処理部と、前記画像処理部での判別結果を表示する表示部とを備える車両用画像表示装置であって、前記撮像部は、有効画像期間Ts内の画像を一定周期T0(Ts≦T0)で出力し、被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタ部と、前記シャッタ部の出力を光電変換する光電変換部と、前記光電変換部によって光電変換した情報を累積するフィールド内積分回路と、前記有効画像期間Ts内において前記シャッタ部を、シャッタ開時間τを有する周期T1でn回(n・T1≦Ts)シャッタ動作を繰り返すように制御し、前記光電変換部で光電変換した前記周期T1内の光電変換結果を前記フィールド内積分回路にn個累積するように制御する制御部とを有することを特徴とする。
【0013】
請求項5記載の本発明の実施形態は、車両の周囲を撮影する撮像部と、前記撮像部で撮影した画像をもとに車両周辺にある障害物を判別する画像処理部と、前記画像処理部での判別結果を表示する表示部とを備える車両用画像表示装置であって、前記撮像部は、有効画像期間Ts内の画像を一定周期T0(Ts≦T0)で出力し、被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタと、前記シャッタからの出力を光電変換する動画カメラと、前記光電変換した情報を累積するフィールド内積分回路と、シャッタ開時間τを有する周期T1でn回(n・T1≦Ts)のシャッタ動作を繰り返すように前記シャッタを制御し、前記動画カメラに含む電子シャッタを全開するように制御する制御部とを有すること特徴とする。
【発明の効果】
【0014】
本発明の実施形態による撮像装置によれば、緊急車両のフラッシュライトのようにダイナミック点灯する被写体を確実に撮像することができる。
【図面の簡単な説明】
【0015】
【図1】本発明の一実施形態に係る撮像装置の全体構成を示すブロック図。
【図2】撮像装置のシャッタ部の開閉動作を示すタイミング図。
【図3】インパルス発光を行う被写体の発光強度を示す説明図。
【図4】フィールド内積分回路の動作を示す動作説明図。
【図5】本発明の一実施形態に係る撮像装置の一例を示す回路図。
【図6】図5の画素の具体的な構成を示す回路図。
【図7】本発明の第2の実施形態に係る撮像装置の構成を示すブロック図。
【図8】撮像装置を使用した車載用画像表示装置のブロック図。
【発明を実施するための形態】
【0016】
以下、この発明の一実施形態について図面を参照して説明する。
【実施例1】
【0017】
図1は、本発明の一実施形態に係る撮像装置10の構成を示すブロック図である。撮像装置10は、制御部11と、高速動作するシャッタ部12と、光電変換部13及びフィールド内積分回路14とを含む。制御部11は、CPU、RAM、ROM等を含むシステムコントローラであり、ROMに格納されたプログラムに従って撮像装置10の各部(シャッタ部12、光電変換部13、フィールド内積分回路14)の動作を制御する。
【0018】
シャッタ部12は、光電変換部12への入射光を調整するもので、撮像動作の開始時に開口し、所定の露光時間τの経過後に閉塞する。光電変換部12は、複数の画素で構成された撮像素子であり、被写体光像である入射光を電気信号に変換する。フィールド内積分回路14は、露光時間τにサンプリングされた露光値をフィールド内積分により累積しフィールド毎に出力する。
【0019】
図2〜図4は、図1の撮像装置10の動作を説明する図であり、図2はシャッタ部12の開閉動作を示すタイミング図であり、図3はインパルス発光を行う被写体の発光強度を示す図であり、図4はフィールド内積分回路14の動作を示す図である。
【0020】
図2において、動画の撮像は一定の繰り返し周期T0で行われ、例えばNTSC方式の場合はフィールド周期と呼ばれ、1周期T0=16.7msである。ここで有効撮像期間をTsで示している。例えばTs=15msとする。シャッタ部12は、周期T1内で時間τ(τ<T1)の間だけシャッタを開き、周期T1でn回(例えばn=75)繰り返し露光動作を行う。ここでn・T1≦Tsである。また時間τのサンプリングパルスをP1,P2,P3…で示している。
【0021】
また緊急車両の警告灯のように、ランダムなインパルス発光を行う被写体の発光時間幅は例えば1msで周期的に発光するため、周期T1の時間幅はそれよりも短く設定している。本実施形態では、例えばT1=0.2msに設定している。被写体の発光時間幅、即ちインパルスの発光強度は、図3のように示されるが、発光強度の半値幅(=0.5ms)に対して、T1=0.2msに設定している。
【0022】
図4はフィールド内積分回路14の動作を示す図である。フィールド内積分回路14は、各周期T1において露光時間τにサンプリングされた露光値(p1,p2,p3…)をフィールド内積分により累積し、フィールド毎に出力する。制御部11は露光時間τの設定やフィールド内積分、及びフィールド毎の出力を制御する。
【0023】
こうして、例えば0.2ms刻みで露光を行い、n個の累積量を出力するので、半値幅0.5msのインパルス状発光の被写体も必ず露光され問題なく撮像することができる。
【0024】
図5は、撮像装置10の一例を示す回路図である。撮像装置10は、複数の画素を含み、各画素(セル)によってCMOSイメージセンサを構成する。CMOSイメージセンサは、複数の画素(211〜2mn)を垂直方向にm行、水平方向にn列配置している。また垂直ライン走査回路31、水平ライン走査回路32、読み出し回路33(出力アンプ34を含む)を有している。
【0025】
各画素(211〜2mn)には、行選択線A1〜Amと複数の信号印加ラインR11〜R1m、G1〜Gm、R21〜R2m、及び列信号線S1〜Snが接続されている。また各画素(211〜2mn)には、電源ラインVdd,Vssが接続されるが、図5では省略している。読み出し回路33は、各列信号線S1〜Snに接続された列選択用のトランジスタT11〜T1nを有し、これらトランジスタT111〜T1nを水平ライン走査回路32によって選択動作させることにより、アンプ34を介して出力信号を得るようにしている。
【0026】
図6は、図5の画素(211〜2mn)の具体的な構成を示す回路図であり、図5の斜線を施した画素211を代表に示している。画素211はフォトダイオードD1、トランジスタT01〜T05及びキャパシタC1(Floating Diffusion)を備えている。トランジスタT01〜T05はPチャンネルのMOSトランジスタである。尚、Vddは電源であり、Vssは基準電位点である。
【0027】
行選択用のトランジスタT01のゲートには、行選択線A1を介して行選択信号が供給され、読み出し用のトランジスタT02のゲートには信号印加ラインG1を介してゲート信号が供給され、第1のリセット用のトランジスタT03のゲートには信号印加ラインR11を介してリセット信号が供給される。また増幅用のトランジスタT04のゲートにはキャパシタC1の電荷が供給され、第2のリセット用のトランジスタT05のゲートには信号印加ラインR21を介してリセット信号が供給される。
【0028】
図6において、各素子は光電変換部13を構成するが、トランジスタT02とT05は、高速シャッタ12を構成し、キャパシタC1はフィールド内積分回路14を構成する。以下の説明では、トランジスタT01、T02,T03,T05のゲートにそれぞれ供給される信号を、便宜上、行選択信号A1,ゲート信号G1,リセット信号R11、リセット信号R21と呼ぶ。
【0029】
図6において、フォトダイオードD1に入射光が当たると、入射光量に応じた光電荷が発生する。トランジスタT02がゲート信号G1によってオンすると、フォトダイオードD1の電荷はキャパシタC1に転送される。トランジスタT01が行選択信号A1によってオンしている期間は、トランジスタT04も動作可能であり、トランジスタT04はキャパシタC1の電荷に応じて電流量が変化し、増幅した電流を列信号線S1に出力する。
【0030】
またトランジスタT02がオフになると、トランジスタT03がリセット信号R11によってオンとなり、キャパシタC1の電荷が捨てられリセットされる。トランジスタT02が次にオンになるまでにフォトダイオードD1で露光されて発生した電荷は、次にトランジスタT02がオンしたときにキャパシタC1に転送され、リセット時との差分を検出して出力することになる。
【0031】
CMOSイメージセンサは、一般的に4つのトランジスタT01〜T04が用いられるが、本実施形態では、第2のリセット用のトランジスタT05を追加し、トランジスタT05をリセット信号R21によって図2の周期T1でオン・オフさせ、時間τの期間にオフするようにしている。したがって、フォトダイオードD1による露光は連続して行われず、周期T1のうち時間τにおいて露光が行われる。
【0032】
つまり、トランジスタT05は、図2の周期T1のうち時間τの期間はオフし、それ以外の期間はオンになる。また時間τ後にトランジスタT02がオンとなり、時間τに露光された電荷がキャパシタC1に転送されキャパシタC1に保持される。
【0033】
トランジスタT05は周期T1でオンし、フォトダイオードD1で発生し蓄積された電荷をリセットする。またトランジスタT05でリセットされてから時間τの経過後再びトランジスタT02がオンとなり、時間τにおいて露光された電荷がキャパシタC1に追加転送される。この動作が1フィールド期間にn回繰り返し行われ、キャパシタC1には各時間τの露光電荷がn回累積される。
【0034】
こうして第1の実施形態では、高速シャッタの動作をトランジスタT02,T05のオン・オフによって実現し、キャパシタC1へ電荷転送することでフィールド内積分を実現する。
【0035】
第1の実施形態による動画撮像装置によれば、LED信号機のような被写体は勿論、緊急車両のフラッシュライトのようにダイナミック点灯する被写体を確実に撮像することができる。またイメージセンサの画素毎にトランジスタT05を追加して制御するだけで済むという利点もある。
【実施例2】
【0036】
次に撮像装置の第2の実施形態について図7を参照して説明する。図7の撮像装置10は、制御部11と、高速シャッタ121と、光電変換部131(フィールド内積分回路14の機能を含む)とで構成される。
【0037】
制御部11は、撮像装置10の各部(高速シャッタ121、光電変換部131、フィールド内積分回路14)の動作を制御する。高速シャッタ121は、例えば液晶シャッタであり、図2で示すように周期T1でオン・オフし、時間τの期間に開く。光電変換部131は、電子シャッタを含む動画用カメラである。フィールド内積分回路14は機能説明用に図示したものであり、光電変換部131の電子シャッタをフィールド周期で全開とすることで実現される。
【0038】
高速シャッタ121と光電変換部13の組み合わせにより、実施形態1と同様に周期T1の時間τにおいて露光を行い、これを1フィールド期間にn回繰り返す。光電変換部131は、1フィールド周期で電子シャッタを全開とし、光電変換による電荷を1フィールド期間に蓄積する。
【0039】
第2の実施形態による動画撮像装置によれば、通常のカメラに高速シャッタ121を追加することで、LED信号機のような被写体は勿論、緊急車両のフラッシュライトのようにダイナミック点灯する被写体を確実に撮像することができる。
【0040】
図8は、第1又は第2の実施形態による撮像装置10を車両に搭載した車両用画像表示装置を示すブロック図である。
【0041】
図8の車両用画像表示装置100は、撮像部10、画像処理部41、車両情報生成部42、記憶部43、及び表示・警告部44を備えている。撮像部10は、車両1に取り付けられた複数のカメラ101,102…を有している。カメラ101,102…は、図1の撮像装置と同じ構成であり、車両の前方、後方等の周囲の映像を撮影する。
【0042】
画像処理部41は、車両周辺を撮影した複数画像を用いて、車両周辺の状況を示す状況画像を生成する。また撮影した画像をもとに障害物の有無を判別し、自車両に急接近する他の車両や、緊急車両の有無等を示す画像を生成する。カメラ101,102…は、例えば緊急車両の警告灯のように短い周期でインパルス発光する被写体であっても的確に捉えて撮像することができるため、緊急車両の有無を容易に判別することができる。
【0043】
車両情報生成部42は、車速計やジャイロ等を含み、自車両の車速情報や自車両の傾き等を検出する。また車両情報生成部42はGPS装置を含む。車両情報生成部42からは、自車両の現在位置や方向及び角度、進行方向(前進、バック、右・左折)等の情報を得ることができ、画像処理部41にこれらの情報を伝達する。したがって、画像処理部41は、車両情報生成部42からのナビゲーション情報を処理することもできる。
【0044】
記憶部43は、画像処理部41で生成した状況図等を記憶する。表示・警告部44は、画像処理部41から出力された画像を表示するものであり、液晶ディスプレイ等で構成される。また画像処理部41で障害物や緊急車両の接近を判別したときに警告用の画像を表示する。こうして車両用画像表示装置100は、撮像部10によって撮影した画像を処理して車両周辺の状況画像を表示したり、緊急車両の接近を警告表示することができ、運転の支援をすることができる。
【0045】
尚、以上説明した実施形態による撮像装置は車両用に限らず、一般の監視用カメラ等にも利用することができる。また本発明の実施形態は、特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。
【符号の説明】
【0046】
10…撮像装置
11・・・制御部
12,121…シャッタ部
13,131…光電変換部
14…フィールド内積分回路
211〜2nm…画素
31…垂直ライン走査回路
32…水平ライン走査回路
33…読み出し回路
D1…フォトダイオード
C1…キャパシタ
T01〜T05…トランジスタ
101,102…カメラ
41…画像処理部
42…車両情報生成部
43…記憶部
44…表示・警告部

【特許請求の範囲】
【請求項1】
有効画像期間Ts内の画像を一定周期T0(Ts≦T0)で出力する動画撮像装置であって、
被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタ部と、
前記シャッタ部の出力を光電変換する光電変換部と、
前記光電変換部によって光電変換した情報を累積するフィールド内積分回路と、
前記シャッタ部、光電変換部及び前記フィールド内積分回路を制御する制御部と、を備え、
前記制御部は、有効画像期間Ts内において前記シャッタ部を、シャッタ開時間τを有する周期T1でn回(n・T1≦Ts)シャッタ動作を繰り返すように制御し、前記光電変換部で光電変換した前記周期T1内の光電変換結果を前記フィールド内積分回路にn個累積するように制御することを特徴とする動画撮像装置。
【請求項2】
前記動画撮像装置は、複数の光電変換用の画素を行方向及び列方向にマトリクス状に配置し、
前記各画素は、フォトダイオードと、前記フォトダイオードの光電荷が読み出し用のトランジスタを介して転送されるキャパシタと、前記キャパシタに接続した第1のリセット用のトランジスタと、前記キャパシタの電荷に応じた電流を列信号線に出力する増幅用のトランジスタと、前記増幅用のトランジスタに直列に接続した行選択用のトランジスタと、前記フォトダイオードと電圧源の間に直列に接続した第2のリセット用のトランジスタとを含み、
前記周期T1内の時間τの期間に前記第2のリセット用のトランジスタをオフとし、前記時間τの経過後に前記読み出し用のトランジスタをオンするように制御することを特徴とする請求項1記載の動画撮像装置。
【請求項3】
有効画像期間Ts内の画像を一定周期T0(Ts≦T0)で出力する動画撮像装置であって、
被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタと、
前記シャッタからの出力を光電変換する動画カメラと、
前記光電変換した情報を累積するフィールド内積分回路と、
シャッタ開時間τを有する周期T1でn回(n・T1≦Ts)のシャッタ動作を繰り返すように前記シャッタを制御し、前記動画カメラに含む電子シャッタを全開するように制御する制御部と、を具備すること特徴とする動画撮像装置。
【請求項4】
車両の周囲を撮影する撮像部と、前記撮像部で撮影した画像をもとに車両周辺にある障害物を判別する画像処理部と、前記画像処理部での判別結果を表示する表示部とを備え、
前記撮像部は、有効画像期間Ts内の画像を一定周期T0(Ts≦T0)で出力し、
被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタ部と、
前記シャッタ部の出力を光電変換する光電変換部と、
前記光電変換部によって光電変換した情報を累積するフィールド内積分回路と、
前記有効画像期間Ts内において前記シャッタ部を、シャッタ開時間τを有する周期T1でn回(n・T1≦Ts)シャッタ動作を繰り返すように制御し、前記光電変換部で光電変換した前記周期T1内の光電変換結果を前記フィールド内積分回路にn個累積するように制御する制御部と、を有することを特徴とする車両用画像表示装置。
【請求項5】
車両の周囲を撮影する撮像部と、前記撮像部で撮影した画像をもとに車両周辺にある障害物を判別する画像処理部と、前記画像処理部での判別結果を表示する表示部とを備え、
前記撮像部は、有効画像期間Ts内の画像を一定周期T0(Ts≦T0)で出力し、
被写体からの光が入射され、予め設定した周期で開閉動作を繰り返すシャッタと、
前記シャッタからの出力を光電変換する動画カメラと、
前記光電変換した情報を累積するフィールド内積分回路と、
シャッタ開時間τを有する周期T1でn回(n・T1≦Ts)のシャッタ動作を繰り返すように前記シャッタを制御し、前記動画カメラに含む電子シャッタを全開するように制御する制御部と、を有すること特徴とする車両用画像表示装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate