説明

車載カメラシステム

【課題】車載カメラシステムにおいてローリングシャッタ方式のCMOS撮像素子を適用した場合に発生する撮影画像の歪を改善する。
【解決手段】自動車の制御コンピュータから自動車の速度情報を取得して、取得した速度情報からローリングシャッタで発生する歪を予測し、その予測結果を用いてCMOS撮像素子からの取得画像を補正する手段を設ける。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車載カメラシステムに関する。
【背景技術】
【0002】
本発明の背景技術として、例えば、特開2003−250081号公報(特許文献1)がある。該公報には「[課題]被写体の照度が最低照度以下となる夜間等においても明瞭な画像信号を車載モニタに出力することができる車載カメラを提供する。[解決手段]本発明の車載カメラでは、フレーム数を最低被写体照度を確保できるフレーム数に低減補正してCCD素子の電荷蓄積時間を増大させる機能を有することによって、被写体の照度が最低照度以下となる夜間等において、十分に明るい画像信号を車載モニタに出力することができる。また、フレーム数をリアルタイム性が確保できる範囲に低減補正する機能を有することによって、ギクシャクした感じのない映像が得られる。」と記載されている(要約参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2003−250081号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
自動車において運転者が安全の確認を行うことを目的として、固体撮像素子を用いて周囲の状況を撮影するためのカメラが利用されている。従来の車載カメラでは固体撮像装置として特許文献1にあるように感度に優れたCCD撮像素子を用いることが一般的であった。
【0005】
ところが、近年CMOS撮像素子の技術が向上したことと、車載カメラの高画素数化への要望が高まったことから、構造的に多くの画素の信号を高速に読み出すことに好適なCMOS撮像素子が車載カメラへ適用されるようになってきた。
【0006】
しかしながら、CMOS撮像素子では多くの場合、感度を優先するローリングシャッタ構造をとっており、高速移動しながら撮影する車載カメラにローリングシャッタ方式のCMOS撮像素子を適用すると撮影画像が歪んでしまうという問題がある。 本発明は、車載カメラシステムにおいてローリングシャッタ方式のCMOS撮像素子を適用した場合に発生する撮影画像の歪を改善することを課題とする。
【課題を解決するための手段】
【0007】
上記課題は、特許請求の範囲に記載の発明により解決または改善される。例えば、自動車の制御コンピュータから自動車の速度情報を取得して、取得した速度情報からローリングシャッタで発生する歪を予測し、その予測結果を用いてCMOS撮像素子からの取得画像を補正する手段を設ける。
【発明の効果】
【0008】
本発明によれば、ローリングシャッタ方式のCMOS撮像素子を用いた車載カメラシステムにおいて、車の走行による撮像位置の変化により発生する取得画像の歪を改善できる。
【0009】
上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0010】
【図1】車載カメラのシステム構成図の例(実施例1)である。
【図2】撮影画像で発生する歪の補正の様子を説明する図である。
【図3】車載カメラを車載認識システムに応用した例(実施例2)である。
【発明を実施するための形態】
【0011】
図1に本発明における車載カメラシステム構成の一例を示す。同図において101はレンズ、102はCMOS撮像素子、103はカメラ信号処理手段、104は座標変換処理手段、105はカメラ制御マイコン、106は通信ポート、107は映像信号出力端子、108は自動車制御マイコン、109はセンシング手段群、110は表示処理手段を示している。また、破線で囲まれた111は本発明における車載カメラを示している。
【0012】
101のレンズは、撮影対象物から到来する光を102のCMOS撮像素子の撮像面に結像させる。
【0013】
102のCMOS撮像素子は、該撮像面上にアレー上に配置された光電変換素子(以降、一般的に表現に倣って画素と称する)で該撮像面上に結像された光を電気的エネルギーに変換する。画素で蓄積される該電気的エネルギーは該画素の露光量に比例し、蓄積された電気的エネルギーは撮像信号としてCMOS撮像素子から順次読み出しされ103のカメラ信号処理手段に供給される。
【0014】
103のカメラ信号処理手段は、撮像信号に空間フィルタ処理(一般的に2次元)と表示デバイスの特性に合わせるガンマ処理を行って、輝度信号と色差信号(色差信号はカラーカメラの場合)からなる映像信号を生成する。
【0015】
104の座標変換手段は、入力映像信号である輝度信号Yin(x,y)と色差信号Cin(x,y)におけるローリングシャッタ起因の画像歪を補正して、新たな輝度信号Yout(x,y)と色差信号Cout(x,y)を生成し映像信号として出力する。該輝度信号Yout(x,y)と色差信号Cout(x,y)は、該輝度信号Yout(x,y)と色差信号Cout(x,y)の座標(x,y)ごとに指定される参照座標(fx[v],fy[v])における該輝度信号Yin(x,y)と色差信号Cin(x,y)の値を参照して生成する。このとき参照座標の値は必ずしも整数で有る必要はなく、少数以下の値を有する場合は、該少数以下の値に応じて参照座標近隣の該輝度信号Yin(x,y)と色差信号Cin(x,y)の値から補間信号を生成することで該輝度信号Yout(x,y)と色差信号Cout(x,y)を取得する。ここで、該参照座標(fx[v],fy[v])は、一般的にカメラの移動速度を変数とする関数で表されるので、カメラの移動速度に応じて変化する方式をとるものとする。ここで、該参照座標(fx[v],fy[v])はカメラの移動速度を変数として、リアルタイムで計算することが理想ではあれるが、あらかじめ計算しておいたデータベースを用いて演算処理を簡略化してもよい。
【0016】
105のカメラ制御マイコンは、102のCMOS撮像素子、103のカメラ信号処理手段、104の座標変換手段を制御するカメラ制御手段である。カメラ制御マイコンにおける具体的な制御内容としては、Auto Exposure制御、White Balance制御、及び座標変換手段における参照座標制御がある。このうちAuto Exposure制御は該カメラ信号処理手段から映像信号の輝度レベルを取得して、該CMOS撮像素子の露光時間や映像信号のゲインを調整する。また、White Balance制御は該カメラ信号処理手段から白の信号成分を取得して白い被写体を白く見せるようにRGB成分のゲインを調整する。そして、座標変換手段における参照座標制御は、カメラの移動速度に応じて参照座標を変更させる。
【0017】
106の通信ポートは108の自動車制御マイコンと通信を行うための通信ポートであり、この通信ポートを経由して、カメラ制御マイコンが自動車制御マイコンから自動車の移動速度情報を取得する。
【0018】
107の映像信号出力端子は、111の車載カメラで撮影された映像信号を出力する端子である。該映像信号出力端子には110の表示処理手段が接続されており、該表示処理手段には該車載カメラで撮影された映像を表示することが出来る。
【0019】
また、108の自動車制御マイコンは、該自動車制御マイコンに接続された109のセンシング手段群を通じて自動車各部の動作状態を検出して、その検出情報を元に自動車の動作を制御する。
【0020】
図2は、撮影画像で発生する歪の補正の様子を説明する図であり、特に自動車の進行方向を撮影する場合について示すものである。同図において、201は撮影開始時の画角、202は撮影終了時の画角、203は歪補正された画像の例を示している。
【0021】
ローリングシャッタ方式のCMOS撮像素子では、ライン順次で画素が露光されるため、該撮像素子を用いたカメラを移動体に設置して撮像を行った場合、撮影開始時と撮影終了時の画角が変化してしまう。例えば、移動体の進行方向に向けて設置されたカメラでは、あるフレーム画像の撮影初期の段階では図2の201の如き画角であったのに対して、該フレーム画像の終了段階では、図2の202に示すような画角に変わってしまう。ここで、該フレーム画像が画像上部からライン順次で撮影されるとした場合、撮影映像をそのまま表示処理手段の画面に表示すると、画面下部(露光タイミングの遅い部分)に行くほど画像が拡大されていくような映像が表示されることになる。
【0022】
そこでかかる問題を解決するにあたり、本発明の車載カメラでは、104の座標変換手段を用いて撮影画像に対して、画面下部に行くほど画像を縮小するように座標の変換を行い映像信号として出力する。このとき表示処理手段に表示されるフレーム画像はローリングシャッタ方式に起因する画像の歪が補正された画像となり、凡そ図2の203に示すようなものとすることが出来る。
【0023】
また、進行方向と反対方向に向けて設置されたカメラでは、図2における撮影開始時の画角と撮影終了時の画角関係が逆転して、カメラで撮影されるフレーム画像は画面下部に行くほど縮小される画像になるため、座標変換手段を用いて撮影画像に対して、画面下部に行くほど画像を拡大するように座標の変換を行い映像信号として出力する。
【0024】
さらに進行方向に対して垂直方向に向けて設置されたカメラでは、画面下部に行くほど進行方向に撮影範囲がずれるので、座標変換手段でそれを補正して映像信号として出力する。
【0025】
以上によれば、本発明を用いることで、ローリングシャッタ方式のCMOS撮像素子を用いた車載カメラシステムにおいて、車の走行による撮像位置の変化により発生する取得画像の歪を改善可能であることが示される。
【0026】
図3は、本発明の車載カメラを車載認識システムに応用した例である。同図に301は画像認識エンジンを示しており、その他、図1と同じ符号をつけたものについては、図1同様である。
【0027】
一般的な認識エンジンでは、入力画像にフィルタ処理を行って画像の特徴量を抽出して、認識エンジンに格納されたデータベースとのマッチングを行って認識処理を行う。そのため、入力画像に幾何学的な歪が存在する場合、データベースとのマッチング処理がスムーズに行えず、認識の処理に時間が掛かってしまったり、認識制度が低下してしまったりする場合がある。
【0028】
本発明によれば、カメラで幾何学的な歪が補正されるため、認識処理速度や制度の低下を改善することが可能になる。
【符号の説明】
【0029】
101 レンズ
102 CMOS撮像素子
103 カメラ信号処理手段
104 座標変換処理手段
105 カメラ制御マイコン
106 通信ポート
107 映像信号出力端子
108 自動車制御マイコン
109 センシング手段群
110 表示処理手段
111 本発明における車載カメラ
201 撮影開始時の画角
202 撮影終了時の画角
203 歪補正された画像の例
301 画像認識エンジン

【特許請求の範囲】
【請求項1】
撮影対象物から到来する光を結像するレンズと、該結像された光を電気的エネルギーに変換するCMOS撮像素子と、該CMOS撮像素子から出力される撮像信号を処理して映像信号を生成するカメラ信号処理手段と、該映像信号に生ずる歪を補正する座標変換処理手段と、を有して構成される車載カメラであって、
該車載カメラの移動速度に応じて、該座標変換手段で行われる補正量を変更する車載カメラ。
【請求項2】
請求項1に記載の車載カメラを利用する車載カメラシステムであって、
該車載カメラで撮影した映像信号を表示する表示処理手段を有する車載カメラシステム。
【請求項3】
請求項1に記載の車載カメラを利用する車載カメラシステムであって、
該車載カメラで撮影した映像信号から特徴量の抽出を行って認識処理を行う画像認識エンジンを有する車載カメラシステム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2012−222374(P2012−222374A)
【公開日】平成24年11月12日(2012.11.12)
【国際特許分類】
【出願番号】特願2011−82394(P2011−82394)
【出願日】平成23年4月4日(2011.4.4)
【出願人】(509189444)日立コンシューマエレクトロニクス株式会社 (998)
【Fターム(参考)】