説明

車載カメラのキャリブレーション装置

【課題】走行中に後方の車載カメラの光軸を自動的に補正する。
【解決手段】車両後方監視用のビデオカメラ11を備え、後方監視動作のプログラムとカメラ取り付けキャリブレーションプログラムの双方を備えた車両にあって、車両が後進以外どうかを検出して、後方監視動作プログラムとカメラ取り付けキャリブレーションプログラムとを切り換えて同一の制御部12を用いて動作をさせる。ギヤが後進位置にあるときは後方監視プログラムを制御部12で実行させ、ギヤが後進位置以外のときは、キャリブレーションプログラムを制御部12で実行する。これにより、ギヤが後進位置以外のときにカメラ11の取り付け外部パラメータを常時最新の状態に更新することが可能となる。

【発明の詳細な説明】
【技術分野】
【0001】
この発明の実施形態は、走行中に走行とは逆方向の車載カメラのキャリブレーションを自動的に行う車載カメラのキャリブレーション装置に関する。
【背景技術】
【0002】
従来、自車後方に設置された車載カメラの取り付け高さおよび3軸の取り付け回転角度を自車走行中においてもキャリブレーションする手法が提案されている
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2008−011174号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術は、手動あるいは周期的なタイマーで自動によるキャリブレーション動作が行われる。キャリブレーションのアルゴリズムは、特徴点あるいは特徴線を用いて、既知の路面標識等のデータベースを準備し、実際の画像の特徴点あるいは特徴線を比較して行われる。
【0005】
しかしながら、キャリブレーション開始は、手動あるいは自動によって行われるため、経時変化にタイムリーに対応できない可能性があるばかりか、監視カメラとしての画像処理とキャリブレーションを同時に行うには、両方を同時に処理できるシステム能力が必要となりコストが増加する、という問題がある。
【0006】
この実施形態では、走行中に走行とは逆方向の車載カメラの光軸を自動的に補正することのできる車載カメラのキャリブレーション装置を提供する。
【課題を解決するための手段】
【0007】
実施形態によれば、車両に取り付けられた後方監視用カメラと、前記カメラの取り付けパラメータを算出するためのキャリブレーションプログラムが記憶された走行時キャリブレーションプログラムメモリと、前記車両のギヤ位置を検出し、ギヤ位置に基づいた位置信号を発生するギヤ位置検出部と、前記ギヤ位置検出部が後進以外の位置信号を検出した場合に、前記走行時キャリブレーションプログラムメモリに記憶されたキャリブレーションプログラムを読み出し実行する制御部と、を備えた。
【0008】
また、車両に取り付けられた前方監視用カメラと、車両に取り付けられた後方監視用カメラと、前記カメラの取り付けパラメータを算出するためのキャリブレーションプログラムが記憶された走行時キャリブレーションプログラムメモリと、前記車両のギヤ位置を検出し、ギヤ位置に基づいた位置信号を発生するギヤ位置検出部と、前記ギヤ位置検出部が前進の位置信号を検出した場合は、前記走行時キャリブレーションプログラムメモリに記憶されたキャリブレーションプログラムを読み出し、前記後方監視カメラのキャリブレーションを実行し、前記ギヤ位置検出部が後進の位置信号を検出した場合に、前記走行時キャリブレーションプログラムメモリに記憶されたキャリブレーションプログラムを読み出し、前記前方監視カメラのキャリブレーションを実行する制御部と、を備えた。
【図面の簡単な説明】
【0009】
【図1】車載カメラのキャリブレーション装置に関する第1の実施形態について説明するための概念的な回路構成図である。
【図2】図1の動作について説明するための説明図である。
【図3】車載カメラのキャリブレーション装置に関する第2の実施形態について説明するための概念的な回路構成図である。
【図4】図3の動作について説明するための説明図である。
【発明を実施するための形態】
【0010】
以下、実施形態について、図面を参照しながら詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
【0011】
(第1の実施形態)
図1および図2は、車載カメラのキャリブレーション装置の第1の実施形態を示す。図1は概念的な回路構成図、図2は図1の動作について説明するための説明図である。
【0012】
車載カメラが搭載された車両では、製造時にカメラ校正板等による調整マーカーを用いて車載カメラの基準設定からの誤差を校正する車載カメラのキャリブレーションが行われている。具体的には、調整マーカーを画面に表示させるとともに、ジョイスティックの操作に応じて画面内で移動する複数のマーカーを表示させ、画面内で調整マーカーの複数の特定点が複数のマーカーの座標と、複数の特定点の実空間におれる座標を対応させることにより、車載カメラの設定位置と角度に関する情報を求めるものである。求められた結果は、メモリ等の記憶手段に記憶し、以降記憶されたデータに基づき設置された車載カメラから外部情報を取得している。
【0013】
このようにして設置された車載カメラは、振動などの原因による経年変化で製造時にキャリブレーションされた取り付けの角度などが変化し、車載カメラが捉えた方向に狂いが生じるということがある。
【0014】
そこで、この実施形態では、図1に示す回路構成のキャリブレーション装置で、製造時にキャリブレーションされた車載カメラの設置状態が変化する1つのパラメータである角度を、車両走行時にキャリブレーションを図るようにしたものである。
【0015】
図1のキャリブレーション装置は、車両の後方を監視する後方監視カメラ11、後方監視カメラ11で撮像された信号を取り込み処理する制御部12、後方監視カメラ11で撮像された映像を映し出すモニター13、自車のギヤ位置を検出するギヤ位置検出部14、制御部12からの制御信号に基づき、後方監視アプリケーションプログラムメモリ15あるいは走行時自動キャリブレーションプログラムメモリ16のいずれかを選択するプログラム切換部17とから構成される。
【0016】
後方監視カメラ11により撮像された画像信号は、制御部12においてプログラムを実行処理される。後方監視カメラ11は、単眼カメラでもよいしステレオカメラでもよい。モニター13は、図示しない前方監視用カメラの表示も兼用してもよい。ギヤ位置検出部14は、自車のギヤシフト位置を検出してギヤ位置に対応したギヤ位置信号を発生させ、制御部12にギヤ位置情報を供給する。
【0017】
制御部12では、ギヤ位置信号に応じてプログラム切換部17に切り換え用の制御信号を出力する。プログラム切換部17には、後方監視アプリケーションプログラムメモリ15と走行時自動キャリブレーションプログラムメモリ16を切り換える。後方監視アプリケーションプログラムメモリ15と走行時自動キャリブレーションプログラムメモリ16のそれぞれに記憶さたれプログラムは、制御部12の制御信号に基づき実行される。
【0018】
走行時、自動的に後方監視カメラ11のキャリブレーションを実行する走行時自動キャリブレーションプログラムメモリ16に記憶されたキャリブレーションプログラムとしては、後方監視カメラ11の車両への取り付けパラメータを算出するものとする。取り付けパラメータの一例としては、水平方向の光学軸の角度である。なお、ここではカメラの焦点距離や歪曲特性等の内部パラメータについて、走行時におけるキャリブレーションからは外して考える。
【0019】
キャリブレーションの手法は、特に限定しないが走行中に実施可能な手法を用いる。例えば、既知の路面標識等のデータベースを準備し、実際の画像の特徴点あるいは特徴線を比較して外部パラメータのキャリブレーションを行う。また、監視カメラをステレオタイプとし、カメラ間の対応点を求め、これら対応点がエピポーラ面に存在することを利用して外部パラメータのキャリブレーションを行う。
【0020】
次に、図2のフローチャートを参照し、図1の走行時のキャリブレーションについてさらに説明する。
【0021】
まず、ステップS1において、自車のギヤ位置信号が制御部12に供給されると、現在のギヤ位置が検出される。次のステップS2において、ギヤが後進位置であると判定されると、ステップS3に進み、ここで後方監視アプリケーションプログラムメモリ15に記憶された後方監視プログラムが実行される。
【0022】
また、ステップS2でギヤが後進位置ではないと判定されると、ステップS4でキャリブレーションプログラムの実行が開始される。ステップS2でギヤが後進位置である判定されると、ステップS5においてキャリブレーションプログラム実行が停止される。ステップS6でキャリブレーション動作の完了が判定される。完了と判定されるとステップS7で走行時自動キャリブレーションプログラムメモリ16のキャリブレーションプログラムに基づき、記憶されたキャリブレーションデータを更新する。完了と判定されない場合は、ステップS8において、走行時自動キャリブレーションプログラムメモリ16のキャリブレーションプログラムに基づき、記憶された前回のキャリブレーションデータを実行する。
【0023】
以上の各ステップから、ギヤが後進位置の状態のときには、本来の後方監視動作が行われ、ギヤが後進以外のときには常時外部パラメータのキャリブレーションが行われる。通常の車両利用では、大部分の時間帯は前進走行の状態にあり、後進走行時間の割合は極めて低い。従って、車載カメラでは振動や経年変化あるいは使用状況の変動によって、カメラの取り付け角度が変動する可能性があるが、常時最新の外部パラメータを更新することが可能になる。また、共通の制御部12を用いて後方監視アプリケーションプログラムメモリ15と走行時自動キャリブレーションプログラムメモリ16にそれぞれ記憶されたプログラムをプログラム切換部17で切り換えるだけなので、走行時自動キャリブレーションプログラムメモリ16をもつだけでよく少ないコストで実現できる。
【0024】
この実施形態では、前進時に後方監視カメラの使用状況の変動等、最新の状況におけるキャリブレーションを行うことができる。このキャリブレーションは、プログラムの追加で実現できるため少ないコスト追加で実現することができる。
【0025】
(第2の実施形態)
図3および図4は、車載カメラのキャリブレーション装置の第2の実施形態を示す。図3は概念的な回路構成図、図4は図3の動作について説明するための説明図である。
【0026】
この実施形態は、前進時の後方監視カメラのキャリブレーションに加え、後進時の前方監視カメラのキャリブレーション機能を持たせたものである。
【0027】
すなわち、車両の前方を監視する前方監視カメラ31で撮像された画像を制御部12に供給し、前方監視アプリケーションプログラムメモリ32の前方監視アプリケーションプログラムをプログラム切換部17に供給する。そしてプログラム切換部17では、制御部12からの制御信号に基づき、前方監視アプリケーションプログラムメモリ32、後方監視アプリケーションプログラムメモリ15、走行時キャリブレーションプログラムメモリ17にそれぞれ記憶さたれプログラムのいずれかを選択的に出力するようにしている。
【0028】
次に、図4のフローチャートを参照し、図3の走行時のキャリブレーションについて説明する。図4では、ギヤの位置が後進であるか以降のフローチャートを示し、ギヤが前進であるか以降についての説明は省略する。
【0029】
まず、ステップS1において、自車のギヤ位置信号が制御部12に供給されると、現在のギヤ位置が検出される。次のステップS2において、ギヤ前進位置であると判定されると、ステップS3に進み、ここで前方監視アプリケーションプログラムメモリ32に記憶された前方監視プログラムが実行される。
【0030】
また、ステップS2でギヤが前進位置ではないと判定されると、ステップS4でキャリブレーションプログラムの実行が開始される。ステップS2でギヤが前進位置である判定されると、ステップS5においてキャリブレーションプログラム実行が停止される。ステップS6でキャリブレーション動作の完了が判定される。完了と判定されるとステップS7で走行時自動キャリブレーションプログラムメモリ16に記憶されたキャリブレーションデータを更新する。完了と判定されない場合は、ステップS8において、走行時自動キャリブレーションプログラムメモリ16のキャリブレーションプログラムに基づき前回記憶されたキャリブレーションデータを実行する。
【0031】
なお、ステップS3において前方監視カメラ31による前方監視開始は、ギヤのシフト位置がニュートラルにある場合でも前方監視の状態に設定してもよい。
【0032】
この実施形態では、前進時に後方監視カメラおよび後進時に前方監視カメラの使用状況の変動等、最新の状況におけるキャリブレーションを行うことが可能となる。このキャリブレーションは、プログラムの追加で実現できるため少ないコスト追加で実現することができる。
【0033】
いくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、組み合わせ、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【0034】
11 後方監視カメラ
12 制御部
13 モニター
14 ギヤ位置検出部
15 後方監視アプリケーションプログラムメモリ
16 走行時キャリブレーションプログラムメモリ
17 プログラム切換部
31 前方監視カメラ
32 前方監視アプリケーションプログラムメモリ

【特許請求の範囲】
【請求項1】
車両に取り付けられた後方監視用カメラと、
前記カメラの取り付けパラメータを算出するためのキャリブレーションプログラムが記憶された走行時キャリブレーションプログラムメモリと、
前記車両のギヤ位置を検出し、ギヤ位置に基づいた位置信号を発生するギヤ位置検出部と、
前記ギヤ位置検出部が後進以外の位置信号を検出した場合に、前記走行時キャリブレーションプログラムメモリに記憶されたキャリブレーションプログラムを読み出し実行する制御部と、を備えた車載カメラのキャリブレーション装置。
【請求項2】
車両に取り付けられた前方監視用カメラと、
車両に取り付けられた後方監視用カメラと、
前記カメラの取り付けパラメータを算出するためのキャリブレーションプログラムが記憶された走行時キャリブレーションプログラムメモリと、
前記車両のギヤ位置を検出し、ギヤ位置に基づいた位置信号を発生するギヤ位置検出部と、
前記ギヤ位置検出部が前進の位置信号を検出した場合は、前記走行時キャリブレーションプログラムメモリに記憶されたキャリブレーションプログラムを読み出し、前記後方監視カメラのキャリブレーションを実行し、前記ギヤ位置検出部が後進の位置信号を検出した場合に、前記走行時キャリブレーションプログラムメモリに記憶されたキャリブレーションプログラムを読み出し、前記前方監視カメラのキャリブレーションを実行する制御部と、を備えた車載カメラのキャリブレーション装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公開番号】特開2013−107439(P2013−107439A)
【公開日】平成25年6月6日(2013.6.6)
【国際特許分類】
【出願番号】特願2011−252570(P2011−252570)
【出願日】平成23年11月18日(2011.11.18)
【出願人】(504113008)東芝アルパイン・オートモティブテクノロジー株式会社 (110)
【Fターム(参考)】