画像処理装置、画像処理方法、及び画像処理プログラム
【課題】複数の画像を効率よく処理する画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【解決手段】複数の画像取得部は各々画像を取得し、車両情報取得部は車両の移動状態を示す車両情報を取得し、画像補正量算出部は複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係に基づき画像補正量を算出し、画像補正値算出部は、車両情報に基づいて推定した位置関係に基づき当該画像補正量を算出する。
【解決手段】複数の画像取得部は各々画像を取得し、車両情報取得部は車両の移動状態を示す車両情報を取得し、画像補正量算出部は複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係に基づき画像補正量を算出し、画像補正値算出部は、車両情報に基づいて推定した位置関係に基づき当該画像補正量を算出する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
車両の走行の安全を確保するために、車両に搭載されたカメラで撮影された画像に基づき、路面上に描かれた車線境界線や障害物を認識する技術や、撮影された画像を合成して、運転者に注意を促す技術が知られている。
例えば、特許文献1には、視覚センサを介して取込まれる時系列入力画像から抽出される特徴画像に基づき、時間の経過とともに直線的軌跡を描く点列状の車線を抽出する車線認識装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−260358号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1記載の車線認識装置では、複数のカメラを車両に搭載し、各々撮影した画像を表示しようとすると、カメラ毎に認識、表示等、全ての機能を備える必要があり複数の画像を効率よく処理できないという問題がある。
【0005】
本発明は上記の点に鑑みてなされたものであり、複数の画像を効率よく処理する画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【課題を解決するための手段】
【0006】
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部と、前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係に基づき画像補正量を算出する画像補正量算出部とを備え、前記画像補正量算出部は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理装置である。
【0007】
(2)本発明のその他の態様は、前記画像から特徴点を抽出する特徴点抽出部を備え、前記画像補正量算出部は、前記位置関係として前記第1の画像の特徴点と前記第2の画像の特徴点の位置関係を算出することを特徴とする(1)の画像処理装置である。
【0008】
(3)本発明のその他の態様は、前記画像補正量算出部は、前記第2の画像の特徴点を前記第1の画像の特徴点から予め定められた範囲内において探索することを特徴とする(2)の画像処理装置である。
【0009】
(4)本発明のその他の態様は、各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置における画像処理方法において、前記画像処理装置が、前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係を算出する第1の過程を有し、前記第1の過程は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理方法である。
【0010】
(5)本発明のその他の態様は、各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置のコンピュータに、前記画像処理装置が、前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係を算出する手順、を実行させるための画像処理プログラムであって、前記手順は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理プログラムである。
【発明の効果】
【0011】
本発明によれば、車両情報と画像間の位置関係に基づき画像補正値を算出するので、算出した画像補正値に基づいて補正できる複数の画像を一括して管理し、これらの画像を使用するシステムの構築が容易になる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態に係る画像処理システムを示す概念図である。
【図2】本実施形態においてカメラが撮影する画像の視界と光軸の方向の一例を示す平面図である。
【図3】本実施形態に係る画像処理装置の構成を示す概略図である。
【図4】本実施形態に係る画像処理部の構成を示す概略図である。
【図5】本実施形態に係るカメラ座標系と画像座標系の一例を示す。
【図6】本実施形態に係る世界座標系とカメラ座標系の一例を示す。
【図7】本実施形態において画像信号から特徴点を抽出する処理を示すフローチャートである。
【図8】本実施形態に係るマスタ画像と視界重複スレーブ画像の一例を示す概念図である。
【図9】本実施形態に係る特徴点の一例を示す概念図である。
【図10】本実施形態に係るマスタ画像と視界分離スレーブ画像の一例を示す概念図である。
【図11】本実施形態に係るマスタ画像から予測された画像の一例を示す概念図である。
【図12】本実施形態に係る画像処理を示すフローチャートである。
【図13】本実施形態に係る視界重複カメラ間特徴点ペア探索を示すフローチャートである。
【図14】本実施形態に係る視界分離カメラ間特徴点ペア探索を示すフローチャートである。
【発明を実施するための形態】
【0013】
(第1の実施形態)
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図1は、本発明の実施形態に係る画像処理システム1を示す概念図である。
画像処理システム1は、画像処理装置10、複数のカメラ(撮影部)211〜217、車両CAN(Controller Area Network)バス(車両情報伝送媒体)24、複数の車両情報センサ(検出部)241、242、画像バス27(画像情報伝送媒体)、及び補正画像利用部270を含んで構成される。補正画像利用部270は、一例として認識装置271、警告装置272及び表示装置273を含んで構成される。
【0014】
カメラ211〜217は、車両2の各々異なる位置に取り付けられ、それぞれ異なる視界の画像を撮影する。例えば、前方監視カメラ211は、車両2のフロントガラス中央上の天板との境目に取り付けられ、車両2の前方(特に遠方の狭い範囲)の画像を撮影する。広角前方監視カメラ212も、車両2のフロントガラス中央上の天板との境目に取り付けられ、車両2の前方(特に遠方の広い範囲)の画像を撮影する。左右前方死角監視カメラ231は、車両2の先端中央上に取り付けられ、その左側及び右側の画像を撮影する。左後方監視カメラ214は、車両2の左サイドミラーの先端部に取り付けられ、車両2の左後方の画像を撮影する。右後方監視カメラ215は、車両2の右サイドミラーの先端部に取り付けられ、車両2の右後方の画像を撮影する。車室内監視カメラ216は、車両2の座席前列中央の天井に取り付けられ、車室後部の画像を撮影する。後方監視カメラ217は、車両2のリアガラス中央下の尾板との境目に取り付けられ、車両2の後方の画像を撮影する。
【0015】
図2は、本実施形態においてカメラが撮影する画像の視界と光軸の方向の一例を示す平面図である。図2において、破線で示す扇形の円弧部分は、各カメラが撮影する画像の視界である。扇形の中心に示す一点破線は、各カメラの光軸を示す。
前方監視カメラ視界V1は、前方監視カメラ211が撮影する画像の視界を示す。広角前方監視カメラ視界V2は、広角前方監視カメラ212が撮影する画像の視界を示す。左前方死角監視カメラ視界V3L及び右前方死角監視カメラ視界V3Rは、左右前方死角監視カメラ213が撮影する画像の視界のうち、各々左側、右側を示す。左後方死角監視カメラ視界V4は、左後方死角監視カメラ214が撮影する画像の視界を示す。右後方死角監視カメラ視界V5は、右後方死角監視カメラ215が撮影する画像の視界を示す。車室内監視カメラ視界V6は、車室内監視カメラ216が撮影する画像の視界を示す。後方監視カメラ視界V7は、後方監視カメラ217が監視する画像の視界を示す。
【0016】
図2は、前方監視カメラ視界V1と広角前方監視カメラ視界V2、左後方死角監視カメラ視界V4と後方監視カメラ視界V7、右後方死角監視カメラ視界V5と後方監視カメラ視界V7はそれぞれ、一方のカメラの視界と他方のカメラの視界の一部が重複することを示す。但し、その他のカメラ間の組み合わせについては、撮影された画像の視界は重複しない。
【0017】
図1に戻り、カメラ211〜217は各々、撮影した画像を表す画像信号を画像処理装置10に出力する。
ヨーレートセンサ241は、車両2のエンジンルームに取り付けられ、車両2の鉛直軸周りの回転速度(ヨーレート)を検出する。ヨーレートセンサ241は、検出したヨーレートを表すヨーレート情報を車両CANバス24に出力する。
速度センサ242は、車両2の車輪のハブベアリングを保持するハウジングに設けられ、速度を検出する。速度センサ242は、検出した速度を表す速度情報を車両CANバス24に出力する。
車両CANバス24は、車両2の移動状態を示す車両情報を各センサから入力され、入力された車両情報を画像処理装置10に出力する。車両情報には、上述のヨーレート情報と速度情報が含まれる。
なお、ヨーレートセンサ241及び速度センサ242を含めて、車両情報を検出する機能部を車両情報検出部と総称する。
【0018】
画像処理装置10は、カメラ211〜217各々から入力された画像信号と、車両CANバス24から入力された車両情報と、に基づき画像補正量を算出する。画像処理装置10は、入力された画像信号を圧縮符号化して圧縮画像信号を生成し、生成した圧縮画像信号と算出した画像補正量を記録する。また、画像処理装置10は、生成した圧縮画像信号と算出した画像補正量を画像バス27に出力する。
なお、画像処理装置10の構成及び処理については後述する。
【0019】
画像バス27は、画像処理装置10から入力された圧縮画像信号と画像補正量を補正画像利用部270の認識装置271及び表示装置273に出力する。
認識装置271は、画像バス27から入力された圧縮画像信号を復号して画像信号を生成する。認識装置271は、生成した画像信号を入力された画像補正量に基づく補正して補正画像信号を生成する。認識装置271は生成した補正画像信号と障害物を表す画像の画像信号との相関を示す指標値を算出し、算出した指標値が予め設定された閾値を超えた場合に、障害物認識信号を生成する。この障害物認識信号は、当該障害物が撮影したカメラの視界にあることを表す信号である。認識装置271は、生成した障害物認識信号を警告装置272に出力する。
警告装置272は、認識装置271から障害物認識信号が入力され、障害物が存在することを表す警告情報(例えば、警告音、警告画面)を提示する。
表示装置273は、画像バス27から入力された圧縮画像信号を復号して画像信号を生成する。認識装置271は、生成した画像信号を入力された画像補正量に基づいて補正して補正画像信号を生成する。表示装置273は生成した補正画像信号に基づく画像を表示する。
【0020】
次に、本実施形態に係る画像処理装置10の構成及び処理について説明する。
図3は、本実施形態に係る画像処理装置10の構成を示す概略図である。
画像処理装置10は、カメラインタフェース(画像取得部)1211〜1217、画像処理部122、車両CANバスインタフェース(車両情報取得部)124、画像バスインタフェース127、サービスインタフェース129及び画像記録部130を含んで構成される。
【0021】
カメラインタフェース1211〜1217は、カメラ121〜127から入力される画像信号を伝達する導線を画像処理装置10に接続する。
例えば、前方監視カメラインタフェース1211は、前方監視カメラ121から画像信号を入力される。広角前方監視カメラインタフェース1212は、広角前方監視カメラ122から画像信号を入力される。左右前方死角監視カメラインタフェース1213は、左右前方死角監視カメラ123から画像信号を入力される。左後方監視カメラインタフェース1214は、左後方死角監視カメラ124から画像信号を入力される。右後方監視カメラインタフェース1215は、右後方死角監視カメラ125から画像信号を入力される。車室内監視カメラインタフェース1216は、車室内監視カメラ126から画像信号を入力される。後方監視カメラインタフェース1217は、後方監視カメラ127から画像信号を入力される。
カメラインタフェース1211〜1217は、カメラ121〜127から入力された画像信号を各々画像処理部122に出力する。
【0022】
画像処理部122は、カメラインタフェース1211〜1217から各々入力された画像信号と車両CANバスインタフェース124から入力された車両情報に基づいて画像信号毎の画像補正量を算出する。画像処理部122は、入力された画像信号を圧縮符号化して、より情報量の少ない圧縮画像信号を生成し、生成した圧縮画像信号と算出した画像補正量を同期して画像バスインタフェース127及び画像記録部130に出力する。このように、画像処理部122が圧縮画像信号を出力することで、出力先における容量の超過、輻輳又は伝送遅延を回避する。
また、画像処理部122は、サービスインタフェース129から入力されたイベント情報を画像記録部130に出力する
なお、画像処理部122の構成及び処理については後述する。
【0023】
車両CANバスインタフェース124は、車両CANバス24から入力される車両情報を伝達する導線を画像処理装置10に接続し、当該車両情報を画像処理部122に出力する。
画像バスインタフェース127は、圧縮画像信号と画像補正量を画像バス27に出力する導線を画像処理装置10に接続し、その圧縮画像信号と画像補正量を画像処理部122から画像バス27に出力する。
サービスインタフェース129は、イベント情報検出部(図示せず)からイベント情報を入力する導線を画像処理装置10に接続し、そのイベント情報を画像処理部122に出力する。
ここで、イベント情報とは、車両2又はその周囲の状態を示す情報であり、例えば、ハンドル操舵角、シフトレバー位置、車両2の現在地、等の何れか又はその組み合わせである。イベント情報検出部は、イベント情報を検出する機能部を総称し、検出したイベント情報を各々サービスインタフェース129に出力する。
【0024】
画像記録部130は、画像処理部122から入力された圧縮画像信号、画像補正量及びイベント情報を時刻毎に対応付けて記憶する。このように、画像記録部130は、いわゆるドライブレコーダとして機能する。また、画像処理部122から画像要求信号が入力されたときには、その画像要求信号が示す圧縮画像信号と対応する画像補正量を画像処理部122に出力する。
【0025】
次に、本実施形態に係る画像処理部122の構成及び処理について説明する。
図4は、本実施形態に係る画像処理部122の構成を示す概略図である。
画像処理部122は、光軸補正部1221、光軸補正部1222−2〜1222−7、特徴点抽出部1223、特徴点ペア探索部(画像補正量算出部)1224、画像圧縮部1225及びデータ入出力部を含んで構成される。
以下、前方監視カメラ211をマスタカメラとして説明する。マスタカメラとは、その他のカメラが撮影した画像信号に係る画像補正量(後述)を算出するために基準とする画像信号を撮影するカメラである。マスタカメラ以外のカメラをスレーブカメラと呼ぶ。
【0026】
光軸補正部1221は、マスタカメラである前方監視カメラ211から対応する前方監視カメラインタフェース1211を介して入力された画像信号(以下、マスタ画像)に対して前方監視カメラ211の光軸補正量を補償する。光軸補正部1221は、予めマスタ画像に対して既存の方式(例えば、消失点推定法、オプティカルフロー検出法、ダイレクトメソッド等)で光軸補正量を算出しておく。
光軸補正部1221は、算出した光軸補正量を用いてマスタ画像を座標変換して補正して、光軸補正マスタ画像を生成する。
これにより、車両の個体又は経年変化により異なる前方監視カメラ211の設置位置や光軸の方向による視界の差異を補償する。
光軸補正部1221は、更にカメラ座標系で表された光軸補正マスタ画像を世界座標系に座標変換し、座標変換した画像信号(後述する射影マスタ画像)を特徴点抽出部1223に出力する。
【0027】
ここで、カメラ座標系(Oc−XcYcZc)と画像座標系(Op−XpYp)との関係について説明する。カメラ座標系とは、カメラの光軸を基準とする座標系である。画像座標系とはカメラの撮影素子(イメージセンサ)を基準とする座標系である。
図5は、本実施形態に係るカメラ座標系と画像座標系の一例を示す。
図5において、Xc軸、Yc軸、Zc軸は各々カメラ座標系の座標軸を示し、Xp軸、Yp軸は各々画像座標系の座標軸を示す。Ocはカメラ座標系の原点であり、Opは画像座標系の原点(前主点)である。
図5において、カメラが備えるレンズの焦点Ocとイメージセンサの中心Pcentとを結ぶ軸が光軸であり、この方向がZc軸方向である。イメージセンサの中心Pcentは、焦点Ocから光軸の方向に焦点距離fだけ離れた位置にある。イメージセンサの受光面の法線方向は光軸に平行である。イメージセンサの水平方向に平行な方向がXc軸方向である。イメージセンサの垂直方向に平行な方向がYc軸方向である。
画像座標系では、原点Ocはイメージセンサの右上端の画素であり、Xp座標は原点OcからXc軸方向への座標であり、Yp座標は原点OcからYc軸方向への座標である。
よって、原点Ocから(Pxs,Pys)番目における画素のカメラ座標系で表した座標は、(f,Pxs,Pys,1)Tとなる。但し、Pは、イメージセンサ上の画素間間隔を表す。Tは、ベクトル又は行列の転置を示す。
【0028】
次に、世界座標系(Ow−XwYwZw)とカメラ座標系(Op−XpYp)との関係について説明する。世界座標系とは、空間(本実施例では、カメラ211〜217の視界)全体を含む座標系である。
図6は、本実施形態に係る世界座標系とカメラ座標系の一例を示す。
図6において、Xw軸、Yw軸、Zw軸は各々世界座標系の座標軸を示し、Xc軸、Yc軸、Zc軸は各々カメラ座標系の座標軸を示す。Xw軸は水平面に沿って車体2の前方に向かう座標軸である。Yw軸は車体2の前方に対し水平面に沿って左方に向かう座標軸である。Zw軸は車体2の鉛直方向に向かう座標軸である。
ロール角θとはXw軸を中心に回転する角度である。ピッチ角φとはYw軸方向を中心に回転する角度である。パン角ρとはZw軸を中心に回転する角度である。
また、世界座標系を基準としたカメラの光軸のロール角θをロール角ずれ量、ピッチ角φをピッチ角ずれ量、パン角ρをパン角ずれ量という。世界座標系を基準としたカメラの取り付け位置を(Xc,Yc,Zc)をカメラずれ量という。このXcを横ずれ量、Ycを縦ずれ量、Zcを高さという。即ち、光軸補正量とは、横ずれ量Xc、縦ずれ量Yc、高さZc、パン角ずれ量ρ、ピッチ角ずれ量φ又はロール角ずれ量θの総称である。
【0029】
従って、カメラ座標系で表されるイメージセンサ上の各画素の座標は、次式で与えられる行列Tcwを用いて世界座標系に変換することができる。
【0030】
【数1】
【0031】
式(1)において、第1項はカメラずれ量(Xc,Yc,Zc)を補償する行列成分である。この行列成分は、カメラ座標系で表された座標にカメラずれ量を加算する成分である。 第2項はロール角ずれ量θを補償する行列成分である。この行列成分はXw軸方向を中心にロール角θだけカメラ座標系で表された座標を回転する成分である。第3項はピッチ角ずれ量φを補償する行列成分である。この行列成分はYw軸方向を中心にピッチ角φだけカメラ座標系で表された座標を回転する成分である。第4項はパン角ずれ量を補償する行列成分である。この行列成分はZw軸方向を中心にパン角ρだけカメラ座標系で表された座標を回転する成分である。
さらに世界座標系においてZw方向の座標(高さ)がゼロ(Zw=0)の平面に座標を射影する行列Tz0は次式で与えられる。
【0032】
【数2】
【0033】
図4に戻り、光軸補正部1221は、カメラ座標系で表された座標(f,Pxs,Pys,1)Tを、光軸補正量に基づく行列Tz1(Tz1=Tz0Tcw)を用いて世界座標系においてZw方向の座標がゼロとなる座標(x1,y1,0,1)Tに射影する。
これにより、光軸補正部1221は、前方監視カメラ211の光軸ずれ量を補償する。このようにして補償された画像を射影マスタ画像と呼び、光軸補正部122は射影マスタ画像を特徴点抽出部1223に出力する。
光軸補正量が未設定の際には、光軸補正部1221は、上述の座標変換を行わずに、入力されたマスタ画像を特徴点抽出部1223に出力する。
【0034】
光軸補正部1222−2〜1222−7は各々、スレーブカメラに対応するカメラインタフェース1212〜1217各々を介して入力された画像信号(以下、スレーブ画像)に対して各スレーブカメラ212〜217の光軸補正量を補償する。光軸補正量を補償するために、光軸補正部1222−2〜1222−7は、特徴点ペア探索部1224からスレーブカメラ212〜217毎の光軸補正量を入力され、入力された光軸補正量を用いてスレーブカメラ212〜216毎にスレーブ画像を座標変換する。
光軸補正部1222−2〜1222−7は、光軸補正量を補償したスレーブ画像(以下、射影スレーブ画像)を特徴点抽出部1223に各々出力する。
光軸補正量が未設定又は未入力の際には、光軸補正部1222−2〜1222−7は、上述の座標変換を行わずに、各スレーブ画像を特徴点抽出部1223に出力する。
【0035】
特徴点抽出部1223は、光軸補正部1221から入力された射影マスタ画像及び光軸補正部1222−2〜7から入力された射影スレーブ画像各々から特徴点を抽出する。特徴点とは、画像信号を構成する輝度値の変化が周囲よりも著しい領域であって、その面積が極めて小さい領域又は特異点である。例えば、特徴点は、道路上に描かれたレーンマーク(白線)の頂点又は交点である。特徴点抽出部1223は、レーンマークに限らず、道路上に描かれた路面表示の特徴点を抽出してもよい。
【0036】
特徴点抽出部1223は、射影マスタ画像又は射影スレーブ画像(例えば、横2048画素×縦6144画素)を小さい領域(セル、例えば、横4画素×縦4画素)に分割し、複数のセルからなるブロック毎に算出した特徴量、例えばSIFT(Scale Invariant Feature Transform)特徴量を用いて特徴点を抽出する。
ここで、特徴点抽出部1223が特徴点を抽出する処理について説明する。
図7は、本実施形態において画像信号から特徴点を抽出する処理を示すフローチャートである。
【0037】
(ステップS101)特徴点抽出部1223は、ブロック毎にステップS102〜S107の処理を繰り返し、画像内の全ブロックについて処理が完了した後、終了する。
(ステップS102)特徴点抽出部1223は、セル毎にステップS103〜S104の処理を繰り返し、画像内の全セルについて処理が完了した後、ステップS105に進む。
(ステップS103)特徴点抽出部1223は、特徴点抽出部1223は、各セルに含まれる画素(i,j)毎に、輝度値L(i,j)の勾配の大きさm(i,j)とその勾配の方向ψ(i,j)を算出する。
【0038】
【数3】
【0039】
【数4】
【0040】
式(3)、(4)において、fx(i,j)は、水平(x)方向への輝度値の勾配L(i+1,j)−L(i−1,j)、fy(i,j)は、垂直(y)方向への輝度値の勾配L(i,j+1)−L(i,j−1)である。
(ステップS104)特徴点抽出部1223は、勾配の方向θ(i,j)の区間(例えば、45度間隔、計8区間)毎に、セルにおける勾配の大きさm(i,j)の累積値(総和)をヒストグラムvcの要素として算出する。このヒストグラムvcは8次元のベクトルである。特徴点抽出部1223は、ヒストグラムvcごとに、その要素の最大値で除算して規格化する。
(ステップS105)特徴点抽出部1223は、セル毎に算出し規格化したヒストグラムvcの各要素をブロック毎にとりまとめ、SIFT特徴量vbを生成する。ここで、ブロックとは、複数のセル(例えば、横2セル×縦2セル;横8画素×縦8画素)から構成される画像の領域をいう。この例では、SIFT特徴量vbは、32次元(8×2×2)のベクトルである。
【0041】
(ステップS106)特徴点抽出部1223は、自己が備える記憶領域から判定特徴量abを読み出し、読み出した判定特徴量abとSIFT特徴量vbに基づき識別値dbを算出する。判定特徴量abとは、SIFT特徴量vbと同一の次元数のベクトルであって、検出しようとする特徴点の特性を示すベクトルである。特徴点抽出部122は、検出しようとする特徴点の形状や位置に応じた複数の判定特徴量abを記憶しておいてもよい。識別値dbは、判定特徴量abとSIFT特徴量vbの類似度又は相関を示す変数、例えば、内積である。
(ステップS107)特徴点抽出部1223は、識別値dbが予め設定された閾値よりも大きいブロックを特徴点が存在するブロックと判定し、そのブロックを代表する座標、例えば中心座標を特徴点の座標情報と定める。
【0042】
図4に戻り、特徴点抽出部1223は、射影マスタ画像、射影スレーブ画像及びこれらの画像から抽出された特徴点の座標情報を特徴点ペア探索部1224に出力する。
【0043】
特徴点ペア探索部1224は、特徴点抽出部1223から射影マスタ画像、射影スレーブ画像及びこれらの画像から抽出された特徴点の座標情報が入力される。
特徴点ペア探索部1224は、射影マスタ画像から抽出された特徴点と対応する射影スレーブ画像から抽出された特徴点とのペアを探索する。
【0044】
まず、マスタ画像の特徴点と、そのマスタ画像の視界の一部が重複するスレーブ画像(視界重複スレーブ画像)の特徴点とのペアを探索する処理(視界重複カメラ間特徴点ペア探索)について説明する。
図8は、本実施形態に係るマスタ画像と視界重複スレーブ画像の一例を示す概念図である。本実施形態では、視界重複スレーブ画像は、広角前方監視カメラ212が撮影した画像である。
【0045】
図8の左段は、路面上を走行する車両2が備える前方監視カメラ211の視界(破線)と広角前方監視カメラ212の視界(実線)を示す。横軸は、世界座標系のx座標、縦軸は同座標系のy座標を示す。
図8の中上段は、前方監視カメラ211が撮影した画像(マスタ画像)の一例を示す。図8の中下段は、広角前方監視カメラ212が撮影した画像(視界重複スレーブ画像)の一例を示す。
図8の右上段は、同図中段の一点破線で描かれた円(一点破線円)内の部分であって、マスタ画像に基づく射影マスタ画像において抽出された特徴点(星印)を含む部分を示す。図8の右下段は、同図中段の一点破線円内の部分であって、視界重複スレーブ画像に基づく射影スレーブ画像において抽出された特徴点(星印)を含む部分を示す。
【0046】
ここで、特徴点ペア探索部1224は、視界重複スレーブ画像に基づく射影スレーブ画像において抽出された特徴点の座標と、射影マスタ画像から抽出された特徴点の座標との差分を算出する。この射影スレーブ画像は、視界重複スレーブ画像の各画素の座標値を、光軸補正量に基づく行列Tz1を用いて世界座標系に変換されて構成されたものである。
特徴点ペア探索部1224は、当該差分に基づく二乗誤差が最小となる特徴点ペア及び光軸補正量を画像補正量と決定する。
【0047】
図9は、本実施形態に係る特徴点の一例を示す概念図である。図9において、実線は射影スレーブ画像を示し、破線は射影スレーブ画像を示す。また、図9は、各画像の特徴点を星印で示す。ここで、特徴点ペア探索部1224は、設計値に基づくスレーブカメラ(この例では、広角前方監視カメラ)の光軸補正量を初期値と設定し、射影マスタ画像から抽出された特徴点から各々予め設定した範囲の座標の視界重複スレーブ画像から抽出された特徴点が対向する特徴点の候補と設定する(図9、一点破線円参照)。このような候補が複数個存在する場合には、特徴点ペア探索部1224は、射影マスタ画像から抽出された特徴点からの距離が短い順に、特徴点の候補を探索する。なお、特徴点ペア探索部1224は、設計値から予め設定された範囲内で光軸補正量を探索してもよい。
【0048】
次に、射影マスタ画像の特徴点と、そのマスタ画像の視界と重複しないスレーブ画像(視界分離スレーブ画像)に基づく射影スレーブ画像の特徴点とのペアを探索する処理(視界分離カメラ間特徴点ペア探索)について説明する。
図10は、本実施形態に係るマスタ画像と視界分離スレーブ画像の一例を示す概念図である。本実施形態では、視界分離スレーブ画像は、左右前方死角監視カメラ213、左後方監視カメラ214、右後方監視カメラ215、及び後方監視カメラ217が各々撮影した画像である。但し、図10は、視野分離スレーブ画像の一例として右後方死角監視カメラ215が撮影した画像を示す
なお、本実施形態では、車室内監視カメラ216が撮影した画像を視界分離カメラ間特徴点ペア探索の対象としない。
【0049】
図10の左段は、路面上を走行する車両2が備える前方監視カメラ211(マスタカメラ)の視界(破線)と右後方死角監視カメラ215(スレーブカメラ)の視界(実線)を示す。横軸は、世界座標系のx座標、縦軸は同座標系のy座標を示す。
図10の中上段は、前方監視カメラ211が撮影した画像(マスタ画像)の一例を示す。図10の中下段は、車室内監視カメラ216が撮影した画像(視界分離スレーブ画像)の一例を示す。
図10の右上段は、同図中上段の一点破線円にマスタ画像に基づく射影マスタ画像から抽出された特徴点(星印)を含む部分を示す。図10の右下段は、同図中下段の一点破線円内に視界重複スレーブ画像に基づく射影スレーブ画像から抽出された特徴点(星印)を含む部分を示す。
即ち、図10は、前方監視カメラ211の視界は車両2の前方を向き、右後方死角監視カメラ215の視界は車両2の右後方を向いており、両者が重複しないことを示す。
【0050】
しかし、車両2が移動すると、マスタ画像の一部が、遅れて視野分離スレーブ画像に含まれることがある。例えば、前方監視カメラ211がある時刻において車両2の右前方のレーンマークを撮影し、車両2が前方に進行した後に右後方死角監視カメラ215がそのレーンマークを撮影する。また、マスタ画像を撮影した時刻から、その画像の一部が視野分離スレーブ画像に含まれるまでの時間は、車両2の車両情報(速度情報、ヨーレート情報)に依存する。例えば、車両2の速度が高いほど、マスタ画像を撮影した時刻から、その画像の一部が視野分離スレーブ画像に現れるまでの時間(出現時間)が短くなる。
そこで、特徴点ペア検索部1224は、視界分離カメラ間特徴点ペア探索を行う前に、車両CANバスインタフェース124から入力された車両情報に基づいてマスタ画像から抽出された特徴点の座標を予測する。
【0051】
図11は、本実施形態に係るマスタ画像から予測された画像の一例を示す概念図である。
図11の左段は、路面上を走行する車両2が備える前方監視カメラ211(マスタカメラ)の視界(破線)と右後方死角監視カメラ215(スレーブカメラ)の視界(実線)を示す。横軸は、世界座標系のx座標、縦軸はy座標を示す。また、x座標の右上から右下に向かう破線の矢印は、その起点から車両情報に基づき当該矢印の終点となる位置を予測位置と定めることを示す。
図11の右段は、射影マスタ画像及び射影スレーブ画像であって、同図左段の一点破線で示される領域を拡大した部分を表す。同図右段において、白塗りの縦長の長方形は、射影マスタ画像が示すラインマーカを示し、当該底辺に特徴点を有することを示す。また、破線の縦長の長方形は、予測後の射影スレーブ画像が示すラインマーカを示し、当該底辺に特徴点を有することを示す。
そこで、特徴点ペア検索部1224は、射影マスタ画像から抽出された特徴点から予め定められた範囲内にある、予測後の射影スレーブ画像の特徴点を候補特徴点と定める。そして、特徴点ペア探索部1224は、当該抽出された特徴点の座標と候補特徴点の座標との差を最小とする、候補特徴点及び画像補正量を定める。
【0052】
具体的には、特徴点ペア探索部1224は、現在から時間ΔT後の時刻における世界座標(x’1,y’1,1)Tを、現在の世界座標(x1,y1,1)T、速度情報が示す速度v及びヨーレート情報が示すヨーレートηに基づいて推定する。
【0053】
【数5】
【0054】
式(5)において、(tx,ty)は、速度vとヨーレートηに基づく移動量(vΔt・cos(Δt・θ’/2),vΔt・sin(Δt・θ’/2))である。θは、ヨーレートηに基づく回転角Δt・ηである。
【0055】
特徴点ペア検索部1224は、補正された特徴点の座標と射影スレーブ画像から抽出された特徴点の座標との間で、特徴点のペアを探索し視野分離スレーブ画像の画像補正量を決定する。このとき、特徴点ペア探索部1224は、上述の視野重複カメラ間特徴点ペア探索と同様な処理を行う。
即ち、時間ΔT後の時刻における世界座標(x’1,y’1,1)Tは特徴点のペアを探索する際のカメラずれ量の初期値となる。ここで、特徴点ペア検索部1224は、補正された特徴点の座標と射影スレーブ画像から抽出された特徴点の座標が近似するように、時間ΔTをカメラ毎の設計値に基づき速度vに反比例するように定めてもよい。これにより、特徴点のペアを探索するための特徴点の組み合わせ数や画像補正量の範囲を限定し、演算量を低減することができる。
特徴点ペア検索部1224は、他のスレーブカメラが撮影した画像信号に基づく視野分離スレーブ画像についても同様な処理を行う。
【0056】
図4に戻り、特徴点ペア検索部1224は、決定したスレーブカメラ毎の画像補正量をデータ入出力部1226に出力する。特徴点ペア検索部1224は、カメラ毎の画像信号、即ち射影マスタ画像及び射影スレーブ画像を画像圧縮部1225に出力する。
また、特徴点ペア検索部1224は、決定したスレーブカメラ毎の画像補正量を各々対応する光軸補正部1222−2〜7に出力する。
【0057】
画像圧縮部1225は、特徴点ペア探索部1224から入力されたカメラ毎の画像信号を公知の画像符号化技術(例えば、Motion−JPEG)を用いて各々圧縮符号化し、より情報量が少ない圧縮画像信号を生成する。
画像圧縮部1225は、生成した圧縮画像信号をデータ入出力部1226に出力する。
【0058】
データ入出力部1226は、画像圧縮部1225から圧縮画像信号が入力され、特徴点ペア探索部1224から画像補正量が入力され、車両CANバスインタフェース124から車両情報が入力され、サービスインタフェース130からイベント情報が入力される。
データ入出力部1226は、入力された圧縮画像信号及び画像補正量をカメラ毎に同期して画像バスインタフェース127へ出力する。
データ入出力部1226は、入力された圧縮画像信号、画像補正量、車両情報及びイベント情報を画像記憶部129へ出力する。データ入出力部1226は、画像記憶部129へ圧縮画像信号と画像補正量を出力する際、カメラ毎にこれらを同期させる。
データ入出力部1226は、画像記憶部129から、圧縮画像信号、画像補正量、車両情報及びイベント情報が入力される。
【0059】
次に、本実施形態に係る画像処理装置1が行う画像処理について説明する。
図12は、本実施形態に係る画像処理を示すフローチャートである。
(ステップS201)カメラインタフェース1211はマスタカメラ121から撮影した画像を表すマスタ画像が入力され、入力されたマスタ画像を光軸補正部1221に出力する。カメラインタフェース1211〜1217は、カメラ122〜127から撮影した画像を表すスレーブ画像が各々入力され、入力されたスレーブ画像を光軸補正部1222−2〜1222−7に出力する。その後、ステップS202に進む。
(ステップS202)光軸補正部1221は、前方監視カメラインタフェース1211をから入力されたマスタ画像を構成する各画素の座標に対し、予め設定した光軸補正量に基づく行列Tz1を用いて光軸補正を行う。光軸補正部1221は、上述の光軸補正において入力された画像信号における各画素の座標をカメラ座標系から世界座標系に座標変換する。光軸補正部1221は、光軸補正を施した画像信号(射影マスタ画像)を特徴点抽出部1223に出力する。
光軸補正部1222−2〜1222−7は、カメラインタフェース1212〜1217から入力されたスレーブ画像を構成する各画素の座標に対し、特徴点ペア探索部1224から入力された光軸補正量に基づく行列Tz1を用いて光軸補正を行う。光軸補正部1222−2〜1222−7は、上述の光軸補正において入力された画像信号における各画素の座標をカメラ座標系から世界座標系に座標変換する。光軸補正部1222−2〜1222−7は、光軸補正を施したマスタ画像信号(射影マスタ画像)を特徴点抽出部1223に出力する。その後、ステップS202に進む。
【0060】
(ステップS203)特徴点抽出部1223は、光軸補正部1221から入力された射影マスタ画像及び光軸補正部1222−2〜1222−7から入力された射影スレーブ画像各々から特徴点を抽出する。特徴点抽出部122は、特徴点を抽出するために例えば図5に示す処理を行う。
特徴点抽出部1223は、射影マスタ画像、射影スレーブ画像及びこれらの画像から抽出された特徴点の座標情報を特徴点ペア探索部1224に出力する。その後、ステップS204に進む。
【0061】
(ステップS204)特徴点ペア探索部1224は、特徴点抽出部1223から入力された射影マスタ画像の特徴点と、視界重複スレーブ画像に基づく射影スレーブ画像の特徴点とのペアを探索する処理(視界重複カメラ間特徴点ペア探索)を行う。視界重複カメラ間特徴点ペア探索については後述する。その後、ステップS205に進む。
(ステップS205)特徴点ペア探索部1224は、特徴点抽出部1223から入力された射影マスタ画像の特徴点と、視界分離スレーブ画像に基づく射影スレーブ画像の特徴点とのペアを探索する処理(視界分離カメラ間特徴点ペア探索)を行う。視界分離カメラ間特徴点ペア探索については後述する。その後、ステップS206に進む。
【0062】
(ステップS206)特徴点ペア検索部1224は、視野重複カメラ間特徴点ペア探索及び視野分離カメラ間特徴点ペア探索を行って決定したカメラ毎の画像補正量をデータ入出力部1226に出力する。また、特徴点ペア検索部1224は、その画像補正量を対応する光軸補正部1222−2〜1222−7に出力する。特徴点ペア検索部1224は、カメラ毎の画像信号、即ち補正マスタ画像及びスレーブ画像を画像圧縮部1225に出力する。
画像圧縮部1225は、特徴点ペア探索部1224から入力された画像信号を圧縮符号化し圧縮画像信号を生成する。画像圧縮部1225は、生成した圧縮画像信号をデータ入出力部1226に出力する。その後、ステップS207に進む。
【0063】
(ステップS207)データ入出力部1226は、画像圧縮部1225から圧縮画像信号が、特徴点ペア探索部1224から画像補正量が、車両CANバスインタフェース124から車両情報が、サービスインタフェース130からイベント情報が入力される。
データ入出力部1226は、入力された圧縮画像信号及び画像補正量をカメラ毎に同期して画像バスインタフェース127へ出力する。
データ入出力部1226は、入力された圧縮画像信号、画像補正量、車両情報及びイベント情報をカメラ毎に同期して画像記憶部129へ出力する。その後、一連の処理を終了する。
【0064】
次に、本実施形態に係る視界重複カメラ間特徴点ペア探索(ステップS204)について説明する。
図13は、本実施形態に係る視界重複カメラ間特徴点ペア探索を示すフローチャートである。
(ステップS301)特徴点ペア探索部1224は、設計値に基づくスレーブカメラの光軸補正量を初期値として設定する。また、特徴点ペア探索部1224は、マスタ画像から抽出された特徴点から予め設定された範囲内にあり、対向する特徴点の候補となる候補特徴点及び光軸補正量を探索する範囲を設定する。その後、ステップS302に進む。
【0065】
(ステップS302)特徴点ペア探索部1224は、光軸補正量が設定した値の範囲内か否かを判断する。特徴点ペア探索部1224は、光軸補正量が設定した値の範囲ではないと判断したとき(ステップS302 N)、ステップS303に進む。特徴点ペア探索部1224は、光軸補正量が設定した値の範囲内と判断したとき(ステップS302 Y)、ステップS306に進む。
【0066】
(ステップS303)特徴点ペア探索部1224は、視界重複スレーブ画像に基づく射影スレーブ画像から抽出された特徴点の座標を、光軸補正量に基づく行列Tz1を用いて世界座標系に変換する。その後、ステップS304に進む。
(ステップS304)特徴点ペア探索部1224は、ステップS303において変換した座標と射影マスタ画像から抽出された特徴点の座標との差分を算出する。その後、ステップS305に進む。
(ステップS305)特徴点ペア探索部1224は、光軸補正量を更新する。その後、ステップS302に進む。
(ステップS306)特徴点ペア探索部1224は、ステップS304において算出した差分に基づく二乗誤差が最小となる特徴点ペア及び光軸補正量を画像補正量と決定する。
その後、ステップ205に進む。
【0067】
次に、本実施形態に係る視界分離カメラ間特徴点ペア探索(ステップS205)について説明する。
図14は、本実施形態に係る視界分離カメラ間特徴点ペア探索を示すフローチャートである。視界分離カメラ間特徴点ペア探索は、図13に示す視界重複カメラ間特徴点ペア探索のステップS301の代わりに、ステップS310及びステップS311を有し、終了後にステップS206へ進む。
【0068】
(ステップS310)特徴点ペア探索部1224は、車両CANバスインタフェース124から車両情報として速度情報及びヨーレート情報が入力される。その後、ステップS302に進む。
(ステップS311)特徴点ペア探索部1224は、マスタ画像から抽出された特徴点の出現時間ΔT後における世界座標を、現在の世界座標、入力された速度情報及びヨーレート情報に基づいて例えば式(5)を用いて推定する。特徴点ペア探索部1224は、推定した特徴点に基づき、当該特徴点から予め設定された範囲内にあり、対向する特徴点の候補となる候補特徴点を定める。及び光軸補正量を探索する範囲を設定する。
また、特徴点ペア探索部1224は、設計値に基づくスレーブカメラの光軸補正量を、光軸補正量の初期値として設定し、光軸補正量を探索する範囲を設定する。その後、ステップS302に進む。ステップS302−S306において視野分離スレーブ画像に対して行う処理は、図11においてステップS302−S306において視野重複スレーブ画像に対して行う処理と同様である。その後、ステップS206に進む。
【0069】
本実施形態では、前方監視カメラ211の代わりに他のカメラをマスタカメラとしてもよい。
本実施形態では、光軸補正部1221は、上述の生成した光軸補正マスタ画像を画像圧縮部1225に出力し、光軸補正部1222−2〜1222−7は、入力されたスレーブ画像を各々画像圧縮部1225に出力してもよい。このとき、画像圧縮部1225は、入力された光軸補正マスタ画像及びスレーブ画像を各々、入力されたカメラ毎の画像信号として圧縮して圧縮画像信号を生成してもよい。
本実施形態では、特徴点抽出部1223は、SIFT特徴量を用いる方法の代わりに、エッジ抽出により抽出したエッジに基づき特徴点を抽出してもよい。
本実施形態では、画像処理装置10は、さらに当該装置や車両2の外部との通信を可能にする通信インタフェースを備えてもよい。当該通信インタフェースは、外部からの要求信号を入力したとき、画像記録部130から画像信号と対応するイベント情報及び車両情報を読出し、外部に出力してもよい。これにより、本実施形態に係る画像処理装置10は、サービス工場や車両所有者向けにモニタ画像と付随するイベント情報及び車両情報を提供する。
【0070】
このように、本実施形態によれば、車両情報に基づいて推定し、1つの画像取得部が取得した画像と、他の画像取得部が取得した画像との位置関係に基づき画像補正量を算出する。これにより、複数の画像取得部が取得した画像と車両情報と、画像間の位置関係に基づき画像補正値を算出するので、算出した画像補正値に基づき画像を補正して複数の画像を一括して管理し、これらの画像を使用するシステムの構築が容易になる。
また、本実施形態によれば、1つの画像の特徴点と他の画像の特徴点の位置関係に基づき画像補正値を算出する。これらの特徴点により各画像の位置関係が代表されるため、画像補正値の算出が容易になる。
また、本実施形態によれば、他の画像の特徴点を1つの画像の特徴点から予め定められた範囲内において探索するため、探索にかかる演算量を低減することができる。
【0071】
なお、上述した実施形態における画像処理装置10の一部、例えば、光軸補正部1221、光軸補正部1222−2〜1222−7、特徴点抽出部1223、特徴点ペア探索部1224、画像圧縮部1225及びデータ入出力部1226をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像処理装置10に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像処理装置の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。画像装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
このような構成のもとで画像処理システム1が備えるカメラを少数(例えば前方監視カメラ2個)に制限することにより、経済的に本実施形態に係る画像処理システム1を構成することもできる。
【0072】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0073】
1…画像処理システム、2…車両、10…画像処理装置、
1211…前方監視カメラインタフェース、
1212…広角前方監視カメラインタフェース、
1213…左右前方死角監視カメラインタフェース、
1214…左後方監視カメラインタフェース、
1215…右後方監視カメラインタフェース、
1216…車室内監視カメラインタフェース、1217…後方監視カメラインタフェース、
122…画像処理部、1221…光軸補正部、1222−2〜1222−7…光軸補正部、1223…特徴点抽出部、1224…特徴点ペア探索部、1225…画像圧縮部、
1226…データ入出力部
124…車両CANバスインタフェース、127…画像バスインタフェース、
129…サービスインタフェース、130…画像記録部、
211…前方監視カメラ、212…広角前方監視カメラ、
213…左右前方死角監視カメラ、214…左後方監視カメラ、
215…右後方監視カメラ、216…車室内監視カメラ、217…後方監視カメラ、
24…車両CANバス、241…ヨーレートセンサ、242…速度センサ
27…画像バス、270…画像補正利用部、
271…認識装置、272…警告装置、273…表示装置、
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【0002】
車両の走行の安全を確保するために、車両に搭載されたカメラで撮影された画像に基づき、路面上に描かれた車線境界線や障害物を認識する技術や、撮影された画像を合成して、運転者に注意を促す技術が知られている。
例えば、特許文献1には、視覚センサを介して取込まれる時系列入力画像から抽出される特徴画像に基づき、時間の経過とともに直線的軌跡を描く点列状の車線を抽出する車線認識装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2006−260358号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1記載の車線認識装置では、複数のカメラを車両に搭載し、各々撮影した画像を表示しようとすると、カメラ毎に認識、表示等、全ての機能を備える必要があり複数の画像を効率よく処理できないという問題がある。
【0005】
本発明は上記の点に鑑みてなされたものであり、複数の画像を効率よく処理する画像処理装置、画像処理方法、及び画像処理プログラムを提供する。
【課題を解決するための手段】
【0006】
(1)本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部と、前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係に基づき画像補正量を算出する画像補正量算出部とを備え、前記画像補正量算出部は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理装置である。
【0007】
(2)本発明のその他の態様は、前記画像から特徴点を抽出する特徴点抽出部を備え、前記画像補正量算出部は、前記位置関係として前記第1の画像の特徴点と前記第2の画像の特徴点の位置関係を算出することを特徴とする(1)の画像処理装置である。
【0008】
(3)本発明のその他の態様は、前記画像補正量算出部は、前記第2の画像の特徴点を前記第1の画像の特徴点から予め定められた範囲内において探索することを特徴とする(2)の画像処理装置である。
【0009】
(4)本発明のその他の態様は、各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置における画像処理方法において、前記画像処理装置が、前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係を算出する第1の過程を有し、前記第1の過程は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理方法である。
【0010】
(5)本発明のその他の態様は、各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置のコンピュータに、前記画像処理装置が、前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係を算出する手順、を実行させるための画像処理プログラムであって、前記手順は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理プログラムである。
【発明の効果】
【0011】
本発明によれば、車両情報と画像間の位置関係に基づき画像補正値を算出するので、算出した画像補正値に基づいて補正できる複数の画像を一括して管理し、これらの画像を使用するシステムの構築が容易になる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態に係る画像処理システムを示す概念図である。
【図2】本実施形態においてカメラが撮影する画像の視界と光軸の方向の一例を示す平面図である。
【図3】本実施形態に係る画像処理装置の構成を示す概略図である。
【図4】本実施形態に係る画像処理部の構成を示す概略図である。
【図5】本実施形態に係るカメラ座標系と画像座標系の一例を示す。
【図6】本実施形態に係る世界座標系とカメラ座標系の一例を示す。
【図7】本実施形態において画像信号から特徴点を抽出する処理を示すフローチャートである。
【図8】本実施形態に係るマスタ画像と視界重複スレーブ画像の一例を示す概念図である。
【図9】本実施形態に係る特徴点の一例を示す概念図である。
【図10】本実施形態に係るマスタ画像と視界分離スレーブ画像の一例を示す概念図である。
【図11】本実施形態に係るマスタ画像から予測された画像の一例を示す概念図である。
【図12】本実施形態に係る画像処理を示すフローチャートである。
【図13】本実施形態に係る視界重複カメラ間特徴点ペア探索を示すフローチャートである。
【図14】本実施形態に係る視界分離カメラ間特徴点ペア探索を示すフローチャートである。
【発明を実施するための形態】
【0013】
(第1の実施形態)
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図1は、本発明の実施形態に係る画像処理システム1を示す概念図である。
画像処理システム1は、画像処理装置10、複数のカメラ(撮影部)211〜217、車両CAN(Controller Area Network)バス(車両情報伝送媒体)24、複数の車両情報センサ(検出部)241、242、画像バス27(画像情報伝送媒体)、及び補正画像利用部270を含んで構成される。補正画像利用部270は、一例として認識装置271、警告装置272及び表示装置273を含んで構成される。
【0014】
カメラ211〜217は、車両2の各々異なる位置に取り付けられ、それぞれ異なる視界の画像を撮影する。例えば、前方監視カメラ211は、車両2のフロントガラス中央上の天板との境目に取り付けられ、車両2の前方(特に遠方の狭い範囲)の画像を撮影する。広角前方監視カメラ212も、車両2のフロントガラス中央上の天板との境目に取り付けられ、車両2の前方(特に遠方の広い範囲)の画像を撮影する。左右前方死角監視カメラ231は、車両2の先端中央上に取り付けられ、その左側及び右側の画像を撮影する。左後方監視カメラ214は、車両2の左サイドミラーの先端部に取り付けられ、車両2の左後方の画像を撮影する。右後方監視カメラ215は、車両2の右サイドミラーの先端部に取り付けられ、車両2の右後方の画像を撮影する。車室内監視カメラ216は、車両2の座席前列中央の天井に取り付けられ、車室後部の画像を撮影する。後方監視カメラ217は、車両2のリアガラス中央下の尾板との境目に取り付けられ、車両2の後方の画像を撮影する。
【0015】
図2は、本実施形態においてカメラが撮影する画像の視界と光軸の方向の一例を示す平面図である。図2において、破線で示す扇形の円弧部分は、各カメラが撮影する画像の視界である。扇形の中心に示す一点破線は、各カメラの光軸を示す。
前方監視カメラ視界V1は、前方監視カメラ211が撮影する画像の視界を示す。広角前方監視カメラ視界V2は、広角前方監視カメラ212が撮影する画像の視界を示す。左前方死角監視カメラ視界V3L及び右前方死角監視カメラ視界V3Rは、左右前方死角監視カメラ213が撮影する画像の視界のうち、各々左側、右側を示す。左後方死角監視カメラ視界V4は、左後方死角監視カメラ214が撮影する画像の視界を示す。右後方死角監視カメラ視界V5は、右後方死角監視カメラ215が撮影する画像の視界を示す。車室内監視カメラ視界V6は、車室内監視カメラ216が撮影する画像の視界を示す。後方監視カメラ視界V7は、後方監視カメラ217が監視する画像の視界を示す。
【0016】
図2は、前方監視カメラ視界V1と広角前方監視カメラ視界V2、左後方死角監視カメラ視界V4と後方監視カメラ視界V7、右後方死角監視カメラ視界V5と後方監視カメラ視界V7はそれぞれ、一方のカメラの視界と他方のカメラの視界の一部が重複することを示す。但し、その他のカメラ間の組み合わせについては、撮影された画像の視界は重複しない。
【0017】
図1に戻り、カメラ211〜217は各々、撮影した画像を表す画像信号を画像処理装置10に出力する。
ヨーレートセンサ241は、車両2のエンジンルームに取り付けられ、車両2の鉛直軸周りの回転速度(ヨーレート)を検出する。ヨーレートセンサ241は、検出したヨーレートを表すヨーレート情報を車両CANバス24に出力する。
速度センサ242は、車両2の車輪のハブベアリングを保持するハウジングに設けられ、速度を検出する。速度センサ242は、検出した速度を表す速度情報を車両CANバス24に出力する。
車両CANバス24は、車両2の移動状態を示す車両情報を各センサから入力され、入力された車両情報を画像処理装置10に出力する。車両情報には、上述のヨーレート情報と速度情報が含まれる。
なお、ヨーレートセンサ241及び速度センサ242を含めて、車両情報を検出する機能部を車両情報検出部と総称する。
【0018】
画像処理装置10は、カメラ211〜217各々から入力された画像信号と、車両CANバス24から入力された車両情報と、に基づき画像補正量を算出する。画像処理装置10は、入力された画像信号を圧縮符号化して圧縮画像信号を生成し、生成した圧縮画像信号と算出した画像補正量を記録する。また、画像処理装置10は、生成した圧縮画像信号と算出した画像補正量を画像バス27に出力する。
なお、画像処理装置10の構成及び処理については後述する。
【0019】
画像バス27は、画像処理装置10から入力された圧縮画像信号と画像補正量を補正画像利用部270の認識装置271及び表示装置273に出力する。
認識装置271は、画像バス27から入力された圧縮画像信号を復号して画像信号を生成する。認識装置271は、生成した画像信号を入力された画像補正量に基づく補正して補正画像信号を生成する。認識装置271は生成した補正画像信号と障害物を表す画像の画像信号との相関を示す指標値を算出し、算出した指標値が予め設定された閾値を超えた場合に、障害物認識信号を生成する。この障害物認識信号は、当該障害物が撮影したカメラの視界にあることを表す信号である。認識装置271は、生成した障害物認識信号を警告装置272に出力する。
警告装置272は、認識装置271から障害物認識信号が入力され、障害物が存在することを表す警告情報(例えば、警告音、警告画面)を提示する。
表示装置273は、画像バス27から入力された圧縮画像信号を復号して画像信号を生成する。認識装置271は、生成した画像信号を入力された画像補正量に基づいて補正して補正画像信号を生成する。表示装置273は生成した補正画像信号に基づく画像を表示する。
【0020】
次に、本実施形態に係る画像処理装置10の構成及び処理について説明する。
図3は、本実施形態に係る画像処理装置10の構成を示す概略図である。
画像処理装置10は、カメラインタフェース(画像取得部)1211〜1217、画像処理部122、車両CANバスインタフェース(車両情報取得部)124、画像バスインタフェース127、サービスインタフェース129及び画像記録部130を含んで構成される。
【0021】
カメラインタフェース1211〜1217は、カメラ121〜127から入力される画像信号を伝達する導線を画像処理装置10に接続する。
例えば、前方監視カメラインタフェース1211は、前方監視カメラ121から画像信号を入力される。広角前方監視カメラインタフェース1212は、広角前方監視カメラ122から画像信号を入力される。左右前方死角監視カメラインタフェース1213は、左右前方死角監視カメラ123から画像信号を入力される。左後方監視カメラインタフェース1214は、左後方死角監視カメラ124から画像信号を入力される。右後方監視カメラインタフェース1215は、右後方死角監視カメラ125から画像信号を入力される。車室内監視カメラインタフェース1216は、車室内監視カメラ126から画像信号を入力される。後方監視カメラインタフェース1217は、後方監視カメラ127から画像信号を入力される。
カメラインタフェース1211〜1217は、カメラ121〜127から入力された画像信号を各々画像処理部122に出力する。
【0022】
画像処理部122は、カメラインタフェース1211〜1217から各々入力された画像信号と車両CANバスインタフェース124から入力された車両情報に基づいて画像信号毎の画像補正量を算出する。画像処理部122は、入力された画像信号を圧縮符号化して、より情報量の少ない圧縮画像信号を生成し、生成した圧縮画像信号と算出した画像補正量を同期して画像バスインタフェース127及び画像記録部130に出力する。このように、画像処理部122が圧縮画像信号を出力することで、出力先における容量の超過、輻輳又は伝送遅延を回避する。
また、画像処理部122は、サービスインタフェース129から入力されたイベント情報を画像記録部130に出力する
なお、画像処理部122の構成及び処理については後述する。
【0023】
車両CANバスインタフェース124は、車両CANバス24から入力される車両情報を伝達する導線を画像処理装置10に接続し、当該車両情報を画像処理部122に出力する。
画像バスインタフェース127は、圧縮画像信号と画像補正量を画像バス27に出力する導線を画像処理装置10に接続し、その圧縮画像信号と画像補正量を画像処理部122から画像バス27に出力する。
サービスインタフェース129は、イベント情報検出部(図示せず)からイベント情報を入力する導線を画像処理装置10に接続し、そのイベント情報を画像処理部122に出力する。
ここで、イベント情報とは、車両2又はその周囲の状態を示す情報であり、例えば、ハンドル操舵角、シフトレバー位置、車両2の現在地、等の何れか又はその組み合わせである。イベント情報検出部は、イベント情報を検出する機能部を総称し、検出したイベント情報を各々サービスインタフェース129に出力する。
【0024】
画像記録部130は、画像処理部122から入力された圧縮画像信号、画像補正量及びイベント情報を時刻毎に対応付けて記憶する。このように、画像記録部130は、いわゆるドライブレコーダとして機能する。また、画像処理部122から画像要求信号が入力されたときには、その画像要求信号が示す圧縮画像信号と対応する画像補正量を画像処理部122に出力する。
【0025】
次に、本実施形態に係る画像処理部122の構成及び処理について説明する。
図4は、本実施形態に係る画像処理部122の構成を示す概略図である。
画像処理部122は、光軸補正部1221、光軸補正部1222−2〜1222−7、特徴点抽出部1223、特徴点ペア探索部(画像補正量算出部)1224、画像圧縮部1225及びデータ入出力部を含んで構成される。
以下、前方監視カメラ211をマスタカメラとして説明する。マスタカメラとは、その他のカメラが撮影した画像信号に係る画像補正量(後述)を算出するために基準とする画像信号を撮影するカメラである。マスタカメラ以外のカメラをスレーブカメラと呼ぶ。
【0026】
光軸補正部1221は、マスタカメラである前方監視カメラ211から対応する前方監視カメラインタフェース1211を介して入力された画像信号(以下、マスタ画像)に対して前方監視カメラ211の光軸補正量を補償する。光軸補正部1221は、予めマスタ画像に対して既存の方式(例えば、消失点推定法、オプティカルフロー検出法、ダイレクトメソッド等)で光軸補正量を算出しておく。
光軸補正部1221は、算出した光軸補正量を用いてマスタ画像を座標変換して補正して、光軸補正マスタ画像を生成する。
これにより、車両の個体又は経年変化により異なる前方監視カメラ211の設置位置や光軸の方向による視界の差異を補償する。
光軸補正部1221は、更にカメラ座標系で表された光軸補正マスタ画像を世界座標系に座標変換し、座標変換した画像信号(後述する射影マスタ画像)を特徴点抽出部1223に出力する。
【0027】
ここで、カメラ座標系(Oc−XcYcZc)と画像座標系(Op−XpYp)との関係について説明する。カメラ座標系とは、カメラの光軸を基準とする座標系である。画像座標系とはカメラの撮影素子(イメージセンサ)を基準とする座標系である。
図5は、本実施形態に係るカメラ座標系と画像座標系の一例を示す。
図5において、Xc軸、Yc軸、Zc軸は各々カメラ座標系の座標軸を示し、Xp軸、Yp軸は各々画像座標系の座標軸を示す。Ocはカメラ座標系の原点であり、Opは画像座標系の原点(前主点)である。
図5において、カメラが備えるレンズの焦点Ocとイメージセンサの中心Pcentとを結ぶ軸が光軸であり、この方向がZc軸方向である。イメージセンサの中心Pcentは、焦点Ocから光軸の方向に焦点距離fだけ離れた位置にある。イメージセンサの受光面の法線方向は光軸に平行である。イメージセンサの水平方向に平行な方向がXc軸方向である。イメージセンサの垂直方向に平行な方向がYc軸方向である。
画像座標系では、原点Ocはイメージセンサの右上端の画素であり、Xp座標は原点OcからXc軸方向への座標であり、Yp座標は原点OcからYc軸方向への座標である。
よって、原点Ocから(Pxs,Pys)番目における画素のカメラ座標系で表した座標は、(f,Pxs,Pys,1)Tとなる。但し、Pは、イメージセンサ上の画素間間隔を表す。Tは、ベクトル又は行列の転置を示す。
【0028】
次に、世界座標系(Ow−XwYwZw)とカメラ座標系(Op−XpYp)との関係について説明する。世界座標系とは、空間(本実施例では、カメラ211〜217の視界)全体を含む座標系である。
図6は、本実施形態に係る世界座標系とカメラ座標系の一例を示す。
図6において、Xw軸、Yw軸、Zw軸は各々世界座標系の座標軸を示し、Xc軸、Yc軸、Zc軸は各々カメラ座標系の座標軸を示す。Xw軸は水平面に沿って車体2の前方に向かう座標軸である。Yw軸は車体2の前方に対し水平面に沿って左方に向かう座標軸である。Zw軸は車体2の鉛直方向に向かう座標軸である。
ロール角θとはXw軸を中心に回転する角度である。ピッチ角φとはYw軸方向を中心に回転する角度である。パン角ρとはZw軸を中心に回転する角度である。
また、世界座標系を基準としたカメラの光軸のロール角θをロール角ずれ量、ピッチ角φをピッチ角ずれ量、パン角ρをパン角ずれ量という。世界座標系を基準としたカメラの取り付け位置を(Xc,Yc,Zc)をカメラずれ量という。このXcを横ずれ量、Ycを縦ずれ量、Zcを高さという。即ち、光軸補正量とは、横ずれ量Xc、縦ずれ量Yc、高さZc、パン角ずれ量ρ、ピッチ角ずれ量φ又はロール角ずれ量θの総称である。
【0029】
従って、カメラ座標系で表されるイメージセンサ上の各画素の座標は、次式で与えられる行列Tcwを用いて世界座標系に変換することができる。
【0030】
【数1】
【0031】
式(1)において、第1項はカメラずれ量(Xc,Yc,Zc)を補償する行列成分である。この行列成分は、カメラ座標系で表された座標にカメラずれ量を加算する成分である。 第2項はロール角ずれ量θを補償する行列成分である。この行列成分はXw軸方向を中心にロール角θだけカメラ座標系で表された座標を回転する成分である。第3項はピッチ角ずれ量φを補償する行列成分である。この行列成分はYw軸方向を中心にピッチ角φだけカメラ座標系で表された座標を回転する成分である。第4項はパン角ずれ量を補償する行列成分である。この行列成分はZw軸方向を中心にパン角ρだけカメラ座標系で表された座標を回転する成分である。
さらに世界座標系においてZw方向の座標(高さ)がゼロ(Zw=0)の平面に座標を射影する行列Tz0は次式で与えられる。
【0032】
【数2】
【0033】
図4に戻り、光軸補正部1221は、カメラ座標系で表された座標(f,Pxs,Pys,1)Tを、光軸補正量に基づく行列Tz1(Tz1=Tz0Tcw)を用いて世界座標系においてZw方向の座標がゼロとなる座標(x1,y1,0,1)Tに射影する。
これにより、光軸補正部1221は、前方監視カメラ211の光軸ずれ量を補償する。このようにして補償された画像を射影マスタ画像と呼び、光軸補正部122は射影マスタ画像を特徴点抽出部1223に出力する。
光軸補正量が未設定の際には、光軸補正部1221は、上述の座標変換を行わずに、入力されたマスタ画像を特徴点抽出部1223に出力する。
【0034】
光軸補正部1222−2〜1222−7は各々、スレーブカメラに対応するカメラインタフェース1212〜1217各々を介して入力された画像信号(以下、スレーブ画像)に対して各スレーブカメラ212〜217の光軸補正量を補償する。光軸補正量を補償するために、光軸補正部1222−2〜1222−7は、特徴点ペア探索部1224からスレーブカメラ212〜217毎の光軸補正量を入力され、入力された光軸補正量を用いてスレーブカメラ212〜216毎にスレーブ画像を座標変換する。
光軸補正部1222−2〜1222−7は、光軸補正量を補償したスレーブ画像(以下、射影スレーブ画像)を特徴点抽出部1223に各々出力する。
光軸補正量が未設定又は未入力の際には、光軸補正部1222−2〜1222−7は、上述の座標変換を行わずに、各スレーブ画像を特徴点抽出部1223に出力する。
【0035】
特徴点抽出部1223は、光軸補正部1221から入力された射影マスタ画像及び光軸補正部1222−2〜7から入力された射影スレーブ画像各々から特徴点を抽出する。特徴点とは、画像信号を構成する輝度値の変化が周囲よりも著しい領域であって、その面積が極めて小さい領域又は特異点である。例えば、特徴点は、道路上に描かれたレーンマーク(白線)の頂点又は交点である。特徴点抽出部1223は、レーンマークに限らず、道路上に描かれた路面表示の特徴点を抽出してもよい。
【0036】
特徴点抽出部1223は、射影マスタ画像又は射影スレーブ画像(例えば、横2048画素×縦6144画素)を小さい領域(セル、例えば、横4画素×縦4画素)に分割し、複数のセルからなるブロック毎に算出した特徴量、例えばSIFT(Scale Invariant Feature Transform)特徴量を用いて特徴点を抽出する。
ここで、特徴点抽出部1223が特徴点を抽出する処理について説明する。
図7は、本実施形態において画像信号から特徴点を抽出する処理を示すフローチャートである。
【0037】
(ステップS101)特徴点抽出部1223は、ブロック毎にステップS102〜S107の処理を繰り返し、画像内の全ブロックについて処理が完了した後、終了する。
(ステップS102)特徴点抽出部1223は、セル毎にステップS103〜S104の処理を繰り返し、画像内の全セルについて処理が完了した後、ステップS105に進む。
(ステップS103)特徴点抽出部1223は、特徴点抽出部1223は、各セルに含まれる画素(i,j)毎に、輝度値L(i,j)の勾配の大きさm(i,j)とその勾配の方向ψ(i,j)を算出する。
【0038】
【数3】
【0039】
【数4】
【0040】
式(3)、(4)において、fx(i,j)は、水平(x)方向への輝度値の勾配L(i+1,j)−L(i−1,j)、fy(i,j)は、垂直(y)方向への輝度値の勾配L(i,j+1)−L(i,j−1)である。
(ステップS104)特徴点抽出部1223は、勾配の方向θ(i,j)の区間(例えば、45度間隔、計8区間)毎に、セルにおける勾配の大きさm(i,j)の累積値(総和)をヒストグラムvcの要素として算出する。このヒストグラムvcは8次元のベクトルである。特徴点抽出部1223は、ヒストグラムvcごとに、その要素の最大値で除算して規格化する。
(ステップS105)特徴点抽出部1223は、セル毎に算出し規格化したヒストグラムvcの各要素をブロック毎にとりまとめ、SIFT特徴量vbを生成する。ここで、ブロックとは、複数のセル(例えば、横2セル×縦2セル;横8画素×縦8画素)から構成される画像の領域をいう。この例では、SIFT特徴量vbは、32次元(8×2×2)のベクトルである。
【0041】
(ステップS106)特徴点抽出部1223は、自己が備える記憶領域から判定特徴量abを読み出し、読み出した判定特徴量abとSIFT特徴量vbに基づき識別値dbを算出する。判定特徴量abとは、SIFT特徴量vbと同一の次元数のベクトルであって、検出しようとする特徴点の特性を示すベクトルである。特徴点抽出部122は、検出しようとする特徴点の形状や位置に応じた複数の判定特徴量abを記憶しておいてもよい。識別値dbは、判定特徴量abとSIFT特徴量vbの類似度又は相関を示す変数、例えば、内積である。
(ステップS107)特徴点抽出部1223は、識別値dbが予め設定された閾値よりも大きいブロックを特徴点が存在するブロックと判定し、そのブロックを代表する座標、例えば中心座標を特徴点の座標情報と定める。
【0042】
図4に戻り、特徴点抽出部1223は、射影マスタ画像、射影スレーブ画像及びこれらの画像から抽出された特徴点の座標情報を特徴点ペア探索部1224に出力する。
【0043】
特徴点ペア探索部1224は、特徴点抽出部1223から射影マスタ画像、射影スレーブ画像及びこれらの画像から抽出された特徴点の座標情報が入力される。
特徴点ペア探索部1224は、射影マスタ画像から抽出された特徴点と対応する射影スレーブ画像から抽出された特徴点とのペアを探索する。
【0044】
まず、マスタ画像の特徴点と、そのマスタ画像の視界の一部が重複するスレーブ画像(視界重複スレーブ画像)の特徴点とのペアを探索する処理(視界重複カメラ間特徴点ペア探索)について説明する。
図8は、本実施形態に係るマスタ画像と視界重複スレーブ画像の一例を示す概念図である。本実施形態では、視界重複スレーブ画像は、広角前方監視カメラ212が撮影した画像である。
【0045】
図8の左段は、路面上を走行する車両2が備える前方監視カメラ211の視界(破線)と広角前方監視カメラ212の視界(実線)を示す。横軸は、世界座標系のx座標、縦軸は同座標系のy座標を示す。
図8の中上段は、前方監視カメラ211が撮影した画像(マスタ画像)の一例を示す。図8の中下段は、広角前方監視カメラ212が撮影した画像(視界重複スレーブ画像)の一例を示す。
図8の右上段は、同図中段の一点破線で描かれた円(一点破線円)内の部分であって、マスタ画像に基づく射影マスタ画像において抽出された特徴点(星印)を含む部分を示す。図8の右下段は、同図中段の一点破線円内の部分であって、視界重複スレーブ画像に基づく射影スレーブ画像において抽出された特徴点(星印)を含む部分を示す。
【0046】
ここで、特徴点ペア探索部1224は、視界重複スレーブ画像に基づく射影スレーブ画像において抽出された特徴点の座標と、射影マスタ画像から抽出された特徴点の座標との差分を算出する。この射影スレーブ画像は、視界重複スレーブ画像の各画素の座標値を、光軸補正量に基づく行列Tz1を用いて世界座標系に変換されて構成されたものである。
特徴点ペア探索部1224は、当該差分に基づく二乗誤差が最小となる特徴点ペア及び光軸補正量を画像補正量と決定する。
【0047】
図9は、本実施形態に係る特徴点の一例を示す概念図である。図9において、実線は射影スレーブ画像を示し、破線は射影スレーブ画像を示す。また、図9は、各画像の特徴点を星印で示す。ここで、特徴点ペア探索部1224は、設計値に基づくスレーブカメラ(この例では、広角前方監視カメラ)の光軸補正量を初期値と設定し、射影マスタ画像から抽出された特徴点から各々予め設定した範囲の座標の視界重複スレーブ画像から抽出された特徴点が対向する特徴点の候補と設定する(図9、一点破線円参照)。このような候補が複数個存在する場合には、特徴点ペア探索部1224は、射影マスタ画像から抽出された特徴点からの距離が短い順に、特徴点の候補を探索する。なお、特徴点ペア探索部1224は、設計値から予め設定された範囲内で光軸補正量を探索してもよい。
【0048】
次に、射影マスタ画像の特徴点と、そのマスタ画像の視界と重複しないスレーブ画像(視界分離スレーブ画像)に基づく射影スレーブ画像の特徴点とのペアを探索する処理(視界分離カメラ間特徴点ペア探索)について説明する。
図10は、本実施形態に係るマスタ画像と視界分離スレーブ画像の一例を示す概念図である。本実施形態では、視界分離スレーブ画像は、左右前方死角監視カメラ213、左後方監視カメラ214、右後方監視カメラ215、及び後方監視カメラ217が各々撮影した画像である。但し、図10は、視野分離スレーブ画像の一例として右後方死角監視カメラ215が撮影した画像を示す
なお、本実施形態では、車室内監視カメラ216が撮影した画像を視界分離カメラ間特徴点ペア探索の対象としない。
【0049】
図10の左段は、路面上を走行する車両2が備える前方監視カメラ211(マスタカメラ)の視界(破線)と右後方死角監視カメラ215(スレーブカメラ)の視界(実線)を示す。横軸は、世界座標系のx座標、縦軸は同座標系のy座標を示す。
図10の中上段は、前方監視カメラ211が撮影した画像(マスタ画像)の一例を示す。図10の中下段は、車室内監視カメラ216が撮影した画像(視界分離スレーブ画像)の一例を示す。
図10の右上段は、同図中上段の一点破線円にマスタ画像に基づく射影マスタ画像から抽出された特徴点(星印)を含む部分を示す。図10の右下段は、同図中下段の一点破線円内に視界重複スレーブ画像に基づく射影スレーブ画像から抽出された特徴点(星印)を含む部分を示す。
即ち、図10は、前方監視カメラ211の視界は車両2の前方を向き、右後方死角監視カメラ215の視界は車両2の右後方を向いており、両者が重複しないことを示す。
【0050】
しかし、車両2が移動すると、マスタ画像の一部が、遅れて視野分離スレーブ画像に含まれることがある。例えば、前方監視カメラ211がある時刻において車両2の右前方のレーンマークを撮影し、車両2が前方に進行した後に右後方死角監視カメラ215がそのレーンマークを撮影する。また、マスタ画像を撮影した時刻から、その画像の一部が視野分離スレーブ画像に含まれるまでの時間は、車両2の車両情報(速度情報、ヨーレート情報)に依存する。例えば、車両2の速度が高いほど、マスタ画像を撮影した時刻から、その画像の一部が視野分離スレーブ画像に現れるまでの時間(出現時間)が短くなる。
そこで、特徴点ペア検索部1224は、視界分離カメラ間特徴点ペア探索を行う前に、車両CANバスインタフェース124から入力された車両情報に基づいてマスタ画像から抽出された特徴点の座標を予測する。
【0051】
図11は、本実施形態に係るマスタ画像から予測された画像の一例を示す概念図である。
図11の左段は、路面上を走行する車両2が備える前方監視カメラ211(マスタカメラ)の視界(破線)と右後方死角監視カメラ215(スレーブカメラ)の視界(実線)を示す。横軸は、世界座標系のx座標、縦軸はy座標を示す。また、x座標の右上から右下に向かう破線の矢印は、その起点から車両情報に基づき当該矢印の終点となる位置を予測位置と定めることを示す。
図11の右段は、射影マスタ画像及び射影スレーブ画像であって、同図左段の一点破線で示される領域を拡大した部分を表す。同図右段において、白塗りの縦長の長方形は、射影マスタ画像が示すラインマーカを示し、当該底辺に特徴点を有することを示す。また、破線の縦長の長方形は、予測後の射影スレーブ画像が示すラインマーカを示し、当該底辺に特徴点を有することを示す。
そこで、特徴点ペア検索部1224は、射影マスタ画像から抽出された特徴点から予め定められた範囲内にある、予測後の射影スレーブ画像の特徴点を候補特徴点と定める。そして、特徴点ペア探索部1224は、当該抽出された特徴点の座標と候補特徴点の座標との差を最小とする、候補特徴点及び画像補正量を定める。
【0052】
具体的には、特徴点ペア探索部1224は、現在から時間ΔT後の時刻における世界座標(x’1,y’1,1)Tを、現在の世界座標(x1,y1,1)T、速度情報が示す速度v及びヨーレート情報が示すヨーレートηに基づいて推定する。
【0053】
【数5】
【0054】
式(5)において、(tx,ty)は、速度vとヨーレートηに基づく移動量(vΔt・cos(Δt・θ’/2),vΔt・sin(Δt・θ’/2))である。θは、ヨーレートηに基づく回転角Δt・ηである。
【0055】
特徴点ペア検索部1224は、補正された特徴点の座標と射影スレーブ画像から抽出された特徴点の座標との間で、特徴点のペアを探索し視野分離スレーブ画像の画像補正量を決定する。このとき、特徴点ペア探索部1224は、上述の視野重複カメラ間特徴点ペア探索と同様な処理を行う。
即ち、時間ΔT後の時刻における世界座標(x’1,y’1,1)Tは特徴点のペアを探索する際のカメラずれ量の初期値となる。ここで、特徴点ペア検索部1224は、補正された特徴点の座標と射影スレーブ画像から抽出された特徴点の座標が近似するように、時間ΔTをカメラ毎の設計値に基づき速度vに反比例するように定めてもよい。これにより、特徴点のペアを探索するための特徴点の組み合わせ数や画像補正量の範囲を限定し、演算量を低減することができる。
特徴点ペア検索部1224は、他のスレーブカメラが撮影した画像信号に基づく視野分離スレーブ画像についても同様な処理を行う。
【0056】
図4に戻り、特徴点ペア検索部1224は、決定したスレーブカメラ毎の画像補正量をデータ入出力部1226に出力する。特徴点ペア検索部1224は、カメラ毎の画像信号、即ち射影マスタ画像及び射影スレーブ画像を画像圧縮部1225に出力する。
また、特徴点ペア検索部1224は、決定したスレーブカメラ毎の画像補正量を各々対応する光軸補正部1222−2〜7に出力する。
【0057】
画像圧縮部1225は、特徴点ペア探索部1224から入力されたカメラ毎の画像信号を公知の画像符号化技術(例えば、Motion−JPEG)を用いて各々圧縮符号化し、より情報量が少ない圧縮画像信号を生成する。
画像圧縮部1225は、生成した圧縮画像信号をデータ入出力部1226に出力する。
【0058】
データ入出力部1226は、画像圧縮部1225から圧縮画像信号が入力され、特徴点ペア探索部1224から画像補正量が入力され、車両CANバスインタフェース124から車両情報が入力され、サービスインタフェース130からイベント情報が入力される。
データ入出力部1226は、入力された圧縮画像信号及び画像補正量をカメラ毎に同期して画像バスインタフェース127へ出力する。
データ入出力部1226は、入力された圧縮画像信号、画像補正量、車両情報及びイベント情報を画像記憶部129へ出力する。データ入出力部1226は、画像記憶部129へ圧縮画像信号と画像補正量を出力する際、カメラ毎にこれらを同期させる。
データ入出力部1226は、画像記憶部129から、圧縮画像信号、画像補正量、車両情報及びイベント情報が入力される。
【0059】
次に、本実施形態に係る画像処理装置1が行う画像処理について説明する。
図12は、本実施形態に係る画像処理を示すフローチャートである。
(ステップS201)カメラインタフェース1211はマスタカメラ121から撮影した画像を表すマスタ画像が入力され、入力されたマスタ画像を光軸補正部1221に出力する。カメラインタフェース1211〜1217は、カメラ122〜127から撮影した画像を表すスレーブ画像が各々入力され、入力されたスレーブ画像を光軸補正部1222−2〜1222−7に出力する。その後、ステップS202に進む。
(ステップS202)光軸補正部1221は、前方監視カメラインタフェース1211をから入力されたマスタ画像を構成する各画素の座標に対し、予め設定した光軸補正量に基づく行列Tz1を用いて光軸補正を行う。光軸補正部1221は、上述の光軸補正において入力された画像信号における各画素の座標をカメラ座標系から世界座標系に座標変換する。光軸補正部1221は、光軸補正を施した画像信号(射影マスタ画像)を特徴点抽出部1223に出力する。
光軸補正部1222−2〜1222−7は、カメラインタフェース1212〜1217から入力されたスレーブ画像を構成する各画素の座標に対し、特徴点ペア探索部1224から入力された光軸補正量に基づく行列Tz1を用いて光軸補正を行う。光軸補正部1222−2〜1222−7は、上述の光軸補正において入力された画像信号における各画素の座標をカメラ座標系から世界座標系に座標変換する。光軸補正部1222−2〜1222−7は、光軸補正を施したマスタ画像信号(射影マスタ画像)を特徴点抽出部1223に出力する。その後、ステップS202に進む。
【0060】
(ステップS203)特徴点抽出部1223は、光軸補正部1221から入力された射影マスタ画像及び光軸補正部1222−2〜1222−7から入力された射影スレーブ画像各々から特徴点を抽出する。特徴点抽出部122は、特徴点を抽出するために例えば図5に示す処理を行う。
特徴点抽出部1223は、射影マスタ画像、射影スレーブ画像及びこれらの画像から抽出された特徴点の座標情報を特徴点ペア探索部1224に出力する。その後、ステップS204に進む。
【0061】
(ステップS204)特徴点ペア探索部1224は、特徴点抽出部1223から入力された射影マスタ画像の特徴点と、視界重複スレーブ画像に基づく射影スレーブ画像の特徴点とのペアを探索する処理(視界重複カメラ間特徴点ペア探索)を行う。視界重複カメラ間特徴点ペア探索については後述する。その後、ステップS205に進む。
(ステップS205)特徴点ペア探索部1224は、特徴点抽出部1223から入力された射影マスタ画像の特徴点と、視界分離スレーブ画像に基づく射影スレーブ画像の特徴点とのペアを探索する処理(視界分離カメラ間特徴点ペア探索)を行う。視界分離カメラ間特徴点ペア探索については後述する。その後、ステップS206に進む。
【0062】
(ステップS206)特徴点ペア検索部1224は、視野重複カメラ間特徴点ペア探索及び視野分離カメラ間特徴点ペア探索を行って決定したカメラ毎の画像補正量をデータ入出力部1226に出力する。また、特徴点ペア検索部1224は、その画像補正量を対応する光軸補正部1222−2〜1222−7に出力する。特徴点ペア検索部1224は、カメラ毎の画像信号、即ち補正マスタ画像及びスレーブ画像を画像圧縮部1225に出力する。
画像圧縮部1225は、特徴点ペア探索部1224から入力された画像信号を圧縮符号化し圧縮画像信号を生成する。画像圧縮部1225は、生成した圧縮画像信号をデータ入出力部1226に出力する。その後、ステップS207に進む。
【0063】
(ステップS207)データ入出力部1226は、画像圧縮部1225から圧縮画像信号が、特徴点ペア探索部1224から画像補正量が、車両CANバスインタフェース124から車両情報が、サービスインタフェース130からイベント情報が入力される。
データ入出力部1226は、入力された圧縮画像信号及び画像補正量をカメラ毎に同期して画像バスインタフェース127へ出力する。
データ入出力部1226は、入力された圧縮画像信号、画像補正量、車両情報及びイベント情報をカメラ毎に同期して画像記憶部129へ出力する。その後、一連の処理を終了する。
【0064】
次に、本実施形態に係る視界重複カメラ間特徴点ペア探索(ステップS204)について説明する。
図13は、本実施形態に係る視界重複カメラ間特徴点ペア探索を示すフローチャートである。
(ステップS301)特徴点ペア探索部1224は、設計値に基づくスレーブカメラの光軸補正量を初期値として設定する。また、特徴点ペア探索部1224は、マスタ画像から抽出された特徴点から予め設定された範囲内にあり、対向する特徴点の候補となる候補特徴点及び光軸補正量を探索する範囲を設定する。その後、ステップS302に進む。
【0065】
(ステップS302)特徴点ペア探索部1224は、光軸補正量が設定した値の範囲内か否かを判断する。特徴点ペア探索部1224は、光軸補正量が設定した値の範囲ではないと判断したとき(ステップS302 N)、ステップS303に進む。特徴点ペア探索部1224は、光軸補正量が設定した値の範囲内と判断したとき(ステップS302 Y)、ステップS306に進む。
【0066】
(ステップS303)特徴点ペア探索部1224は、視界重複スレーブ画像に基づく射影スレーブ画像から抽出された特徴点の座標を、光軸補正量に基づく行列Tz1を用いて世界座標系に変換する。その後、ステップS304に進む。
(ステップS304)特徴点ペア探索部1224は、ステップS303において変換した座標と射影マスタ画像から抽出された特徴点の座標との差分を算出する。その後、ステップS305に進む。
(ステップS305)特徴点ペア探索部1224は、光軸補正量を更新する。その後、ステップS302に進む。
(ステップS306)特徴点ペア探索部1224は、ステップS304において算出した差分に基づく二乗誤差が最小となる特徴点ペア及び光軸補正量を画像補正量と決定する。
その後、ステップ205に進む。
【0067】
次に、本実施形態に係る視界分離カメラ間特徴点ペア探索(ステップS205)について説明する。
図14は、本実施形態に係る視界分離カメラ間特徴点ペア探索を示すフローチャートである。視界分離カメラ間特徴点ペア探索は、図13に示す視界重複カメラ間特徴点ペア探索のステップS301の代わりに、ステップS310及びステップS311を有し、終了後にステップS206へ進む。
【0068】
(ステップS310)特徴点ペア探索部1224は、車両CANバスインタフェース124から車両情報として速度情報及びヨーレート情報が入力される。その後、ステップS302に進む。
(ステップS311)特徴点ペア探索部1224は、マスタ画像から抽出された特徴点の出現時間ΔT後における世界座標を、現在の世界座標、入力された速度情報及びヨーレート情報に基づいて例えば式(5)を用いて推定する。特徴点ペア探索部1224は、推定した特徴点に基づき、当該特徴点から予め設定された範囲内にあり、対向する特徴点の候補となる候補特徴点を定める。及び光軸補正量を探索する範囲を設定する。
また、特徴点ペア探索部1224は、設計値に基づくスレーブカメラの光軸補正量を、光軸補正量の初期値として設定し、光軸補正量を探索する範囲を設定する。その後、ステップS302に進む。ステップS302−S306において視野分離スレーブ画像に対して行う処理は、図11においてステップS302−S306において視野重複スレーブ画像に対して行う処理と同様である。その後、ステップS206に進む。
【0069】
本実施形態では、前方監視カメラ211の代わりに他のカメラをマスタカメラとしてもよい。
本実施形態では、光軸補正部1221は、上述の生成した光軸補正マスタ画像を画像圧縮部1225に出力し、光軸補正部1222−2〜1222−7は、入力されたスレーブ画像を各々画像圧縮部1225に出力してもよい。このとき、画像圧縮部1225は、入力された光軸補正マスタ画像及びスレーブ画像を各々、入力されたカメラ毎の画像信号として圧縮して圧縮画像信号を生成してもよい。
本実施形態では、特徴点抽出部1223は、SIFT特徴量を用いる方法の代わりに、エッジ抽出により抽出したエッジに基づき特徴点を抽出してもよい。
本実施形態では、画像処理装置10は、さらに当該装置や車両2の外部との通信を可能にする通信インタフェースを備えてもよい。当該通信インタフェースは、外部からの要求信号を入力したとき、画像記録部130から画像信号と対応するイベント情報及び車両情報を読出し、外部に出力してもよい。これにより、本実施形態に係る画像処理装置10は、サービス工場や車両所有者向けにモニタ画像と付随するイベント情報及び車両情報を提供する。
【0070】
このように、本実施形態によれば、車両情報に基づいて推定し、1つの画像取得部が取得した画像と、他の画像取得部が取得した画像との位置関係に基づき画像補正量を算出する。これにより、複数の画像取得部が取得した画像と車両情報と、画像間の位置関係に基づき画像補正値を算出するので、算出した画像補正値に基づき画像を補正して複数の画像を一括して管理し、これらの画像を使用するシステムの構築が容易になる。
また、本実施形態によれば、1つの画像の特徴点と他の画像の特徴点の位置関係に基づき画像補正値を算出する。これらの特徴点により各画像の位置関係が代表されるため、画像補正値の算出が容易になる。
また、本実施形態によれば、他の画像の特徴点を1つの画像の特徴点から予め定められた範囲内において探索するため、探索にかかる演算量を低減することができる。
【0071】
なお、上述した実施形態における画像処理装置10の一部、例えば、光軸補正部1221、光軸補正部1222−2〜1222−7、特徴点抽出部1223、特徴点ペア探索部1224、画像圧縮部1225及びデータ入出力部1226をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、画像処理装置10に内蔵されたコンピュータシステムであって、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態における画像処理装置の一部、または全部を、LSI(Large Scale Integration)等の集積回路として実現しても良い。画像装置の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はLSIに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりLSIに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。
このような構成のもとで画像処理システム1が備えるカメラを少数(例えば前方監視カメラ2個)に制限することにより、経済的に本実施形態に係る画像処理システム1を構成することもできる。
【0072】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0073】
1…画像処理システム、2…車両、10…画像処理装置、
1211…前方監視カメラインタフェース、
1212…広角前方監視カメラインタフェース、
1213…左右前方死角監視カメラインタフェース、
1214…左後方監視カメラインタフェース、
1215…右後方監視カメラインタフェース、
1216…車室内監視カメラインタフェース、1217…後方監視カメラインタフェース、
122…画像処理部、1221…光軸補正部、1222−2〜1222−7…光軸補正部、1223…特徴点抽出部、1224…特徴点ペア探索部、1225…画像圧縮部、
1226…データ入出力部
124…車両CANバスインタフェース、127…画像バスインタフェース、
129…サービスインタフェース、130…画像記録部、
211…前方監視カメラ、212…広角前方監視カメラ、
213…左右前方死角監視カメラ、214…左後方監視カメラ、
215…右後方監視カメラ、216…車室内監視カメラ、217…後方監視カメラ、
24…車両CANバス、241…ヨーレートセンサ、242…速度センサ
27…画像バス、270…画像補正利用部、
271…認識装置、272…警告装置、273…表示装置、
【特許請求の範囲】
【請求項1】
各々画像を取得する複数の画像取得部と、
車両の移動状態を示す車両情報を取得する車両情報取得部と、
前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係に基づき画像補正量を算出する画像補正量算出部と
を備え、
前記画像補正量算出部は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出する
ことを特徴とする画像処理装置。
【請求項2】
前記画像から特徴点を抽出する特徴点抽出部を備え、
前記画像補正量算出部は、前記位置関係として前記第1の画像の特徴点と前記第2の画像の特徴点の位置関係を算出すること
を特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画像補正量算出部は、
前記第2の画像の特徴点を前記第1の画像の特徴点から予め定められた範囲内において探索することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置における画像処理方法において、
前記画像処理装置が、前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係を算出する第1の過程
を有し、
前記第1の過程は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理方法。
【請求項5】
各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置のコンピュータに、
前記画像処理装置が、前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係を算出する手順、
を実行させるための画像処理プログラムであって、
前記手順は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理プログラム。
【請求項1】
各々画像を取得する複数の画像取得部と、
車両の移動状態を示す車両情報を取得する車両情報取得部と、
前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係に基づき画像補正量を算出する画像補正量算出部と
を備え、
前記画像補正量算出部は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出する
ことを特徴とする画像処理装置。
【請求項2】
前記画像から特徴点を抽出する特徴点抽出部を備え、
前記画像補正量算出部は、前記位置関係として前記第1の画像の特徴点と前記第2の画像の特徴点の位置関係を算出すること
を特徴とする請求項1に記載の画像処理装置。
【請求項3】
前記画像補正量算出部は、
前記第2の画像の特徴点を前記第1の画像の特徴点から予め定められた範囲内において探索することを特徴とする請求項2に記載の画像処理装置。
【請求項4】
各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置における画像処理方法において、
前記画像処理装置が、前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係を算出する第1の過程
を有し、
前記第1の過程は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理方法。
【請求項5】
各々画像を取得する複数の画像取得部と、車両の移動状態を示す車両情報を取得する車両情報取得部とを備える画像処理装置のコンピュータに、
前記画像処理装置が、前記複数の画像取得部のうち1つの画像取得部が取得した第1の画像と、他の画像取得部が取得した第2の画像との位置関係を算出する手順、
を実行させるための画像処理プログラムであって、
前記手順は、前記車両情報に基づいて推定した前記位置関係に基づき前記画像補正量を算出することを特徴とする画像処理プログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【公開番号】特開2012−185540(P2012−185540A)
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願番号】特願2011−46423(P2011−46423)
【出願日】平成23年3月3日(2011.3.3)
【出願人】(300052246)株式会社ホンダエレシス (105)
【Fターム(参考)】
【公開日】平成24年9月27日(2012.9.27)
【国際特許分類】
【出願日】平成23年3月3日(2011.3.3)
【出願人】(300052246)株式会社ホンダエレシス (105)
【Fターム(参考)】
[ Back to top ]