車載撮像装置
【課題】車両走行に伴う車両の揺れを予測し、予測した車両の揺れに応じて切り出し枠のサイズを可変にすることによって、撮像画像に揺れが残留しない車載撮像装置を提供することである。
【解決手段】車両外の被写体を撮像し、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置であって、被写体を撮像して撮像信号を生成する撮像部と、車両の自車位置を算出する自車位置算出部と、車両が走行する道路の路面段差に関する情報を予め記憶する路面段差格納部と、車両の揺れを検知するセンサ部と、自車位置と路面段差に関する情報とに基づいて、車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出する切り出し枠サイズ算出部と、算出された切り出し枠に基づいて、撮像信号を補正する補正部とを備える。
【解決手段】車両外の被写体を撮像し、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置であって、被写体を撮像して撮像信号を生成する撮像部と、車両の自車位置を算出する自車位置算出部と、車両が走行する道路の路面段差に関する情報を予め記憶する路面段差格納部と、車両の揺れを検知するセンサ部と、自車位置と路面段差に関する情報とに基づいて、車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出する切り出し枠サイズ算出部と、算出された切り出し枠に基づいて、撮像信号を補正する補正部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両外の被写体を撮像する車載撮像装置に関し、より特定的には、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置に関する。
【背景技術】
【０００２】
近年、ビデオカメラ等の撮像装置が広く普及している。最近では、撮像装置を車載カメラとして自動車等に搭載し、搭載された撮像装置は、前方の障害物を検知する用途、白線を検知し逸脱を警報する用途、および衝突事故発生時に事故前後の映像を録画するドライブレコーダ等の用途に用いられている。ところが、ビデオカメラ等の撮像装置を車載カメラとして使用する際には、走行時に発生する振動により、撮像時の画像が揺れてしまうという問題があった。
【０００３】
一方、従来から、家庭用ビデオカメラ等においては、手振れ補正機能を有する撮像装置が一般に普及している。この手振れ補正機能は、例えば、撮像装置が手振れに伴う揺れを検知し、その検知結果に基づき、撮像する画像に対して電子的、または光学的な揺れ補正を行うという機能である。前者は電子補正方式と呼ばれ、後者は光学補正方式と呼ばれている。
【０００４】
図１６は、電子補正方式を用いたビデオカメラなどの撮像装置を示す図である。図１６において、ビデオカメラなどの撮像装置は、撮像した画像の撮像信号の揺れを検知する。撮像装置における揺れ検知は、１フィールド前の画像と現フィールドの画像とを比較して、動きの方向と量と（動きベクトル）を求めることによって行う。次に、撮像装置は、この動きベクトルに応じて、最終的に出力する画面の切り出し枠を動きの方向と逆方向に平行移動する。ここで、撮像装置は、単に、被写体を撮像する撮像エリアを切り出し枠として平行移動すると、画面の端が切れてしまうため、撮像エリアより小さい範囲を切り出し枠としている。撮像装置は、撮像した画像を、平行移動した切り出し枠で切り出し、最終的に切り出した画像を拡大（電子ズーム）して出力している。
【０００５】
また、光学補正方式を用いた撮像装置は、上述した電子補正方式と同様に揺れを検知した後、揺れを打ち消す方向に補正レンズを駆動させる。つまり、光学補正方式は、光軸を補正することによって、撮像時の画像の揺れを補正する。
【０００６】
なお、撮像装置が揺れを検知する方法としては、上述したような動きベクトルを用いる方法に限定されるものではなく、例えば、角速度センサなどの出力が用いられることが考えられる。
【０００７】
しかし、このような手振れ補正機能は、ビデオカメラなど撮像装置を手で持って使用することを前提としたものであり、撮像装置を車載カメラとして使用した場合には、適切な揺れ補正ができないという問題があった。
【０００８】
そこで、車両の振動に対して適切な揺れ補正が可能な車載撮像装置が開示されている（例えば、特許文献１）。特許文献１に記載の車載撮像装置によれば、車両の上下方向の振動による揺れの検出結果と、当該車両から被写体までの距離の算出結果とに基づいて、電子補正方式を用いて適切な揺れ補正を可能としている。
【特許文献１】特開平１１−３３１６８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、路面の段差などによって車両に突然大きな揺れが発生した場合、当該車両に搭載された車載撮像装置は、突然の揺れに対応した切り出し枠の移動ができず、適切な揺れ補正ができないという課題がある。図１７は、突然の揺れが発生した場合の車載撮像装置を示す図である。図１７において、車載撮像装置は、図１６で示したように、車両の揺れを検知し、切り出し枠を平行移動する。しかし、車両の揺れは、下方向への大きな揺れであるため、当該揺れに応じた分の切り出し枠の移動ができない。これにより、切り出し枠を拡大した最終的な画像には、揺れが残留する結果となっている。
【００１０】
車両外の被写体を撮像する車載撮像装置は、電子補正方式を用いることを前提としている。一般に電子補正方式における切り出し枠のサイズは固定であって、さらに、切り出し枠の移動可能範囲は、図１６に示したように撮像エリア内に限られている。従って、突然の大きな揺れ（切り出し枠の移動が撮像エリア範囲内に収まりきらない程の揺れ）が発生すると、図１７に示したように撮像画像に揺れが残留することになる。
【００１１】
それ故に、本発明の目的は、上記課題を解決するものであり、車両走行に伴う車両の揺れを予測し、予測した車両の揺れに応じて切り出し枠のサイズを可変にすることによって、撮像画像に揺れが残留しない車載撮像装置を提供することである。また、撮像画像の視認性と揺れの安定化との両立を図る車載撮像装置を提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成させるために、本発明の第１の車載撮像装置は、車両外の被写体を撮像し、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置であって、被写体を撮像して撮像信号を生成する撮像部と、車両の自車位置を算出する自車位置算出部と、車両が走行する道路の路面段差に関する情報を予め記憶する路面段差格納部と、車両の揺れを検知するセンサ部と、自車位置と路面段差に関する情報とに基づいて、車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出する切り出し枠サイズ算出部と、算出された切り出し枠に基づいて、撮像信号を補正する補正部とを備える。
【００１３】
また、本発明の第１の車載撮像装置は、道路が分岐する地点であるノードとノード間を結ぶ道路を表すリンクとを含む地図情報を記憶する地図情報格納部を、さらに備え、路面段差に関する情報は、リンクに対応付けられていることを特徴とすることが好ましい。
また、本発明の第１の車載撮像装置は、車両が通過する予定である予想走行経路を取得する予想走行経路取得部を、さらに備え、切り出し枠サイズ算出部は、予想走行経路上のリンクに対応付けられている路面段差に関する情報に基づいて、切り出し枠のサイズを算出することを特徴とすることが好ましい。
【００１４】
また、路面段差に関する情報は、車両の揺れに基づく変位であって、切り出し枠サイズ算出部は、予想走行経路のうちの路面段差が存在する箇所の変位に基づいて、車両が当該路面段差が存在する箇所を走行する際の切り出し枠のサイズを算出することを特徴とすることが好ましい。
また、路面段差に関する情報は、車両の揺れに基づく変位であって、切り出し枠サイズ算出部は、予想走行経路のうちの各リンクに存在する変位の最大値と最小値とに基づいて、車両が当該リンクを走行する間の切り出し枠のサイズを算出することを特徴とすることが好ましい。
また、路面段差に関する情報は、車両の揺れに基づく変位であって、切り出し枠サイズ算出部は、予想走行経路のうちの所定区間に存在する変位の最大値と最小値とに基づいて、車両が所定区間を走行する間の切り出し枠のサイズを算出することを特徴とすることが好ましい。
【００１５】
また、本発明の第１の車載撮像装置は、車両が所定区間または所定のリンク数を走行した時に、切り出し枠のサイズを算出するように更新頻度の設定を行う更新頻度設定部を、さらに備えることが好ましい。
【００１６】
また、本発明の第１の車載撮像装置は、切り出し枠のサイズの大きさに基づいて、補正後の撮像信号から画像を生成する画像処理を行うか否かを判定する判定部を、さらに備えることが好ましい。
【００１７】
上記目的を達成させるために、本発明の第２の車載撮像装置は、車両外の被写体を撮像し、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置であって、被写体を撮像して撮像信号を生成する撮像部と、車両の自車位置を算出する自車位置算出部と、車両が走行する道路の路面段差に関する情報と当該路面段差に対応する走行状態とを記憶する路面段差／走行状態格納部と、車両の走行状態を検知する走行状態検知部と、路面段差／走行状態格納部に記憶されている走行状態と、走行状態検知部で検知された走行状態とを比較し、路面段差に関する情報の信号処理を行う路面段差信号処理部と、自車位置と信号処理がなされた路面段差に関する情報とに基づいて、車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出する切り出し枠サイズ算出部と、算出された切り出し枠に基づいて、撮像信号を補正する補正部とを備える。
【００１８】
上記目的を達成させるために、本発明のナビゲーション装置は、車両外の被写体を撮像し、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置の機能を有する、ナビゲーション装置であって、被写体を撮像して撮像信号を生成する撮像部と、車両の自車位置を算出する自車位置算出部と、車両が走行する道路の路面段差に関する情報を予め記憶する路面段差格納部と、車両の揺れを検知するセンサ部と、自車位置と路面段差に関する情報とに基づいて、車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出する切り出し枠サイズ算出部と、算出された切り出し枠に基づいて、撮像信号を補正する補正部とを備える、車載撮像装置の機能を有する。
【００１９】
上記目的を達成させるために、本発明の車載撮像方法は、車両外の被写体を撮像し、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像方法であって、被写体を撮像して撮像信号を生成するステップと、車両の自車位置を算出するステップと、車両が走行する道路の路面段差に関する情報を予め記憶するステップと、車両の揺れを検知するステップと、自車位置と路面段差に関する情報とに基づいて、車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出するステップと、算出された切り出し枠に基づいて、撮像信号を補正するステップとを実行する。
【００２０】
上記目的を達成させるために、本発明の車載撮像プログラムは、車両外の被写体を撮像し、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像プログラムであって、被写体を撮像して撮像信号を生成するステップと、車両の自車位置を算出するステップと、車両が走行する道路の路面段差に関する情報を予め記憶するステップと、車両の揺れを検知するステップと、自車位置と路面段差に関する情報とに基づいて、車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出するステップと、算出された切り出し枠に基づいて、撮像信号を補正するステップとを実行する。
【発明の効果】
【００２１】
上述のように、本発明に係る車載撮像装置によれば、車両走行に伴う車両の揺れを予測し、予測した車両の揺れに応じて切り出し枠のサイズを可変にすることによって、撮像画像に揺れが残留しない車載撮像装置を実現することができる。また、本発明に係る車載撮像装置によれば、車両が通過する予定である予想走行経路を取得し、当該予想走行経路上の路面段差に関する情報に基づいて、切り出し枠のサイズを可変にすることによって、撮像画像の視認性と揺れの安定化との両立を図ることができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る車載撮像装置１００を示すブロック図である。図１において、車載撮像装置１００は、撮像部１０１と、センサ部１０２と、地図情報格納部１０３と、入力部１０４と、制御部１０５と、経路探索部１０６と、路面段差格納部１０７と、切り出し枠サイズ算出部１０８と、自車位置算出部１０９と、表示部１１０とを備える。
【００２３】
撮像部１０１は、光学系と、イメージャと、信号処理回路と、補正回路と、エンコーダ回路とから構成される。
【００２４】
光学系は、複数の光学レンズと、各光学レンズを駆動するフォーカス機構と、ズーム機構等とから構成され、撮像する被写体の撮像光が入力される。なお、光学系は、車両の前方の実風景画像を撮像するために、ルームミラー背面のウィンドシールド付近、車両天井部等に設置される。
【００２５】
イメージャは、撮像素子としてのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）と、これを駆動する駆動回路とから構成され、光学系からの撮像光を受光し、電気信号に変換して信号処理回路に出力する。
【００２６】
信号処理回路は、イメージャからの電気信号に対して、サンプルホールド処理およびＡ／Ｄ変換処理などを施してディジタルの撮像信号を生成し、このディジタルの撮像信号を補正回路に出力する。
【００２７】
補正回路は、少なくとも１フレーム分の補正前映像データを記憶可能なメモリと、そのメモリをコントロールするメモリコントローラとを備え、後述するセンサ部１０２からの揺れ検知結果に基づいて、信号処理回路からのディジタルの撮像信号に対して、電子補正方式を用いて適切な揺れ補正を行う。ここで、補正回路がディジタルの撮像信号を補正する際の切り出し枠のサイズは、切り出し枠サイズ算出部１０８から指定されるものを使用する。
【００２８】
エンコーダ回路は、補正回路からの補正済みのディジタルの撮像信号に対して、Ｄ／Ａ変換や同期信号の付加等の処理を施してアナログのビデオ信号を生成し、このビデオ信号を表示部１１０に出力する。なお、エンコーダ回路の代わりに、補正回路からの補正済みのディジタルの撮像信号を画像処理する画像処理回路を備える構成も可能である。画像処理回路を備える場合には、表示部１１０にアナログのビデオ信号を出力せずに、画像処理結果だけを出力してもよい。
【００２９】
センサ部１０２は、車両の上下振動に伴う撮像画像の揺れを検知するための、１軸以上の加速度センサ及び／又はジャイロ（角速度）センサ等（以下、慣性センサと記す）である。センサ部１０２は、このセンサで検出された加速度及び／又は角速度信号に対して、オフセットキャンセル処理や積分処理等を施し、上下方向の変位についての変位情報を生成する。ここで、オフセットキャンセル処理は、慣性センサの定常誤差や温度ドリフト等に影響を受ける成分を除去するために行い、積分処理は、慣性センサからの角速度信号に対して行うものであって、一角度情報に変換するために行う。
【００３０】
このように得られた角度をθとすると、揺れに伴う変位Ｙは、（式１）のように表すことができる。
Ｙ＝ｆ×ｔａｎθ・・・（式１）
（式１）において、ｆは焦点距離を表しており、光学系によって決まる。
【００３１】
なお、変位の算出は、センサ部１０２で求める以外にも画像処理を用いて算出しても良い。例えば、動きベクトルを使用する方法やＫＬＴ−Ｔｒａｃｋｅｒによる特徴点追跡を使用する方法等がある。
【００３２】
地図情報格納部１０３は、例えば、ＨＤＤ、ＤＶＤ、またはフラッシュメモリなどで構成され、道路や交差点に関するデータ等の地図情報が格納される。なお、地図情報格納部１０３は、インタフェース回路を含む構成である。また、地図情報格納部１０３は、これらの構成に限定されるものではない。例えば、地図情報格納部１０３は、図示しない通信手段（例えば、携帯電話、モバイルＷｉＭＡＸ）によって、センタ設備等から地図情報を適宜ダウンロードする構成としてもよい。
【００３３】
入力部１０４は、例えば、押圧式のスイッチを所定数並べたもの、タッチパネル式のもの、リモコン、あるいは利用者の声を認識して車載撮像装置への入力情報に変換する、マイクロフォンおよび音声認識エンジン等で構成され、ユーザからの指示を入力する。ユーザからの指示内容としては、光学系の調整や、車両の走行経路を得るための操作等がある。
【００３４】
制御部１０５は、ＣＰＵやＭＰＵと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とから構成され、車載撮像装置１００全体の動作を制御する。ＣＰＵやＭＰＵは、ＲＯＭに格納されるプログラムを実行することによって、図１に示す各機能ブロックを相互連携させ、車載撮像装置１００全体の動作を制御している。また、ＣＰＵやＭＰＵは、プログラムの実行中、ＲＡＭを作業領域として使用する。
【００３５】
経路探索部１０６は、入力部１０４から入力された目的地に関する情報と、自車位置算出部１０９から取得する自車位置情報と、地図情報格納部１０３に格納されている地図情報とに基づいて、目的地に至る最適経路を探索するプログラムである。探索された経路にはいくつかの案内点（案内対象の交差点）が含まれ、案内点であるか否かの判定は、あるノードに進入するノードと脱出するノードとの角度を参照することで行われる。なお、最適経路の探索は、ダイクストラ法や横型探索法などの公知の手法を用いることができる。また、最適経路は、典型的にはリンクデータ列として表現される。リンクデータ列として保持しておけば、リンクを構成するノードデータやリンク形状データを取得することができる。なお、経路探索部１０６は、この構成に限らず、図示しない通信手段（例えば、携帯電話、モバイルＷｉＭＡＸ等）によって、センタ設備等から経路情報を適宜ダウンロードする構成としてもよい。ノードデータおよびリンクデータの詳しい説明については、後述する。
【００３６】
路面段差格納部１０７は、例えば、ＨＤＤ、ＤＶＤ、またはフラッシュメモリなどで構成され、車両の上下振動に伴う揺れを路面段差情報として、上述したリンクと対応付けて記憶する。なお、路面段差格納部１０７は、インタフェース回路を含む構成である。また、路面段差格納部１０７は、これらの構成に限定されるものではない。例えば、路面段差格納部１０７は、図示しない通信手段（例えば、携帯電話、モバイルＷｉＭＡＸ）によって、センタ設備等から路面段差情報を適宜ダウンロードする構成としてもよい。いわゆるプローブ情報として、他の車両が収集した路面段差情報を利用することもできる。また、路面段差格納部１０７に路面段差情報を格納する詳細な動作については後述する。
【００３７】
切り出し枠サイズ算出部１０８は、電子補正方式を用いて適切な揺れ補正を行う際の切り出し枠のサイズを算出し、撮像部１０１の補正回路に指示するためのプログラムである。切り出し枠のサイズは、路面段差格納部１０７に格納される路面段差情報を参照することで算出される。切り出し枠のサイズを算出する詳細な動作については後述する。
【００３８】
自車位置算出部１０９は、例えば、１以上のＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機と、車速センサと、１以上のジャイロ（角速度）センサと、１以上の加速度センサ等とから構成され、車載撮像装置１００の現在位置、速度、および方位を測位する。ここで、ＧＮＳＳ受信機は、例えば、ＧＰＳ受信機であり、複数の衛星からの電波を受信し、それを復調することで受信機の絶対位置を計測する。なお、現在位置、速度、および方位の測位計算には、ＧＮＳＳ受信機や各種センサを単独又は複合利用して行う。自車位置算出部１０９は、センサ部１０２と一部又は全てを共通化することもできる。
【００３９】
また、自車位置算出部１０９は、受信機で復調した測位信号の搬送波位相角を連続的に測定した搬送波位相を使用する測位方式でも良い。さらに、自車位置算出部１０９で測位された自車位置に基づいて、後述する地図情報のリンク（道路）に対しマップマッチング処理を行うことができる。
【００４０】
表示部１１０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどの表示デバイスである。
【００４１】
次に、地図情報格納部１０３に格納されている地図情報について詳しく説明する。図２および図３は、地図情報格納部１０３に格納されている地図情報であって、本実施形態に関連する情報を抜粋したデータをレコード形式に示す図である。図２に示すように、地図情報格納部１０３には、（Ａ）ノードデータと（Ｂ）リンクデータとが含まれている。図３に示すように、地図情報格納部１０３には、（Ｃ）道路種別データと、（Ｄ）形状ノードデータとが、さらに含まれる。
【００４２】
図２において、（Ａ）ノードデータとして示されているノードとは、交差点や合流地点など、多方向に道路が分岐する地点である。各ノードは、ノード毎の緯度・経度等の位置情報と、当該ノードに接続する接続リンク数と、接続リンクＩＤとから構成される。なお、位置情報は地図メッシュの四隅のいずれかを始点とする正規化座標で表現されていても良い。（Ｂ）リンクデータとして示されているリンクとは、ノード間を結ぶ道路を表すものである。各リンクは、当該リンクの端点である始点ノードおよび終点ノードと、リンクコスト（例えば、リンクの距離であり、単位はメートルやキロメートルなど）と、リンク幅（道路幅であり、単位はメートルなど）と、レーン数と、道路種別と、形状ノード数と、形状ノードＩＤとから構成される。ここで、リンクコストは、経路探索部１０６が経路探索を行う際のコスト計算に用いられる。また、形状ノードの詳細な説明については後述する。
【００４３】
図３において、上述した（Ｂ）リンクデータレコードで指定された道路種別は、（Ｃ）道路種別データによって、識別可能となっている。（Ｃ）道路種別データとして示される道路種別とは、例えば、高速道や一般道といった道路の属性を表すものであり、道路の種類毎にそれぞれ重複しない値を持っている。なお、この道路種別データによって、経路探索部１０６は一般道優先や高速道優先といった探索条件を設定した上で、経路探索を行うことができる。（Ｄ）形状ノードデータとして示されている形状ノードとは、リンク上に存在し、リンクが直線状でない場合等、その形状を表現するための曲折点を表すものである。各形状ノードは、形状ノード毎の緯度・経度等の位置情報と、当該形状ノードが存在するリンクＩＤ等とから構成される。なお、位置情報はノードの端点を始点とする正規化座標で表現しても良い。
【００４４】
図４は、地図情報格納部１０３に格納される地図情報を、ノードとリンクとから構成される道路ネットワークとして復元した様子を示す模式図である。ノードには２本以上のリンクが接続して、別のノードと結ばれており、そのリンク上にはリンクの形状を支配するための形状ノードが存在する。図４において、ノードＮ１０１を見ると、リンクＬ１００およびリンクＬ１０１など２本以上のリンクが接続して、ノードＮ１００およびノードＮ１０２と結ばれている。さらに、リンクＬ１００上には、リンクの形状を支配するための形状ノードＳＮ１〜ＳＮ３が存在する。
【００４５】
なお、リンクが直線的な道路である場合には、形状ノードは必ずしも存在するとは限らない。また、ノードデータ自体が高密度（例えば、データ間隔が５ｍ）で格納されている場合には、形状ノードは必ずしも存在するとは限らない。
【００４６】
なお、このような道路ネットワークとして復元可能なデータは、道路情報だけではなく、背景データ（河川、緑地など）やＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）情報などがある。これらのデータも地図情報格納部１０３に含まれるが、本実施形態では割愛する。なお、ＰＯＩ情報とは、例えば、ファミリーレストランやガソリンスタンドなどの施設情報である。なお、以下の説明においては、ノードと形状ノードとを総称して道路形状点と呼ぶことがある。
【００４７】
次に、本実施形態に係る車載撮像装置１００の路面段差を学習する動作について、図面を参照しながら説明する。図５は、路面段差情報を路面段差格納部１０７に格納する動作を示すフロー図である。図５において、まず、車両がはじめて通るリンクであるか否かを判断する（ステップＳ１０１）。はじめて通るリンクでない場合（ステップＳ１０１：Ｎｏ）、既に路面段差情報は記憶されていると判断し処理を終了する。一方、はじめて通るリンクである場合（ステップＳ１０１：Ｙｅｓ）、センサ部１０２で検知したセンサ情報を取得する（ステップＳ１０２）。その後、センサ部１０２で検知したセンサ情報から生成された路面段差信号をリンクと対応付けて路面段差格納部１０７に格納する（ステップＳ１０３）。なお、路面段差信号はレーン毎に格納することが望ましい。
【００４８】
また、図５に示したフロー図においては、はじめて通るリンクの場合のみ路面段差信号を格納したが、これに限定されるわけではない。路面段差信号を格納してからしばらく時間が経過していれば、当該リンクの路面段差情報も変更されている可能性も考えられる。このため、以前に通ったリンクであっても路面段差信号を格納してから一定時間が経過していれば、再度、路面段差信号を格納するようにしても構わない。さらには、常に最新情報に更新するために、リンクを通過する度に路面段差信号を格納するようにしても構わない。なお、これらの方法によって路面段差格納部１０７に格納する情報は、通信等を利用して車両外のセンタ設備等に送信し、一元管理させることもできる。
【００４９】
このように、車載撮像装置１００は、センサ部１０２が検知した車両の上下振動に伴う揺れを路面段差信号として、上述したリンクと対応付けて路面段差格納部１０７に記憶する。
【００５０】
一例として、図４に示したリンクＬ１０１に路面段差がある場合を想定して説明する。図６は、図５のステップＳ１０３において路面段差信号がリンクと対応付けられた様子を示す模式図である。ここで、路面段差信号は、上述した（式１）の変位Ｙで表すことができる。図６に示すように、リンク上での自車位置が分かれば、その位置に対応する路面段差信号が参照できるようにする。
【００５１】
なお、路面段差信号は変位Ｙとして表したが、これに限定されるものではない。例えば、慣性センサで検知した信号を変位Ｙに変換せず、そのまま路面段差格納部１０７に記憶するようにしても良い。この場合、路面段差格納部１０７に格納されている信号を、参照時に変位Ｙに変換して使用する。
【００５２】
次に、本実施形態に係る車載撮像装置１００が揺れ補正を行う動作について、図面を参照しながら説明する。図７は、車載撮像装置１００が揺れ補正を行う動作を示すフロー図である。まず、車載撮像装置１００が撮像中であるか否かを判定する（ステップＳ２０１）。撮像中でない場合（ステップＳ２０１：Ｎｏ）、撮像が開始されるまで待機する。一方、撮像中である場合（ステップＳ２０１：Ｙｅｓ）、ステップＳ２０２に処理を移す。ステップＳ２０２において、自車位置算出部１０９によって自車位置が算出される。自車位置算出部１０９は、測位された自車位置に基づいて、地図情報格納部１０３に格納されている地図情報に対しマップマッチング処理を行い、リンク上の自車位置を確定する。ステップＳ２０３において、当該リンクに対応付いている路面段差信号を路面段差格納部１０７から取得する。ステップＳ２０４において、路面段差格納部１０７から取得した路面段差信号に基づいて、切り出し枠サイズ算出部１０８が最大の切り出し枠サイズを算出し、撮像部１０１の補正回路に通知する。
【００５３】
その後、自車がリンク上の路面段差部分を通過する際、ステップＳ２０５において、センサ部１０２によって揺れ検知を行う。ステップＳ２０６において、撮像部１０１の補正回路は、センサ部１０２からの揺れ検知結果と、切り出し枠サイズ算出部１０８からの切り出し枠サイズとに基づいて、撮像信号に対して、電子補正方式を用いて適切な揺れ補正を行う。ステップＳ２０７において、撮像終了か否かを判断する。撮像終了でない場合（ステップＳ２０７：Ｎｏ）、ステップＳ２０２の処理に戻る。撮像終了である場合（ステップＳ２０７：Ｙｅｓ）、フローを終了する。
【００５４】
図８は、一旦学習済み（路面段差信号格納済み）の路面に車両が近づく様子を示す図である。図８に示すように、車両がリンクＬ１０１上のＡ地点（路面段差がほとんど無い箇所）に存在するときには、切り出し枠のサイズと撮像エリアのサイズとはほぼ同じ大きさとなる。一方、車両がリンクＬ１０１上のＢ地点（路面段差がある箇所）に存在するときには、切り出し枠のサイズは撮像エリアに対して小さくなるように算出される。このように車両の現在の自車位置に応じて、切り出し枠のサイズが動的に変化することになる。切り出し枠のサイズは、路面段差格納部１０７に格納された路面段差信号に基づいて、切り出し枠サイズ算出部１０８によって算出される。このように、切り出し枠は、撮像エリアの範囲外に振り切れることがない最大のサイズとなる。
【００５５】
図９は、車両に突然の揺れが発生した場合、本実施形態に係る車載撮像装置１００が揺れ補正を行う様子を示す図である。図９において、本実施形態に係る車載撮像装置１００は、撮像した画像の撮像信号の揺れを検知し、切り出し枠を平行移動する。ここで、本実施形態に係る車載撮像装置１００は、上述したように撮像エリアの範囲外に振り切れることがない最大のサイズで切り出し枠を算出しているため、切り出し枠は揺れに応じた分、移動できている。これにより、切り出し枠を拡大した最終的な画像には、揺れが残留しない結果となっている。
【００５６】
以上のように、本発明の第１の実施形態に係る車載撮像装置１００によれば、車両走行に伴う揺れを予測し、予測した揺れに応じて切り出し枠のサイズを可変にすることによって、撮像画像に揺れが残留しないようにすることができる。具体的には、予め路面段差に関する情報を地図情報のリンクに対応付けて格納し、車両の揺れを予測するため、地図上の自車位置に対応付けられた路面段差信号の取得が可能となり、予測した揺れに応じて切り出し枠のサイズを設定することができる。さらに、本発明の第１の実施形態に係る車載撮像装置１００によれば、切り出し枠は、路面段差に応じて最大のサイズであるため、解像度の劣化を最小限に保つことができる。
【００５７】
なお、本実施形態においては、車両が走行するリンクの路面段差毎に、切り出し枠サイズ算出部１０８が切り出し枠のサイズを算出していたが、切り出し枠のサイズを算出する単位は、これに限定されるものではない。例えば、１つのリンクに複数の路面段差が存在する場合は、切り出し枠サイズ算出部１０８は、リンク単位で切り出し枠のサイズを算出しても構わない。この場合、切り出し枠サイズ算出部１０８は、リンク毎に存在する変位の最大値と最小値とに基づいて、当該リンク走行時の切り出し枠のサイズを算出することになる。
【００５８】
なお、算出された切り出し枠のサイズの大きさに基づいて、撮像部１０１の補正回路からの補正済みの撮像信号を画像処理するか否かを判断することができる。例えば、切り出し枠のサイズが所定値より小さい場合には、エンコーダ回路や画像処理回路によって、補正済みの撮像信号から画像を生成しないとしても構わない。切り出しサイズが小さすぎると画像処理をしても得たい情報が検知できない可能性が高く、さらには、誤検知の可能性も発生するためである。これにより、画像処理の信頼性を担保することができる。
【００５９】
（第１の実施形態の変形例）
本発明の第１の実施形態に係る車載撮像装置１００は、走行中、常に切り出し枠のサイズが最適なものに変更されていた。これに対し、本変形例では、所定の区間（又は時間）走行するタイミングで切り出し枠のサイズを算出することを特徴とする。本変形例に係る車載撮像装置の構成は、図１に示す各ブロックの構成要素と同様であるため、ここでは、その説明を省略する。本変形例においては、車載撮像装置１００が揺れ補正を行う動作について図面を参照しながら説明する。
【００６０】
図１０は、本変形例に係る車載撮像装置１００が揺れ補正を行う動作を示すフロー図である。まず、車載撮像装置１００が撮像中であるか否かを判定する（ステップＳ３０１）。撮像中でない場合（ステップＳ３０１：Ｎｏ）、撮像が開始されるまで待機する。一方、撮像中である場合（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２に処理を移す。ステップＳ３０２において、自車位置算出部１０９によって自車位置が算出される。自車位置算出部１０９は、測位された自車位置に基づいて、地図情報格納部１０３に格納されている地図情報に対しマップマッチング処理を行い、リンク上の自車位置を確定する。ここまでの処理は、上述した本発明の第１の実施形態と同様である。
【００６１】
次に、切り出し枠の算出タイミングであるか否かを判定する（ステップＳ３０３）。切り出し枠の算出タイミングでない場合（ステップＳ３０３：Ｎｏ）、ステップＳ３０７に処理を移す。ステップＳ３０７において、センサ部１０２によって揺れ検知を行う。ステップＳ３０８において、撮像部１０１の補正回路は、センサ部１０２からの揺れ検知結果と、既に算出されている切り出し枠サイズとに基づいて、撮像信号に対して、電子補正方式を用いて適切な揺れ補正を行う。その後、ステップＳ３０９に処理を移す。
【００６２】
一方、切り出し枠の算出タイミングである場合（ステップＳ３０３：Ｙｅｓ）、予想走行経路を取得する（ステップＳ３０４）。ここで、予想走行経路とは、自車が通過する予定の全経路又は一部経路を表しており、経路探索部１０６で探索された経路である。ステップＳ３０５において、所定区間の路面段差信号を路面段差格納部１０７から取得する。ここで、所定区間とは、自車位置から目的地までの経路であって、自車が通過するであろう全経路又は一部経路のことである。ステップＳ３０６において、路面段差格納部１０７から取得した所定区間の路面段差信号に基づいて、切り出し枠サイズ算出部１０８が最大の切り出し枠サイズを算出し、撮像部１０１の補正回路に通知する。
【００６３】
その後、自車が所定区間を通過する際、ステップＳ３０７において、センサ部１０２によって揺れ検知を行う。ステップＳ３０８において、撮像部１０１の補正回路は、センサ部１０２からの揺れ検知結果と、切り出し枠サイズ算出部１０８によって今回更新された切り出し枠サイズとに基づいて、撮像信号に対して、電子補正方式を用いて適切な揺れ補正を行う。ステップＳ３０９において、撮像終了か否かを判断する。撮像終了でない場合（ステップＳ３０９：Ｎｏ）、ステップＳ３０２の処理に戻る。撮像終了である場合（ステップＳ３０９：Ｙｅｓ）、フローを終了する。
【００６４】
図１１は、地図情報格納部１０３に格納されているデータに基づいて、ノードおよびリンクを復元した図である。図１２は、路面段差格納部１０７に格納されているリンクＬ２０１、Ｌ２０２、およびＬ２０３における路面段差信号の一例を示す模式図である。図１１および図１２を用いて、図１０のフロー図を補足する。
【００６５】
図１１において、現在の自車位置がノードＮ２００にあるものとする。このとき、図１０のステップＳ３０４において、経路探索部１０６から予想走行経路を取得する。予想走行経路は、図１１の点線で示されているように、リンクＬ２０１、Ｌ２０２、およびＬ２０３を順番に通る経路となっている。
【００６６】
図１２において、リンクＬ２０１、Ｌ２０２、およびＬ２０３に対応付けられた路面段差信号の波形とそのときの変位の最大値がＭａｘとして、最小値がＭｉｎとして示されている。このとき、図１０のステップＳ３０６において、切り出し枠サイズ算出部１０８は、変位の最大値Ｍａｘと最小値Ｍｉｎとに基づいて、切り出し枠のサイズを算出する。当該算出された切り出し枠のサイズは、車両がリンクＬ２０１、Ｌ２０２、およびＬ２０３を通過する際に、撮像エリアの範囲外に振り切れることがない最大のサイズとなる。
【００６７】
なお、切り出し枠のサイズは、リンクＬ２０１、Ｌ２０２、およびＬ２０３を通過中の間は同じサイズを保つ。その後、車両がノードＮ２０３に到達したときに、次の予想走行経路に基づいて、切り出し枠のサイズが更新される。これにより、所定区間走行中は解像度劣化が一定となる。
【００６８】
なお、ここでは、自車位置から３つ先までのリンクを取得したが、自車位置から目的地までの全リンクを取得するようにしても良い。また、所定のリンク数分とするだけでなく、自車位置から所定距離（例えば、５００ｍ）離れた路面段差信号を取得するようにしても良い。
【００６９】
以上のように、本変形例の車載撮像装置１００によれば、予想走行経路を取得し、予想走行経路上の路面段差信号に基づいて、切り出し枠のサイズを可変にすることによって、撮像画像に揺れが残留しないようにすることができる。さらに、具体的には、本変形例の車載撮像装置１００によれば、予想走行経路の所定区間に存在する揺れ変位の最大値と最小値とに基づいて切り出し枠のサイズを算出することによって、自車が所定区間又は所定のリンク数走行するタイミングで切り出し枠のサイズを変更することになる。これにより、走行中に切り出し枠のサイズを頻繁に変更しなくても済み、画像の視認性と揺れとの安定化の両立を図ることができる。
【００７０】
なお、路面段差信号の確率的な分布を求め、解像度劣化と揺れとの安定化のバランスを取ることができる最適な切り出し枠のサイズを決定するようにしても良い。
【００７１】
（第２の実施形態）
図１３は、本発明の第２の実施形態に係る車載撮像装置２００を示すブロック図である。図１３において、車載撮像装置２００は、撮像部１０１と、センサ部１０２と、地図情報格納部１０３と、入力部１０４と、制御部１０５と、経路探索部１０６と、路面段差／走行状態格納部２０１と、切り出し枠サイズ算出部１０８と、自車位置算出部１０９と、表示部１１０と、路面段差信号処理部２０２とを備える。図１３に示す各ブロックの構成要素のうち、図１と同様の構成要素については、同様の参照符号を付して、その説明を省略する。本実施形態においては、路面段差／走行状態格納部２０１および路面段差信号処理部２０２の構成要素について、詳しく説明する。
【００７２】
路面段差／走行状態格納部２０１は、例えば、ＨＤＤ、ＤＶＤ、またはフラッシュメモリなどで構成され、車両の上下振動に伴う揺れを路面段差情報として、本発明の第１の実施形態で示したようにリンクと対応付けて記憶する。なお、路面段差／走行状態格納部２０１は、インタフェース回路を含む構成である。さらに、路面段差／走行状態格納部２０１は、路面段差情報を格納する際に、その時の車両の走行状態を記憶する。ここで、走行状態とは、例えば、車両速度等である。路面段差／走行状態格納部２０１に路面段差情報および走行状態を格納する詳細な動作については後述する。
【００７３】
路面段差信号処理部２０２は、路面段差／走行状態格納部２０１に格納されている路面段差信号と走行状態とを参照し、路面段差信号を処理するプログラムである。詳細な動作は後述する。
【００７４】
次に、本実施形態に係る車載撮像装置２００の路面段差を学習する動作について、図面を参照しながら説明する。図１４は、路面段差情報と走行状態とを路面段差／走行状態格納部２０１に格納する動作を示すフロー図である。図１４において、まず、車両がはじめて通るリンクであるか否かを判断する（ステップＳ４０１）。はじめて通るリンクでない場合（ステップＳ４０１：Ｎｏ）、既に路面段差情報および走行情報は記憶されていると判断し処理を終了する。一方、はじめて通るリンクである場合（ステップＳ４０１：Ｙｅｓ）、センサ部１０２で検知したセンサ情報を取得する（ステップＳ４０２）。走行状態を自車位置算出部１０９から取得する（ステップＳ４０３）。その後、センサ部１０２で検知したセンサ情報から生成された路面段差信号と走行状態とをリンクと対応付けて路面段差／走行状態格納部２０１に格納する（ステップＳ４０４）。なお、路面段差信号と走行状態とはレーン毎に格納することが望ましい。
【００７５】
また、図１４のフロー図においては、はじめて通るリンクの場合のみ路面段差信号と走行状態とを格納したが、これに限定されるものではない。路面段差信号と走行状態とを格納してからしばらく時間が経過していれば、当該リンクの路面段差信号および走行状態も変更されている可能性も考えられる。このため、以前に通ったリンクであっても路面段差信号と走行状態とを格納してから一定時間が経過していれば、再度、路面段差信号と走行状態とを格納するようにしても構わない。さらには、常に最新情報に更新するために、リンクを通過する度に路面段差信号と走行状態とを格納するようにしても構わない。なお、これらの方法によって路面段差／走行状態格納部２０１に格納する情報は、通信等を利用して車両外のセンタ設備等に送信し、一元管理させることもできる。
【００７６】
このように、車載撮像装置２００は、センサ部１０２が検知した車両の上下振動に伴う揺れを路面段差信号および走行状態として、リンクと対応付けて路面段差／走行状態格納部２０１に記憶する。
【００７７】
次に、本実施形態に係る車載撮像装置２００が揺れ補正を行う動作について、図面を参照しながら説明する。図１５は、車載撮像装置２００が揺れ補正を行う動作を示すフロー図である。まず、車載撮像装置２００が撮像中であるか否かを判定する（ステップＳ５０１）。撮像中ではない場合（ステップＳ５０１：Ｎｏ）、撮像が開始されるまで待機する。一方、撮像中である場合（ステップＳ５０１：Ｙｅｓ）、ステップＳ５０２に処理を移す。ステップＳ５０２において、自車位置算出部１０９によって自車位置が算出される。自車位置算出部１０９は、測位された自車位置に基づいて、地図情報格納部１０３に格納されている地図情報に対しマップマッチング処理を行い、リンク上の自車位置を確定する。ステップＳ５０３において、当該リンクに対応付いている路面段差信号と路面段差情報格納時の走行状態とを路面段差／走行状態格納部２０１から取得する。ステップＳ５０４において、現在の走行状態を自車位置算出部１０９から取得する。ステップＳ５０５において、路面段差信号処理部２０２は、路面段差情報格納時の走行状態と現在の走行状態とに基づいて、路面段差信号の信号処理を行う。ステップＳ５０６において、信号処理された路面段差信号に基づいて、切り出し枠サイズ算出部１０８が最大の切り出し枠サイズを算出し、撮像部１０１の補正回路に通知する。
【００７８】
そして、ステップＳ５０７において、撮像部１０１の補正回路は、切り出し枠サイズ算出部１０８からの切り出し枠サイズに基づいて、電子補正方式を用いて適切な揺れ補正を行う。ステップＳ５０８において、撮像終了か否か判断する。撮像終了でない場合（ステップＳ５０８：Ｎｏ）、ステップＳ５０２の処理に戻る。撮像終了である場合（ステップＳ５０８：Ｙｅｓ）、フローを終了する。
【００７９】
図１５のフローが図５のフローと異なる大きな特徴は、車両の揺れの検知を行わないことである。すなわち、路面段差／走行状態格納部２０１の路面段差信号と路面段差情報格納時の走行状態とを用いることで、車両の揺れの検知を省いている。その反面、ステップＳ５０５において、信号処理が必要となる。通常、路面段差信号を路面段差／走行状態格納部２０１へ格納する時の走行状態と、現在の走行状態とは異なる。従って、格納時の走行状態と現在の走行状態とを比較し、格納した路面段差信号を現在の走行状態に合わせて再現するために信号処理を行っている。このように路面段差信号を信号処理するため、格納時と利用時とで異なる走行状態であっても、適切な揺れ補正が可能となる。
【００８０】
以上のように、本発明の第２の実施形態に係る車載撮像装置２００によれば、車両走行に伴う揺れを予測し、予測した揺れを走行状態に基づいて調整し、切り出し枠のサイズを可変にすることによって、撮像画像に揺れが残像しないようにすることができる。なお、本発明の第２の実施形態に係る車載撮像装置２００によれば、本発明の第１の実施形態に係る車載撮像装置１００と同様の効果が得られることは言うまでもない。
【００８１】
なお、本発明の各実施形態に係る車載撮像装置は、車載カメラとして使用した場合について説明したが、本発明はこれに限定されるものではなく、他の移動体に設置しても良い。また、本発明の車載撮像装置をナビゲーション装置やドライブレコーダとして実施することもできる。
【００８２】
本実施形態で説明した構成は、単に本発明の具体例を示すものであり、本発明の技術的範囲を制限するものではない。本発明の効果を奏する範囲において、任意の構成を採用することが可能である。
【産業上の利用可能性】
【００８３】
本発明の車載撮像装置は、車両外の被写体を撮像する車載カメラ等として有用である。また、車両前方の障害物を検知する障害物検知装置、白線を検知し逸脱を警報する逸脱警報装置、実風景画像を使用するナビゲーション装置、衝突事故発生時に事故前後の映像を録画するドライブレコーダ等としても有用である。
【図面の簡単な説明】
【００８４】
【図１】本発明の第１の実施形態に係る車載撮像装置１００を示すブロック図
【図２】地図情報格納部１０３に記憶されている情報の一例を示す図
【図３】地図情報格納部１０３に記憶されている情報の一例を示す図
【図４】地図情報格納部１０３に格納される地図情報をノードとリンクとから構成される道路ネットワークとして復元した様子を示す模式図
【図５】路面段差情報を路面段差格納部１０７に格納する動作を示すフロー図
【図６】図５のステップＳ１０３において路面段差信号がリンクと対応付けられた様子を示す模式図
【図７】本発明の第１の実施形態に係る車載撮像装置１００が揺れ補正を行う動作を示すフロー図
【図８】一旦学習済み（路面段差信号格納済み）の路面に車両が近づく様子を示す図
【図９】車両に突然の揺れが発生した場合、本発明の第１の実施形態に係る車載撮像装置１００が揺れ補正を行う様子を示す図
【図１０】第１の実施形態の変形例に係る車載撮像装置１００が揺れ補正を行う動作を示すフロー図
【図１１】地図情報格納部１０３に格納されているデータに基づいて、ノードおよびリンクを復元した図
【図１２】路面段差格納部１０７に格納されているリンクＬ２０１、Ｌ２０２、およびＬ２０３における路面段差信号の一例を示す模式図
【図１３】本発明の第２の実施形態に係る車載撮像装置２００を示すブロック図
【図１４】路面段差情報と走行状態とを路面段差／走行状態格納部２０１に格納する動作を示すフロー図
【図１５】車載撮像装置２００が揺れ補正を行う動作を示すフロー図
【図１６】電子補正方式を用いたビデオカメラなどの撮像装置を示す図
【図１７】突然の揺れが発生した場合の車載撮像装置を示す図
【符号の説明】
【００８５】
１００ 車載撮像装置
１０１ 撮像部
１０２ センサ部
１０３ 地図情報格納部
１０４ 入力部
１０５ 制御部
１０６ 経路探索部
１０７ 路面段差格納部
１０８ 切り出し枠サイズ算出部
１０９ 自車位置算出部
１１０ 表示部
２０１ 路面段差／走行状態格納部
２０２ 路面段差信号処理部
Ｎ１００〜Ｎ１０２、Ｎ２００〜Ｎ２０４ ノード
Ｌ１００、Ｌ１０１、Ｌ２０１〜Ｌ２０６ リンク
ＳＮ１〜ＳＮ３ 形状ノード
Ｓ１０１〜Ｓ１０３、Ｓ４０１〜Ｓ４０４ 路面段差を学習する動作の各ステップ
Ｓ２０１〜Ｓ２０７、Ｓ３０１〜Ｓ３０９、Ｓ５０１〜Ｓ５０８ 揺れを補正する動作の各ステップ
【技術分野】
【０００１】
本発明は、車両外の被写体を撮像する車載撮像装置に関し、より特定的には、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置に関する。
【背景技術】
【０００２】
近年、ビデオカメラ等の撮像装置が広く普及している。最近では、撮像装置を車載カメラとして自動車等に搭載し、搭載された撮像装置は、前方の障害物を検知する用途、白線を検知し逸脱を警報する用途、および衝突事故発生時に事故前後の映像を録画するドライブレコーダ等の用途に用いられている。ところが、ビデオカメラ等の撮像装置を車載カメラとして使用する際には、走行時に発生する振動により、撮像時の画像が揺れてしまうという問題があった。
【０００３】
一方、従来から、家庭用ビデオカメラ等においては、手振れ補正機能を有する撮像装置が一般に普及している。この手振れ補正機能は、例えば、撮像装置が手振れに伴う揺れを検知し、その検知結果に基づき、撮像する画像に対して電子的、または光学的な揺れ補正を行うという機能である。前者は電子補正方式と呼ばれ、後者は光学補正方式と呼ばれている。
【０００４】
図１６は、電子補正方式を用いたビデオカメラなどの撮像装置を示す図である。図１６において、ビデオカメラなどの撮像装置は、撮像した画像の撮像信号の揺れを検知する。撮像装置における揺れ検知は、１フィールド前の画像と現フィールドの画像とを比較して、動きの方向と量と（動きベクトル）を求めることによって行う。次に、撮像装置は、この動きベクトルに応じて、最終的に出力する画面の切り出し枠を動きの方向と逆方向に平行移動する。ここで、撮像装置は、単に、被写体を撮像する撮像エリアを切り出し枠として平行移動すると、画面の端が切れてしまうため、撮像エリアより小さい範囲を切り出し枠としている。撮像装置は、撮像した画像を、平行移動した切り出し枠で切り出し、最終的に切り出した画像を拡大（電子ズーム）して出力している。
【０００５】
また、光学補正方式を用いた撮像装置は、上述した電子補正方式と同様に揺れを検知した後、揺れを打ち消す方向に補正レンズを駆動させる。つまり、光学補正方式は、光軸を補正することによって、撮像時の画像の揺れを補正する。
【０００６】
なお、撮像装置が揺れを検知する方法としては、上述したような動きベクトルを用いる方法に限定されるものではなく、例えば、角速度センサなどの出力が用いられることが考えられる。
【０００７】
しかし、このような手振れ補正機能は、ビデオカメラなど撮像装置を手で持って使用することを前提としたものであり、撮像装置を車載カメラとして使用した場合には、適切な揺れ補正ができないという問題があった。
【０００８】
そこで、車両の振動に対して適切な揺れ補正が可能な車載撮像装置が開示されている（例えば、特許文献１）。特許文献１に記載の車載撮像装置によれば、車両の上下方向の振動による揺れの検出結果と、当該車両から被写体までの距離の算出結果とに基づいて、電子補正方式を用いて適切な揺れ補正を可能としている。
【特許文献１】特開平１１−３３１６８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、路面の段差などによって車両に突然大きな揺れが発生した場合、当該車両に搭載された車載撮像装置は、突然の揺れに対応した切り出し枠の移動ができず、適切な揺れ補正ができないという課題がある。図１７は、突然の揺れが発生した場合の車載撮像装置を示す図である。図１７において、車載撮像装置は、図１６で示したように、車両の揺れを検知し、切り出し枠を平行移動する。しかし、車両の揺れは、下方向への大きな揺れであるため、当該揺れに応じた分の切り出し枠の移動ができない。これにより、切り出し枠を拡大した最終的な画像には、揺れが残留する結果となっている。
【００１０】
車両外の被写体を撮像する車載撮像装置は、電子補正方式を用いることを前提としている。一般に電子補正方式における切り出し枠のサイズは固定であって、さらに、切り出し枠の移動可能範囲は、図１６に示したように撮像エリア内に限られている。従って、突然の大きな揺れ（切り出し枠の移動が撮像エリア範囲内に収まりきらない程の揺れ）が発生すると、図１７に示したように撮像画像に揺れが残留することになる。
【００１１】
それ故に、本発明の目的は、上記課題を解決するものであり、車両走行に伴う車両の揺れを予測し、予測した車両の揺れに応じて切り出し枠のサイズを可変にすることによって、撮像画像に揺れが残留しない車載撮像装置を提供することである。また、撮像画像の視認性と揺れの安定化との両立を図る車載撮像装置を提供することである。
【課題を解決するための手段】
【００１２】
上記目的を達成させるために、本発明の第１の車載撮像装置は、車両外の被写体を撮像し、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置であって、被写体を撮像して撮像信号を生成する撮像部と、車両の自車位置を算出する自車位置算出部と、車両が走行する道路の路面段差に関する情報を予め記憶する路面段差格納部と、車両の揺れを検知するセンサ部と、自車位置と路面段差に関する情報とに基づいて、車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出する切り出し枠サイズ算出部と、算出された切り出し枠に基づいて、撮像信号を補正する補正部とを備える。
【００１３】
また、本発明の第１の車載撮像装置は、道路が分岐する地点であるノードとノード間を結ぶ道路を表すリンクとを含む地図情報を記憶する地図情報格納部を、さらに備え、路面段差に関する情報は、リンクに対応付けられていることを特徴とすることが好ましい。
また、本発明の第１の車載撮像装置は、車両が通過する予定である予想走行経路を取得する予想走行経路取得部を、さらに備え、切り出し枠サイズ算出部は、予想走行経路上のリンクに対応付けられている路面段差に関する情報に基づいて、切り出し枠のサイズを算出することを特徴とすることが好ましい。
【００１４】
また、路面段差に関する情報は、車両の揺れに基づく変位であって、切り出し枠サイズ算出部は、予想走行経路のうちの路面段差が存在する箇所の変位に基づいて、車両が当該路面段差が存在する箇所を走行する際の切り出し枠のサイズを算出することを特徴とすることが好ましい。
また、路面段差に関する情報は、車両の揺れに基づく変位であって、切り出し枠サイズ算出部は、予想走行経路のうちの各リンクに存在する変位の最大値と最小値とに基づいて、車両が当該リンクを走行する間の切り出し枠のサイズを算出することを特徴とすることが好ましい。
また、路面段差に関する情報は、車両の揺れに基づく変位であって、切り出し枠サイズ算出部は、予想走行経路のうちの所定区間に存在する変位の最大値と最小値とに基づいて、車両が所定区間を走行する間の切り出し枠のサイズを算出することを特徴とすることが好ましい。
【００１５】
また、本発明の第１の車載撮像装置は、車両が所定区間または所定のリンク数を走行した時に、切り出し枠のサイズを算出するように更新頻度の設定を行う更新頻度設定部を、さらに備えることが好ましい。
【００１６】
また、本発明の第１の車載撮像装置は、切り出し枠のサイズの大きさに基づいて、補正後の撮像信号から画像を生成する画像処理を行うか否かを判定する判定部を、さらに備えることが好ましい。
【００１７】
上記目的を達成させるために、本発明の第２の車載撮像装置は、車両外の被写体を撮像し、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置であって、被写体を撮像して撮像信号を生成する撮像部と、車両の自車位置を算出する自車位置算出部と、車両が走行する道路の路面段差に関する情報と当該路面段差に対応する走行状態とを記憶する路面段差／走行状態格納部と、車両の走行状態を検知する走行状態検知部と、路面段差／走行状態格納部に記憶されている走行状態と、走行状態検知部で検知された走行状態とを比較し、路面段差に関する情報の信号処理を行う路面段差信号処理部と、自車位置と信号処理がなされた路面段差に関する情報とに基づいて、車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出する切り出し枠サイズ算出部と、算出された切り出し枠に基づいて、撮像信号を補正する補正部とを備える。
【００１８】
上記目的を達成させるために、本発明のナビゲーション装置は、車両外の被写体を撮像し、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置の機能を有する、ナビゲーション装置であって、被写体を撮像して撮像信号を生成する撮像部と、車両の自車位置を算出する自車位置算出部と、車両が走行する道路の路面段差に関する情報を予め記憶する路面段差格納部と、車両の揺れを検知するセンサ部と、自車位置と路面段差に関する情報とに基づいて、車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出する切り出し枠サイズ算出部と、算出された切り出し枠に基づいて、撮像信号を補正する補正部とを備える、車載撮像装置の機能を有する。
【００１９】
上記目的を達成させるために、本発明の車載撮像方法は、車両外の被写体を撮像し、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像方法であって、被写体を撮像して撮像信号を生成するステップと、車両の自車位置を算出するステップと、車両が走行する道路の路面段差に関する情報を予め記憶するステップと、車両の揺れを検知するステップと、自車位置と路面段差に関する情報とに基づいて、車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出するステップと、算出された切り出し枠に基づいて、撮像信号を補正するステップとを実行する。
【００２０】
上記目的を達成させるために、本発明の車載撮像プログラムは、車両外の被写体を撮像し、車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像プログラムであって、被写体を撮像して撮像信号を生成するステップと、車両の自車位置を算出するステップと、車両が走行する道路の路面段差に関する情報を予め記憶するステップと、車両の揺れを検知するステップと、自車位置と路面段差に関する情報とに基づいて、車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出するステップと、算出された切り出し枠に基づいて、撮像信号を補正するステップとを実行する。
【発明の効果】
【００２１】
上述のように、本発明に係る車載撮像装置によれば、車両走行に伴う車両の揺れを予測し、予測した車両の揺れに応じて切り出し枠のサイズを可変にすることによって、撮像画像に揺れが残留しない車載撮像装置を実現することができる。また、本発明に係る車載撮像装置によれば、車両が通過する予定である予想走行経路を取得し、当該予想走行経路上の路面段差に関する情報に基づいて、切り出し枠のサイズを可変にすることによって、撮像画像の視認性と揺れの安定化との両立を図ることができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の実施形態について、図面を参照しながら説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る車載撮像装置１００を示すブロック図である。図１において、車載撮像装置１００は、撮像部１０１と、センサ部１０２と、地図情報格納部１０３と、入力部１０４と、制御部１０５と、経路探索部１０６と、路面段差格納部１０７と、切り出し枠サイズ算出部１０８と、自車位置算出部１０９と、表示部１１０とを備える。
【００２３】
撮像部１０１は、光学系と、イメージャと、信号処理回路と、補正回路と、エンコーダ回路とから構成される。
【００２４】
光学系は、複数の光学レンズと、各光学レンズを駆動するフォーカス機構と、ズーム機構等とから構成され、撮像する被写体の撮像光が入力される。なお、光学系は、車両の前方の実風景画像を撮像するために、ルームミラー背面のウィンドシールド付近、車両天井部等に設置される。
【００２５】
イメージャは、撮像素子としてのＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）と、これを駆動する駆動回路とから構成され、光学系からの撮像光を受光し、電気信号に変換して信号処理回路に出力する。
【００２６】
信号処理回路は、イメージャからの電気信号に対して、サンプルホールド処理およびＡ／Ｄ変換処理などを施してディジタルの撮像信号を生成し、このディジタルの撮像信号を補正回路に出力する。
【００２７】
補正回路は、少なくとも１フレーム分の補正前映像データを記憶可能なメモリと、そのメモリをコントロールするメモリコントローラとを備え、後述するセンサ部１０２からの揺れ検知結果に基づいて、信号処理回路からのディジタルの撮像信号に対して、電子補正方式を用いて適切な揺れ補正を行う。ここで、補正回路がディジタルの撮像信号を補正する際の切り出し枠のサイズは、切り出し枠サイズ算出部１０８から指定されるものを使用する。
【００２８】
エンコーダ回路は、補正回路からの補正済みのディジタルの撮像信号に対して、Ｄ／Ａ変換や同期信号の付加等の処理を施してアナログのビデオ信号を生成し、このビデオ信号を表示部１１０に出力する。なお、エンコーダ回路の代わりに、補正回路からの補正済みのディジタルの撮像信号を画像処理する画像処理回路を備える構成も可能である。画像処理回路を備える場合には、表示部１１０にアナログのビデオ信号を出力せずに、画像処理結果だけを出力してもよい。
【００２９】
センサ部１０２は、車両の上下振動に伴う撮像画像の揺れを検知するための、１軸以上の加速度センサ及び／又はジャイロ（角速度）センサ等（以下、慣性センサと記す）である。センサ部１０２は、このセンサで検出された加速度及び／又は角速度信号に対して、オフセットキャンセル処理や積分処理等を施し、上下方向の変位についての変位情報を生成する。ここで、オフセットキャンセル処理は、慣性センサの定常誤差や温度ドリフト等に影響を受ける成分を除去するために行い、積分処理は、慣性センサからの角速度信号に対して行うものであって、一角度情報に変換するために行う。
【００３０】
このように得られた角度をθとすると、揺れに伴う変位Ｙは、（式１）のように表すことができる。
Ｙ＝ｆ×ｔａｎθ・・・（式１）
（式１）において、ｆは焦点距離を表しており、光学系によって決まる。
【００３１】
なお、変位の算出は、センサ部１０２で求める以外にも画像処理を用いて算出しても良い。例えば、動きベクトルを使用する方法やＫＬＴ−Ｔｒａｃｋｅｒによる特徴点追跡を使用する方法等がある。
【００３２】
地図情報格納部１０３は、例えば、ＨＤＤ、ＤＶＤ、またはフラッシュメモリなどで構成され、道路や交差点に関するデータ等の地図情報が格納される。なお、地図情報格納部１０３は、インタフェース回路を含む構成である。また、地図情報格納部１０３は、これらの構成に限定されるものではない。例えば、地図情報格納部１０３は、図示しない通信手段（例えば、携帯電話、モバイルＷｉＭＡＸ）によって、センタ設備等から地図情報を適宜ダウンロードする構成としてもよい。
【００３３】
入力部１０４は、例えば、押圧式のスイッチを所定数並べたもの、タッチパネル式のもの、リモコン、あるいは利用者の声を認識して車載撮像装置への入力情報に変換する、マイクロフォンおよび音声認識エンジン等で構成され、ユーザからの指示を入力する。ユーザからの指示内容としては、光学系の調整や、車両の走行経路を得るための操作等がある。
【００３４】
制御部１０５は、ＣＰＵやＭＰＵと、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とから構成され、車載撮像装置１００全体の動作を制御する。ＣＰＵやＭＰＵは、ＲＯＭに格納されるプログラムを実行することによって、図１に示す各機能ブロックを相互連携させ、車載撮像装置１００全体の動作を制御している。また、ＣＰＵやＭＰＵは、プログラムの実行中、ＲＡＭを作業領域として使用する。
【００３５】
経路探索部１０６は、入力部１０４から入力された目的地に関する情報と、自車位置算出部１０９から取得する自車位置情報と、地図情報格納部１０３に格納されている地図情報とに基づいて、目的地に至る最適経路を探索するプログラムである。探索された経路にはいくつかの案内点（案内対象の交差点）が含まれ、案内点であるか否かの判定は、あるノードに進入するノードと脱出するノードとの角度を参照することで行われる。なお、最適経路の探索は、ダイクストラ法や横型探索法などの公知の手法を用いることができる。また、最適経路は、典型的にはリンクデータ列として表現される。リンクデータ列として保持しておけば、リンクを構成するノードデータやリンク形状データを取得することができる。なお、経路探索部１０６は、この構成に限らず、図示しない通信手段（例えば、携帯電話、モバイルＷｉＭＡＸ等）によって、センタ設備等から経路情報を適宜ダウンロードする構成としてもよい。ノードデータおよびリンクデータの詳しい説明については、後述する。
【００３６】
路面段差格納部１０７は、例えば、ＨＤＤ、ＤＶＤ、またはフラッシュメモリなどで構成され、車両の上下振動に伴う揺れを路面段差情報として、上述したリンクと対応付けて記憶する。なお、路面段差格納部１０７は、インタフェース回路を含む構成である。また、路面段差格納部１０７は、これらの構成に限定されるものではない。例えば、路面段差格納部１０７は、図示しない通信手段（例えば、携帯電話、モバイルＷｉＭＡＸ）によって、センタ設備等から路面段差情報を適宜ダウンロードする構成としてもよい。いわゆるプローブ情報として、他の車両が収集した路面段差情報を利用することもできる。また、路面段差格納部１０７に路面段差情報を格納する詳細な動作については後述する。
【００３７】
切り出し枠サイズ算出部１０８は、電子補正方式を用いて適切な揺れ補正を行う際の切り出し枠のサイズを算出し、撮像部１０１の補正回路に指示するためのプログラムである。切り出し枠のサイズは、路面段差格納部１０７に格納される路面段差情報を参照することで算出される。切り出し枠のサイズを算出する詳細な動作については後述する。
【００３８】
自車位置算出部１０９は、例えば、１以上のＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機と、車速センサと、１以上のジャイロ（角速度）センサと、１以上の加速度センサ等とから構成され、車載撮像装置１００の現在位置、速度、および方位を測位する。ここで、ＧＮＳＳ受信機は、例えば、ＧＰＳ受信機であり、複数の衛星からの電波を受信し、それを復調することで受信機の絶対位置を計測する。なお、現在位置、速度、および方位の測位計算には、ＧＮＳＳ受信機や各種センサを単独又は複合利用して行う。自車位置算出部１０９は、センサ部１０２と一部又は全てを共通化することもできる。
【００３９】
また、自車位置算出部１０９は、受信機で復調した測位信号の搬送波位相角を連続的に測定した搬送波位相を使用する測位方式でも良い。さらに、自車位置算出部１０９で測位された自車位置に基づいて、後述する地図情報のリンク（道路）に対しマップマッチング処理を行うことができる。
【００４０】
表示部１１０は、例えば、液晶ディスプレイ、有機ＥＬディスプレイなどの表示デバイスである。
【００４１】
次に、地図情報格納部１０３に格納されている地図情報について詳しく説明する。図２および図３は、地図情報格納部１０３に格納されている地図情報であって、本実施形態に関連する情報を抜粋したデータをレコード形式に示す図である。図２に示すように、地図情報格納部１０３には、（Ａ）ノードデータと（Ｂ）リンクデータとが含まれている。図３に示すように、地図情報格納部１０３には、（Ｃ）道路種別データと、（Ｄ）形状ノードデータとが、さらに含まれる。
【００４２】
図２において、（Ａ）ノードデータとして示されているノードとは、交差点や合流地点など、多方向に道路が分岐する地点である。各ノードは、ノード毎の緯度・経度等の位置情報と、当該ノードに接続する接続リンク数と、接続リンクＩＤとから構成される。なお、位置情報は地図メッシュの四隅のいずれかを始点とする正規化座標で表現されていても良い。（Ｂ）リンクデータとして示されているリンクとは、ノード間を結ぶ道路を表すものである。各リンクは、当該リンクの端点である始点ノードおよび終点ノードと、リンクコスト（例えば、リンクの距離であり、単位はメートルやキロメートルなど）と、リンク幅（道路幅であり、単位はメートルなど）と、レーン数と、道路種別と、形状ノード数と、形状ノードＩＤとから構成される。ここで、リンクコストは、経路探索部１０６が経路探索を行う際のコスト計算に用いられる。また、形状ノードの詳細な説明については後述する。
【００４３】
図３において、上述した（Ｂ）リンクデータレコードで指定された道路種別は、（Ｃ）道路種別データによって、識別可能となっている。（Ｃ）道路種別データとして示される道路種別とは、例えば、高速道や一般道といった道路の属性を表すものであり、道路の種類毎にそれぞれ重複しない値を持っている。なお、この道路種別データによって、経路探索部１０６は一般道優先や高速道優先といった探索条件を設定した上で、経路探索を行うことができる。（Ｄ）形状ノードデータとして示されている形状ノードとは、リンク上に存在し、リンクが直線状でない場合等、その形状を表現するための曲折点を表すものである。各形状ノードは、形状ノード毎の緯度・経度等の位置情報と、当該形状ノードが存在するリンクＩＤ等とから構成される。なお、位置情報はノードの端点を始点とする正規化座標で表現しても良い。
【００４４】
図４は、地図情報格納部１０３に格納される地図情報を、ノードとリンクとから構成される道路ネットワークとして復元した様子を示す模式図である。ノードには２本以上のリンクが接続して、別のノードと結ばれており、そのリンク上にはリンクの形状を支配するための形状ノードが存在する。図４において、ノードＮ１０１を見ると、リンクＬ１００およびリンクＬ１０１など２本以上のリンクが接続して、ノードＮ１００およびノードＮ１０２と結ばれている。さらに、リンクＬ１００上には、リンクの形状を支配するための形状ノードＳＮ１〜ＳＮ３が存在する。
【００４５】
なお、リンクが直線的な道路である場合には、形状ノードは必ずしも存在するとは限らない。また、ノードデータ自体が高密度（例えば、データ間隔が５ｍ）で格納されている場合には、形状ノードは必ずしも存在するとは限らない。
【００４６】
なお、このような道路ネットワークとして復元可能なデータは、道路情報だけではなく、背景データ（河川、緑地など）やＰＯＩ（Ｐｏｉｎｔ ｏｆ Ｉｎｔｅｒｅｓｔ）情報などがある。これらのデータも地図情報格納部１０３に含まれるが、本実施形態では割愛する。なお、ＰＯＩ情報とは、例えば、ファミリーレストランやガソリンスタンドなどの施設情報である。なお、以下の説明においては、ノードと形状ノードとを総称して道路形状点と呼ぶことがある。
【００４７】
次に、本実施形態に係る車載撮像装置１００の路面段差を学習する動作について、図面を参照しながら説明する。図５は、路面段差情報を路面段差格納部１０７に格納する動作を示すフロー図である。図５において、まず、車両がはじめて通るリンクであるか否かを判断する（ステップＳ１０１）。はじめて通るリンクでない場合（ステップＳ１０１：Ｎｏ）、既に路面段差情報は記憶されていると判断し処理を終了する。一方、はじめて通るリンクである場合（ステップＳ１０１：Ｙｅｓ）、センサ部１０２で検知したセンサ情報を取得する（ステップＳ１０２）。その後、センサ部１０２で検知したセンサ情報から生成された路面段差信号をリンクと対応付けて路面段差格納部１０７に格納する（ステップＳ１０３）。なお、路面段差信号はレーン毎に格納することが望ましい。
【００４８】
また、図５に示したフロー図においては、はじめて通るリンクの場合のみ路面段差信号を格納したが、これに限定されるわけではない。路面段差信号を格納してからしばらく時間が経過していれば、当該リンクの路面段差情報も変更されている可能性も考えられる。このため、以前に通ったリンクであっても路面段差信号を格納してから一定時間が経過していれば、再度、路面段差信号を格納するようにしても構わない。さらには、常に最新情報に更新するために、リンクを通過する度に路面段差信号を格納するようにしても構わない。なお、これらの方法によって路面段差格納部１０７に格納する情報は、通信等を利用して車両外のセンタ設備等に送信し、一元管理させることもできる。
【００４９】
このように、車載撮像装置１００は、センサ部１０２が検知した車両の上下振動に伴う揺れを路面段差信号として、上述したリンクと対応付けて路面段差格納部１０７に記憶する。
【００５０】
一例として、図４に示したリンクＬ１０１に路面段差がある場合を想定して説明する。図６は、図５のステップＳ１０３において路面段差信号がリンクと対応付けられた様子を示す模式図である。ここで、路面段差信号は、上述した（式１）の変位Ｙで表すことができる。図６に示すように、リンク上での自車位置が分かれば、その位置に対応する路面段差信号が参照できるようにする。
【００５１】
なお、路面段差信号は変位Ｙとして表したが、これに限定されるものではない。例えば、慣性センサで検知した信号を変位Ｙに変換せず、そのまま路面段差格納部１０７に記憶するようにしても良い。この場合、路面段差格納部１０７に格納されている信号を、参照時に変位Ｙに変換して使用する。
【００５２】
次に、本実施形態に係る車載撮像装置１００が揺れ補正を行う動作について、図面を参照しながら説明する。図７は、車載撮像装置１００が揺れ補正を行う動作を示すフロー図である。まず、車載撮像装置１００が撮像中であるか否かを判定する（ステップＳ２０１）。撮像中でない場合（ステップＳ２０１：Ｎｏ）、撮像が開始されるまで待機する。一方、撮像中である場合（ステップＳ２０１：Ｙｅｓ）、ステップＳ２０２に処理を移す。ステップＳ２０２において、自車位置算出部１０９によって自車位置が算出される。自車位置算出部１０９は、測位された自車位置に基づいて、地図情報格納部１０３に格納されている地図情報に対しマップマッチング処理を行い、リンク上の自車位置を確定する。ステップＳ２０３において、当該リンクに対応付いている路面段差信号を路面段差格納部１０７から取得する。ステップＳ２０４において、路面段差格納部１０７から取得した路面段差信号に基づいて、切り出し枠サイズ算出部１０８が最大の切り出し枠サイズを算出し、撮像部１０１の補正回路に通知する。
【００５３】
その後、自車がリンク上の路面段差部分を通過する際、ステップＳ２０５において、センサ部１０２によって揺れ検知を行う。ステップＳ２０６において、撮像部１０１の補正回路は、センサ部１０２からの揺れ検知結果と、切り出し枠サイズ算出部１０８からの切り出し枠サイズとに基づいて、撮像信号に対して、電子補正方式を用いて適切な揺れ補正を行う。ステップＳ２０７において、撮像終了か否かを判断する。撮像終了でない場合（ステップＳ２０７：Ｎｏ）、ステップＳ２０２の処理に戻る。撮像終了である場合（ステップＳ２０７：Ｙｅｓ）、フローを終了する。
【００５４】
図８は、一旦学習済み（路面段差信号格納済み）の路面に車両が近づく様子を示す図である。図８に示すように、車両がリンクＬ１０１上のＡ地点（路面段差がほとんど無い箇所）に存在するときには、切り出し枠のサイズと撮像エリアのサイズとはほぼ同じ大きさとなる。一方、車両がリンクＬ１０１上のＢ地点（路面段差がある箇所）に存在するときには、切り出し枠のサイズは撮像エリアに対して小さくなるように算出される。このように車両の現在の自車位置に応じて、切り出し枠のサイズが動的に変化することになる。切り出し枠のサイズは、路面段差格納部１０７に格納された路面段差信号に基づいて、切り出し枠サイズ算出部１０８によって算出される。このように、切り出し枠は、撮像エリアの範囲外に振り切れることがない最大のサイズとなる。
【００５５】
図９は、車両に突然の揺れが発生した場合、本実施形態に係る車載撮像装置１００が揺れ補正を行う様子を示す図である。図９において、本実施形態に係る車載撮像装置１００は、撮像した画像の撮像信号の揺れを検知し、切り出し枠を平行移動する。ここで、本実施形態に係る車載撮像装置１００は、上述したように撮像エリアの範囲外に振り切れることがない最大のサイズで切り出し枠を算出しているため、切り出し枠は揺れに応じた分、移動できている。これにより、切り出し枠を拡大した最終的な画像には、揺れが残留しない結果となっている。
【００５６】
以上のように、本発明の第１の実施形態に係る車載撮像装置１００によれば、車両走行に伴う揺れを予測し、予測した揺れに応じて切り出し枠のサイズを可変にすることによって、撮像画像に揺れが残留しないようにすることができる。具体的には、予め路面段差に関する情報を地図情報のリンクに対応付けて格納し、車両の揺れを予測するため、地図上の自車位置に対応付けられた路面段差信号の取得が可能となり、予測した揺れに応じて切り出し枠のサイズを設定することができる。さらに、本発明の第１の実施形態に係る車載撮像装置１００によれば、切り出し枠は、路面段差に応じて最大のサイズであるため、解像度の劣化を最小限に保つことができる。
【００５７】
なお、本実施形態においては、車両が走行するリンクの路面段差毎に、切り出し枠サイズ算出部１０８が切り出し枠のサイズを算出していたが、切り出し枠のサイズを算出する単位は、これに限定されるものではない。例えば、１つのリンクに複数の路面段差が存在する場合は、切り出し枠サイズ算出部１０８は、リンク単位で切り出し枠のサイズを算出しても構わない。この場合、切り出し枠サイズ算出部１０８は、リンク毎に存在する変位の最大値と最小値とに基づいて、当該リンク走行時の切り出し枠のサイズを算出することになる。
【００５８】
なお、算出された切り出し枠のサイズの大きさに基づいて、撮像部１０１の補正回路からの補正済みの撮像信号を画像処理するか否かを判断することができる。例えば、切り出し枠のサイズが所定値より小さい場合には、エンコーダ回路や画像処理回路によって、補正済みの撮像信号から画像を生成しないとしても構わない。切り出しサイズが小さすぎると画像処理をしても得たい情報が検知できない可能性が高く、さらには、誤検知の可能性も発生するためである。これにより、画像処理の信頼性を担保することができる。
【００５９】
（第１の実施形態の変形例）
本発明の第１の実施形態に係る車載撮像装置１００は、走行中、常に切り出し枠のサイズが最適なものに変更されていた。これに対し、本変形例では、所定の区間（又は時間）走行するタイミングで切り出し枠のサイズを算出することを特徴とする。本変形例に係る車載撮像装置の構成は、図１に示す各ブロックの構成要素と同様であるため、ここでは、その説明を省略する。本変形例においては、車載撮像装置１００が揺れ補正を行う動作について図面を参照しながら説明する。
【００６０】
図１０は、本変形例に係る車載撮像装置１００が揺れ補正を行う動作を示すフロー図である。まず、車載撮像装置１００が撮像中であるか否かを判定する（ステップＳ３０１）。撮像中でない場合（ステップＳ３０１：Ｎｏ）、撮像が開始されるまで待機する。一方、撮像中である場合（ステップＳ３０１：Ｙｅｓ）、ステップＳ３０２に処理を移す。ステップＳ３０２において、自車位置算出部１０９によって自車位置が算出される。自車位置算出部１０９は、測位された自車位置に基づいて、地図情報格納部１０３に格納されている地図情報に対しマップマッチング処理を行い、リンク上の自車位置を確定する。ここまでの処理は、上述した本発明の第１の実施形態と同様である。
【００６１】
次に、切り出し枠の算出タイミングであるか否かを判定する（ステップＳ３０３）。切り出し枠の算出タイミングでない場合（ステップＳ３０３：Ｎｏ）、ステップＳ３０７に処理を移す。ステップＳ３０７において、センサ部１０２によって揺れ検知を行う。ステップＳ３０８において、撮像部１０１の補正回路は、センサ部１０２からの揺れ検知結果と、既に算出されている切り出し枠サイズとに基づいて、撮像信号に対して、電子補正方式を用いて適切な揺れ補正を行う。その後、ステップＳ３０９に処理を移す。
【００６２】
一方、切り出し枠の算出タイミングである場合（ステップＳ３０３：Ｙｅｓ）、予想走行経路を取得する（ステップＳ３０４）。ここで、予想走行経路とは、自車が通過する予定の全経路又は一部経路を表しており、経路探索部１０６で探索された経路である。ステップＳ３０５において、所定区間の路面段差信号を路面段差格納部１０７から取得する。ここで、所定区間とは、自車位置から目的地までの経路であって、自車が通過するであろう全経路又は一部経路のことである。ステップＳ３０６において、路面段差格納部１０７から取得した所定区間の路面段差信号に基づいて、切り出し枠サイズ算出部１０８が最大の切り出し枠サイズを算出し、撮像部１０１の補正回路に通知する。
【００６３】
その後、自車が所定区間を通過する際、ステップＳ３０７において、センサ部１０２によって揺れ検知を行う。ステップＳ３０８において、撮像部１０１の補正回路は、センサ部１０２からの揺れ検知結果と、切り出し枠サイズ算出部１０８によって今回更新された切り出し枠サイズとに基づいて、撮像信号に対して、電子補正方式を用いて適切な揺れ補正を行う。ステップＳ３０９において、撮像終了か否かを判断する。撮像終了でない場合（ステップＳ３０９：Ｎｏ）、ステップＳ３０２の処理に戻る。撮像終了である場合（ステップＳ３０９：Ｙｅｓ）、フローを終了する。
【００６４】
図１１は、地図情報格納部１０３に格納されているデータに基づいて、ノードおよびリンクを復元した図である。図１２は、路面段差格納部１０７に格納されているリンクＬ２０１、Ｌ２０２、およびＬ２０３における路面段差信号の一例を示す模式図である。図１１および図１２を用いて、図１０のフロー図を補足する。
【００６５】
図１１において、現在の自車位置がノードＮ２００にあるものとする。このとき、図１０のステップＳ３０４において、経路探索部１０６から予想走行経路を取得する。予想走行経路は、図１１の点線で示されているように、リンクＬ２０１、Ｌ２０２、およびＬ２０３を順番に通る経路となっている。
【００６６】
図１２において、リンクＬ２０１、Ｌ２０２、およびＬ２０３に対応付けられた路面段差信号の波形とそのときの変位の最大値がＭａｘとして、最小値がＭｉｎとして示されている。このとき、図１０のステップＳ３０６において、切り出し枠サイズ算出部１０８は、変位の最大値Ｍａｘと最小値Ｍｉｎとに基づいて、切り出し枠のサイズを算出する。当該算出された切り出し枠のサイズは、車両がリンクＬ２０１、Ｌ２０２、およびＬ２０３を通過する際に、撮像エリアの範囲外に振り切れることがない最大のサイズとなる。
【００６７】
なお、切り出し枠のサイズは、リンクＬ２０１、Ｌ２０２、およびＬ２０３を通過中の間は同じサイズを保つ。その後、車両がノードＮ２０３に到達したときに、次の予想走行経路に基づいて、切り出し枠のサイズが更新される。これにより、所定区間走行中は解像度劣化が一定となる。
【００６８】
なお、ここでは、自車位置から３つ先までのリンクを取得したが、自車位置から目的地までの全リンクを取得するようにしても良い。また、所定のリンク数分とするだけでなく、自車位置から所定距離（例えば、５００ｍ）離れた路面段差信号を取得するようにしても良い。
【００６９】
以上のように、本変形例の車載撮像装置１００によれば、予想走行経路を取得し、予想走行経路上の路面段差信号に基づいて、切り出し枠のサイズを可変にすることによって、撮像画像に揺れが残留しないようにすることができる。さらに、具体的には、本変形例の車載撮像装置１００によれば、予想走行経路の所定区間に存在する揺れ変位の最大値と最小値とに基づいて切り出し枠のサイズを算出することによって、自車が所定区間又は所定のリンク数走行するタイミングで切り出し枠のサイズを変更することになる。これにより、走行中に切り出し枠のサイズを頻繁に変更しなくても済み、画像の視認性と揺れとの安定化の両立を図ることができる。
【００７０】
なお、路面段差信号の確率的な分布を求め、解像度劣化と揺れとの安定化のバランスを取ることができる最適な切り出し枠のサイズを決定するようにしても良い。
【００７１】
（第２の実施形態）
図１３は、本発明の第２の実施形態に係る車載撮像装置２００を示すブロック図である。図１３において、車載撮像装置２００は、撮像部１０１と、センサ部１０２と、地図情報格納部１０３と、入力部１０４と、制御部１０５と、経路探索部１０６と、路面段差／走行状態格納部２０１と、切り出し枠サイズ算出部１０８と、自車位置算出部１０９と、表示部１１０と、路面段差信号処理部２０２とを備える。図１３に示す各ブロックの構成要素のうち、図１と同様の構成要素については、同様の参照符号を付して、その説明を省略する。本実施形態においては、路面段差／走行状態格納部２０１および路面段差信号処理部２０２の構成要素について、詳しく説明する。
【００７２】
路面段差／走行状態格納部２０１は、例えば、ＨＤＤ、ＤＶＤ、またはフラッシュメモリなどで構成され、車両の上下振動に伴う揺れを路面段差情報として、本発明の第１の実施形態で示したようにリンクと対応付けて記憶する。なお、路面段差／走行状態格納部２０１は、インタフェース回路を含む構成である。さらに、路面段差／走行状態格納部２０１は、路面段差情報を格納する際に、その時の車両の走行状態を記憶する。ここで、走行状態とは、例えば、車両速度等である。路面段差／走行状態格納部２０１に路面段差情報および走行状態を格納する詳細な動作については後述する。
【００７３】
路面段差信号処理部２０２は、路面段差／走行状態格納部２０１に格納されている路面段差信号と走行状態とを参照し、路面段差信号を処理するプログラムである。詳細な動作は後述する。
【００７４】
次に、本実施形態に係る車載撮像装置２００の路面段差を学習する動作について、図面を参照しながら説明する。図１４は、路面段差情報と走行状態とを路面段差／走行状態格納部２０１に格納する動作を示すフロー図である。図１４において、まず、車両がはじめて通るリンクであるか否かを判断する（ステップＳ４０１）。はじめて通るリンクでない場合（ステップＳ４０１：Ｎｏ）、既に路面段差情報および走行情報は記憶されていると判断し処理を終了する。一方、はじめて通るリンクである場合（ステップＳ４０１：Ｙｅｓ）、センサ部１０２で検知したセンサ情報を取得する（ステップＳ４０２）。走行状態を自車位置算出部１０９から取得する（ステップＳ４０３）。その後、センサ部１０２で検知したセンサ情報から生成された路面段差信号と走行状態とをリンクと対応付けて路面段差／走行状態格納部２０１に格納する（ステップＳ４０４）。なお、路面段差信号と走行状態とはレーン毎に格納することが望ましい。
【００７５】
また、図１４のフロー図においては、はじめて通るリンクの場合のみ路面段差信号と走行状態とを格納したが、これに限定されるものではない。路面段差信号と走行状態とを格納してからしばらく時間が経過していれば、当該リンクの路面段差信号および走行状態も変更されている可能性も考えられる。このため、以前に通ったリンクであっても路面段差信号と走行状態とを格納してから一定時間が経過していれば、再度、路面段差信号と走行状態とを格納するようにしても構わない。さらには、常に最新情報に更新するために、リンクを通過する度に路面段差信号と走行状態とを格納するようにしても構わない。なお、これらの方法によって路面段差／走行状態格納部２０１に格納する情報は、通信等を利用して車両外のセンタ設備等に送信し、一元管理させることもできる。
【００７６】
このように、車載撮像装置２００は、センサ部１０２が検知した車両の上下振動に伴う揺れを路面段差信号および走行状態として、リンクと対応付けて路面段差／走行状態格納部２０１に記憶する。
【００７７】
次に、本実施形態に係る車載撮像装置２００が揺れ補正を行う動作について、図面を参照しながら説明する。図１５は、車載撮像装置２００が揺れ補正を行う動作を示すフロー図である。まず、車載撮像装置２００が撮像中であるか否かを判定する（ステップＳ５０１）。撮像中ではない場合（ステップＳ５０１：Ｎｏ）、撮像が開始されるまで待機する。一方、撮像中である場合（ステップＳ５０１：Ｙｅｓ）、ステップＳ５０２に処理を移す。ステップＳ５０２において、自車位置算出部１０９によって自車位置が算出される。自車位置算出部１０９は、測位された自車位置に基づいて、地図情報格納部１０３に格納されている地図情報に対しマップマッチング処理を行い、リンク上の自車位置を確定する。ステップＳ５０３において、当該リンクに対応付いている路面段差信号と路面段差情報格納時の走行状態とを路面段差／走行状態格納部２０１から取得する。ステップＳ５０４において、現在の走行状態を自車位置算出部１０９から取得する。ステップＳ５０５において、路面段差信号処理部２０２は、路面段差情報格納時の走行状態と現在の走行状態とに基づいて、路面段差信号の信号処理を行う。ステップＳ５０６において、信号処理された路面段差信号に基づいて、切り出し枠サイズ算出部１０８が最大の切り出し枠サイズを算出し、撮像部１０１の補正回路に通知する。
【００７８】
そして、ステップＳ５０７において、撮像部１０１の補正回路は、切り出し枠サイズ算出部１０８からの切り出し枠サイズに基づいて、電子補正方式を用いて適切な揺れ補正を行う。ステップＳ５０８において、撮像終了か否か判断する。撮像終了でない場合（ステップＳ５０８：Ｎｏ）、ステップＳ５０２の処理に戻る。撮像終了である場合（ステップＳ５０８：Ｙｅｓ）、フローを終了する。
【００７９】
図１５のフローが図５のフローと異なる大きな特徴は、車両の揺れの検知を行わないことである。すなわち、路面段差／走行状態格納部２０１の路面段差信号と路面段差情報格納時の走行状態とを用いることで、車両の揺れの検知を省いている。その反面、ステップＳ５０５において、信号処理が必要となる。通常、路面段差信号を路面段差／走行状態格納部２０１へ格納する時の走行状態と、現在の走行状態とは異なる。従って、格納時の走行状態と現在の走行状態とを比較し、格納した路面段差信号を現在の走行状態に合わせて再現するために信号処理を行っている。このように路面段差信号を信号処理するため、格納時と利用時とで異なる走行状態であっても、適切な揺れ補正が可能となる。
【００８０】
以上のように、本発明の第２の実施形態に係る車載撮像装置２００によれば、車両走行に伴う揺れを予測し、予測した揺れを走行状態に基づいて調整し、切り出し枠のサイズを可変にすることによって、撮像画像に揺れが残像しないようにすることができる。なお、本発明の第２の実施形態に係る車載撮像装置２００によれば、本発明の第１の実施形態に係る車載撮像装置１００と同様の効果が得られることは言うまでもない。
【００８１】
なお、本発明の各実施形態に係る車載撮像装置は、車載カメラとして使用した場合について説明したが、本発明はこれに限定されるものではなく、他の移動体に設置しても良い。また、本発明の車載撮像装置をナビゲーション装置やドライブレコーダとして実施することもできる。
【００８２】
本実施形態で説明した構成は、単に本発明の具体例を示すものであり、本発明の技術的範囲を制限するものではない。本発明の効果を奏する範囲において、任意の構成を採用することが可能である。
【産業上の利用可能性】
【００８３】
本発明の車載撮像装置は、車両外の被写体を撮像する車載カメラ等として有用である。また、車両前方の障害物を検知する障害物検知装置、白線を検知し逸脱を警報する逸脱警報装置、実風景画像を使用するナビゲーション装置、衝突事故発生時に事故前後の映像を録画するドライブレコーダ等としても有用である。
【図面の簡単な説明】
【００８４】
【図１】本発明の第１の実施形態に係る車載撮像装置１００を示すブロック図
【図２】地図情報格納部１０３に記憶されている情報の一例を示す図
【図３】地図情報格納部１０３に記憶されている情報の一例を示す図
【図４】地図情報格納部１０３に格納される地図情報をノードとリンクとから構成される道路ネットワークとして復元した様子を示す模式図
【図５】路面段差情報を路面段差格納部１０７に格納する動作を示すフロー図
【図６】図５のステップＳ１０３において路面段差信号がリンクと対応付けられた様子を示す模式図
【図７】本発明の第１の実施形態に係る車載撮像装置１００が揺れ補正を行う動作を示すフロー図
【図８】一旦学習済み（路面段差信号格納済み）の路面に車両が近づく様子を示す図
【図９】車両に突然の揺れが発生した場合、本発明の第１の実施形態に係る車載撮像装置１００が揺れ補正を行う様子を示す図
【図１０】第１の実施形態の変形例に係る車載撮像装置１００が揺れ補正を行う動作を示すフロー図
【図１１】地図情報格納部１０３に格納されているデータに基づいて、ノードおよびリンクを復元した図
【図１２】路面段差格納部１０７に格納されているリンクＬ２０１、Ｌ２０２、およびＬ２０３における路面段差信号の一例を示す模式図
【図１３】本発明の第２の実施形態に係る車載撮像装置２００を示すブロック図
【図１４】路面段差情報と走行状態とを路面段差／走行状態格納部２０１に格納する動作を示すフロー図
【図１５】車載撮像装置２００が揺れ補正を行う動作を示すフロー図
【図１６】電子補正方式を用いたビデオカメラなどの撮像装置を示す図
【図１７】突然の揺れが発生した場合の車載撮像装置を示す図
【符号の説明】
【００８５】
１００ 車載撮像装置
１０１ 撮像部
１０２ センサ部
１０３ 地図情報格納部
１０４ 入力部
１０５ 制御部
１０６ 経路探索部
１０７ 路面段差格納部
１０８ 切り出し枠サイズ算出部
１０９ 自車位置算出部
１１０ 表示部
２０１ 路面段差／走行状態格納部
２０２ 路面段差信号処理部
Ｎ１００〜Ｎ１０２、Ｎ２００〜Ｎ２０４ ノード
Ｌ１００、Ｌ１０１、Ｌ２０１〜Ｌ２０６ リンク
ＳＮ１〜ＳＮ３ 形状ノード
Ｓ１０１〜Ｓ１０３、Ｓ４０１〜Ｓ４０４ 路面段差を学習する動作の各ステップ
Ｓ２０１〜Ｓ２０７、Ｓ３０１〜Ｓ３０９、Ｓ５０１〜Ｓ５０８ 揺れを補正する動作の各ステップ
【特許請求の範囲】
【請求項１】
車両外の被写体を撮像し、前記車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置であって、
前記被写体を撮像して撮像信号を生成する撮像部と、
前記車両の自車位置を算出する自車位置算出部と、
前記車両が走行する道路の路面段差に関する情報を予め記憶する路面段差格納部と、
前記車両の揺れを検知するセンサ部と、
前記自車位置と前記路面段差に関する情報とに基づいて、前記車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出する切り出し枠サイズ算出部と、
前記算出された切り出し枠に基づいて、前記撮像信号を補正する補正部とを備える、車載撮像装置。
【請求項２】
道路が分岐する地点であるノードと前記ノード間を結ぶ道路を表すリンクとを含む地図情報を記憶する地図情報格納部を、さらに備え、
前記路面段差に関する情報は、前記リンクに対応付けられていることを特徴とする、請求項１に記載の車載撮像装置。
【請求項３】
前記車両が通過する予定である予想走行経路を取得する予想走行経路取得部を、さらに備え、
前記切り出し枠サイズ算出部は、前記予想走行経路上のリンクに対応付けられている路面段差に関する情報に基づいて、切り出し枠のサイズを算出することを特徴とする、請求項２に記載の車載撮像装置。
【請求項４】
前記路面段差に関する情報は、前記車両の揺れに基づく変位であって、
前記切り出し枠サイズ算出部は、前記予想走行経路のうちの路面段差が存在する箇所の前記変位に基づいて、前記車両が当該路面段差が存在する箇所を走行する際の切り出し枠のサイズを算出することを特徴とする、請求項３に記載の車載撮像装置。
【請求項５】
前記路面段差に関する情報は、前記車両の揺れに基づく変位であって、
前記切り出し枠サイズ算出部は、前記予想走行経路のうちの各リンクに存在する前記変位の最大値と最小値とに基づいて、前記車両が当該リンクを走行する間の切り出し枠のサイズを算出することを特徴とする、請求項３に記載の車載撮像装置。
【請求項６】
前記路面段差に関する情報は、前記車両の揺れに基づく変位であって、
前記切り出し枠サイズ算出部は、前記予想走行経路のうちの所定区間に存在する前記変位の最大値と最小値とに基づいて、前記車両が前記所定区間を走行する間の切り出し枠のサイズを算出することを特徴とする、請求項３に記載の車載撮像装置。
【請求項７】
前記車両が前記所定区間または所定のリンク数を走行した時に、前記切り出し枠のサイズを算出するように更新頻度の設定を行う更新頻度設定部を、さらに備える、請求項５〜６のいずれかに記載の車載撮像装置。
【請求項８】
前記切り出し枠のサイズの大きさに基づいて、前記補正後の撮像信号から画像を生成する画像処理を行うか否かを判定する判定部を、さらに備える、請求項１〜７のいずれかに記載の車載撮像装置。
【請求項９】
車両外の被写体を撮像し、前記車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置であって、
前記被写体を撮像して撮像信号を生成する撮像部と、
前記車両の自車位置を算出する自車位置算出部と、
前記車両が走行する道路の路面段差に関する情報と当該路面段差に対応する走行状態とを記憶する路面段差／走行状態格納部と、
前記車両の走行状態を検知する走行状態検知部と、
前記路面段差／走行状態格納部に記憶されている走行状態と、前記走行状態検知部で検知された走行状態とを比較し、前記路面段差に関する情報の信号処理を行う路面段差信号処理部と、
前記自車位置と前記信号処理がなされた路面段差に関する情報とに基づいて、前記車両の揺れに応じて移動する範囲が撮像エリア内に収まる画像の最大のサイズとなる切り出し枠のサイズを算出する切り出し枠サイズ算出部と、
前記算出された切り出し枠に基づいて、前記撮像信号を補正する補正部とを備える、車載撮像装置。
【請求項１０】
車両外の被写体を撮像し、前記車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置の機能を有する、ナビゲーション装置であって、
前記被写体を撮像して撮像信号を生成する撮像部と、
前記車両の自車位置を算出する自車位置算出部と、
前記車両が走行する道路の路面段差に関する情報を予め記憶する路面段差格納部と、
前記車両の揺れを検知するセンサ部と、
前記自車位置と前記路面段差に関する情報とに基づいて、前記車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出する切り出し枠サイズ算出部と、
前記算出された切り出し枠に基づいて、前記撮像信号を補正する補正部とを備える、車載撮像装置の機能を有する、ナビゲーション装置。
【請求項１１】
車両外の被写体を撮像し、前記車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像方法であって、
前記被写体を撮像して撮像信号を生成するステップと、
前記車両の自車位置を算出するステップと、
前記車両が走行する道路の路面段差に関する情報を予め記憶するステップと、
前記車両の揺れを検知するステップと、
前記自車位置と前記路面段差に関する情報とに基づいて、前記車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出するステップと、
前記算出された切り出し枠に基づいて、前記撮像信号を補正するステップとを実行する、車載撮像方法。
【請求項１２】
車両外の被写体を撮像し、前記車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像プログラムであって、
前記被写体を撮像して撮像信号を生成するステップと、
前記車両の自車位置を算出するステップと、
前記車両が走行する道路の路面段差に関する情報を予め記憶するステップと、
前記車両の揺れを検知するステップと、
前記自車位置と前記路面段差に関する情報とに基づいて、前記車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出するステップと、
前記算出された切り出し枠に基づいて、前記撮像信号を補正するステップとを実行する、車載撮像プログラム。
【請求項１】
車両外の被写体を撮像し、前記車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置であって、
前記被写体を撮像して撮像信号を生成する撮像部と、
前記車両の自車位置を算出する自車位置算出部と、
前記車両が走行する道路の路面段差に関する情報を予め記憶する路面段差格納部と、
前記車両の揺れを検知するセンサ部と、
前記自車位置と前記路面段差に関する情報とに基づいて、前記車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出する切り出し枠サイズ算出部と、
前記算出された切り出し枠に基づいて、前記撮像信号を補正する補正部とを備える、車載撮像装置。
【請求項２】
道路が分岐する地点であるノードと前記ノード間を結ぶ道路を表すリンクとを含む地図情報を記憶する地図情報格納部を、さらに備え、
前記路面段差に関する情報は、前記リンクに対応付けられていることを特徴とする、請求項１に記載の車載撮像装置。
【請求項３】
前記車両が通過する予定である予想走行経路を取得する予想走行経路取得部を、さらに備え、
前記切り出し枠サイズ算出部は、前記予想走行経路上のリンクに対応付けられている路面段差に関する情報に基づいて、切り出し枠のサイズを算出することを特徴とする、請求項２に記載の車載撮像装置。
【請求項４】
前記路面段差に関する情報は、前記車両の揺れに基づく変位であって、
前記切り出し枠サイズ算出部は、前記予想走行経路のうちの路面段差が存在する箇所の前記変位に基づいて、前記車両が当該路面段差が存在する箇所を走行する際の切り出し枠のサイズを算出することを特徴とする、請求項３に記載の車載撮像装置。
【請求項５】
前記路面段差に関する情報は、前記車両の揺れに基づく変位であって、
前記切り出し枠サイズ算出部は、前記予想走行経路のうちの各リンクに存在する前記変位の最大値と最小値とに基づいて、前記車両が当該リンクを走行する間の切り出し枠のサイズを算出することを特徴とする、請求項３に記載の車載撮像装置。
【請求項６】
前記路面段差に関する情報は、前記車両の揺れに基づく変位であって、
前記切り出し枠サイズ算出部は、前記予想走行経路のうちの所定区間に存在する前記変位の最大値と最小値とに基づいて、前記車両が前記所定区間を走行する間の切り出し枠のサイズを算出することを特徴とする、請求項３に記載の車載撮像装置。
【請求項７】
前記車両が前記所定区間または所定のリンク数を走行した時に、前記切り出し枠のサイズを算出するように更新頻度の設定を行う更新頻度設定部を、さらに備える、請求項５〜６のいずれかに記載の車載撮像装置。
【請求項８】
前記切り出し枠のサイズの大きさに基づいて、前記補正後の撮像信号から画像を生成する画像処理を行うか否かを判定する判定部を、さらに備える、請求項１〜７のいずれかに記載の車載撮像装置。
【請求項９】
車両外の被写体を撮像し、前記車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置であって、
前記被写体を撮像して撮像信号を生成する撮像部と、
前記車両の自車位置を算出する自車位置算出部と、
前記車両が走行する道路の路面段差に関する情報と当該路面段差に対応する走行状態とを記憶する路面段差／走行状態格納部と、
前記車両の走行状態を検知する走行状態検知部と、
前記路面段差／走行状態格納部に記憶されている走行状態と、前記走行状態検知部で検知された走行状態とを比較し、前記路面段差に関する情報の信号処理を行う路面段差信号処理部と、
前記自車位置と前記信号処理がなされた路面段差に関する情報とに基づいて、前記車両の揺れに応じて移動する範囲が撮像エリア内に収まる画像の最大のサイズとなる切り出し枠のサイズを算出する切り出し枠サイズ算出部と、
前記算出された切り出し枠に基づいて、前記撮像信号を補正する補正部とを備える、車載撮像装置。
【請求項１０】
車両外の被写体を撮像し、前記車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像装置の機能を有する、ナビゲーション装置であって、
前記被写体を撮像して撮像信号を生成する撮像部と、
前記車両の自車位置を算出する自車位置算出部と、
前記車両が走行する道路の路面段差に関する情報を予め記憶する路面段差格納部と、
前記車両の揺れを検知するセンサ部と、
前記自車位置と前記路面段差に関する情報とに基づいて、前記車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出する切り出し枠サイズ算出部と、
前記算出された切り出し枠に基づいて、前記撮像信号を補正する補正部とを備える、車載撮像装置の機能を有する、ナビゲーション装置。
【請求項１１】
車両外の被写体を撮像し、前記車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像方法であって、
前記被写体を撮像して撮像信号を生成するステップと、
前記車両の自車位置を算出するステップと、
前記車両が走行する道路の路面段差に関する情報を予め記憶するステップと、
前記車両の揺れを検知するステップと、
前記自車位置と前記路面段差に関する情報とに基づいて、前記車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出するステップと、
前記算出された切り出し枠に基づいて、前記撮像信号を補正するステップとを実行する、車載撮像方法。
【請求項１２】
車両外の被写体を撮像し、前記車両の揺れに伴う撮像画像の揺れを電子補正方式によって補正する車載撮像プログラムであって、
前記被写体を撮像して撮像信号を生成するステップと、
前記車両の自車位置を算出するステップと、
前記車両が走行する道路の路面段差に関する情報を予め記憶するステップと、
前記車両の揺れを検知するステップと、
前記自車位置と前記路面段差に関する情報とに基づいて、前記車両の揺れに応じて移動する範囲が撮像エリア内に収まる最大のサイズとなる画像の切り出し枠のサイズを算出するステップと、
前記算出された切り出し枠に基づいて、前記撮像信号を補正するステップとを実行する、車載撮像プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２００９−２６０４４２（Ｐ２００９−２６０４４２Ａ）
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願番号】特願２００８−１０４０５７（Ｐ２００８−１０４０５７）
【出願日】平成２０年４月１１日（２００８．４．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２１年１１月５日（２００９．１１．５）
【国際特許分類】
【出願日】平成２０年４月１１日（２００８．４．１１）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]