車載カメラ表示装置及び画像処理装置
【課題】車両の旋回状態に応じて、所望の領域を表示させること。
【解決手段】画像処理部は、第１の旋回量判定部からの出力に基づいて、カメラによる撮像画像のうち車両の旋回状態に応じた部分を切出した領域の画像を含む表示用画像データを生成する。表示器は表示用画像データに基づいて表示用画像を表示する。
【解決手段】画像処理部は、第１の旋回量判定部からの出力に基づいて、カメラによる撮像画像のうち車両の旋回状態に応じた部分を切出した領域の画像を含む表示用画像データを生成する。表示器は表示用画像データに基づいて表示用画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、車両周辺景色を撮像するための技術に関する。
【背景技術】
【０００２】
従来より、車外に設けた車載カメラにより車両周辺の死角となる景色を撮像し、この撮像画像を車室内のモニタに表示するようにした技術がある。
【０００３】
この場合に、撮像画像にガイド線などを重畳して表示させる技術がある。また、運転者にわかりやすい画像とするために、撮像画像に対して画面分割や拡大、所定領域の切出し等の画像処理を施して、モニタに表示させる技術もある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記のような車載カメラとして広角カメラを用いると、単一のカメラでより広い領域を撮像してこれを車室内のモニタに映し出す事が可能となる。
【０００５】
しかしながら、このような広角カメラによる映像は歪みが大きいため、そのままモニタに表示させると、現実世界との違和感を運転者に与える可能性がある。そこで、撮像した広角な領域のうち監視の必要性の高い領域を切出して、これに適宜歪み補正処理等を施してモニタに表示させるようにする技術が提案されている。監視の必要性の高い領域の例としては、車両後方を撮像するバックカメラを想定すると、車両の後方斜め下方領域や、車両の後部側方領域等である。つまり、車両の後方斜め下方領域画像は、当該領域に障害物が無いかどうかを確認するための画像として供される。また、車両の後部側方領域画像は、車両が駐車エリアから道路に出て行く場合等に、当該道路に車両が走行していないか否かを確認するための画像として供される。
【０００６】
ところが、車両が駐車エリアから道路上に出て行く場合を考えると、上記のようなバックカメラでは、車両の旋回に伴い、車両の後部側方領域画像に必要な道路領域が表示されなくなってしまう。つまり、駐車エリアにおいて車両が道路に対して略垂直な姿勢である初期状態では、車両の後部側方領域画像に監視対象となる道路が表示される。しかしながら、車両が旋回しつつ道路上に出て行くと、道路に対する車両の相対的な角度が変ってしまい、車両の後部側方領域画像に監視対象となる道路が表示されなくなってしまうのである。
【０００７】
そこで、本発明は、車両の旋回状態に応じて、所望の領域を表示させることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る車載カメラ表示装置は、車両周辺景色を撮像する撮像手段と、前記撮像手段による撮像画像に対して画像処理を施して表示用画像データを生成する画像処理手段と、前記表示用画像データに基づいて表示用画像を表示する表示手段と、車両の旋回状態を取得する旋回状態取得手段と、を備え、前記画像処理手段は、前記表示用画像データとして、前記旋回状態取得手段からの出力に基づいて、前記撮像手段による撮像画像のうち車両の旋回状態に応じた部分を切出した画像を含む画像データを生成するものである。
【０００９】
この場合に、前記旋回状態取得手段は、車両が回転する角速度を検出するヨーレートセンサからの出力に基づいて車両の旋回量を求める第１の旋回量判定手段を有するものであってもよい。
【００１０】
また、旋回状態取得手段は、前記撮像手段による撮像画像に基づいて車両の旋回量を求める第２の旋回量判定手段を有するものであってもよい。
【００１１】
また、前記第２の旋回量判定手段は、基準タイミングにおいて撮像された画像の一部を含む基準画像データと、前記基準画像データに対して車両旋回量に応じた変換処理を施した少なくとも一つの旋回量比較用画像データとを予め生成し、前記撮像手段により撮像された画像データと前記基準画像データ及び前記旋回量比較用画像データとに基づいて車両の旋回量を求めるものであってもよい。
【００１２】
さらに、前記基準画像データは、車両から斜め下方領域の画像を含むものであってもよい。
【００１３】
また、前記撮像手段は、車両の側方を含む領域を撮像可能な手段であり、前記画像処理手段は、車両の旋回量が大きくなるに伴って、車両の側方から車両幅方向中央よりの領域を順次又は段階的に切出して前記表示用画像データを生成するようにしてもよい。
【００１４】
また、前記旋回状態取得手段は、車両停止状態からの車両の挙動開始時を起点として車両の旋回状態を取得してもよい。
【００１５】
また、この発明に係る画像処理装置は、入力された撮像画像に対して画像処理を施して表示用画像データを生成して出力する画像処理手段と、車両の旋回状態を取得する旋回状態取得手段と、を備え、前記画像処理手段は、前記表示用画像データとして、前記旋回状態取得手段からの出力に基づいて、前記撮像手段による撮像画像のうち車両の旋回状態に応じた部分を切出した画像を含む画像データを生成するものである。
【発明の効果】
【００１６】
この発明の車載カメラ表示装置によると、画像処理手段は、表示用画像データとして、旋回状態取得手段からの出力に基づいて、前記撮像手段による撮像画像のうち車両の旋回状態に応じた部分を切出した画像を含む画像データを生成するため、車両の旋回状態に応じて所望の領域を表示手段に表示させることができる。
【００１７】
また、前記旋回状態取得手段は、車両が回転する角速度を検出するヨーレートセンサの出力に基づいて車両の旋回量を求める第１の旋回量算判定段とを有していると、ヨーレートセンサに基づいて車両の旋回量を求めることができる。
【００１８】
さらに、旋回状態取得手段は、前記撮像手段による撮像画像に基づいて車両の旋回角を求める第２の旋回量判定手段を有すると、他のセンサ等に接続することなく、車両の旋回量を求めることができる。
【００１９】
また、前記第２の旋回量判定手段は、基準タイミングにおいて撮像された画像の一部を含む基準画像データと、前記基準画像データに対して車両旋回量に応じた変換処理を施した少なくとも一つの旋回量比較用画像データとを予め生成し、前記撮像手段により撮像された画像データと前記基準画像データ及び前記旋回量比較用画像データとに基づいて車両の旋回量を求めるようにすると、比較的迅速に旋回量を求めることができる。
【００２０】
また、基準画像データが車両から斜め下方領域の画像を含むと、車両の旋回量をより正確に求めることができる。
【００２１】
また、前記撮像手段は、車両の側方を含む領域を撮像可能な手段であり、前記画像処理手段は、車両の旋回量が大きくなるに伴って、車両の側方から車両幅方向中央よりの領域を順次又は段階的に切出して前記表示用画像データを生成すると、車両が横道に進入する場合に、その横道を継続して表示させるのに適する。
【００２２】
前記旋回状態取得手段は、車両停止状態からの車両の挙動開始時を起点として車両の旋回状態を取得すると、その車両停止状態を基準とする所望の領域を表示し続けることができる。
【００２３】
また、この発明の画像処理装置によると、画像処理手段は、表示用画像データとして、旋回状態取得手段からの出力に基づいて、前記撮像手段による撮像画像のうち車両の旋回状態に応じた部分を切出した画像を含む画像データを生成するため、車両の旋回状態に応じて所望の領域を含む画像データを得ることができる。
【発明を実施するための最良の形態】
【００２４】
｛実施形態｝
以下、この発明の実施形態に係る車載カメラ表示装置について説明する。図１は車載カメラ表示装置の設置例を示す図であり、図２は車載カメラ表示装置を示すブロック図である。
【００２５】
この車載カメラ表示装置は、カメラ１０と画像処理ユニット２０と表示器３０とを備えている。
【００２６】
カメラ１０は、車両２の周辺景色を撮像する撮像手段である。より具体的には、カメラ１０は、ＣＣＤ素子等の撮像素子と光学レンズ等を備えている。ここでは、カメラ１０は、単一の撮像素子と、魚眼レンズ又は広角レンズ等の広角なレンズとを備えており、単一の撮像素子により車両周辺における所定の広角な領域を撮像可能な構成とされている。また、このカメラ１０は、車両後部の幅方向略中央部に、車両後方に指向する姿勢で設置されている。そして、車両２後方の所定領域、ここでは、車両後部の左右両側方領域及び後方斜め下方領域を含む広角な領域（図１の斜線領域参照）を撮像可能に設置されている。このカメラ１０により、図３に示すように、車両後部の左右両側方領域及び後方斜め下方領域を含む広角な撮像画像が得られる。
【００２７】
なお、カメラ１０は、複数の撮像素子により、又は、プリズムとレンズとの組合わせにより、車両の両側方領域を含む範囲を撮像する構成であってもよい。
【００２８】
画像処理ユニット２０は、画像処理部２２と、メモリ２４と、第１の旋回量判定部２６とを備えている。
【００２９】
画像処理部２２は、上記カメラ１０による撮像画像に対して画像処理を施して表示用画像データを生成する画像処理手段であり、画像処理用ＩＣ等により構成されている。この画像処理部２２は、通常状態では、図４に示すように、カメラ１０で撮像された撮像画像（図３参照）のうち車両２の車両後部の左右両側方領域画像及び後方斜め下方領域画像を切出し、これにメモリ２４に格納された変換テーブルを用いて歪み補正処理等を施して表示用画像データを生成する。また、車両２の後方進行中には、第１の旋回量判定部２６からの出力に基づいて、上記撮像画像のうち旋回状態に応じた部分を切出した画像を含む表示用画像データを生成する。後者の処理については後に詳述する。
【００３０】
メモリ２４は、例えばＥＰＲＯＭまたはフラッシュＲＯＭ等の書き換え可能な不揮発性メモリであり、上記画像処理部２２における歪み補正等に用いられる変換テーブルが格納されている。
【００３１】
第１の旋回量判定部２６は、車両２の旋回状態を取得する旋回状態取得手段であり、ここでは、車両が回転する速度を検出するヨーレートセンサ４からの出力に基づいて車両の旋回量を求める第１の旋回量判定手段として機能する。この第１の旋回量判定部２６による旋回量判定処理については後に詳述する。
【００３２】
表示器３０は、画像処理部２２で生成された表示用画像データに基づいて表示用画像を表示する表示手段であり、液晶表示装置等により構成されて車室内に設置されている。
【００３３】
ここで、図５及び図６に示すように、この車載カメラ表示装置を搭載した車両２が、駐車エリア６から道路８に出て行く場合の表示範囲を考えてみる。なお、駐車エリア６は道路８に直接面しており、かつ、駐車エリア６内で車両２は道路８に略直交する姿勢で前向き駐車されている。そして、車両２は後ろ向きで駐車エリア６から道路８に出て行くとする。
【００３４】
この場合、駐車エリア６から道路８に出て行く場合の初期状態では、車両２は道路８に対して略直交しているので、図５に示すように、車両２の後部の両側方領域と道路８とは重なりあっている。従って、図４に示すように、表示器３０における車両２の後部の両側方領域画像に道路８が映し出される。このため、運転者は、表示器３０を通じて道路８における車両２の走行有無を確認しつつ道路８に出て行くように運転することができる。
【００３５】
そして、車両２が駐車エリア６からある程度出てしまうと、道路８に対する車両２の傾きが変ってしまう。すると、車両２の後部側方領域（図６の２点鎖線で囲まれる領域参照Ｒ１）と道路８とはずれてしまう。このため、上記初期状態のままの表示を継続すると、表示器３０には道路８が映し出されなくなってしまう。
【００３６】
そこで、本車載カメラ表示装置では、車両２の旋回状態に応じた部分を切出した画像を含むように画像データを生成して、表示器３０に継続して道路８を映し出すようにしている。
【００３７】
まず、第１の旋回量判定部２６が車両２の旋回量を判定する処理について説明する。
【００３８】
すなわち、第１の旋回量判定部２６は、車両２に設けられたヨーレートセンサ４に接続されている。このヨーレートセンサ４は、角速度センサ等により構成されており、車両２に設置されて該車両２が回転する角速度を検出する手段である。このヨーレートセンサ４による検出結果は、例えば、ＣＡＮ等の車載ＬＡＮを通じて第１の旋回量判定部２６に与えられる。例えば、図５及び図６に示すように、車両２が駐車エリア６から道路８に出て行く場合には、図７に示すように、左右に微調整されるように旋回しつつ、全体としては一方向に大きく旋回する（ここでは旋回角が＋（プラス）になるような挙動）ような車両２の挙動を示す検出信号が出力される。そして、第１の旋回量判定部２６が、ヨーレートセンサ４から与えられる検出結果に基づいて、所定の基準タイミングから所定の旋回量判定時までの間で、旋回角０゜を基準に車両２の角速度の積分値を算出することで、車両２の旋回量を求める。ここで所定の基準タイミングは、車両２が駐車エリア６に停止した状態から道路８に出て行く際の挙動開始時であり、例えば、シフトレバーのポジションセンサに基づいて車両のギヤをバックに入れたと判定されたタイミングや、ギヤをバックに入れた後やエンジン始動後或は車両２の一旦停止後に、速度センサや加速度センサ、ヨーレートセンサ等の出力に基づき車両２が実際に動き始めたと判定されるタイミング等、或は、カメラ１０で撮像された撮像画像に基づいて車両２の移動が検出されたタイミング等である。ここでは、車両のギヤをバックに入れたタイミングが挙動開始時であるとして説明する。このようにして、駐車エリア６に車両２が駐車された姿勢を基準として、車両２の旋回量が求められ、この旋回量を示す信号が画像処理部２２に与えられる。
【００３９】
次に、画像処理部２２が車両２の旋回状態に応じた部分を切出した画像を含むように画像データを生成する処理について説明する。
【００４０】
すなわち、画像処理部２２は、第１の旋回量判定部２６の検出結果に基づいて、車両２の旋回量が大きくなるのに伴って、車両２の側方から車両２の幅方向中央よりの領域を順次又は段階的に切出して表示用画像データを生成する。
【００４１】
図８はカメラによる撮像画像に対する切出領域の変化例を示す図であり、図９（ａ）〜図９（ｄ）はカメラによる水平面内撮像領域における表示領域の変化例を示す図である。
【００４２】
すなわち、車両２の一方側方領域（図８及び図９において車両後方に向けて右側に旋回する場合）に関する処理を中心に説明すると、カメラ１０による撮像画像に対して複数（ここでは４つ）の切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４が予め設定されている。各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４は、車両２の側方領域（換言すれば撮像画像の側方領域）から車両２の幅方向中央よりの領域に段階的に向う範囲に設定されている。
【００４３】
なお、上記各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に対して歪み等を補正する変換テーブルが予め準備されてメモリ２４内に格納されている。各変換テーブルは例えば事前に次のようなキャリブレーションを行うことで生成される。すなわち、図９（ａ）〜図９（ｄ）に示すように、格子パターン５０を、各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に対応する仮想光軸Ａ１，Ａ２，Ａ３、Ａ４と略垂直姿勢で、かつ、切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４全体に映り込むように配設する。そして、カメラ１０により格子パターン５０を撮像し、撮像された格子パターン５０の歪みを除去できるような各画素の変換値を算出することで、上記変換テーブルを生成する。このように、各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４毎に別々にキャリブレーションを行ってそれぞれ別々に変換テーブルを生成準備しておくことで、それぞれの各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に応じた適切な補正画像を得ることができる。なお、このようなキャリブレーション処理自体は、周知技術を含む適用可能な技術によって実施可能であるので、ここではその詳細な説明は省略する。
【００４４】
また、車両２が後方に向けて右方向に旋回しつつ後進する場合を想定すると、旋回量の範囲は複数（ここでは４つ）の範囲に分割されており、それぞれの範囲が各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に対応づけられており、この対応関係データが上記メモリ２４に格納されている。例えば、旋回量を示す０゜〜９０゜の範囲が、（０゜〜θ１）、（θ１〜θ２）、（θ２〜θ３）、（θ３〜９０゜）の範囲（但し、０゜＜θ１＜θ２＜θ３＜９０゜に分割されており、それぞれ切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に対応づけられている。例えば、各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に対応する各仮想光軸Ａ１，Ａ２，Ａ３、Ａ４が、それぞれ（０゜〜θ１）、（θ１〜θ２）、（θ２〜θ３）、（θ３〜９０゜）の範囲に属するように対応づけて設定される。そして、画像処理部２２は、第１の旋回量判定部２６の検出結果及び上記対応関係データに基づいて、切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４の中から旋回量に応じたもの一つを選択して、カメラ１０による撮像画像のうち対応する画像を切出す。切出された画像は上記変換テーブルを用いて補正され、車両２の側方領域画像を本来表示されるべき部分に重畳される。これにより、車両２の旋回状態に応じた部分を切出した画像を含む画像データが生成される。なお、旋回量が上記各範囲の閾値である場合には、その前後のいずれの切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４を選択するようにしてもよい。
【００４５】
なお、車両２の他方側方領域（図８及び図９において車両後方に向けて左側に旋回する場合）に関する処理を中心に説明すると、上記と逆の側方領域に関して上記と同様の切出し等の画像処理を行って、表示用画像データを生成する。
【００４６】
また、車両２が後進する場合の旋回方向と反対側の側方画像については、車両２に対する側方画像をそのまま継続して表示してもよいし、或は、表示自体をやめてもよい。
【００４７】
このように構成された車載カメラ表示装置の動作について図１０のフローチャートを参照して説明する。
【００４８】
まず、ステップＳ１において、画像処理部２２は、シフトレバーのポジションセンサからの検出結果に基づいてバックギヤに入れられたか否かを判定する。ここで、バックギヤに入れられていないと判定されるとステップＳ１の処理を繰返し、バックギヤに入れられたと判定されると、次ステップＳ２に進む。
【００４９】
ステップＳ２では、第１の旋回量判定部２６がヨーレートセンサ４からの検出結果に基づいて車両２の旋回量を判定し、求められた旋回量を示す信号を画像処理部２２に与える。
【００５０】
続くステップＳ３では、画像処理部２２は、求められた旋回量に応じた切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４を決定し、次ステップＳ４に進む。
【００５１】
ステップＳ４では、画像処理部２２は、カメラ１０による撮像画像のうち決定された切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に対応する領域を切出すと共に、これに対応する変換テーブルをメモリ２４から読出す。そして、切出された画像データに対して変換テーブルを用いた所定の画像変換処理を行って補正し、補正された切出し画像を含む表示用画像データを生成して出力する。出力された表示用画像データは表示器３０に与えられて監視用の表示画像として車室内の運転者等に対して表示される。
【００５２】
続くステップＳ６では、画像処理部２２は、シフトレバーのポジションセンサからの検出結果に基づいてバックギヤが解除されたか否かを判定する。そして、バックギヤが解除されていないと判定すると、ステップＳ２に戻りステップＳ２〜ステップＳ６の処理を繰返し、車両２の旋回量に応じた切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４の表示を継続する。これにより、道路８に対する車両２の旋回量が大きくなるほど、切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４のうちより中央よりのものが選択されて表示器３０に表示されるようになり、道路８を含む領域Ｒ２の画像が継続的に表示されることになる。
【００５３】
そして、ステップＳ６において、画像処理部２２がバックギヤが解除されたと判定すると、旋回量に応じた表示を行う処理を終了する。
【００５４】
以上のように構成された車載カメラ表示装置によると、画像処理部２２は、第１の旋回量判定部２６のからの出力に基づいて、カメラ１０の撮像画像のうち車両２の旋回状態に応じた部分を切出した領域Ｄ１，Ｄ２，Ｄ３，Ｄ４の画像を含む表示用画像データを生成するため、車両２の旋回状態に応じて所望の領域を表示器３０に表示させることができる。
【００５５】
より具体的には、カメラ１０は車両２の側方を含む領域を撮像可能に構成されており、画像処理部２２は、車両２の旋回量が大きくなるに伴って、車両２の側方から車両幅方向中央よりの領域を段階的に切出して表示用画像データを生成しているため、例えば、道路８に対して略垂直姿勢の車両２が該道路８に進入する場合に、その道路８を継続して表示させるのに適している。
【００５６】
特に、第１の旋回量判定部２６は、ヨーレートセンサ４の出力に基づいて車両２の旋回量を求めるため、比較的正確に車両２の旋回量を求めることができる。
【００５７】
また、車両２が駐車エリア６に停止した状態から車両２の挙動開始時を起点として、車両２の旋回量を求めているため、その車両停止状態を基準とする所望の領域、即ち、車両２の側方領域を表示し続けることができる。
【００５８】
｛変形例｝
上記実施形態では、第１の旋回量判定部２６がヨーレートセンサからの検出結果に基づいて車両２の旋回量を判定したが、必ずしもその必要はない。
【００５９】
以下に車両の旋回量判定に係る変形例を説明する。図１１は変形例に係る車載カメラ表示装置を示すブロック図である。
【００６０】
この車載カメラ表示装置では、上記画像処理ユニット２０に対応する画像処理ユニット２０Ｂが、第１の旋回量判定部２６に換えて、第２の旋回量判定部２６Ｂを備えると共に、メモリ４０を備える構成となっている。
【００６１】
第２の旋回量判定部２６Ｂは、カメラ１０による撮像画像に基づいて車両の旋回量を求める手段であり、画像処理用ＩＣ等により構成されている。
【００６２】
メモリ４０は、例えば、ＳＤＲＡＭ等の揮発性メモリ等により構成されており、上記第１の旋回量判定部２６Ｂにおける旋回量判定処理に用いられる判定用画像データを一時的に格納できるようになっている。
【００６３】
第２の旋回量判定部２６Ｂにおける旋回量の判定処理について説明する。
【００６４】
すなわち、車両２が駐車エリア６に停止した状態から道路８に出て行く際の挙動開始時である基準タイミングにおいて、カメラ１０による撮像画像が画像処理部２２を通じて第２の旋回量判定部２６Ｂに与えられる。すると、第２の旋回量判定部２６Ｂは、該基準タイミングにおける撮像画像の一部を含む基準画像データを生成する。ここでは、図１２の枠内に示すように、撮像画像のうち車両後方の斜め下方領域を含む基準画像データを生成する。より具体的には、車両後方の斜め下方領域を俯瞰画像（上方から見た画像、トップビュー画像ともいう）に変換して基準画像データＴ０を生成する。この基準画像データＴ０には、道路の模様や白線等が含まれる。
【００６５】
また、第２の旋回量判定部２６Ｂは、図１３（ａ）、図１３（ｂ）、図１３（ｃ）に示すように、該基準画像データＴ０に対して車両２の旋回量に応じた回転処理等の変換処理を施して少なくとも一つ（ここでは３つ）の旋回量比較用画像データＴ１，Ｔ２，Ｔ３を生成する。なお、基準画像データＴ０に対する回転処理の回転角度ｄ１゜，ｄ２゜，ｄ３゜，ｄ４゜は、例えば、０゜＜ｄ１゜＜θ１、θ１＜ｄ２゜＜θ２、θ２＜ｄ３゜＜θ３、θ３＜ｄ４゜＜９０゜の範囲で設定される。ここでの変換処理で使われる回転角度に応じた変換テーブルは、不揮発性メモリ内に格納されている。
【００６６】
そして、これらの基準画像データＴ０及び旋回量比較用画像データＴ１，Ｔ２，Ｔ３は、上記各回転角度ｄ１゜，ｄ２゜，ｄ３゜，ｄ４゜と対応づけられて判定用画像データとしてメモリ４０内に一時的に格納される。
【００６７】
そして、車両２の旋回量を判定するときには、カメラ１０による撮像画像が画像処理部２２を通じて第２の旋回量判定部２６Ｂに与えられる。すると、第２の旋回量判定部２６Ｂは、カメラ１０による撮像画像に対して各基準画像データＴ０及び旋回量比較用画像データＴ１，Ｔ２，Ｔ３を基準とするマッチング処理等を行い、各基準画像データＴ０及び旋回量比較用画像データＴ１，Ｔ２，Ｔ３に最も類似する画像領域を抽出する。そして、第２の旋回量判定部２６Ｂは、抽出された各画像領域と対応する各基準画像データＴ０及び旋回量比較用画像データＴ１，Ｔ２，Ｔ３との間で相関値を求め、最も相関度の高い基準画像データＴ０及び旋回量比較用画像データＴ１，Ｔ２，Ｔ３を決定し、対応する回転角度ｄ１゜，ｄ２゜，ｄ３゜，ｄ４゜のうちの一つを決定する。そして、決定された一つの回転角度ｄ１゜，ｄ２゜，ｄ３゜，ｄ４゜を含む信号を画像処理部２２に与える。
【００６８】
この変形例に係る車載カメラ表示装置の動作について図１４のフローチャートを参照して説明する。
【００６９】
まず、ステップＳ１１において、画像処理部２２は、バックギヤに入れられたか否かを判定する。ここで、バックギヤに入れられていないと判定されるとステップＳ１１の処理を繰返し、バックギヤに入れられたと判定されると、次ステップＳ１２に進む。
【００７０】
ステップＳ１２では、第２の旋回量判定部２６Ｂは、カメラ１０による撮像画像及び変換テーブルに基づいて、基準画像データＴ０及び旋回量比較用画像データＴ１，Ｔ２，Ｔ３を生成し、これらを判定用画像データとしてメモリ４０内に格納する。
【００７１】
次ステップＳ１３では、第２の旋回量判定部２６Ｂは、カメラ１０による撮像画像データ及びメモリ４０に格納された判定用画像データに基づいて、車両２の旋回量を判定し、この旋回量を示す信号を画像処理部２２に与える。
【００７２】
この後、画像処理部２２は、図１０のフローチャートにおけるステップＳ３〜Ｓ６と同様の処理を実行する。これにより、車両２の旋回量に応じた画像データが表示器３０に与えられて監視用の表示画像として車室内の運転者等に向けて表示される。そして、ステップＳ６で、画像処理部２２が、バックギヤが解除されたと判定すると、ステップＳ１２に戻りステップＳ１２，ステップＳ１３，ステップＳ３〜ステップＳ６の処理を繰返し、車両２の旋回量に応じた切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４の表示を継続する。一方、バックギヤが解除されたと判定すると、処理を終了する。
【００７３】
この変形例に係る車載カメラ表示装置によっても、上記実施形態と同様の効果を得ることができる。
【００７４】
加えて、第２の旋回量判定部２６Ｂは、カメラ１０による撮像画像に基づいて車両２の旋回角を求めるため、ヨーレートセンサ等の他のセンサに接続することなく、車両２の旋回量を求めることができるという利点がある。
【００７５】
また、第２の旋回量判定部２６Ｂは、基準タイミングにおいて撮像された画像の一部を含む基準画像データと、この基準画像データに対して旋回量に応じた変換処理を施した旋回量比較用画像データとを予め生成し、これらの画像データとカメラ１０により撮像された撮像画像画像データとに基づいて車両の旋回量を求めるようにしているため、旋回量の各判定段階での処理量を少なくすることができ、比較的迅速に旋回量を求めることができる。
【００７６】
また、基準画像データは車両２から斜め下方領域の画像を含むため、カメラ１０と被写体との間の距離の影響を可及的に排除して、比較的正確に車両の旋回量を判定することができる。
【００７７】
なお、本変形例において、撮像素子及びレンズ等を有する撮像部１０Ｃと画像処理部２２と第２の旋回量判定部２６Ｂとメモリ２４，４０とを単一のケース内に収容する等して単一の車載カメラ装置２０Ｃとして構成してもよい。これにより、本車載カメラ装置を車両に取付けて映像出力を車内の表示器３０に接続することで、容易に車両に組込むことができる。
【００７８】
また、車両２の旋回状態を取得する旋回状態取得手段は上記実施形態及び上記変形例に係る構成に限られない。例えば、ハンドルの切れ角を検出するセンサや磁気方位センサ等に基づいて車両の旋回量を求めるようにしてもよい。
【００７９】
また、本実施形態及び上記変形例では、車両の後方を撮像するバックカメラに適用した例で説明したが、適用例はこれに限られない。例えば、車両の前部側方を撮像するフロントカメラにも適用できる。
【００８０】
なお、本実施形態及び上記変形例では、予め複数の切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４を設定しておき、車両２の旋回量に応じて一つの切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４を選択する構成を採用したが必ずしもその必要はない。車両２の側方領域に対応する切出領域を基準にして、車両２の旋回量に応じて該切出領域を連続的に中央よりの方向へ移動させるようにしてもよい。
【図面の簡単な説明】
【００８１】
【図１】実施形態に係る車載カメラ表示装置の設置例を示す図である。
【図２】車載カメラ表示装置を示すブロック図である。
【図３】カメラによる撮像画像例を示す図である。
【図４】表示器による表示画像例を示す図である。
【図５】車両が駐車エリアから道路に出て行く様子を示す図である。
【図６】車両が駐車エリアから道路に出て行く他の様子を示す図である。
【図７】ヨーレートセンサにより検出された旋回角の変化例を示す図である。
【図８】カメラによる撮像画像に対する切出領域の変化例を示す図である。
【図９】図９（ａ），図９（ｂ），図９（ｃ），図９（ｄ）はカメラによる水平面内撮像領域における表示領域の変化例を示す図である。
【図１０】車載カメラ表示装置の動作を示すフローチャートである。
【図１１】変形例に係る車載カメラ表示装置を示すブロック図である。
【図１２】基準画像データに含まれる対象画像を示す図である。
【図１３】図１３（ａ），図１３（ｂ），図１３（ｃ）は、旋回量比較用画像データの例を示す図である。
【図１４】変形例に係る車載カメラ表示装置の動作を示すフローチャートである。
【図１５】他の変形例に係る車載カメラ表示装置の動作を示すフローチャートである。
【符号の説明】
【００８２】
２ 車両
４ ヨーレートセンサ
１０ カメラ
２０ 画像処理ユニット
２２ 画像処理部
２４，４０ メモリ
２６ 第１の旋回量判定部
２６Ｂ 第２の旋回量判定部
３０ 表示器
Ｄ１，Ｄ２，Ｄ３，Ｄ４ 切出領域
Ｔ０ 基準画像データ
Ｔ１，Ｔ２，Ｔ３ 旋回量比較用画像データ
【技術分野】
【０００１】
この発明は、車両周辺景色を撮像するための技術に関する。
【背景技術】
【０００２】
従来より、車外に設けた車載カメラにより車両周辺の死角となる景色を撮像し、この撮像画像を車室内のモニタに表示するようにした技術がある。
【０００３】
この場合に、撮像画像にガイド線などを重畳して表示させる技術がある。また、運転者にわかりやすい画像とするために、撮像画像に対して画面分割や拡大、所定領域の切出し等の画像処理を施して、モニタに表示させる技術もある。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、上記のような車載カメラとして広角カメラを用いると、単一のカメラでより広い領域を撮像してこれを車室内のモニタに映し出す事が可能となる。
【０００５】
しかしながら、このような広角カメラによる映像は歪みが大きいため、そのままモニタに表示させると、現実世界との違和感を運転者に与える可能性がある。そこで、撮像した広角な領域のうち監視の必要性の高い領域を切出して、これに適宜歪み補正処理等を施してモニタに表示させるようにする技術が提案されている。監視の必要性の高い領域の例としては、車両後方を撮像するバックカメラを想定すると、車両の後方斜め下方領域や、車両の後部側方領域等である。つまり、車両の後方斜め下方領域画像は、当該領域に障害物が無いかどうかを確認するための画像として供される。また、車両の後部側方領域画像は、車両が駐車エリアから道路に出て行く場合等に、当該道路に車両が走行していないか否かを確認するための画像として供される。
【０００６】
ところが、車両が駐車エリアから道路上に出て行く場合を考えると、上記のようなバックカメラでは、車両の旋回に伴い、車両の後部側方領域画像に必要な道路領域が表示されなくなってしまう。つまり、駐車エリアにおいて車両が道路に対して略垂直な姿勢である初期状態では、車両の後部側方領域画像に監視対象となる道路が表示される。しかしながら、車両が旋回しつつ道路上に出て行くと、道路に対する車両の相対的な角度が変ってしまい、車両の後部側方領域画像に監視対象となる道路が表示されなくなってしまうのである。
【０００７】
そこで、本発明は、車両の旋回状態に応じて、所望の領域を表示させることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る車載カメラ表示装置は、車両周辺景色を撮像する撮像手段と、前記撮像手段による撮像画像に対して画像処理を施して表示用画像データを生成する画像処理手段と、前記表示用画像データに基づいて表示用画像を表示する表示手段と、車両の旋回状態を取得する旋回状態取得手段と、を備え、前記画像処理手段は、前記表示用画像データとして、前記旋回状態取得手段からの出力に基づいて、前記撮像手段による撮像画像のうち車両の旋回状態に応じた部分を切出した画像を含む画像データを生成するものである。
【０００９】
この場合に、前記旋回状態取得手段は、車両が回転する角速度を検出するヨーレートセンサからの出力に基づいて車両の旋回量を求める第１の旋回量判定手段を有するものであってもよい。
【００１０】
また、旋回状態取得手段は、前記撮像手段による撮像画像に基づいて車両の旋回量を求める第２の旋回量判定手段を有するものであってもよい。
【００１１】
また、前記第２の旋回量判定手段は、基準タイミングにおいて撮像された画像の一部を含む基準画像データと、前記基準画像データに対して車両旋回量に応じた変換処理を施した少なくとも一つの旋回量比較用画像データとを予め生成し、前記撮像手段により撮像された画像データと前記基準画像データ及び前記旋回量比較用画像データとに基づいて車両の旋回量を求めるものであってもよい。
【００１２】
さらに、前記基準画像データは、車両から斜め下方領域の画像を含むものであってもよい。
【００１３】
また、前記撮像手段は、車両の側方を含む領域を撮像可能な手段であり、前記画像処理手段は、車両の旋回量が大きくなるに伴って、車両の側方から車両幅方向中央よりの領域を順次又は段階的に切出して前記表示用画像データを生成するようにしてもよい。
【００１４】
また、前記旋回状態取得手段は、車両停止状態からの車両の挙動開始時を起点として車両の旋回状態を取得してもよい。
【００１５】
また、この発明に係る画像処理装置は、入力された撮像画像に対して画像処理を施して表示用画像データを生成して出力する画像処理手段と、車両の旋回状態を取得する旋回状態取得手段と、を備え、前記画像処理手段は、前記表示用画像データとして、前記旋回状態取得手段からの出力に基づいて、前記撮像手段による撮像画像のうち車両の旋回状態に応じた部分を切出した画像を含む画像データを生成するものである。
【発明の効果】
【００１６】
この発明の車載カメラ表示装置によると、画像処理手段は、表示用画像データとして、旋回状態取得手段からの出力に基づいて、前記撮像手段による撮像画像のうち車両の旋回状態に応じた部分を切出した画像を含む画像データを生成するため、車両の旋回状態に応じて所望の領域を表示手段に表示させることができる。
【００１７】
また、前記旋回状態取得手段は、車両が回転する角速度を検出するヨーレートセンサの出力に基づいて車両の旋回量を求める第１の旋回量算判定段とを有していると、ヨーレートセンサに基づいて車両の旋回量を求めることができる。
【００１８】
さらに、旋回状態取得手段は、前記撮像手段による撮像画像に基づいて車両の旋回角を求める第２の旋回量判定手段を有すると、他のセンサ等に接続することなく、車両の旋回量を求めることができる。
【００１９】
また、前記第２の旋回量判定手段は、基準タイミングにおいて撮像された画像の一部を含む基準画像データと、前記基準画像データに対して車両旋回量に応じた変換処理を施した少なくとも一つの旋回量比較用画像データとを予め生成し、前記撮像手段により撮像された画像データと前記基準画像データ及び前記旋回量比較用画像データとに基づいて車両の旋回量を求めるようにすると、比較的迅速に旋回量を求めることができる。
【００２０】
また、基準画像データが車両から斜め下方領域の画像を含むと、車両の旋回量をより正確に求めることができる。
【００２１】
また、前記撮像手段は、車両の側方を含む領域を撮像可能な手段であり、前記画像処理手段は、車両の旋回量が大きくなるに伴って、車両の側方から車両幅方向中央よりの領域を順次又は段階的に切出して前記表示用画像データを生成すると、車両が横道に進入する場合に、その横道を継続して表示させるのに適する。
【００２２】
前記旋回状態取得手段は、車両停止状態からの車両の挙動開始時を起点として車両の旋回状態を取得すると、その車両停止状態を基準とする所望の領域を表示し続けることができる。
【００２３】
また、この発明の画像処理装置によると、画像処理手段は、表示用画像データとして、旋回状態取得手段からの出力に基づいて、前記撮像手段による撮像画像のうち車両の旋回状態に応じた部分を切出した画像を含む画像データを生成するため、車両の旋回状態に応じて所望の領域を含む画像データを得ることができる。
【発明を実施するための最良の形態】
【００２４】
｛実施形態｝
以下、この発明の実施形態に係る車載カメラ表示装置について説明する。図１は車載カメラ表示装置の設置例を示す図であり、図２は車載カメラ表示装置を示すブロック図である。
【００２５】
この車載カメラ表示装置は、カメラ１０と画像処理ユニット２０と表示器３０とを備えている。
【００２６】
カメラ１０は、車両２の周辺景色を撮像する撮像手段である。より具体的には、カメラ１０は、ＣＣＤ素子等の撮像素子と光学レンズ等を備えている。ここでは、カメラ１０は、単一の撮像素子と、魚眼レンズ又は広角レンズ等の広角なレンズとを備えており、単一の撮像素子により車両周辺における所定の広角な領域を撮像可能な構成とされている。また、このカメラ１０は、車両後部の幅方向略中央部に、車両後方に指向する姿勢で設置されている。そして、車両２後方の所定領域、ここでは、車両後部の左右両側方領域及び後方斜め下方領域を含む広角な領域（図１の斜線領域参照）を撮像可能に設置されている。このカメラ１０により、図３に示すように、車両後部の左右両側方領域及び後方斜め下方領域を含む広角な撮像画像が得られる。
【００２７】
なお、カメラ１０は、複数の撮像素子により、又は、プリズムとレンズとの組合わせにより、車両の両側方領域を含む範囲を撮像する構成であってもよい。
【００２８】
画像処理ユニット２０は、画像処理部２２と、メモリ２４と、第１の旋回量判定部２６とを備えている。
【００２９】
画像処理部２２は、上記カメラ１０による撮像画像に対して画像処理を施して表示用画像データを生成する画像処理手段であり、画像処理用ＩＣ等により構成されている。この画像処理部２２は、通常状態では、図４に示すように、カメラ１０で撮像された撮像画像（図３参照）のうち車両２の車両後部の左右両側方領域画像及び後方斜め下方領域画像を切出し、これにメモリ２４に格納された変換テーブルを用いて歪み補正処理等を施して表示用画像データを生成する。また、車両２の後方進行中には、第１の旋回量判定部２６からの出力に基づいて、上記撮像画像のうち旋回状態に応じた部分を切出した画像を含む表示用画像データを生成する。後者の処理については後に詳述する。
【００３０】
メモリ２４は、例えばＥＰＲＯＭまたはフラッシュＲＯＭ等の書き換え可能な不揮発性メモリであり、上記画像処理部２２における歪み補正等に用いられる変換テーブルが格納されている。
【００３１】
第１の旋回量判定部２６は、車両２の旋回状態を取得する旋回状態取得手段であり、ここでは、車両が回転する速度を検出するヨーレートセンサ４からの出力に基づいて車両の旋回量を求める第１の旋回量判定手段として機能する。この第１の旋回量判定部２６による旋回量判定処理については後に詳述する。
【００３２】
表示器３０は、画像処理部２２で生成された表示用画像データに基づいて表示用画像を表示する表示手段であり、液晶表示装置等により構成されて車室内に設置されている。
【００３３】
ここで、図５及び図６に示すように、この車載カメラ表示装置を搭載した車両２が、駐車エリア６から道路８に出て行く場合の表示範囲を考えてみる。なお、駐車エリア６は道路８に直接面しており、かつ、駐車エリア６内で車両２は道路８に略直交する姿勢で前向き駐車されている。そして、車両２は後ろ向きで駐車エリア６から道路８に出て行くとする。
【００３４】
この場合、駐車エリア６から道路８に出て行く場合の初期状態では、車両２は道路８に対して略直交しているので、図５に示すように、車両２の後部の両側方領域と道路８とは重なりあっている。従って、図４に示すように、表示器３０における車両２の後部の両側方領域画像に道路８が映し出される。このため、運転者は、表示器３０を通じて道路８における車両２の走行有無を確認しつつ道路８に出て行くように運転することができる。
【００３５】
そして、車両２が駐車エリア６からある程度出てしまうと、道路８に対する車両２の傾きが変ってしまう。すると、車両２の後部側方領域（図６の２点鎖線で囲まれる領域参照Ｒ１）と道路８とはずれてしまう。このため、上記初期状態のままの表示を継続すると、表示器３０には道路８が映し出されなくなってしまう。
【００３６】
そこで、本車載カメラ表示装置では、車両２の旋回状態に応じた部分を切出した画像を含むように画像データを生成して、表示器３０に継続して道路８を映し出すようにしている。
【００３７】
まず、第１の旋回量判定部２６が車両２の旋回量を判定する処理について説明する。
【００３８】
すなわち、第１の旋回量判定部２６は、車両２に設けられたヨーレートセンサ４に接続されている。このヨーレートセンサ４は、角速度センサ等により構成されており、車両２に設置されて該車両２が回転する角速度を検出する手段である。このヨーレートセンサ４による検出結果は、例えば、ＣＡＮ等の車載ＬＡＮを通じて第１の旋回量判定部２６に与えられる。例えば、図５及び図６に示すように、車両２が駐車エリア６から道路８に出て行く場合には、図７に示すように、左右に微調整されるように旋回しつつ、全体としては一方向に大きく旋回する（ここでは旋回角が＋（プラス）になるような挙動）ような車両２の挙動を示す検出信号が出力される。そして、第１の旋回量判定部２６が、ヨーレートセンサ４から与えられる検出結果に基づいて、所定の基準タイミングから所定の旋回量判定時までの間で、旋回角０゜を基準に車両２の角速度の積分値を算出することで、車両２の旋回量を求める。ここで所定の基準タイミングは、車両２が駐車エリア６に停止した状態から道路８に出て行く際の挙動開始時であり、例えば、シフトレバーのポジションセンサに基づいて車両のギヤをバックに入れたと判定されたタイミングや、ギヤをバックに入れた後やエンジン始動後或は車両２の一旦停止後に、速度センサや加速度センサ、ヨーレートセンサ等の出力に基づき車両２が実際に動き始めたと判定されるタイミング等、或は、カメラ１０で撮像された撮像画像に基づいて車両２の移動が検出されたタイミング等である。ここでは、車両のギヤをバックに入れたタイミングが挙動開始時であるとして説明する。このようにして、駐車エリア６に車両２が駐車された姿勢を基準として、車両２の旋回量が求められ、この旋回量を示す信号が画像処理部２２に与えられる。
【００３９】
次に、画像処理部２２が車両２の旋回状態に応じた部分を切出した画像を含むように画像データを生成する処理について説明する。
【００４０】
すなわち、画像処理部２２は、第１の旋回量判定部２６の検出結果に基づいて、車両２の旋回量が大きくなるのに伴って、車両２の側方から車両２の幅方向中央よりの領域を順次又は段階的に切出して表示用画像データを生成する。
【００４１】
図８はカメラによる撮像画像に対する切出領域の変化例を示す図であり、図９（ａ）〜図９（ｄ）はカメラによる水平面内撮像領域における表示領域の変化例を示す図である。
【００４２】
すなわち、車両２の一方側方領域（図８及び図９において車両後方に向けて右側に旋回する場合）に関する処理を中心に説明すると、カメラ１０による撮像画像に対して複数（ここでは４つ）の切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４が予め設定されている。各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４は、車両２の側方領域（換言すれば撮像画像の側方領域）から車両２の幅方向中央よりの領域に段階的に向う範囲に設定されている。
【００４３】
なお、上記各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に対して歪み等を補正する変換テーブルが予め準備されてメモリ２４内に格納されている。各変換テーブルは例えば事前に次のようなキャリブレーションを行うことで生成される。すなわち、図９（ａ）〜図９（ｄ）に示すように、格子パターン５０を、各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に対応する仮想光軸Ａ１，Ａ２，Ａ３、Ａ４と略垂直姿勢で、かつ、切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４全体に映り込むように配設する。そして、カメラ１０により格子パターン５０を撮像し、撮像された格子パターン５０の歪みを除去できるような各画素の変換値を算出することで、上記変換テーブルを生成する。このように、各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４毎に別々にキャリブレーションを行ってそれぞれ別々に変換テーブルを生成準備しておくことで、それぞれの各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に応じた適切な補正画像を得ることができる。なお、このようなキャリブレーション処理自体は、周知技術を含む適用可能な技術によって実施可能であるので、ここではその詳細な説明は省略する。
【００４４】
また、車両２が後方に向けて右方向に旋回しつつ後進する場合を想定すると、旋回量の範囲は複数（ここでは４つ）の範囲に分割されており、それぞれの範囲が各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に対応づけられており、この対応関係データが上記メモリ２４に格納されている。例えば、旋回量を示す０゜〜９０゜の範囲が、（０゜〜θ１）、（θ１〜θ２）、（θ２〜θ３）、（θ３〜９０゜）の範囲（但し、０゜＜θ１＜θ２＜θ３＜９０゜に分割されており、それぞれ切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に対応づけられている。例えば、各切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に対応する各仮想光軸Ａ１，Ａ２，Ａ３、Ａ４が、それぞれ（０゜〜θ１）、（θ１〜θ２）、（θ２〜θ３）、（θ３〜９０゜）の範囲に属するように対応づけて設定される。そして、画像処理部２２は、第１の旋回量判定部２６の検出結果及び上記対応関係データに基づいて、切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４の中から旋回量に応じたもの一つを選択して、カメラ１０による撮像画像のうち対応する画像を切出す。切出された画像は上記変換テーブルを用いて補正され、車両２の側方領域画像を本来表示されるべき部分に重畳される。これにより、車両２の旋回状態に応じた部分を切出した画像を含む画像データが生成される。なお、旋回量が上記各範囲の閾値である場合には、その前後のいずれの切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４を選択するようにしてもよい。
【００４５】
なお、車両２の他方側方領域（図８及び図９において車両後方に向けて左側に旋回する場合）に関する処理を中心に説明すると、上記と逆の側方領域に関して上記と同様の切出し等の画像処理を行って、表示用画像データを生成する。
【００４６】
また、車両２が後進する場合の旋回方向と反対側の側方画像については、車両２に対する側方画像をそのまま継続して表示してもよいし、或は、表示自体をやめてもよい。
【００４７】
このように構成された車載カメラ表示装置の動作について図１０のフローチャートを参照して説明する。
【００４８】
まず、ステップＳ１において、画像処理部２２は、シフトレバーのポジションセンサからの検出結果に基づいてバックギヤに入れられたか否かを判定する。ここで、バックギヤに入れられていないと判定されるとステップＳ１の処理を繰返し、バックギヤに入れられたと判定されると、次ステップＳ２に進む。
【００４９】
ステップＳ２では、第１の旋回量判定部２６がヨーレートセンサ４からの検出結果に基づいて車両２の旋回量を判定し、求められた旋回量を示す信号を画像処理部２２に与える。
【００５０】
続くステップＳ３では、画像処理部２２は、求められた旋回量に応じた切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４を決定し、次ステップＳ４に進む。
【００５１】
ステップＳ４では、画像処理部２２は、カメラ１０による撮像画像のうち決定された切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４に対応する領域を切出すと共に、これに対応する変換テーブルをメモリ２４から読出す。そして、切出された画像データに対して変換テーブルを用いた所定の画像変換処理を行って補正し、補正された切出し画像を含む表示用画像データを生成して出力する。出力された表示用画像データは表示器３０に与えられて監視用の表示画像として車室内の運転者等に対して表示される。
【００５２】
続くステップＳ６では、画像処理部２２は、シフトレバーのポジションセンサからの検出結果に基づいてバックギヤが解除されたか否かを判定する。そして、バックギヤが解除されていないと判定すると、ステップＳ２に戻りステップＳ２〜ステップＳ６の処理を繰返し、車両２の旋回量に応じた切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４の表示を継続する。これにより、道路８に対する車両２の旋回量が大きくなるほど、切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４のうちより中央よりのものが選択されて表示器３０に表示されるようになり、道路８を含む領域Ｒ２の画像が継続的に表示されることになる。
【００５３】
そして、ステップＳ６において、画像処理部２２がバックギヤが解除されたと判定すると、旋回量に応じた表示を行う処理を終了する。
【００５４】
以上のように構成された車載カメラ表示装置によると、画像処理部２２は、第１の旋回量判定部２６のからの出力に基づいて、カメラ１０の撮像画像のうち車両２の旋回状態に応じた部分を切出した領域Ｄ１，Ｄ２，Ｄ３，Ｄ４の画像を含む表示用画像データを生成するため、車両２の旋回状態に応じて所望の領域を表示器３０に表示させることができる。
【００５５】
より具体的には、カメラ１０は車両２の側方を含む領域を撮像可能に構成されており、画像処理部２２は、車両２の旋回量が大きくなるに伴って、車両２の側方から車両幅方向中央よりの領域を段階的に切出して表示用画像データを生成しているため、例えば、道路８に対して略垂直姿勢の車両２が該道路８に進入する場合に、その道路８を継続して表示させるのに適している。
【００５６】
特に、第１の旋回量判定部２６は、ヨーレートセンサ４の出力に基づいて車両２の旋回量を求めるため、比較的正確に車両２の旋回量を求めることができる。
【００５７】
また、車両２が駐車エリア６に停止した状態から車両２の挙動開始時を起点として、車両２の旋回量を求めているため、その車両停止状態を基準とする所望の領域、即ち、車両２の側方領域を表示し続けることができる。
【００５８】
｛変形例｝
上記実施形態では、第１の旋回量判定部２６がヨーレートセンサからの検出結果に基づいて車両２の旋回量を判定したが、必ずしもその必要はない。
【００５９】
以下に車両の旋回量判定に係る変形例を説明する。図１１は変形例に係る車載カメラ表示装置を示すブロック図である。
【００６０】
この車載カメラ表示装置では、上記画像処理ユニット２０に対応する画像処理ユニット２０Ｂが、第１の旋回量判定部２６に換えて、第２の旋回量判定部２６Ｂを備えると共に、メモリ４０を備える構成となっている。
【００６１】
第２の旋回量判定部２６Ｂは、カメラ１０による撮像画像に基づいて車両の旋回量を求める手段であり、画像処理用ＩＣ等により構成されている。
【００６２】
メモリ４０は、例えば、ＳＤＲＡＭ等の揮発性メモリ等により構成されており、上記第１の旋回量判定部２６Ｂにおける旋回量判定処理に用いられる判定用画像データを一時的に格納できるようになっている。
【００６３】
第２の旋回量判定部２６Ｂにおける旋回量の判定処理について説明する。
【００６４】
すなわち、車両２が駐車エリア６に停止した状態から道路８に出て行く際の挙動開始時である基準タイミングにおいて、カメラ１０による撮像画像が画像処理部２２を通じて第２の旋回量判定部２６Ｂに与えられる。すると、第２の旋回量判定部２６Ｂは、該基準タイミングにおける撮像画像の一部を含む基準画像データを生成する。ここでは、図１２の枠内に示すように、撮像画像のうち車両後方の斜め下方領域を含む基準画像データを生成する。より具体的には、車両後方の斜め下方領域を俯瞰画像（上方から見た画像、トップビュー画像ともいう）に変換して基準画像データＴ０を生成する。この基準画像データＴ０には、道路の模様や白線等が含まれる。
【００６５】
また、第２の旋回量判定部２６Ｂは、図１３（ａ）、図１３（ｂ）、図１３（ｃ）に示すように、該基準画像データＴ０に対して車両２の旋回量に応じた回転処理等の変換処理を施して少なくとも一つ（ここでは３つ）の旋回量比較用画像データＴ１，Ｔ２，Ｔ３を生成する。なお、基準画像データＴ０に対する回転処理の回転角度ｄ１゜，ｄ２゜，ｄ３゜，ｄ４゜は、例えば、０゜＜ｄ１゜＜θ１、θ１＜ｄ２゜＜θ２、θ２＜ｄ３゜＜θ３、θ３＜ｄ４゜＜９０゜の範囲で設定される。ここでの変換処理で使われる回転角度に応じた変換テーブルは、不揮発性メモリ内に格納されている。
【００６６】
そして、これらの基準画像データＴ０及び旋回量比較用画像データＴ１，Ｔ２，Ｔ３は、上記各回転角度ｄ１゜，ｄ２゜，ｄ３゜，ｄ４゜と対応づけられて判定用画像データとしてメモリ４０内に一時的に格納される。
【００６７】
そして、車両２の旋回量を判定するときには、カメラ１０による撮像画像が画像処理部２２を通じて第２の旋回量判定部２６Ｂに与えられる。すると、第２の旋回量判定部２６Ｂは、カメラ１０による撮像画像に対して各基準画像データＴ０及び旋回量比較用画像データＴ１，Ｔ２，Ｔ３を基準とするマッチング処理等を行い、各基準画像データＴ０及び旋回量比較用画像データＴ１，Ｔ２，Ｔ３に最も類似する画像領域を抽出する。そして、第２の旋回量判定部２６Ｂは、抽出された各画像領域と対応する各基準画像データＴ０及び旋回量比較用画像データＴ１，Ｔ２，Ｔ３との間で相関値を求め、最も相関度の高い基準画像データＴ０及び旋回量比較用画像データＴ１，Ｔ２，Ｔ３を決定し、対応する回転角度ｄ１゜，ｄ２゜，ｄ３゜，ｄ４゜のうちの一つを決定する。そして、決定された一つの回転角度ｄ１゜，ｄ２゜，ｄ３゜，ｄ４゜を含む信号を画像処理部２２に与える。
【００６８】
この変形例に係る車載カメラ表示装置の動作について図１４のフローチャートを参照して説明する。
【００６９】
まず、ステップＳ１１において、画像処理部２２は、バックギヤに入れられたか否かを判定する。ここで、バックギヤに入れられていないと判定されるとステップＳ１１の処理を繰返し、バックギヤに入れられたと判定されると、次ステップＳ１２に進む。
【００７０】
ステップＳ１２では、第２の旋回量判定部２６Ｂは、カメラ１０による撮像画像及び変換テーブルに基づいて、基準画像データＴ０及び旋回量比較用画像データＴ１，Ｔ２，Ｔ３を生成し、これらを判定用画像データとしてメモリ４０内に格納する。
【００７１】
次ステップＳ１３では、第２の旋回量判定部２６Ｂは、カメラ１０による撮像画像データ及びメモリ４０に格納された判定用画像データに基づいて、車両２の旋回量を判定し、この旋回量を示す信号を画像処理部２２に与える。
【００７２】
この後、画像処理部２２は、図１０のフローチャートにおけるステップＳ３〜Ｓ６と同様の処理を実行する。これにより、車両２の旋回量に応じた画像データが表示器３０に与えられて監視用の表示画像として車室内の運転者等に向けて表示される。そして、ステップＳ６で、画像処理部２２が、バックギヤが解除されたと判定すると、ステップＳ１２に戻りステップＳ１２，ステップＳ１３，ステップＳ３〜ステップＳ６の処理を繰返し、車両２の旋回量に応じた切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４の表示を継続する。一方、バックギヤが解除されたと判定すると、処理を終了する。
【００７３】
この変形例に係る車載カメラ表示装置によっても、上記実施形態と同様の効果を得ることができる。
【００７４】
加えて、第２の旋回量判定部２６Ｂは、カメラ１０による撮像画像に基づいて車両２の旋回角を求めるため、ヨーレートセンサ等の他のセンサに接続することなく、車両２の旋回量を求めることができるという利点がある。
【００７５】
また、第２の旋回量判定部２６Ｂは、基準タイミングにおいて撮像された画像の一部を含む基準画像データと、この基準画像データに対して旋回量に応じた変換処理を施した旋回量比較用画像データとを予め生成し、これらの画像データとカメラ１０により撮像された撮像画像画像データとに基づいて車両の旋回量を求めるようにしているため、旋回量の各判定段階での処理量を少なくすることができ、比較的迅速に旋回量を求めることができる。
【００７６】
また、基準画像データは車両２から斜め下方領域の画像を含むため、カメラ１０と被写体との間の距離の影響を可及的に排除して、比較的正確に車両の旋回量を判定することができる。
【００７７】
なお、本変形例において、撮像素子及びレンズ等を有する撮像部１０Ｃと画像処理部２２と第２の旋回量判定部２６Ｂとメモリ２４，４０とを単一のケース内に収容する等して単一の車載カメラ装置２０Ｃとして構成してもよい。これにより、本車載カメラ装置を車両に取付けて映像出力を車内の表示器３０に接続することで、容易に車両に組込むことができる。
【００７８】
また、車両２の旋回状態を取得する旋回状態取得手段は上記実施形態及び上記変形例に係る構成に限られない。例えば、ハンドルの切れ角を検出するセンサや磁気方位センサ等に基づいて車両の旋回量を求めるようにしてもよい。
【００７９】
また、本実施形態及び上記変形例では、車両の後方を撮像するバックカメラに適用した例で説明したが、適用例はこれに限られない。例えば、車両の前部側方を撮像するフロントカメラにも適用できる。
【００８０】
なお、本実施形態及び上記変形例では、予め複数の切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４を設定しておき、車両２の旋回量に応じて一つの切出領域Ｄ１，Ｄ２，Ｄ３，Ｄ４を選択する構成を採用したが必ずしもその必要はない。車両２の側方領域に対応する切出領域を基準にして、車両２の旋回量に応じて該切出領域を連続的に中央よりの方向へ移動させるようにしてもよい。
【図面の簡単な説明】
【００８１】
【図１】実施形態に係る車載カメラ表示装置の設置例を示す図である。
【図２】車載カメラ表示装置を示すブロック図である。
【図３】カメラによる撮像画像例を示す図である。
【図４】表示器による表示画像例を示す図である。
【図５】車両が駐車エリアから道路に出て行く様子を示す図である。
【図６】車両が駐車エリアから道路に出て行く他の様子を示す図である。
【図７】ヨーレートセンサにより検出された旋回角の変化例を示す図である。
【図８】カメラによる撮像画像に対する切出領域の変化例を示す図である。
【図９】図９（ａ），図９（ｂ），図９（ｃ），図９（ｄ）はカメラによる水平面内撮像領域における表示領域の変化例を示す図である。
【図１０】車載カメラ表示装置の動作を示すフローチャートである。
【図１１】変形例に係る車載カメラ表示装置を示すブロック図である。
【図１２】基準画像データに含まれる対象画像を示す図である。
【図１３】図１３（ａ），図１３（ｂ），図１３（ｃ）は、旋回量比較用画像データの例を示す図である。
【図１４】変形例に係る車載カメラ表示装置の動作を示すフローチャートである。
【図１５】他の変形例に係る車載カメラ表示装置の動作を示すフローチャートである。
【符号の説明】
【００８２】
２ 車両
４ ヨーレートセンサ
１０ カメラ
２０ 画像処理ユニット
２２ 画像処理部
２４，４０ メモリ
２６ 第１の旋回量判定部
２６Ｂ 第２の旋回量判定部
３０ 表示器
Ｄ１，Ｄ２，Ｄ３，Ｄ４ 切出領域
Ｔ０ 基準画像データ
Ｔ１，Ｔ２，Ｔ３ 旋回量比較用画像データ
【特許請求の範囲】
【請求項１】
車両周辺景色を撮像する撮像手段と、
前記撮像手段による撮像画像に対して画像処理を施して表示用画像データを生成する画像処理手段と、
前記表示用画像データに基づいて表示用画像を表示する表示手段と、
車両の旋回状態を取得する旋回状態取得手段と、
を備え、
前記画像処理手段は、前記表示用画像データとして、前記旋回状態取得手段からの出力に基づいて、前記撮像手段による撮像画像のうち車両の旋回状態に応じた部分を切出した画像を含む画像データを生成する、車載カメラ表示装置。
【請求項２】
請求項１記載の車載カメラ表示装置であって、
前記旋回状態取得手段は、車両が回転する角速度を検出するヨーレートセンサからの出力に基づいて車両の旋回量を求める第１の旋回量判定手段を有する、車載カメラ表示装置。
【請求項３】
請求項１記載の車載カメラ表示装置であって、
前記旋回状態取得手段は、前記撮像手段による撮像画像に基づいて車両の旋回量を求める第２の旋回量判定手段を有する、車載カメラ表示装置。
【請求項４】
請求項３記載の車載カメラ表示装置であって、
前記第２の旋回量判定手段は、基準タイミングにおいて撮像された画像の一部を含む基準画像データと、前記基準画像データに対して車両旋回量に応じた変換処理を施した少なくとも一つの旋回量比較用画像データとを予め生成し、前記撮像手段により撮像された画像データと前記基準画像データ及び前記旋回量比較用画像データとに基づいて車両の旋回量を求める、車載カメラ表示装置。
【請求項５】
請求項４記載の車載カメラ表示装置であって、
前記基準画像データは、車両から斜め下方領域の画像を含む、車載カメラ表示装置。
【請求項６】
請求項１〜請求項４のいずれかに記載の車載カメラ表示装置であって、
前記撮像手段は、車両の側方を含む領域を撮像可能な手段であり、
前記画像処理手段は、車両の旋回量が大きくなるに伴って、車両の側方から車両幅方向中央よりの領域を順次又は段階的に切出して前記表示用画像データを生成する、車載カメラ表示装置。
【請求項７】
請求項１〜請求項６のいずれかに記載の車載カメラ表示装置であって、
前記旋回状態取得手段は、車両停止状態からの車両の挙動開始時を起点として車両の旋回状態を取得する、車載カメラ表示装置。
【請求項８】
入力された撮像画像に対して画像処理を施して表示用画像データを生成して出力する画像処理手段と、
車両の旋回状態を取得する旋回状態取得手段と、
を備え、
前記画像処理手段は、前記表示用画像データとして、前記旋回状態取得手段からの出力に基づいて、前記撮像手段による撮像画像のうち車両の旋回状態に応じた部分を切出した画像を含む画像データを生成する、画像処理装置。
【請求項１】
車両周辺景色を撮像する撮像手段と、
前記撮像手段による撮像画像に対して画像処理を施して表示用画像データを生成する画像処理手段と、
前記表示用画像データに基づいて表示用画像を表示する表示手段と、
車両の旋回状態を取得する旋回状態取得手段と、
を備え、
前記画像処理手段は、前記表示用画像データとして、前記旋回状態取得手段からの出力に基づいて、前記撮像手段による撮像画像のうち車両の旋回状態に応じた部分を切出した画像を含む画像データを生成する、車載カメラ表示装置。
【請求項２】
請求項１記載の車載カメラ表示装置であって、
前記旋回状態取得手段は、車両が回転する角速度を検出するヨーレートセンサからの出力に基づいて車両の旋回量を求める第１の旋回量判定手段を有する、車載カメラ表示装置。
【請求項３】
請求項１記載の車載カメラ表示装置であって、
前記旋回状態取得手段は、前記撮像手段による撮像画像に基づいて車両の旋回量を求める第２の旋回量判定手段を有する、車載カメラ表示装置。
【請求項４】
請求項３記載の車載カメラ表示装置であって、
前記第２の旋回量判定手段は、基準タイミングにおいて撮像された画像の一部を含む基準画像データと、前記基準画像データに対して車両旋回量に応じた変換処理を施した少なくとも一つの旋回量比較用画像データとを予め生成し、前記撮像手段により撮像された画像データと前記基準画像データ及び前記旋回量比較用画像データとに基づいて車両の旋回量を求める、車載カメラ表示装置。
【請求項５】
請求項４記載の車載カメラ表示装置であって、
前記基準画像データは、車両から斜め下方領域の画像を含む、車載カメラ表示装置。
【請求項６】
請求項１〜請求項４のいずれかに記載の車載カメラ表示装置であって、
前記撮像手段は、車両の側方を含む領域を撮像可能な手段であり、
前記画像処理手段は、車両の旋回量が大きくなるに伴って、車両の側方から車両幅方向中央よりの領域を順次又は段階的に切出して前記表示用画像データを生成する、車載カメラ表示装置。
【請求項７】
請求項１〜請求項６のいずれかに記載の車載カメラ表示装置であって、
前記旋回状態取得手段は、車両停止状態からの車両の挙動開始時を起点として車両の旋回状態を取得する、車載カメラ表示装置。
【請求項８】
入力された撮像画像に対して画像処理を施して表示用画像データを生成して出力する画像処理手段と、
車両の旋回状態を取得する旋回状態取得手段と、
を備え、
前記画像処理手段は、前記表示用画像データとして、前記旋回状態取得手段からの出力に基づいて、前記撮像手段による撮像画像のうち車両の旋回状態に応じた部分を切出した画像を含む画像データを生成する、画像処理装置。
【図１】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１５】
【図３】
【図４】
【図１２】
【図１３】
【図２】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１４】
【図１５】
【図３】
【図４】
【図１２】
【図１３】
【公開番号】特開２００７−２２１１９９（Ｐ２００７−２２１１９９Ａ）
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願番号】特願２００６−３６１３０（Ｐ２００６−３６１３０）
【出願日】平成１８年２月１４日（２００６．２．１４）
【出願人】（３９５０１１６６５）株式会社オートネットワーク技術研究所 (2,668)
【出願人】（０００１８３４０６）住友電装株式会社 (6,135)
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
【公開日】平成１９年８月３０日（２００７．８．３０）
【国際特許分類】
【出願日】平成１８年２月１４日（２００６．２．１４）
【出願人】（３９５０１１６６５）株式会社オートネットワーク技術研究所 (2,668)
【出願人】（０００１８３４０６）住友電装株式会社 (6,135)
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【Ｆターム（参考）】
[ Back to top ]