車幅線調整方法、車載カメラ装置及びプログラム
【課題】車載カメラ装置において、撮影した画像に重畳して表示する2本の線幅線の調整の簡単化を実現する。
【解決手段】撮像素子で撮像した画像に車幅の目安を示す2本の車幅線を重畳し、表示装置にて表示させる車載カメラ装置において、この2本の車幅線の角度および幅を連動して調整するようにする。具体的には、車幅線の始点のX座標と終点のX座標とを異なるステップ量で更新することにより、2本の車幅線の角度および幅を連動して調整する。また、操作部上のボタン押下の度に、車幅線の始点のX座標と終点のX座標をそれぞれ異なる所定のステップ量ずつ更新する。さらに、車幅線のX座標の値により、更新するステップ量を変更する。
【解決手段】撮像素子で撮像した画像に車幅の目安を示す2本の車幅線を重畳し、表示装置にて表示させる車載カメラ装置において、この2本の車幅線の角度および幅を連動して調整するようにする。具体的には、車幅線の始点のX座標と終点のX座標とを異なるステップ量で更新することにより、2本の車幅線の角度および幅を連動して調整する。また、操作部上のボタン押下の度に、車幅線の始点のX座標と終点のX座標をそれぞれ異なる所定のステップ量ずつ更新する。さらに、車幅線のX座標の値により、更新するステップ量を変更する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、車に設置して使用する車載カメラ装置において、撮像した画像に重畳して表示させる車幅の目安を示す2本の車幅線の調整技術に関する。
【背景技術】
【0002】
従来から駐車時における車両後退動作等を支援するため、車両の後方部等に設置して車両の後方周辺を撮影し、その画像を車内に設置した表示装置に表示する車載カメラ装置が知られている。さらに、撮影された画像に重畳して、車幅の目安となる2本の車幅線を表示することも知られている(例えば、特許文献1)。
【0003】
表示装置上に撮像画像に重畳して表示される車幅線の調整は、一般に操作部のボタン等の押下を繰り返して、表示装置上に表示されている路上の駐車枠等に合うように、2本の車幅線の角度及び幅(間隔)を逐次変更することで行われる。従来の車載カメラ装置では、このような車幅線の角度及び幅の変更操作を別モードで別々に行っており、調整の煩雑さに加えて時間の浪費が問題であった。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の課題は、車載カメラ装置において、撮影した画像に重畳して表示される2本の車幅線の調整の煩雑さと時間の浪費の回避を実現することにある。
【課題を解決するための手段】
【0005】
本発明では、撮像素子で撮像した画像に車幅の目安を示す2本の車幅線を重畳し、表示装置にて表示させる車載カメラ装置において、この2本の車幅線の角度および幅を連動して調整するようにする。
【0006】
具体的には、車幅線の始点のX座標と終点のX座標とを異なるステップ量で更新することにより、前記2本の車幅線の角度および幅を連動して調整する。また、操作部上のボタン押下の度に、車幅線の始点のX座標と終点のX座標をそれぞれ異なる所定のステップ量ずつ更新する。さらに、車幅線のX座標の値により、更新するステップ量を変更する。
【0007】
実施形態では、車載カメラ装置の取り付け角度および取り付け高さに応じて、車幅線の始点と終点の座標初期値、更新条件、ステップ量を記憶した記憶部を備え、車幅線調整手段は、記憶部から当該車載カメラ装置の取り付け角度および取り付け高さに応じた車幅線の始点と終点の座標初期値、更新条件、ステップ量を取り込み、更新条件、ステップ量をもとに、車幅線の始点と終点の座標初期値を更新する。また、車幅線調整手段は、記憶部の車幅線の始点と終点の座標初期値を、更新後の値で上書きする。
【発明の効果】
【0008】
本発明によれば、車幅線の角度と幅が連動して調整されることにより、調整の煩雑と時間の浪費を回避することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の車載カメラ装置の一実施形態の全体構成図である。
【図2】図1中のセンサユニットの構成例を示す図である。
【図3】図1中の画像処理ユニットの構成例を示す図である。
【図4】ベイヤー配列カラーフィルタの一例を示す図である。
【図5】図2中のMTF補正部の構成例を示す図である。
【図6】従来及び本発明の車幅線調整操作手順を示す図である。
【図7】従来の車幅線の角度調整を説明する図である。
【図8】従来の車幅線の幅調整を説明する図である。
【図9】本発明の車幅線の角度及び幅を連動して調整する説明図である。
【図10】PROMに保持される車幅線調整パラメータ・テーブルの一例を示す図である。
【図11】本発明の車載カメラ装置の電源投入時の車幅線調整に関係する処理フロー例を示す図である。
【図12】本発明の車載カメラ装置の車幅線調整モード時の処理フロー例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の一実施の形態について図面を参照して説明する。なお、本発明の車載カメラ装置は以下の図示の構成に限定されるものではない。
【0011】
図1は、本発明に係る車載カメラ装置の一実施形態の全体構成図を示す。センサユニット10は、車の後方等を撮像してアナログ画像信号を取得し、それをアナログ・デジタル変換してRGBデータとして出力する。画像処理ユニット20は、センサユニット10が出力する撮像画像のRGBデータを入力して所定の画像処理を施すと共に、撮像画像に車幅の目安を示す2本の車幅線を重畳し、YCbCrデータとして出力する。また、画像処理ユニット20は、クロック発生器50から装置各部を動作させる基となるクロック信号の供給を受けて、センサユニット10やNSCエンコーダ30にクロック、その他の制御信号を送出する。クロック発生器50には水晶発振器などが用いられる。
【0012】
画像処理ユニット20で所定の画像処理を施され、2本の車幅線が重畳された撮像画像のYCbCrデータは、NTSCエンコーダ30に送られ、デジタル・アナログ変換処理を施されてNTSC信号に変換され、表示装置40に出力される。表示装置40は、ナビゲーション装置の表示部が兼ねることでもよい。
【0013】
ここで、画像処理ユニット20はFPGA(Field Programable Gate Array)やASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)などで構成される。操作部60は、利用者が画像処理ユニット20に対して種々の処理を指示するユーザインターフェイスであり、ボタンやジョイステックなどで構成される。後述するように、利用者が操作部60を操作することによって、画像処理ユニット20では撮像画像データに重畳する2本の車幅線の角度及び幅を連動して調整する。PROM70は、書き換え可能な不揮発性メモリであり、画像処理ユニット20の処理に必要なプログラム、種々のパラメータ、その他の情報を記憶する。後述するように、該PROM70には、車載カメラ装置の取り付け角度と取り付け高さに対応して、車幅線の始点と終点の座標初期値、更新条件、ステップ量などがあらかじめテーブル化して記憶されている。
【0014】
図1中のセンサユニット10、画像処理ユニット20、NTSCエンコーダ30、クロック発生器50、PROM70等は、一つの筐体内に構成され、車の後部等に設置される。一方、表示装置40は車の前面等に設置され、NTSCエンコーダ30とはケーブルで接続される。操作部60と画像処理装置ユニット20とはケーブルあるいは無線で接続される。なお、ナビゲーション装置のリモコンが操作部60を兼ねてもよい。
【0015】
次に、センサユニット10及び画像処理ユニット20の具体的構成及び動作について説明する。
【0016】
図2はセンサユニット10の構成例を示す。センサユニット10はレンズ光学系110、撮像素子120、オートゲインコントロール回路(AGC)130、オートホワイトバランス回路(AWB)140、アナログ−デジタル変換器(ADC)150などで構成される。
【0017】
光学系110により撮像素子120に光を効率よく集光させる。ここでは、光学系110に広角で倍率色収差及び歪曲収差の大きいレンズを用いるとする。
【0018】
撮像素子120は、CCDやCMOSなどで構成され、光学系110により集光された光学像を、その光強度に応じて強弱を持った電気信号(アナログ信号)に変換する。図2では省略したが、該撮像素子120には、各画素対応にRGBいずれかの波長帯を透過させるカラーフィルタが設置されている。カラーフィルタはどのような配列を持つものでも構わないが、ここではベイヤー配列型のカラーフィルタを用いるとする。
【0019】
撮像素子120で取得された撮像画像のアナログ信号は、オートゲインコントロール回路(AGC)130、オートホワイトバランス回路(AWB)140を経て、アナログ−デジタル変換器(ADC)150によりデジタルデータに変換される。AGC130は、後段のNTSCエンコーダ30の入力に必要なレベルの信号を出力するための回路である。すなわち、被写体が明るい場合はアンプのゲインを下げ、暗い場合には所定のレベルになるようにアンプのゲインを上げる。なお、ゲインを上げると、ノイズも増加するため、信号のS/N比を下げるようにする。AWB140は、白色の被写体を撮像した際にRGBそれぞれの信号強度が全て等しくなるようにRGB対応の各チャンネルのゲインを調整する。ADC150は、アナログ信号のRGBそれぞれの信号をデジタルデータ(RGBデータ)に変換する。デジタルデータは、例えば、RGBそれぞれ8ビットで構成される。
【0020】
図3は画像処理ユニット20の構成例を示す。画像処理ユニット20は、画像処理部210、該画像処理部210やその他、各部の動作を制御する制御部(マイクロプロセッサ)220、作業用メモリとしてのRAM230、RAM230とPROM70のインターフェース回路(I/F)240などからなる。ここで、画像処理部210はベイヤー補完部211、倍率色収差補正部212、色空間変換部213、MTF補正部214、歪曲収差補正部215、車幅線重畳部216、ガンマ補正部217、プログレッブ・インタレース変換部(PI変換部)218などで構成される。このうち、車幅重畳部216が本発明に関係する。また、制御部220が車幅線調整手段として機能する。これについては後述する。
【0021】
なお、画像処理ユニット20は、図1に示したクロック発生器50からクロック信号を入力して、センサユニット10やNTSCエンコーダ30、画像処理部210の各部に必要なクロック、制御信号などを供給する手段も備えているが、図3では省略してある。
【0022】
センサユニット10から出力される撮像画像のRGBデータは、画像処理ユニット20の画像処理部210に入力され、ベイヤー補完部211、倍率色収差補正部212、色空間変換部213、MTF補正部214、歪曲収差補正部215、車幅線重畳部216、ガンマ補正部217、PI変換部218を経由して所定の処理が施される。
【0023】
ベイヤー補完部211は、ベイヤー配列のRGBデータを入力して、各画素で欠損している色データを補完する。補完には、例えば、以下のような線形補完法を用いる。
【0024】
図4にベイヤー配列のカラーフィルタの一例を示す。ここで、G0は次式により求める。
G0=(G2+G4+G6+G8)/4 (1)
また、R2,R4,R6,R8,R0は次式により求める。
R2=(R1+R3)/2 (2)
R4=(R3+R5)/2 (3)
R6=(R5+R7)/2 (4)
R8=(R1+R7)/2 (5)
R0=(R1+R3+R5+R7)/4 (6)
B2,B4,B6,B8,B0は上記R2,R4,R6,R8,R0の場合と同じであるので省略する。
【0025】
ここでは、ベイヤー配列のカラーフィルタについて述べたが、他のカラーフィルタ配列でも同様である。もちろん、補完方法も線形補完に限らない。
【0026】
倍率色収差補正部212は、ベイヤー補完されたRGBデータを入力して、所定の座標変換式を用いてRGBごとに座標変換を施し、倍率色収差補正されたRGBデータを出力する。
【0027】
倍率色収差は、各波長(色)から見た場合のレンズの屈折率が異なることにより、集光点が各波長で異なる現象である。このように、それぞれの波長(色)で集光する位置が異なるため、座標変換を施す必要がある。
【0028】
一般に倍率色収差補正の座標変換式には、画面中央を原点とし、X,Yを変換後の座標、x,yを変換前の座標、a(1)〜a(4)、b(1)〜b(4)を座標変換係数として、例えば、
X=x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y2]×x (7)
Y=y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x2]×y (8)
の多項式が用いられる。ここで、abs( )は絶対値である。
【0029】
しかし、座標変換演算に用いられる乗算器の個数や回路規模に制限がある場合は、式(7),(8)を簡単化し、例えば、
X=x+[a(1)]×x (9)
Y=y+[b(1)]×y (10)
のような座標変換式を用いることでもよい。
【0030】
色空間変換部213は、後段のMTF補正部214で輝度信号(Y)のみに高域強調フィルタを掛けることや、さらにNTSCエンコーダ30に対してYCC形式で入力させるために、RGBデータをYCbCrデータに変換する。RGB/YCC変換式には、例えば、次式が用いられる。
Y=0.299R+0.587G+0.114B (11)
Cb=−0.169R−0.332G+0.500B (12)
Cr=0.500R−0.419G−0.081B (13)
【0031】
MTF補正部214は、YCbCrデータを入力し、輝度信号Yに対して高域強調フィルタ(HPF)を掛ける。色信号CbCrはそのままとする。MTF補正を行うことで画像の解像度を向上させることができる。
【0032】
図5の(a)は、HPFとしては3×3や5×5などのエッジ強調FIRフィルタを用いてMTF補正を行う場合を示したものである。
【0033】
一方、エッジ強調FIRフィルタを用いた場合、ノイズが増加して画像のS/N比が低下することが考えられる。その場合には、図5の(b)に示すように、輝度信号Yを低域フィルタ(LPF)を通過させると共に、エッジ抽出フィルタ、コアリング、ゲイン回路を通過させて、両者を加算することで、MTF補正を保持したままノイズを低下させて、画像のS/N比を向上させることができる。さらに、回路規模を削減するため、図5の(c)に示すように、LPFを通さずに処理することでもよい。
【0034】
歪曲収差補正部215は、MTF補正されたYCbCrデータを入力し、所定の座標変換式を用いて歪曲収差を行う。歪曲収差補正の座標変換式には、先の倍率色収差と同様な式(7),(8)を用いることができる。
【0035】
また、座標変換演算に用いられ乗算器の個数や回路規模に制限がある場合は、
Y=y (14)
X=x+[a(1)+a(4)×y2]×x (15)
のような簡単な座標変換式を用いることでもよい。
【0036】
車幅線重畳部216は、所定の処理が施された撮像画像のYCbCrデータを入力し、これに車幅の目安を示す2本の車幅線を表わす線分を重畳して出力する。後述するように、制御部220により、この2本の車幅線を表わす線分の角度及び幅(間隔)が連動して調整される。
【0037】
ガンマ補正部217は、2本の車幅線を表わす線分が重畳された撮像画像のYCbCrデータについてガンマ補正を施す。ガンマ補正は、画像などの色のデータと、それが実際に出力される際の信号の相対関係を調節して、より自然に近い表示を得るための補正操作のことをいう。γ(ガンマ)値は、画像の明るさの変化に対する電圧換算値の変化の比で、これが1に近づくのが理想であるが、素子の特性により機器によってそれぞれ異なった値となる。このため、元データに忠実な表示を再現する場合、これらの誤差を修正する必要がある。ガンマ補正部217では、ガンマ補正ルックアップ等を用いてガンマ補正を実施する。
【0038】
PI変換部218は、ガンマ補正されたYCbCrデータを入力して、プログレッシブ走査(順次走査)からインターレース走査(飛び越し走査)に変換する。これは、できるだけ少ない情報量で、解像度を高く、動きを滑らかにするためである。NTSC方式の場合、1/30秒毎の一つのフレームを二つに分け、最初の1/60秒間は奇数番目の走査線だけを、後の1/60秒間は偶数番目の走査線だけを映す。それぞれを奇数フィールド、偶数フィールドと呼ぶ。この間に画像が動いていれば、二つのフィールドを静止画として重ねるとずれることになるが、映像として見ると動きが滑らかである。1/60秒毎に全ての走査線を送るプログレッシブ走査では静止画も映像も滑らかであるが、インターレースと比較するとメモリを2倍必要とする。PI変換部218の後段のDAC(NTSCエンコーダ)30に入力させる信号は、例えば、BT656規格にしたがい輝度信号(Y)の符号なし8ビットデータ0〜255を16〜235に、色差信号(Cb,Cr)の符号付き8ビットデータ127〜127を16〜240に変換した信号である。
【0039】
NTSCエンコーダ30は、画像処理部210から出力された撮像画像と車幅の目安を示す2本の車幅線を表わす線分とが重畳されたデータであるYCbCrデータを入力して、それをNSTC方式の映像信号に変換し、表示装置40に出力する。このようにして、表示装置40上には、撮像素子で撮像された画像に、車幅の目安を示す2本の車幅線が重畳して表示される。本発明によれば、制御部220の制御下で、この車幅線の角度及び幅が連動して同じモードで調整される。
【0040】
以下に、本発明に係る車幅線調整方法について詳述するが、その前に従来の車幅線調整方法について説明する。
【0041】
表示装置40上に撮像装置に重畳して表示される2本の車幅線の調整は、ユーザが操作部60のボタン等の押下を繰り返して、例えば、該表示装置40上に表示されている路上の駐車枠等に合うように、その角度及び幅(間隔)を逐次変更することで行われる。
【0042】
図6(a)に、従来の車幅線調整の操作手順を示す。ここで、各調整モードは、それぞれボタン等の1回の押下に対応している。図6(a)に示すように、従来は車幅線の角度調整および幅調整を別モードで行い、ボタン等の1回の押下では、角度調整あるいは幅調整のいずれか一方を行うというものであった。角度調整は、図7に示すように、例えば、車幅線を表わす2つの線分の始点と終点のうちのどちらか一方のX座標を更新して行う。図7は、一例として始点のX座標を更新する場合を示している。一方、幅調整は、図8に示すように、例えば2つの線分の始点と終点のX座標を同じピクセルずつ更新して行う。図8は、2つの線分の始点と終点のX座標をピクセルaずつ更新することで、水平方向に2つの線分を平行移動して、幅(間隔)を調整することを示している。
【0043】
このように、従来の車幅線の角度調整と幅調整を別モードで別々に行う方式では、所望の角度と幅に到達するまでボタン等の押下を何度も繰り返して、試行錯誤で角度調整と幅調整を行うこととなり、調整の煩雑さに加えて時間の浪費は免れなかった。
【0044】
図6(b)に、本発明の場合の車幅線調整の操作手順を示す。先の図6(a)と同様に、各調整モードは、それぞれボタン等の1回の押下に対応している。図6(b)に示すように、本発明では、ボタン等の1回の押下で、車幅線の角度調整と幅調整を連動させて同じモードで行う。
【0045】
図9は、本発明にかかる車幅線調整方法を説明する図である。なお、ここでは、一例として、表示装置に表示されている路上の駐車枠に合うように、該表示装置上の車幅線を表わす2つの線分の表示角度と表示位置を調整する場合を示したものである。図9に示すように、本発明では、例えば車幅線を表わす2つの線分の始点のX座標はピクセルaずつ更新し、同時に終点のX座標はピクセルb(a≠b)ずつ更新する。更新は、操作部60のボタン等を1回押すごとに行われる。
【0046】
本発明の車幅線調整方法によれば、表示装置に表示される車幅線を表わす2つの線分の角度と幅(間隔)を連動させて同じモードで調整することが可能になり、従来の方法に比べて少ない操作回数で、所望の角度と幅の車幅線に到達できるようになる。
【0047】
ここで、表示装置40に表示される駐車枠の表示角度や表示位置は、例えば、路上に書かれている駐車枠の手前の線を車体の後端部に一致させた場合、車載カメラの取り付け角度(地面に水平な方向から見たときの角度)と取り付け高さ(地面からの高さ)を決めてしまえば、ある程度一意に決まる。そのため、操作部60のボタンを1回押下したときに、車幅線を表わす線分の始点と終点それぞれのX座標をそれぞれ何ピクセルずつ移動させればよいかを表わすステップ量(a,b)は、あらかじめ決めておくことができる。
【0048】
実施形態では、車載カメラの取り付け角度と取り付け高さ毎に、線分の始点と終点の座標と共に、ボタンを1回押下した時に、線分の始点と終点のX座標をそれぞれ移動させるステップ量(a,b)のパラメータ値をテーブル化してあらかじめPROM70に記憶しておく。これを車幅線調整パラメータ・テーブルと称す。また、ステップ量(a,b)はX座標の値に応じて変えてもよい。この場合、テーブル化する内容には、更新条件として該X座標の条件を追加する。
【0049】
図10に車幅線調整パラメータ・テーブルの具体例を示す。これは、例えば車載カメラの取り付け角度や取り付け高さを変えて、駐車枠を撮像した画像を参照してテストを繰り返すことで得られる。図10において、例1〜3は、車載カメラの取り付け高さが50cmで、取り付け角度をそれぞれ30度、45度、60度した場合を示し、例4〜6は、車載カメラの取り付け高さが100cmで、取り付け角度を同様に30度、45度、60度とした場合を示している。
【0050】
なお、図10では、表示装置に表示される車幅線を表わす2つの線分中の画面左側の線分に対するデータのみしか示していないが、画面右側の線分は、画面左側の線分を画面中央を中心に対称とすることで得ることができる。
【0051】
ここで、図10の例1は、車載カメラの取り付け角度、取り付け高さをそれぞれ30度、50cmに設置した場合、画面左側の車幅線の始点と終点の座標初期値はそれぞれ(200,196),(12,284)であり、該画面左側の車幅線の始点X座標がX>240のときは、該車幅線の始点と終点のX座標をそれぞれ移動させるステップ量(a,b)は(4,8)とし、また、該画面左側の車幅線の始点のX座標がX≦240のときは、ステップ量(a,b)は(4,12)とすることを表わしている。例2と例3についても同様である。
【0052】
図10の例4は、車載カメラの取り付け角度、取り付け高さをそれぞれ30度、100cmに設置した場合、画面左側の車幅線の始点と終点の座標初期値はそれぞれ(208,216),(80,316)であり、該車幅線の始点と終点のX座標をそれぞれ移動させるステップ量(a,b)は、該車幅線の始点のX座標に関係なく(4,8)とすることを表わしている。例5と例6についても同様である。
【0053】
PROM70には、図10の車幅線調整パラメータ・テーブルの他に、当該車載カメラ装置の取り付け角度及び取り付け高さの情報を予め記憶しておくようにする。また、PROM70には、制御部220が車幅線調整手段として機能するプログラムも記憶されている。
【0054】
装置の起動時等、制御部220は、PROM70に記憶された当該車載カメラ装置の取り付け角度及び取り付け高さの情報をもとに、同じくPROM70に記憶された車幅線調整パラメータ・テーブル中の対応するデータ(線分の始点と終点の座標初期値、X座標の条件、X座標の始点と終点のステップ量a,b)をRAM230に取り込む。そして、線分の始点と終点の座標初期値を車幅線重畳部216に送る。
【0055】
車幅線重畳部216は、制御部220から送られた線分の始点と終点の座標初期値をもとに、車幅線を表わす2つの線分データを生成して撮像画像データに重畳し、そのYCbCrデータをNTSCエンコーダ30に送出する。これにより、表示装置40に出力される撮像画像上には、車幅の目安を示す2本の車幅線が重畳して表示される。
【0056】
一方、制御部220は、調整モードが指示されると、操作部60のボタンの押下等に応じて、X座標の条件、X座標の始点と終点のステップ量(a,b)を基に車幅線重畳部216へ送信する線分の始点と終点の座標値(X座標値)を更新する。車幅線重畳部216は、この更新された線分の始点と終点の座標値をもとに、あらためて線分データを生成する。これにより、表示装置40に表示されている2本の車幅線の角度と幅が同時に変化する。
【0057】
制御部220は、操作部60のボタン等が1回押下される毎に、その直前の線分の始点と終点のX座標値をそれぞれ値a,bずつ更新していく。増加するか減少するは、例えば、「+」ボタン、「−」ボタンなどで区別すればよい。車幅線重畳部216は、座標値の更新の度に、線分データを生成し直す。したがって、操作部60のボタン等が1回押下される毎に、表示装置40に表示されている2本の車幅線の始点X座標はピクセルaずつ移動し、終点X座標はピクセルbずつ移動し、結局、車幅線の角度及び幅が連動して調整される。すなわち、図9に示した車幅線調整動作が達成される。
【0058】
制御部220では、調整モードの終了が指示されると、PROM70の車幅線調整パラメータ・テーブルの対応するデータの線分の始点と終点の座標値を、更新後の線分の始点と終点の座標値で上書きすることでもよい。この場合、装置が次の起動時等においては、直前に更新された線分の始点と終点の座標値にもとづく車幅線が、まず、表示装置40上に表示される。ユーザは、これを見て調整が必要としたなら、調整モードに移行することになるが、線分の始点と終点の座標初期値から始めるよりは、一般にボタンの押下は少ない回数ですむ。なお、当初の(工場出荷時等)の座標初期値は、バックアップ用にPROM70の別領域等に保存しておけばよい。
【0059】
図11及び図12は、本発明の車載カメラ装置における車幅線調整動作に関係する処理フロー例を示したものである。以下、これに基づいて車幅線調整手段としての制御部220及び車幅線重畳部216の動作を詳述する。
【0060】
装置の電源がオンすると、センサユニット10、画像処理ユニット20、NTSCエンコーダ30、表示装置40等が起動する(ステップ1001)。これにより、制御部220も起動し(ステップ1002)、画像処理ユニット20の各部で必要なパラメータ等をPROM70からインターフェース回路240を介してRAM230に取り込むが、この一環として、PROM70に予め記憶されている車幅線調整パラメータ・テーブル(図10)から車載線調整に必要なデータ(線分の始点と終点の座標初期値、X座標の条件、X座標の始点と終点ステップ量a,b等)をRAM230に取り込む(ステップ1003)。ここで、線分の始点と終点の座標初期値は、当該車載カメラ装置を初めて使用する場合は、工場出荷時等の値であるが、それ以外の場合は、最後の車幅線調整時に上書きされた値となる。先に述べたように、PROM70には、当該車載カメラ装置の取り付け角度及び取り付け高さの情報も予め記憶されており、制御部220は、この情報をもとに、PROM70に記憶されている車幅線調整パラメータ・テーブルから対応するデータをRAM230に取り込む。なお、当該車載カメラ装置を初めて使用する場合には、制御部220では、必要なデータをPROM70からRAM230に取り込む際に、線分の始点と終点の座標初期値(工場出荷時等の値)をPROM70の別領域にバックアップ用に保存しておくようにする。次に、制御部60は、RAM230に取り込んだ線分の始点と終点の座標初期値を車幅線重畳部216に送信する(ステップ1004)。
【0061】
車幅線重畳部216は、制御部220から送られた線分の始点と終点の座標初期値をもとに、車幅線を表わす2つの線分データを生成する(ステップ1005)。具体的には、車幅線重畳部216は、制御部220から送られた線分の始点と終点の座標初期値をもとに、例えば、画面左側の車幅線を表わす線分データを生成し、該線分データから画面中央を中心に対称な位置関係の画面右側の車幅線を表わす線分データを生成する。これは、後述の線分データを更新する場合も同様である。車幅線重畳部216は、生成した2つの線分データを前段から送られてくる撮像画像データに重畳して、後段に送出する(同ステップ1005)。これにより、表示装置40には、撮像画像と車幅の目安を示す2本の車幅線が表示される(ステップ1006)。
【0062】
一方、制御部220は、ユーザから調整モードが指示されるか否か判定する(ステップ1007)。調整モードは、例えば、操作部60のボタンを長押しするなどして指示する。ここで、調整モードが指示されない状態を通常モードと称すことにする。通常モードでは、表示装置40上の、撮像画像と車幅の目安を示す2本の車幅線の表示がそのまま維持される。
【0063】
ユーザから調整モードが指示されると、制御部220は、操作部60のボタンの押下等を待つ(ステップ1008)。この場合のボタン押下は、例えば短押しとする。また、操作部60に「+」ボタン、「−」ボタンを用意し、車幅線を画面中心から離れる方向に移動させる場合は「+」ボタンを押下し、画面中心に近づける方向に移動させる場合は「−」ボタンを押下する。これらは一例にすぎず、操作部60のボタンの押下等により、所定の指示が区別できれば、そのやり方はどのような方法でもよい。
【0064】
制御部220は、調整モードが指示された後、操作部60のボタンの押下等があると、RAM230からその時点の線分の始点と終点の座標値を取得し(ステップ1009)、X座標の条件、X座標の始点と終点のステップ量(a,b)をもとに、当該線分の始点と終点の座標値を更新する(ステップ1010)。例えば、図10の例1〜3の場合、その時点の線分の始点のX座標がX>240であれば、当該線分の始点と終点のX座標値はそれぞれ4と8ピクセル更新され、X≦240であれば、当該線分の始点と終点のX座標値はそれぞれ4と12ピクセル更新される。Y座標はそのままである。先に述べたように、更新が「+」か「−」かは、例えば「+」ボタン、「−」ボタンで区別する。また、図10の例4〜6の場合では、その時点の線分の始点のX座標値に関係なく、当該線分の始点と終点のX座標値はそれぞれ4と12ピクセル更新される。
【0065】
制御部220は、更新した線分の始点と終点の座標値をRAM230に再書き込みすると共に(ステップ1011)、該更新した線分の始点と終点の座標値を車幅線重畳部216に送信する(ステップ1012)。
【0066】
車幅線重畳部216は、制御部220から送られた更新された始点と終点の座標値により、車幅線を表わす2つの線分データを改めて生成する(ステップ1013)。これにより、表示装置40に撮像画像と重畳して表示されている2本の車幅線が変化する(ステップ1014)。すなわち、2本の車幅線の角度及び幅が連動して変化する。
【0067】
次に、制御部220は、ユーザから調整モード終了が指示されるか否か判定する(ステップ1015)。調整モード終了は、例えば、操作部60のボタンを再び長押しするなどして指示する。調整モード終了が指示されないと、ステップ1008に戻り、次のボタン押下があると、ステップ1009〜1014の処理を繰り返す。これにより、調整モード終了が指示されない間、操作部60のボタン押下等がある毎に、表示装置40に撮像画像と重畳して表示されている2本の車幅線は、順次、その角度及び幅が連動して調整されていく。
【0068】
その後、ユーザから調整モード終了が指示されると、制御部220は、RAM230にその時点で記憶されている線分の始点と終点の座標値(最後に更新された始点と終点の座標値)を読み出し、インターフェース回路240を介してPROM70に転送して、車幅線調整パラメータ・テーブル内の該当データ中のそれまでの線分の始点と終点の座標値を上書きする(ステップ1016)。これにより、次の起動時では、最後に更新された線分の始点と終点の座標値が、あらためて座標初期値としてPROM70からRAM230に取り込まれることになる。
【0069】
調整モードが終了したことにより、車載カメラ装置は通常モードに移行し、表示装置40上には、角度及び幅が連動して調整された2本の車幅線が撮像画像と重畳してそのまま表示し続ける。
【0070】
以上、本発明の一実施の形態について説明したが、もちろん、本発明は、説明した形態に限定されるものでないことは云うまでもない。
【符号の説明】
【0071】
10 センサユニット
20 画像処理ユニット
30 NTSCエンコーダ
40 表示装置
50 クロック発生器
60 操作部
70 PROM
110 光学系(レンズ)
120 撮像素子
210 画像処理部
216 車幅線重畳部
220 制御部
230 RAM
【先行技術文献】
【特許文献】
【0072】
【特許文献1】特開2005−161973号公報
【技術分野】
【0001】
本発明は、車に設置して使用する車載カメラ装置において、撮像した画像に重畳して表示させる車幅の目安を示す2本の車幅線の調整技術に関する。
【背景技術】
【0002】
従来から駐車時における車両後退動作等を支援するため、車両の後方部等に設置して車両の後方周辺を撮影し、その画像を車内に設置した表示装置に表示する車載カメラ装置が知られている。さらに、撮影された画像に重畳して、車幅の目安となる2本の車幅線を表示することも知られている(例えば、特許文献1)。
【0003】
表示装置上に撮像画像に重畳して表示される車幅線の調整は、一般に操作部のボタン等の押下を繰り返して、表示装置上に表示されている路上の駐車枠等に合うように、2本の車幅線の角度及び幅(間隔)を逐次変更することで行われる。従来の車載カメラ装置では、このような車幅線の角度及び幅の変更操作を別モードで別々に行っており、調整の煩雑さに加えて時間の浪費が問題であった。
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明の課題は、車載カメラ装置において、撮影した画像に重畳して表示される2本の車幅線の調整の煩雑さと時間の浪費の回避を実現することにある。
【課題を解決するための手段】
【0005】
本発明では、撮像素子で撮像した画像に車幅の目安を示す2本の車幅線を重畳し、表示装置にて表示させる車載カメラ装置において、この2本の車幅線の角度および幅を連動して調整するようにする。
【0006】
具体的には、車幅線の始点のX座標と終点のX座標とを異なるステップ量で更新することにより、前記2本の車幅線の角度および幅を連動して調整する。また、操作部上のボタン押下の度に、車幅線の始点のX座標と終点のX座標をそれぞれ異なる所定のステップ量ずつ更新する。さらに、車幅線のX座標の値により、更新するステップ量を変更する。
【0007】
実施形態では、車載カメラ装置の取り付け角度および取り付け高さに応じて、車幅線の始点と終点の座標初期値、更新条件、ステップ量を記憶した記憶部を備え、車幅線調整手段は、記憶部から当該車載カメラ装置の取り付け角度および取り付け高さに応じた車幅線の始点と終点の座標初期値、更新条件、ステップ量を取り込み、更新条件、ステップ量をもとに、車幅線の始点と終点の座標初期値を更新する。また、車幅線調整手段は、記憶部の車幅線の始点と終点の座標初期値を、更新後の値で上書きする。
【発明の効果】
【0008】
本発明によれば、車幅線の角度と幅が連動して調整されることにより、調整の煩雑と時間の浪費を回避することができる。
【図面の簡単な説明】
【0009】
【図1】本発明の車載カメラ装置の一実施形態の全体構成図である。
【図2】図1中のセンサユニットの構成例を示す図である。
【図3】図1中の画像処理ユニットの構成例を示す図である。
【図4】ベイヤー配列カラーフィルタの一例を示す図である。
【図5】図2中のMTF補正部の構成例を示す図である。
【図6】従来及び本発明の車幅線調整操作手順を示す図である。
【図7】従来の車幅線の角度調整を説明する図である。
【図8】従来の車幅線の幅調整を説明する図である。
【図9】本発明の車幅線の角度及び幅を連動して調整する説明図である。
【図10】PROMに保持される車幅線調整パラメータ・テーブルの一例を示す図である。
【図11】本発明の車載カメラ装置の電源投入時の車幅線調整に関係する処理フロー例を示す図である。
【図12】本発明の車載カメラ装置の車幅線調整モード時の処理フロー例を示す図である。
【発明を実施するための形態】
【0010】
以下、本発明の一実施の形態について図面を参照して説明する。なお、本発明の車載カメラ装置は以下の図示の構成に限定されるものではない。
【0011】
図1は、本発明に係る車載カメラ装置の一実施形態の全体構成図を示す。センサユニット10は、車の後方等を撮像してアナログ画像信号を取得し、それをアナログ・デジタル変換してRGBデータとして出力する。画像処理ユニット20は、センサユニット10が出力する撮像画像のRGBデータを入力して所定の画像処理を施すと共に、撮像画像に車幅の目安を示す2本の車幅線を重畳し、YCbCrデータとして出力する。また、画像処理ユニット20は、クロック発生器50から装置各部を動作させる基となるクロック信号の供給を受けて、センサユニット10やNSCエンコーダ30にクロック、その他の制御信号を送出する。クロック発生器50には水晶発振器などが用いられる。
【0012】
画像処理ユニット20で所定の画像処理を施され、2本の車幅線が重畳された撮像画像のYCbCrデータは、NTSCエンコーダ30に送られ、デジタル・アナログ変換処理を施されてNTSC信号に変換され、表示装置40に出力される。表示装置40は、ナビゲーション装置の表示部が兼ねることでもよい。
【0013】
ここで、画像処理ユニット20はFPGA(Field Programable Gate Array)やASIC(Application Specific Integrated Circuit)、DSP(Digital Signal Processor)などで構成される。操作部60は、利用者が画像処理ユニット20に対して種々の処理を指示するユーザインターフェイスであり、ボタンやジョイステックなどで構成される。後述するように、利用者が操作部60を操作することによって、画像処理ユニット20では撮像画像データに重畳する2本の車幅線の角度及び幅を連動して調整する。PROM70は、書き換え可能な不揮発性メモリであり、画像処理ユニット20の処理に必要なプログラム、種々のパラメータ、その他の情報を記憶する。後述するように、該PROM70には、車載カメラ装置の取り付け角度と取り付け高さに対応して、車幅線の始点と終点の座標初期値、更新条件、ステップ量などがあらかじめテーブル化して記憶されている。
【0014】
図1中のセンサユニット10、画像処理ユニット20、NTSCエンコーダ30、クロック発生器50、PROM70等は、一つの筐体内に構成され、車の後部等に設置される。一方、表示装置40は車の前面等に設置され、NTSCエンコーダ30とはケーブルで接続される。操作部60と画像処理装置ユニット20とはケーブルあるいは無線で接続される。なお、ナビゲーション装置のリモコンが操作部60を兼ねてもよい。
【0015】
次に、センサユニット10及び画像処理ユニット20の具体的構成及び動作について説明する。
【0016】
図2はセンサユニット10の構成例を示す。センサユニット10はレンズ光学系110、撮像素子120、オートゲインコントロール回路(AGC)130、オートホワイトバランス回路(AWB)140、アナログ−デジタル変換器(ADC)150などで構成される。
【0017】
光学系110により撮像素子120に光を効率よく集光させる。ここでは、光学系110に広角で倍率色収差及び歪曲収差の大きいレンズを用いるとする。
【0018】
撮像素子120は、CCDやCMOSなどで構成され、光学系110により集光された光学像を、その光強度に応じて強弱を持った電気信号(アナログ信号)に変換する。図2では省略したが、該撮像素子120には、各画素対応にRGBいずれかの波長帯を透過させるカラーフィルタが設置されている。カラーフィルタはどのような配列を持つものでも構わないが、ここではベイヤー配列型のカラーフィルタを用いるとする。
【0019】
撮像素子120で取得された撮像画像のアナログ信号は、オートゲインコントロール回路(AGC)130、オートホワイトバランス回路(AWB)140を経て、アナログ−デジタル変換器(ADC)150によりデジタルデータに変換される。AGC130は、後段のNTSCエンコーダ30の入力に必要なレベルの信号を出力するための回路である。すなわち、被写体が明るい場合はアンプのゲインを下げ、暗い場合には所定のレベルになるようにアンプのゲインを上げる。なお、ゲインを上げると、ノイズも増加するため、信号のS/N比を下げるようにする。AWB140は、白色の被写体を撮像した際にRGBそれぞれの信号強度が全て等しくなるようにRGB対応の各チャンネルのゲインを調整する。ADC150は、アナログ信号のRGBそれぞれの信号をデジタルデータ(RGBデータ)に変換する。デジタルデータは、例えば、RGBそれぞれ8ビットで構成される。
【0020】
図3は画像処理ユニット20の構成例を示す。画像処理ユニット20は、画像処理部210、該画像処理部210やその他、各部の動作を制御する制御部(マイクロプロセッサ)220、作業用メモリとしてのRAM230、RAM230とPROM70のインターフェース回路(I/F)240などからなる。ここで、画像処理部210はベイヤー補完部211、倍率色収差補正部212、色空間変換部213、MTF補正部214、歪曲収差補正部215、車幅線重畳部216、ガンマ補正部217、プログレッブ・インタレース変換部(PI変換部)218などで構成される。このうち、車幅重畳部216が本発明に関係する。また、制御部220が車幅線調整手段として機能する。これについては後述する。
【0021】
なお、画像処理ユニット20は、図1に示したクロック発生器50からクロック信号を入力して、センサユニット10やNTSCエンコーダ30、画像処理部210の各部に必要なクロック、制御信号などを供給する手段も備えているが、図3では省略してある。
【0022】
センサユニット10から出力される撮像画像のRGBデータは、画像処理ユニット20の画像処理部210に入力され、ベイヤー補完部211、倍率色収差補正部212、色空間変換部213、MTF補正部214、歪曲収差補正部215、車幅線重畳部216、ガンマ補正部217、PI変換部218を経由して所定の処理が施される。
【0023】
ベイヤー補完部211は、ベイヤー配列のRGBデータを入力して、各画素で欠損している色データを補完する。補完には、例えば、以下のような線形補完法を用いる。
【0024】
図4にベイヤー配列のカラーフィルタの一例を示す。ここで、G0は次式により求める。
G0=(G2+G4+G6+G8)/4 (1)
また、R2,R4,R6,R8,R0は次式により求める。
R2=(R1+R3)/2 (2)
R4=(R3+R5)/2 (3)
R6=(R5+R7)/2 (4)
R8=(R1+R7)/2 (5)
R0=(R1+R3+R5+R7)/4 (6)
B2,B4,B6,B8,B0は上記R2,R4,R6,R8,R0の場合と同じであるので省略する。
【0025】
ここでは、ベイヤー配列のカラーフィルタについて述べたが、他のカラーフィルタ配列でも同様である。もちろん、補完方法も線形補完に限らない。
【0026】
倍率色収差補正部212は、ベイヤー補完されたRGBデータを入力して、所定の座標変換式を用いてRGBごとに座標変換を施し、倍率色収差補正されたRGBデータを出力する。
【0027】
倍率色収差は、各波長(色)から見た場合のレンズの屈折率が異なることにより、集光点が各波長で異なる現象である。このように、それぞれの波長(色)で集光する位置が異なるため、座標変換を施す必要がある。
【0028】
一般に倍率色収差補正の座標変換式には、画面中央を原点とし、X,Yを変換後の座標、x,yを変換前の座標、a(1)〜a(4)、b(1)〜b(4)を座標変換係数として、例えば、
X=x+[a(1)+a(2)×abs(x)+a(3)×abs(y)+a(4)×y2]×x (7)
Y=y+[b(1)+b(2)×abs(y)+b(3)×abs(x)+b(4)×x2]×y (8)
の多項式が用いられる。ここで、abs( )は絶対値である。
【0029】
しかし、座標変換演算に用いられる乗算器の個数や回路規模に制限がある場合は、式(7),(8)を簡単化し、例えば、
X=x+[a(1)]×x (9)
Y=y+[b(1)]×y (10)
のような座標変換式を用いることでもよい。
【0030】
色空間変換部213は、後段のMTF補正部214で輝度信号(Y)のみに高域強調フィルタを掛けることや、さらにNTSCエンコーダ30に対してYCC形式で入力させるために、RGBデータをYCbCrデータに変換する。RGB/YCC変換式には、例えば、次式が用いられる。
Y=0.299R+0.587G+0.114B (11)
Cb=−0.169R−0.332G+0.500B (12)
Cr=0.500R−0.419G−0.081B (13)
【0031】
MTF補正部214は、YCbCrデータを入力し、輝度信号Yに対して高域強調フィルタ(HPF)を掛ける。色信号CbCrはそのままとする。MTF補正を行うことで画像の解像度を向上させることができる。
【0032】
図5の(a)は、HPFとしては3×3や5×5などのエッジ強調FIRフィルタを用いてMTF補正を行う場合を示したものである。
【0033】
一方、エッジ強調FIRフィルタを用いた場合、ノイズが増加して画像のS/N比が低下することが考えられる。その場合には、図5の(b)に示すように、輝度信号Yを低域フィルタ(LPF)を通過させると共に、エッジ抽出フィルタ、コアリング、ゲイン回路を通過させて、両者を加算することで、MTF補正を保持したままノイズを低下させて、画像のS/N比を向上させることができる。さらに、回路規模を削減するため、図5の(c)に示すように、LPFを通さずに処理することでもよい。
【0034】
歪曲収差補正部215は、MTF補正されたYCbCrデータを入力し、所定の座標変換式を用いて歪曲収差を行う。歪曲収差補正の座標変換式には、先の倍率色収差と同様な式(7),(8)を用いることができる。
【0035】
また、座標変換演算に用いられ乗算器の個数や回路規模に制限がある場合は、
Y=y (14)
X=x+[a(1)+a(4)×y2]×x (15)
のような簡単な座標変換式を用いることでもよい。
【0036】
車幅線重畳部216は、所定の処理が施された撮像画像のYCbCrデータを入力し、これに車幅の目安を示す2本の車幅線を表わす線分を重畳して出力する。後述するように、制御部220により、この2本の車幅線を表わす線分の角度及び幅(間隔)が連動して調整される。
【0037】
ガンマ補正部217は、2本の車幅線を表わす線分が重畳された撮像画像のYCbCrデータについてガンマ補正を施す。ガンマ補正は、画像などの色のデータと、それが実際に出力される際の信号の相対関係を調節して、より自然に近い表示を得るための補正操作のことをいう。γ(ガンマ)値は、画像の明るさの変化に対する電圧換算値の変化の比で、これが1に近づくのが理想であるが、素子の特性により機器によってそれぞれ異なった値となる。このため、元データに忠実な表示を再現する場合、これらの誤差を修正する必要がある。ガンマ補正部217では、ガンマ補正ルックアップ等を用いてガンマ補正を実施する。
【0038】
PI変換部218は、ガンマ補正されたYCbCrデータを入力して、プログレッシブ走査(順次走査)からインターレース走査(飛び越し走査)に変換する。これは、できるだけ少ない情報量で、解像度を高く、動きを滑らかにするためである。NTSC方式の場合、1/30秒毎の一つのフレームを二つに分け、最初の1/60秒間は奇数番目の走査線だけを、後の1/60秒間は偶数番目の走査線だけを映す。それぞれを奇数フィールド、偶数フィールドと呼ぶ。この間に画像が動いていれば、二つのフィールドを静止画として重ねるとずれることになるが、映像として見ると動きが滑らかである。1/60秒毎に全ての走査線を送るプログレッシブ走査では静止画も映像も滑らかであるが、インターレースと比較するとメモリを2倍必要とする。PI変換部218の後段のDAC(NTSCエンコーダ)30に入力させる信号は、例えば、BT656規格にしたがい輝度信号(Y)の符号なし8ビットデータ0〜255を16〜235に、色差信号(Cb,Cr)の符号付き8ビットデータ127〜127を16〜240に変換した信号である。
【0039】
NTSCエンコーダ30は、画像処理部210から出力された撮像画像と車幅の目安を示す2本の車幅線を表わす線分とが重畳されたデータであるYCbCrデータを入力して、それをNSTC方式の映像信号に変換し、表示装置40に出力する。このようにして、表示装置40上には、撮像素子で撮像された画像に、車幅の目安を示す2本の車幅線が重畳して表示される。本発明によれば、制御部220の制御下で、この車幅線の角度及び幅が連動して同じモードで調整される。
【0040】
以下に、本発明に係る車幅線調整方法について詳述するが、その前に従来の車幅線調整方法について説明する。
【0041】
表示装置40上に撮像装置に重畳して表示される2本の車幅線の調整は、ユーザが操作部60のボタン等の押下を繰り返して、例えば、該表示装置40上に表示されている路上の駐車枠等に合うように、その角度及び幅(間隔)を逐次変更することで行われる。
【0042】
図6(a)に、従来の車幅線調整の操作手順を示す。ここで、各調整モードは、それぞれボタン等の1回の押下に対応している。図6(a)に示すように、従来は車幅線の角度調整および幅調整を別モードで行い、ボタン等の1回の押下では、角度調整あるいは幅調整のいずれか一方を行うというものであった。角度調整は、図7に示すように、例えば、車幅線を表わす2つの線分の始点と終点のうちのどちらか一方のX座標を更新して行う。図7は、一例として始点のX座標を更新する場合を示している。一方、幅調整は、図8に示すように、例えば2つの線分の始点と終点のX座標を同じピクセルずつ更新して行う。図8は、2つの線分の始点と終点のX座標をピクセルaずつ更新することで、水平方向に2つの線分を平行移動して、幅(間隔)を調整することを示している。
【0043】
このように、従来の車幅線の角度調整と幅調整を別モードで別々に行う方式では、所望の角度と幅に到達するまでボタン等の押下を何度も繰り返して、試行錯誤で角度調整と幅調整を行うこととなり、調整の煩雑さに加えて時間の浪費は免れなかった。
【0044】
図6(b)に、本発明の場合の車幅線調整の操作手順を示す。先の図6(a)と同様に、各調整モードは、それぞれボタン等の1回の押下に対応している。図6(b)に示すように、本発明では、ボタン等の1回の押下で、車幅線の角度調整と幅調整を連動させて同じモードで行う。
【0045】
図9は、本発明にかかる車幅線調整方法を説明する図である。なお、ここでは、一例として、表示装置に表示されている路上の駐車枠に合うように、該表示装置上の車幅線を表わす2つの線分の表示角度と表示位置を調整する場合を示したものである。図9に示すように、本発明では、例えば車幅線を表わす2つの線分の始点のX座標はピクセルaずつ更新し、同時に終点のX座標はピクセルb(a≠b)ずつ更新する。更新は、操作部60のボタン等を1回押すごとに行われる。
【0046】
本発明の車幅線調整方法によれば、表示装置に表示される車幅線を表わす2つの線分の角度と幅(間隔)を連動させて同じモードで調整することが可能になり、従来の方法に比べて少ない操作回数で、所望の角度と幅の車幅線に到達できるようになる。
【0047】
ここで、表示装置40に表示される駐車枠の表示角度や表示位置は、例えば、路上に書かれている駐車枠の手前の線を車体の後端部に一致させた場合、車載カメラの取り付け角度(地面に水平な方向から見たときの角度)と取り付け高さ(地面からの高さ)を決めてしまえば、ある程度一意に決まる。そのため、操作部60のボタンを1回押下したときに、車幅線を表わす線分の始点と終点それぞれのX座標をそれぞれ何ピクセルずつ移動させればよいかを表わすステップ量(a,b)は、あらかじめ決めておくことができる。
【0048】
実施形態では、車載カメラの取り付け角度と取り付け高さ毎に、線分の始点と終点の座標と共に、ボタンを1回押下した時に、線分の始点と終点のX座標をそれぞれ移動させるステップ量(a,b)のパラメータ値をテーブル化してあらかじめPROM70に記憶しておく。これを車幅線調整パラメータ・テーブルと称す。また、ステップ量(a,b)はX座標の値に応じて変えてもよい。この場合、テーブル化する内容には、更新条件として該X座標の条件を追加する。
【0049】
図10に車幅線調整パラメータ・テーブルの具体例を示す。これは、例えば車載カメラの取り付け角度や取り付け高さを変えて、駐車枠を撮像した画像を参照してテストを繰り返すことで得られる。図10において、例1〜3は、車載カメラの取り付け高さが50cmで、取り付け角度をそれぞれ30度、45度、60度した場合を示し、例4〜6は、車載カメラの取り付け高さが100cmで、取り付け角度を同様に30度、45度、60度とした場合を示している。
【0050】
なお、図10では、表示装置に表示される車幅線を表わす2つの線分中の画面左側の線分に対するデータのみしか示していないが、画面右側の線分は、画面左側の線分を画面中央を中心に対称とすることで得ることができる。
【0051】
ここで、図10の例1は、車載カメラの取り付け角度、取り付け高さをそれぞれ30度、50cmに設置した場合、画面左側の車幅線の始点と終点の座標初期値はそれぞれ(200,196),(12,284)であり、該画面左側の車幅線の始点X座標がX>240のときは、該車幅線の始点と終点のX座標をそれぞれ移動させるステップ量(a,b)は(4,8)とし、また、該画面左側の車幅線の始点のX座標がX≦240のときは、ステップ量(a,b)は(4,12)とすることを表わしている。例2と例3についても同様である。
【0052】
図10の例4は、車載カメラの取り付け角度、取り付け高さをそれぞれ30度、100cmに設置した場合、画面左側の車幅線の始点と終点の座標初期値はそれぞれ(208,216),(80,316)であり、該車幅線の始点と終点のX座標をそれぞれ移動させるステップ量(a,b)は、該車幅線の始点のX座標に関係なく(4,8)とすることを表わしている。例5と例6についても同様である。
【0053】
PROM70には、図10の車幅線調整パラメータ・テーブルの他に、当該車載カメラ装置の取り付け角度及び取り付け高さの情報を予め記憶しておくようにする。また、PROM70には、制御部220が車幅線調整手段として機能するプログラムも記憶されている。
【0054】
装置の起動時等、制御部220は、PROM70に記憶された当該車載カメラ装置の取り付け角度及び取り付け高さの情報をもとに、同じくPROM70に記憶された車幅線調整パラメータ・テーブル中の対応するデータ(線分の始点と終点の座標初期値、X座標の条件、X座標の始点と終点のステップ量a,b)をRAM230に取り込む。そして、線分の始点と終点の座標初期値を車幅線重畳部216に送る。
【0055】
車幅線重畳部216は、制御部220から送られた線分の始点と終点の座標初期値をもとに、車幅線を表わす2つの線分データを生成して撮像画像データに重畳し、そのYCbCrデータをNTSCエンコーダ30に送出する。これにより、表示装置40に出力される撮像画像上には、車幅の目安を示す2本の車幅線が重畳して表示される。
【0056】
一方、制御部220は、調整モードが指示されると、操作部60のボタンの押下等に応じて、X座標の条件、X座標の始点と終点のステップ量(a,b)を基に車幅線重畳部216へ送信する線分の始点と終点の座標値(X座標値)を更新する。車幅線重畳部216は、この更新された線分の始点と終点の座標値をもとに、あらためて線分データを生成する。これにより、表示装置40に表示されている2本の車幅線の角度と幅が同時に変化する。
【0057】
制御部220は、操作部60のボタン等が1回押下される毎に、その直前の線分の始点と終点のX座標値をそれぞれ値a,bずつ更新していく。増加するか減少するは、例えば、「+」ボタン、「−」ボタンなどで区別すればよい。車幅線重畳部216は、座標値の更新の度に、線分データを生成し直す。したがって、操作部60のボタン等が1回押下される毎に、表示装置40に表示されている2本の車幅線の始点X座標はピクセルaずつ移動し、終点X座標はピクセルbずつ移動し、結局、車幅線の角度及び幅が連動して調整される。すなわち、図9に示した車幅線調整動作が達成される。
【0058】
制御部220では、調整モードの終了が指示されると、PROM70の車幅線調整パラメータ・テーブルの対応するデータの線分の始点と終点の座標値を、更新後の線分の始点と終点の座標値で上書きすることでもよい。この場合、装置が次の起動時等においては、直前に更新された線分の始点と終点の座標値にもとづく車幅線が、まず、表示装置40上に表示される。ユーザは、これを見て調整が必要としたなら、調整モードに移行することになるが、線分の始点と終点の座標初期値から始めるよりは、一般にボタンの押下は少ない回数ですむ。なお、当初の(工場出荷時等)の座標初期値は、バックアップ用にPROM70の別領域等に保存しておけばよい。
【0059】
図11及び図12は、本発明の車載カメラ装置における車幅線調整動作に関係する処理フロー例を示したものである。以下、これに基づいて車幅線調整手段としての制御部220及び車幅線重畳部216の動作を詳述する。
【0060】
装置の電源がオンすると、センサユニット10、画像処理ユニット20、NTSCエンコーダ30、表示装置40等が起動する(ステップ1001)。これにより、制御部220も起動し(ステップ1002)、画像処理ユニット20の各部で必要なパラメータ等をPROM70からインターフェース回路240を介してRAM230に取り込むが、この一環として、PROM70に予め記憶されている車幅線調整パラメータ・テーブル(図10)から車載線調整に必要なデータ(線分の始点と終点の座標初期値、X座標の条件、X座標の始点と終点ステップ量a,b等)をRAM230に取り込む(ステップ1003)。ここで、線分の始点と終点の座標初期値は、当該車載カメラ装置を初めて使用する場合は、工場出荷時等の値であるが、それ以外の場合は、最後の車幅線調整時に上書きされた値となる。先に述べたように、PROM70には、当該車載カメラ装置の取り付け角度及び取り付け高さの情報も予め記憶されており、制御部220は、この情報をもとに、PROM70に記憶されている車幅線調整パラメータ・テーブルから対応するデータをRAM230に取り込む。なお、当該車載カメラ装置を初めて使用する場合には、制御部220では、必要なデータをPROM70からRAM230に取り込む際に、線分の始点と終点の座標初期値(工場出荷時等の値)をPROM70の別領域にバックアップ用に保存しておくようにする。次に、制御部60は、RAM230に取り込んだ線分の始点と終点の座標初期値を車幅線重畳部216に送信する(ステップ1004)。
【0061】
車幅線重畳部216は、制御部220から送られた線分の始点と終点の座標初期値をもとに、車幅線を表わす2つの線分データを生成する(ステップ1005)。具体的には、車幅線重畳部216は、制御部220から送られた線分の始点と終点の座標初期値をもとに、例えば、画面左側の車幅線を表わす線分データを生成し、該線分データから画面中央を中心に対称な位置関係の画面右側の車幅線を表わす線分データを生成する。これは、後述の線分データを更新する場合も同様である。車幅線重畳部216は、生成した2つの線分データを前段から送られてくる撮像画像データに重畳して、後段に送出する(同ステップ1005)。これにより、表示装置40には、撮像画像と車幅の目安を示す2本の車幅線が表示される(ステップ1006)。
【0062】
一方、制御部220は、ユーザから調整モードが指示されるか否か判定する(ステップ1007)。調整モードは、例えば、操作部60のボタンを長押しするなどして指示する。ここで、調整モードが指示されない状態を通常モードと称すことにする。通常モードでは、表示装置40上の、撮像画像と車幅の目安を示す2本の車幅線の表示がそのまま維持される。
【0063】
ユーザから調整モードが指示されると、制御部220は、操作部60のボタンの押下等を待つ(ステップ1008)。この場合のボタン押下は、例えば短押しとする。また、操作部60に「+」ボタン、「−」ボタンを用意し、車幅線を画面中心から離れる方向に移動させる場合は「+」ボタンを押下し、画面中心に近づける方向に移動させる場合は「−」ボタンを押下する。これらは一例にすぎず、操作部60のボタンの押下等により、所定の指示が区別できれば、そのやり方はどのような方法でもよい。
【0064】
制御部220は、調整モードが指示された後、操作部60のボタンの押下等があると、RAM230からその時点の線分の始点と終点の座標値を取得し(ステップ1009)、X座標の条件、X座標の始点と終点のステップ量(a,b)をもとに、当該線分の始点と終点の座標値を更新する(ステップ1010)。例えば、図10の例1〜3の場合、その時点の線分の始点のX座標がX>240であれば、当該線分の始点と終点のX座標値はそれぞれ4と8ピクセル更新され、X≦240であれば、当該線分の始点と終点のX座標値はそれぞれ4と12ピクセル更新される。Y座標はそのままである。先に述べたように、更新が「+」か「−」かは、例えば「+」ボタン、「−」ボタンで区別する。また、図10の例4〜6の場合では、その時点の線分の始点のX座標値に関係なく、当該線分の始点と終点のX座標値はそれぞれ4と12ピクセル更新される。
【0065】
制御部220は、更新した線分の始点と終点の座標値をRAM230に再書き込みすると共に(ステップ1011)、該更新した線分の始点と終点の座標値を車幅線重畳部216に送信する(ステップ1012)。
【0066】
車幅線重畳部216は、制御部220から送られた更新された始点と終点の座標値により、車幅線を表わす2つの線分データを改めて生成する(ステップ1013)。これにより、表示装置40に撮像画像と重畳して表示されている2本の車幅線が変化する(ステップ1014)。すなわち、2本の車幅線の角度及び幅が連動して変化する。
【0067】
次に、制御部220は、ユーザから調整モード終了が指示されるか否か判定する(ステップ1015)。調整モード終了は、例えば、操作部60のボタンを再び長押しするなどして指示する。調整モード終了が指示されないと、ステップ1008に戻り、次のボタン押下があると、ステップ1009〜1014の処理を繰り返す。これにより、調整モード終了が指示されない間、操作部60のボタン押下等がある毎に、表示装置40に撮像画像と重畳して表示されている2本の車幅線は、順次、その角度及び幅が連動して調整されていく。
【0068】
その後、ユーザから調整モード終了が指示されると、制御部220は、RAM230にその時点で記憶されている線分の始点と終点の座標値(最後に更新された始点と終点の座標値)を読み出し、インターフェース回路240を介してPROM70に転送して、車幅線調整パラメータ・テーブル内の該当データ中のそれまでの線分の始点と終点の座標値を上書きする(ステップ1016)。これにより、次の起動時では、最後に更新された線分の始点と終点の座標値が、あらためて座標初期値としてPROM70からRAM230に取り込まれることになる。
【0069】
調整モードが終了したことにより、車載カメラ装置は通常モードに移行し、表示装置40上には、角度及び幅が連動して調整された2本の車幅線が撮像画像と重畳してそのまま表示し続ける。
【0070】
以上、本発明の一実施の形態について説明したが、もちろん、本発明は、説明した形態に限定されるものでないことは云うまでもない。
【符号の説明】
【0071】
10 センサユニット
20 画像処理ユニット
30 NTSCエンコーダ
40 表示装置
50 クロック発生器
60 操作部
70 PROM
110 光学系(レンズ)
120 撮像素子
210 画像処理部
216 車幅線重畳部
220 制御部
230 RAM
【先行技術文献】
【特許文献】
【0072】
【特許文献1】特開2005−161973号公報
【特許請求の範囲】
【請求項1】
撮像素子で撮像した画像に車幅の目安を示す2本の車幅線を重畳し、表示装置にて表示させる車載カメラ装置における車幅線調整方法であって、前記2本の車幅線の角度および幅を連動して調整することを特徴とする車幅線調整方法。
【請求項2】
車幅線の始点のX座標と終点のX座標とを異なるステップ量で更新することにより、前記2本の車幅線の角度および幅を連動して調整することを特徴とする請求項1記載の車幅線調整方法。
【請求項3】
操作部上のボタン押下の度に、前記車幅線の始点のX座標と終点のX座標をそれぞれ異なる所定のステップ量ずつ更新することを特徴とする請求項2記載の車幅線調整方法。
【請求項4】
車幅線のX座標の値により、前記更新するステップ量を変更することを特徴とする請求項2又は3に記載の車幅線調整方法。
【請求項5】
撮像素子で撮像した画像に車幅の目安を示す2本の車幅線を重畳し、表示装置にて表示させる車載カメラ装置であって、前記2本の車幅線の角度および幅を連動して調整する車幅線調整手段を有することを特徴とする車載カメラ装置。
【請求項6】
前記車幅線調整手段は、車幅線の始点のX座標と終点のX座標とを異なるステップ量で更新することにより、前記2本の車幅線の角度および幅を連動して調整することを特徴とする請求項5記載の車載カメラ装置。
【請求項7】
前記車幅線調整手段は、操作部上のボタン押下の度に、前記車幅線の始点のX座標と終点のX座標をそれぞれ異なる所定のステップ量ずつ更新することを特徴とする請求項6記載の車載カメラ装置。
【請求項8】
前記車幅線調整手段は、車幅線のX座標の値により、前記更新するステップ量を変更することを特徴とする請求項6又は7に記載の車載カメラ装置。
【請求項9】
車載カメラ装置の取り付け角度および取り付け高さに応じて、車幅線の始点と終点の座標初期値、更新条件、ステップ量を記憶した記憶部を備え、
前記車幅線調整手段は、前記記憶部から当該車載カメラ装置の取り付け角度および取り付け高さに応じた車幅線の始点と終点の座標初期値、更新条件、ステップ量を取り込み、更新条件、ステップ量をもとに、車幅線の始点と終点の座標初期値を更新することを特徴とする請求項6乃至8のいずれか1項に記載の車載カメラ装置。
【請求項10】
前記車幅線調整手段は、前記記憶部の車幅線の始点と終点の座標初期値を、更新後の値で上書きすることを特徴とする請求項9記載の車載カメラ装置。
【請求項11】
コンピュータを請求項5乃至10いずれか1項に記載の車載カメラ装置の車幅線調整手段として機能させるためのプログラム。
【請求項1】
撮像素子で撮像した画像に車幅の目安を示す2本の車幅線を重畳し、表示装置にて表示させる車載カメラ装置における車幅線調整方法であって、前記2本の車幅線の角度および幅を連動して調整することを特徴とする車幅線調整方法。
【請求項2】
車幅線の始点のX座標と終点のX座標とを異なるステップ量で更新することにより、前記2本の車幅線の角度および幅を連動して調整することを特徴とする請求項1記載の車幅線調整方法。
【請求項3】
操作部上のボタン押下の度に、前記車幅線の始点のX座標と終点のX座標をそれぞれ異なる所定のステップ量ずつ更新することを特徴とする請求項2記載の車幅線調整方法。
【請求項4】
車幅線のX座標の値により、前記更新するステップ量を変更することを特徴とする請求項2又は3に記載の車幅線調整方法。
【請求項5】
撮像素子で撮像した画像に車幅の目安を示す2本の車幅線を重畳し、表示装置にて表示させる車載カメラ装置であって、前記2本の車幅線の角度および幅を連動して調整する車幅線調整手段を有することを特徴とする車載カメラ装置。
【請求項6】
前記車幅線調整手段は、車幅線の始点のX座標と終点のX座標とを異なるステップ量で更新することにより、前記2本の車幅線の角度および幅を連動して調整することを特徴とする請求項5記載の車載カメラ装置。
【請求項7】
前記車幅線調整手段は、操作部上のボタン押下の度に、前記車幅線の始点のX座標と終点のX座標をそれぞれ異なる所定のステップ量ずつ更新することを特徴とする請求項6記載の車載カメラ装置。
【請求項8】
前記車幅線調整手段は、車幅線のX座標の値により、前記更新するステップ量を変更することを特徴とする請求項6又は7に記載の車載カメラ装置。
【請求項9】
車載カメラ装置の取り付け角度および取り付け高さに応じて、車幅線の始点と終点の座標初期値、更新条件、ステップ量を記憶した記憶部を備え、
前記車幅線調整手段は、前記記憶部から当該車載カメラ装置の取り付け角度および取り付け高さに応じた車幅線の始点と終点の座標初期値、更新条件、ステップ量を取り込み、更新条件、ステップ量をもとに、車幅線の始点と終点の座標初期値を更新することを特徴とする請求項6乃至8のいずれか1項に記載の車載カメラ装置。
【請求項10】
前記車幅線調整手段は、前記記憶部の車幅線の始点と終点の座標初期値を、更新後の値で上書きすることを特徴とする請求項9記載の車載カメラ装置。
【請求項11】
コンピュータを請求項5乃至10いずれか1項に記載の車載カメラ装置の車幅線調整手段として機能させるためのプログラム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【公開番号】特開2010−183352(P2010−183352A)
【公開日】平成22年8月19日(2010.8.19)
【国際特許分類】
【出願番号】特願2009−25016(P2009−25016)
【出願日】平成21年2月5日(2009.2.5)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
【公開日】平成22年8月19日(2010.8.19)
【国際特許分類】
【出願日】平成21年2月5日(2009.2.5)
【出願人】(000006747)株式会社リコー (37,907)
【Fターム(参考)】
[ Back to top ]