設置状態判断装置及び方法
【課題】 撮影手段の設置状態を判断することが可能な設置状態判断装置及び方法を提供する。
【解決手段】 設置状態判断装置１は、車載カメラ１０が車両外部を撮影し、オプティカルフロー算出部２０が撮影映像からオプティカルフローを求める。記憶部３０には車載カメラ１０が正規の設置状態であるときのオプティカルフローが記憶されており、設置状態判断部４０は、オプティカルフロー算出部２０により算出されたオプティカルフローと、記憶部３０に記憶されたオプティカルフローとを比較することで、車載カメラ１０の設置状態を判断する。
【解決手段】 設置状態判断装置１は、車載カメラ１０が車両外部を撮影し、オプティカルフロー算出部２０が撮影映像からオプティカルフローを求める。記憶部３０には車載カメラ１０が正規の設置状態であるときのオプティカルフローが記憶されており、設置状態判断部４０は、オプティカルフロー算出部２０により算出されたオプティカルフローと、記憶部３０に記憶されたオプティカルフローとを比較することで、車載カメラ１０の設置状態を判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、設置状態判断装置及び方法に関する。
【背景技術】
【０００２】
従来、複数台のカメラを車両に搭載し、これらカメラによって車外を撮影して、車内の表示器に表示させる車両周辺監視装置が知られている（特許文献１参照）。また、撮影方向を変更可能なカメラを車両に搭載し、このカメラによって車外を好適な角度で撮影する路面映像取得装置が知られている（特許文献２参照）。
【特許文献１】特開２００３−８１０１４号公報
【特許文献２】特開平９−１２６７４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来装置では、車両に衝撃が加わった場合やカメラ自体が何らかの物に接触した場合などにカメラの位置がずれてしまう可能性がある。しかし、従来装置では、カメラの設置状態にずれが発生しても、このずれを何ら検出することができず、好適な撮影を行うことができなくなる可能性がある。
【課題を解決するための手段】
【０００４】
本発明の設置状態判断装置は、撮影手段と、オプティカルフロー算出手段と、記憶手段と、設置状態判断手段とを備えている。撮影手段は車両に設置されて車両外側を撮影するものであり、オプティカルフロー算出手段は撮影手段により撮影された映像からオプティカルフローを求めるものである。記憶手段は、正規の設置状態であるときの撮影手段の撮影映像から求められるオプティカルフローを記憶するものである。設置状態判断手段は、オプティカルフロー算出手段により求められたオプティカルフローと記憶手段により記憶されたオプティカルフローとを比較して撮影手段の設置状態を判断するものである。
【発明の効果】
【０００５】
本発明によれば、撮影した映像から求められるオプティカルフローと、予め記憶した正規の設置状態であるときのオプティカルフローとを比較し、撮影手段の設置状態を判断している。ここで、撮影手段の設置状態にずれが発生すると、得られる映像は正規の設置状態であるときと異なってくる。このため、得られるオプティカルフローについても、正規の設置状態であるときと異なってくる。従って、撮影した映像から求められるオプティカルフローと、予め記憶した正規の設置状態であるときのオプティカルフローとを比較することで、撮影手段の設置状態を判断することができる。
【発明を実施するための最良の形態】
【０００６】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【０００７】
図１は、本発明の実施形態に係る設置状態判断装置の構成図である。同図に示すように、設置状態判断装置１は、車両に衝撃が加わった場合などにカメラ（後述の車載カメラ）の位置がずれてしまっても、カメラのずれを検出するものである。この設置状態判断装置１は、車載カメラ（撮影手段）１０と、オプティカルフロー算出部（オプティカルフロー算出手段）２０と、記憶部（記憶手段）３０とを備えている。また、設置状態判断装置１は、設置状態判断部（設置状態判断手段）４０と、設置状態調整部（設置状態調整手段）５０とを備えている。
【０００８】
車載カメラ１０は、車両に設置されて車両外側を撮影するものであり、本実施形態にあっては、図２に示すように、設置状態調整部５０によって撮影方向が変更可能とされ、複数方向を撮影できるようになっている。
【０００９】
図２は、図１に示した車載カメラ１０及び設置状態調整部５０の詳細構成図である。図２に示すように、車載カメラ１０は設置状態調整部５０上に設置されており、設置状態調整部５０は、電動モータ５１と、プーリ５２と、エンコーダ５３と、基台５４とからなっている。車載カメラ１０は、電動モータ５１が駆動することによりプーリ５２を介して回転させられるようになっている。車載カメラ１０の回転角度は、エンコーダ５３により検出される。基台５４は、車体などに取り付けられるものであり、電動モータ５１、プーリ５２及びエンコーダ５３を収納している。
【００１０】
再度、図１を参照する。上記のように車載カメラ１０は複数の方向を撮影可能になっており、車両右前方部と車両左後方部とにそれぞれ１つずつ設置されている。図３は、図１に示した車載カメラ１０による撮影方向を示す上面図である。図３に示すように、右前方部に設置される車載カメラ（以下右車載カメラという）１０ａは、その設置個所から前方、右前方、左前方及び後側方（車体の右側を含む後方）の４方向を撮影可能となっている。また、左後方部に設置される車載カメラ（以下左車載カメラという）１０ｂは、その設置個所から後方、右後方、左後方及び前側方（車体の左側を含む前方）の４方向を撮影可能となっている。
【００１１】
再度図１を参照する。オプティカルフロー算出部２０は、車両が前進や後退などしている場合に、車載カメラ１０により撮影された映像からオプティカルフローを求めるものである。このオプティカルフロー算出部２０は、時系列に連続する少なくとも２枚の画像の各画素の濃度や輝度値などに基づいて、オプティカルフローを求める構成となっている。
【００１２】
記憶部３０は、正規の設置状態あるときの車載カメラ１０の撮影映像から求められるオプティカルフローを記憶するものである。従って、車載カメラ１０が正規の設置状態ある場合、オプティカルフロー算出部２０により求められるオプティカルフローと記憶部３０に記憶されるオプティカルフローとは一致することとなる。また、記憶部３０は、車両乗員の視点から車載カメラ１０の撮影領域を視認した場合のオプティカルフローを記憶している。すなわち、記憶部３０は、車載カメラ１０を車両乗員の視点箇所に設置した場合の撮影映像から求められるオプティカルフローと同一のオプティカルフローを記憶していることとなる。
【００１３】
設置状態判断部４０は、オプティカルフロー算出部２０により求められたオプティカルフローと記憶部３０により記憶されたオプティカルフローとを比較して車載カメラ１０の設置状態を判断するものである。ここで、記憶部３０には正規の設置状態でのオプティカルフローが記憶されている。このため、設置状態判断部４０は、両者のオプティカルフローを比較して異なるときには、車載カメラ１０が正規の設置状態でなく、車載カメラ１０にずれが発生していると判断する。また、設置状態判断部４０は、車載カメラ１０にずれが発生していると判断した場合、オプティカルフローのずれの量から車載カメラ１０のずれ角度を求める構成となっている。
【００１４】
また、上記した設置状態調整部５０は、設置状態判断部４０により判断された設置状態に基づいて車載カメラ１０を正規の設置状態に調整するものとしても機能する。すなわち、設置状態調整部５０は、設置状態判断部４０により車載カメラ１０にずれが発生していると判断し、ずれ角度が求められた場合、ずれ角度分だけ車載カメラ１０の光軸を調整することで、車載カメラ１０を正規の設置状態に調整する。これにより、例えば車両前方を撮影しようとして前方からずれた箇所を撮影してしまうことが防止される。
【００１５】
なお、図２において設置状態調整部５０は、車載カメラ１０の光軸を水平方向のみに移動可能となっているが、この構成に限らず、光軸を水平方向及び上下方向に移動させる構成となっていてもよい。
【００１６】
さらに、上記設置状態判断装置１は、表示部６０と、表示制御部７０とを備えている。表示部６０は車載カメラ１０により撮影された映像を表示するものであり、表示制御部７０は表示部６０に表示させる表示映像を生成するものである。ここで、表示制御部７０が表示部６０に表示させる画像の例を説明する。
【００１７】
図４は、図１に示した表示部６０の表示画像例を示す模式図である。図４に示すように、表示制御部７０は、自車両を模式的に表した自車両画像Ａと、車載カメラ１０により撮影された映像Ｂ〜Ｉとを同時に表示部６０に表示させる。このとき、表示制御部７０は、右車載カメラ１０ａの撮影映像のうち、前方の映像Ｂについては自車両画像Ａの前方に表示させ、右前方の映像Ｃについては自車両画像Ａの右前方に表示させる。また、左前方の映像Ｄについては自車両画像Ａの左前方に表示させ、及び後側方の映像Ｅについては自車両画像Ａの右側に表示させる。さらに、表示制御部７０は、左車載カメラ１０ｂの撮影映像のうち、後方の映像Ｆについては自車両画像Ａの後方に表示させ、左後方の映像Ｇについては自車両画像Ａの左後方に表示させる。また、右後方の映像Ｈについては自車両画像Ａの右後方に表示させ、及び前側方の映像Ｉについては自車両画像Ａの左側に表示させる。
【００１８】
さらに、表示制御部７０は、前方映像Ｂ、右前方映像Ｃ、左前方映像Ｄ、後方映像Ｆ、左後方映像Ｇ及び右後方映像Ｈの地面側（図中斜線部側）が自車両画像Ａに近くなるように、これら映像Ｂ〜Ｄ，Ｆ〜Ｈを表示させる。また、表示制御部７０は、後側方映像Ｅの地面側（図中斜線部側）が画像上側に向くように後側方映像Ｅを表示させ、前側方映像Ｉの地面側（斜線部側）が画像下側に向くように前側方映像Ｉを表示させる。なお、図４の各映像Ｂ〜Ｉ中の矢印は、車両が後退するときに得られるオプティカルフローを示している。
【００１９】
次に、本実施形態に係る設置状態判断装置１の動作（設置状態判断方法及び映像表示方法）の概略を説明する。まず、車両のイグニッションスイッチがオンされて、本装置１の電源がオンされると、例えば右車載カメラ１０ａは、車両外部の或る一方向について撮像する。次に、右車載カメラ１０ａは、撮像画像のデータをオプティカルフロー算出部２０に送信する。オプティカルフロー算出部２０は、前回の撮像画像データを記憶しており、今回の撮像により得られた撮像画像データと、前回の撮像画像データとからオプティカルフローを求める。次いで、オプティカルフロー算出部２０は、求めたオプティカルフローのデータを設置状態判断部４０に送信する。
【００２０】
設置状態判断部４０は、オプティカルフロー算出部２０からオプティカルフローのデータを入力すると、記憶部３０からオプティカルフローのデータを読み込む。次に、設置状態判断部４０は、これらのオプティカルフローを比較する。オプティカルフローが一致する場合、設置状態判断部４０は、右車載カメラ１０ａが正規の設置状態であると判断する。一方、オプティカルフローが相違する場合、設置状態判断部４０は、右車載カメラ１０ａにずれが発生していると判断する。そして、設置状態判断部４０は、オプティカルフローのずれの量から右車載カメラ１０ａのずれ角度を求め、ずれ角度のデータを設置状態調整部５０に送信する。
【００２１】
設置状態調整部５０は、ずれ角度のデータに基づいて右車載カメラ１０ａの光軸を調整する。これにより、車載カメラ１０は以後の撮影によってずれた位置を撮影することなく、適切な撮影が行われる。
【００２２】
次いで、設置状態判断装置１は、上記と異なる方向を撮影して設置状態を判断し、正規の設置状態でない場合には光軸を調整する。また、設置状態判断装置１は左車載カメラ１０ｂについても同じ処理を実行し、設置状態を判断することとなる。なお、設置状態判断装置１は、ある撮影方向についての右車載カメラ１０ａのずれ角度を元に、他の方向についての右車載カメラ１０ａのずれ角度を求め、調整するようにしてもよい。これにより、各方向毎に設置状態を判断する必要がなく処理を簡素化することができ、且つ、記憶部３０に記憶させるオプティカルフローを少なくすることができる。
【００２３】
また、設置状態が判断された後、表示制御部７０は、車載カメラ１０により撮影された映像を表示部６０に表示させる。このとき、表示制御部７０は、車載カメラ１０により撮影された映像を座標変換して、車載カメラ１０によって撮影された映像のオプティカルフローを、車両乗員の視点から車載カメラ１０の撮影領域を視認した場合のオプティカルフローに合致させる。これにより、車両乗員にとっては、表示部６０に表示される映像を見ても車外を直接視認しても知覚する映像が同じとなり、違和感が少なくなる。
【００２４】
次に、本実施形態に係る設置状態判断装置１の動作の詳細を説明する。図５は、本実施形態に係る設置状態判断装置１の動作の詳細を示すフローチャートである。車両のイグニッションスイッチがオンされて、本装置１の電源がオンされると、図５に示す処理が実行される。まず、設置状態判断装置１は、車載カメラ１０を切り替える（ＳＴ１）。すなわち、設置状態判断装置１は、右車載カメラ１０ａが選択されている場合、左車載カメラ１０ｂに切り替え、左車載カメラ１０ｂが選択されている場合、右車載カメラ１０ａに切り替える。
【００２５】
次いで、エンコーダ５３はステップＳＴ１において切り替えられた車載カメラ１０の撮像方向を検出する（ＳＴ２）。その後、設置状態判断装置１は、ステップＳＴ１において切り替えられた車載カメラ１０によって車外を撮像し、１フレームの画像を取り込む（ＳＴ３）。そして、オプティカルフロー算出部２０は、前回の撮像画像データと今回撮像した画像データとからオプティカルフローを求める。次に、設置状態判断部４０は、記憶部３０からオプティカルフローを読み込む。このとき、設置状態判断部４０は、ステップＳＴ２において検出された撮像方向に基づいて比較対照となるオプティカルフローを読み込むこととなる。
【００２６】
次いで、設置状態判断部４０は、ステップＳＴ３においてオプティカルフロー算出部２０により算出されたオプティカルフローと、記憶部３０から読み込んだオプティカルフローを比較して、設置状態を判断する（ＳＴ４）。そして、設置状態判断部４０は、車載カメラ１０にずれが生じていると判断した場合、ずれ角度を求め、ずれ角度のデータを設置状態調整部５０に送信する。これにより、設置状態調整部５０は、光軸を調整することとなる（ＳＴ５）。そして、処理はステップＳＴ６に移行する。他方、車載カメラ１０にずれが生じていないと判断した場合、ステップＳＴ５の処理は実行されることなく、ステップＳＴ６の処理が実行される。
【００２７】
ステップＳＴ６において、表示制御部７０は、映像（図４に示す映像Ｂ，Ｉを除く）の回転を行う（ＳＴ７）。例えば、左車載カメラ１０ｂによって車両後方を撮影した場合、図４に示すように映像Ｆは地面側が画像上方に位置していることから、表示制御部７０は、撮像画像を１８０°回転させることとなる。次に、表示制御部７０は回転させた映像を配置する（ＳＴ７）。すなわち、表示制御部７０は撮影した映像を図４に示すように該当個所に配置する。
【００２８】
次いで、表示制御部７０は、全方向の映像が車載カメラ１０によって取得されているか否かを判断し、取得されている場合には映像群を表示させる（ＳＴ８）。そして、処理はステップＳＴ９に移行する。一方、全方向の映像が取得されていない場合、ステップＳＴ８の処理は実行されることなく、ステップＳＴ９の処理が実行される。
【００２９】
ステップＳＴ９において、設置状態判断装置１は車載カメラ１０の撮像方向を変更する。そして、処理はステップＳＴ１に戻る。なお、図５に示す処理は常時繰り返されてもよいが、左右の車載カメラ１０ａ，１０ｂの全方向について設置状態の判断が行われた後は、イグニッションスイッチがオフされるまでステップＳＴ４，ＳＴ５の処理が飛ばされるようにしてもよい。また、図５に示すように車載カメラ１０の各撮影方向について設置状態を判断することなく、１の撮影方向について設置状態を判断して調整した場合には、その１の撮影方向の調整量に基づいて他の撮影方向を調整するようにしてもよい。
【００３０】
このようにして、本実施形態に係る設置状態判断装置１及び方法によれば、撮影した映像から求められるオプティカルフローと、予め記憶した正規の設置状態であるときのオプティカルフローとを比較し、車載カメラ１０の設置状態を判断する。ここで、車載カメラ１０の設置状態にずれが発生すると、得られる映像は正規の設置状態であるときと異なってくる。このため、得られるオプティカルフローについても、正規の設置状態であるときと異なってくる。従って、撮影した映像から求められるオプティカルフローと、予め記憶した正規の設置状態であるときのオプティカルフローとを比較することで、車載カメラ１０の設置状態を判断することができる。
【００３１】
また、判断された設置状態に基づいて車載カメラ１０を正規の設置状態に調整することとしている。このため、車載カメラ１０が正規の設置状態でないときには、正規の設置状態に調整され、その後撮影が行われることとなり、好適な映像を取得することができる。
【００３２】
また、車載カメラ１０は、撮影方向を変更可能に構成され、１の撮影方向について判断された設置状態に基づいて車載カメラ１０を正規の設置状態に調整した場合、この設置状態の調整に基づいて他の撮影方向について調整を行う。このため、他の撮影方向については設置状態判断部４０による判断を行うことなく調整を行うことができる。従って、容易に調整を行うことができる。
【００３３】
また、撮影映像を表示させるにあたり、撮影された映像を座標変換して、映像内のオプティカルフローが車両乗員の視点からオプティカルフローになるように合致させることとしている。このため、車両乗員にとっては、表示部６０に表示される映像を見ても直接車外視認しても知覚する映像が同じとなる。従って、車両乗員にとって違和感が少ない映像を提供することができる。
【００３４】
次に、本発明の第２実施形態を説明する。第２実施形態に係る設置状態判断装置２は、第１実施形態のものと同様であるが、処理内容が異なっている。以下、第１実施形態との相違点を説明する。
【００３５】
第２実施形態に係る設置状態判断装置２の動作の概略を説明する。第２実施形態において表示制御部７０は、車載カメラ１０の撮影映像の地面側を伸張し、且つ上空側を圧縮して、車載カメラ１０の撮影映像を表示部６０に表示させる。これにより、地面部分を目立つようにし、例えば駐車枠内に自車両を停止させたい場合に映像が見やすく、好適な情報提示を行うようになっている。
【００３６】
より詳しく説明すると、第２実施形態の表示制御部７０は、全方向の映像について地面側を伸張し上空側を圧縮するわけでなく、自車両の前方側を撮影して得られた撮影映像については地面側を伸張し且つ上空側を圧縮し、自車両の後方側を撮影して得られた撮影映像については地面側を圧縮し且つ上空側を伸張する。ここで、車両が前進又は後退している場合、車両前方映像のオプティカルフローと後方映像のオプティカルフローとは逆になる。このため、両者を共に表示させると、車両乗員にオプティカルフローが逆となる２つの映像を提示することとなり、車両乗員に違和感を与え、混乱を及ぼす可能性がある。ところが、前方映像については地面側を伸張し上空側を圧縮し、後方映像については地面側を圧縮し後方側を伸張することで、前方及び後方映像のうち同一方向に流れるオプティカルフローを強調することとなり、車両乗員に与える違和感を軽減し、混乱を防止することができる。
【００３７】
さらに、第２実施形態の表示制御部７０は、後方映像について映像を回転させることなく（すなわち地面側を画像上側にせず）、映像を左右反転させる。映像を回転させない理由は、上記の如く前方及び後方映像のうち同一方向に流れるオプティカルフローを強調するためである。また、左右反転させる理由は、車両乗員が表示部６０を視認したときに後方映像について左右を間違い難くするためである。
【００３８】
このような表示制御部７０によって生成される表示画像例を説明する。図６は、第２実施形態に係る表示制御部７０によって生成される表示画像例を示す模式図である。なお、図６に示す矢印は、車両が後退するときに得られるオプティカルフローを示している。
【００３９】
同図に示すように、映像Ｂ〜Ｄ，Ｈ〜Ｉについては、地面側（斜線部）が伸張され、上空側が圧縮されている。このため、車両後退時には、画像下側から上側に向かって流れるオプティカルフローが強調されることとなる。
【００４０】
一方、後方映像Ｅ，Ｆについては、地面側（斜線部）が圧縮され、上空側が伸張されている。このため、後方映像Ｅ，Ｆについては、映像Ｂ〜Ｄ，Ｈ〜Ｉと異なり、上空側が目立つようになっている。しかし、オプティカルフローは、映像の上下を反転させなくとも（第１実施形態のように回転させなくても）、映像Ｂ〜Ｄ，Ｈ〜Ｉと同様に画像下側から上側に向かって流れるように強調され、各映像Ｂ〜Ｉについて強調されるオプティカルフローが統一されることとなる。このため、映像を回転させることなく映像を見やすくしたうえで、強調されるオプティカルフローを統一して車両乗員に与える違和感を軽減することができる。
【００４１】
次に、第２実施形態に係る設置状態判断方法の詳細を説明する。図７は、第２実施形態に係る設置状態判断装置２の動作の詳細を示すフローチャートである。なお、図７に示すステップＳＴ１１〜ＳＴ１５，ＳＴ２１〜ＳＴ２３の処理は、図５に示したステップＳＴ１〜ＳＴ５，ＳＴ７〜ＳＴ９の処理と同様であるため、説明を省略する。
【００４２】
光軸を調整した後（ＳＴ１５の後）、設置状態判断装置１は、エンコーダ５３により検出された回転角度から、撮像方向が後方であるか否かを判断する（ＳＴ１６）。撮像方向が後方でないと判断した場合（ＳＴ１６：ＮＯ）、撮像画像の地面側を伸張し上空側を圧縮する（ＳＴ１７）。その後、表示制御部７０は、映像の回転を行い（ＳＴ１８）、処理はステップＳＴ２１に移行する。一方、撮像方向が後方であると判断した場合（ＳＴ１６：ＹＥＳ）、撮像画像の地面側を圧縮し上空側を伸張する（ＳＴ１９）。その後、表示制御部７０は、映像を左右反転させ（ＳＴ２０）、処理はステップＳＴ２１に移行する。
【００４３】
このようにして、第２実施形態に係る設置状態判断装置２及び方法によれば、第１実施形態と同様に、車載カメラ１０の設置状態を判断することができる。また、好適な映像を取得することができ、容易に調整を行うことができる。また、車両乗員にとって違和感が少ない映像を提供することができる。
【００４４】
さらに、第２実施形態によれば、撮影映像の地面側を伸張し且つ上空側を圧縮して、車載カメラ１０の撮影映像を表示部６０に表示させることとしている。このため、地面部分が目立つようになり、車両駐車時など自車両を駐車枠内に停止させたい場合などには、映像が見やすくなる。従って、好適な情報提示を行うことができる。
【００４５】
また、自車両の前方側を撮影して得られた撮影映像の地面側を伸張し且つ上空側を圧縮する。一方、自車両の後方側を撮影して得られた撮影映像の地面側を圧縮し且つ上空側を伸張する。そして、これら両映像を表示させることとしている。ここで、車両が前進又は後退している場合、車両前方映像のオプティカルフローと後方映像のオプティカルフローとは逆になる。このため、両者を共に表示させると、オプティカルフローが逆となる２つの映像を車両乗員に提示することとなり、車両乗員に違和感を与え、ひいては車両乗員に混乱させてしまう可能性がある。ところが、前方映像については地面側を伸張し且つ上空側を圧縮し、後方映像については地面側を圧縮し且つ上空側を伸張することで、前方及び後方映像のうち同一方向に流れるオプティカルフローを強調することとなり、車両乗員に与える違和感を軽減し、混乱を防止することができる。
【００４６】
次に、本発明の第３実施形態を説明する。第３実施形態に係る設置状態判断装置３は、第２実施形態のものと同様であるが、処理内容が異なっている。以下、第２実施形態との相違点を説明する。
【００４７】
図８は、第３実施形態に係る設置状態判断装置３の構成図である。同図に示すように、第３実施形態に係る設置状態判断装置３は、新たに自車両の車速を検出する車速検出部（車速検出手段）８０を備えている。
【００４８】
また、第３実施形態において表示制御部７０は、車速検出部８０により検出された車速が所定速度以下である場合、後方映像について地面側を圧縮し且つ上空側を伸張する処理を禁止し、地面側を伸張し且つ上空側を圧縮する。すなわち、表示制御部７０は、車速が低い場合、後方映像を他の映像と同じように地面が目立つように画像変換して表示部６０に表示させることとなる。
【００４９】
図９は、第３実施形態に係る表示制御部７０によって生成される表示画像例を示す模式図であり、（ａ）は自車両の車速が所定速度以下である場合を示し、（ｂ）は自車両の車速が所定速度を超える場合を示している。
【００５０】
自車両の車速が所定速度以下である場合、表示制御部７０は、後方の映像を他の方向の映像を同じように画像変換する。すなわち、図９（ａ）に示すように、表示制御部７０は、全方向の映像について、地面側を伸張し且つ上空側を圧縮する。一方、自車両の車速が所定速度を超える場合、後方映像については地面側を圧縮し且つ上空側を伸張する。このため、図９（ｂ）に示すように、表示制御部７０は、第２実施形態の表示画像例と同様の画像を表示部６０に表示させることとなる。
【００５１】
図１０は、第３実施形態に係る設置状態判断装置３の動作の詳細を示すフローチャートである。なお、図１０に示すステップＳＴ３１〜ＳＴ３８，ＳＴ４０〜ＳＴ４４の処理は、図７に示したステップＳＴ１１〜ＳＴ１８，ＳＴ１９〜ＳＴ２３の処理と同様であるため、説明を省略する。
【００５２】
撮像方向が後方であると判断した後（ＳＴ３６「ＹＥＳ」の後）、表示制御部７０は、車速検出部８０からの信号を読み込んで、自車両の車速が所定速度以下であるか否かを判断する（ＳＴ３９）。自車両の車速が所定速度以下であると判断した場合（ＳＴ３９：ＹＥＳ）、処理はステップＳＴ３７に移行し、表示制御部７０は図９（ａ）に示すように後方映像についても他の方向の映像を同じように地面側を伸張し上空側を圧縮する。
【００５３】
一方、自車両の車速が所定速度以下でないと判断した場合（ＳＴ３９：ＮＯ）、処理はステップＳＴ４０に移行し、表示制御部７０は図９（ｂ）に示すように後方映像の地面側を圧縮し上空側を伸張する。
【００５４】
このようにして、第３実施形態に係る設置状態判断装置３及び方法によれば、第２実施形態と同様に、車載カメラ１０の設置状態を判断することができる。また、好適な映像を取得することができ、容易に調整を行うことができる。また、車両乗員にとって違和感が少ない映像を提供することができ、好適な情報提示を行うことができる。また、車両乗員に与える違和感を軽減し、混乱を防止することができる。
【００５５】
さらに、第３実施形態によれば、自車両の車速が所定速度以下である場合、自車両の後方側の撮影映像について地面側を圧縮し且つ上空側を伸張することを禁止することとしている。このため、車両が微速走行している場合など、車両の移動量自体が少なく、オプティカルフローが逆となる２つの映像を提示しても違和感を与えにくい場合には、後方側の撮影映像について地面側を圧縮し且つ上空側を伸張することを禁止することとなる。これにより、車両を駐車させるときなどの微速時において地面側の圧縮がなく、地面を見やすい映像が提示されることとなる。従って、駐車時等において車両後方を正確に把握することができる。
【００５６】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。例えば、上記実施形態では、図４などに示すように、自車両画像Ａの周囲に撮影映像Ｂ〜Ｉを表示する形式になっているが、これに限らず、単に左右の車載カメラ１０により撮影された映像を表示部６０に表示させる形式であってもよく、他の表示形式であってもよい。
【００５７】
また、上記実施形態の設置状態調整部５０は、光軸を調整する構成になっていたが、この構成に限るものでなく、例えば光軸を変化させず光軸を中心に車載カメラ１０を回転させるなどの調整機構を備えていてもよい。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施形態に係る設置状態判断装置の構成図である。
【図２】図１に示した車載カメラ及び設置状態調整部の詳細構成図である。
【図３】図１に示した車載カメラによる撮影方向を示す上面図である。
【図４】図１に示した表示部の表示画像例を示す模式図である。
【図５】本実施形態に係る設置状態判断装置の動作の詳細を示すフローチャートである。
【図６】第２実施形態に係る表示制御部によって生成される表示画像例を示す模式図である。
【図７】第２実施形態に係る設置状態判断装置の動作の詳細を示すフローチャートである。
【図８】第３実施形態に係る設置状態判断装置の構成図である。
【図９】第３実施形態に係る表示制御部によって生成される表示画像例を示す模式図であり、（ａ）は自車両の車速が所定速度以下である場合を示し、（ｂ）は自車両の車速が所定速度を超える場合を示している。
【図１０】第３実施形態に係る設置状態判断装置の動作の詳細を示すフローチャートである。
【符号の説明】
【００５９】
１〜３…設置状態判断装置
１０…車載カメラ（撮影手段）
２０…オプティカルフロー算出部（オプティカルフロー算出手段）
３０…記憶部（記憶手段）
４０…設置状態判断部（設置状態判断手段）
５０…設置状態調整部（設置状態調整手段）
６０…表示部（表示手段）
７０…表示制御部（表示制御手段）
８０…車速検出部（車速検出手段）
【技術分野】
【０００１】
本発明は、設置状態判断装置及び方法に関する。
【背景技術】
【０００２】
従来、複数台のカメラを車両に搭載し、これらカメラによって車外を撮影して、車内の表示器に表示させる車両周辺監視装置が知られている（特許文献１参照）。また、撮影方向を変更可能なカメラを車両に搭載し、このカメラによって車外を好適な角度で撮影する路面映像取得装置が知られている（特許文献２参照）。
【特許文献１】特開２００３−８１０１４号公報
【特許文献２】特開平９−１２６７４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来装置では、車両に衝撃が加わった場合やカメラ自体が何らかの物に接触した場合などにカメラの位置がずれてしまう可能性がある。しかし、従来装置では、カメラの設置状態にずれが発生しても、このずれを何ら検出することができず、好適な撮影を行うことができなくなる可能性がある。
【課題を解決するための手段】
【０００４】
本発明の設置状態判断装置は、撮影手段と、オプティカルフロー算出手段と、記憶手段と、設置状態判断手段とを備えている。撮影手段は車両に設置されて車両外側を撮影するものであり、オプティカルフロー算出手段は撮影手段により撮影された映像からオプティカルフローを求めるものである。記憶手段は、正規の設置状態であるときの撮影手段の撮影映像から求められるオプティカルフローを記憶するものである。設置状態判断手段は、オプティカルフロー算出手段により求められたオプティカルフローと記憶手段により記憶されたオプティカルフローとを比較して撮影手段の設置状態を判断するものである。
【発明の効果】
【０００５】
本発明によれば、撮影した映像から求められるオプティカルフローと、予め記憶した正規の設置状態であるときのオプティカルフローとを比較し、撮影手段の設置状態を判断している。ここで、撮影手段の設置状態にずれが発生すると、得られる映像は正規の設置状態であるときと異なってくる。このため、得られるオプティカルフローについても、正規の設置状態であるときと異なってくる。従って、撮影した映像から求められるオプティカルフローと、予め記憶した正規の設置状態であるときのオプティカルフローとを比較することで、撮影手段の設置状態を判断することができる。
【発明を実施するための最良の形態】
【０００６】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【０００７】
図１は、本発明の実施形態に係る設置状態判断装置の構成図である。同図に示すように、設置状態判断装置１は、車両に衝撃が加わった場合などにカメラ（後述の車載カメラ）の位置がずれてしまっても、カメラのずれを検出するものである。この設置状態判断装置１は、車載カメラ（撮影手段）１０と、オプティカルフロー算出部（オプティカルフロー算出手段）２０と、記憶部（記憶手段）３０とを備えている。また、設置状態判断装置１は、設置状態判断部（設置状態判断手段）４０と、設置状態調整部（設置状態調整手段）５０とを備えている。
【０００８】
車載カメラ１０は、車両に設置されて車両外側を撮影するものであり、本実施形態にあっては、図２に示すように、設置状態調整部５０によって撮影方向が変更可能とされ、複数方向を撮影できるようになっている。
【０００９】
図２は、図１に示した車載カメラ１０及び設置状態調整部５０の詳細構成図である。図２に示すように、車載カメラ１０は設置状態調整部５０上に設置されており、設置状態調整部５０は、電動モータ５１と、プーリ５２と、エンコーダ５３と、基台５４とからなっている。車載カメラ１０は、電動モータ５１が駆動することによりプーリ５２を介して回転させられるようになっている。車載カメラ１０の回転角度は、エンコーダ５３により検出される。基台５４は、車体などに取り付けられるものであり、電動モータ５１、プーリ５２及びエンコーダ５３を収納している。
【００１０】
再度、図１を参照する。上記のように車載カメラ１０は複数の方向を撮影可能になっており、車両右前方部と車両左後方部とにそれぞれ１つずつ設置されている。図３は、図１に示した車載カメラ１０による撮影方向を示す上面図である。図３に示すように、右前方部に設置される車載カメラ（以下右車載カメラという）１０ａは、その設置個所から前方、右前方、左前方及び後側方（車体の右側を含む後方）の４方向を撮影可能となっている。また、左後方部に設置される車載カメラ（以下左車載カメラという）１０ｂは、その設置個所から後方、右後方、左後方及び前側方（車体の左側を含む前方）の４方向を撮影可能となっている。
【００１１】
再度図１を参照する。オプティカルフロー算出部２０は、車両が前進や後退などしている場合に、車載カメラ１０により撮影された映像からオプティカルフローを求めるものである。このオプティカルフロー算出部２０は、時系列に連続する少なくとも２枚の画像の各画素の濃度や輝度値などに基づいて、オプティカルフローを求める構成となっている。
【００１２】
記憶部３０は、正規の設置状態あるときの車載カメラ１０の撮影映像から求められるオプティカルフローを記憶するものである。従って、車載カメラ１０が正規の設置状態ある場合、オプティカルフロー算出部２０により求められるオプティカルフローと記憶部３０に記憶されるオプティカルフローとは一致することとなる。また、記憶部３０は、車両乗員の視点から車載カメラ１０の撮影領域を視認した場合のオプティカルフローを記憶している。すなわち、記憶部３０は、車載カメラ１０を車両乗員の視点箇所に設置した場合の撮影映像から求められるオプティカルフローと同一のオプティカルフローを記憶していることとなる。
【００１３】
設置状態判断部４０は、オプティカルフロー算出部２０により求められたオプティカルフローと記憶部３０により記憶されたオプティカルフローとを比較して車載カメラ１０の設置状態を判断するものである。ここで、記憶部３０には正規の設置状態でのオプティカルフローが記憶されている。このため、設置状態判断部４０は、両者のオプティカルフローを比較して異なるときには、車載カメラ１０が正規の設置状態でなく、車載カメラ１０にずれが発生していると判断する。また、設置状態判断部４０は、車載カメラ１０にずれが発生していると判断した場合、オプティカルフローのずれの量から車載カメラ１０のずれ角度を求める構成となっている。
【００１４】
また、上記した設置状態調整部５０は、設置状態判断部４０により判断された設置状態に基づいて車載カメラ１０を正規の設置状態に調整するものとしても機能する。すなわち、設置状態調整部５０は、設置状態判断部４０により車載カメラ１０にずれが発生していると判断し、ずれ角度が求められた場合、ずれ角度分だけ車載カメラ１０の光軸を調整することで、車載カメラ１０を正規の設置状態に調整する。これにより、例えば車両前方を撮影しようとして前方からずれた箇所を撮影してしまうことが防止される。
【００１５】
なお、図２において設置状態調整部５０は、車載カメラ１０の光軸を水平方向のみに移動可能となっているが、この構成に限らず、光軸を水平方向及び上下方向に移動させる構成となっていてもよい。
【００１６】
さらに、上記設置状態判断装置１は、表示部６０と、表示制御部７０とを備えている。表示部６０は車載カメラ１０により撮影された映像を表示するものであり、表示制御部７０は表示部６０に表示させる表示映像を生成するものである。ここで、表示制御部７０が表示部６０に表示させる画像の例を説明する。
【００１７】
図４は、図１に示した表示部６０の表示画像例を示す模式図である。図４に示すように、表示制御部７０は、自車両を模式的に表した自車両画像Ａと、車載カメラ１０により撮影された映像Ｂ〜Ｉとを同時に表示部６０に表示させる。このとき、表示制御部７０は、右車載カメラ１０ａの撮影映像のうち、前方の映像Ｂについては自車両画像Ａの前方に表示させ、右前方の映像Ｃについては自車両画像Ａの右前方に表示させる。また、左前方の映像Ｄについては自車両画像Ａの左前方に表示させ、及び後側方の映像Ｅについては自車両画像Ａの右側に表示させる。さらに、表示制御部７０は、左車載カメラ１０ｂの撮影映像のうち、後方の映像Ｆについては自車両画像Ａの後方に表示させ、左後方の映像Ｇについては自車両画像Ａの左後方に表示させる。また、右後方の映像Ｈについては自車両画像Ａの右後方に表示させ、及び前側方の映像Ｉについては自車両画像Ａの左側に表示させる。
【００１８】
さらに、表示制御部７０は、前方映像Ｂ、右前方映像Ｃ、左前方映像Ｄ、後方映像Ｆ、左後方映像Ｇ及び右後方映像Ｈの地面側（図中斜線部側）が自車両画像Ａに近くなるように、これら映像Ｂ〜Ｄ，Ｆ〜Ｈを表示させる。また、表示制御部７０は、後側方映像Ｅの地面側（図中斜線部側）が画像上側に向くように後側方映像Ｅを表示させ、前側方映像Ｉの地面側（斜線部側）が画像下側に向くように前側方映像Ｉを表示させる。なお、図４の各映像Ｂ〜Ｉ中の矢印は、車両が後退するときに得られるオプティカルフローを示している。
【００１９】
次に、本実施形態に係る設置状態判断装置１の動作（設置状態判断方法及び映像表示方法）の概略を説明する。まず、車両のイグニッションスイッチがオンされて、本装置１の電源がオンされると、例えば右車載カメラ１０ａは、車両外部の或る一方向について撮像する。次に、右車載カメラ１０ａは、撮像画像のデータをオプティカルフロー算出部２０に送信する。オプティカルフロー算出部２０は、前回の撮像画像データを記憶しており、今回の撮像により得られた撮像画像データと、前回の撮像画像データとからオプティカルフローを求める。次いで、オプティカルフロー算出部２０は、求めたオプティカルフローのデータを設置状態判断部４０に送信する。
【００２０】
設置状態判断部４０は、オプティカルフロー算出部２０からオプティカルフローのデータを入力すると、記憶部３０からオプティカルフローのデータを読み込む。次に、設置状態判断部４０は、これらのオプティカルフローを比較する。オプティカルフローが一致する場合、設置状態判断部４０は、右車載カメラ１０ａが正規の設置状態であると判断する。一方、オプティカルフローが相違する場合、設置状態判断部４０は、右車載カメラ１０ａにずれが発生していると判断する。そして、設置状態判断部４０は、オプティカルフローのずれの量から右車載カメラ１０ａのずれ角度を求め、ずれ角度のデータを設置状態調整部５０に送信する。
【００２１】
設置状態調整部５０は、ずれ角度のデータに基づいて右車載カメラ１０ａの光軸を調整する。これにより、車載カメラ１０は以後の撮影によってずれた位置を撮影することなく、適切な撮影が行われる。
【００２２】
次いで、設置状態判断装置１は、上記と異なる方向を撮影して設置状態を判断し、正規の設置状態でない場合には光軸を調整する。また、設置状態判断装置１は左車載カメラ１０ｂについても同じ処理を実行し、設置状態を判断することとなる。なお、設置状態判断装置１は、ある撮影方向についての右車載カメラ１０ａのずれ角度を元に、他の方向についての右車載カメラ１０ａのずれ角度を求め、調整するようにしてもよい。これにより、各方向毎に設置状態を判断する必要がなく処理を簡素化することができ、且つ、記憶部３０に記憶させるオプティカルフローを少なくすることができる。
【００２３】
また、設置状態が判断された後、表示制御部７０は、車載カメラ１０により撮影された映像を表示部６０に表示させる。このとき、表示制御部７０は、車載カメラ１０により撮影された映像を座標変換して、車載カメラ１０によって撮影された映像のオプティカルフローを、車両乗員の視点から車載カメラ１０の撮影領域を視認した場合のオプティカルフローに合致させる。これにより、車両乗員にとっては、表示部６０に表示される映像を見ても車外を直接視認しても知覚する映像が同じとなり、違和感が少なくなる。
【００２４】
次に、本実施形態に係る設置状態判断装置１の動作の詳細を説明する。図５は、本実施形態に係る設置状態判断装置１の動作の詳細を示すフローチャートである。車両のイグニッションスイッチがオンされて、本装置１の電源がオンされると、図５に示す処理が実行される。まず、設置状態判断装置１は、車載カメラ１０を切り替える（ＳＴ１）。すなわち、設置状態判断装置１は、右車載カメラ１０ａが選択されている場合、左車載カメラ１０ｂに切り替え、左車載カメラ１０ｂが選択されている場合、右車載カメラ１０ａに切り替える。
【００２５】
次いで、エンコーダ５３はステップＳＴ１において切り替えられた車載カメラ１０の撮像方向を検出する（ＳＴ２）。その後、設置状態判断装置１は、ステップＳＴ１において切り替えられた車載カメラ１０によって車外を撮像し、１フレームの画像を取り込む（ＳＴ３）。そして、オプティカルフロー算出部２０は、前回の撮像画像データと今回撮像した画像データとからオプティカルフローを求める。次に、設置状態判断部４０は、記憶部３０からオプティカルフローを読み込む。このとき、設置状態判断部４０は、ステップＳＴ２において検出された撮像方向に基づいて比較対照となるオプティカルフローを読み込むこととなる。
【００２６】
次いで、設置状態判断部４０は、ステップＳＴ３においてオプティカルフロー算出部２０により算出されたオプティカルフローと、記憶部３０から読み込んだオプティカルフローを比較して、設置状態を判断する（ＳＴ４）。そして、設置状態判断部４０は、車載カメラ１０にずれが生じていると判断した場合、ずれ角度を求め、ずれ角度のデータを設置状態調整部５０に送信する。これにより、設置状態調整部５０は、光軸を調整することとなる（ＳＴ５）。そして、処理はステップＳＴ６に移行する。他方、車載カメラ１０にずれが生じていないと判断した場合、ステップＳＴ５の処理は実行されることなく、ステップＳＴ６の処理が実行される。
【００２７】
ステップＳＴ６において、表示制御部７０は、映像（図４に示す映像Ｂ，Ｉを除く）の回転を行う（ＳＴ７）。例えば、左車載カメラ１０ｂによって車両後方を撮影した場合、図４に示すように映像Ｆは地面側が画像上方に位置していることから、表示制御部７０は、撮像画像を１８０°回転させることとなる。次に、表示制御部７０は回転させた映像を配置する（ＳＴ７）。すなわち、表示制御部７０は撮影した映像を図４に示すように該当個所に配置する。
【００２８】
次いで、表示制御部７０は、全方向の映像が車載カメラ１０によって取得されているか否かを判断し、取得されている場合には映像群を表示させる（ＳＴ８）。そして、処理はステップＳＴ９に移行する。一方、全方向の映像が取得されていない場合、ステップＳＴ８の処理は実行されることなく、ステップＳＴ９の処理が実行される。
【００２９】
ステップＳＴ９において、設置状態判断装置１は車載カメラ１０の撮像方向を変更する。そして、処理はステップＳＴ１に戻る。なお、図５に示す処理は常時繰り返されてもよいが、左右の車載カメラ１０ａ，１０ｂの全方向について設置状態の判断が行われた後は、イグニッションスイッチがオフされるまでステップＳＴ４，ＳＴ５の処理が飛ばされるようにしてもよい。また、図５に示すように車載カメラ１０の各撮影方向について設置状態を判断することなく、１の撮影方向について設置状態を判断して調整した場合には、その１の撮影方向の調整量に基づいて他の撮影方向を調整するようにしてもよい。
【００３０】
このようにして、本実施形態に係る設置状態判断装置１及び方法によれば、撮影した映像から求められるオプティカルフローと、予め記憶した正規の設置状態であるときのオプティカルフローとを比較し、車載カメラ１０の設置状態を判断する。ここで、車載カメラ１０の設置状態にずれが発生すると、得られる映像は正規の設置状態であるときと異なってくる。このため、得られるオプティカルフローについても、正規の設置状態であるときと異なってくる。従って、撮影した映像から求められるオプティカルフローと、予め記憶した正規の設置状態であるときのオプティカルフローとを比較することで、車載カメラ１０の設置状態を判断することができる。
【００３１】
また、判断された設置状態に基づいて車載カメラ１０を正規の設置状態に調整することとしている。このため、車載カメラ１０が正規の設置状態でないときには、正規の設置状態に調整され、その後撮影が行われることとなり、好適な映像を取得することができる。
【００３２】
また、車載カメラ１０は、撮影方向を変更可能に構成され、１の撮影方向について判断された設置状態に基づいて車載カメラ１０を正規の設置状態に調整した場合、この設置状態の調整に基づいて他の撮影方向について調整を行う。このため、他の撮影方向については設置状態判断部４０による判断を行うことなく調整を行うことができる。従って、容易に調整を行うことができる。
【００３３】
また、撮影映像を表示させるにあたり、撮影された映像を座標変換して、映像内のオプティカルフローが車両乗員の視点からオプティカルフローになるように合致させることとしている。このため、車両乗員にとっては、表示部６０に表示される映像を見ても直接車外視認しても知覚する映像が同じとなる。従って、車両乗員にとって違和感が少ない映像を提供することができる。
【００３４】
次に、本発明の第２実施形態を説明する。第２実施形態に係る設置状態判断装置２は、第１実施形態のものと同様であるが、処理内容が異なっている。以下、第１実施形態との相違点を説明する。
【００３５】
第２実施形態に係る設置状態判断装置２の動作の概略を説明する。第２実施形態において表示制御部７０は、車載カメラ１０の撮影映像の地面側を伸張し、且つ上空側を圧縮して、車載カメラ１０の撮影映像を表示部６０に表示させる。これにより、地面部分を目立つようにし、例えば駐車枠内に自車両を停止させたい場合に映像が見やすく、好適な情報提示を行うようになっている。
【００３６】
より詳しく説明すると、第２実施形態の表示制御部７０は、全方向の映像について地面側を伸張し上空側を圧縮するわけでなく、自車両の前方側を撮影して得られた撮影映像については地面側を伸張し且つ上空側を圧縮し、自車両の後方側を撮影して得られた撮影映像については地面側を圧縮し且つ上空側を伸張する。ここで、車両が前進又は後退している場合、車両前方映像のオプティカルフローと後方映像のオプティカルフローとは逆になる。このため、両者を共に表示させると、車両乗員にオプティカルフローが逆となる２つの映像を提示することとなり、車両乗員に違和感を与え、混乱を及ぼす可能性がある。ところが、前方映像については地面側を伸張し上空側を圧縮し、後方映像については地面側を圧縮し後方側を伸張することで、前方及び後方映像のうち同一方向に流れるオプティカルフローを強調することとなり、車両乗員に与える違和感を軽減し、混乱を防止することができる。
【００３７】
さらに、第２実施形態の表示制御部７０は、後方映像について映像を回転させることなく（すなわち地面側を画像上側にせず）、映像を左右反転させる。映像を回転させない理由は、上記の如く前方及び後方映像のうち同一方向に流れるオプティカルフローを強調するためである。また、左右反転させる理由は、車両乗員が表示部６０を視認したときに後方映像について左右を間違い難くするためである。
【００３８】
このような表示制御部７０によって生成される表示画像例を説明する。図６は、第２実施形態に係る表示制御部７０によって生成される表示画像例を示す模式図である。なお、図６に示す矢印は、車両が後退するときに得られるオプティカルフローを示している。
【００３９】
同図に示すように、映像Ｂ〜Ｄ，Ｈ〜Ｉについては、地面側（斜線部）が伸張され、上空側が圧縮されている。このため、車両後退時には、画像下側から上側に向かって流れるオプティカルフローが強調されることとなる。
【００４０】
一方、後方映像Ｅ，Ｆについては、地面側（斜線部）が圧縮され、上空側が伸張されている。このため、後方映像Ｅ，Ｆについては、映像Ｂ〜Ｄ，Ｈ〜Ｉと異なり、上空側が目立つようになっている。しかし、オプティカルフローは、映像の上下を反転させなくとも（第１実施形態のように回転させなくても）、映像Ｂ〜Ｄ，Ｈ〜Ｉと同様に画像下側から上側に向かって流れるように強調され、各映像Ｂ〜Ｉについて強調されるオプティカルフローが統一されることとなる。このため、映像を回転させることなく映像を見やすくしたうえで、強調されるオプティカルフローを統一して車両乗員に与える違和感を軽減することができる。
【００４１】
次に、第２実施形態に係る設置状態判断方法の詳細を説明する。図７は、第２実施形態に係る設置状態判断装置２の動作の詳細を示すフローチャートである。なお、図７に示すステップＳＴ１１〜ＳＴ１５，ＳＴ２１〜ＳＴ２３の処理は、図５に示したステップＳＴ１〜ＳＴ５，ＳＴ７〜ＳＴ９の処理と同様であるため、説明を省略する。
【００４２】
光軸を調整した後（ＳＴ１５の後）、設置状態判断装置１は、エンコーダ５３により検出された回転角度から、撮像方向が後方であるか否かを判断する（ＳＴ１６）。撮像方向が後方でないと判断した場合（ＳＴ１６：ＮＯ）、撮像画像の地面側を伸張し上空側を圧縮する（ＳＴ１７）。その後、表示制御部７０は、映像の回転を行い（ＳＴ１８）、処理はステップＳＴ２１に移行する。一方、撮像方向が後方であると判断した場合（ＳＴ１６：ＹＥＳ）、撮像画像の地面側を圧縮し上空側を伸張する（ＳＴ１９）。その後、表示制御部７０は、映像を左右反転させ（ＳＴ２０）、処理はステップＳＴ２１に移行する。
【００４３】
このようにして、第２実施形態に係る設置状態判断装置２及び方法によれば、第１実施形態と同様に、車載カメラ１０の設置状態を判断することができる。また、好適な映像を取得することができ、容易に調整を行うことができる。また、車両乗員にとって違和感が少ない映像を提供することができる。
【００４４】
さらに、第２実施形態によれば、撮影映像の地面側を伸張し且つ上空側を圧縮して、車載カメラ１０の撮影映像を表示部６０に表示させることとしている。このため、地面部分が目立つようになり、車両駐車時など自車両を駐車枠内に停止させたい場合などには、映像が見やすくなる。従って、好適な情報提示を行うことができる。
【００４５】
また、自車両の前方側を撮影して得られた撮影映像の地面側を伸張し且つ上空側を圧縮する。一方、自車両の後方側を撮影して得られた撮影映像の地面側を圧縮し且つ上空側を伸張する。そして、これら両映像を表示させることとしている。ここで、車両が前進又は後退している場合、車両前方映像のオプティカルフローと後方映像のオプティカルフローとは逆になる。このため、両者を共に表示させると、オプティカルフローが逆となる２つの映像を車両乗員に提示することとなり、車両乗員に違和感を与え、ひいては車両乗員に混乱させてしまう可能性がある。ところが、前方映像については地面側を伸張し且つ上空側を圧縮し、後方映像については地面側を圧縮し且つ上空側を伸張することで、前方及び後方映像のうち同一方向に流れるオプティカルフローを強調することとなり、車両乗員に与える違和感を軽減し、混乱を防止することができる。
【００４６】
次に、本発明の第３実施形態を説明する。第３実施形態に係る設置状態判断装置３は、第２実施形態のものと同様であるが、処理内容が異なっている。以下、第２実施形態との相違点を説明する。
【００４７】
図８は、第３実施形態に係る設置状態判断装置３の構成図である。同図に示すように、第３実施形態に係る設置状態判断装置３は、新たに自車両の車速を検出する車速検出部（車速検出手段）８０を備えている。
【００４８】
また、第３実施形態において表示制御部７０は、車速検出部８０により検出された車速が所定速度以下である場合、後方映像について地面側を圧縮し且つ上空側を伸張する処理を禁止し、地面側を伸張し且つ上空側を圧縮する。すなわち、表示制御部７０は、車速が低い場合、後方映像を他の映像と同じように地面が目立つように画像変換して表示部６０に表示させることとなる。
【００４９】
図９は、第３実施形態に係る表示制御部７０によって生成される表示画像例を示す模式図であり、（ａ）は自車両の車速が所定速度以下である場合を示し、（ｂ）は自車両の車速が所定速度を超える場合を示している。
【００５０】
自車両の車速が所定速度以下である場合、表示制御部７０は、後方の映像を他の方向の映像を同じように画像変換する。すなわち、図９（ａ）に示すように、表示制御部７０は、全方向の映像について、地面側を伸張し且つ上空側を圧縮する。一方、自車両の車速が所定速度を超える場合、後方映像については地面側を圧縮し且つ上空側を伸張する。このため、図９（ｂ）に示すように、表示制御部７０は、第２実施形態の表示画像例と同様の画像を表示部６０に表示させることとなる。
【００５１】
図１０は、第３実施形態に係る設置状態判断装置３の動作の詳細を示すフローチャートである。なお、図１０に示すステップＳＴ３１〜ＳＴ３８，ＳＴ４０〜ＳＴ４４の処理は、図７に示したステップＳＴ１１〜ＳＴ１８，ＳＴ１９〜ＳＴ２３の処理と同様であるため、説明を省略する。
【００５２】
撮像方向が後方であると判断した後（ＳＴ３６「ＹＥＳ」の後）、表示制御部７０は、車速検出部８０からの信号を読み込んで、自車両の車速が所定速度以下であるか否かを判断する（ＳＴ３９）。自車両の車速が所定速度以下であると判断した場合（ＳＴ３９：ＹＥＳ）、処理はステップＳＴ３７に移行し、表示制御部７０は図９（ａ）に示すように後方映像についても他の方向の映像を同じように地面側を伸張し上空側を圧縮する。
【００５３】
一方、自車両の車速が所定速度以下でないと判断した場合（ＳＴ３９：ＮＯ）、処理はステップＳＴ４０に移行し、表示制御部７０は図９（ｂ）に示すように後方映像の地面側を圧縮し上空側を伸張する。
【００５４】
このようにして、第３実施形態に係る設置状態判断装置３及び方法によれば、第２実施形態と同様に、車載カメラ１０の設置状態を判断することができる。また、好適な映像を取得することができ、容易に調整を行うことができる。また、車両乗員にとって違和感が少ない映像を提供することができ、好適な情報提示を行うことができる。また、車両乗員に与える違和感を軽減し、混乱を防止することができる。
【００５５】
さらに、第３実施形態によれば、自車両の車速が所定速度以下である場合、自車両の後方側の撮影映像について地面側を圧縮し且つ上空側を伸張することを禁止することとしている。このため、車両が微速走行している場合など、車両の移動量自体が少なく、オプティカルフローが逆となる２つの映像を提示しても違和感を与えにくい場合には、後方側の撮影映像について地面側を圧縮し且つ上空側を伸張することを禁止することとなる。これにより、車両を駐車させるときなどの微速時において地面側の圧縮がなく、地面を見やすい映像が提示されることとなる。従って、駐車時等において車両後方を正確に把握することができる。
【００５６】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。例えば、上記実施形態では、図４などに示すように、自車両画像Ａの周囲に撮影映像Ｂ〜Ｉを表示する形式になっているが、これに限らず、単に左右の車載カメラ１０により撮影された映像を表示部６０に表示させる形式であってもよく、他の表示形式であってもよい。
【００５７】
また、上記実施形態の設置状態調整部５０は、光軸を調整する構成になっていたが、この構成に限るものでなく、例えば光軸を変化させず光軸を中心に車載カメラ１０を回転させるなどの調整機構を備えていてもよい。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施形態に係る設置状態判断装置の構成図である。
【図２】図１に示した車載カメラ及び設置状態調整部の詳細構成図である。
【図３】図１に示した車載カメラによる撮影方向を示す上面図である。
【図４】図１に示した表示部の表示画像例を示す模式図である。
【図５】本実施形態に係る設置状態判断装置の動作の詳細を示すフローチャートである。
【図６】第２実施形態に係る表示制御部によって生成される表示画像例を示す模式図である。
【図７】第２実施形態に係る設置状態判断装置の動作の詳細を示すフローチャートである。
【図８】第３実施形態に係る設置状態判断装置の構成図である。
【図９】第３実施形態に係る表示制御部によって生成される表示画像例を示す模式図であり、（ａ）は自車両の車速が所定速度以下である場合を示し、（ｂ）は自車両の車速が所定速度を超える場合を示している。
【図１０】第３実施形態に係る設置状態判断装置の動作の詳細を示すフローチャートである。
【符号の説明】
【００５９】
１〜３…設置状態判断装置
１０…車載カメラ（撮影手段）
２０…オプティカルフロー算出部（オプティカルフロー算出手段）
３０…記憶部（記憶手段）
４０…設置状態判断部（設置状態判断手段）
５０…設置状態調整部（設置状態調整手段）
６０…表示部（表示手段）
７０…表示制御部（表示制御手段）
８０…車速検出部（車速検出手段）
【特許請求の範囲】
【請求項１】
車両に設置されて車両外側を撮影する撮影手段と、
前記撮影手段により撮影された映像からオプティカルフローを求めるオプティカルフロー算出手段と、
正規の設置状態であるときの撮影手段の撮影映像から求められるオプティカルフローを記憶する記憶手段と、
前記オプティカルフロー算出手段により求められたオプティカルフローと前記記憶手段により記憶されたオプティカルフローとを比較して前記撮影手段の設置状態を判断する設置状態判断手段と、
を備えることを特徴とする設置状態判断装置。
【請求項２】
前記撮像手段の設置状態を調整する設置状態調整手段をさらに備え、
前記設置状態調整手段は、前記設置状態判断手段により判断された設置状態に基づいて、前記撮影手段を正規の設置状態に調整する
ことを特徴とする請求項１に記載の設置状態判断装置。
【請求項３】
前記撮影手段は、撮影方向を変更可能に構成され、
前記設置状態調整手段は、１の撮影方向について前記設置状態判断手段により判断された設置状態に基づいて前記撮影手段を正規の設置状態に調整した場合、この設置状態の調整に基づいて他の撮影方向について調整を行う
ことを特徴とする請求項２に記載の設置状態判断装置。
【請求項４】
前記撮影手段の撮影映像を表示する表示手段と、
前記表示手段に表示させる表示映像を生成する表示制御手段と、をさらに備え、
前記記憶手段は、車両乗員の視点から前記撮影手段の撮影領域を視認した場合のオプティカルフローを記憶し、
前記表示制御手段は、前記撮影手段の撮影映像を前記表示手段に表示させるにあたり、前記撮影手段により撮影された映像を座標変換して、映像内のオプティカルフローを前記記憶手段により記憶されたオプティカルフローに合致させる
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の設置状態判断装置。
【請求項５】
前記表示制御手段は、前記撮影手段の撮影映像の地面側を伸張し且つ上空側を圧縮して、前記撮影手段の撮影映像を前記表示手段に表示させることを特徴とする請求項４に記載の設置状態判断装置。
【請求項６】
前記撮影手段は、自車両の前方側と後方側とを撮影し、
前記表示制御手段は、自車両の前方側を撮影して得られた撮影映像の地面側を伸張し且つ上空側を圧縮し、自車両の後方側を撮影して得られた撮影映像の地面側を圧縮し且つ上空側を伸張して、これら両映像を前記表示手段に表示させる
ことを特徴とする請求項５に記載の設置状態判断装置。
【請求項７】
自車両の車速を検出する車速検出手段をさらに備え、
前記表示制御手段は、前記車速検出手段により検出された自車両の車速が所定速度以下である場合、自車両の後方側の撮影映像について地面側を圧縮し且つ上空側を伸張することを禁止する
ことを特徴とする請求項６に記載の設置状態判断装置。
【請求項８】
撮影手段により車両外側を撮影する撮影ステップと、
前記撮影ステップにおいて撮影された映像からオプティカルフローを求めるオプティカルフロー算出ステップと、
前記撮影手段が正規の設置状態であるときに該撮影手段の撮影映像から求められるオプティカルフローと、前記オプティカルフロー算出手段により求められたオプティカルフローとを比較して前記撮影手段の設置状態を判断する設置状態判断ステップと、
を有することを特徴とする設置状態判断方法。
【請求項１】
車両に設置されて車両外側を撮影する撮影手段と、
前記撮影手段により撮影された映像からオプティカルフローを求めるオプティカルフロー算出手段と、
正規の設置状態であるときの撮影手段の撮影映像から求められるオプティカルフローを記憶する記憶手段と、
前記オプティカルフロー算出手段により求められたオプティカルフローと前記記憶手段により記憶されたオプティカルフローとを比較して前記撮影手段の設置状態を判断する設置状態判断手段と、
を備えることを特徴とする設置状態判断装置。
【請求項２】
前記撮像手段の設置状態を調整する設置状態調整手段をさらに備え、
前記設置状態調整手段は、前記設置状態判断手段により判断された設置状態に基づいて、前記撮影手段を正規の設置状態に調整する
ことを特徴とする請求項１に記載の設置状態判断装置。
【請求項３】
前記撮影手段は、撮影方向を変更可能に構成され、
前記設置状態調整手段は、１の撮影方向について前記設置状態判断手段により判断された設置状態に基づいて前記撮影手段を正規の設置状態に調整した場合、この設置状態の調整に基づいて他の撮影方向について調整を行う
ことを特徴とする請求項２に記載の設置状態判断装置。
【請求項４】
前記撮影手段の撮影映像を表示する表示手段と、
前記表示手段に表示させる表示映像を生成する表示制御手段と、をさらに備え、
前記記憶手段は、車両乗員の視点から前記撮影手段の撮影領域を視認した場合のオプティカルフローを記憶し、
前記表示制御手段は、前記撮影手段の撮影映像を前記表示手段に表示させるにあたり、前記撮影手段により撮影された映像を座標変換して、映像内のオプティカルフローを前記記憶手段により記憶されたオプティカルフローに合致させる
ことを特徴とする請求項１〜請求項３のいずれか１項に記載の設置状態判断装置。
【請求項５】
前記表示制御手段は、前記撮影手段の撮影映像の地面側を伸張し且つ上空側を圧縮して、前記撮影手段の撮影映像を前記表示手段に表示させることを特徴とする請求項４に記載の設置状態判断装置。
【請求項６】
前記撮影手段は、自車両の前方側と後方側とを撮影し、
前記表示制御手段は、自車両の前方側を撮影して得られた撮影映像の地面側を伸張し且つ上空側を圧縮し、自車両の後方側を撮影して得られた撮影映像の地面側を圧縮し且つ上空側を伸張して、これら両映像を前記表示手段に表示させる
ことを特徴とする請求項５に記載の設置状態判断装置。
【請求項７】
自車両の車速を検出する車速検出手段をさらに備え、
前記表示制御手段は、前記車速検出手段により検出された自車両の車速が所定速度以下である場合、自車両の後方側の撮影映像について地面側を圧縮し且つ上空側を伸張することを禁止する
ことを特徴とする請求項６に記載の設置状態判断装置。
【請求項８】
撮影手段により車両外側を撮影する撮影ステップと、
前記撮影ステップにおいて撮影された映像からオプティカルフローを求めるオプティカルフロー算出ステップと、
前記撮影手段が正規の設置状態であるときに該撮影手段の撮影映像から求められるオプティカルフローと、前記オプティカルフロー算出手段により求められたオプティカルフローとを比較して前記撮影手段の設置状態を判断する設置状態判断ステップと、
を有することを特徴とする設置状態判断方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００７−８３２５（Ｐ２００７−８３２５Ａ）
【公開日】平成１９年１月１８日（２００７．１．１８）
【国際特許分類】
【出願番号】特願２００５−１９１７６２（Ｐ２００５−１９１７６２）
【出願日】平成１７年６月３０日（２００５．６．３０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成１９年１月１８日（２００７．１．１８）
【国際特許分類】
【出願日】平成１７年６月３０日（２００５．６．３０）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]