画像処理装置、駐車制御システム、及び、画像処理方法
【課題】画像処理装置の処理負荷を増大させないで複数の機能を十分に発揮させることができる画像処理の技術を提供する。
【解決手段】画像処理装置は、歪みを補正した画像をディスプレイへ出力して表示させる一方で、歪みを補正しない画像に基づいてターゲットの像を認識する。このため、画像処理装置は処理負荷を増大させないようにできる。結果、複数の機能を十分に発揮できる。
【解決手段】画像処理装置は、歪みを補正した画像をディスプレイへ出力して表示させる一方で、歪みを補正しない画像に基づいてターゲットの像を認識する。このため、画像処理装置は処理負荷を増大させないようにできる。結果、複数の機能を十分に発揮できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラが撮影した画像を処理する画像処理の技術に関する。
【背景技術】
【０００２】
近年、カメラが撮影した画像に対して種々の補正を施したのちに、その画像をディスプレイへ出力する画像処理装置が知られている。例えば、カメラによって撮影された画像に映る像が、そのカメラに備わるレンズの特性によって歪んでしまう場合がある。このように歪んだ像を映す画像を歪みの無い像を映す画像に補正する（以降、歪み補正という）技術が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２７９７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カメラによって撮影された画像をディスプレイへ出力する機能と、カメラによって撮影された画像に基づいて人間などのターゲットを認識する機能とを備える画像処理装置がある。このような画像処理装置において、それぞれの機能を発揮するたびに歪み補正を施した画像を利用するとなると処理負荷が増大してしまうという問題がある。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、画像処理装置の処理負荷を増大させないでそれぞれの機能を十分に発揮させることができる画像処理の技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１の発明は、カメラが撮影した画像を処理する画像処理装置であって、前記カメラが撮影した前記画像を取得する取得手段と、取得された前記画像中の像の歪みを補正する補正手段と、補正前の前記画像に基づいてターゲットの像を認識する認識手段と、補正後の前記画像をディスプレイへ出力して表示させる出力手段と、を備えることを特徴とする。
【０００７】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記認識手段は、補正前の前記画像の略中央に設定される対象領域を対象にして前記ターゲットの像を認識することを特徴とする。
【０００８】
また、請求項３の発明は、請求項１に記載の画像処理装置において、前記認識手段は、補正前の前記画像の端部近傍に設定される対象領域を対象にして前記ターゲットの像を認識し、前記対象領域の像の歪みの程度に応じて前記ターゲットの像を認識する方向を変更することを特徴とする。
【０００９】
また、請求項４の発明は、請求項１乃至３の何れかに記載の画像処理装置において、前記カメラは車両に搭載され、前記車両の周辺を撮影するものであり、前記ターゲットは前記車両が走行する経路上の障害物であり、前記認識手段が前記障害物の像を認識した場合は、ユーザへその旨を報知する報知手段、をさらに備えることを特徴とする。
【００１０】
また、請求項５の発明は、請求項４に記載の画像処理装置において、前記障害物は人間であり、前記認識手段が前記人間の像を認識した場合は、ユーザへその旨を報知する報知手段、をさらに備えることを特徴とする。
【００１１】
また、請求項６の発明は、請求項１乃至５の何れかに記載の画像処理装置において、前記カメラのレンズは魚眼レンズであることを特徴とする。
【００１２】
また、請求項７の発明は、車両を駐車させる制御をする駐車制御システムであって、車両に備わるカメラが撮影した前記車両の周辺の画像を取得する取得手段と、取得された前記画像中の像の歪みを補正する補正手段と、補正前の前記画像に基づいて路面に表示された駐車枠の像を認識する認識手段と、補正後の前記画像をディスプレイへ出力して表示させる出力手段と、前記認識手段に認識された前記駐車枠の像に基づいて、前記車両の挙動を制御して前記駐車枠へ前記車両を駐車させる制御手段と、をさらに備えることを特徴とする。
【００１３】
また、請求項８の発明は、カメラが撮影した画像を処理する画像処理方法であって、（ａ）前記カメラが撮影した前記画像を取得する工程と、（ｂ）取得された前記画像中の像の歪みを補正する工程と、（ｃ）補正前の前記画像に基づいてターゲットの像を認識する工程と、（ｄ）補正後の前記画像をディスプレイへ表示する工程と、を備えることを特徴とする。
【発明の効果】
【００１４】
請求項１及び８の発明によれば、画像中の像の歪みを補正した画像がディスプレイへ表示される一方で、その歪みを補正しない画像がターゲットの像を認識する処理に利用されるため、画像処理装置の処理負荷を増大させないようにできる。
【００１５】
また、請求項２の発明によれば、像の歪みの程度が小さい画像の略中央に設定される対象領域を対象にしてターゲットの像が認識されるため、その認識の精度を高くできる。
【００１６】
また、請求項３の発明によれば、像の歪みの程度が大きい画像の端部近傍に設定された対象領域を対象にしてターゲットの像が認識される場合に、その歪みの程度に応じてターゲットの像を認識する方向が変更されるため、その認識する精度を高めることができる。
【００１７】
また、請求項４の発明によれば、歪みを補正しない画像が障害物の像を認識する処理に利用されるため、画像処理装置の処理負荷を増大させないようにできる。結果、車両の走行する経路上に存在する障害物を遅延することなくユーザへ報知できる。
【００１８】
また、請求項５の発明によれば、歪みを補正しない画像が人間の像を認識する処理に利用されるため、画像処理装置の処理負荷を増大させないようにできる。結果、車両の周辺に存在する人間を遅延することなくユーザへ報知できる。
【００１９】
また、請求項６の発明によれば、カメラのレンズに魚眼レンズが用いられるため、広範囲の画像を取得することができる。
【００２０】
また、請求項７の発明によれば、歪みを補正をする前の画像が車両を駐車させる制御に用いられるため、駐車制御システムの処理負荷を増大させないようにできる。結果、その制御を遅延することなく実行できる。
【図面の簡単な説明】
【００２１】
【図１】図１は、第１の実施の形態の駐車制御システムのブロックを示す図である。
【図２】図２は、第１の実施の形態の車両におけるカメラの取り付け位置を示す図である。
【図３】図３は、第１の実施の形態の車両に搭載されたカメラの撮影範囲を示す図である。
【図４】図４は、第１の実施の形態の第１制御フローを示す図である。
【図５】図５は、第１の実施の形態の車両に搭載された複数のカメラそれぞれが撮影した画像の一例を示す図である。
【図６】図６は、第１の実施の形態の樽型に歪んだ像を映す画像の一例を示す図である。
【図７】図７は、第１の実施の形態の歪み補正の手法を説明するための図である。
【図８】図８は、第１の実施の形態の歪み補正の手法を説明するための図である。
【図９】図９は、第１の実施の形態の歪み補正の手法を説明するための図である。
【図１０】図１０は、第１の実施の形態の歪み補正の手法を説明するための図である。
【図１１】図１１は、第１の実施の形態の歪み補正の手法を説明するための図である。
【図１２】図１２は、第１の実施の形態の第２制御フローを示す図である。
【図１３】図１３は、第１の実施の形態のリヤカメラが撮影した画像の一例を示す図である。
【図１４】図１４は、第１の実施の形態の画像の略中央に設定される領域に対して縦エッジを検出したことを示す図である。
【図１５】図１５は、第１の実施の形態の画像の略中央に設定される領域に対して横エッジを検出したことを示す図である。
【図１６】図１６は、第１の実施の形態の「車庫入れ駐車」を説明するための図である。
【図１７】図１７は、第１の実施の形態の第３制御フローを示す図である。
【図１８】図１８は、第１の実施の形態のリヤカメラが撮影した画像の一例を示す図である。
【図１９】図１９は、第１の実施の形態の駐車枠と車両との相対距離を導出する手法を説明するための図である。
【図２０】図２０は、第２の実施の形態の第４制御フローを示す図である。
【図２１】図２１は、第２の実施の形態の左サイドカメラが撮影した画像の一例を示す図である。
【図２２】図２２は、第２の実施の形態の画像の端部近傍に設定された領域に映る像の縦エッジを検出する手法を説明する図である。
【図２３】図２３は、第２の実施の形態の画像の端部近傍に設定された領域に映る像の縦エッジの検出結果を示す図である。
【図２４】図２４は、第２の実施の形態の画像の端部近傍に設定された領域に映る像の横エッジの検出結果を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２３】
＜第１の実施の形態＞
＜１．構成＞
図１は、第１の実施の形態の画像処理装置２の構成を示す図である。この画像処理装置２は、車両１に搭載されるリヤカメラ６などが撮影した車両１の周辺の画像をディスプレイ１０へ表示する機能（以降、表示機能という）を備える。また、画像処理装置２は、リヤカメラ６などが撮影した車両１の周辺の画像に基づいて車両１の走行する経路上のターゲットを認識した場合に、ユーザ（代表的には車両１のドライバ）へその旨を報知する機能（以降、報知機能という）を備える。また、画像処理装置２は、リヤカメラ６などが撮影した車両１の周辺の画像に基づいて車両１を制御して、車両１を駐車枠内の駐車スペースへ駐車させる機能（以降、駐車機能という）を備える。
【００２４】
この画像処理装置２は図１に示すように駐車制御システムＳＹに備わる。つまり、この駐車制御システムＳＹは、画像処理装置２、フロントカメラ３、左サイドカメラ４、右サイドカメラ５、リヤカメラ６（以降において、カメラ３〜６という）、ディスプレイ１０、及び、駐車制御装置１２などを備える。画像処理装置２は、カメラ３〜６、ディスプレイ１０、スピーカ１１、及び、駐車制御装置１２などとケーブルによって電気的に接続される。駐車制御装置１２は、画像処理装置２、エンジン制御装置７、操舵装置８、及び、ブレーキ装置９などとケーブルによって電気的に接続される。
【００２５】
図２に示すようにフロントカメラ３は、車両１の前端にあるナンバープレート取り付け位置の近傍に設けられ、その光軸は車両１の直進方向へ向けられている。左サイドカメラ４は、左サイドミラーに設けられており、その光軸は車両１の直進方向を基準にした左方向に沿って外部へ向けられている。右サイドカメラ５は、右サイドミラーに設けられており、その光軸は車両１の直進方向を基準にした右方向に沿って外部へ向けられている。リヤカメラ６は、車両１の後端にあるナンバープレート取り付け位置の近傍に設けられ、その光軸は車両１の直進方向の逆方向へ向けられている。なお、フロントカメラ３やリヤカメラ６の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。カメラ３〜６はそれぞれ魚眼レンズを備えている。魚眼レンズを備えたカメラ３〜６の画角は１８０度以上である。このため、カメラ３〜６を利用することで、図３に示すように、車両１の全周囲Ｈ１〜Ｈ４の撮影が可能となっている。
【００２６】
画像処理装置２は、取得部２０、画像処理部２１、制御部２２、及び、出力部２３などを備える。取得部２０は、例えば、インターフェースであり、カメラ３〜６が撮影した画像などを取得する。出力部２３は、例えば、インターフェースであり、画像処理部２１が補正した画像などをディスプレイ１０などの外部へ出力する。画像処理部２１は、認識部３０、及び、補正部３１などを備える。画像処理部２１は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェア回路である。認識部３０は、補正前の画像に基づいてターゲットである人間の像を認識する処理（以降、第１認識処理という）を実行する。更に、認識部３０は、補正前の画像に基づいてターゲットである駐車枠の像を認識する処理（以降、第２認識処理という）を実行する。認識部３０が実行する第１認識処理及び第２認識処理の詳細については後述する。補正部３１は、取得部２０を介して取得された画像中の像の歪みを補正する処理（以降、補正処理という）を実行する。補正部３１が実行するこの補正処理の詳細については後述する。
【００２７】
制御部２２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを備えるマイクロコンピュータである。ＣＰＵは、ＲＯＭに記憶された種々のプログラムに従って演算処理を行うことで種々の機能を実現させる。この制御部２２は、不揮発性記憶部３２、導出部３３、及び、報知部３４などを備える。不揮発性記憶部３２は、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）などである。この不揮発性記憶部３２は、補正部３１が補正処理を実行する際の補正用パラメータなどを記憶している。導出部３３は、認識されたターゲットである路面に表示された駐車枠の像に基づいて、駐車枠と車両１との相対距離を導出する処理（以降、導出処理という）を実行する。導出部３３が実行するこの導出処理の詳細については後述する。報知部３４は、認識部３０が第１認識処理を実行することによりターゲットである人間を認識した場合に、スピーカ１１を制御してユーザへその旨を報知する。
【００２８】
駐車制御装置１２は、例えば、マイクロコンピュータなどの電子部品が実装された電子基板などを備える。この駐車制御装置１２は、駐車制御部３５などを備える。駐車制御部３５は、エンジン制御装置７、操舵装置８、及び、ブレーキ装置９などと協働して車両１の速度、方向、及び、停止位置などを制御して駐車枠内の駐車スペースへ車両１を駐車させる。つまり、駐車制御部３５は、導出部３３によって導出された駐車枠と車両１との相対距離に基づいて車両１を駐車枠内の駐車スペースへ駐車させる制御（以降、駐車制御という）を実行する。駐車制御部３５が実行するこの駐車制御の詳細については後述する。
【００２９】
＜２．制御＞
次に、画像処理装置２が表示機能、報知機能、及び駐車機能を発揮するために実行する制御について説明する。画像処理装置２は、表示機能を実現する第１制御、報知機能を実現する第２制御、及び、駐車機能を実現する第３制御をそれぞれ所定のタイミングで実行する。なお、それぞれの機能の制御を同時期に実行する場合は、画像処理装置２はそれぞれの機能の制御を並列に実行する。
【００３０】
＜２．１．第１制御＞
まず、表示機能を実現する第１制御について説明する。図４は第１制御の処理フロー（以降、第１制御フローという）を示す図である。ユーザにより「駐車制御」を実行するボタンが操作された場合に、画像処理装置２は図４に示す第１制御フローを所定の周期（以降、第１の周期という）で実行する。なお、第１の周期は、例えば、２５ｍｓである。つまり、画像処理装置２は、第１の周期ごとに第１制御フローのステップＳＡ１の処理を実行する。そのときに、取得部２０が、リヤカメラ６によって撮影された車両１の後方周辺の画像、即ち、図５に示す画像Ｚ４を取得する（ステップＳＡ１）。
【００３１】
リヤカメラ６が撮影した画像Ｚ４を取得するのは、車両１が駐車制御により後進している場合である。また、車両１が駐車制御により左方向に曲がりつつ後進する場合は、左サイドカメラ４及びリヤカメラ６が撮影した画像、即ち、図５に示す画像Ｚ２及びＺ４を取得する。また、車両１が駐車制御により右方向に曲がりつつ後進する場合は、右サイドカメラ５及びリヤカメラ６が撮影した画像、即ち、図５に示す画像Ｚ３及びＺ４を取得する。また、車両１が駐車制御により駐車枠内の駐車スペースに停車した場合は、フロントカメラ３が撮影した画像、即ち、図５に示す画像Ｚ１を取得する。
【００３２】
次に、補正部３１は補正処理を実行することによって画像中の像の歪みを補正する（ステップＳＡ２）。
【００３３】
１８０度以上の画角θを有する魚眼レンズを備えたカメラ３〜６は、車両１の周辺の広い範囲を撮影できる一方で、その撮影された画像に映る像は樽型に歪んでしまう。本来、画像は、画像に映る物体の像と実際の物体とが相似形になっていることが理想である。
【００３４】
従って、画像処理装置２は、樽型に歪んだ像が映る画像をそのような理想の形状の像が映る画像へと補正（以降、この補正を歪み補正という）する必要がある。この歪み補正の方法としては周知の種々の手法が利用可能であるが、そのうちの一例について説明する。まず、補正部３１が、図６に示すような樽型に歪んだ像を映す画像Ｚ２の四隅を対角線上において画像Ｚ２の中心とは逆方向へ引っ張ったような画像、即ち、図７に示すような画像Ｚ２Ｘを生成する。これによって、樽型に歪んだ像を映す画像Ｚ２をそのような理想の画像Ｚ２Ｘへと補正することができる。
【００３５】
その生成方法を具体的に説明する。補正部３１は、図６に示すように、樽型に歪んだ像を映す画像Ｚ２へ複数のブロックＢＬをその歪みに沿って配置する。換言すると、補正部３１は、図６に示すような樽型の歪みに沿った碁盤の目が重畳された画像Ｚ２を把握する。そして、補正部３１は、図７に示すように、樽型の歪みとは逆に歪んだ仮想の画像Ｚ２Ｘへ複数のブロックＢＬＸをその歪みに沿って配置する。換言すると、補正部３１は、図７に示すような樽型の歪みとは逆の歪みに沿った碁盤の目が重畳された画像Ｚ２Ｘを把握する。
【００３６】
そして、補正部３１は、画像Ｚ２に配置した複数のブロックＢＬ内に含まれる複数のピクセルのそれぞれの座標を、不揮発性記憶部３２に記憶されている補正用パラメータに従って、仮想の画像Ｚ２Ｘ内に配置した複数のブロックＢＬＸ内の座標に変換する。この補正用パラメータは、魚眼レンズの特性に合わせたパラメータである。具体的には、補正用パラメータは、画像Ｚ２に配置した複数のブロックＢＬ内に含まれる複数のピクセルのそれぞれの座標と、仮想の画像Ｚ２Ｘに配置したブロックＢＬＸ内の座標との対応関係を示している。
【００３７】
そして、補正部３１は、変換した座標に基づいて画像Ｚ２の複数のピクセルを仮想の画像Ｚ２Ｘへ転送する。ここで、仮想の画像Ｚ２Ｘの多くのブロックＢＬは、画像Ｚ２のブロックＢＬより面積が大きくなる。このため。画像Ｚ２のそれぞれのピクセルを仮想の画像Ｚ２Ｘの座標位置へ単純に転送すると、理想の画像Ｚ２Ｘのブロック内にはピクセルが転送されていないエリアが存在してしまう。従って、補正部３１は、このエリアを周囲のピクセルが持つ色情報に基づいて補完する。つまり、補正部３１は、周囲のピクセルが持つ色の中間の色の情報を持つピクセルをそのエリアへ配置する。
【００３８】
このような補正処理を補正部３１が実行することによって、例えば、図８に示すように、フロントカメラ３が撮影した歪んだ画像Ｚ１を、歪んでいない画像Ｚ１Ｘへと変換することができる。また、図９に示すように、左サイドカメラ４が撮影した歪んだ画像Ｚ２を、歪んでいない画像Ｚ２Ｘへと変換することができる。また、図１０に示すように、右サイドカメラ５が撮影した歪んだ画像Ｚ３を、歪んでいない画像Ｚ３Ｘへと変換することができる。また、図１１に示すように、リヤカメラ６が撮影した歪んだ画像Ｚ４を、歪んでいない画像Ｚ４Ｘへと変換することができる。一方で、このような複雑な補正処理が頻繁に実行されると、画像処理装置２の処理負荷を増大させてしまうことになる。結果、それぞれの機能が十分に発揮されない虞がある。
【００３９】
このような補正処理が完了すると、出力部２３は、補正後の画像をディスプレイ１０へ出力して表示させる（図４のステップＳＡ３）。これにより、像の歪みが補正された画像がディスプレイ１０に表示される。
【００４０】
画像処理装置２がこのような第１制御フローを実行することによって、その表示機能を適切に機能させることができる。また、第１の周期で第１制御フローが実行されるため、車両１が駐車制御されるのと同時に、ディスプレイ１０において車両１の周辺の画像をリアルタイムに表示させることができる。結果、ユーザは車両１を駐車させるときの車両１の周辺の様子をディスプレイ１１に映る画像によって確認できる。
【００４１】
＜２−２．第２制御＞
次に、報知機能を実現する第２制御について説明する。図１２は第２制御の処理フロー（以降、第２制御フローという）を示す図である。画像処理装置２は、ユーザにより「駐車制御」を実行するボタンが操作された場合に、図１２に示す第２制御フローを第１の周期よりも長い周期（以降、第２の周期という）で実行する。なお、第２の周期は、例えば、３３ｍｓである。まず、画像処理装置２は、第２の周期ごとに図１２に示す第２制御フローのステップＳＢ１の処理を実行する。そのときに、取得部２０が、リヤカメラ６によって撮影された車両１の後方周辺の画像、即ち、図５に示す画像Ｚ４を取得する（ステップＳＢ１）。なお、リヤカメラ６が撮影した画像Ｚ４を取得するのは、車両１が駐車制御により後進している場合である。
【００４２】
次に、認識部３０は第１認識処理を実行して画像に含まれるターゲットである人間の像を認識する（ステップＳＢ２）。ここで、ターゲットとはそれぞれの機能が、その機能を発揮させるために画像に基づいて認識すべき対象をいう。
【００４３】
その第１認識処理をわかりやすく説明するために、車両１が駐車制御により後進している場合を前提にして説明する。この場合においては、リヤカメラ６が撮影した画像に基づいて認識部３０がターゲットである人間の像を認識したときに、ユーザへその旨を報知して、車両１と人間との接触を回避させる。
【００４４】
車両１が駐車制御により後進している場合においては、車両１は比較的低速（例えば、時速３ｋｍ／ｈ）で後進する。このため、車両１の後部から後方の狭い範囲内（例えば、１ｍ以内）に存在する人間を認識した場合にその旨をユーザへ報知しても、ユーザは車両１と人間とが接触する前に車両１を停止させることができる。結果、ユーザは車両１と人間との接触を回避させることができる。
【００４５】
つまり、車両１と人間との接触の危険性をユーザへ報知してその接触を回避させるためには、認識部３０は車両１の後部から後方１ｍ以内に存在する人間の存在を認識するだけで十分である。
【００４６】
図１３に示す画像Ｚ４Ｘはリヤカメラ６が撮影した画像である。この画像Ｚ４Ｘの中央近傍には車両１の後部から後方１ｍ以内に存在する人間の像Ｈｍが映る。この画像Ｚ４Ｘのように、車両１の後部から後方１ｍ以内に存在する人間は、画像Ｚ４Ｘの略中央に設定される領域Ｆ１において、その人間の像Ｈｍが映ることが経験的に多く認められる。
【００４７】
従って、認識部３０は、画像Ｚ４Ｘに設定される領域Ｆ１に対してだけ人間の像Ｈｍを認識する第１認識処理を実行すれば、画像Ｚ４Ｘの全体に対して人間の像Ｈｍを認識する処理を実行する場合と比較して処理負荷を少なくできる。
【００４８】
また、前述したように、魚眼レンズを備えたリヤカメラ６によって撮影された画像Ｚ４Ｘに映る像は樽型に歪んでしまう特性を有している。この樽型に歪んだ像を映す画像Ｚ４Ｘは、その画像Ｚ４Ｘの中央から周辺に向かうほどその歪みの程度が大きくなっていくため、このような画像Ｚ４Ｘに基づいて第１認識処理を行うとその周辺に位置する人間の像Ｈｍの認識精度は比較的低くなる。
【００４９】
逆にいうと、樽型に歪んだ像を映す画像Ｚ４Ｘは、その画像Ｚ４Ｘの周辺から中心に向かうほどその歪みの程度が小さくなっていくため、このような画像Ｚ４Ｘに基づいて第１認識処理を行うとその中央に位置する人間の像Ｈｍの認識精度は比較的高くなる。
【００５０】
従って、リヤカメラ６が撮影した画像Ｚ４Ｘの略中央に設定される領域Ｆ１に対して第１認識処理を実行すれば、車両１の後部から後方１ｍ以内に存在する人間を十分な精度で検出できる。このため、前述した補正処理を施さない画像Ｚ４Ｘ、即ち、樽型に歪んだ像を映す画像Ｚ４Ｘに基づいて第１認識処理を実行できる。換言すると、第２制御フローにおいて比較的処理負荷が大きい補正処理を実行しないことにより画像処理装置２の処理負荷を増大させないようにできる。
【００５１】
この第１認識処理をより具体的に説明する。まず、認識部３０は、画像Ｚ４Ｘの略中央に設定される領域Ｆ１に対してエッジ検出処理を実行する。エッジ検出処理は、画像Ｚ４Ｘに設定される領域Ｆ１の縦方向、即ち、図１３に示すＹ軸方向のエッジを検出する。更に、エッジ検出処理は、画像Ｚ４Ｘに設定される領域Ｆ１の横方向、即ち、図１３に示すＸ軸方向のエッジを検出する。図１４は、画像Ｚ４Ｘに設定される領域Ｆ１に対して縦方向のエッジ（以降、縦エッジという）を検出したことを示す図である。また、図１５は、画像Ｚ４Ｘに設定される領域Ｆ１に対して横方向のエッジ（以降、横エッジという）を検出したことを示す図である。そして、領域Ｆ１に比較的短い横エッジＥｄ２と比較的長い縦エッジＥｄ１とが交わる状態で存在する場合、或いは、それらが近接する状態で存在する場合に、認識部３０は人間の下半身が領域Ｆ１に存在する確度が高いと判断して、人間を認識する。
【００５２】
このような第１認識処理が完了すると、報知部３４は、ターゲットである人間が認識部３０によって認識されたか否かを判断する（図１２のステップＳＢ３）。
【００５３】
人間が認識された場合は、報知部３４はその旨を知らせる音をスピーカ１１へ出力させる制御信号を出力部２３を介して出力する（ステップＳＢ４）。
【００５４】
一方で、ステップＳＢ３において、人間が認識されなかった場合には、報知処理が実行されずにそのまま処理を終了する。
【００５５】
画像処理装置２がこのような第２制御フローを実行することによって、その報知機能を適切に機能させることができる。また、第２制御において画像Ｚ４Ｘに補正処理を施さない画像Ｚ４Ｘ、即ち、樽型に歪んだ像を映す画像Ｚ４Ｘに基づいて人間の像Ｈｍを認識するため、画像処理装置２の処理負荷を増大させないようにできる。結果、ユーザは車両１を駐車させるときに、車両１の周辺に存在する人間を遅延することなく知ることができる。
【００５６】
＜２−３．第３制御＞
次に、駐車機能を実現する第３制御について説明する。まず、駐車制御システムＳＹが実行する駐車制御の駐車方法について説明する。駐車制御システムＳＹが実行する駐車方法は、所謂、「車庫入れ駐車」である。
【００５７】
図１６は、車両１の「車庫入れ駐車」を説明するための図である。図１６に示すような駐車場において、車両１が初期位置Ｐ１でその駐車を開始させる指示をユーザから受け付けたときに、駐車制御システムＳＹは車両１を、初期位置Ｐ１から後進開始位置Ｐ２へと前進させる。次に、駐車制御システムＳＹは車両１を後進開始位置Ｐ２で一旦停車させる。次に、駐車制御システムＳＹは車両１を後進開始位置Ｐ２から後進させて駐車枠内の駐車スペースＰＳで停車させる。
【００５８】
図１７は第３制御の処理フロー（以降、第３制御フローという）を示す図である。画像処理装置２はユーザにより「駐車制御」を実行するボタンが操作された場合で、車両１が後進開始位置Ｐ２で一旦停車したときに、図１７に示す第３制御フローを第２の周期よりも長い周期（以降、第３の周期という）で実行する。なお、第３の周期は、例えば、４５ｍｓである。まず、画像処理装置２は、第３の周期ごとに第３制御フローのステップＳＣ１の処理を実行する。そのときに、取得部２０は、リヤカメラ６によって撮影された画像を取得する（ステップＳＣ１）。
【００５９】
次に、認識部３０は、取得部２０を介して取得したリヤカメラ６によって撮影された画像に基づいて、駐車場の駐車枠内の駐車スペースＰＳを認識する第２認識処理を実行する（ステップＳＣ２）。
【００６０】
駐車制御システムＳＹが車両１を後進開始位置Ｐ２で一旦停車させた場合に、認識部３０はリヤカメラ６によって撮影された図１８に示す画像Ｚ４Ｙに基づいて、車両１の後方に存在する駐車枠の像Ｌを認識する。
【００６１】
具体的には、認識部３０は、エッジ検出処理を画像Ｚ４Ｙの略中央に設定される領域Ｆ２に対して実行する。そして、検出されたエッジにより把握されたものが駐車枠の像Ｌであるとする確度が高い場合に、認識部３０は駐車枠の像Ｌの存在を認識する。領域Ｆ２を対象にして駐車枠の像Ｌを認識する理由は、車両１が後進開始位置Ｐ２に位置するときに、リヤカメラ６によって撮影された画像Ｚ４Ｙの略中央に設定される領域Ｆ２において駐車枠の像Ｌが映ることが経験的に多く認められるからである。
【００６２】
従って、認識部３０は、画像Ｚ４Ｙに設定される領域Ｆ２に対してだけ第２認識処理を実行することによって、画像Ｚ４Ｙの全体に対して第２認識処理を実行する場合と比較してその処理負荷を少なくできる。
【００６３】
また、前述したように、魚眼レンズを備えたリヤカメラ６が撮影した画像Ｚ４Ｙに映る像は樽型に歪んでしまう特性を有している。この樽型に歪んだ像を映す画像Ｚ４Ｙは、その画像Ｚ４Ｙの中央から周辺に向かうほどその歪みの程度が大きくなっていくため、この画像Ｚ４Ｙに基づいて第２認識処理を実行するとその周辺に位置する駐車枠の像Ｌの認識精度は比較的低くなる。
【００６４】
逆にいうと、樽型に歪んだ像を映す画像Ｚ４Ｙは、その画像Ｚ４Ｙの周辺から中心に向かうほどその歪みの程度が小さくなっていくため、画像Ｚ４Ｙに基づいて第２認識処理をしてもその略中央に位置する駐車枠の像Ｌの認識精度は比較的高くなる。
【００６５】
従って、車両１が後進開始位置Ｐ２に位置するときにリヤカメラ６が撮影した画像Ｚ４Ｙの略中央に設定される領域Ｆ２に対して第２認識処理を実行すれば駐車枠を十分に検出できる。
【００６６】
このため、前述した補正処理を施さない画像Ｚ４Ｙ、即ち、樽型に歪んだ像を映す画像Ｚ４Ｙに基づいて第２認識処理を実行できる。換言すると、第３制御フローで比較的処理負荷が大きい補正処理を実行しないことにより画像処理装置２の処理負荷を増大させないようにできる。
【００６７】
第２認識処理が完了すると、導出部３３は、認識された路面に表示された駐車枠の像Ｌに基づいて、駐車枠と車両１との相対距離を導出する導出処理を実行する（図１７のステップＳＣ３）。
【００６８】
図１９は、駐車枠と車両１との相対距離を導出する手法を説明するための図である。導出部３３は、認識部３０によって認識された駐車枠の像Ｌに基づいて駐車枠と車両１との相対距離を導出する。具体的には、駐車枠の像Ｌに基づいて把握される駐車スペースＰＳと車両１の位置である後進開始位置Ｐ２との相対距離を導出部３３が導出する。そして、導出部３３は、導出した相対距離に基づいて車両１を駐車スペースＰＳへと誘導するための仮想マップ上のルートＲを導出する。この仮想マップ上のルートＲは、後進開始位置Ｐ２から駐車スペースＰＳへ車両１を最短で誘導できるように導出される。更に、この仮想マップ上のルートＲは、車両１を誘導する際に車両１と駐車されている他の車両などとが接触しないように導出される。この仮想マップは、図１９に示すように、車両１を仮想の視点から俯瞰した際のｘｙ座標によって定義される。この仮想マップにおいて、車両１の後進開始位置Ｐ２は座標の原点（ｘ＝０、ｙ＝０）に設定される。また、仮想マップ上のルートＲについても適切な座標が設定される。
【００６９】
導出処理が完了すると、駐車制御部３５は、導出部３３によって導出された駐車枠と車両１との相対距離に基づいて車両１を駐車枠内の駐車スペースＰＳへ駐車させる駐車制御を実行する（図１７のステップＳＣ４）。
【００７０】
駐車制御部３５は、導出部３３によって導出された仮想マップ上のルートＲに基づいて車両１を駐車させる。つまり、駐車制御部３５は、仮想マップ上のルートＲと仮想マップ上の車両１の現在位置とを一致させるようにして、車両１の挙動を制御して車両１を駐車スペースＰＳへ移動させる。
【００７１】
画像処理装置２がこのような第３制御フローを実行することによって、その駐車機能を適切に機能させることができる。また、第３制御において補正処理を施さない画像Ｚ４Ｙ、即ち、樽型に歪んだ像が映る画像Ｚ４Ｙに基づいて駐車枠の像Ｌを認識し、認識した駐車枠の像Ｌに基づいて駐車制御を実行するため、その制御を遅延することなく実行できる。
【００７２】
以上説明したように、第１制御、第２制御、及び、第３制御を実行する画像処理装置２は、歪みを補正した画像をディスプレイ１０へ出力して表示させる一方で、歪みを補正しない画像に基づいてターゲットの像を認識するため、画像処理装置２の処理負荷を増大させないようにできる。
【００７３】
＜３．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態においては、車両１が駐車制御により後進しているときに、リヤカメラ６によって撮影された画像に基づいて車両１の後方に存在する人間の像Ｈｍを認識部３０が認識していた。これに対して、第２の実施の形態では車両１が駐車制御により左方向へ曲がりつつ後進しているときに、左サイドカメラ４によって撮影された画像に基づいて車両１の左側後方に存在する他の車両の像を認識部３０が認識する。
【００７４】
以下、第２の実施の形態の画像処理装置２の構成及び処理フローは第１の実施の形態と略同様であるため、第１の実施の形態との相違点を中心に説明する。
【００７５】
図２０は、第２の実施の形態の画像処理装置２が発揮する報知機能を実現する第４制御の処理フロー（以降、第４制御フローという）を示す図である。この第４制御フローは、ユーザにより「駐車制御」を実行するボタンが操作された場合に、第１の周期よりも長い周期（以降、第２の周期という）で画像処理装置２によって実行される。なお、第２の周期は、例えば、３３ｍｓある。
【００７６】
図２０に示すステップＳＤ１、ＳＤ３、及び、ＳＤ４の処理は、図１２に示すステップＳＢ１、ＳＢ３、及び、ＳＢ４の処理と同一である。つまり、左サイドカメラ４が撮影した車両１の側方周辺の画像、即ち、図５に示す画像Ｚ２を取得部２０が取得する（ステップＳＤ１）。次に、認識部３０は第３認識処理を実行して画像Ｚ２に含まれるターゲットである他の車両の像を認識する（ステップＳＤ２）。
【００７７】
図２１は、左サイドカメラ４が撮影した画像Ｚ２Ｙの一例を示す図である。この画像Ｚ２Ｙの左端近傍には車両１の側方後部から後方１ｍ以内に存在する他の車両の像ＣＲが映る。この画像Ｚ２Ｙのように、車両１の側方後部から後方１ｍ以内に存在する他の車両は、画像Ｚ２Ｙの左端近傍に設定される領域Ｆ３において、他の車両の四隅の一部の像が映ることが経験的に多く認められる。
【００７８】
従って、認識部３０は、画像Ｚ２Ｙの近傍に設定される領域F３に対して、第３認識処理を実行することによって、他の車両の像ＣＲの認識の精度を高めることができ、その処理負荷を増大させないようにできる。この第３認識処理について詳細に説明する。
【００７９】
認識部３０は、まず、図２１に示す画像Ｚ２Ｙの端部近傍に設定された領域Ｆ３を対象にしてエッジ検出処理を実行する。画像に映る像に歪みが少ない場合は、認識部３０は領域Ｆ３に映る像の縦エッジと横エッジとを検出することによって、他の車両の像ＣＲを比較的容易に認識できる。しかしながら、認識部３０が利用する画像Ｚ２Ｙには、映る像に歪みがあり、さらに、画像Ｚ２Ｙの中央から周辺に向かうほどその歪みの程度は大きくなる特性を有している。このため、画像Ｚ２Ｙの端部近傍に設定された領域Ｆ３に映る像の歪みは比較的大きくなっている。従って、この領域Ｆ３を対象にして縦エッジ及び横エッジを検出しても、認識部３０は他の車両の像ＣＲの縦エッジ及び横エッジを正しく検出できない虞がある。結果、認識部３０は他の車両を認識する精度を低下させてしまう。
【００８０】
このような虞があるため、認識部３０は、領域Ｆ３に映る像の歪みを考慮して他の車両の像ＣＲの横エッジ及び縦エッジを検出する必要がある。つまり、認識部３０は、領域Ｆ３に映る像の歪みの程度に応じて他の車両の像を認識する方向を変更する。
【００８１】
図２２は、画像Ｚ２Ｙの端部近傍に設定された領域Ｆ３に映る像の縦エッジを検出する手法を説明する図である。図２２においては、左サイドカメラ４で得られた像の歪みの程度が多い画像（以下、「歪画像」という。）Ｚ２Ｙとともに、像の歪みの程度が少ない画像（以下、「通常画像」という。）Ｚ２ａを比較対象として示している。これらの歪画像Ｚ２Ｙ及び通常画像Ｚ２ａの双方の同一の位置に、像の検出対象とする領域Ｆ３を設定している。
【００８２】
通常画像Ｚ２ａでは、領域Ｆ３において、他の車両の像ＣＲの垂直ラインは水平ラインＨｚに対して９０度の角度をなして映る。これに対して、歪画像Ｚ２Ｙでは、領域Ｆ３において、他の車両の像ＣＲの垂直ラインは水平ラインＨｚに対して１２０度の角度をなして映る。なお、水平ラインＨｚはそれぞれの画像の左右方向（Ｘ軸方向）に沿ったラインである。
【００８３】
したがって、通常画像Ｚ２ａの像の方向を基準方向とした場合、歪画像Ｚ２Ｙの像の方向は、基準方向に対して３０度傾いていることになる。認識部３０は、このような基準方向に対する実際の像の方向の傾きの角度をオフセット値Ｏｖとして予め記憶している。このようなオフセット値Ｏｖは、領域Ｆ３における像の歪みの程度に相当する。像の歪みの程度は画像中の光軸に対応する位置から離れるほど大きくなる。したがって、画像中の光軸に対応する位置に対する領域Ｆ３の位置に応じて、オフセット値Ｏｖは規定される。
【００８４】
認識部３０は、このオフセット値Ｏｖを、歪画像Ｚ２Ｙに基づいて他の車両の像ＣＲを認識する際に適用して、オフセット値Ｏｖに応じて他の車両の像を認識する方向を変更する。これにより、他の車両の像ＣＲの認識精度を高くするようにしている。具体的には、認識部３０は、縦エッジを検出する際には、画像Ｚ２Ｙの領域Ｆ３において、水平ラインＨｚに対して９０度となる垂直ラインを基準とし、その基準の垂直ラインに対してオフセット値Ｏｖの角度を傾かせた想定ラインを導出する。そして、この想定ラインに略平行なエッジを検出することによって、領域Ｆ３に映る像の縦エッジを高精度に検出できる。一方、認識部３０は、横エッジを検出する際には、画像Ｚ２Ｙの領域Ｆ３において、水平ラインＨｚを基準とし、その基準の水平ラインに対してオフセット値Ｏｖの角度を傾かせた想定ラインを導出する。そして、この想定ラインに略平行なエッジを検出することによって、領域Ｆ３に映る像の横エッジを高精度に検出できる。
【００８５】
図２３は、領域Ｆ３に映る像の縦エッジの検出結果を示す図である。図２３に示すように、オフセット値Ｏｖが考慮されて導出された想定ライン、即ち、垂直ラインに対して３０度傾いた想定ラインと略平行な縦エッジが検出されている。なお、この場合においては、検出された縦エッジには、他の車両の像ＣＲ以外の像の縦エッジも含んでいる。また、図２４は、領域Ｆ３に映る像の横エッジの検出結果を示す図である。認識部３０は、オフセット値Ｏｖが考慮されて導出された想定ライン、即ち、水平ラインに対して３０度傾いた想定ラインと略平行な横エッジが検出されている。
【００８６】
そして、認識部３０は検出された複数の縦エッジと横エッジに基づいて他の車両の像を認識する。すなわち、領域Ｆ３において、横エッジと縦エッジとが交わる状態で存在する場合、或いは、それらエッジが相互に近接する状態で存在する場合に、認識部３０は他の車両の像を認識する。
【００８７】
このような第３認識処理が完了すると、報知部３４は、ターゲットである他の車両が認識部３０によって認識されたか否かを判断する（図２０のステップＳＤ３）。
【００８８】
他の車両が認識されたと場合は、報知部３４はその旨を知らせる音をスピーカ１１へ出力させる制御信号を出力部２３を介して出力する（ステップＳＤ４）。
【００８９】
また、ステップＳＤ３において、他の車両が認識されなかった場合には報知処理が実行されずそのまま処理を終了する。
【００９０】
以上説明したように、画像処理装置２がこの第４制御フローを実行することによって、その報知機能を適切に機能させることができる。また、第３認識処理においては、認識部３０は、領域Ｆ３の像の歪みの程度を示すオフセット値に応じて、他の車両の像を認識する方向を変更する。すなわち、認識部３０は、オフセット値Ｏｖを考慮して領域Ｆ３に映る像のエッジを検出し、検出したエッジに基づいて他の車両の像ＣＲを認識するため、画像Ｚ２Ｙの全体に対して歪み補正をしたのちに他の車両の像ＣＲを認識する場合と比較して、その処理負荷を少なくできる。結果、ユーザは車両１を駐車させるときに、車両１の後方に存在する他の車両を遅延することなく知ることができる。
【００９１】
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下ではこのような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【００９２】
上記第１の実施の形態では、画像処理装置２が駐車機能を発揮する場合に、報知機能を発揮させていた。これに対して、ユーザがシフトギヤを「Ｒ」にして自ら車両１を運転して駐車させる場合に、報知機能を発揮させても良い。
【００９３】
上記第１の実施の形態では、ターゲットを人間及び駐車枠であるとしていた。また、上記第２の実施の形態では、ターゲットを他の車両であるとしていた。これに対して、ターゲットを車両１が走行する経路上の障害物としても良い。例えば、障害物は、車両１が走行する経路上に存在するダンボール、三角コーン、自転車、三輪車などである。
【００９４】
上記第２の実施の形態では、車両１が車庫入れ駐車をされる場合で、車両１が左方向に曲がりつつ後進するときに、左サイドカメラ４によって撮影された画像Ｚ２に基づいて他の車両の像ＣＲを認識部３０が認識するとしていた。これに対して、車両１が右方向に曲がりつつ後進するときに、右サイドカメラ５によって撮影された画像Ｚ３に基づいて他の車両の像ＣＲを認識部３０が認識しても良い。
【符号の説明】
【００９５】
１ 車両
２ 画像処理装置
１２ 駐車制御装置
２０ 取得部
２１ 画像処理部
２２ 制御部
２３ 出力部
３０ 認識部
３３ 導出部
３４ 報知部
３５ 駐車制御部
【技術分野】
【０００１】
本発明は、カメラが撮影した画像を処理する画像処理の技術に関する。
【背景技術】
【０００２】
近年、カメラが撮影した画像に対して種々の補正を施したのちに、その画像をディスプレイへ出力する画像処理装置が知られている。例えば、カメラによって撮影された画像に映る像が、そのカメラに備わるレンズの特性によって歪んでしまう場合がある。このように歪んだ像を映す画像を歪みの無い像を映す画像に補正する（以降、歪み補正という）技術が提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２７９７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、カメラによって撮影された画像をディスプレイへ出力する機能と、カメラによって撮影された画像に基づいて人間などのターゲットを認識する機能とを備える画像処理装置がある。このような画像処理装置において、それぞれの機能を発揮するたびに歪み補正を施した画像を利用するとなると処理負荷が増大してしまうという問題がある。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、画像処理装置の処理負荷を増大させないでそれぞれの機能を十分に発揮させることができる画像処理の技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、請求項１の発明は、カメラが撮影した画像を処理する画像処理装置であって、前記カメラが撮影した前記画像を取得する取得手段と、取得された前記画像中の像の歪みを補正する補正手段と、補正前の前記画像に基づいてターゲットの像を認識する認識手段と、補正後の前記画像をディスプレイへ出力して表示させる出力手段と、を備えることを特徴とする。
【０００７】
また、請求項２の発明は、請求項１に記載の画像処理装置において、前記認識手段は、補正前の前記画像の略中央に設定される対象領域を対象にして前記ターゲットの像を認識することを特徴とする。
【０００８】
また、請求項３の発明は、請求項１に記載の画像処理装置において、前記認識手段は、補正前の前記画像の端部近傍に設定される対象領域を対象にして前記ターゲットの像を認識し、前記対象領域の像の歪みの程度に応じて前記ターゲットの像を認識する方向を変更することを特徴とする。
【０００９】
また、請求項４の発明は、請求項１乃至３の何れかに記載の画像処理装置において、前記カメラは車両に搭載され、前記車両の周辺を撮影するものであり、前記ターゲットは前記車両が走行する経路上の障害物であり、前記認識手段が前記障害物の像を認識した場合は、ユーザへその旨を報知する報知手段、をさらに備えることを特徴とする。
【００１０】
また、請求項５の発明は、請求項４に記載の画像処理装置において、前記障害物は人間であり、前記認識手段が前記人間の像を認識した場合は、ユーザへその旨を報知する報知手段、をさらに備えることを特徴とする。
【００１１】
また、請求項６の発明は、請求項１乃至５の何れかに記載の画像処理装置において、前記カメラのレンズは魚眼レンズであることを特徴とする。
【００１２】
また、請求項７の発明は、車両を駐車させる制御をする駐車制御システムであって、車両に備わるカメラが撮影した前記車両の周辺の画像を取得する取得手段と、取得された前記画像中の像の歪みを補正する補正手段と、補正前の前記画像に基づいて路面に表示された駐車枠の像を認識する認識手段と、補正後の前記画像をディスプレイへ出力して表示させる出力手段と、前記認識手段に認識された前記駐車枠の像に基づいて、前記車両の挙動を制御して前記駐車枠へ前記車両を駐車させる制御手段と、をさらに備えることを特徴とする。
【００１３】
また、請求項８の発明は、カメラが撮影した画像を処理する画像処理方法であって、（ａ）前記カメラが撮影した前記画像を取得する工程と、（ｂ）取得された前記画像中の像の歪みを補正する工程と、（ｃ）補正前の前記画像に基づいてターゲットの像を認識する工程と、（ｄ）補正後の前記画像をディスプレイへ表示する工程と、を備えることを特徴とする。
【発明の効果】
【００１４】
請求項１及び８の発明によれば、画像中の像の歪みを補正した画像がディスプレイへ表示される一方で、その歪みを補正しない画像がターゲットの像を認識する処理に利用されるため、画像処理装置の処理負荷を増大させないようにできる。
【００１５】
また、請求項２の発明によれば、像の歪みの程度が小さい画像の略中央に設定される対象領域を対象にしてターゲットの像が認識されるため、その認識の精度を高くできる。
【００１６】
また、請求項３の発明によれば、像の歪みの程度が大きい画像の端部近傍に設定された対象領域を対象にしてターゲットの像が認識される場合に、その歪みの程度に応じてターゲットの像を認識する方向が変更されるため、その認識する精度を高めることができる。
【００１７】
また、請求項４の発明によれば、歪みを補正しない画像が障害物の像を認識する処理に利用されるため、画像処理装置の処理負荷を増大させないようにできる。結果、車両の走行する経路上に存在する障害物を遅延することなくユーザへ報知できる。
【００１８】
また、請求項５の発明によれば、歪みを補正しない画像が人間の像を認識する処理に利用されるため、画像処理装置の処理負荷を増大させないようにできる。結果、車両の周辺に存在する人間を遅延することなくユーザへ報知できる。
【００１９】
また、請求項６の発明によれば、カメラのレンズに魚眼レンズが用いられるため、広範囲の画像を取得することができる。
【００２０】
また、請求項７の発明によれば、歪みを補正をする前の画像が車両を駐車させる制御に用いられるため、駐車制御システムの処理負荷を増大させないようにできる。結果、その制御を遅延することなく実行できる。
【図面の簡単な説明】
【００２１】
【図１】図１は、第１の実施の形態の駐車制御システムのブロックを示す図である。
【図２】図２は、第１の実施の形態の車両におけるカメラの取り付け位置を示す図である。
【図３】図３は、第１の実施の形態の車両に搭載されたカメラの撮影範囲を示す図である。
【図４】図４は、第１の実施の形態の第１制御フローを示す図である。
【図５】図５は、第１の実施の形態の車両に搭載された複数のカメラそれぞれが撮影した画像の一例を示す図である。
【図６】図６は、第１の実施の形態の樽型に歪んだ像を映す画像の一例を示す図である。
【図７】図７は、第１の実施の形態の歪み補正の手法を説明するための図である。
【図８】図８は、第１の実施の形態の歪み補正の手法を説明するための図である。
【図９】図９は、第１の実施の形態の歪み補正の手法を説明するための図である。
【図１０】図１０は、第１の実施の形態の歪み補正の手法を説明するための図である。
【図１１】図１１は、第１の実施の形態の歪み補正の手法を説明するための図である。
【図１２】図１２は、第１の実施の形態の第２制御フローを示す図である。
【図１３】図１３は、第１の実施の形態のリヤカメラが撮影した画像の一例を示す図である。
【図１４】図１４は、第１の実施の形態の画像の略中央に設定される領域に対して縦エッジを検出したことを示す図である。
【図１５】図１５は、第１の実施の形態の画像の略中央に設定される領域に対して横エッジを検出したことを示す図である。
【図１６】図１６は、第１の実施の形態の「車庫入れ駐車」を説明するための図である。
【図１７】図１７は、第１の実施の形態の第３制御フローを示す図である。
【図１８】図１８は、第１の実施の形態のリヤカメラが撮影した画像の一例を示す図である。
【図１９】図１９は、第１の実施の形態の駐車枠と車両との相対距離を導出する手法を説明するための図である。
【図２０】図２０は、第２の実施の形態の第４制御フローを示す図である。
【図２１】図２１は、第２の実施の形態の左サイドカメラが撮影した画像の一例を示す図である。
【図２２】図２２は、第２の実施の形態の画像の端部近傍に設定された領域に映る像の縦エッジを検出する手法を説明する図である。
【図２３】図２３は、第２の実施の形態の画像の端部近傍に設定された領域に映る像の縦エッジの検出結果を示す図である。
【図２４】図２４は、第２の実施の形態の画像の端部近傍に設定された領域に映る像の横エッジの検出結果を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照しつつ本発明の実施の形態について説明する。
【００２３】
＜第１の実施の形態＞
＜１．構成＞
図１は、第１の実施の形態の画像処理装置２の構成を示す図である。この画像処理装置２は、車両１に搭載されるリヤカメラ６などが撮影した車両１の周辺の画像をディスプレイ１０へ表示する機能（以降、表示機能という）を備える。また、画像処理装置２は、リヤカメラ６などが撮影した車両１の周辺の画像に基づいて車両１の走行する経路上のターゲットを認識した場合に、ユーザ（代表的には車両１のドライバ）へその旨を報知する機能（以降、報知機能という）を備える。また、画像処理装置２は、リヤカメラ６などが撮影した車両１の周辺の画像に基づいて車両１を制御して、車両１を駐車枠内の駐車スペースへ駐車させる機能（以降、駐車機能という）を備える。
【００２４】
この画像処理装置２は図１に示すように駐車制御システムＳＹに備わる。つまり、この駐車制御システムＳＹは、画像処理装置２、フロントカメラ３、左サイドカメラ４、右サイドカメラ５、リヤカメラ６（以降において、カメラ３〜６という）、ディスプレイ１０、及び、駐車制御装置１２などを備える。画像処理装置２は、カメラ３〜６、ディスプレイ１０、スピーカ１１、及び、駐車制御装置１２などとケーブルによって電気的に接続される。駐車制御装置１２は、画像処理装置２、エンジン制御装置７、操舵装置８、及び、ブレーキ装置９などとケーブルによって電気的に接続される。
【００２５】
図２に示すようにフロントカメラ３は、車両１の前端にあるナンバープレート取り付け位置の近傍に設けられ、その光軸は車両１の直進方向へ向けられている。左サイドカメラ４は、左サイドミラーに設けられており、その光軸は車両１の直進方向を基準にした左方向に沿って外部へ向けられている。右サイドカメラ５は、右サイドミラーに設けられており、その光軸は車両１の直進方向を基準にした右方向に沿って外部へ向けられている。リヤカメラ６は、車両１の後端にあるナンバープレート取り付け位置の近傍に設けられ、その光軸は車両１の直進方向の逆方向へ向けられている。なお、フロントカメラ３やリヤカメラ６の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。カメラ３〜６はそれぞれ魚眼レンズを備えている。魚眼レンズを備えたカメラ３〜６の画角は１８０度以上である。このため、カメラ３〜６を利用することで、図３に示すように、車両１の全周囲Ｈ１〜Ｈ４の撮影が可能となっている。
【００２６】
画像処理装置２は、取得部２０、画像処理部２１、制御部２２、及び、出力部２３などを備える。取得部２０は、例えば、インターフェースであり、カメラ３〜６が撮影した画像などを取得する。出力部２３は、例えば、インターフェースであり、画像処理部２１が補正した画像などをディスプレイ１０などの外部へ出力する。画像処理部２１は、認識部３０、及び、補正部３１などを備える。画像処理部２１は、例えば、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェア回路である。認識部３０は、補正前の画像に基づいてターゲットである人間の像を認識する処理（以降、第１認識処理という）を実行する。更に、認識部３０は、補正前の画像に基づいてターゲットである駐車枠の像を認識する処理（以降、第２認識処理という）を実行する。認識部３０が実行する第１認識処理及び第２認識処理の詳細については後述する。補正部３１は、取得部２０を介して取得された画像中の像の歪みを補正する処理（以降、補正処理という）を実行する。補正部３１が実行するこの補正処理の詳細については後述する。
【００２７】
制御部２２は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及び、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などを備えるマイクロコンピュータである。ＣＰＵは、ＲＯＭに記憶された種々のプログラムに従って演算処理を行うことで種々の機能を実現させる。この制御部２２は、不揮発性記憶部３２、導出部３３、及び、報知部３４などを備える。不揮発性記憶部３２は、例えば、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ-Ｏｎｌｙ Ｍｅｍｏｒｙ）などである。この不揮発性記憶部３２は、補正部３１が補正処理を実行する際の補正用パラメータなどを記憶している。導出部３３は、認識されたターゲットである路面に表示された駐車枠の像に基づいて、駐車枠と車両１との相対距離を導出する処理（以降、導出処理という）を実行する。導出部３３が実行するこの導出処理の詳細については後述する。報知部３４は、認識部３０が第１認識処理を実行することによりターゲットである人間を認識した場合に、スピーカ１１を制御してユーザへその旨を報知する。
【００２８】
駐車制御装置１２は、例えば、マイクロコンピュータなどの電子部品が実装された電子基板などを備える。この駐車制御装置１２は、駐車制御部３５などを備える。駐車制御部３５は、エンジン制御装置７、操舵装置８、及び、ブレーキ装置９などと協働して車両１の速度、方向、及び、停止位置などを制御して駐車枠内の駐車スペースへ車両１を駐車させる。つまり、駐車制御部３５は、導出部３３によって導出された駐車枠と車両１との相対距離に基づいて車両１を駐車枠内の駐車スペースへ駐車させる制御（以降、駐車制御という）を実行する。駐車制御部３５が実行するこの駐車制御の詳細については後述する。
【００２９】
＜２．制御＞
次に、画像処理装置２が表示機能、報知機能、及び駐車機能を発揮するために実行する制御について説明する。画像処理装置２は、表示機能を実現する第１制御、報知機能を実現する第２制御、及び、駐車機能を実現する第３制御をそれぞれ所定のタイミングで実行する。なお、それぞれの機能の制御を同時期に実行する場合は、画像処理装置２はそれぞれの機能の制御を並列に実行する。
【００３０】
＜２．１．第１制御＞
まず、表示機能を実現する第１制御について説明する。図４は第１制御の処理フロー（以降、第１制御フローという）を示す図である。ユーザにより「駐車制御」を実行するボタンが操作された場合に、画像処理装置２は図４に示す第１制御フローを所定の周期（以降、第１の周期という）で実行する。なお、第１の周期は、例えば、２５ｍｓである。つまり、画像処理装置２は、第１の周期ごとに第１制御フローのステップＳＡ１の処理を実行する。そのときに、取得部２０が、リヤカメラ６によって撮影された車両１の後方周辺の画像、即ち、図５に示す画像Ｚ４を取得する（ステップＳＡ１）。
【００３１】
リヤカメラ６が撮影した画像Ｚ４を取得するのは、車両１が駐車制御により後進している場合である。また、車両１が駐車制御により左方向に曲がりつつ後進する場合は、左サイドカメラ４及びリヤカメラ６が撮影した画像、即ち、図５に示す画像Ｚ２及びＺ４を取得する。また、車両１が駐車制御により右方向に曲がりつつ後進する場合は、右サイドカメラ５及びリヤカメラ６が撮影した画像、即ち、図５に示す画像Ｚ３及びＺ４を取得する。また、車両１が駐車制御により駐車枠内の駐車スペースに停車した場合は、フロントカメラ３が撮影した画像、即ち、図５に示す画像Ｚ１を取得する。
【００３２】
次に、補正部３１は補正処理を実行することによって画像中の像の歪みを補正する（ステップＳＡ２）。
【００３３】
１８０度以上の画角θを有する魚眼レンズを備えたカメラ３〜６は、車両１の周辺の広い範囲を撮影できる一方で、その撮影された画像に映る像は樽型に歪んでしまう。本来、画像は、画像に映る物体の像と実際の物体とが相似形になっていることが理想である。
【００３４】
従って、画像処理装置２は、樽型に歪んだ像が映る画像をそのような理想の形状の像が映る画像へと補正（以降、この補正を歪み補正という）する必要がある。この歪み補正の方法としては周知の種々の手法が利用可能であるが、そのうちの一例について説明する。まず、補正部３１が、図６に示すような樽型に歪んだ像を映す画像Ｚ２の四隅を対角線上において画像Ｚ２の中心とは逆方向へ引っ張ったような画像、即ち、図７に示すような画像Ｚ２Ｘを生成する。これによって、樽型に歪んだ像を映す画像Ｚ２をそのような理想の画像Ｚ２Ｘへと補正することができる。
【００３５】
その生成方法を具体的に説明する。補正部３１は、図６に示すように、樽型に歪んだ像を映す画像Ｚ２へ複数のブロックＢＬをその歪みに沿って配置する。換言すると、補正部３１は、図６に示すような樽型の歪みに沿った碁盤の目が重畳された画像Ｚ２を把握する。そして、補正部３１は、図７に示すように、樽型の歪みとは逆に歪んだ仮想の画像Ｚ２Ｘへ複数のブロックＢＬＸをその歪みに沿って配置する。換言すると、補正部３１は、図７に示すような樽型の歪みとは逆の歪みに沿った碁盤の目が重畳された画像Ｚ２Ｘを把握する。
【００３６】
そして、補正部３１は、画像Ｚ２に配置した複数のブロックＢＬ内に含まれる複数のピクセルのそれぞれの座標を、不揮発性記憶部３２に記憶されている補正用パラメータに従って、仮想の画像Ｚ２Ｘ内に配置した複数のブロックＢＬＸ内の座標に変換する。この補正用パラメータは、魚眼レンズの特性に合わせたパラメータである。具体的には、補正用パラメータは、画像Ｚ２に配置した複数のブロックＢＬ内に含まれる複数のピクセルのそれぞれの座標と、仮想の画像Ｚ２Ｘに配置したブロックＢＬＸ内の座標との対応関係を示している。
【００３７】
そして、補正部３１は、変換した座標に基づいて画像Ｚ２の複数のピクセルを仮想の画像Ｚ２Ｘへ転送する。ここで、仮想の画像Ｚ２Ｘの多くのブロックＢＬは、画像Ｚ２のブロックＢＬより面積が大きくなる。このため。画像Ｚ２のそれぞれのピクセルを仮想の画像Ｚ２Ｘの座標位置へ単純に転送すると、理想の画像Ｚ２Ｘのブロック内にはピクセルが転送されていないエリアが存在してしまう。従って、補正部３１は、このエリアを周囲のピクセルが持つ色情報に基づいて補完する。つまり、補正部３１は、周囲のピクセルが持つ色の中間の色の情報を持つピクセルをそのエリアへ配置する。
【００３８】
このような補正処理を補正部３１が実行することによって、例えば、図８に示すように、フロントカメラ３が撮影した歪んだ画像Ｚ１を、歪んでいない画像Ｚ１Ｘへと変換することができる。また、図９に示すように、左サイドカメラ４が撮影した歪んだ画像Ｚ２を、歪んでいない画像Ｚ２Ｘへと変換することができる。また、図１０に示すように、右サイドカメラ５が撮影した歪んだ画像Ｚ３を、歪んでいない画像Ｚ３Ｘへと変換することができる。また、図１１に示すように、リヤカメラ６が撮影した歪んだ画像Ｚ４を、歪んでいない画像Ｚ４Ｘへと変換することができる。一方で、このような複雑な補正処理が頻繁に実行されると、画像処理装置２の処理負荷を増大させてしまうことになる。結果、それぞれの機能が十分に発揮されない虞がある。
【００３９】
このような補正処理が完了すると、出力部２３は、補正後の画像をディスプレイ１０へ出力して表示させる（図４のステップＳＡ３）。これにより、像の歪みが補正された画像がディスプレイ１０に表示される。
【００４０】
画像処理装置２がこのような第１制御フローを実行することによって、その表示機能を適切に機能させることができる。また、第１の周期で第１制御フローが実行されるため、車両１が駐車制御されるのと同時に、ディスプレイ１０において車両１の周辺の画像をリアルタイムに表示させることができる。結果、ユーザは車両１を駐車させるときの車両１の周辺の様子をディスプレイ１１に映る画像によって確認できる。
【００４１】
＜２−２．第２制御＞
次に、報知機能を実現する第２制御について説明する。図１２は第２制御の処理フロー（以降、第２制御フローという）を示す図である。画像処理装置２は、ユーザにより「駐車制御」を実行するボタンが操作された場合に、図１２に示す第２制御フローを第１の周期よりも長い周期（以降、第２の周期という）で実行する。なお、第２の周期は、例えば、３３ｍｓである。まず、画像処理装置２は、第２の周期ごとに図１２に示す第２制御フローのステップＳＢ１の処理を実行する。そのときに、取得部２０が、リヤカメラ６によって撮影された車両１の後方周辺の画像、即ち、図５に示す画像Ｚ４を取得する（ステップＳＢ１）。なお、リヤカメラ６が撮影した画像Ｚ４を取得するのは、車両１が駐車制御により後進している場合である。
【００４２】
次に、認識部３０は第１認識処理を実行して画像に含まれるターゲットである人間の像を認識する（ステップＳＢ２）。ここで、ターゲットとはそれぞれの機能が、その機能を発揮させるために画像に基づいて認識すべき対象をいう。
【００４３】
その第１認識処理をわかりやすく説明するために、車両１が駐車制御により後進している場合を前提にして説明する。この場合においては、リヤカメラ６が撮影した画像に基づいて認識部３０がターゲットである人間の像を認識したときに、ユーザへその旨を報知して、車両１と人間との接触を回避させる。
【００４４】
車両１が駐車制御により後進している場合においては、車両１は比較的低速（例えば、時速３ｋｍ／ｈ）で後進する。このため、車両１の後部から後方の狭い範囲内（例えば、１ｍ以内）に存在する人間を認識した場合にその旨をユーザへ報知しても、ユーザは車両１と人間とが接触する前に車両１を停止させることができる。結果、ユーザは車両１と人間との接触を回避させることができる。
【００４５】
つまり、車両１と人間との接触の危険性をユーザへ報知してその接触を回避させるためには、認識部３０は車両１の後部から後方１ｍ以内に存在する人間の存在を認識するだけで十分である。
【００４６】
図１３に示す画像Ｚ４Ｘはリヤカメラ６が撮影した画像である。この画像Ｚ４Ｘの中央近傍には車両１の後部から後方１ｍ以内に存在する人間の像Ｈｍが映る。この画像Ｚ４Ｘのように、車両１の後部から後方１ｍ以内に存在する人間は、画像Ｚ４Ｘの略中央に設定される領域Ｆ１において、その人間の像Ｈｍが映ることが経験的に多く認められる。
【００４７】
従って、認識部３０は、画像Ｚ４Ｘに設定される領域Ｆ１に対してだけ人間の像Ｈｍを認識する第１認識処理を実行すれば、画像Ｚ４Ｘの全体に対して人間の像Ｈｍを認識する処理を実行する場合と比較して処理負荷を少なくできる。
【００４８】
また、前述したように、魚眼レンズを備えたリヤカメラ６によって撮影された画像Ｚ４Ｘに映る像は樽型に歪んでしまう特性を有している。この樽型に歪んだ像を映す画像Ｚ４Ｘは、その画像Ｚ４Ｘの中央から周辺に向かうほどその歪みの程度が大きくなっていくため、このような画像Ｚ４Ｘに基づいて第１認識処理を行うとその周辺に位置する人間の像Ｈｍの認識精度は比較的低くなる。
【００４９】
逆にいうと、樽型に歪んだ像を映す画像Ｚ４Ｘは、その画像Ｚ４Ｘの周辺から中心に向かうほどその歪みの程度が小さくなっていくため、このような画像Ｚ４Ｘに基づいて第１認識処理を行うとその中央に位置する人間の像Ｈｍの認識精度は比較的高くなる。
【００５０】
従って、リヤカメラ６が撮影した画像Ｚ４Ｘの略中央に設定される領域Ｆ１に対して第１認識処理を実行すれば、車両１の後部から後方１ｍ以内に存在する人間を十分な精度で検出できる。このため、前述した補正処理を施さない画像Ｚ４Ｘ、即ち、樽型に歪んだ像を映す画像Ｚ４Ｘに基づいて第１認識処理を実行できる。換言すると、第２制御フローにおいて比較的処理負荷が大きい補正処理を実行しないことにより画像処理装置２の処理負荷を増大させないようにできる。
【００５１】
この第１認識処理をより具体的に説明する。まず、認識部３０は、画像Ｚ４Ｘの略中央に設定される領域Ｆ１に対してエッジ検出処理を実行する。エッジ検出処理は、画像Ｚ４Ｘに設定される領域Ｆ１の縦方向、即ち、図１３に示すＹ軸方向のエッジを検出する。更に、エッジ検出処理は、画像Ｚ４Ｘに設定される領域Ｆ１の横方向、即ち、図１３に示すＸ軸方向のエッジを検出する。図１４は、画像Ｚ４Ｘに設定される領域Ｆ１に対して縦方向のエッジ（以降、縦エッジという）を検出したことを示す図である。また、図１５は、画像Ｚ４Ｘに設定される領域Ｆ１に対して横方向のエッジ（以降、横エッジという）を検出したことを示す図である。そして、領域Ｆ１に比較的短い横エッジＥｄ２と比較的長い縦エッジＥｄ１とが交わる状態で存在する場合、或いは、それらが近接する状態で存在する場合に、認識部３０は人間の下半身が領域Ｆ１に存在する確度が高いと判断して、人間を認識する。
【００５２】
このような第１認識処理が完了すると、報知部３４は、ターゲットである人間が認識部３０によって認識されたか否かを判断する（図１２のステップＳＢ３）。
【００５３】
人間が認識された場合は、報知部３４はその旨を知らせる音をスピーカ１１へ出力させる制御信号を出力部２３を介して出力する（ステップＳＢ４）。
【００５４】
一方で、ステップＳＢ３において、人間が認識されなかった場合には、報知処理が実行されずにそのまま処理を終了する。
【００５５】
画像処理装置２がこのような第２制御フローを実行することによって、その報知機能を適切に機能させることができる。また、第２制御において画像Ｚ４Ｘに補正処理を施さない画像Ｚ４Ｘ、即ち、樽型に歪んだ像を映す画像Ｚ４Ｘに基づいて人間の像Ｈｍを認識するため、画像処理装置２の処理負荷を増大させないようにできる。結果、ユーザは車両１を駐車させるときに、車両１の周辺に存在する人間を遅延することなく知ることができる。
【００５６】
＜２−３．第３制御＞
次に、駐車機能を実現する第３制御について説明する。まず、駐車制御システムＳＹが実行する駐車制御の駐車方法について説明する。駐車制御システムＳＹが実行する駐車方法は、所謂、「車庫入れ駐車」である。
【００５７】
図１６は、車両１の「車庫入れ駐車」を説明するための図である。図１６に示すような駐車場において、車両１が初期位置Ｐ１でその駐車を開始させる指示をユーザから受け付けたときに、駐車制御システムＳＹは車両１を、初期位置Ｐ１から後進開始位置Ｐ２へと前進させる。次に、駐車制御システムＳＹは車両１を後進開始位置Ｐ２で一旦停車させる。次に、駐車制御システムＳＹは車両１を後進開始位置Ｐ２から後進させて駐車枠内の駐車スペースＰＳで停車させる。
【００５８】
図１７は第３制御の処理フロー（以降、第３制御フローという）を示す図である。画像処理装置２はユーザにより「駐車制御」を実行するボタンが操作された場合で、車両１が後進開始位置Ｐ２で一旦停車したときに、図１７に示す第３制御フローを第２の周期よりも長い周期（以降、第３の周期という）で実行する。なお、第３の周期は、例えば、４５ｍｓである。まず、画像処理装置２は、第３の周期ごとに第３制御フローのステップＳＣ１の処理を実行する。そのときに、取得部２０は、リヤカメラ６によって撮影された画像を取得する（ステップＳＣ１）。
【００５９】
次に、認識部３０は、取得部２０を介して取得したリヤカメラ６によって撮影された画像に基づいて、駐車場の駐車枠内の駐車スペースＰＳを認識する第２認識処理を実行する（ステップＳＣ２）。
【００６０】
駐車制御システムＳＹが車両１を後進開始位置Ｐ２で一旦停車させた場合に、認識部３０はリヤカメラ６によって撮影された図１８に示す画像Ｚ４Ｙに基づいて、車両１の後方に存在する駐車枠の像Ｌを認識する。
【００６１】
具体的には、認識部３０は、エッジ検出処理を画像Ｚ４Ｙの略中央に設定される領域Ｆ２に対して実行する。そして、検出されたエッジにより把握されたものが駐車枠の像Ｌであるとする確度が高い場合に、認識部３０は駐車枠の像Ｌの存在を認識する。領域Ｆ２を対象にして駐車枠の像Ｌを認識する理由は、車両１が後進開始位置Ｐ２に位置するときに、リヤカメラ６によって撮影された画像Ｚ４Ｙの略中央に設定される領域Ｆ２において駐車枠の像Ｌが映ることが経験的に多く認められるからである。
【００６２】
従って、認識部３０は、画像Ｚ４Ｙに設定される領域Ｆ２に対してだけ第２認識処理を実行することによって、画像Ｚ４Ｙの全体に対して第２認識処理を実行する場合と比較してその処理負荷を少なくできる。
【００６３】
また、前述したように、魚眼レンズを備えたリヤカメラ６が撮影した画像Ｚ４Ｙに映る像は樽型に歪んでしまう特性を有している。この樽型に歪んだ像を映す画像Ｚ４Ｙは、その画像Ｚ４Ｙの中央から周辺に向かうほどその歪みの程度が大きくなっていくため、この画像Ｚ４Ｙに基づいて第２認識処理を実行するとその周辺に位置する駐車枠の像Ｌの認識精度は比較的低くなる。
【００６４】
逆にいうと、樽型に歪んだ像を映す画像Ｚ４Ｙは、その画像Ｚ４Ｙの周辺から中心に向かうほどその歪みの程度が小さくなっていくため、画像Ｚ４Ｙに基づいて第２認識処理をしてもその略中央に位置する駐車枠の像Ｌの認識精度は比較的高くなる。
【００６５】
従って、車両１が後進開始位置Ｐ２に位置するときにリヤカメラ６が撮影した画像Ｚ４Ｙの略中央に設定される領域Ｆ２に対して第２認識処理を実行すれば駐車枠を十分に検出できる。
【００６６】
このため、前述した補正処理を施さない画像Ｚ４Ｙ、即ち、樽型に歪んだ像を映す画像Ｚ４Ｙに基づいて第２認識処理を実行できる。換言すると、第３制御フローで比較的処理負荷が大きい補正処理を実行しないことにより画像処理装置２の処理負荷を増大させないようにできる。
【００６７】
第２認識処理が完了すると、導出部３３は、認識された路面に表示された駐車枠の像Ｌに基づいて、駐車枠と車両１との相対距離を導出する導出処理を実行する（図１７のステップＳＣ３）。
【００６８】
図１９は、駐車枠と車両１との相対距離を導出する手法を説明するための図である。導出部３３は、認識部３０によって認識された駐車枠の像Ｌに基づいて駐車枠と車両１との相対距離を導出する。具体的には、駐車枠の像Ｌに基づいて把握される駐車スペースＰＳと車両１の位置である後進開始位置Ｐ２との相対距離を導出部３３が導出する。そして、導出部３３は、導出した相対距離に基づいて車両１を駐車スペースＰＳへと誘導するための仮想マップ上のルートＲを導出する。この仮想マップ上のルートＲは、後進開始位置Ｐ２から駐車スペースＰＳへ車両１を最短で誘導できるように導出される。更に、この仮想マップ上のルートＲは、車両１を誘導する際に車両１と駐車されている他の車両などとが接触しないように導出される。この仮想マップは、図１９に示すように、車両１を仮想の視点から俯瞰した際のｘｙ座標によって定義される。この仮想マップにおいて、車両１の後進開始位置Ｐ２は座標の原点（ｘ＝０、ｙ＝０）に設定される。また、仮想マップ上のルートＲについても適切な座標が設定される。
【００６９】
導出処理が完了すると、駐車制御部３５は、導出部３３によって導出された駐車枠と車両１との相対距離に基づいて車両１を駐車枠内の駐車スペースＰＳへ駐車させる駐車制御を実行する（図１７のステップＳＣ４）。
【００７０】
駐車制御部３５は、導出部３３によって導出された仮想マップ上のルートＲに基づいて車両１を駐車させる。つまり、駐車制御部３５は、仮想マップ上のルートＲと仮想マップ上の車両１の現在位置とを一致させるようにして、車両１の挙動を制御して車両１を駐車スペースＰＳへ移動させる。
【００７１】
画像処理装置２がこのような第３制御フローを実行することによって、その駐車機能を適切に機能させることができる。また、第３制御において補正処理を施さない画像Ｚ４Ｙ、即ち、樽型に歪んだ像が映る画像Ｚ４Ｙに基づいて駐車枠の像Ｌを認識し、認識した駐車枠の像Ｌに基づいて駐車制御を実行するため、その制御を遅延することなく実行できる。
【００７２】
以上説明したように、第１制御、第２制御、及び、第３制御を実行する画像処理装置２は、歪みを補正した画像をディスプレイ１０へ出力して表示させる一方で、歪みを補正しない画像に基づいてターゲットの像を認識するため、画像処理装置２の処理負荷を増大させないようにできる。
【００７３】
＜３．第２の実施の形態＞
次に、第２の実施の形態について説明する。第１の実施の形態においては、車両１が駐車制御により後進しているときに、リヤカメラ６によって撮影された画像に基づいて車両１の後方に存在する人間の像Ｈｍを認識部３０が認識していた。これに対して、第２の実施の形態では車両１が駐車制御により左方向へ曲がりつつ後進しているときに、左サイドカメラ４によって撮影された画像に基づいて車両１の左側後方に存在する他の車両の像を認識部３０が認識する。
【００７４】
以下、第２の実施の形態の画像処理装置２の構成及び処理フローは第１の実施の形態と略同様であるため、第１の実施の形態との相違点を中心に説明する。
【００７５】
図２０は、第２の実施の形態の画像処理装置２が発揮する報知機能を実現する第４制御の処理フロー（以降、第４制御フローという）を示す図である。この第４制御フローは、ユーザにより「駐車制御」を実行するボタンが操作された場合に、第１の周期よりも長い周期（以降、第２の周期という）で画像処理装置２によって実行される。なお、第２の周期は、例えば、３３ｍｓある。
【００７６】
図２０に示すステップＳＤ１、ＳＤ３、及び、ＳＤ４の処理は、図１２に示すステップＳＢ１、ＳＢ３、及び、ＳＢ４の処理と同一である。つまり、左サイドカメラ４が撮影した車両１の側方周辺の画像、即ち、図５に示す画像Ｚ２を取得部２０が取得する（ステップＳＤ１）。次に、認識部３０は第３認識処理を実行して画像Ｚ２に含まれるターゲットである他の車両の像を認識する（ステップＳＤ２）。
【００７７】
図２１は、左サイドカメラ４が撮影した画像Ｚ２Ｙの一例を示す図である。この画像Ｚ２Ｙの左端近傍には車両１の側方後部から後方１ｍ以内に存在する他の車両の像ＣＲが映る。この画像Ｚ２Ｙのように、車両１の側方後部から後方１ｍ以内に存在する他の車両は、画像Ｚ２Ｙの左端近傍に設定される領域Ｆ３において、他の車両の四隅の一部の像が映ることが経験的に多く認められる。
【００７８】
従って、認識部３０は、画像Ｚ２Ｙの近傍に設定される領域F３に対して、第３認識処理を実行することによって、他の車両の像ＣＲの認識の精度を高めることができ、その処理負荷を増大させないようにできる。この第３認識処理について詳細に説明する。
【００７９】
認識部３０は、まず、図２１に示す画像Ｚ２Ｙの端部近傍に設定された領域Ｆ３を対象にしてエッジ検出処理を実行する。画像に映る像に歪みが少ない場合は、認識部３０は領域Ｆ３に映る像の縦エッジと横エッジとを検出することによって、他の車両の像ＣＲを比較的容易に認識できる。しかしながら、認識部３０が利用する画像Ｚ２Ｙには、映る像に歪みがあり、さらに、画像Ｚ２Ｙの中央から周辺に向かうほどその歪みの程度は大きくなる特性を有している。このため、画像Ｚ２Ｙの端部近傍に設定された領域Ｆ３に映る像の歪みは比較的大きくなっている。従って、この領域Ｆ３を対象にして縦エッジ及び横エッジを検出しても、認識部３０は他の車両の像ＣＲの縦エッジ及び横エッジを正しく検出できない虞がある。結果、認識部３０は他の車両を認識する精度を低下させてしまう。
【００８０】
このような虞があるため、認識部３０は、領域Ｆ３に映る像の歪みを考慮して他の車両の像ＣＲの横エッジ及び縦エッジを検出する必要がある。つまり、認識部３０は、領域Ｆ３に映る像の歪みの程度に応じて他の車両の像を認識する方向を変更する。
【００８１】
図２２は、画像Ｚ２Ｙの端部近傍に設定された領域Ｆ３に映る像の縦エッジを検出する手法を説明する図である。図２２においては、左サイドカメラ４で得られた像の歪みの程度が多い画像（以下、「歪画像」という。）Ｚ２Ｙとともに、像の歪みの程度が少ない画像（以下、「通常画像」という。）Ｚ２ａを比較対象として示している。これらの歪画像Ｚ２Ｙ及び通常画像Ｚ２ａの双方の同一の位置に、像の検出対象とする領域Ｆ３を設定している。
【００８２】
通常画像Ｚ２ａでは、領域Ｆ３において、他の車両の像ＣＲの垂直ラインは水平ラインＨｚに対して９０度の角度をなして映る。これに対して、歪画像Ｚ２Ｙでは、領域Ｆ３において、他の車両の像ＣＲの垂直ラインは水平ラインＨｚに対して１２０度の角度をなして映る。なお、水平ラインＨｚはそれぞれの画像の左右方向（Ｘ軸方向）に沿ったラインである。
【００８３】
したがって、通常画像Ｚ２ａの像の方向を基準方向とした場合、歪画像Ｚ２Ｙの像の方向は、基準方向に対して３０度傾いていることになる。認識部３０は、このような基準方向に対する実際の像の方向の傾きの角度をオフセット値Ｏｖとして予め記憶している。このようなオフセット値Ｏｖは、領域Ｆ３における像の歪みの程度に相当する。像の歪みの程度は画像中の光軸に対応する位置から離れるほど大きくなる。したがって、画像中の光軸に対応する位置に対する領域Ｆ３の位置に応じて、オフセット値Ｏｖは規定される。
【００８４】
認識部３０は、このオフセット値Ｏｖを、歪画像Ｚ２Ｙに基づいて他の車両の像ＣＲを認識する際に適用して、オフセット値Ｏｖに応じて他の車両の像を認識する方向を変更する。これにより、他の車両の像ＣＲの認識精度を高くするようにしている。具体的には、認識部３０は、縦エッジを検出する際には、画像Ｚ２Ｙの領域Ｆ３において、水平ラインＨｚに対して９０度となる垂直ラインを基準とし、その基準の垂直ラインに対してオフセット値Ｏｖの角度を傾かせた想定ラインを導出する。そして、この想定ラインに略平行なエッジを検出することによって、領域Ｆ３に映る像の縦エッジを高精度に検出できる。一方、認識部３０は、横エッジを検出する際には、画像Ｚ２Ｙの領域Ｆ３において、水平ラインＨｚを基準とし、その基準の水平ラインに対してオフセット値Ｏｖの角度を傾かせた想定ラインを導出する。そして、この想定ラインに略平行なエッジを検出することによって、領域Ｆ３に映る像の横エッジを高精度に検出できる。
【００８５】
図２３は、領域Ｆ３に映る像の縦エッジの検出結果を示す図である。図２３に示すように、オフセット値Ｏｖが考慮されて導出された想定ライン、即ち、垂直ラインに対して３０度傾いた想定ラインと略平行な縦エッジが検出されている。なお、この場合においては、検出された縦エッジには、他の車両の像ＣＲ以外の像の縦エッジも含んでいる。また、図２４は、領域Ｆ３に映る像の横エッジの検出結果を示す図である。認識部３０は、オフセット値Ｏｖが考慮されて導出された想定ライン、即ち、水平ラインに対して３０度傾いた想定ラインと略平行な横エッジが検出されている。
【００８６】
そして、認識部３０は検出された複数の縦エッジと横エッジに基づいて他の車両の像を認識する。すなわち、領域Ｆ３において、横エッジと縦エッジとが交わる状態で存在する場合、或いは、それらエッジが相互に近接する状態で存在する場合に、認識部３０は他の車両の像を認識する。
【００８７】
このような第３認識処理が完了すると、報知部３４は、ターゲットである他の車両が認識部３０によって認識されたか否かを判断する（図２０のステップＳＤ３）。
【００８８】
他の車両が認識されたと場合は、報知部３４はその旨を知らせる音をスピーカ１１へ出力させる制御信号を出力部２３を介して出力する（ステップＳＤ４）。
【００８９】
また、ステップＳＤ３において、他の車両が認識されなかった場合には報知処理が実行されずそのまま処理を終了する。
【００９０】
以上説明したように、画像処理装置２がこの第４制御フローを実行することによって、その報知機能を適切に機能させることができる。また、第３認識処理においては、認識部３０は、領域Ｆ３の像の歪みの程度を示すオフセット値に応じて、他の車両の像を認識する方向を変更する。すなわち、認識部３０は、オフセット値Ｏｖを考慮して領域Ｆ３に映る像のエッジを検出し、検出したエッジに基づいて他の車両の像ＣＲを認識するため、画像Ｚ２Ｙの全体に対して歪み補正をしたのちに他の車両の像ＣＲを認識する場合と比較して、その処理負荷を少なくできる。結果、ユーザは車両１を駐車させるときに、車両１の後方に存在する他の車両を遅延することなく知ることができる。
【００９１】
＜４．変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下ではこのような変形例について説明する。上記実施の形態で説明した形態及び以下で説明する形態を含む全ての形態は、適宜に組み合わせ可能である。
【００９２】
上記第１の実施の形態では、画像処理装置２が駐車機能を発揮する場合に、報知機能を発揮させていた。これに対して、ユーザがシフトギヤを「Ｒ」にして自ら車両１を運転して駐車させる場合に、報知機能を発揮させても良い。
【００９３】
上記第１の実施の形態では、ターゲットを人間及び駐車枠であるとしていた。また、上記第２の実施の形態では、ターゲットを他の車両であるとしていた。これに対して、ターゲットを車両１が走行する経路上の障害物としても良い。例えば、障害物は、車両１が走行する経路上に存在するダンボール、三角コーン、自転車、三輪車などである。
【００９４】
上記第２の実施の形態では、車両１が車庫入れ駐車をされる場合で、車両１が左方向に曲がりつつ後進するときに、左サイドカメラ４によって撮影された画像Ｚ２に基づいて他の車両の像ＣＲを認識部３０が認識するとしていた。これに対して、車両１が右方向に曲がりつつ後進するときに、右サイドカメラ５によって撮影された画像Ｚ３に基づいて他の車両の像ＣＲを認識部３０が認識しても良い。
【符号の説明】
【００９５】
１ 車両
２ 画像処理装置
１２ 駐車制御装置
２０ 取得部
２１ 画像処理部
２２ 制御部
２３ 出力部
３０ 認識部
３３ 導出部
３４ 報知部
３５ 駐車制御部
【特許請求の範囲】
【請求項１】
カメラが撮影した画像を処理する画像処理装置であって、
前記カメラが撮影した前記画像を取得する取得手段と、
取得された前記画像中の像の歪みを補正する補正手段と、
補正前の前記画像に基づいてターゲットの像を認識する認識手段と、
補正後の前記画像をディスプレイへ出力して表示させる出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記認識手段は、補正前の前記画像の略中央に設定される対象領域を対象にして前記ターゲットの像を認識することを特徴とする画像認識装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記認識手段は、補正前の前記画像の端部近傍に設定される対象領域を対象にして前記ターゲットの像を認識し、前記対象領域の像の歪みの程度に応じて前記ターゲットの像を認識する方向を変更することを特徴とする画像認識装置。
【請求項４】
請求項１乃至３の何れかに記載の画像処理装置において、
前記カメラは車両に搭載され、前記車両の周辺を撮影するものであり、
前記ターゲットは前記車両が走行する経路上の障害物であり、
前記認識手段が前記障害物の像を認識した場合は、ユーザへその旨を報知する報知手段、
をさらに備えることを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記障害物は人間であり、
前記認識手段が前記人間の像を認識した場合は、ユーザへその旨を報知する報知手段、
をさらに備えることを特徴とする画像処理装置。
【請求項６】
請求項１乃至５の何れかに記載の画像処理装置において、
前記カメラのレンズは魚眼レンズであることを特徴とする画像処理装置。
【請求項７】
車両を駐車させる制御をする駐車制御システムであって、
車両に備わるカメラが撮影した前記車両の周辺の画像を取得する取得手段と、
取得された前記画像中の像の歪みを補正する補正手段と、
補正前の前記画像に基づいて路面に表示された駐車枠の像を認識する認識手段と、
補正後の前記画像をディスプレイへ出力して表示させる出力手段と、
前記認識手段に認識された前記駐車枠の像に基づいて、前記車両の挙動を制御して前記駐車枠へ前記車両を駐車させる制御手段と、
をさらに備えることを特徴とする駐車制御システム。
【請求項８】
カメラが撮影した画像を処理する画像処理方法であって、
（ａ）前記カメラが撮影した前記画像を取得する工程と、
（ｂ）取得された前記画像中の像の歪みを補正する工程と、
（ｃ）補正前の前記画像に基づいてターゲットの像を認識する工程と、
（ｄ）補正後の前記画像をディスプレイへ表示する工程と、
を備えることを特徴とする画像処理方法。
【請求項１】
カメラが撮影した画像を処理する画像処理装置であって、
前記カメラが撮影した前記画像を取得する取得手段と、
取得された前記画像中の像の歪みを補正する補正手段と、
補正前の前記画像に基づいてターゲットの像を認識する認識手段と、
補正後の前記画像をディスプレイへ出力して表示させる出力手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記認識手段は、補正前の前記画像の略中央に設定される対象領域を対象にして前記ターゲットの像を認識することを特徴とする画像認識装置。
【請求項３】
請求項１に記載の画像処理装置において、
前記認識手段は、補正前の前記画像の端部近傍に設定される対象領域を対象にして前記ターゲットの像を認識し、前記対象領域の像の歪みの程度に応じて前記ターゲットの像を認識する方向を変更することを特徴とする画像認識装置。
【請求項４】
請求項１乃至３の何れかに記載の画像処理装置において、
前記カメラは車両に搭載され、前記車両の周辺を撮影するものであり、
前記ターゲットは前記車両が走行する経路上の障害物であり、
前記認識手段が前記障害物の像を認識した場合は、ユーザへその旨を報知する報知手段、
をさらに備えることを特徴とする画像処理装置。
【請求項５】
請求項４に記載の画像処理装置において、
前記障害物は人間であり、
前記認識手段が前記人間の像を認識した場合は、ユーザへその旨を報知する報知手段、
をさらに備えることを特徴とする画像処理装置。
【請求項６】
請求項１乃至５の何れかに記載の画像処理装置において、
前記カメラのレンズは魚眼レンズであることを特徴とする画像処理装置。
【請求項７】
車両を駐車させる制御をする駐車制御システムであって、
車両に備わるカメラが撮影した前記車両の周辺の画像を取得する取得手段と、
取得された前記画像中の像の歪みを補正する補正手段と、
補正前の前記画像に基づいて路面に表示された駐車枠の像を認識する認識手段と、
補正後の前記画像をディスプレイへ出力して表示させる出力手段と、
前記認識手段に認識された前記駐車枠の像に基づいて、前記車両の挙動を制御して前記駐車枠へ前記車両を駐車させる制御手段と、
をさらに備えることを特徴とする駐車制御システム。
【請求項８】
カメラが撮影した画像を処理する画像処理方法であって、
（ａ）前記カメラが撮影した前記画像を取得する工程と、
（ｂ）取得された前記画像中の像の歪みを補正する工程と、
（ｃ）補正前の前記画像に基づいてターゲットの像を認識する工程と、
（ｄ）補正後の前記画像をディスプレイへ表示する工程と、
を備えることを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−１７８６３９（Ｐ２０１２−１７８６３９Ａ）
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願番号】特願２０１１−３９４３９（Ｐ２０１１−３９４３９）
【出願日】平成２３年２月２５日（２０１１．２．２５）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
【公開日】平成２４年９月１３日（２０１２．９．１３）
【国際特許分類】
【出願日】平成２３年２月２５日（２０１１．２．２５）
【出願人】（０００２３７５９２）富士通テン株式会社 (3,383)
【Ｆターム（参考）】
[ Back to top ]