画像処理装置、画像処理システム、及び画像処理方法
【課題】俯瞰画像における撮像画像の不連続性による影響を抑制する。
【解決手段】画像処理装置は、車両の進行方向またはその反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像の重複領域に含まれる物体の位置を検出し、前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離がより大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当て、前記評価値が大きい方の撮像画像に前記物体が含まれるように境界を決定して、前記第１、第２の撮像画像をつなぎ合わせるので、撮像画像の不連続性を抑制できる。
【解決手段】画像処理装置は、車両の進行方向またはその反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像の重複領域に含まれる物体の位置を検出し、前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離がより大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当て、前記評価値が大きい方の撮像画像に前記物体が含まれるように境界を決定して、前記第１、第２の撮像画像をつなぎ合わせるので、撮像画像の不連続性を抑制できる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周囲の撮像画像を処理する画像処理装置等に関する。
【背景技術】
【０００２】
車両周囲の複数の方向の撮像画像をつなぎ合わせ、車両周囲をたとえば上方から俯瞰するような俯瞰画像を生成して表示する、画像処理装置が知られている（たとえば、特許文献１〜３）。かかる俯瞰画像は、たとえばナビゲーションシステムの表示画面に表示され、運転者の安全確認に用いられる。そのため、俯瞰画像は、車両周囲の物体をもれなく含むことと、良好な視認性とが要求される。
【０００３】
上記のような要求により、たとえば車両の前後左右の四方向を撮像するために車両の前部、後部、左側部、右側部にそれぞれ取り付けられた複数の撮像装置において、隣接する２つの撮像装置は、それぞれの撮像領域がある程度重複するように、取付け位置や角度が調節される。そうすることで、車両周囲の物体がもれなく撮像される。
【０００４】
この場合、生成される撮像画像には重複部分が生じる。よって、重複部分に２つの撮像画像の境界を設定し、その境界において２つの撮像画像をつなぎ合わせるような画像処理が行われる。しかし、撮像装置には製造誤差があり、隣接する撮像装置の光学特性等を完全に一致させることは困難である。よって、境界付近では、撮像画像の不連続が生じる。そこで、撮像画像の不連続性を目立たなくさせることで、視認性低下を防止する方法が提案されている。たとえば、境界付近では撮像画像を半透明にして重複させる画像処理方法などがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１３７３５３号公報
【特許文献２】特開２００７−４１７９１号公報
【特許文献３】特開２００７−３６６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、単一の物体を異なる方向から撮像した撮像画像を重複させることで、その物体が二重に表示される場合がある。すると、たとえば境界付近に衝突回避動作などの対象とすべき物体が存在する場合において、その物体が二重に表示されると、運転者の混乱を招くおそれがある。かかる混乱が生じることは、安全上好ましくない。
【０００７】
そこで、本発明の目的は、俯瞰画像における撮像画像の不連続性による影響を抑制できる画像処理装置等を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するための一実施形態における画像処理装置は、車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像の重複領域に含まれる物体の位置を検出する検出部と、前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当てる処理部と、前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定する決定部と、前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する生成部と、を有する。
【発明の効果】
【０００９】
以下に示す実施形態によれば、俯瞰画像における撮像画像の不連続性による影響を抑制できる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の画像処理装置が適用される画像処理システムの構成例を示す図である。
【図２】車両周囲の撮像画像と俯瞰画像について説明する図である。
【図３】画像処理装置の構成例である。
【図４】画像処理プログラムによる機能ブロック図である。
【図５】車両の前進時、後進時におけるポイント割当処理について説明する図である。
【図６】境界決定部の処理について説明する図である。
【図７】車両が曲折するときのポイント割当処理について説明する図である。
【図８】車両が前進する場合の、物体の変位方向とポイントの例を示す図である。
【図９】車両が前進する場合の、物体の変位方向とポイントの例を示す図である。
【図１０】車両が後進する場合の、物体の変位方向とポイントの例を示す図である。
【図１１】車両が後進する場合の、物体の変位方向とポイントの例を示す図である。
【図１２】車両の曲折方向と物体の変位方向の例を示す図である。
【図１３】車両の曲折方向と物体の変位方向の例を示す図である。
【図１４】車両が前進または後進する場合の、物体の変位方向とポイントの例を示す図である。
【図１５】車両が前進または後進する場合の、物体の変位方向とポイントの例を示す図である。
【図１６】車両が左折する場合の、物体の変位方向とポイントの例を示す図である。
【図１７】車両が左折する場合の、物体の変位方向とポイントの例を示す図である。
【図１８】車両が右折する場合の、物体の変位方向とポイントの例を示す図である。
【図１９】車両が右折する場合の、物体の変位方向とポイントの例を示す図である。
【図２０】ポイントマップについて説明する図である。
【図２１】画像処理手順を説明するフローチャート図である。
【図２２】重複領域に含まれる物体が検出された例を示す図である。
【図２３】物体について選択されるポイントマップの例を示す図である。
【図２４】算出されたポイントの例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面にしたがって実施の形態について説明する。但し、適用される技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。
【００１２】
図１は、本実施形態の画像処理装置が適用される画像処理システムの構成例を示す。この画像処理システムは、車両１の周囲の複数の撮像画像から、車両１の周囲を所定の視点から見た画像を生成して表示する画像処理システムである。車両１の周囲を所定の視点から見た画像は、たとえば、車両１の周囲を車両１の上方の仮想の視点から見た俯瞰画像である。
【００１３】
この画像処理システムは、前方または後方を進行方向とする車両１に搭載される。以下、車両１が前進するときは、前方が進行方向であり、後方が進行方向の反対方向である。反対に、車両１が後進するときは、後方が進行方向であり、前方が進行方向の反対方向である。いずれの場合も、車両１において、その中心部を通過する前後方向軸が進行方向軸Ｙ―Ｙ´軸である。
【００１４】
画像処理システムは、たとえば、撮像装置２＿１、２＿２、２＿３、及び２＿４と、画像処理装置４と、表示装置６とを有する。撮像装置２＿１、２＿２、２＿３、及び２＿４は、たとえば、車両１の前部、後部、左側部、及び右側部にそれぞれ取り付けられる。たとえば、撮像装置２＿１は、車両１の前部のナンバープレートやフロントグリル近傍に取り付けられる。また、撮像装置２＿２は、車両１の後部のナンバープレートやバンパー近傍に取り付けられる。また、撮像装置２＿３、２＿４は、車両１の左右側部のサイドミラー近傍にそれぞれ取り付けられる。撮像装置２＿１、２＿２、２＿３、及び２＿４は、車両の前方、後方、左方、及び右方の撮像領域２ａ＿１、２ａ＿２、２ａ＿３、及び２ａ＿４をそれぞれ撮像する。ここで、撮像装置２＿１〜２＿４は、撮像領域２ａ＿１と撮像領域２ａ＿３、２ａ＿４がそれぞれハッチングで図示される重複領域２ａ＿１３、２ａ＿１４を有し、撮像領域２ａ＿２と撮像領域２ａ＿３、２ａ＿４がそれぞれハッチングで図示される重複領域２ａ＿２３、２ａ＿２４を有するように、光学特性、取付け位置、取付け角度等が設定される。これにより、撮像領域２ａ＿１〜２ａ＿４において、物体をもれなく撮像することができる。
【００１５】
画像処理装置４は、撮像装置２＿１〜２＿４による撮像画像データを取り込んで画像処理を行い、各撮像画像をつなぎ合わせて俯瞰画像データを生成する。画像処理装置４は、たとえば、画像処理用ＥＣＵ（Electronic Control Unit）内部やナビゲーションシステム内部に備えられる。俯瞰画像データは、表示装置６に送られる。表示装置６は、俯瞰画像データに基づいて俯瞰画像を表示する。表示装置６は、たとえば、ナビゲーションシステムの表示部である。
【００１６】
図２は、車両周囲の撮像画像と俯瞰画像について説明する図である。図２（Ａ）には、撮像装置２＿１、２＿２、２＿３、及び２＿４による撮像画像Ｇ１、Ｇ２、Ｇ３、及びＧ４が模式的に示される。たとえば、車両１の進行方向軸Ｙ−Ｙ´に対応する、前方の撮像画像Ｇ１と後方の撮像画像Ｇ２が示される。ここで、車両１が前進するときには、進行方向（前方）に対応する撮像画像は撮像画像Ｇ１であり、進行方向と反対方向（後方）の撮像画像は撮像画像Ｇ２である。反対に、車両１が後進するときには、進行方向（後方）に対応する撮像画像は撮像画像Ｇ２であり、進行方向と反対方向（前方）の撮像画像は撮像画像Ｇ１である。また、進行方向軸Ｙ−Ｙ´に交差する方向に対応する、左方の撮像画像Ｇ３と右方の撮像画像Ｇ４が示される。図１で示したような撮像領域２ａ＿１〜２ａ＿４の設定により、撮像画像Ｇ１と撮像画像Ｇ３、Ｇ４は、ハッチングで図示される重複領域Ｇ１３、Ｇ１４をそれぞれ有し、撮像画像Ｇ２と撮像画像Ｇ３、Ｇ４は、ハッチングで図示される重複領域Ｇ２３、Ｇ２４をそれぞれ有する。
【００１７】
図２（Ｂ）には、撮像画像Ｇ１〜Ｇ４がつなぎ合わされて生成される、車両１の周囲の俯瞰画像Ｇ１０が模式的に示される。画像処理装置４は、撮像画像Ｇ１と撮像画像Ｇ３、Ｇ４を、それぞれ重複領域Ｇ１３、Ｇ１４における境界Ｅ１３、Ｅ１４でつなぎ合わせる。また、画像処理装置４は、撮像画像Ｇ２と撮像画像Ｇ３、Ｇ４を、それぞれ重複領域Ｇ２３、Ｇ２４における境界Ｅ２３、Ｅ２４でつなぎ合わせる。かかる境界Ｅ１３、Ｅ１４、Ｅ２３、及びＥ２４は、後に詳述する方法により決定される。
【００１８】
図３は、画像処理装置４の構成例である。画像処理装置４は、撮像制御部１０、ＣＰＵ（Central Processing Unit）１２、バス１４、表示制御部１６、タイミング発生器１７、及びインターフェース部１９を有する、たとえば画像処理ＬＳＩ（Large Scale Integration）である。バス１４には、入力フレームバッファ１８、出力フレームバッファ２０、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３が接続される。
【００１９】
撮像制御部１０は、撮像装置２＿１〜２＿４の撮像動作を制御する各種制御信号やタイミング信号を撮像装置２＿１〜２＿４に出力する。また、撮像制御部１０は、撮像装置２＿１〜２＿４から撮像画像データが入力される。撮像制御部１０は、撮像画像データを入力フレームバッファ１８に格納する。入力フレームバッファ１８や出力フレームバッファ２０は、たとえばVideo RAMである。
【００２０】
ＣＰＵ１２は、ＲＯＭ２２から画像処理プログラムＰＲＧをＲＡＭ２３に読出し、画像処理プログラムＰＲＧに従って動作する。ＣＰＵ１２は、入力フレームバッファ１８から撮像画像データを読み出し、後述する画像処理を行って撮像画像をつなぎ合わせ、俯瞰画像データを生成する。俯瞰画像データは、出力フレームバッファ２０に格納される。
【００２１】
出力フレームバッファ２０に格納された俯瞰画像データは、表示制御部１６により読み出される。表示制御部１６は、タイミング発生器１７が生成するタイミング信号に同期して、俯瞰画像データを表示装置６に出力し、表示装置６に俯瞰画像を表示させる。
【００２２】
インターフェース部１９には、車両１の車速センサからの車速信号、操舵角センサからの操舵角信号、及びトランスミッションＥＣＵからの車両の進行方向を示す信号(例えばトランスミッション信号)が入力される。これらの信号は、ＣＰＵ１２に送られ、俯瞰画像生成の際にパラメータとして用いられる。
【００２３】
図４は、画像処理プログラムＰＲＧに従って動作するＣＰＵ１２の機能ブロック図である。ＣＰＵ１２は、個々の撮像画像データに対し所定の画像処理を行う画像処理部３０と、俯瞰画像の生成のための物体検出部３２、ポイント割当処理部３４、境界決定部３６、俯瞰画像生成部３８とを有する。
【００２４】
画像処理部３０による画像処理には、たとえば、撮像位置から見た撮像画像を車両１の上方の仮想の視点から見た撮像画像に変換する座標変換処理や、撮像画像の輪郭や色を補正する各種補正処理が含まれる。
【００２５】
物体検出部３２は、各撮像画像Ｇ１〜Ｇ４において、たとえば隣接画素の階調差に基づきエッジ検出を行い、検出したエッジの形状と予めＲＯＭ２２に記憶された形状とのパターンマッチングにより、物体を検出する。物体は、たとえば、通行人、他の車両、ガードレールやポールといった路側設置物等である。また、物体検出部３２は、物体の位置、大きさ、変位方向、変位速度などを検出する。物体の位置は、たとえば、水平面上において、車両１の所定の部位を原点とするＸ−Ｙ平面での座標である。物体の大きさは、たとえば、パターンマッチングにより検出された物体の種類から検出される。また、物体の変位方向は、たとえば、物体の位置の経時変化に基づき検出される。物体検出部３２は、たとえば、数十ミリ秒ごとの撮像サイクルまたは画像処理サイクルごとに、検出した物体の位置をＲＡＭ２３に格納しておき、サイクルごとの位置の差分を算出する。そして、物体の変位速度は、単位時間あたり、たとえば撮像サイクルや画像処理サイクルあたりの物体の変位量である。物体検出部３２は、たとえば、インターフェース部１９を介して入力される車速信号から車両１の走行速度を検出し、これにより物体の変位速度を補正することができる。
【００２６】
また、物体検出部３２は、車両１の進行方向または前記進行方向の反対方向に対応する第１の撮像画像（つまり前方の撮像画像Ｇ１、または後方の撮像画像Ｇ２）と、車両１の進行方向軸Ｙ−Ｙ´と交差する方向に対応する第２の撮像画像（つまり左方の撮像画像Ｇ３、または右方の撮像画像Ｇ４）との重複領域Ｇ１３、Ｇ１４、Ｇ２３、Ｇ２４に含まれる物体の位置を検出する。物体検出部３４は、たとえば、インターフェース部１９を介して入力されるトランスミッション信号に基づき、車両１の進行方向（つまり前方、または後方）を検出する。あるいは、物体検出部３２は、たとえば、インターフェース部１９を介して入力される操舵角信号に基づき、車両１の曲折方向（つまり左方、または右方）を検出する。
【００２７】
ポイント割当処理部３４は、撮像画像Ｇ１、Ｇ２に、物体が第１の位置にあるときに第１の評価値( 以降ポイントと呼ぶ)、車両１の進行方向軸Ｙ―Ｙ´からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１のポイントより小さい第２のポイントを割り当て、撮像画像Ｇ３、Ｇ４に、物体が前記第１の位置にあるときに第３のポイント、前記第２の位置にあるときに前記第３のポイントより大きい第４のポイントを割り当てる。あるいは、ポイント割当処理部３４は、後に詳述するように、車両１の曲折方向、物体の変位方向、単位時間当たりの変位量、または物体の大きさに基づくポイント割当処理を行う。
【００２８】
境界決定部３６は、撮像画像とをつなぎ合わせるときの境界（つまり、境界Ｅ１３、Ｅ１４、Ｅ２３、またはＥ２４）を、前記撮像画像Ｇ１、Ｇ２とＧ３、Ｇ４のうちポイントが大きい方の撮像画像に物体が含まれるように決定する。以下、ポイントが大きい方の撮像画像を、優先画像という。
【００２９】
俯瞰画像生成部３８は、撮像画像Ｇ１、Ｇ２とＧ３、Ｇ４を境界Ｅ１３、Ｅ１４、Ｅ２３、Ｅ２４でつなぎ合わせて、車両１の周囲を所定の視点から見た画像、たとえば、車両１の上方の視点から見た俯瞰画像Ｇ１０を生成する。そして、俯瞰画像データが出力される。
【００３０】
次に、ポイント割当処理部３４によるポイント割当処理について、詳細に説明する。ここでは、［１］車両１の進行方向と物体の位置に基づくポイント割当処理と、［２］車両１の進行方向と物体の変位方向とに基づくポイント割当処理とに場合分けして説明する。
【００３１】
［１］車両１の進行方向と物体の位置に基づくポイント割当処理
図５は、車両１の前進時、後進時におけるポイント割当処理について説明する図である。図５（Ａ）、（Ｂ）は、車両１が前進する場合（進行方向Ｄｒ１）、及び後進する場合（進行方向Ｄｒ２）が示される。図５（Ａ）には、前方の撮像画像Ｇ１において、右方の撮像画像Ｇ４との重複領域Ｇ１４に含まれる物体の位置Ｌ２１、位置Ｌ２２がそれぞれ検出された場合が示される。また、後方の撮像画像Ｇ２において、右方の撮像画像Ｇ４との重複領域Ｇ２４に含まれる物体の位置Ｌ４１、位置Ｌ４２がそれぞれ検出された場合が示される。ここで、位置Ｌ２１、Ｌ４１は、いずれも進行方向軸Ｙ−Ｙ´からの距離がｄ１であり、位置Ｌ２２、Ｌ４２は、いずれも進行方向軸Ｙ−Ｙ´からの距離がｄ２（＞ｄ１）である。なお、以下では、左方の撮像画像Ｇ３は右方の撮像画像Ｇ４の左右を反転させることで説明されるので、左方の撮像画像Ｇ３、並びに、左方の撮像画像Ｇ３と前方の撮像画像Ｇ１、後方の撮像画像Ｇ２との重複領域Ｇ１３、Ｇ２３についての説明は省略する。
【００３２】
ポイント割当処理部３４は、物体の位置が進行方向軸Ｙ−Ｙ´に近いときに撮像画像Ｇ１、Ｇ２に割り当てられるポイントの方が、物体の位置が進行方向軸Ｙ−Ｙ´から遠いときに撮像画像Ｇ１、Ｇ２に割り当てられるポイントより大きくなるように、撮像画像Ｇ１、Ｇ２にポイントを割り当てる。たとえば、ポイント割当処理部３４は、図中括弧付きで示すように、前方の撮像画像Ｇ１に対し、位置Ｌ２１の場合ポイントＰ２１を割り当て、位置Ｌ２２の場合ポイントＰ２２（＜Ｐ２１）を割り当てる。また、ポイント割当処理部３４は、後方の撮像画像Ｇ２に対し、位置Ｌ４１の場合ポイントＰ４１を割り当て、位置Ｌ４２の場合ポイントＰ４２（＜Ｐ４１）を割り当てる。
【００３３】
次に、図５（Ｂ）には、右方の撮像画像Ｇ４において、図５で示した物体の位置Ｌ２１、Ｌ２２、Ｌ４１、及びＬ４２が検出された場合がそれぞれ示される。位置Ｌ２１、Ｌ４１、及び位置Ｌ２２、Ｌ４２の進行方向軸Ｙ−Ｙ´からの距離は、それぞれ図５（Ａ）と同じｄ１、ｄ２である。ポイント割当処理部３４は、物体の位置が進行方向軸Ｙ−Ｙ´から遠いときに撮像画像Ｇ４に割り当てられるポイントの方が、物体の位置が進行方向軸Ｙ−Ｙ´に近いときに撮像画像Ｇ４に割り当てられるポイントより大きくなるように、撮像画像Ｇ４にポイントを割り当てる。たとえば、ポイント割当処理部３４は、撮像画像Ｇ４に対し、位置Ｌ２１の場合ポイントＱ２１を割り当て、位置Ｌ２２の場合ポイントＱ２２（＞Ｑ２１）を割り当てる。また、ポイント割当処理部３４は、撮像画像Ｇ４に対し、位置Ｌ４１の場合ポイントＱ４１を割り当て、位置Ｌ４２の場合ポイントＱ４２（＞Ｑ４１）を割り当てる。
【００３４】
図６は、境界決定部３６の処理について説明する図である。図６（Ａ）、（Ｂ）には、前方の撮像画像Ｇ１と右方の撮像画像Ｇ４をつなぎ合わせるときの境界Ｅ１４を決定する場合が例として示される。境界決定部３６は、前方の撮像画像Ｇ１と右方の撮像画像Ｇ４をつなぎ合わせるとき、ポイント割当処理部３４により割り当てられたポイントが大きい方の撮像画像、つまり優先画像に物体が含まれるように、境界Ｅ１４を決定する。たとえば、図６（Ａ）において、重複領域Ｇ１４に含まれる物体Ｏｂの位置に基づいて前方の撮像画像Ｇ１、右方の撮像画像Ｇ４にポイントが割り当てられる。そして、撮像画像Ｇ１に割り当てられたポイントが撮像画像Ｇ４に割り当てられたポイントより大きく、したがって撮像画像Ｇ１が優先画像の場合、物体Ｏｂが撮像画像Ｇ１に含まれるように境界Ｅ１４が決定される。一方、図６（Ｂ）に示すように、撮像画像Ｇ４に割り当てられたポイントが撮像画像Ｇ１に割り当てられたポイントより大きく、したがって撮像画像Ｇ４が優先画像の場合、物体Ｏｂが撮像画像Ｇ４に含まれるように境界Ｅ１４が決定される。
【００３５】
上記と同様にして、境界Ｅ１３、Ｅ２３、Ｅ２４が決定される。そして、俯瞰画像生成部３８により、上記のようにして決定された境界Ｅ１４において撮像画像Ｇ１、Ｇ４がつなぎ合わせられる。また、境界Ｅ２４において撮像画像Ｇ２、Ｇ４がつなぎ合わせられる。また、境界Ｅ１３において撮像画像Ｇ１、Ｇ３がつなぎ合わせられる。そして、境界Ｅ２３において撮像画像Ｇ２、Ｇ３がつなぎ合わせられる。このようにして、図２（Ｂ）で示したような俯瞰画像Ｇ１０が生成される。なお、境界Ｅ１３、Ｅ１４、Ｅ２３、Ｅ２４において、隣接する撮像画像をある程度の幅で重複させてもよい。また、境界Ｅ１３、Ｅ１４、Ｅ２３、Ｅ２４の形状や位置は、図６（Ａ）、（Ｂ）に示した例に限られず、また、それぞれ異なってもよい。
【００３６】
上記のような処理によれば、車両１に対する物体の相対的な位置がたとえば撮像サイクルや画像処理サイクルにともなって経時的に変化する場合に、物体が含まれる蓋然性がより大きい方の撮像画像を優先画像とすることができる。たとえば、重複領域Ｇ１４の例では、車両１の進行方向軸Ｙ−Ｙ´からの距離に応じてポイントを割り当てることで、重複領域Ｇ１４に含まれる物体の位置が車両１の前方寄りのときには撮像画像Ｇ１を優先画像とし、そうでないときには撮像画像Ｇ４を優先画像とすることができる。換言すれば、優先画像に物体が含まれるようにすることで、継続的に同じ撮像画像に物体を収めるとともに、物体付近に境界が設定されることを防止できる。さらに、たとえば重複領域Ｇ１４で、物体Ｏｂから所定距離離間させて境界Ｅ１４を決定することで、物体付近に境界が設定されるこをより確実に防止できる。この場合、物体Ｏｂから離間させる距離は、シミュレーション等により任意に設定される。あるいは、優先画像とされる撮像画像Ｇ１またはＧ４に重複領域Ｇ１４全体が含まれるように、境界Ｅ４１を決定してもよい。このようにすることで、境界付近で画像に不連続が生じるような場合であっても、その影響を抑え、俯瞰画像の視認性が低下することを防止できる。
【００３７】
図７は、車両１が曲折するときのポイント割当処理について説明する図である。図７（Ａ）、（Ｂ）では、車両１が前進するときの進行方向Ｄｒ１から、左方向（曲折方向Ｄｒ３）または右方向（曲折方向Ｄｒ４）に曲折する場合が示される。図７（Ａ）、（Ｂ）は、車両１が曲折する点を除き、図５（Ａ）、（Ｂ）と同じである。
【００３８】
図７（Ａ）において、ポイント割当処理部３４は、図５（Ａ）で説明したポイント割当処理と同様に、物体の位置が進行方向軸Ｙ−Ｙ´に近いときに撮像画像Ｇ１、Ｇ２に割り当てられるポイントＰ２１、Ｐ４１の方が、物体の位置が進行方向軸Ｙ−Ｙ´から遠いときに撮像画像Ｇ１、Ｇ２に割り当てられるポイントＰ２２、Ｐ４２より大きくなるように、ポイント割当処理を行う。
【００３９】
図７（Ｂ）において、ポイント割当処理部３４は、図５（Ｂ）で説明したポイント割当処理と同様に、物体の位置が進行方向軸Ｙ−Ｙ´から遠いときに撮像画像Ｇ４に割り当てられるポイントＱ２２、Ｑ４２の方が、物体の位置が進行方向軸Ｙ−Ｙ´に近いときに撮像画像Ｇ４に割り当てられるポイントＱ２１、Ｑ４１より大きくなるように、ポイント割当処理を行う。
【００４０】
このようなポイント割当処理によれば、車両１が曲折する場合であっても、優先画像に物体が含まれるようにすることができる。よって、物体付近に境界が設定されることを防止でき、俯瞰画像の視認性低下を防止できる。
【００４１】
［２］車両１の進行方向と物体の変位方向に基づくポイント割当処理
ポイント割当処理部３４は、物体の位置が同じ場合において、車両１の進行方向と物体の変位方向との組合せに応じて異なる大きさのポイントを撮像画像Ｇ１〜Ｇ４に割り当てる。
【００４２】
次では、車両１の進行方向または反対方向に物体が変位する場合と、車両の進行方向軸Ｙ−Ｙ´に近づくように、または遠くなるように物体が変位する場合とに場合分けして、説明する。
【００４３】
（１）物体の変位方向が車両１の進行方向またはその反対方向の場合
ポイント割当処理部３４は、物体の位置が同じ場合において、車両１の進行方向と反対方向に物体が変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントが、進行方向に物体が変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントよりそれぞれ大きくなるように、撮像画像Ｇ１〜Ｇ４にポイントを割り当てる。図８〜図１９に例を示す。
【００４４】
１）車両１が前進する場合
図８、図９は、車両１が前進する場合の、車両１の進行方向、物体の変位方向、及び撮像画像に割り当てられるポイントの例を示す図である。図８（Ａ）、（Ｂ）、及び図９（Ａ）、（Ｂ）は、車両１が進行方向Ｄｒ１に進行（前進）する場合を示す。
【００４５】
図８（Ａ）、（Ｂ）では、前方の撮像画像Ｇ１において、右方の撮像画像Ｇ４との重複領域Ｇ１４に含まれる物体の位置Ｌ２１が検出された場合と、後方の撮像画像Ｇ２において、右方の撮像画像Ｇ４との重複領域Ｇ２４に含まれる物体の位置Ｌ４１が検出された場合とが示される。図８（Ａ）では、位置Ｌ２１、Ｌ４１において、物体が車両１の進行方向Ｄｒ１と反対方向に変位する場合が示される。また、図８（Ｂ）では、位置Ｌ２１、Ｌ４１において、物体が車両１の進行方向Ｄｒ１に変位する場合が示される。なお、ここで示す位置Ｌ２１、Ｌ４１は、図５（Ａ）で示した位置Ｌ２１、Ｌ４１に対応するが、図５（Ａ）における位置Ｌ２２、Ｌ４２についても、以下の説明が適用される。
【００４６】
図８（Ａ）において、ポイント割当処理部３４は、物体が位置Ｌ２１で進行方向Ｄｒ１と反対方向に変位するときに、図中括弧内に示すように、撮像画像Ｇ１にポイントＰ２１ａを割り当てる。また、ポイント割当処理部３４は、物体の位置が位置Ｌ４１で進行方向Ｄｒ１と反対方向に変位するときに、撮像画像Ｇ２にポイントＰ４１ａを割り当てる。また、図８（Ｂ）において、ポイント割当処理部３４は、物体が位置Ｌ２１で進行方向Ｄｒ１に変位するときに、撮像画像Ｇ１にポイントＰ２１ｂを割り当てる。また、ポイント割当処理部３４は、物体の位置が位置Ｌ４１で進行方向Ｄｒ１に変位するときに、撮像画像Ｇ２にポイントＰ４１ｂを割り当てる。
【００４７】
図８（Ａ）、（Ｂ）において、撮像画像Ｇ１に割り当てられるポイントＰ２１ａ、Ｐ２１ｂ、ならびに、撮像画像Ｇ２に割り当てられるポイントＰ４１ａ、Ｐ４１ｂの大小関係は、それぞれ次のとおりである。
【００４８】
Ｐ２１ａ ＞ Ｐ２１ｂ
Ｐ４１ａ ＞ Ｐ４１ｂ
図９（Ａ）、（Ｂ）では、右方の撮像画像Ｇ４において、前方の撮像画像Ｇ１との重複領域Ｇ１４に含まれる物体の位置Ｌ２１が検出された場合と、後方の撮像画像Ｇ２との重複領域Ｇ２４に含まれる物体の位置Ｌ４１が検出された場合とが示される。図９（Ａ）では、位置Ｌ２１、Ｌ４１において、物体が車両１の進行方向Ｄｒ１と反対方向に変位する場合が示される。また、図９（Ｂ）では、位置Ｌ２１、Ｌ４１において、物体が車両１の進行方向Ｄｒ１に変位する場合が示される。なお、ここで示す位置Ｌ２１、Ｌ２１は、図５（Ｂ）で示した位置Ｌ２１、Ｌ４１に対応するが図５（Ｂ）における位置Ｌ２２、Ｌ４２についても、同じ説明が適用される。
【００４９】
図９（Ａ）において、ポイント割当処理部３４は、物体が位置Ｌ２１で進行方向Ｄｒ１と反対方向に変位するときに、撮像画像Ｇ４にポイントＱ２１ａを割り当てる。また、ポイント割当処理部３４は、物体の位置が位置Ｌ４１で進行方向Ｄｒ１と反対方向に変位するときに、撮像画像Ｇ４にポイントＱ４１ａを割り当てる。また、図９（Ｂ）において、ポイント割当処理部３４は、物体が位置Ｌ２１で進行方向Ｄｒ１に変位するときに、撮像画像Ｇ４にポイントＱ２１ｂを割り当てる。また、ポイント割当処理部３４は、物体の位置が位置Ｌ４１で進行方向Ｄｒ１に変位するときに、撮像画像Ｇ４にポイントＱ４１ｂを割り当てる。
【００５０】
図９（Ａ）、（Ｂ）において、撮像画像Ｇ４に割り当てられるポイントＱ２１ａ、Ｑ２１ｂ、ならびに、ポイントＱ４１ａ、Ｑ４１ｂの大小関係は、それぞれ次のとおりである。
【００５１】
Ｑ２１ａ ＞ Ｑ２１ｂ
Ｑ４１ａ ＞ Ｑ４１ｂ
２）車両１が後進する場合
図１０、図１１は、車両１が後進する場合の、車両１の進行方向、物体の変位方向、及び割り当てられるポイントの例を示す図である。図１０（Ａ）、（Ｂ）、及び図１１（Ａ）、（Ｂ）は、車両１が進行方向Ｄｒ２に進行（後進）する場合を示す。図１０（Ａ）、（Ｂ）は、車両１の進行方向以外は図８（Ａ）、（Ｂ）と同じである。また、図１１（Ａ）、（Ｂ）は、車両１の進行方向以外は図９（Ａ）、（Ｂ）と同じである。ここでは、図１０（Ａ）と図１１（Ａ）は、物体が車両の進行方向Ｄｒ２に変位する場合に対応し、図１０（Ｂ）と図１１（Ｂ）は、物体が車両の進行方向Ｄｒ２と反対方向に変位する場合に対応する。
【００５２】
図１０（Ａ）、（Ｂ）において、撮像画像Ｇ１に割り当てられるポイントＰ２１ａ、Ｐ２１ｂ、ならびに、撮像画像Ｇ２に割り当てられるポイントＰ４１ａ、Ｐ４１ｂの大小関係は、それぞれ次のとおりである。
【００５３】
Ｐ２１ａ ＜ Ｐ２１ｂ
Ｐ４１ａ ＜ Ｐ４１ｂ
また、図１１（Ａ）、（Ｂ）において、撮像画像Ｇ４に割り当てられるポイントＱ２１ａ、Ｑ２１ｂ、ならびに、ポイントＱ４１ａ、Ｑ４１ｂの大小関係は、それぞれ次のとおりである。
【００５４】
Ｑ２１ａ ＜ Ｑ２１ｂ
Ｑ４１ａ ＜ Ｑ４１ｂ
３）車両１が曲折する場合
図１２、図１３は、車両１の曲折方向と物体の変位方向の例を示す図である。図１２（Ａ）、（Ｂ）、及び、図１３（Ａ）、（Ｂ）は、車両１が前進するときの進行方向Ｄｒ１から、左方向（曲折方向Ｄｒ３）または右方向（曲折方向Ｄｒ４）に曲折する場合を示す。図１２（Ａ）、（Ｂ）は、車両１が曲折する点以外は、図８（Ａ）、（Ｂ）と同じである。また、図１３（Ａ）、（Ｂ）は、車両１が曲折する点以外は、図９（Ａ）、（Ｂ）と同じである。
【００５５】
図１２（Ａ）、（Ｂ）において、撮像画像Ｇ１に割り当てられるポイントＰ２１ａ、Ｐ２１ｂ、ならびに、撮像画像Ｇ２に割り当てられるポイントＰ４１ａ、Ｐ４１ｂの大小関係は、それぞれ次のとおりである。
【００５６】
Ｐ２１ａ ＞ Ｐ２１ｂ
Ｐ４１ａ ＞ Ｐ４１ｂ
また、図１３（Ａ）、（Ｂ）において、撮像画像Ｇ４に割り当てられるポイントＱ２１ａ、Ｑ２１ｂ、ならびに、ポイントＱ４１ａ、Ｑ４１ｂの大小関係は、それぞれ次のとおりである。
【００５７】
Ｑ２１ａ ＞ Ｑ２１ｂ
Ｑ４１ａ ＞ Ｑ４１ｂ
このように、車両１の前進時、後進時、及び曲折時において、物体の位置が同じ場合、車両１の進行方向と反対方向に物体が変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントが、進行方向に物体が変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントよりそれぞれ大きくなるように、撮像画像Ｇ１〜Ｇ４にポイントが割り当てられる。よって、たとえば、進行方向と反対方向に変位する物体、つまり車両１に対向してくる物体であってたとえば衝突回避動作などの対象となりうる物体が優先画像に含まれやすくなる。よって、かかる物体の付近に境界が設定されることを防止でき、俯瞰画像の視認性低下を防止できる。
【００５８】
（２）車両の進行方向軸Ｙ−Ｙ´に近づくように、または遠くなるように物体が変位する場合
１）車両の直進時
ポイント割当処理部３４は、物体の位置が同じ場合、車両１の進行方向軸Ｙ−Ｙ´に近づくように物体が変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントが、進行方向軸Ｙ−Ｙ´から離れるように変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントよりそれぞれ大きくなるようにポイントを割り当てる。
【００５９】
図１４、図１５は、車両１が前進または後進する場合の、車両１の進行方向軸Ｙ−Ｙ´に対する物体の変位方向と、割り当てられるポイントの例を示す図である。図１４（Ａ）、（Ｂ）は、車両１の進行方向と、物体の変位方向以外は、図８（Ａ）、（Ｂ）と同じである。また、図１５（Ａ）、（Ｂ）は、車両１の進行方向と、物体の変位方向以外は、図９（Ａ）、（Ｂ）と同じである。図１４（Ａ）、（Ｂ）、及び、図１５（Ａ）、（Ｂ）は、車両１が進行方向Ｄｒ１に進行（つまり前進）する場合、またはＤｒ２に進行（つまり後進）する場合を示す。そして、図１４（Ａ）と図１５（Ａ）は、位置Ｌ２１、Ｌ４１において物体が進行方向軸Ｙ−Ｙ´に近づくように変位する場合を示し、図１４（Ｂ）と図１５（Ｂ）は、位置Ｌ２１、Ｌ４１において物体が進行方向軸Ｙ−Ｙ´から遠くなるように変位する場合を示す。
【００６０】
図１４（Ａ）、（Ｂ）において、撮像画像Ｇ１に割り当てられるポイントＰ２１ａ、Ｐ２１ｂ、ならびに、撮像画像Ｇ２に割り当てられるポイントＰ４１ａ、Ｐ４１ｂの大小関係は、それぞれ次のとおりである。
【００６１】
Ｐ２１ａ ＞ Ｐ２１ｂ
Ｐ４１ａ ＞ Ｐ４１ｂ
また、図１５（Ａ）、（Ｂ）において、撮像画像Ｇ４に割り当てられるポイントＱ２１ａ、Ｑ２１ｂ、ならびに、ポイントＱ４１ａ、Ｑ４１ｂの大小関係は、それぞれ次のとおりである。
【００６２】
Ｑ２１ａ ＞ Ｑ２１ｂ
Ｑ４１ａ ＞ Ｑ４１ｂ
このように、車両１の直進時でのポイント割当処理では、物体が車両１の進行方向軸Ｙ−Ｙ´に近づくように変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントが、車両１の進行方向軸Ｙ−Ｙ´から遠くなるように変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントよりそれぞれ大きくなるように、ポイントが割り当てられる。そうすることで、車両１に対して接近する蓋然性が高く、したがってたとえば衝突回避動作などの対象となりうる物体を優先画像に含まれるようにすることができる。よって、かかる物体付近に境界が設定されることを防止でき、俯瞰画像の視認性低下を防止できる。
【００６３】
２）車両の曲折時
ポイント割当処理部３４は、車両１が左右いずれかの方向に曲折する場合、物体の位置が同じとして、物体が車両１の曲折方向の反対方向に変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントが、物体が車両１の曲折方向に変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントよりそれぞれ大きくなるように、ポイントを割り当てる。
【００６４】
図１６、図１７は、車両１が左折する場合の、車両１の進行方向軸に対する物体の変位方向の例と、割り当てられるポイントの例を示す図である。図１６（Ａ）、（Ｂ）、及び図１７（Ａ）、（Ｂ）は、車両１が進行方向Ｄｒ１から左折（曲折方向Ｄｒ３）する場合を示す。図１６（Ａ）、（Ｂ）は、車両１が左折すること以外は、図１４（Ａ）、（Ｂ）と同じである。また、図１７（Ａ）、（Ｂ）は、車両１が左折すること以外は、図１５（Ａ）、（Ｂ）と同じである。
【００６５】
図１６（Ａ）、（Ｂ）において、撮像画像Ｇ１に割り当てられるポイントＰ２１ａ、Ｐ２１ｂ、ならびに、撮像画像Ｇ２に割り当てられるポイントＰ４１ａ、Ｐ４１ｂの大小関係は、それぞれ次のとおりである。
【００６６】
Ｐ２１ａ ＜ Ｐ２１ｂ
Ｐ４１ａ ＜ Ｐ４１ｂ
また、図１７（Ａ）、（Ｂ）において、撮像画像Ｇ４に割り当てられるポイントＱ２１ａ、Ｑ２１ｂ、ならびに、ポイントＱ４１ａ、Ｑ４１ｂの大小関係は、それぞれ次のとおりである。
【００６７】
Ｑ２１ａ ＜ Ｑ２１ｂ
Ｑ４１ａ ＜ Ｑ４１ｂ
図１８、図１９は、車両１が右折する場合の、車両１の進行方向軸に対する物体の変位方向の例と、割り当てられるポイントの例を示す図である。図１８（Ａ）、（Ｂ）、及び図１９（Ａ）、（Ｂ）は、車両１が進行方向Ｄｒ１から右折（曲折方向Ｄｒ４）する場合を示す。図１８（Ａ）、（Ｂ）は、車両１が右折すること以外は、図１４（Ａ）、（Ｂ）と同じである。また、図１９（Ａ）、（Ｂ）は、車両１が右折すること以外は、図１５（Ａ）、（Ｂ）と同じである。
【００６８】
図１８（Ａ）、（Ｂ）において、撮像画像Ｇ１に割り当てられるポイントＰ２１ａ、Ｐ２１ｂ、ならびに、撮像画像Ｇ２に割り当てられるポイントＰ４１ａ、Ｐ４１ｂの大小関係は、それぞれ次のとおりである。
【００６９】
Ｐ２１ａ ＞ Ｐ２１ｂ
Ｐ４１ａ ＞ Ｐ４１ｂ
また、図１９（Ａ）、（Ｂ）において、撮像画像Ｇ４に割り当てられるポイントＱ２１ａ、Ｑ２１ｂ、ならびに、ポイントＱ４１ａ、Ｑ４１ｂの大小関係は、それぞれ次のとおりである。
【００７０】
Ｑ２１ａ ＞ Ｑ２１ｂ
Ｑ４１ａ ＞ Ｑ４１ｂ
このように、車両１が左右いずれかの方向に曲折する場合のポイント割当処理では、物体の位置が同じ場合において、物体が車両１の曲折方向の反対方向に変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントが、物体が車両１の曲折方向に変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントよりそれぞれ大きくなるように、ポイントが割り当てられる。そうすることで、曲折方向において車両１に対向する蓋然性が高く、したがってたとえば衝突回避動作などの対象となりうる物体を優先画像に含まれるようにすることができる。よって、かかる物体付近に境界が設定されることを防止でき、俯瞰画像の視認性低下を防止できる。
【００７１】
上述したポイント割当処理において、たとえば、次に説明するようなポイントマップが用いられる。画像処理装置４は、たとえば、撮像画像データＧ１〜Ｇ４ごとに、車両１の進行方向と物体の変位方向とに対応するポイントマップをあらかじめＲＯＭ２２に格納する。ポイント割当処理部３４は、車両１の進行方向と物体の変位方向とに対応するポイントマップを選択する。そして、ポイント割当処理部３４は、選択したポイントマップにおいて物体の位置に対応するポイントを求め、ポイント割当処理を行う。
【００７２】
図２０は、ポイントマップについて説明する図である。図２０（Ａ）は、前方の撮像画像データＧ１と後方の撮像画像データＧ２用のポイントマップを模式的に示す。図２０（Ａ）では、車両が前進または後進するときにおける、車両の進行方向ごとのポイントマップが示される。なお、以下では、物体の変位方向を、便宜上、次のように称する。
【００７３】
車両１の進行方向：「順方向」
車両１の進行方向と反対方向：「逆方向」
進行方向軸Ｙ−Ｙ´に近づく方向：「内向き」
進行方向軸Ｙ−Ｙ´から遠くなる方向：「外向き」
図２０（Ａ）では、縦軸に物体の変位方向ごとのポイントマップ、たとえば、「順方向ポイントマップ」、「逆方向ポイントマップ」、「内向きポイントマップ」、「外向きポイントマップ」が示される。また、横軸に、各ポイントマップにおける、物体の位置ごとのポイントが示される。物体の位置は、進行方向軸Ｙ−Ｙ´との距離「近」、「遠」として示される。図２０（Ａ）では、すべての変位方向のポイントマップにおいて、物体の位置「近」のときのポイントＰ１０１〜Ｐ１０４の方が、物体の位置「遠」のときのポイントＰ２０１〜Ｐ２０４より大きい。また、ポイントマップ間では、順方向ポイントマップのポイントＰ１０１、Ｐ２０１より、逆方向ポイントマップのポイントＰ１０２、Ｐ２０２の方が大きい。また、内向きポイントマップのポイントＰ１０３、Ｐ２０３の方が、外向きポイントマップのポイントＰ１０４、Ｐ２０４より大きい。
【００７４】
図２０（Ｂ）は、車両が前進または後進するときにおける、左方の撮像画像データＧ３と右方の撮像画像データＧ４用のポイントマップを模式的に示す。ここでは、すべての変位方向のポイントマップにおいて、物体の位置「近」のときのポイントＱ１０１〜Ｑ１０４より、物体の位置「遠」のときのポイントＱ２０１〜Ｑ２０４の方が大きい。また、ポイントマップ間では、順方向ポイントマップのポイントＱ１０１、Ｑ２０１より、逆方向ポイントマップのポイントＱ１０２、Ｑ２０２の方が大きい。また、内向きポイントマップのポイントＱ１０３、Ｑ２０３の方が、外向きポイントマップのポイントＱ１０４、Ｑ２０４より大きい。
【００７５】
図２０（Ｃ）は、車両が前進方向から曲折するときの、前方の撮像画像データＧ１と後方の撮像画像データＧ２用のポイントマップを模式的に示す。ここでは、すべての変位方向のポイントマップにおいて、物体の位置「近」のときのポイントＰ３０１〜Ｐ３０４の方が、物体の位置「遠」のときのポイントＰ４０１〜Ｐ４０４より大きい。また、ポイントマップ間では、順方向ポイントマップのポイントＰ３０１、Ｐ４０１より、逆方向ポイントマップのポイントＰ３０２、Ｐ４０２の方が大きい。一方、内向きポイントマップのポイントＰ３０３、Ｐ４０３の方が、外向きポイントマップのポイントＰ３０４、Ｐ４０４より大きい。
【００７６】
図２０（Ｄ）は、車両が曲折するときの、撮像画像データＧ３またはＧ４のうち曲折方向に対応する撮像画像用のポイントマップを模式的に示す。順方向、逆方向は、車両が曲折する前の進行方向、つまり前方を基準とする方向である。また、内向きは曲折方向の反対方向に対応し、外向きは曲折方向に対応する。ここでは、すべての変位方向のポイントマップにおいて、物体の位置「近」のときのポイントＱ３０１〜Ｑ３０４より、物体の位置「遠」のときのポイントＱ４０１〜Ｑ４０４の方が大きい。また、ポイントマップ間では、順方向ポイントマップのポイントＱ３０１、Ｑ４０１より、逆方向ポイントマップのポイントＱ３０２、Ｑ４０２の方が大きい。また、内向きポイントマップのポイントＱ３０３、Ｑ４０３の方が、外向きポイントマップのポイントＱ３０４、Ｑ４０４より大きい。
【００７７】
図２０（Ｅ）は、車両が曲折するときの、撮像画像データＧ３またはＧ４のうち曲折方向と反対方向に対応する撮像画像用のポイントマップを模式的に示す。順方向、逆方向は、車両が曲折する前の進行方向、つまり前方を基準とする方向である。また、内向きは曲折方向に対応し、外向きは曲折方向と反対方向に対応する。ここでは、すべての変位方向のポイントマップにおいて、物体の位置「近」のときのポイントＱ３０５〜Ｑ３０８より、物体の位置「遠」のときのポイントＱ４０５〜Ｑ４０８の方が大きい。また、ポイントマップ間では、順方向ポイントマップのポイントＱ３０５、Ｑ４０５より、逆方向ポイントマップのポイントＱ３０６、Ｑ４０６の方が大きい。一方、内向きポイントマップのポイントＱ３０７、Ｑ４０７より、外向きポイントマップのポイントＱ３０８、Ｑ４０８の方が大きい。
【００７８】
次に、より具体的なポイントマップを用いた処理の例について、図２１に従って、適宜図２２〜図２４を参照しつつ説明する。
【００７９】
図２１は、画像処理装置４の処理手順を説明するフローチャート図である。図２１の手順は、画像処理部３０、物体検出部３２、ポイント割当処理部３４、境界決定部３６、及び俯瞰画像生成部３８の手順に対応する。図２１の手順は、たとえば一撮像サイクルごとに実行される。
【００８０】
画像処理部３０は、撮像画像Ｇ１〜Ｇ４の撮像画像データを画像処理する（Ｓ２）。そして、物体検出部３２は、撮像画像データＧ１〜Ｇ４から物体を検出する（Ｓ４）。ここで、図２２に、検出される物体の例を示す。図２２（Ａ）では、車両１の前進時に、前方の撮像画像Ｇ１と右方の撮像画像Ｇ４のそれぞれで、重複領域Ｇ１４に含まれる物体Ｏｂ１〜Ｏｂ３が検出された場合を示す。物体Ｏｂ１〜Ｏｂ３は、それぞれ、たとえば、車両１の付近を通過するボール、子供、大人である。
【００８１】
次いで、物体検出部３２は、物体の位置、大きさを検出する（Ｓ６）。図２２（Ａ）の例では、物体Ｏｂ１の位置Ｌ１０（進行方向軸Ｙ−Ｙ´からの距離Ｄ１）、物体Ｏｂ２の位置Ｌ２０（進行方向軸Ｙ−Ｙ´からの距離Ｄ２（＞Ｄ１））、及び物体Ｏｂ３の位置Ｌ３０（進行方向軸Ｙ−Ｙ´からの距離Ｄ３（＞Ｄ２））がそれぞれ検出される。また、物体Ｏｂ１〜Ｏｂ３の大きさは、たとえば物体Ｏｂ１が「小」、物体Ｏｂ２が「中」、物体Ｏｂ３が「中」である。各物体の検出された位置と大きさは、図２２（Ｂ）の表に示される。
【００８２】
次いで、物体検出部３２は、物体の変位方向と変位速度とを検出する（Ｓ８）。たとえば、図２２（Ａ）では、物体Ｏｂ１の変位方向は車両１の進行方向と反対方向、つまり逆方向である。また、物体Ｏｂ２の変位方向は車両１の進行方向軸Ｙ−Ｙ´に近づく方向、つまり内向きである。そして、物体Ｏｂ３の変位方向は車両１の進行方向軸Ｙ−Ｙ´から遠ざかる方向、つまり外向きである。また、物体Ｏｂ１〜Ｏｂ３の変位速度は、たとえば物体Ｏｂ１が「高」、物体Ｏｂ２が「低」、物体Ｏｂ３が「低」である。各物体の変位方向と変位速度は、図２２（Ｂ）の表に示される。
【００８３】
次いで、ポイント割当処理部３４は、車両の進行方向を取得し（Ｓ１０）、進行方向と物体の変位方向に対応するポイントマップを選択する（Ｓ１２）。そして、ポイント割当処理部３４は、選択したポイントマップに基づき、位置に基づくポイントを算出する（Ｓ１４）。
【００８４】
ここで、図２３に、物体Ｏｂ１〜Ｏｂ３について選択されるポイントマップの例を示す。図２３に示す各ポイントマップでは、Ｘ座標（Ｘ０〜Ｘ７）、Ｙ座標（Ｙ０〜Ｙ７）ごとに、ポイント「５」〜「１」が対応付けられる。ここで、Ｙ軸は車両１の進行方向軸Ｙ−Ｙ´に対応する。図２３（Ａ）には、車両前進時であって物体の変位方向が逆方向のときの、撮像画像Ｇ１用のポイントマップＰＭ１０と、撮像画像Ｇ４用のポイントマップＰＭ１２とが示される。また、図２３（Ｂ）には、車両前進時であって物体の変位方向が内向きのときの、撮像画像Ｇ１用のポイントマップＰＭ１４と、撮像画像Ｇ４用のポイントマップＰＭ１６とが示される。そして、図２３（Ｃ）には、車両前進時であって物体の変位方向が外向きのときの、撮像画像Ｇ１用のポイントマップＰＭ１８と、撮像画像Ｇ４用のポイントマップＰＭ２０とが示される。
【００８５】
逆方向に変位する物体Ｏｂ１について、図２３（Ａ）のポイントマップＰＭ１０、ＰＭ１２が選択される。ここで、物体Ｏｂ１の位置Ｌ１０の座標が、（Ｘ２，Ｙ４）である。よって、ポイントマップＰＭ１０から、撮像画像Ｇ１に割り当てるポイント「５」が求められる。一方、ポイントマップＰＭ１２から、撮像画像Ｇ４に割り当てるポイント「２」が求められる。
【００８６】
また、内向きに変位する物体Ｏｂ２について、図２３（Ｂ）のポイントマップＰＭ１４、ＰＭ１６が選択される。ここで、物体Ｏｂ２の位置Ｌ２０の座標が、（Ｘ２，Ｙ３）である。よって、ポイントマップＰＭ１４から、撮像画像Ｇ１に割り当てるポイント「５」が求められる。一方、ポイントマップＰＭ１６から、撮像画像Ｇ４に割り当てるポイント「１」が求められる。
【００８７】
そして、外向きに変位する物体Ｏｂ３について、図２３（Ｃ）のポイントマップＰＭ１８、ＰＭ２０が選択される。ここで、物体Ｏｂ３の位置Ｌ３０の座標が、（Ｘ４，Ｙ３）である。よって、ポイントマップＰＭ１８から、撮像画像Ｇ１に割り当てるポイント「２」が求められる。一方、ポイントマップＰＭ２０から、撮像画像Ｇ４に割り当てるポイント「２」が求められる。
【００８８】
さらに、手順Ｓ１４において、ポイント割当処理部３４は、物体Ｏｂ１〜Ｏｂ３の大きさと変位速度とに基づいて、ポイントを求める。ここにおけるポイントは、たとえば、大きさや変位速度を分類してポイントを対応付けたマップデータを予めＲＯＭ２２に格納しておいてもよいし、演算により求めてもよい。
【００８９】
大きさに基づくポイント算出では、物体の大きさが大きいときのポイントが、小さいときのポイントより大きくなるようにポイントが求められる。図２２の例では、「小」の物体Ｏｂ１にポイント「１」が算出され、「中」の物体Ｏｂ２、Ｏｂ３にポイント「２」が求められる。
【００９０】
また、変位速度に基づくポイント算出では、物体の位置が同じ場合において、変位速度が大きいときのポイントが、変位速度が小さいときのポイントより大きくなるようにポイントが求められる。図２２の例では、速度「高」の物体Ｏｂ１に対応してポイント「３」が、速度「低」の物体Ｏｂ２、Ｏｂ３に対応してポイント「１」が求められる。このように、物体の大きさや変位速度に応じた大きさのポイントを撮像画像Ｇ１またはＧ４に割り当てることで、たとえば衝突回避制御の対象となりうるような大きい物体、または変位速度が速い物体が優先画像に含まれやすくなる。よって、かかる物体を含む俯瞰画像の視認性低下を防止できる。
【００９１】
手順Ｓ１４で算出されたポイントは、図２４に示される。図２４（Ａ）には、撮像画像Ｇ１に割り当てられるポイントが示される。ここには、物体ごとに選択されたポイントマップから位置に対応して求められたポイント、大きさ、及び変位速度に対応して求められたポイントが示される。また、図２４（Ｂ）には、撮像画像Ｇ４に割り当てられるポイントが、同様に示される。
【００９２】
次いで、ポイント割当処理部３４は、ポイントの重みづけ処理を行う（Ｓ１６）。ポイントの重みづけ処理では、たとえば、物体の位置に基づくポイント、変位速度に基づくポイント、大きさに基づくポイントの順で重みが小さくなるように、各ポイントに重みづけされる。具体的には、位置に基づくポイントをＰＰ、変位速度に基づくポイントをＶＰ、大きさに基づくポイントをＳＰとしたとき、次の式によりポイントが算出される。
【００９３】
重みづけされたポイント＝ＰＰ×ｐ×ＶＰ×ｖ×ＳＰ×ｓ
（係数：ｐ＝３、ｖ＝２、ｓ＝１）
なお、上記の係数ｐ、ｖ、ｓを変更することで、ポイント割当処理で優先すべき要因を任意に設定できる。たとえば、ここでは、位置、変位速度、大きさの順に優先される。また、上記の式は一例であり、たとえば上記係数ｐ、ｖ、及びｓで重みづけされたポイントＰＰ、ＶＰ、及びＳＰの和を算出してもよい。
【００９４】
次いで、ポイント割当処理部３４は、撮像画像ごとのポイントを累計する（Ｓ１８）。図２２の例では、上記の式により、図２４（Ｃ）、（Ｄ）で示すポイント累計が求められる。図２４（Ｃ）には、図２４（Ａ）におけるポイントの累計「１７４」が示される。このポイント累計値は撮像画像Ｇ１に割り当てられる。また、図２４（Ｄ）には、図２４（Ｂ）におけるポイントの累計「７２」が示される。このポイント累計値は撮像画像Ｇ４に割り当てられる。
【００９５】
次いで、ポイント割当処理部３４は、撮像画像間のポイント累計の差分の変化量が、基準量以上かを判定する（Ｓ２０）。たとえば、上記の例では、撮像画像Ｇ１、Ｇ４間のポイント累計の差分は、１０２（＝１７４−７２）である。ポイント割当処理部３４は、たとえば各撮像サイクルで、撮像画像間のポイント累計の差分を求め、ＲＡＭ２３に格納する。そして、サイクルごとの変化量が、基準量以上か否かを判断する。たとえば、前回の差分が９０である場合、差分の変化量は＋１２である。ここで、基準量が１０とすると判定結果は「Ｙｅｓ」となる。一方、変化量が基準量を下回ると、判定結果は「Ｎｏ」となる。
【００９６】
手順Ｓ２０の判定結果が「Ｎｏ」の場合、ポイント割当処理部３４は、前回サイクルの優先画像を維持する（Ｓ２２）。一方、手順Ｓ２０の判定結果が「Ｙｅｓ」の場合、ポイント割当処理部３４は、算出したポイント累計に基づき、優先画像を決定する（Ｓ２３）。たとえば、ポイント累計が大きい方の撮像画像が優先画像に決定される。図２２の例では、撮像画像Ｇ１のポイント累計が１７４、撮像画像Ｇ４のポイント累計が７２であり、撮像画像Ｇ１のポイント累計の方が大きいので、撮像画像Ｇ１が優先画像に決定される。このようにすることで、続く手順で、境界決定部３６は、ポイントの差分の経時的な変化量が基準量以上のときに、過去に決定した前記境界を新たに決定した前記境界に変更し、前記変化量が前記基準量を下回るときに、過去に決定した前記境界を維持する。よって、優先画像が頻繁に入れ替わり境界が頻繁に変更されることを回避でき、俯瞰画像の視認性低下を防止できる。
【００９７】
次いで、境界決定部３６は、基準値以上のポイントを有する物体を抽出する（Ｓ２４）。そして、境界決定部３６は、抽出した物体が優先画像に含まれる場合に（Ｓ２６のＹｅｓ）、境界を維持し（Ｓ２７）、含まれない場合に（Ｓ２６のＮｏ）、優先画像に物体が含まれるように境界を変更する（Ｓ２８）。基準値は、複数の物体をスクリーニングするための値であって、任意に設定される値である。物体の数が比較的多い場合において、かかる基準値を設けることで、手順Ｓ２８に進んだときに頻繁に境界が変更されることを防止できる。
【００９８】
上記の処理は、撮像画像Ｇ２、Ｇ３についても実行される。そして、俯瞰画像生成部３８が、撮像画像Ｇ１〜Ｇ４をつなぎ合わせて、俯瞰画像を生成する（Ｓ３０）。
【００９９】
上述の説明では、ポイント割当処理部３４は、各回の撮像サイクルごとに検出された物体の位置に基づき、ポイント割当処理を行った。ポイント割当処理部３４は、検出された物体の位置の代わりに、過去の物体の位置から予測される予測位置に基づいて、上記のポイント割当処理を行ってもよい。その場合、物体検出部３２が、たとえば、物体の変位方向と変位速度とに基づいて次の撮像サイクルまたは画像処理サイクルでの物体の位置を予測する。そうすることで、たとえば物体の変位速度が大きい場合において、物体が確実に優先画像に含まれるようにすることができる。よって、物体の位置が境界付近になることを防止でき、俯瞰画像の視認性低下を防止できる。
【０１００】
上記の実施形態によれば、優先画像に継続して物体が含まれるようにすることができる。よって、物体付近に境界が設定されることを防止できるので、境界付近の画像の不連続性の影響が抑えられ、物体の視認性低下を防止できる。
【０１０１】
以上の実施の形態をまとめると、次の付記のとおりである。
【０１０２】
（付記１）
車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像の重複領域に含まれる物体の位置を検出する検出部と、
前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当てる処理部と、
前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定する決定部と、
前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する生成部と、
を有する画像処理装置。
【０１０３】
（付記２）
付記１において、
前記処理部は、前記物体が前記車両の進行方向と反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記進行方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【０１０４】
（付記３）
付記１または２において、
前記処理部は、前記物体が前記車両の進行方向軸に近づくように変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記前後方向軸から離れるように変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【０１０５】
（付記４）
付記１乃至３のいずれかにおいて、
前記処理部は、前記車両が所定の方向に曲折する場合、前記物体が前記所定の方向の反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記所定の方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【０１０６】
（付記５）
付記１乃至４のいずれかにおいて、
前記処理部は、前記物体が前記第１、第２の位置で単位時間当たり第１の変位量変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が前記第１、第２の位置で前記単位時間当たり前記第１の変位量より小さい第２の変位量変位するときのときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【０１０７】
（付記６）
付記１乃至５のいずれかにおいて、
前記処理部は、前記物体の大きさが第１の大きさのときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体の大きさが前記第１の大きさより小さい第２の大きさであるときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【０１０８】
（付記７）
付記１乃至６のいずれかにおいて、
前記決定部は、前記第１、第２の撮像画像に割り当てられる評価値の差分の経時的な変化量が基準量以上のときに、過去に決定した前記境界を新たに決定した前記境界に変更し、前記変化量が前記基準量を下回るときに、過去に決定した前記境界を維持する画像処理装置。
【０１０９】
（付記８）
付記１乃至７のいずれかにおいて、
前記決定部は、前記第１または第２の撮像画像に割り当てられる評価値が基準値以上のときに、過去に決定した前記境界を新たに決定した前記境界に変更し、前記変化量が前記基準量を下回るときに、過去に決定した前記境界を維持する画像処理装置。
【０１１０】
（付記９）
車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像をそれぞれ撮像する撮像装置と、
前記第１、第２の撮像画像の重複領域に含まれる物体の位置を検出する検出部と、
前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当てる処理部と、
前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定する決定部と、
前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する生成部と、
前記車両の周囲を所定の視点から見た画像を表示する表示装置とを有する画像処理システム。
【０１１１】
（付記１０）
付記９において、
前記処理部は、前記物体が前記車両の進行方向と反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記進行方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理システム。
【０１１２】
（付記１１）
付記９または１０において、
前記処理部は、前記物体が前記車両の進行方向軸に近づくように変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記前後方向軸から離れるように変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理システム。
【０１１３】
（付記１２）
付記９乃至１１のいずれかにおいて、
前記処理部は、前記車両が所定の方向に曲折する場合、前記物体が前記所定の方向の反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記所定の方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理システム。
【０１１４】
（付記１３）
付記９乃至１２のいずれかにおいて、
前記処理部は、前記物体が前記第１、第２の位置で単位時間当たり第１の変位量変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が前記第１、第２の位置で前記単位時間当たり前記第１の変位量より小さい第２の変位量変位するときのときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理システム。
【０１１５】
（付記１４）
付記９乃至１３のいずれかにおいて、
前記処理部は、前記物体の大きさが第１の大きさのときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体の大きさが前記第１の大きさより小さい第２の大きさであるときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理システム。
【０１１６】
（付記１５）
車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像の重複領域に含まれる物体の位置を検出し、
前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当て、
前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定し、
前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する、
画像処理方法。
【０１１７】
（付記１６）
付記１５において、
前記物体が前記車両の進行方向と反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記進行方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる、画像処理方法。
【０１１８】
（付記１７）
付記１５または１６において、
前記物体が前記車両の進行方向軸に近づくように変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記前後方向軸から離れるように変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる、画像処理方法。
【０１１９】
（付記１８）
付記１５乃至１７のいずれかにおいて、
前記車両が所定の方向に曲折する場合、前記物体が前記所定の方向の反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記所定の方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる、画像処理方法。
【０１２０】
（付記１９）
付記１５乃至１８のいずれかにおいて、
前記物体が前記第１、第２の位置で単位時間当たり第１の変位量変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が前記第１、第２の位置で前記単位時間当たり前記第１の変位量より小さい第２の変位量変位するときのときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる、画像処理方法。
【符号の説明】
【０１２１】
２＿１〜２＿４：撮像装置、 Ｇ１〜Ｇ４：撮像画像、 Ｇ１３、Ｇ１４、Ｇ２３、Ｇ２４：重複領域、 ４：画像処理装置、 ３２：物体検出部、 ３４：ポイント割当処理部、 ３６：境界決定部、 ３８：俯瞰画像生成部
【技術分野】
【０００１】
本発明は、車両周囲の撮像画像を処理する画像処理装置等に関する。
【背景技術】
【０００２】
車両周囲の複数の方向の撮像画像をつなぎ合わせ、車両周囲をたとえば上方から俯瞰するような俯瞰画像を生成して表示する、画像処理装置が知られている（たとえば、特許文献１〜３）。かかる俯瞰画像は、たとえばナビゲーションシステムの表示画面に表示され、運転者の安全確認に用いられる。そのため、俯瞰画像は、車両周囲の物体をもれなく含むことと、良好な視認性とが要求される。
【０００３】
上記のような要求により、たとえば車両の前後左右の四方向を撮像するために車両の前部、後部、左側部、右側部にそれぞれ取り付けられた複数の撮像装置において、隣接する２つの撮像装置は、それぞれの撮像領域がある程度重複するように、取付け位置や角度が調節される。そうすることで、車両周囲の物体がもれなく撮像される。
【０００４】
この場合、生成される撮像画像には重複部分が生じる。よって、重複部分に２つの撮像画像の境界を設定し、その境界において２つの撮像画像をつなぎ合わせるような画像処理が行われる。しかし、撮像装置には製造誤差があり、隣接する撮像装置の光学特性等を完全に一致させることは困難である。よって、境界付近では、撮像画像の不連続が生じる。そこで、撮像画像の不連続性を目立たなくさせることで、視認性低下を防止する方法が提案されている。たとえば、境界付近では撮像画像を半透明にして重複させる画像処理方法などがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１３７３５３号公報
【特許文献２】特開２００７−４１７９１号公報
【特許文献３】特開２００７−３６６６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、単一の物体を異なる方向から撮像した撮像画像を重複させることで、その物体が二重に表示される場合がある。すると、たとえば境界付近に衝突回避動作などの対象とすべき物体が存在する場合において、その物体が二重に表示されると、運転者の混乱を招くおそれがある。かかる混乱が生じることは、安全上好ましくない。
【０００７】
そこで、本発明の目的は、俯瞰画像における撮像画像の不連続性による影響を抑制できる画像処理装置等を提供することにある。
【課題を解決するための手段】
【０００８】
上記の目的を達成するための一実施形態における画像処理装置は、車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像の重複領域に含まれる物体の位置を検出する検出部と、前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当てる処理部と、前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定する決定部と、前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する生成部と、を有する。
【発明の効果】
【０００９】
以下に示す実施形態によれば、俯瞰画像における撮像画像の不連続性による影響を抑制できる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の画像処理装置が適用される画像処理システムの構成例を示す図である。
【図２】車両周囲の撮像画像と俯瞰画像について説明する図である。
【図３】画像処理装置の構成例である。
【図４】画像処理プログラムによる機能ブロック図である。
【図５】車両の前進時、後進時におけるポイント割当処理について説明する図である。
【図６】境界決定部の処理について説明する図である。
【図７】車両が曲折するときのポイント割当処理について説明する図である。
【図８】車両が前進する場合の、物体の変位方向とポイントの例を示す図である。
【図９】車両が前進する場合の、物体の変位方向とポイントの例を示す図である。
【図１０】車両が後進する場合の、物体の変位方向とポイントの例を示す図である。
【図１１】車両が後進する場合の、物体の変位方向とポイントの例を示す図である。
【図１２】車両の曲折方向と物体の変位方向の例を示す図である。
【図１３】車両の曲折方向と物体の変位方向の例を示す図である。
【図１４】車両が前進または後進する場合の、物体の変位方向とポイントの例を示す図である。
【図１５】車両が前進または後進する場合の、物体の変位方向とポイントの例を示す図である。
【図１６】車両が左折する場合の、物体の変位方向とポイントの例を示す図である。
【図１７】車両が左折する場合の、物体の変位方向とポイントの例を示す図である。
【図１８】車両が右折する場合の、物体の変位方向とポイントの例を示す図である。
【図１９】車両が右折する場合の、物体の変位方向とポイントの例を示す図である。
【図２０】ポイントマップについて説明する図である。
【図２１】画像処理手順を説明するフローチャート図である。
【図２２】重複領域に含まれる物体が検出された例を示す図である。
【図２３】物体について選択されるポイントマップの例を示す図である。
【図２４】算出されたポイントの例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面にしたがって実施の形態について説明する。但し、適用される技術的範囲はこれらの実施の形態に限定されず、特許請求の範囲に記載された事項とその均等物まで及ぶものである。
【００１２】
図１は、本実施形態の画像処理装置が適用される画像処理システムの構成例を示す。この画像処理システムは、車両１の周囲の複数の撮像画像から、車両１の周囲を所定の視点から見た画像を生成して表示する画像処理システムである。車両１の周囲を所定の視点から見た画像は、たとえば、車両１の周囲を車両１の上方の仮想の視点から見た俯瞰画像である。
【００１３】
この画像処理システムは、前方または後方を進行方向とする車両１に搭載される。以下、車両１が前進するときは、前方が進行方向であり、後方が進行方向の反対方向である。反対に、車両１が後進するときは、後方が進行方向であり、前方が進行方向の反対方向である。いずれの場合も、車両１において、その中心部を通過する前後方向軸が進行方向軸Ｙ―Ｙ´軸である。
【００１４】
画像処理システムは、たとえば、撮像装置２＿１、２＿２、２＿３、及び２＿４と、画像処理装置４と、表示装置６とを有する。撮像装置２＿１、２＿２、２＿３、及び２＿４は、たとえば、車両１の前部、後部、左側部、及び右側部にそれぞれ取り付けられる。たとえば、撮像装置２＿１は、車両１の前部のナンバープレートやフロントグリル近傍に取り付けられる。また、撮像装置２＿２は、車両１の後部のナンバープレートやバンパー近傍に取り付けられる。また、撮像装置２＿３、２＿４は、車両１の左右側部のサイドミラー近傍にそれぞれ取り付けられる。撮像装置２＿１、２＿２、２＿３、及び２＿４は、車両の前方、後方、左方、及び右方の撮像領域２ａ＿１、２ａ＿２、２ａ＿３、及び２ａ＿４をそれぞれ撮像する。ここで、撮像装置２＿１〜２＿４は、撮像領域２ａ＿１と撮像領域２ａ＿３、２ａ＿４がそれぞれハッチングで図示される重複領域２ａ＿１３、２ａ＿１４を有し、撮像領域２ａ＿２と撮像領域２ａ＿３、２ａ＿４がそれぞれハッチングで図示される重複領域２ａ＿２３、２ａ＿２４を有するように、光学特性、取付け位置、取付け角度等が設定される。これにより、撮像領域２ａ＿１〜２ａ＿４において、物体をもれなく撮像することができる。
【００１５】
画像処理装置４は、撮像装置２＿１〜２＿４による撮像画像データを取り込んで画像処理を行い、各撮像画像をつなぎ合わせて俯瞰画像データを生成する。画像処理装置４は、たとえば、画像処理用ＥＣＵ（Electronic Control Unit）内部やナビゲーションシステム内部に備えられる。俯瞰画像データは、表示装置６に送られる。表示装置６は、俯瞰画像データに基づいて俯瞰画像を表示する。表示装置６は、たとえば、ナビゲーションシステムの表示部である。
【００１６】
図２は、車両周囲の撮像画像と俯瞰画像について説明する図である。図２（Ａ）には、撮像装置２＿１、２＿２、２＿３、及び２＿４による撮像画像Ｇ１、Ｇ２、Ｇ３、及びＧ４が模式的に示される。たとえば、車両１の進行方向軸Ｙ−Ｙ´に対応する、前方の撮像画像Ｇ１と後方の撮像画像Ｇ２が示される。ここで、車両１が前進するときには、進行方向（前方）に対応する撮像画像は撮像画像Ｇ１であり、進行方向と反対方向（後方）の撮像画像は撮像画像Ｇ２である。反対に、車両１が後進するときには、進行方向（後方）に対応する撮像画像は撮像画像Ｇ２であり、進行方向と反対方向（前方）の撮像画像は撮像画像Ｇ１である。また、進行方向軸Ｙ−Ｙ´に交差する方向に対応する、左方の撮像画像Ｇ３と右方の撮像画像Ｇ４が示される。図１で示したような撮像領域２ａ＿１〜２ａ＿４の設定により、撮像画像Ｇ１と撮像画像Ｇ３、Ｇ４は、ハッチングで図示される重複領域Ｇ１３、Ｇ１４をそれぞれ有し、撮像画像Ｇ２と撮像画像Ｇ３、Ｇ４は、ハッチングで図示される重複領域Ｇ２３、Ｇ２４をそれぞれ有する。
【００１７】
図２（Ｂ）には、撮像画像Ｇ１〜Ｇ４がつなぎ合わされて生成される、車両１の周囲の俯瞰画像Ｇ１０が模式的に示される。画像処理装置４は、撮像画像Ｇ１と撮像画像Ｇ３、Ｇ４を、それぞれ重複領域Ｇ１３、Ｇ１４における境界Ｅ１３、Ｅ１４でつなぎ合わせる。また、画像処理装置４は、撮像画像Ｇ２と撮像画像Ｇ３、Ｇ４を、それぞれ重複領域Ｇ２３、Ｇ２４における境界Ｅ２３、Ｅ２４でつなぎ合わせる。かかる境界Ｅ１３、Ｅ１４、Ｅ２３、及びＥ２４は、後に詳述する方法により決定される。
【００１８】
図３は、画像処理装置４の構成例である。画像処理装置４は、撮像制御部１０、ＣＰＵ（Central Processing Unit）１２、バス１４、表示制御部１６、タイミング発生器１７、及びインターフェース部１９を有する、たとえば画像処理ＬＳＩ（Large Scale Integration）である。バス１４には、入力フレームバッファ１８、出力フレームバッファ２０、ＲＯＭ（Read Only Memory）２２、ＲＡＭ（Random Access Memory）２３が接続される。
【００１９】
撮像制御部１０は、撮像装置２＿１〜２＿４の撮像動作を制御する各種制御信号やタイミング信号を撮像装置２＿１〜２＿４に出力する。また、撮像制御部１０は、撮像装置２＿１〜２＿４から撮像画像データが入力される。撮像制御部１０は、撮像画像データを入力フレームバッファ１８に格納する。入力フレームバッファ１８や出力フレームバッファ２０は、たとえばVideo RAMである。
【００２０】
ＣＰＵ１２は、ＲＯＭ２２から画像処理プログラムＰＲＧをＲＡＭ２３に読出し、画像処理プログラムＰＲＧに従って動作する。ＣＰＵ１２は、入力フレームバッファ１８から撮像画像データを読み出し、後述する画像処理を行って撮像画像をつなぎ合わせ、俯瞰画像データを生成する。俯瞰画像データは、出力フレームバッファ２０に格納される。
【００２１】
出力フレームバッファ２０に格納された俯瞰画像データは、表示制御部１６により読み出される。表示制御部１６は、タイミング発生器１７が生成するタイミング信号に同期して、俯瞰画像データを表示装置６に出力し、表示装置６に俯瞰画像を表示させる。
【００２２】
インターフェース部１９には、車両１の車速センサからの車速信号、操舵角センサからの操舵角信号、及びトランスミッションＥＣＵからの車両の進行方向を示す信号(例えばトランスミッション信号)が入力される。これらの信号は、ＣＰＵ１２に送られ、俯瞰画像生成の際にパラメータとして用いられる。
【００２３】
図４は、画像処理プログラムＰＲＧに従って動作するＣＰＵ１２の機能ブロック図である。ＣＰＵ１２は、個々の撮像画像データに対し所定の画像処理を行う画像処理部３０と、俯瞰画像の生成のための物体検出部３２、ポイント割当処理部３４、境界決定部３６、俯瞰画像生成部３８とを有する。
【００２４】
画像処理部３０による画像処理には、たとえば、撮像位置から見た撮像画像を車両１の上方の仮想の視点から見た撮像画像に変換する座標変換処理や、撮像画像の輪郭や色を補正する各種補正処理が含まれる。
【００２５】
物体検出部３２は、各撮像画像Ｇ１〜Ｇ４において、たとえば隣接画素の階調差に基づきエッジ検出を行い、検出したエッジの形状と予めＲＯＭ２２に記憶された形状とのパターンマッチングにより、物体を検出する。物体は、たとえば、通行人、他の車両、ガードレールやポールといった路側設置物等である。また、物体検出部３２は、物体の位置、大きさ、変位方向、変位速度などを検出する。物体の位置は、たとえば、水平面上において、車両１の所定の部位を原点とするＸ−Ｙ平面での座標である。物体の大きさは、たとえば、パターンマッチングにより検出された物体の種類から検出される。また、物体の変位方向は、たとえば、物体の位置の経時変化に基づき検出される。物体検出部３２は、たとえば、数十ミリ秒ごとの撮像サイクルまたは画像処理サイクルごとに、検出した物体の位置をＲＡＭ２３に格納しておき、サイクルごとの位置の差分を算出する。そして、物体の変位速度は、単位時間あたり、たとえば撮像サイクルや画像処理サイクルあたりの物体の変位量である。物体検出部３２は、たとえば、インターフェース部１９を介して入力される車速信号から車両１の走行速度を検出し、これにより物体の変位速度を補正することができる。
【００２６】
また、物体検出部３２は、車両１の進行方向または前記進行方向の反対方向に対応する第１の撮像画像（つまり前方の撮像画像Ｇ１、または後方の撮像画像Ｇ２）と、車両１の進行方向軸Ｙ−Ｙ´と交差する方向に対応する第２の撮像画像（つまり左方の撮像画像Ｇ３、または右方の撮像画像Ｇ４）との重複領域Ｇ１３、Ｇ１４、Ｇ２３、Ｇ２４に含まれる物体の位置を検出する。物体検出部３４は、たとえば、インターフェース部１９を介して入力されるトランスミッション信号に基づき、車両１の進行方向（つまり前方、または後方）を検出する。あるいは、物体検出部３２は、たとえば、インターフェース部１９を介して入力される操舵角信号に基づき、車両１の曲折方向（つまり左方、または右方）を検出する。
【００２７】
ポイント割当処理部３４は、撮像画像Ｇ１、Ｇ２に、物体が第１の位置にあるときに第１の評価値( 以降ポイントと呼ぶ)、車両１の進行方向軸Ｙ―Ｙ´からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１のポイントより小さい第２のポイントを割り当て、撮像画像Ｇ３、Ｇ４に、物体が前記第１の位置にあるときに第３のポイント、前記第２の位置にあるときに前記第３のポイントより大きい第４のポイントを割り当てる。あるいは、ポイント割当処理部３４は、後に詳述するように、車両１の曲折方向、物体の変位方向、単位時間当たりの変位量、または物体の大きさに基づくポイント割当処理を行う。
【００２８】
境界決定部３６は、撮像画像とをつなぎ合わせるときの境界（つまり、境界Ｅ１３、Ｅ１４、Ｅ２３、またはＥ２４）を、前記撮像画像Ｇ１、Ｇ２とＧ３、Ｇ４のうちポイントが大きい方の撮像画像に物体が含まれるように決定する。以下、ポイントが大きい方の撮像画像を、優先画像という。
【００２９】
俯瞰画像生成部３８は、撮像画像Ｇ１、Ｇ２とＧ３、Ｇ４を境界Ｅ１３、Ｅ１４、Ｅ２３、Ｅ２４でつなぎ合わせて、車両１の周囲を所定の視点から見た画像、たとえば、車両１の上方の視点から見た俯瞰画像Ｇ１０を生成する。そして、俯瞰画像データが出力される。
【００３０】
次に、ポイント割当処理部３４によるポイント割当処理について、詳細に説明する。ここでは、［１］車両１の進行方向と物体の位置に基づくポイント割当処理と、［２］車両１の進行方向と物体の変位方向とに基づくポイント割当処理とに場合分けして説明する。
【００３１】
［１］車両１の進行方向と物体の位置に基づくポイント割当処理
図５は、車両１の前進時、後進時におけるポイント割当処理について説明する図である。図５（Ａ）、（Ｂ）は、車両１が前進する場合（進行方向Ｄｒ１）、及び後進する場合（進行方向Ｄｒ２）が示される。図５（Ａ）には、前方の撮像画像Ｇ１において、右方の撮像画像Ｇ４との重複領域Ｇ１４に含まれる物体の位置Ｌ２１、位置Ｌ２２がそれぞれ検出された場合が示される。また、後方の撮像画像Ｇ２において、右方の撮像画像Ｇ４との重複領域Ｇ２４に含まれる物体の位置Ｌ４１、位置Ｌ４２がそれぞれ検出された場合が示される。ここで、位置Ｌ２１、Ｌ４１は、いずれも進行方向軸Ｙ−Ｙ´からの距離がｄ１であり、位置Ｌ２２、Ｌ４２は、いずれも進行方向軸Ｙ−Ｙ´からの距離がｄ２（＞ｄ１）である。なお、以下では、左方の撮像画像Ｇ３は右方の撮像画像Ｇ４の左右を反転させることで説明されるので、左方の撮像画像Ｇ３、並びに、左方の撮像画像Ｇ３と前方の撮像画像Ｇ１、後方の撮像画像Ｇ２との重複領域Ｇ１３、Ｇ２３についての説明は省略する。
【００３２】
ポイント割当処理部３４は、物体の位置が進行方向軸Ｙ−Ｙ´に近いときに撮像画像Ｇ１、Ｇ２に割り当てられるポイントの方が、物体の位置が進行方向軸Ｙ−Ｙ´から遠いときに撮像画像Ｇ１、Ｇ２に割り当てられるポイントより大きくなるように、撮像画像Ｇ１、Ｇ２にポイントを割り当てる。たとえば、ポイント割当処理部３４は、図中括弧付きで示すように、前方の撮像画像Ｇ１に対し、位置Ｌ２１の場合ポイントＰ２１を割り当て、位置Ｌ２２の場合ポイントＰ２２（＜Ｐ２１）を割り当てる。また、ポイント割当処理部３４は、後方の撮像画像Ｇ２に対し、位置Ｌ４１の場合ポイントＰ４１を割り当て、位置Ｌ４２の場合ポイントＰ４２（＜Ｐ４１）を割り当てる。
【００３３】
次に、図５（Ｂ）には、右方の撮像画像Ｇ４において、図５で示した物体の位置Ｌ２１、Ｌ２２、Ｌ４１、及びＬ４２が検出された場合がそれぞれ示される。位置Ｌ２１、Ｌ４１、及び位置Ｌ２２、Ｌ４２の進行方向軸Ｙ−Ｙ´からの距離は、それぞれ図５（Ａ）と同じｄ１、ｄ２である。ポイント割当処理部３４は、物体の位置が進行方向軸Ｙ−Ｙ´から遠いときに撮像画像Ｇ４に割り当てられるポイントの方が、物体の位置が進行方向軸Ｙ−Ｙ´に近いときに撮像画像Ｇ４に割り当てられるポイントより大きくなるように、撮像画像Ｇ４にポイントを割り当てる。たとえば、ポイント割当処理部３４は、撮像画像Ｇ４に対し、位置Ｌ２１の場合ポイントＱ２１を割り当て、位置Ｌ２２の場合ポイントＱ２２（＞Ｑ２１）を割り当てる。また、ポイント割当処理部３４は、撮像画像Ｇ４に対し、位置Ｌ４１の場合ポイントＱ４１を割り当て、位置Ｌ４２の場合ポイントＱ４２（＞Ｑ４１）を割り当てる。
【００３４】
図６は、境界決定部３６の処理について説明する図である。図６（Ａ）、（Ｂ）には、前方の撮像画像Ｇ１と右方の撮像画像Ｇ４をつなぎ合わせるときの境界Ｅ１４を決定する場合が例として示される。境界決定部３６は、前方の撮像画像Ｇ１と右方の撮像画像Ｇ４をつなぎ合わせるとき、ポイント割当処理部３４により割り当てられたポイントが大きい方の撮像画像、つまり優先画像に物体が含まれるように、境界Ｅ１４を決定する。たとえば、図６（Ａ）において、重複領域Ｇ１４に含まれる物体Ｏｂの位置に基づいて前方の撮像画像Ｇ１、右方の撮像画像Ｇ４にポイントが割り当てられる。そして、撮像画像Ｇ１に割り当てられたポイントが撮像画像Ｇ４に割り当てられたポイントより大きく、したがって撮像画像Ｇ１が優先画像の場合、物体Ｏｂが撮像画像Ｇ１に含まれるように境界Ｅ１４が決定される。一方、図６（Ｂ）に示すように、撮像画像Ｇ４に割り当てられたポイントが撮像画像Ｇ１に割り当てられたポイントより大きく、したがって撮像画像Ｇ４が優先画像の場合、物体Ｏｂが撮像画像Ｇ４に含まれるように境界Ｅ１４が決定される。
【００３５】
上記と同様にして、境界Ｅ１３、Ｅ２３、Ｅ２４が決定される。そして、俯瞰画像生成部３８により、上記のようにして決定された境界Ｅ１４において撮像画像Ｇ１、Ｇ４がつなぎ合わせられる。また、境界Ｅ２４において撮像画像Ｇ２、Ｇ４がつなぎ合わせられる。また、境界Ｅ１３において撮像画像Ｇ１、Ｇ３がつなぎ合わせられる。そして、境界Ｅ２３において撮像画像Ｇ２、Ｇ３がつなぎ合わせられる。このようにして、図２（Ｂ）で示したような俯瞰画像Ｇ１０が生成される。なお、境界Ｅ１３、Ｅ１４、Ｅ２３、Ｅ２４において、隣接する撮像画像をある程度の幅で重複させてもよい。また、境界Ｅ１３、Ｅ１４、Ｅ２３、Ｅ２４の形状や位置は、図６（Ａ）、（Ｂ）に示した例に限られず、また、それぞれ異なってもよい。
【００３６】
上記のような処理によれば、車両１に対する物体の相対的な位置がたとえば撮像サイクルや画像処理サイクルにともなって経時的に変化する場合に、物体が含まれる蓋然性がより大きい方の撮像画像を優先画像とすることができる。たとえば、重複領域Ｇ１４の例では、車両１の進行方向軸Ｙ−Ｙ´からの距離に応じてポイントを割り当てることで、重複領域Ｇ１４に含まれる物体の位置が車両１の前方寄りのときには撮像画像Ｇ１を優先画像とし、そうでないときには撮像画像Ｇ４を優先画像とすることができる。換言すれば、優先画像に物体が含まれるようにすることで、継続的に同じ撮像画像に物体を収めるとともに、物体付近に境界が設定されることを防止できる。さらに、たとえば重複領域Ｇ１４で、物体Ｏｂから所定距離離間させて境界Ｅ１４を決定することで、物体付近に境界が設定されるこをより確実に防止できる。この場合、物体Ｏｂから離間させる距離は、シミュレーション等により任意に設定される。あるいは、優先画像とされる撮像画像Ｇ１またはＧ４に重複領域Ｇ１４全体が含まれるように、境界Ｅ４１を決定してもよい。このようにすることで、境界付近で画像に不連続が生じるような場合であっても、その影響を抑え、俯瞰画像の視認性が低下することを防止できる。
【００３７】
図７は、車両１が曲折するときのポイント割当処理について説明する図である。図７（Ａ）、（Ｂ）では、車両１が前進するときの進行方向Ｄｒ１から、左方向（曲折方向Ｄｒ３）または右方向（曲折方向Ｄｒ４）に曲折する場合が示される。図７（Ａ）、（Ｂ）は、車両１が曲折する点を除き、図５（Ａ）、（Ｂ）と同じである。
【００３８】
図７（Ａ）において、ポイント割当処理部３４は、図５（Ａ）で説明したポイント割当処理と同様に、物体の位置が進行方向軸Ｙ−Ｙ´に近いときに撮像画像Ｇ１、Ｇ２に割り当てられるポイントＰ２１、Ｐ４１の方が、物体の位置が進行方向軸Ｙ−Ｙ´から遠いときに撮像画像Ｇ１、Ｇ２に割り当てられるポイントＰ２２、Ｐ４２より大きくなるように、ポイント割当処理を行う。
【００３９】
図７（Ｂ）において、ポイント割当処理部３４は、図５（Ｂ）で説明したポイント割当処理と同様に、物体の位置が進行方向軸Ｙ−Ｙ´から遠いときに撮像画像Ｇ４に割り当てられるポイントＱ２２、Ｑ４２の方が、物体の位置が進行方向軸Ｙ−Ｙ´に近いときに撮像画像Ｇ４に割り当てられるポイントＱ２１、Ｑ４１より大きくなるように、ポイント割当処理を行う。
【００４０】
このようなポイント割当処理によれば、車両１が曲折する場合であっても、優先画像に物体が含まれるようにすることができる。よって、物体付近に境界が設定されることを防止でき、俯瞰画像の視認性低下を防止できる。
【００４１】
［２］車両１の進行方向と物体の変位方向に基づくポイント割当処理
ポイント割当処理部３４は、物体の位置が同じ場合において、車両１の進行方向と物体の変位方向との組合せに応じて異なる大きさのポイントを撮像画像Ｇ１〜Ｇ４に割り当てる。
【００４２】
次では、車両１の進行方向または反対方向に物体が変位する場合と、車両の進行方向軸Ｙ−Ｙ´に近づくように、または遠くなるように物体が変位する場合とに場合分けして、説明する。
【００４３】
（１）物体の変位方向が車両１の進行方向またはその反対方向の場合
ポイント割当処理部３４は、物体の位置が同じ場合において、車両１の進行方向と反対方向に物体が変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントが、進行方向に物体が変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントよりそれぞれ大きくなるように、撮像画像Ｇ１〜Ｇ４にポイントを割り当てる。図８〜図１９に例を示す。
【００４４】
１）車両１が前進する場合
図８、図９は、車両１が前進する場合の、車両１の進行方向、物体の変位方向、及び撮像画像に割り当てられるポイントの例を示す図である。図８（Ａ）、（Ｂ）、及び図９（Ａ）、（Ｂ）は、車両１が進行方向Ｄｒ１に進行（前進）する場合を示す。
【００４５】
図８（Ａ）、（Ｂ）では、前方の撮像画像Ｇ１において、右方の撮像画像Ｇ４との重複領域Ｇ１４に含まれる物体の位置Ｌ２１が検出された場合と、後方の撮像画像Ｇ２において、右方の撮像画像Ｇ４との重複領域Ｇ２４に含まれる物体の位置Ｌ４１が検出された場合とが示される。図８（Ａ）では、位置Ｌ２１、Ｌ４１において、物体が車両１の進行方向Ｄｒ１と反対方向に変位する場合が示される。また、図８（Ｂ）では、位置Ｌ２１、Ｌ４１において、物体が車両１の進行方向Ｄｒ１に変位する場合が示される。なお、ここで示す位置Ｌ２１、Ｌ４１は、図５（Ａ）で示した位置Ｌ２１、Ｌ４１に対応するが、図５（Ａ）における位置Ｌ２２、Ｌ４２についても、以下の説明が適用される。
【００４６】
図８（Ａ）において、ポイント割当処理部３４は、物体が位置Ｌ２１で進行方向Ｄｒ１と反対方向に変位するときに、図中括弧内に示すように、撮像画像Ｇ１にポイントＰ２１ａを割り当てる。また、ポイント割当処理部３４は、物体の位置が位置Ｌ４１で進行方向Ｄｒ１と反対方向に変位するときに、撮像画像Ｇ２にポイントＰ４１ａを割り当てる。また、図８（Ｂ）において、ポイント割当処理部３４は、物体が位置Ｌ２１で進行方向Ｄｒ１に変位するときに、撮像画像Ｇ１にポイントＰ２１ｂを割り当てる。また、ポイント割当処理部３４は、物体の位置が位置Ｌ４１で進行方向Ｄｒ１に変位するときに、撮像画像Ｇ２にポイントＰ４１ｂを割り当てる。
【００４７】
図８（Ａ）、（Ｂ）において、撮像画像Ｇ１に割り当てられるポイントＰ２１ａ、Ｐ２１ｂ、ならびに、撮像画像Ｇ２に割り当てられるポイントＰ４１ａ、Ｐ４１ｂの大小関係は、それぞれ次のとおりである。
【００４８】
Ｐ２１ａ ＞ Ｐ２１ｂ
Ｐ４１ａ ＞ Ｐ４１ｂ
図９（Ａ）、（Ｂ）では、右方の撮像画像Ｇ４において、前方の撮像画像Ｇ１との重複領域Ｇ１４に含まれる物体の位置Ｌ２１が検出された場合と、後方の撮像画像Ｇ２との重複領域Ｇ２４に含まれる物体の位置Ｌ４１が検出された場合とが示される。図９（Ａ）では、位置Ｌ２１、Ｌ４１において、物体が車両１の進行方向Ｄｒ１と反対方向に変位する場合が示される。また、図９（Ｂ）では、位置Ｌ２１、Ｌ４１において、物体が車両１の進行方向Ｄｒ１に変位する場合が示される。なお、ここで示す位置Ｌ２１、Ｌ２１は、図５（Ｂ）で示した位置Ｌ２１、Ｌ４１に対応するが図５（Ｂ）における位置Ｌ２２、Ｌ４２についても、同じ説明が適用される。
【００４９】
図９（Ａ）において、ポイント割当処理部３４は、物体が位置Ｌ２１で進行方向Ｄｒ１と反対方向に変位するときに、撮像画像Ｇ４にポイントＱ２１ａを割り当てる。また、ポイント割当処理部３４は、物体の位置が位置Ｌ４１で進行方向Ｄｒ１と反対方向に変位するときに、撮像画像Ｇ４にポイントＱ４１ａを割り当てる。また、図９（Ｂ）において、ポイント割当処理部３４は、物体が位置Ｌ２１で進行方向Ｄｒ１に変位するときに、撮像画像Ｇ４にポイントＱ２１ｂを割り当てる。また、ポイント割当処理部３４は、物体の位置が位置Ｌ４１で進行方向Ｄｒ１に変位するときに、撮像画像Ｇ４にポイントＱ４１ｂを割り当てる。
【００５０】
図９（Ａ）、（Ｂ）において、撮像画像Ｇ４に割り当てられるポイントＱ２１ａ、Ｑ２１ｂ、ならびに、ポイントＱ４１ａ、Ｑ４１ｂの大小関係は、それぞれ次のとおりである。
【００５１】
Ｑ２１ａ ＞ Ｑ２１ｂ
Ｑ４１ａ ＞ Ｑ４１ｂ
２）車両１が後進する場合
図１０、図１１は、車両１が後進する場合の、車両１の進行方向、物体の変位方向、及び割り当てられるポイントの例を示す図である。図１０（Ａ）、（Ｂ）、及び図１１（Ａ）、（Ｂ）は、車両１が進行方向Ｄｒ２に進行（後進）する場合を示す。図１０（Ａ）、（Ｂ）は、車両１の進行方向以外は図８（Ａ）、（Ｂ）と同じである。また、図１１（Ａ）、（Ｂ）は、車両１の進行方向以外は図９（Ａ）、（Ｂ）と同じである。ここでは、図１０（Ａ）と図１１（Ａ）は、物体が車両の進行方向Ｄｒ２に変位する場合に対応し、図１０（Ｂ）と図１１（Ｂ）は、物体が車両の進行方向Ｄｒ２と反対方向に変位する場合に対応する。
【００５２】
図１０（Ａ）、（Ｂ）において、撮像画像Ｇ１に割り当てられるポイントＰ２１ａ、Ｐ２１ｂ、ならびに、撮像画像Ｇ２に割り当てられるポイントＰ４１ａ、Ｐ４１ｂの大小関係は、それぞれ次のとおりである。
【００５３】
Ｐ２１ａ ＜ Ｐ２１ｂ
Ｐ４１ａ ＜ Ｐ４１ｂ
また、図１１（Ａ）、（Ｂ）において、撮像画像Ｇ４に割り当てられるポイントＱ２１ａ、Ｑ２１ｂ、ならびに、ポイントＱ４１ａ、Ｑ４１ｂの大小関係は、それぞれ次のとおりである。
【００５４】
Ｑ２１ａ ＜ Ｑ２１ｂ
Ｑ４１ａ ＜ Ｑ４１ｂ
３）車両１が曲折する場合
図１２、図１３は、車両１の曲折方向と物体の変位方向の例を示す図である。図１２（Ａ）、（Ｂ）、及び、図１３（Ａ）、（Ｂ）は、車両１が前進するときの進行方向Ｄｒ１から、左方向（曲折方向Ｄｒ３）または右方向（曲折方向Ｄｒ４）に曲折する場合を示す。図１２（Ａ）、（Ｂ）は、車両１が曲折する点以外は、図８（Ａ）、（Ｂ）と同じである。また、図１３（Ａ）、（Ｂ）は、車両１が曲折する点以外は、図９（Ａ）、（Ｂ）と同じである。
【００５５】
図１２（Ａ）、（Ｂ）において、撮像画像Ｇ１に割り当てられるポイントＰ２１ａ、Ｐ２１ｂ、ならびに、撮像画像Ｇ２に割り当てられるポイントＰ４１ａ、Ｐ４１ｂの大小関係は、それぞれ次のとおりである。
【００５６】
Ｐ２１ａ ＞ Ｐ２１ｂ
Ｐ４１ａ ＞ Ｐ４１ｂ
また、図１３（Ａ）、（Ｂ）において、撮像画像Ｇ４に割り当てられるポイントＱ２１ａ、Ｑ２１ｂ、ならびに、ポイントＱ４１ａ、Ｑ４１ｂの大小関係は、それぞれ次のとおりである。
【００５７】
Ｑ２１ａ ＞ Ｑ２１ｂ
Ｑ４１ａ ＞ Ｑ４１ｂ
このように、車両１の前進時、後進時、及び曲折時において、物体の位置が同じ場合、車両１の進行方向と反対方向に物体が変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントが、進行方向に物体が変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントよりそれぞれ大きくなるように、撮像画像Ｇ１〜Ｇ４にポイントが割り当てられる。よって、たとえば、進行方向と反対方向に変位する物体、つまり車両１に対向してくる物体であってたとえば衝突回避動作などの対象となりうる物体が優先画像に含まれやすくなる。よって、かかる物体の付近に境界が設定されることを防止でき、俯瞰画像の視認性低下を防止できる。
【００５８】
（２）車両の進行方向軸Ｙ−Ｙ´に近づくように、または遠くなるように物体が変位する場合
１）車両の直進時
ポイント割当処理部３４は、物体の位置が同じ場合、車両１の進行方向軸Ｙ−Ｙ´に近づくように物体が変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントが、進行方向軸Ｙ−Ｙ´から離れるように変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントよりそれぞれ大きくなるようにポイントを割り当てる。
【００５９】
図１４、図１５は、車両１が前進または後進する場合の、車両１の進行方向軸Ｙ−Ｙ´に対する物体の変位方向と、割り当てられるポイントの例を示す図である。図１４（Ａ）、（Ｂ）は、車両１の進行方向と、物体の変位方向以外は、図８（Ａ）、（Ｂ）と同じである。また、図１５（Ａ）、（Ｂ）は、車両１の進行方向と、物体の変位方向以外は、図９（Ａ）、（Ｂ）と同じである。図１４（Ａ）、（Ｂ）、及び、図１５（Ａ）、（Ｂ）は、車両１が進行方向Ｄｒ１に進行（つまり前進）する場合、またはＤｒ２に進行（つまり後進）する場合を示す。そして、図１４（Ａ）と図１５（Ａ）は、位置Ｌ２１、Ｌ４１において物体が進行方向軸Ｙ−Ｙ´に近づくように変位する場合を示し、図１４（Ｂ）と図１５（Ｂ）は、位置Ｌ２１、Ｌ４１において物体が進行方向軸Ｙ−Ｙ´から遠くなるように変位する場合を示す。
【００６０】
図１４（Ａ）、（Ｂ）において、撮像画像Ｇ１に割り当てられるポイントＰ２１ａ、Ｐ２１ｂ、ならびに、撮像画像Ｇ２に割り当てられるポイントＰ４１ａ、Ｐ４１ｂの大小関係は、それぞれ次のとおりである。
【００６１】
Ｐ２１ａ ＞ Ｐ２１ｂ
Ｐ４１ａ ＞ Ｐ４１ｂ
また、図１５（Ａ）、（Ｂ）において、撮像画像Ｇ４に割り当てられるポイントＱ２１ａ、Ｑ２１ｂ、ならびに、ポイントＱ４１ａ、Ｑ４１ｂの大小関係は、それぞれ次のとおりである。
【００６２】
Ｑ２１ａ ＞ Ｑ２１ｂ
Ｑ４１ａ ＞ Ｑ４１ｂ
このように、車両１の直進時でのポイント割当処理では、物体が車両１の進行方向軸Ｙ−Ｙ´に近づくように変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントが、車両１の進行方向軸Ｙ−Ｙ´から遠くなるように変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントよりそれぞれ大きくなるように、ポイントが割り当てられる。そうすることで、車両１に対して接近する蓋然性が高く、したがってたとえば衝突回避動作などの対象となりうる物体を優先画像に含まれるようにすることができる。よって、かかる物体付近に境界が設定されることを防止でき、俯瞰画像の視認性低下を防止できる。
【００６３】
２）車両の曲折時
ポイント割当処理部３４は、車両１が左右いずれかの方向に曲折する場合、物体の位置が同じとして、物体が車両１の曲折方向の反対方向に変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントが、物体が車両１の曲折方向に変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントよりそれぞれ大きくなるように、ポイントを割り当てる。
【００６４】
図１６、図１７は、車両１が左折する場合の、車両１の進行方向軸に対する物体の変位方向の例と、割り当てられるポイントの例を示す図である。図１６（Ａ）、（Ｂ）、及び図１７（Ａ）、（Ｂ）は、車両１が進行方向Ｄｒ１から左折（曲折方向Ｄｒ３）する場合を示す。図１６（Ａ）、（Ｂ）は、車両１が左折すること以外は、図１４（Ａ）、（Ｂ）と同じである。また、図１７（Ａ）、（Ｂ）は、車両１が左折すること以外は、図１５（Ａ）、（Ｂ）と同じである。
【００６５】
図１６（Ａ）、（Ｂ）において、撮像画像Ｇ１に割り当てられるポイントＰ２１ａ、Ｐ２１ｂ、ならびに、撮像画像Ｇ２に割り当てられるポイントＰ４１ａ、Ｐ４１ｂの大小関係は、それぞれ次のとおりである。
【００６６】
Ｐ２１ａ ＜ Ｐ２１ｂ
Ｐ４１ａ ＜ Ｐ４１ｂ
また、図１７（Ａ）、（Ｂ）において、撮像画像Ｇ４に割り当てられるポイントＱ２１ａ、Ｑ２１ｂ、ならびに、ポイントＱ４１ａ、Ｑ４１ｂの大小関係は、それぞれ次のとおりである。
【００６７】
Ｑ２１ａ ＜ Ｑ２１ｂ
Ｑ４１ａ ＜ Ｑ４１ｂ
図１８、図１９は、車両１が右折する場合の、車両１の進行方向軸に対する物体の変位方向の例と、割り当てられるポイントの例を示す図である。図１８（Ａ）、（Ｂ）、及び図１９（Ａ）、（Ｂ）は、車両１が進行方向Ｄｒ１から右折（曲折方向Ｄｒ４）する場合を示す。図１８（Ａ）、（Ｂ）は、車両１が右折すること以外は、図１４（Ａ）、（Ｂ）と同じである。また、図１９（Ａ）、（Ｂ）は、車両１が右折すること以外は、図１５（Ａ）、（Ｂ）と同じである。
【００６８】
図１８（Ａ）、（Ｂ）において、撮像画像Ｇ１に割り当てられるポイントＰ２１ａ、Ｐ２１ｂ、ならびに、撮像画像Ｇ２に割り当てられるポイントＰ４１ａ、Ｐ４１ｂの大小関係は、それぞれ次のとおりである。
【００６９】
Ｐ２１ａ ＞ Ｐ２１ｂ
Ｐ４１ａ ＞ Ｐ４１ｂ
また、図１９（Ａ）、（Ｂ）において、撮像画像Ｇ４に割り当てられるポイントＱ２１ａ、Ｑ２１ｂ、ならびに、ポイントＱ４１ａ、Ｑ４１ｂの大小関係は、それぞれ次のとおりである。
【００７０】
Ｑ２１ａ ＞ Ｑ２１ｂ
Ｑ４１ａ ＞ Ｑ４１ｂ
このように、車両１が左右いずれかの方向に曲折する場合のポイント割当処理では、物体の位置が同じ場合において、物体が車両１の曲折方向の反対方向に変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントが、物体が車両１の曲折方向に変位するときに撮像画像Ｇ１〜Ｇ４に割り当てるポイントよりそれぞれ大きくなるように、ポイントが割り当てられる。そうすることで、曲折方向において車両１に対向する蓋然性が高く、したがってたとえば衝突回避動作などの対象となりうる物体を優先画像に含まれるようにすることができる。よって、かかる物体付近に境界が設定されることを防止でき、俯瞰画像の視認性低下を防止できる。
【００７１】
上述したポイント割当処理において、たとえば、次に説明するようなポイントマップが用いられる。画像処理装置４は、たとえば、撮像画像データＧ１〜Ｇ４ごとに、車両１の進行方向と物体の変位方向とに対応するポイントマップをあらかじめＲＯＭ２２に格納する。ポイント割当処理部３４は、車両１の進行方向と物体の変位方向とに対応するポイントマップを選択する。そして、ポイント割当処理部３４は、選択したポイントマップにおいて物体の位置に対応するポイントを求め、ポイント割当処理を行う。
【００７２】
図２０は、ポイントマップについて説明する図である。図２０（Ａ）は、前方の撮像画像データＧ１と後方の撮像画像データＧ２用のポイントマップを模式的に示す。図２０（Ａ）では、車両が前進または後進するときにおける、車両の進行方向ごとのポイントマップが示される。なお、以下では、物体の変位方向を、便宜上、次のように称する。
【００７３】
車両１の進行方向：「順方向」
車両１の進行方向と反対方向：「逆方向」
進行方向軸Ｙ−Ｙ´に近づく方向：「内向き」
進行方向軸Ｙ−Ｙ´から遠くなる方向：「外向き」
図２０（Ａ）では、縦軸に物体の変位方向ごとのポイントマップ、たとえば、「順方向ポイントマップ」、「逆方向ポイントマップ」、「内向きポイントマップ」、「外向きポイントマップ」が示される。また、横軸に、各ポイントマップにおける、物体の位置ごとのポイントが示される。物体の位置は、進行方向軸Ｙ−Ｙ´との距離「近」、「遠」として示される。図２０（Ａ）では、すべての変位方向のポイントマップにおいて、物体の位置「近」のときのポイントＰ１０１〜Ｐ１０４の方が、物体の位置「遠」のときのポイントＰ２０１〜Ｐ２０４より大きい。また、ポイントマップ間では、順方向ポイントマップのポイントＰ１０１、Ｐ２０１より、逆方向ポイントマップのポイントＰ１０２、Ｐ２０２の方が大きい。また、内向きポイントマップのポイントＰ１０３、Ｐ２０３の方が、外向きポイントマップのポイントＰ１０４、Ｐ２０４より大きい。
【００７４】
図２０（Ｂ）は、車両が前進または後進するときにおける、左方の撮像画像データＧ３と右方の撮像画像データＧ４用のポイントマップを模式的に示す。ここでは、すべての変位方向のポイントマップにおいて、物体の位置「近」のときのポイントＱ１０１〜Ｑ１０４より、物体の位置「遠」のときのポイントＱ２０１〜Ｑ２０４の方が大きい。また、ポイントマップ間では、順方向ポイントマップのポイントＱ１０１、Ｑ２０１より、逆方向ポイントマップのポイントＱ１０２、Ｑ２０２の方が大きい。また、内向きポイントマップのポイントＱ１０３、Ｑ２０３の方が、外向きポイントマップのポイントＱ１０４、Ｑ２０４より大きい。
【００７５】
図２０（Ｃ）は、車両が前進方向から曲折するときの、前方の撮像画像データＧ１と後方の撮像画像データＧ２用のポイントマップを模式的に示す。ここでは、すべての変位方向のポイントマップにおいて、物体の位置「近」のときのポイントＰ３０１〜Ｐ３０４の方が、物体の位置「遠」のときのポイントＰ４０１〜Ｐ４０４より大きい。また、ポイントマップ間では、順方向ポイントマップのポイントＰ３０１、Ｐ４０１より、逆方向ポイントマップのポイントＰ３０２、Ｐ４０２の方が大きい。一方、内向きポイントマップのポイントＰ３０３、Ｐ４０３の方が、外向きポイントマップのポイントＰ３０４、Ｐ４０４より大きい。
【００７６】
図２０（Ｄ）は、車両が曲折するときの、撮像画像データＧ３またはＧ４のうち曲折方向に対応する撮像画像用のポイントマップを模式的に示す。順方向、逆方向は、車両が曲折する前の進行方向、つまり前方を基準とする方向である。また、内向きは曲折方向の反対方向に対応し、外向きは曲折方向に対応する。ここでは、すべての変位方向のポイントマップにおいて、物体の位置「近」のときのポイントＱ３０１〜Ｑ３０４より、物体の位置「遠」のときのポイントＱ４０１〜Ｑ４０４の方が大きい。また、ポイントマップ間では、順方向ポイントマップのポイントＱ３０１、Ｑ４０１より、逆方向ポイントマップのポイントＱ３０２、Ｑ４０２の方が大きい。また、内向きポイントマップのポイントＱ３０３、Ｑ４０３の方が、外向きポイントマップのポイントＱ３０４、Ｑ４０４より大きい。
【００７７】
図２０（Ｅ）は、車両が曲折するときの、撮像画像データＧ３またはＧ４のうち曲折方向と反対方向に対応する撮像画像用のポイントマップを模式的に示す。順方向、逆方向は、車両が曲折する前の進行方向、つまり前方を基準とする方向である。また、内向きは曲折方向に対応し、外向きは曲折方向と反対方向に対応する。ここでは、すべての変位方向のポイントマップにおいて、物体の位置「近」のときのポイントＱ３０５〜Ｑ３０８より、物体の位置「遠」のときのポイントＱ４０５〜Ｑ４０８の方が大きい。また、ポイントマップ間では、順方向ポイントマップのポイントＱ３０５、Ｑ４０５より、逆方向ポイントマップのポイントＱ３０６、Ｑ４０６の方が大きい。一方、内向きポイントマップのポイントＱ３０７、Ｑ４０７より、外向きポイントマップのポイントＱ３０８、Ｑ４０８の方が大きい。
【００７８】
次に、より具体的なポイントマップを用いた処理の例について、図２１に従って、適宜図２２〜図２４を参照しつつ説明する。
【００７９】
図２１は、画像処理装置４の処理手順を説明するフローチャート図である。図２１の手順は、画像処理部３０、物体検出部３２、ポイント割当処理部３４、境界決定部３６、及び俯瞰画像生成部３８の手順に対応する。図２１の手順は、たとえば一撮像サイクルごとに実行される。
【００８０】
画像処理部３０は、撮像画像Ｇ１〜Ｇ４の撮像画像データを画像処理する（Ｓ２）。そして、物体検出部３２は、撮像画像データＧ１〜Ｇ４から物体を検出する（Ｓ４）。ここで、図２２に、検出される物体の例を示す。図２２（Ａ）では、車両１の前進時に、前方の撮像画像Ｇ１と右方の撮像画像Ｇ４のそれぞれで、重複領域Ｇ１４に含まれる物体Ｏｂ１〜Ｏｂ３が検出された場合を示す。物体Ｏｂ１〜Ｏｂ３は、それぞれ、たとえば、車両１の付近を通過するボール、子供、大人である。
【００８１】
次いで、物体検出部３２は、物体の位置、大きさを検出する（Ｓ６）。図２２（Ａ）の例では、物体Ｏｂ１の位置Ｌ１０（進行方向軸Ｙ−Ｙ´からの距離Ｄ１）、物体Ｏｂ２の位置Ｌ２０（進行方向軸Ｙ−Ｙ´からの距離Ｄ２（＞Ｄ１））、及び物体Ｏｂ３の位置Ｌ３０（進行方向軸Ｙ−Ｙ´からの距離Ｄ３（＞Ｄ２））がそれぞれ検出される。また、物体Ｏｂ１〜Ｏｂ３の大きさは、たとえば物体Ｏｂ１が「小」、物体Ｏｂ２が「中」、物体Ｏｂ３が「中」である。各物体の検出された位置と大きさは、図２２（Ｂ）の表に示される。
【００８２】
次いで、物体検出部３２は、物体の変位方向と変位速度とを検出する（Ｓ８）。たとえば、図２２（Ａ）では、物体Ｏｂ１の変位方向は車両１の進行方向と反対方向、つまり逆方向である。また、物体Ｏｂ２の変位方向は車両１の進行方向軸Ｙ−Ｙ´に近づく方向、つまり内向きである。そして、物体Ｏｂ３の変位方向は車両１の進行方向軸Ｙ−Ｙ´から遠ざかる方向、つまり外向きである。また、物体Ｏｂ１〜Ｏｂ３の変位速度は、たとえば物体Ｏｂ１が「高」、物体Ｏｂ２が「低」、物体Ｏｂ３が「低」である。各物体の変位方向と変位速度は、図２２（Ｂ）の表に示される。
【００８３】
次いで、ポイント割当処理部３４は、車両の進行方向を取得し（Ｓ１０）、進行方向と物体の変位方向に対応するポイントマップを選択する（Ｓ１２）。そして、ポイント割当処理部３４は、選択したポイントマップに基づき、位置に基づくポイントを算出する（Ｓ１４）。
【００８４】
ここで、図２３に、物体Ｏｂ１〜Ｏｂ３について選択されるポイントマップの例を示す。図２３に示す各ポイントマップでは、Ｘ座標（Ｘ０〜Ｘ７）、Ｙ座標（Ｙ０〜Ｙ７）ごとに、ポイント「５」〜「１」が対応付けられる。ここで、Ｙ軸は車両１の進行方向軸Ｙ−Ｙ´に対応する。図２３（Ａ）には、車両前進時であって物体の変位方向が逆方向のときの、撮像画像Ｇ１用のポイントマップＰＭ１０と、撮像画像Ｇ４用のポイントマップＰＭ１２とが示される。また、図２３（Ｂ）には、車両前進時であって物体の変位方向が内向きのときの、撮像画像Ｇ１用のポイントマップＰＭ１４と、撮像画像Ｇ４用のポイントマップＰＭ１６とが示される。そして、図２３（Ｃ）には、車両前進時であって物体の変位方向が外向きのときの、撮像画像Ｇ１用のポイントマップＰＭ１８と、撮像画像Ｇ４用のポイントマップＰＭ２０とが示される。
【００８５】
逆方向に変位する物体Ｏｂ１について、図２３（Ａ）のポイントマップＰＭ１０、ＰＭ１２が選択される。ここで、物体Ｏｂ１の位置Ｌ１０の座標が、（Ｘ２，Ｙ４）である。よって、ポイントマップＰＭ１０から、撮像画像Ｇ１に割り当てるポイント「５」が求められる。一方、ポイントマップＰＭ１２から、撮像画像Ｇ４に割り当てるポイント「２」が求められる。
【００８６】
また、内向きに変位する物体Ｏｂ２について、図２３（Ｂ）のポイントマップＰＭ１４、ＰＭ１６が選択される。ここで、物体Ｏｂ２の位置Ｌ２０の座標が、（Ｘ２，Ｙ３）である。よって、ポイントマップＰＭ１４から、撮像画像Ｇ１に割り当てるポイント「５」が求められる。一方、ポイントマップＰＭ１６から、撮像画像Ｇ４に割り当てるポイント「１」が求められる。
【００８７】
そして、外向きに変位する物体Ｏｂ３について、図２３（Ｃ）のポイントマップＰＭ１８、ＰＭ２０が選択される。ここで、物体Ｏｂ３の位置Ｌ３０の座標が、（Ｘ４，Ｙ３）である。よって、ポイントマップＰＭ１８から、撮像画像Ｇ１に割り当てるポイント「２」が求められる。一方、ポイントマップＰＭ２０から、撮像画像Ｇ４に割り当てるポイント「２」が求められる。
【００８８】
さらに、手順Ｓ１４において、ポイント割当処理部３４は、物体Ｏｂ１〜Ｏｂ３の大きさと変位速度とに基づいて、ポイントを求める。ここにおけるポイントは、たとえば、大きさや変位速度を分類してポイントを対応付けたマップデータを予めＲＯＭ２２に格納しておいてもよいし、演算により求めてもよい。
【００８９】
大きさに基づくポイント算出では、物体の大きさが大きいときのポイントが、小さいときのポイントより大きくなるようにポイントが求められる。図２２の例では、「小」の物体Ｏｂ１にポイント「１」が算出され、「中」の物体Ｏｂ２、Ｏｂ３にポイント「２」が求められる。
【００９０】
また、変位速度に基づくポイント算出では、物体の位置が同じ場合において、変位速度が大きいときのポイントが、変位速度が小さいときのポイントより大きくなるようにポイントが求められる。図２２の例では、速度「高」の物体Ｏｂ１に対応してポイント「３」が、速度「低」の物体Ｏｂ２、Ｏｂ３に対応してポイント「１」が求められる。このように、物体の大きさや変位速度に応じた大きさのポイントを撮像画像Ｇ１またはＧ４に割り当てることで、たとえば衝突回避制御の対象となりうるような大きい物体、または変位速度が速い物体が優先画像に含まれやすくなる。よって、かかる物体を含む俯瞰画像の視認性低下を防止できる。
【００９１】
手順Ｓ１４で算出されたポイントは、図２４に示される。図２４（Ａ）には、撮像画像Ｇ１に割り当てられるポイントが示される。ここには、物体ごとに選択されたポイントマップから位置に対応して求められたポイント、大きさ、及び変位速度に対応して求められたポイントが示される。また、図２４（Ｂ）には、撮像画像Ｇ４に割り当てられるポイントが、同様に示される。
【００９２】
次いで、ポイント割当処理部３４は、ポイントの重みづけ処理を行う（Ｓ１６）。ポイントの重みづけ処理では、たとえば、物体の位置に基づくポイント、変位速度に基づくポイント、大きさに基づくポイントの順で重みが小さくなるように、各ポイントに重みづけされる。具体的には、位置に基づくポイントをＰＰ、変位速度に基づくポイントをＶＰ、大きさに基づくポイントをＳＰとしたとき、次の式によりポイントが算出される。
【００９３】
重みづけされたポイント＝ＰＰ×ｐ×ＶＰ×ｖ×ＳＰ×ｓ
（係数：ｐ＝３、ｖ＝２、ｓ＝１）
なお、上記の係数ｐ、ｖ、ｓを変更することで、ポイント割当処理で優先すべき要因を任意に設定できる。たとえば、ここでは、位置、変位速度、大きさの順に優先される。また、上記の式は一例であり、たとえば上記係数ｐ、ｖ、及びｓで重みづけされたポイントＰＰ、ＶＰ、及びＳＰの和を算出してもよい。
【００９４】
次いで、ポイント割当処理部３４は、撮像画像ごとのポイントを累計する（Ｓ１８）。図２２の例では、上記の式により、図２４（Ｃ）、（Ｄ）で示すポイント累計が求められる。図２４（Ｃ）には、図２４（Ａ）におけるポイントの累計「１７４」が示される。このポイント累計値は撮像画像Ｇ１に割り当てられる。また、図２４（Ｄ）には、図２４（Ｂ）におけるポイントの累計「７２」が示される。このポイント累計値は撮像画像Ｇ４に割り当てられる。
【００９５】
次いで、ポイント割当処理部３４は、撮像画像間のポイント累計の差分の変化量が、基準量以上かを判定する（Ｓ２０）。たとえば、上記の例では、撮像画像Ｇ１、Ｇ４間のポイント累計の差分は、１０２（＝１７４−７２）である。ポイント割当処理部３４は、たとえば各撮像サイクルで、撮像画像間のポイント累計の差分を求め、ＲＡＭ２３に格納する。そして、サイクルごとの変化量が、基準量以上か否かを判断する。たとえば、前回の差分が９０である場合、差分の変化量は＋１２である。ここで、基準量が１０とすると判定結果は「Ｙｅｓ」となる。一方、変化量が基準量を下回ると、判定結果は「Ｎｏ」となる。
【００９６】
手順Ｓ２０の判定結果が「Ｎｏ」の場合、ポイント割当処理部３４は、前回サイクルの優先画像を維持する（Ｓ２２）。一方、手順Ｓ２０の判定結果が「Ｙｅｓ」の場合、ポイント割当処理部３４は、算出したポイント累計に基づき、優先画像を決定する（Ｓ２３）。たとえば、ポイント累計が大きい方の撮像画像が優先画像に決定される。図２２の例では、撮像画像Ｇ１のポイント累計が１７４、撮像画像Ｇ４のポイント累計が７２であり、撮像画像Ｇ１のポイント累計の方が大きいので、撮像画像Ｇ１が優先画像に決定される。このようにすることで、続く手順で、境界決定部３６は、ポイントの差分の経時的な変化量が基準量以上のときに、過去に決定した前記境界を新たに決定した前記境界に変更し、前記変化量が前記基準量を下回るときに、過去に決定した前記境界を維持する。よって、優先画像が頻繁に入れ替わり境界が頻繁に変更されることを回避でき、俯瞰画像の視認性低下を防止できる。
【００９７】
次いで、境界決定部３６は、基準値以上のポイントを有する物体を抽出する（Ｓ２４）。そして、境界決定部３６は、抽出した物体が優先画像に含まれる場合に（Ｓ２６のＹｅｓ）、境界を維持し（Ｓ２７）、含まれない場合に（Ｓ２６のＮｏ）、優先画像に物体が含まれるように境界を変更する（Ｓ２８）。基準値は、複数の物体をスクリーニングするための値であって、任意に設定される値である。物体の数が比較的多い場合において、かかる基準値を設けることで、手順Ｓ２８に進んだときに頻繁に境界が変更されることを防止できる。
【００９８】
上記の処理は、撮像画像Ｇ２、Ｇ３についても実行される。そして、俯瞰画像生成部３８が、撮像画像Ｇ１〜Ｇ４をつなぎ合わせて、俯瞰画像を生成する（Ｓ３０）。
【００９９】
上述の説明では、ポイント割当処理部３４は、各回の撮像サイクルごとに検出された物体の位置に基づき、ポイント割当処理を行った。ポイント割当処理部３４は、検出された物体の位置の代わりに、過去の物体の位置から予測される予測位置に基づいて、上記のポイント割当処理を行ってもよい。その場合、物体検出部３２が、たとえば、物体の変位方向と変位速度とに基づいて次の撮像サイクルまたは画像処理サイクルでの物体の位置を予測する。そうすることで、たとえば物体の変位速度が大きい場合において、物体が確実に優先画像に含まれるようにすることができる。よって、物体の位置が境界付近になることを防止でき、俯瞰画像の視認性低下を防止できる。
【０１００】
上記の実施形態によれば、優先画像に継続して物体が含まれるようにすることができる。よって、物体付近に境界が設定されることを防止できるので、境界付近の画像の不連続性の影響が抑えられ、物体の視認性低下を防止できる。
【０１０１】
以上の実施の形態をまとめると、次の付記のとおりである。
【０１０２】
（付記１）
車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像の重複領域に含まれる物体の位置を検出する検出部と、
前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当てる処理部と、
前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定する決定部と、
前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する生成部と、
を有する画像処理装置。
【０１０３】
（付記２）
付記１において、
前記処理部は、前記物体が前記車両の進行方向と反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記進行方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【０１０４】
（付記３）
付記１または２において、
前記処理部は、前記物体が前記車両の進行方向軸に近づくように変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記前後方向軸から離れるように変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【０１０５】
（付記４）
付記１乃至３のいずれかにおいて、
前記処理部は、前記車両が所定の方向に曲折する場合、前記物体が前記所定の方向の反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記所定の方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【０１０６】
（付記５）
付記１乃至４のいずれかにおいて、
前記処理部は、前記物体が前記第１、第２の位置で単位時間当たり第１の変位量変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が前記第１、第２の位置で前記単位時間当たり前記第１の変位量より小さい第２の変位量変位するときのときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【０１０７】
（付記６）
付記１乃至５のいずれかにおいて、
前記処理部は、前記物体の大きさが第１の大きさのときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体の大きさが前記第１の大きさより小さい第２の大きさであるときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【０１０８】
（付記７）
付記１乃至６のいずれかにおいて、
前記決定部は、前記第１、第２の撮像画像に割り当てられる評価値の差分の経時的な変化量が基準量以上のときに、過去に決定した前記境界を新たに決定した前記境界に変更し、前記変化量が前記基準量を下回るときに、過去に決定した前記境界を維持する画像処理装置。
【０１０９】
（付記８）
付記１乃至７のいずれかにおいて、
前記決定部は、前記第１または第２の撮像画像に割り当てられる評価値が基準値以上のときに、過去に決定した前記境界を新たに決定した前記境界に変更し、前記変化量が前記基準量を下回るときに、過去に決定した前記境界を維持する画像処理装置。
【０１１０】
（付記９）
車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像をそれぞれ撮像する撮像装置と、
前記第１、第２の撮像画像の重複領域に含まれる物体の位置を検出する検出部と、
前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当てる処理部と、
前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定する決定部と、
前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する生成部と、
前記車両の周囲を所定の視点から見た画像を表示する表示装置とを有する画像処理システム。
【０１１１】
（付記１０）
付記９において、
前記処理部は、前記物体が前記車両の進行方向と反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記進行方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理システム。
【０１１２】
（付記１１）
付記９または１０において、
前記処理部は、前記物体が前記車両の進行方向軸に近づくように変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記前後方向軸から離れるように変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理システム。
【０１１３】
（付記１２）
付記９乃至１１のいずれかにおいて、
前記処理部は、前記車両が所定の方向に曲折する場合、前記物体が前記所定の方向の反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記所定の方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理システム。
【０１１４】
（付記１３）
付記９乃至１２のいずれかにおいて、
前記処理部は、前記物体が前記第１、第２の位置で単位時間当たり第１の変位量変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が前記第１、第２の位置で前記単位時間当たり前記第１の変位量より小さい第２の変位量変位するときのときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理システム。
【０１１５】
（付記１４）
付記９乃至１３のいずれかにおいて、
前記処理部は、前記物体の大きさが第１の大きさのときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体の大きさが前記第１の大きさより小さい第２の大きさであるときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理システム。
【０１１６】
（付記１５）
車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像の重複領域に含まれる物体の位置を検出し、
前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当て、
前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定し、
前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する、
画像処理方法。
【０１１７】
（付記１６）
付記１５において、
前記物体が前記車両の進行方向と反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記進行方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる、画像処理方法。
【０１１８】
（付記１７）
付記１５または１６において、
前記物体が前記車両の進行方向軸に近づくように変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記前後方向軸から離れるように変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる、画像処理方法。
【０１１９】
（付記１８）
付記１５乃至１７のいずれかにおいて、
前記車両が所定の方向に曲折する場合、前記物体が前記所定の方向の反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記所定の方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる、画像処理方法。
【０１２０】
（付記１９）
付記１５乃至１８のいずれかにおいて、
前記物体が前記第１、第２の位置で単位時間当たり第１の変位量変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が前記第１、第２の位置で前記単位時間当たり前記第１の変位量より小さい第２の変位量変位するときのときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる、画像処理方法。
【符号の説明】
【０１２１】
２＿１〜２＿４：撮像装置、 Ｇ１〜Ｇ４：撮像画像、 Ｇ１３、Ｇ１４、Ｇ２３、Ｇ２４：重複領域、 ４：画像処理装置、 ３２：物体検出部、 ３４：ポイント割当処理部、 ３６：境界決定部、 ３８：俯瞰画像生成部
【特許請求の範囲】
【請求項１】
車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像の重複領域に含まれる物体の位置を検出する検出部と、
前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当てる処理部と、
前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定する決定部と、
前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する生成部とを有する画像処理装置。
【請求項２】
請求項１において、
前記処理部は、前記物体が前記車両の進行方向と反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記進行方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【請求項３】
請求項１または２において、
前記処理部は、前記物体が前記車両の進行方向軸に近づくように変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記前後方向軸から離れるように変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記処理部は、前記車両が所定の方向に曲折する場合、前記物体が前記所定の方向の反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記所定の方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記処理部は、前記物体が前記第１、第２の位置で単位時間当たり第１の変位量変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が前記第１、第２の位置で前記単位時間当たり前記第１の変位量より小さい第２の変位量変位するときのときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記処理部は、前記物体の大きさが第１の大きさのときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体の大きさが前記第１の大きさより小さい第２の大きさであるときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記決定部は、前記第１、第２の撮像画像に割り当てられる評価値の差分の経時的な変化量が基準量以上のときに、過去に決定した前記境界を新たに決定した前記境界に変更し、前記変化量が前記基準量を下回るときに、過去に決定した前記境界を維持する画像処理装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記決定部は、前記第１または第２の撮像画像に割り当てられる評価値が基準値以上のときに、過去に決定した前記境界を新たに決定した前記境界に変更し、前記変化量が前記基準量を下回るときに、過去に決定した前記境界を維持する画像処理装置。
【請求項９】
車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像をそれぞれ撮像する撮像装置と、
前記第１、第２の撮像画像の重複領域に含まれる物体の位置を検出する検出部と、
前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当てる処理部と、
前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定する決定部と、
前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する生成部と、
前記車両の周囲を所定の視点から見た画像を表示する表示装置とを有する画像処理システム。
【請求項１０】
車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像の重複領域に含まれる物体の位置を検出し、
前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当て、
前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定し、
前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する、
画像処理方法。
【請求項１】
車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像の重複領域に含まれる物体の位置を検出する検出部と、
前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当てる処理部と、
前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定する決定部と、
前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する生成部とを有する画像処理装置。
【請求項２】
請求項１において、
前記処理部は、前記物体が前記車両の進行方向と反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記進行方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【請求項３】
請求項１または２において、
前記処理部は、前記物体が前記車両の進行方向軸に近づくように変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記前後方向軸から離れるように変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【請求項４】
請求項１乃至３のいずれかにおいて、
前記処理部は、前記車両が所定の方向に曲折する場合、前記物体が前記所定の方向の反対方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が同じ位置で前記所定の方向に変位するときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記処理部は、前記物体が前記第１、第２の位置で単位時間当たり第１の変位量変位するときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体が前記第１、第２の位置で前記単位時間当たり前記第１の変位量より小さい第２の変位量変位するときのときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【請求項６】
請求項１乃至５のいずれかにおいて、
前記処理部は、前記物体の大きさが第１の大きさのときに前記第１、第２の撮像画像に割り当てる評価値が、前記物体の大きさが前記第１の大きさより小さい第２の大きさであるときに前記第１、第２の撮像画像に割り当てる評価値よりそれぞれ大きくなるように、前記第１、第２の撮像画像に評価値を割り当てる画像処理装置。
【請求項７】
請求項１乃至６のいずれかにおいて、
前記決定部は、前記第１、第２の撮像画像に割り当てられる評価値の差分の経時的な変化量が基準量以上のときに、過去に決定した前記境界を新たに決定した前記境界に変更し、前記変化量が前記基準量を下回るときに、過去に決定した前記境界を維持する画像処理装置。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記決定部は、前記第１または第２の撮像画像に割り当てられる評価値が基準値以上のときに、過去に決定した前記境界を新たに決定した前記境界に変更し、前記変化量が前記基準量を下回るときに、過去に決定した前記境界を維持する画像処理装置。
【請求項９】
車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像をそれぞれ撮像する撮像装置と、
前記第１、第２の撮像画像の重複領域に含まれる物体の位置を検出する検出部と、
前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当てる処理部と、
前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定する決定部と、
前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する生成部と、
前記車両の周囲を所定の視点から見た画像を表示する表示装置とを有する画像処理システム。
【請求項１０】
車両の進行方向または前記進行方向の反対方向に対応する第１の撮像画像と、前記車両の進行方向軸と交差する方向に対応する第２の撮像画像の重複領域に含まれる物体の位置を検出し、
前記第１の撮像画像に、前記物体が第１の位置にあるときに第１の評価値、前記車両の進行方向軸からの距離が前記第１の位置より大きい第２の位置にあるときに前記第１の評価値より小さい第２の評価値を割り当て、前記第２の撮像画像に、前記物体が前記第１の位置にあるときに第３の評価値、前記第２の位置にあるときに前記第３の評価値より大きい第４の評価値を割り当て、
前記第１、第２の撮像画像をつなぎ合わせるときの当該第１、第２の撮像画像の境界を、前記第１、第２の撮像画像のうち前記評価値が大きい方の撮像画像に前記物体が含まれるように決定し、
前記第１、第２の撮像画像を前記境界でつなぎ合わせて前記車両の周囲を所定の視点から見た画像を生成する、
画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【公開番号】特開２０１２−１７４１５２（Ｐ２０１２−１７４１５２Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３７８３０（Ｐ２０１１−３７８３０）
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（３０８０１４３４１）富士通セミコンダクター株式会社 (2,507)
【Ｆターム（参考）】
[ Back to top ]