車両周辺画像表示制御装置
【課題】実画像と履歴画像を合成して車両周辺画像をディスプレイに表示する車両周辺画像表示制御装置において、撮影画像の取得タイミングと車両移動量情報の取得タイミングが異なっている状況で、実画像と履歴画像のずれを従来よりも低減する。
【解決手段】車両周辺画像表示制御装置５は、時点ｔ１において車両移動量情報を取得した場合、当該取得した車両移動量情報に基づいて、時点ｔ１後に撮影画像を取得する予定の時点ｔ１１〜ｔ１３における車両移動量を推定し、時点ｔ１１〜ｔ１３のそれぞれにおいて撮影画像を取得すると、今回取得した撮影画像に基づく画像を実画像とし、また、時点ｔ１に推定された現時点ｔ１１〜ｔ１３における予想移動量に基づいて、時点ｔ１１〜ｔ１３における車両と周囲の実際の位置関係に合致するよう、過去の撮影画像から履歴画像を作成し、この履歴画像を実画像と合成して表示する。
【解決手段】車両周辺画像表示制御装置５は、時点ｔ１において車両移動量情報を取得した場合、当該取得した車両移動量情報に基づいて、時点ｔ１後に撮影画像を取得する予定の時点ｔ１１〜ｔ１３における車両移動量を推定し、時点ｔ１１〜ｔ１３のそれぞれにおいて撮影画像を取得すると、今回取得した撮影画像に基づく画像を実画像とし、また、時点ｔ１に推定された現時点ｔ１１〜ｔ１３における予想移動量に基づいて、時点ｔ１１〜ｔ１３における車両と周囲の実際の位置関係に合致するよう、過去の撮影画像から履歴画像を作成し、この履歴画像を実画像と合成して表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両周辺画像表示制御装置に関するものである。
【背景技術】
【０００２】
従来、車両の周辺を撮影するカメラから繰り返し撮影画像を取得し、取得した撮影画像を用いて車両周辺画像を作成してディスプレイに表示させる車両周辺画像表示制御装置が知られている。このような車両周辺画像表示制御装置においては、最新の撮影画像に基づく実画像と、過去の撮影画像に基づく履歴画像とを合成して車両周辺画像とすることで、最新の撮影画像では死角になってしまった車両周辺部分も引き続きディスプレイに表示させるようなものも知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３-９１４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このように、最新の撮影画像に基づく実画像と過去の撮影画像に基づく履歴画像とを合成して表示させる場合、履歴画像については、過去の撮影画像に基づき、車両の移動に応じて、車両との実際の位置関係に合致するように作成する必要がある。つまり、履歴画像を作成するには、車両の移動を検出する必要がある。車両の移動を検出する方法としては、車両の移動に関する量（例えば、車速パルス、舵角）を含む車両移動量情報を用いる方法が考えられる。
【０００５】
ここで、発明者は、撮影画像の取得タイミングと車両移動量情報の取得タイミングは必ずしも一致しない点に着目した。具体的には、撮影画像は第１の時間間隔で繰り返し取得し、車両移動量情報は第１の時間間隔よりも長い第２の時間間隔で繰り返し取得する場合が考えられる。
【０００６】
このような場合、図７に示すように、実画像は第１の時間間隔（図７の例では３０ｍｓ間隔）で更新されるのに対し、履歴画像は第２の時間間隔（図７の例では１００ｍｓ）でしか更新されない。
【０００７】
このようになっていると、ディスプレイに表示される車両周辺画像は、図７の時点ｔａのように、まだ履歴画像が作成されていない時点では、図８（ａ）に示すように、実画像５１と車両５０のみが表示される。そして、履歴画像が更新された後に実画像が２回更新された時点ｔｂにおいては、履歴画像が実画像よりも遅れたままになっているので、図８（ｂ）に示すように、実画像６１と履歴画像６２との境界部分において、ずれが生じてしまう。このずれは、履歴画像が撮影された後すぐに実画像の更新が行われる時点ｔｃでは、図８（ｃ）に示すように緩和もしくは解消されるが、また時間が経過して、履歴画像が更新されないまま実画像が更新されていくと、時点ｔｄにおける図８（ｄ）のように、実画像６１と履歴画像６２との境界部分において再度ずれが生じてしまう。
【０００８】
このように、実画像と履歴画像の境界部において頻繁にずれが生じてしまうと、ユーザに違和感を与えてしまう可能性が高くなる。本発明はこの点に鑑み、実画像と履歴画像を合成して車両周辺画像をディスプレイに表示する車両周辺画像表示制御装置において、撮影画像の取得タイミングと車両移動量情報の取得タイミングが異なっている状況で、実画像と履歴画像のずれを従来よりも低減することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための請求項１に記載の発明は、カメラが撮影した車両の周辺の撮影画像を第１の時間間隔で繰り返し取得する画像入力インターフェース（２）と、前記第１の時間間隔よりも長い第２の時間間隔の周期で、最新の前記周期における前記車両の移動に関する量（以下、移動量という）を含む車両移動量情報を繰り返し取得する車両信号入力インターフェース（３）と、前記画像入力インターフェース（２）が撮影画像を取得する度に、今回取得した当該撮影画像に基づく実画像と、今回よりも前に取得した撮影画像に基づく履歴画像とを合成して、車両周辺画像を作成し、作成した前記車両周辺画像をディスプレイに表示させる演算部（５）とを備え、前記演算部（５）は、前記車両信号入力インターフェース（３）が第１の移動量情報取得時点（ｔ１）において車両移動量情報を取得した場合、当該取得した車両移動量情報に基づいて、前記第１の移動量情報取得時点後に前記画像入力インターフェース（２）が撮影画像を取得する予定の第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）における前記車両の予想移動量を推定する車両移動量推定手段（２１０〜２６０）と、前記第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）において前記画像入力インターフェース（２）が撮影画像を取得したことに基づいて、今回取得した撮影画像に基づく画像を実画像とし、また、前記車両移動量推定手段によって推定された前記第１の撮影画像取得時点における前記車両の予想移動量に基づいて、今回よりも前に取得した撮影画像を用いて、前記第１の撮影時点（ｔ１１、ｔ１２、ｔ１３）における前記車両と周囲の実際の位置関係に合致するような履歴画像を作成し、前記履歴実画像と前記実画像とを合成することで、今回の車両周辺画像を作成し、作成した当該今回の車両周辺画像を前記ディスプレイに表示させる表示制御手段（１１０〜１４０）と、を有することを特徴とする車両周辺画像表示制御装置である。
【００１０】
このように、車両移動量情報を取得したことに基づいて、後の第１の撮影画像取得時点における車両移動量推定し、第１の撮影画像取得時点が訪れたときに、推定した車両移動量を用いて履歴画像を作成することで、実画像と履歴画像の境界における位置ずれは、非常に小さくなる。
【００１１】
また、請求項２に記載の発明は、請求項１に記載の車両周辺画像表示制御装置において、前記表示制御手段（１１０〜１４０）は、前記第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）において前記画像入力インターフェース（２）が撮影画像を取得したことに基づいて、前記車両移動量推定手段によって推定された前記第１の撮影画像取得時点における前記車両の予想移動量を用いて、前記第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）から前記第１の時間間隔だけ遡った前回撮影画像取得時点（ｔ０３、ｔ１１、ｔ１２）において前記ディスプレイに出力した車両周辺画像を、前記第１の撮影時点（ｔ１１、ｔ１２、ｔ１３）における前記車両と周囲の実際の位置関係に合致するよう修正して前記履歴画像として、前記履歴画像を前記実画像と合成することで、今回の車両周辺画像を作成し、作成した当該今回の車両周辺画像を前記ディスプレイに表示させることを特徴とする。
【００１２】
また、請求項３に記載の発明は、請求項２に記載の車両周辺画像表示制御装置において、前記車両移動量推定手段（２１０〜２６０）は、前記車両信号入力インターフェース（３）が第１の移動量情報取得時点（ｔ１）において車両移動量情報を取得した場合、当該取得した車両移動量情報に基づいて、前記第１の移動量情報取得時点から前記第２の時間間隔が経過するまでの期間における前記車両の予想移動量を推定し、前記車両信号入力インターフェース（３）が前記第２の移動量情報取得時点において車両移動量情報を取得した場合、前記第２の移動量情報取得時点において取得した車両移動量情報に含まれる移動量と、前記第１の移動量情報取得時点において推定した前記第２の移動量情報取得時点における移動量とのずれ量を算出し、前記第２の移動量情報取得時点において取得した前記車両移動量情報に基づいて、前記第２の移動量情報取得時点後に前記画像入力インターフェース（２）が撮影画像を取得する予定の第２の撮影画像取得時点（ｔ２１、ｔ２２、２３）から前記第１の時間間隔だけ遡る期間に前記車両が移動する予想移動距離および前記第２の撮影画像取得時点（ｔ２１、ｔ２２、ｔ２３）における前記車両の予想移動量を推定し、前記第２の撮影画像取得時点のうち、前記第２の移動量情報取得時点に最も近い時点（ｔ２１）における予想移動量を、前記ずれ量に基づいて修正することを特徴とする。
【００１３】
このようにすることで、第１の移動量情報取得時点において推定した第２の移動量情報取得時点における予想移動量が、第２の移動量情報取得時点における実際の移動量からずれていたとしても、そのずれを緩和する補正を、次の第２の撮影画像取得時点について推定した予想移動量に施すので、当該第２の撮影画像取得時点において表示する車両周辺画像において、実画像と履歴画像のずれが更に低減される。
【００１４】
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る車両周辺画像表示制御装置の構成図である。
【図２】車両の後退に伴う実画像１１と履歴画像１２の変化を例示する図である。
【図３】車両移動量情報の取得、実画像の更新、履歴画像の更新のタイミングを例示する図である。
【図４】演算部が実行する処理のフローチャートである。
【図５】演算部が実行する処理のフローチャートである。
【図６】予想移動量Ｗｒと実際の移動量Ｗｒの差分Ｄを用いた補正を示す図である。
【図７】想定事例における、実画像の更新タイミングと履歴画像の更新タイミングを表す図である。
【図８】想定事例における、実画像６１と履歴画像６２の関係を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態について説明する。図１に、本実施形態に係る車両周辺画像表示制御装置１の構成を示す。車両周辺画像表示制御装置１は、車両に搭載され、同じく車両に搭載されて車両の後方を撮影するカメラから繰り返し撮影画像を取得すると共に、ＣＡＮ等の車内ＬＡＮから車両の移動に関する量（以下、移動量という）を含む車両移動量情報を繰り返し取得し、撮影画像および車両移動量情報に基づいて車両周辺画像を作成し、作成した車両周辺画像を、車室内のディスプレイに表示させるようになっている。
【００１７】
そして、本実施形態の車両周辺画像表示制御装置１は、最新の撮影画像に基づく実画像と、過去の撮影画像を用いて車両移動量情報に基づいて作成した履歴画像とを合成したものを車両周辺画像としてディスプレイに表示させることで、車両が移動してカメラの死角となってしまった周辺部分も、ディスプレイに表示するようになっている。
【００１８】
具体的には、車両周辺画像の表示開始時（車両の後退開始時）には、図２（ａ）に示すように、最新の撮影画像を鳥瞰変換（車両の真上から見下ろす視点の画像への変換）した実画像１１と、自車両を表す車両画像１０とを合成し、他の部分（カメラの死角部分）は単色（例えば黒色）とする車両周辺画像を作成してディスプレイに表示させる。その後、車両が後退移動を続けると、図２（ｂ）に示すように、その時点の最新の撮影画像を鳥瞰変換した実画像１１と、上述の車両画像１０に加え、その時点の最新でない過去の撮影画像を用いて、履歴画像１２を作成し、車両周辺画像のカメラの死角部分に、履歴画像を重畳させる。この履歴画像１２は、過去の撮影画像に基づいて、現在車両との実際の位置関係に合致するよう、実画像１１と合成する。したがって、図２（ｃ）に示すように、車両の後退と共に、車両周辺画像中で履歴画像１２の範囲が広がっていく。
【００１９】
この車両周辺画像表示制御装置１は、図１に示すように、画像入力Ｉ／Ｆ２、車両信号入力Ｉ／Ｆ３、画像メモリ４、演算部５、画像出力Ｉ／Ｆ６等を有している。
【００２０】
画像入力Ｉ／Ｆ２は、上記カメラが撮影した車両の周辺の撮影画像を第１の時間間隔（具体的には３０ミリ秒間隔）で繰り返し取得するインターフェースである。
【００２１】
車両信号入力Ｉ／Ｆ３は、上記第１の時間間隔よりも長い第２の時間間隔（具体的には１００ミリ秒）の周期で、最新の当該周期における車両の移動に関する量（以下、移動量という）を含む車両移動量情報を繰り返し取得するインターフェースである。車両信号入力Ｉ／Ｆ３は、この車両移動量情報を、上述の通り車内ＬＡＮから取得する。
【００２２】
ここで、車両移動量情報に含まれる移動量について説明する。車両信号入力Ｉ／Ｆ３が各時点Ｔに取得する車両移動量情報中の移動量は、当該時点Ｔから上記第２の時間間隔だけ遡る期間（すなわち、車両移動量情報を取得する最新の周期）における車両の移動距離と、当該期間において検出された最新の車両の舵角である。
【００２３】
当該期間における車両の移動距離は、その期間内において１つの車輪速センサから出力された車速パルス信号の数で表される。また、車両の舵角は、舵角センサによって出力された舵角信号によって検出可能である。
【００２４】
このような車両移動量情報は、車両に搭載されたＥＣＵ（図示せず）が、車輪速センサから車速パルス信号を逐次取得すると共に、舵角センサから逐次舵角信号を取得し、上記第２の時間間隔が経過する毎に、この第２の時間間隔内において取得した車速パルス信号の数と、最新の舵角信号に基づいて特定した舵角とを、車両移動量情報に含め、車内ＬＡＮに出力する。そして車両信号入力Ｉ／Ｆ３は、このようにＥＣＵから繰り返し車内ＬＡＮに出力された車両移動量情報を逐次取得する。
【００２５】
画像メモリ４は、画像入力Ｉ／Ｆ２によって繰り返し取得される撮影画像を所定の分量だけ（例えば、最新の１０秒間分）蓄積する記憶媒体である。
【００２６】
演算部５は、画像入力Ｉ／Ｆ２が撮影画像を取得する度に、今回画像入力Ｉ／Ｆ２が取得した当該撮影画像に基づく実画像と、今回よりも前に画像入力Ｉ／Ｆ２が取得した撮影画像に基づく履歴画像とを合成して、車両周辺画像を作成し、作成した前記車両周辺画像を画像出力Ｉ／Ｆ６に出力するための回路である。このような機能を実現する演算部５として、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ等を備えた周知のマイクロコントローラを用いることができる。画像出力Ｉ／Ｆ６は、演算部５から受けた車両周辺画像を逐次ディスプレイに出力する。これにより、車室内のドライバー等の乗員は、ディスプレイに表示される車両周辺画像を見ることができる。
【００２７】
ここで、演算部５の機能構成について説明する。演算部５は、図１に示すように、移動距離推定部５１、舵角推定部５２、車両移動量演算部５３、画像合成演算部５４、および出力画像生成部５５として機能する。
【００２８】
移動距離推定部５１は、車両信号入力Ｉ／Ｆ３が車両移動量情報を取得する度に、今回取得した車両移動量情報に含まれる移動距離（あるいは今回に加えて前回以前に取得した車両移動量情報に含まれる移動距離）に基づいて、次に車両移動量情報を取得する時点（現在から第２の時間間隔が経過する時点）までの期間のうち、画像入力Ｉ／Ｆ２が撮影画像を取得する時点等における、車両の予想移動量（より具体的には、その時点から第１の時間間隔だけ遡る期間における移動量）を推定する。
【００２９】
舵角推定部５２は、車両信号入力Ｉ／Ｆ３が車両移動量情報を取得する度に、今回取得した車両移動量情報に含まれる舵角（あるいは今回に加えて前回以前に取得した車両移動量情報に含まれる舵角）に基づいて、次に車両移動量情報を取得する時点までの期間のうち、画像入力Ｉ／Ｆ２が撮影画像を取得する時点等における、車両の予想舵角を推定する。
【００３０】
車両移動量演算部５３は、画像入力Ｉ／Ｆ２が撮影画像を取得したとき、移動距離推定部５１、舵角推定部５２よって既に推定されていた現在の予想移動量および予想舵角に基づいて、前回画像入力Ｉ／Ｆ２が撮影画像を取得した時点から現在までに車両がどのように移動したかを算出する。
【００３１】
画像合成演算部５４は、画像入力Ｉ／Ｆ２が撮影画像を取得して画像メモリ４に記録したとき、画像メモリ４に記録された最新の撮影画像を実画像とする。また画像合成演算部５４は、車両移動量演算部５３が算出した車両の移動内容の算出結果に基づいて、現在の車両との実際の車両周辺の位置関係と、車両周辺画像中の車両と履歴画像の位置関係とが、合致するよう、履歴画像を作成し、上記実画像および車両の画像とを合成し、車両周辺画像とする。出力画像生成部５５は、この車両周辺画像を、逐次画像出力Ｉ／Ｆ６に出力する。
【００３２】
以上のような構成の車両周辺画像表示制御装置１の作動について、図３〜図６を参照して説明する。図３は、車両周辺画像表示制御装置１における、車両移動量情報の取得、実画像の更新、履歴画像の更新のタイミングを例示する図である。この例では、画像入力Ｉ／Ｆ２による撮影画像の取得タイミングに対し、実画像および履歴画像の更新タイミングは、実際には処理時間の分だけ遅れているが、この遅れは撮影画像の取得周期（第１の時間間隔）に比べて十分小さいので、両者のタイミングは同じであるとして説明する。
【００３３】
［時点ｔ０、ｔ０１、ｔ０２、ｔ０３における作動］
図３の例では、時点ｔ０において、車両のシフト位置が後退位置（Ｒ）になったことに基づいて、車両周辺画像表示制御装置１が作動を開始し始めている。そして時点ｔ０において、まず車両信号入力Ｉ／Ｆ３が車両移動量情報を取得した後、時点ｔ０１、ｔ０２、ｔ０３において画像入力Ｉ／Ｆ２が撮影画像を取得して画像メモリ４に記録する。この各時点ｔ０１、ｔ０２、ｔ０３において、演算部５は、作動開始からまだ１回しか車両移動量情報を取得していないことに基づいて、実画像と履歴画像のうち実画像のみを用いて車両周辺画像を作成し、作成した車両周辺画像をディスプレイに表示させる。具体的には、その時点で最新の撮影画像を鳥瞰変換した実画像と、自車両の画像である自車画像とを合成する。合成の方法は、図２に示した通り、自車画像１０の後端に、実画像１１を配置することで、自車両画像１０と実画像１１内の表示内容との位置関係を、実際の車両と周囲の位置関係に合致させる。そして、合成後の車両周辺画像を画像出力Ｉ／Ｆ６に出力することで、ディスプレイに表示させる。
【００３４】
［時点ｔ１における作動］
次に、時点ｔ０から第２の時間間隔が経過した時点ｔ１において、２回目に車両信号入力Ｉ／Ｆ３が車両移動量情報を取得した場合、演算部５は、車両周辺画像表示制御装置１の作動開始から２回以上車両移動量情報を取得していることに基づいて、図４に示す処理と図５に示す処理をマルチタスクで同時並列的に実行し始める。
【００３５】
図４の処理では、ステップ１１０で、画像入力Ｉ／Ｆ２が撮影画像を取得したか否かを判定するが、今回の時点ｔ１では取得していないと判定するので、次に撮影画像を取得するまで、ステップ１１０の処理を繰り返す。
【００３６】
一方、図５の処理では、ステップ２１０で、車両信号入力Ｉ／Ｆ３から車両移動量情報を取得したか否かを判定するが、今回の時点ｔ１では、取得していると判定し、処理をステップ２２０に進める。
【００３７】
ステップ２２０では、前回の推定結果との差分算出処理を行うが、ｔ１の時点では、車両周辺画像表示制御装置１の作動開始後から車両信号入力Ｉ／Ｆ３が車両移動量情報を取得した回数が３回未満であることに基づいて、ステップ２２０の処理はバイパスしてステップ２３０に処理を進める。
【００３８】
ステップ２３０では、画像フレームタイミングの特定を行う。具体的には、現時点ｔ１から現時点の次の車両移動量情報の取得時点ｔ２（現在よりも第２の時間間隔後である時点ｔ２）までの期間Ａ（ただし現時点ｔ１は除く）内で、画像入力Ｉ／Ｆ２が撮影画像を取得する予定の時点ｔ１１、ｔ１２、ｔ１３（以下、第１の撮影画像取得時点という）を特定する。具体的には、画像入力Ｉ／Ｆ２が前回（つまり、現時点より前において最後に）撮影画像を取得した時点ｔ０３を起点とし、その起点から所定の第１の時間間隔の整数倍の時間がちょうど経過した時点ｔ１１、ｔ１２、ｔ１３のすべてを、期間Ａ内で抽出し、それらの時点ｔ１１、ｔ１２、ｔ１３を画像フレームタイミング（第１の撮影画像取得時点）とする。
【００３９】
続いてステップ２４０では、ステップ２３０で特定した各画像フレームタイミングｔ１１、ｔ１２、ｔ１３における車両の予想移動量を推定する。ここで、画像フレームタイミングｔ１１、ｔ１２、ｔ１３における車両の予想移動量としては、当該画像フレームタイミングから第１の時間間隔だけ遡る期間における車両の予想移動距離と、当該画像フレームタイミングにおける車両の予想舵角を採用する。
【００４０】
画像フレームタイミングｔ１１を例に挙げると、当該画像フレームタイミングｔ１１から第１の時間間隔だけ遡る期間、すなわち、時点ｔ０３から時点ｔ１１までの期間における車両の予想移動距離と、時点ｔ１１における車両の予想舵角を算出する。
【００４１】
予想移動量については、今回の時点ｔ１において取得した車両移動量情報と、前回の車両移動量情報の取得時点ｔ０において取得した車両移動量情報と、に基づいて推定してもよいし、今回の時点ｔ１において取得した車両移動量情報のみに基づいて推定してもよい。
【００４２】
例えば、予想移動距離については、前回の時点ｔ０に取得した車両移動量情報に含まれる車両の移動距離（長さが第２の時間間隔の時点ｔ０までの期間における車両の移動距離）がＬ０であり、今回の時点ｔ１に取得した車両移動量情報に含まれる車両の移動距離（長さが第２の時間間隔の時点ｔ１までの期間における車両の移動距離）がＬ１であったとすると、次の第２の時間間隔の期間における車両の移動距離が、これら時点ｔ０、ｔ１における値Ｌ０、Ｌ１を用いて線形補外した値（２×Ｌ１−Ｌ０）であると推定してもよいし、今回値すなわちＬ１であると推定してもよい。
【００４３】
そして、時点ｔ０３から時点ｔ１１までの車両の予想移動距離については、車両が上記線形補外値または今回値で一定速度で移動すると仮定して算出する。すなわち、上記線形補外値または今回値に（ｔ１１−ｔ０３）／（ｔ２−ｔ１）を乗算した値を時点ｔ０３から時点ｔ１１までの予想移動距離とする。同様に、時点ｔ１１から時点ｔ１２までの車両の予想移動距離は、上記線形補外値または今回値に（ｔ１２−ｔ１１）／（ｔ２−ｔ１）を乗算した値とし、時点ｔ１２から時点ｔ１３までの車両の予想移動距離は、上記線形補外値または今回値に（ｔ１３−ｔ１２）／（ｔ２−ｔ１）を乗算した値とする。
【００４４】
また、予想舵角については、前回の時点ｔ０に取得した車両移動量情報に含まれる車両の舵角がＷ０であり、今回の時点ｔ１に取得した車両移動量情報に含まれる車両の移動距離がＷ１であったとすると、次の時点ｔ２における車両の舵角が、これら時点ｔ０、ｔ１における値Ｗ０、Ｗ１を用いて線形補外した値（２×Ｗ１−Ｗ０）であると推定してもよいし、今回値すなわちＷ１であると推定してもよい。
【００４５】
そして、時点ｔ０３から時点ｔ１１までの車両の予想舵角については、車両が上記線形補外値または今回値で一定速度で移動すると仮定して算出する。すなわち、上記線形補外値または今回値に（ｔ１１−ｔ０３）／（ｔ２−ｔ１）を乗算した値を時点ｔ０３から時点ｔ１１までの予想舵角とする。同様に、時点ｔ１１から時点ｔ１２までの車両の予想舵角は、上記線形補外値または今回値に（ｔ１２−ｔ１１）／（ｔ２−ｔ１）を乗算した値とし、時点ｔ１２から時点ｔ１３までの車両の予想舵角は、上記線形補外値または今回値に（ｔ１３−ｔ１２）／（ｔ２−ｔ１）を乗算した値とする。
【００４６】
また、ステップ２４０では、画像フレームタイミングｔ１１、ｔ１２、ｔ１３以外にも、現在の時点ｔ１から第２の時間経過後の時点ｔ２における車両の予想移動量も推定する。具体的には、時点ｔ１から時点ｔ２までの期間における車両の予想移動距離と、時点ｔ２における車両の予想舵角を算出する。これらの値としては、上述の線形補外値または今回値を採用すればよい。
【００４７】
続いてステップ２５０では、ステップ２２０で算出した差分を用いた補正を行うが、ｔ１の時点では、車両周辺画像表示制御装置１の作動開始後から車両信号入力Ｉ／Ｆ３が車両移動量情報を取得した回数が３回未満であることに基づいて、ステップ２５０の処理はバイパスしてステップ２６０に処理を進める。
【００４８】
ステップ２６０では、ステップ２４０で推定した時点ｔ１１、ｔ１２、ｔ１３、ｔ２における予想移動量（具体的には予想移動距離および予想舵角）を記憶媒体（例えば演算部５内の図示しないＲＡＭ）に記録する。その後、処理をステップ２１０に戻し、再度車両信号入力Ｉ／Ｆ３が車両移動量情報を取得するまで、車両移動量情報を取得していないと判定しつつステップ２１０の判定処理を繰り返す。
【００４９】
［時点ｔ１１における作動］
その後、時間が経過し、時点ｔ１１になると、画像入力Ｉ／Ｆ２が撮影画像を取得して画像メモリ４に記録する。すると演算部５は、図４の処理において、まずステップ１１０で、撮影画像を取得したと判定してステップ１２０に進み、現時点ｔ１１における車両の予想移動量（予想移動距離および予想舵角）を読み出す。時点ｔ１１における車両の予想移動量は、時点ｔ１において図５のステップ２６０で既に記録されている。
【００５０】
続いてステップ１３０では、読み出した時点ｔ１１における予想移動量に基づいて、現時点ｔ１１における実画像および履歴画像を作成し、作成した実画像と履歴画像とを合成することで車両周辺画像を作成する。
【００５１】
ここで、現時点ｔ１１における実画像および履歴画像の作成方法について説明する。現時点ｔ１１における実画像は、今回取得した撮影画像（すなわち、画像メモリ４に記録されている最新の撮影画像）を鳥瞰変換することで得られるトップビュー画像である。
【００５２】
また、現時点ｔ１１における履歴画像は、今回よりも前に取得した撮影画像（すなわち、画像メモリ４に記録されている撮影画像のうち、最新でない撮影画像）に対して、鳥瞰変換、回転変換等の処理を施した結果のトップビュー画像である。
【００５３】
具体的には、現時点ｔ１１よりも１回前に画像入力Ｉ／Ｆ２が取得した撮影画像（時点ｔ０３における撮影画像）を鳥瞰変換し、鳥瞰変換した後の画像を、時点ｔ０３から時点ｔ１１までの車両の移動によって車両の周囲の位置が変化するのと同様に回転させる。
【００５４】
このためには、時点ｔ０３から現時点ｔ１１までの車両の移動内容を算出する必要があるが、最後に車両移動量情報を取得したのは時点ｔ１なので、現在の車両の実際の位置を特定することはできない。したがって、ステップ１２０で読み出した時点ｔ１１における予想移動量（予想移動距離、予想舵角）を用いて、実際の車両の移動内容を推定する。
【００５５】
具体的には、時点ｔ０３から時点ｔ１１まで、車両は、読み出した予想舵角を維持しながら、周知のアッカーマンモデルに従って、読み出した予想移動距離だけ後退したと推定する。これにより、時点ｔ０３から時点ｔ１１までの車両の旋回中心および旋回中心から見込んだ車両の旋回角を推定することができる。時点ｔ０３の撮影画像を鳥瞰変換した画像に対しては、上述の旋回中心を回転中心とし、回転角を上記旋回角と同じ大きさかつ逆向とするような回転変換を施し、その結果の画像を、履歴画像とする。
【００５６】
そして、このようにして作成した履歴画像と、上述の実画像とを合成するが、合成の際には、履歴画像と実画像とが重なる部分については、履歴画像を削除して、実画像を優先させる。更に、このようにして合成した画像に対して自車画像を合成する。この際、自車画像と実画像の位置関係を、上述の図２（ａ）のようにすることで、自車画像と履歴画像の位置関係は、自動的に、時点ｔ１１における車両と実際の車両周囲との位置関係に概ね合致するようになる。自車画像を合成した後の画像が、ディスプレイに表示させるための車両周辺画像となる。
【００５７】
続いてステップ１４０では、この車両周辺画像を画像出力Ｉ／Ｆ６に出力することで、ディスプレイに表示させる。このとき、ディスプレイには、図２（ｂ）に示すような、自車画像１０、実画像１１、履歴画像１２が合成された車両周辺画像が表示される。このとき、実画像１１と履歴画像１２の境界における位置ずれは、非常に小さくなる。これは、履歴画像１２が、最後に車両移動量情報を取得した時点ｔ１における車両と周囲の位置関係を反映するよう作成されているのではなく、実画像１１の元となる最新の撮影画像を取得した時点ｔ１１における車両と周囲の位置関係を反映するよう作成されているからである。ステップ１４０の後は、処理をステップ１１０に戻し、再度画像入力Ｉ／Ｆ２が車両移動量情報を取得するまで、撮影画像を取得していないと判定しつつステップ１１０の判定処理を繰り返す。
【００５８】
［時点ｔ１２における作動］
その後、時間が経過し、時点ｔ１２になると、画像入力Ｉ／Ｆ２が撮影画像を取得して画像メモリ４に記録する。すると演算部５は、図４の処理において、まずステップ１１０で、撮影画像を取得したと判定してステップ１２０に進み、現時点ｔ１２における車両の予想移動量（予想移動距離および予想舵角）を読み出す。時点ｔ１２における車両の予想移動量は、時点ｔ１において図５のステップ２６０で既に記録されている。
【００５９】
続いてステップ１３０では、読み出した時点ｔ１２における予想移動量に基づいて、現時点ｔ１２における実画像および履歴画像を作成し、作成した実画像と履歴画像とを合成することで車両周辺画像を作成する。現時点ｔ１２における実画像の作成方法は、時点ｔ１１における方法と同様である。
【００６０】
また、現時点ｔ１２における履歴画像の作成に関しては、車両周辺画像表示制御装置１の作動後に履歴画像を作成するのが２回目以降であることに基づいて、１回目であった時点ｔ１１とは異なる方法で履歴画像を作成する。すなわち、前回の撮影画像の取得時である時点ｔ１１（第１の撮影時点から第１の時間間隔だけ遡った前回撮影画像取得時点に相当する）に作成した車両周辺画像に対して回転変換等の修正を施すことで、時点ｔ１２（第１の撮影時点に相当する）における車両と車両周囲の実際の位置関係に合致するよう修正したトップビュー画像を、今回の車両周辺画像とする。
【００６１】
このために、時点ｔ１１から現時点ｔ１２までの車両の移動内容を算出するが、その方法は時点ｔ１１における方法と同様、ステップ１２０で読み出した時点ｔ１２における予想移動量（予想移動距離、予想舵角）を用いて、実際の車両の移動内容を推定する。
【００６２】
具体的には、時点ｔ１１から時点ｔ１２まで、車両は、読み出した予想舵角を維持しながら、周知のアッカーマンモデルに従って、読み出した予想移動距離だけ後退したと推定する。これにより、時点ｔ１１から時点ｔ１２までの車両の旋回中心および旋回中心から見込んだ車両の旋回角を推定することができる。時点ｔ１１の車両周辺画像に対しては、上述の旋回中心を回転中心とし、回転角を上記旋回角と同じ大きさかつ逆向とするような回転変換を施し、その結果の画像を、履歴画像とする。なお、時点ｔ１１に作成された車両周辺画像は、今回の時点ｔ１２よりも前に取得した撮影画像を用いて作成されている。
【００６３】
そして、このようにして作成した履歴画像と、上述の実画像とを合成するが、合成の際には、履歴画像と実画像とが重なる部分については、履歴画像を削除して、実画像を優先させる。更に、このようにして合成した画像に対して自車画像を合成する。この際、自車画像と実画像の位置関係を、上述の図２（ｂ）のようにすることで、自車画像１０と履歴画像１２の位置関係は、自動的に、時点ｔ１２における車両と実際の車両周囲との位置関係に概ね合致するようになる。自車画像を合成した後の画像が、ディスプレイに表示させるための車両周辺画像となる。
【００６４】
続いてステップ１４０では、この車両周辺画像を画像出力Ｉ／Ｆ６に出力することで、ディスプレイに表示させる。このとき、ディスプレイには、図２（ｃ）に示すような、自車画像１０、実画像１１、履歴画像１２が合成された車両周辺画像が表示される。このとき、実画像１１と履歴画像１２の境界における位置ずれは、既に説明した通り、非常に小さくなる。
【００６５】
［時点ｔ１３における作動］
その後、時間が経過し、時点ｔ１３になると、画像入力Ｉ／Ｆ２が撮影画像を取得して画像メモリ４に記録する。すると演算部５は、図４の処理において、まずステップ１１０で、撮影画像を取得したと判定してステップ１２０に進み、現時点ｔ１３における車両の予想移動量（予想移動距離および予想舵角）を読み出す。続いてステップ１３０では、読み出した時点ｔ１３における予想移動量に基づいて、現時点ｔ１３における実画像および履歴画像を作成し、作成した実画像と履歴画像とを合成することで車両周辺画像を作成する。現時点ｔ１２における実画像および履歴画像の作成方法および合成方法は、時点ｔ１２における方法と同様である。続いてステップ１４０では、作成した車両周辺画像を画像出力Ｉ／Ｆ６に出力することで、ディスプレイに表示させる。このとき、実画像と履歴画像の境界における位置ずれは、既に説明した通り、非常に小さくなる。
【００６６】
［時点ｔ２における作動］
その後、時間が経過し、時点ｔ２になると、図５の処理において、ステップ２１０で、車両信号入力Ｉ／Ｆ３から車両移動量情報を取得したと判定し、処理をステップ２２０に進める。
【００６７】
ステップ２２０では、ｔ２の時点では、車両周辺画像表示制御装置１の作動開始後から車両信号入力Ｉ／Ｆ３が車両移動量情報を取得した回数が３回以上であることに基づいて、前回の推定結果との差分算出処理を行う。この差分抽出処理では、時点ｔ２（第２の移動量情報取得時点に相当する）において取得した車両移動量情報に含まれる移動距離Ｌｒ（時点ｔ１から時点ｔ２までの期間における車両の移動距離）および舵角Ｗｒ（時点ｔ２において検出されている最新の舵角）と、時点ｔ１（第１の移動量情報取得時点に相当する）において推定した時点ｔ２の予想移動距離Ｌｅおよび予想舵角Ｗｅとのずれ量（具体的には差分）を算出する。時点ｔ２の予想移動距離および予想舵角は、時点ｔ１において図５のステップ２４０で推定および記録されている。
【００６８】
より具体的には、上記移動距離Ｌｒから上記予想移動距離Ｌｅを減算して得られる移動距離差分Ｌｒ−Ｌｅ、および、上記舵角Ｗｒから上記予想舵角Ｗｅを減算して得られる舵角差分Ｗｒ−Ｗｅを算出する。これら差分は、時点ｔ１に推定した移動距離および舵角が、実際の移動距離および舵角とどれ程ずれていたかを示す指標である。予想移動量（予想移動距離および予想舵角）が実際の移動量（移動距離よび舵角）と大きく異なっていれば、実画像と履歴画像の境界において画像のずれが大きくなってしまい、その結果、ユーザが違和感を与えてしまう可能性が高くなる。
【００６９】
続いてステップ２３０では、画像フレームタイミングの特定を行う。具体的には、現時点ｔ２から現時点の次の車両移動量情報の取得時点ｔ３（現在よりも第２の時間間隔後である時点ｔ３）までの期間Ｂ（ただし現時点ｔ２は除く）内で、画像入力Ｉ／Ｆ２が撮影画像を取得する予定の時点ｔ２１、ｔ２２、ｔ２３、ｔ２４（以下、第１の撮影画像取得時点という）を特定する。具体的には、画像入力Ｉ／Ｆ２が前回（つまり、現時点より前において最後に）撮影画像を取得した時点ｔ１３を起点とし、その起点から所定の第１の時間間隔の整数倍の時間がちょうど経過した時点ｔ２１、ｔ２２、ｔ２３、ｔ２４のすべてを、期間Ｂ内で抽出し、それらの時点ｔ２１、ｔ２２、ｔ２３、ｔ２４を画像フレームタイミング（第１の撮影画像取得時点）とする。
【００７０】
続いてステップ２４０では、ステップ２３０で特定した各画像フレームタイミングｔ２１、ｔ２２、ｔ２３、ｔ２４における車両の予想移動量（予想移動距離および予想舵角）を、時点ｔ１におけるステップ２４０と同様の方法で、推定する。
【００７１】
画像フレームタイミングｔ２１を例に挙げると、当該画像フレームタイミングｔ２１から第１の時間間隔だけ遡る期間、すなわち、時点ｔ１３から時点ｔ２１までの期間における車両の予想移動距離と、時点ｔ２１における車両の予想舵角を算出する。算出方法は、時点ｔ１におけるステップ２４０と同様に、時点ｔ２における今回値を予想移動距離および予想舵角として採用してもよいし、時点ｔ１および時点ｔ２の移動距離および舵角を用いた線形補外値を予想移動距離および予想舵角としてもよい。
【００７２】
また、ステップ２４０では、画像フレームタイミングｔ２１、ｔ２２、ｔ２３以外にも、現在の時点ｔ２から第２の時間経過後の時点ｔ３における車両の予想移動量も推定する。具体的には、時点ｔ２から時点ｔ３までの期間における車両の予想移動距離と、時点ｔ３における車両の予想舵角を算出する。これらの値としては、上述の線形補外値または今回値を採用すればよい。この時点ｔ２の予想移動量は、後の時点ｔ３においてステップ２２０で用いられる。
【００７３】
続いてステップ２５０では、ｔ２の時点では、車両周辺画像表示制御装置１の作動開始後から車両信号入力Ｉ／Ｆ３が車両移動量情報を取得した回数が３回以上であることに基づいて、ステップ２２０で算出した差分を用いた補正を行う。
【００７４】
この補正の対象は、現時点ｔ２以降で現時点に最も近い画像フレームタイミングである時点ｔ２１における、予想移動量（予想移動距離および予想舵角）である。この補正は、時点ｔ２における予想移動量と実際の移動量とのずれ量が、時点ｔ２以降の車両周辺画像表示に悪影響を及ぼすことのないよう、それまでのずれを次の表示タイミングｔ２１で解消するための補正である。
【００７５】
具体的には、ステップ２４０で算出した時点ｔ２１の予想移動距離に対し、ステップ２２０で算出した移動距離差分Ｌｒ−Ｌｅを加算する補正を行う。また同様に、図６に示すように、ステップ２４０で算出した時点ｔ２１の予想舵角Ｗ２１に対し、ステップ２２０で算出した舵角差分Ｄ＝Ｗｒ−Ｗｅを加算する補正を行う。
【００７６】
また、ステップ２５０では、次の車両移動量情報取得タイミングである時点ｔ３における、予想移動量（予想移動距離および予想舵角）も補正する。具体的には、ステップ２４０で算出した時点ｔ３の予想移動距離に対し、ステップ２２０で算出した移動距離差分Ｌｒ−Ｌｅを加算する補正を行う。また同様に、ステップ２４０で算出した時点ｔ３の予想舵角に対し、ステップ２２０で算出した舵角差分Ｗｒ−Ｗｅを加算する補正を行う。
【００７７】
続いてステップ２６０では、ステップ２４０で推定した時点ｔ２１、ｔ２２、ｔ２３、ｔ２４、ｔ２における予想移動量（具体的には予想移動距離および予想舵角）を記憶媒体（例えば演算部５内の図示しないＲＡＭ）に記録する。その後、処理をステップ２１０に戻し、再度車両信号入力Ｉ／Ｆ３が車両移動量情報を取得するまで、車両移動量情報を取得していないと判定しつつステップ２１０の判定処理を繰り返す。
【００７８】
［時点ｔ２１における作動］
その後、時間が経過し、時点ｔ２１になると、画像入力Ｉ／Ｆ２が撮影画像を取得して画像メモリ４に記録する。すると演算部５は、図４の処理において、まずステップ１１０で、撮影画像を取得したと判定してステップ１２０に進み、現時点ｔ２１における車両の予想移動量（予想移動距離および予想舵角）を読み出す。ここで読み出す予想移動量は、時点ｔ２において図５のステップ２５０で補正された予想移動量である。
【００７９】
続いてステップ１３０では、読み出した時点ｔ２１における予想移動量に基づいて、現時点ｔ２１における実画像および履歴画像を作成し、作成した実画像と履歴画像とを合成することで車両周辺画像を作成する。現時点ｔ２１における実画像および履歴画像の作成方法および合成方法は、時点ｔ１２、ｔ１３における方法と同様である。続いてステップ１４０では、作成した車両周辺画像を画像出力Ｉ／Ｆ６に出力することで、ディスプレイに表示させる。このとき、実画像と履歴画像の境界における位置ずれは、既に説明した通り、非常に小さくなる。
【００８０】
また、読み出した時刻ｔ２１の予想移動量が、時刻ｔ２における予想移動量と実際の移動量のずれを相殺するように補正されているので、時刻ｔ２以前の予想移動量の誤差を時刻ｔ２より後に引きずってしまうことがない。
【００８１】
［時点ｔ２２以降における作動］
時点ｔ２２以降における車両周辺画像表示制御装置１の作動は、時点ｔ２２、ｔ２３、ｔ２４、ｔ３１、ｔ３２、ｔ３３、ｔ４１、ｔ４２、ｔ４３においては、時点ｔ２１と同様である。また、時点ｔ３、ｔ４、ｔ５においては、時点ｔ２と同様である。
【００８２】
以上説明した通り、本実施形態の車両周辺画像表示制御装置１の演算部５は、第１の移動量情報取得時点ｔ１、ｔ２、ｔ３、ｔ４、ｔ５において車両移動量情報を取得した場合（ステップ２１０）、当該取得した車両移動量情報に基づいて、第１の移動量情報取得時点（例えば時点ｔ１）後に撮影画像を取得する予定の第１の撮影画像取得時点（例えば時点ｔ１１）から第１の時間間隔だけ遡る期間（例えば、時点ｔ０３から時点ｔ１１までの期間）に車両が移動する予想移動距離および当該第１の撮影画像取得時点（例えば時点ｔ１１）における車両の予想舵角を推定する（ステップ２３０、２４０）。
【００８３】
また、演算部５は、第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３、ｔ２１、ｔ２２、ｔ２３、ｔ２４、ｔ３１、ｔ３２、ｔ３３、ｔ４１、ｔ４２、ｔ４３）において撮影画像を取得したことに基づいて（ステップ１１０）、今回取得した撮影画像に基づく画像を実画像とし、また、先に推定された第１の撮影画像取得時点における予想移動距離および予想舵角に基づいて、第１の撮影画像取得時点（例えば時点ｔ１１）から第１の時間間隔だけ遡った前回撮影画像取得時点（例えば時点ｔ０３）においてディスプレイに出力した車両周辺画像を、第１の撮影時点（例えばｔ１１）における車両と周囲の実際の位置関係に合致するよう修正し、修正した結果の履歴画像を実画像と合成することで、今回の車両周辺画像を作成し（ステップ１２０、１３０）、作成した当該今回の車両周辺画像をディスプレイに表示させる（ステップ１４０）。
【００８４】
このように、車両移動量情報を取得したことに基づいて、後の第１の撮影画像取得時点における車両移動量（予想移動距離、予想舵角）を推定し、第１の撮影画像取得時点が訪れたときに、推定した車両移動量を用いて履歴画像を作成することで、実画像と履歴画像の境界における位置ずれは、非常に小さくなる。
【００８５】
また、演算部５は、第１の移動量情報取得時点（例えば時点ｔ１）において車両移動量情報を取得した場合（ステップ２１０）、当該取得した車両移動量情報に基づいて、第１の移動量情報取得時点から第２の時間間隔が経過するまでの期間に車両が移動する予想移動距離および第１の移動量情報取得時点から第２の時間間隔が経過した第２の移動量情報取得時点（例えば時点ｔ２）における車両の予想舵角を推定し（ステップ２４０）、この第２の移動量情報取得時点において車両移動量情報を取得した場合（ステップ２１０）、当該第２の移動量情報取得時点において取得した車両移動量情報に含まれる移動距離および舵角と、第１の移動量情報取得時点（例えば時点ｔ１）において推定した第２の移動量情報取得時点における予想移動距離および予想舵角とのずれ量を算出し（ステップ２２０）、当該第２の移動量情報取得時点において取得した車両移動量情報に基づいて、第２の移動量情報取得時点後に撮影画像を取得する予定の第２の撮影画像取得時点（例えば、時点ｔ２１）から第１の時間間隔だけ遡る期間（例えば、時点ｔ１３から時点ｔ２１までの期間）に車両が移動する予想移動距離および第２の撮影画像取得時点における車両の予想舵角を推定し（ステップ２３０、２４０）、これら第２の撮影画像取得時点のうち、第２の移動量情報取得時点に最も近い時点（例えば時点ｔ２１）における予想移動距離および予想舵角を、当該ずれ量に基づいて修正する（ステップ２５０）。
【００８６】
このようにすることで、第１の移動量情報取得時点において推定した第２の移動量情報取得時点における予想移動量（予想移動距離および予想舵角）が、第２の移動量情報取得時点における実際の移動量からずれていたとしても、そのずれを緩和する補正を、次の第２の撮影画像取得時点について推定した予想移動量に施すので、当該第２の撮影画像取得時点において表示する車両周辺画像において、実画像と履歴画像のずれが更に低減される。
【００８７】
なお、上記実施形態において、演算部５が、図４のステップ１１０〜１４０を実行することで表示制御手段の一例として機能し、ステップ２１０〜２６０を実行することで車両移動量推定手段の一例として機能する。また、図１の移動距離推定部５１および舵角推定部５２の機能は、図５のステップ２３０、２４０の処理によって実現され、車両移動量演算部５３および画像合成演算部５４の機能は、図４のステップ１３０の処理によって実現され、出力画像生成部５５の機能は、図４のステップ１４０の処理によって実現される。
【００８８】
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
【符号の説明】
【００８９】
１ 車両周辺画像表示制御装置
２ 画像入力Ｉ／Ｆ
３ 車両信号入力Ｉ／Ｆ
４ 画像メモリ
５ 演算部
６ 画像出力Ｉ／Ｆ
５１ 移動距離推定部
５２ 舵角推定部
５３ 車両移動量演算部
５４ 画像合成演算部
５５ 出力画像生成部
【技術分野】
【０００１】
本発明は、車両周辺画像表示制御装置に関するものである。
【背景技術】
【０００２】
従来、車両の周辺を撮影するカメラから繰り返し撮影画像を取得し、取得した撮影画像を用いて車両周辺画像を作成してディスプレイに表示させる車両周辺画像表示制御装置が知られている。このような車両周辺画像表示制御装置においては、最新の撮影画像に基づく実画像と、過去の撮影画像に基づく履歴画像とを合成して車両周辺画像とすることで、最新の撮影画像では死角になってしまった車両周辺部分も引き続きディスプレイに表示させるようなものも知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３-９１４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このように、最新の撮影画像に基づく実画像と過去の撮影画像に基づく履歴画像とを合成して表示させる場合、履歴画像については、過去の撮影画像に基づき、車両の移動に応じて、車両との実際の位置関係に合致するように作成する必要がある。つまり、履歴画像を作成するには、車両の移動を検出する必要がある。車両の移動を検出する方法としては、車両の移動に関する量（例えば、車速パルス、舵角）を含む車両移動量情報を用いる方法が考えられる。
【０００５】
ここで、発明者は、撮影画像の取得タイミングと車両移動量情報の取得タイミングは必ずしも一致しない点に着目した。具体的には、撮影画像は第１の時間間隔で繰り返し取得し、車両移動量情報は第１の時間間隔よりも長い第２の時間間隔で繰り返し取得する場合が考えられる。
【０００６】
このような場合、図７に示すように、実画像は第１の時間間隔（図７の例では３０ｍｓ間隔）で更新されるのに対し、履歴画像は第２の時間間隔（図７の例では１００ｍｓ）でしか更新されない。
【０００７】
このようになっていると、ディスプレイに表示される車両周辺画像は、図７の時点ｔａのように、まだ履歴画像が作成されていない時点では、図８（ａ）に示すように、実画像５１と車両５０のみが表示される。そして、履歴画像が更新された後に実画像が２回更新された時点ｔｂにおいては、履歴画像が実画像よりも遅れたままになっているので、図８（ｂ）に示すように、実画像６１と履歴画像６２との境界部分において、ずれが生じてしまう。このずれは、履歴画像が撮影された後すぐに実画像の更新が行われる時点ｔｃでは、図８（ｃ）に示すように緩和もしくは解消されるが、また時間が経過して、履歴画像が更新されないまま実画像が更新されていくと、時点ｔｄにおける図８（ｄ）のように、実画像６１と履歴画像６２との境界部分において再度ずれが生じてしまう。
【０００８】
このように、実画像と履歴画像の境界部において頻繁にずれが生じてしまうと、ユーザに違和感を与えてしまう可能性が高くなる。本発明はこの点に鑑み、実画像と履歴画像を合成して車両周辺画像をディスプレイに表示する車両周辺画像表示制御装置において、撮影画像の取得タイミングと車両移動量情報の取得タイミングが異なっている状況で、実画像と履歴画像のずれを従来よりも低減することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するための請求項１に記載の発明は、カメラが撮影した車両の周辺の撮影画像を第１の時間間隔で繰り返し取得する画像入力インターフェース（２）と、前記第１の時間間隔よりも長い第２の時間間隔の周期で、最新の前記周期における前記車両の移動に関する量（以下、移動量という）を含む車両移動量情報を繰り返し取得する車両信号入力インターフェース（３）と、前記画像入力インターフェース（２）が撮影画像を取得する度に、今回取得した当該撮影画像に基づく実画像と、今回よりも前に取得した撮影画像に基づく履歴画像とを合成して、車両周辺画像を作成し、作成した前記車両周辺画像をディスプレイに表示させる演算部（５）とを備え、前記演算部（５）は、前記車両信号入力インターフェース（３）が第１の移動量情報取得時点（ｔ１）において車両移動量情報を取得した場合、当該取得した車両移動量情報に基づいて、前記第１の移動量情報取得時点後に前記画像入力インターフェース（２）が撮影画像を取得する予定の第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）における前記車両の予想移動量を推定する車両移動量推定手段（２１０〜２６０）と、前記第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）において前記画像入力インターフェース（２）が撮影画像を取得したことに基づいて、今回取得した撮影画像に基づく画像を実画像とし、また、前記車両移動量推定手段によって推定された前記第１の撮影画像取得時点における前記車両の予想移動量に基づいて、今回よりも前に取得した撮影画像を用いて、前記第１の撮影時点（ｔ１１、ｔ１２、ｔ１３）における前記車両と周囲の実際の位置関係に合致するような履歴画像を作成し、前記履歴実画像と前記実画像とを合成することで、今回の車両周辺画像を作成し、作成した当該今回の車両周辺画像を前記ディスプレイに表示させる表示制御手段（１１０〜１４０）と、を有することを特徴とする車両周辺画像表示制御装置である。
【００１０】
このように、車両移動量情報を取得したことに基づいて、後の第１の撮影画像取得時点における車両移動量推定し、第１の撮影画像取得時点が訪れたときに、推定した車両移動量を用いて履歴画像を作成することで、実画像と履歴画像の境界における位置ずれは、非常に小さくなる。
【００１１】
また、請求項２に記載の発明は、請求項１に記載の車両周辺画像表示制御装置において、前記表示制御手段（１１０〜１４０）は、前記第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）において前記画像入力インターフェース（２）が撮影画像を取得したことに基づいて、前記車両移動量推定手段によって推定された前記第１の撮影画像取得時点における前記車両の予想移動量を用いて、前記第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）から前記第１の時間間隔だけ遡った前回撮影画像取得時点（ｔ０３、ｔ１１、ｔ１２）において前記ディスプレイに出力した車両周辺画像を、前記第１の撮影時点（ｔ１１、ｔ１２、ｔ１３）における前記車両と周囲の実際の位置関係に合致するよう修正して前記履歴画像として、前記履歴画像を前記実画像と合成することで、今回の車両周辺画像を作成し、作成した当該今回の車両周辺画像を前記ディスプレイに表示させることを特徴とする。
【００１２】
また、請求項３に記載の発明は、請求項２に記載の車両周辺画像表示制御装置において、前記車両移動量推定手段（２１０〜２６０）は、前記車両信号入力インターフェース（３）が第１の移動量情報取得時点（ｔ１）において車両移動量情報を取得した場合、当該取得した車両移動量情報に基づいて、前記第１の移動量情報取得時点から前記第２の時間間隔が経過するまでの期間における前記車両の予想移動量を推定し、前記車両信号入力インターフェース（３）が前記第２の移動量情報取得時点において車両移動量情報を取得した場合、前記第２の移動量情報取得時点において取得した車両移動量情報に含まれる移動量と、前記第１の移動量情報取得時点において推定した前記第２の移動量情報取得時点における移動量とのずれ量を算出し、前記第２の移動量情報取得時点において取得した前記車両移動量情報に基づいて、前記第２の移動量情報取得時点後に前記画像入力インターフェース（２）が撮影画像を取得する予定の第２の撮影画像取得時点（ｔ２１、ｔ２２、２３）から前記第１の時間間隔だけ遡る期間に前記車両が移動する予想移動距離および前記第２の撮影画像取得時点（ｔ２１、ｔ２２、ｔ２３）における前記車両の予想移動量を推定し、前記第２の撮影画像取得時点のうち、前記第２の移動量情報取得時点に最も近い時点（ｔ２１）における予想移動量を、前記ずれ量に基づいて修正することを特徴とする。
【００１３】
このようにすることで、第１の移動量情報取得時点において推定した第２の移動量情報取得時点における予想移動量が、第２の移動量情報取得時点における実際の移動量からずれていたとしても、そのずれを緩和する補正を、次の第２の撮影画像取得時点について推定した予想移動量に施すので、当該第２の撮影画像取得時点において表示する車両周辺画像において、実画像と履歴画像のずれが更に低減される。
【００１４】
なお、上記および特許請求の範囲における括弧内の符号は、特許請求の範囲に記載された用語と後述の実施形態に記載される当該用語を例示する具体物等との対応関係を示すものである。
【図面の簡単な説明】
【００１５】
【図１】本発明の実施形態に係る車両周辺画像表示制御装置の構成図である。
【図２】車両の後退に伴う実画像１１と履歴画像１２の変化を例示する図である。
【図３】車両移動量情報の取得、実画像の更新、履歴画像の更新のタイミングを例示する図である。
【図４】演算部が実行する処理のフローチャートである。
【図５】演算部が実行する処理のフローチャートである。
【図６】予想移動量Ｗｒと実際の移動量Ｗｒの差分Ｄを用いた補正を示す図である。
【図７】想定事例における、実画像の更新タイミングと履歴画像の更新タイミングを表す図である。
【図８】想定事例における、実画像６１と履歴画像６２の関係を示す図である。
【発明を実施するための形態】
【００１６】
以下、本発明の一実施形態について説明する。図１に、本実施形態に係る車両周辺画像表示制御装置１の構成を示す。車両周辺画像表示制御装置１は、車両に搭載され、同じく車両に搭載されて車両の後方を撮影するカメラから繰り返し撮影画像を取得すると共に、ＣＡＮ等の車内ＬＡＮから車両の移動に関する量（以下、移動量という）を含む車両移動量情報を繰り返し取得し、撮影画像および車両移動量情報に基づいて車両周辺画像を作成し、作成した車両周辺画像を、車室内のディスプレイに表示させるようになっている。
【００１７】
そして、本実施形態の車両周辺画像表示制御装置１は、最新の撮影画像に基づく実画像と、過去の撮影画像を用いて車両移動量情報に基づいて作成した履歴画像とを合成したものを車両周辺画像としてディスプレイに表示させることで、車両が移動してカメラの死角となってしまった周辺部分も、ディスプレイに表示するようになっている。
【００１８】
具体的には、車両周辺画像の表示開始時（車両の後退開始時）には、図２（ａ）に示すように、最新の撮影画像を鳥瞰変換（車両の真上から見下ろす視点の画像への変換）した実画像１１と、自車両を表す車両画像１０とを合成し、他の部分（カメラの死角部分）は単色（例えば黒色）とする車両周辺画像を作成してディスプレイに表示させる。その後、車両が後退移動を続けると、図２（ｂ）に示すように、その時点の最新の撮影画像を鳥瞰変換した実画像１１と、上述の車両画像１０に加え、その時点の最新でない過去の撮影画像を用いて、履歴画像１２を作成し、車両周辺画像のカメラの死角部分に、履歴画像を重畳させる。この履歴画像１２は、過去の撮影画像に基づいて、現在車両との実際の位置関係に合致するよう、実画像１１と合成する。したがって、図２（ｃ）に示すように、車両の後退と共に、車両周辺画像中で履歴画像１２の範囲が広がっていく。
【００１９】
この車両周辺画像表示制御装置１は、図１に示すように、画像入力Ｉ／Ｆ２、車両信号入力Ｉ／Ｆ３、画像メモリ４、演算部５、画像出力Ｉ／Ｆ６等を有している。
【００２０】
画像入力Ｉ／Ｆ２は、上記カメラが撮影した車両の周辺の撮影画像を第１の時間間隔（具体的には３０ミリ秒間隔）で繰り返し取得するインターフェースである。
【００２１】
車両信号入力Ｉ／Ｆ３は、上記第１の時間間隔よりも長い第２の時間間隔（具体的には１００ミリ秒）の周期で、最新の当該周期における車両の移動に関する量（以下、移動量という）を含む車両移動量情報を繰り返し取得するインターフェースである。車両信号入力Ｉ／Ｆ３は、この車両移動量情報を、上述の通り車内ＬＡＮから取得する。
【００２２】
ここで、車両移動量情報に含まれる移動量について説明する。車両信号入力Ｉ／Ｆ３が各時点Ｔに取得する車両移動量情報中の移動量は、当該時点Ｔから上記第２の時間間隔だけ遡る期間（すなわち、車両移動量情報を取得する最新の周期）における車両の移動距離と、当該期間において検出された最新の車両の舵角である。
【００２３】
当該期間における車両の移動距離は、その期間内において１つの車輪速センサから出力された車速パルス信号の数で表される。また、車両の舵角は、舵角センサによって出力された舵角信号によって検出可能である。
【００２４】
このような車両移動量情報は、車両に搭載されたＥＣＵ（図示せず）が、車輪速センサから車速パルス信号を逐次取得すると共に、舵角センサから逐次舵角信号を取得し、上記第２の時間間隔が経過する毎に、この第２の時間間隔内において取得した車速パルス信号の数と、最新の舵角信号に基づいて特定した舵角とを、車両移動量情報に含め、車内ＬＡＮに出力する。そして車両信号入力Ｉ／Ｆ３は、このようにＥＣＵから繰り返し車内ＬＡＮに出力された車両移動量情報を逐次取得する。
【００２５】
画像メモリ４は、画像入力Ｉ／Ｆ２によって繰り返し取得される撮影画像を所定の分量だけ（例えば、最新の１０秒間分）蓄積する記憶媒体である。
【００２６】
演算部５は、画像入力Ｉ／Ｆ２が撮影画像を取得する度に、今回画像入力Ｉ／Ｆ２が取得した当該撮影画像に基づく実画像と、今回よりも前に画像入力Ｉ／Ｆ２が取得した撮影画像に基づく履歴画像とを合成して、車両周辺画像を作成し、作成した前記車両周辺画像を画像出力Ｉ／Ｆ６に出力するための回路である。このような機能を実現する演算部５として、ＣＰＵ、ＲＡＭ、ＲＯＭ、Ｉ／Ｏ等を備えた周知のマイクロコントローラを用いることができる。画像出力Ｉ／Ｆ６は、演算部５から受けた車両周辺画像を逐次ディスプレイに出力する。これにより、車室内のドライバー等の乗員は、ディスプレイに表示される車両周辺画像を見ることができる。
【００２７】
ここで、演算部５の機能構成について説明する。演算部５は、図１に示すように、移動距離推定部５１、舵角推定部５２、車両移動量演算部５３、画像合成演算部５４、および出力画像生成部５５として機能する。
【００２８】
移動距離推定部５１は、車両信号入力Ｉ／Ｆ３が車両移動量情報を取得する度に、今回取得した車両移動量情報に含まれる移動距離（あるいは今回に加えて前回以前に取得した車両移動量情報に含まれる移動距離）に基づいて、次に車両移動量情報を取得する時点（現在から第２の時間間隔が経過する時点）までの期間のうち、画像入力Ｉ／Ｆ２が撮影画像を取得する時点等における、車両の予想移動量（より具体的には、その時点から第１の時間間隔だけ遡る期間における移動量）を推定する。
【００２９】
舵角推定部５２は、車両信号入力Ｉ／Ｆ３が車両移動量情報を取得する度に、今回取得した車両移動量情報に含まれる舵角（あるいは今回に加えて前回以前に取得した車両移動量情報に含まれる舵角）に基づいて、次に車両移動量情報を取得する時点までの期間のうち、画像入力Ｉ／Ｆ２が撮影画像を取得する時点等における、車両の予想舵角を推定する。
【００３０】
車両移動量演算部５３は、画像入力Ｉ／Ｆ２が撮影画像を取得したとき、移動距離推定部５１、舵角推定部５２よって既に推定されていた現在の予想移動量および予想舵角に基づいて、前回画像入力Ｉ／Ｆ２が撮影画像を取得した時点から現在までに車両がどのように移動したかを算出する。
【００３１】
画像合成演算部５４は、画像入力Ｉ／Ｆ２が撮影画像を取得して画像メモリ４に記録したとき、画像メモリ４に記録された最新の撮影画像を実画像とする。また画像合成演算部５４は、車両移動量演算部５３が算出した車両の移動内容の算出結果に基づいて、現在の車両との実際の車両周辺の位置関係と、車両周辺画像中の車両と履歴画像の位置関係とが、合致するよう、履歴画像を作成し、上記実画像および車両の画像とを合成し、車両周辺画像とする。出力画像生成部５５は、この車両周辺画像を、逐次画像出力Ｉ／Ｆ６に出力する。
【００３２】
以上のような構成の車両周辺画像表示制御装置１の作動について、図３〜図６を参照して説明する。図３は、車両周辺画像表示制御装置１における、車両移動量情報の取得、実画像の更新、履歴画像の更新のタイミングを例示する図である。この例では、画像入力Ｉ／Ｆ２による撮影画像の取得タイミングに対し、実画像および履歴画像の更新タイミングは、実際には処理時間の分だけ遅れているが、この遅れは撮影画像の取得周期（第１の時間間隔）に比べて十分小さいので、両者のタイミングは同じであるとして説明する。
【００３３】
［時点ｔ０、ｔ０１、ｔ０２、ｔ０３における作動］
図３の例では、時点ｔ０において、車両のシフト位置が後退位置（Ｒ）になったことに基づいて、車両周辺画像表示制御装置１が作動を開始し始めている。そして時点ｔ０において、まず車両信号入力Ｉ／Ｆ３が車両移動量情報を取得した後、時点ｔ０１、ｔ０２、ｔ０３において画像入力Ｉ／Ｆ２が撮影画像を取得して画像メモリ４に記録する。この各時点ｔ０１、ｔ０２、ｔ０３において、演算部５は、作動開始からまだ１回しか車両移動量情報を取得していないことに基づいて、実画像と履歴画像のうち実画像のみを用いて車両周辺画像を作成し、作成した車両周辺画像をディスプレイに表示させる。具体的には、その時点で最新の撮影画像を鳥瞰変換した実画像と、自車両の画像である自車画像とを合成する。合成の方法は、図２に示した通り、自車画像１０の後端に、実画像１１を配置することで、自車両画像１０と実画像１１内の表示内容との位置関係を、実際の車両と周囲の位置関係に合致させる。そして、合成後の車両周辺画像を画像出力Ｉ／Ｆ６に出力することで、ディスプレイに表示させる。
【００３４】
［時点ｔ１における作動］
次に、時点ｔ０から第２の時間間隔が経過した時点ｔ１において、２回目に車両信号入力Ｉ／Ｆ３が車両移動量情報を取得した場合、演算部５は、車両周辺画像表示制御装置１の作動開始から２回以上車両移動量情報を取得していることに基づいて、図４に示す処理と図５に示す処理をマルチタスクで同時並列的に実行し始める。
【００３５】
図４の処理では、ステップ１１０で、画像入力Ｉ／Ｆ２が撮影画像を取得したか否かを判定するが、今回の時点ｔ１では取得していないと判定するので、次に撮影画像を取得するまで、ステップ１１０の処理を繰り返す。
【００３６】
一方、図５の処理では、ステップ２１０で、車両信号入力Ｉ／Ｆ３から車両移動量情報を取得したか否かを判定するが、今回の時点ｔ１では、取得していると判定し、処理をステップ２２０に進める。
【００３７】
ステップ２２０では、前回の推定結果との差分算出処理を行うが、ｔ１の時点では、車両周辺画像表示制御装置１の作動開始後から車両信号入力Ｉ／Ｆ３が車両移動量情報を取得した回数が３回未満であることに基づいて、ステップ２２０の処理はバイパスしてステップ２３０に処理を進める。
【００３８】
ステップ２３０では、画像フレームタイミングの特定を行う。具体的には、現時点ｔ１から現時点の次の車両移動量情報の取得時点ｔ２（現在よりも第２の時間間隔後である時点ｔ２）までの期間Ａ（ただし現時点ｔ１は除く）内で、画像入力Ｉ／Ｆ２が撮影画像を取得する予定の時点ｔ１１、ｔ１２、ｔ１３（以下、第１の撮影画像取得時点という）を特定する。具体的には、画像入力Ｉ／Ｆ２が前回（つまり、現時点より前において最後に）撮影画像を取得した時点ｔ０３を起点とし、その起点から所定の第１の時間間隔の整数倍の時間がちょうど経過した時点ｔ１１、ｔ１２、ｔ１３のすべてを、期間Ａ内で抽出し、それらの時点ｔ１１、ｔ１２、ｔ１３を画像フレームタイミング（第１の撮影画像取得時点）とする。
【００３９】
続いてステップ２４０では、ステップ２３０で特定した各画像フレームタイミングｔ１１、ｔ１２、ｔ１３における車両の予想移動量を推定する。ここで、画像フレームタイミングｔ１１、ｔ１２、ｔ１３における車両の予想移動量としては、当該画像フレームタイミングから第１の時間間隔だけ遡る期間における車両の予想移動距離と、当該画像フレームタイミングにおける車両の予想舵角を採用する。
【００４０】
画像フレームタイミングｔ１１を例に挙げると、当該画像フレームタイミングｔ１１から第１の時間間隔だけ遡る期間、すなわち、時点ｔ０３から時点ｔ１１までの期間における車両の予想移動距離と、時点ｔ１１における車両の予想舵角を算出する。
【００４１】
予想移動量については、今回の時点ｔ１において取得した車両移動量情報と、前回の車両移動量情報の取得時点ｔ０において取得した車両移動量情報と、に基づいて推定してもよいし、今回の時点ｔ１において取得した車両移動量情報のみに基づいて推定してもよい。
【００４２】
例えば、予想移動距離については、前回の時点ｔ０に取得した車両移動量情報に含まれる車両の移動距離（長さが第２の時間間隔の時点ｔ０までの期間における車両の移動距離）がＬ０であり、今回の時点ｔ１に取得した車両移動量情報に含まれる車両の移動距離（長さが第２の時間間隔の時点ｔ１までの期間における車両の移動距離）がＬ１であったとすると、次の第２の時間間隔の期間における車両の移動距離が、これら時点ｔ０、ｔ１における値Ｌ０、Ｌ１を用いて線形補外した値（２×Ｌ１−Ｌ０）であると推定してもよいし、今回値すなわちＬ１であると推定してもよい。
【００４３】
そして、時点ｔ０３から時点ｔ１１までの車両の予想移動距離については、車両が上記線形補外値または今回値で一定速度で移動すると仮定して算出する。すなわち、上記線形補外値または今回値に（ｔ１１−ｔ０３）／（ｔ２−ｔ１）を乗算した値を時点ｔ０３から時点ｔ１１までの予想移動距離とする。同様に、時点ｔ１１から時点ｔ１２までの車両の予想移動距離は、上記線形補外値または今回値に（ｔ１２−ｔ１１）／（ｔ２−ｔ１）を乗算した値とし、時点ｔ１２から時点ｔ１３までの車両の予想移動距離は、上記線形補外値または今回値に（ｔ１３−ｔ１２）／（ｔ２−ｔ１）を乗算した値とする。
【００４４】
また、予想舵角については、前回の時点ｔ０に取得した車両移動量情報に含まれる車両の舵角がＷ０であり、今回の時点ｔ１に取得した車両移動量情報に含まれる車両の移動距離がＷ１であったとすると、次の時点ｔ２における車両の舵角が、これら時点ｔ０、ｔ１における値Ｗ０、Ｗ１を用いて線形補外した値（２×Ｗ１−Ｗ０）であると推定してもよいし、今回値すなわちＷ１であると推定してもよい。
【００４５】
そして、時点ｔ０３から時点ｔ１１までの車両の予想舵角については、車両が上記線形補外値または今回値で一定速度で移動すると仮定して算出する。すなわち、上記線形補外値または今回値に（ｔ１１−ｔ０３）／（ｔ２−ｔ１）を乗算した値を時点ｔ０３から時点ｔ１１までの予想舵角とする。同様に、時点ｔ１１から時点ｔ１２までの車両の予想舵角は、上記線形補外値または今回値に（ｔ１２−ｔ１１）／（ｔ２−ｔ１）を乗算した値とし、時点ｔ１２から時点ｔ１３までの車両の予想舵角は、上記線形補外値または今回値に（ｔ１３−ｔ１２）／（ｔ２−ｔ１）を乗算した値とする。
【００４６】
また、ステップ２４０では、画像フレームタイミングｔ１１、ｔ１２、ｔ１３以外にも、現在の時点ｔ１から第２の時間経過後の時点ｔ２における車両の予想移動量も推定する。具体的には、時点ｔ１から時点ｔ２までの期間における車両の予想移動距離と、時点ｔ２における車両の予想舵角を算出する。これらの値としては、上述の線形補外値または今回値を採用すればよい。
【００４７】
続いてステップ２５０では、ステップ２２０で算出した差分を用いた補正を行うが、ｔ１の時点では、車両周辺画像表示制御装置１の作動開始後から車両信号入力Ｉ／Ｆ３が車両移動量情報を取得した回数が３回未満であることに基づいて、ステップ２５０の処理はバイパスしてステップ２６０に処理を進める。
【００４８】
ステップ２６０では、ステップ２４０で推定した時点ｔ１１、ｔ１２、ｔ１３、ｔ２における予想移動量（具体的には予想移動距離および予想舵角）を記憶媒体（例えば演算部５内の図示しないＲＡＭ）に記録する。その後、処理をステップ２１０に戻し、再度車両信号入力Ｉ／Ｆ３が車両移動量情報を取得するまで、車両移動量情報を取得していないと判定しつつステップ２１０の判定処理を繰り返す。
【００４９】
［時点ｔ１１における作動］
その後、時間が経過し、時点ｔ１１になると、画像入力Ｉ／Ｆ２が撮影画像を取得して画像メモリ４に記録する。すると演算部５は、図４の処理において、まずステップ１１０で、撮影画像を取得したと判定してステップ１２０に進み、現時点ｔ１１における車両の予想移動量（予想移動距離および予想舵角）を読み出す。時点ｔ１１における車両の予想移動量は、時点ｔ１において図５のステップ２６０で既に記録されている。
【００５０】
続いてステップ１３０では、読み出した時点ｔ１１における予想移動量に基づいて、現時点ｔ１１における実画像および履歴画像を作成し、作成した実画像と履歴画像とを合成することで車両周辺画像を作成する。
【００５１】
ここで、現時点ｔ１１における実画像および履歴画像の作成方法について説明する。現時点ｔ１１における実画像は、今回取得した撮影画像（すなわち、画像メモリ４に記録されている最新の撮影画像）を鳥瞰変換することで得られるトップビュー画像である。
【００５２】
また、現時点ｔ１１における履歴画像は、今回よりも前に取得した撮影画像（すなわち、画像メモリ４に記録されている撮影画像のうち、最新でない撮影画像）に対して、鳥瞰変換、回転変換等の処理を施した結果のトップビュー画像である。
【００５３】
具体的には、現時点ｔ１１よりも１回前に画像入力Ｉ／Ｆ２が取得した撮影画像（時点ｔ０３における撮影画像）を鳥瞰変換し、鳥瞰変換した後の画像を、時点ｔ０３から時点ｔ１１までの車両の移動によって車両の周囲の位置が変化するのと同様に回転させる。
【００５４】
このためには、時点ｔ０３から現時点ｔ１１までの車両の移動内容を算出する必要があるが、最後に車両移動量情報を取得したのは時点ｔ１なので、現在の車両の実際の位置を特定することはできない。したがって、ステップ１２０で読み出した時点ｔ１１における予想移動量（予想移動距離、予想舵角）を用いて、実際の車両の移動内容を推定する。
【００５５】
具体的には、時点ｔ０３から時点ｔ１１まで、車両は、読み出した予想舵角を維持しながら、周知のアッカーマンモデルに従って、読み出した予想移動距離だけ後退したと推定する。これにより、時点ｔ０３から時点ｔ１１までの車両の旋回中心および旋回中心から見込んだ車両の旋回角を推定することができる。時点ｔ０３の撮影画像を鳥瞰変換した画像に対しては、上述の旋回中心を回転中心とし、回転角を上記旋回角と同じ大きさかつ逆向とするような回転変換を施し、その結果の画像を、履歴画像とする。
【００５６】
そして、このようにして作成した履歴画像と、上述の実画像とを合成するが、合成の際には、履歴画像と実画像とが重なる部分については、履歴画像を削除して、実画像を優先させる。更に、このようにして合成した画像に対して自車画像を合成する。この際、自車画像と実画像の位置関係を、上述の図２（ａ）のようにすることで、自車画像と履歴画像の位置関係は、自動的に、時点ｔ１１における車両と実際の車両周囲との位置関係に概ね合致するようになる。自車画像を合成した後の画像が、ディスプレイに表示させるための車両周辺画像となる。
【００５７】
続いてステップ１４０では、この車両周辺画像を画像出力Ｉ／Ｆ６に出力することで、ディスプレイに表示させる。このとき、ディスプレイには、図２（ｂ）に示すような、自車画像１０、実画像１１、履歴画像１２が合成された車両周辺画像が表示される。このとき、実画像１１と履歴画像１２の境界における位置ずれは、非常に小さくなる。これは、履歴画像１２が、最後に車両移動量情報を取得した時点ｔ１における車両と周囲の位置関係を反映するよう作成されているのではなく、実画像１１の元となる最新の撮影画像を取得した時点ｔ１１における車両と周囲の位置関係を反映するよう作成されているからである。ステップ１４０の後は、処理をステップ１１０に戻し、再度画像入力Ｉ／Ｆ２が車両移動量情報を取得するまで、撮影画像を取得していないと判定しつつステップ１１０の判定処理を繰り返す。
【００５８】
［時点ｔ１２における作動］
その後、時間が経過し、時点ｔ１２になると、画像入力Ｉ／Ｆ２が撮影画像を取得して画像メモリ４に記録する。すると演算部５は、図４の処理において、まずステップ１１０で、撮影画像を取得したと判定してステップ１２０に進み、現時点ｔ１２における車両の予想移動量（予想移動距離および予想舵角）を読み出す。時点ｔ１２における車両の予想移動量は、時点ｔ１において図５のステップ２６０で既に記録されている。
【００５９】
続いてステップ１３０では、読み出した時点ｔ１２における予想移動量に基づいて、現時点ｔ１２における実画像および履歴画像を作成し、作成した実画像と履歴画像とを合成することで車両周辺画像を作成する。現時点ｔ１２における実画像の作成方法は、時点ｔ１１における方法と同様である。
【００６０】
また、現時点ｔ１２における履歴画像の作成に関しては、車両周辺画像表示制御装置１の作動後に履歴画像を作成するのが２回目以降であることに基づいて、１回目であった時点ｔ１１とは異なる方法で履歴画像を作成する。すなわち、前回の撮影画像の取得時である時点ｔ１１（第１の撮影時点から第１の時間間隔だけ遡った前回撮影画像取得時点に相当する）に作成した車両周辺画像に対して回転変換等の修正を施すことで、時点ｔ１２（第１の撮影時点に相当する）における車両と車両周囲の実際の位置関係に合致するよう修正したトップビュー画像を、今回の車両周辺画像とする。
【００６１】
このために、時点ｔ１１から現時点ｔ１２までの車両の移動内容を算出するが、その方法は時点ｔ１１における方法と同様、ステップ１２０で読み出した時点ｔ１２における予想移動量（予想移動距離、予想舵角）を用いて、実際の車両の移動内容を推定する。
【００６２】
具体的には、時点ｔ１１から時点ｔ１２まで、車両は、読み出した予想舵角を維持しながら、周知のアッカーマンモデルに従って、読み出した予想移動距離だけ後退したと推定する。これにより、時点ｔ１１から時点ｔ１２までの車両の旋回中心および旋回中心から見込んだ車両の旋回角を推定することができる。時点ｔ１１の車両周辺画像に対しては、上述の旋回中心を回転中心とし、回転角を上記旋回角と同じ大きさかつ逆向とするような回転変換を施し、その結果の画像を、履歴画像とする。なお、時点ｔ１１に作成された車両周辺画像は、今回の時点ｔ１２よりも前に取得した撮影画像を用いて作成されている。
【００６３】
そして、このようにして作成した履歴画像と、上述の実画像とを合成するが、合成の際には、履歴画像と実画像とが重なる部分については、履歴画像を削除して、実画像を優先させる。更に、このようにして合成した画像に対して自車画像を合成する。この際、自車画像と実画像の位置関係を、上述の図２（ｂ）のようにすることで、自車画像１０と履歴画像１２の位置関係は、自動的に、時点ｔ１２における車両と実際の車両周囲との位置関係に概ね合致するようになる。自車画像を合成した後の画像が、ディスプレイに表示させるための車両周辺画像となる。
【００６４】
続いてステップ１４０では、この車両周辺画像を画像出力Ｉ／Ｆ６に出力することで、ディスプレイに表示させる。このとき、ディスプレイには、図２（ｃ）に示すような、自車画像１０、実画像１１、履歴画像１２が合成された車両周辺画像が表示される。このとき、実画像１１と履歴画像１２の境界における位置ずれは、既に説明した通り、非常に小さくなる。
【００６５】
［時点ｔ１３における作動］
その後、時間が経過し、時点ｔ１３になると、画像入力Ｉ／Ｆ２が撮影画像を取得して画像メモリ４に記録する。すると演算部５は、図４の処理において、まずステップ１１０で、撮影画像を取得したと判定してステップ１２０に進み、現時点ｔ１３における車両の予想移動量（予想移動距離および予想舵角）を読み出す。続いてステップ１３０では、読み出した時点ｔ１３における予想移動量に基づいて、現時点ｔ１３における実画像および履歴画像を作成し、作成した実画像と履歴画像とを合成することで車両周辺画像を作成する。現時点ｔ１２における実画像および履歴画像の作成方法および合成方法は、時点ｔ１２における方法と同様である。続いてステップ１４０では、作成した車両周辺画像を画像出力Ｉ／Ｆ６に出力することで、ディスプレイに表示させる。このとき、実画像と履歴画像の境界における位置ずれは、既に説明した通り、非常に小さくなる。
【００６６】
［時点ｔ２における作動］
その後、時間が経過し、時点ｔ２になると、図５の処理において、ステップ２１０で、車両信号入力Ｉ／Ｆ３から車両移動量情報を取得したと判定し、処理をステップ２２０に進める。
【００６７】
ステップ２２０では、ｔ２の時点では、車両周辺画像表示制御装置１の作動開始後から車両信号入力Ｉ／Ｆ３が車両移動量情報を取得した回数が３回以上であることに基づいて、前回の推定結果との差分算出処理を行う。この差分抽出処理では、時点ｔ２（第２の移動量情報取得時点に相当する）において取得した車両移動量情報に含まれる移動距離Ｌｒ（時点ｔ１から時点ｔ２までの期間における車両の移動距離）および舵角Ｗｒ（時点ｔ２において検出されている最新の舵角）と、時点ｔ１（第１の移動量情報取得時点に相当する）において推定した時点ｔ２の予想移動距離Ｌｅおよび予想舵角Ｗｅとのずれ量（具体的には差分）を算出する。時点ｔ２の予想移動距離および予想舵角は、時点ｔ１において図５のステップ２４０で推定および記録されている。
【００６８】
より具体的には、上記移動距離Ｌｒから上記予想移動距離Ｌｅを減算して得られる移動距離差分Ｌｒ−Ｌｅ、および、上記舵角Ｗｒから上記予想舵角Ｗｅを減算して得られる舵角差分Ｗｒ−Ｗｅを算出する。これら差分は、時点ｔ１に推定した移動距離および舵角が、実際の移動距離および舵角とどれ程ずれていたかを示す指標である。予想移動量（予想移動距離および予想舵角）が実際の移動量（移動距離よび舵角）と大きく異なっていれば、実画像と履歴画像の境界において画像のずれが大きくなってしまい、その結果、ユーザが違和感を与えてしまう可能性が高くなる。
【００６９】
続いてステップ２３０では、画像フレームタイミングの特定を行う。具体的には、現時点ｔ２から現時点の次の車両移動量情報の取得時点ｔ３（現在よりも第２の時間間隔後である時点ｔ３）までの期間Ｂ（ただし現時点ｔ２は除く）内で、画像入力Ｉ／Ｆ２が撮影画像を取得する予定の時点ｔ２１、ｔ２２、ｔ２３、ｔ２４（以下、第１の撮影画像取得時点という）を特定する。具体的には、画像入力Ｉ／Ｆ２が前回（つまり、現時点より前において最後に）撮影画像を取得した時点ｔ１３を起点とし、その起点から所定の第１の時間間隔の整数倍の時間がちょうど経過した時点ｔ２１、ｔ２２、ｔ２３、ｔ２４のすべてを、期間Ｂ内で抽出し、それらの時点ｔ２１、ｔ２２、ｔ２３、ｔ２４を画像フレームタイミング（第１の撮影画像取得時点）とする。
【００７０】
続いてステップ２４０では、ステップ２３０で特定した各画像フレームタイミングｔ２１、ｔ２２、ｔ２３、ｔ２４における車両の予想移動量（予想移動距離および予想舵角）を、時点ｔ１におけるステップ２４０と同様の方法で、推定する。
【００７１】
画像フレームタイミングｔ２１を例に挙げると、当該画像フレームタイミングｔ２１から第１の時間間隔だけ遡る期間、すなわち、時点ｔ１３から時点ｔ２１までの期間における車両の予想移動距離と、時点ｔ２１における車両の予想舵角を算出する。算出方法は、時点ｔ１におけるステップ２４０と同様に、時点ｔ２における今回値を予想移動距離および予想舵角として採用してもよいし、時点ｔ１および時点ｔ２の移動距離および舵角を用いた線形補外値を予想移動距離および予想舵角としてもよい。
【００７２】
また、ステップ２４０では、画像フレームタイミングｔ２１、ｔ２２、ｔ２３以外にも、現在の時点ｔ２から第２の時間経過後の時点ｔ３における車両の予想移動量も推定する。具体的には、時点ｔ２から時点ｔ３までの期間における車両の予想移動距離と、時点ｔ３における車両の予想舵角を算出する。これらの値としては、上述の線形補外値または今回値を採用すればよい。この時点ｔ２の予想移動量は、後の時点ｔ３においてステップ２２０で用いられる。
【００７３】
続いてステップ２５０では、ｔ２の時点では、車両周辺画像表示制御装置１の作動開始後から車両信号入力Ｉ／Ｆ３が車両移動量情報を取得した回数が３回以上であることに基づいて、ステップ２２０で算出した差分を用いた補正を行う。
【００７４】
この補正の対象は、現時点ｔ２以降で現時点に最も近い画像フレームタイミングである時点ｔ２１における、予想移動量（予想移動距離および予想舵角）である。この補正は、時点ｔ２における予想移動量と実際の移動量とのずれ量が、時点ｔ２以降の車両周辺画像表示に悪影響を及ぼすことのないよう、それまでのずれを次の表示タイミングｔ２１で解消するための補正である。
【００７５】
具体的には、ステップ２４０で算出した時点ｔ２１の予想移動距離に対し、ステップ２２０で算出した移動距離差分Ｌｒ−Ｌｅを加算する補正を行う。また同様に、図６に示すように、ステップ２４０で算出した時点ｔ２１の予想舵角Ｗ２１に対し、ステップ２２０で算出した舵角差分Ｄ＝Ｗｒ−Ｗｅを加算する補正を行う。
【００７６】
また、ステップ２５０では、次の車両移動量情報取得タイミングである時点ｔ３における、予想移動量（予想移動距離および予想舵角）も補正する。具体的には、ステップ２４０で算出した時点ｔ３の予想移動距離に対し、ステップ２２０で算出した移動距離差分Ｌｒ−Ｌｅを加算する補正を行う。また同様に、ステップ２４０で算出した時点ｔ３の予想舵角に対し、ステップ２２０で算出した舵角差分Ｗｒ−Ｗｅを加算する補正を行う。
【００７７】
続いてステップ２６０では、ステップ２４０で推定した時点ｔ２１、ｔ２２、ｔ２３、ｔ２４、ｔ２における予想移動量（具体的には予想移動距離および予想舵角）を記憶媒体（例えば演算部５内の図示しないＲＡＭ）に記録する。その後、処理をステップ２１０に戻し、再度車両信号入力Ｉ／Ｆ３が車両移動量情報を取得するまで、車両移動量情報を取得していないと判定しつつステップ２１０の判定処理を繰り返す。
【００７８】
［時点ｔ２１における作動］
その後、時間が経過し、時点ｔ２１になると、画像入力Ｉ／Ｆ２が撮影画像を取得して画像メモリ４に記録する。すると演算部５は、図４の処理において、まずステップ１１０で、撮影画像を取得したと判定してステップ１２０に進み、現時点ｔ２１における車両の予想移動量（予想移動距離および予想舵角）を読み出す。ここで読み出す予想移動量は、時点ｔ２において図５のステップ２５０で補正された予想移動量である。
【００７９】
続いてステップ１３０では、読み出した時点ｔ２１における予想移動量に基づいて、現時点ｔ２１における実画像および履歴画像を作成し、作成した実画像と履歴画像とを合成することで車両周辺画像を作成する。現時点ｔ２１における実画像および履歴画像の作成方法および合成方法は、時点ｔ１２、ｔ１３における方法と同様である。続いてステップ１４０では、作成した車両周辺画像を画像出力Ｉ／Ｆ６に出力することで、ディスプレイに表示させる。このとき、実画像と履歴画像の境界における位置ずれは、既に説明した通り、非常に小さくなる。
【００８０】
また、読み出した時刻ｔ２１の予想移動量が、時刻ｔ２における予想移動量と実際の移動量のずれを相殺するように補正されているので、時刻ｔ２以前の予想移動量の誤差を時刻ｔ２より後に引きずってしまうことがない。
【００８１】
［時点ｔ２２以降における作動］
時点ｔ２２以降における車両周辺画像表示制御装置１の作動は、時点ｔ２２、ｔ２３、ｔ２４、ｔ３１、ｔ３２、ｔ３３、ｔ４１、ｔ４２、ｔ４３においては、時点ｔ２１と同様である。また、時点ｔ３、ｔ４、ｔ５においては、時点ｔ２と同様である。
【００８２】
以上説明した通り、本実施形態の車両周辺画像表示制御装置１の演算部５は、第１の移動量情報取得時点ｔ１、ｔ２、ｔ３、ｔ４、ｔ５において車両移動量情報を取得した場合（ステップ２１０）、当該取得した車両移動量情報に基づいて、第１の移動量情報取得時点（例えば時点ｔ１）後に撮影画像を取得する予定の第１の撮影画像取得時点（例えば時点ｔ１１）から第１の時間間隔だけ遡る期間（例えば、時点ｔ０３から時点ｔ１１までの期間）に車両が移動する予想移動距離および当該第１の撮影画像取得時点（例えば時点ｔ１１）における車両の予想舵角を推定する（ステップ２３０、２４０）。
【００８３】
また、演算部５は、第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３、ｔ２１、ｔ２２、ｔ２３、ｔ２４、ｔ３１、ｔ３２、ｔ３３、ｔ４１、ｔ４２、ｔ４３）において撮影画像を取得したことに基づいて（ステップ１１０）、今回取得した撮影画像に基づく画像を実画像とし、また、先に推定された第１の撮影画像取得時点における予想移動距離および予想舵角に基づいて、第１の撮影画像取得時点（例えば時点ｔ１１）から第１の時間間隔だけ遡った前回撮影画像取得時点（例えば時点ｔ０３）においてディスプレイに出力した車両周辺画像を、第１の撮影時点（例えばｔ１１）における車両と周囲の実際の位置関係に合致するよう修正し、修正した結果の履歴画像を実画像と合成することで、今回の車両周辺画像を作成し（ステップ１２０、１３０）、作成した当該今回の車両周辺画像をディスプレイに表示させる（ステップ１４０）。
【００８４】
このように、車両移動量情報を取得したことに基づいて、後の第１の撮影画像取得時点における車両移動量（予想移動距離、予想舵角）を推定し、第１の撮影画像取得時点が訪れたときに、推定した車両移動量を用いて履歴画像を作成することで、実画像と履歴画像の境界における位置ずれは、非常に小さくなる。
【００８５】
また、演算部５は、第１の移動量情報取得時点（例えば時点ｔ１）において車両移動量情報を取得した場合（ステップ２１０）、当該取得した車両移動量情報に基づいて、第１の移動量情報取得時点から第２の時間間隔が経過するまでの期間に車両が移動する予想移動距離および第１の移動量情報取得時点から第２の時間間隔が経過した第２の移動量情報取得時点（例えば時点ｔ２）における車両の予想舵角を推定し（ステップ２４０）、この第２の移動量情報取得時点において車両移動量情報を取得した場合（ステップ２１０）、当該第２の移動量情報取得時点において取得した車両移動量情報に含まれる移動距離および舵角と、第１の移動量情報取得時点（例えば時点ｔ１）において推定した第２の移動量情報取得時点における予想移動距離および予想舵角とのずれ量を算出し（ステップ２２０）、当該第２の移動量情報取得時点において取得した車両移動量情報に基づいて、第２の移動量情報取得時点後に撮影画像を取得する予定の第２の撮影画像取得時点（例えば、時点ｔ２１）から第１の時間間隔だけ遡る期間（例えば、時点ｔ１３から時点ｔ２１までの期間）に車両が移動する予想移動距離および第２の撮影画像取得時点における車両の予想舵角を推定し（ステップ２３０、２４０）、これら第２の撮影画像取得時点のうち、第２の移動量情報取得時点に最も近い時点（例えば時点ｔ２１）における予想移動距離および予想舵角を、当該ずれ量に基づいて修正する（ステップ２５０）。
【００８６】
このようにすることで、第１の移動量情報取得時点において推定した第２の移動量情報取得時点における予想移動量（予想移動距離および予想舵角）が、第２の移動量情報取得時点における実際の移動量からずれていたとしても、そのずれを緩和する補正を、次の第２の撮影画像取得時点について推定した予想移動量に施すので、当該第２の撮影画像取得時点において表示する車両周辺画像において、実画像と履歴画像のずれが更に低減される。
【００８７】
なお、上記実施形態において、演算部５が、図４のステップ１１０〜１４０を実行することで表示制御手段の一例として機能し、ステップ２１０〜２６０を実行することで車両移動量推定手段の一例として機能する。また、図１の移動距離推定部５１および舵角推定部５２の機能は、図５のステップ２３０、２４０の処理によって実現され、車両移動量演算部５３および画像合成演算部５４の機能は、図４のステップ１３０の処理によって実現され、出力画像生成部５５の機能は、図４のステップ１４０の処理によって実現される。
【００８８】
以上、本発明の実施形態について説明したが、本発明の範囲は、上記実施形態のみに限定されるものではなく、本発明の各発明特定事項の機能を実現し得る種々の形態を包含するものである。
【符号の説明】
【００８９】
１ 車両周辺画像表示制御装置
２ 画像入力Ｉ／Ｆ
３ 車両信号入力Ｉ／Ｆ
４ 画像メモリ
５ 演算部
６ 画像出力Ｉ／Ｆ
５１ 移動距離推定部
５２ 舵角推定部
５３ 車両移動量演算部
５４ 画像合成演算部
５５ 出力画像生成部
【特許請求の範囲】
【請求項１】
カメラが撮影した車両の周辺の撮影画像を第１の時間間隔で繰り返し取得する画像入力インターフェース（２）と、
前記第１の時間間隔よりも長い第２の時間間隔の周期で、最新の前記周期における前記車両の移動に関する量（以下、移動量という）を含む車両移動量情報を繰り返し取得する車両信号入力インターフェース（３）と、
前記画像入力インターフェース（２）が撮影画像を取得する度に、今回取得した当該撮影画像に基づく実画像と、今回よりも前に取得した撮影画像に基づく履歴画像とを合成して、車両周辺画像を作成し、作成した前記車両周辺画像をディスプレイに表示させる演算部（５）とを備え、
前記演算部（５）は、
前記車両信号入力インターフェース（３）が第１の移動量情報取得時点（ｔ１）において車両移動量情報を取得した場合、当該取得した車両移動量情報に基づいて、前記第１の移動量情報取得時点後に前記画像入力インターフェース（２）が撮影画像を取得する予定の第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）における前記車両の予想移動量を推定する車両移動量推定手段（２１０〜２６０）と、
前記第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）において前記画像入力インターフェース（２）が撮影画像を取得したことに基づいて、今回取得した撮影画像に基づく画像を実画像とし、また、前記車両移動量推定手段によって推定された前記第１の撮影画像取得時点における前記車両の予想移動量に基づいて、今回よりも前に取得した撮影画像を用いて、前記第１の撮影時点（ｔ１１、ｔ１２、ｔ１３）における前記車両と周囲の実際の位置関係に合致するような履歴画像を作成し、前記履歴実画像と前記実画像とを合成することで、今回の車両周辺画像を作成し、作成した当該今回の車両周辺画像を前記ディスプレイに表示させる表示制御手段（１１０〜１４０）と、を有することを特徴とする車両周辺画像表示制御装置。
【請求項２】
前記表示制御手段（１１０〜１４０）は、前記第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）において前記画像入力インターフェース（２）が撮影画像を取得したことに基づいて、前記車両移動量推定手段によって推定された前記第１の撮影画像取得時点における前記車両の予想移動量を用いて、前記第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）から前記第１の時間間隔だけ遡った前回撮影画像取得時点（ｔ０３、ｔ１１、ｔ１２）において前記ディスプレイに出力した車両周辺画像を、前記第１の撮影時点（ｔ１１、ｔ１２、ｔ１３）における前記車両と周囲の実際の位置関係に合致するよう修正して前記履歴画像として、前記履歴画像を前記実画像と合成することで、今回の車両周辺画像を作成し、作成した当該今回の車両周辺画像を前記ディスプレイに表示させることを特徴とする請求項１に記載の車両周辺画像表示制御装置。
【請求項３】
前記車両移動量推定手段（２１０〜２６０）は、
前記車両信号入力インターフェース（３）が第１の移動量情報取得時点（ｔ１）において車両移動量情報を取得した場合、当該取得した車両移動量情報に基づいて、前記第１の移動量情報取得時点から前記第２の時間間隔が経過するまでの期間における前記車両の予想移動量を推定し、
前記車両信号入力インターフェース（３）が前記第２の移動量情報取得時点において車両移動量情報を取得した場合、前記第２の移動量情報取得時点において取得した車両移動量情報に含まれる移動量と、前記第１の移動量情報取得時点において推定した前記第２の移動量情報取得時点における移動量とのずれ量を算出し、
前記第２の移動量情報取得時点において取得した前記車両移動量情報に基づいて、前記第２の移動量情報取得時点後に前記画像入力インターフェース（２）が撮影画像を取得する予定の第２の撮影画像取得時点（ｔ２１、ｔ２２、２３）から前記第１の時間間隔だけ遡る期間に前記車両が移動する予想移動距離および前記第２の撮影画像取得時点（ｔ２１、ｔ２２、ｔ２３）における前記車両の予想移動量を推定し、
前記第２の撮影画像取得時点のうち、前記第２の移動量情報取得時点に最も近い時点（ｔ２１）における予想移動量を、前記ずれ量に基づいて修正することを特徴とする請求項２に記載の車両周辺画像表示制御装置。
【請求項１】
カメラが撮影した車両の周辺の撮影画像を第１の時間間隔で繰り返し取得する画像入力インターフェース（２）と、
前記第１の時間間隔よりも長い第２の時間間隔の周期で、最新の前記周期における前記車両の移動に関する量（以下、移動量という）を含む車両移動量情報を繰り返し取得する車両信号入力インターフェース（３）と、
前記画像入力インターフェース（２）が撮影画像を取得する度に、今回取得した当該撮影画像に基づく実画像と、今回よりも前に取得した撮影画像に基づく履歴画像とを合成して、車両周辺画像を作成し、作成した前記車両周辺画像をディスプレイに表示させる演算部（５）とを備え、
前記演算部（５）は、
前記車両信号入力インターフェース（３）が第１の移動量情報取得時点（ｔ１）において車両移動量情報を取得した場合、当該取得した車両移動量情報に基づいて、前記第１の移動量情報取得時点後に前記画像入力インターフェース（２）が撮影画像を取得する予定の第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）における前記車両の予想移動量を推定する車両移動量推定手段（２１０〜２６０）と、
前記第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）において前記画像入力インターフェース（２）が撮影画像を取得したことに基づいて、今回取得した撮影画像に基づく画像を実画像とし、また、前記車両移動量推定手段によって推定された前記第１の撮影画像取得時点における前記車両の予想移動量に基づいて、今回よりも前に取得した撮影画像を用いて、前記第１の撮影時点（ｔ１１、ｔ１２、ｔ１３）における前記車両と周囲の実際の位置関係に合致するような履歴画像を作成し、前記履歴実画像と前記実画像とを合成することで、今回の車両周辺画像を作成し、作成した当該今回の車両周辺画像を前記ディスプレイに表示させる表示制御手段（１１０〜１４０）と、を有することを特徴とする車両周辺画像表示制御装置。
【請求項２】
前記表示制御手段（１１０〜１４０）は、前記第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）において前記画像入力インターフェース（２）が撮影画像を取得したことに基づいて、前記車両移動量推定手段によって推定された前記第１の撮影画像取得時点における前記車両の予想移動量を用いて、前記第１の撮影画像取得時点（ｔ１１、ｔ１２、ｔ１３）から前記第１の時間間隔だけ遡った前回撮影画像取得時点（ｔ０３、ｔ１１、ｔ１２）において前記ディスプレイに出力した車両周辺画像を、前記第１の撮影時点（ｔ１１、ｔ１２、ｔ１３）における前記車両と周囲の実際の位置関係に合致するよう修正して前記履歴画像として、前記履歴画像を前記実画像と合成することで、今回の車両周辺画像を作成し、作成した当該今回の車両周辺画像を前記ディスプレイに表示させることを特徴とする請求項１に記載の車両周辺画像表示制御装置。
【請求項３】
前記車両移動量推定手段（２１０〜２６０）は、
前記車両信号入力インターフェース（３）が第１の移動量情報取得時点（ｔ１）において車両移動量情報を取得した場合、当該取得した車両移動量情報に基づいて、前記第１の移動量情報取得時点から前記第２の時間間隔が経過するまでの期間における前記車両の予想移動量を推定し、
前記車両信号入力インターフェース（３）が前記第２の移動量情報取得時点において車両移動量情報を取得した場合、前記第２の移動量情報取得時点において取得した車両移動量情報に含まれる移動量と、前記第１の移動量情報取得時点において推定した前記第２の移動量情報取得時点における移動量とのずれ量を算出し、
前記第２の移動量情報取得時点において取得した前記車両移動量情報に基づいて、前記第２の移動量情報取得時点後に前記画像入力インターフェース（２）が撮影画像を取得する予定の第２の撮影画像取得時点（ｔ２１、ｔ２２、２３）から前記第１の時間間隔だけ遡る期間に前記車両が移動する予想移動距離および前記第２の撮影画像取得時点（ｔ２１、ｔ２２、ｔ２３）における前記車両の予想移動量を推定し、
前記第２の撮影画像取得時点のうち、前記第２の移動量情報取得時点に最も近い時点（ｔ２１）における予想移動量を、前記ずれ量に基づいて修正することを特徴とする請求項２に記載の車両周辺画像表示制御装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１３−５５４１０（Ｐ２０１３−５５４１０Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９０７０４（Ｐ２０１１−１９０７０４）
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００００４２６０）株式会社デンソー (27,639)
【Ｆターム（参考）】
[ Back to top ]