画像処理装置
【課題】切り替え前後の画像間で同一の物体を容易に対応付けられるようにする。
【解決手段】車両１を上方から俯瞰する視点及び撮影方向の仮想画像から、車両１の公報を写す仮想画像にモニタの表示内容を切り換える際に、車両１の上方から屋根部分１ａにズームインする動画と、屋根部分１ａから車両１の後方にズームアウトする動画とをモニタに表示させる。そして、両動画の間に、モニタの画面全体に車両１の屋根部分１ａをアップで写す仮想画像を挿入してモニタに表示させる。挿入する屋根部分１ａの仮想画像は、モニタの画面の中央を通る任意の対称軸を境として線対称な画像とする。
【解決手段】車両１を上方から俯瞰する視点及び撮影方向の仮想画像から、車両１の公報を写す仮想画像にモニタの表示内容を切り換える際に、車両１の上方から屋根部分１ａにズームインする動画と、屋根部分１ａから車両１の後方にズームアウトする動画とをモニタに表示させる。そして、両動画の間に、モニタの画面全体に車両１の屋根部分１ａをアップで写す仮想画像を挿入してモニタに表示させる。挿入する屋根部分１ａの仮想画像は、モニタの画面の中央を通る任意の対称軸を境として線対称な画像とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の周囲を撮影した撮影画像を任意の視点及び撮影方向の仮想画像に変換する画像処理装置に関する。
【背景技術】
【０００２】
従来から、車載カメラにより車両の周囲を撮影した撮影映像を画像処理して、車載カメラとは異なる視点及び撮影方向からの仮想映像に変換し、表示手段に表示させる技術が知られている。この表示手段に表示される仮想映像には、自車両のアイコンと目標駐車位置とが重畳される。したがって、表示手段に表示される仮想映像を車両の運転者に視認させることで、運転者の後退駐車操作を支援することができる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１１８５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した従来技術の仮想映像では、視点や撮影方向が変わるように車載カメラの撮影映像や仮想映像を切り換えて表示手段に表示する場合、画像中の同一の物体の位置や撮影方向が切り替えの前後で大きく変わることがある。そのため、表示手段の表示を視認する視認者が切り替え前後の画像間で同一の物体を対応付けて認識するのは、容易なことではない。
【０００５】
本発明は前記事情に鑑みなされたもので、本発明の目的は、車両の周囲を撮影した撮影画像やその画像を画像処理した仮想映像を、視点や撮影方向が変わるように切り替えて表示手段に表示させる場合に、切り替え前後の画像間で同一の物体を容易に対応付けて視認者に認識させることができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の画像処理装置では、撮影手段が撮影した車両の周囲の撮影画像を、仮想画像変換手段が異なる視点からの任意の撮影方向による仮想映像に変換し、その仮想画像又は撮影画像を表示手段が表示する。そして、表示手段が表示する画像を、表示手段における画面の表示方向が互いに反転した第１画像から第２画像に変化させる際に、仮想画像変換手段は、第１画像から連続的に視点及び撮影方向が変化する仮想画像による第１動画と、仮想画像の視点及び撮影方向が連続的に変化して第２画像に至る第２動画との間に、表示手段における画面の表示内容が画面内の対称軸を境に線対称である第３画像を挿入する。この第３画像は、第１動画及び第２動画において表示手段に表示される要素と同一の要素を表示内容に含む画像である。そして、仮想画像変換手段は、第１動画と第２動画との間に第３画像を挿入して表示手段に表示させる。
【発明の効果】
【０００７】
本発明によれば、表示手段の表示内容が第１動画から第２動画に切り替わる前後で、第１動画内と第２動画内との同一の物体を、容易に対応付けて視認者に認識させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係る画像処理装置を適用した車両の駐車操作支援装置の構成を示すブロック図である。
【図２】図１の駐車操作支援装置を搭載した車両のカメラが取り付けられる箇所を示す説明図である。
【図３】図１の演算部が行う処理において利用可能な視点変換処理の説明図である。
【図４】図１の演算部が各カメラの撮影画像のデジタルデータに対して図３の視点変換処理を行うことで得られる仮想画像の一例を示す説明図である。
【図５】図４の仮想画像を撮影する仮想カメラの視点及び撮影方向の変化の軌跡を示す説明図である。
【図６】（ａ）〜（ｇ）は、図５の各視点及び区間でモニタに表示される仮想画像の説明図である。
【図７】図５に示す軌跡で視点及び撮影方向が変化する場合の仮想カメラのピッチ角、Ｘ座標、Ｚ座標、及び、左右方向の反転の有無の時系列変化を示すチャートである。
【図８】本発明の第２実施形態に係る画像処理装置を適用した車両の駐車操作支援装置における、図４の仮想画像を撮影する仮想カメラの視点及び撮影方向の変化の軌跡を示す説明図である。
【図９】（ａ）〜（ｆ）は、図８の各視点及び区間でモニタに表示される仮想画像の説明図である。
【図１０】図８に示す軌跡で視点及び撮影方向が変化する場合の仮想カメラのピッチ角、Ｘ座標、Ｚ座標、及び、左右方向の反転の有無の時系列変化を示すチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明による画像処理装置を車両の駐車操作支援装置に適用した場合の実施形態を、図面を参照しながら説明する。
【００１０】
［第１実施形態］
図１は本発明の第１実施形態に係る画像処理装置を適用した車両の駐車操作支援装置の構成を示すブロック図である。図１中引用符号１００で示す本発明の駐車操作支援装置は、図２に示す車両１に搭載される。そして、図１に示す駐車操作支援装置１００は、４台のカメラ１０１ａ〜１０１ｄ（請求項中の撮影手段に相当）、画像処理ユニット１０２、モニタ１０８（請求項中の表示手段に相当）、制御部１０９、及び、操作パネル１１０を有している。
【００１１】
４台のカメラ１０１ａ〜１０１ｄは、図２に示すように、車両１のフロント中央、左右のドアミラー、及び、リア中央にそれぞれ取り付けられている。各カメラ１０１ａ〜１０１ｄはそれぞれ図２中の矢印で示す撮影方向で、車両１の周囲をそれぞれ撮影する。各カメラ１０１ａ〜１０１ｄによる撮影画像の映像信号は、図１に示す画像処理ユニット１０２にそれぞれ出力される。
【００１２】
画像処理ユニット１０２は、４つの映像入力部１０３ａ〜１０３ｄ及び入力映像フレームメモリ１０４ａ〜１０４ｄと、演算部１０５（請求項中の仮想画像変換手段に相当）、出力映像フレームメモリ１０６、及び、映像出力部１０７とを有している。
【００１３】
各映像入力部１０３ａ〜１０３ｄでは、対応するカメラ１０１ａ〜１０１ｄから入力される映像信号が、デジタルデータによるＲＧＢのビットマップに展開される。ビットマップに展開された各カメラ１０１ａ〜１０１ｄによる撮影画像のデジタルデータは、対応する入力映像フレームメモリ１０４ａ〜１０４ｄにそれぞれ一時的に記憶される。演算部１０５は、例えば、画像処理用のプロセッサによって構成することができる。この演算部１０５は、各入力映像フレームメモリ１０４ａ〜１０４ｄにそれぞれ記憶された撮影画像のデジタルデータに対して視点変換処理を施す。この視点変換処理により、各カメラ１０１ａ〜１０１ｄの撮影画像のデジタルデータは、任意の視点及び撮影方向から仮想カメラで撮影した仮想画像のデジタルデータに変換されて、出力映像フレームメモリ１０６に一時的に記憶される。
【００１４】
ここで、演算部１０５が行う視点変換処理は、例えば、特開２００３−２８１５０５号公報に記載された手法を用いて行うことができる。図３は、特開２００３−２８１５０５号公報に記載された視点変換処理の説明図である。この説明図では、図１の各カメラ１０１ａ〜１０１ｄに対応する実カメラ１１の撮影画像のデジタルデータを、実カメラ１１とは視点及び撮影方向が異なる仮想カメラ３２による仮想の撮影画像（仮想画像）のデジタルデータに変換する場合を示している。
【００１５】
まず、実空間に合わせて仮想空間を設定し、仮想空間上に視点及び撮影方向を合わせて実カメラ１１と仮想カメラ３２とを配置する。次に、投影面を設定する。図３ではｘｙ平面を投影面に設定しているが、実空間の地形や物体の存在に合わせて、投影面を複数設けてもよい。次に、仮想カメラ３２の画素の１つに注目し、注目した画素を画素Ｖとする。仮想カメラ３２の画素Ｖは面積を持っているので、画素Ｖの中心点の座標を画素Ｖの座標とする。仮想カメラ３２の視点及び撮影方向の情報と合わせ、投影面と光線３５との交点３３を求める。次に、交点３３から実カメラ１１への光線３４を考える。光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲内の場合には、光線３４が実カメラ１１のどの画素に入射するかを計算する。この場合、実カメラ１１で撮影される画像について光線３４が実カメラ１１のどの画素に入射するかを計算する。この光線３４が入射する画素を画素Ｒとすると、画素Ｖと画素Ｒとが対応し、画素Ｖの色及び輝度を画素Ｒの色及び輝度とする。
【００１６】
なお、光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲外の場合や、光線３４が実カメラ１１の撮像面に入射しない場合には、交点３３は実カメラ１１に映っていないので、仮想カメラ３２の画素Ｖには何も映っていないとする。この場合の画素Ｖの色はシステムのデフォルト値（黒等。もちろん黒以外でもよい）を用いるものとする。
【００１７】
また、画素Ｖを代表する座標は上記例では１画素につき１点としたが、代表する代表座標を画素Ｖ内に複数設けてもよい。この場合には、各代表座標それぞれに対して光線３４が実カメラ１１のどの画素に入射するかを計算し、得られた複数の色及び輝度をブレンディングし、画素Ｖの色及び輝度とする。この場合、ブレンディングの比率は等しくする。また、色及び輝度のブレンディンクの手法としてはアルファブレンディング等の手法があり、コンピュータグラフィックの分野では一般的な手法である。
【００１８】
以上の処理を仮想カメラ３２の画素すべてについて行ない、仮想カメラ３２の各画素の色及び輝度を確定することで仮想カメラ３２の画像、即ち、視点変換画像を作成することができ、空間上の実カメラ１１の画像、即ち、画像変換画像を視点変換画像へと視点変換することができる。
【００１９】
図１の演算部１０５は、例えば上述した特開２００３−２８１５０５号公報に記載された内容による視点変換処理を、各カメラ１０１ａ〜１０１ｄの撮影映像のデジタルデータに対してそれぞれ行う。視点変換処理された各カメラ１０１ａ〜１０１ｄの撮影映像のデジタルデータは、演算部１０５によって出力映像フレームメモリ１０６の対応するフレームメモリ部分にそれぞれ書き込まれて合成される。これにより、例えば図４の説明図に示す、車両１を上方から俯瞰した仮想画像のデジタルデータが得られる。
【００２０】
なお、図１の演算部１０５が実際に行う各カメラ１０１ａ〜１０１ｄの撮影画像のデジタルデータから仮想カメラによる仮想画像のデジタルデータへの視点変換処理において、仮想カメラの各画素とそれに対応する各カメラ１０１ａ〜１０１ｄの画素との対応付けを予め計算しておいて、例えば、演算部１０５に内蔵のメモリ、あるいは演算部１０５に外付けしたメモリにテーブルとして記憶させておいても良い。そのように構成すれば、各カメラ１０１ａ〜１０１ｄの各画素のデジタルデータを仮想カメラの対応する各画素のデジタルデータに割り付ける処理を行う度に、各カメラ１０１ａ〜１０１ｄの各画素と仮想カメラの各画素との対応付けを演算部１０５で計算しなくて済むようになる。つまり、メモリのテーブルを参照して割り付け処理を演算部１０５に行わせることができる。したがって、例えば視点変換処理後の仮想画像により動画を生成する場合には、上述したテーブルを用いた割り付け処理を行うことで、演算部１０５の処理の負担を減らし、フレーム落ち等の処理速度不足が演算部１０５で発生するのを抑制することができる。
【００２１】
また、仮想カメラの特定の画素に対して、２つ以上のカメラ１０１ａ〜１０１ｄの画素が対応する場合は、予め各カメラ１０１ａ〜１０１ｄの間で優先順位を決めておき、優先順位の高いカメラの画素のデジタルデータを、対応する仮想カメラの画素のデジタルデータに割り付けるようにしても良い。あるいは、仮想カメラの特定の画素に対応する複数のカメラ１０１ａ〜１０１ｄの画素のデジタルデータの平均値を、対応する仮想カメラの画素のデジタルデータに割り付けるようにしても良い。
【００２２】
ちなみに、演算部１０５は、各カメラ１０１ａ〜１０１ｄのうちいずれか１つからの撮影画像のデジタルデータを、視点変換処理せずにそのまま出力映像フレームメモリ１０６に書き込むこともある。
【００２３】
出力映像フレームメモリ１０６に書き込まれた撮影画像や仮想画像のデジタルデータは、所定の読み出し周期で映像出力部１０７にフレーム単位で読み出され、さらにモニタ１０８に出力される。これにより、モニタ１０８には、出力映像フレームメモリ１０６から読み出された撮影画像又は仮想画像が表示される。
【００２４】
操作パネル１１０は、モニタ１０８上のタッチパネルやモニタ１０８の近傍のスイッチ等によって構成することができる。この操作パネル１１０は、車両１の運転者によって操作される。運転者は操作パネル１１０の操作によって、モニタ１０８に表示される画像（撮影画像又は仮想画像）の視点及び撮影方向の変更要求を入力する。この変更要求は、例えば、変更先の視点及び撮影方向に対応付けて付されたメニュータイトルのボタンを、運転者が押圧操作することによって入力することができる。メニュータイトルとしては、車両１の前方の映像であるフロントサイドビュー、車両１を上方から見下ろした俯瞰映像であるアラウンドビュー、車両１の側方の死角部分の映像であるサイドブラインドビュー、車両１の後方の映像であるリアビュー等がある。入力された変更要求は、操作パネル１１０から制御部１０９に入力される。
【００２５】
制御部１０９は、例えばマイクロプロセッサによって構成されている。制御部１０９は、操作パネル１１０から入力された変更要求の内容に応じて、モニタ１０８に表示される画像の変更後の視点及び撮影方向を演算部１０５に指示する。
【００２６】
例えば、図４の仮想画像（請求項中の第１画像に相当）がモニタ１０８に表示されている状態で、モニタ１０８の表示をリアビューの画像（請求項中の第２画像に相当）に変更する要求が、操作パネル１１０の操作により入力されたものとする。その場合には、制御部１０９が演算部１０５に、仮想カメラの視点及び撮影方向を、図５に示す車両１の真上の符号６Ａで示す視点及び撮影方向から、符号６Ｇで示す視点及び撮影方向に変更させる指示を出力する。
【００２７】
この制御部１０９からの指示により、演算部１０５は、上述した視点変換処理によって得る仮想画像の視点及び撮影方向を、図５の符号６Ａ→６Ｂ→６Ｃ→６Ｄ（６Ｅ）→６Ｆ→６Ｇの経路で変更させる。この経路は、制御部１０９が決定して演算部１０５に指示しても良く、制御部１０９からの指示を受けた演算部１０５が決定してもよい。また、経路の決定は、制御部１０９又は演算部１０５が内部のメモリに記憶させておいた経路を読み出すことで行っても良く、制御部１０９又は演算部１０５が演算することで行っても良い。
【００２８】
ところで、符号６Ｇで示す変更先の視点及び撮影方向の画像（リアビューの画像）は、運転者が車両１の後ろを振り返って見た視界のような画像である。このような視界の画像は、車両１のリア中央に設置したカメラ１０１ｄの撮影画像を、演算部１０５で視点変換処理することで得られる。但し、カメラ１０１ｄの撮影画像では、車両１に対する路肩線と中央線との位置関係が、図４の仮想画像における車両１に対する路肩線と中央線との位置関係とは逆になる。路肩線や中央線の車両１に対する位置関係がモニタ１０８に表示する画面によって変わると、運転者が画面の表示内容を把握しづらくなる。そこで、リアビューの画像については、演算部１０５において、視点変換処理の際に左右反転処理も行っている。これにより、図６（ｇ）に示すように、モニタ１０８に表示される仮想画像の車両１に対する路肩線や中央線の位置関係を、図４の仮想画像における位置関係と同じにしている。
【００２９】
図５の符号６Ｇの視点における図６（ｇ）のリアビューの画像は、上述したように、左右反転させた仮想画面である。したがって、運転者によるモニタ１０８の表示内容の把握を容易にするために、符号６Ｆの区間や符号６Ｅの視点においてモニタ１０８に表示する仮想画面も、左右反転させた仮想画像とするのが望ましい。そこで、図５では、符号６Ｅ及び符号６Ｇの各視点にそれぞれ示すカメラ（仮想カメラ）のアイコンを、モニタ１０８に表示する仮想画像が左右反転であることを示す黒塗りで示している。
【００３０】
なお、黒塗りのカメラのアイコンにおける白い四角の印は、各カメラの上後端の位置を示す。つまり、符号６Ｅ及び符号６Ｇの各視点にそれぞれ示すカメラ（仮想カメラ）は、現実の天地方向とカメラで撮影した画像における天地方向とが一致している。そして、符号６Ｅの視点から符号６Ｆの区間を経て符号６Ｇの視点に仮想カメラが移動する間、モニタ１０８に表示される仮想画像では、図６（ｅ）〜（ｇ）にそれぞれ示すように、車両１の進行方向における前方が画面の下側に位置し、後方が画面の上側に位置することになる。
【００３１】
一方、図５の符号６Ａの視点における図６（ａ）のアラウンドビューの画像（図４に示す仮想映像と同じ画像）は、演算部１０５の視点変換処理によって得られた仮想画像のままであって、画面の左右反転は行っていない。したがって、運転者によるモニタ１０８の表示内容の把握を容易にするためには、符号６Ａの視点においてモニタ１０８に表示する図６（ａ）のアラウンドビューの画像（図４に示す仮想映像）と同じく、符号６Ｂ，６Ｄの視点や符号６Ｃの区間においてモニタ１０８に表示する仮想画像とは、車両１に対する路肩線や中央線の位置関係が統一されていることが望ましい。そのため、演算部１０５は、符号６Ｂ，６Ｄの視点や符号６Ｃの区間においてモニタ１０８に表示する仮想画像を、左右反転させていないものとする。そこで、図５では、符号６Ｂ及び符号６Ｄの各視点にそれぞれ示すカメラ（仮想カメラ）のアイコンを、左右反転させていない画像を得るためのものであることを示す白抜きで示している。
【００３２】
なお、白抜きのカメラのアイコンにおける黒い四角の印は、各カメラの上後端の位置を示す。つまり、符号６Ｂ及び符号６Ｄの各視点にそれぞれ示すカメラ（仮想カメラ）は、現実の天地方向とカメラで撮影した画像における天地方向とが逆転している。そして、符号６Ａの視点から符号６Ｂの視点、さらには、符号６Ｃの区間を経て符号６Ｄの視点に仮想カメラが移動する間、モニタ１０８に表示される仮想画像では、図６（ａ）〜（ｄ）にそれぞれ示すように、車両１の進行方向における前方が画面の上側に位置し、後方が画面の下側に位置することになる。
【００３３】
したがって、図５の符号６Ａの視点から符号６Ｄの視点までの経路においてモニタ１０８に表示される仮想画像（請求項中の第１動画に相当）と、符号６Ｅの視点から符号６Ｇの視点までの経路においてモニタ１０８に表示される仮想画像（請求項中の第２動画に相当）とでは、モニタ１０８の画面における上下方向（天地方向）及び左右方向が反転している。
【００３４】
モニタ１０８の画面における上下方向（天地方向）や左右方向が反転している２つの仮想画像を続けてモニタ１０８に表示すると、仮想画像の連続性が損なわれる。このことは、図７のチャートに顕著に現れる。このチャートは、図５に示す経路で仮想カメラの視点及び撮影方向を符号６Ａの視点から符号６Ｇの視点まで移動させた場合の、仮想カメラのピッチ角、Ｘ座標（進行方向座標）、Ｚ座標（高さ方向座標）、及び、左右反転の有無の時系列変化を示すチャートである。図７のチャートによれば、仮想カメラのＸ座標とＺ座標は連続するが、仮想カメラのピッチ角と左右反転の有無については連続しなていない。
【００３５】
このように、モニタ１０８に表示する仮想画像の連続性が損なわれると、モニタ１０８の画面における上下方向が反転している両仮想画像中の同じ物体を、運転者が対応付けて認識することが非常に困難となる。これでは、駐車操作支援装置１００として十分な機能を発揮することができない。
【００３６】
そこで、本実施形態では、図５の符号６Ａの視点から符号６Ｇの視点までの変更経路上の同一点に設定された、モニタ１０８の画面における仮想画像の上下方向が逆転する図５の符号６Ｄの視点と符号６Ｅの視点とにおいて、演算部１０５が、図６（ｄ），（ｅ）にそれぞれ示すような仮想画像（請求項中の第３画像に相当）を、モニタ１０８に表示させる構成としている。
【００３７】
図６（ｄ），（ｅ）の仮想画像では共に、画面の全体に車両１の車体の屋根部分１ａが表示される。つまり、図６（ｄ）の仮想画像と図６（ｅ）の仮想画像とはそれぞれの表示内容が同じである。そして、図６（ｄ），（ｅ）の仮想画像は、モニタ１０８の画面の中心（重心）を通る任意の線を対称軸とする線対称画像である。
【００３８】
即ち、演算部１０５は、図５の符号６Ｃの区間においてモニタ１０８に表示される図６（ａ）〜（ｃ）の動画（第１動画）と、図５の符号６Ｆの区間においてモニタ１０８に表示される図６（ｆ），（ｇ）の動画（第２動画）との間に、図６（ｄ），（ｅ）の仮想画像（第３画像）を挿入する動作を行うことになる。
【００３９】
そして、演算部１０５は、図５の符号６Ａの視点から符号６Ｄの視点まで仮想カメラを車両１の屋根部分１ａに接近させるアングルで、モニタ１０８に図６（ａ）〜（ｃ）の動画（第１動画）を表示させる。その後、演算部１０５は、画面の全体に車両１の屋根部分１ａが写された図６（ｄ），（ｅ）の仮想画像（第３画像）を、モニタ１０８に表示させる。さらに、演算部１０５は、図５の符号６Ｅの視点から符号６Ｇの視点まで仮想カメラを車両１の屋根部分１ａから離間させるアングルで、モニタ１０８に図６（ｆ），（ｇ）の動画（第２動画）を表示させる。
【００４０】
なお、図４や図６（ａ）〜（ｇ）の仮想画像中に表示する車両１の画像は、各カメラ１０１ａ〜１０１ｄを用いて撮影した実際の撮影画像によるものである必要はない。例えば、演算部１０５に内蔵又は外付けしたメモリに予め記憶させておいたデータによる車両１のアイコン画像を、図１の出力映像フレームメモリ１０６に重畳して書き込むことで、仮想画像中に車両１の画像が表示されるようにしても良い。
【００４１】
以上の説明からも明らかなように、本実施形態の車両の駐車操作支援装置１００では、カメラ１０１ａ〜１０１ｄ、画像処理ユニット１０２、及び、モニタ１０８によって、本発明の画像処理装置が構成されている。
【００４２】
このように構成された本実施形態の画像処理装置では、車両１の屋根部分１ａに徐々に近づく図６（ａ）〜（ｄ）の動画（第１動画）に続けて、画面の全体に屋根部分１ａが表示される図６（ｄ）の仮想画像（第３画像）がモニタ１０８に表示されると、恰も連続する一連の動画であるかのように運転者に視認される。また、図６（ｅ）の仮想画像（第３画像）に続けて、屋根部分１ａから徐々に離れる図６（ｅ）〜（ｇ）の動画（第２動画）がモニタ１０８に表示されると、これもまた、恰も連続する一連の動画であるかのように運転者に視認される。そして、両者の境界（接続点）である図６（ｄ），（ｅ）の仮想画像（第３画像）は、共に車両１の屋根部分１ａをモニタ１０８の画面全体に表示する同じ内容の画像であり、かつ、モニタ１０８の画面の中心を通る任意の線を対称軸とする線対称画像である。このため、図６（ｄ）の仮想画像から図６，（ｅ）の仮想画像にモニタ１０８の表示内容が切り替わって、モニタ１０８の画面における上下方向が実際には反転しても、そのような視覚上の印象を運転者には与えない。
【００４３】
このため、車両１を上方から俯瞰する図５の符号６Ａの視点から、車両１の後方を見る図５の符号６Ｇの視点に、仮想カメラの視点を切り替えるのに伴って、モニタ１０８に表示される仮想画像が、図６（ａ）の仮想画像から、モニタ１０８の画面における仮想画像の上下方向及び左右方向が反転する図６（ｇ）の仮想画像に切り替わる際に、仮想画像の上下方向及び左右方向を一瞬で反転させず、連続的に時間をかけて反転させることができる。このため、モニタ１０８の画面における仮想画像の上下方向及び左右方向が切り替わった際に、切り替えの前後の仮想画像中に存在する同じ物体やその位置関係を、運転者に容易に認識させることができる。
【００４４】
［第２実施形態］
次に、本発明の第２実施形態に係る画像処理装置を適用した車両の駐車操作支援装置について説明する。第２実施形態に係る駐車操作支援装置は、図１に示す第１実施形態の駐車操作支援装置と同様の構成を有している。そして、図１の制御部１０９の指示により演算部１０５が視点変換処理によって得る仮想画像の視点及び撮影方向を変更させる際の経路が、図５に示す第１実施形態の経路とは異なっている。
【００４５】
そして、図４の仮想画像（請求項中の第１画像に相当）がモニタ１０８に表示されている状態で、モニタ１０８の表示をリアビューの画像（請求項中の第２画像に相当）に変更する要求が、操作パネル１１０の操作により入力された場合、第２実施形態では、制御部１０９が演算部１０５に、仮想カメラの視点及び撮影方向を、図８に示す車両１の真上の符号７Ａで示す視点及び撮影方向から、符号７Ｆで示す視点及び撮影方向に変更させる指示を出力する。
【００４６】
この制御部１０９からの指示により、演算部１０５は、視点変換処理によって得る仮想画像の視点及び撮影方向を、図８の符号７Ａ→７Ｂ→７Ｃ→７Ｄ→７Ｅ→７Ｆの経路で変更させる。この経路は、制御部１０９が決定して演算部１０５に指示しても良く、制御部１０９からの指示を受けた演算部１０５が決定してもよい。また、経路の決定は、制御部１０９又は演算部１０５が内部のメモリに記憶させておいた経路を読み出すことで行っても良く、制御部１０９又は演算部１０５が演算することで行っても良い。
【００４７】
ここで、符号７Ｆで示す変更先の視点及び撮影方向の画像（リアビューの画像）は、運転者が車両１の後ろを振り返って見た視界のような画像であり、図９（ｆ）に示すように、左右反転させた仮想画面である。したがって、運転者によるモニタ１０８の表示内容の把握を容易にするために、符号７Ｄや符号７Ｅの各視点においてモニタ１０８に表示する仮想画面も、左右反転させた仮想画像とするのが望ましい。そこで、図８では、符号７Ｄ、符号７Ｅ、及び、符号７Ｆの各視点にそれぞれ示すカメラ（仮想カメラ）のアイコンを、モニタ１０８に表示する仮想画像が左右反転であることを示す黒塗りで示している。
【００４８】
なお、黒塗りのカメラのアイコンにおける白い四角の印は、各カメラの上後端の位置を示す。つまり、符号７Ｄ、符号７Ｅ、及び、符号７Ｆの各視点にそれぞれ示すカメラ（仮想カメラ）は、現実の天地方向とカメラで撮影した画像における天地方向とが一致している。そして、符号７Ｄの視点から符号７Ｅの視点を経て符号７Ｆの視点に仮想カメラが移動する間、モニタ１０８に表示される仮想画像では、図９（ｄ）〜（ｆ）にそれぞれ示すように、車両１の進行方向における前方が画面の下側に位置し、後方が画面の上側に位置することになる。
【００４９】
一方、図８の符号７Ａの視点における図９（ａ）のアラウンドビューの画像（図４に示す仮想映像と同じ画像）は、画面の左右反転は行っていない。したがって、運転者によるモニタ１０８の表示内容の把握を容易にするためには、符号７Ａの視点においてモニタ１０８に表示する図９（ａ）のアラウンドビューの画像（図４に示す仮想映像）と同じく、符号７Ｂ，７Ｃの視点においてモニタ１０８に表示する仮想画像とは、車両１に対する路肩線や中央線の位置関係が統一されていることが望ましい。そのため、演算部１０５は、符号７Ｂ，７Ｃの視点においてモニタ１０８に表示する仮想画像を、左右反転させていないものとする。そこで、図５では、符号７Ｂ及び符号７Ｃの各視点にそれぞれ示すカメラ（仮想カメラ）のアイコンを、左右反転させていない画像を得るためのものであることを示す白抜きで示している。
【００５０】
なお、白抜きのカメラのアイコンにおける黒い四角の印は、各カメラの上後端の位置を示す。つまり、符号７Ｂ及び符号７Ｃの各視点にそれぞれ示すカメラ（仮想カメラ）は、現実の天地方向とカメラで撮影した画像における天地方向とが逆転している。そして、符号７Ａの視点から符号７Ｂの視点、さらには、符号７Ｃの視点に仮想カメラが移動する間、モニタ１０８に表示される仮想画像では、図９（ａ）〜（ｃ）にそれぞれ示すように、車両１の進行方向における前方が画面の上側に位置し、後方が画面の下側に位置することになる。
【００５１】
したがって、図８の符号７Ａの視点から符号７Ｃの視点までの経路においてモニタ１０８に表示される仮想画像（請求項中の第１動画に相当）と、符号７Ｄの視点から符号７Ｆの視点までの経路においてモニタ１０８に表示される仮想画像（請求項中の第２動画に相当）とでは、モニタ１０８の画面における上下方向（天地方向）及び左右方向が反転している。
【００５２】
モニタ１０８の画面における上下方向（天地方向）や左右方向が反転している２つの仮想画像を続けてモニタ１０８に表示すると、仮想画像の連続性が損なわれる。このことは、図１０のチャートに顕著に現れる。このチャートは、図８に示す経路で仮想カメラの視点及び撮影方向を符号７Ａの視点から符号７Ｆの視点まで移動させた場合の、仮想カメラのピッチ角、Ｘ座標（進行方向座標）、Ｚ座標（高さ方向座標）、及び、左右反転の有無の時系列変化を示すチャートである。図１０のチャートによれば、仮想カメラのＸ座標とＺ座標は連続するが、仮想カメラのピッチ角と左右反転の有無については連続しなていない。
【００５３】
このように、モニタ１０８に表示する仮想画像の連続性が損なわれると、モニタ１０８の画面における上下方向が反転している両仮想画像中の同じ物体を、運転者が対応付けて認識することが非常に困難となる。これでは、駐車操作支援装置１００として十分な機能を発揮することができない。
【００５４】
そこで、本実施形態では、図８の符号７Ａの視点から符号７Ｆの視点までの変更経路上の同一点に設定された、モニタ１０８の画面における仮想画像の上下方向が逆転する図８の符号７Ｃの視点と符号７Ｄの視点との間で、演算部１０５が、図９（ｃ´）に示すような仮想画像（請求項中の第３画像に相当）を、モニタ１０８に表示させる構成としている。
【００５５】
図９（ｃ´）の仮想画像は、符号７Ｃの視点における仮想カメラの仮想画像である図９（ｃ）の画像と、符号７Ｄの視点における仮想カメラの仮想画像である図９（ｄ）の画像とを、重ね合わせて合成した内容の画像である。つまり、図９（ｃ´）の仮想画像では、モニタ１０８の画面の上下方向中央に路面Ｓが水平な直線で表示される。そして、路面Ｓの上下にそれぞれ前方から写した車両１が表示される。路面Ｓの上に表示される車両１は、図９（ｃ）の画像でモニタ１０８に表示される、天地方向が画面の上下方向と一致した車両１である。路面Ｓの下に表示される車両１は、図９（ｄ）の画像でモニタ１０８に表示される、天地方向が画面の上下方向とは反転した車両１である。よって、図９（ｃ´）の仮想画像は、路面Ｓの線を対称軸とする線対称画像である。
【００５６】
即ち、演算部１０５は、図８の符号７Ａの視点から符号７Ｃの視点に仮想カメラの視点及び撮影方向が移動する間にモニタ１０８に表示される図９（ａ）〜（ｃ）の動画（第１動画）と、図８の符号７Ｄの視点から符号７Ｆの視点に仮想カメラの視点及び撮影方向が移動する間にモニタ１０８に表示される図９（ｄ）〜（ｆ）の動画（第２動画）との間に、図９（ｃ´）の仮想画像（第３画像）を挿入する動作を行うことになる。
【００５７】
そして、演算部１０５は、図８の符号７Ａの視点から符号７Ｃの視点まで、車両１の上方の仮想カメラを車両１の前方に移動させるアングルで、モニタ１０８に図９（ａ）〜（ｃ）の動画（第１動画）を表示させる。その後、演算部１０５は、正面から見た車両１が路面Ｓの上下にそれぞれの天地方向を反転させて写された図９（ｃ´）の仮想画像（第３画像）を、モニタ１０８に表示させる。さらに、演算部１０５は、図８の符号７Ｄの視点から符号７Ｆの視点まで、車両１の前方の仮想カメラを車両１の後方に移動させるアングルで、モニタ１０８に図９（ｄ）〜（ｆ）の動画（第２動画）を表示させる。
【００５８】
なお、本実施形態においても、図９（ａ）〜（ｆ）の仮想画像（図９（ｃ´）の仮想画像も含む）中に表示する車両１の画像は、各カメラ１０１ａ〜１０１ｄを用いて撮影した実際の撮影画像によるものである必要はない。例えば、演算部１０５に内蔵又は外付けしたメモリに予め記憶させておいたデータによる車両１のアイコン画像を、図１の出力映像フレームメモリ１０６に重畳して書き込むことで、仮想画像中に車両１の画像が表示されるようにしても良い。
【００５９】
以上の説明からも明らかなように、本実施形態の車両の駐車操作支援装置１００でも、第１実施形態の駐車操作支援装置１００と同様に、カメラ１０１ａ〜１０１ｄ、画像処理ユニット１０２、及び、モニタ１０８によって、本発明の画像処理装置が構成されている。
【００６０】
このように構成された本実施形態の画像処理装置では、車両１の上方から前方に視点が移動する図９（ａ）〜（ｃ）の動画（第１動画）に続けて、図９（ｃ）の仮想画像の内容を含む図９（ｃ´）の仮想画像（第３画像）がモニタ１０８に表示されると、恰も連続する一連の動画であるかのように運転者に視認される。また、車両１の前方から後方に視点が移動する図９（ｄ）〜（ｆ）の動画（第２動画）の前に、図９（ｄ）の仮想画像の内容を含む図９（ｃ´）の仮想画像（第３画像）がモニタ１０８に表示されると、これもまた、恰も連続する一連の動画であるかのように運転者に視認される。そして、図９（ｃ´）の仮想画像（第３画像）は、その前後にモニタ１０８に表示される図９（ｃ）と図９（ｄ）の各仮想画像の内容を含んだ画像であり、かつ、路面Ｓを対称軸とする線対称画像である。そのため、図９（ｃ´）の仮想画像の前後にモニタ１０８に表示される図９（ｃ）の仮想画像と図９（ｄ）の仮想画像とで、モニタ１０８の画面における上下方向（天地方向）及び左右方向が反転しても、反転の途中の段階で図９（ｃ´）の仮想画像がモニタ１０８に表示されることで、反転が瞬時にではなく段階的に行われるような視覚上の印象を運転者に与えることになる。
【００６１】
このため、車両１を上方から俯瞰した図８の符号７Ａの視点から、車両１の後方を見る図８の符号７Ｆの視点に、仮想カメラの視点を切り替えるのに伴って、モニタ１０８に表示される仮想画像が、図９（ａ）の仮想画像から、モニタ１０８の画面における仮想画像の上下方向及び左右方向が反転する図９（ｆ）の仮想画像に切り替わる際に、仮想画像の上下方向及び左右方向を一瞬で反転させず、段階的に時間をかけて反転させることができる。このため、モニタ１０８の画面における仮想画像の上下方向及び左右方向が切り替わった際に、切り替えの前後の仮想画像中に存在する同じ物体やその位置関係を、運転者に容易に認識させることができる。
【００６２】
上述した第２実施形態の画像処理装置は、端的に言うと、特許請求の範囲の請求項１に記載した本発明において、
前記仮想画像変換手段は、前記第３画像として、前記第１動画及び前記第２動画の各仮想画像に共通して含まれる要素が前記対称軸の両側に互いに上下反転して表示される前記仮想画像を、前記第１動画と前記第２動画との間に挿入させることを特徴とする、
画像処理装置であると言うことができる。
【００６３】
また、このように構成した画像処理装置の技術思想に対しては、特許請求の範囲の請求項３や請求項４に記載した本発明の思想を、さらに予備的に適用することができる。
【００６４】
以上に説明した第１及び第２実施形態の画像処理装置によれば、第１動画と第２動画との間に挿入されて表示手段に表示される第３画像が、第１動画及び第２動画と同一の要素を含む表示内容を、表示手段の画面内の対称軸を境とする線対称画像として表示手段に表示される。このため、第３画像中の表示手段に線対称で表示される要素の存在により、第１動画から第２動画に表示手段の表示内容が切り替わる際に、表示手段における画面の表示方向の反転を連続的な変化として表示させることができる。これにより、表示手段の表示内容が第１動画から第２動画に切り替わる前後で、第１動画内と第２動画内との同一の物体を、容易に対応付けて視認者に認識させることができる。
【００６５】
なお、上述した第１及び第２実施形態では、仮想カメラの視点及び撮影方向を、車両１の上方から車両１を俯瞰する位置及び方向（アラウンドビュー）から車両１の後方を写す位置及び方向（リアビュー）に切り替える場合を例に取って説明した。しかし、本発明は、切り替えの前後でモニタ１０８の画面における上下方向及び左右方向の少なくとも一方が反転するように、モニタ１０８に表示する仮想カメラ（又はカメラ１０１ａ〜１０１ｄのいずれか１つ）の視点及び撮影方向を切り替える場合に、広く適用可能である。
【符号の説明】
【００６６】
１ 車両
１ａ 屋根部分
１１ 実カメラ
３２ 仮想カメラ
３３ 交点
３４ 光線
３５ 光線
１００ 駐車操作支援装置
１０１ａ〜１０１ｄ カメラ（撮影手段）
１０２ 画像処理ユニット
１０３ａ〜１０３ｄ 映像入力部
１０４ａ〜１０４ｄ 入力映像フレームメモリ
１０５ 演算部（仮想画像変換手段）
１０６ 出力映像フレームメモリ
１０７ 映像出力部
１０８ モニタ（表示手段）
１０９ 制御部
１１０ 操作パネル
Ｓ 路面（対称軸）
【技術分野】
【０００１】
本発明は、車両の周囲を撮影した撮影画像を任意の視点及び撮影方向の仮想画像に変換する画像処理装置に関する。
【背景技術】
【０００２】
従来から、車載カメラにより車両の周囲を撮影した撮影映像を画像処理して、車載カメラとは異なる視点及び撮影方向からの仮想映像に変換し、表示手段に表示させる技術が知られている。この表示手段に表示される仮想映像には、自車両のアイコンと目標駐車位置とが重畳される。したがって、表示手段に表示される仮想映像を車両の運転者に視認させることで、運転者の後退駐車操作を支援することができる（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００３−１１８５２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した従来技術の仮想映像では、視点や撮影方向が変わるように車載カメラの撮影映像や仮想映像を切り換えて表示手段に表示する場合、画像中の同一の物体の位置や撮影方向が切り替えの前後で大きく変わることがある。そのため、表示手段の表示を視認する視認者が切り替え前後の画像間で同一の物体を対応付けて認識するのは、容易なことではない。
【０００５】
本発明は前記事情に鑑みなされたもので、本発明の目的は、車両の周囲を撮影した撮影画像やその画像を画像処理した仮想映像を、視点や撮影方向が変わるように切り替えて表示手段に表示させる場合に、切り替え前後の画像間で同一の物体を容易に対応付けて視認者に認識させることができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本発明の画像処理装置では、撮影手段が撮影した車両の周囲の撮影画像を、仮想画像変換手段が異なる視点からの任意の撮影方向による仮想映像に変換し、その仮想画像又は撮影画像を表示手段が表示する。そして、表示手段が表示する画像を、表示手段における画面の表示方向が互いに反転した第１画像から第２画像に変化させる際に、仮想画像変換手段は、第１画像から連続的に視点及び撮影方向が変化する仮想画像による第１動画と、仮想画像の視点及び撮影方向が連続的に変化して第２画像に至る第２動画との間に、表示手段における画面の表示内容が画面内の対称軸を境に線対称である第３画像を挿入する。この第３画像は、第１動画及び第２動画において表示手段に表示される要素と同一の要素を表示内容に含む画像である。そして、仮想画像変換手段は、第１動画と第２動画との間に第３画像を挿入して表示手段に表示させる。
【発明の効果】
【０００７】
本発明によれば、表示手段の表示内容が第１動画から第２動画に切り替わる前後で、第１動画内と第２動画内との同一の物体を、容易に対応付けて視認者に認識させることができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の第１実施形態に係る画像処理装置を適用した車両の駐車操作支援装置の構成を示すブロック図である。
【図２】図１の駐車操作支援装置を搭載した車両のカメラが取り付けられる箇所を示す説明図である。
【図３】図１の演算部が行う処理において利用可能な視点変換処理の説明図である。
【図４】図１の演算部が各カメラの撮影画像のデジタルデータに対して図３の視点変換処理を行うことで得られる仮想画像の一例を示す説明図である。
【図５】図４の仮想画像を撮影する仮想カメラの視点及び撮影方向の変化の軌跡を示す説明図である。
【図６】（ａ）〜（ｇ）は、図５の各視点及び区間でモニタに表示される仮想画像の説明図である。
【図７】図５に示す軌跡で視点及び撮影方向が変化する場合の仮想カメラのピッチ角、Ｘ座標、Ｚ座標、及び、左右方向の反転の有無の時系列変化を示すチャートである。
【図８】本発明の第２実施形態に係る画像処理装置を適用した車両の駐車操作支援装置における、図４の仮想画像を撮影する仮想カメラの視点及び撮影方向の変化の軌跡を示す説明図である。
【図９】（ａ）〜（ｆ）は、図８の各視点及び区間でモニタに表示される仮想画像の説明図である。
【図１０】図８に示す軌跡で視点及び撮影方向が変化する場合の仮想カメラのピッチ角、Ｘ座標、Ｚ座標、及び、左右方向の反転の有無の時系列変化を示すチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明による画像処理装置を車両の駐車操作支援装置に適用した場合の実施形態を、図面を参照しながら説明する。
【００１０】
［第１実施形態］
図１は本発明の第１実施形態に係る画像処理装置を適用した車両の駐車操作支援装置の構成を示すブロック図である。図１中引用符号１００で示す本発明の駐車操作支援装置は、図２に示す車両１に搭載される。そして、図１に示す駐車操作支援装置１００は、４台のカメラ１０１ａ〜１０１ｄ（請求項中の撮影手段に相当）、画像処理ユニット１０２、モニタ１０８（請求項中の表示手段に相当）、制御部１０９、及び、操作パネル１１０を有している。
【００１１】
４台のカメラ１０１ａ〜１０１ｄは、図２に示すように、車両１のフロント中央、左右のドアミラー、及び、リア中央にそれぞれ取り付けられている。各カメラ１０１ａ〜１０１ｄはそれぞれ図２中の矢印で示す撮影方向で、車両１の周囲をそれぞれ撮影する。各カメラ１０１ａ〜１０１ｄによる撮影画像の映像信号は、図１に示す画像処理ユニット１０２にそれぞれ出力される。
【００１２】
画像処理ユニット１０２は、４つの映像入力部１０３ａ〜１０３ｄ及び入力映像フレームメモリ１０４ａ〜１０４ｄと、演算部１０５（請求項中の仮想画像変換手段に相当）、出力映像フレームメモリ１０６、及び、映像出力部１０７とを有している。
【００１３】
各映像入力部１０３ａ〜１０３ｄでは、対応するカメラ１０１ａ〜１０１ｄから入力される映像信号が、デジタルデータによるＲＧＢのビットマップに展開される。ビットマップに展開された各カメラ１０１ａ〜１０１ｄによる撮影画像のデジタルデータは、対応する入力映像フレームメモリ１０４ａ〜１０４ｄにそれぞれ一時的に記憶される。演算部１０５は、例えば、画像処理用のプロセッサによって構成することができる。この演算部１０５は、各入力映像フレームメモリ１０４ａ〜１０４ｄにそれぞれ記憶された撮影画像のデジタルデータに対して視点変換処理を施す。この視点変換処理により、各カメラ１０１ａ〜１０１ｄの撮影画像のデジタルデータは、任意の視点及び撮影方向から仮想カメラで撮影した仮想画像のデジタルデータに変換されて、出力映像フレームメモリ１０６に一時的に記憶される。
【００１４】
ここで、演算部１０５が行う視点変換処理は、例えば、特開２００３−２８１５０５号公報に記載された手法を用いて行うことができる。図３は、特開２００３−２８１５０５号公報に記載された視点変換処理の説明図である。この説明図では、図１の各カメラ１０１ａ〜１０１ｄに対応する実カメラ１１の撮影画像のデジタルデータを、実カメラ１１とは視点及び撮影方向が異なる仮想カメラ３２による仮想の撮影画像（仮想画像）のデジタルデータに変換する場合を示している。
【００１５】
まず、実空間に合わせて仮想空間を設定し、仮想空間上に視点及び撮影方向を合わせて実カメラ１１と仮想カメラ３２とを配置する。次に、投影面を設定する。図３ではｘｙ平面を投影面に設定しているが、実空間の地形や物体の存在に合わせて、投影面を複数設けてもよい。次に、仮想カメラ３２の画素の１つに注目し、注目した画素を画素Ｖとする。仮想カメラ３２の画素Ｖは面積を持っているので、画素Ｖの中心点の座標を画素Ｖの座標とする。仮想カメラ３２の視点及び撮影方向の情報と合わせ、投影面と光線３５との交点３３を求める。次に、交点３３から実カメラ１１への光線３４を考える。光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲内の場合には、光線３４が実カメラ１１のどの画素に入射するかを計算する。この場合、実カメラ１１で撮影される画像について光線３４が実カメラ１１のどの画素に入射するかを計算する。この光線３４が入射する画素を画素Ｒとすると、画素Ｖと画素Ｒとが対応し、画素Ｖの色及び輝度を画素Ｒの色及び輝度とする。
【００１６】
なお、光線３４の実カメラ１１への入射が実カメラ１１の撮影範囲外の場合や、光線３４が実カメラ１１の撮像面に入射しない場合には、交点３３は実カメラ１１に映っていないので、仮想カメラ３２の画素Ｖには何も映っていないとする。この場合の画素Ｖの色はシステムのデフォルト値（黒等。もちろん黒以外でもよい）を用いるものとする。
【００１７】
また、画素Ｖを代表する座標は上記例では１画素につき１点としたが、代表する代表座標を画素Ｖ内に複数設けてもよい。この場合には、各代表座標それぞれに対して光線３４が実カメラ１１のどの画素に入射するかを計算し、得られた複数の色及び輝度をブレンディングし、画素Ｖの色及び輝度とする。この場合、ブレンディングの比率は等しくする。また、色及び輝度のブレンディンクの手法としてはアルファブレンディング等の手法があり、コンピュータグラフィックの分野では一般的な手法である。
【００１８】
以上の処理を仮想カメラ３２の画素すべてについて行ない、仮想カメラ３２の各画素の色及び輝度を確定することで仮想カメラ３２の画像、即ち、視点変換画像を作成することができ、空間上の実カメラ１１の画像、即ち、画像変換画像を視点変換画像へと視点変換することができる。
【００１９】
図１の演算部１０５は、例えば上述した特開２００３−２８１５０５号公報に記載された内容による視点変換処理を、各カメラ１０１ａ〜１０１ｄの撮影映像のデジタルデータに対してそれぞれ行う。視点変換処理された各カメラ１０１ａ〜１０１ｄの撮影映像のデジタルデータは、演算部１０５によって出力映像フレームメモリ１０６の対応するフレームメモリ部分にそれぞれ書き込まれて合成される。これにより、例えば図４の説明図に示す、車両１を上方から俯瞰した仮想画像のデジタルデータが得られる。
【００２０】
なお、図１の演算部１０５が実際に行う各カメラ１０１ａ〜１０１ｄの撮影画像のデジタルデータから仮想カメラによる仮想画像のデジタルデータへの視点変換処理において、仮想カメラの各画素とそれに対応する各カメラ１０１ａ〜１０１ｄの画素との対応付けを予め計算しておいて、例えば、演算部１０５に内蔵のメモリ、あるいは演算部１０５に外付けしたメモリにテーブルとして記憶させておいても良い。そのように構成すれば、各カメラ１０１ａ〜１０１ｄの各画素のデジタルデータを仮想カメラの対応する各画素のデジタルデータに割り付ける処理を行う度に、各カメラ１０１ａ〜１０１ｄの各画素と仮想カメラの各画素との対応付けを演算部１０５で計算しなくて済むようになる。つまり、メモリのテーブルを参照して割り付け処理を演算部１０５に行わせることができる。したがって、例えば視点変換処理後の仮想画像により動画を生成する場合には、上述したテーブルを用いた割り付け処理を行うことで、演算部１０５の処理の負担を減らし、フレーム落ち等の処理速度不足が演算部１０５で発生するのを抑制することができる。
【００２１】
また、仮想カメラの特定の画素に対して、２つ以上のカメラ１０１ａ〜１０１ｄの画素が対応する場合は、予め各カメラ１０１ａ〜１０１ｄの間で優先順位を決めておき、優先順位の高いカメラの画素のデジタルデータを、対応する仮想カメラの画素のデジタルデータに割り付けるようにしても良い。あるいは、仮想カメラの特定の画素に対応する複数のカメラ１０１ａ〜１０１ｄの画素のデジタルデータの平均値を、対応する仮想カメラの画素のデジタルデータに割り付けるようにしても良い。
【００２２】
ちなみに、演算部１０５は、各カメラ１０１ａ〜１０１ｄのうちいずれか１つからの撮影画像のデジタルデータを、視点変換処理せずにそのまま出力映像フレームメモリ１０６に書き込むこともある。
【００２３】
出力映像フレームメモリ１０６に書き込まれた撮影画像や仮想画像のデジタルデータは、所定の読み出し周期で映像出力部１０７にフレーム単位で読み出され、さらにモニタ１０８に出力される。これにより、モニタ１０８には、出力映像フレームメモリ１０６から読み出された撮影画像又は仮想画像が表示される。
【００２４】
操作パネル１１０は、モニタ１０８上のタッチパネルやモニタ１０８の近傍のスイッチ等によって構成することができる。この操作パネル１１０は、車両１の運転者によって操作される。運転者は操作パネル１１０の操作によって、モニタ１０８に表示される画像（撮影画像又は仮想画像）の視点及び撮影方向の変更要求を入力する。この変更要求は、例えば、変更先の視点及び撮影方向に対応付けて付されたメニュータイトルのボタンを、運転者が押圧操作することによって入力することができる。メニュータイトルとしては、車両１の前方の映像であるフロントサイドビュー、車両１を上方から見下ろした俯瞰映像であるアラウンドビュー、車両１の側方の死角部分の映像であるサイドブラインドビュー、車両１の後方の映像であるリアビュー等がある。入力された変更要求は、操作パネル１１０から制御部１０９に入力される。
【００２５】
制御部１０９は、例えばマイクロプロセッサによって構成されている。制御部１０９は、操作パネル１１０から入力された変更要求の内容に応じて、モニタ１０８に表示される画像の変更後の視点及び撮影方向を演算部１０５に指示する。
【００２６】
例えば、図４の仮想画像（請求項中の第１画像に相当）がモニタ１０８に表示されている状態で、モニタ１０８の表示をリアビューの画像（請求項中の第２画像に相当）に変更する要求が、操作パネル１１０の操作により入力されたものとする。その場合には、制御部１０９が演算部１０５に、仮想カメラの視点及び撮影方向を、図５に示す車両１の真上の符号６Ａで示す視点及び撮影方向から、符号６Ｇで示す視点及び撮影方向に変更させる指示を出力する。
【００２７】
この制御部１０９からの指示により、演算部１０５は、上述した視点変換処理によって得る仮想画像の視点及び撮影方向を、図５の符号６Ａ→６Ｂ→６Ｃ→６Ｄ（６Ｅ）→６Ｆ→６Ｇの経路で変更させる。この経路は、制御部１０９が決定して演算部１０５に指示しても良く、制御部１０９からの指示を受けた演算部１０５が決定してもよい。また、経路の決定は、制御部１０９又は演算部１０５が内部のメモリに記憶させておいた経路を読み出すことで行っても良く、制御部１０９又は演算部１０５が演算することで行っても良い。
【００２８】
ところで、符号６Ｇで示す変更先の視点及び撮影方向の画像（リアビューの画像）は、運転者が車両１の後ろを振り返って見た視界のような画像である。このような視界の画像は、車両１のリア中央に設置したカメラ１０１ｄの撮影画像を、演算部１０５で視点変換処理することで得られる。但し、カメラ１０１ｄの撮影画像では、車両１に対する路肩線と中央線との位置関係が、図４の仮想画像における車両１に対する路肩線と中央線との位置関係とは逆になる。路肩線や中央線の車両１に対する位置関係がモニタ１０８に表示する画面によって変わると、運転者が画面の表示内容を把握しづらくなる。そこで、リアビューの画像については、演算部１０５において、視点変換処理の際に左右反転処理も行っている。これにより、図６（ｇ）に示すように、モニタ１０８に表示される仮想画像の車両１に対する路肩線や中央線の位置関係を、図４の仮想画像における位置関係と同じにしている。
【００２９】
図５の符号６Ｇの視点における図６（ｇ）のリアビューの画像は、上述したように、左右反転させた仮想画面である。したがって、運転者によるモニタ１０８の表示内容の把握を容易にするために、符号６Ｆの区間や符号６Ｅの視点においてモニタ１０８に表示する仮想画面も、左右反転させた仮想画像とするのが望ましい。そこで、図５では、符号６Ｅ及び符号６Ｇの各視点にそれぞれ示すカメラ（仮想カメラ）のアイコンを、モニタ１０８に表示する仮想画像が左右反転であることを示す黒塗りで示している。
【００３０】
なお、黒塗りのカメラのアイコンにおける白い四角の印は、各カメラの上後端の位置を示す。つまり、符号６Ｅ及び符号６Ｇの各視点にそれぞれ示すカメラ（仮想カメラ）は、現実の天地方向とカメラで撮影した画像における天地方向とが一致している。そして、符号６Ｅの視点から符号６Ｆの区間を経て符号６Ｇの視点に仮想カメラが移動する間、モニタ１０８に表示される仮想画像では、図６（ｅ）〜（ｇ）にそれぞれ示すように、車両１の進行方向における前方が画面の下側に位置し、後方が画面の上側に位置することになる。
【００３１】
一方、図５の符号６Ａの視点における図６（ａ）のアラウンドビューの画像（図４に示す仮想映像と同じ画像）は、演算部１０５の視点変換処理によって得られた仮想画像のままであって、画面の左右反転は行っていない。したがって、運転者によるモニタ１０８の表示内容の把握を容易にするためには、符号６Ａの視点においてモニタ１０８に表示する図６（ａ）のアラウンドビューの画像（図４に示す仮想映像）と同じく、符号６Ｂ，６Ｄの視点や符号６Ｃの区間においてモニタ１０８に表示する仮想画像とは、車両１に対する路肩線や中央線の位置関係が統一されていることが望ましい。そのため、演算部１０５は、符号６Ｂ，６Ｄの視点や符号６Ｃの区間においてモニタ１０８に表示する仮想画像を、左右反転させていないものとする。そこで、図５では、符号６Ｂ及び符号６Ｄの各視点にそれぞれ示すカメラ（仮想カメラ）のアイコンを、左右反転させていない画像を得るためのものであることを示す白抜きで示している。
【００３２】
なお、白抜きのカメラのアイコンにおける黒い四角の印は、各カメラの上後端の位置を示す。つまり、符号６Ｂ及び符号６Ｄの各視点にそれぞれ示すカメラ（仮想カメラ）は、現実の天地方向とカメラで撮影した画像における天地方向とが逆転している。そして、符号６Ａの視点から符号６Ｂの視点、さらには、符号６Ｃの区間を経て符号６Ｄの視点に仮想カメラが移動する間、モニタ１０８に表示される仮想画像では、図６（ａ）〜（ｄ）にそれぞれ示すように、車両１の進行方向における前方が画面の上側に位置し、後方が画面の下側に位置することになる。
【００３３】
したがって、図５の符号６Ａの視点から符号６Ｄの視点までの経路においてモニタ１０８に表示される仮想画像（請求項中の第１動画に相当）と、符号６Ｅの視点から符号６Ｇの視点までの経路においてモニタ１０８に表示される仮想画像（請求項中の第２動画に相当）とでは、モニタ１０８の画面における上下方向（天地方向）及び左右方向が反転している。
【００３４】
モニタ１０８の画面における上下方向（天地方向）や左右方向が反転している２つの仮想画像を続けてモニタ１０８に表示すると、仮想画像の連続性が損なわれる。このことは、図７のチャートに顕著に現れる。このチャートは、図５に示す経路で仮想カメラの視点及び撮影方向を符号６Ａの視点から符号６Ｇの視点まで移動させた場合の、仮想カメラのピッチ角、Ｘ座標（進行方向座標）、Ｚ座標（高さ方向座標）、及び、左右反転の有無の時系列変化を示すチャートである。図７のチャートによれば、仮想カメラのＸ座標とＺ座標は連続するが、仮想カメラのピッチ角と左右反転の有無については連続しなていない。
【００３５】
このように、モニタ１０８に表示する仮想画像の連続性が損なわれると、モニタ１０８の画面における上下方向が反転している両仮想画像中の同じ物体を、運転者が対応付けて認識することが非常に困難となる。これでは、駐車操作支援装置１００として十分な機能を発揮することができない。
【００３６】
そこで、本実施形態では、図５の符号６Ａの視点から符号６Ｇの視点までの変更経路上の同一点に設定された、モニタ１０８の画面における仮想画像の上下方向が逆転する図５の符号６Ｄの視点と符号６Ｅの視点とにおいて、演算部１０５が、図６（ｄ），（ｅ）にそれぞれ示すような仮想画像（請求項中の第３画像に相当）を、モニタ１０８に表示させる構成としている。
【００３７】
図６（ｄ），（ｅ）の仮想画像では共に、画面の全体に車両１の車体の屋根部分１ａが表示される。つまり、図６（ｄ）の仮想画像と図６（ｅ）の仮想画像とはそれぞれの表示内容が同じである。そして、図６（ｄ），（ｅ）の仮想画像は、モニタ１０８の画面の中心（重心）を通る任意の線を対称軸とする線対称画像である。
【００３８】
即ち、演算部１０５は、図５の符号６Ｃの区間においてモニタ１０８に表示される図６（ａ）〜（ｃ）の動画（第１動画）と、図５の符号６Ｆの区間においてモニタ１０８に表示される図６（ｆ），（ｇ）の動画（第２動画）との間に、図６（ｄ），（ｅ）の仮想画像（第３画像）を挿入する動作を行うことになる。
【００３９】
そして、演算部１０５は、図５の符号６Ａの視点から符号６Ｄの視点まで仮想カメラを車両１の屋根部分１ａに接近させるアングルで、モニタ１０８に図６（ａ）〜（ｃ）の動画（第１動画）を表示させる。その後、演算部１０５は、画面の全体に車両１の屋根部分１ａが写された図６（ｄ），（ｅ）の仮想画像（第３画像）を、モニタ１０８に表示させる。さらに、演算部１０５は、図５の符号６Ｅの視点から符号６Ｇの視点まで仮想カメラを車両１の屋根部分１ａから離間させるアングルで、モニタ１０８に図６（ｆ），（ｇ）の動画（第２動画）を表示させる。
【００４０】
なお、図４や図６（ａ）〜（ｇ）の仮想画像中に表示する車両１の画像は、各カメラ１０１ａ〜１０１ｄを用いて撮影した実際の撮影画像によるものである必要はない。例えば、演算部１０５に内蔵又は外付けしたメモリに予め記憶させておいたデータによる車両１のアイコン画像を、図１の出力映像フレームメモリ１０６に重畳して書き込むことで、仮想画像中に車両１の画像が表示されるようにしても良い。
【００４１】
以上の説明からも明らかなように、本実施形態の車両の駐車操作支援装置１００では、カメラ１０１ａ〜１０１ｄ、画像処理ユニット１０２、及び、モニタ１０８によって、本発明の画像処理装置が構成されている。
【００４２】
このように構成された本実施形態の画像処理装置では、車両１の屋根部分１ａに徐々に近づく図６（ａ）〜（ｄ）の動画（第１動画）に続けて、画面の全体に屋根部分１ａが表示される図６（ｄ）の仮想画像（第３画像）がモニタ１０８に表示されると、恰も連続する一連の動画であるかのように運転者に視認される。また、図６（ｅ）の仮想画像（第３画像）に続けて、屋根部分１ａから徐々に離れる図６（ｅ）〜（ｇ）の動画（第２動画）がモニタ１０８に表示されると、これもまた、恰も連続する一連の動画であるかのように運転者に視認される。そして、両者の境界（接続点）である図６（ｄ），（ｅ）の仮想画像（第３画像）は、共に車両１の屋根部分１ａをモニタ１０８の画面全体に表示する同じ内容の画像であり、かつ、モニタ１０８の画面の中心を通る任意の線を対称軸とする線対称画像である。このため、図６（ｄ）の仮想画像から図６，（ｅ）の仮想画像にモニタ１０８の表示内容が切り替わって、モニタ１０８の画面における上下方向が実際には反転しても、そのような視覚上の印象を運転者には与えない。
【００４３】
このため、車両１を上方から俯瞰する図５の符号６Ａの視点から、車両１の後方を見る図５の符号６Ｇの視点に、仮想カメラの視点を切り替えるのに伴って、モニタ１０８に表示される仮想画像が、図６（ａ）の仮想画像から、モニタ１０８の画面における仮想画像の上下方向及び左右方向が反転する図６（ｇ）の仮想画像に切り替わる際に、仮想画像の上下方向及び左右方向を一瞬で反転させず、連続的に時間をかけて反転させることができる。このため、モニタ１０８の画面における仮想画像の上下方向及び左右方向が切り替わった際に、切り替えの前後の仮想画像中に存在する同じ物体やその位置関係を、運転者に容易に認識させることができる。
【００４４】
［第２実施形態］
次に、本発明の第２実施形態に係る画像処理装置を適用した車両の駐車操作支援装置について説明する。第２実施形態に係る駐車操作支援装置は、図１に示す第１実施形態の駐車操作支援装置と同様の構成を有している。そして、図１の制御部１０９の指示により演算部１０５が視点変換処理によって得る仮想画像の視点及び撮影方向を変更させる際の経路が、図５に示す第１実施形態の経路とは異なっている。
【００４５】
そして、図４の仮想画像（請求項中の第１画像に相当）がモニタ１０８に表示されている状態で、モニタ１０８の表示をリアビューの画像（請求項中の第２画像に相当）に変更する要求が、操作パネル１１０の操作により入力された場合、第２実施形態では、制御部１０９が演算部１０５に、仮想カメラの視点及び撮影方向を、図８に示す車両１の真上の符号７Ａで示す視点及び撮影方向から、符号７Ｆで示す視点及び撮影方向に変更させる指示を出力する。
【００４６】
この制御部１０９からの指示により、演算部１０５は、視点変換処理によって得る仮想画像の視点及び撮影方向を、図８の符号７Ａ→７Ｂ→７Ｃ→７Ｄ→７Ｅ→７Ｆの経路で変更させる。この経路は、制御部１０９が決定して演算部１０５に指示しても良く、制御部１０９からの指示を受けた演算部１０５が決定してもよい。また、経路の決定は、制御部１０９又は演算部１０５が内部のメモリに記憶させておいた経路を読み出すことで行っても良く、制御部１０９又は演算部１０５が演算することで行っても良い。
【００４７】
ここで、符号７Ｆで示す変更先の視点及び撮影方向の画像（リアビューの画像）は、運転者が車両１の後ろを振り返って見た視界のような画像であり、図９（ｆ）に示すように、左右反転させた仮想画面である。したがって、運転者によるモニタ１０８の表示内容の把握を容易にするために、符号７Ｄや符号７Ｅの各視点においてモニタ１０８に表示する仮想画面も、左右反転させた仮想画像とするのが望ましい。そこで、図８では、符号７Ｄ、符号７Ｅ、及び、符号７Ｆの各視点にそれぞれ示すカメラ（仮想カメラ）のアイコンを、モニタ１０８に表示する仮想画像が左右反転であることを示す黒塗りで示している。
【００４８】
なお、黒塗りのカメラのアイコンにおける白い四角の印は、各カメラの上後端の位置を示す。つまり、符号７Ｄ、符号７Ｅ、及び、符号７Ｆの各視点にそれぞれ示すカメラ（仮想カメラ）は、現実の天地方向とカメラで撮影した画像における天地方向とが一致している。そして、符号７Ｄの視点から符号７Ｅの視点を経て符号７Ｆの視点に仮想カメラが移動する間、モニタ１０８に表示される仮想画像では、図９（ｄ）〜（ｆ）にそれぞれ示すように、車両１の進行方向における前方が画面の下側に位置し、後方が画面の上側に位置することになる。
【００４９】
一方、図８の符号７Ａの視点における図９（ａ）のアラウンドビューの画像（図４に示す仮想映像と同じ画像）は、画面の左右反転は行っていない。したがって、運転者によるモニタ１０８の表示内容の把握を容易にするためには、符号７Ａの視点においてモニタ１０８に表示する図９（ａ）のアラウンドビューの画像（図４に示す仮想映像）と同じく、符号７Ｂ，７Ｃの視点においてモニタ１０８に表示する仮想画像とは、車両１に対する路肩線や中央線の位置関係が統一されていることが望ましい。そのため、演算部１０５は、符号７Ｂ，７Ｃの視点においてモニタ１０８に表示する仮想画像を、左右反転させていないものとする。そこで、図５では、符号７Ｂ及び符号７Ｃの各視点にそれぞれ示すカメラ（仮想カメラ）のアイコンを、左右反転させていない画像を得るためのものであることを示す白抜きで示している。
【００５０】
なお、白抜きのカメラのアイコンにおける黒い四角の印は、各カメラの上後端の位置を示す。つまり、符号７Ｂ及び符号７Ｃの各視点にそれぞれ示すカメラ（仮想カメラ）は、現実の天地方向とカメラで撮影した画像における天地方向とが逆転している。そして、符号７Ａの視点から符号７Ｂの視点、さらには、符号７Ｃの視点に仮想カメラが移動する間、モニタ１０８に表示される仮想画像では、図９（ａ）〜（ｃ）にそれぞれ示すように、車両１の進行方向における前方が画面の上側に位置し、後方が画面の下側に位置することになる。
【００５１】
したがって、図８の符号７Ａの視点から符号７Ｃの視点までの経路においてモニタ１０８に表示される仮想画像（請求項中の第１動画に相当）と、符号７Ｄの視点から符号７Ｆの視点までの経路においてモニタ１０８に表示される仮想画像（請求項中の第２動画に相当）とでは、モニタ１０８の画面における上下方向（天地方向）及び左右方向が反転している。
【００５２】
モニタ１０８の画面における上下方向（天地方向）や左右方向が反転している２つの仮想画像を続けてモニタ１０８に表示すると、仮想画像の連続性が損なわれる。このことは、図１０のチャートに顕著に現れる。このチャートは、図８に示す経路で仮想カメラの視点及び撮影方向を符号７Ａの視点から符号７Ｆの視点まで移動させた場合の、仮想カメラのピッチ角、Ｘ座標（進行方向座標）、Ｚ座標（高さ方向座標）、及び、左右反転の有無の時系列変化を示すチャートである。図１０のチャートによれば、仮想カメラのＸ座標とＺ座標は連続するが、仮想カメラのピッチ角と左右反転の有無については連続しなていない。
【００５３】
このように、モニタ１０８に表示する仮想画像の連続性が損なわれると、モニタ１０８の画面における上下方向が反転している両仮想画像中の同じ物体を、運転者が対応付けて認識することが非常に困難となる。これでは、駐車操作支援装置１００として十分な機能を発揮することができない。
【００５４】
そこで、本実施形態では、図８の符号７Ａの視点から符号７Ｆの視点までの変更経路上の同一点に設定された、モニタ１０８の画面における仮想画像の上下方向が逆転する図８の符号７Ｃの視点と符号７Ｄの視点との間で、演算部１０５が、図９（ｃ´）に示すような仮想画像（請求項中の第３画像に相当）を、モニタ１０８に表示させる構成としている。
【００５５】
図９（ｃ´）の仮想画像は、符号７Ｃの視点における仮想カメラの仮想画像である図９（ｃ）の画像と、符号７Ｄの視点における仮想カメラの仮想画像である図９（ｄ）の画像とを、重ね合わせて合成した内容の画像である。つまり、図９（ｃ´）の仮想画像では、モニタ１０８の画面の上下方向中央に路面Ｓが水平な直線で表示される。そして、路面Ｓの上下にそれぞれ前方から写した車両１が表示される。路面Ｓの上に表示される車両１は、図９（ｃ）の画像でモニタ１０８に表示される、天地方向が画面の上下方向と一致した車両１である。路面Ｓの下に表示される車両１は、図９（ｄ）の画像でモニタ１０８に表示される、天地方向が画面の上下方向とは反転した車両１である。よって、図９（ｃ´）の仮想画像は、路面Ｓの線を対称軸とする線対称画像である。
【００５６】
即ち、演算部１０５は、図８の符号７Ａの視点から符号７Ｃの視点に仮想カメラの視点及び撮影方向が移動する間にモニタ１０８に表示される図９（ａ）〜（ｃ）の動画（第１動画）と、図８の符号７Ｄの視点から符号７Ｆの視点に仮想カメラの視点及び撮影方向が移動する間にモニタ１０８に表示される図９（ｄ）〜（ｆ）の動画（第２動画）との間に、図９（ｃ´）の仮想画像（第３画像）を挿入する動作を行うことになる。
【００５７】
そして、演算部１０５は、図８の符号７Ａの視点から符号７Ｃの視点まで、車両１の上方の仮想カメラを車両１の前方に移動させるアングルで、モニタ１０８に図９（ａ）〜（ｃ）の動画（第１動画）を表示させる。その後、演算部１０５は、正面から見た車両１が路面Ｓの上下にそれぞれの天地方向を反転させて写された図９（ｃ´）の仮想画像（第３画像）を、モニタ１０８に表示させる。さらに、演算部１０５は、図８の符号７Ｄの視点から符号７Ｆの視点まで、車両１の前方の仮想カメラを車両１の後方に移動させるアングルで、モニタ１０８に図９（ｄ）〜（ｆ）の動画（第２動画）を表示させる。
【００５８】
なお、本実施形態においても、図９（ａ）〜（ｆ）の仮想画像（図９（ｃ´）の仮想画像も含む）中に表示する車両１の画像は、各カメラ１０１ａ〜１０１ｄを用いて撮影した実際の撮影画像によるものである必要はない。例えば、演算部１０５に内蔵又は外付けしたメモリに予め記憶させておいたデータによる車両１のアイコン画像を、図１の出力映像フレームメモリ１０６に重畳して書き込むことで、仮想画像中に車両１の画像が表示されるようにしても良い。
【００５９】
以上の説明からも明らかなように、本実施形態の車両の駐車操作支援装置１００でも、第１実施形態の駐車操作支援装置１００と同様に、カメラ１０１ａ〜１０１ｄ、画像処理ユニット１０２、及び、モニタ１０８によって、本発明の画像処理装置が構成されている。
【００６０】
このように構成された本実施形態の画像処理装置では、車両１の上方から前方に視点が移動する図９（ａ）〜（ｃ）の動画（第１動画）に続けて、図９（ｃ）の仮想画像の内容を含む図９（ｃ´）の仮想画像（第３画像）がモニタ１０８に表示されると、恰も連続する一連の動画であるかのように運転者に視認される。また、車両１の前方から後方に視点が移動する図９（ｄ）〜（ｆ）の動画（第２動画）の前に、図９（ｄ）の仮想画像の内容を含む図９（ｃ´）の仮想画像（第３画像）がモニタ１０８に表示されると、これもまた、恰も連続する一連の動画であるかのように運転者に視認される。そして、図９（ｃ´）の仮想画像（第３画像）は、その前後にモニタ１０８に表示される図９（ｃ）と図９（ｄ）の各仮想画像の内容を含んだ画像であり、かつ、路面Ｓを対称軸とする線対称画像である。そのため、図９（ｃ´）の仮想画像の前後にモニタ１０８に表示される図９（ｃ）の仮想画像と図９（ｄ）の仮想画像とで、モニタ１０８の画面における上下方向（天地方向）及び左右方向が反転しても、反転の途中の段階で図９（ｃ´）の仮想画像がモニタ１０８に表示されることで、反転が瞬時にではなく段階的に行われるような視覚上の印象を運転者に与えることになる。
【００６１】
このため、車両１を上方から俯瞰した図８の符号７Ａの視点から、車両１の後方を見る図８の符号７Ｆの視点に、仮想カメラの視点を切り替えるのに伴って、モニタ１０８に表示される仮想画像が、図９（ａ）の仮想画像から、モニタ１０８の画面における仮想画像の上下方向及び左右方向が反転する図９（ｆ）の仮想画像に切り替わる際に、仮想画像の上下方向及び左右方向を一瞬で反転させず、段階的に時間をかけて反転させることができる。このため、モニタ１０８の画面における仮想画像の上下方向及び左右方向が切り替わった際に、切り替えの前後の仮想画像中に存在する同じ物体やその位置関係を、運転者に容易に認識させることができる。
【００６２】
上述した第２実施形態の画像処理装置は、端的に言うと、特許請求の範囲の請求項１に記載した本発明において、
前記仮想画像変換手段は、前記第３画像として、前記第１動画及び前記第２動画の各仮想画像に共通して含まれる要素が前記対称軸の両側に互いに上下反転して表示される前記仮想画像を、前記第１動画と前記第２動画との間に挿入させることを特徴とする、
画像処理装置であると言うことができる。
【００６３】
また、このように構成した画像処理装置の技術思想に対しては、特許請求の範囲の請求項３や請求項４に記載した本発明の思想を、さらに予備的に適用することができる。
【００６４】
以上に説明した第１及び第２実施形態の画像処理装置によれば、第１動画と第２動画との間に挿入されて表示手段に表示される第３画像が、第１動画及び第２動画と同一の要素を含む表示内容を、表示手段の画面内の対称軸を境とする線対称画像として表示手段に表示される。このため、第３画像中の表示手段に線対称で表示される要素の存在により、第１動画から第２動画に表示手段の表示内容が切り替わる際に、表示手段における画面の表示方向の反転を連続的な変化として表示させることができる。これにより、表示手段の表示内容が第１動画から第２動画に切り替わる前後で、第１動画内と第２動画内との同一の物体を、容易に対応付けて視認者に認識させることができる。
【００６５】
なお、上述した第１及び第２実施形態では、仮想カメラの視点及び撮影方向を、車両１の上方から車両１を俯瞰する位置及び方向（アラウンドビュー）から車両１の後方を写す位置及び方向（リアビュー）に切り替える場合を例に取って説明した。しかし、本発明は、切り替えの前後でモニタ１０８の画面における上下方向及び左右方向の少なくとも一方が反転するように、モニタ１０８に表示する仮想カメラ（又はカメラ１０１ａ〜１０１ｄのいずれか１つ）の視点及び撮影方向を切り替える場合に、広く適用可能である。
【符号の説明】
【００６６】
１ 車両
１ａ 屋根部分
１１ 実カメラ
３２ 仮想カメラ
３３ 交点
３４ 光線
３５ 光線
１００ 駐車操作支援装置
１０１ａ〜１０１ｄ カメラ（撮影手段）
１０２ 画像処理ユニット
１０３ａ〜１０３ｄ 映像入力部
１０４ａ〜１０４ｄ 入力映像フレームメモリ
１０５ 演算部（仮想画像変換手段）
１０６ 出力映像フレームメモリ
１０７ 映像出力部
１０８ モニタ（表示手段）
１０９ 制御部
１１０ 操作パネル
Ｓ 路面（対称軸）
【特許請求の範囲】
【請求項１】
車両の周囲を撮影して撮影画像を出力する撮影手段と、
前記撮影画像を、該撮影画像とは視点を異ならせた任意の撮影方向による仮想画像に変換する仮想画像変換手段と、
前記撮影画像又は前記仮想画像を表示する表示手段とを備えており、
前記仮想画像変換手段は、前記表示手段が表示する画像を、第１画像から、前記表示手段における画面の表示方向が前記第１画像とは反転した第２画像に変化させる場合に、前記第１画像から連続的に前記視点及び前記撮影方向が変化する前記仮想画像による第１動画と、前記仮想画像の前記視点及び前記撮影方向が連続的に変化して前記第２画像に至る第２動画との間に、前記第１動画及び前記第２動画において前記表示手段に表示される要素と同一の要素を表示内容に含む画像であって、かつ、前記表示手段における画面の表示内容が画面内の対称軸を境に線対称である第３画像を挿入して、前記表示手段に表示させる、
ことを特徴とする画像処理装置。
【請求項２】
前記仮想画像変換手段は、前記第３画像として、前記表示画面の全体に前記車両の車体が表示される前記仮想画像を、前記第１動画と前記第２動画との間に挿入することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２画像は、前記表示手段における画面の表示方向が前記第１画像とは左右方向に反転していることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記第２画像は、前記表示手段における画面の表示方向が前記第１画像とは上下方向に反転していることを特徴とする請求項１、２又は３記載の画像処理装置。
【請求項１】
車両の周囲を撮影して撮影画像を出力する撮影手段と、
前記撮影画像を、該撮影画像とは視点を異ならせた任意の撮影方向による仮想画像に変換する仮想画像変換手段と、
前記撮影画像又は前記仮想画像を表示する表示手段とを備えており、
前記仮想画像変換手段は、前記表示手段が表示する画像を、第１画像から、前記表示手段における画面の表示方向が前記第１画像とは反転した第２画像に変化させる場合に、前記第１画像から連続的に前記視点及び前記撮影方向が変化する前記仮想画像による第１動画と、前記仮想画像の前記視点及び前記撮影方向が連続的に変化して前記第２画像に至る第２動画との間に、前記第１動画及び前記第２動画において前記表示手段に表示される要素と同一の要素を表示内容に含む画像であって、かつ、前記表示手段における画面の表示内容が画面内の対称軸を境に線対称である第３画像を挿入して、前記表示手段に表示させる、
ことを特徴とする画像処理装置。
【請求項２】
前記仮想画像変換手段は、前記第３画像として、前記表示画面の全体に前記車両の車体が表示される前記仮想画像を、前記第１動画と前記第２動画との間に挿入することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記第２画像は、前記表示手段における画面の表示方向が前記第１画像とは左右方向に反転していることを特徴とする請求項１又は２記載の画像処理装置。
【請求項４】
前記第２画像は、前記表示手段における画面の表示方向が前記第１画像とは上下方向に反転していることを特徴とする請求項１、２又は３記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１０−１９９８３５（Ｐ２０１０−１９９８３５Ａ）
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願番号】特願２００９−４０９６７（Ｐ２００９−４０９６７）
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
【公開日】平成２２年９月９日（２０１０．９．９）
【国際特許分類】
【出願日】平成２１年２月２４日（２００９．２．２４）
【出願人】（０００００３９９７）日産自動車株式会社 (16,386)
【Ｆターム（参考）】
[ Back to top ]