車両用死角映像表示システムと車両用死角映像表示方法
【課題】半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角解消による安全運転への寄与を、実効性を持たせて実現することができる車両用死角映像表示システムと車両用死角映像表示方法を提供すること。
【解決手段】サイドカメラ１と外部モニター２と画像処理コントロールユニット３と、を備えたシースルーサイドビューモニターシステムＡ１において、画像処理コントロールユニット３は、サイドカメラ１から入力される実カメラ映像信号を運転者の視点位置から見た死角画像に視点変換する周囲映像画像変形部３３と、運転者の視点位置から見た車室内画像を形成する車体画像形成部３４と、半透明車室内画像を透過して死角画像を見せる透過表示画像を生成する画像合成装置３６と、車室内画像の中から次第に浮かび上がってくる死角画像を見せるアニメーション表示画像を生成する画像合成装置３６と、を有する。
【解決手段】サイドカメラ１と外部モニター２と画像処理コントロールユニット３と、を備えたシースルーサイドビューモニターシステムＡ１において、画像処理コントロールユニット３は、サイドカメラ１から入力される実カメラ映像信号を運転者の視点位置から見た死角画像に視点変換する周囲映像画像変形部３３と、運転者の視点位置から見た車室内画像を形成する車体画像形成部３４と、半透明車室内画像を透過して死角画像を見せる透過表示画像を生成する画像合成装置３６と、車室内画像の中から次第に浮かび上がってくる死角画像を見せるアニメーション表示画像を生成する画像合成装置３６と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、モニターに死角映像を表示する際、あたかも半透明車室内映像を透過して運転者の視点位置から見た死角映像を見せるようにした車両用死角映像表示システムと車両用死角映像表示方法に関する。
【背景技術】
【０００２】
現在、実用化されているサイドビューモニターシステムは、サイドミラーの内部にサイドカメラ（CCDカメラ等）を設定し、ナビゲーションシステムと兼用されるフロントディスプレイユニットのモニター画面に、サイドカメラからの実カメラ映像を表示している。つまり、モニター画面に、運転者の死角となる車両の前部側方部分を表示することで、運転者が死角となる部分の状況を認識できるようにしている。
【０００３】
しかしながら、サイドカメラがサイドミラーの内部に配置されているため、カメラ視点と運転者視点の間に大きな視差（1m〜2m程度の視差）を有し、障害物やその他の物体形状は、カメラ映像での形状と運転者の席から見える形状とが全く違うものとなる。
【０００４】
これに対し、通常の場合には、運転者自身の慣れにより、カメラ映像を頭の中で再構成し、物体の位置関係を再構築して判断することにより、運転者自身の見ている映像との整合性を取っている。一方、不慣れな運転者の場合や咄嗟の場合には、画面映像と運転者の席から見える映像との整合性が崩れて違和感を生じる。
【０００５】
このような違和感を解消するため、車体外側に設けられた死角カメラにより得られるカメラ映像信号を、あたかも運転者の視点位置から見た仮想カメラ映像へと画像変換して変換外部画像を生成する。また、運転者の視点位置近くに設けられた運転者視点カメラにより得られるカメラ映像から、死角領域を除いた視認領域画像を生成する。そして、視認領域画像から除かれた死角領域に変換外部画像を合成した合成画像を得る車両用死角映像表示システムが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2004−350303号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の車両用死角映像表示システムにあっては、下記に列挙するような問題があった。
【０００８】
(1) 主に２つのカメラ映像を切り出し合成することと、同映像の窓枠等のエッジ部分を強調検知し、これを用いてスーパーインポーズを行うことで死角の解消と違和感の解消に努めていたが、そのことにも限界はあり、映像に違和感を生じてしまう。
【０００９】
(2) 例として述べているような、仰角・俯角方向の上下方向に対する広角な死角カメラを用いた場合、室内カメラ（運転者視点カメラ）の視界を十分カバーしており、室内カメラの映像の死角解消への寄与は、トランク上部等の一部の視界のみであり、システム的に無駄な部分が多い。
【００１０】
(3) カメラ映像を合成する際に使用されているエッジ強調によるスーパーインポーズ枠は、画像処理機能の追加を必要とするものであるにも拘らず、運転者へ対して車両の死角部分を見ているとの認識を与えるのに、その効果が不十分である。
【００１１】
そこで、本出願人は、先に、車載カメラから入力される実カメラ映像信号を、運転者の視点位置から見た仮想カメラ画像に視点変換し、この仮想カメラ画像に、半透明化した車室内画像を重畳させる画像合成により、半透明車室内画像を透過して仮想カメラ画像を表現する車両用死角映像表示システムを提案した（特願２００８−３９３９５号：平成２０年２月２０日出願）。
【００１２】
上記の提案によれば、実車両の本来見えない部分を映し出している映像が、運転者の位置から見た場合、どのように見えるかを演算し、画像変換処理を行うことで、違和感の少ない死角映像を提供している。これは、便宜的にドア含めた車室内画像を透過して外を見ているような半透過映像を模しており、咄嗟の際に非常に感覚的に判りやすい映像表現を目指しており、安全運転に寄与していた。
【００１３】
しかしながら、上記提案を用いたシステムを実際に運用する際、次のような視認性の問題が生じていた。
被験者を用いた実験結果から判明したことであるが、半透過映像を見せても咄嗟に理解できない人々が年長者を含めて一部存在することがわかった。
例えば、サイドミラーの映像を視点変換し、本来なら見えない筈の死角映像を半透過した状態として映像を表現している旨の解説を行うと、ほぼ100人中100人が理解し、その有用性を認めて頂ける。しかし、その説明をしない場合、極一部の人々はその映像が何であるか判らず理解できない。
つまり、同提案の主目的である「感覚的に判りやすい映像表現を用いた死角解消による安全運転への寄与」が実現できない場合があることが判明した。
【００１４】
この原因を、被験者の情報から類推すると、モニターで表示される半透過映像に対し、単純に平面的な映像として捉えてしまい、本来、空間的な映像を表現しているモニターの映像と脳内の空間認識との間に相関性が働かず、空間認識が一致しないらしい。
また、半透過部分の車室内映像が、その目的から透過率を高めに設定してあったため、半透過映像部分を構成している車室内映像が視認し難く、車内から外を見ている表現が伝わり難かったことに起因していた。しかし、同透過映像の透過率を下げると、今度は肝心の死角映像が見え難くなってしまう、という問題が生じてしまう。
【００１５】
また、カメラシステム全体の問題として、省エネ効果を得るため、システム動作開始時にカメラ電源をONにすることが多い。しかし、この場合、カメラの起動時間にタイムラグがあるため、モニター表示画面が実際のカメラ映像を映し出すまでに遅れが生じ、ブルーバックや黒画面を表示し続けることが多かった。
【００１６】
本発明は、上記問題に着目してなされたもので、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角解消による安全運転への寄与を、実効性を持たせて実現することができる車両用死角映像表示システムと車両用死角映像表示方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するため、本発明の車両用死角映像表示システムでは、運転者から死角となる車両周辺を撮像するカメラと、車室内位置に設定したモニターと、前記カメラから入力される実カメラ映像信号に基づく画像処理により前記モニターへのモニター映像信号を生成する画像処理制御手段と、を備えている。
この車両用死角映像表示システムにおいて、前記画像処理制御手段は、
前記カメラから入力される実カメラ映像信号を運転者の視点位置から見た死角画像に視点変換する死角画像形成部と、
運転者の視点位置から見た車室内画像を形成する車室内画像形成部と、
前記死角画像に重畳する前記車室内画像を半透明車室内画像にする透過表示画像生成部と、
前記死角画像に重畳する前記車室内画像を不透明な画像から透過画像へと段階的に移行させるアニメーション表示画像を生成するアニメーション表示画像生成部と、
を有する。
【発明の効果】
【００１８】
よって、本発明の車両用死角映像表示システムにあっては、半透明車室内映像を透過して死角映像を見せる透過表示とは別に、死角画像に重畳する車室内画像を不透明な画像から透過画像へと段階的に移行させる画像処理により、車室内映像の中から次第に死角映像が浮かび上がってくるように見せるアニメーション表示を行う機能を追加している。
すなわち、半透明車室内映像を透過して運転者の視点位置から見た死角映像を見せたとしても、モニター映像が何を表しているのか咄嗟に理解できないユーザーが一部存在する。
これに対し、例えば、死角映像の透過表示に先行してユーザーにアニメーション表示を見せる、あるいは、ユーザーの意図によりアニメーション表示を見ることで、外部モニターに映し出されるモニター映像が、半透明車室内映像を透過して表示される死角映像であることを、ユーザーに対し容易に理解してもらうことができる。
この結果、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角解消による安全運転への寄与を、実効性を持たせて実現することができる。
【図面の簡単な説明】
【００１９】
【図１】実施例１のシースルーサイドビューモニターシステムＡ１（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【図２】実施例１のシースルーサイドビューモニターシステムＡ１における制御装置にて実行されるアニメーション表示制御処理の流れを示すフローチャートである。
【図３−１】実施例１においてサイドカメラの映像を運転者位置から見た映像に視点変換した外部視点変換映像の一例を示す図である。
【図３−２】実施例１において運転者視点から見た車室内画像の一例を示す図である。
【図３−３】実施例１において外部視点変換映像と20%程度透過した半透過車室内画像を合成した半透過合成画像(1)の一例を示す図である。
【図３−４】実施例１において外部視点変換映像と50%程度透過した半透過車室内画像を合成した半透過合成画像(2)の一例を示す図である。
【図３−５】実施例１において外部視点変換映像と初期設定透過度に透過した半透過車室内画像を合成した半透過合成画像(3)の一例を示す図である。
【図４】実施例２のシースルーサイドビューモニターシステムＡ２（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【図５】実施例２のシースルーサイドビューモニターシステムＡ２における制御装置にて実行されるアニメーション表示制御処理の流れを示すフローチャートである。
【図６】実施例３のシースルーサイドビューモニターシステムＡ３（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【図７−１】実施例３において運転者視点から見たレイヤ1用車室内画像の一例を示す図である。
【図７−２】実施例３において運転者視点から見たレイヤ2用ドア内部映像(1)の一例を示す図である。
【図７−３】実施例３において運転者視点から見たレイヤ3用ドア内部映像(2)の一例を示す図である。
【図７−４】実施例３においてサイドカメラの映像を運転者位置から見た映像に視点変換した外部視点変換映像の一例を示す図である。
【図７−５】実施例３において内装画像のレイヤ(1)と内部画像1のレイヤ(2)と内部画像2のレイヤ(3)と外部映像のレイヤ(4)による画面構成概念の一例を示す斜視図である。
【図８−１】実施例３において画面構成を内装画像のレイヤ(1)のみ100％とした合成画像例を示す図である。
【図８−２】実施例３において画面構成を内装画像のレイヤ(1)80％と内部画像1のレイヤ(2)20%とした合成画像例を示す図である。
【図８−３】実施例３において画面構成を内装画像のレイヤ(1)30％と内部画像1のレイヤ(2)70%とした合成画像例を示す図である。
【図８−４】実施例３において画面構成を内装画像のレイヤ(1)10％と内部画像1のレイヤ(2)90%とした合成画像例を示す図である。
【図８−５】実施例３において画面構成を内部画像1のレイヤ(2)70%と内部画像2のレイヤ(3)30%とした合成画像例を示す図である。
【図８−６】実施例３において画面構成を内部画像1のレイヤ(2)20%と内部画像2のレイヤ(3)80％とした合成画像例を示す図である。
【図８−７】実施例３において画面構成を内部画像2のレイヤ(3)70%と外部映像のレイヤ(4)30％とした合成画像例を示す図である。
【図８−８】実施例３において画面構成を内部画像2のレイヤ(3)30%と外部映像のレイヤ(4)70％とした合成画像例を示す図である。
【図８−９】実施例３において画面構成を内装画像のレイヤ(1)15%と外部映像のレイヤ(4)85％とした合成画像例を示す図である。
【図９】実施例４のシースルーサイドビューモニターシステムＡ４（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【図１０】実施例４のシースルーサイドビューモニターシステムＡ４において空間情報を用いて立体的に表した構成部品をカットモデルのように輪切りにした形で半透明画像を形成する立体透過イメージを示す斜視図である。
【発明を実施するための形態】
【００２０】
以下、本発明の車両用死角映像表示システムと車両用死角映像表示方法を実現する最良の形態を、図面に示す実施例１〜実施例４に基づいて説明する。
なお、実施例１〜実施例４では、透過型の車両用死角映像表示システムとして、サイドカメラを用い、運転者の死角となる車両の前部側方部分のサイドカメラ映像を、車室内から車体を透過した映像として外部モニターに表示する「シースルーサイドビューモニターシステム」に特化した形で説明する。
【実施例１】
【００２１】
まず、構成を説明する。
図１は、実施例１のシースルーサイドビューモニターシステムＡ１（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【００２２】
実施例１のシースルーサイドビューモニターシステムＡ１は、アニメーション表現する画像処理手法として、実カメラ映像信号に基づく死角画像に、透過度を段階的に変化させた車室内画像を合成する単一レイヤ型半透過手法を採用した例である。このシステムＡ１は、図１に示すように、サイドカメラ１（カメラ）と、外部モニター２（モニター）と、画像処理コントロールユニット３（画像処理制御手段）と、外部操作部４と、を備えている。
【００２３】
前記サイドカメラ１は、左サイドミラーに内蔵、あるいは、左サイドミラー付近に配置することで取り付けられ、運転者の死角となる車両の前部側方部分を撮像する。このサイドカメラ１は、内蔵された撮像素子１１（CCD,CMOS等）により、カメラレンズの光軸上に存在する車両の前部側方部分の実カメラ映像信号を取得する。
【００２４】
前記外部モニター２は、運転者が視認できる車室内位置（例えば、インストルメントパネル位置等）に設定される。この外部モニター２には、液晶ディスプレイや有機ELディスプレイ等によるモニター画面２１を有し、画像処理コントロールユニット３により生成されたモニター映像信号を入力して映像表示する。ここで、外部モニター２としては、シースルーサイドビューモニターシステムＡ１に専用のモニターを設定しても良い。また、死角解消用のカメラシステムに専用のモニターを設定しても良い。また、ナビゲーションシステム等、他のシステムのモニターを流用しても良い。
【００２５】
前記画像処理コントロールユニット３は、サイドカメラ１から入力される実カメラ映像信号に加え、外部操作部４からの入力情報に基づき、設定された画像処理プログラムにしたがって画像変形・画像形成・画像合成等の画像処理を行い、前記外部モニター２へのモニター映像信号を生成する。
【００２６】
前記外部操作部４は、システム起動時にON操作するシステム起動スイッチ４１と、アニメーション自動表示位置・アニメーション表示禁止位置・アニメーション手動表示位置を切り換え選択するモード選択スイッチ４２と、を有する。この外部操作部４としては、外部モニター２のモニター画面２１に表示されるタッチパネルスイッチによる構成としても良いし、外部モニター２の外周位置に設定される操作ボタンや操作ダイヤル等の構成としても良い。
【００２７】
前記画像処理コントロールユニット３は、図１に示すように、デコーダー３１と、画像メモリ３２と、周囲映像画像変形部３３（死角画像形成部）と、車体画像形成部３４（車室内画像形成部）と、制御装置（ＣＰＵ）３５と、画像合成装置３６（アニメーション表示画像生成部、透過表示画像生成部）と、エンコーダ３７と、を備えている。以下、各構成要素の説明をする。
【００２８】
前記デコーダー３１は、サイドカメラ１から入力される実カメラ映像信号を、アナログ／デジタル変換し、実カメラ画像データを生成する。
【００２９】
前記画像メモリ３２は、デコーダー３１からのデジタル変換された実カメラ画像データを一時的に蓄える。
【００３０】
前記周囲映像画像変形部３３は、制御装置３５からの指令に基づき、画像メモリ３２から入力されるデジタル変換された実カメラ画像データを、視点変換処理により、運転者の視点付近に配置した仮想カメラから見た外部視点変換画像データに変形する。この周囲映像画像変形部３３では、画像処理として、実カメラ画像データによる周囲映像の視点変換処理を行うと共に、他の各種画像処理（輝度調整・色味補正・エッジ補正等）を併せて行うようにしても良い。
【００３１】
前記車体画像形成部３４は、周囲映像画像変形部３３からの外部視点変換画像データに画像合成（スーパーインポーズ）する半透明車室内画像データを形成する。この車体画像形成部３４では、運転者の視点から予め撮影された不透明な車室内画像データを用意しておき、制御装置３５からの透過度指令に基づくαブレンド処理により、透過度が異なる半透明車室内画像データを形成する。この半透明車室内画像データは、車室内画像データの全体透過度を異ならせたものではなく、死角映像を透過するのに好ましい領域として設定したドアやインストルメントパネル等の車体領域についてのみ透過度を異ならせる「半透明部分」としている。そして、フロントウインドウやドアウインドウによる窓領域は、透過度100%の「透明部分」とし、自車両を道路面に投影した投影領域は、透過度0%の「不透明部分」としている。
【００３２】
前記制御装置３５は、外部操作部４からの入力情報に応じて画像処理に関する全ての情報処理と制御出力を管理する中央演算処理装置（ＣＰＵ）であり、周囲映像画像変形部３３と車体画像形成部３４と画像合成装置３６に対する制御指令により、アニメーション表示制御や死角映像透過表示制御を行う制御プログラムが設定されている。なお、この制御装置３５には、例えば、外部映像輝度追従表示制御・輝度急変対応表示制御・色相変換表示制御・警告表示制御等の他の画像処理制御を行う制御プログラムも設定されている。
【００３３】
前記画像合成装置３６は、周囲映像画像変形部３３からの外部視点変換画像データに、車体画像形成部３４からの半透明車室内画像データを重畳させる画像合成処理により合成画像データを生成する。例えば、アニメーション表示制御を行う場合、外部視点変換画像データに、段階的に透過度を増してゆく車室内画像データを重畳させて合成画像データを生成する。例えば、死角映像透過表示制御を行う場合、外部視点変換画像データに、設定した透過度による半透明車室内画像データを重畳させて合成画像データを生成する。
【００３４】
前記エンコーダ３７は、画像合成装置３６から合成画像データを入力し、合成画像データのデジタル／アナログ変換を経て、外部モニター２へモニター映像信号を出力する。例えば、アニメーション表示制御を行う場合には、モニター画面２１上の映像表現で、不透明車室内映像状態から時間経過にしたがって死角映像が次第に浮かび上がってくるように表現するモニター映像信号を出力する。例えば、死角映像透過表示制御を行う場合には、モニター画面２１上の映像表現で、あたかも半透明車室内映像を透過して運転者から見た死角映像を表現するモニター映像信号を出力する。
【００３５】
図２は、実施例１の画像処理コントロールユニット３にて実行されるアニメーション表示処理及び透過表示処理の流れを示すフローチャートである。以下、図２の各ステップについて説明する。
【００３６】
ステップＳ１では、サイドカメラ１の電源がONか否かを判断し、YES（カメラON）の場合はステップＳ２へ進み、NO（カメラOFF）の場合はステップＳ１の判断を繰り返す。
ここで、サイドカメラ１の電源がONになるのは、下記の操作パターンのときである。
・モード選択スイッチ４２によるアニメーション自動表示位置の選択状態で、システム起動スイッチ４１をON操作したとき。
・モード選択スイッチ４２によるアニメーション表示禁止位置の選択状態で、システム起動スイッチ４１のON操作とアニメーション手動表示位置への切り換え操作をしたとき。
なお、本システムは、省エネルギー効果を得るため、カメラ電源をシステム起動操作と連動させているもので、システム起動操作を開始したときにカメラ電源をONとする。
【００３７】
ステップＳ２では、ステップＳ１でのカメラ電源ONに続き、半透明車室内画像データの透過度Tra_N＝０に設定し、ステップＳ３へ進む。
【００３８】
ステップＳ３では、ステップＳ２でのTra_N＝０設定、あるいは、ステップＳ５でのＴ≦Tcであるとの判断、あるいは、ステップ７でのTra_N＜Tra_Oとの判断に続き、設定されている透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成により、モニター映像信号を生成し、外部モニター２に出力することで、モニター画面２１に外部視点変換映像と半透明車室内映像の合成映像を表示し、ステップＳ４へ進む。
なお、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcに達するまでは、カメラ映像に基づく外部視点変換画像データが無いため、合成映像ではなく透過度Tra_N＝０による車室内映像（単独映像）が表示される。
【００３９】
ステップＳ４では、ステップＳ３での透過度Tra_Nを用いた合成映像の表示に続き、今回の合成映像を表示したままで段階的表示のための設定時間Δｔが経過するのを待ち、ステップＳ５へ進む。
【００４０】
ステップＳ５では、ステップＳ４での段階的表示のための設定時間Δｔの経過に続き、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcを超えたか否かを判断し、Yes（Ｔ＞Tc）の場合はステップＳ６へ進み、No（Ｔ≦Tc）の場合はステップＳ３へ戻る。
【００４１】
ステップＳ６では、ステップＳ５でのＴ＞Tcであるとの判断に続き、今回の透過度Tra_Nに設定透過度ΔTraを加え、次回の透過度Tra_N（＝Tra_N＋ΔTra）とし、ステップＳ７へ進む。
【００４２】
ステップＳ７では、ステップＳ６での次回の透過度Tra_Nの設定に続き、設定された透過度Tra_Nが初期設定透過度Tra_O以上であるか否かを判断し、Yes（Tra_N≧Tra_O）の場合はステップＳ８へ進み、No（Tra_N＜Tra_O）の場合はステップＳ３へ戻る。
ここで、初期設定透過度Tra_Oは、死角映像透過表示を行う際に、半透明車室内画像データの透過度をあらわす値である。
【００４３】
ステップＳ８では、ステップＳ７でのTra_N≧Tra_Oであるとの判断に続き、透過度Tra_Oを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成により、モニター映像信号を生成し、外部モニター２に出力することで、モニター画面２１に外部視点変換映像と半透明車室内映像の合成映像（透過表示による死角映像）を表示し、終了へ進む。
【００４４】
次に、作用を説明する。
まず、「本発明の骨子」の説明を行い、続いて、実施例１のシースルーサイドビューモニターシステムＡ１における「アニメーション表示から透過表示への連続表示作用」を説明する。
【００４５】
［本発明の骨子］
（発明のポイント）
本発明は、特願2008-039395号に対して、半透明車両のスーパーインポーズを、透過した車両の映像であることを理解できない人々が少数であるが存在することに対し、その対策として、行うものである。
【００４６】
・現有の技術を使用して、内装の静止画・カメラ映像を用いて死角部分のエリアのみを徐々に半透明化して行く、それをドア内部の静止画も使用し段階的にアニメーションで透明化して行くことで、この映像が透過映像であることを深く理解してもらう。
【００４７】
・基本的に、次の手法を用いた表現方法とする。
(1) 透過型の車両用死角映像表示システムにおいて、車室内から外を透過して見せる場合、最初から固定された半透明な車室内画像を重畳し見せるのでは無く、最初に不透過（不透明）な車室内映像を見せ、次第に透明度を増して行きドア内部の構造材、ウィンドウガラス、外板のように段階を踏んで半透明化・αブレンド処理を行いながら、あたかもユーザーの操作によって車両が次第に透明になり最終的に外部の死角映像が見られるような表現を行う（実施例１，実施例２）。
(2) 段階的な透明化に関して、少なくとも次の２つの手法に関して提案を行う。
ｉ) 数枚の静止画あるいは直接撮影している室内映像を、複数のレイヤ構造でのソース画像として用い、画像処理を行っている訳であるが、その半透明化を行う単位をレイヤ毎とし、各々のレイヤの透過率を変化させ一枚ずつ段階的に透過させて行く平面的な半透過手法（実施例３）。
ｉｉ) 車室内映像に立体的な情報を加味し、仮想的に配置した平面あるいは曲面のスクリーンが手前から外側へ移動して行く際に、そのスクリーンで立体的に切り取られる手前側を半透明とし、その外側を実際の車両構造物や内装品の映像・画像を用い、段階的な半透過画像を得る立体的な半透過手法（実施例４）。
(3) 音声情報を利用し、ユーザーが選択している現在のモニター画面に対し、該当する音声の説明をアナウンスすることで、ユーザーの理解を深める手法（他の実施例）。
【００４８】
・システム起動時に、透過型映像であることを判りやすくアニメーションで表現してはどうかというのが、今回の提案である。
具体的には、透過映像を見せる際、最初の一回ないしは慣れるまで、または希望している限りは、室内映像、ドア内装の除去映像、ドア内部の映像、ドア外板映像、外部映像のように、順序だてて透過させて行く。そのようなデモ映像を含めて、システム起動時に半透過映像を見せる手法を提案するものである。
【００４９】
（発明の概要）
・死角カメラの映像を視点変換し表示するシステムのうち、他のカメラ画像あるいは車室内画像（静止画）と組み合わせ、あたかも半透明な車体を通して外部映像を見せるようなシステムで、半透明な車体映像であることを認識しやすくすることで、安全運転に寄与しようとするもの。
・カメラ起動時の安定化期間を利用し、不透明から半透明に至る映像を連続的に変化させて表示することで、ユーザーの理解を深めるもの。
・システム起動時の最初に上記不透明から半透明に至る映像を連続的に変化させる表示を行い、ユーザーの選択により非表示にもできるもの。
【００５０】
（発明の目的）
・一部の空間把握が苦手な人々にも、半透過映像を一目で理解可能なシステムを構築し、構築したシステムの提供を行う。
・カメラ起動時に生じるタイムラグ時間を逆に利用し、その時間は半透過映像であることを説明するアニメーション映像を流す。それにより、車体を半透過して見ている映像であることを認識させることでシステムの理解を深め、より判り易いシステムを構築する。
・実際のカメラ映像が立ち上る待ち時間に（数秒ほど）動画映像を流すことでエンターテイメント性を向上させ、商品価値を上げる。
・言葉で説明を行った場合、ほぼ100％の人々が理解可能であることから、音声による説明機能をシステムに追加することで、よりわかり易い、安全に寄与するシステムを構築する。
【００５１】
（発明の効果）
本案件は、実際の透過型の車両用死角映像表示システムを実現するにあたり、表示手法として使われる可能性の高い表現方法であり、下記のような効果を期待できる。
・先に提案したシステムでも、殆どの人々に半透過した死角映像であることが理解してもらえ、安全運転に寄与可能であったが、極一部の例外が生じていた。この例外の人々に対し映像のみでより判り易いシステムを構築可能であり、安全性の向上に繋がる。
・本来の弱点であるカメラの起動時間（初期安定化時間）中にもアニメーション映像が流れることで、不要な待ち時間を利用して、システムの理解度を上げることが可能になるだけでなく、イライラの解消にも繋がる。
・マニュアルによる透明度の調整は、先に提案したシステムでも可能であったが、システム起動毎に、外部操作でOFFしない限り、必ずアニメーションが流れることで、理解が進み、直感的な理解に繋がる。
【００５２】
［アニメーション表示から透過表示への連続表示作用］
図２に示すフローチャートと図3-1〜図3-5に示す映像/画像例を用いて、アニメーション表示から透過表示への連続表示作用を説明する。
【００５３】
サイドカメラ１の電源をONとすると、図２のフローチャートにおいて、ステップＳ１→ステップＳ２→ステップＳ３→ステップＳ４→ステップＳ５へと進み、ステップＳ５において、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcを超えたと判断されるまでは、ステップＳ３→ステップＳ４→ステップＳ５へと進む流れが繰り返される。つまり、初期安定化時間Tcを超えるまでは、サイドカメラ１からのカメラ映像信号に基づく外部視点変換画像データが形成されないため、透過度Tra_N＝０を用いた不透明車室内画像データによる不透明車室内映像がモニター画面２１に表示される。
【００５４】
そして、ステップＳ５において、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcを超えたと判断されると、図２のフローチャートにおいて、ステップＳ５からステップＳ６へと進み、ステップＳ６では、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_N（＝Tra_N＋ΔTra）とされる。つまり、透過度Tra_N＝０から透過度Tra_N＝ΔTraに設定される。そして、設定された透過度Tra_Nが初期設定透過度Tra_O以上となるまでは、ステップＳ６からステップＳ７→ステップＳ３→ステップＳ４へと進み、設定された透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成による合成映像が、段階的表示のための設定時間Δｔが経過するまでモニター画面２１に表示される。
【００５５】
そして、段階的表示のための設定時間Δｔが経過すると、図２のフローチャートにおいて、ステップ４からステップＳ５→ステップＳ６へと進み、ステップＳ６では、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_N（＝2ΔTra）とされる。つまり、透過度Tra_N＝ΔTraから透過度Tra_N＝2ΔTraに設定される。そして、設定された透過度Tra_Nが初期設定透過度Tra_O以上となるまでは、ステップＳ６からステップＳ７→ステップＳ３→ステップＳ４へと進み、設定された透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成による合成映像が、段階的表示のための設定時間Δｔが経過するまでモニター画面２１に表示される。
【００５６】
このように、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_Nとすることを複数回繰り返し、半透明車室内画像データの半透明化を段階的表示のための設定時間Δｔ毎に段階的に進めてゆくことで、ステップＳ７において、設定された透過度Tra_Nが初期設定透過度Tra_O以上であると判断されると、アニメーション表示を終了し、自動的に死角映像透過表示を行うステップＳ８へ進む。
【００５７】
図3-1は、サイドカメラ１の映像を運転者位置からみた映像に視点変換した外部視点変換映像であり、図3-2は、運転者視点から見た不透明車室内画像である。
先に提案したシステムでは、これら２つの映像を、係数α（アルファ値）を使って半透明合成するブレンド機能を用いて、車室内画像を半透過状態にした映像、即ち、図3-5に示す半透過画像(3)を直ぐに表示していた。
【００５８】
しかしながら、先に述べたように、いきなり図3-5に示す半透過画像(3)によるモニター映像を見せた場合、ドア部分が透けて半透明になっていることを理解できない人々が少数存在する。この点に鑑み、その画像を形成する途中経過をも表示することで理解を深めてもらおうとするものである。
【００５９】
まず、図２のフローチャートに示すように、システム起動時（カメラON）には、図3-2に示す不透明車室内画像を表示する。カメラ映像自身が安定した画像を表示するまでには初期安定化時間Tcを要するこのシステムでは、この初期安定化時間Tcの経過後、以下の動作が始まる。
【００６０】
初期安定化時間Tcを経過すると、初期に設定した段階的表示のための設定時間Δｔ毎に、車室内画像の透過度をΔTraずつ上げて行く。この動作を、初期設定透過度Tra_Oに達するまで繰り返し、その都度、演算結果の透過度Tra_Nを用いた合成画像を表示する。その結果、図3-2に示す不透明な車室内画像から、図3-3に示す外部視点変換映像が20％程度透過した半透過合成画像(1)と、図3-4に示す外部視点変換映像が50％程度透過した半透過合成画像(2)を経過し、図3-5に示す外部視点変換映像が初期設定透過度Tra_Oまで透過した半透過画像(3)へと至る。つまり、車室内映像の中から死角映像（外部視点変換映像）が次第に浮かび上がるように連続した映像（アニメーション映像）として見ることができる。
【００６１】
上記のように実施例１では、半透明車室内映像を透過して死角映像を見せる透過表示とは別に、死角画像に重畳する車室内映像を不透明な映像から半透明な映像へと段階的に移行させる画像処理により、車室内映像の中から次第に死角画像が浮かび上がってくるように見せるアニメーション表示を行う機能を追加している。
【００６２】
このため、システム起動操作後、外部モニター２に映し出されるモニター映像が、半透明車室内映像を透過して表示される死角映像であることを、ユーザーに対し容易に理解してもらうことができる。つまり、最終的な半透過画像(3)に対する理解が深まり、それ以降の直感的な死角映像の把握に効果が得られ、死角解消による安全運転への寄与を、実効性を持たせて実現することができる。
【００６３】
次に、効果を説明する。
実施例１のシースルーサイドビューモニターシステムＡ１にあっては、下記に列挙する効果を得ることができる。
【００６４】
(1) 運転者から死角となる車両周辺を撮像するカメラ（サイドカメラ１）と、運転者が視認できる車室内位置に設定したモニター（外部モニター２）と、前記カメラ（サイドカメラ１）から入力される実カメラ映像信号に基づく画像処理により前記モニター（外部モニター２）へのモニター映像信号を生成する画像処理制御手段（画像処理コントロールユニット３）と、を備えた車両用死角映像表示システム（シースルーサイドビューモニターシステムＡ１）において、前記画像処理制御手段（画像処理コントロールユニット３）は、前記カメラ（サイドカメラ１）から入力される実カメラ映像信号を運転者の視点位置から見た死角画像に視点変換する死角画像形成部（周囲映像画像変形部３３）と、前記運転者の視点位置から見た車室内画像を形成する車室内画像形成部（車体画像形成部３４）と、前記死角画像に重畳する前記車室内画像を半透明車室内画像にする透過表示画像生成部（画像合成装置３６、図２のステップＳ８）と、前記死角画像に重畳する前記車室内画像を不透明な画像から透過画像へと段階的に移行させるアニメーション表示画像を生成するアニメーション表示画像生成部（画像合成装置３６、図２のステップＳ１〜Ｓ７）と、を有する。
このため、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角解消による安全運転への寄与を、実効性を持たせて実現する車両用死角映像表示システム（シースルーサイドビューモニターシステムＡ１）を提供することができる。
【００６５】
(2) 前記アニメーション表示画像生成部（画像合成装置３６、図２のステップＳ１〜Ｓ７）は、アニメーション表示が開始されると、前記カメラ（サイドカメラ１）から入力される実カメラ映像に基づいて取得した死角画像と、開始時の不透明画像から設定時間Δｔが経過する毎に車室内画像の透過度を設定透過度ΔTraだけ加えることで半透明画像へと段階的に移行する車室内画像と、の画像合成により前記モニター（外部モニター２）への表示画像を生成する。
このため、不透明車室内画像を段階的に半透明化するαブレンドの処理アルゴリズムを加えるだけで、死角映像の透過表示で用いる構成要素（画像合成装置３６等）をそのまま流用することができるというように、新たな構成要素の追加や構成変更を要さずにアニメーション表示を行うことができる。
【００６６】
(3) システム起動スイッチ４１を有する外部操作部４を設け、前記アニメーション表示画像生成部（画像合成装置３６、図２のステップＳ１〜Ｓ７）は、死角画像の透過表示を意図して前記システム起動スイッチ４１の投入操作を行うと、アニメーション表示を開始する。
このため、システム起動操作を行うだけで、カメラ（サイドカメラ１）が起動する時の待ち時間である安定化期間を利用し、アニメーション表示を自動的に開始することができる。
【００６７】
(4) 少なくともアニメーション表示禁止位置とアニメーション手動表示位置を切り換え選択するモード選択スイッチ４２を有する外部操作部４を設け、前記アニメーション表示画像生成部（画像合成装置３６、図２のステップＳ１〜Ｓ７）は、前記モード選択スイッチ４２により、アニメーション表示禁止位置からアニメーション手動表示位置に切り換える操作を行うと、アニメーション表示を開始する。
このため、ユーザーの意思によりアニメーション表示の禁止を選択することができると共に、ユーザーの表示要求に応えて何時でもアニメーション表示を開始することができる。
【００６８】
(5) 前記アニメーション表示画像生成部（画像合成装置３６、図２のステップＳ１〜Ｓ７）は、前記車室内画像の透過度Tra_Nを段階的に高めてゆく過程で車室内画像の透過度Tra_Nが、前記透過表示画像生成部（画像合成装置３６、図２のステップＳ８）での半透明車室内画像を得る初期設定透過度Tra_Oに達するとアニメーション表示を終了し、前記透過表示画像生成部（画像合成装置３６、図２のステップＳ８）は、アニメーション表示の終了に引き続いて透過表示を自動的に開始する。
このため、アニメーション表示の終了域から死角映像透過表示の開始領域において、モニター表示映像が急変することなく連続的に繋がる映像表現となり、ユーザーに対し違和感を与えることを防止することができる。
【００６９】
(6) 運転者から死角となる車両周辺を撮像するカメラ（サイドカメラ１）から入力される実カメラ映像信号に基づき、モニター（外部モニター２）に死角映像を表示する車両用死角映像表示方法において、前記モニター（外部モニター２）への死角映像表示を意図してシステム起動操作を行うシステム起動操作手順と、前記システム起動操作をトリガーとし、不透明車室内映像状態から時間経過にしたがって段階的に浮かび上がってくる死角映像を見せるアニメーション映像を、前記モニター（外部モニター２）に画面表示するアニメーション表示手順と、前記アニメーション映像の表示終了をトリガーとし、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せる透過死角映像を、前記モニター（外部モニター２）に画面表示する透過表示手順と、を有する。
このため、カメラ起動時の安定化期間を利用し、不透明から半透明に至る映像を連続的に変化させて表示する手法により、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角解消による安全運転への寄与を、実効性を持たせて実現することができる。
【実施例２】
【００７０】
実施例２は、アニメーション表示に際し、カメラ映像による死角画像に代え、予め記憶されている記憶情報を読み出すことで取得した死角画像を用いるようにした例である。
【００７１】
まず、構成を説明する。
図４は、実施例２のシースルーサイドビューモニターシステムＡ２（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【００７２】
実施例２のシースルーサイドビューモニターシステムＡ２は、アニメーション表現する画像処理手法として、メモリ情報に基づく死角画像に、透過度を段階的に変化させた車室内画像を合成する単一レイヤ型半透過手法を採用した例である。このシステムＡ２は、図４に示すように、サイドカメラ１（カメラ）と、外部モニター２（モニター）と、画像処理コントロールユニット３（画像処理制御手段）と、外部操作部４と、を備えている。
【００７３】
前記画像処理コントロールユニット３は、図４に示すように、デコーダー３１と、画像メモリ３２と、周囲映像画像変形部３３（死角画像形成部）と、車体画像形成部３４（車室内画像形成部）と、制御装置（ＣＰＵ）３５と、画像合成装置３６（アニメーション表示画像生成部、透過表示画像生成部）と、エンコーダ３７と、最終画面用画像メモリ３８と、を備えている。
【００７４】
前記最終画面用画像メモリ３８は、カメラOFF時の死角画像を蓄えるメモリである。この最終画面用画像メモリ３８に記憶した死角画像は、次回のアニメーション表示の際、カメラON時からサイドカメラ１の初期安定化時間Tcを経過するまでの期間、カメラ映像による死角画像に代えて用いる。
なお、他の構成は、実施例１の図１と同様の構成であるので、対応する構成に同一符号を付して説明を省略する。
【００７５】
図５は、実施例２の画像処理コントロールユニット３にて実行されるアニメーション表示処理及び透過表示処理の流れを示すフローチャートである。以下、図５の各ステップについて説明する。なお、ステップＳ２１、ステップＳ２４〜ステップＳ２８の各ステップは、図２のステップＳ１、ステップＳ４〜ステップＳ８の各ステップと同様の処理を行うので説明を省略する。
【００７６】
ステップＳ２２では、ステップＳ２１でのカメラ電源ONに続き、半透明車室内画像データの透過度Tra_N＝０に設定すると共に、外部視点変換画像データとして、最終画面用画像メモリ３８に蓄えられているメモリ内容を用い、ステップＳ２３へ進む。
【００７７】
ステップＳ２３では、ステップＳ２でのTra_N＝０の設定とメモリ内容による外部映像の設定、あるいは、ステップＳ３０での表示画面に対する警告表示、あるいは、ステップ２７でのTra_N＜Tra_Oとの判断に続き、設定されている透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成により、モニター映像信号を生成し、外部モニター２に出力することで、モニター画面２１に外部視点変換映像と半透明車室内映像の合成映像を表示し、ステップＳ４へ進む。
なお、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcに達するまでは、カメラ映像に基づく外部視点変換画像データが無いため、前回のカメラOFF時において記憶した外部視点変換画像データに基づく外部視点変換映像と、透過度Tra_N＝０による車室内映像の合成映像が表示される。
【００７８】
ステップＳ２９では、ステップＳ２５でのＴ≦Tcであるとの判断に続き、表示画面に対し、フラッシング・赤枠囲み等の警告表示を行い、ステップＳ２３へ戻る。
【００７９】
ステップＳ３０では、ステップＳ２５でのＴ＞Tcであるとの判断に続き、外部視点変換画像データとして、サイドカメラ１からの現在のカメラ映像データに基づく外部視点変換画像データを用い、ステップＳ２６へ進む。
【００８０】
ステップＳ３１では、ステップＳ２８でのモニター画面２１に対する外部視点変換映像（死角映像）と透過度Tra_Oを用いた半透明車室内映像の合成映像表示に続き、サイドカメラ１の電源がOFFになったか否かを判断し、Yes（カメラ電源OFF）の場合はステップＳ３２へ進み、No（カメラ電源ON）の場合はステップＳ２８へ戻る。
【００８１】
ステップＳ３２では、ステップＳ３１でのカメラ電源OFFであるとの判断に続き、カメラ電源OFF時における表示画面の外部映像（最終の外部視点変換画像データ）を最終画面用画像メモリ３８に取り込み、終了へ進む。
【００８２】
次に、作用を説明する。
［アニメーション表示から透過表示への連続表示作用］
サイドカメラ１の電源をONとすると、図５のフローチャートにおいて、ステップＳ２１→ステップＳ２２→ステップＳ２３→ステップＳ２４→ステップＳ２５へと進み、ステップＳ２５において、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcを超えたと判断されるまでは、ステップＳ２３→ステップＳ２４→ステップＳ２５→ステップＳ２９へと進む流れが繰り返される。つまり、初期安定化時間Tcを超えるまでは、サイドカメラ１からのカメラ映像信号に基づく外部視点変換画像データが形成されないため、これに代えて、最終画面用画像メモリ３８に記憶されている外部視点変換画像データと、透過度Tra_N＝０を用いた車室内画像データによる合成映像がモニター画面２１に表示される。
但し、サイドカメラ１の初期安定化時間Tcを経過していない間は、今現在のカメラ映像では無くメモリに記憶された画像を用いているため、ステップＳ２９において、外部モニター２に表示される映像全体のフラッシングや赤枠の囲み表示、文字表示等、の表現手段により、現在の映像がリアルタイムの映像ではないことが警告される。
【００８３】
そして、ステップＳ２５において、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcを超えたと判断されると、図５のフローチャートにおいて、ステップＳ２５からステップＳ３０→ステップＳ２６へと進み、ステップＳ３０では、外部視点変換映像としてメモリ映像からカメラ映像に切り換えられ、ステップＳ２６では、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_N（＝Tra_N＋ΔTra）とされる。つまり、透過度Tra_N＝０から透過度Tra_N＝ΔTraに設定される。そして、設定された透過度Tra_Nが初期設定透過度Tra_O以上となるまでは、ステップＳ２６からステップＳ２７→ステップＳ２３→ステップＳ２４へと進み、設定された透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成による合成映像が、段階的表示のための設定時間Δｔが経過するまでモニター画面２１に表示される。
【００８４】
そして、段階的表示のための設定時間Δｔが経過すると、図５のフローチャートにおいて、ステップ２４からステップＳ２５→ステップＳ３０→ステップＳ２６へと進み、ステップＳ２６では、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_N（＝2ΔTra）とされる。つまり、透過度Tra_N＝ΔTraから透過度Tra_N＝2ΔTraに設定される。そして、設定された透過度Tra_Nが初期設定透過度Tra_O以上となるまでは、ステップＳ２６からステップＳ２７→ステップＳ２３→ステップＳ２４へと進み、設定された透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成による合成映像が、段階的表示のための設定時間Δｔが経過するまでモニター画面２１に表示される。
【００８５】
このように、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_Nとすることを繰り返し、半透明車室内画像データの半透明化を段階的表示のための設定時間Δｔ毎に段階的に進めてゆくことで、ステップＳ２７において、設定された透過度Tra_Nが初期設定透過度Tra_O以上であると判断されると、アニメーション表示を終了し、次の死角映像透過表示を行うステップＳ２８からステップＳ３１へと進み、ステップＳ３１にてカメラ電源OFFと判断されるまで、死角映像透過表示が継続される。
【００８６】
そして、ステップＳ３１にてカメラ電源OFFと判断されると、ステップＳ３２へ進み、カメラ電源OFF時における表示画面の外部映像（最終の外部視点変換画像データ）が最終画面用画像メモリ３８に取り込まれ、処理を終了する。
【００８７】
このように、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcを超えるまでは、カメラ映像に基づく外部視点変換画像データを持たず、この期間は、画像合成によるアニメーション動作を行うことができない。これに対し、実施例２は、初期安定化時間Tcの経過を待たずに画像合成によるアニメーション動作を行うことを可能とする。即ち、これら連続的な半透過画像のアニメーション動作は、運転者への透過型のサイドビューシステムの理解を深めてもらうことが目的であり、図3-5の半透過画像(3)に示される最終画面の段階で正確な外部カメラ映像を表示できれば良い。言い換えると、アニメーション動作中は、カメラ映像に基づくリアルタイムの死角映像で無くとも構わない訳である。
【００８８】
この点を考慮し、車載のカメラシステムがOFFされた時の画像を、最終画面用画像メモリ３８に蓄えておき（ステップＳ３２）、これをアニメーション表示開始領域での外部視点映像（死角映像）として利用する（ステップＳ２２）。この場合も実施例１と同様に、設定時間Δｔ毎に透過度Tra_Nを上げ（ステップＳ２６）、最終的に初期設定透過度Tra_Oへ達するまで順次映像表示を行う。この時、初期安定化時間Tcの経過後は、カメラの映像自身が安定化し使用可能となるため、初期安定化時間Tcの経過後は外部カメラ映像を用いで表示を行う（ステップＳ３０）。
なお、他の作用は、実施例１と同様であるので、説明を省略する。
【００８９】
次に、効果を説明する。
実施例２のシースルーサイドビューモニターシステムＡ２にあっては、実施例１の(1)〜(6)の効果に加え、下記の効果を得ることができる。
【００９０】
(7) 前記アニメーション表示画像生成部（画像合成装置３６、図５）は、前記カメラ（サイドカメラ１）の電源をオンとした時点から初期安定化時間Tcを経過するまでの間、予め記憶されている記憶情報を読み出すことで取得した死角画像を用いて前記モニター（外部モニター２）への表示画像を生成する。
このため、カメラ（サイドカメラ１）の初期安定化時間Tcを経過するのを待つことなく、死角映像と車室内映像の合成映像表示によるアニメーション動作を、カメラ（サイドカメラ１）の電源がオンにされると同時に開始することができる。
【実施例３】
【００９１】
実施例３は、単一レイヤ型の半透過手法による実施例１，２に対し、複数の平面レイヤ型の半透過手法によりアニメーション表現を行うようにした例である。
【００９２】
まず、構成を説明する。
図６は、実施例３のシースルーサイドビューモニターシステムＡ３（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【００９３】
実施例３のシースルーサイドビューモニターシステムＡ３は、アニメーション表現する画像処理手法として、段階的に分解した多層構造による複数のレイヤを持ち、レイヤ毎に透過度を変化させてアニメーション動作を表現する複数レイヤ型半透過手法を採用した例である。このシステムＡ３は、図６に示すように、サイドカメラ１（カメラ）と、外部モニター２（モニター）と、画像処理コントロールユニット３（画像処理制御手段）と、外部操作部４と、を備えている。
【００９４】
前記画像処理コントロールユニット３は、図６に示すように、デコーダー３１と、画像メモリ３２と、周囲映像画像変形部３３（死角画像形成部）と、車体画像形成部３４（車室内画像形成部）と、制御装置（ＣＰＵ）３５と、画像合成装置３６（アニメーション表示画像生成部、透過表示画像生成部）と、エンコーダ３７と、最終画面用画像メモリ３８と、を備えている。
【００９５】
この実施例３は、車体画像形成部３４の中で複数のレイヤに対応可能な画像メモリを増設した構成としている。ここで、透過する画像レイヤとしては、レイヤ１，レイヤ２，レイヤ３の３層を持ち、外部視点変換映像用にレイヤ４の１層を持つ、計４層構造によるシステムを採用している（図7-5参照）。
【００９６】
すなわち、前記車体画像形成部３４には、画像メモリとして、レイヤ１用ワークメモリ３４ａと、レイヤ２用ワークメモリ３４ｂと、レイヤ３用ワークメモリ３４ｃを増設している。そして、前記レイヤ１用ワークメモリ３４ａには、図7-1に示すように、透過度がゼロのレイヤ１用車室内画像を記憶設定し、前記レイヤ２用ワークメモリ３４ｂには、図7-2に示すように、透過度がゼロのレイヤ２用ドア内部映像(1)を記憶設定し、前記レイヤ３用ワークメモリ３４ｃには、図7-3に示すように、透過度がゼロのレイヤ３用ドア内部映像(2)を記憶設定している。
【００９７】
さらに、前記周囲映像画像変形部３３には、図7-4に示すように、外部視点変換映像を生成するレイヤを設定している。そして、これら４層の映像は、図7-5に示すように、概念上重なっており、各々の層で定義されている透過度を用い、多層間でのαブレンドを行うことで、結果的に半透過状態の映像を形成している。
【００９８】
前記最終画面用画像メモリ３８は、実施例２と同様に、カメラOFF時の死角画像を蓄えるメモリである。この最終画面用画像メモリ３８に記憶した死角画像は、次回のアニメーション表示の際、カメラON時からサイドカメラ１の初期安定化時間Tcを経過するまでの期間、カメラ映像による死角画像に代えて用いる。
なお、他の構成は、実施例１の図１と同様の構成であるので、対応する構成に同一符号を付して説明を省略する。
【００９９】
次に、作用を説明する。
［アニメーション表示から透過表示への連続表示作用］
実施例１，２の単一レイヤ型では、外部映像と車室内映像の２つのレイヤ構造を持つシステムにより、徐々に透明化する状況をアニメーション化し表示していた。
これに対し、実施例３の複数レイヤ型半透過手法では、車室内画像だけではなく、ドアやインパネ内部を段階的に分解した映像を用いて、よりリアルな透過動作を表現しようとするものである。
【０１００】
図8-1〜図8-9に動作イメージを示す。図中の(1)〜(4)の数値は、図7-5の各レイヤを意味しているものとする。
最初は、図8-1に示すように、レイヤ(1)が100％（透過度0％）として車室内画像の表示を開始する。そして、レイヤ(1)と次のレイヤ層であるレイヤ(2)との間で順次透過度を変化させてゆき、レイヤ(1)の車室内画像を透過してレイヤ(2)のドア内部映像(1)を表示するように移行する。すなわち、２段階目は、図8-2に示すように、レイヤ(1)の車室内画像が80%でレイヤ(2)のドア内部映像(1)が20%の表示とする。３段階目は、図8-3に示すように、レイヤ(1)の車室内画像が30%でレイヤ(2)のドア内部映像(1)が70%の表示とする。４段階目は、図8-4に示すように、レイヤ(1)の車室内画像が10%でレイヤ(2)のドア内部映像(1)が90%の表示とする。
【０１０１】
そして、現時点のレイヤ(2)の次に内層であるレイヤ(3)との間で透過度を変化させてゆき、レイヤ(2)のドア内部映像(1)を透過してレイヤ(3)のドア内部映像(2)を表示するように移行する。すなわち、５段階目は、図8-5に示すように、レイヤ(1)の車室内画像が10%でレイヤ(2)のドア内部映像(1)が70%でレイヤ(3)のドア内部映像(2)が20%の表示とする。６段階目は、図8-6に示すように、レイヤ(2)のドア内部映像(1)が20%でレイヤ(3)のドア内部映像(2)が80%の表示とする。
【０１０２】
そして、現時点のレイヤ(3)の次に内層であるレイヤ(4)との間で透過度を変化させてゆき、レイヤ(3)のドア内部映像(2)を透過してレイヤ(4)の外部視点変換映像を表示するように移行する。すなわち、７段階目は、図8-7に示すように、レイヤ(3)のドア内部映像(2)が70%でレイヤ(4)の外部視点変換映像が30%の表示とする。８段階目は、図8-8に示すように、レイヤ(3)のドア内部映像(2)が30%でレイヤ(4)の外部視点変換映像が70%の表示とする。
【０１０３】
そして、最終的には、外の映像であるレイヤ(4)の外部視点変換映像が主になった時点で、レイヤ(3)のドア内部映像(2)を、レイヤ(1)の車室内画像に置き換え、図8-9に示すように、レイヤ(1)の車室内画像が15%でレイヤ(4)の外部視点変換映像が85%による通常の透過型サイドビュー画面を表示する。
【０１０４】
上記のように、実施例３では、実施例１，２の単一レイヤ型に比べ、何層かのレイヤ構造を利用した透明画像になるため、より説得力が増し、ユーザーの合成画像に対する理解が深まり、システムの直感的な理解がより容易になる。
なお、この実施例３では、隣り合うレイヤ間でのみαブレンドによる半透過画像の形成を述べたが、これに拘る必要は無く、３種類以上の多層間でのブレンドによる画像を形成しても良い。
また、実施例２の図５に示すように、以上の動作をカメラ立ち上がり遅延時間である初期安定化時間Tcの間に表示することで、立ち上がりまでに生じる待ち時間のイライラを軽減する効果も狙える。
なお、他の作用は、実施例１と同様であるので、説明を省略する。
【０１０５】
次に、効果を説明する。
実施例３のシースルーサイドビューモニターシステムＡ３にあっては、実施例１の(1),(3)〜(5),(7)の効果に加え、下記の効果を得ることができる。
【０１０６】
(8) 前記アニメーション表示画像生成部（画像合成装置３６）は、車室内画像と死角画像を含む複数のレイヤを用意し、該複数のレイヤを車室内画像から死角画像に至るまで順に多層に組み合わせたレイヤ構造をソース画像として設定し、アニメーション表示が開始されると、各々のレイヤの透過度を変化させる画像合成により、開始時の不透明車室内画像から段階的に車室内画像を透過し死角画像へ向かう表示画像を生成する。
このため、単一レイヤ型に比べてより説得力が増し、ユーザーの合成画像に対する理解が深まり、システムの直感的な理解をより容易にすることができる。
【実施例４】
【０１０７】
実施例４は、空間情報を用いて各部品を立体的に構成し、その構成部品をカットモデルのように輪切りにした形で半透過画像を形成する立体形状型半透過手法による例である。
【０１０８】
まず、構成を説明する。
図９は、実施例４のシースルーサイドビューモニターシステムＡ４（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【０１０９】
実施例４のシースルーサイドビューモニターシステムＡ４は、アニメーション表現する画像処理手法として、空間情報を用いて車体部品を立体的に把握すると共に、立体的な車体部品を垂直にカットするスクリーンを仮想的に設定し、このスクリーンを外側に向かって段階的に移動させ、このとき、スクリーンで切り取られた手前側を半透明とし外側を不透明とすることによりアニメーション動作を表現する立体形状型半透過手法を採用した例である。このシステムＡ４は、図９に示すように、サイドカメラ１（カメラ）と、外部モニター２（モニター）と、画像処理コントロールユニット３（画像処理制御手段）と、外部操作部４と、を備えている。
【０１１０】
前記画像処理コントロールユニット３は、図９に示すように、デコーダー３１と、画像メモリ３２と、周囲映像画像変形部３３（死角画像形成部）と、車体画像形成部３４（車室内画像形成部）と、制御装置（ＣＰＵ）３５と、画像合成装置３６（アニメーション表示画像生成部、透過表示画像生成部）と、エンコーダ３７と、最終画面用画像メモリ３８と、を備えている。
【０１１１】
前記車体画像形成部３４は、3D-CADデータのような空間情報を用いて各部品を立体的に表現している。例えば、立体的に表現されている各部品は、各々の部品映像をテクスチャとして全面に貼り付けられており、また、空間的な位置関係も考慮され、ドアの内装の内側にドアスピーカーや内部構造材の鉄板が配置されている形となっている。
【０１１２】
前記車体画像形成部３４には、移動スクリーンメモリ３４ｄが増設されている。この移動スクリーンメモリ３４ｄには、車室内の運転者視点（仮想視点）位置から一定の距離に垂直に立てられた仮想平面または仮想曲面によるスクリーンを有する。
【０１１３】
そして、段階的に外に向かって移動するスクリーンを透過画面のトリガーとし、この仮想平面や仮想曲面によるスクリーンが、立体表現された車体構造を切断し、その断面の手前側を透過映像で表現し、外側を非透過映像で表現する。
【０１１４】
前記最終画面用画像メモリ３８は、実施例２と同様に、カメラOFF時の死角画像を蓄えるメモリである。この最終画面用画像メモリ３８に記憶した死角画像は、次回のアニメーション表示の際、カメラON時からサイドカメラ１の初期安定化時間Tcを経過するまでの期間、カメラ映像による死角画像に代えて用いる。
なお、他の構成は、実施例１の図１と同様の構成であるので、対応する構成に同一符号を付して説明を省略する。
【０１１５】
次に、作用を説明する。
［アニメーション表示から透過表示への連続表示作用］
実施例３の手法は、レイヤ毎にそのレイヤ全体の透過率を変化させブレンドして行くことで合成画像を得る、いわば平面的なレイヤ型によるものであった。
これに対し、実施例４では、3D-CADデータのような、空間情報を用いて各部品を立体的に構成し、その構成部品をカットモデルのように輪切りにした形で半透過画像を形成して行こうとするものである。
【０１１６】
具体的には、空間形状のデータを加味することで、図１０に示すように、立体を輪切りにした手前側は切り取り、その中身が覗けるイメージである。この輪切りにする位置を順次外へと移動することで、結果的に半透過映像を得ようとするものである。
【０１１７】
まず、車室内の運転者視点（仮想視点）位置から一定の距離に仮想平面や仮想曲面によるスクリーンを垂直に立てる。このスクリーンを透過画面のトリガーとし、スクリーンが立体を切断すると、その断面の手前側を透過映像で表現し、断面の外側を非透過映像で表現する。立体的に表現されている各部品は、各々の部品映像をテクスチャとして全面に貼り付けられており、また、空間的な位置関係も考慮され、ドアの内装の内側にドアスピーカーや内部構造材の鉄板が配置されている形となっているため、ドア内装の一部がスクリーンで切断され透明となっている場合、その場所から、内部のスピーカーなどが透けて見えている形で表現されることになる。この仮想平面を外側へと順次移動して行く。
【０１１８】
結果として、タマネギを垂直にカットして行く時のように、年輪状に何枚ものテクスチャの重なった透過映像となる。このように、立体で捉えた車体構造をスクリーンにより輪切りにカットしてゆくアニメーション表現になるため、実施例１，２の単一レイヤ型に比べ、より説得力が増し、ユーザーの合成画像に対する理解が深まり、システムの直感的な理解がより容易になる。
【０１１９】
ここで、外部センサーとの連動によりタイヤの切れ角、ミラーの傾き、ウィンドウガラスの位置等の可動部品の現在の位置関係を立体的に再現し表示して、その状態を前述のような透過処理を施しても構わない。
また、簡易的には、輪切りにする構成部品は大雑把なものでも良く、実施例３に述べている複数枚のレイヤの映像のみをテクスチャとして貼り付けることで部品を構成しても良い。つまり、同レイヤ映像の部品群に対応する凹凸の立体空間情報があれば、その立体に対しテクスチャとして前面のみに貼り付け、それを垂直な平面で輪切りにして行くような構成でも問題は無い。
なお、他の作用は、実施例１と同様であるので、説明を省略する。
【０１２０】
次に、効果を説明する。
実施例４のシースルーサイドビューモニターシステムＡ４にあっては、実施例１の(1),(3)〜(5),(7)の効果に加え、下記の効果を得ることができる。
【０１２１】
(9) 前記アニメーション表示画像生成部（画像合成装置３６）は、前記車室内画像に立体的な情報を加味し、立体的な車室内画像を、車室内の手前側から外側へ移動して切り取る平面または曲面のスクリーンを仮想的に設定し、アニメーション表示が開始されると、前記スクリーンを手前側から外側へ段階的に移動させ、この移動の際にスクリーンで切り取られた手前側を半透明とし外側を不透明とすることにより、開始時の不透明車室内画像から段階的に車室内画像を透過し死角画像へ向かう表示画像を生成する。
このため、単一レイヤ型に比べてより説得力が増し、ユーザーの合成画像に対する理解が深まり、システムの直感的な理解をより容易にすることができる。
【０１２２】
以上、本発明の車両用死角映像表示システムと車両用死角映像表示方法を実施例１〜実施例４に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【０１２３】
実施例１〜４では、モニター映像のみでシステム理解度を深めようとする手段の例を示した。しかし、実施例１〜４の各例のモニター映像生成手法に、音声での説明を追加する音声追加型手法を加える構成を採用し、モニター映像と音声の両方によりシステム理解度を深めるようにしても勿論良い。
【０１２４】
実施例１〜４では、外部操作部４として、システム起動スイッチ４１とモード選択スイッチ４２を有する例を示した。しかし、外部操作部４に対し、例えば、車室内画像の初期設定透過度を、手動操作により任意に調整操作する機能を持たせても良い。また、例えば、スーパーインポーズされる車室内画像の全体色相を、手動操作により任意に調整操作する機能を持たせても良い。
【０１２５】
実施例１〜４では、車両周辺画像表示システムとして、車両左側方の死角領域の映像を取得するサイドカメラを用いたシースルーサイドビューモニターシステムの例を示した。しかし、車両後方の死角領域の映像を取得するバックカメラを用いたシースルーバックビューモニターシステムの例としても良い。また、車両前方の死角領域の映像を取得するフロントカメラを用いたシースルーフロントビューモニターシステムの例としても良い。さらに、車両全周囲の死角領域の映像を取得する全周囲カメラを用いたシースルーアラウンドビューモニターシステムの例としても良い。さらに、車両周辺画像表示システムとしては、外部モニターを共用し、サイドビューとバックビューとフロントビュー等のうち、何れかを選択できるモニターシステム、あるいは、所定の条件にて自動的に切り換えられるモニターシステムに対しても適用することができる。
【符号の説明】
【０１２６】
Ａ１，Ａ２，Ａ３，Ａ４ シースルーサイドビューモニターシステム（車両用死角映像表示システムの一例）
１ サイドカメラ（カメラ）
１１ 撮像素子
２ 外部モニター（モニター）
２１ モニター画面
３ 画像処理コントロールユニット（画像処理制御手段）
３１ デコーダー
３２ 画像メモリ
３３ 周囲映像画像変形部（死角画像形成部）
３４ 車体画像形成部（車室内画像形成部）
３４ａ レイヤ１用ワークメモリ
３４ｂ レイヤ２用ワークメモリ
３４ｃ レイヤ３用ワークメモリ
３４ｄ 移動スクリーンメモリ
３５ 制御装置（ＣＰＵ）
３６ 画像合成装置（アニメーション表示画像生成部、透過表示画像生成部）
３７ エンコーダ
３８ 最終画面用画像メモリ
４ 外部操作部
４１ システム起動スイッチ
４２ モード選択スイッチ
【技術分野】
【０００１】
本発明は、モニターに死角映像を表示する際、あたかも半透明車室内映像を透過して運転者の視点位置から見た死角映像を見せるようにした車両用死角映像表示システムと車両用死角映像表示方法に関する。
【背景技術】
【０００２】
現在、実用化されているサイドビューモニターシステムは、サイドミラーの内部にサイドカメラ（CCDカメラ等）を設定し、ナビゲーションシステムと兼用されるフロントディスプレイユニットのモニター画面に、サイドカメラからの実カメラ映像を表示している。つまり、モニター画面に、運転者の死角となる車両の前部側方部分を表示することで、運転者が死角となる部分の状況を認識できるようにしている。
【０００３】
しかしながら、サイドカメラがサイドミラーの内部に配置されているため、カメラ視点と運転者視点の間に大きな視差（1m〜2m程度の視差）を有し、障害物やその他の物体形状は、カメラ映像での形状と運転者の席から見える形状とが全く違うものとなる。
【０００４】
これに対し、通常の場合には、運転者自身の慣れにより、カメラ映像を頭の中で再構成し、物体の位置関係を再構築して判断することにより、運転者自身の見ている映像との整合性を取っている。一方、不慣れな運転者の場合や咄嗟の場合には、画面映像と運転者の席から見える映像との整合性が崩れて違和感を生じる。
【０００５】
このような違和感を解消するため、車体外側に設けられた死角カメラにより得られるカメラ映像信号を、あたかも運転者の視点位置から見た仮想カメラ映像へと画像変換して変換外部画像を生成する。また、運転者の視点位置近くに設けられた運転者視点カメラにより得られるカメラ映像から、死角領域を除いた視認領域画像を生成する。そして、視認領域画像から除かれた死角領域に変換外部画像を合成した合成画像を得る車両用死角映像表示システムが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開2004−350303号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の車両用死角映像表示システムにあっては、下記に列挙するような問題があった。
【０００８】
(1) 主に２つのカメラ映像を切り出し合成することと、同映像の窓枠等のエッジ部分を強調検知し、これを用いてスーパーインポーズを行うことで死角の解消と違和感の解消に努めていたが、そのことにも限界はあり、映像に違和感を生じてしまう。
【０００９】
(2) 例として述べているような、仰角・俯角方向の上下方向に対する広角な死角カメラを用いた場合、室内カメラ（運転者視点カメラ）の視界を十分カバーしており、室内カメラの映像の死角解消への寄与は、トランク上部等の一部の視界のみであり、システム的に無駄な部分が多い。
【００１０】
(3) カメラ映像を合成する際に使用されているエッジ強調によるスーパーインポーズ枠は、画像処理機能の追加を必要とするものであるにも拘らず、運転者へ対して車両の死角部分を見ているとの認識を与えるのに、その効果が不十分である。
【００１１】
そこで、本出願人は、先に、車載カメラから入力される実カメラ映像信号を、運転者の視点位置から見た仮想カメラ画像に視点変換し、この仮想カメラ画像に、半透明化した車室内画像を重畳させる画像合成により、半透明車室内画像を透過して仮想カメラ画像を表現する車両用死角映像表示システムを提案した（特願２００８−３９３９５号：平成２０年２月２０日出願）。
【００１２】
上記の提案によれば、実車両の本来見えない部分を映し出している映像が、運転者の位置から見た場合、どのように見えるかを演算し、画像変換処理を行うことで、違和感の少ない死角映像を提供している。これは、便宜的にドア含めた車室内画像を透過して外を見ているような半透過映像を模しており、咄嗟の際に非常に感覚的に判りやすい映像表現を目指しており、安全運転に寄与していた。
【００１３】
しかしながら、上記提案を用いたシステムを実際に運用する際、次のような視認性の問題が生じていた。
被験者を用いた実験結果から判明したことであるが、半透過映像を見せても咄嗟に理解できない人々が年長者を含めて一部存在することがわかった。
例えば、サイドミラーの映像を視点変換し、本来なら見えない筈の死角映像を半透過した状態として映像を表現している旨の解説を行うと、ほぼ100人中100人が理解し、その有用性を認めて頂ける。しかし、その説明をしない場合、極一部の人々はその映像が何であるか判らず理解できない。
つまり、同提案の主目的である「感覚的に判りやすい映像表現を用いた死角解消による安全運転への寄与」が実現できない場合があることが判明した。
【００１４】
この原因を、被験者の情報から類推すると、モニターで表示される半透過映像に対し、単純に平面的な映像として捉えてしまい、本来、空間的な映像を表現しているモニターの映像と脳内の空間認識との間に相関性が働かず、空間認識が一致しないらしい。
また、半透過部分の車室内映像が、その目的から透過率を高めに設定してあったため、半透過映像部分を構成している車室内映像が視認し難く、車内から外を見ている表現が伝わり難かったことに起因していた。しかし、同透過映像の透過率を下げると、今度は肝心の死角映像が見え難くなってしまう、という問題が生じてしまう。
【００１５】
また、カメラシステム全体の問題として、省エネ効果を得るため、システム動作開始時にカメラ電源をONにすることが多い。しかし、この場合、カメラの起動時間にタイムラグがあるため、モニター表示画面が実際のカメラ映像を映し出すまでに遅れが生じ、ブルーバックや黒画面を表示し続けることが多かった。
【００１６】
本発明は、上記問題に着目してなされたもので、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角解消による安全運転への寄与を、実効性を持たせて実現することができる車両用死角映像表示システムと車両用死角映像表示方法を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するため、本発明の車両用死角映像表示システムでは、運転者から死角となる車両周辺を撮像するカメラと、車室内位置に設定したモニターと、前記カメラから入力される実カメラ映像信号に基づく画像処理により前記モニターへのモニター映像信号を生成する画像処理制御手段と、を備えている。
この車両用死角映像表示システムにおいて、前記画像処理制御手段は、
前記カメラから入力される実カメラ映像信号を運転者の視点位置から見た死角画像に視点変換する死角画像形成部と、
運転者の視点位置から見た車室内画像を形成する車室内画像形成部と、
前記死角画像に重畳する前記車室内画像を半透明車室内画像にする透過表示画像生成部と、
前記死角画像に重畳する前記車室内画像を不透明な画像から透過画像へと段階的に移行させるアニメーション表示画像を生成するアニメーション表示画像生成部と、
を有する。
【発明の効果】
【００１８】
よって、本発明の車両用死角映像表示システムにあっては、半透明車室内映像を透過して死角映像を見せる透過表示とは別に、死角画像に重畳する車室内画像を不透明な画像から透過画像へと段階的に移行させる画像処理により、車室内映像の中から次第に死角映像が浮かび上がってくるように見せるアニメーション表示を行う機能を追加している。
すなわち、半透明車室内映像を透過して運転者の視点位置から見た死角映像を見せたとしても、モニター映像が何を表しているのか咄嗟に理解できないユーザーが一部存在する。
これに対し、例えば、死角映像の透過表示に先行してユーザーにアニメーション表示を見せる、あるいは、ユーザーの意図によりアニメーション表示を見ることで、外部モニターに映し出されるモニター映像が、半透明車室内映像を透過して表示される死角映像であることを、ユーザーに対し容易に理解してもらうことができる。
この結果、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角解消による安全運転への寄与を、実効性を持たせて実現することができる。
【図面の簡単な説明】
【００１９】
【図１】実施例１のシースルーサイドビューモニターシステムＡ１（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【図２】実施例１のシースルーサイドビューモニターシステムＡ１における制御装置にて実行されるアニメーション表示制御処理の流れを示すフローチャートである。
【図３−１】実施例１においてサイドカメラの映像を運転者位置から見た映像に視点変換した外部視点変換映像の一例を示す図である。
【図３−２】実施例１において運転者視点から見た車室内画像の一例を示す図である。
【図３−３】実施例１において外部視点変換映像と20%程度透過した半透過車室内画像を合成した半透過合成画像(1)の一例を示す図である。
【図３−４】実施例１において外部視点変換映像と50%程度透過した半透過車室内画像を合成した半透過合成画像(2)の一例を示す図である。
【図３−５】実施例１において外部視点変換映像と初期設定透過度に透過した半透過車室内画像を合成した半透過合成画像(3)の一例を示す図である。
【図４】実施例２のシースルーサイドビューモニターシステムＡ２（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【図５】実施例２のシースルーサイドビューモニターシステムＡ２における制御装置にて実行されるアニメーション表示制御処理の流れを示すフローチャートである。
【図６】実施例３のシースルーサイドビューモニターシステムＡ３（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【図７−１】実施例３において運転者視点から見たレイヤ1用車室内画像の一例を示す図である。
【図７−２】実施例３において運転者視点から見たレイヤ2用ドア内部映像(1)の一例を示す図である。
【図７−３】実施例３において運転者視点から見たレイヤ3用ドア内部映像(2)の一例を示す図である。
【図７−４】実施例３においてサイドカメラの映像を運転者位置から見た映像に視点変換した外部視点変換映像の一例を示す図である。
【図７−５】実施例３において内装画像のレイヤ(1)と内部画像1のレイヤ(2)と内部画像2のレイヤ(3)と外部映像のレイヤ(4)による画面構成概念の一例を示す斜視図である。
【図８−１】実施例３において画面構成を内装画像のレイヤ(1)のみ100％とした合成画像例を示す図である。
【図８−２】実施例３において画面構成を内装画像のレイヤ(1)80％と内部画像1のレイヤ(2)20%とした合成画像例を示す図である。
【図８−３】実施例３において画面構成を内装画像のレイヤ(1)30％と内部画像1のレイヤ(2)70%とした合成画像例を示す図である。
【図８−４】実施例３において画面構成を内装画像のレイヤ(1)10％と内部画像1のレイヤ(2)90%とした合成画像例を示す図である。
【図８−５】実施例３において画面構成を内部画像1のレイヤ(2)70%と内部画像2のレイヤ(3)30%とした合成画像例を示す図である。
【図８−６】実施例３において画面構成を内部画像1のレイヤ(2)20%と内部画像2のレイヤ(3)80％とした合成画像例を示す図である。
【図８−７】実施例３において画面構成を内部画像2のレイヤ(3)70%と外部映像のレイヤ(4)30％とした合成画像例を示す図である。
【図８−８】実施例３において画面構成を内部画像2のレイヤ(3)30%と外部映像のレイヤ(4)70％とした合成画像例を示す図である。
【図８−９】実施例３において画面構成を内装画像のレイヤ(1)15%と外部映像のレイヤ(4)85％とした合成画像例を示す図である。
【図９】実施例４のシースルーサイドビューモニターシステムＡ４（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【図１０】実施例４のシースルーサイドビューモニターシステムＡ４において空間情報を用いて立体的に表した構成部品をカットモデルのように輪切りにした形で半透明画像を形成する立体透過イメージを示す斜視図である。
【発明を実施するための形態】
【００２０】
以下、本発明の車両用死角映像表示システムと車両用死角映像表示方法を実現する最良の形態を、図面に示す実施例１〜実施例４に基づいて説明する。
なお、実施例１〜実施例４では、透過型の車両用死角映像表示システムとして、サイドカメラを用い、運転者の死角となる車両の前部側方部分のサイドカメラ映像を、車室内から車体を透過した映像として外部モニターに表示する「シースルーサイドビューモニターシステム」に特化した形で説明する。
【実施例１】
【００２１】
まず、構成を説明する。
図１は、実施例１のシースルーサイドビューモニターシステムＡ１（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【００２２】
実施例１のシースルーサイドビューモニターシステムＡ１は、アニメーション表現する画像処理手法として、実カメラ映像信号に基づく死角画像に、透過度を段階的に変化させた車室内画像を合成する単一レイヤ型半透過手法を採用した例である。このシステムＡ１は、図１に示すように、サイドカメラ１（カメラ）と、外部モニター２（モニター）と、画像処理コントロールユニット３（画像処理制御手段）と、外部操作部４と、を備えている。
【００２３】
前記サイドカメラ１は、左サイドミラーに内蔵、あるいは、左サイドミラー付近に配置することで取り付けられ、運転者の死角となる車両の前部側方部分を撮像する。このサイドカメラ１は、内蔵された撮像素子１１（CCD,CMOS等）により、カメラレンズの光軸上に存在する車両の前部側方部分の実カメラ映像信号を取得する。
【００２４】
前記外部モニター２は、運転者が視認できる車室内位置（例えば、インストルメントパネル位置等）に設定される。この外部モニター２には、液晶ディスプレイや有機ELディスプレイ等によるモニター画面２１を有し、画像処理コントロールユニット３により生成されたモニター映像信号を入力して映像表示する。ここで、外部モニター２としては、シースルーサイドビューモニターシステムＡ１に専用のモニターを設定しても良い。また、死角解消用のカメラシステムに専用のモニターを設定しても良い。また、ナビゲーションシステム等、他のシステムのモニターを流用しても良い。
【００２５】
前記画像処理コントロールユニット３は、サイドカメラ１から入力される実カメラ映像信号に加え、外部操作部４からの入力情報に基づき、設定された画像処理プログラムにしたがって画像変形・画像形成・画像合成等の画像処理を行い、前記外部モニター２へのモニター映像信号を生成する。
【００２６】
前記外部操作部４は、システム起動時にON操作するシステム起動スイッチ４１と、アニメーション自動表示位置・アニメーション表示禁止位置・アニメーション手動表示位置を切り換え選択するモード選択スイッチ４２と、を有する。この外部操作部４としては、外部モニター２のモニター画面２１に表示されるタッチパネルスイッチによる構成としても良いし、外部モニター２の外周位置に設定される操作ボタンや操作ダイヤル等の構成としても良い。
【００２７】
前記画像処理コントロールユニット３は、図１に示すように、デコーダー３１と、画像メモリ３２と、周囲映像画像変形部３３（死角画像形成部）と、車体画像形成部３４（車室内画像形成部）と、制御装置（ＣＰＵ）３５と、画像合成装置３６（アニメーション表示画像生成部、透過表示画像生成部）と、エンコーダ３７と、を備えている。以下、各構成要素の説明をする。
【００２８】
前記デコーダー３１は、サイドカメラ１から入力される実カメラ映像信号を、アナログ／デジタル変換し、実カメラ画像データを生成する。
【００２９】
前記画像メモリ３２は、デコーダー３１からのデジタル変換された実カメラ画像データを一時的に蓄える。
【００３０】
前記周囲映像画像変形部３３は、制御装置３５からの指令に基づき、画像メモリ３２から入力されるデジタル変換された実カメラ画像データを、視点変換処理により、運転者の視点付近に配置した仮想カメラから見た外部視点変換画像データに変形する。この周囲映像画像変形部３３では、画像処理として、実カメラ画像データによる周囲映像の視点変換処理を行うと共に、他の各種画像処理（輝度調整・色味補正・エッジ補正等）を併せて行うようにしても良い。
【００３１】
前記車体画像形成部３４は、周囲映像画像変形部３３からの外部視点変換画像データに画像合成（スーパーインポーズ）する半透明車室内画像データを形成する。この車体画像形成部３４では、運転者の視点から予め撮影された不透明な車室内画像データを用意しておき、制御装置３５からの透過度指令に基づくαブレンド処理により、透過度が異なる半透明車室内画像データを形成する。この半透明車室内画像データは、車室内画像データの全体透過度を異ならせたものではなく、死角映像を透過するのに好ましい領域として設定したドアやインストルメントパネル等の車体領域についてのみ透過度を異ならせる「半透明部分」としている。そして、フロントウインドウやドアウインドウによる窓領域は、透過度100%の「透明部分」とし、自車両を道路面に投影した投影領域は、透過度0%の「不透明部分」としている。
【００３２】
前記制御装置３５は、外部操作部４からの入力情報に応じて画像処理に関する全ての情報処理と制御出力を管理する中央演算処理装置（ＣＰＵ）であり、周囲映像画像変形部３３と車体画像形成部３４と画像合成装置３６に対する制御指令により、アニメーション表示制御や死角映像透過表示制御を行う制御プログラムが設定されている。なお、この制御装置３５には、例えば、外部映像輝度追従表示制御・輝度急変対応表示制御・色相変換表示制御・警告表示制御等の他の画像処理制御を行う制御プログラムも設定されている。
【００３３】
前記画像合成装置３６は、周囲映像画像変形部３３からの外部視点変換画像データに、車体画像形成部３４からの半透明車室内画像データを重畳させる画像合成処理により合成画像データを生成する。例えば、アニメーション表示制御を行う場合、外部視点変換画像データに、段階的に透過度を増してゆく車室内画像データを重畳させて合成画像データを生成する。例えば、死角映像透過表示制御を行う場合、外部視点変換画像データに、設定した透過度による半透明車室内画像データを重畳させて合成画像データを生成する。
【００３４】
前記エンコーダ３７は、画像合成装置３６から合成画像データを入力し、合成画像データのデジタル／アナログ変換を経て、外部モニター２へモニター映像信号を出力する。例えば、アニメーション表示制御を行う場合には、モニター画面２１上の映像表現で、不透明車室内映像状態から時間経過にしたがって死角映像が次第に浮かび上がってくるように表現するモニター映像信号を出力する。例えば、死角映像透過表示制御を行う場合には、モニター画面２１上の映像表現で、あたかも半透明車室内映像を透過して運転者から見た死角映像を表現するモニター映像信号を出力する。
【００３５】
図２は、実施例１の画像処理コントロールユニット３にて実行されるアニメーション表示処理及び透過表示処理の流れを示すフローチャートである。以下、図２の各ステップについて説明する。
【００３６】
ステップＳ１では、サイドカメラ１の電源がONか否かを判断し、YES（カメラON）の場合はステップＳ２へ進み、NO（カメラOFF）の場合はステップＳ１の判断を繰り返す。
ここで、サイドカメラ１の電源がONになるのは、下記の操作パターンのときである。
・モード選択スイッチ４２によるアニメーション自動表示位置の選択状態で、システム起動スイッチ４１をON操作したとき。
・モード選択スイッチ４２によるアニメーション表示禁止位置の選択状態で、システム起動スイッチ４１のON操作とアニメーション手動表示位置への切り換え操作をしたとき。
なお、本システムは、省エネルギー効果を得るため、カメラ電源をシステム起動操作と連動させているもので、システム起動操作を開始したときにカメラ電源をONとする。
【００３７】
ステップＳ２では、ステップＳ１でのカメラ電源ONに続き、半透明車室内画像データの透過度Tra_N＝０に設定し、ステップＳ３へ進む。
【００３８】
ステップＳ３では、ステップＳ２でのTra_N＝０設定、あるいは、ステップＳ５でのＴ≦Tcであるとの判断、あるいは、ステップ７でのTra_N＜Tra_Oとの判断に続き、設定されている透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成により、モニター映像信号を生成し、外部モニター２に出力することで、モニター画面２１に外部視点変換映像と半透明車室内映像の合成映像を表示し、ステップＳ４へ進む。
なお、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcに達するまでは、カメラ映像に基づく外部視点変換画像データが無いため、合成映像ではなく透過度Tra_N＝０による車室内映像（単独映像）が表示される。
【００３９】
ステップＳ４では、ステップＳ３での透過度Tra_Nを用いた合成映像の表示に続き、今回の合成映像を表示したままで段階的表示のための設定時間Δｔが経過するのを待ち、ステップＳ５へ進む。
【００４０】
ステップＳ５では、ステップＳ４での段階的表示のための設定時間Δｔの経過に続き、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcを超えたか否かを判断し、Yes（Ｔ＞Tc）の場合はステップＳ６へ進み、No（Ｔ≦Tc）の場合はステップＳ３へ戻る。
【００４１】
ステップＳ６では、ステップＳ５でのＴ＞Tcであるとの判断に続き、今回の透過度Tra_Nに設定透過度ΔTraを加え、次回の透過度Tra_N（＝Tra_N＋ΔTra）とし、ステップＳ７へ進む。
【００４２】
ステップＳ７では、ステップＳ６での次回の透過度Tra_Nの設定に続き、設定された透過度Tra_Nが初期設定透過度Tra_O以上であるか否かを判断し、Yes（Tra_N≧Tra_O）の場合はステップＳ８へ進み、No（Tra_N＜Tra_O）の場合はステップＳ３へ戻る。
ここで、初期設定透過度Tra_Oは、死角映像透過表示を行う際に、半透明車室内画像データの透過度をあらわす値である。
【００４３】
ステップＳ８では、ステップＳ７でのTra_N≧Tra_Oであるとの判断に続き、透過度Tra_Oを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成により、モニター映像信号を生成し、外部モニター２に出力することで、モニター画面２１に外部視点変換映像と半透明車室内映像の合成映像（透過表示による死角映像）を表示し、終了へ進む。
【００４４】
次に、作用を説明する。
まず、「本発明の骨子」の説明を行い、続いて、実施例１のシースルーサイドビューモニターシステムＡ１における「アニメーション表示から透過表示への連続表示作用」を説明する。
【００４５】
［本発明の骨子］
（発明のポイント）
本発明は、特願2008-039395号に対して、半透明車両のスーパーインポーズを、透過した車両の映像であることを理解できない人々が少数であるが存在することに対し、その対策として、行うものである。
【００４６】
・現有の技術を使用して、内装の静止画・カメラ映像を用いて死角部分のエリアのみを徐々に半透明化して行く、それをドア内部の静止画も使用し段階的にアニメーションで透明化して行くことで、この映像が透過映像であることを深く理解してもらう。
【００４７】
・基本的に、次の手法を用いた表現方法とする。
(1) 透過型の車両用死角映像表示システムにおいて、車室内から外を透過して見せる場合、最初から固定された半透明な車室内画像を重畳し見せるのでは無く、最初に不透過（不透明）な車室内映像を見せ、次第に透明度を増して行きドア内部の構造材、ウィンドウガラス、外板のように段階を踏んで半透明化・αブレンド処理を行いながら、あたかもユーザーの操作によって車両が次第に透明になり最終的に外部の死角映像が見られるような表現を行う（実施例１，実施例２）。
(2) 段階的な透明化に関して、少なくとも次の２つの手法に関して提案を行う。
ｉ) 数枚の静止画あるいは直接撮影している室内映像を、複数のレイヤ構造でのソース画像として用い、画像処理を行っている訳であるが、その半透明化を行う単位をレイヤ毎とし、各々のレイヤの透過率を変化させ一枚ずつ段階的に透過させて行く平面的な半透過手法（実施例３）。
ｉｉ) 車室内映像に立体的な情報を加味し、仮想的に配置した平面あるいは曲面のスクリーンが手前から外側へ移動して行く際に、そのスクリーンで立体的に切り取られる手前側を半透明とし、その外側を実際の車両構造物や内装品の映像・画像を用い、段階的な半透過画像を得る立体的な半透過手法（実施例４）。
(3) 音声情報を利用し、ユーザーが選択している現在のモニター画面に対し、該当する音声の説明をアナウンスすることで、ユーザーの理解を深める手法（他の実施例）。
【００４８】
・システム起動時に、透過型映像であることを判りやすくアニメーションで表現してはどうかというのが、今回の提案である。
具体的には、透過映像を見せる際、最初の一回ないしは慣れるまで、または希望している限りは、室内映像、ドア内装の除去映像、ドア内部の映像、ドア外板映像、外部映像のように、順序だてて透過させて行く。そのようなデモ映像を含めて、システム起動時に半透過映像を見せる手法を提案するものである。
【００４９】
（発明の概要）
・死角カメラの映像を視点変換し表示するシステムのうち、他のカメラ画像あるいは車室内画像（静止画）と組み合わせ、あたかも半透明な車体を通して外部映像を見せるようなシステムで、半透明な車体映像であることを認識しやすくすることで、安全運転に寄与しようとするもの。
・カメラ起動時の安定化期間を利用し、不透明から半透明に至る映像を連続的に変化させて表示することで、ユーザーの理解を深めるもの。
・システム起動時の最初に上記不透明から半透明に至る映像を連続的に変化させる表示を行い、ユーザーの選択により非表示にもできるもの。
【００５０】
（発明の目的）
・一部の空間把握が苦手な人々にも、半透過映像を一目で理解可能なシステムを構築し、構築したシステムの提供を行う。
・カメラ起動時に生じるタイムラグ時間を逆に利用し、その時間は半透過映像であることを説明するアニメーション映像を流す。それにより、車体を半透過して見ている映像であることを認識させることでシステムの理解を深め、より判り易いシステムを構築する。
・実際のカメラ映像が立ち上る待ち時間に（数秒ほど）動画映像を流すことでエンターテイメント性を向上させ、商品価値を上げる。
・言葉で説明を行った場合、ほぼ100％の人々が理解可能であることから、音声による説明機能をシステムに追加することで、よりわかり易い、安全に寄与するシステムを構築する。
【００５１】
（発明の効果）
本案件は、実際の透過型の車両用死角映像表示システムを実現するにあたり、表示手法として使われる可能性の高い表現方法であり、下記のような効果を期待できる。
・先に提案したシステムでも、殆どの人々に半透過した死角映像であることが理解してもらえ、安全運転に寄与可能であったが、極一部の例外が生じていた。この例外の人々に対し映像のみでより判り易いシステムを構築可能であり、安全性の向上に繋がる。
・本来の弱点であるカメラの起動時間（初期安定化時間）中にもアニメーション映像が流れることで、不要な待ち時間を利用して、システムの理解度を上げることが可能になるだけでなく、イライラの解消にも繋がる。
・マニュアルによる透明度の調整は、先に提案したシステムでも可能であったが、システム起動毎に、外部操作でOFFしない限り、必ずアニメーションが流れることで、理解が進み、直感的な理解に繋がる。
【００５２】
［アニメーション表示から透過表示への連続表示作用］
図２に示すフローチャートと図3-1〜図3-5に示す映像/画像例を用いて、アニメーション表示から透過表示への連続表示作用を説明する。
【００５３】
サイドカメラ１の電源をONとすると、図２のフローチャートにおいて、ステップＳ１→ステップＳ２→ステップＳ３→ステップＳ４→ステップＳ５へと進み、ステップＳ５において、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcを超えたと判断されるまでは、ステップＳ３→ステップＳ４→ステップＳ５へと進む流れが繰り返される。つまり、初期安定化時間Tcを超えるまでは、サイドカメラ１からのカメラ映像信号に基づく外部視点変換画像データが形成されないため、透過度Tra_N＝０を用いた不透明車室内画像データによる不透明車室内映像がモニター画面２１に表示される。
【００５４】
そして、ステップＳ５において、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcを超えたと判断されると、図２のフローチャートにおいて、ステップＳ５からステップＳ６へと進み、ステップＳ６では、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_N（＝Tra_N＋ΔTra）とされる。つまり、透過度Tra_N＝０から透過度Tra_N＝ΔTraに設定される。そして、設定された透過度Tra_Nが初期設定透過度Tra_O以上となるまでは、ステップＳ６からステップＳ７→ステップＳ３→ステップＳ４へと進み、設定された透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成による合成映像が、段階的表示のための設定時間Δｔが経過するまでモニター画面２１に表示される。
【００５５】
そして、段階的表示のための設定時間Δｔが経過すると、図２のフローチャートにおいて、ステップ４からステップＳ５→ステップＳ６へと進み、ステップＳ６では、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_N（＝2ΔTra）とされる。つまり、透過度Tra_N＝ΔTraから透過度Tra_N＝2ΔTraに設定される。そして、設定された透過度Tra_Nが初期設定透過度Tra_O以上となるまでは、ステップＳ６からステップＳ７→ステップＳ３→ステップＳ４へと進み、設定された透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成による合成映像が、段階的表示のための設定時間Δｔが経過するまでモニター画面２１に表示される。
【００５６】
このように、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_Nとすることを複数回繰り返し、半透明車室内画像データの半透明化を段階的表示のための設定時間Δｔ毎に段階的に進めてゆくことで、ステップＳ７において、設定された透過度Tra_Nが初期設定透過度Tra_O以上であると判断されると、アニメーション表示を終了し、自動的に死角映像透過表示を行うステップＳ８へ進む。
【００５７】
図3-1は、サイドカメラ１の映像を運転者位置からみた映像に視点変換した外部視点変換映像であり、図3-2は、運転者視点から見た不透明車室内画像である。
先に提案したシステムでは、これら２つの映像を、係数α（アルファ値）を使って半透明合成するブレンド機能を用いて、車室内画像を半透過状態にした映像、即ち、図3-5に示す半透過画像(3)を直ぐに表示していた。
【００５８】
しかしながら、先に述べたように、いきなり図3-5に示す半透過画像(3)によるモニター映像を見せた場合、ドア部分が透けて半透明になっていることを理解できない人々が少数存在する。この点に鑑み、その画像を形成する途中経過をも表示することで理解を深めてもらおうとするものである。
【００５９】
まず、図２のフローチャートに示すように、システム起動時（カメラON）には、図3-2に示す不透明車室内画像を表示する。カメラ映像自身が安定した画像を表示するまでには初期安定化時間Tcを要するこのシステムでは、この初期安定化時間Tcの経過後、以下の動作が始まる。
【００６０】
初期安定化時間Tcを経過すると、初期に設定した段階的表示のための設定時間Δｔ毎に、車室内画像の透過度をΔTraずつ上げて行く。この動作を、初期設定透過度Tra_Oに達するまで繰り返し、その都度、演算結果の透過度Tra_Nを用いた合成画像を表示する。その結果、図3-2に示す不透明な車室内画像から、図3-3に示す外部視点変換映像が20％程度透過した半透過合成画像(1)と、図3-4に示す外部視点変換映像が50％程度透過した半透過合成画像(2)を経過し、図3-5に示す外部視点変換映像が初期設定透過度Tra_Oまで透過した半透過画像(3)へと至る。つまり、車室内映像の中から死角映像（外部視点変換映像）が次第に浮かび上がるように連続した映像（アニメーション映像）として見ることができる。
【００６１】
上記のように実施例１では、半透明車室内映像を透過して死角映像を見せる透過表示とは別に、死角画像に重畳する車室内映像を不透明な映像から半透明な映像へと段階的に移行させる画像処理により、車室内映像の中から次第に死角画像が浮かび上がってくるように見せるアニメーション表示を行う機能を追加している。
【００６２】
このため、システム起動操作後、外部モニター２に映し出されるモニター映像が、半透明車室内映像を透過して表示される死角映像であることを、ユーザーに対し容易に理解してもらうことができる。つまり、最終的な半透過画像(3)に対する理解が深まり、それ以降の直感的な死角映像の把握に効果が得られ、死角解消による安全運転への寄与を、実効性を持たせて実現することができる。
【００６３】
次に、効果を説明する。
実施例１のシースルーサイドビューモニターシステムＡ１にあっては、下記に列挙する効果を得ることができる。
【００６４】
(1) 運転者から死角となる車両周辺を撮像するカメラ（サイドカメラ１）と、運転者が視認できる車室内位置に設定したモニター（外部モニター２）と、前記カメラ（サイドカメラ１）から入力される実カメラ映像信号に基づく画像処理により前記モニター（外部モニター２）へのモニター映像信号を生成する画像処理制御手段（画像処理コントロールユニット３）と、を備えた車両用死角映像表示システム（シースルーサイドビューモニターシステムＡ１）において、前記画像処理制御手段（画像処理コントロールユニット３）は、前記カメラ（サイドカメラ１）から入力される実カメラ映像信号を運転者の視点位置から見た死角画像に視点変換する死角画像形成部（周囲映像画像変形部３３）と、前記運転者の視点位置から見た車室内画像を形成する車室内画像形成部（車体画像形成部３４）と、前記死角画像に重畳する前記車室内画像を半透明車室内画像にする透過表示画像生成部（画像合成装置３６、図２のステップＳ８）と、前記死角画像に重畳する前記車室内画像を不透明な画像から透過画像へと段階的に移行させるアニメーション表示画像を生成するアニメーション表示画像生成部（画像合成装置３６、図２のステップＳ１〜Ｓ７）と、を有する。
このため、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角解消による安全運転への寄与を、実効性を持たせて実現する車両用死角映像表示システム（シースルーサイドビューモニターシステムＡ１）を提供することができる。
【００６５】
(2) 前記アニメーション表示画像生成部（画像合成装置３６、図２のステップＳ１〜Ｓ７）は、アニメーション表示が開始されると、前記カメラ（サイドカメラ１）から入力される実カメラ映像に基づいて取得した死角画像と、開始時の不透明画像から設定時間Δｔが経過する毎に車室内画像の透過度を設定透過度ΔTraだけ加えることで半透明画像へと段階的に移行する車室内画像と、の画像合成により前記モニター（外部モニター２）への表示画像を生成する。
このため、不透明車室内画像を段階的に半透明化するαブレンドの処理アルゴリズムを加えるだけで、死角映像の透過表示で用いる構成要素（画像合成装置３６等）をそのまま流用することができるというように、新たな構成要素の追加や構成変更を要さずにアニメーション表示を行うことができる。
【００６６】
(3) システム起動スイッチ４１を有する外部操作部４を設け、前記アニメーション表示画像生成部（画像合成装置３６、図２のステップＳ１〜Ｓ７）は、死角画像の透過表示を意図して前記システム起動スイッチ４１の投入操作を行うと、アニメーション表示を開始する。
このため、システム起動操作を行うだけで、カメラ（サイドカメラ１）が起動する時の待ち時間である安定化期間を利用し、アニメーション表示を自動的に開始することができる。
【００６７】
(4) 少なくともアニメーション表示禁止位置とアニメーション手動表示位置を切り換え選択するモード選択スイッチ４２を有する外部操作部４を設け、前記アニメーション表示画像生成部（画像合成装置３６、図２のステップＳ１〜Ｓ７）は、前記モード選択スイッチ４２により、アニメーション表示禁止位置からアニメーション手動表示位置に切り換える操作を行うと、アニメーション表示を開始する。
このため、ユーザーの意思によりアニメーション表示の禁止を選択することができると共に、ユーザーの表示要求に応えて何時でもアニメーション表示を開始することができる。
【００６８】
(5) 前記アニメーション表示画像生成部（画像合成装置３６、図２のステップＳ１〜Ｓ７）は、前記車室内画像の透過度Tra_Nを段階的に高めてゆく過程で車室内画像の透過度Tra_Nが、前記透過表示画像生成部（画像合成装置３６、図２のステップＳ８）での半透明車室内画像を得る初期設定透過度Tra_Oに達するとアニメーション表示を終了し、前記透過表示画像生成部（画像合成装置３６、図２のステップＳ８）は、アニメーション表示の終了に引き続いて透過表示を自動的に開始する。
このため、アニメーション表示の終了域から死角映像透過表示の開始領域において、モニター表示映像が急変することなく連続的に繋がる映像表現となり、ユーザーに対し違和感を与えることを防止することができる。
【００６９】
(6) 運転者から死角となる車両周辺を撮像するカメラ（サイドカメラ１）から入力される実カメラ映像信号に基づき、モニター（外部モニター２）に死角映像を表示する車両用死角映像表示方法において、前記モニター（外部モニター２）への死角映像表示を意図してシステム起動操作を行うシステム起動操作手順と、前記システム起動操作をトリガーとし、不透明車室内映像状態から時間経過にしたがって段階的に浮かび上がってくる死角映像を見せるアニメーション映像を、前記モニター（外部モニター２）に画面表示するアニメーション表示手順と、前記アニメーション映像の表示終了をトリガーとし、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せる透過死角映像を、前記モニター（外部モニター２）に画面表示する透過表示手順と、を有する。
このため、カメラ起動時の安定化期間を利用し、不透明から半透明に至る映像を連続的に変化させて表示する手法により、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せるシステムであるとのユーザー理解を促すことで、死角解消による安全運転への寄与を、実効性を持たせて実現することができる。
【実施例２】
【００７０】
実施例２は、アニメーション表示に際し、カメラ映像による死角画像に代え、予め記憶されている記憶情報を読み出すことで取得した死角画像を用いるようにした例である。
【００７１】
まず、構成を説明する。
図４は、実施例２のシースルーサイドビューモニターシステムＡ２（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【００７２】
実施例２のシースルーサイドビューモニターシステムＡ２は、アニメーション表現する画像処理手法として、メモリ情報に基づく死角画像に、透過度を段階的に変化させた車室内画像を合成する単一レイヤ型半透過手法を採用した例である。このシステムＡ２は、図４に示すように、サイドカメラ１（カメラ）と、外部モニター２（モニター）と、画像処理コントロールユニット３（画像処理制御手段）と、外部操作部４と、を備えている。
【００７３】
前記画像処理コントロールユニット３は、図４に示すように、デコーダー３１と、画像メモリ３２と、周囲映像画像変形部３３（死角画像形成部）と、車体画像形成部３４（車室内画像形成部）と、制御装置（ＣＰＵ）３５と、画像合成装置３６（アニメーション表示画像生成部、透過表示画像生成部）と、エンコーダ３７と、最終画面用画像メモリ３８と、を備えている。
【００７４】
前記最終画面用画像メモリ３８は、カメラOFF時の死角画像を蓄えるメモリである。この最終画面用画像メモリ３８に記憶した死角画像は、次回のアニメーション表示の際、カメラON時からサイドカメラ１の初期安定化時間Tcを経過するまでの期間、カメラ映像による死角画像に代えて用いる。
なお、他の構成は、実施例１の図１と同様の構成であるので、対応する構成に同一符号を付して説明を省略する。
【００７５】
図５は、実施例２の画像処理コントロールユニット３にて実行されるアニメーション表示処理及び透過表示処理の流れを示すフローチャートである。以下、図５の各ステップについて説明する。なお、ステップＳ２１、ステップＳ２４〜ステップＳ２８の各ステップは、図２のステップＳ１、ステップＳ４〜ステップＳ８の各ステップと同様の処理を行うので説明を省略する。
【００７６】
ステップＳ２２では、ステップＳ２１でのカメラ電源ONに続き、半透明車室内画像データの透過度Tra_N＝０に設定すると共に、外部視点変換画像データとして、最終画面用画像メモリ３８に蓄えられているメモリ内容を用い、ステップＳ２３へ進む。
【００７７】
ステップＳ２３では、ステップＳ２でのTra_N＝０の設定とメモリ内容による外部映像の設定、あるいは、ステップＳ３０での表示画面に対する警告表示、あるいは、ステップ２７でのTra_N＜Tra_Oとの判断に続き、設定されている透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成により、モニター映像信号を生成し、外部モニター２に出力することで、モニター画面２１に外部視点変換映像と半透明車室内映像の合成映像を表示し、ステップＳ４へ進む。
なお、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcに達するまでは、カメラ映像に基づく外部視点変換画像データが無いため、前回のカメラOFF時において記憶した外部視点変換画像データに基づく外部視点変換映像と、透過度Tra_N＝０による車室内映像の合成映像が表示される。
【００７８】
ステップＳ２９では、ステップＳ２５でのＴ≦Tcであるとの判断に続き、表示画面に対し、フラッシング・赤枠囲み等の警告表示を行い、ステップＳ２３へ戻る。
【００７９】
ステップＳ３０では、ステップＳ２５でのＴ＞Tcであるとの判断に続き、外部視点変換画像データとして、サイドカメラ１からの現在のカメラ映像データに基づく外部視点変換画像データを用い、ステップＳ２６へ進む。
【００８０】
ステップＳ３１では、ステップＳ２８でのモニター画面２１に対する外部視点変換映像（死角映像）と透過度Tra_Oを用いた半透明車室内映像の合成映像表示に続き、サイドカメラ１の電源がOFFになったか否かを判断し、Yes（カメラ電源OFF）の場合はステップＳ３２へ進み、No（カメラ電源ON）の場合はステップＳ２８へ戻る。
【００８１】
ステップＳ３２では、ステップＳ３１でのカメラ電源OFFであるとの判断に続き、カメラ電源OFF時における表示画面の外部映像（最終の外部視点変換画像データ）を最終画面用画像メモリ３８に取り込み、終了へ進む。
【００８２】
次に、作用を説明する。
［アニメーション表示から透過表示への連続表示作用］
サイドカメラ１の電源をONとすると、図５のフローチャートにおいて、ステップＳ２１→ステップＳ２２→ステップＳ２３→ステップＳ２４→ステップＳ２５へと進み、ステップＳ２５において、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcを超えたと判断されるまでは、ステップＳ２３→ステップＳ２４→ステップＳ２５→ステップＳ２９へと進む流れが繰り返される。つまり、初期安定化時間Tcを超えるまでは、サイドカメラ１からのカメラ映像信号に基づく外部視点変換画像データが形成されないため、これに代えて、最終画面用画像メモリ３８に記憶されている外部視点変換画像データと、透過度Tra_N＝０を用いた車室内画像データによる合成映像がモニター画面２１に表示される。
但し、サイドカメラ１の初期安定化時間Tcを経過していない間は、今現在のカメラ映像では無くメモリに記憶された画像を用いているため、ステップＳ２９において、外部モニター２に表示される映像全体のフラッシングや赤枠の囲み表示、文字表示等、の表現手段により、現在の映像がリアルタイムの映像ではないことが警告される。
【００８３】
そして、ステップＳ２５において、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcを超えたと判断されると、図５のフローチャートにおいて、ステップＳ２５からステップＳ３０→ステップＳ２６へと進み、ステップＳ３０では、外部視点変換映像としてメモリ映像からカメラ映像に切り換えられ、ステップＳ２６では、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_N（＝Tra_N＋ΔTra）とされる。つまり、透過度Tra_N＝０から透過度Tra_N＝ΔTraに設定される。そして、設定された透過度Tra_Nが初期設定透過度Tra_O以上となるまでは、ステップＳ２６からステップＳ２７→ステップＳ２３→ステップＳ２４へと進み、設定された透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成による合成映像が、段階的表示のための設定時間Δｔが経過するまでモニター画面２１に表示される。
【００８４】
そして、段階的表示のための設定時間Δｔが経過すると、図５のフローチャートにおいて、ステップ２４からステップＳ２５→ステップＳ３０→ステップＳ２６へと進み、ステップＳ２６では、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_N（＝2ΔTra）とされる。つまり、透過度Tra_N＝ΔTraから透過度Tra_N＝2ΔTraに設定される。そして、設定された透過度Tra_Nが初期設定透過度Tra_O以上となるまでは、ステップＳ２６からステップＳ２７→ステップＳ２３→ステップＳ２４へと進み、設定された透過度Tra_Nを用いて半透明車室内画像データを形成し、外部視点変換画像データに半透明車室内画像データを合成する画像データ合成による合成映像が、段階的表示のための設定時間Δｔが経過するまでモニター画面２１に表示される。
【００８５】
このように、今回の透過度Tra_Nに設定透過度ΔTraを加えて次回の透過度Tra_Nとすることを繰り返し、半透明車室内画像データの半透明化を段階的表示のための設定時間Δｔ毎に段階的に進めてゆくことで、ステップＳ２７において、設定された透過度Tra_Nが初期設定透過度Tra_O以上であると判断されると、アニメーション表示を終了し、次の死角映像透過表示を行うステップＳ２８からステップＳ３１へと進み、ステップＳ３１にてカメラ電源OFFと判断されるまで、死角映像透過表示が継続される。
【００８６】
そして、ステップＳ３１にてカメラ電源OFFと判断されると、ステップＳ３２へ進み、カメラ電源OFF時における表示画面の外部映像（最終の外部視点変換画像データ）が最終画面用画像メモリ３８に取り込まれ、処理を終了する。
【００８７】
このように、カメラ電源ONからの経過時間Ｔが初期安定化時間Tcを超えるまでは、カメラ映像に基づく外部視点変換画像データを持たず、この期間は、画像合成によるアニメーション動作を行うことができない。これに対し、実施例２は、初期安定化時間Tcの経過を待たずに画像合成によるアニメーション動作を行うことを可能とする。即ち、これら連続的な半透過画像のアニメーション動作は、運転者への透過型のサイドビューシステムの理解を深めてもらうことが目的であり、図3-5の半透過画像(3)に示される最終画面の段階で正確な外部カメラ映像を表示できれば良い。言い換えると、アニメーション動作中は、カメラ映像に基づくリアルタイムの死角映像で無くとも構わない訳である。
【００８８】
この点を考慮し、車載のカメラシステムがOFFされた時の画像を、最終画面用画像メモリ３８に蓄えておき（ステップＳ３２）、これをアニメーション表示開始領域での外部視点映像（死角映像）として利用する（ステップＳ２２）。この場合も実施例１と同様に、設定時間Δｔ毎に透過度Tra_Nを上げ（ステップＳ２６）、最終的に初期設定透過度Tra_Oへ達するまで順次映像表示を行う。この時、初期安定化時間Tcの経過後は、カメラの映像自身が安定化し使用可能となるため、初期安定化時間Tcの経過後は外部カメラ映像を用いで表示を行う（ステップＳ３０）。
なお、他の作用は、実施例１と同様であるので、説明を省略する。
【００８９】
次に、効果を説明する。
実施例２のシースルーサイドビューモニターシステムＡ２にあっては、実施例１の(1)〜(6)の効果に加え、下記の効果を得ることができる。
【００９０】
(7) 前記アニメーション表示画像生成部（画像合成装置３６、図５）は、前記カメラ（サイドカメラ１）の電源をオンとした時点から初期安定化時間Tcを経過するまでの間、予め記憶されている記憶情報を読み出すことで取得した死角画像を用いて前記モニター（外部モニター２）への表示画像を生成する。
このため、カメラ（サイドカメラ１）の初期安定化時間Tcを経過するのを待つことなく、死角映像と車室内映像の合成映像表示によるアニメーション動作を、カメラ（サイドカメラ１）の電源がオンにされると同時に開始することができる。
【実施例３】
【００９１】
実施例３は、単一レイヤ型の半透過手法による実施例１，２に対し、複数の平面レイヤ型の半透過手法によりアニメーション表現を行うようにした例である。
【００９２】
まず、構成を説明する。
図６は、実施例３のシースルーサイドビューモニターシステムＡ３（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【００９３】
実施例３のシースルーサイドビューモニターシステムＡ３は、アニメーション表現する画像処理手法として、段階的に分解した多層構造による複数のレイヤを持ち、レイヤ毎に透過度を変化させてアニメーション動作を表現する複数レイヤ型半透過手法を採用した例である。このシステムＡ３は、図６に示すように、サイドカメラ１（カメラ）と、外部モニター２（モニター）と、画像処理コントロールユニット３（画像処理制御手段）と、外部操作部４と、を備えている。
【００９４】
前記画像処理コントロールユニット３は、図６に示すように、デコーダー３１と、画像メモリ３２と、周囲映像画像変形部３３（死角画像形成部）と、車体画像形成部３４（車室内画像形成部）と、制御装置（ＣＰＵ）３５と、画像合成装置３６（アニメーション表示画像生成部、透過表示画像生成部）と、エンコーダ３７と、最終画面用画像メモリ３８と、を備えている。
【００９５】
この実施例３は、車体画像形成部３４の中で複数のレイヤに対応可能な画像メモリを増設した構成としている。ここで、透過する画像レイヤとしては、レイヤ１，レイヤ２，レイヤ３の３層を持ち、外部視点変換映像用にレイヤ４の１層を持つ、計４層構造によるシステムを採用している（図7-5参照）。
【００９６】
すなわち、前記車体画像形成部３４には、画像メモリとして、レイヤ１用ワークメモリ３４ａと、レイヤ２用ワークメモリ３４ｂと、レイヤ３用ワークメモリ３４ｃを増設している。そして、前記レイヤ１用ワークメモリ３４ａには、図7-1に示すように、透過度がゼロのレイヤ１用車室内画像を記憶設定し、前記レイヤ２用ワークメモリ３４ｂには、図7-2に示すように、透過度がゼロのレイヤ２用ドア内部映像(1)を記憶設定し、前記レイヤ３用ワークメモリ３４ｃには、図7-3に示すように、透過度がゼロのレイヤ３用ドア内部映像(2)を記憶設定している。
【００９７】
さらに、前記周囲映像画像変形部３３には、図7-4に示すように、外部視点変換映像を生成するレイヤを設定している。そして、これら４層の映像は、図7-5に示すように、概念上重なっており、各々の層で定義されている透過度を用い、多層間でのαブレンドを行うことで、結果的に半透過状態の映像を形成している。
【００９８】
前記最終画面用画像メモリ３８は、実施例２と同様に、カメラOFF時の死角画像を蓄えるメモリである。この最終画面用画像メモリ３８に記憶した死角画像は、次回のアニメーション表示の際、カメラON時からサイドカメラ１の初期安定化時間Tcを経過するまでの期間、カメラ映像による死角画像に代えて用いる。
なお、他の構成は、実施例１の図１と同様の構成であるので、対応する構成に同一符号を付して説明を省略する。
【００９９】
次に、作用を説明する。
［アニメーション表示から透過表示への連続表示作用］
実施例１，２の単一レイヤ型では、外部映像と車室内映像の２つのレイヤ構造を持つシステムにより、徐々に透明化する状況をアニメーション化し表示していた。
これに対し、実施例３の複数レイヤ型半透過手法では、車室内画像だけではなく、ドアやインパネ内部を段階的に分解した映像を用いて、よりリアルな透過動作を表現しようとするものである。
【０１００】
図8-1〜図8-9に動作イメージを示す。図中の(1)〜(4)の数値は、図7-5の各レイヤを意味しているものとする。
最初は、図8-1に示すように、レイヤ(1)が100％（透過度0％）として車室内画像の表示を開始する。そして、レイヤ(1)と次のレイヤ層であるレイヤ(2)との間で順次透過度を変化させてゆき、レイヤ(1)の車室内画像を透過してレイヤ(2)のドア内部映像(1)を表示するように移行する。すなわち、２段階目は、図8-2に示すように、レイヤ(1)の車室内画像が80%でレイヤ(2)のドア内部映像(1)が20%の表示とする。３段階目は、図8-3に示すように、レイヤ(1)の車室内画像が30%でレイヤ(2)のドア内部映像(1)が70%の表示とする。４段階目は、図8-4に示すように、レイヤ(1)の車室内画像が10%でレイヤ(2)のドア内部映像(1)が90%の表示とする。
【０１０１】
そして、現時点のレイヤ(2)の次に内層であるレイヤ(3)との間で透過度を変化させてゆき、レイヤ(2)のドア内部映像(1)を透過してレイヤ(3)のドア内部映像(2)を表示するように移行する。すなわち、５段階目は、図8-5に示すように、レイヤ(1)の車室内画像が10%でレイヤ(2)のドア内部映像(1)が70%でレイヤ(3)のドア内部映像(2)が20%の表示とする。６段階目は、図8-6に示すように、レイヤ(2)のドア内部映像(1)が20%でレイヤ(3)のドア内部映像(2)が80%の表示とする。
【０１０２】
そして、現時点のレイヤ(3)の次に内層であるレイヤ(4)との間で透過度を変化させてゆき、レイヤ(3)のドア内部映像(2)を透過してレイヤ(4)の外部視点変換映像を表示するように移行する。すなわち、７段階目は、図8-7に示すように、レイヤ(3)のドア内部映像(2)が70%でレイヤ(4)の外部視点変換映像が30%の表示とする。８段階目は、図8-8に示すように、レイヤ(3)のドア内部映像(2)が30%でレイヤ(4)の外部視点変換映像が70%の表示とする。
【０１０３】
そして、最終的には、外の映像であるレイヤ(4)の外部視点変換映像が主になった時点で、レイヤ(3)のドア内部映像(2)を、レイヤ(1)の車室内画像に置き換え、図8-9に示すように、レイヤ(1)の車室内画像が15%でレイヤ(4)の外部視点変換映像が85%による通常の透過型サイドビュー画面を表示する。
【０１０４】
上記のように、実施例３では、実施例１，２の単一レイヤ型に比べ、何層かのレイヤ構造を利用した透明画像になるため、より説得力が増し、ユーザーの合成画像に対する理解が深まり、システムの直感的な理解がより容易になる。
なお、この実施例３では、隣り合うレイヤ間でのみαブレンドによる半透過画像の形成を述べたが、これに拘る必要は無く、３種類以上の多層間でのブレンドによる画像を形成しても良い。
また、実施例２の図５に示すように、以上の動作をカメラ立ち上がり遅延時間である初期安定化時間Tcの間に表示することで、立ち上がりまでに生じる待ち時間のイライラを軽減する効果も狙える。
なお、他の作用は、実施例１と同様であるので、説明を省略する。
【０１０５】
次に、効果を説明する。
実施例３のシースルーサイドビューモニターシステムＡ３にあっては、実施例１の(1),(3)〜(5),(7)の効果に加え、下記の効果を得ることができる。
【０１０６】
(8) 前記アニメーション表示画像生成部（画像合成装置３６）は、車室内画像と死角画像を含む複数のレイヤを用意し、該複数のレイヤを車室内画像から死角画像に至るまで順に多層に組み合わせたレイヤ構造をソース画像として設定し、アニメーション表示が開始されると、各々のレイヤの透過度を変化させる画像合成により、開始時の不透明車室内画像から段階的に車室内画像を透過し死角画像へ向かう表示画像を生成する。
このため、単一レイヤ型に比べてより説得力が増し、ユーザーの合成画像に対する理解が深まり、システムの直感的な理解をより容易にすることができる。
【実施例４】
【０１０７】
実施例４は、空間情報を用いて各部品を立体的に構成し、その構成部品をカットモデルのように輪切りにした形で半透過画像を形成する立体形状型半透過手法による例である。
【０１０８】
まず、構成を説明する。
図９は、実施例４のシースルーサイドビューモニターシステムＡ４（車両用死角映像表示システムの一例）を示す全体システムブロック図である。
【０１０９】
実施例４のシースルーサイドビューモニターシステムＡ４は、アニメーション表現する画像処理手法として、空間情報を用いて車体部品を立体的に把握すると共に、立体的な車体部品を垂直にカットするスクリーンを仮想的に設定し、このスクリーンを外側に向かって段階的に移動させ、このとき、スクリーンで切り取られた手前側を半透明とし外側を不透明とすることによりアニメーション動作を表現する立体形状型半透過手法を採用した例である。このシステムＡ４は、図９に示すように、サイドカメラ１（カメラ）と、外部モニター２（モニター）と、画像処理コントロールユニット３（画像処理制御手段）と、外部操作部４と、を備えている。
【０１１０】
前記画像処理コントロールユニット３は、図９に示すように、デコーダー３１と、画像メモリ３２と、周囲映像画像変形部３３（死角画像形成部）と、車体画像形成部３４（車室内画像形成部）と、制御装置（ＣＰＵ）３５と、画像合成装置３６（アニメーション表示画像生成部、透過表示画像生成部）と、エンコーダ３７と、最終画面用画像メモリ３８と、を備えている。
【０１１１】
前記車体画像形成部３４は、3D-CADデータのような空間情報を用いて各部品を立体的に表現している。例えば、立体的に表現されている各部品は、各々の部品映像をテクスチャとして全面に貼り付けられており、また、空間的な位置関係も考慮され、ドアの内装の内側にドアスピーカーや内部構造材の鉄板が配置されている形となっている。
【０１１２】
前記車体画像形成部３４には、移動スクリーンメモリ３４ｄが増設されている。この移動スクリーンメモリ３４ｄには、車室内の運転者視点（仮想視点）位置から一定の距離に垂直に立てられた仮想平面または仮想曲面によるスクリーンを有する。
【０１１３】
そして、段階的に外に向かって移動するスクリーンを透過画面のトリガーとし、この仮想平面や仮想曲面によるスクリーンが、立体表現された車体構造を切断し、その断面の手前側を透過映像で表現し、外側を非透過映像で表現する。
【０１１４】
前記最終画面用画像メモリ３８は、実施例２と同様に、カメラOFF時の死角画像を蓄えるメモリである。この最終画面用画像メモリ３８に記憶した死角画像は、次回のアニメーション表示の際、カメラON時からサイドカメラ１の初期安定化時間Tcを経過するまでの期間、カメラ映像による死角画像に代えて用いる。
なお、他の構成は、実施例１の図１と同様の構成であるので、対応する構成に同一符号を付して説明を省略する。
【０１１５】
次に、作用を説明する。
［アニメーション表示から透過表示への連続表示作用］
実施例３の手法は、レイヤ毎にそのレイヤ全体の透過率を変化させブレンドして行くことで合成画像を得る、いわば平面的なレイヤ型によるものであった。
これに対し、実施例４では、3D-CADデータのような、空間情報を用いて各部品を立体的に構成し、その構成部品をカットモデルのように輪切りにした形で半透過画像を形成して行こうとするものである。
【０１１６】
具体的には、空間形状のデータを加味することで、図１０に示すように、立体を輪切りにした手前側は切り取り、その中身が覗けるイメージである。この輪切りにする位置を順次外へと移動することで、結果的に半透過映像を得ようとするものである。
【０１１７】
まず、車室内の運転者視点（仮想視点）位置から一定の距離に仮想平面や仮想曲面によるスクリーンを垂直に立てる。このスクリーンを透過画面のトリガーとし、スクリーンが立体を切断すると、その断面の手前側を透過映像で表現し、断面の外側を非透過映像で表現する。立体的に表現されている各部品は、各々の部品映像をテクスチャとして全面に貼り付けられており、また、空間的な位置関係も考慮され、ドアの内装の内側にドアスピーカーや内部構造材の鉄板が配置されている形となっているため、ドア内装の一部がスクリーンで切断され透明となっている場合、その場所から、内部のスピーカーなどが透けて見えている形で表現されることになる。この仮想平面を外側へと順次移動して行く。
【０１１８】
結果として、タマネギを垂直にカットして行く時のように、年輪状に何枚ものテクスチャの重なった透過映像となる。このように、立体で捉えた車体構造をスクリーンにより輪切りにカットしてゆくアニメーション表現になるため、実施例１，２の単一レイヤ型に比べ、より説得力が増し、ユーザーの合成画像に対する理解が深まり、システムの直感的な理解がより容易になる。
【０１１９】
ここで、外部センサーとの連動によりタイヤの切れ角、ミラーの傾き、ウィンドウガラスの位置等の可動部品の現在の位置関係を立体的に再現し表示して、その状態を前述のような透過処理を施しても構わない。
また、簡易的には、輪切りにする構成部品は大雑把なものでも良く、実施例３に述べている複数枚のレイヤの映像のみをテクスチャとして貼り付けることで部品を構成しても良い。つまり、同レイヤ映像の部品群に対応する凹凸の立体空間情報があれば、その立体に対しテクスチャとして前面のみに貼り付け、それを垂直な平面で輪切りにして行くような構成でも問題は無い。
なお、他の作用は、実施例１と同様であるので、説明を省略する。
【０１２０】
次に、効果を説明する。
実施例４のシースルーサイドビューモニターシステムＡ４にあっては、実施例１の(1),(3)〜(5),(7)の効果に加え、下記の効果を得ることができる。
【０１２１】
(9) 前記アニメーション表示画像生成部（画像合成装置３６）は、前記車室内画像に立体的な情報を加味し、立体的な車室内画像を、車室内の手前側から外側へ移動して切り取る平面または曲面のスクリーンを仮想的に設定し、アニメーション表示が開始されると、前記スクリーンを手前側から外側へ段階的に移動させ、この移動の際にスクリーンで切り取られた手前側を半透明とし外側を不透明とすることにより、開始時の不透明車室内画像から段階的に車室内画像を透過し死角画像へ向かう表示画像を生成する。
このため、単一レイヤ型に比べてより説得力が増し、ユーザーの合成画像に対する理解が深まり、システムの直感的な理解をより容易にすることができる。
【０１２２】
以上、本発明の車両用死角映像表示システムと車両用死角映像表示方法を実施例１〜実施例４に基づき説明してきたが、具体的な構成については、これらの実施例に限られるものではなく、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計の変更や追加等は許容される。
【０１２３】
実施例１〜４では、モニター映像のみでシステム理解度を深めようとする手段の例を示した。しかし、実施例１〜４の各例のモニター映像生成手法に、音声での説明を追加する音声追加型手法を加える構成を採用し、モニター映像と音声の両方によりシステム理解度を深めるようにしても勿論良い。
【０１２４】
実施例１〜４では、外部操作部４として、システム起動スイッチ４１とモード選択スイッチ４２を有する例を示した。しかし、外部操作部４に対し、例えば、車室内画像の初期設定透過度を、手動操作により任意に調整操作する機能を持たせても良い。また、例えば、スーパーインポーズされる車室内画像の全体色相を、手動操作により任意に調整操作する機能を持たせても良い。
【０１２５】
実施例１〜４では、車両周辺画像表示システムとして、車両左側方の死角領域の映像を取得するサイドカメラを用いたシースルーサイドビューモニターシステムの例を示した。しかし、車両後方の死角領域の映像を取得するバックカメラを用いたシースルーバックビューモニターシステムの例としても良い。また、車両前方の死角領域の映像を取得するフロントカメラを用いたシースルーフロントビューモニターシステムの例としても良い。さらに、車両全周囲の死角領域の映像を取得する全周囲カメラを用いたシースルーアラウンドビューモニターシステムの例としても良い。さらに、車両周辺画像表示システムとしては、外部モニターを共用し、サイドビューとバックビューとフロントビュー等のうち、何れかを選択できるモニターシステム、あるいは、所定の条件にて自動的に切り換えられるモニターシステムに対しても適用することができる。
【符号の説明】
【０１２６】
Ａ１，Ａ２，Ａ３，Ａ４ シースルーサイドビューモニターシステム（車両用死角映像表示システムの一例）
１ サイドカメラ（カメラ）
１１ 撮像素子
２ 外部モニター（モニター）
２１ モニター画面
３ 画像処理コントロールユニット（画像処理制御手段）
３１ デコーダー
３２ 画像メモリ
３３ 周囲映像画像変形部（死角画像形成部）
３４ 車体画像形成部（車室内画像形成部）
３４ａ レイヤ１用ワークメモリ
３４ｂ レイヤ２用ワークメモリ
３４ｃ レイヤ３用ワークメモリ
３４ｄ 移動スクリーンメモリ
３５ 制御装置（ＣＰＵ）
３６ 画像合成装置（アニメーション表示画像生成部、透過表示画像生成部）
３７ エンコーダ
３８ 最終画面用画像メモリ
４ 外部操作部
４１ システム起動スイッチ
４２ モード選択スイッチ
【特許請求の範囲】
【請求項１】
運転者から死角となる車両周辺を撮像するカメラと、車室内位置に設定したモニターと、前記カメラから入力される実カメラ映像信号に基づく画像処理により前記モニターへのモニター映像信号を生成する画像処理制御手段と、を備えた車両用死角映像表示システムにおいて、
前記画像処理制御手段は、
前記カメラから入力される実カメラ映像信号を運転者の視点位置から見た死角画像に視点変換する死角画像形成部と、
前記運転者の視点位置から見た車室内画像を形成する車室内画像形成部と、
前記死角画像に重畳する前記車室内画像を半透明車室内画像にする透過表示画像生成部と、
前記死角画像に重畳する前記車室内画像を不透明な画像から透過画像へと段階的に移行させるアニメーション表示画像を生成するアニメーション表示画像生成部と、
を有することを特徴とする車両用死角映像表示システム。
【請求項２】
請求項１に記載された車両用死角映像表示システムにおいて、
前記アニメーション表示画像生成部は、アニメーション表示が開始されると、前記カメラから入力される実カメラ映像に基づいて取得した死角画像と、開始時の不透明画像から設定時間が経過する毎に車室内画像の透過度を設定透過度だけ加えることで半透明画像へと段階的に移行する車室内画像と、の画像合成により前記モニターへの表示画像を生成することを特徴とする車両用死角映像表示システム。
【請求項３】
請求項１または請求項２に記載された車両用死角映像表示システムにおいて、
前記アニメーション表示画像生成部は、前記カメラの電源をオンとした時点から初期安定化時間を経過するまでの間、予め記憶されている記憶情報を読み出すことで取得した死角画像を用いて前記モニターへの表示画像を生成することを特徴とする車両用死角映像表示システム。
【請求項４】
請求項１に記載された車両用死角映像表示システムにおいて、
前記アニメーション表示画像生成部は、車室内画像と死角画像を含む複数のレイヤを用意し、該複数のレイヤを車室内画像から死角画像に至るまで順に多層に組み合わせたレイヤ構造をソース画像として設定し、アニメーション表示が開始されると、各々のレイヤの透過度を変化させる画像合成により、開始時の不透明車室内画像から段階的に車室内画像を透過し死角画像へ向かう表示画像を生成することを特徴とする車両用死角映像表示システム。
【請求項５】
請求項１に記載された車両用死角映像表示システムにおいて、
前記アニメーション表示画像生成部は、前記車室内画像に立体的な情報を加味し、立体的な車室内画像を、車室内の手前側から外側へ移動して切り取る平面または曲面のスクリーンを仮想的に設定し、アニメーション表示が開始されると、前記スクリーンを手前側から外側へ段階的に移動させ、この移動の際にスクリーンで切り取られた手前側を半透明とし外側を不透明とすることにより、開始時の不透明車室内画像から段階的に車室内画像を透過し死角画像へ向かう表示画像を生成することを特徴とする車両用死角映像表示システム。
【請求項６】
請求項１から請求項５までの何れか１項に記載された車両用死角映像表示システムにおいて、
システム起動スイッチを有する外部操作部を設け、
前記アニメーション表示画像生成部は、死角画像の透過表示を意図して前記システム起動スイッチの投入操作を行うと、アニメーション表示を開始することを特徴とする車両用死角映像表示システム。
【請求項７】
請求項１から請求項５までの何れか１項に記載された車両用死角映像表示システムにおいて、
少なくともアニメーション表示禁止位置とアニメーション手動表示位置を切り換え選択するモード選択スイッチを有する外部操作部を設け、
前記アニメーション表示画像生成部は、前記モード選択スイッチにより、アニメーション表示禁止位置からアニメーション手動表示位置に切り換える操作を行うと、アニメーション表示を開始することを特徴とする車両用死角映像表示システム。
【請求項８】
請求項６または請求項７に記載された車両用死角映像表示システムにおいて、
前記アニメーション表示画像生成部は、前記車室内画像の透過度を段階的に高めてゆく過程で車室内画像の透過度が、前記透過表示画像生成部での半透明車室内画像を得る初期設定透過度に達するとアニメーション表示を終了し、
前記透過表示画像生成部は、アニメーション表示の終了に引き続いて透過表示を自動的に開始することを特徴とする車両用死角映像表示システム。
【請求項９】
運転者から死角となる車両周辺を撮像するカメラから入力される実カメラ映像信号に基づき、モニターに死角映像を表示する車両用死角映像表示方法において、
前記モニターへの死角映像表示を意図してシステム起動操作を行うシステム起動操作手順と、
前記システム起動操作をトリガーとし、不透明車室内映像状態から時間経過にしたがって段階的に浮かび上がってくる死角映像を見せるアニメーション映像を、前記モニターに画面表示するアニメーション表示手順と、
前記アニメーション映像の表示終了をトリガーとし、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せる透過死角映像を、前記モニターに画面表示する透過表示手順と、
を有することを特徴とする車両用死角映像表示方法。
【請求項１】
運転者から死角となる車両周辺を撮像するカメラと、車室内位置に設定したモニターと、前記カメラから入力される実カメラ映像信号に基づく画像処理により前記モニターへのモニター映像信号を生成する画像処理制御手段と、を備えた車両用死角映像表示システムにおいて、
前記画像処理制御手段は、
前記カメラから入力される実カメラ映像信号を運転者の視点位置から見た死角画像に視点変換する死角画像形成部と、
前記運転者の視点位置から見た車室内画像を形成する車室内画像形成部と、
前記死角画像に重畳する前記車室内画像を半透明車室内画像にする透過表示画像生成部と、
前記死角画像に重畳する前記車室内画像を不透明な画像から透過画像へと段階的に移行させるアニメーション表示画像を生成するアニメーション表示画像生成部と、
を有することを特徴とする車両用死角映像表示システム。
【請求項２】
請求項１に記載された車両用死角映像表示システムにおいて、
前記アニメーション表示画像生成部は、アニメーション表示が開始されると、前記カメラから入力される実カメラ映像に基づいて取得した死角画像と、開始時の不透明画像から設定時間が経過する毎に車室内画像の透過度を設定透過度だけ加えることで半透明画像へと段階的に移行する車室内画像と、の画像合成により前記モニターへの表示画像を生成することを特徴とする車両用死角映像表示システム。
【請求項３】
請求項１または請求項２に記載された車両用死角映像表示システムにおいて、
前記アニメーション表示画像生成部は、前記カメラの電源をオンとした時点から初期安定化時間を経過するまでの間、予め記憶されている記憶情報を読み出すことで取得した死角画像を用いて前記モニターへの表示画像を生成することを特徴とする車両用死角映像表示システム。
【請求項４】
請求項１に記載された車両用死角映像表示システムにおいて、
前記アニメーション表示画像生成部は、車室内画像と死角画像を含む複数のレイヤを用意し、該複数のレイヤを車室内画像から死角画像に至るまで順に多層に組み合わせたレイヤ構造をソース画像として設定し、アニメーション表示が開始されると、各々のレイヤの透過度を変化させる画像合成により、開始時の不透明車室内画像から段階的に車室内画像を透過し死角画像へ向かう表示画像を生成することを特徴とする車両用死角映像表示システム。
【請求項５】
請求項１に記載された車両用死角映像表示システムにおいて、
前記アニメーション表示画像生成部は、前記車室内画像に立体的な情報を加味し、立体的な車室内画像を、車室内の手前側から外側へ移動して切り取る平面または曲面のスクリーンを仮想的に設定し、アニメーション表示が開始されると、前記スクリーンを手前側から外側へ段階的に移動させ、この移動の際にスクリーンで切り取られた手前側を半透明とし外側を不透明とすることにより、開始時の不透明車室内画像から段階的に車室内画像を透過し死角画像へ向かう表示画像を生成することを特徴とする車両用死角映像表示システム。
【請求項６】
請求項１から請求項５までの何れか１項に記載された車両用死角映像表示システムにおいて、
システム起動スイッチを有する外部操作部を設け、
前記アニメーション表示画像生成部は、死角画像の透過表示を意図して前記システム起動スイッチの投入操作を行うと、アニメーション表示を開始することを特徴とする車両用死角映像表示システム。
【請求項７】
請求項１から請求項５までの何れか１項に記載された車両用死角映像表示システムにおいて、
少なくともアニメーション表示禁止位置とアニメーション手動表示位置を切り換え選択するモード選択スイッチを有する外部操作部を設け、
前記アニメーション表示画像生成部は、前記モード選択スイッチにより、アニメーション表示禁止位置からアニメーション手動表示位置に切り換える操作を行うと、アニメーション表示を開始することを特徴とする車両用死角映像表示システム。
【請求項８】
請求項６または請求項７に記載された車両用死角映像表示システムにおいて、
前記アニメーション表示画像生成部は、前記車室内画像の透過度を段階的に高めてゆく過程で車室内画像の透過度が、前記透過表示画像生成部での半透明車室内画像を得る初期設定透過度に達するとアニメーション表示を終了し、
前記透過表示画像生成部は、アニメーション表示の終了に引き続いて透過表示を自動的に開始することを特徴とする車両用死角映像表示システム。
【請求項９】
運転者から死角となる車両周辺を撮像するカメラから入力される実カメラ映像信号に基づき、モニターに死角映像を表示する車両用死角映像表示方法において、
前記モニターへの死角映像表示を意図してシステム起動操作を行うシステム起動操作手順と、
前記システム起動操作をトリガーとし、不透明車室内映像状態から時間経過にしたがって段階的に浮かび上がってくる死角映像を見せるアニメーション映像を、前記モニターに画面表示するアニメーション表示手順と、
前記アニメーション映像の表示終了をトリガーとし、半透明車室内映像を透過して運転者の視点位置からの死角映像を見せる透過死角映像を、前記モニターに画面表示する透過表示手順と、
を有することを特徴とする車両用死角映像表示方法。
【図１】
【図２】
【図３−１】
【図３−２】
【図３−３】
【図３−４】
【図３−５】
【図４】
【図５】
【図６】
【図７−１】
【図７−２】
【図７−３】
【図７−４】
【図７−５】
【図８−１】
【図８−２】
【図８−３】
【図８−４】
【図８−５】
【図８−６】
【図８−７】
【図８−８】
【図８−９】
【図９】
【図１０】
【図２】
【図３−１】
【図３−２】
【図３−３】
【図３−４】
【図３−５】
【図４】
【図５】
【図６】
【図７−１】
【図７−２】
【図７−３】
【図７−４】
【図７−５】
【図８−１】
【図８−２】
【図８−３】
【図８−４】
【図８−５】
【図８−６】
【図８−７】
【図８−８】
【図８−９】
【図９】
【図１０】
【公開番号】特開２０１１−２３８０５（Ｐ２０１１−２３８０５Ａ）
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願番号】特願２００９−１６４７２６（Ｐ２００９−１６４７２６）
【出願日】平成２１年７月１３日（２００９．７．１３）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
【公開日】平成２３年２月３日（２０１１．２．３）
【国際特許分類】
【出願日】平成２１年７月１３日（２００９．７．１３）
【出願人】（０００００１４８７）クラリオン株式会社 (1,722)
【Ｆターム（参考）】
[ Back to top ]