車外映像提供システム
【課題】車外映像を利用した車室内における高品質なＡＲ表示を実現することができる「車外映像提供システム」を提供すること。
【解決手段】車載機３は、携帯端末２から、カメラ５の向きに関する情報を含む端末情報を取得する端末情報取得手段１１と、端末情報に対応した車載カメラ４および撮影領域中の部位を特定する車載カメラ／撮影領域部位特定手段１２と、これによって特定されたカメラ４の撮影映像から、特定された撮影領域中の部位に該当する映像部位を切り出す映像部位切り出し手段１４と、切り出された映像部位に対して、提供すべき車外映像の生成に必要な画像処理を行う画像処理手段１５と、車両上の撮影障害物を含まないＡＲ表示映像を生成する提供映像生成手段１６とを備えたこと。
【解決手段】車載機３は、携帯端末２から、カメラ５の向きに関する情報を含む端末情報を取得する端末情報取得手段１１と、端末情報に対応した車載カメラ４および撮影領域中の部位を特定する車載カメラ／撮影領域部位特定手段１２と、これによって特定されたカメラ４の撮影映像から、特定された撮影領域中の部位に該当する映像部位を切り出す映像部位切り出し手段１４と、切り出された映像部位に対して、提供すべき車外映像の生成に必要な画像処理を行う画像処理手段１５と、車両上の撮影障害物を含まないＡＲ表示映像を生成する提供映像生成手段１６とを備えたこと。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車外映像提供システムに係り、特に、カメラおよび拡張現実機能が搭載された携帯端末と、複数台の車載カメラと、車載機との連携によって、所望の車外映像をユーザに提供するのに好適な車外映像提供システムに関する。
【背景技術】
【０００２】
従来から、携帯電話機、スマートフォンおよび電子書籍等の携帯端末においては、カメラを搭載することが一般的とされており、このカメラを用いてスチル写真や動画を撮影することが可能とされていた。
【０００３】
また、最近では、所定の機種の携帯端末上で動作するＡＲ（Augmented Reality ：拡張現実）と称される機能を実現するアプリケーションソフトが開発されて提供されるようになった。ＡＲ機能においては、携帯端末に搭載されたカメラによって撮影された撮影映像（画像）上に、エアタグと称される撮影映像中の地物（建物、土地等）の名称や説明が記載された吹き出し等の付加情報をインポーズ表示して、街のガイド等に利用することが可能とされていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−９８７２０号公報
【特許文献２】特開２００３−２８３９７６号公報
【特許文献３】特開２００５−１８４１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、前述したカメラが搭載された携帯端末の利用態様の１つに、携帯端末を車両（自動車）の車室内に持ち込んで、車室内から車外風景等を撮影する場合があった。
【０００６】
しかし、このような場合に、従来は、車両のピラー、ダッシュボードまたはシート等の車両部品や同乗者等が障害物として映り込むことや、窓ガラスでの光の反射等によって、車外の被写体を適切に撮影することができないことがあった。
【０００７】
特に、車両の走行中にそのような状況になった場合には、再度撮影を試みようとも被写体が過ぎ去っているため、撮影機会を逸してしまうことが少なくなかった。
【０００８】
そして、前述したＡＲ機能の普及により、今後は、例えば、旅行先で走行中に車室内から周辺をガイドさせるといった機会が増加すると考えられるが、このような場合には、車外の被写体を適切に撮影することができない問題は、一層深刻化すると予想される。例えば、図１２は、車室内の後部座席から車外風景を撮影するとともに、この撮影映像上にＡＲ表示を行った表示映像（模式図）である。図１２に示すように、表示映像は、車両上の撮影障害物（車両部品や日光反射）により、肝心な車外風景が一部しか映り込んでおらず、エアタグが重畳表示されているものの、エアタグが指示すべき車外の地物が撮影障害物によって隠れてしまっているため、内容把握が困難な映像となっている。
【０００９】
なお、特許文献１においては、競技場等において、ユーザが見たいと思う被写体を、ユーザが携帯端末を向けた方向に基づいて検知し、検知された被写体を、競技場に設置された投影機によって撮影して携帯端末に提供する技術が提案されている。
【００１０】
また、特許文献２においては、ユーザが所望する被写体を、ユーザの周辺の第三者に依頼して撮影してもらう技術が提案されている。
【００１１】
しかるに、これら特許文献１および特許文献２に記載の技術は、ユーザ所有のカメラ以外のカメラおよびサーバ等のインフラや人員が整備されていることを前提とした技術であるため、移動する車室内から車外風景を撮影する場合のように、被写体の存在位置が不特定多数（広域）にわたる場合における現実的な対応が困難である。
【００１２】
さらに、特許文献３においては、車両周囲状況を、車内に配置されたディスプレイの画像表示面の向きに応じた車載カメラの撮像画像から切り出す技術が提案されている。
【００１３】
この特許文献３に記載の技術は、ユーザ所有のディスプレイおよび車載装備のみによって撮影動作を自己完結できるものであり、不特定多数にわたる位置に存在する車外の被写体の撮影映像の取得に対応し得ると思われるが、カメラ付き携帯端末を利用しているわけではないので、ＡＲ機能に対応することはできない。
【００１４】
そこで、本発明は、このような点に鑑みなされたものであり、車外映像を利用した車室内における高品質なＡＲ表示を実現することができ、ひいては、車室内における車外の地物のガイド機能を適正に発揮することができる車外映像提供システムを提供することを目的とするものである。
【課題を解決するための手段】
【００１５】
前述した目的を達成するため、本発明に係る車外映像提供システムは、カメラが搭載され、当該カメラの撮影映像を表示部に表示可能とされているとともに、当該撮影映像上にこの映像中の地物に関連する付加情報を重畳表示する拡張現実機能を実行可能とされた携帯端末と、車両の互いに異なる所定の取り付け位置に、互いに異なる所定の向きに取り付けられ、前記車両の周辺を前記各取り付け位置における各向きに応じた所定の撮影領域ごとに撮影する複数台の車載カメラと、前記携帯端末が接続可能とされるとともに前記複数台の車載カメラが接続された車載機とを備え、前記携帯端末、前記車載カメラおよび前記車載機の連携によって所望の車外映像をユーザに提供するための車外映像提供システムであって、前記車載機は、接続された前記携帯端末から、前記携帯端末のカメラの向きに関する情報を含む提供すべき車外映像の生成に必要な端末情報を取得する端末情報取得手段と、この端末情報取得手段によって取得された前記端末情報に対応した前記車載カメラおよびこれの前記撮影領域中の部位を特定する車載カメラ／撮影領域部位特定手段と、この車載カメラ／撮影領域部位特定手段によって特定された前記車載カメラの撮影映像から、当該車載カメラ／撮影領域部位特定手段によって特定された前記撮影領域中の部位に該当する映像部位を切り出す映像部位切り出し手段と、この映像部位切り出し手段によって切り出された前記映像部位に対して、前記提供すべき車外映像の生成に必要な所定の画像処理を行う画像処理手段とを備え、前記提供すべき車外映像として、前記車両の車室内において前記携帯端末のカメラによって前記端末情報に反映された当該カメラの向きに対応した車外の被写体を前記車両上の撮影障害物が除去されたと仮定した撮影環境下で撮影した場合に得られるべき第１の車外映像に、前記拡張現実機能に基づく前記付加情報の重畳がなされた第２の車外映像を提供可能とされ、前記第２の車外映像を提供するために、前記車載カメラ／撮影領域部位特定手段は、前記端末情報に反映された前記携帯端末のカメラの向きに最も近い向きの前記車載カメラを特定し、前記画像処理手段は、前記所定の画像処理によって前記第１の車外映像を生成し、前記車載機および前記携帯端末の少なくとも一方は、前記画像処理手段によって生成された前記第１の車外映像に前記付加情報を重畳することにより、前記第２の車外映像を生成する提供映像生成手段を備えたことを特徴としている。
【００１６】
そして、このような構成によれば、車両上の撮影障害物が映り込んでいない第１の車外映像に基づく高品質な第２の車外映像（ＡＲ表示映像）を提供することができるので、第２の車外映像上の地物を付加情報に基づいて正確に把握することができる。
【００１７】
また、前記提供すべき車外映像として、前記携帯端末のカメラと正反対を向いた前記携帯端末の表示部がミラーであると仮定した場合に、前記車室内において前記端末情報に反映された当該カメラの向きと正反対向きの当該ミラーに前記車両上の障害物が除去されたと仮定した環境下で映されるべき車外の鏡像に相当する第３の車外映像を提供可能とされ、前記第３の車外映像を提供するために、前記車載カメラ／撮影領域部位特定手段は、前記端末情報に反映された前記携帯端末のカメラの向きと正反対に最も近い向きの前記車載カメラを特定し、前記画像処理手段は、前記所定の画像処理として、前記映像部位の左右を反転させる反転処理を含む処理を行うことにより、前記第３の車外映像を生成してもよい。
【００１８】
そして、このような構成によれば、電子ミラー用の専用のカメラを要することなく、電子ミラー映像を模した第３の車外映像（車外鏡像映像）として、車両上の障害物が映り込んでいない高品質な映像を提供することもできるので、利便性を更に向上させることができる。
【００１９】
さらに、前記提供すべき車外映像として、前記第１の車外映像に、前記携帯端末のカメラによって前記車室内の現実の撮影環境下において実際に撮影された前記車外の被写体の撮影映像が半透明化された上で重畳された第４の車外映像を提供可能とされ、前記第４の車外映像を提供するために、前記車載カメラ／撮影領域部位特定手段は、前記端末情報に反映された前記携帯端末のカメラの向きに最も近い向きの前記車載カメラを特定し、前記画像処理手段は、前記所定の画像処理によって前記第１の車外映像を生成し、前記車載機および前記携帯端末の少なくとも一方は、前記画像処理手段によって生成された前記第１の車外映像に前記実際に撮影された車外の被写体の撮影映像を半透明化した上で重畳することにより、前記第４の車外映像を生成する第２の提供映像生成手段を備えてもよい。
【００２０】
そして、このような構成によれば、車両上の撮影障害物が半透明化された高品質な第４の車外映像を提供することもできるので、利便性を更に向上させることができる。
【００２１】
さらにまた、前記車載カメラは、広角レンズを有する広視野角範囲を撮影可能とされたカメラであり、前記所定の画像処理は、前記広角レンズに起因した前記映像部位の歪みを補正する歪み補正処理を含んでもよい。
【００２２】
そして、このような構成によれば、歪みが低減されたより高品質な車外映像を提供することができる。
【００２３】
また、前記端末情報は、前記携帯端末のカメラの焦点距離に関する情報を含んでもよい。
【００２４】
そして、このような構成によれば、車載機側において、携帯端末のカメラが狙う車外の被写体を正確に検知することができるので、ユーザの意思をより忠実に反映した車外映像を提供することができる。
【００２５】
さらに、生成された前記提供すべき車外映像を、前記車載機の表示部に表示することによって提供可能とされていてもよい。
【００２６】
そして、このような構成によれば、車外映像を車載機の大画面上に提供することができるので、視認性が良好なガイド機能を実現することができる。
【００２７】
さらにまた、生成された前記提供すべき車外映像を、前記携帯端末の表示部に表示することによって提供可能とされていてもよい。
【００２８】
そして、このような構成によれば、携帯端末のみでは実現できなかった高品質なＡＲ表示を携帯端末上において実現することができる。
【００２９】
また、前記車載機および前記携帯端末の少なくとも一方は、生成された前記第２の車外映像を保存する保存手段を備えてもよい。
【００３０】
そして、このような構成によれば、第２の車外映像を保存することによって、エアタグによる説明付きの旅の記録を高品質な映像作品に仕上げることができる。
【００３１】
さらに、前記複数台の車載カメラは、前記車両の周辺を監視するための監視映像を前記車載機の表示部に表示するためのものであってもよい。
【００３２】
そして、このような構成によれば、既存の車載装備を活用することができるので、部品点数の増加を抑制することができ、車室内における車外の地物のガイド機能を経済的に実現することができる。
【発明の効果】
【００３３】
本発明によれば、車外映像を利用した車室内における高品質なＡＲ表示を実現することができ、ひいては、車室内における車外の地物のガイド機能を適正に発揮することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る車外映像提供システムの第１実施形態を示す概略構成図
【図２】第１実施形態において、車載カメラの配置例を説明するための説明図
【図３】第１実施形態において、第１の車外映像の一例を示す図
【図４】第１実施形態において、第２の車外映像の一例を示す図
【図５】第１実施形態を示すフローチャート
【図６】第１実施形態の変形例を示す概略構成図
【図７】本発明に係る車外映像提供システムの第２実施形態を示す概略構成図
【図８】第２実施形態において、車載カメラおよび撮影領域中の部位の特定を説明するための説明図
【図９】第２実施形態において、反転処理による第３の車外映像の生成を説明するための説明図
【図１０】第２実施形態において、第４の車外映像の一例を模式的に示す図
【図１１】第２実施形態を示すフローチャート
【図１２】従来のＡＲ表示の問題点を説明するための説明図
【発明を実施するための形態】
【００３５】
（第１実施形態）
以下、本発明に係る車外映像提供システムの第１実施形態について、図１乃至図６を参照して説明する。
【００３６】
図１に示すように、本実施形態における車外映像提供システム１は、大別して、
携帯電話機、スマートフォンまたは電子書籍等からなる携帯端末２と、車載機３と、複数台（図１において５台）の車載カメラ４とによって構成されている。携帯端末２は、例えば、Bluetooth（登録商標）等の無線通信手段やＵＳＢ等の有線通信手段によって車載機３への通信接続が可能とされている。また、各車載カメラ４は、接続ケーブルによって車載機３に電気的に接続されている。
【００３７】
より具体的には、図１に示すように、携帯端末２には、これの所定の表面側に外光を捕捉可能な状態で配置されたレンズを備えたデジタル方式のカメラ５が搭載されている。このカメラ５は、起動状態において、レンズを介して外部から取込まれた物体の像（物体光）を、ＣＣＤやＣＭＯＳ等の固体撮像素子の撮像面に撮影映像として結像させるようになっている。そして、撮像面に結像された撮影映像は、シャッターが切られる前においても、カメラ５のレンズに対して背面側に設けられた表示部６にリアルタイムに表示（ライブビュー表示）されて確認することが可能となっている。また、図１に示すように、携帯端末２には、地磁気センサ（デジタルコンパス）、３軸加速度センサ（ジャイロスコープ）およびズームレベル／フォーカスレベル制御部等の各種のセンシングデバイス７が搭載されており、このセンシングデバイス７によって、携帯端末２（カメラ５）の方角（東西南北）、角度（ロール、ピッチ、ヨー）および焦点距離を検出可能とされている。さらに、図１に示すように、携帯端末２には、ＧＰＳレシーバ等からなる位置検出デバイス８が搭載されており、この位置検出デバイス８によって、携帯端末２の位置（現在地）を絶対座標として検出するようになっている。さらにまた、携帯端末２には、ＡＲ機能がアプリケーションソフト１９として搭載されており、このＡＲ機能をユーザ操作によって起動させることにより、表示部６に表示された撮影映像上に、この撮影映像中の地物に該当するエアタグ（付加情報）を重畳表示させることが可能とされている。ここで、エアタグは、インターネットを通じてユーザ間で共有された情報であり、位置検出デバイス８およびセンシングデバイス７によって検出される位置情報、方角情報および角度情報等を利用してユーザの居場所およびカメラ５の向きと対応付けられているため、ＡＲ機能の起動中における携帯端末２の位置およびカメラ５の向きに対応するエアタグをインターネットを介して取得して表示することが可能となっている。また、図１に示すように、携帯端末２は、ＣＰＵ等からなる制御部２０を有しており、この制御部２０は、携帯端末２の各種の処理を行うようになっている。
【００３８】
一方、図２に示すように、各車載カメラ４は、車両９の互いに異なる取り付け位置に、互いに異なる所定の向きに取り付けられており、車両９の周辺を各取り付け位置における各向きに応じた所定の撮影領域ごとに撮影可能とされている。さらに、各車載カメラ４は、魚眼レンズ等の広角レンズが搭載された広視野角範囲を撮影可能とされたカメラとされている。さらにまた、各車載カメラ４は、それぞれの撮影領域を所定のフレームレートで撮影し、撮影映像をＣＣＤやＣＭＯＳ等の固体撮像素子の撮像面に結像するデジタルカメラとされている。図２の例では、各車載カメラ４のうちの１台４ａは、車両９の左前部（例えば、左前照灯）に、車両９の左前方の路面を斜め上から見下ろすような向き（姿勢）で取り付けられた左フロントカメラ４ａとされており、この左フロントカメラ４ａは、車両９の左前方の路面上を中心とした撮影領域を撮影可能とされている。また、この他の車載カメラ４のうちの１台４ｂは、車両９の右前部（例えば、右前照灯）に、車両９の右前方の路面を斜め上から見下ろすような向きで取り付けられた右フロントカメラ４ｂとされており、この右フロントカメラ４ｂは、車両９の右前方の路面上を中心とした撮影領域を撮影可能とされている。さらに、これらの他の車載カメラ４のうちの１台４ｃは、車両９の左側部（例えば、左ドアミラー）に、車両９の左側方の路面を斜め上から見下ろすような向きで取り付けられた左サイドカメラ４ｃとされており、この左サイドカメラ４ｃは、車両９の左側方の路面上を中心とした撮影領域を撮影可能とされている。さらにまた、これらの他の車載カメラ４のうちの１台４ｄは、車両９の右側部（例えば、右ドアミラー）に、車両９の右側方の路面を斜め上から見下ろすような向きで取り付けられた右サイドカメラ４ｄとされており、この右サイドカメラ４ｄは、車両９の右側方の路面上を中心とした撮影領域を撮影可能とされている。また、残りの１台の車載カメラ４ｅは、車両９の後部（例えば、リアライセンスガーニッシュ部）に、車両９の後方の路面を斜め上から見下ろすような向きで取り付けられたバックカメラ４ｅとされており、このバックカメラ４ｅは、車両９の後方の路面上を中心とした撮影領域を撮影可能とされている。
【００３９】
そして、本実施形態における車外映像提供システム１は、携帯端末２、各車載カメラ４および車載機３の連携（連動）によって、所望の車外映像としての第２の車外映像をユーザに提供することが可能とされている。ただし、第２の車外映像とは、車両９の車室内において携帯端末２のカメラ５によってこれの向きに対応した車外の被写体を車両９上の撮影障害物が除去されたと仮定した撮影環境下で撮影した場合に得られるべき第１の車外映像に、ＡＲ機能に基づくエアタグ（付加情報）の重畳がなされた映像のことである。
【００４０】
具体的には、図１に示すように、車載機３は、その主制御部としてのＥＣＵ (Electrical Control Unit)１０を有しており、このＥＣＵ１０は、不図示の記憶部（ＲＯＭ等）に記憶されたプログラムを実行することにより、提供すべき映像を生成するための各種の処理を行うようになっている。
【００４１】
すなわち、図１に示すように、ＥＣＵ１０は、端末情報取得手段としての端末情報取得部１１を有している。この端末情報取得部１１は、車載機３との接続状態が確立された（通信可能となった）携帯端末２から、携帯端末２のカメラ５の向きに関する情報を含む第２の車外映像（提供すべき車外映像）の生成に必要な端末情報を、通信によって取得するようになっている。この端末情報には、前述したセンシングデバイス７の検出結果が含まれている。また、この他にも、端末情報には、位置検出デバイス８の検出結果、カメラ５の画角の情報および第２の車外映像の要求信号等が含まれていてもよい。
【００４２】
また、図１に示すように、ＥＣＵ１０は、車載カメラ／撮影領域部位特定手段としての車載カメラ／撮影領域部位特定部１２を有している。この車載カメラ／撮影領域部位特定部１２は、端末情報取得部１１によって取得された端末情報に対応した車載カメラ４と、これの撮影領域中の部位とを特定するようになっている。具体的には、本実施形態において、車載カメラ／撮影領域部位特定部１２は、端末情報に反映された携帯端末２のカメラ５の向き（方角・角度）に最も近い向きの車載カメラ４を特定するとともに、この特定した車載カメラ４の撮影領域から、例えば、端末情報に基づいて検出された携帯端末２のカメラ５の撮影領域に該当する部位を、被写体に相当する部位として特定するようになっている。このとき、車載カメラ４の向きに関する情報としては、車載カメラ４の既知の外部パラメータを不図示の記憶部に記憶させたものを用いるようにしてもよい。また、このとき、携帯端末２のカメラ５の向きを示す端末情報のうちの角度情報については、車両９に搭載されたナビゲーション装置用の加速度センサの検出値を差し引くことによって、車両９の加速度の影響を除去した純粋な重力加速度（端末２の傾き）の情報に補正した上で扱うようにすることが望ましい。さらに、このとき、前述のように、車載カメラ４の撮影領域から、携帯端末２のカメラ５の撮影領域に該当する部位を特定する場合には、端末情報や車載カメラ４の既知の情報等に基づいて、両カメラ４，５の向き、位置および画角等の差分を算出した上で、算出された差分を用いて該当する部位を特定するようにしてもよい。この場合に、車載カメラ４の位置については、車両９の所定の基準位置に対する相対位置として記憶部に記憶させたものを用いるようにしてもよい。一方、携帯端末２のカメラ５の位置については、車両９の基準位置に対するカメラ５の相対位置を検出するための手段（例えば、カメラ５の操作者が車両９のいずれの座席に座っているのかを端末情報として車載機３に通知し、車載機３側において、通知された座席に対応付けられた所定の固定位置を相対位置と決定する手段であってもよい）を設けることによって検出してもよい。あるいは、そのような手段を設けない場合には、車両９の基準位置に対して予め固定された車室内の所定位置（例えば、車体中央の所定高さの位置）を、携帯端末２のカメラ５の位置とみなしてもよい。もしくは、被写体の検出精度をある程度犠牲にする場合もあるが、両カメラ４、５の位置は同一である（位置の差分は０）とみなしてもよい。
【００４３】
さらに、図１に示すように、ＥＣＵ１０は、映像部位切り出し手段としての映像部位切り出し部１４を有している。この映像部位切り出し部１４は、車載カメラ／撮影領域部位特定部１２によって特定された車載カメラ４の撮影映像から、車載カメラ／撮影領域部位特定部１２によって特定された当該車載カメラ４の撮影領域中の部位に該当する映像部位を切り出すようになっている。このとき、車載カメラ４の撮影映像としては、図１に示すように、ＥＣＵ１０内の映像キャプチャ部１３に取得されて保持されているものを用いるようになっている。ここで、図２の破線枠Ｆは、車載カメラ／撮影領域部位特定部１２によって特定された左フロントカメラ４ａの撮影映像Ｉから、車載カメラ／撮影領域部位特定部１２によって特定された左フロントカメラ４ａの撮影領域中の部位に該当する映像部位として切り出される範囲を例示したものである。
【００４４】
図１に戻って、ＥＣＵ１０は、画像処理手段としての画像処理部１５を有している。この画像処理部１５は、映像部位切り出し部１４によって切り出された映像部位に対して、第２の車外映像の生成に必要な所定の画像処理を行うようになっている。本実施形態において、この所定の画像処理は、車載カメラ４の取り付け角等に起因する映像の傾きや広角レンズのディストーションに起因する映像の歪みを補正する視点変換処理および歪み補正処理によって構成されている。そして、画像処理部１５は、このような所定の画像処理を行うことによって、第１の車外映像を生成するようになっている。
【００４５】
ここで、図３は、このようにして生成された第１の車外映像として、図１２と同様の車外風景に該当する撮影映像を示したものである。この第１の車外映像は、車室内の撮影障害物が一切映り込んでいない高品質な映像となっている。
【００４６】
図１に戻って、車外映像提供システム１は、提供映像生成手段としての提供映像生成部１６を有している。この提供映像生成部１６は、画像処理部１５によって生成された第１の車外映像に、携帯端末２に搭載されたＡＲ機能に基づくエアタグを重畳することにより、第２の車外映像を生成するようになっている。このような提供映像生成部１６は、車載機３（ＥＣＵ１０）に備えられていてもよく、または、携帯端末２（制御部２０）に備えられていてもよく、あるいは、車載機３および携帯端末２の双方に備えられていてもよい。ここで、提供映像生成部１６を車載機３に備える場合には、端末情報に、携帯端末２のカメラ５の撮影領域に応じたエアタグ情報（エアタグに対応付けられた位置情報も含む）を含ませるように構成し、提供映像生成部１６は、この情報を取得して第１の車外映像における該当位置に貼り付けることによって第２の車外映像を生成すればよい。一方、提供映像生成部１６を携帯端末２に備える場合には、提供映像生成部１６は、画像処理部１５によって生成された第１の車外映像を、通信によって車載機３から取得し、取得された第１の車外映像に、携帯端末２によって取得されたエアタグを貼り付けることによって第２の車外映像を生成すればよい。そして、提供映像生成部１６は、このようにして生成された第２の車外映像を、車載機３の表示部１７および携帯端末２の表示部６の少なくとも一方に表示することによって、ユーザに提示するようになっている。
【００４７】
ここで、図４は、このようにして表示された第２の車外映像として、図３に対応するＡＲ表示映像を示したものである。このＡＲ表示映像を図１２と比較すれば分かるように、本実施形態によれば、車室内の撮影障害物が一切映り込んでいない高品質な第２の車外映像を表示することができ、この映像を見たユーザは、エアタグに基づいて映像中の地物を容易かつ正確に把握することができる。
【００４８】
次に、本実施形態の作用について、図５を参照して説明する。
【００４９】
なお、便宜上、図５の初期状態においては、携帯端末２と車載機３との接続状態が、図示しない両者の通信モジュールを介して確立されているものとする。また、このとき、携帯端末２は、ユーザ操作を契機として、制御部２０によってカメラ５が起動されているとともに、このカメラ５による車外風景の撮像映像（車室内の撮影障害物が映り込んだ現実の撮影環境下での撮影映像）が、ファインダ機能によって表示部に６にリアルタイム表示されているものとする。さらに、このとき、携帯端末２は、自らの記憶部に記憶されたＡＲ機能のアプリケーションソフト１９がユーザ操作を契機として制御部２０によって起動されており、カメラ５の撮影映像中の地物に該当するエアタグが、インターネットを通じて取得された上で、当該撮影映像上の該当位置に重畳表示されているものとする。さらにまた、このとき、携帯端末２のアプリケーションソフトによって、携帯端末２の表示部６には、車載カメラ４の撮影映像を利用したＡＲ表示の実行を指示する操作が可能とされた操作ボタンが表示されているものとする。この操作ボタンの表示は、例えば、「車載カメラの映像が利用できます」といったメッセージの表示をともなってもよい。また、このとき、各車載カメラ４は、それぞれの撮影領域の撮影を開始しているものとする。この車載カメラ４による撮影の開始は、携帯端末２と車載機３との接続の確立を契機として行うようにしてもよいし、あるいは、Ａｃｃ電源の投入を契機として行うようにしてもよい。
【００５０】
そして、このような初期状態から、まず、図５のステップ１（ＳＴ１）において、携帯端末２の制御部２０により、携帯端末２に対するユーザ操作として、車載カメラ４の撮影映像を利用したＡＲ表示の実行を指示する操作が行われたか否かを判定する。そして、ステップ１（ＳＴ１）において肯定的な判定結果が得られた場合には、ステップ２（ＳＴ２）に進み、否定的な判定結果が得られた場合には、ステップ１（ＳＴ１）を繰り返す。
【００５１】
次いで、ステップ２（ＳＴ２）において、携帯端末２の通信機能により、車載機３への端末情報の送信を行う。
【００５２】
次いで、ステップ３（ＳＴ３）において、端末情報取得部１１により、ステップ２（ＳＴ２）において送信された端末情報を受信して取得する。
【００５３】
次いで、ステップ４（ＳＴ４）において、車載カメラ／撮影領域部位特定部１２により、ステップ３（ＳＴ３）において取得された端末情報に基づいて、対応する車載カメラ４およびこれの撮影領域中の部位を特定する。
【００５４】
次いで、ステップ５（ＳＴ５）において、映像部位切り出し部１４により、ステップ４（ＳＴ４）において特定された車載カメラ４の撮影映像から、ステップ４（ＳＴ４）において特定された当該車載カメラ４の撮影領域中の部位に該当する映像部位を切り出す。
【００５５】
次いで、ステップ６（ＳＴ６）において、画像処理部１５により、ステップ５（ＳＴ５）において切り出された映像部位に対する視点変換処理を行う。
【００５６】
次いで、ステップ７（ＳＴ７）において、画像処理部１５により、ステップ６（ＳＴ６）において視点変換処理が行われた映像部位に対する歪み補正処理を行うことによって、第１の車外映像を生成する。
【００５７】
次いで、ステップ８（ＳＴ８）において、提供映像生成部１６により、ステップ７（ＳＴ７）において生成された第１の車外映像にエアタグを重畳させることによって、第２の車外映像を生成する。
【００５８】
次いで、ステップ９（ＳＴ９）により、提供映像生成部１６により、ステップ８（ＳＴ８）において生成された第２の車外映像を表示部６、１７に表示して処理を終了する。
（変形例）
次に、図６は、本実施形態の変形例を示したものである。
【００５９】
本変形例における車外映像提供システム１は、図１に示した基本構成に加えて、更に、保存手段としての提供映像保存処理部１８を有している。この提供映像保存処理部１８は、提供映像生成部１６によって生成された第２の車外映像を、ユーザ操作を契機として、自らの記憶領域に記録することによって保存するようになっている。この提供映像保存処理部１８は、車載機３および携帯端末２のうち、提供映像生成部１６が備えられたいずれか一方もしくは双方に備えられている。また、提供映像保存処理部１８によって保存された第２の車外映像は、この提供映像保存処理部１８を備えたデバイス３、２の再生表示機能によって読み出して再生表示することが可能とされている。
【００６０】
このような構成によれば、第２の車外映像を保存することによって、エアタグによる説明付きの旅の記録を高品質な映像作品に仕上げることができる。
【００６１】
（第２実施形態）
次に、本発明に係る車外映像提供システムの第２実施形態について、第１実施形態との差異を中心として、図７乃至図１１を参照して説明する。
【００６２】
なお、便宜上、第１実施形態と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。
【００６３】
図７に示す本実施形態における車外映像提供システム２１は、提供すべき車外映像として、第２の車外映像を提供可能とされている点で第１実施形態と同様である。
【００６４】
ただし、本実施形態における車外映像提供システム２１は、第１実施形態とは異なり、第２の車外映像以外にも、第３の車外映像および第４の車外映像を選択的に提供することが可能とされている。ここで、第３の車外映像とは、携帯端末２のカメラ５と正反対を向いた携帯端末２の表示部６がミラーであると仮定した場合に、車室内において端末情報に反映された当該カメラ５の向きと正反対向きの当該ミラーに車両上の障害物が除去されたと仮定した環境下で映されるべき車外の鏡像に相当する映像のことである。また、第４の車外映像とは、第１の車外映像に、携帯端末２のカメラ５によって車室内の現実の撮影環境下において実際に撮影された車外の被写体の撮影映像が半透明化された上で重畳された映像のことである。
【００６５】
第２の車外映像、第３の車外映像および第４の車外映像のいずれを提供すべきかについては、これらの１つを選択するためのメニュー画面を携帯端末２の表示部６に表示した上で、このメニュー画面に対するユーザ操作の結果に応じて選択してもよい。
【００６６】
ここで、第２の車外映像を提供するための構成については第１実施形態で既に述べた通りであるので、本実施形態においては、第３の車外映像および第４の車外映像を提供するための特有の構成に重点を置いて説明する。
【００６７】
（第３の車外映像を提供するための構成）
まず、第３の車外映像を提供する場合には、車載カメラ／撮影領域部位特定部１２は、端末情報に反映された携帯端末２のカメラ５の向きと正反対に最も近い向きの車載カメラ４を特定するようになっている。このとき、車載カメラ／撮影領域部位特定部１２は、車載カメラ４の撮影領域中の部位の特定については、カメラ５を現在の向きから正反対向きにしたと仮定した場合におけるカメラ５の撮影領域を、端末情報における方角情報および角度情報を１８０°逆転させること等によって求めた上で、求められた撮影領域に該当する部位を、車載カメラ４の撮影領域中から特定することによって行うようにしてもよい。
【００６８】
例えば、ユーザがカメラ５を前方に向けている場合には、図８に示すように、車載カメラ／撮影領域部位特定部１２によってバックカメラ４ｅの撮影領域中の該当する部位（同図破線枠Ｆ参照）が特定されることになる。
【００６９】
また、第３の車外映像を提供する場合には、画像処理部１５は、所定の画像処理として、前述した視点変換処理および歪み補正処理の後に、映像部位の左右を反転させる反転処理を行うようになっている。
【００７０】
図９は、このような反転処理の一例を、反転前の映像（ａ）および反転後の映像（ｂ）を用いて示したものである。この反転処理は、提供すべき映像が鏡像映像であることによるものである。
【００７１】
そして、このような反転処理によって、図９（ｂ）のような第３の車外映像が生成されるようになっている。
【００７２】
さらに、画像処理部１５は、このようにして生成された第３の車外映像を、車載機３の表示部１７への表示および／または通信を介した携帯端末２の表示部６への表示によってユーザに提供するようになっている。
【００７３】
（第４の車外映像を提供するための構成）
次に、第４の車外映像を提供する場合には、車外映像提供システム２１は、第１実施形態と同様の手法によって、第１の車外映像を生成するようになっている。
【００７４】
そして、図７に示すように、第４の車外映像を提供するための構成として、車外映像提供システム２１は、第２の提供映像生成手段としての第２の提供映像生成部２２を有している。この第２の提供映像生成部２２は、画像処理部１５によって生成された第１の車外映像に、携帯端末２のカメラ５によって車室内の現実の撮影環境下において実際に撮影された車外の被写体の撮影映像を半透明化した上で重畳することにより、第４の車外映像を生成するようになっている。なお、車外の被写体の撮影映像は、第１の車外映像と同一サイズの映像であり、両映像は、両カメラ４、５によって互いに同時期に撮影された映像に基づくものである。両映像は、車両上の撮影障害物以外の部分が互いに一致していることが望ましい。
【００７５】
ここで、図１０は、このような第４の車外映像の一例を模式的に示したものである。
【００７６】
このような第２の提供映像生成部２２は、車載機３（ＥＣＵ１０）に備えられていてもよく、または、携帯端末２（制御部２０）に備えられていてもよく、あるいは、車載機３および携帯端末２の双方に備えられていてもよい。ここで、第２の提供映像生成部２２を車載機３に備える場合には、端末情報に、携帯端末２のカメラ５の撮影映像を含ませるように構成し、提供映像生成部２２は、この映像を取得して半透明化した上で第１の車外映像に重畳することによって第４の車外映像を生成すればよい。一方、第２の提供映像生成部２２を携帯端末２に備える場合には、第２の提供映像生成部２２は、画像処理部１５によって生成された第１の車外映像を、通信によって車載機３から取得し、取得された第１の車外映像に、携帯端末２のカメラ５の撮影映像を半透明化した上で重畳することによって第４の車外映像を生成すればよい。そして、第２の提供映像生成部２２は、このようにして生成された第４の車外映像を、車載機３の表示部１７および携帯端末２の表示部６の少なくとも一方に表示することによって、ユーザに提示するようになっている。
【００７７】
次に、本実施形態の作用について、図１１を参照して説明する。
【００７８】
なお、便宜上、図１１の初期状態においては、携帯端末２と車載機３との接続状態が確立されているものとする。また、このとき、携帯端末２は、ユーザ操作を契機として、制御部２０によってカメラ５が起動されているとともに、このカメラ５による車外風景の撮像映像が、ファインダ機能によって表示部に６にリアルタイム表示されているものとする。さらに、このとき、携帯端末２の表示部６には、ユーザ操作を契機として、第２〜第４の車外映像のいずれかの表示を選択可能な操作ボタンが表示されているものとする。
【００７９】
そして、このような初期状態から、まず、図１１のステップ１１（ＳＴ１１）において、携帯端末２の制御部２０により、携帯端末２に対するユーザ操作として、第２〜第４の車外映像のいずれかの表示を選択する操作が行われたか否かを判定する。そして、ステップ１１（ＳＴ１１）において肯定的な判定結果が得られた場合には、ステップ１２（ＳＴ１２）に進み、否定的な判定結果が得られた場合には、ステップ１１（ＳＴ１１）を繰り返す。
【００８０】
次いで、ステップ１２（ＳＴ１２）において、制御部２０により、ステップ１１（ＳＴ１１）において選択されたのは、第２の車外映像であるか否かを判定する。そして、ステップ１２（ＳＴ１２）において肯定的な判定結果が得られた場合には、ステップ１３（ＳＴ１３）に進み、否定的な判定結果が得られた場合には、ステップ１４（ＳＴ１４）に進む。
【００８１】
ここで、ステップ１３（ＳＴ１３）に進んだ場合には、制御部２０により、携帯端末２のＡＲ機能を起動してカメラ５の撮影映像に該当するエアタグを取得する。そして、ステップ１３（ＳＴ１３）の後は、第１実施形態の図５のステップ２（ＳＴ２）以降の各工程を順次実行することによって、第２の車外映像を表示部６、１７に表示する。
【００８２】
一方、ステップ１４（ＳＴ１４）に進んだ場合には、制御部２０により、ステップ１１（ＳＴ１１）において選択されたのは、第３の車外映像であるか否かを判定する。
【００８３】
ここで、ステップ１４（ＳＴ１４）において肯定的な判定結果が得られた場合における後続の一連の工程について先に説明する。
【００８４】
すなわち、ステップ１４（ＳＴ１４）において肯定的な判定結果が得られた場合には、第１実施形態の図５のステップ２（ＳＴ２）〜ステップ７（ＳＴ７）の一連の工程を順次実行した後に、ステップ１５（ＳＴ１５）に進む。ただし、本実施形態においては、ステップ４における車載カメラ４の特定の際に、カメラ５の向きとは正反対の向きに最も近い車載カメラ４を特定する。
【００８５】
次いで、ステップ１５（ＳＴ１５）において、画像処理部１５により、ステップ７（ＳＴ７）における歪み補正処理後の映像部位に対して、反転処理を行うことにより、第３の車外映像を生成する。
【００８６】
次いで、ステップ１６（ＳＴ１６）において、画像処理部１５により、ステップ１５（ＳＴ１５）において生成された第３の車外映像を表示部６、１７に表示して処理を終了する。
【００８７】
次に、ステップ１４（ＳＴ１４）において否定的な判定結果が得られた場合における後続の一連の工程について説明する。
【００８８】
すなわち、ステップ１４（ＳＴ１４）において否定的な判定結果が得られた場合には、第１実施形態の図５のステップ２（ＳＴ２）〜ステップ７（ＳＴ７）の一連の工程を順次実行した後に、ステップ１７（ＳＴ１７）に進む。
【００８９】
次いで、ステップ１７（ＳＴ１７）において、第２の提供映像生成部２２により、ステップ７（ＳＴ７）において生成された第１の車外映像に、携帯端末２のカメラ２の撮影映像を半透明化した上で重畳することによって、第４の車外映像を生成する。
【００９０】
次いで、ステップ１８（ＳＴ１８）において、第２の提供映像生成部２２により、ステップ１７（ＳＴ１７）において生成された第４の車外映像を表示部６、１７に表示して処理を終了する。
【００９１】
以上述べたように、本発明によれば、車両上の撮影障害物が映り込んでいない第１の車外映像に基づく高品質な第２の車外映像を提供することによって、第２の車外映像上の地物をエアタグに基づいて正確に把握することができるので、車室内における車外の地物のガイド機能を適正に発揮することができる。
【００９２】
なお、本発明は、前述した実施の形態に限定されるものではなく、本発明の特徴を損なわない限度において種々変更することができる。
【００９３】
例えば、車載機３および車載カメラ４は、複数の携帯端末２と同時に連携して、各端末２ごとの所望の車外映像を各端末２に向けて個別に提供するように構成してもよい。
【符号の説明】
【００９４】
１ 車外映像提供システム
２ 携帯端末
３ 車載機
４ 車載カメラ
５ カメラ
１１ 端末情報取得部
１２ 車載カメラ／撮影領域部位特定部
１４ 映像部位切り出し部
１５ 画像処理部
１６ 提供映像生成部
【技術分野】
【０００１】
本発明は、車外映像提供システムに係り、特に、カメラおよび拡張現実機能が搭載された携帯端末と、複数台の車載カメラと、車載機との連携によって、所望の車外映像をユーザに提供するのに好適な車外映像提供システムに関する。
【背景技術】
【０００２】
従来から、携帯電話機、スマートフォンおよび電子書籍等の携帯端末においては、カメラを搭載することが一般的とされており、このカメラを用いてスチル写真や動画を撮影することが可能とされていた。
【０００３】
また、最近では、所定の機種の携帯端末上で動作するＡＲ（Augmented Reality ：拡張現実）と称される機能を実現するアプリケーションソフトが開発されて提供されるようになった。ＡＲ機能においては、携帯端末に搭載されたカメラによって撮影された撮影映像（画像）上に、エアタグと称される撮影映像中の地物（建物、土地等）の名称や説明が記載された吹き出し等の付加情報をインポーズ表示して、街のガイド等に利用することが可能とされていた。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−９８７２０号公報
【特許文献２】特開２００３−２８３９７６号公報
【特許文献３】特開２００５−１８４１４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、前述したカメラが搭載された携帯端末の利用態様の１つに、携帯端末を車両（自動車）の車室内に持ち込んで、車室内から車外風景等を撮影する場合があった。
【０００６】
しかし、このような場合に、従来は、車両のピラー、ダッシュボードまたはシート等の車両部品や同乗者等が障害物として映り込むことや、窓ガラスでの光の反射等によって、車外の被写体を適切に撮影することができないことがあった。
【０００７】
特に、車両の走行中にそのような状況になった場合には、再度撮影を試みようとも被写体が過ぎ去っているため、撮影機会を逸してしまうことが少なくなかった。
【０００８】
そして、前述したＡＲ機能の普及により、今後は、例えば、旅行先で走行中に車室内から周辺をガイドさせるといった機会が増加すると考えられるが、このような場合には、車外の被写体を適切に撮影することができない問題は、一層深刻化すると予想される。例えば、図１２は、車室内の後部座席から車外風景を撮影するとともに、この撮影映像上にＡＲ表示を行った表示映像（模式図）である。図１２に示すように、表示映像は、車両上の撮影障害物（車両部品や日光反射）により、肝心な車外風景が一部しか映り込んでおらず、エアタグが重畳表示されているものの、エアタグが指示すべき車外の地物が撮影障害物によって隠れてしまっているため、内容把握が困難な映像となっている。
【０００９】
なお、特許文献１においては、競技場等において、ユーザが見たいと思う被写体を、ユーザが携帯端末を向けた方向に基づいて検知し、検知された被写体を、競技場に設置された投影機によって撮影して携帯端末に提供する技術が提案されている。
【００１０】
また、特許文献２においては、ユーザが所望する被写体を、ユーザの周辺の第三者に依頼して撮影してもらう技術が提案されている。
【００１１】
しかるに、これら特許文献１および特許文献２に記載の技術は、ユーザ所有のカメラ以外のカメラおよびサーバ等のインフラや人員が整備されていることを前提とした技術であるため、移動する車室内から車外風景を撮影する場合のように、被写体の存在位置が不特定多数（広域）にわたる場合における現実的な対応が困難である。
【００１２】
さらに、特許文献３においては、車両周囲状況を、車内に配置されたディスプレイの画像表示面の向きに応じた車載カメラの撮像画像から切り出す技術が提案されている。
【００１３】
この特許文献３に記載の技術は、ユーザ所有のディスプレイおよび車載装備のみによって撮影動作を自己完結できるものであり、不特定多数にわたる位置に存在する車外の被写体の撮影映像の取得に対応し得ると思われるが、カメラ付き携帯端末を利用しているわけではないので、ＡＲ機能に対応することはできない。
【００１４】
そこで、本発明は、このような点に鑑みなされたものであり、車外映像を利用した車室内における高品質なＡＲ表示を実現することができ、ひいては、車室内における車外の地物のガイド機能を適正に発揮することができる車外映像提供システムを提供することを目的とするものである。
【課題を解決するための手段】
【００１５】
前述した目的を達成するため、本発明に係る車外映像提供システムは、カメラが搭載され、当該カメラの撮影映像を表示部に表示可能とされているとともに、当該撮影映像上にこの映像中の地物に関連する付加情報を重畳表示する拡張現実機能を実行可能とされた携帯端末と、車両の互いに異なる所定の取り付け位置に、互いに異なる所定の向きに取り付けられ、前記車両の周辺を前記各取り付け位置における各向きに応じた所定の撮影領域ごとに撮影する複数台の車載カメラと、前記携帯端末が接続可能とされるとともに前記複数台の車載カメラが接続された車載機とを備え、前記携帯端末、前記車載カメラおよび前記車載機の連携によって所望の車外映像をユーザに提供するための車外映像提供システムであって、前記車載機は、接続された前記携帯端末から、前記携帯端末のカメラの向きに関する情報を含む提供すべき車外映像の生成に必要な端末情報を取得する端末情報取得手段と、この端末情報取得手段によって取得された前記端末情報に対応した前記車載カメラおよびこれの前記撮影領域中の部位を特定する車載カメラ／撮影領域部位特定手段と、この車載カメラ／撮影領域部位特定手段によって特定された前記車載カメラの撮影映像から、当該車載カメラ／撮影領域部位特定手段によって特定された前記撮影領域中の部位に該当する映像部位を切り出す映像部位切り出し手段と、この映像部位切り出し手段によって切り出された前記映像部位に対して、前記提供すべき車外映像の生成に必要な所定の画像処理を行う画像処理手段とを備え、前記提供すべき車外映像として、前記車両の車室内において前記携帯端末のカメラによって前記端末情報に反映された当該カメラの向きに対応した車外の被写体を前記車両上の撮影障害物が除去されたと仮定した撮影環境下で撮影した場合に得られるべき第１の車外映像に、前記拡張現実機能に基づく前記付加情報の重畳がなされた第２の車外映像を提供可能とされ、前記第２の車外映像を提供するために、前記車載カメラ／撮影領域部位特定手段は、前記端末情報に反映された前記携帯端末のカメラの向きに最も近い向きの前記車載カメラを特定し、前記画像処理手段は、前記所定の画像処理によって前記第１の車外映像を生成し、前記車載機および前記携帯端末の少なくとも一方は、前記画像処理手段によって生成された前記第１の車外映像に前記付加情報を重畳することにより、前記第２の車外映像を生成する提供映像生成手段を備えたことを特徴としている。
【００１６】
そして、このような構成によれば、車両上の撮影障害物が映り込んでいない第１の車外映像に基づく高品質な第２の車外映像（ＡＲ表示映像）を提供することができるので、第２の車外映像上の地物を付加情報に基づいて正確に把握することができる。
【００１７】
また、前記提供すべき車外映像として、前記携帯端末のカメラと正反対を向いた前記携帯端末の表示部がミラーであると仮定した場合に、前記車室内において前記端末情報に反映された当該カメラの向きと正反対向きの当該ミラーに前記車両上の障害物が除去されたと仮定した環境下で映されるべき車外の鏡像に相当する第３の車外映像を提供可能とされ、前記第３の車外映像を提供するために、前記車載カメラ／撮影領域部位特定手段は、前記端末情報に反映された前記携帯端末のカメラの向きと正反対に最も近い向きの前記車載カメラを特定し、前記画像処理手段は、前記所定の画像処理として、前記映像部位の左右を反転させる反転処理を含む処理を行うことにより、前記第３の車外映像を生成してもよい。
【００１８】
そして、このような構成によれば、電子ミラー用の専用のカメラを要することなく、電子ミラー映像を模した第３の車外映像（車外鏡像映像）として、車両上の障害物が映り込んでいない高品質な映像を提供することもできるので、利便性を更に向上させることができる。
【００１９】
さらに、前記提供すべき車外映像として、前記第１の車外映像に、前記携帯端末のカメラによって前記車室内の現実の撮影環境下において実際に撮影された前記車外の被写体の撮影映像が半透明化された上で重畳された第４の車外映像を提供可能とされ、前記第４の車外映像を提供するために、前記車載カメラ／撮影領域部位特定手段は、前記端末情報に反映された前記携帯端末のカメラの向きに最も近い向きの前記車載カメラを特定し、前記画像処理手段は、前記所定の画像処理によって前記第１の車外映像を生成し、前記車載機および前記携帯端末の少なくとも一方は、前記画像処理手段によって生成された前記第１の車外映像に前記実際に撮影された車外の被写体の撮影映像を半透明化した上で重畳することにより、前記第４の車外映像を生成する第２の提供映像生成手段を備えてもよい。
【００２０】
そして、このような構成によれば、車両上の撮影障害物が半透明化された高品質な第４の車外映像を提供することもできるので、利便性を更に向上させることができる。
【００２１】
さらにまた、前記車載カメラは、広角レンズを有する広視野角範囲を撮影可能とされたカメラであり、前記所定の画像処理は、前記広角レンズに起因した前記映像部位の歪みを補正する歪み補正処理を含んでもよい。
【００２２】
そして、このような構成によれば、歪みが低減されたより高品質な車外映像を提供することができる。
【００２３】
また、前記端末情報は、前記携帯端末のカメラの焦点距離に関する情報を含んでもよい。
【００２４】
そして、このような構成によれば、車載機側において、携帯端末のカメラが狙う車外の被写体を正確に検知することができるので、ユーザの意思をより忠実に反映した車外映像を提供することができる。
【００２５】
さらに、生成された前記提供すべき車外映像を、前記車載機の表示部に表示することによって提供可能とされていてもよい。
【００２６】
そして、このような構成によれば、車外映像を車載機の大画面上に提供することができるので、視認性が良好なガイド機能を実現することができる。
【００２７】
さらにまた、生成された前記提供すべき車外映像を、前記携帯端末の表示部に表示することによって提供可能とされていてもよい。
【００２８】
そして、このような構成によれば、携帯端末のみでは実現できなかった高品質なＡＲ表示を携帯端末上において実現することができる。
【００２９】
また、前記車載機および前記携帯端末の少なくとも一方は、生成された前記第２の車外映像を保存する保存手段を備えてもよい。
【００３０】
そして、このような構成によれば、第２の車外映像を保存することによって、エアタグによる説明付きの旅の記録を高品質な映像作品に仕上げることができる。
【００３１】
さらに、前記複数台の車載カメラは、前記車両の周辺を監視するための監視映像を前記車載機の表示部に表示するためのものであってもよい。
【００３２】
そして、このような構成によれば、既存の車載装備を活用することができるので、部品点数の増加を抑制することができ、車室内における車外の地物のガイド機能を経済的に実現することができる。
【発明の効果】
【００３３】
本発明によれば、車外映像を利用した車室内における高品質なＡＲ表示を実現することができ、ひいては、車室内における車外の地物のガイド機能を適正に発揮することができる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る車外映像提供システムの第１実施形態を示す概略構成図
【図２】第１実施形態において、車載カメラの配置例を説明するための説明図
【図３】第１実施形態において、第１の車外映像の一例を示す図
【図４】第１実施形態において、第２の車外映像の一例を示す図
【図５】第１実施形態を示すフローチャート
【図６】第１実施形態の変形例を示す概略構成図
【図７】本発明に係る車外映像提供システムの第２実施形態を示す概略構成図
【図８】第２実施形態において、車載カメラおよび撮影領域中の部位の特定を説明するための説明図
【図９】第２実施形態において、反転処理による第３の車外映像の生成を説明するための説明図
【図１０】第２実施形態において、第４の車外映像の一例を模式的に示す図
【図１１】第２実施形態を示すフローチャート
【図１２】従来のＡＲ表示の問題点を説明するための説明図
【発明を実施するための形態】
【００３５】
（第１実施形態）
以下、本発明に係る車外映像提供システムの第１実施形態について、図１乃至図６を参照して説明する。
【００３６】
図１に示すように、本実施形態における車外映像提供システム１は、大別して、
携帯電話機、スマートフォンまたは電子書籍等からなる携帯端末２と、車載機３と、複数台（図１において５台）の車載カメラ４とによって構成されている。携帯端末２は、例えば、Bluetooth（登録商標）等の無線通信手段やＵＳＢ等の有線通信手段によって車載機３への通信接続が可能とされている。また、各車載カメラ４は、接続ケーブルによって車載機３に電気的に接続されている。
【００３７】
より具体的には、図１に示すように、携帯端末２には、これの所定の表面側に外光を捕捉可能な状態で配置されたレンズを備えたデジタル方式のカメラ５が搭載されている。このカメラ５は、起動状態において、レンズを介して外部から取込まれた物体の像（物体光）を、ＣＣＤやＣＭＯＳ等の固体撮像素子の撮像面に撮影映像として結像させるようになっている。そして、撮像面に結像された撮影映像は、シャッターが切られる前においても、カメラ５のレンズに対して背面側に設けられた表示部６にリアルタイムに表示（ライブビュー表示）されて確認することが可能となっている。また、図１に示すように、携帯端末２には、地磁気センサ（デジタルコンパス）、３軸加速度センサ（ジャイロスコープ）およびズームレベル／フォーカスレベル制御部等の各種のセンシングデバイス７が搭載されており、このセンシングデバイス７によって、携帯端末２（カメラ５）の方角（東西南北）、角度（ロール、ピッチ、ヨー）および焦点距離を検出可能とされている。さらに、図１に示すように、携帯端末２には、ＧＰＳレシーバ等からなる位置検出デバイス８が搭載されており、この位置検出デバイス８によって、携帯端末２の位置（現在地）を絶対座標として検出するようになっている。さらにまた、携帯端末２には、ＡＲ機能がアプリケーションソフト１９として搭載されており、このＡＲ機能をユーザ操作によって起動させることにより、表示部６に表示された撮影映像上に、この撮影映像中の地物に該当するエアタグ（付加情報）を重畳表示させることが可能とされている。ここで、エアタグは、インターネットを通じてユーザ間で共有された情報であり、位置検出デバイス８およびセンシングデバイス７によって検出される位置情報、方角情報および角度情報等を利用してユーザの居場所およびカメラ５の向きと対応付けられているため、ＡＲ機能の起動中における携帯端末２の位置およびカメラ５の向きに対応するエアタグをインターネットを介して取得して表示することが可能となっている。また、図１に示すように、携帯端末２は、ＣＰＵ等からなる制御部２０を有しており、この制御部２０は、携帯端末２の各種の処理を行うようになっている。
【００３８】
一方、図２に示すように、各車載カメラ４は、車両９の互いに異なる取り付け位置に、互いに異なる所定の向きに取り付けられており、車両９の周辺を各取り付け位置における各向きに応じた所定の撮影領域ごとに撮影可能とされている。さらに、各車載カメラ４は、魚眼レンズ等の広角レンズが搭載された広視野角範囲を撮影可能とされたカメラとされている。さらにまた、各車載カメラ４は、それぞれの撮影領域を所定のフレームレートで撮影し、撮影映像をＣＣＤやＣＭＯＳ等の固体撮像素子の撮像面に結像するデジタルカメラとされている。図２の例では、各車載カメラ４のうちの１台４ａは、車両９の左前部（例えば、左前照灯）に、車両９の左前方の路面を斜め上から見下ろすような向き（姿勢）で取り付けられた左フロントカメラ４ａとされており、この左フロントカメラ４ａは、車両９の左前方の路面上を中心とした撮影領域を撮影可能とされている。また、この他の車載カメラ４のうちの１台４ｂは、車両９の右前部（例えば、右前照灯）に、車両９の右前方の路面を斜め上から見下ろすような向きで取り付けられた右フロントカメラ４ｂとされており、この右フロントカメラ４ｂは、車両９の右前方の路面上を中心とした撮影領域を撮影可能とされている。さらに、これらの他の車載カメラ４のうちの１台４ｃは、車両９の左側部（例えば、左ドアミラー）に、車両９の左側方の路面を斜め上から見下ろすような向きで取り付けられた左サイドカメラ４ｃとされており、この左サイドカメラ４ｃは、車両９の左側方の路面上を中心とした撮影領域を撮影可能とされている。さらにまた、これらの他の車載カメラ４のうちの１台４ｄは、車両９の右側部（例えば、右ドアミラー）に、車両９の右側方の路面を斜め上から見下ろすような向きで取り付けられた右サイドカメラ４ｄとされており、この右サイドカメラ４ｄは、車両９の右側方の路面上を中心とした撮影領域を撮影可能とされている。また、残りの１台の車載カメラ４ｅは、車両９の後部（例えば、リアライセンスガーニッシュ部）に、車両９の後方の路面を斜め上から見下ろすような向きで取り付けられたバックカメラ４ｅとされており、このバックカメラ４ｅは、車両９の後方の路面上を中心とした撮影領域を撮影可能とされている。
【００３９】
そして、本実施形態における車外映像提供システム１は、携帯端末２、各車載カメラ４および車載機３の連携（連動）によって、所望の車外映像としての第２の車外映像をユーザに提供することが可能とされている。ただし、第２の車外映像とは、車両９の車室内において携帯端末２のカメラ５によってこれの向きに対応した車外の被写体を車両９上の撮影障害物が除去されたと仮定した撮影環境下で撮影した場合に得られるべき第１の車外映像に、ＡＲ機能に基づくエアタグ（付加情報）の重畳がなされた映像のことである。
【００４０】
具体的には、図１に示すように、車載機３は、その主制御部としてのＥＣＵ (Electrical Control Unit)１０を有しており、このＥＣＵ１０は、不図示の記憶部（ＲＯＭ等）に記憶されたプログラムを実行することにより、提供すべき映像を生成するための各種の処理を行うようになっている。
【００４１】
すなわち、図１に示すように、ＥＣＵ１０は、端末情報取得手段としての端末情報取得部１１を有している。この端末情報取得部１１は、車載機３との接続状態が確立された（通信可能となった）携帯端末２から、携帯端末２のカメラ５の向きに関する情報を含む第２の車外映像（提供すべき車外映像）の生成に必要な端末情報を、通信によって取得するようになっている。この端末情報には、前述したセンシングデバイス７の検出結果が含まれている。また、この他にも、端末情報には、位置検出デバイス８の検出結果、カメラ５の画角の情報および第２の車外映像の要求信号等が含まれていてもよい。
【００４２】
また、図１に示すように、ＥＣＵ１０は、車載カメラ／撮影領域部位特定手段としての車載カメラ／撮影領域部位特定部１２を有している。この車載カメラ／撮影領域部位特定部１２は、端末情報取得部１１によって取得された端末情報に対応した車載カメラ４と、これの撮影領域中の部位とを特定するようになっている。具体的には、本実施形態において、車載カメラ／撮影領域部位特定部１２は、端末情報に反映された携帯端末２のカメラ５の向き（方角・角度）に最も近い向きの車載カメラ４を特定するとともに、この特定した車載カメラ４の撮影領域から、例えば、端末情報に基づいて検出された携帯端末２のカメラ５の撮影領域に該当する部位を、被写体に相当する部位として特定するようになっている。このとき、車載カメラ４の向きに関する情報としては、車載カメラ４の既知の外部パラメータを不図示の記憶部に記憶させたものを用いるようにしてもよい。また、このとき、携帯端末２のカメラ５の向きを示す端末情報のうちの角度情報については、車両９に搭載されたナビゲーション装置用の加速度センサの検出値を差し引くことによって、車両９の加速度の影響を除去した純粋な重力加速度（端末２の傾き）の情報に補正した上で扱うようにすることが望ましい。さらに、このとき、前述のように、車載カメラ４の撮影領域から、携帯端末２のカメラ５の撮影領域に該当する部位を特定する場合には、端末情報や車載カメラ４の既知の情報等に基づいて、両カメラ４，５の向き、位置および画角等の差分を算出した上で、算出された差分を用いて該当する部位を特定するようにしてもよい。この場合に、車載カメラ４の位置については、車両９の所定の基準位置に対する相対位置として記憶部に記憶させたものを用いるようにしてもよい。一方、携帯端末２のカメラ５の位置については、車両９の基準位置に対するカメラ５の相対位置を検出するための手段（例えば、カメラ５の操作者が車両９のいずれの座席に座っているのかを端末情報として車載機３に通知し、車載機３側において、通知された座席に対応付けられた所定の固定位置を相対位置と決定する手段であってもよい）を設けることによって検出してもよい。あるいは、そのような手段を設けない場合には、車両９の基準位置に対して予め固定された車室内の所定位置（例えば、車体中央の所定高さの位置）を、携帯端末２のカメラ５の位置とみなしてもよい。もしくは、被写体の検出精度をある程度犠牲にする場合もあるが、両カメラ４、５の位置は同一である（位置の差分は０）とみなしてもよい。
【００４３】
さらに、図１に示すように、ＥＣＵ１０は、映像部位切り出し手段としての映像部位切り出し部１４を有している。この映像部位切り出し部１４は、車載カメラ／撮影領域部位特定部１２によって特定された車載カメラ４の撮影映像から、車載カメラ／撮影領域部位特定部１２によって特定された当該車載カメラ４の撮影領域中の部位に該当する映像部位を切り出すようになっている。このとき、車載カメラ４の撮影映像としては、図１に示すように、ＥＣＵ１０内の映像キャプチャ部１３に取得されて保持されているものを用いるようになっている。ここで、図２の破線枠Ｆは、車載カメラ／撮影領域部位特定部１２によって特定された左フロントカメラ４ａの撮影映像Ｉから、車載カメラ／撮影領域部位特定部１２によって特定された左フロントカメラ４ａの撮影領域中の部位に該当する映像部位として切り出される範囲を例示したものである。
【００４４】
図１に戻って、ＥＣＵ１０は、画像処理手段としての画像処理部１５を有している。この画像処理部１５は、映像部位切り出し部１４によって切り出された映像部位に対して、第２の車外映像の生成に必要な所定の画像処理を行うようになっている。本実施形態において、この所定の画像処理は、車載カメラ４の取り付け角等に起因する映像の傾きや広角レンズのディストーションに起因する映像の歪みを補正する視点変換処理および歪み補正処理によって構成されている。そして、画像処理部１５は、このような所定の画像処理を行うことによって、第１の車外映像を生成するようになっている。
【００４５】
ここで、図３は、このようにして生成された第１の車外映像として、図１２と同様の車外風景に該当する撮影映像を示したものである。この第１の車外映像は、車室内の撮影障害物が一切映り込んでいない高品質な映像となっている。
【００４６】
図１に戻って、車外映像提供システム１は、提供映像生成手段としての提供映像生成部１６を有している。この提供映像生成部１６は、画像処理部１５によって生成された第１の車外映像に、携帯端末２に搭載されたＡＲ機能に基づくエアタグを重畳することにより、第２の車外映像を生成するようになっている。このような提供映像生成部１６は、車載機３（ＥＣＵ１０）に備えられていてもよく、または、携帯端末２（制御部２０）に備えられていてもよく、あるいは、車載機３および携帯端末２の双方に備えられていてもよい。ここで、提供映像生成部１６を車載機３に備える場合には、端末情報に、携帯端末２のカメラ５の撮影領域に応じたエアタグ情報（エアタグに対応付けられた位置情報も含む）を含ませるように構成し、提供映像生成部１６は、この情報を取得して第１の車外映像における該当位置に貼り付けることによって第２の車外映像を生成すればよい。一方、提供映像生成部１６を携帯端末２に備える場合には、提供映像生成部１６は、画像処理部１５によって生成された第１の車外映像を、通信によって車載機３から取得し、取得された第１の車外映像に、携帯端末２によって取得されたエアタグを貼り付けることによって第２の車外映像を生成すればよい。そして、提供映像生成部１６は、このようにして生成された第２の車外映像を、車載機３の表示部１７および携帯端末２の表示部６の少なくとも一方に表示することによって、ユーザに提示するようになっている。
【００４７】
ここで、図４は、このようにして表示された第２の車外映像として、図３に対応するＡＲ表示映像を示したものである。このＡＲ表示映像を図１２と比較すれば分かるように、本実施形態によれば、車室内の撮影障害物が一切映り込んでいない高品質な第２の車外映像を表示することができ、この映像を見たユーザは、エアタグに基づいて映像中の地物を容易かつ正確に把握することができる。
【００４８】
次に、本実施形態の作用について、図５を参照して説明する。
【００４９】
なお、便宜上、図５の初期状態においては、携帯端末２と車載機３との接続状態が、図示しない両者の通信モジュールを介して確立されているものとする。また、このとき、携帯端末２は、ユーザ操作を契機として、制御部２０によってカメラ５が起動されているとともに、このカメラ５による車外風景の撮像映像（車室内の撮影障害物が映り込んだ現実の撮影環境下での撮影映像）が、ファインダ機能によって表示部に６にリアルタイム表示されているものとする。さらに、このとき、携帯端末２は、自らの記憶部に記憶されたＡＲ機能のアプリケーションソフト１９がユーザ操作を契機として制御部２０によって起動されており、カメラ５の撮影映像中の地物に該当するエアタグが、インターネットを通じて取得された上で、当該撮影映像上の該当位置に重畳表示されているものとする。さらにまた、このとき、携帯端末２のアプリケーションソフトによって、携帯端末２の表示部６には、車載カメラ４の撮影映像を利用したＡＲ表示の実行を指示する操作が可能とされた操作ボタンが表示されているものとする。この操作ボタンの表示は、例えば、「車載カメラの映像が利用できます」といったメッセージの表示をともなってもよい。また、このとき、各車載カメラ４は、それぞれの撮影領域の撮影を開始しているものとする。この車載カメラ４による撮影の開始は、携帯端末２と車載機３との接続の確立を契機として行うようにしてもよいし、あるいは、Ａｃｃ電源の投入を契機として行うようにしてもよい。
【００５０】
そして、このような初期状態から、まず、図５のステップ１（ＳＴ１）において、携帯端末２の制御部２０により、携帯端末２に対するユーザ操作として、車載カメラ４の撮影映像を利用したＡＲ表示の実行を指示する操作が行われたか否かを判定する。そして、ステップ１（ＳＴ１）において肯定的な判定結果が得られた場合には、ステップ２（ＳＴ２）に進み、否定的な判定結果が得られた場合には、ステップ１（ＳＴ１）を繰り返す。
【００５１】
次いで、ステップ２（ＳＴ２）において、携帯端末２の通信機能により、車載機３への端末情報の送信を行う。
【００５２】
次いで、ステップ３（ＳＴ３）において、端末情報取得部１１により、ステップ２（ＳＴ２）において送信された端末情報を受信して取得する。
【００５３】
次いで、ステップ４（ＳＴ４）において、車載カメラ／撮影領域部位特定部１２により、ステップ３（ＳＴ３）において取得された端末情報に基づいて、対応する車載カメラ４およびこれの撮影領域中の部位を特定する。
【００５４】
次いで、ステップ５（ＳＴ５）において、映像部位切り出し部１４により、ステップ４（ＳＴ４）において特定された車載カメラ４の撮影映像から、ステップ４（ＳＴ４）において特定された当該車載カメラ４の撮影領域中の部位に該当する映像部位を切り出す。
【００５５】
次いで、ステップ６（ＳＴ６）において、画像処理部１５により、ステップ５（ＳＴ５）において切り出された映像部位に対する視点変換処理を行う。
【００５６】
次いで、ステップ７（ＳＴ７）において、画像処理部１５により、ステップ６（ＳＴ６）において視点変換処理が行われた映像部位に対する歪み補正処理を行うことによって、第１の車外映像を生成する。
【００５７】
次いで、ステップ８（ＳＴ８）において、提供映像生成部１６により、ステップ７（ＳＴ７）において生成された第１の車外映像にエアタグを重畳させることによって、第２の車外映像を生成する。
【００５８】
次いで、ステップ９（ＳＴ９）により、提供映像生成部１６により、ステップ８（ＳＴ８）において生成された第２の車外映像を表示部６、１７に表示して処理を終了する。
（変形例）
次に、図６は、本実施形態の変形例を示したものである。
【００５９】
本変形例における車外映像提供システム１は、図１に示した基本構成に加えて、更に、保存手段としての提供映像保存処理部１８を有している。この提供映像保存処理部１８は、提供映像生成部１６によって生成された第２の車外映像を、ユーザ操作を契機として、自らの記憶領域に記録することによって保存するようになっている。この提供映像保存処理部１８は、車載機３および携帯端末２のうち、提供映像生成部１６が備えられたいずれか一方もしくは双方に備えられている。また、提供映像保存処理部１８によって保存された第２の車外映像は、この提供映像保存処理部１８を備えたデバイス３、２の再生表示機能によって読み出して再生表示することが可能とされている。
【００６０】
このような構成によれば、第２の車外映像を保存することによって、エアタグによる説明付きの旅の記録を高品質な映像作品に仕上げることができる。
【００６１】
（第２実施形態）
次に、本発明に係る車外映像提供システムの第２実施形態について、第１実施形態との差異を中心として、図７乃至図１１を参照して説明する。
【００６２】
なお、便宜上、第１実施形態と基本的構成が同一もしくはこれに類する箇所については、同一の符号を用いて説明する。
【００６３】
図７に示す本実施形態における車外映像提供システム２１は、提供すべき車外映像として、第２の車外映像を提供可能とされている点で第１実施形態と同様である。
【００６４】
ただし、本実施形態における車外映像提供システム２１は、第１実施形態とは異なり、第２の車外映像以外にも、第３の車外映像および第４の車外映像を選択的に提供することが可能とされている。ここで、第３の車外映像とは、携帯端末２のカメラ５と正反対を向いた携帯端末２の表示部６がミラーであると仮定した場合に、車室内において端末情報に反映された当該カメラ５の向きと正反対向きの当該ミラーに車両上の障害物が除去されたと仮定した環境下で映されるべき車外の鏡像に相当する映像のことである。また、第４の車外映像とは、第１の車外映像に、携帯端末２のカメラ５によって車室内の現実の撮影環境下において実際に撮影された車外の被写体の撮影映像が半透明化された上で重畳された映像のことである。
【００６５】
第２の車外映像、第３の車外映像および第４の車外映像のいずれを提供すべきかについては、これらの１つを選択するためのメニュー画面を携帯端末２の表示部６に表示した上で、このメニュー画面に対するユーザ操作の結果に応じて選択してもよい。
【００６６】
ここで、第２の車外映像を提供するための構成については第１実施形態で既に述べた通りであるので、本実施形態においては、第３の車外映像および第４の車外映像を提供するための特有の構成に重点を置いて説明する。
【００６７】
（第３の車外映像を提供するための構成）
まず、第３の車外映像を提供する場合には、車載カメラ／撮影領域部位特定部１２は、端末情報に反映された携帯端末２のカメラ５の向きと正反対に最も近い向きの車載カメラ４を特定するようになっている。このとき、車載カメラ／撮影領域部位特定部１２は、車載カメラ４の撮影領域中の部位の特定については、カメラ５を現在の向きから正反対向きにしたと仮定した場合におけるカメラ５の撮影領域を、端末情報における方角情報および角度情報を１８０°逆転させること等によって求めた上で、求められた撮影領域に該当する部位を、車載カメラ４の撮影領域中から特定することによって行うようにしてもよい。
【００６８】
例えば、ユーザがカメラ５を前方に向けている場合には、図８に示すように、車載カメラ／撮影領域部位特定部１２によってバックカメラ４ｅの撮影領域中の該当する部位（同図破線枠Ｆ参照）が特定されることになる。
【００６９】
また、第３の車外映像を提供する場合には、画像処理部１５は、所定の画像処理として、前述した視点変換処理および歪み補正処理の後に、映像部位の左右を反転させる反転処理を行うようになっている。
【００７０】
図９は、このような反転処理の一例を、反転前の映像（ａ）および反転後の映像（ｂ）を用いて示したものである。この反転処理は、提供すべき映像が鏡像映像であることによるものである。
【００７１】
そして、このような反転処理によって、図９（ｂ）のような第３の車外映像が生成されるようになっている。
【００７２】
さらに、画像処理部１５は、このようにして生成された第３の車外映像を、車載機３の表示部１７への表示および／または通信を介した携帯端末２の表示部６への表示によってユーザに提供するようになっている。
【００７３】
（第４の車外映像を提供するための構成）
次に、第４の車外映像を提供する場合には、車外映像提供システム２１は、第１実施形態と同様の手法によって、第１の車外映像を生成するようになっている。
【００７４】
そして、図７に示すように、第４の車外映像を提供するための構成として、車外映像提供システム２１は、第２の提供映像生成手段としての第２の提供映像生成部２２を有している。この第２の提供映像生成部２２は、画像処理部１５によって生成された第１の車外映像に、携帯端末２のカメラ５によって車室内の現実の撮影環境下において実際に撮影された車外の被写体の撮影映像を半透明化した上で重畳することにより、第４の車外映像を生成するようになっている。なお、車外の被写体の撮影映像は、第１の車外映像と同一サイズの映像であり、両映像は、両カメラ４、５によって互いに同時期に撮影された映像に基づくものである。両映像は、車両上の撮影障害物以外の部分が互いに一致していることが望ましい。
【００７５】
ここで、図１０は、このような第４の車外映像の一例を模式的に示したものである。
【００７６】
このような第２の提供映像生成部２２は、車載機３（ＥＣＵ１０）に備えられていてもよく、または、携帯端末２（制御部２０）に備えられていてもよく、あるいは、車載機３および携帯端末２の双方に備えられていてもよい。ここで、第２の提供映像生成部２２を車載機３に備える場合には、端末情報に、携帯端末２のカメラ５の撮影映像を含ませるように構成し、提供映像生成部２２は、この映像を取得して半透明化した上で第１の車外映像に重畳することによって第４の車外映像を生成すればよい。一方、第２の提供映像生成部２２を携帯端末２に備える場合には、第２の提供映像生成部２２は、画像処理部１５によって生成された第１の車外映像を、通信によって車載機３から取得し、取得された第１の車外映像に、携帯端末２のカメラ５の撮影映像を半透明化した上で重畳することによって第４の車外映像を生成すればよい。そして、第２の提供映像生成部２２は、このようにして生成された第４の車外映像を、車載機３の表示部１７および携帯端末２の表示部６の少なくとも一方に表示することによって、ユーザに提示するようになっている。
【００７７】
次に、本実施形態の作用について、図１１を参照して説明する。
【００７８】
なお、便宜上、図１１の初期状態においては、携帯端末２と車載機３との接続状態が確立されているものとする。また、このとき、携帯端末２は、ユーザ操作を契機として、制御部２０によってカメラ５が起動されているとともに、このカメラ５による車外風景の撮像映像が、ファインダ機能によって表示部に６にリアルタイム表示されているものとする。さらに、このとき、携帯端末２の表示部６には、ユーザ操作を契機として、第２〜第４の車外映像のいずれかの表示を選択可能な操作ボタンが表示されているものとする。
【００７９】
そして、このような初期状態から、まず、図１１のステップ１１（ＳＴ１１）において、携帯端末２の制御部２０により、携帯端末２に対するユーザ操作として、第２〜第４の車外映像のいずれかの表示を選択する操作が行われたか否かを判定する。そして、ステップ１１（ＳＴ１１）において肯定的な判定結果が得られた場合には、ステップ１２（ＳＴ１２）に進み、否定的な判定結果が得られた場合には、ステップ１１（ＳＴ１１）を繰り返す。
【００８０】
次いで、ステップ１２（ＳＴ１２）において、制御部２０により、ステップ１１（ＳＴ１１）において選択されたのは、第２の車外映像であるか否かを判定する。そして、ステップ１２（ＳＴ１２）において肯定的な判定結果が得られた場合には、ステップ１３（ＳＴ１３）に進み、否定的な判定結果が得られた場合には、ステップ１４（ＳＴ１４）に進む。
【００８１】
ここで、ステップ１３（ＳＴ１３）に進んだ場合には、制御部２０により、携帯端末２のＡＲ機能を起動してカメラ５の撮影映像に該当するエアタグを取得する。そして、ステップ１３（ＳＴ１３）の後は、第１実施形態の図５のステップ２（ＳＴ２）以降の各工程を順次実行することによって、第２の車外映像を表示部６、１７に表示する。
【００８２】
一方、ステップ１４（ＳＴ１４）に進んだ場合には、制御部２０により、ステップ１１（ＳＴ１１）において選択されたのは、第３の車外映像であるか否かを判定する。
【００８３】
ここで、ステップ１４（ＳＴ１４）において肯定的な判定結果が得られた場合における後続の一連の工程について先に説明する。
【００８４】
すなわち、ステップ１４（ＳＴ１４）において肯定的な判定結果が得られた場合には、第１実施形態の図５のステップ２（ＳＴ２）〜ステップ７（ＳＴ７）の一連の工程を順次実行した後に、ステップ１５（ＳＴ１５）に進む。ただし、本実施形態においては、ステップ４における車載カメラ４の特定の際に、カメラ５の向きとは正反対の向きに最も近い車載カメラ４を特定する。
【００８５】
次いで、ステップ１５（ＳＴ１５）において、画像処理部１５により、ステップ７（ＳＴ７）における歪み補正処理後の映像部位に対して、反転処理を行うことにより、第３の車外映像を生成する。
【００８６】
次いで、ステップ１６（ＳＴ１６）において、画像処理部１５により、ステップ１５（ＳＴ１５）において生成された第３の車外映像を表示部６、１７に表示して処理を終了する。
【００８７】
次に、ステップ１４（ＳＴ１４）において否定的な判定結果が得られた場合における後続の一連の工程について説明する。
【００８８】
すなわち、ステップ１４（ＳＴ１４）において否定的な判定結果が得られた場合には、第１実施形態の図５のステップ２（ＳＴ２）〜ステップ７（ＳＴ７）の一連の工程を順次実行した後に、ステップ１７（ＳＴ１７）に進む。
【００８９】
次いで、ステップ１７（ＳＴ１７）において、第２の提供映像生成部２２により、ステップ７（ＳＴ７）において生成された第１の車外映像に、携帯端末２のカメラ２の撮影映像を半透明化した上で重畳することによって、第４の車外映像を生成する。
【００９０】
次いで、ステップ１８（ＳＴ１８）において、第２の提供映像生成部２２により、ステップ１７（ＳＴ１７）において生成された第４の車外映像を表示部６、１７に表示して処理を終了する。
【００９１】
以上述べたように、本発明によれば、車両上の撮影障害物が映り込んでいない第１の車外映像に基づく高品質な第２の車外映像を提供することによって、第２の車外映像上の地物をエアタグに基づいて正確に把握することができるので、車室内における車外の地物のガイド機能を適正に発揮することができる。
【００９２】
なお、本発明は、前述した実施の形態に限定されるものではなく、本発明の特徴を損なわない限度において種々変更することができる。
【００９３】
例えば、車載機３および車載カメラ４は、複数の携帯端末２と同時に連携して、各端末２ごとの所望の車外映像を各端末２に向けて個別に提供するように構成してもよい。
【符号の説明】
【００９４】
１ 車外映像提供システム
２ 携帯端末
３ 車載機
４ 車載カメラ
５ カメラ
１１ 端末情報取得部
１２ 車載カメラ／撮影領域部位特定部
１４ 映像部位切り出し部
１５ 画像処理部
１６ 提供映像生成部
【特許請求の範囲】
【請求項１】
カメラが搭載され、当該カメラの撮影映像を表示部に表示可能とされているとともに、当該撮影映像上にこの映像中の地物に関連する付加情報を重畳表示する拡張現実機能を実行可能とされた携帯端末と、
車両の互いに異なる所定の取り付け位置に、互いに異なる所定の向きに取り付けられ、前記車両の周辺を前記各取り付け位置における各向きに応じた所定の撮影領域ごとに撮影する複数台の車載カメラと、
前記携帯端末が接続可能とされるとともに前記複数台の車載カメラが接続された車載機と
を備え、
前記携帯端末、前記車載カメラおよび前記車載機の連携によって所望の車外映像をユーザに提供するための車外映像提供システムであって、
前記車載機は、
接続された前記携帯端末から、前記携帯端末のカメラの向きに関する情報を含む提供すべき車外映像の生成に必要な端末情報を取得する端末情報取得手段と、
この端末情報取得手段によって取得された前記端末情報に対応した前記車載カメラおよびこれの前記撮影領域中の部位を特定する車載カメラ／撮影領域部位特定手段と、
この車載カメラ／撮影領域部位特定手段によって特定された前記車載カメラの撮影映像から、当該車載カメラ／撮影領域部位特定手段によって特定された前記撮影領域中の部位に該当する映像部位を切り出す映像部位切り出し手段と、
この映像部位切り出し手段によって切り出された前記映像部位に対して、前記提供すべき車外映像の生成に必要な所定の画像処理を行う画像処理手段と
を備え、
前記提供すべき車外映像として、前記車両の車室内において前記携帯端末のカメラによって前記端末情報に反映された当該カメラの向きに対応した車外の被写体を前記車両上の撮影障害物が除去されたと仮定した撮影環境下で撮影した場合に得られるべき第１の車外映像に、前記拡張現実機能に基づく前記付加情報の重畳がなされた第２の車外映像を提供可能とされ、
前記第２の車外映像を提供するために、
前記車載カメラ／撮影領域部位特定手段は、前記端末情報に反映された前記携帯端末のカメラの向きに最も近い向きの前記車載カメラを特定し、
前記画像処理手段は、前記所定の画像処理によって前記第１の車外映像を生成し、
前記車載機および前記携帯端末の少なくとも一方は、前記画像処理手段によって生成された前記第１の車外映像に前記付加情報を重畳することにより、前記第２の車外映像を生成する提供映像生成手段を備えたこと
を特徴とする車外映像提供システム。
【請求項２】
前記提供すべき車外映像として、前記携帯端末のカメラと正反対を向いた前記携帯端末の表示部がミラーであると仮定した場合に、前記車室内において前記端末情報に反映された当該カメラの向きと正反対向きの当該ミラーに前記車両上の障害物が除去されたと仮定した環境下で映されるべき車外の鏡像に相当する第３の車外映像を提供可能とされ、
前記第３の車外映像を提供するために、
前記車載カメラ／撮影領域部位特定手段は、前記端末情報に反映された前記携帯端末のカメラの向きと正反対に最も近い向きの前記車載カメラを特定し、
前記画像処理手段は、前記所定の画像処理として、前記映像部位の左右を反転させる反転処理を含む処理を行うことにより、前記第３の車外映像を生成すること
を特徴とする請求項１に記載の車外映像提供システム。
【請求項３】
前記提供すべき車外映像として、前記第１の車外映像に、前記携帯端末のカメラによって前記車室内の現実の撮影環境下において実際に撮影された前記車外の被写体の撮影映像が半透明化された上で重畳された第４の車外映像を提供可能とされ、
前記第４の車外映像を提供するために、
前記車載カメラ／撮影領域部位特定手段は、前記端末情報に反映された前記携帯端末のカメラの向きに最も近い向きの前記車載カメラを特定し、
前記画像処理手段は、前記所定の画像処理によって前記第１の車外映像を生成し、
前記車載機および前記携帯端末の少なくとも一方は、前記画像処理手段によって生成された前記第１の車外映像に前記実際に撮影された車外の被写体の撮影映像を半透明化した上で重畳することにより、前記第４の車外映像を生成する第２の提供映像生成手段を備えたこと
を特徴とする請求項１または請求項２に記載の車外映像提供システム。
【請求項４】
前記車載カメラは、広角レンズを有する広視野角範囲を撮影可能とされたカメラであり、
前記所定の画像処理は、前記広角レンズに起因した前記映像部位の歪みを補正する歪み補正処理を含むこと
を特徴とする請求項１乃至請求項３のいずれか１項に記載の車外映像提供システム。
【請求項５】
前記端末情報は、前記携帯端末のカメラの焦点距離に関する情報を含むこと
を特徴とする請求項１乃至請求項４のいずれか１項に記載の車外映像提供システム。
【請求項６】
生成された前記提供すべき車外映像を、前記車載機の表示部に表示することによって提供可能とされていること
を特徴とする請求項１乃至請求項５のいずれか１項に記載の車外映像提供システム。
【請求項７】
生成された前記提供すべき車外映像を、前記携帯端末の表示部に表示することによって提供可能とされていること
を特徴とする請求項１乃至請求項６のいずれか１項に記載の車外映像提供システム。
【請求項８】
前記車載機および前記携帯端末の少なくとも一方は、生成された前記第２の車外映像を保存する保存手段を備えたこと
を特徴とする請求項１乃至請求項７のいずれか１項に記載の車外映像提供システム。
【請求項９】
前記複数台の車載カメラは、前記車両の周辺を監視するための監視映像を前記車載機の表示部に表示するためのものであること
を特徴とする請求項１乃至請求項８のいずれか１項に記載の車外映像提供システム。
【請求項１】
カメラが搭載され、当該カメラの撮影映像を表示部に表示可能とされているとともに、当該撮影映像上にこの映像中の地物に関連する付加情報を重畳表示する拡張現実機能を実行可能とされた携帯端末と、
車両の互いに異なる所定の取り付け位置に、互いに異なる所定の向きに取り付けられ、前記車両の周辺を前記各取り付け位置における各向きに応じた所定の撮影領域ごとに撮影する複数台の車載カメラと、
前記携帯端末が接続可能とされるとともに前記複数台の車載カメラが接続された車載機と
を備え、
前記携帯端末、前記車載カメラおよび前記車載機の連携によって所望の車外映像をユーザに提供するための車外映像提供システムであって、
前記車載機は、
接続された前記携帯端末から、前記携帯端末のカメラの向きに関する情報を含む提供すべき車外映像の生成に必要な端末情報を取得する端末情報取得手段と、
この端末情報取得手段によって取得された前記端末情報に対応した前記車載カメラおよびこれの前記撮影領域中の部位を特定する車載カメラ／撮影領域部位特定手段と、
この車載カメラ／撮影領域部位特定手段によって特定された前記車載カメラの撮影映像から、当該車載カメラ／撮影領域部位特定手段によって特定された前記撮影領域中の部位に該当する映像部位を切り出す映像部位切り出し手段と、
この映像部位切り出し手段によって切り出された前記映像部位に対して、前記提供すべき車外映像の生成に必要な所定の画像処理を行う画像処理手段と
を備え、
前記提供すべき車外映像として、前記車両の車室内において前記携帯端末のカメラによって前記端末情報に反映された当該カメラの向きに対応した車外の被写体を前記車両上の撮影障害物が除去されたと仮定した撮影環境下で撮影した場合に得られるべき第１の車外映像に、前記拡張現実機能に基づく前記付加情報の重畳がなされた第２の車外映像を提供可能とされ、
前記第２の車外映像を提供するために、
前記車載カメラ／撮影領域部位特定手段は、前記端末情報に反映された前記携帯端末のカメラの向きに最も近い向きの前記車載カメラを特定し、
前記画像処理手段は、前記所定の画像処理によって前記第１の車外映像を生成し、
前記車載機および前記携帯端末の少なくとも一方は、前記画像処理手段によって生成された前記第１の車外映像に前記付加情報を重畳することにより、前記第２の車外映像を生成する提供映像生成手段を備えたこと
を特徴とする車外映像提供システム。
【請求項２】
前記提供すべき車外映像として、前記携帯端末のカメラと正反対を向いた前記携帯端末の表示部がミラーであると仮定した場合に、前記車室内において前記端末情報に反映された当該カメラの向きと正反対向きの当該ミラーに前記車両上の障害物が除去されたと仮定した環境下で映されるべき車外の鏡像に相当する第３の車外映像を提供可能とされ、
前記第３の車外映像を提供するために、
前記車載カメラ／撮影領域部位特定手段は、前記端末情報に反映された前記携帯端末のカメラの向きと正反対に最も近い向きの前記車載カメラを特定し、
前記画像処理手段は、前記所定の画像処理として、前記映像部位の左右を反転させる反転処理を含む処理を行うことにより、前記第３の車外映像を生成すること
を特徴とする請求項１に記載の車外映像提供システム。
【請求項３】
前記提供すべき車外映像として、前記第１の車外映像に、前記携帯端末のカメラによって前記車室内の現実の撮影環境下において実際に撮影された前記車外の被写体の撮影映像が半透明化された上で重畳された第４の車外映像を提供可能とされ、
前記第４の車外映像を提供するために、
前記車載カメラ／撮影領域部位特定手段は、前記端末情報に反映された前記携帯端末のカメラの向きに最も近い向きの前記車載カメラを特定し、
前記画像処理手段は、前記所定の画像処理によって前記第１の車外映像を生成し、
前記車載機および前記携帯端末の少なくとも一方は、前記画像処理手段によって生成された前記第１の車外映像に前記実際に撮影された車外の被写体の撮影映像を半透明化した上で重畳することにより、前記第４の車外映像を生成する第２の提供映像生成手段を備えたこと
を特徴とする請求項１または請求項２に記載の車外映像提供システム。
【請求項４】
前記車載カメラは、広角レンズを有する広視野角範囲を撮影可能とされたカメラであり、
前記所定の画像処理は、前記広角レンズに起因した前記映像部位の歪みを補正する歪み補正処理を含むこと
を特徴とする請求項１乃至請求項３のいずれか１項に記載の車外映像提供システム。
【請求項５】
前記端末情報は、前記携帯端末のカメラの焦点距離に関する情報を含むこと
を特徴とする請求項１乃至請求項４のいずれか１項に記載の車外映像提供システム。
【請求項６】
生成された前記提供すべき車外映像を、前記車載機の表示部に表示することによって提供可能とされていること
を特徴とする請求項１乃至請求項５のいずれか１項に記載の車外映像提供システム。
【請求項７】
生成された前記提供すべき車外映像を、前記携帯端末の表示部に表示することによって提供可能とされていること
を特徴とする請求項１乃至請求項６のいずれか１項に記載の車外映像提供システム。
【請求項８】
前記車載機および前記携帯端末の少なくとも一方は、生成された前記第２の車外映像を保存する保存手段を備えたこと
を特徴とする請求項１乃至請求項７のいずれか１項に記載の車外映像提供システム。
【請求項９】
前記複数台の車載カメラは、前記車両の周辺を監視するための監視映像を前記車載機の表示部に表示するためのものであること
を特徴とする請求項１乃至請求項８のいずれか１項に記載の車外映像提供システム。
【図５】
【図１１】
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【図１１】
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１２】
【公開番号】特開２０１３−５５４１６（Ｐ２０１３−５５４１６Ａ）
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願番号】特願２０１１−１９０８１８（Ｐ２０１１−１９０８１８）
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
【公開日】平成２５年３月２１日（２０１３．３．２１）
【国際特許分類】
【出願日】平成２３年９月１日（２０１１．９．１）
【出願人】（０００１０１７３２）アルパイン株式会社 (2,424)
【Ｆターム（参考）】
[ Back to top ]