車外映像表示システム
【課題】運転操作によりどのように車両が挙動するのか、直感的に分かりづらいという困難点を解消することができる車外映像表示システムを提供することを目的とする。
【解決手段】車両とスマートフォンとからなるシステムであって、スマートフォンは、スマートフォン自身の姿勢を検出する端末姿勢検出手段と、情報を画面に表示する表示手段を持ち、車両は、車両自身の姿勢を検出する車両姿勢検出手段と、車外映像を撮影する車外映像撮影手段と、端末姿勢検出手段が検出した端末姿勢の変化量から前記表示手段に表示するべき車外映像の表示パラメータを決定する表示パラメータ決定手段と、車外映像撮影手段が撮影した映像を表示パラメータ決定手段が決定したパラメータにもとづいて合成する画像合成手段を備えることを特徴とする。
【解決手段】車両とスマートフォンとからなるシステムであって、スマートフォンは、スマートフォン自身の姿勢を検出する端末姿勢検出手段と、情報を画面に表示する表示手段を持ち、車両は、車両自身の姿勢を検出する車両姿勢検出手段と、車外映像を撮影する車外映像撮影手段と、端末姿勢検出手段が検出した端末姿勢の変化量から前記表示手段に表示するべき車外映像の表示パラメータを決定する表示パラメータ決定手段と、車外映像撮影手段が撮影した映像を表示パラメータ決定手段が決定したパラメータにもとづいて合成する画像合成手段を備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車内において、モバイル端末上で車外の映像を表示するアプリケーションに対して簡便に表示・操作することのできるシステムに関するものである。
【背景技術】
【０００２】
自動車の運転者から見えない死角部分を、カメラで撮像し、その映像を車内のナビゲーション装置などのディスプレイ上に表示する車載装置が広く存在するが、カメラが映すことのできる視野角には限界がある。このため、ボタンやタッチパネル操作を用いて視野の向きを変更できる装置が存在する（例えば特許文献１）。また、複数のカメラ映像を合成して、あたかも車両上方から見える映像のように広角の範囲を一度に表示し、カメラ向きを特定する必要をなくした装置も存在する（例えば特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３１１０５２号公報
【特許文献２】特開２００７−２９２５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１のような装置においては、運転者にとって直感的に視野の向きを特定することが困難であり、現在の視野が運転者からみてどの角度の映像であるかを把握するのが困難であった。
【０００５】
また、特許文献２のような装置においては、画像合成の限界により画像に歪みが発生したり、運転者は上方からの映像を見ても普段の視野とは大きく異なるため、運転操作によりどのように車両が挙動するのか、直感的に分かりづらいという困難点を解消することができる車外映像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の車外映像表示システムは、車両とスマートフォンとからなるシステムであって、前記スマートフォンは、スマートフォン自身の姿勢を検出する端末姿勢検出手段と、情報を画面に表示する表示手段を持ち、前記車両は、車両自身の姿勢を検出する車両姿勢検出手段と、車外映像を撮影する車外映像撮影手段と、前記端末姿勢検出手段が検出した端末姿勢の変化量から前記表示手段に表示するべき車外映像の表示パラメータを決定する表示パラメータ決定手段と、前記車外映像撮影手段が撮影した映像を前記表示パラメータ決定手段が決定したパラメータにもとづいて合成する画像合成手段を備えることを特徴とする。
【０００７】
本発明の車外映像表示システムの前記表示パラメータ決定手段は、前記端末姿勢検出手段が検出した端末姿勢と前記車両姿勢検出手段が検出した車両姿勢とから決定することを特徴とする。
【０００８】
本発明の車外映像表示システムの前記端末姿勢検出手段および前記車両姿勢検出手段は、左右方向の回転角度を検出又は左右および上下方向の回転角度を検出し、前記表示パラメータ決定手段は、左右方向の回転角度を検出したときは車両に対する端末の左右方向の相対的な回転角を算出し、左右および上下方向の回転角度を検出したときには、車両に対する端末の左右および上下方向の相対的な回転角を算出して表示パラメータを決定するこ
とを特徴とする。
【０００９】
本発明の車外映像表示システムの前記端末姿勢検出手段は、左右方向の回転角度を検出し又は左右および上下方向の回転角度を検出し、前記表示パラメータ決定手段は、左右方向の回転角度を検出するときは初期状態からの端末の左右方向の相対的な回転角を算出し、左右および上下方向の回転角度を検出したときは初期状態からの端末の左右および上下方向の相対的な回転角を算出し、これに基づいて表示パラメータを決定することを特徴とする。
【００１０】
本発明の車外映像表示システムの前記車両および前記端末は、無線の通信手段又は有線の通信手段によって通信することが可能であることを特徴とする。
【００１１】
本発明の車外映像表示システムの前記スマートフォンは、更にユーザの操作を検出する操作部を備え、前記操作部が検出した操作に応じて映像の表示方法を前記表示パラメータ決定手段で決定することを特徴とする。
【００１２】
本発明の車外映像表示システムの前記車両は、端末の回転角に応じて表示パラメータの変化量の係数を定める変化量設定手段を更に備えることを特徴とする。
【発明の効果】
【００１３】
本発明のシステムによれば、スマートフォンを「窓枠」または「鏡」に喩える形で、非常に直感的に視野の向きを調節することができる。このため、運転者はどこの映像を表示しているかを直感的に理解することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１のシステム構成を示すブロック図
【図２】（ａ）スマートフォンの画面を正面にみたときを示す模式図（ｂ）スマートフォンを傾けたとき示す模式図
【図３】（ａ）車両およびスマートフォンを上方から見た平面図（ｂ）車両及びスマートフォンを側方から見た立面図
【図４】実施の形態１における車両の主たる動作を示すフロー図
【図５】本発明の実施の形態２のシステム構成を示すブロック図
【図６】実施の形態Ｂにおける車両の主たる動作を示すフロー図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態に関わるシステムについて説明する。本発明の実施の形態に関わるシステムについては種々の設計状態が考えられるため、以下、実施の形態１、２として個々に記述することとする。
【００１６】
（実施の形態１）
本発明に係わる実施の形態Ａのシステム構成について、図１のブロック図を用いて説明する。
実施の形態１は、車両および端末の地磁気センサを用いてそれぞれの方位を求め、絶対的な位置関係を算出し、表示パラメータを決定する場合を想定している。このため、初期位置のリセットや回転角の調節などが必要でなくより正確な表示をすることができる。
図１において、スマートフォン１０は、端末姿勢検出手段１、操作入力手段２、表示手段３を備えて構成されている。
【００１７】
ここで、端末姿勢検出手段１は、加速度センサ、地磁気センサ、および処理部によって構成され、スマートフォン１０の姿勢を検出することができるように構成されている。ま
た、検出されるパラメータについては後述する。
【００１８】
操作入力手段２は、タッチパッド、各種スイッチなどのデバイスおよびその周辺の回路で構成され、実行中のアプリに対して運転者が命令を指示する際に用いられることができるように構成されている。ほぼ全てのスマートフォンにおいて、タッチパネルによって表示手段と操作手段が一体化して構成されている。
表示手段３は、液晶ディスプレイなどで構成され各種情報を表示するなどして運転者に情報を提示することができるように構成されている。
車両２０は、車両姿勢検出手段４、表示パラメータ決定手段５、車外映像撮影手段６、画像合成手段７を備えて構成されている。
車両姿勢検出手段４は、加速度センサ、地磁気センサ、および処理部によって構成され、車両２０の向いている方位を検出する。
【００１９】
表示パラメータ決定手段５は、ＣＰＵとメモリによって構成され、車両姿勢検出手段４が検出した車両２０の向きおよび端末姿勢検出手段１が検出したスマートフォン１０の姿勢、更に操作入力手段２が検出する運転者の操作によって、スマートフォン１０の表示手段３に表示するべき車外映像の表示パラメータを決定する。決定される表示パラメータおよび詳細な決定方法については後述する。
車外映像撮影手段６は単数または複数のカメラによって構成され、主に運転者にとって死角となる部分を中心に車外の映像を撮影する。
【００２０】
画像合成手段７は、ＣＰＵ、メモリによって構成され、車外映像撮影手段より映像を入力し、表示パラメータ決定手段５が決定したパラメータに基づいて映像を視点変換し合成する。詳細な合成方法については後述する。
次に、図１における端末姿勢検出手段が検出するスマートフォン１０の姿勢のパラメータについて、図２ａ、図２ｂを用いて説明する。なお、図２ａは、スマートフォンの画面を正面にみたときを示す模式図であり、図２ｂは、スマートフォンを傾けたとき示す模式図である。
【００２１】
図２ａに示すように、スマートフォン１０の画面を正面にみたときに短辺方向を＋Ｘ、−Ｘ軸、長辺方向を＋Ｙ、−Ｙ軸、画面に垂直な方向を＋Ｚ、−Ｚ軸と定める。
【００２２】
本実施形態におけるスマートフォン１０は、３軸のジャイロセンサを備えており、それぞれの軸に沿った回転成分φＸ２０１、φＹ２０２、φＺ２０３を検出する。
【００２３】
更に、本実施形態におけるスマートフォン１０は、２軸または３軸の加速度センサと地磁気センサを備えている。加速度センサは、図２ｂにおけるベクトル２０４のようにスマートフォン１０が持っている現在の加速度ベクトルを検出することができる（静止状態では、その成分は重力加速度である）。また、地磁気センサはベクトル２０５のように北の方位を示す北方位ベクトルを検出することが可能である。
【００２４】
次に、図１における表示パラメータ決定手段が決定するスマートフォン１０の表示手段に表示するべき車外映像の表示パラメータおよび決定方法について、図３ａ、３ｂを用いて説明する。なお、図３ａは、車両およびスマートフォンを上方から見た平面図であり、図３ｂは、車両及びスマートフォンを側方から見た立面図である。
【００２５】
（フルスペックバージョン）
図３ａは、車両２０およびスマートフォン１０を上方から見た平面図、図３ｂは車両２０及びスマートフォン１０を側方から見た立面図である。車両２０の進行方向を向いて左右に＋ｘ、−ｘ軸、上下方向に＋ｙ、−ｙ軸、前後方向に＋ｚ、−ｚ軸を定める。
【００２６】
本実施例における車両２０は、地磁気センサを持っており図３ａのベクトル３０１のように北の方位を示す北方位ベクトルを検出することが可能である。一方で、前述したようにスマートフォン１０もベクトル３０２のように北方位ベクトルを検出する。両者を揃えることにより、水平平面上で車両２０に対してスマートフォン１０がどの方向を向いているかを検出することができる。具体的には、スマートフォン１０が検出した北方位ベクトルのＹ軸方向回転角θＮＹから、車両２０が検出した北方位ベクトルのｙ軸方向回転角θＮｙを差し引くことで車両２０に対するスマートフォン１０のｙ軸方向の回転角θｙ（３０３）を算出することができる。
【００２７】
更に、本実施例における車両２０は加速度センサを持っており、図３ｂのベクトル３０４のように車両２０が持つ加速度を検出することが可能である。一方で、前述したようにスマートフォン１０もベクトル３０５のように加速度ベクトルを検出する。スマートフォン１０の加速度ベクトルから車両２０の加速度ベクトルを差し引き、そのベクトルのｘ軸に対する回転角を求めることで車両２０の対するスマートフォン１０の傾きをｘ軸方向の回転角θｘ（３０６）として検出することができる。
【００２８】
θｘ、θｙを求めることにより、車両２０とスマートフォン１０の相対的な位置関係が求まるため、車両２０に対してスマートフォン１０が向いている方向の前景向きのベクトル３０７、および後景向きのベクトル３０８が求めることができる。
（簡易バージョン 車の加速度は無視する）
【００２９】
なお、上記方法において、車両２０がほぼ停止していると見なせる場合、車両２０の加速度ベクトルは検出せずベクトル３０４はゼロと見なし、ベクトル３０５のみでθｘを求めることもできる。これにより車両２０の加速度センサは必要でなくなり、より簡便な装置構成および方法をとることが可能である。
【００３０】
（簡易バージョン θｙのみを使う）
また、上記方法において図３ｂに示したｘ軸方向の回転を無視し、θｙのみを算出すればよいとする場合も考えられる。この場合、前景ベクトル３０７および後景ベクトル３０８はｙ軸方向の成分を持たない。表示される画面の上下方向の角度は一定となるが、これにより車両２０の加速度センサおよびスマートフォン１０の加速度センサは必要なくなり、より簡便な装置構成及び方法をとることが可能である。
次に、図１における画像合成手段の画像合成方法について説明する。なお、画像合成方法については既知の種々の方法を用いることができる。
【００３１】
運転者に対して自動車周辺を撮影した画像を提示する技術としては、車両左右のバックミラーと車両後部中央との３カ所に設置した３つのカメラによって自動車後方を撮影した画像を１つの画像に合成して表示する技術が知られている（例えば、特開平１０−２５７４８２ ）。
【００３２】
また、特開２００７−１５８４２７のように複数のカメラを用いて、一つの仮想的な視点から自車後方を観察したようすをできるだけリアリティある形態で模擬する技術が存在している。
次に、図１における車両２０の主たる動作について、図４のフロー図を用いて説明する。
【００３３】
車両２０は、起動し初期動作を終えると図４のフローを繰り返すループに入る。ループの最初のステップＳ４００において、運転者より車外映像の表示指示があるかどうかを判定する。Ｎｏの場合は即座にループを抜ける。Ｙｅｓの場合は、車両２０はステップＳ４
０１においてスマートフォン１０よりスマートフォン１０の姿勢に関する情報を入力する。スマートフォン１０と車両２０との通信方法については、ＵＳＢなどの有線手段を介しても良いし、Ｗｉ−Ｆｉなどの有線手段を介してもよい。次に、車両２０はステップＳ４０２において車両２０の方位を入力する。
【００３４】
次に、車両２０は前方を表示するか後方を表示するかを決定する。この方法については種々考えられる。一つは、運転者がタッチパネルなどの操作手段を介して前方表示か後方表示かを選択することができるようにする。例えば、画面をタップないしダブルタップすることによって前方表示か後方表示かを切り替えられるようにすればよい。別の方法については、車両２０のシフトレバーの位置を参照する。例えば、バックに入っていれば運転者は後退しようとしていると見なされるので後方表示とし、それ以外の位置に入っていれば前方表示とする。更に別の方法については、スマートフォン１０の傾きを見る。即ち、ステップＳ４０１で入力したスマートフォン１０の姿勢には、図２で示したように、スマートフォン１０の傾きがφｘとして含まれており、この値が正、即ちスマートフォン１０の画面を見るユーザの視線が水平線よりも上を見上げる角度に向いていれば後方表示とし、負、即ちその反対であれば前方表示とする。これは、車の死角が基本的にドライバの位置よりも下方にあるため、水平線よりも上の方向に必要な車外映像の情報はないと見なせるためである。
【００３５】
次に、車両２０は、ステップＳ４０４において表示パラメータを決定する。次に、車両２０は、ステップＳ４０５において画像を合成する。次に、車両２０はステップＳ４０６においてスマートフォン１０に画像を出力してループを終える。
【００３６】
（実施の形態２）
次に本発明に係わる実施の形態２のシステム構成について、図５のブロック図を用いて説明する。
【００３７】
実施の形態２は、端末の初期状態とそこからの回転成分の差分のみを用いて表示パラメータを決定する場合を想定している。これにより、より簡便な方法で本発明の機能を実現することができる。
図５において、スマートフォン１０は端末姿勢検出手段１、操作入力手段２、表示手段３を備えて構成されている。
【００３８】
端末姿勢検出手段１は、加速度センサ、地磁気センサ、および処理部によって構成されスマートフォン１０の姿勢を検出することができるように構成されている。検出されるパラメータについては、実施の形態Ａと同様であるため省略する。
【００３９】
操作入力手段２は、タッチパッド、各種スイッチなどのデバイスおよびその周辺の回路で構成され実行中のアプリに対して運転者が命令を指示する際に用いられる。ほぼ全てのスマートフォンにおいて、タッチパネルによって表示手段と操作手段が一体化している。
表示手段３は液晶ディスプレイなどで構成され、各種情報を表示するなどして運転者に情報を提示する。
車両２０は、表示パラメータ決定手段５、車外映像撮影手段６、画像合成手段７を備えて構成されている。
【００４０】
表示パラメータ決定手段５は、ＣＰＵとメモリによって構成され車両姿勢検出手段４が検出した車両２０の向き、および端末姿勢検出手段１が検出したスマートフォン１０の姿勢、更に操作入力手段２が検出する運転者の操作によって、スマートフォン１０の表示手段３に表示するべき車外映像の表示パラメータを決定する。決定される表示パラメータおよび詳細な決定方法については後述する。
車外映像撮影手段６は、単数または複数のカメラによって構成され、主に運転者にとって死角となる部分を中心に車外の映像を撮影する。
【００４１】
画像合成手段７は、ＣＰＵ、メモリによって構成され車外映像撮影手段６より映像を入力し、表示パラメータ決定手段５が決定したパラメータに基づいて映像を視点変換し合成する。詳細な合成方法については実施の形態１と同様であるため省略する。
【００４２】
次に、図５における表示パラメータ決定手段５が決定する、スマートフォン１０の表示手段３に表示するべき車外映像の表示パラメータおよび決定方法について説明する。
求める目的とするパラメータは実施の形態１と同様、ｙ軸に沿った回転角θｙ、およびｘ軸に沿った回転角θｘである。
【００４３】
（フルスペックバージョン）
スマートフォン１０の回転角φＹ、φＸに応じて以下の式によりθｙ、θｘを求める。θｙは、θｙ＝ｆ（φＹ）＝θｙ０＋ｋｙφＹ。θｘは、θｘ＝ｆ（φＸ）＝θｘ０＋ｋｘφＸ。
【００４４】
θｙ０とθｘ０は、それぞれφＸ、φＹがゼロのときの回転角であり初期回転角と呼ぶことにする。典型的には、初期回転角はゼロにしておく。θｘ、θｙは、初期回転角よりφＸ、φＹに係数ｋｙ、ｋｘを乗じた線形な変化をする。
【００４５】
（ｋｘ、ｋｙの決定方法）
係数ｋｙ、ｋｘは任意の定数である。典型的な場合は１となるが見やすさによって調整されるようにしてもよい。調整方法としては、例えば、調整画面を用意しておき、運転者が画面を見ながら値を増減することによって見え方が変わるようにすればよい。
【００４６】
（簡易バージョン θｙのみを使う）
また、上記方法においてｘ軸方向の回転を無視し、θｙのみを算出すればよいとする場合も考えられる。この場合、図３ｂの前景ベクトル３０７および後景ベクトル３０８は、ｙ軸方向の成分を持たない。表示される画面の上下方向の角度は一定となるが、これにより車両２０の加速度センサおよびスマートフォン１０の加速度センサは必要なくなり、より簡便な装置構成及び方法をとることが可能である。
次に、図５における車両２０の主たる動作について図６のフロー図を用いて説明する。
【００４７】
車両２０は、起動し初期動作を終えると図６のフローを繰り返すループに入り。ループの最初のステップＳ６００において、運転者より車外映像の表示指示があるかどうかを判定する。Ｎｏの場合は即座にループを抜ける。Ｙｅｓの場合は、車両２０はステップＳ６０１において、スマートフォン１０よりスマートフォン１０の姿勢に関する情報を入力する。スマートフォン１０と車両２０との通信方法については、ＵＳＢなどの有線手段を介しても良いし、Ｗｉ−Ｆｉなどの有線手段を介してもよい。次に、車両２０はステップＳ６０２において車両２０の方位を入力する。
【００４８】
次に、車両２０は前方を表示するか後方を表示するかを決定する。この方法については種々考えられる。一つは、運転者がタッチパネルなどの操作手段を介して前方表示か後方表示かを選択することができるようにする。例えば、画面をタップないしダブルタップすることによって前方表示か後方表示かを切り替えられるようにすればよい。別の方法については、車両２０のシフトレバーの位置を参照する。例えば、バックに入っていれば運転者は後退しようとしていると見なされるので後方表示とし、それ以外の位置に入っていれば前方表示とする。更に別の方法については、スマートフォン１０の傾きを見る。即ち、ステップＳ６０１で入力したスマートフォン１０の姿勢には、図２で示したように、スマ
ートフォン１０の傾きがφｘとして含まれており、この値が正、即ちスマートフォン１０の画面を見るユーザの視線が水平線よりも上を見上げる角度に向いていれば後方表示とし、負、即ちその反対であれば前方表示とする。これは、車の死角が基本的にドライバの位置よりも下方にあるため、水平線よりも上の方向に必要な車外映像の情報はないと見なせるためである。
【００４９】
次に、車両２０は、ステップＳ６０４において表示パラメータを決定する。次に、車両２０はステップＳ６０５において画像を合成する。次に、車両２０はステップＳ６０６においてスマートフォン１０に画像を出力してループを終える。
【００５０】
なお、本実施の形態１、２において、車両２０とスマートフォン１０間の通信手段については、有線・無線のどちらでもかまわない。無線の場合は、スマートフォンを束縛するものがないため、運転者は自由にスマートフォン１０を回転して見たい方向の映像を見ることができる。有線の場合は、クレイドルと呼ばれる端末設置機構に通信コネクタのついたものにスマートフォン１０を設置し、クレイドル自身が上下または左右に回転できる構成をもっていることが好ましい。これにより、ルームミラーのようにスマートフォン１０を動かして映像を見ることができる。
【産業上の利用可能性】
【００５１】
以上のように、本発明は、スマートフォンの姿勢を変化させることで非常に直感的に視野の向きを調節することができ、運転者はどこの映像を表示しているかを直感的に理解することができる車外映像表示装置として有用である。
【符号の説明】
【００５２】
１ 端末姿勢検出手段
２ 操作入力手段
３ 表示手段
４ 車両姿勢検出手段
５ 表示パラメータ決定手段
６ 車外映像撮影手段
７ 画像合成手段
１０ スマートフォン
２０ 車両
【技術分野】
【０００１】
本発明は、自動車内において、モバイル端末上で車外の映像を表示するアプリケーションに対して簡便に表示・操作することのできるシステムに関するものである。
【背景技術】
【０００２】
自動車の運転者から見えない死角部分を、カメラで撮像し、その映像を車内のナビゲーション装置などのディスプレイ上に表示する車載装置が広く存在するが、カメラが映すことのできる視野角には限界がある。このため、ボタンやタッチパネル操作を用いて視野の向きを変更できる装置が存在する（例えば特許文献１）。また、複数のカメラ映像を合成して、あたかも車両上方から見える映像のように広角の範囲を一度に表示し、カメラ向きを特定する必要をなくした装置も存在する（例えば特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−３１１０５２号公報
【特許文献２】特開２００７−２９２５３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１のような装置においては、運転者にとって直感的に視野の向きを特定することが困難であり、現在の視野が運転者からみてどの角度の映像であるかを把握するのが困難であった。
【０００５】
また、特許文献２のような装置においては、画像合成の限界により画像に歪みが発生したり、運転者は上方からの映像を見ても普段の視野とは大きく異なるため、運転操作によりどのように車両が挙動するのか、直感的に分かりづらいという困難点を解消することができる車外映像表示システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の車外映像表示システムは、車両とスマートフォンとからなるシステムであって、前記スマートフォンは、スマートフォン自身の姿勢を検出する端末姿勢検出手段と、情報を画面に表示する表示手段を持ち、前記車両は、車両自身の姿勢を検出する車両姿勢検出手段と、車外映像を撮影する車外映像撮影手段と、前記端末姿勢検出手段が検出した端末姿勢の変化量から前記表示手段に表示するべき車外映像の表示パラメータを決定する表示パラメータ決定手段と、前記車外映像撮影手段が撮影した映像を前記表示パラメータ決定手段が決定したパラメータにもとづいて合成する画像合成手段を備えることを特徴とする。
【０００７】
本発明の車外映像表示システムの前記表示パラメータ決定手段は、前記端末姿勢検出手段が検出した端末姿勢と前記車両姿勢検出手段が検出した車両姿勢とから決定することを特徴とする。
【０００８】
本発明の車外映像表示システムの前記端末姿勢検出手段および前記車両姿勢検出手段は、左右方向の回転角度を検出又は左右および上下方向の回転角度を検出し、前記表示パラメータ決定手段は、左右方向の回転角度を検出したときは車両に対する端末の左右方向の相対的な回転角を算出し、左右および上下方向の回転角度を検出したときには、車両に対する端末の左右および上下方向の相対的な回転角を算出して表示パラメータを決定するこ
とを特徴とする。
【０００９】
本発明の車外映像表示システムの前記端末姿勢検出手段は、左右方向の回転角度を検出し又は左右および上下方向の回転角度を検出し、前記表示パラメータ決定手段は、左右方向の回転角度を検出するときは初期状態からの端末の左右方向の相対的な回転角を算出し、左右および上下方向の回転角度を検出したときは初期状態からの端末の左右および上下方向の相対的な回転角を算出し、これに基づいて表示パラメータを決定することを特徴とする。
【００１０】
本発明の車外映像表示システムの前記車両および前記端末は、無線の通信手段又は有線の通信手段によって通信することが可能であることを特徴とする。
【００１１】
本発明の車外映像表示システムの前記スマートフォンは、更にユーザの操作を検出する操作部を備え、前記操作部が検出した操作に応じて映像の表示方法を前記表示パラメータ決定手段で決定することを特徴とする。
【００１２】
本発明の車外映像表示システムの前記車両は、端末の回転角に応じて表示パラメータの変化量の係数を定める変化量設定手段を更に備えることを特徴とする。
【発明の効果】
【００１３】
本発明のシステムによれば、スマートフォンを「窓枠」または「鏡」に喩える形で、非常に直感的に視野の向きを調節することができる。このため、運転者はどこの映像を表示しているかを直感的に理解することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態１のシステム構成を示すブロック図
【図２】（ａ）スマートフォンの画面を正面にみたときを示す模式図（ｂ）スマートフォンを傾けたとき示す模式図
【図３】（ａ）車両およびスマートフォンを上方から見た平面図（ｂ）車両及びスマートフォンを側方から見た立面図
【図４】実施の形態１における車両の主たる動作を示すフロー図
【図５】本発明の実施の形態２のシステム構成を示すブロック図
【図６】実施の形態Ｂにおける車両の主たる動作を示すフロー図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態に関わるシステムについて説明する。本発明の実施の形態に関わるシステムについては種々の設計状態が考えられるため、以下、実施の形態１、２として個々に記述することとする。
【００１６】
（実施の形態１）
本発明に係わる実施の形態Ａのシステム構成について、図１のブロック図を用いて説明する。
実施の形態１は、車両および端末の地磁気センサを用いてそれぞれの方位を求め、絶対的な位置関係を算出し、表示パラメータを決定する場合を想定している。このため、初期位置のリセットや回転角の調節などが必要でなくより正確な表示をすることができる。
図１において、スマートフォン１０は、端末姿勢検出手段１、操作入力手段２、表示手段３を備えて構成されている。
【００１７】
ここで、端末姿勢検出手段１は、加速度センサ、地磁気センサ、および処理部によって構成され、スマートフォン１０の姿勢を検出することができるように構成されている。ま
た、検出されるパラメータについては後述する。
【００１８】
操作入力手段２は、タッチパッド、各種スイッチなどのデバイスおよびその周辺の回路で構成され、実行中のアプリに対して運転者が命令を指示する際に用いられることができるように構成されている。ほぼ全てのスマートフォンにおいて、タッチパネルによって表示手段と操作手段が一体化して構成されている。
表示手段３は、液晶ディスプレイなどで構成され各種情報を表示するなどして運転者に情報を提示することができるように構成されている。
車両２０は、車両姿勢検出手段４、表示パラメータ決定手段５、車外映像撮影手段６、画像合成手段７を備えて構成されている。
車両姿勢検出手段４は、加速度センサ、地磁気センサ、および処理部によって構成され、車両２０の向いている方位を検出する。
【００１９】
表示パラメータ決定手段５は、ＣＰＵとメモリによって構成され、車両姿勢検出手段４が検出した車両２０の向きおよび端末姿勢検出手段１が検出したスマートフォン１０の姿勢、更に操作入力手段２が検出する運転者の操作によって、スマートフォン１０の表示手段３に表示するべき車外映像の表示パラメータを決定する。決定される表示パラメータおよび詳細な決定方法については後述する。
車外映像撮影手段６は単数または複数のカメラによって構成され、主に運転者にとって死角となる部分を中心に車外の映像を撮影する。
【００２０】
画像合成手段７は、ＣＰＵ、メモリによって構成され、車外映像撮影手段より映像を入力し、表示パラメータ決定手段５が決定したパラメータに基づいて映像を視点変換し合成する。詳細な合成方法については後述する。
次に、図１における端末姿勢検出手段が検出するスマートフォン１０の姿勢のパラメータについて、図２ａ、図２ｂを用いて説明する。なお、図２ａは、スマートフォンの画面を正面にみたときを示す模式図であり、図２ｂは、スマートフォンを傾けたとき示す模式図である。
【００２１】
図２ａに示すように、スマートフォン１０の画面を正面にみたときに短辺方向を＋Ｘ、−Ｘ軸、長辺方向を＋Ｙ、−Ｙ軸、画面に垂直な方向を＋Ｚ、−Ｚ軸と定める。
【００２２】
本実施形態におけるスマートフォン１０は、３軸のジャイロセンサを備えており、それぞれの軸に沿った回転成分φＸ２０１、φＹ２０２、φＺ２０３を検出する。
【００２３】
更に、本実施形態におけるスマートフォン１０は、２軸または３軸の加速度センサと地磁気センサを備えている。加速度センサは、図２ｂにおけるベクトル２０４のようにスマートフォン１０が持っている現在の加速度ベクトルを検出することができる（静止状態では、その成分は重力加速度である）。また、地磁気センサはベクトル２０５のように北の方位を示す北方位ベクトルを検出することが可能である。
【００２４】
次に、図１における表示パラメータ決定手段が決定するスマートフォン１０の表示手段に表示するべき車外映像の表示パラメータおよび決定方法について、図３ａ、３ｂを用いて説明する。なお、図３ａは、車両およびスマートフォンを上方から見た平面図であり、図３ｂは、車両及びスマートフォンを側方から見た立面図である。
【００２５】
（フルスペックバージョン）
図３ａは、車両２０およびスマートフォン１０を上方から見た平面図、図３ｂは車両２０及びスマートフォン１０を側方から見た立面図である。車両２０の進行方向を向いて左右に＋ｘ、−ｘ軸、上下方向に＋ｙ、−ｙ軸、前後方向に＋ｚ、−ｚ軸を定める。
【００２６】
本実施例における車両２０は、地磁気センサを持っており図３ａのベクトル３０１のように北の方位を示す北方位ベクトルを検出することが可能である。一方で、前述したようにスマートフォン１０もベクトル３０２のように北方位ベクトルを検出する。両者を揃えることにより、水平平面上で車両２０に対してスマートフォン１０がどの方向を向いているかを検出することができる。具体的には、スマートフォン１０が検出した北方位ベクトルのＹ軸方向回転角θＮＹから、車両２０が検出した北方位ベクトルのｙ軸方向回転角θＮｙを差し引くことで車両２０に対するスマートフォン１０のｙ軸方向の回転角θｙ（３０３）を算出することができる。
【００２７】
更に、本実施例における車両２０は加速度センサを持っており、図３ｂのベクトル３０４のように車両２０が持つ加速度を検出することが可能である。一方で、前述したようにスマートフォン１０もベクトル３０５のように加速度ベクトルを検出する。スマートフォン１０の加速度ベクトルから車両２０の加速度ベクトルを差し引き、そのベクトルのｘ軸に対する回転角を求めることで車両２０の対するスマートフォン１０の傾きをｘ軸方向の回転角θｘ（３０６）として検出することができる。
【００２８】
θｘ、θｙを求めることにより、車両２０とスマートフォン１０の相対的な位置関係が求まるため、車両２０に対してスマートフォン１０が向いている方向の前景向きのベクトル３０７、および後景向きのベクトル３０８が求めることができる。
（簡易バージョン 車の加速度は無視する）
【００２９】
なお、上記方法において、車両２０がほぼ停止していると見なせる場合、車両２０の加速度ベクトルは検出せずベクトル３０４はゼロと見なし、ベクトル３０５のみでθｘを求めることもできる。これにより車両２０の加速度センサは必要でなくなり、より簡便な装置構成および方法をとることが可能である。
【００３０】
（簡易バージョン θｙのみを使う）
また、上記方法において図３ｂに示したｘ軸方向の回転を無視し、θｙのみを算出すればよいとする場合も考えられる。この場合、前景ベクトル３０７および後景ベクトル３０８はｙ軸方向の成分を持たない。表示される画面の上下方向の角度は一定となるが、これにより車両２０の加速度センサおよびスマートフォン１０の加速度センサは必要なくなり、より簡便な装置構成及び方法をとることが可能である。
次に、図１における画像合成手段の画像合成方法について説明する。なお、画像合成方法については既知の種々の方法を用いることができる。
【００３１】
運転者に対して自動車周辺を撮影した画像を提示する技術としては、車両左右のバックミラーと車両後部中央との３カ所に設置した３つのカメラによって自動車後方を撮影した画像を１つの画像に合成して表示する技術が知られている（例えば、特開平１０−２５７４８２ ）。
【００３２】
また、特開２００７−１５８４２７のように複数のカメラを用いて、一つの仮想的な視点から自車後方を観察したようすをできるだけリアリティある形態で模擬する技術が存在している。
次に、図１における車両２０の主たる動作について、図４のフロー図を用いて説明する。
【００３３】
車両２０は、起動し初期動作を終えると図４のフローを繰り返すループに入る。ループの最初のステップＳ４００において、運転者より車外映像の表示指示があるかどうかを判定する。Ｎｏの場合は即座にループを抜ける。Ｙｅｓの場合は、車両２０はステップＳ４
０１においてスマートフォン１０よりスマートフォン１０の姿勢に関する情報を入力する。スマートフォン１０と車両２０との通信方法については、ＵＳＢなどの有線手段を介しても良いし、Ｗｉ−Ｆｉなどの有線手段を介してもよい。次に、車両２０はステップＳ４０２において車両２０の方位を入力する。
【００３４】
次に、車両２０は前方を表示するか後方を表示するかを決定する。この方法については種々考えられる。一つは、運転者がタッチパネルなどの操作手段を介して前方表示か後方表示かを選択することができるようにする。例えば、画面をタップないしダブルタップすることによって前方表示か後方表示かを切り替えられるようにすればよい。別の方法については、車両２０のシフトレバーの位置を参照する。例えば、バックに入っていれば運転者は後退しようとしていると見なされるので後方表示とし、それ以外の位置に入っていれば前方表示とする。更に別の方法については、スマートフォン１０の傾きを見る。即ち、ステップＳ４０１で入力したスマートフォン１０の姿勢には、図２で示したように、スマートフォン１０の傾きがφｘとして含まれており、この値が正、即ちスマートフォン１０の画面を見るユーザの視線が水平線よりも上を見上げる角度に向いていれば後方表示とし、負、即ちその反対であれば前方表示とする。これは、車の死角が基本的にドライバの位置よりも下方にあるため、水平線よりも上の方向に必要な車外映像の情報はないと見なせるためである。
【００３５】
次に、車両２０は、ステップＳ４０４において表示パラメータを決定する。次に、車両２０は、ステップＳ４０５において画像を合成する。次に、車両２０はステップＳ４０６においてスマートフォン１０に画像を出力してループを終える。
【００３６】
（実施の形態２）
次に本発明に係わる実施の形態２のシステム構成について、図５のブロック図を用いて説明する。
【００３７】
実施の形態２は、端末の初期状態とそこからの回転成分の差分のみを用いて表示パラメータを決定する場合を想定している。これにより、より簡便な方法で本発明の機能を実現することができる。
図５において、スマートフォン１０は端末姿勢検出手段１、操作入力手段２、表示手段３を備えて構成されている。
【００３８】
端末姿勢検出手段１は、加速度センサ、地磁気センサ、および処理部によって構成されスマートフォン１０の姿勢を検出することができるように構成されている。検出されるパラメータについては、実施の形態Ａと同様であるため省略する。
【００３９】
操作入力手段２は、タッチパッド、各種スイッチなどのデバイスおよびその周辺の回路で構成され実行中のアプリに対して運転者が命令を指示する際に用いられる。ほぼ全てのスマートフォンにおいて、タッチパネルによって表示手段と操作手段が一体化している。
表示手段３は液晶ディスプレイなどで構成され、各種情報を表示するなどして運転者に情報を提示する。
車両２０は、表示パラメータ決定手段５、車外映像撮影手段６、画像合成手段７を備えて構成されている。
【００４０】
表示パラメータ決定手段５は、ＣＰＵとメモリによって構成され車両姿勢検出手段４が検出した車両２０の向き、および端末姿勢検出手段１が検出したスマートフォン１０の姿勢、更に操作入力手段２が検出する運転者の操作によって、スマートフォン１０の表示手段３に表示するべき車外映像の表示パラメータを決定する。決定される表示パラメータおよび詳細な決定方法については後述する。
車外映像撮影手段６は、単数または複数のカメラによって構成され、主に運転者にとって死角となる部分を中心に車外の映像を撮影する。
【００４１】
画像合成手段７は、ＣＰＵ、メモリによって構成され車外映像撮影手段６より映像を入力し、表示パラメータ決定手段５が決定したパラメータに基づいて映像を視点変換し合成する。詳細な合成方法については実施の形態１と同様であるため省略する。
【００４２】
次に、図５における表示パラメータ決定手段５が決定する、スマートフォン１０の表示手段３に表示するべき車外映像の表示パラメータおよび決定方法について説明する。
求める目的とするパラメータは実施の形態１と同様、ｙ軸に沿った回転角θｙ、およびｘ軸に沿った回転角θｘである。
【００４３】
（フルスペックバージョン）
スマートフォン１０の回転角φＹ、φＸに応じて以下の式によりθｙ、θｘを求める。θｙは、θｙ＝ｆ（φＹ）＝θｙ０＋ｋｙφＹ。θｘは、θｘ＝ｆ（φＸ）＝θｘ０＋ｋｘφＸ。
【００４４】
θｙ０とθｘ０は、それぞれφＸ、φＹがゼロのときの回転角であり初期回転角と呼ぶことにする。典型的には、初期回転角はゼロにしておく。θｘ、θｙは、初期回転角よりφＸ、φＹに係数ｋｙ、ｋｘを乗じた線形な変化をする。
【００４５】
（ｋｘ、ｋｙの決定方法）
係数ｋｙ、ｋｘは任意の定数である。典型的な場合は１となるが見やすさによって調整されるようにしてもよい。調整方法としては、例えば、調整画面を用意しておき、運転者が画面を見ながら値を増減することによって見え方が変わるようにすればよい。
【００４６】
（簡易バージョン θｙのみを使う）
また、上記方法においてｘ軸方向の回転を無視し、θｙのみを算出すればよいとする場合も考えられる。この場合、図３ｂの前景ベクトル３０７および後景ベクトル３０８は、ｙ軸方向の成分を持たない。表示される画面の上下方向の角度は一定となるが、これにより車両２０の加速度センサおよびスマートフォン１０の加速度センサは必要なくなり、より簡便な装置構成及び方法をとることが可能である。
次に、図５における車両２０の主たる動作について図６のフロー図を用いて説明する。
【００４７】
車両２０は、起動し初期動作を終えると図６のフローを繰り返すループに入り。ループの最初のステップＳ６００において、運転者より車外映像の表示指示があるかどうかを判定する。Ｎｏの場合は即座にループを抜ける。Ｙｅｓの場合は、車両２０はステップＳ６０１において、スマートフォン１０よりスマートフォン１０の姿勢に関する情報を入力する。スマートフォン１０と車両２０との通信方法については、ＵＳＢなどの有線手段を介しても良いし、Ｗｉ−Ｆｉなどの有線手段を介してもよい。次に、車両２０はステップＳ６０２において車両２０の方位を入力する。
【００４８】
次に、車両２０は前方を表示するか後方を表示するかを決定する。この方法については種々考えられる。一つは、運転者がタッチパネルなどの操作手段を介して前方表示か後方表示かを選択することができるようにする。例えば、画面をタップないしダブルタップすることによって前方表示か後方表示かを切り替えられるようにすればよい。別の方法については、車両２０のシフトレバーの位置を参照する。例えば、バックに入っていれば運転者は後退しようとしていると見なされるので後方表示とし、それ以外の位置に入っていれば前方表示とする。更に別の方法については、スマートフォン１０の傾きを見る。即ち、ステップＳ６０１で入力したスマートフォン１０の姿勢には、図２で示したように、スマ
ートフォン１０の傾きがφｘとして含まれており、この値が正、即ちスマートフォン１０の画面を見るユーザの視線が水平線よりも上を見上げる角度に向いていれば後方表示とし、負、即ちその反対であれば前方表示とする。これは、車の死角が基本的にドライバの位置よりも下方にあるため、水平線よりも上の方向に必要な車外映像の情報はないと見なせるためである。
【００４９】
次に、車両２０は、ステップＳ６０４において表示パラメータを決定する。次に、車両２０はステップＳ６０５において画像を合成する。次に、車両２０はステップＳ６０６においてスマートフォン１０に画像を出力してループを終える。
【００５０】
なお、本実施の形態１、２において、車両２０とスマートフォン１０間の通信手段については、有線・無線のどちらでもかまわない。無線の場合は、スマートフォンを束縛するものがないため、運転者は自由にスマートフォン１０を回転して見たい方向の映像を見ることができる。有線の場合は、クレイドルと呼ばれる端末設置機構に通信コネクタのついたものにスマートフォン１０を設置し、クレイドル自身が上下または左右に回転できる構成をもっていることが好ましい。これにより、ルームミラーのようにスマートフォン１０を動かして映像を見ることができる。
【産業上の利用可能性】
【００５１】
以上のように、本発明は、スマートフォンの姿勢を変化させることで非常に直感的に視野の向きを調節することができ、運転者はどこの映像を表示しているかを直感的に理解することができる車外映像表示装置として有用である。
【符号の説明】
【００５２】
１ 端末姿勢検出手段
２ 操作入力手段
３ 表示手段
４ 車両姿勢検出手段
５ 表示パラメータ決定手段
６ 車外映像撮影手段
７ 画像合成手段
１０ スマートフォン
２０ 車両
【特許請求の範囲】
【請求項１】
車両とスマートフォンとからなるシステムであって、
前記スマートフォンは、
スマートフォン自身の姿勢を検出する端末姿勢検出手段と、
情報を画面に表示する表示手段を持ち、
前記車両は、
車両自身の姿勢を検出する車両姿勢検出手段と、
車外映像を撮影する車外映像撮影手段と、
前記端末姿勢検出手段が検出した端末姿勢の変化量から前記表示手段に表示するべき車外映像の表示パラメータを決定する表示パラメータ決定手段と、
前記車外映像撮影手段が撮影した映像を前記表示パラメータ決定手段が決定したパラメータにもとづいて合成する画像合成手段を備えることを特徴とする車外映像表示システム。
【請求項２】
前記表示パラメータ決定手段は、前記端末姿勢検出手段が検出した端末姿勢と前記車両姿勢検出手段が検出した車両姿勢とから決定することを特徴とする請求項１に記載の車外映像表示システム。
【請求項３】
前記端末姿勢検出手段および前記車両姿勢検出手段は、左右方向の回転角度を検出又は左右および上下方向の回転角度を検出し、前記表示パラメータ決定手段は、左右方向の回転角度を検出したときは車両に対する端末の左右方向の相対的な回転角を算出し、左右および上下方向の回転角度を検出したときには、車両に対する端末の左右および上下方向の相対的な回転角を算出して表示パラメータを決定することを特徴とする請求項１に記載の車外映像表示システム。
【請求項４】
前記端末姿勢検出手段は、左右方向の回転角度を検出し又は左右および上下方向の回転角度を検出し、前記表示パラメータ決定手段は、左右方向の回転角度を検出するときは初期状態からの端末の左右方向の相対的な回転角を算出し、左右および上下方向の回転角度を検出したときは初期状態からの端末の左右および上下方向の相対的な回転角を算出し、これに基づいて表示パラメータを決定することを特徴とする請求項２に記載の車外映像表示システム。
【請求項５】
前記車両および前記端末は、無線の通信手段又は有線の通信手段によって通信することが可能であることを特徴とする請求項１から請求項４のいずれかに記載の車外映像表示システム。
【請求項６】
前記スマートフォンは、更にユーザの操作を検出する操作部を備え、
前記操作部が検出した操作に応じて映像の表示方法を前記表示パラメータ決定手段で決定することを特徴とする請求項１から請求項５のいずれかに記載の車外映像表示システム。
【請求項７】
前記車両は、端末の回転角に応じて表示パラメータの変化量の係数を定める変化量設定手段を更に備えることを特徴とする請求項１から請求項６に記載の車外映像表示システム。
【請求項１】
車両とスマートフォンとからなるシステムであって、
前記スマートフォンは、
スマートフォン自身の姿勢を検出する端末姿勢検出手段と、
情報を画面に表示する表示手段を持ち、
前記車両は、
車両自身の姿勢を検出する車両姿勢検出手段と、
車外映像を撮影する車外映像撮影手段と、
前記端末姿勢検出手段が検出した端末姿勢の変化量から前記表示手段に表示するべき車外映像の表示パラメータを決定する表示パラメータ決定手段と、
前記車外映像撮影手段が撮影した映像を前記表示パラメータ決定手段が決定したパラメータにもとづいて合成する画像合成手段を備えることを特徴とする車外映像表示システム。
【請求項２】
前記表示パラメータ決定手段は、前記端末姿勢検出手段が検出した端末姿勢と前記車両姿勢検出手段が検出した車両姿勢とから決定することを特徴とする請求項１に記載の車外映像表示システム。
【請求項３】
前記端末姿勢検出手段および前記車両姿勢検出手段は、左右方向の回転角度を検出又は左右および上下方向の回転角度を検出し、前記表示パラメータ決定手段は、左右方向の回転角度を検出したときは車両に対する端末の左右方向の相対的な回転角を算出し、左右および上下方向の回転角度を検出したときには、車両に対する端末の左右および上下方向の相対的な回転角を算出して表示パラメータを決定することを特徴とする請求項１に記載の車外映像表示システム。
【請求項４】
前記端末姿勢検出手段は、左右方向の回転角度を検出し又は左右および上下方向の回転角度を検出し、前記表示パラメータ決定手段は、左右方向の回転角度を検出するときは初期状態からの端末の左右方向の相対的な回転角を算出し、左右および上下方向の回転角度を検出したときは初期状態からの端末の左右および上下方向の相対的な回転角を算出し、これに基づいて表示パラメータを決定することを特徴とする請求項２に記載の車外映像表示システム。
【請求項５】
前記車両および前記端末は、無線の通信手段又は有線の通信手段によって通信することが可能であることを特徴とする請求項１から請求項４のいずれかに記載の車外映像表示システム。
【請求項６】
前記スマートフォンは、更にユーザの操作を検出する操作部を備え、
前記操作部が検出した操作に応じて映像の表示方法を前記表示パラメータ決定手段で決定することを特徴とする請求項１から請求項５のいずれかに記載の車外映像表示システム。
【請求項７】
前記車両は、端末の回転角に応じて表示パラメータの変化量の係数を定める変化量設定手段を更に備えることを特徴とする請求項１から請求項６に記載の車外映像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２０８８１９（Ｐ２０１２−２０８８１９Ａ）
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願番号】特願２０１１−７５０１８（Ｐ２０１１−７５０１８）
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１０月２５日（２０１２．１０．２５）
【国際特許分類】
【出願日】平成２３年３月３０日（２０１１．３．３０）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]