クルージング支援車載情報システム
【課題】車外、車内、走行の情報を逐次または選択的に取得し、それを加工して、運転者等に提示できるクルージング支援車載情報システムを提供する。
【解決手段】複数の超広角カメラ１ａ〜１ｄで車外の像を獲得する。記録再生装置は、各超広角カメラの出力を超広角映像のまま記録再生可能である。ゆがみ補正装置は、超広角映像の一部を切り出し実時間でゆがみを補正する。状況検出手段は、車速または走行モードまたは運転者の挙動を検出する。表示帯は、運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成されている。提示制御手段は、前記状況検出手段の判断出力に基づいて前記各補正装置の出力を選択的にまたは合成して前記表示装置への提示を制御する。
【解決手段】複数の超広角カメラ１ａ〜１ｄで車外の像を獲得する。記録再生装置は、各超広角カメラの出力を超広角映像のまま記録再生可能である。ゆがみ補正装置は、超広角映像の一部を切り出し実時間でゆがみを補正する。状況検出手段は、車速または走行モードまたは運転者の挙動を検出する。表示帯は、運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成されている。提示制御手段は、前記状況検出手段の判断出力に基づいて前記各補正装置の出力を選択的にまたは合成して前記表示装置への提示を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の視界を拡張するクルージング支援車載情報システムに関する。さらに詳しく言えば、複数のカメラ等と映像記録再生装置を有し、走行や運転者の状態に応じて映像情報を編集加工し、運転者の所望する情報を複数のディスプレイ上に提示することにより、運転環境の把握能力に関わる「サラウンディング感覚」を提供して、安心で豊かなクルージング（楽しみのための走行）という雰囲気を実現するクルージング支援車載情報システムに関する。
【背景技術】
【０００２】
運転の安全性向上や車載情報機器の高度化が運転者により多くの情報、例えば視界の拡張等、を提供している。車両後方やサイドミラーの下などにカメラが取り付けられ、運転者の安全運転支援や視覚的な認知能力の拡大や、所定の動作操作の際にナビゲーション装置のディスプレイにカメラ画像を映し出すような車載情報システムが開発されている。
また、自動車のインテリジェント化と多機能化が進み、運転者の居眠り検知や車両周囲状況の認識の技術が進歩し、安全な運転の実現に向けた車載情報システムが開発されるようになってきた。特許文献１記載の発明は、警報装置、振動体を有する運転席、警報装置を車両に掲載した移動体に係るものであり、運転者の覚醒等を目的としている。
特許文献２記載の発明は、情報提供装置に係り、移動体と障害物との相対位置関係に関する情報、音を用いて提供している。
【特許文献１】特開２００１−１９９２９６
【特許文献２】特開２００４−２５１７６９
【発明の開示】
【発明が解決しようとする課題】
【０００３】
自動車は様々な電子化やカーナビゲーションシステムなど高機能化と、車載機器の個々の要素技術やセンシング機能の開発が進められている。最近ではカメラやディスプレイを用いた車載機器の高機能化が進められている。しかしながら、車載機器の操作中や携帯電話の通話中の事故が増加の一途をたどっているのが現状であり、人間の認知や感情の仕組みに基づく広く融合的観点からの研究開発は十分になされていない。
本発明では、人間にとって安全で自由かつ楽しく様々な場所へ移動できる手段として捉え、個々のドライビングを支援する「個々のシステム」の実現ではなく、人間の認知・情動機能と合致したクルージング（快適な走行）を支援する車載情報システムの実現へと課題を変更してとらえることとした。
本発明の目的は、車外、車内、走行の情報を逐次または選択的に取得し、それを加工して、運転者等に提示できるクルージング支援車載情報システムを提供することにある。
【課題を解決するための手段】
【０００４】
前記目的を達成するために、本発明によるクルージング支援車載情報システムは、
例えば、車体の前後左右を撮像する複数の超広角カメラ（魚眼レンズなどの超広角レンズまたは曲面ミラーを備えたカメラ）と、超広角カメラの出力を超広角カメラ映像として記録再生する手段と、超広角映像の一部を切り出して実時間でゆがみ補正する手段と、車速／走行モード／運転者の挙動を検出する手段と、運転者の周囲に配置した複数のディスプレイにより構成されている。
一つのカメラの出力をそのまままたは２つ以上の超広角レンズカメラの出力をゆがみ補正によって切り出し合成し、低速走行時には切り出し対象領域を下方にして俯角の大きい車外映像を、高速走行時には上方にとり俯角の小さい車外映像を提示することを特徴としている。また撫でることを検出するセンサを円状または棒状に配置し、超広角映像の提示内容等を意図的に制御できることも実現できる。
【０００５】
本発明による請求項１記載のクルージング支援車載情報システムは、
車外の像を獲得する複数の超広角カメラと、
各超広角カメラの出力を超広角映像のまま記録再生可能な記録再生装置と、
超広角映像の一部を切り出して実時間でゆがみを補正するゆがみ補正装置と、
車速または走行モードまたは運転者の挙動を検出する状況検出手段と、
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、
前記状況検出手段の判断出力に基づいて前記各補正装置の出力を選択的にまたは合成して前記表示装置への提示を制御する提示制御手段と、から構成されている。
本発明による請求項２記載のクルージング支援車載情報システムは、
請求項１のクルージング支援車載情報システムであって、
２つ以上の超広角カメラの出力を前記ゆがみ補正装置により切り出して合成し、前記表示帯に提示することを特徴とするものである。
本発明による請求項３記載のクルージング支援車載情報システムは、
請求項２のクルージング支援車載情報システムであって、
前記システムは、さらに車速、方向指示器、走行モード、周辺環境などを得て画角を決定する画角決定部を備え、状況によって俯角の異なる車外映像を表示帯に提示することを特徴とするものである。
【０００６】
本発明による請求項４記載のクルージング支援車載情報システムは、
車外の像を獲得する撮像方向が可変である１以上のカメラと、
前記カメラの出力を記録再生可能な記録再生装置と、
前記カメラの撮影方向、車速または走行モードまたは運転者の挙動を検出する状況検出手段と、
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、
前記状況検出手段の判断出力に基づいて前記記録再生装置の出力を選択的にまたは合成して前記表示装置への提示を制御する提示制御手段と、
から構成されている。
本発明による請求項５記載のクルージング支援車載情報システムは、
１つまたは複数の超広角カメラと、
前記カメラの超広角映像の一部を切り出して実時間でゆがみを補正するゆがみ補正装置と、
前記カメラの撮影方向、車速または走行モードまたは運転者の挙動を検出する状況検出手段と、
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、
前記状況検出手段の判断出力に基づいて俯角の異なる車外映像を提示する提示制御手段と、
から構成されている。
【０００７】
本発明による請求項６記載のクルージング支援車載情報システムは、
請求項３または請求項４または請求項５のクルージング支援車載情報システムであって、
前記提示制御手段は、常に車体の一部を提示させて、同時に提示される他の車外物体との距離感覚を付与することを特徴とするものである。
本発明による請求項７記載のクルージング支援車載情報システムは、
請求項３または請求項４または請求項５のクルージング支援車載情報システムであって、
前記システムは、ハンドル上の位置を運転者の視角と対応させ、運転者がふれたことと撫でたことを検出できるセンサを円状に配置したハンドルを設け、
前記状況検出手段は、さらに、前記ハンドル上の位置を運転者の視角と対応させ、運転者がふれたことと撫でたことを検出し、
記録再生装置に記録した各超広角カメラの映像を前記ゆがみ補正装置により切り出して合成する際に切り出す領域をハンドルを用いて指示することで、
記録映像の視線を変化させて前記提示手段に提示することを特徴とするものである。
本発明による請求項８記載のクルージング支援車載情報システムは、
請求項３、請求項４または請求項５のクルージング支援車載情報システムであって、
前記システムは、さらに触れたことと撫でたことを検出できるセンサを棒状に配置した棒状センサを運転者の右または／かつ左側に進行方向と平行に配置して運転者の操作手段としたものである。
【０００８】
本発明による請求項９記載のクルージング支援車載情報システムは、
請求項８記載のクルージング支援車載情報システムであって、
前記棒状センサの位置を時刻に対応させ、
記録再生装置に記録した各超広角カメラの映像を前記ゆがみ補正装置により切り出して合成する際に切り出すフレームの時間を前記棒状センサで指示するように構成されている。
本発明による請求項１０記載のクルージング支援車載情報システムは、
請求項９記載のクルージング支援車載情報システムであって、実時間および記録された超広角映像の時刻と対応させて、音声認識装置を用いて、音声コメントと音声認識結果とを時間的に対応させて付加して記録し、音声コメント付き映像コンテンツとして記憶する手段を有し、前記音声コメント付き映像コンテンツを再生して提示する手段を有するものである。
本発明による請求項１１記載のクルージング支援車載情報システムは、
請求項８記載のクルージング支援車載情報システムであって、
前記システムの前記記録再生装置またはゆがみ補正装置の出力をカーナビゲーションシステムと連動し記録可能にし、目的地までのルート設定を終えた後、前記棒状センサを前後に操作することによってカーソルを出発地から目的地までルートに沿って前後させ、カーソルの位置に関連する記録映像を提示可能としたものである。
【０００９】
本発明による請求項１２記載のクルージング支援車載情報システムは、
請求項３または請求項４または請求項５のクルージング支援車載情報システムであって、
前記システムは、さらに、
車外の車体の前後左右の何れかの方向に向けて配置された複数の距離センサと、
前記距離センサに対応する発音体を運転者の周囲に配し、
それらの発音体から基準音を鳴らし、前記距離センサによる検出物体用の音は、距離センサで検出した物体までの距離に応じて遅延した基準音を鳴らすように構成されている。
本発明による請求項１３記載のクルージング支援車載情報システムは、
請求項１２記載のクルージング支援車載情報システムであって、
前記複数の発音体から出る音を距離センサによる検出物体の概略方向から聞こえるように構成されている。
本発明による請求項１４記載のクルージング支援車載情報システムは、
請求項１３記載のクルージング支援車載情報システムであって、音声や映像の提示装置を運転者に対して対称に置き、車体に対して対称な情報を提示するものである。
【発明の効果】
【００１０】
運転者の視覚的な認知能力を拡張させ「サラウンディング感覚」を付与することが可能となり、運転者や同乗者が所望する映像を提示可能である。また、広角映像を、記録再生加工することにより、運転者と同乗者の間で、映像コンテンツの制作・発信・共有が可能となり、安全重視の運転支援にとどまらず、自動車を走らせたり、移動することを楽しむという意味で、人間の認知と感情の仕組みと合致したクルージング支援が可能な車載情報システムが実現できる。
また、本発明の効果は、車両にカメラやディスプレイを利用する情報システムで安全性を高めるだけではなく、人間の認知・情動・記憶・行動のメカニズムを中心に考え、「楽しさ、心地良さ、快適さ、満足感」を満たすように、車両（クルマ）自体を、複数の広角カメラ複数のディスプレイ、記憶再生装置、各種入出力デバイスと、各種センサ情報加工技術を用いて、空間的・時間的・美的・機能的な観点で包括的にデザイン（設計）する点にある。
車両走行中の運転者や同乗者にとっての快適性や楽しさなどの魅力を向上させるにとどまらず、記録された映像や音の情報コンテンツは、クルージング（自動車旅行）の素晴らしい景色や危険な場所、偶然発見したものなど、小旅行や人生の思い出として、また、同乗者や友人・知人との会話を楽しむためのデジタルコンテンツとしても新しい価値を創出できるという効果も大きい。
【発明を実施するための最良の形態】
【００１１】
以下図面等を参照して本発明による装置の実施の形態を説明する。本発明によるシステムは、支援のための実施態様が多岐にわたり、カメラの配置も種々ことなる。
【００１２】
（複数の広角カメラを用いる実施形態におけるカメラの配置例）
図１は、本発明によるクルージング支援車載情報システムにおける広角カメラの配置の例を示す平面図および側面図である。この形態は、車体１０１の前後左右を撮像するための複数の超広角カメラ（魚眼レンズなどの超広角レンズもしくは曲面ミラーを備えたカメラをよぶ）１ａ〜１ｄを配置してある。後述する録再生装置は、各超広角カメラ１ａ〜１ｄの出力を超広角映像のまま記録再生可能である。ゆがみ補正する装置は超広角映像の一部を切り出し実時間でゆがみ補正する。運転状況検出手段は、車速または走行モードまたは運転者の挙動を検出する。図２にクルージング支援車載情報システムにおける車内の表示帯の配置例を示す。
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置２ａ〜２ｄ（図２参照）で構成した帯状の表示領域をもつ表示帯に表示される。
【００１３】
図３は、前記配列のクルージング支援車載情報システムの概念を説明するためのブロック図である。この形態では、車外に車を囲むように配置された広角カメラ群５０１の出力が分配器５０２の入力に接続されている。
分配器５０２の出力の片方が記録再生装置５０３の入力、分配器５０２の他方と記録再生装置５０３の出力がセレクタ５０４の入力（上下）にそれぞれ接続されている。
セレクタ５０４の出力はゆがみ補正装置５０５を通じて画面合成装置に接続され、セレクタ５０４を上側に切り換えるとカメラ映像が、下側に切り換えると記録再生装置５０３の再生映像がゆがみ補正装置５０５に接続される。超広角影像は魚眼レンズのような画像で、そのままでは使えない。どこを見たいか中心点を決めてゆがみ補正することにする。ゆがみ補正装置５０５に入力される中心座標により超広角映像から通常画角の映像が切り出される。切り出した複数の映像は画像合成装置５０６により合成され、ディスプレイ群５０７に表示される。
【００１４】
セレクタ５０４の入力を上に設定すると、カメラ群５０１で撮像された映像は分配器５０２を通じて記録再生装置５０３に常時記録される。そしてセレクタ５０４を通じてゆがみ補正装置５０５に送られる。ゆがみ補正装置５０５に送られた超広角映像は視点計算装置から指示される中心点に基づいて通常画角の画像に切り離され、画像合成装置５０６に送られる。画像合成装置内部で張り合わされた画像は各ディスプレイ群５０７に送られる。
【００１５】
図４はゆがみ補正を説明するための説明図である。各種座標の決定方法を例示する。
ここでは、座標決定装置は、車速、方向指示器、走行モード、周辺環境を得て、各超広角カメラの映像をゆがみ補正して得られる画像の中心座標 (ｘa , ｙa ） (ｘz , ｙz ) を決定し、また、ゆがみ補正後の各映像の貼り合わせに使用するグローバル座標（Ｘa , Ｙa ）〜（Ｘz , Ｙz ) ならびにスケールファクタ（拡大率）Ｓa 〜Ｓz を決定する。
ゆがみ補正のなされた画像は画像合成装置内で貼り合わされ、貼り合わせた画像を切り出して各ディスプレイに表示する。
この実施例では、ゆがみ補正による切り出し対象領域を低速走行時には下方、高速走行時には上方にとることで、低速走行時には俯角の大きい車外映像、高速走行時には俯角の小さい車外映像を表示帯に提示するようにしている。
【００１６】
（単一の可動カメラと車速を利用するさらに他の実施形態）
図５は、単一の可動カメラと車速等を利用してクルージングを支援する態様の説明図である。１台の可動カメラ２００は電動雲台２０１に取り付けられ、車体の左前よりに設置され、サーボシステムで角度（俯角）の制御が成される。カメラ２００の本体は画像出力は表示装置２０３に接続されている。車速を車速センサ２０５から得て、画角決定装置２０４が保持する表を引き電動雲台２０１の俯角をサーボを制御する。なお方位角と俯角は予め数表として定義しておいても数式により決定されてもよいし、この例は前者による。車速の変化だけでなく、シフトレバーなど他の要因の変化による画角も考慮した多次元の表として定義しておいてもよい。画角決定装置２０４の出力により、電動雲台２０１を上下左右に制御し、車速に応じた角度にカメラを向ける。
この数表に、自車の車体の一部が映る角度を登録しておくことで、常に自車と車外物体が同時に映るようにできる。たとえば、車速の小さいときは俯角を大きく、車速の大きいときは俯角を小さく取ることで、走り出しは足元を、高速走行時は前方の拡大画像等を提示することができる。
【００１７】
（単一の広角カメラと車速を利用するさらに他の実施形態）
図６は、単一の広角カメラと車速等を利用してクルージングを支援する態様の説明図である。超広角カメラ３００前述の形態と同様な位置に配置されている。画角決定装置３０１、ゆがみ補正装置３０２、表示装置３０３を備えているが、この例ではカメラが超広角データを取得しているから、どの部分を取りだすかが問題である。
超広角カメラ３００の映像出力はゆがみ補正装置３０２を介して表示装置３０３に接続されている。画角決定装置３０１は車速等を得て、対応する画角を決定する。画角はゆがみ補正装置３０２に送られ、画角に対応する超広角画像の中心点を中心に通常の画像に変換される。この実施形態はリアルタイムで再生する状態を示しており、一端記録して再生するという形態によらない。超広角レンズを用いた場合の超広角カメラ３００から撮影した映像が表示装置３０３に表れており、車輪が映っている。左側の映像は玄関のドアスコープから見たようにゆがんでいるが、これを前述のゆがみ補正装置３０２を通じて表示装置３０３で運転者に提示する。
【００１８】
（同乗者の編集娯楽等を支援する実施形態）
クルージング支援車載情報システムの最大の特徴は、複数のカメラとディスプレイと記録再生機能を活用し、運転者のみならず、同乗者も含めた車両の乗員が、心地良く楽しい走行を実現し、新たな価値を生み出すことにある。
図７は撫でるセンサと関連する他の主要構成との関連を説明するためのブロック図、図８は前記センサを利用する場合の車内のセンサとディスプレイ配置を示す略図である。
図７に示す本実施形態の概略構成図にあるように、走行中の車外のカメラ映像と、人間の意図を伝達する、なでる形式の棒状撫でるセンサで時間軸方向の操作をし、車内での人間の音声との相乗効果で映像と音声コメントとテキストとを走行中に関連付け、コンテンツDBに蓄えられることが特徴である。
【００１９】
図８に、運転者と同乗者の撫でるセンサ（棒状センサ）の取り付け位置と、車外の複数のカメラで撮った映像を表示する複数または単数のディスプレイの取り付け位置の例を示す。
ドア側に取り付けた、撫でる形式の棒状センサ７０１，７０１による、時間軸の操作は、走行方向と整合が良く、分かりやすい。車外のカメラ映像は常時録画されており、録画しながら再生するという状態になっている。撫でる棒状センサを操作すると変数videoTime が増減し、ディスプレイ７０４に時刻videoTime の映像が表示される。棒状センサを操作していなければ、変数videoTime は現在の時刻である。
【００２０】
走行中の運転手は事故を起こさないように周囲の状況に注意をはらい、美しい景色や珍しい情景や事物について、同乗者のように楽しむ余裕はない。
カーナビゲーションシステムがない時代は、同乗者は地図をみながら、運転者を補助し共同で走行（クルージング）をしていたと言える。しかが、現状は同乗者は暇であり、例えば観光やレジャーでクルージングしている際に、思い出の映像アルバムの作成を主導することができる。
【００２１】
走行しながら車外の複数のカメラで取得した映像に対して、美しい情景や、動植物、あるいは、珍しいものや面白い出来事に遭遇した場合、通り過ぎた所で残したい映像があったら、棒状センサをなでることで、映像を時間的に戻し、そこで、同乗者は、その時刻の調整をした映像に対して、車内のマイクをONにして、音声コメント付けをし、音声認識も活用することにより、映像＋音声コメント＋テキストを対応付けることができ。思い出が残り、さらに、音声認識で入力したテキストで検索が容易になる。
具体的には、複数のカメラ映像は前方のディスプレイに表示された映像を、運転席と助手席や、さらには後部座席のドア側に設置した棒状センサで進行方向と時間軸とを対応させて、相対的な時間軸方向の制御が可能である。撫でながら映像を時間的に制御し、適切なタイミングで音声コメント入力を行う。この時の、撫でるセンサへの特定の入力方法か、音声コマンド認識か、あるいは、ディスプレイ上のタッチパネルへの入力で音声コメントを録音する。音声認識は不完全であるが、テキスト化することで、後での編集や映像の検索が容易になる。
【００２２】
もう一つの音声コメント入力形式が、走行中の窓の外を見ながらも、社内での運転者や同乗者との会話も生の実時間映像と音声会話や発話とを対応付けながら記録可能である。また、同時に音声認識を働かせて、テキスト化もできる。音声からテキスト化の誤りはあっても、後編集で修正可能である。車内では簡便な対応が重要である。
本実施例装置のような棒状センサと音声信号入力と音声認識テキスト入力、さらには、音声コマンド認識との併用の例は斬新な組み合わせのアイデアであり、マルチモーダルな映像コンテンツDBの充実化が可能である。
【００２３】
図９は処理のフローチャートを示す。
撫でるセンサ（棒状センサ）への入力があるとデータが０以外となり、コンテンツ制作開始とみなす。
そのデータを変数Data1 に代入し、もう一度撫でるセンサ（棒状センサ）からデータを読み出しそのデータを変数Data2 に代入する。
Data1 がData2 よりも大きければ車の進行方向に向けて撫でられたことであるため、時刻変数videoTime を加算する。
逆にData1 がData2 よりも小さければ車の逆進行方向に向けて撫でられたことであるため、時刻変数videoTime を減算する。
そして時刻videoTime の映像をディスプレイへ表示する。
特定の操作をすることで音声コメントの録音開始となるため、その特定操作があるまで時刻の調整をつづけることになる。
特定の操作がくると、音声認識を開始する。ここでは音声認識をしながらその音声を録音し、音声コメント入力が終了したら、撫でるセンサ操作で得られた時刻videoTime に音声認識結果のテキストと録音した音声データをタグ付けし、コンテンツDBに保存する。
【００２４】
（カ−ナビゲーションとの連携した実施形態）
カーナビゲーションとの連携した実施の形態を図１０を参照して説明する。
本実施例では、運転者は進行方向と平行に設置されることを特徴とする棒状センサを前後方向に撫でることによって、出発地から現在地までの映像や、現在地から目的地までの映像を参照することができる。このシステムの動作原理は以下のとおりである。
経路が決定したあとは、道路上の縦横の移動は、経路に沿った前後の移動に単純化することができる。運転者がカーナビゲーション上で目的地を設定すると、カーナビゲーションは出発地から目的地までの経路を決定し、現在地をカーソルで表示する。
カーソルは棒状センサを前後方向に撫でることにより経路に沿って前後に移動させることができ、カーナビゲーションはカーソルに対応する緯度経度の位置情報をもとにコンテンツデータベース５０３を検索し、位置情報に対応するコンテンツが存在すれば再生を開始する。ゆがみ補正装置を経由するかどうかは、コンテンツが超広角映像かそうでないかにより選択される。ゆがみ補正装置を経由する場合は、時間の切り出しでなく映像の範囲を切り出す。切り出し領域は運転者の挙動センサおよびハンドルに設置された撫でるセンサにより移動可能である。運転者はカーナビゲーション上で出発地から目的地までの経路設定を行った後、棒状センサを前後に撫でることによってカーソルを経路に沿って移動することができる。
【００２５】
（過去のクルージング記録を再生する実施形態）
図３において、セレクタ４の入力を下側に設定すると、記録再生装置３からの超広角再生映像がゆがみ補正装置５に導かれる。
本実施例では、運転者は進行方向と平行に設置されることを特徴とする棒状センサを前後方向に撫でることによって、出発地から現在地までに撮りためた映像を前後して見ることができる。
また、棒状センサの前端および後端をそれぞれ現在地、出発地に対応させて、棒上をポンと触れることによって、記録映像の頭出しをする。このとき、棒上を触れることは、出発地から現在地までの割合を指示することになる。たとえば棒の中央を触れれば、出発地から現在地まで取りためた記録映像の中央を頭出しし参照することができる。中央は時間の中央であるように設計してある。距離の中央であるように設計することもできる。
または、棒状センサの前端および後端をそれぞれ現在地、目的地に対応させて設計することもできる。このとき、棒上のある点（現在地）より前端までの映像は当然記録されていないが、この実施形態によって得られる現在地から目的地までの予定経路に従い、触れた部分に対応する経度緯度に関連する情報をコンテンツデータベース５０３より検索し参照できる。
さらに、棒状センサに表示装置を設け、時刻や距離の目盛りや現在の車の位置を表示して、触れる操作をやりやすくすることができる。カーナビゲーションでコンビニエンスストアを検索したとき、棒状センサ上に目的地までのコンビニエンスストアがずらっと点灯表示されると、どのあたりでコンビニエンスストアに寄るか見当をつけることもできる。ガソリンスタンドの検索では、ガソリンの残量などと連動させることもできる。
触れることを距離や時間などの絶対指定、なでることを相対指定、に対応させ、目盛りなどを表示することにより、操作を容易にできる。
映像は超広角映像で記録されているため、画角は再生時に任意の方向に変えることができる。これは、図示しないハンドルを使って行う。超広角で撮り続けていることが特徴で、あとから任意時刻、任意方向の映像を取り出すことができる。
【００２６】
（クルージング支援車載情報システムに音声ガイドを与える実施形態）
複数の距離センサを車外の車体の前後左右の何れかの方向に向けて配置する。そして前記距離センサに対応する発音体であるスピーカを運転者の周囲に配する。
それらのスピーカから基準音を鳴らし、前記距離センサによる検出物体用の音は、距離センサで検出した物体までの距離に応じて遅延した基準音を鳴らすように構成する。
前記クルージング支援車載情報システムで、前記複数のスピーカから出る音を距離センサによる検出物体の概略方向から聞こえるように配置することによりクルージング支援をする。
【００２７】
図１１は、スピーカ９０１〜９０４の配置例を示す略図であり、図１２は、複数の距離センサ９８１〜９８６の配置例を示す略図である。図１３は、音声ガイドを付加した実施形態の回路ブロック図である。
【００２８】
距離センサ９８１から９８６の距離情報をコントロールユニット１００１に入力する。コントロールユニット１００１では基準音発生部１００３で基準音を発生し、距離情報を演算処理部１１０２で距離情報から時間情報に変換した情報を用いて遅延時間制御部１００４において基準音を遅延させる。概略音源方向演算処理部１１０５では演算処理部１１０２で処理された検出物体概略方向情報を用いて遅延時間制御部１００４で遅延された基準音を検出物体の概略方向に音源があるかのような演算処理を施し、基準音と加算器１１１１〜１１１４で加算後、増幅器１１２１〜１１２４で音を増幅し、スピーカ９９１〜９９４で音を出すように構成されている。
【００２９】
前記クルージング支援車載情報システムで、前記複数のスピーカから出る音を距離センサによる検出物体の概略方向から聞こえるように配置することによりクルージング支援は、前述の図１３の概略音源方向演算処理部１１０５での処理を実施しない（遅延時間制御部１００４の出力をそのまま出力する）ように構成すれば実現できる。
請求項１３の変形例としては、前述の図１３のスピーカの一部を振動板スピーカまたは振動板とすることができる。配置例としては座席の背もたれ部や脚部にしても良い。
【００３０】
（近接障害物に対するクルージング支援の実施形態）
クルージンクの開始終了の時点の支援も、快適なクルージンクを支援するためには必要である。図１４は、車庫入れ等、近接する障害物に対する運転を支援する実施形態を示す説明図である。車庫入れに関連して構成を動作とともに説明する。車両には、運転者に対して対称に配置された音響提示装置（スピーカ）１２０４ａおよび１２０４ｂが配置されている。
まず同時に基準音を鳴らし、距離センサ１２０３ａおよび１２０３ｂで測定した車の外壁から車外物体までの距離をもとに、遅延誇張装置１２０５（配置は車内の任意の位置）は測定した左右の距離に応じた時間の遅延を誇張し、その遅れを挟んで確認音を鳴らす。
確認音の遅延は車の外壁からの距離で決まる。
仮に左右の障害物が車の外壁から等距離にあれば、基準音が左右同時に鳴ったのち、少しの遅延時間をおいて左右の確認音が同時に鳴る。
運転席が車の右側にあるとすれば、この場合運転席から左の障害物までの距離までが実際は長いわけだが、本方式によれば車体から左右の障害物までの距離が同じであれば確認音が同時に鳴るため、車庫入れ時などに重要となる車の左右から障害物までの状態を把握することができる。この実施態様によれば、運転席が左右どちらかに配置されていても、運転者に車の中央に座してしているかのような聴覚的補助感覚を与えることができる。
図１４は、さらに運転席の左右に対象に配置された映像提示装置１２０２ａから１２０２ｄに、外壁に取り付けたカメラ１２０１ａから１２０１ｄで撮像した映像をそれぞれ提示する例である。外壁の映像が運転者の左右に対して対称に提示されるため、運転者に車の中央に座しているかのような視覚的補助感覚を与えることができる。
【産業上の利用可能性】
【００３１】
本発明に関わるクルージング支援車載情報システムは、カーナビゲーションシステムや画像機器システムの高機能と低価格化に伴って、その重要性は増すことは確実である。
各種自動車は単なる移動の手段から、運転や走行、さらにはコミュニケーションを楽しむための「移動空間」へと進化しており、そこで求められているのは、運転の安全性向上にとどまらず、人間の認知や情動や行動に基づく「楽しさ、豊かさ、快適さ、満足感」の追求である。本発明による、複数のカメラとディスプレイを活用した「クルージング（快適走行）支援」あるいは「快走支援」の開発が産業的にも重視されることは確実である。本発明による情報システムが産業的に重要な技術分野へと発展し、広く利用される可能性が極めて高い。
【図面の簡単な説明】
【００３２】
【図１】本発明によるクルージング支援車載情報システムにおけるカメラの配置の例を示す平面図および側面図である。
【図２】前記クルージング支援車載情報システムで用いる表示帯の配置例を示す。
【図３】本発明によるクルージング支援車載情報システムの概念を説明するためのブロック図である。
【図４】ゆがみ補正と画像間の座標の関連を説明するための図である。
【図５】単一の可動カメラと車速等を利用してクルージングを支援する態様の説明図である。
【図６】単一の広角カメラと車速等を利用してクルージングを支援する態様の説明図である。
【図７】撫でるセンサと関連する他の主要構成との関連を説明するためのブロック図である。
【図８】撫でるセンサを利用する場合の車内のセンサとディスプレイ等の配置を示す略図である。
【図９】処理のフローチャートを示す。
【図１０】カーナビゲーションとの連携した実施の態様を参照して説明する。
【図１１】複数の距離センサの配置例を示す略図である。
【図１２】スピーカの配置例を示す略図である。
【図１３】音声ガイドを付加したシステムの回路ブロック図である。
【図１４】車庫入れ等、近接する障害物に対する運転を支援する実施態様を示す説明図である。
【符号の説明】
【００３３】
１ 超広角カメラ
２ａ・・２ｄ（２０１） ディスプレイ
【技術分野】
【０００１】
本発明は、運転者の視界を拡張するクルージング支援車載情報システムに関する。さらに詳しく言えば、複数のカメラ等と映像記録再生装置を有し、走行や運転者の状態に応じて映像情報を編集加工し、運転者の所望する情報を複数のディスプレイ上に提示することにより、運転環境の把握能力に関わる「サラウンディング感覚」を提供して、安心で豊かなクルージング（楽しみのための走行）という雰囲気を実現するクルージング支援車載情報システムに関する。
【背景技術】
【０００２】
運転の安全性向上や車載情報機器の高度化が運転者により多くの情報、例えば視界の拡張等、を提供している。車両後方やサイドミラーの下などにカメラが取り付けられ、運転者の安全運転支援や視覚的な認知能力の拡大や、所定の動作操作の際にナビゲーション装置のディスプレイにカメラ画像を映し出すような車載情報システムが開発されている。
また、自動車のインテリジェント化と多機能化が進み、運転者の居眠り検知や車両周囲状況の認識の技術が進歩し、安全な運転の実現に向けた車載情報システムが開発されるようになってきた。特許文献１記載の発明は、警報装置、振動体を有する運転席、警報装置を車両に掲載した移動体に係るものであり、運転者の覚醒等を目的としている。
特許文献２記載の発明は、情報提供装置に係り、移動体と障害物との相対位置関係に関する情報、音を用いて提供している。
【特許文献１】特開２００１−１９９２９６
【特許文献２】特開２００４−２５１７６９
【発明の開示】
【発明が解決しようとする課題】
【０００３】
自動車は様々な電子化やカーナビゲーションシステムなど高機能化と、車載機器の個々の要素技術やセンシング機能の開発が進められている。最近ではカメラやディスプレイを用いた車載機器の高機能化が進められている。しかしながら、車載機器の操作中や携帯電話の通話中の事故が増加の一途をたどっているのが現状であり、人間の認知や感情の仕組みに基づく広く融合的観点からの研究開発は十分になされていない。
本発明では、人間にとって安全で自由かつ楽しく様々な場所へ移動できる手段として捉え、個々のドライビングを支援する「個々のシステム」の実現ではなく、人間の認知・情動機能と合致したクルージング（快適な走行）を支援する車載情報システムの実現へと課題を変更してとらえることとした。
本発明の目的は、車外、車内、走行の情報を逐次または選択的に取得し、それを加工して、運転者等に提示できるクルージング支援車載情報システムを提供することにある。
【課題を解決するための手段】
【０００４】
前記目的を達成するために、本発明によるクルージング支援車載情報システムは、
例えば、車体の前後左右を撮像する複数の超広角カメラ（魚眼レンズなどの超広角レンズまたは曲面ミラーを備えたカメラ）と、超広角カメラの出力を超広角カメラ映像として記録再生する手段と、超広角映像の一部を切り出して実時間でゆがみ補正する手段と、車速／走行モード／運転者の挙動を検出する手段と、運転者の周囲に配置した複数のディスプレイにより構成されている。
一つのカメラの出力をそのまままたは２つ以上の超広角レンズカメラの出力をゆがみ補正によって切り出し合成し、低速走行時には切り出し対象領域を下方にして俯角の大きい車外映像を、高速走行時には上方にとり俯角の小さい車外映像を提示することを特徴としている。また撫でることを検出するセンサを円状または棒状に配置し、超広角映像の提示内容等を意図的に制御できることも実現できる。
【０００５】
本発明による請求項１記載のクルージング支援車載情報システムは、
車外の像を獲得する複数の超広角カメラと、
各超広角カメラの出力を超広角映像のまま記録再生可能な記録再生装置と、
超広角映像の一部を切り出して実時間でゆがみを補正するゆがみ補正装置と、
車速または走行モードまたは運転者の挙動を検出する状況検出手段と、
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、
前記状況検出手段の判断出力に基づいて前記各補正装置の出力を選択的にまたは合成して前記表示装置への提示を制御する提示制御手段と、から構成されている。
本発明による請求項２記載のクルージング支援車載情報システムは、
請求項１のクルージング支援車載情報システムであって、
２つ以上の超広角カメラの出力を前記ゆがみ補正装置により切り出して合成し、前記表示帯に提示することを特徴とするものである。
本発明による請求項３記載のクルージング支援車載情報システムは、
請求項２のクルージング支援車載情報システムであって、
前記システムは、さらに車速、方向指示器、走行モード、周辺環境などを得て画角を決定する画角決定部を備え、状況によって俯角の異なる車外映像を表示帯に提示することを特徴とするものである。
【０００６】
本発明による請求項４記載のクルージング支援車載情報システムは、
車外の像を獲得する撮像方向が可変である１以上のカメラと、
前記カメラの出力を記録再生可能な記録再生装置と、
前記カメラの撮影方向、車速または走行モードまたは運転者の挙動を検出する状況検出手段と、
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、
前記状況検出手段の判断出力に基づいて前記記録再生装置の出力を選択的にまたは合成して前記表示装置への提示を制御する提示制御手段と、
から構成されている。
本発明による請求項５記載のクルージング支援車載情報システムは、
１つまたは複数の超広角カメラと、
前記カメラの超広角映像の一部を切り出して実時間でゆがみを補正するゆがみ補正装置と、
前記カメラの撮影方向、車速または走行モードまたは運転者の挙動を検出する状況検出手段と、
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、
前記状況検出手段の判断出力に基づいて俯角の異なる車外映像を提示する提示制御手段と、
から構成されている。
【０００７】
本発明による請求項６記載のクルージング支援車載情報システムは、
請求項３または請求項４または請求項５のクルージング支援車載情報システムであって、
前記提示制御手段は、常に車体の一部を提示させて、同時に提示される他の車外物体との距離感覚を付与することを特徴とするものである。
本発明による請求項７記載のクルージング支援車載情報システムは、
請求項３または請求項４または請求項５のクルージング支援車載情報システムであって、
前記システムは、ハンドル上の位置を運転者の視角と対応させ、運転者がふれたことと撫でたことを検出できるセンサを円状に配置したハンドルを設け、
前記状況検出手段は、さらに、前記ハンドル上の位置を運転者の視角と対応させ、運転者がふれたことと撫でたことを検出し、
記録再生装置に記録した各超広角カメラの映像を前記ゆがみ補正装置により切り出して合成する際に切り出す領域をハンドルを用いて指示することで、
記録映像の視線を変化させて前記提示手段に提示することを特徴とするものである。
本発明による請求項８記載のクルージング支援車載情報システムは、
請求項３、請求項４または請求項５のクルージング支援車載情報システムであって、
前記システムは、さらに触れたことと撫でたことを検出できるセンサを棒状に配置した棒状センサを運転者の右または／かつ左側に進行方向と平行に配置して運転者の操作手段としたものである。
【０００８】
本発明による請求項９記載のクルージング支援車載情報システムは、
請求項８記載のクルージング支援車載情報システムであって、
前記棒状センサの位置を時刻に対応させ、
記録再生装置に記録した各超広角カメラの映像を前記ゆがみ補正装置により切り出して合成する際に切り出すフレームの時間を前記棒状センサで指示するように構成されている。
本発明による請求項１０記載のクルージング支援車載情報システムは、
請求項９記載のクルージング支援車載情報システムであって、実時間および記録された超広角映像の時刻と対応させて、音声認識装置を用いて、音声コメントと音声認識結果とを時間的に対応させて付加して記録し、音声コメント付き映像コンテンツとして記憶する手段を有し、前記音声コメント付き映像コンテンツを再生して提示する手段を有するものである。
本発明による請求項１１記載のクルージング支援車載情報システムは、
請求項８記載のクルージング支援車載情報システムであって、
前記システムの前記記録再生装置またはゆがみ補正装置の出力をカーナビゲーションシステムと連動し記録可能にし、目的地までのルート設定を終えた後、前記棒状センサを前後に操作することによってカーソルを出発地から目的地までルートに沿って前後させ、カーソルの位置に関連する記録映像を提示可能としたものである。
【０００９】
本発明による請求項１２記載のクルージング支援車載情報システムは、
請求項３または請求項４または請求項５のクルージング支援車載情報システムであって、
前記システムは、さらに、
車外の車体の前後左右の何れかの方向に向けて配置された複数の距離センサと、
前記距離センサに対応する発音体を運転者の周囲に配し、
それらの発音体から基準音を鳴らし、前記距離センサによる検出物体用の音は、距離センサで検出した物体までの距離に応じて遅延した基準音を鳴らすように構成されている。
本発明による請求項１３記載のクルージング支援車載情報システムは、
請求項１２記載のクルージング支援車載情報システムであって、
前記複数の発音体から出る音を距離センサによる検出物体の概略方向から聞こえるように構成されている。
本発明による請求項１４記載のクルージング支援車載情報システムは、
請求項１３記載のクルージング支援車載情報システムであって、音声や映像の提示装置を運転者に対して対称に置き、車体に対して対称な情報を提示するものである。
【発明の効果】
【００１０】
運転者の視覚的な認知能力を拡張させ「サラウンディング感覚」を付与することが可能となり、運転者や同乗者が所望する映像を提示可能である。また、広角映像を、記録再生加工することにより、運転者と同乗者の間で、映像コンテンツの制作・発信・共有が可能となり、安全重視の運転支援にとどまらず、自動車を走らせたり、移動することを楽しむという意味で、人間の認知と感情の仕組みと合致したクルージング支援が可能な車載情報システムが実現できる。
また、本発明の効果は、車両にカメラやディスプレイを利用する情報システムで安全性を高めるだけではなく、人間の認知・情動・記憶・行動のメカニズムを中心に考え、「楽しさ、心地良さ、快適さ、満足感」を満たすように、車両（クルマ）自体を、複数の広角カメラ複数のディスプレイ、記憶再生装置、各種入出力デバイスと、各種センサ情報加工技術を用いて、空間的・時間的・美的・機能的な観点で包括的にデザイン（設計）する点にある。
車両走行中の運転者や同乗者にとっての快適性や楽しさなどの魅力を向上させるにとどまらず、記録された映像や音の情報コンテンツは、クルージング（自動車旅行）の素晴らしい景色や危険な場所、偶然発見したものなど、小旅行や人生の思い出として、また、同乗者や友人・知人との会話を楽しむためのデジタルコンテンツとしても新しい価値を創出できるという効果も大きい。
【発明を実施するための最良の形態】
【００１１】
以下図面等を参照して本発明による装置の実施の形態を説明する。本発明によるシステムは、支援のための実施態様が多岐にわたり、カメラの配置も種々ことなる。
【００１２】
（複数の広角カメラを用いる実施形態におけるカメラの配置例）
図１は、本発明によるクルージング支援車載情報システムにおける広角カメラの配置の例を示す平面図および側面図である。この形態は、車体１０１の前後左右を撮像するための複数の超広角カメラ（魚眼レンズなどの超広角レンズもしくは曲面ミラーを備えたカメラをよぶ）１ａ〜１ｄを配置してある。後述する録再生装置は、各超広角カメラ１ａ〜１ｄの出力を超広角映像のまま記録再生可能である。ゆがみ補正する装置は超広角映像の一部を切り出し実時間でゆがみ補正する。運転状況検出手段は、車速または走行モードまたは運転者の挙動を検出する。図２にクルージング支援車載情報システムにおける車内の表示帯の配置例を示す。
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置２ａ〜２ｄ（図２参照）で構成した帯状の表示領域をもつ表示帯に表示される。
【００１３】
図３は、前記配列のクルージング支援車載情報システムの概念を説明するためのブロック図である。この形態では、車外に車を囲むように配置された広角カメラ群５０１の出力が分配器５０２の入力に接続されている。
分配器５０２の出力の片方が記録再生装置５０３の入力、分配器５０２の他方と記録再生装置５０３の出力がセレクタ５０４の入力（上下）にそれぞれ接続されている。
セレクタ５０４の出力はゆがみ補正装置５０５を通じて画面合成装置に接続され、セレクタ５０４を上側に切り換えるとカメラ映像が、下側に切り換えると記録再生装置５０３の再生映像がゆがみ補正装置５０５に接続される。超広角影像は魚眼レンズのような画像で、そのままでは使えない。どこを見たいか中心点を決めてゆがみ補正することにする。ゆがみ補正装置５０５に入力される中心座標により超広角映像から通常画角の映像が切り出される。切り出した複数の映像は画像合成装置５０６により合成され、ディスプレイ群５０７に表示される。
【００１４】
セレクタ５０４の入力を上に設定すると、カメラ群５０１で撮像された映像は分配器５０２を通じて記録再生装置５０３に常時記録される。そしてセレクタ５０４を通じてゆがみ補正装置５０５に送られる。ゆがみ補正装置５０５に送られた超広角映像は視点計算装置から指示される中心点に基づいて通常画角の画像に切り離され、画像合成装置５０６に送られる。画像合成装置内部で張り合わされた画像は各ディスプレイ群５０７に送られる。
【００１５】
図４はゆがみ補正を説明するための説明図である。各種座標の決定方法を例示する。
ここでは、座標決定装置は、車速、方向指示器、走行モード、周辺環境を得て、各超広角カメラの映像をゆがみ補正して得られる画像の中心座標 (ｘa , ｙa ） (ｘz , ｙz ) を決定し、また、ゆがみ補正後の各映像の貼り合わせに使用するグローバル座標（Ｘa , Ｙa ）〜（Ｘz , Ｙz ) ならびにスケールファクタ（拡大率）Ｓa 〜Ｓz を決定する。
ゆがみ補正のなされた画像は画像合成装置内で貼り合わされ、貼り合わせた画像を切り出して各ディスプレイに表示する。
この実施例では、ゆがみ補正による切り出し対象領域を低速走行時には下方、高速走行時には上方にとることで、低速走行時には俯角の大きい車外映像、高速走行時には俯角の小さい車外映像を表示帯に提示するようにしている。
【００１６】
（単一の可動カメラと車速を利用するさらに他の実施形態）
図５は、単一の可動カメラと車速等を利用してクルージングを支援する態様の説明図である。１台の可動カメラ２００は電動雲台２０１に取り付けられ、車体の左前よりに設置され、サーボシステムで角度（俯角）の制御が成される。カメラ２００の本体は画像出力は表示装置２０３に接続されている。車速を車速センサ２０５から得て、画角決定装置２０４が保持する表を引き電動雲台２０１の俯角をサーボを制御する。なお方位角と俯角は予め数表として定義しておいても数式により決定されてもよいし、この例は前者による。車速の変化だけでなく、シフトレバーなど他の要因の変化による画角も考慮した多次元の表として定義しておいてもよい。画角決定装置２０４の出力により、電動雲台２０１を上下左右に制御し、車速に応じた角度にカメラを向ける。
この数表に、自車の車体の一部が映る角度を登録しておくことで、常に自車と車外物体が同時に映るようにできる。たとえば、車速の小さいときは俯角を大きく、車速の大きいときは俯角を小さく取ることで、走り出しは足元を、高速走行時は前方の拡大画像等を提示することができる。
【００１７】
（単一の広角カメラと車速を利用するさらに他の実施形態）
図６は、単一の広角カメラと車速等を利用してクルージングを支援する態様の説明図である。超広角カメラ３００前述の形態と同様な位置に配置されている。画角決定装置３０１、ゆがみ補正装置３０２、表示装置３０３を備えているが、この例ではカメラが超広角データを取得しているから、どの部分を取りだすかが問題である。
超広角カメラ３００の映像出力はゆがみ補正装置３０２を介して表示装置３０３に接続されている。画角決定装置３０１は車速等を得て、対応する画角を決定する。画角はゆがみ補正装置３０２に送られ、画角に対応する超広角画像の中心点を中心に通常の画像に変換される。この実施形態はリアルタイムで再生する状態を示しており、一端記録して再生するという形態によらない。超広角レンズを用いた場合の超広角カメラ３００から撮影した映像が表示装置３０３に表れており、車輪が映っている。左側の映像は玄関のドアスコープから見たようにゆがんでいるが、これを前述のゆがみ補正装置３０２を通じて表示装置３０３で運転者に提示する。
【００１８】
（同乗者の編集娯楽等を支援する実施形態）
クルージング支援車載情報システムの最大の特徴は、複数のカメラとディスプレイと記録再生機能を活用し、運転者のみならず、同乗者も含めた車両の乗員が、心地良く楽しい走行を実現し、新たな価値を生み出すことにある。
図７は撫でるセンサと関連する他の主要構成との関連を説明するためのブロック図、図８は前記センサを利用する場合の車内のセンサとディスプレイ配置を示す略図である。
図７に示す本実施形態の概略構成図にあるように、走行中の車外のカメラ映像と、人間の意図を伝達する、なでる形式の棒状撫でるセンサで時間軸方向の操作をし、車内での人間の音声との相乗効果で映像と音声コメントとテキストとを走行中に関連付け、コンテンツDBに蓄えられることが特徴である。
【００１９】
図８に、運転者と同乗者の撫でるセンサ（棒状センサ）の取り付け位置と、車外の複数のカメラで撮った映像を表示する複数または単数のディスプレイの取り付け位置の例を示す。
ドア側に取り付けた、撫でる形式の棒状センサ７０１，７０１による、時間軸の操作は、走行方向と整合が良く、分かりやすい。車外のカメラ映像は常時録画されており、録画しながら再生するという状態になっている。撫でる棒状センサを操作すると変数videoTime が増減し、ディスプレイ７０４に時刻videoTime の映像が表示される。棒状センサを操作していなければ、変数videoTime は現在の時刻である。
【００２０】
走行中の運転手は事故を起こさないように周囲の状況に注意をはらい、美しい景色や珍しい情景や事物について、同乗者のように楽しむ余裕はない。
カーナビゲーションシステムがない時代は、同乗者は地図をみながら、運転者を補助し共同で走行（クルージング）をしていたと言える。しかが、現状は同乗者は暇であり、例えば観光やレジャーでクルージングしている際に、思い出の映像アルバムの作成を主導することができる。
【００２１】
走行しながら車外の複数のカメラで取得した映像に対して、美しい情景や、動植物、あるいは、珍しいものや面白い出来事に遭遇した場合、通り過ぎた所で残したい映像があったら、棒状センサをなでることで、映像を時間的に戻し、そこで、同乗者は、その時刻の調整をした映像に対して、車内のマイクをONにして、音声コメント付けをし、音声認識も活用することにより、映像＋音声コメント＋テキストを対応付けることができ。思い出が残り、さらに、音声認識で入力したテキストで検索が容易になる。
具体的には、複数のカメラ映像は前方のディスプレイに表示された映像を、運転席と助手席や、さらには後部座席のドア側に設置した棒状センサで進行方向と時間軸とを対応させて、相対的な時間軸方向の制御が可能である。撫でながら映像を時間的に制御し、適切なタイミングで音声コメント入力を行う。この時の、撫でるセンサへの特定の入力方法か、音声コマンド認識か、あるいは、ディスプレイ上のタッチパネルへの入力で音声コメントを録音する。音声認識は不完全であるが、テキスト化することで、後での編集や映像の検索が容易になる。
【００２２】
もう一つの音声コメント入力形式が、走行中の窓の外を見ながらも、社内での運転者や同乗者との会話も生の実時間映像と音声会話や発話とを対応付けながら記録可能である。また、同時に音声認識を働かせて、テキスト化もできる。音声からテキスト化の誤りはあっても、後編集で修正可能である。車内では簡便な対応が重要である。
本実施例装置のような棒状センサと音声信号入力と音声認識テキスト入力、さらには、音声コマンド認識との併用の例は斬新な組み合わせのアイデアであり、マルチモーダルな映像コンテンツDBの充実化が可能である。
【００２３】
図９は処理のフローチャートを示す。
撫でるセンサ（棒状センサ）への入力があるとデータが０以外となり、コンテンツ制作開始とみなす。
そのデータを変数Data1 に代入し、もう一度撫でるセンサ（棒状センサ）からデータを読み出しそのデータを変数Data2 に代入する。
Data1 がData2 よりも大きければ車の進行方向に向けて撫でられたことであるため、時刻変数videoTime を加算する。
逆にData1 がData2 よりも小さければ車の逆進行方向に向けて撫でられたことであるため、時刻変数videoTime を減算する。
そして時刻videoTime の映像をディスプレイへ表示する。
特定の操作をすることで音声コメントの録音開始となるため、その特定操作があるまで時刻の調整をつづけることになる。
特定の操作がくると、音声認識を開始する。ここでは音声認識をしながらその音声を録音し、音声コメント入力が終了したら、撫でるセンサ操作で得られた時刻videoTime に音声認識結果のテキストと録音した音声データをタグ付けし、コンテンツDBに保存する。
【００２４】
（カ−ナビゲーションとの連携した実施形態）
カーナビゲーションとの連携した実施の形態を図１０を参照して説明する。
本実施例では、運転者は進行方向と平行に設置されることを特徴とする棒状センサを前後方向に撫でることによって、出発地から現在地までの映像や、現在地から目的地までの映像を参照することができる。このシステムの動作原理は以下のとおりである。
経路が決定したあとは、道路上の縦横の移動は、経路に沿った前後の移動に単純化することができる。運転者がカーナビゲーション上で目的地を設定すると、カーナビゲーションは出発地から目的地までの経路を決定し、現在地をカーソルで表示する。
カーソルは棒状センサを前後方向に撫でることにより経路に沿って前後に移動させることができ、カーナビゲーションはカーソルに対応する緯度経度の位置情報をもとにコンテンツデータベース５０３を検索し、位置情報に対応するコンテンツが存在すれば再生を開始する。ゆがみ補正装置を経由するかどうかは、コンテンツが超広角映像かそうでないかにより選択される。ゆがみ補正装置を経由する場合は、時間の切り出しでなく映像の範囲を切り出す。切り出し領域は運転者の挙動センサおよびハンドルに設置された撫でるセンサにより移動可能である。運転者はカーナビゲーション上で出発地から目的地までの経路設定を行った後、棒状センサを前後に撫でることによってカーソルを経路に沿って移動することができる。
【００２５】
（過去のクルージング記録を再生する実施形態）
図３において、セレクタ４の入力を下側に設定すると、記録再生装置３からの超広角再生映像がゆがみ補正装置５に導かれる。
本実施例では、運転者は進行方向と平行に設置されることを特徴とする棒状センサを前後方向に撫でることによって、出発地から現在地までに撮りためた映像を前後して見ることができる。
また、棒状センサの前端および後端をそれぞれ現在地、出発地に対応させて、棒上をポンと触れることによって、記録映像の頭出しをする。このとき、棒上を触れることは、出発地から現在地までの割合を指示することになる。たとえば棒の中央を触れれば、出発地から現在地まで取りためた記録映像の中央を頭出しし参照することができる。中央は時間の中央であるように設計してある。距離の中央であるように設計することもできる。
または、棒状センサの前端および後端をそれぞれ現在地、目的地に対応させて設計することもできる。このとき、棒上のある点（現在地）より前端までの映像は当然記録されていないが、この実施形態によって得られる現在地から目的地までの予定経路に従い、触れた部分に対応する経度緯度に関連する情報をコンテンツデータベース５０３より検索し参照できる。
さらに、棒状センサに表示装置を設け、時刻や距離の目盛りや現在の車の位置を表示して、触れる操作をやりやすくすることができる。カーナビゲーションでコンビニエンスストアを検索したとき、棒状センサ上に目的地までのコンビニエンスストアがずらっと点灯表示されると、どのあたりでコンビニエンスストアに寄るか見当をつけることもできる。ガソリンスタンドの検索では、ガソリンの残量などと連動させることもできる。
触れることを距離や時間などの絶対指定、なでることを相対指定、に対応させ、目盛りなどを表示することにより、操作を容易にできる。
映像は超広角映像で記録されているため、画角は再生時に任意の方向に変えることができる。これは、図示しないハンドルを使って行う。超広角で撮り続けていることが特徴で、あとから任意時刻、任意方向の映像を取り出すことができる。
【００２６】
（クルージング支援車載情報システムに音声ガイドを与える実施形態）
複数の距離センサを車外の車体の前後左右の何れかの方向に向けて配置する。そして前記距離センサに対応する発音体であるスピーカを運転者の周囲に配する。
それらのスピーカから基準音を鳴らし、前記距離センサによる検出物体用の音は、距離センサで検出した物体までの距離に応じて遅延した基準音を鳴らすように構成する。
前記クルージング支援車載情報システムで、前記複数のスピーカから出る音を距離センサによる検出物体の概略方向から聞こえるように配置することによりクルージング支援をする。
【００２７】
図１１は、スピーカ９０１〜９０４の配置例を示す略図であり、図１２は、複数の距離センサ９８１〜９８６の配置例を示す略図である。図１３は、音声ガイドを付加した実施形態の回路ブロック図である。
【００２８】
距離センサ９８１から９８６の距離情報をコントロールユニット１００１に入力する。コントロールユニット１００１では基準音発生部１００３で基準音を発生し、距離情報を演算処理部１１０２で距離情報から時間情報に変換した情報を用いて遅延時間制御部１００４において基準音を遅延させる。概略音源方向演算処理部１１０５では演算処理部１１０２で処理された検出物体概略方向情報を用いて遅延時間制御部１００４で遅延された基準音を検出物体の概略方向に音源があるかのような演算処理を施し、基準音と加算器１１１１〜１１１４で加算後、増幅器１１２１〜１１２４で音を増幅し、スピーカ９９１〜９９４で音を出すように構成されている。
【００２９】
前記クルージング支援車載情報システムで、前記複数のスピーカから出る音を距離センサによる検出物体の概略方向から聞こえるように配置することによりクルージング支援は、前述の図１３の概略音源方向演算処理部１１０５での処理を実施しない（遅延時間制御部１００４の出力をそのまま出力する）ように構成すれば実現できる。
請求項１３の変形例としては、前述の図１３のスピーカの一部を振動板スピーカまたは振動板とすることができる。配置例としては座席の背もたれ部や脚部にしても良い。
【００３０】
（近接障害物に対するクルージング支援の実施形態）
クルージンクの開始終了の時点の支援も、快適なクルージンクを支援するためには必要である。図１４は、車庫入れ等、近接する障害物に対する運転を支援する実施形態を示す説明図である。車庫入れに関連して構成を動作とともに説明する。車両には、運転者に対して対称に配置された音響提示装置（スピーカ）１２０４ａおよび１２０４ｂが配置されている。
まず同時に基準音を鳴らし、距離センサ１２０３ａおよび１２０３ｂで測定した車の外壁から車外物体までの距離をもとに、遅延誇張装置１２０５（配置は車内の任意の位置）は測定した左右の距離に応じた時間の遅延を誇張し、その遅れを挟んで確認音を鳴らす。
確認音の遅延は車の外壁からの距離で決まる。
仮に左右の障害物が車の外壁から等距離にあれば、基準音が左右同時に鳴ったのち、少しの遅延時間をおいて左右の確認音が同時に鳴る。
運転席が車の右側にあるとすれば、この場合運転席から左の障害物までの距離までが実際は長いわけだが、本方式によれば車体から左右の障害物までの距離が同じであれば確認音が同時に鳴るため、車庫入れ時などに重要となる車の左右から障害物までの状態を把握することができる。この実施態様によれば、運転席が左右どちらかに配置されていても、運転者に車の中央に座してしているかのような聴覚的補助感覚を与えることができる。
図１４は、さらに運転席の左右に対象に配置された映像提示装置１２０２ａから１２０２ｄに、外壁に取り付けたカメラ１２０１ａから１２０１ｄで撮像した映像をそれぞれ提示する例である。外壁の映像が運転者の左右に対して対称に提示されるため、運転者に車の中央に座しているかのような視覚的補助感覚を与えることができる。
【産業上の利用可能性】
【００３１】
本発明に関わるクルージング支援車載情報システムは、カーナビゲーションシステムや画像機器システムの高機能と低価格化に伴って、その重要性は増すことは確実である。
各種自動車は単なる移動の手段から、運転や走行、さらにはコミュニケーションを楽しむための「移動空間」へと進化しており、そこで求められているのは、運転の安全性向上にとどまらず、人間の認知や情動や行動に基づく「楽しさ、豊かさ、快適さ、満足感」の追求である。本発明による、複数のカメラとディスプレイを活用した「クルージング（快適走行）支援」あるいは「快走支援」の開発が産業的にも重視されることは確実である。本発明による情報システムが産業的に重要な技術分野へと発展し、広く利用される可能性が極めて高い。
【図面の簡単な説明】
【００３２】
【図１】本発明によるクルージング支援車載情報システムにおけるカメラの配置の例を示す平面図および側面図である。
【図２】前記クルージング支援車載情報システムで用いる表示帯の配置例を示す。
【図３】本発明によるクルージング支援車載情報システムの概念を説明するためのブロック図である。
【図４】ゆがみ補正と画像間の座標の関連を説明するための図である。
【図５】単一の可動カメラと車速等を利用してクルージングを支援する態様の説明図である。
【図６】単一の広角カメラと車速等を利用してクルージングを支援する態様の説明図である。
【図７】撫でるセンサと関連する他の主要構成との関連を説明するためのブロック図である。
【図８】撫でるセンサを利用する場合の車内のセンサとディスプレイ等の配置を示す略図である。
【図９】処理のフローチャートを示す。
【図１０】カーナビゲーションとの連携した実施の態様を参照して説明する。
【図１１】複数の距離センサの配置例を示す略図である。
【図１２】スピーカの配置例を示す略図である。
【図１３】音声ガイドを付加したシステムの回路ブロック図である。
【図１４】車庫入れ等、近接する障害物に対する運転を支援する実施態様を示す説明図である。
【符号の説明】
【００３３】
１ 超広角カメラ
２ａ・・２ｄ（２０１） ディスプレイ
【特許請求の範囲】
【請求項１】
車外の像を獲得する複数の超広角カメラと、
各超広角カメラの出力を超広角映像のまま記録再生可能な記録再生装置と、
超広角映像の一部を切り出して実時間でゆがみを補正するゆがみ補正装置と、
車速または走行モードまたは運転者の挙動を検出する状況検出手段と、
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、
前記状況検出手段の判断出力に基づいて前記各補正装置の出力を選択的にまたは合成して前記表示装置への提示を制御する提示制御手段と、
から構成したクルージング支援車載情報システム。
【請求項２】
請求項１のクルージング支援車載情報システムであって、
２つ以上の超広角カメラの出力を前記ゆがみ補正装置により切り出して合成し、前記表示帯に提示することを特徴とするクルージング支援車載情報システム。
【請求項３】
請求項２のクルージング支援車載情報システムであって、
前記システムは、さらに車速、方向指示器、走行モード、周辺環境などを得て画角を決定する画角決定部を備え、状況によって俯角の異なる車外映像を表示帯に提示することを特徴とするクルージング支援車載情報システム。
【請求項４】
車外の像を獲得する撮像方向が可変である１以上のカメラと、
前記カメラの出力を記録再生可能な記録再生装置と、
前記カメラの撮影方向、車速または走行モードまたは運転者の挙動を検出する状況検出手段と、
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、
前記状況検出手段の判断出力に基づいて前記記録再生装置の出力を選択的にまたは合成して前記表示装置への提示を制御する提示制御手段と、
から構成したクルージング支援車載情報システム。
【請求項５】
１つまたは複数の超広角カメラと、
前記カメラの超広角映像の一部を切り出して実時間でゆがみを補正するゆがみ補正装置と、
前記カメラの撮影方向、車速または走行モードまたは運転者の挙動を検出する状況検出手段と、
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、
前記状況検出手段の判断出力に基づいて俯角の異なる車外映像を提示する提示制御手段と、
から構成したクルージング支援車載情報システム。
【請求項６】
請求項３または請求項４または請求項５のクルージング支援車載情報システムであって、
前記提示制御手段は、常に車体の一部を提示させて、同時に提示される他の車外物体との距離感覚を付与することを特徴とするクルージング支援車載情報システム。
【請求項７】
請求項３または請求項４または請求項５のクルージング支援車載情報システムであって、
前記システムは、ハンドル上の位置を運転者の視角と対応させ、運転者がふれたことと撫でたことを検出できるセンサを円状に配置したハンドルを設け、
前記状況検出手段は、さらに、前記ハンドル上の位置を運転者の視角と対応させ、運転者がふれたことと撫でたことを検出し、
記録再生装置に記録した各超広角カメラの映像を前記ゆがみ補正装置により切り出して合成する際に切り出す領域をハンドルを用いて指示することで、
記録映像の視線を変化させて前記提示手段に提示することを特徴とするクルージング支援車載情報システム。
【請求項８】
請求項３、請求項４または請求項５のクルージング支援車載情報システムであって、
前記システムは、さらに触れたことと撫でたことを検出できるセンサを棒状に配置した棒状センサを運転者の右または／かつ左側に進行方向と平行に配置して運転者の操作手段としたクルージング支援車載情報システム。
【請求項９】
請求項８記載のクルージング支援車載情報システムであって、
前記棒状センサの位置を時刻に対応させ、
記録再生装置に記録した各超広角カメラの映像を前記ゆがみ補正装置により切り出して合成する際に切り出すフレームの時間を前記棒状センサで指示するように構成したクルージング支援車載情報システム。
【請求項１０】
請求項９記載のクルージング支援車載情報システムであって、
実時間および記録された超広角映像の時刻と対応させて、音声認識装置を用いて、音声コメントと音声認識結果とを時間的に対応させて付加して記録し、音声コメント付き映像コンテンツとして記憶する手段を有し、前記音声コメント付き映像コンテンツを再生して提示する手段を有するクルージング支援車載情報システム。
【請求項１１】
請求項８記載のクルージング支援車載情報システムであって、
前記システムの前記記録再生装置またはゆがみ補正装置の出力をカーナビゲーションシステムと連動し記録可能にし、目的地までのルート設定を終えた後、前記棒状センサを前後に操作することによってカーソルを出発地から目的地までルートに沿って前後させ、カーソルの位置に関連する記録映像を提示可能としたクルージング支援車載情報システム。
【請求項１２】
請求項３または請求項４または請求項５のクルージング支援車載情報システムであって、
前記システムは、さらに、
車外の車体の前後左右の何れかの方向に向けて配置された複数の距離センサと、
前記距離センサに対応する発音体を運転者の周囲に配し、
それらの発音体から基準音を鳴らし、前記距離センサによる検出物体用の音は、距離センサで検出した物体までの距離に応じて遅延した基準音を鳴らすように構成したクルージング支援車載情報システム。
【請求項１３】
請求項１２記載のクルージング支援車載情報システムであって、
前記複数の発音体から出る音を距離センサによる検出物体の概略方向から聞こえるように構成したクルージング支援車載情報システム。
【請求項１４】
請求項１３記載のクルージング支援車載情報システムであって、音声や映像の提示装置を運転者に対して対称に置き、車体に対して対称な情報を提示するクルージング支援車載情報システム。
【請求項１】
車外の像を獲得する複数の超広角カメラと、
各超広角カメラの出力を超広角映像のまま記録再生可能な記録再生装置と、
超広角映像の一部を切り出して実時間でゆがみを補正するゆがみ補正装置と、
車速または走行モードまたは運転者の挙動を検出する状況検出手段と、
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、
前記状況検出手段の判断出力に基づいて前記各補正装置の出力を選択的にまたは合成して前記表示装置への提示を制御する提示制御手段と、
から構成したクルージング支援車載情報システム。
【請求項２】
請求項１のクルージング支援車載情報システムであって、
２つ以上の超広角カメラの出力を前記ゆがみ補正装置により切り出して合成し、前記表示帯に提示することを特徴とするクルージング支援車載情報システム。
【請求項３】
請求項２のクルージング支援車載情報システムであって、
前記システムは、さらに車速、方向指示器、走行モード、周辺環境などを得て画角を決定する画角決定部を備え、状況によって俯角の異なる車外映像を表示帯に提示することを特徴とするクルージング支援車載情報システム。
【請求項４】
車外の像を獲得する撮像方向が可変である１以上のカメラと、
前記カメラの出力を記録再生可能な記録再生装置と、
前記カメラの撮影方向、車速または走行モードまたは運転者の挙動を検出する状況検出手段と、
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、
前記状況検出手段の判断出力に基づいて前記記録再生装置の出力を選択的にまたは合成して前記表示装置への提示を制御する提示制御手段と、
から構成したクルージング支援車載情報システム。
【請求項５】
１つまたは複数の超広角カメラと、
前記カメラの超広角映像の一部を切り出して実時間でゆがみを補正するゆがみ補正装置と、
前記カメラの撮影方向、車速または走行モードまたは運転者の挙動を検出する状況検出手段と、
運転者の周囲に配した単一のもしくは同じ高さに表示領域を有する２つ以上の表示装置で構成した帯状の表示領域をもつ表示帯と、
前記状況検出手段の判断出力に基づいて俯角の異なる車外映像を提示する提示制御手段と、
から構成したクルージング支援車載情報システム。
【請求項６】
請求項３または請求項４または請求項５のクルージング支援車載情報システムであって、
前記提示制御手段は、常に車体の一部を提示させて、同時に提示される他の車外物体との距離感覚を付与することを特徴とするクルージング支援車載情報システム。
【請求項７】
請求項３または請求項４または請求項５のクルージング支援車載情報システムであって、
前記システムは、ハンドル上の位置を運転者の視角と対応させ、運転者がふれたことと撫でたことを検出できるセンサを円状に配置したハンドルを設け、
前記状況検出手段は、さらに、前記ハンドル上の位置を運転者の視角と対応させ、運転者がふれたことと撫でたことを検出し、
記録再生装置に記録した各超広角カメラの映像を前記ゆがみ補正装置により切り出して合成する際に切り出す領域をハンドルを用いて指示することで、
記録映像の視線を変化させて前記提示手段に提示することを特徴とするクルージング支援車載情報システム。
【請求項８】
請求項３、請求項４または請求項５のクルージング支援車載情報システムであって、
前記システムは、さらに触れたことと撫でたことを検出できるセンサを棒状に配置した棒状センサを運転者の右または／かつ左側に進行方向と平行に配置して運転者の操作手段としたクルージング支援車載情報システム。
【請求項９】
請求項８記載のクルージング支援車載情報システムであって、
前記棒状センサの位置を時刻に対応させ、
記録再生装置に記録した各超広角カメラの映像を前記ゆがみ補正装置により切り出して合成する際に切り出すフレームの時間を前記棒状センサで指示するように構成したクルージング支援車載情報システム。
【請求項１０】
請求項９記載のクルージング支援車載情報システムであって、
実時間および記録された超広角映像の時刻と対応させて、音声認識装置を用いて、音声コメントと音声認識結果とを時間的に対応させて付加して記録し、音声コメント付き映像コンテンツとして記憶する手段を有し、前記音声コメント付き映像コンテンツを再生して提示する手段を有するクルージング支援車載情報システム。
【請求項１１】
請求項８記載のクルージング支援車載情報システムであって、
前記システムの前記記録再生装置またはゆがみ補正装置の出力をカーナビゲーションシステムと連動し記録可能にし、目的地までのルート設定を終えた後、前記棒状センサを前後に操作することによってカーソルを出発地から目的地までルートに沿って前後させ、カーソルの位置に関連する記録映像を提示可能としたクルージング支援車載情報システム。
【請求項１２】
請求項３または請求項４または請求項５のクルージング支援車載情報システムであって、
前記システムは、さらに、
車外の車体の前後左右の何れかの方向に向けて配置された複数の距離センサと、
前記距離センサに対応する発音体を運転者の周囲に配し、
それらの発音体から基準音を鳴らし、前記距離センサによる検出物体用の音は、距離センサで検出した物体までの距離に応じて遅延した基準音を鳴らすように構成したクルージング支援車載情報システム。
【請求項１３】
請求項１２記載のクルージング支援車載情報システムであって、
前記複数の発音体から出る音を距離センサによる検出物体の概略方向から聞こえるように構成したクルージング支援車載情報システム。
【請求項１４】
請求項１３記載のクルージング支援車載情報システムであって、音声や映像の提示装置を運転者に対して対称に置き、車体に対して対称な情報を提示するクルージング支援車載情報システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００６−２４０３８３（Ｐ２００６−２４０３８３Ａ）
【公開日】平成１８年９月１４日（２００６．９．１４）
【国際特許分類】
【出願番号】特願２００５−５６２６５（Ｐ２００５−５６２６５）
【出願日】平成１７年３月１日（２００５．３．１）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【Ｆターム（参考）】
【公開日】平成１８年９月１４日（２００６．９．１４）
【国際特許分類】
【出願日】平成１７年３月１日（２００５．３．１）
【出願人】（３０４０２３３１８）国立大学法人静岡大学 (416)
【Ｆターム（参考）】
[ Back to top ]