車載ネットワーク装置
【課題】限られた車載ネットワークの通信帯域を有効に活用するとともに、安全走行時には不必要な消費電力を消費しないよう車載ネットワークに接続された機器を制御する車載ネットワーク装置を提供する。
【解決手段】安全レベル検出部142は、入力端子24〜27から入力される自車の走行状態を示す状態管理情報および運転者による運転操作を示す運転操作情報と、カメラから入力される自車の周辺状況を示す障害物検出情報とを用いて、自車の安全レベルを判断する。ネットワーク管理部141はその安全レベルに応じて、自車が危険であれば、カメラを優先して通信帯域を割り当てるとともに、車載ネットワークに接続されている各機器に割り当てる通信帯域を抑える。一方、自車が安全であれば、ネットワーク管理部141は各機器に優先的に通信帯域を割り当てる。
【解決手段】安全レベル検出部142は、入力端子24〜27から入力される自車の走行状態を示す状態管理情報および運転者による運転操作を示す運転操作情報と、カメラから入力される自車の周辺状況を示す障害物検出情報とを用いて、自車の安全レベルを判断する。ネットワーク管理部141はその安全レベルに応じて、自車が危険であれば、カメラを優先して通信帯域を割り当てるとともに、車載ネットワークに接続されている各機器に割り当てる通信帯域を抑える。一方、自車が安全であれば、ネットワーク管理部141は各機器に優先的に通信帯域を割り当てる。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、車両内において複数の映像出力機器から出力された映像データを伝送する車載ネットワークを管理する車載ネットワーク装置に関するものである。
【背景技術】
【0002】
従来、車両内で映像データを伝送する車載ネットワークとして、光ファイバケーブルを車両に敷設し、該光ファイバを介してオーディオデータ、映像データなどを伝送するものが知られている。
【0003】
このような車載ネットワークシステムとしては、例えば、フロントシート近傍に設けられたオーディオ再生装置と、フロントおよびリアシート近傍に配置されたスピーカとの間を上記光ファイバを用いて接続したものがある。この車載ネットワークシステムでは、例えば、オーディオ再生装置により再生したオーディオデータを光ファイバを介して伝送し、視聴者に視聴させていた。
【0004】
上記従来の車載ネットワークでは、伝送対象データがオーディオデータなどであり、光ファイバケーブルの伝送帯域以下の伝送レートを有するデータを伝送することが多かった。しかし、最近の車両ではリアシートにも液晶ディスプレイ(以下、リアモニタと記す)がつけられ、DVDなどの記録メディアに記録された映像およびゲームなどの複数の映像データが車載ネットワークを流れてリアモニタに伝送される。また、複数配置されたカメラからの画像を用いてユーザが車庫入れする際の補助を行う機能なども車両に搭載されつつある。このように、複数の映像データを該車載ネットワーク上に流す場合、限られたネットワーク帯域を有効に活用する手法が特許文献1および2などで提案されている。
【0005】
特許文献1には、フロントモニタ、リアモニタ、バックカメラおよびDVDプレイヤが接続された、20Mbps程度の伝送帯域を持つ車載ネットワークの管理システムが提案されている。このシステムでは、DVDプレイヤの20Mbpsの映像データを各モニタで再生中にユーザがバックギアを入れると、ネットワークを管理するマスタ装置がDVDプレイヤに対して映像データの伝送レートを10Mbpsに落とすように指示するとともに、バックカメラに対しては10Mbpsで映像データを配信するように指示を出すことで、限られた伝送帯域を活用していた。また、例えばバックカメラの映像をフロントモニタに子画面表示する場合は、使用伝送帯域を4Mbps程度に設定することで、ネットワークへの負荷を抑えていた。また、車庫入れなどの間、バックカメラの映像の遅延量を小さく抑える必要があるため、映像の遅延許容値を映像出力機器ごとに保持しておき、各映像の圧縮方式を遅延許容値に基づいて切り替えていた。すなわち、遅延許容値が大きい場合はMPEGなどの圧縮率の高い符号化方式を採用することでネットワークへの負荷を抑えることができる。
【0006】
また、特許文献2には、車両の前方、左右、後方を監視する各カメラ、およびフロントモニタが接続された車載ネットワークの管理システムが提案されている。このシステムでは、各カメラからの伝送データレートを車両の周囲の情報に応じて制御し、不必要な画像については解像度を低く抑えることで、限られた車載ネットワークの伝送帯域を有効に活用していた。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2002−135758号公報
【特許文献2】特開2005−222307号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来の車載ネットワークの管理装置は以上のように構成されているので、限られたネットワークを有効に活用するために、運転者がバックギアを入れた際などに、バックカメラなどの通信帯域を確保するために他の映像データの通信帯域を小さくする、あるいは運転者が注目する画像の解像度を大きくし、他の監視カメラ映像については解像度を低くするなどして、通信帯域を有効に活用することができたとしても、例えば、前方、後方、左右に障害物がなく、安全な状況で監視カメラの映像を限られた車載ネットワーク上を流す場合には、不必要に通信帯域をとってしまうとともに、不必要に電力を消費してしまうという課題があった。
【0009】
この発明は、上記のような課題を解決するためになされたもので、限られた車載ネットワークの通信帯域を有効に活用するとともに、安全走行時には不必要な消費電力を消費しないよう車載ネットワークに接続された機器を制御する車載ネットワーク装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
この発明に係る車載ネットワーク装置は、自車の周辺状況を示す障害物検出情報、自車の走行状態を示す状態管理情報、自車の運転者による運転操作を示す運転操作情報を用いて、自車の安全レベルを判断する安全レベル検出部と、安全レベル検出部により判断された安全レベルに応じて、車載ネットワークに接続された各機器に割り当てる通信帯域を決定するネットワーク管理部とを備えたものである。
【発明の効果】
【0011】
この発明によれば、障害物検出情報、状態管理情報および運転操作情報を用いて自車の安全レベルを判断し、その安全レベルに応じて車載ネットワークに接続された各機器に割り当てる通信帯域を決定するようにしたので、限られた車載ネットワークの通信帯域を有効に活用するとともに、安全走行時には不必要な消費電力を消費しないよう車載ネットワークに接続された機器を制御する車載ネットワーク装置を提供することができる。
【図面の簡単な説明】
【0012】
【図1】この発明の実施の形態1に係る車載ネットワーク装置の構成を示すブロック図である。
【図2】この発明の実施の形態1に係る車載ネットワーク装置におけるカーナビ1の構成を示すブロック図である。
【図3】この発明の実施の形態1に係る車載ネットワーク装置におけるネットワーク帯域管理部14の構成を示すブロック図である。
【図4】この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部の動作の一例を示すフローチャートである。
【図5】この発明の実施の形態1に係る車載ネットワーク装置におけるカメラ2の構成を示すブロック図である。
【図6】この発明の実施の形態1に係る車載ネットワーク装置におけるカメラ2の障害物検出に関する制御パラメータ設定動作を示すフローチャートである。
【図7】この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部の動作の一例を示すフローチャートである。
【図8】この発明の実施の形態1に係る車載ネットワーク装置の走行速度、障害物までの距離、障害物と自車の相対速度情報に基づく安全レベルの対比表の一例を示す説明図である。
【図9】この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部の動作の一例を示すフローチャートである。
【図10】この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部の動作の一例を示すフローチャートである。
【図11】この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部の動作の一例を示すフローチャートである。
【図12】この発明の実施の形態1に係る車載ネットワーク装置におけるネットワーク管理部のカメラの制御情報を示す説明図である。
【図13】この発明の実施の形態1に係る車載ネットワーク装置における各機器の出力データの優先度を示す説明図である。
【図14】この発明の実施の形態1に係る車載ネットワーク装置のネットワーク通信帯域管理の動作を示すフローチャートである。
【図15】この発明の実施の形態1に係る車載ネットワーク装置のネットワーク通信帯域通知の動作を示すフローチャートである。
【発明を実施するための形態】
【0013】
実施の形態1.
図1は、この発明の実施の形態1に係る車載ネットワーク装置の構成を示すブロック図である。図において、車載ネットワーク9には、カーナビゲーションシステム(以下、カーナビと記す)1、車両前方、後方、右方、左方をそれぞれ監視するカメラ2a〜2d、各リアシートの背に配置されたLCD表示装置(以下、リア表示装置と記す)3a,3b、フロントに配置されたフロントスピーカ4a,4b、リアに配置されたリアスピーカ4c,4d、FM/AMラジオの受信および記憶メディアに記憶されたオーディオデータを再生するカーオーディオ5、DVDなどの記録媒体に記憶された映像データを再生するDVDプレイヤ6、ゲーム機7、カメラ2a〜2dからの映像データを記録するHDDレコーダ8がそれぞれ接続されている。
【0014】
本実施の形態1では、図1に示すように、カメラ2a〜2d、カーオーディオ5、DVDプレイヤ6、およびゲーム機7から出力される複数のオーディオデータおよび映像データが車載ネットワーク9を流れる。なお、本実施の形態1では、車載ネットワーク9は50Mbpsの伝送帯域を持つ光ファイバケーブルを用いたものとして以下の説明を続ける。
【0015】
車載ネットワーク9に接続された各接続機器は、カーナビ1によって制御される。先ず、カーナビ1によるネットワーク管理動作の概略を説明する。車両を運転中、リア表示装置3aからDVDプレイヤ6の再生要求が入力されると、カーナビ1は、現在車載ネットワーク9を流れているデータの通信帯域を確認し、DVDプレイヤ6に割り当てる通信帯域を算出し、算出結果をDVDプレイヤ6に通知する。DVDプレイヤ6はカーナビ1からの通信帯域割り当て情報に基づき、DVDより再生されるコンテンツを圧縮し、車載ネットワーク9に出力する。リア表示装置3aは、車載ネットワーク9を流れるデータからDVDプレイヤ6より送信された圧縮映像データを抜き出し、復号部で復号して元の映像データに変換し、LCD上に表示する。リアスピーカ4c,4dも、DVDプレイヤ6より出力される圧縮オーディオデータを抜き出し、復号部で復号して元のオーディオデータを再生する。
【0016】
同様に、車両を運転中、リア表示装置3bからゲーム機7の実行要求が入力されると、カーナビ1は現在車載ネットワーク9を流れているデータの通信帯域を確認し、ゲーム機7に割り当てる通信帯域を算出し、算出結果をゲーム機7に通知する。なお、通常、シューティングゲームなどは再生映像の遅延をできるだけ小さく抑える必要がある。従って、カーナビ1は、通常走行時、ゲーム機7より再生される映像データの優先度を一番高くなるよう制御する。このような制御の詳細については後述する。
【0017】
ゲーム機7はカーナビ1からの通信帯域割り当て情報に基づき、映像データを圧縮し、車載ネットワーク9に出力する。リア表示装置3bは、車載ネットワーク9を流れるデータからゲーム機7より送信された圧縮映像データを抜き出し、復号部で復号して元の映像データに変換し、画面上に表示する。一方、オーディオデータに関しては、リアスピーカ4c,4dがすでにDVDプレイヤ6からの再生に使用されているため、オーディオデータをリア表示装置3bが受信し、復号部で復号してヘッドフォン出力端子へ出力する。
【0018】
次に、カーナビ1を説明する。図2は、この発明の実施の形態1に係る車載ネットワーク装置におけるカーナビ1の構成を示すブロック図である。図において、カーナビ1は、CPU11、PHY12、MAC13、ネットワーク帯域管理部14、表示制御部15、LCD16、カーナビ制御部17、リモコン受光部18、ROM19、RAM20、CPUバス21、入力端子22、出力端子23、入力端子24,25から構成される。
【0019】
CPU11は、カーナビ全体を制御する。PHY12は、車載ネットワーク9へ送信するデータに予め定められた変調を施し出力端子23を介して出力するとともに、入力端子22を介して入力されたデータを復調して元のデータを復元する。MAC13は、CPU11またはネットワーク管理部14から出力されるデータを予め定められたフォーマットに変換して出力パケットを生成するとともに、データの出力タイミングを管理し、カーナビ1の出力タイミングに、該出力パケットを送信するよう制御する。本実施の形態1では、MAC13はEthernet(登録商標/以下、記載を省略する)のフレームフォーマットを使用するものとする。なお、MAC13ではPHY12より出力される入力パケットを受信し、入力パケット中のMACヘッダを確認し、自分宛の入力パケットを抽出する。自分宛以外の入力パケットを入手した場合、MAC13はパケット情報を破棄する。一方、自分宛の入力パケットであった場合は、MAC13がその中身を解析し、解析結果を元にCPU11、ネットワーク帯域管理部14、表示制御部15に振り分ける。
【0020】
ネットワーク帯域管理部14は車載ネットワーク管理動作を行う。その詳細は後述するが、入力端子24から入力される自車の速度情報および入力端子25から入力される運転者情報などを受け付けて安全レベルを判断し、その安全レベルに応じて車載ネットワーク9を流れるデータ量の制御(通信帯域割り当て)、流れるデータ(パケット)の優先度の決定などを実施する。
【0021】
表示制御部15は、カーナビ制御部17より出力されるカーナビ画像、CPU11より出力されるグラフィック画像、MAC13から出力される映像データを復号し、LCD16に表示する表示画像を生成する。カーナビ制御部17は、自車の位置を算出し、地図情報を図示していない記録媒体から読み出してLCD16に表示するためのカーナビ情報を生成する。リモコン受光部18は、ユーザがリモコンを操作して入力した要求を受け付ける。
【0022】
次に、ネットワーク帯域管理部14を説明する。図3は、この発明の実施の形態1に係る車載ネットワーク装置におけるネットワーク帯域管理部14の構成を示すブロック図である。図において、ネットワーク帯域管理部14は、ネットワーク管理部141、安全レベル検出部142、ネットワーク接続機器管理部143から構成される。
【0023】
入力端子24は、自車の速度、加速度、エンジン回転数、ギアなど、自車の状態を示す状態管理情報の入力端子である。入力端子25は、アクセル、ブレーキ、ギア、方向指示器、ハンドルの操舵角など、運転者の操作状態を示す運転操作情報の入力端子である。入力端子26は、後述するカメラ2a〜2dにて撮像された画像から検出した障害物までの距離、および障害物との相対速度の障害物検出情報の入力端子である。入力端子27は、カーナビ制御部17から出力される交差点など、地図情報から抽出した道路情報の入力端子である。なお、入力端子27とカーナビ制御部17とは、CPUバス21を介して接続されている。
安全レベル検出部142は、入力端子24〜27から入力された情報を用いて、自車の安全レベルを判断する。
【0024】
入力端子28は、車載ネットワーク9に接続された各機器からの通信帯域割り当て要求情報の入力端子である。
ネットワーク管理部141は、通信帯域割り当て要求情報を用いて、車載ネットワーク9に接続された各機器に割り当てる通信帯域、優先度、映像データに施す画像圧縮方式などの情報を生成して、車載ネットワーク9の通信帯域を管理する。
出力端子29は、ネットワーク管理部141で生成された情報の出力端子である。
【0025】
ネットワーク接続機器管理部143は、車載ネットワーク9に接続されている機器情報、それら各機器のネットワーク使用帯域、優先度、画像圧縮方式などの情報を管理する。
【0026】
次に、ネットワーク帯域管理部14の各部の動作について説明する。以下では、車載ネットワーク9に接続された各機器から、複数のデータが送信されている場合を想定する。具体的には、DVDプレイヤ6からリア表示装置3aへ20Mbpsの映像データが送信され、ゲーム機7からリア表示装置3bへ20Mbpsの映像データが送信され、カーオーディオ5からフロントスピーカ4a,4bへ1Mbpsのオーディオデータが送信されている。
【0027】
先ず、安全レベル検出部142の動作について説明する。図4は、この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部142の動作の一例を示すフローチャートである。なお、図4では、ネットワーク帯域管理部14の安全レベル検出部142がギア情報を用いて安全レベルを判断する場合を例にして、車載ネットワーク装置の動作を説明する。なお、本実施の形態1では安全レベルを1〜5の5段階に分類し、安全レベル1は自車が最も安全な状況であることを示し、安全レベルの数値が高くなるにつれて自車の危険が増し、安全レベル5は自車が最も危険な状況であることを示す。
【0028】
運転が開始されると、ネットワーク帯域管理部14内の安全レベル検出部142が自車の安全レベルの監視を開始する。
【0029】
安全レベル検出部142は、現在のギア情報を入力端子24を介して取得する(ステップST1)。そして、安全レベル検出部142は、取得したギア情報を基に車の走行方向を確認し(ステップST2)、走行方向がバックであった場合には(ステップST2“Yes”)運転者からの死角が多いので安全レベルを3に設定する(ステップST3)。そして、ネットワーク管理部141が、設定された安全レベルに従ってカメラ2a〜2dの設定を行う(ステップST4)。
【0030】
具体的には、ネットワーク管理部141が、後方のカメラ2bに対しては解像度、およびフレームレートを最大に上げるとともに、画像の圧縮方式をJPEGとするよう指示を出し、カーナビ1内のLCD16に後方監視映像を表示する。ネットワーク管理部141はそれと同時に、左右のカメラ2c,2dに対しては、解像度は1/4、フレームレートは最大に上げるとともに、画像圧縮方式をJPEGとするよう指示を出す。その際、後方のカメラ2bに対しては10Mbpsの帯域を、左右のカメラ2c,2dについては各々2.5Mbps程度の通信帯域を割り当てる。ネットワーク管理部141はまた、前方のカメラ2aについては、解像度は1/4、フレームレートは1/2に落とすとともに画像圧縮方式としては、圧縮率の高いMPEG2とするよう指示を出す。その際、通信帯域として1Mbps程度の通信帯域を割り当てる。また、ネットワーク管理部141は、DVDプレイヤ6、およびゲーム機7に対してネットワーク通信帯域をそれぞれ15Mbpsに落とすように指示を出す。
【0031】
上述のように構成することで、バック走行の際に死角となる後方、および左右のカメラ2b,2c,2dの映像を低遅延で伝送してLCD16上に表示することができ、運転者は、LCD16の画面および目視を基に安全に自車をバックさせることができる。また、車載ネットワーク9を介して同乗者がリアシートで視聴しているDVDプレイヤ6、およびゲーム機7の映像データは、再生画質が若干悪くはなるが、こま落ちなどを発生させることなくカメラ2a〜2dの通信帯域を確保することができる。
【0032】
一方、ギア情報から判断して前方走行であった場合(ステップST2“No”)、安全レベル検出部142は方向指示器の情報を取得する(ステップST5)。方向指示器情報を取得した結果、右左折、あるいは進路変更を検出すれば(ステップST6“Yes”)、安全レベル検出部142が安全レベルを2に設定し(ステップST7)、その安全レベルを元にネットワーク管理部141がカメラ2a〜2dの設定を行う(ステップST8)。
【0033】
具体的には、ネットワーク管理部141が、進路をとる方向になる左右どちらか一方のカメラ2c,2d、および前方後方のカメラ2a,2bに対して、解像度を1/4、フレームレート最大に上げるとともに、画像の圧縮方式をJPEGとするよう指示を出し、カーナビ1内のLCD16に3つのカメラで撮像された情報を表示する。その際、各カメラには2.5Mbpsの通信帯域を与える。また、後述するカメラ2a〜2dにより障害物が検出された場合は、検出された障害物を撮影しているカメラからの映像を拡大し運転者に障害物があることを通知する。なお、進路をとる方向と反対のカメラについては、ネットワーク管理部141から、解像度は1/4、フレームレートは1/2に落とすとともに画像圧縮方式としては、圧縮率の高いMPEG2とするよう指示を出す。その際、通信帯域として1Mbps程度の帯域を割り当てる。この場合は、車載ネットワーク9の使用帯域は50Mbpsを超えないので、DVDプレイヤ6、ゲーム機7に対しては特に指示を出さない。
【0034】
一方、進路変更でなかった場合(ステップST6“No”)、安全レベル検出部142は速度情報を取得し(ステップST9)、取得した速度情報を元に、自車が減速中かを確認する(ステップST10)。
【0035】
減速中であった場合(ステップST10“Yes”)、安全レベル検出部142は安全レベルを2に設定する(ステップST11)。その安全レベルを受けてネットワーク管理部141が前方および後方のカメラ2a,2bに対して、解像度を1/4、フレームレート最大に上げるとともに、画像の圧縮方式をMPEGとするよう指示を出す。
本ケースの場合は、通常走行時の減速であるため、追突が発生する可能性がある。従って、本実施の形態1では、自車の追突を防止するため前方のカメラ2aの映像をLCD16上に表示する。同様に他車からの追突を確認するため後方のカメラ2bの映像もLCD16上に表示する。これにより、自車が追突の可能性がある場合は、運転者に音声などでその旨通知することができる。また、後方からの追突の可能性がある場合は、ハザードランプの点灯、クラクションなどによる警告を行うことができる。なお、画像圧縮方式として本ケースではMPEGを使用する。これは、自車が減速中で、運転者が減速を意識しているためLCD16上には遅延量の小さな画像を表示する必要がないためである。本ケースは、運転者が少なくとも自車の運転に注力しているため前方監視、後方確認をLCD16の表示画像を用いて実施することはないためである。
【0036】
減速中ではなかった場合(ステップST10“No”)、安全レベル検出部142は通常の走行状態と判断し、安全レベルを1に設定する(ステップST13)する。その安全レベルを受けてネットワーク管理部141が、前方および後方のカメラ2a,2bに対して、解像度1/4、フレームレート1/2とし、画像圧縮方式はMPEGを採用するように指示を出す。なお、左右のカメラ2c,2dについては、通常走行時は、本実施の形態1では撮像を休止させるものとして説明を続ける。
【0037】
次に、安全レベル検出部142が障害物検出情報を用いて安全レベルを判断する場合の動作を説明する。安全レベル検出部142の動作を説明するに先立ち、先ずカメラ2a〜2dによる障害物検出の動作を説明する。
【0038】
図5は、この発明の実施の形態1に係る車載ネットワーク装置におけるカメラ2の構成を示すブロック図である。なお、図1に示すカメラ2a〜2dは、特に必要のない限りカメラ2と表記する。図において、カメラ2は、レンズ201、画像データを出力する撮像センサ202、画像データにノイズリダクション処理を施すとともに、画面の平均輝度などを計測する画像処理部203、画像処理部203の情報に基づき撮像センサ202を制御するカメラ制御部204、画像処理部203の画像データに高能率符号化処理(画像圧縮処理)を施す画像圧縮部205、画像処理部203の画像データから障害物を検出する障害物検出部206、車載ネットワーク9に接続するネットワークインタフェース部207を備える。
【0039】
次に、カメラ2の動作を説明する。レンズ201を介して撮像センサ202面に結像した画像は撮像センサ202で画像データに変換される。この画像データは撮像センサ202から出力され、画像処理部203に入力される。
【0040】
画像処理部203では、入力された画像にノイズリダクションなどの画像処理を実施する。その際、画像処理部203はネットワークインタフェース部207を介して入力される解像度情報を元に、ノイズリダクションを実施する際のタップ係数を選択する。一般に、撮像センサは解像度を切り替えることができない。よって、本実施の形態1では、後段に設けられた画像処理部203で解像度変換を実施する。
【0041】
画像処理部203はまた、撮像センサ202の露光調整、ホワイトバランス調整を行うために、画面全体の輝度情報の平均値、指定されたエリアの輝度信号の平均値の算出、R,G,B信号の各々の平均値レベルなども算出する。画像処理部203で算出された上記画面全体の平均輝度値、指定されたエリアの平均輝度値、R,G,B信号の平均レベルなどはカメラ制御部204に入力される。
【0042】
カメラ制御部204では、入力された上記画面全体の平均輝度値、指定されたエリアの平均輝度値を元に露光時間を算出する。特に、走行中の車からの撮像は、例えば、トンネルから出る場合は、撮像画像の中央部分(トンネルの出口)は平均輝度が高い一方で、画面の周囲は平均輝度が低い。本実施の形態1のカメラ制御部204では、画面全体の平均輝度に加え、画面中央、画面の周囲など予めいくつかの輝度信号の平均値算出エリアを持たせておき、それらの情報を元に、露光時間を制御するよう構成する。これにより、トンネルの出口付近にある前方の車両が白とびで消えてしまうなどを防ぐ。また、カメラ制御部204は画像処理部203より出力されるR,G,B信号の平均レベル情報に基づきホワイトバランス調整も実施する。
【0043】
また、カメラ制御部204はネットワークインタフェース部207を介して入力されるフレームレート情報を元に撮像センサ202でのフレームレートを制御する。本実施の形態1では、安全レベルが低い場合(自車の状況が安全と判断された場合)にカメラ2での消費電力を抑えるために、ネットワーク管理部141の制御によって撮像画像のフレームレートを落とすとともに、解像度についても低く抑える(詳細は後述する)。これにより、画像圧縮部205での演算量を削減するとともに、障害物検出部206での演算処理量を低減させることで、低消費電力化が可能となる。
【0044】
画像処理部203でノイズ除去された画像データは画像圧縮部205に入力される。画像圧縮部205では、ネットワークインタフェース部207を介して入力される解像度、フレームレート、画像圧縮方式、および通信帯域割り当ての情報に基づき撮像画像に画像圧縮を施す。
【0045】
また、障害物検出部206では、入力された画像データを元に障害物を検出する。その際、カーナビ1のネットワーク帯域管理部14から出力される自車の安全レベルに応じて、障害物検出アルゴリズムを切り替える。
具体的には、安全レベルが低い場合には、障害物検出部206は画像データから輪郭を抽出し、その輪郭情報を元に障害物の有無、障害物までの距離をおおよそ検出する。一方、安全レベルが高い場合(自車が危険な状態に近い場合)には、障害物検出部206は物体の形状などから人、車、バイクなどの識別まで実施するとともに物体までの距離も精度良く検出する。これにより、自車が安全な場合は演算量を抑えることでカメラ2の消費電力を抑えることができる。
【0046】
画像圧縮部205で圧縮された映像データはネットワークインタフェース部207を介してHDDレコーダ8に入力される。HDDレコーダ8では、カメラ2a〜2dよりそれぞれ出力される映像データを記憶する。一方、障害物検出部206で検出された障害物検出結果はネットワークインタフェース部207を介して、カーナビ1内のネットワーク帯域管理部14に入力される。
【0047】
図6は、この発明の実施の形態1に係る車載ネットワーク装置におけるカメラ2の障害物検出に関する制御パラメータ設定動作を示すフローチャートである。
カメラ2による撮像が開始されると、ネットワーク管理部141は安全レベル検出部142から出力される自車の現在の安全レベル、および自車の操作状況情報を取得し(ステップST21)、その情報に基づきカメラ2の撮像画像の解像度、およびフレームレートを設定する(ステップST22)。
【0048】
ネットワーク管理部141は続いて、ネットワーク接続機器管理部143に対して現在の車載ネットワーク9の帯域使用状況を確認し、カメラ2を含む各機器に割り当てる通信帯域、および優先度を設定する(ステップST23)。通信帯域の設定が完了すると、ネットワーク管理部141はネットワーク接続機器管理部143に設定した情報に従って、自車の操作状況に基づく画像圧縮アルゴリズム(ステップST24)、および障害物検出アルゴリズム(ステップST25)を決定し、その結果をカメラ2へ通知する。
このとき、DVDプレイヤ6やゲーム機7などに割り当てていた通信帯域を削減する必要があれば、ネットワーク管理部141はその旨をDVDプレイヤ6、およびゲーム機7に通知する。
【0049】
他方、ネットワーク帯域管理部14から解像度、フレームレート、画像圧縮アルゴリズム、障害物検出アルゴリズムが通知されると、カメラ2は、それらの情報を元に画像圧縮アルゴリズムおよび障害物検出アルゴリズムを切り替えるなどして、障害物検出を開始する。そして、ネットワーク帯域管理部14は、カメラ2から出力される障害物検出情報に基づいて安全レベルを判断することになる。
【0050】
図7は、この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部142の動作の一例を示すフローチャートである。なお、図7では、安全レベル検出部142が障害物検出情報を用いて安全レベルを判断する場合を例に用いる。
カメラ2は、ネットワーク管理部141より解像度、フレームレート、画像圧縮アルゴリズム、および障害物検出アルゴリズムの情報が通知されると、その情報を元に障害物の検出を開始する(ステップST31)。撮像画像内に障害物が検出されなかった場合は(ステップST32“No”)、カメラ2はその旨を示す障害物検出情報を、ネットワークインタフェース部207を介してカーナビ1内のネットワーク帯域管理部14に通知する。
【0051】
ネットワーク帯域管理部14の安全レベル検出部142は、カメラ2から障害物検出情報を受け取ると、危険がないと判断して安全レベルを1に設定する(ステップST33)。そして安全レベル検出部142が安全レベルの検出結果をネットワーク管理部141に通知し、ネットワーク管理部141が車載ネットワーク9に接続されている機器に対して同報通信する(ステップST34)。なお、特に前回の安全レベル検出結果と比較し変化がなかった場合は、同報通信により安全レベルを通知する必要はない。
【0052】
一方、障害物がある場合は(ステップST32“Yes”)、ネットワーク帯域管理部14はカメラ2よりネットワークインタフェース部207を介して出力される障害物検出情報に含まれる障害物までの距離、および相対速度の推定結果を確認する(ステップST35)。確認の結果、障害物までの距離、および相対速度とも安全と判断した場合は(ステップST36“Yes”)、ステップST33の処理へ進む。
【0053】
一方、障害物までの距離、および相対速度とも十分に安全ではないと判断した場合は(ステップST36“No”)、運転者の動作、および自車の速度情報を確認する(ステップST37)。運転者が障害物との距離および相対速度を把握してアクセルを開放しエンジンブレーキで、またはフットブレーキを踏んで減速動作に入っており、減速の度合いが自車走行速度から判断して追突の可能性のないことを安全レベル検出部142が判断した場合は(ステップST38“Yes”)は、ステップST33の処理へ進む。
【0054】
一方、障害物までの距離、障害物との相対速度、運転者の運転動作、自車の速度情報から追突の可能性があると判断した場合は(ステップST38“No”)、安全レベル検出部142が自車の走行速度、障害物までの距離、および障害物と自車との相対速度に基づき安全レベルを決定する(ステップST39)。
【0055】
本実施の形態1では、予め自車の走行速度、障害物までの距離、および障害物と自車の相対速度情報に基づき、安全レベルを定めておく。図8は、この発明の実施の形態1に係る車載ネットワーク装置の走行速度、障害物までの距離、障害物と自車の相対速度情報に基づく安全レベルの対比表の一例を示す説明図である。図8に示すようなテーブルデータを安全レベル検出部142が備える。図において、例えば、自車速度が95km、障害物までの距離が25m、かつ障害物との相対速度が22kmの場合は、安全レベル検出部142は安全レベルを5と判断する。そして、安全レベル検出部142は安全レベルの検出結果をネットワーク管理部141に通知する。
【0056】
なお、本実施の形態1では、安全レベル検出部142が安全レベルを決定する際、図8に示すような予め定められたテーブルデータを元に決定する場合について説明したがこれに限るものではなく、例えば、運転者の熟練度に応じて安全レベルの閾値を学習し、その学習結果に基づいて安全レベルを決定してもよい。
【0057】
具体的には、安全レベル検出部142が各運転者によって異なる通常走行時の車間距離のとり方やブレーキをかけるタイミングなど、運転者の普段の運転を学習する。安全レベル検出部142はその学習結果に基づき、車間距離をあまりとらないような運転者については危険と判断する安全レベルを通常設定の場合より上げる。これは、本人にとっては通常の車間距離で運転しているにもかかわらず、安全レベルが高く表示されるため、本当に危険と通知すべき事態において運転者がその警告の判断を間違える可能性があるためである。
【0058】
また、ブレーキをかけるタイミングについても、エンジンブレーキを使用して十分に減速した後にフットブレーキでブレーキをかける人や、減速をほとんどフットブレーキに頼る人など運転者によってまちまちである。赤信号で停車するときにフットブレーキで減速する場合は、前方車両との車間距離が一次的に詰まる場合があるが、それは、本人が障害物を認識して運転している場合が多い。従って、フットブレーキを主に利用して自車を減速させる運転者については、安全レベル検出部142が安全レベルを検出する際の車間距離や相対速度情報の安全レベルを判断する閾値を上げるよう制御する。これにより、本人にとっては通常の運転をしているにもかかわらず、安全レベルが高く表示されることがなくなり、本当に危険と通知すべき事態において運転者がその警告の判断を間違えることがない。
【0059】
また、高齢者が運転する場合は、若い運転者と比較して、危険に対する判断能力が低下している。従って、安全レベル検出部142は、安全レベルを判断する際、若い運転者よりも早めに危険を通知する必要がある。従って、車間距離、相対速度情報などを用いて安全レベル検出部142が安全レベルを判断する際の閾値を下げるよう制御することで、危険を早めに通知することができる。
【0060】
また、安全レベル検出部142が学習した通常の運転者とは異なる運転者が運転する場合がある。その場合、安全レベル検出部142はこれまで学習してきた運転者の癖(車間距離のとり方、ブレーキをかけるタイミングなど)と異なるか否か判断し、異なれば予め定められたデフォルトの安全レベル判断用の通常設定テーブルに差し替えて運転支援制御を実施するように構成する。これにより、通常と異なる運転者が、運転を行う場合でも、適切な安全レベルの検出を行うことができる。
【0061】
また、初心者についても同様に安全レベルの判断の閾値またはテーブルデータを低く設定するように構成すれば上記同様の効果を奏することは言うまでもない。さらに、初心者や高齢者については、対応する閾値またはテーブルデータを運転者に関連付けて予め登録できるように構成しておいてもよいことは言うまでもない。
【0062】
次に、運転者が自車操作している場合に、安全レベル検出部142がその自車操作の情報に基づいて安全レベルを決定する動作について説明する。この場合、安全レベル検出部142は、入力端子25を介して入力される自車のアクセル情報、ブレーキ情報、方向指示器操作情報に基づき自車の安全レベルを判断する。図9は、この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部142の動作の一例を示すフローチャートである。なお、図9では、安全レベル検出部142が自車操作の情報としてブレーキ、操舵角などの運転操作情報を用い、安全レベルを判断する場合を例に説明する。
【0063】
運転が開始されると安全レベル検出部142は入力端子25を介して入力されるブレーキ情報を取得する(ステップST51)。そして、入力端子24を介して入力される自車の速度情報、およびブレーキ情報(具体的にはフットブレーキの踏み込み情報)から運転者が急ブレーキをかけたか否か判断する(ステップST52)。具体的には、エンジンブレーキなどで自車速度を減速することなく、ブレーキを予め定められた量以上、踏み込んだ場合を急ブレーキと判断する。急ブレーキがかけられたと判断すると(ステップST52“Yes”)、安全レベル検出部142は自車の安全レベルを5に設定し(ステップST53)、ネットワーク管理部141に安全レベルを通知する(ステップST54)。
【0064】
一般的に、急ブレーキは、運転者が前方の障害物を認識し、衝突を回避する際にかけられる。従って、運転者は自車が危険な状況にあることを把握している。よって、本実施の形態1では、運転者が安全に止まることができない可能性があると判断してブレーキをかけた場合は、安全レベル検出部142が安全レベルを一番危険な状況である5であると判断する。そして、ネットワーク管理部141が前方および後方のカメラ2a,2bについては解像度最大、フレームレート最大で、低遅延な画像圧縮アルゴリズム(本実施の形態1では、フレーム内で高能率符号化を施すJPEGを使用するものとする)を指示するとともに、HDDレコーダ8に対してはカメラ2a,2bより出力される映像データを優先的に記憶するよう指示を出す。これにより、事故が発生した場合の状況などがHDDレコーダ8に記憶され、事故原因の特定などが効率よくできる。
【0065】
また、安全レベルが高ければ、ネットワーク管理部141がカーナビ1内のLCD16に前方のカメラ2aで撮像した画像と、後方のカメラ2bで撮像した画像を表示するよう指示を出すとともに、リア表示装置3a、およびリア表示装置3bに対してもカメラ2aの画像を表示するよう指示を出す。これにより、後部座席に座っている同乗者に対しても自車の危険状態を通知することができる。
【0066】
また、ネットワーク管理部141は、急ブレーキがかけられたことを検出すると、車載ネットワーク9に接続されている各機器に対して、カメラ2からの映像データ以外のデータの出力を一時中断するよう同報通信により通知する。これは、自車が障害物などに追突する可能性がある危険な状況にあるため、カメラ2の映像データのHDDレコーダ8への記録、LCD16およびリア表示装置3a,3bへの画面表示を優先するため実施する。
【0067】
一方、急ブレーキを踏んでいないと判断した場合は(ステップST52“No”)、安全レベル検出部142は、入力端子24,25より入力される自車の速度、操舵角および方向指示器の情報を確認して(ステップST55)、これらの情報から運転者が急ハンドルを切っていないかを判断する。具体的には、安全レベル検出部142が自車の速度情報とハンドルの操舵角、操舵角速度情報とに基づき急ハンドルを判断するが、方向指示が出され、運転者が曲がることを意識している場合は急ハンドルと判断する閾値を上げるように制御する。これにより、交差点などを左折する場合など必要のない場所での急ハンドル検出を防ぐことができる。ただし、通常走行では、急ハンドルと判断する条件であっても、方向指示が出ていた場合は、急ハンドルと判断しない場合がある。
【0068】
安全レベル検出部142は、急ハンドルを切っていないと判断すると(ステップST56“No”)、安全レベルを1に設定し(ステップST57)、ネットワーク管理部141に通知する(ステップST54)。
一方、急ハンドルを切ったと判断すると(ステップST56“Yes”)、安全レベル検出部142は安全レベルを4と判断し(ステップST58)、ネットワーク管理部141に通知する(ステップST54)。
【0069】
ステップST54にて安全レベル5が通知されると、ネットワーク管理部141はカメラ2a〜2dに対して解像度、およびフレームレートを最大とし、低遅延な画像圧縮アルゴリズム(急ブレーキのときと同様、フレーム内で高能率符号化を施すJPEGを使用するものとする)を採用するとともに、画像データレート10Mbps程度になるよう指示を出す。
【0070】
上記指示が完了すると、続いてネットワーク管理部141は、HDDレコーダ8に対して、カメラ2a〜2dより出力される映像データを優先的に記憶するよう指示を出す。これにより、事故が発生した場合の状況の映像がHDDレコーダ8に記憶され、事故原因の特定などが効率よくできる。また、急ブレーキをかけたと判断した場合と同様に、ネットワーク管理部141は車載ネットワーク9に接続されている各機器に対して、カメラ2からの映像データ以外のデータの出力を一時中断するよう同報通信により通知する。これは、自車が障害物などに追突する可能性がある危険な状況にあるため、映像データのHDDレコーダ8への記録を優先するために実施する。
【0071】
次に、安全レベル検出部142が、カーナビ制御部17より出力される道路情報に基づいて安全レベルを決定する動作について説明する。図10は、この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部142の動作の一例を示すフローチャートである。
【0072】
安全レベル検出部142は、運転が開始されると、カーナビ制御部17から出力される交差点情報、見通しの悪いカーブの情報を入力端子27を介して取得する(ステップST61)。
【0073】
安全レベル検出部142は、その情報を用いて前方に交差点があるか確認し(ステップST62)、交差点があった場合は(ステップST62“Yes”)現在の自車の安全レベルに1を加算する(ステップST63)。1を加算した安全レベルが、前方の交差点を通過するまでの暫定安全レベルとなる。安全レベル検出部142は暫定安全レベルをネットワーク管理部141へ通知し、ネットワーク管理部141からカメラ2に対して暫定安全レベルに基づいた制御情報が出力される(ステップST64)。
【0074】
一方、前方に交差点がないと判断した場合(ステップST62“No”)、安全レベル検出部142はさらに、前方に見通しの悪いカーブがあるか道路情報を元に確認する(ステップST65)。見通しの悪いカーブがないと判断した場合(ステップST65“No”)、安全レベル検出部142は現在の安全レベルをそのまま維持する(ステップST66)。
【0075】
一方、見通しの悪いカーブがあった場合(ステップST65“Yes”)、安全レベル検出部142は現在の自車の安全レベルに1を加算する(ステップST67)。1を加算した安全レベルが、前方の見通しの悪いカーブを通過するまでの暫定安全レベルとなる。安全レベル検出部142は暫定安全レベルをネットワーク管理部141へ通知し、ネットワーク管理部141からカメラ2に対して暫定安全レベルに基づいた制御情報が出力される(ステップST68)。
【0076】
そして、ステップST69にて、安全レベル検出部142はネットワーク管理部141へ安全レベルを通知する。なお、ネットワーク管理部141は、安全レベル検出部142から出力される安全レベルに応じて、車載ネットワーク9に接続された各機器に通信帯域、優先度などの情報を通知する。
【0077】
上述したように、カーナビ1のカーナビ制御部17から出力される道路情報に基づいて安全レベルを決定してカメラ2を制御することにより、通常、低消費電力モードで動作しているカメラ2の障害物検出精度が自動的に向上し、障害物を検出しやすくなる。また、上述の動作により、通常走行時については、不必要にカメラ2の解像度および障害物検出アルゴリズムを高度にする必要がなくなり、低消費電力化が実現できるとともに、交差点など、事故の多発する場所では自動的に自車の安全状態の監視レベルを向上させることができる。
【0078】
次に、上述のギア情報、ブレーキ情報、障害物検出情報などの情報を用いて、安全レベル検出部142が安全レベルを総合的に判断する動作を説明する。図11は、この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部142の動作の一例を示すフローチャートである。安全レベルの検出動作が開始されると、安全レベル検出部142は図4、図7、図9を並行して実施し、図11に示すフローチャートに従って安全レベルを判断する。
【0079】
ステップST71において、安全レベル検出部142は図4のフローチャートに示す動作により決定した、運転操作に基づく安全レベルの検出結果“H”を取得する。
続くステップST72において、安全レベル検出部142は図7に示すフローチャートに示す動作により決定した、カメラ2の障害物検出に基づく安全レベルの検出結果“C”を取得する。
【0080】
そして、安全レベル検出部142は、取得した安全レベル“H”と“C”とを比較する(ステップST73)。比較の結果、“H”>“C”であれば変数“A”に“H”を代入し(ステップST74)、“H”≦“C”であれば変数“A”に“C”を代入する(ステップST75)。
【0081】
続くステップST76において、安全レベル検出部142は図9のフローチャートに示す動作により決定した、急ブレーキ、急ハンドル検出に基づく安全レベルの検出結果“B”を取得する。そして、安全レベル検出部142は、取得した安全レベル“B”と変数“A”とを比較する(ステップST77)。比較の結果、“A”>“B”であれば変数“AN”に“A”を代入し(ステップST78)、“A”≦“B”であれば変数“AN”に“B”を代入する(ステップST79)。
【0082】
続くステップST89において、安全レベル検出部142はカーナビ制御部17の道路情報に基づき、前方に交差点または見通しの悪いカーブなどが検出された場合に安全レベルを“AN+1”とし(ステップST81)、検出されなかった場合は安全レベルを“AN”とする(ステップST82)。
【0083】
上述のように構成することにより、異なる複数の情報に基づいて総合的に判断した安全レベルを効果的に活用できる。また、1つの検出手段でも安全レベルの検出を行うことはできるが、ギア情報などの状態管理情報、方向指示器情報などの運転操作情報、カメラ2による障害物検出情報、急ブレーキ、急ハンドルなどの運転者が危険を察知して行った運転操作の行為、カーナビ制御部17による道路情報それぞれから決定された安全レベルを用いて総合的な安全レベルを判断することにより、自車の安全レベルを確実に判断することができ、運転者は自車をより安全に運転することができる。
【0084】
次に、ネットワーク管理部141の動作について説明する。ネットワーク管理部141は、安全レベル検出部142により出力される上述の安全レベル情報およびカメラ2の制御情報に基づき、車載ネットワーク9に接続されている各機器に与える通信帯域および優先度を通知する。ネットワーク管理部141は、その際、画像圧縮方式などの情報についても各機器に通知する。
【0085】
図12は、この発明の実施の形態1に係る車載ネットワーク装置におけるネットワーク管理部141のカメラ2の制御情報を示す説明図である。ネットワーク接続機器管理部143は、安全レベルに応じて、カメラ2a〜2dそれぞれへ与える制御情報を図12に示すようなテーブルデータとして予め保持している。ネットワーク管理部141は、このテーブルデータを参照して、安全レベル検出部142が出力する安全レベルに応じた制御情報を各カメラ2a〜2dへ通知する。
【0086】
図において、例えば安全レベル1では自車の周囲に危険物がないため、ネットワーク管理部141はカメラ2に対してフレームレートを10フレーム/s、解像度を1/4、画像圧縮方式をMPEGとする情報を通知し、画像の圧縮率を上げるように指示する。また、ネットワーク管理部141は、カメラ2に対し、画像圧縮による画像の遅延量を300ms程度、ネットワークの通信帯域を1Mbps程度、優先度を低く制御する。なお、各機器の優先度設定の詳細は後述する。
また、例えば安全レベル5の場合には、ネットワーク管理部141はテーブルデータに従って、フレームレートを30フレーム/s、解像度を1、画像圧縮方式を遅延量の少ないJPEG、遅延量を30ms程度、通信帯域を10Mbps、優先度を最優先に制御する。
【0087】
なお、カメラ2a〜2dは安全レベルに基づき一律に制御する必要はなく、例えば、運転者が急ブレーキを踏んで安全レベルが5になった場合は、前方および後方のカメラ2a,2bを安全レベル5に応じて制御すればよい。他方、左右のカメラ2c,2dは安全を確認する上では例えば安全レベル2または3に制御して撮像を行わせればよい。この制御により、不必要にカメラ2に通信帯域を与えることなく、限られた車載ネットワーク9の通信帯域を有効に活用することができる。
【0088】
また、ネットワーク管理部141は、メインとなるカメラ2の制御設定以外にも、サブおよび補助となるカメラ2の制御用のテーブルデータを保持して、安全レベルを決定した際の自車の状況に応じてカメラ2a〜2dをメイン、サブ、補助に分類し、その設定をカメラ2a〜2dそれぞれに通知してもよい。なお、メイン、サブ、補助の切り替えは、障害物を検出したカメラ2の取り付け位置(前方、後方、左右)、運転者の運転操作(右左折、進路変更、バック走行など)、運転者の運転行為(急ブレーキ、急ハンドル)などに基づく。切り替えについては、ネットワーク管理部141が切り替えの条件に応じたテーブルデータを予め保持し、そのテーブルを参照してカメラ2a〜2dのうちのどのカメラをメインに、またはサブ、補助に分類するか決定すればよい。
【0089】
次に、ネットワーク管理部141による各機器の優先度の設定動作を説明する。図13は、この発明の実施の形態1に係る車載ネットワーク装置における各機器の出力データの優先度を示す説明図である。ネットワーク接続機器管理部143は、安全レベルに応じて、車載ネットワーク9に接続されている各機器の優先順位の情報を図13に示すようなテーブルデータとして予め保持している。ネットワーク管理部141は、このテーブルデータを参照して、安全レベル検出部142が出力する安全レベルに応じた優先度情報をカーナビ1、カーオーディオ5、DVDプレイヤ6、ゲーム機7、カメラ2a〜2dへ通知する。
【0090】
図において、優先度レベルは1〜8の8段階を有しており、優先度1が最も優先度が高く、優先度8が最も優先度が低い。本実施の形態1では、安全レベル4または5の場合、カーオーディオ5、DVDプレイヤ6、ゲーム機7から出力されるデータの優先度が8に設定されている。これは、優先度が低く、ネットワークの通信帯域が足りない場合にはこれらの機器のデータを落としてもよいことを意味している。これにより、例えば前方の車両が急ブレーキを踏んだことに対応して自車の運転者が急ブレーキを踏んだ場合など、急に安全レベルが変化した場合においても、カメラ2より出力される映像データに優先的に通信帯域が割り当てられる。その結果、運転者および同乗者に対して、危険を通知できるとともに、その状況をHDDレコーダ8に記憶させることができる。
【0091】
なお、安全レベル検出部142が安全レベル4または5を検出した場合は、車載ネットワーク9に接続されている各機器に対して、ネットワーク管理部141は先ず同報通信により安全レベルを通知する。各機器は、安全レベル4または5を通知されると、優先度が7または8に設定される機器は一時、映像データの配信を中止して、ネットワーク管理部141より通信帯域が割り当てられるとその通信帯域で映像データの送信を再開する。
【0092】
自車が安全と判断された場合は、カメラ2から出力される映像データの優先順位が最も低く設定される。一方、車載ネットワーク9に接続された各機器から出力されるネットワーク制御データの優先順位が最も高く設定される。
ネットワーク制御データとは、具体的には、ネットワーク管理部141から各機器への通信帯域割り当て結果および優先度などの通知情報、リモコン受光部18から出力されるユーザが入力した各機器制御の制御コマンド情報、DVDプレイヤ6で映画コンテンツなどを再生する際の著作権管理のための制御コマンド情報、ならびにゲーム機7の操作コマンド情報などである。これらの情報信号は、ネットワークを管理する上で重要であり、また、割り当てる通信帯域も少ないので、優先順位が最も高く設定される。
【0093】
一方、車載ネットワーク9に接続された各機器について、安全レベルが1の場合、ネットワーク管理部141はゲーム機7を優先度2(2番目に高い優先順位)に設定する。これは、例えば、シューティングゲームなどは俊敏な応答性能が要求されるため、リア表示装置3a,3bなどにゲーム画面を表示する場合に遅延労を小さく抑える必要があるためである。よって、ネットワーク管理部141は、安全レベルが低い場合(図13では安全レベル3まで)についてゲーム機7から出力される映像データの優先度を上記ネットワーク制御データの次に高く設定する。その際、ネットワーク管理部141は、映像データの画像符号化方式についても、処理遅延の小さなJPEGに切り替えるようゲーム機7へ指示する。
【0094】
同様に、安全レベル1の場合、カーオーディオ5から出力されるオーディオデータの優先度を3、DVDプレイヤ6から出力される映像データの優先度を4に設定する。カーオーディオ5はCDからのオーディオ再生に加え、ラジオ受信などを実施しており、運転者が必要とする渋滞情報や天気情報などを受信する場合があるため、図13では優先度を応答性能が要求されるゲーム機7の次に高く設定している。
【0095】
本実施の形態1では、各機器に対する優先度の割り当てを、安全レベル1の場合の割り当てを基準にして、その他の安全レベルに対応した優先度を割り当てている。安全レベルが1から2に上がると、ネットワーク管理部141はテーブルデータに従って、カメラ2より出力される映像データの優先度を4に上げるとともに、データの遅延量などをあまり気にしなくてよいDVDプレイヤ6からの映像データの優先度を5に下げる。その際、カメラ2から出力される映像データの使用帯域が増えるので、ネットワーク管理部141では各機器の使用帯域に基づきネットワークの通信帯域の再割り当てを実施する。ただし、安全レベル2の場合は自車の危険度はあまり高くないので、ネットワーク管理部141は、各機器が再生している映像データまたはオーディオデータが途切れないように通信帯域の再設定を実施する。
【0096】
安全レベル3は、自車の周囲に事故を起こす可能性がある障害物などがあると判断されている状況である。そのため、ネットワーク管理部141は、カメラ2の映像データの優先度を3に上げるとともに、カーオーディオ5のオーディオデータの優先度を4に、DVDプレイヤ6の映像データの優先度を5に下げる。この場合、自車が事故を起こす可能性があるほど安全レベルが高いわけではないので、ネットワーク管理部141は安全レベルが2の場合と同様に、各機器が再生している映像データまたはオーディオデータが途切れないように通信帯域の再設定を実施する。
【0097】
安全レベル4は、自車が事故を起こす可能性が高いと判断されている状況である。そのため、ネットワーク管理部141は、先ず同報通信にて各機器に安全レベルが4になったことを通知する。本通知を受けると、カメラ2を除く各機器は、優先度が8となったと判断して映像データおよびオーディオデータの送信を一時中断し、カメラ2に対して、ネットワークの通信帯域を開放する。なお、映像データ送信の再開は、上述したように、ネットワーク管理部141から出力される通信帯域割り当て情報に基づく。
一方、各カメラ2a〜2dは、ネットワーク管理部141から出力される制御情報に基づき、メイン、サブまたは補助の設定に切り替えて、動作する。
【0098】
さらに、安全レベル5になると、ネットワーク管理部141は、安全レベル4の場合と同様に、車載ネットワーク9に接続された各機器に対して同報通信で安全レベルを通知する。カメラ2を除く各機器は、この通知を受けると、安全レベルが4の場合と同様に映像データおよびオーディオデータの送信を一時中断し、ネットワークの通信帯域を開放する。カメラ2a〜2dは、ネットワーク管理部141から出力される制御情報に基づき、メイン、サブまたは補助の設定に切り替えて、動作する。
【0099】
なお、ネットワーク管理部141が安全レベルに応じて各機器に出力する設定の情報は、ネットワーク接続機器管理部143にも通知される。そして、各機器の動作に関する情は、ネットワーク接続機器管理部143によって管理される。
【0100】
次に、ネットワーク管理部141でのネットワーク通信帯域の管理動作を説明する。図14は、この発明の実施の形態1に係る車載ネットワーク装置のネットワーク通信帯域管理の動作を示すフローチャートである。図において、ネットワーク管理部141は、先ず、車載ネットワーク9に接続された各機器からの通信帯域割り当て要求があるか確認する(ステップST91)。通信帯域割り当て要求とは、例えば同乗者がリアシートで新たにDVDを鑑賞するためにDVDプレイヤ6を操作して再生を開始した場合に、DVDプレイヤ6が出力する通信帯域割り当て要求情報等である。
【0101】
通信帯域割り当て要求情報がネットワーク管理部141に入力された場合(ステップST91“Yes”)、ネットワーク管理部141はネットワーク接続機器管理部143を参照して、現在使用している通信帯域の情報を取得する(ステップST92)。そして、ネットワーク管理部141は未使用の通信帯域で帯域確保できるか判断する(ステップST93)。未使用の通信帯域で帯域確保が可能な場合は(ステップST93“Yes”)、通信帯域割り当て要求情報を出力した機器に対し、ネットワーク管理部141はテーブルデータに従ってネットワークの通信帯域、優先度および映像データに施す画像圧縮方式を設定し(ステップST94)、これら各情報を通知する(ステップST95)。
【0102】
一方、未使用の通信帯域で帯域確保ができなかった場合(ステップST93“No)、ネットワーク管理部141はネットワーク接続機器管理部143を参照して、車載ネットワーク9に接続された各機器が使用する通信帯域の情報を取得し、この情報を用いて各機器に割り当てるネットワークの通信帯域を再計算するとともに、優先度および画像圧縮方式を再設定する(ステップST96)。続くステップST97にて、ネットワーク管理部141は各機器に対して、再計算した通信帯域割り当て、優先度および画像圧縮方式の情報を再通知し、その後、通信帯域割り当て要求情報を出力した機器に対して、再計算して確保した通信帯域割り当て、優先度および画像圧縮方式の情報を通知する。
【0103】
他方、各機器からの通信帯域割り当て要求がなければ(ステップST91“No”)、ネットワーク管理部141は、安全レベル検出部142から安全レベルの情報を取得し、その安全レベルに応じたカメラ2a〜2dの制御情報をテーブルデータから取得する(ステップST98)。ネットワーク管理部141は、取得した安全レベルまたは制御情報に変化があったか確認し、変化がなければ(ステップST99“No”)、次に各機器からの通信帯域割り当て要求情報が入力されるまで待機する(ステップST91)。
【0104】
安全レベルまたは制御情報に変化があれば(ステップST99“Yes”)、ネットワーク管理部141は先ず安全レベルが4以上か判断し(ステップST100)、安全レベルが4以上であった場合に(ステップST100“Yes”)、車載ネットワーク9の各機器に同報通信で安全レベルを通知する(ステップST101)。
なお、ステップST101で同報通信を受信したカメラ2を除く各機器は、車載ネットワーク9への映像データおよびオーディオデータの送信を一時中止し、ネットワーク管理部141が送信する通信帯域割り当て情報が入力されるまで待機する。
【0105】
一方、安全レベルが4未満の場合は(ステップST100“No”)、ネットワーク管理部141はネットワーク接続機器管理部143を参照して、各機器が現在使用している通信帯域の情報を確認する(ステップST102)。そして、ネットワーク管理部141は、検出した安全レベルの情報およびカメラ2からの障害物検出情報に基づき、カメラ2a〜2dそれぞれをメイン、サブ、補助に分類し、分類したカメラ2a〜2dの制御情報および安全レベルの情報を用いて、カメラ2a〜2dそれぞれに割り当てる通信帯域をテーブルデータに従って設定する(ステップST103)。
【0106】
ステップST103にて割り当てられたカメラ2a〜2dそれぞれの通信帯域の情報を元に、ステップST104にてネットワーク管理部141が各機器に割り当てる通信帯域を再計算する。その後、ネットワーク管理部141は安全レベルの情報に基づき、カメラ2を含む車載ネットワーク9に接続された各機器の優先度(ステップST105)および画像圧縮方法(ステップST106)を設定する。ステップST107において、ネットワーク管理部141は新たに設定したそれらの情報を各機器に通知する。
【0107】
次に、ネットワーク管理部141でのネットワーク通信帯域の通知動作(図14のステップST97およびST107に相当するサブルーチン)を説明する。本実施の形態1では、通信帯域などの情報を車載ネットワーク9に接続された各機器に対して割り当てる際、安全レベルに応じて通知順序を切り換える。具体的には、安全レベルが4以上の場合にはカメラ2a〜2dを除く各機器からの映像データおよびオーディオデータの送信は停止する。従って、この場合はカメラ2a〜2dに通信帯域を割り当てても車載ネットワーク9の通信帯域がオーバーフローすることはない。よって、安全レベルが4以上の場合には、カメラ2a〜2dに対して最初に通信帯域割り当て情報の通知を実施して、通信帯域を割り当てる。
一方、安全レベルが4未満の場合は、カメラ2a〜2dから通信帯域割り当てを実施すると、車載ネットワーク9の通信帯域がオーバーフローする可能性がある。よって、通信帯域変更前の優先度の高い機器から順に通信帯域割り当て情報を通知して通信帯域を割り当てるようにし、通信帯域がオーバーフローすることを防ぐ。
【0108】
図15は、この発明の実施の形態1に係る車載ネットワーク装置のネットワーク通信帯域通知の動作を示すフローチャートである。ネットワーク管理部141が通信帯域割り当て情報の通知を開始する際(図14のステップST97またはST107)、ネットワーク管理部141は先ず安全レベルを確認する(ステップST111)。安全レベルが4以上であった場合は(ステップST111“Yes”)、ネットワーク管理部141は先ずメインに分類したカメラ2に対して通信帯域割り当て情報を通知する(ステップST112)。メインのカメラ2への通知が完了すると、ネットワーク管理部141は続いてサブに分類したカメラ2に対して通信帯域割り当て情報を通知する(ステップST113)。サブのカメラ2への通知が完了すると、ネットワーク管理部141は続いて補助に分類したカメラ2に対して通信帯域割り当て情報を通知する(ステップST114)。
【0109】
一方、安全レベルが4未満の場合(ステップST111“No”)、またはステップST112〜ST114の処理が完了すると、ネットワーク管理部141は変数“I”に「1」を代入する(ステップST115)。この変数“I”は通信帯域の再割り当て開始前の優先度を示す。
【0110】
ネットワーク管理部141はネットワーク接続機器管理部143を参照して、通信帯域の再割り当て開始前の優先度が高い機器順に、通信帯域割り当て情報を通知する。具体的には、ネットワーク管理部141が、ステップST116にて変数“I”に一致する優先度の機器に対して通信帯域割り当て情報を通知し、続くステップST117にて変数“I”に一致する全ての機器への通信が完了したことを確認して、ステップST118にて変数“I”に1を加算する。ネットワーク管理部141は変数“I”が「9」になるまでステップST116〜ST118の処理を繰り返し(ステップST119)、「9」になった時点で通信帯域割り当て情報の通知を完了する。
【0111】
上述のように通信帯域割り当て情報を各機器に通知することで、限られた車載ネットワーク9の通信帯域において、ネットワーク上を保有帯域以上のデータが流れることはなく、ネットワーク通信帯域のオーバーフローを防止することができる。また、カメラ2からの映像データに対して最優先で通信帯域が割り当てられるので、事故直前のカメラ2の撮像画像を効果的にHDDレコーダ8に記憶させることができる。また、リア表示装置3a,3bにカメラ2の映像を表示することで、同乗者に対して危険を通知できる。
【0112】
以上のように、実施の形態1によれば、車載ネットワーク9を複数の映像データまたはオーディオデータが流れている場合に、安全レベル検出部142で検出した安全レベルに基づいて、各接続機器のネットワーク使用帯域、優先度、画像圧縮方式および遅延量、ならびにカメラ2a〜2dの障害物検出アルゴリズムなどを切り換えるように構成した。
そのため、安全レベルが低く、自車の周囲に障害物などがない場合は、不必要にカメラ2a〜2dに対してネットワーク使用帯域を割り当てずに、カーオーディオ5、DVDプレイヤ6、ゲーム機7から再生出力される映像データおよびオーディオデータを高画質、高音質、低遅延で通信できる。また、カメラ2a〜2dの映像を記録するHDDレコーダ8についても記憶する撮像画像のデータ量が小さくなるため、不必要なデータを記憶することなく、長時間記憶が実現できる。さらに、カメラ2a〜2dのフレームレート、解像度が小さく抑えられるとともに、障害物検出アルゴリズムも簡単なものに切り換えて演算処理ステップ数を小さく抑えられるため、不必要な電力消費を抑制することができる。
【0113】
他方、安全レベルが高く、自車が事故を起こす可能性のある場合は、カメラ2a〜2dのネットワーク使用帯域および優先度を高くするとともに、画像圧縮アルゴリズムを遅延量の小さいものに切り換え、さらに障害物検出アルゴリズムも高精度のものに切り換えることができる。この結果、もし自車が事故にあった場合でも、カメラ2a〜2dが撮像した事故の様子がHDDレコーダ8に記憶されており、事故原因の究明がより簡単にできる。また、事故直前にリア表示装置3a,3bなどにカメラ2a〜2dの撮像画像を低遅延に表示するため、同乗者に対して危険を事前に通知することができる。
【0114】
なお、上記実施の形態1では、遅延量はカメラ2a〜2dについて制御する場合について説明したが、これに限定されるものではなく、安全レベルに応じてカーオーディオ5、DVDプレイヤ6、ゲーム機7などの各機器から出力する映像データおよびオーディオデータの遅延量を変更するよう制御する構成にしてもよい。この構成の場合にも同様の効果がある。即ち、例えば安全レベルが高い場合はカメラ2a〜2dの映像を優先するため、カーオーディオ5、DVDプレイヤ6、ゲーム機7などの各機器から出力する映像データおよびオーディオデータは遅延量が大きくなるが、安全レベルが低い場合はカメラ2a〜2dから出力されるデータ量が少なくなり優先度も低くなるため、各機器から出力するデータの優先度を高くするとともに遅延量を小さくすることができる。ゲーム機7であれば、遅れていた遅延量を短くするために表示フレームを間引くなどして遅延量を短縮するよう制御すればよい。また、オーディオデータであれば無音期間(曲と曲との間など)をつめて遅延量を小さくするよう制御すればよい。
また、上記実施の形態1では、例えばゲーム機7の画像圧縮方式がJPEGの場合について説明したが、安全レベルが4と非常に高い場合はカメラ2a〜2dに割り当てられる通信帯域が多いため、ゲーム機7の出力についてもMPEGなど遅延量は大きいが圧縮率の高い画像圧縮方式を用いるように構成してもよいことは言うまでもない。
【0115】
また、上記実施の形態1では、自車の速度に応じてブレーキの踏み込み量の基準値を設けておき、その基準値以上に運転者がブレーキを踏み込んだ場合、安全レベル検出部142が急ブレーキをかけたと判断する構成としたが、これに限定されるものではなく、例えばブレーキの踏み込み量について減速時の加速度などから学習するように構成してもよい。この構成の場合には、安全レベル検出部142は各車の踏み込み量の違いに基づくブレーキ量に応じて安全レベルが判断できるので、より効果的な安全レベルの判断を行うことができる。
また、安全レベル検出部142が急ハンドルを切ったことを検出した場合に、カメラ2a〜2dからの映像データをリア表示装置3a,3bまたはLCD16が画面表示するよう構成してもよい。
【0116】
また、上記実施の形態1では、安全レベル検出部142が急ブレーキをかけた、または急ハンドルを切ったと判断した場合、カメラ2a〜2dから出力される映像データ以外の、各機器のデータの出力を一時中断する場合について説明したが、これに限定されるものではなく、安全にかかわる各種センサからの情報、自車の走行速度の情報などは車載ネットワーク9に流してもよいことは言うまでもない。また、ネットワークの通信帯域に余裕があれば、DVDプレイヤ6、ゲーム機7からの映像データおよびオーディオデータを車載ネットワーク9に流してもよい。ただし、DVDプレイヤ6、ゲーム機7からのデータについては、ネットワークの通信帯域に余裕がなければ送信する映像パケットを落とし、映像データを車載ネットワーク9に流さないように制御する。これによりネットワークへの負荷を抑えることができ、急ブレーキをかけた、または急ハンドルをきったなど、自車が障害物と衝突を起こす可能性があるような場合に、事故の状況をHDDレコーダ8に記憶できるとともに、自車の危険な状況を運転者および同乗者に通知できるようになる。
【0117】
また、上記実施の形態1では、安全レベル検出部142で安全レベル4以上の場合に安全のため運転者にその旨を通知するように構成したが、これに限定されるものではない。例えば、安全レベル3だった場合にはハンドルに振動を与えてその旨を通知するとともに、LCD16などに障害物が検出されたカメラ2の撮像画像を子画面表示して、運転者に通知する。安全レベル4だった場合にはハンドルに振動を与え、フロントスピーカ4aなどから耳障りでない程度の警告音を出し、さらにLCD16に障害物が検出されたカメラ2の撮像画像を全画面表示して、運転者に通知する。安全レベル5だった場合にはハンドルに振動を与え、フロントスピーカ4a,4bおよびリアスピーカ4c,4dから同乗者全員に聞こえるように警告音を出し、さらにLCD16およびリア表示装置3a,3bに障害物が検出されたカメラ2の撮像画像を全画面表示して、運転者のみならず同乗者にも事故の危険性を通知する。これにより、運転者は自車の安全状況が把握できるので、事故の発生を未然に防ぐ効果がある。また、運転者にハンドルの振動または警告音により警告する際は、障害物を検出したカメラ2の設置位置に応じて振動のパターン、警告音の種類、警告音を出すスピーカなどを変更してもよい。例えば車両左側に危険を検出した場合は、ハンドルの左側のみ振動を与え、車両右側に危険を検出した場合は、ハンドルの右側のみを振動させればよい。
【0118】
また、上記実施の形態1では、HDDレコーダ8にカメラ2a〜2dの撮像した映像データを記憶する場合について説明したが、これに限定されるものではなく、HDDレコーダ8はそれ以外にも自車の速度情報、アクセル、ブレーキ、方向指示器および操舵角などの情報、ならびにカメラ2a〜2dを含む各種センサで計測した障害物までの距離および障害物との相対速度の情報などを時系列に記憶してもよいことは言うまでもない。さらに、車内の音声情報についてもHDDレコーダ8が同時に記憶してもよい。
【0119】
また、上記実施の形態1では、カメラ2a〜2dは撮像した画像を元に障害物の有無、障害物との相対速度を検出するように構成したが、これに限定されるものではなく、障害物の検出はカメラ2a〜2dが撮像画像を元に実施する一方、障害物までの距離および相対速度の検出はミリ波レーザなど他のセンサを用いて実施するように構成してもよい。また、障害物までの距離および相対速度の計測は、カメラ2a〜2dが障害物を検出した場合にのみ実施するように制御し、不必要な電力を消費しないように構成してもよい。
また、ミリ波レーザなど他のセンサを用いて障害物との距離および相対速度を検出する場合は、撮像画像を元に障害物の位置をほぼ特定した後、その障害物に向けてミリ波レーザを照射するよう制御する構成としてもよい。
【0120】
また、安全レベルの検出に利用するカメラ2a〜2dについて、上述したように自車の運転状況に応じて各カメラのうちから撮像開始するカメラを決定し、撮像しないカメラについては消費電力削減のために電源を切る、またはスタンバイモードにするなどの制御を行ってもよいことは言うまでもない。
【0121】
また、安全レベル検出部142による安全レベルの判断基準は、上記実施の形態1に示す基準に限定されるものではない。例えば、安全レベル検出部142は、操舵角情報に基づいて、運転者が急ハンドルを切ったかを判断し、急ハンドルを切ったと判断した場合は事故回避のための操作と判断して安全レベルを5に設定してもよい。その場合、前後左右のカメラ2a〜2dの解像度およびフレームレートを最大に設定するとともに、画像圧縮方式も遅延量の小さいJPEG方式に切り換える。また、車載ネットワーク9の通信帯域をカメラ2の映像データを最優先で流すよう制御する。この構成の場合にも、急ブレーキをかけた場合と同様の効果が得られる。
【0122】
なお、上記実施の形態1では、車載ネットワーク装置の一例として50Mbpsのデータ伝送帯域を持つ光ファイバのネットワークシステムについて説明したが、これに限定されるものではなく、無線LAN、UWB、Bluetooth(登録商標)などの無線を用いた車載ネットワーク、MOST(登録商標)、IDB1394(登録商標)を用いた光ネットワーク、Ethernetを用いた有線ネットワークなど、その他の通信ネットワークを用いたネットワークシステムであってもよい。
この構成の場合でも、自車の周囲の状況、自車の状態(速度など)、操作状態(アクセル、ブレーキ、方向指示器、操舵角など)、道路状況(交差点など)の情報を用いて安全レベルを検出し、その安全レベルに応じて車載ネットワークに接続された各機器のネットワーク通信帯域割り当て、優先度、各機器から出力される映像データの圧縮方式などを制御することにより、上実施の形態1と同様の効果を得ることができる。
【符号の説明】
【0123】
1 カーナビ、2a〜2d カメラ、3a,3b リア表示装置、4a,4b フロントスピーカ、4c,4d リアスピーカ、5 カーオーディオ、6 DVDプレイヤ、7 ゲーム機、8 HDDレコーダ、9 車載ネットワーク、10 車載ネットワーク管理装置、11 CPU、12 PHY、13 MAC、14 ネットワーク帯域管理部、15 表示制御部、16 LCD、17 カーナビ制御部、18 リモコン受光部、19 ROM、20 RAM、21 CPUバス、22 入力端子、23 出力端子。
【技術分野】
【0001】
この発明は、車両内において複数の映像出力機器から出力された映像データを伝送する車載ネットワークを管理する車載ネットワーク装置に関するものである。
【背景技術】
【0002】
従来、車両内で映像データを伝送する車載ネットワークとして、光ファイバケーブルを車両に敷設し、該光ファイバを介してオーディオデータ、映像データなどを伝送するものが知られている。
【0003】
このような車載ネットワークシステムとしては、例えば、フロントシート近傍に設けられたオーディオ再生装置と、フロントおよびリアシート近傍に配置されたスピーカとの間を上記光ファイバを用いて接続したものがある。この車載ネットワークシステムでは、例えば、オーディオ再生装置により再生したオーディオデータを光ファイバを介して伝送し、視聴者に視聴させていた。
【0004】
上記従来の車載ネットワークでは、伝送対象データがオーディオデータなどであり、光ファイバケーブルの伝送帯域以下の伝送レートを有するデータを伝送することが多かった。しかし、最近の車両ではリアシートにも液晶ディスプレイ(以下、リアモニタと記す)がつけられ、DVDなどの記録メディアに記録された映像およびゲームなどの複数の映像データが車載ネットワークを流れてリアモニタに伝送される。また、複数配置されたカメラからの画像を用いてユーザが車庫入れする際の補助を行う機能なども車両に搭載されつつある。このように、複数の映像データを該車載ネットワーク上に流す場合、限られたネットワーク帯域を有効に活用する手法が特許文献1および2などで提案されている。
【0005】
特許文献1には、フロントモニタ、リアモニタ、バックカメラおよびDVDプレイヤが接続された、20Mbps程度の伝送帯域を持つ車載ネットワークの管理システムが提案されている。このシステムでは、DVDプレイヤの20Mbpsの映像データを各モニタで再生中にユーザがバックギアを入れると、ネットワークを管理するマスタ装置がDVDプレイヤに対して映像データの伝送レートを10Mbpsに落とすように指示するとともに、バックカメラに対しては10Mbpsで映像データを配信するように指示を出すことで、限られた伝送帯域を活用していた。また、例えばバックカメラの映像をフロントモニタに子画面表示する場合は、使用伝送帯域を4Mbps程度に設定することで、ネットワークへの負荷を抑えていた。また、車庫入れなどの間、バックカメラの映像の遅延量を小さく抑える必要があるため、映像の遅延許容値を映像出力機器ごとに保持しておき、各映像の圧縮方式を遅延許容値に基づいて切り替えていた。すなわち、遅延許容値が大きい場合はMPEGなどの圧縮率の高い符号化方式を採用することでネットワークへの負荷を抑えることができる。
【0006】
また、特許文献2には、車両の前方、左右、後方を監視する各カメラ、およびフロントモニタが接続された車載ネットワークの管理システムが提案されている。このシステムでは、各カメラからの伝送データレートを車両の周囲の情報に応じて制御し、不必要な画像については解像度を低く抑えることで、限られた車載ネットワークの伝送帯域を有効に活用していた。
【先行技術文献】
【特許文献】
【0007】
【特許文献1】特開2002−135758号公報
【特許文献2】特開2005−222307号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
従来の車載ネットワークの管理装置は以上のように構成されているので、限られたネットワークを有効に活用するために、運転者がバックギアを入れた際などに、バックカメラなどの通信帯域を確保するために他の映像データの通信帯域を小さくする、あるいは運転者が注目する画像の解像度を大きくし、他の監視カメラ映像については解像度を低くするなどして、通信帯域を有効に活用することができたとしても、例えば、前方、後方、左右に障害物がなく、安全な状況で監視カメラの映像を限られた車載ネットワーク上を流す場合には、不必要に通信帯域をとってしまうとともに、不必要に電力を消費してしまうという課題があった。
【0009】
この発明は、上記のような課題を解決するためになされたもので、限られた車載ネットワークの通信帯域を有効に活用するとともに、安全走行時には不必要な消費電力を消費しないよう車載ネットワークに接続された機器を制御する車載ネットワーク装置を提供することを目的とする。
【課題を解決するための手段】
【0010】
この発明に係る車載ネットワーク装置は、自車の周辺状況を示す障害物検出情報、自車の走行状態を示す状態管理情報、自車の運転者による運転操作を示す運転操作情報を用いて、自車の安全レベルを判断する安全レベル検出部と、安全レベル検出部により判断された安全レベルに応じて、車載ネットワークに接続された各機器に割り当てる通信帯域を決定するネットワーク管理部とを備えたものである。
【発明の効果】
【0011】
この発明によれば、障害物検出情報、状態管理情報および運転操作情報を用いて自車の安全レベルを判断し、その安全レベルに応じて車載ネットワークに接続された各機器に割り当てる通信帯域を決定するようにしたので、限られた車載ネットワークの通信帯域を有効に活用するとともに、安全走行時には不必要な消費電力を消費しないよう車載ネットワークに接続された機器を制御する車載ネットワーク装置を提供することができる。
【図面の簡単な説明】
【0012】
【図1】この発明の実施の形態1に係る車載ネットワーク装置の構成を示すブロック図である。
【図2】この発明の実施の形態1に係る車載ネットワーク装置におけるカーナビ1の構成を示すブロック図である。
【図3】この発明の実施の形態1に係る車載ネットワーク装置におけるネットワーク帯域管理部14の構成を示すブロック図である。
【図4】この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部の動作の一例を示すフローチャートである。
【図5】この発明の実施の形態1に係る車載ネットワーク装置におけるカメラ2の構成を示すブロック図である。
【図6】この発明の実施の形態1に係る車載ネットワーク装置におけるカメラ2の障害物検出に関する制御パラメータ設定動作を示すフローチャートである。
【図7】この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部の動作の一例を示すフローチャートである。
【図8】この発明の実施の形態1に係る車載ネットワーク装置の走行速度、障害物までの距離、障害物と自車の相対速度情報に基づく安全レベルの対比表の一例を示す説明図である。
【図9】この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部の動作の一例を示すフローチャートである。
【図10】この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部の動作の一例を示すフローチャートである。
【図11】この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部の動作の一例を示すフローチャートである。
【図12】この発明の実施の形態1に係る車載ネットワーク装置におけるネットワーク管理部のカメラの制御情報を示す説明図である。
【図13】この発明の実施の形態1に係る車載ネットワーク装置における各機器の出力データの優先度を示す説明図である。
【図14】この発明の実施の形態1に係る車載ネットワーク装置のネットワーク通信帯域管理の動作を示すフローチャートである。
【図15】この発明の実施の形態1に係る車載ネットワーク装置のネットワーク通信帯域通知の動作を示すフローチャートである。
【発明を実施するための形態】
【0013】
実施の形態1.
図1は、この発明の実施の形態1に係る車載ネットワーク装置の構成を示すブロック図である。図において、車載ネットワーク9には、カーナビゲーションシステム(以下、カーナビと記す)1、車両前方、後方、右方、左方をそれぞれ監視するカメラ2a〜2d、各リアシートの背に配置されたLCD表示装置(以下、リア表示装置と記す)3a,3b、フロントに配置されたフロントスピーカ4a,4b、リアに配置されたリアスピーカ4c,4d、FM/AMラジオの受信および記憶メディアに記憶されたオーディオデータを再生するカーオーディオ5、DVDなどの記録媒体に記憶された映像データを再生するDVDプレイヤ6、ゲーム機7、カメラ2a〜2dからの映像データを記録するHDDレコーダ8がそれぞれ接続されている。
【0014】
本実施の形態1では、図1に示すように、カメラ2a〜2d、カーオーディオ5、DVDプレイヤ6、およびゲーム機7から出力される複数のオーディオデータおよび映像データが車載ネットワーク9を流れる。なお、本実施の形態1では、車載ネットワーク9は50Mbpsの伝送帯域を持つ光ファイバケーブルを用いたものとして以下の説明を続ける。
【0015】
車載ネットワーク9に接続された各接続機器は、カーナビ1によって制御される。先ず、カーナビ1によるネットワーク管理動作の概略を説明する。車両を運転中、リア表示装置3aからDVDプレイヤ6の再生要求が入力されると、カーナビ1は、現在車載ネットワーク9を流れているデータの通信帯域を確認し、DVDプレイヤ6に割り当てる通信帯域を算出し、算出結果をDVDプレイヤ6に通知する。DVDプレイヤ6はカーナビ1からの通信帯域割り当て情報に基づき、DVDより再生されるコンテンツを圧縮し、車載ネットワーク9に出力する。リア表示装置3aは、車載ネットワーク9を流れるデータからDVDプレイヤ6より送信された圧縮映像データを抜き出し、復号部で復号して元の映像データに変換し、LCD上に表示する。リアスピーカ4c,4dも、DVDプレイヤ6より出力される圧縮オーディオデータを抜き出し、復号部で復号して元のオーディオデータを再生する。
【0016】
同様に、車両を運転中、リア表示装置3bからゲーム機7の実行要求が入力されると、カーナビ1は現在車載ネットワーク9を流れているデータの通信帯域を確認し、ゲーム機7に割り当てる通信帯域を算出し、算出結果をゲーム機7に通知する。なお、通常、シューティングゲームなどは再生映像の遅延をできるだけ小さく抑える必要がある。従って、カーナビ1は、通常走行時、ゲーム機7より再生される映像データの優先度を一番高くなるよう制御する。このような制御の詳細については後述する。
【0017】
ゲーム機7はカーナビ1からの通信帯域割り当て情報に基づき、映像データを圧縮し、車載ネットワーク9に出力する。リア表示装置3bは、車載ネットワーク9を流れるデータからゲーム機7より送信された圧縮映像データを抜き出し、復号部で復号して元の映像データに変換し、画面上に表示する。一方、オーディオデータに関しては、リアスピーカ4c,4dがすでにDVDプレイヤ6からの再生に使用されているため、オーディオデータをリア表示装置3bが受信し、復号部で復号してヘッドフォン出力端子へ出力する。
【0018】
次に、カーナビ1を説明する。図2は、この発明の実施の形態1に係る車載ネットワーク装置におけるカーナビ1の構成を示すブロック図である。図において、カーナビ1は、CPU11、PHY12、MAC13、ネットワーク帯域管理部14、表示制御部15、LCD16、カーナビ制御部17、リモコン受光部18、ROM19、RAM20、CPUバス21、入力端子22、出力端子23、入力端子24,25から構成される。
【0019】
CPU11は、カーナビ全体を制御する。PHY12は、車載ネットワーク9へ送信するデータに予め定められた変調を施し出力端子23を介して出力するとともに、入力端子22を介して入力されたデータを復調して元のデータを復元する。MAC13は、CPU11またはネットワーク管理部14から出力されるデータを予め定められたフォーマットに変換して出力パケットを生成するとともに、データの出力タイミングを管理し、カーナビ1の出力タイミングに、該出力パケットを送信するよう制御する。本実施の形態1では、MAC13はEthernet(登録商標/以下、記載を省略する)のフレームフォーマットを使用するものとする。なお、MAC13ではPHY12より出力される入力パケットを受信し、入力パケット中のMACヘッダを確認し、自分宛の入力パケットを抽出する。自分宛以外の入力パケットを入手した場合、MAC13はパケット情報を破棄する。一方、自分宛の入力パケットであった場合は、MAC13がその中身を解析し、解析結果を元にCPU11、ネットワーク帯域管理部14、表示制御部15に振り分ける。
【0020】
ネットワーク帯域管理部14は車載ネットワーク管理動作を行う。その詳細は後述するが、入力端子24から入力される自車の速度情報および入力端子25から入力される運転者情報などを受け付けて安全レベルを判断し、その安全レベルに応じて車載ネットワーク9を流れるデータ量の制御(通信帯域割り当て)、流れるデータ(パケット)の優先度の決定などを実施する。
【0021】
表示制御部15は、カーナビ制御部17より出力されるカーナビ画像、CPU11より出力されるグラフィック画像、MAC13から出力される映像データを復号し、LCD16に表示する表示画像を生成する。カーナビ制御部17は、自車の位置を算出し、地図情報を図示していない記録媒体から読み出してLCD16に表示するためのカーナビ情報を生成する。リモコン受光部18は、ユーザがリモコンを操作して入力した要求を受け付ける。
【0022】
次に、ネットワーク帯域管理部14を説明する。図3は、この発明の実施の形態1に係る車載ネットワーク装置におけるネットワーク帯域管理部14の構成を示すブロック図である。図において、ネットワーク帯域管理部14は、ネットワーク管理部141、安全レベル検出部142、ネットワーク接続機器管理部143から構成される。
【0023】
入力端子24は、自車の速度、加速度、エンジン回転数、ギアなど、自車の状態を示す状態管理情報の入力端子である。入力端子25は、アクセル、ブレーキ、ギア、方向指示器、ハンドルの操舵角など、運転者の操作状態を示す運転操作情報の入力端子である。入力端子26は、後述するカメラ2a〜2dにて撮像された画像から検出した障害物までの距離、および障害物との相対速度の障害物検出情報の入力端子である。入力端子27は、カーナビ制御部17から出力される交差点など、地図情報から抽出した道路情報の入力端子である。なお、入力端子27とカーナビ制御部17とは、CPUバス21を介して接続されている。
安全レベル検出部142は、入力端子24〜27から入力された情報を用いて、自車の安全レベルを判断する。
【0024】
入力端子28は、車載ネットワーク9に接続された各機器からの通信帯域割り当て要求情報の入力端子である。
ネットワーク管理部141は、通信帯域割り当て要求情報を用いて、車載ネットワーク9に接続された各機器に割り当てる通信帯域、優先度、映像データに施す画像圧縮方式などの情報を生成して、車載ネットワーク9の通信帯域を管理する。
出力端子29は、ネットワーク管理部141で生成された情報の出力端子である。
【0025】
ネットワーク接続機器管理部143は、車載ネットワーク9に接続されている機器情報、それら各機器のネットワーク使用帯域、優先度、画像圧縮方式などの情報を管理する。
【0026】
次に、ネットワーク帯域管理部14の各部の動作について説明する。以下では、車載ネットワーク9に接続された各機器から、複数のデータが送信されている場合を想定する。具体的には、DVDプレイヤ6からリア表示装置3aへ20Mbpsの映像データが送信され、ゲーム機7からリア表示装置3bへ20Mbpsの映像データが送信され、カーオーディオ5からフロントスピーカ4a,4bへ1Mbpsのオーディオデータが送信されている。
【0027】
先ず、安全レベル検出部142の動作について説明する。図4は、この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部142の動作の一例を示すフローチャートである。なお、図4では、ネットワーク帯域管理部14の安全レベル検出部142がギア情報を用いて安全レベルを判断する場合を例にして、車載ネットワーク装置の動作を説明する。なお、本実施の形態1では安全レベルを1〜5の5段階に分類し、安全レベル1は自車が最も安全な状況であることを示し、安全レベルの数値が高くなるにつれて自車の危険が増し、安全レベル5は自車が最も危険な状況であることを示す。
【0028】
運転が開始されると、ネットワーク帯域管理部14内の安全レベル検出部142が自車の安全レベルの監視を開始する。
【0029】
安全レベル検出部142は、現在のギア情報を入力端子24を介して取得する(ステップST1)。そして、安全レベル検出部142は、取得したギア情報を基に車の走行方向を確認し(ステップST2)、走行方向がバックであった場合には(ステップST2“Yes”)運転者からの死角が多いので安全レベルを3に設定する(ステップST3)。そして、ネットワーク管理部141が、設定された安全レベルに従ってカメラ2a〜2dの設定を行う(ステップST4)。
【0030】
具体的には、ネットワーク管理部141が、後方のカメラ2bに対しては解像度、およびフレームレートを最大に上げるとともに、画像の圧縮方式をJPEGとするよう指示を出し、カーナビ1内のLCD16に後方監視映像を表示する。ネットワーク管理部141はそれと同時に、左右のカメラ2c,2dに対しては、解像度は1/4、フレームレートは最大に上げるとともに、画像圧縮方式をJPEGとするよう指示を出す。その際、後方のカメラ2bに対しては10Mbpsの帯域を、左右のカメラ2c,2dについては各々2.5Mbps程度の通信帯域を割り当てる。ネットワーク管理部141はまた、前方のカメラ2aについては、解像度は1/4、フレームレートは1/2に落とすとともに画像圧縮方式としては、圧縮率の高いMPEG2とするよう指示を出す。その際、通信帯域として1Mbps程度の通信帯域を割り当てる。また、ネットワーク管理部141は、DVDプレイヤ6、およびゲーム機7に対してネットワーク通信帯域をそれぞれ15Mbpsに落とすように指示を出す。
【0031】
上述のように構成することで、バック走行の際に死角となる後方、および左右のカメラ2b,2c,2dの映像を低遅延で伝送してLCD16上に表示することができ、運転者は、LCD16の画面および目視を基に安全に自車をバックさせることができる。また、車載ネットワーク9を介して同乗者がリアシートで視聴しているDVDプレイヤ6、およびゲーム機7の映像データは、再生画質が若干悪くはなるが、こま落ちなどを発生させることなくカメラ2a〜2dの通信帯域を確保することができる。
【0032】
一方、ギア情報から判断して前方走行であった場合(ステップST2“No”)、安全レベル検出部142は方向指示器の情報を取得する(ステップST5)。方向指示器情報を取得した結果、右左折、あるいは進路変更を検出すれば(ステップST6“Yes”)、安全レベル検出部142が安全レベルを2に設定し(ステップST7)、その安全レベルを元にネットワーク管理部141がカメラ2a〜2dの設定を行う(ステップST8)。
【0033】
具体的には、ネットワーク管理部141が、進路をとる方向になる左右どちらか一方のカメラ2c,2d、および前方後方のカメラ2a,2bに対して、解像度を1/4、フレームレート最大に上げるとともに、画像の圧縮方式をJPEGとするよう指示を出し、カーナビ1内のLCD16に3つのカメラで撮像された情報を表示する。その際、各カメラには2.5Mbpsの通信帯域を与える。また、後述するカメラ2a〜2dにより障害物が検出された場合は、検出された障害物を撮影しているカメラからの映像を拡大し運転者に障害物があることを通知する。なお、進路をとる方向と反対のカメラについては、ネットワーク管理部141から、解像度は1/4、フレームレートは1/2に落とすとともに画像圧縮方式としては、圧縮率の高いMPEG2とするよう指示を出す。その際、通信帯域として1Mbps程度の帯域を割り当てる。この場合は、車載ネットワーク9の使用帯域は50Mbpsを超えないので、DVDプレイヤ6、ゲーム機7に対しては特に指示を出さない。
【0034】
一方、進路変更でなかった場合(ステップST6“No”)、安全レベル検出部142は速度情報を取得し(ステップST9)、取得した速度情報を元に、自車が減速中かを確認する(ステップST10)。
【0035】
減速中であった場合(ステップST10“Yes”)、安全レベル検出部142は安全レベルを2に設定する(ステップST11)。その安全レベルを受けてネットワーク管理部141が前方および後方のカメラ2a,2bに対して、解像度を1/4、フレームレート最大に上げるとともに、画像の圧縮方式をMPEGとするよう指示を出す。
本ケースの場合は、通常走行時の減速であるため、追突が発生する可能性がある。従って、本実施の形態1では、自車の追突を防止するため前方のカメラ2aの映像をLCD16上に表示する。同様に他車からの追突を確認するため後方のカメラ2bの映像もLCD16上に表示する。これにより、自車が追突の可能性がある場合は、運転者に音声などでその旨通知することができる。また、後方からの追突の可能性がある場合は、ハザードランプの点灯、クラクションなどによる警告を行うことができる。なお、画像圧縮方式として本ケースではMPEGを使用する。これは、自車が減速中で、運転者が減速を意識しているためLCD16上には遅延量の小さな画像を表示する必要がないためである。本ケースは、運転者が少なくとも自車の運転に注力しているため前方監視、後方確認をLCD16の表示画像を用いて実施することはないためである。
【0036】
減速中ではなかった場合(ステップST10“No”)、安全レベル検出部142は通常の走行状態と判断し、安全レベルを1に設定する(ステップST13)する。その安全レベルを受けてネットワーク管理部141が、前方および後方のカメラ2a,2bに対して、解像度1/4、フレームレート1/2とし、画像圧縮方式はMPEGを採用するように指示を出す。なお、左右のカメラ2c,2dについては、通常走行時は、本実施の形態1では撮像を休止させるものとして説明を続ける。
【0037】
次に、安全レベル検出部142が障害物検出情報を用いて安全レベルを判断する場合の動作を説明する。安全レベル検出部142の動作を説明するに先立ち、先ずカメラ2a〜2dによる障害物検出の動作を説明する。
【0038】
図5は、この発明の実施の形態1に係る車載ネットワーク装置におけるカメラ2の構成を示すブロック図である。なお、図1に示すカメラ2a〜2dは、特に必要のない限りカメラ2と表記する。図において、カメラ2は、レンズ201、画像データを出力する撮像センサ202、画像データにノイズリダクション処理を施すとともに、画面の平均輝度などを計測する画像処理部203、画像処理部203の情報に基づき撮像センサ202を制御するカメラ制御部204、画像処理部203の画像データに高能率符号化処理(画像圧縮処理)を施す画像圧縮部205、画像処理部203の画像データから障害物を検出する障害物検出部206、車載ネットワーク9に接続するネットワークインタフェース部207を備える。
【0039】
次に、カメラ2の動作を説明する。レンズ201を介して撮像センサ202面に結像した画像は撮像センサ202で画像データに変換される。この画像データは撮像センサ202から出力され、画像処理部203に入力される。
【0040】
画像処理部203では、入力された画像にノイズリダクションなどの画像処理を実施する。その際、画像処理部203はネットワークインタフェース部207を介して入力される解像度情報を元に、ノイズリダクションを実施する際のタップ係数を選択する。一般に、撮像センサは解像度を切り替えることができない。よって、本実施の形態1では、後段に設けられた画像処理部203で解像度変換を実施する。
【0041】
画像処理部203はまた、撮像センサ202の露光調整、ホワイトバランス調整を行うために、画面全体の輝度情報の平均値、指定されたエリアの輝度信号の平均値の算出、R,G,B信号の各々の平均値レベルなども算出する。画像処理部203で算出された上記画面全体の平均輝度値、指定されたエリアの平均輝度値、R,G,B信号の平均レベルなどはカメラ制御部204に入力される。
【0042】
カメラ制御部204では、入力された上記画面全体の平均輝度値、指定されたエリアの平均輝度値を元に露光時間を算出する。特に、走行中の車からの撮像は、例えば、トンネルから出る場合は、撮像画像の中央部分(トンネルの出口)は平均輝度が高い一方で、画面の周囲は平均輝度が低い。本実施の形態1のカメラ制御部204では、画面全体の平均輝度に加え、画面中央、画面の周囲など予めいくつかの輝度信号の平均値算出エリアを持たせておき、それらの情報を元に、露光時間を制御するよう構成する。これにより、トンネルの出口付近にある前方の車両が白とびで消えてしまうなどを防ぐ。また、カメラ制御部204は画像処理部203より出力されるR,G,B信号の平均レベル情報に基づきホワイトバランス調整も実施する。
【0043】
また、カメラ制御部204はネットワークインタフェース部207を介して入力されるフレームレート情報を元に撮像センサ202でのフレームレートを制御する。本実施の形態1では、安全レベルが低い場合(自車の状況が安全と判断された場合)にカメラ2での消費電力を抑えるために、ネットワーク管理部141の制御によって撮像画像のフレームレートを落とすとともに、解像度についても低く抑える(詳細は後述する)。これにより、画像圧縮部205での演算量を削減するとともに、障害物検出部206での演算処理量を低減させることで、低消費電力化が可能となる。
【0044】
画像処理部203でノイズ除去された画像データは画像圧縮部205に入力される。画像圧縮部205では、ネットワークインタフェース部207を介して入力される解像度、フレームレート、画像圧縮方式、および通信帯域割り当ての情報に基づき撮像画像に画像圧縮を施す。
【0045】
また、障害物検出部206では、入力された画像データを元に障害物を検出する。その際、カーナビ1のネットワーク帯域管理部14から出力される自車の安全レベルに応じて、障害物検出アルゴリズムを切り替える。
具体的には、安全レベルが低い場合には、障害物検出部206は画像データから輪郭を抽出し、その輪郭情報を元に障害物の有無、障害物までの距離をおおよそ検出する。一方、安全レベルが高い場合(自車が危険な状態に近い場合)には、障害物検出部206は物体の形状などから人、車、バイクなどの識別まで実施するとともに物体までの距離も精度良く検出する。これにより、自車が安全な場合は演算量を抑えることでカメラ2の消費電力を抑えることができる。
【0046】
画像圧縮部205で圧縮された映像データはネットワークインタフェース部207を介してHDDレコーダ8に入力される。HDDレコーダ8では、カメラ2a〜2dよりそれぞれ出力される映像データを記憶する。一方、障害物検出部206で検出された障害物検出結果はネットワークインタフェース部207を介して、カーナビ1内のネットワーク帯域管理部14に入力される。
【0047】
図6は、この発明の実施の形態1に係る車載ネットワーク装置におけるカメラ2の障害物検出に関する制御パラメータ設定動作を示すフローチャートである。
カメラ2による撮像が開始されると、ネットワーク管理部141は安全レベル検出部142から出力される自車の現在の安全レベル、および自車の操作状況情報を取得し(ステップST21)、その情報に基づきカメラ2の撮像画像の解像度、およびフレームレートを設定する(ステップST22)。
【0048】
ネットワーク管理部141は続いて、ネットワーク接続機器管理部143に対して現在の車載ネットワーク9の帯域使用状況を確認し、カメラ2を含む各機器に割り当てる通信帯域、および優先度を設定する(ステップST23)。通信帯域の設定が完了すると、ネットワーク管理部141はネットワーク接続機器管理部143に設定した情報に従って、自車の操作状況に基づく画像圧縮アルゴリズム(ステップST24)、および障害物検出アルゴリズム(ステップST25)を決定し、その結果をカメラ2へ通知する。
このとき、DVDプレイヤ6やゲーム機7などに割り当てていた通信帯域を削減する必要があれば、ネットワーク管理部141はその旨をDVDプレイヤ6、およびゲーム機7に通知する。
【0049】
他方、ネットワーク帯域管理部14から解像度、フレームレート、画像圧縮アルゴリズム、障害物検出アルゴリズムが通知されると、カメラ2は、それらの情報を元に画像圧縮アルゴリズムおよび障害物検出アルゴリズムを切り替えるなどして、障害物検出を開始する。そして、ネットワーク帯域管理部14は、カメラ2から出力される障害物検出情報に基づいて安全レベルを判断することになる。
【0050】
図7は、この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部142の動作の一例を示すフローチャートである。なお、図7では、安全レベル検出部142が障害物検出情報を用いて安全レベルを判断する場合を例に用いる。
カメラ2は、ネットワーク管理部141より解像度、フレームレート、画像圧縮アルゴリズム、および障害物検出アルゴリズムの情報が通知されると、その情報を元に障害物の検出を開始する(ステップST31)。撮像画像内に障害物が検出されなかった場合は(ステップST32“No”)、カメラ2はその旨を示す障害物検出情報を、ネットワークインタフェース部207を介してカーナビ1内のネットワーク帯域管理部14に通知する。
【0051】
ネットワーク帯域管理部14の安全レベル検出部142は、カメラ2から障害物検出情報を受け取ると、危険がないと判断して安全レベルを1に設定する(ステップST33)。そして安全レベル検出部142が安全レベルの検出結果をネットワーク管理部141に通知し、ネットワーク管理部141が車載ネットワーク9に接続されている機器に対して同報通信する(ステップST34)。なお、特に前回の安全レベル検出結果と比較し変化がなかった場合は、同報通信により安全レベルを通知する必要はない。
【0052】
一方、障害物がある場合は(ステップST32“Yes”)、ネットワーク帯域管理部14はカメラ2よりネットワークインタフェース部207を介して出力される障害物検出情報に含まれる障害物までの距離、および相対速度の推定結果を確認する(ステップST35)。確認の結果、障害物までの距離、および相対速度とも安全と判断した場合は(ステップST36“Yes”)、ステップST33の処理へ進む。
【0053】
一方、障害物までの距離、および相対速度とも十分に安全ではないと判断した場合は(ステップST36“No”)、運転者の動作、および自車の速度情報を確認する(ステップST37)。運転者が障害物との距離および相対速度を把握してアクセルを開放しエンジンブレーキで、またはフットブレーキを踏んで減速動作に入っており、減速の度合いが自車走行速度から判断して追突の可能性のないことを安全レベル検出部142が判断した場合は(ステップST38“Yes”)は、ステップST33の処理へ進む。
【0054】
一方、障害物までの距離、障害物との相対速度、運転者の運転動作、自車の速度情報から追突の可能性があると判断した場合は(ステップST38“No”)、安全レベル検出部142が自車の走行速度、障害物までの距離、および障害物と自車との相対速度に基づき安全レベルを決定する(ステップST39)。
【0055】
本実施の形態1では、予め自車の走行速度、障害物までの距離、および障害物と自車の相対速度情報に基づき、安全レベルを定めておく。図8は、この発明の実施の形態1に係る車載ネットワーク装置の走行速度、障害物までの距離、障害物と自車の相対速度情報に基づく安全レベルの対比表の一例を示す説明図である。図8に示すようなテーブルデータを安全レベル検出部142が備える。図において、例えば、自車速度が95km、障害物までの距離が25m、かつ障害物との相対速度が22kmの場合は、安全レベル検出部142は安全レベルを5と判断する。そして、安全レベル検出部142は安全レベルの検出結果をネットワーク管理部141に通知する。
【0056】
なお、本実施の形態1では、安全レベル検出部142が安全レベルを決定する際、図8に示すような予め定められたテーブルデータを元に決定する場合について説明したがこれに限るものではなく、例えば、運転者の熟練度に応じて安全レベルの閾値を学習し、その学習結果に基づいて安全レベルを決定してもよい。
【0057】
具体的には、安全レベル検出部142が各運転者によって異なる通常走行時の車間距離のとり方やブレーキをかけるタイミングなど、運転者の普段の運転を学習する。安全レベル検出部142はその学習結果に基づき、車間距離をあまりとらないような運転者については危険と判断する安全レベルを通常設定の場合より上げる。これは、本人にとっては通常の車間距離で運転しているにもかかわらず、安全レベルが高く表示されるため、本当に危険と通知すべき事態において運転者がその警告の判断を間違える可能性があるためである。
【0058】
また、ブレーキをかけるタイミングについても、エンジンブレーキを使用して十分に減速した後にフットブレーキでブレーキをかける人や、減速をほとんどフットブレーキに頼る人など運転者によってまちまちである。赤信号で停車するときにフットブレーキで減速する場合は、前方車両との車間距離が一次的に詰まる場合があるが、それは、本人が障害物を認識して運転している場合が多い。従って、フットブレーキを主に利用して自車を減速させる運転者については、安全レベル検出部142が安全レベルを検出する際の車間距離や相対速度情報の安全レベルを判断する閾値を上げるよう制御する。これにより、本人にとっては通常の運転をしているにもかかわらず、安全レベルが高く表示されることがなくなり、本当に危険と通知すべき事態において運転者がその警告の判断を間違えることがない。
【0059】
また、高齢者が運転する場合は、若い運転者と比較して、危険に対する判断能力が低下している。従って、安全レベル検出部142は、安全レベルを判断する際、若い運転者よりも早めに危険を通知する必要がある。従って、車間距離、相対速度情報などを用いて安全レベル検出部142が安全レベルを判断する際の閾値を下げるよう制御することで、危険を早めに通知することができる。
【0060】
また、安全レベル検出部142が学習した通常の運転者とは異なる運転者が運転する場合がある。その場合、安全レベル検出部142はこれまで学習してきた運転者の癖(車間距離のとり方、ブレーキをかけるタイミングなど)と異なるか否か判断し、異なれば予め定められたデフォルトの安全レベル判断用の通常設定テーブルに差し替えて運転支援制御を実施するように構成する。これにより、通常と異なる運転者が、運転を行う場合でも、適切な安全レベルの検出を行うことができる。
【0061】
また、初心者についても同様に安全レベルの判断の閾値またはテーブルデータを低く設定するように構成すれば上記同様の効果を奏することは言うまでもない。さらに、初心者や高齢者については、対応する閾値またはテーブルデータを運転者に関連付けて予め登録できるように構成しておいてもよいことは言うまでもない。
【0062】
次に、運転者が自車操作している場合に、安全レベル検出部142がその自車操作の情報に基づいて安全レベルを決定する動作について説明する。この場合、安全レベル検出部142は、入力端子25を介して入力される自車のアクセル情報、ブレーキ情報、方向指示器操作情報に基づき自車の安全レベルを判断する。図9は、この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部142の動作の一例を示すフローチャートである。なお、図9では、安全レベル検出部142が自車操作の情報としてブレーキ、操舵角などの運転操作情報を用い、安全レベルを判断する場合を例に説明する。
【0063】
運転が開始されると安全レベル検出部142は入力端子25を介して入力されるブレーキ情報を取得する(ステップST51)。そして、入力端子24を介して入力される自車の速度情報、およびブレーキ情報(具体的にはフットブレーキの踏み込み情報)から運転者が急ブレーキをかけたか否か判断する(ステップST52)。具体的には、エンジンブレーキなどで自車速度を減速することなく、ブレーキを予め定められた量以上、踏み込んだ場合を急ブレーキと判断する。急ブレーキがかけられたと判断すると(ステップST52“Yes”)、安全レベル検出部142は自車の安全レベルを5に設定し(ステップST53)、ネットワーク管理部141に安全レベルを通知する(ステップST54)。
【0064】
一般的に、急ブレーキは、運転者が前方の障害物を認識し、衝突を回避する際にかけられる。従って、運転者は自車が危険な状況にあることを把握している。よって、本実施の形態1では、運転者が安全に止まることができない可能性があると判断してブレーキをかけた場合は、安全レベル検出部142が安全レベルを一番危険な状況である5であると判断する。そして、ネットワーク管理部141が前方および後方のカメラ2a,2bについては解像度最大、フレームレート最大で、低遅延な画像圧縮アルゴリズム(本実施の形態1では、フレーム内で高能率符号化を施すJPEGを使用するものとする)を指示するとともに、HDDレコーダ8に対してはカメラ2a,2bより出力される映像データを優先的に記憶するよう指示を出す。これにより、事故が発生した場合の状況などがHDDレコーダ8に記憶され、事故原因の特定などが効率よくできる。
【0065】
また、安全レベルが高ければ、ネットワーク管理部141がカーナビ1内のLCD16に前方のカメラ2aで撮像した画像と、後方のカメラ2bで撮像した画像を表示するよう指示を出すとともに、リア表示装置3a、およびリア表示装置3bに対してもカメラ2aの画像を表示するよう指示を出す。これにより、後部座席に座っている同乗者に対しても自車の危険状態を通知することができる。
【0066】
また、ネットワーク管理部141は、急ブレーキがかけられたことを検出すると、車載ネットワーク9に接続されている各機器に対して、カメラ2からの映像データ以外のデータの出力を一時中断するよう同報通信により通知する。これは、自車が障害物などに追突する可能性がある危険な状況にあるため、カメラ2の映像データのHDDレコーダ8への記録、LCD16およびリア表示装置3a,3bへの画面表示を優先するため実施する。
【0067】
一方、急ブレーキを踏んでいないと判断した場合は(ステップST52“No”)、安全レベル検出部142は、入力端子24,25より入力される自車の速度、操舵角および方向指示器の情報を確認して(ステップST55)、これらの情報から運転者が急ハンドルを切っていないかを判断する。具体的には、安全レベル検出部142が自車の速度情報とハンドルの操舵角、操舵角速度情報とに基づき急ハンドルを判断するが、方向指示が出され、運転者が曲がることを意識している場合は急ハンドルと判断する閾値を上げるように制御する。これにより、交差点などを左折する場合など必要のない場所での急ハンドル検出を防ぐことができる。ただし、通常走行では、急ハンドルと判断する条件であっても、方向指示が出ていた場合は、急ハンドルと判断しない場合がある。
【0068】
安全レベル検出部142は、急ハンドルを切っていないと判断すると(ステップST56“No”)、安全レベルを1に設定し(ステップST57)、ネットワーク管理部141に通知する(ステップST54)。
一方、急ハンドルを切ったと判断すると(ステップST56“Yes”)、安全レベル検出部142は安全レベルを4と判断し(ステップST58)、ネットワーク管理部141に通知する(ステップST54)。
【0069】
ステップST54にて安全レベル5が通知されると、ネットワーク管理部141はカメラ2a〜2dに対して解像度、およびフレームレートを最大とし、低遅延な画像圧縮アルゴリズム(急ブレーキのときと同様、フレーム内で高能率符号化を施すJPEGを使用するものとする)を採用するとともに、画像データレート10Mbps程度になるよう指示を出す。
【0070】
上記指示が完了すると、続いてネットワーク管理部141は、HDDレコーダ8に対して、カメラ2a〜2dより出力される映像データを優先的に記憶するよう指示を出す。これにより、事故が発生した場合の状況の映像がHDDレコーダ8に記憶され、事故原因の特定などが効率よくできる。また、急ブレーキをかけたと判断した場合と同様に、ネットワーク管理部141は車載ネットワーク9に接続されている各機器に対して、カメラ2からの映像データ以外のデータの出力を一時中断するよう同報通信により通知する。これは、自車が障害物などに追突する可能性がある危険な状況にあるため、映像データのHDDレコーダ8への記録を優先するために実施する。
【0071】
次に、安全レベル検出部142が、カーナビ制御部17より出力される道路情報に基づいて安全レベルを決定する動作について説明する。図10は、この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部142の動作の一例を示すフローチャートである。
【0072】
安全レベル検出部142は、運転が開始されると、カーナビ制御部17から出力される交差点情報、見通しの悪いカーブの情報を入力端子27を介して取得する(ステップST61)。
【0073】
安全レベル検出部142は、その情報を用いて前方に交差点があるか確認し(ステップST62)、交差点があった場合は(ステップST62“Yes”)現在の自車の安全レベルに1を加算する(ステップST63)。1を加算した安全レベルが、前方の交差点を通過するまでの暫定安全レベルとなる。安全レベル検出部142は暫定安全レベルをネットワーク管理部141へ通知し、ネットワーク管理部141からカメラ2に対して暫定安全レベルに基づいた制御情報が出力される(ステップST64)。
【0074】
一方、前方に交差点がないと判断した場合(ステップST62“No”)、安全レベル検出部142はさらに、前方に見通しの悪いカーブがあるか道路情報を元に確認する(ステップST65)。見通しの悪いカーブがないと判断した場合(ステップST65“No”)、安全レベル検出部142は現在の安全レベルをそのまま維持する(ステップST66)。
【0075】
一方、見通しの悪いカーブがあった場合(ステップST65“Yes”)、安全レベル検出部142は現在の自車の安全レベルに1を加算する(ステップST67)。1を加算した安全レベルが、前方の見通しの悪いカーブを通過するまでの暫定安全レベルとなる。安全レベル検出部142は暫定安全レベルをネットワーク管理部141へ通知し、ネットワーク管理部141からカメラ2に対して暫定安全レベルに基づいた制御情報が出力される(ステップST68)。
【0076】
そして、ステップST69にて、安全レベル検出部142はネットワーク管理部141へ安全レベルを通知する。なお、ネットワーク管理部141は、安全レベル検出部142から出力される安全レベルに応じて、車載ネットワーク9に接続された各機器に通信帯域、優先度などの情報を通知する。
【0077】
上述したように、カーナビ1のカーナビ制御部17から出力される道路情報に基づいて安全レベルを決定してカメラ2を制御することにより、通常、低消費電力モードで動作しているカメラ2の障害物検出精度が自動的に向上し、障害物を検出しやすくなる。また、上述の動作により、通常走行時については、不必要にカメラ2の解像度および障害物検出アルゴリズムを高度にする必要がなくなり、低消費電力化が実現できるとともに、交差点など、事故の多発する場所では自動的に自車の安全状態の監視レベルを向上させることができる。
【0078】
次に、上述のギア情報、ブレーキ情報、障害物検出情報などの情報を用いて、安全レベル検出部142が安全レベルを総合的に判断する動作を説明する。図11は、この発明の実施の形態1に係る車載ネットワーク装置における安全レベル検出部142の動作の一例を示すフローチャートである。安全レベルの検出動作が開始されると、安全レベル検出部142は図4、図7、図9を並行して実施し、図11に示すフローチャートに従って安全レベルを判断する。
【0079】
ステップST71において、安全レベル検出部142は図4のフローチャートに示す動作により決定した、運転操作に基づく安全レベルの検出結果“H”を取得する。
続くステップST72において、安全レベル検出部142は図7に示すフローチャートに示す動作により決定した、カメラ2の障害物検出に基づく安全レベルの検出結果“C”を取得する。
【0080】
そして、安全レベル検出部142は、取得した安全レベル“H”と“C”とを比較する(ステップST73)。比較の結果、“H”>“C”であれば変数“A”に“H”を代入し(ステップST74)、“H”≦“C”であれば変数“A”に“C”を代入する(ステップST75)。
【0081】
続くステップST76において、安全レベル検出部142は図9のフローチャートに示す動作により決定した、急ブレーキ、急ハンドル検出に基づく安全レベルの検出結果“B”を取得する。そして、安全レベル検出部142は、取得した安全レベル“B”と変数“A”とを比較する(ステップST77)。比較の結果、“A”>“B”であれば変数“AN”に“A”を代入し(ステップST78)、“A”≦“B”であれば変数“AN”に“B”を代入する(ステップST79)。
【0082】
続くステップST89において、安全レベル検出部142はカーナビ制御部17の道路情報に基づき、前方に交差点または見通しの悪いカーブなどが検出された場合に安全レベルを“AN+1”とし(ステップST81)、検出されなかった場合は安全レベルを“AN”とする(ステップST82)。
【0083】
上述のように構成することにより、異なる複数の情報に基づいて総合的に判断した安全レベルを効果的に活用できる。また、1つの検出手段でも安全レベルの検出を行うことはできるが、ギア情報などの状態管理情報、方向指示器情報などの運転操作情報、カメラ2による障害物検出情報、急ブレーキ、急ハンドルなどの運転者が危険を察知して行った運転操作の行為、カーナビ制御部17による道路情報それぞれから決定された安全レベルを用いて総合的な安全レベルを判断することにより、自車の安全レベルを確実に判断することができ、運転者は自車をより安全に運転することができる。
【0084】
次に、ネットワーク管理部141の動作について説明する。ネットワーク管理部141は、安全レベル検出部142により出力される上述の安全レベル情報およびカメラ2の制御情報に基づき、車載ネットワーク9に接続されている各機器に与える通信帯域および優先度を通知する。ネットワーク管理部141は、その際、画像圧縮方式などの情報についても各機器に通知する。
【0085】
図12は、この発明の実施の形態1に係る車載ネットワーク装置におけるネットワーク管理部141のカメラ2の制御情報を示す説明図である。ネットワーク接続機器管理部143は、安全レベルに応じて、カメラ2a〜2dそれぞれへ与える制御情報を図12に示すようなテーブルデータとして予め保持している。ネットワーク管理部141は、このテーブルデータを参照して、安全レベル検出部142が出力する安全レベルに応じた制御情報を各カメラ2a〜2dへ通知する。
【0086】
図において、例えば安全レベル1では自車の周囲に危険物がないため、ネットワーク管理部141はカメラ2に対してフレームレートを10フレーム/s、解像度を1/4、画像圧縮方式をMPEGとする情報を通知し、画像の圧縮率を上げるように指示する。また、ネットワーク管理部141は、カメラ2に対し、画像圧縮による画像の遅延量を300ms程度、ネットワークの通信帯域を1Mbps程度、優先度を低く制御する。なお、各機器の優先度設定の詳細は後述する。
また、例えば安全レベル5の場合には、ネットワーク管理部141はテーブルデータに従って、フレームレートを30フレーム/s、解像度を1、画像圧縮方式を遅延量の少ないJPEG、遅延量を30ms程度、通信帯域を10Mbps、優先度を最優先に制御する。
【0087】
なお、カメラ2a〜2dは安全レベルに基づき一律に制御する必要はなく、例えば、運転者が急ブレーキを踏んで安全レベルが5になった場合は、前方および後方のカメラ2a,2bを安全レベル5に応じて制御すればよい。他方、左右のカメラ2c,2dは安全を確認する上では例えば安全レベル2または3に制御して撮像を行わせればよい。この制御により、不必要にカメラ2に通信帯域を与えることなく、限られた車載ネットワーク9の通信帯域を有効に活用することができる。
【0088】
また、ネットワーク管理部141は、メインとなるカメラ2の制御設定以外にも、サブおよび補助となるカメラ2の制御用のテーブルデータを保持して、安全レベルを決定した際の自車の状況に応じてカメラ2a〜2dをメイン、サブ、補助に分類し、その設定をカメラ2a〜2dそれぞれに通知してもよい。なお、メイン、サブ、補助の切り替えは、障害物を検出したカメラ2の取り付け位置(前方、後方、左右)、運転者の運転操作(右左折、進路変更、バック走行など)、運転者の運転行為(急ブレーキ、急ハンドル)などに基づく。切り替えについては、ネットワーク管理部141が切り替えの条件に応じたテーブルデータを予め保持し、そのテーブルを参照してカメラ2a〜2dのうちのどのカメラをメインに、またはサブ、補助に分類するか決定すればよい。
【0089】
次に、ネットワーク管理部141による各機器の優先度の設定動作を説明する。図13は、この発明の実施の形態1に係る車載ネットワーク装置における各機器の出力データの優先度を示す説明図である。ネットワーク接続機器管理部143は、安全レベルに応じて、車載ネットワーク9に接続されている各機器の優先順位の情報を図13に示すようなテーブルデータとして予め保持している。ネットワーク管理部141は、このテーブルデータを参照して、安全レベル検出部142が出力する安全レベルに応じた優先度情報をカーナビ1、カーオーディオ5、DVDプレイヤ6、ゲーム機7、カメラ2a〜2dへ通知する。
【0090】
図において、優先度レベルは1〜8の8段階を有しており、優先度1が最も優先度が高く、優先度8が最も優先度が低い。本実施の形態1では、安全レベル4または5の場合、カーオーディオ5、DVDプレイヤ6、ゲーム機7から出力されるデータの優先度が8に設定されている。これは、優先度が低く、ネットワークの通信帯域が足りない場合にはこれらの機器のデータを落としてもよいことを意味している。これにより、例えば前方の車両が急ブレーキを踏んだことに対応して自車の運転者が急ブレーキを踏んだ場合など、急に安全レベルが変化した場合においても、カメラ2より出力される映像データに優先的に通信帯域が割り当てられる。その結果、運転者および同乗者に対して、危険を通知できるとともに、その状況をHDDレコーダ8に記憶させることができる。
【0091】
なお、安全レベル検出部142が安全レベル4または5を検出した場合は、車載ネットワーク9に接続されている各機器に対して、ネットワーク管理部141は先ず同報通信により安全レベルを通知する。各機器は、安全レベル4または5を通知されると、優先度が7または8に設定される機器は一時、映像データの配信を中止して、ネットワーク管理部141より通信帯域が割り当てられるとその通信帯域で映像データの送信を再開する。
【0092】
自車が安全と判断された場合は、カメラ2から出力される映像データの優先順位が最も低く設定される。一方、車載ネットワーク9に接続された各機器から出力されるネットワーク制御データの優先順位が最も高く設定される。
ネットワーク制御データとは、具体的には、ネットワーク管理部141から各機器への通信帯域割り当て結果および優先度などの通知情報、リモコン受光部18から出力されるユーザが入力した各機器制御の制御コマンド情報、DVDプレイヤ6で映画コンテンツなどを再生する際の著作権管理のための制御コマンド情報、ならびにゲーム機7の操作コマンド情報などである。これらの情報信号は、ネットワークを管理する上で重要であり、また、割り当てる通信帯域も少ないので、優先順位が最も高く設定される。
【0093】
一方、車載ネットワーク9に接続された各機器について、安全レベルが1の場合、ネットワーク管理部141はゲーム機7を優先度2(2番目に高い優先順位)に設定する。これは、例えば、シューティングゲームなどは俊敏な応答性能が要求されるため、リア表示装置3a,3bなどにゲーム画面を表示する場合に遅延労を小さく抑える必要があるためである。よって、ネットワーク管理部141は、安全レベルが低い場合(図13では安全レベル3まで)についてゲーム機7から出力される映像データの優先度を上記ネットワーク制御データの次に高く設定する。その際、ネットワーク管理部141は、映像データの画像符号化方式についても、処理遅延の小さなJPEGに切り替えるようゲーム機7へ指示する。
【0094】
同様に、安全レベル1の場合、カーオーディオ5から出力されるオーディオデータの優先度を3、DVDプレイヤ6から出力される映像データの優先度を4に設定する。カーオーディオ5はCDからのオーディオ再生に加え、ラジオ受信などを実施しており、運転者が必要とする渋滞情報や天気情報などを受信する場合があるため、図13では優先度を応答性能が要求されるゲーム機7の次に高く設定している。
【0095】
本実施の形態1では、各機器に対する優先度の割り当てを、安全レベル1の場合の割り当てを基準にして、その他の安全レベルに対応した優先度を割り当てている。安全レベルが1から2に上がると、ネットワーク管理部141はテーブルデータに従って、カメラ2より出力される映像データの優先度を4に上げるとともに、データの遅延量などをあまり気にしなくてよいDVDプレイヤ6からの映像データの優先度を5に下げる。その際、カメラ2から出力される映像データの使用帯域が増えるので、ネットワーク管理部141では各機器の使用帯域に基づきネットワークの通信帯域の再割り当てを実施する。ただし、安全レベル2の場合は自車の危険度はあまり高くないので、ネットワーク管理部141は、各機器が再生している映像データまたはオーディオデータが途切れないように通信帯域の再設定を実施する。
【0096】
安全レベル3は、自車の周囲に事故を起こす可能性がある障害物などがあると判断されている状況である。そのため、ネットワーク管理部141は、カメラ2の映像データの優先度を3に上げるとともに、カーオーディオ5のオーディオデータの優先度を4に、DVDプレイヤ6の映像データの優先度を5に下げる。この場合、自車が事故を起こす可能性があるほど安全レベルが高いわけではないので、ネットワーク管理部141は安全レベルが2の場合と同様に、各機器が再生している映像データまたはオーディオデータが途切れないように通信帯域の再設定を実施する。
【0097】
安全レベル4は、自車が事故を起こす可能性が高いと判断されている状況である。そのため、ネットワーク管理部141は、先ず同報通信にて各機器に安全レベルが4になったことを通知する。本通知を受けると、カメラ2を除く各機器は、優先度が8となったと判断して映像データおよびオーディオデータの送信を一時中断し、カメラ2に対して、ネットワークの通信帯域を開放する。なお、映像データ送信の再開は、上述したように、ネットワーク管理部141から出力される通信帯域割り当て情報に基づく。
一方、各カメラ2a〜2dは、ネットワーク管理部141から出力される制御情報に基づき、メイン、サブまたは補助の設定に切り替えて、動作する。
【0098】
さらに、安全レベル5になると、ネットワーク管理部141は、安全レベル4の場合と同様に、車載ネットワーク9に接続された各機器に対して同報通信で安全レベルを通知する。カメラ2を除く各機器は、この通知を受けると、安全レベルが4の場合と同様に映像データおよびオーディオデータの送信を一時中断し、ネットワークの通信帯域を開放する。カメラ2a〜2dは、ネットワーク管理部141から出力される制御情報に基づき、メイン、サブまたは補助の設定に切り替えて、動作する。
【0099】
なお、ネットワーク管理部141が安全レベルに応じて各機器に出力する設定の情報は、ネットワーク接続機器管理部143にも通知される。そして、各機器の動作に関する情は、ネットワーク接続機器管理部143によって管理される。
【0100】
次に、ネットワーク管理部141でのネットワーク通信帯域の管理動作を説明する。図14は、この発明の実施の形態1に係る車載ネットワーク装置のネットワーク通信帯域管理の動作を示すフローチャートである。図において、ネットワーク管理部141は、先ず、車載ネットワーク9に接続された各機器からの通信帯域割り当て要求があるか確認する(ステップST91)。通信帯域割り当て要求とは、例えば同乗者がリアシートで新たにDVDを鑑賞するためにDVDプレイヤ6を操作して再生を開始した場合に、DVDプレイヤ6が出力する通信帯域割り当て要求情報等である。
【0101】
通信帯域割り当て要求情報がネットワーク管理部141に入力された場合(ステップST91“Yes”)、ネットワーク管理部141はネットワーク接続機器管理部143を参照して、現在使用している通信帯域の情報を取得する(ステップST92)。そして、ネットワーク管理部141は未使用の通信帯域で帯域確保できるか判断する(ステップST93)。未使用の通信帯域で帯域確保が可能な場合は(ステップST93“Yes”)、通信帯域割り当て要求情報を出力した機器に対し、ネットワーク管理部141はテーブルデータに従ってネットワークの通信帯域、優先度および映像データに施す画像圧縮方式を設定し(ステップST94)、これら各情報を通知する(ステップST95)。
【0102】
一方、未使用の通信帯域で帯域確保ができなかった場合(ステップST93“No)、ネットワーク管理部141はネットワーク接続機器管理部143を参照して、車載ネットワーク9に接続された各機器が使用する通信帯域の情報を取得し、この情報を用いて各機器に割り当てるネットワークの通信帯域を再計算するとともに、優先度および画像圧縮方式を再設定する(ステップST96)。続くステップST97にて、ネットワーク管理部141は各機器に対して、再計算した通信帯域割り当て、優先度および画像圧縮方式の情報を再通知し、その後、通信帯域割り当て要求情報を出力した機器に対して、再計算して確保した通信帯域割り当て、優先度および画像圧縮方式の情報を通知する。
【0103】
他方、各機器からの通信帯域割り当て要求がなければ(ステップST91“No”)、ネットワーク管理部141は、安全レベル検出部142から安全レベルの情報を取得し、その安全レベルに応じたカメラ2a〜2dの制御情報をテーブルデータから取得する(ステップST98)。ネットワーク管理部141は、取得した安全レベルまたは制御情報に変化があったか確認し、変化がなければ(ステップST99“No”)、次に各機器からの通信帯域割り当て要求情報が入力されるまで待機する(ステップST91)。
【0104】
安全レベルまたは制御情報に変化があれば(ステップST99“Yes”)、ネットワーク管理部141は先ず安全レベルが4以上か判断し(ステップST100)、安全レベルが4以上であった場合に(ステップST100“Yes”)、車載ネットワーク9の各機器に同報通信で安全レベルを通知する(ステップST101)。
なお、ステップST101で同報通信を受信したカメラ2を除く各機器は、車載ネットワーク9への映像データおよびオーディオデータの送信を一時中止し、ネットワーク管理部141が送信する通信帯域割り当て情報が入力されるまで待機する。
【0105】
一方、安全レベルが4未満の場合は(ステップST100“No”)、ネットワーク管理部141はネットワーク接続機器管理部143を参照して、各機器が現在使用している通信帯域の情報を確認する(ステップST102)。そして、ネットワーク管理部141は、検出した安全レベルの情報およびカメラ2からの障害物検出情報に基づき、カメラ2a〜2dそれぞれをメイン、サブ、補助に分類し、分類したカメラ2a〜2dの制御情報および安全レベルの情報を用いて、カメラ2a〜2dそれぞれに割り当てる通信帯域をテーブルデータに従って設定する(ステップST103)。
【0106】
ステップST103にて割り当てられたカメラ2a〜2dそれぞれの通信帯域の情報を元に、ステップST104にてネットワーク管理部141が各機器に割り当てる通信帯域を再計算する。その後、ネットワーク管理部141は安全レベルの情報に基づき、カメラ2を含む車載ネットワーク9に接続された各機器の優先度(ステップST105)および画像圧縮方法(ステップST106)を設定する。ステップST107において、ネットワーク管理部141は新たに設定したそれらの情報を各機器に通知する。
【0107】
次に、ネットワーク管理部141でのネットワーク通信帯域の通知動作(図14のステップST97およびST107に相当するサブルーチン)を説明する。本実施の形態1では、通信帯域などの情報を車載ネットワーク9に接続された各機器に対して割り当てる際、安全レベルに応じて通知順序を切り換える。具体的には、安全レベルが4以上の場合にはカメラ2a〜2dを除く各機器からの映像データおよびオーディオデータの送信は停止する。従って、この場合はカメラ2a〜2dに通信帯域を割り当てても車載ネットワーク9の通信帯域がオーバーフローすることはない。よって、安全レベルが4以上の場合には、カメラ2a〜2dに対して最初に通信帯域割り当て情報の通知を実施して、通信帯域を割り当てる。
一方、安全レベルが4未満の場合は、カメラ2a〜2dから通信帯域割り当てを実施すると、車載ネットワーク9の通信帯域がオーバーフローする可能性がある。よって、通信帯域変更前の優先度の高い機器から順に通信帯域割り当て情報を通知して通信帯域を割り当てるようにし、通信帯域がオーバーフローすることを防ぐ。
【0108】
図15は、この発明の実施の形態1に係る車載ネットワーク装置のネットワーク通信帯域通知の動作を示すフローチャートである。ネットワーク管理部141が通信帯域割り当て情報の通知を開始する際(図14のステップST97またはST107)、ネットワーク管理部141は先ず安全レベルを確認する(ステップST111)。安全レベルが4以上であった場合は(ステップST111“Yes”)、ネットワーク管理部141は先ずメインに分類したカメラ2に対して通信帯域割り当て情報を通知する(ステップST112)。メインのカメラ2への通知が完了すると、ネットワーク管理部141は続いてサブに分類したカメラ2に対して通信帯域割り当て情報を通知する(ステップST113)。サブのカメラ2への通知が完了すると、ネットワーク管理部141は続いて補助に分類したカメラ2に対して通信帯域割り当て情報を通知する(ステップST114)。
【0109】
一方、安全レベルが4未満の場合(ステップST111“No”)、またはステップST112〜ST114の処理が完了すると、ネットワーク管理部141は変数“I”に「1」を代入する(ステップST115)。この変数“I”は通信帯域の再割り当て開始前の優先度を示す。
【0110】
ネットワーク管理部141はネットワーク接続機器管理部143を参照して、通信帯域の再割り当て開始前の優先度が高い機器順に、通信帯域割り当て情報を通知する。具体的には、ネットワーク管理部141が、ステップST116にて変数“I”に一致する優先度の機器に対して通信帯域割り当て情報を通知し、続くステップST117にて変数“I”に一致する全ての機器への通信が完了したことを確認して、ステップST118にて変数“I”に1を加算する。ネットワーク管理部141は変数“I”が「9」になるまでステップST116〜ST118の処理を繰り返し(ステップST119)、「9」になった時点で通信帯域割り当て情報の通知を完了する。
【0111】
上述のように通信帯域割り当て情報を各機器に通知することで、限られた車載ネットワーク9の通信帯域において、ネットワーク上を保有帯域以上のデータが流れることはなく、ネットワーク通信帯域のオーバーフローを防止することができる。また、カメラ2からの映像データに対して最優先で通信帯域が割り当てられるので、事故直前のカメラ2の撮像画像を効果的にHDDレコーダ8に記憶させることができる。また、リア表示装置3a,3bにカメラ2の映像を表示することで、同乗者に対して危険を通知できる。
【0112】
以上のように、実施の形態1によれば、車載ネットワーク9を複数の映像データまたはオーディオデータが流れている場合に、安全レベル検出部142で検出した安全レベルに基づいて、各接続機器のネットワーク使用帯域、優先度、画像圧縮方式および遅延量、ならびにカメラ2a〜2dの障害物検出アルゴリズムなどを切り換えるように構成した。
そのため、安全レベルが低く、自車の周囲に障害物などがない場合は、不必要にカメラ2a〜2dに対してネットワーク使用帯域を割り当てずに、カーオーディオ5、DVDプレイヤ6、ゲーム機7から再生出力される映像データおよびオーディオデータを高画質、高音質、低遅延で通信できる。また、カメラ2a〜2dの映像を記録するHDDレコーダ8についても記憶する撮像画像のデータ量が小さくなるため、不必要なデータを記憶することなく、長時間記憶が実現できる。さらに、カメラ2a〜2dのフレームレート、解像度が小さく抑えられるとともに、障害物検出アルゴリズムも簡単なものに切り換えて演算処理ステップ数を小さく抑えられるため、不必要な電力消費を抑制することができる。
【0113】
他方、安全レベルが高く、自車が事故を起こす可能性のある場合は、カメラ2a〜2dのネットワーク使用帯域および優先度を高くするとともに、画像圧縮アルゴリズムを遅延量の小さいものに切り換え、さらに障害物検出アルゴリズムも高精度のものに切り換えることができる。この結果、もし自車が事故にあった場合でも、カメラ2a〜2dが撮像した事故の様子がHDDレコーダ8に記憶されており、事故原因の究明がより簡単にできる。また、事故直前にリア表示装置3a,3bなどにカメラ2a〜2dの撮像画像を低遅延に表示するため、同乗者に対して危険を事前に通知することができる。
【0114】
なお、上記実施の形態1では、遅延量はカメラ2a〜2dについて制御する場合について説明したが、これに限定されるものではなく、安全レベルに応じてカーオーディオ5、DVDプレイヤ6、ゲーム機7などの各機器から出力する映像データおよびオーディオデータの遅延量を変更するよう制御する構成にしてもよい。この構成の場合にも同様の効果がある。即ち、例えば安全レベルが高い場合はカメラ2a〜2dの映像を優先するため、カーオーディオ5、DVDプレイヤ6、ゲーム機7などの各機器から出力する映像データおよびオーディオデータは遅延量が大きくなるが、安全レベルが低い場合はカメラ2a〜2dから出力されるデータ量が少なくなり優先度も低くなるため、各機器から出力するデータの優先度を高くするとともに遅延量を小さくすることができる。ゲーム機7であれば、遅れていた遅延量を短くするために表示フレームを間引くなどして遅延量を短縮するよう制御すればよい。また、オーディオデータであれば無音期間(曲と曲との間など)をつめて遅延量を小さくするよう制御すればよい。
また、上記実施の形態1では、例えばゲーム機7の画像圧縮方式がJPEGの場合について説明したが、安全レベルが4と非常に高い場合はカメラ2a〜2dに割り当てられる通信帯域が多いため、ゲーム機7の出力についてもMPEGなど遅延量は大きいが圧縮率の高い画像圧縮方式を用いるように構成してもよいことは言うまでもない。
【0115】
また、上記実施の形態1では、自車の速度に応じてブレーキの踏み込み量の基準値を設けておき、その基準値以上に運転者がブレーキを踏み込んだ場合、安全レベル検出部142が急ブレーキをかけたと判断する構成としたが、これに限定されるものではなく、例えばブレーキの踏み込み量について減速時の加速度などから学習するように構成してもよい。この構成の場合には、安全レベル検出部142は各車の踏み込み量の違いに基づくブレーキ量に応じて安全レベルが判断できるので、より効果的な安全レベルの判断を行うことができる。
また、安全レベル検出部142が急ハンドルを切ったことを検出した場合に、カメラ2a〜2dからの映像データをリア表示装置3a,3bまたはLCD16が画面表示するよう構成してもよい。
【0116】
また、上記実施の形態1では、安全レベル検出部142が急ブレーキをかけた、または急ハンドルを切ったと判断した場合、カメラ2a〜2dから出力される映像データ以外の、各機器のデータの出力を一時中断する場合について説明したが、これに限定されるものではなく、安全にかかわる各種センサからの情報、自車の走行速度の情報などは車載ネットワーク9に流してもよいことは言うまでもない。また、ネットワークの通信帯域に余裕があれば、DVDプレイヤ6、ゲーム機7からの映像データおよびオーディオデータを車載ネットワーク9に流してもよい。ただし、DVDプレイヤ6、ゲーム機7からのデータについては、ネットワークの通信帯域に余裕がなければ送信する映像パケットを落とし、映像データを車載ネットワーク9に流さないように制御する。これによりネットワークへの負荷を抑えることができ、急ブレーキをかけた、または急ハンドルをきったなど、自車が障害物と衝突を起こす可能性があるような場合に、事故の状況をHDDレコーダ8に記憶できるとともに、自車の危険な状況を運転者および同乗者に通知できるようになる。
【0117】
また、上記実施の形態1では、安全レベル検出部142で安全レベル4以上の場合に安全のため運転者にその旨を通知するように構成したが、これに限定されるものではない。例えば、安全レベル3だった場合にはハンドルに振動を与えてその旨を通知するとともに、LCD16などに障害物が検出されたカメラ2の撮像画像を子画面表示して、運転者に通知する。安全レベル4だった場合にはハンドルに振動を与え、フロントスピーカ4aなどから耳障りでない程度の警告音を出し、さらにLCD16に障害物が検出されたカメラ2の撮像画像を全画面表示して、運転者に通知する。安全レベル5だった場合にはハンドルに振動を与え、フロントスピーカ4a,4bおよびリアスピーカ4c,4dから同乗者全員に聞こえるように警告音を出し、さらにLCD16およびリア表示装置3a,3bに障害物が検出されたカメラ2の撮像画像を全画面表示して、運転者のみならず同乗者にも事故の危険性を通知する。これにより、運転者は自車の安全状況が把握できるので、事故の発生を未然に防ぐ効果がある。また、運転者にハンドルの振動または警告音により警告する際は、障害物を検出したカメラ2の設置位置に応じて振動のパターン、警告音の種類、警告音を出すスピーカなどを変更してもよい。例えば車両左側に危険を検出した場合は、ハンドルの左側のみ振動を与え、車両右側に危険を検出した場合は、ハンドルの右側のみを振動させればよい。
【0118】
また、上記実施の形態1では、HDDレコーダ8にカメラ2a〜2dの撮像した映像データを記憶する場合について説明したが、これに限定されるものではなく、HDDレコーダ8はそれ以外にも自車の速度情報、アクセル、ブレーキ、方向指示器および操舵角などの情報、ならびにカメラ2a〜2dを含む各種センサで計測した障害物までの距離および障害物との相対速度の情報などを時系列に記憶してもよいことは言うまでもない。さらに、車内の音声情報についてもHDDレコーダ8が同時に記憶してもよい。
【0119】
また、上記実施の形態1では、カメラ2a〜2dは撮像した画像を元に障害物の有無、障害物との相対速度を検出するように構成したが、これに限定されるものではなく、障害物の検出はカメラ2a〜2dが撮像画像を元に実施する一方、障害物までの距離および相対速度の検出はミリ波レーザなど他のセンサを用いて実施するように構成してもよい。また、障害物までの距離および相対速度の計測は、カメラ2a〜2dが障害物を検出した場合にのみ実施するように制御し、不必要な電力を消費しないように構成してもよい。
また、ミリ波レーザなど他のセンサを用いて障害物との距離および相対速度を検出する場合は、撮像画像を元に障害物の位置をほぼ特定した後、その障害物に向けてミリ波レーザを照射するよう制御する構成としてもよい。
【0120】
また、安全レベルの検出に利用するカメラ2a〜2dについて、上述したように自車の運転状況に応じて各カメラのうちから撮像開始するカメラを決定し、撮像しないカメラについては消費電力削減のために電源を切る、またはスタンバイモードにするなどの制御を行ってもよいことは言うまでもない。
【0121】
また、安全レベル検出部142による安全レベルの判断基準は、上記実施の形態1に示す基準に限定されるものではない。例えば、安全レベル検出部142は、操舵角情報に基づいて、運転者が急ハンドルを切ったかを判断し、急ハンドルを切ったと判断した場合は事故回避のための操作と判断して安全レベルを5に設定してもよい。その場合、前後左右のカメラ2a〜2dの解像度およびフレームレートを最大に設定するとともに、画像圧縮方式も遅延量の小さいJPEG方式に切り換える。また、車載ネットワーク9の通信帯域をカメラ2の映像データを最優先で流すよう制御する。この構成の場合にも、急ブレーキをかけた場合と同様の効果が得られる。
【0122】
なお、上記実施の形態1では、車載ネットワーク装置の一例として50Mbpsのデータ伝送帯域を持つ光ファイバのネットワークシステムについて説明したが、これに限定されるものではなく、無線LAN、UWB、Bluetooth(登録商標)などの無線を用いた車載ネットワーク、MOST(登録商標)、IDB1394(登録商標)を用いた光ネットワーク、Ethernetを用いた有線ネットワークなど、その他の通信ネットワークを用いたネットワークシステムであってもよい。
この構成の場合でも、自車の周囲の状況、自車の状態(速度など)、操作状態(アクセル、ブレーキ、方向指示器、操舵角など)、道路状況(交差点など)の情報を用いて安全レベルを検出し、その安全レベルに応じて車載ネットワークに接続された各機器のネットワーク通信帯域割り当て、優先度、各機器から出力される映像データの圧縮方式などを制御することにより、上実施の形態1と同様の効果を得ることができる。
【符号の説明】
【0123】
1 カーナビ、2a〜2d カメラ、3a,3b リア表示装置、4a,4b フロントスピーカ、4c,4d リアスピーカ、5 カーオーディオ、6 DVDプレイヤ、7 ゲーム機、8 HDDレコーダ、9 車載ネットワーク、10 車載ネットワーク管理装置、11 CPU、12 PHY、13 MAC、14 ネットワーク帯域管理部、15 表示制御部、16 LCD、17 カーナビ制御部、18 リモコン受光部、19 ROM、20 RAM、21 CPUバス、22 入力端子、23 出力端子。
【特許請求の範囲】
【請求項1】
車載ネットワークに接続された複数の機器に対し、当該各機器が映像データを送受信するための通信帯域を管理する車載ネットワーク装置であって、
自車の周辺状況を示す障害物検出情報、当該自車の走行状態を示す状態管理情報、当該自車の運転者による運転操作を示す運転操作情報を用いて、当該自車の安全レベルを判断する安全レベル検出部と、
前記安全レベル検出部により判断された安全レベルに応じて、前記車載ネットワークに接続された各機器に割り当てる通信帯域を決定するネットワーク管理部とを備えたことを特徴とする車載ネットワーク装置。
【請求項2】
状態管理情報は、自車の速度、加速度、エンジン回転数、およびギアに関する情報であることを特徴とする請求項1記載の車載ネットワーク装置。
【請求項3】
状態管理情報は、地図データから抽出された道路に関する情報であることを特徴とする請求項1記載の車載ネットワーク装置。
【請求項4】
運転操作情報は、アクセル、ブレーキ、方向指示器、ハンドルの操舵角に関する情報であることを特徴とする請求項1記載の車載ネットワーク装置。
【請求項5】
障害物検出情報は、障害物の有無、自車から当該障害物までの距離、および当該障害物の相対速度に関する情報であることを特徴とする請求項1記載の車載ネットワーク装置。
【請求項6】
自車の周辺を撮像し、撮像画像を用いて障害物検出情報を生成する車載カメラを備えたことを特徴とする請求項1記載の車載ネットワーク装置。
【請求項7】
ネットワーク管理部は、安全レベル検出部により判断された安全レベルが危険を示すレベルから安全を示すレベルになるにつれて、車載カメラに割り当てる通信帯域を少なくするとともに、当該車載カメラに対して撮像画像の解像度およびフレームレートを低く抑える制御情報を出力することを特徴とする請求項6記載の車載ネットワーク装置。
【請求項8】
ネットワーク管理部は、安全レベル検出部により判断された安全レベルが基準値以上の場合に、車載ネットワークに接続された各機器に対して、前記安全レベルを同報通信することを特徴とする請求項1から請求項7のうちのいずれか1項記載の車載ネットワーク装置。
【請求項1】
車載ネットワークに接続された複数の機器に対し、当該各機器が映像データを送受信するための通信帯域を管理する車載ネットワーク装置であって、
自車の周辺状況を示す障害物検出情報、当該自車の走行状態を示す状態管理情報、当該自車の運転者による運転操作を示す運転操作情報を用いて、当該自車の安全レベルを判断する安全レベル検出部と、
前記安全レベル検出部により判断された安全レベルに応じて、前記車載ネットワークに接続された各機器に割り当てる通信帯域を決定するネットワーク管理部とを備えたことを特徴とする車載ネットワーク装置。
【請求項2】
状態管理情報は、自車の速度、加速度、エンジン回転数、およびギアに関する情報であることを特徴とする請求項1記載の車載ネットワーク装置。
【請求項3】
状態管理情報は、地図データから抽出された道路に関する情報であることを特徴とする請求項1記載の車載ネットワーク装置。
【請求項4】
運転操作情報は、アクセル、ブレーキ、方向指示器、ハンドルの操舵角に関する情報であることを特徴とする請求項1記載の車載ネットワーク装置。
【請求項5】
障害物検出情報は、障害物の有無、自車から当該障害物までの距離、および当該障害物の相対速度に関する情報であることを特徴とする請求項1記載の車載ネットワーク装置。
【請求項6】
自車の周辺を撮像し、撮像画像を用いて障害物検出情報を生成する車載カメラを備えたことを特徴とする請求項1記載の車載ネットワーク装置。
【請求項7】
ネットワーク管理部は、安全レベル検出部により判断された安全レベルが危険を示すレベルから安全を示すレベルになるにつれて、車載カメラに割り当てる通信帯域を少なくするとともに、当該車載カメラに対して撮像画像の解像度およびフレームレートを低く抑える制御情報を出力することを特徴とする請求項6記載の車載ネットワーク装置。
【請求項8】
ネットワーク管理部は、安全レベル検出部により判断された安全レベルが基準値以上の場合に、車載ネットワークに接続された各機器に対して、前記安全レベルを同報通信することを特徴とする請求項1から請求項7のうちのいずれか1項記載の車載ネットワーク装置。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【公開番号】特開2010−173366(P2010−173366A)
【公開日】平成22年8月12日(2010.8.12)
【国際特許分類】
【出願番号】特願2009−15604(P2009−15604)
【出願日】平成21年1月27日(2009.1.27)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
【公開日】平成22年8月12日(2010.8.12)
【国際特許分類】
【出願日】平成21年1月27日(2009.1.27)
【出願人】(000006013)三菱電機株式会社 (33,312)
【Fターム(参考)】
[ Back to top ]