説明

遠隔操縦車両システム

【課題】通信データ量を軽減して、遠隔操作部での表示遅れを防止する。
【解決手段】遠隔操縦車両100では、点群高さデータaと位置情報Lを基に、三次元マップ生成部104が三次元マップデータcを順次生成して出力する。差分抽出演算部106は、最新の三次元マップデータcと、一つ前の三次元マップデータcとの差分演算をして差分三次元マップデータc1を出力する。差分三次元マップデータc1と位置情報Lは、送受信部107から無線送信され、遠隔操作部200の送受信部201で受信される。差分三次元マップデータc1は、三次元マップ再生部202で順次加算されて再生三次元マップデータc2となる。画面生成部205では、記憶装置203に記憶された再生三次元マップデータc2と、地図データベース204から取り出した地図画面データGとを合成して表示画像データdを生成する。モニタ206には表示画像データdが表示される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は遠隔操縦車両システムに関し、遠隔操縦車両と遠隔操作部との間の通信データ量を軽減して、遠隔操作部での表示遅れの発生を低減するものである。
【背景技術】
【0002】
遠隔操縦車両システムの従来の一例を、図8を参照して概説する。
図8に示すように、遠隔操縦車両10は進行方向前方を撮影するカメラ11を備えており、カメラ11で撮影した画像情報が、遠隔操縦車両10から無線送信される。
なお、「遠隔操縦車両」とは、「自走型ロボット」や「自走型無人車両」など、無人で地上を走行する各種の自走機器を意味するものとして、本明細書では使用する。
【0003】
遠隔操作部20では、遠隔操縦車両10から送信されてきた画像情報を受信して、モニタ21に撮影画像を映し出す。遠隔操作部20には、遠隔操縦車両10におけるハンドル,アクセル,ブレーキ,クラッチ,ギヤシフト機器,エンジン始動装置等に対応する操作部(例えば、遠隔操作用ハンドル等)を備えた遠隔操作コントローラ22が備えられている。操作者Mが、遠隔操作コントローラ22を操作すると、遠隔操作コントローラ22から操作情報が発生する。
【0004】
この操作情報は遠隔操作部20から無線送信され、遠隔操縦車両10で受信される。
遠隔操縦車両10では、受信した操作情報に応じて操縦制御がされる。操縦制御としては、操舵や走行速度や加速度や走行・停止や前進・後進など、遠隔操縦車両10が走行するのに必要な各種の制御がある。
【0005】
上記のような遠隔操縦車両システムによれば、遠隔操縦車両10が、操作者Mから遠く離れていて直接見ることができない場所で走行していても、遠隔操縦車両10の走行制御をすることができる。
したがって、例えば、操作者Mが扱う遠隔操作部20を良好・安全な環境位置に設置した状態で、遠隔操縦車両10を劣悪・危険な環境場所で走行させることが可能となる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2009−118072号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで上述した従来の遠隔操縦車両システムでは、操作者Mが視認できる視野が十分でない等の問題と、表示遅れが発生して遠隔操縦車両の操縦に支障をきたすという問題があった。
これらの問題を以下に順に説明する。
【0008】
まず、視野が十分でない等の問題について説明する。
例えば図8に示すように、遠隔操縦車両10に、前方撮影用の1台のカメラ11のみを備えている場合、このカメラ11で捉えることができる視野範囲の環境状態のみが、遠隔操作部20のモニタ21に撮影画像として映しだされる。このため、操作者Mが確認できる視野範囲が狭い。したがって、遠隔操縦車両10を高性能・俊敏に操縦するためには、確認できる視野が狭すぎることがある。
【0009】
上述したような、操作者Mが確認できる視野範囲が狭いという問題を解決するため、次のような改善策が考えられる。
即ち、遠隔操縦車両10には、同時に撮影する複数台のカメラ(例えば、前方撮影用と右前方撮影用と左前方撮影用の3台のカメラ)を備え、各カメラで得た画像情報を遠隔操作部20に無線送信する。
遠隔操作部20には、カメラ台数に応じた枚数のモニタを備え(例えば、三面鏡のように3枚のモニタを配置して備え)、各カメラで捉えた撮影画像を個別に各モニタに写しだす。
【0010】
しかし、このような改善策を採用した場合には、複数台のカメラ及び複数台のモニタが必要になり、機器コストが高騰すると共に、機器(カメラやモニタ)の設置に広いスペースを要するという問題がある。
【0011】
なお、遠隔操縦車両10には、同時に撮影する複数台のカメラ(例えば、前方撮影用と右前方撮影用と左前方撮影用の3台のカメラ)を備え、遠隔操作部20には1枚のモニタのみを備え、各カメラから送られてくる画像情報を時間的に順次サイクリックに切り替えて、各カメラで捉えた撮影画像を順次サイクリックに1枚のモニタに表示することもできる。
【0012】
この場合にはモニタ枚数の削減はできるが、遠隔操縦車両10の周囲環境を把握しにくくなるという問題がある。
【0013】
次に、表示遅れが発生して遠隔操縦車両の操縦に支障をきたすという問題について説明する。
走行している遠隔操縦車両10を高性能・俊敏に操縦(運転)するためには、遠隔操縦車両10の位置からみた現実の環境状態の変化に応じて、モニタ21に表示する撮影画像がタイムラグなく追従して変化していくことが必要である。このためには、大容量の画像信号を速い通信速度で伝送する必要がある。
【0014】
しかし現実には、環境条件によっては十分な通信容量及び通信速度を確保できない条件となることがあり、モニタ21での撮影画像の表示に表示遅れが発生して、遠隔操縦車両10の操縦に支障をきたす恐れがあった。
【0015】
なお、動画圧縮技術(一般的な、MPEGやH.264など)を利用して、画像情報を圧縮して送信すれば、通信容量を低減することはできるが、画像の圧縮・伸張処理に関して画像のフレーム蓄積が必要となり、結局、撮影画像の表示遅れに繋がってしまう。
【0016】
本発明は、上記従来技術に鑑み、通信データ量を軽減して、遠隔操作部での表示遅れのない遠隔操縦車両システムを提供することを目的とする。
【課題を解決するための手段】
【0017】
上記課題を解決する本発明の構成は、
遠隔操縦車両と遠隔操作部とでなり、
前記遠隔操縦車両は、
前記遠隔操縦車両の周囲に存在する周囲物体を検出して周囲物体検出データを得る周囲物体検出手段と、
前記車両の位置情報を取得する位置情報取得手段と、
前記周囲物体検出データを基に三次元マップデータを順次出力する三次元マップ生成部と、
前記三次元マップ生成部から順次出力された三次元マップデータを記憶する記憶装置と、
前記三次元マップ生成部から出力された最新の三次元マップデータと、前記記憶装置に記憶されている三次元マップデータのうち最新の三次元マップデータよりも前の三次元マップデータとの差分を演算して差分三次元マップデータを出力する演算部と、
前記差分三次元マップデータと、前記位置情報を無線送信する車両側の送受信部とを有し、
前記遠隔操作部は、
無線送信された前記差分三次元マップデータと、前記位置情報を受信する操作側の送受信部と、
順次受信した前記差分三次元マップデータを基に再生した三次元マップデータを、前記位置情報に応じて画像表示する画面表示部とを有することを特徴とする。
【0018】
また本発明の構成は、
遠隔操縦車両と遠隔操作部とでなり、
前記遠隔操縦車両は、
車両に搭載されており、前記車両の周囲にレーザを発射して受信することにより、前記車両の周囲の多数の点の距離・高さを示す点群高さデータを得るレーザレーダと、
前記車両の走行位置を計測して位置情報を出力する位置情報取得センサと、
前記車両の外に設定したマップエリアを有しており、前記位置情報で示す各走行位置での前記点群高さデータを座標変換及び補間演算することにより、前記マップエリアに予め設定した各格子点の高さを求めて各格子点に高さデータを割り振った三次元マップデータを順次出力する三次元マップ生成部と、
前記三次元マップ生成部から順次出力された三次元マップデータを記憶する車両側の記憶装置と、
前記三次元マップ生成部から出力された最新の三次元マップデータと、前記記憶装置から取り出した一つ前の三次元マップデータとの差分を演算して差分三次元マップデータを出力する差分抽出演算部と、
前記差分三次元マップデータと、前記位置情報を無線送信する車両側の送受信部とを有し、
前記遠隔操作部は、
無線送信された前記差分三次元マップデータと、前記位置情報を受信する操作側の送受信部と、
順次受信した前記差分三次元マップデータを加算演算して再生三次元マップデータを求めて出力する三次元マップ再生部と、
前記三次元マップ再生部から出力される再生三次元マップデータを上書き状態で記憶する操作側の記憶装置と、
位置情報と対応させた地図画像情報を蓄積した地図データベースと
受信した位置情報に応じた前記地図画像情報を前記地図データベースから取り出すと共に、取り出した前記地図画像情報と操作側の前記記憶装置から取り出した再生三次元マップデータとを合成して表示画像データを生成する画面生成部と、
前記表示画面データを表示する画面表示部とを有することを特徴とする。
【0019】
また本発明の構成は、
遠隔操縦車両と遠隔操作部とでなり、
前記遠隔操縦車両は、
車両に搭載されており、前記車両の周囲にレーザを発射して受信することにより、前記車両の周囲の多数の点の距離・高さを示す点群高さデータを得るレーザレーダと、
前記車両の走行位置を計測して位置情報を出力する位置情報取得センサと、
前記車両のローリング角度,ヨーイング角度,ピッチング角度を計測する車両姿勢検出センサと、
前記車両の外に設定したマップエリアを有しており、前記位置情報で示す各走行位置での前記点群高さデータと前記ローリング角度,ヨーイング角度,ピッチング角度から、前記車両を基準とした点群高さデータである修正点群高さデータを求め、この修正点群高さデータを前記マップエリアの座標系に座標変換及び補間演算することにより、前記マップエリアに予め設定した各格子点の高さを求めて各格子点に高さデータを割り振った三次元マップデータを順次出力する三次元マップ生成部と、
前記三次元マップ生成部から順次出力された三次元マップデータを記憶する車両側の記憶装置と、
前記三次元マップ生成部から出力された最新の三次元マップデータと、前記記憶装置から取り出した一つ前の三次元マップデータとの差分を演算して差分三次元マップデータを出力する差分抽出演算部と、
前記差分三次元マップデータと、前記位置情報と、車両の走行状態を示すステータス情報を無線送信する車両側の送受信部とを有し、
前記遠隔操作部は、
無線送信された前記差分三次元マップデータと、前記位置情報と、前記ステータス情報を受信する操作側の送受信部と、
順次受信した前記差分三次元マップデータを加算演算して再生三次元マップデータを求めて出力する三次元マップ再生部と、
前記三次元マップ再生部から出力される再生三次元マップデータを上書き状態で記憶する操作側の記憶装置と、
位置情報と対応させた地図画像情報を蓄積した地図データベースと
受信した位置情報に応じた前記地図画像情報を前記地図データベースから取り出すと共に、取り出した前記地図画像情報と操作側の前記記憶装置から取り出した再生三次元マップデータとを合成して表示画像データを生成して出力すると共に、先行する表示画像データを出力してから後行する表記画像データを出力する間の期間において、前記位置情報で示す位置から前記ステータス情報に含まれる車両の速度において移動する距離に相当する分だけ前記の先行する表示画像データを電子的に移動させた推定表示画像データを生成して出力する画面生成部と、
前記画面生成部から順次出力される前記表示画面データ及び前記推定表示画像データを表示する画面表示部とを有することを特徴とする。
【発明の効果】
【0020】
本発明では、三次元マップデータではなく、最新の三次元マップデータとその一つ前の三次元マップデータとの差である差分三次元マップデータを送信しているため、遠隔操縦車両と遠隔操作部との間での通信容量を少なくすることができる。これにより、通信速度が十分に確保できない環境下でも利用可能となる。
【0021】
また、たとえ、データ送信レートや三次元マップデータの更新レートが、画像表示レートより遅くなったとしても、遠隔操作部において、車両の位置・速度情報から、次に表示すべき画像(に相当する自車位置)を推定し、表示画像及び推定表示画像により表示をすることで、表示レートを落とさずに画面表示が可能となる。
【0022】
また、三次元マップデータの利用により、人や、別の車両などの移動障害物を検出・表示でき、遠隔操作時の障害物回避などの操作がしやすくなる。
【図面の簡単な説明】
【0023】
【図1】本発明の実施例1に係る遠隔操縦車両システムを示すブロック構成図。
【図2】実施例1で用いる遠隔操縦車両を示す構成図。
【図3】点群高さデータを示す模式図。
【図4】マップエリアを示す模式図。
【図5】マップエリアに設定した格子点と点群高さデータを示す模式図。
【図6】遠隔操作部のモニタに表示した表示画像を示す画像図。
【図7】本発明の実施例2に係る遠隔操縦車両システムを示すブロック構成図。
【図8】従来の遠隔操縦車両システムの一例を示すブロック構成図。
【発明を実施するための形態】
【0024】
以下、本発明の実施の形態について、実施例に基づき詳細に説明する。
【実施例1】
【0025】
<全体構成の概要>
図1は本発明の実施例1に係る遠隔操縦車両システムを示すブロック構成図である。
実施例1の遠隔操縦車両システムは、遠隔操縦車両100と遠隔操作部200とで構成されている。
【0026】
遠隔操縦車両100は、図2に示すように、車両101のルーフ上面にレーザレーダ102を備えると共に、図1に示す各種の処理機能部を有している。
図1に示す処理機能部としては、上記のレーザレーダ102の他に、位置情報取得センサ103、三次元マップ生成部104、記憶装置105、差分抽出演算部106、送受信部107、遠隔操縦制御部108、車両姿勢検出センサ109を備えている。
【0027】
遠隔操作部200は、図1に示すように、送受信部201、三次元マップ再生部202、記憶装置203、地図データベース204、画面生成部205、モニタ(画面表示部)206、遠隔操作コントローラ207を備えている。
【0028】
<操縦制御の説明>
この遠隔操縦車両システムの制御機能のうち、操縦制御について先に説明する。
図示しない操作者Mが遠隔操作コントローラ207を操作すると、遠隔操作コントローラ207からは、車両101のハンドル,アクセル,ブレーキ,クラッチ,ギヤシフト機器,エンジン始動装置等の操作機器の操作動作を指示する操作情報S1が出力される。
この操作情報S1は、送受信部201から無線送信される。
【0029】
遠隔操作部200から無線送信された操作情報S1は、遠隔操縦車両100の送受信部107で受信されて、遠隔操縦制御部108に送られる。
遠隔操縦制御部108は、操作情報S1に応じて、車両101のハンドル,アクセル,ブレーキ,クラッチ,ギヤシフト機器,エンジン始動装置等の操作機器の操作動作を制御する。
【0030】
遠隔操縦制御部108からは、車両101のハンドル,アクセル,ブレーキ,クラッチ,ギヤシフト機器,エンジン始動装置等の操作機器の操作状態や車速、加速度等を示すステータス情報S2が出力される。
このステータス情報S2は、送受信部107から無線送信される。
【0031】
遠隔操縦車両100から無線送信されたステータス情報S2は、遠隔操作部200の送受信部201で受信され、遠隔操作コントローラ207に送られる。
遠隔操作コントローラ207は、操作情報S1を出力した結果として、ステータス情報S2がフィードバックされることにより、良好な操縦制御をすることができる。
【0032】
<モニタ表示制御の説明>
次に本発明のポイントとなる、モニタ表示制御について説明する。
【0033】
遠隔操縦車両100のレーザレーダ102は、レーザを発射し、周囲の物体(三次元地形やビルや人や他の車などの障害物)で反射したレーザを受信することにより、レーザレーダ102と周囲物体との距離を各点毎に計測して、点群高さデータaを得る装置である。
【0034】
更に詳細に説明すると、レーザレーダ102は、例えば30〜70本のレーザが縦に一列に並んだもので、水平面内でレーザ照射方向を360度回転しながら、予め決めた回転角度毎に、レーザの発射・受信をすることにより、各点(反射点)に対する距離を計測する。
この距離計測により、車両101の周囲の例えば50〜100mの範囲における例えば1万点の距離計測をする。
【0035】
さらに、各点の距離計測をしたときの、レーザレーダ102の取り付け位置、水平面内でのレーザ照射方向角度と、計測した距離を基に、各点(例えば1万点)の高さを求めて出力する。
このようにして、車両101から見た(車両101に搭載したレーザレーダ102の位置を原点とした)周囲の各点の高さを示すデータを、点群高さデータaと称する。
図3に示すドットは、点群高さデータaを割り振る点群を模式的に示したものである。
【0036】
このように一連の距離計測を連続的に繰り返して、点群高さデータaを次々と求めているため、車両101が走行していく際に、車両101が走行していた各位置での点群高さデータaが求められて出力される。
【0037】
位置情報取得センサ103は、遠隔操縦車両100の地上における走行位置を計測して位置情報(地球表面上の特定の緯度・経度で示す位置情報)Lを出力する。この位置情報取得センサ103としては、例えばGPS(Global Positioning System)位置計測センサ等を用いることができる。
なお予め位置が特定されている複数の基地局と通信することにより、遠隔操縦車両100の位置を特定するセンサを、位置情報取得センサ103とすることもできる。
【0038】
車両姿勢検出センサ109は、車両101のローリング角度,ヨーイング角度,ピッチング角度を時間の経過と共に計測して、計測した継時的に変化していくローリング角度,ヨーイング角度,ピッチング角度を車両姿勢データbとして出力する。
【0039】
三次元マップ生成部104には、図4に示すようなマップエリアMAが予めデータとして設定されている。このマップエリアMAは、車両101の外の予め決めた地球表面上の特定の地点を原点P(0)として、地面と平行な面で地面上に設定した縦1km,横1kmのエリアであり、マップエリアMA上の位置はグローバル座標となる。
なお、図4において、位置P(t1)は、時刻t1における遠隔操縦車両100の走行位置であり、位置P(t2)は、時刻t2における遠隔操縦車両100の走行位置であり、位置P(t3)は、時刻t3における遠隔操縦車両100の走行位置である。
【0040】
マップエリアMAには、マップエリアMAの一部を拡大して示す図5に示すように、多数の縦線と横線で構成した格子線が設定されており、縦線と横線の交点が格子点(図5において白丸(○)の点)として設定されている。
縦線同士の間隔、及び、横線同士の間隔、即ち格子間隔は、例えば50cmとしている。
【0041】
三次元マップ生成部104は、遠隔操縦車両100の走行位置を示す位置情報Lと車両姿勢データbとを取り込み、レーザレーダ102から出力される点群高さデータaを修正して修正点群高さデータa1を求める。
より具体的に説明すると、各位置(車両走行位置)において得られた点群高さデータaに対して、車両姿勢データbで示すローリング角度,ヨーイング角度,ピッチング角度を考慮して演算をすることにより、ローリング角度,ヨーイング角度,ピッチング角度が全て0度になっている車両姿勢となっている車両からみた点群高さデータを求め、これを各位置(車両走行位置)における修正点群高さデータa1とする。
【0042】
このようにして求めた修正点群高さデータa1を、図5に黒丸(●)で示すように、グローバル座標であるマップエリアMAに重ねる。このとき、修正点群高さデータa1を重ねる位置は、マップエリアMAの中で、当該修正点群高さデータa1の基となる点群高さデータaを求めたときの位置データLで示す位置である。
【0043】
そして、修正点群高さデータa1を座標変換及び補間演算をして、図5に白丸(○)で示す各格子点の高さを求めて、各格子点に高さデータを割り振る。
このようにして各格子点に高さデータを割り振ったものが、三次元マップデータcである。三次元マップデータcは、例えば10fps(Flames Per Second)の周期間隔で、三次元マップ生成部104から出力される。
【0044】
三次元マップ生成部104から、例えば10fps(Flames Per Second)の周期間隔で出力された三次元マップデータcは、記憶装置105に次々と記憶されると共に、差分抽出演算部106に送られる。
【0045】
差分抽出演算部106は、最新の三次元マップデータcが入力されると、その一つ前の三次元マップデータcを記憶装置105から取り込み、最新の三次元マップデータcから、その一つ前の三次元マップデータcを減算した、差分三次元マップデータc1を出力する。
なお、最初に三次元マップ生成部104からから三次元マップデータcが出力された時には、その一つ前の三次元マップデータは存在しないので、この場合には、差分三次元マップデータc1は、最初の三次元マップデータcと同じデータになる。
【0046】
また、最新の三次元マップデータcの値が、その一つ前の三次元マップデータcの値より大きいときには、差分三次元マップデータc1の格子点の高さデータ値は正の値になり、最新の三次元マップデータcの値が、その一つ前の三次元マップデータcの値より小さいときには、差分三次元マップデータc1の格子点の高さデータ値は負の値になる。
【0047】
送受信部107は、差分三次元マップデータc1と位置情報Lを、無線送信する。このとき送信する周期間隔は、例えば20fps(Flames Per Second)としている。
【0048】
差分三次元マップデータc1は、最新の三次元マップデータcとその一つ前の三次元マップデータcとの差分のデータであるため、データ容量(通信容量)が小さく、高速な通信速度で伝送することができる。
【0049】
遠隔操作部200の送受信部201は、遠隔操縦車両100の送受信部107から無線送信された差分三次元マップデータc1と位置情報Lを受信する。また、ステータス情報S2も受信する。
【0050】
送受信部201で受信した差分三次元マップデータc1は、三次元マップ再生部202に送られる。また、送受信部201で受信した位置情報L及びステータス情報S2は、画面生成部205に送られる。
【0051】
三次元マップ再生部202は、送受信部201から、例えば20fps(Flames Per Second)の周期間隔で次々と送られてくる差分三次元マップc2を加算(重畳)演算していき、加算(重畳)演算して得たデータを、再生三次元マップデータc2として出力する。再生三次元マップデータc2は、例えば20fps(Flames Per Second)の周期間隔で次々と出力される。
【0052】
再生三次元マップデータc2は、マップエリアMA(図4参照)の各格子点(図5参照)に高さデータを割り振ったものである。
再生三次元マップデータc2は、次々と送られてくる差分三次元マップデータc1のデータ値(正の値、または、負の値)を順に加算(重畳)していったものであるため、遠隔操縦車両100の走行移動や、外部環境の変化(例えば他の車が遠隔操縦車両100の近くを通過した等)に応じて、各格子点の高さデータが変化していく。
【0053】
三次元マップ再生部202から、例えば20fps(Flames Per Second)の周期間隔で次々と出力された再生三次元マップデータc2は、記憶装置203に次々と上書き状態で記憶される。
このため記憶装置203には、最新の再生三次元マップデータc2が記憶される。
【0054】
地図データベース204には、位置情報Lと対応させた地図画像データGが蓄積されている。地図画像データGとしては、航空写真や、コンピュータグラフィックや、過去に取得したカメラ画像等の画像データを採用することができる。
【0055】
画面生成部205は、例えば20fps(Flames Per Second)の周期間隔で、位置情報Lの位置に対応する地図画像データGを地図データベース204から取り出すと共に、記憶装置203に記憶されている再生三次元マップデータc2を取り出す。
そして、取り出した地図画像Gと再生三次元マップデータc2とを合成して、表示画像データdを生成する。
表示画像データdは、地図画像Gに、例えばワイヤーフレーム状の表示をする再生三次元マップデータc2を合成したものとなる。
【0056】
このようにして、画面生成部205では、画像処理演算をすることにより、例えば20fps(Flames Per Second)の周期間隔で、換言すると1/20秒ごとに、表示画像データdを生成している。
【0057】
画面生成部205では、1/20秒ごとに表示画像データdを生成しているが、さらに、
(1)各表示画像データdを生成した時点から、1/60秒後の第1推定表示画像データd1を推定演算し、
(2)各表示画像データdを生成した時点から、2/60秒後の第2推定表示画像データd2を推定演算する。
【0058】
第1推定表示画像データd1は、位置情報Lと、ステータス情報S2に含まれている車速を基に、表示画像データdを、位置情報Lで示す位置から、その時の車速で1/60秒間で移動する距離に相当する分だけ、電子的に移動させた画像データである。
第2推定表示画像データd2は、位置情報Lと、ステータス情報S2に含まれている車速を基に、表示画像データdを、位置情報Lで示す位置から、その時の車速で2/60秒間で移動する距離に相当する分だけ、電子的に移動させた画像データである。
【0059】
画面生成部205は、「表示画像データd,第1推定表示画像データd1,第2推定表示画像データd2」を1セットとした複合表示画像データDを次々と出力する。
表示画像データd,d1,d2の出力周期は、例えば60fps(Flames Per Second)の周期間隔である。
つまり、表示画像データdが出力されてから1/60秒後に、第1推定表示画像データd1が出力され、第1推定表示画像データd1が出力されてから1/60秒後に、第2推定表示画像データd2が出力され、第2推定表示画像データd2が出力されてから1/60秒後に、表示画像データdが出力されるという状態で、各表示画像データd,d1,d2が次々と出力される。
【0060】
モニタ206は、画面生成部205から次々と出力される複合表示画像データD(表示画像データd,d1,d2)で示す撮影画像を表示する(図6参照)。
このため、モニタ206の表示レートは60fps(Flames Per Second)となり、充分に滑らかな撮影画像を表示することができる。
【0061】
なお、モニタ206に表示する撮影画像は、遠隔操縦車両100の車両101のやや上方から車両101の周囲を見渡した画像とするように、画像処理演算がされている。
もちろん、画像処理演算を変えることにより、車両101のフロントガラス及びドアガラスから見渡した画像とすることもできる。
【0062】
結局、送受信部107から送受信部201に送信される差分三次元マップデータc1の送信周期間隔は、例えば20fps(Flames Per Second)として送信容量を低減して速い通信速度を確保しつつ、モニタ206の表示レートは60fps(Flames Per Second)となる結果、表示遅れなく充分に滑らかな撮影画像を表示することができる。
【0063】
つまり、差分三次元マップデータc1のデータ容量が三次元マップデータcに比べて小さく(画像情報と比べると格段に小さく)なり高速通信ができること、差分三次元マップデータc1の送信周期を低減していること、モニタ206での表示レートを上げること、という各要因が共働することにより、表示遅れなく充分に滑らかな撮影画像を表示することができる。
しかも、表示される範囲は広いため、操作者が視認できる視野範囲は広くなり、遠隔操縦車両100を高性能・俊敏に操縦することが可能になる。
【0064】
更に、再生三次元マップデータc2は、前述したように、遠隔操縦車両100の走行移動や外部環境の変化(例えば人や他の車が遠隔操縦車両100の近くを通過した等)に応じて、各格子点の高さデータが変化していくため、モニタ206に表示されるワイヤーフレーム状の表示画像(再生三次元マップデータc2による画像)は、外部環境の変化に応じて変化していく。
このため、人や、別の車両などの移動障害物を検出・表示でき、遠隔操作時の障害物回避などの操作がしやすくなる。
【実施例2】
【0065】
図7は本発明の実施例2に係る遠隔操縦車両システムを示す実施例である。
実施例2では、遠隔操縦車両100のデータ圧縮部110において、位置情報Lと差分三次元マップデータc1を圧縮し、送受信部107は、圧縮されている位置情報Lと差分三次元マップデータc1を無線送信する。
【0066】
また、遠隔操作部200では、圧縮されている位置情報Lと差分三次元マップデータc1を送受信部201で受信し、受信した位置情報Lと差分三次元マップデータc1をデータ伸張部208で伸張している。
【0067】
他の部分の構成及び動作は実施例1と同様であるため、同一機能を果たす部分には同一符号を付して、重複する説明は省略する。
【0068】
実施例2では、位置情報Lと差分三次元マップデータc1を圧縮して送信しているため、通信容量が著しく小さい環境であっても、通信遅れを軽減して、遠隔操縦車両100の遠隔操縦が可能になる。
【0069】
また、送受信部107,201の負担が軽減されるため、送受信部107,201としては、携帯電話等の携帯端末を使用することが可能となる。
この場合には、携帯電話網を利用して情報の送信をするため、遠隔操縦車両100が遠隔操作部200からかなり離れた位置で走行していても、遠隔操縦車両100の操縦が可能になる。
【0070】
なお上記の各実施例では、車両の周囲に存在する周囲物体を検出する周囲物体検出手段として、レーザレーダを採用しているが、周囲物体検出手段としては、レーザレーダの他に、複数カメラを用いたステレオカメラや、計測対象面に適当なパタンを投光して3次元計測を行う能動的ステレオ装置等を用いることもできる。
【符号の説明】
【0071】
100 遠隔操縦車両
101 車両
102 レーザレーダ
103 位置情報取得センサ
104 三次元マップ生成部
105 記憶装置
106 差分抽出演算部
107 送受信部
108 遠隔操縦制御部
109 車両姿勢検出センサ
110 データ圧縮部
200 遠隔制御部
201 送受信部
202 三次元マップ再生部
203 記憶装置
204 地図データベース
205 画面生成部
206 画面表示部(モニタ)
207 遠隔操作コントローラ
208 データ伸張部
a 点群高さデータ
b 車両姿勢データ
c 三次元マップデータ
c1 差分三次元マップデータ
c2 再生三次元マップデータ
d 表示画像データ
d1 第1推定表示画像データ
d2 第2推定表示画像データ
D 複合表示画像データ
G 地図画像データ
L 位置情報
S1 操作情報
S2 ステータス情報
MA マップエリア

【特許請求の範囲】
【請求項1】
遠隔操縦車両と遠隔操作部とでなり、
前記遠隔操縦車両は、
前記遠隔操縦車両の周囲に存在する周囲物体を検出して周囲物体検出データを得る周囲物体検出手段と、
前記車両の位置情報を取得する位置情報取得手段と、
前記周囲物体検出データを基に三次元マップデータを順次出力する三次元マップ生成部と、
前記三次元マップ生成部から順次出力された三次元マップデータを記憶する記憶装置と、
前記三次元マップ生成部から出力された最新の三次元マップデータと、前記記憶装置に記憶されている三次元マップデータのうち最新の三次元マップデータよりも前の三次元マップデータとの差分を演算して差分三次元マップデータを出力する演算部と、
前記差分三次元マップデータと、前記位置情報を無線送信する車両側の送受信部とを有し、
前記遠隔操作部は、
無線送信された前記差分三次元マップデータと、前記位置情報を受信する操作側の送受信部と、
順次受信した前記差分三次元マップデータを基に再生した三次元マップデータを、前記位置情報に応じて画像表示する画面表示部とを有する、
ことを特徴とする遠隔操縦車両システム。
【請求項2】
遠隔操縦車両と遠隔操作部とでなり、
前記遠隔操縦車両は、
車両に搭載されており、前記車両の周囲にレーザを発射して受信することにより、前記車両の周囲の多数の点の距離・高さを示す点群高さデータを得るレーザレーダと、
前記車両の走行位置を計測して位置情報を出力する位置情報取得センサと、
前記車両の外に設定したマップエリアを有しており、前記位置情報で示す各走行位置での前記点群高さデータを座標変換及び補間演算することにより、前記マップエリアに予め設定した各格子点の高さを求めて各格子点に高さデータを割り振った三次元マップデータを順次出力する三次元マップ生成部と、
前記三次元マップ生成部から順次出力された三次元マップデータを記憶する車両側の記憶装置と、
前記三次元マップ生成部から出力された最新の三次元マップデータと、前記記憶装置から取り出した一つ前の三次元マップデータとの差分を演算して差分三次元マップデータを出力する差分抽出演算部と、
前記差分三次元マップデータと、前記位置情報を無線送信する車両側の送受信部とを有し、
前記遠隔操作部は、
無線送信された前記差分三次元マップデータと、前記位置情報を受信する操作側の送受信部と、
順次受信した前記差分三次元マップデータを加算演算して再生三次元マップデータを求めて出力する三次元マップ再生部と、
前記三次元マップ再生部から出力される再生三次元マップデータを上書き状態で記憶する操作側の記憶装置と、
位置情報と対応させた地図画像情報を蓄積した地図データベースと
受信した位置情報に応じた前記地図画像情報を前記地図データベースから取り出すと共に、取り出した前記地図画像情報と操作側の前記記憶装置から取り出した再生三次元マップデータとを合成して表示画像データを生成する画面生成部と、
前記表示画面データを表示する画面表示部とを有する、
ことを特徴とする遠隔操縦車両システム。
【請求項3】
車両に搭載されており、前記車両の周囲にレーザを発射して受信することにより、前記車両の周囲の多数の点の距離・高さを示す点群高さデータを得るレーザレーダと、
前記車両の走行位置を計測して位置情報を出力する位置情報取得センサと、
前記車両のローリング角度,ヨーイング角度,ピッチング角度を計測する車両姿勢検出センサと、
前記車両の外に設定したマップエリアを有しており、前記位置情報で示す各走行位置での前記点群高さデータと前記ローリング角度,ヨーイング角度,ピッチング角度から、前記車両を基準とした点群高さデータである修正点群高さデータを求め、この修正点群高さデータを前記マップエリアの座標系に座標変換及び補間演算することにより、前記マップエリアに予め設定した各格子点の高さを求めて各格子点に高さデータを割り振った三次元マップデータを順次出力する三次元マップ生成部と、
前記三次元マップ生成部から順次出力された三次元マップデータを記憶する車両側の記憶装置と、
前記三次元マップ生成部から出力された最新の三次元マップデータと、前記記憶装置から取り出した一つ前の三次元マップデータとの差分を演算して差分三次元マップデータを出力する差分抽出演算部と、
前記差分三次元マップデータと、前記位置情報と、車両の走行状態を示すステータス情報を無線送信する車両側の送受信部とを有し、
前記遠隔操作部は、
無線送信された前記差分三次元マップデータと、前記位置情報と、前記ステータス情報を受信する操作側の送受信部と、
順次受信した前記差分三次元マップデータを加算演算して再生三次元マップデータを求めて出力する三次元マップ再生部と、
前記三次元マップ再生部から出力される再生三次元マップデータを上書き状態で記憶する操作側の記憶装置と、
位置情報と対応させた地図画像情報を蓄積した地図データベースと
受信した位置情報に応じた前記地図画像情報を前記地図データベースから取り出すと共に、取り出した前記地図画像情報と操作側の前記記憶装置から取り出した再生三次元マップデータとを合成して表示画像データを生成して出力すると共に、先行する表示画像データを出力してから後行する表記画像データを出力する間の期間において、前記位置情報で示す位置から前記ステータス情報に含まれる車両の速度において移動する距離に相当する分だけ前記の先行する表示画像データを電子的に移動させた推定表示画像データを生成して出力する画面生成部と、
前記画面生成部から順次出力される前記表示画面データ及び前記推定表示画像データを表示する画面表示部とを有する、
ことを特徴とする遠隔操縦車両システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図7】
image rotate

【図8】
image rotate

【図6】
image rotate


【公開番号】特開2013−115803(P2013−115803A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−263312(P2011−263312)
【出願日】平成23年12月1日(2011.12.1)
【出願人】(000006208)三菱重工業株式会社 (10,378)
【Fターム(参考)】