説明

無人走行車両の遠隔操縦装置

【課題】テレビカメラの映像を利用して無人走行車両を遠隔操縦する場合に、テレビカメラの映像信号の伝送遅れによる操縦への悪影響を低減する。
【解決手段】無人走行車両1に取り付けられたテレビカメラ2からの前方視界の映像信号と各種センサ3からの車両1の走行情報信号を無線により車外の操縦席5に伝送し、このうち信号の容量が非常に多いため伝送遅れが生じた映像信号を、画像処理装置7によって信号の容量が少なく伝送遅れを無視できるリアルタイムの走行情報信号に基づき補正し、遅れのない本来の画像に相当する画像を推定して抽出し、操縦席5にあるテレビモニタ8に表示する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無人走行の車両を遠隔操縦するための無人走行車両の遠隔操縦装置に関するものである。
【背景技術】
【0002】
無人走行車両の遠隔操縦装置においては、無人走行車両の前方視界を撮影するためにテレビカメラを前記車両に取り付け、前記テレビカメラから無線により伝送される映像信号を車両から離れた場所にある操縦席の操縦用テレビモニタに表示し、操縦者はテレビモニタ画面を見ながら無人走行車両の操縦を行うようになっている。
【0003】
この場合、無人走行車両側のテレビカメラから操縦席側のテレビモニタに伝送される映像信号に伝送遅れが発生して、前記テレビモニタには、実際より遅れた画像が表示され、通常の操縦操作では無人走行車両に対して適正な操縦が困難となる事象が発生するおそれがある。その理由は、テレビカメラの映像信号は容量が非常に多いため、その大容量の映像信号を離れた場所にあるテレビモニタに狭帯域の電波を使用した無線で伝送する場合には無視出来ない伝送遅れが生じるからである。
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したように、テレビカメラによる映像を利用した無人走行車両の遠隔操縦においては、大容量の映像信号を離れた場所にある操縦席のテレビモニタに伝送する必要があるため、狭帯域の電波を使用した無線では伝送遅れが生じ、テレビモニタに遅れた画像が表示され、無人走行車両の操縦に支障をきたす嫌いがあり、このため、その伝送遅れの影響を極力低減することが要望されている。
【0005】
本発明は、上記の点に鑑み、無人走行車両の前方視界を撮影するテレビカメラからの映像信号をリアルタイム画像処理によって補正して、見かけ上遅延のない映像による自然な操縦感覚の実現を図った無人走行車両の遠隔操縦装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記目的を達成するために、本発明のある態様の無人走行車両の遠隔操縦装置は、無人走行車両の前方視界を撮影するテレビカメラと、前記無人走行車両の走行情報を検出するセンサと、前記テレビカメラの映像信号及び前記センサの走行情報信号を遠隔操縦部に送信する無線送信機とを、前記無人走行車両側に具備するとともに、
前記無線送信機からの送信電波を受信する受信機と、前記受信機の受信出力信号を受けて前記受信出力信号に含まれる前記映像信号及び走行情報信号を信号処理する画像処理装置と、前記画像処理装置の画像処理出力信号を表示するテレビモニタとを、前記遠隔操縦部側に具備し、
前記遠隔操縦部側にてリアルタイムで前記走行情報信号を検出して、前記テレビカメラから前記テレビモニタに伝送される映像信号の伝送遅れの影響を、前記画像処理装置で補正することを特徴としている。
【0007】
前記態様の無人走行車両の遠隔操縦装置において、前記テレビモニタに表示される実際より遅れた画像に対して、前記無人走行車両のリアルタイム位置を表示する構成であるとよい。
【0008】
前記態様の無人走行車両の遠隔操縦装置において、前記無人走行車両の走行情報を検出するセンサは、前記無人走行車両の位置及びヨー角速度を含む走行情報を検出するものであるとよい。
【0009】
前記態様の無人走行車両の遠隔操縦装置において、前記無人走行車両の走行情報を検出するセンサとして、GPS、INS及び車速センサを用いるとよい。
【0010】
前記態様の無人走行車両の遠隔操縦装置において、前記前方視界を撮影するテレビカメラからの車両前方方向を撮影した画像を、車両上方から鉛直下向きを撮影した直交座標系の画像に射影変換を行った後、前記画像処理装置による補正を行ってもよい。
【0011】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法やシステムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【0012】
本発明に係る無人走行車両の遠隔操縦装置によれば、無人走行車両に取り付けられた前方視界を撮影するテレビカメラから、無線により、前記車両から離れた場所にあるテレビモニタに映像信号を伝送する場合において、リアルタイムで前記車両の走行情報信号を検出して、前記テレビカメラから前記テレビモニタに伝送される映像信号の伝送遅れの影響を、画像処理装置で補正している。これにより、前記画像処理装置が、伝送遅れのある映像信号から前記車両のリアルタイム位置に対応した本来の映像を推定して抽出することを可能にし、車両から離れた場所で操縦を行っている操縦者に見かけ上遅延のないモニタ映像による自然な操縦感覚が実現でき、遠隔操縦が容易になる。
【図面の簡単な説明】
【0013】
【図1】本発明に係る無人走行車両の遠隔操縦装置の実施の形態を示す構成図である。
【図2】実施の形態における無人走行車両に対するテレビカメラ搭載の様子の1例を示す側面図である。
【図3】テレビカメラによって撮影された画像の座標系を示す説明図である。
【図4】実施の形態における無人走行車両に対するテレビカメラ搭載の様子の他の例を示す側面図である。
【図5】操縦者用テレビモニタに表示される画像の様子で、左が基の画像(遅延画像)、右が遅れの補正を行った画像をそれぞれ示す説明図である。
【図6】遅延画像補正における座標系(地面固定座標系)を示す説明図である。
【発明を実施するための形態】
【0014】
以下、図面を参照しながら本発明の好適な実施の形態を詳述する。なお、各図面に示される同一または同等の構成要素、部材、処理等には同一の符号を付し、適宜重複した説明は省略する。また、実施の形態は発明を限定するものではなく例示であり、実施の形態に記述されるすべての特徴やその組み合わせは必ずしも発明の本質的なものであるとは限らない。
【0015】
図1は、本発明に係る無人走行車両の遠隔操縦装置の実施の形態の構成を示し、図2は無人走行車両に対するテレビカメラの搭載の様子を示す。これらの図において、無人で走行する無人走行車両1にはその前方視界を撮影するテレビカメラ2が搭載されている。このテレビカメラ2は、無人車両9の前部付近の上方に、鉛直下方を撮影する向きに設置されている。テレビカメラ2によって撮影された画像の座標系は、図3に示すようにY軸の正方向を車両1の前方向とするX−Y直交座標系となる。テレビカメラ2によって撮影された画像は車両1の一部(少なくとも前部)を含んでいる。
【0016】
前記テレビカメラ2を車両1の前部付近の上方に設置せず、図4に示すように、車両1の前部屋根付近に前方を撮影する向きに設置して、車両前方を撮影した画像を、図3に示すようなY軸の正方向を車両1の前方向とする前記X−Y直交座標系に射影変換を行う場合もある。この射影変換は、車両1側に画像処理装置を設けて行ってもよいし、後述の遠隔操縦部9側の画像処理装置7で行ってもよい。
【0017】
また、車両1にはGPS(Global Positioning System)、INS(Inertial Navigation System:慣性航法装置)、及び車速センサを含む各種センサ3及び送信機4が搭載されている。GPS衛星からの電波を受信可能な状況ではGPSで車両1の現在位置を知ることが可能であり、またGPS衛星からの電波を受信不能な状況では、INSで車両1の現在位置を知ることができる。INSは、GPSで随時現在位置が校正されている。車速センサは車両1の速度を検知するものである。また、INSのジャイロ機能によって車両1のヨー角速度を計測できる。
【0018】
テレビカメラ2からの、車両1上方から鉛直下向きを撮影した(又は鉛直下向きを撮影したのと等価になるように射影変換した)画像の映像信号(大容量)、及び各種センサ3からの走行情報信号(車両1の速度及びヨー角速度を計測した計測信号)は無線送信機4に伝送され、送信機4はそれらの映像信号及び走行情報信号を含む送信電波を無線受信機6を含む遠隔操縦部9へ送信する。
【0019】
前記無人車両1から離れた場所にある遠隔操縦部9は、操縦者が着席する操縦席5、無線送信機4からの送信電波を受信する無線受信機6、受信機6の受信出力信号を受けて受信出力信号に含まれる前記映像信号及び走行情報信号を信号処理する画像処理装置7、及び画像処理装置7の画像処理出力信号を表示するテレビモニタ8を具備している。
【0020】
ところで、無線送信機4から無線受信機6への情報伝送において、走行情報信号は信号の容量が少なく伝送遅れを無視でき、実質的にリアルタイム処理とみなせるが、映像信号は非常に大容量であるため、通信の条件が良好な場合を除き、通常は信号の伝達に伝送遅れが生じ、時間的に遅れて届く。信号の容量を小さくするため伝送の途中で信号の圧縮を行う場合もあるが、その際には圧縮・解凍に時間を要し、この場合にも伝送遅れが生じ、時間的に遅れて届く。
【0021】
この伝送遅れにより、前記テレビモニタ8には、実際より遅れた画像が表示され、通常の操縦操作では無人走行車両1への操縦動作反映の遅れにつながって、操縦に支障をきたす。
【0022】
その対策として、伝送遅れの影響を画像処理装置7による補正を行って本来の画像に近づける。
【0023】
遅延映像の補正について、映像伝送の遅延時間分の間に無人走行車両1が移動する距離と変化するヨー角を無人走行車両1の走行軌跡から算出して遅延時間分遅れて届く画像上における車両1の真の位置・方向を推定し、車両1の真の位置に仮想の車両1を表示し、見かけ上遅れのない仮想の画像を前記テレビモニタ8に表示する。補正を行った画像(テレビモニタ8に表示される画像)と補正前の遅れを含む基の画像を図5に示す。図5中、例えば、白色部分は走行可能領域(道)、グレー部分は走行不適領域、黒色部分は情報の無い領域である。また、図5の右側の遅れの補正を行った画像は、推定された車両1の真の位置・方向が表示され、かつその位置にある車両1の進行方向がテレビモニタ8の上下方向の上向きに一致するように図5の左側の基の画像から点線枠のように抽出されている。
【0024】
この遅延映像の補正においては、図6のような地面に固定された直交座標系xyを用いて車両の位置を示す。ここで、遅れを含む基の画像に表示される車両1のフロントウインド中央の位置とその時の車両前後方向とy軸との角度を、(x,y)とθとし、真の位置と角度を(x,y)とθとする。
【0025】
遅延時間tの間の車両1の移動距離(x−x,y−y)とヨー角変化(θ−θ)は、車速センサからの車速(u,v)とジャイロ(INSに含まれる)からのヨー角速度ωをそれぞれ遅延時間tの間で積分して算出する。基礎方程式は以下に示される。
【0026】
【数1】

【0027】
以上、実施の形態を例に本発明を説明したが、実施の形態の各構成要素や各処理プロセスには請求項に記載の範囲で種々の変形が可能であることは当業者に理解されるところである。
【産業上の利用可能性】
【0028】
テレビカメラによる映像を利用した無人走行車両の遠隔操縦において、車両から離れた場所にて操縦を行っている操縦者に見かけ上遅延のない映像による自然な操縦感覚が実現でき、遠隔操縦が容易になるので、人が近づけない危険な場所での走行及び作業への利用が考えられる。
【符号の説明】
【0029】
1 無人走行車両
2 テレビカメラ
3 各種センサ
4 無線送信機
5 操縦席
6 無線受信機
7 画像処理装置
8 テレビモニタ
9 遠隔操縦部

【特許請求の範囲】
【請求項1】
無人走行車両の前方視界を撮影するテレビカメラと、前記無人走行車両の走行情報を検出するセンサと、前記テレビカメラの映像信号及び前記センサの走行情報信号を遠隔操縦部に送信する無線送信機とを、前記無人走行車両側に具備するとともに、
前記無線送信機からの送信電波を受信する受信機と、前記受信機の受信出力信号を受けて前記受信出力信号に含まれる前記映像信号及び走行情報信号を信号処理する画像処理装置と、前記画像処理装置の画像処理出力信号を表示するテレビモニタとを、前記遠隔操縦部側に具備し、
前記遠隔操縦部側にてリアルタイムで前記走行情報信号を検出して、前記テレビカメラから前記テレビモニタに伝送される映像信号の伝送遅れの影響を、前記画像処理装置で補正することを特徴とする無人走行車両の遠隔操縦装置。
【請求項2】
請求項1に記載の無人走行車両の遠隔操縦装置において、前記テレビモニタに表示される実際より遅れた画像に対して、前記無人走行車両のリアルタイム位置を表示する、無人走行車両の遠隔操縦装置。
【請求項3】
請求項1又は2に記載の無人走行車両の遠隔操縦装置において、前記無人走行車両の走行情報を検出するセンサは、前記無人走行車両の位置及びヨー角速度を含む走行情報を検出するものである、無人走行車両の遠隔操縦装置。
【請求項4】
請求項1,2又は3に記載の無人走行車両の遠隔操縦装置において、前記無人走行車両の走行情報を検出するセンサとして、GPS、INS及び車速センサを用いる、無人走行車両の遠隔操縦装置。
【請求項5】
請求項1,2,3又は4に記載の無人走行車両の遠隔操縦装置において、前記前方視界を撮影するテレビカメラからの車両前方方向を撮影した画像を、車両上方から鉛直下向きを撮影した直交座標系の画像に射影変換を行った後、前記画像処理装置による補正を行う、無人走行車両の遠隔操縦装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate


【公開番号】特開2011−28495(P2011−28495A)
【公開日】平成23年2月10日(2011.2.10)
【国際特許分類】
【出願番号】特願2009−173215(P2009−173215)
【出願日】平成21年7月24日(2009.7.24)
【出願人】(390014306)防衛省技術研究本部長 (169)
【Fターム(参考)】