遠隔操作システム
【課題】移動体に搭載した立体カメラから得られる映像を、操作者が移動体から見た映像に模して、臨場感を与え遠隔操作性を向上させた遠隔操作システムを提供する。
【解決手段】移動体と、該移動体を遠隔操作するリモートコントローラ２と、前記移動体の運転室又は操縦室を模した背景画像を格納した記憶部３８とを有する遠隔操作システムであって、前記移動体は、ステレオカメラ１５と、該ステレオカメラの撮像方向を制御する駆動部１７，１８，１９と、少なくとも前記ステレオカメラにより撮影された映像を含む情報を通信する第１通信部３４とを有し、前記リモートコントローラは、前記第１通信部との間で通信を行う第２通信部３７と、前記移動体を制御する制御部と、前記ステレオカメラで撮影された映像の少なくとも一部及び前記背景画像とを合成して立体視可能に表示する表示部４１とを有する。
【解決手段】移動体と、該移動体を遠隔操作するリモートコントローラ２と、前記移動体の運転室又は操縦室を模した背景画像を格納した記憶部３８とを有する遠隔操作システムであって、前記移動体は、ステレオカメラ１５と、該ステレオカメラの撮像方向を制御する駆動部１７，１８，１９と、少なくとも前記ステレオカメラにより撮影された映像を含む情報を通信する第１通信部３４とを有し、前記リモートコントローラは、前記第１通信部との間で通信を行う第２通信部３７と、前記移動体を制御する制御部と、前記ステレオカメラで撮影された映像の少なくとも一部及び前記背景画像とを合成して立体視可能に表示する表示部４１とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体を手動により遠隔操作する場合の遠隔操作システムに関するものである。
【背景技術】
【０００２】
移動体を遠隔操作する場合、移動体が目視できない範囲で遠隔操作する場合、或は移動体が目視できる範囲でも、更に緻密な操作が要求される場合等では、移動体の状況、移動体の進行方向の情報が必要とされる。
【０００３】
特許文献１には、移動体に立体カメラを搭載し、立体カメラで得られた映像を操作者側に送信し、操作者はヘッドマウントディスプレイを装着し、該ヘッドマウントディスプレイに送信された映像を見ながら移動体を遠隔操作することが示されている。
【０００４】
特許文献１では、立体カメラは移動体に固定されており、視準方向は移動体の正面前方に固定されている。この為、操作者は前記立体カメラから送信される映像を受動的に観察するだけであり、視野も前記立体カメラの画角に限定されたものであった。この為、操作者の意志で、前方上下、或は前方左右、側方の映像を得ることはできず、狭小な場所、或は障害物の多い場所では操作に充分な情報は得られなかった。
【０００５】
更に、移動体が小型ヘリコプタ等の飛行体であった場合、更に左右、上下と広範囲に進行方向の変更が可能であり、方向変換の自由度が大きい。この為、遠隔操作に必要な情報も立体カメラの画角に限定された映像ではなく、広範囲の映像が必要であり、又操作者が方向変換しようとする方向の映像が操作者の意志に追従して得られることが好ましい。
【０００６】
又、特許文献２には操作者の頭部の動きを検知して、撮影方向を変更する遠隔操作システムが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平８−２８０００３号公報
【特許文献２】特開平３−５６９２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は斯かる実情に鑑み、移動体に搭載した立体カメラから得られる映像を、操作者が移動体から見た映像に模して、臨場感を与え遠隔操作性を向上させた遠隔操作システムを提供する。
【課題を解決するための手段】
【０００９】
本発明は、移動体と、該移動体を遠隔操作するリモートコントローラと、前記移動体の運転室又は操縦室を模した背景画像を格納した記憶部とを有する遠隔操作システムであって、前記移動体は、ステレオカメラと、該ステレオカメラの撮像方向を制御する駆動部と、少なくとも前記ステレオカメラにより撮影された映像を含む情報を通信する第１通信部とを有し、前記リモートコントローラは、前記第１通信部との間で通信を行う第２通信部と、前記移動体を制御する制御部と、前記ステレオカメラで撮影された映像の少なくとも一部及び前記背景画像とを合成して立体視可能に表示する表示部とを有する遠隔操作システムに係るものである。
【００１０】
又本発明は、操作者の視線方向を検出する姿勢検出部を有し、前記駆動部は前記姿勢検出部の検出結果に基づいて、前記ステレオカメラの撮像方向を変更する遠隔操作システムに係るものである。
【００１１】
又本発明は、前記移動体は、該移動体に対して前記ステレオカメラの撮像方向を変更するカメラ駆動部を有し、前記姿勢検出部の検出結果に基づいて前記カメラ駆動部を制御することにより撮像方向が変更される遠隔操作システムに係るものである。
【００１２】
又本発明は、前記移動体が該移動体を移動させる為の移動手段を有し、該移動手段は前記姿勢検出部の検出結果に基づいて前記移動体の姿勢を制御することにより前記ステレオカメラの撮像方向が変更される遠隔操作システムに係るものである。
【００１３】
又本発明は、前記表示部は、ヘッドマウントディスプレイであり、前記姿勢検出部はヘッドマウントディスプレイに設けられた遠隔操作システムに係るものである。
【００１４】
又本発明は、前記記憶部に記憶された背景画像は、操作者による立体視の際に視覚的に視認される奥行きに関する位置情報を含み、前記表示部に背景画像が表示された場合に前記ステレオカメラで撮影された映像に対して相対的な奥行き関係を持って視認される遠隔操作システムに係るものである。
【００１５】
又本発明は、前記移動体は、該移動体の位置情報を取得する移動体位置検出部を有し、前記記憶部には遠隔操作に関する情報が格納され、前記移動体位置検出部の出力に基づいて前記遠隔操作に関する情報が前記表示部に表示される遠隔操作システムに係るものである。
【００１６】
又本発明は、前記ステレオカメラにより撮影された映像により被撮影物体の少なくとも一部に関してステレオ計測を行う演算部を有し、該演算部により計測された被測定物体と前記ステレオカメラ又は移動体との相対的な位置関係に対応した情報を前記表示部に立体視可能に表示する遠隔操作システムに係るものである。
【００１７】
又本発明は、前記駆動部は、前記移動体が傾斜した場合に、前記ステレオカメラの撮像方向を機体の傾斜分補正する遠隔操作システムに係るものである。
【発明の効果】
【００１８】
本発明によれば、移動体と、該移動体を遠隔操作するリモートコントローラと、前記移動体の運転室又は操縦室を模した背景画像を格納した記憶部とを有する遠隔操作システムであって、前記移動体は、ステレオカメラと、該ステレオカメラの撮像方向を制御する駆動部と、少なくとも前記ステレオカメラにより撮影された映像を含む情報を通信する第１通信部とを有し、前記リモートコントローラは、前記第１通信部との間で通信を行う第２通信部と、前記移動体を制御する制御部と、前記ステレオカメラで撮影された映像の少なくとも一部及び前記背景画像とを合成して立体視可能に表示する表示部とを有するので、移動体に搭乗した様な臨場感を持って遠隔操作を行うことができる。
【００１９】
又本発明によれば、操作者の視線方向を検出する姿勢検出部を有し、前記駆動部は前記姿勢検出部の検出結果に基づいて、前記ステレオカメラの撮像方向を変更するので、操作者は実際に移動体から目視し、移動体上で視線を変更する様な感覚で遠隔操作を行うことができる。
【００２０】
又本発明によれば、前記移動体は、該移動体に対して前記ステレオカメラの撮像方向を変更するカメラ駆動部を有し、前記姿勢検出部の検出結果に基づいて前記カメラ駆動部を制御することにより撮像方向が変更されるので、操作者は実際に移動体から目視し、移動体上で視線を変更する様な感覚で遠隔操作を行うことができる。
【００２１】
又本発明によれば、前記移動体が該移動体を移動させる為の移動手段を有し、該移動手段は前記姿勢検出部の検出結果に基づいて前記移動体の姿勢を制御することにより前記ステレオカメラの撮像方向が変更されるので、操作者は実際に移動体から目視し、移動体上で視線を変更する様な感覚で遠隔操作を行うことができる。
【００２２】
又本発明によれば、前記表示部は、ヘッドマウントディスプレイであり、前記姿勢検出部はヘッドマウントディスプレイに設けられたので、一層臨場感が得られ、直感的な感覚で遠隔操作を行うことができる。
【００２３】
又本発明によれば、前記記憶部に記憶された背景画像は、操作者による立体視の際に視覚的に視認される奥行きに関する位置情報を含み、前記表示部に背景画像が表示された場合に前記ステレオカメラで撮影された映像に対して相対的な奥行き関係を持って視認されるので、操作者は運転室又は操縦室で操作している様な臨場感が得られる。
【００２４】
又本発明によれば、前記移動体は、該移動体の位置情報を取得する移動体位置検出部を有し、前記記憶部には遠隔操作に関する情報が格納され、前記移動体位置検出部の出力に基づいて前記遠隔操作に関する情報が前記表示部に表示されるので、移動体の遠隔操作の過程で前記遠隔操作に関する情報が得られ、操作を中断することなく、確実な遠隔操作を行うことができる。
【００２５】
又本発明によれば、前記ステレオカメラにより撮影された映像により被撮影物体の少なくとも一部に関してステレオ計測を行う演算部を有し、該演算部により計測された被測定物体と前記ステレオカメラ又は移動体との相対的な位置関係に対応した情報を前記表示部に立体視可能に表示するので、操作者は実際に運転室、操縦室で運転、操縦している様な感覚が得られる。
【００２６】
又本発明によれば、前記駆動部は、前記移動体が傾斜した場合に、前記ステレオカメラの撮像方向を機体の傾斜分補正するので、移動体の姿勢に拘らず、操作者の視線と齟齬のない画像が見られる等の優れた効果を発揮する。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施例に係る遠隔操作システムの基本的な構成を示す概念図である。
【図２】第１の実施例の概略構成図である。
【図３】ディスプレイに表示される画像の一例を示す説明図である。
【図４】ヘリコプタとリモートコントローラ間の画像データの流れを示す模式図である。
【図５】移動体がリモコンカーである場合のリモコンカーとリモートコントローラ間の画像データの流れを示す模式図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しつつ本発明の実施例を説明する。
【００２９】
先ず、本発明が小型飛行体の遠隔操作システムとして実施された第１の実施例を説明する。
【００３０】
図１、図２は第１の実施例に係る遠隔操作システムの基本的な構成を示しており、該遠隔操作システムは、主に飛行体１と基地側に配置されたリモートコントローラ２、ヘッドマウントディスプレイ（ＨＭＤ）３、ジョイスティック等を備えた操作部４等から構成され、前記飛行体１は、例えば小型飛行体としてのヘリコプタであり、該ヘリコプタ１は前記リモートコントローラ２により遠隔操作可能となっている。
【００３１】
前記ヘリコプタ１は、機体５、該機体５に設けられた所要数のプロペラ、例えば前後左右、計４組のプロペラ６，７，８，９を有し、該プロペラ６，７，８，９はそれぞれ個別に第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４に連結されている。又、後述する様に第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４は独立して駆動が制御される様になっている。尚、前記プロペラ６，７，８，９及び前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４等は飛行体の移動手段を構成する。
【００３２】
前記機体５の上面には、ステレオカメラ１５が設けられ、該ステレオカメラ１５は左右２台のデジタルカメラ１６ａ，１６ｂから構成され、該デジタルカメラ１６ａ，１６ｂの光軸の間隔は所定の値、好ましくは人の目の間隔、即ち視差に相当する値に設定される。
【００３３】
前記ステレオカメラ１５はピッチ（ＰＩＴＣＨ）、ロール（ＲＯＬＬ）、ヨウ（ＹＡＷ）の３軸に回転可能に支持され、各軸について前記ステレオカメラ１５を回転させる為のピッチモータ１７、ロールモータ１８、ヨウモータ１９が設けられている。前記ピッチモータ１７、ロールモータ１８、ヨウモータ１９は、回転角が制御可能なモータ、例えばサーボモータ、ステッピングモータが用いられる。前記ピッチモータ１７、ロールモータ１８、ヨウモータ１９は前記ステレオカメラ１５の撮像方向（視野の方向）を変更するカメラ駆動部を構成する。
【００３４】
又、前記機体５の上面には、該機体５の位置を測定する為の移動体位置検出部であるＧＰＳ装置２１が設けられている。該ＧＰＳ装置２１は、地心座標系（絶対座標系）の座標（位置）を測定する。
【００３５】
前記機体５の所要位置に、例えば機体５の内部に該機体５の姿勢を検出するジャイロユニット２２、センサ類２３（例えば方位センサ、高度センサ、速度センサ、電池残量センサ）が設けられている。
【００３６】
前記機体５の内部には、制御装置２５が設けられている。図２に示される様に、該制御装置２５は主に第１演算制御部２６、第１記憶部２７、飛行制御部２８、モータコントローラ２９、カメラ制御部３１、撮像コントローラ３２、カメラ姿勢コントローラ３３、第１通信部３４、電源部（図示せず）から構成されている。前記飛行制御部２８は前記モータコントローラ２９を介して前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４の駆動を制御する。又、前記カメラ制御部３１は前記撮像コントローラ３２を介して前記ステレオカメラ１５の撮像状態を制御し、又前記カメラ姿勢コントローラ３３を介して前記ピッチモータ１７、ロールモータ１８、ヨウモータ１９を駆動制御し、前記ステレオカメラ１５の撮像方向を制御する。
【００３７】
尚、前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４の駆動を制御することで、前記ヘリコプタ１の姿勢、向きを自在に制御できるので、前記カメラ駆動部を省略し、前記ステレオカメラ１５を前記機体５に固定して設け、前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４の制御で、前記ステレオカメラ１５の撮像方向を変更及び制御してもよい。この場合、航行手段が前記カメラ駆動部を兼用する。
【００３８】
前記第１通信部３４は、前記ステレオカメラ１５で撮影した画像データを前記リモートコントローラ２に送信し、又該リモートコントローラ２から飛行方向、飛行高度、飛行速度等飛行に関する指令（コマンド）を受信し、又ステレオカメラ１５の撮像方向等撮影に関する指令（コマンド）を受信する。
【００３９】
前記第１記憶部２７は、前記ステレオカメラ１５が撮影した画像データの信号処理を実行する画像処理プログラム、前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４の駆動を制御する為の飛行制御プログラム、前記ステレオカメラ１５の撮像状態を制御する撮像制御プログラム、前記ピッチモータ１７、ロールモータ１８、ヨウモータ１９の駆動を制御して前記ステレオカメラ１５の向きを制御するカメラ姿勢制御プログラム等のプログラムが格納されていると共に、前記ステレオカメラ１５で撮影した画像データが格納される様になっている。又、前記第１記憶部２７には遠隔操作に関する情報、例えば目的地への進行方向、誘導ルート等が格納される。尚、遠隔操作に関する情報は、前記リモートコントローラ２の第２記憶部３８（後述）に格納されてもよい。
【００４０】
前記ジャイロユニット２２からの信号は前記飛行制御部２８に入力され、該飛行制御部２８は前記ジャイロユニット２２からの信号に基づき前記モータコントローラ２９を介して前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４を制御し、前記機体５の飛行姿勢が制御される。又、前記センサ類２３からの信号は、前記第１演算制御部２６及び前記飛行制御部２８に入力され、該飛行制御部２８により前記機体５の飛行方向、飛行高度、飛行速度等が制御される。
【００４１】
又、前記カメラ制御部３１には、前記ジャイロユニット２２から前記機体５の姿勢を検出した機体姿勢信号が入力され、該機体姿勢信号を基に前記カメラ姿勢コントローラ３３を介して前記ステレオカメラ１５の姿勢を基準姿勢、例えば、前記ステレオカメラ１５の光軸を水平に維持できる様になっている。更に、基準姿勢に対して、前記ステレオカメラ１５の撮像方向を所定の向きに設定できる様になっている。即ち、前記カメラ制御部３１は、前記機体５が傾いた場合に、前記ステレオカメラ１５の撮像方向を前記機体５の傾き分だけ補正をする。
【００４２】
前記リモートコントローラ２は、第２演算制御部３６、第２通信部３７、第２記憶部３８、電源部（図示せず）等から構成されており、前記第２演算制御部３６は更に、画像処理部３９、コマンド作成部４０を有している。又、前記リモートコントローラ２には前記ヘッドマウントディスプレイ３が有線、無線等任意な方法で電気的に接続され、更に操作部４が電気的に接続されている。
【００４３】
前記第２記憶部３８には、前記制御装置２５から送信される画像データが格納されると共に前記ヘッドマウントディスプレイ３に背景画像を表示させる為の背景画像データが格納され、又、画像データを映像信号に信号処理する画像処理プログラム、コマンド作成プログラム等が格納されている。
【００４４】
ここで、背景画像は図３に示される様に、運転室、操縦室を想定して作成されたＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像であり、背景画像には運転室の窓５１及び該窓５１の下方に計器類の表示がされる。又、背景画像は前記デジタルカメラ１６ａ，１６ｂに対応する左右２つの画像からなり、操作者による立体視の際に視覚的に視認される奥行きに関する位置情報を含み、３Ｄディスプレイ４１に表示する際に立体視される様になっており、前記デジタルカメラ１６ａ，１６ｂで撮影された映像と合成され、表示された状態で、前記デジタルカメラ１６ａ，１６ｂで撮影された映像に対して相対的な奥行き関係を持って視認される様になっている。
【００４５】
前記背景画像に含まれる計器類としては、例えば高度計５２、速度計５３、方位計５４（飛行体１の向きを表示）、電池残量計５５、位置（地上座標値）表示計５６等である。又、前記窓５１には、前記機体５の正面を表示する。例えば、前記窓５１の中央に窓枠を示す、或は矢印等のマークを表示する等である。又、前記方位計５４は、例えば、東西南北の表示と共に前記ヘリコプタ１の向きを表す指針を表示する。又、前記位置表示計５６は、飛行する区域の地図を表示すると共にこの地図上に、前記ＧＰＳ装置２１で測定された前記ヘリコプタ１の位置を示すものであり、ヘリコプタ１は光点、○等の点で示され、或はヘリコプタ１を模した図形で表される。
【００４６】
前記制御装置２５は前記第１通信部３４を介して画像データを送信し、前記リモートコントローラ２は前記第２通信部３７を介して画像データを受信し、画像データは前記第２演算制御部３６を介し、前記第２記憶部３８に入力され、該第２記憶部３８に一時的に格納される。格納された画像データは、前記画像処理部３９で映像信号に信号処理され、前記ヘッドマウントディスプレイ３に送出される。又、前記画像処理部３９は背景画像データを映像信号として前記ヘッドマウントディスプレイ３に送出し、前記画像データと前記背景データが合成され表示される様に映像信号を処理する。
【００４７】
前記コマンド作成部４０は、モーションセンサ４２（後述）からの信号に基づき前記ステレオカメラ１５のカメラ制御コマンドを作成し、又前記操作部４からの信号に基づき飛行制御コマンドを作成し、前記カメラ制御コマンド及び前記飛行制御コマンドは、前記第２通信部３７により前記制御装置２５に送信される。
【００４８】
前記ヘッドマウントディスプレイ３は、立体画像を表示する表示部である前記３Ｄディスプレイ４１と、前記ヘッドマウントディスプレイ３の動き、向きを検出する姿勢検出部であるモーションセンサ４２とを具備し、操作者が眼鏡を装着する様に装着される。
【００４９】
前記３Ｄディスプレイ４１は、操作者の両眼に対応する左右の表示器で構成され、該表示器には前記デジタルカメラ１６ａ，１６ｂで撮影された視差を有する画像がそれぞれ表示され、操作者は左右の表示器に表示された映像を、左右の目で個別に見ることで立体画像として認識することができる。又、前記３Ｄディスプレイ４１には背景画像に前記ステレオカメラ１５で撮影された画像が合成されて表示され、該ステレオカメラ１５で撮影された画像は、恰も前記窓５１を通して撮影された様な表示となっている。
【００５０】
前記モーションセンサ４２は、前記ヘッドマウントディスプレイ３の動き、向き、即ち操作者の頭（又は顔）の動き、向きを検知して、モーション信号を出力し、該モーション信号は前記第２演算制御部３６のコマンド作成部４０に入力される。
【００５１】
該コマンド作成部４０は前記モーション信号に基づきカメラ制御コマンドを作成し、該カメラ制御コマンドは、操作者の顔の動き、向きに同期し、操作者の視線と前記ステレオカメラ１５の光軸とが合致する様、前記ステレオカメラ１５の姿勢を制御するコマンドとなっている。
【００５２】
前記操作部４は、ジョイスティック等の操作部材を有し、該操作部材を操作することで、操作部材の動きに対応し、前記ヘリコプタ１の飛行方向、飛行速度、飛行高度等、飛行に関する信号を出力することができる様になっている。前記飛行に関する信号は、前記コマンド作成部４０に入力され、該コマンド作成部４０に於いて、前記飛行に関する信号に基づき、前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４を制御する飛行制御コマンドが作成され、該飛行制御コマンドは前記第２通信部３７により前記制御装置２５に送信される。
【００５３】
図４を参照して、第１の実施例の作用について説明する。図４は、映像に関する信号の流れを示している。
【００５４】
前記リモートコントローラ２の前記操作部４を操作し、前記ヘリコプタ１を飛行させる。
【００５５】
前記操作部４からの信号に基づき、前記コマンド作成部４０で飛行制御コマンドが作成され、前記第２通信部３７、前記第１通信部３４を介して前記制御装置２５に受信され、前記第１演算制御部２６は前記飛行制御コマンドに基づき前記飛行制御部２８、前記モータコントローラ２９を介し、前記ヘリコプタ１が飛行制御コマンドに対応する飛行方向、飛行速度、飛行高度等となる様に前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４を制御する。
【００５６】
又、前記ヘリコプタ１の飛行状態は、前記センサ類２３によって検出され、該センサ類２３からの信号は、前記第１通信部３４から送信され、前記第２通信部３７を介してリモートコントローラ２に受信される。
【００５７】
前記第２通信部３７で受信され、前記センサ類２３の検出結果は、前記第２記憶部３８に記憶され、後述する様に、操作者の視線が背景画像の計器類に向いた状態で前記高度計５２、前記速度計５３、前記方位計５４、前記電池残量計５５、前記位置表示計５６に表示される。
【００５８】
飛行中、前記ステレオカメラ１５で撮影された映像が、前記第１通信部３４を介して前記リモートコントローラ２に送信され、該リモートコントローラ２の第２通信部３７によって受信され、前記画像処理部３９で前記表示視野５７の画像として信号処理される。
【００５９】
又、前記画像処理部３９は前記背景画像と前記表示視野５７の画像とを合成し、更に前記センサ類２３の検出結果を画像に変換し、背景画像中の前記高度計５２、前記速度計５３、前記方位計５４、前記電池残量計５５、前記位置表示計５６に合成して表示する。
【００６０】
又、前記画像処理部３９は、３Ｄディスプレイ４１の左右の表示部に視差を有する様に表示させ、立体画像として認識できる様にする。
【００６１】
操作者は、前記３Ｄディスプレイ４１に表示された立体画像に基づき、前記ヘリコプタ１を操縦する。立体画像が表示される範囲は、前記ステレオカメラ１５の視野（画角）と一致しており、図３中破線で示す矩形の部分（表示視野５７）である。又、前記背景画像は、前記表示視野５７より充分大きい画角を有する様に作成されており、例えば運転中、視線を動かし得る範囲であり、又前記窓５１の大きさは、運転する場合に必要な前方の情報を得るに充分な視界（広さ）を有している。
【００６２】
又、背景画像の中心（光軸）は、前記ヘリコプタ１の正面の方向と合致しており、前記表示視野５７の中心（光軸）は、操作者の顔の正面の方向と一致している。従って、操作者が前記ヘリコプタ１の姿勢、向きを変更することなく、顔（頭）を動かすと、顔の動きはモーションセンサによって検出され、モーションセンサの信号は、前記コマンド作成部４０によって前記ステレオカメラ１５の姿勢制御のコマンドに変換され、前記制御装置２５に送信される。前記第１通信部３４を介して受信されたコマンドに基づき、前記カメラ制御部３１が前記ステレオカメラ１５の姿勢を制御する。従って、顔の動きに追従して前記表示視野５７が前記背景画像の範囲内を移動する。尚、理解を容易にする為、図３では、背景画像全体を示しているが、前記３Ｄディスプレイ４１に表示されるのは、前記表示視野５７部分だけである。
【００６３】
尚、前記機体５が傾いた場合、モーションセンサが発する操作者の視線と前記ステレオカメラ１５の撮像方向との間でずれが生じる。上記した様に、前記カメラ制御部３１は、前記ジャイロユニット２２からの信号で前記ステレオカメラ１５の基準位置からのずれを修正するので、前記モーションセンサ４２からの信号に対して、前記機体５の傾き分を補正して、前記ステレオカメラ１５の姿勢を制御する。
【００６４】
又、顔（頭）を動かすことなく前記ヘリコプタ１の姿勢、向きを変更すると、前記表示視野５７と背景画像との相対変位はなく、即ち、前記表示視野５７の位置は、背景画像に対して固定しており、前記ステレオカメラ１５で撮影した画像が背景画像に対して移動する。この場合も、前記カメラ制御部３１は、前記機体５が傾いた場合、傾きを補正する様、前記ステレオカメラ１５の姿勢を制御する。
【００６５】
従って、頭を下に向ければ、前記表示視野５７は背景画像に対して下方に移動し、前記表示視野５７の中に前記高度計５２、前記速度計５３、前記方位計５４、前記電池残量計５５、前記位置表示計５６が現れる。前記高度計５２、前記速度計５３、前記方位計５４、前記電池残量計５５、前記位置表示計５６には、前記ＧＰＳ装置２１で測定された位置が表示され、前記センサ類２３で検出した結果が表示され、前記ヘリコプタ１の飛行状態を操縦しつつ計器の内容で確認でき、直ちに操縦に反映させることができる。
【００６６】
又、前記３Ｄディスプレイ４１には、前記第１記憶部２７に格納された遠隔操作に関する情報、即ち飛行すべき方向、飛行ルートが表示される。尚、遠隔操作に関する情報は、常時表示させてもよく、或は前記操作部４の操作で、操作者が適宜表示させてもよい。
【００６７】
従って、前記ヘリコプタ１の操縦室で操縦する様な臨場感が得られ、更に前記ヘリコプタ１の飛行状態を把握でき、直感的な操作が行え、或は障害物への的確な対応が行える。
【００６８】
次に、既知の関係にある前記デジタルカメラ１６ａ，１６ｂで同時に２つの画像が得られるので、得られた２つの画像から写真測量、即ち前方の距離測定を行うことができる。又、前記ヘリコプタ１から所定の距離離れた位置を画像上に設定することができる。
【００６９】
障害物に対して安全に飛行できる安全飛行間隔を設定し、安全飛行間隔を仮想ライン、或は仮想壁を立体視できる様に前記３Ｄディスプレイ４１に表示しておけば、操作者は障害物がある空間を飛行する際に、安全飛行間隔以上に障害物に接近しない様に飛行させることができる。又、前記第１演算制御部２６又は前記第２演算制御部３６に於いて、飛行方向に障害物が存在した場合に、障害物を被測定物として写真測定を行い、障害物と前記ヘリコプタ１との距離をリアルタイムで測定し、測定結果が前記安全飛行間隔より近くなったら、警告音を発する、或は表示を点滅させる等の警告をする様にしてもよい。
【００７０】
次に、図５を参照して第２の実施例を説明する。図５中、図４中で示したものと同等のものには同符号を付してある。
【００７１】
第２の実施例は、遠隔操作の対象を小型走行体、例えばリモコンカー６１としたものである。
【００７２】
第２の実施例に於いても、前記リモコンカー６１の所要位置、例えば天井に、ステレオカメラ１５が設けられ、該ステレオカメラ１５は２つのデジタルカメラ１６ａ，１６ｂを有し、前記ステレオカメラ１５はピッチ（ＰＩＴＣＨ）、ロール（ＲＯＬＬ）、ヨウ（ＹＡＷ）の３軸に回転可能に支持され、各軸について前記ステレオカメラ１５の回転が制御可能となっている。
【００７３】
リモコンカー６１の場合、該リモコンカー６１を走行させる為の移動手段は車輪及び車輪を回転させる為の走行モータであり、走行の制御は、車輪の回転速度（走行速度）の制御、及びハンドル操作（走行方向）となる。又、リモコンカー６１の走行状態を検出するセンサとしては、速度センサ、電池の消耗状態を検知する電池残量センサが設けられる。
【００７４】
遠隔操作者は、ヘッドマウントディスプレイ３を装着し、該ヘッドマウントディスプレイ３にはモーションセンサが設けられ、該モーションセンサの動き、即ち遠隔操作者の頭部の動きに追従して、前記ステレオカメラ１５の方向が遠隔操作者の視線の方向と合致する様制御される。
【００７５】
前記ヘッドマウントディスプレイ３には前記ステレオカメラ１５が撮影した画像が表示されると共に運転室を模した背景画像が合成され表示される。背景画像には、運転室の風景に合わせて速度計が表示される。遠隔操作者は前記リモコンカー６１の運転室からの目線で走行方向、或は走行方向の周囲の立体映像を視認しつつ遠隔操作が行え、更に運転室内の速度計を視認しつつ、速度調整を合わせて行うことができる。従って、前記リモコンカー６１に乗車している様な臨場感が体験でき、更に直感的な判断で操作を行うことができる。
【００７６】
尚、上記実施例では画像をヘッドマウントディスプレイ３に表示させたが、画像を３Ｄ表示可能な通常のディスプレイに表示し、操作者は３Ｄ眼鏡を掛けて、立体画像を視認する様にしてもよい。この場合、モーションセンサ４２は単独で操作者の頭部に装着され、操作者の視線の方向を検知する。
【００７７】
又、上記実施例では、移動体に１組のステレオカメラ１５を設けたが、複数組のステレオカメラ１５を設け、各ステレオカメラ１５に対応した操作者がそれぞれヘッドマウントディスプレイ３を装着し、各自がステレオカメラ１５で得られる立体画像に基づき、個別の作業を行ってもよい。例えば、一人は移動体の操縦に専念し、もう一人は現況の調査観察或は撮影作業、或は測量に専念する等である。
【符号の説明】
【００７８】
１ ヘリコプタ
２ リモートコントローラ
３ ヘッドマウントディスプレイ
４ 操作部
５ 機体
１５ ステレオカメラ
２１ ＧＰＳ装置
２３ センサ類
２５ 制御装置
２６ 第１演算制御部
２７ 第１記憶部
２８ 飛行制御部
３１ カメラ制御部
３４ 第１通信部
３６ 第２演算制御部
３７ 第２通信部
３８ 第２記憶部
３９ 画像処理部
４０ コマンド作成部
４１ ３Ｄディスプレイ
４２ モーションセンサ
【技術分野】
【０００１】
本発明は、移動体を手動により遠隔操作する場合の遠隔操作システムに関するものである。
【背景技術】
【０００２】
移動体を遠隔操作する場合、移動体が目視できない範囲で遠隔操作する場合、或は移動体が目視できる範囲でも、更に緻密な操作が要求される場合等では、移動体の状況、移動体の進行方向の情報が必要とされる。
【０００３】
特許文献１には、移動体に立体カメラを搭載し、立体カメラで得られた映像を操作者側に送信し、操作者はヘッドマウントディスプレイを装着し、該ヘッドマウントディスプレイに送信された映像を見ながら移動体を遠隔操作することが示されている。
【０００４】
特許文献１では、立体カメラは移動体に固定されており、視準方向は移動体の正面前方に固定されている。この為、操作者は前記立体カメラから送信される映像を受動的に観察するだけであり、視野も前記立体カメラの画角に限定されたものであった。この為、操作者の意志で、前方上下、或は前方左右、側方の映像を得ることはできず、狭小な場所、或は障害物の多い場所では操作に充分な情報は得られなかった。
【０００５】
更に、移動体が小型ヘリコプタ等の飛行体であった場合、更に左右、上下と広範囲に進行方向の変更が可能であり、方向変換の自由度が大きい。この為、遠隔操作に必要な情報も立体カメラの画角に限定された映像ではなく、広範囲の映像が必要であり、又操作者が方向変換しようとする方向の映像が操作者の意志に追従して得られることが好ましい。
【０００６】
又、特許文献２には操作者の頭部の動きを検知して、撮影方向を変更する遠隔操作システムが開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平８−２８０００３号公報
【特許文献２】特開平３−５６９２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は斯かる実情に鑑み、移動体に搭載した立体カメラから得られる映像を、操作者が移動体から見た映像に模して、臨場感を与え遠隔操作性を向上させた遠隔操作システムを提供する。
【課題を解決するための手段】
【０００９】
本発明は、移動体と、該移動体を遠隔操作するリモートコントローラと、前記移動体の運転室又は操縦室を模した背景画像を格納した記憶部とを有する遠隔操作システムであって、前記移動体は、ステレオカメラと、該ステレオカメラの撮像方向を制御する駆動部と、少なくとも前記ステレオカメラにより撮影された映像を含む情報を通信する第１通信部とを有し、前記リモートコントローラは、前記第１通信部との間で通信を行う第２通信部と、前記移動体を制御する制御部と、前記ステレオカメラで撮影された映像の少なくとも一部及び前記背景画像とを合成して立体視可能に表示する表示部とを有する遠隔操作システムに係るものである。
【００１０】
又本発明は、操作者の視線方向を検出する姿勢検出部を有し、前記駆動部は前記姿勢検出部の検出結果に基づいて、前記ステレオカメラの撮像方向を変更する遠隔操作システムに係るものである。
【００１１】
又本発明は、前記移動体は、該移動体に対して前記ステレオカメラの撮像方向を変更するカメラ駆動部を有し、前記姿勢検出部の検出結果に基づいて前記カメラ駆動部を制御することにより撮像方向が変更される遠隔操作システムに係るものである。
【００１２】
又本発明は、前記移動体が該移動体を移動させる為の移動手段を有し、該移動手段は前記姿勢検出部の検出結果に基づいて前記移動体の姿勢を制御することにより前記ステレオカメラの撮像方向が変更される遠隔操作システムに係るものである。
【００１３】
又本発明は、前記表示部は、ヘッドマウントディスプレイであり、前記姿勢検出部はヘッドマウントディスプレイに設けられた遠隔操作システムに係るものである。
【００１４】
又本発明は、前記記憶部に記憶された背景画像は、操作者による立体視の際に視覚的に視認される奥行きに関する位置情報を含み、前記表示部に背景画像が表示された場合に前記ステレオカメラで撮影された映像に対して相対的な奥行き関係を持って視認される遠隔操作システムに係るものである。
【００１５】
又本発明は、前記移動体は、該移動体の位置情報を取得する移動体位置検出部を有し、前記記憶部には遠隔操作に関する情報が格納され、前記移動体位置検出部の出力に基づいて前記遠隔操作に関する情報が前記表示部に表示される遠隔操作システムに係るものである。
【００１６】
又本発明は、前記ステレオカメラにより撮影された映像により被撮影物体の少なくとも一部に関してステレオ計測を行う演算部を有し、該演算部により計測された被測定物体と前記ステレオカメラ又は移動体との相対的な位置関係に対応した情報を前記表示部に立体視可能に表示する遠隔操作システムに係るものである。
【００１７】
又本発明は、前記駆動部は、前記移動体が傾斜した場合に、前記ステレオカメラの撮像方向を機体の傾斜分補正する遠隔操作システムに係るものである。
【発明の効果】
【００１８】
本発明によれば、移動体と、該移動体を遠隔操作するリモートコントローラと、前記移動体の運転室又は操縦室を模した背景画像を格納した記憶部とを有する遠隔操作システムであって、前記移動体は、ステレオカメラと、該ステレオカメラの撮像方向を制御する駆動部と、少なくとも前記ステレオカメラにより撮影された映像を含む情報を通信する第１通信部とを有し、前記リモートコントローラは、前記第１通信部との間で通信を行う第２通信部と、前記移動体を制御する制御部と、前記ステレオカメラで撮影された映像の少なくとも一部及び前記背景画像とを合成して立体視可能に表示する表示部とを有するので、移動体に搭乗した様な臨場感を持って遠隔操作を行うことができる。
【００１９】
又本発明によれば、操作者の視線方向を検出する姿勢検出部を有し、前記駆動部は前記姿勢検出部の検出結果に基づいて、前記ステレオカメラの撮像方向を変更するので、操作者は実際に移動体から目視し、移動体上で視線を変更する様な感覚で遠隔操作を行うことができる。
【００２０】
又本発明によれば、前記移動体は、該移動体に対して前記ステレオカメラの撮像方向を変更するカメラ駆動部を有し、前記姿勢検出部の検出結果に基づいて前記カメラ駆動部を制御することにより撮像方向が変更されるので、操作者は実際に移動体から目視し、移動体上で視線を変更する様な感覚で遠隔操作を行うことができる。
【００２１】
又本発明によれば、前記移動体が該移動体を移動させる為の移動手段を有し、該移動手段は前記姿勢検出部の検出結果に基づいて前記移動体の姿勢を制御することにより前記ステレオカメラの撮像方向が変更されるので、操作者は実際に移動体から目視し、移動体上で視線を変更する様な感覚で遠隔操作を行うことができる。
【００２２】
又本発明によれば、前記表示部は、ヘッドマウントディスプレイであり、前記姿勢検出部はヘッドマウントディスプレイに設けられたので、一層臨場感が得られ、直感的な感覚で遠隔操作を行うことができる。
【００２３】
又本発明によれば、前記記憶部に記憶された背景画像は、操作者による立体視の際に視覚的に視認される奥行きに関する位置情報を含み、前記表示部に背景画像が表示された場合に前記ステレオカメラで撮影された映像に対して相対的な奥行き関係を持って視認されるので、操作者は運転室又は操縦室で操作している様な臨場感が得られる。
【００２４】
又本発明によれば、前記移動体は、該移動体の位置情報を取得する移動体位置検出部を有し、前記記憶部には遠隔操作に関する情報が格納され、前記移動体位置検出部の出力に基づいて前記遠隔操作に関する情報が前記表示部に表示されるので、移動体の遠隔操作の過程で前記遠隔操作に関する情報が得られ、操作を中断することなく、確実な遠隔操作を行うことができる。
【００２５】
又本発明によれば、前記ステレオカメラにより撮影された映像により被撮影物体の少なくとも一部に関してステレオ計測を行う演算部を有し、該演算部により計測された被測定物体と前記ステレオカメラ又は移動体との相対的な位置関係に対応した情報を前記表示部に立体視可能に表示するので、操作者は実際に運転室、操縦室で運転、操縦している様な感覚が得られる。
【００２６】
又本発明によれば、前記駆動部は、前記移動体が傾斜した場合に、前記ステレオカメラの撮像方向を機体の傾斜分補正するので、移動体の姿勢に拘らず、操作者の視線と齟齬のない画像が見られる等の優れた効果を発揮する。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１の実施例に係る遠隔操作システムの基本的な構成を示す概念図である。
【図２】第１の実施例の概略構成図である。
【図３】ディスプレイに表示される画像の一例を示す説明図である。
【図４】ヘリコプタとリモートコントローラ間の画像データの流れを示す模式図である。
【図５】移動体がリモコンカーである場合のリモコンカーとリモートコントローラ間の画像データの流れを示す模式図である。
【発明を実施するための形態】
【００２８】
以下、図面を参照しつつ本発明の実施例を説明する。
【００２９】
先ず、本発明が小型飛行体の遠隔操作システムとして実施された第１の実施例を説明する。
【００３０】
図１、図２は第１の実施例に係る遠隔操作システムの基本的な構成を示しており、該遠隔操作システムは、主に飛行体１と基地側に配置されたリモートコントローラ２、ヘッドマウントディスプレイ（ＨＭＤ）３、ジョイスティック等を備えた操作部４等から構成され、前記飛行体１は、例えば小型飛行体としてのヘリコプタであり、該ヘリコプタ１は前記リモートコントローラ２により遠隔操作可能となっている。
【００３１】
前記ヘリコプタ１は、機体５、該機体５に設けられた所要数のプロペラ、例えば前後左右、計４組のプロペラ６，７，８，９を有し、該プロペラ６，７，８，９はそれぞれ個別に第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４に連結されている。又、後述する様に第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４は独立して駆動が制御される様になっている。尚、前記プロペラ６，７，８，９及び前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４等は飛行体の移動手段を構成する。
【００３２】
前記機体５の上面には、ステレオカメラ１５が設けられ、該ステレオカメラ１５は左右２台のデジタルカメラ１６ａ，１６ｂから構成され、該デジタルカメラ１６ａ，１６ｂの光軸の間隔は所定の値、好ましくは人の目の間隔、即ち視差に相当する値に設定される。
【００３３】
前記ステレオカメラ１５はピッチ（ＰＩＴＣＨ）、ロール（ＲＯＬＬ）、ヨウ（ＹＡＷ）の３軸に回転可能に支持され、各軸について前記ステレオカメラ１５を回転させる為のピッチモータ１７、ロールモータ１８、ヨウモータ１９が設けられている。前記ピッチモータ１７、ロールモータ１８、ヨウモータ１９は、回転角が制御可能なモータ、例えばサーボモータ、ステッピングモータが用いられる。前記ピッチモータ１７、ロールモータ１８、ヨウモータ１９は前記ステレオカメラ１５の撮像方向（視野の方向）を変更するカメラ駆動部を構成する。
【００３４】
又、前記機体５の上面には、該機体５の位置を測定する為の移動体位置検出部であるＧＰＳ装置２１が設けられている。該ＧＰＳ装置２１は、地心座標系（絶対座標系）の座標（位置）を測定する。
【００３５】
前記機体５の所要位置に、例えば機体５の内部に該機体５の姿勢を検出するジャイロユニット２２、センサ類２３（例えば方位センサ、高度センサ、速度センサ、電池残量センサ）が設けられている。
【００３６】
前記機体５の内部には、制御装置２５が設けられている。図２に示される様に、該制御装置２５は主に第１演算制御部２６、第１記憶部２７、飛行制御部２８、モータコントローラ２９、カメラ制御部３１、撮像コントローラ３２、カメラ姿勢コントローラ３３、第１通信部３４、電源部（図示せず）から構成されている。前記飛行制御部２８は前記モータコントローラ２９を介して前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４の駆動を制御する。又、前記カメラ制御部３１は前記撮像コントローラ３２を介して前記ステレオカメラ１５の撮像状態を制御し、又前記カメラ姿勢コントローラ３３を介して前記ピッチモータ１７、ロールモータ１８、ヨウモータ１９を駆動制御し、前記ステレオカメラ１５の撮像方向を制御する。
【００３７】
尚、前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４の駆動を制御することで、前記ヘリコプタ１の姿勢、向きを自在に制御できるので、前記カメラ駆動部を省略し、前記ステレオカメラ１５を前記機体５に固定して設け、前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４の制御で、前記ステレオカメラ１５の撮像方向を変更及び制御してもよい。この場合、航行手段が前記カメラ駆動部を兼用する。
【００３８】
前記第１通信部３４は、前記ステレオカメラ１５で撮影した画像データを前記リモートコントローラ２に送信し、又該リモートコントローラ２から飛行方向、飛行高度、飛行速度等飛行に関する指令（コマンド）を受信し、又ステレオカメラ１５の撮像方向等撮影に関する指令（コマンド）を受信する。
【００３９】
前記第１記憶部２７は、前記ステレオカメラ１５が撮影した画像データの信号処理を実行する画像処理プログラム、前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４の駆動を制御する為の飛行制御プログラム、前記ステレオカメラ１５の撮像状態を制御する撮像制御プログラム、前記ピッチモータ１７、ロールモータ１８、ヨウモータ１９の駆動を制御して前記ステレオカメラ１５の向きを制御するカメラ姿勢制御プログラム等のプログラムが格納されていると共に、前記ステレオカメラ１５で撮影した画像データが格納される様になっている。又、前記第１記憶部２７には遠隔操作に関する情報、例えば目的地への進行方向、誘導ルート等が格納される。尚、遠隔操作に関する情報は、前記リモートコントローラ２の第２記憶部３８（後述）に格納されてもよい。
【００４０】
前記ジャイロユニット２２からの信号は前記飛行制御部２８に入力され、該飛行制御部２８は前記ジャイロユニット２２からの信号に基づき前記モータコントローラ２９を介して前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４を制御し、前記機体５の飛行姿勢が制御される。又、前記センサ類２３からの信号は、前記第１演算制御部２６及び前記飛行制御部２８に入力され、該飛行制御部２８により前記機体５の飛行方向、飛行高度、飛行速度等が制御される。
【００４１】
又、前記カメラ制御部３１には、前記ジャイロユニット２２から前記機体５の姿勢を検出した機体姿勢信号が入力され、該機体姿勢信号を基に前記カメラ姿勢コントローラ３３を介して前記ステレオカメラ１５の姿勢を基準姿勢、例えば、前記ステレオカメラ１５の光軸を水平に維持できる様になっている。更に、基準姿勢に対して、前記ステレオカメラ１５の撮像方向を所定の向きに設定できる様になっている。即ち、前記カメラ制御部３１は、前記機体５が傾いた場合に、前記ステレオカメラ１５の撮像方向を前記機体５の傾き分だけ補正をする。
【００４２】
前記リモートコントローラ２は、第２演算制御部３６、第２通信部３７、第２記憶部３８、電源部（図示せず）等から構成されており、前記第２演算制御部３６は更に、画像処理部３９、コマンド作成部４０を有している。又、前記リモートコントローラ２には前記ヘッドマウントディスプレイ３が有線、無線等任意な方法で電気的に接続され、更に操作部４が電気的に接続されている。
【００４３】
前記第２記憶部３８には、前記制御装置２５から送信される画像データが格納されると共に前記ヘッドマウントディスプレイ３に背景画像を表示させる為の背景画像データが格納され、又、画像データを映像信号に信号処理する画像処理プログラム、コマンド作成プログラム等が格納されている。
【００４４】
ここで、背景画像は図３に示される様に、運転室、操縦室を想定して作成されたＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）画像であり、背景画像には運転室の窓５１及び該窓５１の下方に計器類の表示がされる。又、背景画像は前記デジタルカメラ１６ａ，１６ｂに対応する左右２つの画像からなり、操作者による立体視の際に視覚的に視認される奥行きに関する位置情報を含み、３Ｄディスプレイ４１に表示する際に立体視される様になっており、前記デジタルカメラ１６ａ，１６ｂで撮影された映像と合成され、表示された状態で、前記デジタルカメラ１６ａ，１６ｂで撮影された映像に対して相対的な奥行き関係を持って視認される様になっている。
【００４５】
前記背景画像に含まれる計器類としては、例えば高度計５２、速度計５３、方位計５４（飛行体１の向きを表示）、電池残量計５５、位置（地上座標値）表示計５６等である。又、前記窓５１には、前記機体５の正面を表示する。例えば、前記窓５１の中央に窓枠を示す、或は矢印等のマークを表示する等である。又、前記方位計５４は、例えば、東西南北の表示と共に前記ヘリコプタ１の向きを表す指針を表示する。又、前記位置表示計５６は、飛行する区域の地図を表示すると共にこの地図上に、前記ＧＰＳ装置２１で測定された前記ヘリコプタ１の位置を示すものであり、ヘリコプタ１は光点、○等の点で示され、或はヘリコプタ１を模した図形で表される。
【００４６】
前記制御装置２５は前記第１通信部３４を介して画像データを送信し、前記リモートコントローラ２は前記第２通信部３７を介して画像データを受信し、画像データは前記第２演算制御部３６を介し、前記第２記憶部３８に入力され、該第２記憶部３８に一時的に格納される。格納された画像データは、前記画像処理部３９で映像信号に信号処理され、前記ヘッドマウントディスプレイ３に送出される。又、前記画像処理部３９は背景画像データを映像信号として前記ヘッドマウントディスプレイ３に送出し、前記画像データと前記背景データが合成され表示される様に映像信号を処理する。
【００４７】
前記コマンド作成部４０は、モーションセンサ４２（後述）からの信号に基づき前記ステレオカメラ１５のカメラ制御コマンドを作成し、又前記操作部４からの信号に基づき飛行制御コマンドを作成し、前記カメラ制御コマンド及び前記飛行制御コマンドは、前記第２通信部３７により前記制御装置２５に送信される。
【００４８】
前記ヘッドマウントディスプレイ３は、立体画像を表示する表示部である前記３Ｄディスプレイ４１と、前記ヘッドマウントディスプレイ３の動き、向きを検出する姿勢検出部であるモーションセンサ４２とを具備し、操作者が眼鏡を装着する様に装着される。
【００４９】
前記３Ｄディスプレイ４１は、操作者の両眼に対応する左右の表示器で構成され、該表示器には前記デジタルカメラ１６ａ，１６ｂで撮影された視差を有する画像がそれぞれ表示され、操作者は左右の表示器に表示された映像を、左右の目で個別に見ることで立体画像として認識することができる。又、前記３Ｄディスプレイ４１には背景画像に前記ステレオカメラ１５で撮影された画像が合成されて表示され、該ステレオカメラ１５で撮影された画像は、恰も前記窓５１を通して撮影された様な表示となっている。
【００５０】
前記モーションセンサ４２は、前記ヘッドマウントディスプレイ３の動き、向き、即ち操作者の頭（又は顔）の動き、向きを検知して、モーション信号を出力し、該モーション信号は前記第２演算制御部３６のコマンド作成部４０に入力される。
【００５１】
該コマンド作成部４０は前記モーション信号に基づきカメラ制御コマンドを作成し、該カメラ制御コマンドは、操作者の顔の動き、向きに同期し、操作者の視線と前記ステレオカメラ１５の光軸とが合致する様、前記ステレオカメラ１５の姿勢を制御するコマンドとなっている。
【００５２】
前記操作部４は、ジョイスティック等の操作部材を有し、該操作部材を操作することで、操作部材の動きに対応し、前記ヘリコプタ１の飛行方向、飛行速度、飛行高度等、飛行に関する信号を出力することができる様になっている。前記飛行に関する信号は、前記コマンド作成部４０に入力され、該コマンド作成部４０に於いて、前記飛行に関する信号に基づき、前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４を制御する飛行制御コマンドが作成され、該飛行制御コマンドは前記第２通信部３７により前記制御装置２５に送信される。
【００５３】
図４を参照して、第１の実施例の作用について説明する。図４は、映像に関する信号の流れを示している。
【００５４】
前記リモートコントローラ２の前記操作部４を操作し、前記ヘリコプタ１を飛行させる。
【００５５】
前記操作部４からの信号に基づき、前記コマンド作成部４０で飛行制御コマンドが作成され、前記第２通信部３７、前記第１通信部３４を介して前記制御装置２５に受信され、前記第１演算制御部２６は前記飛行制御コマンドに基づき前記飛行制御部２８、前記モータコントローラ２９を介し、前記ヘリコプタ１が飛行制御コマンドに対応する飛行方向、飛行速度、飛行高度等となる様に前記第１飛行モータ１１、第２飛行モータ１２、第３飛行モータ１３、第４飛行モータ１４を制御する。
【００５６】
又、前記ヘリコプタ１の飛行状態は、前記センサ類２３によって検出され、該センサ類２３からの信号は、前記第１通信部３４から送信され、前記第２通信部３７を介してリモートコントローラ２に受信される。
【００５７】
前記第２通信部３７で受信され、前記センサ類２３の検出結果は、前記第２記憶部３８に記憶され、後述する様に、操作者の視線が背景画像の計器類に向いた状態で前記高度計５２、前記速度計５３、前記方位計５４、前記電池残量計５５、前記位置表示計５６に表示される。
【００５８】
飛行中、前記ステレオカメラ１５で撮影された映像が、前記第１通信部３４を介して前記リモートコントローラ２に送信され、該リモートコントローラ２の第２通信部３７によって受信され、前記画像処理部３９で前記表示視野５７の画像として信号処理される。
【００５９】
又、前記画像処理部３９は前記背景画像と前記表示視野５７の画像とを合成し、更に前記センサ類２３の検出結果を画像に変換し、背景画像中の前記高度計５２、前記速度計５３、前記方位計５４、前記電池残量計５５、前記位置表示計５６に合成して表示する。
【００６０】
又、前記画像処理部３９は、３Ｄディスプレイ４１の左右の表示部に視差を有する様に表示させ、立体画像として認識できる様にする。
【００６１】
操作者は、前記３Ｄディスプレイ４１に表示された立体画像に基づき、前記ヘリコプタ１を操縦する。立体画像が表示される範囲は、前記ステレオカメラ１５の視野（画角）と一致しており、図３中破線で示す矩形の部分（表示視野５７）である。又、前記背景画像は、前記表示視野５７より充分大きい画角を有する様に作成されており、例えば運転中、視線を動かし得る範囲であり、又前記窓５１の大きさは、運転する場合に必要な前方の情報を得るに充分な視界（広さ）を有している。
【００６２】
又、背景画像の中心（光軸）は、前記ヘリコプタ１の正面の方向と合致しており、前記表示視野５７の中心（光軸）は、操作者の顔の正面の方向と一致している。従って、操作者が前記ヘリコプタ１の姿勢、向きを変更することなく、顔（頭）を動かすと、顔の動きはモーションセンサによって検出され、モーションセンサの信号は、前記コマンド作成部４０によって前記ステレオカメラ１５の姿勢制御のコマンドに変換され、前記制御装置２５に送信される。前記第１通信部３４を介して受信されたコマンドに基づき、前記カメラ制御部３１が前記ステレオカメラ１５の姿勢を制御する。従って、顔の動きに追従して前記表示視野５７が前記背景画像の範囲内を移動する。尚、理解を容易にする為、図３では、背景画像全体を示しているが、前記３Ｄディスプレイ４１に表示されるのは、前記表示視野５７部分だけである。
【００６３】
尚、前記機体５が傾いた場合、モーションセンサが発する操作者の視線と前記ステレオカメラ１５の撮像方向との間でずれが生じる。上記した様に、前記カメラ制御部３１は、前記ジャイロユニット２２からの信号で前記ステレオカメラ１５の基準位置からのずれを修正するので、前記モーションセンサ４２からの信号に対して、前記機体５の傾き分を補正して、前記ステレオカメラ１５の姿勢を制御する。
【００６４】
又、顔（頭）を動かすことなく前記ヘリコプタ１の姿勢、向きを変更すると、前記表示視野５７と背景画像との相対変位はなく、即ち、前記表示視野５７の位置は、背景画像に対して固定しており、前記ステレオカメラ１５で撮影した画像が背景画像に対して移動する。この場合も、前記カメラ制御部３１は、前記機体５が傾いた場合、傾きを補正する様、前記ステレオカメラ１５の姿勢を制御する。
【００６５】
従って、頭を下に向ければ、前記表示視野５７は背景画像に対して下方に移動し、前記表示視野５７の中に前記高度計５２、前記速度計５３、前記方位計５４、前記電池残量計５５、前記位置表示計５６が現れる。前記高度計５２、前記速度計５３、前記方位計５４、前記電池残量計５５、前記位置表示計５６には、前記ＧＰＳ装置２１で測定された位置が表示され、前記センサ類２３で検出した結果が表示され、前記ヘリコプタ１の飛行状態を操縦しつつ計器の内容で確認でき、直ちに操縦に反映させることができる。
【００６６】
又、前記３Ｄディスプレイ４１には、前記第１記憶部２７に格納された遠隔操作に関する情報、即ち飛行すべき方向、飛行ルートが表示される。尚、遠隔操作に関する情報は、常時表示させてもよく、或は前記操作部４の操作で、操作者が適宜表示させてもよい。
【００６７】
従って、前記ヘリコプタ１の操縦室で操縦する様な臨場感が得られ、更に前記ヘリコプタ１の飛行状態を把握でき、直感的な操作が行え、或は障害物への的確な対応が行える。
【００６８】
次に、既知の関係にある前記デジタルカメラ１６ａ，１６ｂで同時に２つの画像が得られるので、得られた２つの画像から写真測量、即ち前方の距離測定を行うことができる。又、前記ヘリコプタ１から所定の距離離れた位置を画像上に設定することができる。
【００６９】
障害物に対して安全に飛行できる安全飛行間隔を設定し、安全飛行間隔を仮想ライン、或は仮想壁を立体視できる様に前記３Ｄディスプレイ４１に表示しておけば、操作者は障害物がある空間を飛行する際に、安全飛行間隔以上に障害物に接近しない様に飛行させることができる。又、前記第１演算制御部２６又は前記第２演算制御部３６に於いて、飛行方向に障害物が存在した場合に、障害物を被測定物として写真測定を行い、障害物と前記ヘリコプタ１との距離をリアルタイムで測定し、測定結果が前記安全飛行間隔より近くなったら、警告音を発する、或は表示を点滅させる等の警告をする様にしてもよい。
【００７０】
次に、図５を参照して第２の実施例を説明する。図５中、図４中で示したものと同等のものには同符号を付してある。
【００７１】
第２の実施例は、遠隔操作の対象を小型走行体、例えばリモコンカー６１としたものである。
【００７２】
第２の実施例に於いても、前記リモコンカー６１の所要位置、例えば天井に、ステレオカメラ１５が設けられ、該ステレオカメラ１５は２つのデジタルカメラ１６ａ，１６ｂを有し、前記ステレオカメラ１５はピッチ（ＰＩＴＣＨ）、ロール（ＲＯＬＬ）、ヨウ（ＹＡＷ）の３軸に回転可能に支持され、各軸について前記ステレオカメラ１５の回転が制御可能となっている。
【００７３】
リモコンカー６１の場合、該リモコンカー６１を走行させる為の移動手段は車輪及び車輪を回転させる為の走行モータであり、走行の制御は、車輪の回転速度（走行速度）の制御、及びハンドル操作（走行方向）となる。又、リモコンカー６１の走行状態を検出するセンサとしては、速度センサ、電池の消耗状態を検知する電池残量センサが設けられる。
【００７４】
遠隔操作者は、ヘッドマウントディスプレイ３を装着し、該ヘッドマウントディスプレイ３にはモーションセンサが設けられ、該モーションセンサの動き、即ち遠隔操作者の頭部の動きに追従して、前記ステレオカメラ１５の方向が遠隔操作者の視線の方向と合致する様制御される。
【００７５】
前記ヘッドマウントディスプレイ３には前記ステレオカメラ１５が撮影した画像が表示されると共に運転室を模した背景画像が合成され表示される。背景画像には、運転室の風景に合わせて速度計が表示される。遠隔操作者は前記リモコンカー６１の運転室からの目線で走行方向、或は走行方向の周囲の立体映像を視認しつつ遠隔操作が行え、更に運転室内の速度計を視認しつつ、速度調整を合わせて行うことができる。従って、前記リモコンカー６１に乗車している様な臨場感が体験でき、更に直感的な判断で操作を行うことができる。
【００７６】
尚、上記実施例では画像をヘッドマウントディスプレイ３に表示させたが、画像を３Ｄ表示可能な通常のディスプレイに表示し、操作者は３Ｄ眼鏡を掛けて、立体画像を視認する様にしてもよい。この場合、モーションセンサ４２は単独で操作者の頭部に装着され、操作者の視線の方向を検知する。
【００７７】
又、上記実施例では、移動体に１組のステレオカメラ１５を設けたが、複数組のステレオカメラ１５を設け、各ステレオカメラ１５に対応した操作者がそれぞれヘッドマウントディスプレイ３を装着し、各自がステレオカメラ１５で得られる立体画像に基づき、個別の作業を行ってもよい。例えば、一人は移動体の操縦に専念し、もう一人は現況の調査観察或は撮影作業、或は測量に専念する等である。
【符号の説明】
【００７８】
１ ヘリコプタ
２ リモートコントローラ
３ ヘッドマウントディスプレイ
４ 操作部
５ 機体
１５ ステレオカメラ
２１ ＧＰＳ装置
２３ センサ類
２５ 制御装置
２６ 第１演算制御部
２７ 第１記憶部
２８ 飛行制御部
３１ カメラ制御部
３４ 第１通信部
３６ 第２演算制御部
３７ 第２通信部
３８ 第２記憶部
３９ 画像処理部
４０ コマンド作成部
４１ ３Ｄディスプレイ
４２ モーションセンサ
【特許請求の範囲】
【請求項１】
移動体と、該移動体を遠隔操作するリモートコントローラと、前記移動体の運転室又は操縦室を模した背景画像を格納した記憶部とを有する遠隔操作システムであって、前記移動体は、ステレオカメラと、該ステレオカメラの撮像方向を制御する駆動部と、少なくとも前記ステレオカメラにより撮影された映像を含む情報を通信する第１通信部とを有し、前記リモートコントローラは、前記第１通信部との間で通信を行う第２通信部と、前記移動体を制御する制御部と、前記ステレオカメラで撮影された映像の少なくとも一部及び前記背景画像とを合成して立体視可能に表示する表示部とを有することを特徴とする遠隔操作システム。
【請求項２】
操作者の視線方向を検出する姿勢検出部を有し、前記駆動部は前記姿勢検出部の検出結果に基づいて、前記ステレオカメラの撮像方向を変更する請求項１の遠隔操作システム。
【請求項３】
前記移動体は、該移動体に対して前記ステレオカメラの撮像方向を変更するカメラ駆動部を有し、前記姿勢検出部の検出結果に基づいて前記カメラ駆動部を制御することにより撮像方向が変更される請求項１又は請求項２の遠隔操作システム。
【請求項４】
前記移動体が該移動体を移動させる為の移動手段を有し、該移動手段は前記姿勢検出部の検出結果に基づいて前記移動体の姿勢を制御することにより前記ステレオカメラの撮像方向が変更される請求項１又は請求項２の遠隔操作システム。
【請求項５】
前記表示部は、ヘッドマウントディスプレイであり、前記姿勢検出部はヘッドマウントディスプレイに設けられた請求項１〜請求項３のいずれかの遠隔操作システム。
【請求項６】
前記記憶部に記憶された背景画像は、操作者による立体視の際に視覚的に視認される奥行きに関する位置情報を含み、前記表示部に背景画像が表示された場合に前記ステレオカメラで撮影された映像に対して相対的な奥行き関係を持って視認される請求項１又は請求項５の遠隔操作システム。
【請求項７】
前記移動体は、該移動体の位置情報を取得する移動体位置検出部を有し、前記記憶部には遠隔操作に関する情報が格納され、前記移動体位置検出部の出力に基づいて前記遠隔操作に関する情報が前記表示部に表示される請求項１〜請求項６のいずれかの遠隔操作システム。
【請求項８】
前記ステレオカメラにより撮影された映像により被撮影物体の少なくとも一部に関してステレオ計測を行う演算部を有し、該演算部により計測された被測定物体と前記ステレオカメラ又は移動体との相対的な位置関係に対応した情報を前記表示部に立体視可能に表示する請求項１〜請求項７のいずれかの遠隔操作システム。
【請求項９】
前記駆動部は、前記移動体が傾斜した場合に、前記ステレオカメラの撮像方向を機体の傾斜分補正する請求項１〜請求項８のいずれかの遠隔操作システム。
【請求項１】
移動体と、該移動体を遠隔操作するリモートコントローラと、前記移動体の運転室又は操縦室を模した背景画像を格納した記憶部とを有する遠隔操作システムであって、前記移動体は、ステレオカメラと、該ステレオカメラの撮像方向を制御する駆動部と、少なくとも前記ステレオカメラにより撮影された映像を含む情報を通信する第１通信部とを有し、前記リモートコントローラは、前記第１通信部との間で通信を行う第２通信部と、前記移動体を制御する制御部と、前記ステレオカメラで撮影された映像の少なくとも一部及び前記背景画像とを合成して立体視可能に表示する表示部とを有することを特徴とする遠隔操作システム。
【請求項２】
操作者の視線方向を検出する姿勢検出部を有し、前記駆動部は前記姿勢検出部の検出結果に基づいて、前記ステレオカメラの撮像方向を変更する請求項１の遠隔操作システム。
【請求項３】
前記移動体は、該移動体に対して前記ステレオカメラの撮像方向を変更するカメラ駆動部を有し、前記姿勢検出部の検出結果に基づいて前記カメラ駆動部を制御することにより撮像方向が変更される請求項１又は請求項２の遠隔操作システム。
【請求項４】
前記移動体が該移動体を移動させる為の移動手段を有し、該移動手段は前記姿勢検出部の検出結果に基づいて前記移動体の姿勢を制御することにより前記ステレオカメラの撮像方向が変更される請求項１又は請求項２の遠隔操作システム。
【請求項５】
前記表示部は、ヘッドマウントディスプレイであり、前記姿勢検出部はヘッドマウントディスプレイに設けられた請求項１〜請求項３のいずれかの遠隔操作システム。
【請求項６】
前記記憶部に記憶された背景画像は、操作者による立体視の際に視覚的に視認される奥行きに関する位置情報を含み、前記表示部に背景画像が表示された場合に前記ステレオカメラで撮影された映像に対して相対的な奥行き関係を持って視認される請求項１又は請求項５の遠隔操作システム。
【請求項７】
前記移動体は、該移動体の位置情報を取得する移動体位置検出部を有し、前記記憶部には遠隔操作に関する情報が格納され、前記移動体位置検出部の出力に基づいて前記遠隔操作に関する情報が前記表示部に表示される請求項１〜請求項６のいずれかの遠隔操作システム。
【請求項８】
前記ステレオカメラにより撮影された映像により被撮影物体の少なくとも一部に関してステレオ計測を行う演算部を有し、該演算部により計測された被測定物体と前記ステレオカメラ又は移動体との相対的な位置関係に対応した情報を前記表示部に立体視可能に表示する請求項１〜請求項７のいずれかの遠隔操作システム。
【請求項９】
前記駆動部は、前記移動体が傾斜した場合に、前記ステレオカメラの撮像方向を機体の傾斜分補正する請求項１〜請求項８のいずれかの遠隔操作システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１３−３８６２２（Ｐ２０１３−３８６２２Ａ）
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願番号】特願２０１１−１７３５５７（Ｐ２０１１−１７３５５７）
【出願日】平成２３年８月９日（２０１１．８．９）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
【公開日】平成２５年２月２１日（２０１３．２．２１）
【国際特許分類】
【出願日】平成２３年８月９日（２０１１．８．９）
【出願人】（０００２２０３４３）株式会社トプコン (904)
【Ｆターム（参考）】
[ Back to top ]