ゆらぎ補正による画像表示方法及びその方法を用いた模型自動車等用リモートコントロールシステム
【課題】遠隔地に設置されたカメラを搭載した模型自動車等の走行体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、ゆらぎ補正処理を行なうことにより、不自然さのない映像が得られる画像表示方法、並びに、この方法を採用することにより、的確な遠隔操作が可能となる模型自動車等用リモートコントロールシステムを提供することを課題とする。
【解決手段】ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら走行体を遠隔制御可能にするためのモニタへの受信画像の表示を行なうオペレーションマシンにおいて、受信画像のモニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、描画画像は、受信画像を遅れ処理した予測画像とする。
【解決手段】ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら走行体を遠隔制御可能にするためのモニタへの受信画像の表示を行なうオペレーションマシンにおいて、受信画像のモニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、描画画像は、受信画像を遅れ処理した予測画像とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ゆらぎ補正による画像表示方法及びその方法を用いた模型自動車等用リモートコントロールシステムに係り、より詳細には、ゆらぎ補正による画像表示方法及びその方法を用いた、オペレーションマシンの操作者の操縦により、模型自動車等の走行体の走行やスピード制御等を遠隔的に行なうリモートコントロール機能を備えた模型自動車等用リモートコントロールシステムに関する。
【背景技術】
【０００２】
撮影領域等を遠隔操作で変更できる遠隔カメラ装置や遠隔監視システム装置が提案されている。このような遠隔カメラ装置として、例えば、伝送遅延や信号処理遅延による監視カメラ部の制御行き過ぎ量を補正することのできる遠隔カメラ装置が提案されている（特開平６−３８０８７号公報）。遠隔監視システム装置としては、例えば、カメラを動作させているときに受信側で表示する画像を、その時点でカメラが撮影している範囲に近づくようにシフトして表示し、あたかも画像の遅れが発生していないように見えるように表示範囲を加工し、カメラの遠隔操作による遅延を感じられないような監視システム装置が提案されている（特開２００２−１８５９５６号公報）。
【０００３】
しかしながら、これらの技術は、有線回線による動画伝送を前提としており、固定遅延時間分の補正を行なうことにより、違和感のない動画を伝送することができるが、インターネットや無線ＬＡＮによる動画伝送を行なう場合には、均一な通信速度が得られないために、動画データの到達時間にゆらぎが発生する。
【０００４】
即ち、通信の遅れがバラつくことにより描画タイミングがバラつき、時には通信エラーによるデータ消失が起こり、その結果、動画に違和感を感じる事態が発生する（図２０乃至２２参照）。
【０００５】
上述する理由により、このようなカメラを模型自動車等の走行体に搭載して、パーソナルコンピュータ等のモニタでカメラからの映像を見ながら操作するような場合は、このゆらぎが動画データの不連続性を生み、操作者が模型自動車等の動きを予想できなくなって、的確な操作ができなくなり、遠隔操作の操縦性が悪くなる。
【０００６】
この対策として従来は、ゆらぎ変化範囲をカバーする量の動画データを受信側で蓄積することにより、ゆらぎを抑えるという方法が採られている。しかし、この手法の場合、動画データの蓄積分の動画遅延が発生するという問題が生ずる。
【０００７】
【特許文献１】特開平６−３８０８７号公報
【特許文献２】特開２００２−１８５９５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は上記問題を解決することを課題としてなされたもので、遠隔地に設置されたカメラを搭載した模型自動車等の走行体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、ゆらぎ補正処理を行なうことにより、不自然さのない映像が得られる画像表示方法、並びに、この方法を採用することにより、的確な遠隔操作が可能となる模型自動車等用リモートコントロールシステムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の発明は、ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら前記走行体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とする、という方法により上記課題を達成する。
【００１０】
請求項２に記載した発明は、請求項１に記載のゆらぎ補正による画像表示方法において、前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像であることを特徴とする。
【００１１】
請求項３に記載した発明は、請求項１に記載のゆらぎ補正による画像表示方法において、前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものであることを特徴とする。
【００１２】
請求項４に記載した発明は、請求項３に記載のゆらぎ補正による画像表示方法において、前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び／又は左右にシフトするものであることを特徴とする。
【００１３】
請求項５に記載の発明は、模型自動車等の走行体からの画像情報に基づいて前記走行体を遠隔制御するためのオペレーションマシンを備えた模型自動車等用リモートコントロールシステムであって、
前記オペレーションマシンは、前記走行体の車載カメラからの画像情報とセンサー情報とを受信する画像描画用情報受信手段と、前記受信した画像描画用情報内の画像データを伸張する画像伸張手段と、前記伸張した画像データを、受信した前記センサー情報に基づいて加工する画像加工手段と、コントローラによって入力された操作入力値を前記走行体に対する制御情報へ変換処理する操作入力手段と、前記操作入力手段によって生成された制御情報を前記走行体へ送信する制御情報送信手段とを備え、
前記走行体は、前記車載カメラの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、前記車速センサーからの車速及びバッテリーからのバッテリー電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサー取込手段と、前記画像情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、受信した前記制御情報に基づいてサーボ及びモータを制御する制御処理手段、とを備える、ことにより上記課題を達成する。
【００１４】
請求項６に記載した発明は、請求項５に記載の模型自動車等用リモートコントロールシステムにおいて、前記画像加工手段は、前記伸張された画像データを、受信した前記センサー情報に基づいて、出力するタイミング及び表示させる画像の描画エリアを調整することを特徴とする。
【００１５】
請求項７に記載した発明は、請求項６に記載の模型自動車等用リモートコントロールシステムにおいて、前記画像加工手段は、前記伸張された画像データに格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた描画遅れ時間を算出し、前記描画遅れ時間と車速から画像拡大率を算出すると共に、前記描画遅れ時間と操舵位置から画像左右シフト量を算出し、前記画像拡大率と前記画像左右シフト量とから前記描画エリアを指定することを特徴とする。
【００１６】
請求項８に記載した発明は、請求項５に記載の模型自動車等用リモートコントロールシステムにおいて、前記センサー情報は、前記走行体に搭載の車速センサーからの車速値と、バッテリーの電圧値とを含むことを特徴とする。
【発明の効果】
【００１７】
本発明に係るゆらぎ補正による画像表示方法によれば、受信画像から画像処理して得られた予測画像（擬似的画像）が定間隔置きに表示されるためにゆらぎがなくなり、遠隔地に設置されたカメラを搭載した模型自動車等の走行体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、このゆらぎ補正処理を行なうことにより、不自然さのない映像が得られ、以て的確な遠隔操作が可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。図１は、模型自動車とオペレーションマシン２から成る、本発明に係る模型自動車等用リモートコントロールシステムの全体構成を表したものである。このシステムは、カメラを搭載した走行体である模型自動車１と、模型自動車１から離れた場所で模型自動車１を操縦する操作者のモニタ付きオペレーションマシン２と、インターネット４等の通信手段とから構成されている。
【００１９】
オペレーションマシン２では、そのモニタに模型自動車１のカメラ映像が出力される。操作者は、模型自動車１のカメラ映像を見ながらステアリングコントローラ、ジョイスティック等のゲームコントローラその他のコントローラ３で制御情報を入力して、模型自動車１を操縦することが可能である。そして、当該制御情報を受け取った模型自動車１では、その車載コンピュータにより当該制御情報から各制御用データが読み込まれ、既に駆動されているサーボ（操舵）や駆動モータが制御されることにより、模型自動車１は、オペレーションマシン２で入力された制御情報に従って動作することが可能になる。
【００２０】
図２は、本実施形態における模型自動車１の構成を表したブロック図である。本実施形態における模型自動車１は、無線ＬＡＮに接続されており、模型自動車１内のセンサーからセンサー情報生成を行なう機能や、カメラキャプチャー画像にタイムスタンプ値の付加等を行なう画像情報生成機能等の送信情報処理機能の他、サーボや駆動モータに対して所定の処理を行なう制御機能も備えている。本実施形態の模型自動車１では、画像情報生成機能を実現するためのカメラ５、センサー情報生成機能を実現するための車速センサー６、バッテリー７、制御機能を実現するためのサーボ８及び駆動モータ９、９ａ、ギアボックス１０、１０ａ、並びに、各種機能処理手段として機能する車載コンピュータ１１を備えている。
【００２１】
車載コンピュータ１１は、各装置の制御やデータの計算・加工を行なうＣＰＵ、一度書き込んだ内容は消去できないが電源を切っても内容が消えないＦ−ＲＯＭ、半導体素子を利用したＲＡＭ、内部時計１３、ビデオキャプチャー部１２、画像圧縮部、センサー入力部１６、モータ制御部１５、無線ＬＡＮ通信部１４を備えている。
【００２２】
また、車載コンピュータ１１は、カメラ５、車速センサー６、バッテリー７、サーボ８、及び駆動モータ９、９ａが接続されており（図２、図３参照）、図４に示すように、オペレーションマシン２へ送信する情報の処理と、オペレーションマシン２から受信した情報の処理を行なう。
【００２３】
オペレーションマシン２へ送信する情報の処理としては、ビデオキャプチャー部１２からの画像に内部時計１３のタイムスタンプ値を付加して画像を圧縮する画像圧縮処理と、車速センサー６によって得られた車速とバッテリー電圧値をセンサー情報として取り込むセンサー取込処理とがある。オペレーションマシン２から受信した情報の処理はモータ制御処理で、受信した制御情報に従って、サーボ８及び駆動モータ９、９ａを制御する。
【００２４】
本実施形態のオペレーションマシン２は、車載カメラ５の映像のうちの所定の描画エリアをモニタに表示する。そして、模型自動車１に設置されているセンサー等の検出結果から模型自動車１の状態を認識、判断し、その結果に応じた車載カメラ映像やスピードメーター・バッテリー残量表示を出力するという機能を、この模型自動車１からの画像情報やセンサー情報と連動して実行する。例えば、「画像データ、タイムスタンプ、車速、バッテリー電圧値」等の画像描画用情報を受信する処理を行ない、この画像描画用情報に含まれる画像情報、センサー情報を判別して、次の映像に応じた処理を実行する。
【００２５】
ここで、上記システムに採用される本発明に係るゆらぎ補正による画像表示方法について、より詳細に説明する。該画像表示方法は、ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら前記走行体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とすることを特徴とするものである。
【００２６】
前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像であり、前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものであり、また、前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び／又は左右にシフトするものである。
【００２７】
このゆらぎ補正の方法について、図５乃至図８を参照して詳細に説明する。図５において、送り側画像の段のＳａ、Ｓｂ、Ｓｃ、Ｓｄ、Ｓｅは、カメラからの画像取り込み時の撮像時刻を示し、ゆらぎの段のＳａ、Ｓｂ、Ｓｃ、Ｓｄ、Ｓｅは、画像情報にカメラからの画像取り込み時の撮像時刻が付加されたタイムスタンプを示し、受け側画像描画の段のＴａ、Ｔｂ、Ｔｃ、Ｔｄ、Ｔｅは、描画タイミング時刻を示している。
【００２８】
受け側画像描画では、等間隔で遅れ予測画像が描画されることになるので、描画タイミングにバラつきがなく、換言すれば、ゆらぎがなく、スムーズな動画が得られることになる。その遅れ予測時間ｔは、描画タイミング時刻Ｔから、そのとき受信している画像情報に付加されているタイムスタンプＳを差し引いた時間Ｔ−Ｓである。
【００２９】
図６乃至図８は、オペレーションマシン２の遅れ予測画像の描画機能について説明するものである。オペレーションマシン２は、図６に示されるように、受信画像上の描画エリアを指定することで、その範囲をビデオメモリにメモリ転送する機能を有する。この機能によって、受信画像の任意のエリアを表示することが可能となる。
【００３０】
また、図７は、模型自動車１の直進時の描画エリアの変化について説明するものであり、そこには、模型自動車１がＡ地点からＢ地点へ直進した場合の、オペレーションマシン２のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、単に模型自動車１が直進する場合には、受信画像に対して視点の中心を変えずに、領域だけを中心へズームさせればよい。この場合のズーム量は、センサー情報である車速から算出される。
【００３１】
更に、図８は、模型自動車１の右カーブ時の描画エリアの変化について説明するものであり、そこには、模型自動車１が右カーブしようとＡ地点からＢ地点へ移動した場合の、オペレーションマシン２のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、模型自動車１が右カーブする場合には、受信画像に対して徐々に視点の中心を右側へ移動させながらズームさせればよい。この場合のズーム量及びシフト量は、センサー情報である車速と操舵角度から算出される。
【００３２】
このように、本発明に係る画像表示方法においては、センサー情報を利用して、受信画像の遅れ予測時間経過時の遅れ予測画像を生成し、これを描画タイミング時刻に描画するので、通信のゆらぎが是正され、不自然さのないリアルタイムの動画が得られるのである。
【００３３】
次に、上記画像表示方法を採用した本発明に係るシステムの、模型自動車１、オペレーションマシン２、及び操作者の操作による一連の処理の流れを、図９のフローチャートを参照して簡単に説明する。まず、模型自動車１では、カメラ画像に内部時計１３によるタイムスタンプが付されて画像圧縮処理され、この画像情報がオペレーションマシン２へ送信される第１のデータとされる。
【００３４】
また、車速センサー６で得られた車速値と、バッテリー電圧値とがセンサー取込処理によって取り込まれ、センサー情報としてオペレーションマシン２へ送信される第２のデータとされる。
【００３５】
画像圧縮処理により生成された画像情報、センサー取込処理により生成されたセンサー情報は、オペレーションマシン２へ送信される情報として通信処理によって送信される。オペレーションマシン２は、この情報を通信処理によって受信し、画像情報を画像伸張処理へ、センサー情報を画像加工処理へ引き渡す。
【００３６】
画像加工処理では、画像情報内の画像データを伸張し、画像加工処理へ引き渡す。画像加工処理では、伸張された画像データ、タイムスタンプ、センサー情報からモニタに描画する画像を生成してモニタに出力する。
【００３７】
操作者は、モニタに映し出されたカメラからの映像を見ながらゲームコントローラを操作する。ゲームコントローラの操作によって入力された制御情報は、通信処理によって模型自動車１へ送信され、模型自動車１では、受信した制御情報を基に、サーボ６、駆動モータ７、７ａを制御する。
【００３８】
以下、上述した図９のフローチャートにおける各処理について詳細に説明する。まず、本発明に係る車載コンピュータ１１の無線ＬＡＮ通信処理を、図１０のフローチャートに基づいて説明する。車載コンピュータ１１の無線ＬＡＮ通信部１４は、平時は、オペレーションマシン２からのシステム接続情報を受信するために待機している（Ｓ１０１）。
【００３９】
そして、情報を受信すると、それがオペレーションマシン２からのシステム接続情報であるかどうかを確認し（Ｓ１０２）、オペレーションマシン２からのシステム接続情報であれば、認証コードが正常かどうかの確認をする（Ｓ１０３）。
【００４０】
接続コードが正常であれば、送信元のオペレーションマシン２へ接続応答情報を送信してシステム状態を接続中へ切り替え（Ｓ１０４、Ｓ１０５）、内部時計１３をシステム接続情報中のシステム時刻データに合わせる（Ｓ１０６）。
【００４１】
オペレーションマシン２からの受信情報がシステム接続情報ではない場合には（Ｓ１０２）、それが制御情報であれば（Ｓ１０７）、システム状態が接続中であるかどうかのチェックを行なう（Ｓ１０８）。システムが接続中であれば、モータ制御処理へ制御情報を受け渡し（Ｓ１０９）、内部時計調時処理を行なう（Ｓ１１０）。もし、制御情報の受信エラーが発生した場合には（Ｓ１１１）、システム状態を未接続に切り替える（Ｓ１１２）。
【００４２】
システム情報を受信していないときには、逆に、オペレーションマシン２へ送信情報があるかどうかのチェックを行ない（Ｓ１１３）、送信情報があれば、システム状態が接続中であるかどうかを確認して（Ｓ１１４）、送信情報を送信する（Ｓ１１５）。
【００４３】
本発明に係る車載コンピュータ１１の画像圧縮処理を、図１１のフローチャートを参照して説明する。車載コンピュータ１１は、平時、オペレーションマシン２とシステム上接続されているかどうかの判断をしており（Ｓ２０１）、接続されていれば、ビデオキャプチャーを開始する（Ｓ２０２）。 キャプチャーされた画像は圧縮され（Ｓ２０３）、内部時計１３から生成されたタイムスタンプが付加されて画像情報が作成され（Ｓ２０４、Ｓ２０５）、無線ＬＡＮ通信処理へ受け渡される（Ｓ２０６）。
【００４４】
次いで、本発明に係る車載コンピュータ１１のモータ制御処理及びセンサー入力処理を、図１２のフローチャートを参照して説明する。モータ制御部１５は、平時は、オペレーションマシン２からの制御情報の受信に備えて待機している（Ｓ３０１）。制御情報を受信すると、制御情報に含まれている駆動モータ値、サーボ位置の情報に従って、駆動モータ９、９ａ及びサーボ８を制御するように出力する（Ｓ３０２、Ｓ３０３）。
【００４５】
モータ制御処理で制御された直後の車速、バッテリー電圧値をオペレーションマシン２へ送信するセンサー情報として利用するために、モータ制御処理で駆動モータ９、９ａ、サーボ８が制御されると、連動してセンサー入力処理が開始される（Ｓ３０４）。
【００４６】
センサー入力部１６では、モータ制御部１５のモータ制御処理による処理起動命令を受けると（Ｓ４０１）、車速センサー６から車速、バッテリー７からバッテリー電圧をそれぞれ取り込み（Ｓ４０２、Ｓ４０３）、それらを元にセンサー情報を作成し（Ｓ４０４）、オペレーションマシン２へセンサー情報を送信するために、無線ＬＡＮ通信部１４へセンサー情報を受け渡す（Ｓ４０５）。
【００４７】
本発明に係る車載コンピュータ１１の内部時計調時処理を、図１３のフローチャートを参照して説明する。内部時計調時処理では、制御情報の送信時間、通信遅延時間から内部時計１３とオペレーションマシン２のシステム時刻の時間差を割り出し、調時時間を算出する（Ｓ５０１〜Ｓ５０３）。調時時間は、時間差の２０分の１とし、急激な変化を吸収する。この処理は、オペレーションマシン２がシステム接続されたときに行なわれる。
【００４８】
算出された調時時間が１ｍｓ未満であれば内部時計１３は再設定されないが、１ｍｓ以上であれば、内部時計１３の時間に調時時間を加えて内部時計１３を再設定する（Ｓ５０４、Ｓ５０５）。
【００４９】
オペレーションマシン２は、模型自動車１を遠隔操作するためのプログラムが記憶されたパーソナルコンピュータである。操作者は、オペレーションマシン２を操作して模型自動車１をリモートコントロールすることができる。
【００５０】
次に、本発明に係るオペレーションマシン２の処理について説明する。オペレーションマシン２で行なわれる処理は、図１４に示すように、模型自動車１から送信されたデータに基づく処理と、操作者によるゲームコントローラ３からの入力に基づく処理に大別される。
【００５１】
模型自動車１から送信されたデータに基づく処理は、無線ＬＡＮ通信処理で受信した画像情報を伸張する画像伸張処理と、画像伸張処理によって伸張された画像を、受信したセンサー情報に基づいてモニタに映し出すためのビデオ信号を生成する画像加工処理である。
【００５２】
一方、操作者によるゲームコントローラ３からの入力に基づく処理は、操作入力処理として図示されているが、ここで処理された制御情報が、無線ＬＡＮ通信処理によって模型自動車１へ送信される。
【００５３】
本発明に係るオペレーションマシン２の無線ＬＡＮ通信処理を、図１５のフローチャートを参照して説明する。オペレーションマシン２の無線ＬＡＮ通信処理では、平時、模型自動車１との接続が保たれているかどうかのチェックがなされる（Ｓ６０１）。
【００５４】
模型自動車１との接続が保たれていない場合には、前回接続時に送信したシステム接続情報を送信してから指定時間経過したかどうかを判断して（Ｓ６０２）、指定時間経過している場合には、再度、システム接続情報を送信する（Ｓ６０３）。
【００５５】
そして、模型自動車１からの接続応答情報が受信されれば（Ｓ６０４）、その応答コードから正常接続されたかどうかを判断して（Ｓ６０５）、正常に接続されていれば、システムの状態を接続中へ切り替える（Ｓ６０６）。
【００５６】
模型自動車１との接続が保たれている場合には（Ｓ６０１）、常に、模型自動車１からの受信情報があるかどうかをチェックしている（Ｓ６０７）。模型自動車１からの受信情報が画像情報であれば（Ｓ６０８）、画像伸張処理プログラムへ画像情報が受け渡される（Ｓ６０９）。
【００５７】
受信情報が画像情報でなく、センサー情報であれば（Ｓ６１０）、現在時刻と通信時刻とから通信遅延時間を算出し（Ｓ６１１）、画像加工処理へセンサー情報を受け渡し（Ｓ６１２）、通信監視タイマーをリセットする（Ｓ６１３）。
【００５８】
模型自動車１からの受信情報がないときには、逆に模型自動車への送信情報があるかどうかをチェックしており（Ｓ６１４）、送信情報があれば、送信情報を送信して（Ｓ６１５）、通信監視タイマーをリセットする（Ｓ６１６）。受信情報も送信情報もない状態が続き、通信監視時間がタイムアウトしてしまうと（Ｓ６１７）、システム状態が未接続に切り替わる（Ｓ６１８）。
【００５９】
本発明に係るオペレーションマシン２の画像伸張処理を、図１６のフローチャートを参照して説明する。オペレーションマシン２の画像伸張処理では、平時、模型自動車１からの画像情報の受信に備えて待機している（Ｓ７０１）。そして、画像情報を受信すると、画像情報に含まれるタイムスタンプを格納し（Ｓ７０２）、画像データを伸張して、１フレーム分の画像を画像加工処理へ受け渡す（Ｓ７０３）。
【００６０】
続いて、本発明に係るオペレーションマシン２の画像加工処理を、図１７のフローチャートを参照して説明する。オペレーションマシン２の画像加工処理では、システムに接続された状態で画像伸張処理された画像が更新されると（Ｓ８０１、Ｓ８０２）、まず、更新された画像に格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた時間、即ち、描画遅れ時間を算出する（Ｓ８０３）。描画遅れ時間が算出されると、その描画遅れ時間と車速から画像拡大率を算出し（Ｓ８０４）、描画遅れ時間と操舵位置から画像左右シフト量を算出する（Ｓ８０５）。
【００６１】
そして、算出された画像拡大率、画像左右シフト量から描画エリアを指定し（Ｓ８０６）、ビデオメモリに転送される（Ｓ８０７）。一方、センサー情報内の車速データとバッテリー電圧データを元に、スピードメーター、バッテリー残量の上書き描画も行なわれる（Ｓ８０８）。
【００６２】
本発明に係るオペレーションマシン２の操作入力処理を、図１８のフローチャートを参照して説明する。本実施形態におけるオペレーションマシン２では、システムの制御周期を５０ｍｓとし、ゲームコントローラ３からの入力が５０ｍｓの定周期で入力されているかどうかが監視される（Ｓ９０１）。そして、ゲームコントローラ３から５０ｍｓの定周期で入力があると、そのステアリング値、アクセル・ブレーキペダル値を取り込む（Ｓ９０２）。そして、その取り込まれたステアリング値を操舵位置として、アクセル・ブレーキペダル値を駆動モータ値として変換し、これを模型自動車１へ送信するための制御値とする（Ｓ９０３）。
【００６３】
変換された制御値に変化がなく（Ｓ９０４）、前回制御情報を送信してから５００ｍｓ以上送信履歴がなければ（Ｓ９０５）、現在の制御値から制御情報を作成し、無線ＬＡＮ通信処理へ受け渡す（Ｓ９０６）。変換された制御値に変化があれば、新しい制御値から制御情報を作成し、無線ＬＡＮ通信処理へ受け渡す（Ｓ９０６）。
【００６４】
本発明における通信データをまとめると、図１９に示すとおりである。オペレーションマシン２をシステムに接続する際に送信されるシステム接続情報は、認証コードとシステム時刻とで構成される。ここで、認証コードとは、オペレーションマシン２がシステム接続を行なうためのコードであり、システム時刻とは、オペレーションマシン２の時刻であり、システム接続時に車載コンピュータ１１の内部時計１３を調時するために利用される。
【００６５】
この発明をある程度詳細にその最も好ましい実施形態について説明してきたが、この発明の精神と範囲に反することなしに広範に異なる実施形態を構成することができることは明白なので、この発明は添付請求の範囲において限定した以外はその特定の実施形態に制約されるものではない。
【図面の簡単な説明】
【００６６】
【図１】本発明の一実施形態におけるオペレーションマシンを使用した、模型自動車用リモートコントロールシステムについてのシステム構成図を表したものである。
【図２】本発明の一実施形態における模型自動車の構成を示すブロック図である。
【図３】車載コンピュータの構成図である。
【図４】車載コンピュータの処理を示すブロック図である。
【図５】ゆらぎ補正を説明するための図である。
【図６】オペレーションマシンの描画機能を説明するための図である。
【図７】模型自動車の直進時の描画エリアの変化を示す図である。
【図８】模型自動車の右カーブ時の描画エリアの変化を示す図である。
【図９】ハードウェアと操作者による一連の処理のフローチャートである。
【図１０】模型自動車側の通信処理のフローチャートである。
【図１１】画像圧縮処理のフローチャートである。
【図１２】モータ操作処理とセンサー入力処理のフローチャートである。
【図１３】内部時計調時処理のフローチャートである。
【図１４】オペレーションマシンの処理を示すブロック図である。
【図１５】オペレーションマシン側の通信処理のフローチャートである。
【図１６】画像伸張処理のフローチャートである。
【図１７】画像加工処理のフローチャートである。
【図１８】操作入力処理のフローチャートである。
【図１９】模型自動車用リモートコントロールシステムの通信データの構成図である。
【図２０】通信のゆらぎを説明するための図である。
【図２１】ゆらぎによるフレーム描画タイミングへの影響を説明するための図である。
【図２２】エラーによるフレーム描画タイミングへの影響を説明するための図である。
【符号の説明】
【００６７】
１ 模型自動車
２ オペレーションマシン
３ コントローラ
４ インターネット
５ カメラ
６ 車速センサー
７ バッテリー
８ サーボ
９ 駆動モータ
９ａ 駆動モータ
１０ ギアボックス
１０ａ ギアボックス
１１ 車載コンピュータ
１２ ビデオキャプチャー部
１３ 内部時計
１４ 無線ＬＡＮ通信部
１５ モータ制御部
１６ センサー入力部
【技術分野】
【０００１】
本発明は、ゆらぎ補正による画像表示方法及びその方法を用いた模型自動車等用リモートコントロールシステムに係り、より詳細には、ゆらぎ補正による画像表示方法及びその方法を用いた、オペレーションマシンの操作者の操縦により、模型自動車等の走行体の走行やスピード制御等を遠隔的に行なうリモートコントロール機能を備えた模型自動車等用リモートコントロールシステムに関する。
【背景技術】
【０００２】
撮影領域等を遠隔操作で変更できる遠隔カメラ装置や遠隔監視システム装置が提案されている。このような遠隔カメラ装置として、例えば、伝送遅延や信号処理遅延による監視カメラ部の制御行き過ぎ量を補正することのできる遠隔カメラ装置が提案されている（特開平６−３８０８７号公報）。遠隔監視システム装置としては、例えば、カメラを動作させているときに受信側で表示する画像を、その時点でカメラが撮影している範囲に近づくようにシフトして表示し、あたかも画像の遅れが発生していないように見えるように表示範囲を加工し、カメラの遠隔操作による遅延を感じられないような監視システム装置が提案されている（特開２００２−１８５９５６号公報）。
【０００３】
しかしながら、これらの技術は、有線回線による動画伝送を前提としており、固定遅延時間分の補正を行なうことにより、違和感のない動画を伝送することができるが、インターネットや無線ＬＡＮによる動画伝送を行なう場合には、均一な通信速度が得られないために、動画データの到達時間にゆらぎが発生する。
【０００４】
即ち、通信の遅れがバラつくことにより描画タイミングがバラつき、時には通信エラーによるデータ消失が起こり、その結果、動画に違和感を感じる事態が発生する（図２０乃至２２参照）。
【０００５】
上述する理由により、このようなカメラを模型自動車等の走行体に搭載して、パーソナルコンピュータ等のモニタでカメラからの映像を見ながら操作するような場合は、このゆらぎが動画データの不連続性を生み、操作者が模型自動車等の動きを予想できなくなって、的確な操作ができなくなり、遠隔操作の操縦性が悪くなる。
【０００６】
この対策として従来は、ゆらぎ変化範囲をカバーする量の動画データを受信側で蓄積することにより、ゆらぎを抑えるという方法が採られている。しかし、この手法の場合、動画データの蓄積分の動画遅延が発生するという問題が生ずる。
【０００７】
【特許文献１】特開平６−３８０８７号公報
【特許文献２】特開２００２−１８５９５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は上記問題を解決することを課題としてなされたもので、遠隔地に設置されたカメラを搭載した模型自動車等の走行体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、ゆらぎ補正処理を行なうことにより、不自然さのない映像が得られる画像表示方法、並びに、この方法を採用することにより、的確な遠隔操作が可能となる模型自動車等用リモートコントロールシステムを提供することを課題とする。
【課題を解決するための手段】
【０００９】
請求項１に記載の発明は、ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら前記走行体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とする、という方法により上記課題を達成する。
【００１０】
請求項２に記載した発明は、請求項１に記載のゆらぎ補正による画像表示方法において、前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像であることを特徴とする。
【００１１】
請求項３に記載した発明は、請求項１に記載のゆらぎ補正による画像表示方法において、前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものであることを特徴とする。
【００１２】
請求項４に記載した発明は、請求項３に記載のゆらぎ補正による画像表示方法において、前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び／又は左右にシフトするものであることを特徴とする。
【００１３】
請求項５に記載の発明は、模型自動車等の走行体からの画像情報に基づいて前記走行体を遠隔制御するためのオペレーションマシンを備えた模型自動車等用リモートコントロールシステムであって、
前記オペレーションマシンは、前記走行体の車載カメラからの画像情報とセンサー情報とを受信する画像描画用情報受信手段と、前記受信した画像描画用情報内の画像データを伸張する画像伸張手段と、前記伸張した画像データを、受信した前記センサー情報に基づいて加工する画像加工手段と、コントローラによって入力された操作入力値を前記走行体に対する制御情報へ変換処理する操作入力手段と、前記操作入力手段によって生成された制御情報を前記走行体へ送信する制御情報送信手段とを備え、
前記走行体は、前記車載カメラの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、前記車速センサーからの車速及びバッテリーからのバッテリー電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサー取込手段と、前記画像情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、受信した前記制御情報に基づいてサーボ及びモータを制御する制御処理手段、とを備える、ことにより上記課題を達成する。
【００１４】
請求項６に記載した発明は、請求項５に記載の模型自動車等用リモートコントロールシステムにおいて、前記画像加工手段は、前記伸張された画像データを、受信した前記センサー情報に基づいて、出力するタイミング及び表示させる画像の描画エリアを調整することを特徴とする。
【００１５】
請求項７に記載した発明は、請求項６に記載の模型自動車等用リモートコントロールシステムにおいて、前記画像加工手段は、前記伸張された画像データに格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた描画遅れ時間を算出し、前記描画遅れ時間と車速から画像拡大率を算出すると共に、前記描画遅れ時間と操舵位置から画像左右シフト量を算出し、前記画像拡大率と前記画像左右シフト量とから前記描画エリアを指定することを特徴とする。
【００１６】
請求項８に記載した発明は、請求項５に記載の模型自動車等用リモートコントロールシステムにおいて、前記センサー情報は、前記走行体に搭載の車速センサーからの車速値と、バッテリーの電圧値とを含むことを特徴とする。
【発明の効果】
【００１７】
本発明に係るゆらぎ補正による画像表示方法によれば、受信画像から画像処理して得られた予測画像（擬似的画像）が定間隔置きに表示されるためにゆらぎがなくなり、遠隔地に設置されたカメラを搭載した模型自動車等の走行体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、このゆらぎ補正処理を行なうことにより、不自然さのない映像が得られ、以て的確な遠隔操作が可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。図１は、模型自動車とオペレーションマシン２から成る、本発明に係る模型自動車等用リモートコントロールシステムの全体構成を表したものである。このシステムは、カメラを搭載した走行体である模型自動車１と、模型自動車１から離れた場所で模型自動車１を操縦する操作者のモニタ付きオペレーションマシン２と、インターネット４等の通信手段とから構成されている。
【００１９】
オペレーションマシン２では、そのモニタに模型自動車１のカメラ映像が出力される。操作者は、模型自動車１のカメラ映像を見ながらステアリングコントローラ、ジョイスティック等のゲームコントローラその他のコントローラ３で制御情報を入力して、模型自動車１を操縦することが可能である。そして、当該制御情報を受け取った模型自動車１では、その車載コンピュータにより当該制御情報から各制御用データが読み込まれ、既に駆動されているサーボ（操舵）や駆動モータが制御されることにより、模型自動車１は、オペレーションマシン２で入力された制御情報に従って動作することが可能になる。
【００２０】
図２は、本実施形態における模型自動車１の構成を表したブロック図である。本実施形態における模型自動車１は、無線ＬＡＮに接続されており、模型自動車１内のセンサーからセンサー情報生成を行なう機能や、カメラキャプチャー画像にタイムスタンプ値の付加等を行なう画像情報生成機能等の送信情報処理機能の他、サーボや駆動モータに対して所定の処理を行なう制御機能も備えている。本実施形態の模型自動車１では、画像情報生成機能を実現するためのカメラ５、センサー情報生成機能を実現するための車速センサー６、バッテリー７、制御機能を実現するためのサーボ８及び駆動モータ９、９ａ、ギアボックス１０、１０ａ、並びに、各種機能処理手段として機能する車載コンピュータ１１を備えている。
【００２１】
車載コンピュータ１１は、各装置の制御やデータの計算・加工を行なうＣＰＵ、一度書き込んだ内容は消去できないが電源を切っても内容が消えないＦ−ＲＯＭ、半導体素子を利用したＲＡＭ、内部時計１３、ビデオキャプチャー部１２、画像圧縮部、センサー入力部１６、モータ制御部１５、無線ＬＡＮ通信部１４を備えている。
【００２２】
また、車載コンピュータ１１は、カメラ５、車速センサー６、バッテリー７、サーボ８、及び駆動モータ９、９ａが接続されており（図２、図３参照）、図４に示すように、オペレーションマシン２へ送信する情報の処理と、オペレーションマシン２から受信した情報の処理を行なう。
【００２３】
オペレーションマシン２へ送信する情報の処理としては、ビデオキャプチャー部１２からの画像に内部時計１３のタイムスタンプ値を付加して画像を圧縮する画像圧縮処理と、車速センサー６によって得られた車速とバッテリー電圧値をセンサー情報として取り込むセンサー取込処理とがある。オペレーションマシン２から受信した情報の処理はモータ制御処理で、受信した制御情報に従って、サーボ８及び駆動モータ９、９ａを制御する。
【００２４】
本実施形態のオペレーションマシン２は、車載カメラ５の映像のうちの所定の描画エリアをモニタに表示する。そして、模型自動車１に設置されているセンサー等の検出結果から模型自動車１の状態を認識、判断し、その結果に応じた車載カメラ映像やスピードメーター・バッテリー残量表示を出力するという機能を、この模型自動車１からの画像情報やセンサー情報と連動して実行する。例えば、「画像データ、タイムスタンプ、車速、バッテリー電圧値」等の画像描画用情報を受信する処理を行ない、この画像描画用情報に含まれる画像情報、センサー情報を判別して、次の映像に応じた処理を実行する。
【００２５】
ここで、上記システムに採用される本発明に係るゆらぎ補正による画像表示方法について、より詳細に説明する。該画像表示方法は、ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら前記走行体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とすることを特徴とするものである。
【００２６】
前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像であり、前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものであり、また、前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び／又は左右にシフトするものである。
【００２７】
このゆらぎ補正の方法について、図５乃至図８を参照して詳細に説明する。図５において、送り側画像の段のＳａ、Ｓｂ、Ｓｃ、Ｓｄ、Ｓｅは、カメラからの画像取り込み時の撮像時刻を示し、ゆらぎの段のＳａ、Ｓｂ、Ｓｃ、Ｓｄ、Ｓｅは、画像情報にカメラからの画像取り込み時の撮像時刻が付加されたタイムスタンプを示し、受け側画像描画の段のＴａ、Ｔｂ、Ｔｃ、Ｔｄ、Ｔｅは、描画タイミング時刻を示している。
【００２８】
受け側画像描画では、等間隔で遅れ予測画像が描画されることになるので、描画タイミングにバラつきがなく、換言すれば、ゆらぎがなく、スムーズな動画が得られることになる。その遅れ予測時間ｔは、描画タイミング時刻Ｔから、そのとき受信している画像情報に付加されているタイムスタンプＳを差し引いた時間Ｔ−Ｓである。
【００２９】
図６乃至図８は、オペレーションマシン２の遅れ予測画像の描画機能について説明するものである。オペレーションマシン２は、図６に示されるように、受信画像上の描画エリアを指定することで、その範囲をビデオメモリにメモリ転送する機能を有する。この機能によって、受信画像の任意のエリアを表示することが可能となる。
【００３０】
また、図７は、模型自動車１の直進時の描画エリアの変化について説明するものであり、そこには、模型自動車１がＡ地点からＢ地点へ直進した場合の、オペレーションマシン２のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、単に模型自動車１が直進する場合には、受信画像に対して視点の中心を変えずに、領域だけを中心へズームさせればよい。この場合のズーム量は、センサー情報である車速から算出される。
【００３１】
更に、図８は、模型自動車１の右カーブ時の描画エリアの変化について説明するものであり、そこには、模型自動車１が右カーブしようとＡ地点からＢ地点へ移動した場合の、オペレーションマシン２のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、模型自動車１が右カーブする場合には、受信画像に対して徐々に視点の中心を右側へ移動させながらズームさせればよい。この場合のズーム量及びシフト量は、センサー情報である車速と操舵角度から算出される。
【００３２】
このように、本発明に係る画像表示方法においては、センサー情報を利用して、受信画像の遅れ予測時間経過時の遅れ予測画像を生成し、これを描画タイミング時刻に描画するので、通信のゆらぎが是正され、不自然さのないリアルタイムの動画が得られるのである。
【００３３】
次に、上記画像表示方法を採用した本発明に係るシステムの、模型自動車１、オペレーションマシン２、及び操作者の操作による一連の処理の流れを、図９のフローチャートを参照して簡単に説明する。まず、模型自動車１では、カメラ画像に内部時計１３によるタイムスタンプが付されて画像圧縮処理され、この画像情報がオペレーションマシン２へ送信される第１のデータとされる。
【００３４】
また、車速センサー６で得られた車速値と、バッテリー電圧値とがセンサー取込処理によって取り込まれ、センサー情報としてオペレーションマシン２へ送信される第２のデータとされる。
【００３５】
画像圧縮処理により生成された画像情報、センサー取込処理により生成されたセンサー情報は、オペレーションマシン２へ送信される情報として通信処理によって送信される。オペレーションマシン２は、この情報を通信処理によって受信し、画像情報を画像伸張処理へ、センサー情報を画像加工処理へ引き渡す。
【００３６】
画像加工処理では、画像情報内の画像データを伸張し、画像加工処理へ引き渡す。画像加工処理では、伸張された画像データ、タイムスタンプ、センサー情報からモニタに描画する画像を生成してモニタに出力する。
【００３７】
操作者は、モニタに映し出されたカメラからの映像を見ながらゲームコントローラを操作する。ゲームコントローラの操作によって入力された制御情報は、通信処理によって模型自動車１へ送信され、模型自動車１では、受信した制御情報を基に、サーボ６、駆動モータ７、７ａを制御する。
【００３８】
以下、上述した図９のフローチャートにおける各処理について詳細に説明する。まず、本発明に係る車載コンピュータ１１の無線ＬＡＮ通信処理を、図１０のフローチャートに基づいて説明する。車載コンピュータ１１の無線ＬＡＮ通信部１４は、平時は、オペレーションマシン２からのシステム接続情報を受信するために待機している（Ｓ１０１）。
【００３９】
そして、情報を受信すると、それがオペレーションマシン２からのシステム接続情報であるかどうかを確認し（Ｓ１０２）、オペレーションマシン２からのシステム接続情報であれば、認証コードが正常かどうかの確認をする（Ｓ１０３）。
【００４０】
接続コードが正常であれば、送信元のオペレーションマシン２へ接続応答情報を送信してシステム状態を接続中へ切り替え（Ｓ１０４、Ｓ１０５）、内部時計１３をシステム接続情報中のシステム時刻データに合わせる（Ｓ１０６）。
【００４１】
オペレーションマシン２からの受信情報がシステム接続情報ではない場合には（Ｓ１０２）、それが制御情報であれば（Ｓ１０７）、システム状態が接続中であるかどうかのチェックを行なう（Ｓ１０８）。システムが接続中であれば、モータ制御処理へ制御情報を受け渡し（Ｓ１０９）、内部時計調時処理を行なう（Ｓ１１０）。もし、制御情報の受信エラーが発生した場合には（Ｓ１１１）、システム状態を未接続に切り替える（Ｓ１１２）。
【００４２】
システム情報を受信していないときには、逆に、オペレーションマシン２へ送信情報があるかどうかのチェックを行ない（Ｓ１１３）、送信情報があれば、システム状態が接続中であるかどうかを確認して（Ｓ１１４）、送信情報を送信する（Ｓ１１５）。
【００４３】
本発明に係る車載コンピュータ１１の画像圧縮処理を、図１１のフローチャートを参照して説明する。車載コンピュータ１１は、平時、オペレーションマシン２とシステム上接続されているかどうかの判断をしており（Ｓ２０１）、接続されていれば、ビデオキャプチャーを開始する（Ｓ２０２）。 キャプチャーされた画像は圧縮され（Ｓ２０３）、内部時計１３から生成されたタイムスタンプが付加されて画像情報が作成され（Ｓ２０４、Ｓ２０５）、無線ＬＡＮ通信処理へ受け渡される（Ｓ２０６）。
【００４４】
次いで、本発明に係る車載コンピュータ１１のモータ制御処理及びセンサー入力処理を、図１２のフローチャートを参照して説明する。モータ制御部１５は、平時は、オペレーションマシン２からの制御情報の受信に備えて待機している（Ｓ３０１）。制御情報を受信すると、制御情報に含まれている駆動モータ値、サーボ位置の情報に従って、駆動モータ９、９ａ及びサーボ８を制御するように出力する（Ｓ３０２、Ｓ３０３）。
【００４５】
モータ制御処理で制御された直後の車速、バッテリー電圧値をオペレーションマシン２へ送信するセンサー情報として利用するために、モータ制御処理で駆動モータ９、９ａ、サーボ８が制御されると、連動してセンサー入力処理が開始される（Ｓ３０４）。
【００４６】
センサー入力部１６では、モータ制御部１５のモータ制御処理による処理起動命令を受けると（Ｓ４０１）、車速センサー６から車速、バッテリー７からバッテリー電圧をそれぞれ取り込み（Ｓ４０２、Ｓ４０３）、それらを元にセンサー情報を作成し（Ｓ４０４）、オペレーションマシン２へセンサー情報を送信するために、無線ＬＡＮ通信部１４へセンサー情報を受け渡す（Ｓ４０５）。
【００４７】
本発明に係る車載コンピュータ１１の内部時計調時処理を、図１３のフローチャートを参照して説明する。内部時計調時処理では、制御情報の送信時間、通信遅延時間から内部時計１３とオペレーションマシン２のシステム時刻の時間差を割り出し、調時時間を算出する（Ｓ５０１〜Ｓ５０３）。調時時間は、時間差の２０分の１とし、急激な変化を吸収する。この処理は、オペレーションマシン２がシステム接続されたときに行なわれる。
【００４８】
算出された調時時間が１ｍｓ未満であれば内部時計１３は再設定されないが、１ｍｓ以上であれば、内部時計１３の時間に調時時間を加えて内部時計１３を再設定する（Ｓ５０４、Ｓ５０５）。
【００４９】
オペレーションマシン２は、模型自動車１を遠隔操作するためのプログラムが記憶されたパーソナルコンピュータである。操作者は、オペレーションマシン２を操作して模型自動車１をリモートコントロールすることができる。
【００５０】
次に、本発明に係るオペレーションマシン２の処理について説明する。オペレーションマシン２で行なわれる処理は、図１４に示すように、模型自動車１から送信されたデータに基づく処理と、操作者によるゲームコントローラ３からの入力に基づく処理に大別される。
【００５１】
模型自動車１から送信されたデータに基づく処理は、無線ＬＡＮ通信処理で受信した画像情報を伸張する画像伸張処理と、画像伸張処理によって伸張された画像を、受信したセンサー情報に基づいてモニタに映し出すためのビデオ信号を生成する画像加工処理である。
【００５２】
一方、操作者によるゲームコントローラ３からの入力に基づく処理は、操作入力処理として図示されているが、ここで処理された制御情報が、無線ＬＡＮ通信処理によって模型自動車１へ送信される。
【００５３】
本発明に係るオペレーションマシン２の無線ＬＡＮ通信処理を、図１５のフローチャートを参照して説明する。オペレーションマシン２の無線ＬＡＮ通信処理では、平時、模型自動車１との接続が保たれているかどうかのチェックがなされる（Ｓ６０１）。
【００５４】
模型自動車１との接続が保たれていない場合には、前回接続時に送信したシステム接続情報を送信してから指定時間経過したかどうかを判断して（Ｓ６０２）、指定時間経過している場合には、再度、システム接続情報を送信する（Ｓ６０３）。
【００５５】
そして、模型自動車１からの接続応答情報が受信されれば（Ｓ６０４）、その応答コードから正常接続されたかどうかを判断して（Ｓ６０５）、正常に接続されていれば、システムの状態を接続中へ切り替える（Ｓ６０６）。
【００５６】
模型自動車１との接続が保たれている場合には（Ｓ６０１）、常に、模型自動車１からの受信情報があるかどうかをチェックしている（Ｓ６０７）。模型自動車１からの受信情報が画像情報であれば（Ｓ６０８）、画像伸張処理プログラムへ画像情報が受け渡される（Ｓ６０９）。
【００５７】
受信情報が画像情報でなく、センサー情報であれば（Ｓ６１０）、現在時刻と通信時刻とから通信遅延時間を算出し（Ｓ６１１）、画像加工処理へセンサー情報を受け渡し（Ｓ６１２）、通信監視タイマーをリセットする（Ｓ６１３）。
【００５８】
模型自動車１からの受信情報がないときには、逆に模型自動車への送信情報があるかどうかをチェックしており（Ｓ６１４）、送信情報があれば、送信情報を送信して（Ｓ６１５）、通信監視タイマーをリセットする（Ｓ６１６）。受信情報も送信情報もない状態が続き、通信監視時間がタイムアウトしてしまうと（Ｓ６１７）、システム状態が未接続に切り替わる（Ｓ６１８）。
【００５９】
本発明に係るオペレーションマシン２の画像伸張処理を、図１６のフローチャートを参照して説明する。オペレーションマシン２の画像伸張処理では、平時、模型自動車１からの画像情報の受信に備えて待機している（Ｓ７０１）。そして、画像情報を受信すると、画像情報に含まれるタイムスタンプを格納し（Ｓ７０２）、画像データを伸張して、１フレーム分の画像を画像加工処理へ受け渡す（Ｓ７０３）。
【００６０】
続いて、本発明に係るオペレーションマシン２の画像加工処理を、図１７のフローチャートを参照して説明する。オペレーションマシン２の画像加工処理では、システムに接続された状態で画像伸張処理された画像が更新されると（Ｓ８０１、Ｓ８０２）、まず、更新された画像に格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた時間、即ち、描画遅れ時間を算出する（Ｓ８０３）。描画遅れ時間が算出されると、その描画遅れ時間と車速から画像拡大率を算出し（Ｓ８０４）、描画遅れ時間と操舵位置から画像左右シフト量を算出する（Ｓ８０５）。
【００６１】
そして、算出された画像拡大率、画像左右シフト量から描画エリアを指定し（Ｓ８０６）、ビデオメモリに転送される（Ｓ８０７）。一方、センサー情報内の車速データとバッテリー電圧データを元に、スピードメーター、バッテリー残量の上書き描画も行なわれる（Ｓ８０８）。
【００６２】
本発明に係るオペレーションマシン２の操作入力処理を、図１８のフローチャートを参照して説明する。本実施形態におけるオペレーションマシン２では、システムの制御周期を５０ｍｓとし、ゲームコントローラ３からの入力が５０ｍｓの定周期で入力されているかどうかが監視される（Ｓ９０１）。そして、ゲームコントローラ３から５０ｍｓの定周期で入力があると、そのステアリング値、アクセル・ブレーキペダル値を取り込む（Ｓ９０２）。そして、その取り込まれたステアリング値を操舵位置として、アクセル・ブレーキペダル値を駆動モータ値として変換し、これを模型自動車１へ送信するための制御値とする（Ｓ９０３）。
【００６３】
変換された制御値に変化がなく（Ｓ９０４）、前回制御情報を送信してから５００ｍｓ以上送信履歴がなければ（Ｓ９０５）、現在の制御値から制御情報を作成し、無線ＬＡＮ通信処理へ受け渡す（Ｓ９０６）。変換された制御値に変化があれば、新しい制御値から制御情報を作成し、無線ＬＡＮ通信処理へ受け渡す（Ｓ９０６）。
【００６４】
本発明における通信データをまとめると、図１９に示すとおりである。オペレーションマシン２をシステムに接続する際に送信されるシステム接続情報は、認証コードとシステム時刻とで構成される。ここで、認証コードとは、オペレーションマシン２がシステム接続を行なうためのコードであり、システム時刻とは、オペレーションマシン２の時刻であり、システム接続時に車載コンピュータ１１の内部時計１３を調時するために利用される。
【００６５】
この発明をある程度詳細にその最も好ましい実施形態について説明してきたが、この発明の精神と範囲に反することなしに広範に異なる実施形態を構成することができることは明白なので、この発明は添付請求の範囲において限定した以外はその特定の実施形態に制約されるものではない。
【図面の簡単な説明】
【００６６】
【図１】本発明の一実施形態におけるオペレーションマシンを使用した、模型自動車用リモートコントロールシステムについてのシステム構成図を表したものである。
【図２】本発明の一実施形態における模型自動車の構成を示すブロック図である。
【図３】車載コンピュータの構成図である。
【図４】車載コンピュータの処理を示すブロック図である。
【図５】ゆらぎ補正を説明するための図である。
【図６】オペレーションマシンの描画機能を説明するための図である。
【図７】模型自動車の直進時の描画エリアの変化を示す図である。
【図８】模型自動車の右カーブ時の描画エリアの変化を示す図である。
【図９】ハードウェアと操作者による一連の処理のフローチャートである。
【図１０】模型自動車側の通信処理のフローチャートである。
【図１１】画像圧縮処理のフローチャートである。
【図１２】モータ操作処理とセンサー入力処理のフローチャートである。
【図１３】内部時計調時処理のフローチャートである。
【図１４】オペレーションマシンの処理を示すブロック図である。
【図１５】オペレーションマシン側の通信処理のフローチャートである。
【図１６】画像伸張処理のフローチャートである。
【図１７】画像加工処理のフローチャートである。
【図１８】操作入力処理のフローチャートである。
【図１９】模型自動車用リモートコントロールシステムの通信データの構成図である。
【図２０】通信のゆらぎを説明するための図である。
【図２１】ゆらぎによるフレーム描画タイミングへの影響を説明するための図である。
【図２２】エラーによるフレーム描画タイミングへの影響を説明するための図である。
【符号の説明】
【００６７】
１ 模型自動車
２ オペレーションマシン
３ コントローラ
４ インターネット
５ カメラ
６ 車速センサー
７ バッテリー
８ サーボ
９ 駆動モータ
９ａ 駆動モータ
１０ ギアボックス
１０ａ ギアボックス
１１ 車載コンピュータ
１２ ビデオキャプチャー部
１３ 内部時計
１４ 無線ＬＡＮ通信部
１５ モータ制御部
１６ センサー入力部
【特許請求の範囲】
【請求項１】
ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら前記走行体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とすることを特徴とするゆらぎ補正による画像表示方法。
【請求項２】
前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像である請求項１に記載のゆらぎ補正による画像表示方法。
【請求項３】
前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものである請求項１に記載のゆらぎ補正による画像表示方法。
【請求項４】
前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び／又は左右にシフトするものである請求項３に記載のゆらぎ補正による画像表示方法。
【請求項５】
模型自動車等の走行体からの画像情報に基づいて前記走行体を遠隔制御するためのオペレーションマシンを備えた模型自動車等用リモートコントロールシステムであって、
前記オペレーションマシンは、
前記走行体の車載カメラからの画像情報とセンサー情報とを受信する画像描画用情報受信手段と、
前記受信した画像描画用情報内の画像データを伸張する画像伸張手段と、
前記伸張した画像データを、受信した前記センサー情報に基づいて加工する画像加工手段と、
コントローラによって入力された操作入力値を前記走行体に対する制御情報へ変換処理する操作入力手段と、
前記操作入力手段によって生成された制御情報を前記走行体へ送信する制御情報送信手段とを備え、
前記走行体は、
前記車載カメラの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、
前記車速センサーからの車速及びバッテリーからのバッテリー電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサー取込手段と、
前記画像情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、
前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、
受信した前記制御情報に基づいてサーボ及びモータを制御する制御処理手段、
とを備えることを特徴とする模型自動車等用リモートコントロールシステム。
【請求項６】
前記画像加工手段は、前記伸張された画像データを、受信した前記センサー情報に基づいて、出力するタイミング及び表示させる画像の描画エリアを調整する請求項５に記載の模型自動車等用リモートコントロールシステム。
【請求項７】
前記画像加工手段は、前記伸張された画像データに格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた描画遅れ時間を算出し、前記描画遅れ時間と車速から画像拡大率を算出すると共に、前記描画遅れ時間と操舵位置から画像左右シフト量を算出し、前記画像拡大率と前記画像左右シフト量とから前記描画エリアを指定する請求項６に記載の模型自動車等用リモートコントロールシステム。
【請求項８】
前記センサー情報は、前記走行体に搭載の車速センサーからの車速値と、バッテリーの電圧値とを含む請求項５に記載の模型自動車等用リモートコントロールシステム。
【請求項１】
ネットワークを介して受信する模型自動車等の走行体のカメラからの画像のモニタ表示を見ながら前記走行体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレーションマシンにおいて、
前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とすることを特徴とするゆらぎ補正による画像表示方法。
【請求項２】
前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像である請求項１に記載のゆらぎ補正による画像表示方法。
【請求項３】
前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものである請求項１に記載のゆらぎ補正による画像表示方法。
【請求項４】
前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び／又は左右にシフトするものである請求項３に記載のゆらぎ補正による画像表示方法。
【請求項５】
模型自動車等の走行体からの画像情報に基づいて前記走行体を遠隔制御するためのオペレーションマシンを備えた模型自動車等用リモートコントロールシステムであって、
前記オペレーションマシンは、
前記走行体の車載カメラからの画像情報とセンサー情報とを受信する画像描画用情報受信手段と、
前記受信した画像描画用情報内の画像データを伸張する画像伸張手段と、
前記伸張した画像データを、受信した前記センサー情報に基づいて加工する画像加工手段と、
コントローラによって入力された操作入力値を前記走行体に対する制御情報へ変換処理する操作入力手段と、
前記操作入力手段によって生成された制御情報を前記走行体へ送信する制御情報送信手段とを備え、
前記走行体は、
前記車載カメラの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、
前記車速センサーからの車速及びバッテリーからのバッテリー電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサー取込手段と、
前記画像情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、
前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、
受信した前記制御情報に基づいてサーボ及びモータを制御する制御処理手段、
とを備えることを特徴とする模型自動車等用リモートコントロールシステム。
【請求項６】
前記画像加工手段は、前記伸張された画像データを、受信した前記センサー情報に基づいて、出力するタイミング及び表示させる画像の描画エリアを調整する請求項５に記載の模型自動車等用リモートコントロールシステム。
【請求項７】
前記画像加工手段は、前記伸張された画像データに格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた描画遅れ時間を算出し、前記描画遅れ時間と車速から画像拡大率を算出すると共に、前記描画遅れ時間と操舵位置から画像左右シフト量を算出し、前記画像拡大率と前記画像左右シフト量とから前記描画エリアを指定する請求項６に記載の模型自動車等用リモートコントロールシステム。
【請求項８】
前記センサー情報は、前記走行体に搭載の車速センサーからの車速値と、バッテリーの電圧値とを含む請求項５に記載の模型自動車等用リモートコントロールシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【公開番号】特開２００６−２７９６４８（Ｐ２００６−２７９６４８Ａ）
【公開日】平成１８年１０月１２日（２００６．１０．１２）
【国際特許分類】
【出願番号】特願２００５−９６９３８（Ｐ２００５−９６９３８）
【出願日】平成１７年３月３０日（２００５．３．３０）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【出願人】（５９２２５９０６０）サンリツオートメイション株式会社 (3)
【Ｆターム（参考）】
【公開日】平成１８年１０月１２日（２００６．１０．１２）
【国際特許分類】
【出願日】平成１７年３月３０日（２００５．３．３０）
【出願人】（３０１０２２４７１）独立行政法人情報通信研究機構 (1,071)
【出願人】（５９２２５９０６０）サンリツオートメイション株式会社 (3)
【Ｆターム（参考）】
[ Back to top ]