移動ロボットの遠隔操縦のための衝突防止装置及び方法
【課題】遠隔操縦のための衝突防止装置及び方法に係り、ユーザに移動ロボットの移動に関する情報を容易に伝達する。
【解決手段】移動ロボットに装着されたカメラで撮影した映像を所定の時間差で保存して比較してオプティカルフローを計算し、ＦＯＥを計算する。また、移動ロボットの移動速度及び移動方向についての情報を獲得する。計算されたＦＯＥと、移動速度及び移動方向と、を利用して、移動ロボットの走行方向に存在する障害物を感知し、感知された障害物に衝突するまでに要するＴＯＣを計算し、そのＴＯＣを利用して障害物に移動ロボットが衝突する可能性がある衝突予想領域を計算する。その計算結果に基づいて、画面に表示される衝突予想領域にマッピングするカラーの情報を生成する。具体的には、計算されるＴＯＣの値によってカラーの色調を調整し、ＴＯＣの値が小さければカラーの点を濃くし、ＴＯＣの値が大きければカラーの点を薄くする。
【解決手段】移動ロボットに装着されたカメラで撮影した映像を所定の時間差で保存して比較してオプティカルフローを計算し、ＦＯＥを計算する。また、移動ロボットの移動速度及び移動方向についての情報を獲得する。計算されたＦＯＥと、移動速度及び移動方向と、を利用して、移動ロボットの走行方向に存在する障害物を感知し、感知された障害物に衝突するまでに要するＴＯＣを計算し、そのＴＯＣを利用して障害物に移動ロボットが衝突する可能性がある衝突予想領域を計算する。その計算結果に基づいて、画面に表示される衝突予想領域にマッピングするカラーの情報を生成する。具体的には、計算されるＴＯＣの値によってカラーの色調を調整し、ＴＯＣの値が小さければカラーの点を濃くし、ＴＯＣの値が大きければカラーの点を薄くする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動ロボットの遠隔操縦のための衝突防止装置及び方法に係り、さらに詳細には、遠隔地で移動ロボットを制御する制御機器の画面で衝突が予想される障害物にカラーをマッピングし、移動ロボットが障害物に衝突する前に警告音を鳴らすことによって遠隔地で移動ロボットを制御するユーザが障害物を容易に認知できるロボットの遠隔操縦のための衝突防止装置及び方法に関する。
【背景技術】
【０００２】
一般的に移動ロボットは、カメラを利用して自身の現在位置及び障害物の位置を検出し、その位置情報を利用して走行及び作業を行う。
【０００３】
最近、移動ロボットの活用分野は、国防、産業現場から家庭に至るまで多様に拡大されるにつれて、移動ロボットの障害物位置把握及び移動ロボットを制御するユーザの障害物認識が重要な関心事となり、これに、いろいろな装置及び方法（例えば、特許文献１及び２）が提示された。
【０００４】
前述したような従来の技術で、移動ロボットは、光を移動ロボットの前面に照射してＣＣＤ（電荷結合素子）に結ばれる光の位置及び輝度を利用して障害物との距離を測定するか、遠隔地にあるユーザがモニタを通じてロボットのヘッドアップディスプレイ及びオーバーヘッドマップを見てロボットを遠隔操縦する。
【０００５】
しかし、ＣＣＤの視界（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ、以下、ＦＯＶ）によってカメラを通じて見られる周辺事物の歪曲程度及びカメラを通じて一度に見られる情報の量が変わるために、ＣＣＤのＦＯＶが小さい場合、障害物の形態を識別し難く、遠隔地にあるユーザに障害物の情報を知らせ難い。
【０００６】
また、遠隔地のユーザが識別できる形態のオーバーヘッドマップを作成するためには、高コストの距離測定センサーが必要であり、ユーザが持っている移動ロボットを制御する機器の画面が小さな場合、オーバーヘッドマップをディスプレイし難いだけでなくディスプレイされたオーバーヘッドマップ通じてユーザが障害物を認識し難いという短所がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第４９０５１５１号公報
【特許文献２】米国特許第６８４５２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、移動ロボットの遠隔操縦のための衝突防止装置及び方法を通じて遠隔地で移動ロボットを制御する制御機器の画面に移動ロボットと衝突可能性のある障害物にカラーをオーバーラップさせるところにその目的がある。
【０００９】
本発明の他の目的は、遠隔地で移動ロボットを制御する制御機器の画面に移動ロボットと衝突可能性のある障害物にカラーをオーバーラップさせることによって、画面サイズの小さい制御機器でも移動ロボットを制御するユーザが効果的に障害物を認識可能にすることである。
【００１０】
本発明のさらに他の目的は、ＦＯＥ（Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ：拡張焦点）と移動ロボットの速度を移動ロボット制御機器の画面にアイコンで表示して、ユーザに移動ロボットの移動に関する情報を容易に伝達することである。
【００１１】
本発明のさらに他の目的は、移動ロボットが障害物に衝突する所定の時間前にユーザに警告音を通じて知らせることによって、移動ロボットが障害物に衝突することを効果的に予防することである。
【００１２】
本発明の目的は、以上で言及した目的に制限されず、言及されていない他の目的は下の記載から当業者に明確に理解されうる。
【課題を解決するための手段】
【００１３】
前記目的を達成するために、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置は、移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像を所定の時間差で保存して比較してオプティカルフローを計算し、前記計算されたオプティカルフローを利用してＦＯＥ（Focus Of Expansion）を計算する映像処理部と、前記移動ロボットの移動速度及び移動方向についての情報を獲得するエンコーダ部と、前記映像処理部で計算された前記ＦＯＥと、前記エンコーダ部で獲得された前記移動ロボットの移動速度及び移動方向と、を利用して、前記移動ロボットの走行方向に存在する障害物を感知し、前記感知された障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）を計算し、前記計算された前記ＴＯＣを利用して前記障害物に前記移動ロボットが衝突する可能性がある衝突予想領域を計算する障害物感知部と、前記障害物感知部による計算結果に基づいて、画面に表示される前記衝突予想領域にマッピングするカラーの情報を生成するカラーマッピング部と、を備え、前記カラーマッピング部は、前記障害物感知部で計算される前記ＴＯＣの値によって前記カラーの色調を調整し、前記障害物感知部で計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知部で計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする。
【００１４】
前記目的を達成するために、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置は、移動ロボットから受信した前記移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像情報を少なくとも含む情報に基づいて、画面に見られる前記移動ロボットの走行方向に存在する障害物に前記移動ロボットが衝突する可能性がある衝突予想領域をカラーでマッピングするカラーマッピング処理部と、前記移動ロボットから受信した前記情報に基づいて、前記画面に、前記移動ロボットのＦＯＥ（Focus Of Expansion）を表示し、前記移動ロボットの速度大きさ及び進行方向をアイコン及びオプティカルフローで表示する進行情報表示部と、前記障害物に前記移動ロボットが接近する時、前記移動ロボットから受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生部と、を備え、前記カラーマッピング処理部は、前記障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）の値によって、前記画面に表示される前記衝突予想領域にマッピングするカラーの色調を調整し、前記障害物感知部で計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知部で計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする。
【００１５】
前記目的を達成するために、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止方法は、移動ロボットに装着されたカメラで撮影した走行方向の映像を所定の時間差で保存して比較してオプティカルフローを計算し、前記計算されたオプティカルフローを利用してＦＯＥ（Focus Of Expansion）を計算する映像処理ステップと、前記移動ロボットのホイールの動作を感知して移動速度及び移動方向についての情報を獲得する移動速度及び移動距離獲得ステップと、前記映像処理ステップで計算された前記ＦＯＥと、前記移動速度及び移動距離獲得ステップで獲得された前記移動ロボットの移動速度及び移動方向と、を利用して、前記移動ロボットの走行方向に存在する障害物を感知し、前記感知された障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）を計算し、前記計算された前記ＴＯＣを利用して前記障害物に前記移動ロボットが衝突する可能性がある衝突予想領域を計算する障害物感知ステップと、前記障害物感知部による計算結果に基づいて、画面に表示される前記衝突予想領域にマッピングするカラーの情報を生成するカラーマッピング情報提供ステップと、を含み、前記カラーマッピング情報提供ステップは、前記障害物感知ステップで計算される前記ＴＯＣの値によって前記カラーの色調を調整し、前記障害物感知ステップで計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知ステップで計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする。
【００１６】
前記目的を達成するために、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止方法は、移動ロボットから受信した前記移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像情報を少なくとも含む情報に基づいて、画面に見られる前記移動ロボットの走行方向に存在する障害物に前記移動ロボットが衝突する可能性がある衝突予想領域をカラーでマッピングするマッピング処理ステップと、前記移動ロボットから受信した前記情報に基づいて、前記画面に、前記移動ロボットのＦＯＥ（Focus Of Expansion）を表示し、前記移動ロボットの速度大きさ及び進行方向をアイコン及びオプティカルフローで表示する進行情報表示ステップと、前記障害物に前記移動ロボットが接近する時、前記移動ロボットから受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生ステップと、を含み、前記マッピング処理ステップは、前記障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）の値によって、前記画面に表示される前記衝突予想領域にマッピングするカラーの色調を調整し、前記障害物感知ステップで計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知ステップで計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする。
【００１７】
その他の実施例の具体的な事項は詳細な説明及び図面に含まれている。
【発明の効果】
【００１８】
本発明の移動ロボットの遠隔操縦のための衝突防止装置及び方法によれば、次のような効果が一つあるいはそれ以上ある。
【００１９】
遠隔地で移動ロボットを制御する制御機器の画面に移動ロボットと衝突可能性のある障害物にカラーをオーバーラップさせることによって、画面サイズの小さい制御機器でも移動ロボットを制御するユーザが効果的に障害物を認識できる。
【００２０】
移動ロボットの速度大きさに対する進行方向を制御機器の画面にアイコン及びベクトルと表示して、ユーザに移動ロボットの移動に関する情報を容易に伝達しうる。
【００２１】
移動ロボットが障害物に衝突する所定時間前にユーザに警告音を通じて知らせて移動ロボットの衝突防止にさらに効果的である。
【図面の簡単な説明】
【００２２】
【図１Ａ】本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止システムの構成を示す図である。
【図１Ｂ】本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止システムの構成を示す図である。
【図２】本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置（移動ロボット）の構造を示すブロック図である。
【図３】オプティカルフローの実施形態であって、典型的なオプティカルフローのパターンを示す図である。
【図４】本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止装置（制御機器）の構造を示すブロック図である。
【図５】本発明の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図である。
【図６Ａ】本発明の他の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図である。
【図６Ｂ】本発明の他の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図である。
【図６Ｃ】本発明の他の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図である。
【図７】本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止方法のフローを示す図である。
【図８】本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止方法のフローを示す図である。
【発明を実施するための形態】
【００２３】
本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。
【００２４】
以下、添付された図面を参照して本発明の望ましい実施形態を詳細に説明する。
【００２５】
図１Ａないし図１Ｂは、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止システムの構成を示す図面である。
【００２６】
本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止システム１００は、移動ロボット１０１及び遠隔地で移動ロボットを制御する制御機器１０２を備え、移動ロボット１０１と制御機器１０２とは、有無線データ通信網１０３で連結されている。
【００２７】
移動ロボットは１０１は、装着されたカメラで撮影した進行方向の映像データ及び移動情報を、有無線通信網１０２を通じて遠隔地の制御機器１０２に送信し、制御機器１０２は、移動ロボット１０１から受信した映像データ及び移動情報を分析し、分析した結果を制御機器１０２の画面にディスプレイする。
【００２８】
遠隔地にあるユーザは、制御機器１０２の画面にディスプレイされた映像及び移動情報を見て移動ロボット１０１を制御できる。
【００２９】
ここで、制御機器１０２は、移動ロボット１０１から送信した映像をディスプレイできる画面と移動ロボット１０１を制御できるキーボードまたはボタンのような方向キーを備えるものであって、移動端末機やコンピュータが制御機器１０２の例となりうる。
【００３０】
図２は、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置（移動ロボット）の構造を示すブロック図である。
【００３１】
本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置２００は、装着されたカメラで撮影した走行方向の映像を所定の時間差で保存して比較する映像処理部２０１、移動ロボット１０１の走行方向に存在する障害物を感知して衝突予想情報を提供する障害物感知部２０２、衝突予想情報に基づいて障害物の衝突予想領域にマッピングするカラー情報を提供するカラーマッピング部２０３、移動ロボット１０１のホイールの動作を感知して移動速度及び移動方向そして移動距離についての情報を提供するエンコーダ部２０４、装着されたカメラで撮影した進行方向の映像データ及び移動情報を制御機器１０２に送信し、移動ロボット１０１を制御する制御データを制御機器１０２から受信する送受信部２０５、各部を制御する制御部２０６を備える。
【００３２】
本発明の一実施例で使われる“部”という用語は、ソフトウェアまたはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）または注文型半導体（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ；ＡＳＩＣ）のようなハードウェア構成要素を意味し、“部”は所定の役割を行う。
【００３３】
しかし、“部”はソフトウェアまたはハードウェアに限定されるものではない。
【００３４】
“部”は、アドレッシング可能な保存媒体に存在すべく構成されても良く、１つまたはそれ以上のプロセッサーを実行させるように構成されても良い。
【００３５】
したがって、一例として“部”は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。
【００３６】
構成要素と“部”から提供される機能は、より少数の構成要素及び“部”で結合されるか、追加的な構成要素と“部”にさらに分離されうる。
【００３７】
図２において、映像処理部２０１は、移動ロボット１０１に装着されたカメラで撮影した走行方向の映像を所定の時間差で保存して比較する。
【００３８】
所定（一定）の時差をおいて連続的に入力される映像を分析して対象物体の動きを推定する移動物体追跡技法は、コンピュータビジョン分野及びこれを利用した移動ロボット分野で多くの関心を受けている。
【００３９】
これは、現在フレーム映像処理結果を反復的に次のフレーム処理時に利用することによって、連続的に入力される映像の動き同定や動的物体の分析作業を行なうことである。
【００４０】
このように複数個の映像処理で得られた特徴の差から動き情報を検出する作業では、対象物体の移動方向及び速度が重要な特徴値になり、これを同時にベクトルで表現することをオプティカルフローという。
【００４１】
したがって、対象物体の各点のオプティカルフローを計算することによって対象物体の動きを推定できる。
【００４２】
映像処理部２０１は、移動ロボット１０１に装着されたカメラで撮影した走行方向の映像を所定の時間差で保存所（図示せず）に保存して比較し、エンコーダ部２０４から移動ロボット１０１の移動速度及び移動方向についての情報を提供されてオプティカルフローを計算する。
【００４３】
移動ロボット１０１の３次元空間上の動きは、２次元的な移動変位を引き起こすが、もし、移動ロボット１０１が移動するならば、移動ロボット１０１の運動は無限大の距離に位置した一点からのオプティカルフローと考えられうる。
【００４４】
２次元映像内の特定点ｐ＝（ｘ，ｙ）でオプティカルフローｆ＝（ｕ，ｖ）は、
【００４５】
【数１】
を通じて計算できる。
【００４６】
（式１）でＩ１、Ｉ２は、時間差をおいて得たカメラ映像であり、ｗｘ、ｗｙは、特徴点（ｘ，ｙ）でｘ、ｙ方向への偏差であり、Ｗは、偏差の最大大きさである。
【００４７】
また映像処理部２０１は、ＦＯＥを計算する。
【００４８】
ＦＯＥは、オプティカルフローを説明しつつ言及した無限大の距離に位置した一点を意味し、２次元映像で任意の一点は、ＦＯＥからその点に至る直線に沿って動く。
【００４９】
したがって、独立的に動く移動ロボット１０１は、自身の運動方向と関連したＦＯＥに連結される。
【００５０】
図３は、オプティカルフローの実施形態であって、典型的なオプティカルフローのパターンを示す図面である。
【００５１】
移動ロボット１０１が左右の回転なしに前方に直線移動すると仮定すれば、移動ロボット１０１は、図３に図示された画面に向って接近する。
【００５２】
したがって、オプティカルフローを表現する矢印３０２がＦＯＥ ３０１と呼ばれる一点から外側に向かっている。
【００５３】
一方、移動ロボット１０１が図３に図示された画面から遠ざかる場合にはオプティカルフローを表現する矢印３０２がＦＯＥ ３０１に向かう。
【００５４】
ＦＯＥは、２次元映像での運動を３次元実際映像と対応して関連させる主要な役割を担当し、２次元映像でＦＯＥである点Ｐ＝（Ｘ０，Ｙ０）を通じて計算できる。
【００５５】
【数２】
（式２）でｍ、ｎは、（ｘ，ｙ）からｘ、ｙ方向への偏差であり、Ｗは、偏差の最大大きさである。
【００５６】
Φは、（ｕ，ｖ）ベクトルの大きさがｔより大きい点の数であり、Ｓは、これらベクトル方向角の総和である。したがって、これらベクトルがいずれも対称である領域での中心値がＦＯＥとなる。
【００５７】
移動ロボットの遠隔操縦のための衝突防止装置２００で、障害物感知部２０２は、移動ロボット１０１の走行方向に存在する障害物を感知し、衝突予想情報を提供する。
【００５８】
ここで、衝突予想情報とは、移動ロボット１０１の移動速度及び移動方向そして進行方向に存在する障害物に移動ロボット１０１が衝突可能な衝突予想領域情報と、移動ロボット１０１の障害物への接近時に所定の衝突予想時間前に移動ロボット１０１を制御する制御機器１０２から警告音を鳴らせる警告信号情報を含む。
【００５９】
この時、警告音を鳴らせる警告信号情報を、移動ロボット１０１を制御する制御機器１０２に伝達する時点はユーザが設定できる。
【００６０】
例えば、ユーザが前述した時点を５秒と設定するならば、移動ロボット１０１の障害物感知部２０２は、現在移動ロボット１０１の速度と進行方向に存在する障害物との距離を計算して、移動ロボット１０１が障害物に衝突する５秒前に移動ロボットを制御する制御機器１０２から警告音を鳴らせる。
【００６１】
障害物感知部２０２は、移動ロボット１０１の進行方向に存在する障害物に移動ロボット１０１が衝突可能な衝突予想領域を計算するために、
【００６２】
【数３】
を通じてＴＯＣ（Ｔｉｍｅ Ｏｆ Ｃｏｎｔａｃｔ）τを求める。
【００６３】
（式３）でｆは、カメラ焦点距離、（Ｘ，Ｙ，Ｚ）は、空間上３次元座標値、
【００６４】
【数４】
は、３次元速度成分であり、（ｘ，ｙ）は、カメラ映像上の２次元座標値、
【００６５】
【数５】
は、２次元速度成分であり、τは、ＴＯＣである。
【００６６】
また、障害物感知部２０２は、エンコーダ部２０４で提供する移動ロボット１０１の移動速度及び移動方向情報、そして、映像処理部２０１で計算されたＦＯＥを利用して制御機器１０２の画面に移動ロボット１０１の速度大きさ及び進行方向を表示する情報を生成して、制御部２０６を通じて送受信部２０５に伝達する。
【００６７】
カラーマッピング部２０３は、障害物感知部２０２から提供された衝突予想情報に基づいて障害物の衝突予想領域にマッピングするカラー情報を生成する。
【００６８】
障害物の衝突予想領域にマッピングするカラー情報は、障害物感知部２０２で計算されたＴＯＣの値によって、所定のカラーの点で表示される。
【００６９】
（式３）を通じて計算されたＴＯＣの値が小さければカラーの点を濃くし、ＴＯＣの値が大きければカラーの点を薄くして、ＴＯＣの値によって衝突予想領域にマッピングされるカラーの色調を調節し、この情報を制御部２０６を通じて送受信部２０５に伝達する。
【００７０】
図４は、本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止装置（制御機器）の構造を示すブロック図である。
【００７１】
本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止装置４００は、移動ロボットから受信した情報に基づいて画面に見られる障害物に移動ロボットが衝突可能な衝突予想領域をカラーでマッピングするカラーマッピング処理部４０１、受信した情報に基づいて画面に移動ロボットの進行情報を表示する進行情報表示部４０２、衝突可能な障害物に移動ロボットが接近する時に受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生部４０３、画面にディスプレイする移動ロボット１０１の情報を移動ロボット１０１から受信し、移動ロボット１０１を制御する情報を移動ロボット１０１に送信する送受信部４０４、送受信部４０４から受信した情報を分析して各部を制御する制御部４０５、画面で該当情報をディスプレイするディスプレイ部４０６及び移動ロボット１０１の方向を制御できるようにキーボードやボタンのような方向キーを持つ入力部４０７を備える。
【００７２】
図１Ｂに図示されたように、移動ロボット１０１を制御する制御機器１０２が本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止装置４００になりうる。移動ロボットの遠隔操縦のための衝突防止装置４００は、送受信部４０４を通じて移動ロボット１０１から画面にディスプレイする情報を受信し、制御部４０５では受信した情報を分析して各部を制御する。ここで、移動ロボット１０１から受信した情報は、移動ロボットの走行方向の映像データ、ＦＯＥ、移動ロボット１０１の移動速度、移動方向、移動ロボットの走行方向に存在する障害物についての衝突警告音情報及び前記衝突予想領域にマッピングするカラー情報を含む。
【００７３】
移動ロボットの遠隔操縦のための衝突防止装置４００の進行情報表示部４０２は移動ロボットのＦＯＥを表示し、移動ロボットの速度大きさと進行方向をアイコン及びオプティカルフローで表示する。
【００７４】
カラーマッピング処理部４０１では、ＴＯＣによるカラーマッピング情報を画面に見られる障害物にマッピングして、小さな画面の制御機器でもユーザが障害物を容易に認知可能にする。
【００７５】
また、警告音発生部４０３では、移動ロボット１０１が障害物に衝突する所定時間（秒）前に警告音を鳴らしてユーザが移動ロボット１０１の障害物衝突をあらかじめ予防できる。
【００７６】
制御機器１０２の画面に表示された衝突可能な障害物にカラーをマッピングし、事前に警告音を鳴らすことによってユーザは、移動ロボット１０１の進行方向に存在する障害物をさらに容易に認知して、制御機器１０２上に位置する入力部４０７であるキーボードやボタンのような方向キーで移動ロボット１０１を制御する制御データを、送受信部４０４を通じて遠隔地の移動ロボット１０１に送信する。
【００７７】
図５は、本発明の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図面である。
【００７８】
ＦＯＥ ５０１がＸ字アイコンで表示されており、移動ロボットの速度大きさ及び進行方向が三角形のアイコン５０２で表示されている。
【００７９】
三角形のアイコン５０２は、移動ロボット１０１の進行方向によって角度が変更され、移動ロボット１０１の速度によって三角形のアイコンサイズが変更される。
【００８０】
すなわち、移動ロボットの速度が速ければ三角形のアイコンが長くなり、速度が遅ければ三角形のアイコンが短くなって、遠隔地で移動ロボット１０１を制御するユーザは三角形アイコン５０２のサイズを見て、移動ロボット１０１の移動速度及び進行方向を容易に認知できる。
【００８１】
ＦＯＥ５０１の表示アイコンはＸ字のみに限定されず、Ｘ字ではない十字状や星状などその他の多様なアイコンで表示されうる。
【００８２】
三角形アイコン５０２も三角形のみに限定されず、アイコンの形態はユーザが長さによって移動ロボット１０１の方向及び速度を容易に認知できることが望ましい。
【００８３】
また、移動ロボットの進行方向に存在する障害物５０３に衝突予想領域５０３ａがカラーでマッピングされて、制御機器１０２の画面が小さな場合にも移動ロボット１０１が衝突する可能性がある障害物５０３をユーザが容易に認知できる。
【００８４】
図６Ａないし図６Ｃは、本発明の他の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図面である。
【００８５】
図６Ａは、移動ロボットが左右に回転せずに直進する状態が制御機器の画面に表示されている。
【００８６】
ＦＯＥ６０１ａが画面中央に表示されており、移動ロボットの進行方向及び速度を表す三角形のアイコン６０２ａが画面の下段に表示されている。
【００８７】
左右回転のない直進状態であるために、オプティカルフロー６０３ａの形態はＦＯＥ ６０１ａを中心に外側に向っており、オプティカルフローを表現する矢印は小さな形態で表示されている。
【００８８】
また、障害物６０４ａに衝突予想領域６０５ａがカラーでマッピングされており、衝突予想可能性によって濃いカラー６０６ａと相対的に薄いカラー６０７ａとで表示されている。
【００８９】
図６Ｂは、図６Ａの状態で移動ロボットが右側に回転して前進する状態が制御機器の画面に表示されている。
【００９０】
ＦＯＥ６０２ｂが図６ＡのＦＯＥ ６０１ａに比べて右側に移動し、右側に回転する角度によって、移動ロボットの進行方向及び速度を表す三角形のアイコン６０２ｂが画面下段に表示されている。
【００９１】
オプティカルフロー６０３ｂの形態は、ＦＯＥ ６０２ｂａを中心に外側に向っており、カラーでマッピングされた障害物６０４ｂに衝突予想領域６０５ｂが図６Ａの衝突予想領域６０５ａに比べて相対的にさらに広く表示されている。
【００９２】
それほど障害物６０４ｂに移動ロボット１０１が近く接近したという意味である。
【００９３】
図６Ｃは、図６Ｂに図示された状態で移動ロボットがさらに右側に回転してさらに速く前進する状態が制御機器の画面に表示されている。
【００９４】
ＦＯＥ６０３ｃが障害物６０４ｃにさらに近く表示されており、右側に回転する角度によって移動ロボットの進行方向及び速度を表す三角形のアイコン６０２ｃが画面下段に表示されている。
【００９５】
図６Ｂに図示された状態よりさらに速い速度で前進するので、図６Ｂに図示された三角形のアイコン６０２ｂよりさらに長くなった三角形のアイコン６０３ｃを見ることができ、オプティカルフロー６０３ｃは、ＦＯＥ ６０２ｃを中心に外側に向い、オプティカルフロー６０３ｃを表現する矢印は、図６Ｂのそれより相対的にさらに長くなった。
【００９６】
また障害物６０４ｃの衝突予想領域６０５ｃは、図６Ｂの衝突予想領域６０５ｂに比べて相対的にさらに広く表示されており、衝突可能性もさらに大きいために、濃いカラーでマッピングされた領域６０６ｃがさらに広くなった。
【００９７】
図７は、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止方法のフローを示す図面であって、図２に図示された装置２００を参照して説明する。
【００９８】
停止状態にあった移動ロボット１０１が動き始めれば、移動ロボット１０１に装着されたカメラで撮影した走行方向の映像を、制御部２０６を通じて映像処理部２０１に伝送し、エンコーダ部２０４では移動ロボット１０１のホイールの動作を感知して移動速度及び移動方向についての情報を、制御部２０６を通じて映像処理部２０１に伝送する（Ｓ７０１）。
【００９９】
Ｓ７０１後、所定の時間差で移動ロボット１０１に装着されたカメラで撮影した走行方向の２番目の映像は、制御部２０６を通じて映像処理部２０１に伝送され、エンコーダ部２０４では移動ロボット１０１のホイールの動作を感知して２番目の映像が伝送された時点の移動速度及び移動方向についての情報を、制御部２０６を通じて映像処理部２０１に伝送する（Ｓ７０２）
映像処理部２０１は、Ｓ７０１〜Ｓ７０２過程を通じて入力された走行方向の映像を保存所（図示せず）に保存して比較し、移動速度及び移動方向についての情報に基づいてオプティカルフローを計算する（Ｓ７０３）。
【０１００】
Ｓ７０３後、映像処理部２０１はＦＯＥを計算する（Ｓ７０４）。
【０１０１】
Ｓ７０４後、障害物感知部２０２は、移動ロボット１０１の走行方向に存在する障害物を感知して衝突警告音情報生成及びＴＯＣを計算する（Ｓ７０５）。
【０１０２】
Ｓ７０５後、カラーマッピング部２０３は、Ｓ７０５で計算されたＴＯＣに基づいて衝突可能な障害物にマッピングされるカラーの色調をＴＯＣ値によって調節する（Ｓ７０６）。
【０１０３】
Ｓ７０１〜Ｓ７０６を通じて獲得した情報は、制御部２０６を通じて送受信部２０５に伝えられ、送受信部２０５は、該当情報を遠隔地にある制御機器１０２に送信する（Ｓ７０７）。
【０１０４】
図８は、本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止方法のフローを示す図面であり、図４に図示された装置４００を参照して説明する。
【０１０５】
送受信部４０４では、遠隔地にある移動ロボット１０１から情報を受信して制御部４０５に伝達する（Ｓ８０１）。
【０１０６】
制御部４０５は、伝達された情報を分析し、走行方向の映像はディスプレイ部４０６を通じて画面にディスプレイし（Ｓ８０２）、ＦＯＥ及び移動ロボット１０１の速度大きさと進行方向を、進行情報表示部４０２を通じてアイコン及びオプティカルフローで表示する（Ｓ８０３）。
【０１０７】
Ｓ８０３の後、カラーマッピング処理部４０１は、制御部４０５から衝突可能な障害物にマッピングするカラー情報を伝達されて、ＴＯＣ値によって定められたカラーの色調を調節してマッピングする（Ｓ８０４）。
【０１０８】
Ｓ８０４の後、警告音発生部４０３では制御部４０５から伝達された警告音情報を通じて、移動ロボット１０１が障害物に衝突する所定時間前に警告音を鳴らす（Ｓ８０５）。
【０１０９】
Ｓ８０５の後、ユーザは制御機器１０２の方向キーを使用して障害物に衝突しないように移動ロボットの方向を制御する制御データを、送受信部４０４を通じて遠隔地にある移動ロボット１０１に送信する（Ｓ８０６）。
【０１１０】
以上、添付図を参照して本発明の実施例を説明したが、本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。
【産業上の利用可能性】
【０１１１】
本発明は、移動ロボットの遠隔操縦の関連技術分野に好適に用いられる。
【符号の説明】
【０１１２】
２０１ 映像処理部
２０２ 障害物感知部
２０３ カラーマッピング部
２０４ エンコーダ部
２０５ 送受信部
２０６ 制御部
【技術分野】
【０００１】
本発明は、移動ロボットの遠隔操縦のための衝突防止装置及び方法に係り、さらに詳細には、遠隔地で移動ロボットを制御する制御機器の画面で衝突が予想される障害物にカラーをマッピングし、移動ロボットが障害物に衝突する前に警告音を鳴らすことによって遠隔地で移動ロボットを制御するユーザが障害物を容易に認知できるロボットの遠隔操縦のための衝突防止装置及び方法に関する。
【背景技術】
【０００２】
一般的に移動ロボットは、カメラを利用して自身の現在位置及び障害物の位置を検出し、その位置情報を利用して走行及び作業を行う。
【０００３】
最近、移動ロボットの活用分野は、国防、産業現場から家庭に至るまで多様に拡大されるにつれて、移動ロボットの障害物位置把握及び移動ロボットを制御するユーザの障害物認識が重要な関心事となり、これに、いろいろな装置及び方法（例えば、特許文献１及び２）が提示された。
【０００４】
前述したような従来の技術で、移動ロボットは、光を移動ロボットの前面に照射してＣＣＤ（電荷結合素子）に結ばれる光の位置及び輝度を利用して障害物との距離を測定するか、遠隔地にあるユーザがモニタを通じてロボットのヘッドアップディスプレイ及びオーバーヘッドマップを見てロボットを遠隔操縦する。
【０００５】
しかし、ＣＣＤの視界（Ｆｉｅｌｄ Ｏｆ Ｖｉｅｗ、以下、ＦＯＶ）によってカメラを通じて見られる周辺事物の歪曲程度及びカメラを通じて一度に見られる情報の量が変わるために、ＣＣＤのＦＯＶが小さい場合、障害物の形態を識別し難く、遠隔地にあるユーザに障害物の情報を知らせ難い。
【０００６】
また、遠隔地のユーザが識別できる形態のオーバーヘッドマップを作成するためには、高コストの距離測定センサーが必要であり、ユーザが持っている移動ロボットを制御する機器の画面が小さな場合、オーバーヘッドマップをディスプレイし難いだけでなくディスプレイされたオーバーヘッドマップ通じてユーザが障害物を認識し難いという短所がある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】米国特許第４９０５１５１号公報
【特許文献２】米国特許第６８４５２９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
本発明は、移動ロボットの遠隔操縦のための衝突防止装置及び方法を通じて遠隔地で移動ロボットを制御する制御機器の画面に移動ロボットと衝突可能性のある障害物にカラーをオーバーラップさせるところにその目的がある。
【０００９】
本発明の他の目的は、遠隔地で移動ロボットを制御する制御機器の画面に移動ロボットと衝突可能性のある障害物にカラーをオーバーラップさせることによって、画面サイズの小さい制御機器でも移動ロボットを制御するユーザが効果的に障害物を認識可能にすることである。
【００１０】
本発明のさらに他の目的は、ＦＯＥ（Ｆｏｃｕｓ Ｏｆ Ｅｘｐａｎｓｉｏｎ：拡張焦点）と移動ロボットの速度を移動ロボット制御機器の画面にアイコンで表示して、ユーザに移動ロボットの移動に関する情報を容易に伝達することである。
【００１１】
本発明のさらに他の目的は、移動ロボットが障害物に衝突する所定の時間前にユーザに警告音を通じて知らせることによって、移動ロボットが障害物に衝突することを効果的に予防することである。
【００１２】
本発明の目的は、以上で言及した目的に制限されず、言及されていない他の目的は下の記載から当業者に明確に理解されうる。
【課題を解決するための手段】
【００１３】
前記目的を達成するために、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置は、移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像を所定の時間差で保存して比較してオプティカルフローを計算し、前記計算されたオプティカルフローを利用してＦＯＥ（Focus Of Expansion）を計算する映像処理部と、前記移動ロボットの移動速度及び移動方向についての情報を獲得するエンコーダ部と、前記映像処理部で計算された前記ＦＯＥと、前記エンコーダ部で獲得された前記移動ロボットの移動速度及び移動方向と、を利用して、前記移動ロボットの走行方向に存在する障害物を感知し、前記感知された障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）を計算し、前記計算された前記ＴＯＣを利用して前記障害物に前記移動ロボットが衝突する可能性がある衝突予想領域を計算する障害物感知部と、前記障害物感知部による計算結果に基づいて、画面に表示される前記衝突予想領域にマッピングするカラーの情報を生成するカラーマッピング部と、を備え、前記カラーマッピング部は、前記障害物感知部で計算される前記ＴＯＣの値によって前記カラーの色調を調整し、前記障害物感知部で計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知部で計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする。
【００１４】
前記目的を達成するために、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置は、移動ロボットから受信した前記移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像情報を少なくとも含む情報に基づいて、画面に見られる前記移動ロボットの走行方向に存在する障害物に前記移動ロボットが衝突する可能性がある衝突予想領域をカラーでマッピングするカラーマッピング処理部と、前記移動ロボットから受信した前記情報に基づいて、前記画面に、前記移動ロボットのＦＯＥ（Focus Of Expansion）を表示し、前記移動ロボットの速度大きさ及び進行方向をアイコン及びオプティカルフローで表示する進行情報表示部と、前記障害物に前記移動ロボットが接近する時、前記移動ロボットから受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生部と、を備え、前記カラーマッピング処理部は、前記障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）の値によって、前記画面に表示される前記衝突予想領域にマッピングするカラーの色調を調整し、前記障害物感知部で計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知部で計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする。
【００１５】
前記目的を達成するために、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止方法は、移動ロボットに装着されたカメラで撮影した走行方向の映像を所定の時間差で保存して比較してオプティカルフローを計算し、前記計算されたオプティカルフローを利用してＦＯＥ（Focus Of Expansion）を計算する映像処理ステップと、前記移動ロボットのホイールの動作を感知して移動速度及び移動方向についての情報を獲得する移動速度及び移動距離獲得ステップと、前記映像処理ステップで計算された前記ＦＯＥと、前記移動速度及び移動距離獲得ステップで獲得された前記移動ロボットの移動速度及び移動方向と、を利用して、前記移動ロボットの走行方向に存在する障害物を感知し、前記感知された障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）を計算し、前記計算された前記ＴＯＣを利用して前記障害物に前記移動ロボットが衝突する可能性がある衝突予想領域を計算する障害物感知ステップと、前記障害物感知部による計算結果に基づいて、画面に表示される前記衝突予想領域にマッピングするカラーの情報を生成するカラーマッピング情報提供ステップと、を含み、前記カラーマッピング情報提供ステップは、前記障害物感知ステップで計算される前記ＴＯＣの値によって前記カラーの色調を調整し、前記障害物感知ステップで計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知ステップで計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする。
【００１６】
前記目的を達成するために、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止方法は、移動ロボットから受信した前記移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像情報を少なくとも含む情報に基づいて、画面に見られる前記移動ロボットの走行方向に存在する障害物に前記移動ロボットが衝突する可能性がある衝突予想領域をカラーでマッピングするマッピング処理ステップと、前記移動ロボットから受信した前記情報に基づいて、前記画面に、前記移動ロボットのＦＯＥ（Focus Of Expansion）を表示し、前記移動ロボットの速度大きさ及び進行方向をアイコン及びオプティカルフローで表示する進行情報表示ステップと、前記障害物に前記移動ロボットが接近する時、前記移動ロボットから受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生ステップと、を含み、前記マッピング処理ステップは、前記障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）の値によって、前記画面に表示される前記衝突予想領域にマッピングするカラーの色調を調整し、前記障害物感知ステップで計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知ステップで計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする。
【００１７】
その他の実施例の具体的な事項は詳細な説明及び図面に含まれている。
【発明の効果】
【００１８】
本発明の移動ロボットの遠隔操縦のための衝突防止装置及び方法によれば、次のような効果が一つあるいはそれ以上ある。
【００１９】
遠隔地で移動ロボットを制御する制御機器の画面に移動ロボットと衝突可能性のある障害物にカラーをオーバーラップさせることによって、画面サイズの小さい制御機器でも移動ロボットを制御するユーザが効果的に障害物を認識できる。
【００２０】
移動ロボットの速度大きさに対する進行方向を制御機器の画面にアイコン及びベクトルと表示して、ユーザに移動ロボットの移動に関する情報を容易に伝達しうる。
【００２１】
移動ロボットが障害物に衝突する所定時間前にユーザに警告音を通じて知らせて移動ロボットの衝突防止にさらに効果的である。
【図面の簡単な説明】
【００２２】
【図１Ａ】本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止システムの構成を示す図である。
【図１Ｂ】本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止システムの構成を示す図である。
【図２】本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置（移動ロボット）の構造を示すブロック図である。
【図３】オプティカルフローの実施形態であって、典型的なオプティカルフローのパターンを示す図である。
【図４】本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止装置（制御機器）の構造を示すブロック図である。
【図５】本発明の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図である。
【図６Ａ】本発明の他の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図である。
【図６Ｂ】本発明の他の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図である。
【図６Ｃ】本発明の他の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図である。
【図７】本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止方法のフローを示す図である。
【図８】本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止方法のフローを示す図である。
【発明を実施するための形態】
【００２３】
本発明の利点及び特徴、そしてこれを達成する方法は添付された図面に基づいて詳細に後述されている実施例を参照すれば明確になる。しかし、本発明は以下で開示される実施例に限定されるものではなく、この実施例から外れて多様な形に具現でき、本明細書で説明する実施例は本発明の開示を完全にし、本発明が属する技術分野で当業者に発明の範ちゅうを完全に報せるために提供されるものであり、本発明は請求項及び発明の詳細な説明により定義されるだけである。一方、明細書全体に亙って同一な参照符号は同一な構成要素を示す。
【００２４】
以下、添付された図面を参照して本発明の望ましい実施形態を詳細に説明する。
【００２５】
図１Ａないし図１Ｂは、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止システムの構成を示す図面である。
【００２６】
本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止システム１００は、移動ロボット１０１及び遠隔地で移動ロボットを制御する制御機器１０２を備え、移動ロボット１０１と制御機器１０２とは、有無線データ通信網１０３で連結されている。
【００２７】
移動ロボットは１０１は、装着されたカメラで撮影した進行方向の映像データ及び移動情報を、有無線通信網１０２を通じて遠隔地の制御機器１０２に送信し、制御機器１０２は、移動ロボット１０１から受信した映像データ及び移動情報を分析し、分析した結果を制御機器１０２の画面にディスプレイする。
【００２８】
遠隔地にあるユーザは、制御機器１０２の画面にディスプレイされた映像及び移動情報を見て移動ロボット１０１を制御できる。
【００２９】
ここで、制御機器１０２は、移動ロボット１０１から送信した映像をディスプレイできる画面と移動ロボット１０１を制御できるキーボードまたはボタンのような方向キーを備えるものであって、移動端末機やコンピュータが制御機器１０２の例となりうる。
【００３０】
図２は、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置（移動ロボット）の構造を示すブロック図である。
【００３１】
本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止装置２００は、装着されたカメラで撮影した走行方向の映像を所定の時間差で保存して比較する映像処理部２０１、移動ロボット１０１の走行方向に存在する障害物を感知して衝突予想情報を提供する障害物感知部２０２、衝突予想情報に基づいて障害物の衝突予想領域にマッピングするカラー情報を提供するカラーマッピング部２０３、移動ロボット１０１のホイールの動作を感知して移動速度及び移動方向そして移動距離についての情報を提供するエンコーダ部２０４、装着されたカメラで撮影した進行方向の映像データ及び移動情報を制御機器１０２に送信し、移動ロボット１０１を制御する制御データを制御機器１０２から受信する送受信部２０５、各部を制御する制御部２０６を備える。
【００３２】
本発明の一実施例で使われる“部”という用語は、ソフトウェアまたはＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）または注文型半導体（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ；ＡＳＩＣ）のようなハードウェア構成要素を意味し、“部”は所定の役割を行う。
【００３３】
しかし、“部”はソフトウェアまたはハードウェアに限定されるものではない。
【００３４】
“部”は、アドレッシング可能な保存媒体に存在すべく構成されても良く、１つまたはそれ以上のプロセッサーを実行させるように構成されても良い。
【００３５】
したがって、一例として“部”は、ソフトウェア構成要素、客体指向ソフトウェア構成要素、クラス構成要素及びタスク構成要素のような構成要素と、プロセス、関数、属性、プロシージャ、サブルーチン、プログラムコードのセグメント、ドライバー、ファームウェア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数を含む。
【００３６】
構成要素と“部”から提供される機能は、より少数の構成要素及び“部”で結合されるか、追加的な構成要素と“部”にさらに分離されうる。
【００３７】
図２において、映像処理部２０１は、移動ロボット１０１に装着されたカメラで撮影した走行方向の映像を所定の時間差で保存して比較する。
【００３８】
所定（一定）の時差をおいて連続的に入力される映像を分析して対象物体の動きを推定する移動物体追跡技法は、コンピュータビジョン分野及びこれを利用した移動ロボット分野で多くの関心を受けている。
【００３９】
これは、現在フレーム映像処理結果を反復的に次のフレーム処理時に利用することによって、連続的に入力される映像の動き同定や動的物体の分析作業を行なうことである。
【００４０】
このように複数個の映像処理で得られた特徴の差から動き情報を検出する作業では、対象物体の移動方向及び速度が重要な特徴値になり、これを同時にベクトルで表現することをオプティカルフローという。
【００４１】
したがって、対象物体の各点のオプティカルフローを計算することによって対象物体の動きを推定できる。
【００４２】
映像処理部２０１は、移動ロボット１０１に装着されたカメラで撮影した走行方向の映像を所定の時間差で保存所（図示せず）に保存して比較し、エンコーダ部２０４から移動ロボット１０１の移動速度及び移動方向についての情報を提供されてオプティカルフローを計算する。
【００４３】
移動ロボット１０１の３次元空間上の動きは、２次元的な移動変位を引き起こすが、もし、移動ロボット１０１が移動するならば、移動ロボット１０１の運動は無限大の距離に位置した一点からのオプティカルフローと考えられうる。
【００４４】
２次元映像内の特定点ｐ＝（ｘ，ｙ）でオプティカルフローｆ＝（ｕ，ｖ）は、
【００４５】
【数１】
を通じて計算できる。
【００４６】
（式１）でＩ１、Ｉ２は、時間差をおいて得たカメラ映像であり、ｗｘ、ｗｙは、特徴点（ｘ，ｙ）でｘ、ｙ方向への偏差であり、Ｗは、偏差の最大大きさである。
【００４７】
また映像処理部２０１は、ＦＯＥを計算する。
【００４８】
ＦＯＥは、オプティカルフローを説明しつつ言及した無限大の距離に位置した一点を意味し、２次元映像で任意の一点は、ＦＯＥからその点に至る直線に沿って動く。
【００４９】
したがって、独立的に動く移動ロボット１０１は、自身の運動方向と関連したＦＯＥに連結される。
【００５０】
図３は、オプティカルフローの実施形態であって、典型的なオプティカルフローのパターンを示す図面である。
【００５１】
移動ロボット１０１が左右の回転なしに前方に直線移動すると仮定すれば、移動ロボット１０１は、図３に図示された画面に向って接近する。
【００５２】
したがって、オプティカルフローを表現する矢印３０２がＦＯＥ ３０１と呼ばれる一点から外側に向かっている。
【００５３】
一方、移動ロボット１０１が図３に図示された画面から遠ざかる場合にはオプティカルフローを表現する矢印３０２がＦＯＥ ３０１に向かう。
【００５４】
ＦＯＥは、２次元映像での運動を３次元実際映像と対応して関連させる主要な役割を担当し、２次元映像でＦＯＥである点Ｐ＝（Ｘ０，Ｙ０）を通じて計算できる。
【００５５】
【数２】
（式２）でｍ、ｎは、（ｘ，ｙ）からｘ、ｙ方向への偏差であり、Ｗは、偏差の最大大きさである。
【００５６】
Φは、（ｕ，ｖ）ベクトルの大きさがｔより大きい点の数であり、Ｓは、これらベクトル方向角の総和である。したがって、これらベクトルがいずれも対称である領域での中心値がＦＯＥとなる。
【００５７】
移動ロボットの遠隔操縦のための衝突防止装置２００で、障害物感知部２０２は、移動ロボット１０１の走行方向に存在する障害物を感知し、衝突予想情報を提供する。
【００５８】
ここで、衝突予想情報とは、移動ロボット１０１の移動速度及び移動方向そして進行方向に存在する障害物に移動ロボット１０１が衝突可能な衝突予想領域情報と、移動ロボット１０１の障害物への接近時に所定の衝突予想時間前に移動ロボット１０１を制御する制御機器１０２から警告音を鳴らせる警告信号情報を含む。
【００５９】
この時、警告音を鳴らせる警告信号情報を、移動ロボット１０１を制御する制御機器１０２に伝達する時点はユーザが設定できる。
【００６０】
例えば、ユーザが前述した時点を５秒と設定するならば、移動ロボット１０１の障害物感知部２０２は、現在移動ロボット１０１の速度と進行方向に存在する障害物との距離を計算して、移動ロボット１０１が障害物に衝突する５秒前に移動ロボットを制御する制御機器１０２から警告音を鳴らせる。
【００６１】
障害物感知部２０２は、移動ロボット１０１の進行方向に存在する障害物に移動ロボット１０１が衝突可能な衝突予想領域を計算するために、
【００６２】
【数３】
を通じてＴＯＣ（Ｔｉｍｅ Ｏｆ Ｃｏｎｔａｃｔ）τを求める。
【００６３】
（式３）でｆは、カメラ焦点距離、（Ｘ，Ｙ，Ｚ）は、空間上３次元座標値、
【００６４】
【数４】
は、３次元速度成分であり、（ｘ，ｙ）は、カメラ映像上の２次元座標値、
【００６５】
【数５】
は、２次元速度成分であり、τは、ＴＯＣである。
【００６６】
また、障害物感知部２０２は、エンコーダ部２０４で提供する移動ロボット１０１の移動速度及び移動方向情報、そして、映像処理部２０１で計算されたＦＯＥを利用して制御機器１０２の画面に移動ロボット１０１の速度大きさ及び進行方向を表示する情報を生成して、制御部２０６を通じて送受信部２０５に伝達する。
【００６７】
カラーマッピング部２０３は、障害物感知部２０２から提供された衝突予想情報に基づいて障害物の衝突予想領域にマッピングするカラー情報を生成する。
【００６８】
障害物の衝突予想領域にマッピングするカラー情報は、障害物感知部２０２で計算されたＴＯＣの値によって、所定のカラーの点で表示される。
【００６９】
（式３）を通じて計算されたＴＯＣの値が小さければカラーの点を濃くし、ＴＯＣの値が大きければカラーの点を薄くして、ＴＯＣの値によって衝突予想領域にマッピングされるカラーの色調を調節し、この情報を制御部２０６を通じて送受信部２０５に伝達する。
【００７０】
図４は、本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止装置（制御機器）の構造を示すブロック図である。
【００７１】
本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止装置４００は、移動ロボットから受信した情報に基づいて画面に見られる障害物に移動ロボットが衝突可能な衝突予想領域をカラーでマッピングするカラーマッピング処理部４０１、受信した情報に基づいて画面に移動ロボットの進行情報を表示する進行情報表示部４０２、衝突可能な障害物に移動ロボットが接近する時に受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生部４０３、画面にディスプレイする移動ロボット１０１の情報を移動ロボット１０１から受信し、移動ロボット１０１を制御する情報を移動ロボット１０１に送信する送受信部４０４、送受信部４０４から受信した情報を分析して各部を制御する制御部４０５、画面で該当情報をディスプレイするディスプレイ部４０６及び移動ロボット１０１の方向を制御できるようにキーボードやボタンのような方向キーを持つ入力部４０７を備える。
【００７２】
図１Ｂに図示されたように、移動ロボット１０１を制御する制御機器１０２が本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止装置４００になりうる。移動ロボットの遠隔操縦のための衝突防止装置４００は、送受信部４０４を通じて移動ロボット１０１から画面にディスプレイする情報を受信し、制御部４０５では受信した情報を分析して各部を制御する。ここで、移動ロボット１０１から受信した情報は、移動ロボットの走行方向の映像データ、ＦＯＥ、移動ロボット１０１の移動速度、移動方向、移動ロボットの走行方向に存在する障害物についての衝突警告音情報及び前記衝突予想領域にマッピングするカラー情報を含む。
【００７３】
移動ロボットの遠隔操縦のための衝突防止装置４００の進行情報表示部４０２は移動ロボットのＦＯＥを表示し、移動ロボットの速度大きさと進行方向をアイコン及びオプティカルフローで表示する。
【００７４】
カラーマッピング処理部４０１では、ＴＯＣによるカラーマッピング情報を画面に見られる障害物にマッピングして、小さな画面の制御機器でもユーザが障害物を容易に認知可能にする。
【００７５】
また、警告音発生部４０３では、移動ロボット１０１が障害物に衝突する所定時間（秒）前に警告音を鳴らしてユーザが移動ロボット１０１の障害物衝突をあらかじめ予防できる。
【００７６】
制御機器１０２の画面に表示された衝突可能な障害物にカラーをマッピングし、事前に警告音を鳴らすことによってユーザは、移動ロボット１０１の進行方向に存在する障害物をさらに容易に認知して、制御機器１０２上に位置する入力部４０７であるキーボードやボタンのような方向キーで移動ロボット１０１を制御する制御データを、送受信部４０４を通じて遠隔地の移動ロボット１０１に送信する。
【００７７】
図５は、本発明の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図面である。
【００７８】
ＦＯＥ ５０１がＸ字アイコンで表示されており、移動ロボットの速度大きさ及び進行方向が三角形のアイコン５０２で表示されている。
【００７９】
三角形のアイコン５０２は、移動ロボット１０１の進行方向によって角度が変更され、移動ロボット１０１の速度によって三角形のアイコンサイズが変更される。
【００８０】
すなわち、移動ロボットの速度が速ければ三角形のアイコンが長くなり、速度が遅ければ三角形のアイコンが短くなって、遠隔地で移動ロボット１０１を制御するユーザは三角形アイコン５０２のサイズを見て、移動ロボット１０１の移動速度及び進行方向を容易に認知できる。
【００８１】
ＦＯＥ５０１の表示アイコンはＸ字のみに限定されず、Ｘ字ではない十字状や星状などその他の多様なアイコンで表示されうる。
【００８２】
三角形アイコン５０２も三角形のみに限定されず、アイコンの形態はユーザが長さによって移動ロボット１０１の方向及び速度を容易に認知できることが望ましい。
【００８３】
また、移動ロボットの進行方向に存在する障害物５０３に衝突予想領域５０３ａがカラーでマッピングされて、制御機器１０２の画面が小さな場合にも移動ロボット１０１が衝突する可能性がある障害物５０３をユーザが容易に認知できる。
【００８４】
図６Ａないし図６Ｃは、本発明の他の実施形態による移動ロボットの進行方向の映像及び移動ロボットの進行情報が制御機器の画面に表示されたことを示す図面である。
【００８５】
図６Ａは、移動ロボットが左右に回転せずに直進する状態が制御機器の画面に表示されている。
【００８６】
ＦＯＥ６０１ａが画面中央に表示されており、移動ロボットの進行方向及び速度を表す三角形のアイコン６０２ａが画面の下段に表示されている。
【００８７】
左右回転のない直進状態であるために、オプティカルフロー６０３ａの形態はＦＯＥ ６０１ａを中心に外側に向っており、オプティカルフローを表現する矢印は小さな形態で表示されている。
【００８８】
また、障害物６０４ａに衝突予想領域６０５ａがカラーでマッピングされており、衝突予想可能性によって濃いカラー６０６ａと相対的に薄いカラー６０７ａとで表示されている。
【００８９】
図６Ｂは、図６Ａの状態で移動ロボットが右側に回転して前進する状態が制御機器の画面に表示されている。
【００９０】
ＦＯＥ６０２ｂが図６ＡのＦＯＥ ６０１ａに比べて右側に移動し、右側に回転する角度によって、移動ロボットの進行方向及び速度を表す三角形のアイコン６０２ｂが画面下段に表示されている。
【００９１】
オプティカルフロー６０３ｂの形態は、ＦＯＥ ６０２ｂａを中心に外側に向っており、カラーでマッピングされた障害物６０４ｂに衝突予想領域６０５ｂが図６Ａの衝突予想領域６０５ａに比べて相対的にさらに広く表示されている。
【００９２】
それほど障害物６０４ｂに移動ロボット１０１が近く接近したという意味である。
【００９３】
図６Ｃは、図６Ｂに図示された状態で移動ロボットがさらに右側に回転してさらに速く前進する状態が制御機器の画面に表示されている。
【００９４】
ＦＯＥ６０３ｃが障害物６０４ｃにさらに近く表示されており、右側に回転する角度によって移動ロボットの進行方向及び速度を表す三角形のアイコン６０２ｃが画面下段に表示されている。
【００９５】
図６Ｂに図示された状態よりさらに速い速度で前進するので、図６Ｂに図示された三角形のアイコン６０２ｂよりさらに長くなった三角形のアイコン６０３ｃを見ることができ、オプティカルフロー６０３ｃは、ＦＯＥ ６０２ｃを中心に外側に向い、オプティカルフロー６０３ｃを表現する矢印は、図６Ｂのそれより相対的にさらに長くなった。
【００９６】
また障害物６０４ｃの衝突予想領域６０５ｃは、図６Ｂの衝突予想領域６０５ｂに比べて相対的にさらに広く表示されており、衝突可能性もさらに大きいために、濃いカラーでマッピングされた領域６０６ｃがさらに広くなった。
【００９７】
図７は、本発明の実施形態による移動ロボットの遠隔操縦のための衝突防止方法のフローを示す図面であって、図２に図示された装置２００を参照して説明する。
【００９８】
停止状態にあった移動ロボット１０１が動き始めれば、移動ロボット１０１に装着されたカメラで撮影した走行方向の映像を、制御部２０６を通じて映像処理部２０１に伝送し、エンコーダ部２０４では移動ロボット１０１のホイールの動作を感知して移動速度及び移動方向についての情報を、制御部２０６を通じて映像処理部２０１に伝送する（Ｓ７０１）。
【００９９】
Ｓ７０１後、所定の時間差で移動ロボット１０１に装着されたカメラで撮影した走行方向の２番目の映像は、制御部２０６を通じて映像処理部２０１に伝送され、エンコーダ部２０４では移動ロボット１０１のホイールの動作を感知して２番目の映像が伝送された時点の移動速度及び移動方向についての情報を、制御部２０６を通じて映像処理部２０１に伝送する（Ｓ７０２）
映像処理部２０１は、Ｓ７０１〜Ｓ７０２過程を通じて入力された走行方向の映像を保存所（図示せず）に保存して比較し、移動速度及び移動方向についての情報に基づいてオプティカルフローを計算する（Ｓ７０３）。
【０１００】
Ｓ７０３後、映像処理部２０１はＦＯＥを計算する（Ｓ７０４）。
【０１０１】
Ｓ７０４後、障害物感知部２０２は、移動ロボット１０１の走行方向に存在する障害物を感知して衝突警告音情報生成及びＴＯＣを計算する（Ｓ７０５）。
【０１０２】
Ｓ７０５後、カラーマッピング部２０３は、Ｓ７０５で計算されたＴＯＣに基づいて衝突可能な障害物にマッピングされるカラーの色調をＴＯＣ値によって調節する（Ｓ７０６）。
【０１０３】
Ｓ７０１〜Ｓ７０６を通じて獲得した情報は、制御部２０６を通じて送受信部２０５に伝えられ、送受信部２０５は、該当情報を遠隔地にある制御機器１０２に送信する（Ｓ７０７）。
【０１０４】
図８は、本発明の他の実施形態による移動ロボットの遠隔操縦のための衝突防止方法のフローを示す図面であり、図４に図示された装置４００を参照して説明する。
【０１０５】
送受信部４０４では、遠隔地にある移動ロボット１０１から情報を受信して制御部４０５に伝達する（Ｓ８０１）。
【０１０６】
制御部４０５は、伝達された情報を分析し、走行方向の映像はディスプレイ部４０６を通じて画面にディスプレイし（Ｓ８０２）、ＦＯＥ及び移動ロボット１０１の速度大きさと進行方向を、進行情報表示部４０２を通じてアイコン及びオプティカルフローで表示する（Ｓ８０３）。
【０１０７】
Ｓ８０３の後、カラーマッピング処理部４０１は、制御部４０５から衝突可能な障害物にマッピングするカラー情報を伝達されて、ＴＯＣ値によって定められたカラーの色調を調節してマッピングする（Ｓ８０４）。
【０１０８】
Ｓ８０４の後、警告音発生部４０３では制御部４０５から伝達された警告音情報を通じて、移動ロボット１０１が障害物に衝突する所定時間前に警告音を鳴らす（Ｓ８０５）。
【０１０９】
Ｓ８０５の後、ユーザは制御機器１０２の方向キーを使用して障害物に衝突しないように移動ロボットの方向を制御する制御データを、送受信部４０４を通じて遠隔地にある移動ロボット１０１に送信する（Ｓ８０６）。
【０１１０】
以上、添付図を参照して本発明の実施例を説明したが、本発明が属する技術分野で当業者ならば本発明がその技術的思想や必須特徴を変更せずとも他の具体的な形に実施されうるということが理解できるであろう。したがって、前述した実施例は全ての面で例示的なものであって、限定的なものではないと理解せねばならない。
【産業上の利用可能性】
【０１１１】
本発明は、移動ロボットの遠隔操縦の関連技術分野に好適に用いられる。
【符号の説明】
【０１１２】
２０１ 映像処理部
２０２ 障害物感知部
２０３ カラーマッピング部
２０４ エンコーダ部
２０５ 送受信部
２０６ 制御部
【特許請求の範囲】
【請求項１】
移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像を所定の時間差で保存して比較してオプティカルフローを計算し、前記計算されたオプティカルフローを利用してＦＯＥ（Focus Of Expansion）を計算する映像処理部と、
前記移動ロボットの移動速度及び移動方向についての情報を獲得するエンコーダ部と、
前記映像処理部で計算された前記ＦＯＥと、前記エンコーダ部で獲得された前記移動ロボットの移動速度及び移動方向と、を利用して、前記移動ロボットの走行方向に存在する障害物を感知し、前記感知された障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）を計算し、前記計算された前記ＴＯＣを利用して前記障害物に前記移動ロボットが衝突する可能性がある衝突予想領域を計算する障害物感知部と、
前記障害物感知部による計算結果に基づいて、画面に表示される前記衝突予想領域にマッピングするカラーの情報を生成するカラーマッピング部と、を備え、
前記カラーマッピング部は、前記障害物感知部で計算される前記ＴＯＣの値によって前記カラーの色調を調整し、前記障害物感知部で計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知部で計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする移動ロボットの遠隔操縦のための衝突防止装置。
【請求項２】
前記走行方向の映像情報、前記衝突予想領域の情報及び前記カラーの色調情報のうち少なくとも一つを制御機器に送信し、前記移動ロボットを制御する制御データを前記制御機器から受信する送受信部をさらに備える請求項１に記載の移動ロボットの遠隔操縦のための衝突防止装置。
【請求項３】
前記障害物感知部は、前記移動ロボットの前記障害物への接近時に所定の衝突予想時間前に前記移動ロボットを制御する制御機器に警告信号を伝達する請求項１に記載の移動ロボットの遠隔操縦のための衝突防止装置。
【請求項４】
前記警告信号を前記制御機器に伝達する時点は、ユーザが設定可能である請求項３に記載の移動ロボットの遠隔操縦のための衝突防止装置。
【請求項５】
移動ロボットから受信した前記移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像情報を少なくとも含む情報に基づいて、画面に見られる前記移動ロボットの走行方向に存在する障害物に前記移動ロボットが衝突する可能性がある衝突予想領域をカラーでマッピングするカラーマッピング処理部と、
前記移動ロボットから受信した前記情報に基づいて、前記画面に、前記移動ロボットのＦＯＥ（Focus Of Expansion）を表示し、前記移動ロボットの速度大きさ及び進行方向をアイコン及びオプティカルフローで表示する進行情報表示部と、
前記障害物に前記移動ロボットが接近する時、前記移動ロボットから受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生部と、を備え、
前記カラーマッピング処理部は、前記障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）の値によって、前記画面に表示される前記衝突予想領域にマッピングするカラーの色調を調整し、前記障害物感知部で計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知部で計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする移動ロボットの遠隔操縦のための衝突防止装置。
【請求項６】
前記移動ロボットから受信する情報は、前記走行方向の映像情報、前記衝突予想領域の情報及び前記衝突予想領域にマッピングするカラーの色調情報を含む請求項５に記載の移動ロボットの遠隔操縦のための衝突防止装置。
【請求項７】
前記移動ロボットから受信する情報は、前記移動ロボットが前記障害物に衝突する前にユーザに警告する警告音情報を含む請求項５に記載の移動ロボットの遠隔操縦のための衝突防止装置。
【請求項８】
移動ロボットに装着されたカメラで撮影した走行方向の映像を所定の時間差で保存して比較してオプティカルフローを計算し、前記計算されたオプティカルフローを利用してＦＯＥ（Focus Of Expansion）を計算する映像処理ステップと、
前記移動ロボットのホイールの動作を感知して移動速度及び移動方向についての情報を獲得する移動速度及び移動距離獲得ステップと、
前記映像処理ステップで計算された前記ＦＯＥと、前記移動速度及び移動距離獲得ステップで獲得された前記移動ロボットの移動速度及び移動方向と、を利用して、前記移動ロボットの走行方向に存在する障害物を感知し、前記感知された障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）を計算し、前記計算された前記ＴＯＣを利用して前記障害物に前記移動ロボットが衝突する可能性がある衝突予想領域を計算する障害物感知ステップと、
前記障害物感知部による計算結果に基づいて、画面に表示される前記衝突予想領域にマッピングするカラーの情報を生成するカラーマッピング情報提供ステップと、を含み、
前記カラーマッピング情報提供ステップは、前記障害物感知ステップで計算される前記ＴＯＣの値によって前記カラーの色調を調整し、前記障害物感知ステップで計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知ステップで計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする移動ロボットの遠隔操縦のための衝突防止方法。
【請求項９】
前記障害物感知ステップは、前記移動ロボットの前記障害物への接近時、所定の衝突予想時間前に前記移動ロボットを制御する制御機器に警告信号を伝達するステップをさらに含む請求項８に記載の移動ロボットの遠隔操縦のための衝突防止方法。
【請求項１０】
移動ロボットから受信した前記移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像情報を少なくとも含む情報に基づいて、画面に見られる前記移動ロボットの走行方向に存在する障害物に前記移動ロボットが衝突する可能性がある衝突予想領域をカラーでマッピングするマッピング処理ステップと、
前記移動ロボットから受信した前記情報に基づいて、前記画面に、前記移動ロボットのＦＯＥ（Focus Of Expansion）を表示し、前記移動ロボットの速度大きさ及び進行方向をアイコン及びオプティカルフローで表示する進行情報表示ステップと、
前記障害物に前記移動ロボットが接近する時、前記移動ロボットから受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生ステップと、を含み、
前記マッピング処理ステップは、前記障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）の値によって、前記画面に表示される前記衝突予想領域にマッピングするカラーの色調を調整し、前記障害物感知ステップで計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知ステップで計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする移動ロボットの遠隔操縦のための衝突防止方法。
【請求項１】
移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像を所定の時間差で保存して比較してオプティカルフローを計算し、前記計算されたオプティカルフローを利用してＦＯＥ（Focus Of Expansion）を計算する映像処理部と、
前記移動ロボットの移動速度及び移動方向についての情報を獲得するエンコーダ部と、
前記映像処理部で計算された前記ＦＯＥと、前記エンコーダ部で獲得された前記移動ロボットの移動速度及び移動方向と、を利用して、前記移動ロボットの走行方向に存在する障害物を感知し、前記感知された障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）を計算し、前記計算された前記ＴＯＣを利用して前記障害物に前記移動ロボットが衝突する可能性がある衝突予想領域を計算する障害物感知部と、
前記障害物感知部による計算結果に基づいて、画面に表示される前記衝突予想領域にマッピングするカラーの情報を生成するカラーマッピング部と、を備え、
前記カラーマッピング部は、前記障害物感知部で計算される前記ＴＯＣの値によって前記カラーの色調を調整し、前記障害物感知部で計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知部で計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする移動ロボットの遠隔操縦のための衝突防止装置。
【請求項２】
前記走行方向の映像情報、前記衝突予想領域の情報及び前記カラーの色調情報のうち少なくとも一つを制御機器に送信し、前記移動ロボットを制御する制御データを前記制御機器から受信する送受信部をさらに備える請求項１に記載の移動ロボットの遠隔操縦のための衝突防止装置。
【請求項３】
前記障害物感知部は、前記移動ロボットの前記障害物への接近時に所定の衝突予想時間前に前記移動ロボットを制御する制御機器に警告信号を伝達する請求項１に記載の移動ロボットの遠隔操縦のための衝突防止装置。
【請求項４】
前記警告信号を前記制御機器に伝達する時点は、ユーザが設定可能である請求項３に記載の移動ロボットの遠隔操縦のための衝突防止装置。
【請求項５】
移動ロボットから受信した前記移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像情報を少なくとも含む情報に基づいて、画面に見られる前記移動ロボットの走行方向に存在する障害物に前記移動ロボットが衝突する可能性がある衝突予想領域をカラーでマッピングするカラーマッピング処理部と、
前記移動ロボットから受信した前記情報に基づいて、前記画面に、前記移動ロボットのＦＯＥ（Focus Of Expansion）を表示し、前記移動ロボットの速度大きさ及び進行方向をアイコン及びオプティカルフローで表示する進行情報表示部と、
前記障害物に前記移動ロボットが接近する時、前記移動ロボットから受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生部と、を備え、
前記カラーマッピング処理部は、前記障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）の値によって、前記画面に表示される前記衝突予想領域にマッピングするカラーの色調を調整し、前記障害物感知部で計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知部で計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする移動ロボットの遠隔操縦のための衝突防止装置。
【請求項６】
前記移動ロボットから受信する情報は、前記走行方向の映像情報、前記衝突予想領域の情報及び前記衝突予想領域にマッピングするカラーの色調情報を含む請求項５に記載の移動ロボットの遠隔操縦のための衝突防止装置。
【請求項７】
前記移動ロボットから受信する情報は、前記移動ロボットが前記障害物に衝突する前にユーザに警告する警告音情報を含む請求項５に記載の移動ロボットの遠隔操縦のための衝突防止装置。
【請求項８】
移動ロボットに装着されたカメラで撮影した走行方向の映像を所定の時間差で保存して比較してオプティカルフローを計算し、前記計算されたオプティカルフローを利用してＦＯＥ（Focus Of Expansion）を計算する映像処理ステップと、
前記移動ロボットのホイールの動作を感知して移動速度及び移動方向についての情報を獲得する移動速度及び移動距離獲得ステップと、
前記映像処理ステップで計算された前記ＦＯＥと、前記移動速度及び移動距離獲得ステップで獲得された前記移動ロボットの移動速度及び移動方向と、を利用して、前記移動ロボットの走行方向に存在する障害物を感知し、前記感知された障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）を計算し、前記計算された前記ＴＯＣを利用して前記障害物に前記移動ロボットが衝突する可能性がある衝突予想領域を計算する障害物感知ステップと、
前記障害物感知部による計算結果に基づいて、画面に表示される前記衝突予想領域にマッピングするカラーの情報を生成するカラーマッピング情報提供ステップと、を含み、
前記カラーマッピング情報提供ステップは、前記障害物感知ステップで計算される前記ＴＯＣの値によって前記カラーの色調を調整し、前記障害物感知ステップで計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知ステップで計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする移動ロボットの遠隔操縦のための衝突防止方法。
【請求項９】
前記障害物感知ステップは、前記移動ロボットの前記障害物への接近時、所定の衝突予想時間前に前記移動ロボットを制御する制御機器に警告信号を伝達するステップをさらに含む請求項８に記載の移動ロボットの遠隔操縦のための衝突防止方法。
【請求項１０】
移動ロボットから受信した前記移動ロボットに装着されたカメラで撮影した前記移動ロボットの走行方向の映像情報を少なくとも含む情報に基づいて、画面に見られる前記移動ロボットの走行方向に存在する障害物に前記移動ロボットが衝突する可能性がある衝突予想領域をカラーでマッピングするマッピング処理ステップと、
前記移動ロボットから受信した前記情報に基づいて、前記画面に、前記移動ロボットのＦＯＥ（Focus Of Expansion）を表示し、前記移動ロボットの速度大きさ及び進行方向をアイコン及びオプティカルフローで表示する進行情報表示ステップと、
前記障害物に前記移動ロボットが接近する時、前記移動ロボットから受信した情報に基づいて所定の衝突予想時間前に警告音でユーザに警告する警告音発生ステップと、を含み、
前記マッピング処理ステップは、前記障害物に前記移動ロボットが衝突するまでに要するＴＯＣ（Time Of Contact）の値によって、前記画面に表示される前記衝突予想領域にマッピングするカラーの色調を調整し、前記障害物感知ステップで計算される前記ＴＯＣの値が小さければ前記カラーの点を濃くし、前記障害物感知ステップで計算される前記ＴＯＣの値が大きければ前記カラーの点を薄くする移動ロボットの遠隔操縦のための衝突防止方法。
【図１Ａ】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【図１Ｂ】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図７】
【図８】
【公開番号】特開２０１２−４５７０６（Ｐ２０１２−４５７０６Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１１−２０９９４６（Ｐ２０１１−２０９９４６）
【出願日】平成２３年９月２６日（２０１１．９．２６）
【分割の表示】特願２００７−２７５６９（Ｐ２００７−２７５６９）の分割
【原出願日】平成１９年２月７日（２００７．２．７）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２３年９月２６日（２０１１．９．２６）
【分割の表示】特願２００７−２７５６９（Ｐ２００７−２７５６９）の分割
【原出願日】平成１９年２月７日（２００７．２．７）
【出願人】（３９００１９８３９）三星電子株式会社 (8,520)
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】４１６，Ｍａｅｔａｎ−ｄｏｎｇ，Ｙｅｏｎｇｔｏｎｇ−ｇｕ，Ｓｕｗｏｎ−ｓｉ，Ｇｙｅｏｎｇｇｉ−ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
【Ｆターム（参考）】
[ Back to top ]