ロボット操作装置
【課題】遠隔コミュニケーションが行われるシステムにおいて、簡易な設備でユーザに負担を掛けることなくロボットが自然な身体動作を行うようにすることができるようにする。
【解決手段】ロボット操作装置は、ロボット２０が存在する空間を撮像した映像を入力する映像入力部１１と、映像入力部１１が入力した映像を、ロボット２０の頭部等の部位２１の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工する映像加工部１２と、映像加工部１２が加工した映像を表示器１５に表示する映像表示部１３と、表示器１５に表示された映像におけるユーザが指定した位置を向くように部位２１を移動させる命令を発行する映像位置指定部１４とを備えている。
【解決手段】ロボット操作装置は、ロボット２０が存在する空間を撮像した映像を入力する映像入力部１１と、映像入力部１１が入力した映像を、ロボット２０の頭部等の部位２１の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工する映像加工部１２と、映像加工部１２が加工した映像を表示器１５に表示する映像表示部１３と、表示器１５に表示された映像におけるユーザが指定した位置を向くように部位２１を移動させる命令を発行する映像位置指定部１４とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔コミュニケーションが行われるシステムにおいて使用されるロボットを操作するロボット操作装置に関する。
【背景技術】
【０００２】
遠隔地にいる人との間でコミュニケーションを行うためにテレビジョン会議システム（テレビ会議システム）が広く利用されている。テレビ会議システムでは、会議場に設置されたカメラとマイクロフォンで取得された映像と音声とを伝送することによってコミュニケーションが行われる。
【０００３】
しかし、一般的なテレビ会議システムでは、ユーザ（ユーザＡとする。）の視線がどこに向かっているかなどのユーザＡの身体性の情報が遠隔地にいるユーザ（ユーザＢとする。）に伝達されず、コミュニケーションに必要な情報が欠落するという問題がある。例えば、ユーザＡが、遠隔地の会議場に存在する物の所定部位を視線方向によって指し示すことはできない。
【０００４】
そこで、身体性を有したロボットを用いてコミュニケーションを行う方式が提案されている。例えば、特許文献１には、会議参加者がいる会議場にロボットを置き、遠隔地にいるユーザＡがそのロボットを操作してコミュニケーションを行うことが記載されている。ロボットには、マイクロフォン、カメラおよびスピーカが設置されている。遠隔地にいるユーザＡは自分の声をロボットに伝送する。ロボットは、ユーザＡの声を再生する。また、ユーザＡが操作する端末は、ロボットに設けられているマイクロフォンおよびセンサが取得した音声と画像とを伝送路を介して受信する。そして、ユーザＡは、端末で音声と画像とを確認しつつ、ロボットの動きを操作する。
【０００５】
ロボットを通じて人と人とが遠隔コミュニケーションを行うシステムにおいて、ユーザＡがロボットを操作する方法として、特許文献１には、ロボットが向く方向を指示するための上下左右の４方向の入力を行うことが可能なボタンを用意し、ロボットが取得した映像を操作者が見つつそれらのボタンを用いてロボットの向く方向を指示する方法が開示されている。また、一つのディスプレイ上に表示されているロボットが取得した映像中の場所をユーザＡがマウス等で指定すると、ロボットが、指定された場所に向くという方法がある。
【０００６】
さらに、非特許文献１には、ユーザの目前に実空間での見え方を再現するために、ロボットが取得した映像を多面（例えば、３面）のディスレプレイに表示し、操作者（ユーザＡ）の頭部にモーションセンサを設置する方式が記載されている。その方式では、ディスプレイに写っている対象物を見るためにユーザが頭部を動かすと、そのときの操作者の動きが検出されてロボットに伝送される。その動きに従ってロボットの頭部を動かすことによって、操作者の動きがロボットにおいて再現される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−４６０８８号公報
【非特許文献】
【０００８】
【非特許文献１】葛岡英明, 遠隔ロボットコミュニケーション，ヒューマンインタフェース学会誌 遠隔コラボレーション特集 特集記事, 第１１巻第１号，pp. 15-18 ，２００９年２月.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に示された方法等では、ユーザＡは自分が見たい位置を映像上で同定し、その位置に向かってボタン操作や映像上でのポイントなどの操作を行うことによって、そちらにロボットを向かせることとなる。このとき、カメラの視野が狭いと、視野外の対象物を探すためにロボットの方位（頭部の向き）を頻繁に動かすことになる。その結果、ロボットの視線は頻繁に変化する。ロボットは、頭部の動きや向きという身体動作を伝達する目的で導入されているので、ロボットの視線の変化は、本来、ロボットが存在する場所にいるユーザに対して、何らかのユーザの意図（例えば、興味対象を指し示すとか、特定の人に対して発話権を譲るなどの意図）を表現するものである。しかし、視野外の対象物を探すためのロボットの煩雑な動作は、ユーザＡが伝達したい意図とは異なることがある。
【００１０】
一方、カメラの視野が広いと操作者（ユーザＡ）には広い範囲の映像が視認されてしまうので、操作者は、映像を獲得する目的ではカメラを動かさなくなる。すなわち、操作者はロボットの頭部を動かさなくなってしまう。一方のユーザがある動作を開始する前に示す頭部の回転等の身体的な行為によって、他方のユーザが、一方のユーザが開始する動作を予期することができる。そのような予期は、ユーザ間の円滑なコミュニケーションを実現するのに役立つ。しかし、カメラの視野が広い場合には、他方のユーザ（ユーザＢ）が操作者（ユーザＡ）の動作を予期する機会が減り、頭部の向きによって操作者の意図を伝えることが難しくなってしまう。
【００１１】
上記の操作者（ユーザＡ）の操作の動向を、人間の視覚特性の面から説明する。人間の目によって得られる映像は、視野の中心部の解像度が高く、周辺部の解像度が低いという特性を有する。人間は中心部の高解像度な領域で物体を詳細に見るとともに、周辺視野で広い角度にわたって他の人の存在や動きがある物体などをモニタしている。カメラの視野を限定しすぎると周辺視野でのモニタができなくなり、中心視を用いて周囲を見ようとするため、頭部動作が自然でなくなる。また、視野が広くて解像度が高い状態では、周辺視で低解像度で見えていたものを高解像度でみようとして視線を向けるという動作を行わなくなることから、やはり頭部動作が自然でなくなる。
【００１２】
この問題を解決するために、非特許文献１に示された方法では、ロボットに広角のカメラが搭載され、操作者の前に、３台のディスプレイが設置されている。しかし、非特許文献１に示された方法では、操作者の頭部動作がそのままロボットに伝達されるので、没入型ディスプレイなどの大掛かりな設備が必要であり、かつ、モーションセンサをユーザに設置するなどユーザへ負担を掛けるという問題がある。すなわち、簡易な設備でユーザに負担を掛けることなくロボットが自然な身体動作を行うようにすることができない。
【００１３】
そこで、本発明は、遠隔コミュニケーションが行われるシステムにおいて、簡易な設備でユーザに負担を掛けることなくロボットが自然な身体動作を行うようにすることができるロボット操作装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明によるロボット操作装置は、ロボットがどちらを向いているのかを表現する部位を有するロボットを遠隔操作するロボット操作装置であって、ロボットが存在する空間を撮像した映像を入力する映像入力部と、映像入力部が入力した映像を、上記の部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工する映像加工部と、映像加工部が加工した映像を表示器に表示する映像表示部と、表示器に表示された映像におけるユーザが指定した位置を向くように上記の部位を移動させる命令を発行する映像位置指定部とを備えたことを特徴とする。
【００１５】
本発明によるロボットシステムは、さらに、ロボットが存在する空間の映像を取得する撮像部と、映像位置指定部が発行した命令にもとづいて上記の部位を駆動する駆動部とを備えたことを特徴とする。
【００１６】
本発明によるロボット操作方法は、ロボットがどちらを向いているのかを表現する部位を有するロボットを遠隔操作するロボット操作方法であって、ロボットが存在する空間を撮像した映像を入力し、入力した映像を、上記の部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工し、加工した映像を表示器に表示し、表示器に表示された映像におけるユーザが指定した位置を向くように上記の部位を移動させる命令を発行することを特徴とする。
【００１７】
本発明によるロボット操作プログラムは、ロボットがどちらを向いているのかを表現する部位を有するロボットを遠隔操作するロボット操作装置に搭載されるコンピュータに、ロボットが存在する空間を撮像した映像を入力する処理と、入力した映像を、上記の部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工する処理と、加工した映像を表示器に表示する処理と、表示器に表示された映像におけるユーザが指定した位置を向くように上記の部位を移動させる命令を発行する処理とを実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、広い視野を確保しつつ、ロボットの頭部等の所定の部位を動作させる動機を操作者に与えることによって、遠隔コミュニケーションにおいて、操作者が興味の対象を伝達したいという意図を正確に伝達することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明によるロボット操作装置の第１の実施形態を含む遠隔コミュニケーションシステムの構成例を示すブロック図である。
【図２】カメラ視野を説明するための説明図である。
【図３】カメラ光軸と頭部志向との関係の一例を示す説明図である。
【図４】映像の加工の一例を示す説明図である。
【図５】解像度の低下の一例を示す説明図である。
【図６】本発明によるロボット操作装置の主要部をロボットともに示すブロック図である。
【図７】図７は、本発明によるロボットシステムの主要部をロボットともに示すブロック図である。
【図８】本発明によるロボット操作方法の主要工程を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態を図面を参照して説明する。
【００２１】
実施形態１．
図１は、本発明によるロボット操作装置の第１の実施形態を含む遠隔コミュニケーションシステムの構成例を示すブロック図である。
【００２２】
図１に示す遠隔コミュニケーションシステムには、ロボット１００と、ロボット操作装置としての操作端末２００とが存在する。また、ロボット１００の周囲の映像を取得する撮像部１１１と、撮像部１１１で取得された映像のデータを送信する映像伝送部１１２とが設けられている。ロボット１００と操作端末２００とは、伝送路３００を介して通信可能である。一例として、遠隔コミュニケーションシステムがテレビ会議システムである場合には、操作端末２００は一方の会議場に設けられ、ロボット１００、撮像部１１１および映像伝送部１１２は、他方の会議場に設置される。
【００２３】
撮像部１１１は、具体的にはカメラ（ＣＣＤやＣＭＯＳセンサとレンズ系とを含む。)で構成される。映像伝送部１１２は、撮像部１１１で撮像された映像を伝送するための信号に変換する部分であり、画像の符号化を行う機能と伝送路３００にデータを送出する機能を有する。
【００２４】
ロボット１００は、少なくとも頭部１０１と、頭部を駆動する頭部駆動部１０３とを有する。頭部１０１には、視線方向を向いたカメラ１０２が設けられている。頭部１０１は、ロボット１００がどちらを向いているのかを表現する役割を果たす。
【００２５】
映像伝送部１１２は、ロボット１００の頭部１０１に設けられているカメラ１０２で撮像された画像も伝送する。
【００２６】
操作端末２００において、映像受信部２０１は、映像伝像部１１２で符号化され伝送路３００に送信されたデータを受信し映像に変換する。映像加工部２０２は、映像受信部２０１で構成された映像すなわち撮像部１１１で撮像された映像を、カメラ１０２が設置されているロボット１００の頭部１０１の視線方向に対応する映像の部分から遠くなるほど解像度が下がるように加工する。
【００２７】
映像表示部２０３は、映像加工部２０２で生成された映像を表示器（図示せず）に表示する制御を行う。映像位置指定部２０４は、ユーザが指定した位置を向くようにロボット１００の頭部１０１を移動させる命令を発行する。
【００２８】
なお、操作端末２００において、映像受信部２０１における映像を入力する処理、映像加工部２０２の処理、映像表示部２０３の処理、および映像位置指定部２０４における頭部１０１を移動させる命令を発行する処理は、一例として、プログラムに従って処理を実行するＣＰＵ（Central Processing Unit ）で実現される。
【００２９】
次に、遠隔コミュニケーションシステムにおいて実行される処理を説明する。
【００３０】
例えば、図２に示すようにロボット１００と会議の参加者４０１〜４０４（参加者１〜参加者４）が存在しているとする。ロボット１００に付されている矢印がロボット１００の頭部志向を表わすとする。図２に示す例では、撮像部１１１のカメラ視野５００には４名の人物が入っているが、ロボット１００は参加者２に対して頭部志向を向けている状況である。この場合、操作端末２００は、参加者２の様子（表情、仕草、顔色など）の詳細を高解像度の画像で操作者に伝えつつ、その他の参加者の存在や動きなどを低解像度の画像で操作者（ユーザＡ）に伝える。
【００３１】
なお、図３（Ａ），（Ｂ）または図３（Ｃ），（Ｄ）に示すように、撮像部１１１のカメラ光軸と頭部志向が一致している場合には、画像中心が頭部志向の方向になる。図３（Ａ），（Ｃ）は、ロボット１００の頭部１０１を示す模式的な断面図に相当し、図３（Ｂ），（Ｄ）は、ロボット１００の頭部１０１を示す模式的な斜視図に相当する。
【００３２】
また、操作端末２００では、ロボット１００の頭部志向の方向は、カメラ１０２で撮像された画像によって判断される。
【００３３】
また、撮像部１１１のカメラ光軸がロボット１００の頭部志向と一致していない場合には、映像加工部２０２は、撮像部１１１が設置されている位置を基準とする頭部１０１の相対位置にもとづいて、カメラ１０２で撮像された頭部志向の方向（現在頭部が志向している方向）の画像が、撮像部１１１で取得された映像中のどの位置になるのかを算出する。そして、算出された位置を、撮像部１１１で取得された映像におけるロボット１００の頭部１０１の視線方向の位置（頭部志向の方向）とする。
【００３４】
映像加工部２０２は、映像を加工する際に、例えば、図４に示すように、ロボット１００が現在志向している方向に対応するあらかじめ決められている範囲の画像部分はそのままの解像度にし、そこから離れるほど解像度が低下した画像にする。解像度の低下の例として、図５に例示するようにぼける(ガウシアンフィルタなどで画像をぼかす)、徐々に暗くする、徐々に色をなくす(例えば、撮像された映像がカラー映像である場合、その色をＹＵＶ色空間に変換しＵＶ成分を小さくしていくなどの処理を行っいて色味成分を段階的になくしていくなど)、徐々に小さくするなどの方式を用いることができる。
【００３５】
映像表示部２０３は、映像加工部２０２で生成された映像を表示器に表示する。具体的には、例えばモニタに映像を表示する。映像加工部２０２で生成された映像が、パーソナルコンピュータの画面の一部に表示されるような表示態様を用いてもよい。
【００３６】
映像位置指定部２０４は、表示された映像の任意の位置をユーザＡが指定すると、ユーザＡが指定した位置を特定する機能を有する。例えば、ユーザＡは、表示器に表示された映像に対してマウスやなどのポインティングデバイスで位置を指定する。すなわち、マウスカーソルを移動してクリックする。その場合には、ポインティングデバイスと操作端末１００に搭載されているＣＰＵとが映像位置指定部２０４に相当する。また、ユーザＡは、タッチスクリーン上に表示された画像に対して身体（指等）やタッチデバイスで位置を指定するようにしてもよい。その場合には、タッチスクリーン（例えば、タッチパネル）と操作端末１００に搭載されているＣＰＵとが映像位置指定部２０４に相当する。
【００３７】
映像位置指定部２０４は、特定した位置を示す情報を、伝送路３００を介してロボット１００に送信する。なお、特定した位置を示す情報は、例えば、ロボット１００が現在志向している方向を基点とする相対的な位置を示す情報である。
【００３８】
ロボット１００において、頭部駆動部１０３は、映像位置指定部２０４からの位置を示す情報を受信し、受信した情報にもとづいて頭部１０１を駆動する。すなわち、映像位置指定部２０４で指定された映像上の位置の方位に頭部１０１を向けるように頭部１０１を駆動する。つまり、指定された方位にあるものがカメラ１１１で撮像される画像の中心に写るように頭部１０１を駆動する。
【００３９】
具体的には、映像におけるそれぞれの位置に関してその位置が指し示す方位にあるものが画像の中心に写るようにするにはカメラ１０２をどのように移動しなければならないかをあらかじめ計算し、ロボット１００に内蔵されている記憶手段に格納しておく。そして、記憶手段に格納されている計算結果を利用してどのように頭部１０１を駆動するかを決定する方式を利用することができる。また、カメラ１０２の光学パラメータ（焦点距離、センサのサイズ、画角、画素数など）から適当なレンズモデルを用いて方位を算出し、どのように頭部１０１を駆動するかを決定する方式を用いてもよい。
【００４０】
以上のようにして、操作者（ユーザＡ）は、人間の周辺視に相当する部分に存在する物体の存在や動きのみを低い解像度でモニタしつつ、注意を払っている部分を高解像度で見ることができる。従って、広い視野を確保しつつ、周辺視に相当する部分を詳しく見たいときはそちらに首を振る動作を行いたいという動機を操作者に与えることができる。その結果、ロボット１００を通じた遠隔コミュニケーションにおいて、操作者の意図を正確に伝達することができる。
【００４１】
なお、頭部１０１は、ロボット１００がどちらを向いているのかを周囲の人に表現するものである。よって、ロボット１００がどちらを向いているのかを表現する部位は、生物の頭を模した頭部でもよいが、眼球の動きが外部からも分かるようにデザインされている場合は、眼球の動きで表現するものであってもよい。また、生物の頭とは別の棒、矢印、指を模したものなどであってもよい。
【００４２】
また、第１の実施形態では、ロボット１００の頭部１０１に設置されているカメラ１０２と、ロボット１００の周囲の映像を取得する撮像部１１１とが別個に設けられているが、それらを、１つのカメラ等の撮像部（以下、撮像手段という。）で実現してもよい。
【００４３】
カメラ１０２と撮像部１１１とを１つの撮像手段で実現する場合に、一例として、撮像手段が、ロボット１００の頭部１０１に搭載される。その場合、例えば、撮像手段のカメラ光軸と頭部志向を一致させる（図３参照）。そして、上記の第１の実施形態において、カメラ１０２で撮像された画像を頭部１０１に搭載された撮像手段で撮像された画像と読み替え、撮像部１１１で撮像された映像を当該撮像手段で撮像された映像と読み替えることによって、頭部１０１に１つの撮像手段が搭載された場合の処理を説明することができる。
【００４４】
また、１つの撮像手段の設置位置は、ロボット１００の頭部１０１に限られず、他の場所であってもよい。一例として、撮像手段をロボット１００の胴体部に設置することができる。撮像手段の設置位置がロボット１００の頭部１０１ではない場合には、撮像手段のカメラ光軸がロボット１００の頭部志向と一致しない状況が生じうる。その場合、映像加工部２０２は、撮像手段が設置されている位置を基準とする頭部１０１の相対位置にもとづいて、現在頭部が志向している方向の画像が、撮像手段で取得された映像中のどの位置になるのかを算出する。その他の処理は、上記の第１の実施形態において、カメラ１０２で撮像された画像を撮像手段で撮像された画像と読み替え、撮像部１１１で撮像された映像を当該撮像手段で撮像された映像と読み替えることによって、１つの撮像手段のみが設置されている場合の処理を説明することができる。
【００４５】
実施形態２．
次に、本発明の第２の実施形態を説明する。ロボット操作装置の第２の実施形態を含む遠隔コミュニケーションシステムの構成は、図１に示された構成と同じである。ただし、映像加工部２０２の動作は、第１の実施形態の場合とは異なる。
【００４６】
第２の実施形態は、映像加工部２０２において一度中心視野を向けた領域の解像度が、その後に視野を外しても徐々に下がるようにすることを特徴とする。
【００４７】
具体的には、操作者の指示によって中心視野を向けた画像の座標の集合を、
｛（ａ（ｉ），ｂ（ｉ））｝（ｉ＝１，・・・，Ｎ）
とする。（ａ（ｉ），ｂ（ｉ））は時刻ｔ（ｉ）に操作者によって行われた操作によって中心視野が向けられた画像の座標である。
【００４８】
現在の時刻をＴとすると、例えば、Ｔ−ｔ（ｉ）に対して単調に増加するような分散を持つガウシアンをカーネルとする空間フィルタを｛（ａ（ｉ），ｂ（ｉ））｝（ｉ＝１，・・・，Ｎ）をそれぞれ中心とする領域に施すことによって、徐々に解像度が下がるようにすることができる。また、他の空間フィルタを施す方法や、モザイク化を行うときの一つ一つのブロックの大きさを時間経過が少ないものほど小さくする方法で実現することもできる。
【００４９】
本実施形態の効果を説明する。映像中心のみが高解像度の領域であって、ユーザＡがよく見る領域が映像において複数個離れた領域に存在する場合、それらの領域に対して高い頻度で頭部１０１を向けて観測することが必要な場面を考える。そのような場合、ロボット１００の操作の手間があるために、ユーザＡが一度高解像度で確認した内容を忘れてしまう可能性が高くなる。その結果、人間の自然な頭部動作に比べて高い頻度でロボットを動作させる可能性が高くなる。そのような状況では、ロボット１００の頭部１０１の動作が人間の意図を正確に反映したものにならないという問題が生じる。
【００５０】
しかし、本実施形態のように、一度視野を向けた領域の解像度を所定期間高いままにすることによって、操作者は以前視野を向けた領域を、ロボット１００の頭部１０１を向けずに確認することができる。さらに、所定期間が経過すると解像度が低くなるので、再度確認したい場合は頭部１０１を向ける動機が生じ、そのような操作を実際に行うことによって、ロボット１００に人間の頭部動作をさせることができる。
【００５１】
さらに、頭部駆動部１０３が、操作者からの指示である方位を向いた後、所定時間経過すると自動的に頭部１０１の向きをずらすようにしてもよい。その場合、頭部駆動部１０３が自動的に視線方向をずらした後も、映像加工部２０２は、操作者によって指示された方位の画像の解像度を所定の時間だけ下げないようにする。そのようにして、広い視野を確保しつつ、ロボット１００の頭部１０１を動作させる動機が操作者に与えられるので、対話において、操作者が興味の対象を伝達したいという意図を正確に伝達することができる。
【００５２】
実施形態３．
次に、本発明の第３の実施形態を説明する。ロボット操作装置の第３の実施形態を含む遠隔コミュニケーションシステムの構成は、図１に示された構成と同じである。ただし、映像加工部２０２の動作は、第１の実施形態の場合とは異なる。
【００５３】
第３の実施形態は、映像加工部２０２が、決められた物体を検出し、映像中のその物体の部分をロボット１００の頭部１０１の視線方向に対応する部分から遠くなるほどぼかすことを特徴とする。
【００５４】
映像加工部２０２が検出する物体は、例えば、人間の顔や、話題になっている物体である。人間の顔を検出する場合には、人間の顔の位置を同定する方法として、取得した映像から画像認識によって顔を検出する方法や、人間にＲＦＩＤ（Radio Frequency IDentification）タグや超音波タグなどといった位置を同定するための機器を持たせてそこからの信号を検出する方法を用いることができる。話題になっている物体を検出する場合には、取得した映像から画像認識によって物体を検出する方法や、人間にＲＦＩＤタグや超音波タグなどといった位置を同定するための機器を物体に設置しそこからの信号を検出する方法を用いることができる。さらに、話題になったことを同定するために、人間が物体を動かしたかどうかを画像を用いて検出して動かされた物体を話題になっている物体と同定したり、人間同士の会話を音声認識してモニタリングし、認識された音声で特定される物体に対応する画像を話題になっている物体の画像と同定したりする方法を用いてもよい。
【００５５】
本実施形態の効果を説明する。対面対話において、人間は、その視線や頭部を向ける方向によって他者に自分の意図を伝達する。特に、人物を見たり人物から目をそらしたり、対話において話題になっている物体を見たり物体から目をそらしたりすることによって、その対象に対する興味や、発話権の交代などの情報を伝達する。ロボット１００を介した対話においても頭部１０１の志向を制御することによって同様の効果を期待できる。しかし、ロボットが、対話相手である人物や対話対象である物体以外の部分を志向することが多いと、対話相手の人物に対象に対する興味や発話権交代などの情報を送る意図がないにも関わらず、意図しない意図が伝わってしまう場合がある。
【００５６】
本実施形態のように、対話にとって意味がある対象のみをぼかすことによって、そのような対象に対してのみロボット１００の頭部１０１を向けようという動機を操作者に与えることができる。その結果、そのような対象への頭部動作を誤りなく表現することができるようになる。このようにして、広い視野を確保しつつ、ロボット１００の頭部１０１を動作させる動機を操作者に与え、対話において、操作者が興味の対象を伝達したいという意図を正確に伝達することができる。
【００５７】
実施形態４．
次に、本発明の第４の実施形態を説明する。ロボット操作装置の第４の実施形態を含む遠隔コミュニケーションシステムの構成は、図１に示された構成と同じである。ただし、映像加工部２０２の動作は、第１の実施形態の場合とは異なる。
【００５８】
第４の実施形態は、第１の実施の形態のように映像加工部２０２が映像に対してぼかしを施した領域にある物体または人物が動いた場合に、動いた領域を強調した映像を生成することを特徴とする。すなわち、映像加工部２０２は、物体または人物が動いた場合にその動いた領域を検出し強調表示を行う。
【００５９】
映像加工部２０２が、動いた領域を検出する方法として、例えば、時々刻々と撮像される映像のフレーム間で各画素の画素値の差分をとり、その差分があらかじめ決められている閾値よりも大きな領域を、動いている領域とする方法がある。また強調表示する方法として、例えば、動いていることが検出された領域に関して、色や輝度値を変えて表示する方法がある。
【００６０】
本実施形態の効果を説明する。人間の視覚特性として、視野の周辺部分では解像度が低いが動きを敏感に検出できる特性がある。第１〜第３の実施形態のように周辺視野部分をぼかすだけである場合には、その領域に動きがあるかどうかを伝達することが難しくなることがある。
【００６１】
本実施形態のように周辺視野部分をぼかしつつさらに動きがある場合にはその部分を強調表示すれば、人間の視覚特性を再現することができる。すなわち、動きを強調することによって、画角の端の領域の部分で動きがあった場合、例えばそれまでいた人物が立ち上がろうとしたり、それまでいなかった人物が近づいてきたりした場合に、操作者は、その動きをいち早く広い視野範囲から検出することができ、そちらにロボット１００の頭部１０１を向ける動機付けが容易になる。
【００６２】
なお、第１の実施形態と、第２〜第４の実施形態のうちの１つ以上とを任意に組み合わせることができる。
【００６３】
図６は、本発明によるロボット操作装置の主要部をロボットともに示すブロック図である。図６に示すように、ロボット操作装置は、ロボット２０が存在する空間を撮像した映像を入力する映像入力部１１と、映像入力部１１が入力した映像を、ロボット２０の頭部等の部位２１の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工する映像加工部１２と、映像加工部１２が加工した映像を表示器１５に表示する映像表示部１３と、表示器１５に表示された映像におけるユーザが指定した位置を向くように部位２１を移動させる命令を発行する映像位置指定部１４とを備えている。
【００６４】
図７は、本発明によるロボットシステムの主要部をロボットともに示すブロック図である。図７に示すように、ロボットシステムは、図６に示された構成に加えて、ロボット２０が存在する空間の映像を取得する撮像部３１と、映像位置指定部１４が発行した命令にもとづいて部位２１を駆動する駆動部３２とを備えている。
【００６５】
図８は、本発明によるロボット操作方法の主要工程を示すフローチャートである。図８に示すように、ロボット操作方法では、ロボットが存在する空間を撮像した映像を入力し（ステップＳ１１）、入力した映像を、ロボットの部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工し（ステップＳ１２）、加工した映像を表示器に表示し（ステップＳ１３）、表示器に表示された映像におけるユーザが指定した位置を向くようにロボットの部位を移動させる命令を発行する（ステップＳ１４）。
【産業上の利用可能性】
【００６６】
本発明は、ロボットを通じて遠隔コミュニケーションを行うシステムにおいて、ユーザがロボットを操作する端末に適用可能である。
【００６７】
（付記１）一度中心視野が向けられた領域を対象として、その後に視野を外したときに徐々に解像度が下がるようにするステップをさらに含むロボット操作方法。
【００６８】
（付記２）入力した映像から所定の物体を検出し、映像における検出された物体の部分を、ロボットの部位の志向に対応する部分から遠くなるほどぼかすステップをさらに含むロボット操作方法。
【００６９】
（付記３）入力した映像から人間の顔を検出し、映像における検出された顔の部分のみを、ロボットの部位の志向に対応する映像の部分から遠くなるほどぼかすステップをさらに含むロボット操作方法。
【００７０】
（付記４）ロボットの周囲に存在する人物の間で話題になっている物体を検出し、映像における検出された物体の部分のみを、ロボットの部位の志向に対応する映像の部分から遠くなるほどぼかすステップをさらに含むロボット操作方法。
【００７１】
（付記５）映像におけるぼかしが施された領域に存在する物体または人物が動いた場合に、動いた物体または人物が存在する領域を強調した映像を生成するステップをさらに含むロボット操作方法。
【００７２】
（付記６）一度中心視野が向けられた領域を対象として、その後に視野を外したときに徐々に解像度が下がるようにする処理をさらにコンピュータに実行させるロボット操作プログラム。
【００７３】
（付記７）入力した映像から所定の物体を検出し、映像における検出された物体の部分を、ロボットの部位の志向に対応する部分から遠くなるほどぼかす処理をさらにコンピュータに実行させるロボット操作プログラム。
【００７４】
（付記８）入力した映像から人間の顔を検出し、映像における検出された顔の部分のみを、ロボットの部位の志向に対応する映像の部分から遠くなるほどぼかす処理をさらにコンピュータに実行させるロボット操作プログラム。
【００７５】
（付記９）ロボットの周囲に存在する人物の間で話題になっている物体を検出し、映像における検出された物体の部分のみを、ロボットの部位の志向に対応する映像の部分から遠くなるほどぼかす処理をさらにコンピュータに実行させるロボット操作プログラム。
【００７６】
（付記１０）映像におけるぼかしが施された領域に存在する物体または人物が動いた場合に、動いた物体または人物が存在する領域を強調した映像を生成する処理をさらにコンピュータに実行させるロボット操作プログラム。
【符号の説明】
【００７７】
１１ 映像入力部
１２ 映像加工部
１３ 映像表示部
１４ 映像位置指定部
１５ 表示器
２０ ロボット
２１ 部位
３１ 撮像部
３２ 駆動部
１００ ロボット
１０１ 頭部
１０２ カメラ
１０３ 頭部駆動部
１１１ 撮像部
１１２ 映像伝送部
２００ 操作端末
２０１ 映像受信部
２０２ 映像加工部
２０３ 映像表示部
２０４ 映像位置指定部
３００ 伝送路
４０１〜４０４ 参加者
５００ カメラ視野
【技術分野】
【０００１】
本発明は、遠隔コミュニケーションが行われるシステムにおいて使用されるロボットを操作するロボット操作装置に関する。
【背景技術】
【０００２】
遠隔地にいる人との間でコミュニケーションを行うためにテレビジョン会議システム（テレビ会議システム）が広く利用されている。テレビ会議システムでは、会議場に設置されたカメラとマイクロフォンで取得された映像と音声とを伝送することによってコミュニケーションが行われる。
【０００３】
しかし、一般的なテレビ会議システムでは、ユーザ（ユーザＡとする。）の視線がどこに向かっているかなどのユーザＡの身体性の情報が遠隔地にいるユーザ（ユーザＢとする。）に伝達されず、コミュニケーションに必要な情報が欠落するという問題がある。例えば、ユーザＡが、遠隔地の会議場に存在する物の所定部位を視線方向によって指し示すことはできない。
【０００４】
そこで、身体性を有したロボットを用いてコミュニケーションを行う方式が提案されている。例えば、特許文献１には、会議参加者がいる会議場にロボットを置き、遠隔地にいるユーザＡがそのロボットを操作してコミュニケーションを行うことが記載されている。ロボットには、マイクロフォン、カメラおよびスピーカが設置されている。遠隔地にいるユーザＡは自分の声をロボットに伝送する。ロボットは、ユーザＡの声を再生する。また、ユーザＡが操作する端末は、ロボットに設けられているマイクロフォンおよびセンサが取得した音声と画像とを伝送路を介して受信する。そして、ユーザＡは、端末で音声と画像とを確認しつつ、ロボットの動きを操作する。
【０００５】
ロボットを通じて人と人とが遠隔コミュニケーションを行うシステムにおいて、ユーザＡがロボットを操作する方法として、特許文献１には、ロボットが向く方向を指示するための上下左右の４方向の入力を行うことが可能なボタンを用意し、ロボットが取得した映像を操作者が見つつそれらのボタンを用いてロボットの向く方向を指示する方法が開示されている。また、一つのディスプレイ上に表示されているロボットが取得した映像中の場所をユーザＡがマウス等で指定すると、ロボットが、指定された場所に向くという方法がある。
【０００６】
さらに、非特許文献１には、ユーザの目前に実空間での見え方を再現するために、ロボットが取得した映像を多面（例えば、３面）のディスレプレイに表示し、操作者（ユーザＡ）の頭部にモーションセンサを設置する方式が記載されている。その方式では、ディスプレイに写っている対象物を見るためにユーザが頭部を動かすと、そのときの操作者の動きが検出されてロボットに伝送される。その動きに従ってロボットの頭部を動かすことによって、操作者の動きがロボットにおいて再現される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００２−４６０８８号公報
【非特許文献】
【０００８】
【非特許文献１】葛岡英明, 遠隔ロボットコミュニケーション，ヒューマンインタフェース学会誌 遠隔コラボレーション特集 特集記事, 第１１巻第１号，pp. 15-18 ，２００９年２月.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１に示された方法等では、ユーザＡは自分が見たい位置を映像上で同定し、その位置に向かってボタン操作や映像上でのポイントなどの操作を行うことによって、そちらにロボットを向かせることとなる。このとき、カメラの視野が狭いと、視野外の対象物を探すためにロボットの方位（頭部の向き）を頻繁に動かすことになる。その結果、ロボットの視線は頻繁に変化する。ロボットは、頭部の動きや向きという身体動作を伝達する目的で導入されているので、ロボットの視線の変化は、本来、ロボットが存在する場所にいるユーザに対して、何らかのユーザの意図（例えば、興味対象を指し示すとか、特定の人に対して発話権を譲るなどの意図）を表現するものである。しかし、視野外の対象物を探すためのロボットの煩雑な動作は、ユーザＡが伝達したい意図とは異なることがある。
【００１０】
一方、カメラの視野が広いと操作者（ユーザＡ）には広い範囲の映像が視認されてしまうので、操作者は、映像を獲得する目的ではカメラを動かさなくなる。すなわち、操作者はロボットの頭部を動かさなくなってしまう。一方のユーザがある動作を開始する前に示す頭部の回転等の身体的な行為によって、他方のユーザが、一方のユーザが開始する動作を予期することができる。そのような予期は、ユーザ間の円滑なコミュニケーションを実現するのに役立つ。しかし、カメラの視野が広い場合には、他方のユーザ（ユーザＢ）が操作者（ユーザＡ）の動作を予期する機会が減り、頭部の向きによって操作者の意図を伝えることが難しくなってしまう。
【００１１】
上記の操作者（ユーザＡ）の操作の動向を、人間の視覚特性の面から説明する。人間の目によって得られる映像は、視野の中心部の解像度が高く、周辺部の解像度が低いという特性を有する。人間は中心部の高解像度な領域で物体を詳細に見るとともに、周辺視野で広い角度にわたって他の人の存在や動きがある物体などをモニタしている。カメラの視野を限定しすぎると周辺視野でのモニタができなくなり、中心視を用いて周囲を見ようとするため、頭部動作が自然でなくなる。また、視野が広くて解像度が高い状態では、周辺視で低解像度で見えていたものを高解像度でみようとして視線を向けるという動作を行わなくなることから、やはり頭部動作が自然でなくなる。
【００１２】
この問題を解決するために、非特許文献１に示された方法では、ロボットに広角のカメラが搭載され、操作者の前に、３台のディスプレイが設置されている。しかし、非特許文献１に示された方法では、操作者の頭部動作がそのままロボットに伝達されるので、没入型ディスプレイなどの大掛かりな設備が必要であり、かつ、モーションセンサをユーザに設置するなどユーザへ負担を掛けるという問題がある。すなわち、簡易な設備でユーザに負担を掛けることなくロボットが自然な身体動作を行うようにすることができない。
【００１３】
そこで、本発明は、遠隔コミュニケーションが行われるシステムにおいて、簡易な設備でユーザに負担を掛けることなくロボットが自然な身体動作を行うようにすることができるロボット操作装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明によるロボット操作装置は、ロボットがどちらを向いているのかを表現する部位を有するロボットを遠隔操作するロボット操作装置であって、ロボットが存在する空間を撮像した映像を入力する映像入力部と、映像入力部が入力した映像を、上記の部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工する映像加工部と、映像加工部が加工した映像を表示器に表示する映像表示部と、表示器に表示された映像におけるユーザが指定した位置を向くように上記の部位を移動させる命令を発行する映像位置指定部とを備えたことを特徴とする。
【００１５】
本発明によるロボットシステムは、さらに、ロボットが存在する空間の映像を取得する撮像部と、映像位置指定部が発行した命令にもとづいて上記の部位を駆動する駆動部とを備えたことを特徴とする。
【００１６】
本発明によるロボット操作方法は、ロボットがどちらを向いているのかを表現する部位を有するロボットを遠隔操作するロボット操作方法であって、ロボットが存在する空間を撮像した映像を入力し、入力した映像を、上記の部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工し、加工した映像を表示器に表示し、表示器に表示された映像におけるユーザが指定した位置を向くように上記の部位を移動させる命令を発行することを特徴とする。
【００１７】
本発明によるロボット操作プログラムは、ロボットがどちらを向いているのかを表現する部位を有するロボットを遠隔操作するロボット操作装置に搭載されるコンピュータに、ロボットが存在する空間を撮像した映像を入力する処理と、入力した映像を、上記の部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工する処理と、加工した映像を表示器に表示する処理と、表示器に表示された映像におけるユーザが指定した位置を向くように上記の部位を移動させる命令を発行する処理とを実行させることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、広い視野を確保しつつ、ロボットの頭部等の所定の部位を動作させる動機を操作者に与えることによって、遠隔コミュニケーションにおいて、操作者が興味の対象を伝達したいという意図を正確に伝達することができる。
【図面の簡単な説明】
【００１９】
【図１】本発明によるロボット操作装置の第１の実施形態を含む遠隔コミュニケーションシステムの構成例を示すブロック図である。
【図２】カメラ視野を説明するための説明図である。
【図３】カメラ光軸と頭部志向との関係の一例を示す説明図である。
【図４】映像の加工の一例を示す説明図である。
【図５】解像度の低下の一例を示す説明図である。
【図６】本発明によるロボット操作装置の主要部をロボットともに示すブロック図である。
【図７】図７は、本発明によるロボットシステムの主要部をロボットともに示すブロック図である。
【図８】本発明によるロボット操作方法の主要工程を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態を図面を参照して説明する。
【００２１】
実施形態１．
図１は、本発明によるロボット操作装置の第１の実施形態を含む遠隔コミュニケーションシステムの構成例を示すブロック図である。
【００２２】
図１に示す遠隔コミュニケーションシステムには、ロボット１００と、ロボット操作装置としての操作端末２００とが存在する。また、ロボット１００の周囲の映像を取得する撮像部１１１と、撮像部１１１で取得された映像のデータを送信する映像伝送部１１２とが設けられている。ロボット１００と操作端末２００とは、伝送路３００を介して通信可能である。一例として、遠隔コミュニケーションシステムがテレビ会議システムである場合には、操作端末２００は一方の会議場に設けられ、ロボット１００、撮像部１１１および映像伝送部１１２は、他方の会議場に設置される。
【００２３】
撮像部１１１は、具体的にはカメラ（ＣＣＤやＣＭＯＳセンサとレンズ系とを含む。)で構成される。映像伝送部１１２は、撮像部１１１で撮像された映像を伝送するための信号に変換する部分であり、画像の符号化を行う機能と伝送路３００にデータを送出する機能を有する。
【００２４】
ロボット１００は、少なくとも頭部１０１と、頭部を駆動する頭部駆動部１０３とを有する。頭部１０１には、視線方向を向いたカメラ１０２が設けられている。頭部１０１は、ロボット１００がどちらを向いているのかを表現する役割を果たす。
【００２５】
映像伝送部１１２は、ロボット１００の頭部１０１に設けられているカメラ１０２で撮像された画像も伝送する。
【００２６】
操作端末２００において、映像受信部２０１は、映像伝像部１１２で符号化され伝送路３００に送信されたデータを受信し映像に変換する。映像加工部２０２は、映像受信部２０１で構成された映像すなわち撮像部１１１で撮像された映像を、カメラ１０２が設置されているロボット１００の頭部１０１の視線方向に対応する映像の部分から遠くなるほど解像度が下がるように加工する。
【００２７】
映像表示部２０３は、映像加工部２０２で生成された映像を表示器（図示せず）に表示する制御を行う。映像位置指定部２０４は、ユーザが指定した位置を向くようにロボット１００の頭部１０１を移動させる命令を発行する。
【００２８】
なお、操作端末２００において、映像受信部２０１における映像を入力する処理、映像加工部２０２の処理、映像表示部２０３の処理、および映像位置指定部２０４における頭部１０１を移動させる命令を発行する処理は、一例として、プログラムに従って処理を実行するＣＰＵ（Central Processing Unit ）で実現される。
【００２９】
次に、遠隔コミュニケーションシステムにおいて実行される処理を説明する。
【００３０】
例えば、図２に示すようにロボット１００と会議の参加者４０１〜４０４（参加者１〜参加者４）が存在しているとする。ロボット１００に付されている矢印がロボット１００の頭部志向を表わすとする。図２に示す例では、撮像部１１１のカメラ視野５００には４名の人物が入っているが、ロボット１００は参加者２に対して頭部志向を向けている状況である。この場合、操作端末２００は、参加者２の様子（表情、仕草、顔色など）の詳細を高解像度の画像で操作者に伝えつつ、その他の参加者の存在や動きなどを低解像度の画像で操作者（ユーザＡ）に伝える。
【００３１】
なお、図３（Ａ），（Ｂ）または図３（Ｃ），（Ｄ）に示すように、撮像部１１１のカメラ光軸と頭部志向が一致している場合には、画像中心が頭部志向の方向になる。図３（Ａ），（Ｃ）は、ロボット１００の頭部１０１を示す模式的な断面図に相当し、図３（Ｂ），（Ｄ）は、ロボット１００の頭部１０１を示す模式的な斜視図に相当する。
【００３２】
また、操作端末２００では、ロボット１００の頭部志向の方向は、カメラ１０２で撮像された画像によって判断される。
【００３３】
また、撮像部１１１のカメラ光軸がロボット１００の頭部志向と一致していない場合には、映像加工部２０２は、撮像部１１１が設置されている位置を基準とする頭部１０１の相対位置にもとづいて、カメラ１０２で撮像された頭部志向の方向（現在頭部が志向している方向）の画像が、撮像部１１１で取得された映像中のどの位置になるのかを算出する。そして、算出された位置を、撮像部１１１で取得された映像におけるロボット１００の頭部１０１の視線方向の位置（頭部志向の方向）とする。
【００３４】
映像加工部２０２は、映像を加工する際に、例えば、図４に示すように、ロボット１００が現在志向している方向に対応するあらかじめ決められている範囲の画像部分はそのままの解像度にし、そこから離れるほど解像度が低下した画像にする。解像度の低下の例として、図５に例示するようにぼける(ガウシアンフィルタなどで画像をぼかす)、徐々に暗くする、徐々に色をなくす(例えば、撮像された映像がカラー映像である場合、その色をＹＵＶ色空間に変換しＵＶ成分を小さくしていくなどの処理を行っいて色味成分を段階的になくしていくなど)、徐々に小さくするなどの方式を用いることができる。
【００３５】
映像表示部２０３は、映像加工部２０２で生成された映像を表示器に表示する。具体的には、例えばモニタに映像を表示する。映像加工部２０２で生成された映像が、パーソナルコンピュータの画面の一部に表示されるような表示態様を用いてもよい。
【００３６】
映像位置指定部２０４は、表示された映像の任意の位置をユーザＡが指定すると、ユーザＡが指定した位置を特定する機能を有する。例えば、ユーザＡは、表示器に表示された映像に対してマウスやなどのポインティングデバイスで位置を指定する。すなわち、マウスカーソルを移動してクリックする。その場合には、ポインティングデバイスと操作端末１００に搭載されているＣＰＵとが映像位置指定部２０４に相当する。また、ユーザＡは、タッチスクリーン上に表示された画像に対して身体（指等）やタッチデバイスで位置を指定するようにしてもよい。その場合には、タッチスクリーン（例えば、タッチパネル）と操作端末１００に搭載されているＣＰＵとが映像位置指定部２０４に相当する。
【００３７】
映像位置指定部２０４は、特定した位置を示す情報を、伝送路３００を介してロボット１００に送信する。なお、特定した位置を示す情報は、例えば、ロボット１００が現在志向している方向を基点とする相対的な位置を示す情報である。
【００３８】
ロボット１００において、頭部駆動部１０３は、映像位置指定部２０４からの位置を示す情報を受信し、受信した情報にもとづいて頭部１０１を駆動する。すなわち、映像位置指定部２０４で指定された映像上の位置の方位に頭部１０１を向けるように頭部１０１を駆動する。つまり、指定された方位にあるものがカメラ１１１で撮像される画像の中心に写るように頭部１０１を駆動する。
【００３９】
具体的には、映像におけるそれぞれの位置に関してその位置が指し示す方位にあるものが画像の中心に写るようにするにはカメラ１０２をどのように移動しなければならないかをあらかじめ計算し、ロボット１００に内蔵されている記憶手段に格納しておく。そして、記憶手段に格納されている計算結果を利用してどのように頭部１０１を駆動するかを決定する方式を利用することができる。また、カメラ１０２の光学パラメータ（焦点距離、センサのサイズ、画角、画素数など）から適当なレンズモデルを用いて方位を算出し、どのように頭部１０１を駆動するかを決定する方式を用いてもよい。
【００４０】
以上のようにして、操作者（ユーザＡ）は、人間の周辺視に相当する部分に存在する物体の存在や動きのみを低い解像度でモニタしつつ、注意を払っている部分を高解像度で見ることができる。従って、広い視野を確保しつつ、周辺視に相当する部分を詳しく見たいときはそちらに首を振る動作を行いたいという動機を操作者に与えることができる。その結果、ロボット１００を通じた遠隔コミュニケーションにおいて、操作者の意図を正確に伝達することができる。
【００４１】
なお、頭部１０１は、ロボット１００がどちらを向いているのかを周囲の人に表現するものである。よって、ロボット１００がどちらを向いているのかを表現する部位は、生物の頭を模した頭部でもよいが、眼球の動きが外部からも分かるようにデザインされている場合は、眼球の動きで表現するものであってもよい。また、生物の頭とは別の棒、矢印、指を模したものなどであってもよい。
【００４２】
また、第１の実施形態では、ロボット１００の頭部１０１に設置されているカメラ１０２と、ロボット１００の周囲の映像を取得する撮像部１１１とが別個に設けられているが、それらを、１つのカメラ等の撮像部（以下、撮像手段という。）で実現してもよい。
【００４３】
カメラ１０２と撮像部１１１とを１つの撮像手段で実現する場合に、一例として、撮像手段が、ロボット１００の頭部１０１に搭載される。その場合、例えば、撮像手段のカメラ光軸と頭部志向を一致させる（図３参照）。そして、上記の第１の実施形態において、カメラ１０２で撮像された画像を頭部１０１に搭載された撮像手段で撮像された画像と読み替え、撮像部１１１で撮像された映像を当該撮像手段で撮像された映像と読み替えることによって、頭部１０１に１つの撮像手段が搭載された場合の処理を説明することができる。
【００４４】
また、１つの撮像手段の設置位置は、ロボット１００の頭部１０１に限られず、他の場所であってもよい。一例として、撮像手段をロボット１００の胴体部に設置することができる。撮像手段の設置位置がロボット１００の頭部１０１ではない場合には、撮像手段のカメラ光軸がロボット１００の頭部志向と一致しない状況が生じうる。その場合、映像加工部２０２は、撮像手段が設置されている位置を基準とする頭部１０１の相対位置にもとづいて、現在頭部が志向している方向の画像が、撮像手段で取得された映像中のどの位置になるのかを算出する。その他の処理は、上記の第１の実施形態において、カメラ１０２で撮像された画像を撮像手段で撮像された画像と読み替え、撮像部１１１で撮像された映像を当該撮像手段で撮像された映像と読み替えることによって、１つの撮像手段のみが設置されている場合の処理を説明することができる。
【００４５】
実施形態２．
次に、本発明の第２の実施形態を説明する。ロボット操作装置の第２の実施形態を含む遠隔コミュニケーションシステムの構成は、図１に示された構成と同じである。ただし、映像加工部２０２の動作は、第１の実施形態の場合とは異なる。
【００４６】
第２の実施形態は、映像加工部２０２において一度中心視野を向けた領域の解像度が、その後に視野を外しても徐々に下がるようにすることを特徴とする。
【００４７】
具体的には、操作者の指示によって中心視野を向けた画像の座標の集合を、
｛（ａ（ｉ），ｂ（ｉ））｝（ｉ＝１，・・・，Ｎ）
とする。（ａ（ｉ），ｂ（ｉ））は時刻ｔ（ｉ）に操作者によって行われた操作によって中心視野が向けられた画像の座標である。
【００４８】
現在の時刻をＴとすると、例えば、Ｔ−ｔ（ｉ）に対して単調に増加するような分散を持つガウシアンをカーネルとする空間フィルタを｛（ａ（ｉ），ｂ（ｉ））｝（ｉ＝１，・・・，Ｎ）をそれぞれ中心とする領域に施すことによって、徐々に解像度が下がるようにすることができる。また、他の空間フィルタを施す方法や、モザイク化を行うときの一つ一つのブロックの大きさを時間経過が少ないものほど小さくする方法で実現することもできる。
【００４９】
本実施形態の効果を説明する。映像中心のみが高解像度の領域であって、ユーザＡがよく見る領域が映像において複数個離れた領域に存在する場合、それらの領域に対して高い頻度で頭部１０１を向けて観測することが必要な場面を考える。そのような場合、ロボット１００の操作の手間があるために、ユーザＡが一度高解像度で確認した内容を忘れてしまう可能性が高くなる。その結果、人間の自然な頭部動作に比べて高い頻度でロボットを動作させる可能性が高くなる。そのような状況では、ロボット１００の頭部１０１の動作が人間の意図を正確に反映したものにならないという問題が生じる。
【００５０】
しかし、本実施形態のように、一度視野を向けた領域の解像度を所定期間高いままにすることによって、操作者は以前視野を向けた領域を、ロボット１００の頭部１０１を向けずに確認することができる。さらに、所定期間が経過すると解像度が低くなるので、再度確認したい場合は頭部１０１を向ける動機が生じ、そのような操作を実際に行うことによって、ロボット１００に人間の頭部動作をさせることができる。
【００５１】
さらに、頭部駆動部１０３が、操作者からの指示である方位を向いた後、所定時間経過すると自動的に頭部１０１の向きをずらすようにしてもよい。その場合、頭部駆動部１０３が自動的に視線方向をずらした後も、映像加工部２０２は、操作者によって指示された方位の画像の解像度を所定の時間だけ下げないようにする。そのようにして、広い視野を確保しつつ、ロボット１００の頭部１０１を動作させる動機が操作者に与えられるので、対話において、操作者が興味の対象を伝達したいという意図を正確に伝達することができる。
【００５２】
実施形態３．
次に、本発明の第３の実施形態を説明する。ロボット操作装置の第３の実施形態を含む遠隔コミュニケーションシステムの構成は、図１に示された構成と同じである。ただし、映像加工部２０２の動作は、第１の実施形態の場合とは異なる。
【００５３】
第３の実施形態は、映像加工部２０２が、決められた物体を検出し、映像中のその物体の部分をロボット１００の頭部１０１の視線方向に対応する部分から遠くなるほどぼかすことを特徴とする。
【００５４】
映像加工部２０２が検出する物体は、例えば、人間の顔や、話題になっている物体である。人間の顔を検出する場合には、人間の顔の位置を同定する方法として、取得した映像から画像認識によって顔を検出する方法や、人間にＲＦＩＤ（Radio Frequency IDentification）タグや超音波タグなどといった位置を同定するための機器を持たせてそこからの信号を検出する方法を用いることができる。話題になっている物体を検出する場合には、取得した映像から画像認識によって物体を検出する方法や、人間にＲＦＩＤタグや超音波タグなどといった位置を同定するための機器を物体に設置しそこからの信号を検出する方法を用いることができる。さらに、話題になったことを同定するために、人間が物体を動かしたかどうかを画像を用いて検出して動かされた物体を話題になっている物体と同定したり、人間同士の会話を音声認識してモニタリングし、認識された音声で特定される物体に対応する画像を話題になっている物体の画像と同定したりする方法を用いてもよい。
【００５５】
本実施形態の効果を説明する。対面対話において、人間は、その視線や頭部を向ける方向によって他者に自分の意図を伝達する。特に、人物を見たり人物から目をそらしたり、対話において話題になっている物体を見たり物体から目をそらしたりすることによって、その対象に対する興味や、発話権の交代などの情報を伝達する。ロボット１００を介した対話においても頭部１０１の志向を制御することによって同様の効果を期待できる。しかし、ロボットが、対話相手である人物や対話対象である物体以外の部分を志向することが多いと、対話相手の人物に対象に対する興味や発話権交代などの情報を送る意図がないにも関わらず、意図しない意図が伝わってしまう場合がある。
【００５６】
本実施形態のように、対話にとって意味がある対象のみをぼかすことによって、そのような対象に対してのみロボット１００の頭部１０１を向けようという動機を操作者に与えることができる。その結果、そのような対象への頭部動作を誤りなく表現することができるようになる。このようにして、広い視野を確保しつつ、ロボット１００の頭部１０１を動作させる動機を操作者に与え、対話において、操作者が興味の対象を伝達したいという意図を正確に伝達することができる。
【００５７】
実施形態４．
次に、本発明の第４の実施形態を説明する。ロボット操作装置の第４の実施形態を含む遠隔コミュニケーションシステムの構成は、図１に示された構成と同じである。ただし、映像加工部２０２の動作は、第１の実施形態の場合とは異なる。
【００５８】
第４の実施形態は、第１の実施の形態のように映像加工部２０２が映像に対してぼかしを施した領域にある物体または人物が動いた場合に、動いた領域を強調した映像を生成することを特徴とする。すなわち、映像加工部２０２は、物体または人物が動いた場合にその動いた領域を検出し強調表示を行う。
【００５９】
映像加工部２０２が、動いた領域を検出する方法として、例えば、時々刻々と撮像される映像のフレーム間で各画素の画素値の差分をとり、その差分があらかじめ決められている閾値よりも大きな領域を、動いている領域とする方法がある。また強調表示する方法として、例えば、動いていることが検出された領域に関して、色や輝度値を変えて表示する方法がある。
【００６０】
本実施形態の効果を説明する。人間の視覚特性として、視野の周辺部分では解像度が低いが動きを敏感に検出できる特性がある。第１〜第３の実施形態のように周辺視野部分をぼかすだけである場合には、その領域に動きがあるかどうかを伝達することが難しくなることがある。
【００６１】
本実施形態のように周辺視野部分をぼかしつつさらに動きがある場合にはその部分を強調表示すれば、人間の視覚特性を再現することができる。すなわち、動きを強調することによって、画角の端の領域の部分で動きがあった場合、例えばそれまでいた人物が立ち上がろうとしたり、それまでいなかった人物が近づいてきたりした場合に、操作者は、その動きをいち早く広い視野範囲から検出することができ、そちらにロボット１００の頭部１０１を向ける動機付けが容易になる。
【００６２】
なお、第１の実施形態と、第２〜第４の実施形態のうちの１つ以上とを任意に組み合わせることができる。
【００６３】
図６は、本発明によるロボット操作装置の主要部をロボットともに示すブロック図である。図６に示すように、ロボット操作装置は、ロボット２０が存在する空間を撮像した映像を入力する映像入力部１１と、映像入力部１１が入力した映像を、ロボット２０の頭部等の部位２１の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工する映像加工部１２と、映像加工部１２が加工した映像を表示器１５に表示する映像表示部１３と、表示器１５に表示された映像におけるユーザが指定した位置を向くように部位２１を移動させる命令を発行する映像位置指定部１４とを備えている。
【００６４】
図７は、本発明によるロボットシステムの主要部をロボットともに示すブロック図である。図７に示すように、ロボットシステムは、図６に示された構成に加えて、ロボット２０が存在する空間の映像を取得する撮像部３１と、映像位置指定部１４が発行した命令にもとづいて部位２１を駆動する駆動部３２とを備えている。
【００６５】
図８は、本発明によるロボット操作方法の主要工程を示すフローチャートである。図８に示すように、ロボット操作方法では、ロボットが存在する空間を撮像した映像を入力し（ステップＳ１１）、入力した映像を、ロボットの部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工し（ステップＳ１２）、加工した映像を表示器に表示し（ステップＳ１３）、表示器に表示された映像におけるユーザが指定した位置を向くようにロボットの部位を移動させる命令を発行する（ステップＳ１４）。
【産業上の利用可能性】
【００６６】
本発明は、ロボットを通じて遠隔コミュニケーションを行うシステムにおいて、ユーザがロボットを操作する端末に適用可能である。
【００６７】
（付記１）一度中心視野が向けられた領域を対象として、その後に視野を外したときに徐々に解像度が下がるようにするステップをさらに含むロボット操作方法。
【００６８】
（付記２）入力した映像から所定の物体を検出し、映像における検出された物体の部分を、ロボットの部位の志向に対応する部分から遠くなるほどぼかすステップをさらに含むロボット操作方法。
【００６９】
（付記３）入力した映像から人間の顔を検出し、映像における検出された顔の部分のみを、ロボットの部位の志向に対応する映像の部分から遠くなるほどぼかすステップをさらに含むロボット操作方法。
【００７０】
（付記４）ロボットの周囲に存在する人物の間で話題になっている物体を検出し、映像における検出された物体の部分のみを、ロボットの部位の志向に対応する映像の部分から遠くなるほどぼかすステップをさらに含むロボット操作方法。
【００７１】
（付記５）映像におけるぼかしが施された領域に存在する物体または人物が動いた場合に、動いた物体または人物が存在する領域を強調した映像を生成するステップをさらに含むロボット操作方法。
【００７２】
（付記６）一度中心視野が向けられた領域を対象として、その後に視野を外したときに徐々に解像度が下がるようにする処理をさらにコンピュータに実行させるロボット操作プログラム。
【００７３】
（付記７）入力した映像から所定の物体を検出し、映像における検出された物体の部分を、ロボットの部位の志向に対応する部分から遠くなるほどぼかす処理をさらにコンピュータに実行させるロボット操作プログラム。
【００７４】
（付記８）入力した映像から人間の顔を検出し、映像における検出された顔の部分のみを、ロボットの部位の志向に対応する映像の部分から遠くなるほどぼかす処理をさらにコンピュータに実行させるロボット操作プログラム。
【００７５】
（付記９）ロボットの周囲に存在する人物の間で話題になっている物体を検出し、映像における検出された物体の部分のみを、ロボットの部位の志向に対応する映像の部分から遠くなるほどぼかす処理をさらにコンピュータに実行させるロボット操作プログラム。
【００７６】
（付記１０）映像におけるぼかしが施された領域に存在する物体または人物が動いた場合に、動いた物体または人物が存在する領域を強調した映像を生成する処理をさらにコンピュータに実行させるロボット操作プログラム。
【符号の説明】
【００７７】
１１ 映像入力部
１２ 映像加工部
１３ 映像表示部
１４ 映像位置指定部
１５ 表示器
２０ ロボット
２１ 部位
３１ 撮像部
３２ 駆動部
１００ ロボット
１０１ 頭部
１０２ カメラ
１０３ 頭部駆動部
１１１ 撮像部
１１２ 映像伝送部
２００ 操作端末
２０１ 映像受信部
２０２ 映像加工部
２０３ 映像表示部
２０４ 映像位置指定部
３００ 伝送路
４０１〜４０４ 参加者
５００ カメラ視野
【特許請求の範囲】
【請求項１】
ロボットがどちらを向いているのかを表現する部位を有するロボットを遠隔操作するロボット操作装置であって、
ロボットが存在する空間を撮像した映像を入力する映像入力部と、
前記映像入力部が入力した映像を、前記部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工する映像加工部と、
前記映像加工部が加工した映像を表示器に表示する映像表示部と、
前記表示器に表示された映像におけるユーザが指定した位置を向くように前記部位を移動させる命令を発行する映像位置指定部と
を備えたことを特徴とするロボット操作装置。
【請求項２】
映像加工部は、一度中心視野が向けられた領域を対象として、その後に視野を外したときに徐々に解像度が下がるようにする
請求項１記載のロボット操作装置。
【請求項３】
映像加工部は、映像入力部が入力した映像から所定の物体を検出し、映像における検出された物体の部分を、前記部位の志向に対応する部分から遠くなるほどぼかす処理を行う
請求項１または請求項２記載のロボット操作装置。
【請求項４】
映像加工部は、映像入力部が入力した映像から人間の顔を検出し、映像における検出された顔の部分のみを、前記部位の志向に対応する映像の部分から遠くなるほどぼかす処理を行う
請求項３記載のロボット操作装置。
【請求項５】
映像加工部は、ロボットの周囲に存在する人物の間で話題になっている物体を検出し、映像における検出された物体の部分のみを、前記部位の志向に対応する映像の部分から遠くなるほどぼかす処理を行う
請求項３または請求項４記載のロボット操作装置。
【請求項６】
映像加工部は、映像におけるぼかしが施された領域に存在する物体または人物が動いた場合に、動いた物体または人物が存在する領域を強調した映像を生成する
請求項１から請求項５のうちのいずれか１項にロボット操作装置。
【請求項７】
前記部位は頭部である
請求項１から請求項６のうちのいずれか１項にロボット操作装置。
【請求項８】
請求項１から請求項６のうちのいずれか１項に記載のロボット操作装置と、
ロボットが存在する空間の映像を取得する撮像部と、
映像位置指定部が発行した命令にもとづいて前記部位を駆動する駆動部と
を備えたロボットシステム。
【請求項９】
ロボットがどちらを向いているのかを表現する部位を有するロボットを遠隔操作するロボット操作方法であって、
ロボットが存在する空間を撮像した映像を入力し、
入力した映像を、前記部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工し、
加工した映像を表示器に表示し、
前記表示器に表示された映像におけるユーザが指定した位置を向くように前記部位を移動させる命令を発行する
ことを特徴とするロボット操作方法。
【請求項１０】
ロボットがどちらを向いているのかを表現する部位を有するロボットを遠隔操作するロボット操作装置に搭載されるコンピュータに、
ロボットが存在する空間を撮像した映像を入力する処理と、
入力した映像を、前記部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工する処理と、
加工した映像を表示器に表示する処理と、
前記表示器に表示された映像におけるユーザが指定した位置を向くように前記部位を移動させる命令を発行する処理と
を実行させるためのロボット操作プログラム。
【請求項１】
ロボットがどちらを向いているのかを表現する部位を有するロボットを遠隔操作するロボット操作装置であって、
ロボットが存在する空間を撮像した映像を入力する映像入力部と、
前記映像入力部が入力した映像を、前記部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工する映像加工部と、
前記映像加工部が加工した映像を表示器に表示する映像表示部と、
前記表示器に表示された映像におけるユーザが指定した位置を向くように前記部位を移動させる命令を発行する映像位置指定部と
を備えたことを特徴とするロボット操作装置。
【請求項２】
映像加工部は、一度中心視野が向けられた領域を対象として、その後に視野を外したときに徐々に解像度が下がるようにする
請求項１記載のロボット操作装置。
【請求項３】
映像加工部は、映像入力部が入力した映像から所定の物体を検出し、映像における検出された物体の部分を、前記部位の志向に対応する部分から遠くなるほどぼかす処理を行う
請求項１または請求項２記載のロボット操作装置。
【請求項４】
映像加工部は、映像入力部が入力した映像から人間の顔を検出し、映像における検出された顔の部分のみを、前記部位の志向に対応する映像の部分から遠くなるほどぼかす処理を行う
請求項３記載のロボット操作装置。
【請求項５】
映像加工部は、ロボットの周囲に存在する人物の間で話題になっている物体を検出し、映像における検出された物体の部分のみを、前記部位の志向に対応する映像の部分から遠くなるほどぼかす処理を行う
請求項３または請求項４記載のロボット操作装置。
【請求項６】
映像加工部は、映像におけるぼかしが施された領域に存在する物体または人物が動いた場合に、動いた物体または人物が存在する領域を強調した映像を生成する
請求項１から請求項５のうちのいずれか１項にロボット操作装置。
【請求項７】
前記部位は頭部である
請求項１から請求項６のうちのいずれか１項にロボット操作装置。
【請求項８】
請求項１から請求項６のうちのいずれか１項に記載のロボット操作装置と、
ロボットが存在する空間の映像を取得する撮像部と、
映像位置指定部が発行した命令にもとづいて前記部位を駆動する駆動部と
を備えたロボットシステム。
【請求項９】
ロボットがどちらを向いているのかを表現する部位を有するロボットを遠隔操作するロボット操作方法であって、
ロボットが存在する空間を撮像した映像を入力し、
入力した映像を、前記部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工し、
加工した映像を表示器に表示し、
前記表示器に表示された映像におけるユーザが指定した位置を向くように前記部位を移動させる命令を発行する
ことを特徴とするロボット操作方法。
【請求項１０】
ロボットがどちらを向いているのかを表現する部位を有するロボットを遠隔操作するロボット操作装置に搭載されるコンピュータに、
ロボットが存在する空間を撮像した映像を入力する処理と、
入力した映像を、前記部位の志向に対応する画像の部分から遠くなるほど解像度を下げるように加工する処理と、
加工した映像を表示器に表示する処理と、
前記表示器に表示された映像におけるユーザが指定した位置を向くように前記部位を移動させる命令を発行する処理と
を実行させるためのロボット操作プログラム。
【図１】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図４】
【図２】
【図３】
【図５】
【図６】
【図７】
【図８】
【図４】
【公開番号】特開２０１１−１５２５９３（Ｐ２０１１−１５２５９３Ａ）
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願番号】特願２０１０−１４０３５（Ｐ２０１０−１４０３５）
【出願日】平成２２年１月２６日（２０１０．１．２６）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
【公開日】平成２３年８月１１日（２０１１．８．１１）
【国際特許分類】
【出願日】平成２２年１月２６日（２０１０．１．２６）
【出願人】（０００００４２３７）日本電気株式会社 (19,353)
【Ｆターム（参考）】
[ Back to top ]