説明

機械および機械システム

【課題】BMIを適用した機械操作(例えば、ロボット操作)において、ユーザの煩わしさ、負担を軽減する技術を提供することを目的とする。
【解決手段】機械(例えば、実施の形態におけるロボット20)は、ユーザの脳活動を解析した脳解析情報に基づいてユーザの意図に基づく動作であるユーザ意図動作を決定するユーザ意図動作決定部110(ユーザ意図動作決定手段)と、自律動作を決定する際の基礎となる自律動作基礎情報を取得する自律動作基礎情報取得部120(自律動作基礎情報取得手段)と、前記自律動作基礎情報に基づいて前記自律動作を決定する自律動作決定部130(自律動作決定手段)と、前記ユーザ意図動作および前記自律動作に基づいて実行するべき確定動作を決定する確定動作決定140(確定動作決定手段)とを備える。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械および機械システムに関する。特に、脳・機械インタフェースを適用した機械および機械システムに関する。
【背景技術】
【0002】
現在、機械、特にロボットにおける状況判断機能、自律機能が、日々、高性能になっている(非特許文献1)。また、ユーザの意図(思考)を脳活動信号(脳活動情報)から検出し、身体を使うことなく機械操作を実現する脳・機械インタフェース技術(以下、BMI:Brain Machine Interface)が知られている(例えば、特許文献1、非特許文献2参照)。また、機械操作、特にロボット操作にBMIを適用する研究も始まっている(例えば、特許文献2、3、非特許文献3参照)。
【0003】
特許文献2は、直接、ユーザの意図をロボットに送信すれば、ロボットに具備させるセンサの数量を劇的に削減できると提案する。特許文献3は、スイッチなどの一般的なインタフェースの使用が困難な患者(例えば、筋萎縮側索硬化症(ALS)の患者、四肢欠損の患者)がロボットを動作させる技術を開示している。また、非特許文献2は、BMIによって検出されたユーザの意図をロボットに送信し、ロボットを動作させる技術を開示している。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2006−318450号公報
【特許文献2】特開2006−289585号公報
【特許文献3】特開平10−244480号公報
【非特許文献】
【0005】
【非特許文献1】[online]、[平成21年3月23日検索]、インターネット<URL: http://www.honda.co.jp/ASIMO/>
【非特許文献2】Toward Brain-Computer Interfacing (Neural Information Processing),MIT Press, ISBN 978-0262042444
【非特許文献3】[online]、[平成21年3月23日検索]、インターネット<URL: http://neurophilosophy.wordpress.com/2006/12/19/a-robot-controlled-by-a-brain-machine-ititerface/>
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述のBMIをロボット操作に適用する技術は、BMIを用いて、ロボットのセンサ機能の不十分さを人間に補完させることや、予め定めた動作をロボットに実行させることを主目的とするため、ロボットが自ら状況判断し自律的に動作することができない。従って、上述の技術は、ロボットの操作中、常に、ユーザ自身が、種々の状況判断を行う必要があるため、煩わしく、負担がかかるという問題がある。
【0007】
本発明はかかる事情に鑑みてなされたものであり、BMIを適用した機械操作(例えば、ロボット操作)において、ユーザの煩わしさ、負担を軽減する技術を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記問題を解決するために、請求項1に記載した発明の機械(例えば、実施の形態におけるロボット20)は、ユーザの脳活動を解析した脳解析情報に基づいて、ユーザの意図に基づく動作であるユーザ意図動作を決定するユーザ意図動作決定手段と、自律動作を決定する際の基礎となる自律動作基礎情報を取得する自律動作基礎情報取得手段と、前記自律動作基礎情報に基づいて、前記自律動作を決定する自律動作決定手段と、前記ユーザ意図動作および前記自律動作に基づいて、実行するべき確定動作を決定する確定動作決定手段とを備えることを特徴とする。請求項1に記載した発明によれば、確定動作の決定には、ユーザの意図に基づくユーザ意図動作に加え、機械自身の状況判断に基づく自律動作も反映されるようになる。従って、請求項1に記載した発明によれば、ユーザは、状況判断をする必要がなくなるため、煩わしさや負担から開放されるようになる。また、ユーザ意図動作と自律動作とから確定動作を決定するため、ユーザが機械の活動状況を確認できない遠隔地にいるような場合に、機械に対するユーザの指示が、機械が実際に活動している状況にそぐわなくなったとしても、機械を適切に動作させることができるようになる。
【0009】
請求項2に記載した発明の機械は、請求項1に記載した発明の機械において、前記脳解析情報は、ユーザの意図を示すユーザ意図情報と前記ユーザ意図情報の信頼度を示す信頼度情報とを含むことを特徴とする。請求項2に記載した発明によれば、ユーザ意図に加え、ユーザ意図の信頼度(確度)も動作に反映されるようになる。従って、請求項2に記載した発明によれば、機械は、より高度に動作することができるようになる。
【0010】
請求項3に記載した発明の機械は、請求項2に記載した発明の機械において、前記ユーザ意図動作を決定するための動作対応情報を記憶する動作対応情報記憶手段を更に備え、前記ユーザ意図動作決定手段は、前記ユーザ意図情報に対応付けて前記動作対応情報記憶手段に記憶されている動作を前記ユーザ意図動作として決定するとともに、前記信頼度情報に対応付けて前記動作対応情報記憶手段に記憶されているメッセージを外部に出力することを特徴とする。請求項3に記載した発明によれば、ユーザの意図の認識の程度をユーザに報知することができるようになる。従って、請求項3に記載した発明によれば、ユーザは、意図の伝達の程度、更には、意図に即して機械が適切に動作するか否かを確認することができるようになる。
【0011】
請求項4に記載した発明の機械は、請求項1から請求項3の何れか1項に記載した発明の機械において、前記確定動作が実行不能である旨を外部に報知する報知手段を更に備えることを特徴とする。請求項4に記載した発明によれば、確定動作が実行不能である旨をユーザに報知することができるようになる。従って、請求項4に記載した発明によれば、ユーザは、機械が実行不能状態にある旨を適時に認識し、再度、意図を機械に伝達するなど適切な処置をとることができるようになる。特に、遠隔地の機械が適切に動作しなかった場合の対策として有効である。なお、上述の従来技術においては、機械が適切に動作しなかった場合の処置に関し、特に言及していない。
【0012】
請求項5に記載した発明の機械は、請求項4に記載した発明の機械において、前記各確定動作が実行不能となった場合に、当該確定動作または他の前記確定動作が実行可能となる迄に要する実行待機時間を記憶する実行待機時間記憶手段を更に備え、前記報知手段は、実行中の前記確定動作が、当該実行中の前記確定動作に係る前記実行待機時間内に、実行不能となると推定した場合、前記確定動作が実行不能となる旨を外部に報知することを特徴とする。請求項5に記載した発明によれば、確定動作の実行中に、実行待機時間内の実行不能を予見してユーザに報知することができるようになる。従って、請求項5に記載した発明によれば、新たなユーザの意図を取得した機械は、新たな意図を反映して直ちに動作することができるようになる。
【0013】
請求項6に記載した発明の機械は、請求項1から請求項5の何れか1項に記載の機械において、前記確定動作決定手段は、前記ユーザ意図動作と前記自律動作の何れか一方を前記確定動作として決定し、または、前記ユーザ意図動作および前記自律動作の重み付け線形和に基づいて前記確定動作を決定することを特徴とする。請求項6に記載した発明によれば、機械は、柔軟に確定動作を決定することができるようになる。
【0014】
請求項7に記載した発明の機械は、請求項1から請求項5の何れか1項に記載の機械において、前記確定動作を決定するための規則情報を記憶する規則情報記憶手段を更に備え、前記確定動作決定手段は、前記ユーザ意図動作と前記自律動作とが一致する場合は、前記ユーザ意図動作と前記自律動作の何れか一方を前記確定動作として決定し、前記ユーザ意図動作と前記自律動作とが一致しない場合は、前記規則情報に従って前記確定動作を決定することを特徴とする。請求項7に記載した発明によれば、機械は、ユーザ意図動作と自律動作とが一致しない場合、規則に従って両動作を反映し、確定動作を決定することができるようになる。
【0015】
請求項8に記載した発明の機械は、請求項1から請求項7の何れか1項に記載の機械において、前記自律動作基礎情報取得手段は、障害物検知情報を取得することを特徴とする。請求項8に記載した発明によれば、機械は、障害物が存在する場合には、障害物の存在を反映し、確定動作を決定することができるようになる。
【0016】
請求項9に記載した発明の機械は、請求項1から請求項8の何れか1項に記載の機械において、前記確定動作は二足歩行動作を含むことを特徴とする。請求項9に記載した発明によれば、二足歩行をするロボットについて、上記種々の効果を得ることができるようになる。
【0017】
請求項10に記載した発明の機械システムは、機械(例えば、実施の形態におけるロボット20)と機械を制御する1または2以上の制御装置(例えば、実施の形態における脳活動計測装置10およびパーソナルコンピュータ11)とから構成される機械システムであって、ユーザの脳活動情報を計測する脳活動計測手段と、前記脳活動情報を解析した脳解析情報を生成する脳解析情報生成手段と、前記脳解析情報に基づいて、ユーザの意図に基づく動作であるユーザ意図動作を決定するユーザ意図動作決定手段と、自律動作を決定する際の基礎となる自律動作基礎情報を取得する自律動作基礎情報取得手段と、前記自律動作基礎情報に基づいて、前記自律動作を決定する自律動作決定手段と、前記ユーザ意図動作および前記自律動作に基づいて、実行するべき確定動作を決定する確定動作決定手段とを備えることを特徴とする。請求項10に記載した発明によれば、確定動作の決定には、ユーザの意図に基づくユーザ意図動作に加え、機械自身の状況判断に基づく自律動作も反映されるようになる。従って、請求項10に記載した発明によれば、ユーザは、状況判断をする必要がなくなるため、煩わしさや負担から開放されるようになる。
【0018】
請求項11に記載した発明の機械システムは、請求項10に記載の機械システムにおいて、前記脳活動計測手段は、脳波または近赤外線の少なくとも一方を計測することを特徴とする。請求項11に記載した発明によれば、脳波または近赤外線の少なくとも一方を反映してユーザ意図動作を決定することができるようになる。
【発明の効果】
【0019】
請求項1に記載した発明によれば、ユーザは、状況判断をする必要がなくなるため、煩わしさや負担から開放されるようになる。請求項2に記載した発明によれば、機械は、より高度に動作することができるようになる。請求項3に記載した発明によれば、ユーザは、意図の伝達の程度、更には、意図に即して機械が適切に動作するか否かを確認することができるようになる。請求項4に記載した発明によれば、ユーザは、機械が実行不能状態にある旨を適時に認識し、再度、意図を機械に伝達するなど適切な処置をとることができるようになる。請求項5に記載した発明によれば、新たなユーザの意図を取得した機械は、新たな意図を反映して直ちに動作することができるようになる。請求項6に記載した発明によれば、機械は、柔軟に確定動作を決定することができるようになる。請求項7に記載した発明によれば、機械は、ユーザ意図動作と自律動作とが一致しない場合、規則に従って両動作を反映し、確定動作を決定することができるようになる。請求項8に記載した発明によれば、機械は、障害物が存在する場合には、障害物の存在を反映し、確定動作を決定することができるようになる。請求項9に記載した発明によれば、二足歩行をするロボットについて、上記種々の効果を得ることができるようになる。
【図面の簡単な説明】
【0020】
【図1】本実施形態のロボットシステム1のブロック図である。
【図2】記憶部100に記憶された情報の一例である。
【図3】ロボットシステム1の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について図面を参照して詳細に説明する。図1に示すロボットシステム1(機械システム)は、脳活動計測装置10(制御装置)とパーソナルコンピュータ11(制御装置)とロボット20(機械)とから構成される。ロボット20は、図1に示すように、記憶部100(動作対応情報記憶手段、規則情報記憶手段、実行待機時間記憶手段)、ユーザ意図動作決定部110(ユーザ意図動作決定手段)、自律動作基礎情報取得部120(自律動作基礎情報取得手段)、自律動作決定部130(自律動作決定手段)、確定動作決定部140(確定動作決定手段)および報知部150(報知手段)を備える。また、図1において図示しないが、ロボット20は、上記各部に加えて、通信部、音声出力部、表示部、センサ、アクチュエータおよび終了判定部なども備える。
【0022】
なお、ユーザ意図動作決定部110、自律動作基礎情報取得部120、自律動作決定部130、確定動作決定部140、報知部150、通信部(非図示)、終了判定部(非図示)は、ロボット20に内蔵されるMPU(Micro Processing Unit)やメモリなどから実現され得る。記憶部100は、ロボット20に内蔵されるメモリなどから実現され得る。音声出力部(非図示)は、ロボット20が具備するスピーカなどから実現され得る。表示部(非図示)は、ロボット20が具備する液晶ディスプレイなどから実現され得る。また、センサ(非図示)およびアクチュエータ(非図示)は、ロボット20に具備される。
【0023】
脳活動計測装置10は、BMIを備え、ロボット20を使用するユーザの脳活動情報を計測する。具体的には、脳活動計測装置10は、脳波(EEG:Electro Encephalo Graphy)、および、ユーザの脳内の血流量に応じた近赤外線を計測(NIRS:Near-Infra-red Spectroscopy)する。脳活動情報を計測した脳活動計測装置10は、計測した脳活動情報をパーソナルコンピュータ11に出力する。なお、脳活動計測装置10は、脳波または近赤外線の何れか一方を測定するようにしてもよい。
【0024】
パーソナルコンピュータ11は、脳活動計測装置10から脳活動情報を取得する。脳活動情報を取得したパーソナルコンピュータ11は、脳活動情報を解析した脳解析情報を生成する。具体的には、パーソナルコンピュータ11は、意図検出プログラムによって脳活動情報を解析し、ユーザの意図を示すユーザ意図情報と当該ユーザ意図情報の信頼度を示す信頼度情報とを含む脳解析情報を生成する。脳解析情報を生成したパーソナルコンピュータ11は、生成した脳解析情報をロボット20に出力する。
【0025】
記憶部100は、ユーザの意図に基づく動作であるユーザ意図動作を決定するための動作対応情報を記憶する。例えば、記憶部100は、図2(a)に示すように、動作対応情報として、ユーザ意図情報とユーザ意図動作を特定するユーザ意図動作特定情報とを対応付けて記憶する。また、記憶部100は、図2(b)に示すように、動作対応情報として、信頼度情報と信頼度メッセージ(後述)とを対応付けて記憶する。
【0026】
なお、図2(a)に示す例において、記憶部100は、モニタ上に表示されたロボット20の動作に係る多肢選択欄から選択肢「1」を選択したユーザのユーザ意図情報「A1」に対応付けてロボット20を左折させる旨のユーザ意図動作を特定するユーザ意図動作特定情報「X1」を記憶し、選択肢「2」を選択したユーザのユーザ意図情報「A2」に対応付けてロボット20を右折せる旨のユーザ意図動作を特定するユーザ意図動作特定情報「X2」を記憶している。また、図2(b)に示す例において、記憶部100は、信頼度情報「0.8以上」に対応付けて信頼度メッセージ「間違いありません」を記憶し、信頼度情報「0.6以上0.8未満」に対応付けて信頼度メッセージ「たぶん合っていると思います」を記憶している。
【0027】
また、記憶部100は、自身(ロボット20)が実行するべき動作である確定動作を決定するための規則情報を記憶する。例えば、記憶部100は、図2(c)に示すように、規則情報として、規則を識別する規則識別情報に対応付けてユーザ意図動作の重み付け係数および自律動作(ロボット20によって自律的に判断し自ら推奨する動作)の重み付け係数を記憶する。なお、図2(c)に示す例において、記憶部100は、規則識別情報「R1」に対応付けてユーザ意図動作の重み付け係数「0.1」および自律動作の重み付け係数「0.9」を記憶し、規則識別情報「R2」に対応付けてユーザ意図動作の重み付け係数「0.2」および自律動作の重み付け係数「0.8」を記憶している。
【0028】
また、記憶部100は、各確定動作が実行不能となった場合に、実行不能となった確定動作または他の確定動作が実行可能となる迄に要する時間である実行待機時間を記憶する。例えば、記憶部100は、図2(d)に示すように、確定動作を特定する確定動作特定情報に対応付けて実行待機時間を記憶する。なお、図2(d)に示す例において、記憶部100は、確定動作特定情報「Z1」に対応付けて実行待機時間「10(秒)」を記憶し、確定動作特定情報「Z50」に対応付けて実行待機時間「30(秒)」を記憶している。
【0029】
ロボット20の通信部(非図示)は、パーソナルコンピュータ11から脳解析情報を取得する。脳解析情報を取得した通信部(非図示)は、取得した脳解析情報をユーザ意図動作決定部110に供給する。
【0030】
ロボット20のユーザ意図動作決定部110は、通信部(非図示)から脳解析情報を取得する。脳解析情報を取得したユーザ意図動作決定部110は、脳解析情報に基づいてユーザ意図動作を決定する。具体的には、ユーザ意図動作決定部110は、脳解析情報に含まれるユーザ意図情報に対応付けて記憶部100に記憶されている動作をユーザ意図動作として決定する。また、ユーザ意図動作決定部110は、音声出力部(非図示)または表示部(非図示)を介して、脳解析情報に含まれる信頼度情報に対応付けて記憶部100に記憶されている信頼度メッセージを音声、文字などによって外部に出力する。例えば、図2(a)(b)に示す動作対応情報が記憶部100に記憶されている場合において、ユーザ意図動作決定部110が、通信部(非図示)からユーザ意図情報「X1」とユーザ意図情報「X1」に係る信頼度情報「0.7」とを含む脳解析情報を取得したときは、動作対応情報を参照し、ユーザ意図情報「X1」に対応するユーザ意図動作特定情報「Y1(左折)」から動作「左折」をユーザ意図動作として決定するとともに、信頼度情報「0.7」に対応する信頼度メッセージ「間違いありません」を外部に出力する。ユーザ意図動作を決定したユーザ意図動作決定部110は、決定したユーザ意図動作を特定するユーザ意図動作特定情報を確定動作決定部140に供給する。
【0031】
なお、ユーザ意図動作決定部110は、通信部(非図示)を介して、信頼度メッセージをユーザの近傍に設置された装置(脳活動情報を計測中のユーザが視聴可能な装置)に送信してもよい。これにより、ユーザとロボット20との距離が離れている場合(遠隔地のロボットを操作する場合)であっても、信頼度メッセージをユーザに報知することができるようになる。
【0032】
ロボット20の自律動作基礎情報取得部120は、自律動作を決定する際の基礎となる自律動作基礎情報を取得する。具体的には、自律動作基礎情報取得部120は、自律動作基礎情報として、センサ(非図示)を介して当該ロボット20の周辺情報(例えば、障害物検知情報)を取得する。また、自律動作基礎情報取得部120は、自律動作基礎情報として、当該ロボット20の動作情報を取得する。自律動作基礎情報を取得した自律動作基礎情報取得部120は、取得した自律動作基礎情報を自律動作決定部130に出力する。
【0033】
ロボット20の自律動作決定部130は、自律動作基礎情報取得部120から自律動作基礎情報を取得する。自律動作基礎情報を取得した自律動作決定部130は、自律動作基礎情報に基づいて自律動作を決定する。自律動作を決定した自律動作決定部130は、決定した自律動作を特定する自律動作特定情報を確定動作決定部140に供給する。
【0034】
ロボット20の確定動作決定部140は、ユーザ意図動作決定部110からユーザ意図動作特定情報を取得する。また、確定動作決定部140は、自律動作決定部130から自律動作特定情報を取得する。ユーザ意図動作特定情報および自律動作特定情報を取得した確定動作決定部140は、ユーザ意図動作特定情報および自律動作特定情報に基づいて、実行するべき確定動作を決定する。これにより、ユーザがロボット20の活動状況を確認できない遠隔地にいるような場合に、ロボットに対するユーザの指示(ユーザの意図)が、ロボット20が実際に活動している状況にそぐわなくなったとしても、ロボット20を適切に動作させることができるようになる。
【0035】
具体的には、確定動作決定部140は、ユーザ意図動作特定情報と自律動作特定情報とを比較し一致する場合、つまりユーザ意図動作と自律動作とが一致する場合には、ユーザ意図動作特定情報によって特定されるユーザ意図動作と自律動作特定情報によって特定される自律動作の何れか一方を確定動作として決定する。
【0036】
また、確定動作決定部140は、ユーザ意図動作特定情報と自律動作特定情報とが一致しない場合、つまりユーザ意図動作と自律動作とが一致しない場合には、記憶部100に記憶されている規則情報に従って確定動作を決定する。具体的には、確定動作決定部140は、記憶部100に記憶されているユーザ意図動作および自律動作の重み付け係数に従って、ユーザ意図動作特定情報と自律動作特定情報との重み付け線形和を算出し、算出結果によって示される動作を確定動作として決定する。例えば、図2(c)に示す規則情報が記憶部100に記憶されている場合において、確定動作決定部140が、ユーザ意図動作決定部110から取得したユーザ意図動作特定情報「X1」と自律動作決定部130から取得した自律動作特定情報とが一致しないと判断したときは、規則情報を参照し、所定の規則識別情報(例えば「R01」)に対応するユーザ意図動作の重み付け係数「0.1」と自律動作の重み付け係数「0.9」を用いて、ユーザ意図動作特定情報「X1」と自律動作特定情報との重み付け線形和を算出し、算出結果によって示される動作を確定動作として決定する。なお、重み付け線形和を算出して確定動作を決定する態様では、「X1」「X2」などのユーザ意図動作特定情報は、単なる識別符号ではなく、各動作内容を規定する1以上のパラメータから構成されるものである。自律動作特定情報および確定動作特定情報についても同様である。なお、確定動作決定部140は、予め定められた一の規則識別情報を所定の規則識別情報として認識してもよいし、何らかの情報(例えば、自律動作特定情報)の値から導かれる一の規則識別情報を所定の規則識別情報として認識してもよい。なお、ロボット20に対するユーザの指示が、ロボット20が実際に活動している状況にそぐわない場合、ユーザ意図動作特定情報と自律動作特定情報とが一致しにくくなるが、仮に一致しない場合であっても、規則情報に基づいて、ロボット20を適切に動作させることができるようになる。
【0037】
確定動作を決定した確定動作決定部140は、決定した確定動作を特定する確定動作特定情報を各種アクチュエータ(非図示)に供給する。例えば、確定動作として二足歩行動作を決定した確定動作決定部140は、当該二足歩行動作を特定する確定動作特定情報を当該ロボットの脚の駆動を制御するアクチュエータ(非図示)に供給する。なお、確定動作決定部140は、ユーザ意図動作決定部110からユーザ意図動作特定情報を取得しなかった場合に、自律動作特定情報を確定動作として決定してもよい。
【0038】
ロボット20の報知部150は、音声出力部(非図示)または表示部(非図示)を介して、確定動作が実行不能である旨を音声、文字などによって外部に報知する。例えば、報知部150は、実行中の前記確定動作が、記憶部100内に記憶された当該実行中の確定動作に係る実行待機時間内に、実行不能となると推定した場合、当該確定動作が実行待機時間内に実行不能となる旨を外部に報知する。
【0039】
なお、報知部150は、通信部(非図示)を介して、実行不能である旨(または実行待機時間内に実行不能になる旨)をユーザの近傍に設置された装置(脳活動情報を計測中のユーザが視聴可能な装置)に送信してもよい。これにより、ユーザとロボット20との距離が離れている場合であっても、実行不能である旨(または実行待機時間内に実行不能になる旨)をユーザに報知することができるようになる。
【0040】
以下、図3を参照してロボットシステム1の動作を説明する。図3に示すフローチャートは、脳活動計測装置10がユーザの脳活動情報を計測することにより開始する(ステップS100)。なお、図3に示すフローチャートの左側はパーソナルコンピュータ11の動作、右側はロボット20の動作を示している。
【0041】
ステップS100に続いて、脳活動計測装置10から脳活動情報を取得したパーソナルコンピュータ11は、脳活動情報を解析した脳解析情報を生成する(ステップS110)。脳解析情報を生成したパーソナルコンピュータ11は、生成した脳解析情報をロボット20に出力する(ステップS120)。
【0042】
パーソナルコンピュータ11の終了判定部(非図示)は、動作を終了するか否かを判定する(ステップS130)。例えば、終了判定部(非図示)は、電源をオフする旨の入力を受け付けた場合に、動作を終了すると判定する。終了判定部(非図示)は、動作を終了しないと判定した場合(ステップS130:No)、ステップS100に戻る。一方、動作を終了すると判定した場合(ステップS130:Yes)、パーソナルコンピュータ11に係る本フローチャート(左側)は終了する。
【0043】
一方、ロボット20の通信部(非図示)は、パーソナルコンピュータ11から脳解析情報を取得する(ステップS200)。ロボット20のユーザ意図動作決定部110は、脳解析情報に基づいてユーザ意図動作を決定する(ステップS210)。ユーザ意図動作決定部110は、決定したユーザ意図動作を特定するユーザ意図動作特定情報を確定動作決定部140に供給する。
【0044】
ロボット20の自律動作基礎情報取得部120は、自律動作を決定する際の基礎となる自律動作基礎情報を取得する(ステップS220)。ロボット20の自律動作決定部130は、自律動作基礎情報に基づいて自律動作を決定する(ステップS230)。自律動作決定部130は、決定した自律動作を特定する自律動作特定情報を確定動作決定部140に供給する。
【0045】
ロボット20の確定動作決定部140は、ユーザ意図動作決定部110から取得したユーザ意図動作特定情報と自律動作決定部130から取得した自律動作特定情報とが一致するか否かを判断する(ステップS240)。確定動作決定部140は、ユーザ意図動作特定情報と自律動作特定情報とが一致すると判断した場合(ステップS240:Yes)、つまりユーザ意図動作と自律動作とが一致する場合には、当該ユーザ意図動作特定情報によって特定されるユーザ意図動作(または当該自律動作特定情報によって特定される自律動作)を確定動作として決定する(ステップS250)。一方、確定動作決定部140は、ユーザ意図動作特定情報と自律動作特定情報とが一致しないと判断した場合(ステップS240:No)、つまりユーザ意図動作と自律動作とが一致しない場合には、ユーザ意図動作特定情報と自律動作特定情報との重み付け線形和を算出し、算出結果によって示される動作を確定動作として決定する(ステップS252)。
【0046】
ステップS250またはステップS252に続いて、確定動作決定部140は、決定した確定動作を特定する確定動作特定情報を各種アクチュエータ(非図示)に供給する。これにより当該ロボット20は、確定動作に従って動作する(ステップS270)。
【0047】
ロボット20の終了判定部(非図示)は、動作を終了するか否かを判定する(ステップS270)。例えば、終了判定部(非図示)は、電源をオフする旨の入力を受け付けた場合に、動作を終了すると判定する。終了判定部(非図示)は、動作を終了しないと判定した場合(ステップS270:No)、ステップS200に戻る。一方、動作を終了すると判定した場合(ステップS270:Yes)、ロボット20に係る本フローチャート(左側)は終了する。
【0048】
以下、脳解析情報に含まれるユーザ意図情報および信頼度情報について説明する。なお、以下、ユーザが、ロボット20の動作に係る4肢選択においてある選択肢を選択(頭の中で選択した旨を想像)する例を用いて説明する。パーソナルコンピュータ11に実装される意図検出プログラムは、判別器の機能を有する。意図検出プログラム(判別器)は、脳活動情報(脳波)を解析し、脳波(EEG)による、選択肢「1」の選択確率P1、選択肢「2」の選択確率P2、選択肢「3」の選択確率P3、選択肢「4」の選択確率P4を算出する。同様に、意図検出プログラム(判別器)は、脳活動情報(近赤外線)を解析し、近赤外線(NIRS)による、選択肢「1」の選択確率P1、選択肢「2」の選択確率P2、選択肢「3」の選択確率P3、選択肢「4」の選択確率P4を算出する。意図検出プログラムは、下記式(1)〜(4)によって、脳波および近赤外線による、選択肢「1」の選択確率P1、選択肢「2」の選択確率P2、選択肢「3」の選択確率P3、選択肢「4」の選択確率P4を算出し、最大値である一の選択確率(P1〜P4の何れか)をユーザ意図情報として決定する。
【0049】
P1=P1+P1…(1)
P2=P2+P2…(2)
P3=P3+P3…(3)
P4=P4+P4…(4)
【0050】
ユーザ意図情報として決定した意図検出プログラムは、下記式(5)によって、エントロピーEを算出する。
【0051】
E=−P1・logP1−P2・logP2−P3・logP3−P4・logP4…(5)
但し、Eは0以上2以下である。
【0052】
なお、P1、P2、P3、P4の何れか1つが1の場合、即ち、判別器による判別(ユーザ意図情報の決定)に最も自信がある場合にはE=0となる。一方、P1、P2、P3、P4の全てが0.25の場合、即ち、判別器による判別に最も自信がない場合にはE=2となる。即ち、エントロピーEは、ユーザ意図情報の信頼度と逆の関係になるので、意図検出プログラムは、下記式(6)を定義して信頼度R(信頼度情報)を算出する。
【0053】
R=(2−E)/2…(6)
【0054】
これにより、判別器による判別に最も自信がある場合、即ち、ユーザ意図情報の信頼度が最も高い場合にはR=1となる。一方、判別器による判別に最も自信がない場合、即ち、ユーザ意図情報の信頼度が最も低い場合にはR=0となる。
【0055】
なお、上記説明では、意図検出プログラムは、脳波(EEG)および近赤外線(NIRS)の両方を用いてユーザ意図情報および信頼度情報を算出しているが、脳波または近赤外線の何れか一方を用いてユーザ意図情報および信頼度情報を算出してもよい。
【0056】
以上、ロボットシステム1によれば、ロボット20による確定動作の決定には、ユーザの意図に基づくユーザ意図動作に加え、機械自身の状況判断に基づく自律動作も反映されるため、ユーザは、状況判断をする必要がなくなるため、煩わしさや負担から開放されるようになる。換言すれば、全ての操作を行わなくとも必要な作業を機械が自律的に行うことで、BMIによって簡便にロボット20を操作することができるようになる。また、ロボット20は、ユーザの意図の認識の程度をユーザに報知するため、ユーザは、意図の伝達の程度、更には、意図に即して機械が適切に動作するか否かを確認することができるようになる。
【0057】
また、ロボットシステム1によれば、ロボット20は、確定動作が実行不能である旨をユーザに報知するため、ユーザは、ロボット20が実行不能状態にある旨を適時に認識し、再度、意図をロボットに伝達するなど適切な処置をとることができるようになる。特に、遠隔地のロボットを操作する場合に有効である。加えて、ロボット20は、実行待機時間内の実行不能を予見してユーザに報知するため、新たなユーザの意図を取得したロボット20は、新たな意図を反映して直ちに動作することができるようになる。
【0058】
なお、上記実施形態のロボットシステム1において、脳活動計測装置10とパーソナルコンピュータ11とは筐体を異にする別体であるが、両者は同一筐体であってもよい。即ち、脳活動計測装置10がパーソナルコンピュータ11の機能を備えるようにしてもよい(パーソナルコンピュータ11が脳活動計測装置10の機能を備えるようにしてもよい)。
【0059】
また、上記実施形態のロボットシステム1において、ユーザ意図情報と信頼度情報とを含む脳解析情報の生成は、パーソナルコンピュータ11が実施(担当)するが、ロボット20が脳解析情報の生成を実施してもよい。即ち、ロボット20がパーソナルコンピュータ11の機能を備えるようにしてもよい。
【0060】
なお、本発明に係る機械は、ロボット20を一例とするロボットに限定されるものではなく、自律動作を行う装置であればよい。
【0061】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【0062】
1 ロボットシステム(機械システム)
10 脳活動計測装置(制御装置)
11 パーソナルコンピュータ(制御装置)
20 ロボット(機械)
100 記憶部(動作対応情報記憶手段、規則情報記憶手段、実行待機時間記憶手段)
110 ユーザ意図動作決定部(ユーザ意図動作決定手段)
120 自律動作基礎情報取得部(自律動作基礎情報取得手段)
130 自律動作決定部(自律動作決定手段)
140 確定動作決定部(確定動作決定手段)
150 報知部(報知手段)

【特許請求の範囲】
【請求項1】
ユーザの脳活動を解析した脳解析情報に基づいて、ユーザの意図に基づく動作であるユーザ意図動作を決定するユーザ意図動作決定手段と、
自律動作を決定する際の基礎となる自律動作基礎情報を取得する自律動作基礎情報取得手段と、
前記自律動作基礎情報に基づいて、前記自律動作を決定する自律動作決定手段と、
前記ユーザ意図動作および前記自律動作に基づいて、実行するべき確定動作を決定する確定動作決定手段と
を備えることを特徴とする機械。
【請求項2】
前記脳解析情報は、
ユーザの意図を示すユーザ意図情報と前記ユーザ意図情報の信頼度を示す信頼度情報とを含むことを特徴とする請求項1に記載の機械。
【請求項3】
前記ユーザ意図動作を決定するための動作対応情報を記憶する動作対応情報記憶手段を更に備え、
前記ユーザ意図動作決定手段は、
前記ユーザ意図情報に対応付けて前記動作対応情報記憶手段に記憶されている動作を前記ユーザ意図動作として決定するとともに、前記信頼度情報に対応付けて前記動作対応情報記憶手段に記憶されているメッセージを外部に出力する
ことを特徴とする請求項2に記載の機械。
【請求項4】
前記確定動作が実行不能である旨を外部に報知する報知手段
を更に備えることを特徴とする請求項1から請求項3の何れか1項に記載の機械。
【請求項5】
前記各確定動作が実行不能となった場合に、当該確定動作または他の前記確定動作が実行可能となる迄に要する実行待機時間を記憶する実行待機時間記憶手段を更に備え、
前記報知手段は、
実行中の前記確定動作が、当該実行中の前記確定動作に係る前記実行待機時間内に、実行不能となると推定した場合、前記確定動作が実行不能となる旨を外部に報知する
ことを特徴とする請求項4に記載の機械。
【請求項6】
前記確定動作決定手段は、
前記ユーザ意図動作と前記自律動作の何れか一方を前記確定動作として決定し、または、前記ユーザ意図動作および前記自律動作の重み付け線形和に基づいて前記確定動作を決定する
ことを特徴とする請求項1から請求項5の何れか1項に記載の機械。
【請求項7】
前記確定動作を決定するための規則情報を記憶する規則情報記憶手段を更に備え、
前記確定動作決定手段は、
前記ユーザ意図動作と前記自律動作とが一致する場合は、前記ユーザ意図動作と前記自律動作の何れか一方を前記確定動作として決定し、前記ユーザ意図動作と前記自律動作とが一致しない場合は、前記規則情報に従って前記確定動作を決定する
ことを特徴とする請求項1から請求項5の何れか1項に記載の機械。
【請求項8】
前記自律動作基礎情報取得手段は、
障害物検知情報を取得する
ことを特徴とする請求項1から請求項7の何れか1項に記載の機械。
【請求項9】
前記確定動作は二足歩行動作を含む
ことを特徴とする請求項1から請求項8の何れか1項に記載の機械。
【請求項10】
機械と機械を制御する1または2以上の制御装置とから構成される機械システムであって、
ユーザの脳活動情報を計測する脳活動計測手段と、
前記脳活動情報を解析した脳解析情報を生成する脳解析情報生成手段と
前記脳解析情報に基づいて、ユーザの意図に基づく動作であるユーザ意図動作を決定するユーザ意図動作決定手段と、
自律動作を決定する際の基礎となる自律動作基礎情報を取得する自律動作基礎情報取得手段と、
前記自律動作基礎情報に基づいて、前記自律動作を決定する自律動作決定手段と、
前記ユーザ意図動作および前記自律動作に基づいて、実行するべき確定動作を決定する確定動作決定手段と
を備えることを特徴とする機械システム。
【請求項11】
前記脳活動計測手段は、
脳波または近赤外線の少なくとも一方を計測する
ことを特徴とする請求項10に記載の機械システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate


【公開番号】特開2010−237859(P2010−237859A)
【公開日】平成22年10月21日(2010.10.21)
【国際特許分類】
【出願番号】特願2009−83503(P2009−83503)
【出願日】平成21年3月30日(2009.3.30)
【出願人】(000005326)本田技研工業株式会社 (23,863)
【出願人】(393031586)株式会社国際電気通信基礎技術研究所 (905)
【Fターム(参考)】