強化学習システム
【課題】エージェントが複雑な動作を伴うタスクを実行するための行動方策を学習することができる強化学習システムを提供する。
【解決手段】本発明の強化学習システム１によれば、環境から得られる第１報酬ｒ1(ｔ)に応じて定まる、第１学習器１２１による学習結果としての第１価値関数Ｖ1の時間微分である第１価値勾配関数ｄＶ1／ｄｔの値が第２学習器１２２による学習、すなわち、第２報酬ｒ2(ｔ)の評価に際して活用され、第２報酬ｒ2(ｔ)に基づいてロボットＲがタスクを実行するために採るべき行動方策が決定される。
【解決手段】本発明の強化学習システム１によれば、環境から得られる第１報酬ｒ1(ｔ)に応じて定まる、第１学習器１２１による学習結果としての第１価値関数Ｖ1の時間微分である第１価値勾配関数ｄＶ1／ｄｔの値が第２学習器１２２による学習、すなわち、第２報酬ｒ2(ｔ)の評価に際して活用され、第２報酬ｒ2(ｔ)に基づいてロボットＲがタスクを実行するために採るべき行動方策が決定される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はエージェントがタスクを実行するための行動方策を学習するための強化学習システムに関する。
【背景技術】
【０００２】
タスクに適した構造を獲得するまでの学習時間の短縮を図るため、外界の状態に基づいた複数の学習器のそれぞれによる学習結果からエージェントの行動方策を決定し、複数の行動方策の中から各学習器の学習性能に基づいて一の行動方策を選択する技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−０７８５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、前記先行技術によれば一の学習器による学習結果が活かされるだけなので、他の学習器による学習結果をも活かすことにより達成されうるような複雑な動作を伴うタスクをエージェントに実行させることは困難である。
【０００５】
そこで、本発明は、エージェントが複雑な動作を伴うタスクを実行するための行動方策を学習することができる強化学習システムを提供することを解決課題とする。
【課題を解決するための手段】
【０００６】
第１発明の強化学習システムは、エージェントがタスクを実行するための行動方策を学習するための強化学習システムであって、環境を表わす第１〜第ｎ状態変数（ｎ≧２）を認識する環境認識器と、前記環境認識器により認識された第ｊ状態変数（ｊ＝１，２，‥ｎ）に基づいて第ｊ報酬を算出し、当該第ｊ状態変数に基づき、第ｊ価値関数にしたがって第ｊ価値を算出し、前記第ｊ価値および前記第ｊ報酬に基づいて第ｊ誤差を算出し、前記第ｊ誤差に基づいて前記第ｊ価値関数を適宜変更するｎ個の第ｊ学習器と、前記ｎ個の第ｊ学習器により算出された前記第ｊ報酬のうち一部または全部に基づいて前記エージェントが採るべき行動方策を決定する行動方策決定器とを備え、第ｉ＋１学習器（ｉ＝１，２，‥ｎ−１）が第ｉ状態変数に応じた第ｉ報酬関数の値と、第ｉ価値関数の時間微分である第ｉ価値勾配関数の値とに基づいて第ｉ＋１報酬を算出することを特徴とする。
【０００７】
第１発明の強化学習システムによれば、環境から得られる第ｉ報酬に応じて定まる、第ｉ学習器による学習結果としての第ｉ価値関数の時間微分である第ｉ価値勾配関数の値が、第ｉ＋１学習器による学習に際して活用されうる（ｉ＝１，２，‥，ｎ−１）。なお、第ｉ状態変数とはスカラーのほかベクトルをも包含する概念である。これにより、第ｎ学習器による学習に際して直接的には第ｎ−１学習器による学習結果が活用され、第ｎ−２学習器以前の学習器による学習結果が間接的に活用されうる。すなわち、第ｎ学習器による学習結果としての第ｎ価値関数には、第１〜第ｎ学習器のそれぞれの第１〜第ｎ報酬関数により記述される学習方針のすべてが反映されうる。そして、第１〜第ｎ報酬のうち一部または全部に基づいてエージェントが採るべき行動方策が決定される。したがって、複数の状態変数の変化態様により定義される複雑な動作を伴うタスクをエージェントに実行させるための行動方策が学習されうる。
【０００８】
第２発明の強化学習システムは、第１発明の強化学習システムにおいて、前記第ｉ＋１学習器が、前記第ｉ価値勾配関数が大きい負値であるほど前記第ｉ＋１報酬を低く評価することを特徴とする。
【０００９】
第２発明の強化学習システムによれば、第ｉ価値関数の値が時系列的に減少している場合、すなわち、エージェントの行動方策により定義される環境が第ｉ学習器の学習方針に反している場合、第ｉ＋１学習器により第ｉ＋１報酬が低く評価される。これにより、環境が第ｉ＋１学習器の学習方針に合致している一方、第ｉ学習器の学習方針に反している行動方策がエージェントの行動方策として採用される事態が回避されうる。すなわち、一部の状態変数の変化態様に鑑みて適当な行動方策であっても、残りの状態変数の変化態様に鑑みて著しく不適当な行動方策である場合、当該行動方策がエージェントの行動方策として採用される事態が回避されうる。したがって、複数の状態変数の変化態様により定義される複雑な動作を伴うタスクをエージェントに実行させるための行動方策が学習されうる。
【００１０】
第３発明の強化学習システムは、第２発明の強化学習システムにおいて、前記第ｉ＋１学習器が、前記第ｉ価値勾配関数が正値である場合、例外的に前記第ｉ価値勾配関数の値とは無関係に前記第ｉ＋１報酬を評価することを特徴とする。
【００１１】
第３発明の強化学習システムによれば、第ｉ価値関数の値が時系列的に増加している場合、すなわち、エージェントの行動方策により定義される環境が第ｉ学習器の学習方針に合致している場合、第ｉ＋１学習器により例外的に第ｉ価値勾配関数の値とは無関係に第ｉ＋１報酬が評価される。これにより、環境が第ｉ学習器の学習方針に合致しているという理由で第ｉ＋１報酬が過剰に高く評価され、第ｉ＋１学習器の学習方針に反している行動方策が図らずもエージェントの行動方策として採用される事態が回避されうる。すなわち、前の学習器による学習結果が後の学習器による学習に際して過剰に重視された結果、当該後の学習器の学習方針に反する行動方策が採用される事態が回避される。したがって、複数の状態変数の変化態様により定義される複雑な動作を伴うタスクをエージェントに実行させるための行動方策が学習されうる。
【図面の簡単な説明】
【００１２】
【図１】本発明の強化学習システムの構成説明図
【図２】エージェントとしてのロボットの構成説明図
【図３】強化学習システムによる行動方策決定方法を示すフローチャート
【図４】エージェントの実行対象となるタスクに関する説明図
【図５】異なる報酬関数に関する説明図
【図６】価値関数およびその時間微分である価値勾配関数に関する説明図
【図７】決定された行動方策にしたがったタスクの実行に関する説明図
【発明を実施するための最良の形態】
【００１３】
本発明の強化学習システムの実施形態について図面を用いて説明する。まず、強化学習システムの構成について説明する。図１に示されている強化学習システム１は、図２に示されているエージェントとしてのロボットＲに搭載されている電子制御ユニット（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ回路等により構成されている。）またはコンピュータにより構成されている。強化学習システム１を構成するコンピュータのＣＰＵがメモリから強化学習プログラム（ソフトウェア）を読み出し、読み出した強化学習プログラムにしたがって後述する学習処理等、さまざまな処理を実行する。強化学習プログラムはＣＤやＤＶＤ等のソフトウェア記録媒体を通じてコンピュータにインストールされてもよいが、ロボットＲからサーバに要求信号が送信されたことに応じて当該サーバによってネットワークや人工衛星を介して当該コンピュータにダウンロードされてもよい。
【００１４】
強化学習システム１は環境認識器１１と、第１学習器１２１と、第２学習器１２２と、行動方策決定器１３とを備えている。
【００１５】
環境認識器１１はロボットＲに搭載されている内部状態センサ群Ｓ１および外部状態センサ群Ｓ２からの出力信号に基づいて環境を表わす第１状態変数および第２状態変数を認識する。
【００１６】
第１学習器１２１は環境認識器１１により認識された第１状態変数（詳細は後述する。）に基づき、第１報酬関数ｒ1にしたがって第１報酬ｒ1(ｔ)を算出する。第１学習器１２１は第１状態変数に基づき、第１価値関数Ｖ1にしたがって第１価値Ｖ1(ｔ)を算出する。第１学習器１２１は第１価値Ｖ1(ｔ)および第１報酬ｒ1(ｔ)に基づいて第１ＴＤ誤差（第１誤差）δ1(ｔ)を算出する。第１学習器１２１は第１誤差δ1(ｔ)に基づいて第１価値関数Ｖ1を適宜変更する。第１報酬関数ｒ1は、手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させるという学習方針にしたがって定義されている。
【００１７】
第２学習器１２２は環境認識器１１により認識された第２状態変数（詳細は後述する。）に応じた第２報酬関数ｒ2の値と、第１価値関数Ｖ1の時間微分である第１価値勾配関数ｄＶ1／ｄｔの値とに基づいて第２報酬ｒ2(ｔ)を算出する。第２学習器１２２は第２状態変数に基づき、第２価値関数Ｖ2にしたがって第２価値Ｖ2(ｔ)を算出する。第２学習器１２２は第２価値Ｖ2(ｔ)および第２報酬ｒ2(ｔ)に基づいて第２ＴＤ誤差（第２誤差）δ2(ｔ)を算出する。第２学習器１２２は第２誤差δ2(ｔ)に基づいて第２価値関数Ｖ2を適宜変更する。第２報酬関数ｒ2は、手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させるという学習方針にしたがって定義されている。
【００１８】
行動方策決定器１３は環境認識器１１による環境認識結果に基づき、第１出力関数にしたがって第１出力（詳細は後述する。）をロボット（エージェント）Ｒが採るべき行動方策の一部として決定する。第１出力関数は第１価値関数Ｖ1と同様に第１誤差δ1(ｔ)に基づいて適宜変更される。行動方策決定器１３は環境認識器１１による環境認識結果に基づき、第２出力関数にしたがって第２出力（詳細は後述する。）をロボットＲが採るべき行動方策の一部として決定する。第２出力関数は第２価値関数Ｖ2と同様に第２誤差δ2(ｔ)に基づいて適宜変更される。第１出力および第２出力の合計がロボットＲに与えられる。
【００１９】
強化学習システム１は行動方策決定器１３により決定された行動方策にしたがってアクチュエータ１００の動作を制御することにより、ロボットＲの行動を制御する。
【００２０】
本発明の構成要素が情報を「認識する」とは、当該構成要素が情報をデータベースから検索すること、メモリ等の記憶装置から情報を読み取ること、センサ等の出力信号に基づき情報を測定、算定、推定、判定すること、測定等された情報をメモリに格納すること等、当該情報をさらなる情報処理のために準備または用意するために必要なあらゆる情報処理を実行することを意味する。
【００２１】
ロボットＲは脚式移動ロボットであり、人間と同様に基体Ｂ０と、基体Ｂ０の上部に設けられた頭部Ｂ１と、基体Ｂ０の上部左右両側から延設された左右の腕部Ｂ２と、腕部Ｂ２の先端部に設けられた手部Ｂ４と、基体Ｂ０の下部から下方に延設された左右の脚部Ｂ３と、脚部Ｂ３の先端部に取り付けられている足部Ｂ５とを備えている。
【００２２】
ロボットＲは、再表０３／０９０９７８号公報や、再表０３／０９０９７９号公報に開示されているように、アクチュエータから伝達される力によって、人間の肩関節、肘関節、手首関節、股関節、膝関節、足関節等の複数の関節に相当する複数の関節機構において腕部Ｂ２や脚部Ｂ３を屈伸運動させることができる。腕部Ｂ２は肩関節機構を介して基体Ｂ０に連結された第１腕リンクと、一端が第１腕リンクの端部に肘関節機構を介して連結され、他端が手首関節を介して手部Ｂ４の付根部に連結されている第２腕リンクとを備えている。脚部Ｂ３は股関節機構を介して基体Ｂ０に連結された第１脚リンクと、一端が第１脚リンクの端部に膝関節機構を介して連結され、他端が足関節を介して足部Ｂ５に連結されている第２脚リンクとを備えている。ロボットＲは、左右の脚部Ｂ３のそれぞれの離床および着床の繰り返しを伴う動きによって自律的に移動することができる。
【００２３】
ロボットＲには内部状態センサ群Ｓ１および外部状態センサ群Ｓ２が搭載されている。内部状態センサ群Ｓ１にはロボットＲの位置（重心位置）を測定するためのＧＰＳ測定装置または加速度センサのほか、基体Ｂ０の姿勢を測定するためのジャイロセンサ、各関節機構の屈曲角度等を測定するロータリーエンコーダ等が含まれている。外部状態センサ群Ｓ２にはロボットＲの把持対象となるコップ等の物体を測定するための、頭部Ｂ１に搭載されているステレオイメージセンサや、基体Ｂ０に搭載されている赤外光を用いたアクティブ型距離センサ等が含まれる。
【００２４】
前記構成の強化学習システム１の機能について説明する。強化学習システム１は、たとえば片方の腕部Ｂ２を動かして手部Ｂ４によりコップ等の対象物を把持するというタスクをロボットＲに実行させるための最適な行動方策を学習するために用いられる。説明の簡単のため、図４に示されているように肩関節位置を原点ＯとするＸ−Ｙ平面に腕部Ｂ２および手部Ｂ４の動きが束縛されるという束縛条件下で行動方策が学習されると仮定する。なお、ロボットＲが採るべき行動方策は、シミュレーションまたはロボット（実機）Ｒを用いた実験により決定される。
【００２５】
まず環境認識器１１により環境が認識される（図３／ＳＴＥＰ００２）。具体的には、手部Ｂ４の２次元位置ｐ(ｔ)＝（ｘ(ｔ)，ｙ(ｔ)）が第１状態変数として認識され、手部Ｂ４の姿勢ｑ(ｔ)が第２状態変数として認識される。
【００２６】
手部Ｂ４の位置ｐ(ｔ)は、第１腕リンクの長さＬ１、第２腕リンクの長さＬ２および手部Ｂ４の長さＬ３と、肩関節角度ｑ1(ｔ)、肘関節角度ｑ2(ｔ)および手首関節角度ｑ3(ｔ)とに基づき、幾何学的関係にしたがって測定される（図４参照）。長さＬ１、Ｌ２およびＬ３を表わすデータはメモリにあらかじめ保存されている。肩関節角度ｑ1(ｔ)はロボットＲを上方から見たときの前額面（ｘ軸）に対する第１腕リンクがなす角度を意味する。肘関節角度ｑ2(ｔ)はロボットＲを上方から見たときの第１腕リンクに対する第２腕リンクの屈曲角度を意味する。手首関節角度ｑ3(ｔ)はロボットＲを上方から見たときの第２腕リンクに対する手部Ｂ４の屈曲角度を意味する。
【００２７】
手部Ｂ４の姿勢ｑ(ｔ)は肩関節角度ｑ1(ｔ)、肘関節角度ｑ2(ｔ)および手首関節角度ｑ3(ｔ)が合計されることにより測定される（図４参照）。関節角度ｑ1(ｔ)、ｑ2(ｔ)およびｑ3(ｔ)のそれぞれはロボットＲの肩関節、肘関節および手首関節のそれぞれの部分に配置されているロータリーエンコーダ（内部状態センサ群Ｓ１を構成する。）のそれぞれの出力信号により測定されうる。
【００２８】
手部Ｂ４の位置（先端部位置）ｐ(ｔ)は、頭部Ｂ１に搭載されているステレオイメージセンサ（外部状態センサ群Ｓ２を構成する。）により測定されてもよい。手部Ｂ４を変移させるための消費電力Ｅ(ｔ)は関節角度ｑ1(ｔ)、ｑ2(ｔ)およびｑ3(ｔ)の変化量に基づき、各関節用のアクチュエータの回転量および消費電力の関係を表わすデータテーブルまたは演算式にしたがって測定されうる。
【００２９】
第１状態変数ｐ(ｔ)および第２状態変数ｑ(ｔ)は、第１学習器１２１および第２学習器１２２のそれぞれに入力される。共通の情報が入力されることにより、第１学習器１２１および第２学習器１２２の間での情報の照合が可能となる。第２状態変数ｑ（ｔ）は行動方策決定器１３に入力される。
【００３０】
続いて第１学習器１２１により第１状態変数ｐ(ｔ)に基づき、関係式(１)で表わされる第１報酬関数ｒ1にしたがって第１報酬ｒ1(ｔ)が評価される（図３／ＳＴＥＰ１０２）。
【００３１】
ｒ1(ｔ)＝ｅｘｐ(−αp｜ｐ(ｔ)−ｐ0｜2)−βＥ(ｔ) ‥(１)
【００３２】
ここで「ｐ0」は手部Ｂ４の目標位置であり、「αp」および「β」は正の係数である。第１報酬関数ｒ1(ｔ)は図５(ａ)に示されているように手部Ｂ４の目標位置ｐ0を頂点とし、手部Ｂ４の位置ｐがその目標位置ｐ0から遠ざかるにつれて低くなる山のような形状である。関係式(１)右辺第１項から明らかなように手部Ｂ４の現在位置ｐ(ｔ)が目標位置ｐ0に近いほど第１報酬ｒ1(ｔ)が高く評価される。関係式(１)右辺第２項から明らかなように運動エネルギーＥ(ｔ)が小さいほど第１報酬ｒ1(ｔ)が高く評価される。運動エネルギーＥ(ｔ)は、肩関節角度ｑ1(ｔ)、肘関節角度ｑ2(ｔ)および手首関節角度ｑ3(ｔ)の変化量に基づき、各関節用のアクチュエータの回転量および運動エネルギーの関係を表わすデータテーブルまたは演算式にしたがって算定されうる。
【００３３】
また、第１学習器１２１により、第１状態変数ｐ(ｔ)に基づき、第１価値関数Ｖ1にしたがって第１価値Ｖ1(ｔ)が算出される（図３／ＳＴＥＰ１０４）。第１価値関数Ｖ1は第１報酬関数ｒ1に基づき、データの出現頻度に重みを掛けるという考え方が現実に適っているＮＧＮｅｔにしたがって決定される（たとえば“Reinforcement Learning in Continuous Time and Space”Kenji Doya, Neural Computation, 12(1), 219-245(2000)参照）。なお、ＲＢＦ、ニューラルネットまたはＣＭＡＣ等、ＮＧＮｅｔとは異なる公知手法にしたがって第１価値関数Ｖ1(ｔ)が決定されてもよい。
【００３４】
さらに、第１報酬ｒ1(ｔ)および第１価値Ｖ1(ｔ)に基づき、関係式(２)にしたがって第１ＴＤ誤差δ1(ｔ)が算出される（図３／ＳＴＥＰ１０６）。
【００３５】
δ1(ｔ)＝ｒ1(ｔ)＋γ1Ｖ1(ｔ＋１)−Ｖ1(ｔ)‥(２)
【００３６】
ここで「γ1」は第１学習器１２１において採用されているＢｅｌｌｍａｎ方程式における割引率を表わしている。第１ＴＤ誤差δ1(ｔ)の大小によりエージェントＲが先にとった行動方策の妥当性が評価される。前記のように第１ＴＤ誤差δ1(ｔ)に基づき、第１価値関数Ｖ1および第１出力関数が適宜修正される。ロボットＲが先にとった行動方策が予想通りであった場合には修正量は小さくなる一方、ロボットＲが先にとった行動が予想通りではなかった場合には修正量は大きくなる傾向がある。
【００３７】
さらに、行動方策決定器１３により、環境認識器１１による認識結果としての手部Ｂ４の姿勢（第２状態変数）ｑ(ｔ)に基づき、第１出力関数にしたがって第１出力がロボットＲの行動方策として決定される（図３／ＳＴＥＰ１０８）。具体的には、第１報酬ｒ1(ｔ)の積分値が最高になるようなロボットＲの肩関節回りのトルクＴ１および肘関節回りのトルクＴ２が第１出力として決定される。
【００３８】
次に第２学習器１２２により第２状態変数ｑ(ｔ)に応じた第２報酬関数の値と、第１価値勾配関数（第１価値関数Ｖ1の時間微分）ｄＶ1／ｄｔの値とに基づき、関係式(３)にしたがって第２報酬ｒ2が評価される（図３／ＳＴＥＰ２０２）。
【００３９】
ｒ2(ｔ)＝ｅｘｐ(−αq｜ｑ(ｔ)−ｑ0｜2)＋ηｘ・Ｙ(−ｘ)，
ｘ＝ｄＶ1／ｄｔ，
Ｙ(ｘ)≡１(ｘ≧０)または０(ｘ＜０) ‥(３)
【００４０】
ここで「ｑ0」は手部Ｂ４の目標姿勢ｑ0であり、「αq」および「η」は正の係数である。
【００４１】
関係式(３)右辺第１項は図５(ｂ)に示されているように手部Ｂ４の目標姿勢ｑ0を頂点とし、手部Ｂ４の姿勢ｑがその目標姿勢ｑ0から遠ざかるにつれて低くなる山（単峰）の形状である。関係式(３)右辺第１項（第２学習器１２２に固有の第２報酬関数に相当する。）から明らかなように手部Ｂ４の現在姿勢ｑ(ｔ)が目標姿勢ｑ0に近いほど第２報酬ｒ2は高く評価される。
【００４２】
関係式(３)右辺第２項の意義を考察するため、図６(ａ)に概念的に示されているように第１価値関数Ｖ1が定義されている状況について考える。手部Ｂ４の位置ｐがｐ1からｐ2まで図６(ｂ)右矢印で表わされるように遷移した場合、図６(ｂ)に示されているように第１価値勾配関数ｄＶ1／ｄｔは目標位置ｐ0の左側で正値を示し、目標位置ｐ0の右側で負値を示すように定義される。
【００４３】
一方、手部Ｂ４の位置ｐがｐ2からｐ1まで図６(ｃ)左矢印で表わされるように遷移した場合、図６(ｃ)に示されているように第１価値勾配関数ｄＶ1／ｄｔは目標位置ｐ0の左側で負値を示し、目標位置ｐ0の右側で正値を示すように定義される。関係式(３)右辺第２項から明らかなように第１価値勾配関数ｄＶ1／ｄｔの値が負側に大きくなるほど第２報酬ｒ2(ｔ)は低く評価される。
【００４４】
さらに、関係式(３)右辺第２項にはステップ関数Ｙ(−ｘ)が含まれているので第１勾配関数(ｄＶ1／ｄｔ)の値が正である場合は「０」になる。これにより、たとえば、ロボットＲの手部Ｂ４の位置ｐ(ｔ)が図６(ｂ)右矢印で表わされているように遷移した場合、当該位置ｐ(ｔ)が第１価値勾配関数ｄＶ1／ｄｔが正値を示す目標位置ｐ0の左側にある状態では関係式(３)右辺第２項は第２報酬ｒ2(ｔ)の評価には寄与しない一方、当該位置ｐ(ｔ)が第１価値勾配関数ｄＶ1／ｄｔが負値を示す目標位置ｐ0の右側にある状態では関係式(３)右辺第２項は第２報酬ｒ2(ｔ)の評価を下げるのに寄与する。その寄与度は第１価値勾配関数ｄＶ1／ｄｔが負側にどれだけ大きいかに依存している（図６(ｂ)(ｃ)下向き矢印の長さ参照）。
【００４５】
また、ロボットＲの手部Ｂ４の位置ｐが図６(ｃ)左矢印で表わされているように遷移した場合、当該位置ｐ(ｔ)が第１価値勾配関数ｄＶ1／ｄｔが正値を示す目標位置ｐ0の右側にある状態では関係式(３)右辺第２項は第２報酬ｒ2(ｔ)の評価には寄与しない一方、当該位置ｐ(ｔ)が第１価値勾配関数ｄＶ1／ｄｔが負値を示す目標位置ｐ0の左側にある状態では関係式(３)右辺第２項は第２報酬ｒ2(ｔ)の評価を下げるのに寄与する。
【００４６】
また、第２学習器１２２により、第２状態変数ｑ(ｔ)に基づき、第２価値関数Ｖ2にしたがって第２価値Ｖ2(ｔ)が算出される（図３／ＳＴＥＰ２０４）。第２価値関数Ｖ2は第２報酬関数ｒ2に基づき、第１価値関数Ｖ1と同様にデータの出現頻度に重みを掛けるという考え方が現実に適っているＮＧＮｅｔにしたがって決定される。なお、ＲＢＦ、ニューラルネットまたはＣＭＡＣ等、ＮＧＮｅｔとは異なる公知手法にしたがって第２価値関数Ｖ2(ｔ)が決定されてもよい。
【００４７】
さらに、第２報酬ｒ2(ｔ)および第２価値Ｖ2(ｔ)に基づき、関係式(４)にしたがって第２ＴＤ誤差δ2(ｔ)が算出される（図３／ＳＴＥＰ２０６）。
【００４８】
δ2(ｔ)＝ｒ2(ｔ)＋γ2Ｖ2(ｔ＋１)−Ｖ2(ｔ)‥(４)
【００４９】
ここで「γ2」は第２学習器１２２において採用されているＢｅｌｌｍａｎ方程式における割引率を表わしている。第２ＴＤ誤差δ2(ｔ)の大小によりエージェントＲが先にとった行動方策の妥当性が評価される。前記のように第２ＴＤ誤差δ2(ｔ)に基づき、第２価値関数Ｖ2および第２出力関数が適宜修正される。ロボットＲが先にとった行動方策が適当であった場合には修正量は小さくなる一方、ロボットＲが先にとった行動が不適当であった場合には修正量は大きくなる傾向がある。
【００５０】
さらに、行動方策決定器１３により、環境認識器１１による認識結果としての手部Ｂ４の姿勢（第２状態変数）ｑ(ｔ)に基づき、第２出力関数にしたがって第２出力がロボットＲの行動方策として決定される（図３／ＳＴＥＰ２０８）。具体的には、第２報酬ｒ2(ｔ)の積分値が最高になるようなロボットＲの手首関節回りのトルクＴ３が第２出力として決定される。
【００５１】
そして、行動方策決定器１３により決定された行動方策にしたがってアクチュエータ１００の動作が制御されることにより、ロボットＲの行動、すなわち、腕部Ｂ２および手部Ｂ４の動作が制御される。具体的には、第１出力にしたがって肩関節回りのトルクＴ１および肘関節回りのトルクＴ２が制御され、第２出力にしたがって手首関節回りのトルクＴ３が制御される。これにより、たとえば、図７に矢印で示すように手部Ｂ４の位置ｐ(ｔ)が変化し、かつ、手部Ｂ４の姿勢ｑ(ｔ)が変化するようにロボットＲの行動が制御される。
【００５２】
前記機能を発揮する強化学習システム１によれば、環境から得られる第１報酬ｒ1(ｔ)に応じて定まる、第１学習器１２１による学習結果としての第１価値関数Ｖ1の時間微分である第１価値勾配関数ｄＶ1／ｄｔの値が、第２学習器１２２による学習、すなわち、第２報酬ｒ2(ｔ)の評価に際して活用され（図３／ＳＴＥＰ１２２，式（２）参照）、第２報酬ｒ2(ｔ)の積分値が最高になるような環境の変化態様がロボットＲがタスクを実行するために採るべき行動方策として決定される（図３／ＳＴＥＰ１３０，図７参照）。
【００５３】
具体的には、第１価値関数Ｖ1(ｔ)が時系列的に減少している場合（ｄＶ1(ｔ)／ｄｔ＜０の場合）、すなわち、ロボットＲの行動方策により定義される環境が第１学習器１２１の学習方針に反している場合、第２学習器１２２により第２報酬ｒ2(ｔ)が低く評価される（関係式(３)右辺第２項参照）。これにより、環境が第２学習器１２２の学習方針（＝手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させる）に合致している一方、第１学習器１２１の学習方針（＝手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させる）に反している行動方策がロボットＲの行動方策として採用される事態が回避されうる。すなわち、手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させるためには適当な行動方策であっても、手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させるためには著しく不適当な行動方策である場合、当該行動方策がロボットＲの行動方策として採用される事態が回避されうる。
【００５４】
さらに、第１価値関数Ｖ1(ｔ)が時系列的に増加している場合（ｄＶ1(ｔ)／ｄｔ＞０の場合）、すなわち、ロボットＲの行動方策（手部Ｂ４の位置ｐ(ｔ)）により定義される環境が第１学習器１２１の学習方針に合致している場合、第２学習器１２２により例外的に第１価値勾配関数ｄＶ1(ｔ)／ｄｔの値とは無関係に第２報酬ｒ2(ｔ)が評価される（関係式(３)右辺第２項のステップ関数Ｙ参照）。これにより、環境が第１学習器１２１の学習方針に合致しているという理由で第２報酬ｒ2（ｔ）が過剰に高く評価され、第２学習器１２２の学習方針に反している行動方策が図らずもロボットＲの行動方策として採用される事態が回避されうる。すなわち、手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させるためには適当な行動方策であっても、手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させるためには著しく不適当な行動方策である場合、当該行動方策がロボットＲの行動方策として採用される事態が回避されうる。
【００５５】
よって、複数の状態変数の変化態様により定義される、腕部Ｂ２および手部Ｂ４の複雑な動作を伴う対象物の把持というタスクをロボットＲに実行させるために最適な行動方策が学習されうる。
【００５６】
なお、前記実施形態とは逆に第１学習器１２１が手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させるという学習方針にしたがう学習器として定義され、第２学習器１２２が手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させるという学習方針にしたがう学習器として定義されていてもよい。この場合、第１報酬ｒ1(ｔ)が関係式(５)にしたがって算出され、第２報酬ｒ2(ｔ)が関係式(６)にしたがって算出されることにより、前記実施形態と同様に複数の状態変数の変化態様により定義される腕部Ｂ２および手部Ｂ４の複雑な動作を伴う対象物の把持というタスクをロボットＲに実行させるために最適な行動方策が学習されうる。
【００５７】
ｒ1(ｔ)＝ｅｘｐ(−αq｜ｑ(ｔ)−ｑ0｜2) ‥(５)
ｒ2(ｔ)＝ｅｘｐ(−αp｜ｐ(ｔ)−ｐ0｜2)−βＥ(ｔ)＋ηｘ・Ｙ(−ｘ)，
ｘ＝ｄＶ1(ｔ)／ｄｔ ‥(６)
【００５８】
さらに、強化学習システム１が３つ以上の学習器を備えていてもよい。たとえば、第１学習器１２１および第２学習器１２２に加えて、第２学習器１２２の第２価値関数Ｖ2の時間微分である第２価値勾配関数ｄＶ2／ｄｔに基づいて第３報酬ｒ3(ｔ)を評価する第３学習器を備え、第３学習器の出力に基づいて行動方策の一部または全部が決定されてもよい。これにより、第３学習器による学習に際して直接的には第２学習器１２２による学習結果が活用され、第１学習器１２１による学習結果が間接的に活用されうる。すなわち、第３学習器による学習結果としての第３報酬には、第１学習器１２１および第２学習器１２２のそれぞれの第１報酬関数ｒ1および第２報酬関数ｒ2により記述される学習方針のすべてが反映されうる。したがって、複数の状態変数の変化態様により定義される複雑な動作を伴うタスクをロボットＲに実行させるための行動方策が学習されうる。なお、第ｉ＋１価値関数Ｖi+1（ｉ＝１，２，‥）も第１価値関数Ｖ1と同様にＮＧＮｅｔ、ＲＢＦ、ニューラルネットまたはＣＭＡＣ等、公知手法にしたがって決定されうる。
【００５９】
また、ロボットＲにタスクを実行させるための行動方策が学習されたが、そのほか、エージェントとしての人間に物品の製作、目的位置への移動または着衣等のタスクを実行させるために行動方策が学習されてもよい。
【００６０】
前記実施形態では第１出力関数にしたがって第１出力（肩関節回りのトルクＴ１および肘関節回りのトルクＴ２）がロボットＲの行動方策の一部として決定され、第２出力関数にしたがって第２出力（手首関節回りのトルクＴ３）がロボットＲの行動方策の残り部分として決定された。そのほか、環境認識器１１による認識結果に加えて、第１出力関数にしたがって決定された第１出力に基づき、第２出力関数にしたがって各関節回りのトルクＴ１、Ｔ２およびＴ３がロボットＲの行動方策として決定されてもよい。
【符号の説明】
【００６１】
１‥強化学習システム、１１‥環境状態認識器、１２１・・第１学習器、１２２‥第２学習器、１３‥行動方策決定器、Ｒ‥ロボット（エージェント）
【技術分野】
【０００１】
本発明はエージェントがタスクを実行するための行動方策を学習するための強化学習システムに関する。
【背景技術】
【０００２】
タスクに適した構造を獲得するまでの学習時間の短縮を図るため、外界の状態に基づいた複数の学習器のそれぞれによる学習結果からエージェントの行動方策を決定し、複数の行動方策の中から各学習器の学習性能に基づいて一の行動方策を選択する技術が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−０７８５１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、前記先行技術によれば一の学習器による学習結果が活かされるだけなので、他の学習器による学習結果をも活かすことにより達成されうるような複雑な動作を伴うタスクをエージェントに実行させることは困難である。
【０００５】
そこで、本発明は、エージェントが複雑な動作を伴うタスクを実行するための行動方策を学習することができる強化学習システムを提供することを解決課題とする。
【課題を解決するための手段】
【０００６】
第１発明の強化学習システムは、エージェントがタスクを実行するための行動方策を学習するための強化学習システムであって、環境を表わす第１〜第ｎ状態変数（ｎ≧２）を認識する環境認識器と、前記環境認識器により認識された第ｊ状態変数（ｊ＝１，２，‥ｎ）に基づいて第ｊ報酬を算出し、当該第ｊ状態変数に基づき、第ｊ価値関数にしたがって第ｊ価値を算出し、前記第ｊ価値および前記第ｊ報酬に基づいて第ｊ誤差を算出し、前記第ｊ誤差に基づいて前記第ｊ価値関数を適宜変更するｎ個の第ｊ学習器と、前記ｎ個の第ｊ学習器により算出された前記第ｊ報酬のうち一部または全部に基づいて前記エージェントが採るべき行動方策を決定する行動方策決定器とを備え、第ｉ＋１学習器（ｉ＝１，２，‥ｎ−１）が第ｉ状態変数に応じた第ｉ報酬関数の値と、第ｉ価値関数の時間微分である第ｉ価値勾配関数の値とに基づいて第ｉ＋１報酬を算出することを特徴とする。
【０００７】
第１発明の強化学習システムによれば、環境から得られる第ｉ報酬に応じて定まる、第ｉ学習器による学習結果としての第ｉ価値関数の時間微分である第ｉ価値勾配関数の値が、第ｉ＋１学習器による学習に際して活用されうる（ｉ＝１，２，‥，ｎ−１）。なお、第ｉ状態変数とはスカラーのほかベクトルをも包含する概念である。これにより、第ｎ学習器による学習に際して直接的には第ｎ−１学習器による学習結果が活用され、第ｎ−２学習器以前の学習器による学習結果が間接的に活用されうる。すなわち、第ｎ学習器による学習結果としての第ｎ価値関数には、第１〜第ｎ学習器のそれぞれの第１〜第ｎ報酬関数により記述される学習方針のすべてが反映されうる。そして、第１〜第ｎ報酬のうち一部または全部に基づいてエージェントが採るべき行動方策が決定される。したがって、複数の状態変数の変化態様により定義される複雑な動作を伴うタスクをエージェントに実行させるための行動方策が学習されうる。
【０００８】
第２発明の強化学習システムは、第１発明の強化学習システムにおいて、前記第ｉ＋１学習器が、前記第ｉ価値勾配関数が大きい負値であるほど前記第ｉ＋１報酬を低く評価することを特徴とする。
【０００９】
第２発明の強化学習システムによれば、第ｉ価値関数の値が時系列的に減少している場合、すなわち、エージェントの行動方策により定義される環境が第ｉ学習器の学習方針に反している場合、第ｉ＋１学習器により第ｉ＋１報酬が低く評価される。これにより、環境が第ｉ＋１学習器の学習方針に合致している一方、第ｉ学習器の学習方針に反している行動方策がエージェントの行動方策として採用される事態が回避されうる。すなわち、一部の状態変数の変化態様に鑑みて適当な行動方策であっても、残りの状態変数の変化態様に鑑みて著しく不適当な行動方策である場合、当該行動方策がエージェントの行動方策として採用される事態が回避されうる。したがって、複数の状態変数の変化態様により定義される複雑な動作を伴うタスクをエージェントに実行させるための行動方策が学習されうる。
【００１０】
第３発明の強化学習システムは、第２発明の強化学習システムにおいて、前記第ｉ＋１学習器が、前記第ｉ価値勾配関数が正値である場合、例外的に前記第ｉ価値勾配関数の値とは無関係に前記第ｉ＋１報酬を評価することを特徴とする。
【００１１】
第３発明の強化学習システムによれば、第ｉ価値関数の値が時系列的に増加している場合、すなわち、エージェントの行動方策により定義される環境が第ｉ学習器の学習方針に合致している場合、第ｉ＋１学習器により例外的に第ｉ価値勾配関数の値とは無関係に第ｉ＋１報酬が評価される。これにより、環境が第ｉ学習器の学習方針に合致しているという理由で第ｉ＋１報酬が過剰に高く評価され、第ｉ＋１学習器の学習方針に反している行動方策が図らずもエージェントの行動方策として採用される事態が回避されうる。すなわち、前の学習器による学習結果が後の学習器による学習に際して過剰に重視された結果、当該後の学習器の学習方針に反する行動方策が採用される事態が回避される。したがって、複数の状態変数の変化態様により定義される複雑な動作を伴うタスクをエージェントに実行させるための行動方策が学習されうる。
【図面の簡単な説明】
【００１２】
【図１】本発明の強化学習システムの構成説明図
【図２】エージェントとしてのロボットの構成説明図
【図３】強化学習システムによる行動方策決定方法を示すフローチャート
【図４】エージェントの実行対象となるタスクに関する説明図
【図５】異なる報酬関数に関する説明図
【図６】価値関数およびその時間微分である価値勾配関数に関する説明図
【図７】決定された行動方策にしたがったタスクの実行に関する説明図
【発明を実施するための最良の形態】
【００１３】
本発明の強化学習システムの実施形態について図面を用いて説明する。まず、強化学習システムの構成について説明する。図１に示されている強化学習システム１は、図２に示されているエージェントとしてのロボットＲに搭載されている電子制御ユニット（ＣＰＵ，ＲＯＭ，ＲＡＭ，Ｉ／Ｏ回路等により構成されている。）またはコンピュータにより構成されている。強化学習システム１を構成するコンピュータのＣＰＵがメモリから強化学習プログラム（ソフトウェア）を読み出し、読み出した強化学習プログラムにしたがって後述する学習処理等、さまざまな処理を実行する。強化学習プログラムはＣＤやＤＶＤ等のソフトウェア記録媒体を通じてコンピュータにインストールされてもよいが、ロボットＲからサーバに要求信号が送信されたことに応じて当該サーバによってネットワークや人工衛星を介して当該コンピュータにダウンロードされてもよい。
【００１４】
強化学習システム１は環境認識器１１と、第１学習器１２１と、第２学習器１２２と、行動方策決定器１３とを備えている。
【００１５】
環境認識器１１はロボットＲに搭載されている内部状態センサ群Ｓ１および外部状態センサ群Ｓ２からの出力信号に基づいて環境を表わす第１状態変数および第２状態変数を認識する。
【００１６】
第１学習器１２１は環境認識器１１により認識された第１状態変数（詳細は後述する。）に基づき、第１報酬関数ｒ1にしたがって第１報酬ｒ1(ｔ)を算出する。第１学習器１２１は第１状態変数に基づき、第１価値関数Ｖ1にしたがって第１価値Ｖ1(ｔ)を算出する。第１学習器１２１は第１価値Ｖ1(ｔ)および第１報酬ｒ1(ｔ)に基づいて第１ＴＤ誤差（第１誤差）δ1(ｔ)を算出する。第１学習器１２１は第１誤差δ1(ｔ)に基づいて第１価値関数Ｖ1を適宜変更する。第１報酬関数ｒ1は、手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させるという学習方針にしたがって定義されている。
【００１７】
第２学習器１２２は環境認識器１１により認識された第２状態変数（詳細は後述する。）に応じた第２報酬関数ｒ2の値と、第１価値関数Ｖ1の時間微分である第１価値勾配関数ｄＶ1／ｄｔの値とに基づいて第２報酬ｒ2(ｔ)を算出する。第２学習器１２２は第２状態変数に基づき、第２価値関数Ｖ2にしたがって第２価値Ｖ2(ｔ)を算出する。第２学習器１２２は第２価値Ｖ2(ｔ)および第２報酬ｒ2(ｔ)に基づいて第２ＴＤ誤差（第２誤差）δ2(ｔ)を算出する。第２学習器１２２は第２誤差δ2(ｔ)に基づいて第２価値関数Ｖ2を適宜変更する。第２報酬関数ｒ2は、手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させるという学習方針にしたがって定義されている。
【００１８】
行動方策決定器１３は環境認識器１１による環境認識結果に基づき、第１出力関数にしたがって第１出力（詳細は後述する。）をロボット（エージェント）Ｒが採るべき行動方策の一部として決定する。第１出力関数は第１価値関数Ｖ1と同様に第１誤差δ1(ｔ)に基づいて適宜変更される。行動方策決定器１３は環境認識器１１による環境認識結果に基づき、第２出力関数にしたがって第２出力（詳細は後述する。）をロボットＲが採るべき行動方策の一部として決定する。第２出力関数は第２価値関数Ｖ2と同様に第２誤差δ2(ｔ)に基づいて適宜変更される。第１出力および第２出力の合計がロボットＲに与えられる。
【００１９】
強化学習システム１は行動方策決定器１３により決定された行動方策にしたがってアクチュエータ１００の動作を制御することにより、ロボットＲの行動を制御する。
【００２０】
本発明の構成要素が情報を「認識する」とは、当該構成要素が情報をデータベースから検索すること、メモリ等の記憶装置から情報を読み取ること、センサ等の出力信号に基づき情報を測定、算定、推定、判定すること、測定等された情報をメモリに格納すること等、当該情報をさらなる情報処理のために準備または用意するために必要なあらゆる情報処理を実行することを意味する。
【００２１】
ロボットＲは脚式移動ロボットであり、人間と同様に基体Ｂ０と、基体Ｂ０の上部に設けられた頭部Ｂ１と、基体Ｂ０の上部左右両側から延設された左右の腕部Ｂ２と、腕部Ｂ２の先端部に設けられた手部Ｂ４と、基体Ｂ０の下部から下方に延設された左右の脚部Ｂ３と、脚部Ｂ３の先端部に取り付けられている足部Ｂ５とを備えている。
【００２２】
ロボットＲは、再表０３／０９０９７８号公報や、再表０３／０９０９７９号公報に開示されているように、アクチュエータから伝達される力によって、人間の肩関節、肘関節、手首関節、股関節、膝関節、足関節等の複数の関節に相当する複数の関節機構において腕部Ｂ２や脚部Ｂ３を屈伸運動させることができる。腕部Ｂ２は肩関節機構を介して基体Ｂ０に連結された第１腕リンクと、一端が第１腕リンクの端部に肘関節機構を介して連結され、他端が手首関節を介して手部Ｂ４の付根部に連結されている第２腕リンクとを備えている。脚部Ｂ３は股関節機構を介して基体Ｂ０に連結された第１脚リンクと、一端が第１脚リンクの端部に膝関節機構を介して連結され、他端が足関節を介して足部Ｂ５に連結されている第２脚リンクとを備えている。ロボットＲは、左右の脚部Ｂ３のそれぞれの離床および着床の繰り返しを伴う動きによって自律的に移動することができる。
【００２３】
ロボットＲには内部状態センサ群Ｓ１および外部状態センサ群Ｓ２が搭載されている。内部状態センサ群Ｓ１にはロボットＲの位置（重心位置）を測定するためのＧＰＳ測定装置または加速度センサのほか、基体Ｂ０の姿勢を測定するためのジャイロセンサ、各関節機構の屈曲角度等を測定するロータリーエンコーダ等が含まれている。外部状態センサ群Ｓ２にはロボットＲの把持対象となるコップ等の物体を測定するための、頭部Ｂ１に搭載されているステレオイメージセンサや、基体Ｂ０に搭載されている赤外光を用いたアクティブ型距離センサ等が含まれる。
【００２４】
前記構成の強化学習システム１の機能について説明する。強化学習システム１は、たとえば片方の腕部Ｂ２を動かして手部Ｂ４によりコップ等の対象物を把持するというタスクをロボットＲに実行させるための最適な行動方策を学習するために用いられる。説明の簡単のため、図４に示されているように肩関節位置を原点ＯとするＸ−Ｙ平面に腕部Ｂ２および手部Ｂ４の動きが束縛されるという束縛条件下で行動方策が学習されると仮定する。なお、ロボットＲが採るべき行動方策は、シミュレーションまたはロボット（実機）Ｒを用いた実験により決定される。
【００２５】
まず環境認識器１１により環境が認識される（図３／ＳＴＥＰ００２）。具体的には、手部Ｂ４の２次元位置ｐ(ｔ)＝（ｘ(ｔ)，ｙ(ｔ)）が第１状態変数として認識され、手部Ｂ４の姿勢ｑ(ｔ)が第２状態変数として認識される。
【００２６】
手部Ｂ４の位置ｐ(ｔ)は、第１腕リンクの長さＬ１、第２腕リンクの長さＬ２および手部Ｂ４の長さＬ３と、肩関節角度ｑ1(ｔ)、肘関節角度ｑ2(ｔ)および手首関節角度ｑ3(ｔ)とに基づき、幾何学的関係にしたがって測定される（図４参照）。長さＬ１、Ｌ２およびＬ３を表わすデータはメモリにあらかじめ保存されている。肩関節角度ｑ1(ｔ)はロボットＲを上方から見たときの前額面（ｘ軸）に対する第１腕リンクがなす角度を意味する。肘関節角度ｑ2(ｔ)はロボットＲを上方から見たときの第１腕リンクに対する第２腕リンクの屈曲角度を意味する。手首関節角度ｑ3(ｔ)はロボットＲを上方から見たときの第２腕リンクに対する手部Ｂ４の屈曲角度を意味する。
【００２７】
手部Ｂ４の姿勢ｑ(ｔ)は肩関節角度ｑ1(ｔ)、肘関節角度ｑ2(ｔ)および手首関節角度ｑ3(ｔ)が合計されることにより測定される（図４参照）。関節角度ｑ1(ｔ)、ｑ2(ｔ)およびｑ3(ｔ)のそれぞれはロボットＲの肩関節、肘関節および手首関節のそれぞれの部分に配置されているロータリーエンコーダ（内部状態センサ群Ｓ１を構成する。）のそれぞれの出力信号により測定されうる。
【００２８】
手部Ｂ４の位置（先端部位置）ｐ(ｔ)は、頭部Ｂ１に搭載されているステレオイメージセンサ（外部状態センサ群Ｓ２を構成する。）により測定されてもよい。手部Ｂ４を変移させるための消費電力Ｅ(ｔ)は関節角度ｑ1(ｔ)、ｑ2(ｔ)およびｑ3(ｔ)の変化量に基づき、各関節用のアクチュエータの回転量および消費電力の関係を表わすデータテーブルまたは演算式にしたがって測定されうる。
【００２９】
第１状態変数ｐ(ｔ)および第２状態変数ｑ(ｔ)は、第１学習器１２１および第２学習器１２２のそれぞれに入力される。共通の情報が入力されることにより、第１学習器１２１および第２学習器１２２の間での情報の照合が可能となる。第２状態変数ｑ（ｔ）は行動方策決定器１３に入力される。
【００３０】
続いて第１学習器１２１により第１状態変数ｐ(ｔ)に基づき、関係式(１)で表わされる第１報酬関数ｒ1にしたがって第１報酬ｒ1(ｔ)が評価される（図３／ＳＴＥＰ１０２）。
【００３１】
ｒ1(ｔ)＝ｅｘｐ(−αp｜ｐ(ｔ)−ｐ0｜2)−βＥ(ｔ) ‥(１)
【００３２】
ここで「ｐ0」は手部Ｂ４の目標位置であり、「αp」および「β」は正の係数である。第１報酬関数ｒ1(ｔ)は図５(ａ)に示されているように手部Ｂ４の目標位置ｐ0を頂点とし、手部Ｂ４の位置ｐがその目標位置ｐ0から遠ざかるにつれて低くなる山のような形状である。関係式(１)右辺第１項から明らかなように手部Ｂ４の現在位置ｐ(ｔ)が目標位置ｐ0に近いほど第１報酬ｒ1(ｔ)が高く評価される。関係式(１)右辺第２項から明らかなように運動エネルギーＥ(ｔ)が小さいほど第１報酬ｒ1(ｔ)が高く評価される。運動エネルギーＥ(ｔ)は、肩関節角度ｑ1(ｔ)、肘関節角度ｑ2(ｔ)および手首関節角度ｑ3(ｔ)の変化量に基づき、各関節用のアクチュエータの回転量および運動エネルギーの関係を表わすデータテーブルまたは演算式にしたがって算定されうる。
【００３３】
また、第１学習器１２１により、第１状態変数ｐ(ｔ)に基づき、第１価値関数Ｖ1にしたがって第１価値Ｖ1(ｔ)が算出される（図３／ＳＴＥＰ１０４）。第１価値関数Ｖ1は第１報酬関数ｒ1に基づき、データの出現頻度に重みを掛けるという考え方が現実に適っているＮＧＮｅｔにしたがって決定される（たとえば“Reinforcement Learning in Continuous Time and Space”Kenji Doya, Neural Computation, 12(1), 219-245(2000)参照）。なお、ＲＢＦ、ニューラルネットまたはＣＭＡＣ等、ＮＧＮｅｔとは異なる公知手法にしたがって第１価値関数Ｖ1(ｔ)が決定されてもよい。
【００３４】
さらに、第１報酬ｒ1(ｔ)および第１価値Ｖ1(ｔ)に基づき、関係式(２)にしたがって第１ＴＤ誤差δ1(ｔ)が算出される（図３／ＳＴＥＰ１０６）。
【００３５】
δ1(ｔ)＝ｒ1(ｔ)＋γ1Ｖ1(ｔ＋１)−Ｖ1(ｔ)‥(２)
【００３６】
ここで「γ1」は第１学習器１２１において採用されているＢｅｌｌｍａｎ方程式における割引率を表わしている。第１ＴＤ誤差δ1(ｔ)の大小によりエージェントＲが先にとった行動方策の妥当性が評価される。前記のように第１ＴＤ誤差δ1(ｔ)に基づき、第１価値関数Ｖ1および第１出力関数が適宜修正される。ロボットＲが先にとった行動方策が予想通りであった場合には修正量は小さくなる一方、ロボットＲが先にとった行動が予想通りではなかった場合には修正量は大きくなる傾向がある。
【００３７】
さらに、行動方策決定器１３により、環境認識器１１による認識結果としての手部Ｂ４の姿勢（第２状態変数）ｑ(ｔ)に基づき、第１出力関数にしたがって第１出力がロボットＲの行動方策として決定される（図３／ＳＴＥＰ１０８）。具体的には、第１報酬ｒ1(ｔ)の積分値が最高になるようなロボットＲの肩関節回りのトルクＴ１および肘関節回りのトルクＴ２が第１出力として決定される。
【００３８】
次に第２学習器１２２により第２状態変数ｑ(ｔ)に応じた第２報酬関数の値と、第１価値勾配関数（第１価値関数Ｖ1の時間微分）ｄＶ1／ｄｔの値とに基づき、関係式(３)にしたがって第２報酬ｒ2が評価される（図３／ＳＴＥＰ２０２）。
【００３９】
ｒ2(ｔ)＝ｅｘｐ(−αq｜ｑ(ｔ)−ｑ0｜2)＋ηｘ・Ｙ(−ｘ)，
ｘ＝ｄＶ1／ｄｔ，
Ｙ(ｘ)≡１(ｘ≧０)または０(ｘ＜０) ‥(３)
【００４０】
ここで「ｑ0」は手部Ｂ４の目標姿勢ｑ0であり、「αq」および「η」は正の係数である。
【００４１】
関係式(３)右辺第１項は図５(ｂ)に示されているように手部Ｂ４の目標姿勢ｑ0を頂点とし、手部Ｂ４の姿勢ｑがその目標姿勢ｑ0から遠ざかるにつれて低くなる山（単峰）の形状である。関係式(３)右辺第１項（第２学習器１２２に固有の第２報酬関数に相当する。）から明らかなように手部Ｂ４の現在姿勢ｑ(ｔ)が目標姿勢ｑ0に近いほど第２報酬ｒ2は高く評価される。
【００４２】
関係式(３)右辺第２項の意義を考察するため、図６(ａ)に概念的に示されているように第１価値関数Ｖ1が定義されている状況について考える。手部Ｂ４の位置ｐがｐ1からｐ2まで図６(ｂ)右矢印で表わされるように遷移した場合、図６(ｂ)に示されているように第１価値勾配関数ｄＶ1／ｄｔは目標位置ｐ0の左側で正値を示し、目標位置ｐ0の右側で負値を示すように定義される。
【００４３】
一方、手部Ｂ４の位置ｐがｐ2からｐ1まで図６(ｃ)左矢印で表わされるように遷移した場合、図６(ｃ)に示されているように第１価値勾配関数ｄＶ1／ｄｔは目標位置ｐ0の左側で負値を示し、目標位置ｐ0の右側で正値を示すように定義される。関係式(３)右辺第２項から明らかなように第１価値勾配関数ｄＶ1／ｄｔの値が負側に大きくなるほど第２報酬ｒ2(ｔ)は低く評価される。
【００４４】
さらに、関係式(３)右辺第２項にはステップ関数Ｙ(−ｘ)が含まれているので第１勾配関数(ｄＶ1／ｄｔ)の値が正である場合は「０」になる。これにより、たとえば、ロボットＲの手部Ｂ４の位置ｐ(ｔ)が図６(ｂ)右矢印で表わされているように遷移した場合、当該位置ｐ(ｔ)が第１価値勾配関数ｄＶ1／ｄｔが正値を示す目標位置ｐ0の左側にある状態では関係式(３)右辺第２項は第２報酬ｒ2(ｔ)の評価には寄与しない一方、当該位置ｐ(ｔ)が第１価値勾配関数ｄＶ1／ｄｔが負値を示す目標位置ｐ0の右側にある状態では関係式(３)右辺第２項は第２報酬ｒ2(ｔ)の評価を下げるのに寄与する。その寄与度は第１価値勾配関数ｄＶ1／ｄｔが負側にどれだけ大きいかに依存している（図６(ｂ)(ｃ)下向き矢印の長さ参照）。
【００４５】
また、ロボットＲの手部Ｂ４の位置ｐが図６(ｃ)左矢印で表わされているように遷移した場合、当該位置ｐ(ｔ)が第１価値勾配関数ｄＶ1／ｄｔが正値を示す目標位置ｐ0の右側にある状態では関係式(３)右辺第２項は第２報酬ｒ2(ｔ)の評価には寄与しない一方、当該位置ｐ(ｔ)が第１価値勾配関数ｄＶ1／ｄｔが負値を示す目標位置ｐ0の左側にある状態では関係式(３)右辺第２項は第２報酬ｒ2(ｔ)の評価を下げるのに寄与する。
【００４６】
また、第２学習器１２２により、第２状態変数ｑ(ｔ)に基づき、第２価値関数Ｖ2にしたがって第２価値Ｖ2(ｔ)が算出される（図３／ＳＴＥＰ２０４）。第２価値関数Ｖ2は第２報酬関数ｒ2に基づき、第１価値関数Ｖ1と同様にデータの出現頻度に重みを掛けるという考え方が現実に適っているＮＧＮｅｔにしたがって決定される。なお、ＲＢＦ、ニューラルネットまたはＣＭＡＣ等、ＮＧＮｅｔとは異なる公知手法にしたがって第２価値関数Ｖ2(ｔ)が決定されてもよい。
【００４７】
さらに、第２報酬ｒ2(ｔ)および第２価値Ｖ2(ｔ)に基づき、関係式(４)にしたがって第２ＴＤ誤差δ2(ｔ)が算出される（図３／ＳＴＥＰ２０６）。
【００４８】
δ2(ｔ)＝ｒ2(ｔ)＋γ2Ｖ2(ｔ＋１)−Ｖ2(ｔ)‥(４)
【００４９】
ここで「γ2」は第２学習器１２２において採用されているＢｅｌｌｍａｎ方程式における割引率を表わしている。第２ＴＤ誤差δ2(ｔ)の大小によりエージェントＲが先にとった行動方策の妥当性が評価される。前記のように第２ＴＤ誤差δ2(ｔ)に基づき、第２価値関数Ｖ2および第２出力関数が適宜修正される。ロボットＲが先にとった行動方策が適当であった場合には修正量は小さくなる一方、ロボットＲが先にとった行動が不適当であった場合には修正量は大きくなる傾向がある。
【００５０】
さらに、行動方策決定器１３により、環境認識器１１による認識結果としての手部Ｂ４の姿勢（第２状態変数）ｑ(ｔ)に基づき、第２出力関数にしたがって第２出力がロボットＲの行動方策として決定される（図３／ＳＴＥＰ２０８）。具体的には、第２報酬ｒ2(ｔ)の積分値が最高になるようなロボットＲの手首関節回りのトルクＴ３が第２出力として決定される。
【００５１】
そして、行動方策決定器１３により決定された行動方策にしたがってアクチュエータ１００の動作が制御されることにより、ロボットＲの行動、すなわち、腕部Ｂ２および手部Ｂ４の動作が制御される。具体的には、第１出力にしたがって肩関節回りのトルクＴ１および肘関節回りのトルクＴ２が制御され、第２出力にしたがって手首関節回りのトルクＴ３が制御される。これにより、たとえば、図７に矢印で示すように手部Ｂ４の位置ｐ(ｔ)が変化し、かつ、手部Ｂ４の姿勢ｑ(ｔ)が変化するようにロボットＲの行動が制御される。
【００５２】
前記機能を発揮する強化学習システム１によれば、環境から得られる第１報酬ｒ1(ｔ)に応じて定まる、第１学習器１２１による学習結果としての第１価値関数Ｖ1の時間微分である第１価値勾配関数ｄＶ1／ｄｔの値が、第２学習器１２２による学習、すなわち、第２報酬ｒ2(ｔ)の評価に際して活用され（図３／ＳＴＥＰ１２２，式（２）参照）、第２報酬ｒ2(ｔ)の積分値が最高になるような環境の変化態様がロボットＲがタスクを実行するために採るべき行動方策として決定される（図３／ＳＴＥＰ１３０，図７参照）。
【００５３】
具体的には、第１価値関数Ｖ1(ｔ)が時系列的に減少している場合（ｄＶ1(ｔ)／ｄｔ＜０の場合）、すなわち、ロボットＲの行動方策により定義される環境が第１学習器１２１の学習方針に反している場合、第２学習器１２２により第２報酬ｒ2(ｔ)が低く評価される（関係式(３)右辺第２項参照）。これにより、環境が第２学習器１２２の学習方針（＝手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させる）に合致している一方、第１学習器１２１の学習方針（＝手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させる）に反している行動方策がロボットＲの行動方策として採用される事態が回避されうる。すなわち、手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させるためには適当な行動方策であっても、手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させるためには著しく不適当な行動方策である場合、当該行動方策がロボットＲの行動方策として採用される事態が回避されうる。
【００５４】
さらに、第１価値関数Ｖ1(ｔ)が時系列的に増加している場合（ｄＶ1(ｔ)／ｄｔ＞０の場合）、すなわち、ロボットＲの行動方策（手部Ｂ４の位置ｐ(ｔ)）により定義される環境が第１学習器１２１の学習方針に合致している場合、第２学習器１２２により例外的に第１価値勾配関数ｄＶ1(ｔ)／ｄｔの値とは無関係に第２報酬ｒ2(ｔ)が評価される（関係式(３)右辺第２項のステップ関数Ｙ参照）。これにより、環境が第１学習器１２１の学習方針に合致しているという理由で第２報酬ｒ2（ｔ）が過剰に高く評価され、第２学習器１２２の学習方針に反している行動方策が図らずもロボットＲの行動方策として採用される事態が回避されうる。すなわち、手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させるためには適当な行動方策であっても、手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させるためには著しく不適当な行動方策である場合、当該行動方策がロボットＲの行動方策として採用される事態が回避されうる。
【００５５】
よって、複数の状態変数の変化態様により定義される、腕部Ｂ２および手部Ｂ４の複雑な動作を伴う対象物の把持というタスクをロボットＲに実行させるために最適な行動方策が学習されうる。
【００５６】
なお、前記実施形態とは逆に第１学習器１２１が手部Ｂ４の姿勢ｑを目標姿勢ｑ0に一致させるという学習方針にしたがう学習器として定義され、第２学習器１２２が手部Ｂ４の位置ｐをその運動エネルギーＥを低く抑えながら目標位置ｐ0に一致させるという学習方針にしたがう学習器として定義されていてもよい。この場合、第１報酬ｒ1(ｔ)が関係式(５)にしたがって算出され、第２報酬ｒ2(ｔ)が関係式(６)にしたがって算出されることにより、前記実施形態と同様に複数の状態変数の変化態様により定義される腕部Ｂ２および手部Ｂ４の複雑な動作を伴う対象物の把持というタスクをロボットＲに実行させるために最適な行動方策が学習されうる。
【００５７】
ｒ1(ｔ)＝ｅｘｐ(−αq｜ｑ(ｔ)−ｑ0｜2) ‥(５)
ｒ2(ｔ)＝ｅｘｐ(−αp｜ｐ(ｔ)−ｐ0｜2)−βＥ(ｔ)＋ηｘ・Ｙ(−ｘ)，
ｘ＝ｄＶ1(ｔ)／ｄｔ ‥(６)
【００５８】
さらに、強化学習システム１が３つ以上の学習器を備えていてもよい。たとえば、第１学習器１２１および第２学習器１２２に加えて、第２学習器１２２の第２価値関数Ｖ2の時間微分である第２価値勾配関数ｄＶ2／ｄｔに基づいて第３報酬ｒ3(ｔ)を評価する第３学習器を備え、第３学習器の出力に基づいて行動方策の一部または全部が決定されてもよい。これにより、第３学習器による学習に際して直接的には第２学習器１２２による学習結果が活用され、第１学習器１２１による学習結果が間接的に活用されうる。すなわち、第３学習器による学習結果としての第３報酬には、第１学習器１２１および第２学習器１２２のそれぞれの第１報酬関数ｒ1および第２報酬関数ｒ2により記述される学習方針のすべてが反映されうる。したがって、複数の状態変数の変化態様により定義される複雑な動作を伴うタスクをロボットＲに実行させるための行動方策が学習されうる。なお、第ｉ＋１価値関数Ｖi+1（ｉ＝１，２，‥）も第１価値関数Ｖ1と同様にＮＧＮｅｔ、ＲＢＦ、ニューラルネットまたはＣＭＡＣ等、公知手法にしたがって決定されうる。
【００５９】
また、ロボットＲにタスクを実行させるための行動方策が学習されたが、そのほか、エージェントとしての人間に物品の製作、目的位置への移動または着衣等のタスクを実行させるために行動方策が学習されてもよい。
【００６０】
前記実施形態では第１出力関数にしたがって第１出力（肩関節回りのトルクＴ１および肘関節回りのトルクＴ２）がロボットＲの行動方策の一部として決定され、第２出力関数にしたがって第２出力（手首関節回りのトルクＴ３）がロボットＲの行動方策の残り部分として決定された。そのほか、環境認識器１１による認識結果に加えて、第１出力関数にしたがって決定された第１出力に基づき、第２出力関数にしたがって各関節回りのトルクＴ１、Ｔ２およびＴ３がロボットＲの行動方策として決定されてもよい。
【符号の説明】
【００６１】
１‥強化学習システム、１１‥環境状態認識器、１２１・・第１学習器、１２２‥第２学習器、１３‥行動方策決定器、Ｒ‥ロボット（エージェント）
【特許請求の範囲】
【請求項１】
エージェントがタスクを実行するための行動方策を学習するための強化学習システムであって、
環境を表わす第１〜第ｎ状態変数（ｎ≧２）を認識する環境認識器と、
前記環境認識器により認識された第ｊ状態変数（ｊ＝１，２，‥ｎ）に基づいて第ｊ報酬を算出し、当該第ｊ状態変数に基づき、第ｊ価値関数にしたがって第ｊ価値を算出し、前記第ｊ価値および前記第ｊ報酬に基づいて第ｊ誤差を算出し、前記第ｊ誤差に基づいて前記第ｊ価値関数を適宜変更するｎ個の第ｊ学習器と、
前記ｎ個の第ｊ学習器により算出された前記第ｊ報酬のうち一部または全部に基づいて前記エージェントが採るべき行動方策を決定する行動方策決定器とを備え、
第ｉ＋１学習器（ｉ＝１，２，‥ｎ−１）が第ｉ状態変数に応じた第ｉ報酬関数の値と、第ｉ価値関数の時間微分である第ｉ価値勾配関数の値とに基づいて第ｉ＋１報酬を算出することを特徴とする強化学習システム。
【請求項２】
請求項１記載の強化学習システムにおいて、
前記第ｉ＋１学習器が、前記第ｉ価値勾配関数が大きい負値であるほど前記第ｉ＋１報酬を低く評価することを特徴とする強化学習システム。
【請求項３】
請求項２記載の強化学習システムにおいて、
前記第ｉ＋１学習器が、前記第ｉ価値勾配関数が正値である場合、例外的に前記第ｉ価値勾配関数の値とは無関係に前記第ｉ＋１報酬を評価することを特徴とする強化学習システム。
【請求項１】
エージェントがタスクを実行するための行動方策を学習するための強化学習システムであって、
環境を表わす第１〜第ｎ状態変数（ｎ≧２）を認識する環境認識器と、
前記環境認識器により認識された第ｊ状態変数（ｊ＝１，２，‥ｎ）に基づいて第ｊ報酬を算出し、当該第ｊ状態変数に基づき、第ｊ価値関数にしたがって第ｊ価値を算出し、前記第ｊ価値および前記第ｊ報酬に基づいて第ｊ誤差を算出し、前記第ｊ誤差に基づいて前記第ｊ価値関数を適宜変更するｎ個の第ｊ学習器と、
前記ｎ個の第ｊ学習器により算出された前記第ｊ報酬のうち一部または全部に基づいて前記エージェントが採るべき行動方策を決定する行動方策決定器とを備え、
第ｉ＋１学習器（ｉ＝１，２，‥ｎ−１）が第ｉ状態変数に応じた第ｉ報酬関数の値と、第ｉ価値関数の時間微分である第ｉ価値勾配関数の値とに基づいて第ｉ＋１報酬を算出することを特徴とする強化学習システム。
【請求項２】
請求項１記載の強化学習システムにおいて、
前記第ｉ＋１学習器が、前記第ｉ価値勾配関数が大きい負値であるほど前記第ｉ＋１報酬を低く評価することを特徴とする強化学習システム。
【請求項３】
請求項２記載の強化学習システムにおいて、
前記第ｉ＋１学習器が、前記第ｉ価値勾配関数が正値である場合、例外的に前記第ｉ価値勾配関数の値とは無関係に前記第ｉ＋１報酬を評価することを特徴とする強化学習システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１０−１３４９０７（Ｐ２０１０−１３４９０７Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００９−１７４５８５（Ｐ２００９−１７４５８５）
【出願日】平成２１年７月２７日（２００９．７．２７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２１年７月２７日（２００９．７．２７）
【出願人】（０００００５３２６）本田技研工業株式会社 (23,863)
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]