強化学習システム、及び強化学習プログラム
【課題】 学習初期の段階におけるエージェントの学習速度を飛躍的に向上させることが可能な強化学習システムの提供を課題とする。
【解決手段】 強化学習システム１に利用される強化学習コンピュータ２は、Ｑ値の初期値を未定義に設定する未定義設定手段１２と、エージェント１３の状態を観測する状態観測手段１４と、行動を出力する行動出力手段１５と、エージェント１３の次状態を観測する次状態観測手段１６と、エージェント１３に報酬ｒを提供する報酬提供手段１７と、報酬ｒ及び次Ｑ値を判定基準１９に従って判定する判定手段２０と、判定基準１９に従ってＱ値を未学習にする未学習手段２１と、第二判定基準２３ａに従って判定する第二判定手段２３と、Ｑ値を更新する学習手段２４と、Ｑ値を初期化する初期化手段２５と、次状態を更新する状態更新手段２６とを具備する。
【解決手段】 強化学習システム１に利用される強化学習コンピュータ２は、Ｑ値の初期値を未定義に設定する未定義設定手段１２と、エージェント１３の状態を観測する状態観測手段１４と、行動を出力する行動出力手段１５と、エージェント１３の次状態を観測する次状態観測手段１６と、エージェント１３に報酬ｒを提供する報酬提供手段１７と、報酬ｒ及び次Ｑ値を判定基準１９に従って判定する判定手段２０と、判定基準１９に従ってＱ値を未学習にする未学習手段２１と、第二判定基準２３ａに従って判定する第二判定手段２３と、Ｑ値を更新する学習手段２４と、Ｑ値を初期化する初期化手段２５と、次状態を更新する状態更新手段２６とを具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、強化学習システム、及び強化学習プログラムに関するものであり、特に、二足歩行型ロボットや惑星探査に利用される探査装置等のように、周囲環境の変化や発生する種々の事象を体験または経験し、ロボット等が学習によって自律的に行動を決定することが可能な強化学習を実施するための強化学習システム、及び強化学習プログラムに関するものである。
【背景技術】
【０００２】
従来からロボット等の自律的な制御を可能とするために、所謂「強化学習」と呼ばれる学習手法が用いられることがある（例えば、非特許文献１参照）。ここで、「強化学習」は、一般に学習対象（エージェント）が、ある環境の中を無作為的に行動し、その結果として目標に到達することによって初めて報酬を得るものである。そして、次エピソードの際に、エージェントが以前に経験したエピソードと同一の状況に遭遇した場合、以前の経験に基づいて報酬を得る可能性の高い行動を選択する可能性が高くなる。そして、エージェントが報酬を得るエピソードを繰返すことにより、最終的に全ての状態（場面）において、報酬を得ることが可能な最適な行動を選択するように学習をすることができる。
【０００３】
ここで、強化学習において、最も代表的な例として「Ｑ学習（Ｑ−Ｌｅａｒｎｉｎｇ）」と呼ばれる学習手法が知られている。Ｑ学習は、予め初期値が与えられた最適行動価値関数を示すＱ値を直接的に近似するものであり、強化学習が実施される環境における全状態数と全可能行動数とを掛け合わせた積によって示されるものである。
【０００４】
このとき、エージェントの学習（換言すれば、Ｑ値の更新）は、下記に示す式（５）によって行われる。ここで、Ｑ（ｓ，ａ）（Ｑ値に相当）は、状態ｓにおける行動ａの価値を示し、αは学習のステップサイズ、γは割引率、ｒは報酬、Ｔは目標値を表している。具体的に示すと、Ｑ学習システムは、図７に示すように、最適行動価値関数を示すＱ値の全てを所定の値に初期化（例えば、全てのテーブルに対し、Ｑ＝０を与える等）し（ステップＴ１）、その後、学習対象となるエージェントの状態ｓを観測する（ステップＴ２）。さらに、当該エージェントの状態ｓからの行動ａを出力する（ステップＴ３）。そして、行動ａの結果に基づく次状態ｓ’を観測し（ステップＴ４）、報酬ｒを獲得する（ステップＴ５）。その後、下記の式（５）を利用し、学習（Ｑ値の更新）がなされる（ステップＴ６）。そして、次状態ｓ’を状態ｓに置換する処理を行う（ステップＴ７）。そして、再びステップＴ３の処理に戻り、エージェントの学習を継続する。その結果、個々の行動ａに対して、Ｑ値が更新され、エージェントが目標に到達し、報酬ｒを得るまでの過程（エピソードに相当）を複数回に亘って繰り返すことにより、ステップサイズαに基づいて徐々に最適なＱ値に近似するようになる。これにより、Ｑ値の更新によって、学習初期の段階に比べ、目標に到達するまでの所要時間や所要行動数等を短縮することができる。
【０００５】
【数５】
【０００６】
【非特許文献１】Ｒｉｃｈａｒｄ Ｓ．Ｓｕｔｔｏｎ・Ａｎｄｒｅｗ Ｇ．Ｂａｒｔｏ著、三上 貞芳・皆川 雅章訳、「強化学習」、第１版、森北出版、２０００年１２月２０日
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述したＱ学習を用いた強化学習の場合、その学習速度の遅さ、特に学習初期の段階における学習効率が悪いことが問題であった。すなわち、上述の式（５）によるＱ学習の基本式によれば、ステップサイズα（０＜α＜１）は、学習の速度を決定するためのパラメータであり、Ｑ値の更新の効率を決定するものである。ところが、ステップサイズαは、０＜α＜１の範囲で与えられる数値であり、第１式右辺第１項に比べ、Ｑ値全体に対する右辺第２項の値は極めて小さくなる。そのため、Ｑ値全体において、第１式右辺第１項は支配的となり、得られた報酬がＱ値全体に反映することは非常に小さかった。その結果、近似されたＱ値を得ようとする場合、エージェントは非常に多くの経験（エピソード）を繰返す必要があった。特に、Ｑ値から大幅に離れた初期値が設定された場合には、学習に要する時間が多くなり、特にエージェントの状態数が増加することによって、必要となる学習時間は指数関数的に増大する結果となった。
【０００８】
また、式（５）における目標値Ｔを算出するための第２式では、右辺第２項（ステップサイズαを除く）の値も、学習開始の段階では任意の初期値が与えられることがあった。そのため、仮に与えれる初期値が正確である保証はなく、目標値Ｔに到達させるために、エージェントを繰返し行動させることに何の意味を伴わないケースもあった。
【０００９】
そこで、本発明は、上記実情に鑑み、学習初期の段階におけるエージェントの学習速度を飛躍的に向上させることが可能な強化学習システム、及び強化学習プログラムを提供することを課題とするものである。
【００１０】
上記の課題を解決するため、本発明にかかる強化学習システムは、「行動価値関数または状態価値関数を含む価値関数を示す価値Ｖの初期値を未定義に設定する未定義設定手段と、強化学習を行う学習対象のエージェントの状態を観測する状態観測手段と、前記状態における前記エージェントの行動を出力する行動出力手段と、出力された前記行動によって遷移する前記エージェントの次状態を観測する次状態観測手段と、前記次状態に遷移した前記エージェントに報酬ｒを提供する報酬提供手段と、前記報酬、及び前記次状態における前記価値関数を示す次価値Ｖ’を、予め規定された判定基準に従って判定する判定手段と、前記判定手段の前記判定基準に従って、前記報酬が零及び前記次価値Ｖ’が未定義であると判定されると、前記の学習処理または初期化処理をキャンセルする未学習手段と、前記状態における前記価値Ｖを第二判定基準に従って判定する第二判定手段と、前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが定義済みであると判定されると、次式：
【数６】
（α：ステップサイズ、γ：割引率）
に基づいて、前記価値Ｖを更新し、学習する学習手段と、前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが未定義であると判定されると、次式：
【数７】
に基づいて、前記価値Ｖを初期化する初期化手段と、前記判定手段、前記初期化手段、及び前記学習手段のいずれか一つの処理が行われた前記次状態を前記状態に更新する状態更新手段と」を主に具備して構成されている。
【００１１】
なお、本発明の強化学習システムを「ＴＤ学習」に適用する場合には、上記式（６）を下記の式（８）に置換して用い、式（７）を式（９）に置換して用いることが可能である。また、「Ｓａｒｓａ」に適用する場合には、式（６）を下記の式（１０）に置換して用い、式（７）を式（１１）に置換して用いることが可能である。さらに、「Ｑ学習」に適用する場合には、式（６）を下記の式（１２）に置換して用い、式（７）を式（１３）に置換して用いることが可能である。すなわち、本発明は、価値関数（行動価値関数及び状態価値関数等を含む）を最適価値関数へ漸近する学習方式を採用する強化学習に適用することが可能である。なお、ＴＤ学習の場合、状態価値関数Ｖ（ｓ）が価値関数に相当し、次価値は「状態価値」に相当する。また、Ｓａｒｓａの場合、次価値は「実際に行動した行動価値」に相当し、Ｑ学習の場合、次価値は「最大の行動価値」に相当する。なお、請求項及び式（６）及び式（７）において便宜上、行動価値関数を示すＱ値によって表現しているが、状態価値関数Ｖ（ｓ）で上記式（６）及び式（７）を表すものであっても構わない（式（８）及び式（９）参照）。なお、説明を簡略化するため、以下はＱ学習に適用した場合について説明を行うものとする。
【数８】
【数９】
【数１０】
【数１１】
【数１２】
【数１３】
【００１２】
したがって、本発明の強化学習システムによれば、Ｑ値の初期値が予め定義された任意の値（例えば、Ｑ＝０等）に設定されるものではなく、未定義の状態に設定される。そして、係る設定条件に基づいて、エージェントの現在の状態を観測し、行動を出力する。さらに、当該行動の結果として遷移したエージェントの次状態を観測し、係る行動による報酬をエージェントに提供する。なお、現在の状態の観測から報酬を提供するまでの一連の処理は、従来のＱ学習において実施されるものと同様である。その後、判定手段の判定基準によってそれまでの処理が判定される。
【００１３】
ここで、判定手段では、獲得した報酬が零以外の値を有するか否か、及び次Ｑ値が定義済み若しくは未定義かの判定が行われる。このとき、従来のＱ学習においては、報酬はエージェントが目標（ゴール）に到達した際に初めて供与されるように設定されていることが多い。すなわち、報酬が零の場合、エージェントは目標に未到達の状態を示すことになり、かつ、次状態の次Ｑ値が未定義の場合は、式（６）における右辺第２項は、”目標値が問題の解に対する情報を含んでいない”こととなる。そのため、係る状況が判定手段によって判定されると、学習しない（未学習）の処理が行われる。すなわち、双方の基準のいずれか一方でも条件をクリアすることにより、事後の学習処理または初期化処理のいずれかが行われる。
【００１４】
そして、判定手段の判定基準に従って、”報酬が零以外の値を有する”及び／または”次Ｑ値が定義済みである”のいずれか一方の条件でも満たす場合、第二判定手段によって現在の状態におけるＱ値を対象とした判定が行われる。このとき、現在の状態の価値（Ｑ値）が未定義であると判定される場合、式（７）に基づいてＱ値の初期化が行われる。すなわち、式（６）における右辺第１項は、Ｑ値が未定義であるため、無意味となる。そこで、式（７）に示すように、獲得した報酬の値と、Ｑ値が最大となる値を利用して初期化が図られる。これにより、Ｑ値が定義された状態となる。一方、Ｑ値が定義済みの場合、式（６）における右辺第１項及び右辺第２項のいずれもが意味を有する、換言すれば、”目標値が問題の解に対する情報を含んでいる”こととなる。
【００１５】
そのため、式（６）を利用して、Ｑ値の更新（＝学習）する処理が行われる。その後、遷移した次状態を新たな状態に更新し、状態の観測→行動の出力→次状態の観測→報酬の獲得→判定（判定手段及び／または第二判定手段）→未学習・初期化・学習処理がエピソード毎に繰返し実施される。これにより、エージェントの学習が進行する。このとき、Ｑ値を更新する際に意味を有しないケースの場合（報酬＝０、かつ次Ｑ値が未定義）、学習がキャンセルされる。そのため、最適なＱ値に徐々に近似する際に、任意に設定された初期値によって学習回数を無駄にすることがなくなる。さらに、報酬が零以外の値を有し、Ｑ値が未定義の状態にのみ初期値が与えられることにより、与えられる初期値は従来のものと比べ、有意な値である。その結果、最適なＱ値に近似し、収束する可能性が高くなり、学習効率が向上する。特に、学習初期の段階における初期値の設定が、意味を成さない場合は省略されるため、近似されるＱ値との間に大きな差異を生じることがなくなる。
【００１６】
さらに、本発明にかかる強化学習システムは、上記構成に加え、「前記判定手段は、前記報酬が零以外の値を有するか否かを判定する報酬判定基準に従って判定する報酬判定手段と、前記次価値Ｖ’が定義済みか否かを判定する次価値判定基準に従って判定する次価値判定手段と」を具備するものであっても構わない。
【００１７】
したがって、本発明の強化学習システムによれば、報酬判定手段及び次Ｑ値判定手段を個々に有して形成されている。これにより、双方の基準に基づく判定によって、強化学習のアルゴリズムを、未学習、初期化、及び学習のそれぞれの処理に的確に分類することが可能となり、特に、学習初期の段階における学習効率を飛躍的に向上させることができる。
【００１８】
一方、本発明にかかる強化学習プログラムは、「行動価値関数または状態価値関数を含む価値関数を示す価値Ｖの初期値を未定義に設定する未定義設定手段、強化学習を行う学習対象のエージェントの状態を観測する状態観測手段、前記状態における前記エージェントの行動を出力する行動出力手段、出力された前記行動によって遷移する前記エージェントの次状態を観測する次状態観測手段、前記次状態に遷移した前記エージェントに報酬ｒを提供する報酬提供手段、前記報酬、及び前記次状態における前記価値関数を示す次価値Ｖ’を、予め規定された判定基準に従って判定する判定手段、前記判定手段の前記判定基準に従って、前記報酬が零及び前記次価値Ｖ’が未定義であると判定されると、前記の学習処理または初期化処理をキャンセルする未学習手段、前記状態における前記価値Ｖを第二判定基準に従って判定する第二判定手段、前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが定義済みであると判定されると、次式：
【数１４】
（α：ステップサイズ、γ：割引率）
に基づいて、前記価値Ｖを更新し、学習する学習手段、前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが未定義であると判定されると、次式：
【数１５】
に基づいて、前記価値Ｖを初期化する初期化手段、及び前記判定手段、前記初期化手段、及び前記学習手段のいずれか一つの処理が行われた前記次状態を前記状態に更新する状態更新手段として、強化学習コンピュータを機能させる」ものから主に構成されている。
【００１９】
さらに、本発明にかかる強化学習プログラムは、上記構成に加え、「前記報酬が零以外の値を有するか否かを判定する報酬判定基準に従って判定する報酬判定手段、及び、前記次価値Ｖ’が定義済みか否かを判定する次価値判定基準に従って判定する次価値判定手段を有する前記判定手段として、前記強化学習コンピュータをさらに機能させる」ものであっても構わない。
【００２０】
したがって、本発明の強化学習プログラムによれば、プログラムを実行することにより、強化学習コンピュータは、上述した強化学習システムにおける優れた作用を奏することが可能となる。
【発明の効果】
【００２１】
本発明の効果として、最初に価値関数を示すＱ値を未定義に設定することにより、従来のように近似された価値からの学習初期段階における初期値の大幅な逸脱を防ぐことができる。その結果、学習初期における学習時間を短縮し、エージェントの学習効率を大幅に増大することができる。さらに、判定手段及び第二判定手段によって、それぞれの状態（状況）に応じて、強化処理を未学習、初期化、及び学習の三態様の処理を実施することが可能となり、価値の更新が従来と比して効率的に行われるようになる。その結果、学習効率が向上し、従来のＱ学習等の価値関数を最適価値関数へ漸近する学習方式に比してＱ値を最適な値に近似し、収束させるための時間を大幅に短縮することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の一実施形態である強化学習システム１について、図１乃至図７に基づいて説明する。ここで、図１は本実施形態の強化学習システム１に使用される強化学習コンピュータ２の機能的構成を示すブロック図であり、図２は強化学習システム１における学習手順３（学習アルゴリズム）を表現した説明図であり、図３は判定手段２０及び第二判定手段２３の判定に基づいて実施される処理を一覧表形式に分類した説明図であり、図４は強化学習コンピュータ２の処理の流れを示すフローチャートであり、図５は（ａ）１００×１００のグリッドワールド４、及び（ｂ）Ｑ値データ２９の一例を示す説明図であり、図６は強化学習システム１及びＱ学習システム５のシミュレーション結果を比較したグラフである。
【００２３】
ここで、本実施形態の強化学習システム１は、従来のＱ学習を基にして適用されたものについて例示している。そして、強化学習コンピュータ２は、予めハードディスク等の記憶媒体（記憶手段３２等）に記憶された強化学習プログラム６を実行し、機能させるが過可能に構築されている。また、強化学習プログラム６は、図２に示す学習手順３及び図３に示す判定基準１９，２３ａに従って強化学習システム１を機能させるようにプログラムされている。加えて、図１乃至図６の一部において、Ｑ値１１をＱ（ｓ，ａ）、次Ｑ値１８をＱ（ｓ’，ａ）と便宜的に示している。
【００２４】
さらに、詳細に説明すると、本実施形態の強化学習システム１は、図１に示されるように、種々の演算処理及び記憶処理等を実行可能な強化学習コンピュータ２によって構成されている。ここで、強化学習コンピュータ２は、周囲の環境Ｅの状態ｓを観測し、該観測結果に応じて所定の行動ａを出力するように制御可能なエージェント１３と接続している。なお、本実施形態では、該エージェント１３はコンピュータ上に仮想的に構築されたグリッドワールド４内を移動可能な仮想体として存在している。ここで、係るエージェント１３は、例えば、複数のセンサ（例えば、視覚センサ等）を備え、駆動走行手段によって自律的に移動可能な自律移動型ロボットのような実体物を利用し、周囲の環境Ｅに対する行動を適宜出力するものを用いるものであっても構わない。
【００２５】
さらに、強化学習コンピュータ２は、その他の機能的構成として、図１に主に示すように、最適行動価値関数Ｑ値１１の初期値を未定義に設定する未定義設定手段１２と、強化学習の行われるエージェント１３の周囲の環境Ｅに対する状態ｓ（ここでは、後述するグリッドワールド４における位置）を観測（認識）する状態観測手段１４と、状態ｓにおけるエージェント１３の行動を予め規定された複数の行動基準の中から選択し、該行動ａを出力する行動出力手段１５と、行動ａによって状態ｓから遷移するエージェント１３の次状態ｓ’を観測する次状態観測手段１６と、次状態ｓ’に遷移したエージェント１３に報酬ｒを提供する報酬提供手段１７と、報酬ｒ及び次状態ｓ’に従って判定をする判定手段２０と、判定基準１９に従って、報酬ｒの値が零及び次Ｑ値１８が未定義状態であると判定手段２０によって判定がされると、Ｑ値１１の更新による学習処理及びＱ値１１の初期化処理のいずれもをキャンセルし、”学習しない状態にする”未学習処理を行う未学習手段２１と、状態ｓにおけるＱ値１１を第二判定基準２３ａに従って判定する第二判定手段２３と、第二判定手段２３の第二判定基準２３ａに従って、Ｑ値１１が定義済みと判定されると、式Ａ（図４及び式（１）等参照）に基づいて、Ｑ値を更新する処理を行い、学習を実施する学習手段２４と、Ｑ値が未定義と判定されると、式Ｂ（図４及び式（２）等参照）に基づいて、Ｑ値１１を初期化する初期化手段２５と、未学習、学習、及び初期化のいずれか一つの処理が実行された後、前出の次状態ｓ’を状態ｓに更新する状態更新手段２６とを具備して主に構成されている。
【００２６】
なお、判定手段２０は、報酬判定基準２７ａに従って、報酬ｒが零以外の値を有するか否かを判定する報酬判定手段２７と、次Ｑ値判定基準２８ａに従って、次Ｑ値１８が定義済みか否かを判定する次Ｑ値判定手段２８とを含んで構成されている。加えて、強化学習コンピュータ２は、その他の機能的構成として、定義済み、未定義、初期化、及び更新されたＱ値１１及び次Ｑ値１８を記憶し、テーブル化した状態で保持するＱ値データ２９（図５（ｂ）参照）、観測された状態ｓ及び次状態ｓ’を記憶し、エージェント１３の状態ｓ及び行動の履歴を蓄積し、保持する状態データ３０、及び報酬ｒを記憶し、保持する報酬データ３１をまとめて記憶する記憶手段３２とを具備している。ここで、記憶手段３２には、強化学習コンピュータ２を強化学習システム１として機能させるための強化学習プログラム６が併せて記憶され、プログラム実行手段３３に基づいて実行可能となっている。ここで、次Ｑ値判定基準２８ａが本発明の次価値判定基準に相当し、次Ｑ値判定手段２８が本発明の次価値判定手段に相当する。
【００２７】
ここで、本実施形態の強化学習システム１に使用される強化学習コンピュータ２は、本実施形態においては、市販の汎用コンピュータが利用され、上述した、各々の手段は各ＣＰＵを主として構成する演算処理回路に基づいて、係る機能を発揮することが可能に形成されている。なお、記憶手段３２は、ハードディスク等の固定記憶媒体、或いは半導体メモリ等の不揮発性の記憶媒体を用いることが可能であり、エージェント１３の行動ａ等の種々の情報を逐次、記憶することができる。なお、上述した自律移動型ロボットの場合、上記強化学習コンピュータ２の構成を、該自律移動型ロボットの内部の制御回路に構築するようにしたものであってもよい。
【００２８】
次に、強化学習コンピュータ２によってシミュレートされる強化学習システム１の一例を主に図４及び図５に基づいて説明する。ここで、図５（ａ）に示すように、本実施形態の強化学習システム１のために、”１００×１００”に上下左右が仕切られた仮想的な空間（グリッドワールド４に相当）を想定する。すなわち、グリッドワールド４には、グリッド位置Ｍ１（スタート地点Ｓに相当）からグリッド位置Ｍ１００００（ゴール地点Ｇに相当）までの１００００個のグリッドが存在している。このとき、エージェント１３が左下角のスタート地点Ｓから右上角のゴール地点Ｇに到達するまでの最短のステップ数は、＜上＞方向に９９ステップ、＜右方向＞に９９ステップ移動するものであり、１９８ステップである。また、エージェント１３は、スタート地点Ｓから出発し、ゴール地点Ｇに到達した時に、初めて”０”以外の実数値の報酬ｒを獲得することができ、それ以外の場合、報酬ｒとして”０”を獲得するものと、本実施形態では規定する。そして、スタート地点Ｓからゴール地点Ｇに到達するまでのエージェント１３が採る行動ａに基づいて、Ｑ値の更新及び初期化等の処理を繰り返すことにより、上述した１９８ステップの最短数に収束するように学習することができる。なお、本実施形態では、スタート地点Ｓからゴール地点Ｇまでを１エピソードとしている。また、図４におけるステップＳ１からステップＳ１０の処理が本発明の強化学習プログラムに相当する。
【００２９】
まず、記憶手段３２に格納された強化学習プログラム６をプログラム実行手段３３によって実行し、強化学習コンピュータ２を機能させ、グリッドワールド４上に強化学習システム１を構築させる。そして、まず記憶手段３２のＱ値データ２９にテーブル化して記憶されるＱ値１１の初期値を未定義の状態に設定する（ステップＳ１）。これにより、エージェント１３のおかれた状態ｓにおける価値を示す最適行動価値関数の値が定義されない状態となる。その後、エージェント１３の状態ｓを観測する（ステップＳ２）。ここで、本実施形態の強化学習システム１では、状態ｓとしてエージェント１３が存在するグリッドワールド４上の位置が観測される。さらに、エージェント１３が当該状態ｓから遷移する行動ａを出力する（ステップＳ３）。このとき、図５（ａ）に示すように、仮想的に構築されたグリッドワールド４内では、エージェント１３は、現在の状態ｓの位置を示すグリッドから上下左右の四方向の中からいずれか一方向に進むことが可能に定義されている。
【００３０】
すなわち、図５（ａ）の状態では、エージェント１３はグリッドＭ３０３に位置し（状態ｓに相当）、上方向（グリッドＭ４０３）、下方向（グリッドＭ２０３）、左方向（グリッドＭ３０２）、及び右方向（グリッドＭ３０４）に移動可能（行動ａ）となっている。このとき、初期の状態ではＱ値１１が未定義に設定されるため、どの方向に進むことによって最も速くゴール地点Ｇに到達することができるかを示す価値を有するＱ値１１は有していない。係る場合は、四方向の中から一方向（ここでは、「上方向：グリッドＭ４０３方向に相当）に、任意に行動ａによって移動することができる。そして、行動ａによって遷移した新たな位置（グリッドＭ４０３）における次状態ｓ’を観測する（ステップＳ４）。その後、行動ａに対し、次状態ｓ’に遷移したことにより、報酬ｒをエージェント１３は獲得し（ステップＳ５）、記憶手段３２の報酬データ３１に記憶される。
【００３１】
さらに、強化学習コンピュータ２は、観測された状態ｓ、次状態ｓ’、及び報酬ｒの値を利用して適宜判定の処理を行う（ステップＳ６、またはステップＳ７）。ここで、判定手段２０によって、報酬ｒが零以外の値を有する、または遷移した次状態ｓ’における次Ｑ値１８が定義済みのいずれか一方である場合（ステップＳ６においてＹＥＳ）、第二判定手段２３に基づいた判定を実施する（ステップＳ７１）。一方、報酬ｒが零、かつ、次Ｑ値１８が未定義の状態の双方の条件に合致する場合（ステップＳ６においてＮＯ）、後述する学習処理または初期化処理を実施することなく、ステップＳ７乃至ステップＳ８の処理をキャンセルし、ステップＳ１０の処理に移行する。すなわち、”ステップＳ６におけるＮＯの処理”が、本発明における未学習手段２１に相当する。
【００３２】
さらに、強化学習コンピュータ２は、報酬ｒが零以外の値、または遷移した次状態ｓ’における次Ｑ値１８が定義済みのいずれか一方の条件に合致する場合（ステップＳ６においてＹＥＳ）、状態ｓにおけるＱ値１１の判定を第二判定基準２３ａに従って判定する。ここで、Ｑ値１１が定義済みである場合（ステップＳ７においてＹＥＳ）、図４の式Ａに従ってＱ値１１を更新する（ステップＳ８）。係る場合、右辺第１項の現在の状態ｓにおけるＱ値１１を示すＱ（ｓ，ａ）と、右辺第２項の報酬ｒまたは次Ｑ値１８を示すＱ（ｓ’，ａ）のいずれか一方とが有意性をなし、問題に対する解を有することになる。その結果、Ｑ値を更新し、学習が行われる。一方、Ｑ値１１が未定義の場合（ステップＳ７においてＮＯ）、式Ａにおける右辺第１項が有意性を持たないため、式Ｂに従ってＱ値１１を初期化する（ステップＳ９）。これにより、有意性を持つ値がＱ値の初期値として設定される。そして、学習処理（ステップＳ８）、初期化処理（ステップＳ９）、または未学習処理（ステップＳ６におけるＮＯ）を経た後、次状態ｓ’を状態ｓに更新する処理が行われる（ステップＳ１０）。その後、ステップＳ３の処理に戻り、行動ａの出力（ステップＳ３）、次状態ｓ’の観測（ステップＳ４）、及び報酬ｒの獲得（ステップＳ５）の処理を繰返し行う。
【００３３】
これにより、エージェント１３は、複数回のエピソードを経験することにより、未定義の状態に設定された各グリッド毎（グリッドＭ１〜グリッドＭ１００００）に対応するＱ値１１を徐々に更新し、テーブル化されたＱ値データ２９（図５（ｂ）参照）に逐次記憶することができる。これにより、エージェント１３は、Ｑ値１１に基づいて最適な行動ａを決定し、スタート地点Ｓからゴール地点Ｇに到達するのに適する状態ｓ’に遷移することができる。
【００３４】
ここで、本実施形態の強化学習システム１における効果を、従来のＱ学習システム５と比較したものを示す。図６は上述した１００×１００のグリッドワールド４を利用して、スタート地点Ｓからゴール地点Ｇに到達するまでのシミュレーションを行った結果を比較したグラフである。ここで、グラフ縦軸がスタート地点Ｓからゴール地点Ｇに到達するまでに要した各エピソードに対するステップ数を示し、グラフ横軸がエピソード数を示している。このグラフにより、本実施形態の強化学習システム１を採用した場合、約５００エピソードを越えると、ほぼ最短ステップ数の１９８ステップに値が収束することが示された。一方、従来のＱ学習システム５の場合、徐々に１９８ステップに収束するようにステップ数が減少する傾向は見られるものの、１０００エピソードを越えても、本発明の強化学習システム１のように１９８ステップに収束することがない。特に、学習初期の段階では、その学習効率の速さは著しく、約１００エピソードの場合、本システム１は約３０００ステップ以下であるのに対し、Ｑ学習システム５では約１５０００ステップを必要としている。このため、本発明の強化学習システム１の有用性を示すことができる。
【００３５】
以上、本発明について好適な実施形態を挙げて説明したが、本発明はこれらの実施形態に限定されるものではなく、以下に示すように、本発明の要旨を逸脱しない範囲において、種々の改良及び設計の変更が可能である。
【００３６】
すなわち、本実施形態において、強化学習システム１の効果を確認するために、仮想的に構築されたグリッドワールド４を用いるものを示したが、これに限定されるものではなく、前述した自律移動型ロボットに強化学習システム１を適用するものであっても構わない。これにより、周囲の環境Ｅの状況に応じて各行動ａを出力する自律移動型ロボットは、初期の段階で速やかに学習が進行し、従来のＱ学習システム５に比べ、短いエピソード数で最適の行動ａを採るような制御を行うことができるようになる。
【図面の簡単な説明】
【００３７】
【図１】強化学習システムに使用される強化学習コンピュータの機能的構成を示すブロック図である。
【図２】強化学習システムにおける学習手順を表現した説明図である。
【図３】判定手段及び第二判定手段の判定に基づいて実施される処理を一覧表形式に分類した説明図である。
【図４】強化学習コンピュータの処理の流れを示すフローチャートである。
【図５】（ａ）１００×１００のグリッドワールド、及び（ｂ）Ｑ値データの一例を示す説明図である。
【図６】本実施形態の強化学習システム及びＱ学習システムのシミュレーション結果を比較したグラフである。
【図７】従来のＱ学習システムの処理の流れを示すフローチャートである。
【符号の説明】
【００３８】
１ 強化学習システム
２ 強化学習コンピュータ
６ 強化学習プログラム
１１ Ｑ値（Ｑ（ｓ，ａ）、価値）
１２ 未定義設定手段
１３ エージェント
１４ 状態観測手段
１５ 行動出力手段
１６ 次状態観測手段
１７ 報酬提供手段
１８ 次Ｑ値（Ｑ（ｓ’，ａ）、次価値）
１９ 判定基準
２０ 判定手段
２１ 未学習手段
２３ 第二判定手段
２３ａ 第二判定基準
２４ 学習手段
２５ 初期化手段
２６ 状態更新手段
２７ 報酬判定手段
２７ａ 報酬判定基準
２８ 次Ｑ値判定手段（次価値判定手段）
２８ａ 次Ｑ値判定基準（次価値判定基準）
ａ 行動
Ｅ 環境
ｒ 報酬
ｓ 状態
ｓ’ 次状態
【技術分野】
【０００１】
本発明は、強化学習システム、及び強化学習プログラムに関するものであり、特に、二足歩行型ロボットや惑星探査に利用される探査装置等のように、周囲環境の変化や発生する種々の事象を体験または経験し、ロボット等が学習によって自律的に行動を決定することが可能な強化学習を実施するための強化学習システム、及び強化学習プログラムに関するものである。
【背景技術】
【０００２】
従来からロボット等の自律的な制御を可能とするために、所謂「強化学習」と呼ばれる学習手法が用いられることがある（例えば、非特許文献１参照）。ここで、「強化学習」は、一般に学習対象（エージェント）が、ある環境の中を無作為的に行動し、その結果として目標に到達することによって初めて報酬を得るものである。そして、次エピソードの際に、エージェントが以前に経験したエピソードと同一の状況に遭遇した場合、以前の経験に基づいて報酬を得る可能性の高い行動を選択する可能性が高くなる。そして、エージェントが報酬を得るエピソードを繰返すことにより、最終的に全ての状態（場面）において、報酬を得ることが可能な最適な行動を選択するように学習をすることができる。
【０００３】
ここで、強化学習において、最も代表的な例として「Ｑ学習（Ｑ−Ｌｅａｒｎｉｎｇ）」と呼ばれる学習手法が知られている。Ｑ学習は、予め初期値が与えられた最適行動価値関数を示すＱ値を直接的に近似するものであり、強化学習が実施される環境における全状態数と全可能行動数とを掛け合わせた積によって示されるものである。
【０００４】
このとき、エージェントの学習（換言すれば、Ｑ値の更新）は、下記に示す式（５）によって行われる。ここで、Ｑ（ｓ，ａ）（Ｑ値に相当）は、状態ｓにおける行動ａの価値を示し、αは学習のステップサイズ、γは割引率、ｒは報酬、Ｔは目標値を表している。具体的に示すと、Ｑ学習システムは、図７に示すように、最適行動価値関数を示すＱ値の全てを所定の値に初期化（例えば、全てのテーブルに対し、Ｑ＝０を与える等）し（ステップＴ１）、その後、学習対象となるエージェントの状態ｓを観測する（ステップＴ２）。さらに、当該エージェントの状態ｓからの行動ａを出力する（ステップＴ３）。そして、行動ａの結果に基づく次状態ｓ’を観測し（ステップＴ４）、報酬ｒを獲得する（ステップＴ５）。その後、下記の式（５）を利用し、学習（Ｑ値の更新）がなされる（ステップＴ６）。そして、次状態ｓ’を状態ｓに置換する処理を行う（ステップＴ７）。そして、再びステップＴ３の処理に戻り、エージェントの学習を継続する。その結果、個々の行動ａに対して、Ｑ値が更新され、エージェントが目標に到達し、報酬ｒを得るまでの過程（エピソードに相当）を複数回に亘って繰り返すことにより、ステップサイズαに基づいて徐々に最適なＱ値に近似するようになる。これにより、Ｑ値の更新によって、学習初期の段階に比べ、目標に到達するまでの所要時間や所要行動数等を短縮することができる。
【０００５】
【数５】
【０００６】
【非特許文献１】Ｒｉｃｈａｒｄ Ｓ．Ｓｕｔｔｏｎ・Ａｎｄｒｅｗ Ｇ．Ｂａｒｔｏ著、三上 貞芳・皆川 雅章訳、「強化学習」、第１版、森北出版、２０００年１２月２０日
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述したＱ学習を用いた強化学習の場合、その学習速度の遅さ、特に学習初期の段階における学習効率が悪いことが問題であった。すなわち、上述の式（５）によるＱ学習の基本式によれば、ステップサイズα（０＜α＜１）は、学習の速度を決定するためのパラメータであり、Ｑ値の更新の効率を決定するものである。ところが、ステップサイズαは、０＜α＜１の範囲で与えられる数値であり、第１式右辺第１項に比べ、Ｑ値全体に対する右辺第２項の値は極めて小さくなる。そのため、Ｑ値全体において、第１式右辺第１項は支配的となり、得られた報酬がＱ値全体に反映することは非常に小さかった。その結果、近似されたＱ値を得ようとする場合、エージェントは非常に多くの経験（エピソード）を繰返す必要があった。特に、Ｑ値から大幅に離れた初期値が設定された場合には、学習に要する時間が多くなり、特にエージェントの状態数が増加することによって、必要となる学習時間は指数関数的に増大する結果となった。
【０００８】
また、式（５）における目標値Ｔを算出するための第２式では、右辺第２項（ステップサイズαを除く）の値も、学習開始の段階では任意の初期値が与えられることがあった。そのため、仮に与えれる初期値が正確である保証はなく、目標値Ｔに到達させるために、エージェントを繰返し行動させることに何の意味を伴わないケースもあった。
【０００９】
そこで、本発明は、上記実情に鑑み、学習初期の段階におけるエージェントの学習速度を飛躍的に向上させることが可能な強化学習システム、及び強化学習プログラムを提供することを課題とするものである。
【００１０】
上記の課題を解決するため、本発明にかかる強化学習システムは、「行動価値関数または状態価値関数を含む価値関数を示す価値Ｖの初期値を未定義に設定する未定義設定手段と、強化学習を行う学習対象のエージェントの状態を観測する状態観測手段と、前記状態における前記エージェントの行動を出力する行動出力手段と、出力された前記行動によって遷移する前記エージェントの次状態を観測する次状態観測手段と、前記次状態に遷移した前記エージェントに報酬ｒを提供する報酬提供手段と、前記報酬、及び前記次状態における前記価値関数を示す次価値Ｖ’を、予め規定された判定基準に従って判定する判定手段と、前記判定手段の前記判定基準に従って、前記報酬が零及び前記次価値Ｖ’が未定義であると判定されると、前記の学習処理または初期化処理をキャンセルする未学習手段と、前記状態における前記価値Ｖを第二判定基準に従って判定する第二判定手段と、前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが定義済みであると判定されると、次式：
【数６】
（α：ステップサイズ、γ：割引率）
に基づいて、前記価値Ｖを更新し、学習する学習手段と、前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが未定義であると判定されると、次式：
【数７】
に基づいて、前記価値Ｖを初期化する初期化手段と、前記判定手段、前記初期化手段、及び前記学習手段のいずれか一つの処理が行われた前記次状態を前記状態に更新する状態更新手段と」を主に具備して構成されている。
【００１１】
なお、本発明の強化学習システムを「ＴＤ学習」に適用する場合には、上記式（６）を下記の式（８）に置換して用い、式（７）を式（９）に置換して用いることが可能である。また、「Ｓａｒｓａ」に適用する場合には、式（６）を下記の式（１０）に置換して用い、式（７）を式（１１）に置換して用いることが可能である。さらに、「Ｑ学習」に適用する場合には、式（６）を下記の式（１２）に置換して用い、式（７）を式（１３）に置換して用いることが可能である。すなわち、本発明は、価値関数（行動価値関数及び状態価値関数等を含む）を最適価値関数へ漸近する学習方式を採用する強化学習に適用することが可能である。なお、ＴＤ学習の場合、状態価値関数Ｖ（ｓ）が価値関数に相当し、次価値は「状態価値」に相当する。また、Ｓａｒｓａの場合、次価値は「実際に行動した行動価値」に相当し、Ｑ学習の場合、次価値は「最大の行動価値」に相当する。なお、請求項及び式（６）及び式（７）において便宜上、行動価値関数を示すＱ値によって表現しているが、状態価値関数Ｖ（ｓ）で上記式（６）及び式（７）を表すものであっても構わない（式（８）及び式（９）参照）。なお、説明を簡略化するため、以下はＱ学習に適用した場合について説明を行うものとする。
【数８】
【数９】
【数１０】
【数１１】
【数１２】
【数１３】
【００１２】
したがって、本発明の強化学習システムによれば、Ｑ値の初期値が予め定義された任意の値（例えば、Ｑ＝０等）に設定されるものではなく、未定義の状態に設定される。そして、係る設定条件に基づいて、エージェントの現在の状態を観測し、行動を出力する。さらに、当該行動の結果として遷移したエージェントの次状態を観測し、係る行動による報酬をエージェントに提供する。なお、現在の状態の観測から報酬を提供するまでの一連の処理は、従来のＱ学習において実施されるものと同様である。その後、判定手段の判定基準によってそれまでの処理が判定される。
【００１３】
ここで、判定手段では、獲得した報酬が零以外の値を有するか否か、及び次Ｑ値が定義済み若しくは未定義かの判定が行われる。このとき、従来のＱ学習においては、報酬はエージェントが目標（ゴール）に到達した際に初めて供与されるように設定されていることが多い。すなわち、報酬が零の場合、エージェントは目標に未到達の状態を示すことになり、かつ、次状態の次Ｑ値が未定義の場合は、式（６）における右辺第２項は、”目標値が問題の解に対する情報を含んでいない”こととなる。そのため、係る状況が判定手段によって判定されると、学習しない（未学習）の処理が行われる。すなわち、双方の基準のいずれか一方でも条件をクリアすることにより、事後の学習処理または初期化処理のいずれかが行われる。
【００１４】
そして、判定手段の判定基準に従って、”報酬が零以外の値を有する”及び／または”次Ｑ値が定義済みである”のいずれか一方の条件でも満たす場合、第二判定手段によって現在の状態におけるＱ値を対象とした判定が行われる。このとき、現在の状態の価値（Ｑ値）が未定義であると判定される場合、式（７）に基づいてＱ値の初期化が行われる。すなわち、式（６）における右辺第１項は、Ｑ値が未定義であるため、無意味となる。そこで、式（７）に示すように、獲得した報酬の値と、Ｑ値が最大となる値を利用して初期化が図られる。これにより、Ｑ値が定義された状態となる。一方、Ｑ値が定義済みの場合、式（６）における右辺第１項及び右辺第２項のいずれもが意味を有する、換言すれば、”目標値が問題の解に対する情報を含んでいる”こととなる。
【００１５】
そのため、式（６）を利用して、Ｑ値の更新（＝学習）する処理が行われる。その後、遷移した次状態を新たな状態に更新し、状態の観測→行動の出力→次状態の観測→報酬の獲得→判定（判定手段及び／または第二判定手段）→未学習・初期化・学習処理がエピソード毎に繰返し実施される。これにより、エージェントの学習が進行する。このとき、Ｑ値を更新する際に意味を有しないケースの場合（報酬＝０、かつ次Ｑ値が未定義）、学習がキャンセルされる。そのため、最適なＱ値に徐々に近似する際に、任意に設定された初期値によって学習回数を無駄にすることがなくなる。さらに、報酬が零以外の値を有し、Ｑ値が未定義の状態にのみ初期値が与えられることにより、与えられる初期値は従来のものと比べ、有意な値である。その結果、最適なＱ値に近似し、収束する可能性が高くなり、学習効率が向上する。特に、学習初期の段階における初期値の設定が、意味を成さない場合は省略されるため、近似されるＱ値との間に大きな差異を生じることがなくなる。
【００１６】
さらに、本発明にかかる強化学習システムは、上記構成に加え、「前記判定手段は、前記報酬が零以外の値を有するか否かを判定する報酬判定基準に従って判定する報酬判定手段と、前記次価値Ｖ’が定義済みか否かを判定する次価値判定基準に従って判定する次価値判定手段と」を具備するものであっても構わない。
【００１７】
したがって、本発明の強化学習システムによれば、報酬判定手段及び次Ｑ値判定手段を個々に有して形成されている。これにより、双方の基準に基づく判定によって、強化学習のアルゴリズムを、未学習、初期化、及び学習のそれぞれの処理に的確に分類することが可能となり、特に、学習初期の段階における学習効率を飛躍的に向上させることができる。
【００１８】
一方、本発明にかかる強化学習プログラムは、「行動価値関数または状態価値関数を含む価値関数を示す価値Ｖの初期値を未定義に設定する未定義設定手段、強化学習を行う学習対象のエージェントの状態を観測する状態観測手段、前記状態における前記エージェントの行動を出力する行動出力手段、出力された前記行動によって遷移する前記エージェントの次状態を観測する次状態観測手段、前記次状態に遷移した前記エージェントに報酬ｒを提供する報酬提供手段、前記報酬、及び前記次状態における前記価値関数を示す次価値Ｖ’を、予め規定された判定基準に従って判定する判定手段、前記判定手段の前記判定基準に従って、前記報酬が零及び前記次価値Ｖ’が未定義であると判定されると、前記の学習処理または初期化処理をキャンセルする未学習手段、前記状態における前記価値Ｖを第二判定基準に従って判定する第二判定手段、前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが定義済みであると判定されると、次式：
【数１４】
（α：ステップサイズ、γ：割引率）
に基づいて、前記価値Ｖを更新し、学習する学習手段、前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが未定義であると判定されると、次式：
【数１５】
に基づいて、前記価値Ｖを初期化する初期化手段、及び前記判定手段、前記初期化手段、及び前記学習手段のいずれか一つの処理が行われた前記次状態を前記状態に更新する状態更新手段として、強化学習コンピュータを機能させる」ものから主に構成されている。
【００１９】
さらに、本発明にかかる強化学習プログラムは、上記構成に加え、「前記報酬が零以外の値を有するか否かを判定する報酬判定基準に従って判定する報酬判定手段、及び、前記次価値Ｖ’が定義済みか否かを判定する次価値判定基準に従って判定する次価値判定手段を有する前記判定手段として、前記強化学習コンピュータをさらに機能させる」ものであっても構わない。
【００２０】
したがって、本発明の強化学習プログラムによれば、プログラムを実行することにより、強化学習コンピュータは、上述した強化学習システムにおける優れた作用を奏することが可能となる。
【発明の効果】
【００２１】
本発明の効果として、最初に価値関数を示すＱ値を未定義に設定することにより、従来のように近似された価値からの学習初期段階における初期値の大幅な逸脱を防ぐことができる。その結果、学習初期における学習時間を短縮し、エージェントの学習効率を大幅に増大することができる。さらに、判定手段及び第二判定手段によって、それぞれの状態（状況）に応じて、強化処理を未学習、初期化、及び学習の三態様の処理を実施することが可能となり、価値の更新が従来と比して効率的に行われるようになる。その結果、学習効率が向上し、従来のＱ学習等の価値関数を最適価値関数へ漸近する学習方式に比してＱ値を最適な値に近似し、収束させるための時間を大幅に短縮することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明の一実施形態である強化学習システム１について、図１乃至図７に基づいて説明する。ここで、図１は本実施形態の強化学習システム１に使用される強化学習コンピュータ２の機能的構成を示すブロック図であり、図２は強化学習システム１における学習手順３（学習アルゴリズム）を表現した説明図であり、図３は判定手段２０及び第二判定手段２３の判定に基づいて実施される処理を一覧表形式に分類した説明図であり、図４は強化学習コンピュータ２の処理の流れを示すフローチャートであり、図５は（ａ）１００×１００のグリッドワールド４、及び（ｂ）Ｑ値データ２９の一例を示す説明図であり、図６は強化学習システム１及びＱ学習システム５のシミュレーション結果を比較したグラフである。
【００２３】
ここで、本実施形態の強化学習システム１は、従来のＱ学習を基にして適用されたものについて例示している。そして、強化学習コンピュータ２は、予めハードディスク等の記憶媒体（記憶手段３２等）に記憶された強化学習プログラム６を実行し、機能させるが過可能に構築されている。また、強化学習プログラム６は、図２に示す学習手順３及び図３に示す判定基準１９，２３ａに従って強化学習システム１を機能させるようにプログラムされている。加えて、図１乃至図６の一部において、Ｑ値１１をＱ（ｓ，ａ）、次Ｑ値１８をＱ（ｓ’，ａ）と便宜的に示している。
【００２４】
さらに、詳細に説明すると、本実施形態の強化学習システム１は、図１に示されるように、種々の演算処理及び記憶処理等を実行可能な強化学習コンピュータ２によって構成されている。ここで、強化学習コンピュータ２は、周囲の環境Ｅの状態ｓを観測し、該観測結果に応じて所定の行動ａを出力するように制御可能なエージェント１３と接続している。なお、本実施形態では、該エージェント１３はコンピュータ上に仮想的に構築されたグリッドワールド４内を移動可能な仮想体として存在している。ここで、係るエージェント１３は、例えば、複数のセンサ（例えば、視覚センサ等）を備え、駆動走行手段によって自律的に移動可能な自律移動型ロボットのような実体物を利用し、周囲の環境Ｅに対する行動を適宜出力するものを用いるものであっても構わない。
【００２５】
さらに、強化学習コンピュータ２は、その他の機能的構成として、図１に主に示すように、最適行動価値関数Ｑ値１１の初期値を未定義に設定する未定義設定手段１２と、強化学習の行われるエージェント１３の周囲の環境Ｅに対する状態ｓ（ここでは、後述するグリッドワールド４における位置）を観測（認識）する状態観測手段１４と、状態ｓにおけるエージェント１３の行動を予め規定された複数の行動基準の中から選択し、該行動ａを出力する行動出力手段１５と、行動ａによって状態ｓから遷移するエージェント１３の次状態ｓ’を観測する次状態観測手段１６と、次状態ｓ’に遷移したエージェント１３に報酬ｒを提供する報酬提供手段１７と、報酬ｒ及び次状態ｓ’に従って判定をする判定手段２０と、判定基準１９に従って、報酬ｒの値が零及び次Ｑ値１８が未定義状態であると判定手段２０によって判定がされると、Ｑ値１１の更新による学習処理及びＱ値１１の初期化処理のいずれもをキャンセルし、”学習しない状態にする”未学習処理を行う未学習手段２１と、状態ｓにおけるＱ値１１を第二判定基準２３ａに従って判定する第二判定手段２３と、第二判定手段２３の第二判定基準２３ａに従って、Ｑ値１１が定義済みと判定されると、式Ａ（図４及び式（１）等参照）に基づいて、Ｑ値を更新する処理を行い、学習を実施する学習手段２４と、Ｑ値が未定義と判定されると、式Ｂ（図４及び式（２）等参照）に基づいて、Ｑ値１１を初期化する初期化手段２５と、未学習、学習、及び初期化のいずれか一つの処理が実行された後、前出の次状態ｓ’を状態ｓに更新する状態更新手段２６とを具備して主に構成されている。
【００２６】
なお、判定手段２０は、報酬判定基準２７ａに従って、報酬ｒが零以外の値を有するか否かを判定する報酬判定手段２７と、次Ｑ値判定基準２８ａに従って、次Ｑ値１８が定義済みか否かを判定する次Ｑ値判定手段２８とを含んで構成されている。加えて、強化学習コンピュータ２は、その他の機能的構成として、定義済み、未定義、初期化、及び更新されたＱ値１１及び次Ｑ値１８を記憶し、テーブル化した状態で保持するＱ値データ２９（図５（ｂ）参照）、観測された状態ｓ及び次状態ｓ’を記憶し、エージェント１３の状態ｓ及び行動の履歴を蓄積し、保持する状態データ３０、及び報酬ｒを記憶し、保持する報酬データ３１をまとめて記憶する記憶手段３２とを具備している。ここで、記憶手段３２には、強化学習コンピュータ２を強化学習システム１として機能させるための強化学習プログラム６が併せて記憶され、プログラム実行手段３３に基づいて実行可能となっている。ここで、次Ｑ値判定基準２８ａが本発明の次価値判定基準に相当し、次Ｑ値判定手段２８が本発明の次価値判定手段に相当する。
【００２７】
ここで、本実施形態の強化学習システム１に使用される強化学習コンピュータ２は、本実施形態においては、市販の汎用コンピュータが利用され、上述した、各々の手段は各ＣＰＵを主として構成する演算処理回路に基づいて、係る機能を発揮することが可能に形成されている。なお、記憶手段３２は、ハードディスク等の固定記憶媒体、或いは半導体メモリ等の不揮発性の記憶媒体を用いることが可能であり、エージェント１３の行動ａ等の種々の情報を逐次、記憶することができる。なお、上述した自律移動型ロボットの場合、上記強化学習コンピュータ２の構成を、該自律移動型ロボットの内部の制御回路に構築するようにしたものであってもよい。
【００２８】
次に、強化学習コンピュータ２によってシミュレートされる強化学習システム１の一例を主に図４及び図５に基づいて説明する。ここで、図５（ａ）に示すように、本実施形態の強化学習システム１のために、”１００×１００”に上下左右が仕切られた仮想的な空間（グリッドワールド４に相当）を想定する。すなわち、グリッドワールド４には、グリッド位置Ｍ１（スタート地点Ｓに相当）からグリッド位置Ｍ１００００（ゴール地点Ｇに相当）までの１００００個のグリッドが存在している。このとき、エージェント１３が左下角のスタート地点Ｓから右上角のゴール地点Ｇに到達するまでの最短のステップ数は、＜上＞方向に９９ステップ、＜右方向＞に９９ステップ移動するものであり、１９８ステップである。また、エージェント１３は、スタート地点Ｓから出発し、ゴール地点Ｇに到達した時に、初めて”０”以外の実数値の報酬ｒを獲得することができ、それ以外の場合、報酬ｒとして”０”を獲得するものと、本実施形態では規定する。そして、スタート地点Ｓからゴール地点Ｇに到達するまでのエージェント１３が採る行動ａに基づいて、Ｑ値の更新及び初期化等の処理を繰り返すことにより、上述した１９８ステップの最短数に収束するように学習することができる。なお、本実施形態では、スタート地点Ｓからゴール地点Ｇまでを１エピソードとしている。また、図４におけるステップＳ１からステップＳ１０の処理が本発明の強化学習プログラムに相当する。
【００２９】
まず、記憶手段３２に格納された強化学習プログラム６をプログラム実行手段３３によって実行し、強化学習コンピュータ２を機能させ、グリッドワールド４上に強化学習システム１を構築させる。そして、まず記憶手段３２のＱ値データ２９にテーブル化して記憶されるＱ値１１の初期値を未定義の状態に設定する（ステップＳ１）。これにより、エージェント１３のおかれた状態ｓにおける価値を示す最適行動価値関数の値が定義されない状態となる。その後、エージェント１３の状態ｓを観測する（ステップＳ２）。ここで、本実施形態の強化学習システム１では、状態ｓとしてエージェント１３が存在するグリッドワールド４上の位置が観測される。さらに、エージェント１３が当該状態ｓから遷移する行動ａを出力する（ステップＳ３）。このとき、図５（ａ）に示すように、仮想的に構築されたグリッドワールド４内では、エージェント１３は、現在の状態ｓの位置を示すグリッドから上下左右の四方向の中からいずれか一方向に進むことが可能に定義されている。
【００３０】
すなわち、図５（ａ）の状態では、エージェント１３はグリッドＭ３０３に位置し（状態ｓに相当）、上方向（グリッドＭ４０３）、下方向（グリッドＭ２０３）、左方向（グリッドＭ３０２）、及び右方向（グリッドＭ３０４）に移動可能（行動ａ）となっている。このとき、初期の状態ではＱ値１１が未定義に設定されるため、どの方向に進むことによって最も速くゴール地点Ｇに到達することができるかを示す価値を有するＱ値１１は有していない。係る場合は、四方向の中から一方向（ここでは、「上方向：グリッドＭ４０３方向に相当）に、任意に行動ａによって移動することができる。そして、行動ａによって遷移した新たな位置（グリッドＭ４０３）における次状態ｓ’を観測する（ステップＳ４）。その後、行動ａに対し、次状態ｓ’に遷移したことにより、報酬ｒをエージェント１３は獲得し（ステップＳ５）、記憶手段３２の報酬データ３１に記憶される。
【００３１】
さらに、強化学習コンピュータ２は、観測された状態ｓ、次状態ｓ’、及び報酬ｒの値を利用して適宜判定の処理を行う（ステップＳ６、またはステップＳ７）。ここで、判定手段２０によって、報酬ｒが零以外の値を有する、または遷移した次状態ｓ’における次Ｑ値１８が定義済みのいずれか一方である場合（ステップＳ６においてＹＥＳ）、第二判定手段２３に基づいた判定を実施する（ステップＳ７１）。一方、報酬ｒが零、かつ、次Ｑ値１８が未定義の状態の双方の条件に合致する場合（ステップＳ６においてＮＯ）、後述する学習処理または初期化処理を実施することなく、ステップＳ７乃至ステップＳ８の処理をキャンセルし、ステップＳ１０の処理に移行する。すなわち、”ステップＳ６におけるＮＯの処理”が、本発明における未学習手段２１に相当する。
【００３２】
さらに、強化学習コンピュータ２は、報酬ｒが零以外の値、または遷移した次状態ｓ’における次Ｑ値１８が定義済みのいずれか一方の条件に合致する場合（ステップＳ６においてＹＥＳ）、状態ｓにおけるＱ値１１の判定を第二判定基準２３ａに従って判定する。ここで、Ｑ値１１が定義済みである場合（ステップＳ７においてＹＥＳ）、図４の式Ａに従ってＱ値１１を更新する（ステップＳ８）。係る場合、右辺第１項の現在の状態ｓにおけるＱ値１１を示すＱ（ｓ，ａ）と、右辺第２項の報酬ｒまたは次Ｑ値１８を示すＱ（ｓ’，ａ）のいずれか一方とが有意性をなし、問題に対する解を有することになる。その結果、Ｑ値を更新し、学習が行われる。一方、Ｑ値１１が未定義の場合（ステップＳ７においてＮＯ）、式Ａにおける右辺第１項が有意性を持たないため、式Ｂに従ってＱ値１１を初期化する（ステップＳ９）。これにより、有意性を持つ値がＱ値の初期値として設定される。そして、学習処理（ステップＳ８）、初期化処理（ステップＳ９）、または未学習処理（ステップＳ６におけるＮＯ）を経た後、次状態ｓ’を状態ｓに更新する処理が行われる（ステップＳ１０）。その後、ステップＳ３の処理に戻り、行動ａの出力（ステップＳ３）、次状態ｓ’の観測（ステップＳ４）、及び報酬ｒの獲得（ステップＳ５）の処理を繰返し行う。
【００３３】
これにより、エージェント１３は、複数回のエピソードを経験することにより、未定義の状態に設定された各グリッド毎（グリッドＭ１〜グリッドＭ１００００）に対応するＱ値１１を徐々に更新し、テーブル化されたＱ値データ２９（図５（ｂ）参照）に逐次記憶することができる。これにより、エージェント１３は、Ｑ値１１に基づいて最適な行動ａを決定し、スタート地点Ｓからゴール地点Ｇに到達するのに適する状態ｓ’に遷移することができる。
【００３４】
ここで、本実施形態の強化学習システム１における効果を、従来のＱ学習システム５と比較したものを示す。図６は上述した１００×１００のグリッドワールド４を利用して、スタート地点Ｓからゴール地点Ｇに到達するまでのシミュレーションを行った結果を比較したグラフである。ここで、グラフ縦軸がスタート地点Ｓからゴール地点Ｇに到達するまでに要した各エピソードに対するステップ数を示し、グラフ横軸がエピソード数を示している。このグラフにより、本実施形態の強化学習システム１を採用した場合、約５００エピソードを越えると、ほぼ最短ステップ数の１９８ステップに値が収束することが示された。一方、従来のＱ学習システム５の場合、徐々に１９８ステップに収束するようにステップ数が減少する傾向は見られるものの、１０００エピソードを越えても、本発明の強化学習システム１のように１９８ステップに収束することがない。特に、学習初期の段階では、その学習効率の速さは著しく、約１００エピソードの場合、本システム１は約３０００ステップ以下であるのに対し、Ｑ学習システム５では約１５０００ステップを必要としている。このため、本発明の強化学習システム１の有用性を示すことができる。
【００３５】
以上、本発明について好適な実施形態を挙げて説明したが、本発明はこれらの実施形態に限定されるものではなく、以下に示すように、本発明の要旨を逸脱しない範囲において、種々の改良及び設計の変更が可能である。
【００３６】
すなわち、本実施形態において、強化学習システム１の効果を確認するために、仮想的に構築されたグリッドワールド４を用いるものを示したが、これに限定されるものではなく、前述した自律移動型ロボットに強化学習システム１を適用するものであっても構わない。これにより、周囲の環境Ｅの状況に応じて各行動ａを出力する自律移動型ロボットは、初期の段階で速やかに学習が進行し、従来のＱ学習システム５に比べ、短いエピソード数で最適の行動ａを採るような制御を行うことができるようになる。
【図面の簡単な説明】
【００３７】
【図１】強化学習システムに使用される強化学習コンピュータの機能的構成を示すブロック図である。
【図２】強化学習システムにおける学習手順を表現した説明図である。
【図３】判定手段及び第二判定手段の判定に基づいて実施される処理を一覧表形式に分類した説明図である。
【図４】強化学習コンピュータの処理の流れを示すフローチャートである。
【図５】（ａ）１００×１００のグリッドワールド、及び（ｂ）Ｑ値データの一例を示す説明図である。
【図６】本実施形態の強化学習システム及びＱ学習システムのシミュレーション結果を比較したグラフである。
【図７】従来のＱ学習システムの処理の流れを示すフローチャートである。
【符号の説明】
【００３８】
１ 強化学習システム
２ 強化学習コンピュータ
６ 強化学習プログラム
１１ Ｑ値（Ｑ（ｓ，ａ）、価値）
１２ 未定義設定手段
１３ エージェント
１４ 状態観測手段
１５ 行動出力手段
１６ 次状態観測手段
１７ 報酬提供手段
１８ 次Ｑ値（Ｑ（ｓ’，ａ）、次価値）
１９ 判定基準
２０ 判定手段
２１ 未学習手段
２３ 第二判定手段
２３ａ 第二判定基準
２４ 学習手段
２５ 初期化手段
２６ 状態更新手段
２７ 報酬判定手段
２７ａ 報酬判定基準
２８ 次Ｑ値判定手段（次価値判定手段）
２８ａ 次Ｑ値判定基準（次価値判定基準）
ａ 行動
Ｅ 環境
ｒ 報酬
ｓ 状態
ｓ’ 次状態
【特許請求の範囲】
【請求項１】
行動価値関数または状態価値関数を含む価値関数を示す価値Ｖの初期値を未定義に設定する未定義設定手段と、
強化学習を行う学習対象のエージェントの状態を観測する状態観測手段と、
前記状態における前記エージェントの行動を出力する行動出力手段と、
出力された前記行動によって遷移する前記エージェントの次状態を観測する次状態観測手段と、
前記次状態に遷移した前記エージェントに報酬ｒを提供する報酬提供手段と、
前記報酬、及び前記次状態における前記価値関数を示す次価値Ｖ’を、予め規定された判定基準に従って判定する判定手段と、
前記判定手段の前記判定基準に従って、前記報酬が零及び前記次価値Ｖ’が未定義であると判定されると、前記の学習処理または初期化処理をキャンセルする未学習手段と、
前記状態における前記価値Ｖを第二判定基準に従って判定する第二判定手段と、
前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが定義済みであると判定されると、次式：
【数１】
（α：ステップサイズ、γ：割引率）
に基づいて、前記価値Ｖを更新し、学習する学習手段と、
前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが未定義であると判定されると、次式：
【数２】
に基づいて、前記価値Ｖを初期化する初期化手段と、
前記判定手段、前記初期化手段、及び前記学習手段のいずれか一つの処理が行われた前記次状態を前記状態に更新する状態更新手段と
を具備することを特徴とする強化学習システム。
【請求項２】
前記判定手段は、
前記報酬が零以外の値を有するか否かを判定する報酬判定基準に従って判定する報酬判定手段と、
前記次価値Ｖ’が定義済みか否かを判定する次価値判定基準に従って判定する次価値判定手段と
をさらに具備して構成されることを特徴とする請求項１に記載の強化学習システム。
【請求項３】
行動価値関数または状態価値関数を含む価値関数を示す価値Ｖの初期値を未定義に設定する未定義設定手段、強化学習を行う学習対象のエージェントの状態を観測する状態観測手段、前記状態における前記エージェントの行動を出力する行動出力手段、出力された前記行動によって遷移する前記エージェントの次状態を観測する次状態観測手段、前記次状態に遷移した前記エージェントに報酬ｒを提供する報酬提供手段、前記報酬、及び前記次状態における前記価値関数を示す次価値Ｖ’を、予め規定された判定基準に従って判定する判定手段、前記判定手段の前記判定基準に従って、前記報酬が零及び前記次価値Ｖ’が未定義であると判定されると、前記の学習処理または初期化処理をキャンセルする未学習手段、前記状態における前記価値Ｖを第二判定基準に従って判定する第二判定手段、前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが定義済みであると判定されると、次式：
【数３】
（α：ステップサイズ、γ：割引率）
に基づいて、前記価値Ｖを更新し、学習する学習手段、前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが未定義であると判定されると、次式：
【数４】
に基づいて、前記価値Ｖを初期化する初期化手段、及び前記判定手段、前記初期化手段、及び前記学習手段のいずれか一つの処理が行われた前記次状態を前記状態に更新する状態更新手段として、強化学習コンピュータを機能させることを特徴とする強化学習プログラム。
【請求項４】
前記報酬が零以外の値を有するか否かを判定する報酬判定基準に従って判定する報酬判定手段、及び、前記次価値Ｖ’が定義済みか否かを判定する次価値判定基準に従って判定する次価値判定手段を有する前記判定手段として、前記強化学習コンピュータをさらに機能させることを特徴とする請求項３に記載の強化学習プログラム。
【請求項１】
行動価値関数または状態価値関数を含む価値関数を示す価値Ｖの初期値を未定義に設定する未定義設定手段と、
強化学習を行う学習対象のエージェントの状態を観測する状態観測手段と、
前記状態における前記エージェントの行動を出力する行動出力手段と、
出力された前記行動によって遷移する前記エージェントの次状態を観測する次状態観測手段と、
前記次状態に遷移した前記エージェントに報酬ｒを提供する報酬提供手段と、
前記報酬、及び前記次状態における前記価値関数を示す次価値Ｖ’を、予め規定された判定基準に従って判定する判定手段と、
前記判定手段の前記判定基準に従って、前記報酬が零及び前記次価値Ｖ’が未定義であると判定されると、前記の学習処理または初期化処理をキャンセルする未学習手段と、
前記状態における前記価値Ｖを第二判定基準に従って判定する第二判定手段と、
前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが定義済みであると判定されると、次式：
【数１】
（α：ステップサイズ、γ：割引率）
に基づいて、前記価値Ｖを更新し、学習する学習手段と、
前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが未定義であると判定されると、次式：
【数２】
に基づいて、前記価値Ｖを初期化する初期化手段と、
前記判定手段、前記初期化手段、及び前記学習手段のいずれか一つの処理が行われた前記次状態を前記状態に更新する状態更新手段と
を具備することを特徴とする強化学習システム。
【請求項２】
前記判定手段は、
前記報酬が零以外の値を有するか否かを判定する報酬判定基準に従って判定する報酬判定手段と、
前記次価値Ｖ’が定義済みか否かを判定する次価値判定基準に従って判定する次価値判定手段と
をさらに具備して構成されることを特徴とする請求項１に記載の強化学習システム。
【請求項３】
行動価値関数または状態価値関数を含む価値関数を示す価値Ｖの初期値を未定義に設定する未定義設定手段、強化学習を行う学習対象のエージェントの状態を観測する状態観測手段、前記状態における前記エージェントの行動を出力する行動出力手段、出力された前記行動によって遷移する前記エージェントの次状態を観測する次状態観測手段、前記次状態に遷移した前記エージェントに報酬ｒを提供する報酬提供手段、前記報酬、及び前記次状態における前記価値関数を示す次価値Ｖ’を、予め規定された判定基準に従って判定する判定手段、前記判定手段の前記判定基準に従って、前記報酬が零及び前記次価値Ｖ’が未定義であると判定されると、前記の学習処理または初期化処理をキャンセルする未学習手段、前記状態における前記価値Ｖを第二判定基準に従って判定する第二判定手段、前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが定義済みであると判定されると、次式：
【数３】
（α：ステップサイズ、γ：割引率）
に基づいて、前記価値Ｖを更新し、学習する学習手段、前記第二判定手段の前記第二判定基準に従って、前記価値Ｖが未定義であると判定されると、次式：
【数４】
に基づいて、前記価値Ｖを初期化する初期化手段、及び前記判定手段、前記初期化手段、及び前記学習手段のいずれか一つの処理が行われた前記次状態を前記状態に更新する状態更新手段として、強化学習コンピュータを機能させることを特徴とする強化学習プログラム。
【請求項４】
前記報酬が零以外の値を有するか否かを判定する報酬判定基準に従って判定する報酬判定手段、及び、前記次価値Ｖ’が定義済みか否かを判定する次価値判定基準に従って判定する次価値判定手段を有する前記判定手段として、前記強化学習コンピュータをさらに機能させることを特徴とする請求項３に記載の強化学習プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００６−３０９５１９（Ｐ２００６−３０９５１９Ａ）
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願番号】特願２００５−１３１５７０（Ｐ２００５−１３１５７０）
【出願日】平成１７年４月２８日（２００５．４．２８）
【出願人】（５０４２３７０５０）独立行政法人国立高等専門学校機構 (656)
【公開日】平成１８年１１月９日（２００６．１１．９）
【国際特許分類】
【出願日】平成１７年４月２８日（２００５．４．２８）
【出願人】（５０４２３７０５０）独立行政法人国立高等専門学校機構 (656)
[ Back to top ]