光パス設定方法および光情報通信システム
【課題】光パス設定のサービス差別化と波長（光パス）有効利用が図れ、実環境で使用できる、複数のオンデマンドでの光パス設定方法と光情報通信システムを提供する。
【解決手段】光パス設定テーブルやリンク情報は、光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、かつ、光パス設定が失敗したときのコストを設定し、報酬およびコストから導出した報酬関数が最大になるように各クラスの光パス設定要求の受け入れ可否を決定して、送信ノードにおける現在のリンク状態から次のリンク状態への最適行動を、報酬関数に基づき強化学習アルゴリズムを用いて導出する。
【解決手段】光パス設定テーブルやリンク情報は、光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、かつ、光パス設定が失敗したときのコストを設定し、報酬およびコストから導出した報酬関数が最大になるように各クラスの光パス設定要求の受け入れ可否を決定して、送信ノードにおける現在のリンク状態から次のリンク状態への最適行動を、報酬関数に基づき強化学習アルゴリズムを用いて導出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光パスを用いてデータ伝送を行うＷＤＭ（Wavelength Division Multiplexing；波長分割多重）ネットワークの光パス設定方法の技術に関するものである。
【背景技術】
【０００２】
ＷＤＭ技術を用いた光ネットワークでは、送受信ノード間に設定された波長（光パス）を用いてデータ伝送する。近年、各ユーザがインターネット上で伝送するデータ量は劇的に増加しており、将来的には各ユーザが１ギガビット／秒程度のデータを伝送することが想定され、オンデマンドで光パスを設定して大容量データを伝送する利用方法の検討が進められている。
【０００３】
オンデマンドでの光パス設定においては、利用料金に応じた複数の光パス設定サービスをユーザに提供するべく、各サービスクラスが設定できる最大光パス数を事前に決定する方法が研究されている（例えば、特許文献１、特許文献２を参照。）。
最大光パス数を事前に決定する方法では、高優先クラスの最大光パス設定数を低優先クラスの最大光パス設定数よりも多くするやり方が行われている。しかし、このやり方では、空き波長が多数存在する場合でも、低優先クラスは決められた光パス設定数以上の光パスを設定することができないため、高優先クラスの光パス設定要求頻度が低優先クラスの光パス設定要求頻度よりも少ない場合には波長利用率が低下し、波長資源が有効利用できないといった問題点がある。
【０００４】
かかる問題を解決するため、マルコフ決定過程（ＭＤＰ：Markov Decision Process）を用いた方法が提案されている。このマルコフ決定過程を用いた方法は、光パスの設定状況に応じて、どのクラスの光パス設定要求を受け入れるべきかを事前に決定するものである。すなわち、マルコフ決定過程によって各ノードがとるべき最適行動を導出し、各ノードは導出された最適行動に従って光パス設定の受け入れ可否を決定する。ここで、最適行動は、マルコフ決定過程において報酬関数に依存するものである。しかし、マルコフ決定過程を用いた方法では、送受信ノード間に設定された波長（光パス）数が大きくなると、報酬関数が収束しないことから、実環境での利用、すなわち、ネットワーク規模が大きくなった場合の利用に困難であるといった問題がある。また、ネットワーク全体のトポロジ情報や各リンク内の波長数などの情報が必要であり、分散環境では使用することができない．
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２７９７６７号公報
【特許文献２】特開２００８−１７２５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、ユーザがオンデマンドで光パスを設定して大容量データを伝送する利用方法において、従来技術では、サービスの差別化を重要視しすぎたり、柔軟性にかけるといった点から波長資源（光パスのチャネル資源）が有効利用できないといった問題点や、ネットワーク規模が大きくなった場合に使用する計算法が利用できないといった問題点があった。
また、従来の方法では、ネットワークトポロジーや使用可能な波長数、トラヒック情報などの収集可能な情報を活用して、光パスを設定することができなかった。
【０００７】
上記状況に鑑みて、本発明は、光パス設定のサービス差別化と波長（光パス）有効利用が図れ、実環境で使用できる、複数のオンデマンドでの光パス設定方法と光情報通信システムを提供することを目的とする。
【０００８】
また、本発明は、ネットワークトポロジーやトラヒック情報など収集可能な情報を活用し得る光パス設定方法を提供することを目的とする。また、ネットワークトポロジーやトラヒック情報などが得られない分散環境においても、同様の効果を提供できることを目的とする．
さらに、本発明は、ネットワーク上の各ノードの波長変換機能に制限がある場合にも適用できる。
【課題を解決するための手段】
【０００９】
上記目的を達成すべく、本発明の第１の観点の光パス設定方法は、波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定方法であって、各ノードには光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、かつ、光パス設定が失敗したときのコストを設定し、報酬およびコストから導出した報酬関数を使用してＱ関数を更新し、現在の状態に対する各行動のＱ値が最大となるように各クラスの光パス設定要求の受け入れ可否を決定して、送信ノードにおける現在のリンク状態から次のリンク状態へのＱ関数を報酬関数に基づき更新する構成とされる。
【００１０】
かかる構成によれば、ＷＤＭ技術を用いた光ネットワークにおいて、サービス品質の異なる複数のオンデマンド光パス設定サービスをユーザに提供でき、かつ、限られた波長資源を有効利用できる。
本発明では、ＷＤＭ技術を用いた光ネットワークにおいて、強化学習を利用して光パスを設定する点が特徴である。具体的には、各ノードには光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、また光パス設定が失敗したときのコストも設定し、これらの報酬から導出した報酬関数が最大になるように、各クラスの光パス設定要求の受け入れ可否を決定する。また、この最適な光パス設定の行動（最適行動）は、ネットワークの情報が得られる集中管理環境であれば、擬似ネットワーク環境下でモンテカルロシミュレーション等を事前に行うことによって獲得することができる。ネットワークの情報が全く得られず各ノードは隣接するリンクの波長数と提供すべきサービスクラス数しかわからない分散環境であれば、実際に運用してサービスを提供しながら徐々に最適行動を学習し獲得する。獲得した最適行動により、各ノードはグローバルな光パス設定情報を使用することなく、複数の品質の光パス設定サービスを提供しながら波長の有効利用が可能となるのである。
また、強化学習を用いることにより、マルコフ決定過程（ＭＤＰ）のように、送受信ノード間に設定された波長（光パス）数が大きくなると、報酬関数が収束しないという問題がなく、使用可能な波長数が例えば１０以上といった実環境での利用が可能となる。
【００１１】
ここで、上記のリンク状態は、具体的には、光パス設定要求到着イベントを単位とする離散時間を考えた場合に、時刻（ｔ）におけるクラス数Ｍのサービスクラスｉの光パス設定数Ｎｉ(ｔ)と、前回時刻（ｔ−１）の光パス設定要求に対する受け入れ結果Ｉ(ｔ−１)を用いて、下記数１で定義される。
【００１２】
（数１）
ｓt＝（Ｎ１（ｔ），Ｎ２（ｔ），・・・，ＮＭ（ｔ），Ｉ（ｔ−１））
【００１３】
また、上記の報酬関数は、具体的には、現在のリンク状態ｓtから行動ａtを取って、次のリンク状態ｓ(ｔ＋１)＝（Ｎ１(ｔ＋１)，Ｎ２(ｔ＋１)，・・・，ＮＭ(ｔ＋１)，Ｉ(ｔ)）へ遷移した時に、下記数２で定義される。なお、パラメータ変数Ｒｉは０以上１以下の値を取り、ｉ＜ｊの時Ｒj＜Ｒiとなり、パラメータＣは０より大きい値を取り、パラメータ変数βは０以上１以下の値をとる。
【００１４】
（数２）
ｒｔ＋１＝β（Ｒ１Ｎ１（ｔ）＋Ｒ２Ｎ２（ｔ）＋・・・＋ＲＭＮＭ（ｔ））−（１−β）ＣＩ(ｔ) （但し、０＜ＲＭ＜ＲＭ−１＜・・・＜Ｒｉ＜・・・＜Ｒ２＜Ｒ１＜＝１，０＜＝β＜＝１，０＜Ｃ）
【００１５】
そして、報酬関数を基づいて、状態ｓtに対する行動ａtの行動価値関数（Ｑ関数）は下記数３で定義され、状態ｓtに対して最も大きなＱ値を持つ行動ａtを最適行動として光パス設定の受け入れ可否が決定される。
【００１６】
（数３）
Ｑ（ｓt，ａt）← Ｑ（ｓt，ａt）＋α[ｒｔ＋１＋γｍａｘＱ(ｓt+1，ａ)−Ｑ(ｓt，ａt)] (但し、０＜α＜＝１，０＜＝γ＜１)
【００１７】
リンク状態および報酬関数を上記の定義とすることにより、サービスクラスに応じて光パスの設定のしやすさを変化でき、かつ、空き波長はできるだけ有効利用することが可能になる。
ここで、パラメータ変数Ｒｉは、各ノードには光パスが設定される場合に得られる報酬をサービスクラス毎に設定したものであり、またパラメータ変数Ｃは、光パス設定が失敗したときの設定コストである。パラメータ変数βを用いることで、光パス設定のサービス差別化と波長（光パス）有効利用が図れることになる。
【００１８】
さらに、パラメータαは学習率であり、α＝０のときは学習ができないので除外され、α＝１のときは最新の情報だけを考慮する。パラメータγは割引率であり、過去の情報がどの程度影響するかを示している。パラメータγ＝０のときは現在の報酬だけを考慮し、γ＝１のときは過去の情報を長期間考慮しすぎるため除外される。
【００１９】
また、上記の強化学習アルゴリズムは、ネットワークトポロジーやノード数，使用可能な波長数，トラヒック情報などが把握可能な集中管理環境の下では、
１）少なくともネットワークトポロジー，ノード数，使用可能な波長数，各クラスの平均光パス設定要求間隔，各クラスの平均光パス使用時間が与えられた擬似ネットワーク環境を構築するステップと、
２）擬似ネットワーク環境上で、疑似的に各クラスの光パス設定要求イベントと光パス使用終了イベントを発生させるステップと、
３）各ノードが状態ｓｔに応じた行動ａｔをとりながら、Ｑ値を更新していくステップと、
４）その都度変更された最適行動ペア（ｓｔ，ａｔ）に従って光パス設定要求の受け入れ可否を決定していくステップと、
を備えた構成とされる。
【００２０】
疑似ネットワーク環境下で、光パス設定要求イベント間隔と各クラスの平均光パス使用時間を基に、実際に光パスの設定要求イベントと光パス使用終了イベントを発生させる。この場合に、各ノードのリンク状態の初期値ｓ０を(0,0,0,0,…,0)とし、各リンク状態ｓ０に対する行動ａ０をランダムに与えておく。そのようにすることにより、各ノードは、到着イベントが発生すると、リンク状態ｓ０＝(0,0,0,…,0)に対する行動ａ０に従って発生した光パス設定要求に対する行動ａ０を実際に実行する。十分な学習が行われると各リンク状態ｓｔに対する最適な行動ａｔが導出され、サービスの差別化と波長の有効利用が実現されることになる。
【００２１】
次に、本発明の第２の観点の光パス設定方法は、波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定を行う光パス設定方法であって、
１）各ノードに対して、光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、また、光パス設定が失敗したときのコストを設定するステップと、
２）自ノードに隣接するリンクの波長数とサービスクラス数を設定するステップと、
３）光パス設定要求イベント又は光パス使用終了イベントが発生した場合に、リンク状態に応じた行動をとりながら、行動価値関数（Ｑ関数）のＱ値を更新していくステップと、
４）光パス設定要求イベントが発生した場合に、リンク状態と行動の最適行動ペアに従って、光パス設定要求イベントの受け入れ可否を決定していくステップと、を備えたことを特徴とする。
【００２２】
また、本発明の光パス設定プログラムは、
波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定を行うプログラムであって、
各ノードのコンピュータに、
１）光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、また、光パス設定が失敗したときのコストを設定するステップと、
２）自ノードに隣接するリンクの波長数とサービスクラス数を設定するステップと、
３）光パス設定要求イベント又は光パス使用終了イベントが発生した場合に、リンク状態に応じた行動をとりながら、行動価値関数（Ｑ関数）のＱ値を更新していくステップと、
４）光パス設定要求イベントが発生した場合に、リンク状態と行動の最適行動ペアに従って、光パス設定要求イベントの受け入れ可否を決定していくステップと、
を実行させるものである。
【００２３】
上記の第２の観点の光パス設定方法または上記の光パス設定プログラムによれば、疑似シミュレーションを全く行わずとも、最終的に最適な行動ａｔを見つけることができる。
すなわち、疑似シミュレーションを全く行わずとも、上記の本発明の光パス設定プログラムを備えた光スイッチを波長分割多重ネットワークに置き、隣接するリンクの波長数と差別化すべきクラス数だけが分かっている状態（すなわちリンク状態ｓｔと行動ａｔの取りうる範囲だけがわかっている状態）で、実際に光パス設定要求イベントと光パス使用終了イベントが発生したら、状態ｓｔに応じた行動ａｔを行ってＱ値を更新し、それに応じて状態ｓｔに対してとるべき行動ａｔも変更されていくことで、最終的に最適な行動ａｔが見つかるということになるのである。
なお、リンク状態ｓｔやＱ値については、上述の本発明の第１の観点の光パス設定方法の説明と同様であるので、説明は省略する。
【００２４】
本発明の光スイッチは、上記本発明のプログラムを搭載し、波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定を行うものである。
本発明の光パス設定プログラムおよび本プログラムを搭載した光スイッチによれば、他のノードの情報が全く必要なく、分散環境で使用できるというメリットを有する。
【００２５】
なお、本発明の光パス設定プログラムや光スイッチに対して、ネットワークトポロジーなどが既知の場合、疑似シミュレーションを用いて、ある程度学習させておいた値を初期値データとして使用させることでもかまわない。かかる場合、本発明の光パス設定プログラムや光スイッチに対して、ネットワークに導入して使用しながら追加の学習をさせることになる。
【００２６】
また、本発明の光情報通信システムは、複数のサービスクラスを有する波長分割多重ネットワークにおける各ノードが、光送信手段と、光受信手段と、光電気変換手段と、電気光変換手段と、演算手段と、記憶手段を備え、記憶手段は、上述の光パス設定方法により設定されたリンク状態と最適行動のテーブル情報が記憶されており、演算手段は、サービスクラスｉの光パス設定要求を受信した場合、テーブル情報を用いて、現在のリンク状態に対応した最適行動に従って、光パス設定要求を棄却するか否かを判別し、Ｑ関数を用いた各状態に対する各行動のＱ値を更新する構成とされる。
【００２７】
ここで、上記の演算手段は、ネットワークトポロジー，ノード数，使用可能な波長数、各クラスの平均光パス設定要求間隔，各クラスの平均光パス使用時間に基づいて、テーブル情報をオンラインで生成することを特徴とする。
【００２８】
また、上記の光情報通信システムは、サービス差別化と波長利用効率化の均衡を図る報酬関数のパラメータを調整できるパラメータ調整手段を更に備えた構成とされる。
【発明の効果】
【００２９】
本発明の光パス設定方法ならびに光情報通信システムによれば、光パス設定のサービス差別化と波長（光パス）有効利用が図れ、実環境で使用できるといった効果を有する。
【図面の簡単な説明】
【００３０】
【図１】ＷＤＭネットワークの説明図
【図２】ＷＤＭネットワークにおける光パス設定の説明図
【図３】ＷＤＭネットワークにおける各ノードの概略構成図
【図４】強化学習アルゴリズムの処理フロー図
【図５−１】実施例１の光パス設定の説明図（１）
【図５−２】実施例１の光パス設定の説明図（２）
【図６】実施例１の光パス設定の場合における棄却率を示すグラフ
【図７】実施例１の光パス設定の場合における棄却率を示すグラフ（パラメータγを横軸）
【図８】実施例１の光パス設定の場合における棄却率を示すグラフ（パラメータαを横軸）
【図９】実施例１の光パス設定の場合における棄却率を示すグラフ（波長数を横軸）
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【００３２】
図１に示すように、従来の光ネットワークが１本の光ファイバで１波長を使用してデータ伝送するものであるのに対し、ＷＤＭネットワークは、１本の光ファイバで複数の波長を多重化して数倍のデータ量を伝送でき通信を行う送受信ノード間（送信ノードと受信ノードの間）に複数波長のうち，他の送受信ノード間で使用されていない１以上の波長を割り当てることで、各送受信ノード間で伝送波長を占有して大容量データ伝送を実現するものであり、波長の使用終了後はただちに他のノードが使用できるようにして光ファイバの帯域を有効活用するものである。
【００３３】
ＷＤＭネットワークでは、波長（光パス）を効率的に利用して光パスの確保の公平性を図るために、各ノードが自律的に波長（光パス）を選択し、送受信ノード間で物理的な通信チャネルである光パスを確保することが望ましいとされている。
【００３４】
図２に示すようなＷＤＭネットワークにおける光パス設定では、送信側コンピュータから受信側コンピュータに大容量データを送信する場合、先ず、送信側コンピュータ（ユーザ）から光パスの設定要求を行い、ＷＤＭネットワーク内の空き波長を使用して光パスを設定してから、データ伝送を行う。もし、空き波長がなければ光パスの設定に失敗することとなり、データ伝送は行わない。データ伝送を行う際は、送信側コンピュータと受信側コンピュータの間で１波長の帯域を占有することになる。
【００３５】
ここで、図２に示す各ノードの概略構成について、図３を参照して説明する。ＷＤＭネットワークの光ファイバ１１を介する信号は、分波／多重器（１２，１３）で分波または多重化される。分波された光は、光スイッチ１４で、光信号の伝搬する物理チャネルが切り換えられる。光スイッチ１４は、制御器１５で制御されるものである。この制御器１５は、光または電気チャネル８を介して送られてくるノード制御信号を、トランシーバ１８を用いて受信する。また、制御器１５は、メモリ１６に蓄積された光パス設定テーブルやリンク情報などを参照して、光パス設定を行う。
【００３６】
次に、各ノードの制御器１５が参照するメモリ１６に蓄積された光パス設定テーブルやリンク情報について、以下に説明する。
本発明においては、光パス設定テーブルやリンク情報は、光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、かつ、光パス設定が失敗したときのコストを設定し、報酬およびコストから導出した報酬関数が最大になるように各クラスの光パス設定要求の受け入れ可否を決定して、送信ノードにおける現在のリンク状態から次のリンク状態への最適行動を、報酬関数に基づき強化学習アルゴリズムを用いて導出することとしている。
【００３７】
各ノードにおける時刻ｔのリンク状態ｓｔは、ｓｔ＝（Ｎ１（ｔ），Ｎ２（ｔ），・・・，ＮＭ（ｔ），Ｉ（ｔ−１））と定義する。
ここで、Ｍはサービスクラス数であり、Ｎｉ（ｔ）は時刻ｔにおけるサービスクラスｉの光パス設定数であり、Ｉ（ｔ−１）は前回の光パス設定要求に対する受け入れ結果（失敗したら１、成功したら０）である。このＩは、光パス設定が失敗したときのコストとなる。すなわち、後述する報酬関数において、Ｉに重み係数を乗算したものを減算して報酬を求めることとしており、光パス設定要求に失敗したら報酬が少なくなるようになっている。
また、現在のリンク状態ｓtから行動ａｔを取って、次の時刻ｔ＋１にリンク状態ｓｔ＋１へ遷移した場合、リンク状態ｓｔ＋１は、ｓｔ＋１＝（Ｎ１（ｔ＋１），Ｎ２（ｔ＋１），・・・，ＮＭ（ｔ＋１），Ｉ（ｔ））と定義する。
【００３８】
ここで、行動ａｔは、Ｍのサービスクラスのうち、どのサービスクラスの光パス要求を受け入れ光パスを設定し、どのサービスクラスの光パス要求を棄却し光パスを設定しないかを示すものである。
サービスクラスがＭある場合、取り得る行動ａｔは、（２Ｍ−１）通り存在する。例えば、サービスクラスが３の場合、取り得る行動ａｔは以下の７通り存在する。
【００３９】
１）サービスクラス１の光パス設定要求のみ受け入れる。
２）サービスクラス２の光パス設定要求のみ受け入れる。
３）サービスクラス３の光パス設定要求のみ受け入れる。
４）サービスクラス１とサービスクラス２の光パス設定要求のみ受け入れる。
５）サービスクラス２とサービスクラス３の光パス設定要求のみ受け入れる。
６）サービスクラス１とサービスクラス３の光パス設定要求のみ受け入れる。
７）全サービスクラス１，２，３の光パス設定要求を受け入れる。
【００４０】
そして、報酬関数は、下記数４で定義される。この報酬関数を用いて、状態ｓｔで行動ａｒを取り、状態がｓｔ＋１へ遷移したときの報酬が算出できる。
ここで、パラメータ変数Ｒｉは、各ノードには光パスが設定される場合に得られる報酬をサービスクラス毎に設定したものであり、またパラメータ変数Ｃは、光パス設定が失敗したときの設定コストである。パラメータ変数βを用いることで、光パス設定のサービス差別化と波長（光パス）有効利用が図れることになる。パラメータ変数βの値が小さくなるにつれて、波長有効利用に対する重みが増加し、サービスの差別化が提供されにくくなる一方、波長を有効利用できるようになる。なお、パラメータ変数Ｒｉおよびパラメータ変数βは、１以下の正の値をとり、Ｃは正の値をとる。
【００４１】
（数４）
ｒｔ＋１＝β（Ｒ１Ｎ１（ｔ）＋Ｒ２Ｎ２（ｔ）＋・・・＋ＲＭＮＭ（ｔ））−（１−β）ＣＩ（ｔ）
【００４２】
そして、強化学習アルゴリズムは、図４のフロー図に示すように、
（ステップ１）少なくともネットワークトポロジー，ノード数，使用可能な波長数，各クラスの平均光パス設定要求間隔，各クラスの平均光パス使用時間が与えられた擬似ネットワーク環境を構築するステップ
（ステップ２）擬似ネットワーク環境上で、擬似的に各クラスの光パス設定要求イベントと光パス使用終了イベントを発生させるステップ
（ステップ３）各ノードがリンク状態ｓｔに応じた行動ａｔをとりながら、Ｑ値を更新していくステップ
（ステップ４）その都度変更されるリンク状態ｓと行動ａの最適行動ペア（ｓｔ，ａｔ）に従って、光パス設定要求の受け入れ可否を決定していくステップ
から成る。
【００４３】
各ノードの制御器またはノードとは別個独立のコンピュータ上で、光ネットワークのネットワークトポロジー，ノード数，使用可能な波長数，各クラスの平均光パス設定要求間隔，各クラスの平均光パス使用時間が与えられた模擬ネットワーク環境を構築して、モンテカルロシミュレーションを実行して、報酬関数の値を算出する。
【００４４】
最後に、ステップ５として、報酬関数の値が最大となる最適行動ペア（ｓｔ，ａｔ）に基づいて、リンク状態と最適行動の光パス設定テーブル情報を生成し、リンク状態と最適行動の光パス設定テーブル情報として各ノードのメモリ１６に記憶させるのである。
各ノードでは、サービスクラスｉの光パス設定要求を受信した場合、メモリ１６に記憶された光パス設定テーブル情報を用いて、現在のリンク状態に対応した最適行動に従って、光パス設定要求を棄却するか否かを判別することとなる。
【００４５】
上記の光パス設定方法ならびに光情報通信システムによれば、光パス設定のサービス差別化と波長（光パス）有効利用が図れ、実環境で使用できることになる。以下に、具体的な実施例を通じて説明する。
【実施例１】
【００４６】
図５−１および図５−２は、ノード数が３の光ネットワークトポロジーの光パス設定の様子を示している。ここでは、サービスクラス数が３で、波長数が８の場合を想定している。
図５−１において、ノードＢの時刻ｔにおける状態ｓｔは、（２，３，１，０）であり、２つの空き波長が存在している。この状態で、ノードＡからノードＣへサービスクラス２のデータ伝送要求が発生した場合を考える。状態ｓｔ＝（２，３，１，０）に対する最適行動ａｔが“サービスクラス１とサービスクラス２の光パス設定要求のみ受け入れる”といった行動であるならば、サービスクラス２の光パス設定要求は受け入れされて、状態ｓｔは状態ｓｔ＋１＝（２，４，１，０）に遷移することになる（光パス設定は成功）。
【００４７】
次に、図５−２において、状態ｓｔ＋１で、ノードＡからノードＣへサービスクラス２のデータ伝送要求が発生した場合、状態ｓｔ＋１＝（２，４，１，０）に対する最適行動ａｔ＋１が“サービスクラス１の光パス設定要求のみ受け入れる”といった行動であるならば、サービスクラス２の光パス設定要求は受け入れられずに、状態ｓｔ＋１＝（２，４，１，１）に遷移することになる（光パス設定は失敗）。
【００４８】
次に、ノードＡからノードＣへの光パス設定を行う場合に、中継ノードＢにおけるノードＡからの光パス設定要求に対する棄却率について、従来の光パス設定方法と本発明の光パス設定方法を比較する。従来の光パス設定方法には、各クラスが設定可能な光パス数を固定した方式を用いている。波長数は８で、サービスクラス数は３としている。
また、Ｑ関数のαは0.1、γは0.95、報酬関数のＣが1.0で、Ｒ１，Ｒ２，Ｒ３は、0.05から1.0まで、0.05刻みで変化させることにした。但し、Ｒ３＜Ｒ２＜Ｒ１で、β＝0.1である。
また、ユーザの要求として、サービスクラスｉの失敗確率は、ζｉ以下としている。ξ１＝0.4，ξ２＝0.9，ξ３＝1.0である。
【００４９】
図６は、光パス設定の場合における棄却率を示すグラフを示している。従来の光パス設定方法と比較して、本発明の光パス設定方法では、サービスクラス１もサービスクラス２も棄却率が低減されており、サービスの差別化と波長の有効利用が更に改善されていることが理解できる。
【００５０】
また、図７は、波長数が６，クラス数が３，Ｑ関数のαが0.1、報酬関数のＣが1.0で、Ｒ１＝0.8，Ｒ２＝0.4，Ｒ３＝0.2で、β＝0.1の時に、パラメータγを横軸にとって、本発明の光パス設定方法を用いた場合の各クラスの棄却率を示している。
図７に示されるように、γが0.65より大きくなると学習によりサービスの差別化が実現できている。このことから、本発明の光パス設定方法の性能は、パラメータγの影響を受けることが理解できる。
【００５１】
また、図８は、波長数が６，クラス数が３，Ｑ関数のγが0.95、報酬関数のＣが1.0で、Ｒ１＝0.8，Ｒ２＝0.4，Ｒ３＝0.2で、β＝0.1の時に、パラメータαを横軸にとって、本発明の光パス設定方法を用いた場合の各クラスの棄却率を示している。
図８に示されるように、αが0から0.1に変化すると、サービスの差別化がより有効になっている。またαが1.0に近づくと棄却率の差が小さくなる。従って、本発明の光パス設定方法の性能はパラメータαの影響を受けることが理解できる。
【００５２】
また、図９は、クラス数が３で、Ｑ関数のγが0.95で、αが0.1、報酬関数のＣが1.0で、Ｒ１＝0.8，Ｒ２＝0.4，Ｒ３＝0.2で、β＝0.1の時に、波長数を横軸にとって、本発明の光パス設定方法を用いた場合の各クラスの棄却率を示している。
図９に示されるように、本発明の光パス設定方法を用いると波長数が１００の時にでも利用可能であることがわかり、先行研究のマルコフ決定過程の方式よりも有効である。
【産業上の利用可能性】
【００５３】
本発明は、遠隔医療や高精細動画ストリーミング，グリッドコンピューティングへの利用が期待される。
【符号の説明】
【００５４】
１ 光ファイバ
２ 送信側コンピュータ
３ 受信側コンピュータ
４ データ
５ 光パス
７ 光ネットワーク
８ ノード
１１ 光ファイバ
１２、１３ 分波／多重器
１４ 光スイッチ
１５ 制御器
１６ メモリ
１７ トランシーバ
１８ 光または電気チャネル
２１ 光パス設定情報テーブル
２２ リンク状態情報テーブル
【技術分野】
【０００１】
本発明は、光パスを用いてデータ伝送を行うＷＤＭ（Wavelength Division Multiplexing；波長分割多重）ネットワークの光パス設定方法の技術に関するものである。
【背景技術】
【０００２】
ＷＤＭ技術を用いた光ネットワークでは、送受信ノード間に設定された波長（光パス）を用いてデータ伝送する。近年、各ユーザがインターネット上で伝送するデータ量は劇的に増加しており、将来的には各ユーザが１ギガビット／秒程度のデータを伝送することが想定され、オンデマンドで光パスを設定して大容量データを伝送する利用方法の検討が進められている。
【０００３】
オンデマンドでの光パス設定においては、利用料金に応じた複数の光パス設定サービスをユーザに提供するべく、各サービスクラスが設定できる最大光パス数を事前に決定する方法が研究されている（例えば、特許文献１、特許文献２を参照。）。
最大光パス数を事前に決定する方法では、高優先クラスの最大光パス設定数を低優先クラスの最大光パス設定数よりも多くするやり方が行われている。しかし、このやり方では、空き波長が多数存在する場合でも、低優先クラスは決められた光パス設定数以上の光パスを設定することができないため、高優先クラスの光パス設定要求頻度が低優先クラスの光パス設定要求頻度よりも少ない場合には波長利用率が低下し、波長資源が有効利用できないといった問題点がある。
【０００４】
かかる問題を解決するため、マルコフ決定過程（ＭＤＰ：Markov Decision Process）を用いた方法が提案されている。このマルコフ決定過程を用いた方法は、光パスの設定状況に応じて、どのクラスの光パス設定要求を受け入れるべきかを事前に決定するものである。すなわち、マルコフ決定過程によって各ノードがとるべき最適行動を導出し、各ノードは導出された最適行動に従って光パス設定の受け入れ可否を決定する。ここで、最適行動は、マルコフ決定過程において報酬関数に依存するものである。しかし、マルコフ決定過程を用いた方法では、送受信ノード間に設定された波長（光パス）数が大きくなると、報酬関数が収束しないことから、実環境での利用、すなわち、ネットワーク規模が大きくなった場合の利用に困難であるといった問題がある。また、ネットワーク全体のトポロジ情報や各リンク内の波長数などの情報が必要であり、分散環境では使用することができない．
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００６−２７９７６７号公報
【特許文献２】特開２００８−１７２５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上述したように、ユーザがオンデマンドで光パスを設定して大容量データを伝送する利用方法において、従来技術では、サービスの差別化を重要視しすぎたり、柔軟性にかけるといった点から波長資源（光パスのチャネル資源）が有効利用できないといった問題点や、ネットワーク規模が大きくなった場合に使用する計算法が利用できないといった問題点があった。
また、従来の方法では、ネットワークトポロジーや使用可能な波長数、トラヒック情報などの収集可能な情報を活用して、光パスを設定することができなかった。
【０００７】
上記状況に鑑みて、本発明は、光パス設定のサービス差別化と波長（光パス）有効利用が図れ、実環境で使用できる、複数のオンデマンドでの光パス設定方法と光情報通信システムを提供することを目的とする。
【０００８】
また、本発明は、ネットワークトポロジーやトラヒック情報など収集可能な情報を活用し得る光パス設定方法を提供することを目的とする。また、ネットワークトポロジーやトラヒック情報などが得られない分散環境においても、同様の効果を提供できることを目的とする．
さらに、本発明は、ネットワーク上の各ノードの波長変換機能に制限がある場合にも適用できる。
【課題を解決するための手段】
【０００９】
上記目的を達成すべく、本発明の第１の観点の光パス設定方法は、波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定方法であって、各ノードには光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、かつ、光パス設定が失敗したときのコストを設定し、報酬およびコストから導出した報酬関数を使用してＱ関数を更新し、現在の状態に対する各行動のＱ値が最大となるように各クラスの光パス設定要求の受け入れ可否を決定して、送信ノードにおける現在のリンク状態から次のリンク状態へのＱ関数を報酬関数に基づき更新する構成とされる。
【００１０】
かかる構成によれば、ＷＤＭ技術を用いた光ネットワークにおいて、サービス品質の異なる複数のオンデマンド光パス設定サービスをユーザに提供でき、かつ、限られた波長資源を有効利用できる。
本発明では、ＷＤＭ技術を用いた光ネットワークにおいて、強化学習を利用して光パスを設定する点が特徴である。具体的には、各ノードには光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、また光パス設定が失敗したときのコストも設定し、これらの報酬から導出した報酬関数が最大になるように、各クラスの光パス設定要求の受け入れ可否を決定する。また、この最適な光パス設定の行動（最適行動）は、ネットワークの情報が得られる集中管理環境であれば、擬似ネットワーク環境下でモンテカルロシミュレーション等を事前に行うことによって獲得することができる。ネットワークの情報が全く得られず各ノードは隣接するリンクの波長数と提供すべきサービスクラス数しかわからない分散環境であれば、実際に運用してサービスを提供しながら徐々に最適行動を学習し獲得する。獲得した最適行動により、各ノードはグローバルな光パス設定情報を使用することなく、複数の品質の光パス設定サービスを提供しながら波長の有効利用が可能となるのである。
また、強化学習を用いることにより、マルコフ決定過程（ＭＤＰ）のように、送受信ノード間に設定された波長（光パス）数が大きくなると、報酬関数が収束しないという問題がなく、使用可能な波長数が例えば１０以上といった実環境での利用が可能となる。
【００１１】
ここで、上記のリンク状態は、具体的には、光パス設定要求到着イベントを単位とする離散時間を考えた場合に、時刻（ｔ）におけるクラス数Ｍのサービスクラスｉの光パス設定数Ｎｉ(ｔ)と、前回時刻（ｔ−１）の光パス設定要求に対する受け入れ結果Ｉ(ｔ−１)を用いて、下記数１で定義される。
【００１２】
（数１）
ｓt＝（Ｎ１（ｔ），Ｎ２（ｔ），・・・，ＮＭ（ｔ），Ｉ（ｔ−１））
【００１３】
また、上記の報酬関数は、具体的には、現在のリンク状態ｓtから行動ａtを取って、次のリンク状態ｓ(ｔ＋１)＝（Ｎ１(ｔ＋１)，Ｎ２(ｔ＋１)，・・・，ＮＭ(ｔ＋１)，Ｉ(ｔ)）へ遷移した時に、下記数２で定義される。なお、パラメータ変数Ｒｉは０以上１以下の値を取り、ｉ＜ｊの時Ｒj＜Ｒiとなり、パラメータＣは０より大きい値を取り、パラメータ変数βは０以上１以下の値をとる。
【００１４】
（数２）
ｒｔ＋１＝β（Ｒ１Ｎ１（ｔ）＋Ｒ２Ｎ２（ｔ）＋・・・＋ＲＭＮＭ（ｔ））−（１−β）ＣＩ(ｔ) （但し、０＜ＲＭ＜ＲＭ−１＜・・・＜Ｒｉ＜・・・＜Ｒ２＜Ｒ１＜＝１，０＜＝β＜＝１，０＜Ｃ）
【００１５】
そして、報酬関数を基づいて、状態ｓtに対する行動ａtの行動価値関数（Ｑ関数）は下記数３で定義され、状態ｓtに対して最も大きなＱ値を持つ行動ａtを最適行動として光パス設定の受け入れ可否が決定される。
【００１６】
（数３）
Ｑ（ｓt，ａt）← Ｑ（ｓt，ａt）＋α[ｒｔ＋１＋γｍａｘＱ(ｓt+1，ａ)−Ｑ(ｓt，ａt)] (但し、０＜α＜＝１，０＜＝γ＜１)
【００１７】
リンク状態および報酬関数を上記の定義とすることにより、サービスクラスに応じて光パスの設定のしやすさを変化でき、かつ、空き波長はできるだけ有効利用することが可能になる。
ここで、パラメータ変数Ｒｉは、各ノードには光パスが設定される場合に得られる報酬をサービスクラス毎に設定したものであり、またパラメータ変数Ｃは、光パス設定が失敗したときの設定コストである。パラメータ変数βを用いることで、光パス設定のサービス差別化と波長（光パス）有効利用が図れることになる。
【００１８】
さらに、パラメータαは学習率であり、α＝０のときは学習ができないので除外され、α＝１のときは最新の情報だけを考慮する。パラメータγは割引率であり、過去の情報がどの程度影響するかを示している。パラメータγ＝０のときは現在の報酬だけを考慮し、γ＝１のときは過去の情報を長期間考慮しすぎるため除外される。
【００１９】
また、上記の強化学習アルゴリズムは、ネットワークトポロジーやノード数，使用可能な波長数，トラヒック情報などが把握可能な集中管理環境の下では、
１）少なくともネットワークトポロジー，ノード数，使用可能な波長数，各クラスの平均光パス設定要求間隔，各クラスの平均光パス使用時間が与えられた擬似ネットワーク環境を構築するステップと、
２）擬似ネットワーク環境上で、疑似的に各クラスの光パス設定要求イベントと光パス使用終了イベントを発生させるステップと、
３）各ノードが状態ｓｔに応じた行動ａｔをとりながら、Ｑ値を更新していくステップと、
４）その都度変更された最適行動ペア（ｓｔ，ａｔ）に従って光パス設定要求の受け入れ可否を決定していくステップと、
を備えた構成とされる。
【００２０】
疑似ネットワーク環境下で、光パス設定要求イベント間隔と各クラスの平均光パス使用時間を基に、実際に光パスの設定要求イベントと光パス使用終了イベントを発生させる。この場合に、各ノードのリンク状態の初期値ｓ０を(0,0,0,0,…,0)とし、各リンク状態ｓ０に対する行動ａ０をランダムに与えておく。そのようにすることにより、各ノードは、到着イベントが発生すると、リンク状態ｓ０＝(0,0,0,…,0)に対する行動ａ０に従って発生した光パス設定要求に対する行動ａ０を実際に実行する。十分な学習が行われると各リンク状態ｓｔに対する最適な行動ａｔが導出され、サービスの差別化と波長の有効利用が実現されることになる。
【００２１】
次に、本発明の第２の観点の光パス設定方法は、波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定を行う光パス設定方法であって、
１）各ノードに対して、光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、また、光パス設定が失敗したときのコストを設定するステップと、
２）自ノードに隣接するリンクの波長数とサービスクラス数を設定するステップと、
３）光パス設定要求イベント又は光パス使用終了イベントが発生した場合に、リンク状態に応じた行動をとりながら、行動価値関数（Ｑ関数）のＱ値を更新していくステップと、
４）光パス設定要求イベントが発生した場合に、リンク状態と行動の最適行動ペアに従って、光パス設定要求イベントの受け入れ可否を決定していくステップと、を備えたことを特徴とする。
【００２２】
また、本発明の光パス設定プログラムは、
波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定を行うプログラムであって、
各ノードのコンピュータに、
１）光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、また、光パス設定が失敗したときのコストを設定するステップと、
２）自ノードに隣接するリンクの波長数とサービスクラス数を設定するステップと、
３）光パス設定要求イベント又は光パス使用終了イベントが発生した場合に、リンク状態に応じた行動をとりながら、行動価値関数（Ｑ関数）のＱ値を更新していくステップと、
４）光パス設定要求イベントが発生した場合に、リンク状態と行動の最適行動ペアに従って、光パス設定要求イベントの受け入れ可否を決定していくステップと、
を実行させるものである。
【００２３】
上記の第２の観点の光パス設定方法または上記の光パス設定プログラムによれば、疑似シミュレーションを全く行わずとも、最終的に最適な行動ａｔを見つけることができる。
すなわち、疑似シミュレーションを全く行わずとも、上記の本発明の光パス設定プログラムを備えた光スイッチを波長分割多重ネットワークに置き、隣接するリンクの波長数と差別化すべきクラス数だけが分かっている状態（すなわちリンク状態ｓｔと行動ａｔの取りうる範囲だけがわかっている状態）で、実際に光パス設定要求イベントと光パス使用終了イベントが発生したら、状態ｓｔに応じた行動ａｔを行ってＱ値を更新し、それに応じて状態ｓｔに対してとるべき行動ａｔも変更されていくことで、最終的に最適な行動ａｔが見つかるということになるのである。
なお、リンク状態ｓｔやＱ値については、上述の本発明の第１の観点の光パス設定方法の説明と同様であるので、説明は省略する。
【００２４】
本発明の光スイッチは、上記本発明のプログラムを搭載し、波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定を行うものである。
本発明の光パス設定プログラムおよび本プログラムを搭載した光スイッチによれば、他のノードの情報が全く必要なく、分散環境で使用できるというメリットを有する。
【００２５】
なお、本発明の光パス設定プログラムや光スイッチに対して、ネットワークトポロジーなどが既知の場合、疑似シミュレーションを用いて、ある程度学習させておいた値を初期値データとして使用させることでもかまわない。かかる場合、本発明の光パス設定プログラムや光スイッチに対して、ネットワークに導入して使用しながら追加の学習をさせることになる。
【００２６】
また、本発明の光情報通信システムは、複数のサービスクラスを有する波長分割多重ネットワークにおける各ノードが、光送信手段と、光受信手段と、光電気変換手段と、電気光変換手段と、演算手段と、記憶手段を備え、記憶手段は、上述の光パス設定方法により設定されたリンク状態と最適行動のテーブル情報が記憶されており、演算手段は、サービスクラスｉの光パス設定要求を受信した場合、テーブル情報を用いて、現在のリンク状態に対応した最適行動に従って、光パス設定要求を棄却するか否かを判別し、Ｑ関数を用いた各状態に対する各行動のＱ値を更新する構成とされる。
【００２７】
ここで、上記の演算手段は、ネットワークトポロジー，ノード数，使用可能な波長数、各クラスの平均光パス設定要求間隔，各クラスの平均光パス使用時間に基づいて、テーブル情報をオンラインで生成することを特徴とする。
【００２８】
また、上記の光情報通信システムは、サービス差別化と波長利用効率化の均衡を図る報酬関数のパラメータを調整できるパラメータ調整手段を更に備えた構成とされる。
【発明の効果】
【００２９】
本発明の光パス設定方法ならびに光情報通信システムによれば、光パス設定のサービス差別化と波長（光パス）有効利用が図れ、実環境で使用できるといった効果を有する。
【図面の簡単な説明】
【００３０】
【図１】ＷＤＭネットワークの説明図
【図２】ＷＤＭネットワークにおける光パス設定の説明図
【図３】ＷＤＭネットワークにおける各ノードの概略構成図
【図４】強化学習アルゴリズムの処理フロー図
【図５−１】実施例１の光パス設定の説明図（１）
【図５−２】実施例１の光パス設定の説明図（２）
【図６】実施例１の光パス設定の場合における棄却率を示すグラフ
【図７】実施例１の光パス設定の場合における棄却率を示すグラフ（パラメータγを横軸）
【図８】実施例１の光パス設定の場合における棄却率を示すグラフ（パラメータαを横軸）
【図９】実施例１の光パス設定の場合における棄却率を示すグラフ（波長数を横軸）
【発明を実施するための最良の形態】
【００３１】
以下、本発明の実施形態について、図面を参照しながら詳細に説明していく。なお、本発明の範囲は、以下の実施例や図示例に限定されるものではなく、幾多の変更及び変形が可能である。
【００３２】
図１に示すように、従来の光ネットワークが１本の光ファイバで１波長を使用してデータ伝送するものであるのに対し、ＷＤＭネットワークは、１本の光ファイバで複数の波長を多重化して数倍のデータ量を伝送でき通信を行う送受信ノード間（送信ノードと受信ノードの間）に複数波長のうち，他の送受信ノード間で使用されていない１以上の波長を割り当てることで、各送受信ノード間で伝送波長を占有して大容量データ伝送を実現するものであり、波長の使用終了後はただちに他のノードが使用できるようにして光ファイバの帯域を有効活用するものである。
【００３３】
ＷＤＭネットワークでは、波長（光パス）を効率的に利用して光パスの確保の公平性を図るために、各ノードが自律的に波長（光パス）を選択し、送受信ノード間で物理的な通信チャネルである光パスを確保することが望ましいとされている。
【００３４】
図２に示すようなＷＤＭネットワークにおける光パス設定では、送信側コンピュータから受信側コンピュータに大容量データを送信する場合、先ず、送信側コンピュータ（ユーザ）から光パスの設定要求を行い、ＷＤＭネットワーク内の空き波長を使用して光パスを設定してから、データ伝送を行う。もし、空き波長がなければ光パスの設定に失敗することとなり、データ伝送は行わない。データ伝送を行う際は、送信側コンピュータと受信側コンピュータの間で１波長の帯域を占有することになる。
【００３５】
ここで、図２に示す各ノードの概略構成について、図３を参照して説明する。ＷＤＭネットワークの光ファイバ１１を介する信号は、分波／多重器（１２，１３）で分波または多重化される。分波された光は、光スイッチ１４で、光信号の伝搬する物理チャネルが切り換えられる。光スイッチ１４は、制御器１５で制御されるものである。この制御器１５は、光または電気チャネル８を介して送られてくるノード制御信号を、トランシーバ１８を用いて受信する。また、制御器１５は、メモリ１６に蓄積された光パス設定テーブルやリンク情報などを参照して、光パス設定を行う。
【００３６】
次に、各ノードの制御器１５が参照するメモリ１６に蓄積された光パス設定テーブルやリンク情報について、以下に説明する。
本発明においては、光パス設定テーブルやリンク情報は、光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、かつ、光パス設定が失敗したときのコストを設定し、報酬およびコストから導出した報酬関数が最大になるように各クラスの光パス設定要求の受け入れ可否を決定して、送信ノードにおける現在のリンク状態から次のリンク状態への最適行動を、報酬関数に基づき強化学習アルゴリズムを用いて導出することとしている。
【００３７】
各ノードにおける時刻ｔのリンク状態ｓｔは、ｓｔ＝（Ｎ１（ｔ），Ｎ２（ｔ），・・・，ＮＭ（ｔ），Ｉ（ｔ−１））と定義する。
ここで、Ｍはサービスクラス数であり、Ｎｉ（ｔ）は時刻ｔにおけるサービスクラスｉの光パス設定数であり、Ｉ（ｔ−１）は前回の光パス設定要求に対する受け入れ結果（失敗したら１、成功したら０）である。このＩは、光パス設定が失敗したときのコストとなる。すなわち、後述する報酬関数において、Ｉに重み係数を乗算したものを減算して報酬を求めることとしており、光パス設定要求に失敗したら報酬が少なくなるようになっている。
また、現在のリンク状態ｓtから行動ａｔを取って、次の時刻ｔ＋１にリンク状態ｓｔ＋１へ遷移した場合、リンク状態ｓｔ＋１は、ｓｔ＋１＝（Ｎ１（ｔ＋１），Ｎ２（ｔ＋１），・・・，ＮＭ（ｔ＋１），Ｉ（ｔ））と定義する。
【００３８】
ここで、行動ａｔは、Ｍのサービスクラスのうち、どのサービスクラスの光パス要求を受け入れ光パスを設定し、どのサービスクラスの光パス要求を棄却し光パスを設定しないかを示すものである。
サービスクラスがＭある場合、取り得る行動ａｔは、（２Ｍ−１）通り存在する。例えば、サービスクラスが３の場合、取り得る行動ａｔは以下の７通り存在する。
【００３９】
１）サービスクラス１の光パス設定要求のみ受け入れる。
２）サービスクラス２の光パス設定要求のみ受け入れる。
３）サービスクラス３の光パス設定要求のみ受け入れる。
４）サービスクラス１とサービスクラス２の光パス設定要求のみ受け入れる。
５）サービスクラス２とサービスクラス３の光パス設定要求のみ受け入れる。
６）サービスクラス１とサービスクラス３の光パス設定要求のみ受け入れる。
７）全サービスクラス１，２，３の光パス設定要求を受け入れる。
【００４０】
そして、報酬関数は、下記数４で定義される。この報酬関数を用いて、状態ｓｔで行動ａｒを取り、状態がｓｔ＋１へ遷移したときの報酬が算出できる。
ここで、パラメータ変数Ｒｉは、各ノードには光パスが設定される場合に得られる報酬をサービスクラス毎に設定したものであり、またパラメータ変数Ｃは、光パス設定が失敗したときの設定コストである。パラメータ変数βを用いることで、光パス設定のサービス差別化と波長（光パス）有効利用が図れることになる。パラメータ変数βの値が小さくなるにつれて、波長有効利用に対する重みが増加し、サービスの差別化が提供されにくくなる一方、波長を有効利用できるようになる。なお、パラメータ変数Ｒｉおよびパラメータ変数βは、１以下の正の値をとり、Ｃは正の値をとる。
【００４１】
（数４）
ｒｔ＋１＝β（Ｒ１Ｎ１（ｔ）＋Ｒ２Ｎ２（ｔ）＋・・・＋ＲＭＮＭ（ｔ））−（１−β）ＣＩ（ｔ）
【００４２】
そして、強化学習アルゴリズムは、図４のフロー図に示すように、
（ステップ１）少なくともネットワークトポロジー，ノード数，使用可能な波長数，各クラスの平均光パス設定要求間隔，各クラスの平均光パス使用時間が与えられた擬似ネットワーク環境を構築するステップ
（ステップ２）擬似ネットワーク環境上で、擬似的に各クラスの光パス設定要求イベントと光パス使用終了イベントを発生させるステップ
（ステップ３）各ノードがリンク状態ｓｔに応じた行動ａｔをとりながら、Ｑ値を更新していくステップ
（ステップ４）その都度変更されるリンク状態ｓと行動ａの最適行動ペア（ｓｔ，ａｔ）に従って、光パス設定要求の受け入れ可否を決定していくステップ
から成る。
【００４３】
各ノードの制御器またはノードとは別個独立のコンピュータ上で、光ネットワークのネットワークトポロジー，ノード数，使用可能な波長数，各クラスの平均光パス設定要求間隔，各クラスの平均光パス使用時間が与えられた模擬ネットワーク環境を構築して、モンテカルロシミュレーションを実行して、報酬関数の値を算出する。
【００４４】
最後に、ステップ５として、報酬関数の値が最大となる最適行動ペア（ｓｔ，ａｔ）に基づいて、リンク状態と最適行動の光パス設定テーブル情報を生成し、リンク状態と最適行動の光パス設定テーブル情報として各ノードのメモリ１６に記憶させるのである。
各ノードでは、サービスクラスｉの光パス設定要求を受信した場合、メモリ１６に記憶された光パス設定テーブル情報を用いて、現在のリンク状態に対応した最適行動に従って、光パス設定要求を棄却するか否かを判別することとなる。
【００４５】
上記の光パス設定方法ならびに光情報通信システムによれば、光パス設定のサービス差別化と波長（光パス）有効利用が図れ、実環境で使用できることになる。以下に、具体的な実施例を通じて説明する。
【実施例１】
【００４６】
図５−１および図５−２は、ノード数が３の光ネットワークトポロジーの光パス設定の様子を示している。ここでは、サービスクラス数が３で、波長数が８の場合を想定している。
図５−１において、ノードＢの時刻ｔにおける状態ｓｔは、（２，３，１，０）であり、２つの空き波長が存在している。この状態で、ノードＡからノードＣへサービスクラス２のデータ伝送要求が発生した場合を考える。状態ｓｔ＝（２，３，１，０）に対する最適行動ａｔが“サービスクラス１とサービスクラス２の光パス設定要求のみ受け入れる”といった行動であるならば、サービスクラス２の光パス設定要求は受け入れされて、状態ｓｔは状態ｓｔ＋１＝（２，４，１，０）に遷移することになる（光パス設定は成功）。
【００４７】
次に、図５−２において、状態ｓｔ＋１で、ノードＡからノードＣへサービスクラス２のデータ伝送要求が発生した場合、状態ｓｔ＋１＝（２，４，１，０）に対する最適行動ａｔ＋１が“サービスクラス１の光パス設定要求のみ受け入れる”といった行動であるならば、サービスクラス２の光パス設定要求は受け入れられずに、状態ｓｔ＋１＝（２，４，１，１）に遷移することになる（光パス設定は失敗）。
【００４８】
次に、ノードＡからノードＣへの光パス設定を行う場合に、中継ノードＢにおけるノードＡからの光パス設定要求に対する棄却率について、従来の光パス設定方法と本発明の光パス設定方法を比較する。従来の光パス設定方法には、各クラスが設定可能な光パス数を固定した方式を用いている。波長数は８で、サービスクラス数は３としている。
また、Ｑ関数のαは0.1、γは0.95、報酬関数のＣが1.0で、Ｒ１，Ｒ２，Ｒ３は、0.05から1.0まで、0.05刻みで変化させることにした。但し、Ｒ３＜Ｒ２＜Ｒ１で、β＝0.1である。
また、ユーザの要求として、サービスクラスｉの失敗確率は、ζｉ以下としている。ξ１＝0.4，ξ２＝0.9，ξ３＝1.0である。
【００４９】
図６は、光パス設定の場合における棄却率を示すグラフを示している。従来の光パス設定方法と比較して、本発明の光パス設定方法では、サービスクラス１もサービスクラス２も棄却率が低減されており、サービスの差別化と波長の有効利用が更に改善されていることが理解できる。
【００５０】
また、図７は、波長数が６，クラス数が３，Ｑ関数のαが0.1、報酬関数のＣが1.0で、Ｒ１＝0.8，Ｒ２＝0.4，Ｒ３＝0.2で、β＝0.1の時に、パラメータγを横軸にとって、本発明の光パス設定方法を用いた場合の各クラスの棄却率を示している。
図７に示されるように、γが0.65より大きくなると学習によりサービスの差別化が実現できている。このことから、本発明の光パス設定方法の性能は、パラメータγの影響を受けることが理解できる。
【００５１】
また、図８は、波長数が６，クラス数が３，Ｑ関数のγが0.95、報酬関数のＣが1.0で、Ｒ１＝0.8，Ｒ２＝0.4，Ｒ３＝0.2で、β＝0.1の時に、パラメータαを横軸にとって、本発明の光パス設定方法を用いた場合の各クラスの棄却率を示している。
図８に示されるように、αが0から0.1に変化すると、サービスの差別化がより有効になっている。またαが1.0に近づくと棄却率の差が小さくなる。従って、本発明の光パス設定方法の性能はパラメータαの影響を受けることが理解できる。
【００５２】
また、図９は、クラス数が３で、Ｑ関数のγが0.95で、αが0.1、報酬関数のＣが1.0で、Ｒ１＝0.8，Ｒ２＝0.4，Ｒ３＝0.2で、β＝0.1の時に、波長数を横軸にとって、本発明の光パス設定方法を用いた場合の各クラスの棄却率を示している。
図９に示されるように、本発明の光パス設定方法を用いると波長数が１００の時にでも利用可能であることがわかり、先行研究のマルコフ決定過程の方式よりも有効である。
【産業上の利用可能性】
【００５３】
本発明は、遠隔医療や高精細動画ストリーミング，グリッドコンピューティングへの利用が期待される。
【符号の説明】
【００５４】
１ 光ファイバ
２ 送信側コンピュータ
３ 受信側コンピュータ
４ データ
５ 光パス
７ 光ネットワーク
８ ノード
１１ 光ファイバ
１２、１３ 分波／多重器
１４ 光スイッチ
１５ 制御器
１６ メモリ
１７ トランシーバ
１８ 光または電気チャネル
２１ 光パス設定情報テーブル
２２ リンク状態情報テーブル
【特許請求の範囲】
【請求項１】
波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定方法であって、
各ノードには光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、かつ、光パス設定が失敗したときのコストを設定し、
前記報酬およびコストから導出した報酬関数が最大になるように各クラスの光パス設定要求の受け入れ可否を決定して、
前記送信ノードにおける現在のリンク状態から次のリンク状態への最適行動を、報酬関数に基づき強化学習アルゴリズムを用いて導出することを特徴とする光パス設定方法。
【請求項２】
前記リンク状態は、
光パス設定要求到着イベントを単位とする離散時間ｔを導入し、
時刻（ｔ）におけるクラス数Ｍのサービスクラスｉの光パス設定数Ｎｉ(ｔ)と、前回時刻（ｔ−１）の光パス設定要求に対する受け入れ結果Ｉ(ｔ−１)を用いて、下記数１で定義され、
前記報酬関数は、現在のリンク状態ｓｔから行動ａｔを取って、次のリンク状態ｓｔ＋１へ遷移した時に、下記数２で定義され、
前記報酬関数を基づいて、下記数３で定義される行動価値関数（Ｑ関数）から得られる状態ｓtに対する各行動ａtのＱ値を用いて、状態ｓtに対して最も大きなＱ値を持つ行動ａtを最適行動として光パス設定の受け入れ可否が決定されることを特徴とする請求項１に記載の光パス設定方法。
（数１）
ｓt＝（Ｎ１（ｔ），Ｎ２（ｔ），・・・，ＮＭ（ｔ），Ｉ（ｔ−１））
（数２）
ｒｔ＋１＝β（Ｒ１Ｎ１（ｔ）＋Ｒ２Ｎ２（ｔ）＋・・・＋ＲＭＮＭ（ｔ））−（１−β）ＣＩ(ｔ) （但し、０＜ＲＭ＜ＲＭ−１＜・・・＜Ｒｉ＜・・・＜Ｒ２＜Ｒ１＜＝１，０＜＝β＜＝１，０＜Ｃ）
（数３）
Ｑ（ｓt，ａt）← Ｑ（ｓt，ａt）＋α[ｒｔ＋１＋γｍａｘＱ(ｓt+1，ａ)−Ｑ(ｓt，ａt)] (但し、０＜α＜＝１，０＜＝γ＜１)
【請求項３】
前記強化学習アルゴリズムは、
少なくともネットワークトポロジー，ノード数，使用可能な波長数，各クラスの平均光パス設定要求間隔，各クラスの平均光パス使用時間が与えられた擬似ネットワーク環境を構築するステップと、
前記擬似ネットワーク環境上で、擬似的に各クラスの光パス設定要求イベントと光パス使用終了イベントを発生させるステップと、
各ノードが前記リンク状態ｓｔに応じた前記行動ａｔをとりながら、前記Ｑ値を更新していくステップと、
都度変更される前記リンク状態ｓｔと前記行動ａｔの最適行動ペア（ｓｔ，ａｔ）に従って、光パス設定要求の受け入れ可否を決定していくステップと、
を備えたものであることを特徴とする請求項２に記載の光パス設定方法。
【請求項４】
波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定を行う光パス設定方法であって、
各ノードに対して、光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、また、光パス設定が失敗したときのコストを設定するステップと、
自ノードに隣接するリンクの波長数とサービスクラス数を設定するステップと、
光パス設定要求イベント又は光パス使用終了イベントが発生した場合に、リンク状態に応じた行動をとりながら、行動価値関数（Ｑ関数）のＱ値を更新していくステップと、
光パス設定要求イベントが発生した場合に、リンク状態と行動の最適行動ペアに従って、光パス設定要求イベントの受け入れ可否を決定していくステップと、
を備えたことを特徴とする光パス設定方法。
【請求項５】
前記リンク状態は、
光パス設定要求到着イベントを単位とする離散時間ｔを導入し、
時刻（ｔ）におけるクラス数Ｍのサービスクラスｉの光パス設定数Ｎｉ(ｔ)と、前回時刻（ｔ−１）の光パス設定要求に対する受け入れ結果Ｉ(ｔ−１)を用いて、下記数４で定義され、
前記報酬関数は、現在のリンク状態ｓｔから行動ａｔを取って、次のリンク状態ｓｔ＋１へ遷移した時に、下記数５で定義され、
前記報酬関数を基づいて、下記数６で定義されるＱ関数から得られる状態ｓtに対する各行動ａtのＱ値を用いて、状態ｓtに対して最も大きなＱ値を持つ行動ａtを最適行動として光パス設定の受け入れ可否が決定されることを特徴とする請求項４に記載の光パス設定方法。
（数４）
ｓt＝（Ｎ１（ｔ），Ｎ２（ｔ），・・・，ＮＭ（ｔ），Ｉ（ｔ−１））
（数５）
ｒｔ＋１＝β（Ｒ１Ｎ１（ｔ）＋Ｒ２Ｎ２（ｔ）＋・・・＋ＲＭＮＭ（ｔ））−（１−β）ＣＩ(ｔ) （但し、０＜ＲＭ＜ＲＭ−１＜・・・＜Ｒｉ＜・・・＜Ｒ２＜Ｒ１＜＝１，０＜＝β＜＝１，０＜Ｃ）
（数６）
Ｑ（ｓt，ａt）← Ｑ（ｓt，ａt）＋α[ｒｔ＋１＋γｍａｘＱ(ｓt+1，ａ)−Ｑ(ｓt，ａt)] (但し、０＜α＜＝１，０＜＝γ＜１)
【請求項６】
波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定を行うプログラムであって、
各ノードのコンピュータに、
光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、また、光パス設定が失敗したときのコストを設定するステップと、
自ノードに隣接するリンクの波長数とサービスクラス数を設定するステップと、
光パス設定要求イベント又は光パス使用終了イベントが発生した場合に、リンク状態に応じた行動をとりながら、行動価値関数（Ｑ関数）のＱ値を更新していくステップと、
光パス設定要求イベントが発生した場合に、リンク状態と行動の最適行動ペアに従って、光パス設定要求イベントの受け入れ可否を決定していくステップと、
を実行させるための光パス設定プログラム。
【請求項７】
前記リンク状態は、
光パス設定要求到着イベントを単位とする離散時間ｔを導入し、
時刻（ｔ）におけるクラス数Ｍのサービスクラスｉの光パス設定数Ｎｉ(ｔ)と、前回時刻（ｔ−１）の光パス設定要求に対する受け入れ結果Ｉ(ｔ−１)を用いて、下記数７で定義され、
前記報酬関数は、現在のリンク状態ｓｔから行動ａｔを取って、次のリンク状態ｓｔ＋１へ遷移した時に、下記数８で定義され、
前記報酬関数を基づいて、下記数９で定義されるＱ関数から得られる状態ｓtに対する各行動ａtのＱ値を用いて、状態ｓtに対して最も大きなＱ値を持つ行動ａtを最適行動として光パス設定の受け入れ可否が決定されることを特徴とする請求項６に記載の光パス設定プログラム。
（数７）
ｓt＝（Ｎ１（ｔ），Ｎ２（ｔ），・・・，ＮＭ（ｔ），Ｉ（ｔ−１））
（数８）
ｒｔ＋１＝β（Ｒ１Ｎ１（ｔ）＋Ｒ２Ｎ２（ｔ）＋・・・＋ＲＭＮＭ（ｔ））−（１−β）ＣＩ(ｔ) （但し、０＜ＲＭ＜ＲＭ−１＜・・・＜Ｒｉ＜・・・＜Ｒ２＜Ｒ１＜＝１，０＜＝β＜＝１，０＜Ｃ）
（数９）
Ｑ（ｓt，ａt）← Ｑ（ｓt，ａt）＋α[ｒｔ＋１＋γｍａｘＱ(ｓt+1，ａ)−Ｑ(ｓt，ａt)] (但し、０＜α＜＝１，０＜＝γ＜１)
【請求項８】
請求項３に記載の強化学習アルゴリズムの光パス設定方法により得られた最適行動ペア（ｓt，ａt）を初期値として設定するステップを、更に備えたことを特徴とする請求項６に記載の光パス設定プログラム。
【請求項９】
波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定を行う光スイッチであって、
請求項６〜８のいずれかに記載のプログラムを搭載した光スイッチ。
【請求項１０】
複数のサービスクラスを有する波長分割多重ネットワークにおける各ノードが、光送信手段と、光受信手段と、光電気変換手段と、電気光変換手段と、演算手段と、記憶手段を備え、
前記記憶手段は、請求項１〜５のいずれかに記載の光パス設定方法により設定された前記リンク状態と前記最適行動のテーブル情報が記憶されており、
前記演算手段は、サービスクラスｉの光パス設定要求を受信した場合、前記テーブル情報を用いて、現在のリンク状態に対応した最適行動に従って、前記光パス設定要求を棄却するか否かを判別し、前記Ｑ関数を用いた各状態に対する各行動の前記Ｑ値を更新する、
ことを特徴とする光情報通信システム。
【請求項１１】
前記演算手段は、ネットワークトポロジー，ノード数，使用可能な波長数、各クラスの平均光パス設定要求間隔，各クラスの平均光パス使用時間に基づいて、前記テーブル情報をオンラインで生成することを特徴とする請求項１０に記載の光情報通信システム。
【請求項１２】
サービス差別化と波長利用効率化の均衡を図る前記報酬関数のパラメータを調整できるパラメータ調整手段を更に備えたことを特徴とする請求項１０に記載の光情報通信システム。
【請求項１】
波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定方法であって、
各ノードには光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、かつ、光パス設定が失敗したときのコストを設定し、
前記報酬およびコストから導出した報酬関数が最大になるように各クラスの光パス設定要求の受け入れ可否を決定して、
前記送信ノードにおける現在のリンク状態から次のリンク状態への最適行動を、報酬関数に基づき強化学習アルゴリズムを用いて導出することを特徴とする光パス設定方法。
【請求項２】
前記リンク状態は、
光パス設定要求到着イベントを単位とする離散時間ｔを導入し、
時刻（ｔ）におけるクラス数Ｍのサービスクラスｉの光パス設定数Ｎｉ(ｔ)と、前回時刻（ｔ−１）の光パス設定要求に対する受け入れ結果Ｉ(ｔ−１)を用いて、下記数１で定義され、
前記報酬関数は、現在のリンク状態ｓｔから行動ａｔを取って、次のリンク状態ｓｔ＋１へ遷移した時に、下記数２で定義され、
前記報酬関数を基づいて、下記数３で定義される行動価値関数（Ｑ関数）から得られる状態ｓtに対する各行動ａtのＱ値を用いて、状態ｓtに対して最も大きなＱ値を持つ行動ａtを最適行動として光パス設定の受け入れ可否が決定されることを特徴とする請求項１に記載の光パス設定方法。
（数１）
ｓt＝（Ｎ１（ｔ），Ｎ２（ｔ），・・・，ＮＭ（ｔ），Ｉ（ｔ−１））
（数２）
ｒｔ＋１＝β（Ｒ１Ｎ１（ｔ）＋Ｒ２Ｎ２（ｔ）＋・・・＋ＲＭＮＭ（ｔ））−（１−β）ＣＩ(ｔ) （但し、０＜ＲＭ＜ＲＭ−１＜・・・＜Ｒｉ＜・・・＜Ｒ２＜Ｒ１＜＝１，０＜＝β＜＝１，０＜Ｃ）
（数３）
Ｑ（ｓt，ａt）← Ｑ（ｓt，ａt）＋α[ｒｔ＋１＋γｍａｘＱ(ｓt+1，ａ)−Ｑ(ｓt，ａt)] (但し、０＜α＜＝１，０＜＝γ＜１)
【請求項３】
前記強化学習アルゴリズムは、
少なくともネットワークトポロジー，ノード数，使用可能な波長数，各クラスの平均光パス設定要求間隔，各クラスの平均光パス使用時間が与えられた擬似ネットワーク環境を構築するステップと、
前記擬似ネットワーク環境上で、擬似的に各クラスの光パス設定要求イベントと光パス使用終了イベントを発生させるステップと、
各ノードが前記リンク状態ｓｔに応じた前記行動ａｔをとりながら、前記Ｑ値を更新していくステップと、
都度変更される前記リンク状態ｓｔと前記行動ａｔの最適行動ペア（ｓｔ，ａｔ）に従って、光パス設定要求の受け入れ可否を決定していくステップと、
を備えたものであることを特徴とする請求項２に記載の光パス設定方法。
【請求項４】
波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定を行う光パス設定方法であって、
各ノードに対して、光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、また、光パス設定が失敗したときのコストを設定するステップと、
自ノードに隣接するリンクの波長数とサービスクラス数を設定するステップと、
光パス設定要求イベント又は光パス使用終了イベントが発生した場合に、リンク状態に応じた行動をとりながら、行動価値関数（Ｑ関数）のＱ値を更新していくステップと、
光パス設定要求イベントが発生した場合に、リンク状態と行動の最適行動ペアに従って、光パス設定要求イベントの受け入れ可否を決定していくステップと、
を備えたことを特徴とする光パス設定方法。
【請求項５】
前記リンク状態は、
光パス設定要求到着イベントを単位とする離散時間ｔを導入し、
時刻（ｔ）におけるクラス数Ｍのサービスクラスｉの光パス設定数Ｎｉ(ｔ)と、前回時刻（ｔ−１）の光パス設定要求に対する受け入れ結果Ｉ(ｔ−１)を用いて、下記数４で定義され、
前記報酬関数は、現在のリンク状態ｓｔから行動ａｔを取って、次のリンク状態ｓｔ＋１へ遷移した時に、下記数５で定義され、
前記報酬関数を基づいて、下記数６で定義されるＱ関数から得られる状態ｓtに対する各行動ａtのＱ値を用いて、状態ｓtに対して最も大きなＱ値を持つ行動ａtを最適行動として光パス設定の受け入れ可否が決定されることを特徴とする請求項４に記載の光パス設定方法。
（数４）
ｓt＝（Ｎ１（ｔ），Ｎ２（ｔ），・・・，ＮＭ（ｔ），Ｉ（ｔ−１））
（数５）
ｒｔ＋１＝β（Ｒ１Ｎ１（ｔ）＋Ｒ２Ｎ２（ｔ）＋・・・＋ＲＭＮＭ（ｔ））−（１−β）ＣＩ(ｔ) （但し、０＜ＲＭ＜ＲＭ−１＜・・・＜Ｒｉ＜・・・＜Ｒ２＜Ｒ１＜＝１，０＜＝β＜＝１，０＜Ｃ）
（数６）
Ｑ（ｓt，ａt）← Ｑ（ｓt，ａt）＋α[ｒｔ＋１＋γｍａｘＱ(ｓt+1，ａ)−Ｑ(ｓt，ａt)] (但し、０＜α＜＝１，０＜＝γ＜１)
【請求項６】
波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定を行うプログラムであって、
各ノードのコンピュータに、
光パスが設定される場合に得られる報酬をサービスクラス毎に設定し、また、光パス設定が失敗したときのコストを設定するステップと、
自ノードに隣接するリンクの波長数とサービスクラス数を設定するステップと、
光パス設定要求イベント又は光パス使用終了イベントが発生した場合に、リンク状態に応じた行動をとりながら、行動価値関数（Ｑ関数）のＱ値を更新していくステップと、
光パス設定要求イベントが発生した場合に、リンク状態と行動の最適行動ペアに従って、光パス設定要求イベントの受け入れ可否を決定していくステップと、
を実行させるための光パス設定プログラム。
【請求項７】
前記リンク状態は、
光パス設定要求到着イベントを単位とする離散時間ｔを導入し、
時刻（ｔ）におけるクラス数Ｍのサービスクラスｉの光パス設定数Ｎｉ(ｔ)と、前回時刻（ｔ−１）の光パス設定要求に対する受け入れ結果Ｉ(ｔ−１)を用いて、下記数７で定義され、
前記報酬関数は、現在のリンク状態ｓｔから行動ａｔを取って、次のリンク状態ｓｔ＋１へ遷移した時に、下記数８で定義され、
前記報酬関数を基づいて、下記数９で定義されるＱ関数から得られる状態ｓtに対する各行動ａtのＱ値を用いて、状態ｓtに対して最も大きなＱ値を持つ行動ａtを最適行動として光パス設定の受け入れ可否が決定されることを特徴とする請求項６に記載の光パス設定プログラム。
（数７）
ｓt＝（Ｎ１（ｔ），Ｎ２（ｔ），・・・，ＮＭ（ｔ），Ｉ（ｔ−１））
（数８）
ｒｔ＋１＝β（Ｒ１Ｎ１（ｔ）＋Ｒ２Ｎ２（ｔ）＋・・・＋ＲＭＮＭ（ｔ））−（１−β）ＣＩ(ｔ) （但し、０＜ＲＭ＜ＲＭ−１＜・・・＜Ｒｉ＜・・・＜Ｒ２＜Ｒ１＜＝１，０＜＝β＜＝１，０＜Ｃ）
（数９）
Ｑ（ｓt，ａt）← Ｑ（ｓt，ａt）＋α[ｒｔ＋１＋γｍａｘＱ(ｓt+1，ａ)−Ｑ(ｓt，ａt)] (但し、０＜α＜＝１，０＜＝γ＜１)
【請求項８】
請求項３に記載の強化学習アルゴリズムの光パス設定方法により得られた最適行動ペア（ｓt，ａt）を初期値として設定するステップを、更に備えたことを特徴とする請求項６に記載の光パス設定プログラム。
【請求項９】
波長分割多重ネットワークにおける送信ノードから受信ノードへの複数のサービスクラスを有する光パス設定を行う光スイッチであって、
請求項６〜８のいずれかに記載のプログラムを搭載した光スイッチ。
【請求項１０】
複数のサービスクラスを有する波長分割多重ネットワークにおける各ノードが、光送信手段と、光受信手段と、光電気変換手段と、電気光変換手段と、演算手段と、記憶手段を備え、
前記記憶手段は、請求項１〜５のいずれかに記載の光パス設定方法により設定された前記リンク状態と前記最適行動のテーブル情報が記憶されており、
前記演算手段は、サービスクラスｉの光パス設定要求を受信した場合、前記テーブル情報を用いて、現在のリンク状態に対応した最適行動に従って、前記光パス設定要求を棄却するか否かを判別し、前記Ｑ関数を用いた各状態に対する各行動の前記Ｑ値を更新する、
ことを特徴とする光情報通信システム。
【請求項１１】
前記演算手段は、ネットワークトポロジー，ノード数，使用可能な波長数、各クラスの平均光パス設定要求間隔，各クラスの平均光パス使用時間に基づいて、前記テーブル情報をオンラインで生成することを特徴とする請求項１０に記載の光情報通信システム。
【請求項１２】
サービス差別化と波長利用効率化の均衡を図る前記報酬関数のパラメータを調整できるパラメータ調整手段を更に備えたことを特徴とする請求項１０に記載の光情報通信システム。
【図１】
【図２】
【図３】
【図４】
【図５−１】
【図５−２】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５−１】
【図５−２】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１０−２６３４４２（Ｐ２０１０−２６３４４２Ａ）
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願番号】特願２００９−１１３０７１（Ｐ２００９−１１３０７１）
【出願日】平成２１年５月７日（２００９．５．７）
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【Ｆターム（参考）】
【公開日】平成２２年１１月１８日（２０１０．１１．１８）
【国際特許分類】
【出願日】平成２１年５月７日（２００９．５．７）
【出願人】（５０４１４３４４１）国立大学法人 奈良先端科学技術大学院大学 (226)
【Ｆターム（参考）】
[ Back to top ]