コンテンツ転送時間帯決定方法
【課題】無線リンクを接続することなく、確率的に最適なコンテンツ転送時間帯を事前に決定できるコンテンツ転送時間帯決定方法を提供する。
【解決手段】コンテンツ転送時間帯選択部１０１は、今回のコンテンツ転送時間帯timeを決定方策πに従って選択する。コンテンツ転送部１０２は、選択された今回のコンテンツ転送時間帯timeを待ってコンテンツ転送を実行する。収益算出部１０３は、今回のコンテンツ転送の結果に基づいて、実現可能な通信品質を表す収益rを算出する。誤差算出部１０４は、行動価値予測における誤差δを算出する。更新部１０５は、コンテンツ転送が行われた今回の転送時間帯timeに関して、その行動価値関数Q (time)を前記誤差δに基づいて更新する。
【解決手段】コンテンツ転送時間帯選択部１０１は、今回のコンテンツ転送時間帯timeを決定方策πに従って選択する。コンテンツ転送部１０２は、選択された今回のコンテンツ転送時間帯timeを待ってコンテンツ転送を実行する。収益算出部１０３は、今回のコンテンツ転送の結果に基づいて、実現可能な通信品質を表す収益rを算出する。誤差算出部１０４は、行動価値予測における誤差δを算出する。更新部１０５は、コンテンツ転送が行われた今回の転送時間帯timeに関して、その行動価値関数Q (time)を前記誤差δに基づいて更新する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ転送の実績に基づいて高品質の転送時間帯を学習し、コンテンツ転送の要求が検知されると、学習結果に基づいて確率的に最適なコンテンツ転送時間帯を決定するコンテンツ転送時間帯決定方法に関する。
【背景技術】
【０００２】
無線データ通信において、無線リソースを有効利用する観点から、データトラヒックのリアルタイム性の要求の程度に着目し、高いリアルタイム性を要求するデータトラヒックに高い優先順位を設定し、優先的に無線リソース（時間、周波数、電力）を割り当てる技術が特許文献１に開示されている。
【０００３】
しかしながら、特許文献１ではリアルタイム性の極めて低いデータトラヒックにも相応の優先度が割り当てられるので無線リソースが相応に消費されてしまい、より優先度の高いデータトラヒックのスループット向上を妨げていた。
【０００４】
このような技術課題に対して、特許文献２には、無線端末へコンテンツをダウンロードする際にスループットを常時測定し、スループットが基準値を下回った時点で無線リンクを切断し、所定の時間が経過した後にダウンロードを再開する技術が開示されている。この特許文献２には更に、無線端末からコンテンツをアップロードする際に、アップロードのために実現可能なスループット情報を基地局から受信し、スループットが基準値を下回った時点で無線リンクを切断し、所定の時間が経過した後にアップロードを再開する技術も開示されている。
【０００５】
一方、環境から供給される報酬を取得することを目標にして、この目標を達成するための制御方法を試行錯誤しながら学習していくような機械学習は、広い意味で強化学習と称されており、例えば非特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１６９３６３号公報
【特許文献２】特願２００９−７０４５６号
【非特許文献】
【０００７】
【非特許文献１】「強化学習」Richard S.Sutton,Andrew G.Barto.三上貞芳 皆川雅章訳
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献２によれば、優先度の低いデータトラヒックにはコンテンツ転送のための通信機会が一時的に割り当てられるのみで、それ以外の時間帯では優先度の低いデータトラヒックによって無線リソースが消費されることが無いので、優先度の高いデータトラヒックに対してより多くの無線リソースを割り当てられるようになる。
【０００９】
一方、優先度の低いデータトラヒックであっても、通信機会を一時的に割り当てる際には、スループットのより高い高品質の転送時間帯を割り当てることが望ましい。しかしながら、十分なスループットが得られる転送時間帯であるか否かを判断するためには無線リンクを一時的に接続する必要があり、無線リソースが消費されてしまうという技術課題があった。
【００１０】
本発明の目的は、上記した従来技術の課題を解決し、無線リンクを接続することなく、事前に適切なコンテンツ転送時間帯を決定できるコンテンツ転送時間帯決定方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、コンテンツ転送の実績に基づいて各転送時間帯の通信品質を学習し、コンテンツ転送の要求が検知されると、学習結果に基づいて確率的に最適な転送時間帯を決定するコンテンツ転送時間帯決定方法において、以下のような手順を具備した点に特徴がある。
【００１２】
(1)各転送時間帯の行動価値関数を初期化する手順と、現在のコンテンツ転送時間帯決定方策に従って今回の転送時間帯timeを選択する手順と、選択された転送時間帯でコンテンツを転送する手順と、今回のコンテンツ転送の通信品質を評価する手順と、評価結果に基づいて収益を算出する手順と、収益に基づいて行動価値予測における誤差を算出する手順と、誤差に基づいて今回の転送時間帯の行動価値関数を更新する手順とを含み、これ以後のコンテンツ転送要求に応答して、前記転送時間を選択する手順から行動価値関数を更新する手順までを繰り返すことを特徴とする。
【００１３】
(2)各転送時間帯の行動価値関数を初期化する手順と、現在のコンテンツ転送時間帯決定方策に従って、コンテンツ転送の要求が検知された時間帯ptimeをパラメータとして今回の転送時間帯timeを選択する手順と、選択された転送時間帯でコンテンツを転送する手順と、今回のコンテンツ転送の通信品質を評価する手順と、評価結果に基づいて収益を算出する手順と、収益に基づいて行動価値予測における誤差を算出する手順と、誤差に基づいて前記今回の転送時間帯の行動価値関数を更新する手順とを含み、これ以後のコンテンツ転送要求に応答して、前記転送時間を選択する手順から行動価値関数を更新する手順までを繰り返すことを特徴とする。
【００１４】
(3)コンテンツ転送時間帯を決定するための各手順が、コンテンツを転送する無線端末ごとに実行されることを特徴とする。
【００１５】
(4)無線端末が無線基地局を経由してコンテンツを転送する際に、前記コンテンツ転送時間帯を決定するための各手順が、各無線端末を収容する無線基地局ごとに実行されることを特徴とする。
【００１６】
(5)無線端末が無線基地局を経由してコンテンツを転送する際に、前記コンテンツ転送時間帯を決定するための各手順が、所定の通信エリアごとに実行されることを特徴とする。
【００１７】
(6)無線端末が無線基地局を経由してコンテンツを転送する際に、前記コンテンツ転送時間帯を決定するための各手順が一部の通信エリアで実行され、一の通信エリアで更新された行動価値関数と他の一の通信エリアで更新された行動価値関数とに基づいて更に他の一の通信エリアの行動価値関数を推定し、当該更に他の一の通信エリアでは、前記推定された行動価値関数に基づいてコンテンツの転送時間帯が決定されることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、以下のような効果が達成される。
(1)コンテンツ転送の時間帯決定に強化学習を適用し、通信品質を収益として更新された行動価値関数に基づいてコンテンツ転送時間帯timeが決定されるようにしたので、通信品質に関して確率的に最適な転送時間帯を選択できるようになる。
(2)コンテンツ転送の時間帯決定に強化学習を適用し、コンテンツ転送の要求が検知された時間帯ptimeをパラメータとし、通信品質を収益として更新された行動価値関数に基づいてコンテンツ転送時間帯timeが決定されるようにしたので、通信品質に関して確率的に最適かつより早い時刻の転送時間帯を選択できるようになる。
(3)強化学習を適用したコンテンツ転送の時間帯決定手順が無線端末ごとに実施されるので、無線端末ごとにコンテンツ転送の環境が異なる場合でも、無線端末ごとに確率的に最適な転送時間帯を選択できるようになる。
(4)強化学習を適用したコンテンツ転送の時間帯決定手順が、無線端末を収容する無線基地局ごとに実施されるので、行動価値関数の更新頻度が高くなり、無線リンク利用状況の変化に対する追随性が向上する。
(5)強化学習を適用したコンテンツ転送の時間帯決定手順が、所定の通信エリアごとに実施されるので、行動価値関数の更新頻度が更に高くなり、無線リンク利用状況の変化に対する追随性が更に向上する。
(6)強化学習を適用したコンテンツ転送の時間帯決定手順が一部の通信エリアにおいてのみ実施され、他の通信エリアでは、前記一部の通信エリアで得られた行動価値関数から推定された行動価値関数を利用するので、設備コストや行動価値関数の更新処理に必要な通信量を減らすことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明が適用される転送ネットワークの第１の構成を示した図である。
【図２】転送時間帯決定部の第１実施形態の構成を示したブロック図である。
【図３】本発明の第１実施形態の動作を示したフローチャートである。
【図４】転送時間帯決定部の第２実施形態の構成を示したブロック図である。
【図５】本発明の第２実施形態の動作を示したフローチャートである。
【図６】本発明が適用される転送ネットワークの第２の構成を示した図である。
【図７】本発明が適用される転送ネットワークの第３の構成を示した図である。
【図８】本発明が適用される転送ネットワークの第４の構成を示した図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態について詳細に説明する。本発明では、リアルタイム性の低いデータトラヒック（ここでは、コンテンツ転送）に対して割り当てたコンテンツ転送時間帯とその実績スループットとに基づいて、将来のコンテンツ転送時間帯とその推定スループットとを強化学習し、最適なコンテンツ転送時間帯を割り当てることを考える。
【００２１】
図１は、本発明が適用される転送ネットワークの構成を示した図であり、転送ネットワーク１には、複数の携帯無線端末MNを収容する無線基地局１およびコンテンツ送受信ノード３が接続されており、各無線端末MNの端末ユーザがコンテンツ転送の要求操作を入力すると、これに応答して無線端末MNにコンテンツの転送時間帯が割り当てられる。無線端末MNは、自身に割り当てられた転送時間帯を待ってコンテンツを送信または受信（以下、転送で総称する場合もある）する。
【実施例１】
【００２２】
図２は、各無線端末MNに実装されてコンテンツ転送の時間帯を決定する転送時間帯決定部１０の構成を示したブロック図である。
【００２３】
コンテンツ転送時間帯選択部１０１は、今回のコンテンツ転送時間帯timeを決定方策πに従って選択する。本実施形態では、行動価値関数Q (time)に基づく強化比較法に基づき、次式(1)によって算出される確率に従ってコンテンツ転送時間帯timeが選択される。但し、εはコンテンツ転送時間帯の最小選択確率、τは温度係数と呼ばれる定数であり、Q (time')，Q (time'')は、各コンテンツ転送時間帯time'，time''について推定された行動価値関数である。
【００２４】
【数１】
【００２５】
コンテンツ転送部１０２は、前記コンテンツ転送時間帯timeを待ってコンテンツ転送を実行する。収益算出部１０３は、今回のコンテンツ転送の結果に基づいて、実現可能な通信品質を表す収益rを算出する。本実施形態では、収益rがコンテンツ転送の際に連続して転送されたコンテンツサイズによって与えられる。誤差算出部１０４は、行動価値予測における誤差δを次式(2)に基づいて算出する。なお、time*はQ (time')を最大化する最適なコンテンツ転送時間帯time'であり、次式(3)で与えられる。また、γは割引率パラメータと呼ばれる定数である。
【００２６】
【数２】
【００２７】
【数３】
【００２８】
更新部１０５は、コンテンツ転送が行われた今回の転送時間帯timeに関して、その行動価値関数Q (time)を次式(4)に基づいて更新する。但し、αはステップサイズパラメータと呼ばれる定数である。
【００２９】
【数４】
【００３０】
次いで、フローチャートを参照して本実施形態の動作を詳細に説明する。図３は、本実施形態における転送時間帯timeの決定手順を示したフローチャートであり、ここでは、各無線端末MNが実際にコンテンツ転送を行いながら以下の処理を実行する。
【００３１】
ステップＳ１では、選択し得る転送時間帯の集合TIMEに含まれる全てのコンテンツ転送時間帯time（∈TIME）に関して、その行動価値関数Q(time)が「A」に初期化される。但し、初期値Aは収益rに比べて十分大きな値を持つ定数とする。ステップＳ２において、コンテンツ転送の要求が検知されるとステップＳ３へ進み、前記コンテンツ転送時間帯選択部１０１において、現在のコンテンツ転送時間帯決定方策πに従い、上式(1)によって算出される確率に基づいてコンテンツ転送時間帯timeが選択される。
【００３２】
ステップＳ４では、前記コンテンツ転送部１０２において、前記選択された今回のコンテンツ転送時間帯timeを待ってコンテンツ転送が実施される。ステップＳ５では、前記収益算出部１０３において、コンテンツ転送の結果に基づいて実現可能な通信品質を表す収益rが算出される。ステップＳ６では、前記誤差算出部１０４において、行動価値予測における誤差δが上式(2)，(3)に基づいて算出される。
【００３３】
ステップＳ７では、前記更新部１０５において、コンテンツ転送が行われた今回の転送時間帯timeに関して、その行動価値関数Q (time)が上式(4)に基づいて更新される。上記ステップＳ３〜Ｓ７の処理は、ステップＳ２でコンテンツ転送要求が検知されるごとに繰り返される。
【００３４】
本実施形態によれば、各無線端末はステップＳ７において更新された行動価値関数に基づき、ステップ３においてコンテンツ転送時間帯timeを決定することにより、高い通信品質を実現できる行動価値関数の値が大きな時間帯を、大きな確率で選択することができる。また、ステップ３において、必ずしも実現できる通信品質が高くない、行動価値関数の値が小さな時間帯も、小さな確率で選択することによって、常に探査が行われ、今まで実現できる通信品質が高くなかった時間帯において、高い通信品質が実現できるようになった等の無線リンク利用状況の変化を検知して、変化に追随することができる。
【実施例２】
【００３５】
図４は、本実施形態において、各無線端末MNに実装されてコンテンツ転送の時間帯を決定する転送時間帯決定部１０の構成を示したブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態では、コンテンツ転送の要求が検知された時間帯ptimeからコンテンツ転送時間帯timeまでの経過時間がパラメータに追加されている。
【００３６】
コンテンツ転送時間帯選択部２０１は、今回のコンテンツ転送時間帯timeを決定方策πに従って選択する。本実施形態では、行動価値関数Q (ptime，time)に基づく強化比較法に基づき、次式(5)により算出される確率に基づいてコンテンツ転送時間帯timeが選択される。但し、「ε」はコンテンツ転送時間帯の最小選択確率、「τ」は温度係数と呼ばれる定数であり、Q (ptime，time')，Q (ptime，time'')は、コンテンツ転送の要求が検知された時間帯ptimeに対する各コンテンツ転送時間帯time'，time''について推定された行動価値関数である。
【００３７】
【数５】
【００３８】
コンテンツ転送部１０２は、前記コンテンツ転送時間帯timeを待ってコンテンツ転送を実行する。収益算出部２０３は、今回のコンテンツ転送の結果に基づいて、実現可能な通信品質を表す収益rを算出する。収益rは、例えばコンテンツ転送の際に連続して転送されたコンテンツサイズの増加と共に大きくなり、コンテンツ転送の要求が検知された時間帯ptimeからの時間差(time−ptime)の増加と共に減少する値とする。
【００３９】
誤差算出部２０４は、行動価値予測における誤差δを次式(6)に基づいて算出する。なお、time*はQ (ptime, time')を最大化する最適なコンテンツ転送時間帯time'であり、次式(7)で与えられる。
【００４０】
【数６】
【００４１】
【数７】
【００４２】
更新部２０５は、コンテンツ転送が行われた今回の転送時間帯timeに関して、その行動価値関数Q (ptime, time)を次式(8)に基づいて更新する。
【００４３】
【数８】
【００４４】
次いで、フローチャートを参照して本実施形態の動作を詳細に説明する。図５は、第２実施形態における転送時間帯timeの決定手順を示したフローチャートであり、本実施形態でも、各々の無線端末が実際にコンテンツ転送を行いながら以下の処理を実行する。
【００４５】
ステップＳ１１では、選択し得る転送時間帯の集合TIMEに含まれる全てのコンテンツ転送時間帯time（∈TIME）およびコンテンツ転送の要求が検知された時間帯ptimeのペアに関して、行動価値関数Q (ptime, time) が「A」に初期化される。但し、Aは収益rに比べて十分大きな値を持つ定数である。ステップＳ１２において、コンテンツ転送の要求が検知されるとステップＳ１３へ進み、前記コンテンツ転送時間帯選択部２０１において、現在のコンテンツ転送時間帯決定方策πに従って、上式(5)によって算出される確率に従ってコンテンツ転送時間帯timeが選択される。
【００４６】
ステップＳ１４では、前記コンテンツ転送部１０２において、前記選択された今回のコンテンツ転送時間帯timeを待ってコンテンツが転送される。ステップＳ１５では、前記収益算出部２０３において、コンテンツ転送の結果に基づいて、実現可能な通信品質を表す収益rが算出される。ステップＳ１６では、前記誤差算出部２０４において、行動価値予測における誤差δが上式(6)，(7)に基づいて算出される。
【００４７】
ステップＳ１７では、前記更新部２０５において、コンテンツ転送を行った時間帯timeに対して、行動価値関数Q (ptime, time) が上式(8)に基づいて更新される。但し、「α」はステップサイズパラメータと呼ばれる定数である。上記ステップＳ１３〜Ｓ１７の処理は、ステップＳ１２でコンテンツ転送要求が検知されるごとに繰り返される。
【００４８】
本実施形態によれば、各々の無線端末は、ステップＳ１７において更新された行動価値関数とコンテンツ転送の要求が検知された時間帯とに基づき、ステップＳ１３においてコンテンツ転送時間帯を決定することにより、高い通信品質が得られる早い時間帯を、大きな確率で選択することができる。またステップS１３において、必ずしも通信品質が高く早い時間帯ではない、行動価値関数の値が小さな時間帯も、小さな確率で選択することによって常に探査が行われ、今まで実現できる通信品質が高くなかった時間帯において、高い通信品質が実現できるようになった等の無線リンク利用状況の変化を検知して、変化に追随することができる。
【他の実施例】
【００４９】
なお、上記の各実施形態では、コンテンツを転送する無線端末MNごとにコンテンツ転送の実績に基づいて高い通信品質を実現できる転送時間帯timeを学習し、コンテンツ転送の要求が検知されると、学習結果に基づいて確率的に最適なコンテンツ転送の時間帯を決定するものとして説明したが、本発明はこれのみに限定されるものではなく、このような強化学習の単位は、(1)無線基地局単位、あるいは(2)複数の無線基地局を含む通信エリア単位であってもよく、さらには(3)一部の通信エリアの強化学習結果に基づいて他の通信エリアの強化学習結果を推定するようにしても良い。
【００５０】
さらに具体的に説明すれば、(1)強化学習を無線基地局単位で実行するのであれば、図６に一例を示したように、前記転送時間帯決定部１０を実装した学習サーバ機能４を無線基地局２に付加し、収容する複数の無線端末MNが実際に行うコンテンツ転送の結果に基づき、学習サーバ機能４が無線基地局対応の行動価値関数の更新処理を行い、行動価値関数あるいは行動価値関数に基づいて決定された転送時間帯timeを、収容する各無線端末MNに通知する。このように、基地局対応の行動価値関数を利用することにより、行動価値関数の更新頻度が高くなり、無線リンク利用状況の変化に対する追随性が向上する。
【００５１】
また、(2)強化学習を通信エリア単位で実行するのであれば、図７に一例を示したように、複数の通信エリアについて通信エリアごとに学習サーバ５（５ａ，５ｂ）を設けて前記転送時間帯決定部１０を実装し、通信エリア内で動作している複数の無線端末が実際に行うコンテンツ転送の結果に基づき、通信エリア対応の行動価値関数の更新処理を行い、行動価値関数あるいは行動価値関数に基づいて決定されたコンテンツ転送時間帯を、通信エリア内の各無線端末に通知する。
【００５２】
ここで、通信エリアは住宅地域、商業地域、ビジネス地域等に区別される。このように、通信エリア対応の行動価値関数を利用することにより、更に行動価値関数の更新頻度が高くなり、無線リンク利用状況の変化に対する追随性が向上する。
【００５３】
さらに、(3)学習サーバを設けられる通信エリアが一部に限定されるのであれば、図８に一例を示したように、限られた通信エリアごとに設けられた学習サーバ５（５ａ，５ｂ）が各通信エリア対応の行動価値関数の更新処理を行い、更新された行動価値関数から、学習サーバを持たない他の通信エリアの行動価値関数を推定する。例えば、典型的な商業地域である通信エリアにおける行動価値関数および典型的なビジネス地域である通信エリアにおける行動価値関数を平均化することにより、商業地域とビジネス地域が混在している通信エリアの行動価値関数を推定する。このように、限られた一部の通信エリアのみに学習サーバ５を設けることにより、学習サーバ等の設備コストや行動価値関数の更新処理に必要な通信量を減らすことができる。
【符号の説明】
【００５４】
１…転送ネットワーク、２…無線基地局、３…コンテンツ送受信ノード、１０…転送時間帯決定部、１０１，２０１…コンテンツ転送時間帯選択部、１０２…コンテンツ転送部、１０３，２０３…収益算出部、１０４，２０４…誤差算出部、１０５，２０５…更新部
【技術分野】
【０００１】
本発明は、コンテンツ転送の実績に基づいて高品質の転送時間帯を学習し、コンテンツ転送の要求が検知されると、学習結果に基づいて確率的に最適なコンテンツ転送時間帯を決定するコンテンツ転送時間帯決定方法に関する。
【背景技術】
【０００２】
無線データ通信において、無線リソースを有効利用する観点から、データトラヒックのリアルタイム性の要求の程度に着目し、高いリアルタイム性を要求するデータトラヒックに高い優先順位を設定し、優先的に無線リソース（時間、周波数、電力）を割り当てる技術が特許文献１に開示されている。
【０００３】
しかしながら、特許文献１ではリアルタイム性の極めて低いデータトラヒックにも相応の優先度が割り当てられるので無線リソースが相応に消費されてしまい、より優先度の高いデータトラヒックのスループット向上を妨げていた。
【０００４】
このような技術課題に対して、特許文献２には、無線端末へコンテンツをダウンロードする際にスループットを常時測定し、スループットが基準値を下回った時点で無線リンクを切断し、所定の時間が経過した後にダウンロードを再開する技術が開示されている。この特許文献２には更に、無線端末からコンテンツをアップロードする際に、アップロードのために実現可能なスループット情報を基地局から受信し、スループットが基準値を下回った時点で無線リンクを切断し、所定の時間が経過した後にアップロードを再開する技術も開示されている。
【０００５】
一方、環境から供給される報酬を取得することを目標にして、この目標を達成するための制御方法を試行錯誤しながら学習していくような機械学習は、広い意味で強化学習と称されており、例えば非特許文献１に開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−１６９３６３号公報
【特許文献２】特願２００９−７０４５６号
【非特許文献】
【０００７】
【非特許文献１】「強化学習」Richard S.Sutton,Andrew G.Barto.三上貞芳 皆川雅章訳
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献２によれば、優先度の低いデータトラヒックにはコンテンツ転送のための通信機会が一時的に割り当てられるのみで、それ以外の時間帯では優先度の低いデータトラヒックによって無線リソースが消費されることが無いので、優先度の高いデータトラヒックに対してより多くの無線リソースを割り当てられるようになる。
【０００９】
一方、優先度の低いデータトラヒックであっても、通信機会を一時的に割り当てる際には、スループットのより高い高品質の転送時間帯を割り当てることが望ましい。しかしながら、十分なスループットが得られる転送時間帯であるか否かを判断するためには無線リンクを一時的に接続する必要があり、無線リソースが消費されてしまうという技術課題があった。
【００１０】
本発明の目的は、上記した従来技術の課題を解決し、無線リンクを接続することなく、事前に適切なコンテンツ転送時間帯を決定できるコンテンツ転送時間帯決定方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記の目的を達成するために、本発明は、コンテンツ転送の実績に基づいて各転送時間帯の通信品質を学習し、コンテンツ転送の要求が検知されると、学習結果に基づいて確率的に最適な転送時間帯を決定するコンテンツ転送時間帯決定方法において、以下のような手順を具備した点に特徴がある。
【００１２】
(1)各転送時間帯の行動価値関数を初期化する手順と、現在のコンテンツ転送時間帯決定方策に従って今回の転送時間帯timeを選択する手順と、選択された転送時間帯でコンテンツを転送する手順と、今回のコンテンツ転送の通信品質を評価する手順と、評価結果に基づいて収益を算出する手順と、収益に基づいて行動価値予測における誤差を算出する手順と、誤差に基づいて今回の転送時間帯の行動価値関数を更新する手順とを含み、これ以後のコンテンツ転送要求に応答して、前記転送時間を選択する手順から行動価値関数を更新する手順までを繰り返すことを特徴とする。
【００１３】
(2)各転送時間帯の行動価値関数を初期化する手順と、現在のコンテンツ転送時間帯決定方策に従って、コンテンツ転送の要求が検知された時間帯ptimeをパラメータとして今回の転送時間帯timeを選択する手順と、選択された転送時間帯でコンテンツを転送する手順と、今回のコンテンツ転送の通信品質を評価する手順と、評価結果に基づいて収益を算出する手順と、収益に基づいて行動価値予測における誤差を算出する手順と、誤差に基づいて前記今回の転送時間帯の行動価値関数を更新する手順とを含み、これ以後のコンテンツ転送要求に応答して、前記転送時間を選択する手順から行動価値関数を更新する手順までを繰り返すことを特徴とする。
【００１４】
(3)コンテンツ転送時間帯を決定するための各手順が、コンテンツを転送する無線端末ごとに実行されることを特徴とする。
【００１５】
(4)無線端末が無線基地局を経由してコンテンツを転送する際に、前記コンテンツ転送時間帯を決定するための各手順が、各無線端末を収容する無線基地局ごとに実行されることを特徴とする。
【００１６】
(5)無線端末が無線基地局を経由してコンテンツを転送する際に、前記コンテンツ転送時間帯を決定するための各手順が、所定の通信エリアごとに実行されることを特徴とする。
【００１７】
(6)無線端末が無線基地局を経由してコンテンツを転送する際に、前記コンテンツ転送時間帯を決定するための各手順が一部の通信エリアで実行され、一の通信エリアで更新された行動価値関数と他の一の通信エリアで更新された行動価値関数とに基づいて更に他の一の通信エリアの行動価値関数を推定し、当該更に他の一の通信エリアでは、前記推定された行動価値関数に基づいてコンテンツの転送時間帯が決定されることを特徴とする。
【発明の効果】
【００１８】
本発明によれば、以下のような効果が達成される。
(1)コンテンツ転送の時間帯決定に強化学習を適用し、通信品質を収益として更新された行動価値関数に基づいてコンテンツ転送時間帯timeが決定されるようにしたので、通信品質に関して確率的に最適な転送時間帯を選択できるようになる。
(2)コンテンツ転送の時間帯決定に強化学習を適用し、コンテンツ転送の要求が検知された時間帯ptimeをパラメータとし、通信品質を収益として更新された行動価値関数に基づいてコンテンツ転送時間帯timeが決定されるようにしたので、通信品質に関して確率的に最適かつより早い時刻の転送時間帯を選択できるようになる。
(3)強化学習を適用したコンテンツ転送の時間帯決定手順が無線端末ごとに実施されるので、無線端末ごとにコンテンツ転送の環境が異なる場合でも、無線端末ごとに確率的に最適な転送時間帯を選択できるようになる。
(4)強化学習を適用したコンテンツ転送の時間帯決定手順が、無線端末を収容する無線基地局ごとに実施されるので、行動価値関数の更新頻度が高くなり、無線リンク利用状況の変化に対する追随性が向上する。
(5)強化学習を適用したコンテンツ転送の時間帯決定手順が、所定の通信エリアごとに実施されるので、行動価値関数の更新頻度が更に高くなり、無線リンク利用状況の変化に対する追随性が更に向上する。
(6)強化学習を適用したコンテンツ転送の時間帯決定手順が一部の通信エリアにおいてのみ実施され、他の通信エリアでは、前記一部の通信エリアで得られた行動価値関数から推定された行動価値関数を利用するので、設備コストや行動価値関数の更新処理に必要な通信量を減らすことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明が適用される転送ネットワークの第１の構成を示した図である。
【図２】転送時間帯決定部の第１実施形態の構成を示したブロック図である。
【図３】本発明の第１実施形態の動作を示したフローチャートである。
【図４】転送時間帯決定部の第２実施形態の構成を示したブロック図である。
【図５】本発明の第２実施形態の動作を示したフローチャートである。
【図６】本発明が適用される転送ネットワークの第２の構成を示した図である。
【図７】本発明が適用される転送ネットワークの第３の構成を示した図である。
【図８】本発明が適用される転送ネットワークの第４の構成を示した図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態について詳細に説明する。本発明では、リアルタイム性の低いデータトラヒック（ここでは、コンテンツ転送）に対して割り当てたコンテンツ転送時間帯とその実績スループットとに基づいて、将来のコンテンツ転送時間帯とその推定スループットとを強化学習し、最適なコンテンツ転送時間帯を割り当てることを考える。
【００２１】
図１は、本発明が適用される転送ネットワークの構成を示した図であり、転送ネットワーク１には、複数の携帯無線端末MNを収容する無線基地局１およびコンテンツ送受信ノード３が接続されており、各無線端末MNの端末ユーザがコンテンツ転送の要求操作を入力すると、これに応答して無線端末MNにコンテンツの転送時間帯が割り当てられる。無線端末MNは、自身に割り当てられた転送時間帯を待ってコンテンツを送信または受信（以下、転送で総称する場合もある）する。
【実施例１】
【００２２】
図２は、各無線端末MNに実装されてコンテンツ転送の時間帯を決定する転送時間帯決定部１０の構成を示したブロック図である。
【００２３】
コンテンツ転送時間帯選択部１０１は、今回のコンテンツ転送時間帯timeを決定方策πに従って選択する。本実施形態では、行動価値関数Q (time)に基づく強化比較法に基づき、次式(1)によって算出される確率に従ってコンテンツ転送時間帯timeが選択される。但し、εはコンテンツ転送時間帯の最小選択確率、τは温度係数と呼ばれる定数であり、Q (time')，Q (time'')は、各コンテンツ転送時間帯time'，time''について推定された行動価値関数である。
【００２４】
【数１】
【００２５】
コンテンツ転送部１０２は、前記コンテンツ転送時間帯timeを待ってコンテンツ転送を実行する。収益算出部１０３は、今回のコンテンツ転送の結果に基づいて、実現可能な通信品質を表す収益rを算出する。本実施形態では、収益rがコンテンツ転送の際に連続して転送されたコンテンツサイズによって与えられる。誤差算出部１０４は、行動価値予測における誤差δを次式(2)に基づいて算出する。なお、time*はQ (time')を最大化する最適なコンテンツ転送時間帯time'であり、次式(3)で与えられる。また、γは割引率パラメータと呼ばれる定数である。
【００２６】
【数２】
【００２７】
【数３】
【００２８】
更新部１０５は、コンテンツ転送が行われた今回の転送時間帯timeに関して、その行動価値関数Q (time)を次式(4)に基づいて更新する。但し、αはステップサイズパラメータと呼ばれる定数である。
【００２９】
【数４】
【００３０】
次いで、フローチャートを参照して本実施形態の動作を詳細に説明する。図３は、本実施形態における転送時間帯timeの決定手順を示したフローチャートであり、ここでは、各無線端末MNが実際にコンテンツ転送を行いながら以下の処理を実行する。
【００３１】
ステップＳ１では、選択し得る転送時間帯の集合TIMEに含まれる全てのコンテンツ転送時間帯time（∈TIME）に関して、その行動価値関数Q(time)が「A」に初期化される。但し、初期値Aは収益rに比べて十分大きな値を持つ定数とする。ステップＳ２において、コンテンツ転送の要求が検知されるとステップＳ３へ進み、前記コンテンツ転送時間帯選択部１０１において、現在のコンテンツ転送時間帯決定方策πに従い、上式(1)によって算出される確率に基づいてコンテンツ転送時間帯timeが選択される。
【００３２】
ステップＳ４では、前記コンテンツ転送部１０２において、前記選択された今回のコンテンツ転送時間帯timeを待ってコンテンツ転送が実施される。ステップＳ５では、前記収益算出部１０３において、コンテンツ転送の結果に基づいて実現可能な通信品質を表す収益rが算出される。ステップＳ６では、前記誤差算出部１０４において、行動価値予測における誤差δが上式(2)，(3)に基づいて算出される。
【００３３】
ステップＳ７では、前記更新部１０５において、コンテンツ転送が行われた今回の転送時間帯timeに関して、その行動価値関数Q (time)が上式(4)に基づいて更新される。上記ステップＳ３〜Ｓ７の処理は、ステップＳ２でコンテンツ転送要求が検知されるごとに繰り返される。
【００３４】
本実施形態によれば、各無線端末はステップＳ７において更新された行動価値関数に基づき、ステップ３においてコンテンツ転送時間帯timeを決定することにより、高い通信品質を実現できる行動価値関数の値が大きな時間帯を、大きな確率で選択することができる。また、ステップ３において、必ずしも実現できる通信品質が高くない、行動価値関数の値が小さな時間帯も、小さな確率で選択することによって、常に探査が行われ、今まで実現できる通信品質が高くなかった時間帯において、高い通信品質が実現できるようになった等の無線リンク利用状況の変化を検知して、変化に追随することができる。
【実施例２】
【００３５】
図４は、本実施形態において、各無線端末MNに実装されてコンテンツ転送の時間帯を決定する転送時間帯決定部１０の構成を示したブロック図であり、前記と同一の符号は同一または同等部分を表している。本実施形態では、コンテンツ転送の要求が検知された時間帯ptimeからコンテンツ転送時間帯timeまでの経過時間がパラメータに追加されている。
【００３６】
コンテンツ転送時間帯選択部２０１は、今回のコンテンツ転送時間帯timeを決定方策πに従って選択する。本実施形態では、行動価値関数Q (ptime，time)に基づく強化比較法に基づき、次式(5)により算出される確率に基づいてコンテンツ転送時間帯timeが選択される。但し、「ε」はコンテンツ転送時間帯の最小選択確率、「τ」は温度係数と呼ばれる定数であり、Q (ptime，time')，Q (ptime，time'')は、コンテンツ転送の要求が検知された時間帯ptimeに対する各コンテンツ転送時間帯time'，time''について推定された行動価値関数である。
【００３７】
【数５】
【００３８】
コンテンツ転送部１０２は、前記コンテンツ転送時間帯timeを待ってコンテンツ転送を実行する。収益算出部２０３は、今回のコンテンツ転送の結果に基づいて、実現可能な通信品質を表す収益rを算出する。収益rは、例えばコンテンツ転送の際に連続して転送されたコンテンツサイズの増加と共に大きくなり、コンテンツ転送の要求が検知された時間帯ptimeからの時間差(time−ptime)の増加と共に減少する値とする。
【００３９】
誤差算出部２０４は、行動価値予測における誤差δを次式(6)に基づいて算出する。なお、time*はQ (ptime, time')を最大化する最適なコンテンツ転送時間帯time'であり、次式(7)で与えられる。
【００４０】
【数６】
【００４１】
【数７】
【００４２】
更新部２０５は、コンテンツ転送が行われた今回の転送時間帯timeに関して、その行動価値関数Q (ptime, time)を次式(8)に基づいて更新する。
【００４３】
【数８】
【００４４】
次いで、フローチャートを参照して本実施形態の動作を詳細に説明する。図５は、第２実施形態における転送時間帯timeの決定手順を示したフローチャートであり、本実施形態でも、各々の無線端末が実際にコンテンツ転送を行いながら以下の処理を実行する。
【００４５】
ステップＳ１１では、選択し得る転送時間帯の集合TIMEに含まれる全てのコンテンツ転送時間帯time（∈TIME）およびコンテンツ転送の要求が検知された時間帯ptimeのペアに関して、行動価値関数Q (ptime, time) が「A」に初期化される。但し、Aは収益rに比べて十分大きな値を持つ定数である。ステップＳ１２において、コンテンツ転送の要求が検知されるとステップＳ１３へ進み、前記コンテンツ転送時間帯選択部２０１において、現在のコンテンツ転送時間帯決定方策πに従って、上式(5)によって算出される確率に従ってコンテンツ転送時間帯timeが選択される。
【００４６】
ステップＳ１４では、前記コンテンツ転送部１０２において、前記選択された今回のコンテンツ転送時間帯timeを待ってコンテンツが転送される。ステップＳ１５では、前記収益算出部２０３において、コンテンツ転送の結果に基づいて、実現可能な通信品質を表す収益rが算出される。ステップＳ１６では、前記誤差算出部２０４において、行動価値予測における誤差δが上式(6)，(7)に基づいて算出される。
【００４７】
ステップＳ１７では、前記更新部２０５において、コンテンツ転送を行った時間帯timeに対して、行動価値関数Q (ptime, time) が上式(8)に基づいて更新される。但し、「α」はステップサイズパラメータと呼ばれる定数である。上記ステップＳ１３〜Ｓ１７の処理は、ステップＳ１２でコンテンツ転送要求が検知されるごとに繰り返される。
【００４８】
本実施形態によれば、各々の無線端末は、ステップＳ１７において更新された行動価値関数とコンテンツ転送の要求が検知された時間帯とに基づき、ステップＳ１３においてコンテンツ転送時間帯を決定することにより、高い通信品質が得られる早い時間帯を、大きな確率で選択することができる。またステップS１３において、必ずしも通信品質が高く早い時間帯ではない、行動価値関数の値が小さな時間帯も、小さな確率で選択することによって常に探査が行われ、今まで実現できる通信品質が高くなかった時間帯において、高い通信品質が実現できるようになった等の無線リンク利用状況の変化を検知して、変化に追随することができる。
【他の実施例】
【００４９】
なお、上記の各実施形態では、コンテンツを転送する無線端末MNごとにコンテンツ転送の実績に基づいて高い通信品質を実現できる転送時間帯timeを学習し、コンテンツ転送の要求が検知されると、学習結果に基づいて確率的に最適なコンテンツ転送の時間帯を決定するものとして説明したが、本発明はこれのみに限定されるものではなく、このような強化学習の単位は、(1)無線基地局単位、あるいは(2)複数の無線基地局を含む通信エリア単位であってもよく、さらには(3)一部の通信エリアの強化学習結果に基づいて他の通信エリアの強化学習結果を推定するようにしても良い。
【００５０】
さらに具体的に説明すれば、(1)強化学習を無線基地局単位で実行するのであれば、図６に一例を示したように、前記転送時間帯決定部１０を実装した学習サーバ機能４を無線基地局２に付加し、収容する複数の無線端末MNが実際に行うコンテンツ転送の結果に基づき、学習サーバ機能４が無線基地局対応の行動価値関数の更新処理を行い、行動価値関数あるいは行動価値関数に基づいて決定された転送時間帯timeを、収容する各無線端末MNに通知する。このように、基地局対応の行動価値関数を利用することにより、行動価値関数の更新頻度が高くなり、無線リンク利用状況の変化に対する追随性が向上する。
【００５１】
また、(2)強化学習を通信エリア単位で実行するのであれば、図７に一例を示したように、複数の通信エリアについて通信エリアごとに学習サーバ５（５ａ，５ｂ）を設けて前記転送時間帯決定部１０を実装し、通信エリア内で動作している複数の無線端末が実際に行うコンテンツ転送の結果に基づき、通信エリア対応の行動価値関数の更新処理を行い、行動価値関数あるいは行動価値関数に基づいて決定されたコンテンツ転送時間帯を、通信エリア内の各無線端末に通知する。
【００５２】
ここで、通信エリアは住宅地域、商業地域、ビジネス地域等に区別される。このように、通信エリア対応の行動価値関数を利用することにより、更に行動価値関数の更新頻度が高くなり、無線リンク利用状況の変化に対する追随性が向上する。
【００５３】
さらに、(3)学習サーバを設けられる通信エリアが一部に限定されるのであれば、図８に一例を示したように、限られた通信エリアごとに設けられた学習サーバ５（５ａ，５ｂ）が各通信エリア対応の行動価値関数の更新処理を行い、更新された行動価値関数から、学習サーバを持たない他の通信エリアの行動価値関数を推定する。例えば、典型的な商業地域である通信エリアにおける行動価値関数および典型的なビジネス地域である通信エリアにおける行動価値関数を平均化することにより、商業地域とビジネス地域が混在している通信エリアの行動価値関数を推定する。このように、限られた一部の通信エリアのみに学習サーバ５を設けることにより、学習サーバ等の設備コストや行動価値関数の更新処理に必要な通信量を減らすことができる。
【符号の説明】
【００５４】
１…転送ネットワーク、２…無線基地局、３…コンテンツ送受信ノード、１０…転送時間帯決定部、１０１，２０１…コンテンツ転送時間帯選択部、１０２…コンテンツ転送部、１０３，２０３…収益算出部、１０４，２０４…誤差算出部、１０５，２０５…更新部
【特許請求の範囲】
【請求項１】
コンテンツ転送の実績に基づいて各転送時間帯の通信品質を学習し、コンテンツ転送の要求が検知されると、学習結果に基づいて確率的に最適な転送時間帯を決定するコンテンツ転送時間帯決定方法において、
選択し得る転送時間帯の行動価値関数を初期化する手順と、
現在のコンテンツ転送時間帯決定方策に従って今回の転送時間帯を選択する手順と、
前記選択された転送時間帯でコンテンツを転送する手順と、
今回のコンテンツ転送の通信品質を評価する手順と、
前記評価結果に基づいて収益を算出する手順と、
前記収益に基づいて行動価値予測における誤差を算出する手順と、
前記誤差に基づいて前記今回の転送時間帯の行動価値関数を更新する手順とを含み、
これ以後のコンテンツ転送要求に応答して、前記転送時間を選択する手順から行動価値関数を更新する手順までを繰り返すことを特徴とするコンテンツ転送時間帯決定方法。
【請求項２】
コンテンツ転送の実績に基づいて各転送時間帯の通信品質を学習し、コンテンツ転送の要求が検知されると、学習結果に基づいて確率的に最適な転送時間帯を決定するコンテンツ転送時間帯決定方法において、
選択し得る転送時間帯の行動価値関数を初期化する手順と、
現在のコンテンツ転送時間帯決定方策に従って、コンテンツ転送の要求が検知された時間帯をパラメータとして今回の転送時間帯を選択する手順と、
前記選択された転送時間帯でコンテンツを転送する手順と、
今回のコンテンツ転送の通信品質を評価する手順と、
前記評価結果に基づいて収益を算出する手順と、
前記収益に基づいて行動価値予測における誤差を算出する手順と、
前記誤差に基づいて前記今回の転送時間帯の行動価値関数を更新する手順とを含み、
これ以後のコンテンツ転送要求に応答して、前記転送時間を選択する手順から行動価値関数を更新する手順までを繰り返すことを特徴とするコンテンツ転送時間帯決定方法。
【請求項３】
前記コンテンツ転送時間帯を決定するための各手順が、コンテンツを転送する無線端末ごとに実行されることを特徴とする請求項１または２に記載のコンテンツ転送時間帯決定方法。
【請求項４】
無線端末が無線基地局を経由してコンテンツを転送する際に、前記コンテンツ転送時間帯を決定するための各手順が、各無線端末を収容する無線基地局ごとに実行されることを特徴とする請求項１または２に記載のコンテンツ転送時間帯決定方法。
【請求項５】
無線端末が無線基地局を経由してコンテンツを転送する際に、前記コンテンツ転送時間帯を決定するための各手順が、所定の通信エリアごとに実行されることを特徴とする請求項１または２に記載のコンテンツ転送時間帯決定方法。
【請求項６】
無線端末が無線基地局を経由してコンテンツを転送する際に、前記コンテンツ転送時間帯を決定するための各手順が一部の通信エリアで実行され、一の通信エリアで更新された行動価値関数と他の一の通信エリアで更新された行動価値関数とに基づいて更に他の一の通信エリアの行動価値関数を推定し、当該更に他の一の通信エリアでは、前記推定された行動価値関数に基づいてコンテンツの転送時間帯が決定されることを特徴とする請求項１または２に記載のコンテンツ転送時間帯決定方法。
【請求項１】
コンテンツ転送の実績に基づいて各転送時間帯の通信品質を学習し、コンテンツ転送の要求が検知されると、学習結果に基づいて確率的に最適な転送時間帯を決定するコンテンツ転送時間帯決定方法において、
選択し得る転送時間帯の行動価値関数を初期化する手順と、
現在のコンテンツ転送時間帯決定方策に従って今回の転送時間帯を選択する手順と、
前記選択された転送時間帯でコンテンツを転送する手順と、
今回のコンテンツ転送の通信品質を評価する手順と、
前記評価結果に基づいて収益を算出する手順と、
前記収益に基づいて行動価値予測における誤差を算出する手順と、
前記誤差に基づいて前記今回の転送時間帯の行動価値関数を更新する手順とを含み、
これ以後のコンテンツ転送要求に応答して、前記転送時間を選択する手順から行動価値関数を更新する手順までを繰り返すことを特徴とするコンテンツ転送時間帯決定方法。
【請求項２】
コンテンツ転送の実績に基づいて各転送時間帯の通信品質を学習し、コンテンツ転送の要求が検知されると、学習結果に基づいて確率的に最適な転送時間帯を決定するコンテンツ転送時間帯決定方法において、
選択し得る転送時間帯の行動価値関数を初期化する手順と、
現在のコンテンツ転送時間帯決定方策に従って、コンテンツ転送の要求が検知された時間帯をパラメータとして今回の転送時間帯を選択する手順と、
前記選択された転送時間帯でコンテンツを転送する手順と、
今回のコンテンツ転送の通信品質を評価する手順と、
前記評価結果に基づいて収益を算出する手順と、
前記収益に基づいて行動価値予測における誤差を算出する手順と、
前記誤差に基づいて前記今回の転送時間帯の行動価値関数を更新する手順とを含み、
これ以後のコンテンツ転送要求に応答して、前記転送時間を選択する手順から行動価値関数を更新する手順までを繰り返すことを特徴とするコンテンツ転送時間帯決定方法。
【請求項３】
前記コンテンツ転送時間帯を決定するための各手順が、コンテンツを転送する無線端末ごとに実行されることを特徴とする請求項１または２に記載のコンテンツ転送時間帯決定方法。
【請求項４】
無線端末が無線基地局を経由してコンテンツを転送する際に、前記コンテンツ転送時間帯を決定するための各手順が、各無線端末を収容する無線基地局ごとに実行されることを特徴とする請求項１または２に記載のコンテンツ転送時間帯決定方法。
【請求項５】
無線端末が無線基地局を経由してコンテンツを転送する際に、前記コンテンツ転送時間帯を決定するための各手順が、所定の通信エリアごとに実行されることを特徴とする請求項１または２に記載のコンテンツ転送時間帯決定方法。
【請求項６】
無線端末が無線基地局を経由してコンテンツを転送する際に、前記コンテンツ転送時間帯を決定するための各手順が一部の通信エリアで実行され、一の通信エリアで更新された行動価値関数と他の一の通信エリアで更新された行動価値関数とに基づいて更に他の一の通信エリアの行動価値関数を推定し、当該更に他の一の通信エリアでは、前記推定された行動価値関数に基づいてコンテンツの転送時間帯が決定されることを特徴とする請求項１または２に記載のコンテンツ転送時間帯決定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１１−３４１８８（Ｐ２０１１−３４１８８Ａ）
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願番号】特願２００９−１７７７１３（Ｐ２００９−１７７７１３）
【出願日】平成２１年７月３０日（２００９．７．３０）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２３年２月１７日（２０１１．２．１７）
【国際特許分類】
【出願日】平成２１年７月３０日（２００９．７．３０）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]