情報処理装置及び行動モデル作成方法
【課題】警備システムの設計者が特別の知識を有する必要がなく且つ均一な品質の警備システムを提供可能にする情報処理技術を提供する。
【解決手段】情報処理装置は、警備対象となる敷地内及びその周囲に関する物理状態を示す物理状態情報を記憶する第１記憶手段と、物理状態を数値化するための物理状態数値化情報を記憶する第２記憶手段と、物理状態数値化情報を用いて、物理状態情報によって示される物理状態を数値化して、敷地内及びその周囲を環境として当該環境内の移動を行動として選択することで敷地の周囲からの見通し及び移動し易さのうち少なくとも一方に応じた報酬を得る強化学習により、敷地内において侵入者が辿る移動経路の可能性の高さを数値化して表す行動モデルを作成する作成手段とを備える。
【解決手段】情報処理装置は、警備対象となる敷地内及びその周囲に関する物理状態を示す物理状態情報を記憶する第１記憶手段と、物理状態を数値化するための物理状態数値化情報を記憶する第２記憶手段と、物理状態数値化情報を用いて、物理状態情報によって示される物理状態を数値化して、敷地内及びその周囲を環境として当該環境内の移動を行動として選択することで敷地の周囲からの見通し及び移動し易さのうち少なくとも一方に応じた報酬を得る強化学習により、敷地内において侵入者が辿る移動経路の可能性の高さを数値化して表す行動モデルを作成する作成手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置及び行動モデル作成方法に関する。
【背景技術】
【０００２】
従来、警備対象の領域内にセンサを設置して、センサの検知結果を用いて異常の発生等を判断する警備システムがある。このような警備システムを設計する際には、一般的に、経験を積んだ者が現場を直接視察し、どのようにセンサを設置すれば良いかを決定していた。また、警備対象の領域内にセンサを複数設置してそれらのセンサの検知結果から異常か否かを判断する警備システムもある。例えば、特許文献１の技術では、人感センサの検知パターンが予め決められたパターンとマッチしているか否かを判断して、警報を送信するか否かを判断している。この技術においても、どこに人感センサを設置するのかを決定し、人感センサのどのような検知結果から異常と判断するかというルールを決定することは経験を積んだ者が行う必要があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１−２９２６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このように、従来では、センサを設置する場所やセンサの検知結果から異常と判断するルールは、警備システムの設計者の知識や経験に依存して決定されていたため、人によって警備システムの設計にばらつきが生じ、品質や性能がばらつく可能性があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、警備システムの設計者が特別の知識を有する必要がなく且つ均一な品質の警備システムを提供可能にする情報処理装置及び行動モデル作成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、情報処理装置であって、警備対象となる敷地内及びその周囲に関する物理状態を示す物理状態情報を記憶する第１記憶手段と、前記物理状態を数値化するための物理状態数値化情報を記憶する第２記憶手段と、前記物理状態数値化情報を用いて、前記物理状態情報によって示される前記物理状態を数値化して、前記敷地内及びその周囲を環境として当該環境内の移動を行動として選択することで前記敷地の周囲からの見通し及び移動し易さのうち少なくとも一方に応じた報酬を得ると定義した強化学習技術により、前記敷地内において侵入者が辿る移動経路の可能性の高さを数値化して表す行動モデルを作成する作成手段とを備えることを特徴とする。
【０００７】
また、本発明は、情報処理装置であって、警備対象となる敷地内及びその周囲に関する物理状態を示す物理状態情報を記憶する第１記憶手段と、前記物理状態を数値化するための物理状態数値化情報を記憶する第２記憶手段とを備える情報処理装置で実行される行動モデル作成方法であって、前記物理状態数値化情報を用いて、前記物理状態情報によって示される前記物理状態を数値化し、前記敷地内及びその周囲を環境として当該環境内の移動を行動として選択することで前記敷地の周囲からの見通し及び移動し易さのうち少なくとも一方に応じた報酬を得ると定義した強化学習技術により、前記敷地内において侵入者が辿る移動経路の可能性の高さを数値化して表す行動モデルを作成することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、警備システムの設計者が特別の知識を有する必要がなく且つ均一な品質の警備システムが提供可能になる。
【図面の簡単な説明】
【０００９】
【図１】図１は、情報処理装置の機能的構成を例示する図である。
【図２】図２は、敷地情報の入力例を例示する図である。
【図３】図３は、エリアＩＤの割り当てを例示する図である。
【図４】図４は、エリア毎のエリアＩＤ及びエリアカテゴリ情報を概念的に例示する図である。
【図５】図５は、エリアカテゴリテーブルのデータ構成を例示する図である。
【図６】図６は、エリア情報テーブルのデータ構成を例示する図である。
【図７】図７は、敷地情報ＤＢ５４を模式的に示す図である。
【図８】図８は、エリアカテゴリが「窓」である場合の物理状態数値化テーブルを例示する図である。
【図９】図９は、エリアカテゴリが「扉」である場合の物理状態数値化テーブルを例示する図である。
【図１０】図１０は、エリアカテゴリが「障害物」である場合の物理状態数値化テーブルを例示する図である。
【図１１】図１１は、エリアカテゴリが「囲障」である場合の物理状態数値化テーブルを例示する図である。
【図１２】図１２は、エリアカテゴリが「窓」である場合の物理強度寄与係数を示す図である。
【図１３】図１３は、エリアカテゴリが「扉」である場合の物理強度寄与係数を示す図である。
【図１４】図１４は、エリアカテゴリが「障害物」である場合の移動容易性寄与係数を示す図である。
【図１５】図１５は、エリアカテゴリが「囲障」である場合の移動容易性寄与係数を示す図である。
【図１６】図１６は、強化学習によるエージェントの行動を説明するための図である。
【図１７】図１７は、情報処理装置の行う行動モデル作成処理の手順を示すフローチャートである。
【図１８】図１８は、ステップＳ４で利用する強化学習のアルゴリズムの概略を手順化して示した図である。
【図１９】図１９は、エージェントの移動規則を説明するための図である。
【図２０】図２０は、開口部への移動規則を説明するための図である。
【図２１】図２１は、見通しに関する報酬を説明するための図である。
【図２２】図２２は、φ外部（ｘ）の例をグラフ化して示す図である。
【図２３】図２３は、φ障害物（ｘ）の例をグラフ化して示す図である。
【図２４】図２４は、障害物による見通しの影響を説明するための図である。
【図２５】図２５は、警備対象となる敷地に含まれる各エリアに対して計算された侵入危険度を可視化した図である。
【図２６】図２６は、想定される侵入者の移動経路を表現した例を示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、この発明にかかる情報処理装置及び行動モデル作成方法の一実施の形態を詳細に説明する。
【００１１】
ここで、警備システムで用いる情報処理装置のハードウェア構成について説明する。本実施の形態の情報処理装置は、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の主記憶部と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の補助記憶部と、これらを接続するバスとを備えており、通常のコンピュータを利用したハードウェア構成となっている。また、情報処理装置には、情報を表示する表示部と、ユーザの指示入力を受け付けるキーボードやマウス等の操作入力部と、外部装置の通信を制御する通信Ｉ／Ｆ（interface）とが有線又は無線により各々接続される。
【００１２】
次に、このようなハードウェア構成において、情報処理装置において実現される各種機能について図１を用いて説明する。図１は、情報処理装置の機能的構成を例示する図である。情報処理装置は、情報入力受付部５１と、情報抽出部５２と、行動モデル作成部５３と、敷地情報ＤＢ(Data Base)５４と、侵入者基本情報ＤＢ５５とを有する。情報入力受付部５１と、情報抽出部５２と、行動モデル作成部５３とは、ＣＰＵのプログラム実行時にＲＡＭ等の主記憶部上に生成されるものである。敷地情報ＤＢ５４と、侵入者基本情報ＤＢ５５とは、ＨＤＤ等の補助記憶部に記憶されるものである。
【００１３】
情報入力受付部５１は、操作入力部を介して警備システムの設計者によって入力された、警備対象となる敷地内及びその周囲に関する敷地情報を受け付ける。敷地情報とは、警備対象となる敷地内及びその周囲に関する物理状態を示す情報である。敷地内及びその周囲に関する物理状態とは、例えば、敷地の大きさやその形や、敷地内にある物体の種類やその物体の位置及び大きさや、敷地外の道路や公園等の公共物体の位置及び大きさや、敷地に隣接する家等の私的物体の位置及び大きさである。敷地内にある物体に関する物理状態は、具体的には例えば、建物の位置、建物の形、建物の窓の位置、建物の扉の位置、囲障の位置、門扉の位置、障害物(岩、物置、池等)の位置及び大きさ、植栽の位置及び大きさ等である。また、建物の窓や扉に関しては、その材質、大きさ、錠の種類（鍵の状態）も物理状態に含まれ得る。囲障に関しては、材質、高さ、構造も敷地情報も物理状態に含まれ得る。門扉に関しては、種類、高さ、錠の種類（鍵の状態）も物理状態に含まれ得る。
【００１４】
このような敷地情報は、例えば、図２に例示されるように、警備対象となる敷地内及びその周囲を表す敷地図を表示部に表示させ、当該敷地図において設計者が操作入力部を介して情報を入力するようにすれば良い。具体的には、例えば、この敷地図においては、複数の領域（エリア）に分割して敷地内及びその周囲が表されており、設計者は、エリア毎に、エリアカテゴリを指定し、更に、エリアにおけるエリアカテゴリに関する物理状態を入力する。エリアカテゴリとは、敷地内及びその周囲を抽象的に表現するために、敷地そのものや、敷地内やその周囲にある物体の種類を示す。例えば、建物部分のエリアは全て一律に「建物」と表現したり、囲障の部分に関してはその構造等が異なっていても「囲障」と一律に表現したりといったものである。エリアカテゴリには、他にも、窓や敷地、障害物等がある。エリアにおけるエリアカテゴリ毎の物理状態としては、例えばエリアカテゴリが「扉」である場合、人が通るために設置されてあるもののため、その設置高さや大きさは、大きくは変わらないと考えられることから、その強度に関することが分かれば良い。そのため、エリアカテゴリが「扉」であるエリアにおける物理状態としては、錠の種類や材質等を用いる。一方、エリアカテゴリが「窓」である場合、設置する目的によって大きさや設置高さが異なることから、その大きさや高さ、材質、錠の種類等を、エリアカテゴリが「窓」であるエリアにおける物理状態として用いる。情報入力受付部５１は、このようにして設計者により操作入力部を介して入力された情報を敷地情報として受け付ける。尚、敷地が分割されたエリアには各々を識別可能にエリアＩＤが割り当てられるものとする。エリアＩＤの割り当ては、規則的であればどのような基準でも良いが、ここでの説明では図３に例示するように、敷地図の左上から行方向に「0」から順々に割り当てるものとする。
【００１５】
図１の説明に戻る。情報抽出部５２は、情報入力受付部５１が入力を受け付けた敷地情報を用いて、各エリアの属するエリアカテゴリを表すエリアカテゴリ情報及び各エリアのエリアカテゴリ毎の物理状態を表すエリア情報を生成する。そして、情報抽出部５２は、各エリアの属するエリアカテゴリを表すエリアカテゴリ情報をエリアＩＤと対応付けてエリアカテゴリテーブルに記憶させる。図４は、エリア毎のエリアＩＤ及びエリアカテゴリ情報を概念的に例示する図である。図５は、エリアカテゴリテーブルのデータ構成を例示する図である。また、情報抽出部５２は、エリアカテゴリ毎に、各エリアの物理状態を表すエリア情報をエリアＩＤと対応付けてエリア情報テーブルに記憶させる。図６は、エリア情報テーブルのデータ構成を例示する図である。同図に示されるように、エリア情報テーブルはエリアカテゴリ毎に構築される。同図では、エリアカテゴリが「窓」「囲障」である場合のエリア情報テーブルが各々例示されている。このように、「エリアカテゴリ情報」によって敷地内及びその周囲のエリアが抽象的に表現され、それぞれのエリアにおける詳細な物理状態が、「エリア情報」によって表現される。これらのエリアカテゴリテーブル及びエリア情報テーブルは、図７に例示されるように、敷地情報ＤＢ５４に記憶されている。
【００１６】
図１の説明に戻る。侵入者基本情報ＤＢ５５は、後述する行動モデル作成部５３が用いるエリアカテゴリ毎の物理状態数値化テーブル及び後述する強化学習に必要な各種の係数を記憶する。物理状態数値化テーブルは、エリア情報によって示される物理状態を数値化するためのものであり、物理状態と数値との対応関係を記憶する。数値は、定性的な物理状態を定量化するもので、最大値が「1」の正の実数とする。図８は、エリアカテゴリが「窓」である場合の物理状態数値化テーブルを例示する図である。図９は、エリアカテゴリが「扉」である場合の物理状態数値化テーブルを例示する図である。図１０は、エリアカテゴリが「障害物」である場合の物理状態数値化テーブルを例示する図である。図１１は、エリアカテゴリが「囲障」である場合の物理状態数値化テーブルを例示する図である。これらの各物理状態数値化テーブルにおいては、物理状態を示す項目毎に各々数値が対応付けられている。物理状態を示す項目とは、例えば、大きさ、設置高さ、材質、材質強度等のことである。
【００１７】
強化学習に必要な各種の係数とは、具体的には、エリアカテゴリ毎の物理強度寄与係数や移動容易性寄与係数がある。物理強度寄与係数は、建物に対する開口部となる窓や扉のエリアカテゴリに属するエリアのエリア情報によって表される物理状態が侵入工作（窓や扉の破壊等によって建物内へ侵入しようとする行動）の成功に寄与する度合いを示す係数である。例えば、窓に対する侵入工作を考えた際に、「大きさ」という物理状態を表すエリア情報は、あまり寄与せず(係数は比較的小さい）、「材質」や「錠の種類」といった物理的な強度を表すエリア情報が特に寄与する(係数は比較的大きい）。このようなエリアカテゴリが「窓」である場合の物理強度寄与係数は、図１２に例示される通りとなる。図１３は、エリアカテゴリが「扉」である場合の物理強度寄与係数を示す図である。
【００１８】
エリアカテゴリ毎の移動容易性寄与係数とは、障害物等のエリアカテゴリに属するエリアのエリア情報によって表される物理状態が移動し易さに影響を与える度合いを示す係数である。図１４は、エリアカテゴリが「障害物」である場合の移動容易性寄与係数を示す図である。図１５は、エリアカテゴリが「囲障」である場合の移動容易性寄与係数を示す図である。
【００１９】
図１の説明に戻る。行動モデル作成部５３は、敷地情報ＤＢ５４及び侵入者基本情報ＤＢ５５を参照して、機械学習手法の１つである強化学習により、エリア毎の侵入危険度を計算して、警備対象となる敷地内において侵入者が辿る移動経路の可能性の高さを数値化して表す行動モデルを作成する。
【００２０】
強化学習とは、エージェントと呼ばれる仮想の行動者に、対象となる環境（対象環境という）での最適な行動選択規則を獲得させる技術である。本実施の形態において、対象環境とは、警備システムの設計者が敷地情報を入力した警備対象となる敷地内及びその周囲であり、エリアＩＤが割り当てられたエリアの集合であると定義する。エージェントを一般的な侵入者とみなし、最適な行動選択規則として一般的な侵入者の行動選択規則、つまり、「行動モデル」を獲得させている。強化学習では、エージェントの行動は、離散化して定義する。例えば、図１６に示すように、ある位置から「上、下、左、右」の４つの行動が選択できると定義し、その行動を選択すると、選択した行動に対応した位置へエージェントが移動する。行動選択規則は、エリア毎に離散化させた行動がどの程度良いのかを示す「行動価値関数Q(X,A)」を利用する。行動価値関数とは、エージェントが存在する位置「X=x」において離散化した行動「A=a」を選択することがどの程度良いのかを表す値である。Aは上述した離散化した行動が入る。Xは、対象環境におけるエージェントの位置(座標)である。ここでは各位置を各エリアに対応させる。この行動価値関数Q(X,A)を利用し、エージェントは、現在位置「X=x」において、どの行動「A=a」を選択すると最もQ(x,a)が高くなるかという基準に従って行動を選択する。強化学習においては、エージェントが現在持っている行動価値関数に従って行動を選択し、その行動を実行する。すると、対象環境から報酬rと呼ばれる値が返されると設定する。この報酬rとは、その行動がどの程度良い行動であったのかを表す指標である。この報酬rの総和(これを収益Rと呼ぶ)を最大化するように行動価値関数Q(X,A)を修正していくことが強化学習と呼ばれる技術である。行動の選択、報酬の観測、そして、行動価値関数Q(X,A)の更新を多数回繰り返すことで、最適な行動選択規則を獲得することができる。行動価値関数Q(X,A)は、以下の式１に従って更新していく。
【００２１】
【数１】
【００２２】
ここで、式１内のαは学習係数と呼ばれ、値の更新の速度を定める定数である。これには「0」〜「1」の間の実数を与える。通常、αは「0.1」かそれ以下の値を設定する。γは割引率と呼ばれ、得られる報酬をどの程度先まで考慮するかといった指標の定数である。これには「0」から「1」の実数を与え、小さい値にすればすぐ先の報酬までしか考慮しないことを表す。通常、「0.99」程度の「1.0」に近い値を設定する。
【００２３】
本実施の形態においては、報酬rは、移動コストと呼ぶ各エリアにおける周囲からの見通しや移動し易さに応じて与えられる負の値として定義する。移動コストの与え方としては、見通しが良かったり、障害物等があって移動しにくかったりすると報酬rは大きな負の値を返し、逆に、見通しが悪かったり、移動し易かったりすれば、報酬rは小さな負の値を返すと定義する。強化学習においては、報酬rの総和である収益Rを最大化することが目的であるので、移動コストが高い(負の値が大きい)エリアにはなるべく存在せずに、移動コストが小さい(負の値が小さい)エリアへ移動したがる。一般的な住宅では、外部空間に近いエリアでは見通しが良く移動コストが高い。そして、建物の裏等見通しが悪ければ移動コストが低い。つまり、外部空間から侵入した侵入者は、侵入工作の行いやすい建物裏方向等へ移動していくという一般的な侵入者の動きをこの報酬関数によって表現することができる。移動コストは、敷地内の物理状態によって変化するため、このようにして行動価値関数Q(X,A)を獲得すれば、一般的な侵入者が敷地内をどのように移動したがるかが警備対象となる敷地内に対してモデル化できる。
【００２４】
行動モデル作成部５３は、以上のような強化学習によって得られた行動モデルを、警備システムにおいて利用されるアプリケーション毎に適切な行動モデルの形式に変換する。この結果、当該アプリケーションがこれを利用することが可能になり、警備システムにおいて各種機能を実現することが可能になる。
【００２５】
次に、本実施の形態にかかる情報処理装置の行う行動モデル作成処理の手順について図１７を用いて説明する。まず、警備システムの設計者が、表示部に表示された敷地図に対して、操作入力部を介して上述した敷地情報を入力すると、情報処理装置は、当該敷地情報の入力を受け付け（ステップＳ１）、当該敷地情報を用いて、上述したエリアカテゴリ情報及びエリア情報を生成する（ステップＳ２）。そして、情報処理装置は、エリアカテゴリ情報をエリアＩＤと対応付けて、エリアカテゴリテーブルに記憶させると共に、エリアカテゴリ毎にエリア情報をエリアＩＤと対応付けてエリア情報テーブルに記憶させることにより、エリアカテゴリ情報及びエリア情報を敷地情報ＤＢ５４に記憶させる（ステップＳ３）。そして、情報処理装置は、敷地情報ＤＢ５４及び侵入者基本情報ＤＢ５５を参照して、上述した強化学習により、エリア毎の侵入危険度を計算する（ステップＳ４）。
【００２６】
図１８は、ステップＳ４で利用する強化学習のアルゴリズムの概略を手順化して示した図である。ここではエージェントが行動する「対象環境」と「報酬関数」との設定が必要となる。「対象環境」は、上述したように、警備対象となる敷地内及びその周囲であり、ステップＳ１で設計者が敷地情報を入力した敷地内及びその周囲である。エージェントは、当該敷地が複数に分割されてエリアＩＤが割り当てられたエリア間を移動していくことになる。その移動規則は、図１９に示すように、上下左右の行動をエージェントが選択した際に、その方向にあるエリアに必ず移動するものとする。ただし同じく図１９に示すように、建物や大きな障害物等移動できないエリアのある方向への移動を選択した場合には、元のエリアへ戻され、結果的に、元のエリアから移動しないものとする。行動選択規則としては、上述の式１に示される行動価値関数Q(X,A)を利用し、現在のエリアXにおいて、行動価値関数Q(X,A)の値が最大になる行動Aを選択する。ただし、確率εでランダムに行動を選択するものとする。ここで、εがなければ、常に決まった行動しか選択されないため、局所的な解に落ち着いてしまう。そのため、様々な行動を試すという要素が必要になり、そのためにεを入れている。εは、通常「0.1」程度の値とする。そして、エリアカテゴリが「窓」や「扉」である開口部のエリアから、エリアカテゴリが「建物」であるエリアのある方向への行動が選択された際には、図２０に示すように、その行動を確率的に実行するものとして、当該行動を実行することになった場合、エージェントはゴール位置に移動したとして、次にスタート位置へ再度戻される。一方、当該行動を実行しないことになった場合、エージェントは開口部のエリアから移動することなく留まることになる。ここで、ゴール位置とは、即ち、建物の中に侵入することである。確率的にゴール位置へ移動するというものは、イメージしやすい例として、スゴロク等におけるゴール条件のようなものである。スゴロクにおいては、ゴールへの到達にはサイコロの特定の数字を出す必要があるといったルールがある場合があり、これと全く同様の考え方で、本実施の形態においてもエージェントがゴールできるか否かは確率的に決まる。他のエリアへは決定的に移動するのに対し、ゴール位置へだけは確率的に移動させる理由として、侵入者が侵入工作を行う際に、その窓や扉の強度等の物理状態によっては、侵入までに多少時間がかかるであろうということが挙げられる。ここで、このゴール位置に辿り着く確率を「侵入工作成功確率」と呼び、以下の式２で表す確率を利用する。
【００２７】
【数２】
【００２８】
ここで、式２のαとは確率の定義に従うように値を正規化するための正規化定数である。この式２は、開口部の物理状態を表す項目毎に定められた規則に従って、開口部の物理状態を数値化(Ｖ状態i（状態）)し、その値に係数(ａ状態i)をかけたものを総和し、正規化させることを意味している。ここで、開口部の状態の数値化(Ｖ状態i（状態）)には、図８〜９に示される物理状態数値化テーブルを用いる。尚、開口部の物理状態を表す項目は窓と扉とで異なるため、上述の式２に利用する係数や定数は開口部の種類毎に定める必要がある。具体的に式２を書き下すと、以下の式３〜４のようになる。式３は窓に対する侵入工作成功確率であり、式４は扉に対する侵入工作成功確率である。
【００２９】
【数３】
【００３０】
報酬関数rは、対象環境内の各エリアに関して、見通しや移動し易さに依存して変化する関数である。報酬関数は、エージェントが行動を選択する毎に与えられ、以下の式５に従って計算されるものとした。
【００３１】
【数４】
【００３２】
ここで、Ｐ見通し（ｘ）は、エージェントが行動を選択して実行した後に移動した先のエリアの周囲からの見通しに関する関数である。周囲からの見通しが良ければ良いほど大きい負の値となる。次に、Ｐ移動（ｘ）は、エージェントが行動を選択して実行し、エリアを移動する際の移動し易さに関する関数である。障害物等があり、移動しにくい状況であればあるほど、大きな負の値となる。見通しに関する報酬Ｐ見通し（ｘ）は、移動した先のエリアxに関して、図２１に例示されるように、周囲４方向（上下左右）の外部空間(道路等の公共空間と隣家等の私的空間)からの見通しの度合いを総合して定める。具体的には以下の式６により計算される。
【００３３】
【数５】
【００３４】
周囲４方向（上下左右）のそれぞれの方向での見通しに関する値は、以下の式７より計算される。
【００３５】
【数６】
【００３６】
ここで、外部空間とは、警備対象となる敷地の周囲のことである。bPは、その方向にある外部空間における見通しの基準値である。bPの値は、外部空間が道路や公園等の公共物体のある公共空間であれば「-1.0」程度、隣家等の私的物体のある私的空間であれば「-0.1」程度とする。これは、その方向にある外部空間から見られるリスクを相対的に表したものである。具体的には、移動先のエリアのある方向にある領域であって警備対象となる敷地の周囲の領域のエリアカテゴリが公共物体に属するものである場合、即ち、外部空間が公共空間である場合、不特定多数の人に見られる可能性があることから見られるリスク（見通し）が高いと考え、大きな値を設定する。逆に、移動先のエリアのある方向にある領域であって警備対象となる敷地の周囲の領域のエリアカテゴリが私的物体に属するものである場合、即ち、外部空間が私的空間である場合、不特定多数の人が存在できる空間ではないため、その空間に人がいる可能性は低くなるはずである。そのため、見られるリスク（見通し）は低いと考えて、この場合、bPを小さい値に設定する。
【００３７】
次に、φ外部（ｘ）は、外部空間からの見通しの良さをあらわした関数であり、外部空間から距離が離れるほどに小さくなる。図２２は、φ外部（ｘ）の例をグラフ化して示す図である。図２２の横軸は外部空間からの距離を表し、縦軸はφ外部（ｘ）を表す。先にも述べたが、図２２からも分かるように、外部空間からの見通しの良さを表す関数によって計算される値は、外部空間からの距離に応じて減少していく。距離に応じて減少していく理由は、距離が離れれば離れるほど、侵入者の細かい動きや細かい事柄等が見えにくくなり、また、周囲から気づかれにくい（意識されにくい）からである。よって、図２２に示すように、外部空間からの見通しは、距離が離れるほどに悪くなる。尚、外部空間からの距離、即ち、移動先のエリアのある方向にある領域であって警備対象となる敷地の周囲の領域から移動元のエリアまでの距離は、各エリアの位置に基づいて計算することができる。
【００３８】
また、φ障害物（ｘ）は障害物に隠れることによって見通しが悪くなることを表した関数である。φ障害物（ｘ）は、障害物によって外部空間から見られるリスクをどの程度減少させるかを示したものであり、障害物から離れるほどに「1.0」に近づいて行き、見られるリスクが減少されなくなる（つまり見られるリスクが大きくなる）ことを表す。図２３は、φ障害物（ｘ）の例をグラフ化して示す図である。図２２と同様に図２３も、横軸は外部空間からの距離を表し、縦軸はφ障害物（ｘ）を表す。先にも述べたが、図２３からも分かるように、障害物による見通しへの影響を表す関数によって計算される値は、障害物からの距離に応じて上昇していく。障害物からの距離に応じて上昇していく理由は、図２４に示すように、障害物の影で障害物の直近にいる場合には、周囲から見られる範囲が限られるのに対し、離れるほどに周囲から見える範囲が広くなるからである。つまり、障害物から離れるほどに障害物が見通しに与える影響が小さくなっていく。φ外部（ｘ）は式８により表される。φ障害物（ｘ）は式９により表される。尚、障害物からの距離、即ち、移動先のエリアのある方向にある領域であってエリアカテゴリが「障害物」である領域から移動元のエリアまでの距離は、各エリアの位置に基づいて計算することができる。
【００３９】
【数７】
【００４０】
ここで、βは、最大減衰率であり、見通しの影響をどこまで下げるかを定める定数である。aは距離が離れることによって減衰する度合いを表す。γは最大減衰率の半分まで減衰する距離を表す。d(O,x)は、現在のエリアxと「O」までの距離を表す。
【００４１】
次に、移動し易さに関する報酬Ｐ移動（Ｘ）は、移動した先のエリアxのエリアカテゴリが障害物や囲障等の場合に必要になる。Ｐ移動（ｘ）は、エリアxのエリアカテゴリが囲障や障害物であった場合に、そのエリアのエリア情報に基づいて以下の式１０に従って計算される。
【００４２】
【数８】
【００４３】
ここで、式１０中のａ状態iは、障害物や囲障に関する移動容易性寄与係数である（図１４〜１５参照）。式１０中のＶ状態i（状態）は、式２のものと同様の役割を持っており、エリアカテゴリ毎のエリアの物理状態を数値化するためのものである。このＶ状態i（状態）を求めるためには、図１０〜１１に示される物理状態数値化テーブルを用いる。本実施の形態においては以上のようにして報酬関数を規定している。
【００４４】
次に、図１８の手順について順を追って説明すると、情報処理装置は、行動価値関数Q(X,A)の全ての値を「0」にする等して行動価値関数Q(X,A)を初期化する（ステップＳ２０）。そして、情報処理装置は、エージェントを任意のスタート位置にセットする（ステップＳ２１）。次いで、情報処理装置は、行動価値関数Q(X,A)を利用してスタート位置でエージェントが取る最初の行動aを選択する（ステップＳ２２）。そして、情報処理装置は、エージェントが当該行動aを実行してその結果移動したエリアx’とそれに応じて得られる報酬rを観測する（ステップＳ２３）。そして、ステップＳ２３と同様にして、情報処理装置は、行動価値関数Q(X,A)を利用して、移動したエリアx’でエージェントが取る行動aを選択する（ステップＳ２４）。そして、情報処理装置は、行動価値関数Q(X,A)を式１により更新する（ステップＳ２５）。その後、情報処理装置は、上述した確率的にエリアx’からゴール位置に移動するか否かを判断する（ステップＳ２６）。当該判断結果が肯定的である場合には（ステップＳ２６：ＹＥＳ）、ステップＳ２１に戻り、当該判断結果が否定的である場合（ステップＳ２６：Ｎｏ）、ステップＳ２３に戻る。
【００４５】
以上のような強化学習により、情報処理装置は、行動価値関数Q(X,A)の値を、各エリアの侵入危険度として各々計算する。即ち、警備対象となる敷地内において一般的な侵入者がどのように移動していくかといった規則が行動価値関数Q(X,A)として計算される。尚、各エリアについて上下左右のそれぞれの方向に対して行動価値関数Q(X,A)は計算されているため、警備対象となる敷地に含まれる各エリアについて上下左右のそれぞれの方向に対する行動価値関数Q(X,A)の各値からなるデータが、侵入者の行動モデルとして作成される。図２５は、警備対象となる敷地に含まれる各エリアに対して計算された侵入危険度を可視化した図である。同図の左側には、警備対象となる敷地が複数に分割されエリアＩＤが割り当てられた各エリアが示されている。エリアＩＤ「14」,「16」のエリアカテゴリが「窓」であり、エリアＩＤ「56」のエリアのエリアカテゴリが「扉（玄関）であり、エリアＩＤ「24」〜「27」,「34」〜「37」,「44」〜「47」のエリアのエリアカテゴリは「建物」であるとする。その他のエリアは庭であるとし、障害物がない理想的な庭であると仮定した。同図の右側には、同図の左側に示される敷地を２次元の座標として、エリア毎の侵入危険度を高さとして示す次元を加えた３次元の座標が示されている。尚、同図では、図の簡略化のため、侵入危険度として、エリア毎の４方向の行動価値関数Q(X,A）の平均値を用いている。この図から分かるように、侵入危険度は建物の開口部、特に、建物裏側の見通しが悪い開口部へ近づくほどに高くなる。
【００４６】
図１７に戻る。情報処理装置は、ステップＳ４で作成した行動モデルを、利用したいアプリケーション毎に適切な行動モデルの形式に変換する（ステップＳ５）。ここでは、２つのアプリケーションの例を示す。
【００４７】
１つ目の例は、行動価値関数を利用して、侵入者の行動モデルを移動経路として表現するアプリケーションである。ステップＳ４で計算された行動価値関数Q(X,A)は、ある位置Xに一般的な侵入者が存在した場合に、次に移動する位置X’はどこになる可能性が高いかを表すものであるから、任意のスタート位置から侵入者がどこに向かいやすいのかといった侵入者の移動経路を容易に想定することができる。図２６は、３箇所のスタート位置から想定される侵入者の移動経路を表現した例を示す図である。このようにして想定した移動経路で侵入者を実際に検出できるようにセンサを配置することで侵入者の検出を適切に行うことが可能になる。このような本実施の形態にかかる行動モデルを利用することで、誰でも容易に一定の品質の警備診断を行うことができる。
【００４８】
２つ目の例は、行動価値関数を確率モデルに変換し、参考文献１に記載の技術で作成する必要のある行動モデルの一部を自動的に作成するアプリケーションである。
（参考文献１）特願２００９−２７０６８６
【００４９】
行動価値関数Q(X,A)を利用して、参考文献１の技術において必要となる侵入者の行動モデルのうち、位置移動の確率表として、行動価値関数Q(X,A)を以下に説明するように変形させたものが適用できる。参考文献１の技術において使用する位置移動の確率表は、あるエリアxから次のエリアx’へ移動する確率（移動確率という）P(x’|x)で表される。行動価値関数Q(X,A)は、現在いるエリアxから次にとる行動の価値を表し、行動とは、「上、下、左、右」の方向にあるエリアへの移動を表す。この行動価値関数を利用して、次のエリアx’への移動確率を計算するために、行動価値関数Q(X=x,A=a)の値を以下の式１１で示すようにGibbs分布等を利用して、単純に確率の定義にあわせる。
【００５０】
【数９】
【００５１】
ここで、τは確率の差のつけ方を規定する定数である。式１１中のＡ（ｘt+1)は、現在のエリアｘtから、次のエリアｘt+1へ移動させるための行動である。以上のような操作を行うことによって、参考文献１の技術において使用できる確率モデルとして行動価値関数Q(X,A)を変換することができる。
【００５２】
以上のように、本実施の形態においては、設計者が、警備対象となる住宅等の建物のある敷地内及びその周囲に関する物理状態を示す敷地情報を情報処理装置に入力し、情報処理装置は、当該敷地情報に基づいて、敷地を複数に分割したエリア毎の情報としてエリアカテゴリ情報及びエリア情報を記憶する。そして、情報処理装置は、エリアカテゴリ情報及びエリア情報に基づいて、当該敷地内において一般的な侵入者が効率的に移動するためのエリア移動ルールを、強化学習のアルゴリズムを適用することで計算する。情報処理装置は、このようなエリア移動ルールを計算することで、侵入者があるエリアから次にどのエリアに行きたがるのかを想定することができ、従って、敷地内において一般的な侵入者がどのような移動経路を辿り易いのかを表す行動モデルを作成することができる。一般的な侵入者の行動モデルを作成できれば、どの箇所から侵入者は侵入しようとするのか、また、どのような移動経路を辿るのかを把握することができるため、警備システムの設計者の経験に拠らずに均一な品質の警備診断を行うことが可能になる。即ち、本実施の形態によれば、警備システムの設計に大きなばらつきが生じる可能性が少なくなり、均一な品質の警備システムを提供することができる。
【００５３】
また、警備システムの設計者は敷地情報を情報処理装置に入力すれば、侵入者の行動モデルを自らの知識と経験とに基づいて自ら作成しなくても済むため、設計者の手間を大幅に削減することが可能になる。
【００５４】
また、本実施の形態において情報処理装置が作成した行動モデルは、参考文献１の技術で必要となる行動モデルに容易に適用することができる。
【００５５】
[変形例]
なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。
【００５６】
上述した実施の形態において、情報処理装置で実行される各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また当該各種プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供するように構成しても良い。
【００５７】
上述した実施の形態において、敷地情報及びその入力の方法は、上述の例に限らない。例えば、情報抽出部５２が生成するエリアカテゴリ情報及びエリア情報自体を設計者が入力して、エリアカテゴリ情報及びエリア情報を敷地情報ＤＢ５４に記憶させるようにしても良い。また、エリアカテゴリ情報及びエリア情報のデータ構成は上述の例に限らない。また、敷地情報ＤＢ５４及び侵入者基本情報ＤＢ５５の構成は、上述したものに限らない。
【００５８】
また、敷地情報の入力の際に表示部に表示させる敷地図は、複数の領域に予め分割されていなくても良く、この場合、設計者は、敷地図においてエリアカテゴリ毎に区域を指定して、敷地情報を入力し、その後、情報抽出部５２が、敷地図を複数の領域に分割して、各領域にエリアＩＤを割り当てて、設計者により指定されたエリアカテゴリ毎の区域に属する領域を各々判断して、上述のように、エリアカテゴリ情報及びエリア情報を生成してこれらを各々エリアＩＤと対応付けて敷地情報ＤＢ５４に記憶させるようにしても良い。
【００５９】
上述した実施の形態において、情報処理装置は、情報入力受付部５１及び情報抽出部５２を有するようにしたが、情報入力受付部５１を有さなくても良いし、更に、情報抽出部５２を有さなくても良い。情報処理装置が情報入力受付部５１を有さない場合、警備システムの設計者は他の情報処理装置で敷地情報を入力し、当該他の情報処理装置が当該敷地情報を情報処理装置に送信し、情報処理装置は、受信した敷地情報を用いてエリア毎のエリアカテゴリ情報及びエリア情報を生成してこれを敷地情報ＤＢ５４に記憶させるようにしても良い。また、情報処理装置が情報入力受付部５１及び情報抽出部５２を有さない場合、警備システムの設計者は他の情報処理装置で敷地情報を入力し、当該他の情報処理装置が当該敷地情報を用いてエリア毎のエリアカテゴリ情報及びエリア情報を生成してこれを情報処理装置に送信し、情報処理装置は、受信したエリア毎のエリアカテゴリ情報及びエリア情報を敷地情報ＤＢ５４に記憶させるようにしても良い。
【００６０】
上述した実施の形態において、侵入工作成功確率を計算する式は式２〜４に限定するものではなく、開口部の物理状態に応じて値が変化するような侵入工作成功確率を計算可能な関数であれば良い。
【００６１】
上述した実施の形態において、報酬関数を計算する式は式６〜１０に限定するものではなく、見通しや移動し易さによって値が変化するような報酬関数を用いれば良い。
【００６２】
上述した実施の形態において、窓や扉等の開口部を有する建物がある敷地を警備対象としたが、これに限らず、建物がなく地下室に入るための扉等の開口部がある敷地を警備対象としても良い。
【符号の説明】
【００６３】
５１ 情報入力受付部
５２ 情報抽出部
５３ 行動モデル作成部
５４ 敷地情報ＤＢ
５５ 侵入者基本情報ＤＢ
【技術分野】
【０００１】
本発明は、情報処理装置及び行動モデル作成方法に関する。
【背景技術】
【０００２】
従来、警備対象の領域内にセンサを設置して、センサの検知結果を用いて異常の発生等を判断する警備システムがある。このような警備システムを設計する際には、一般的に、経験を積んだ者が現場を直接視察し、どのようにセンサを設置すれば良いかを決定していた。また、警備対象の領域内にセンサを複数設置してそれらのセンサの検知結果から異常か否かを判断する警備システムもある。例えば、特許文献１の技術では、人感センサの検知パターンが予め決められたパターンとマッチしているか否かを判断して、警報を送信するか否かを判断している。この技術においても、どこに人感センサを設置するのかを決定し、人感センサのどのような検知結果から異常と判断するかというルールを決定することは経験を積んだ者が行う必要があった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１−２９２６００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
このように、従来では、センサを設置する場所やセンサの検知結果から異常と判断するルールは、警備システムの設計者の知識や経験に依存して決定されていたため、人によって警備システムの設計にばらつきが生じ、品質や性能がばらつく可能性があった。
【０００５】
本発明は、上記に鑑みてなされたものであって、警備システムの設計者が特別の知識を有する必要がなく且つ均一な品質の警備システムを提供可能にする情報処理装置及び行動モデル作成方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決し、目的を達成するために、本発明は、情報処理装置であって、警備対象となる敷地内及びその周囲に関する物理状態を示す物理状態情報を記憶する第１記憶手段と、前記物理状態を数値化するための物理状態数値化情報を記憶する第２記憶手段と、前記物理状態数値化情報を用いて、前記物理状態情報によって示される前記物理状態を数値化して、前記敷地内及びその周囲を環境として当該環境内の移動を行動として選択することで前記敷地の周囲からの見通し及び移動し易さのうち少なくとも一方に応じた報酬を得ると定義した強化学習技術により、前記敷地内において侵入者が辿る移動経路の可能性の高さを数値化して表す行動モデルを作成する作成手段とを備えることを特徴とする。
【０００７】
また、本発明は、情報処理装置であって、警備対象となる敷地内及びその周囲に関する物理状態を示す物理状態情報を記憶する第１記憶手段と、前記物理状態を数値化するための物理状態数値化情報を記憶する第２記憶手段とを備える情報処理装置で実行される行動モデル作成方法であって、前記物理状態数値化情報を用いて、前記物理状態情報によって示される前記物理状態を数値化し、前記敷地内及びその周囲を環境として当該環境内の移動を行動として選択することで前記敷地の周囲からの見通し及び移動し易さのうち少なくとも一方に応じた報酬を得ると定義した強化学習技術により、前記敷地内において侵入者が辿る移動経路の可能性の高さを数値化して表す行動モデルを作成することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、警備システムの設計者が特別の知識を有する必要がなく且つ均一な品質の警備システムが提供可能になる。
【図面の簡単な説明】
【０００９】
【図１】図１は、情報処理装置の機能的構成を例示する図である。
【図２】図２は、敷地情報の入力例を例示する図である。
【図３】図３は、エリアＩＤの割り当てを例示する図である。
【図４】図４は、エリア毎のエリアＩＤ及びエリアカテゴリ情報を概念的に例示する図である。
【図５】図５は、エリアカテゴリテーブルのデータ構成を例示する図である。
【図６】図６は、エリア情報テーブルのデータ構成を例示する図である。
【図７】図７は、敷地情報ＤＢ５４を模式的に示す図である。
【図８】図８は、エリアカテゴリが「窓」である場合の物理状態数値化テーブルを例示する図である。
【図９】図９は、エリアカテゴリが「扉」である場合の物理状態数値化テーブルを例示する図である。
【図１０】図１０は、エリアカテゴリが「障害物」である場合の物理状態数値化テーブルを例示する図である。
【図１１】図１１は、エリアカテゴリが「囲障」である場合の物理状態数値化テーブルを例示する図である。
【図１２】図１２は、エリアカテゴリが「窓」である場合の物理強度寄与係数を示す図である。
【図１３】図１３は、エリアカテゴリが「扉」である場合の物理強度寄与係数を示す図である。
【図１４】図１４は、エリアカテゴリが「障害物」である場合の移動容易性寄与係数を示す図である。
【図１５】図１５は、エリアカテゴリが「囲障」である場合の移動容易性寄与係数を示す図である。
【図１６】図１６は、強化学習によるエージェントの行動を説明するための図である。
【図１７】図１７は、情報処理装置の行う行動モデル作成処理の手順を示すフローチャートである。
【図１８】図１８は、ステップＳ４で利用する強化学習のアルゴリズムの概略を手順化して示した図である。
【図１９】図１９は、エージェントの移動規則を説明するための図である。
【図２０】図２０は、開口部への移動規則を説明するための図である。
【図２１】図２１は、見通しに関する報酬を説明するための図である。
【図２２】図２２は、φ外部（ｘ）の例をグラフ化して示す図である。
【図２３】図２３は、φ障害物（ｘ）の例をグラフ化して示す図である。
【図２４】図２４は、障害物による見通しの影響を説明するための図である。
【図２５】図２５は、警備対象となる敷地に含まれる各エリアに対して計算された侵入危険度を可視化した図である。
【図２６】図２６は、想定される侵入者の移動経路を表現した例を示す図である。
【発明を実施するための形態】
【００１０】
以下に添付図面を参照して、この発明にかかる情報処理装置及び行動モデル作成方法の一実施の形態を詳細に説明する。
【００１１】
ここで、警備システムで用いる情報処理装置のハードウェア構成について説明する。本実施の形態の情報処理装置は、装置全体を制御するＣＰＵ（Central Processing Unit）等の制御部と、各種データや各種プログラムを記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等の主記憶部と、各種データや各種プログラムを記憶するＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disk）ドライブ装置等の補助記憶部と、これらを接続するバスとを備えており、通常のコンピュータを利用したハードウェア構成となっている。また、情報処理装置には、情報を表示する表示部と、ユーザの指示入力を受け付けるキーボードやマウス等の操作入力部と、外部装置の通信を制御する通信Ｉ／Ｆ（interface）とが有線又は無線により各々接続される。
【００１２】
次に、このようなハードウェア構成において、情報処理装置において実現される各種機能について図１を用いて説明する。図１は、情報処理装置の機能的構成を例示する図である。情報処理装置は、情報入力受付部５１と、情報抽出部５２と、行動モデル作成部５３と、敷地情報ＤＢ(Data Base)５４と、侵入者基本情報ＤＢ５５とを有する。情報入力受付部５１と、情報抽出部５２と、行動モデル作成部５３とは、ＣＰＵのプログラム実行時にＲＡＭ等の主記憶部上に生成されるものである。敷地情報ＤＢ５４と、侵入者基本情報ＤＢ５５とは、ＨＤＤ等の補助記憶部に記憶されるものである。
【００１３】
情報入力受付部５１は、操作入力部を介して警備システムの設計者によって入力された、警備対象となる敷地内及びその周囲に関する敷地情報を受け付ける。敷地情報とは、警備対象となる敷地内及びその周囲に関する物理状態を示す情報である。敷地内及びその周囲に関する物理状態とは、例えば、敷地の大きさやその形や、敷地内にある物体の種類やその物体の位置及び大きさや、敷地外の道路や公園等の公共物体の位置及び大きさや、敷地に隣接する家等の私的物体の位置及び大きさである。敷地内にある物体に関する物理状態は、具体的には例えば、建物の位置、建物の形、建物の窓の位置、建物の扉の位置、囲障の位置、門扉の位置、障害物(岩、物置、池等)の位置及び大きさ、植栽の位置及び大きさ等である。また、建物の窓や扉に関しては、その材質、大きさ、錠の種類（鍵の状態）も物理状態に含まれ得る。囲障に関しては、材質、高さ、構造も敷地情報も物理状態に含まれ得る。門扉に関しては、種類、高さ、錠の種類（鍵の状態）も物理状態に含まれ得る。
【００１４】
このような敷地情報は、例えば、図２に例示されるように、警備対象となる敷地内及びその周囲を表す敷地図を表示部に表示させ、当該敷地図において設計者が操作入力部を介して情報を入力するようにすれば良い。具体的には、例えば、この敷地図においては、複数の領域（エリア）に分割して敷地内及びその周囲が表されており、設計者は、エリア毎に、エリアカテゴリを指定し、更に、エリアにおけるエリアカテゴリに関する物理状態を入力する。エリアカテゴリとは、敷地内及びその周囲を抽象的に表現するために、敷地そのものや、敷地内やその周囲にある物体の種類を示す。例えば、建物部分のエリアは全て一律に「建物」と表現したり、囲障の部分に関してはその構造等が異なっていても「囲障」と一律に表現したりといったものである。エリアカテゴリには、他にも、窓や敷地、障害物等がある。エリアにおけるエリアカテゴリ毎の物理状態としては、例えばエリアカテゴリが「扉」である場合、人が通るために設置されてあるもののため、その設置高さや大きさは、大きくは変わらないと考えられることから、その強度に関することが分かれば良い。そのため、エリアカテゴリが「扉」であるエリアにおける物理状態としては、錠の種類や材質等を用いる。一方、エリアカテゴリが「窓」である場合、設置する目的によって大きさや設置高さが異なることから、その大きさや高さ、材質、錠の種類等を、エリアカテゴリが「窓」であるエリアにおける物理状態として用いる。情報入力受付部５１は、このようにして設計者により操作入力部を介して入力された情報を敷地情報として受け付ける。尚、敷地が分割されたエリアには各々を識別可能にエリアＩＤが割り当てられるものとする。エリアＩＤの割り当ては、規則的であればどのような基準でも良いが、ここでの説明では図３に例示するように、敷地図の左上から行方向に「0」から順々に割り当てるものとする。
【００１５】
図１の説明に戻る。情報抽出部５２は、情報入力受付部５１が入力を受け付けた敷地情報を用いて、各エリアの属するエリアカテゴリを表すエリアカテゴリ情報及び各エリアのエリアカテゴリ毎の物理状態を表すエリア情報を生成する。そして、情報抽出部５２は、各エリアの属するエリアカテゴリを表すエリアカテゴリ情報をエリアＩＤと対応付けてエリアカテゴリテーブルに記憶させる。図４は、エリア毎のエリアＩＤ及びエリアカテゴリ情報を概念的に例示する図である。図５は、エリアカテゴリテーブルのデータ構成を例示する図である。また、情報抽出部５２は、エリアカテゴリ毎に、各エリアの物理状態を表すエリア情報をエリアＩＤと対応付けてエリア情報テーブルに記憶させる。図６は、エリア情報テーブルのデータ構成を例示する図である。同図に示されるように、エリア情報テーブルはエリアカテゴリ毎に構築される。同図では、エリアカテゴリが「窓」「囲障」である場合のエリア情報テーブルが各々例示されている。このように、「エリアカテゴリ情報」によって敷地内及びその周囲のエリアが抽象的に表現され、それぞれのエリアにおける詳細な物理状態が、「エリア情報」によって表現される。これらのエリアカテゴリテーブル及びエリア情報テーブルは、図７に例示されるように、敷地情報ＤＢ５４に記憶されている。
【００１６】
図１の説明に戻る。侵入者基本情報ＤＢ５５は、後述する行動モデル作成部５３が用いるエリアカテゴリ毎の物理状態数値化テーブル及び後述する強化学習に必要な各種の係数を記憶する。物理状態数値化テーブルは、エリア情報によって示される物理状態を数値化するためのものであり、物理状態と数値との対応関係を記憶する。数値は、定性的な物理状態を定量化するもので、最大値が「1」の正の実数とする。図８は、エリアカテゴリが「窓」である場合の物理状態数値化テーブルを例示する図である。図９は、エリアカテゴリが「扉」である場合の物理状態数値化テーブルを例示する図である。図１０は、エリアカテゴリが「障害物」である場合の物理状態数値化テーブルを例示する図である。図１１は、エリアカテゴリが「囲障」である場合の物理状態数値化テーブルを例示する図である。これらの各物理状態数値化テーブルにおいては、物理状態を示す項目毎に各々数値が対応付けられている。物理状態を示す項目とは、例えば、大きさ、設置高さ、材質、材質強度等のことである。
【００１７】
強化学習に必要な各種の係数とは、具体的には、エリアカテゴリ毎の物理強度寄与係数や移動容易性寄与係数がある。物理強度寄与係数は、建物に対する開口部となる窓や扉のエリアカテゴリに属するエリアのエリア情報によって表される物理状態が侵入工作（窓や扉の破壊等によって建物内へ侵入しようとする行動）の成功に寄与する度合いを示す係数である。例えば、窓に対する侵入工作を考えた際に、「大きさ」という物理状態を表すエリア情報は、あまり寄与せず(係数は比較的小さい）、「材質」や「錠の種類」といった物理的な強度を表すエリア情報が特に寄与する(係数は比較的大きい）。このようなエリアカテゴリが「窓」である場合の物理強度寄与係数は、図１２に例示される通りとなる。図１３は、エリアカテゴリが「扉」である場合の物理強度寄与係数を示す図である。
【００１８】
エリアカテゴリ毎の移動容易性寄与係数とは、障害物等のエリアカテゴリに属するエリアのエリア情報によって表される物理状態が移動し易さに影響を与える度合いを示す係数である。図１４は、エリアカテゴリが「障害物」である場合の移動容易性寄与係数を示す図である。図１５は、エリアカテゴリが「囲障」である場合の移動容易性寄与係数を示す図である。
【００１９】
図１の説明に戻る。行動モデル作成部５３は、敷地情報ＤＢ５４及び侵入者基本情報ＤＢ５５を参照して、機械学習手法の１つである強化学習により、エリア毎の侵入危険度を計算して、警備対象となる敷地内において侵入者が辿る移動経路の可能性の高さを数値化して表す行動モデルを作成する。
【００２０】
強化学習とは、エージェントと呼ばれる仮想の行動者に、対象となる環境（対象環境という）での最適な行動選択規則を獲得させる技術である。本実施の形態において、対象環境とは、警備システムの設計者が敷地情報を入力した警備対象となる敷地内及びその周囲であり、エリアＩＤが割り当てられたエリアの集合であると定義する。エージェントを一般的な侵入者とみなし、最適な行動選択規則として一般的な侵入者の行動選択規則、つまり、「行動モデル」を獲得させている。強化学習では、エージェントの行動は、離散化して定義する。例えば、図１６に示すように、ある位置から「上、下、左、右」の４つの行動が選択できると定義し、その行動を選択すると、選択した行動に対応した位置へエージェントが移動する。行動選択規則は、エリア毎に離散化させた行動がどの程度良いのかを示す「行動価値関数Q(X,A)」を利用する。行動価値関数とは、エージェントが存在する位置「X=x」において離散化した行動「A=a」を選択することがどの程度良いのかを表す値である。Aは上述した離散化した行動が入る。Xは、対象環境におけるエージェントの位置(座標)である。ここでは各位置を各エリアに対応させる。この行動価値関数Q(X,A)を利用し、エージェントは、現在位置「X=x」において、どの行動「A=a」を選択すると最もQ(x,a)が高くなるかという基準に従って行動を選択する。強化学習においては、エージェントが現在持っている行動価値関数に従って行動を選択し、その行動を実行する。すると、対象環境から報酬rと呼ばれる値が返されると設定する。この報酬rとは、その行動がどの程度良い行動であったのかを表す指標である。この報酬rの総和(これを収益Rと呼ぶ)を最大化するように行動価値関数Q(X,A)を修正していくことが強化学習と呼ばれる技術である。行動の選択、報酬の観測、そして、行動価値関数Q(X,A)の更新を多数回繰り返すことで、最適な行動選択規則を獲得することができる。行動価値関数Q(X,A)は、以下の式１に従って更新していく。
【００２１】
【数１】
【００２２】
ここで、式１内のαは学習係数と呼ばれ、値の更新の速度を定める定数である。これには「0」〜「1」の間の実数を与える。通常、αは「0.1」かそれ以下の値を設定する。γは割引率と呼ばれ、得られる報酬をどの程度先まで考慮するかといった指標の定数である。これには「0」から「1」の実数を与え、小さい値にすればすぐ先の報酬までしか考慮しないことを表す。通常、「0.99」程度の「1.0」に近い値を設定する。
【００２３】
本実施の形態においては、報酬rは、移動コストと呼ぶ各エリアにおける周囲からの見通しや移動し易さに応じて与えられる負の値として定義する。移動コストの与え方としては、見通しが良かったり、障害物等があって移動しにくかったりすると報酬rは大きな負の値を返し、逆に、見通しが悪かったり、移動し易かったりすれば、報酬rは小さな負の値を返すと定義する。強化学習においては、報酬rの総和である収益Rを最大化することが目的であるので、移動コストが高い(負の値が大きい)エリアにはなるべく存在せずに、移動コストが小さい(負の値が小さい)エリアへ移動したがる。一般的な住宅では、外部空間に近いエリアでは見通しが良く移動コストが高い。そして、建物の裏等見通しが悪ければ移動コストが低い。つまり、外部空間から侵入した侵入者は、侵入工作の行いやすい建物裏方向等へ移動していくという一般的な侵入者の動きをこの報酬関数によって表現することができる。移動コストは、敷地内の物理状態によって変化するため、このようにして行動価値関数Q(X,A)を獲得すれば、一般的な侵入者が敷地内をどのように移動したがるかが警備対象となる敷地内に対してモデル化できる。
【００２４】
行動モデル作成部５３は、以上のような強化学習によって得られた行動モデルを、警備システムにおいて利用されるアプリケーション毎に適切な行動モデルの形式に変換する。この結果、当該アプリケーションがこれを利用することが可能になり、警備システムにおいて各種機能を実現することが可能になる。
【００２５】
次に、本実施の形態にかかる情報処理装置の行う行動モデル作成処理の手順について図１７を用いて説明する。まず、警備システムの設計者が、表示部に表示された敷地図に対して、操作入力部を介して上述した敷地情報を入力すると、情報処理装置は、当該敷地情報の入力を受け付け（ステップＳ１）、当該敷地情報を用いて、上述したエリアカテゴリ情報及びエリア情報を生成する（ステップＳ２）。そして、情報処理装置は、エリアカテゴリ情報をエリアＩＤと対応付けて、エリアカテゴリテーブルに記憶させると共に、エリアカテゴリ毎にエリア情報をエリアＩＤと対応付けてエリア情報テーブルに記憶させることにより、エリアカテゴリ情報及びエリア情報を敷地情報ＤＢ５４に記憶させる（ステップＳ３）。そして、情報処理装置は、敷地情報ＤＢ５４及び侵入者基本情報ＤＢ５５を参照して、上述した強化学習により、エリア毎の侵入危険度を計算する（ステップＳ４）。
【００２６】
図１８は、ステップＳ４で利用する強化学習のアルゴリズムの概略を手順化して示した図である。ここではエージェントが行動する「対象環境」と「報酬関数」との設定が必要となる。「対象環境」は、上述したように、警備対象となる敷地内及びその周囲であり、ステップＳ１で設計者が敷地情報を入力した敷地内及びその周囲である。エージェントは、当該敷地が複数に分割されてエリアＩＤが割り当てられたエリア間を移動していくことになる。その移動規則は、図１９に示すように、上下左右の行動をエージェントが選択した際に、その方向にあるエリアに必ず移動するものとする。ただし同じく図１９に示すように、建物や大きな障害物等移動できないエリアのある方向への移動を選択した場合には、元のエリアへ戻され、結果的に、元のエリアから移動しないものとする。行動選択規則としては、上述の式１に示される行動価値関数Q(X,A)を利用し、現在のエリアXにおいて、行動価値関数Q(X,A)の値が最大になる行動Aを選択する。ただし、確率εでランダムに行動を選択するものとする。ここで、εがなければ、常に決まった行動しか選択されないため、局所的な解に落ち着いてしまう。そのため、様々な行動を試すという要素が必要になり、そのためにεを入れている。εは、通常「0.1」程度の値とする。そして、エリアカテゴリが「窓」や「扉」である開口部のエリアから、エリアカテゴリが「建物」であるエリアのある方向への行動が選択された際には、図２０に示すように、その行動を確率的に実行するものとして、当該行動を実行することになった場合、エージェントはゴール位置に移動したとして、次にスタート位置へ再度戻される。一方、当該行動を実行しないことになった場合、エージェントは開口部のエリアから移動することなく留まることになる。ここで、ゴール位置とは、即ち、建物の中に侵入することである。確率的にゴール位置へ移動するというものは、イメージしやすい例として、スゴロク等におけるゴール条件のようなものである。スゴロクにおいては、ゴールへの到達にはサイコロの特定の数字を出す必要があるといったルールがある場合があり、これと全く同様の考え方で、本実施の形態においてもエージェントがゴールできるか否かは確率的に決まる。他のエリアへは決定的に移動するのに対し、ゴール位置へだけは確率的に移動させる理由として、侵入者が侵入工作を行う際に、その窓や扉の強度等の物理状態によっては、侵入までに多少時間がかかるであろうということが挙げられる。ここで、このゴール位置に辿り着く確率を「侵入工作成功確率」と呼び、以下の式２で表す確率を利用する。
【００２７】
【数２】
【００２８】
ここで、式２のαとは確率の定義に従うように値を正規化するための正規化定数である。この式２は、開口部の物理状態を表す項目毎に定められた規則に従って、開口部の物理状態を数値化(Ｖ状態i（状態）)し、その値に係数(ａ状態i)をかけたものを総和し、正規化させることを意味している。ここで、開口部の状態の数値化(Ｖ状態i（状態）)には、図８〜９に示される物理状態数値化テーブルを用いる。尚、開口部の物理状態を表す項目は窓と扉とで異なるため、上述の式２に利用する係数や定数は開口部の種類毎に定める必要がある。具体的に式２を書き下すと、以下の式３〜４のようになる。式３は窓に対する侵入工作成功確率であり、式４は扉に対する侵入工作成功確率である。
【００２９】
【数３】
【００３０】
報酬関数rは、対象環境内の各エリアに関して、見通しや移動し易さに依存して変化する関数である。報酬関数は、エージェントが行動を選択する毎に与えられ、以下の式５に従って計算されるものとした。
【００３１】
【数４】
【００３２】
ここで、Ｐ見通し（ｘ）は、エージェントが行動を選択して実行した後に移動した先のエリアの周囲からの見通しに関する関数である。周囲からの見通しが良ければ良いほど大きい負の値となる。次に、Ｐ移動（ｘ）は、エージェントが行動を選択して実行し、エリアを移動する際の移動し易さに関する関数である。障害物等があり、移動しにくい状況であればあるほど、大きな負の値となる。見通しに関する報酬Ｐ見通し（ｘ）は、移動した先のエリアxに関して、図２１に例示されるように、周囲４方向（上下左右）の外部空間(道路等の公共空間と隣家等の私的空間)からの見通しの度合いを総合して定める。具体的には以下の式６により計算される。
【００３３】
【数５】
【００３４】
周囲４方向（上下左右）のそれぞれの方向での見通しに関する値は、以下の式７より計算される。
【００３５】
【数６】
【００３６】
ここで、外部空間とは、警備対象となる敷地の周囲のことである。bPは、その方向にある外部空間における見通しの基準値である。bPの値は、外部空間が道路や公園等の公共物体のある公共空間であれば「-1.0」程度、隣家等の私的物体のある私的空間であれば「-0.1」程度とする。これは、その方向にある外部空間から見られるリスクを相対的に表したものである。具体的には、移動先のエリアのある方向にある領域であって警備対象となる敷地の周囲の領域のエリアカテゴリが公共物体に属するものである場合、即ち、外部空間が公共空間である場合、不特定多数の人に見られる可能性があることから見られるリスク（見通し）が高いと考え、大きな値を設定する。逆に、移動先のエリアのある方向にある領域であって警備対象となる敷地の周囲の領域のエリアカテゴリが私的物体に属するものである場合、即ち、外部空間が私的空間である場合、不特定多数の人が存在できる空間ではないため、その空間に人がいる可能性は低くなるはずである。そのため、見られるリスク（見通し）は低いと考えて、この場合、bPを小さい値に設定する。
【００３７】
次に、φ外部（ｘ）は、外部空間からの見通しの良さをあらわした関数であり、外部空間から距離が離れるほどに小さくなる。図２２は、φ外部（ｘ）の例をグラフ化して示す図である。図２２の横軸は外部空間からの距離を表し、縦軸はφ外部（ｘ）を表す。先にも述べたが、図２２からも分かるように、外部空間からの見通しの良さを表す関数によって計算される値は、外部空間からの距離に応じて減少していく。距離に応じて減少していく理由は、距離が離れれば離れるほど、侵入者の細かい動きや細かい事柄等が見えにくくなり、また、周囲から気づかれにくい（意識されにくい）からである。よって、図２２に示すように、外部空間からの見通しは、距離が離れるほどに悪くなる。尚、外部空間からの距離、即ち、移動先のエリアのある方向にある領域であって警備対象となる敷地の周囲の領域から移動元のエリアまでの距離は、各エリアの位置に基づいて計算することができる。
【００３８】
また、φ障害物（ｘ）は障害物に隠れることによって見通しが悪くなることを表した関数である。φ障害物（ｘ）は、障害物によって外部空間から見られるリスクをどの程度減少させるかを示したものであり、障害物から離れるほどに「1.0」に近づいて行き、見られるリスクが減少されなくなる（つまり見られるリスクが大きくなる）ことを表す。図２３は、φ障害物（ｘ）の例をグラフ化して示す図である。図２２と同様に図２３も、横軸は外部空間からの距離を表し、縦軸はφ障害物（ｘ）を表す。先にも述べたが、図２３からも分かるように、障害物による見通しへの影響を表す関数によって計算される値は、障害物からの距離に応じて上昇していく。障害物からの距離に応じて上昇していく理由は、図２４に示すように、障害物の影で障害物の直近にいる場合には、周囲から見られる範囲が限られるのに対し、離れるほどに周囲から見える範囲が広くなるからである。つまり、障害物から離れるほどに障害物が見通しに与える影響が小さくなっていく。φ外部（ｘ）は式８により表される。φ障害物（ｘ）は式９により表される。尚、障害物からの距離、即ち、移動先のエリアのある方向にある領域であってエリアカテゴリが「障害物」である領域から移動元のエリアまでの距離は、各エリアの位置に基づいて計算することができる。
【００３９】
【数７】
【００４０】
ここで、βは、最大減衰率であり、見通しの影響をどこまで下げるかを定める定数である。aは距離が離れることによって減衰する度合いを表す。γは最大減衰率の半分まで減衰する距離を表す。d(O,x)は、現在のエリアxと「O」までの距離を表す。
【００４１】
次に、移動し易さに関する報酬Ｐ移動（Ｘ）は、移動した先のエリアxのエリアカテゴリが障害物や囲障等の場合に必要になる。Ｐ移動（ｘ）は、エリアxのエリアカテゴリが囲障や障害物であった場合に、そのエリアのエリア情報に基づいて以下の式１０に従って計算される。
【００４２】
【数８】
【００４３】
ここで、式１０中のａ状態iは、障害物や囲障に関する移動容易性寄与係数である（図１４〜１５参照）。式１０中のＶ状態i（状態）は、式２のものと同様の役割を持っており、エリアカテゴリ毎のエリアの物理状態を数値化するためのものである。このＶ状態i（状態）を求めるためには、図１０〜１１に示される物理状態数値化テーブルを用いる。本実施の形態においては以上のようにして報酬関数を規定している。
【００４４】
次に、図１８の手順について順を追って説明すると、情報処理装置は、行動価値関数Q(X,A)の全ての値を「0」にする等して行動価値関数Q(X,A)を初期化する（ステップＳ２０）。そして、情報処理装置は、エージェントを任意のスタート位置にセットする（ステップＳ２１）。次いで、情報処理装置は、行動価値関数Q(X,A)を利用してスタート位置でエージェントが取る最初の行動aを選択する（ステップＳ２２）。そして、情報処理装置は、エージェントが当該行動aを実行してその結果移動したエリアx’とそれに応じて得られる報酬rを観測する（ステップＳ２３）。そして、ステップＳ２３と同様にして、情報処理装置は、行動価値関数Q(X,A)を利用して、移動したエリアx’でエージェントが取る行動aを選択する（ステップＳ２４）。そして、情報処理装置は、行動価値関数Q(X,A)を式１により更新する（ステップＳ２５）。その後、情報処理装置は、上述した確率的にエリアx’からゴール位置に移動するか否かを判断する（ステップＳ２６）。当該判断結果が肯定的である場合には（ステップＳ２６：ＹＥＳ）、ステップＳ２１に戻り、当該判断結果が否定的である場合（ステップＳ２６：Ｎｏ）、ステップＳ２３に戻る。
【００４５】
以上のような強化学習により、情報処理装置は、行動価値関数Q(X,A)の値を、各エリアの侵入危険度として各々計算する。即ち、警備対象となる敷地内において一般的な侵入者がどのように移動していくかといった規則が行動価値関数Q(X,A)として計算される。尚、各エリアについて上下左右のそれぞれの方向に対して行動価値関数Q(X,A)は計算されているため、警備対象となる敷地に含まれる各エリアについて上下左右のそれぞれの方向に対する行動価値関数Q(X,A)の各値からなるデータが、侵入者の行動モデルとして作成される。図２５は、警備対象となる敷地に含まれる各エリアに対して計算された侵入危険度を可視化した図である。同図の左側には、警備対象となる敷地が複数に分割されエリアＩＤが割り当てられた各エリアが示されている。エリアＩＤ「14」,「16」のエリアカテゴリが「窓」であり、エリアＩＤ「56」のエリアのエリアカテゴリが「扉（玄関）であり、エリアＩＤ「24」〜「27」,「34」〜「37」,「44」〜「47」のエリアのエリアカテゴリは「建物」であるとする。その他のエリアは庭であるとし、障害物がない理想的な庭であると仮定した。同図の右側には、同図の左側に示される敷地を２次元の座標として、エリア毎の侵入危険度を高さとして示す次元を加えた３次元の座標が示されている。尚、同図では、図の簡略化のため、侵入危険度として、エリア毎の４方向の行動価値関数Q(X,A）の平均値を用いている。この図から分かるように、侵入危険度は建物の開口部、特に、建物裏側の見通しが悪い開口部へ近づくほどに高くなる。
【００４６】
図１７に戻る。情報処理装置は、ステップＳ４で作成した行動モデルを、利用したいアプリケーション毎に適切な行動モデルの形式に変換する（ステップＳ５）。ここでは、２つのアプリケーションの例を示す。
【００４７】
１つ目の例は、行動価値関数を利用して、侵入者の行動モデルを移動経路として表現するアプリケーションである。ステップＳ４で計算された行動価値関数Q(X,A)は、ある位置Xに一般的な侵入者が存在した場合に、次に移動する位置X’はどこになる可能性が高いかを表すものであるから、任意のスタート位置から侵入者がどこに向かいやすいのかといった侵入者の移動経路を容易に想定することができる。図２６は、３箇所のスタート位置から想定される侵入者の移動経路を表現した例を示す図である。このようにして想定した移動経路で侵入者を実際に検出できるようにセンサを配置することで侵入者の検出を適切に行うことが可能になる。このような本実施の形態にかかる行動モデルを利用することで、誰でも容易に一定の品質の警備診断を行うことができる。
【００４８】
２つ目の例は、行動価値関数を確率モデルに変換し、参考文献１に記載の技術で作成する必要のある行動モデルの一部を自動的に作成するアプリケーションである。
（参考文献１）特願２００９−２７０６８６
【００４９】
行動価値関数Q(X,A)を利用して、参考文献１の技術において必要となる侵入者の行動モデルのうち、位置移動の確率表として、行動価値関数Q(X,A)を以下に説明するように変形させたものが適用できる。参考文献１の技術において使用する位置移動の確率表は、あるエリアxから次のエリアx’へ移動する確率（移動確率という）P(x’|x)で表される。行動価値関数Q(X,A)は、現在いるエリアxから次にとる行動の価値を表し、行動とは、「上、下、左、右」の方向にあるエリアへの移動を表す。この行動価値関数を利用して、次のエリアx’への移動確率を計算するために、行動価値関数Q(X=x,A=a)の値を以下の式１１で示すようにGibbs分布等を利用して、単純に確率の定義にあわせる。
【００５０】
【数９】
【００５１】
ここで、τは確率の差のつけ方を規定する定数である。式１１中のＡ（ｘt+1)は、現在のエリアｘtから、次のエリアｘt+1へ移動させるための行動である。以上のような操作を行うことによって、参考文献１の技術において使用できる確率モデルとして行動価値関数Q(X,A)を変換することができる。
【００５２】
以上のように、本実施の形態においては、設計者が、警備対象となる住宅等の建物のある敷地内及びその周囲に関する物理状態を示す敷地情報を情報処理装置に入力し、情報処理装置は、当該敷地情報に基づいて、敷地を複数に分割したエリア毎の情報としてエリアカテゴリ情報及びエリア情報を記憶する。そして、情報処理装置は、エリアカテゴリ情報及びエリア情報に基づいて、当該敷地内において一般的な侵入者が効率的に移動するためのエリア移動ルールを、強化学習のアルゴリズムを適用することで計算する。情報処理装置は、このようなエリア移動ルールを計算することで、侵入者があるエリアから次にどのエリアに行きたがるのかを想定することができ、従って、敷地内において一般的な侵入者がどのような移動経路を辿り易いのかを表す行動モデルを作成することができる。一般的な侵入者の行動モデルを作成できれば、どの箇所から侵入者は侵入しようとするのか、また、どのような移動経路を辿るのかを把握することができるため、警備システムの設計者の経験に拠らずに均一な品質の警備診断を行うことが可能になる。即ち、本実施の形態によれば、警備システムの設計に大きなばらつきが生じる可能性が少なくなり、均一な品質の警備システムを提供することができる。
【００５３】
また、警備システムの設計者は敷地情報を情報処理装置に入力すれば、侵入者の行動モデルを自らの知識と経験とに基づいて自ら作成しなくても済むため、設計者の手間を大幅に削減することが可能になる。
【００５４】
また、本実施の形態において情報処理装置が作成した行動モデルは、参考文献１の技術で必要となる行動モデルに容易に適用することができる。
【００５５】
[変形例]
なお、本発明は前記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、前記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。また、以下に例示するような種々の変形が可能である。
【００５６】
上述した実施の形態において、情報処理装置で実行される各種プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また当該各種プログラムを、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録してコンピュータプログラムプロダクトとして提供するように構成しても良い。
【００５７】
上述した実施の形態において、敷地情報及びその入力の方法は、上述の例に限らない。例えば、情報抽出部５２が生成するエリアカテゴリ情報及びエリア情報自体を設計者が入力して、エリアカテゴリ情報及びエリア情報を敷地情報ＤＢ５４に記憶させるようにしても良い。また、エリアカテゴリ情報及びエリア情報のデータ構成は上述の例に限らない。また、敷地情報ＤＢ５４及び侵入者基本情報ＤＢ５５の構成は、上述したものに限らない。
【００５８】
また、敷地情報の入力の際に表示部に表示させる敷地図は、複数の領域に予め分割されていなくても良く、この場合、設計者は、敷地図においてエリアカテゴリ毎に区域を指定して、敷地情報を入力し、その後、情報抽出部５２が、敷地図を複数の領域に分割して、各領域にエリアＩＤを割り当てて、設計者により指定されたエリアカテゴリ毎の区域に属する領域を各々判断して、上述のように、エリアカテゴリ情報及びエリア情報を生成してこれらを各々エリアＩＤと対応付けて敷地情報ＤＢ５４に記憶させるようにしても良い。
【００５９】
上述した実施の形態において、情報処理装置は、情報入力受付部５１及び情報抽出部５２を有するようにしたが、情報入力受付部５１を有さなくても良いし、更に、情報抽出部５２を有さなくても良い。情報処理装置が情報入力受付部５１を有さない場合、警備システムの設計者は他の情報処理装置で敷地情報を入力し、当該他の情報処理装置が当該敷地情報を情報処理装置に送信し、情報処理装置は、受信した敷地情報を用いてエリア毎のエリアカテゴリ情報及びエリア情報を生成してこれを敷地情報ＤＢ５４に記憶させるようにしても良い。また、情報処理装置が情報入力受付部５１及び情報抽出部５２を有さない場合、警備システムの設計者は他の情報処理装置で敷地情報を入力し、当該他の情報処理装置が当該敷地情報を用いてエリア毎のエリアカテゴリ情報及びエリア情報を生成してこれを情報処理装置に送信し、情報処理装置は、受信したエリア毎のエリアカテゴリ情報及びエリア情報を敷地情報ＤＢ５４に記憶させるようにしても良い。
【００６０】
上述した実施の形態において、侵入工作成功確率を計算する式は式２〜４に限定するものではなく、開口部の物理状態に応じて値が変化するような侵入工作成功確率を計算可能な関数であれば良い。
【００６１】
上述した実施の形態において、報酬関数を計算する式は式６〜１０に限定するものではなく、見通しや移動し易さによって値が変化するような報酬関数を用いれば良い。
【００６２】
上述した実施の形態において、窓や扉等の開口部を有する建物がある敷地を警備対象としたが、これに限らず、建物がなく地下室に入るための扉等の開口部がある敷地を警備対象としても良い。
【符号の説明】
【００６３】
５１ 情報入力受付部
５２ 情報抽出部
５３ 行動モデル作成部
５４ 敷地情報ＤＢ
５５ 侵入者基本情報ＤＢ
【特許請求の範囲】
【請求項１】
警備対象となる敷地内及びその周囲に関する物理状態を示す物理状態情報を記憶する第１記憶手段と、
前記物理状態を数値化するための物理状態数値化情報を記憶する第２記憶手段と、
前記物理状態数値化情報を用いて、前記物理状態情報によって示される前記物理状態を数値化して、前記敷地内及びその周囲を環境として当該環境内の移動を行動として選択することで前記敷地の周囲からの見通し及び移動し易さのうち少なくとも一方に応じた報酬を得る強化学習により、前記敷地内において侵入者が辿る移動経路の可能性の高さを数値化して表す行動モデルを作成する作成手段とを備える
ことを特徴とする情報処理装置。
【請求項２】
前記物理状態情報は、前記敷地内及びその周囲が複数に分割された領域のそれぞれについて、前記領域にある物体の種類を表すエリアカテゴリ情報と、前記領域における前記物体の種類に関する物理状態を示すエリア情報とを含み、
前記作成手段は、前記領域毎に、前記物理状態数値化情報を用いて、前記領域に対応する前記エリアカテゴリ情報によって示される前記種類に対応して前記エリア情報によって示される前記物理状態を数値化して、前記領域間の移動を行動として選択することで前記報酬を得る前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記種類は、前記敷地内にある物体の種類として、障害物及び囲障のうち少なくとも１つに分類される第１種類を含み、
前記第１種類に関する物理状態は、大きさ、高さ、材質及び前記構造の少なくとも１つであり、
前記第２記憶手段は、前記第１種類に関する物理状態に応じて移動し易さに影響する度合いを示す第１係数を更に記憶しており、
前記作成手段は、前記行動モデルを作成する際に、第１領域から第２領域への移動を行動として選択したときに前記第２領域に対応する前記エリアカテゴリ情報によって前記第１種類が示される場合、前記第２領域に対応する前記エリア情報によって示される物理状態に応じた前記第１係数を用いて計算される前記報酬を得る前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記作成手段は、前記行動モデルを作成する際に、第３領域から上下左右のいずれかの方向にある第４領域に移動することを選択する前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項２又は３に記載の情報処理装置。
【請求項５】
前記種類は、前記敷地の周囲にある物体の種類として、公共物体に分類される第２種類及び私的物体に分類される第３種類を含み、
前記作成手段は、前記行動モデルを作成する際に、前記第３領域から前記第４領域への移動を選択することで、前記第４領域のある方向にある領域であって前記敷地の周囲に属する第５領域に対応する前記エリアカテゴリ情報によって示される前記種類が前記第２種類又は前記第３種類であるかに応じて見通しに関する報酬を得る前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記作成手段は、前記行動モデルを作成する際に、前記第３領域から前記第４領域への移動を選択することで、前記第４領域のある方向にある領域であって前記敷地の周囲に属する第６領域から前記第３領域までの距離に応じて見通しに関する報酬を得る前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項４又は５に記載の情報処理装置。
【請求項７】
前記種類は、前記敷地内にある物体の種類として、障害物に分類される第４種類を含み、
前記作成手段は、前記行動モデルを作成する際に、前記第３領域から前記第４領域への移動を選択することで、前記第４領域のある方向にある領域であって前記エリアカテゴリ情報によって前記第４種類が示される第７領域からの距離に応じて見通しに関する報酬を得る前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項４乃至６のいずれか一項に記載の情報処理装置。
【請求項８】
前記種類は、建物に分類される第５種類と、前記建物に対する開口部に分類される第６種類とを含み、
前記第６種類に関する物理状態は、大きさ、材質強度、設置高さ及び前記開口部に掛けられる鍵の状態の少なくとも１つであり、
前記第２記憶手段は、前記第６種類に関する物理状態に応じて侵入工作の成功に寄与する度合いを示す第２係数を更に記憶しており、
前記作成手段は、前記行動モデルを作成する際に、前記エリアカテゴリ情報によって前記第６種類が示される第８領域から、当該第８領域に対応する前記エリア情報によって示される物理状態に応じた前記第２係数を用いて計算される確率に応じて、前記エリアカテゴリ情報によって前記第５種類が示される第９領域に移動することを選択する前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項２乃至７のいずれか一項に記載の情報処理装置。
【請求項９】
警備対象となる敷地内及びその周囲に関する物理状態を示す敷地情報の入力を受け付ける入力受付手段と、
前記入力受付手段が入力を受け付けた前記敷地情報を用いて、前記物理状態情報を生成する生成手段とを更に備え、
前記第１記憶手段は、前記生成手段が生成した前記物理状態情報を記憶する
ことを特徴とする請求項１乃至８のいずれか一項に記載の情報処理装置。
【請求項１０】
警備対象となる敷地内及びその周囲に関する物理状態を示す物理状態情報を記憶する第１記憶手段と、前記物理状態を数値化するための物理状態数値化情報を記憶する第２記憶手段とを備える情報処理装置で実行される行動モデル作成方法であって、
前記物理状態数値化情報を用いて、前記物理状態情報によって示される前記物理状態を数値化し、
前記敷地内及びその周囲を環境として当該環境内の移動を行動として選択することで前記敷地の周囲からの見通し及び移動し易さのうち少なくとも一方に応じた報酬を得る強化学習により、前記敷地内において侵入者が辿る移動経路の可能性の高さを数値化して表す行動モデルを作成する
ことを特徴とする行動モデル作成方法。
【請求項１】
警備対象となる敷地内及びその周囲に関する物理状態を示す物理状態情報を記憶する第１記憶手段と、
前記物理状態を数値化するための物理状態数値化情報を記憶する第２記憶手段と、
前記物理状態数値化情報を用いて、前記物理状態情報によって示される前記物理状態を数値化して、前記敷地内及びその周囲を環境として当該環境内の移動を行動として選択することで前記敷地の周囲からの見通し及び移動し易さのうち少なくとも一方に応じた報酬を得る強化学習により、前記敷地内において侵入者が辿る移動経路の可能性の高さを数値化して表す行動モデルを作成する作成手段とを備える
ことを特徴とする情報処理装置。
【請求項２】
前記物理状態情報は、前記敷地内及びその周囲が複数に分割された領域のそれぞれについて、前記領域にある物体の種類を表すエリアカテゴリ情報と、前記領域における前記物体の種類に関する物理状態を示すエリア情報とを含み、
前記作成手段は、前記領域毎に、前記物理状態数値化情報を用いて、前記領域に対応する前記エリアカテゴリ情報によって示される前記種類に対応して前記エリア情報によって示される前記物理状態を数値化して、前記領域間の移動を行動として選択することで前記報酬を得る前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記種類は、前記敷地内にある物体の種類として、障害物及び囲障のうち少なくとも１つに分類される第１種類を含み、
前記第１種類に関する物理状態は、大きさ、高さ、材質及び前記構造の少なくとも１つであり、
前記第２記憶手段は、前記第１種類に関する物理状態に応じて移動し易さに影響する度合いを示す第１係数を更に記憶しており、
前記作成手段は、前記行動モデルを作成する際に、第１領域から第２領域への移動を行動として選択したときに前記第２領域に対応する前記エリアカテゴリ情報によって前記第１種類が示される場合、前記第２領域に対応する前記エリア情報によって示される物理状態に応じた前記第１係数を用いて計算される前記報酬を得る前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記作成手段は、前記行動モデルを作成する際に、第３領域から上下左右のいずれかの方向にある第４領域に移動することを選択する前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項２又は３に記載の情報処理装置。
【請求項５】
前記種類は、前記敷地の周囲にある物体の種類として、公共物体に分類される第２種類及び私的物体に分類される第３種類を含み、
前記作成手段は、前記行動モデルを作成する際に、前記第３領域から前記第４領域への移動を選択することで、前記第４領域のある方向にある領域であって前記敷地の周囲に属する第５領域に対応する前記エリアカテゴリ情報によって示される前記種類が前記第２種類又は前記第３種類であるかに応じて見通しに関する報酬を得る前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記作成手段は、前記行動モデルを作成する際に、前記第３領域から前記第４領域への移動を選択することで、前記第４領域のある方向にある領域であって前記敷地の周囲に属する第６領域から前記第３領域までの距離に応じて見通しに関する報酬を得る前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項４又は５に記載の情報処理装置。
【請求項７】
前記種類は、前記敷地内にある物体の種類として、障害物に分類される第４種類を含み、
前記作成手段は、前記行動モデルを作成する際に、前記第３領域から前記第４領域への移動を選択することで、前記第４領域のある方向にある領域であって前記エリアカテゴリ情報によって前記第４種類が示される第７領域からの距離に応じて見通しに関する報酬を得る前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項４乃至６のいずれか一項に記載の情報処理装置。
【請求項８】
前記種類は、建物に分類される第５種類と、前記建物に対する開口部に分類される第６種類とを含み、
前記第６種類に関する物理状態は、大きさ、材質強度、設置高さ及び前記開口部に掛けられる鍵の状態の少なくとも１つであり、
前記第２記憶手段は、前記第６種類に関する物理状態に応じて侵入工作の成功に寄与する度合いを示す第２係数を更に記憶しており、
前記作成手段は、前記行動モデルを作成する際に、前記エリアカテゴリ情報によって前記第６種類が示される第８領域から、当該第８領域に対応する前記エリア情報によって示される物理状態に応じた前記第２係数を用いて計算される確率に応じて、前記エリアカテゴリ情報によって前記第５種類が示される第９領域に移動することを選択する前記強化学習により、前記行動モデルを作成する
ことを特徴とする請求項２乃至７のいずれか一項に記載の情報処理装置。
【請求項９】
警備対象となる敷地内及びその周囲に関する物理状態を示す敷地情報の入力を受け付ける入力受付手段と、
前記入力受付手段が入力を受け付けた前記敷地情報を用いて、前記物理状態情報を生成する生成手段とを更に備え、
前記第１記憶手段は、前記生成手段が生成した前記物理状態情報を記憶する
ことを特徴とする請求項１乃至８のいずれか一項に記載の情報処理装置。
【請求項１０】
警備対象となる敷地内及びその周囲に関する物理状態を示す物理状態情報を記憶する第１記憶手段と、前記物理状態を数値化するための物理状態数値化情報を記憶する第２記憶手段とを備える情報処理装置で実行される行動モデル作成方法であって、
前記物理状態数値化情報を用いて、前記物理状態情報によって示される前記物理状態を数値化し、
前記敷地内及びその周囲を環境として当該環境内の移動を行動として選択することで前記敷地の周囲からの見通し及び移動し易さのうち少なくとも一方に応じた報酬を得る強化学習により、前記敷地内において侵入者が辿る移動経路の可能性の高さを数値化して表す行動モデルを作成する
ことを特徴とする行動モデル作成方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【公開番号】特開２０１２−８３８５４（Ｐ２０１２−８３８５４Ａ）
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願番号】特願２０１０−２２７７６７（Ｐ２０１０−２２７７６７）
【出願日】平成２２年１０月７日（２０１０．１０．７）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
【公開日】平成２４年４月２６日（２０１２．４．２６）
【国際特許分類】
【出願日】平成２２年１０月７日（２０１０．１０．７）
【出願人】（０００２０２３６１）綜合警備保障株式会社 (266)
【Ｆターム（参考）】
[ Back to top ]