情報処理システム、その制御方法及びプログラム
【課題】簡素な構成で、瞬時に溺れている疑いのある遊泳者を監視者が発見できるようにする。
【解決手段】管理サーバ１０３は、遊泳者の位置を特定し、遊泳者の位置に基づいて遊泳者の状態を判定する。ＨＭＤ１０４は、遊泳者の位置に対して整合する位置に、管理サーバ１０３による判定結果に対応する情報を合成表示する。
【解決手段】管理サーバ１０３は、遊泳者の位置を特定し、遊泳者の位置に基づいて遊泳者の状態を判定する。ＨＭＤ１０４は、遊泳者の位置に対して整合する位置に、管理サーバ１０３による判定結果に対応する情報を合成表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な技術に関するものである。
【背景技術】
【０００２】
海水浴場やプール等では、毎年のように水難事故が発生している。水難事故を防止するための対策としては、監視員やライフセーバ等を配置するということが行われている。また近年は、水難事故を防止するための種々の技術が提案されている。
【０００３】
例えば、特許文献１には、被監視者は沈水状態を検知可能な溺水センサを装着しており、沈水検知状態が所定時間継続した場合に、溺水状態にあることを監視者に対して、警告音、警報メッセージ、警報光、警報振動等により知らせる技術が開示されている。
【０００４】
また例えば、特許文献２には、使用者の口や鼻の近辺に水圧センサが配置され、ＧＰＳにより使用者の位置を常時監視するとともに、当該水圧センサが所定の基準水深より深い位置にある時間をタイマで計測し、使用者が溺れているか否かを判断し、溺れていると判定された場合には、光や音を発して緊急事態を知らせる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１８４５７４号公報
【特許文献２】特開２００６−２３２１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１には、被監視者が溺水状態にあることが検知された場合、監視者の監視端末を介して、誰かが溺水状態にあることを知らせるための警報音、警報メッセージ、警報光、警報振動等の警報を発生させることが開示されている。しかしながら、この構成では、監視者は、あくまで誰かが溺れていることを知ることができるものの、どこで溺れているのかを瞬時に知ることができない。また、特許文献１には、被監視者が溺水状態にあることが検知された場合、被監視者の水泳帽等に取り付けられている溺水センサに備えられた警報発生手段から、警報音、警報メッセージ、警報光等を発生させることも開示されているが、溺水状態の被監視者の頭部が水中に浸かっている場合には、警報音や警報メッセージや警報光が必ずしも監視者に届くとは限らない。
【０００７】
また、特許文献２には、ＧＰＳ機能を有する監視装置によって、溺れた人の位置を表示させることが開示されている。しかしながら、この構成では、監視装置の表示部には、自己の位置との相対的な位置情報が表示されることになるため、この相対的な位置情報に基づいて、実際の海水浴場やプールにおける位置を見比べる必要があるため、やはり直ぐに溺れている人の位置を特定することはできない。
【０００８】
そこで、本発明の目的は、簡素な構成で、瞬時に溺れている疑いのある遊泳者を監視者が発見できるようにすることにある。
【課題を解決するための手段】
【０００９】
本発明の情報処理システムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置を有する情報処理システムであって、遊泳者の位置を特定する特定手段と、前記特定手段により特定される前記遊泳者の位置に基づいて、前記遊泳者の状態を判定する判定手段と、前記拡張現実感提示装置において、前記遊泳者の位置に対して整合する位置に、前記判定手段による判定結果に対応する情報を合成表示させる表示制御手段とを有することを特徴とする。
本発明の情報処理システムの制御方法は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法であって、遊泳者の位置を特定する特定ステップと、前記特定ステップにより特定される前記遊泳者の位置に基づいて、前記遊泳者の状態を判定する判定ステップと、前記拡張現実感提示装置において、前記遊泳者の位置に対して整合する位置に、前記判定ステップによる判定結果に対応する情報を合成表示させる表示制御ステップとを有することを特徴とする。
本発明のプログラムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法をコンピュータに実行させるためのプログラムであって、遊泳者の位置を特定する特定ステップと、前記特定ステップにより特定される前記遊泳者の位置に基づいて、前記遊泳者の状態を判定する判定ステップと、前記拡張現実感提示装置において、前記遊泳者の位置に対して整合する位置に、前記判定ステップによる判定結果に対応する情報を合成表示させる表示制御ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、簡素な構成で、瞬時に溺れている疑いのある遊泳者を監視者が発見することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係るプール監視システムの構成を概略的に示す図である。
【図２】本発明の第１の実施形態における管理サーバとＨＭＤとの機能的な構成を示す図である。
【図３−１】本発明の第１の実施形態における管理サーバのハードウェア構成を示す図である。
【図３−２】本発明の第１の実施形態におけるＨＭＤのハードウェア構成を示す図である。
【図４】本発明の第１の実施形態に係るプール監視システムの処理を示すフローチャートである。
【図５】受信機から発信される信号を説明するための図である。
【図６】警報情報のＡＲ表示の例を示す図である。
【図７】本発明の第５の実施形態に係るプール監視システムの構成を概略的に示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１３】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係るプール監視システムの構成を概略的に示す図である。図１に示すように、本実施形態に係るプール監視システムは、遊泳者に装着される発信機１０１と、プールの周囲の水面上及び水面下に配置される、発信機１０１から発信された超音波を受信する受信機ａ〜ｄ１０２と、受信機１０２が発信機１０１からの超音波の受信に応じて送信する信号を解析し、遊泳者が溺れていないかどうかを判定する管理サーバ１０３と、監視員の頭部に装着され、現実空間の映像において溺れている遊泳者に対して整合する位置に警告を表すコンピュータグラフィックス画像データを合成表示する眼鏡型のＨＭＤ（Head Mounted Display）１０４とにより構成される。なお、図１においては、説明の簡単のため、遊泳者の一人だけ示しているが、同じプール内に遊泳者が何人いても構わない。この場合、各遊泳者に対して一つの発信機１０１が装着される。
【００１４】
上述したとおり、ＨＭＤ１０４は、現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を演出する。以下では、このように拡張された現実感を与えるコンピュータグラフィックス画像データの合成表示を、ＡＲ（Augmented Reality）表示と称することがある。なお、ＨＭＤ１０４には、非透過型、ビデオ透過型、光学透過型等の様々な方式があるが、どの方式のものを用いても構わない。また、以下で説明する実施形態においては、ＡＲ表示を行うデバイスであるＡＲ表示デバイスの例としてＨＭＤ１０４を挙げるが、これに限られない。例えば、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示した現実空間の映像にコンピュータグラフィックス画像データを合成表示するような携帯端末型のデバイスであってもよい。或いは、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のデバイスであってもよい。
【００１５】
また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中におけるオブジェクト（例えば、遊泳者）とコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、本実施形態においては、ＨＭＤ１０４の位置（例えば、緯度、経度）と姿勢（例えば、方向、仰角）とを検知し、ＨＭＤ１０４を装着した監視員が現実空間のどこを見ているのかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成する。
【００１６】
図２は、第１の実施形態における管理サーバ１０３とＨＭＤ１０４との機能的な構成を示す図である。図２に示すように、管理サーバ１０３は、信号受信部１０３１、位置特定部１０３２、溺水判定部１０３３、及び、位置／警報情報送信部１０３４により構成される。信号受信部１０３１は、受信機ａ〜ｄ１０２から発信される信号を受信する。詳細は後述するが、受信機ａ〜ｄ１０２は、遊泳者が装着している発信機１０１から発信される超音波を受信すると、それぞれ受信したタイミングでハイレベルとなる波形の信号を管理サーバ１０３に対して送信する。信号受信部１０３１は、このように受信機ａ〜ｄ１０２から発信された信号を受信するものである。位置特定部１０３２は、信号受信部１０３１が各受信機ａ〜ｄ１０２から受信した信号に基づいて、遊泳者の位置を特定する。溺水判定部１０３３は、位置特定部１０３２により特定される遊泳者の位置が水の領域内である時間を計測することによって、遊泳者が水の中にいる時間、即ち遊泳者が陸に戻っていない時間を計測する。そして溺水判定部１０３３は、計測時間が所定の時間を超過する場合、当該遊泳者は溺水している疑いがあると判定する。位置／警報情報送信部１０３４は、溺水判定部１０３３により遊泳者が溺水している疑いがあると判定された場合、そのときの遊泳者の位置を示す位置情報と、溺水の疑いがあることを警報するための警報情報とをＨＭＤ１０４に対して送信する。なお、この警報情報は、予めＨＭＤ１０４側に保持されていてもよい。
【００１７】
ＨＭＤ１０４は、位置／警報情報受信部１０４１、位置姿勢検知部１０４２、及び、提示部１０４３により構成される。位置／警報情報受信部１０４１は、管理サーバ１０３から上述した位置情報と警報情報とを受信する。位置姿勢検知部１０４２は、ＨＭＤ１０４の位置（例えば、緯度、経度、あるいは、ローカルで定義された位置座標など）及び姿勢（例えば、方向、仰角）を検知する。提示部１０４３は、位置姿勢検知部１０４２により検知されたＨＭＤ１０４の位置及び姿勢に基づいて、ＨＭＤ１０４を装着する監視員が現実空間のどこを見ているかを推定し、監視員が見ていると推定される現実空間の映像、即ちＨＭＤ１０４に実際に映し出されている映像中において、遊泳者と重畳する位置又は遊泳者の近傍に警報情報を合成表示する。
【００１８】
図３−１は、本実施形態における管理サーバ１０３のハードウェア構成を示す図である。図３−１において、ＣＰＵ３０１１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ３０１２或いはＨＤＤ３０１３には、ＣＰＵ３０１１の制御プログラムであるオペレーティングシステム（ＯＳ）や、後述する各種機能を実現するためのプログラムが記憶されている。ＲＡＭ３０１３は、ＣＰＵ３０１１の主メモリ、ワークエリア、一時退避領域等として機能する。通信Ｉ／Ｆコントローラ３０１４は、ネットワークを介して外部機器（例えば、ＨＭＤ１０４や受信機ａ〜ｄ１０２）との通信制御処理を実行する。なお、ＨＤＤ３０１５の代替手段として、ＳＤＤ（Solid State Drive）を用いてもよい。
【００１９】
図３−２は、本実施形態におけるＨＭＤ１０４のハードウェア構成を示す図である。図３−２において、ＣＰＵ３０２１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ３０２２には、ＣＰＵ３０２１の制御プログラムであるＯＳや、後述する各種機能を実現するためのプログラムが記憶されている。ＲＡＭ３０２３は、ＣＰＵ３０２１の主メモリ、ワークエリア、一時退避領域等として機能する。通信Ｉ／Ｆコントローラ３０２４は、ネットワークを介して外部機器（例えば、管理サーバ１０３）との通信制御処理を実行する。ディスプレイコントローラ３０２５は、ディスプレイ３０２６における画像表示を制御する。
【００２０】
なお、図２における信号受信部１０３１及び位置／警報情報送信部１０３４は、図３−１の通信Ｉ／Ｆコントローラ３０１４に対応する構成である。位置特定部１０３２及び溺水判定部１０３３は、図３−１のＣＰＵ３０１１及びＲＯＭ３０１２或いはＨＤＤ３０１５に格納されるプログラムに対応する構成である。また、図２における位置／警報情報受信部１０４１は、図３−２の通信Ｉ／Ｆコントローラ３０２４に対応する構成である。位置姿勢検知部１０４２は、図示していないジャイロセンサや加速度センサ、ＣＰＵ３０２１及びＲＯＭ３０２２に格納されるプログラムに対応する構成である。提示部１０４３は、ＣＰＵ３０２１、ＲＯＭ３０２２に格納されるプログラム、ディスプレイコントローラ３０２５、ディスプレイ３０２６に対応する構成である。
【００２１】
図４は、第１の実施形態に係るプール監視システムの処理を示すフローチャートである。ステップＳ４０１において、信号受信部１０３１は、受信機ａ〜ｄ１０２の全てからハイレベルの信号を受信したか否かを判定する。図５は、受信機ａ〜ｄ１０２から発信される信号を説明するための図である。受信機ａ〜ｄ１０２は、発信機１０１から発信される超音波を受信すると、そのタイミングでハイレベルの信号を出力する。図５の例では、受信機ａ１０２は時刻ｔ１に発信機１０１から超音波を受信し、同時刻ｔ１にハイレベルの信号を出力している。また、受信機ｂ１０２は時刻ｔ２に発信機１０１から超音波を受信し、同時刻ｔ２にハイレベルの信号を出力している。また、受信機ｃ１０２は時刻ｔ３に発信機１０１から超音波を受信し、同時刻ｔ３にハイレベルの信号を出力している。受信機ｄ１０２は時刻ｔ４に発信機１０１から超音波を受信し、同時刻ｔ４にハイレベルの信号を出力している。受信機ａ〜ｄ１０２の全てからハイレベルの信号を受信した場合、処理はステップＳ４０２に移行する。一方、受信機ａ〜ｄのうちの何れかから未だハイレベルの信号を受信していない場合、受信するまで待機する。
【００２２】
ステップＳ４０２において、位置特定部１０３２は、受信機ａ〜ｄ１０２からハイレベルの信号を受信した時刻差や位相差に基づいて遊泳者の位置を特定する。なお、このような位置特定方法として、例えば特開２０００−９８０１９号公報、特開２００７−２６３３１号公報に開示される技術を適用することができる。ステップＳ４０３において、溺水判定部１０３３は、位置特定部１０３２により特定された遊泳者の位置が水の領域内であるか否かを判定する。溺水判定部１０３３は、管理サーバ１０３内に保持されている水の領域及び陸の領域等を含む地図情報を参照し、位置特定部１０３２により特定された遊泳者の位置が水の領域に該当するか否かを判定することにより、ステップＳ４０３の判定を行う。遊泳者の位置が水の領域内である場合、処理はステップＳ４０４に移行する。一方、遊泳者の位置が水の領域内ではない場合、処理はステップＳ４０５に移行する。
【００２３】
溺水判定部１０３３は、初めて遊泳者の位置が水の領域内であると判定した時点から現時点までの経過時間をタイマにより測定している。ステップＳ４０４においては、溺水判定部１０３３は、タイマによって計測されている時間が所定時間を経過したか否かを判定する。タイマの計測時間が所定時間を経過している場合、処理はステップＳ４０６に移行する。一方、タイマの計測時間が所定時間を経過していない場合、処理はステップＳ４０１に戻る。なお、遊泳者が陸の領域に戻ると、ステップＳ４０５において、溺水判定部１０３３は、タイマをリセットする。
【００２４】
ステップＳ４０６において、位置／警報情報送信部１０３４は、直前のステップＳ４０２において特定された遊泳者の位置を示す位置情報（遊泳者が溺水していると判定された時点に対応する遊泳者の位置を示す位置情報）と、遊泳者が溺水している疑いがあることを警報するための警報情報とをＨＭＤ１０４に対して送信する。
【００２５】
ステップＳ４０７において、ＨＭＤ１０４の位置／警報情報受信部１０４１は、管理サーバ１０３から上述した位置情報と警報情報とを受信する。ステップＳ４０８において、位置姿勢検知部１０４２は、ＨＭＤ１０４の位置と姿勢とを検知する。ステップＳ４０９において、提示部１０４３は、位置姿勢検知部１０４２により検知されたＨＭＤ１０４の位置及び姿勢に基づいて、ＨＭＤ１０４を装着する監視員が現実空間のどこを見ているかを推定する。そして提示部１０４３は、図６に示すように、監視員が見ていると推定される現実空間の映像中（ＨＭＤ１０４に実際に映し出されている映像中）において、遊泳者と重畳する位置又は遊泳者の近傍に警報情報のコンピュータグラフィックス画像データ６０１を合成表示する。
【００２６】
なお、本実施形態については、監視領域（例えば、プール）の固有のローカルな座標系で遊泳者の位置を計測する。例えば、監視領域を上から捉えた平面図に対して２次元の座標を設定し、上述した地図情報として、水の領域及び陸の領域を表す座標データを予め管理サーバ１０３に記憶させておく。これにより、遊泳者の位置を表す座標データと、予め管理サーバ１０３に記憶された水の領域および陸の領域を表す座標データとを比較することで、遊泳者が水の領域にいるのか、陸の領域にいるのかを特定することができる。
【００２７】
また、監視者の位置の特定は、遊泳者の位置の特定と同様、例えば、ＨＭＤ１０４にも超音波の発信機を備えておき、水面上に備えられた複数の受信機でＨＭＤ１０４の発信機からの超音波を受信し、そのときの時刻差や位相差に基づいて特定することができる。これにより、監視者と遊泳者との相対的な位置関係を特定することができ、ＨＭＤ１０４上の適切な位置に警報情報をＡＲ表示することが可能となる。
【００２８】
また、ＨＭＤ１０４にＧＰＳ機能を備えておくことで、監視者の位置を表す緯度、経度を捉えるとともに、遊泳者の位置を表すローカルの座標を緯度、経度に変換することで、監視者と遊泳者との相対的な位置関係を特定する構成とすることもできる。
【００２９】
なお、本実施形態の他の適用例として、遊泳者の遊泳時間の管理にも使用することも可能である。例えば、管理サーバ１０３がステップＳ４０１〜Ｓ４０４と同様の処理により、当該遊泳者の所定の利用時間以上プールに存在するかどうかを監視することができる。もし、所定の利用時間以上プールに存在するようであれば、管理サーバ１０３は、監視員が装着しているＨＭＤ１０４に対して、遊泳者の位置情報と利用時間を超過している旨の警報情報とを送信すれば、監視員は警報情報のＡＲ表示により当該遊技者を把握することができる。
【００３０】
第１の実施形態によれば、簡素な構成で、瞬時に溺れている疑いのある遊泳者を監視者が発見することが可能となる。
【００３１】
次に、本発明の第２の実施形態について説明する。以下では、第１の実施形態との相違点について説明する。第１の実施形態との相違点は、管理サーバ１０３の溺水判定部１０３３の機能にある。
【００３２】
第２の実施形態において、溺水判定部１０３３は、遊泳者がほぼ同じ場所に留まっている時間を計測し、計測時間が所定時間以上となった場合、遊泳者が溺水している疑いがあると判定する。遊泳者がほぼ同じ場所に留まっているかどうかは、例えば、溺水判定部１０３３は、位置特定部１０３２によって逐次特定される、水の領域内における遊泳者の位置の分散を算出し、算出した分散の値が所定の閾値以下である場合、ほぼ同じ場所に留まっていると判定する。つまり、遊泳者の位置は所定の時間間隔で計測されるため、管理サーバ１０３には各時刻における遊泳者の位置情報の履歴が格納されており、例えば遊泳者の位置を２次元座標で特定する構成の場合には、遊泳者のｘ座標やｙ座標の値の分散を算出することになる。そして、ｘ座標やｙ座標の値がばらつきが小さいということは、遊泳者が同じ位置に留まっていることを表しているということになる。管理サーバ１０３は、このように算出される分散の値が所定の閾値以下となっている状態が所定時間以上継続した場合、遊泳者の位置情報と警報情報とをＨＭＤ１０４に対して送信する。
【００３３】
また、遊泳者がほぼ同じ場所に留まっている時間ではなく、遊泳者の動きにランダム性がなくなり、単調な動きに変化してからの時間を計測してもよい。海においては、遊泳者の動きにランダム性があることは遊泳者が泳いでいる状態にあることが推測され、そこから単調な動きに変化することは潮流に流されている疑いがあることが推定されるためである。単調な動きが所定時間以上継続する場合、遊泳者が溺水している疑いもあるため、このようなときに、管理サーバ１０３は、遊泳者の位置情報と警報情報とをＨＭＤ１０４に対して送信するようにしてもよい。なお、遊泳者の動きにランダム性があるか、或いは遊泳者の動きが単調であるかを判定する際に、外部システムから潮流のデータを取得し、当時の潮流を加味して遊泳者の動きを判定するようにしてもよい。
【００３４】
なお、複数の遊泳者が同じ周波数の超音波を発信すると、各遊泳者の位置を検出することが困難となる。従って、異なる発信機間では、超音波の周波数を異ならせたり、超音波の発信タイミングを変えたり、異なる変調（Ｍ系列等の疑似乱数畳み込みを含む）を行う、等の方法を採用することにより、同時に複数の発信機を用いた場合でも、各遊泳者の位置を正確に検出することが可能となる。また、第１、第２の実施形態で説明した遊泳者の溺水判定方法の何れか一方のみを適用するだけでなく両方を同時に適用して遊泳者が溺れているかどうかを判定してもよい。
【００３５】
次に、本発明の第３の実施形態について説明する。以下では、第１又は第２の実施形態との相違点について説明する。第１又は第２の実施形態との相違点は、遊泳者の位置特定方法にある。
【００３６】
第３の実施形態においては、遊泳者を特定可能なＩＤを発信する無線タグを当該遊泳者に装着し、海やプールの周囲には、無線タグからＩＤを受信する複数のリーダ（無線受信機）を設置する。管理サーバ１０３は、複数のリーダからＩＤの受信時点や受信強度を受信し、複数のリーダ間におけるＩＤの受信時点の時間差やＩＤの受信強度の差に基づいて、遊泳者の位置を特定する。
【００３７】
また、例えばプールのレーンを区切る浮きの付いたロープ等に一定間隔で無線タグのリーダを取り付けておけば、無線タグの位置をプール上の格子位置で計測することが可能となる。即ち、管理サーバ１０３は、複数のリーダ間における無線タグからのＩＤの受信強度の大小関係等に基づいて位置や方向を絞り込むことで、該当するプール上の格子位置を判定し、それを遊泳者の位置として特定する。例えば、最も受信強度の大きかったリーダの位置を遊泳者の位置とする。
【００３８】
次に、本発明の第４の実施形態について説明する。以下では、第１又は第２の実施形態との相違点について説明する。第１又は第２の実施形態との相違点は、遊泳者の位置特定方法にある。
【００３９】
第４の実施形態においては、遊泳者にはＧＰＳ（Global Positioning System）端末が装着される。ＧＰＳ端末は、複数のＧＰＳ衛星から時刻データ等を含む信号を受信することにより遊泳者の位置情報（緯度、経度）を計測し、計測した位置情報を管理サーバ１０３に対して逐次送信する。そして、管理サーバ１０３は位置情報を受信し、遊泳者の位置を特定する。また、監視者についても、ＧＰＳ機能をＨＭＤ１０４に備えることで、同様に位置情報（緯度、経度）を計測するこができる。これにより、監視者と遊泳者との相対的な位置関係を特定することができ、ＨＭＤ１０４上の適切な位置に警報情報をＡＲ表示することが可能となる。
【００４０】
次に、本発明の第５の実施形態について説明する。以下では、第１又は第２の実施形態との相違点について説明する。第１又は第２の実施形態との相違点は、遊泳者の位置特定方法にある。
【００４１】
図７は、第５の実施形態に係るプール監視システムの構成を概略的に示す図である。第５の実施形態においては、遊泳者にはマーカとなるような目立つキャップ７０１を被せておく。各キャップ７０１は全て異なる模様で遊泳者を識別可能としている。例えばプールの屋根からプール全体を画角に捉えるようにカメラ７０２を配置し、管理サーバ１０３がカメラにより撮影された画像データを受信し、予め格納されている模様の画像データと照合する画像解析を行うことにより、遊泳者の位置を特定する。つまり、カメラの画角で捉えられる領域に対して予め座標が設定されており、管理サーバ１０３は、カメラ７０２によって撮像された画像の中から、予め管理サーバ１０３に格納されているキャップの模様を抽出すると、画像の中のキャップの位置を表す座標により、遊泳者の位置を特定することができる。これにより、他の実施形態と同様、溺水判定部１０３３は、遊泳者が溺水している疑いがあるか否かを判定することができる。
【００４２】
また、第５の実施形態では、遊泳者に被せているキャップ７０１を遊泳者の位置特定のためだけではなく、ＨＭＤ１０４において警報情報を合成表示する位置を特定するためにも使用することができる。即ち、管理サーバ１０３に予めキャップ７０１に関する情報を登録しておき、管理サーバ１０３が、遊泳者が溺水している疑いがあると判定すると、その遊泳者のキャップに関する情報に当該遊泳者が溺れていることを示すフラグを設定する。ＨＭＤ１０４は、所定の時間間隔で管理サーバ１０３に対して問い合わせを行い、フラグが設定されている情報が存在する場合には、該当するキャップ７０１をＨＭＤ１０４に装着されているカメラ７０３が捉えた場合、警報情報を当該キャップ７０１と整合する位置にＡＲ表示する。この場合、ＨＭＤ１０４（カメラ）側には、照合用の各キャップ７０１の画像データが予め準備されている必要がある。この場合、監視者と遊泳者との相対的な位置関係を特定することなく、ＨＭＤ１０４上の適切な位置に警報情報をＡＲ表示することが可能となる。つまり、監視者の位置座標を必ずしも特定する必要がない。
【００４３】
第４の実施形態については、遊泳者の位置が緯度、経度で得られるため、ＨＭＤ１０４を装着している監視者の位置についても緯度、経度で計測することにより、ＨＭＤ１０４上の適切な位置に警報情報をＡＲ表示することが可能である。
【００４４】
また、上述した実施形態では、プール監視システムの必須機能を管理サーバ１０３とＨＭＤ１０４とに分けているが、管理サーバ１０３の機能の一部又は全部をＨＭＤ１０４に備えるようにしてもよい。
【００４５】
上述した実施形態によれば、簡素な構成で、瞬時に溺れている疑いのある遊泳者を監視者が発見することが可能となる。なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００４６】
１０１：発信機、１０２：受信機、１０３：管理サーバ、１０４：ＨＭＤ、７０１：キャップ、７０２、７０３：カメラ
【技術分野】
【０００１】
本発明は、現実空間の映像とコンピュータグラフィックス画像データとを合成して提示させることが可能な技術に関するものである。
【背景技術】
【０００２】
海水浴場やプール等では、毎年のように水難事故が発生している。水難事故を防止するための対策としては、監視員やライフセーバ等を配置するということが行われている。また近年は、水難事故を防止するための種々の技術が提案されている。
【０００３】
例えば、特許文献１には、被監視者は沈水状態を検知可能な溺水センサを装着しており、沈水検知状態が所定時間継続した場合に、溺水状態にあることを監視者に対して、警告音、警報メッセージ、警報光、警報振動等により知らせる技術が開示されている。
【０００４】
また例えば、特許文献２には、使用者の口や鼻の近辺に水圧センサが配置され、ＧＰＳにより使用者の位置を常時監視するとともに、当該水圧センサが所定の基準水深より深い位置にある時間をタイマで計測し、使用者が溺れているか否かを判断し、溺れていると判定された場合には、光や音を発して緊急事態を知らせる技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１８４５７４号公報
【特許文献２】特開２００６−２３２１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１には、被監視者が溺水状態にあることが検知された場合、監視者の監視端末を介して、誰かが溺水状態にあることを知らせるための警報音、警報メッセージ、警報光、警報振動等の警報を発生させることが開示されている。しかしながら、この構成では、監視者は、あくまで誰かが溺れていることを知ることができるものの、どこで溺れているのかを瞬時に知ることができない。また、特許文献１には、被監視者が溺水状態にあることが検知された場合、被監視者の水泳帽等に取り付けられている溺水センサに備えられた警報発生手段から、警報音、警報メッセージ、警報光等を発生させることも開示されているが、溺水状態の被監視者の頭部が水中に浸かっている場合には、警報音や警報メッセージや警報光が必ずしも監視者に届くとは限らない。
【０００７】
また、特許文献２には、ＧＰＳ機能を有する監視装置によって、溺れた人の位置を表示させることが開示されている。しかしながら、この構成では、監視装置の表示部には、自己の位置との相対的な位置情報が表示されることになるため、この相対的な位置情報に基づいて、実際の海水浴場やプールにおける位置を見比べる必要があるため、やはり直ぐに溺れている人の位置を特定することはできない。
【０００８】
そこで、本発明の目的は、簡素な構成で、瞬時に溺れている疑いのある遊泳者を監視者が発見できるようにすることにある。
【課題を解決するための手段】
【０００９】
本発明の情報処理システムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置を有する情報処理システムであって、遊泳者の位置を特定する特定手段と、前記特定手段により特定される前記遊泳者の位置に基づいて、前記遊泳者の状態を判定する判定手段と、前記拡張現実感提示装置において、前記遊泳者の位置に対して整合する位置に、前記判定手段による判定結果に対応する情報を合成表示させる表示制御手段とを有することを特徴とする。
本発明の情報処理システムの制御方法は、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法であって、遊泳者の位置を特定する特定ステップと、前記特定ステップにより特定される前記遊泳者の位置に基づいて、前記遊泳者の状態を判定する判定ステップと、前記拡張現実感提示装置において、前記遊泳者の位置に対して整合する位置に、前記判定ステップによる判定結果に対応する情報を合成表示させる表示制御ステップとを有することを特徴とする。
本発明のプログラムは、現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法をコンピュータに実行させるためのプログラムであって、遊泳者の位置を特定する特定ステップと、前記特定ステップにより特定される前記遊泳者の位置に基づいて、前記遊泳者の状態を判定する判定ステップと、前記拡張現実感提示装置において、前記遊泳者の位置に対して整合する位置に、前記判定ステップによる判定結果に対応する情報を合成表示させる表示制御ステップとをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、簡素な構成で、瞬時に溺れている疑いのある遊泳者を監視者が発見することが可能となる。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１の実施形態に係るプール監視システムの構成を概略的に示す図である。
【図２】本発明の第１の実施形態における管理サーバとＨＭＤとの機能的な構成を示す図である。
【図３−１】本発明の第１の実施形態における管理サーバのハードウェア構成を示す図である。
【図３−２】本発明の第１の実施形態におけるＨＭＤのハードウェア構成を示す図である。
【図４】本発明の第１の実施形態に係るプール監視システムの処理を示すフローチャートである。
【図５】受信機から発信される信号を説明するための図である。
【図６】警報情報のＡＲ表示の例を示す図である。
【図７】本発明の第５の実施形態に係るプール監視システムの構成を概略的に示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１３】
先ず、本発明の第１の実施形態について説明する。図１は、本発明の第１の実施形態に係るプール監視システムの構成を概略的に示す図である。図１に示すように、本実施形態に係るプール監視システムは、遊泳者に装着される発信機１０１と、プールの周囲の水面上及び水面下に配置される、発信機１０１から発信された超音波を受信する受信機ａ〜ｄ１０２と、受信機１０２が発信機１０１からの超音波の受信に応じて送信する信号を解析し、遊泳者が溺れていないかどうかを判定する管理サーバ１０３と、監視員の頭部に装着され、現実空間の映像において溺れている遊泳者に対して整合する位置に警告を表すコンピュータグラフィックス画像データを合成表示する眼鏡型のＨＭＤ（Head Mounted Display）１０４とにより構成される。なお、図１においては、説明の簡単のため、遊泳者の一人だけ示しているが、同じプール内に遊泳者が何人いても構わない。この場合、各遊泳者に対して一つの発信機１０１が装着される。
【００１４】
上述したとおり、ＨＭＤ１０４は、現実空間の映像に対して整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を演出する。以下では、このように拡張された現実感を与えるコンピュータグラフィックス画像データの合成表示を、ＡＲ（Augmented Reality）表示と称することがある。なお、ＨＭＤ１０４には、非透過型、ビデオ透過型、光学透過型等の様々な方式があるが、どの方式のものを用いても構わない。また、以下で説明する実施形態においては、ＡＲ表示を行うデバイスであるＡＲ表示デバイスの例としてＨＭＤ１０４を挙げるが、これに限られない。例えば、カメラによって撮影された現実空間の映像を液晶ディスプレイ等に表示し、表示した現実空間の映像にコンピュータグラフィックス画像データを合成表示するような携帯端末型のデバイスであってもよい。或いは、光学的に透過して映し出される現実空間の映像にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のデバイスであってもよい。
【００１５】
また、現実空間の映像に整合させてコンピュータグラフィックス画像データを表示させる際に、現実空間の映像中におけるオブジェクト（例えば、遊泳者）とコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、本実施形態においては、ＨＭＤ１０４の位置（例えば、緯度、経度）と姿勢（例えば、方向、仰角）とを検知し、ＨＭＤ１０４を装着した監視員が現実空間のどこを見ているのかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成する。
【００１６】
図２は、第１の実施形態における管理サーバ１０３とＨＭＤ１０４との機能的な構成を示す図である。図２に示すように、管理サーバ１０３は、信号受信部１０３１、位置特定部１０３２、溺水判定部１０３３、及び、位置／警報情報送信部１０３４により構成される。信号受信部１０３１は、受信機ａ〜ｄ１０２から発信される信号を受信する。詳細は後述するが、受信機ａ〜ｄ１０２は、遊泳者が装着している発信機１０１から発信される超音波を受信すると、それぞれ受信したタイミングでハイレベルとなる波形の信号を管理サーバ１０３に対して送信する。信号受信部１０３１は、このように受信機ａ〜ｄ１０２から発信された信号を受信するものである。位置特定部１０３２は、信号受信部１０３１が各受信機ａ〜ｄ１０２から受信した信号に基づいて、遊泳者の位置を特定する。溺水判定部１０３３は、位置特定部１０３２により特定される遊泳者の位置が水の領域内である時間を計測することによって、遊泳者が水の中にいる時間、即ち遊泳者が陸に戻っていない時間を計測する。そして溺水判定部１０３３は、計測時間が所定の時間を超過する場合、当該遊泳者は溺水している疑いがあると判定する。位置／警報情報送信部１０３４は、溺水判定部１０３３により遊泳者が溺水している疑いがあると判定された場合、そのときの遊泳者の位置を示す位置情報と、溺水の疑いがあることを警報するための警報情報とをＨＭＤ１０４に対して送信する。なお、この警報情報は、予めＨＭＤ１０４側に保持されていてもよい。
【００１７】
ＨＭＤ１０４は、位置／警報情報受信部１０４１、位置姿勢検知部１０４２、及び、提示部１０４３により構成される。位置／警報情報受信部１０４１は、管理サーバ１０３から上述した位置情報と警報情報とを受信する。位置姿勢検知部１０４２は、ＨＭＤ１０４の位置（例えば、緯度、経度、あるいは、ローカルで定義された位置座標など）及び姿勢（例えば、方向、仰角）を検知する。提示部１０４３は、位置姿勢検知部１０４２により検知されたＨＭＤ１０４の位置及び姿勢に基づいて、ＨＭＤ１０４を装着する監視員が現実空間のどこを見ているかを推定し、監視員が見ていると推定される現実空間の映像、即ちＨＭＤ１０４に実際に映し出されている映像中において、遊泳者と重畳する位置又は遊泳者の近傍に警報情報を合成表示する。
【００１８】
図３−１は、本実施形態における管理サーバ１０３のハードウェア構成を示す図である。図３−１において、ＣＰＵ３０１１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ３０１２或いはＨＤＤ３０１３には、ＣＰＵ３０１１の制御プログラムであるオペレーティングシステム（ＯＳ）や、後述する各種機能を実現するためのプログラムが記憶されている。ＲＡＭ３０１３は、ＣＰＵ３０１１の主メモリ、ワークエリア、一時退避領域等として機能する。通信Ｉ／Ｆコントローラ３０１４は、ネットワークを介して外部機器（例えば、ＨＭＤ１０４や受信機ａ〜ｄ１０２）との通信制御処理を実行する。なお、ＨＤＤ３０１５の代替手段として、ＳＤＤ（Solid State Drive）を用いてもよい。
【００１９】
図３−２は、本実施形態におけるＨＭＤ１０４のハードウェア構成を示す図である。図３−２において、ＣＰＵ３０２１は、システムバスに接続される各デバイスやコントローラを統括的に制御する。ＲＯＭ３０２２には、ＣＰＵ３０２１の制御プログラムであるＯＳや、後述する各種機能を実現するためのプログラムが記憶されている。ＲＡＭ３０２３は、ＣＰＵ３０２１の主メモリ、ワークエリア、一時退避領域等として機能する。通信Ｉ／Ｆコントローラ３０２４は、ネットワークを介して外部機器（例えば、管理サーバ１０３）との通信制御処理を実行する。ディスプレイコントローラ３０２５は、ディスプレイ３０２６における画像表示を制御する。
【００２０】
なお、図２における信号受信部１０３１及び位置／警報情報送信部１０３４は、図３−１の通信Ｉ／Ｆコントローラ３０１４に対応する構成である。位置特定部１０３２及び溺水判定部１０３３は、図３−１のＣＰＵ３０１１及びＲＯＭ３０１２或いはＨＤＤ３０１５に格納されるプログラムに対応する構成である。また、図２における位置／警報情報受信部１０４１は、図３−２の通信Ｉ／Ｆコントローラ３０２４に対応する構成である。位置姿勢検知部１０４２は、図示していないジャイロセンサや加速度センサ、ＣＰＵ３０２１及びＲＯＭ３０２２に格納されるプログラムに対応する構成である。提示部１０４３は、ＣＰＵ３０２１、ＲＯＭ３０２２に格納されるプログラム、ディスプレイコントローラ３０２５、ディスプレイ３０２６に対応する構成である。
【００２１】
図４は、第１の実施形態に係るプール監視システムの処理を示すフローチャートである。ステップＳ４０１において、信号受信部１０３１は、受信機ａ〜ｄ１０２の全てからハイレベルの信号を受信したか否かを判定する。図５は、受信機ａ〜ｄ１０２から発信される信号を説明するための図である。受信機ａ〜ｄ１０２は、発信機１０１から発信される超音波を受信すると、そのタイミングでハイレベルの信号を出力する。図５の例では、受信機ａ１０２は時刻ｔ１に発信機１０１から超音波を受信し、同時刻ｔ１にハイレベルの信号を出力している。また、受信機ｂ１０２は時刻ｔ２に発信機１０１から超音波を受信し、同時刻ｔ２にハイレベルの信号を出力している。また、受信機ｃ１０２は時刻ｔ３に発信機１０１から超音波を受信し、同時刻ｔ３にハイレベルの信号を出力している。受信機ｄ１０２は時刻ｔ４に発信機１０１から超音波を受信し、同時刻ｔ４にハイレベルの信号を出力している。受信機ａ〜ｄ１０２の全てからハイレベルの信号を受信した場合、処理はステップＳ４０２に移行する。一方、受信機ａ〜ｄのうちの何れかから未だハイレベルの信号を受信していない場合、受信するまで待機する。
【００２２】
ステップＳ４０２において、位置特定部１０３２は、受信機ａ〜ｄ１０２からハイレベルの信号を受信した時刻差や位相差に基づいて遊泳者の位置を特定する。なお、このような位置特定方法として、例えば特開２０００−９８０１９号公報、特開２００７−２６３３１号公報に開示される技術を適用することができる。ステップＳ４０３において、溺水判定部１０３３は、位置特定部１０３２により特定された遊泳者の位置が水の領域内であるか否かを判定する。溺水判定部１０３３は、管理サーバ１０３内に保持されている水の領域及び陸の領域等を含む地図情報を参照し、位置特定部１０３２により特定された遊泳者の位置が水の領域に該当するか否かを判定することにより、ステップＳ４０３の判定を行う。遊泳者の位置が水の領域内である場合、処理はステップＳ４０４に移行する。一方、遊泳者の位置が水の領域内ではない場合、処理はステップＳ４０５に移行する。
【００２３】
溺水判定部１０３３は、初めて遊泳者の位置が水の領域内であると判定した時点から現時点までの経過時間をタイマにより測定している。ステップＳ４０４においては、溺水判定部１０３３は、タイマによって計測されている時間が所定時間を経過したか否かを判定する。タイマの計測時間が所定時間を経過している場合、処理はステップＳ４０６に移行する。一方、タイマの計測時間が所定時間を経過していない場合、処理はステップＳ４０１に戻る。なお、遊泳者が陸の領域に戻ると、ステップＳ４０５において、溺水判定部１０３３は、タイマをリセットする。
【００２４】
ステップＳ４０６において、位置／警報情報送信部１０３４は、直前のステップＳ４０２において特定された遊泳者の位置を示す位置情報（遊泳者が溺水していると判定された時点に対応する遊泳者の位置を示す位置情報）と、遊泳者が溺水している疑いがあることを警報するための警報情報とをＨＭＤ１０４に対して送信する。
【００２５】
ステップＳ４０７において、ＨＭＤ１０４の位置／警報情報受信部１０４１は、管理サーバ１０３から上述した位置情報と警報情報とを受信する。ステップＳ４０８において、位置姿勢検知部１０４２は、ＨＭＤ１０４の位置と姿勢とを検知する。ステップＳ４０９において、提示部１０４３は、位置姿勢検知部１０４２により検知されたＨＭＤ１０４の位置及び姿勢に基づいて、ＨＭＤ１０４を装着する監視員が現実空間のどこを見ているかを推定する。そして提示部１０４３は、図６に示すように、監視員が見ていると推定される現実空間の映像中（ＨＭＤ１０４に実際に映し出されている映像中）において、遊泳者と重畳する位置又は遊泳者の近傍に警報情報のコンピュータグラフィックス画像データ６０１を合成表示する。
【００２６】
なお、本実施形態については、監視領域（例えば、プール）の固有のローカルな座標系で遊泳者の位置を計測する。例えば、監視領域を上から捉えた平面図に対して２次元の座標を設定し、上述した地図情報として、水の領域及び陸の領域を表す座標データを予め管理サーバ１０３に記憶させておく。これにより、遊泳者の位置を表す座標データと、予め管理サーバ１０３に記憶された水の領域および陸の領域を表す座標データとを比較することで、遊泳者が水の領域にいるのか、陸の領域にいるのかを特定することができる。
【００２７】
また、監視者の位置の特定は、遊泳者の位置の特定と同様、例えば、ＨＭＤ１０４にも超音波の発信機を備えておき、水面上に備えられた複数の受信機でＨＭＤ１０４の発信機からの超音波を受信し、そのときの時刻差や位相差に基づいて特定することができる。これにより、監視者と遊泳者との相対的な位置関係を特定することができ、ＨＭＤ１０４上の適切な位置に警報情報をＡＲ表示することが可能となる。
【００２８】
また、ＨＭＤ１０４にＧＰＳ機能を備えておくことで、監視者の位置を表す緯度、経度を捉えるとともに、遊泳者の位置を表すローカルの座標を緯度、経度に変換することで、監視者と遊泳者との相対的な位置関係を特定する構成とすることもできる。
【００２９】
なお、本実施形態の他の適用例として、遊泳者の遊泳時間の管理にも使用することも可能である。例えば、管理サーバ１０３がステップＳ４０１〜Ｓ４０４と同様の処理により、当該遊泳者の所定の利用時間以上プールに存在するかどうかを監視することができる。もし、所定の利用時間以上プールに存在するようであれば、管理サーバ１０３は、監視員が装着しているＨＭＤ１０４に対して、遊泳者の位置情報と利用時間を超過している旨の警報情報とを送信すれば、監視員は警報情報のＡＲ表示により当該遊技者を把握することができる。
【００３０】
第１の実施形態によれば、簡素な構成で、瞬時に溺れている疑いのある遊泳者を監視者が発見することが可能となる。
【００３１】
次に、本発明の第２の実施形態について説明する。以下では、第１の実施形態との相違点について説明する。第１の実施形態との相違点は、管理サーバ１０３の溺水判定部１０３３の機能にある。
【００３２】
第２の実施形態において、溺水判定部１０３３は、遊泳者がほぼ同じ場所に留まっている時間を計測し、計測時間が所定時間以上となった場合、遊泳者が溺水している疑いがあると判定する。遊泳者がほぼ同じ場所に留まっているかどうかは、例えば、溺水判定部１０３３は、位置特定部１０３２によって逐次特定される、水の領域内における遊泳者の位置の分散を算出し、算出した分散の値が所定の閾値以下である場合、ほぼ同じ場所に留まっていると判定する。つまり、遊泳者の位置は所定の時間間隔で計測されるため、管理サーバ１０３には各時刻における遊泳者の位置情報の履歴が格納されており、例えば遊泳者の位置を２次元座標で特定する構成の場合には、遊泳者のｘ座標やｙ座標の値の分散を算出することになる。そして、ｘ座標やｙ座標の値がばらつきが小さいということは、遊泳者が同じ位置に留まっていることを表しているということになる。管理サーバ１０３は、このように算出される分散の値が所定の閾値以下となっている状態が所定時間以上継続した場合、遊泳者の位置情報と警報情報とをＨＭＤ１０４に対して送信する。
【００３３】
また、遊泳者がほぼ同じ場所に留まっている時間ではなく、遊泳者の動きにランダム性がなくなり、単調な動きに変化してからの時間を計測してもよい。海においては、遊泳者の動きにランダム性があることは遊泳者が泳いでいる状態にあることが推測され、そこから単調な動きに変化することは潮流に流されている疑いがあることが推定されるためである。単調な動きが所定時間以上継続する場合、遊泳者が溺水している疑いもあるため、このようなときに、管理サーバ１０３は、遊泳者の位置情報と警報情報とをＨＭＤ１０４に対して送信するようにしてもよい。なお、遊泳者の動きにランダム性があるか、或いは遊泳者の動きが単調であるかを判定する際に、外部システムから潮流のデータを取得し、当時の潮流を加味して遊泳者の動きを判定するようにしてもよい。
【００３４】
なお、複数の遊泳者が同じ周波数の超音波を発信すると、各遊泳者の位置を検出することが困難となる。従って、異なる発信機間では、超音波の周波数を異ならせたり、超音波の発信タイミングを変えたり、異なる変調（Ｍ系列等の疑似乱数畳み込みを含む）を行う、等の方法を採用することにより、同時に複数の発信機を用いた場合でも、各遊泳者の位置を正確に検出することが可能となる。また、第１、第２の実施形態で説明した遊泳者の溺水判定方法の何れか一方のみを適用するだけでなく両方を同時に適用して遊泳者が溺れているかどうかを判定してもよい。
【００３５】
次に、本発明の第３の実施形態について説明する。以下では、第１又は第２の実施形態との相違点について説明する。第１又は第２の実施形態との相違点は、遊泳者の位置特定方法にある。
【００３６】
第３の実施形態においては、遊泳者を特定可能なＩＤを発信する無線タグを当該遊泳者に装着し、海やプールの周囲には、無線タグからＩＤを受信する複数のリーダ（無線受信機）を設置する。管理サーバ１０３は、複数のリーダからＩＤの受信時点や受信強度を受信し、複数のリーダ間におけるＩＤの受信時点の時間差やＩＤの受信強度の差に基づいて、遊泳者の位置を特定する。
【００３７】
また、例えばプールのレーンを区切る浮きの付いたロープ等に一定間隔で無線タグのリーダを取り付けておけば、無線タグの位置をプール上の格子位置で計測することが可能となる。即ち、管理サーバ１０３は、複数のリーダ間における無線タグからのＩＤの受信強度の大小関係等に基づいて位置や方向を絞り込むことで、該当するプール上の格子位置を判定し、それを遊泳者の位置として特定する。例えば、最も受信強度の大きかったリーダの位置を遊泳者の位置とする。
【００３８】
次に、本発明の第４の実施形態について説明する。以下では、第１又は第２の実施形態との相違点について説明する。第１又は第２の実施形態との相違点は、遊泳者の位置特定方法にある。
【００３９】
第４の実施形態においては、遊泳者にはＧＰＳ（Global Positioning System）端末が装着される。ＧＰＳ端末は、複数のＧＰＳ衛星から時刻データ等を含む信号を受信することにより遊泳者の位置情報（緯度、経度）を計測し、計測した位置情報を管理サーバ１０３に対して逐次送信する。そして、管理サーバ１０３は位置情報を受信し、遊泳者の位置を特定する。また、監視者についても、ＧＰＳ機能をＨＭＤ１０４に備えることで、同様に位置情報（緯度、経度）を計測するこができる。これにより、監視者と遊泳者との相対的な位置関係を特定することができ、ＨＭＤ１０４上の適切な位置に警報情報をＡＲ表示することが可能となる。
【００４０】
次に、本発明の第５の実施形態について説明する。以下では、第１又は第２の実施形態との相違点について説明する。第１又は第２の実施形態との相違点は、遊泳者の位置特定方法にある。
【００４１】
図７は、第５の実施形態に係るプール監視システムの構成を概略的に示す図である。第５の実施形態においては、遊泳者にはマーカとなるような目立つキャップ７０１を被せておく。各キャップ７０１は全て異なる模様で遊泳者を識別可能としている。例えばプールの屋根からプール全体を画角に捉えるようにカメラ７０２を配置し、管理サーバ１０３がカメラにより撮影された画像データを受信し、予め格納されている模様の画像データと照合する画像解析を行うことにより、遊泳者の位置を特定する。つまり、カメラの画角で捉えられる領域に対して予め座標が設定されており、管理サーバ１０３は、カメラ７０２によって撮像された画像の中から、予め管理サーバ１０３に格納されているキャップの模様を抽出すると、画像の中のキャップの位置を表す座標により、遊泳者の位置を特定することができる。これにより、他の実施形態と同様、溺水判定部１０３３は、遊泳者が溺水している疑いがあるか否かを判定することができる。
【００４２】
また、第５の実施形態では、遊泳者に被せているキャップ７０１を遊泳者の位置特定のためだけではなく、ＨＭＤ１０４において警報情報を合成表示する位置を特定するためにも使用することができる。即ち、管理サーバ１０３に予めキャップ７０１に関する情報を登録しておき、管理サーバ１０３が、遊泳者が溺水している疑いがあると判定すると、その遊泳者のキャップに関する情報に当該遊泳者が溺れていることを示すフラグを設定する。ＨＭＤ１０４は、所定の時間間隔で管理サーバ１０３に対して問い合わせを行い、フラグが設定されている情報が存在する場合には、該当するキャップ７０１をＨＭＤ１０４に装着されているカメラ７０３が捉えた場合、警報情報を当該キャップ７０１と整合する位置にＡＲ表示する。この場合、ＨＭＤ１０４（カメラ）側には、照合用の各キャップ７０１の画像データが予め準備されている必要がある。この場合、監視者と遊泳者との相対的な位置関係を特定することなく、ＨＭＤ１０４上の適切な位置に警報情報をＡＲ表示することが可能となる。つまり、監視者の位置座標を必ずしも特定する必要がない。
【００４３】
第４の実施形態については、遊泳者の位置が緯度、経度で得られるため、ＨＭＤ１０４を装着している監視者の位置についても緯度、経度で計測することにより、ＨＭＤ１０４上の適切な位置に警報情報をＡＲ表示することが可能である。
【００４４】
また、上述した実施形態では、プール監視システムの必須機能を管理サーバ１０３とＨＭＤ１０４とに分けているが、管理サーバ１０３の機能の一部又は全部をＨＭＤ１０４に備えるようにしてもよい。
【００４５】
上述した実施形態によれば、簡素な構成で、瞬時に溺れている疑いのある遊泳者を監視者が発見することが可能となる。なお、本発明は、上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００４６】
１０１：発信機、１０２：受信機、１０３：管理サーバ、１０４：ＨＭＤ、７０１：キャップ、７０２、７０３：カメラ
【特許請求の範囲】
【請求項１】
現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置を有する情報処理システムであって、
遊泳者の位置を特定する特定手段と、
前記特定手段により特定される前記遊泳者の位置に基づいて、前記遊泳者の状態を判定する判定手段と、
前記拡張現実感提示装置において、前記遊泳者の位置に対して整合する位置に、前記判定手段による判定結果に対応する情報を合成表示させる表示制御手段とを有することを特徴とする情報処理システム。
【請求項２】
前記判定手段は、前記特定手段により特定される前記遊泳者の位置に基づいて、前記遊泳者が水の領域内に所定の時間以上継続して存在するか否かを判定し、その判定結果に応じて前記遊泳者の状態を判定することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記判定手段は、前記特定手段により特定される前記遊泳者の位置に基づいて、水の領域内における前記遊泳者の位置の分散を算出し、当該分散の値に応じて前記遊泳者の状態を判定することを特徴とする請求項１に記載の情報処理システム。
【請求項４】
前記特定手段は、撮像手段により撮影された前記遊泳者に装着されたマーカの画像データを取得し、前記画像データを解析することにより、前記遊泳者の位置を特定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理システム。
【請求項５】
現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法であって、
遊泳者の位置を特定する特定ステップと、
前記特定ステップにより特定される前記遊泳者の位置に基づいて、前記遊泳者の状態を判定する判定ステップと、
前記拡張現実感提示装置において、前記遊泳者の位置に対して整合する位置に、前記判定ステップによる判定結果に対応する情報を合成表示させる表示制御ステップとを有することを特徴とする情報処理システムの制御方法。
【請求項６】
現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法をコンピュータに実行させるためのプログラムであって、
遊泳者の位置を特定する特定ステップと、
前記特定ステップにより特定される前記遊泳者の位置に基づいて、前記遊泳者の状態を判定する判定ステップと、
前記拡張現実感提示装置において、前記遊泳者の位置に対して整合する位置に、前記判定ステップによる判定結果に対応する情報を合成表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。
【請求項１】
現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置を有する情報処理システムであって、
遊泳者の位置を特定する特定手段と、
前記特定手段により特定される前記遊泳者の位置に基づいて、前記遊泳者の状態を判定する判定手段と、
前記拡張現実感提示装置において、前記遊泳者の位置に対して整合する位置に、前記判定手段による判定結果に対応する情報を合成表示させる表示制御手段とを有することを特徴とする情報処理システム。
【請求項２】
前記判定手段は、前記特定手段により特定される前記遊泳者の位置に基づいて、前記遊泳者が水の領域内に所定の時間以上継続して存在するか否かを判定し、その判定結果に応じて前記遊泳者の状態を判定することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記判定手段は、前記特定手段により特定される前記遊泳者の位置に基づいて、水の領域内における前記遊泳者の位置の分散を算出し、当該分散の値に応じて前記遊泳者の状態を判定することを特徴とする請求項１に記載の情報処理システム。
【請求項４】
前記特定手段は、撮像手段により撮影された前記遊泳者に装着されたマーカの画像データを取得し、前記画像データを解析することにより、前記遊泳者の位置を特定することを特徴とする請求項１乃至３の何れか１項に記載の情報処理システム。
【請求項５】
現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法であって、
遊泳者の位置を特定する特定ステップと、
前記特定ステップにより特定される前記遊泳者の位置に基づいて、前記遊泳者の状態を判定する判定ステップと、
前記拡張現実感提示装置において、前記遊泳者の位置に対して整合する位置に、前記判定ステップによる判定結果に対応する情報を合成表示させる表示制御ステップとを有することを特徴とする情報処理システムの制御方法。
【請求項６】
現実空間の映像とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置を有する情報処理システムの制御方法をコンピュータに実行させるためのプログラムであって、
遊泳者の位置を特定する特定ステップと、
前記特定ステップにより特定される前記遊泳者の位置に基づいて、前記遊泳者の状態を判定する判定ステップと、
前記拡張現実感提示装置において、前記遊泳者の位置に対して整合する位置に、前記判定ステップによる判定結果に対応する情報を合成表示させる表示制御ステップとをコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３−１】
【図３−２】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３−１】
【図３−２】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１２８６８０（Ｐ２０１２−１２８６８０Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７９７３３（Ｐ２０１０−２７９７３３）
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００１９１０７６）新日鉄ソリューションズ株式会社 (136)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１５日（２０１０．１２．１５）
【出願人】（０００１９１０７６）新日鉄ソリューションズ株式会社 (136)
【Ｆターム（参考）】
[ Back to top ]