情報処理システム、情報処理方法及びプログラム
【課題】視界が悪いエリアであっても、リアルタイムの混雑状態を把握できるようにする。
【解決手段】スキー場管理サーバ３００は、複数の赤外線カメラ２００ａ、ｂ、ｄ〜ｈによって取得された各エリアの画像データに基づいて、エリア毎にスキーヤーの人口密度を解析する。スキー場管理サーバは、ゴーグル１００の位置及び姿勢に対応するエリアを判定し、そのエリアにおけるスキーヤーの人口密度を示す情報をゴーグル１００に対して送信する。ゴーグル１００は、スキーヤーの人口密度を示すコンピュータグラフィックス画像データを現実空間に合成させて表示する。
【解決手段】スキー場管理サーバ３００は、複数の赤外線カメラ２００ａ、ｂ、ｄ〜ｈによって取得された各エリアの画像データに基づいて、エリア毎にスキーヤーの人口密度を解析する。スキー場管理サーバは、ゴーグル１００の位置及び姿勢に対応するエリアを判定し、そのエリアにおけるスキーヤーの人口密度を示す情報をゴーグル１００に対して送信する。ゴーグル１００は、スキーヤーの人口密度を示すコンピュータグラフィックス画像データを現実空間に合成させて表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実空間とコンピュータグラフィックス画像データとを合成して重畳表示させて拡張現実感を提示する技術に関するものである。
【背景技術】
【０００２】
スキー場では、広大なエリア内でどこのコースを滑れば自分の技量に適しているか、或いは、どこのコース、どこのリフトが空いているか等を把握することが困難であった。特に天候の悪い降雪時や濃霧時にはコースを見失うこともあり、危険を伴う。
【０００３】
このような課題に対して、例えば非特許文献１には、カメラ付き携帯端末をスキー場のコース上でかざすとそのコースの案内をＡＲ（拡張現実感）で表示する技術が開示されている。これにより、ユーザは自分が滑っているコースについて難易度まで含めて知ることができる。また、非特許文献２には、ＧＰＳ（Global Positioning System）と小型の表示機とを備えたゴーグルが開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ｉＴｕｎｅｓ Ａｐｐ Ｓｔｏｒｅで見つかるｉＰｈｏｎｅ、ｉＰｏｄ ｔｏｕｃｈ、ｉＰａｄ対応ＲＥＡＬＳＫＩ、インターネット＜URL:http://itunes.apple.com/jp/app/realski/id341922362?mt=8＞
【非特許文献２】趣味のインターネット地図ウォッチ 第１０４回：ＧＰＳ搭載スノーゴーグル「Ｒｅｃｏｎ−Ｚｅａｌ Ｔｒａｎｓｃｅｎｄ ＧＰＳ」装着レポート、インターネット＜http://internet.watch.impress.co.jp/docs/column/chizu/20110217_427462.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１に開示される技術では、予めプログラムデータとして記憶されている情報を表示しているだけであり、どこのコース、どこのリフトが空いているかであるとか、コース内の特定場所に障害が発生している等のリアルタイムの状況把握はできない。例えば、コース内の死角になりやすい部分にけが人が倒れている等の状況は知ることはできず、危険を招くことになる。このような問題はスキー場に限らず、自転車のロードレース等、天候の影響を受けやすい場所で起こり得る。
【０００６】
そこで、本発明の目的は、視界が悪いエリアであっても、リアルタイムに混雑状態を把握できるようにすることにある。
【課題を解決するための手段】
【０００７】
本発明の情報処理システムは、現実空間とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、対象とするエリアに係る情報を逐次取得する複数の情報取得装置と、情報処理装置とを有する情報処理システムであって、前記情報処理装置は、前記複数の情報取得装置によって取得された各エリアに係る情報に基づいて、エリア毎に人又は物の密度を解析する解析手段と、前記拡張現実感提示装置の状態に対応するエリアを判定する判定手段と、前記拡張現実感提示装置の状態に対応するエリアにおける人又は物の密度を示す情報を前記拡張現実感提示装置に対して送信する送信手段とを有し、前記拡張現実感提示装置は、前記人又は物の密度を示すコンピュータグラフィックス画像データを現実空間に合成させて表示することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、視界が悪いエリアであっても、リアルタイムに混雑状態を把握することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るスキー場案内システムの構成を示す図である。
【図２Ａ】スキー場管理サーバのハードウェア構成を示す図である。
【図２Ｂ】ゴーグルのハードウェア構成を示す図である。
【図３】スキー場管理サーバの機能的な構成を示す図である。
【図４Ａ】スキー場管理サーバが赤外線カメラから画像データを入力し、エリア毎に人口密度の解析処理を実行して、それらの履歴を管理するまでの処理を示すフローチャートである。
【図４Ｂ】スキー場管理サーバが赤外線カメラから画像データを入力し、けが人多発エリアにおけるけが人の有無の判定処理を実行して、その履歴を管理するまでの処理を示すフローチャートである。
【図４Ｃ】ゴーグルがリクエストを発行し、スキー場管理サーバにおいて生成されたコンピュータグラフィックス画像データをＡＲ表示するまでの処理を示すフローチャートである。
【図５Ａ】ゴーグルを装着したスキーヤーが図１の地点Ａに位置する場合のＡＲ表示例を示す図である。
【図５Ｂ】ゴーグルを装着したスキーヤーが図１の地点Ｂに位置する場合のＡＲ表示例を示す図である。
【図５Ｃ】ゴーグルを装着したスキーヤーが図１の地点Ｃに位置する場合のＡＲ表示例を示す図である。
【図６】スキー場管理サーバにおいて保持されるユーザ情報管理テーブルの例を示す図である。
【図７】パトロール隊のゴーグルにおけるＡＲ表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１１】
図１は、本発明の実施形態に係るスキー場案内システムの構成を示す図である。図１に示すように、本実施形態に係るスキー場案内システムは、スキーヤーが装着するゴーグル１００と、赤外線カメラ２００ａ〜ｈと、スキー場管理サーバ３００とを備える。赤外線カメラ２００ａ、ｂ、ｄ〜ｈは、リフト乗り場４０１〜４０６においてリフトの順番待ちをしているスキーヤーの状況を撮影可能な場所に設置されている。赤外線カメラ２００ｃは、急カーブやジャンプ台等のけが人多発エリア４０７を撮影可能な場所に設置されている。赤外線カメラ２００ｈは、レストラン４０８内の混雑状況が撮影可能な場所に設置されている。なお、ゴーグル１００及び赤外線カメラ２００ａ〜ｈは夫々、スキー場管理サーバ３００と無線通信回線を介して接続されている。
【００１２】
ゴーグル１００は、フレームに装着されるディスプレイ上において現実空間に整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を提示することが可能なＨＭＤ（ヘッドマウントディスプレイ）である。以下では、このような拡張された現実感を与えるコンピュータグラフィックス画像データの表示を、ＡＲ（Augmented Reality）表示と称することがある。ＨＭＤには、非透過型、ビデオ透過型、光学透過型等の様々な方式があるが、本実施形態におけるゴーグル１００には何れの方式を採用してもよい。またＡＲ表示とは、これらの何れかの方式によってゴーグル１００のディスプレイに映し出される現実空間に対して整合する位置にコンピュータグラフィックス画像データを重畳表示させることである。例えば、光学透過型であれば、シースルーで見える現実空間に対してコンピュータグラフィックス画像データが重畳表示され、ビデオ透過型であれば、ビデオカメラで撮影された現実空間に対してコンピュータグラフィックス画像データが重畳表示される。
【００１３】
本実施形態においては、スキーヤーが装着するゴーグル型のＡＲ表示デバイスを例に挙げているが、本発明はこれに限定されない。即ち、ユーザが所持し、撮像部によって撮影された現実空間をディスプレイに表示し、表示された現実空間にコンピュータグラフィックス画像データを合成表示する携帯端末型のＡＲ表示デバイスに適用してもよい。さらに、スノーモービル、雪上車及び雪圧車等の運転席において視線方向に設置され、光学的に透過して映し出される現実空間にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスに適用してもよい。
【００１４】
また、現実空間に整合させてコンピュータグラフィックス画像データを表示させる際には、現実空間のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、ゴーグル１００の位置（緯度、経度）と姿勢（方向、仰角）とに基づいて、スキーヤーがディスプレイ越しに現実空間のどこを見ているのかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成してもよい。また、現実空間のオブジェクトにマーカを付けておき、そのマーカをゴーグル１００に装着された撮像部で撮影し、撮影された画像データから当該マーカの位置を検出し、検出した位置と整合するように、或いは、検出したマーカ位置を基準にして当該マーカからの相対的な位置にコンピュータグラフィックス画像データを合成してもよい。さらに、撮像部で捉えた現実空間の画像データを解析することにより現実空間のオブジェクトの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。
【００１５】
赤外線カメラ２００ａ〜ｈは、リフト乗り場４０１〜４０６、けが人多発エリア４０７及びレストラン４０８等、スキー場における所定のエリア毎に設置されている。赤外線カメラ２００ａ〜ｈは、所定のタイミングで撮影動作を行い、撮影した画像データをスキー場管理サーバ３００に対して逐次送信する。本発明においては、赤外線カメラ以外にも、可視光カメラを使用してもよいが、可視光カメラでは、天候によって鮮明に画像データを取得することができないことがあるため、赤外線カメラを使用した方が好適である。また、赤外線カメラや可視光カメラ以外にも、悪天候時でもスキーヤーを良好に検出することができる温度センサを各エリアに設置してもよい。
【００１６】
スキー場管理サーバ３００は、赤外線カメラや可視光カメラから送信される画像データに基づいて、各エリアのスキーヤーの人口密度を解析する。人口密度の解析方法としては、例えば、画像認識技術により画像データからスキーヤーを検出し、当該画像データの全画素数に対するスキーヤーの画像領域の画素数の割合を人口密度として算出する。また、温度センサにより生成されるサーモグラフィ（熱分布画像）を用いて人口密度を算出する場合には、サーモグラフィにおける所定の温度以上の領域をスキーヤーとして認識し、当該サーモグラフィの全画素数に対するスキーヤーの画像領域の画素数の割合を人口密度として算出する。その際、スキーヤー以外の元々存在する高温領域を差し引いて人口密度を算出することにより、より高い精度で人口密度を算出することができる。なお、図１に示すシステム構成は飽くまでも本発明の一適用例を示したものである。従って、赤外線カメラの数及び配置場所、スキーヤーが装着するゴーグルの数、並びに、スキー場管理サーバの数等は任意であってよい。
【００１７】
図２Ａは、スキー場管理サーバ３００のハードウェア構成を示す図である。ＣＰＵ３００１は、システムバスに接続される各デバイスを総括的に制御する。ＲＯＭ３００３又はＨＤ（ハードディスク）３００６には、ＣＰＵ３００１の制御プログラムであるＢＩＯＳ（Basic Input / Output system）やオペレーティングシステムプログラム、例えば図４Ａ及び図４Ｂに示す処理や、図４Ｃに示す処理のうちスキー場管理サーバ３００が実行する処理のプログラム等が記憶されている。
【００１８】
なお、図２Ａの例では、ＨＤ３００６はスキー場管理サーバ３００の内部に配置された構成としているが、他の実施形態としてＨＤ３００６に相当する構成がスキー場管理サーバ３００の外部に配置された構成としてもよい。また、例えば本実施形態に係る図４Ａ及び図４Ｂに示す処理や、図４Ｃに示す処理のうちスキー場管理サーバ３００が実行する処理を行うためのプログラムは、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録され、当該記録媒体から供給される構成としてもよいし、インターネット等の通信媒体を介して供給される構成としてもよい。
【００１９】
ＲＡＭ３００２は、ＣＰＵ３００１の主メモリ、ワークエリア等として機能する。ＨＤ３００６は、外部メモリとして機能する。具体的には各スキー場の三次元地図情報等を記憶している。ＣＰＵ３００１は、処理の実行に際して必要なプログラムをＲＡＭ３００２にロードして、プログラムを実行することで各種動作を実現するものである。ディスクコントローラ３００５は、ＨＤ３００６等の外部メモリへのアクセスを制御する。通信Ｉ／Ｆコントローラ３００４は、無線通信回線と接続し、外部との通信を制御する。
【００２０】
図２Ｂは、本実施形態に係るゴーグル１００のハードウェア構成を示す図である。ＣＰＵ１００１は、システムバスに接続される各デバイスを総括的に制御する。ＲＯＭ１００３には、例えば図４Ｃに示す処理のうちゴーグル１００が実行する処理のプログラム等が記憶されている。なお、図４Ｃに示す処理のうちゴーグル１００が実行する処理を実行するためのプログラムは、インターネット等の通信媒体を介して供給される構成としてもよい。
【００２１】
ＲＡＭ１００２は、ＣＰＵ１００１の主メモリ、ワークメモリ等して機能する。ＣＰＵ１００１は、処理の実行に際して必要なプログラム等をＲＡＭ１００２にロードして、プログラムを実行することで各種動作を実現するものである。通信Ｉ／Ｆコントローラ１００４は、無線通信回線と接続し、外部との通信を制御する。ディスプレイコントローラ１００６は、ディスプレイ１００７における画像表示を制御する。本実施形態においてディスプレイ１００７には、ゴーグル１００のフレームに搭載される小型ディスプレイを採用するものとする。更に、ゴーグル１００の位置や姿勢を検知するための位置センサと姿勢センサを備える。なお、上述の通り、ビデオ透過型のＡＲ表示を行う場合には、図示しないが撮影部も備える。
【００２２】
図３は、スキー場管理サーバ３００の機能的な構成を示す図である。図３において、画像データ入力部３０１は、赤外線カメラ２００ａ〜ｈによって撮影された各画像データを入力（受信）する。人口密度解析部３０２は、画像データ入力部３０１によって入力される、赤外線カメラ２００ａ、ｂ、ｄ〜ｈによって撮影された画像データに基づいて、エリア毎にスキーヤーの人口密度を解析する。即ち、人口密度解析部３０２は、赤外線カメラ２００ａ、ｂ、ｄ〜ｈによって撮影された各画像データに対して画像認識技術を用いることにより各エリアのスキーヤーを検出し、各エリアの画像データの全画素数に対するスキーヤーの画像領域の画素数の割合を人口密度として算出する。なお、人口密度解析部３０２は、所定時間間隔（例えば、１０分間隔）で人口密度を解析し、その履歴を人口密度管理テーブル３０４に登録する。
【００２３】
けが人識別部３０３は、画像データ入力部３０１によって入力される、赤外線カメラ２００ｃによって撮影された画像データに基づいて、けが人多発エリア４０７におけるけが人の有無を判定する。即ち、けが人識別部３０３は、赤外線カメラ２００ｃによって撮影された画像データに対して画像認識技術を用いることによりスキーヤーの動きを監視し、所定時間（例えば、１０分）以上動きが検出されないスキーヤーが存在する場合、当該スキーヤーをけが人として判定する。なお、けが人識別部３０３は、所定時間間隔（例えば、１０分間隔）でけが人の有無を判定し、その履歴をけが人管理テーブル３０５に登録する。
【００２４】
人口密度管理テーブル３０４は、人口密度解析部３０２によって解析された人口密度の履歴をエリア（ここでは、リフト乗り場やレストラン）毎に管理する。けが人管理テーブル３０５は、けが人識別部３０３によって判定されたけが人の有無の履歴をけが人多発エリア毎に管理する。
【００２５】
リクエスト受付部３０６は、スキーヤーが装着しているゴーグル１００から、当該ゴーグル１００の位置及び姿勢を含むリクエストを受け付ける。ユーザ視界判定部３０７は、リクエスト受付部３０６によって受け付けられたリクエストに含まれるゴーグル１００の位置及び姿勢に基づいて、当該ゴーグル１００を装着しているスキーヤーの視界を判定する。
【００２６】
第１のデータ抽出部３０８は、ユーザ視界判定部３０７によって判定された視界に含まれるエリアを判定し、判定したエリアに該当する人口密度の履歴のうち、最新の人口密度を人口密度管理テーブル３０４から抽出する。第２のデータ抽出部３０９は、ユーザ視界判定部３０７によって判定された視界に含まれるエリアを判定し、判定したエリアに該当するけが人の有無の履歴のうち、最新のけが人の有無をけが人管理テーブル３０５から抽出する。ＣＧ生成部３１０は、第１のデータ抽出部３０８によって抽出された最新の人口密度に基づいて、該当するエリアにおけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データを生成する。また、ＣＧ生成部３１０は、第２のデータ抽出部３０９によって抽出された情報（最新のけが人の有無）においてけが人が存在することが示されていた場合、該当するエリアにおいてけが人が存在することを示すコンピュータグラフィックス画像データを生成する。そしてＣＧ生成部３１０は、生成したコンピュータグラフィックス画像データを、リクエスト受付部３０６においてリクエストを受け付けたゴーグル１００に対して送信する。ゴーグル１００は、現実空間に整合させてコンピュータグラフィックス画像データをＡＲ表示する。
【００２７】
なお、図３におけるリクエスト受付部３０６及び画像データ入力部３０１は、図２Ａにおける通信Ｉ／Ｆコントローラ３００４に相当する構成である。また、図３におけるユーザ視界判定部３０７、人口密度解析部３０２、けが人識別部３０３、第１のデータ抽出部３０８、第２のデータ抽出部３０９及びＣＧ生成部３１０は、ＣＰＵ３００１がＨＤ３００６からプログラムをＲＡＭ３００２にロードして実行することにより実現される構成である。また、人口密度管理テーブル３０４及びけが人管理テーブル３０５は、ＲＡＭ３００２の一部記憶領域に相当する構成である。
【００２８】
次に、図４Ａ〜図４Ｃを参照しながら、スキー場管理サーバ３００の処理について説明する。図４Ａは、スキー場管理サーバ３００が赤外線カメラ２００ａ、ｂ、ｄ〜ｈから画像データを入力し、エリア毎に人口密度の解析処理を実行して、それらの履歴を管理するまでの処理を示すフローチャートである。
【００２９】
ステップＳ４０１において、画像データ入力部３０１は、赤外線カメラ２００ａ、ｂ、ｄ〜ｈからの何れかから画像データを入力（受信）したか否かを判定する。画像データを入力した場合、処理はステップＳ４０２に移行する。一方、画像データを入力していない場合、処理はステップＳ４０１に戻り、画像データの入力を待つ。
【００３０】
ステップＳ４０２において、人口密度解析部３０２は、画像データ入力部３０１において入力された画像データに基づいて、該当するエリアのスキーヤーの人口密度を解析する。ステップＳ４０３において、人口密度解析部３０２は、エリア及び人口密度の解析時刻と対応付けて人口密度の解析結果を人口密度管理テーブル３０４に登録する。なお、上述したステップＳ４０１〜Ｓ４０３は、繰り返し実行される処理である。
【００３１】
図４Ｂは、スキー場管理サーバ３００が赤外線カメラ２００ｃから画像データを入力し、けが人多発エリア４０７におけるけが人の有無の判定処理を実行して、その履歴を管理するまでの処理を示すフローチャートである。
【００３２】
ステップＳ４０４において、画像データ入力部３０１は、赤外線カメラ２００ｃから画像データを入力（受信）したか否かを判定する。画像データを入力した場合、処理はステップＳ４０５に移行する。一方、画像データを入力していない場合、処理はステップＳ４０４に戻り、画像データの入力を待つ。
【００３３】
ステップＳ４０５において、けが人識別部３０３は、画像データ入力部３０１において入力された画像データに基づいて、けが人多発エリア４０７におけるけが人の有無を判定する。ステップＳ４０６において、けが人識別部３０３は、けが人多発エリア４０７及びけが人有無の判定時刻と対応付けてけが人の有無に関する判定結果をけが人管理テーブル３０５に登録する。なお、上述したステップＳ４０４〜Ｓ４０６は、繰り返し実行される処理である。
【００３４】
図４Ｃは、ゴーグル１００がリクエストを発行し、スキー場管理サーバ３００において生成されたコンピュータグラフィックス画像データをＡＲ表示するまでの処理を示すフローチャートである。
【００３５】
ステップＳ４１０において、ゴーグル１００は、当該ゴーグル１００の位置及び姿勢を含むリクエストを発行する。ゴーグル１００でのリクエスト発行は、短時間に繰り返し行うことにより後述するＡＲでの重畳表示内容にリアルタイム性のある情報となる。但し、この場合は通信やゴーグル１００およびスキー場管理サーバ３００での情報処理負荷が高くなることもあるため、例えばスキーヤーが止まっているときにだけ発行してもよい。或いは、スキーヤーのスイッチ操作によってリクエストの発行を行ったり、重畳表示のＯＮ／ＯＦＦを切り替えたりしてもよい。スイッチはゴーグル１００に備えていてもよいし、スキーヤーが所持するストックやリフトチケット（カードやＩＣチップ媒体など）に備えていてもよい。ストック等にスイッチを備える場合、無線通信機能もストック等に組み込んでおき、ゴーグル１００との間では無線通信でスイッチ情報を送信することが好ましい。
【００３６】
ステップＳ４１１において、スキー場管理サーバ３００のリクエスト受付部３０６は、ゴーグル１００からリクエストを受け付ける。ステップＳ４１２は、スキー場管理サーバ３００のユーザ視界判定部３０７は、リクエストに含まれる位置及び姿勢に基づいて、当該ゴーグル１００を装着するスキーヤーの視界を判定する。次に処理はステップＳ４１３及びＳ４１５の双方に移行する。以下、ステップＳ４１３及びＳ４１５を個別に説明するが、これはどちらか単独で処理してもよく、或いは並列処理で同時に行ってもよい。
【００３７】
ステップＳ４１３において、第１のデータ抽出部３０８は、ユーザ視界判定部３０７によって判定された視界に含まれるエリアを判定し、判定したエリアに該当する人口密度の履歴のうち、最新の人口密度を人口密度管理テーブル３０４から抽出する。ステップＳ４１４において、ＣＧ生成部３１０は、第１のデータ抽出部３０８によって抽出された最新の人口密度に基づいて、該当するエリアにおけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データを生成する。
【００３８】
また、ステップＳ４１５において、第２のデータ抽出部３０９は、ユーザ視界判定部３０７によって判定された視界に含まれるエリアを判定し、判定したエリアに該当するけが人の有無の履歴のうち、最新のけが人の有無をけが人管理テーブル３０５から抽出する。ステップＳ４１６において、ＣＧ生成部３１０は、第２のデータ抽出部３０９によって抽出された情報においてけが人が存在することが示されているか否かを判定する。けが人が存在することが示されている場合、処理はステップＳ４１７に移行する。一方、けが人が存在することが示されていない場合、処理はステップＳ４１７をスキップしてステップＳ４１８に移行する。ステップＳ４１７において、ＣＧ生成部３１０は、けが人が存在することを示すコンピュータグラフィックス画像データを生成する。
【００３９】
ステップＳ４１８において、ＣＧ生成部３１０は、ステップＳ４１４で生成したコンピュータグラフィックス画像データ、又は、ステップＳ４１４及びＳ４１７で生成したコンピュータグラフィックス画像データをゴーグル１００に対して送信する。ステップＳ４１９において、ゴーグル１００は、スキー場管理サーバ３００からコンピュータグラフィックス画像データを受信する。ステップＳ４２０において、ゴーグル１００は、受信したコンピュータグラフィックス画像データをＡＲ表示する。本実施形態では、コンピュータグラフィックス画像データをスキー場管理サーバ３００側で生成するようにしているが、必要な情報をスキー場管理サーバ３００からゴーグル１００に与え、ゴーグル１００側でコンピュータグラフィックス画像データを生成するようにしてもよい。
【００４０】
図５Ａ〜図５Ｃは、ゴーグル１００におけるＡＲ表示例を示す図である。より具体的には、図５Ａは、ゴーグル１００を装着したスキーヤーが図１の地点Ａに位置する場合のＡＲ表示例を示している。図５Ｂは、ゴーグル１００を装着したスキーヤーが図１の地点Ｂに位置する場合のＡＲ表示例を示している。図５Ｃは、ゴーグル１００を装着したスキーヤーが図１の地点Ｃに位置する場合のＡＲ表示例を示している。
【００４１】
図１に示すように、ゴーグル１００を装着したスキーヤーが地点Ａに存在する場合、当該スキーヤーの視線方向（滑走方向）の右手にはリフト乗り場４０１が見え、左手にはリフト乗り場４０２が見える。スキー場管理サーバ３００は、スキーヤーが地点Ａに存在するときにゴーグル１００から発行されたリクエスト（位置、傾き含む）に基づいて、スキーヤーの視界にリフト乗り場４０１、４０２が含まれていると判定する。そしてスキー場管理サーバ３００は、リフト乗り場４０１、４０２のエリアに対応する最新の人口密度を取得し、リフト乗り場４０１、４０２におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データを生成する。生成されたコンピュータグラフィックス画像データはスキー場管理サーバ３００からゴーグル１００に対して送信される。すると、図５Ａに示すように、ゴーグル１００は、リフト乗り場４０１におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データ５０２と、リフト乗り場４０２におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データ５０１とをＡＲ表示する。
【００４２】
図５Ａに示すように、ゴーグル１００では、コンピュータグラフィックス画像データ５０１、５０２が夫々、現実空間に整合する位置に合成表示されるので、スキーヤーの視線方向の右手にリフト乗り場４０１の人口密度を示すコンピュータグラフィックス画像データ５０２が表示され、スキーヤーの視線方向の左手にリフト乗り場４０２の人口密度を示すコンピュータグラフィックス画像データ５０１が表示される。なお、図５Ａの例では、人口密度を示すコンピュータグラフィックス画像データにおいて「空き状態」や「混雑中」という情報を提示しているが、画像データの全画素数に対するスキーヤーの画像領域の割合が所定の値（例えば、５０％）以上である場合に「混雑中」を表すコンピュータグラフィックス画像データを生成し、そうでない場合に「空き状態」を表すコンピュータグラフィックス画像データを生成している。また、ゴーグル１００からのリクエストには当該ゴーグル１００の位置が含まれているため、ゴーグル１００の位置から各リフト乗り場４０１、４０２までの距離や方向を表す情報をコンピュータグラフィックス画像データにおいて提示している。これにより、各エリアにおける人又は物の密度をリアルタイムに提示することが可能となり、視界が悪くても、スキーヤーは各エリアの混雑状況を把握することが可能となる。
【００４３】
また、図１に示すように、ゴーグル１００を装着したスキーヤーが地点Ｂに存在する場合、当該スキーヤーの視線方向（滑走方向）の右手にはリフト乗り場４０３が見え、左手にはけが人多発エリア４０７が見える。スキー場管理サーバ３００は、スキーヤーが地点Ｂに存在するときにゴーグル１００から発行されたリクエスト（位置、傾き含む）に基づいて、スキーヤーの視界にリフト乗り場４０３、けが人多発エリア４０７が含まれていると判定する。そしてスキー場管理サーバ３００は、リフト乗り場４０３に対応する最新の人口密度とけが人多発エリア４０７に対応する最新のけが人の有無とを取得する。ここでは、けが人多発エリア４０７に対応する最新のけが人の有無には、けが人が存在することが示されているものとする。スキー場管理サーバ３００は、リフト乗り場４０３におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データ５０４を生成するとともに、けが人多発エリア４０７にけが人が存在することを示すコンピュータグラフィックス画像データ５０３を生成する。生成されたコンピュータグラフィックス画像データはスキー場管理サーバ３００からゴーグル１００に対して送信される。すると、図５Ｂに示すように、ゴーグル１００は、リフト乗り場４０３におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データ５０４と、けが人多発エリア４０７にけが人が存在していることを示すコンピュータグラフィックス画像データ５０３とをＡＲ表示する。
【００４４】
図５Ｂに示すように、ゴーグル１００では、コンピュータグラフィックス画像データ５０３、５０４が夫々、現実空間に整合する位置に合成表示されるので、スキーヤーの視線方向の右手にリフト乗り場４０３の人口密度を示すコンピュータグラフィックス画像データ５０４が表示され、スキーヤーの視線方向の左手にけが人の存在を示すコンピュータグラフィックス画像データ５０４が表示される。なお、図５Ｂの例においても、ゴーグル１００の位置からリフト乗り場４０３、けが人多発エリア４０７までの距離や方向を表す情報がコンピュータグラフィックス画像データにおいて提示されている。これにより、視界が悪くても、けが人多発エリアにおいてけが人が発生しているか否かをスキーヤーは把握することが可能となる。
【００４５】
また、図１に示すように、ゴーグル１００を装着したスキーヤーが地点Ｃに存在する場合、当該スキーヤーの視線方向（滑走方向）の正面にはレストラン４０８が見える。スキー場管理サーバ３００は、スキーヤーが地点Ｃに存在するときにゴーグル１００から発行されるリクエスト（位置、傾き含む）に基づいて、スキーヤーの視界にレストラン４０８が含まれていると判定する。そしてスキー場管理サーバ３００は、レストラン４０８に対応する最新の人口密度を取得し、レストラン４０８におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データ５０５を生成する。生成されたコンピュータグラフィックス画像データ５０５はスキー場管理サーバ３００からゴーグル１００に対して送信される。すると、図５Ｃに示すように、ゴーグル１００では、レストラン４０８におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データ５０５がＡＲ表示されるので、スキーヤーの視線方向の正面にレストラン４０８に対応する最新の人口密度を示すコンピュータグラフィックス画像データ５０５がＡＲ表示される。
【００４６】
上述した実施形態においては、ゴーグル１００を装着したスキーヤーの視界に含まれるエリアについてのみ、人口密度やけが人の存在に関する情報を含むコンピュータグラフィックス画像データを生成し、ＡＲ表示しているが、本発明はこれに限定されない。即ち、ゴーグル１００を装着したスキーヤーの視界に間接的に関連するエリア（例えば、スキーヤーから直接見ることはできないエリアであるが、スキーヤーが滑走する可能性のあるエリア）のリフト乗り場やけが人多発エリアに関するコンピュータグラフィックス画像データを生成し、ＡＲ表示してもよい。また、リフト乗り場やレストランだけではなく、コースについても人口密度を示すコンピュータグラフィックス画像データを生成するようにしてもよい。また、これはスキーヤーなどの人間だけを検知対象にする必要はなく、例えば、滑走エリアの積雪が少なく地面が露出している場所を検知して「この先積雪不足」などのＡＲ表示を行ってもよい。この場合も雪面と地面（草地や表土）とを画像処理により判別したり、或いは赤外線カメラや温度センサによる温度の差異を検知することを利用すればよい。さらに、人口密度管理テーブル３０４では人口密度の履歴を管理しており、けが人管理テーブル３０５ではけが人の有無の履歴を管理しているため、ゴーグル１００において、それらの履歴に基づく情報を含むコンピュータグラフィックス画像データをＡＲ表示するようにしてもよい。例えば、現時点から３０分前までの人口密度の履歴をＡＲ表示することにより、スキーヤーは最近の人口密度の推移状況を把握することが可能となり、将来の人口密度の予測に役立てることができる。また、現時点から３０分前までのけが人の有無の履歴をＡＲ表示することにより、スキーヤーはどれぐらい前からけが人が発生していたのかを把握することが可能となる。
【００４７】
次に、本発明の他の実施形態について説明する。本実施形態に係るスキー場案内システムは、上述した実施形態に係るスキー場案内システム構成に加え、スキーヤーが所持するリフト券に搭載されたＩＤ発信機と、スキー場の各地点に設置され、ＩＤ発信機から発信されるＩＤ（ユーザ識別情報）を受信するＩＤ受信機とを備える。スキーヤーはけがを負う等の緊急事態時にリフト券のＩＤ発信機を操作し、ＩＤを発信させる。ＩＤ発信機から発信されたＩＤは、最寄りのＩＤ受信機によって受信される。ＩＤ受信機は、ＩＤとともに当該ＩＤ受信機の位置情報を図１のスキー場管理サーバ３００に送信する。スキー場管理サーバ３００は、ＩＤ及びＩＤ受信機の位置情報を受信すると、当該ＩＤに対応するユーザ情報を検索する。
【００４８】
図６は、スキー場管理サーバ３００において保持されるユーザ情報管理テーブルの例を示す図である。図６に示すように、ユーザ情報管理テーブルでは、ＩＤ毎にユーザ情報（名前、性別、体重、身長、スキーウェアの色）が管理されている。なお、ユーザ情報はここに挙げた情報だけではなく、任意の情報を追加してもよい。スキー場管理サーバ３００は、ＩＤを受信すると、当該ＩＤに対応付けて管理されるユーザ情報をユーザ情報管理テーブルから取得する。そしてスキー場管理サーバ３００は、緊急事態が発生した旨と取得したユーザ情報とＩＤ受信機の位置情報とを示すコンピュータグラフィックス画像データを生成し、パトロール隊のゴーグル１００に対して送信する。すると、パトロール隊のゴーグル１００は、スキー場管理サーバ３００から受信したコンピュータグラフィックス画像データをＡＲ表示する。
【００４９】
図７は、上記のようにして受信したコンピュータグラフィックス画像データをパトロール隊のゴーグル１００がＡＲ表示した例を示す図である。図７に示すように、スキーヤーの位置としてのＩＤ受信機の位置（２００ｍ先）と、緊急事態が発生した旨（ＳＯＳ発生！！）と、ユーザ情報（ＩＤ、名前、性別、体重、身長、スキーウェアの色）とを示すコンピュータグラフィックス画像データをＡＲ表示する。このようにパトロール隊に対してＩＤ受信機の位置とけが人のユーザ情報とを通知することができるため、けが人の位置及びけが人の属性を把握することが可能となり、けが人を早急に救助することができる。また、スキー場のコース等の各エリアの人口密度を併せてＡＲ表示することによって、救助の際、人口密度が低いコースを選択してスノーモービルで救助に向かうことが可能になる。
【００５０】
本実施形態では、各スキーヤーにＩＤ発信機を所持させるようにしているが、その他の実施形態としてＧＰＳ携帯端末を所持させるようにしてもよい。ＧＰＳ携帯端末からスキーヤーのＩＤと、スキーヤーの位置を示す情報としての当該ＧＰＳ携帯端末の位置を示す情報とをスキー場管理サーバ３００に対して送信することにより、より正確にスキーヤーの位置をパトロール隊に通知することが可能となる。またこの場合、ＩＤを中継するためのＩＤ受信機をスキー場に設置する必要がなくなる。
【００５１】
以上では、視界が悪い環境の例としてスキー場を挙げたが、これ以外にも、例えば、自転車のロードレースにおいても天候の影響で視界不良となるケースが多く、ロードレースの各選手にも上述したようなゴーグルを装着させることにより、レース中に人口密度やけが人の有無等に関する情報を把握することが可能となる。また、サッカー観戦の際、試合会場の入り口付近からでは試合会場内の観戦席の空き状況を把握することができないため、一旦入り口から階段を昇って実際に観戦席を見てどの辺が空いているのか判断することがある。しかしながら、試合会場の入り口付近で上述したようなＡＲ表示を利用することにより、実際に観戦席が見えるところまで足を運ばなくても、どの辺の観戦席が空いているかを把握することが可能となる。
【００５２】
また、上述した実施形態では、各エリアの人口密度をＡＲ表示しているが、人口密度に限らず、同様に各エリアにおける自動車等の物の密度を解析し、ＡＲ表示してもよい。
なお、上述したように、重畳表示はスキーヤー（ユーザ）のスイッチ操作によって表示／非表示を切り替えられるものであるが、手の操作による切り替えだけでなく、ゴーグルの姿勢センサを利用して特定の動作をスイッチ機能として利用してもよい。例えば二度頷く動作で表示／非表示を切り替えてもよい。
【符号の説明】
【００５３】
１００：ゴーグル（スキーヤーが保持する拡張現実感提示装置）、２００ａ〜２００ｈ：赤外線カメラ、３００：スキー場管理サーバ、４０１〜４０６：リフト乗り場、４０７：けが人多発エリア、４０８：レストラン
【技術分野】
【０００１】
本発明は、現実空間とコンピュータグラフィックス画像データとを合成して重畳表示させて拡張現実感を提示する技術に関するものである。
【背景技術】
【０００２】
スキー場では、広大なエリア内でどこのコースを滑れば自分の技量に適しているか、或いは、どこのコース、どこのリフトが空いているか等を把握することが困難であった。特に天候の悪い降雪時や濃霧時にはコースを見失うこともあり、危険を伴う。
【０００３】
このような課題に対して、例えば非特許文献１には、カメラ付き携帯端末をスキー場のコース上でかざすとそのコースの案内をＡＲ（拡張現実感）で表示する技術が開示されている。これにより、ユーザは自分が滑っているコースについて難易度まで含めて知ることができる。また、非特許文献２には、ＧＰＳ（Global Positioning System）と小型の表示機とを備えたゴーグルが開示されている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】ｉＴｕｎｅｓ Ａｐｐ Ｓｔｏｒｅで見つかるｉＰｈｏｎｅ、ｉＰｏｄ ｔｏｕｃｈ、ｉＰａｄ対応ＲＥＡＬＳＫＩ、インターネット＜URL:http://itunes.apple.com/jp/app/realski/id341922362?mt=8＞
【非特許文献２】趣味のインターネット地図ウォッチ 第１０４回：ＧＰＳ搭載スノーゴーグル「Ｒｅｃｏｎ−Ｚｅａｌ Ｔｒａｎｓｃｅｎｄ ＧＰＳ」装着レポート、インターネット＜http://internet.watch.impress.co.jp/docs/column/chizu/20110217_427462.html＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、非特許文献１に開示される技術では、予めプログラムデータとして記憶されている情報を表示しているだけであり、どこのコース、どこのリフトが空いているかであるとか、コース内の特定場所に障害が発生している等のリアルタイムの状況把握はできない。例えば、コース内の死角になりやすい部分にけが人が倒れている等の状況は知ることはできず、危険を招くことになる。このような問題はスキー場に限らず、自転車のロードレース等、天候の影響を受けやすい場所で起こり得る。
【０００６】
そこで、本発明の目的は、視界が悪いエリアであっても、リアルタイムに混雑状態を把握できるようにすることにある。
【課題を解決するための手段】
【０００７】
本発明の情報処理システムは、現実空間とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、対象とするエリアに係る情報を逐次取得する複数の情報取得装置と、情報処理装置とを有する情報処理システムであって、前記情報処理装置は、前記複数の情報取得装置によって取得された各エリアに係る情報に基づいて、エリア毎に人又は物の密度を解析する解析手段と、前記拡張現実感提示装置の状態に対応するエリアを判定する判定手段と、前記拡張現実感提示装置の状態に対応するエリアにおける人又は物の密度を示す情報を前記拡張現実感提示装置に対して送信する送信手段とを有し、前記拡張現実感提示装置は、前記人又は物の密度を示すコンピュータグラフィックス画像データを現実空間に合成させて表示することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、視界が悪いエリアであっても、リアルタイムに混雑状態を把握することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施形態に係るスキー場案内システムの構成を示す図である。
【図２Ａ】スキー場管理サーバのハードウェア構成を示す図である。
【図２Ｂ】ゴーグルのハードウェア構成を示す図である。
【図３】スキー場管理サーバの機能的な構成を示す図である。
【図４Ａ】スキー場管理サーバが赤外線カメラから画像データを入力し、エリア毎に人口密度の解析処理を実行して、それらの履歴を管理するまでの処理を示すフローチャートである。
【図４Ｂ】スキー場管理サーバが赤外線カメラから画像データを入力し、けが人多発エリアにおけるけが人の有無の判定処理を実行して、その履歴を管理するまでの処理を示すフローチャートである。
【図４Ｃ】ゴーグルがリクエストを発行し、スキー場管理サーバにおいて生成されたコンピュータグラフィックス画像データをＡＲ表示するまでの処理を示すフローチャートである。
【図５Ａ】ゴーグルを装着したスキーヤーが図１の地点Ａに位置する場合のＡＲ表示例を示す図である。
【図５Ｂ】ゴーグルを装着したスキーヤーが図１の地点Ｂに位置する場合のＡＲ表示例を示す図である。
【図５Ｃ】ゴーグルを装着したスキーヤーが図１の地点Ｃに位置する場合のＡＲ表示例を示す図である。
【図６】スキー場管理サーバにおいて保持されるユーザ情報管理テーブルの例を示す図である。
【図７】パトロール隊のゴーグルにおけるＡＲ表示例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の好適な実施形態を、添付図面を参照しながら詳細に説明する。
【００１１】
図１は、本発明の実施形態に係るスキー場案内システムの構成を示す図である。図１に示すように、本実施形態に係るスキー場案内システムは、スキーヤーが装着するゴーグル１００と、赤外線カメラ２００ａ〜ｈと、スキー場管理サーバ３００とを備える。赤外線カメラ２００ａ、ｂ、ｄ〜ｈは、リフト乗り場４０１〜４０６においてリフトの順番待ちをしているスキーヤーの状況を撮影可能な場所に設置されている。赤外線カメラ２００ｃは、急カーブやジャンプ台等のけが人多発エリア４０７を撮影可能な場所に設置されている。赤外線カメラ２００ｈは、レストラン４０８内の混雑状況が撮影可能な場所に設置されている。なお、ゴーグル１００及び赤外線カメラ２００ａ〜ｈは夫々、スキー場管理サーバ３００と無線通信回線を介して接続されている。
【００１２】
ゴーグル１００は、フレームに装着されるディスプレイ上において現実空間に整合する位置にコンピュータグラフィックス画像データを表示することにより、拡張された現実感を提示することが可能なＨＭＤ（ヘッドマウントディスプレイ）である。以下では、このような拡張された現実感を与えるコンピュータグラフィックス画像データの表示を、ＡＲ（Augmented Reality）表示と称することがある。ＨＭＤには、非透過型、ビデオ透過型、光学透過型等の様々な方式があるが、本実施形態におけるゴーグル１００には何れの方式を採用してもよい。またＡＲ表示とは、これらの何れかの方式によってゴーグル１００のディスプレイに映し出される現実空間に対して整合する位置にコンピュータグラフィックス画像データを重畳表示させることである。例えば、光学透過型であれば、シースルーで見える現実空間に対してコンピュータグラフィックス画像データが重畳表示され、ビデオ透過型であれば、ビデオカメラで撮影された現実空間に対してコンピュータグラフィックス画像データが重畳表示される。
【００１３】
本実施形態においては、スキーヤーが装着するゴーグル型のＡＲ表示デバイスを例に挙げているが、本発明はこれに限定されない。即ち、ユーザが所持し、撮像部によって撮影された現実空間をディスプレイに表示し、表示された現実空間にコンピュータグラフィックス画像データを合成表示する携帯端末型のＡＲ表示デバイスに適用してもよい。さらに、スノーモービル、雪上車及び雪圧車等の運転席において視線方向に設置され、光学的に透過して映し出される現実空間にコンピュータグラフィックス画像データを合成表示するようなヘッドアップディスプレイ型のＡＲ表示デバイスに適用してもよい。
【００１４】
また、現実空間に整合させてコンピュータグラフィックス画像データを表示させる際には、現実空間のオブジェクトとコンピュータグラフィックス画像データとの座標合わせが行われる。座標合わせの手法としては、ゴーグル１００の位置（緯度、経度）と姿勢（方向、仰角）とに基づいて、スキーヤーがディスプレイ越しに現実空間のどこを見ているのかを推定し、推定した位置に整合するようにコンピュータグラフィックス画像データを合成してもよい。また、現実空間のオブジェクトにマーカを付けておき、そのマーカをゴーグル１００に装着された撮像部で撮影し、撮影された画像データから当該マーカの位置を検出し、検出した位置と整合するように、或いは、検出したマーカ位置を基準にして当該マーカからの相対的な位置にコンピュータグラフィックス画像データを合成してもよい。さらに、撮像部で捉えた現実空間の画像データを解析することにより現実空間のオブジェクトの位置を検出し、検出した位置と整合するようにコンピュータグラフィックス画像データを合成してもよい。
【００１５】
赤外線カメラ２００ａ〜ｈは、リフト乗り場４０１〜４０６、けが人多発エリア４０７及びレストラン４０８等、スキー場における所定のエリア毎に設置されている。赤外線カメラ２００ａ〜ｈは、所定のタイミングで撮影動作を行い、撮影した画像データをスキー場管理サーバ３００に対して逐次送信する。本発明においては、赤外線カメラ以外にも、可視光カメラを使用してもよいが、可視光カメラでは、天候によって鮮明に画像データを取得することができないことがあるため、赤外線カメラを使用した方が好適である。また、赤外線カメラや可視光カメラ以外にも、悪天候時でもスキーヤーを良好に検出することができる温度センサを各エリアに設置してもよい。
【００１６】
スキー場管理サーバ３００は、赤外線カメラや可視光カメラから送信される画像データに基づいて、各エリアのスキーヤーの人口密度を解析する。人口密度の解析方法としては、例えば、画像認識技術により画像データからスキーヤーを検出し、当該画像データの全画素数に対するスキーヤーの画像領域の画素数の割合を人口密度として算出する。また、温度センサにより生成されるサーモグラフィ（熱分布画像）を用いて人口密度を算出する場合には、サーモグラフィにおける所定の温度以上の領域をスキーヤーとして認識し、当該サーモグラフィの全画素数に対するスキーヤーの画像領域の画素数の割合を人口密度として算出する。その際、スキーヤー以外の元々存在する高温領域を差し引いて人口密度を算出することにより、より高い精度で人口密度を算出することができる。なお、図１に示すシステム構成は飽くまでも本発明の一適用例を示したものである。従って、赤外線カメラの数及び配置場所、スキーヤーが装着するゴーグルの数、並びに、スキー場管理サーバの数等は任意であってよい。
【００１７】
図２Ａは、スキー場管理サーバ３００のハードウェア構成を示す図である。ＣＰＵ３００１は、システムバスに接続される各デバイスを総括的に制御する。ＲＯＭ３００３又はＨＤ（ハードディスク）３００６には、ＣＰＵ３００１の制御プログラムであるＢＩＯＳ（Basic Input / Output system）やオペレーティングシステムプログラム、例えば図４Ａ及び図４Ｂに示す処理や、図４Ｃに示す処理のうちスキー場管理サーバ３００が実行する処理のプログラム等が記憶されている。
【００１８】
なお、図２Ａの例では、ＨＤ３００６はスキー場管理サーバ３００の内部に配置された構成としているが、他の実施形態としてＨＤ３００６に相当する構成がスキー場管理サーバ３００の外部に配置された構成としてもよい。また、例えば本実施形態に係る図４Ａ及び図４Ｂに示す処理や、図４Ｃに示す処理のうちスキー場管理サーバ３００が実行する処理を行うためのプログラムは、ＣＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録され、当該記録媒体から供給される構成としてもよいし、インターネット等の通信媒体を介して供給される構成としてもよい。
【００１９】
ＲＡＭ３００２は、ＣＰＵ３００１の主メモリ、ワークエリア等として機能する。ＨＤ３００６は、外部メモリとして機能する。具体的には各スキー場の三次元地図情報等を記憶している。ＣＰＵ３００１は、処理の実行に際して必要なプログラムをＲＡＭ３００２にロードして、プログラムを実行することで各種動作を実現するものである。ディスクコントローラ３００５は、ＨＤ３００６等の外部メモリへのアクセスを制御する。通信Ｉ／Ｆコントローラ３００４は、無線通信回線と接続し、外部との通信を制御する。
【００２０】
図２Ｂは、本実施形態に係るゴーグル１００のハードウェア構成を示す図である。ＣＰＵ１００１は、システムバスに接続される各デバイスを総括的に制御する。ＲＯＭ１００３には、例えば図４Ｃに示す処理のうちゴーグル１００が実行する処理のプログラム等が記憶されている。なお、図４Ｃに示す処理のうちゴーグル１００が実行する処理を実行するためのプログラムは、インターネット等の通信媒体を介して供給される構成としてもよい。
【００２１】
ＲＡＭ１００２は、ＣＰＵ１００１の主メモリ、ワークメモリ等して機能する。ＣＰＵ１００１は、処理の実行に際して必要なプログラム等をＲＡＭ１００２にロードして、プログラムを実行することで各種動作を実現するものである。通信Ｉ／Ｆコントローラ１００４は、無線通信回線と接続し、外部との通信を制御する。ディスプレイコントローラ１００６は、ディスプレイ１００７における画像表示を制御する。本実施形態においてディスプレイ１００７には、ゴーグル１００のフレームに搭載される小型ディスプレイを採用するものとする。更に、ゴーグル１００の位置や姿勢を検知するための位置センサと姿勢センサを備える。なお、上述の通り、ビデオ透過型のＡＲ表示を行う場合には、図示しないが撮影部も備える。
【００２２】
図３は、スキー場管理サーバ３００の機能的な構成を示す図である。図３において、画像データ入力部３０１は、赤外線カメラ２００ａ〜ｈによって撮影された各画像データを入力（受信）する。人口密度解析部３０２は、画像データ入力部３０１によって入力される、赤外線カメラ２００ａ、ｂ、ｄ〜ｈによって撮影された画像データに基づいて、エリア毎にスキーヤーの人口密度を解析する。即ち、人口密度解析部３０２は、赤外線カメラ２００ａ、ｂ、ｄ〜ｈによって撮影された各画像データに対して画像認識技術を用いることにより各エリアのスキーヤーを検出し、各エリアの画像データの全画素数に対するスキーヤーの画像領域の画素数の割合を人口密度として算出する。なお、人口密度解析部３０２は、所定時間間隔（例えば、１０分間隔）で人口密度を解析し、その履歴を人口密度管理テーブル３０４に登録する。
【００２３】
けが人識別部３０３は、画像データ入力部３０１によって入力される、赤外線カメラ２００ｃによって撮影された画像データに基づいて、けが人多発エリア４０７におけるけが人の有無を判定する。即ち、けが人識別部３０３は、赤外線カメラ２００ｃによって撮影された画像データに対して画像認識技術を用いることによりスキーヤーの動きを監視し、所定時間（例えば、１０分）以上動きが検出されないスキーヤーが存在する場合、当該スキーヤーをけが人として判定する。なお、けが人識別部３０３は、所定時間間隔（例えば、１０分間隔）でけが人の有無を判定し、その履歴をけが人管理テーブル３０５に登録する。
【００２４】
人口密度管理テーブル３０４は、人口密度解析部３０２によって解析された人口密度の履歴をエリア（ここでは、リフト乗り場やレストラン）毎に管理する。けが人管理テーブル３０５は、けが人識別部３０３によって判定されたけが人の有無の履歴をけが人多発エリア毎に管理する。
【００２５】
リクエスト受付部３０６は、スキーヤーが装着しているゴーグル１００から、当該ゴーグル１００の位置及び姿勢を含むリクエストを受け付ける。ユーザ視界判定部３０７は、リクエスト受付部３０６によって受け付けられたリクエストに含まれるゴーグル１００の位置及び姿勢に基づいて、当該ゴーグル１００を装着しているスキーヤーの視界を判定する。
【００２６】
第１のデータ抽出部３０８は、ユーザ視界判定部３０７によって判定された視界に含まれるエリアを判定し、判定したエリアに該当する人口密度の履歴のうち、最新の人口密度を人口密度管理テーブル３０４から抽出する。第２のデータ抽出部３０９は、ユーザ視界判定部３０７によって判定された視界に含まれるエリアを判定し、判定したエリアに該当するけが人の有無の履歴のうち、最新のけが人の有無をけが人管理テーブル３０５から抽出する。ＣＧ生成部３１０は、第１のデータ抽出部３０８によって抽出された最新の人口密度に基づいて、該当するエリアにおけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データを生成する。また、ＣＧ生成部３１０は、第２のデータ抽出部３０９によって抽出された情報（最新のけが人の有無）においてけが人が存在することが示されていた場合、該当するエリアにおいてけが人が存在することを示すコンピュータグラフィックス画像データを生成する。そしてＣＧ生成部３１０は、生成したコンピュータグラフィックス画像データを、リクエスト受付部３０６においてリクエストを受け付けたゴーグル１００に対して送信する。ゴーグル１００は、現実空間に整合させてコンピュータグラフィックス画像データをＡＲ表示する。
【００２７】
なお、図３におけるリクエスト受付部３０６及び画像データ入力部３０１は、図２Ａにおける通信Ｉ／Ｆコントローラ３００４に相当する構成である。また、図３におけるユーザ視界判定部３０７、人口密度解析部３０２、けが人識別部３０３、第１のデータ抽出部３０８、第２のデータ抽出部３０９及びＣＧ生成部３１０は、ＣＰＵ３００１がＨＤ３００６からプログラムをＲＡＭ３００２にロードして実行することにより実現される構成である。また、人口密度管理テーブル３０４及びけが人管理テーブル３０５は、ＲＡＭ３００２の一部記憶領域に相当する構成である。
【００２８】
次に、図４Ａ〜図４Ｃを参照しながら、スキー場管理サーバ３００の処理について説明する。図４Ａは、スキー場管理サーバ３００が赤外線カメラ２００ａ、ｂ、ｄ〜ｈから画像データを入力し、エリア毎に人口密度の解析処理を実行して、それらの履歴を管理するまでの処理を示すフローチャートである。
【００２９】
ステップＳ４０１において、画像データ入力部３０１は、赤外線カメラ２００ａ、ｂ、ｄ〜ｈからの何れかから画像データを入力（受信）したか否かを判定する。画像データを入力した場合、処理はステップＳ４０２に移行する。一方、画像データを入力していない場合、処理はステップＳ４０１に戻り、画像データの入力を待つ。
【００３０】
ステップＳ４０２において、人口密度解析部３０２は、画像データ入力部３０１において入力された画像データに基づいて、該当するエリアのスキーヤーの人口密度を解析する。ステップＳ４０３において、人口密度解析部３０２は、エリア及び人口密度の解析時刻と対応付けて人口密度の解析結果を人口密度管理テーブル３０４に登録する。なお、上述したステップＳ４０１〜Ｓ４０３は、繰り返し実行される処理である。
【００３１】
図４Ｂは、スキー場管理サーバ３００が赤外線カメラ２００ｃから画像データを入力し、けが人多発エリア４０７におけるけが人の有無の判定処理を実行して、その履歴を管理するまでの処理を示すフローチャートである。
【００３２】
ステップＳ４０４において、画像データ入力部３０１は、赤外線カメラ２００ｃから画像データを入力（受信）したか否かを判定する。画像データを入力した場合、処理はステップＳ４０５に移行する。一方、画像データを入力していない場合、処理はステップＳ４０４に戻り、画像データの入力を待つ。
【００３３】
ステップＳ４０５において、けが人識別部３０３は、画像データ入力部３０１において入力された画像データに基づいて、けが人多発エリア４０７におけるけが人の有無を判定する。ステップＳ４０６において、けが人識別部３０３は、けが人多発エリア４０７及びけが人有無の判定時刻と対応付けてけが人の有無に関する判定結果をけが人管理テーブル３０５に登録する。なお、上述したステップＳ４０４〜Ｓ４０６は、繰り返し実行される処理である。
【００３４】
図４Ｃは、ゴーグル１００がリクエストを発行し、スキー場管理サーバ３００において生成されたコンピュータグラフィックス画像データをＡＲ表示するまでの処理を示すフローチャートである。
【００３５】
ステップＳ４１０において、ゴーグル１００は、当該ゴーグル１００の位置及び姿勢を含むリクエストを発行する。ゴーグル１００でのリクエスト発行は、短時間に繰り返し行うことにより後述するＡＲでの重畳表示内容にリアルタイム性のある情報となる。但し、この場合は通信やゴーグル１００およびスキー場管理サーバ３００での情報処理負荷が高くなることもあるため、例えばスキーヤーが止まっているときにだけ発行してもよい。或いは、スキーヤーのスイッチ操作によってリクエストの発行を行ったり、重畳表示のＯＮ／ＯＦＦを切り替えたりしてもよい。スイッチはゴーグル１００に備えていてもよいし、スキーヤーが所持するストックやリフトチケット（カードやＩＣチップ媒体など）に備えていてもよい。ストック等にスイッチを備える場合、無線通信機能もストック等に組み込んでおき、ゴーグル１００との間では無線通信でスイッチ情報を送信することが好ましい。
【００３６】
ステップＳ４１１において、スキー場管理サーバ３００のリクエスト受付部３０６は、ゴーグル１００からリクエストを受け付ける。ステップＳ４１２は、スキー場管理サーバ３００のユーザ視界判定部３０７は、リクエストに含まれる位置及び姿勢に基づいて、当該ゴーグル１００を装着するスキーヤーの視界を判定する。次に処理はステップＳ４１３及びＳ４１５の双方に移行する。以下、ステップＳ４１３及びＳ４１５を個別に説明するが、これはどちらか単独で処理してもよく、或いは並列処理で同時に行ってもよい。
【００３７】
ステップＳ４１３において、第１のデータ抽出部３０８は、ユーザ視界判定部３０７によって判定された視界に含まれるエリアを判定し、判定したエリアに該当する人口密度の履歴のうち、最新の人口密度を人口密度管理テーブル３０４から抽出する。ステップＳ４１４において、ＣＧ生成部３１０は、第１のデータ抽出部３０８によって抽出された最新の人口密度に基づいて、該当するエリアにおけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データを生成する。
【００３８】
また、ステップＳ４１５において、第２のデータ抽出部３０９は、ユーザ視界判定部３０７によって判定された視界に含まれるエリアを判定し、判定したエリアに該当するけが人の有無の履歴のうち、最新のけが人の有無をけが人管理テーブル３０５から抽出する。ステップＳ４１６において、ＣＧ生成部３１０は、第２のデータ抽出部３０９によって抽出された情報においてけが人が存在することが示されているか否かを判定する。けが人が存在することが示されている場合、処理はステップＳ４１７に移行する。一方、けが人が存在することが示されていない場合、処理はステップＳ４１７をスキップしてステップＳ４１８に移行する。ステップＳ４１７において、ＣＧ生成部３１０は、けが人が存在することを示すコンピュータグラフィックス画像データを生成する。
【００３９】
ステップＳ４１８において、ＣＧ生成部３１０は、ステップＳ４１４で生成したコンピュータグラフィックス画像データ、又は、ステップＳ４１４及びＳ４１７で生成したコンピュータグラフィックス画像データをゴーグル１００に対して送信する。ステップＳ４１９において、ゴーグル１００は、スキー場管理サーバ３００からコンピュータグラフィックス画像データを受信する。ステップＳ４２０において、ゴーグル１００は、受信したコンピュータグラフィックス画像データをＡＲ表示する。本実施形態では、コンピュータグラフィックス画像データをスキー場管理サーバ３００側で生成するようにしているが、必要な情報をスキー場管理サーバ３００からゴーグル１００に与え、ゴーグル１００側でコンピュータグラフィックス画像データを生成するようにしてもよい。
【００４０】
図５Ａ〜図５Ｃは、ゴーグル１００におけるＡＲ表示例を示す図である。より具体的には、図５Ａは、ゴーグル１００を装着したスキーヤーが図１の地点Ａに位置する場合のＡＲ表示例を示している。図５Ｂは、ゴーグル１００を装着したスキーヤーが図１の地点Ｂに位置する場合のＡＲ表示例を示している。図５Ｃは、ゴーグル１００を装着したスキーヤーが図１の地点Ｃに位置する場合のＡＲ表示例を示している。
【００４１】
図１に示すように、ゴーグル１００を装着したスキーヤーが地点Ａに存在する場合、当該スキーヤーの視線方向（滑走方向）の右手にはリフト乗り場４０１が見え、左手にはリフト乗り場４０２が見える。スキー場管理サーバ３００は、スキーヤーが地点Ａに存在するときにゴーグル１００から発行されたリクエスト（位置、傾き含む）に基づいて、スキーヤーの視界にリフト乗り場４０１、４０２が含まれていると判定する。そしてスキー場管理サーバ３００は、リフト乗り場４０１、４０２のエリアに対応する最新の人口密度を取得し、リフト乗り場４０１、４０２におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データを生成する。生成されたコンピュータグラフィックス画像データはスキー場管理サーバ３００からゴーグル１００に対して送信される。すると、図５Ａに示すように、ゴーグル１００は、リフト乗り場４０１におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データ５０２と、リフト乗り場４０２におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データ５０１とをＡＲ表示する。
【００４２】
図５Ａに示すように、ゴーグル１００では、コンピュータグラフィックス画像データ５０１、５０２が夫々、現実空間に整合する位置に合成表示されるので、スキーヤーの視線方向の右手にリフト乗り場４０１の人口密度を示すコンピュータグラフィックス画像データ５０２が表示され、スキーヤーの視線方向の左手にリフト乗り場４０２の人口密度を示すコンピュータグラフィックス画像データ５０１が表示される。なお、図５Ａの例では、人口密度を示すコンピュータグラフィックス画像データにおいて「空き状態」や「混雑中」という情報を提示しているが、画像データの全画素数に対するスキーヤーの画像領域の割合が所定の値（例えば、５０％）以上である場合に「混雑中」を表すコンピュータグラフィックス画像データを生成し、そうでない場合に「空き状態」を表すコンピュータグラフィックス画像データを生成している。また、ゴーグル１００からのリクエストには当該ゴーグル１００の位置が含まれているため、ゴーグル１００の位置から各リフト乗り場４０１、４０２までの距離や方向を表す情報をコンピュータグラフィックス画像データにおいて提示している。これにより、各エリアにおける人又は物の密度をリアルタイムに提示することが可能となり、視界が悪くても、スキーヤーは各エリアの混雑状況を把握することが可能となる。
【００４３】
また、図１に示すように、ゴーグル１００を装着したスキーヤーが地点Ｂに存在する場合、当該スキーヤーの視線方向（滑走方向）の右手にはリフト乗り場４０３が見え、左手にはけが人多発エリア４０７が見える。スキー場管理サーバ３００は、スキーヤーが地点Ｂに存在するときにゴーグル１００から発行されたリクエスト（位置、傾き含む）に基づいて、スキーヤーの視界にリフト乗り場４０３、けが人多発エリア４０７が含まれていると判定する。そしてスキー場管理サーバ３００は、リフト乗り場４０３に対応する最新の人口密度とけが人多発エリア４０７に対応する最新のけが人の有無とを取得する。ここでは、けが人多発エリア４０７に対応する最新のけが人の有無には、けが人が存在することが示されているものとする。スキー場管理サーバ３００は、リフト乗り場４０３におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データ５０４を生成するとともに、けが人多発エリア４０７にけが人が存在することを示すコンピュータグラフィックス画像データ５０３を生成する。生成されたコンピュータグラフィックス画像データはスキー場管理サーバ３００からゴーグル１００に対して送信される。すると、図５Ｂに示すように、ゴーグル１００は、リフト乗り場４０３におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データ５０４と、けが人多発エリア４０７にけが人が存在していることを示すコンピュータグラフィックス画像データ５０３とをＡＲ表示する。
【００４４】
図５Ｂに示すように、ゴーグル１００では、コンピュータグラフィックス画像データ５０３、５０４が夫々、現実空間に整合する位置に合成表示されるので、スキーヤーの視線方向の右手にリフト乗り場４０３の人口密度を示すコンピュータグラフィックス画像データ５０４が表示され、スキーヤーの視線方向の左手にけが人の存在を示すコンピュータグラフィックス画像データ５０４が表示される。なお、図５Ｂの例においても、ゴーグル１００の位置からリフト乗り場４０３、けが人多発エリア４０７までの距離や方向を表す情報がコンピュータグラフィックス画像データにおいて提示されている。これにより、視界が悪くても、けが人多発エリアにおいてけが人が発生しているか否かをスキーヤーは把握することが可能となる。
【００４５】
また、図１に示すように、ゴーグル１００を装着したスキーヤーが地点Ｃに存在する場合、当該スキーヤーの視線方向（滑走方向）の正面にはレストラン４０８が見える。スキー場管理サーバ３００は、スキーヤーが地点Ｃに存在するときにゴーグル１００から発行されるリクエスト（位置、傾き含む）に基づいて、スキーヤーの視界にレストラン４０８が含まれていると判定する。そしてスキー場管理サーバ３００は、レストラン４０８に対応する最新の人口密度を取得し、レストラン４０８におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データ５０５を生成する。生成されたコンピュータグラフィックス画像データ５０５はスキー場管理サーバ３００からゴーグル１００に対して送信される。すると、図５Ｃに示すように、ゴーグル１００では、レストラン４０８におけるスキーヤーの人口密度を示すコンピュータグラフィックス画像データ５０５がＡＲ表示されるので、スキーヤーの視線方向の正面にレストラン４０８に対応する最新の人口密度を示すコンピュータグラフィックス画像データ５０５がＡＲ表示される。
【００４６】
上述した実施形態においては、ゴーグル１００を装着したスキーヤーの視界に含まれるエリアについてのみ、人口密度やけが人の存在に関する情報を含むコンピュータグラフィックス画像データを生成し、ＡＲ表示しているが、本発明はこれに限定されない。即ち、ゴーグル１００を装着したスキーヤーの視界に間接的に関連するエリア（例えば、スキーヤーから直接見ることはできないエリアであるが、スキーヤーが滑走する可能性のあるエリア）のリフト乗り場やけが人多発エリアに関するコンピュータグラフィックス画像データを生成し、ＡＲ表示してもよい。また、リフト乗り場やレストランだけではなく、コースについても人口密度を示すコンピュータグラフィックス画像データを生成するようにしてもよい。また、これはスキーヤーなどの人間だけを検知対象にする必要はなく、例えば、滑走エリアの積雪が少なく地面が露出している場所を検知して「この先積雪不足」などのＡＲ表示を行ってもよい。この場合も雪面と地面（草地や表土）とを画像処理により判別したり、或いは赤外線カメラや温度センサによる温度の差異を検知することを利用すればよい。さらに、人口密度管理テーブル３０４では人口密度の履歴を管理しており、けが人管理テーブル３０５ではけが人の有無の履歴を管理しているため、ゴーグル１００において、それらの履歴に基づく情報を含むコンピュータグラフィックス画像データをＡＲ表示するようにしてもよい。例えば、現時点から３０分前までの人口密度の履歴をＡＲ表示することにより、スキーヤーは最近の人口密度の推移状況を把握することが可能となり、将来の人口密度の予測に役立てることができる。また、現時点から３０分前までのけが人の有無の履歴をＡＲ表示することにより、スキーヤーはどれぐらい前からけが人が発生していたのかを把握することが可能となる。
【００４７】
次に、本発明の他の実施形態について説明する。本実施形態に係るスキー場案内システムは、上述した実施形態に係るスキー場案内システム構成に加え、スキーヤーが所持するリフト券に搭載されたＩＤ発信機と、スキー場の各地点に設置され、ＩＤ発信機から発信されるＩＤ（ユーザ識別情報）を受信するＩＤ受信機とを備える。スキーヤーはけがを負う等の緊急事態時にリフト券のＩＤ発信機を操作し、ＩＤを発信させる。ＩＤ発信機から発信されたＩＤは、最寄りのＩＤ受信機によって受信される。ＩＤ受信機は、ＩＤとともに当該ＩＤ受信機の位置情報を図１のスキー場管理サーバ３００に送信する。スキー場管理サーバ３００は、ＩＤ及びＩＤ受信機の位置情報を受信すると、当該ＩＤに対応するユーザ情報を検索する。
【００４８】
図６は、スキー場管理サーバ３００において保持されるユーザ情報管理テーブルの例を示す図である。図６に示すように、ユーザ情報管理テーブルでは、ＩＤ毎にユーザ情報（名前、性別、体重、身長、スキーウェアの色）が管理されている。なお、ユーザ情報はここに挙げた情報だけではなく、任意の情報を追加してもよい。スキー場管理サーバ３００は、ＩＤを受信すると、当該ＩＤに対応付けて管理されるユーザ情報をユーザ情報管理テーブルから取得する。そしてスキー場管理サーバ３００は、緊急事態が発生した旨と取得したユーザ情報とＩＤ受信機の位置情報とを示すコンピュータグラフィックス画像データを生成し、パトロール隊のゴーグル１００に対して送信する。すると、パトロール隊のゴーグル１００は、スキー場管理サーバ３００から受信したコンピュータグラフィックス画像データをＡＲ表示する。
【００４９】
図７は、上記のようにして受信したコンピュータグラフィックス画像データをパトロール隊のゴーグル１００がＡＲ表示した例を示す図である。図７に示すように、スキーヤーの位置としてのＩＤ受信機の位置（２００ｍ先）と、緊急事態が発生した旨（ＳＯＳ発生！！）と、ユーザ情報（ＩＤ、名前、性別、体重、身長、スキーウェアの色）とを示すコンピュータグラフィックス画像データをＡＲ表示する。このようにパトロール隊に対してＩＤ受信機の位置とけが人のユーザ情報とを通知することができるため、けが人の位置及びけが人の属性を把握することが可能となり、けが人を早急に救助することができる。また、スキー場のコース等の各エリアの人口密度を併せてＡＲ表示することによって、救助の際、人口密度が低いコースを選択してスノーモービルで救助に向かうことが可能になる。
【００５０】
本実施形態では、各スキーヤーにＩＤ発信機を所持させるようにしているが、その他の実施形態としてＧＰＳ携帯端末を所持させるようにしてもよい。ＧＰＳ携帯端末からスキーヤーのＩＤと、スキーヤーの位置を示す情報としての当該ＧＰＳ携帯端末の位置を示す情報とをスキー場管理サーバ３００に対して送信することにより、より正確にスキーヤーの位置をパトロール隊に通知することが可能となる。またこの場合、ＩＤを中継するためのＩＤ受信機をスキー場に設置する必要がなくなる。
【００５１】
以上では、視界が悪い環境の例としてスキー場を挙げたが、これ以外にも、例えば、自転車のロードレースにおいても天候の影響で視界不良となるケースが多く、ロードレースの各選手にも上述したようなゴーグルを装着させることにより、レース中に人口密度やけが人の有無等に関する情報を把握することが可能となる。また、サッカー観戦の際、試合会場の入り口付近からでは試合会場内の観戦席の空き状況を把握することができないため、一旦入り口から階段を昇って実際に観戦席を見てどの辺が空いているのか判断することがある。しかしながら、試合会場の入り口付近で上述したようなＡＲ表示を利用することにより、実際に観戦席が見えるところまで足を運ばなくても、どの辺の観戦席が空いているかを把握することが可能となる。
【００５２】
また、上述した実施形態では、各エリアの人口密度をＡＲ表示しているが、人口密度に限らず、同様に各エリアにおける自動車等の物の密度を解析し、ＡＲ表示してもよい。
なお、上述したように、重畳表示はスキーヤー（ユーザ）のスイッチ操作によって表示／非表示を切り替えられるものであるが、手の操作による切り替えだけでなく、ゴーグルの姿勢センサを利用して特定の動作をスイッチ機能として利用してもよい。例えば二度頷く動作で表示／非表示を切り替えてもよい。
【符号の説明】
【００５３】
１００：ゴーグル（スキーヤーが保持する拡張現実感提示装置）、２００ａ〜２００ｈ：赤外線カメラ、３００：スキー場管理サーバ、４０１〜４０６：リフト乗り場、４０７：けが人多発エリア、４０８：レストラン
【特許請求の範囲】
【請求項１】
現実空間とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、対象とするエリアに係る情報を逐次取得する複数の情報取得装置と、情報処理装置とを有する情報処理システムであって、
前記情報処理装置は、
前記複数の情報取得装置によって取得された各エリアに係る情報に基づいて、エリア毎に人又は物の密度を解析する解析手段と、
前記拡張現実感提示装置の状態に対応するエリアを判定する判定手段と、
前記拡張現実感提示装置の状態に対応するエリアにおける人又は物の密度を示す情報を前記拡張現実感提示装置に対して送信する送信手段とを有し、
前記拡張現実感提示装置は、
前記人又は物の密度を示すコンピュータグラフィックス画像データを現実空間に合成させて表示することを特徴とする情報処理システム。
【請求項２】
前記情報処理装置は、
前記複数の情報取得装置によって取得された各エリアに係る情報に基づいて、エリア毎に所定時間以上動きがない人を検知する検知手段を更に有し、
前記送信手段は、前記拡張現実感提示装置の状態に対応するエリアにおける前記検知手段の検知結果を示す情報を前記拡張現実感提示装置に対して送信し、
前記拡張現実感提示装置は、
前記検知手段の検知結果を示すコンピュータグラフィックス画像データを現実空間に合成させて表示することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記情報処理装置は、
ユーザが所持する通信装置から送信された識別情報を受信する受信手段と、
前記識別情報に対応する前記ユーザに係る情報を取得する取得手段とを更に有し、
前記送信手段は、前記ユーザに係る情報を前記拡張現実感提示装置に対して送信し、
前記拡張現実感提示装置は、
前記ユーザに係る情報を示すコンピュータグラフィックス画像データを現実空間に合成させて表示することを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記受信手段は、前記ユーザの位置を示す情報を受信し、前記送信手段は、前記ユーザの位置を示す情報を前記拡張現実感提示装置に対して送信し、
前記拡張現実感提示装置は、
前記ユーザの位置を示すコンピュータグラフィックス画像データを現実空間に合成させて表示することを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記通信装置から前記識別情報を受信し、前記識別情報とともに、前記ユーザの位置を示す情報として前記通信装置の位置を示す情報を前記情報処理装置に対して送信する受信装置を更に有し、
前記受信手段は、前記識別情報及び前記ユーザの位置を示す情報を前記受信装置から受信することを特徴とする請求項４に記載の情報処理システム。
【請求項６】
前記通信装置は、ＧＰＳ携帯端末であり、
前記受信手段は、前記識別情報とともに、前記ユーザの位置を示す情報として前記ＧＰＳ携帯端末の位置を示す情報を前記ＧＰＳ携帯端末から受信することを特徴とする請求項４に記載の情報処理システム。
【請求項７】
前記判定手段は、前記拡張現実感提示装置の位置及び姿勢に対応するエリアを判定することを特徴とする請求項１乃至６の何れか１項に記載の情報処理システム。
【請求項８】
現実空間とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、対象とするエリアに係る情報を逐次取得する複数の情報取得装置と、情報処理装置とを有する情報処理システムによって実行される情報処理方法であって、
前記情報処理装置は、
前記複数の情報取得装置によって取得された各エリアに係る情報に基づいて、エリア毎に人又は物の密度を解析する解析ステップと、
前記拡張現実感提示装置の状態に対応するエリアを判定する判定ステップと、
前記拡張現実感提示装置の状態に対応するエリアにおける人又は物の密度を示す情報を前記拡張現実感提示装置に対して送信する送信ステップとを有し、
前記拡張現実感提示装置は、
前記人又は物の密度を示すコンピュータグラフィックス画像データを現実空間に合成させて表示することを特徴とする情報処理方法。
【請求項９】
現実空間とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、対象とするエリアに係る情報を逐次取得する複数の情報取得装置と、情報処理装置とを有する情報処理システムによって実行される情報処理方法をコンピュータに実行させるためのプログラムであって、
前記情報処理装置のコンピュータに、
前記複数の情報取得装置によって取得された各エリアに係る情報に基づいて、エリア毎に人又は物の密度を解析する解析ステップと、
前記拡張現実感提示装置の状態に対応するエリアを判定する判定ステップと、
前記拡張現実感提示装置の状態に対応するエリアにおける人又は物の密度を示す情報を前記拡張現実感提示装置に対して送信する送信ステップとを実行させ、
前記拡張現実感提示装置のコンピュータに、
前記人又は物の密度を示すコンピュータグラフィックス画像データを現実空間に合成させて表示させることを特徴とするプログラム。
【請求項１】
現実空間とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、対象とするエリアに係る情報を逐次取得する複数の情報取得装置と、情報処理装置とを有する情報処理システムであって、
前記情報処理装置は、
前記複数の情報取得装置によって取得された各エリアに係る情報に基づいて、エリア毎に人又は物の密度を解析する解析手段と、
前記拡張現実感提示装置の状態に対応するエリアを判定する判定手段と、
前記拡張現実感提示装置の状態に対応するエリアにおける人又は物の密度を示す情報を前記拡張現実感提示装置に対して送信する送信手段とを有し、
前記拡張現実感提示装置は、
前記人又は物の密度を示すコンピュータグラフィックス画像データを現実空間に合成させて表示することを特徴とする情報処理システム。
【請求項２】
前記情報処理装置は、
前記複数の情報取得装置によって取得された各エリアに係る情報に基づいて、エリア毎に所定時間以上動きがない人を検知する検知手段を更に有し、
前記送信手段は、前記拡張現実感提示装置の状態に対応するエリアにおける前記検知手段の検知結果を示す情報を前記拡張現実感提示装置に対して送信し、
前記拡張現実感提示装置は、
前記検知手段の検知結果を示すコンピュータグラフィックス画像データを現実空間に合成させて表示することを特徴とする請求項１に記載の情報処理システム。
【請求項３】
前記情報処理装置は、
ユーザが所持する通信装置から送信された識別情報を受信する受信手段と、
前記識別情報に対応する前記ユーザに係る情報を取得する取得手段とを更に有し、
前記送信手段は、前記ユーザに係る情報を前記拡張現実感提示装置に対して送信し、
前記拡張現実感提示装置は、
前記ユーザに係る情報を示すコンピュータグラフィックス画像データを現実空間に合成させて表示することを特徴とする請求項１又は２に記載の情報処理システム。
【請求項４】
前記受信手段は、前記ユーザの位置を示す情報を受信し、前記送信手段は、前記ユーザの位置を示す情報を前記拡張現実感提示装置に対して送信し、
前記拡張現実感提示装置は、
前記ユーザの位置を示すコンピュータグラフィックス画像データを現実空間に合成させて表示することを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記通信装置から前記識別情報を受信し、前記識別情報とともに、前記ユーザの位置を示す情報として前記通信装置の位置を示す情報を前記情報処理装置に対して送信する受信装置を更に有し、
前記受信手段は、前記識別情報及び前記ユーザの位置を示す情報を前記受信装置から受信することを特徴とする請求項４に記載の情報処理システム。
【請求項６】
前記通信装置は、ＧＰＳ携帯端末であり、
前記受信手段は、前記識別情報とともに、前記ユーザの位置を示す情報として前記ＧＰＳ携帯端末の位置を示す情報を前記ＧＰＳ携帯端末から受信することを特徴とする請求項４に記載の情報処理システム。
【請求項７】
前記判定手段は、前記拡張現実感提示装置の位置及び姿勢に対応するエリアを判定することを特徴とする請求項１乃至６の何れか１項に記載の情報処理システム。
【請求項８】
現実空間とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、対象とするエリアに係る情報を逐次取得する複数の情報取得装置と、情報処理装置とを有する情報処理システムによって実行される情報処理方法であって、
前記情報処理装置は、
前記複数の情報取得装置によって取得された各エリアに係る情報に基づいて、エリア毎に人又は物の密度を解析する解析ステップと、
前記拡張現実感提示装置の状態に対応するエリアを判定する判定ステップと、
前記拡張現実感提示装置の状態に対応するエリアにおける人又は物の密度を示す情報を前記拡張現実感提示装置に対して送信する送信ステップとを有し、
前記拡張現実感提示装置は、
前記人又は物の密度を示すコンピュータグラフィックス画像データを現実空間に合成させて表示することを特徴とする情報処理方法。
【請求項９】
現実空間とコンピュータグラフィックス画像データとを合成して表示させることが可能な拡張現実感提示装置と、対象とするエリアに係る情報を逐次取得する複数の情報取得装置と、情報処理装置とを有する情報処理システムによって実行される情報処理方法をコンピュータに実行させるためのプログラムであって、
前記情報処理装置のコンピュータに、
前記複数の情報取得装置によって取得された各エリアに係る情報に基づいて、エリア毎に人又は物の密度を解析する解析ステップと、
前記拡張現実感提示装置の状態に対応するエリアを判定する判定ステップと、
前記拡張現実感提示装置の状態に対応するエリアにおける人又は物の密度を示す情報を前記拡張現実感提示装置に対して送信する送信ステップとを実行させ、
前記拡張現実感提示装置のコンピュータに、
前記人又は物の密度を示すコンピュータグラフィックス画像データを現実空間に合成させて表示させることを特徴とするプログラム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７】
【図２Ａ】
【図２Ｂ】
【図３】
【図４Ａ】
【図４Ｂ】
【図４Ｃ】
【図５Ａ】
【図５Ｂ】
【図５Ｃ】
【図６】
【図７】
【公開番号】特開２０１３−４１３６０（Ｐ２０１３−４１３６０Ａ）
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願番号】特願２０１１−１７６６３１（Ｐ２０１１−１７６６３１）
【出願日】平成２３年８月１２日（２０１１．８．１２）
【出願人】（５１１１９７９１４）大分ＮＳソリューションズ株式会社 (1)
【Ｆターム（参考）】
【公開日】平成２５年２月２８日（２０１３．２．２８）
【国際特許分類】
【出願日】平成２３年８月１２日（２０１１．８．１２）
【出願人】（５１１１９７９１４）大分ＮＳソリューションズ株式会社 (1)
【Ｆターム（参考）】
[ Back to top ]