説明

地域案内システム

【課題】
周辺地域の地図を表示した掲示板の一部区画を撮影した画像をもとに、施設の詳細情報を表示することのできる地域案内システムを提供する。
【解決手段】
周辺地域の地図を表示した掲示板と、周辺地域の地図情報を格納した地図データベース107および前記周辺地域の施設とその案内情報を格納した施設データベース101を備えた電子掲示板コンピュータ10と、前記周辺地域の地図の特徴点を格納した特徴点データベース301を備え、掲示板の一部区画を撮影した画像を端末から順次受信し、受信した画像の地図上における位置を前記特徴点データベースを参照して認識する画像認識サーバ30を備え、電子掲示板コンピュータ10は、画像認識サーバ30から受信した画像の地図上における位置情報を受信し、受信した位置情報をもとに、受信した画像内に含まれる施設および施設の案内情報を検索し、検索した情報を前記端末に送信する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、地域案内システムに係り、特に地域内の任意の場所にある施設の情報を利用者に提示することのできる地域案内システムに関する。
【背景技術】
【0002】
駅の周辺地域などの公共空間には、その地域周辺の地図や代表的な建物、地名などを示した案内用の掲示板が設置されている。また、周辺地域にある施設の情報を紹介する情報端末が設置されているところもある。
【0003】
地図を参照することにより、現在地と目的地の相対的な地理関係を把握することは可能である。しかし、それ以外の情報、例えば目的地およびその近傍の施設に関する情報等は得ることができない。このため、目的地が決まっており、かつ目的地への経路がわからない利用者以外には利用価値が少ない。また、地図内の複数の施設に関する情報を比較しながら目的地を選択することも不可能である。一般に、掲示板は地理的にある程度の範囲内の地図情報を載せなければならないため、個々の施設の特徴を説明するだけの情報量を載せることは困難である。
【0004】
特許文献1には、携帯情報端末の撮像手段で撮影した画像に写っているマーカを用いて、撮影時の携帯情報端末自身の位置姿勢を演算し、その結果を基にして撮影されたマーカに予め関連付けられた所定の情報を加工処理し、携帯情報端末の画面内に表示している実写の映像の上に、この加工処理した情報を重畳して表示することが示されている。
【0005】
また、特許文献2には、携帯端末に搭載したカメラで紙ポスターに形成された識別情報を撮影し、その結果をもとにサーバを介して紙ポスターに関する情報を取得することが示されている。
【特許文献1】特開2004−048674号公報
【特許文献2】特開2002−318744号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
前記案内用の掲示板等の従来技術によれば、利用者に地域の地理的な情報を提供することができる。しかし、周辺地域にある施設の詳細な情報を得るためには、他の情報収集手段を用意する必要がある。また、ポスターや看板は、利用者の利用に対して一目瞭然で情報を伝えやすくするため、載せる情報量を増やすこともできず、ある程度のシンプルさが要求される。また、不特定多数の利用者が利用するため、特定の内容に偏った情報を載せることもできない。
【0007】
本発明は、これらの問題点に鑑みてなされたもので、周辺地域の地図を表示した掲示板の一部区画を撮影した画像をもとに、施設の詳細情報を表示することのできる地域案内システムを提供する。
【課題を解決するための手段】
【0008】
本発明は上記課題を解決するため、次のような手段を採用した。
【0009】
周辺地域の地図を表示した掲示板と、周辺地域の地図情報を格納した地図データベースおよび前記周辺地域の施設とその案内情報を格納した施設データベースを備えた電子掲示板コンピュータと、前記周辺地域の地図の特徴点を格納した特徴点データベースを備え、掲示板の一部区画を撮影した画像を端末から順次受信し、受信した画像の地図上における位置を前記特徴点データベースを参照して認識する画像認識サーバを備え、電子掲示板コンピュータは、画像認識サーバから受信した画像の地図上における位置情報を受信し、受信した位置情報をもとに、受信した画像内に含まれる施設および施設の案内情報を検索し、検索した情報を前記端末に送信する。
【発明の効果】
【0010】
本発明は、以上の構成を備えるため、周辺地域の地図を表示した掲示板の一部区画を撮影した画像をもとに、前記一部区画にある施設の詳細情報を表示することのできる地域案内システムを提供することができる。
【発明を実施するための最良の形態】
【0011】
以下、最良の実施形態を添付図面を参照しながら説明する。図1は、地域案内システムの全体構成を説明する図である。このシステムでは、例えば、通行人の多い駅周辺に看板あるいはディスプレイ等の掲示板を設置して、周辺区域の地図を表示しておき、利用者がカメラ付き携帯電話を用いて、この地図の一部を撮影することにより、駅周辺の施設の詳細情報についてのサービスを受けることができる。
【0012】
図において、10は電子掲示板コンピュータであり、周辺地域の地図情報を格納した地図データベース101および前記周辺地域の施設とその案内情報を格納施設データベース107を備える。20は、利用者が携帯するカメラ付き携帯電話等の携帯端末である。30は画像認識サーバであり、後述する掲示板401の一部区画を撮影した画像を携帯端末から順次受信し、受信した画像の地図上における位置を特徴点データベース301を参照して認識する。101は、施設データベースであり、周辺地域(掲示板設置個所の周辺地域のうち掲示板に表示された地域)にある店舗等の施設とその案内情報を格納する。107は地図データベースであり、周辺地域の地図情報を格納する。
【0013】
102は携帯電話基地局アンテナであり、携帯電話の公衆回線網を通じて利用者が所有する携帯端末20とデータの送受信を行う。103は近距離無線通信アンテナであり、電子掲示板コンピュータ10は携帯端末20と無線LANやBluetoothのような近距離無線通信手段を介して直接通信を行うことができる。104は赤外線通信装置、105はメモリカードスロットであり、利用者の携帯端末20に挿入されたメモリカード204をメモリカードスロット105に挿入することによりオフラインでデータの受け渡しを行うことができる。106はディスプレイであり、利用者への案内サービスとして、地図データベース107および施設データベースをもとに地図等を表示する。詳細な地図電子データを表示することで、利用者へ与える視覚的効果の向上を図ることができる。
【0014】
201は携帯端末20に取り付けたカメラであり、掲示板401に表示されている地図をファインダー越しに見ながら、利用者が目的とする施設を示す地図内の箇所まで順次撮影する。202は電子掲示板コンピュータ10と直接通信を行うための無線LANやBluetoothのような近距離無線通信用のアンテナ、203は赤外線通信装置、204はメモリカード、205はメモリカードを挿入するためのスロットである。
【0015】
301は特徴点データベースであり、地図内の地形・区画の特定を目的として、全体の地図画像から特徴が出るように細線化や線分の交点抽出等の画像処理を行って特徴点を抽出する。カメラ画像認識サーバ30は利用者が撮影した地図画像とこのデータベースのマッチングをとることで撮影箇所を特定する。
【0016】
図2は、利用者が案内サービスを受ける際の操作を説明する図である。図において、401は駅前等に設置される掲示板であり、周辺地域の地図を表示する。402は利用者が所有するカメラ機能付きの携帯端末20であり、403は、利用者が携帯端末20を用いて撮影を行っている際の撮影視野を確認するディスプレイである。また、404は地図の撮影を開始する際の初期位置を示すマークであり、利用者は、この位置を最初に撮影し、その後、目的位置(例えば施設405)まで連続して撮影する。これにより画像認識サーバは利用者が示す目的位置を正確且つ迅速に認識することができる。
【0017】
405は地図上に描写した施設である。前述のように利用者は携帯端末20を用いて地図の撮影を目的の施設まで行う。これにより、地図上に部分的に相似な地形・区画がある場合でも、映像の履歴関係から撮影している地図の映像が、地図上でどの部分であるかが認識できる。目的の施設まで撮影を行った後、携帯端末20の決定ボタンを押すなどの操作を行うことで、携帯端末20の画面407には図2bのように施設名等を表示する。このとき画面内の施設が複数あるときはそれぞれに識別番号を割り振る。利用者は割り振られた番号のうち何れかを選択すると選択された施設に対してさらに詳細な情報が図2cのように表示される。
【0018】
図3は、掲示板401を斜め方向から撮影した画像(携帯端末の撮影画像)と、地図画像をもとに作成した特徴点データベースとのマッチングを行う際の座標変換処理を説明する図である。図において、501は掲示板の表面上の座標系を表し、502はカメラの撮影対象となる被撮影像の座標系を表し、503はカメラの内部で被撮影像を投射されるCCDなどの感光面の座標系を示す。座標系501上に存在する点を(x”,y”,z”)、座標系502上に存在する点を(x’,y’,z’)、座標系503上に存在する点を(x,y,z)とする。
【0019】
座標系501において、点が看板上に存在する以上、z”=0である。座標系503において、点が感光面上に存在する以上、z=0である。座標系501から座標系502への変換は、回転を行いながら、平行方向に移動し、かつ、x’,y’平面に射影されることになる。
【0020】
回転による変換を表す行列を(1)式で表す。
【数1】

【0021】
平行方向の移動量を(2)式で表す。
【数2】

【0022】
よって、(3)式がえられる。
【数3】

【0023】
座標系502から座標系503への変換は、平面上の点から平面上の点への変換になり、倍率をaとすると、係数aによる線形変換になり、(4)式で表せる。
【数4】

【0024】
以上をまとめると、(5)式が得られる。
【数5】

【0025】
ここで、回転を表す行列の要素rijは、三次元における回転角(α、β、γ)の関数になる。ここで、座標系501上に存在する2点X”、X”に関して、座標系503に変換されてXc、Xcに変化した時、Xc−Xc間の距離は、(6)式となる。
【数6】

【0026】
この中で、(X”−X”、 Xc−Xc)の値をパラメータで固定したとき、上記の式は(α、β、γ、a)の4つの変数を持つ。よって、少なくとも4つの異なるX”−X”間とXc−Xc間の線分の距離を係数にした4元連立方程式を解くことで、(α、β、γ、a)を決定することができる。
【0027】
異なる複数の点を結んで4つの線分を成立するためには、異なる4つの点の間を結ぶことで、最大6つの線分が生成される。本実施形態では、Xcとして携帯端末20で撮影して得られた画像中の点を利用し、X”として特徴点データベース301で管理している点を利用することを想定しており、特徴点データベース301で管理している数値データの値を次々代入して調べることで、マッチングを行うことができる。
【0028】
図4は、利用者がカメラ付き携帯端末(この例では携帯電話)で行う処理を説明する図である。利用者は、携帯端末20を操作して、掲示板に描画された地形・区画を撮影しながら、撮影画像を電子掲示板コンピュータ10に送信する。電子掲示板コンピュータは、画像認識サーバからの撮影画像の認識結果取得し、これに伴い利用者が選択した施設に関する情報を取得して表示する。
【0029】
まず、ステップ601において、利用者は携帯端末20の電源を入れ、カメラ201の機能を利用可能な状態にする。ステップ602において、携帯端末20でカメラ201を起動して、携帯端末20のディスプレイで撮影対象を確認しながら、撮影した画像もしくは動画を所定間隔でネットワークを通じて電子掲示板コンピュータ10に送付するためのアプリケーションを起動する。
【0030】
ステップ603において、掲示板401の地図上で指定された初期位置404を携帯端末20のディスプレイで確認しながら、カメラ201の撮影視野に入れる。ステップ604において、掲示板401の地図上で利用者が目的とする施設205まで、ステップ602で起動したアプリケーションによって撮影を行いながら、ネットワークを通じて電子掲示板コンピュータ10へ画像の送信を行う。ステップ605において、利用者が目的とする施設205がカメラ201の撮影視野に入り、携帯端末20のディスプレイで表示された状態406になると、撮影に伴う移動を停止し、目的とする施設が携帯端末20に表示された状態で、目的施設を決定するための操作(決定ボタンの操作)を行う。この情報は電子掲示板コンピュータを介して画像認識サーバに伝送される。
【0031】
ステップ606において、電子掲示板コンピュータは、画像認識サーバからの撮影画像の認識結果を取得し、これに伴い利用者が選択した施設に関する情報を施設データベースを参照して取得し、カメラ201の視野に入った施設の施設名(複数ある場合は施設名一覧)を携帯端末20のディスプレイに表示する(図2b参照)。ステップ607において、利用者は、ステップ606で得られた施設名一覧の中から、さらに詳しい情報の入手を希望する施設名の選択する操作を行うかどうかを決定し、操作を行う場合には、ステップ608において、施設名を選択した施設に関する詳細な情報を電子掲示板コンピュータから受け取り、携帯端末20のディスプレイに表示する(図2c参照)。
【0032】
図5は、電子掲示板コンピュータの処理を説明する図である。電子掲示板コンピュータ10は、掲示板に表示した地域(周辺地域)の地図データおよび地域内にある各施設に関する情報(地図データおよび施設データ)を管理する。また、利用者の持つ携帯端末20と送受信を行い、利用者がカメラ201で撮影した地図画像を画像認識サーバ30に送付し、地図画像の認識結果を受け取る。また、この認識結果をもとに利用者が選択した施設に関する情報を利用者が持つ携帯端末に送信する。
【0033】
まず、ステップ701において、掲示板401が設置されている周辺地域の地形、区画が造成などによって変更があり、地図データ107や特徴点データベース301の内容に変更が必要か否かを判別する。ステップ701の判別の結果、変更が必要ならば、ステップ702において周辺地域の地形、区画等の変更に併せて地図データ107や特徴点データベース301の内容に変更を行う。ステップ703において、店舗の入れ替え、改装、改築、場所の移動などによって、施設の基本情報の変更、追加や、新商品の発売開始やキャンペーン、特売等の広告等、変更や追加があるか否かを判別する。ステップ703の判別の結果、変更・追加が必要であれば、ステップ704において、施設の情報を管理している施設データベース101の対応する項目に関して、変更・追加を行う。
【0034】
ステップ705において、利用者から携帯端末20を用いて地図を撮影した画像の送付が行われたか否かを判別する。ステップ705の判別の結果、利用者による画像の送付が行われた場合は、ステップ706において画像の認識を行うために、受信した画像を画像認識サーバ30に伝送する。ステップ707において、画像認識サーバ30から、利用者が携帯端末20で撮影した画像が正常に認識されたか否かの判別結果を受信する。正常に認識された場合は、ステップ708において、画像認識サーバ30より掲示板上において画像が撮影された範囲とその代表点の座標が送られる。ステップ707において正常に認識できなかった場合は、ステップ709において、認識が不可能である旨の通知を画像認識サーバより受け取り、利用者の携帯端末20のディスプレイに表示する。
【0035】
ステップ710において、撮影された範囲内に立地する施設を施設データベース101より検索し、認識結果を利用者の携帯端末20のディスプレイに表示する。ステップ711において、利用者が所持する携帯端末20を用いて、認識した施設に関するさらに詳しい情報を閲覧するための操作を行ったか否かを判別する。利用者がさらに詳しい情報を得るための操作を行ったと判定した場合は、ステップ712において、利用者が携帯端末20を操作して選択した施設に関する情報を施設データベース101から取得して利用者に配信する。ステップ713において、続けて認識を行うか否かを判別し、行う場合にはステップ705から改めて処理を行う。
【0036】
図6は、画像認識サーバ30の処理を説明する図である。画像認識サーバ30は、利用者がカメラ付き携帯端末20を用いて撮影した掲示板の一部区画の撮影画像を電子掲示板コンピュータ10を介して受信し、撮影された画像が地図中のどの部分を撮影したものなのかを認識して、認識結果を電子掲示板コンピュータ10に送信する。この図の例では、図3で示した計算手法を用いて処理を行う。
【0037】
まず、ステップ801において、利用者が携帯端末20を操作して掲示板401に表示された地図を撮影した画像を、電子掲示板コンピュータ10を介して受信し、受信した画像に二値化や細線化などの画像処理を施し、画像を特徴付ける特徴点を抽出する。例えば、812に示す元画像から、813に示すように細線化を行い、線分の交点を特徴点として抽出する。ステップ802において、ステップ801の処理により得られた画像の特徴点が4点以上存在するか否かを判別する。4点以上の特徴点の存在が確認できる場合には、ステップ803において、特徴点の4点間を結ぶ6本の線分を決定する。ステップ802において、4点以上の特徴点の存在が確認できない場合は、ステップ804において、利用者の携帯端末20に、現在携帯端末20から受信した画像は、認識不可であることを通知する。
【0038】
次に、ステップ805において、特徴点間を結ぶ6本の線分から、長さを計算する4本の線分を決定する。例えば、814のように4点間の6本の線分から、4本の線分を選択する。ステップ806において、画像の特徴点を結ぶ4本の線分の長さを計算した値と、特徴点データベース301にて管理しているあらかじめ抽出された特徴点の候補から選ばれた4点間の距離をすべての特徴点の候補に対して計算を行い、画像中の4点の特定を行う。
【0039】
ステップ807において、画像の4つの特徴点を結ぶ6本の線分のうち、ステップ806で計算に用いられなかった残りの二本の線分と、特徴点データベース301から選ばれた特徴点の候補を結ぶ二本の線分の距離を計算することで検算を行う。例えば、815のように4点間で距離の計算を行わなかった残りの2本の線分から、検算を行う。
【0040】
ステップ808において、解の候補として選ばれた画像中の4つの特徴点と、その特徴点に対応する特徴点データベース301で管理している点は、関係式を用いて計算した結果、あらかじめ設定した誤差内に収まって対応しているか否かを判別する。対応していると判断できる場合は、ステップ809において、得られた4点の特徴点を、特徴点データベース301にて管理している4点として特定する。ステップ808において、対応していると判断できないときは、特徴点データベースで選択した特徴点の候補が間違っていたと判断し、候補を選びなおす。
【0041】
ステップ810において、携帯端末20のカメラ201が撮影した視野の範囲を特定する。ステップ811において、ステップ810において特定した撮影範囲を電子掲示板コンピュータ10に通知する。なお、図6に示す認識処理に代えて、一般的な写真画像の画像認識を行う手法を用いることができる。
【0042】
図7は、電子掲示板コンピュータ10が管理する施設データベース101を説明する図である。施設データベース101は、周辺地域の施設とその案内情報、例えば地図に表示する周辺地域内に立地する施設に関連して地図内での表示位置や店舗の立地場所、利用者にアピールを行うための施設の連絡先や広告のための商品画像等のコンテンツを格納している。
【0043】
図において、テーブル901は地図で描画されている周辺地域内に立地する施設に対してそれぞれ与えられる固有番号であり、行の数は情報サービスを利用者に提供可能な施設の総数だけ存在する。テーブル902はテーブル901で固有番号を与えられた施設の名称であり、利用者が施設の検索を行った時には、店名や施設名として携帯端末20のディスプレイに表示される。テーブル903はテーブル901で固有番号を与えられた施設に関して、地図上の座標であり、利用者が撮影している画像の撮影範囲を認識したときに、視野内に含んでいる施設を確定するために用いる。テーブル904はテーブル901で固有番号を与えられた施設の住所であり、利用者が施設の検索を行ったときには、施設が立地する住所として携帯端末20のディスプレイに表示される。テーブル905はテーブル901で固有番号を与えられた施設の連絡先であり、利用者が施設の検索を行ったときには、電話番号や電子メールアドレスなどの施設と連絡をとるための連絡先として携帯端末20のディスプレイに表示される。テーブル906はテーブル901で固有番号を与えられた施設の種別であり、利用者が施設の検索を行ったときには、施設の業種や利用目的として携帯端末20のディスプレイに表示される。テーブル907はテーブル901で固有番号を与えられた施設に関して、利用者に向けた広告・宣伝・告知などの基本情報であり、施設に関するテキスト文章であったり、視覚的に効果のある画像データ、ムービーデータのファイルを一意に示す固有番号であり、利用者にアピールを行う広告等のための商品画像等のコンテンツとして、携帯端末20のディスプレイに表示される。
【0044】
なお、以上の例では携帯端末20のディスプレイに表示したが、電子掲示板コンピュータのディスプレイ106に表示しても良い。
【0045】
図8は、画像認識サーバ20が管理する特徴点データベース301を説明する図である。特徴点データベース101は、画像認識サーバ20が図6に示す処理を行う際の画像認識プロセスにおいて、利用者が撮影した撮影画像の画像処理によって得られた特徴点と比較することにより、前記撮影画像が示している地図上の地形・区画を認識するために用いられる数値化されたテンプレートをデータベースとして管理している。
【0046】
図において、テーブル1001は、地図上で描画されている地形・区画の特徴を点で現す特徴点に対してそれぞれ与えられる固有番号であり、行の数は特徴点の総数分存在する。テーブル1002は、テーブル1001で固有番号が与えられた特徴点の地図上の座標を数値で表したものであり、利用者が携帯端末20を用いて撮影した画像が示している地図上の地形・区画を画像処理した結果得られた特徴点と比較を行うために用いられる。
【0047】
以上説明したように、本実施形態によれば、周辺地域の地図を表示した掲示板の一部区画を撮影した画像をもとに、撮影場所を特定し、特定した場所に含まれる施設の詳細情報を表示するので、目的地までの道順を確認しつつ、その目的地の詳細情報を得ることができる。また、目的地があいまいな利用者にとっては、地図を見ながら地域内の施設をリアルタイムで比較しながら、目的地を決めることができる。また、利用者は地図情報の他、自分が気になる施設の情報を、自分が所有する携帯端末を用いて閲覧し、利用することができる。
【図面の簡単な説明】
【0048】
【図1】地域案内システムの全体構成を説明する図である。
【図2】利用者が案内サービスを受ける際の操作を説明する図である。
【図3】掲示板を斜め方向から撮影した画像と、地図画像をもとに作成した特徴点データベースとのマッチングを行う際の座標変換処理を説明する図である。
【図4】利用者がカメラ付き携帯端末で行う処理を説明する図である。
【図5】電子掲示板コンピュータの処理を説明する図である。
【図6】画像認識サーバの処理を説明する図である。
【図7】電子掲示板コンピュータが管理する施設データベースを説明する図である。
【図8】画像認識サーバが管理する特徴点データベースを説明する図である。
【符号の説明】
【0049】
10 電子掲示板コンピュータ
20 携帯端末
30 画像認識サーバ
101 施設データベース
102 携帯電話基地局アンテナ
103 近距離無線通信アンテナ
104 赤外線通信装置
105 メモリカード用スロット
106 ディスプレイ
201 カメラ
202 近距離無線通信装置
203 赤外線通信装置
204 メモリカード
205 メモリカード用スロット
301 特徴点データベース

【特許請求の範囲】
【請求項1】
周辺地域の地図を表示した掲示板と、
周辺地域の地図情報を格納した地図データベースおよび前記周辺地域の施設とその案内情報を格納した施設データベースを備えた電子掲示板コンピュータと、
前記周辺地域の地図の特徴点を格納した特徴点データベースを備え、掲示板の一部区画を撮影した画像を端末から順次受信し、受信した画像の地図上における位置を前記特徴点データベースを参照して認識する画像認識サーバを備え、
電子掲示板コンピュータは、画像認識サーバから受信した画像の地図上における位置情報を受信し、受信した位置情報をもとに、受信した画像内に含まれる施設および施設の案内情報を検索し、検索した情報を前記端末に送信することを特徴とする地域案内システム。
【請求項2】
請求項1記載の地理案内システムにおいて、
電子掲示板コンピュータは、受信した位置情報をもとに、受信した画像内に複数の施設が含まれるとき各施設に識別情報を表示して前記端末に送信することを特徴とする地域案内システム。
【請求項3】
請求項1記載の地理案内システムにおいて、
周辺地域の地図を表示した掲示板は、端末で最初に撮影すべき区画の案内表示を備えることを特徴とする地域案内システム。
【請求項4】
請求項1記載の地理案内システムにおいて、
電子掲示板コンピュータは、端末からの要求をもとに、受信した画像内に含まれる施設の案内情報に加えて詳細情報を前記端末に送信することを特徴とする地域案内システム。
【請求項5】
請求項1記載の地理案内システムにおいて、
電子掲示板コンピュータは、受信した画像内に含まれる施設および施設の案内情報を表示するディスプレイを備えたことを特徴とする地域案内システム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2006−3963(P2006−3963A)
【公開日】平成18年1月5日(2006.1.5)
【国際特許分類】
【出願番号】特願2004−176891(P2004−176891)
【出願日】平成16年6月15日(2004.6.15)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.Bluetooth
【出願人】(504373093)日立オムロンターミナルソリューションズ株式会社 (1,225)