説明

写真マッピング方法及びシステム、並びにプログラム及び記憶媒体

【課題】写真に付与されるメタ情報を有機的に活用した検索や、リアルタイムで視界に入る建造物に関する情報の検索や、特定の人物が被写体になっている写真の検索も可能にする写真マッピング方法と、それを実施するシステム、プログラム、そのプログラムの記憶媒体を提供する。
【解決手段】地理情報を有する写真画像データを、その撮影地点に応じて地図データに対応付けて管理し、利用者地点検知手段及び利用者視線検知手段によって得られた利用者視野条件データを、検索対象に関する検索条件として入力される検索条件入力部と、検索結果の表示方法に関する条件が入力される表示条件入力部と、利用者視野に含まれる建造物に関する表示演算処理データをサーバーから受信して出力する表示出力部と、検索条件入力部からの検索条件データと表示条件入力部からの表示条件データをサーバーへ送信し、サーバーから表示演算処理データを受信する通信手段とを設ける。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、地理情報を有する写真を、その撮影地点に応じて地図に対応付けて蓄積する
ことを基礎にして、所望の写真の検索や、写真に付帯する地理情報の入手を可能にする方
法、並びに、その写真マッピング方法を実施するシステム、プログラム、記憶媒体に関す
る。
【背景技術】
【0002】
カメラ機能の優れた携帯電話やデジタルカメラなどの普及に伴い、写真の撮影数も膨大
になっている。戸外で撮影されて地理情報を有する写真は、多数の人が、同じ被写体を撮
影していることが少なくない。そのため、地理情報を有する写真を集めて管理しデータベ
ース化することが進められつつある。
その管理に当たっては、例えば、写真に、その撮影条件のメタ情報を付加し、メタ情報に
基づいて写真を管理し検索に利用する方法が取り入れられる。
【0003】
写真の蓄積数が増大すると、それを用いた多様なサービスが可能になる。例えば、散策
時に眼中に入った建物の名前を知らせるカーナビに類したサービスや、誰か他人によって
撮影された自分が写っている写真を提供するサービスも可能になりうる。
【0004】
風景や建物の写真など、地理情報を有する写真を、その撮影地点に応じて、電子地図な
どの地図に対応付けるシステムは、従来から知られている。
例えば、特許文献1には、デジタルカメラ付き携帯端末で撮影した写真画像に、時刻情
報と撮影方角と撮影位置とからなる撮影識別情報を付加した撮影識別情報付き写真画像を
監視センターのサーバーへ送信し、そのサーバーが撮影位置を含む地図またはデジタル写
真画像を端末の画面に提供する位置方位付き写真提供システムが開示されている。これに
よると、写真と写真の撮影位置、方角、時刻を関連付け、写真の撮影位置と方角がわかる
ように、方角を矢印で表現し地図上に重ねて表示することができる。
しかし、このシステムにおける撮影方向の情報としては、矢印で方角を表すのみで、仰
角は対象になっていない。また、矢印を画面に表示する場合、例えばカーナビゲーション
のように、画面の上部の方向が必ずしも北を指さない場合には、方角が直感的にはわかり
にくいという問題が生じる。
【0005】
【特許文献1】特開2007−52809
【0006】
特許文献2には、写真の被写体と写真を関連づけて蓄積し、被写体に関連する写真の検
索を容易にするシステムが開示されている。
しかし、利用者が2枚の写真を見比べて、同一の被写体か否かを判断して逐一入力する必
要があり、また、空間的な配置を指定した検索ができないという難がある。
【0007】
【特許文献2】特開2002−279397
【0008】
特許文献3には、移動体である被写体と写真を関連づけて蓄積し、被写体に関連する写
真の検索を容易にするシステムが開示されている。被写体の位置をGPS等により取得して
被写体を認識し、写真と被写体を関連づけて写真を管理し、指定された被写体を検索する
ことができる。
しかし、このシステムでは、位置情報を基に被写体の認識を行い、画像と関連づけて蓄
積しているため、写真撮影時に被写体の位置情報を取得できなかった場合には、被写体の
写った写真の検索ができない。また、登録時に被写体を認識しているため、予め被写体が
撮影者に対して被写体を特定する情報の提供を許諾する必要があるという難がある。
【0009】
【特許文献3】特開2004−326192
【0010】
しかしながら、従来技術では、写真を撮影した方向としての仰角や、写真に写っている
領域などに関する情報が欠けているため、写真を直感的に効率よく検索することが容易で
なかった。また、写真に写っている建物や、リアルタイムで視界に入っている建物の名前
等を検索したり、他人によって撮影された自分が写っている写真を検索することはできな
かった。
【0011】
そのような状況下で、本発明者は、特許文献4に、仰角に関する情報も得て、風景や建
物などの地理情報を有する多数の写真を、その撮影地点に応じて地図に対応付けて蓄積管
理すると共に、所望の写真を直感的に効率よく検索する基本的な写真マッピングシステム
を考案している。
なお、仰角情報が得られると、建物の近くで見上げて撮影した場合や、建物の階数に関す
る情報が地図データに含まれている場合などにも有用である。
【0012】
【特許文献4】特願2007-313042
【発明の開示】
【発明が解決しようとする課題】
【0013】
そこで、本発明は、本発明者の特許文献4における基本的な写真マッピングシステムを
応用して、写真に付与されるメタ情報を有機的に活用した検索や、リアルタイムで視界に
入る建造物に関する情報の検索や、特定の人物が被写体になっている写真の検索も可能に
する写真マッピング方法と、それを実施するシステム、プログラム、そのプログラムの記
憶媒体を提供することを課題とする。
【課題を解決するための手段】
【0014】
上記課題を解決するために、本発明の写真マッピングシステムは次の構成を備える。
すなわち、写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末
と、撮影端末で撮影された写真及び撮影条件を記録すると共に、それらのデータを演算処
理する手段を少なくとも有するサーバーと、サーバーとアクセスしデータを入出力可能な
利用者端末と、を備え、地理情報を有する写真画像データを、その撮影地点に応じて地図
データに対応付けて管理し、その写真マッピングに関する情報を利用者に提供するシステ
ムであって、撮影端末には、写真を撮影する撮影手段と、写真を撮影した地点を検知する
撮影地点検知手段と、写真を撮影した方角を検知する撮影方向検知手段と、写真を撮影す
る画角を検知する撮影範囲検知手段と、撮影手段によって得られた写真画像データと、撮
影地点検知手段及び撮影方向検知手段及び撮影範囲検知手段によって得られた撮影条件デ
ータを、サーバーへ送信する通信手段と、を設け、サーバーには、撮影端末から受信した
写真画像データを記録する写真画像データ記録部と、撮影端末から受信した撮影条件デー
タを記録する撮影条件データ記録部と、地図データを記録する地図データ記録部と、撮影
端末から受信した撮影条件データから、それに対応する写真画像データに含まれている撮
影範囲を算出し、その撮影範囲と地図データを重ね合わせて比較対照し、その撮影範囲に
含まれている所定の長さ以上の線分を検出し、その線分の位置が、写真画像データに含ま
れる建造物の位置と一致すれば、その写真画像データ中の線分を地図データ中の建造物の
一部と同定し、その同定情報を撮影条件データとして撮影条件データ記録部へ保存する登
録演算処理部と、利用者端末から受信する検索条件データに応じて、撮影条件データ記録
部に蓄積された撮影条件データを検索し、得られた撮影条件データに対応する写真画像デ
ータまたは地図データを、それぞれ写真画像データ記録部または地図データ記録部から検
索処理する検索演算処理部と、検索演算処理部からの出力と、利用者端末から受信する表
示条件データに応じて、撮影条件データとそれに対応する写真画像データまたは地図デー
タを連結して表示処理する表示演算処理部と、撮影端末及び利用者端末とデータ送受信す
る通信手段と、を設け、利用者端末には、その利用者端末を所持する利用者の地点を検知
する利用者地点検知手段と、利用者の向いている方角を検知する利用者視線検知手段と、
利用者地点検知手段及び利用者視線検知手段によって得られた利用者視野条件データを、
検索対象に関する検索条件として入力される検索条件入力部と、検索結果の表示方法に関
する条件が入力される表示条件入力部と、利用者視野に含まれる建造物に関する表示演算
処理データをサーバーから受信して出力する表示出力部と、検索条件入力部からの検索条
件データと表示条件入力部からの表示条件データをサーバーへ送信し、サーバーから表示
演算処理データを受信する通信手段と、を設けたことを特徴とする。
【0015】
または、同様に、写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮
影端末と、撮影端末で撮影された写真及び撮影条件を記録すると共に、それらのデータを
演算処理する手段を少なくとも有するサーバーと、サーバーとアクセスしデータを入出力
可能な利用者端末と、を備え、地理情報を有する写真画像データを、その撮影地点に応じ
て地図データに対応付けて管理し、その写真マッピングに関する情報を利用者に提供する
システムであって、撮影端末には、写真を撮影する撮影手段と、写真を撮影した地点を検
知する撮影地点検知手段と、写真を撮影した方角を検知する撮影方向検知手段と、写真を
撮影する画角を検知する撮影範囲検知手段と、撮影手段によって得られた写真画像データ
と、撮影地点検知手段及び撮影方向検知手段及び撮影範囲検知手段によって得られた撮影
条件データを、サーバーへ送信する通信手段と、を設け、サーバーには、撮影端末から受
信した写真画像データを記録する写真画像データ記録部と、撮影端末から受信した撮影条
件データを記録する撮影条件データ記録部と、地図データを記録する地図データ記録部と
、撮影端末から受信した撮影条件データから、それに対応する写真画像データに含まれて
いる撮影範囲を算出し、その撮影範囲と地図データを重ね合わせて比較対照し、その撮影
範囲に含まれている所定の長さ以上の線分を検出し、その線分の位置が、写真画像データ
に含まれる建造物の位置と一致すれば、その写真画像データ中の線分を地図データ中の建
造物の一部と同定し、その同定情報を撮影条件データとして撮影条件データ記録部へ保存
する登録演算処理部と、利用者端末から受信する検索条件データに応じて、撮影条件デー
タ記録部に蓄積された撮影条件データを検索し、得られた撮影条件データに対応する写真
画像データまたは地図データを、それぞれ写真画像データ記録部または地図データ記録部
から検索処理する検索演算処理部と、検索演算処理部からの出力と、利用者端末から受信
する表示条件データに応じて、撮影条件データとそれに対応する写真画像データまたは地
図データを連結して表示処理する表示演算処理部と、撮影端末及び利用者端末とデータ送
受信する通信手段と、を設け、利用者端末には、所望の検索対象に関する検索条件が入力
される検索条件入力部と、検索結果の表示方法に関する条件が入力される表示条件入力部
と、検索対象に関する表示演算処理データをサーバーから受信して出力する表示出力部と
、検索条件入力部からの検索条件データと表示条件入力部からの表示条件データをサーバ
ーへ送信し、サーバーから表示演算処理データを受信する通信手段と、を設けたことを特
徴とする。
【0016】
または、同様に、写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮
影端末と、撮影端末で撮影された写真及び撮影条件を記録すると共に、それらのデータを
演算処理する手段を少なくとも有するサーバーと、サーバーとアクセスしデータを入出力
可能な利用者端末と、を備え、地理情報を有する写真画像データを、その撮影地点に応じ
て地図データに対応付けて管理し、その写真マッピングに関する情報を利用者に提供する
システムであって、撮影端末には、写真を撮影する撮影手段と、写真を撮影した地点を検
知する撮影地点検知手段と、写真を撮影した方角を検知する撮影方向検知手段と、写真を
撮影する画角を検知する撮影範囲検知手段と、写真を撮影した時刻を検知する撮影時刻検
知手段と、撮影手段によって得られた写真画像データと、撮影地点検知手段及び撮影方向
検知手段及び撮影範囲検知手段及び撮影時刻検知手段によって得られた撮影条件データを
、サーバーへ送信する通信手段と、を設け、サーバーには、撮影端末から受信した写真画
像データを記録する写真画像データ記録部と、撮影端末から受信した撮影条件データを記
録する撮影条件データ記録部と、地図データを記録する地図データ記録部と、利用者端末
から受信する検索条件データに応じて、撮影条件データ記録部に蓄積された撮影条件デー
タを検索し、得られた撮影条件データに対応する写真画像データまたは地図データを、そ
れぞれ写真画像データ記録部または地図データ記録部から検索処理する検索演算処理部と
、検索演算処理部からの出力と、利用者端末から受信する表示条件データに応じて、撮影
条件データとそれに対応する写真画像データまたは地図データを連結して表示処理する表
示演算処理部と、撮影端末及び利用者端末とデータ送受信する通信手段と、を設け、利用
者端末には、地点及び時刻を、検索対象に関する検索条件として入力される検索条件入力
部と、検索結果の表示方法に関する条件が入力される表示条件入力部と、指定の地点及び
時刻に適する写真画像データに関する表示演算処理データをサーバーから受信して出力す
る表示出力部と、検索条件入力部からの検索条件データと表示条件入力部からの表示条件
データをサーバーへ送信し、サーバーから表示演算処理データを受信する通信手段と、を
設けたことを特徴とする。
【0017】
ここで、撮影端末から受信した撮影条件データから、それに対応する写真画像データに
含まれている撮影範囲を算出し、その撮影範囲と地図データを重ね合わせて比較対照し、
その撮影範囲に含まれている所定の長さ以上の線分を検出し、その線分の位置が、写真画
像データに含まれる建造物の位置と一致すれば、その写真画像データ中の線分を地図デー
タ中の建造物の一部と同定し、その同定情報を撮影条件データとして撮影条件データ記録
部へ保存する登録演算処理部を設けてもよい。
【0018】
上述のいずれかのシステムにおいて、撮影端末の撮影地点検知手段または利用者端末の
利用者地点検知手段に、GPSを用いて、撮影地点や利用者のいる地点の検知に寄与させ
てもよい。
【0019】
また、撮影端末の撮影方向検知手段または利用者端末の利用者視線検知手段に、方角を
検知する電子コンパスと仰角を検知する加速度センサーを設けて、方向に関する詳細な情
報の取得に寄与させてもよい。
【0020】
撮影端末に、写真を撮影した人を特定する撮影者登録手段を設け、その撮影者情報を撮
影条件データに加えて、撮影条件に関する詳細な情報の取得に寄与させてもよい。
【0021】
撮影端末としては、カメラ付き携帯電話、または通信装置付きデジタルカメラを用い、
その通信手段にメール送受信装置、またはウェブアクセス装置を用いることが簡便である

【0022】
その場合は、サーバーに、撮影端末から受信したメールを、写真画像データと撮影条件
データに分割し、それぞれ写真画像データ記録部及び撮影条件データ記録部に保存処理す
るデータ分割演算処理部を設けることが好ましい。
【0023】
利用者端末に、少なくとも利用者地点検知手段によって得られる利用者端末を所持する
利用者の地点と、利用者視線検知手段によって得られる利用者の向いている方角とを、略
リアルタイムで連続的にサーバーへ送信すると共に、サーバーの表示演算処理部で処理さ
れたデータを、略リアルタイムで連続的に受信して、表示出力部に表示するナビゲーショ
ン手段を設けて、移動時の利便に寄与させてもよい。
【0024】
ナビゲーション手段によって利用者端末の表示出力部に表示されるデータとしては、利
用者の現存地点及びその周辺に関連する地図、或いは、建造物の名称、建造物に居住する
テナントの名称、自然のランドマークの名称、それら建造物または自然のランドマークの
写真または図、それら建造物またはテナントまたは自然のランドマークに関する説明文ま
たは連絡先または詳細情報へのリンクのいずれかが利用できる。
【0025】
本発明の写真マッピング方法は次の構成を備える。
すなわち、写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末
と、撮影端末で撮影された写真及び撮影条件を記録すると共に、それらのデータを演算処
理する手段を少なくとも有するサーバーと、サーバーとアクセスしデータを入出力可能な
利用者端末と、それら撮影端末、サーバー、利用者端末の間でデータ授受を行う通信手段
とを備えたシステムで、地理情報を有する写真画像データを、その撮影地点に応じて地図
データに対応付けて管理し、その写真マッピングに関する情報を利用者に提供する方法に
おいて、撮影端末では、撮影手段によって、写真を撮影する写真撮影ステップと、撮影地
点検知手段によって、写真を撮影した地点を検知する撮影地点検知ステップと、撮影方向
検知手段によって、写真を撮影した方角を検知する撮影方向検知ステップと、撮影範囲検
知手段によって、写真を撮影する画角を検知する撮影範囲検知ステップと、通信手段によ
って、撮影手段で得られた写真画像データと、撮影地点検知手段及び撮影方向検知手段及
び撮影範囲検知手段で得られた撮影条件データを、サーバーへ送信する元データ送信ステ
ップと、を行い、サーバーでは、通信手段によって、撮影端末から送信された写真画像デ
ータと撮影条件データを受信する元データ受信ステップと、写真画像データ記録部によっ
て、撮影端末から受信した写真画像データを記録する写真画像データ記録ステップと、撮
影条件データ記録部によって、撮影端末から受信した撮影条件データを記録する撮影条件
データ記録ステップと、登録演算処理部によって、写真画像データに含まれている撮影範
囲を、その撮影条件データから算出する撮影範囲算出ステップと、その撮影範囲と地図デ
ータを重ね合わせて比較対照する撮影範囲対照ステップと、その写真画像データに含まれ
ている所定の長さ以上の線分を検出する線分検出ステップと、その線分の位置を、地図デ
ータに含まれる建造物の位置と比較対照する線分対照ステップと、その線分対照ステップ
において、線分の位置と写真画像データに含まれる建造物の位置が一致すれば、その写真
画像データ中の線分を地図データ中の建造物の一部と同定する線分同定ステップと、その
同定情報を撮影条件データとして撮影条件データ記録部へ追加保存する線分登録ステップ
と、通信手段によって、利用者端末から送信された検索条件データと表示条件データを受
信する検索表示条件受信ステップと、検索演算処理部によって、利用者端末から受信した
検索条件データに対応する撮影条件データを撮影条件データ記録部から検索処理する撮影
条件データ検索ステップと、得られた撮影条件データに対応する写真画像データを写真画
像データ記録部から検索処理する写真画像データ検索ステップと、得られた撮影条件デー
タに対応する地図データを、予め地図データを蓄積した地図データ記録部から検索処理す
る地図データ検索ステップと、表示演算処理部によって、利用者端末から受信した表示条
件データに対応する形式で、撮影条件データとそれに対応する写真画像データまたは地図
データを連結処理して表示データを生成する表示データ生成ステップと、通信手段によっ
て、表示データを利用者端末へ送信する表示データ送信ステップと、を行い、利用者端末
では、利用者地点検知手段によって、利用者端末を所持する利用者の地点を検知する利用
者地点検知ステップと、利用者視線検知手段によって、利用者の向いている方角を検知す
る利用者視線検知ステップと、検索条件入力部によって、利用者地点検知手段及び利用者
視線検知手段によって得られた利用者視野条件データを、検索対象に関する条件として入
力する検索条件入力ステップと、表示条件入力部によって、検索結果の表示方法に関する
条件を入力する表示条件入力ステップと、通信手段によって、検索条件データと表示条件
データをサーバーへ送信する検索表示条件送信ステップと、通信手段によって、サーバー
から表示データを受信する表示データ受信ステップと、表示出力部によって、利用者視野
に含まれる建造物に関する表示データを画像として出力する画像表示ステップと、を行う
ことを特徴とする。
【0026】
ここで、利用者端末における利用者地点検知ステップと利用者視線検知ステップと検索
条件入力ステップと表示条件入力ステップと検索表示条件送信ステップと、サーバーにお
ける検索表示条件受信ステップと撮影条件データ検索ステップと写真画像データ検索ステ
ップと地図データ検索ステップと表示データ生成ステップと表示データ送信ステップと、
更に、利用者端末における表示データ受信ステップと画像表示ステップと、を利用者端末
とサーバーとの間で連続的に繰り返し行うことでナビゲーションを実行することに寄与さ
せてもよい。
【0027】
または、写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と
、撮影端末で撮影された写真及び撮影条件を記録すると共に、それらのデータを演算処理
する手段を少なくとも有するサーバーと、サーバーとアクセスしデータを入出力可能な利
用者端末と、それら撮影端末、サーバー、利用者端末の間でデータ授受を行う通信手段と
を備えたシステムで、地理情報を有する写真画像データを、その撮影地点に応じて地図デ
ータに対応付けて管理し、その写真マッピングに関する情報を利用者に提供する方法にお
いて、撮影端末では、撮影手段によって、写真を撮影する写真撮影ステップと、撮影地点
検知手段によって、写真を撮影した地点を検知する撮影地点検知ステップと、撮影方向検
知手段によって、写真を撮影した方角を検知する撮影方向検知ステップと、撮影範囲検知
手段によって、写真を撮影する画角を検知する撮影範囲検知ステップと、通信手段によっ
て、撮影手段で得られた写真画像データと、撮影地点検知手段及び撮影方向検知手段及び
撮影範囲検知手段で得られた撮影条件データを、サーバーへ送信する元データ送信ステッ
プと、を行い、サーバーでは、通信手段によって、撮影端末から送信された写真画像デー
タと撮影条件データを受信する元データ受信ステップと、写真画像データ記録部によって
、撮影端末から受信した写真画像データを記録する写真画像データ記録ステップと、撮影
条件データ記録部によって、撮影端末から受信した撮影条件データを記録する撮影条件デ
ータ記録ステップと、登録演算処理部によって、写真画像データに含まれている撮影範囲
を、その撮影条件データから算出する撮影範囲算出ステップと、その撮影範囲と地図デー
タを重ね合わせて比較対照する撮影範囲対照ステップと、その写真画像データに含まれて
いる所定の長さ以上の線分を検出する線分検出ステップと、その線分の位置を、地図デー
タに含まれる建造物の位置と比較対照する線分対照ステップと、その線分対照ステップに
おいて、線分の位置と写真画像データに含まれる建造物の位置が一致すれば、その写真画
像データ中の線分を地図データ中の建造物の一部と同定する線分同定ステップと、その同
定情報を撮影条件データとして撮影条件データ記録部へ追加保存する線分登録ステップと
、通信手段によって、利用者端末から送信された検索条件データと表示条件データを受信
する検索表示条件受信ステップと、検索演算処理部によって、利用者端末から受信した検
索条件データに対応する撮影条件データを撮影条件データ記録部から検索処理する撮影条
件データ検索ステップと、得られた撮影条件データに対応する写真画像データを写真画像
データ記録部から検索処理する写真画像データ検索ステップと、得られた撮影条件データ
に対応する地図データを、予め地図データを蓄積した地図データ記録部から検索処理する
地図データ検索ステップと、表示演算処理部によって、利用者端末から受信した表示条件
データに対応する形式で、撮影条件データとそれに対応する写真画像データまたは地図デ
ータを連結処理して表示データを生成する表示データ生成ステップと、通信手段によって
、表示データを利用者端末へ送信する表示データ送信ステップと、を行い、利用者端末で
は、検索条件入力部によって、所望の検索対象に関する検索条件を入力する検索条件入力
ステップと、表示条件入力部によって、検索結果の表示方法に関する条件を入力する表示
条件入力ステップと、通信手段によって、検索条件データと表示条件データをサーバーへ
送信する検索表示条件送信ステップと、通信手段によって、サーバーから表示データを受
信する表示データ受信ステップと、表示出力部によって、検索対象に関する表示データを
画像として出力する画像表示ステップと、を行うことを特徴とする。
【0028】
または、写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と
、撮影端末で撮影された写真及び撮影条件を記録すると共に、それらのデータを演算処理
する手段を少なくとも有するサーバーと、サーバーとアクセスしデータを入出力可能な利
用者端末と、それら撮影端末、サーバー、利用者端末の間でデータ授受を行う通信手段と
を備えたシステムで、地理情報を有する写真画像データを、その撮影地点に応じて地図デ
ータに対応付けて管理し、その写真マッピングに関する情報を利用者に提供する方法にお
いて、撮影端末では、撮影手段によって、写真を撮影する写真撮影ステップと、撮影地点
検知手段によって、写真を撮影した地点を検知する撮影地点検知ステップと、撮影方向検
知手段によって、写真を撮影した方角を検知する撮影方向検知ステップと、撮影範囲検知
手段によって、写真を撮影する画角を検知する撮影範囲検知ステップと、撮影時刻検知手
段によって、写真を撮影した時刻を検知する撮影時刻検知ステップと、通信手段によって
、撮影手段で得られた写真画像データと、撮影地点検知手段及び撮影方向検知手段及び撮
影範囲検知手段及び撮影時刻検知手段で得られた撮影条件データを、サーバーへ送信する
元データ送信ステップと、を行い、サーバーでは、通信手段によって、撮影端末から送信
された写真画像データと撮影条件データを受信する元データ受信ステップと、写真画像デ
ータ記録部によって、撮影端末から受信した写真画像データを記録する写真画像データ記
録ステップと、撮影条件データ記録部によって、撮影端末から受信した撮影条件データを
記録する撮影条件データ記録ステップと、登録演算処理部によって、写真画像データに含
まれている撮影範囲を、その撮影条件データから算出する撮影範囲算出ステップと、その
撮影範囲と地図データを重ね合わせて比較対照する撮影範囲対照ステップと、その写真画
像データに含まれている所定の長さ以上の線分を検出する線分検出ステップと、その線分
の位置を、地図データに含まれる建造物の位置と比較対照する線分対照ステップと、その
線分対照ステップにおいて、線分の位置と写真画像データに含まれる建造物の位置が一致
すれば、その写真画像データ中の線分を地図データ中の建造物の一部と同定する線分同定
ステップと、その同定情報を撮影条件データとして撮影条件データ記録部へ追加保存する
線分登録ステップと、通信手段によって、利用者端末から送信された検索条件データと表
示条件データを受信する検索表示条件受信ステップと、検索演算処理部によって、利用者
端末から受信した検索条件データに対応する撮影条件データを撮影条件データ記録部から
検索処理する撮影条件データ検索ステップと、得られた撮影条件データに対応する写真画
像データを写真画像データ記録部から検索処理する写真画像データ検索ステップと、得ら
れた撮影条件データに対応する地図データを、予め地図データを蓄積した地図データ記録
部から検索処理する地図データ検索ステップと、表示演算処理部によって、利用者端末か
ら受信した表示条件データに対応する形式で、撮影条件データとそれに対応する写真画像
データまたは地図データを連結処理して表示データを生成する表示データ生成ステップと
、通信手段によって、表示データを利用者端末へ送信する表示データ送信ステップと、を
行い、利用者端末では、検索条件入力部によって、地点及び時刻を検索対象に関する検索
条件として入力する検索条件入力ステップと、表示条件入力部によって、検索結果の表示
方法に関する条件を入力する表示条件入力ステップと、通信手段によって、検索条件デー
タと表示条件データをサーバーへ送信する検索表示条件送信ステップと、通信手段によっ
て、サーバーから表示データを受信する表示データ受信ステップと、表示出力部によって
、指定の地点及び時刻に適する写真画像データに関する表示データを画像として出力する
画像表示ステップと、を行うことを特徴とする。
【0029】
ここで、サーバーの登録演算処理部によって、写真画像データに含まれている撮影範囲
を、その撮影条件データから算出する撮影範囲算出ステップと、その撮影範囲と地図デー
タを重ね合わせて比較対照する撮影範囲対照ステップと、その写真画像データに含まれて
いる所定の長さ以上の線分を検出する線分検出ステップと、その線分の位置を、地図デー
タに含まれる建造物の位置と比較対照する線分対照ステップと、その線分対照ステップに
おいて、線分の位置と写真画像データに含まれる建造物の位置が一致すれば、その写真画
像データ中の線分を地図データ中の建造物の一部と同定する線分同定ステップと、その同
定情報を撮影条件データとして撮影条件データ記録部へ追加保存する線分登録ステップと
、を行ってもよい。
【0030】
また、利用者端末の検索条件入力部で、検索条件の地点を複数入力された場合には、そ
れら複数の地点をつないだ線を、サーバーの検索演算処理部における検索条件の地点とみ
なす線検索ステップを行って、多様な検索に寄与させてもよい。
【0031】
サーバーの被写体正面度算出部で、写真画像データに含まれている人物像の向きと、そ
の写真を撮影した方向とのなす角を算出する被写体正面度検知ステップを行って、正面の
写っている写真の検索に寄与させてもよい。
【0032】
その場合は、サーバーの検索演算処理部で、写真画像データに含まれている人物像の向
きを、その写真画像データに対応する撮影条件データから撮影地点及び撮影時刻を得て、
その地点で略同一時刻にその人物が撮影した別の写真を検索し、その撮影条件データから
撮影方向を求めて、その撮影方向を人物像の向きとみなす人物像方向算出ステップを行う
ことが好適である。
【0033】
利用者端末の表示出力部で、被写体正面度の高い順に写真をランキング表示する被写体
正面度ランキングステップを行って、正面度に重みをおいて所望の写真を検索することに
寄与させてもよい。
【0034】
サーバーの被写体近接度算出部で、写真画像データに含まれている人物像の地点と、そ
の写真を撮影した地点との距離を算出する被写体近接度検知ステップを行って、アップ像
の写っている写真の検索に寄与させてもよい。
【0035】
その場合は、利用者端末の表示出力部で、被写体近接度の高い順に写真をランキング表
示する被写体近接度ランキングステップを行って、近接度に重みをおいて所望の写真を検
索することに寄与させてもよい。
【0036】
サーバーの被写体プライバシー度算出部で、被写体正面度と被写体近接度に重みを掛け
てプライバシー度を算出する被写体プライバシー度算出ステップを行って、プライバシー
の関わる写真の検索に寄与させてもよい。
【0037】
その場合は、利用者端末の表示出力部で、被写体プライバシー度の高い順に写真をラン
キング表示する被写体プライバシー度ランキングステップを行って、プライバシー度に重
みをおいて所望の写真を検索することに寄与させてもよい。
【0038】
サーバーの検索演算処理部で、写真画像データに含まれている人物像の地点とその写真
の撮影地点との間に、建造物が検索された場合には、その写真画像データを検索対象から
除外する遮蔽写真除外ステップを行って、検索の正確性向上に寄与させてもよい。
【0039】
上述のいずれかの方法において、利用者端末の検索条件入力部で、表示出力部に画像表
示された地図上の地点をマウスのクリックにより指定された場合には、サーバーの検索演
算処理部で、利用者端末から受信した検索条件データの検索地点に応じて、その地点に最
も近い写真画像データ中の線分を撮影条件データ記録部から検索し、その線分を含む写真
画像データを写真画像データ記録部から出力する地点検索演算処理ステップを行って、検
索の利便に寄与させてもよい。
【0040】
また、利用者端末の検索条件入力部で、表示出力部に画像表示された地図上の領域をマ
ウスのドラッグにより指定された場合には、サーバーの検索演算処理部で、利用者端末か
ら受信した検索条件データの検索領域に応じて、その領域に含まれる写真画像データ中の
線分を撮影条件データ記録部から検索し、その線分を含む写真画像データを写真画像デー
タ記録部から出力する領域検索演算処理ステップを行って、検索の利便に寄与させてもよ
い。
【0041】
利用者端末の検索条件入力部で、検索地点として地名の入力により指定された場合には
、サーバーの検索演算処理部で、利用者端末から受信した検索条件データの検索地名に応
じて、その地名を撮影条件データとして備えるデータを撮影条件データ記録部から検索し
、その撮影条件データに対応する写真画像データを写真画像データ記録部から出力する地
名検索演算処理ステップを行って、検索の利便に寄与させてもよい。
【0042】
利用者端末の検索条件入力部で、検索地点として建造物名の入力により指定された場合
には、サーバーの検索演算処理部で、利用者端末から受信した検索条件データの検索建造
物名に応じて、その建造物名を撮影条件データとして備えるデータを撮影条件データ記録
部から検索し、その撮影条件データに対応する写真画像データを写真画像データ記録部か
ら出力する建造物名検索演算処理ステップを行って、検索の利便に寄与させてもよい。
【0043】
また、利用者端末の検索条件入力部で、表示出力部で既に画像出力された写真に含まれ
る被写体に対しての関連条件を指定された場合には、サーバーの検索演算処理部で、利用
者端末から受信した検索条件データの関連条件に応じて、その関連条件に適するデータを
撮影条件データ記録部から検索し、その撮影条件データに対応する写真画像データを写真
画像データ記録部から出力する関連写真検索演算処理ステップを行って、関連写真の検索
に寄与させてもよい。
【0044】
関連写真を被写体ベースで検索する場合は、既に画像出力された写真に含まれる被写体
に対しての関連条件を、同じ被写体の同じ部分を重複して含む条件として、同一被写体の
類似の写真を検索することに寄与させてもよい。
【0045】
また、既に画像出力された写真に含まれる被写体に対しての関連条件を、同じ被写体を
含み、撮影地点が略同一で、撮影方向が略同一な条件として、同一被写体の類似の写真を
検索することに寄与させてもよい。
【0046】
既に画像出力された写真に含まれる被写体に対しての関連条件を、同じ被写体を含み、
撮影地点が略同一で、撮影方向が異なる条件として、同一被写体の上下左右の部分の写っ
た写真を検索することに寄与させてもよい。
【0047】
既に画像出力された写真に含まれる被写体に対しての関連条件を、同じ被写体を含み、
撮影地点が異なり、撮影方向が略同一な条件として、同一被写体の左右の部分や遠景近景
の写真を検索することに寄与させてもよい。
【0048】
既に画像出力された写真に含まれる被写体に対しての関連条件を、同じ被写体を含み、
撮影地点が異なり、撮影方向が異なる条件として、同一被写体の背面など別側面の写真を
検索することに寄与させてもよい。
【0049】
関連写真を撮影方向の視線ベースで検索する場合は、既に画像出力された写真に含まれ
る被写体に対しての関連条件を、同じ被写体を必ずしも含まず、撮影地点が略同一で、撮
影方向が異なる条件として、視線ベースで視野に入る上下左右の近隣の被写体の写真やパ
ノラマ写真を検索することに寄与させてもよい。
【0050】
また、既に画像出力された写真に含まれる被写体に対しての関連条件を、同じ被写体を
必ずしも含まず、撮影地点が異なり、撮影方向が略同一な条件として、視線ベースで視野
に入る左右の近隣の被写体の写真を検索することに寄与させてもよい。
【0051】
既に画像出力された写真に含まれる被写体に対しての関連条件を、同じ被写体を必ずし
も含まず、撮影地点が異なり、撮影方向が異なる条件として、移動時などに視線ベースで
視野に入る近隣の被写体の写真を検索することに寄与させてもよい。
【0052】
サーバーの検索演算処理部で、検索条件データの検索領域に含まれる建造物の線分と、
検索地点とを結ぶ線が、他の線分と交差しなければ、その建造物は検索地点からの視界に
入っていると判定する建造物視界判定演算処理ステップを行って、ナビゲーションの利便
に寄与させてもよい。
【0053】
利用者端末の表示出力部で、サーバーの検索演算処理部により検索地点での視界に入っ
ていないと判定された建造物については、視界に入っていると判定された建造物とは異な
る様態で表示処理を行って、ナビゲーションの利便に寄与させてもよい。
【0054】
利用者端末の表示出力部で表示処理するデータとして、検索地点またはその周辺に関連
する地図、または、検索対象の建造物または自然のランドマークへの道順を示して、ナビ
ゲーションの利便に寄与させてもよい。
【0055】
利用者端末の表示出力部で表示処理するデータとしては、建造物または自然のランドマ
ークの写真または図が好適である。
【0056】
利用者端末の表示出力部で表示処理するデータとしては、検索対象の建造物または自然
のランドマークの名称または連絡先または説明文または詳細情報へのリンクが好適である

【0057】
利用者端末の表示出力部で表示処理するデータとしては、検索対象の建造物に居住する
テナントの名称または連絡先または説明文または詳細情報へのリンクが好適である。
【0058】
本発明のプログラムは、上述の写真マッピングシステムまたは写真マッピング方法とし
て、撮影端末またはサーバーまたは利用者端末を機能させることを特徴とする。
【0059】
そのプログラムをコンピュータ用記憶媒体に格納して提供してもよい。
【発明の効果】
【0060】
本発明は、上記構成を備えることにより次の効果を奏する。
すなわち、写真画像データ中の線分を地図データ中の建造物の一部と同定して撮影条件デ
ータとして蓄積するなどによって、写真に付与されるメタ情報を有機的に活用した検索が
行え、更に、利用者端末を所持する利用者の地点と方向を検知することで、リアルタイム
で視界に入る建造物に関する情報を検索してナビゲーションなどに供したり、所望の日時
と地点を指定して特定の人物が被写体になっている写真などの検索も可能となる。
【発明を実施するための最良の形態】
【0061】
以下、本発明の実施形態を、図面に示す実施例を基に説明する。なお、実施形態は下記
の例示に限らず、本発明の趣旨から逸脱しない範囲で、本発明者による特許文献4など、
前記特許文献や従来公知の技術を用いて適宜設計変更可能である。
図1は、本発明による写真マッピングシステムが使用される概要を示す説明図である。
写真マッピングシステムには、写真を撮影すると共に撮影地点を検知する手段を少なくと
も有する撮影端末(1)と、その撮影端末(1)で撮影された写真及び撮影条件を記録す
る手段を少なくとも有するサーバー(2)と、そのサーバー(2)から出力された写真を
地図上に表示する手段を少なくとも有する利用者端末(3)と、インターネット(4)な
どを介して撮影端末(1)、サーバー(2)、利用者端末(3)の間でデータ授受を行う
通信手段とが備わる。
撮影端末(1)、サーバー(2)、利用者端末(3)のいずれも、公知のパソコンで構成
可能であるが、撮影端末(1)としては、カメラ付き携帯電話または無線LANなどの通
信装置付きデジタルカメラが簡易に利用できる。
また、撮影端末(1)と利用者端末(3)とを兼用することも可能である。
【0062】
撮影端末(1)では、撮影した写真の写真画像データ(101)とその撮影条件データ
(102)とから成る元データ(103)を、サーバー(2)へ送信する。
サーバー(2)では、その元データ(103)を写真画像データ(101)と撮影条件デ
ータ(102)とに分割してデータベースに記録し、利用者端末(3)から受信する検索
条件データ(501)と表示条件データ(502)に応じて、該当する写真画像データ(
101)を検索して表示データ(301)を利用者端末(3)へ送信する。
利用者端末(3)では、得られた表示データ(301)を画像出力する。
これを基本的な構成とするが、例えば、サーバー(2)で元データ(103)を写真画像
データ(101)と撮影条件データ(102)とに分割しないで記録してもよいし、撮影
端末(1)から、写真画像データ(101)と撮影条件データ(102)を別々にサーバ
ー(2)へ送信してもよいし、従来公知の技術を用いて適宜変容可能である。
このような全体構成を実現するためのシステムと、その実施方法について、以下に実施例
を挙げて説述する。
【0063】
図2は、本発明による撮影端末(1)の構成図、図3は、そのデータ処理のフローチャ
ートである。
本実施例では、カメラ付きの小型通信端末を挙げる。撮影端末(1)には、演算処理を
司るCPU(11)、それと協働するROM・RAM等のメモリー(12)、ハードディ
スク等の記憶装置(13)、画面表示するモニター(14)、ユーザーの入力をCPUに
伝達する入力デバイス(15)、インターネット等のネットワークと接続して通信するた
めのネットワークアダプタ(16)の他に、デジタル写真などの写真を撮影する撮影手段
(17)と、写真を撮影した地点を検知するGPSセンサーなどの撮影地点検知手段(18
)と、写真を撮影した方角を検知するジャイロセンサーや磁気方位センサー及び仰角を検
知する加速度センサーやモーションセンサーから成る撮影方向検知手段(19)が備わる

なお、仰角を検知する手段は、必須の構成要素ではない。
【0064】
また、写真を撮影する画角を検知する光学系及び撮像系に備わる撮影範囲検知手段(2
0)や、写真を撮影した時刻を検知する撮影時刻検知手段(21)、写真を撮影した人を
特定する撮影者登録手段(22)等を設けてもよい。
写真を撮影する画角は、焦点距離と撮像面のサイズで決められる。すなわち、光学センサ
ー等の撮像面のサイズと、画像を撮像面に投射するレンズの焦点距離によって算出され、
レンズの歪みに応じて補正される。
画角としては、水平画角、垂直画角、対角線画角のいずれも利用できるが、1方向のみ
の場合は水平画角が好ましい。
また、画角は、ズーム撮影時はズームする度に変化した画角を検知することが望ましい
が、撮影の度に検知する必要はない。例えば、初期設定時に1回だけ検知入力し、その値
をサーバーに記録して、常時その値を用いてもよい。このような装置固有の仕様に関する
情報は、画角に限らず、装置を使用する利用者のIDなども含み、同様である。
【0065】
なお、撮影範囲検知手段(20)には、焦点距離や被写界深度を検知する手段を含めて
もよい。それらの情報を含めた場合には、明瞭に撮影される撮影範囲が求められ、含めな
い場合には、撮影されうる撮影範囲が求められる。
撮影時刻検知手段(21)には、撮影端末(1)に内蔵される時計を用いてもよいし、
外部の時刻認証管理サーバーから受信するタイムスタンプを用いてもよい。また、撮影者
登録手段(22)には、撮影端末(1)の入力デバイス(15)を介して入力されるデー
タが利用できる。
【0066】
CPU(11)には、撮影手段(17)や地点検知手段(18)、撮影方向検知手段(
19)、撮影範囲検知手段(20)、撮影時刻検知手段(21)、撮影者登録手段(22
)からの写真画像データ(101)及び撮影条件データ(102)を読み出す元データ読
出部(23)、読み出した元データ(103)を演算処理する元データ処理部(24)、
データを送受するネットワーク送受信部(25)が少なくとも備わる。
【0067】
この構成により、撮影手段(17)による写真撮影(S151)や、撮影地点検知手段
(18)による撮影地点検知(S152)、撮影方向検知手段(19)による撮影方向検
知(S153)、撮影範囲検知手段(20)による撮影範囲検知(S154)、撮影時刻
検知手段(21)による撮影時刻検知(S155)、撮影者登録手段(22)による撮影
者登録(S156)をされた元データ(103)は、元データ読出部(23)によって読
み出される(S157)。そして、元データ処理部(24)によってデータの連結処理を
され(S158)、ネットワーク送受信部(25)によってサーバー(2)へ送信される
(S159)。
この際、元データ処理部(24)によって、元データ(103)を、写真画像を含む写
真画像データ(101)と、撮影条件に関するテキストを含む撮影条件データ(102)
とに分割処理(S160)してもよい。
【0068】
撮影端末(1)からサーバー(2)へデータ送信(S159)するには、カメラ付き携
帯電話などに備わるメール送受信装置や、HTTPを利用して送受信するウェブアクセス
装置を利用するのが簡便である。
インターネット(4)を介する場合には、周知のように電子メールに添付させて送信す
る構成、所定のプロトコルを用いてピアツーピアで送信する構成、ネットワーク上の別の
サーバーに一旦格納した後にユーザーの操作によりFTPやHTTPなどを用いて所定の
サーバー(2)へダウンロードする構成など、従来公知のさまざまなデータ通信方法が利
用可能である。
なお、写真画像データ(101)及び撮影条件データ(102)をネットワーク上の別
サーバーに一旦格納した場合は、そのサーバーのネットワークアドレス(パス・ファイル
名を含む)を、写真画像データ(101)及び撮影条件データ(102)の代用として用
いてもよい。
【0069】
図4は、本発明によるサーバー(2)の構成図、図5は、そのデータ処理のフローチャ
ートである。
サーバー(2)には、演算処理を司るCPU(31)、それと協働するROM・RAM
等のメモリー(32)、ハードディスク等の記憶装置(33)、画面表示するモニター(
34)、ユーザーの入力をCPUに伝達する入力デバイス(35)、インターネット等の
ネットワークと接続して通信するためのネットワークアダプタ(36)が備わる。
【0070】
CPU(31)には、撮影端末(1)や利用者端末(3)とデータを送受するネットワ
ーク送受信部(37)や、撮影端末(1)から受信した写真画像データ(101)及び撮
影条件データ(102)を、それぞれ記憶装置(33)の写真画像データ記録部及び撮影
条件データ記録部に記録蓄積処理する記録蓄積処理部(38)、記録蓄積処理部(38)
から写真画像データ(101)及び撮影条件データ(102)を、それぞれ読み出す写真
画像データ読出部(39)及び撮影条件読出部(40)、利用者端末(3)から送信され
た検索条件データ(501)及び表示条件データ(502)をそれぞれ読み出す検索条件
データ読出部(41)及び表示条件データ読出部(42)、そして、検索演算処理部とし
て、検索条件データ(501)に対応する撮影条件データ(102)を記憶装置(33)
の撮影条件データ記録部から検索処理する撮影条件データ検索部(43)と、得られた撮
影条件データ(102)に対応する写真画像データ(101)を記憶装置(33)の写真
画像データ記録部から検索処理する写真画像データ検索部(44)、得られた撮影条件デ
ータ(102)に対応する地図データ(302)を記憶装置(33)から検索処理する地
図データ検索部(45)と、それを読み出す地図データ読出部(46)が備わる。
【0071】
地図データ(302)は、予め記憶装置(33)に蓄積しておいてもよいし、必要に応
じて逐次ネットワークを介して外部サーバーからダウンロードしてもよい。
【0072】
CPU(31)には、また、表示条件データ(502)に対応する形式で、撮影条件デ
ータ(102)とそれに対応する写真画像データ(101)及び地図データ(302)を
連結処理して表示データ(301)を生成する表示データ生成部(47)が備わる。
【0073】
この構成により、ネットワーク送受信部(37)によって撮影端末(1)から得られた
写真画像データ(101)及び撮影条件データ(102)は、まず、記録蓄積処理部(3
8)によってそれぞれ記憶装置(33)の写真画像データ記録部及び撮影条件データ記録
部に記録蓄積処理される(S301)。
この際、撮影端末(1)から受信した元データ(103)が写真画像データ(101)
と撮影条件データ(102)とに未分離なら、CPU(31)に備わるデータ分割演算処
理部によって、写真画像データ(101)と撮影条件データ(102)に分割処理する(
S302)。
【0074】
ネットワーク送受信部(37)を介して利用者端末(3)から検索条件データ(501
)及び表示条件データ(502)の入力があれば、検索条件データ読出部(41)及び表
示条件データ読出部(42)によって、それぞれ検索条件データ(501)の読み出し(
S303)及び表示条件データ(502)の読み出し(S304)を行う。
そして、撮影条件データ検索部(43)によって、検索条件データ(501)に対応す
る撮影条件データ(102)を記憶装置(33)の撮影条件データ記録部から検索処理し
(S305)、該当する撮影条件データ(102)を、撮影条件読出部(40)によって
、記録蓄積処理部(38)から読み出す(S306)。
【0075】
次いで、得た撮影条件データ(102)に対応する写真画像データ(101)を、写真
画像データ検索部(44)によって記憶装置(33)の写真画像データ記録部から検索処
理し(S307)、写真画像データ読出部(39)によって読み出す(S308)。
これと同時に、得た撮影条件データ(102)に対応する地図データ(302)を、地
図データ検索部(45)によって記憶装置(33)から検索処理し(S309)、地図デ
ータ読出部(46)によって読み出す(S310)。
【0076】
読み出した写真画像データ(101)と地図データ(302)は、表示データ生成部(
46)によって、表示条件データ(502)に対応する形式で、撮影条件データ(102
)と連結処理されて表示データ(301)を生成する(S311)。
【0077】
生成された表示データ(301)は、ネットワーク送受信部(37)によって、利用者
端末(3)へ送信される。
【0078】
図6は、サーバー(2)の登録演算処理部における処理のフローチャートであり、図7
は、その実施形態を示す説明図である。
撮影地点(A)において、水平の画角(θ)で撮影した場合、カメラの視野に入り撮影
されうる範囲(B)は、地図上では、ほぼ三角形で表現できる。その撮影範囲(B)に被
写体として建物(C)がある場合、通常はその外形線の一部が撮影される。
建物がカメラの正面に位置しても、建物の外部の凹凸形状とカメラとの位置関係によって
は、撮影されない面(D)も生じるが、建物には長い線状構造に見える部分が多い。
【0079】
そこで、地図中で長い線状にみなされる部分、すなわち、予め設定された所定の長さ以
上の直線または曲線や、その所定の長さ以下の短い直線または曲線の連続体を検出して、
それを写真画像データ中の特定の建物と同定することで、その写真を地図に関連付けるこ
とができる。同様に、写真を画像処理して、写真中で長い線状にみなされる部分、すなわ
ち、予め設定された所定の長さ以上の直線または曲線や、その所定の長さ以下の短い直線
または曲線の連続体を検出して、それを地図データ中の特定の建物と同定することでも、
その写真を地図に関連付けることができる。
そして、地図を表示した際に、撮影地点を特定のアイコン等で指標し、そこで撮影した
写真があることを示すことができる。
また逆に、同定した建物等の地図情報を、写真に付帯させることも可能であり、そのよう
な写真のデータベースを構築してもよい。
【0080】
このような写真の登録を行うには、次の演算処理を行う。
写真画像データ(101)に含まれている撮影範囲(B)を、その撮影地点や撮影方向や
画角などの撮影条件データ(102)から算出する(S401)。次いで、その撮影範囲
(B)と地図データ(302)を重ね合わせて対照処理し、地図上で撮影範囲を確定する
(S402)。
【0081】
次に、地図上での撮影範囲が定まった写真の地図データ(302)に含まれている所定
の長さ以上の線分(E)を検出する(S403)。検出された線分(E)の位置を、地図
データ(302)に含まれる建造物(C)の外形線の位置と比較対照する(S404)。
線分(E)の位置と写真画像データ(101)に含まれる建造物(C)の外形線の位置が
一致すれば、その写真画像データ(101)中の線分(E)を地図データ(302)中の
建造物(C)の一部と同定し(S405)、その同定情報を撮影条件データ(102)と
して撮影条件データ記録部へ追加保存する(S406)。
このような同定情報としては、例えば、写真に、撮影条件データ(102)として建物名
の指標テキストが付帯していたならば、線分(E)にも、その建物名の指標テキストを付
帯させることが挙げられる。
なお、地図データ(302)に含まれる線分(E)の位置と写真画像データ(101)
に含まれる建造物(C)の外形線の位置が一致しなければ、登録処理は行わず、不一致の
情報を保存する(S407)。
【0082】
図8は、本発明による利用者端末(3)の構成図、図9は、そのデータ処理のフローチ
ャートである。
利用者端末(3)には、演算処理を司るCPU(51)、それと協働するROM・RAM
等のメモリー(52)、ハードディスク等の記憶装置(53)、画面表示するモニター(
54)、ユーザーの入力をCPUに伝達する入力デバイス(55)、インターネット等の
ネットワークと接続して通信するためのネットワークアダプタ(56)、利用者端末を所
持する利用者の地点を検知するGPS等の利用者地点検知手段(57)、利用者の向いて
いる方向を検知する利用者視線検知手段(58)が備わる。
なお、利用者視線検知手段(58)によって検知される利用者の向いている方向は、方角
のみでもよいし、仰角を含む方向でもよい。
【0083】
CPU(51)には、利用者地点検知手段(57)によって得られた利用者のいる位置
情報と、利用者視線検知手段(58)によって得られた利用者の向いている方向とから算
出される利用者視野条件データを少なくとも含む検索条件データ(501)と、表示条件
データ(502)を読み出し処理する検索条件読出部(59)及び表示条件読出部(60
)や、サーバー(2)とデータを送受するネットワーク送受信部(61)、サーバー(2
)から受信した表示データ(301)を読み出し処理する表示データ読出部(62)、表
示データ(301)をモニター(54)で出力処理する表示データ処理部(63)を備え
る。
【0084】
この構成により、検索対象の写真に関する検索条件データ(501)と、検索結果の表
示方法に関する表示条件データ(502)が、利用者地点検知手段(57)及び利用者視
線検知手段(58)や、キーボードやマウス等の入力デバイス(55)から入力され、検
索条件読出部(59)及び表示条件読出部(60)によって読み出し処理され(S501
)(S502)、ネットワークアダプタ(56)を介してサーバー(2)へ送信処理され
る(S503)。
検索条件データ(501)及び表示条件データ(502)に応じてサーバー(2)で処
理され、利用者視野に含まれる建造物に関する情報を含む表示データ(301)は、ネッ
トワークアダプタ(56)を介して利用者端末(3)で受信され、表示データ読出部(6
2)によって読み出し処理され(S504)、表示データ処理部(63)によって、表示
条件データ(502)に応じた形式で表示処理され(S505)、表示出力部としてのモ
ニター(54)に画像出力される(S506)。この際、表示データ(301)に含まれ
るデータを音声出力してもよい。
【0085】
ここで、利用者端末(3)にGPS及び電子コンパス及びカメラ付き携帯電話を用いる
と、そのカメラで撮影した写真に、利用者端末を所持する利用者の地点と、利用者の向い
ている方向、特に方角に関する情報を容易に付帯させられる。その撮影動作を、検索条件
データ(501)の入力とみなし、撮影された写真をサーバー(2)へメールで送信する
ことを、利用者視野条件データの送出とみなしてもよい。
【0086】
以上のような構成によると、利用者から見えていると推定される建物の候補写真や、写
真のメタ情報としての建物名が得られる。
利用者が歩いて視点位置を変えたり、利用者端末(3)を構える向きを変えれば、その変
更値に応じた利用者視野データが得られるので、カーナビに類するリアルタイムでのナビ
ゲーションが可能となる。
例えば、表示端末(3)で検索用ボタンを押して、所望の検索条件をサーバー(2)へ
送信した時、GPSやジャイロ等で検知されるユーザーのいる地点や方位などの現在状況
がサーバー(2)へ送信されるので、リアルタイムでのナビゲーションが実現する。
【0087】
また、本発明では、ビデオカメラで撮影される動画も写真画像データ(101)として
扱うことができる。すなわち、動画の1画面としての静止画を狭義の写真とみなせばよい

【0088】
上記実施例では、地図データ(302)をサーバー(2)で処理したが、その一部また
はほぼ全てを利用者端末(3)で処理してもよい。すなわち、地図データ(302)を、
予め記憶装置(53)に蓄積しておいてもよいし、必要に応じて逐次ネットワークを介し
て外部サーバーからダウンロードしてもよい。
【0089】
図10は、別実施例の利用者端末(3)の構成図、図11は、そのデータ処理のフロー
チャートである。
利用者端末(3)には、演算処理を司るCPU(51)、それと協働するROM・RAM
等のメモリー(52)、ハードディスク等の記憶装置(53)、画面表示するモニター(
54)、ユーザーの入力をCPUに伝達する入力デバイス(55)、インターネット等の
ネットワークと接続して通信するためのネットワークアダプタ(56)が備わる。
【0090】
CPU(51)には、入力デバイス(55)から入力された検索条件データ(501)
及び表示条件データ(502)を読み出し処理する検索条件読出部(59)及び表示条件
読出部(60)や、サーバー(2)とデータを送受するネットワーク送受信部(61)、
サーバー(2)から受信した表示データ(301)を読み出し処理する表示データ読出部
(62)、表示データ(301)をモニター(54)で出力処理する表示データ処理部(
63)を備える。
【0091】
この構成により、所望の検索対象の写真に関する検索条件データ(501)と、検索結
果の表示方法に関する表示条件データ(502)が、キーボードやマウス等の入力デバイ
ス(55)から入力され、検索条件読出部(59)及び表示条件読出部(60)によって
読み出し処理され(S501)(S502)、ネットワークアダプタ(56)を介してサ
ーバー(2)へ送信処理される(S503)。
検索条件データ(501)及び表示条件データ(502)に応じてサーバー(2)で処
理され、所望の検索対象に関する表示データ(301)は、ネットワークアダプタ(56
)を介して利用者端末(3)で受信され、表示データ読出部(62)によって読み出し処
理され(S504)、表示データ処理部(63)によって、表示条件データ(502)に
応じた形式で表示処理され(S505)、表示出力部としてのモニター(54)に画像出
力される(S506)。この際、表示データ(301)に含まれるデータを音声出力して
もよい。
【0092】
この構成と前記実施例との差異は、利用者端末(3)におけるの検索条件データ(50
1)の入力である。前記実施例では、利用者地点検知手段(57)及び利用者視線検知手
段(58)から得られた利用者視野条件データを用いたが、本実施例では、キーボードや
マウス等の入力デバイス(55)によって、所望の検索対象に関する検索条件が入力され
る。
所望の検索対象としては、地図上の建物の検索や、写真の被写体の建物の位置及び名称
の検索、特定の写真に関連する別の写真の検索などが挙げられる。
なお、地点として、地名やランドマーク名が入力された場合は、地図データ(302)を
利用して地理座標に変換して位置情報を求めてもよい。
【0093】
図12及び13は、PC等の利用者端末(3)における検索及びその結果の表示を示す
インタフェースの説明図であり、図14及び15は、サーバー(2)の検索演算処理部に
おける処理のフローチャートである。
利用者端末(3)で地図検索を行う際には、入力デバイス(55)として、マウスのクリ
ック及びドラッグが便利である。地図上でクリックされた地点の所定近傍に位置する撮影
地点(A)を、図12に示すように一覧表示する。図の例では、撮影方向(A1)を、撮影
地点(A)から伸長した線で表現している。この線の長短によって、撮影した仰角を表現
してもよい。
【0094】
また、検索用インターフェース(F)に、クリック地点からの距離などの検索範囲や、
再検索するために、クリック等で特定した撮影地点(A)の写真と比較して、どの程度同
様の方角や仰角の写真を検索対象とするかなどの検索条件を入力する構成にしてもよい。
【0095】
図13の例では、地図上での楕円形のマウスドラッグによって、検索する範囲(G)を
指定している。その検索範囲で検出された線分(E)を撮影した写真が、更に検索され、
その撮影地点(H)と共に、写真(I)が表示されている。同様に、地図上でのマウスクリ
ックによって、そのクリック地点に最も近い線分(E)が検出され、その線分(E)を含
む写真を検索してもよい。
【0096】
このような検索及び表示を行うには、図14または15に示す次の演算処理を行う。
利用者端末(3)におけるクリック等の検索地点指定手段によって、地図上の検索地点
を検索条件データ(501)の一部としてサーバー(2)へ送信する。
サーバー(2)の地点検索演算処理部では、検索条件データ(501)から検索地点を読
み出し(S411)、その地点に最も近い写真画像データ(101)中の線分を撮影条件
データ(102)から検索し(S412)、得られた線分を含む写真画像データ(102
)を検索し(S413)、その写真画像データ(102)を読み出す(S414)。
【0097】
線分検索(S412)においては、検索地点に最も近い写真画像データ(101)中の
線分を1つ求めてもよいし、予め設定された所定数の線分を求めてもよいし、所定距離以
内などの条件下における全てまたは所定数の線分を求めてもよい。
【0098】
同様に、図13のように、利用者端末(3)におけるドラッグ等の検索領域指定手段に
よって、地図上の検索領域を検索条件データ(501)の一部としてサーバー(2)へ送
信し、サーバー(2)の領域検索演算処理部では、検索条件データ(501)から検索領
域を読み出し(S421)、その領域に含まれる写真画像データ(101)中の線分を撮
影条件データ(102)から検索し(S422)、得られた線分を含む写真画像データ(
102)を検索し(S423)、その写真画像データ(102)を読み出してもよい(S
424)。
【0099】
図16は、利用者端末(3)における検索及びその結果の表示を示すインタフェースの
説明図である。
利用者端末(3)によって、地図上のある位置(J)を指定し検索条件として入力される
と、サーバー(2)では、登録演算処理部で一旦同定し名称を取得した建物等の情報を利
用して、その指定地点に近い地点にある建物の名称を出力する。
その名称にリンクを設けて、名称をクリックすることで、該当建物の写真を表示して、候
補名称の正誤確認に寄与させてもよい。
【0100】
図17は、利用者端末(3)において、関連写真を検索する様態を示す説明図である。
同じ被写体の同じ部分が重複して写っている写真を検索したい場合がある。検索結果を
示す右下の4枚の写真のうち、1の写真は、同じ被写体の正面が写っているが重複部分が
欠け、2の写真は、同じ被写体の正面が写っているが側方から写っていて重複が欠け、3
の写真は、同じ被写体が写っているが建物の側面なので重複が欠け、4の写真は、同じ被
写体が写っているが建物の背面なので重複が欠けている。
本発明によると、地図上で撮影地点(A)及び撮影範囲(C)を目視確認して検索対象
を指定入力できるので、所望の写真を容易に得られる。
【0101】
図18は、利用者端末(3)において、関連写真を検索する様態を示す別実施例の説明
図である。
図18(イ)において、利用者の視点となる地点(A)をクリックすると、そこから撮
影した場合に写る撮影範囲(B)と、その撮影範囲(B)内に位置する線分としての建物
の壁(E)が検索され、その壁(E)を含む別の写真の撮影地点(A2)が列挙表示され
る。
そのうちの一つの撮影地点(A2)を選択してクリックすると、図18(ロ)のように
、その地点(A2)での撮影範囲(B)が表示される。これによって、同じ建物(C)の
ほぼ同じ壁面の含まれた写真が容易に検索される。単に同じ建物(C)の検索ならば従来
公知の検索エンジンで対応できるが、本発明によると、同じ建物(C)の同じ壁面を指定
して検索できる。
同様に、図18(イ)において、線分(E)をクリックすると、その線分(E)を含む
別の写真の候補が図18(ロ)のように表示されるように構成してもよい。これによって
も、同じ建物(C)のほぼ同じ壁面の含まれた写真が容易に検索される。
【0102】
図19は、利用者端末(3)において、関連写真を検索する様態を示す別実施例の説明
図である。
既に画像出力された写真に含まれる被写体に対しての関連条件を、例えば、同じ被写体
を含み、撮影地点が略同一で、撮影方向が異なる条件として、同一被写体の上下左右の部
分の写った写真を検索してもよい。
番号1の写真には、線分(E)が含まれている。この写真1を見た利用者が、もっと左の
写真が欲しいと指定したとき、写真2や写真3が得られる。視線方向に応じて、写真2に
は、同じ被写体(C)のもっと左の部分、すなわち、線分(E)の左の部分が写っている
が、写真3には、同じ被写体(C)が写っていない。同じ被写体(C)が写っている写真
を望む場合は、線分(E)が含まれることを検索条件に指定すればよい。
このような特定の被写体(C)の左右の写真の検索と同様に、もっと上、もっと下などの
検索も可能である。
なお、同じ被写体の背面など、物の部位の写っている写真を補完検索する例は以下に列
挙する。
【0103】
図20は、利用者端末(3)において、関連写真を検索する様態を示す別実施例の説明
図である。
同様に、既に画像出力された写真に含まれる被写体に対しての関連条件を、同じ被写体
を含み、撮影地点が異なり、撮影方向が略同一な条件として、同一被写体の左右の部分や
遠景近景の写真を検索してもよい。
この場合も、共通の線分(E)を含まれることを検索条件に含むことによって、図示の
例のように、同じ建物の遠景や近景の写真が得られる。
【0104】
図21は、利用者端末(3)において、関連写真を検索する様態を示す別実施例の説明
図である。
同様に、既に画像出力された写真に含まれる被写体に対しての関連条件を、同じ被写体
を含み、撮影地点が異なり、撮影方向が異なる条件として、同一被写体の背面など別側面
の写真を検索してもよい。
この場合は、共通の建物(C)が含まれることを検索条件に含むことによって、同じ建
物(C)の様々な角度からの写真が得られるので、自分の写真における不足部分補完して
全周の写真も得ることが可能になる。
【0105】
図22は、利用者端末(3)において、関連写真を検索する様態を示す別実施例の説明
図である。
同じ建物(C)の別角度からの写真として、背面の写真を検索する場合は、撮影方向を
示す視線(A1)を延長させて、交わった背面の線分(E2)を含むことを検索条件に含
むことによって得られる。また、撮影方向を示す視線(A1)を180°回転させて、そ
の撮影方向を含むことを検索条件に含むことによって得られる。
【0106】
図23は、利用者端末(3)において、関連写真を撮影方向の視線ベースで検索する様
態を示す実施例の説明図である。
関連写真を撮影方向の視線ベースで検索する場合は、既に画像出力された写真に含まれる
被写体に対しての関連条件を、同じ被写体を必ずしも含まず、撮影地点が略同一で、撮影
方向が異なる条件として、視線ベースで視野に入る上下左右の近隣の被写体の写真やパノ
ラマ写真を検索してもよい。
図23(イ)の例では、異なる被写体が撮影されるパノラマ写真となり、図23(ロ)
の例では、近接撮影なら同じ被写体の全周が撮影され、通常の撮影なら異なる被写体が撮
影されるパノラマ写真となる。
【0107】
図24は、利用者端末(3)において、関連写真を撮影方向の視線ベースで検索する様
態を示す別実施例の説明図である。
同様に、関連写真を撮影方向の視線ベースで検索する場合は、既に画像出力された写真に
含まれる被写体に対しての関連条件を、同じ被写体を必ずしも含まず、撮影地点が異なり
、撮影方向が略同一な条件として、視線ベースで視野に入る左右の近隣の被写体の写真を
検索してもよい。
図示の例では、電車の車窓風景のように、隣接した被写体の群の写真を連続的に得られ
る。
【0108】
図25は、利用者端末(3)において、関連写真を撮影方向の視線ベースで検索する様
態を示す別実施例の説明図である。
同様に、関連写真を撮影方向の視線ベースで検索する場合は、既に画像出力された写真
に含まれる被写体に対しての関連条件を、同じ被写体を必ずしも含まず、撮影地点が異な
り、撮影方向が異なる条件として、移動時などに視線ベースで視野に入る近隣の被写体の
写真を検索してもよい。
図示の例では、自動車の車窓風景のように、移動する方向に次々と現れる被写体の群の
写真を連続的に得られる。
【0109】
同様に、図26に示す別実施例では、歩行者の散策時のように、視線方向が揺らぎつつ
移動する方向に次々と現れる被写体の群の写真を連続的に得られる。
【0110】
また、本発明によると、利用者としての本人など特定の人物や、特定の車両等の移動体
がいた地点及び時刻を検索条件に指定することで、その移動体の写真を検索することがで
きる。
図27は、別実施例の利用者端末(3)でのデータ処理のフローチャート、その構成図
は図10と同様である。
利用者端末(3)には、演算処理を司るCPU(51)、それと協働するROM・RA
M等のメモリー(52)、ハードディスク等の記憶装置(53)、画面表示するモニター
(54)、ユーザーの入力をCPUに伝達する入力デバイス(55)、インターネット等
のネットワークと接続して通信するためのネットワークアダプタ(56)が備わる。
【0111】
CPU(51)には、入力デバイス(55)から入力された検索条件データ(501)
及び表示条件データ(502)を読み出し処理する検索条件読出部(59)及び表示条件
読出部(60)や、サーバー(2)とデータを送受するネットワーク送受信部(61)、
サーバー(2)から受信した表示データ(301)を読み出し処理する表示データ読出部
(62)、表示データ(301)をモニター(54)で出力処理する表示データ処理部(
63)を備える。
【0112】
この構成により、指定する地点及び時刻を含む検索対象の写真に関する検索条件データ
(501)と、検索結果の表示方法に関する表示条件データ(502)が、キーボードや
マウス等の入力デバイス(55)から入力され、検索条件読出部(59)及び表示条件読
出部(60)によって読み出し処理され(S501)(S502)、ネットワークアダプ
タ(56)を介してサーバー(2)へ送信処理される(S503)。
検索条件データ(501)及び表示条件データ(502)に応じてサーバー(2)で処
理され、指定の地点及び時刻に適する写真画像データを含む表示データ(301)は、ネ
ットワークアダプタ(56)を介して利用者端末(3)で受信され、表示データ読出部(
62)によって読み出し処理され(S504)、表示データ処理部(63)によって、表
示条件データ(502)に応じた形式で表示処理され(S505)、表示出力部としての
モニター(54)に画像出力される(S506)。この際、表示データ(301)に含ま
れるデータを音声出力してもよい。
【0113】
図28は、別実施例のサーバー(2)でのデータ処理のフローチャート、その構成図は
図4と同様である。
サーバー(2)では、ネットワーク送受信部(37)を介して利用者端末(3)から、
地点及び時刻を含む検索条件データ(501)を受信し、検索条件データ読出部(41)
によって、検索条件データ(501)から検索地点の読み出し(S431)、検索時刻の
読み出し(S432)、検索撮影者の読み出し(S433)を行う。
利用者自身が過去に位置した地点と、そこにいた時刻を指定することで、自分が写ってい
る写真を検索することができる。
【0114】
ここで、予め、検索条件データ(501)に、利用者自身や知人など特定の人物のIDを
加えておき、検索撮影者の読み出し(S433)も行ってもよい。
例えば、撮影者として利用者自身を除外すると、利用者自身が撮影した写真が検索対象か
ら除外されるので、その結果として、本来検索したかった人物としての利用者自身が撮影
されている写真が効率よく検索される。
この特定人物を除外するステップは、候補写真を表示した後など、後のステップに組み込
んでもよい。
【0115】
なお、写真撮影時には被写体の認識処理は行う必要がないため、撮影者と被写体の人物
が情報を交換する必要がなく、面識がない者同士での個人情報の交換が不要である。
【0116】
図28に示すように、撮影条件データ検索部(43)によって、検索条件データ(50
1)に対応する撮影条件データ(102)を記憶装置(33)の撮影条件データ記録部か
ら検索し、画角などのフィルター処理も適宜行われた後、候補写真の撮影条件データ(1
02)が、撮影条件読出部(40)によって、記録蓄積処理部(38)から読み出される
(S434)。
検索地点としては、指定された地点の周辺の所定範囲内、例えば半径20m、50m、
100m、200m、300mなどの地点を検索対象とする。
検索時刻としては、指定された時刻の援護の所定範囲内、例えば前後1分、5分、10分
、20分、30分などの時刻を検索対象とする。
【0117】
得られた候補写真については、被写体近接度算出部で、写真画像データ(101)に含
まれている人物像の地点と、その写真を撮影した地点(A)との距離を算出する被写体近
接度検知ステップを行う(S435)。
近接度は距離によって定められるので、ズームの情報が得られる場合はそれによって補
正を行ってもよい。
近接度の情報は、例えば100〜1などの数値で示してもよい。
【0118】
これと同時に、近接度によって、写真のランキング処理を行い、利用者端末(3)の表
示出力部(53)で、被写体近接度の高い順に写真をランキング表示する被写体近接度ラ
ンキングステップを行って、アップ像の写っている近接度に重みをおいた検索を行っても
よい。
この利用者端末(3)の表示出力部(53)でのランキング表示は、後述の正面度やプ
ライバシー度の算出の後に行ってもよい。
【0119】
ここで、人物像の地点とその写真の撮影地点(A)との間に、建造物(C)がないかを
検索して、検索された場合には、その写真画像データ(101)を検索対象から除外する
遮蔽写真除外ステップを行ってもよい。
【0120】
また、候補写真については、被写体正面度算出部で、写真画像データ(101)に含ま
れている人物像の向きと、その写真を撮影した方向(A1)とのなす角を算出する被写体
正面度検知ステップを行う(S346)。
正面度の情報は、例えば100〜1などの数値で示してもよい。
【0121】
この場合も同時に、正面度によって、写真のランキング処理を行い、利用者端末(3)
の表示出力部(53)で、被写体近接度の高い順に写真をランキング表示する被写体正面
度ランキングステップを行って、顔の写っている正面度に重みをおいた検索を行ってもよ
い。
この利用者端末(3)の表示出力部(53)でのランキング表示は、後述のプライバシ
ー度の算出の後に行ってもよい。
【0122】
写真画像データ(101)に含まれている人物像の向きは、その写真画像データ(10
1)に対応する撮影条件データ(102)から撮影地点(A)及び撮影時刻を得て、その
地点(A)で略同一時刻にその人物が撮影した別の写真を検索し、その撮影条件データ(
102)から撮影方向を求めて、その撮影方向を人物像の向きとみなす人物像方向算出ス
テップを行ってもよい。
【0123】
被写体正面度と被写体近接度に重みを掛けてプライバシー度を算出する被写体プライバ
シー度算出ステップ(S437)を行って、プライバシーの関わる写真の検索に寄与させ
てもよい。
プライバシー度の算出には、正面度と近接度のどちらに大きく重みをおくか、利用者毎
に適宜設定できるようにしてもよい。プライバシー度の情報は、例えば100〜0などの
数値で示してもよい。
プライバシー度は、写真の見栄えと密接であるが、公開されたくない写真を発見した場
合に、その削除を要請することに利用できる。すなわち、ウイルス駆除ソフトと同様に、
プライバシー度の高い写真を検索するソフトを常駐させて用いることも可能である。
【0124】
プライバシー度などによってふるいにかけられた候補写真の撮影条件データ(102)
に対応する写真画像データ(101)は、写真画像データ検索部(44)によって記憶装
置(33)の写真画像データ記録部から検索処理され(S438)、写真画像データ読出
部(39)によって読み出される(S439)。
これと同時に、候補写真の撮影条件データ(102)に対応する地図データ(302)
を、地図データ検索部(45)によって記憶装置(33)から検索処理し、地図データ読
出部(46)によって読み出し、候補写真と共に、その撮影地を示す地図の表示を行って
もよい。その場合は、読み出した写真画像データ(101)と地図データ(302)は、
表示データ生成部(46)によって、表示条件データ(502)に対応する形式で、撮影
条件データ(102)と連結処理されて表示データ(301)を生成し、ネットワーク送
受信部(37)によって、利用者端末(3)へ送信される。
【0125】
図29は、利用者端末における検索及び結果の表示を示すインタフェースの説明図であ
る。
人物(K)の写っている写真を検索した結果、その地点を撮影範囲(B)に含む写真と
して、撮影地点(A)での写真が見つかった。この例では、人物(K)の向いている方角
が南西で、撮影地点(A)での撮影方向が北向きなので、人物(K)の左横顔が写ってい
るとわかる。
【0126】
図30及び31は、近接度の高い写真を検索する様態を示す説明図である。
撮影地点(A)では、撮影範囲(B)内の建物(C)の壁面としての線分(E1)が含ま
れる。撮影地点(A2)では、建物(C)の壁面の別の壁面として線分(E2)が含まれ
る。
線分(E2)は線分(E1)の一部分であるので、撮影地点(A2)で撮影される写真
は、撮影地点(A)で撮影される写真のアップの写真とわかる。
そのため、複数の線分(E1)(E2)の長短を指定することによっても、近接度の異な
る写真を検索することができる。
【0127】
図32及び33は、近接度の低い写真を検索する様態を示す説明図である。
撮影地点(A)では、撮影範囲(B)内の建物(C)の壁面としての線分(E1)が含ま
れる。撮影地点(A2)では、建物(C)の壁面の別の壁面として線分(E2)が含まれ
る。
線分(E2)が線分(E1)の全てを含むわけではないが、図33の線分領域(E‘)
に示すように、線分(E2)は撮影地点(A)の視界の約90%以上を占めているので、
撮影地点(A2)で撮影される写真は、撮影地点(A)で撮影される写真の引いた写真と
わかる。
【0128】
図34及び35は、検索地点に複数の地点が入力された場合における別実施例のサーバ
ー(2)でのデータ処理のフローチャートと、その説明図である。
図28に示した上記実施例との違いは、ネットワーク送受信部(37)を介して利用者
端末(3)から、地点及び時刻を含む検索条件データ(501)を受信し、検索条件デー
タ読出部(41)によって、検索条件データ(501)から検索地点の読み出し(S44
1)を行った後に、複数の検索地点をつないだ線を、サーバーの検索演算処理部における
検索条件の地点とみなす線検索ステップを行う(S442)点である。
【0129】
図35は、時刻ta1〜ta6にいた6地点を入力した例である。このように時間的に連続
する複数の地点をつないだ線分の集合を求め、その線分をつないだ線上を人物(K)が移
動したとみなす。例えば、撮影範囲(B)を撮影した地点(A)での写真の撮影時刻がt
a1〜ta2であれば、その写真に特定の人物(K)が写っている可能性が高いと判断できる

【0130】
図36〜40は、特定の人物(K)が写っている写真を検索する様態を示す説明図であ
る。
図36の例では、画角の点で、撮影地点(A)での撮影者(K1)の写真には、人物(
K)は写っていないと判断され、撮影者(K2)(K3)(K4)の写真には、人物(K
)は写っていると判断される。
正面度の点では、撮影者(K2)の写真には人物(K)の右後ろ、撮影者(K3)の写真
には人物(K)の左前、撮影者(K4)の写真には人物(K)の後ろが写っていると判断
され、撮影者(K3)の写真の正面度が中程度と評価される。
【0131】
図37の例では、撮影者(K2)の写真は、距離の点で人物(K)の近接度が低いと判
断される。
【0132】
図38の例では、撮影者(K3)と人物(K)との間に建物(C1)が位置するため、
人物(K)は写っていないと判断される。
【0133】
図39は、写真を撮影している人物(K)が撮影されている写真を検索する様態を示す
説明図である。
写真(I)を撮影している利用者としての撮影者(K)が、写真(L)に撮影されている
。近接度は高いが、正面度は低い。
本発明によると、このような写真(L)を検索することが可能である。
【0134】
図40は、携帯電話のアプリを用いて写真検索する様態を示す説明図である。
携帯電話には、カメラと、GPS等の地点検知装置と、モーションセンサーやジャイロセ
ンサー等の方向検知装置が付設されている。カメラによっては、建物の画像が撮影され、
地点検知装置及び方向検知装置によっては、利用者のいる地点とカメラの向きが検知され
、サーバー(2)へ送信される。サーバー(2)では、撮影された建物を認識して、その
名称等の情報や関連写真が検索される。
【0135】
撮影された建物の画像は、携帯電話の画面の画像表示部(M)に表示され、画面のメニ
ュー表示部(N)には、撮影された建物に関して情報検索するメニューが検索される。
そのメニューとしては、例えば、画像の補完検索として「他の場所からこの建物を撮影し
た写真を探す」や、情報検索として「この建物について詳しく知る」などが挙げられる。
「他の場所からこの建物を撮影した写真を探す」を選択した場合は、更に「引いた写真」
「アップ」「もっと右」「もっと左」「背面」「側面」や「特定人物が写っている」など
、求める写真の条件の選択肢が表示される。
【0136】
図41は、検索対象が利用者の地点からは視界に入らない場合を例示する説明図である

市街地など建物が込み入っている地域では、所望の検索対象の建物(C)が視界に入ら
ない場合が少なくない。図示の例では、建物(C)は、利用者の撮影地点(A)からの撮
影領域(B)に入っているが、他の建物(C‘)の陰になって視界には入っていない。
このような場合にも、本発明によると有効にナビゲーションを行える。
【0137】
建物(C)が視界に入っているか否かは、建物(C)の少なくとも一部が撮影地点(A
)の視界に入るか否かによって判定してもよい。
そのような判定には、撮影領域(B)に少なくとも一部が含まれる全ての建物(C)を
検索処理し、その各建物(C)の壁面に相当する線分(E)の端点が、撮影地点(A)か
らの視界に入るか否かを判定する。建物(C)の端点が撮影地点(A)からの視界に入る
とは、撮影地点(A)と建物(C)の端点とを結ぶ線が、他の建物(C)の線分(E)と
交わらないことで判定する。
【0138】
ナビゲーションは、利用者端末(3)のGPSや電子コンパスなどで取得された利用者
の現存地点及び方位を、サーバー(2)へ略リアルタイムで連続的に送信し、サーバー(
2)で処理されたデータを、略リアルタイムで連続的に受信して表示出力部に表示するこ
とで行える。
【0139】
図42は、ナビげーションの際に利用者端末(3)で表示される画面を例示する説明図
である。
検索結果を地図付きで表示するか否かを、メニュー(N)で選択し、地図付きで表示す
る場合は、地図(P)上に、利用者の現存地点(A)や視界の範囲(B)と共に、主な建
物(C)が図示される。これによると、建物(C)が見えなくても、それを遮蔽している
別の建物(C‘)も示されるので、建物(C)の方位を建物(C‘)の方位で代用するこ
ともできる。
【0140】
また、建物(C)の名称等の説明文(Q)を図示のように表示してもよいし、音声で発
音してガイドしてもよい。目的地への道順を、右折や直進などの音声出力でガイドすると
、利用者端末(3)を見ないで安全に歩ける利点がある。
また、目的となる建物(C)が視界に入っていない場合は、点滅などによって表示形態を
変えて、視界に入っていないことを認知させて安心感を与えてもよい。
【0141】
図43は、建物(C)の別の壁面(E)の写真を検索する様態を示す説明図である。
地図(P)上で、建造物(C)の壁面に相当する線分(E)を指定すると、その線分(E
)の写っている写真(L)が表示される。一つの建物(C)について多数の方位からの写
真(L)を表示できると、ナビゲーションの時にも有用である。
なお、適切な写真(L)が欠けている場合は、イラスト等の図で代用してもよい。
【0142】
図44及び45は、別実施例によるナビげーションの際に利用者端末(3)で表示され
る画面を例示する説明図である。
図44(イ)では、地図上に検索対象の建物(C)の名称(R)が表示され、図44(
ロ)では、検索対象の建物(C)に入っているテナント名称(S)が表示されている。
図45(ハ)では、建物(C)の別の壁面(E)の写真を検索するメニューが表示され、
図45(ホ)では、建物(C)に居住するテナントのHP(T)が表示されている。
【0143】
このように、テナントに関する情報を、電子電話帳などのデータベースから取得して出
力してもよい。テナントに関する情報としては、名称の他に、住所、電話番号、メールア
ドレスなどの連絡先や、業務内容等の説明文や、HPや詳細情報へのリンクを使用できる

【0144】
本発明は、撮影端末(1)、サーバー(2)、利用者端末(3)を、上述の写真マッピ
ングシステムとして機能させるプログラムとして提供してもよい。また、そのプログラム
をCD等のコンピュータ用記憶媒体に格納して提供してもよい。
【産業上の利用可能性】
【0145】
本発明によると、所望の写真や、写真に付与されるメタ情報を効率よく検索でき、地図
検索の利便性と発展性が高められる。また、利用者の今いる地点と視界に入る建造物に関
する情報をリアルタイムで検索できるのでナビゲーションにも利用できる。また、所望の
日時と地点を指定して特定の人物が被写体になっている写真などの検索も可能であり、産
業上利用価値が高い。
【図面の簡単な説明】
【0146】
【図1】本発明による写真マッピングシステムが使用される概要を示す説明図
【図2】本発明による撮影端末の構成図
【図3】同、データ処理のフローチャート
【図4】本発明によるサーバーの構成図
【図5】同、データ処理のフローチャート
【図6】サーバーの登録演算処理部における処理のフローチャート
【図7】同、実施形態を示す説明図
【図8】本発明による利用者端末の構成図
【図9】同、データ処理のフローチャート
【図10】別実施例の利用者端末の構成図
【図11】同、データ処理のフローチャート
【図12】利用者端末における検索及び結果の表示を示すインタフェースの説明図
【図13】同、利用者端末における検索及び結果の表示を示すインタフェースの説明図
【図14】サーバーの検索演算処理部における処理のフローチャート
【図15】同、サーバーの検索演算処理部における処理のフローチャート
【図16】利用者端末における検索及び結果の表示を示すインタフェースの説明図
【図17】利用者端末において関連写真を検索する様態を示す説明図
【図18】同、別実施例の説明図
【図19】同、別実施例の説明図
【図20】同、別実施例の説明図
【図21】同、別実施例の説明図
【図22】同、別実施例の説明図
【図23】利用者端末において関連写真を撮影方向の視線ベースで検索する様態を示す説明図
【図24】同、別実施例の説明図
【図25】同、別実施例の説明図
【図26】同、別実施例の説明図
【図27】別実施例の利用者端末でのデータ処理のフローチャート
【図28】別実施例のサーバーでのデータ処理のフローチャート
【図29】利用者端末における検索及び結果の表示を示すインタフェースの説明図
【図30】近接度の高い写真を検索する様態を示す説明図
【図31】同、説明図
【図32】近接度の低い写真を検索する様態を示す説明図
【図33】同、説明図
【図34】検索地点に複数の地点が入力された場合における別実施例のサーバーでのデータ処理のフローチャート
【図35】同、説明図
【図36】特定の人物が写っている写真を検索する様態を示す説明図
【図37】同、説明図
【図38】同、説明図
【図39】写真を撮影している人物が撮影されている写真を検索する様態を示す説明図
【図40】携帯電話のアプリを用いて写真検索する様態を示す説明図
【図41】検索対象が利用者の地点からは視界に入らない場合を例示する説明図
【図42】ナビげーションの際に利用者端末で表示される画面を例示する説明図
【図43】建物の別の壁面の写真を検索する様態を示す説明図
【図44】ナビげーションの際に利用者端末で表示される画面を例示する説明図
【図45】同、別実施例
【符号の説明】
【0147】
1 撮影端末
2 サーバー
3 利用者端末
4 インターネット
11 CPU
12 メモリー
13 記憶装置
14 モニター
15 入力デバイス
16 ネットワークアダプタ
17 撮影手段
18 撮影地点検知手段
19 撮影方向検知手段
20 撮影範囲検知手段
21 撮影時刻検知手段
22 撮影者登録手段
23 元データ読出部
24 元データ処理部
25 ネットワーク送受信部
31 CPU
32 メモリー
33 記憶装置
34 モニター
35 入力デバイス
36 ネットワークアダプタ
37 ネットワーク送受信部
38 記録蓄積処理部
39 写真画像データ読出部
40 撮影条件読出部
41 検索条件データ読出部
42 表示条件データ読出部
43 撮影条件データ検索部
44 写真画像データ検索部
45 地図データ検索部
46 地図データ読出部
47 表示データ生成部
51 CPU
52 メモリー
53 記憶装置
54 モニター
55 入力デバイス
56 ネットワークアダプタ
57 利用者地点検知手段
58 利用者視線検知手段
59 検索条件読出部
60 表示条件読出部
61 ネットワーク送受信部
62 表示データ読出部
63 表示データ処理部
101 写真画像データ
102 撮影条件データ
103 元データ
501 検索条件データ
502 表示条件データ
301 表示データ
302 地図データ
θ 画角
A 撮影地点
A1 撮影方向
A2 別の写真の撮影地点
B 撮影範囲
C 建物
D 撮影されない面
E、E1、E2 線分
E‘ 線分領域
F 検索用インターフェース
G 検索範囲
H 撮影地点
I 写真
J 指標
K、K1、K2、K3、K4 利用者としての撮影者
L 写真撮影者が撮影されている写真
M 携帯電話の画面の画像表示部
N 同、メニュー表示部
P 地図
Q 説明文
R 名称
S テナント名
T HP

【特許請求の範囲】
【請求項1】
写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と、
撮影端末で撮影された写真及び撮影条件を記録すると共に、それらのデータを演算処理す
る手段を少なくとも有するサーバーと、
サーバーとアクセスしデータを入出力可能な利用者端末と、を備え、
地理情報を有する写真画像データを、その撮影地点に応じて地図データに対応付けて管
理し、その写真マッピングに関する情報を利用者に提供するシステムであって、
撮影端末には、
写真を撮影する撮影手段と、
写真を撮影した地点を検知する撮影地点検知手段と、
写真を撮影した方角を検知する撮影方向検知手段と、
写真を撮影する画角を検知する撮影範囲検知手段と、
撮影手段によって得られた写真画像データと、撮影地点検知手段及び撮影方向検知手段及
び撮影範囲検知手段によって得られた撮影条件データを、サーバーへ送信する通信手段と
、を設け、
サーバーには、
撮影端末から受信した写真画像データを記録する写真画像データ記録部と、
撮影端末から受信した撮影条件データを記録する撮影条件データ記録部と、
地図データを記録する地図データ記録部と、
撮影端末から受信した撮影条件データから、それに対応する写真画像データに含まれてい
る撮影範囲を算出し、その撮影範囲と地図データを重ね合わせて比較対照し、その撮影範
囲に含まれている所定の長さ以上の線分を検出し、その線分の位置が、写真画像データに
含まれる建造物の位置と一致すれば、その写真画像データ中の線分を地図データ中の建造
物の一部と同定し、その同定情報を撮影条件データとして撮影条件データ記録部へ保存す
る登録演算処理部と、
利用者端末から受信する検索条件データに応じて、撮影条件データ記録部に蓄積された撮
影条件データを検索し、得られた撮影条件データに対応する写真画像データまたは地図デ
ータを、それぞれ写真画像データ記録部または地図データ記録部から検索処理する検索演
算処理部と、
検索演算処理部からの出力と、利用者端末から受信する表示条件データに応じて、撮影条
件データとそれに対応する写真画像データまたは地図データを連結して表示処理する表示
演算処理部と、
撮影端末及び利用者端末とデータ送受信する通信手段と、を設け、
利用者端末には、
その利用者端末を所持する利用者の地点を検知する利用者地点検知手段と、
利用者の向いている方角を検知する利用者視線検知手段と、
利用者地点検知手段及び利用者視線検知手段によって得られた利用者視野条件データを、
検索対象に関する検索条件として入力される検索条件入力部と、
検索結果の表示方法に関する条件が入力される表示条件入力部と、
利用者視野に含まれる建造物に関する表示演算処理データをサーバーから受信して出力す
る表示出力部と、
検索条件入力部からの検索条件データと表示条件入力部からの表示条件データをサーバー
へ送信し、サーバーから表示演算処理データを受信する通信手段と、を設けた
ことを特徴とする写真マッピングシステム。
【請求項2】
写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と、
撮影端末で撮影された写真及び撮影条件を記録すると共に、それらのデータを演算処理
する手段を少なくとも有するサーバーと、
サーバーとアクセスしデータを入出力可能な利用者端末と、を備え、
地理情報を有する写真画像データを、その撮影地点に応じて地図データに対応付けて管
理し、その写真マッピングに関する情報を利用者に提供するシステムであって、
撮影端末には、
写真を撮影する撮影手段と、
写真を撮影した地点を検知する撮影地点検知手段と、
写真を撮影した方角を検知する撮影方向検知手段と、
写真を撮影する画角を検知する撮影範囲検知手段と、
撮影手段によって得られた写真画像データと、撮影地点検知手段及び撮影方向検知手段及
び撮影範囲検知手段によって得られた撮影条件データを、サーバーへ送信する通信手段と
、を設け、
サーバーには、
撮影端末から受信した写真画像データを記録する写真画像データ記録部と、
撮影端末から受信した撮影条件データを記録する撮影条件データ記録部と、
地図データを記録する地図データ記録部と、
撮影端末から受信した撮影条件データから、それに対応する写真画像データに含まれてい
る撮影範囲を算出し、その撮影範囲と地図データを重ね合わせて比較対照し、その撮影範
囲に含まれている所定の長さ以上の線分を検出し、その線分の位置が、写真画像データに
含まれる建造物の位置と一致すれば、その写真画像データ中の線分を地図データ中の建造
物の一部と同定し、その同定情報を撮影条件データとして撮影条件データ記録部へ保存す
る登録演算処理部と、
利用者端末から受信する検索条件データに応じて、撮影条件データ記録部に蓄積された撮
影条件データを検索し、得られた撮影条件データに対応する写真画像データまたは地図デ
ータを、それぞれ写真画像データ記録部または地図データ記録部から検索処理する検索演
算処理部と、
検索演算処理部からの出力と、利用者端末から受信する表示条件データに応じて、撮影条
件データとそれに対応する写真画像データまたは地図データを連結して表示処理する表示
演算処理部と、
撮影端末及び利用者端末とデータ送受信する通信手段と、を設け、
利用者端末には、
所望の検索対象に関する検索条件が入力される検索条件入力部と、
検索結果の表示方法に関する条件が入力される表示条件入力部と、
検索対象に関する表示演算処理データをサーバーから受信して出力する表示出力部と、
検索条件入力部からの検索条件データと表示条件入力部からの表示条件データをサーバー
へ送信し、サーバーから表示演算処理データを受信する通信手段と、を設けた
ことを特徴とする写真マッピングシステム。
【請求項3】
写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と、
撮影端末で撮影された写真及び撮影条件を記録すると共に、それらのデータを演算処理
する手段を少なくとも有するサーバーと、
サーバーとアクセスしデータを入出力可能な利用者端末と、を備え、
地理情報を有する写真画像データを、その撮影地点に応じて地図データに対応付けて管
理し、その写真マッピングに関する情報を利用者に提供するシステムであって、
撮影端末には、
写真を撮影する撮影手段と、
写真を撮影した地点を検知する撮影地点検知手段と、
写真を撮影した方角を検知する撮影方向検知手段と、
写真を撮影する画角を検知する撮影範囲検知手段と、
写真を撮影した時刻を検知する撮影時刻検知手段と、
撮影手段によって得られた写真画像データと、撮影地点検知手段及び撮影方向検知手段及
び撮影範囲検知手段及び撮影時刻検知手段によって得られた撮影条件データを、サーバー
へ送信する通信手段と、を設け、
サーバーには、
撮影端末から受信した写真画像データを記録する写真画像データ記録部と、
撮影端末から受信した撮影条件データを記録する撮影条件データ記録部と、
地図データを記録する地図データ記録部と、
利用者端末から受信する検索条件データに応じて、撮影条件データ記録部に蓄積された撮
影条件データを検索し、得られた撮影条件データに対応する写真画像データまたは地図デ
ータを、それぞれ写真画像データ記録部または地図データ記録部から検索処理する検索演
算処理部と、
検索演算処理部からの出力と、利用者端末から受信する表示条件データに応じて、撮影条
件データとそれに対応する写真画像データまたは地図データを連結して表示処理する表示
演算処理部と、
撮影端末及び利用者端末とデータ送受信する通信手段と、を設け、
利用者端末には、
地点及び時刻を、検索対象に関する検索条件として入力される検索条件入力部と、
検索結果の表示方法に関する条件が入力される表示条件入力部と、
指定の地点及び時刻に適する写真画像データに関する表示演算処理データをサーバーから
受信して出力する表示出力部と、
検索条件入力部からの検索条件データと表示条件入力部からの表示条件データをサーバー
へ送信し、サーバーから表示演算処理データを受信する通信手段と、を設けた
ことを特徴とする写真マッピングシステム。
【請求項4】
撮影端末から受信した撮影条件データから、それに対応する写真画像データに含まれて
いる撮影範囲を算出し、その撮影範囲と地図データを重ね合わせて比較対照し、その撮影
範囲に含まれている所定の長さ以上の線分を検出し、その線分の位置が、写真画像データ
に含まれる建造物の位置と一致すれば、その写真画像データ中の線分を地図データ中の建
造物の一部と同定し、その同定情報を撮影条件データとして撮影条件データ記録部へ保存
する登録演算処理部を設けた
請求項3に記載の写真マッピングシステム。
【請求項5】
撮影端末の撮影地点検知手段または利用者端末の利用者地点検知手段に、GPSを用い

請求項1ないし4に記載の写真マッピングシステム。
【請求項6】
撮影端末の撮影方向検知手段または利用者端末の利用者視線検知手段に、方角を検知す
る電子コンパスと仰角を検知する加速度センサーを設けた
請求項1ないし5に記載の写真マッピングシステム。
【請求項7】
撮影端末に、
写真を撮影した人を特定する撮影者登録手段を設け、
その撮影者情報を撮影条件データに加えた
請求項1ないし6に記載の写真マッピングシステム。
【請求項8】
撮影端末に、カメラ付き携帯電話、または通信装置付きデジタルカメラを用い、
その通信手段にメール送受信装置、またはウェブアクセス装置を用いた
請求項1ないし7に記載の写真マッピングシステム。
【請求項9】
サーバーに、
撮影端末から受信したメールを、写真画像データと撮影条件データに分割し、それぞれ写
真画像データ記録部及び撮影条件データ記録部に保存処理するデータ分割演算処理部を設
けた
請求項8に記載の写真マッピングシステム。
【請求項10】
利用者端末に、
少なくとも利用者地点検知手段によって得られる利用者端末を所持する利用者の地点と、
利用者視線検知手段によって得られる利用者の向いている方角とを、略リアルタイムで連
続的にサーバーへ送信すると共に、
サーバーの表示演算処理部で処理されたデータを、略リアルタイムで連続的に受信して、
表示出力部に表示するナビゲーション手段を設けた
請求項1ないし9に記載の写真マッピングシステム。
【請求項11】
ナビゲーション手段によって利用者端末の表示出力部に表示されるデータが、
利用者の現存地点及びその周辺に関連する地図、或いは、建造物の名称、建造物に居住す
るテナントの名称、自然のランドマークの名称、それら建造物または自然のランドマーク
の写真または図、それら建造物またはテナントまたは自然のランドマークに関する説明文
または連絡先または詳細情報へのリンクのいずれかである
請求項10に記載の写真マッピングシステム。
【請求項12】
写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と、
撮影端末で撮影された写真及び撮影条件を記録すると共に、それらのデータを演算処理
する手段を少なくとも有するサーバーと、
サーバーとアクセスしデータを入出力可能な利用者端末と、
それら撮影端末、サーバー、利用者端末の間でデータ授受を行う通信手段とを備えたシス
テムで、
地理情報を有する写真画像データを、その撮影地点に応じて地図データに対応付けて管
理し、その写真マッピングに関する情報を利用者に提供する方法において、
撮影端末では、
撮影手段によって、写真を撮影する写真撮影ステップと、
撮影地点検知手段によって、写真を撮影した地点を検知する撮影地点検知ステップと、
撮影方向検知手段によって、写真を撮影した方角を検知する撮影方向検知ステップと、
撮影範囲検知手段によって、写真を撮影する画角を検知する撮影範囲検知ステップと、
通信手段によって、撮影手段で得られた写真画像データと、撮影地点検知手段及び撮影方
向検知手段及び撮影範囲検知手段で得られた撮影条件データを、サーバーへ送信する元デ
ータ送信ステップと、を行い、
サーバーでは、
通信手段によって、撮影端末から送信された写真画像データと撮影条件データを受信する
元データ受信ステップと、
写真画像データ記録部によって、撮影端末から受信した写真画像データを記録する写真画
像データ記録ステップと、
撮影条件データ記録部によって、撮影端末から受信した撮影条件データを記録する撮影条
件データ記録ステップと、
登録演算処理部によって、写真画像データに含まれている撮影範囲を、その撮影条件デー
タから算出する撮影範囲算出ステップと、その撮影範囲と地図データを重ね合わせて比較
対照する撮影範囲対照ステップと、その写真画像データに含まれている所定の長さ以上の
線分を検出する線分検出ステップと、その線分の位置を、地図データに含まれる建造物の
位置と比較対照する線分対照ステップと、その線分対照ステップにおいて、線分の位置と
写真画像データに含まれる建造物の位置が一致すれば、その写真画像データ中の線分を地
図データ中の建造物の一部と同定する線分同定ステップと、その同定情報を撮影条件デー
タとして撮影条件データ記録部へ追加保存する線分登録ステップと、
通信手段によって、利用者端末から送信された検索条件データと表示条件データを受信す
る検索表示条件受信ステップと、
検索演算処理部によって、利用者端末から受信した検索条件データに対応する撮影条件デ
ータを撮影条件データ記録部から検索処理する撮影条件データ検索ステップと、得られた
撮影条件データに対応する写真画像データを写真画像データ記録部から検索処理する写真
画像データ検索ステップと、得られた撮影条件データに対応する地図データを、予め地図
データを蓄積した地図データ記録部から検索処理する地図データ検索ステップと、
表示演算処理部によって、利用者端末から受信した表示条件データに対応する形式で、撮
影条件データとそれに対応する写真画像データまたは地図データを連結処理して表示デー
タを生成する表示データ生成ステップと、
通信手段によって、表示データを利用者端末へ送信する表示データ送信ステップと、を行
い、
利用者端末では、
利用者地点検知手段によって、利用者端末を所持する利用者の地点を検知する利用者地点
検知ステップと、
利用者視線検知手段によって、利用者の向いている方角を検知する利用者視線検知ステッ
プと、
検索条件入力部によって、利用者地点検知手段及び利用者視線検知手段によって得られた
利用者視野条件データを、検索対象に関する条件として入力する検索条件入力ステップと

表示条件入力部によって、検索結果の表示方法に関する条件を入力する表示条件入力ステ
ップと、
通信手段によって、検索条件データと表示条件データをサーバーへ送信する検索表示条件
送信ステップと、
通信手段によって、サーバーから表示データを受信する表示データ受信ステップと、
表示出力部によって、利用者視野に含まれる建造物に関する表示データを画像として出力
する画像表示ステップと、を行う
ことを特徴とする写真マッピング方法。
【請求項13】
利用者端末における利用者地点検知ステップと利用者視線検知ステップと検索条件入力
ステップと表示条件入力ステップと検索表示条件送信ステップと、
サーバーにおける検索表示条件受信ステップと撮影条件データ検索ステップと写真画像
データ検索ステップと地図データ検索ステップと表示データ生成ステップと表示データ送
信ステップと、
更に、利用者端末における表示データ受信ステップと画像表示ステップと、
を利用者端末とサーバーとの間で連続的に繰り返し行うことでナビゲーションを実行する
請求項12に記載の写真マッピング方法。
【請求項14】
写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と、
撮影端末で撮影された写真及び撮影条件を記録すると共に、それらのデータを演算処理
する手段を少なくとも有するサーバーと、
サーバーとアクセスしデータを入出力可能な利用者端末と、
それら撮影端末、サーバー、利用者端末の間でデータ授受を行う通信手段とを備えたシス
テムで、
地理情報を有する写真画像データを、その撮影地点に応じて地図データに対応付けて管
理し、その写真マッピングに関する情報を利用者に提供する方法において、
撮影端末では、
撮影手段によって、写真を撮影する写真撮影ステップと、
撮影地点検知手段によって、写真を撮影した地点を検知する撮影地点検知ステップと、
撮影方向検知手段によって、写真を撮影した方角を検知する撮影方向検知ステップと、
撮影範囲検知手段によって、写真を撮影する画角を検知する撮影範囲検知ステップと、
通信手段によって、撮影手段で得られた写真画像データと、撮影地点検知手段及び撮影方
向検知手段及び撮影範囲検知手段で得られた撮影条件データを、サーバーへ送信する元デ
ータ送信ステップと、を行い、
サーバーでは、
通信手段によって、撮影端末から送信された写真画像データと撮影条件データを受信する
元データ受信ステップと、
写真画像データ記録部によって、撮影端末から受信した写真画像データを記録する写真画
像データ記録ステップと、
撮影条件データ記録部によって、撮影端末から受信した撮影条件データを記録する撮影条
件データ記録ステップと、
登録演算処理部によって、写真画像データに含まれている撮影範囲を、その撮影条件デー
タから算出する撮影範囲算出ステップと、その撮影範囲と地図データを重ね合わせて比較
対照する撮影範囲対照ステップと、その写真画像データに含まれている所定の長さ以上の
線分を検出する線分検出ステップと、その線分の位置を、地図データに含まれる建造物の
位置と比較対照する線分対照ステップと、その線分対照ステップにおいて、線分の位置と
写真画像データに含まれる建造物の位置が一致すれば、その写真画像データ中の線分を地
図データ中の建造物の一部と同定する線分同定ステップと、その同定情報を撮影条件デー
タとして撮影条件データ記録部へ追加保存する線分登録ステップと、
通信手段によって、利用者端末から送信された検索条件データと表示条件データを受信す
る検索表示条件受信ステップと、
検索演算処理部によって、利用者端末から受信した検索条件データに対応する撮影条件デ
ータを撮影条件データ記録部から検索処理する撮影条件データ検索ステップと、得られた
撮影条件データに対応する写真画像データを写真画像データ記録部から検索処理する写真
画像データ検索ステップと、得られた撮影条件データに対応する地図データを、予め地図
データを蓄積した地図データ記録部から検索処理する地図データ検索ステップと、
表示演算処理部によって、利用者端末から受信した表示条件データに対応する形式で、撮
影条件データとそれに対応する写真画像データまたは地図データを連結処理して表示デー
タを生成する表示データ生成ステップと、
通信手段によって、表示データを利用者端末へ送信する表示データ送信ステップと、を行
い、
利用者端末では、
検索条件入力部によって、所望の検索対象に関する検索条件を入力する検索条件入力ステ
ップと、
表示条件入力部によって、検索結果の表示方法に関する条件を入力する表示条件入力ステ
ップと、
通信手段によって、検索条件データと表示条件データをサーバーへ送信する検索表示条件
送信ステップと、
通信手段によって、サーバーから表示データを受信する表示データ受信ステップと、
表示出力部によって、検索対象に関する表示データを画像として出力する画像表示ステッ
プと、を行う
ことを特徴とする写真マッピング方法。
【請求項15】
写真を撮影すると共に撮影地点を検知する手段を少なくとも有する撮影端末と、
撮影端末で撮影された写真及び撮影条件を記録すると共に、それらのデータを演算処理
する手段を少なくとも有するサーバーと、
サーバーとアクセスしデータを入出力可能な利用者端末と、
それら撮影端末、サーバー、利用者端末の間でデータ授受を行う通信手段とを備えたシス
テムで、
地理情報を有する写真画像データを、その撮影地点に応じて地図データに対応付けて管
理し、その写真マッピングに関する情報を利用者に提供する方法において、
撮影端末では、
撮影手段によって、写真を撮影する写真撮影ステップと、
撮影地点検知手段によって、写真を撮影した地点を検知する撮影地点検知ステップと、
撮影方向検知手段によって、写真を撮影した方角を検知する撮影方向検知ステップと、
撮影範囲検知手段によって、写真を撮影する画角を検知する撮影範囲検知ステップと、
撮影時刻検知手段によって、写真を撮影した時刻を検知する撮影時刻検知ステップと、
通信手段によって、撮影手段で得られた写真画像データと、撮影地点検知手段及び撮影方
向検知手段及び撮影範囲検知手段及び撮影時刻検知手段で得られた撮影条件データを、サ
ーバーへ送信する元データ送信ステップと、を行い、
サーバーでは、
通信手段によって、撮影端末から送信された写真画像データと撮影条件データを受信する
元データ受信ステップと、
写真画像データ記録部によって、撮影端末から受信した写真画像データを記録する写真画
像データ記録ステップと、
撮影条件データ記録部によって、撮影端末から受信した撮影条件データを記録する撮影条
件データ記録ステップと、
登録演算処理部によって、写真画像データに含まれている撮影範囲を、その撮影条件デー
タから算出する撮影範囲算出ステップと、その撮影範囲と地図データを重ね合わせて比較
対照する撮影範囲対照ステップと、その写真画像データに含まれている所定の長さ以上の
線分を検出する線分検出ステップと、その線分の位置を、地図データに含まれる建造物の
位置と比較対照する線分対照ステップと、その線分対照ステップにおいて、線分の位置と
写真画像データに含まれる建造物の位置が一致すれば、その写真画像データ中の線分を地
図データ中の建造物の一部と同定する線分同定ステップと、その同定情報を撮影条件デー
タとして撮影条件データ記録部へ追加保存する線分登録ステップと、
通信手段によって、利用者端末から送信された検索条件データと表示条件データを受信す
る検索表示条件受信ステップと、
検索演算処理部によって、利用者端末から受信した検索条件データに対応する撮影条件デ
ータを撮影条件データ記録部から検索処理する撮影条件データ検索ステップと、得られた
撮影条件データに対応する写真画像データを写真画像データ記録部から検索処理する写真
画像データ検索ステップと、得られた撮影条件データに対応する地図データを、予め地図
データを蓄積した地図データ記録部から検索処理する地図データ検索ステップと、
表示演算処理部によって、利用者端末から受信した表示条件データに対応する形式で、撮
影条件データとそれに対応する写真画像データまたは地図データを連結処理して表示デー
タを生成する表示データ生成ステップと、
通信手段によって、表示データを利用者端末へ送信する表示データ送信ステップと、を行
い、
利用者端末では、
検索条件入力部によって、地点及び時刻を検索対象に関する検索条件として入力する検索
条件入力ステップと、
表示条件入力部によって、検索結果の表示方法に関する条件を入力する表示条件入力ステ
ップと、
通信手段によって、検索条件データと表示条件データをサーバーへ送信する検索表示条件
送信ステップと、
通信手段によって、サーバーから表示データを受信する表示データ受信ステップと、
表示出力部によって、指定の地点及び時刻に適する写真画像データに関する表示データを
画像として出力する画像表示ステップと、を行う
ことを特徴とする写真マッピング方法。
【請求項16】
サーバーの登録演算処理部によって、
写真画像データに含まれている撮影範囲を、その撮影条件データから算出する撮影範囲算
出ステップと、その撮影範囲と地図データを重ね合わせて比較対照する撮影範囲対照ステ
ップと、その写真画像データに含まれている所定の長さ以上の線分を検出する線分検出ス
テップと、その線分の位置を、地図データに含まれる建造物の位置と比較対照する線分対
照ステップと、その線分対照ステップにおいて、線分の位置と写真画像データに含まれる
建造物の位置が一致すれば、その写真画像データ中の線分を地図データ中の建造物の一部
と同定する線分同定ステップと、その同定情報を撮影条件データとして撮影条件データ記
録部へ追加保存する線分登録ステップと、を行う
請求項15に記載の写真マッピング方法。
【請求項17】
利用者端末の検索条件入力部で、検索条件の地点を複数入力された場合には、
それら複数の地点をつないだ線を、サーバーの検索演算処理部における検索条件の地点と
みなす線検索ステップを行う
請求項15または16に記載の写真マッピング方法。
【請求項18】
サーバーの被写体正面度算出部で、
写真画像データに含まれている人物像の向きと、その写真を撮影した方向とのなす角を算
出する被写体正面度検知ステップを行う
請求項15ないし17に記載の写真マッピング方法。
【請求項19】
サーバーの検索演算処理部で、
写真画像データに含まれている人物像の向きを、
その写真画像データに対応する撮影条件データから撮影地点及び撮影時刻を得て、その地
点で略同一時刻にその人物が撮影した別の写真を検索し、その撮影条件データから撮影方
向を求めて、
その撮影方向を人物像の向きとみなす人物像方向算出ステップを行う
請求項18に記載の写真マッピング方法。
【請求項20】
利用者端末の表示出力部で、
被写体正面度の高い順に写真をランキング表示する被写体正面度ランキングステップを行

請求項18または19に記載の写真マッピング方法。
【請求項21】
サーバーの被写体近接度算出部で、
写真画像データに含まれている人物像の地点と、その写真を撮影した地点との距離を算出
する被写体近接度検知ステップを行う
請求項15ないし20に記載の写真マッピング方法。
【請求項22】
利用者端末の表示出力部で、
被写体近接度の高い順に写真をランキング表示する被写体近接度ランキングステップを行

請求項21に記載の写真マッピング方法。
【請求項23】
サーバーの被写体プライバシー度算出部で、
被写体正面度と被写体近接度に重みを掛けてプライバシー度を算出する被写体プライバシ
ー度算出ステップを行う
請求項18ないし22に記載の写真マッピング方法。
【請求項24】
利用者端末の表示出力部で、
被写体プライバシー度の高い順に写真をランキング表示する被写体プライバシー度ランキ
ングステップを行う
請求項22に記載の写真マッピング方法。
【請求項25】
サーバーの検索演算処理部で、
写真画像データに含まれている人物像の地点とその写真の撮影地点との間に、建造物が検
索された場合には、その写真画像データを検索対象から除外する遮蔽写真除外ステップを
行う
請求項15ないし24に記載の写真マッピング方法。
【請求項26】
利用者端末の検索条件入力部で、
表示出力部に画像表示された地図上の地点をマウスのクリックにより指定された場合には

サーバーの検索演算処理部で、
利用者端末から受信した検索条件データの検索地点に応じて、その地点に最も近い写真画
像データ中の線分を撮影条件データ記録部から検索し、その線分を含む写真画像データを
写真画像データ記録部から出力する地点検索演算処理ステップを行う
請求項12ないし25に記載の写真マッピング方法。
【請求項27】
利用者端末の検索条件入力部で、
表示出力部に画像表示された地図上の領域をマウスのドラッグにより指定された場合には

サーバーの検索演算処理部で、
利用者端末から受信した検索条件データの検索領域に応じて、その領域に含まれる写真画
像データ中の線分を撮影条件データ記録部から検索し、その線分を含む写真画像データを
写真画像データ記録部から出力する領域検索演算処理ステップを行う
請求項12ないし25に記載の写真マッピング方法。
【請求項28】
利用者端末の検索条件入力部で、
検索地点として地名の入力により指定された場合には、
サーバーの検索演算処理部で、
利用者端末から受信した検索条件データの検索地名に応じて、その地名を撮影条件データ
として備えるデータを撮影条件データ記録部から検索し、その撮影条件データに対応する
写真画像データを写真画像データ記録部から出力する地名検索演算処理ステップを行う
請求項12ないし25に記載の写真マッピング方法。
【請求項29】
利用者端末の検索条件入力部で、
検索地点として建造物名の入力により指定された場合には、
サーバーの検索演算処理部で、
利用者端末から受信した検索条件データの検索建造物名に応じて、その建造物名を撮影条
件データとして備えるデータを撮影条件データ記録部から検索し、その撮影条件データに
対応する写真画像データを写真画像データ記録部から出力する建造物名検索演算処理ステ
ップを行う
請求項12ないし25に記載の写真マッピング方法。
【請求項30】
利用者端末の検索条件入力部で、
表示出力部で既に画像出力された写真に含まれる被写体に対しての関連条件を指定された
場合には、
サーバーの検索演算処理部で、
利用者端末から受信した検索条件データの関連条件に応じて、その関連条件に適するデー
タを撮影条件データ記録部から検索し、その撮影条件データに対応する写真画像データを
写真画像データ記録部から出力する関連写真検索演算処理ステップを行う
請求項12ないし25に記載の写真マッピング方法。
【請求項31】
既に画像出力された写真に含まれる被写体に対しての関連条件が、
同じ被写体の同じ部分を重複して含む条件であり、同一被写体の類似の写真を検索する
請求項30に記載の写真マッピング方法。
【請求項32】
既に画像出力された写真に含まれる被写体に対しての関連条件が、
同じ被写体を含み、撮影地点が略同一で、撮影方向が略同一な条件であり、同一被写体の
類似の写真を検索する
請求項30に記載の写真マッピング方法。
【請求項33】
既に画像出力された写真に含まれる被写体に対しての関連条件が、
同じ被写体を含み、撮影地点が略同一で、撮影方向が異なる条件であり、同一被写体の上
下左右の写真を検索する
請求項30に記載の写真マッピング方法。
【請求項34】
既に画像出力された写真に含まれる被写体に対しての関連条件が、
同じ被写体を含み、撮影地点が異なり、撮影方向が略同一な条件であり、同一被写体の左
右または遠近の写真を検索する
請求項30に記載の写真マッピング方法。
【請求項35】
既に画像出力された写真に含まれる被写体に対しての関連条件が、
同じ被写体を含み、撮影地点が異なり、撮影方向が異なる条件であり、同一被写体の別側
面の写真を検索する
請求項30に記載の写真マッピング方法。
【請求項36】
既に画像出力された写真に含まれる被写体に対しての関連条件が、
同じ被写体を必ずしも含まず、撮影地点が略同一で、撮影方向が異なる条件であり、視線
ベースで上下左右の近隣の被写体の写真を検索する
請求項30に記載の写真マッピング方法。
【請求項37】
既に画像出力された写真に含まれる被写体に対しての関連条件が、
同じ被写体を必ずしも含まず、撮影地点が異なり、撮影方向が略同一な条件であり、視線
ベースで左右の近隣の被写体の写真を検索する
請求項30に記載の写真マッピング方法。
【請求項38】
既に画像出力された写真に含まれる被写体に対しての関連条件が、
同じ被写体を必ずしも含まず、撮影地点が異なり、撮影方向が異なる条件であり、視線ベ
ースで近隣の被写体の写真を検索する
請求項30に記載の写真マッピング方法。
【請求項39】
サーバーの検索演算処理部で、
検索条件データの検索領域に含まれる建造物の線分と、検索地点とを結ぶ線が、他の線分
と交差しなければ、その建造物は検索地点からの視界に入っていると判定する建造物視界
判定演算処理ステップを行う
請求項12ないし38に記載の写真マッピング方法。
【請求項40】
利用者端末の表示出力部で、
サーバーの検索演算処理部により検索地点での視界に入っていないと判定された建造物に
ついては、視界に入っていると判定された建造物とは異なる様態で表示処理を行う
請求項39に記載の写真マッピング方法。
【請求項41】
利用者端末の表示出力部で表示処理するデータとして、検索地点またはその周辺に関連
する地図、または、検索対象の建造物または自然のランドマークへの道順を示す
請求項12ないし40に記載の写真マッピング方法。
【請求項42】
利用者端末の表示出力部で表示処理するデータとして、建造物または自然のランドマー
クの写真または図を示す
請求項12ないし41に記載の写真マッピング方法。
【請求項43】
利用者端末の表示出力部で表示処理するデータとして、
検索対象の建造物または自然のランドマークの名称または連絡先または説明文または詳細
情報へのリンクを示す
請求項12ないし42に記載の写真マッピング方法。
【請求項44】
利用者端末の表示出力部で表示処理するデータとして、
検索対象の建造物に居住するテナントの名称または連絡先または説明文または詳細情報へ
のリンクを示す
請求項12ないし43に記載の写真マッピング方法。
【請求項45】
撮影端末またはサーバーまたは利用者端末を、請求項1ないし11に記載の写真マッピ
ングシステムとして機能させるか、
または、請求項12ないし44に記載の写真マッピング方法を実行する
ことを特徴とするプログラム。
【請求項46】
請求項45に記載のプログラムを格納した
ことを特徴とするコンピュータ用記憶媒体。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図33】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図40】
image rotate

【図41】
image rotate

【図42】
image rotate

【図43】
image rotate

【図44】
image rotate

【図45】
image rotate


【公開番号】特開2009−176262(P2009−176262A)
【公開日】平成21年8月6日(2009.8.6)
【国際特許分類】
【出願番号】特願2008−61233(P2008−61233)
【出願日】平成20年3月11日(2008.3.11)
【出願人】(301022471)独立行政法人情報通信研究機構 (1,071)
【Fターム(参考)】