【課題】地図サーバから送信されるランドマーク情報からユーザが望むランドマーク情報のみを表示する。
【解決手段】撮影機１０２は、デジタル画像を撮影する撮影部１１４と、前記撮影部１１４で撮影した前記デジタル画像に含まれる各オブジェクトにそれぞれ対応する複数の付加情報を保持する予め定められた地図サーバ１２０から当該複数の付加情報を取得する通信部１１２と、前記通信部１１２で取得した当該複数の付加情報から、表示する付加情報を選択する表示情報抽出部１１３と、前記撮影部１１４で撮影した前記デジタル画像と共に、当該複数の付加情報のうちで、前記表示情報抽出部１１３で選択した付加情報のみを表示する重複表示処理部１１６及び表示部１１７とを有する。

【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等の撮影機で撮影した画像に対し、撮影された被写体に関するランドマーク情報を重複する装置において、表示するランドマーク情報をフィルタリングするための装置に関する。
【背景技術】
【０００２】
従来、景観を撮影する装置の撮影画像を表示するディスプレイに景観と重複して景観の名前など、景観の属性情報（ランドマーク情報）を表示する景観表示システムがあった。この景観表示システムによって、例えば旅行先などであるビルの名前を知りたいときに、撮影機を向けることで、このビルの名称を知ることができるようになる。
【０００３】
特許文献１では、景観情報を取得する景観ラベリング端末と、それを通信回線で接続された景観ラベリングサーバからなり、景観ラベリング端末で取得した景観と、景観ラベリングサーバから送信されたラベリング情報を画像中のランドマークの対応する位置に重複表示することで、利用者が装置で撮影した画像中にあるランドマークの名前を知ることができる技術について開示されている。特許文献１に開示された景観ラベリングシステムは、実風景とその画像の対応付けを容易にし、カーナビゲーションなどでの移動経路の確認を支援する技術について開示されている。
【０００４】
図７２は、特許文献１に開示された景観ラベリングシステムの構成図である。景観ラベリング端末は、撮影時に位置、カメラ角度、焦点距離等を撮影時に取得し、景観ラベリングセンターへ送信する。景観ラベリングセンターは、コンピュータ上の地図データを３次元データとして予め作成している。景観ラベリングセンターは、景観ラベリング端末から受信した情報を元に、コンピュータ上の三次元空間内で、画像撮影時の景観ラベリング端末から見える景観のコンピュータグラフィック画像を作成する。作成したコンピュータグラフィック画像より、景観の構造物名等に代表される地理的情報を取得し、景観ラベリング端末へ送信する。
【０００５】
景観ラベリング端末は、受信した地理的情報を実風景である画像の構造物が写っていると思われる位置に重複表示する。
【特許文献１】特許第３２２５８８２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１では、実風景と撮影画像の対応を明確にする目的でランドマークを重複表示するため、画像中に重複表示された建物名や施設名などのランドマーク情報を閲覧すること自体が目的の場合に、撮影された画像に含まれるランドマークの数が多いと、撮影機に表示されるランドマーク名の数も多くなる。しかし撮影機の表示画像が小さいため多くのランドマークの名称を表示すると見難くなるため、利用者にとって閲覧性が悪くなるという課題を有していた。例えば、ビル街で遠方のビルを撮影した場合には、近傍のビルの名称がすべて表示され、ユーザにとって建物とランドマークの対応が取りづらくなるという課題を有していた。
【０００７】
また、従来撮影機と構造物の間の距離と、撮影機から得られた構造物の画像との垂直方向の相関が無いために、実際の構造物の位置にランドマーク情報を重複表示させることは困難であるという課題を有していた。特許文献１では、これを解決するために、コンピュータグラフィック画像を作成することによる視野空間の作成を行う。すなわち特許文献１では、撮影した景観のランドマーク情報を取得するために、景観ラベリングセンターでは、コンピュータ上の地図データを三次元のデータとして予め作成しておく。次に、景観ラベリング端末（撮影機）が位置情報、カメラ角と焦点距離、画像サイズ情報を景観ラベリングセンターに送信し、景観ラベリングセンターで、撮影機から見えている景観の視野空間を求め、その視野空間中に存在する構造物情報を取得する。また、構造物の情報を取得するために、撮影機の位置情報、カメラ角と撮影距離、画像サイズ情報が変わる度に視野空間を計算する必要があり、ランドマーク情報を取得するためのサーバの計算量が膨大になってしまう課題を有していた。
【０００８】
また、特許文献１では撮影機は取得した画像を複数の被写体の部分領域に分割する画像処理手段を有する。すなわち、撮影機はエッジ抽出を行う必要があり、撮影機の演算量が膨大になってしまうという課題を有していた。
【課題を解決するための手段】
【０００９】
本発明は、このような実情に鑑みてなされたもので、上記課題を解決するために、本発明は以下の手段を採用する。
【００１０】
すなわち、画像撮影装置は、デジタル画像を撮影する撮影手段と、前記撮影手段で撮影した前記デジタル画像に含まれる各オブジェクトにそれぞれ対応する複数の付加情報を保持する予め定められた保持装置から当該複数の付加情報を取得する付加情報取得手段と、前記付加情報取得手段で取得した当該複数の付加情報から、表示する付加情報を選択する選択手段と、前記撮影手段で撮影した前記デジタル画像と共に、当該複数の付加情報のうちで、前記選択手段で選択した付加情報のみを表示する表示手段とを有する。
【００１１】
これにより、有用な付加情報は表示されつつも、表示される付加情報が多過ぎることが回避されて、適切な数の付加情報が表示されるようにできる。
【発明の効果】
【００１２】
本発明によれば、表示される付加情報が多過ぎることが回避されて、適切な数の付加情報が表示されるようにできる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施の形態に係る景観フィルタリングシステムについて図面を参照しながら説明する。
【００１４】
（第１の実施形態）
第１の実施形態に係る画像撮影装置（撮影機１０２）は、デジタル画像を撮影する撮影部（撮影部１１４、画像処理部１１５）と、前記撮影部で撮影した前記デジタル画像に含まれる各オブジェクトにそれぞれ対応する複数の付加情報を保持する予め定められた保持装置（地図サーバ１２０）から当該複数の付加情報を取得する付加情報取得部（通信部１１２）と、前記付加情報取得部で取得した当該複数の付加情報から、表示する付加情報を選択する選択部（表示情報抽出部１１３）と、前記撮影部で撮影した前記デジタル画像と共に、当該複数の付加情報のうちで、前記選択部で選択した付加情報のみを表示する表示部（重複表示処理部１１６、表示部１１７）とを有する画像撮影装置である。
【００１５】
このため、対応するオブジェクトがデジタル画像に含まれる全ての付加情報のうちの、選択された有用な付加情報のみがデジタル画像と共に表示され、有用な付加情報は表示されつつも、表示される付加情報が多過ぎることが回避されて、適切な数の付加情報が表示されるようにできる。
【００１６】
また、第１の実施形態に係る画像撮影装置は、当該画像撮影装置は、前記撮影部で前記デジタル画像を撮影した撮影位置を取得する撮影位置取得部（位置情報取得部１０３）と、前記撮影部で前記デジタル画像を撮影した撮影方向を取得する撮影方向取得部（撮影方向取得部１０６）とを備え、前記付加情報取得部は、撮影位置および撮影方向に対応付けて、当該撮影位置から当該撮影方向を向いてデジタル画像に撮影されるオブジェクトの付加情報を記憶する予め定められた付加情報記憶装置（地図サーバ１２０）から、取得された前記撮影位置と、前記撮影方向とに対応付けられた各付加情報を取得することを特徴とする画像撮影装置である。
【００１７】
このため、デジタル画像に撮影された領域を特定し、その領域に位置が含まれるオブジェクトである、デジタル画像に含まれる各オブジェクトを特定する、撮影位置および撮影方向がそれぞれ取得されて、取得されたそれら撮影位置および撮影方向に対応した、それら、含まれる各オブジェクトの各付加情報が画像撮影装置に取得され、これにより、例えば、デジタル画像が付加情報記憶装置に送信され、送信されたデジタル画像から、撮影位置や撮影方向が不明なままで、そのデジタル画像の複雑な解析処理などにより、必要な付加情報が画像撮影装置に取得されるなどの、複雑な仕組みが必要なくなり、簡単な構成により、必要な付加情報が画像撮影装置に取得されるようにできる。
【００１８】
また、第１の実施形態に係る画像撮影装置は、前記複数の付加情報は、それぞれ、当該付加情報に係る前記オブジェクトの位置を含み、前記撮影部は、前記デジタル画像を撮影したズーム比を取得し、前記選択部は、取得された前記ズーム比に対して、大きく拡大するズーム比ほど遠い距離に対応付ける、ズーム比と距離との間の予め定められたズーム比対応関係が対応づける距離が、取得された前記撮影位置からの距離である位置が含まれる付加情報を選択することを特徴とする画像撮影装置である。
【００１９】
このため、より大きく拡大されるズーム比での撮影がされて、より遠くの距離の位置のオブジェクトがユーザに関心を持たれる場合には、より遠くの位置のオブジェクトの付加情報が表示され、ユーザに関心が持たれているオブジェクトの付加情報がより的確に表示されるようにできる。
【００２０】
また、第１の実施形態に係る画像撮影装置は、前記撮影部で前記デジタル画像を撮影した撮影方向を取得する撮影方向取得部と、前記選択部は、取得された前記撮影位置と前記撮影方向と前記ズーム比とを基にして、取得された当該撮影位置からの距離が、取得された前記ズーム比に対応付けられた範囲に含まれ、かつ、取得された当該撮影位置からの方向が、前記撮影方向である位置範囲を算出し、算出された前記位置範囲に含まれる位置が含まれた付加情報を選択することを特徴とする画像撮影装置である。
【００２１】
このため、撮影がされた撮影位置から、撮影がされた撮影方向である位置範囲の位置の付加情報が表示されることにより、付加情報が表示されるオブジェクトの位置までの距離だけでなく、撮影された撮影位置および撮影方向までも、有用であることを示す付加情報が選択され、表示がされて、より的確、確実に、有用である付加情報が選択され、表示されるようにできる。
【００２２】
しかも、適度な広がりのある位置範囲に位置のある付加情報が表示されて、有用な付加情報がより確実に表示されるようにできる。
【００２３】
また、第１の実施形態に係る画像撮影装置は、前記画像撮影装置は、さらに、撮影者が当該画像撮影装置を動かした手振れを検出する手振れ検出部を有し、前記表示部は、前記手振れ検出部が撮影者の手振れを検出している間は、検出の開始時に前記表示部が表示していた前記付加情報を継続して表示することを特徴とする画像撮影装置である。
【００２４】
このため、手振れが検出されて、取得されるズーム比が、表示される付加情報の選択に用いるのに適切でない間は、適切でなくなる直前の、検出の開始時において表示されていた付加情報が継続して表示されて、表示が乱れてしまうことを回避し、整った表示が継続されて、手振れがあったときでも、適切に表示が行われるようにできる。
【００２５】
また、第１の実施形態に係る画像撮影装置は、前記複数の付加情報は、それぞれ、当該付加情報に係る前記オブジェクトの位置を含み、前記撮影部は、前記デジタル画像を撮影した焦点距離を取得し、前記選択部は、取得された前記焦点距離に対して、遠い焦点距離ほど遠い距離に対応付ける、焦点距離と距離との間の予め定められた焦点距離対応関係が対応づける距離が、取得された前記撮影位置からの距離である位置が含まれる付加情報を選択することを特徴とする画像撮影装置である。
【００２６】
このため、より遠い距離が撮影される、より遠い焦点距離での撮影がされて、より遠くの距離の位置のオブジェクトがユーザに関心を持たれている場合に、より遠くの位置のオブジェクトの付加情報が表示され、ユーザに関心が持たれているオブジェクトの付加情報がより的確、確実に表示されるようにできる。
【００２７】
また、第１の実施形態に係る画像撮影装置は、前記画像撮影装置は、さらに、撮影中の人物を認識する人物認識部と、前記人物認識部で認識した人物に焦点を合わせる人物合焦部とを有し、前記撮影部は、前記デジタル画像を撮影したズーム比を取得し、前記選択部は、前記人物合焦部が人物に焦点を合わせて前記撮影部が前記デジタル画像を撮影した場合には、取得された前記ズーム比に基づいて、当該ズーム比に対して、大きく拡大するズーム比ほど遠い距離に対応付ける、ズーム比と距離との間の予め定められたズーム比対応関係が対応付ける距離が、取得された前記撮影位置からの距離である位置の部付加情報を選択することを特徴とする画像撮影装置である。
【００２８】
このため、人物認識部により人物が認識されて、人物に人物合焦部により焦点が合わせられた場合の、ユーザに有用な付加情報を示さない焦点距離での撮影がされた場合には、焦点距離ではなくズーム比に基づいて選択がされ、人物が認識されて焦点が人物に合わせられる機能を設けつつも、ズーム比による付加情報の選択がされることにより、適切に付加情報が選択され、表示されるようにできる。
【００２９】
また、第１の実施形態に係る画像撮影装置は、前記付加情報は、それぞれ、当該付加情報に係る前記オブジェクトの位置を含み、前記撮影部は、前記デジタル画像を撮影した視野角を取得し、前記選択部は、取得された前記撮影位置から、取得された前記視野角を見た予め定められた範囲に位置が含まれる付加情報を選択することを特徴とする画像撮影装置である。
【００３０】
このため、撮影された撮影位置から、撮影された視野角を見た、デジタル画像が表示される際に関心を持たれる予め定められた範囲に位置があるオブジェクトの付加情報が選択されて、より的確に適切な付加情報が選択され、表示されるようにできる。
【００３１】
また、第１の実施形態に係る画像撮影装置は、前記選択部は、取得した前記撮影位置から、取得した前記視野角を見た領域が予め定められた単位角度毎に分割された各部分領域毎に、それぞれ当該部分領域に位置が含まれる予め定められた個数の前記付加情報を選択することを特徴とする画像撮影装置である。
【００３２】
また、第１の実施形態に係る画像撮影装置は、前記付加情報は、下位の階層は、当該下位の階層よりも上位である上位の階層に含まれるオブジェクトの一部分よりなるオブジェクトが含まれる複数の階層のうちから、当該付加情報のオブジェクトが含まれる階層を特定する階層情報を含み、前記選択部は、前記複数の階層から、前記部分領域に位置が含まれる付加情報のうちで当該各選択階層のうち何れかを特定する階層情報が含まれる付加情報の個数の合計数が予め定められた個数以下である１以上の選択階層を選択し、選択した各選択階層の前記付加情報を選択することを特徴とする画像撮影装置である。
【００３３】
このため、個数に対応する適切な階層の付加情報が選択され、表示されるようにできる。
【００３４】
また、第１の実施形態に係る画像撮影装置は、前記複数の付加情報は、それぞれ当該付加情報に係る前記オブジェクトの位置を含み、前記選択部は、取得された前記撮影位置から、取得された前記撮影方向を見た予め定められた視野空間に、前記位置が含まれる付加情報を選択することを特徴とする画像撮影装置である。
【００３５】
また、第１の実施形態に係る画像撮影装置は、前記選択部は、前記視野空間が分割された予め定められたメッシュ毎に、それぞれ、当該メッシュに含まれる位置が含まれる付加情報を選択することを特徴とする画像撮影装置である。
【００３６】
また、第１の実施形態に係る画像撮影装置は、前記選択部は、前記視野空間が分割された、取得された前記撮影位置からの距離が互いに異なる複数の部分領域ごとにそれぞれ予め定められた個数の当該部分領域に含まれる位置を含む付加情報を選択することを特徴とする画像撮影装置である。
【００３７】
また、第１の実施形態に係る画像撮影装置は、前記付加情報は、下位の階層は、当該下位の階層よりも上位である上位の階層に含まれるオブジェクトの一部分よりなるオブジェクトが含まれる複数の階層のうちから、当該付加情報のオブジェクトが含まれる階層を特定する階層情報を含み、前記選択部は、前記複数の階層のうちから、分割された前記部分領域に含まれる位置を含む選択情報のうちで当該各選択階層を特定する階層情報が含まれる選択情報の合計数が前記予め定められた個数以下となる１以上の選択階層を選択し、選択した各選択階層の前記付加情報を選択することを特徴とする画像撮影装置である。
【００３８】
また、第１の実施形態に係る画像撮影装置は、前記選択部は、分割された前記部分領域に位置が含まれる付加情報が予め定められた個数を超える場合は、当該部分領域の各付加情報のうちで、取得された前記撮影方向からの角度が最も小さい位置を含む付加情報から、前記予め定められた個数番目に小さい位置を含む付加情報まで各付加情報を選択することを特徴とする画像撮影装置である。
【００３９】
また、第１の実施形態に係る画像撮影装置は、前記複数の付加情報は、それぞれ当該付加情報に係る前記オブジェクトの分類を含み、前記選択部は、前記付加情報取得部で取得した複数の付加情報のうちから、分類が予め定められた分類である付加情報を選択することを特徴とする画像撮影装置である。
【００４０】
また、第１の実施形態に係る画像撮影装置は、前記分類は、ジャンル、人気順位、検索順位の少なくともいずれか１つを含むことを特徴とする画像撮影装置である。
【００４１】
また、第１の実施形態に係る画像撮影装置は、前記画像撮影装置は、さらに、ユーザを識別するユーザ識別情報を保持する識別情報保持部と、保持される前記ユーザ識別情報を、ユーザ識別情報と分類との予め定められた分類対応情報を保持する情報提供サーバに送信し、前記情報提供サーバから、送信した前記識別情報に前記分類対応情報が対応させる分類を取得するユーザ情報取得部とを有し、前記選択部は、取得された前記分類を前記予め定められた分類として用いて、付加情報を選択することを特徴とする画像撮影装置である。
【００４２】
また、第１の実施形態に係る画像撮影装置は、前記画像撮影装置は、さらに、前記予め定められた分類を、前記予め定められた分類としてユーザから受け付けるユーザ情報受付部を有し、前記選択部は、付加情報に含まれる分類と、受け付けられた分類とに基づいて、付加情報を選択することを特徴とする画像撮影装置である。
【００４３】
また、第１の実施形態に係る画像撮影装置は、前記複数の付加情報は、それぞれ当該付加情報に係る前記オブジェクトの高さを含み、前記選択部は、含まれる高さが予め定められた高さ以上である付加情報を選択することを特徴とする画像撮影装置である。
【００４４】
このため、見え易く、関心がもたれ易い、高さが高いオブジェクトの付加情報が選択されて、表示されて、関心がもたれ易い適切な付加情報が的確に表示されるようにできる。
【００４５】
また、第１の実施形態に係る画像撮影装置は、前記選択部は、取得された前記撮影位置から、取得された前記撮影方向を見た予め定められた視野空間が、前記撮影位置からの距離が互いに異なる予め定められた複数の部分領域に分割された各部分領域毎に、それぞれ、当該部分領域に位置が含まれる予め定められた個数の付加情報を選択することを特徴とする画像撮影装置である。
【００４６】
また、第１の実施形態に係る画像撮影装置は、前記複数の付加情報は、それぞれ、当該付加情報に係る前記オブジェクトの高さにより、前記複数の付加情報が複数の高さ階層に分類された高さ階層分類を含み、前記選択部は、前記各部分領域ごとにそれぞれ、当該部分領域に対応する前記予め定められた個数に対応する高さ階層分類を選択し、選択した高さ階層分類が含まれる付加情報を選択することを特徴とする画像撮影装置である。
【００４７】
また、第１の実施形態に係る画像撮影装置は、前記選択部は、部分領域に位置が含まれる付加情報の個数が前記予め定められた個数を超える場合は、当該各付加情報のうちで最も高い高さの付加情報から、前記予め定められた個数番目に高い高さの付加情報までの各付加情報を選択することを特徴とする画像撮影装置である。
【００４８】
また、第１の実施形態に係る画像撮影装置は、前記複数の付加情報は、それぞれ当該付加情報に係る前記オブジェクトの位置を含み、前記画像撮影装置は、更に、前記表示部が表示を行う際の解像度を取得する解像度取得部を有し、前記選択部は、取得された前記撮影位置と前記撮影方向と前記解像度とに基づいて、取得された前記撮影位置から、取得された前記撮影方向を見た予め定められた領域に前記位置が含まれる付加情報のうちで、解像度が大きいほど多い個数に対応付ける、解像度と個数との間の予め定められた解像度対応関係が、取得された当該解像度に対応付ける個数の付加情報を選択することを特徴とする画像撮影装置である。
【００４９】
また、第１の実施形態に係る画像撮影装置は、前記付加情報は、それぞれ当該付加情報に係る前記オブジェクトの位置を含み、前記画像撮影装置は、前記表示部の表示領域の大きさを取得する表示領域情報検知部を有し、前記選択部は、取得された前記撮影位置と前記撮影方向と前記表示領域の大きさとに基づいて、取得された前記撮影位置から、取得された前記撮影方向を見た予め定められた領域に前記位置が含まれる付加情報のうちで、表示領域の大きさが大きいほど多い個数に対応付ける、表示領域の大きさと個数との間の予め定められた表示領域対応関係が、取得された当該表示領域の大きさに対応付ける個数の付加情報を選択することを特徴とする画像撮影装置である。
【００５０】
また、第１の実施形態に係る画像撮影装置は、当該画像撮影装置は、更に、付加情報を識別する識別子を、付加情報の詳細情報を保持する予め定められた詳細情報保持装置に送信し、送信する前記識別子により識別される前記付加情報の詳細情報を当該詳細情報保持装置から取得する詳細情報取得部を備えることを特徴とする画像撮影装置である。
【００５１】
また、第１の実施形態に係る画像撮影装置は、当該画像撮影装置は、更に、付加情報を識別する識別子を、付加情報の詳細情報の保存アドレスを保持する予め定められた保存アドレス保持装置に送信し、送信した前記識別子により識別される付加情報の詳細情報の保存アドレスを当該保存アドレス保持装置から取得し、取得した前記保存アドレスが示すアクセス先にアクセスすることで、当該アクセス先から前記詳細情報を取得する詳細情報取得部を備えることを特徴とする画像撮影装置である。
【００５２】
また、第１の実施形態に係る画像撮影装置は、前記付加情報に対応する詳細情報は、当該詳細情報に係る付加情報が有している情報以外の他の情報であり、かつ、当該オブジェクトに関する、インターネット上のウェブコンテンツと、当該オブジェクトのコンピュータグラフィックス（ＣＧ）モデルと、前記撮影に先立って撮影された、当該オブジェクトが写っている類似画像との少なくとも何れか１つを含み、前記詳細情報取得部は、前記付加情報が有する前記識別子によって識別される、当該画像撮影装置が接続する予め定められたネットワーク上のサーバに格納された前記詳細情報を取得することを特徴とする画像撮影装置である。
【００５３】
また、第１の実施形態に係る画像撮影装置は、前記画像撮影装置は、さらに、操作者の詳細情報取得要求を受け付ける詳細情報要求受付部を有し、前記詳細情報取得部は、前記詳細情報取得要求が受け付けられた場合に、前記詳細情報を取得することを特徴とする画像撮影装置である。
【００５４】
また、第１の実施形態に係る画像撮影装置は、前記詳細情報要求受付部は、前記デジタル画像に含まれるオブジェクトの画像を拡大させるズーム操作がされた場合に、拡大された前記デジタル画像に写ったオブジェクトの詳細情報の詳細情報取得要求として、当該ズーム操作を受け付けることを特徴とする画像撮影装置である。
【００５５】
これにより、関心を有するオブジェクトの画像を拡大するズーム操作をする操作だけで、自然、簡単に、詳細情報取得要求が受け付けられるようにできる。
【００５６】
また、第１の実施形態に係る画像撮影装置は、前記複数の付加情報は、それぞれ、当該付加情報に係る前記オブジェクトの位置を含み、前記選択部は、前記撮影部がデジタル画像を撮影するズーム比が操作者の操作により変更されると、変更後のズーム比に基づいて改めて前記表示部に表示される付加情報を選択し、前記詳細情報要求部は、前記操作により変更されたズーム比に基づき選択された付加情報の数が予め定められた個数以下の場合に、前記詳細情報取得要求として当該操作を受け付けることを特徴とする画像撮影装置である。
【００５７】
また、第１の実施形態に係る付加情報提供サーバ（地図サーバ１２０）は、オブジェクトの付加情報を保持するデータベース（地図データベース１１８）と、デジタル画像が撮影された撮影位置と撮影方向とを予め定められた他の装置から受信する受信部と、前記受信情報より、付加情報に係るオブジェクトの位置が受信された撮影位置と撮影方向とに対応する位置か否かに応じて、前記デジタル画像に含まれる各オブジェクトに対応する複数の付加情報を前記データベースより抽出する付加情報抽出部（ランドマーク情報抽出部１１９）と、抽出された前記付加情報を前記他の装置に送信する送信部とを有する付加情報提供サーバである。
【００５８】
また、第１の実施形態に係る付加情報提供サーバは、前記付加情報抽出部は、前記複数の付加情報を抽出した後に、前記デジタル画像の領域の周辺領域に位置が含まれるオブジェクトの前記付加情報たる周辺付加情報を抽出し、前記送信部は、抽出された付加情報と、抽出された周辺付加情報とを前記他の装置に送信することを特徴とする付加情報提供サーバである。
【００５９】
また、第１の実施形態に係る付加情報提供サーバは、前記付加情報提供サーバは、前記他の装置から、受信された前記撮影位置から、受信された前記撮影方向を向いて撮影された撮影のズーム比を受信し、受信された前記撮影位置から、受信された撮影方向を向いた予め定められた位置にある領域のうちの、受信されたズーム比に対して、大きく拡大するズーム比ほど遠い距離に対応付ける、ズーム比と距離との予め定められたズーム比対応関係が対応づける距離が、受信された前記撮影位置からある予め定められた部分領域に位置が含まれるオブジェクトの付加情報を前記データベースより抽出することを特徴とする付加情報提供サーバである。
【００６０】
また、第１の実施形態に係る付加情報提供サーバは、前記付加情報提供サーバは、前記受信部は、前記デジタル画像が撮影された際の焦点距離を受信し、前記付加情報抽出部は、受信された前記撮影位置から、受信された撮影方向を向いた予め定められた領域のうちの、受信された焦点距離に対して、遠い焦点距離ほど遠い距離に対応付ける、焦点距離と距離との予め定められた焦点距離対応関係が対応づける距離が、受信された前記撮影位置からある予め定められた部分領域に位置が含まれるオブジェクトの付加情報を前記データベースより抽出することを特徴とする付加情報提供サーバである。
【００６１】
また、第１の実施形態に係る付加情報提供サーバは、前記受信部は、前記デジタル画像が撮影された際の視野角を受信し、前記付加情報抽出部は、受信された前記撮影位置から、受信された視野角で、受信された撮影方向を向いた予め定められた領域に位置が含まれるオブジェクトの付加情報を前記データベースより抽出することを特徴とする付加情報提供サーバである。
【００６２】
また、第１の実施形態に係る付加情報提供サーバは、前記付加情報は、それぞれ当該付加情報に係る前記オブジェクトの分類を含み、前記付加情報抽出部は、含まれる分類が予め定められた分類である付加情報のみを抽出することを特徴とする付加情報提供サーバである。
【００６３】
また、第１の実施形態に係る付加情報提供サーバは、前記付加情報は、それぞれ当該付加情報に係る前記オブジェクトの高さを含み、前記付加情報抽出部は、含まれる高さが予め定められた高さ以上である付加情報のみを抽出することを特徴とする付加情報提供サーバである。
【００６４】
また、第１の実施形態に係る付加情報提供サーバは、前記付加情報提供サーバは、前記受信部は、前記デジタル画像が撮影された解像度を受信し、前記付加情報抽出部は、受信された解像度に対して、解像度が大きいほど多い個数に対応付ける、ズーム比と個数との間の予め定められた解像度対応関係が対応づける個数の付加情報のみを抽出することを特徴とする付加情報提供サーバである。
【００６５】
また、第１の実施形態に係る付加情報提供サーバは、前記付加情報提供サーバは、前記受信部は、前記他の装置から、前記デジタル画像が表示される表示領域の大きさを受信し、前記付加情報抽出部は、受信された前記表示領域の大きさに対して、表示領域の大きさが大きいほど多い個数に対応付ける、表示領域の大きさと個数との間の予め定められた表示領域対応関係が対応づける個数の付加情報のみを抽出することを特徴とする付加情報提供サーバである。
【００６６】
また、第１の実施形態に係る付加情報提供サーバは、前記付加情報提供サーバは、さらに、撮影者の属性情報を保持する属性情報保持部と、前記デジタル画像を撮影させた撮影者を識別する識別情報を前記他の装置から受信する識別情報受信部とを更に備え、前記付加情報抽出部は、受信された前記識別情報より識別される前記撮影者の属性情報を前記属性情報保持部より取得する属性情報取得部を有することを特徴とする付加情報提供サーバである。
【００６７】
また、第１の実施形態に係る付加情報提供サーバは、前記付加情報を識別する識別子を前記他の装置から受信する識別子受信部と、受信された識別子により識別される前記付加情報の詳細情報が保存された保存アドレスを前記他の装置へ送信する詳細情報送信部とを更に備えることを特徴とする付加情報提供サーバである。
【００６８】
また、第１の実施形態に係る付加情報提供サーバは、保持される前記付加情報を識別する識別子を受信する識別子受信部と、前記識別子が受信されると、受信された前記識別子によって識別される前記付加情報の詳細情報を予め定められた詳細情報データベースから取得し、取得した詳細情報を前記他の装置に送信する詳細情報送信部とを更に備えることを特徴とする付加情報提供サーバである。
【００６９】
また、第１の実施形態に係る付加情報提供サーバは、前記詳細情報は、当該詳細情報に係る付加情報が有している情報以外の他の情報であり、かつ、当該付加情報が対応するオブジェクトに係る、インターネット上のウェブコンテンツと、当該オブジェクトのコンピュータグラフィックス（ＣＧ）モデルと、前記撮影より先に撮影された、当該オブジェクトが写っている類似画像とのうちで少なくともいずれか１つを含み、前記付加情報提供サーバは、前記詳細情報を格納するデータベースを有することを特徴とする付加情報提供サーバである。
【００７０】
また、第１の実施形態に係る付加情報フィルタリングシステム（システム１０１）は、デジタル画像を撮影する画像撮影装置（撮影機１０２）と、当該画像撮影装置により撮影されるオブジェクトの付加情報を当該画像撮影装置に送信する付加情報提供サーバ（地図サーバ１２０）とを備え、前記画像撮影装置は、前記デジタル画像を撮影する撮影部（撮影部１１４、画像処理部１１５）と、前記撮影部でデジタル画像を撮影した撮影位置を取得する撮影位置取得部と、前記撮影部でデジタル画像を撮影した撮影方向を取得する撮影方向取得部と、取得された前記撮影位置と前記撮影方向とを前記付加情報提供サーバへ送信する送信部と、送信をした前記情報提供サーバより、前記撮影部で撮影した前記デジタル画像に含まれる各オブジェクトにそれぞれ対応する複数の付加情報を取得する付加情報取得部と、前記付加情報取得部で取得した複数の付加情報から、表示する付加情報を選択する選択部と、前記撮影部で撮影した前記デジタル画像と共に、前記選択部で選択した付加情報を表示する表示部とを有し、前記付加情報提供サーバは前記撮影位置と前記撮影方向とを前記画像撮影装置から受信する受信部と、前記デジタル画像の前記各オブジェクトに係る前記複数の付加情報を保持するデータベースと、前記受信情報より、付加情報に係るオブジェクトの位置が受信された撮影位置と撮影方向とに対応する位置か否かに応じて、前記複数の付加情報を前記データベースより抽出する付加情報抽出部と、抽出された付加情報を前記画像撮影装置に送信する送信部とを有する付加情報フィルタリングシステムである。
【００７１】
また、第１の実施形態に係る画像撮影装置は、前記表示部は、前記選択部で選択した付加情報を、取得された前記撮影位置から、選択された当該付加情報の前記オブジェクトの位置を向いた方角に対応する、当該画像撮影装置の左右方向の箇所に表示することを特徴とする画像撮影装置である。
【００７２】
また、第１の実施形態に係る画像撮影装置は、前記表示部は、前記選択部で選択した付加情報を、取得された前記撮影位置から、選択された当該付加情報の前記オブジェクトの位置までの距離に対応する、当該画像撮影装置の上下方向の箇所に表示することを特徴とする画像撮影装置である。
【００７３】
また、第１の実施形態に係る画像撮影装置は、前記表示部は、前記撮影部で取得した前記デジタル画像を表示すると共に、表示する当該デジタル画像上に枠を表示し、前記選択部で選択した付加情報のうちで、表示された前記枠の内部に含まれるオブジェクトの付加情報のみを、当該デジタル画像と共に表示することを特徴とする画像撮影装置である。
【００７４】
また、第１の実施形態に係る画像撮影装置は、表示される前記枠は、前記表示部が表示するデジタル画像の高さと等しい高さを持つ矩形の枠であり、前記表示部は、表示するデジタル画像の水平方向の中央部に当該枠を表示することを特徴とする画像撮影装置である。
【００７５】
また、第１の実施形態のＡ態様に係る景観フィルタリング装置は、デジタル画像を撮影する撮影部と、前記撮影部でデジタル画像を撮影した位置情報を取得する撮影位置情報取得部と、前記撮影部でデジタル画像を撮影した方角を取得する撮影方向取得部と、前記撮影した場所と前記撮影した方角とに基づいて、前記撮影部で撮影した前記デジタル画像に含まれる被写体情報に対応する、被写体名称などに代表される付加情報を取得する付加情報取得部と、前記付加情報取得部で取得した複数の付加情報から表示する付加情報を選択する選択部と、前記撮影部で撮影した前記デジタル画像に前記選択部で選択した付加情報を重複表示する表示部とを備えるものである。
【００７６】
また、第１の実施形態のＢ態様に係る景観フィルタリング装置は、デジタル画像を撮影する画像撮影装置と、被写体に関連する付加情報を送信する付加情報提供サーバからなり、前記画像撮影装置は、前記撮影部でデジタル画像を撮影した位置情報を取得する撮影位置情報取得部と、前記撮影部でデジタル画像を撮影した方角を取得する撮影方向取得部と、前記撮影した場所と前記撮影した方角を付加情報提供サーバへ送信する送信部と、前記情報提供サーバより前記撮影部で撮影した前記撮影した場所と前記撮影した方角とに基づいて、前記撮影部で撮影した前記デジタル画像に含まれる被写体情報に対応する、被写体名称などに代表される付加情報を取得する付加情報取得部と、前記付加情報取得部で取得した複数の付加情報から表示する付加情報を選択する選択部と、前記撮影部で撮影した前記デジタル画像に前記選択部で選択した付加情報を重複表示する表示部とを有し、前記付加情報提供サーバはオブジェクトに関連する付加情報を保持するデータベースを持ち、前記撮影した場所と前記撮影した方角を受信する受信部と、前記受信情報よりデジタル画像に含まれる被写体毎に対応する複数の付加情報を前記データベースより抽出する付加情報抽出部と、前記抽出情報を送信する送信部とを有するものである。
【００７７】
これらＡ態様、Ｂ態様によれば、撮影機に利用者の目的に則した情報のみを表示することが可能となり、ユーザにとってランドマーク情報の一覧性が良くなることが可能となる。また、ランドマーク情報を送信する地図サーバが、撮影機の視野空間を計算する必要が無くなるため、地図サーバのランドマーク情報取得のための演算量を低減することが可能となる。また、視野空間の計算を行わずに、撮影機に表示するランドマーク情報を、ユーザが実際の景観との対応を取りやすくなるように表示させることが可能となる。また、撮影機での演算量を低減することが可能となる。
【００７８】
図１〜１１、図３７〜４３、図４６〜４９、図４４、図１２〜１３は、第１の実施形態に係る図である。
【００７９】
図１は、本発明の第１の実施形態の構成図である。
第１の実施形態に係る全体構成（システム１０１）は、大きく分けて撮影機１０２と地図サーバ１２０とから構成される。
【００８０】
撮影機１０２は、下に示す、撮影機１０２に関する補助情報を撮影機属性情報生成部１２１によって生成し、生成した補助情報を、通信部１１２によって、地図サーバへ送信する。撮影機１０２は、例えば、代表的にはデジタルスチルカメラ等が想定される。
【００８１】
そして、撮影機１０２は、位置情報取得部１０３と、撮影方向取得部１０６と、フィルタ情報取得部１１１と、撮影範囲情報取得部１２２と、撮影機属性情報生成部１２１と、通信部１１２と、表示情報抽出部１１３と、撮影部１１４と、画像処理部１１５と、重複表示処理部１１６と、表示部１１７とから構成される。
【００８２】
まず、位置情報取得部１０３は、撮影機の位置情報を取得する位置情報検知部１０４とその位置情報を出力する位置情報出力部１０５で構成される。位置情報取得部１０３は、撮影機１０２の位置を測定、出力する装置である。
【００８３】
なお、位置情報検知部１０４が位置情報を検出する方法としては、代表的には、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を用いるのが望ましい。しかし、必ずしも、位置情報検知部１０４による位置情報の取得に関しては、ＧＰＳの利用に限定されるものではなく、ＧＰＳと加速度センサ、方位センサを用いることで、ＧＰＳが使えない場所での位置を測定する技術の適応が可能であり、この構成によっても同等の効果を有する。
【００８４】
また、位置情報検知部１０４が位置情報を検出する方法は、次に説明する方法であってもよい。すなわち、例えば観光地など多くのユーザが撮影を行う場所においては、あらかじめ位置情報を看板等に記載し、ユーザが手動で位置情報を取得することも可能である。これによって、ＧＰＳの位置情報が取得できない場合でも位置情報を取得することが可能である。また、これによって情報の測定誤差が小さくなる効果も期待できる。また、位置情報をＱＲコードにして看板に表示しておき、撮影機がこのＱＲコードを撮影することで位置情報を読み込むことも可能である。これによって、ユーザが位置情報を手動で入力する必要が無くなり、便利性が向上し、位置情報の入力間違いもなくなる。また、位置情報付きのＱＲコードを生成しなくても、無線ＬＡＮや短距離無線などの無線基地局から位置情報に関する情報をブロードキャストし、撮影機が通信部１１２によって位置情報を取得する構成にしても、ＧＰＳと同等の効果を得ることができる。また、位置情報取得用の通信部と、通信部１１２（図１）は別の通信部にしてもよい。これは位置情報取得用の無線通信は短距離しか通信できない通信方式を利用することによって、より位置情報の取得精度を高めるためである。
【００８５】
また、位置情報取得部１０３は、撮影機１０２と別の装置であってもよい。例えば携帯電話の位置情報測定機能を利用し、携帯電話から撮影機へ位置情報を短距離通信で送信する構成にしても良い。これによって、撮影機が新たに位置情報を取得するセンサを持つ必要が無くなり、撮影機の小型化、軽量化の効果が期待できる。
【００８６】
次に、撮影方向取得部１０６は、撮影機１０２のレンズが向いている方向を示す方向情報を取得する撮影方向検知部１０７と、撮影方向情報を出力する撮影方向出力部１０８とから構成される。撮影方向取得部１０６は、撮影機の方向情報を検出・出力する装置である。撮影方向を検出する方法として、例えば電子コンパスの利用が可能である。
【００８７】
次に、撮影範囲情報取得部１２２は、撮影機が撮影した範囲の情報（範囲情報）を取得するものである。範囲情報とは、撮影機１０２が撮影を行う撮影範囲を示すもので、例えば「１０度〜２７０度」等という情報を取得することが望ましいが、必ずしもこれに限定されるものではなく、レンズのズーム情報とカメラの広角情報等でもよい。また、撮影機１０２がズーム機能等を使っており、撮影機１０２が撮影可能な機能を限定している場合には、撮影機１０２が撮影可能な最大の撮影範囲情報を取得しても良い。これは、撮影機１０２がランドマーク情報を取得した場合に、スイッチの切り替えやズーム量の変更によって撮影範囲が変わった時にもスムーズにランドマーク情報を表示するためである。
【００８８】
なお、撮影機１０２が測定した位置情報と撮影方向情報等、ランドマーク情報を抽出するために撮影機１０２が取得した情報を総称して撮影機属性情報と呼ぶ。
【００８９】
次に、撮影機属性情報生成部１２１を説明する。位置情報取得部１０３、撮影方向取得部１０６、撮影範囲情報取得部１２２で作成された情報は、撮影機属性情報生成部１２１でヘッダなどが付加されたパケットとして（撮影機属性情報と呼ぶ）、通信部１１２（図１）が備える送信部から、地図サーバ１２０へ送信される。つまり、撮影機属性情報生成部１２１は、作成された各情報を取得して、取得された情報を、撮影機属性情報として地図サーバ１２０に送信する。
【００９０】
なお、地図サーバ１２０のアドレスはあらかじめ撮影機１０２のメモリに登録しておくことが望ましいが、ユーザの登録によって変更可能にしても良い。これによって、例えば地図サーバ１２０のアドレスが変わった場合にも新しい地図サーバ１２０へ上記撮影機属性情報を送信することが可能となる。また、新たに別の地図サーバ１２０がサービスを開始した場合にもユーザのシステム移行がスムーズになる。
【００９１】
次に、通信部１１２は、無線通信を介して、位置情報取得部１０３が取得した位置情報と、撮影方向取得部１０６が取得した撮影方向情報とを、地図サーバ１２０へ送信する。
【００９２】
なお、通信部１１２は、無線ＬＡＮを用いることが望ましいが、必ずしもこれに限定されることはなく、携帯電話やＰＨＳ、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）等の基地局通信を用いてもよいし、別の通信装置へ一旦撮影機属性情報を送信し、別の通信装置が地図サーバ１２０へ撮影機属性情報を送信する構成にしても良い。例えば、撮影機１０２は（撮影方向取得部１０６は）、携帯電話へ、無線ＬＡＮや、ＵＷＢやＺｉｇＢｅｅ等の短距離通信を用いて撮影機属性情報を送信し、携帯電話が、地図サーバ１２０へ、当該携帯電話に送信された撮影機属性情報を送信する構成が可能である。撮影機１０２が短距離通信で別の通信装置へデータを送り、別の通信装置が地図サーバ１２０へ撮影機属性情報を送信することによって、まず撮影機１０２の通信部１１２を小さくすることが可能である。また撮影機１０２の撮影機属性情報送信の電力を小さくすることができるため、撮影機１０２の利用可能時間を長くすることが可能である。
【００９３】
また、このような通信部１１２を有する撮影機１０２は、地図サーバ１２０との通信が電波環境の悪化などによって不可能になった場合は、位置情報と撮影情報を撮影機１０２のメモリに一時的に保存し、地図サーバ１２０との通信が可能になった後、地図サーバ１２０に対して保存した位置情報と撮影情報を通信部１１２によって送信し、送信によって得られたランドマーク情報を、撮影した画像のヘッダに付与しても良いし、地図サーバ１２０との通信が可能な別の機器（例えば、携帯電話）に近接通信により位置情報と撮影情報を送信し、他の機器によって地図サーバ１２０からのランドマーク情報の取得を行っても良い。
【００９４】
次に、地図サーバ１２０は、地図データベース１１８とランドマーク情報抽出部１１９からなる。
【００９５】
まず、地図データベース１１８は、ランドマークに関する情報（ランドマーク情報）を位置情報と共に保持している。地図データベース１１８は、ランドマークのＩＤ・ランドマーク名称・緯度・経度・住所・電話番号・属性名称・階層順位・優先度等から構成されるランドマーク情報を格納する。ランドマーク情報に含まれる階層順位とは、複数のランドマーク情報を階層的に管理するためのもので、例えば、ビルのランドマーク情報とそのビルに入居する店舗のランドマーク情報が、同じ緯度・経度を持ち、ビルランドマークの階層順位を店舗ランドマークの階層順位よりも高く設定しておくことで、ビルとその中の店舗のランドマークを階層的に格納することができる。さらにランドマーク情報は、地図データベースに保存されるすべてのデータや属性、メタデータを含むものとする。代表的にはＡビル、Ｂ寺院、Ｃ山といった建物や構造物の名前、飲食店、レジャー施設などの属性情報、飲食店のＵＲＬ情報やクーポン情報、地図サーバを経由して得られるユーザが作成したコンテンツや、メタデータ等が挙げられるが必ずしもこれに限定されない。例えば、地図サーバと連携したソーシャルネットワークサービス（ＳＮＳ）に含まれるユーザが作成した日記や、画像、映像、メタデータなどのコンテンツ情報もランドマーク情報と呼ぶ。
【００９６】
次に、ランドマーク情報抽出部１１９は、撮影機１０２から取得した撮影機属性情報をもとに、地図データベース１１８から撮影機１０２が撮影した画像に含まれるランドマーク情報と、その画像の周辺のランドマーク情報を抽出し、撮影機１０２へ送信する。ランドマーク情報抽出部１１９が周辺のランドマーク情報を送信することによって、ユーザが撮影機１０２をパンニングやズーミングした場合にも、過去に送信されたそれら周辺のランドマーク情報が撮影機１０２に用いられて、待ち時間無くランドマーク情報を表示することが可能となる。
【００９７】
なお、地図サーバ１２０が送信するランドマーク情報は、建物の名前など主要なもののみとし、ＵＲＬやメタデータ等の情報はさらに撮影機１０２側からリクエストがあった場合に再度送信するか、予め撮影機１０２が送信して欲しいランドマーク情報の種類を指定しておくことが望ましい。これによって、ランドマーク情報抽出部１１９が地図データベース１１８から抽出するデータの量が減るため、抽出速度が速くなる効果が期待できる。また、地図サーバ１２０が撮影機１０２へ送信するランドマーク情報のデータサイズも小さくなるため、撮影機１０２がランドマーク情報を取得するまでの待ち時間が短くなる効果も期待できる。
【００９８】
次に、撮影機１０２の通信部１１２における受信部は、地図サーバ１２０から受信したランドマーク情報を表示情報抽出部１１３へ送信する。
【００９９】
次に、フィルタ情報取得部１１１は、地図サーバ１２０から取得したランドマーク情報から、ユーザが求めるランドマーク情報のみを表示するためのフィルタリングに関する情報を検知するフィルタ情報検知部１０９と、当該フィルタ情報検知部１０９が検知した前記情報を送信するフィルタ情報出力部１１０から構成される。
【０１００】
図２は、フィルタ情報検知部１０９の詳細を示す図である。
フィルタ情報検知部１０９は、表示解像度情報検知部２０１と、ユーザカテゴリ検知部２０２から構成され、これらの検知情報の組み合わせによってフィルタリングを行う。
【０１０１】
まず、表示解像度情報検知部２０１は、撮影機１０２が撮影した画像情報とランドマーク情報を重複表示させる表示部１１７（図１）の解像度情報である。なお、表示解像度情報検知部２０１は、解像度情報を記憶するものであってもよい。
【０１０２】
次に、ユーザ選択カテゴリ検知部２０２は、ユーザによる表示ランドマークのカテゴリ情報を検出するものである。ここで、ユーザによる表示ランドマークのカテゴリの一例を挙げる。ランドマークのカテゴリとしては、都市や地域名、レストランやカフェ、居酒屋に代表される飲食店、宿泊施設、地図サーバのコミュニティが作成したカテゴリ、スーパーやコンビニ、映画やＤＶＤのレンタル、薬局や銀行ショッピングモールや百貨店などに代表されるショッピングやサービスに関するカテゴリ、空港や駅、ガソリンスタンドなどに代表される交通に関するカテゴリ。山や川の名前に代表される地勢に関するカテゴリ。寺社仏閣、温泉などに代表される観光地に関するカテゴリ、公園や学校、病院、図書館、郵便局などの施設カテゴリ、交通情報を表示する交通情報カテゴリなどが挙げられるが必ずしもこれに限定されるものではない。
【０１０３】
他方、表示情報抽出部１１３（図１）は、フィルタ情報取得部１１１から取得したフィルタリング情報を元に、ランドマーク情報をフィルタリングする。具体的なフィルタリング方法に関しては後述する。フィルタリングしたランドマーク情報は、表示情報抽出部１１３により、重複表示処理部１１６へ送られる。
【０１０４】
撮影機１０２は、景観を撮影部１１４によって取得し、画像処理部１１５で画像処理を行った後、景観データを重複表示処理部へ送信する。
【０１０５】
次に、重複表示処理部１１６では、画像処理部１１５で取得した景観データに表示情報抽出部１１３で抽出したランドマーク情報をオーバレイ表示する処理を行う。なお、重複表示処理部１１６は、ユーザ操作などによって重複表示をしない場合には、ランドマーク情報を重複表示することなく、画像処理部１１５の画像データを表示部１１７へ送信する。
【０１０６】
次に、表示部１１７は、撮影情報とランドマーク情報の重複した表示を行う。なお、表示部１１７は、ボタンや、タッチパネル機能が搭載されていて、ユーザ操作を受け付けることによって、より詳細なランドマーク情報を表示させるなどの処理機能を持たせることも可能である。
【０１０７】
図３は、撮影機１０２が地図サーバ１２０へ送信するデータのフォーマットの一例を示す図である。
【０１０８】
撮影機１０２が地図サーバ１２０に送信するデータには、図３に示されるように、測位時刻と、撮影した位置情報を示す緯度情報と経緯情報、撮影方向を示す真北に対する進行方向、撮影範囲情報、さらに撮影機１０２のＩＤ情報を付加する。
【０１０９】
なお、撮影機１０２のＩＤ情報は、地図サーバ１２０にどの撮影機１０２がアクセスしたかを認識するために使う。撮影機１０２が一意に認識できるＩＤであればよい。無線通信装置のＭＡＣアドレスなどでも同等の効果を得ることが可能である。また、撮影機１０２のＩＤは必ずしも１台の撮影機１０２に１つである必要は無い。例えば、複数のユーザが撮影機１０２を使う場合には、ユーザ毎にＩＤを作成しても良い。
【０１１０】
なお、ここに、送信されるデータのデータフォーマットは、必ずしもこれに限定されるものではない。特に位置情報の精度情報を向上させるために、ＧＰＳのクオリティ、受信することができたＧＰＳ衛星の数、ディファレンシャルＧＰＳ（ＤＧＰＳ）のエイジ、ＤＰＳ基準局のＩＤなどをデータフォーマットに付加して、ＤＧＰＳからの補正計算によって位置情報の精度を向上させることが可能である。
【０１１１】
ここで、撮影機１０２のモードを説明する。撮影機１０２は、画像撮影を行うための通常撮影モードと、ランドマークを画面表示しながら画像撮影や周辺情報の取得を行うためのランドマーク表示撮影モードと、撮影した画像を画面で再生するための再生モードとを備えており、ユーザは撮影機１０２の操作インタフェースを介して任意のモードに設定することができる。
【０１１２】
そして、ランドマーク表示撮影モードでは、ユーザが撮影機１０２を撮影対象に向けることで、撮影対象と撮影対象に対応するランドマーク情報を画像として画面に表示する。以下では、撮影機１０２が、ランドマーク表示撮影モードにおいて、撮影対象のランドマーク情報を取得する処理について説明する。
【０１１３】
図４は、撮影機１０２が風景を撮影し、撮影機属性情報を地図サーバ１２０へ送信するまでの一連のフローチャートである。
【０１１４】
まず、ユーザにより、ＳＷ等によって、ランドマーク表示モードへの切り替えが行われると（ステップ４０１）、撮影機１０２は、ランドマーク表示モードへ遷移する（ステップ４０２）。撮影機１０２の撮影機属性情報生成部１２１（図１）は、撮影機属性情報を作成し（ステップ４０４）、この情報を地図サーバ１２０へ送信する（４０５）。
【０１１５】
なお、ここで、撮影機１０２の変形例を説明する。撮影機属性情報には、撮影機１０２の位置情報と、撮影方向に関する情報が含まれるが、これらの位置情報検知部１０４と撮影方向検知部１０７を、撮影装置本体（撮影機１０２）には設けず、撮影装置本体（撮影機１０２）とは別の装置に分離する構成でもよい。例えば、位置情報検知部１０４と撮影方向検知部１０７を備えた携帯電話で取得した位置情報と撮影方向のすべてもしくはいずれかを、撮影装置（撮影機１０２）の受信部（図１に示される通信部１１２を参照）で受信するという構成にしても良い。これによって、撮影機１０２は、短距離無線の通信装置を備えることで、その携帯電話から位置情報と撮影方向情報の両方もしくはいずれか一方を取得することが可能となるため、位置情報や撮影方向を検出するセンサ等の検知部を備えないために、撮影機１０２小型化が可能になるというメリットを有している。
【０１１６】
なお、ここで、ステップ４０５で撮影機１０２により行われる撮影機属性情報の送信の処理の詳しい内容について説明する。撮影機１０２は、地図サーバ１２０のネットワークアドレスを用いて、ネットワークアドレスにより示されるサーバに対して送信を行うことにより、地図サーバ１２０に送信を行う。そして、撮影機１０２は、地図サーバ１２０のネットワークアドレス（ＵＲＬ）として、撮影装置が装置設定情報として記憶領域に格納しているものを使用する。なお、この、格納される、地図サーバ１２０のアドレスは、ユーザが撮影装置の操作インタフェースを用いて任意のアドレスに変更できるようにしてもよい。
【０１１７】
図５は、地図サーバ１２０が撮影機属性情報を受信し、撮影機１０２へランドマーク情報を送信するまでの一連のフローチャートである。
【０１１８】
地図サーバ１２０は、まず撮影機属性情報を受信したかどうかのチェックを行う（ステップ５０１）。撮影機属性情報を受信した後、地図サーバ１２０は、撮影機属性情報を解析し、地図データベース（地図ＤＢ）１１８へアクセスし（ステップ５０２）、撮影機１０２が撮影している景観に含まれるランドマーク情報（撮影範囲ランドマーク情報）を取得する（ステップ５０３）。地図サーバ１２０は、取得した撮影範囲ランドマーク情報を、撮影機１０２に送信する（ステップ５０４）。撮影範囲ランドマーク情報を撮影機１０２に送信した後、地図サーバ１２０は、撮影範囲周辺のランドマーク情報（撮影周辺ランドマーク情報）を取得し（ステップ５０５）、取得した撮影周辺ランドマーク情報を撮影機１０２へ送信する（ステップ５０６）。
【０１１９】
続けて、地図サーバ１２０が、ステップ５０５で、先にステップ５０３で受信した撮影機属性情報を元にランドマーク情報を取得する方法について詳しい説明を行う。
【０１２０】
図６は、撮影機属性情報を元に地図サーバ１２０がランドマーク情報を取得するエリアを示した図である。
【０１２１】
地図サーバ１２０は、撮影機１０２から送信された位置情報・方向情報を含む撮影機属性情報を受信し（図５のステップ５０１）、地図サーバ１２０のランドマーク情報抽出部１１９が、撮影機属性情報から得られる撮影範囲（図６において破線により示される撮影機の撮影範囲）より少し大きい範囲（撮影範囲ランドマーク情報取得範囲）の地図上のランドマーク情報を地図データベース１１８から抽出する（ステップ５０３）。
【０１２２】
ここで、この撮影範囲とは、図６に示されるように、扇型の範囲であり、扇型の中心角の位置は撮影装置の位置であり、扇型の中心角の二等分線、つまり図６における上方向きの矢印線は、撮影機１０２が撮影を行う撮影方向と一致し、扇型の中心角は、撮影機属性情報に含まれる撮影範囲情報である。
【０１２３】
また、撮影範囲ランドマーク情報取得範囲がなす扇形の半径、すなわち撮影範囲ランドマーク情報取得範囲の円弧の撮影機１０２からの距離に関しては、地図サーバ１２０が保持する所定値を用いる。
【０１２４】
なお、この所定値は、撮影機１０２から半径を５ｋｍの範囲と設定することが望ましい。これは、撮影機１０２が地上１．５ｍの高さにあると仮定した場合のおおよその水平線までの距離である。なお、この所定値に関しては必ずしも５ｋｍである必要はない。例えば撮影機１０２の位置情報と地図サーバ１２０に保存された標高情報より撮影機１０２の位置の高度を計算し、さらにそれに撮影機１０２の地上からの高さを１．５ｍ等と仮定し、撮影機１０２の高度から計算される地平線までの距離を、地図サーバ１２０が有する上記ランドマーク情報抽出部１１９が抽出するランドマークの半径、つまり上記所定値とすることで、さらに精度良くランドマーク情報の範囲を限定することが可能となる。
【０１２５】
図７は、地図サーバ１２０が撮影機１０２へ送信するランドマーク情報の範囲の一例を示す図である。
【０１２６】
先の図６に示された撮影周辺ランドマーク情報取得範囲は、当該範囲の内側の撮影範囲ランドマーク情報取得範囲よりさらに扇形の角度を広げた範囲とする。図７に示すように、地図サーバ１２０は、撮影機１０２に、まず撮影範囲ランドマーク情報を送信した後（図５のステップ５０４）、撮影周辺ランドマーク情報取得範囲のランドマーク情報を取得し（ステップ５０５）、撮影機１０２へ送信する（ステップ５０６）。これは、まず、撮影範囲のランドマーク情報を作成するまでの待ち時間を短くすると共に、撮影機１０２が撮影範囲周辺のランドマーク情報を保持しておくことによって、撮影機がパンニングした場合に、再度地図サーバ１２０のランドマーク情報取得処理を待つことなく、ランドマーク情報を迅速に表示することが可能となる効果を生む。
【０１２７】
なお、図７では、一例として、撮影周辺ランドマーク情報取得範囲の扇形の角度が、約２５０度〜約１１０度の範囲での２５０−１１０＝１４０度であり、撮影範囲ランドマーク情報取得範囲の扇形の角度が、約２３７度〜約１５５度の範囲での２３７−１５５＝８２度（＜１４０度)であり、撮影範囲の扇形の角度(撮影画角)が、約２１０度〜約１５５度の範囲での、２１０−１５５＝５５度（＜８２度＜１４０度）である例を示している。
【０１２８】
ランドマーク情報抽出部１１９（図１）は、地図データベース１１８からランドマーク情報を抽出し、これら抽出した複数のランドマーク情報を、撮影機属性情報を送信してきた撮影装置に対して送信する。
【０１２９】
撮影装置の受信部（図１に示される通信部１１２を参照）は、地図サーバ１２０から送信されたランドマーク情報を受信し、表示部１１７が、受信部が受信したランドマーク情報の全部または一部を、撮影部１１４および画像処理部１１５で取得した撮影画像とともに、撮影機１０２が有する画面に表示する。撮影装置は、ランドマーク情報の全部を表示するランドマーク全表示モードか、一部を表示するランドマーク一部表示モードかを、ランドマーク表示設定情報として、撮影機１０２が有する記憶部の記憶領域に格納しておく。
【０１３０】
なお、このようなランドマーク表示設定は、ユーザが撮影装置の操作インタフェースを用いて任意のランドマーク表示モードに変更でき、つまり、撮影機１０２は、操作インタフェースの操作を受け付けて、格納されるランドマーク表示設定情報を変更するようにしてもよい。
【０１３１】
図８は、撮影機１０２がランドマーク情報を表示し、表示部１１７に重複表示する処理のフローチャートである。
【０１３２】
撮影機１０２が行う撮影範囲ランドマーク情報に対する動作と、撮影周辺ランドマーク情報に対する動作とは、基本的に同じであるため、ここでは一括してこれらをランドマーク情報と呼ぶことにし、以下からこのランドマーク情報のフィルタリング方法について説明を行う。
【０１３３】
撮影機１０２は、地図サーバ１２０から、ランドマーク情報を受信すると（ステップ８０１：ＹＥＳ）、その受信したランドマーク情報の中で、表示するランドマーク情報をフィルタリングするためのフィルタリング情報を取得する（ステップ８０３）。フィルタリング情報に関しては、後で詳細に記述する。撮影機１０２は、フィルタリング情報を元に、受信したランドマーク情報をフィルタリングし、表示部１１７により、撮影された画像に写った景観に重複してランドマーク情報を表示する。
【０１３４】
撮影機１０２は、地図サーバ１２０からランドマーク情報を取得したかどうかをチェックする（８０１）。そして、撮影機１０２は、ランドマーク情報を受信したならば、次に受信したすべてのランドマークを表示するかどうかの判定処理を行う。撮影機１０２は、全てのランドマークを表示するか否かを特定する全ランドマークの表示設定を記憶部に格納しており、この表示設定により全て表示することが特定される場合（ステップ８０２：ＹＥＳ）、受信したすべてのランドマークを表示することを判定し、特定されない場合（ステップ８０２：ＮＯ）、全てのランドマークを表示せず、一部のみを表示することを判定する。
【０１３５】
なお、このような、全ランドマークの表示設定は、ユーザによる設定が望ましい。例えば、ランドマーク表示ボタンをユーザが切り替えることで、撮影機１０２が、全ランドマーク表示と、フィルタリングしたランドマークのみを表示させるモードを切り替えるものとしても良い。
【０１３６】
全ランドマークを表示する場合（ステップ８０２：ＹＥＳ）、撮影機１０２は、当該撮影機１０２のレンズから取得した撮影風景と、地図サーバ１２０から取得したランドマーク情報を、重複表示処理部１１６によって、重複表示させる（ステップ８０５）。
【０１３７】
他方、全ランドマークを表示させない場合（ステップ８０２：ＮＯ）、撮影機１０２は、フィルタリングしたランドマーク情報のみを表示する（ステップ８０３〜８０５）。表示情報抽出部１１３は、まずフィルタ情報取得部１１１より、ランドマーク情報のフィルタリングに関する情報を取得し（ステップ８０３）、取得したフィルタリング情報によって、表示するランドマーク情報を抽出する（ステップ８０４）。重複表示処理部１１６は、抽出されたランドマーク情報と、画像処理部１１５より得られた風景画像を重複表示させる（ステップ８０５）。
【０１３８】
以下、フィルタリング方法について説明する。
撮影機１０２が、ランドマーク一部表示モードに設定されている場合は、表示情報抽出部１１３が、地図サーバ１２０から受信したランドマーク情報の中から表示するランドマーク情報を抽出する。撮影機１０２は、当該撮影機１０２の各部から取得した撮影機属性情報をもとにしてフィルタリングを行う。より具体的には、撮影機１０２は、撮影機１０２のズームの大きさに応じて、ランドマーク情報を表示する領域を、撮影位置からの距離で限定し、つまり、その距離に対応する対応領域に限定し、さらに、表示するランドマークの名前を、表示可能な解像度に応じて、変更する。
【０１３９】
地図サーバ１２０には、前述したようにランドマーク情報が階層化されて保存されている。より詳しくは、地図サーバ１２０には、層が深くなる（階層が大きくなる）ほど、より詳細なランドマーク情報が保存されている。例えば、上位の階層にはビル街の名前が保存され、その下位の層にはビルの名前が保存され、さらにその下位の層にはビルに入っているテナントの名前が保存されている。つまり、地図サーバ１２０は、ランドマーク情報と共に、全体である上位のランドマークの上位のランドマーク情報と、当該上位のランドマークがなす全体に含まれる一部分である、下位のランドマークの下位のランドマーク情報との間の階層関係を記憶し、これにより、記憶されるランドマーク情報は階層化されている。
【０１４０】
撮影機１０２は、地図サーバ１２０から送信されたランドマーク情報を表示するために、撮影機１０２が撮影した空間を撮影機１０２からの距離によって複数の領域に分割する。そして、撮影機１０２は、一つの領域あたりに表示可能な最大ランドマーク数を撮影機の解像度情報によって決定する。撮影機１０２は、解像度が大きければ、表示可能な最大ランドマーク数を大きくする。
【０１４１】
図９は、ランドマーク情報を区切る空間の名称を示す図である。
地図サーバ１２０が有する地図データベース１１８（図１）が保持するランドマーク情報には、そのランドマーク情報のランドマークの位置が、図９に示される各空間（メッシュ領域）のうち、いずれの空間に属するかを示す位置情報が含まれる。
【０１４２】
撮影機１０２の近傍は、図９に示されるように、撮影機１０２からの距離が予め定められた範囲か否かに応じて、複数の領域に分割される。図９では、一例として、撮影機１０２の近傍が、３つの領域に分割される例を示している。そして、これら、分割された各領域は、撮影機１０２からの距離に応じて近距離を第１領域、中距離を第２領域、遠距離を第３領域とする。
【０１４３】
また、撮影機１０２の近傍は、図９に示されるように、撮影機１０２の撮影方向からの角度が予め定められた範囲か否かに応じて、複数の領域に分割され、撮影範囲は、水平方向のこれら各領域に分割される。以後、これら、分割された各領域を、レンジと呼ぶ。そして、撮影方向付近の範囲を第１レンジ、より広角の範囲を第２レンジ、さらに広角の範囲を第３レンジとする。
【０１４４】
以下の説明では、領域やレンジによって分割された空間の一つをメッシュ領域と呼ぶ。
撮影機１０２がズームを行うと、撮影される撮影範囲のレンジの幅も小さくなる。撮影機１０２のズーム比を大きくすると、撮影範囲の角度が小さくなる。撮影機１０２は、これに合わせて、フィルタリングで用いるレンジの角度を小さくする。例えば撮影範囲を３つのレンジに分解すると設定しておけば、ズーム比が大きくなれば、用いるレンジの幅が小さくなり、ズーム比が大きくなれば、用いるレンジの幅も相対的に広くなる。
【０１４５】
なお、領域やレンジ、階層の数に関しては必ずしもここに記載された数に限定されるものではない。なお、撮影機１０２には、レンジ分割のために、多軸のセンサを持たすことが望ましい。つまり、撮影機１０２が通常の撮影を行っている時には、水平方向の偏差を検出する電子コンパスによって、撮影機１０２が向いている方向を検出し、撮影機１０２が垂直方向に長い画像を撮影するために９０度傾けられて利用される場合には、通常撮影の向きで垂直方向、すなわち９０度傾けられた撮影機１０２で水平方向の偏差を検出する電子コンパスに切り替え、この電子コンパスで、撮影機１０２の向いている方向や、レンジの区切りを設定することが望ましい。これによって、撮影機１０２を９０度回転させた場合にも、正しくレンジの設定と、撮影方向の検出が可能となる。
【０１４６】
撮影機１０２は、一つのメッシュ領域に表示するランドマーク数の上限を、当該撮影機１０２が撮影を行う解像度より決定する。解像度が大きくなれば一領域あたり表示可能なランドマーク数は大きくなる。
【０１４７】
なお、以下では、一例として、１つのメッシュ領域あたり表示する上限のランドマーク数（メッシュ領域あたり最大表示ランドマーク数）が２である場合を説明する。なお、以下では、メッシュ領域のことを、表記の便宜上のため、単に領域と略称する場合がある。
【０１４８】
なお、これらの点については、あとで更に詳しく説明する。
図１０は、各階層あたりのランドマーク数と、実際に表示するランドマークの階層を示す図である。
【０１４９】
地図サーバ１２０が有する地図データベース１１８（図１）が保持するランドマーク情報には、そのランドマーク情報のランドマークが属する階層を示す階層情報が含まれる。この階層情報は、当該ランドマーク以外の他のランドマークの当該階層よりも小さければ、当該ランドマークが、その、他のランドマークよりも下位であることを示し、同じであれば同位であることを示し、大きければ下位であることを示す。この階層情報は、先述した記憶される階層関係である。
【０１５０】
そして、撮影機１０２は、表示情報抽出部１１３によって、地図サーバ１２０から取得されるランドマーク情報のうちから、当該各ランドマーク情報に含まれる階層情報により定まる一部のランドマーク情報を抽出し、つまり選択して、各ランドマーク情報のうちで、抽出したランドマーク情報を表示させる。
【０１５１】
例えば、図１０では、一例として、第３領域の第１レンジに位置することが、その位置に対応するバツ印によって示されるランドマーク情報は、第１階層に属し、第１階層を示す階層情報を含み、図１０における第２層の欄における、第３領域の第２レンジのなかのバツ印により示される、上記の第１階層のランドマーク情報とは別のランドマーク情報は、第２階層のランドマーク情報に属する例を示している。
【０１５２】
撮影機１０２は、一つのメッシュ領域当り表示可能なランドマーク数を超えない範囲で、もっとも階層が深いランドマークのランドマーク情報までを表示する。
【０１５３】
そして、撮影機１０２は、最上位、つまり図１０における第１層の階層のランドマーク数が、メッシュ領域あたり最大表示ランドマーク数を超えている場合は、中心部に近いレンジのメッシュ領域から、メッシュ領域当り最大表示ランドマーク数を超えない範囲で、ランドマークを表示する。
【０１５４】
今、領域当り最大表示ランドマーク数を２とする。第３領域は、第１層での合計のランドマーク数は１、第２層での合計のランドマーク数は２、第３層での合計のランドマーク数は４であるため、第３領域では、領域当り最大表示ランドマーク数２と同じ合計のランドマーク数であった、第２層のランドマークまでの各階層のランドマーク情報が表示される。また、第２領域を説明すると、第３層のランドマーク数は１、第４層のランドマーク数は２であるため、第２領域には第４層のランドマークを表示させる。また、第１領域の第１層のランドマーク数はすでに最大表示ランドマーク数２を超えている。この場合、撮影機１０２は、レンジによって、表示するランドマークをフィルタリングする。すなわち、第１領域−第１レンジのランドマーク数は２、第１領域−第２レンジのランドマーク数は４であるため、この場合には第１領域−第１レンジのランドマークが表示される。
【０１５５】
なお、表示する領域を撮影機１０２のズーム量によって抽出しても良い。
図１１は、ズーム量と表示領域の対応表の一例を示す図である。
【０１５６】
撮影機１０２は、ズーム量によって抽出を行う場合には、以下で説明するようにして、図１１によって説明される処理をして、抽出をする。
【０１５７】
撮影機１０２の近傍は、撮影位置からの距離によって、３つの領域に分割され、撮影装置が光学ズーム（物理的なレンズ駆動によるズーム）で１倍〜１０倍のズーム撮影機能を有するとして、撮影機１０２は、１倍〜３倍ズームの場合には第１領域（近距離領域）、３倍〜６倍ズームの場合は第２領域（中距離領域）、６倍〜１０倍の場合は第３領域（遠距離領域）のランドマーク情報を、それぞれ抽出する。すなわち、ズームが小さい場合は撮影位置に近いランドマークが撮影機１０２によって抽出され、ズームが大きい場合は撮影位置から遠いランドマークが撮影機１０２によって抽出される。これによって、ユーザが知りたい領域のランドマーク情報のみを表示させることが可能になるため、ユーザの利便性が向上する。
【０１５８】
なお、ランドマーク階層順位の選び方としては、第２階層以上の階層順位のランドマークを抽出する方法や、ランドマーク数が最小となる階層順位のランドマークを抽出する方法、ユーザがあらかじめ設定した階層順位のランドマークを抽出する方法がある。また、ランドマーク表示上限数に最も近くなるように自動的に階層順位を選択してもよい。
【０１５９】
また、表示領域は必ずしもズーム量によって決定する構成に限定されるものではなく、ズーム量ではなく撮影機１０２の焦点距離に応じて表示領域を変更しても良い。すなわち、図１０で説明すると、撮影機１０２の焦点距離が近い場合には第１領域に存在する被写体のランドマークを表示し、撮影機１０２の焦点距離が遠い場合には第３領域に存在する被写体のランドマークを表示する。撮影機１０２にオートフォーカス機能がついていれば、ユーザは撮影機１０２のズームボタンの操作を行うことなく、ユーザが知りたい被写体のランドマーク情報を取得することが可能となる。
【０１６０】
また、人間の顔を認識した場合にはその顔にフォーカスを合わせる顔認識フォーカス機能が撮影機１０２についている場合には、撮影機１０２は、顔認識フォーカス機能が動作していない場合には、焦点距離によってランドマークを表示する領域を決定し、顔認識フォーカス機能が動作すると、撮影機１０２のズーム機能によってランドマークの表示領域を決定するモードに移行する機能を搭載しても良い。これによって、顔認識フォーカス機能が搭載された撮影機１０２では、景観に歩行者の顔が写ると、焦点距離が変わり、表示領域が急に変化することが無くなり、ランドマーク表示領域の安定化に繋がる。
【０１６１】
また、撮影機１０２は、撮影距離および階層順位を用いて抽出したランドマーク情報が所定のランドマーク表示上限数を超えている場合、１つまたは複数の優先度を選択することによってランドマーク情報を絞り込む。例えば、ランドマーク優先度の選び方としては、所定の優先度以上のランドマークを抽出する方法や、優先度が最も高いランドマークを抽出する方法、ユーザがあらかじめ設定した優先度のランドマークを抽出する方法がある。また、ランドマーク表示上限数に最も近くなるように自動的に優先度を選択してもよい。
【０１６２】
なお、ランドマーク情報を表示する領域を水平方向に分割することで、撮影機１０２は、そのように分割された分割領域に基づいて、ランドマークを抽出してもよい。例えば、水平方向の撮影画角が９０度である場合に、左側３０度分を左領域、中央３０度分を中央領域、右側３０度分を右領域とし、所定の領域に含まれるランドマーク情報を抽出する。水平方向分割領域の中から所定の領域を設定する方法としては、中央領域に固定設定する方法や、撮影装置の操作インタフェースを用いてユーザが設定する方法などがある。特に、ユーザが領域を設定する場合については、撮影装置の設定情報としてユーザが撮影前に水平方向分割領域を設定してもよいし、表示部１１７によるランドマークおよび撮影画像の表示後に、水平方向分割領域を選択し再設定してもよい。
【０１６３】
重複表示処理部は、全てのランドマーク情報（ランドマーク全表示モード時）もしくは表示情報抽出部１１３によって抽出されたランドマーク情報（ランドマーク一部表示モード時）と撮影画像を重ね合わせて、画面に表示する表示画像を作成する。以下に代表的なランドマーク情報表示方法を示す。
【０１６４】
図３７は、ランドマーク表示画面の一例を示す図である。
なお、図３７の上部に示された、山の稜線や、Ａ服店やＣ服店などが面する道路などの画像が表示された、画像表示する領域のなかに示される、「Ｗ旅館」や「Ｙホテル」などの各文字は、それぞれ、単に、説明の便宜上から付された文字であり、撮影機１０２が表示させる文字ではない。
【０１６５】
一方で、図３７の下部に示された、升目状の矩形領域は、撮影機１０２が、ランドマーク情報を表示させるランドマーク表示部分であり、このランドマーク表示部分に示される「Ｃ服店」、「Ａ服店」などの各文字は、撮影機１０２が、ランドマーク情報として、ランドマーク表示部分に表示させる文字である。
【０１６６】
撮影機１０２は、上部の、画像表示する領域と、画像表示する領域の下部に設けられた、ランドマーク表示部分とを備える。ランドマーク表示部分は、撮影されている被写体が存在するメッシュ領域の水平方向の同じ位置にランドマーク名を表示する。これによって、ユーザにとって被写体とそれに対応するランドマークの対応が把握しやすくなるという効果が期待できる。また、ランドマーク表示部分は、撮影機からの距離が遠い領域のランドマークを表示領域の上部に、撮影機からの距離が近い領域のランドマークを表示領域の下部にそれぞれ表示する。また、ランドマーク表示部分は、同じ領域のランドマークに対しても、撮影機からの距離が遠い被写体は表示部の上部に、撮影機からの距離が近い被写体は表示部の下部に表示する。ユーザは、被写体の領域によって、表示がされる表示部分を変えることによって、撮影機と被写体の大まかな距離を知ることができると共に、撮影機と被写体の相対的な遠近を視覚的に知ることができるという効果が期待できる。
【０１６７】
さらに、撮影機が、撮影機の方向に最も近く、かつ最も手前のランドマーク名をマーキングや強調表示する。マーキングの例としては、カーソルボタンを前述のランドマーク名にあわせて置くことが望ましい。表示部の中心で、かつ手前のランドマークの情報をユーザがアクセスする頻度が高くなるため、ランドマークの詳細表示の際にユーザのカーソル移動の処理が不要になるという効果が期待できる。
【０１６８】
また、ランドマーク名の横に、撮影機から、対応する被写体までの直線距離や、被写体までアクセスするために必要な経路距離を表示させても良い。被写体までの距離を知ることによって、ユーザは被写体へアクセスする移動手段の検討をすることが可能となる。
【０１６９】
また、画面下部ではなく、画面上部や画面左端、画面右端にランドマーク表示領域を設けてもよい。画面左端もしくは画面右端に表示領域を設ける場合は、撮影位置から被写体への方向に応じて該当する被写体のランドマーク名称を表示領域内で左右に並べるとともに、撮影位置から被写体までの距離に応じて該当する被写体のランドマーク名称を表示領域内で上下に並べて表示する。
【０１７０】
図３８は、画面右端にランドマークを表示した場合の画面表示の一例を示す図である。図３８では、撮影位置に近いランドマークから順に、画面下部から画面上部にかけて並べて表示している図である。
【０１７１】
これによって、ランドマークの表示位置と、撮影機から被写体までの距離の相対的な対応がとることが可能になり、遠方の被写体など、肉眼ではどちらが遠方か分からないような被写体に対しても、どちらの被写体が遠いかという情報をユーザは視覚的に把握することが可能となる。また、ランドマークの水平方向の位置で分割して、ランドマークを複数列に分割しても良い。
【０１７２】
図３９は、ランドマークを２列に表示させた場合の表示部の一例を示す図である。ランドマークを複数列表示にすることによって、ランドマークの水平方向の位置の把握が容易になるというメリットがある。
【０１７３】
図４０は、領域に対応する表示部分に、その領域のランドマークが表示された表示部の一例を示す図である。
【０１７４】
図４０のように、撮影機から遠方の第３領域に位置する被写体のランドマーク名は、表示部の右上部に、第２領域に位置する被写体のランドマーク名は表示部の右中部に、撮影機近傍の第１領域に位置する被写体のランドマークは、表示部の右下部に表示する構成にしても良い。これにより、ユーザはランドマークがどの領域に存在する被写体の情報を表示しているかを知ることが容易になるため、例えばビル街など多くのランドマークが存在する地域で使用する場合に、被写体とランドマークの対応を誤る可能性が低下する。
【０１７５】
ランドマーク情報の重複表示方法は、ユーザが、表示するランドマークのジャンルを設定することで、画面表示するランドマークをさらにフィルタリングする構成としてもよい。
【０１７６】
図４１は、撮影装置の操作メニュー画面の一例を示す図である。
ユーザが撮影前に撮影装置の操作メニューを用いて、優先表示するランドマークのジャンルを選択しておけば、ユーザの嗜好に合致するランドマークを表示することができる。
【０１７７】
図４１の例では、優先表示を行うランドマークのジャンル設定において、「ファッション」・「レジャー」・「公共」・「交通」・「宿泊」・「飲食」・「人気スポット」・「その他」を選択可能なジャンルとして表示しているが、これらに限定されるものではない。また、前記ジャンル選択肢のうち、「人気スポット」については、撮影時におけるＵＲＬアクセス数が上位のランドマークを優先表示するものとしてもよいし、撮影機の画像に含まれるランドマークのＨＰの中で、検索サービスの検索ランキングの上位に位置するランドマークを表示しても良い。また、前記ジャンル選択肢のうち、「その他」を選択した場合には、ユーザが画面上に表示されるソフトウェアキーボード等を用いて任意のジャンルキーワードを入力し、そのジャンルキーワードをランドマーク情報内に含有するランドマークを優先表示するものとしてもよい。
【０１７８】
図４２は、被写体の詳細情報表示方法の一例を示す図である。
ランドマークの中から、ユーザが撮影装置の操作インタフェースを用いて任意のランドマークを一つ選択できるようにし、詳細なランドマーク情報を表示する。例えば、ランドマーク表示領域内にランドマーク選択のためのカーソルを表示し、多くのデジタルスチルカメラが搭載しているような十字（上下左右方向）キーを用いて、カーソルを移動させてランドマークの選択を行う方法がある。ランドマークが選択されると、ランドマーク詳細情報表示領域を画面中に表示し、この表示領域内にＩＤ・ランドマーク名称・ランドマークＵＲＬ・緯度・経度・住所・電話番号・属性名称・階層順位・優先度を表示する。
【０１７９】
なお、ランドマークの選択に関して、撮影装置の画面をユーザの指による接触を検知可能なタッチ式画面とし、このタッチ式画面に表示されたランドマークに指で触れることで選択する構成としてもよい。画面をタッチ式にすることによって、ランドマーク選択のためのカーソルキーが不要になるため、撮影機の小型化や、表示画面の大型化が可能となるという利点がある。
【０１８０】
選択したランドマークがランドマークＵＲＬの情報を持ち、ランドマーク詳細情報表示領域にランドマークＵＲＬを表示する場合は、ユーザが撮影装置の操作インタフェースを用いてＵＲＬが示すホームページを画面に表示する。ランドマーク詳細情報表示領域にランドマークＵＲＬを表示している状態で、ユーザが撮影装置の操作キーにより、ランドマークＵＲＬを選択すると、撮影装置に内蔵されたウェブブラウザが起動し、選択されたＵＲＬが示すホームページをインターネットから読み込んで、画面にホームページを表示する。
【０１８１】
なお、撮影装置にウェブブラウザを搭載することが困難な場合は、選択されたランドマークURLを携帯電話等のウェブブラウザを搭載した外部機器に送信するようにしてもよい。
【０１８２】
なお、撮影機は、ランドマークＵＲＬにアクセスする際に、撮影機固有のＩＤを送信する構成も可能である。これによって、撮影機にアクセスされたＨＰはどの撮影機がＨＰにアクセスしたかが分かるため、例えば飲食店などで、撮影機からのアクセスに対して通常のＰＣ等によるインターネットアクセスとは違ったクーポン情報等を表示することが可能となる。撮影機からのアクセスは、撮影機を持つユーザが被写体の近辺にいる可能性が高いことを示すため、より効果的な集客のＰＲが可能であるためである。その他にも、撮影機が被写体の近傍にいる可能性が高いことを利用して、撮影機からアクセスしたユーザにのみタイムサービスの広告ページを表示することも可能であり、これによって、ユーザの利便性とサービス提供会社の効率よい宣伝が実現する。
【０１８３】
なお、図４２では、ランドマークの中から、ユーザが撮影装置の操作インタフェースを用いて任意のランドマークを一つ選択できるようにし、詳細なランドマーク情報を表示する方法を示したが、表示されるランドマーク数が所定値以下であれば詳細情報付きのランドマークを表示しても良い。これによって、ユーザが、ランドマークを選択し、詳細表示ボタンを押すなどの詳細表示を行う処理を省略することが可能となる。
【０１８４】
また、詳細表示を行うのではなく、表示されるランドマークが所定値以下であれば、そのランドマークのＵＲＬへアクセスし、ＵＲＬ先の情報を表示させても良い。詳細表示された内容よりも、ＵＲＬ先の情報量が多いため、この機能によってユーザはより被写体の詳細な情報を知ることが可能となる。
【０１８５】
図４３は、撮影機が、ズーム操作に基づいてＵＲＬにアクセスする変形例を示す図である。
【０１８６】
なお、図４３に示すように、撮影装置のズーム操作によって画面中に１つのランドマークのみが最大ズーム倍率で表示されている場合に、ユーザがさらにズームイン操作を行うと、ウェブブラウザが起動し、画面に表示されているランドマークのＵＲＬに自動的にアクセスする構成としてもよい。このようにすることによって、ユーザはズーム操作のみで、ランドマークのＵＲＬにスムーズにアクセスすることができるようになる。画面中に拡大表示されているランドマークがＵＲＬ情報を持っていない場合は、ウェブブラウザを起動しないようにすることが望ましい。
【０１８７】
図４６は、本発明に係る、重複表示方法の別構成を示す図である。
画面下部にランドマーク情報に含まれるランドマークの名称を表示する表示領域を設ける。撮影されている被写体と被写体に該当するランドマーク名称が画面の表示領域内で水平方向に一致するように表示する。加えて、撮影位置から被写体までの距離に応じて該当する被写体のランドマーク名称を表示領域内で上下に並べて表示する。例えば、画面下部に２のランドマーク表示を行う場合、１行目、２行目の順に、ランドマーク表示された被写体までの距離が大きくなる。
【０１８８】
表示画面４６０１にズームが一倍の時のランドマーク表示方法を、表示画面４６０２にズームが５倍の時のランドマーク表示方法の一例を示す。撮影機は、ズームが小さいときは近傍のランドマークを表示し、ズームが大きくなるときには遠方のランドマークを表示する。
【０１８９】
ズーム量に応じて、ランドマークの表示領域を変えることによって、例えば、ユーザはズームによって遠方の地域の名称を知りたい場合には、ユーザはズーム機能によって遠方のランドマークを表示させることによって近傍のランドマークを表示せず、遠方のランドマーク情報のみを表示させることが可能となる。
【０１９０】
なお、表示するランドマーク名称が所定の字数を超えている場合は、撮影機が所定字数を超えた分の名称を省略して表示してもよいし、名称を縮小して表示してもよい。これによって、被写体の名称が長い場合にも、被写体とランドマークの水平方向の対応関係を保持したまま、ランドマークと被写体の重複表示が可能になる。
【０１９１】
また、情報地図サーバ（地図サーバ）が予め、名称が長いランドマークには短い簡易名称を付加し、簡易情報と正式な名称を撮影機へ送信することも可能である。これによって撮影機での名称が長いランドマーク表示には、簡易名称を用い、さらにユーザ操作によって、詳細情報を表示することを可能にする。
【０１９２】
計算機能力の高い地図サーバが簡易名称と正式名称を保持し、これを撮影機へ送信することによって、撮影機でのランドマーク表示のレスポンスを上げることが可能となり、ユーザの利便性が向上する。
【０１９３】
また、地図サーバにランドマークを登録する時に長い正式名称のランドマークと、簡易名称のランドマーク名を登録しておくことによって、ユーザにとって分かりやすい簡易表記でランドマーク名を表示することが可能となる。
【０１９４】
なお、撮影機が地図サーバへ送信する撮影機属性情報に撮影機に表示可能なランドマーク名の長さを計算するための情報を送信し、この情報に基づき地図サーバは、簡易表示の名称を決定する構成にしても良い。表示可能なランドマーク名の長さを知るために必要な情報としては解像度情報が望ましい。解像度が高い撮影機にランドマークを表示する場合には、比較的長い名称にランドマーク名の簡略化を行い、解像度が低い撮影機にランドマークを表示する場合には、短い名称にランドマーク名の簡略化を行う。これによって、表示装置の解像度に最適な長さでランドマークを表示させることが可能となる。
【０１９５】
なお、表示対象となるランドマークの位置を水平方向に限定することで、画面表示するランドマークをさらにフィルタリングする構成としてもよい。例えば、図４４に示すように、画面中央付近に画面上部から下部にわたる矩形枠を表示し、この矩形枠内に対応する位置にあるランドマークの中から、ズームが小さいときは近傍のランドマークを表示し、ズームが大きくなるときには遠方のランドマークを表示する。このような構成にすることで、ズームに応じたフィルタリングのみを利用する場合よりもランドマークを絞り込むことができる。また、ランドマークを限定する矩形枠の大きさは、撮影装置（撮影機）の操作インタフェースを介して、ユーザが撮影機のズームボタンやカーソルキーで任意の幅に変更できるような機構を設けることや、あらかじめ用意された複数の矩形幅の中から選択できるようにすることが望ましい。これによって、ユーザが知りたい範囲のランドマーク数のみを表示させることが可能となる。また、表示範囲を狭めることでより詳細な情報を表示させる構成にしても良い。
【０１９６】
また、撮影機の表示部にタッチパネル機能を持たせ、ユーザが撮影機へ２本の指をのせた幅に応じてランドマークの表示範囲をユーザが変更できる機能を付けても良い。これによりランドマーク表示範囲を中心部だけでなく、表示部の右端の一部分をユーザが選択することが可能となり、ランドマーク表示範囲の選択幅が広がるというメリットがある。
【０１９７】
図４７は、撮影機が、ランドマーク情報に含まれる高さ情報に応じて、フィルタリングをする変形例を示す図である。
【０１９８】
ランドマーク情報に含まれる高さ情報に応じて、画面表示するランドマークをさらにフィルタリングする構成としてもよい。例えば、図４７に示すように、ランドマークが密集している地点を撮影する場合、前記のズームに応じたフィルタリングによって絞り込まれたランドマークの中で、高さ情報が大きなランドマークから順に選んで表示する。高さの大きいランドマークは他のランドマークに全部が隠されてしまうことが少ないと考えられる。したがって、高さ情報が大きなランドマークから順に選んで表示することによって、ユーザの視界（撮影画面）に入っていないランドマークの表示を回避することができる。
【０１９９】
なお、本実施例では撮影位置から被写体までの距離に応じて該当する被写体のランドマーク名称を表示領域内で上下に並べて表示するとしたが、撮影装置（撮影機）の操作インタフェースでのユーザ操作に応じて、ランドマーク表示領域の表示・非表示を切り替えてもよい。例えば、ユーザが任意の操作を行った直後にランドマーク表示領域を表示し、表示開始から所定時間経過後にランドマーク表示領域を非表示にする構成がある。このようにすれば、ユーザが必要な場合にのみランドマークを表示することができる。
【０２００】
図４８は、撮影機が、ランドマーク周辺の地図情報を表示する変形例を示す図である。
撮影機は、図４８に示すように、特定のランドマーク情報の詳細表示を行った場合に、詳細表示を行ったランドマーク周辺の地図情報を表示してもよい。これによってランドマーク周辺の地理を見ることが可能となる。
【０２０１】
図４９は、撮影機が、撮影機の位置情報をあわせて表示する変形例を示す図である。
撮影機は、図４９のように、撮影機の位置情報もあわせて表示させても良い。これによって、現在地から詳細表示させたランドマークへの物理的アクセス経路と相対的な位置関係が容易に把握することができるというメリットがある。
【０２０２】
図４４は、撮影機が帯状のエリアを表示させる変形例を示す図である。
撮影機は、ランドマーク表示範囲を絞りたい場合は、撮影画像の表示中に、撮影機のズームボタンの操作によって、図４４のように帯状のエリアを表示させ、この帯状のエリアのランドマーク情報のみを表示させる構成にしても良い。帯状のエリアは、ズームボタンの操作によって表示部の中心部から左右対称の範囲となるようにしても良いし、さらに、帯状のエリアをズームボタンで決定し、さらにカーソルキーなどで帯状のエリアを左右に動かすことでランドマーク情報を表示させるエリアを決定する構成にしても良い。通常ズームボタンは画像撮影時に表示領域の拡大・縮小に用いるボタンであるため、ズームボタンの操作によって表示領域を変更させる構成にすることによって、ランドマーク情報の表示領域を拡大・縮小する際にユーザは直感的に操作を行うことが可能となる。
【０２０３】
図１２は、撮影機１２０１等に係る変形例を示す図である。
図１２を用いてユーザ操作とインターネットアクセスによるランドマークの詳細情報表示について説明を行う。地図サーバ１２０４が持つデータベースにはランドマーク特定のＩＤと、ＵＲＬ情報を保持している。地図サーバ１２０４は、撮影機１２０１へ送信するランドマーク情報には、ＵＲＬ情報は付加しない。
【０２０４】
撮影機１２０１には、データ１２０２の様に、ランドマークのＩＤ（ＬＭ−ＩＤ）、名称等ＵＲＬ以外のデータが格納されている（１）。今、ＬＭ−ＩＤがＪ−１２６５７４であるランドマークの名前が富士ホテルだとする。
【０２０５】
ユーザ操作によって、富士ホテルのＵＲＬ情報へアクセスする動作を説明する。
ユーザが重複表示された富士ホテルのクリック等により、富士ホテルのＵＲＬ情報取得の要求を行うと、撮影機１２０１は、地図サーバ１２０４へ特定のＬＭ−ＩＤ情報を送信する（２）。つまりこの場合富士ホテルのＬＭ−ＩＤ「Ｊ−１２６５７４」を送信する。地図サーバ１２０４では、ＬＭ−ＩＤの詳細情報とカウンタが保持されており、特定のＬＭ−ＩＤの詳細情報の送信要求が撮影機１２０１から地図サーバ１２０４に送信されると、この特定のＬＭ−ＩＤのＵＲＬ情報を撮影機１２０１へ送信するとともに、アクセス数をカウントアップする（３）。アクセスカウンタをカウントアップ後に、地図サーバ１２０４は、撮影機１２０１へ送信されたＩＤのＵＲＬ情報を送信する（４）。この場合には富士ホテルのＩＤを受信した地図サーバ１２０４は、富士ホテルのアクセスカウンタを増やし、富士ホテルのＵＲＬ情報を撮影機１２０１へ送信する。撮影機１２０１は、地図サーバ１２０４よりＵＲＬ情報を取得すると（５）、ＵＲＬの宛先の第二サーバ１２０５へアクセスする（６）。第二サーバ１２０５は、こうしてアクセスがされると、撮影機１２０１へＵＲＬ先の情報を送信する（７）。ＵＲＬ先の情報を取得した撮影機１２０１は、表示画面１２０３のように画面にＵＲＬ先に記載された詳細情報を表示する（８）。
【０２０６】
図１２の構成によって、地図サーバ１２０４は、ユーザがＵＲＬにアクセスしたランドマーク情報を知ることができる。これによって、地図サーバ１２０４は、人気があるランドマークの情報を知ることが可能となると共に、撮影機１２０１のアクセス数をカウントすることで、撮影機１２０１がアクセスした被写体のＵＲＬを管理する者から課金をすることが可能となり、地図サーバ１２０４の管理者が経済的な効果を得られるというメリットもある。また、地図サーバ１２０４が撮影機１２０１へＵＲＬ情報を送信するときに、ユーザがアクセス要求したランドマーク情報に関連する付加情報を撮影機１２０１へ送信することも可能である。
【０２０７】
図１３は、撮影機１２０１等に係る変形例を示す図である。
また、撮影機１２０１によるＵＲＬアクセスは、図１３に示す構成にしても良い。まず撮影機１２０１が特定のＬＭ−ＩＤの情報を地図サーバ１２０４へ送る（２）。地図サーバ１２０４はＬＭ−ＩＤのカウンタを増やし（３）、ＬＭ−ＩＤに対応したＵＲＬにアクセスする（４）。第２のサーバ１２０５は、地図サーバ１２０４がアクセスする、ＬＭ−ＩＤに対応したＵＲＬ先の情報を地図サーバ１２０４へ送り返す（５）。地図サーバ１２０４は、ＵＲＬ先の情報と、付加情報を付けて撮影機１２０１へデータの送信を行う（６）。ＵＲＬ情報を入手した撮影機１２０１は、画面にＵＲＬの情報と付加情報を表示する（８）。この構成により、地図サーバ１２０４は、ユーザがアクセス要求したランドマーク情報に関連する付加情報を撮影機１２０１へ送信することが可能となる。
【０２０８】
付加情報としては、アクセス要求されたランドマーク情報に関連する広告などが望ましいが、必ずしもこれに限定されるものではない。例えば、ランドマークが飲食店やホテルであった場合には、付加情報として、クーポンを表示することが可能である。
【０２０９】
また、地図サーバ１２０４が他の撮影機１２０１のアクセス履歴を管理しておき、例えばあるユーザが富士ホテルにアクセスした場合に、他のユーザが富士ホテルをアクセスした前後にアクセスしたランドマーク情報を表示することも可能である。これによって、ユーザが次にアクセスしたいと考えるランドマーク情報を推薦することが可能である。
【０２１０】
撮影機１２０１がＵＲＬにアクセスする際には、地図サーバ１２０４を経由してアクセスさせる図１３の形態により、地図サーバ１２０４は、撮影機１２０１のアクセス履歴を管理することが可能となる。これにより撮影機１２０１がアクセスした被写体のＵＲＬを管理する者から課金をすることが可能となり、地図サーバ１２０４の管理者が経済的な効果を得られるというメリットもある。また、付加情報として広告を載せる場合には、地図サーバ１２０４の管理者は、広告の依頼主からの課金を行うことが可能となり、経済的な効果を得られるというメリットもある。
【０２１１】
（第２の実施形態）
第２の実施形態に係る付加情報フィルタリングシステムは、デジタル画像を撮影する画像撮影装置と、前記デジタル画像と共に、当該デジタル画像に含まれる各オブジェクトにそれぞれ対応する複数の付加情報を表示する画像表示装置とを備え、前記画像撮影装置は、前記デジタル画像を撮影する撮影部と、前記撮影部で前記デジタル画像を撮影した撮影位置を取得する撮影位置取得部と、前記撮影部で前記デジタル画像を撮影した撮影方向を取得する撮影方向取得部と、前記撮影部で撮影した前記デジタル画像と、前記位置情報取得部で取得した撮影位置と、前記撮影方向取得部で取得した撮影方向とを出力する出力部を有し、前記画像表示装置は、出力された前記デジタル画像と前記撮影位置と前記撮影方向とを入力する入力部と、入力された前記撮影位置と前記撮影方向とに対応する、前記デジタル画像に含まれるオブジェクトにそれぞれ対応する前記複数の付加情報を取得する付加情報取得部と、前記付加情報取得部で取得した前記複数の付加情報から、表示する付加情報を選択する選択部と、入力された前記デジタル画像と共に、前記選択部で選択した付加情報を表示する表示部とを有することを特徴とする付加情報フィルタリングシステムである。
【０２１２】
また、第２の実施形態に係る付加情報フィルタリングシステムは、デジタル画像を撮影する画像撮影装置と、前記デジタル画像と共に、付加情報を表示する画像表示装置と、前記デジタル画像に含まれる各オブジェクトの付加情報を前記画像表示装置に送信する付加情報提供サーバとを備え、前記画像撮影装置は、前記デジタル画像を撮影する撮影部と、前記撮影部で前記デジタル画像を撮影した撮影位置を取得する撮影位置取得部と、前記撮影部で前記デジタル画像を撮影した撮影方向を取得する撮影方向取得部と、前記撮影部で取得したデジタル画像と、前記位置情報取得部で取得した前記撮影位置と、前記撮影方位情報取得部で取得した前記撮影方向とを出力する出力部を有し、前記画像表示装置は、出力された前記デジタル画像と前記撮影位置と前記撮影方向とを入力する入力部と、入力された前記撮影位置と前記撮影方向とを前記付加情報提供サーバに送信して、当該前記付加情報提供サーバから、送信した前記撮影位置と前記撮影方向とに対応する前記デジタル画像に含まれる各オブジェクトに対応する複数の付加情報を取得する付加情報取得部と、前記付加情報取得部で取得した前記複数の付加情報から、表示する付加情報を選択する選択部と、入力された前記デジタル画像と共に、前記選択部で選択した付加情報を表示する表示部とを有し、前記付加情報提供サーバは、オブジェクトの付加情報を保持するデータベースと、送信された前記撮影位置と前記撮影方向とを受信する受信部と、受信された前記撮影位置と前記撮影方向とに対応する、前記デジタル画像に含まれる各オブジェクトに対応する前記複数の付加情報を前記データベースより抽出する付加情報抽出部と、抽出された前記付加情報を前記画像表示装置に送信する送信部とを有する付加情報フィルタリングシステムである。
【０２１３】
図１５〜１６、図４５、図１７〜図２１は、第２の実施形態に係る図である。
図１５は、本発明の一実施例に係るシステム１５０１の構成図を示す図である。
【０２１４】
第２の実施形態に係るシステム１５０１は、大きく分けて、撮影機１５０２と表示機１５５０と地図サーバ１２０から構成される。
【０２１５】
本実施例においては、撮影機１５０２で撮影された画像に、表示機１５５０でランドマーク情報を重複し、表示する。このような撮影機と表示機を分離した構成にすることによって、表示機を大型化することができるとともに、例えば自宅等に設置された表示機で、外出時に撮影した画像にランドマーク情報を合成して表示するといった使用方法が可能となる。
【０２１６】
図１６は、第２の実施形態の利用方法の一例を示す図である。
撮影機１６０１は、撮影した画像情報と撮影属性情報とを可搬型外部メモリ１６０２を用いて表示機１６０３へ移動させる。表示機１６０３は、地図サーバ１２０よりランドマーク情報を取得し、重複表示を行う。表示機１５５０は、一般的に撮影機１５０２よりも高性能の処理プロセッサを持ち、また、インターネットへアクセスする手段を持っているため、この構成にすることによって、撮影機１５０２が地図サーバ１２０へアクセスする装置を当該撮影機１５０２に搭載する必要が無くなるため、撮影機１５０２の小型化が可能となる。また、重複表示された撮影画像を撮影機１５０２より大きい画面を持つ表示機１６０３で表示させることが可能となり、また、表示機１６０３の操作ボタンやリモコンによって表示項目などの設定が可能となるため、ユーザの利便性が向上する。
【０２１７】
撮影機１５０２は、位置情報取得部１０３と、撮影方向取得部１０６と、撮影範囲情報取得部１２２と、撮影機属性情報生成部１５２１と、外部メモリ制御部１５４１と、撮影部１５１４と、画像処理部１５１５から構成される。
【０２１８】
撮影機１５０２は、下に示す、当該撮影機１５０２に関する補助情報を撮影機属性情報生成部１５２１によって生成し、外部メモリ制御部１５４１によって、生成した撮影機属性情報を、撮影した画像とともに外部メモリ制御部１５４１が保持する可搬型外部メモリに記憶する。
【０２１９】
撮影機１５０２は、代表的にはデジタルスチルカメラ等が想定され、外部メモリ制御部１５４１が保持する可搬型外部メモリは代表的には不揮発性メモリカード等が想定される。
【０２２０】
まず、位置情報取得部１０３は、撮影機１５０２の位置を測定、出力する装置である。
次に、位置情報取得部１０３は、第１の実施形態における図１の位置情報取得部１０３と同様の処理を行う。なお、撮影機が、無線ＬＡＮや短距離無線などの通信部を備える構成とすることによって、位置情報付きのＱＲコードを生成しなくても、無線ＬＡＮや短距離無線などの無線基地局からブロードキャストされる位置情報に関する情報を受信することができるので、ＧＰＳと同等の効果を得ることができる。
【０２２１】
次に、撮影方向取得部１０６は、撮影機１５０２の方向情報を検出し、検出した方向情報を出力する装置である。撮影方向取得部１０６は、第１の実施形態における図１の撮影方向取得部１０６と同様の処理を行う。
【０２２２】
なお、これらの位置情報検知部１０４と撮影方向検知部１０７を、撮影機１５０２本体とは別の装置に分離する構成でもよい。例えば、位置情報検知部１０４と撮影方向検知部１０７とを備えた携帯電話で取得した位置情報と撮影方向のすべてもしくはいずれかを、撮影装置（撮影機１５０２）の受信部で受信するという構成にしても良い。これによって、携帯電話に位置情報を備えると共に、撮影機は短距離無線の通信装置を備えることで位置情報と撮影方向の両方もしくはいずれか一方を取得することが可能となるため、位置情報や撮影方向を検出するセンサを備えないために小型化が可能になるというメリットを有している。
【０２２３】
次に、撮影範囲情報取得部１２２は、撮影機１５０２が撮影した範囲の情報を取得するものである。撮影範囲情報取得部１２２は第１の実施形態における図１の撮影範囲情報取得部１２２と同様の処理を行う。
【０２２４】
そして、撮影機１５０２は、撮影機１５０２に備えられたシャッターの押下等を検知した際に、景観画像を撮影部１５１４によって取得し、画像処理部１５１５で、取得された景観画像の画像処理を行った後、外部メモリ制御部１５４１で、画像処理がされた後の画像データを、可搬型外部メモリに記憶する。この画像データの記憶時に、撮影機属性情報生成部１５２１は、位置情報取得部１０３、撮影方向取得部１０６、撮影範囲情報取得部１２２で作成された情報（撮影機属性情報と呼ぶ）を画像ヘッダデータとして、外部メモリ制御部１５４１に送る。外部メモリ制御部１５４１は、撮影機属性情報生成部１５２１から受け取った画像ヘッダデータを、可搬型外部メモリに格納された画像データのヘッダ部分に記憶する。
【０２２５】
なお、画像ヘッダのフォーマットとしては、例えばＥｘｉｆ（Ｅｘｃｈａｎｇｅａｂｌｅ ｉｍａｇｅ ｆｉｌｅ ｆｏｒｍａｔ）規格が代表的であり、このような規格に沿った画像ヘッダを生成する構成が望ましい。
【０２２６】
撮影機１５０２の外部メモリ制御部１５４１が保持する可搬型外部メモリは、撮影機１５０２および表示機１５５０に対して挿抜可能な構成とし、撮影機１５０２において撮影機属性情報および画像情報が記憶された可搬型外部メモリは、撮影機１５０２から抜き出して表示機１５５０に挿入される。表示機１５５０は、代表的にはテレビやＰＣ等大型のディスプレイを持つ装置が想定される。
【０２２７】
また、表示機１５５０は、外部メモリ制御部１５４４と、フィルタ情報取得部１１１と、通信部１５１２と、表示情報抽出部１５１３と、重複表示処理部１５１６と、表示部１５１７から構成される。
【０２２８】
ユーザが可搬型外部メモリに記憶された画像データの中から、閲覧したい画像データを検索および指定できるようにするため、表示機１５５０は、表示機１５５０が備える操作インタフェースを介してユーザの入力を受け付ける。
【０２２９】
まず、外部メモリ制御部１５４４は、内部に保持する可搬型外部メモリに記憶された画像データの中から、ユーザが指定した画像データを重複表示処理部１５１６に送る。また、外部メモリ制御部１５４４は、このとき同時に、画像データとともに画像ヘッダデータとして記憶された撮影機属性情報を通信部１５１２に送る。
【０２３０】
次に、通信部１５１２では、通信部１５１２が送る撮影機属性情報に、通信用ヘッダ情報等を付加し、これを送信部から地図サーバ１２０へ送信する。地図サーバ１２０のアドレスはあらかじめ表示機の内部メモリに登録しておくことが望ましいが、ユーザの入力操作によって地図サーバ１２０のアドレスを変更可能にしても良い。これによって、例えば地図サーバ１２０のアドレスが変わった場合にも対応可能となる。また、新たに別の地図サーバ１２０がサービスを開始した場合にもユーザのシステム移行がスムーズになる。
【０２３１】
なお、通信部１５１２は、無線や有線ＬＡＮを用いることが望ましいが必ずしもこれに限定されることはなく、携帯電話やＰＨＳ、ＷｉＭＡＸ等の基地局通信を用いてもよいし、別の通信装置へ一旦撮影機属性情報を送信し、別の通信装置が地図サーバ１２０へ撮影機属性情報を送信する構成にしても良い。例えば、携帯電話へ無線ＬＡＮや、ＵＷＢやＺｉｇＢｅｅ等の短距離通信を用いて撮影機属性情報を送信し、携帯電話が地図サーバ１２０へ撮影機属性情報を送信する構成が可能である。表示機１５５０が短距離通信で別の通信装置へデータを送り、別の通信装置が用いて地図サーバ１２０へ撮影機属性情報を送信することによって、まず表示機１５５０の通信部１５１２を小さくすることが可能である。また表示機１５５０の撮影機属性情報送信の電力を小さくすることができる。
【０２３２】
また、地図サーバ１２０は、ランドマークに関する情報（ランドマーク情報）を表示機１５５０に送信する。地図サーバ１２０は、第１の実施形態における図１の地図サーバ１２０と同様の処理を行う。ただし、ランドマーク情報抽出部１１９は、撮影機１５０２から取得した撮影機属性情報をもとに、地図データベース１１８から撮影機１５０２が撮影した画像に含まれる全ランドマーク情報を送信する。
【０２３３】
また、表示機１５５０の通信部１５１２における受信部は、地図サーバ１２０から受信したランドマーク情報を表示情報抽出部１５１３へ送信する。
【０２３４】
次に、フィルタ情報取得部１１１は、地図サーバ１２０から取得したランドマークからユーザが求めるランドマーク情報のみを表示するためのフィルタリングに関する情報を検知するフィルタ情報検知部１０９と、検知した情報を送信するフィルタ情報出力部１１０とから構成される。フィルタ情報取得部１１１は、第１の実施形態における図１のフィルタ情報取得部１１１と同様の処理を行う。
【０２３５】
次に、フィルタ情報検知部１０９の詳細は、図１に示すように第１の実施形態で示した構成と同様である。
【０２３６】
次に、表示情報抽出部１５１３は、フィルタ情報取得部１１１から取得したフィルタリング情報を元に、ランドマーク情報をフィルタリングする。具体的なフィルタリング方法に関しては、第１の実施形態で開示したフィルタリング方法と同様の処理方法を適用するものとする。フィルタリングしたランドマーク情報は重複表示処理部１５１６へ送られる。
【０２３７】
なお、本実施例においては、表示機１５５０は、当該表示機１５５０にユーザからの画像選択指定操作が入力された場合に、撮影機属性情報を地図サーバ１２０へ送信し、地図サーバ１２０からランドマーク情報を受信する一連の処理を実行するとしたが、このようなランドマーク取得処理実行のタイミングに限定されるものではない。例えば、表示機１５５０は、可搬型外部メモリ挿入時や、ユーザからの操作が所定時間入力されなかった場合に、可搬型外部メモリ内の全画像データに対して、画像データのＦＡＴ（Ｆｉｌｅ Ａｌｌｏｃａｔｉｏｎ Ｔａｂｌｅ）順や画像撮影時刻順等の順番でランドマーク取得処理をバックグラウンドで実行してもよい。ユーザ操作が行われる前や、アイドル時にランドマークを取得しておくことで、画像およびランドマークを重複表示する時にランドマーク取得のための待ち時間を大幅に減少させ、ユーザが表示機１５５０の操作を快適に行うことができる。
【０２３８】
次に、重複表示処理部１５１６では、外部メモリ制御部１５４４から取得した景観画像データに表示情報抽出部１５１３で抽出したランドマーク情報をオーバレイ表示する処理を行う。ユーザ操作などによって重複表示をしない場合には、ランドマーク情報を重複表示することなく、画像データをそのまま表示部１５１７へ送信する。
【０２３９】
次に、表示部１５１７は、撮影情報とランドマーク情報の重複した表示を行う。
図４５は、表示機１５５０と、リモコン４５０１とを示す図である。なお、図４５に示すように表示機１５５０には本体操作ボタンや、操作リモコン４５０１等が搭載されていて、ユーザ操作を受け付けることによって、より詳細なランドマーク情報を表示させるなどの処理機能を持たせることも可能である。
【０２４０】
表示機１５５０が地図サーバ１２０へ送信するデータのフォーマットは、第１の実施形態に一例として図３で示したデータフォーマットと同様である。
【０２４１】
表示機１５５０は、撮影した画像を画面で再生するための通常の再生モードと、ランドマークを画面表示しながら画像の閲覧やランドマークに関する詳細情報の取得を行うためのランドマーク表示モードを備えており、ユーザは表示機１５５０の操作インタフェースを介して任意のモードに設定することができる。ランドマーク表示モードでは、ユーザが表示機１５５０の操作インタフェースを介して、表示機１５５０が保持する可搬型外部メモリ内の画像データを選択することで、選択画像と選択画像に対応するランドマーク情報を画像として画面に表示する。以下では、続けて、ランドマーク表示モードにおいて、選択画像中に含まれる対ランドマーク情報を取得する処理について説明する。
【０２４２】
図１７は、表示機１５５０が景観画像データを再生し、撮影機属性情報を地図サーバ１２０へ送信するまでの一連のフローチャートである。
【０２４３】
表示機１５５０は、まずＳＷ等によって、ランドマーク表示モードへの切り替えが行われると（４０１）ランドマーク表示モードへ遷移する（４０２）。すると、表示機１５５０の通信部１５１２は、撮影機属性情報を地図サーバへ送信する（４０５）。
【０２４４】
地図サーバ１２０のネットワークアドレス（ＵＲＬ）は、表示機１５５０が装置設定情報として内部記憶領域に格納しているものを使用する。なお、この地図サーバ１２０のアドレスは、ユーザが表示機１５５０の操作インタフェースを用いて任意のアドレスに変更できるようにしてもよい。
【０２４５】
図１８は、地図サーバ１２０が撮影機属性情報を受信し、撮影機１５０２へランドマーク情報を送信するまでの一連のフローチャートである。
【０２４６】
地図サーバ１２０は、まず撮影機属性情報を受信したかどうかのチェックを行う（５０１）。
【０２４７】
撮影機属性情報を受信した後、地図サーバ１２０は、撮影機属性情報を解析し、地図データベース（地図ＤＢ）へアクセスし（５０２）、画像データの景観に含まれるランドマーク情報（撮影範囲ランドマーク情報）を取得（５０３）、表示機に送信する（５０４）。
【０２４８】
地図サーバが、撮影機属性情報を元にランドマーク情報を取得する方法については、第１の実施形態における処理方法と同様である。
【０２４９】
図６は、撮影機情報を元に地図サーバがランドマーク情報を取得するエリアを示した図である。第１の実施形態の説明におけるこの図６を、第２の実施形態の説明でも用いる。
【０２５０】
地図サーバ１２０は、表示機１５５０から送信された位置情報・方向情報を含む撮影機属性情報を受信し、地図サーバ１２０のランドマーク情報抽出部１１９が、撮影機情報から得られる撮影範囲より少し大きい範囲の地図上のランドマーク情報を地図データベース１１８から抽出する。この撮影範囲とは扇型の範囲であり、扇型の中心角の位置は撮影装置（撮影機１５０２）の位置であり、扇型の中心角の二等分線は撮影方向と一致し、扇型の中心角は撮影機属性情報に含まれる撮影範囲情報である。また、扇形の半径、すなわち撮影範囲ランドマーク情報取得範囲の円弧の撮影機１５０２からの距離に関しては、地図サーバ１２０が保持する所定値を用いる。この所定値は撮影機１５０２から半径を５ｋｍの範囲と設定することが望ましい。これは撮影機１５０２が地上１．５ｍの高さにあると仮定した場合のおおよその水平線までの距離である。
【０２５１】
ランドマーク情報抽出部１１９は、地図データベース１１８からランドマーク情報を抽出し、これら抽出した複数のランドマーク情報を、撮影機情報を送信してきた表示機１５５０に対して送信する。
【０２５２】
表示機１５５０の受信部（図１５の通信部１５１２を参照）は、地図サーバ１２０から送信されたランドマーク情報を受信し、受信したランドマーク情報の全部または一部を、外部メモリ制御部１５４４から取得した撮影画像とともに表示機１５５０が有する画面に表示する。表示機１５５０は、受信されたランドマーク情報の全部を表示するランドマーク全表示モードか、一部を表示するランドマーク一部表示モードをランドマーク表示設定情報として内部記憶領域に格納しておく。
【０２５３】
なお、ランドマーク表示設定は、ユーザが表示機１５５０の操作インタフェースを用いて任意のランドマーク表示モードに変更できるようにしてもよい。
【０２５４】
表示機１５５０がランドマーク情報を表示し、表示部１５１７に重複表示するフローチャートは、第１の実施形態に一例として図８で示したフローチャートと同様である。
【０２５５】
ランドマーク情報のフィルタリング方法は、第１の実施形態で説明したフィルタリング方法と同様の方法を、本実施例に適用するものとする。
【０２５６】
図１９は、撮影機１９０２が、ズーム情報を可搬型外部メモリに記憶する構成を示す図である。
【０２５７】
なお、撮影機１９０２のズーム情報を用いてランドマークのフィルタリングを行う場合は、撮影機属性情報が撮影機１９０２における画像撮影時のズーム情報を内包しておかなければならない。撮影機１９０２がズーム情報を取得し、可搬型外部メモリに撮影機属性情報として記憶する構成を図１９に示す。ズーム情報取得部１９６０は、撮影機１９０２のズーム倍率を取得するズーム情報検知部１９６１と、取得したズーム倍率を出力するズーム情報出力部１９６２とから構成される。
【０２５８】
ユーザが選択した画像データに、対応するランドマーク情報を重複表示する表示処理・手法については、第１の実施形態で説明した表示方法と同様の方法を、本実施例に適用するものとする。表示画面下部へのランドマーク重複表示、表示画面横へのランドマーク重複表示、ランドマーク情報が有するジャンル情報を用いたランドマーク重複表示等、第１の実施形態におけるランドマーク表示を、本実施例における表示機１９５０が備える画面で行う。
【０２５９】
なお、第２の実施形態では、撮影機が表示機へ可搬型外部メモリを用いて画像情報と撮影機属性情報を送信する方法について説明を行ったが、これらの情報を転送するために必ずしも可搬型外部メモリを用いる必要は無い。
【０２６０】
例えば、外部メモリ制御部１５４１の代わりに、撮影機と表示機に短距離無線装置を搭載し、これによって無線通信でデータの転送を行うことが可能である。短距離無線の方式としては、ＵＷＢ（Ultra Wide Band）が好ましいが、ＺｉｇＢｅｅや、無線ＬＡＮのアドホック機能、Ｂｌｕｅｔｏｏｔｈ（登録商標）等でも実現可能である。可搬型外部メモリの代わりに無線通信を持たせることでユーザは可搬型外部メモリを撮影機と表示機に着脱する必要が無くなると共にデータ転送の待ち時間を短くすることが可能となる。
【０２６１】
また、短距離無線通信を用いる場合には、表示機へ撮影機の外部メモリ制御部へ保存された情報をコピーせずに、逐次撮影機へアクセスすることによって、データや撮影機属性情報を取得する構成も可能である。これによって、表示機に撮影機で取得した情報を残すことなく、ランドマーク情報の重複表示が可能となるため、例えば第三者が設置した表示機にランドマーク情報を表示する際に撮影者のプライバシー保護のために撮影機のデータを表示機から消去する処理が不要になるというメリットがある。
【０２６２】
なお、第２の実施形態では、表示機が備える操作ボタンやリモコンによってユーザの操作入力を受け付ける構成について説明を行ったが、これらの操作入力インタフェースに限定されるものではない。例えば、マウス等の二次元ポインティング装置を表示機に接続することで、ユーザが表示機の画面中に表示したカーソルを操作し、同じく画面中に重複表示されたランドマーク情報の選択等の操作を入力することができる。また、ユーザの姿勢や動作を検出するモーションセンサを、ユーザの体の一部もしくは表示機側に設けることで、ユーザは自身の体の姿勢や動き（ジェスチャ）によって、操作を表示機に入力する構成としてもよい。このような二次元ポインティング装置やモーションセンサを用いてユーザの操作入力を受け付けることにより、ユーザが表示機から離れた位置に居る場合でも、操作ボタンやリモコンを用いた操作よりも直感的かつスムーズな操作を実現することが可能となる。
【０２６３】
なお、第２の実施形態では、代表的な表示機としてテレビを挙げたが、表示機はこれに限定されるものではない。例えば、ハードディスク等の大容量記憶装置と、可搬型外部メモリに格納されたデータを取得可能な外部メモリ制御部を備えたパソコンやハードディスクレコーダ等を表示機としてもよい。これらの記憶装置を備えた機器では、ユーザが撮影した画像データを可搬型外部メモリから記憶装置に転送して保存する構成が広く採用されている。このような構成においては、可搬型外部メモリに格納された画像データだけでなく、ユーザが過去に撮影して記憶装置に転送しておいた画像データに対しても、本実施例で説明した、ランドマーク情報の重複表示が可能となる。
【０２６４】
さらに、パソコンやハードディスクレコーダ等を表示機とした場合、表示機の操作インタフェースを介してユーザによって選択された画像データにランドマーク情報を重複表示するだけでなく、機器が備える記憶装置に保存された画像データの中から、選択された画像データの撮影位置に近い位置で撮影された画像データを、選択された画像データの上に縮小して表示する構成にしてもよい。このような構成にすることにより、ユーザには、選択した画像データの近くで過去に撮影した画像データを検索しやすくなるという効果がある。
【０２６５】
なお、第２の実施形態では、表示機で画像データに対応するランドマーク情報のフィルタリングおよび画像データへの重複表示を行う構成としたが、フィルタリングしたランドマーク情報を可搬型外部メモリ等の記憶領域に記憶する構成としてもよい。例えば、画像データのヘッダデータ部分に、画像データに対応するランドマーク情報を記憶する。このような構成にすることにより、ランドマーク情報付きの画像データを格納した可搬型外部メモリを、地図サーバとの通信することが困難であるデジタルスチルカメラ等の他の機器に移した場合であっても、他機器の画面上で画像データへのランドマーク情報の重複表示が可能となる。
【０２６６】
なお、同一のランドマーク情報や撮影地情報を含む画像データの一覧表示や、ランドマーク情報や撮影地情報に応じて、機器が備える記憶装置にフォルダ分けして保存を行なっても良い。さらに、画像データの検索性の向上のために、ランドマーク情報や撮影地情報を画像データの検索キーとしても良い。
【０２６７】
なお、第２の実施形態においては、地図サーバが画像撮影範囲に対応するランドマーク情報を抽出し、表示機が抽出されたランドマーク情報をフィルタリングして画像に重複表示を行う構成としたが、地図サーバがランドマーク情報の抽出およびフィルタリングを行い、表示機が地図サーバでフィルタリングされたランドマーク情報を画像に重複表示する構成としてもよい。
【０２６８】
図２０は、地図サーバがフィルタリングを行う構成を示す説明図である。
例えば、図２０に示すように、フィルタ情報取得部１１１が出力したフィルタ情報を、撮影機属性情報の一部として通信部１５１２に送り、通信部１５１２が地図サーバにフィルタ情報を含む撮影機属性情報を送信する。地図サーバには表示情報抽出部１５１３を設け、表示情報抽出部１５１３は、表示機から送信された撮影機属性情報に含まれるフィルタ情報を用いてランドマーク情報抽出部１１９が出力したランドマーク情報のフィルタリングを行い、表示機へ送信する。
【０２６９】
このような構成にすることにより、処理負荷が比較的大きいランドマーク情報のフィルタリングを表示機側で行わないので、表示機の処理速度向上・コストダウンを実現することが可能である。
【０２７０】
図２１は、地図サーバがフィルタ情報取得部１１１等を有するシステムを示す図である。
【０２７１】
さらに、別の構成として図２１に示すように、地図サーバがフィルタ情報取得部１１１およびフィルタ情報記憶部２１６０を有し、ユーザがインターネット端末上のウェブブラウザ等を介してフィルタ情報取得部１１１にあらかじめ登録したフィルタ情報を、フィルタ情報記憶部２１６０が保持しておき、表示機側からの要求に応じてランドマーク情報のフィルタリングを行う。このような構成にすることにより、表示機側にフィルタ情報取得部を設ける必要がなくなるので、表示機の処理速度向上・コストダウンを図ることができるとともに、地図サーバ上で複数ユーザのフィルタ情報を一元管理できるので、本実施形態におけるシステムのユーザの、システム利用状況を容易に把握することが可能になる。
【０２７２】
（第３の実施形態）
図２２〜図２６は、第３の実施形態に係る図である。
【０２７３】
本発明における第３の実施形態について説明する。第３の実施形態では、撮影機で表示するランドマーク情報のフィルタリングの材料としてコミュニティサイトが持つ撮影者の嗜好度を利用する。これをＳＮＳ（Social Networking Service）フィルタと呼ぶ。地図サーバはコミュニティサイトより撮影者の嗜好度に基づき、ランドマーク情報に表示の優先度を付ける。
【０２７４】
図２２は、第３の実施形態における構成図を示す図である。
図２２に示す本発明の一実施例の構成図は、大きく分けて撮影機２２０２と地図サーバ２２０９と、コミュニティサーバ２２０５とから構成される。
【０２７５】
撮影機２２０２は、第１の実施形態で示された構成にさらにコミュニティユーザＩＤ取得部２２０３を持つ。コミュニティユーザＩＤ取得部２２０３は、地図サーバ２２０９がコミュニティサイトにアクセスするための情報を取得する。取得する情報は、コミュニティサイトのＵＲＬ、ユーザＩＤを含む。
【０２７６】
コミュニティユーザＩＤはあらかじめ、撮影機に登録しておくことが望ましいが、ユーザ操作によって登録作業を行うことも可能である。
【０２７７】
撮影機属性情報生成部１２１は、第１の実施形態において図３を用いて説明された地図サーバ２２０９へ送信するパケットにさらにコミュニティ特定ＩＤに関する情報を付加する。コミュニティ特定ＩＤ情報とは、撮影者の登録したコミュニティのＩＤを特定する情報であり、あるコミュニティサイトのＩＤであることが望ましいが必ずしもこれに限定されるものではなく、あらかじめコミュニティサイトに撮影機のＩＤを登録しておけば、撮影機のＩＤでも代替可能である。
【０２７８】
なお、コミュニティサイトにアクセスする際にパスワードなどの認証を必要とする場合は、撮影機にパスワードを保存しておき、ＩＤとともに送信しても良いし、コミュニティサイト側で、（予め登録された）撮影機からのアクセス時には、フィルタリングに用いる限定的な情報のみを返送する構成としても良い。
【０２７９】
地図サーバ２２０９は、地図データベース１１８とランドマーク情報抽出部２２０７およびコミュニティＩＤ変換部２２０６から構成される。
【０２８０】
地図データベース１１８は、ランドマークに関する情報（ランドマーク情報）を保持している。
【０２８１】
コミュニティＩＤ変換部２２０６は、撮影機２２０２から受信したコミュニティ特定ＩＤをコミュニティサイトのＩＤに変換し、コミュニティサーバ２２０５へ送信する。コミュニティデータベース２２０４はコミュニティサーバ２２０５におけるユーザデータを保持している。
【０２８２】
ここでコミュニティサーバの説明を行う。コミュニティサーバの主な目的は、コミュニティサーバに登録したユーザのコミュニケーションを深める場を提供することである。ユーザは、プロフィールや、日記、商品のレビュー記事や、ユーザがどのユーザと知人であるか等と言った情報を他ユーザと共有している。
【０２８３】
嗜好度抽出部２２０８は、コミュニティデータベース２２０４から、ユーザの嗜好度情報を取得する。なお、取得方法に関しては、プロフィール欄からユーザのプロファイル情報を取得しても良いし、ユーザの日記の内容からデータマイニングを行っても良いが必ずしもこれに限定されない。嗜好度情報の一例として、ユーザの年齢、性別、未婚/既婚に関する情報や、趣味、特技、職業、年収、居住地域情報が挙げられる。
【０２８４】
ランドマーク情報抽出部２２０７は、嗜好度情報を元に、地図データベース１１８より、ユーザの嗜好度と親和性が高いランドマーク情報を抽出する。このときユーザの嗜好度と親和性が高いランドマーク情報は高い優先度を割り振る。例えば寺社仏閣に対して興味があるユーザの場合には、寺社仏閣のランドマーク情報の優先度が高くなる。登山に興味があるユーザの場合には、山や川などの地理的情報に関するランドマーク情報の優先度が高くなる。
【０２８５】
図２３は、撮影機２２０２が地図サーバ２２０９へ送信するデータフォーマットの一例を示す図である。
【０２８６】
測位時刻と、撮影した位置情報を示す緯度情報と経緯情報、撮影方向を示す真北に対する進行方向、撮影範囲情報、さらに撮影機のＩＤ情報を付加する。撮影機２２０２のＩＤ情報は、地図サーバ２２０９にどの撮影機２２０２がアクセスしたかを認識するために使う。撮影機２２０２が一意に認識できるＩＤであればよい。
【０２８７】
さらにコミュニティサイトのＵＲＬとコミュニティを特定するＩＤ情報が含まれる。ここでコミュニティを特定するＩＤ情報は、あらかじめ地図サーバ２２０９が撮影機２２０２を一意に特定するＩＤとコミュニティサイトのＵＲＬを対応づけていれば、必ずしも毎回ＵＲＬ情報を送信する必要はない。また、コミュニティサイトのＩＤ情報と撮影機２２０２を一意に特定するＩＤ情報を地図サーバ２２０９があらかじめ登録しているならば、コミュニティ特定ＩＤ情報は撮影機のＩＤで代替しても良い。また、複数のユーザが一台の撮影機２２０２を利用する場合が存在する。ユーザは撮影機２２０２を用いて被写体を撮影する前に、どのユーザが利用するのかという情報をスイッチ操作等によって切り替える。コミュニティのＩＤはユーザ毎に違うため、あらかじめ撮影機２２０２にユーザ毎のＩＤ情報を登録しておけば、スイッチ操作による利用ユーザの切り替えによって、利用するユーザのＩＤ情報を地図サーバ２２０９に送信することが可能となる。
【０２８８】
撮影機２２０２が風景を撮影し、撮影機属性情報を地図サーバ２２０９へ送信するまでの一連のフローは第１の実施形態において図４を用いて説明した手法と同じである。ただし、撮影機２２０２の撮影機属性情報生成部１２１は、位置情報取得部１０３と、撮影方向取得部１０６と、撮影範囲情報取得部１２２の情報に加えて、コミュニティユーザＩＤ取得部２２０３の情報も付加される。撮影機２２０２が地図サーバ２２０９へ送信するデータのフォーマットは図２３で説明した通りである。
【０２８９】
図２４は、地図サーバ２２０９が撮影機属性情報を受信し、撮影機２２０２へランドマーク情報を送信するまでの一連のフローチャートである。地図サーバ２２０９は、まず撮影機属性情報を受信したかどうかのチェックを行う（５０１）。
【０２９０】
次に地図サーバ２２０９は、コミュニティサーバへアクセスし、コミュニティサイトにおける撮影者の属性情報より嗜好度情報を抽出する（２４０７）。
【０２９１】
嗜好度情報抽出後、地図サーバ２２０９は、地図データベース（地図ＤＢ）１１８へアクセスし（５０２）、抽出した嗜好度に応じてランドマーク情報に優先度を付加し（２４０８）、撮影機２２０２が撮影している景観に含まれるランドマーク情報（撮影範囲ランドマーク情報）を取得する（５０３）。撮影範囲ランドマーク情報を撮影機２２０２に送信した後、地図サーバ２２０９は、撮影範囲周辺のランドマーク情報（撮影周辺ランドマーク情報）を取得し（５０５）、撮影周辺ランドマーク情報を撮影機へ送信する（５０６）。
【０２９２】
図２５は、撮影機２２０２がランドマーク情報を表示し、表示部１１７に重複表示するフローチャートである。
【０２９３】
撮影範囲ランドマーク情報と、撮影周辺ランドマーク情報に対する動作は基本的に同じであるため、ここでは一括してこれらをランドマーク情報と呼ぶことにし、以下からこのランドマーク情報のフィルタリング方法について説明を行う。
【０２９４】
撮影機２２０２は、地図サーバ２２０９からランドマーク情報を取得したかどうかをチェックする（８０１）。そして、撮影機２２０２は、ランドマーク情報を受信したならば、次に受信したすべてのランドマークを表示するかどうかの判定処理を行う。全ランドマークの表示設定は、ユーザによる設定が望ましい。例えば、ランドマーク表示ボタンを切り替えることで、全ランドマーク表示と、フィルタリングしたランドマークのみを表示させるモードを切り替えても良い。全ランドマークを表示する場合、撮影機２２０２のレンズから取得した撮影風景と、地図サーバ２２０９から取得したランドマーク情報を重複表示させる（８０５）。全ランドマークを表示させない場合、撮影機２２０２は、ＳＮＳフィルタリングによる撮影者の嗜好度上表に基づく優先度とフィルタ情報取得部１１１の情報を取得し（２５０３）、元に表示するランドマーク情報を決定する（２５０４）。重複表示処理部１１６は、決定されたランドマーク情報と画像処理部１１５より得られた風景画像を重複表示させる（８０５）。
【０２９５】
図２６は、表示するランドマーク情報の説明図である。
レンジおよび領域定義は実施例１で説明した通りである。図２６において、数字はＳＮＳフィルタリングを用いたランドマーク表示の優先度情報である。撮影機２２０２は、領域毎に表示するランドマークの数を制限する。具体的には、撮影機２２０２は、もっとも優先度が高いランドマーク情報から表示を行う。また、撮影機２２０２は、同じ優先度のランドマーク情報が複数有り、最大ランドマーク情報表示数を越えている場合には、レンジが小さいエリア、すなわち撮影機２２０２の撮影方法に向いているランドマーク情報を優先的に表示する。今、図２６では例えば一領域あたりの最大表示ランドマーク数を２とした場合の全ランドマークの優先度と実際に表示するランドマークの図を示す。第一領域では、優先度が３のランドマークが１つ、優先度が２のランドマークが１つあるため、この２つのランドマーク情報を表示する。第２領域では、優先度が３のランドマーク情報が３つある。この場合、レンジが小さいエリアに位置するランドマーク情報を優先的に表示する。すなわち、第１レンジに存在するランドマーク情報を表示する。第３領域では、優先度が最も高い優先度３のランドマークを表示する。
【０２９６】
表示方法は、第１の実施形態で説明した表示方法と同様の方法を、本実施例に適用するものとする。図４１に示されたランドマーク優先表示ジャンルは、ジャンルの中でさらに嗜好度によって優先度の高いランドマーク情報を表示する。
【０２９７】
なお、第３の実施形態において、ユーザ操作によって、ＳＮＳを用いたフィルタリング方法と、実施の形態１における表示方法は切り替えることが可能である。これによって、ユーザはよりランドマーク情報の抽出において、多い選択肢から抽出方法を選ぶことが可能となる。
【０２９８】
（第４の実施形態）
図２７〜２９、図３１、図３０は、第４の実施形態に係る図である。
【０２９９】
第４の実施形態では、撮影機１０２が地図サーバ１２０へ送信する撮影機属性情報に表示するランドマークをフィルタリングするための情報を付加し、地図サーバ１２０において、撮影機１０２で重複表示するランドマークのフィルタリングを行う構成について説明を行う。なお、本実施の形態は、第一から第三にかかるすべての実施形態において、撮影機１０２におけるフィルタリングのための機能を地図サーバ１２０に移管することで実現されるため、本実施形態は代表的に実施の形態１を拡張することによって説明を行うこととする。また、実施の形態１と異なる動作を行う部分を中心に説明する。
【０３００】
図２７は、第４の実施形態におけるシステムの構成図である。
撮影機属性情報生成部１２１は、位置情報取得部１０３で取得した位置情報と、撮影方向取得部１０６で取得した撮影方向情報と、フィルタ情報取得部１１１で取得したフィルタリング情報と、撮影範囲情報取得部１２２で取得した撮影範囲情報を元に撮影機属性情報を生成し、地図サーバ１２０へ送信する。地図サーバ１２０は、ランドマーク情報抽出部１１９で、撮影機属性情報から撮影機１０２の撮影範囲に含まれるランドマーク情報を地図データベース１１８から取得すると共に、フィルタ情報取得部１１１からの情報を用いて、表示情報抽出部２７１３で表示ランドマーク情報を抽出する。画像処理部１１５は撮影部１１４で取得した撮影情報を処理する。撮影機１０２の重複表示処理部１１６は、表示ランドマーク情報と画像処理部１１５から取得した景観の情報を合成し、表示部１１７は景観とランドマークを重複表示する。
【０３０１】
図２８は、撮影機１０２が地図サーバ１２０へ送信するデータのフォーマットの一例を示す図である。
【０３０２】
実施例１で説明したフォーマットに加え、さらにフィルタ情報取得部１１１で取得した情報が付加される。フィルタ情報に関しては第１の実施形態で説明した表示方法と同様の方法を、本実施例に適用するものとする。撮影機１０２が地図サーバ１２０へ撮影機属性情報を送信する動作に関しては図４を用いて実施の形態１で説明を行った。
【０３０３】
図２９は、地図サーバ１２０が撮影機属性情報を受信し、撮影機１０２で重複表示するランドマーク情報を送信するまでのフローの一例を示すフローチャートである。
【０３０４】
地図サーバ１２０は撮影機属性情報の受信を確認した後（５０１）、撮影機属性情報を元に地図データベースにアクセスする（５０２）。
【０３０５】
図３１は、撮影範囲を示す図である。
地図サーバはまず、図３１に示すような撮影範囲のランドマーク情報を取得する。次に、撮影範囲ランドマーク情報から、実際に撮影機へ送信する撮影範囲表示ランドマーク情報を抽出し（２９０７）、抽出した撮影範囲表示ランドマーク情報を撮影機へ送信する（２９０４）。撮影班に表示ランドマーク情報を撮影機に送信すると、地図サーバは次に撮影機の撮影エリアの周辺のランドマーク情報を取得し（５０５）、その中から、撮影機がパンニングした場合に表示するランドマーク情報（撮影周辺表示ランドマーク情報）を取得し（２９０８）、取得した情報を撮影機へ送信する（２９０６）。なお、本実施の形態では、撮影機は、位置情報や、撮影方向の情報がシステムで定められた値以上変動すると、再度撮影機属性情報を地図サーバへ送信し、表示ランドマーク情報を更新する。パンニングの場合は、撮影周辺表示ランドマーク情報のエリアに撮影機の撮影方向が変動になったときに、再度撮影機属性情報を地図サーバへ送信することが望ましい。
【０３０６】
図３０は、撮影機が表示すべきランドマーク情報を取得してから、撮影風景と重複表示するまでのフローの一例を示すフローチャートである。
【０３０７】
本実施の形態では、撮影機は撮影範囲表示ランドマーク情報を受信すると、その情報を即座に撮影風景と重複表示させる。
【０３０８】
重複表示の方法に関しては、第１の実施形態で説明した表示方法と同様の方法を、本実施例に適用するものとする。
【０３０９】
（第５の実施形態）
（１）第５の実施形態に係る第１の態様は、
現実の世界の一部分が撮影された撮影画像を表示させる撮影画像表示部と、
現実の世界の一部分と、前記現実の世界が仮想化された予め定められた仮想世界における、当該一部分と同じ部分との間の予め定められた第一の対応関係を保持する第一の対応関係保持部と、
前記仮想世界を提供するに際して、表示された前記撮影画像に撮影された前記現実世界の前記一部分に、保持された前記対応関係が対応付ける当該仮想世界の部分から提供を開始する仮想世界提供部とを備える仮想世界提供装置である。
【０３１０】
この態様により、撮影された現実の世界の一部分に対応する部分から仮想世界の提供が開始されて、例えば、開始される部分の位置や、方向、領域を指定する煩雑な操作なく、簡単に、仮想世界の提供が適切な部分から開始できる。
【０３１１】
なお、仮想世界提供部は、撮像画像が表示されている時に、予め定められた開始条件が成立すると、自動的に、上記部分から仮想世界の提供を開始するものとしてもよい。
【０３１２】
（２）第５の実施形態に係る第２の態様は、
表示される前記撮影画像が撮影された撮影位置を取得する撮影位置取得部を更に備え、
撮影画像の撮影位置と、当該撮影位置で撮影される、現実の世界の一部分との間の第二の対応関係を保持する第二の対応関係保持部とを更に備え、
前記仮想世界提供部は、取得された前記撮影位置に対して、保持される当該第二の対応関係が対応させる、現実の世界の一部分に対して、保持される前記第一の対応関係が対応させる前記仮想世界の部分から、仮想世界の提供を開始する前記第１の態様である仮想世界提供装置である。
【０３１３】
この態様により、例えば、撮影画像の内容を解析して、対応する仮想世界の部分を特定する複雑な処理など必要なく、単に撮影位置を用いる、簡単な構成により、対応する部分から提供が開始されるようにできる。
【０３１４】
（３）第５の実施形態に係る第３の態様は、
表示された前記撮影画像が撮影された撮影方向（または撮影方向と撮影画角と）を取得する補助取得部を更に備え、
前記第二の対応関係は、撮影位置および撮影方向（または、撮影位置、撮影方向及び撮影画角）と、前記一部分とを対応付け、
前記仮想世界提供部は、取得された撮影位置および撮影方向（または、撮影位置、撮影方向及び撮影画角）に対応する部分から前記仮想世界の提供を開始する前記第２の態様に係る仮想世界提供装置である。
【０３１５】
この態様により、仮想世界の提供が開始される部分が、撮影方向等にも対応する、より精度のよいものとなり、より精度よく、適切な部分から提供が開始されるようにできる。
【０３１６】
図５１〜６１、図６３は、第５の実施形態に係る図である。
第５の実施形態においては、実施例１〜４に用いたカメラやカメラ付携帯電話やカメラ付ノートパソコン等の撮影装置を用いて撮影した現実画像を用いて表示した実画像を、サーバにある三次元映像データに基づいて作成したコンピュータグラフィックス、つまりＣＧ画像にシームレスに置きかえていく方法を説明する。
【０３１７】
図５１は、カメラで撮影した実画像５０１ａは最初に撮影した画像を示す図である。
この画像を電子的もしくは光学的にズーム等により拡大していくと、実画像５０１ｂの次に実画像５０１ｃが得られる。さらに拡大したステップ５２０ａにおいて、「一定の条件」を満たすとＣＧ画像に自動的に切り換えるモードに設定してある場合は、ＣＧ画像５１０ａに切り換えられ、対象物５３０ｃに示すような高精細のＣＧ画像が表示される。ここで、「一定の条件」を具体的に述べると、実画像の画面内の実質的なピクセル数が一定値以下、例えばＲ１以下になった場合に、実画像からＣＧ画像に自動的に切り換わる。一方、ステップ５２０ａで解像度や総ピクセル数が一定値以下になってもＣＧ画像に切り換えないモードに設定されている場合、もしくは対象物５３０ａに対応するＣＧ画像が存在しない場合は、拡大した実画像５０１ｅをそのまま表示させる。この場合は、対象物５３０ａをそのまま電子的に拡大するために、画像のピクセルやドットが見える荒い画質の対象物５３０ｂが表示される。本発明では実画像からＣＧ画像５１０ａに自動的に切り換わることにより、精細な画像で対象物を見られたり仮想商店や仮想美術館に入れるという効果がある。
【０３１８】
このＣＧ画像５１０ａを得る方法を説明すると、本発明の撮影機１０２においては、図１等に示すように撮影装置の撮影時の位置情報と撮影方向と撮影範囲の３つの情報が得られる。これらの情報を地図サーバ１２０に送る。すると地図サーバ１２０では撮影位置と撮影方向と撮影範囲の情報を元に地図データベース１１８の中の３次元情報を用いて、３次元の画像処理を行うことにより、図５１のＣＧ画像５１０ａに示すような高精細のＣＧ画像を生成し、インターネット等のネットワークを用いて、撮影機１０２に送り、このＣＧ画像が表示部１１７に表示される。
【０３１９】
なお、民生用カメラのように撮影機１０２の位置や撮影方向や撮影範囲等の情報の精度が悪い場合は、撮影機１０２より実画像５０１ａもしくは／かつ５０１ｃのデータもしくは粗データをサーバに送り、サーバ側ではこの実画像と位置や方向や範囲が近いＣＧ画像５１０ａを生成し、生成したＣＧ画像と実画像とをパターンマッチングを行うことにより正確な位置と撮影方向と撮影範囲のデータを得る。実画像５０１にＣＧ画像５１０をパターンマッチング等により照合することにより撮影装置の位置、撮影方向、撮影範囲等の撮影データの不正確さを補うことができる。
【０３２０】
図５１のＣＧ画像５１０ａに戻ると、本発明では単に精細な画像を得るだけでない。もし対象物５３０ｃの内部の３ＤのＣＧ画像がある場合は、前進ボタンもしくは拡大ボタンを押すことにより、建物の入口である対象物５３０ｃを経て建物の内部に入ることができる。また後述するが本発明では仮想空間上に仮想のレール５５０が設定することができるため簡単な操作で移動できる。ＣＧ画像５１０ｂは建物の内部を示している。この時、右の絵画である対象物５３０ｄは十文字型のスイッチを用いて前進ボタンと右方向ボタンを押すか、もしくはカメラ付携帯電話のような撮影機１０２を右に回すと、６軸加速度、角速度センサ等の撮影方向センサにより右方向の回転が検知されるために、ＣＧ画像５１０ｃに示すように右の絵画５３０ｄを見ることができる。また撮影機１０２をピッチ方向に前に傾けると前進し、ピッチ方向に後に傾けると後進することができる。
【０３２１】
以上は本発明の概略であるが、図５２等の図面を用いて、動作を詳しく説明する。
図５２は、実際に撮影した実画像５０１ｆを示す図である。
【０３２２】
ステップ５２０ｂでＺｏｏｍ ｉｎを選択するとステップ５２０ｃでＺｏｏｍ ｉｎ（拡大）され、実画像５０１ｇのようにビル５３０ｅが拡大される。この時、建築物の内部の３Ｄデータがある場合は、マーク５４０ａが表示される。
【０３２３】
ステップ５２０ｄでズームインを選択した場合は、ステップ５２０ｆで一定の解像度もしくは一定のピクセル数以下になるとＣＧ画像５１０ｄに示す３ＤのＣＧ画像にかわる。ステップ５２０ｄでズームインしなくてもステップ５２０ｅでマーク５４０ａをクリック等により選択することによりＣＧ画像５１０ｅに切りかわる。ＣＧ画像５１０ｄの後にステップ５２０ｇでズームインを選択すると、ＣＧ画像５１０ｅに示すようにドア５３０ｆが開いて建物５３０ｅの内部にシームレスに入ることができる。ステップ５２０ｈでさらに前進を選択すると、ＣＧ画像５１０ｆに示すようなレストランの受付に進む。ステップ５２０ｉで撮影機１０２を左に回転する、もしくは左矢印を押すと、ステップ５１０ｇに示すように左の部屋を見ることができ、テーブル５３０ｇを見ることができる。この場合、ＣＧ画像５１０ｇに代えて実際のレストランの室内の静止画写真を表示することにより、客に店内の雰囲気を伝えることができるという効果がある。また、ＣＧ画像５１０ｇに代えて室内の現在のビデオ映像を表示すると、レストランの現在の混雑状況や空いている席の状況がわかるという効果がある。ただし、この場合は、客の個人情報が表示されることを防止するため、顔認識を行い、顔の部分に色等を塗ることにより、客の個人情報を守ることができる。より個人情報を守るためには、客が座っていない席にのみマークをつけること、もしくは座っている席にＣＧで作成した仮想の人物を座らせることにより、個人情報を守りながら空席状況や室内の雰囲気を操作者に伝えることができる。
【０３２４】
図５２のＣＧ画像５１０ｇのようにテーブル５３０ｇがあり、図５３のステップ５２０ｊでＺｏｏｍ ｉｎを選択するとＣＧ画像５１０ｈのようにテーブル５３０ｇの上にはメニュー５３０ｈがあり、ステップ５２０ｋでＺｏｏｍ ｉｎを選択するとＣＧ画像５１０ｉにメニュー５３０ｈの内容が表示される。ステップ５２０ｍで「終了」を選択すると、ＣＧ画像５１０ｊに示すようにドア５３０ｆのある入口へ戻る。ステップ５２０ｎでＺｏｏｍ ｏｕｔを選択するとヒステリシスモードに設定してある場合は実画像に戻らず、ＣＧ画面５１０ｋのまま建物５３０ｅの左側の建物５３０ｉが表示されるので、ステップ５２０ｐでカメラを左に向け、ステップ５２０ｑでズームイン（拡大）するとＣＧ画像５１０ｍのようにマーク５４０ｂが付いた入口のドア５３０ｊが表示される。ステップ５２０ｒでさらにズームインすると、ＣＧ画像５１０ｎのように、ドア５３０ｊが拡大され、さらにズームインもしくはレール５５０を前進すると図５４のＣＧ画像５１０ｐのようにドア５３０ｊが開き、シームレスに建物内部に入ることができる。ステップ５２０ｓでズームインすると、奥のドア５３０ｋが見え、ステップ５２０ｔでさらにズームインするとＣＧ画像５１０ｒのようにドア５３０ｋが開き、ステップ５２０ｕでズームインするとＣＧ画像５１０ｓで商品５３０ｍが表示され、ステップ５２１ａでさらにズームインもしくは前進するとＣＧ画像５１０ｔのように商品５３０ｍの価格等の属性情報が表示される。ステップ５２１ｂで「戻る」が選択されると図５５に示すようにＣＧ画像５１０ｕ、５１０ｖ、５１０ｗのように順次、後退して、ＣＧ画像５１１ａのように建物の入口５３０ｊに戻る。ステップ５２１ｄで「現実画像に戻る」を選択すると、実画像５０１ｇのように実画像に戻る。
【０３２５】
ステップ５２１ｅでカメラを右に向けると実画像５０１ｈのように２つ右側の建物５３０ｐが表示され、ステップ５２１ｆでカメラを右に向けると、図５６に示すように入口であるドア５３０ｑが中心部に表示される。ステップ５２１ｇで「ズームイン」を選択すると拡大もしくはレール５５０上を前進し、その画像の解像度もしくは実質的な総ピクセル数が一定値以下であると、実画像からＣＧ画像５１１ｂに切りかわり、ステップ５２１ｉで「ズームイン」を選択するとＣＧ画像５１１ｃのような建物の内部がシームレスに表示される。レール５５０上を進みステップ５２１ｊでカメラを右に向けるか、十文字スイッチの右方向矢印を選択することにより、右側の壁の絵画５３０ｒがＣＧ画像５１１ｄのように表示される。レール５５０がない場合は、ステップ５２１ｋでカメラを上に向けステップ５２１ｍで「ズームイン」を選択すると、ＣＧ画像５１１ｅのようにマーク５４０と絵画５４０ｃが表示され、ステップ５２１ｎでさらに拡大され、ＣＧ画像５１１ｆが表示される。このように３次元の入力が難しいため３Ｄ空間内の移動が初心者に操作が難しいという課題があるが、この課題は後述するレール５５０により解決できる。図５７のステップ５２１ｐで「ズームアウト」を選択するとＣＧ画像５１１ｇのように縮小され、ステップ５２１ｑで設定１がオンの場合、ステップ５２１ｒに進みカメラを上に向け画面の中心をマーク５４０ｃに合わせてステップ５２２ａで「決定」を選択するとＣＧ画像５１１ｉのように絵画５３０ｒの商品の情報、例えば価格や大きさや材質が表示される。一方ステップ５２１ｑで設定１がオフの場合、ステップ５２２ｂに進み属性ＳＷをオンにすることにより、ＣＧ画面５１１ｉが表示される。ステップ５２２ｃで操作者が「購入」を選択した場合、課金情報の表示されたＣＧ画像５１１ｊを表示し、ステップ５２２ｄで課金される。ステップ５２２ｃで「購入」を選択しない場合、ステップ５２２ｅに進み「ズームアウト」を選択した場合、ＣＧ画面５１１ｋのように縮小させ、ステップ５２２ｆで「ズームアウト」を選択すると、ステップ５２２ｇで設定３が「オン」の時は縮小したＣＧ画像５１１ｍと左方向を示す矢印５４０ｄを表示し、入ってきた入口へ戻る方向を表示する。
【０３２６】
図５８のステップ５２２ｊに進みカメラを左に向けると、ＣＧ画像５１１ｎと戻る方向を示す矢印５４０ｅを表示し、ステップ５２２ｋで「ズームアウト」を選択するとＣＧ画像５１１ｐのように元のドア５３０ｑと戻る方向を示す矢印５４０ｆを示し、ステップ５２２ｍで「ズームアウト」を選択するとＣＧ画像５１１ｑのような入口５３０ｑを表示する。
【０３２７】
ここで前の図の図５７のステップ５２２ｇに戻り設定３が「オフ」の時にはステップ５２２ｉに進み「戻る」を選択すると、次の図の図５８のＣＧ画像５１１ｑまでジャンプして戻る。ステップ５２２ｎに進み「設定４」がオンの時はズームアウトして実画像５０１ｊを表示する。ステップ５２２ｍで「設定４」がオフの時は自動的に実画像５０１ｊに戻る。ステップ５２２ｒに進みカメラを右に向けると実画像５０１ｋのように右側の建物の入口５３０ｓを表示する。ステップ５２２ｓに進み「ズームイン」を選択すると実画像５０１ｍのようにマーク５４０ｇと入口５３０ｓを表示する。ここでステップ５２２ｎに戻り「設定４」がオンの時はステップ５２２ｑでズームアウトした場合に一定解像度以上の画質もしくは総ピクセル数がＲ１以上になった時点でＣＧ画像から実画像５０１ｊに切りかわる。
【０３２８】
ここで次の図の図５９のステップ５２２ｔに進み「設定５」がオンの時はステップ５２３ａでズームイン（拡大）し、一定の解像度もしくは総ピクセル数以上であればステップ５２３ｂに進み実画像をそのまま表示し、ステップ５２３ａで一定の解像度もしくは総ピクセル数以下になった時点で実画像からＣＧ画像５１１ｒに切り換える。ステップ５２３ｃに進みズームインするとドア５３０ｓが開き、仮想商店等の内部に入る。ステップ５２２ｔで設定５がオフの時はステップ５２２ｕに進みクリックすると、ＣＧ画像５１１ｓにジャンプする。仮想商店にレール５５０ｆ、５５０ｈ、５５０ｇが設けられている場合は操作が容易になるが後で詳しく述べる。ステップ５２３ｄに進み店内を見てステップ５２３ｅで買物をする場合は、ステップ５２３ｆで課金され、ステップ５２３ｇで建物の外に出る。ステップ５２３ｅに戻り買物をしない場合はステップ５２３ｇで建物の外に出る。
【０３２９】
ステップ５２３ｈで「設定６」がオフの時はヒステリシス特性を持たせる。「設定６」がオンの時はヒステリシス特定がない。図５１に戻るとステップ５１０ａで表示画面の総ピクセル数がＲ１に達した時点で、実画像からＣＧ画面に自動的に切り換わった。図５９のステップ５２３ｊに進みズームアウトした時は、ステップ５２３ｋに進み実画像からＣＧ画像に切り換えた時と同じ解像度Ｒ１になると実画像５０１ｎに自動的に切り換わる。
【０３３０】
ステップ５２３ｈにおいて「設定６」がオフの時はヒステリシス特性を持つためステップ５２３ｍに進みズームアウトし、ステップ５２３ｎにおいて、前回、実画像からＣＧ画面に切り換えた総ピクセル数Ｒ１になってもＣＧ画像から実画像に切り換わらない。総ピクセル数Ｒ１より大きなピクセル数Ｒ２つまりＲ１＜Ｒ２なるピクセル数になってはじめてＣＧ画像から実画像５０１ｐに切り換える。このようなヒステリシス特性を持たせることにより、切り換えポイントである総ピクセル数Ｒ１前後において、ＣＧ画像と実画像が頻繁に交互に切り換わり、画面がチラつくことを防ぐことができる。また設定６をオフにし、ヒステリシス特性をもたせることにより、操作者が仮想空間に永く滞在することができる。
【０３３１】
なお、本発明では実画像からＣＧ画像に切り換わる総ピクセル数Ｒ１は、初期の画像の中の対象物もしくはランドマークの数によって変えている。電子ズームの場合、図５１の実画像５０１ａのように、対象物もしくはランドマークの数が多い場合は、切り換える実質的な総ピクセル数Ｒ１は対象物の数の少ない時に比べて小さい値に設定する。
【０３３２】
逆に初期の画像において、対象物もしくはランドマークの数が少ない場合は、切り換え総ピクセル数Ｒ１は大きい数に設定する。
【０３３３】
元の実画像を電子的にズームインした時に対象物の画像が徐々に荒くなっていくが、本方式を使うことにより、対象物の数の少ない場合はズームインした場合に総ピクセルが多い時点でＣＧ画像に切り換わるため、ズームインの早い段階でＣＧ画像に切り換わる。電子的なズームインを行う際に、対象物が少ない場合は早い段階で切り換わるため、実画像からＣＧ画像に迅速に変換されるという効果がある。対象物が多い場合は、電子ズームをある程度かける必要があるため、遅い段階で実画像からＣＧ画像に切り換わる。このため操作が迅速に行えるという効果がある。
【０３３４】
また光学ズームを用いる場合は、対象物あたりの総ピクセル数に応じてＣＧ画像に自動的に切り換える。図５１の実画像５０１ａの場合は、対象物あたりの総ピクセル数が少ない。しかし、光学ズームの場合は実画像５０１ｃのようにズームすると対象物あたりの総ピクセル数が多くなる。したがって、光学ズームの場合は対象物あたりの総ピクセル数Ｐ１がある一定以上の値になった場合に実画像からＣＧ画像に切り換える。これにより、対象物が少ない場合は実画像からＣＧ画像に迅速に自動的に切り換えることができるという効果がある。
【０３３５】
次の図の図６０において、ステップ５２３ｖでカメラを右に向けると実画像５０１ｑが得られる。ステップ５２３ｑでカメラを右に向けステップ５２３ｒにおいてズームインすると、拡大された実画像５０１ｒが、ステップ５２３ｓにおいてズームインすると、さらに拡大された実画像５０１ｓが得られる。
【０３３６】
さらにステップ５２３ｔでズームインすると建物５３０ｔが拡大された実画像５０１ｔが得られる。この場合、他の建物と違い、この建物５３０ｔは正面や側面に入口がないため、実画像を拡大しただけでは建物内に入ることができない。そこでステップ５２３ｕで「設定７」がオンの時、ステップ５２４ａで仮想モードを選択することにより、画素数が多い場合でもＣＧ画像５１２ａに変え仮想空間に入ることができる。ＣＧ画像５１２ａではレール５５０ａ、５５０ｂ、５５０ｃが設けられているため、レールに乗ることにより３次元の複雑な操作が不要となるため操作が簡単になる。ステップ５２４ｂで「設定８」がオフの時は、ステップ５２４ｃに進み前進し、レール５５０ｂ上を前進する。次の図である図６１のステップ５２４ｅにおいて「設定９」がオフの時はステップ５２４ｇにおいてレール５５０ｂ上を左に曲がり、レール５５０ｃの上を進む。ステップ５２４ｈにおいて「進む」を選択すると、レール５５０ｃと５５０ｄの分岐点に達する。ステップ５２４ｉに進み「設定１０」がオフの時は、ステップ５２４ｄでレール５５０ｃとレール５５０ｄの分岐点において、左に曲がるとＣＧ画像５１２ｅに示すように入口５３０ｕが正面に見える状態になる。ステップ５２４ｋで「前進」を選択すると、ＣＧ画像５１２ｆのようにレール５５０ｄ上を前進して建物の内部に入ることができる。ステップ５２４ｍで建物内部に入る。建物内部では、レール５５０ｄとレール５５０ｅを前進していくと自動的に左の部屋５３０ｘに入ることができる。
【０３３７】
この場合仮想のレール５５０が予め３Ｄ空間内に設けてあるため、操作者の操作が簡単になる。レールがあると、操作は「前進」、「後退」、「右折」、「左折」の４つのスイッチだけでよいため、１つの操作ボタンで仮想空間内を移動できるという効果がある。この仮想レールには予め、仮想の人間が入った時にレール上の人間の位置によって見る方向、見る高さ、見る範囲がレール上の位置情報に関連づけて予め設定されている。従って、２枚前の図である図５９のＣＧ画像５１１ｓに示すように仮想商店に入った仮想人間は、最初はレール５５０ｆを前進し、レール５５０ｆと５５０ｈの分岐点において「右折」を選択することにより、絵画５３０ｙの方向を向き、レール５５０ｈ上で「前進」を選択するだけで絵画５３０ｙの前に進み、レール５５０ｈの終端に達した時点でそのレール上の位置に予め設定された「仮想の撮影カメラの撮影方向」、「見る高さ（視点）」、「見る範囲（ズーム化）」に画像が設定されるため、例えば図５６のＣＧ画像５１１ｅに示されたような最も見やすい画像を得ることができるという効果がある。
【０３３８】
従来のレールのない方法であれば、前の図である図５６の場合のように操作者は３次元の方向を人間が制御する必要があるため、ステップ５２１ｊでカメラを右方向に向け、前進し、ステップ５２１ｋで上に向けて、ステップ５２１ｍでズームインする必要があった。この操作は微妙な操作を必要とするため熟練していない初心者の場合は仮想商店に入り、さらに絵画５３０ｒを見るに至るまでには３次元の複雑な操作が必要なため、数十回の操作が要求された。しかし、本発明のように仮想のレールがあり、レールの位置毎に「見る高さ」、「見る方向」、「見る範囲」が予め設定されているため、図５６の絵画５３０ｒのＣＧ画像５１１ｅにたどりつくまでに「前進」ボタンと「右折」ボタンと「前進」ボタンの３つのボタンを押し、オン、オフするだけで良い。このため、操作者の操作入力数を大巾に減らすことができ、操作性が高まるという顕著な効果がある。
【０３３９】
ここで図６０のステップ５２４ｂに戻ると「設定８」がオンの時はステップ５２４ｄのジャンプボタンを押すことによりＣＧ画像５１２ｆにジャンプし、その建物５３０ｆの入口から内部の仮想商店に入ることができる。また図６１のステップ５２４ｉに戻ると「設定１０」がオンの時はマーク５４０ｇをクリック（ステップ５２４ｊ）するだけで仮想商店の内部に入ることができる。ステップ５２４ｍで建物の内部に入り、内部を調査し（ステップ５２４ｎ）、ステップ５２４ｐで「戻る」を選択するとステップ５２４ｇで「電話しますか？」と「電話番号」の表示が出て、ステップ５２４ｓでＯＫなら、ステップ５２４ｔでカメラ付携帯電話の場合、その電話番号に自動的に電話をしてステップ５２５ａに進む。またステップ５２４ｒに示すように、予約状況を表示し、「予約しますか？」の質問を表示し、ステップ５２４ｕでＯＫでかつステップ５２４ｖで予約可能な時はステップ５２４ｗで予約してステップ５２５ａに進む。なお、ＣＧ空間で空席情報を取得しているならば、前記の店の予約ステップにさらに席を予約するステップを追加しても良い。これによって、ユーザは自分が好みの席をＣＧ空間上で把握した上で、店と座る席を予約することが可能になる。また、ＣＧ空間上で、空席情報を取得している場合には、ユーザが空いている席の前で、予約ボタンを押す、もしくは席に向ってさらにズームする等の処理によって、席の予約画面を立ち上げ、ＣＧ空間の空席の前で、店と、座りたい席を予約することができる構成にしてもよい。これによって、ユーザは自分が座る席のイメージをあらかじめ知ることができるとともに、より自分の座りたい席のイメージに近い席を予約することが可能となる。ステップ５２５ａで「設定９」がオンの場合はＣＧ画像５１２ｇに進む。ステップ５２５ａで「設定９」がオフの場合、ＣＧ画像５１２ｈにジャンプして進む。ここでレール５５０からはずれた場合の画像を説明する。ＣＧ画像５１２ｇが表示された後、カメラを左方向に向けると建物５３０ｔが中心にあるＣＧ画像５１２ｈが表示される。ステップ５２５ｄでズームアウトするとステップ５２５ｅの「設定１１」がオンの時、ステップ５２５ｆで解像度もしくは実画像の総ピクセル数が一定値Ｒ３以上の時、ＣＧ画像から実画像５０１ｕに切り換えて表示する。つまり「設定１１」がオンの時はズームアウトし、一定の解像度になるとヒステリシス特性を持ちながら自動的に実画像に切り換わる。そして「設定１１」がオフの時は実画像には切り換わらず、ＣＧ画像５１２ｉのようにＣＧ画像のままカメラが向いた方向の画像を見ることができる。
【０３４０】
ＣＧ画像の５１２ｉが表示されている状態で、ステップ５２５ｇでカメラを右方向に向けると、ＣＧ画像５１２ｊのように右隣の建物５３０ｖが画面中央部に表示される。ステップ５２５ｈでズームインを選択すると、ＣＧ画像５１２ｋに示すように入口５３０ｗが拡大表示され、ここでズームインするとドアが開き、建物５３０ｖの内部に入っていくことができる。
【０３４１】
このように仮想空間上にレールを設けることにより、操作性が顕著に改善される。また、実画像からＣＧ画像に切り換わるときにヒステリシス特性を持たせているため、画像の表示が安定化する等の効果がある。
【０３４２】
なお、第５の実施形態においてレール５５０はＣＧ画像の上に重ねて表示されているが、図６３のように実画像の画像５１３ａの上にレール５５１ａを表示することもできる。この場合は実画像とＣＧ画面とのパターンマッチングを行い、実画像とＣＧ画像とのズレを補正する。そしてＣＧ画像の中のレール５５１ａ〜５５１ｄのみを実画像上に重ねて表示することにより、画像５１３ａの上にレール５５１を表示させることができる。この場合、カメラの撮影方向が手ブレやカメラ揺れ等によって左右、上下に変わるが、この揺れ量を６軸の加速度センサや角速度センサにより検出する。カメラの撮影方向の揺れ量を測定し、この揺れ量に応じてレール５５１を画像上で移動させることにより、実画像の道路や通路とレール５５１を一致させることができる。この場合、手振れ補正機能を用いて手振れを補正するとレールの補正量を少なくできる。
【０３４３】
また使用者が特定の分野の店舗、例えばレストランを探したい場合はステップ５２６ａにおいて表示モードをレストランに設定すると画像５１３ａ上にレストランへの分岐点のみを示すレール５５１ｂ、５５１ｃ、５５１ｄが表示される。ここで料金を５０ドル以下に設定すると５０ドル以下のレストランへの分岐点のレール５５１ｃと５５１ｄのみが表示される。また営業時間外のレストランへのレール５５１は表示させないかもしくは点線でレールを表示する。なお画像５１３ａのみを表示したが、画像５１３ａはＣＧ画像であっても同じ効果が得られる。
【０３４４】
ステップ５２６ｂにおいて表示モードをバーに設定すると、画像５１３ｂ上にバーへの分岐点のみを示すレール５５１ｆと５５１ｇが表示される。この場合も表示画像は実画像でもＣＧ画像でも同様の効果が得られる。実画像の場合はカメラの動きに応じてレール５５１ａ等のレールを移動し実画像とレール５５１ａ等を一致させる。ＣＧ画像の場合はカメラの動き、例えば右にカメラを向けた場合は加速度もしくは角速度センサによってカメラの動きを検知して、ＣＧ画像とレール５５０を補正し、カメラの撮影方向の実画像とＣＧ画像を一致させる。ＣＧ画像の表示中に、カメラにより得た実画像の画像の動きを検出して、ＣＧ画像を補正してもよいし、実画像とＣＧ画像とのパターンマッチングによりＣＧ画像を補正し実画像とＣＧ画像とのズレを補正してもよい。
【０３４５】
レール５５１の表示方法としては画像５１３ｃのように画面上の次の分岐点に進行可能なレールを示す矢印５４０ｈ、矢印５４０ｉを表示する。使用者がステップ５２６ｃで右方向のボタンを押すとステップ５２６ｄでＣＧ画像を表示していた場合は図５１３ｄのようにＣＧ画像の店のドアを表示する。図５９のステップ５２３ｃのようにドアの前で前進ボタンを押すとＣＧ画像５１１ｓに示したように店の中に入り、店の中のレール５５０ｆや５５０ｈや５５０ｇ上を進行してメニューや商品を見ることができる。本発明では営業時間外のレストランへのレールは点線で表示して区別できるようにしてあるが、営業時間外のレストランの中に入ることができる。中に入って気に入った場合は仮想空間の中で予約をとることができるためレストランは客を逃がすことがなくなるという経済的な効果がある。この先の動作は前に詳しく説明したので説明を省略する。
【０３４６】
ステップ５２６ｄに戻り画像５１３ｃが実画像を表示していた場合は、実画像の画像５１３ｅを表示し、レール５５１ｂと矢印５４０ｋを表示する。ここでステップ５２６ｅで使用者が「右方向」を選択すると実画像からＣＧ画像に切り替わりＣＧ画像５１３ｄのようなドア５３０ｓが表示される。この後は図５９のステップ５２３ｃに進み、前進（上ボタン）を選択するとＣＧ画像５１１ｓのように仮想の店内に入ることができる。この場合、実画像のステップ５２６ｅから図５２のＣＧ画像５１０ｄやステップ５２０ｇや図５３のステップ５２０ｒに進んでもよい。
【０３４７】
こうして、使用者は現実の店の中に入らなくても店の内部の雰囲気や混雑状況や料金を知ることができる。またレストランの予約や商品の購入も可能となる。本発明によって使用者の利便性を高めることができる。
【０３４８】
以上のように本発明により実画像と仮想空間のＣＧ画像を切り替えていくことが可能なためカメラ付携帯電話で実画像を撮影する際に必要に応じて現実の世界から仮想世界のＣＧ画像に自動的に入ることができるため使用者に実施例で述べたような顕著な効果が得られる。
【０３４９】
なお、ステップ６２２ｍおよびステップ６２３ｈで写真の自動合成処理を停止したが、処理停止後にユーザーの手動操作で合成用背景写真の選択および人物像との合成を行う処理に移行してもよい。このようにすれば、不要な対象物が入っている背景写真であっても、ユーザーが人物像との合成に耐え得ると許容した写真を選択を選択することができ、人物像との合成写真を得ることが可能となる。
【０３５０】
なお、ステップ６２４ｆでユーザーが合成写真の購入を拒否した場合にステップ６２４ｇで処理を停止したが、後で再度ウォータマーク無し高解像度合成写真を購入できるようにしてもよい。例えば、合成写真購入拒否時に、ウォータマーク付合成写真もしくは低解像度の合成写真を端末側に保存しておき、サーバ側で対応するウォータマーク無し高解像度合成写真を一定期間（例えば７日間）保存しておくようにしておき、ユーザーが合成写真購入をいったん拒否した後に端末でウォータマーク付合成写真もしくは低解像度の合成写真を再生表示した際に、合成写真を購入するかどうかを再度ユーザーに尋ねる。このようにすれば、後日になって合成写真を購入したくなった場合でも合成処理を再度繰り返す必要がなく、サーバ側の処理負荷を軽減できるとともに、端末に保存したウォータマーク付合成写真もしくは低解像度の合成写真を呼び出せば高解像度合成写真が購入できるので、ユーザの利便性も向上する。
【０３５１】
ここで具体的な操作方法を述べる。
本発明では、３次元の空間を自由に移動できるモードと、３次元空間の地表もしくは建物や階段の床面の上に立った人間の視点の高さのみに移動を制限した２次元モードと、この２次元の空間上にレールを設けてレール上を移動できるレール（１次元）モードの３つのモードがある。２次元モードや３次元モードからレールモードに移る方法としては、まず、レール上に移動した場合に自動的にレールモードに移るように設定する方法がある。次に、レール上に移動した時にレールモードのボタンを押すか、クリックした時に、レールモードに移るように設定する方法がある。
【０３５２】
２次元モードや３次元モードからレール（１次元）モードに移った場合の説明をすると、図６３の画像５１３ａにおいてレール５５１ａとレール５５１ｂの分岐点５６０ａを第ｎ番目の分岐点とすると画像の視点は一つ前の分岐点、つまり第ｎ−１番目の分岐点もしくは分岐点５６０ａの手前のレール５５１上の位置に人間が立った時の高さの視点から見た画像が表示される。ステップ５２６ｃにおいて右方向のボタンを押した実施例を説明したが、ここで右方向ボタンを押さずに前進ボタンを押したと仮定すると分岐点５６０ａに位置に視点が移動し分岐点５６０ｂが一番手前に表示される。分岐点５６０ｂが表示されている時に前進ボタンを押すと分岐点５６０ｂに視点が移動し分岐点５６０ｃが一番手前に表示されるように構成されている。
【０３５３】
このようにボタンを１回押すか、ワンクリックするだけで視点が分岐点を一つずつ移動していくため、レールつまり一次元モードでは基本的に一次元の移動で、かつ間欠的に移動するため、３次元モードや２次元モードに比べて操作が著しく簡単になるという効果がある。
【０３５４】
しかし、分岐点の間が大きい場合や分岐点が近くにない場合はワンクリックで一気に遠いところへ視点位置がジャンプしてしまう。すると使用者が自分の位置を見失う可能性がある。これを避けるため、分岐点の間隔が大きい時は、レールの両側にあるランドマークが付与された建物毎に視点停止位置を設定したり、二つの分岐点間を等分した位置に視点停止位置を設定することにより、ワンクリックにより視点位置が大きく変わることを防止できる。
【０３５５】
前述のようにボタンのワンクリックで視点位置が大きく変わると使用者が自分の位置を見失うという課題が将来起こることが予想される。しかし本発明により視点が大きく変わることを防止できるため、使用者が自分の位置を見失うことを防止できるという効果がある。なお、レールが２次元の平面上に設けられている実施例を示したが、階段の上やエレベーターの床面上にレールを設けると、高さの異なる上下の層に移動することも可能である。この方法により空中以外はレールモードで移動することができる。レールモードから２次元、３次元モードに移るにはモード変更ボタンを押すことにより変更できる。
【０３５６】
（第６の実施形態）
第６の実施形態に係る画像撮影装置は、画像撮影装置は、前記表示部が表示している前記デジタル画像内の人物の中から人物を選択する予め定められた操作を受け付ける人物選択部を有し、前記詳細情報取得部は、前記詳細情報として、ネットワーク上の予め定められたサーバから、当該付加情報に係る付加情報が対応するオブジェクトが写っている画像を取得し、前記表示部は、選択された人物以外の人物が写っている、前記デジタル画像における当該オブジェクトの画像領域に対して、取得された前記画像を合成することを特徴とする画像撮影装置である。
【０３５７】
第６の実施形態に係る付加情報提供サーバは、前記他の装置から、一人以上の人物が写った画像と、類似画像を合成しない非編集領域を特定する特定情報を受信し、前記付加情報に対応する詳細情報として、当該付加情報が対応するオブジェクトが写っており、且つ前記デジタル画像の撮影よりも過去に撮影された類似画像を前記データベースから取得し、受信された前記デジタル画像の前記非編集領域以外で人物が写っている当該オブジェクトの画像領域に対して、取得された前記類似画像を合成することを特徴とする付加情報提供サーバである。
【０３５８】
図６４〜６７は、第６の実施形態に係る図である。
第６の実施形態では、人物写真において特定の人物以外の対象物を消す方法について述べる。
【０３５９】
図６４は、端末６４１とサーバ６４２とを示す図である。
まず概略を説明すると、図６４に示すように人物６３１ａ、６３１ｂ、６３１ｃ、６３１ｄが写った実画像６０１ａと背景の背景画像６１１ａを得る方法について述べる。
【０３６０】
ステップ６２１ａでは、データを端末６４１が、実画像６０１ａの画像データ、位置、撮影方向、撮影高さ、撮影範囲等のからサーバ６４２へ送る。
【０３６１】
サーバ６４２は、画像データ等が送られると、サーバ６４２に蓄積されている画像データベース６４３から、実画像６０１ａと位置データ、撮影方向、撮影高さ、撮影範囲の最も似ている画像を検索し、人物の写っていない背景画像６１１ａを取り出すもしくは合成により作成し、こうして取得された背景画像６１１ａを、カメラやパソコン等の端末６４１に送る。
【０３６２】
次に、ステップ６２１ｂで、端末６４１は、実画像６０１ａから人物像６３１ａだけの実画像６０１ｂを切り出して作成する。
【０３６３】
そして、ステップ６２１ｃでは、同じく端末６４１が、サーバ６４２から送られた背景画像６１１ａと、当該端末６４１が作成した人物のみの実画像６０１ｂを合成して、合成画像６０５ａを生成する。
【０３６４】
次に詳細な動作を図６５、図６６、図６７のフローチャートにより説明する。
図６５は、第６実施例に係るシステムのフローチャートである。
【０３６５】
図６５のフローチャートを説明する。
ステップ６２２ａでは、端末６４１が、カメラの位置データ、撮影方向、撮影時間、場合により天候、太陽角度のデータを入手し、入手した位置データ等を、端末６４１からサーバ６４２に送る。ここで、ステップ６２２ｂでは、天候データがなかった時は、ステップ６２２ｃに進み、天候サーバにアクセスして、位置、時間データから撮影時間の撮影地域の天候データを入手する。天候データがあった場合は、ステップ６２２ｃに進む。
【０３６６】
そして、ステップ６２２ｃでは、サーバ６４２が、サーバ６４２の中にある写真のデータが蓄積されている写真データベース６４３（図６４）にアクセスして、同じ撮影時間、位置、方向、望遠比(撮影範囲)の写真を検索する。
【０３６７】
ステップ６２２ｄでは、サーバ６４２が、例えばチェックないし判定等を行い、チェック等により、同じ日時の画像データがある（Ｙｅｓ）時は、ステップ６２３ａに進み同じ日時の画像データがない（Ｎｏ）時は、ステップ６２２ｅに進み、撮影日時から１０日以内の別の日の同じ時間帯、同じ天候の写真データがあるかをチェックし、Ｙｅｓの場合はステップ６２３ａに進む。Ｎｏの場合はステップ６２２ｇに進み写真撮影時の太陽角度のデータがあるかをチェックし、Ｎｏの場合はステップ６２２ｆに進み撮影位置と日時からサーバ等のデータを元にして太陽角度を算出して、ステップ６２２ｊに進む。ステップ６２２ｊでは、撮影日から３０日以内の別の日で、同じ太陽角度、同じ天候の写真データがあるかをチェックし、Ｙｅｓの場合はステップ６２３ａに進み、Ｎｏの場合はステップ６２２ｋに進み、別の年で同じ時間帯、同じ天候の画像データがあるかをチェックし、Ｙｅｓの場合はステップ６２３ａに進み、Ｎｏの場合はステップ６２２ｍで停止する。
【０３６８】
図６６は、図６５のフローチャートの処理に続く処理のフローチャートである。
次の図である図６６に進み、ステップ６２３ａでは、元の写真の６０１ａの残したい人物もしくは対象物を切り出すために特定の人物を選択する。この場合、顔認識で特定の人物を選択する。人物が複数いる場合は、優先度をつける。選択した人物の画像に他の人物や対象物が重なっていた場合は、その対象物も加える。ステップ６２３ｂでは、背景とする背景画像６１１ａに対して、顔認識や人間認識を行い、写っている人物が最も少ない写真を選択する。ステップ６２３ｃで写っている人物が０人かをチェックし、Ｙｅｓの場合はステップ６２４ａに進み、Ｎｏの場合は元の写真画像６０１ａにおいて、残したい人物像６３１ａが写っている画像領域に相当する背景写真１（６１１ｂ）の同じ画像領域に、人物等が写っていないかをチェックし、Ｙｅｓの場合、つまりじゃまな画像が写っていない場合は、ステップ６２４ａに進み、Ｎｏの場合、つまりじゃまな人物像が写っている場合は、ステップ６２３ｅに進み、写真サーバ６４２のデータベース６４３の複数の実画像６０１ｃや実画像６０２ｅ等の中から、前記のじゃまな人物像６３１ｈに相当する画像領域に人物が写っていない写真２(６０１ｅ)を探し、Ｙｅｓであればステップ６２３ｆで、背景写真１(６０１ｄ)の不要な人物像６３１ｈの画像領域のみを背景写真２(６０１ｅ)の同じ画像領域で置きかえた背景写真３(６０１ｆ)を作成し、ステップ６０４ａに進む。この背景写真３(６０１ｆ)には、人物像６３１ａの領域にはじゃまな人物が写っていないことになる。ステップ６２３ｅに戻りＮｏの場合は、ステップ６２３ｇで背景写真１(６１１ｂ)の他人の人物像６３１ｈが元の写真６０１ａの人物像６３１ａより後ろにいるかをチェックする。Ｙｅｓの場合は背景写真には余分な人物が写っているが、元の写真の人物像６３１ａよりも後にあるため背景写真として使用可能であるのでステップ６２４ａに進む。ステップ６２３ｇがＮｏの場合は余分な人物像を消せないためステップ６２３ｈで停止する。
【０３６９】
図６７は、図６６のフローチャートの処理に続く処理のフローチャートである。
図６７に進み、ステップ６２４ａでＰＣもしくはカメラ等の端末の表示部に背景写真を表示し、ステップ６２４ｂで撮影者がＯＫを選択した場合、サーバ側ではステップ６２４ｃで元の写真の人物像６３１ａを切り抜いた画像を背景写真２又は３の上に貼りつけた合成写真を作成する。ステップ６２４ｄで合成写真に目で見えるウォータマークをつけた合成写真もしくは合成写真の画像を荒くした合成画像と合成写真に対する代金を表わす課金データをサーバからカメラ等の端末へ送り、ステップ６２４ｅでユーザーの端末の表示部に表示し、ステップ６２４ｆでユーザーが購入命令を入力した場合(Ｙｅｓ)のみ、端末からサーバにクレジットカード番号や電子マネー情報が含まれる課金承諾データを送り、ステップ６２４ｉで、サーバが決済等の課金手続きを完了すると解像度が高くウォータマークのない合成写真をサーバから端末に送り、ステップ６２４ｋで端末で合成写真のデータを受け取り、画面に表示してステップ６２４ｍで作業を終了する。
【０３７０】
（第７の実施形態）
第７の実施形態に係る付加情報フィルタリングシステムは、デジタル画像を撮影する画像撮影装置と、撮影されるオブジェクトの付加情報を前記画像撮影装置に送信する付加情報提供サーバとを備え、前記画像撮影装置は、前記デジタル画像を撮影する画像撮影部と、前記撮影部で前記デジタル画像を撮影したズーム比を取得するズーム比取得部と、前記撮影部で前記デジタル画像を撮影した撮影位置を取得する撮影位置取得部と、取得された前記ズーム比と前記撮影位置とを予め定められた付加情報提供サーバへ送信する送信部と、前記付加情報提供サーバより、送信した前記撮影位置と前記ズーム比とに対応する、前記撮影部で撮影した前記デジタル画像に含まれる各オブジェクトにそれぞれ対応する複数の付加情報を取得する付加情報取得部とを備え、前記付加情報は、前記オブジェクトの位置を含み、操作者からの入力を受け付け、操作者が当該入力により指定する方角を取得する方角入力部と、前記方角入力部で取得され方角に応じて、前記撮影部で撮影した前記デジタル画像を表示すると共に、前記付加情報取得部で取得した付加情報から付加情報を選択して、選択する付加情報を当該デジタル画像と共に表示する表示部とを有し、前記付加情報提供サーバはオブジェクトの付加情報を保持するデータベースを持ち、送信された前記ズーム比と撮影位置とを受信する受信部と、前記受信情報より、受信された前記撮影位置と前記撮影方向とに対応する、前記デジタル画像に含まれる各オブジェクトに対応する前記複数の付加情報を前記データベースより抽出する付加情報抽出部と、前記付加情報抽出部で抽出した前記複数の付加情報から、受信した前記ズーム比と撮影位置に対応する付加情報を選択する選択部と、選択した付加情報を前記画像撮影装置に送信する送信部とを有する付加情報フィルタリングシステムである。
【０３７１】
図６８〜７０、図３１、図３２〜３５、図１３、図４９は、第７の実施形態に係る図である。
【０３７２】
第７の実施形態では、撮影時の画像撮影装置の向いている方角を示す情報を用いることなく、撮影装置に表示するランドマークをフィルタリングする構成について説明する。第７の実施例では、ランドマークをフィルタリングのための機能は地図サーバ１２０が担うこととする。ランドマークをフィルタリングする方法は、第１および第２の実施例で説明したフィルタリング方法と同様であり、地図サーバ１２０側でフィルタリングを施す構成は、第４の実施例と同様であるため、ここでは第４の実施例とは異なる動作を行う部分を中心に説明する。
【０３７３】
図６８は、第７の実施形態におけるシステム１０１の構成図である。
撮影機属性情報生成部１２１は、位置情報取得部１０３で取得した位置情報と、ズーム情報取得部１９６０で取得した撮影方向情報と、フィルタ情報取得部１１１で取得したフィルタリング情報と、撮影範囲情報取得部１２２で取得した撮影範囲情報を元に撮影機属性情報を生成し、地図サーバ１２０へ送信する。
【０３７４】
ここで、第１の実施形態では撮影範囲を図６によって模式的に示したが、第７の実施形態では撮影装置の撮影時の方角がないため、撮影範囲は撮影位置の周囲３６０度であると便宜的に扱うものとし、撮影位置の全周のランドマーク情報が抽出対象となる。
【０３７５】
地図サーバは、ランドマーク情報抽出部１１９で撮影機属性情報から撮影機の撮影範囲に含まれるランドマーク情報を地図データベースから取得すると共に、フィルタリング情報取得部からの情報を用いて、表示情報抽出部２７１３で表示ランドマーク情報を抽出する。表示情報抽出部２７１３は、図８〜図１１で示したズーム比情報に応じた領域設定を行い、ランドマーク情報をフィルタリングする。ただし先にも述べたように、撮影範囲は撮影位置の周囲３６０度であるものとする。
【０３７６】
画像処理部１１５は撮影部１１４で取得した撮影情報を処理する。
方角情報入力部５１１５は、撮影装置の操作インタフェースを介してユーザの操作入力を受け付け、ユーザがランドマークを表示したい方角を取得する。ランドマーク選定部５１１６は、地図サーバ１２０から受信したランドマーク情報の中から方角情報入力部５１１５でユーザによって指定された方角に位置するランドマーク情報を選定する。
【０３７７】
撮影機の重複表示処理部１１６は、選定されたランドマーク情報と画像処理部１１５から取得した景観の情報を合成し、表示部１１７は景観とランドマークを重複表示する。地図サーバ１２０が撮影機属性情報を受信し、撮影機１０２で重複表示するランドマーク情報を送信するまでのフローは、第２の実施形態で説明した図２９と同様である。
【０３７８】
図６９は、撮影機１０２がランドマーク情報を取得してから、撮影風景と重複表示するまでのフローの一例を示す図である。
【０３７９】
ユーザが入力する方角情報を取得し（５１１７）、入力された方角情報に位置するランドマーク情報を、ランドマーク情報を構成する位置情報を基に選定（５１１９）し、撮影画像と合わせて表示を行う（３００２）。ただし、サーバからランドマーク情報を受信した際に、ユーザが方角情報を入力していなければ、暫定的にランドマークを選定するための方角を所定の方角、例えば北に設定するものとする。
【０３８０】
図７０は、ランドマーク上の表示の一例を示す図である。
図７０では撮影装置（撮影機１０２）の画面下部にランドマーク表示領域を設け、ランドマーク表示領域の上部中央に現在表示中のランドマークがある方角と、ランドマーク表示領域上部左右には表示中の方角に連続する西側・東側の方角をそれぞれ表示している。図７０のランドマーク表示領域に示した表示例では、“Ｐ喫茶”が選択状態であるが、例えばこの状態から右ボタンを押すと“Ｄ花屋”が選択状態になり、さらに右ボタンを押すと次の東側の方角である北東を示す表示が選択状態になり、ここで右ボタンまたは決定ボタンを押すことで、ランドマーク表示が、“北”に位置するランドマークから“北東”に位置するランドマークに切り替わる。
【０３８１】
以上のような構成では、撮影時の撮影装置が向いていた方角の情報を用いることなく、撮影装置でランドマークをフィルタリング・検索・表示を行うことができるので、方角を検出する電子コンパス等の機構が不要であり、より安価な構成となる。
【０３８２】
また、第７の実施形態では、サーバ側でのランドマーク情報を抽出する際に、撮影方角情報がないために撮影範囲を撮影位置の周囲全てとしてフィルタリング処理を行ったが、画像撮影装置から地図サーバ１２０に画像を送信し、地図サーバ１２０側で受信した画像の撮影内容を基に、画像撮影時の方角を推定する構成としてもよい。例えば、地図サーバ１２０が画像パターンマッチングを行う領域照合部を備え、位置が既知の建築物などと撮影画像とのパターンマッチングを行い、照合が取れれば、画像中の被写体の二次元座標と照合が取れた被写体の位置と撮影位置を用いて撮影時の方角を推定することができる。このように地図サーバ１２０側で撮影時の方角を推定することができれば、その方角を用いて、撮影位置の全周囲のランドマークを抽出する必要がなくなるので、フィルタリング処理の高速化や精度向上が可能となる。
【０３８３】
なお、本発明では、撮影機１０２がランドマークを表示しながら、撮影機１０２をパンニングした時に、即座にランドマーク情報を表示させることを可能にするため、地図サーバ１２０は撮影機１０２の撮影範囲におけるランドマーク情報を送信し、その後に撮影機１０２が重複表示の処理を行っているバックグラウンドで撮影範囲の周辺のランドマーク情報を送信する構成を撮っている。しかし、撮影範囲の周辺のランドマーク情報は必ずしも送信する必要はなく、撮影機１０２が撮影している範囲のランドマーク情報のみを送信する構成にしてもよい。これによって撮影機１０２がパンニングしない場合もあるため、この構成によって地図サーバ１２０が撮影機１０２へ送信するデータ量が少なくなるという効果が期待できる。
【０３８４】
図３２は、撮影機の高さ情報が測定されるシステム１０１を示す図である。
なお、本発明における実施の形態は、さらに撮影機１０２の高さ情報を測定する図３２のような構成にしても良い。高度情報取得部３２２１は、高度情報を検知する高度情報検知部３２２２と、高度情報出力部３２２３からなり、検出した高度情報を撮影機属性情報生成部へ送信する。
【０３８５】
図３３は、撮影機属性情報生成部１２１が通信部１１２を介して送信するデータフォーマットの一例を示す図である。
【０３８６】
地図サーバは、高さ情報を取得することで、撮影機から水平線までの距離を知ることが可能となる。これによって、撮影機１０２は、送信するランドマーク情報の範囲をより正確に知ることが可能となり、例えばビルの屋上などから遠方のランドマーク情報を知ることが可能となる。なお、高度情報取得部３２２１が無い場合には、地図サーバ１２０は、撮影機１０２の位置情報と地図の等高線情報によって、撮影機１０２の高度情報を計算することも可能である。
【０３８７】
なお、本発明における実施の形態は、さらに撮影機１０２の高さ情報を測定する図３４のような構成にしても良い。高度情報取得部３２２１は、高度情報を検知する高度情報検知部３２２２と、高度情報出力部３２２３からなり、検出した高度情報を撮影機属性情報生成部１２１へ送信する。仰角情報取得部３４２４は、仰角情報検知部３４２５と仰角情報出力部３４２６からなる。
【０３８８】
図３５は、撮影機属性情報生成部１２１が通信部１１２を介して送信するデータフォーマットの一例を示す図である。
【０３８９】
地図サーバ１２０は、撮影機１０２の位置情報、撮影範囲情報、高度情報、仰角情報によって、撮影機１０２の撮影範囲を正確に知ることが可能となる。これによって、地図サーバ１２０は撮影機１０２へ送信するランドマーク情報の範囲をより正確に把握することが可能となる。
【０３９０】
ＳＮＳフィルタはズームフィルタと組み合わせても良い。例えば、ズーム情報によって、表示する領域を変更する構成と実施の形態３を組み合わせることが可能である。ズーム情報によって、表示する領域を決定し、さらにその領域の中でＳＮＳフィルタリングを用いて優先度の高い情報を表示することによって、ユーザは、ランドマーク情報を知りたい領域の中に限定して、自分の嗜好に合ったランドマーク情報を表示させることが可能となる。
【０３９１】
ユーザ毎の撮影機の操作履歴をメモリに保存しておき、操作頻度の高いフィルタリング方法でフィルタリングを実施しても良い。
【０３９２】
ＳＮＳフィルタは、ユーザの属しているコミュニティだけでなく、ユーザのアクセス頻度の高いＷｅｂサイトやコミュニティ情報、検索回数の多い検索ワード等を基に、ユーザの嗜好度を判定しても良い。
【０３９３】
サーバから送信するランドマーク情報の範囲をいくつかのレベルに分割し、電池残量や電波強度に応じて、取得するレベルを変更しても良い。例えば、“５ｋｍ四方の範囲内”の全てのランドマーク情報、“撮影角の扇形内”のランドマーク情報、“ランドマーク情報の取得なし”、の３つのレベルに分割し、電池残量が一定以下の場合は、“ランドマーク情報の取得なし”として地図サーバとの通信を停止し、ランドマーク情報表示よりも写真撮影を優先する。電波強度が弱い場合は、“５ｋｍ四方の範囲内”のランドマーク情報を取得することで、地図サーバへのアクセス回数を減らして電池の消耗を減らす等の効果が得られる。また、観光地や遊園地等の場所では、ランドマーク情報の記録された外部メモリなどを配布することで、地図サーバとの通信が行えない場所でも、ランドマーク情報の取得を行うことが可能となる。
【０３９４】
さらに、地図サーバとの通信が困難な場所では、位置情報が変化するまで地図サーバとの通信を停止し、不要な通信を行なうことによる電池の消耗を防いでもよい。
【０３９５】
また、位置情報取得部が故障などにより使用できない場合は、地図サーバとの通信を停止し、不要な通信を行なうことによる電池の消耗を防いでもよい。
【０３９６】
また、ユーザが撮影した被写体のランドマーク情報の属性情報に応じて、ＳＮＳのプロファイル情報を書き換える構成にすることも可能である。例えばコミュニティサイトのプロフィール欄に「最近興味があること」というフォームを用意しておき、ユーザが寺社仏閣のランドマーク情報を多く取得している場合、このフォームに寺社仏閣という情報が自動で書き込まれる。これによって、ユーザが意識しない自分の潜在的な興味を知ることができる。
【０３９７】
図１における位置情報取得部１０３は必ずしもＧＰＳに限定されるものではない。例えば、無線ＬＡＮの信号の受信強度によって複数のアクセスポイントからの相対位置を計算することで位置情報を測定することも可能である。
【０３９８】
また、無線ＬＡＮではなく、携帯電話やＰＨＳの基地局からの相対距離を計算することによって位置情報を取得する方法が可能である。
【０３９９】
また、本実施例では撮影機が持つ位置情報取得部によって位置情報の取得を行っているが、本発明はこれに限定されるものではない。図１の位置情報検知部と撮影方向検知部を、撮影機本体とは別の装置に分離する構成でもよい。例えば、位置情報検知部と撮影方向検知部を備えた携帯電話で取得した位置情報と撮影方向を、撮影機の受信部で受信するという構成が可能である。また、携帯電話等の別装置のＧＰＳ機能を短距離通信などで取得することも可能である。
【０４００】
また、飛行機や電車などの輸送手段が高精度の位置情報測定手段を持ち、測定した位置情報が無線信号によってブロードキャストされ。無線端末はこの位置情報を受信することで位置情報を取得することが可能である。
【０４０１】
なお、本発明に係る実施の形態１から３において、地図サーバが撮影機へ送信するランドマーク情報を減らすために以下のような構成にすることも可能である。
【０４０２】
図３６は、撮影機が地図サーバへ送信するデータのフォーマットの一例を示す図である。
【０４０３】
撮影機が地図サーバに送信する撮影機属性情報を図３６のように領域あたり最大表示ランドマーク数に関連する情報を送信する。地図サーバは受信した最大表示ランドマーク数に応じて送信するランドマークの階層を制限する。実施の形態１に記載した撮影機のフィルタリング方法に沿って、撮影機が表示するランドマークの階層、すなわち一領域あたり表示可能なランドマーク数を超えない範囲でもっとも階層が深いランドマークの情報のみを送信し、最上位のランドマーク数が領域あたり最大表示ランドマーク数を超えている場合は、領域あたり最大表示ランドマーク数を超えない範囲で、中心部に近いレンジのメッシュ領域のランドマークを送信する。これによって、地図サーバが撮影機へ送信するランドマーク情報が減り、ランドマーク表示のレスポンスがあがるためユーザの利便性が向上する。
【０４０４】
図１４は、地図サーバにより、より深い階層のランドマークの情報が送信されることを説明する図である。
【０４０５】
また、撮影機が送信するランドマークの情報のみを送信するのではなく、図１４のように、地図サーバは、階層ごとに領域あたり最大表示ランドマーク数を超えない階層までランドマークを送信し、前述のランドマーク送信後により深い階層のランドマークを地図サーバへ送信する構成にしても良い。これによって、実施の形態１で開示された構成よりも、地図サーバが撮影機へ送信するランドマーク数が少なくなるため、送信する情報量が減り、送信時間が短くなるだけでなく、ユーザがランドマークの表示領域を狭めた場合にも、撮影機は再度地図サーバへランドマーク情報の送信要求をせずに撮影機がランドマークを表示することが可能となるため、ランドマーク表示のレスポンスが早くなり、ユーザの利便性が向上するという効果が期待できる。
【０４０６】
なお、各領域の撮影機からの距離は必ずしも、等距離である必要もなく、例えばズーム比に応じて、可変にしても良い。ズーム比が小さいときは、ユーザは第１領域に存在する近傍の被写体のランドマーク情報が知りたいという要求が強く、ズーム比が大きい場合は第３領域に存在する遠方の被写体ランドマーク情報が知りたい要求が強いと考えられる。このため、例えばズーム比が小さいときは第１領域の領域半径を小さく、第３領域の領域半径を大きくし、ズーム比が大きくなるに従って、第１領域の領域半径を相対的に大きく、第３領域の領域半径を相対的に小さくする構成にする。領域あたりに表示されるランドマーク数に制限があるため、この構成によってよりユーザが知りたい領域の被写体のランドマーク情報を多く表示させることが可能となる。
【０４０７】
なお、ユーザ設定によって撮影機がメッシュ領域のサイズを可変に出来るようにしても良い。すなわち、ユーザスイッチなどによって、領域範囲、レンジの幅（レンジの角度）を可変にする構成にしても良い。これによって、ユーザが欲しいメッシュ領域のランドマークを表示させることが可能となり、利便性が向上する。
【０４０８】
なお、本発明に係る表示フィルタリング方法は図１０を用いて説明したように一領域あたり表示可能なランドマーク数を超えない範囲でもっとも階層が深いランドマークを表示するという方式に必ずしも限定されるものではない。
【０４０９】
例えば、ランドマークに優先度を持たせておき、最下位の階層の中で優先度の高いランドマークから順番に、一領域あたり表示可能なランドマーク数を超えない範囲でランドマークを表示させても良い。優先度は例えば高い構造物の優先度を高くする方法がある。これによって、高い建物の影になって撮影機からは実際には見えていない被写体のランドマークを表示する可能性が減り、撮影から見えている可能性が高い被写体のランドマークを優先的に表示させることが可能となる。
【０４１０】
また、被写体は撮影機のランドマーク表示のアクセス頻度によって優先度をつけても良い。すなわち、地図サーバで撮影機によるランドマーク表示の履歴を管理しておき、ランドマーク表示要求が多い被写体の優先度を上げる方式も可能である。有名な観光名所などはランドマークを表示された回数が多くなることが想定される。この方式によって、このような観光名所の優先度を上げることが容易になり、ユーザが知らない土地の有名な観光名所の情報を知ることが容易になるというメリットがある。
【０４１１】
図５０は、枠を表示する撮影機を示す図である。
なお、本発明における実施の形態において開示された撮影機の重複表示方法に関して、撮影機に画像認識機能を持たせ、図５０のように撮影機がカーソルを合わせているランドマークは例えば景観を枠で囲って強調表示を行い、詳細情報を持つランドマークは別の表示方法で強調表示（たとえば景観を囲う枠を点線で表示する）する構成にすることも可能である。通常撮影機に表示される景観には複数の被写体が写っていることが想定されるため、カーソルが合っている被写体の輪郭部を強調表示することによって、撮影者は自分がどのランドマークを選択しているかを知ることが容易になるという利点がある。また、詳細表示が可能な被写体は別の強調表示で被写体の輪郭部を協調することによって、ユーザはどの被写体が詳細を持っているのかという情報を直感的に把握することが可能になり操作性が向上する。
【０４１２】
図７１は、撮影機が地図サーバへ送信するデータのフォーマットの一例を示す図である。図示されるフォーマットに含まれる各要素は、これまでに図３、図２３などを参照して、説明した各フォーマットにおける要素の全てが集められたものである。撮影機から地図サーバに、このようなフォーマットのデータが送信されてもよい。なお、このようなフォーマットのデータが送信されることにより、異なる箇所で説明した２つの処理が、例えば予め定められた条件が満たされるか否かにより実行される処理が変更されるなどしつつ、いずれの処理も共にシステムにより実行されるものとしてもよい。
【０４１３】
なお、本発明における実施の形態において開示された各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
【０４１４】
ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩ、と呼称されることもある。
【０４１５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。あるいはプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭに格納された制御プログラムを実行することにより制御される構成が用いられても良い。
【０４１６】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０４１７】
本発明は、複数のランドマーク情報が存在する画像から利用者が求めるランドマーク情報のみを表示させる技術として有用である。
【図面の簡単な説明】
【０４１８】
【図１】図１は、本発明の一実施形態の構成図である。
【図２】図２は、フィルタ情報検知部の構成図である。
【図３】図３は、撮影機が地図サーバへ送信するデータの一例を示す図である。
【図４】図４は、撮影機が撮影してから送信撮影属性情報を送信するまでの一実施例を示すフローチャートである。
【図５】図５は、地図サーバがランドマークを取得し、撮影機へ送信するまでの一実施例を示すフローチャートである。
【図６】図６は、地図サーバがランドマーク情報を取得する範囲の一例を示す図である。
【図７】図７は、地図サーバが撮影機へ送信するランドマーク情報の範囲の一例を示す図である。
【図８】図８は、撮影機がランドマークを取得し、重複表示するまでの一実施例を示すフローチャートである。
【図９】図９は、撮影機のフィルタリングに用いるメッシュ構造の一例を示す図である。
【図１０】図１０は、撮影機の表示フィルタリング方法の一例を示す図である。
【図１１】図１１は、ズーム量と表示領域の対応表の一例を示す図である。
【図１２】図１２は、ランドマークの詳細情報の取得方法の一例を示す図である。
【図１３】図１３は、ランドマークの詳細情報の取得方法の一例を示す図である。
【図１４】図１４は、階層によるフィルタリングの方法の一例を示す図である。
【図１５】図１５は、本発明の第２の実施形態の構成図の一例を示す図である。
【図１６】図１６は、第２の実施形態のシステム概略図である。
【図１７】図１７は、撮影機が撮影してから送信撮影属性情報を送信するまでの一実施例を示すフローチャートである。
【図１８】図１８は、地図サーバの、ランドマーク作成から撮影機へ送信までの一実施例を示すフローチャートである。
【図１９】図１９は、本発明の第２の実施形態の構成図の一例を示す図である。
【図２０】図２０は、本発明の第２の実施形態の構成図の一例を示す図である。
【図２１】図２１は、本発明の第２の実施形態の構成図の一例を示す図である。
【図２２】図２２は、本発明の第３の実施形態の構成図の一例を示す図である。
【図２３】図２３は、本発明の第３の実施形態の撮影機が地図サーバへ送信するデータの一例を示す図である。
【図２４】図２４は、地図サーバの、ランドマーク作成から撮影機へ送信までの一実施例を示すフローチャートである。
【図２５】図２５は、撮影機がランドマークを取得し、重複表示するまでの一実施例を示すフローチャートである。
【図２６】図２６は、優先度による表示ランドマークの一例を示す図である。
【図２７】図２７は、本発明の第４の実施形態の構成図の一例を示す図である。
【図２８】図２８は、本発明の第４の実施形態の撮影機が地図サーバへ送信するデータの一例を示す図である。
【図２９】図２９は、地図サーバの、ランドマークを作成から撮影機へ送信までの一実施例を示すフローチャートである。
【図３０】図３０は、撮影機がランドマークを取得し、重複表示するまでの一実施例を示すフローチャートである。
【図３１】図３１は、地図サーバが撮影機へ送信するランドマークの範囲の一例を示す図である。
【図３２】図３２は、本発明の構成図の一例を示す図である。
【図３３】図３３は、撮影機が地図サーバへ送信するデータの一例を示す図である。
【図３４】図３４は、本発明の構成図の一例を示す図である。
【図３５】図３５は、撮影機が地図サーバへ送信するデータの一例を示す図である。
【図３６】図３６は、撮影機が地図サーバへ送信するデータの一例を示す図である。
【図３７】図３７は、ランドマーク情報の重複表示方法の一例を示す図である。
【図３８】図３８は、ランドマーク情報の重複表示方法の一例を示す図である。
【図３９】図３９は、ランドマーク情報の重複表示方法の一例を示す図である。
【図４０】図４０は、ランドマーク情報の重複表示方法の一例を示す図である。
【図４１】図４１は、ランドマーク情報の重複表示方法の一例を示す図である。
【図４２】図４２は、ランドマーク情報の重複表示方法の一例を示す図である。
【図４３】図４３は、ランドマーク情報の重複表示方法の一例を示す図である。
【図４４】図４４は、ランドマーク情報の重複表示方法の一例を示す図である。
【図４５】図４５は、ランドマーク情報の重複表示方法の一例を示す図である。
【図４６】図４６は、ランドマーク情報の重複表示方法の一例を示す図である。
【図４７】図４７は、ランドマーク情報の重複表示方法の一例を示す図である。
【図４８】図４８は、ランドマーク情報の重複表示方法の一例を示す図である。
【図４９】図４９は、ランドマーク情報の重複表示方法の一例を示す図である。
【図５０】図５０は、ランドマーク情報の重複表示方法の一例を示す図である。
【図５１】図５１は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図５２】図５２は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図５３】図５３は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図５４】図５４は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図５５】図５５は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図５６】図５６は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図５７】図５７は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図５８】図５８は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図５９】図５９は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図６０】図６０は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図６１】図６１は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図６２】図６２は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図６３】図６３は、本発明の実画像とＣＧ画像の表示状態を示す図である。
【図６４】図６４は、本発明の実写画像と別画像を合成する方法を示す図である。
【図６５】図６５は、本発明の画像の合成方法のフローチャートである。
【図６６】図６６は、本発明の画像の合成方法のフローチャートである。
【図６７】図６７は、本発明の画像の合成方法のフローチャートである。
【図６８】図６８は、本発明の第７の実施形態の構成図の一例を示す図である。
【図６９】図６９は、撮影機が入力された方角を基にランドマークを重複表示するまでの一実施例を示すフローチャートである。
【図７０】図７０は、ランドマーク情報を撮影時の方角とともに表示する一例を示す図である。
【図７１】図７１は、撮影機が地図サーバへ送信するデータのフォーマットの一例を示す図である。
【図７２】図７２は、先行例の構成図である。
【符号の説明】
【０４１９】
１０２ 撮影機
１０３ 位置情報取得部
１０４ 位置情報検知部
１０５ 位置情報出力部
１０６ 撮影方向取得部
１０７ 撮影方向検知部
１０８ 撮影方向出力部
１０９ フィルタ情報検知部
１１０ フィルタ情報出力部
１１１ フィルタ情報取得部
１１２ 通信部
１１３ 表示情報抽出部
１１４ 撮影部
１１５ 画像処理部
１１６ 重複表示処理部
１１７ 表示部
１１８ 地図データベース
１１９ ランドマーク情報抽出部
１２０ 地図サーバ
１２１ 撮影機属性情報生成部
１２２ 撮影範囲情報取得部
５５０ レール

【特許請求の範囲】
【請求項１】
デジタル画像を撮影する撮影手段と、
前記撮影手段で撮影した前記デジタル画像に含まれる各オブジェクトにそれぞれ対応する複数の付加情報を保持する予め定められた保持装置から当該複数の付加情報を取得する付加情報取得手段と、
前記付加情報取得手段で取得した当該複数の付加情報から、表示する付加情報を選択する選択手段と、
前記撮影手段で撮影した前記デジタル画像と共に、当該複数の付加情報のうちで、前記選択手段で選択した付加情報のみを表示する表示手段とを有する画像撮影装置。
【請求項２】
当該画像撮影装置は、
前記撮影手段で前記デジタル画像を撮影した撮影位置を取得する撮影位置取得手段と、
前記撮影手段で前記デジタル画像を撮影した撮影方向を取得する撮影方向取得手段とを備え、
前記付加情報取得手段は、撮影位置および撮影方向に対応付けて、当該撮影位置から当該撮影方向を向いてデジタル画像に撮影されるオブジェクトの付加情報を記憶する予め定められた付加情報記憶装置から、取得された前記撮影位置と、前記撮影方向とに対応付けられた各付加情報を取得する
ことを特徴とする請求項１記載の画像撮影装置。
【請求項３】
前記複数の付加情報は、それぞれ、当該付加情報に係る前記オブジェクトの位置を含み、
前記撮影手段は、前記デジタル画像を撮影したズーム比を取得し、
前記選択手段は、取得された前記ズーム比に対して、大きく拡大するズーム比ほど遠い距離に対応付ける、ズーム比と距離との間の予め定められたズーム比対応関係が対応づける距離が、取得された前記撮影位置からの距離である位置が含まれる付加情報を選択する
ことを特徴とする請求項２記載の画像撮影装置。
【請求項４】
前記撮影手段で前記デジタル画像を撮影した撮影方向を取得する撮影方向取得手段と、
前記選択手段は、取得された前記撮影位置と前記撮影方向と前記ズーム比とを基にして、取得された当該撮影位置からの距離が、取得された前記ズーム比に対応付けられた範囲に含まれ、かつ、取得された当該撮影位置からの方向が、前記撮影方向である位置範囲を算出し、算出された前記位置範囲に含まれる位置が含まれた付加情報を選択する
ことを特徴とする請求項３記載の画像撮影装置。
【請求項５】
前記画像撮影装置は、さらに、
撮影者が当該画像撮影装置を動かした手振れを検出する手振れ検出手段を有し、
前記表示手段は、前記手振れ検出手段が撮影者の手振れを検出している間は、検出の開始時に前記表示手段が表示していた前記付加情報を継続して表示する
ことを特徴とする請求項３記載の画像撮影装置。
【請求項６】
前記複数の付加情報は、それぞれ、当該付加情報に係る前記オブジェクトの位置を含み、
前記撮影手段は、前記デジタル画像を撮影した焦点距離を取得し、
前記選択手段は、取得された前記焦点距離に対して、遠い焦点距離ほど遠い距離に対応付ける、焦点距離と距離との間の予め定められた焦点距離対応関係が対応づける距離が、取得された前記撮影位置からの距離である位置が含まれる付加情報を選択する
ことを特徴とする請求項２記載の画像撮影装置。
【請求項７】
前記画像撮影装置は、さらに、
撮影中の人物を認識する人物認識手段と、
前記人物認識手段で認識した人物に焦点を合わせる人物合焦手段とを有し、
前記撮影手段は、前記デジタル画像を撮影したズーム比を取得し、
前記選択手段は、前記人物合焦手段が人物に焦点を合わせて前記撮影手段が前記デジタル画像を撮影した場合には、取得された前記ズーム比に基づいて、当該ズーム比に対して、大きく拡大するズーム比ほど遠い距離に対応付ける、ズーム比と距離との間の予め定められたズーム比対応関係が対応付ける距離が、取得された前記撮影位置からの距離である位置の付加情報を選択する
ことを特徴とする請求項６記載の画像撮影装置。
【請求項８】
前記付加情報は、それぞれ、当該付加情報に係る前記オブジェクトの位置を含み、
前記撮影手段は、前記デジタル画像を撮影した視野角を取得し、
前記選択手段は、取得された前記撮影位置から、取得された前記視野角を見た予め定められた範囲に位置が含まれる付加情報を選択する
ことを特徴とする請求項２記載の画像撮影装置。
【請求項９】
前記選択手段は、取得した前記撮影位置から、取得した前記視野角を見た領域が予め定められた単位角度毎に分割された各部分領域毎に、それぞれ当該部分領域に位置が含まれる予め定められた個数の前記付加情報を選択する
ことを特徴とする請求項８記載の画像撮影装置。
【請求項１０】
前記付加情報は、下位の階層は、当該下位の階層よりも上位である上位の階層に含まれるオブジェクトの一部分よりなるオブジェクトが含まれる複数の階層のうちから、当該付加情報のオブジェクトが含まれる階層を特定する階層情報を含み、
前記選択手段は、前記複数の階層から、前記部分領域に位置が含まれる付加情報のうちで当該各選択階層のうち何れかを特定する階層情報が含まれる付加情報の個数の合計数が予め定められた個数以下である１以上の選択階層を選択し、選択した各選択階層の前記付加情報を選択する
ことを特徴とする請求項９記載の画像撮影装置。
【請求項１１】
前記複数の付加情報は、それぞれ当該付加情報に係る前記オブジェクトの位置を含み、
前記選択手段は、取得された前記撮影位置から、取得された前記撮影方向を見た予め定められた視野空間に、前記位置が含まれる付加情報を選択する
ことを特徴とする請求項２記載の画像撮影装置。
【請求項１２】
前記選択手段は、前記視野空間が分割された予め定められたメッシュ毎に、それぞれ、当該メッシュに含まれる位置が含まれる付加情報を選択することを特徴とする請求項１１記載の画像撮影装置。
【請求項１３】
前記選択手段は、前記視野空間が分割された、取得された前記撮影位置からの距離が互いに異なる複数の部分領域ごとにそれぞれ予め定められた個数の当該部分領域に含まれる位置を含む付加情報を選択する
ことを特徴とする請求項１１記載の画像撮影装置。
【請求項１４】
前記付加情報は、下位の階層は、当該下位の階層よりも上位である上位の階層に含まれるオブジェクトの一部分よりなるオブジェクトが含まれる複数の階層のうちから、当該付加情報のオブジェクトが含まれる階層を特定する階層情報を含み、
前記選択手段は、前記複数の階層のうちから、分割された前記部分領域に含まれる位置を含む選択情報のうちで当該各選択階層を特定する階層情報が含まれる選択情報の合計数が前記予め定められた個数以下となる１以上の選択階層を選択し、選択した各選択階層の前記付加情報を選択する
ことを特徴とする請求項１３記載の画像撮影装置。
【請求項１５】
前記選択手段は、分割された前記部分領域に位置が含まれる付加情報が予め定められた個数を超える場合は、当該部分領域の各付加情報のうちで、取得された前記撮影方向からの角度が最も小さい位置を含む付加情報から、前記予め定められた個数番目に小さい位置を含む付加情報まで各付加情報を選択する
ことを特徴とする請求項１３記載の画像撮影装置。
【請求項１６】
前記複数の付加情報は、それぞれ当該付加情報に係る前記オブジェクトの分類を含み、
前記選択手段は、前記付加情報取得手段で取得した複数の付加情報のうちから、分類が予め定められた分類である付加情報を選択することを特徴とする請求項２記載の画像撮影装置。
【請求項１７】
前記分類は、ジャンル、人気順位、検索順位の少なくともいずれか１つを含む
ことを特徴とする請求項１６記載の画像撮影装置。
【請求項１８】
前記画像撮影装置は、さらに、
ユーザを識別するユーザ識別情報を保持する識別情報保持手段と、
保持される前記ユーザ識別情報を、ユーザ識別情報と分類との予め定められた分類対応情報を保持する情報提供サーバに送信し、前記情報提供サーバから、送信した前記識別情報に前記分類対応情報が対応させる分類を取得するユーザ情報取得手段とを有し、
前記選択手段は、取得された前記分類を前記予め定められた分類として用いて、付加情報を選択する
ことを特徴とする請求項１６記載の画像撮影装置。
【請求項１９】
前記画像撮影装置は、さらに、
前記予め定められた分類を、前記予め定められた分類としてユーザから受け付けるユーザ情報受付手段を有し、
前記選択手段は、付加情報に含まれる分類と、受け付けられた分類とに基づいて、付加情報を選択する
ことを特徴とする請求項１６記載の画像撮影装置。
【請求項２０】
前記複数の付加情報は、それぞれ当該付加情報に係る前記オブジェクトの高さを含み、
前記選択手段は、含まれる高さが予め定められた高さ以上である付加情報を選択することを特徴とする請求項２記載の画像撮影装置。
【請求項２１】
前記選択手段は、取得された前記撮影位置から、取得された前記撮影方向を見た予め定められた視野空間が、前記撮影位置からの距離が互いに異なる予め定められた複数の部分領域に分割された各部分領域毎に、それぞれ、当該部分領域に位置が含まれる予め定められた個数の付加情報を選択する
ことを特徴とする請求項２０記載の画像撮影装置。
【請求項２２】
前記複数の付加情報は、それぞれ、当該付加情報に係る前記オブジェクトの高さにより、前記複数の付加情報が複数の高さ階層に分類された高さ階層分類を含み、
前記選択手段は、前記各部分領域ごとにそれぞれ、当該部分領域に対応する前記予め定められた個数に対応する高さ階層分類を選択し、選択した高さ階層分類が含まれる付加情報を選択する
ことを特徴とする請求項２１記載の画像撮影装置。
【請求項２３】
前記選択手段は、部分領域に位置が含まれる付加情報の個数が前記予め定められた個数を超える場合は、当該各付加情報のうちで最も高い高さの付加情報から、前記予め定められた個数番目に高い高さの付加情報までの各付加情報を選択する
ことを特徴とする請求項２１記載の画像撮影装置。
【請求項２４】
前記複数の付加情報は、それぞれ当該付加情報に係る前記オブジェクトの位置を含み、
前記画像撮影装置は、更に、前記表示手段が表示を行う際の解像度を取得する解像度取得手段を有し、
前記選択手段は、取得された前記撮影位置と前記撮影方向と前記解像度とに基づいて、取得された前記撮影位置から、取得された前記撮影方向を見た予め定められた領域に前記位置が含まれる付加情報のうちで、解像度が大きいほど多い個数に対応付ける、解像度と個数との間の予め定められた解像度対応関係が、取得された当該解像度に対応付ける個数の付加情報を選択する
ことを特徴とする請求項２記載の画像撮影装置。
【請求項２５】
前記付加情報は、それぞれ当該付加情報に係る前記オブジェクトの位置を含み、
前記画像撮影装置は、前記表示手段の表示領域の大きさを取得する表示領域情報検知手段を有し、
前記選択手段は、取得された前記撮影位置と前記撮影方向と前記表示領域の大きさとに基づいて、取得された前記撮影位置から、取得された前記撮影方向を見た予め定められた領域に前記位置が含まれる付加情報のうちで、表示領域の大きさが大きいほど多い個数に対応付ける、表示領域の大きさと個数との間の予め定められた表示領域対応関係が、取得された当該表示領域の大きさに対応付ける個数の付加情報を選択する
ことを特徴とする請求項２または２４記載の画像撮影装置。
【請求項２６】
当該画像撮影装置は、更に、付加情報を識別する識別子を、付加情報の詳細情報を保持する予め定められた詳細情報保持装置に送信し、送信する前記識別子により識別される前記付加情報の詳細情報を当該詳細情報保持装置から取得する詳細情報取得手段を備えることを特徴とする請求項２記載の画像撮影装置。
【請求項２７】
当該画像撮影装置は、更に、付加情報を識別する識別子を、付加情報の詳細情報の保存アドレスを保持する予め定められた保存アドレス保持装置に送信し、送信した前記識別子により識別される付加情報の詳細情報の保存アドレスを当該保存アドレス保持装置から取得し、取得した前記保存アドレスが示すアクセス先にアクセスすることで、当該アクセス先から前記詳細情報を取得する詳細情報取得手段を備える
ことを特徴とする請求項２記載の画像撮影装置。
【請求項２８】
前記付加情報に対応する詳細情報は、
当該詳細情報に係る付加情報が有している情報以外の他の情報であり、
かつ、当該オブジェクトに関する、インターネット上のウェブコンテンツと、当該オブジェクトのコンピュータグラフィックス（ＣＧ）モデルと、前記撮影に先立って撮影された、当該オブジェクトが写っている類似画像との少なくともいずれか１つを含み、
前記詳細情報取得手段は、前記付加情報が有する前記識別子によって識別される、当該画像撮影装置が接続する予め定められたネットワーク上のサーバに格納された前記詳細情報を取得する
ことを特徴とする請求項２６または請求項２７記載の画像撮影装置。
【請求項２９】
前記画像撮影装置は、さらに、操作者の詳細情報取得要求を受け付ける詳細情報要求受付手段を有し、
前記詳細情報取得手段は、前記詳細情報取得要求が受け付けられた場合に、前記詳細情報を取得する
ことを特徴とする請求項２６または請求項２７記載の画像撮影装置。
【請求項３０】
前記詳細情報要求受付手段は、前記デジタル画像に含まれるオブジェクトの画像を拡大させるズーム操作がされた場合に、拡大された前記デジタル画像に写ったオブジェクトの詳細情報の詳細情報取得要求として、当該ズーム操作を受け付ける
ことを特徴とする請求項２９記載の画像撮影装置。
【請求項３１】
前記複数の付加情報は、それぞれ、当該付加情報に係る前記オブジェクトの位置を含み、
前記選択手段は、前記撮影手段がデジタル画像を撮影するズーム比が操作者の操作により変更されると、変更後のズーム比に基づいて改めて前記表示手段に表示される付加情報を選択し、
前記詳細情報要求受付手段は、前記操作により変更されたズーム比に基づき選択された付加情報の数が予め定められた個数以下の場合に、前記詳細情報取得要求として当該操作を受け付けることを特徴とする請求項３０記載の画像撮影装置。
【請求項３２】
前記画像撮影装置は、さらに、
前記表示手段が表示している前記デジタル画像内の人物の中から人物を選択する予め定められた操作を受け付ける人物選択手段を有し、
前記詳細情報取得手段は、前記詳細情報として、ネットワーク上の予め定められたサーバから、当該付加情報に係る付加情報が対応するオブジェクトが写っている画像を取得し、
前記表示手段は、選択された人物以外の人物が写っている、前記デジタル画像における当該オブジェクトの画像領域に対して、取得された前記画像を合成する
ことを特徴とする請求項２６または請求項２７記載の画像撮影装置。
【請求項３３】
オブジェクトの付加情報を保持するデータベースと、
デジタル画像が撮影された撮影位置と撮影方向とを予め定められた他の装置から受信する受信手段と、
前記受信情報より、付加情報に係るオブジェクトの位置が受信された撮影位置と撮影方向とに対応する位置か否かに応じて、前記デジタル画像に含まれる各オブジェクトに対応する複数の付加情報を前記データベースより抽出する付加情報抽出手段と、
抽出された前記付加情報を前記他の装置に送信する送信手段とを有する付加情報提供サーバ。
【請求項３４】
前記付加情報抽出手段は、前記複数の付加情報を抽出した後に、前記デジタル画像の領域の周辺領域に位置が含まれるオブジェクトの前記付加情報たる周辺付加情報を抽出し、
前記送信手段は、抽出された付加情報と、抽出された周辺付加情報とを前記他の装置に送信することを特徴とする請求項３３記載の付加情報提供サーバ。
【請求項３５】
前記付加情報提供サーバは、
前記他の装置から、受信された前記撮影位置から、受信された前記撮影方向を向いて撮影された撮影のズーム比を受信し、受信された前記撮影位置から、受信された撮影方向を向いた予め定められた位置にある領域のうちの、受信されたズーム比に対して、大きく拡大するズーム比ほど遠い距離に対応付ける、ズーム比と距離との予め定められたズーム比対応関係が対応づける距離が、受信された前記撮影位置からある予め定められた部分領域に位置が含まれるオブジェクトの付加情報を前記データベースより抽出する
ことを特徴とする請求項３３記載の付加情報提供サーバ。
【請求項３６】
前記付加情報提供サーバは、
前記受信手段は、前記デジタル画像が撮影された際の焦点距離を受信し、
前記付加情報抽出手段は、受信された前記撮影位置から、受信された撮影方向を向いた予め定められた領域のうちの、受信された焦点距離に対して、遠い焦点距離ほど遠い距離に対応付ける、焦点距離と距離との予め定められた焦点距離対応関係が対応づける距離が、受信された前記撮影位置からある予め定められた部分領域に位置が含まれるオブジェクトの付加情報を前記データベースより抽出する
ことを特徴とする請求項３３記載の付加情報提供サーバ。
【請求項３７】
前記付加情報提供サーバは、
前記受信手段は、前記デジタル画像が撮影された際の視野角を受信し、
前記付加情報抽出手段は、受信された前記撮影位置から、受信された視野角で、受信された撮影方向を向いた予め定められた領域に位置が含まれるオブジェクトの付加情報を前記データベースより抽出する
ことを特徴とする請求項３３記載の付加情報提供サーバ。
【請求項３８】
前記付加情報は、それぞれ当該付加情報に係る前記オブジェクトの分類を含み、
前記付加情報抽出手段は、含まれる分類が予め定められた分類である付加情報のみを抽出する
ことを特徴とする請求項３３記載の付加情報提供サーバ。
【請求項３９】
前記付加情報は、それぞれ当該付加情報に係る前記オブジェクトの高さを含み、
前記付加情報抽出手段は、含まれる高さが予め定められた高さ以上である付加情報のみを抽出する
ことを特徴とする請求項３３記載の付加情報提供サーバ。
【請求項４０】
前記付加情報提供サーバは、
前記受信手段は、前記デジタル画像が撮影された解像度を受信し、
前記付加情報抽出手段は、受信された解像度に対して、解像度が大きいほど多い個数に対応付ける、ズーム比と個数との間の予め定められた解像度対応関係が対応づける個数の付加情報のみを抽出する
ことを特徴とする請求項３３記載の付加情報提供サーバ。
【請求項４１】
前記付加情報提供サーバは、
前記受信手段は、前記他の装置から、前記デジタル画像が表示される表示領域の大きさを受信し、
前記付加情報抽出手段は、受信された前記表示領域の大きさに対して、表示領域の大きさが大きいほど多い個数に対応付ける、表示領域の大きさと個数との間の予め定められた表示領域対応関係が対応づける個数の付加情報のみを抽出する
ことを特徴とする請求項３３記載の付加情報提供サーバ。
【請求項４２】
前記付加情報提供サーバは、さらに、
撮影者の属性情報を保持する属性情報保持手段と、
前記デジタル画像を撮影させた撮影者を識別する識別情報を前記他の装置から受信する識別情報受信手段とを更に備え、
前記付加情報抽出手段は、受信された前記識別情報より識別される前記撮影者の属性情報を前記属性情報保持手段より取得する属性情報取得手段を有することを特徴とする請求項３３記載の付加情報提供サーバ。
【請求項４３】
前記付加情報を識別する識別子を前記他の装置から受信する識別子受信手段と、
受信された識別子により識別される前記付加情報の詳細情報が保存された保存アドレスを前記他の装置に送信する詳細情報送信手段とを更に備えることを特徴とする請求項３３記載の付加情報提供サーバ。
【請求項４４】
保持される前記付加情報を識別する識別子を受信する識別子受信手段と、
前記識別子が受信されると、受信された前記識別子によって識別される前記付加情報の詳細情報を予め定められた詳細情報データベースから取得し、取得した詳細情報を前記他の装置に送信する詳細情報送信手段とを更に備えることを特徴とする請求項３３記載の付加情報提供サーバ。
【請求項４５】
前記詳細情報は、当該詳細情報に係る付加情報が有している情報以外の他の情報であり、
かつ、当該付加情報が対応するオブジェクトに係る、インターネット上のウェブコンテンツと、当該オブジェクトのコンピュータグラフィックス（ＣＧ）モデルと、前記撮影より先に撮影された、当該オブジェクトが写っている類似画像とのうちで少なくともいずれか１つを含み、
前記付加情報提供サーバは、前記詳細情報を格納するデータベースを有する
ことを特徴とする請求項４３および請求項４４の何れかに記載の付加情報提供サーバ。
【請求項４６】
前記付加情報提供サーバは、
前記他の装置から、一人以上の人物が写った画像と、類似画像を合成しない非編集領域を特定する特定情報を受信し、
前記付加情報に対応する詳細情報として、当該付加情報が対応するオブジェクトが写っており、且つ前記デジタル画像の撮影よりも過去に撮影された類似画像を前記データベースから取得し、
受信された前記デジタル画像の前記非編集領域以外で人物が写っている当該オブジェクトの画像領域に対して、取得された前記類似画像を合成する
ことを特徴とする請求項４５記載の付加情報提供サーバ。
【請求項４７】
デジタル画像を撮影する画像撮影装置と、当該画像撮影装置により撮影されるオブジェクトの付加情報を当該画像撮影装置に送信する付加情報提供サーバとを備え、
前記画像撮影装置は、
前記デジタル画像を撮影する撮影手段と、
前記撮影手段でデジタル画像を撮影した撮影位置を取得する撮影位置取得手段と、
前記撮影手段でデジタル画像を撮影した撮影方向を取得する撮影方向取得手段と、
取得された前記撮影位置と前記撮影方向とを前記付加情報提供サーバへ送信する送信手段と、
送信をした前記情報提供サーバより、前記撮影手段で撮影した前記デジタル画像に含まれる各オブジェクトにそれぞれ対応する複数の付加情報を取得する付加情報取得手段と、
前記付加情報取得手段で取得した複数の付加情報から、表示する付加情報を選択する選択手段と、
前記撮影手段で撮影した前記デジタル画像と共に、前記選択手段で選択した付加情報を表示する表示手段とを有し、
前記付加情報提供サーバは、
前記撮影位置と前記撮影方向とを前記画像撮影装置から受信する受信手段と、
前記デジタル画像の前記各オブジェクトに係る前記複数の付加情報を保持するデータベースと、
前記受信情報より、付加情報に係るオブジェクトの位置が受信された撮影位置と撮影方向とに対応する位置か否かに応じて、前記複数の付加情報を前記データベースより抽出する付加情報抽出手段と、
抽出された付加情報を前記画像撮影装置に送信する送信手段とを有する付加情報フィルタリングシステム。
【請求項４８】
デジタル画像を撮影する画像撮影装置と、前記デジタル画像と共に、当該デジタル画像に含まれる各オブジェクトにそれぞれ対応する複数の付加情報を表示する画像表示装置とを備え、
前記画像撮影装置は、
前記デジタル画像を撮影する撮影手段と、
前記撮影手段で前記デジタル画像を撮影した撮影位置を取得する撮影位置取得手段と、
前記撮影手段で前記デジタル画像を撮影した撮影方向を取得する撮影方向取得手段と、
前記撮影手段で撮影した前記デジタル画像と、前記撮影位置取得手段で取得した撮影位置と、前記撮影方向取得手段で取得した撮影方向とを出力する出力部を有し、
前記画像表示装置は、
出力された前記デジタル画像と前記撮影位置と前記撮影方向とを入力する入力部と、
入力された前記撮影位置と前記撮影方向とに対応する、前記デジタル画像に含まれるオブジェクトにそれぞれ対応する前記複数の付加情報を取得する付加情報取得手段と、
前記付加情報取得手段で取得した前記複数の付加情報から、表示する付加情報を選択する選択手段と、
入力された前記デジタル画像と共に、前記選択手段で選択した付加情報を表示する表示手段とを有することを特徴とする付加情報フィルタリングシステム。
【請求項４９】
デジタル画像を撮影する画像撮影装置と、前記デジタル画像と共に、付加情報を表示する画像表示装置と、前記デジタル画像に含まれる各オブジェクトの付加情報を前記画像表示装置に送信する付加情報提供サーバとを備え、
前記画像撮影装置は、
前記デジタル画像を撮影する撮影手段と、
前記撮影手段で前記デジタル画像を撮影した撮影位置を取得する撮影位置取得手段と、
前記撮影手段で前記デジタル画像を撮影した撮影方向を取得する撮影方向取得手段と、
前記撮影手段で取得したデジタル画像と、前記撮影位置取得手段で取得した前記撮影位置と、前記撮影方向取得手段で取得した前記撮影方向とを出力する出力部を有し、
前記画像表示装置は、
出力された前記デジタル画像と前記撮影位置と前記撮影方向とを入力する入力部と、
入力された前記撮影位置と前記撮影方向とを前記付加情報提供サーバに送信して、当該前記付加情報提供サーバから、送信した前記撮影位置と前記撮影方向とに対応する前記デジタル画像に含まれる各オブジェクトに対応する複数の付加情報を取得する付加情報取得手段と、
前記付加情報取得手段で取得した前記複数の付加情報から、表示する付加情報を選択する選択手段と、
入力された前記デジタル画像と共に、前記選択手段で選択した付加情報を表示する表示手段とを有し、
前記付加情報提供サーバは、
オブジェクトの付加情報を保持するデータベースと、
送信された前記撮影位置と前記撮影方向とを受信する受信手段と、
受信された前記撮影位置と前記撮影方向とに対応する、前記デジタル画像に含まれる各オブジェクトに対応する前記複数の付加情報を前記データベースより抽出する付加情報抽出手段と、
抽出された前記付加情報を前記画像表示装置に送信する送信手段とを有する付加情報フィルタリングシステム。
【請求項５０】
デジタル画像を撮影する画像撮影装置と、撮影されるオブジェクトの付加情報を前記画像撮影装置に送信する付加情報提供サーバとを備え、
前記画像撮影装置は、
前記デジタル画像を撮影する画像撮影手段と、
前記撮影手段で前記デジタル画像を撮影したズーム比を取得するズーム比取得手段と、
前記撮影手段で前記デジタル画像を撮影した撮影位置を取得する撮影位置取得手段と、
取得された前記ズーム比と前記撮影位置とを予め定められた付加情報提供サーバへ送信する手段と、
前記付加情報提供サーバより、送信した前記撮影位置と前記ズーム比とに対応する、前記撮影手段で撮影した前記デジタル画像に含まれる各オブジェクトにそれぞれ対応する複数の付加情報を取得する付加情報取得手段とを備え、
前記付加情報は、前記オブジェクトの位置を含み、
操作者からの入力を受け付け、操作者が当該入力により指定する方角を取得する方角入力手段と、
前記方角入力手段で取得され方角に応じて、前記撮影手段で撮影した前記デジタル画像を表示すると共に、前記付加情報取得手段で取得した付加情報から付加情報を選択して、選択する付加情報を当該デジタル画像と共に表示する表示手段とを有し、
前記付加情報提供サーバは、
オブジェクトの付加情報を保持するデータベースを持ち、
送信された前記ズーム比と撮影位置とを受信する受信手段と、
前記受信情報より、受信された前記撮影位置と前記撮影方向とに対応する、前記デジタル画像に含まれる各オブジェクトに対応する前記複数の付加情報を前記データベースより抽出する付加情報抽出手段と、
前記付加情報抽出手段で抽出した前記複数の付加情報から、受信した前記ズーム比と撮影位置に対応する付加情報を選択する選択手段と、
選択した付加情報を前記画像撮影装置に送信する送信手段とを有する付加情報フィルタリングシステム。
【請求項５１】
前記表示手段は、前記選択手段で選択した付加情報を、取得された前記撮影位置から、選択された当該付加情報の前記オブジェクトの位置を向いた方角に対応する、当該画像撮影装置の左右方向の箇所に表示することを特徴とする請求項１から３２の何れかに記載の画像撮影装置。
【請求項５２】
前記表示手段は、前記選択手段で選択した付加情報を、取得された前記撮影位置から、選択された当該付加情報の前記オブジェクトの位置までの距離に対応する、当該画像撮影装置の上下方向の箇所に表示することを特徴とする請求項１から３２の何れかに記載の画像撮影装置。
【請求項５３】
前記表示手段は、前記撮影手段で取得した前記デジタル画像を表示すると共に、表示する当該デジタル画像上に枠を表示し、前記選択手段で選択した付加情報のうちで、表示された前記枠の内部に含まれるオブジェクトの付加情報のみを、当該デジタル画像と共に表示する
ことを特徴とする請求項１から３２の何れかに記載の画像撮影装置。
【請求項５４】
表示される前記枠は、前記表示手段が表示するデジタル画像の高さと等しい高さを持つ矩形の枠であり、
前記表示手段は、表示するデジタル画像の水平方向の中央部に当該枠を表示することを特徴とする請求項５３記載の画像撮影装置。

【図１】

【図２】

【図３】

【図４】

【図５】

【図６】

【図７】

【図８】

【図９】

【図１０】

【図１１】

【図１２】

【図１３】

【図１４】

【図１５】

【図１６】

【図１７】

【図１８】

【図１９】

【図２０】

【図２１】

【図２２】

【図２３】

【図２４】

【図２５】

【図２６】

【図２７】

【図２８】

【図２９】

【図３０】

【図３１】

【図３２】

【図３３】

【図３４】

【図３５】

【図３６】

【図３７】

【図３８】

【図３９】

【図４０】

【図４１】

【図４２】

【図４３】

【図４４】

【図４５】

【図４６】

【図４７】

【図４８】

【図４９】

【図５０】

【図５１】

【図５２】

【図５３】

【図５４】

【図５５】

【図５６】

【図５７】

【図５８】

【図５９】

【図６０】

【図６１】

【図６２】

【図６３】

【図６４】

【図６５】

【図６６】

【図６７】

【図６８】

【図６９】

【図７０】

【図７１】

【図７２】

【公開番号】特開２００９−１７５４０（Ｐ２００９−１７５４０Ａ）
【公開日】平成２１年１月２２日（２００９．１．２２）
【国際特許分類】
【出願番号】特願２００８−１４３９６５（Ｐ２００８−１４３９６５）
【出願日】平成２０年５月３０日（２００８．５．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＱＲコード
２．ＺＩＧＢＥＥ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】