情報取得装置、情報取得機能付き撮影機器、情報取得用集積回路、画像表示システム、情報取得プログラム、及び情報取得方法
【課題】使用者が注目している被写体と関連のある情報を自動的に検索して表示することができる情報表示装置等を提供する。
【解決手段】被写体に関連する情報を表示デバイスに表示させる情報表示装置である。位置検出部は自装置の位置を継続的に検出する。方向検出部は撮影方向を継続的に検出する。位置特定部は位置検出部によって継続的に検出される自装置の位置と方向検出部によって継続的に検出される撮影方向とに基づいて継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得部は位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する。表示制御部は、情報取得部により取得された情報を表示デバイスに表示させる。
【解決手段】被写体に関連する情報を表示デバイスに表示させる情報表示装置である。位置検出部は自装置の位置を継続的に検出する。方向検出部は撮影方向を継続的に検出する。位置特定部は位置検出部によって継続的に検出される自装置の位置と方向検出部によって継続的に検出される撮影方向とに基づいて継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得部は位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する。表示制御部は、情報取得部により取得された情報を表示デバイスに表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像した映像を表示している画像上に、映像に関連するデータを表示する情報表示通信装置に関し、より特定的には、使用者による特別な操作なしで自動的に画像上の注視している撮影対象を特定する技術に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルムービーカメラ等のデジタル撮影機器の普及は目覚しく、コモディティ化しつつある。一般に、撮影された静止画像は印画紙に印刷される。また撮影された動画像は、テレビ、ビデオデッキ、パソコン等の他の機器や、撮影した機器によって再生されて鑑賞される。
一方、デジタル撮影機器を携帯して旅行先等の遠方に訪れたような場合に、過去に同じ場所を訪れて撮影した画像のデータがあれば、その場所においてその画像を再生して鑑賞し現在の状態と見比べるというような、効果的な楽しみ方ができる。さらに、過去に撮影した時と同じ場所において、同じ被写体を同じアングルで撮影して、過去の画像と現在の画像とを比較して楽しんだりするような、より効果的な楽しみ方も可能である。
【０００３】
しかしながら、過去に撮影した画像データは、数年も様々な場所で撮影を続けているうちに膨大な量になるので、このような状況において使用者が、上述のように過去の画像と現在の画像とを比較して楽しむには、必ずしも有るとは限らない該当する過去に撮影した画像データを、膨大な量の画像データの中から探すという煩わしい操作をしなければならないという問題がある。
このような問題に対応する先行技術が、特許文献１及び特許文献２に開示されている。
特許文献１には、少なくとも撮影場所名を含む検索情報を入力することによって、場所名に関連した過去の撮影情報を一覧的に表示する画像記録再生装置が開示され、このような構成により、年月が経過しても旅先での思い出や印象を十分に蘇らせて鑑賞効果を高めることができると記載されている。
【０００４】
特許文献２には、現在の月日と位置とを判別し、判別した現在の位置と画像に付加されている撮影位置の情報に基づいて、撮影年にかかわらず、過去の対応する時期に撮影された画像を検索・抽出するデジタルカメラが開示されている。また特許文献２には、判別した現在の位置と画像に付加されている撮影位置の情報に基づいて、過去の対応する位置で撮影された画像を検索し抽出するデジタルカメラが開示され、このような構成により、現在と同じ時期や同じ位置で撮影した過去の画像を、煩雑な抽出範囲指定操作をせずに容易に見ることができると記載されている。また特許文献２には、抽出した画像が複数有る場合は、その各画像を順次切り替えてスライドショー表示を行い、あるいはサムネイル表示する旨が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−０９２８３５号公報
【特許文献２】特開２００６−２７９７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１の画像記録再生装置によれば、目的に合致した画像データを従来よりも容易に検索できるかもしれない。しかしながら、使用者は必ず撮影場所名を入力しなければならないので、やはり使用者に煩わしい思いをさせてしまう。
また上記特許文献２のデジタルカメラでは、自装置の現在位置付近で過去に撮影された画像データを検索して表示しているが、この方法では、過去にこの付近からあらゆる方向に向けて撮影された全ての画像データが検索されることになる。よって、互いに関連性のない全く違う被写体が撮影された画像データが、いくつも混在して大量に検出されるという望ましくない事態が起こり得る。従って、使用者は表示された大量の画像データの中から必要なものを取捨選択しなければならなくなり、やはり使用者に煩わしい思いをさせてしまう。
【０００７】
それ故に、本発明は、使用者に煩わしい思いをさせることのないように、使用者による特別な操作なしで、使用者が注目している被写体と関連のある情報を自動的に検索して表示することができる情報取得装置、情報取得機能付き撮影機器、情報取得用集積回路、画像表示システム、情報取得プログラム、及び情報取得方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、情報取得装置、情報取得機能付き撮影機器、情報取得用集積回路、画像表示システム、情報取得プログラム、及び情報取得方法に向けられている。そして上記課題を解決するために、本発明の情報表示装置は、被写体に関連する情報を、表示装置に表示させる情報取得装置であって、位置検出部と、方向検出部と、位置特定部と、情報取得部と、表示制御部とを備える。位置検出部は、 自装置の位置を継続的に検出する。方向検出部は、撮影方向を継続的に検出する。位置特定部は、前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得部は、前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する。表示制御部は、前記情報取得部により取得された情報を、前記表示装置に表示させる。
【０００９】
また、情報取得装置において、前記位置特定部は、複数の異なる時点における、自装置の位置と撮影方向とにより求められる複数の撮影領域において、重複する部分を、継続的に撮影されている位置として特定するとよい。
【００１０】
また、情報取得装置において、前記情報取得部は、被写体が有るものとみなされた位置に関連付けて記録されている、過去に撮影された画像のデータを取得し、前記表示制御部は、前記情報取得部により取得された画像のデータにより再生される画像を、前記表示装置に表示させるとよい。
また、情報取得装置は、さらに、動画又は静止画を撮像する撮像装置と、前記撮像装置により撮像された動画又は静止画に、前記情報取得部により取得された画像のデータにより再生される画像を合成する合成部とを備え、前記表示制御部は、合成部により画像が合成された動画又は静止画を、前記表示装置に表示させるとよい。
【００１１】
また、情報取得装置において、前記情報取得部は、さらに、過去に撮影された画像のデータを取得する際に、各々の画像が撮影されたときの撮影方向を示す情報を取得し、前記方向検出部は、前記撮像装置により撮像された合成すべき動画又は静止画の撮影方向を継続的に検出し、前記合成部は、前記情報取得部により取得された各々の画像が撮影されたときの撮影方向を示す情報に基づいて、前記情報取得部により取得された画像のデータの中で、前記方向検出部によって継続的に検出された合成すべき動画又は静止画と、撮影方向が最も近似する画像のデータを選択して、合成するとよい。
また、情報取得装置は、さらに、動画又は静止画を撮像する撮像装置と、前記撮像装置により撮像された動画又は静止画の情報に、前記位置特定部により被写体が有るものとみなされた位置を関連付けて、外部の管理サーバへ向けて送信する情報送信部とを備えるとよい。
【００１２】
また、情報取得装置において、前紀情報送信部は、さらに、前記撮像装置により撮像された動画又は静止画の情報に、前記方向検出部によって検出される、各々が撮影されたときの撮影方向を示す情報を関連付けて送信するとよい。
また、情報取得装置において、前記情報取得部は、さらに、過去に撮影された画像のデータを取得する際に、当該画像が撮影されたときの撮影地点を示す地点情報と撮影方向を示す方向情報とを取得し、 当該情報取得装置は、さらに、前記情報取得部により取得された地点情報により示される撮影地点と、前記位置検出部により検出される現在の自装置の位置との差分、及び前記情報取得部により取得された方向情報により示される撮影方向と前記方向検出部により検出される現在の自装置の撮影方向との差分に基づいて、前記情報取得部により取得された過去に撮影された画像と、同じアングルの撮影ができるように、利用者に対して撮影地点と撮影方向とを指示する指示部を備えるとよい。
【００１３】
また、上記課題を解決するために、本発明の情報取得機能付き撮影機器は、表示装置と、被写体を撮像する撮像装置と、当該被写体に関連する情報を所得して、当該表示装置に表示させる情報取得装置とから構成される情報取得機能付き撮影機器である。前記撮像装置は、動画又は静止画を撮像する。前記情報取得装置は、位置検出部と、方向検出部と、位置特定部と、情報取得部と、合成部と、表示制御部とを備える。位置検出部は、自装置の位置を継続的に検出する。方向検出部は、撮影方向を継続的に検出する。位置特定部は、前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得部は、前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する。合成部は、前記撮像装置により撮像された動画又は静止画に、前記情報取得部により取得された画像や情報を合成する。表示制御部は、 前記合成部により合成された動画又は静止画を、前記表示装置に表示させる。
【００１４】
また上記課題を解決するために、本発明の情報取得用集積回路は、被写体に関連する情報を、表示装置に表示させる情報取得装置に用いられる情報取得用集積回路である。前記情報取得装置は、自装置の位置を継続的に検出する位置検出部と、撮影方向を継続的に検出する方向検出部とを備える。当該情報取得用集積回路は、位置特定部と、情報取得部と、表示制御部とを備える。位置特定部は、前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得部は、前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する。表示制御部は、前記情報取得部により取得された情報を、前記表示装置に表示させる。
【００１５】
また上記課題を解決するために、本発明の画像表示システムは、表示装置と、被写体を撮像する撮像装置と、過去に撮影された当該被写体の画像を、当該表示装置に表示させる情報取得装置と、撮影された時の位置に関連付けて記録されている被写体毎の画像を管理する管理サーバとからなる画像表示システムである。前記撮像装置は、動画又は静止画を撮像する。前記情報取得装置は、位置検出部と、方向検出部と、位置特定部と、情報取得部と、合成部と、表示制御部と、情報送信部とを備える。位置検出部は、自装置の位置を継続的に検出する。方向検出部は、撮影方向を継続的に検出する。位置特定部は、前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得部は、前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている、過去に撮影された画像のデータを取得する。合成部は、前記撮像装置により撮像された動画又は静止画に、前記情報取得部により取得された画像のデータにより再生される画像を合成する。表示制御部は、前記合成部により合成された動画又は静止画を、前記表示装置に表示させる。情報送信部は、前記撮像装置により撮像された動画又は静止画の情報に、前記位置特定部により被写体が有るものとみなされた位置を関連付けて、外部の管理サーバへ向けて送信する。前紀管理サーバは、前記情報取得装置における前記情報取得部による要求を受けて、要求された位置に関連付けて記録されている画像情報の有無を判断し、有る場合には、前記情報取得装置へ向けて送信し、前記情報取得装置における前記情報送信部から送信される情報を記憶し管理する。
【００１６】
また上記課題を解決するために、本発明の情報表示プログラムは、被写体に関連する情報を、表示装置に表示させる情報取得装置における情報取得プログラムである。前記情報取得装置に、位置検出ステップと、方向検出ステップと、位置特定ステップと、情報取得ステップと、表示制御ステップとを実行させる。位置検出ステップは、 自装置の位置を継続的に検出する。方向検出ステップは、撮影方向を継続的に検出する。位置特定ステップは、前記位置検出ステップによって継続的に検出される自装置の位置と、前記方向検出ステップによって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得ステップは、前記位置特定ステップにより被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する。表示制御ステップは、前記情報取得ステップにより取得された情報を、前記表示装置に表示させる。
【００１７】
また上記課題を解決するために、本発明の情報表示方法は、被写体に関連する情報を、表示装置に表示させる情報取得方法であって、位置検出ステップと、方向検出ステップと、位置特定ステップと、情報取得ステップと、表示制御ステップとを含む。位置検出ステップは、 自装置の位置を継続的に検出する。方向検出ステップは、撮影方向を継続的に検出する。位置特定ステップは、前記位置検出ステップによって継続的に検出される自装置の位置と、前記方向検出ステップによって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得ステップは、前記位置特定ステップにより被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する。表示制御ステップは、前記情報取得ステップにより取得された情報を、前記表示装置に表示させる。
【発明の効果】
【００１８】
本発明の構成によれば、使用者が注目しているであろう被写体の位置を自動的に決定し、被写体の位置と関連のある情報を自動的に検索して表示することができる。従って、使用者による撮影場所名等の入力を必要とせず、かつ関連性のない情報が大量に検出されるという望ましくない事態が起り難いため、使用者に煩わしい思いをさせることない。また、過去に撮影した画像のデータ等の、被写体に関連のある情報を自動的に表示することができるので、過去の画像と現在の状態とを見比べたり、過去に撮影した時と同じようなアングルで撮影して、過去の画像と現在の画像とを比較して楽しんだりするような、効果的な利用形態を、使用者に対して提供することができる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施形態の情報表示システム１の機能の概要を示す図
【図２】（ａ）、（ｂ）は、使用者が、第１の実施形態に係る撮像装置１０、情報取得装置２０、及び表示装置３０を用いて、特定の撮影対象５０を撮影している様子を示す図
【図３】（ａ）は、画像上の被写体についての情報を表示する従来の表示画面の一例を示す図、（ｂ）は、第１の実施形態に係る表示装置３０の画面上に出力される表示画面の一例を示す図
【図４】第１の実施形態に係る情報取得装置２０における情報取得動作、及び画像表示動作の手順を示す図
【図５】注視状態であるか否かの判定方法の概略を示す図
【図６】使用者が、第２の変形例に係る撮像装置１０、情報取得装置２０、及び表示装置３０を用いて、特定の撮影対象５０を撮影している様子を示す図
【図７】第２の実施形態の情報表示システム２の概要を示す図
【図８】指示動作中の表示画面の一例を示す図
【図９】第２の実施形態に係る情報取得装置９０における指示動作の手順を示す図
【発明を実施するための形態】
【００２０】
［第１の実施形態］
＜概要＞
第１の実施形態は、自装置の位置と撮影方向を継続的に検出し、継続的に撮影されている位置を特定し、その位置に使用者が注目している被写体が有るものとみなして、その位置に関連付けて記録されている情報を取得して表示するものである。
【００２１】
＜全体構成＞
図１は、第１の実施形態の情報表示システム１の機能の概要を示す図である。
図１に示す情報表示システム１は、撮像装置１０、情報取得装置２０、表示装置３０、及び情報管理サーバ４０から構成されている。
撮像装置１０は、動画又は静止画を撮像して画像のデータを出力するものであり、画像入力部１１、画像圧縮伸長部１２、及び録画部１３を備える。
画像入力部１１は、例えばイメージセンサやカメラ等の撮像機器を含み、撮像した画像信号をフレーム単位の画像情報として取得する。
【００２２】
画像圧縮伸長部１２は、例えばコーデック（Ｃｏｄｅｃ）であり、画像入力部１１において取得された画像情報や、特定の圧縮形式を用いて圧縮された画像情報を表示装置３０において表示可能な形式に伸長変換する。また、画像圧縮伸長部１２は、画像入力部１１において取得された画像情報を特定の圧縮形式へ圧縮変換する。なお、画像の圧縮形式は、例えば静止画の場合はＪＰＥＧ形式、ＧＩＦ形式、及びＰＮＧ形式などが代表的であり、動画の場合はＡＶＩ形式、およびＭＰＥＧ形式などが代表的である。
録画部１３は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶媒体を含み、画像圧縮伸長部１２において圧縮変換された画像情報を記録する。また録画部１３は、ＳＤカード、ＵＳＢフラッシュメモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、及びブルーレイディスク等の二次記憶媒体に記録するものであってもよい。
なお、撮像装置１０の一部又は全部を、情報取得装置２０に内蔵してもよい。
【００２３】
情報取得装置２０は、撮像装置１０、及び表示装置３０が接続された状態において、個人が主に野外で使用する撮影機能、情報取得機能、及び表示機能を合わせ持つ情報取得機能付き撮影機器であって、例えばデジタルカメラ、カメラ付き携帯電話、及び携帯端末等の携帯電子機器に拡張機能が追加されたものであり、位置検出部２１、方向検出部２２、位置特定部２３、情報取得部２４、合成部２５、表示制御部２６、情報送信部２７、及び情報記憶部２８を備える。ここで、合成部２５、情報送信部２７、及び情報記憶部２８は必ずしも必要な構成要素ではないので、関連する部分を点線で記載している。
位置検出部２１は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）のようなグローバル座標を取得する位置検出機能や、通信網の基地局探索による発信源の座標を取得する位置検出機能を含み、情報表示装置２０の現在位置を継続的に検出し、位置情報として取得する。
【００２４】
方向検出部２２は、例えば磁気センサ、加速度センサ、及びジャイロセンサ等を含み、撮像装置１０における撮影方向を継続的に検出し、方向情報として取得する。
位置特定部２３は、位置検出部２１において検出される位置情報と、方向検出部２２において検出される方向情報とに基づいて、継続的に撮影されている注視位置を特定し、当該注視位置に被写体が有るものとみなす。より詳細には、位置特定部２３は、被写体に関連付けて記録されている情報を表示させる情報表示モードに設定され、かつ撮影中であるか否かを判断し、情報表示モードに設定され、かつ、撮影中である場合に、複数の異なる時点における、自装置の位置を示す位置情報と、撮影方向を示す方向情報とにより求められる複数の撮影領域において、重複する部分を中心とする所定の範囲を注視位置として特定する。
【００２５】
図２（ａ）、（ｂ）は、使用者が、本実施形態に係る撮像装置１０、情報取得装置２０、及び表示装置３０を用いて、特定の撮影対象５０を撮影している様子を示す図である。本実施形態では、撮影対象５０の他に撮影対象とされていない被写体５１〜５７が点在している状況を想定している。
図２（ａ）は真上から見た様子を示し、図の上方向が北の方角になっている。また図２（ｂ）は、南の方角から水平に見た様子を示し、図の左方向が西の方角、右方向が東の方角となっている。
【００２６】
図２（ａ）、（ｂ）において、使用者６０、及び使用者６１は同一人物であり、両者は撮影している時刻が異なっている。ここで使用者６０は時刻Ｔｍに撮影を開始し、撮影開始時の場所において撮影位置Ｐｍと撮影方向Ｄｍとが検出されるものとする。また使用者６１は撮影開始時から所定の時間が経過した時刻Ｔｎまで撮影を継続しており、撮影開始時の場所から撮影を継続したまま移動した場所において、撮影位置Ｐｎと撮影方向Ｄｎとが検出されるものとする。
【００２７】
まず、図２（ａ）を用いて、水平方向における注視位置Ｃｈの特定方法の概略を説明する。
図２（ａ）において、撮影方向Ｄｍに対応する方位角θｍ、及び撮影方向Ｄｎに対応する方位角θｎを定義する。ここで方位角は、真北を起点として右回りに正の値をとるラジアン値により表現することができる。
撮影方向Ｄｍ、及び撮影方向Ｄｎを、それぞれ水平面に写像した成分同士の交点を算出し、これを水平方向における注視位置Ｃｈとする。以下に注視位置Ｃｈの算出方法の一例を示す。
本実施形態では、Ｐｍを原点とし、真東の方角を正とする東西方向をｘ軸、真北の方角を正とする南北方向をｙ軸、仰角９０度方向（すなわち真上）を正とする鉛直方向をｚ軸とするｘｙｚ座標系を用いる。
撮影位置Ｐｍを原点としたときの撮影方向Ｄｍのｘｙ平面における成分は、以下の（式１）のように表わすことができる。なお、本実施形態では垂直面を、ｘｙｚ座標系のｘｚ面としたが、ｙｚ面であってもよい。
【００２８】
ｙ＝（１／ｔａｎθｍ）・ｘ ・・・（式１）
【００２９】
一方、撮影位置Ｐｍから、撮影位置Ｐｎまでのｘ軸方向の移動量をΔｘ、ｙ軸方向の移動量をΔｙとすると、撮影位置Ｐｍを原点としたときの撮影方向Ｄｎのｘｙ平面における成分は、以下の（式２）のように表わすことができる。
【００３０】
ｙ＝（１／ｔａｎθｎ）・（ｘ−Δｘ）＋Δｙ ・・・（式２）
【００３１】
ここで（式１）により示される直線と（式２）により示される直線との交点を、水平方向における注視位置Ｃｈとして算出する。
注視位置Ｃｈは（式１）と（式２）とからなる連立方程式を解くことにより求められる。
「（式１）の右辺＝（式２）の右辺」より、（式３）が得られる。
【００３２】
（１／ｔａｎθｍ）・ｘ＝（１／ｔａｎθｎ）・（ｘ−Δｘ）＋Δｙ
・・・（式３）
【００３３】
（式３）をｘについて整理することにより、注視位置Ｃｈのｘ座標値を算出するための（式４）が得られる。
【００３４】
ｘ＝ｔａｎθｍ・（Δｙ・ｔａｎθｎ−Δｘ）／（ｔａｎθｎ−ｔａｎθｍ）
・・・（式４）
【００３５】
（式４）のｘを（式１）に代入することにより、注視位置Ｃｈのｙ座標値を算出するための（式５）が得られる。
【００３６】
ｙ＝（Δｙ・ｔａｎθｎ−Δｘ）／（ｔａｎθｎ−ｔａｎθｍ）
・・・（式５）
【００３７】
（式４）（式５）より、注視位置Ｃｈを特定することができる。
続いて、図２（ｂ）を用いて、鉛直方向における注視位置Ｃｖの特定方法の概略を説明する。
図２（ｂ）において、撮影方向Ｄｍに対応する仰俯角φｍ、及び撮影方向Ｄｎに対応する仰俯角φを定義する。ここで仰俯角は、水平位置を起点として上方向に正の値をとるラジアン値により表現することができる。
撮影方向Ｄｍ、及び撮影方向Ｄｎを、それぞれ垂直面に写像した成分同士の交点を算出し、これを鉛直方向における注視位置Ｃｖとする。以下に注視位置Ｃｖの算出方法の一例を示す。
撮影位置Ｐｍを原点としたときの撮影方向Ｄｍのｘｚ平面における成分は、以下の（式６）のように表わすことができる。
【００３８】
ｚ＝ｘ・ｔａｎφｍ ・・・（式６）
【００３９】
一方、撮影位置Ｐｍから、撮影位置Ｐｎまでのｘ軸方向の移動量をΔｘ、ｚ軸方向の移動量をΔｚとすると、撮影位置Ｐｍを原点としたときの撮影方向Ｄｎのｘｚ平面における成分は、以下の（式２）のように表わすことができる。
【００４０】
ｚ＝（ｘ−Δｘ）・ｔａｎφｎ＋Δｚ ・・・（式７）
【００４１】
ここで（式６）により示される直線と（式７）により示される直線との交点を、鉛直方向における注視位置Ｃｖとして算出する。
注視位置Ｃｖは（式６）と（式７）とからなる連立方程式を解くことにより求められる。
「（式６）の右辺＝（式７）の右辺」より、（式８）が得られる。
【００４２】
ｘ・ｔａｎφｍ＝（ｘ−Δｘ）・ｔａｎφｎ＋Δｚ
・・・（式８）
【００４３】
（式８）をｘについて整理することにより、注視位置Ｃｖのｘ座標値を算出するための（式９）が得られる。
【００４４】
ｘ＝（Δｘ・ｔａｎφｎ−Δｚ）／（ｔａｎφｎ−ｔａｎφｍ） ・・・（式９）
【００４５】
（式９）のｘを（式６）に代入することにより、注視位置Ｃｖのｚ座標値を算出するための（式１０）が得られる。
【００４６】
ｚ＝（Δｘ・ｔａｎφｎ−Δｚ）・ｔａｎφｍ／（ｔａｎφｎ−ｔａｎφｍ）
・・・（式１０）
【００４７】
（式９）（式１０）より、注視位置Ｃｖを特定することができる。
なお、図２（ｂ）のように、撮影方向Ｄｍの垂直方向成分による直線と、撮影方向Ｄｎの垂直方向成分による直線とがなす角度φｃが、例えば１５度以下のような小さな角度である場合には、算出する座標値の誤差が著しく大きくなる。よって、位置特定部２３は、角度φｃが所定の角度以下であるか否かを判定し、所定の角度以下の場合には、鉛直方向における注視位置Ｃｖを無効にして、利用しないこととするとよい。
同様に、撮影方向Ｄｍの水平方向成分による直線と、撮影方向Ｄｎの水平方向成分による直線とがなす角度θｃが小さな角度である場合には、算出する座標値の誤差が著しく大きくなる。よって、位置特定部２３は、角度θｃが所定の角度以下であるか否かを判定し、所定の角度以下の場合には、水平方向における注視位置Ｃｈを無効にして、利用しないこととするとよい。
【００４８】
ここで注視位置Ｃｖ、及び注視位置Ｃｈの一方が所定の角度以下である等により無効にされ、もう一方が有効である場合には、有効な方のみを用いて以後の処理を継続するとよい。また、注視位置Ｃｖ、及び注視位置Ｃｈの両方が無効にされた場合には、以後の処理を中断するとよい。
また、同一の被写体が継続的に撮影されている場合には注視位置Ｃｈと注視位置Ｃｖとはｘ座標値がほぼ一致し、違う被写体を撮影している場合には注視位置Ｃｈと注視位置Ｃｖとはｘ座標値が一致せず所定の距離よりも離れているものと思われるので、注視位置Ｃｖ、及び注視位置Ｃｈの両方が有効である場合には、位置特定部２３は、両者が所定の距離以内である場合には、両方の注視位置を利用して以後の処理を継続し、両者が所定の距離以内でない場合には、以後の処理を中断するとよい。
【００４９】
情報取得部２４は、例えば無線ＬＡＮ通信、公衆無線網、又は光無線通信等の通信手段を用いて、外部の装置と制御情報の通信やデータ通信を行い、通信を確立する機能を有し、位置特定部２３により被写体が有るものとみなされた位置に関連付けて記録されている情報を、情報記憶部２８、及び情報管理サーバ４０のいずれか又は両方から取得する。より詳細には情報取得部２４は、被写体が有るものとみなされた位置に関連付けて記録されている、過去に撮影された画像のデータや当該被写体に関する情報を取得する。ここで情報取得部２４は、過去に撮影された画像のデータを取得する際に、さらに各々の画像が撮影されたときの撮影地点を示す地点情報と撮影方向を示す方向情報を取得してもよい。
【００５０】
合成部２５は、撮像装置１０により撮像された動画又は静止画に、情報取得部２４により取得された画像や情報を合成する。詳細には、過去に撮影された画像のデータや被写体に関する情報が情報取得部２４により取得され、合成部２５はこれらの画像のデータや情報を、撮像された動画又は静止画中の、対応する被写体が有るものとみなされた位置に関連付けて合成する。ここで合成部２５は、情報取得部２４により取得された画像のデータが複数ある場合には、各々の画像が撮影されたときの撮影方向を示す情報に基づいて、取得された画像のデータの中で、合成すべき動画又は静止画と、撮影方向が最も近似する画像のデータを選択して合成してもよい。
【００５１】
表示制御部２６は、合成部２５により合成された動画又は静止画を、表示装置に表示させる。
なお、情報取得部２４により取得された情報を、撮像された動画又は静止画と同一画面上に表示するだけでもよいので、必ずしも画像を合成する必要はないため、合成部２５はなくてよい。合成部２５がない場合において、表示制御部２６は、情報取得部２４により取得された各々の画像が撮影されたときの撮影方向を示す情報に基づいて、取得された複数の画像のデータの中で、撮像された動画又は静止画と、撮影方向が最も近似する画像のデータを選択して、表示装置３０における同一画面上の、再生中の動画又は静止画の枠外等に、選択した画像のデータを再生して画像を表示させてもよい。
【００５２】
情報送信部２７は、情報取得部２４と同様に通信を確立する機能を有し、撮像装置１０により撮像された動画又は静止画の情報に、位置検出部２１により被写体が有るものとみなされた位置を示す情報を関連付けて、情報記憶部２８に記憶するとともに外部の情報管理サーバ４０へ向けて送信する。さらに、情報送信部２７は、撮像装置１０により撮像された動画又は静止画の情報に、方向検出部２２によって検出される、各々が撮影されたときの撮影方向を示す情報を関連付けて送信してもよい。なお、必ずしも情報管理サーバ４０へ画像を登録する機能は必要ではないので、情報送信部２７はなくてよい。
【００５３】
情報記憶部２８は、例えばＲＯＭ、ＲＡＭ、又はＨＤＤ等の記憶媒体を含み、過去に自装置で撮影した動画又は静止画の情報や、外部から取得した被写体の情報等を記憶する。また情報記憶部２８は、ＳＤカード、ＵＳＢフラッシュメモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、及びブルーレイディスク等の二次記憶媒体に記録するものであってもよい。情報記憶部２８を用いれば、通信ができないような場合であっても利用でき、また応答性が向上する。なお、常に外部の情報管理サーバ４０から被写体の情報等を取得するのであれば、情報記憶部２８は不要である。
【００５４】
表示装置３０は、例えば液晶ディスプレイ等の出力デバイスを含み、情報取得装置２０の表示制御部２６により再生される画像を画面上に出力する。
図３（ａ）は、画像上の被写体についての情報を表示する従来の表示画面の一例を示す図である。図３（ｂ）は、第１の実施形態に係る表示装置３０の画面上に出力される表示画面の一例を示す図である。
図３（ａ）においては、画面上に表示されるほとんどの被写体に関する情報が合成されて表示されており、使用者が必要としない情報が多く表示されるため、視認性や使い勝手が損なわれる可能性が高い。
これに対して図３（ｂ）においては、撮影対象が中央の１つのビルに特定されているので、画面上に表示される被写体のうちの、特定された被写体に関する情報のみが合成されて表示されており、使用者が必要としない情報がほとんど表示されないため、視認性や使い勝手が格段によくなっている。なお、必要としない情報が表示されない分、表示スペースに余裕ができるので、特定された被写体に関する情報をより詳しく表示することもできる。
また、特定された被写体以外の被写体に関する情報の検索、取得、及び表示の処理が実行されないため、処理負荷を軽減することができる。
【００５５】
情報管理サーバ４０は、企業等の組織により特定の場所に設置される据置型のコンピュータであって、撮影された時の位置に関連付けて記録されている被写体毎の画像や情報等を管理するものであり、情報管理部４１、情報記憶部４２、及び通信部４３を備える。ここで、情報管理サーバ４０は、被写体毎の画像を記憶する際に、さらに各々の画像が撮影されたときの撮影方向を示す情報を関連付けて管理してもよい。
情報管理部４１は、過去に撮影された画像情報を情報記憶部４２に保存して管理し、所望の画像情報を検索して取り出すための管理機能を有する。詳細には情報管理部４１は、情報取得装置２０における情報取得部２４による要求を受けて、要求された位置に関連付けて記録されている情報の有無を判断し、有ると判断した場合には、該当する情報を情報記憶部４２から抽出して、情報取得装置２０へ向けて送信するように制御する。また情報管理部４１は、情報取得装置２０における情報送信部２７から送信される、撮影された時の位置に関連付けて記録されている画像情報を受信するように制御して、情報記憶部４２に記憶し管理する。
【００５６】
情報記憶部４２は、例えばＲＯＭ、ＲＡＭ、又はＨＤＤ等の記憶媒体を含み、過去に自装置や他の装置で撮影した動画又は静止画の情報、及び外部から取得した被写体に関する情報等を記憶する。また情報記憶部４２は、ＳＤカード、ＵＳＢフラッシュメモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、及びブルーレイディスク等の二次記憶媒体に記録するものであってもよい。
【００５７】
通信部４３は、例えば無線ＬＡＮ通信、公衆無線網、又は光無線通信等の通信手段を用いて、他の端末との通信を確立するための制御、及び制御情報やデータの通信を行う。詳細には通信部４３は、情報管理部４１の制御により、情報取得装置２０の情報取得部２４との通信を確立するための制御を行って、情報記憶部４２から抽出された情報を情報取得部２４へ向けて送信する。また通信部４３は、情報管理部４１の制御により、情報取得装置２０の情報送信部２７との通信を確立するための制御を行って、情報記憶部４２に記憶すべき情報を情報送信部２７から受信する。
【００５８】
＜情報取得動作及び画像表示動作＞
図４は、第１の実施形態に係る情報取得装置２０における情報取得動作、及び画像表示動作の手順を示す図である。
（１）位置検出部２１が、情報表示装置２０の現在位置の検出を開始する（ステップＳ１）。
（２）方向検出部２２が、撮像装置１０における撮影方向の検出を開始する（ステップＳ２）。
（３）位置特定部２３が、情報表示モードに設定され、かつ撮影中であるか否かを判断する（ステップＳ３）。
【００５９】
（４）情報表示モードに設定され、かつ、撮影中である場合には、位置特定部２３が、位置情報と方向情報とに基づいて、継続的に撮影されている位置の特定を行う（ステップＳ４）。
（５）位置の特定が完了するまで待つ（ステップＳ５）。
（６）位置の特定が完了すると、情報取得部２４が、その位置に関連付けて記録されている情報を、情報記憶部２８、及び情報管理サーバ４０のいずれか又は両方から取得可能か否かを判断する（ステップＳ６）。取得可能でない場合には、新しい位置を特定するためにステップＳ３へ行く。
【００６０】
（７）取得可能な場合には、情報取得部２４が、その位置に関連付けて記録されている情報を、情報記憶部２８、及び情報管理サーバ４０のいずれか又は両方から取得する（ステップＳ７）。
（８）情報取得部２４により取得された情報中に、画像のデータが複数あるか否かを判定する（ステップＳ８）。
（９）画像のデータが複数ある場合には、情報取得部２４により取得された画像のデータの中で、合成すべき動画又は静止画と、撮影方向が近似する画像のデータを選択的に残し、他の画像のデータは破棄する（ステップＳ９）。
【００６１】
（１０）合成部２５が、撮像装置により撮像された動画又は静止画に、情報取得部２４により取得され、画像のデータが取捨選択された情報を合成する（ステップＳ１０）。
（１１）表示制御部２６が、ステップＳ１０において情報が合成された動画又は静止画を、表示装置に表示させる（ステップＳ１１）。
（１２）情報送信部２７が、撮像装置１０により撮像された動画又は静止画の情報に、位置検出部２１により被写体が有るものとみなされた位置を示す情報と、撮影されたときの撮影方向を示す情報とを関連付ける（ステップＳ１２）。
（１３）情報送信部２７が、ステップＳ１２において位置を示す情報と撮影方向を示す情報とが関連付けられた動画又は静止画の情報を、情報記憶部２８に記憶するとともに外部の情報管理サーバ４０へ向けて送信する（ステップＳ１３）。
【００６２】
［第１の変形例］
位置特定部２３による注視位置の特定方法は上記の例に限られない。第１の変形例では、撮影方向Ｄｍ、及び撮影方向Ｄｎを示す各直線を、三次元空間中の直線Ｓｍ、及び直線Ｓｎとみなし、直線Ｓｍと直線Ｓｎとが最短距離となる最短地点における各直線上の点や、最短地点同士を結ぶ直線上の点等を注視位置とする。
また位置特定部２３は、複数の注視位置を算出して、所定数以上の注視位置が一定の範囲内に集中している状態を検出した場合に注視状態であると判定して、当該注視状態を構成する複数の注視位置を含む領域に被写体が有るものとみなす。ここで一定の範囲は、例えば撮像範囲に相当する程度の大きさが望ましい。なお、撮影範囲は通常、撮影距離に応じて変わるので、上記の一定の範囲の大きさを、撮影位置から注視位置までの距離に応じて変えてもよい。さらにまた、撮影に際してレンズ交換やズーム等を行って画角、及び撮影範囲等が変化する場合には、一定の範囲の大きさを、画角、及び撮影範囲等の変化に連動させて変えてもよい。
【００６３】
図５は、注視状態であるか否かの判定方法の概略を示す図である。
図５において、ある過去の時点Ｔ１から現時点Ｔｋまでのｋ個の各時点における注視位置を、注視位置Ｃ１から注視位置Ｃｋまでのｋ個の各注視位置で示している。
位置特定部２３は、ｋ個の各注視位置の分布の中心である点Ｇを求め、点Ｇを中心とした所定の半径ｒの球体状である注視状態判定範囲７０を設定する。そして注視状態判定範囲７０の中に、ｋ個の各注視位置のうちのｊ個以上が含まれている場合に注視状態であると判定し、ｊ個未満しか含まれていない場合に注視状態ではないと判定する。なお、点Ｇを求める方法は、各注視位置の分布の中心を求める方法に限られず、例えば、各注視位置の重心を求めてもよいし、各注視位置からの距離の合計が最も小さくなる点を求めてもよい。
【００６４】
また、注視状態であるか否かを判定する際に、“ｋ”、“ｊ”、及び“ｒ”の値を適宜調整することにより、状況に応じて最適な結果を得ることが可能である。
また、“ｋ”、“ｊ”、及び“ｒ”の各値を、注視状態でない状態において判定する場合と、注視状態において判定する場合とで、別の値を設定することもできる。このように設定することにより、注視状態でない状態においては、使用者が移動しながら、所望の被写体を一定時間以上継続的に撮影しないと注視状態にならないが、一旦注視状態になれば、必ずしも被写体を継続的に撮影しなくても注視状態を継続するように制御することができる。よって、注視状態において、被写体が度々、撮影範囲から外れたとしても、その度に注視状態でない状態に遷移するといった煩わしい状態にならないので、使い勝手がよい。
【００６５】
また、注視状態でない状態においては、情報の検索、取得、及び表示の処理を行わないため、結果的に冗長な処理負荷を軽減することができる。
また、注視状態において、過去に撮影された画像がない被写体を継続して撮影している場合には、画像の検索、取得、及び表示の処理が繰返し実行されないため、結果的に冗長な処理負荷を軽減することができる。
【００６６】
［第２の変形例］
第２の変形例は、撮像装置１０における撮影に際して、被写体が撮影範囲の中心以外の部分に映っている場合であっても、精度よく注視位置を特定するものである。
図６は、図２（ａ）と同様に、使用者が、第２の変形例に係る撮像装置１０、情報取得装置２０、及び表示装置３０を用いて、特定の撮影対象５０を撮影している様子を示す図である。本変形例の諸条件は、第１の実施形態と同様である。
図６において、使用者８０、使用者８１、及び使用者８２は同一人物であり、３者は撮影している時刻が異なっている。ここで使用者８０は時刻Ｔｌに撮影を開始し、撮影開始時の場所において撮影位置Ｐｌと撮影方向Ｄｌと画角Ψｌとが検出されるものとする。また使用者８１は撮影開始時から所定の時間が経過した時刻Ｔｍまで撮影を継続しており、撮影開始時の場所から撮影を継続したまま移動した場所において、撮影位置Ｐｍと撮影方向Ｄｍと画角Ψｍとが検出されるものとする。また使用者８２は時刻Ｔｍから所定の時間が経過した時刻Ｔｎまで撮影を継続しており、撮影位置Ｐｍから撮影を継続したまま移動した場所において、撮影位置Ｐｎと撮影方向Ｄｎと画角Ψｎとが検出されるものとする。ここで、画角とはレンズの倍率によって一意に決まるものであって、水平方向の撮影範囲を示す角度であり、各撮影方向を中心とするラジアン値により表現することができる。
【００６７】
ここで図６を用いて、水平方向における注視位置Ｃｈの特定方法の概略を説明する。
図６において、撮影方向Ｄｌに対応する方位角θｌ、撮影方向Ｄｍに対応する方位角θｍ、撮影方向Ｄｎに対応する方位角θｎを定義する。ここで方位角は真北を起点として右回りに正の値をとるラジアン値により表現することができる。
また図６において、撮影位置Ｐｌを始点とし撮影方向Ｄｌを中心とする画角Ψｌの撮影領域Ａｌ、撮影位置Ｐｍを始点とし撮影方向Ｄｍを中心とする画角Ψｍの撮影領域Ａｍ、及び撮影位置Ｐｎを始点とし撮影方向Ｄｎを中心とする画角Ψｎの撮影領域Ａｎを定義する。
位置特定部２３が、撮影領域Ａｌ、撮影領域Ａｍ、及び撮影領域Ａｎを、それぞれ水平面に写像した３つの領域の全ての成分が重なり合う共通部分を特定し、これを水平方向における注視位置Ｃｈとする。
なお、位置特定部２３は、各撮影領域におけるピントが合っているピント位置を撮像装置１０から入手して、ピント位置の周辺の所定の範囲のみを有効な範囲とし、有効な範囲内において共通部分を特定してもよい。
【００６８】
［第２の実施形態］
＜概要＞
第２の実施形態は、第１の実施形態に、さらに、過去に撮影したときと同じ地点、同じ方向で、同じ被写体を撮影ができるように利用者に指示する指示機能を備えるものである。
＜全体構成＞
図７は、第２の実施形態の情報表示システム２の概要を示す図である。
図７に示す情報表示システム２は、撮像装置１０、情報取得装置９０、表示装置３０、及び情報管理サーバ４０から構成されている。ここで、第１の実施形態と同様の構成要素には同一番号を附し、その説明を省略する。
情報取得装置９０は、第１の実施形態の情報取得装置２０に、さらに、指示部９１を備える。
【００６９】
情報取得部２４は、過去に撮影された画像のデータを取得する際に、当該画像が撮影されたときの撮影地点を示す地点情報と撮影方向を示す方向情報とを取得する。
指示部９１は、情報取得部２４により取得された地点情報により示される撮影地点と、位置検出部２１により検出される現在の自装置の位置との差分、及び情報取得部２４により取得された方向情報により示される撮影方向と、方向検出部２２により検出される現在の自装置の撮影方向との差分に基づいて、情報取得部２４により取得された過去に撮影された画像と同じアングルの撮影ができるように、利用者に対して撮影地点と撮影方向とを指示する。
【００７０】
詳細には、指示部９１は、情報取得部２４により取得された、過去に撮影された画像のデータを再生して、画像を表示装置３０に表示させて利用者の選択を即し、利用者により選択された画像と同じアングルの撮影ができるように、自装置との撮影地点の差分と撮影方向の差分とを表示し続ける。
図８は、指示動作中の表示画面の一例を示す図である。
図８に示すように、指示動作中の表示画面には、過去に撮影された画像９２、現在の画像９３、撮影地点の差分９４、撮影方向の差分９５が表示されている。
【００７１】
＜指示動作＞
図９は、第２の実施形態に係る情報取得装置９０における指示動作の手順を示す図である。ここで第１の実施形態の図４の各ステップと同様なステップには同一番号を附している。
（１）位置検出部２１が、情報表示装置２０の現在位置の検出を開始する（ステップＳ１）。
（２）方向検出部２２が、撮像装置１０における撮影方向の検出を開始する（ステップＳ２）。
（３）位置特定部２３が、情報表示モードに設定され、かつ撮影中であるか否かを判断する（ステップＳ３）。
【００７２】
（４）情報表示モードに設定され、かつ、撮影中である場合には、位置特定部２３が、位置情報と方向情報とに基づいて、継続的に撮影されている位置の特定を行う（ステップＳ４）。
（５）位置の特定が完了するまで待つ（ステップＳ５）。
（６）位置の特定が完了すると、情報取得部２４が、その位置に関連付けて記録されている情報を、情報記憶部２８、及び情報管理サーバ４０のいずれか又は両方から取得可能か否かを判断する（ステップＳ６）。取得可能でない場合には、新しい位置を特定するためにステップＳ３へ行く。
【００７３】
（７）取得可能な場合には、情報取得部２４が、その位置に関連付けて記録されている情報を、情報記憶部２８、及び情報管理サーバ４０のいずれか又は両方から取得する（ステップＳ７）。
（８）情報取得部２４により取得された情報中に、画像のデータが１つ以上あるか否かを判定する（ステップＳ２８）。
（９）画像のデータが１つ以上ある場合には、指示部９１が、ステップＳ７において取得された画像のデータを再生して、１個又は複数個の画像を表示装置３０に表示させ、利用者の選択を即す（ステップＳ２９）。
（１０）指示部９１が、利用者による選択がされずキャンセルボタンが押される等によりキャンセルされたか否かを判断する（ステップＳ３０）。キャンセルされた場合には、新しい位置を特定するためにステップＳ３へ行く。
（１１）指示部９１が、利用者による選択がされずタイムアウトしたか否かを判断する（ステップＳ３１）。例えば１０分間何も入力がない場合に、タイムアウトしたと判断して、新しい位置を特定するためにステップＳ３へ行く。
（１２）指示部９１が、利用者による選択がなされるのを待つ（ステップＳ３２）。
【００７４】
（１３）利用者の選択がなされた場合には、指示部９１が、選択を受けた画像に添付されている地点情報により示される撮影地点と、位置検出部２１により検出される現在の自装置の位置との差分を算出して表示装置３０に表示させ、利用者に対して差分が減少する方向に移動することを即す（ステップＳ３３）。
（１４）さらに指示部９１が、選択を受けた画像に添付されている方向情報により示される撮影方向と、方向検出部２２により検出される現在の自装置の撮影方向との差分を算出して表示装置３０に表示させ、利用者に対して差分が減少する方向に回転することを即す（ステップＳ３４）。
（１５）キャンセルされるまでステップＳ３３〜ステップＳ３４の処理を繰り返す（ステップＳ３５）。
【００７５】
＜まとめ＞
本発明の実施形態に係る情報表示システムによれば、使用者が、移動しながら特定の撮影対象を撮影すると、複数の異なる位置から撮影した方向に基づいて、継続的に撮影されている位置を特定し、この位置に関する情報や、過去に撮影されたこの位置の画像を自動的に表示することができる。よって、使用者に、撮影場所名等を入力したり、関連性のない情報が大量に表示されたりというような煩わしい思いをさせることなく、撮影対象に関する情報を表示することができる。例えば使用者は過去に撮影された同じ場所の画像をその場所で見ることができるので、同じ場所の過去と現在との変化を楽しむことができる。
【００７６】
なお、本発明の実施形態で説明した撮像装置、及び情報取得装置を構成する全て又は一部の機能ブロックは、典型的には集積回路であるＬＳＩ（集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、又はウルトラＬＳＩ等と称される）として実現される。これらは、個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。例えば第１の実施形態では、図１の一転鎖線で囲った構成（画像圧縮伸長部１２、位置特定部２３、情報取得部２４、合成部２５、表示制御部２６、情報送信部２７、及び情報記憶部２８を備える。ここで、合成部２５、情報送信部２７）を集積回路化することができる。同様に、第２の実施形態では、図７の一転鎖線で囲った構成（画像圧縮伸長部１２、位置特定部２３、情報取得部２４、合成部２５、表示制御部２６、情報送信部２７、及び情報記憶部２８を備える。ここで、合成部２５、情報送信部２７、指示部９１）を集積回路化することができる。
また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別の技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
【００７７】
また、本発明の実施形態で説明した撮像装置、及び情報取得装置の各機能は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実行可能な所定のプログラムデータが、ＣＰＵによって解釈実行されることで実現してもよい。この場合、プログラムデータは、記録媒体を介して記憶装置内に導入されてもよいし、記録媒体上から直接実行されてもよい。ここで、記録媒体とは、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤ、ＢＤ等の光ディスク、メモリカード等の記録媒体をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。
【産業上の利用可能性】
【００７８】
本発明の情報表示システムは、例えば、デジタルスチルカメラ、デジタルムービーカメラ、及びネットワークカメラ等の撮影機能を有する携帯機器に広く適用できる。また、必ずしも撮影機能を有さなくても画像表示機能が有れば足り、例えば、ヘッドマウントディスプレイ、及びヘッドオーバーディスプレイ等のように、透明スクリーンを透して見た生の映像に、画像が重なって見えるように表示することができるものであってもよい。
本実施形態においては、使用者に煩わしい思いをさせることのないように、使用者による特別な操作なしで、使用者が注目している被写体と関連のある情報を自動的に検索して表示することができるので、その産業的利用価値は極めて高い。
【符号の説明】
【００７９】
１、２ 情報表示システム
１０ 撮像装置
１１ 画像入力部
１２ 画像圧縮伸長部
１３ 録画部
２０ 情報取得装置
２１ 位置検出部
２２ 方向検出部
２３ 位置特定部
２４ 情報取得部
２５ 合成部
２６ 表示制御部
２７ 情報送信部
２８ 情報記憶部
３０ 表示装置
４０ 情報管理サーバ
４１ 情報管理部
４２ 情報記憶部
４３ 通信部
９０ 情報取得装置
９１ 指示部
【技術分野】
【０００１】
本発明は、カメラで撮像した映像を表示している画像上に、映像に関連するデータを表示する情報表示通信装置に関し、より特定的には、使用者による特別な操作なしで自動的に画像上の注視している撮影対象を特定する技術に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラやデジタルムービーカメラ等のデジタル撮影機器の普及は目覚しく、コモディティ化しつつある。一般に、撮影された静止画像は印画紙に印刷される。また撮影された動画像は、テレビ、ビデオデッキ、パソコン等の他の機器や、撮影した機器によって再生されて鑑賞される。
一方、デジタル撮影機器を携帯して旅行先等の遠方に訪れたような場合に、過去に同じ場所を訪れて撮影した画像のデータがあれば、その場所においてその画像を再生して鑑賞し現在の状態と見比べるというような、効果的な楽しみ方ができる。さらに、過去に撮影した時と同じ場所において、同じ被写体を同じアングルで撮影して、過去の画像と現在の画像とを比較して楽しんだりするような、より効果的な楽しみ方も可能である。
【０００３】
しかしながら、過去に撮影した画像データは、数年も様々な場所で撮影を続けているうちに膨大な量になるので、このような状況において使用者が、上述のように過去の画像と現在の画像とを比較して楽しむには、必ずしも有るとは限らない該当する過去に撮影した画像データを、膨大な量の画像データの中から探すという煩わしい操作をしなければならないという問題がある。
このような問題に対応する先行技術が、特許文献１及び特許文献２に開示されている。
特許文献１には、少なくとも撮影場所名を含む検索情報を入力することによって、場所名に関連した過去の撮影情報を一覧的に表示する画像記録再生装置が開示され、このような構成により、年月が経過しても旅先での思い出や印象を十分に蘇らせて鑑賞効果を高めることができると記載されている。
【０００４】
特許文献２には、現在の月日と位置とを判別し、判別した現在の位置と画像に付加されている撮影位置の情報に基づいて、撮影年にかかわらず、過去の対応する時期に撮影された画像を検索・抽出するデジタルカメラが開示されている。また特許文献２には、判別した現在の位置と画像に付加されている撮影位置の情報に基づいて、過去の対応する位置で撮影された画像を検索し抽出するデジタルカメラが開示され、このような構成により、現在と同じ時期や同じ位置で撮影した過去の画像を、煩雑な抽出範囲指定操作をせずに容易に見ることができると記載されている。また特許文献２には、抽出した画像が複数有る場合は、その各画像を順次切り替えてスライドショー表示を行い、あるいはサムネイル表示する旨が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−０９２８３５号公報
【特許文献２】特開２００６−２７９７６４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１の画像記録再生装置によれば、目的に合致した画像データを従来よりも容易に検索できるかもしれない。しかしながら、使用者は必ず撮影場所名を入力しなければならないので、やはり使用者に煩わしい思いをさせてしまう。
また上記特許文献２のデジタルカメラでは、自装置の現在位置付近で過去に撮影された画像データを検索して表示しているが、この方法では、過去にこの付近からあらゆる方向に向けて撮影された全ての画像データが検索されることになる。よって、互いに関連性のない全く違う被写体が撮影された画像データが、いくつも混在して大量に検出されるという望ましくない事態が起こり得る。従って、使用者は表示された大量の画像データの中から必要なものを取捨選択しなければならなくなり、やはり使用者に煩わしい思いをさせてしまう。
【０００７】
それ故に、本発明は、使用者に煩わしい思いをさせることのないように、使用者による特別な操作なしで、使用者が注目している被写体と関連のある情報を自動的に検索して表示することができる情報取得装置、情報取得機能付き撮影機器、情報取得用集積回路、画像表示システム、情報取得プログラム、及び情報取得方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、情報取得装置、情報取得機能付き撮影機器、情報取得用集積回路、画像表示システム、情報取得プログラム、及び情報取得方法に向けられている。そして上記課題を解決するために、本発明の情報表示装置は、被写体に関連する情報を、表示装置に表示させる情報取得装置であって、位置検出部と、方向検出部と、位置特定部と、情報取得部と、表示制御部とを備える。位置検出部は、 自装置の位置を継続的に検出する。方向検出部は、撮影方向を継続的に検出する。位置特定部は、前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得部は、前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する。表示制御部は、前記情報取得部により取得された情報を、前記表示装置に表示させる。
【０００９】
また、情報取得装置において、前記位置特定部は、複数の異なる時点における、自装置の位置と撮影方向とにより求められる複数の撮影領域において、重複する部分を、継続的に撮影されている位置として特定するとよい。
【００１０】
また、情報取得装置において、前記情報取得部は、被写体が有るものとみなされた位置に関連付けて記録されている、過去に撮影された画像のデータを取得し、前記表示制御部は、前記情報取得部により取得された画像のデータにより再生される画像を、前記表示装置に表示させるとよい。
また、情報取得装置は、さらに、動画又は静止画を撮像する撮像装置と、前記撮像装置により撮像された動画又は静止画に、前記情報取得部により取得された画像のデータにより再生される画像を合成する合成部とを備え、前記表示制御部は、合成部により画像が合成された動画又は静止画を、前記表示装置に表示させるとよい。
【００１１】
また、情報取得装置において、前記情報取得部は、さらに、過去に撮影された画像のデータを取得する際に、各々の画像が撮影されたときの撮影方向を示す情報を取得し、前記方向検出部は、前記撮像装置により撮像された合成すべき動画又は静止画の撮影方向を継続的に検出し、前記合成部は、前記情報取得部により取得された各々の画像が撮影されたときの撮影方向を示す情報に基づいて、前記情報取得部により取得された画像のデータの中で、前記方向検出部によって継続的に検出された合成すべき動画又は静止画と、撮影方向が最も近似する画像のデータを選択して、合成するとよい。
また、情報取得装置は、さらに、動画又は静止画を撮像する撮像装置と、前記撮像装置により撮像された動画又は静止画の情報に、前記位置特定部により被写体が有るものとみなされた位置を関連付けて、外部の管理サーバへ向けて送信する情報送信部とを備えるとよい。
【００１２】
また、情報取得装置において、前紀情報送信部は、さらに、前記撮像装置により撮像された動画又は静止画の情報に、前記方向検出部によって検出される、各々が撮影されたときの撮影方向を示す情報を関連付けて送信するとよい。
また、情報取得装置において、前記情報取得部は、さらに、過去に撮影された画像のデータを取得する際に、当該画像が撮影されたときの撮影地点を示す地点情報と撮影方向を示す方向情報とを取得し、 当該情報取得装置は、さらに、前記情報取得部により取得された地点情報により示される撮影地点と、前記位置検出部により検出される現在の自装置の位置との差分、及び前記情報取得部により取得された方向情報により示される撮影方向と前記方向検出部により検出される現在の自装置の撮影方向との差分に基づいて、前記情報取得部により取得された過去に撮影された画像と、同じアングルの撮影ができるように、利用者に対して撮影地点と撮影方向とを指示する指示部を備えるとよい。
【００１３】
また、上記課題を解決するために、本発明の情報取得機能付き撮影機器は、表示装置と、被写体を撮像する撮像装置と、当該被写体に関連する情報を所得して、当該表示装置に表示させる情報取得装置とから構成される情報取得機能付き撮影機器である。前記撮像装置は、動画又は静止画を撮像する。前記情報取得装置は、位置検出部と、方向検出部と、位置特定部と、情報取得部と、合成部と、表示制御部とを備える。位置検出部は、自装置の位置を継続的に検出する。方向検出部は、撮影方向を継続的に検出する。位置特定部は、前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得部は、前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する。合成部は、前記撮像装置により撮像された動画又は静止画に、前記情報取得部により取得された画像や情報を合成する。表示制御部は、 前記合成部により合成された動画又は静止画を、前記表示装置に表示させる。
【００１４】
また上記課題を解決するために、本発明の情報取得用集積回路は、被写体に関連する情報を、表示装置に表示させる情報取得装置に用いられる情報取得用集積回路である。前記情報取得装置は、自装置の位置を継続的に検出する位置検出部と、撮影方向を継続的に検出する方向検出部とを備える。当該情報取得用集積回路は、位置特定部と、情報取得部と、表示制御部とを備える。位置特定部は、前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得部は、前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する。表示制御部は、前記情報取得部により取得された情報を、前記表示装置に表示させる。
【００１５】
また上記課題を解決するために、本発明の画像表示システムは、表示装置と、被写体を撮像する撮像装置と、過去に撮影された当該被写体の画像を、当該表示装置に表示させる情報取得装置と、撮影された時の位置に関連付けて記録されている被写体毎の画像を管理する管理サーバとからなる画像表示システムである。前記撮像装置は、動画又は静止画を撮像する。前記情報取得装置は、位置検出部と、方向検出部と、位置特定部と、情報取得部と、合成部と、表示制御部と、情報送信部とを備える。位置検出部は、自装置の位置を継続的に検出する。方向検出部は、撮影方向を継続的に検出する。位置特定部は、前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得部は、前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている、過去に撮影された画像のデータを取得する。合成部は、前記撮像装置により撮像された動画又は静止画に、前記情報取得部により取得された画像のデータにより再生される画像を合成する。表示制御部は、前記合成部により合成された動画又は静止画を、前記表示装置に表示させる。情報送信部は、前記撮像装置により撮像された動画又は静止画の情報に、前記位置特定部により被写体が有るものとみなされた位置を関連付けて、外部の管理サーバへ向けて送信する。前紀管理サーバは、前記情報取得装置における前記情報取得部による要求を受けて、要求された位置に関連付けて記録されている画像情報の有無を判断し、有る場合には、前記情報取得装置へ向けて送信し、前記情報取得装置における前記情報送信部から送信される情報を記憶し管理する。
【００１６】
また上記課題を解決するために、本発明の情報表示プログラムは、被写体に関連する情報を、表示装置に表示させる情報取得装置における情報取得プログラムである。前記情報取得装置に、位置検出ステップと、方向検出ステップと、位置特定ステップと、情報取得ステップと、表示制御ステップとを実行させる。位置検出ステップは、 自装置の位置を継続的に検出する。方向検出ステップは、撮影方向を継続的に検出する。位置特定ステップは、前記位置検出ステップによって継続的に検出される自装置の位置と、前記方向検出ステップによって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得ステップは、前記位置特定ステップにより被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する。表示制御ステップは、前記情報取得ステップにより取得された情報を、前記表示装置に表示させる。
【００１７】
また上記課題を解決するために、本発明の情報表示方法は、被写体に関連する情報を、表示装置に表示させる情報取得方法であって、位置検出ステップと、方向検出ステップと、位置特定ステップと、情報取得ステップと、表示制御ステップとを含む。位置検出ステップは、 自装置の位置を継続的に検出する。方向検出ステップは、撮影方向を継続的に検出する。位置特定ステップは、前記位置検出ステップによって継続的に検出される自装置の位置と、前記方向検出ステップによって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす。情報取得ステップは、前記位置特定ステップにより被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する。表示制御ステップは、前記情報取得ステップにより取得された情報を、前記表示装置に表示させる。
【発明の効果】
【００１８】
本発明の構成によれば、使用者が注目しているであろう被写体の位置を自動的に決定し、被写体の位置と関連のある情報を自動的に検索して表示することができる。従って、使用者による撮影場所名等の入力を必要とせず、かつ関連性のない情報が大量に検出されるという望ましくない事態が起り難いため、使用者に煩わしい思いをさせることない。また、過去に撮影した画像のデータ等の、被写体に関連のある情報を自動的に表示することができるので、過去の画像と現在の状態とを見比べたり、過去に撮影した時と同じようなアングルで撮影して、過去の画像と現在の画像とを比較して楽しんだりするような、効果的な利用形態を、使用者に対して提供することができる。
【図面の簡単な説明】
【００１９】
【図１】第１の実施形態の情報表示システム１の機能の概要を示す図
【図２】（ａ）、（ｂ）は、使用者が、第１の実施形態に係る撮像装置１０、情報取得装置２０、及び表示装置３０を用いて、特定の撮影対象５０を撮影している様子を示す図
【図３】（ａ）は、画像上の被写体についての情報を表示する従来の表示画面の一例を示す図、（ｂ）は、第１の実施形態に係る表示装置３０の画面上に出力される表示画面の一例を示す図
【図４】第１の実施形態に係る情報取得装置２０における情報取得動作、及び画像表示動作の手順を示す図
【図５】注視状態であるか否かの判定方法の概略を示す図
【図６】使用者が、第２の変形例に係る撮像装置１０、情報取得装置２０、及び表示装置３０を用いて、特定の撮影対象５０を撮影している様子を示す図
【図７】第２の実施形態の情報表示システム２の概要を示す図
【図８】指示動作中の表示画面の一例を示す図
【図９】第２の実施形態に係る情報取得装置９０における指示動作の手順を示す図
【発明を実施するための形態】
【００２０】
［第１の実施形態］
＜概要＞
第１の実施形態は、自装置の位置と撮影方向を継続的に検出し、継続的に撮影されている位置を特定し、その位置に使用者が注目している被写体が有るものとみなして、その位置に関連付けて記録されている情報を取得して表示するものである。
【００２１】
＜全体構成＞
図１は、第１の実施形態の情報表示システム１の機能の概要を示す図である。
図１に示す情報表示システム１は、撮像装置１０、情報取得装置２０、表示装置３０、及び情報管理サーバ４０から構成されている。
撮像装置１０は、動画又は静止画を撮像して画像のデータを出力するものであり、画像入力部１１、画像圧縮伸長部１２、及び録画部１３を備える。
画像入力部１１は、例えばイメージセンサやカメラ等の撮像機器を含み、撮像した画像信号をフレーム単位の画像情報として取得する。
【００２２】
画像圧縮伸長部１２は、例えばコーデック（Ｃｏｄｅｃ）であり、画像入力部１１において取得された画像情報や、特定の圧縮形式を用いて圧縮された画像情報を表示装置３０において表示可能な形式に伸長変換する。また、画像圧縮伸長部１２は、画像入力部１１において取得された画像情報を特定の圧縮形式へ圧縮変換する。なお、画像の圧縮形式は、例えば静止画の場合はＪＰＥＧ形式、ＧＩＦ形式、及びＰＮＧ形式などが代表的であり、動画の場合はＡＶＩ形式、およびＭＰＥＧ形式などが代表的である。
録画部１３は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、又はＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶媒体を含み、画像圧縮伸長部１２において圧縮変換された画像情報を記録する。また録画部１３は、ＳＤカード、ＵＳＢフラッシュメモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、及びブルーレイディスク等の二次記憶媒体に記録するものであってもよい。
なお、撮像装置１０の一部又は全部を、情報取得装置２０に内蔵してもよい。
【００２３】
情報取得装置２０は、撮像装置１０、及び表示装置３０が接続された状態において、個人が主に野外で使用する撮影機能、情報取得機能、及び表示機能を合わせ持つ情報取得機能付き撮影機器であって、例えばデジタルカメラ、カメラ付き携帯電話、及び携帯端末等の携帯電子機器に拡張機能が追加されたものであり、位置検出部２１、方向検出部２２、位置特定部２３、情報取得部２４、合成部２５、表示制御部２６、情報送信部２７、及び情報記憶部２８を備える。ここで、合成部２５、情報送信部２７、及び情報記憶部２８は必ずしも必要な構成要素ではないので、関連する部分を点線で記載している。
位置検出部２１は、例えばＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）のようなグローバル座標を取得する位置検出機能や、通信網の基地局探索による発信源の座標を取得する位置検出機能を含み、情報表示装置２０の現在位置を継続的に検出し、位置情報として取得する。
【００２４】
方向検出部２２は、例えば磁気センサ、加速度センサ、及びジャイロセンサ等を含み、撮像装置１０における撮影方向を継続的に検出し、方向情報として取得する。
位置特定部２３は、位置検出部２１において検出される位置情報と、方向検出部２２において検出される方向情報とに基づいて、継続的に撮影されている注視位置を特定し、当該注視位置に被写体が有るものとみなす。より詳細には、位置特定部２３は、被写体に関連付けて記録されている情報を表示させる情報表示モードに設定され、かつ撮影中であるか否かを判断し、情報表示モードに設定され、かつ、撮影中である場合に、複数の異なる時点における、自装置の位置を示す位置情報と、撮影方向を示す方向情報とにより求められる複数の撮影領域において、重複する部分を中心とする所定の範囲を注視位置として特定する。
【００２５】
図２（ａ）、（ｂ）は、使用者が、本実施形態に係る撮像装置１０、情報取得装置２０、及び表示装置３０を用いて、特定の撮影対象５０を撮影している様子を示す図である。本実施形態では、撮影対象５０の他に撮影対象とされていない被写体５１〜５７が点在している状況を想定している。
図２（ａ）は真上から見た様子を示し、図の上方向が北の方角になっている。また図２（ｂ）は、南の方角から水平に見た様子を示し、図の左方向が西の方角、右方向が東の方角となっている。
【００２６】
図２（ａ）、（ｂ）において、使用者６０、及び使用者６１は同一人物であり、両者は撮影している時刻が異なっている。ここで使用者６０は時刻Ｔｍに撮影を開始し、撮影開始時の場所において撮影位置Ｐｍと撮影方向Ｄｍとが検出されるものとする。また使用者６１は撮影開始時から所定の時間が経過した時刻Ｔｎまで撮影を継続しており、撮影開始時の場所から撮影を継続したまま移動した場所において、撮影位置Ｐｎと撮影方向Ｄｎとが検出されるものとする。
【００２７】
まず、図２（ａ）を用いて、水平方向における注視位置Ｃｈの特定方法の概略を説明する。
図２（ａ）において、撮影方向Ｄｍに対応する方位角θｍ、及び撮影方向Ｄｎに対応する方位角θｎを定義する。ここで方位角は、真北を起点として右回りに正の値をとるラジアン値により表現することができる。
撮影方向Ｄｍ、及び撮影方向Ｄｎを、それぞれ水平面に写像した成分同士の交点を算出し、これを水平方向における注視位置Ｃｈとする。以下に注視位置Ｃｈの算出方法の一例を示す。
本実施形態では、Ｐｍを原点とし、真東の方角を正とする東西方向をｘ軸、真北の方角を正とする南北方向をｙ軸、仰角９０度方向（すなわち真上）を正とする鉛直方向をｚ軸とするｘｙｚ座標系を用いる。
撮影位置Ｐｍを原点としたときの撮影方向Ｄｍのｘｙ平面における成分は、以下の（式１）のように表わすことができる。なお、本実施形態では垂直面を、ｘｙｚ座標系のｘｚ面としたが、ｙｚ面であってもよい。
【００２８】
ｙ＝（１／ｔａｎθｍ）・ｘ ・・・（式１）
【００２９】
一方、撮影位置Ｐｍから、撮影位置Ｐｎまでのｘ軸方向の移動量をΔｘ、ｙ軸方向の移動量をΔｙとすると、撮影位置Ｐｍを原点としたときの撮影方向Ｄｎのｘｙ平面における成分は、以下の（式２）のように表わすことができる。
【００３０】
ｙ＝（１／ｔａｎθｎ）・（ｘ−Δｘ）＋Δｙ ・・・（式２）
【００３１】
ここで（式１）により示される直線と（式２）により示される直線との交点を、水平方向における注視位置Ｃｈとして算出する。
注視位置Ｃｈは（式１）と（式２）とからなる連立方程式を解くことにより求められる。
「（式１）の右辺＝（式２）の右辺」より、（式３）が得られる。
【００３２】
（１／ｔａｎθｍ）・ｘ＝（１／ｔａｎθｎ）・（ｘ−Δｘ）＋Δｙ
・・・（式３）
【００３３】
（式３）をｘについて整理することにより、注視位置Ｃｈのｘ座標値を算出するための（式４）が得られる。
【００３４】
ｘ＝ｔａｎθｍ・（Δｙ・ｔａｎθｎ−Δｘ）／（ｔａｎθｎ−ｔａｎθｍ）
・・・（式４）
【００３５】
（式４）のｘを（式１）に代入することにより、注視位置Ｃｈのｙ座標値を算出するための（式５）が得られる。
【００３６】
ｙ＝（Δｙ・ｔａｎθｎ−Δｘ）／（ｔａｎθｎ−ｔａｎθｍ）
・・・（式５）
【００３７】
（式４）（式５）より、注視位置Ｃｈを特定することができる。
続いて、図２（ｂ）を用いて、鉛直方向における注視位置Ｃｖの特定方法の概略を説明する。
図２（ｂ）において、撮影方向Ｄｍに対応する仰俯角φｍ、及び撮影方向Ｄｎに対応する仰俯角φを定義する。ここで仰俯角は、水平位置を起点として上方向に正の値をとるラジアン値により表現することができる。
撮影方向Ｄｍ、及び撮影方向Ｄｎを、それぞれ垂直面に写像した成分同士の交点を算出し、これを鉛直方向における注視位置Ｃｖとする。以下に注視位置Ｃｖの算出方法の一例を示す。
撮影位置Ｐｍを原点としたときの撮影方向Ｄｍのｘｚ平面における成分は、以下の（式６）のように表わすことができる。
【００３８】
ｚ＝ｘ・ｔａｎφｍ ・・・（式６）
【００３９】
一方、撮影位置Ｐｍから、撮影位置Ｐｎまでのｘ軸方向の移動量をΔｘ、ｚ軸方向の移動量をΔｚとすると、撮影位置Ｐｍを原点としたときの撮影方向Ｄｎのｘｚ平面における成分は、以下の（式２）のように表わすことができる。
【００４０】
ｚ＝（ｘ−Δｘ）・ｔａｎφｎ＋Δｚ ・・・（式７）
【００４１】
ここで（式６）により示される直線と（式７）により示される直線との交点を、鉛直方向における注視位置Ｃｖとして算出する。
注視位置Ｃｖは（式６）と（式７）とからなる連立方程式を解くことにより求められる。
「（式６）の右辺＝（式７）の右辺」より、（式８）が得られる。
【００４２】
ｘ・ｔａｎφｍ＝（ｘ−Δｘ）・ｔａｎφｎ＋Δｚ
・・・（式８）
【００４３】
（式８）をｘについて整理することにより、注視位置Ｃｖのｘ座標値を算出するための（式９）が得られる。
【００４４】
ｘ＝（Δｘ・ｔａｎφｎ−Δｚ）／（ｔａｎφｎ−ｔａｎφｍ） ・・・（式９）
【００４５】
（式９）のｘを（式６）に代入することにより、注視位置Ｃｖのｚ座標値を算出するための（式１０）が得られる。
【００４６】
ｚ＝（Δｘ・ｔａｎφｎ−Δｚ）・ｔａｎφｍ／（ｔａｎφｎ−ｔａｎφｍ）
・・・（式１０）
【００４７】
（式９）（式１０）より、注視位置Ｃｖを特定することができる。
なお、図２（ｂ）のように、撮影方向Ｄｍの垂直方向成分による直線と、撮影方向Ｄｎの垂直方向成分による直線とがなす角度φｃが、例えば１５度以下のような小さな角度である場合には、算出する座標値の誤差が著しく大きくなる。よって、位置特定部２３は、角度φｃが所定の角度以下であるか否かを判定し、所定の角度以下の場合には、鉛直方向における注視位置Ｃｖを無効にして、利用しないこととするとよい。
同様に、撮影方向Ｄｍの水平方向成分による直線と、撮影方向Ｄｎの水平方向成分による直線とがなす角度θｃが小さな角度である場合には、算出する座標値の誤差が著しく大きくなる。よって、位置特定部２３は、角度θｃが所定の角度以下であるか否かを判定し、所定の角度以下の場合には、水平方向における注視位置Ｃｈを無効にして、利用しないこととするとよい。
【００４８】
ここで注視位置Ｃｖ、及び注視位置Ｃｈの一方が所定の角度以下である等により無効にされ、もう一方が有効である場合には、有効な方のみを用いて以後の処理を継続するとよい。また、注視位置Ｃｖ、及び注視位置Ｃｈの両方が無効にされた場合には、以後の処理を中断するとよい。
また、同一の被写体が継続的に撮影されている場合には注視位置Ｃｈと注視位置Ｃｖとはｘ座標値がほぼ一致し、違う被写体を撮影している場合には注視位置Ｃｈと注視位置Ｃｖとはｘ座標値が一致せず所定の距離よりも離れているものと思われるので、注視位置Ｃｖ、及び注視位置Ｃｈの両方が有効である場合には、位置特定部２３は、両者が所定の距離以内である場合には、両方の注視位置を利用して以後の処理を継続し、両者が所定の距離以内でない場合には、以後の処理を中断するとよい。
【００４９】
情報取得部２４は、例えば無線ＬＡＮ通信、公衆無線網、又は光無線通信等の通信手段を用いて、外部の装置と制御情報の通信やデータ通信を行い、通信を確立する機能を有し、位置特定部２３により被写体が有るものとみなされた位置に関連付けて記録されている情報を、情報記憶部２８、及び情報管理サーバ４０のいずれか又は両方から取得する。より詳細には情報取得部２４は、被写体が有るものとみなされた位置に関連付けて記録されている、過去に撮影された画像のデータや当該被写体に関する情報を取得する。ここで情報取得部２４は、過去に撮影された画像のデータを取得する際に、さらに各々の画像が撮影されたときの撮影地点を示す地点情報と撮影方向を示す方向情報を取得してもよい。
【００５０】
合成部２５は、撮像装置１０により撮像された動画又は静止画に、情報取得部２４により取得された画像や情報を合成する。詳細には、過去に撮影された画像のデータや被写体に関する情報が情報取得部２４により取得され、合成部２５はこれらの画像のデータや情報を、撮像された動画又は静止画中の、対応する被写体が有るものとみなされた位置に関連付けて合成する。ここで合成部２５は、情報取得部２４により取得された画像のデータが複数ある場合には、各々の画像が撮影されたときの撮影方向を示す情報に基づいて、取得された画像のデータの中で、合成すべき動画又は静止画と、撮影方向が最も近似する画像のデータを選択して合成してもよい。
【００５１】
表示制御部２６は、合成部２５により合成された動画又は静止画を、表示装置に表示させる。
なお、情報取得部２４により取得された情報を、撮像された動画又は静止画と同一画面上に表示するだけでもよいので、必ずしも画像を合成する必要はないため、合成部２５はなくてよい。合成部２５がない場合において、表示制御部２６は、情報取得部２４により取得された各々の画像が撮影されたときの撮影方向を示す情報に基づいて、取得された複数の画像のデータの中で、撮像された動画又は静止画と、撮影方向が最も近似する画像のデータを選択して、表示装置３０における同一画面上の、再生中の動画又は静止画の枠外等に、選択した画像のデータを再生して画像を表示させてもよい。
【００５２】
情報送信部２７は、情報取得部２４と同様に通信を確立する機能を有し、撮像装置１０により撮像された動画又は静止画の情報に、位置検出部２１により被写体が有るものとみなされた位置を示す情報を関連付けて、情報記憶部２８に記憶するとともに外部の情報管理サーバ４０へ向けて送信する。さらに、情報送信部２７は、撮像装置１０により撮像された動画又は静止画の情報に、方向検出部２２によって検出される、各々が撮影されたときの撮影方向を示す情報を関連付けて送信してもよい。なお、必ずしも情報管理サーバ４０へ画像を登録する機能は必要ではないので、情報送信部２７はなくてよい。
【００５３】
情報記憶部２８は、例えばＲＯＭ、ＲＡＭ、又はＨＤＤ等の記憶媒体を含み、過去に自装置で撮影した動画又は静止画の情報や、外部から取得した被写体の情報等を記憶する。また情報記憶部２８は、ＳＤカード、ＵＳＢフラッシュメモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、及びブルーレイディスク等の二次記憶媒体に記録するものであってもよい。情報記憶部２８を用いれば、通信ができないような場合であっても利用でき、また応答性が向上する。なお、常に外部の情報管理サーバ４０から被写体の情報等を取得するのであれば、情報記憶部２８は不要である。
【００５４】
表示装置３０は、例えば液晶ディスプレイ等の出力デバイスを含み、情報取得装置２０の表示制御部２６により再生される画像を画面上に出力する。
図３（ａ）は、画像上の被写体についての情報を表示する従来の表示画面の一例を示す図である。図３（ｂ）は、第１の実施形態に係る表示装置３０の画面上に出力される表示画面の一例を示す図である。
図３（ａ）においては、画面上に表示されるほとんどの被写体に関する情報が合成されて表示されており、使用者が必要としない情報が多く表示されるため、視認性や使い勝手が損なわれる可能性が高い。
これに対して図３（ｂ）においては、撮影対象が中央の１つのビルに特定されているので、画面上に表示される被写体のうちの、特定された被写体に関する情報のみが合成されて表示されており、使用者が必要としない情報がほとんど表示されないため、視認性や使い勝手が格段によくなっている。なお、必要としない情報が表示されない分、表示スペースに余裕ができるので、特定された被写体に関する情報をより詳しく表示することもできる。
また、特定された被写体以外の被写体に関する情報の検索、取得、及び表示の処理が実行されないため、処理負荷を軽減することができる。
【００５５】
情報管理サーバ４０は、企業等の組織により特定の場所に設置される据置型のコンピュータであって、撮影された時の位置に関連付けて記録されている被写体毎の画像や情報等を管理するものであり、情報管理部４１、情報記憶部４２、及び通信部４３を備える。ここで、情報管理サーバ４０は、被写体毎の画像を記憶する際に、さらに各々の画像が撮影されたときの撮影方向を示す情報を関連付けて管理してもよい。
情報管理部４１は、過去に撮影された画像情報を情報記憶部４２に保存して管理し、所望の画像情報を検索して取り出すための管理機能を有する。詳細には情報管理部４１は、情報取得装置２０における情報取得部２４による要求を受けて、要求された位置に関連付けて記録されている情報の有無を判断し、有ると判断した場合には、該当する情報を情報記憶部４２から抽出して、情報取得装置２０へ向けて送信するように制御する。また情報管理部４１は、情報取得装置２０における情報送信部２７から送信される、撮影された時の位置に関連付けて記録されている画像情報を受信するように制御して、情報記憶部４２に記憶し管理する。
【００５６】
情報記憶部４２は、例えばＲＯＭ、ＲＡＭ、又はＨＤＤ等の記憶媒体を含み、過去に自装置や他の装置で撮影した動画又は静止画の情報、及び外部から取得した被写体に関する情報等を記憶する。また情報記憶部４２は、ＳＤカード、ＵＳＢフラッシュメモリ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、及びブルーレイディスク等の二次記憶媒体に記録するものであってもよい。
【００５７】
通信部４３は、例えば無線ＬＡＮ通信、公衆無線網、又は光無線通信等の通信手段を用いて、他の端末との通信を確立するための制御、及び制御情報やデータの通信を行う。詳細には通信部４３は、情報管理部４１の制御により、情報取得装置２０の情報取得部２４との通信を確立するための制御を行って、情報記憶部４２から抽出された情報を情報取得部２４へ向けて送信する。また通信部４３は、情報管理部４１の制御により、情報取得装置２０の情報送信部２７との通信を確立するための制御を行って、情報記憶部４２に記憶すべき情報を情報送信部２７から受信する。
【００５８】
＜情報取得動作及び画像表示動作＞
図４は、第１の実施形態に係る情報取得装置２０における情報取得動作、及び画像表示動作の手順を示す図である。
（１）位置検出部２１が、情報表示装置２０の現在位置の検出を開始する（ステップＳ１）。
（２）方向検出部２２が、撮像装置１０における撮影方向の検出を開始する（ステップＳ２）。
（３）位置特定部２３が、情報表示モードに設定され、かつ撮影中であるか否かを判断する（ステップＳ３）。
【００５９】
（４）情報表示モードに設定され、かつ、撮影中である場合には、位置特定部２３が、位置情報と方向情報とに基づいて、継続的に撮影されている位置の特定を行う（ステップＳ４）。
（５）位置の特定が完了するまで待つ（ステップＳ５）。
（６）位置の特定が完了すると、情報取得部２４が、その位置に関連付けて記録されている情報を、情報記憶部２８、及び情報管理サーバ４０のいずれか又は両方から取得可能か否かを判断する（ステップＳ６）。取得可能でない場合には、新しい位置を特定するためにステップＳ３へ行く。
【００６０】
（７）取得可能な場合には、情報取得部２４が、その位置に関連付けて記録されている情報を、情報記憶部２８、及び情報管理サーバ４０のいずれか又は両方から取得する（ステップＳ７）。
（８）情報取得部２４により取得された情報中に、画像のデータが複数あるか否かを判定する（ステップＳ８）。
（９）画像のデータが複数ある場合には、情報取得部２４により取得された画像のデータの中で、合成すべき動画又は静止画と、撮影方向が近似する画像のデータを選択的に残し、他の画像のデータは破棄する（ステップＳ９）。
【００６１】
（１０）合成部２５が、撮像装置により撮像された動画又は静止画に、情報取得部２４により取得され、画像のデータが取捨選択された情報を合成する（ステップＳ１０）。
（１１）表示制御部２６が、ステップＳ１０において情報が合成された動画又は静止画を、表示装置に表示させる（ステップＳ１１）。
（１２）情報送信部２７が、撮像装置１０により撮像された動画又は静止画の情報に、位置検出部２１により被写体が有るものとみなされた位置を示す情報と、撮影されたときの撮影方向を示す情報とを関連付ける（ステップＳ１２）。
（１３）情報送信部２７が、ステップＳ１２において位置を示す情報と撮影方向を示す情報とが関連付けられた動画又は静止画の情報を、情報記憶部２８に記憶するとともに外部の情報管理サーバ４０へ向けて送信する（ステップＳ１３）。
【００６２】
［第１の変形例］
位置特定部２３による注視位置の特定方法は上記の例に限られない。第１の変形例では、撮影方向Ｄｍ、及び撮影方向Ｄｎを示す各直線を、三次元空間中の直線Ｓｍ、及び直線Ｓｎとみなし、直線Ｓｍと直線Ｓｎとが最短距離となる最短地点における各直線上の点や、最短地点同士を結ぶ直線上の点等を注視位置とする。
また位置特定部２３は、複数の注視位置を算出して、所定数以上の注視位置が一定の範囲内に集中している状態を検出した場合に注視状態であると判定して、当該注視状態を構成する複数の注視位置を含む領域に被写体が有るものとみなす。ここで一定の範囲は、例えば撮像範囲に相当する程度の大きさが望ましい。なお、撮影範囲は通常、撮影距離に応じて変わるので、上記の一定の範囲の大きさを、撮影位置から注視位置までの距離に応じて変えてもよい。さらにまた、撮影に際してレンズ交換やズーム等を行って画角、及び撮影範囲等が変化する場合には、一定の範囲の大きさを、画角、及び撮影範囲等の変化に連動させて変えてもよい。
【００６３】
図５は、注視状態であるか否かの判定方法の概略を示す図である。
図５において、ある過去の時点Ｔ１から現時点Ｔｋまでのｋ個の各時点における注視位置を、注視位置Ｃ１から注視位置Ｃｋまでのｋ個の各注視位置で示している。
位置特定部２３は、ｋ個の各注視位置の分布の中心である点Ｇを求め、点Ｇを中心とした所定の半径ｒの球体状である注視状態判定範囲７０を設定する。そして注視状態判定範囲７０の中に、ｋ個の各注視位置のうちのｊ個以上が含まれている場合に注視状態であると判定し、ｊ個未満しか含まれていない場合に注視状態ではないと判定する。なお、点Ｇを求める方法は、各注視位置の分布の中心を求める方法に限られず、例えば、各注視位置の重心を求めてもよいし、各注視位置からの距離の合計が最も小さくなる点を求めてもよい。
【００６４】
また、注視状態であるか否かを判定する際に、“ｋ”、“ｊ”、及び“ｒ”の値を適宜調整することにより、状況に応じて最適な結果を得ることが可能である。
また、“ｋ”、“ｊ”、及び“ｒ”の各値を、注視状態でない状態において判定する場合と、注視状態において判定する場合とで、別の値を設定することもできる。このように設定することにより、注視状態でない状態においては、使用者が移動しながら、所望の被写体を一定時間以上継続的に撮影しないと注視状態にならないが、一旦注視状態になれば、必ずしも被写体を継続的に撮影しなくても注視状態を継続するように制御することができる。よって、注視状態において、被写体が度々、撮影範囲から外れたとしても、その度に注視状態でない状態に遷移するといった煩わしい状態にならないので、使い勝手がよい。
【００６５】
また、注視状態でない状態においては、情報の検索、取得、及び表示の処理を行わないため、結果的に冗長な処理負荷を軽減することができる。
また、注視状態において、過去に撮影された画像がない被写体を継続して撮影している場合には、画像の検索、取得、及び表示の処理が繰返し実行されないため、結果的に冗長な処理負荷を軽減することができる。
【００６６】
［第２の変形例］
第２の変形例は、撮像装置１０における撮影に際して、被写体が撮影範囲の中心以外の部分に映っている場合であっても、精度よく注視位置を特定するものである。
図６は、図２（ａ）と同様に、使用者が、第２の変形例に係る撮像装置１０、情報取得装置２０、及び表示装置３０を用いて、特定の撮影対象５０を撮影している様子を示す図である。本変形例の諸条件は、第１の実施形態と同様である。
図６において、使用者８０、使用者８１、及び使用者８２は同一人物であり、３者は撮影している時刻が異なっている。ここで使用者８０は時刻Ｔｌに撮影を開始し、撮影開始時の場所において撮影位置Ｐｌと撮影方向Ｄｌと画角Ψｌとが検出されるものとする。また使用者８１は撮影開始時から所定の時間が経過した時刻Ｔｍまで撮影を継続しており、撮影開始時の場所から撮影を継続したまま移動した場所において、撮影位置Ｐｍと撮影方向Ｄｍと画角Ψｍとが検出されるものとする。また使用者８２は時刻Ｔｍから所定の時間が経過した時刻Ｔｎまで撮影を継続しており、撮影位置Ｐｍから撮影を継続したまま移動した場所において、撮影位置Ｐｎと撮影方向Ｄｎと画角Ψｎとが検出されるものとする。ここで、画角とはレンズの倍率によって一意に決まるものであって、水平方向の撮影範囲を示す角度であり、各撮影方向を中心とするラジアン値により表現することができる。
【００６７】
ここで図６を用いて、水平方向における注視位置Ｃｈの特定方法の概略を説明する。
図６において、撮影方向Ｄｌに対応する方位角θｌ、撮影方向Ｄｍに対応する方位角θｍ、撮影方向Ｄｎに対応する方位角θｎを定義する。ここで方位角は真北を起点として右回りに正の値をとるラジアン値により表現することができる。
また図６において、撮影位置Ｐｌを始点とし撮影方向Ｄｌを中心とする画角Ψｌの撮影領域Ａｌ、撮影位置Ｐｍを始点とし撮影方向Ｄｍを中心とする画角Ψｍの撮影領域Ａｍ、及び撮影位置Ｐｎを始点とし撮影方向Ｄｎを中心とする画角Ψｎの撮影領域Ａｎを定義する。
位置特定部２３が、撮影領域Ａｌ、撮影領域Ａｍ、及び撮影領域Ａｎを、それぞれ水平面に写像した３つの領域の全ての成分が重なり合う共通部分を特定し、これを水平方向における注視位置Ｃｈとする。
なお、位置特定部２３は、各撮影領域におけるピントが合っているピント位置を撮像装置１０から入手して、ピント位置の周辺の所定の範囲のみを有効な範囲とし、有効な範囲内において共通部分を特定してもよい。
【００６８】
［第２の実施形態］
＜概要＞
第２の実施形態は、第１の実施形態に、さらに、過去に撮影したときと同じ地点、同じ方向で、同じ被写体を撮影ができるように利用者に指示する指示機能を備えるものである。
＜全体構成＞
図７は、第２の実施形態の情報表示システム２の概要を示す図である。
図７に示す情報表示システム２は、撮像装置１０、情報取得装置９０、表示装置３０、及び情報管理サーバ４０から構成されている。ここで、第１の実施形態と同様の構成要素には同一番号を附し、その説明を省略する。
情報取得装置９０は、第１の実施形態の情報取得装置２０に、さらに、指示部９１を備える。
【００６９】
情報取得部２４は、過去に撮影された画像のデータを取得する際に、当該画像が撮影されたときの撮影地点を示す地点情報と撮影方向を示す方向情報とを取得する。
指示部９１は、情報取得部２４により取得された地点情報により示される撮影地点と、位置検出部２１により検出される現在の自装置の位置との差分、及び情報取得部２４により取得された方向情報により示される撮影方向と、方向検出部２２により検出される現在の自装置の撮影方向との差分に基づいて、情報取得部２４により取得された過去に撮影された画像と同じアングルの撮影ができるように、利用者に対して撮影地点と撮影方向とを指示する。
【００７０】
詳細には、指示部９１は、情報取得部２４により取得された、過去に撮影された画像のデータを再生して、画像を表示装置３０に表示させて利用者の選択を即し、利用者により選択された画像と同じアングルの撮影ができるように、自装置との撮影地点の差分と撮影方向の差分とを表示し続ける。
図８は、指示動作中の表示画面の一例を示す図である。
図８に示すように、指示動作中の表示画面には、過去に撮影された画像９２、現在の画像９３、撮影地点の差分９４、撮影方向の差分９５が表示されている。
【００７１】
＜指示動作＞
図９は、第２の実施形態に係る情報取得装置９０における指示動作の手順を示す図である。ここで第１の実施形態の図４の各ステップと同様なステップには同一番号を附している。
（１）位置検出部２１が、情報表示装置２０の現在位置の検出を開始する（ステップＳ１）。
（２）方向検出部２２が、撮像装置１０における撮影方向の検出を開始する（ステップＳ２）。
（３）位置特定部２３が、情報表示モードに設定され、かつ撮影中であるか否かを判断する（ステップＳ３）。
【００７２】
（４）情報表示モードに設定され、かつ、撮影中である場合には、位置特定部２３が、位置情報と方向情報とに基づいて、継続的に撮影されている位置の特定を行う（ステップＳ４）。
（５）位置の特定が完了するまで待つ（ステップＳ５）。
（６）位置の特定が完了すると、情報取得部２４が、その位置に関連付けて記録されている情報を、情報記憶部２８、及び情報管理サーバ４０のいずれか又は両方から取得可能か否かを判断する（ステップＳ６）。取得可能でない場合には、新しい位置を特定するためにステップＳ３へ行く。
【００７３】
（７）取得可能な場合には、情報取得部２４が、その位置に関連付けて記録されている情報を、情報記憶部２８、及び情報管理サーバ４０のいずれか又は両方から取得する（ステップＳ７）。
（８）情報取得部２４により取得された情報中に、画像のデータが１つ以上あるか否かを判定する（ステップＳ２８）。
（９）画像のデータが１つ以上ある場合には、指示部９１が、ステップＳ７において取得された画像のデータを再生して、１個又は複数個の画像を表示装置３０に表示させ、利用者の選択を即す（ステップＳ２９）。
（１０）指示部９１が、利用者による選択がされずキャンセルボタンが押される等によりキャンセルされたか否かを判断する（ステップＳ３０）。キャンセルされた場合には、新しい位置を特定するためにステップＳ３へ行く。
（１１）指示部９１が、利用者による選択がされずタイムアウトしたか否かを判断する（ステップＳ３１）。例えば１０分間何も入力がない場合に、タイムアウトしたと判断して、新しい位置を特定するためにステップＳ３へ行く。
（１２）指示部９１が、利用者による選択がなされるのを待つ（ステップＳ３２）。
【００７４】
（１３）利用者の選択がなされた場合には、指示部９１が、選択を受けた画像に添付されている地点情報により示される撮影地点と、位置検出部２１により検出される現在の自装置の位置との差分を算出して表示装置３０に表示させ、利用者に対して差分が減少する方向に移動することを即す（ステップＳ３３）。
（１４）さらに指示部９１が、選択を受けた画像に添付されている方向情報により示される撮影方向と、方向検出部２２により検出される現在の自装置の撮影方向との差分を算出して表示装置３０に表示させ、利用者に対して差分が減少する方向に回転することを即す（ステップＳ３４）。
（１５）キャンセルされるまでステップＳ３３〜ステップＳ３４の処理を繰り返す（ステップＳ３５）。
【００７５】
＜まとめ＞
本発明の実施形態に係る情報表示システムによれば、使用者が、移動しながら特定の撮影対象を撮影すると、複数の異なる位置から撮影した方向に基づいて、継続的に撮影されている位置を特定し、この位置に関する情報や、過去に撮影されたこの位置の画像を自動的に表示することができる。よって、使用者に、撮影場所名等を入力したり、関連性のない情報が大量に表示されたりというような煩わしい思いをさせることなく、撮影対象に関する情報を表示することができる。例えば使用者は過去に撮影された同じ場所の画像をその場所で見ることができるので、同じ場所の過去と現在との変化を楽しむことができる。
【００７６】
なお、本発明の実施形態で説明した撮像装置、及び情報取得装置を構成する全て又は一部の機能ブロックは、典型的には集積回路であるＬＳＩ（集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、又はウルトラＬＳＩ等と称される）として実現される。これらは、個別に１チップ化されてもよいし、一部又は全部を含むように１チップ化されてもよい。例えば第１の実施形態では、図１の一転鎖線で囲った構成（画像圧縮伸長部１２、位置特定部２３、情報取得部２４、合成部２５、表示制御部２６、情報送信部２７、及び情報記憶部２８を備える。ここで、合成部２５、情報送信部２７）を集積回路化することができる。同様に、第２の実施形態では、図７の一転鎖線で囲った構成（画像圧縮伸長部１２、位置特定部２３、情報取得部２４、合成部２５、表示制御部２６、情報送信部２７、及び情報記憶部２８を備える。ここで、合成部２５、情報送信部２７、指示部９１）を集積回路化することができる。
また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。また、ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
さらには、半導体技術の進歩又は派生する別の技術により、ＬＳＩに置き換わる集積回路化の技術が登場すれば、当然その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてあり得る。
【００７７】
また、本発明の実施形態で説明した撮像装置、及び情報取得装置の各機能は、記憶装置（ＲＯＭ、ＲＡＭ、ハードディスク等）に格納された上述した処理手順を実行可能な所定のプログラムデータが、ＣＰＵによって解釈実行されることで実現してもよい。この場合、プログラムデータは、記録媒体を介して記憶装置内に導入されてもよいし、記録媒体上から直接実行されてもよい。ここで、記録媒体とは、ＲＯＭ、ＲＡＭ、フラッシュメモリ等の半導体メモリ、フレキシブルディスクやハードディスク等の磁気ディスクメモリ、ＣＤ−ＲＯＭやＤＶＤ、ＢＤ等の光ディスク、メモリカード等の記録媒体をいう。また、記録媒体は、電話回線や搬送路等の通信媒体も含む概念である。
【産業上の利用可能性】
【００７８】
本発明の情報表示システムは、例えば、デジタルスチルカメラ、デジタルムービーカメラ、及びネットワークカメラ等の撮影機能を有する携帯機器に広く適用できる。また、必ずしも撮影機能を有さなくても画像表示機能が有れば足り、例えば、ヘッドマウントディスプレイ、及びヘッドオーバーディスプレイ等のように、透明スクリーンを透して見た生の映像に、画像が重なって見えるように表示することができるものであってもよい。
本実施形態においては、使用者に煩わしい思いをさせることのないように、使用者による特別な操作なしで、使用者が注目している被写体と関連のある情報を自動的に検索して表示することができるので、その産業的利用価値は極めて高い。
【符号の説明】
【００７９】
１、２ 情報表示システム
１０ 撮像装置
１１ 画像入力部
１２ 画像圧縮伸長部
１３ 録画部
２０ 情報取得装置
２１ 位置検出部
２２ 方向検出部
２３ 位置特定部
２４ 情報取得部
２５ 合成部
２６ 表示制御部
２７ 情報送信部
２８ 情報記憶部
３０ 表示装置
４０ 情報管理サーバ
４１ 情報管理部
４２ 情報記憶部
４３ 通信部
９０ 情報取得装置
９１ 指示部
【特許請求の範囲】
【請求項１】
被写体に関連する情報を、表示装置に表示させる情報取得装置であって、
自装置の位置を継続的に検出する位置検出部と、
撮影方向を継続的に検出する方向検出部と、
前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす位置特定部と、
前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する情報取得部と、
前記情報取得部により取得された情報を、前記表示装置に表示させる表示制御部とを備えることを特徴とする情報取得装置。
【請求項２】
前記位置特定部は、
複数の異なる時点における、自装置の位置と撮影方向とにより求められる複数の撮影領域において、重複する部分を、継続的に撮影されている位置として特定することを特徴とする請求項１に記載の情報取得装置。
【請求項３】
前記情報取得部は、
被写体が有るものとみなされた位置に関連付けて記録されている、過去に撮影された画像のデータを取得し、
前記表示制御部は、
前記情報取得部により取得された画像のデータにより再生される画像を、前記表示装置に表示させることを特徴とする請求項２に記載の情報取得装置。
【請求項４】
当該情報取得装置は、さらに、
動画又は静止画を撮像する撮像装置と、
前記撮像装置により撮像された動画又は静止画に、前記情報取得部により取得された画像のデータにより再生される画像を合成する合成部とを備え、
前記表示制御部は、
合成部により画像が合成された動画又は静止画を、前記表示装置に表示させることを特徴とする請求項３に記載の情報取得装置。
【請求項５】
前記情報取得部は、さらに、
過去に撮影された画像のデータを取得する際に、各々の画像が撮影されたときの撮影方向を示す情報を取得し、
前記方向検出部は、
前記撮像装置により撮像された合成すべき動画又は静止画の撮影方向を継続的に検出し、
前記合成部は、
前記情報取得部により取得された各々の画像が撮影されたときの撮影方向を示す情報に基づいて、前記情報取得部により取得された画像のデータの中で、前記方向検出部によって継続的に検出された合成すべき動画又は静止画と、撮影方向が最も近似する画像のデータを選択して、合成することを特徴とする請求項４に記載の情報取得装置。
【請求項６】
当該情報取得装置は、さらに、
動画又は静止画を撮像する撮像装置と、
前記撮像装置により撮像された動画又は静止画の情報に、前記位置特定部により被写体が有るものとみなされた位置を関連付けて、外部の管理サーバへ向けて送信する情報送信部とを備えることを特徴とする請求項３に記載の情報取得装置。
【請求項７】
前紀情報送信部は、さらに、
前記撮像装置により撮像された動画又は静止画の情報に、前記方向検出部によって検出される、各々が撮影されたときの撮影方向を示す情報を関連付けて送信することを特徴とする請求項６に記載の情報取得装置。
【請求項８】
前記情報取得部は、さらに、
過去に撮影された画像のデータを取得する際に、当該画像が撮影されたときの撮影地点を示す地点情報と撮影方向を示す方向情報とを取得し、
当該情報取得装置は、さらに、
前記情報取得部により取得された地点情報により示される撮影地点と、前記位置検出部により検出される現在の自装置の位置との差分、及び前記情報取得部により取得された方向情報により示される撮影方向と前記方向検出部により検出される現在の自装置の撮影方向との差分に基づいて、前記情報取得部により取得された過去に撮影された画像と、同じアングルの撮影ができるように、利用者に対して撮影地点と撮影方向とを指示する指示部を備えることを特徴とする請求項１〜７の何れか１項に記載の情報取得装置。
【請求項９】
表示装置と、被写体を撮像する撮像装置と、当該被写体に関連する情報を所得して、当該表示装置に表示させる情報取得装置とから構成される情報取得機能付き撮影機器であって、
前記撮像装置は、動画又は静止画を撮像し、
前記情報取得装置は、
自装置の位置を継続的に検出する位置検出部と、
撮影方向を継続的に検出する方向検出部と、
前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす位置特定部と、
前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する情報取得部と、
前記撮像装置により撮像された動画又は静止画に、前記情報取得部により取得された画像や情報を合成する合成部と、
前記合成部により合成された動画又は静止画を、前記表示装置に表示させる表示制御部とを備えることを特徴とする情報取得機能付き撮影機器。
【請求項１０】
被写体に関連する情報を、表示装置に表示させる情報取得装置に用いられる情報取得用集積回路であって、
前記情報取得装置は
自装置の位置を継続的に検出する位置検出部と、
撮影方向を継続的に検出する方向検出部とを備え、
当該情報取得用集積回路は、
前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす位置特定部と、
前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する情報取得部と、
前記情報取得部により取得された情報を、前記表示装置に表示させる表示制御部とを備えることを特徴とする情報取得用集積回路。
【請求項１１】
表示装置と、被写体を撮像する撮像装置と、過去に撮影された当該被写体の画像を、当該表示装置に表示させる情報取得装置と、撮影された時の位置に関連付けて記録されている被写体毎の画像を管理する管理サーバとからなる画像表示システムであって、
前記撮像装置は、動画又は静止画を撮像し、
前記情報取得装置は、
自装置の位置を継続的に検出する位置検出部と、
撮影方向を継続的に検出する方向検出部と、
前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす位置特定部と、
前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている、過去に撮影された画像のデータを取得する情報取得部と、
前記撮像装置により撮像された動画又は静止画に、前記情報取得部により取得された画像のデータにより再生される画像を合成する合成部と、
前記合成部により合成された動画又は静止画を、前記表示装置に表示させる表示制御部と、
前記撮像装置により撮像された動画又は静止画の情報に、前記位置特定部により被写体が有るものとみなされた位置を関連付けて、外部の管理サーバへ向けて送信する情報送信部とを備え、
前紀管理サーバは、
前記情報取得装置における前記情報取得部による要求を受けて、要求された位置に関連付けて記録されている画像情報の有無を判断し、有る場合には、前記情報取得装置へ向けて送信し、前記情報取得装置における前記情報送信部から送信される情報を記憶し管理することを特徴とする画像表示システム。
【請求項１２】
被写体に関連する情報を、表示装置に表示させる情報取得装置における情報取得プログラムであって、
前記情報取得装置に、
自装置の位置を継続的に検出する位置検出ステップと、
撮影方向を継続的に検出する方向検出ステップと、
前記位置検出ステップによって継続的に検出される自装置の位置と、前記方向検出ステップによって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす位置特定ステップと、
前記位置特定ステップにより被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する情報取得ステップと、
前記情報取得ステップにより取得された情報を、前記表示装置に表示させる表示制御ステップとを実行させることを特徴とする情報取得プログラム。
【請求項１３】
被写体に関連する情報を、表示装置に表示させる情報取得方法であって、
自装置の位置を継続的に検出する位置検出ステップと、
撮影方向を継続的に検出する方向検出ステップと、
前記位置検出ステップによって継続的に検出される自装置の位置と、前記方向検出ステップによって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす位置特定ステップと、
前記位置特定ステップにより被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する情報取得ステップと、
前記情報取得ステップにより取得された情報を、前記表示装置に表示させる表示制御ステップとを含むことを特徴とする情報取得方法。
【請求項１】
被写体に関連する情報を、表示装置に表示させる情報取得装置であって、
自装置の位置を継続的に検出する位置検出部と、
撮影方向を継続的に検出する方向検出部と、
前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす位置特定部と、
前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する情報取得部と、
前記情報取得部により取得された情報を、前記表示装置に表示させる表示制御部とを備えることを特徴とする情報取得装置。
【請求項２】
前記位置特定部は、
複数の異なる時点における、自装置の位置と撮影方向とにより求められる複数の撮影領域において、重複する部分を、継続的に撮影されている位置として特定することを特徴とする請求項１に記載の情報取得装置。
【請求項３】
前記情報取得部は、
被写体が有るものとみなされた位置に関連付けて記録されている、過去に撮影された画像のデータを取得し、
前記表示制御部は、
前記情報取得部により取得された画像のデータにより再生される画像を、前記表示装置に表示させることを特徴とする請求項２に記載の情報取得装置。
【請求項４】
当該情報取得装置は、さらに、
動画又は静止画を撮像する撮像装置と、
前記撮像装置により撮像された動画又は静止画に、前記情報取得部により取得された画像のデータにより再生される画像を合成する合成部とを備え、
前記表示制御部は、
合成部により画像が合成された動画又は静止画を、前記表示装置に表示させることを特徴とする請求項３に記載の情報取得装置。
【請求項５】
前記情報取得部は、さらに、
過去に撮影された画像のデータを取得する際に、各々の画像が撮影されたときの撮影方向を示す情報を取得し、
前記方向検出部は、
前記撮像装置により撮像された合成すべき動画又は静止画の撮影方向を継続的に検出し、
前記合成部は、
前記情報取得部により取得された各々の画像が撮影されたときの撮影方向を示す情報に基づいて、前記情報取得部により取得された画像のデータの中で、前記方向検出部によって継続的に検出された合成すべき動画又は静止画と、撮影方向が最も近似する画像のデータを選択して、合成することを特徴とする請求項４に記載の情報取得装置。
【請求項６】
当該情報取得装置は、さらに、
動画又は静止画を撮像する撮像装置と、
前記撮像装置により撮像された動画又は静止画の情報に、前記位置特定部により被写体が有るものとみなされた位置を関連付けて、外部の管理サーバへ向けて送信する情報送信部とを備えることを特徴とする請求項３に記載の情報取得装置。
【請求項７】
前紀情報送信部は、さらに、
前記撮像装置により撮像された動画又は静止画の情報に、前記方向検出部によって検出される、各々が撮影されたときの撮影方向を示す情報を関連付けて送信することを特徴とする請求項６に記載の情報取得装置。
【請求項８】
前記情報取得部は、さらに、
過去に撮影された画像のデータを取得する際に、当該画像が撮影されたときの撮影地点を示す地点情報と撮影方向を示す方向情報とを取得し、
当該情報取得装置は、さらに、
前記情報取得部により取得された地点情報により示される撮影地点と、前記位置検出部により検出される現在の自装置の位置との差分、及び前記情報取得部により取得された方向情報により示される撮影方向と前記方向検出部により検出される現在の自装置の撮影方向との差分に基づいて、前記情報取得部により取得された過去に撮影された画像と、同じアングルの撮影ができるように、利用者に対して撮影地点と撮影方向とを指示する指示部を備えることを特徴とする請求項１〜７の何れか１項に記載の情報取得装置。
【請求項９】
表示装置と、被写体を撮像する撮像装置と、当該被写体に関連する情報を所得して、当該表示装置に表示させる情報取得装置とから構成される情報取得機能付き撮影機器であって、
前記撮像装置は、動画又は静止画を撮像し、
前記情報取得装置は、
自装置の位置を継続的に検出する位置検出部と、
撮影方向を継続的に検出する方向検出部と、
前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす位置特定部と、
前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する情報取得部と、
前記撮像装置により撮像された動画又は静止画に、前記情報取得部により取得された画像や情報を合成する合成部と、
前記合成部により合成された動画又は静止画を、前記表示装置に表示させる表示制御部とを備えることを特徴とする情報取得機能付き撮影機器。
【請求項１０】
被写体に関連する情報を、表示装置に表示させる情報取得装置に用いられる情報取得用集積回路であって、
前記情報取得装置は
自装置の位置を継続的に検出する位置検出部と、
撮影方向を継続的に検出する方向検出部とを備え、
当該情報取得用集積回路は、
前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす位置特定部と、
前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する情報取得部と、
前記情報取得部により取得された情報を、前記表示装置に表示させる表示制御部とを備えることを特徴とする情報取得用集積回路。
【請求項１１】
表示装置と、被写体を撮像する撮像装置と、過去に撮影された当該被写体の画像を、当該表示装置に表示させる情報取得装置と、撮影された時の位置に関連付けて記録されている被写体毎の画像を管理する管理サーバとからなる画像表示システムであって、
前記撮像装置は、動画又は静止画を撮像し、
前記情報取得装置は、
自装置の位置を継続的に検出する位置検出部と、
撮影方向を継続的に検出する方向検出部と、
前記位置検出部によって継続的に検出される自装置の位置と、前記方向検出部によって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす位置特定部と、
前記位置特定部により被写体が有るものとみなされた位置に関連付けて記録されている、過去に撮影された画像のデータを取得する情報取得部と、
前記撮像装置により撮像された動画又は静止画に、前記情報取得部により取得された画像のデータにより再生される画像を合成する合成部と、
前記合成部により合成された動画又は静止画を、前記表示装置に表示させる表示制御部と、
前記撮像装置により撮像された動画又は静止画の情報に、前記位置特定部により被写体が有るものとみなされた位置を関連付けて、外部の管理サーバへ向けて送信する情報送信部とを備え、
前紀管理サーバは、
前記情報取得装置における前記情報取得部による要求を受けて、要求された位置に関連付けて記録されている画像情報の有無を判断し、有る場合には、前記情報取得装置へ向けて送信し、前記情報取得装置における前記情報送信部から送信される情報を記憶し管理することを特徴とする画像表示システム。
【請求項１２】
被写体に関連する情報を、表示装置に表示させる情報取得装置における情報取得プログラムであって、
前記情報取得装置に、
自装置の位置を継続的に検出する位置検出ステップと、
撮影方向を継続的に検出する方向検出ステップと、
前記位置検出ステップによって継続的に検出される自装置の位置と、前記方向検出ステップによって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす位置特定ステップと、
前記位置特定ステップにより被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する情報取得ステップと、
前記情報取得ステップにより取得された情報を、前記表示装置に表示させる表示制御ステップとを実行させることを特徴とする情報取得プログラム。
【請求項１３】
被写体に関連する情報を、表示装置に表示させる情報取得方法であって、
自装置の位置を継続的に検出する位置検出ステップと、
撮影方向を継続的に検出する方向検出ステップと、
前記位置検出ステップによって継続的に検出される自装置の位置と、前記方向検出ステップによって継続的に検出される撮影方向とに基づいて、継続的に撮影されている位置を特定し、当該位置に被写体が有るものとみなす位置特定ステップと、
前記位置特定ステップにより被写体が有るものとみなされた位置に関連付けて記録されている情報を取得する情報取得ステップと、
前記情報取得ステップにより取得された情報を、前記表示装置に表示させる表示制御ステップとを含むことを特徴とする情報取得方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−８０４０３（Ｐ２０１２−８０４０３Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２４９７７（Ｐ２０１０−２２４９７７）
【出願日】平成２２年１０月４日（２０１０．１０．４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月４日（２０１０．１０．４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]