情報端末、データ管理方法、関連付け定義データ、およびプログラム
【課題】 画像において指定された位置（表示された画像における座標位置）を表す位置情報によって、当該画像と他のデータを関連付けるよう管理する情報端末を提供する。
【解決手段】 指定情報取得部２１は、ユーザが、タッチスクリーン上に表示された画像（リンク元の画像）に対して、タップ等で特定位置を指定する操作（位置指定操作）を行った場合に、指定された位置を位置情報として取得する。その後、リンク制御部２５は、リンク元の画像データを特定するための情報、位置情報、およびユーザが新たに撮影した画像データを特定するための情報を含むリンク情報３２を生成し、記憶装置３０に記憶する。また、ユーザが方向指定操作を行った場合は、位置情報で指定される位置からの方向を示す方向情報もリンク情報３２に含まれる。
【解決手段】 指定情報取得部２１は、ユーザが、タッチスクリーン上に表示された画像（リンク元の画像）に対して、タップ等で特定位置を指定する操作（位置指定操作）を行った場合に、指定された位置を位置情報として取得する。その後、リンク制御部２５は、リンク元の画像データを特定するための情報、位置情報、およびユーザが新たに撮影した画像データを特定するための情報を含むリンク情報３２を生成し、記憶装置３０に記憶する。また、ユーザが方向指定操作を行った場合は、位置情報で指定される位置からの方向を示す方向情報もリンク情報３２に含まれる。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像データを他のデータと関連付けて管理し、表示するための情報端末に関する。
【背景技術】
【０００２】
近年の電子機器の高性能化や記憶装置の大容量化もあって、カメラを使って高解像度の画像を大量に撮影し、記憶しておくことが以前にも増して容易になってきている。また、現在では、スマートフォン、ＰＤＡ、携帯電話など、ユーザが携帯する情報端末のほとんどに高性能カメラが搭載され、どこにいても高解像度の画像を撮影することができる。このように、どこでも容易に取得できる高解像度の画像データは、個人だけでなく、多くの企業で活用されている。
【０００３】
また、このような画像は、１つ１つ単独で撮影されることもあるが、他の画像や他の種類のデータとの間で、何らかの関係性を有していることが多い。たとえば、同じ被写体をカメラの設定を変えて撮った写真や、旅先で時系列に撮った写真などは、そのような意味で共通性を有しており、互いに関連していると言える。
【０００４】
こうした互いに関連する写真は、これまでは、画像が撮影された日付、時間、解像度、撮影機器等を判断し、それらの共通性や類似度によって、グルーピングされることが多かった。また、それぞれの画像にコメントを付与し、そのキーワードに基づいていくつかのグループに分類することも可能である。
【０００５】
また、画像が撮影された経度と緯度を示す絶対的な位置情報をＧＰＳによって取得し、この位置情報をそれぞれの画像に付加することで、画像同士の関連性（すなわち、撮影場所が同じか異なるか、近いか遠いかなど）や、地図画像に配置する場合の位置関係を把握することもできる。
【０００６】
上述したような画像の管理を行う画像情報管理システムが、特許文献１に開示されている。このシステムでは、画像データが、その撮影位置および撮影対象位置とともに記憶され、撮影位置または撮影対象位置のいずれかに配置された画像データの表示要求があったときに、対応する画像データを取得し、位置情報が所定領域内にある画像データ群を１つの画像データ群マーカとして表示する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−９３２９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、これまでの方法や特許文献１のようなシステムでは、画像データの特性や画像の撮影場所（すなわち、絶対的な位置）等を管理して、これらの情報が同一あるいは近似する画像データを同一グループのものとして把握するにすぎず、画像において指定された位置での表示内容や意味、および当該画像における方向を媒体として、その画像を他のデータと結びつけるという発想は今までにないものである。
【０００９】
また、上記のような新たな発想は、近年普及が著しいスマートフォンやＰＤＡを用いて行うと一層効果的である。これらの情報端末は、比較的大きな表示装置、および高解像度のカメラを有しており、リンク元の画像を表示させた状態で表示内容の位置や方向を指定し、その時点でカメラによってリンク先の画像を撮影することにより、２つの画像を極めて容易に関連付けることができる。しかし、このような機能を有する情報端末はいままで提案されていない。
【００１０】
また、スマートフォンやＰＤＡの表示装置が、入力装置を兼ねたタッチスクリーンである場合は、より豊かなＧＵＩ機能を使用することができ、このような情報端末を用いることによって、リンク元の画像を表示させた状態での表示内容の位置や方向の指定が、より容易に行える。しかし、こうしたタッチスクリーンの特徴を活かした有利な情報端末はいままで提案されていない。
【００１１】
さらに、これまで画像同士の関連付けは、１つの画像に複数の画像を関連付けたり（１対ｎの対応パターン）、画像データの特性が近似するものをいくつかのグループに分類したりするということが一般的である。たとえば、１対ｎの対応パターンとしては、地図画像に対して、ＧＰＳデータが付加された複数の風景画像が関連付けられるといったものがある。
【００１２】
しかし、上述のように、画像において指定された位置での表示内容や意味、および当該画像における方向に基づいて、その画像を他のデータと関連付けるという発想に立てば、画像１の表示内容のある箇所について画像２が関連付けられ、さらに画像２の表示内容のある箇所について画像３が関連付けられるといったような、複数画像が順次関連付けられるようなパターンも成り立ち、また、最終的にループ状のリンクとなって、画像３が画像１に関連付けられるというパターンも考えられる。このような関連付けの構造は、いままで考えられていなかった。
【００１３】
また、この新しい発想に基づけば、地図画像をリンク元の画像として、指定した表示内容（住所）にそれぞれ画像を関連付けることによって、ＧＰＳデータを用いなくても、地図画像に複数の風景画像を関連付けることもできる。ＧＰＳデータを取得するにはＧＰＳ機能を備えたカメラが必須であり、カメラがＧＰＳ機能を備えるものであっても、ビルの中や地下など、ＧＰＳ衛星と通信が出来ずに、位置情報を取得できない場合がある。また、ＧＰＳで得られる位置情報の精度には限界があり、数ｃｍや数十ｃｍといった精度で位置情報を得ることは出来ない。このように、実際にＧＰＳを用いる場合の問題点を考えれば、ＧＰＳデータを用いずにそれぞれの画像を関連付けることができるメリットは大きい。
【００１４】
したがって、本発明の目的は、画像において指定された位置（表示された画像における座標位置）を表す位置情報によって、当該画像と他のデータを関連付けるよう管理する情報端末を提供することにある。
【００１５】
また、本発明のさらなる目的は、上記位置情報と、画像において指定された方向（表示された画像における座標位置からの方向）を表す方向情報によって、当該画像と他のデータを関連付けるよう管理する情報端末を提供することにある。
【００１６】
また、本発明の目的は、リンク元の画像を表示させた状態で表示内容の位置や方向を指定し、そこでカメラによってリンク先の画像を撮影することにより、２つの画像を関連付けることができる情報端末を提供することにある。また、タッチスクリーンを採用すれば、リンク元の画像を表示させた状態での表示内容の位置や方向の指定がより容易に行える。
【００１７】
また、本発明の目的は、画像において指定された位置情報を媒体として他のデータと関連付けることにより、３以上の複数画像が順次関連付けられ、または３以上の複数画像がループ状に関連付けられることが可能な情報端末を提供することにある。
【課題を解決するための手段】
【００１８】
本発明の第１の実施態様は、画像を表示する表示手段と、ユーザが表示手段に表示されている第１画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得手段と、ユーザによる指定操作の後で、表示手段に、第２画像を撮影するための撮影画面を表示させる撮影画面制御手段と、撮影画面におけるユーザの第２画像撮影操作に応じて、撮像手段で第２画像データを取得するよう制御する撮影制御手段と、第１画像を表示するための第１画像データおよび第２画像データを、指定情報に基づいて関連付けるためのリンク情報を生成し記憶するリンク制御手段を有する情報端末であり、ここで、指定情報取得手段は、ユーザが第１画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得するように構成される。
【００１９】
本発明に係る情報端末のこのような構成によって、画像において指定された位置（表示された画像における座標位置）を表す位置情報によって、画像データ同士を簡単な操作で関連付けることができる。
【００２０】
本発明の第２の実施態様は、上記第１の実施態様において、指定情報取得手段が、位置指定操作後に、方向指定モードに遷移するよう制御し、ユーザが、方向指定モードで、指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、位置情報に加えて、ユーザが指定した方向を表す方向情報を取得するように構成される。
【００２１】
本発明に係る情報端末のこのような構成によって、たとえば、表示装置がタッチスクリーンで構成されるような場合に、ユーザによるタッチスクリーンへの所定操作の後（たとえば、タッチスクリーンにタッチした後）、方向指定モードに遷移するよう制御される。また、方向指定操作は、方向指定モードにおいて、タッチスクリーンへの所定の操作（たとえば、ユーザの指を最初のタッチ位置からタッチスクリーン上でドラッグさせた後ドロップするといった一連の操作）により行われる。
【００２２】
本発明の第３の実施態様は、上記第２の実施態様において、指定情報取得手段が、方向指定モードに遷移した場合に、表示装置上で、指定位置を表す位置マーカを表示し、ユーザの方向指定操作をガイドするためのガイド情報を表示し、少なくともガイド情報の一部は、指定位置マーカからユーザが方向指定操作において指定する位置に向かって延び、ユーザが指定する位置に追従して指定方向を指すガイド情報であるように構成される。
【００２３】
本発明の第４の実施態様は、画像を表示する表示手段と、ユーザが表示手段に表示されている画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得手段と、ユーザによる指定操作の後で、表示手段に、データを指定するためのデータ指定画面を表示させるデータ指定画面制御手段と、表示手段に画像を表示するための画像データおよびデータ指定画面で指定されたデータを、指定情報に基づいて関連付けるためのリンク情報を生成し記憶するリンク制御手段を有する情報端末であり、ここで、指定情報取得手段は、ユーザが画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得するように構成される。
【００２４】
本発明に係る情報端末のこのような構成によって、画像において指定された位置（表示された画像における座標位置）を表す位置情報によって、画像データと既存のデータを簡単な操作で関連付けることができる。
【００２５】
本発明の第５の実施態様は、上記第４の実施態様において、指定情報取得手段が、位置指定操作後に、方向指定モードに遷移するよう制御し、ユーザが、方向指定モードで、指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、位置情報に加えて、ユーザが指定した方向を表す方向情報を取得するように構成される。また、さらに、指定情報取得手段が、方向指定モードに遷移した場合に、タッチスクリーン上で、指定位置を表す位置マーカを表示し、ユーザのタッチが終了するまで、タッチスクリーン上で、ユーザの方向指定操作をガイドするためのガイド情報を表示し、少なくともガイド情報の一部は、指定位置マーカからユーザのタッチ位置の方向に延び、タッチ位置に追従して指定方向を指すガイド情報であるように構成されうる。
【００２６】
本発明の第６の実施態様は、ユーザが、画像を表示する表示手段に表示されている第１画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得ステップと、ユーザによる指定操作の後で、表示手段に、第２画像を撮影するための撮影画面を表示させる撮影画面制御ステップと、撮影画面におけるユーザの第２画像撮影操作に応じて、撮像手段で第２画像データを取得するよう制御する撮影制御ステップと、第１画像を表示するための第１画像データ、指定情報、および第２画像データを関連付けるためのリンク情報を生成し記憶するリンク制御ステップを有し、指定情報取得ステップは、ユーザが第１画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得するように構成されるデータ管理方法である。
【００２７】
本発明の第７の実施態様は、上記第６の実施態様において、指定情報取得ステップが、位置指定操作後に、方向指定モードに遷移するよう制御し、ユーザが、方向指定モードで、指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、位置情報に加えて、ユーザが指定した方向を表す方向情報を取得するように構成される。
【００２８】
本発明の第８の実施態様は、リンク元データを特定するための情報と、リンク元データに関する指定情報に基づいて、リンク元データに関連付けられるリンク先データを特定するための情報と、リンク先データに対応付けされたリンク元データおよび指定情報、またはリンク元データに対応付けされたリンク先データおよび指定情報を含み、指定情報は、少なくともリンク元データを表示装置に表示した場合の特定の位置を表す位置情報を含むように構成される関連付け定義データである。
【００２９】
本発明に係る関連付け定義データのこのような構成によって、画像において指定された位置（表示された画像における座標位置）を表す位置情報によって、画像データ同士を簡単な操作で関連付けることができる。
【００３０】
本発明の第９の実施態様は、上記第８の実施態様において、関連付けによりリンクされた一群のリンク元データおよびリンク先データのなかに、少なくとも２つのリンク元データ、または少なくとも２つのリンク先データが含まれるように構成される。
【００３１】
本発明の第１０の実施態様は、画像を表示する表示手段を備えた情報端末に、ユーザが表示手段に表示されている第１画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得手段、ユーザによる指定操作の後で、表示手段に、第２画像を撮影するための撮影画面を表示させる撮影画面制御手段、撮影画面におけるユーザの第２画像撮影操作に応じて、撮像手段で第２画像データを取得するよう制御する撮影制御手段、および、第１画像を表示するための第１画像データ、指定情報、および第２画像データを関連付けるためのリンク情報を生成し記憶するリンク制御手段として機能させるためのプログラムであり、ここで、指定情報取得手段は、ユーザが第１画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得するように構成される。
【００３２】
本発明の第１１の実施態様は、上記第１０の実施態様において、指定情報取得手段が、位置指定操作後に、方向指定モードに遷移するよう制御し、ユーザが、方向指定モードで、指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、位置情報に加えて、ユーザが指定した方向を表す方向情報を取得するように構成される。
【発明の効果】
【００３３】
本発明に係る情報端末によって、画像と他のデータとの関連付けが、指定された位置情報や方向情報を介して行われ、様々な視点で画像と他のデータの関連付けを容易に行うことができる。本発明に係る情報端末では、少なくとも画像の表示内容の位置が指定されることにより、画像に表される被写体の部分が特定され、この被写体の部分を介して当該画像と他のデータが関連付けされる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る情報端末における画像の関連付けの概念を示す略線図である。
【図２】本発明に係る情報端末における画像の関連付けの概念を示す略線図および本発明の一実施形態に係る情報端末に記憶されるリンクデータの例を示す略線図である。
【図３】本発明の一実施形態に係る情報端末の機能ブロック図である。
【図４】本発明の一実施形態に係る情報端末の例を示す略線図である。
【図５】本発明の一実施形態に係る情報端末において画像の関連付けを行う場合の画面遷移の例を示す略線図である。
【図６】本発明の一実施形態に係る情報端末において画像の関連付けを行う場合の画面遷移の例を示す略線図である。
【図７】本発明の一実施形態に係る情報端末において関連付けされた画像の表示を行う場合の画面遷移の例を示す略線図である。
【図８】本発明の一実施形態に係る情報端末において画像の関連付けを行う場合の処理フローを示すフローチャートである。
【図９】本発明の一実施形態に係る情報端末において関連付けされた画像の表示を行う場合の処理フローを示すフローチャートである。
【図１０】本発明に係る情報端末（コンピュータ）のハードウエア構成の例を示す略線図である。
【発明を実施するための形態】
【００３５】
本発明の一実施形態に係る情報端末は、画像と他のデータを、表示された当該画像の位置情報やその位置を基準とした方向情報とともに関連付けて記憶し表示する。また、タッチスクリーンを備えたスマートフォンやＰＤＡのような機器を用いることによってより効果的に活用できる。
【００３６】
最初に、本発明における画像の関連付けの概念を、図１および図２Ａを参照して説明する。本発明の情報端末では、基本的に、複数の画像データの関連付けが行われる。画像以外のデータを関連付けることも可能であるが、ここでは、画像データについて説明する。
【００３７】
図１Ａに示す矢印は、リンク元からリンク先への関連付けが行われていることを示している。したがって、この例では、画像１１が、画像１２と画像１３に関連付けられ、画像１２が画像１４に関連付けられている。より詳細には、画像１１は、表示された画像１１の座標点（ｘ１，ｙ１）が指定され、この位置情報に基づいて、画像１２に関連付けられている。また、画像１１は、表示された画像１１に関する位置情報である座標点（ｘ２、ｙ２）と、この位置における方向情報である向き（θ１）に基づいて、画像１３とも関連付けられている。さらに、画像１２はさらに、表示された画像１２の座標点（ｘ３，ｙ３）に基づいて、画像１４に関連付けられている。
【００３８】
ここで、位置情報は、上述のように、表示された画像の１点の座標を示しているが、１次元あるいは２次元の範囲であってもよい。また、画像は静止画のみならず動画をも含む概念であるが、動画における位置情報は、時間軸における点（すなわち一時点）または範囲（すなわち期間）を特定したうえでの位置情報となる。
【００３９】
また、上述したように、リンク元またはリンク先のデータとして、画像データの代わりに、音声データやテキストデータを含むさまざまなデータを用いることができる。リンク元が音声データである場合は、たとえば、音声データをなんらかの方法で可視化（たとえば、既知の方法で波形や幾何学模様を表示）したうえで、表示された画像の１点または範囲を位置情報として指定しうる。一方、リンク元がテキストデータである場合は、たとえば、表示された文字の１文字または複数の文字を含んだ範囲を位置情報として指定することができる。
【００４０】
図１Ｂには、画像の関連付けによってリンクされた一群のデータが、２パターン示されている。第１パターンの画像群Ａ１ないしＡ７は、後述の第２パターンに対して関連付け方向の制限を与えて、木構造としたものである。このパターンでは、ループ状の関連付けや、２つ以上のリンク元からの関連付けが禁止されている。たとえば、ネットオークションで出品する商品全体を遠景で撮影し、次に、商品の各部分を複数、近景で撮影する。このようにして得られた画像は、２番目以降の画像が、最初の画像に写った商品の各部をより詳細に表しており、最初の画像の各部に対応する画像上の位置に２番目以降の画像がそれぞれ関係付けられる。
【００４１】
第２パターンの画像群Ｂ１ないしＢ７は、どのような方向にも関連付けが可能な、いわば有向グラフの構造といえるものである。たとえば、画像Ｂ１ないし画像Ｂ３は、ループ状に関連付けが行われている。また、画像Ｂ３は、画像Ｂ１と画像Ｂ２の２つのリンク元から関連付けがされている。
【００４２】
上記第２パターンの例として、図２Ａに示すような、間取図とそれに関連した現場写真を考えることができる。たとえば、図２Ａの間取図が示す建物について、まず、各部屋の出入り口（ドアや引き戸など）を写し込んだ写真を、間取図の対応する場所（たとえば撮影場所）に関連付け、次に、「各写真の出入り口にマーカを設け、これに当該出入り口の向こう側の部屋の写真を関連付ける」というルールで各部屋の写真同士を関連付けると、全体の関連付けは図２Ａのようになり、この関連付けの方向に従えば、実際にその建物の中を移動する感覚で各写真を見ることができる。
【００４３】
たとえば、玄関から主寝室に向かうルートを確認する場合は、「玄関→リビング→主寝室」や「玄関→ホール→主寝室」などの複数のルートがあり、このとき、１つの画像（主寝室の写真）が、２つの別の画像からリンクされることになる。また、「リビング→ホール→主寝室→リビング→・・・」のように、間取り上、循環した移動が可能な場合があり、このとき、複数の画像がループ状にリンクされることになる。
【００４４】
次に、図２Ｂを参照して、データ同士の関連付けを定義するデータであるリンク情報３２の一例を説明する。リンク情報３２は、リンク元の画像データとリンク先のデータを関連付けるためのデータであり、リンク元の画像データとリンク先のデータを特定するための情報（たとえば、ファイル名などの識別子）と指定情報（位置情報が含まれ、方向指定操作をした場合は方向情報も含まれる）を含む。
【００４５】
図２Ｂの例では、これらの情報がＸＭＬファイルとして記憶されている。ファイル名は、リンク元の画像データのファイル名を含む「ＦＩＧ０１．ｘｍｌ」であり、当該ファイルが、リンク元の画像データに関連付けられている。Ｄａｔａタグにおいて、各データの情報が定義される。最初のＤａｔａタグでは、リンク元の画像データを識別するためのファイル名「ＦＩＧ０１．ｊｐｇ」とその内容を表す説明「会議室」が定義されている。
【００４６】
第２のＤａｔａタグには、リンク先のデータを識別するためのファイル名とその内容が定義されており、さらに、リンク元に関する情報がＬｉｎｋタグで定義されている。その内容は、リンク元のデータを特定する情報「ＦＩＧ０１．ｊｐｇ」と、位置情報「座標（ｘ１，ｙ１）」である。これは、リンク元の画像データ「ＦＩＧ０１．ｊｐｇ」の座標（ｘ１，ｙ１）に、リンク先の画像データ「ＦＩＧ０２．ｊｐｇ」が関連付けられていることを示している。
【００４７】
第３のＤａｔａタグには、２つめのリンク先のデータに関する情報が定義されている。すなわち、リンク元のデータを特定する情報「ＦＩＧ０１．ｊｐｇ」、位置情報「座標（ｘ２，ｙ２）」、および方向情報「方向（θ）」である。これは、リンク元の画像データ「ＦＩＧ０１．ｊｐｇ」の座標（ｘ２，ｙ２）からθ１の方向に、リンク先の画像データ「ＦＩＧ０３．ｊｐｇ」が関連付けられていることを示している。
【００４８】
図２Ｂに示したリンク情報３２の構造によって、１対ｎやｎ対１に関連付けられる場合や、３つ以上のデータがループ状に関連付けられる場合など、さまざまな関連付けについて定義することはできる。ただし、このような構造は一例に過ぎず、他の様々な方法で、上記のようなリンク元の画像データとリンク先のデータの関係性を定義することができる。また、この例では、リンク元の画像データに対してＸＭＬ形式の１つのファイルを割り当て、当該関係性を定義しているが、システム全体で１つのファイルとすることもできる。また、図２Ｂに示すような情報を２つ以上のファイルに分離して持たせるように構成することもできる。さらに、リンク元の画像データおよびリンク先のデータの一方または両方にリンク情報を組み込むように構成することもできる。
【００４９】
次に、図３の機能ブロック図を参照して、情報端末２０の各機能についての概要を説明する。情報端末２０は、ここでは、カメラを内蔵し、表示装置であり入力装置でもあるタッチスクリーンを備えたスマートフォンであるものとして説明する。情報端末２０は、指定情報取得部２１、撮影画面制御部２２、データ指定画面制御部２３、撮影制御部２４、リンク制御部２５、および入出力制御部２６の各機能部と、静止画および動画を撮影可能なカメラ（撮像装置）５０を備える。さらに、情報端末２０は、フラッシュメモリ等からなる記憶装置３０を備え、ここには、データ３１とリンク情報３２が記憶され、データ３１には、画像データ３１ａと画像データ以外のその他のデータ３１ｂが記憶される。
【００５０】
指定情報取得部２１は、ユーザが画像データを指定すると、その画像データにアクセスして、対応する画像を表示する画面（画像表示画面）を表示装置上に表示する。ユーザが、画像表示画面に表示された画像（リンク元の画像）に対して位置または方向の指定をした場合には、その指定内容を表す指定情報を取得する。たとえば、特定の位置を指定する操作（位置指定操作）を行った場合、指定された位置を表す位置情報を指定情報として取得する。ユーザの指定は、この例では、タッチスクリーンに画像が表示された後、指やスタイラス等を用いてタッチスクリーンに対して行われる。こうした画像の表示出力およびユーザによる入力は、後述する入出力制御部２６の制御を介して行われる。
【００５１】
ユーザは、たとえば、指でタッチスクリーンをタッチすることによって、画像の特定の位置を指定することができ、その位置の座標が指定情報取得部２１によって取得される。座標の表現としては、ピクセルの絶対値や相対値などを用いることができる。たとえば、表示される画像が８００×６００ピクセルの画像データからなる場合、指定された位置をピクセル単位のｘｙ座標で（５００，３００）と表現できる。また、相対値を用いれば、同じｘｙ座標は（０．６２５，０．５）と表現される。相対値による座標は、画像の表示を拡大または縮小した場合に、座標の数値を変換する必要がないというメリットがある。また、画像の位置が特定できる限り、座標の表現として他の様々な方法を用いることができる。
【００５２】
ユーザが指でタッチスクリーンをタッチすることにより位置指定操作が行われ、そのタッチ位置で指定された画像の特定の座標が、位置情報として指定情報取得部２１によって取得される。ユーザによる位置指定操作の後、タッチスクリーンにはリンク元の画像が表示されたまま方向指定モードに遷移する。方向指定モードでは、ユーザの操作をガイドするためのガイド情報が表示される。たとえば、ガイド情報として、位置指定操作による指定位置を中心として４方向にガイド矢印が表示される。また、指定位置からタッチスクリーンに触れたまま指を移動させる（ドラッグする）と、この動きに応じて、指定位置に対して現在指が触れている点がどの方向にあたるかを示すガイドスポットが表示される。
【００５３】
その後、ユーザが任意の位置でタッチスクリーンから指を離す（ドロップする）と、ここで方向を指定する操作（方向指定操作）が終了するとともに方向指定モードも終了する。指定情報取得部２１は、ユーザが指定位置からドラッグして他の位置にドロップをした場合、位置情報として取得された座標から、ドロップの位置までを結ぶ方向を表す方向情報を指定情報として取得する。方向情報は、上述のように、位置情報として取得された座標を起点とした方向を表すが、その角度θは、たとえば、表示されている画像のｘ軸に対する角度やｙ軸に対する角度など、様々な基準に基づいて設定可能である（図６Ｄ参照）。
【００５４】
このように、ユーザがタッチスクリーンにどのような態様でタッチするかによって、位置だけを指定するのか、位置と方向を指定するのかが決定される。そして、どちらの場合も、ユーザの指がタッチスクリーンを離れた場合に、指定情報取得部２１は、リンク先を選択させるリンク先選択メニューを表示する。リンク先選択メニューでは、後で図５および図６を参照して説明するが、新たにカメラで撮影した画像をリンク先とするか、既存のデータをライブラリから選択してリンク先とするかのどちらかを選ぶことができる。
【００５５】
撮影画面制御部２２は、ユーザが上記のリンク先選択メニューで、新たにカメラで撮影した画像をリンク先とすることを選んだ場合に、撮影制御部２４によってカメラ５０を起動し、カメラで撮影可能なファインダー画像（カメラレンズを通して得られるリアルタイム画像）をタッチスクリーンに表示する写真撮影モードの画面が表示される（図６Ｂ参照）。そこでユーザが撮影操作を行うと（すなわち、シャッターボタンにタッチすると）、撮影制御部２４による制御で、リンク先の画像が撮影されるとともに、リンク先の画像データが記憶装置３０に記憶される。また、このとき、リンク制御部２５でリンク情報３２が生成され、当該リンク情報が記憶装置３０に記憶される。リンク情報３２には、上述のように、リンク元の画像データとリンク先の画像データを特定するための識別子（たとえば、ファイル名）と指定情報（位置情報、ただし方向指定操作をした場合は方向情報も含まれる）が記憶される。
【００５６】
データ指定画面制御部２３は、ユーザが上記のリンク先選択メニューで、既存のデータをライブラリから選択してリンク先とすることを選んだ場合に、データ選択画面を表示し、所定のライブラリに記憶されているデータ一覧を表示する（不図示）。ここで、所望のデータを選択すると、これに基づいて、リンク制御部２５でリンク情報３２が生成され、リンク情報３２が記憶装置３０に記憶される。なお、ここでは、リンク先のデータは、画像データであるとは限らない。
【００５７】
入出力制御部２６は、情報端末２０の入力装置からユーザによる入力情報を取得し、この内容を関連する機能部に提供する。一方で、情報端末２０の表示装置に、各機能部から受信したデータを元に画像を表示する。この例で用いられるタッチスクリーン４１は、表示と入力が可能なデバイスであり、ここで入力デバイスに相当するのがタッチセンサー４１ｂである。タッチセンサー４１ｂは、表示デバイス（ＬＣＤパネル４１ａ）としても機能する液晶パネルの表面をユーザが指やスタイラス等でタッチした場合に、その位置を入力情報として入出力制御部２６に送信する。
【００５８】
本発明の情報端末２０は、スマートフォンのようなタッチスクリーンを備えた機器であることが好ましいが、それ以外の入出力デバイスを備えた機器であってもよい。たとえば、携帯電話機やデジタルカメラでは、図３の下部に示すように、携帯電話機・デジタルカメラ用デバイス４２を内蔵していることが多く、このデバイスは、ＬＣＤパネル４２ａが表示デバイスであり、ユーザの押下に応答して入力信号を送信するボタン４２ｂが入力デバイスである。また、パーソナルコンピュータにおいて多く見られるＰＣ用デバイス４３は、ＬＣＤモニタ４３ａが表示デバイスであり、ユーザの押下に応答して入力信号を送信するキーボード・マウス４３ｂが入力デバイスである。ＬＣＤモニタ４３ａやキーボード・マウス４３ｂは、ノート型パソコン等では本体に一体的に組み込まれることが多く、デスクトップパソコンの場合は、別の筐体として構成されケーブルで接続されることがある。
【００５９】
上記では、リンク元のデータが画像を表示するための画像データであることを前提として説明したが、音声データやテキストデータなど、他の様々なデータをリンク元として設定することができる。また、情報端末２０は、カメラを内蔵していることが望ましいが、本体にケーブル等で接続される形態であっても、撮影画面制御部２２および撮影制御部２４による制御が可能であれば、カメラを内蔵した情報端末２０と同様の処理が実現可能である。さらに、リンク先のデータが画像データではない場合や、新規に画像を撮影することがなければ、カメラは情報端末２０にとって必須の構成要素ではない。
【００６０】
次に、図４を参照して、本発明の一実施形態に係る情報端末２０の表示装置に示される画像表示画面１１０の例について説明する。なお、図４ないし図９は、情報端末２０としてスマートフォン７１が使用されている例である。また、図４ないし図９においては、画像データとして静止画のデータが用いられる例を示している。
【００６１】
図４に示されているスマートフォン７１は、情報を表示するためのＬＣＤパネル４１ａであり、ユーザ等の接触を検知するタッチセンサー４１ｂでもあるタッチスクリーン４１、スピーカ１０１、サブカメラ１０２、およびホームボタン１０３を備える。
【００６２】
図４に示されている画像表示画面１１０は、ユーザの指定した画像データにアクセスして、対応する画像を表示した画面であり、この画像に対してデータを関連付ける場合、ユーザは、この画面上で位置指定操作や方向指定操作などの指定操作を行う。また、この画像に関連付けられているデータを順次表示させる場合、ユーザは、画面上に表示された位置マーカをタップして関連付けられている別のデータを表示させる。
【００６３】
表示領域であるタッチスクリーン４１上に示された画像表示画面１１０には、最上部にステータスバー１０４、その下にナビゲーションバー１１１、さらにその下に画像表示部１１２、最下部にボタン等表示部１１５が表示されている。
【００６４】
ステータスバー１０４には、受信感度、現在時刻、バッテリー残量が表示され、ナビゲーションバー１１１には、メニューボタン、画像の説明（または画像データのファイル名）、トップ移動ボタンが表示されている。画像表示部１１２には、指定された画像データに基づいて所定のサイズ（解像度）に調整された画像が表示されている。ボタン等表示部１１５には、タップにより当該アプリケーションに関する情報の表示を行うインフォメーションアイコンが表示されている。
【００６５】
また、この例では、画像にオーバーラップして、位置を表す位置マーカ５０ａと位置マーカ５０ｂが示されており、さらに方向を表す方向マーカ５２ｂが位置マーカ５０ｂに近接して表示されている。位置マーカは、ここでは、カメラ形状を含む円形のデザインであり、このデザインによって、関連付けされている画像が静止画であることが表されている。
【００６６】
次に、図５および図６を参照して、本発明の一実施形態に係る情報端末２０において、ユーザが指定した画像データ（リンク元の画像データ）に、新規に撮影した画像データ（リンク先の画像データ）を関連付ける操作について説明する。なお、図５および図６では、情報端末２０としてスマートフォン７１が使用された場合の画面遷移の例が示されている。また、各画面については、情報端末２０のタッチスクリーン４１の部分だけを表示する。
【００６７】
ユーザがアプリケーションを起動し、メニュー画面（不図示）で「リンク元データをライブラリから選択」ボタンをタップすると、図５Ａに示すデータ選択画面１００が表示され、ユーザはそこで、サムネイルをタップし、リンク元となる所望のデータを選択する。なお、この例では、画像データが選択される。また、リンク元となる画像としては、ライブラリから選択するだけでなく、その場で、カメラにより新規に撮影した画像を用いることもできる。
【００６８】
ユーザにより画像データが選択されると、図５Ｂに示す画像表示画面１１０が表示され、選択した画像データに基づく画像がタッチスクリーンの画像表示部１１２に表示される。ここでは、間取図の画像が表示され、すでに設定済みの位置マーカ５０ｃが配置されている。これは、現在表示されている画像が、位置マーカ５０ｃの位置で画像に関連付けられていることを示すものである。ここでユーザが、表示されている画像の所望の位置を指でタッチして位置指定操作を行うと、図５Ｃに示すように、当該位置指定操作による位置マーカ５０ｄが、指定した位置で、表示された画像にオーバーラップして表示される。
【００６９】
位置マーカ５０ｄは、この例ではある程度の大きさを有する円形のものであるが、矢印形状などを用いて、表示された画像の１ピクセルや数ピクセルを特定できるようにしてもよい。また、この位置マーカ５０ｄは、位置とともに、そのデザインにより、関連付けする画像が静止画であることも示している。動画やテキストなど、他のデータを関連付けする場合は、別のデザインの位置マーカが表示される。ユーザは、所定の操作によって関連付けするデータの種別を変更することができ、その変更に応じて、位置マーカのデザインも変化する。
【００７０】
ユーザのタッチによって位置指定操作が行われると、位置マーカ５０ｄ、および位置マーカ５０ｄを中心として上下左右の４方向に延びるガイド矢印５４が表示されるとともに、画像表示部１１２全体が（半透明の全体画像がオーバーラップして表示されたように）暗く表示され、図５Ｃに示すような方向指定モードに遷移する。その後、ユーザが方向指定操作のために指でタッチスクリーン上をドラッグすると、図５Ｄに示すように、ユーザの方向指定操作をガイドするためのガイドスポット５８が表示される。たとえば、ユーザの指が、点線矢印５６のような軌跡で移動（ドラッグ）すると、ガイド矢印５４に加え、そのタッチ位置に追従するように、指定されている方向を示すガイドスポット５８が表示される。この例では、方向指定モードに遷移した際に暗くなった画像表示部１１２において、位置マーカ５０ｄから指のタッチ位置に向かってスポットライトが当てられているように、三角形の輝度表示がされる。また、このときに、位置マーカ５０ｄから指のタッチ位置の方向に頂点を向けたほぼ三角形状の方向マーカ５２ｄも表示される。
【００７１】
ここで、ユーザのタッチした位置が、位置マーカ５０ｃで表される指定位置（または、その位置から所定範囲内にある近傍の位置）である場合は、その位置マーカ５０ｃに対応した画像が表示される（図７参照）。また、ユーザが画像の所望の位置をタッチした後すぐに離した（タップした）場合は、方向指定モードには遷移せずに（あるいは、方向指定モードに遷移後即座に当該モードが終了し）位置指定操作のみが行われ、図６Ａの下部に示すようなリンク先選択メニュー５５が表示される。
【００７２】
ユーザが指をタッチスクリーンから離す（ドロップする）と、方向指定操作が終了し、画像表示画面１１０における方向指定モードも終了する。ここで、ユーザのドロップした位置が、位置指定操作により指定された位置と同じ、または当該位置から所定範囲の近傍の位置にあたる場合、最終的に方向指定がされなかったと判断される。
【００７３】
方向指定モードが終了した場合、図６Ａに示すように、位置マーカ５０ｄから指がタッチスクリーンを離れた位置に向けてガイドスポット５８が継続的に示され、さらに、同じ方向に、方向マーカ５２ｄがこれも継続的に表示される。このようなガイド矢印５４やガイドスポット５８などのガイド情報の表示形状は一例に過ぎない。ユーザの方向指定操作をガイドするための他の様々な形状、形態が考えられる。
【００７４】
そして、タッチスクリーンの下部に、リンク先選択メニュー５５が表示され、ユーザはそこで、リンク先を、新たに撮影した画像データとするのか、ライブラリ内の既存のデータ（ここでは静止画データ）とするのかを選択する。
【００７５】
この例では、ユーザがリンク先として新たに撮影した画像データを選択した場合について説明する。ユーザがリンク先選択メニュー５５の「新規にカメラで撮影」ボタンをタップすると、カメラが起動されて、図６Ｂに示す写真撮影モードの画面に遷移する。この画面の画像表示部１１２には、カメラのファインダー画像６０が表示される。ここでユーザは、情報端末２０を移動させてファインダー画像６０に所望の被写体が表示されるようにし（タッチスクリーンの反対側には、カメラレンズが配置されている）、その状態で撮影操作、すなわちシャッターボタン６２をタップすることにより、新たな画像が撮影され、図６Ｃに示すように、撮影画像６４が画像表示部１１２に表示される。
【００７６】
上記のような、ユーザによる一連の操作によって、リンク元の画像データにおいて指定された位置情報と方向情報が、新たにカメラで撮影された画像データに関連付けられる。具体的には、当該操作により、見取図の特定位置（位置情報として指定された位置）に、その位置から特定方向（方向情報として指定された方向）に向かって撮った写真、すなわち窓から見た外の景色の写真であるという意味づけをして関連付けることができる。もちろん、このような意味づけは、ユーザによって任意に設定することができる。
【００７７】
図６Ｄには、ユーザによって指定された方向情報がどのように把握されるかが示されている。ユーザによる方向の指定は、方向マーカが表しているが、たとえばリンク制御部２５は、表示された画像のｙ軸と方向マーカが指す方向とがなす角を方向情報θとして取得し、リンク情報３２に格納する。
【００７８】
次に、図７を参照して、本発明の一実施形態に係る情報端末２０において、ユーザが指定した画像データ（リンク元の画像データ）を表示させた後で、この画像に関連付けられている画像データ（リンク先の画像データ）を順次表示させる操作について説明する。なお、図７では、情報端末２０としてスマートフォン７１が使用された場合の画面遷移の例が示されている。また、各画面については、情報端末２０のタッチスクリーン４１の部分だけを表示する。
【００７９】
最初に、ユーザがアプリケーションを起動し、メニュー画面（不図示）で「ライブラリの画像データの表示」ボタンをタップすると、ライブラリ内の画像データを選択する、図５Ａに示すような、データ選択画面が表示され、そこで、表示させたい画像データに対応するサムネイルをタップする。そうすると、図７Ａに示す、選択された画像データを表示する画像表示画面１１０が表示される。この例では、表示された画像には、位置マーカ５０ｅと位置マーカ５０ｆが画像にオーバーラップして表示され、位置マーカ５０ｆは、方向マーカ５２ｆとともに表示されている。このような表示によって、現在表示されている画像データに２つの画像データが関連付けられていることが分かる。また、一方の画像データは、位置情報のみによって関連付けられ、他方は、方向情報によって関連付けされていることも分かる。
【００８０】
ここで、ユーザが位置マーカ５０ｅ（位置マーカ５０ｅに対応する指定位置と同じ、または当該位置から所定範囲の近傍の位置）をタップ等により選択すると、タッチスクリーンの画面は図７Ｂに示す画面に遷移し、そこで、１つの位置マーカ５０ｇが表示された画像が表示される。この表示は、現在表示されている画像データに１つの画像データが関連付けられていることを示している。
【００８１】
ここでさらに、ユーザがこの位置マーカ５０ｇ（位置マーカ５０ｇに対応する指定位置と同じ、または当該位置から所定範囲の近傍の位置）をタップ等により選択すると、タッチスクリーンの画面は図７Ｃに示す画面に遷移する。表示された画像には位置マーカが表示されておらず、この画像データに関連付けられているデータはないことが分かる。
【００８２】
再び図７Ａに戻り、位置マーカ５０ｆ（位置マーカ５０ｆに対応する指定位置と同じ、または当該位置から所定範囲の近傍の位置）をタップ等により選択すると、タッチスクリーンの画面は図７Ｄに示す画面に遷移する。表示された画像には位置マーカが表示されておらず、この画像データに関連付けられているデータはないことが分かる。
【００８３】
上記のような一連の操作により、ユーザは、会議室にあるモニタ台に引き出しがあって、その中にはキーボードが収納されていることと、会議室の窓から外側の方向を見た場合に、どのような景色になっているかを知ることができる。
【００８４】
上述した例では、ユーザによってタッチスクリーン上でタッチまたはタップが行われると、それが位置指定操作と判断され、そのタッチ位置で指定された画像の特定の座標が、位置情報として指定情報取得部２１によって取得される。しかし、ユーザがタッチスクリーン上で一定時間以上タッチした場合に（たとえば、長押しを行った場合に）、位置指定操作が開始されたと判断し、そのタッチ位置を位置情報として取得するように制御することもできる。この場合も、位置指定操作の後で方向指定モードに遷移する。なお、ここで示す操作や判断のタイミングは一例に過ぎない。ユーザによる様々な所定の操作・タイミングに応じて位置指定操作と方向指定操作が行われるように制御することができる。
【００８５】
また、上記の図５ないし図７に示す画像表示画面１１０では、ユーザが指定した画像データに、新規に撮影した画像データや既存のデータを関連付けることができる関連付けオペレーションと、ユーザが指定した画像データを表示させた後で、この画像に関連付けられている画像データを表示させることができる表示オペレーションが、同時に出来るようになっている。しかし、こうした画像表示画面１１０を上位メニューで区別し、たとえば、「関連付け用画像表示画面１１０ａ」および「表示用画像表示画面１１０ｂ」として、別個にオペレーションができるよう実装することができる。そのように構成することで、たとえば、同じ指定位置において、異なる指定方向にそれぞれ別の画像を関連付けするといった操作が比較的簡単に実現される。
【００８６】
次に、図８のフローチャートを参照して、図５および図６に示した処理、すなわち、ユーザが指定した画像データ（リンク元の画像データ）に、新規に撮影した画像データ（リンク先の画像データ）を関連付ける処理のフローについて説明する。
【００８７】
最初に、ステップＳ１０において、図５Ｂに示すように、選択された画像データを記憶装置から取得し、タッチスクリーンに画像表示画面１１０を表示する。次に、ステップＳ１２において、ユーザから位置指定操作がされたかどうか（すなわち、ユーザの指がタッチスクリーンにタッチしたかどうか）が判定される。位置指定操作があるまで当該判定処理は繰り返され、位置指定操作があった場合に、ステップＳ１４に進む。
【００８８】
ステップＳ１４では、指定された画像の位置（すなわち、ユーザの指がタッチスクリーンにタッチした位置）に、位置マーカとガイド矢印５４を表示し、方向指定モードに遷移する。次に、ステップＳ１６において、タッチスクリーンへのタッチの状況に変化があるかどうかが判定される。タッチスクリーンから指が離れる操作（タップを含む）がされた場合は、位置指定操作のみが行われると判断して方向指定モードを終了し、ステップＳ２４に進む。ドラッグがされていると判定された場合は、ステップＳ１８に進んでタッチスクリーン上に、タッチ位置に追従して、位置マーカを基準としたガイドスポット５８を表示する。
【００８９】
その後、ステップＳ２０において、ユーザの指がタッチスクリーンから離れたら、方向指定操作がされたと判断し、ステップＳ２２に進み、そこで、位置マーカから指定された位置に向けて方向マーカが表示され、ステップＳ２４において、図６Ａに示すような、リンク先選択メニューを表示する。
【００９０】
次に、ステップＳ２６において、ユーザがリンク先選択メニューで指定したリンク先が判定される。「ライブラリから選択」ボタンがタップされた場合には、ステップＳ２８に進み、そこで、データ選択画面を表示する。その後、ステップＳ３０で、データの選択があったかどうかが判定され、選択があった場合は、ステップＳ３２に進む。そして、ステップＳ３２において、リンク制御部２５がリンク情報３２を生成し、そのリンク情報３２を記憶装置３０に記憶する。
【００９１】
ステップＳ２６において、「新規にカメラで撮影」ボタンがタップされた場合には、ステップＳ３４に進み、そこで、情報端末２０は写真撮影モードに移行する。ステップＳ３６で、シャッターボタンがタップされ撮影が終了したかどうかが判定され、撮影が終了した場合は、ステップＳ３８において、リンク制御部２５がリンク情報を生成し、そのリンク情報３２を記憶装置３０に記憶する。さらに、撮影制御部２４は、新規にカメラで撮影された画像の画像データを記憶装置３０に記憶する。
【００９２】
次に、図９のフローチャートを参照して、図７に示した処理、すなわち、ユーザが指定した画像データ（リンク元の画像データ）を表示させた後で、この画像に関連付けられている画像データ（リンク先の画像データ）を順次表示させる処理のフローについて説明する。
【００９３】
最初に、ステップＳ５０において、選択された画像データと、この画像データに対応付けられたリンク情報３２を記憶装置３０から取得する。次に、ステップＳ５２で、取得した画像データを処理して、表示装置に対応する画像を所定の解像度で表示する。そして、ステップＳ５４において、取得したリンク情報３２から、位置マーカの表示位置と方向マーカの方向を求め、これらを、表示されている画像にオーバーラップして表示する。位置マーカが複数設定されている場合は、それぞれに対して上記表示処理を行う。
【００９４】
次に、ステップＳ５６で、ユーザによる位置マーカの選択があったかどうか（すなわち、ユーザが指で位置マーカの表示されている位置をタップしたかどうか）が判定される。ユーザによる位置マーカの選択があった場合、ステップＳ５８に進み、ここで、リンク情報３２を参照して、選択された位置マーカに対応する画像データを記憶装置３０から取得する。次に、ステップＳ６０において、取得した画像データに対応する画像を表示装置上に表示する。
【００９５】
図４ないし図９の説明に関して、情報端末２０としてスマートフォン７１が使用されているものとして説明したが、これらは例示に過ぎず、本発明においては、スマートフォンのほかに、デジタルカメラ、ＰＤＡ、携帯電話、ＰＣといった情報端末を利用可能である。たとえば、上記説明における「タップ」というユーザ操作は、デジタルカメラ、ＰＤＡ、携帯電話では決定ボタンの押下、ＰＣではマウスクリックやエンターキーの押下として実現されうる。また、「ドラッグ＆ドロップ」というユーザ操作は、デジタルカメラ、ＰＤＡ、携帯電話では十字キーの上下左右を指定するボタンおよび決定ボタン等の押下等で、ＰＣではマウスを用いたドラッグ操作などで実現されうる。また、スマートフォン７１では、タッチスクリーン４１に表示されるソフトキーにより文字列を入力することができるが、この操作は、ＰＤＡや携帯電話では十字キーの上下左右を指定するボタンおよび数字キー等の押下、ＰＣでは、キーボードのキーの押下などで実現される。
【００９６】
また、一部のデジタルカメラにおいては、ファインダー画像を表示するディスプレイ部分にタッチスクリーンを採用しているものもあり、こうしたタイプのデジタルカメラでは、例示したスマートフォン７１と同様の操作で本発明を技術的思想を実現することができる。
【００９７】
これまで、図面を参照しながら、本発明の一実施形態に係る情報端末２０の処理について説明してきたが、こうした構成や処理方法は一例に過ぎない。他の様々な構成および処理方法で、本発明と同様のアイデアを実施することができる。
【００９８】
次に、図１０を参照して、本発明の一実施形態に係る情報端末２０として用いられるスマートフォン７１のハードウエア構成の例について説明する。ただし、図１０のコンピュータ２５０は、スマートフォン７１として機能するコンピュータの代表的な構成を例示したにすぎない。
【００９９】
コンピュータ２５０は、ＣＰＵ（Central Processing Unit）２５１、主記憶メモリ２５２、カメラ２５３、ＧＰＳ制御部２５４、ＧＰＳ用アンテナ２５５、無線信号処理部２５６、無線通信用アンテナ２５７、オーディオ制御部２５８、マイクロフォン２５９、スピーカ２６０、ディスプレイ制御部２６１、入力機器インタフェース２６２、タッチスクリーン２６３、センサー２６４、補助記憶装置２６５、外部記録媒体インタフェース２６６、およびこれらの構成要素を互いに接続するバス２６７を含んでいる。
【０１００】
ＣＰＵ２５１は、コンピュータ２５０の各構成要素の動作を制御し、ＯＳの制御下で、各機能を実行する。たとえば、指定情報取得部２１、撮影画面制御部２２、データ指定画面制御部２３、リンク制御部２５等の処理を制御する。
【０１０１】
主記憶メモリ２５２は通常ＲＡＭ（Random Access Memory）で構成される。主記憶メモリ２５２には、ＣＰＵ２５１で実行される各機能（指定情報取得部２１等の機能）を実現するためのプログラムが実行時にロードされ、当該プログラムに必要なデータ等が一時的に記憶される。
【０１０２】
カメラ２５３は、コンピュータ２５０に内蔵される小型の撮像装置で、撮像素子がＣＣＤやＣＭＯＳといったタイプのものがある。カメラ２５３によって、静止画または動画を撮影する。撮影制御部２４によって撮影された画像は、記憶装置３０内の画像データ３１ａに記憶される。
【０１０３】
ＧＰＳ制御部２５４は、ＧＰＳ用アンテナ２５５を介して、複数のＧＰＳから信号を受信し、コンピュータ２５０の位置を調べる。こうして求められた位置情報は、フラッシュメモリ等に記憶され、必要に応じてプログラムで利用される。本発明においては、ＧＰＳから得られる位置情報は必須でないため、ＧＰＳ制御部２５４およびＧＰＳ用アンテナ２５５は必須の構成要素ではないが、リンク情報３２等に画像データに関するＧＰＳデータを記憶しておけば、本発明におけるデータ間の関連付けをさらに、ＧＰＳデータと関連付けて管理・表示することができる。
【０１０４】
無線信号処理部２５６は、無線通信用アンテナ２５７を介して携帯電話基地局と通信を行い、他の機器との間での通話データの送受信や、（インターネットを介した）他端末との間でのＷｅｂページやメールのデータの送受信を制御する。また、無線信号処理部２５６は、無線通信用アンテナ２５７を用いて無線ＬＡＮアクセスポイントとの間で無線ＬＡＮによる通信を実現し、インターネット経由のデータ送受信を行う（ここでは、便宜上、無線信号処理部２５６と無線通信用アンテナ２５７が、携帯電話基地局との間の無線通信および無線ＬＡＮアクセスポイントとの間の無線通信を行うものとした）。コンピュータ２５０は、無線信号処理部２５６および無線通信用アンテナ２５７を介して、携帯電話網やネットワークに接続されうる。
【０１０５】
オーディオ制御部２５８は、マイクロフォン２５９とスピーカ２６０を制御して無線通信による通話を実現し、一方で、音楽プレイヤーや動画プレイヤーからの音声データを受信して音声を出力するよう制御する。
【０１０６】
ディスプレイ制御部２６１は、ＣＰＵ２５１が発行する描画データを処理して、たとえば、画像表示画面１１０のような画面をタッチスクリーン２６３の表示装置に出力する。入力機器インタフェース２６２は、タッチスクリーン２６３のタッチセンサーが、ユーザによる操作を検知し、これを所定の信号としてＣＰＵ２５１に送信する。タッチスクリーン２６３は、たとえば、ＬＣＤ（Liquid Crystal Display）などで構成される表示装置で情報を表示するとともに、ユーザが指などで画面表面をタッチした（押した）位置を、抵抗膜方式や静電容量方式などのタッチセンサーで検知する。
【０１０７】
センサー２６４は、タッチスクリーン２６３のタッチセンサー以外のセンサーであり、モーションセンサー、光センサー、近接センサーなどがある。
【０１０８】
補助記憶装置２６５は、たとえば、フラッシュメモリと呼ばれる半導体メモリやハードディスクで構成される。補助記憶装置２６５は、ＣＰＵ２５１で実行される各機能（指定情報取得部２１等の機能）を実現するためのプログラムを記憶するほか、データ３１、リンク情報３２などが格納される記憶装置３０としても利用される。
【０１０９】
外部記録媒体インタフェース２６６は、外部記録媒体２７０にアクセスして、そこに記録されているデータを読み取る。外部記録媒体２７０は、たとえば、可搬型のフラッシュメモリである。ＣＰＵ２５１で実行され本発明の各機能を実現するためのプログラムは、この外部記録媒体インタフェース２６６や、前述したような、無線信号処理部２５６および無線通信用アンテナ２５７を介した携帯電話網やネットワークを経由してコンピュータ２５０（情報端末２０）に提供される。
【０１１０】
図１０は、スマートフォン７１が情報端末２０として用いられた場合のコンピュータ２５０を示しているが、たとえば、デジタルカメラ、ＰＤＡ、携帯電話機が情報端末２０として用いられた場合、これらがタッチスクリーンを備えていなければ、コンピュータ２５０は、ディスプレイ制御部２６１には、ＬＣＤ等からなる表示装置が接続され、入力機器インタフェース２６２にはボタン等が接続される。
【０１１１】
また、一般的なＰＣが情報端末２０として用いられた場合、コンピュータ２５０は、外部ネットワークに接続するためのネットワークインタフェースが追加され、ディスプレイ制御部２６１には、ＬＣＤ等からなる組み込み型または別筐体の表示装置が接続され、入力機器インタフェース２６２には、キーボードやマウスが接続される。
【符号の説明】
【０１１２】
２０・・・情報端末、２１・・・指定情報取得部、２２・・・撮影画面制御部、２３・・・データ指定画面制御部、２４・・・撮影制御部、２５・・・リンク制御部、２６・・・入出力制御部、３０・・・記憶装置、３１・・・データ、３２・・・リンク情報、５０・・・カメラ
【技術分野】
【０００１】
この発明は、画像データを他のデータと関連付けて管理し、表示するための情報端末に関する。
【背景技術】
【０００２】
近年の電子機器の高性能化や記憶装置の大容量化もあって、カメラを使って高解像度の画像を大量に撮影し、記憶しておくことが以前にも増して容易になってきている。また、現在では、スマートフォン、ＰＤＡ、携帯電話など、ユーザが携帯する情報端末のほとんどに高性能カメラが搭載され、どこにいても高解像度の画像を撮影することができる。このように、どこでも容易に取得できる高解像度の画像データは、個人だけでなく、多くの企業で活用されている。
【０００３】
また、このような画像は、１つ１つ単独で撮影されることもあるが、他の画像や他の種類のデータとの間で、何らかの関係性を有していることが多い。たとえば、同じ被写体をカメラの設定を変えて撮った写真や、旅先で時系列に撮った写真などは、そのような意味で共通性を有しており、互いに関連していると言える。
【０００４】
こうした互いに関連する写真は、これまでは、画像が撮影された日付、時間、解像度、撮影機器等を判断し、それらの共通性や類似度によって、グルーピングされることが多かった。また、それぞれの画像にコメントを付与し、そのキーワードに基づいていくつかのグループに分類することも可能である。
【０００５】
また、画像が撮影された経度と緯度を示す絶対的な位置情報をＧＰＳによって取得し、この位置情報をそれぞれの画像に付加することで、画像同士の関連性（すなわち、撮影場所が同じか異なるか、近いか遠いかなど）や、地図画像に配置する場合の位置関係を把握することもできる。
【０００６】
上述したような画像の管理を行う画像情報管理システムが、特許文献１に開示されている。このシステムでは、画像データが、その撮影位置および撮影対象位置とともに記憶され、撮影位置または撮影対象位置のいずれかに配置された画像データの表示要求があったときに、対応する画像データを取得し、位置情報が所定領域内にある画像データ群を１つの画像データ群マーカとして表示する。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−９３２９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、これまでの方法や特許文献１のようなシステムでは、画像データの特性や画像の撮影場所（すなわち、絶対的な位置）等を管理して、これらの情報が同一あるいは近似する画像データを同一グループのものとして把握するにすぎず、画像において指定された位置での表示内容や意味、および当該画像における方向を媒体として、その画像を他のデータと結びつけるという発想は今までにないものである。
【０００９】
また、上記のような新たな発想は、近年普及が著しいスマートフォンやＰＤＡを用いて行うと一層効果的である。これらの情報端末は、比較的大きな表示装置、および高解像度のカメラを有しており、リンク元の画像を表示させた状態で表示内容の位置や方向を指定し、その時点でカメラによってリンク先の画像を撮影することにより、２つの画像を極めて容易に関連付けることができる。しかし、このような機能を有する情報端末はいままで提案されていない。
【００１０】
また、スマートフォンやＰＤＡの表示装置が、入力装置を兼ねたタッチスクリーンである場合は、より豊かなＧＵＩ機能を使用することができ、このような情報端末を用いることによって、リンク元の画像を表示させた状態での表示内容の位置や方向の指定が、より容易に行える。しかし、こうしたタッチスクリーンの特徴を活かした有利な情報端末はいままで提案されていない。
【００１１】
さらに、これまで画像同士の関連付けは、１つの画像に複数の画像を関連付けたり（１対ｎの対応パターン）、画像データの特性が近似するものをいくつかのグループに分類したりするということが一般的である。たとえば、１対ｎの対応パターンとしては、地図画像に対して、ＧＰＳデータが付加された複数の風景画像が関連付けられるといったものがある。
【００１２】
しかし、上述のように、画像において指定された位置での表示内容や意味、および当該画像における方向に基づいて、その画像を他のデータと関連付けるという発想に立てば、画像１の表示内容のある箇所について画像２が関連付けられ、さらに画像２の表示内容のある箇所について画像３が関連付けられるといったような、複数画像が順次関連付けられるようなパターンも成り立ち、また、最終的にループ状のリンクとなって、画像３が画像１に関連付けられるというパターンも考えられる。このような関連付けの構造は、いままで考えられていなかった。
【００１３】
また、この新しい発想に基づけば、地図画像をリンク元の画像として、指定した表示内容（住所）にそれぞれ画像を関連付けることによって、ＧＰＳデータを用いなくても、地図画像に複数の風景画像を関連付けることもできる。ＧＰＳデータを取得するにはＧＰＳ機能を備えたカメラが必須であり、カメラがＧＰＳ機能を備えるものであっても、ビルの中や地下など、ＧＰＳ衛星と通信が出来ずに、位置情報を取得できない場合がある。また、ＧＰＳで得られる位置情報の精度には限界があり、数ｃｍや数十ｃｍといった精度で位置情報を得ることは出来ない。このように、実際にＧＰＳを用いる場合の問題点を考えれば、ＧＰＳデータを用いずにそれぞれの画像を関連付けることができるメリットは大きい。
【００１４】
したがって、本発明の目的は、画像において指定された位置（表示された画像における座標位置）を表す位置情報によって、当該画像と他のデータを関連付けるよう管理する情報端末を提供することにある。
【００１５】
また、本発明のさらなる目的は、上記位置情報と、画像において指定された方向（表示された画像における座標位置からの方向）を表す方向情報によって、当該画像と他のデータを関連付けるよう管理する情報端末を提供することにある。
【００１６】
また、本発明の目的は、リンク元の画像を表示させた状態で表示内容の位置や方向を指定し、そこでカメラによってリンク先の画像を撮影することにより、２つの画像を関連付けることができる情報端末を提供することにある。また、タッチスクリーンを採用すれば、リンク元の画像を表示させた状態での表示内容の位置や方向の指定がより容易に行える。
【００１７】
また、本発明の目的は、画像において指定された位置情報を媒体として他のデータと関連付けることにより、３以上の複数画像が順次関連付けられ、または３以上の複数画像がループ状に関連付けられることが可能な情報端末を提供することにある。
【課題を解決するための手段】
【００１８】
本発明の第１の実施態様は、画像を表示する表示手段と、ユーザが表示手段に表示されている第１画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得手段と、ユーザによる指定操作の後で、表示手段に、第２画像を撮影するための撮影画面を表示させる撮影画面制御手段と、撮影画面におけるユーザの第２画像撮影操作に応じて、撮像手段で第２画像データを取得するよう制御する撮影制御手段と、第１画像を表示するための第１画像データおよび第２画像データを、指定情報に基づいて関連付けるためのリンク情報を生成し記憶するリンク制御手段を有する情報端末であり、ここで、指定情報取得手段は、ユーザが第１画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得するように構成される。
【００１９】
本発明に係る情報端末のこのような構成によって、画像において指定された位置（表示された画像における座標位置）を表す位置情報によって、画像データ同士を簡単な操作で関連付けることができる。
【００２０】
本発明の第２の実施態様は、上記第１の実施態様において、指定情報取得手段が、位置指定操作後に、方向指定モードに遷移するよう制御し、ユーザが、方向指定モードで、指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、位置情報に加えて、ユーザが指定した方向を表す方向情報を取得するように構成される。
【００２１】
本発明に係る情報端末のこのような構成によって、たとえば、表示装置がタッチスクリーンで構成されるような場合に、ユーザによるタッチスクリーンへの所定操作の後（たとえば、タッチスクリーンにタッチした後）、方向指定モードに遷移するよう制御される。また、方向指定操作は、方向指定モードにおいて、タッチスクリーンへの所定の操作（たとえば、ユーザの指を最初のタッチ位置からタッチスクリーン上でドラッグさせた後ドロップするといった一連の操作）により行われる。
【００２２】
本発明の第３の実施態様は、上記第２の実施態様において、指定情報取得手段が、方向指定モードに遷移した場合に、表示装置上で、指定位置を表す位置マーカを表示し、ユーザの方向指定操作をガイドするためのガイド情報を表示し、少なくともガイド情報の一部は、指定位置マーカからユーザが方向指定操作において指定する位置に向かって延び、ユーザが指定する位置に追従して指定方向を指すガイド情報であるように構成される。
【００２３】
本発明の第４の実施態様は、画像を表示する表示手段と、ユーザが表示手段に表示されている画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得手段と、ユーザによる指定操作の後で、表示手段に、データを指定するためのデータ指定画面を表示させるデータ指定画面制御手段と、表示手段に画像を表示するための画像データおよびデータ指定画面で指定されたデータを、指定情報に基づいて関連付けるためのリンク情報を生成し記憶するリンク制御手段を有する情報端末であり、ここで、指定情報取得手段は、ユーザが画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得するように構成される。
【００２４】
本発明に係る情報端末のこのような構成によって、画像において指定された位置（表示された画像における座標位置）を表す位置情報によって、画像データと既存のデータを簡単な操作で関連付けることができる。
【００２５】
本発明の第５の実施態様は、上記第４の実施態様において、指定情報取得手段が、位置指定操作後に、方向指定モードに遷移するよう制御し、ユーザが、方向指定モードで、指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、位置情報に加えて、ユーザが指定した方向を表す方向情報を取得するように構成される。また、さらに、指定情報取得手段が、方向指定モードに遷移した場合に、タッチスクリーン上で、指定位置を表す位置マーカを表示し、ユーザのタッチが終了するまで、タッチスクリーン上で、ユーザの方向指定操作をガイドするためのガイド情報を表示し、少なくともガイド情報の一部は、指定位置マーカからユーザのタッチ位置の方向に延び、タッチ位置に追従して指定方向を指すガイド情報であるように構成されうる。
【００２６】
本発明の第６の実施態様は、ユーザが、画像を表示する表示手段に表示されている第１画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得ステップと、ユーザによる指定操作の後で、表示手段に、第２画像を撮影するための撮影画面を表示させる撮影画面制御ステップと、撮影画面におけるユーザの第２画像撮影操作に応じて、撮像手段で第２画像データを取得するよう制御する撮影制御ステップと、第１画像を表示するための第１画像データ、指定情報、および第２画像データを関連付けるためのリンク情報を生成し記憶するリンク制御ステップを有し、指定情報取得ステップは、ユーザが第１画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得するように構成されるデータ管理方法である。
【００２７】
本発明の第７の実施態様は、上記第６の実施態様において、指定情報取得ステップが、位置指定操作後に、方向指定モードに遷移するよう制御し、ユーザが、方向指定モードで、指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、位置情報に加えて、ユーザが指定した方向を表す方向情報を取得するように構成される。
【００２８】
本発明の第８の実施態様は、リンク元データを特定するための情報と、リンク元データに関する指定情報に基づいて、リンク元データに関連付けられるリンク先データを特定するための情報と、リンク先データに対応付けされたリンク元データおよび指定情報、またはリンク元データに対応付けされたリンク先データおよび指定情報を含み、指定情報は、少なくともリンク元データを表示装置に表示した場合の特定の位置を表す位置情報を含むように構成される関連付け定義データである。
【００２９】
本発明に係る関連付け定義データのこのような構成によって、画像において指定された位置（表示された画像における座標位置）を表す位置情報によって、画像データ同士を簡単な操作で関連付けることができる。
【００３０】
本発明の第９の実施態様は、上記第８の実施態様において、関連付けによりリンクされた一群のリンク元データおよびリンク先データのなかに、少なくとも２つのリンク元データ、または少なくとも２つのリンク先データが含まれるように構成される。
【００３１】
本発明の第１０の実施態様は、画像を表示する表示手段を備えた情報端末に、ユーザが表示手段に表示されている第１画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得手段、ユーザによる指定操作の後で、表示手段に、第２画像を撮影するための撮影画面を表示させる撮影画面制御手段、撮影画面におけるユーザの第２画像撮影操作に応じて、撮像手段で第２画像データを取得するよう制御する撮影制御手段、および、第１画像を表示するための第１画像データ、指定情報、および第２画像データを関連付けるためのリンク情報を生成し記憶するリンク制御手段として機能させるためのプログラムであり、ここで、指定情報取得手段は、ユーザが第１画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得するように構成される。
【００３２】
本発明の第１１の実施態様は、上記第１０の実施態様において、指定情報取得手段が、位置指定操作後に、方向指定モードに遷移するよう制御し、ユーザが、方向指定モードで、指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、位置情報に加えて、ユーザが指定した方向を表す方向情報を取得するように構成される。
【発明の効果】
【００３３】
本発明に係る情報端末によって、画像と他のデータとの関連付けが、指定された位置情報や方向情報を介して行われ、様々な視点で画像と他のデータの関連付けを容易に行うことができる。本発明に係る情報端末では、少なくとも画像の表示内容の位置が指定されることにより、画像に表される被写体の部分が特定され、この被写体の部分を介して当該画像と他のデータが関連付けされる。
【図面の簡単な説明】
【００３４】
【図１】本発明に係る情報端末における画像の関連付けの概念を示す略線図である。
【図２】本発明に係る情報端末における画像の関連付けの概念を示す略線図および本発明の一実施形態に係る情報端末に記憶されるリンクデータの例を示す略線図である。
【図３】本発明の一実施形態に係る情報端末の機能ブロック図である。
【図４】本発明の一実施形態に係る情報端末の例を示す略線図である。
【図５】本発明の一実施形態に係る情報端末において画像の関連付けを行う場合の画面遷移の例を示す略線図である。
【図６】本発明の一実施形態に係る情報端末において画像の関連付けを行う場合の画面遷移の例を示す略線図である。
【図７】本発明の一実施形態に係る情報端末において関連付けされた画像の表示を行う場合の画面遷移の例を示す略線図である。
【図８】本発明の一実施形態に係る情報端末において画像の関連付けを行う場合の処理フローを示すフローチャートである。
【図９】本発明の一実施形態に係る情報端末において関連付けされた画像の表示を行う場合の処理フローを示すフローチャートである。
【図１０】本発明に係る情報端末（コンピュータ）のハードウエア構成の例を示す略線図である。
【発明を実施するための形態】
【００３５】
本発明の一実施形態に係る情報端末は、画像と他のデータを、表示された当該画像の位置情報やその位置を基準とした方向情報とともに関連付けて記憶し表示する。また、タッチスクリーンを備えたスマートフォンやＰＤＡのような機器を用いることによってより効果的に活用できる。
【００３６】
最初に、本発明における画像の関連付けの概念を、図１および図２Ａを参照して説明する。本発明の情報端末では、基本的に、複数の画像データの関連付けが行われる。画像以外のデータを関連付けることも可能であるが、ここでは、画像データについて説明する。
【００３７】
図１Ａに示す矢印は、リンク元からリンク先への関連付けが行われていることを示している。したがって、この例では、画像１１が、画像１２と画像１３に関連付けられ、画像１２が画像１４に関連付けられている。より詳細には、画像１１は、表示された画像１１の座標点（ｘ１，ｙ１）が指定され、この位置情報に基づいて、画像１２に関連付けられている。また、画像１１は、表示された画像１１に関する位置情報である座標点（ｘ２、ｙ２）と、この位置における方向情報である向き（θ１）に基づいて、画像１３とも関連付けられている。さらに、画像１２はさらに、表示された画像１２の座標点（ｘ３，ｙ３）に基づいて、画像１４に関連付けられている。
【００３８】
ここで、位置情報は、上述のように、表示された画像の１点の座標を示しているが、１次元あるいは２次元の範囲であってもよい。また、画像は静止画のみならず動画をも含む概念であるが、動画における位置情報は、時間軸における点（すなわち一時点）または範囲（すなわち期間）を特定したうえでの位置情報となる。
【００３９】
また、上述したように、リンク元またはリンク先のデータとして、画像データの代わりに、音声データやテキストデータを含むさまざまなデータを用いることができる。リンク元が音声データである場合は、たとえば、音声データをなんらかの方法で可視化（たとえば、既知の方法で波形や幾何学模様を表示）したうえで、表示された画像の１点または範囲を位置情報として指定しうる。一方、リンク元がテキストデータである場合は、たとえば、表示された文字の１文字または複数の文字を含んだ範囲を位置情報として指定することができる。
【００４０】
図１Ｂには、画像の関連付けによってリンクされた一群のデータが、２パターン示されている。第１パターンの画像群Ａ１ないしＡ７は、後述の第２パターンに対して関連付け方向の制限を与えて、木構造としたものである。このパターンでは、ループ状の関連付けや、２つ以上のリンク元からの関連付けが禁止されている。たとえば、ネットオークションで出品する商品全体を遠景で撮影し、次に、商品の各部分を複数、近景で撮影する。このようにして得られた画像は、２番目以降の画像が、最初の画像に写った商品の各部をより詳細に表しており、最初の画像の各部に対応する画像上の位置に２番目以降の画像がそれぞれ関係付けられる。
【００４１】
第２パターンの画像群Ｂ１ないしＢ７は、どのような方向にも関連付けが可能な、いわば有向グラフの構造といえるものである。たとえば、画像Ｂ１ないし画像Ｂ３は、ループ状に関連付けが行われている。また、画像Ｂ３は、画像Ｂ１と画像Ｂ２の２つのリンク元から関連付けがされている。
【００４２】
上記第２パターンの例として、図２Ａに示すような、間取図とそれに関連した現場写真を考えることができる。たとえば、図２Ａの間取図が示す建物について、まず、各部屋の出入り口（ドアや引き戸など）を写し込んだ写真を、間取図の対応する場所（たとえば撮影場所）に関連付け、次に、「各写真の出入り口にマーカを設け、これに当該出入り口の向こう側の部屋の写真を関連付ける」というルールで各部屋の写真同士を関連付けると、全体の関連付けは図２Ａのようになり、この関連付けの方向に従えば、実際にその建物の中を移動する感覚で各写真を見ることができる。
【００４３】
たとえば、玄関から主寝室に向かうルートを確認する場合は、「玄関→リビング→主寝室」や「玄関→ホール→主寝室」などの複数のルートがあり、このとき、１つの画像（主寝室の写真）が、２つの別の画像からリンクされることになる。また、「リビング→ホール→主寝室→リビング→・・・」のように、間取り上、循環した移動が可能な場合があり、このとき、複数の画像がループ状にリンクされることになる。
【００４４】
次に、図２Ｂを参照して、データ同士の関連付けを定義するデータであるリンク情報３２の一例を説明する。リンク情報３２は、リンク元の画像データとリンク先のデータを関連付けるためのデータであり、リンク元の画像データとリンク先のデータを特定するための情報（たとえば、ファイル名などの識別子）と指定情報（位置情報が含まれ、方向指定操作をした場合は方向情報も含まれる）を含む。
【００４５】
図２Ｂの例では、これらの情報がＸＭＬファイルとして記憶されている。ファイル名は、リンク元の画像データのファイル名を含む「ＦＩＧ０１．ｘｍｌ」であり、当該ファイルが、リンク元の画像データに関連付けられている。Ｄａｔａタグにおいて、各データの情報が定義される。最初のＤａｔａタグでは、リンク元の画像データを識別するためのファイル名「ＦＩＧ０１．ｊｐｇ」とその内容を表す説明「会議室」が定義されている。
【００４６】
第２のＤａｔａタグには、リンク先のデータを識別するためのファイル名とその内容が定義されており、さらに、リンク元に関する情報がＬｉｎｋタグで定義されている。その内容は、リンク元のデータを特定する情報「ＦＩＧ０１．ｊｐｇ」と、位置情報「座標（ｘ１，ｙ１）」である。これは、リンク元の画像データ「ＦＩＧ０１．ｊｐｇ」の座標（ｘ１，ｙ１）に、リンク先の画像データ「ＦＩＧ０２．ｊｐｇ」が関連付けられていることを示している。
【００４７】
第３のＤａｔａタグには、２つめのリンク先のデータに関する情報が定義されている。すなわち、リンク元のデータを特定する情報「ＦＩＧ０１．ｊｐｇ」、位置情報「座標（ｘ２，ｙ２）」、および方向情報「方向（θ）」である。これは、リンク元の画像データ「ＦＩＧ０１．ｊｐｇ」の座標（ｘ２，ｙ２）からθ１の方向に、リンク先の画像データ「ＦＩＧ０３．ｊｐｇ」が関連付けられていることを示している。
【００４８】
図２Ｂに示したリンク情報３２の構造によって、１対ｎやｎ対１に関連付けられる場合や、３つ以上のデータがループ状に関連付けられる場合など、さまざまな関連付けについて定義することはできる。ただし、このような構造は一例に過ぎず、他の様々な方法で、上記のようなリンク元の画像データとリンク先のデータの関係性を定義することができる。また、この例では、リンク元の画像データに対してＸＭＬ形式の１つのファイルを割り当て、当該関係性を定義しているが、システム全体で１つのファイルとすることもできる。また、図２Ｂに示すような情報を２つ以上のファイルに分離して持たせるように構成することもできる。さらに、リンク元の画像データおよびリンク先のデータの一方または両方にリンク情報を組み込むように構成することもできる。
【００４９】
次に、図３の機能ブロック図を参照して、情報端末２０の各機能についての概要を説明する。情報端末２０は、ここでは、カメラを内蔵し、表示装置であり入力装置でもあるタッチスクリーンを備えたスマートフォンであるものとして説明する。情報端末２０は、指定情報取得部２１、撮影画面制御部２２、データ指定画面制御部２３、撮影制御部２４、リンク制御部２５、および入出力制御部２６の各機能部と、静止画および動画を撮影可能なカメラ（撮像装置）５０を備える。さらに、情報端末２０は、フラッシュメモリ等からなる記憶装置３０を備え、ここには、データ３１とリンク情報３２が記憶され、データ３１には、画像データ３１ａと画像データ以外のその他のデータ３１ｂが記憶される。
【００５０】
指定情報取得部２１は、ユーザが画像データを指定すると、その画像データにアクセスして、対応する画像を表示する画面（画像表示画面）を表示装置上に表示する。ユーザが、画像表示画面に表示された画像（リンク元の画像）に対して位置または方向の指定をした場合には、その指定内容を表す指定情報を取得する。たとえば、特定の位置を指定する操作（位置指定操作）を行った場合、指定された位置を表す位置情報を指定情報として取得する。ユーザの指定は、この例では、タッチスクリーンに画像が表示された後、指やスタイラス等を用いてタッチスクリーンに対して行われる。こうした画像の表示出力およびユーザによる入力は、後述する入出力制御部２６の制御を介して行われる。
【００５１】
ユーザは、たとえば、指でタッチスクリーンをタッチすることによって、画像の特定の位置を指定することができ、その位置の座標が指定情報取得部２１によって取得される。座標の表現としては、ピクセルの絶対値や相対値などを用いることができる。たとえば、表示される画像が８００×６００ピクセルの画像データからなる場合、指定された位置をピクセル単位のｘｙ座標で（５００，３００）と表現できる。また、相対値を用いれば、同じｘｙ座標は（０．６２５，０．５）と表現される。相対値による座標は、画像の表示を拡大または縮小した場合に、座標の数値を変換する必要がないというメリットがある。また、画像の位置が特定できる限り、座標の表現として他の様々な方法を用いることができる。
【００５２】
ユーザが指でタッチスクリーンをタッチすることにより位置指定操作が行われ、そのタッチ位置で指定された画像の特定の座標が、位置情報として指定情報取得部２１によって取得される。ユーザによる位置指定操作の後、タッチスクリーンにはリンク元の画像が表示されたまま方向指定モードに遷移する。方向指定モードでは、ユーザの操作をガイドするためのガイド情報が表示される。たとえば、ガイド情報として、位置指定操作による指定位置を中心として４方向にガイド矢印が表示される。また、指定位置からタッチスクリーンに触れたまま指を移動させる（ドラッグする）と、この動きに応じて、指定位置に対して現在指が触れている点がどの方向にあたるかを示すガイドスポットが表示される。
【００５３】
その後、ユーザが任意の位置でタッチスクリーンから指を離す（ドロップする）と、ここで方向を指定する操作（方向指定操作）が終了するとともに方向指定モードも終了する。指定情報取得部２１は、ユーザが指定位置からドラッグして他の位置にドロップをした場合、位置情報として取得された座標から、ドロップの位置までを結ぶ方向を表す方向情報を指定情報として取得する。方向情報は、上述のように、位置情報として取得された座標を起点とした方向を表すが、その角度θは、たとえば、表示されている画像のｘ軸に対する角度やｙ軸に対する角度など、様々な基準に基づいて設定可能である（図６Ｄ参照）。
【００５４】
このように、ユーザがタッチスクリーンにどのような態様でタッチするかによって、位置だけを指定するのか、位置と方向を指定するのかが決定される。そして、どちらの場合も、ユーザの指がタッチスクリーンを離れた場合に、指定情報取得部２１は、リンク先を選択させるリンク先選択メニューを表示する。リンク先選択メニューでは、後で図５および図６を参照して説明するが、新たにカメラで撮影した画像をリンク先とするか、既存のデータをライブラリから選択してリンク先とするかのどちらかを選ぶことができる。
【００５５】
撮影画面制御部２２は、ユーザが上記のリンク先選択メニューで、新たにカメラで撮影した画像をリンク先とすることを選んだ場合に、撮影制御部２４によってカメラ５０を起動し、カメラで撮影可能なファインダー画像（カメラレンズを通して得られるリアルタイム画像）をタッチスクリーンに表示する写真撮影モードの画面が表示される（図６Ｂ参照）。そこでユーザが撮影操作を行うと（すなわち、シャッターボタンにタッチすると）、撮影制御部２４による制御で、リンク先の画像が撮影されるとともに、リンク先の画像データが記憶装置３０に記憶される。また、このとき、リンク制御部２５でリンク情報３２が生成され、当該リンク情報が記憶装置３０に記憶される。リンク情報３２には、上述のように、リンク元の画像データとリンク先の画像データを特定するための識別子（たとえば、ファイル名）と指定情報（位置情報、ただし方向指定操作をした場合は方向情報も含まれる）が記憶される。
【００５６】
データ指定画面制御部２３は、ユーザが上記のリンク先選択メニューで、既存のデータをライブラリから選択してリンク先とすることを選んだ場合に、データ選択画面を表示し、所定のライブラリに記憶されているデータ一覧を表示する（不図示）。ここで、所望のデータを選択すると、これに基づいて、リンク制御部２５でリンク情報３２が生成され、リンク情報３２が記憶装置３０に記憶される。なお、ここでは、リンク先のデータは、画像データであるとは限らない。
【００５７】
入出力制御部２６は、情報端末２０の入力装置からユーザによる入力情報を取得し、この内容を関連する機能部に提供する。一方で、情報端末２０の表示装置に、各機能部から受信したデータを元に画像を表示する。この例で用いられるタッチスクリーン４１は、表示と入力が可能なデバイスであり、ここで入力デバイスに相当するのがタッチセンサー４１ｂである。タッチセンサー４１ｂは、表示デバイス（ＬＣＤパネル４１ａ）としても機能する液晶パネルの表面をユーザが指やスタイラス等でタッチした場合に、その位置を入力情報として入出力制御部２６に送信する。
【００５８】
本発明の情報端末２０は、スマートフォンのようなタッチスクリーンを備えた機器であることが好ましいが、それ以外の入出力デバイスを備えた機器であってもよい。たとえば、携帯電話機やデジタルカメラでは、図３の下部に示すように、携帯電話機・デジタルカメラ用デバイス４２を内蔵していることが多く、このデバイスは、ＬＣＤパネル４２ａが表示デバイスであり、ユーザの押下に応答して入力信号を送信するボタン４２ｂが入力デバイスである。また、パーソナルコンピュータにおいて多く見られるＰＣ用デバイス４３は、ＬＣＤモニタ４３ａが表示デバイスであり、ユーザの押下に応答して入力信号を送信するキーボード・マウス４３ｂが入力デバイスである。ＬＣＤモニタ４３ａやキーボード・マウス４３ｂは、ノート型パソコン等では本体に一体的に組み込まれることが多く、デスクトップパソコンの場合は、別の筐体として構成されケーブルで接続されることがある。
【００５９】
上記では、リンク元のデータが画像を表示するための画像データであることを前提として説明したが、音声データやテキストデータなど、他の様々なデータをリンク元として設定することができる。また、情報端末２０は、カメラを内蔵していることが望ましいが、本体にケーブル等で接続される形態であっても、撮影画面制御部２２および撮影制御部２４による制御が可能であれば、カメラを内蔵した情報端末２０と同様の処理が実現可能である。さらに、リンク先のデータが画像データではない場合や、新規に画像を撮影することがなければ、カメラは情報端末２０にとって必須の構成要素ではない。
【００６０】
次に、図４を参照して、本発明の一実施形態に係る情報端末２０の表示装置に示される画像表示画面１１０の例について説明する。なお、図４ないし図９は、情報端末２０としてスマートフォン７１が使用されている例である。また、図４ないし図９においては、画像データとして静止画のデータが用いられる例を示している。
【００６１】
図４に示されているスマートフォン７１は、情報を表示するためのＬＣＤパネル４１ａであり、ユーザ等の接触を検知するタッチセンサー４１ｂでもあるタッチスクリーン４１、スピーカ１０１、サブカメラ１０２、およびホームボタン１０３を備える。
【００６２】
図４に示されている画像表示画面１１０は、ユーザの指定した画像データにアクセスして、対応する画像を表示した画面であり、この画像に対してデータを関連付ける場合、ユーザは、この画面上で位置指定操作や方向指定操作などの指定操作を行う。また、この画像に関連付けられているデータを順次表示させる場合、ユーザは、画面上に表示された位置マーカをタップして関連付けられている別のデータを表示させる。
【００６３】
表示領域であるタッチスクリーン４１上に示された画像表示画面１１０には、最上部にステータスバー１０４、その下にナビゲーションバー１１１、さらにその下に画像表示部１１２、最下部にボタン等表示部１１５が表示されている。
【００６４】
ステータスバー１０４には、受信感度、現在時刻、バッテリー残量が表示され、ナビゲーションバー１１１には、メニューボタン、画像の説明（または画像データのファイル名）、トップ移動ボタンが表示されている。画像表示部１１２には、指定された画像データに基づいて所定のサイズ（解像度）に調整された画像が表示されている。ボタン等表示部１１５には、タップにより当該アプリケーションに関する情報の表示を行うインフォメーションアイコンが表示されている。
【００６５】
また、この例では、画像にオーバーラップして、位置を表す位置マーカ５０ａと位置マーカ５０ｂが示されており、さらに方向を表す方向マーカ５２ｂが位置マーカ５０ｂに近接して表示されている。位置マーカは、ここでは、カメラ形状を含む円形のデザインであり、このデザインによって、関連付けされている画像が静止画であることが表されている。
【００６６】
次に、図５および図６を参照して、本発明の一実施形態に係る情報端末２０において、ユーザが指定した画像データ（リンク元の画像データ）に、新規に撮影した画像データ（リンク先の画像データ）を関連付ける操作について説明する。なお、図５および図６では、情報端末２０としてスマートフォン７１が使用された場合の画面遷移の例が示されている。また、各画面については、情報端末２０のタッチスクリーン４１の部分だけを表示する。
【００６７】
ユーザがアプリケーションを起動し、メニュー画面（不図示）で「リンク元データをライブラリから選択」ボタンをタップすると、図５Ａに示すデータ選択画面１００が表示され、ユーザはそこで、サムネイルをタップし、リンク元となる所望のデータを選択する。なお、この例では、画像データが選択される。また、リンク元となる画像としては、ライブラリから選択するだけでなく、その場で、カメラにより新規に撮影した画像を用いることもできる。
【００６８】
ユーザにより画像データが選択されると、図５Ｂに示す画像表示画面１１０が表示され、選択した画像データに基づく画像がタッチスクリーンの画像表示部１１２に表示される。ここでは、間取図の画像が表示され、すでに設定済みの位置マーカ５０ｃが配置されている。これは、現在表示されている画像が、位置マーカ５０ｃの位置で画像に関連付けられていることを示すものである。ここでユーザが、表示されている画像の所望の位置を指でタッチして位置指定操作を行うと、図５Ｃに示すように、当該位置指定操作による位置マーカ５０ｄが、指定した位置で、表示された画像にオーバーラップして表示される。
【００６９】
位置マーカ５０ｄは、この例ではある程度の大きさを有する円形のものであるが、矢印形状などを用いて、表示された画像の１ピクセルや数ピクセルを特定できるようにしてもよい。また、この位置マーカ５０ｄは、位置とともに、そのデザインにより、関連付けする画像が静止画であることも示している。動画やテキストなど、他のデータを関連付けする場合は、別のデザインの位置マーカが表示される。ユーザは、所定の操作によって関連付けするデータの種別を変更することができ、その変更に応じて、位置マーカのデザインも変化する。
【００７０】
ユーザのタッチによって位置指定操作が行われると、位置マーカ５０ｄ、および位置マーカ５０ｄを中心として上下左右の４方向に延びるガイド矢印５４が表示されるとともに、画像表示部１１２全体が（半透明の全体画像がオーバーラップして表示されたように）暗く表示され、図５Ｃに示すような方向指定モードに遷移する。その後、ユーザが方向指定操作のために指でタッチスクリーン上をドラッグすると、図５Ｄに示すように、ユーザの方向指定操作をガイドするためのガイドスポット５８が表示される。たとえば、ユーザの指が、点線矢印５６のような軌跡で移動（ドラッグ）すると、ガイド矢印５４に加え、そのタッチ位置に追従するように、指定されている方向を示すガイドスポット５８が表示される。この例では、方向指定モードに遷移した際に暗くなった画像表示部１１２において、位置マーカ５０ｄから指のタッチ位置に向かってスポットライトが当てられているように、三角形の輝度表示がされる。また、このときに、位置マーカ５０ｄから指のタッチ位置の方向に頂点を向けたほぼ三角形状の方向マーカ５２ｄも表示される。
【００７１】
ここで、ユーザのタッチした位置が、位置マーカ５０ｃで表される指定位置（または、その位置から所定範囲内にある近傍の位置）である場合は、その位置マーカ５０ｃに対応した画像が表示される（図７参照）。また、ユーザが画像の所望の位置をタッチした後すぐに離した（タップした）場合は、方向指定モードには遷移せずに（あるいは、方向指定モードに遷移後即座に当該モードが終了し）位置指定操作のみが行われ、図６Ａの下部に示すようなリンク先選択メニュー５５が表示される。
【００７２】
ユーザが指をタッチスクリーンから離す（ドロップする）と、方向指定操作が終了し、画像表示画面１１０における方向指定モードも終了する。ここで、ユーザのドロップした位置が、位置指定操作により指定された位置と同じ、または当該位置から所定範囲の近傍の位置にあたる場合、最終的に方向指定がされなかったと判断される。
【００７３】
方向指定モードが終了した場合、図６Ａに示すように、位置マーカ５０ｄから指がタッチスクリーンを離れた位置に向けてガイドスポット５８が継続的に示され、さらに、同じ方向に、方向マーカ５２ｄがこれも継続的に表示される。このようなガイド矢印５４やガイドスポット５８などのガイド情報の表示形状は一例に過ぎない。ユーザの方向指定操作をガイドするための他の様々な形状、形態が考えられる。
【００７４】
そして、タッチスクリーンの下部に、リンク先選択メニュー５５が表示され、ユーザはそこで、リンク先を、新たに撮影した画像データとするのか、ライブラリ内の既存のデータ（ここでは静止画データ）とするのかを選択する。
【００７５】
この例では、ユーザがリンク先として新たに撮影した画像データを選択した場合について説明する。ユーザがリンク先選択メニュー５５の「新規にカメラで撮影」ボタンをタップすると、カメラが起動されて、図６Ｂに示す写真撮影モードの画面に遷移する。この画面の画像表示部１１２には、カメラのファインダー画像６０が表示される。ここでユーザは、情報端末２０を移動させてファインダー画像６０に所望の被写体が表示されるようにし（タッチスクリーンの反対側には、カメラレンズが配置されている）、その状態で撮影操作、すなわちシャッターボタン６２をタップすることにより、新たな画像が撮影され、図６Ｃに示すように、撮影画像６４が画像表示部１１２に表示される。
【００７６】
上記のような、ユーザによる一連の操作によって、リンク元の画像データにおいて指定された位置情報と方向情報が、新たにカメラで撮影された画像データに関連付けられる。具体的には、当該操作により、見取図の特定位置（位置情報として指定された位置）に、その位置から特定方向（方向情報として指定された方向）に向かって撮った写真、すなわち窓から見た外の景色の写真であるという意味づけをして関連付けることができる。もちろん、このような意味づけは、ユーザによって任意に設定することができる。
【００７７】
図６Ｄには、ユーザによって指定された方向情報がどのように把握されるかが示されている。ユーザによる方向の指定は、方向マーカが表しているが、たとえばリンク制御部２５は、表示された画像のｙ軸と方向マーカが指す方向とがなす角を方向情報θとして取得し、リンク情報３２に格納する。
【００７８】
次に、図７を参照して、本発明の一実施形態に係る情報端末２０において、ユーザが指定した画像データ（リンク元の画像データ）を表示させた後で、この画像に関連付けられている画像データ（リンク先の画像データ）を順次表示させる操作について説明する。なお、図７では、情報端末２０としてスマートフォン７１が使用された場合の画面遷移の例が示されている。また、各画面については、情報端末２０のタッチスクリーン４１の部分だけを表示する。
【００７９】
最初に、ユーザがアプリケーションを起動し、メニュー画面（不図示）で「ライブラリの画像データの表示」ボタンをタップすると、ライブラリ内の画像データを選択する、図５Ａに示すような、データ選択画面が表示され、そこで、表示させたい画像データに対応するサムネイルをタップする。そうすると、図７Ａに示す、選択された画像データを表示する画像表示画面１１０が表示される。この例では、表示された画像には、位置マーカ５０ｅと位置マーカ５０ｆが画像にオーバーラップして表示され、位置マーカ５０ｆは、方向マーカ５２ｆとともに表示されている。このような表示によって、現在表示されている画像データに２つの画像データが関連付けられていることが分かる。また、一方の画像データは、位置情報のみによって関連付けられ、他方は、方向情報によって関連付けされていることも分かる。
【００８０】
ここで、ユーザが位置マーカ５０ｅ（位置マーカ５０ｅに対応する指定位置と同じ、または当該位置から所定範囲の近傍の位置）をタップ等により選択すると、タッチスクリーンの画面は図７Ｂに示す画面に遷移し、そこで、１つの位置マーカ５０ｇが表示された画像が表示される。この表示は、現在表示されている画像データに１つの画像データが関連付けられていることを示している。
【００８１】
ここでさらに、ユーザがこの位置マーカ５０ｇ（位置マーカ５０ｇに対応する指定位置と同じ、または当該位置から所定範囲の近傍の位置）をタップ等により選択すると、タッチスクリーンの画面は図７Ｃに示す画面に遷移する。表示された画像には位置マーカが表示されておらず、この画像データに関連付けられているデータはないことが分かる。
【００８２】
再び図７Ａに戻り、位置マーカ５０ｆ（位置マーカ５０ｆに対応する指定位置と同じ、または当該位置から所定範囲の近傍の位置）をタップ等により選択すると、タッチスクリーンの画面は図７Ｄに示す画面に遷移する。表示された画像には位置マーカが表示されておらず、この画像データに関連付けられているデータはないことが分かる。
【００８３】
上記のような一連の操作により、ユーザは、会議室にあるモニタ台に引き出しがあって、その中にはキーボードが収納されていることと、会議室の窓から外側の方向を見た場合に、どのような景色になっているかを知ることができる。
【００８４】
上述した例では、ユーザによってタッチスクリーン上でタッチまたはタップが行われると、それが位置指定操作と判断され、そのタッチ位置で指定された画像の特定の座標が、位置情報として指定情報取得部２１によって取得される。しかし、ユーザがタッチスクリーン上で一定時間以上タッチした場合に（たとえば、長押しを行った場合に）、位置指定操作が開始されたと判断し、そのタッチ位置を位置情報として取得するように制御することもできる。この場合も、位置指定操作の後で方向指定モードに遷移する。なお、ここで示す操作や判断のタイミングは一例に過ぎない。ユーザによる様々な所定の操作・タイミングに応じて位置指定操作と方向指定操作が行われるように制御することができる。
【００８５】
また、上記の図５ないし図７に示す画像表示画面１１０では、ユーザが指定した画像データに、新規に撮影した画像データや既存のデータを関連付けることができる関連付けオペレーションと、ユーザが指定した画像データを表示させた後で、この画像に関連付けられている画像データを表示させることができる表示オペレーションが、同時に出来るようになっている。しかし、こうした画像表示画面１１０を上位メニューで区別し、たとえば、「関連付け用画像表示画面１１０ａ」および「表示用画像表示画面１１０ｂ」として、別個にオペレーションができるよう実装することができる。そのように構成することで、たとえば、同じ指定位置において、異なる指定方向にそれぞれ別の画像を関連付けするといった操作が比較的簡単に実現される。
【００８６】
次に、図８のフローチャートを参照して、図５および図６に示した処理、すなわち、ユーザが指定した画像データ（リンク元の画像データ）に、新規に撮影した画像データ（リンク先の画像データ）を関連付ける処理のフローについて説明する。
【００８７】
最初に、ステップＳ１０において、図５Ｂに示すように、選択された画像データを記憶装置から取得し、タッチスクリーンに画像表示画面１１０を表示する。次に、ステップＳ１２において、ユーザから位置指定操作がされたかどうか（すなわち、ユーザの指がタッチスクリーンにタッチしたかどうか）が判定される。位置指定操作があるまで当該判定処理は繰り返され、位置指定操作があった場合に、ステップＳ１４に進む。
【００８８】
ステップＳ１４では、指定された画像の位置（すなわち、ユーザの指がタッチスクリーンにタッチした位置）に、位置マーカとガイド矢印５４を表示し、方向指定モードに遷移する。次に、ステップＳ１６において、タッチスクリーンへのタッチの状況に変化があるかどうかが判定される。タッチスクリーンから指が離れる操作（タップを含む）がされた場合は、位置指定操作のみが行われると判断して方向指定モードを終了し、ステップＳ２４に進む。ドラッグがされていると判定された場合は、ステップＳ１８に進んでタッチスクリーン上に、タッチ位置に追従して、位置マーカを基準としたガイドスポット５８を表示する。
【００８９】
その後、ステップＳ２０において、ユーザの指がタッチスクリーンから離れたら、方向指定操作がされたと判断し、ステップＳ２２に進み、そこで、位置マーカから指定された位置に向けて方向マーカが表示され、ステップＳ２４において、図６Ａに示すような、リンク先選択メニューを表示する。
【００９０】
次に、ステップＳ２６において、ユーザがリンク先選択メニューで指定したリンク先が判定される。「ライブラリから選択」ボタンがタップされた場合には、ステップＳ２８に進み、そこで、データ選択画面を表示する。その後、ステップＳ３０で、データの選択があったかどうかが判定され、選択があった場合は、ステップＳ３２に進む。そして、ステップＳ３２において、リンク制御部２５がリンク情報３２を生成し、そのリンク情報３２を記憶装置３０に記憶する。
【００９１】
ステップＳ２６において、「新規にカメラで撮影」ボタンがタップされた場合には、ステップＳ３４に進み、そこで、情報端末２０は写真撮影モードに移行する。ステップＳ３６で、シャッターボタンがタップされ撮影が終了したかどうかが判定され、撮影が終了した場合は、ステップＳ３８において、リンク制御部２５がリンク情報を生成し、そのリンク情報３２を記憶装置３０に記憶する。さらに、撮影制御部２４は、新規にカメラで撮影された画像の画像データを記憶装置３０に記憶する。
【００９２】
次に、図９のフローチャートを参照して、図７に示した処理、すなわち、ユーザが指定した画像データ（リンク元の画像データ）を表示させた後で、この画像に関連付けられている画像データ（リンク先の画像データ）を順次表示させる処理のフローについて説明する。
【００９３】
最初に、ステップＳ５０において、選択された画像データと、この画像データに対応付けられたリンク情報３２を記憶装置３０から取得する。次に、ステップＳ５２で、取得した画像データを処理して、表示装置に対応する画像を所定の解像度で表示する。そして、ステップＳ５４において、取得したリンク情報３２から、位置マーカの表示位置と方向マーカの方向を求め、これらを、表示されている画像にオーバーラップして表示する。位置マーカが複数設定されている場合は、それぞれに対して上記表示処理を行う。
【００９４】
次に、ステップＳ５６で、ユーザによる位置マーカの選択があったかどうか（すなわち、ユーザが指で位置マーカの表示されている位置をタップしたかどうか）が判定される。ユーザによる位置マーカの選択があった場合、ステップＳ５８に進み、ここで、リンク情報３２を参照して、選択された位置マーカに対応する画像データを記憶装置３０から取得する。次に、ステップＳ６０において、取得した画像データに対応する画像を表示装置上に表示する。
【００９５】
図４ないし図９の説明に関して、情報端末２０としてスマートフォン７１が使用されているものとして説明したが、これらは例示に過ぎず、本発明においては、スマートフォンのほかに、デジタルカメラ、ＰＤＡ、携帯電話、ＰＣといった情報端末を利用可能である。たとえば、上記説明における「タップ」というユーザ操作は、デジタルカメラ、ＰＤＡ、携帯電話では決定ボタンの押下、ＰＣではマウスクリックやエンターキーの押下として実現されうる。また、「ドラッグ＆ドロップ」というユーザ操作は、デジタルカメラ、ＰＤＡ、携帯電話では十字キーの上下左右を指定するボタンおよび決定ボタン等の押下等で、ＰＣではマウスを用いたドラッグ操作などで実現されうる。また、スマートフォン７１では、タッチスクリーン４１に表示されるソフトキーにより文字列を入力することができるが、この操作は、ＰＤＡや携帯電話では十字キーの上下左右を指定するボタンおよび数字キー等の押下、ＰＣでは、キーボードのキーの押下などで実現される。
【００９６】
また、一部のデジタルカメラにおいては、ファインダー画像を表示するディスプレイ部分にタッチスクリーンを採用しているものもあり、こうしたタイプのデジタルカメラでは、例示したスマートフォン７１と同様の操作で本発明を技術的思想を実現することができる。
【００９７】
これまで、図面を参照しながら、本発明の一実施形態に係る情報端末２０の処理について説明してきたが、こうした構成や処理方法は一例に過ぎない。他の様々な構成および処理方法で、本発明と同様のアイデアを実施することができる。
【００９８】
次に、図１０を参照して、本発明の一実施形態に係る情報端末２０として用いられるスマートフォン７１のハードウエア構成の例について説明する。ただし、図１０のコンピュータ２５０は、スマートフォン７１として機能するコンピュータの代表的な構成を例示したにすぎない。
【００９９】
コンピュータ２５０は、ＣＰＵ（Central Processing Unit）２５１、主記憶メモリ２５２、カメラ２５３、ＧＰＳ制御部２５４、ＧＰＳ用アンテナ２５５、無線信号処理部２５６、無線通信用アンテナ２５７、オーディオ制御部２５８、マイクロフォン２５９、スピーカ２６０、ディスプレイ制御部２６１、入力機器インタフェース２６２、タッチスクリーン２６３、センサー２６４、補助記憶装置２６５、外部記録媒体インタフェース２６６、およびこれらの構成要素を互いに接続するバス２６７を含んでいる。
【０１００】
ＣＰＵ２５１は、コンピュータ２５０の各構成要素の動作を制御し、ＯＳの制御下で、各機能を実行する。たとえば、指定情報取得部２１、撮影画面制御部２２、データ指定画面制御部２３、リンク制御部２５等の処理を制御する。
【０１０１】
主記憶メモリ２５２は通常ＲＡＭ（Random Access Memory）で構成される。主記憶メモリ２５２には、ＣＰＵ２５１で実行される各機能（指定情報取得部２１等の機能）を実現するためのプログラムが実行時にロードされ、当該プログラムに必要なデータ等が一時的に記憶される。
【０１０２】
カメラ２５３は、コンピュータ２５０に内蔵される小型の撮像装置で、撮像素子がＣＣＤやＣＭＯＳといったタイプのものがある。カメラ２５３によって、静止画または動画を撮影する。撮影制御部２４によって撮影された画像は、記憶装置３０内の画像データ３１ａに記憶される。
【０１０３】
ＧＰＳ制御部２５４は、ＧＰＳ用アンテナ２５５を介して、複数のＧＰＳから信号を受信し、コンピュータ２５０の位置を調べる。こうして求められた位置情報は、フラッシュメモリ等に記憶され、必要に応じてプログラムで利用される。本発明においては、ＧＰＳから得られる位置情報は必須でないため、ＧＰＳ制御部２５４およびＧＰＳ用アンテナ２５５は必須の構成要素ではないが、リンク情報３２等に画像データに関するＧＰＳデータを記憶しておけば、本発明におけるデータ間の関連付けをさらに、ＧＰＳデータと関連付けて管理・表示することができる。
【０１０４】
無線信号処理部２５６は、無線通信用アンテナ２５７を介して携帯電話基地局と通信を行い、他の機器との間での通話データの送受信や、（インターネットを介した）他端末との間でのＷｅｂページやメールのデータの送受信を制御する。また、無線信号処理部２５６は、無線通信用アンテナ２５７を用いて無線ＬＡＮアクセスポイントとの間で無線ＬＡＮによる通信を実現し、インターネット経由のデータ送受信を行う（ここでは、便宜上、無線信号処理部２５６と無線通信用アンテナ２５７が、携帯電話基地局との間の無線通信および無線ＬＡＮアクセスポイントとの間の無線通信を行うものとした）。コンピュータ２５０は、無線信号処理部２５６および無線通信用アンテナ２５７を介して、携帯電話網やネットワークに接続されうる。
【０１０５】
オーディオ制御部２５８は、マイクロフォン２５９とスピーカ２６０を制御して無線通信による通話を実現し、一方で、音楽プレイヤーや動画プレイヤーからの音声データを受信して音声を出力するよう制御する。
【０１０６】
ディスプレイ制御部２６１は、ＣＰＵ２５１が発行する描画データを処理して、たとえば、画像表示画面１１０のような画面をタッチスクリーン２６３の表示装置に出力する。入力機器インタフェース２６２は、タッチスクリーン２６３のタッチセンサーが、ユーザによる操作を検知し、これを所定の信号としてＣＰＵ２５１に送信する。タッチスクリーン２６３は、たとえば、ＬＣＤ（Liquid Crystal Display）などで構成される表示装置で情報を表示するとともに、ユーザが指などで画面表面をタッチした（押した）位置を、抵抗膜方式や静電容量方式などのタッチセンサーで検知する。
【０１０７】
センサー２６４は、タッチスクリーン２６３のタッチセンサー以外のセンサーであり、モーションセンサー、光センサー、近接センサーなどがある。
【０１０８】
補助記憶装置２６５は、たとえば、フラッシュメモリと呼ばれる半導体メモリやハードディスクで構成される。補助記憶装置２６５は、ＣＰＵ２５１で実行される各機能（指定情報取得部２１等の機能）を実現するためのプログラムを記憶するほか、データ３１、リンク情報３２などが格納される記憶装置３０としても利用される。
【０１０９】
外部記録媒体インタフェース２６６は、外部記録媒体２７０にアクセスして、そこに記録されているデータを読み取る。外部記録媒体２７０は、たとえば、可搬型のフラッシュメモリである。ＣＰＵ２５１で実行され本発明の各機能を実現するためのプログラムは、この外部記録媒体インタフェース２６６や、前述したような、無線信号処理部２５６および無線通信用アンテナ２５７を介した携帯電話網やネットワークを経由してコンピュータ２５０（情報端末２０）に提供される。
【０１１０】
図１０は、スマートフォン７１が情報端末２０として用いられた場合のコンピュータ２５０を示しているが、たとえば、デジタルカメラ、ＰＤＡ、携帯電話機が情報端末２０として用いられた場合、これらがタッチスクリーンを備えていなければ、コンピュータ２５０は、ディスプレイ制御部２６１には、ＬＣＤ等からなる表示装置が接続され、入力機器インタフェース２６２にはボタン等が接続される。
【０１１１】
また、一般的なＰＣが情報端末２０として用いられた場合、コンピュータ２５０は、外部ネットワークに接続するためのネットワークインタフェースが追加され、ディスプレイ制御部２６１には、ＬＣＤ等からなる組み込み型または別筐体の表示装置が接続され、入力機器インタフェース２６２には、キーボードやマウスが接続される。
【符号の説明】
【０１１２】
２０・・・情報端末、２１・・・指定情報取得部、２２・・・撮影画面制御部、２３・・・データ指定画面制御部、２４・・・撮影制御部、２５・・・リンク制御部、２６・・・入出力制御部、３０・・・記憶装置、３１・・・データ、３２・・・リンク情報、５０・・・カメラ
【特許請求の範囲】
【請求項１】
画像を表示する表示手段と、
ユーザが前記表示手段に表示されている第１画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得手段と、
ユーザによる前記指定操作の後で、前記表示手段に、第２画像を撮影するための撮影画面を表示させる撮影画面制御手段と、
前記撮影画面における前記ユーザの第２画像撮影操作に応じて、撮像手段で第２画像データを取得するよう制御する撮影制御手段と、
前記第１画像を表示するための第１画像データおよび前記第２画像データを、前記指定情報に基づいて関連付けるためのリンク情報を生成し記憶するリンク制御手段を有し、
前記指定情報取得手段は、ユーザが前記第１画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得することを特徴とする情報端末。
【請求項２】
請求項１に記載の情報端末において、
前記指定情報取得手段は、
前記位置指定操作後に、方向指定モードに遷移するよう制御し、
ユーザが、前記方向指定モードで、前記指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、前記位置情報に加えて、ユーザが指定した方向を表す方向情報を取得することを特徴とする情報端末。
【請求項３】
請求項２に記載の情報端末において、
前記指定情報取得手段は、前記方向指定モードに遷移した場合に、前記表示装置上で、前記指定位置を表す位置マーカを表示し、ユーザの方向指定操作をガイドするためのガイド情報を表示し、
少なくとも前記ガイド情報の一部は、前記指定位置マーカからユーザが前記方向指定操作において指定する位置に向かって延び、前記ユーザが指定する位置に追従して指定方向を指すガイド情報であることを特徴とする情報端末。
【請求項４】
画像を表示する表示手段と、
ユーザが前記表示手段に表示されている画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得手段と、
ユーザによる前記指定操作の後で、前記表示手段に、データを指定するためのデータ指定画面を表示させるデータ指定画面制御手段と、
前記表示手段に前記画像を表示するための画像データおよび前記データ指定画面で指定された前記データを、前記指定情報に基づいて関連付けるためのリンク情報を生成し記憶するリンク制御手段を有し、
前記指定情報取得手段は、ユーザが前記画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得することを特徴とする情報端末。
【請求項５】
請求項４に記載の情報端末において、
前記指定情報取得手段は、
前記位置指定操作後に、方向指定モードに遷移するよう制御し、
ユーザが、前記方向指定モードで、前記指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、前記位置情報に加えて、ユーザが指定した方向を表す方向情報を取得することを特徴とする情報端末。
【請求項６】
ユーザが、画像を表示する表示手段に表示されている第１画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得ステップと、
ユーザによる前記指定操作の後で、前記表示手段に、第２画像を撮影するための撮影画面を表示させる撮影画面制御ステップと、
前記撮影画面における前記ユーザの第２画像撮影操作に応じて、撮像手段で第２画像データを取得するよう制御する撮影制御ステップと、
前記第１画像を表示するための第１画像データ、前記指定情報、および前記第２画像データを関連付けるためのリンク情報を生成し記憶するリンク制御ステップを有し、
前記指定情報取得ステップは、ユーザが前記第１画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得することを特徴とするデータ管理方法。
【請求項７】
請求項６に記載のデータ管理方法において、
前記指定情報取得ステップは、
前記位置指定操作後に、方向指定モードに遷移するよう制御し、
ユーザが、前記方向指定モードで、前記指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、前記位置情報に加えて、ユーザが指定した方向を表す方向情報を取得することを特徴とするデータ管理方法。
【請求項８】
リンク元データを特定するための情報と、
前記リンク元データに関する指定情報に基づいて、前記リンク元データに関連付けられるリンク先データを特定するための情報と、
前記リンク先データに対応付けされた前記リンク元データおよび前記指定情報、または前記リンク元データに対応付けされた前記リンク先データおよび前記指定情報を含み、
前記指定情報は、少なくとも前記リンク元データを表示装置に表示した場合の特定の位置を表す位置情報を含むことを特徴とする関連付け定義データ。
【請求項９】
請求項８に記載の関連付け定義データにおいて、
前記関連付けによりリンクされた一群のリンク元データおよびリンク先データのなかに、少なくとも２つのリンク元データ、または少なくとも２つのリンク先データが含まれることを特徴とする関連付け定義データ。
【請求項１０】
画像を表示する表示手段を備えた情報端末に、
ユーザが前記表示手段に表示されている第１画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得手段、
ユーザによる前記指定操作の後で、前記表示手段に、第２画像を撮影するための撮影画面を表示させる撮影画面制御手段、
前記撮影画面における前記ユーザの第２画像撮影操作に応じて、撮像手段で第２画像データを取得するよう制御する撮影制御手段、および、
前記第１画像を表示するための第１画像データ、前記指定情報、および前記第２画像データを関連付けるためのリンク情報を生成し記憶するリンク制御手段として機能させるためのプログラムであって、
前記指定情報取得手段は、ユーザが前記第１画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得することを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムにおいて、
前記指定情報取得手段は、
前記位置指定操作後に、方向指定モードに遷移するよう制御し、
ユーザが、前記方向指定モードで、前記指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、前記位置情報に加えて、ユーザが指定した方向を表す方向情報を取得することを特徴とするプログラム。
【請求項１】
画像を表示する表示手段と、
ユーザが前記表示手段に表示されている第１画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得手段と、
ユーザによる前記指定操作の後で、前記表示手段に、第２画像を撮影するための撮影画面を表示させる撮影画面制御手段と、
前記撮影画面における前記ユーザの第２画像撮影操作に応じて、撮像手段で第２画像データを取得するよう制御する撮影制御手段と、
前記第１画像を表示するための第１画像データおよび前記第２画像データを、前記指定情報に基づいて関連付けるためのリンク情報を生成し記憶するリンク制御手段を有し、
前記指定情報取得手段は、ユーザが前記第１画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得することを特徴とする情報端末。
【請求項２】
請求項１に記載の情報端末において、
前記指定情報取得手段は、
前記位置指定操作後に、方向指定モードに遷移するよう制御し、
ユーザが、前記方向指定モードで、前記指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、前記位置情報に加えて、ユーザが指定した方向を表す方向情報を取得することを特徴とする情報端末。
【請求項３】
請求項２に記載の情報端末において、
前記指定情報取得手段は、前記方向指定モードに遷移した場合に、前記表示装置上で、前記指定位置を表す位置マーカを表示し、ユーザの方向指定操作をガイドするためのガイド情報を表示し、
少なくとも前記ガイド情報の一部は、前記指定位置マーカからユーザが前記方向指定操作において指定する位置に向かって延び、前記ユーザが指定する位置に追従して指定方向を指すガイド情報であることを特徴とする情報端末。
【請求項４】
画像を表示する表示手段と、
ユーザが前記表示手段に表示されている画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得手段と、
ユーザによる前記指定操作の後で、前記表示手段に、データを指定するためのデータ指定画面を表示させるデータ指定画面制御手段と、
前記表示手段に前記画像を表示するための画像データおよび前記データ指定画面で指定された前記データを、前記指定情報に基づいて関連付けるためのリンク情報を生成し記憶するリンク制御手段を有し、
前記指定情報取得手段は、ユーザが前記画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得することを特徴とする情報端末。
【請求項５】
請求項４に記載の情報端末において、
前記指定情報取得手段は、
前記位置指定操作後に、方向指定モードに遷移するよう制御し、
ユーザが、前記方向指定モードで、前記指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、前記位置情報に加えて、ユーザが指定した方向を表す方向情報を取得することを特徴とする情報端末。
【請求項６】
ユーザが、画像を表示する表示手段に表示されている第１画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得ステップと、
ユーザによる前記指定操作の後で、前記表示手段に、第２画像を撮影するための撮影画面を表示させる撮影画面制御ステップと、
前記撮影画面における前記ユーザの第２画像撮影操作に応じて、撮像手段で第２画像データを取得するよう制御する撮影制御ステップと、
前記第１画像を表示するための第１画像データ、前記指定情報、および前記第２画像データを関連付けるためのリンク情報を生成し記憶するリンク制御ステップを有し、
前記指定情報取得ステップは、ユーザが前記第１画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得することを特徴とするデータ管理方法。
【請求項７】
請求項６に記載のデータ管理方法において、
前記指定情報取得ステップは、
前記位置指定操作後に、方向指定モードに遷移するよう制御し、
ユーザが、前記方向指定モードで、前記指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、前記位置情報に加えて、ユーザが指定した方向を表す方向情報を取得することを特徴とするデータ管理方法。
【請求項８】
リンク元データを特定するための情報と、
前記リンク元データに関する指定情報に基づいて、前記リンク元データに関連付けられるリンク先データを特定するための情報と、
前記リンク先データに対応付けされた前記リンク元データおよび前記指定情報、または前記リンク元データに対応付けされた前記リンク先データおよび前記指定情報を含み、
前記指定情報は、少なくとも前記リンク元データを表示装置に表示した場合の特定の位置を表す位置情報を含むことを特徴とする関連付け定義データ。
【請求項９】
請求項８に記載の関連付け定義データにおいて、
前記関連付けによりリンクされた一群のリンク元データおよびリンク先データのなかに、少なくとも２つのリンク元データ、または少なくとも２つのリンク先データが含まれることを特徴とする関連付け定義データ。
【請求項１０】
画像を表示する表示手段を備えた情報端末に、
ユーザが前記表示手段に表示されている第１画像に対して指定操作を行った場合に、指定内容を表す指定情報を取得する指定情報取得手段、
ユーザによる前記指定操作の後で、前記表示手段に、第２画像を撮影するための撮影画面を表示させる撮影画面制御手段、
前記撮影画面における前記ユーザの第２画像撮影操作に応じて、撮像手段で第２画像データを取得するよう制御する撮影制御手段、および、
前記第１画像を表示するための第１画像データ、前記指定情報、および前記第２画像データを関連付けるためのリンク情報を生成し記憶するリンク制御手段として機能させるためのプログラムであって、
前記指定情報取得手段は、ユーザが前記第１画像に対して位置指定操作を行った場合に、指定情報として、ユーザが指定した位置を表す位置情報を取得することを特徴とするプログラム。
【請求項１１】
請求項１０に記載のプログラムにおいて、
前記指定情報取得手段は、
前記位置指定操作後に、方向指定モードに遷移するよう制御し、
ユーザが、前記方向指定モードで、前記指定位置からの方向を指定する方向指定操作を行った場合に、指定情報として、前記位置情報に加えて、ユーザが指定した方向を表す方向情報を取得することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１５６７９３（Ｐ２０１２−１５６７９３Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１４１２８（Ｐ２０１１−１４１２８）
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（３０００４９１７６）株式会社インテグラル (2)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（３０００４９１７６）株式会社インテグラル (2)
【Ｆターム（参考）】
[ Back to top ]