画像検索装置および画像検索プログラム
【課題】被写体の位置の指定によって，被写体が写っている画像を検索できるシステムを提供する。
【解決手段】画像取得部１は，画像データとともに，その画像データの撮影位置情報と撮影方向範囲情報とを取得し，データ蓄積部２はそれらのデータを蓄積する。位置指定部３が，利用者が指定する検索対象物の位置を入力すると，データ検索部４は，その指定された位置が画像内に含まれる画像データを，画像データの撮影位置情報と撮影方向範囲情報とをもとにデータ蓄積部２から検索する。データ表示部５は，検索された画像データを表示する。
【解決手段】画像取得部１は，画像データとともに，その画像データの撮影位置情報と撮影方向範囲情報とを取得し，データ蓄積部２はそれらのデータを蓄積する。位置指定部３が，利用者が指定する検索対象物の位置を入力すると，データ検索部４は，その指定された位置が画像内に含まれる画像データを，画像データの撮影位置情報と撮影方向範囲情報とをもとにデータ蓄積部２から検索する。データ表示部５は，検索された画像データを表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は，蓄積された画像を検索する画像検索装置および画像検索プログラムに関するものである。
【背景技術】
【０００２】
特許文献１に記されているように，ＧＰＳ（Global Positioning System ）から得られる位置情報を画像情報と同期させて記録する技術は従来からある。
【０００３】
画像データの記録に当たっては，「Ｅｘｉｆ」と呼ばれる仕様が規定されていて実際に広く使われているが，そのＥｘｉｆにおいて，撮影時のＧＰＳ位置情報（緯度，経度，移動方向など）の記録フォーマットも規定されている（非特許文献１，第５５ページ参照）。実際にこのフォーマットに基づき，位置情報が付与された画像データを撮影する機器も市販されている。なお，非特許文献１は，“http://it.jeita.or.jp/document/publica/standard/exif/japanese/Exifj.pdf ”からダウンロード可能である。
【０００４】
このような機器により撮影された，複数の位置情報付きＥｘｉｆフォーマットの画像データを収集して，サーバに蓄積する際に，Ｅｘｉｆフォーマットを解析して緯度経度情報を取り出し，画像データのＩＤ（あるいはファイル名）と位置情報をデータベースによって管理することで，利用者が指定した位置（あるいは指定した位置から一定距離内）で撮影された画像データのみを検索して表示するような画像検索装置を構成することが可能であった。
【０００５】
他にも，画像データが多数蓄積された画像データベースから，利用者が検索をする方法としては，蓄積された画像に情報を付与する（一般に「タグ付け」と呼ばれる）ことにより，そのタグを検索することで検索を行うという方法も知られている。例えば，「富士山」というキーワードを入力して検索を行うと，「富士山」というタグ付けされた画像データが検索されるようなサービスを提供するシステムが存在する。
【０００６】
画像データとしては，広角レンズあるいは魚眼レンズを装着したカメラで撮影することにより，広角な，すなわち，多数の被写体を含んだ画像データを取得することが可能である。
【０００７】
さらに，特許文献２の第４段落から第６段落および図４に記載されているように，このようなレンズを用いるのではなく，同一地点から撮影されたカメラを水平あるいは垂直方向に回転して得られる画像を合成することにより，同様に多数の被写体を含んだパノラマ画像データを取得することも可能である。
【特許文献１】特開平７−１２３３４８号公報
【特許文献２】特開平１１−１５９５３号公報
【非特許文献１】「ディジタルスチルカメラ用画像ファイルフォーマット規格（Exif）Version 2.1 」，社団法人 日本電子工業振興協会，平成１０年１２月改正，P.55
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら，これらの従来技術により管理されているのは，撮影したカメラの位置であって，被写体の位置ではない。そのため，利用者が，特定の被写体が撮影された画像データを，その被写体の存在する位置を指定することで検索することはできない。
【０００９】
被写体がカメラからあまり離れていない場合には，被写体の位置をカメラの位置として近似し，適当な閾値を設定することで，実質的に目的とする効果（特定の被写体の検索結果）を得ることができる。例えば，ある特定の電柱位置から，３０ｍ以内の位置で撮影された画像を検索すると，その電柱が撮影されている可能性が高い画像データを検索することができる。しかしながら，この方法では，例えばその電柱を背にして撮影された画像（当然，当該電柱は写っていない）も検索結果に含まれてしまうという問題がある。
【００１０】
すなわち，このような従来技術では，検索したい被写体が写っていない画像が検索結果に含まれてしまうという課題がある。
【００１１】
タグ付けによる方法では，このようなカメラと被写体との距離とは関係なく検索を行うことができるが，そのためには，データの蓄積時に被写体に関するタグ付けを行わなくてはならない。しかしながら，一般に通常撮影された画像には多数の被写体が含まれているのに対し，それらすべてをタグとして付与することは困難である。特に，撮影者が意図せずに写りこんだ被写体（例えば富士山を撮影したときにたまたま写った電柱など）については，タグ付けされないため，検索結果に含まれることはない。
【００１２】
すなわち，このような従来技術では，検索したい被写体が写っている画像が検索結果に含まれないという課題がある。
【００１３】
また，以上のように検索結果に含まれるか否かの課題のほかに，特に広角やパノラマ画像のように多数の被写体が含まれる画像の場合，検索対象がその画像上のどこに含まれるかについて識別が困難であるという課題もある。
【００１４】
本発明は，上記課題の解決を図り，カメラの位置ではなく，被写体の位置の指定によって，被写体が写っている画像を検索することができるシステムを提供することを目的としている。
【課題を解決するための手段】
【００１５】
本発明は，上記課題を解決するため，画像に対して，カメラの撮影位置（緯度経度）と，撮影方向（左右）の情報を付加情報として蓄積しておく。撮影対象の位置（経度緯度）が指定されると，カメラ位置と撮影方向から，指定された撮影対象が写っている画像を検索する。
【００１６】
すなわち，本発明は，画像データとともに，その画像データの撮影位置情報と撮影方向範囲情報とを取得する画像取得部と，前記画像取得部により取得されたデータを蓄積するデータ蓄積部と，検索対象物の位置を入力装置から入力して指定する位置指定部と，前記位置指定部により指定された位置が前記画像データの画像内に含まれるかどうかを，前記画像データとともに前記データ蓄積部に蓄積された撮影位置情報と撮影方向範囲情報とに基づいて判別し，前記指定された位置が画像内に含まれる画像データを前記データ蓄積部から検索するデータ検索部と，検索された画像データを表示装置に出力するデータ表示部とを備えることを特徴とする。
【００１７】
これによって，本発明は，カメラの位置ではなく，被写体の位置の指定によって，被写体が写っている画像を検索することができる。
【００１８】
上記発明においては，前記データ検索部が前記撮影位置情報と撮影方向範囲情報とに基づいて画像データを検索する条件，すなわち前記位置指定部により指定された位置が前記画像データの画像内に含まれるかどうかを判別する条件としては，前記指定された位置が画像の左端方向と右端方向の間に入っており，かつ前記指定された位置が前記撮影位置から所定の距離の範囲内にあるという条件を用いることができる。
【００１９】
所定の距離については，あらかじめ一定値を定めておいてもよいし，利用者に事前にまたは検索時に指定させてもよい。これにより，画像にタグ付けを行わなくても，検索対象物が写っている蓋然性の高い画像を選び出すことができる。
【００２０】
また，上記発明において，前記データ表示部は，前記データ検索部により検索された画像データを表示装置に表示する際に，画像内の前記指定された位置を指す方向にマークを付加して表示することも好適である。これにより，検索結果の画像が特に広角やパノラマ画像のように多数の被写体が含まれる画像である場合に，利用者は，検索対象物がその画像上のどこに含まれるかについて容易に識別できるようになる。
【００２１】
また，上記発明において，前記データ表示部は，前記データ検索部により検索された画像データを表示装置に表示する際に，画像内の前記指定された位置を指す方向が表示画面上で所定のオフセット位置になるように表示位置を調整して表示することも好適である。これにより，表示画面上の決まった位置に検索対象物を表示させることができ，特に検索結果が多く出力されるような場合に，検索対象物を見やすく表示させることができる。
【００２２】
また，上記発明において，前記データ表示部は，前記データ検索部により検索された画像データを表示装置に表示する際に，撮影位置から前記指定された位置までの方向を所定の順序でソートして表示することも好適である。これにより，特に検索結果が多く出力されるような場合に，カメラとそれぞれの画像における検索対象物の方向的な位置関係を把握しやすくなる。
【発明の効果】
【００２３】
本発明によれば，検索したい撮影対象が写っている画像をその撮影対象の位置から容易に検索することができるようになる。
【発明を実施するための最良の形態】
【００２４】
以下，図面を用いて本発明の実施の形態について説明する。
【００２５】
図１は，本発明の全体の構成図を示す。図１において，画像取得部１は，画像データとともに，その画像データの撮影位置情報と撮影方向範囲情報とを取得する手段である。データ蓄積部２は，画像取得部１が取得した画像データと，その付加情報である撮影位置情報と撮影方向範囲情報とを蓄積する。位置指定部３は，利用者が指定する検索対象物の位置を入力装置から入力し，検索する画像を指定する手段である。データ検索部４は，位置指定部３により指定された位置が画像内に含まれる画像データを，データ蓄積部２から検索する手段である。データ検索部４は，撮影位置・方向判定部４１を有し，位置指定部３により指定された位置が画像内に含まれるかどうかを，撮影位置・方向判定部４１による撮影位置と撮影方向範囲の検索条件の判定により決定する。データ表示部５は，データ検索部４が検索したデータを表示装置に表示する手段である。
【００２６】
なお，位置指定部３が指定位置を入力する入力装置およびデータ表示部５がデータを表示する表示先の表示装置は，ネットワークを介して接続される端末であってもよい。
【００２７】
まず，画像取得部１の構成例について述べる。図２は，本実施の形態における画像取得部１の構成例を示している。
【００２８】
画像取得部１における画像，位置，方向情報の入力方法として，例えば図２（Ａ）に示すようなセンサを利用する方法や，図２（Ｂ）に示すような車両に搭載した機器を利用する方法を用いることができる。
【００２９】
図２（Ａ）では，画像を取得するための装置として，デジタルカメラ１０２を用い，また，位置の取得にはＧＰＳ装置１０１を用いている。さらに，方向の取得には，ジャイロあるいは地磁気センサ１０３といった方向を検知することができるセンサが市販されているので，これらのセンサをデジタルカメラ１０２に取り付け，デジタルカメラ１０２による画像の取得と同期して方向も取得できるようにしている。取得した情報は，メモリカード１０４に記録され，メモリカード１０４を介して，または，有線もしくは無線のインタフェースを介して処理用パーソナルコンピュータ（ＰＣ）１０に取り込まれる。
【００３０】
なお，以下では，方向については図３に示すような記法を用いて説明する。すなわち，本実施の形態では，方向については真北方向を０度とし，時計回りに真北方向からの角度により記述する。例えば図３に示すＤ１の南東方向は１３５度であり，Ｄ２の真西方向は２７０度として記述する。
【００３１】
図２（Ｂ）に示す例では，ＧＰＳ装置１１２とデジタルカメラ１１３とを車両１１１（自動車を想定）に固定して設置し，車両１１１の移動とともに画像データを取得するという方法を用いる。方向については，次のようにして取得する。
【００３２】
図４は，車両に搭載した機器による方向の取得方法を説明する図である。図４では，車両１１１を真上から見た様子を表している。デジタルカメラ１１３は，車両１１１の進行方向に対してα度（この例ではα＝９０）で固定して取り付けられるものとする。画像はデジタルカメラ１１３により取得し，位置はＧＰＳ装置１１２により取得する。
【００３３】
ＧＰＳ装置１１２により取得した現在位置と，直前の位置との差分から，その差分がゼロでなければ，その間の移動方向を計算することが可能である。ＧＰＳの位置取得周期（通常一秒程度）は，車両１１１が方向を変える時間に比べて短いため，この差分により求められる方向は，その瞬間の車両１１１の方向として近似しても実用上問題ない。車両１１１が停止している場合には差分がゼロとなるが，車両１１１（自動車を想定）は，位置を変えずに方向のみを変えることは原則不可能なので，ゼロでない直近の差分から得られる方向を使うことができる。このようにして，ＧＰＳのデータのみから，車両１１１の方向を求めることができる。
【００３４】
デジタルカメラ１１３は車両１１１に固定して設置してあるため，車両１１１の進行方向に対するデジタルカメラ１１３の向きは不変であるので，その値を加算することで，デジタルカメラ１１３の向きを算出することが可能である。例えば図４（Ｂ）の場合の，ＧＰＳの移動差分から得られる車両進行方向がｔ度であるとすると，デジタルカメラ１１３の撮影方向は，
撮影方向＝（ｔ＋α） ｍｏｄ ３６０度
となる。ここで，「ｍｏｄ ３６0 」は，３６０で割ったときの剰余である。
【００３５】
なお，非特許文献１に記載されているように，Ｅｘｉｆフォーマットには，位置情報のほか，進行方向や撮影した画像の方向を格納するフォーマットも規定されているため，これらのデータは，Ｅｘｉｆフォーマットとして画像データとともにメモリカード１１４等へ格納することができる。
【００３６】
このようにして取得された画像データ・位置データ・カメラ方向データは，メモリカード１０４，１１４などを通じて，方向範囲を計算するための処理用ＰＣ１０に送られ，方向範囲計算部１１において，カメラ水平画角からの方向範囲の計算が行われる。もちろん，ここまでの計算を，小型可搬なＰＣで撮影と同時に行うように構成することも可能である。
【００３７】
図５は，画像の撮影方向範囲の取得方法を説明する図である。一般に，カメラで撮影される画像に写される光景の範囲を角度で表したものを画角と呼ぶが，この値は，カメラの構造と取り付けたレンズにより決まった値となる。そこで，方向範囲計算部１１では，この画角の値をもとに，方向範囲を示すための左端方向および右端方向を，次のように計算することができる。
【００３８】
図５（Ａ）に示すように，カメラの撮影方向をａ度，カメラの水平方向の画角をｓ度とする。画像の左端方向と右端方向は，図５（Ｂ）に示す式から求められる。すなわち，左端方向は，カメラ中心から見て「（ａ−ｓ／２） ｍｏｄ ３６０度」となる。また，右端方向は，カメラ中心から見て「（ａ＋ｓ／２） ｍｏｄ ３６０度」となる。
【００３９】
なお，画像取得部１の構成に当たっては，オプションとしてパノラマ合成部１２を設けることもできる。パノラマ合成部１２では，特許文献２の方法により複数の画像をパノラマ合成して，より広角の画像を得る。この場合には，パノラマ作成の過程でどの画像を組み合わせたかは分かっているので，その左端方向，右端方向の最大値，最小値を保持することにより，最終的に得られるパノラマ画像の左端方向，右端方向を求めることができる。
【００４０】
画像取得部１では，以上のようにして，画像データと，画像の位置（緯度経度）と，画像の左端および右端の方向を取得する。
【００４１】
図６は，本実施の形態において画像取得部１以外の構成を，１台のコンピュータで実現する場合の例を示している。
【００４２】
本実施の形態で使用するコンピュータ６０は，命令に従って動作を実行するために必要なＣＰＵやメモリのほかに，画像等のデジタルデータを蓄積するためのハードディスク装置（ＨＤＤ）２０と，利用者に対して情報を表示するためのディスプレイ５０と，利用者が情報を入力するためのマウス等のポインティングデバイス３０を備えている。
【００４３】
まず，データ蓄積部２の構成例について述べる。データ蓄積部２は，ＨＤＤ２０とそれを制御するための入出力機能および一般に市販されているデータベースマネジメントシステム（ＤＢＭＳ）２１として実現できる。すなわち，画像取得部１により求められた画像データをＨＤＤ２０上の特定のフォルダ上に，例えばＪＰＥＧ形式のファイルとして蓄積し，撮影位置情報と撮影方向情報については，図７に示すようなＤＢＭＳ２１上のテーブルとして実現することができる。
【００４４】
図７に示すテーブルは，画像データと位置情報・方向情報を保存するための位置・方向情報管理テーブルである。この例では，画像データ自体はＪＰＥＧ形式で特定のフォルダに保存されていることを前提として，画像ファイル名を画像データの代わりに保存する実施方法を記載しているが，画像データのバイナリデータ自体をＤＢＭＳ２１で保存する方法も採り得る。
【００４５】
次に位置指定部３の構成例について述べる。位置指定部３としては，検索したい被写体がある位置を緯度経度で指定することが必要なので，もっとも簡易な実施例としては，コンピュータ６０に接続されたキーボードにより，数値を直接入力できるようにすればよい。
【００４６】
より実用的な位置指定部３の実施例としては，ディスプレイ５０上に地図データを表示し，利用者の操作によって，拡大・縮小・スクロール表示や，住所やランドマークなどを指定して検索することができるソフトウェアを利用する方法もある。このようなソフトウェアは，デジタル地図ソフトとして，多くのものが出回っており市販もされている。
【００４７】
図８は，位置指定部３による位置指定情報の入力画面の例を示している。また，図９は，位置指定部３の処理フローチャートを示している。
【００４８】
位置指定部３は，図８に示すように，指定された位置の地図を画面に表示するとともに，デジタル地図ソフトを機能拡張し，例えば「被写体検索」のような特定のメニューも表示する。利用者が「被写体検索」メニューを選択すると，被写体検索メニュー状態になり（ステップＳ１０），この状態で利用者が画面上をマウス等のポインティングデバイス３０でクリックすると，位置指定部３は，画面上のマウス位置から地図上の緯度経度を求める（ステップＳ１１）。次に，位置指定部３は，データ検索部４を呼び出し，指定された緯度経度をデータ検索部４に渡す（ステップＳ１２）。ディスプレイ５０上のポインタの位置から地図上の位置（緯度経度）への変換は，その時点の表示状態をデジタル地図ソフトが変換パラメータとして保持しており，その機能を利用することで変換することができる。
【００４９】
次に，データ検索部４の構成例について述べる。図１０は，緯度経度から局所直交座標系への変換方法を説明する図，図１１は，検索条件の例を説明する図である。
【００５０】
まず，データ検索部４では，２点の緯度経度により，方向や距離を求める必要がある。厳密な計算のためには，地球の厳密な形状の解析が必要であるが，図１０では，その近似方法について記してある。すなわち，地球は，一周が４万ｋｍの球体であるとみなすことができる。また，局所的な範囲（例えば基点から１０ｋｍ以内の範囲等）においては，その球体の表面を，平面として近似することができる。この場合，次のような計算式により，距離や方向を求めることができる。なお，以下ではｃｏｓやａｒｃｔａｎ等の三角関数は，ラジアン角度ではなく，３６０度法により計算されるものとして記載してある。
【００５１】
Ｐ0 を地図上の基点とし，その緯度をα，経度をβとする。Ｐ1 を対象点とし，その緯度をφ，経度をψとする。地球の１周の距離をＥr ［ｍ］とすると，基点Ｐ0 における経度１度当たりの距離は，Ｅr ×ｃｏｓ（α）×１／３６０ｍであり，緯度１度当たりの距離は，Ｅr ×１／３６０ｍとなる。
【００５２】
基点Ｐ0 から対象点Ｐ1 への南北方向の距離Ｄn （北向きを正とする）は，次式により求まる。
【００５３】
Ｄn （φ）＝Ｅr ×（φ−α）／３６０
基点Ｐ0 から対象点Ｐ1 への東西方向の距離Ｄe （東向きを正とする）は，次式により求まる。
【００５４】
Ｄe （ψ）＝Ｅr ×ｃｏｓ（α）×（ψ−β）／３６０
基点Ｐ0 から対象点Ｐ1 への距離Ｄは，次式により求まる。
【００５５】
Ｄ（φ，ψ）＝Ｅr ×（Ｄn （φ）2 ＋Ｄe （ψ）2 ）1/2
基点Ｐ0 から対象点Ｐ1 への方向θ（図３の記法参照）は，次式により求まる。
【００５６】
・Ｄe ≠０の場合（つまり，ψ≠βの場合）
θ（φ，ψ）＝ａｒｃｔａｎ（Ｄn （φ）／Ｄe （ψ））
・Ｄe ＝０の場合（つまり，ψ＝βの場合）
θ（φ，ψ）＝０度（真北），または，θ（φ，ψ）＝１８０度（真南）
なお，このときθが０度であるか１８０度であるかは，φとαの大小関係により判定することができる。
【００５７】
対象点Ｐ1 から基点Ｐ0 への方向θ′は，θと向きが１８０度変わるので，次のようになる。
【００５８】
θ′（φ，ψ）＝（θ（φ，ψ）＋１８０） ｍｏｄ ３６０
データ検索部４では，画像データの検索時に各画像データが指定された位置をその画像方向範囲内に含むかどうかの判定が必要になる。図１１（Ａ）に示すように，カメラ位置を（Ｃx ，Ｃy ）とし，画像の左端方向をＴl ，右端方向をＴr とする。また，利用者が指定した指定位置を（α，β）とする。データ検索部４の判定では，画像方向範囲が，図１１（Ｂ）に示すように０度（真北方向）をまたぐ可能性を考慮する必要がある。図１１（Ａ）の場合をＣａｓｅ１，図１１（Ｂ）の場合をＣａｓｅ２として説明する。
【００５９】
検索のための条件としては，例えば方向の条件（条件１）および距離の条件（条件２）を用いる。
［条件１］：カメラから見て，指定位置が左端方向と右端方向の範囲に入っている。
［条件２］：カメラから見て，指定位置が距離Ｒ以内に入っている（Ｒは閾値）。
【００６０】
条件１では，θ′（ＣX ，Ｃy ）が左端方向と右端方向の間に入っているかどうかの判定となる。そこで，Ｃａｓｅ１（Ｔl ＜Ｔr のとき）では，次の条件式に合致するかどうかを判定する。
【００６１】
Ｔl ≦θ′（ＣX ，Ｃy ）≦Ｔr
Ｃａｓｅ２（Ｔl ＞Ｔr のとき；０度をまたいでいるとき）では，次の条件式に合致するかどうかを判定する。
【００６２】
Ｔl ≦θ′（ＣX ，Ｃy ）＜３６０ または ０≦θ′（ＣX ，Ｃy ）≦Ｔr
また，条件２は，カメラから見て指定位置が距離Ｒ以内に入っているかどうかであるから，次の条件式に合致するかどうかを判定する。
【００６３】
Ｄ（φ，ψ）≦Ｒ
このように，距離については，ある閾値Ｒを条件として設けてあるが，このＲについては，本発明の実施目的に合わせて，適宜設定してもよいし，検索のたびに，利用者が入力できるようにしてもよい。利用者がＲを入力できるようにする場合には，例えば図８に示す画面における被写体検索メニューのサブメニューとして，Ｒの値を入力できるようにする。
【００６４】
図１２は，以上の検索条件に従って画像データを検索するデータ検索部４の処理フローチャートである。
【００６５】
まず，データ検索部４は，位置指定部３から受け取った引数から，指定位置の緯度αと経度βを取得する（ステップＳ２０）。次に，取得した緯度αと経度βから，距離の条件（上記条件２）を，ＳＱＬ（検索言語）のｗｈｅｒｅ節にして，レコード検索するように，ＳＱＬ文を設定する（ステップＳ２１）。設定したＳＱＬ文をデータ蓄積部２を構成するＤＢＭＳ２１へ送り，指定位置が撮像されている画像データの検索を要求する（ステップＳ２２）。
【００６６】
次に，ＤＢＭＳ２１からの検索結果のそれぞれについて，ステップＳ２３１〜Ｓ２３３の繰り返し処理を実行する（ステップＳ２３）。なお，検索結果は，図７に示す位置・方向情報管理テーブルのレコードである。まず，検索結果の左端方向Ｔl と右端方向Ｔr から，θ′（Ｃx ，Ｃy ）を計算する（ステップＳ２３１）。次に，方向の条件（上記条件１）を満たすかどうかを判定する（ステップＳ２３２）。条件を満たす場合には，判定対象の画像データを検索結果として残し，条件を満たさない場合には，検索結果から判定対象の画像データを削除する（ステップＳ２３３）。以上の処理を，すべての検索結果について繰り返す。
【００６７】
その後，残った検索結果のデータをデータ表示部５へ渡す（ステップＳ２４）。
【００６８】
図１３は，検索結果の例を示す。例えば図１３（Ａ）に示されるような地図上で，Ｐ0 の位置が指定されたとする。この指定位置Ｐ0 の緯度経度情報をもとに，一定の距離Ｒの範囲内で，この指定位置Ｐ0 が画像の左端と右端の範囲に収まっている画像が，図７に示す位置・方向情報管理テーブルから検索されることになる。この例では，検索結果として，Ｒ１，Ｒ２，Ｒ３の３枚の画像が得られている。
【００６９】
最後に，データ表示部５の構成例について述べる。図１４は，データ表示部５の処理フローチャートである。この処理で使われる，画像の表示や，他の画像の重畳，表示位置の指定などは，Ｗｉｎｄｏｗｓ（登録商標）ＯＳなどの標準的な機能を利用することで実施できる。
【００７０】
まず，データ表示部５は，データ検索部４から受け取った検索結果のデータを，θ′をキーとしてソートする（ステップＳ３０）。その後，検索結果の各データについて，ステップＳ３１１〜Ｓ３１４の処理を繰り返す（ステップＳ３１）。この繰り返し処理は，利用者からの指示に従って，１画像ずつ処理を進めてもよいし，繰り返し処理を連続して行い，検索結果の画像を例えばサムネイル表示のように一覧表示するようにしてもよい。
【００７１】
繰り返し処理では，検索結果のデータ中の画像ファイル名をもとに画像ファイルを表示する（ステップＳ３１１）。次に，画像内のθ′の左端からのピクセル数ｐを求める（ステップＳ３１２）。
【００７２】
ここでのピクセル数ｐの求め方を説明する。図１４の下側に示すように画像全体の横のピクセル数をＰＸとする。求め方は，方向の条件（条件１）によって，次のように分類される。
・Ｃａｓｅ１（Ｔl ≦θ′≦Ｔr の場合）
ｐ＝ＰＸ×（θ′−Ｔl ）／（Ｔr −Ｔl ）
・Ｃａｓｅ２−１（Ｔl ＞Ｔr かつＴl ≦θ′＜３６０の場合）
ｐ＝ＰＸ×（θ′−Ｔl ）／（Ｔr ＋３６０−Ｔl ）
・Ｃａｓｅ２−２（Ｔl ＞Ｔr かつ０≦θ′≦Ｔr の場合）
ｐ＝ＰＸ×（θ′＋３６０−Ｔl ）／（Ｔr ＋３６０−Ｔl ）
以上の式により，ピクセル数ｐを算出したならば，求めた画像中のｐの位置に，指定位置の方向を示すマークを描画する（ステップＳ３１３）。また，ｐがディスプレイ画面のｏｆｆｓｅｔ位置にくるように，（ｏｆｆｓｅｔ−ｐ）ピクセル分だけ画像の表示位置を水平にずらす（ステップＳ３１４）。なお，（ｏｆｆｓｅｔ−ｐ）が正なら，画像を右方向にずらし，（ｏｆｆｓｅｔ−ｐ）が負なら，画像を左方向にずらすことになる。繰り返し処理では，以上の処理を検索結果の画像ごとに繰り返す。
【００７３】
図１５は，画像表示位置の調整例を示す図である。表示枠の横幅をＷx ピクセルとする。表示枠は，Ｗｉｎｄｏｗｓ（登録商標）における表示ウィンドウあるいは単なる表示画面である。ｏｆｆｓｅｔは，表示枠のどの位置に画像を表示するかの基準を示すものであり，ｏｆｆｓｅｔの決め方としては，次のような方法を用いることができる。
〔ｏｆｆｓｅｔの決め方１〕
ｏｆｆｓｅｔを画面中央に固定する。ｏｆｆｓｅｔ＝Ｗx ／２ とする。
〔ｏｆｆｓｅｔの決め方２〕
ｏｆｆｓｅｔを必ず固定値とする。例えば，ｏｆｆｓｅｔ＝１００とする。
〔ｏｆｆｓｅｔの決め方３〕
表示に先立ち，利用者がマウス等により指定した位置を使う。ｏｆｆｓｅｔ＝（マウスポインタの横座標）とする。
【００７４】
図１４のステップＳ３１４の処理は，図１５に示すように，ｏｆｆｓｅｔの位置にマークＭ１，Ｍ２がくるように表示位置を調整する処理である。
【００７５】
次に，図１３に示したような利用者の指定位置Ｐ0 に対して，データ検索部４により検索結果Ｒ１，Ｒ２，Ｒ３の画像データが得られたときのデータ表示部５による表示例を，図１６に示す。
【００７６】
検索結果Ｒ１，Ｒ２，Ｒ３は，指定位置Ｐ0 から撮影位置への方向θ′をキーとして，真北方向から時計回りにソートされて表示されるため，図１６に示すように，検索結果Ｒ３の画像，検索結果Ｒ２の画像，検索結果Ｒ１の画像の順番で表示される。なお，θ′の順番ではなく，これと逆方向のθの昇順で検索結果を表示するように定めてもよい。あるいは，真北方向以外の方向から時計回りまたは反時計回りにソートすることもできる。
【００７７】
検索結果の各画像の上端および下端には，指定位置Ｐ0 の方向を示すマークＭ１１〜Ｍ３２が付与される。また，これらの各マークＭ１１〜Ｍ３２の位置が，あらかじめ定められた表示枠内の表示位置を示すｏｆｆｓｅｔもしくは利用者が指定したｏｆｆｓｅｔの位置に合うように，画像が表示される。
【００７８】
以上の画像検索の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００７９】
なお，本実施例では，画像取得部１以外の構成を，１台のコンピュータで実施される例について記してきたが，各機能を別個のコンピュータにより構成する実施例へも容易に応用することができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の全体を示す構成図である。
【図２】本実施の形態における画像取得部の構成例を示す図である。
【図３】方向についての記法を説明する図である。
【図４】車両に搭載した機器による方向の取得方法を説明する図である。
【図５】画像の撮影方向範囲の取得方法を説明する図である。
【図６】本実施の形態において画像取得部以外の構成を，１台のコンピュータで実現する場合の例を示す図である。
【図７】ＤＢＭＳで管理する位置・方向情報管理テーブルの例を示す図である。
【図８】位置指定部による位置指定情報の入力画面の例を示す図である。
【図９】位置指定部の処理フローチャートである。
【図１０】緯度経度から局所直交座標系への変換方法を説明する図である。
【図１１】検索条件の例を説明する図である。
【図１２】データ検索部の処理フローチャートである。
【図１３】検索結果の例を示す図である。
【図１４】データ表示部の処理フローチャートである。
【図１５】画像表示位置の調整例を示す図である。
【図１６】データ表示部による表示例を示す図である。
【符号の説明】
【００８１】
１ 画像取得部
２ データ蓄積部
３ 位置指定部
４ データ検索部
４１ 撮影位置・方向判定部
５ データ表示部
【技術分野】
【０００１】
本発明は，蓄積された画像を検索する画像検索装置および画像検索プログラムに関するものである。
【背景技術】
【０００２】
特許文献１に記されているように，ＧＰＳ（Global Positioning System ）から得られる位置情報を画像情報と同期させて記録する技術は従来からある。
【０００３】
画像データの記録に当たっては，「Ｅｘｉｆ」と呼ばれる仕様が規定されていて実際に広く使われているが，そのＥｘｉｆにおいて，撮影時のＧＰＳ位置情報（緯度，経度，移動方向など）の記録フォーマットも規定されている（非特許文献１，第５５ページ参照）。実際にこのフォーマットに基づき，位置情報が付与された画像データを撮影する機器も市販されている。なお，非特許文献１は，“http://it.jeita.or.jp/document/publica/standard/exif/japanese/Exifj.pdf ”からダウンロード可能である。
【０００４】
このような機器により撮影された，複数の位置情報付きＥｘｉｆフォーマットの画像データを収集して，サーバに蓄積する際に，Ｅｘｉｆフォーマットを解析して緯度経度情報を取り出し，画像データのＩＤ（あるいはファイル名）と位置情報をデータベースによって管理することで，利用者が指定した位置（あるいは指定した位置から一定距離内）で撮影された画像データのみを検索して表示するような画像検索装置を構成することが可能であった。
【０００５】
他にも，画像データが多数蓄積された画像データベースから，利用者が検索をする方法としては，蓄積された画像に情報を付与する（一般に「タグ付け」と呼ばれる）ことにより，そのタグを検索することで検索を行うという方法も知られている。例えば，「富士山」というキーワードを入力して検索を行うと，「富士山」というタグ付けされた画像データが検索されるようなサービスを提供するシステムが存在する。
【０００６】
画像データとしては，広角レンズあるいは魚眼レンズを装着したカメラで撮影することにより，広角な，すなわち，多数の被写体を含んだ画像データを取得することが可能である。
【０００７】
さらに，特許文献２の第４段落から第６段落および図４に記載されているように，このようなレンズを用いるのではなく，同一地点から撮影されたカメラを水平あるいは垂直方向に回転して得られる画像を合成することにより，同様に多数の被写体を含んだパノラマ画像データを取得することも可能である。
【特許文献１】特開平７−１２３３４８号公報
【特許文献２】特開平１１−１５９５３号公報
【非特許文献１】「ディジタルスチルカメラ用画像ファイルフォーマット規格（Exif）Version 2.1 」，社団法人 日本電子工業振興協会，平成１０年１２月改正，P.55
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら，これらの従来技術により管理されているのは，撮影したカメラの位置であって，被写体の位置ではない。そのため，利用者が，特定の被写体が撮影された画像データを，その被写体の存在する位置を指定することで検索することはできない。
【０００９】
被写体がカメラからあまり離れていない場合には，被写体の位置をカメラの位置として近似し，適当な閾値を設定することで，実質的に目的とする効果（特定の被写体の検索結果）を得ることができる。例えば，ある特定の電柱位置から，３０ｍ以内の位置で撮影された画像を検索すると，その電柱が撮影されている可能性が高い画像データを検索することができる。しかしながら，この方法では，例えばその電柱を背にして撮影された画像（当然，当該電柱は写っていない）も検索結果に含まれてしまうという問題がある。
【００１０】
すなわち，このような従来技術では，検索したい被写体が写っていない画像が検索結果に含まれてしまうという課題がある。
【００１１】
タグ付けによる方法では，このようなカメラと被写体との距離とは関係なく検索を行うことができるが，そのためには，データの蓄積時に被写体に関するタグ付けを行わなくてはならない。しかしながら，一般に通常撮影された画像には多数の被写体が含まれているのに対し，それらすべてをタグとして付与することは困難である。特に，撮影者が意図せずに写りこんだ被写体（例えば富士山を撮影したときにたまたま写った電柱など）については，タグ付けされないため，検索結果に含まれることはない。
【００１２】
すなわち，このような従来技術では，検索したい被写体が写っている画像が検索結果に含まれないという課題がある。
【００１３】
また，以上のように検索結果に含まれるか否かの課題のほかに，特に広角やパノラマ画像のように多数の被写体が含まれる画像の場合，検索対象がその画像上のどこに含まれるかについて識別が困難であるという課題もある。
【００１４】
本発明は，上記課題の解決を図り，カメラの位置ではなく，被写体の位置の指定によって，被写体が写っている画像を検索することができるシステムを提供することを目的としている。
【課題を解決するための手段】
【００１５】
本発明は，上記課題を解決するため，画像に対して，カメラの撮影位置（緯度経度）と，撮影方向（左右）の情報を付加情報として蓄積しておく。撮影対象の位置（経度緯度）が指定されると，カメラ位置と撮影方向から，指定された撮影対象が写っている画像を検索する。
【００１６】
すなわち，本発明は，画像データとともに，その画像データの撮影位置情報と撮影方向範囲情報とを取得する画像取得部と，前記画像取得部により取得されたデータを蓄積するデータ蓄積部と，検索対象物の位置を入力装置から入力して指定する位置指定部と，前記位置指定部により指定された位置が前記画像データの画像内に含まれるかどうかを，前記画像データとともに前記データ蓄積部に蓄積された撮影位置情報と撮影方向範囲情報とに基づいて判別し，前記指定された位置が画像内に含まれる画像データを前記データ蓄積部から検索するデータ検索部と，検索された画像データを表示装置に出力するデータ表示部とを備えることを特徴とする。
【００１７】
これによって，本発明は，カメラの位置ではなく，被写体の位置の指定によって，被写体が写っている画像を検索することができる。
【００１８】
上記発明においては，前記データ検索部が前記撮影位置情報と撮影方向範囲情報とに基づいて画像データを検索する条件，すなわち前記位置指定部により指定された位置が前記画像データの画像内に含まれるかどうかを判別する条件としては，前記指定された位置が画像の左端方向と右端方向の間に入っており，かつ前記指定された位置が前記撮影位置から所定の距離の範囲内にあるという条件を用いることができる。
【００１９】
所定の距離については，あらかじめ一定値を定めておいてもよいし，利用者に事前にまたは検索時に指定させてもよい。これにより，画像にタグ付けを行わなくても，検索対象物が写っている蓋然性の高い画像を選び出すことができる。
【００２０】
また，上記発明において，前記データ表示部は，前記データ検索部により検索された画像データを表示装置に表示する際に，画像内の前記指定された位置を指す方向にマークを付加して表示することも好適である。これにより，検索結果の画像が特に広角やパノラマ画像のように多数の被写体が含まれる画像である場合に，利用者は，検索対象物がその画像上のどこに含まれるかについて容易に識別できるようになる。
【００２１】
また，上記発明において，前記データ表示部は，前記データ検索部により検索された画像データを表示装置に表示する際に，画像内の前記指定された位置を指す方向が表示画面上で所定のオフセット位置になるように表示位置を調整して表示することも好適である。これにより，表示画面上の決まった位置に検索対象物を表示させることができ，特に検索結果が多く出力されるような場合に，検索対象物を見やすく表示させることができる。
【００２２】
また，上記発明において，前記データ表示部は，前記データ検索部により検索された画像データを表示装置に表示する際に，撮影位置から前記指定された位置までの方向を所定の順序でソートして表示することも好適である。これにより，特に検索結果が多く出力されるような場合に，カメラとそれぞれの画像における検索対象物の方向的な位置関係を把握しやすくなる。
【発明の効果】
【００２３】
本発明によれば，検索したい撮影対象が写っている画像をその撮影対象の位置から容易に検索することができるようになる。
【発明を実施するための最良の形態】
【００２４】
以下，図面を用いて本発明の実施の形態について説明する。
【００２５】
図１は，本発明の全体の構成図を示す。図１において，画像取得部１は，画像データとともに，その画像データの撮影位置情報と撮影方向範囲情報とを取得する手段である。データ蓄積部２は，画像取得部１が取得した画像データと，その付加情報である撮影位置情報と撮影方向範囲情報とを蓄積する。位置指定部３は，利用者が指定する検索対象物の位置を入力装置から入力し，検索する画像を指定する手段である。データ検索部４は，位置指定部３により指定された位置が画像内に含まれる画像データを，データ蓄積部２から検索する手段である。データ検索部４は，撮影位置・方向判定部４１を有し，位置指定部３により指定された位置が画像内に含まれるかどうかを，撮影位置・方向判定部４１による撮影位置と撮影方向範囲の検索条件の判定により決定する。データ表示部５は，データ検索部４が検索したデータを表示装置に表示する手段である。
【００２６】
なお，位置指定部３が指定位置を入力する入力装置およびデータ表示部５がデータを表示する表示先の表示装置は，ネットワークを介して接続される端末であってもよい。
【００２７】
まず，画像取得部１の構成例について述べる。図２は，本実施の形態における画像取得部１の構成例を示している。
【００２８】
画像取得部１における画像，位置，方向情報の入力方法として，例えば図２（Ａ）に示すようなセンサを利用する方法や，図２（Ｂ）に示すような車両に搭載した機器を利用する方法を用いることができる。
【００２９】
図２（Ａ）では，画像を取得するための装置として，デジタルカメラ１０２を用い，また，位置の取得にはＧＰＳ装置１０１を用いている。さらに，方向の取得には，ジャイロあるいは地磁気センサ１０３といった方向を検知することができるセンサが市販されているので，これらのセンサをデジタルカメラ１０２に取り付け，デジタルカメラ１０２による画像の取得と同期して方向も取得できるようにしている。取得した情報は，メモリカード１０４に記録され，メモリカード１０４を介して，または，有線もしくは無線のインタフェースを介して処理用パーソナルコンピュータ（ＰＣ）１０に取り込まれる。
【００３０】
なお，以下では，方向については図３に示すような記法を用いて説明する。すなわち，本実施の形態では，方向については真北方向を０度とし，時計回りに真北方向からの角度により記述する。例えば図３に示すＤ１の南東方向は１３５度であり，Ｄ２の真西方向は２７０度として記述する。
【００３１】
図２（Ｂ）に示す例では，ＧＰＳ装置１１２とデジタルカメラ１１３とを車両１１１（自動車を想定）に固定して設置し，車両１１１の移動とともに画像データを取得するという方法を用いる。方向については，次のようにして取得する。
【００３２】
図４は，車両に搭載した機器による方向の取得方法を説明する図である。図４では，車両１１１を真上から見た様子を表している。デジタルカメラ１１３は，車両１１１の進行方向に対してα度（この例ではα＝９０）で固定して取り付けられるものとする。画像はデジタルカメラ１１３により取得し，位置はＧＰＳ装置１１２により取得する。
【００３３】
ＧＰＳ装置１１２により取得した現在位置と，直前の位置との差分から，その差分がゼロでなければ，その間の移動方向を計算することが可能である。ＧＰＳの位置取得周期（通常一秒程度）は，車両１１１が方向を変える時間に比べて短いため，この差分により求められる方向は，その瞬間の車両１１１の方向として近似しても実用上問題ない。車両１１１が停止している場合には差分がゼロとなるが，車両１１１（自動車を想定）は，位置を変えずに方向のみを変えることは原則不可能なので，ゼロでない直近の差分から得られる方向を使うことができる。このようにして，ＧＰＳのデータのみから，車両１１１の方向を求めることができる。
【００３４】
デジタルカメラ１１３は車両１１１に固定して設置してあるため，車両１１１の進行方向に対するデジタルカメラ１１３の向きは不変であるので，その値を加算することで，デジタルカメラ１１３の向きを算出することが可能である。例えば図４（Ｂ）の場合の，ＧＰＳの移動差分から得られる車両進行方向がｔ度であるとすると，デジタルカメラ１１３の撮影方向は，
撮影方向＝（ｔ＋α） ｍｏｄ ３６０度
となる。ここで，「ｍｏｄ ３６0 」は，３６０で割ったときの剰余である。
【００３５】
なお，非特許文献１に記載されているように，Ｅｘｉｆフォーマットには，位置情報のほか，進行方向や撮影した画像の方向を格納するフォーマットも規定されているため，これらのデータは，Ｅｘｉｆフォーマットとして画像データとともにメモリカード１１４等へ格納することができる。
【００３６】
このようにして取得された画像データ・位置データ・カメラ方向データは，メモリカード１０４，１１４などを通じて，方向範囲を計算するための処理用ＰＣ１０に送られ，方向範囲計算部１１において，カメラ水平画角からの方向範囲の計算が行われる。もちろん，ここまでの計算を，小型可搬なＰＣで撮影と同時に行うように構成することも可能である。
【００３７】
図５は，画像の撮影方向範囲の取得方法を説明する図である。一般に，カメラで撮影される画像に写される光景の範囲を角度で表したものを画角と呼ぶが，この値は，カメラの構造と取り付けたレンズにより決まった値となる。そこで，方向範囲計算部１１では，この画角の値をもとに，方向範囲を示すための左端方向および右端方向を，次のように計算することができる。
【００３８】
図５（Ａ）に示すように，カメラの撮影方向をａ度，カメラの水平方向の画角をｓ度とする。画像の左端方向と右端方向は，図５（Ｂ）に示す式から求められる。すなわち，左端方向は，カメラ中心から見て「（ａ−ｓ／２） ｍｏｄ ３６０度」となる。また，右端方向は，カメラ中心から見て「（ａ＋ｓ／２） ｍｏｄ ３６０度」となる。
【００３９】
なお，画像取得部１の構成に当たっては，オプションとしてパノラマ合成部１２を設けることもできる。パノラマ合成部１２では，特許文献２の方法により複数の画像をパノラマ合成して，より広角の画像を得る。この場合には，パノラマ作成の過程でどの画像を組み合わせたかは分かっているので，その左端方向，右端方向の最大値，最小値を保持することにより，最終的に得られるパノラマ画像の左端方向，右端方向を求めることができる。
【００４０】
画像取得部１では，以上のようにして，画像データと，画像の位置（緯度経度）と，画像の左端および右端の方向を取得する。
【００４１】
図６は，本実施の形態において画像取得部１以外の構成を，１台のコンピュータで実現する場合の例を示している。
【００４２】
本実施の形態で使用するコンピュータ６０は，命令に従って動作を実行するために必要なＣＰＵやメモリのほかに，画像等のデジタルデータを蓄積するためのハードディスク装置（ＨＤＤ）２０と，利用者に対して情報を表示するためのディスプレイ５０と，利用者が情報を入力するためのマウス等のポインティングデバイス３０を備えている。
【００４３】
まず，データ蓄積部２の構成例について述べる。データ蓄積部２は，ＨＤＤ２０とそれを制御するための入出力機能および一般に市販されているデータベースマネジメントシステム（ＤＢＭＳ）２１として実現できる。すなわち，画像取得部１により求められた画像データをＨＤＤ２０上の特定のフォルダ上に，例えばＪＰＥＧ形式のファイルとして蓄積し，撮影位置情報と撮影方向情報については，図７に示すようなＤＢＭＳ２１上のテーブルとして実現することができる。
【００４４】
図７に示すテーブルは，画像データと位置情報・方向情報を保存するための位置・方向情報管理テーブルである。この例では，画像データ自体はＪＰＥＧ形式で特定のフォルダに保存されていることを前提として，画像ファイル名を画像データの代わりに保存する実施方法を記載しているが，画像データのバイナリデータ自体をＤＢＭＳ２１で保存する方法も採り得る。
【００４５】
次に位置指定部３の構成例について述べる。位置指定部３としては，検索したい被写体がある位置を緯度経度で指定することが必要なので，もっとも簡易な実施例としては，コンピュータ６０に接続されたキーボードにより，数値を直接入力できるようにすればよい。
【００４６】
より実用的な位置指定部３の実施例としては，ディスプレイ５０上に地図データを表示し，利用者の操作によって，拡大・縮小・スクロール表示や，住所やランドマークなどを指定して検索することができるソフトウェアを利用する方法もある。このようなソフトウェアは，デジタル地図ソフトとして，多くのものが出回っており市販もされている。
【００４７】
図８は，位置指定部３による位置指定情報の入力画面の例を示している。また，図９は，位置指定部３の処理フローチャートを示している。
【００４８】
位置指定部３は，図８に示すように，指定された位置の地図を画面に表示するとともに，デジタル地図ソフトを機能拡張し，例えば「被写体検索」のような特定のメニューも表示する。利用者が「被写体検索」メニューを選択すると，被写体検索メニュー状態になり（ステップＳ１０），この状態で利用者が画面上をマウス等のポインティングデバイス３０でクリックすると，位置指定部３は，画面上のマウス位置から地図上の緯度経度を求める（ステップＳ１１）。次に，位置指定部３は，データ検索部４を呼び出し，指定された緯度経度をデータ検索部４に渡す（ステップＳ１２）。ディスプレイ５０上のポインタの位置から地図上の位置（緯度経度）への変換は，その時点の表示状態をデジタル地図ソフトが変換パラメータとして保持しており，その機能を利用することで変換することができる。
【００４９】
次に，データ検索部４の構成例について述べる。図１０は，緯度経度から局所直交座標系への変換方法を説明する図，図１１は，検索条件の例を説明する図である。
【００５０】
まず，データ検索部４では，２点の緯度経度により，方向や距離を求める必要がある。厳密な計算のためには，地球の厳密な形状の解析が必要であるが，図１０では，その近似方法について記してある。すなわち，地球は，一周が４万ｋｍの球体であるとみなすことができる。また，局所的な範囲（例えば基点から１０ｋｍ以内の範囲等）においては，その球体の表面を，平面として近似することができる。この場合，次のような計算式により，距離や方向を求めることができる。なお，以下ではｃｏｓやａｒｃｔａｎ等の三角関数は，ラジアン角度ではなく，３６０度法により計算されるものとして記載してある。
【００５１】
Ｐ0 を地図上の基点とし，その緯度をα，経度をβとする。Ｐ1 を対象点とし，その緯度をφ，経度をψとする。地球の１周の距離をＥr ［ｍ］とすると，基点Ｐ0 における経度１度当たりの距離は，Ｅr ×ｃｏｓ（α）×１／３６０ｍであり，緯度１度当たりの距離は，Ｅr ×１／３６０ｍとなる。
【００５２】
基点Ｐ0 から対象点Ｐ1 への南北方向の距離Ｄn （北向きを正とする）は，次式により求まる。
【００５３】
Ｄn （φ）＝Ｅr ×（φ−α）／３６０
基点Ｐ0 から対象点Ｐ1 への東西方向の距離Ｄe （東向きを正とする）は，次式により求まる。
【００５４】
Ｄe （ψ）＝Ｅr ×ｃｏｓ（α）×（ψ−β）／３６０
基点Ｐ0 から対象点Ｐ1 への距離Ｄは，次式により求まる。
【００５５】
Ｄ（φ，ψ）＝Ｅr ×（Ｄn （φ）2 ＋Ｄe （ψ）2 ）1/2
基点Ｐ0 から対象点Ｐ1 への方向θ（図３の記法参照）は，次式により求まる。
【００５６】
・Ｄe ≠０の場合（つまり，ψ≠βの場合）
θ（φ，ψ）＝ａｒｃｔａｎ（Ｄn （φ）／Ｄe （ψ））
・Ｄe ＝０の場合（つまり，ψ＝βの場合）
θ（φ，ψ）＝０度（真北），または，θ（φ，ψ）＝１８０度（真南）
なお，このときθが０度であるか１８０度であるかは，φとαの大小関係により判定することができる。
【００５７】
対象点Ｐ1 から基点Ｐ0 への方向θ′は，θと向きが１８０度変わるので，次のようになる。
【００５８】
θ′（φ，ψ）＝（θ（φ，ψ）＋１８０） ｍｏｄ ３６０
データ検索部４では，画像データの検索時に各画像データが指定された位置をその画像方向範囲内に含むかどうかの判定が必要になる。図１１（Ａ）に示すように，カメラ位置を（Ｃx ，Ｃy ）とし，画像の左端方向をＴl ，右端方向をＴr とする。また，利用者が指定した指定位置を（α，β）とする。データ検索部４の判定では，画像方向範囲が，図１１（Ｂ）に示すように０度（真北方向）をまたぐ可能性を考慮する必要がある。図１１（Ａ）の場合をＣａｓｅ１，図１１（Ｂ）の場合をＣａｓｅ２として説明する。
【００５９】
検索のための条件としては，例えば方向の条件（条件１）および距離の条件（条件２）を用いる。
［条件１］：カメラから見て，指定位置が左端方向と右端方向の範囲に入っている。
［条件２］：カメラから見て，指定位置が距離Ｒ以内に入っている（Ｒは閾値）。
【００６０】
条件１では，θ′（ＣX ，Ｃy ）が左端方向と右端方向の間に入っているかどうかの判定となる。そこで，Ｃａｓｅ１（Ｔl ＜Ｔr のとき）では，次の条件式に合致するかどうかを判定する。
【００６１】
Ｔl ≦θ′（ＣX ，Ｃy ）≦Ｔr
Ｃａｓｅ２（Ｔl ＞Ｔr のとき；０度をまたいでいるとき）では，次の条件式に合致するかどうかを判定する。
【００６２】
Ｔl ≦θ′（ＣX ，Ｃy ）＜３６０ または ０≦θ′（ＣX ，Ｃy ）≦Ｔr
また，条件２は，カメラから見て指定位置が距離Ｒ以内に入っているかどうかであるから，次の条件式に合致するかどうかを判定する。
【００６３】
Ｄ（φ，ψ）≦Ｒ
このように，距離については，ある閾値Ｒを条件として設けてあるが，このＲについては，本発明の実施目的に合わせて，適宜設定してもよいし，検索のたびに，利用者が入力できるようにしてもよい。利用者がＲを入力できるようにする場合には，例えば図８に示す画面における被写体検索メニューのサブメニューとして，Ｒの値を入力できるようにする。
【００６４】
図１２は，以上の検索条件に従って画像データを検索するデータ検索部４の処理フローチャートである。
【００６５】
まず，データ検索部４は，位置指定部３から受け取った引数から，指定位置の緯度αと経度βを取得する（ステップＳ２０）。次に，取得した緯度αと経度βから，距離の条件（上記条件２）を，ＳＱＬ（検索言語）のｗｈｅｒｅ節にして，レコード検索するように，ＳＱＬ文を設定する（ステップＳ２１）。設定したＳＱＬ文をデータ蓄積部２を構成するＤＢＭＳ２１へ送り，指定位置が撮像されている画像データの検索を要求する（ステップＳ２２）。
【００６６】
次に，ＤＢＭＳ２１からの検索結果のそれぞれについて，ステップＳ２３１〜Ｓ２３３の繰り返し処理を実行する（ステップＳ２３）。なお，検索結果は，図７に示す位置・方向情報管理テーブルのレコードである。まず，検索結果の左端方向Ｔl と右端方向Ｔr から，θ′（Ｃx ，Ｃy ）を計算する（ステップＳ２３１）。次に，方向の条件（上記条件１）を満たすかどうかを判定する（ステップＳ２３２）。条件を満たす場合には，判定対象の画像データを検索結果として残し，条件を満たさない場合には，検索結果から判定対象の画像データを削除する（ステップＳ２３３）。以上の処理を，すべての検索結果について繰り返す。
【００６７】
その後，残った検索結果のデータをデータ表示部５へ渡す（ステップＳ２４）。
【００６８】
図１３は，検索結果の例を示す。例えば図１３（Ａ）に示されるような地図上で，Ｐ0 の位置が指定されたとする。この指定位置Ｐ0 の緯度経度情報をもとに，一定の距離Ｒの範囲内で，この指定位置Ｐ0 が画像の左端と右端の範囲に収まっている画像が，図７に示す位置・方向情報管理テーブルから検索されることになる。この例では，検索結果として，Ｒ１，Ｒ２，Ｒ３の３枚の画像が得られている。
【００６９】
最後に，データ表示部５の構成例について述べる。図１４は，データ表示部５の処理フローチャートである。この処理で使われる，画像の表示や，他の画像の重畳，表示位置の指定などは，Ｗｉｎｄｏｗｓ（登録商標）ＯＳなどの標準的な機能を利用することで実施できる。
【００７０】
まず，データ表示部５は，データ検索部４から受け取った検索結果のデータを，θ′をキーとしてソートする（ステップＳ３０）。その後，検索結果の各データについて，ステップＳ３１１〜Ｓ３１４の処理を繰り返す（ステップＳ３１）。この繰り返し処理は，利用者からの指示に従って，１画像ずつ処理を進めてもよいし，繰り返し処理を連続して行い，検索結果の画像を例えばサムネイル表示のように一覧表示するようにしてもよい。
【００７１】
繰り返し処理では，検索結果のデータ中の画像ファイル名をもとに画像ファイルを表示する（ステップＳ３１１）。次に，画像内のθ′の左端からのピクセル数ｐを求める（ステップＳ３１２）。
【００７２】
ここでのピクセル数ｐの求め方を説明する。図１４の下側に示すように画像全体の横のピクセル数をＰＸとする。求め方は，方向の条件（条件１）によって，次のように分類される。
・Ｃａｓｅ１（Ｔl ≦θ′≦Ｔr の場合）
ｐ＝ＰＸ×（θ′−Ｔl ）／（Ｔr −Ｔl ）
・Ｃａｓｅ２−１（Ｔl ＞Ｔr かつＴl ≦θ′＜３６０の場合）
ｐ＝ＰＸ×（θ′−Ｔl ）／（Ｔr ＋３６０−Ｔl ）
・Ｃａｓｅ２−２（Ｔl ＞Ｔr かつ０≦θ′≦Ｔr の場合）
ｐ＝ＰＸ×（θ′＋３６０−Ｔl ）／（Ｔr ＋３６０−Ｔl ）
以上の式により，ピクセル数ｐを算出したならば，求めた画像中のｐの位置に，指定位置の方向を示すマークを描画する（ステップＳ３１３）。また，ｐがディスプレイ画面のｏｆｆｓｅｔ位置にくるように，（ｏｆｆｓｅｔ−ｐ）ピクセル分だけ画像の表示位置を水平にずらす（ステップＳ３１４）。なお，（ｏｆｆｓｅｔ−ｐ）が正なら，画像を右方向にずらし，（ｏｆｆｓｅｔ−ｐ）が負なら，画像を左方向にずらすことになる。繰り返し処理では，以上の処理を検索結果の画像ごとに繰り返す。
【００７３】
図１５は，画像表示位置の調整例を示す図である。表示枠の横幅をＷx ピクセルとする。表示枠は，Ｗｉｎｄｏｗｓ（登録商標）における表示ウィンドウあるいは単なる表示画面である。ｏｆｆｓｅｔは，表示枠のどの位置に画像を表示するかの基準を示すものであり，ｏｆｆｓｅｔの決め方としては，次のような方法を用いることができる。
〔ｏｆｆｓｅｔの決め方１〕
ｏｆｆｓｅｔを画面中央に固定する。ｏｆｆｓｅｔ＝Ｗx ／２ とする。
〔ｏｆｆｓｅｔの決め方２〕
ｏｆｆｓｅｔを必ず固定値とする。例えば，ｏｆｆｓｅｔ＝１００とする。
〔ｏｆｆｓｅｔの決め方３〕
表示に先立ち，利用者がマウス等により指定した位置を使う。ｏｆｆｓｅｔ＝（マウスポインタの横座標）とする。
【００７４】
図１４のステップＳ３１４の処理は，図１５に示すように，ｏｆｆｓｅｔの位置にマークＭ１，Ｍ２がくるように表示位置を調整する処理である。
【００７５】
次に，図１３に示したような利用者の指定位置Ｐ0 に対して，データ検索部４により検索結果Ｒ１，Ｒ２，Ｒ３の画像データが得られたときのデータ表示部５による表示例を，図１６に示す。
【００７６】
検索結果Ｒ１，Ｒ２，Ｒ３は，指定位置Ｐ0 から撮影位置への方向θ′をキーとして，真北方向から時計回りにソートされて表示されるため，図１６に示すように，検索結果Ｒ３の画像，検索結果Ｒ２の画像，検索結果Ｒ１の画像の順番で表示される。なお，θ′の順番ではなく，これと逆方向のθの昇順で検索結果を表示するように定めてもよい。あるいは，真北方向以外の方向から時計回りまたは反時計回りにソートすることもできる。
【００７７】
検索結果の各画像の上端および下端には，指定位置Ｐ0 の方向を示すマークＭ１１〜Ｍ３２が付与される。また，これらの各マークＭ１１〜Ｍ３２の位置が，あらかじめ定められた表示枠内の表示位置を示すｏｆｆｓｅｔもしくは利用者が指定したｏｆｆｓｅｔの位置に合うように，画像が表示される。
【００７８】
以上の画像検索の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。
【００７９】
なお，本実施例では，画像取得部１以外の構成を，１台のコンピュータで実施される例について記してきたが，各機能を別個のコンピュータにより構成する実施例へも容易に応用することができる。
【図面の簡単な説明】
【００８０】
【図１】本発明の全体を示す構成図である。
【図２】本実施の形態における画像取得部の構成例を示す図である。
【図３】方向についての記法を説明する図である。
【図４】車両に搭載した機器による方向の取得方法を説明する図である。
【図５】画像の撮影方向範囲の取得方法を説明する図である。
【図６】本実施の形態において画像取得部以外の構成を，１台のコンピュータで実現する場合の例を示す図である。
【図７】ＤＢＭＳで管理する位置・方向情報管理テーブルの例を示す図である。
【図８】位置指定部による位置指定情報の入力画面の例を示す図である。
【図９】位置指定部の処理フローチャートである。
【図１０】緯度経度から局所直交座標系への変換方法を説明する図である。
【図１１】検索条件の例を説明する図である。
【図１２】データ検索部の処理フローチャートである。
【図１３】検索結果の例を示す図である。
【図１４】データ表示部の処理フローチャートである。
【図１５】画像表示位置の調整例を示す図である。
【図１６】データ表示部による表示例を示す図である。
【符号の説明】
【００８１】
１ 画像取得部
２ データ蓄積部
３ 位置指定部
４ データ検索部
４１ 撮影位置・方向判定部
５ データ表示部
【特許請求の範囲】
【請求項１】
画像データとともに，その画像データの撮影位置情報と撮影方向範囲情報とを取得する画像取得部と，
前記画像取得部により取得されたデータを蓄積するデータ蓄積部と，
検索対象物の位置を入力装置から入力して指定する位置指定部と，
前記位置指定部により指定された位置が前記画像データの画像内に含まれるかどうかを，前記画像データとともに前記データ蓄積部に蓄積された撮影位置情報と撮影方向範囲情報とに基づいて判別し，前記指定された位置が画像内に含まれる画像データを前記データ蓄積部から検索するデータ検索部と，
検索された画像データを表示装置に出力するデータ表示部とを備える
ことを特徴とする画像検索装置。
【請求項２】
請求項１に記載の画像検索装置において，
前記データ検索部が前記撮影位置情報と撮影方向範囲情報とに基づいて画像データを検索する条件は，前記指定された位置が画像の左端方向と右端方向の間に入っており，かつ前記指定された位置が前記撮影位置から所定の距離の範囲内にあるという条件である
ことを特徴とする画像検索装置。
【請求項３】
請求項１または請求項２に記載の画像検索装置において，
前記データ表示部は，前記データ検索部により検索された画像データを表示装置に表示する際に，画像内の前記指定された位置を指す方向にマークを付加して表示する手段を備える
ことを特徴とする画像検索装置。
【請求項４】
請求項１，請求項２または請求項３に記載の画像検索装置において，
前記データ表示部は，前記データ検索部により検索された画像データを表示装置に表示する際に，画像内の前記指定された位置を指す方向が表示画面上で所定のオフセット位置になるように表示位置を調整して表示する手段を備える
ことを特徴とする画像検索装置。
【請求項５】
請求項１，請求項２，請求項３または請求項４に記載の画像検索装置において，
前記データ表示部は，前記データ検索部により検索された画像データを表示装置に表示する際に，撮影位置から前記指定された位置までの方向を所定の順序でソートして表示する手段を備える
ことを特徴とする画像検索装置。
【請求項６】
コンピュータを，請求項１から請求項５までのいずれか１項に記載の画像検索装置が備える前記画像取得部と，前記データ蓄積部と，前記位置指定部と，前記データ検索部と，前記データ表示部として，機能させるための画像検索プログラム。
【請求項１】
画像データとともに，その画像データの撮影位置情報と撮影方向範囲情報とを取得する画像取得部と，
前記画像取得部により取得されたデータを蓄積するデータ蓄積部と，
検索対象物の位置を入力装置から入力して指定する位置指定部と，
前記位置指定部により指定された位置が前記画像データの画像内に含まれるかどうかを，前記画像データとともに前記データ蓄積部に蓄積された撮影位置情報と撮影方向範囲情報とに基づいて判別し，前記指定された位置が画像内に含まれる画像データを前記データ蓄積部から検索するデータ検索部と，
検索された画像データを表示装置に出力するデータ表示部とを備える
ことを特徴とする画像検索装置。
【請求項２】
請求項１に記載の画像検索装置において，
前記データ検索部が前記撮影位置情報と撮影方向範囲情報とに基づいて画像データを検索する条件は，前記指定された位置が画像の左端方向と右端方向の間に入っており，かつ前記指定された位置が前記撮影位置から所定の距離の範囲内にあるという条件である
ことを特徴とする画像検索装置。
【請求項３】
請求項１または請求項２に記載の画像検索装置において，
前記データ表示部は，前記データ検索部により検索された画像データを表示装置に表示する際に，画像内の前記指定された位置を指す方向にマークを付加して表示する手段を備える
ことを特徴とする画像検索装置。
【請求項４】
請求項１，請求項２または請求項３に記載の画像検索装置において，
前記データ表示部は，前記データ検索部により検索された画像データを表示装置に表示する際に，画像内の前記指定された位置を指す方向が表示画面上で所定のオフセット位置になるように表示位置を調整して表示する手段を備える
ことを特徴とする画像検索装置。
【請求項５】
請求項１，請求項２，請求項３または請求項４に記載の画像検索装置において，
前記データ表示部は，前記データ検索部により検索された画像データを表示装置に表示する際に，撮影位置から前記指定された位置までの方向を所定の順序でソートして表示する手段を備える
ことを特徴とする画像検索装置。
【請求項６】
コンピュータを，請求項１から請求項５までのいずれか１項に記載の画像検索装置が備える前記画像取得部と，前記データ蓄積部と，前記位置指定部と，前記データ検索部と，前記データ表示部として，機能させるための画像検索プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１０−１２９０３２（Ｐ２０１０−１２９０３２Ａ）
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願番号】特願２００８−３０６０９６（Ｐ２００８−３０６０９６）
【出願日】平成２０年１２月１日（２００８．１２．１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２２年６月１０日（２０１０．６．１０）
【国際特許分類】
【出願日】平成２０年１２月１日（２００８．１２．１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]