説明

写真中の対象体を識別する方法及びシステム,並びにそのシステムを実現するためのプログラム,記録媒体,端末及びサーバ

本発明は,写真中の対象体を自動的に識別する方法に関し,写真に関連付けられたデータから対物レンズの地理的位置及び撮影方向を抽出するステップ(ステップ214)と,抽出した撮影方向の有向直線を決定するステップ(ステップ234)と,地理的位置と有向直線との間の計算した距離に基づいて,少なくとも1つの対象体を地図データベースから選択するステップ(ステップ236)と,選択した1又は複数の対象体に関するデータを表示するステップ(ステップ242)とを有する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は,写真中の対象体を識別する方法及びシステム,並びにそのシステムを実現するためのプログラム,記録媒体,端末及びサーバに関する。
【発明の開示】
【発明が解決しようとする課題】
【0002】
今ではユーザが,計算機を用いて非常に多くの風景を写した写真をダウンロードすることができる。残念なことには,この方法で,例えばインターネットからダウンロードされた写真のほとんどは説明文がなく,そのため撮影された風景の中の対象体の1つを識別することは困難である。
【0003】
本発明は,自動的に写真中の対象体を識別する方法を提案することによって,この欠点を改善しようとするものである。
【課題を解決するための手段】
【0004】
したがって本発明の目的は,レンズを備えるカメラから撮影された写真中の対象体を自動的に識別する方法であって,次のステップを有する。
【0005】
‐写真に関連付けられたデータに基づいてレンズの地理的位置及び撮影方向を抽出するステップ。
【0006】
‐前記の抽出した撮影方向によって,前記の抽出した地理的位置と識別すべき前記写真中の対象体に対応する地理的位置とを通る有向直線を決定するステップ。
【0007】
‐各対象体と地理的位置とを関連付ける地図データベースから,少なくとも1つの対象体を,その地理的位置と前記の決定した有向直線との間の計算した距離によって選択するステップ。
【0008】
‐1又は複数の選択した各オブジェクトに関する情報を表示するステップ。
【0009】
上述の方法は,写真中の少なくとも1つの対象体を自動的に識別できるようにする。このため本方法は,レンズの地理的位置及び撮影方向が分かると,地図データベースからこれらの写真のうち1つに対応する,少なくとも1つの対象体を選択することができるという事実を利用する。次に選択した対象体に関する情報を用いて,この写真中の対象体を識別することができる。
【0010】
本方法の実施例は,次に掲げる1以上の特徴を有することができる。
【0011】
‐前記写真上の点の座標値を取得するステップと,前記の取得した前記カメラのレンズの座標値及び視野角によって,前記抽出した撮影方向を修正するステップと,前記修正した方向を用いて前記有向直線を決定する決定ステップ。
【0012】
‐前記の選択ステップはまた,前記の決定した有向直線に最も近いものとして選択した対象体の中から,前記抽出した地理的位置に最も近い対象体だけを選択するステップである。
【0013】
‐前記の選択ステップはまた,前記レンズの視野角によって前記各対象体を選択するステップである。
【0014】
本発明のもう1つの課題は,上述の識別方法において用いるのに適した参照処理及び選択処理である。
【0015】
本発明のもう1つの課題は,電子計算機によって実行したとき,上述のような識別方法,参照処理又は選択処理を実行する命令を含む,計算機プログラム及び情報記憶媒体である。
【0016】
本発明のもう1つの課題は,レンズを備えるカメラから撮影した写真中の対象体を自動的に識別するシステムであって,次に掲げるものを備える。
【0017】
‐写真に関連付けられたデータに基づいてレンズの地理的位置及び撮影方向を抽出するモジュール。
【0018】
‐前記の抽出した撮影方向によって,前記の抽出した地理的位置と識別すべき前記写真中の対象体に対応する地理的位置とを通る有向直線を決定するモジュール。
【0019】
‐各対象体と地理的位置とを関連付ける地図データベースから,少なくとも1つの対象体を,その地理的位置と前記の決定した有向直線との間の計算した距離によって選択するモジュール。
【0020】
‐1又は複数の選択した各オブジェクトに関する情報を表示するユニット。
【0021】
本システムの実施例は,次に掲げる特徴のうち1以上を含むことができる。
【0022】
‐前記写真上の点の座標値を取得するモジュールと,前記の取得した前記カメラの座標値及び視野角によって,前記抽出した撮影方向を修正するモジュールと,前記修正した方向を用いて前記有向直線を決定する前記の決定モジュール。
【0023】
‐前記の選択モジュールはまた,前記の決定した有向直線に最も近いものとして選択した対象体の中から,前記抽出した地理的位置に最も近い対象体だけを選択することができる。
【0024】
‐前記の選択モジュールはまた,前記レンズの視野角によって1又は複数の対象体を選択することができる。
【0025】
本発明のもう1つの課題は,上述のシステムにおいて用いるように設計された参照端末及び計算機サーバである。
【発明を実施するための最良の形態】
【0026】
以降に述べる純粋に例として示す説明を添付の図面を参照しながら読むことによって,本発明をより良く理解できるであろう。
【0027】
図1は,写真中に見える対象体を識別する,総括参照符号40によって指定されるシステムを表す図である。
【0028】
ここで各写真は,例えば格納形式EXIF(交換可能画像ファイル)で見られるような,以降「メタデータ」と呼ぶデータが関連付けられている。このメタデータは特に次のデータを有する。
‐写真が撮影されたときに,撮影のために用いたカメラのレンズの地理的位置
‐写真が撮影されたときのレンズの撮影方向
‐レンズの視野角又はレンズの焦点距離の値,及び写真の形式
【0029】
この願書を通して「地理的位置」という表現は,3次元参照フレーム内の座標値を意味し,これら座標値は,位置の緯度と,経度と,高度とを表す。
【0030】
例えばレンズの地理的位置及び撮影方向は,写真が撮影されたときに測定され,写真と関連付けられたメタデータ内に格納される。次に類似して視野角又は焦点距離,及び写真の形式が,写真と関連付けられたメタデータ内に格納される。
【0031】
図1において,メタデータ及び写真はメモリ42内に記憶される。
【0032】
システム40は,メモリ42に記憶されたメタデータを処理するためのユニット44を備える。
【0033】
メタデータを処理するためユニット44は,メモリ42内に記憶されたメタデータから,レンズの地理的位置と,レンズの撮影方向と,レンズの視野角とを抽出するモジュール48を備える。
【0034】
ここでまたユニット44は,写真中の位置の座標値を取得するためのモジュール50,及びモジュール48が抽出した方向を修正するためのモジュール52も備える。
【0035】
モジュール50は,二次元正規直交系参照フレームにおける写真中の位置の座標値を取得することができ,参照フレームの原点は例えば,写真の中心に合致させられる。このモジュールは,取得した座標値をモジュール52に送信するため,モジュール52に接続された出力を備える。
【0036】
モジュール52は,座標値が取得された撮影点の地理的位置と,写真の点に対応する地理的位置とを通る修正された方向を得るために,モジュール48が抽出した方向を修正することができる。この目的のためにモジュール52は,カメラの視野角を用いる。視野角のデータは,メモリ42内に格納されたメタデータから抽出される。ここで「視野角」という用語は,カメラのレンズを通して見える光景の限界をいう。
【0037】
またユニット44は,モジュール48が抽出した位置及び修正された方向を送信するために,データベースエンジン60に接続された2つの出力を備える。エンジン60は,メモリ64に記憶された地図データベース62内の対象体を選択するのに適している。データベース62は,それぞれ識別子と関連付けられた多数の対象体の地理的位置を含む。例えばこれらの対象体は,歴史的記念物,山,地名である。ここでこれら対象体はそれぞれ,人間が目で見て識別できそうなものである。
【0038】
抽出された位置及び修正された方向によって少なくとも1つの対象体をデータベース62から選択するために,エンジン60は有向直線を決定するモジュール66と,決定された直線に近い対象体を選択するモジュール68と,を備える。例えばモジュール66は,抽出された地理的位置を通り,モジュール52が修正した方向を有する直線の式を決定する。
【0039】
モジュール68は,データベース62から写真中に見えておりモジュール66が決定した直線に最も近い1又は複数の対象体を選択することができる。
【0040】
モジュール68については,図3に関連してより詳細に説明される。
【0041】
エンジン60は,モジュール68が選択した対象体の識別子を送信する出力を備える。この出力はユニット70に接続され,選択された対象体に関する情報が表示される。
【0042】
エンジン60は,電子計算機が実行したときに,図3に関連して説明される選択方法を実行する命令を含む計算機プログラムの形態で作られることが好ましい。
【0043】
ユニット70は,メモリ76に記憶されているデータベース74に含まれる追加情報から説明文を生成するモジュール72を備える。データベース74は各対象体識別子を,例えば対象体の名称,その固有の特性,その歴史のような追加情報と関連付ける。この情報は,参照するのに適した形式で記憶される。例えばこの場合,対象体の歴史はオーディオファイルの形態で記憶される一方で,対象体の名称は英数字文字列の形態で記憶される。
【0044】
またユニット70はマンマシンインタフェース78を備える。ここでマンマシンインタフェース78は,ユーザにオーディオファイルを再生するのに適したスピーカ80と,例えばモジュール72が生成した説明文が組み込まれているカメラによって撮影された写真を表示するのに適したスクリーン82と,を備えている。
【0045】
図2はこのシステム40の特定の例示実施例を表している。図1に関連して既に説明した要素には,図2においても同一の参照符号が付与されている。
【0046】
一般にこのシステム40は,情報伝送ネットワーク84を介して写真を参照するための端末88に接続された計算機サーバ86を備える。
【0047】
また図2はレンズ92を備えたカメラ90を示す。レンズ92は,このレンズの光学中心線に対応する撮影方向94を有する。
【0048】
このカメラ90は,各写真及びそれらに対応する,特にこれらの写真それぞれの地理的位置と,撮影方向と,視野角とを含むメタデータをシステム40内のメモリ42に記憶することができる。この目的のためにカメラ90は,レンズ92の地理的位置及び撮影方向を測定するユニット96を備える。例えばこのユニット96は,地理的位置センサ97及び方角センサ98を用いて実現される。センサ97は例えばGPS(全地球測位システム)センサであり,センサ98は例えば互いに垂直に配置された3つのジャイロスコープを用いて実現される。またユニット96は,レンズの視野角と,日付と,時刻と,明るさと,のようなカメラ90の設定を記録することができる。
【0049】
カメラ90は,例えば無線リンクのような情報伝送リンク99を介して,写真及び対応するメタデータをメモリ42内に記憶するのに適している。
【0050】
カメラ90は,例えばデジタルカメラであり,又はカメラを備えた携帯電話機であってもよい。
【0051】
サーバ86は,ネットワーク84を介して端末88と情報を交換するモデム100を備える。データベースエンジン60及び説明文を生成するモジュール72は,サーバ86内に置かれる。
【0052】
この実施例においてシステム40のデータベース62及び74は,サーバ86に関連付けられたメモリ105に記憶された単一かつ同一のデータベース104に統合されている。このようにしてデータベース104は,各対象体と,その識別子と,その地理的位置と,それに関連する追加情報と,を統合する。またメモリ105は,例えばエンジン60及びモジュール72に対応する計算機プログラムの命令を含み,サーバ86はこれらの命令を実行するのに適した電子計算機の役割を果たす。
【0053】
端末88は,例えば中央処理ユニット110及びマンマシンインタフェース78を備えた通常の計算機で実現される。
【0054】
ユニット110は,ネットワーク84を介してサーバ86と情報を交換するためのモデム112を備える。
【0055】
モジュール48と,50と,52とは,中央処理ユニット110内に置かれる。この中央処理ユニット110は,写真及びメタデータを含むメモリ42と関連付けられている。
【0056】
この実施例においてメモリ46は,モジュール48と,50と,52とに対応する計算機プログラムの命令を含み,それで中央処理ユニット110は,これらの命令を実行するのに適した電子計算機として動作する。
【0057】
ここで計算機のスクリーン及びスピーカはそれぞれ,インタフェース78のスクリーン82及びスピーカ80に対応する。またこのインタフェース78は,本実施例においてはマウス120及びキーボード122も備える。
【0058】
ここで図3の方法に関して,システム40の動作を説明する。
【0059】
はじめにステップ140でカメラ90のユーザが写真を撮影する。
【0060】
次にステップ144で今撮影された写真に関連するメタデータが生成される。より特定すれば動作146において,センサ97がカメラ90の位置を測定し,センサ98が水平及び磁北に対する方角94を測定する。また水平に対するカメラ90の傾きもこの動作146において測定され,水平に対する写真の傾きが判定される。
【0061】
またステップ144においてユニット96は,動作152において写真を撮影するのに用いられたカメラの設定を記録する。特にこの動作152においてカメラ90は,写真が撮影された瞬間のレンズの視野角を記録する。例えば日付と,時刻と,明るさと,シャッタ開放時間ともこの動作152において記録される。
【0062】
メタデータが生成されると,ステップ154において,ステップ140で撮影された写真と関連付けられる。例えばステップ154において,写真及びメタデータがEXIF形式で記憶される。
【0063】
次にメタデータ及び写真がリンク99を介して送信され,次いでステップ156においてメモリ42内に記憶される。
【0064】
その後端末88のユーザは,所望であればフェーズ162に進み,メモリ42内に記憶された写真のうち1つに対して自動的に説明文が生成される。このフェーズ162において端末88は,ステップ164においてメモリ42内に記憶された写真のうち1つに関連する地理的位置と,撮影方向と,視野角とをエンジン60に送信する。エンジン60はステップ164において送信されたデータを受信する。
【0065】
次にエンジン60は受信したデータによって,ステップ166においてデータベース104内の少なくとも1つの対象体を選択する。より特定すればステップ166において,モジュール66が動作168において,受信した地理的位置を通り,受信した撮影方向を向いた有向直線を決定する。次に動作170においてモジュール68が,動作168において決定された有向直線に最も近い地理的位置の1又は複数の対象体をデータベース104から選択する。例えばこのためにモジュール68は,有向直線から各対象体までの最短距離を計算し,有向直線からの距離がしきい値よりも短い1又は複数の対象体だけを選択する。このしきい値は,写真中に見えていない対象体をすべて除くように,受信した視野角の値によってモジュール68が確立する。更にこのしきい値は,受信した方向にある対象体だけを選択するように決定される。
【0066】
次にステップ180においてモジュール72が,エンジン60の選択した対象体と関連付けられた補足情報によって写真の説明文を生成する。例えば,「2月14日,日曜日,8時48分,”plan de Grace”の時計塔(北東)に向かって撮影した写真」のような説明文を生成する。
【0067】
この例としての説明文は,視野方向にある対象体の情報と,写真に関連付けられたメタデータから抽出された日付及び時刻とを用いて作成される。
【0068】
次に生成された説明文はステップ182において端末88に送信され,この写真に関連付けられたメタデータ内に格納される。
【0069】
またユーザはフェーズ200に進み,端末88上で写真を参照することができる。このフェーズ200は,ステップ202におけるスクリーン82上への地図の表示で始まり,写真と関連付けられたメタデータ内に格納されている各地理的位置を表す各撮影点が,スクリーン上に示される。
【0070】
ステップ204において,ユーザはマウス120を用いてこれらの撮影点のうち1つを選択する。するとステップ206において端末88は,自動的にこの撮影点から撮影された写真をスクリーン82上に表示する。この写真について説明文が既に生成されているときは,スクリーン82上に表示された写真が,モジュール72の生成した説明文をその中に含むことが好ましい。
【0071】
次にユーザはステップ208に進み,写真中に見える対象体を識別する。このためにユーザは,例えばマウスを用いて識別すべき対象体に対応する写真の特定の点を選択する。動作210においてモジュール50は,写真の中心にリンクした参照系におけるユーザが選択した点の座標値を取得する。これらの座標値を,(a,b)とする。次に動作214においてモジュール48が,撮影点の地理的位置及び撮影方向をメモリ46内に記憶されたメタデータから抽出する。
【0072】
次に動作216においてモジュール52が,メタデータから抽出した方向を修正し,修正した方向を推測する。修正した方向は,抽出した地理的位置と,写真中の選択した点に対応する対象体の地理的位置と,を通る直線の方向に一致する。このためモジュール52は,写真に関連付けられたメタデータ中に格納された視野角αを用いる。この視野角αは図4に示されている。同じ図4において,撮影点の位置は点218で表されている。角xは,方向94と,矢印220が示す磁北方向との間の角を表す。説明を単純にするため,角xの修正はここでは,水平に対する写真又はカメラ90の傾きを考慮する必要がないように,水平に撮影された写真222の特定の場合について説明する。ユーザが選択した点の位置は十字224で表され,一方写真にリンクした参照系の中心は十字226が表す。これら2つの十字224及び226の間の距離は,横座標”a”の値に対応する。ここで写真の水平端の既知の長さをdで表す。これらの条件において,方向94に対する修正した方向がなす角βは,次の関係を用いて計算できる。
【0073】
【数1】

【0074】
角βが計算されると,後者が角xに加算される。このようにして磁北に対して修正された方向がなす角x’が得られる。類似の操作を行うことによって,モジュール52が水平に対して修正された方向がなす角y’も計算する。
【0075】
次にステップ230において,メタデータから抽出した位置及び修正された方向がネットワーク84を介してエンジン60へ送信される。ステップ232においてエンジン60は,受信したデータによって,抽出した位置を通り修正された方向を持つ有向直線に近い1又は複数の対象体を選択する。このステップ232は,ちょうど動作168のように有向直線を決定する動作234と,その有向直線に最も近い各対象体を選択する動作236と,を含む。
【0076】
この動作236においてエンジン60は,データベース104から次に掲げる対象体を選択する。
‐有向直線に近い
‐写真の画枠に含まれる
‐撮影点の地理的位置に最も近い
【0077】
最後の条件によって,写真中に見える対象体だけを選択することができる。動作236において,例えば対象体のこの直線からの最短距離が事前に確立されたしきい値よりも短いとき,その対象体は有向直線に近いものと考える。
【0078】
エンジン60が修正された方向にある可視対象体を選択すると,ステップ240においてこの対象体の識別子と,それに関連付けられた補足情報とが端末88へ送信される。
【0079】
ステップ242において,ユニット78はユーザに受信した情報を提示する。例えばスクリーン82にはこの情報のいくつかが表示され,スピーカ80からオーディオファイルが再生される。
【0080】
次にユーザは写真のもう1つの点を選択することができ,ステップ208から240が反復される。
【0081】
ここでメタデータはEXIF形式を用いて写真と関係付けられる。変形物として,EXIFがMPEG−7形式に置き換えられる。
【0082】
システム40には多くのほかの実施例が可能である。例えばシステム40の要素を一方では1又は複数の局所参照端末に,他方では計算機サーバに分割する代わりに,システム40のすべての要素を参照ワークステーション内におくことができる。反対に処理ユニット44を遠隔計算機サーバに置き,それをメモリ42と関連付けることもできる。後者の実施例においては,参照ワークステーションも情報表示ユニットを備える。
【0083】
変形物として,説明文を生成するモジュール72及びフェーズ162を削除する。この変形物においては,表示ユニットはマンマシンインタフェースに整理される。
【0084】
簡略化した実施例においては,動作210及び216が削除される。したがってシステムは,写真の中心にあり,撮影方向の線上にある対象体だけを識別することができる。
【図面の簡単な説明】
【0085】
【図1】写真中の対象体を自動的に識別するシステムの概略アーキテクチャを示す図である。
【図2】図1のシステムの特定の例示実施例のアーキテクチャを示す図である。
【図3】写真中の対象体を自動的に識別する方法のフロー図である。
【図4】写真中の点の位置によって方向を修正する方法を示す図である。

【特許請求の範囲】
【請求項1】
レンズを備えるカメラから撮影した写真中の対象体を自動的に識別する方法であって,
写真に関連付けられたデータに基づいてレンズの地理的位置及び撮影方向を抽出するステップ(ステップ214)と,
前記の抽出した撮影方向によって,前記の抽出した地理的位置と識別すべき前記写真中の対象体に対応する地理的位置とを通る有向直線を決定するステップ(ステップ234)と,
各対象体と地理的位置とを関連付ける地図データベースから,少なくとも1つの対象体を,その地理的位置と前記の決定した有向直線との間の計算した距離によって選択するステップ(ステップ236)と,
1又は複数の選択した対象体に関する情報を表示するステップ(ステップ242)と,を有することを特徴とし,また
前記写真上の点の座標値を取得するステップ(ステップ210)と,
前記の取得した前記カメラのレンズの座標値及び視野角によって,前記抽出した撮影方向を修正するステップ(ステップ216)と,
を有し,前記の決定ステップは前記修正した方向を用いて前記有向直線を決定することを特徴とする方法。
【請求項2】
前記の選択ステップ(ステップ236)はまた,前記の決定した有向直線に最も近いものとして選択した対象体の中から,前記抽出した地理的位置に最も近い対象体だけを選択するステップとすることを特徴とする請求項1に記載の方法。
【請求項3】
前記の選択ステップ(ステップ236)はまた,前記レンズの視野角によって1又は複数の対象体を選択するステップとすることを特徴とする請求項1〜2のいずれか一項に記載の方法。
【請求項4】
対象体の地理的位置を含む地図データベース内の対象体を選択する処理であって,請求項1〜3のいずれか一項に記載の識別方法において用いることができ,地理的座標値が前記決定した有向直線に最も近い少なくとも1つの対象体を,地図データベースから選択するステップ(ステップ236)を有することを特徴とする処理。
【請求項5】
電子計算機によって実行したとき,請求項1〜4のいずれか一項に記載の方法又は処理を実行する命令を含むことを特徴とする計算機プログラム。
【請求項6】
電子計算機によって実行したとき,請求項1〜4のいずれか一項に記載の方法又は処理を実行する命令を含むことを特徴とする情報記憶媒体。
【請求項7】
レンズを備えるカメラから撮影した写真中の対象体を自動的に識別するシステムであって,
写真に関連付けられたデータに基づいてレンズの地理的位置及び撮影方向を抽出するモジュール(48)と,
前記の抽出した撮影方向によって,前記の抽出した地理的位置と識別すべき前記写真中の対象体に対応する地理的位置とを通る有向直線を決定するモジュール(66)と,
各対象体と地理的位置とを関連付ける地図データベースから,少なくとも1つの対象体を,その地理的位置と前記の決定した有向直線との間の計算した距離によって選択するモジュール(68)と,
1又は複数の選択した各オブジェクトに関する情報を表示するユニット(70)と,
を有することを特徴とし,また
前記写真上の点の座標値を取得するモジュール(50)と,
前記の取得した前記カメラの座標値及び視野角によって,前記抽出した撮影方向を修正するモジュール(52)と,
を備え,前記の決定モジュールは前記修正した方向を用いて前記有向直線を決定することを特徴とするシステム。
【請求項8】
前記の選択モジュールはまた,前記の決定した有向直線に最も近いものとして選択した対象体の中から,前記抽出した地理的位置に最も近い対象体だけを選択できることを特徴とする請求項7に記載のシステム。
【請求項9】
前記の選択モジュールはまた,前記レンズの視野角によって1又は複数の対象体を選択できることを特徴とする請求項7又は8のいずれか一項に記載のシステム。
【請求項10】
請求項7〜9のいずれか一項に記載の識別システムにおいて用いる参照端末であって,1又は複数の選択した対象体に関する情報を提示するユニット(70)を備えることを特徴とする端末。
【請求項11】
請求項7〜9のいずれか一項に記載のシステムにおいて用いることができる計算機サーバであって,前記決定した有向直線から前記抽出した地理的位置までの距離によって,少なくとも1つの対象体を前記地図データベースから選択するモジュール(68)を備えることを特徴とするサーバ。
【請求項12】
請求項7〜9のいずれか一項に記載のシステムにおいて用いることができるメタデータ処理ユニットであって,前記カメラのレンズの前記の取得した座標値及び視野角によって,前記抽出した撮影方向を修正するモジュール(52)を備えることを特徴とするユニット。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate


【公表番号】特表2008−513852(P2008−513852A)
【公表日】平成20年5月1日(2008.5.1)
【国際特許分類】
【出願番号】特願2007−530746(P2007−530746)
【出願日】平成17年9月14日(2005.9.14)
【国際出願番号】PCT/FR2005/002280
【国際公開番号】WO2006/030133
【国際公開日】平成18年3月23日(2006.3.23)
【出願人】(591034154)フランス テレコム (290)
【Fターム(参考)】