オブジェクトの画像に関連する付加情報を表示するための装置、システム、方法及びコンピュータソフトウェア製品
本発明は、少なくとも１つのオブジェクト（１４）を含む装置（２）の環境に関する画像情報を形成する画像センサ（３）を備えた装置（２）に関し、上記画像情報には上記オブジェクトの画像（１４’）が含まれる。装置（２）はまた、該装置の環境の光景を表示する表示手段（３.５、５）と、装置（２）の位置を決定する位置決定手段（１１）と、さらに、少なくとも１組の通信手段（４、９）も具備している。通信手段（４、９）は、前記少なくとも１つのオブジェクト（１４）に関連する情報を受信する受信装置（４.２、９.２）を具備し、この情報には、少なくとも、オブジェクト（１４）の位置に関する情報が含まれる。装置（２）は、表示手段（３.５、５）によって表示するようになっている画像情報から上記オブジェクトの画像（１４’）位置を決定し、表示手段（３.５、５）によって上記オブジェクトの画像（１４’）と関連して表示される上記画像情報内のオブジェクト（１４）に関連する情報のうちの少なくとも一部を表示するための制御ブロック（８）を具備する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、装置環境に関する画像情報を形成するための、画像センサを備えた装置であって、上記環境は少なくとも１つのオブジェクトを含み、上記画像情報には上記オブジェクトの画像が含まれる装置において、上記装置環境の光景を表示する表示手段と、上記装置の位置を決定する位置決定手段と、少なくとも１組の通信手段とを具備する装置に関するものである。本発明はまた、少なくとも１つのオブジェクトを含む装置の環境を示す画像情報であって、上記オブジェクトの画像を含む画像情報を形成する画像センサと、上記装置の環境の光景を表示する表示手段とを備えた装置を具備するシステムにも関し、上記システムはまた、上記装置の位置を決定する位置決定手段と、少なくとも１組の通信手段と、上記オブジェクトの位置を決定する手段も具備する。さらに、本発明は、装置内の画像情報を表示する方法に関し、上記装置の環境に関する画像情報を形成するために画像センサを用いるステップであって、上記環境には少なくとも１つのオブジェクトが含まれ、上記画像情報には上記オブジェクトの画像が含まれるステップと、上記装置の環境の光景を表示するステップと、上記装置と上記オブジェクトとの位置を決定するステップとを具備するものである。最後に、本発明は、装置内の画像情報を表示する機械で実行可能なプログラム命令を有するコンピュータソフトウェア製品に関するものであり、少なくとも１つのオブジェクトが含まれる装置の環境に関する画像情報を形成するために画像センサが用いられ、その場合、上記画像情報には上記オブジェクトの画像が含まれ、上記装置の環境の光景の表示、及び、上記装置と上記オブジェクトとの位置データの決定が行われる。
【背景技術】
【０００２】
見知らぬ場所で移動し、ターゲットを発見しようとするとき、どの方向へ進むべきか、そして、ターゲットまでさらにどのくらい距離があるかということで戸惑うことがある。地図と、ターゲットへのアクセスを容易にするのに利用できる測位用受信機とを携帯することもできる。
【０００３】
さらに、１以上の他の人と会う約束をしている状況では、特に、多くの他の人々が待ち合わせ場所にいる場合には、会う約束をしている人に気がつくことが困難な場合がある。このような状況では、人は、例えば携帯電話機などを用いて電話をかけることによりお互い同士の位置を見つけ出そうと試みることも可能である。しかし、前記の人と連絡をとるには携帯電話機及びその人の電話番号に関する情報を利用できる必要がある。また、これは一般に発呼者に電話コストが生じることになる。
【０００４】
さらに、ディスプレイの画像情報上へ補助情報を追加できるシステムが知られている。この追加情報として、例えばビデオ画像やテキストフォーマットの形の情報のような別の画像ソースから得られる画像がある。これは拡張リアリティシステムとして知られているものである。このようなシステムを利用して、例えばコンピュータに格納された設計情報で実際の画像情報を補足する、部分的にバーチャルな環境の実現などが可能となる。このようにして、設計中のビルのその環境での適合性を視覚化することが可能となる。
【０００５】
例えば車輌内で計器盤の光景、又はその一部がフロントガラスの表面に表示される構成も知られている。この構成によって、車輌のドライバは計器盤上へ頻繁に自分の目を移動させる必要がなく、最も重要な計測データを見ることが可能となる。これはヘッドアップ・ディスプレイ（ＨＵＤ）として知られているものである。
【０００６】
如上のシステムにおける問題点として、追加すべき情報が予め装置に格納されているということが挙げられる。追加すべき情報においては、例えばその時点における装置又は車輌の位置、若しくは位置の環境及びこの位置環境内で生じる可能性のある変化は、全く考慮に入れなくてもよい。前記車輌用の適用例では、フロントガラスの表面上へ投影される情報は同じ車輌内の別の装置から検索されるものである。したがって、この情報は車輌専用の情報であり、補助情報の内容は車輌の所在位置と移動方向とにかかわりなく同じである。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
装置のディスプレイに提示すべき情報の中に情報を含めるようにすることが可能な構成を提供することが本発明の目的である。装置のディスプレイに提示すべき情報としては、例えばリアルタイムのカメラ画像やファインダから得られる環境を示す画像がある。したがって、本発明に準拠する構成では、画像化する対象オブジェクトがどの方向にあるかを考慮に入れること、及び、このことに基づいてオブジェクトを特定することが可能となる。次いで、オブジェクトからそのオブジェクトに関連する情報をダウンロードして、装置のディスプレイにその情報を示すようにすることが可能となる。さらに正確に述べれば、本発明に準拠する装置は、データ送信手段が、前記少なくとも１つのオブジェクトに関連する情報を受信する受信装置を具備し、上記情報が、少なくとも、オブジェクトの所在位置に関する情報を含み、上記装置が、表示手段によって表示されるようになっている画像情報からオブジェクトの画像位置を決定し、さらに、上記オブジェクトの画像と関連して表示手段によって表示すべき、画像情報内のオブジェクトに関する情報のうちの少なくとも一部を表示するための制御ブロックを具備することを主たる特徴とするものである。
【課題を解決するための手段】
【０００８】
本発明に準拠するシステムは、少なくとも１つのオブジェクトに関連する情報を受信する手段であって、情報が、少なくともオブジェクトの位置に関する情報を含む手段と、表示手段によって表示されるようになっている画像情報からオブジェクトの画像位置を決定する手段と、オブジェクトの画像と関連して表示手段によって表示される画像情報内のオブジェクトに関連する情報のうちの少なくとも一部を表示する手段と、を具備することを主たる特徴とするものである。
【０００９】
本発明による方法は、装置内の前記少なくとも１つのオブジェクトに関する情報を受信するステップであって、該情報が、少なくとも上記オブジェクトの位置に関する前記情報を含むステップと、表示手段によって表示するようになっている上記画像情報から上記オブジェクトの画像位置を決定するステップと、上記オブジェクトの画像と関連して、表示手段によって表示される上記画像情報内の上記オブジェクトに関連する情報をさらに具備することを主たる特徴とするものである。
【００１０】
最後に、本発明に準拠するコンピュータソフトウェア製品は、装置内の上記少なくとも１つのオブジェクトに関連する情報を受信し、該情報が、少なくとも上記オブジェクトの位置に関する情報を含み、表示手段によって表示するようになっている画像情報から上記オブジェクトの画像位置を決定し、上記オブジェクトの画像と関連して上記表示手段によって表示される上記画像情報内の上記オブジェクトに関連する情報のうちの少なくとも一部を表示する機械で実行可能なプログラム命令も具備することを主たる特徴とするものである。
【００１１】
本発明は従来技術の解決方法に優る利点を示すものである。本発明に準拠する構成では、ディスプレイ上の情報の位置が当該オブジェクトを示すように画像化を行う対象オブジェクトに情報を与えることができる。このようにして、人やターゲットを探している人のような装置のユーザは、装置のディスプレイを見ることによって、そして、必要に応じて、装置内のカメラ、又は、装置と接続されたカメラを様々な方向に向けることによってさらに簡単に所望の人やターゲットの発見が可能となる。したがって、所望のターゲットがディスプレイに現れたとき、探索している人が使用している装置のディスプレイ上にオブジェクトが送信する情報を表示することが可能となる。このようにして、特に、人ごみの中で人を発見することがさらに簡単になる。さらに、画像に表示されるオブジェクトに関連する情報を装置のディスプレイに提示することが可能となる。例えばオブジェクトが自動飲料販売機であれば、オブジェクトの中に含まれる飲料などの選択結果、価格データなどをユーザの装置のディスプレイ上に表示することが可能である。本発明に準拠する構成によって、装置のユーザは、画像を記録する前にすでにディスプレイ上に及び／又はファインダの中に表示された画像の形で情報を得ることが可能となる。この情報は選択すべき画像と関連して格納することが可能であり、その場合、例えば画像を発見するために、及び、画像を記録した時点におけるイベントを表示するためにアルバムなどの中でこの情報を利用することが可能である。
【００１２】
本発明の１つの実施形態に準拠する構成では、さらに詳細にもっと大きなオブジェクト（アトラクションなど）の一部を表示することができる。レンズの角度、装置の所在位置及び位置がわかっているとき、ディスプレイ上で又はファインダの中でオブジェクトのどの部分が目に見えるかを計算することが可能となる。したがって、例えば様々な場所の中へ歩いて入っていくことによって、又は、そのオブジェクトに接近することによってさらに大きなオブジェクトを容易に観察することが可能となる。観察される対象オブジェクトと関連して、その時点において装置のユーザがどこにいるかに従って情報を変更し、拡張することが可能となる。
【００１３】
以下、添付図面を参照しながら本発明についてさらに詳細に説明する。
【発明を実施するための最良の形態】
【００１４】
図１は、本発明の１つの実施形態に準拠する装置２を示す簡略なブロック図である。装置２は画像を記録する画像センサ３、又はその類似物を具備する。又は、画像を記録する画像センサ又はデジタルカメラは装置２と接続することができる。さらに、装置２は送信機４.１と受信装置４.２とを備える少なくとも１組の通信手段４を具備する。装置２は視覚情報を表示するディスプレイ５も具備する。さらに、装置２は、データ入力用、画像の記録制御用などのキーパッド６を具備する。装置２はイヤホン７.１及びマイク７.２などのようなオーディオ手段７を具備することも可能であり、さらに、必要に応じて、オーディオ情報の符号化と復号とを行うコーデックもおそらく具備することが可能である。装置２は装置２の機能を制御する制御ブロック８も具備する。制御ブロック８は例えば１以上のプロセッサ（ＣＰＵ、ＤＳＰ）を具備する。さらに、図１の装置２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）システム、ＷＬＡＮシステム又は別の通信システムに準拠するローカルな通信手段のような第２の通信手段９を具備し、このようなローカルな通信手段は上記目的に適するものであり、特に、別の対応する装置とのデータ送信接続を設定するためのローカルな利用を意図するものである。さらに、装置２は情報、プログラムなどを格納するためのメモリ１０を具備する。装置２の位置を決定するために、装置は、全地球測位システム（ＧＰＳ）の受信装置のような測位用受信機１１を具備することも可能である。最後に、装置の方向（コンパスヘディング）を決定するために、装置２には電子コンパス１２、又はその類似物を設けることが可能であり、この電子コンパス１２を用いて、各時刻の装置２の方向及びおそらくはまた装置２の、例えば水平方向に対する傾斜の角度も決定することが可能となる。
【００１５】
次に、図５のフローチャートを参照しながら図２のシステム１における装置２の機能について説明することにする。装置２のユーザは、例えばファインダ機能を起動し、画像センサ３によって撮影された画像がほぼリアルタイムでディスプレイ５に表示される。ディスプレイ上に提示されるこの画像は、カメラのファインダに表示される類の画像情報に対応する。一方、従来型の光学式ファインダ３.５（図６）をファインダとして利用することが可能であり、その場合、ディスプレイ５はファインダ機能の実行に必ずしも必要なものでない。例えばシャッタ・ボタン３.８をわずかに、例えば半分下へ押してシャッタ・ボタン３.８をこの位置に保持することなどによってファインダ機能は起動される。この後、装置２は、例えば、第２の通信手段９の受信装置９.２を用いて監視することによって、対応するローカルな通信手段を持つ別の装置が近くに存在するかどうかの判定５０１と、このような装置のローカルな通信手段によって送信された信号の受信５０２の試行とを開始する。このような装置が発見された場合、信号の受信が開始される。この受信信号は復調され、この信号で送信された情報は装置２のメモリ１０に格納される。この受信情報には、例えば装置識別子データ（例えば装置名）、及び、位置座標のような装置の位置データも含まれる。上記位置座標は、例えば３次元で、すなわち２つの座標（ｘ，ｙ）及び例えば海面からの高度で示されるオブジェクトに関する所在位置で与えられる。装置２は、例えば測位用受信機１１によってそれ自身の装置位置の決定５０３も行う。場合によっては、装置２の位置を移動体通信ネットワーク１５などによって決定することも可能である。この場合、装置２又は移動体通信ネットワーク１５のいずれかで位置を決定することができる。
【００１６】
図２はまた画像センサの画像の形で目に見える複数のオブジェクト１４.１、１４.２、１４.２が存在する状況も例示する図である。図２には、画像センサによって見られる画像領域のエッジが破線３.２で図示されている。これらのエッジ３.２間のオブジェクトは画像領域内にある。
【００１７】
必要な位置データが装置２の中で利用可能となった後、装置２から近傍にある相手方装置１４への方向ベクトルを決定する５０５ことが可能となる。しかし、このデータは上記オブジェクトに対する画像センサ３の位置を十分に示すものではない。すなわち、第２の装置１４が画像センサ１３の画像領域内にあるかどうか、そして、これが肯定の場合、上記画像領域のどの部分にあるかについては十分に示さない。したがって、装置２は画像センサ３のコンパスヘディング、すなわち画像センサのレンズ３.１が指し示すコンパスの位置を発見しようと努めることも可能となる。このコンパスヘディングは視方向とも呼ぶことができる。というのは、ファインダを通して、中心がほぼコンパスヘディングの方向にある視界がユーザの目に映るからである。例えば、装置２の電子コンパス１２によって視方向を決定することができる。電子コンパス１２は画像センサのコンパスヘディングに関するデータを制御ブロック８へ送信する。収集されたデータに基づいて、例えば、画像センサ３によって撮影された画像の中のどの位置が第２の装置１４の所在位置であるかを制御ブロック８において決定する５０６ことが可能である。この位置は、例えば画像領域の中心に対する方向角として決定することができる。ｘ，ｙ座標に加えて、装置２と第２の装置１４との間の高さの差、及び、画像センサ３の傾斜の角度、すなわち水平方向に対する画像センサ３の位置も分かっていれば、画像センサによって形成された画像内の第２の装置１４の画像の高さをある程度の精度で決定する５０４ことも可能である。これは、第２の装置１４によって与えられる位置座標と、装置２の位置自体の座標と、方向データとを用いて計算によって可能である。
【００１８】
装置２は、例えば電子コンパス１２と関連して、傾斜計１３などを具備することも可能であり、この傾斜計は、例えば、水平方向に対する装置２などの傾斜と、画像センサ３の目に見える画像領域の中心線のずれ、あるいは、水平面に対する傾斜の角度を示すものである。したがって、コンパスヘディングに加えて、高さ方向で装置２の方位の決定が可能となり、その場合、コンパスヘディング、及び、画像センサ３の目に見える画像領域の中心線（視方向）の傾斜の角度を決定することが可能であり、オブジェクト１４のこのデータを用いて、装置２のディスプレイ５に表示される画像情報から画像領域３.４に形成される画像１４’の位置を決定することが可能である。ここでは、画像センサ３は装置２に対して静止するように固定されたものとして仮定されているが、装置２から分離した画像センサ装置も同様に利用可能であることは言うまでもない。このような場合、上記データを用いて、画像センサ３内の画像情報の中にオブジェクトの画像を発見できるように画像センサ３に関連して傾斜の角度及び視方向が測定される。
【００１９】
図３は、画像領域３.４においてオブジェクト１４から形成される画像１４’の位置の決定を例示する図である。図３で、角度αは、視方向からの、すなわち、画像センサ３から見た画像領域３.４の中心線３.３からの、画像１４から形成される画像１４’の方向偏差を表わす。したがって、角度βは、画像領域３.４の中心線３.３からの、オブジェクト１４から形成される画像１４’の垂直方向のずれを表わすことになる。
【００２０】
オブジェクト１４の画像１４’の位置を決定した後、オブジェクト１４すなわち第２の装置に関連する情報を装置２のディスプレイ５に表示する５０７ことが可能となる。この情報、又は、この情報の一部は、オブジェクト１４の画像１４’が発見された位置に近接して装置２のディスプレイ５に表示される。例えばこの情報は、図４ａに図示のようにオブジェクトの画像１４上に表示される。上記情報は、例えばオブジェクト１４の名称、第２の装置のユーザ名、オブジェクトの座標データなどであってもよい。この情報は、例えばオブジェクト１４、通信ネットワーク１６と接続されたサーバ１７、移動体交換センタ１５.１、又はその類似物から受信されたものである。
【００２１】
対応するローカルな通信手段を備えた複数の他のオブジェクト１４が装置２の近傍に存在する場合、装置２を用いて、２以上のこのようなオブジェクトが送信した信号を、及び、これらの信号で送信された情報を受信することが可能であり、その場合、上に提示した測定値を個々のこのようなオブジェクト１４用として選択することが可能である。したがって、オブジェクト名や、オブジェクト内の装置のユーザ名のような、装置２の近傍にある複数のオブジェクト１４に関する情報も装置２のディスプレイ５に同時に表示することが可能となる。このような機能は、例えば、装置２を利用しているある人が、待ち合わせ場所で会う約束をしている一人又は複数の人を人ごみ中で見つけようとする状況などで利用することができる。したがって、装置２のユーザは装置２の画像センサ３を用いることによって環境を観察し、様々な方向に画像センサ３を向けることが可能となり、その場合、装置２へ情報を送信したオブジェクト１４の画像がディスプレイ５に現れると、上記装置が送信した情報が装置２のディスプレイ５に表示されることになる。したがって、この情報を検討することによって、ユーザは人ごみから所望の人を見つけることが可能となる。
【００２２】
本発明の如上の実施形態は、装置２の位置データ、及び、視方向に関する情報を装置２からサーバ１７などへ送信するように適用することが可能である。サーバ１７は、オブジェクト１４が送信した位置データを含む情報を受信したり、又はオブジェクト１４の位置を決定したりする。この情報に基づいて、サーバ１７は、オブジェクトが装置２の画像センサ３の画像領域３.４内に存在するかどうかの判定を行い、これらのオブジェクトの情報を装置２へ送信することができる。上記に基づいて、上記情報又はこの情報の一部を装置２のディスプレイ５に表示することができる。使用するサーバは、移動体交換センタ１５.１、又は装置２及びオブジェクト１４と通信できるように構成可能な別のサーバ装置であってもよい。
【００２３】
本発明のさらに別の応用例では、オブジェクト１４の位置データ及び他の情報を必ずしも受信する必要はなく、この位置データはサーバ１７に格納される。これは特に、オブジェクト１４が移動していないで、ある位置に静止するように配置されている状況に適している。
【００２４】
図４ａと図４ｂとは、本発明に準拠する情報を提示する１つの可能な実施形態を示す図である。人が装置２の画像センサ３を用いて環境を画像化していて、装置２のローカルな通信手段９に対応するローカルな通信手段を備えたオブジェクトが画像の中に現れたとき、装置２は該装置が送信した信号を受信する。この信号の中には、例えば、オブジェクト１４.１の名称に関する送信済みの情報、並びに、オブジェクト１４.１の中の飲料及びそれら飲料の価格のようなオブジェクト１４.１の中に含まれる製品選択に関する送信済みの情報も含まれている。オブジェクトの画像１４.１が比較的小さなものである場合、名称や、オブジェクト（例えば自動飲料販売機、飲料など）の機能について説明するテキストなどのその状況で適切な情報項目を選択することが可能である。ユーザは移動して、そのオブジェクトの方へもっと近づくことができるし、又は、装置２がズーミング機能を有していれば、さらに大きなサイズへオブジェクトの画像１４.１をズームすることができる。オブジェクトの画像がさらに大きくなると、装置のディスプレイ５に情報の一部を表示することができるが、この情報表示は、必要に応じてオブジェクトの画像上に表示されたり、オブジェクトのすぐ近傍に表示されたりすることになる。図４ａでは、ユーザがオブジェクト１４.１（本例では自動飲料販売機）から比較的遠いところにいて、テキスト“飲料”のみが表示されているということがわかる。図４ｂでは、オブジェクトの画像はさらに拡大されて、オブジェクト１４.１の内容に関する情報、すなわち本発明を限定するものではないこの事例では、オブジェクト１４.１の中に含まれる飲料に関する情報及びそれら飲料の価格の表示も可能になっている。この情報に基づいて、装置２のユーザは、自動飲料販売機が、ユーザの購買したい飲料を含むものであるかどうかを判断することが可能となる。いくつかのこのようなオブジェクトが近傍に存在していてもよい。その場合個々のオブジェクトは装置２と通信を行い、オブジェクトに関する情報をユーザの装置２へ送信することができる。
【００２５】
目に見えるものに従って情報量を変える別の例として、装置２を利用して国会議事堂のようなオブジェクトをディスプレイ５上で見る、及び／又は、テキスト“国会議事堂”のような情報がディスプレイ５に及び／又はファインダ３.５の中に表示される状況がある。ユーザがそのオブジェクトの方へもっと近づいたり、オブジェクトをさらに大きなサイズにズームしたりして、国会議事堂の建築上の特徴のようなオブジェクト内の特徴を見たとき、ディスプレイ５及び／又はファインダ３.５は、例えば以下のタイプの情報：“国会議事堂：<建築上の特徴の記述>”が表示されることになる。
【００２６】
図４ａには数人の人も示されているが、そのうちの２人の人１４.２、１４.３は装置２と通信できる装置を携帯している。したがって、装置のディスプレイ２はこれらの人１４.２、１４.３の名前（メアリ、ヘンリ）も示すことになり、これらの名前はそれぞれの人が携帯している装置に格納されることになる。これに対応して、図４ｂはただ一人の人１４.２を示し、この人に関する情報が装置２で受信される。
【００２７】
本発明はまた、自動飲料販売機以外の別のサービス拠点について通知を行うのにも適用可能である。例えばレストランの座標データに併せて、例えば１日のメニュー、開店時間、空席に関する情報などを情報として装置２へ送信することによってレストランの宣伝を行うことができる。本発明を適用する別の可能なサービス拠点にはサービスステーション、店舗、劇場などが含まれる。
【００２８】
図４ｃと図４ｄとは本発明のさらに別の応用例を示す図である。図４ｃで、装置２のユーザは比較的広い視野で環境を画像化している。この場合オブジェクト１４は必ずしもディスプレイ５に非常にはっきりと目に見える必要はなく、あるオブジェクトは別のオブジェクトの後ろに存在するかも知れない。例えば図４ｃの状況では、メアリという名前の人はビル１４.４の後ろにいるが、この人に関する情報は装置２で受信されている。したがって、オブジェクト１４に関する情報を収集することが可能となり、たとえオブジェクトが画像の形で目に見えなくても、画像センサ３によって形成され、ディスプレイ５に表示された画像の中で人１４の位置の決定が可能となる。したがって、情報の表示位置に基づいて、ユーザは例えばオブジェクト１４.２、例えばメアリという名前の人の方へ向かう画像への正しい移動方向を結論付けることが可能となる。ユーザが情報１９によって指示された方向に移動し、その方向に接近するとき、オブジェクト１４.２の周辺の光景はより鮮明になり、必要に応じて移動方向を修正して、さらに鮮明になるようにすることが可能である。これが図４ｄに例示されていて、ビル１４.４の後ろにいる探索対象の人の姿が見えるようになっている。
【００２９】
図４ｃはまた他の人々も示しているが、これらの人々は情報を装置２へ送信する装置を携帯していない。これは、例えば上記の人々が携帯している装置がおそらく本発明を利用していないという事実に起因していることも考えられるし、又は人々が情報の送信を禁止しているという事実に起因していることも考えられるし、又は装置の識別子（名称）が所定の許された識別子に属している装置２のみへ情報の送信が定義によって許されているということに起因していることも考えられる。
【００３０】
如上のファインダ機能に加えて、画像の記録と関連して本発明を利用することができる。この場合、必要に応じてファインダ機能を利用して、ディスプレイ上に及び／又はファインダの中に画像の記録と関連する情報を表示することができる。そして、画像と関連して格納すべき画像仕様としてこの情報の格納を行うことができる。画像を撮影するために、例えばシャッタ・ボタン３.８が最も低い位置まで押下される。上記情報は必ずしも画像に関して永久に格納する必要はなく、この情報を伴うか、情報を伴わないかにかかわらず画像表示を行うことが可能である。ユーザは、画像の記録場所及び記録時刻に関する情報のような画像に関連する可視情報、並びに、人名、サービスポイント名などのような画像内の可視オブジェクトと共に格納された画像からなるアルバムを作成することができる。このようにして、例えば、画像に添付された情報を利用することによって格納済み画像のサーチはさらに簡単なものになる。
【００３１】
すでに上述したように、本発明では、装置２とオブジェクト１４との間での通信時の短距離データ送信以外の別の方法を適用することも可能である。例えば、移動体通信ネットワーク１５及び／又はインターネットデータネットワーク１６の利用が可能であり、その場合、移動体通信ネットワーク１５、インターネットデータネットワーク１７及び／又は別の遠隔通信ネットワークを介して装置２とオブジェクト１４との間で情報の送信が行われる。したがって、装置２において及び／又はオブジェクト１４において短距離データ送信を目的とする第２の通信手段９は必ずしも必要とはかぎらない。
【００３２】
本発明では、例えば、装置２のディスプレイ５に光景を表示することによってファインダ機能の実現が可能となり、その場合、ディスプレイ５にも情報が表示される。別の可能性として、ファインダ機能における従来方式の光学式ファインダ３.５の利用があり、その場合、この光学式ファインダ３.５には手段３.７が設けられて、あたかもファインダで見えるオブジェクト上に情報が存在するかのように装置２のユーザの目に見えるようにファインダ内の所望のポイント内に情報が反映される。これは、例えば、ファインダ３.５内のレンズ３.６の表面上へ情報を投影することによって実現可能である。図６にこの実施形態が原理的に例示されている。このコンテキストでは、いくつかの車輌で計器盤の光景をフロントガラスに表示するのに利用するのと同じ技術の適用がある程度まで可能である。ファインダのレンズ３.６の代わりに装置２のユーザの人間の目１８へ情報を投影して、あたかもオブジェクト１４上に情報があるかのように人間の目に見えるようにすることも可能である。
【００３３】
近傍のオブジェクト１４を発見するために、オブジェクト１４内の別の装置が送信した信号を装置２の第２の通信手段９の受信装置９.２が受信することは前に本説明で提示した。したがって、例えば規則的な間隔などで、装置２で受信できる信号を送信するようにオブジェクト１４内の装置が構成され、オブジェクト１４が近傍に存在するという結論をこの信号の存在から下すことが可能となる。上記送信信号が情報を含む場合もあれば、例えば装置２やサーバ１７からの要求時にまず信号に情報を与える場合もある。装置２が、例えば第２の通信手段の送信機９.１によって問合せ信号などを送信することにより、これらのオブジェクトの探索を実装することも可能であり、その場合近くのオブジェクト１４の装置は、このような信号の存在を監視し、上記装置がこの信号を検出したとき、装置２へ情報を送信するのに必要なステップがとられることになる。
【００３４】
本発明による方法の様々な機能は、主として、装置２の制御ブロック８においてプログラミングを行うことによって実現することができる。したがって、装置２のメモリ１０には、格納された機械で実行可能なプログラム命令が含まれ、オブジェクト１４の画像１４’の位置等の決定に必要な計算ステップのような、上記プログラム命令の必要なステップが制御ブロック８によって制御されるようになっている。
【００３５】
本発明は、種々の装置２及びシステム１において利用可能である。このような装置２について述べるべき、発明を限定するものではないいくつかの例の中には、移動体通信手段、デジタルカメラ及びビデオカメラのような携帯用通信手段が含まれる。
【００３６】
本発明が如上の実施形態のみに限定されるものではなく、本願の請求項の範囲内で変更可能であることは明らかである。
【図面の簡単な説明】
【００３７】
【図１】本発明の１つの実施形態に準拠する装置を簡略図で示す。
【図２】本発明の実施形態に基づくシステム簡略図である。
【図３】装置によって表示される画像でオブジェクトの測位を例示する。
【図４ａ】本発明のいくつかの適用例を示す。
【図４ｂ】本発明のいくつかの適用例を示す。
【図４ｃ】本発明のいくつかの適用例を示す。
【図４ｄ】本発明のいくつかの適用例を示す。
【図５】本発明の１つの実施形態に準拠する方法の動作を簡略なフローチャートで示す。
【図６】本発明の別の実施形態と関連して用いられるデータ表示用アプリケーションを示す簡略図である。
【技術分野】
【０００１】
本発明は、装置環境に関する画像情報を形成するための、画像センサを備えた装置であって、上記環境は少なくとも１つのオブジェクトを含み、上記画像情報には上記オブジェクトの画像が含まれる装置において、上記装置環境の光景を表示する表示手段と、上記装置の位置を決定する位置決定手段と、少なくとも１組の通信手段とを具備する装置に関するものである。本発明はまた、少なくとも１つのオブジェクトを含む装置の環境を示す画像情報であって、上記オブジェクトの画像を含む画像情報を形成する画像センサと、上記装置の環境の光景を表示する表示手段とを備えた装置を具備するシステムにも関し、上記システムはまた、上記装置の位置を決定する位置決定手段と、少なくとも１組の通信手段と、上記オブジェクトの位置を決定する手段も具備する。さらに、本発明は、装置内の画像情報を表示する方法に関し、上記装置の環境に関する画像情報を形成するために画像センサを用いるステップであって、上記環境には少なくとも１つのオブジェクトが含まれ、上記画像情報には上記オブジェクトの画像が含まれるステップと、上記装置の環境の光景を表示するステップと、上記装置と上記オブジェクトとの位置を決定するステップとを具備するものである。最後に、本発明は、装置内の画像情報を表示する機械で実行可能なプログラム命令を有するコンピュータソフトウェア製品に関するものであり、少なくとも１つのオブジェクトが含まれる装置の環境に関する画像情報を形成するために画像センサが用いられ、その場合、上記画像情報には上記オブジェクトの画像が含まれ、上記装置の環境の光景の表示、及び、上記装置と上記オブジェクトとの位置データの決定が行われる。
【背景技術】
【０００２】
見知らぬ場所で移動し、ターゲットを発見しようとするとき、どの方向へ進むべきか、そして、ターゲットまでさらにどのくらい距離があるかということで戸惑うことがある。地図と、ターゲットへのアクセスを容易にするのに利用できる測位用受信機とを携帯することもできる。
【０００３】
さらに、１以上の他の人と会う約束をしている状況では、特に、多くの他の人々が待ち合わせ場所にいる場合には、会う約束をしている人に気がつくことが困難な場合がある。このような状況では、人は、例えば携帯電話機などを用いて電話をかけることによりお互い同士の位置を見つけ出そうと試みることも可能である。しかし、前記の人と連絡をとるには携帯電話機及びその人の電話番号に関する情報を利用できる必要がある。また、これは一般に発呼者に電話コストが生じることになる。
【０００４】
さらに、ディスプレイの画像情報上へ補助情報を追加できるシステムが知られている。この追加情報として、例えばビデオ画像やテキストフォーマットの形の情報のような別の画像ソースから得られる画像がある。これは拡張リアリティシステムとして知られているものである。このようなシステムを利用して、例えばコンピュータに格納された設計情報で実際の画像情報を補足する、部分的にバーチャルな環境の実現などが可能となる。このようにして、設計中のビルのその環境での適合性を視覚化することが可能となる。
【０００５】
例えば車輌内で計器盤の光景、又はその一部がフロントガラスの表面に表示される構成も知られている。この構成によって、車輌のドライバは計器盤上へ頻繁に自分の目を移動させる必要がなく、最も重要な計測データを見ることが可能となる。これはヘッドアップ・ディスプレイ（ＨＵＤ）として知られているものである。
【０００６】
如上のシステムにおける問題点として、追加すべき情報が予め装置に格納されているということが挙げられる。追加すべき情報においては、例えばその時点における装置又は車輌の位置、若しくは位置の環境及びこの位置環境内で生じる可能性のある変化は、全く考慮に入れなくてもよい。前記車輌用の適用例では、フロントガラスの表面上へ投影される情報は同じ車輌内の別の装置から検索されるものである。したがって、この情報は車輌専用の情報であり、補助情報の内容は車輌の所在位置と移動方向とにかかわりなく同じである。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
装置のディスプレイに提示すべき情報の中に情報を含めるようにすることが可能な構成を提供することが本発明の目的である。装置のディスプレイに提示すべき情報としては、例えばリアルタイムのカメラ画像やファインダから得られる環境を示す画像がある。したがって、本発明に準拠する構成では、画像化する対象オブジェクトがどの方向にあるかを考慮に入れること、及び、このことに基づいてオブジェクトを特定することが可能となる。次いで、オブジェクトからそのオブジェクトに関連する情報をダウンロードして、装置のディスプレイにその情報を示すようにすることが可能となる。さらに正確に述べれば、本発明に準拠する装置は、データ送信手段が、前記少なくとも１つのオブジェクトに関連する情報を受信する受信装置を具備し、上記情報が、少なくとも、オブジェクトの所在位置に関する情報を含み、上記装置が、表示手段によって表示されるようになっている画像情報からオブジェクトの画像位置を決定し、さらに、上記オブジェクトの画像と関連して表示手段によって表示すべき、画像情報内のオブジェクトに関する情報のうちの少なくとも一部を表示するための制御ブロックを具備することを主たる特徴とするものである。
【課題を解決するための手段】
【０００８】
本発明に準拠するシステムは、少なくとも１つのオブジェクトに関連する情報を受信する手段であって、情報が、少なくともオブジェクトの位置に関する情報を含む手段と、表示手段によって表示されるようになっている画像情報からオブジェクトの画像位置を決定する手段と、オブジェクトの画像と関連して表示手段によって表示される画像情報内のオブジェクトに関連する情報のうちの少なくとも一部を表示する手段と、を具備することを主たる特徴とするものである。
【０００９】
本発明による方法は、装置内の前記少なくとも１つのオブジェクトに関する情報を受信するステップであって、該情報が、少なくとも上記オブジェクトの位置に関する前記情報を含むステップと、表示手段によって表示するようになっている上記画像情報から上記オブジェクトの画像位置を決定するステップと、上記オブジェクトの画像と関連して、表示手段によって表示される上記画像情報内の上記オブジェクトに関連する情報をさらに具備することを主たる特徴とするものである。
【００１０】
最後に、本発明に準拠するコンピュータソフトウェア製品は、装置内の上記少なくとも１つのオブジェクトに関連する情報を受信し、該情報が、少なくとも上記オブジェクトの位置に関する情報を含み、表示手段によって表示するようになっている画像情報から上記オブジェクトの画像位置を決定し、上記オブジェクトの画像と関連して上記表示手段によって表示される上記画像情報内の上記オブジェクトに関連する情報のうちの少なくとも一部を表示する機械で実行可能なプログラム命令も具備することを主たる特徴とするものである。
【００１１】
本発明は従来技術の解決方法に優る利点を示すものである。本発明に準拠する構成では、ディスプレイ上の情報の位置が当該オブジェクトを示すように画像化を行う対象オブジェクトに情報を与えることができる。このようにして、人やターゲットを探している人のような装置のユーザは、装置のディスプレイを見ることによって、そして、必要に応じて、装置内のカメラ、又は、装置と接続されたカメラを様々な方向に向けることによってさらに簡単に所望の人やターゲットの発見が可能となる。したがって、所望のターゲットがディスプレイに現れたとき、探索している人が使用している装置のディスプレイ上にオブジェクトが送信する情報を表示することが可能となる。このようにして、特に、人ごみの中で人を発見することがさらに簡単になる。さらに、画像に表示されるオブジェクトに関連する情報を装置のディスプレイに提示することが可能となる。例えばオブジェクトが自動飲料販売機であれば、オブジェクトの中に含まれる飲料などの選択結果、価格データなどをユーザの装置のディスプレイ上に表示することが可能である。本発明に準拠する構成によって、装置のユーザは、画像を記録する前にすでにディスプレイ上に及び／又はファインダの中に表示された画像の形で情報を得ることが可能となる。この情報は選択すべき画像と関連して格納することが可能であり、その場合、例えば画像を発見するために、及び、画像を記録した時点におけるイベントを表示するためにアルバムなどの中でこの情報を利用することが可能である。
【００１２】
本発明の１つの実施形態に準拠する構成では、さらに詳細にもっと大きなオブジェクト（アトラクションなど）の一部を表示することができる。レンズの角度、装置の所在位置及び位置がわかっているとき、ディスプレイ上で又はファインダの中でオブジェクトのどの部分が目に見えるかを計算することが可能となる。したがって、例えば様々な場所の中へ歩いて入っていくことによって、又は、そのオブジェクトに接近することによってさらに大きなオブジェクトを容易に観察することが可能となる。観察される対象オブジェクトと関連して、その時点において装置のユーザがどこにいるかに従って情報を変更し、拡張することが可能となる。
【００１３】
以下、添付図面を参照しながら本発明についてさらに詳細に説明する。
【発明を実施するための最良の形態】
【００１４】
図１は、本発明の１つの実施形態に準拠する装置２を示す簡略なブロック図である。装置２は画像を記録する画像センサ３、又はその類似物を具備する。又は、画像を記録する画像センサ又はデジタルカメラは装置２と接続することができる。さらに、装置２は送信機４.１と受信装置４.２とを備える少なくとも１組の通信手段４を具備する。装置２は視覚情報を表示するディスプレイ５も具備する。さらに、装置２は、データ入力用、画像の記録制御用などのキーパッド６を具備する。装置２はイヤホン７.１及びマイク７.２などのようなオーディオ手段７を具備することも可能であり、さらに、必要に応じて、オーディオ情報の符号化と復号とを行うコーデックもおそらく具備することが可能である。装置２は装置２の機能を制御する制御ブロック８も具備する。制御ブロック８は例えば１以上のプロセッサ（ＣＰＵ、ＤＳＰ）を具備する。さらに、図１の装置２は、Ｂｌｕｅｔｏｏｔｈ（登録商標）システム、ＷＬＡＮシステム又は別の通信システムに準拠するローカルな通信手段のような第２の通信手段９を具備し、このようなローカルな通信手段は上記目的に適するものであり、特に、別の対応する装置とのデータ送信接続を設定するためのローカルな利用を意図するものである。さらに、装置２は情報、プログラムなどを格納するためのメモリ１０を具備する。装置２の位置を決定するために、装置は、全地球測位システム（ＧＰＳ）の受信装置のような測位用受信機１１を具備することも可能である。最後に、装置の方向（コンパスヘディング）を決定するために、装置２には電子コンパス１２、又はその類似物を設けることが可能であり、この電子コンパス１２を用いて、各時刻の装置２の方向及びおそらくはまた装置２の、例えば水平方向に対する傾斜の角度も決定することが可能となる。
【００１５】
次に、図５のフローチャートを参照しながら図２のシステム１における装置２の機能について説明することにする。装置２のユーザは、例えばファインダ機能を起動し、画像センサ３によって撮影された画像がほぼリアルタイムでディスプレイ５に表示される。ディスプレイ上に提示されるこの画像は、カメラのファインダに表示される類の画像情報に対応する。一方、従来型の光学式ファインダ３.５（図６）をファインダとして利用することが可能であり、その場合、ディスプレイ５はファインダ機能の実行に必ずしも必要なものでない。例えばシャッタ・ボタン３.８をわずかに、例えば半分下へ押してシャッタ・ボタン３.８をこの位置に保持することなどによってファインダ機能は起動される。この後、装置２は、例えば、第２の通信手段９の受信装置９.２を用いて監視することによって、対応するローカルな通信手段を持つ別の装置が近くに存在するかどうかの判定５０１と、このような装置のローカルな通信手段によって送信された信号の受信５０２の試行とを開始する。このような装置が発見された場合、信号の受信が開始される。この受信信号は復調され、この信号で送信された情報は装置２のメモリ１０に格納される。この受信情報には、例えば装置識別子データ（例えば装置名）、及び、位置座標のような装置の位置データも含まれる。上記位置座標は、例えば３次元で、すなわち２つの座標（ｘ，ｙ）及び例えば海面からの高度で示されるオブジェクトに関する所在位置で与えられる。装置２は、例えば測位用受信機１１によってそれ自身の装置位置の決定５０３も行う。場合によっては、装置２の位置を移動体通信ネットワーク１５などによって決定することも可能である。この場合、装置２又は移動体通信ネットワーク１５のいずれかで位置を決定することができる。
【００１６】
図２はまた画像センサの画像の形で目に見える複数のオブジェクト１４.１、１４.２、１４.２が存在する状況も例示する図である。図２には、画像センサによって見られる画像領域のエッジが破線３.２で図示されている。これらのエッジ３.２間のオブジェクトは画像領域内にある。
【００１７】
必要な位置データが装置２の中で利用可能となった後、装置２から近傍にある相手方装置１４への方向ベクトルを決定する５０５ことが可能となる。しかし、このデータは上記オブジェクトに対する画像センサ３の位置を十分に示すものではない。すなわち、第２の装置１４が画像センサ１３の画像領域内にあるかどうか、そして、これが肯定の場合、上記画像領域のどの部分にあるかについては十分に示さない。したがって、装置２は画像センサ３のコンパスヘディング、すなわち画像センサのレンズ３.１が指し示すコンパスの位置を発見しようと努めることも可能となる。このコンパスヘディングは視方向とも呼ぶことができる。というのは、ファインダを通して、中心がほぼコンパスヘディングの方向にある視界がユーザの目に映るからである。例えば、装置２の電子コンパス１２によって視方向を決定することができる。電子コンパス１２は画像センサのコンパスヘディングに関するデータを制御ブロック８へ送信する。収集されたデータに基づいて、例えば、画像センサ３によって撮影された画像の中のどの位置が第２の装置１４の所在位置であるかを制御ブロック８において決定する５０６ことが可能である。この位置は、例えば画像領域の中心に対する方向角として決定することができる。ｘ，ｙ座標に加えて、装置２と第２の装置１４との間の高さの差、及び、画像センサ３の傾斜の角度、すなわち水平方向に対する画像センサ３の位置も分かっていれば、画像センサによって形成された画像内の第２の装置１４の画像の高さをある程度の精度で決定する５０４ことも可能である。これは、第２の装置１４によって与えられる位置座標と、装置２の位置自体の座標と、方向データとを用いて計算によって可能である。
【００１８】
装置２は、例えば電子コンパス１２と関連して、傾斜計１３などを具備することも可能であり、この傾斜計は、例えば、水平方向に対する装置２などの傾斜と、画像センサ３の目に見える画像領域の中心線のずれ、あるいは、水平面に対する傾斜の角度を示すものである。したがって、コンパスヘディングに加えて、高さ方向で装置２の方位の決定が可能となり、その場合、コンパスヘディング、及び、画像センサ３の目に見える画像領域の中心線（視方向）の傾斜の角度を決定することが可能であり、オブジェクト１４のこのデータを用いて、装置２のディスプレイ５に表示される画像情報から画像領域３.４に形成される画像１４’の位置を決定することが可能である。ここでは、画像センサ３は装置２に対して静止するように固定されたものとして仮定されているが、装置２から分離した画像センサ装置も同様に利用可能であることは言うまでもない。このような場合、上記データを用いて、画像センサ３内の画像情報の中にオブジェクトの画像を発見できるように画像センサ３に関連して傾斜の角度及び視方向が測定される。
【００１９】
図３は、画像領域３.４においてオブジェクト１４から形成される画像１４’の位置の決定を例示する図である。図３で、角度αは、視方向からの、すなわち、画像センサ３から見た画像領域３.４の中心線３.３からの、画像１４から形成される画像１４’の方向偏差を表わす。したがって、角度βは、画像領域３.４の中心線３.３からの、オブジェクト１４から形成される画像１４’の垂直方向のずれを表わすことになる。
【００２０】
オブジェクト１４の画像１４’の位置を決定した後、オブジェクト１４すなわち第２の装置に関連する情報を装置２のディスプレイ５に表示する５０７ことが可能となる。この情報、又は、この情報の一部は、オブジェクト１４の画像１４’が発見された位置に近接して装置２のディスプレイ５に表示される。例えばこの情報は、図４ａに図示のようにオブジェクトの画像１４上に表示される。上記情報は、例えばオブジェクト１４の名称、第２の装置のユーザ名、オブジェクトの座標データなどであってもよい。この情報は、例えばオブジェクト１４、通信ネットワーク１６と接続されたサーバ１７、移動体交換センタ１５.１、又はその類似物から受信されたものである。
【００２１】
対応するローカルな通信手段を備えた複数の他のオブジェクト１４が装置２の近傍に存在する場合、装置２を用いて、２以上のこのようなオブジェクトが送信した信号を、及び、これらの信号で送信された情報を受信することが可能であり、その場合、上に提示した測定値を個々のこのようなオブジェクト１４用として選択することが可能である。したがって、オブジェクト名や、オブジェクト内の装置のユーザ名のような、装置２の近傍にある複数のオブジェクト１４に関する情報も装置２のディスプレイ５に同時に表示することが可能となる。このような機能は、例えば、装置２を利用しているある人が、待ち合わせ場所で会う約束をしている一人又は複数の人を人ごみ中で見つけようとする状況などで利用することができる。したがって、装置２のユーザは装置２の画像センサ３を用いることによって環境を観察し、様々な方向に画像センサ３を向けることが可能となり、その場合、装置２へ情報を送信したオブジェクト１４の画像がディスプレイ５に現れると、上記装置が送信した情報が装置２のディスプレイ５に表示されることになる。したがって、この情報を検討することによって、ユーザは人ごみから所望の人を見つけることが可能となる。
【００２２】
本発明の如上の実施形態は、装置２の位置データ、及び、視方向に関する情報を装置２からサーバ１７などへ送信するように適用することが可能である。サーバ１７は、オブジェクト１４が送信した位置データを含む情報を受信したり、又はオブジェクト１４の位置を決定したりする。この情報に基づいて、サーバ１７は、オブジェクトが装置２の画像センサ３の画像領域３.４内に存在するかどうかの判定を行い、これらのオブジェクトの情報を装置２へ送信することができる。上記に基づいて、上記情報又はこの情報の一部を装置２のディスプレイ５に表示することができる。使用するサーバは、移動体交換センタ１５.１、又は装置２及びオブジェクト１４と通信できるように構成可能な別のサーバ装置であってもよい。
【００２３】
本発明のさらに別の応用例では、オブジェクト１４の位置データ及び他の情報を必ずしも受信する必要はなく、この位置データはサーバ１７に格納される。これは特に、オブジェクト１４が移動していないで、ある位置に静止するように配置されている状況に適している。
【００２４】
図４ａと図４ｂとは、本発明に準拠する情報を提示する１つの可能な実施形態を示す図である。人が装置２の画像センサ３を用いて環境を画像化していて、装置２のローカルな通信手段９に対応するローカルな通信手段を備えたオブジェクトが画像の中に現れたとき、装置２は該装置が送信した信号を受信する。この信号の中には、例えば、オブジェクト１４.１の名称に関する送信済みの情報、並びに、オブジェクト１４.１の中の飲料及びそれら飲料の価格のようなオブジェクト１４.１の中に含まれる製品選択に関する送信済みの情報も含まれている。オブジェクトの画像１４.１が比較的小さなものである場合、名称や、オブジェクト（例えば自動飲料販売機、飲料など）の機能について説明するテキストなどのその状況で適切な情報項目を選択することが可能である。ユーザは移動して、そのオブジェクトの方へもっと近づくことができるし、又は、装置２がズーミング機能を有していれば、さらに大きなサイズへオブジェクトの画像１４.１をズームすることができる。オブジェクトの画像がさらに大きくなると、装置のディスプレイ５に情報の一部を表示することができるが、この情報表示は、必要に応じてオブジェクトの画像上に表示されたり、オブジェクトのすぐ近傍に表示されたりすることになる。図４ａでは、ユーザがオブジェクト１４.１（本例では自動飲料販売機）から比較的遠いところにいて、テキスト“飲料”のみが表示されているということがわかる。図４ｂでは、オブジェクトの画像はさらに拡大されて、オブジェクト１４.１の内容に関する情報、すなわち本発明を限定するものではないこの事例では、オブジェクト１４.１の中に含まれる飲料に関する情報及びそれら飲料の価格の表示も可能になっている。この情報に基づいて、装置２のユーザは、自動飲料販売機が、ユーザの購買したい飲料を含むものであるかどうかを判断することが可能となる。いくつかのこのようなオブジェクトが近傍に存在していてもよい。その場合個々のオブジェクトは装置２と通信を行い、オブジェクトに関する情報をユーザの装置２へ送信することができる。
【００２５】
目に見えるものに従って情報量を変える別の例として、装置２を利用して国会議事堂のようなオブジェクトをディスプレイ５上で見る、及び／又は、テキスト“国会議事堂”のような情報がディスプレイ５に及び／又はファインダ３.５の中に表示される状況がある。ユーザがそのオブジェクトの方へもっと近づいたり、オブジェクトをさらに大きなサイズにズームしたりして、国会議事堂の建築上の特徴のようなオブジェクト内の特徴を見たとき、ディスプレイ５及び／又はファインダ３.５は、例えば以下のタイプの情報：“国会議事堂：<建築上の特徴の記述>”が表示されることになる。
【００２６】
図４ａには数人の人も示されているが、そのうちの２人の人１４.２、１４.３は装置２と通信できる装置を携帯している。したがって、装置のディスプレイ２はこれらの人１４.２、１４.３の名前（メアリ、ヘンリ）も示すことになり、これらの名前はそれぞれの人が携帯している装置に格納されることになる。これに対応して、図４ｂはただ一人の人１４.２を示し、この人に関する情報が装置２で受信される。
【００２７】
本発明はまた、自動飲料販売機以外の別のサービス拠点について通知を行うのにも適用可能である。例えばレストランの座標データに併せて、例えば１日のメニュー、開店時間、空席に関する情報などを情報として装置２へ送信することによってレストランの宣伝を行うことができる。本発明を適用する別の可能なサービス拠点にはサービスステーション、店舗、劇場などが含まれる。
【００２８】
図４ｃと図４ｄとは本発明のさらに別の応用例を示す図である。図４ｃで、装置２のユーザは比較的広い視野で環境を画像化している。この場合オブジェクト１４は必ずしもディスプレイ５に非常にはっきりと目に見える必要はなく、あるオブジェクトは別のオブジェクトの後ろに存在するかも知れない。例えば図４ｃの状況では、メアリという名前の人はビル１４.４の後ろにいるが、この人に関する情報は装置２で受信されている。したがって、オブジェクト１４に関する情報を収集することが可能となり、たとえオブジェクトが画像の形で目に見えなくても、画像センサ３によって形成され、ディスプレイ５に表示された画像の中で人１４の位置の決定が可能となる。したがって、情報の表示位置に基づいて、ユーザは例えばオブジェクト１４.２、例えばメアリという名前の人の方へ向かう画像への正しい移動方向を結論付けることが可能となる。ユーザが情報１９によって指示された方向に移動し、その方向に接近するとき、オブジェクト１４.２の周辺の光景はより鮮明になり、必要に応じて移動方向を修正して、さらに鮮明になるようにすることが可能である。これが図４ｄに例示されていて、ビル１４.４の後ろにいる探索対象の人の姿が見えるようになっている。
【００２９】
図４ｃはまた他の人々も示しているが、これらの人々は情報を装置２へ送信する装置を携帯していない。これは、例えば上記の人々が携帯している装置がおそらく本発明を利用していないという事実に起因していることも考えられるし、又は人々が情報の送信を禁止しているという事実に起因していることも考えられるし、又は装置の識別子（名称）が所定の許された識別子に属している装置２のみへ情報の送信が定義によって許されているということに起因していることも考えられる。
【００３０】
如上のファインダ機能に加えて、画像の記録と関連して本発明を利用することができる。この場合、必要に応じてファインダ機能を利用して、ディスプレイ上に及び／又はファインダの中に画像の記録と関連する情報を表示することができる。そして、画像と関連して格納すべき画像仕様としてこの情報の格納を行うことができる。画像を撮影するために、例えばシャッタ・ボタン３.８が最も低い位置まで押下される。上記情報は必ずしも画像に関して永久に格納する必要はなく、この情報を伴うか、情報を伴わないかにかかわらず画像表示を行うことが可能である。ユーザは、画像の記録場所及び記録時刻に関する情報のような画像に関連する可視情報、並びに、人名、サービスポイント名などのような画像内の可視オブジェクトと共に格納された画像からなるアルバムを作成することができる。このようにして、例えば、画像に添付された情報を利用することによって格納済み画像のサーチはさらに簡単なものになる。
【００３１】
すでに上述したように、本発明では、装置２とオブジェクト１４との間での通信時の短距離データ送信以外の別の方法を適用することも可能である。例えば、移動体通信ネットワーク１５及び／又はインターネットデータネットワーク１６の利用が可能であり、その場合、移動体通信ネットワーク１５、インターネットデータネットワーク１７及び／又は別の遠隔通信ネットワークを介して装置２とオブジェクト１４との間で情報の送信が行われる。したがって、装置２において及び／又はオブジェクト１４において短距離データ送信を目的とする第２の通信手段９は必ずしも必要とはかぎらない。
【００３２】
本発明では、例えば、装置２のディスプレイ５に光景を表示することによってファインダ機能の実現が可能となり、その場合、ディスプレイ５にも情報が表示される。別の可能性として、ファインダ機能における従来方式の光学式ファインダ３.５の利用があり、その場合、この光学式ファインダ３.５には手段３.７が設けられて、あたかもファインダで見えるオブジェクト上に情報が存在するかのように装置２のユーザの目に見えるようにファインダ内の所望のポイント内に情報が反映される。これは、例えば、ファインダ３.５内のレンズ３.６の表面上へ情報を投影することによって実現可能である。図６にこの実施形態が原理的に例示されている。このコンテキストでは、いくつかの車輌で計器盤の光景をフロントガラスに表示するのに利用するのと同じ技術の適用がある程度まで可能である。ファインダのレンズ３.６の代わりに装置２のユーザの人間の目１８へ情報を投影して、あたかもオブジェクト１４上に情報があるかのように人間の目に見えるようにすることも可能である。
【００３３】
近傍のオブジェクト１４を発見するために、オブジェクト１４内の別の装置が送信した信号を装置２の第２の通信手段９の受信装置９.２が受信することは前に本説明で提示した。したがって、例えば規則的な間隔などで、装置２で受信できる信号を送信するようにオブジェクト１４内の装置が構成され、オブジェクト１４が近傍に存在するという結論をこの信号の存在から下すことが可能となる。上記送信信号が情報を含む場合もあれば、例えば装置２やサーバ１７からの要求時にまず信号に情報を与える場合もある。装置２が、例えば第２の通信手段の送信機９.１によって問合せ信号などを送信することにより、これらのオブジェクトの探索を実装することも可能であり、その場合近くのオブジェクト１４の装置は、このような信号の存在を監視し、上記装置がこの信号を検出したとき、装置２へ情報を送信するのに必要なステップがとられることになる。
【００３４】
本発明による方法の様々な機能は、主として、装置２の制御ブロック８においてプログラミングを行うことによって実現することができる。したがって、装置２のメモリ１０には、格納された機械で実行可能なプログラム命令が含まれ、オブジェクト１４の画像１４’の位置等の決定に必要な計算ステップのような、上記プログラム命令の必要なステップが制御ブロック８によって制御されるようになっている。
【００３５】
本発明は、種々の装置２及びシステム１において利用可能である。このような装置２について述べるべき、発明を限定するものではないいくつかの例の中には、移動体通信手段、デジタルカメラ及びビデオカメラのような携帯用通信手段が含まれる。
【００３６】
本発明が如上の実施形態のみに限定されるものではなく、本願の請求項の範囲内で変更可能であることは明らかである。
【図面の簡単な説明】
【００３７】
【図１】本発明の１つの実施形態に準拠する装置を簡略図で示す。
【図２】本発明の実施形態に基づくシステム簡略図である。
【図３】装置によって表示される画像でオブジェクトの測位を例示する。
【図４ａ】本発明のいくつかの適用例を示す。
【図４ｂ】本発明のいくつかの適用例を示す。
【図４ｃ】本発明のいくつかの適用例を示す。
【図４ｄ】本発明のいくつかの適用例を示す。
【図５】本発明の１つの実施形態に準拠する方法の動作を簡略なフローチャートで示す。
【図６】本発明の別の実施形態と関連して用いられるデータ表示用アプリケーションを示す簡略図である。
【特許請求の範囲】
【請求項１】
装置であって、
少なくとも１つのオブジェクト（１４）を含む前記装置（２）の環境を示す画像情報を形成する画像センサ（３）であって、前記画像情報が前記オブジェクトの画像（１４’）を含む画像センサ（３）と、
前記装置の環境の光景を表示する表示手段（３.５、５）と、
前記装置（２）の位置を決定する位置決定手段（１１）と、
少なくとも１組の通信手段（４、９）と、を具備する装置において、
前記通信手段（４、９）が、前記少なくとも１つのオブジェクト（１４）に関係する情報を受信する受信装置（４.２、９.２）を具備し、前記情報が少なくとも前記オブジェクト（１４）の位置に関する情報を含み、さらに、前記装置（２）が、前記表示手段（３.５、５）によって表示するようになっている画像情報から、前記オブジェクトの画像（１４’）の位置を決定し、前記オブジェクトの画像（１４’）と関連して前記表示手段（３.５、５）が表示すべき前記画像情報内の、前記オブジェクト（１４）に関連づけられた情報のうちの少なくとも一部を表示するための制御ブロック（８）を具備することを特徴とする装置。
【請求項２】
前記画像センサ（３）の視方向を決定するコンパス（１２）を具備する装置（２）であって、前記装置（２）と前記オブジェクト（１４）との位置データに加えて、前記表示手段（３.５、５）によって表示するようになっている前記画像情報から前記オブジェクトの画像（１４’）の位置を決定するために、前記視方向を利用するように構成されることを特徴とする請求項１に記載の装置（２）。
【請求項３】
前記画像センサ（３）の位置を決定する傾斜測定ブロック（１２）を具備する装置（２）であって、前記ディスプレイ（５）に表示するようになっている前記画像情報から前記オブジェクトの画像（１４’）の位置を決定するために、前記装置（２）と前記オブジェクト（１４）との位置データ並びに前記視方向に加えて、前記画像センサ（３）の位置データを利用するように構成されることを特徴とする請求項２に記載の装置（２）。
【請求項４】
ファインダ機能を実行するための手段（３、３.５、３.８、８）を具備し、前記ファインダ機能の実行に関連してほぼ継続的に画像情報を更新するように構成されることを特徴とする請求項１乃至３のいずれか一項に記載の装置（２）。
【請求項５】
前記表示手段（３.５、５）がディスプレイ（５）を具備し、情報が添付された前記画像情報を前記ディスプレイ（５）に表示するように構成されることを特徴とする請求項１乃至４のいずれか一項に記載の装置（２）。
【請求項６】
前記表示手段（３.５、５）が光学式ファインダ（３.５）を具備し、前記情報を前記画像情報の中へ追加して、前記光学式ファインダ（３.５）の中に該情報を表示するように構成されることを特徴とする請求項１乃至４のいずれか一項に記載の装置（２）。
【請求項７】
少なくとも１つのオブジェクト（１４）を含む装置（２）の環境を示す画像情報であって、前記オブジェクトの画像（１４’）を含む画像情報を形成する画像センサ（３）と、前記装置の環境の光景を表示する表示手段（３.５、５）と、を備えた装置（２）を具備するシステム（１）であって、前記装置（２）の位置を決定する位置決定手段（１１）と、少なくとも１組の通信手段（４、９）と、前記オブジェクト（１４）の位置を決定する手段も具備するシステム（１）において、
前記少なくとも１つのオブジェクト（１４）に関連する情報であって、前記オブジェクト（１４）の位置に関する少なくとも前記情報を含む情報を受信する手段（４.２、９.２）と、
前記表示手段（３.５、５）が表示するようになっている画像情報から、前記オブジェクトの画像（１４’）の位置を決定する手段（８、１７）と、
前記オブジェクトの画像（１４’）に関連して前記表示手段（３.５、５）が表示する前記画像情報内の前記オブジェクト（１４）に関連する情報のうちの少なくとも一部を表示するための手段（８）と、を具備することを特徴とするシステム（１）。
【請求項８】
前記画像センサ（３）の視方向を決定するコンパス（１２）を具備するシステム（１）であって、前記表示手段（３.５、５）によって表示するようになっている前記画像情報から前記オブジェクトの画像（１４’）の位置を決定するために、前記装置（２）と前記オブジェクト（１４）との位置データに加えて、前記視方向を利用するように構成されることを特徴とする請求項７に記載のシステム（１）。
【請求項９】
前記画像センサ（３）の位置を決定する傾斜測定ブロック（１２）を具備するシステム（１）であって、前記装置（２）と前記オブジェクト（１４）との位置データ及び前記視方向に加えて、前記ディスプレイ（５）に表示するようになっている前記画像情報から前記オブジェクトの画像（１４’）の位置を決定するために前記位置データを利用するように構成されることを特徴とする請求項８に記載のシステム（１）。
【請求項１０】
ファインダ機能を実行するための手段（３、３.５、３.８、８）を具備し、さらに、前記ファインダ機能の実行に関連してほぼ継続的に画像情報を更新するように構成されることを特徴とする請求項７乃至９のいずれか一項に記載のシステム（１）。
【請求項１１】
前記表示手段（３.５、５）がディスプレイ（５）を具備し、情報が添付された前記画像情報を前記ディスプレイ（５）に表示するように構成されることを特徴とする請求項７乃至１０のいずれか一項に記載のシステム（１）。
【請求項１２】
前記表示手段（３.５、５）が光学式ファインダ（３.５）を具備し、前記情報を前記画像情報の中へ追加して、前記光学式ファインダ（３.５）の中に該情報を表示するように構成されることを特徴とする請求項７乃至１０のいずれか一項に記載のシステム（１）。
【請求項１３】
装置内の画像情報を表示する方法であって、
画像センサ（３）を用いて、前記装置（２）の環境に関する画像情報を形成し、前記環境が少なくとも１つのオブジェクト（１４）を含み、前記画像情報が前記オブジェクトの画像（１４’）を含むステップと、
前記装置の環境の光景を表示するステップと、
を具備する方法において、
前記装置（２）と前記オブジェクト（１４）との位置を決定するステップと、を具備する方法において、
前記装置（２）内の前記少なくとも１つのオブジェクト（１４）に関係する情報を受信するステップであって、該情報が、前記オブジェクトの位置に関する少なくとも前記情報を含むステップと、
表示手段を用いて表示するようになっている画像情報から前記オブジェクトの画像（１４’）の位置を決定するステップと、
前記オブジェクトの画像（１４’）と関連して前記表示手段（３.５、５）によって表示される前記画像情報内の前記オブジェクト（１４）に関連する情報のうちの少なくとも一部を表示するステップと、をさらに具備することを特徴とする方法。
【請求項１４】
コンピュータソフトウェア製品であって、
画像センサ（３）を用いて、少なくとも１つのオブジェクト（１４）を含む前記装置（２）の環境に関する画像情報であって、前記オブジェクトの画像（１４’）を含む画像情報を形成するために、装置（２）内の画像情報を表示し、
前記装置の環境の光景を表示し、
前記装置（２）と前記オブジェクト（１４）とに関する位置情報を決定する機械で実行可能なプログラム命令を具備するコンピュータソフトウェア製品において、
さらに、
前記装置（２）内の前記少なくとも１つのオブジェクト（１４）に関連する情報であって、前記オブジェクト（１４）の位置に関する少なくとも前記情報を含む情報を受信し、
前記表示手段（３.５、５）が表示するようになっている画像情報から前記オブジェクトの画像（１４’）の位置を決定し、
前記オブジェクトの画像（１４’）に関連して前記表示手段（３.５、５）によって表示する前記画像情報内の、前記オブジェクト（１）に関連する情報のうちの少なくとも一部を表示する、機械で実行可能なプログラム命令も具備することを特徴とするコンピュータソフトウェア製品。
【請求項１】
装置であって、
少なくとも１つのオブジェクト（１４）を含む前記装置（２）の環境を示す画像情報を形成する画像センサ（３）であって、前記画像情報が前記オブジェクトの画像（１４’）を含む画像センサ（３）と、
前記装置の環境の光景を表示する表示手段（３.５、５）と、
前記装置（２）の位置を決定する位置決定手段（１１）と、
少なくとも１組の通信手段（４、９）と、を具備する装置において、
前記通信手段（４、９）が、前記少なくとも１つのオブジェクト（１４）に関係する情報を受信する受信装置（４.２、９.２）を具備し、前記情報が少なくとも前記オブジェクト（１４）の位置に関する情報を含み、さらに、前記装置（２）が、前記表示手段（３.５、５）によって表示するようになっている画像情報から、前記オブジェクトの画像（１４’）の位置を決定し、前記オブジェクトの画像（１４’）と関連して前記表示手段（３.５、５）が表示すべき前記画像情報内の、前記オブジェクト（１４）に関連づけられた情報のうちの少なくとも一部を表示するための制御ブロック（８）を具備することを特徴とする装置。
【請求項２】
前記画像センサ（３）の視方向を決定するコンパス（１２）を具備する装置（２）であって、前記装置（２）と前記オブジェクト（１４）との位置データに加えて、前記表示手段（３.５、５）によって表示するようになっている前記画像情報から前記オブジェクトの画像（１４’）の位置を決定するために、前記視方向を利用するように構成されることを特徴とする請求項１に記載の装置（２）。
【請求項３】
前記画像センサ（３）の位置を決定する傾斜測定ブロック（１２）を具備する装置（２）であって、前記ディスプレイ（５）に表示するようになっている前記画像情報から前記オブジェクトの画像（１４’）の位置を決定するために、前記装置（２）と前記オブジェクト（１４）との位置データ並びに前記視方向に加えて、前記画像センサ（３）の位置データを利用するように構成されることを特徴とする請求項２に記載の装置（２）。
【請求項４】
ファインダ機能を実行するための手段（３、３.５、３.８、８）を具備し、前記ファインダ機能の実行に関連してほぼ継続的に画像情報を更新するように構成されることを特徴とする請求項１乃至３のいずれか一項に記載の装置（２）。
【請求項５】
前記表示手段（３.５、５）がディスプレイ（５）を具備し、情報が添付された前記画像情報を前記ディスプレイ（５）に表示するように構成されることを特徴とする請求項１乃至４のいずれか一項に記載の装置（２）。
【請求項６】
前記表示手段（３.５、５）が光学式ファインダ（３.５）を具備し、前記情報を前記画像情報の中へ追加して、前記光学式ファインダ（３.５）の中に該情報を表示するように構成されることを特徴とする請求項１乃至４のいずれか一項に記載の装置（２）。
【請求項７】
少なくとも１つのオブジェクト（１４）を含む装置（２）の環境を示す画像情報であって、前記オブジェクトの画像（１４’）を含む画像情報を形成する画像センサ（３）と、前記装置の環境の光景を表示する表示手段（３.５、５）と、を備えた装置（２）を具備するシステム（１）であって、前記装置（２）の位置を決定する位置決定手段（１１）と、少なくとも１組の通信手段（４、９）と、前記オブジェクト（１４）の位置を決定する手段も具備するシステム（１）において、
前記少なくとも１つのオブジェクト（１４）に関連する情報であって、前記オブジェクト（１４）の位置に関する少なくとも前記情報を含む情報を受信する手段（４.２、９.２）と、
前記表示手段（３.５、５）が表示するようになっている画像情報から、前記オブジェクトの画像（１４’）の位置を決定する手段（８、１７）と、
前記オブジェクトの画像（１４’）に関連して前記表示手段（３.５、５）が表示する前記画像情報内の前記オブジェクト（１４）に関連する情報のうちの少なくとも一部を表示するための手段（８）と、を具備することを特徴とするシステム（１）。
【請求項８】
前記画像センサ（３）の視方向を決定するコンパス（１２）を具備するシステム（１）であって、前記表示手段（３.５、５）によって表示するようになっている前記画像情報から前記オブジェクトの画像（１４’）の位置を決定するために、前記装置（２）と前記オブジェクト（１４）との位置データに加えて、前記視方向を利用するように構成されることを特徴とする請求項７に記載のシステム（１）。
【請求項９】
前記画像センサ（３）の位置を決定する傾斜測定ブロック（１２）を具備するシステム（１）であって、前記装置（２）と前記オブジェクト（１４）との位置データ及び前記視方向に加えて、前記ディスプレイ（５）に表示するようになっている前記画像情報から前記オブジェクトの画像（１４’）の位置を決定するために前記位置データを利用するように構成されることを特徴とする請求項８に記載のシステム（１）。
【請求項１０】
ファインダ機能を実行するための手段（３、３.５、３.８、８）を具備し、さらに、前記ファインダ機能の実行に関連してほぼ継続的に画像情報を更新するように構成されることを特徴とする請求項７乃至９のいずれか一項に記載のシステム（１）。
【請求項１１】
前記表示手段（３.５、５）がディスプレイ（５）を具備し、情報が添付された前記画像情報を前記ディスプレイ（５）に表示するように構成されることを特徴とする請求項７乃至１０のいずれか一項に記載のシステム（１）。
【請求項１２】
前記表示手段（３.５、５）が光学式ファインダ（３.５）を具備し、前記情報を前記画像情報の中へ追加して、前記光学式ファインダ（３.５）の中に該情報を表示するように構成されることを特徴とする請求項７乃至１０のいずれか一項に記載のシステム（１）。
【請求項１３】
装置内の画像情報を表示する方法であって、
画像センサ（３）を用いて、前記装置（２）の環境に関する画像情報を形成し、前記環境が少なくとも１つのオブジェクト（１４）を含み、前記画像情報が前記オブジェクトの画像（１４’）を含むステップと、
前記装置の環境の光景を表示するステップと、
を具備する方法において、
前記装置（２）と前記オブジェクト（１４）との位置を決定するステップと、を具備する方法において、
前記装置（２）内の前記少なくとも１つのオブジェクト（１４）に関係する情報を受信するステップであって、該情報が、前記オブジェクトの位置に関する少なくとも前記情報を含むステップと、
表示手段を用いて表示するようになっている画像情報から前記オブジェクトの画像（１４’）の位置を決定するステップと、
前記オブジェクトの画像（１４’）と関連して前記表示手段（３.５、５）によって表示される前記画像情報内の前記オブジェクト（１４）に関連する情報のうちの少なくとも一部を表示するステップと、をさらに具備することを特徴とする方法。
【請求項１４】
コンピュータソフトウェア製品であって、
画像センサ（３）を用いて、少なくとも１つのオブジェクト（１４）を含む前記装置（２）の環境に関する画像情報であって、前記オブジェクトの画像（１４’）を含む画像情報を形成するために、装置（２）内の画像情報を表示し、
前記装置の環境の光景を表示し、
前記装置（２）と前記オブジェクト（１４）とに関する位置情報を決定する機械で実行可能なプログラム命令を具備するコンピュータソフトウェア製品において、
さらに、
前記装置（２）内の前記少なくとも１つのオブジェクト（１４）に関連する情報であって、前記オブジェクト（１４）の位置に関する少なくとも前記情報を含む情報を受信し、
前記表示手段（３.５、５）が表示するようになっている画像情報から前記オブジェクトの画像（１４’）の位置を決定し、
前記オブジェクトの画像（１４’）に関連して前記表示手段（３.５、５）によって表示する前記画像情報内の、前記オブジェクト（１）に関連する情報のうちの少なくとも一部を表示する、機械で実行可能なプログラム命令も具備することを特徴とするコンピュータソフトウェア製品。
【図１】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図４ｃ】
【図４ｄ】
【図５】
【図６】
【図２】
【図３】
【図４ａ】
【図４ｂ】
【図４ｃ】
【図４ｄ】
【図５】
【図６】
【公表番号】特表２００７−５１４３５６（Ｐ２００７−５１４３５６Ａ）
【公表日】平成１９年５月３１日（２００７．５．３１）
【国際特許分類】
【出願番号】特願２００６−５４３５６８（Ｐ２００６−５４３５６８）
【出願日】平成１６年１２月１０日（２００４．１２．１０）
【国際出願番号】ＰＣＴ／ＦＩ２００４／０５０１８４
【国際公開番号】ＷＯ２００５／０５７９１３
【国際公開日】平成１７年６月２３日（２００５．６．２３）
【出願人】（３９８０１２６１６）ノキア コーポレイション (1,359)
【Ｆターム（参考）】
【公表日】平成１９年５月３１日（２００７．５．３１）
【国際特許分類】
【出願日】平成１６年１２月１０日（２００４．１２．１０）
【国際出願番号】ＰＣＴ／ＦＩ２００４／０５０１８４
【国際公開番号】ＷＯ２００５／０５７９１３
【国際公開日】平成１７年６月２３日（２００５．６．２３）
【出願人】（３９８０１２６１６）ノキア コーポレイション (1,359)
【Ｆターム（参考）】
[ Back to top ]