説明

被写体オブジェクト情報提供方法および被写体オブジェクト情報提供サーバ

【課題】
携帯電話機で撮影した画像に映し出されたオブジェクトに関する情報を提供し、画像を見る人への写真画像に関する時間経過に依存しない情報を提供し、またさらに、写真画像に映された現実に関する認識状態を向上するに有効な情報を提供するものである。
【解決手段】
被写体オブジェクト情報提供装置サーバ内に携帯電話機から送信された位置および方位および写真画像とサーバ内に保持するオブジェクト情報を利用して写真画像内に映されたオブジェクトを特定するオブジェクト検索手段およびオブジェクトマッチング手段および写真画像内に特定されたオブジェクト名称を書き込むオブジェクト名称書き込み手段を持つ被写体オブジェクト情報提供方法を提供する。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体オブジェクト情報提供方法およびこれに使用する被写体オブジェクト情報提供サーバに関する。
【背景技術】
【0002】
携帯電話機で撮影した画像の下降を、エンタテインメントや画像に情報付加価値を付与するということが行われる。例えば、特許文献1には、画像合成サーバ上に保管されている複数の加工合成用画像を携帯移動通信端末のみで加工し、その表示部の画面上に合成画像を表示可能とする携帯移動通信端末における画像加工処理システムが記載されている。
【0003】
特許文献2には、デジタルカメラで撮影した撮影イメージに地名・施設名データを印字することが記載されている。
【0004】
【特許文献1】特開2004−32663号公報
【特許文献2】特開2003−209785号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
従来の技術では、ユーザによる携帯電話の操作にて携帯電話で撮影した画像の加工を行うことを可能としておりエンタテインメントや画像に関する情報付加価値をつけるという点で効果をあげている。例えば特許文献1(特開2004−32663号公報)に記載されている。しかし従来の技術では、撮影した画像と被撮影対象との関係は保持されず、したがって撮影した画像に映されたオブジェクトの情報は撮影者もしくは画像を閲覧する個人の認知範囲を超えることはない。よって、撮影した画像に関する情報を時間の経過とともに記憶の消失を招くなど、撮影した時点での画像に映し出された個々のオブジェクトに対する知識は実存する膨大な情報に対してあまりにも少ないという問題が存在する。特許文献2には建物などのいくつかのオブジェクトが撮影イメージに含まれている場合に、それぞれのオブジェクトの特定については言及するところではない。
【0006】
本発明の目的は、携帯電話で撮影した画像に映し出されたオブジェクトに関する情報を提供し、画像を見る人への写真画像に関する時間経過に依存しない情報を提供し、またさらに、写真画像に映された現実に関する認識状態を向上するに有効な情報を提供するものである。
【課題を解決するための手段】
【0007】
本発明は、前記被写体オブジェクト情報提供装置サーバ内に携帯電話から送信された位置および方位および写真画像とサーバ内に保持するオブジェクト情報を利用して写真画像内に映されたオブジェクトを特定するオブジェクトマッチング手段および写真画像内に特定されたオブジェクト名称を書き込むオブジェクト名称書き込み手段を持つ被写体オブジェクト情報提供方法を提供する。
【0008】
本発明は、具体的には、携帯電話キャリアに通信回路で接続された被写体オブジェクト情報の提供を行う被写体オブジェクト情報提供サーバ、および自位置取得手段と方位取得手段と写真撮影し、写真画像を取得する写真画像取得手段を持ち、前記携帯キャリアに通信回路で接続された携帯電話機から構成される被写体オブジェクト情報提供装置において、前記携帯電話機は、前記自位置取得手段によって取得された自位置、方位取得手段によって取得された方位および写真画像取得手段によって取得された写真画像を前記被写体オブジェクト情報提供サーバに送信し、前記被写体オブジェクト情報提供サーバは、オブジェクト格納手段に地図上のオブジェクトについての少なくともオブジェクトの高さを含むオブジェクト特徴、オブジェクト名称およびオブジェクト経緯度を格納しており、受信した前記自位置、方位および写真画像から当該写真画像に表示される被写体オブジェクト情報の特定を行い、該被写体オブジェクト情報までの距離を計算してオブジェクト検索手段によって格納されたオブジェクト特徴を検索し、オブジェクトマッチング手段によって被写体オブジェクト情報とオブジェクトとのマッチングを行って前記被写体オブジェクト情報についてのオブジェクトの特定および特定されたオブジェクトからオブジェクト名称の特定を行う被写体オブジェクト情報提供方法を提供する。
【0009】
前記被写体オブジェクト情報提供サーバは、更に特定されたオブジェクトとオブジェクト名称を前記携帯電話機に送信し、前記携帯電話機は表示手段に表示されている写真画像上の被写体オブジェクト情報にオブジェクト名称を表示し、被写体オブジェクト情報とオブジェクト名称とを合わせて記憶手段に格納することを特徴とする。
【0010】
また、本発明は、通信回路で携帯電話機が接続された携帯電話キャリアに通信回路で接続された被写体オブジェクト情報の提供を行う被写体オブジェクト情報提供サーバにおいて、前記被写体オブジェクト情報として地図上のオブジェクトについて少なくともオブジェクトの高さを含むオブジェクト特徴、オブジェクト名称およびオブジェクト経緯度を格納するオブジェクト格納手段と、携帯電話機から前記携帯電話キャリアを介して送信された当該携帯電話機の自位置、方位および写真画像を受信し、受信した自位置、方位および写真画像から被写体オブジェクト情報の特定を行い、該被写体オブジェクト情報までの距離を計算してオブジェクト特徴を検索するオブジェクト検索手段と、および被写体オブジェクト情報と検索されたオブジェクトとのマッチングを行って前記被写体オブジェクト情報についてのオブジェクトの特定および特定されたオブジェクトからオブジェクト名称の特定を行うオブジェクトマッチング手段を備えることを特徴とする。
【0011】
更に、当該被写体オブジェクト情報提供サーバは、前記被写体オブジェクト情報と、前記被写体オブジェクト情報上に書き込まれたオブジェクト名称とを格納する記憶手段を備えることを特徴とする。
【発明の効果】
【0012】
本発明によれば、携帯電話を用いて撮影した画像に映された複数のオブジェクト、それもオブジェクトが重なって見えるような場合の各オブジェクトを提供し、オブジェクトに関する情報を簡単に入手でき、また画像そのものに保存でき、また画像に関する時間経過による記憶の減少を防ぐことができ、さらには画像に映された現実に対する認識状態を向上させることに寄与することが可能となる。本発明を応用すれば、高機能な電子アルバム機能やさらに使い勝手のよい携帯電話向けナビゲーションソフトの開発が可能となり、携帯電話そのものの有用性を著しく向上させることができる。
【発明を実施するための最良の形態】
【0013】
以下、本発明を実施するための最良の形態を図面に基づいて説明する。
【実施例1】
【0014】
図1は、本発明の被写体オブジェクト情報提供装置の構成図である。図1において、被写体オブジェクト情報提供装置1は、被写体オブジェクト情報提供サーバ2と携帯電話機3と、で構成されている。
携帯電話キャリア4は、有線データ通信回線5を使用して被写体オブジェクト情報提供サーバ2と、無線データ通信回線6を使用して携帯電話機3と接続されている。被写体オブジェクト情報提供サーバ2は、写真画像を受信する受信手段25、受信した写真画像に関するオブジェクトについての情報を格納するオブジェクト格納手段23、オブジェクト格納手段からオブジェクトを検索するオブジェクト検索手段22、オブジェクト検索手段22を使用して検索したオブジェクトと受信手段25を使用して携帯電話機3より受信した写真画像に表示される被写体オブジェクト情報の特定を行い、被写体オブジェクト情報と格納されているオブジェクトの情報とのマッチングを行うオブジェクトマッチング手段21、マッチングしたオブジェクトを被写体オブジェクト情報上に書き込むオブジェクト名称書き込み手段24、加工した写真画像を携帯電話に送信する送信手段26で構成されている。
【0015】
携帯電話機3は、自位置を取得する位置取得手段31、携帯電話のカメラが撮影する方向を取得する方位取得手段32、写真を撮影し、写真画像を取得する写真画像取得手段33、取得した写真画像および位置や方位を送信する送信手段34、被写体オブジェクト情報提供サーバ2が加工した写真画像を受信する受信手段35、写真画像取得手段33で取得した写真画像および被写体オブジェクト情報提供サーバ2が加工して受信手段35を経由して受信した画像を表示する表示手段36で構成されている。
【0016】
加工された画像は記憶手段37に格納される。記憶手段37には、被写体オブジェクト情報とこの被写体オブジェクト情報上に書き込まれたオブジェクト名称が一対の写真画像として格納される。これらの情報は被写体オブジェクト情報提供サーバ2に送信され、その記憶手段38に格納されるようにしても良い。記憶手段38に格納された情報は、携帯電話機3に適宜検索される。
【0017】
図2は、本発明を適用した一実施例を示すシステム構成図である。被写体オブジェクト情報提供装置1は、被写体オブジェクト情報提供サーバ2と複数の携帯電話機3で構成されており、被写体オブジェクト情報提供サーバ2と携帯電話機3は携帯電話キャリア4を経由して接続されている。被写体オブジェクト情報提供サーバ2と携帯電話キャリア4は有線データ通信回線5で、携帯電話キャリア4と携帯電話は無線データ通信回線6で接続されている。
【0018】
以下、図1、図2に示す実施例の動作を、図3、図5、図7に示すフロー図および図4、図6、図8に示す図を参照して説明する。
【0019】
図3は携帯電話機3が写真撮影を行い、取得した写真画像を被写体オブジェクト情報提供サーバ2に送信し被写体オブジェクト情報提供サーバ2内で画像を加工し、携帯電話機3に送信し携帯電話機3で表示する被写体オブジェクト情報提供装置1全体のフローを示す。携帯電話機3は、まず携帯電話機3に内蔵されたGPSなどの位置測定手段31を使用して自位置を測定しS1、携帯電話機3に内蔵された電子コンパスなどの方位取得手段32を使用してカメラが撮影する方向を測位しS2、携帯電話機3に内蔵されたカメラなどの写真画像取得手段33で写真画像を取得する(S3)。この時点で取得した写真画像は山などの風景のほか建物などの被写体オブジェクト情報が映し出されている。しかし、被写体オブジェクト情報の名称がオブジェクトそのものに明示されていることは少なく、撮影者は土地勘と呼ばれるその地域についての知識がない場合に、これらのオブジェクトについて名称すら知ることは出来ない。撮影者にとって知識の少ない写真画像をそのまま保存して時を経た後に参照した場合、どこで何を撮影したのかきわめて曖昧となり写真画像の価値は時と共に低下してしまうという問題が存在する。携帯電話機3で写真撮影してそのまま表示手段に表示した例を、図4に示す。
【0020】
そこで、携帯電話機3は(S1)で測定した自位置と(S2)で測定した方位と(S3)で取得した写真画像を表示手段(36)に表示する。写真画像の中であるオブジェクトの内のいくつかを被写体オブジェクト情報として特定する。この特定は基準を設けておいて自動的になされるようにしてもよい。特定された被写体オブジェクト情報、自位置および方位情報は、送信手段(34)で被写体オブジェクト情報提供サーバ2へ送信される(S4)。被写体オブジェクト情報提供サーバ2の受信手段25を使用して受信した位置および方位および写真画像はオブジェクト検索手段22およびオブジェクトマッチング手段21に送信される。オブジェクト検索手段22は、受信した自位置、方位および写真画像からオブジェクトについてのオブジェクト特徴を検索する。オブジェクトマッチング手段21は、自位置方位とからその方向に見える建物ないの高さを含むオブジェクトの特徴を割り出し、オブジェクト特徴と地図上のオブジェクトとのマッチング(照査)を行う。更に、マッチングしたオブジェクトに該当する被写体オブジェクト情報にオブジェクト名称を写真画像へ付加する(S5)。写真画像に切り替えて写真画像にオブジェクト名称を記載する方式に付加しても良い。オブジェクト名称の付加された被写体オブジェクト情報は送信手段26、携帯電話キャリア4の受信手段を経由して携帯電話機3へ送信される(S6)。携帯電話機3では付加情報が書き込まれた写真画像を表示手段36に表示する(S7)。これと共に記憶手段37に記憶する、付加情報が書き込まれた被写体オブジェクト情報は送信手段34、受信手段25を介してオブジェクト格納手段23あるいは他の記憶手段38に格納される。
【0021】
次に、図5を用いてオブジェクト名称付加処理(S5)の要部処理フローを説明する。
被写体オブジェクト情報提供サーバ2では携帯電話機3からの写真画像、もしくは被写体オブジェクト情報待ち状態にある(S11)。受信手段25が位置と方位と少なくとも被写体オブジェクト情報を受信すると(S12)(S13)、写真画像を撮影した位置および方位を使用して被写体オブジェクト情報に写る地理的範囲、特に距離,高さを計算し、地理的範囲を条件としてオブジェクト検索手段22を使用してオブジェクトの検索を行い(S14)、オブジェクトマッチング手段21によって検索されたオブジェクトの数の分(S15)の写真画像上被写体オブジェクト情報の位置を特定するために被写体オブジェクトと地図上のオブジェクトとのマッチングを行う(S16)。
【0022】
検索されたオブジェクト一覧の例を図6に示す。オブジェクト格納手段23には、オブジェクトである建物や塔などのオブジェクト種別、オブジェクトの種別が建物の場合には階数、オブジェクトの高さなどのオブジェクト特徴、オブジェクトの名称、オブジェクトの存在する経緯度座標、等の情報が格納されており、被写体オブジェクト情報とのマッチングの際に利用することができる。マッチングの具体的方法はオブジェクトを画像変換した後に被写体オブジェクト情報との画像同士マッチングを行うことが出来る。画像同士のマッチングでは既知のテンプレートマッチングが有名であり、さらに分類すると残差マッチング、正規化相関法、位相限定相関法、幾何マッチング法、ベクトル相関法、一般化ハフ変換法などが存在し、オブジェクトの重なりや隠れに影響を受けにくいベクトル相関法が高いマッチング精度を確保する上で有力候補となる。次に被写体オブジェクトとオブジェクトがマッチした場合、オブジェクト一覧(図6)の当該オブジェクトの画像マッチ列にマッチしたことを示す図6では○印のチェックを入れる(S17)。そしてチェックの入ったオブジェクトのオブジェクト名称を被写体オブジェクト情報に付加する(S18)。また、○印が入ったものから任意にいくつかを選択してオブジェクト名称を付加するようにしてもよい。
【0023】
次に、図7を用いて画像にオブジェクト名称付加(S18)する処理の要部処理フローを説明する。図5に示したオブジェクト名称付加処理を施した図6のオブジェクト一覧に対し、図5に示したオブジェクト名称付加処理(S17)によってあらかじめ設定されている画像マッチ列のチェック情報を参照し、チェックが入っているオブジェクト情報を写真画像とマッチしていると判定して、当該オブジェクトの経緯度座標を取り出し写真画像上の座標に変換する(S23)。具体的には写真画像を撮影した経緯度座標位置および撮影した方位を使用してオブジェクトの存在する経緯度座標を写真画像上のピクセル座標に変換する。計算手法は既知の3次元投影法などの画像処理技術を利用可能である。さらにオブジェクト名称の文字列の長さやオブジェクトの大きさにあわせて文字の大きさや配置の調整を行う(S24)。すなわち、文字列が長く建物からはみ出してしまうような場合には途中に改行を挿入して2行表示にすることや、建物が小さな場合に小さな文字を選択するなどの処理である。そして写真画像と文字を合成する前処理として文字を画像に変換する(S25)。具体的には、矩形のテンポラリ画像領域を用意し、ここに文字を描画して2値画像を作成する。例えば文字の存在するピクセルは1存在しないピクセルは0というビット列を画像として扱う。そして、被写体オブジェクト情報とステップS25にて作成したテンポラリ文字画像を合成する(S26)具体的には、テンポラリ文字列画像にマスクをかけ、ピクセル値が1のピクセルのみ被写体オブジェクト情報に書き込みを行うことで実現できる。以上の方法でオブジェクト名称が書き込まれた画像が完成する。携帯電話に表示した例を図8に示す。3つの建物オブジェクトにそれぞれ名称が付加されており、この状態で画像を保存には数年後に再び参照した場合でもどこで何を撮影した画像なのかを一目で認識可能である。また土地勘のない場所で本実施例を利用し、近くのランドマークオブジェクトを撮影してオブジェクト名称を入手することにより、利用者の地理認識に大きなヒントを与えることができ、ナビゲーション機能の1つとしても利用可能となる。
【0024】
上述した実施例によれば、被写体オブジェクト情報提供装置1は、携帯電話キャリア4に通信回路で接続された被写体オブジェクト情報の提供を行う被写体オブジェクト情報提供サーバ2、および自位置取得手段31と方位取得手段32と写真撮影し、写真画像を取得する写真画像取得手段33を持ち、前記携帯キャリアに通信回路で接続された携帯電話機3から構成される。更に、写真画像の中に写されている対象物について被写体オブジェクト情報として特定する被写体オブジェクト情報指定手段を有する。この指定を自動的に行うことができることは上述した。
【0025】
携帯電話機3は、自位置取得手段31によって取得された自位置、方位取得手段32によって取得された方位および写真画像取得手段33によって取得された写真画像を前記被写体オブジェクト情報提供サーバ2に送信する。
【0026】
被写体オブジェクト情報提供サーバ2は、オブジェクト格納手段23に被写体オブジェクト情報としてオブジェクトについての少なくとも、図6に示すように、高さを含むオブジェクト特徴、オブジェクト名称およびオブジェクト経緯度を格納しており、受信した自位置、方位および被写体オブジェクトの情報からオブジェクト検索手段23によって格納されたオブジェクト特徴およびオブジェクト経緯度を検索し、オブジェクトマッチング手段21によって写真画像とオブジェクトとのマッチングを行って被写体オブジェクト情報についてのオブジェクトの特定および特定されたオブジェクトからオブジェクト名称の特定を行うことになる。
【0027】
被写体オブジェクト情報提供サーバ2は、特定されたオブジェクトとオブジェクト名称を携帯電話機3に送信し、携帯電話機3は表示手段36に表示されている写真画像上に、すなわち被写体オブジェクト情報にオブジェクトを指定してオブジェクト名称を表示し、記憶手段37に格納することを行う。また、この情報は記憶手段38に格納され得る。
【0028】
また、通信回路で携帯電話機3が接続された携帯電話キャリア4に通信回路で接続された被写体オブジェクト情報の提供を行う被写体オブジェクト情報提供サーバ2は、被写体オブジェクト情報としてオブジェクトとして少なくともオブジェクト特徴、オブジェクト名称およびオブジェクト経緯度を格納するオブジェクト格納手段23と、携帯電話機3から携帯電話キャリア4を介して送信された当該携帯電話機の自位置、方位および被写体オブジェクト情報を受信し、受信した自位置、方位および被写体オブジェクト情報からオブジェクト特徴およびオブジェクト経緯度を検索するオブジェクト検索手段22と、および写真画像と検索されたオブジェクトとのマッチングを行って被写体オブジェクト情報についてのオブジェクトの特定および特定されたオブジェクトからオブジェクト名称の特定を行うオブジェクトマッチング手段21を備える特徴を有する。
【0029】
また、被写体オブジェクト情報提供サーバ2は、特定されたオブジェクト名称を当該写真画像の、すなわち被写体オブジェクト情報であるオブジェクト上に書き込むオブジェクト名称書き込み手段を備える。
【0030】
また、被写体オブジェクト情報提供サーバ2は、写真画像と、この写真画像のオブジェクト上に書き込まれたオブジェクト名称とを格納する記憶手段を備える。
【0031】
以上のように、本実施例の被写体オブジェクト情報提供装置あるいは被写体オブジェクト情報提供サーバは、写真撮影やGPSによる測位電子コンパスおよびデータ通信機能内蔵の携帯電話機を利用することで、写真画像への付加情報サービスやナビゲーション機能への付加サービスとして利用可能である。
【図面の簡単な説明】
【0032】
【図1】本発明の被写体オブジェクト情報提供装置の構成図。
【図2】本発明の実施例のシステム構成図。
【図3】処理フロー図。
【図4】携帯電話撮影画像表示例を示す図。
【図5】オブジェクト名称付加処理の要部処理フロー図。
【図6】オブジェクト検索結果一覧図。
【図7】画像にオブジェクト名称付加する処理の要部処理フロー図。
【図8】携帯電話画面表示例を示す図。
【符号の説明】
【0033】
1…被写体オブジェクト情報提供装置、2…被写体オブジェクト情報提供サーバ、3…携帯電話機、4…携帯電話キャリア、5…有線データ通信回線、6…無線データ通信回線、21…オブジェクトマッチング手段、22…オブジェクト検索手段、23…オブジェクト格納手段、24…オブジェクト名称書き込み手段、25…受信手段、26…送信手段、31…位置取得手段、32…方位取得手段、33…写真画像取得手段、34…送信手段、35…受信手段、36…表示手段、37…記憶手段。

【特許請求の範囲】
【請求項1】
携帯電話キャリアに通信回路で接続された被写体オブジェクト情報の提供を行う被写体オブジェクト情報提供サーバ、および自位置取得手段と方位取得手段と写真撮影し、写真画像を取得する写真画像取得手段を持ち、前記携帯キャリアに通信回路で接続された携帯電話機から構成される被写体オブジェクト情報提供方法において、
前記携帯電話機は、前記自位置取得手段によって取得された自位置、方位取得手段によって取得された方位および写真画像取得手段によって取得された写真画像を前記被写体オブジェクト情報提供サーバに送信し、
前記被写体オブジェクト情報提供サーバは、オブジェクト格納手段に地図上のオブジェクトについての少なくともオブジェクトの高さを含むオブジェクト特徴、オブジェクト名称およびオブジェクト経緯度を格納しており、受信した前記自位置、方位および写真画像から当該写真画像に表示される被写体オブジェクト情報の特定を行い、該被写体オブジェクト情報までの距離を計算してオブジェクト検索手段によって格納されたオブジェクト特徴を検索し、オブジェクトマッチング手段によって被写体オブジェクト情報とオブジェクトとのマッチングを行って前記被写体オブジェクト情報についてのオブジェクトの特定および特定されたオブジェクトからオブジェクト名称の特定を行うこと
を特徴とする被写体オブジェクト情報提供方法。
【請求項2】
請求項1において、前記被写体オブジェクト情報提供サーバは、特定されたオブジェクトとオブジェクト名称を前記携帯電話機に送信し、前記携帯電話機は表示手段に表示されている写真画像上の被写体オブジェクト情報にオブジェクト名称を表示し、被写体オブジェクト情報とオブジェクト名称とを合わせて記憶手段に格納することを特徴とする被写体オブジェクト情報提供方法。
【請求項3】
通信回路で携帯電話機が接続された携帯電話キャリアに通信回路で接続された被写体オブジェクト情報の提供を行う被写体オブジェクト情報提供サーバにおいて、
前記被写体オブジェクト情報として地図上のオブジェクトについて少なくともオブジェクトの高さを含むオブジェクト特徴、オブジェクト名称およびオブジェクト経緯度を格納するオブジェクト格納手段と、携帯電話機から前記携帯電話キャリアを介して送信された当該携帯電話機の自位置、方位および写真画像を受信し、受信した自位置、方位および写真画像から被写体オブジェクト情報の特定を行い、該被写体オブジェクト情報までの距離を計算してオブジェクト特徴を検索するオブジェクト検索手段と、および被写体オブジェクト情報と検索されたオブジェクトとのマッチングを行って前記被写体オブジェクト情報についてのオブジェクトの特定および特定されたオブジェクトからオブジェクト名称の特定を行うオブジェクトマッチング手段を備えること
を特徴とする被写体オブジェクト情報提供サーバ。
【請求項4】
請求項3において、特定されたオブジェクト名称を前記被写体オブジェクト情報上に書き込むオブジェクト名称書き込み手段を備えることを特徴とする被写体オブジェクト情報提供サーバ。
【請求項5】
請求項4において、前記被写体オブジェクト情報と、前記被写体オブジェクト情報上に書き込まれたオブジェクト名称とを格納する記憶手段を備えることを特徴とする被写体オブジェクト情報提供サーバ。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate


【公開番号】特開2006−178804(P2006−178804A)
【公開日】平成18年7月6日(2006.7.6)
【国際特許分類】
【出願番号】特願2004−372591(P2004−372591)
【出願日】平成16年12月24日(2004.12.24)
【出願人】(390023928)日立エンジニアリング株式会社 (134)
【Fターム(参考)】