画像処理装置、プログラム及び画像処理方法
【課題】目的とする建物又は施設などのオブジェクトを実空間内で見つけることを容易にすること。
【解決手段】実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する記憶部と、上記実世界を映した入力画像を取得する入力画像取得部と、上記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する上記入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、を備える画像処理装置を提供する。
【解決手段】実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する記憶部と、上記実世界を映した入力画像を取得する入力画像取得部と、上記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する上記入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、を備える画像処理装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
従来、実世界の地理情報をコンピュータの画面上でユーザに呈示する様々な地理情報サービスが実用化されている。例えば、Ｗｅｂ上で公開されている一般的な地図検索サービスを利用すれば、ユーザは、所望の地名、住所又はランドマーク名などに対応する位置を含む地域の地図を手軽に入手することができる。また、地図検索サービスにおいて表示される地図上で、ユーザにより指定されるキーワードに適合する施設にマーク付けすることも可能である。
【０００３】
さらに、近年のコンピュータ性能の飛躍的な向上の結果、２次元の平面的な地図だけではなく３次元空間の情報をユーザ端末で扱うことも可能となった。例えば、下記特許文献１は、地図案内装置からの出力画像において、現在位置の周囲の２次元の地図と３次元画像とを並列的に表示することを提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２２７５９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、指定された位置を俯瞰する３次元画像を単純に表示する手法では、表示される３次元画像の視点と実空間内でのユーザの視点とが異なる。そのため、ユーザが目的とする建物又は施設などを実空間内で見つけ出そうとしても、目に見える実世界の状況と３次元画像とが一致せず、目的とする建物又は施設などを容易に見つけ出せない場合があった。
【０００６】
そこで、本発明は、目的とする建物又は施設などのオブジェクトを実空間内で見つけることを容易にする、新規かつ改良された画像処理装置、プログラム及び画像処理方法を提供しようとするものである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態によれば、実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する記憶部と、上記実世界を映した入力画像を取得する入力画像取得部と、上記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する上記入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、を備える画像処理装置が提供される。
【０００８】
また、上記強調処理部は、上記指定オブジェクトが動くアニメーションを表現する一連の上記強調画像を生成してもよい。
【０００９】
また、上記強調処理部は、上記部分画像のサイズ、形状、色及び明るさのうち少なくとも１つを変更することにより上記強調画像を生成してもよい。
【００１０】
また、上記強調処理部は、順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する上記部分画像のサイズを各オブジェクトの順位に応じて変化させてもよい。
【００１１】
また、上記画像処理装置は、自装置が揺り動かされたことを検出する検出部、をさらに備え、上記強調処理部は、自装置が揺り動かされたことを上記検出部が検出した場合に、上記指定オブジェクトが揺れ動く上記アニメーションを表現する一連の上記強調画像を生成してもよい。
【００１２】
また、上記画像処理装置は、自装置が揺り動かされたことを検出する検出部、をさらに備え、上記強調処理部は、第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、上記第１の指定オブジェクト及び上記第２の指定オブジェクトの双方を第１の手法で強調すると共に、さらに自装置が揺り動かされたことを上記検出部が検出したときには、指定オブジェクトが揺れ動く上記アニメーションを用いる第２の手法で上記第１の指定オブジェクトのみを強調してもよい。
【００１３】
また、上記画像処理装置は、自装置の現在位置を計測する測位部と、上記測位部により計測される上記現在位置の周囲の上記３次元モデルに含まれるオブジェクトの特徴点と上記入力画像内の特徴点とを照合することにより、上記３次元モデルに含まれるオブジェクトと上記入力画像に映るオブジェクトとを対応付ける照合部と、をさらに備えてもよい。
【００１４】
また、上記照合部は、上記照合の結果として自装置の位置及び姿勢を判定し、上記強調処理部は、上記照合部により判定される位置及び姿勢に応じて上記部分画像を変換して各指定オブジェクトのためのテクスチャを取得し、取得した上記テクスチャを用いて上記強調画像を生成してもよい。
【００１５】
また、本発明の別の実施形態によれば、実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する記憶部を備える画像処理装置を制御するコンピュータを、上記実世界を映した入力画像を取得する入力画像取得部と、上記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する上記入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、として機能させるためのプログラムが提供される。
【００１６】
また、上記強調処理部は、上記指定オブジェクトが動くアニメーションを表現する一連の上記強調画像を生成してもよい。
【００１７】
また、上記強調処理部は、上記部分画像のサイズ、形状、色及び明るさのうち少なくとも１つを変更することにより上記強調画像を生成してもよい。
【００１８】
また、上記強調処理部は、順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する上記部分画像のサイズを各オブジェクトの順位に応じて変化させてもよい。
【００１９】
また、上記強調処理部は、上記画像処理装置の検出部が自装置が揺り動かされたことを検出した場合に、上記指定オブジェクトが揺れ動く上記アニメーションを表現する一連の上記強調画像を生成してもよい。
【００２０】
また、上記強調処理部は、第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、上記第１の指定オブジェクト及び上記第２の指定オブジェクトの双方を第１の手法で強調すると共に、さらに上記画像処理装置の検出部が自装置が揺り動かされたことを検出したときには、指定オブジェクトが揺れ動く上記アニメーションを用いる第２の手法で上記第１の指定オブジェクトのみを強調してもよい。
【００２１】
また、上記プログラムは、上記コンピュータを、上記画像処理装置の測位部により計測される現在位置の周囲の上記３次元モデルに含まれるオブジェクトの特徴点と上記入力画像内の特徴点とを照合することにより、上記３次元モデルに含まれるオブジェクトと上記入力画像に映るオブジェクトとを対応付ける照合部、としてさらに機能させてもよい。
【００２２】
また、上記照合部は、上記照合の結果として自装置の位置及び姿勢を判定し、上記強調処理部は、上記照合部により判定される位置及び姿勢に応じて上記部分画像を変換して各指定オブジェクトのためのテクスチャを取得し、取得した上記テクスチャを用いて上記強調画像を生成してもよい。
【００２３】
また、本発明の別の実施形態によれば、実世界を映した入力画像を取得するステップと、上記実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを取得するステップと、上記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する上記入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示する強調画像を生成するステップと、を含む画像処理方法が提供される。
【発明の効果】
【００２４】
以上説明したように、本発明に係る画像処理装置、プログラム及び画像処理方法によれば、目的とする建物又は施設などのオブジェクトを実空間内で見つけることを容易にすることができる。
【図面の簡単な説明】
【００２５】
【図１】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図２】一実施形態に係る画像処理装置の論理的な構成の一例を示すブロック図である。
【図３】入力画像の一例を示す説明図である。
【図４】３次元モデルの一例について説明するための説明図である。
【図５】一実施形態に係る照合部による照合処理の結果の一例を示す説明図である。
【図６】一実施形態に係る強調処理部による部分画像抽出処理について説明するための説明図である。
【図７】一実施形態に係る強調処理部による強調処理の第１の例について説明するための説明図である。
【図８】一実施形態に係る強調処理部による強調処理の第２の例について説明するための説明図である。
【図９】一実施形態に係る強調処理部による強調処理の第３の例について説明するための説明図である。
【図１０】一実施形態に係る画像処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２７】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．画像処理装置の構成例
１−１．ハードウェア構成
１−２．論理的な構成
２．強調処理の例
２−１．第１の例
２−２．第２の例
２−３．第３の例
３．画像処理の流れの例
４．まとめ
【００２８】
＜１．画像処理装置の構成例＞
まず、図１〜図６を用いて、本発明の一実施形態に係る画像処理装置の構成の一例を説明する。本明細書において説明する画像処理装置は、例えば、ＰＣ（Personal Computer）、スマートフォン、携帯情報端末、デジタルカメラ、車載若しくは携帯型ナビゲーション機器、又はゲーム端末などであってよい。
【００２９】
［１−１．ハードウェア構成］
図１は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図１を参照すると、画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１４、バス１６、記憶装置２０、撮像装置２２、表示装置２４、入力装置２６、ＧＰＳ（Global Positioning System）モジュール３０、電子コンパス３２及び加速度センサ３４を備える。
【００３０】
ＣＰＵ１０は、画像処理装置１００の動作全般を制御する。ＲＡＭ１２は、ＣＰＵ１０により実行されるプログラム及びデータを一時的に記憶する。ＲＯＭ１４は、画像処理装置１００の動作のためのプログラムを予め記憶する。バス１６は、ＣＰＵ１０、ＲＡＭ１２、ＲＯＭ１４、記憶装置２０、撮像装置２２、表示装置２４、入力装置２６、ＧＰＳモジュール３０、電子コンパス３２及び加速度センサ３４を相互に接続する。
【００３１】
記憶装置２０は、ハードディスク又は半導体メモリなどの記憶媒体により構成される。記憶装置２０は、着脱可能であってもよい。記憶装置２０により記憶されるデータは、画像処理装置１００による画像処理の際に外部のデータベースから動的に取得されてもよい。撮像装置２２は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有するカメラモジュールとして構成される。表示装置２４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode）又はＰＤＰ（Plasma Display Panel）などの画面上に画像を表示する。入力装置２６は、画像処理装置１００のユーザが画像処理装置１００に情報を入力するためのボタン、キーパッド、タッチパネル又はポインティングデバイスなどを含む。
【００３２】
ＧＰＳモジュール３０は、ＧＰＳ衛星から送信されるＧＰＳ信号を受信し、画像処理装置１００が現在位置する緯度、経度及び高度などを算出する。電子コンパス３２は、画像処理装置１００が現在向いている方角を検出する。加速度センサ３４は、画像処理装置１００に加えられる力により生じる加速度を検出する。
【００３３】
［１−２．論理的な構成］
図２は、本実施形態に係る画像処理装置１００の論理的な構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、入力画像取得部１１０、測位部１２０、記憶部１３０、照合部１４０、揺れ検出部１５０、アプリケーション部１６０、ユーザインタフェース部１７０及び強調処理部１８０を備える。
【００３４】
（１）入力画像取得部
入力画像取得部１１０は、撮像装置２２を用いて、実世界を映した一連の入力画像を取得する。そして、入力画像取得部１１０は、取得した入力画像を照合部１４０及び強調処理部１８０へ順次出力する。
【００３５】
図３は、入力画像取得部１１０により取得される入力画像の一例を示す説明図である。図３を参照すると、画像処理装置１００を携帯するユーザ（又は画像処理装置１００を搭載した車両など）が存在する実空間としての街が映っている。街には、複数の建物又は施設が存在する。このように入力画像に映るオブジェクトは、後に説明するアプリケーション部１６０における地理情報検索の検索対象、又はナビゲーションにおける案内の対象となり得る。
【００３６】
（２）測位部
測位部１２０は、ＧＰＳモジュール３０を用いて、画像処理装置１００の現在位置を計測する。また、測位部１２０は、電子コンパス３２を用いて、画像処理装置１００が現在向いている方角を計測する。そして、測位部１２０は、計測の結果として得られる画像処理装置１００の緯度、経度及び高度などの位置情報並びに方角情報を、照合部１４０へ出力する。
【００３７】
（３）記憶部
記憶部１３０は、実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する。３次元モデルにより記述されるオブジェクトは、例えば、アプリケーション部１６０が提供する上述したアプリケーション機能の対象とされるオブジェクトを含む。例えば、街に存在するレストラン、オフィス、学校、駅、公共施設並びにランドマークなどのオブジェクトの３次元形状及び位置が、３次元モデルにより記述される。３次元モデルは、例えば、ＧＭＬ（Geography Markup Language）又はＧＭＬをベースとするＫＭＬなどの言語を用いて記述されてよい。
【００３８】
図４は、３次元モデルの一例について説明するための説明図である。図４を参照すると、一例としての３次元モデル１３２が部分的に表現されている。図４の例において、３次元モデル１３２は、それぞれ建物である９個のオブジェクトＢ１〜Ｂ９に関するデータを含む。３次元モデル１３２は、これらオブジェクトの各々について、例えば、オブジェクトの識別子（以下、オブジェクトＩＤという）、建物の名称、並びに建物の形状を構成する頂点の３次元位置及び既定のテクスチャを定義する。実際には、記憶部１３０により記憶される３次元モデルは、図４に例示したオブジェクト群よりも多数の（より広範囲にわたる地域内の）オブジェクトに関するデータを含んでよい。また、記憶部１３０は、これらオブジェクトと関連付けて、例えばレストラン又はホテルなどユーザにより利用される施設についてのユーザによる評価などの付加情報を記憶してもよい。
【００３９】
（４）照合部
照合部１４０は、測位部１２０により計測される現在位置の周囲の３次元モデルに含まれるオブジェクトの特徴点と入力画像内の特徴点とを照合することにより、３次元モデルに含まれるオブジェクトと入力画像に映るオブジェクトとを対応付ける。より具体的には、本実施形態において、照合部１４０は、まず、画像処理装置１００の現在位置の周囲のオブジェクトに関するデータを、測位部１２０から入力される位置情報及び方角情報に基づいて、記憶部１３０に記憶されている３次元モデルから抽出する。また、照合部１４０は、例えばＨａｒｒｉｓ法又はＭｏｒａｖｅｃ法などの公知のコーナー検出法に従って、入力画像内に特徴点を設定する。そして、照合部１４０は、３次元モデルから抽出されたオブジェクト群の特徴点と入力画像内に設定した特徴点とを照合する。それにより、照合部１４０は、３次元モデルに含まれるオブジェクトと入力画像に映るオブジェクトとの対応を認識することができる。また、照合部１４０は、照合の結果として、画像処理装置１００の詳細な位置及び姿勢を判定してもよい。ここで説明した照合処理により判定される画像処理装置１００の位置は、ＧＰＳモジュール３０を用いて測位部１２０が計測可能な位置よりも高い精度を有し得る。
【００４０】
図５は、照合部１４０による照合処理の結果の一例を示す説明図である。図５を参照すると、入力画像Ｉｍ０１に映っているオブジェクトのコーナーに三角形で示された多数の特徴点が設定されている。そして、入力画像Ｉｍ０１内のこれら特徴点が、画像処理装置１００の特定の位置及び姿勢において、３次元モデル１３２に含まれるオブジェクトの頂点に適合する。例えば、特徴点ＦＰ１は、３次元モデル１３２のオブジェクトＢ２の頂点の１つに一致している。このようにして、照合部１４０は、３次元モデルに含まれるオブジェクトが入力画像内のどの位置に映っているかを認識することができる。
【００４１】
（５）揺れ検出部
揺れ検出部１５０は、加速度センサ３４を用いて、画像処理装置１００が揺り動かされたことを検出する。そして、揺れ検出部１５０は、画像処理装置１００が揺り動かされたことを検出すると、強調処理部１８０へ揺れ検出信号を出力する。揺れ検出部１５０は、例えは、画像処理装置１００に加えられる加速度が所定の閾値を上回った場合に、画像処理装置１００が揺り動かされたと判定してもよい。
【００４２】
（６）アプリケーション部
アプリケーション部１６０は、地理情報サービスに関連する上で例示したアプリケーション機能を実現する処理ブロックである。アプリケーション部１６０が提供するアプリケーション機能は、例えば、地理情報検索機能又はナビゲーション機能などであってよい。アプリケーション部１６０は、例えば、ユーザインタフェース部１７０にアプリケーション画面を表示させる。また、アプリケーション画面を介して検索キーワードがユーザにより入力されると、アプリケーション部１６０は、入力された検索キーワードに適合するオブジェクトを記憶部１３０から検索する。そして、アプリケーション部１６０は、検索結果として特定された１つ以上のオブジェクトを指定するオブジェクト指定情報を、強調処理部１８０へ出力する。オブジェクト指定情報は、例えば、ナビゲーションの目的地としてユーザにより選択されるオブジェクトを指定する情報であってもよい。
【００４３】
（７）ユーザインタフェース部
ユーザインタフェース部１７０は、上述したアプリケーション機能を利用するためのユーザインタフェースをユーザに提供する。ユーザインタフェース部１７０は、例えば、入力装置２６を介して、地理情報検索機能のための検索キーワード又はナビゲーションの目的地などのユーザ入力情報を受け付ける。また、ユーザインタフェース部１７０は、アプリケーション部１６０により生成されるアプリケーション画面を表示装置２４を用いて表示する。さらに、ユーザインタフェース部１７０は、例えば、後に説明する強調処理部１８０により生成される強調画像をアプリケーション画面内で表示する。
【００４４】
（８）強調処理部
強調処理部１８０は、３次元モデルに含まれるオブジェクトのうちの１つ以上の指定されるオブジェクト（以下、指定オブジェクトという）に対応する入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示するための強調画像を生成する。本実施形態において、強調処理部１８０は、例えば、アプリケーション部１６０からオブジェクト指定情報が入力されると、オブジェクト指定情報により指定オブジェクトが入力画像に映っているか否かを判定する。次に、強調処理部１８０は、入力画像に映っているオブジェクトが存在する場合には、照合部１４０による上述した照合の結果に基づいて、当該オブジェクトに対応する入力画像内の領域を認識する。次に、強調処理部１８０は、認識した領域における部分画像を、指定オブジェクトが強調されるように加工する。ここで強調処理部１８０により加工され生成された部分画像を、本明細書では強調画像という。そして、強調処理部１８０は、強調画像を入力画像に重畳することにより出力画像を生成し、生成した出力画像をユーザインタフェース部１７０により表示させる。
【００４５】
図６は、本実施形態に係る強調処理部１８０による部分画像抽出処理について説明するための説明図である。図６の左上には、入力画像Ｉｍ０１が示されている。ここで、一例として、アプリケーション部１６０から入力されるオブジェクト指定情報が、入力画像Ｉｍ０１に映るオブジェクトＢ７を指定しているものとする。図６の右上には、照合部１４０による照合の結果として認識される、オブジェクトＢ７に対応する領域Ｒ１が示されている。強調処理部１８０は、入力画像Ｉｍ０１からこのような領域Ｒ１の部分画像Ｉｍ１１を抽出する（図６左下参照）。ここで、部分画像Ｉｍ１１には、入力画像Ｉｍ０１に映る動物体が重なっている可能性がある。図６の例では、人間がオブジェクトＢ７の前面に重なっている。そこで、強調処理部１８０は、例えば、複数のフレームにわたる部分画像Ｉｍ１１を平均化することにより、動物体の影響を低減させた部分画像Ｉｍ１２を生成する。
【００４６】
次節では、このようにして抽出される部分画像から上述した強調画像を生成するための、強調処理部１８０による強調処理の３つの例を詳細に説明する。
【００４７】
＜２．強調処理の例＞
図７〜図９は、それぞれ、本実施形態に係る強調処理部１８０による強調処理の一例について説明するための説明図である。
【００４８】
［２−１．第１の例］
強調処理の第１の例では、図４に例示した３次元モデル１３２に含まれるオブジェクトＢ４及びＢ７が、オブジェクト指定情報により指定されているものとする。図７を参照すると、第１の例において強調処理部１８０により生成される出力画像Ｉｍ２１が示されている。出力画像Ｉｍ２１と図３の入力画像Ｉｍ０１とを対比すると、オブジェクトＢ４及びＢ７のサイズ（特に、高さ）が画像内で拡大されていることが理解される。このように、強調処理部１８０は、指定オブジェクトに対応する部分画像のサイズを変更することにより、当該オブジェクトを強調してもよい。その代わりに（又は追加的に）、強調処理部１８０は、指定オブジェクトに対応する部分画像の形状、色又は明るさを変更することにより、当該オブジェクトを強調してもよい。
【００４９】
なお、強調処理部１８０は、各オブジェクトを強調する強調画像（図７の出力画像Ｉｍ２１内の網掛け部分）を、部分画像のサイズ、形状、色又は明るさを変化させることにより直接的に生成してもよい。その代わりに、例えば、強調処理部１８０は、部分画像のパースによる歪みを除去して各オブジェクトのテクスチャを取得し、取得したテクスチャを各オブジェクトのポリゴンの表面に貼り付けて強調画像を生成してもよい。部分画像のパースによる歪みは、照合部１４０により判定される画像処理装置１００の（撮像装置２２の）位置及び姿勢に応じて当該部分画像をアフィン変換することにより除去され得る。このように取得されるテクスチャを用いることで、例えば、指定オブジェクトの外観のうち入力画像内で他のオブジェクトに隠されている部分についても出力画像内で可視化することができる（例えば、後の図９の例において、他のオブジェクトに隠されている部分が可視化されている）。
【００５０】
［２−２．第２の例］
強調処理の第２の例においても、図４に例示した３次元モデル１３２に含まれるオブジェクトＢ４及びＢ７が、オブジェクト指定情報により指定されているものとする。また、一例として、オブジェクトＢ４及びＢ７は、レストラン検索の結果として指定されており、各オブジェクトに「店名」及び「評価」という２つの付加情報が関連付けられているものとする。例えば、図８を参照すると、オブジェクトＢ４の店名は「ＡＢＣ Ｃａｆｅ」、評価は星２つである。一方、オブジェクトＢ７の店名は「Ｂａｒ ＸＹＺ」、評価は星３つである。なお、付加情報は、かかる例に限定されず、例えば想定される予算、料理の種類などの任意の情報であってよい。
【００５１】
第２の例において、強調処理部１８０は、まず、第１の例と同様に、指定オブジェクトＢ４及びＢ７に対応する部分画像のサイズ（又は形状、色若しくは明るさ）を変更することにより、これら指定オブジェクトを強調する。さらに、強調処理部１８０は、指定オブジェクトが動くアニメーションを表現する一連の強調画像を生成する。かかるアニメーションは、例えば、オブジェクトが揺れ動くアニメーションである。強調処理部１８０は、例えば、画像処理装置１００が揺り動かされたことを示す揺れ検出信号が揺れ検出部１５０から入力された場合に、このような指定オブジェクトが揺れ動くアニメーションを生成してよい。
【００５２】
図８を参照すると、第２の例において強調処理部１８０により生成される出力画像Ｉｍ２２、Ｉｍ２３及びＩｍ２４が示されている。出力画像Ｉｍ２２では、揺れ検出部１５０による揺れの検出結果によらず、上述したオブジェクトＢ４及びＢ７が、サイズを拡大する手法で共に強調されている。一方、出力画像Ｉｍ２３及びＩｍ２４は、画像処理装置１００の揺れが検出された場合に表示される画像である。出力画像Ｉｍ２３及びＩｍ２４において、評価の高い（星３つ）レストランであるオブジェクトＢ７のみが、指定オブジェクトを揺り動かすアニメーションを用いる手法で強調されている。
【００５３】
このように、指定オブジェクトが動くアニメーションを用いることで、目的とする指定オブジェクトが入力画像内の他のオブジェクトに紛れることがない。そのため、ユーザは、出力画像を参照することで、一目瞭然に目的とするオブジェクトを見つけることができる。なお、オブジェクトが動くアニメーションは、上述した例に限定されず、例えばオブジェクトが伸縮し又は飛び跳ねるようなアニメーションであってもよい。
【００５４】
また、上述したように、指定オブジェクトを付加情報（例えば、星の数又は予算の範囲など）に応じて２つ以上のグループに分類し、その分類に応じて異なる手法で段階的にオブジェクトを強調することにより、ユーザに呈示すべき複数の指定オブジェクトとその中でもより注目に値する指定オブジェクト（例えば、星の数の多いレストラン、又はユーザの予算に適合するレストランなど）とを、ユーザが容易に区別し得るように表示することができる。また、ユーザが装置を揺り動かしたことをきっかけとして指定オブジェクトを揺り動かす手法により、より直感的かつユーザにとって憶え易い地理情報の呈示のための効果的なユーザインタフェースが実現される。
【００５５】
［２−３．第３の例］
強調処理の第３の例では、オブジェクトＢ４、Ｂ７及びＢ１０が、オブジェクト指定情報により指定されているものとする。また、第２の例と同様、各オブジェクトに「店名」及び「評価」という２つの付加情報が関連付けられているものとする。但し、第３の例においては、「評価」は数値として与えられ、数値の大小に応じたランキングが付与されているものとする。例えば、オブジェクトＢ４の評価は２．９であり、ランキングは第３位である。オブジェクトＢ７の評価は３．８であり、ランキングは第２位である。オブジェクトＢ１０の評価は４．２であり、ランキングは第１位である。
【００５６】
第３の例において、強調処理部１８０は、このように順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する部分画像のサイズを各オブジェクトの順位に応じて変化させる。図９の例では、出力画像Ｉｍ２５において、オブジェクトＢ１０が最も大きいサイズで表示され、オブジェクトＢ７は次に大きいサイズで表示され、オブジェクトＢ４は指定オブジェクトの中で最も小さくなるように縮小されている。
【００５７】
このように、オブジェクトに付与されるランキングなどの付加情報に応じてオブジェクトのサイズを変化させることで、指定オブジェクトに関する位置情報に加えて、付加情報をも直感的かつ容易にユーザに理解させることができる。
【００５８】
＜３．画像処理の流れの例＞
図１０は、本実施形態に係る画像処理装置１００による画像処理の流れの一例を示すフローチャートである。図１０を参照すると、まず、入力画像取得部１１０は、実世界を映した入力画像を取得する（ステップＳ１０２）。また、測位部１２０は、画像処理装置１００の現在位置及び方角を計測する（ステップＳ１０４）。次に、照合部１４０は、画像処理装置１００の現在位置の周囲のオブジェクトに関するデータを、記憶部１３０に記憶されている３次元モデルから取得する（ステップＳ１０６）。次に、照合部１４０は、入力画像内に設定した特徴点と取得した３次元モデルに含まれるオブジェクト群の特徴点とを照合する（ステップＳ１０８）。次に、強調処理部１８０は、アプリケーション部１６０からオブジェクト指定情報が入力されると、オブジェクト指定情報により指定された１つ以上の指定オブジェクトを識別する（ステップＳ１１０）。次に、強調処理部１８０は、指定オブジェクトに対応する入力画像内の領域の部分画像を抽出する（ステップＳ１１２）。次に、強調処理部１８０は、抽出した部分画像を加工することにより、指定オブジェクトを強調する強調画像を生成する（ステップＳ１１４）。そして、強調処理部１８０は、入力画像と生成した強調画像とを重畳することにより、出力画像を生成する（ステップＳ１１６）。このように生成された出力画像は、ユーザインタフェース部１７０を介して表示装置２４の画面上に表示される。
【００５９】
＜４．まとめ＞
ここまで、図１〜図１０を用いて、本発明の一実施形態について説明した。本実施形態によれば、アプリケーション機能により指定される３次元モデル内の指定オブジェクトに対応する入力画像内の部分画像を加工することにより、指定オブジェクトが強調された強調画像が生成され、表示される。従って、ユーザが利用する画像処理装置１００に設けられる撮像装置２２の視点からの入力画像に映る自然な外観を保ったまま、指定オブジェクトが強調して表示される。その結果、目的とする建物又は施設などの指定オブジェクトをユーザが実空間内で見つけることが容易となる。
【００６０】
また、例えば、指定オブジェクトが動くアニメーションを表現する一連の強調画像を用いることで、目的とするオブジェクトを一目瞭然にユーザに認識させることができる。また、ランキングなどの付加情報を、出力画像内のオブジェクトの変化により直感的かつ容易にユーザに認識させることもできる。
【００６１】
また、ユーザが装置を揺り動かしたことをきっかけとして出力画像内で指定オブジェクトを揺り動かすアニメーションを表示することで、ユーザ自身の動きと強調表示との間に関連性を持たせ、地理情報の呈示に際しての直感的かつ分かり易いユーザインタフェースが実現され得る。
【００６２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６３】
１００ 画像処理装置
１１０ 入力画像取得部
１２０ 測位部
１３０ 記憶部
１４０ 照合部
１５０ 揺れ検出部
１８０ 強調処理部
【技術分野】
【０００１】
本発明は、画像処理装置、プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
従来、実世界の地理情報をコンピュータの画面上でユーザに呈示する様々な地理情報サービスが実用化されている。例えば、Ｗｅｂ上で公開されている一般的な地図検索サービスを利用すれば、ユーザは、所望の地名、住所又はランドマーク名などに対応する位置を含む地域の地図を手軽に入手することができる。また、地図検索サービスにおいて表示される地図上で、ユーザにより指定されるキーワードに適合する施設にマーク付けすることも可能である。
【０００３】
さらに、近年のコンピュータ性能の飛躍的な向上の結果、２次元の平面的な地図だけではなく３次元空間の情報をユーザ端末で扱うことも可能となった。例えば、下記特許文献１は、地図案内装置からの出力画像において、現在位置の周囲の２次元の地図と３次元画像とを並列的に表示することを提案している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−２２７５９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、指定された位置を俯瞰する３次元画像を単純に表示する手法では、表示される３次元画像の視点と実空間内でのユーザの視点とが異なる。そのため、ユーザが目的とする建物又は施設などを実空間内で見つけ出そうとしても、目に見える実世界の状況と３次元画像とが一致せず、目的とする建物又は施設などを容易に見つけ出せない場合があった。
【０００６】
そこで、本発明は、目的とする建物又は施設などのオブジェクトを実空間内で見つけることを容易にする、新規かつ改良された画像処理装置、プログラム及び画像処理方法を提供しようとするものである。
【課題を解決するための手段】
【０００７】
本発明のある実施形態によれば、実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する記憶部と、上記実世界を映した入力画像を取得する入力画像取得部と、上記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する上記入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、を備える画像処理装置が提供される。
【０００８】
また、上記強調処理部は、上記指定オブジェクトが動くアニメーションを表現する一連の上記強調画像を生成してもよい。
【０００９】
また、上記強調処理部は、上記部分画像のサイズ、形状、色及び明るさのうち少なくとも１つを変更することにより上記強調画像を生成してもよい。
【００１０】
また、上記強調処理部は、順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する上記部分画像のサイズを各オブジェクトの順位に応じて変化させてもよい。
【００１１】
また、上記画像処理装置は、自装置が揺り動かされたことを検出する検出部、をさらに備え、上記強調処理部は、自装置が揺り動かされたことを上記検出部が検出した場合に、上記指定オブジェクトが揺れ動く上記アニメーションを表現する一連の上記強調画像を生成してもよい。
【００１２】
また、上記画像処理装置は、自装置が揺り動かされたことを検出する検出部、をさらに備え、上記強調処理部は、第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、上記第１の指定オブジェクト及び上記第２の指定オブジェクトの双方を第１の手法で強調すると共に、さらに自装置が揺り動かされたことを上記検出部が検出したときには、指定オブジェクトが揺れ動く上記アニメーションを用いる第２の手法で上記第１の指定オブジェクトのみを強調してもよい。
【００１３】
また、上記画像処理装置は、自装置の現在位置を計測する測位部と、上記測位部により計測される上記現在位置の周囲の上記３次元モデルに含まれるオブジェクトの特徴点と上記入力画像内の特徴点とを照合することにより、上記３次元モデルに含まれるオブジェクトと上記入力画像に映るオブジェクトとを対応付ける照合部と、をさらに備えてもよい。
【００１４】
また、上記照合部は、上記照合の結果として自装置の位置及び姿勢を判定し、上記強調処理部は、上記照合部により判定される位置及び姿勢に応じて上記部分画像を変換して各指定オブジェクトのためのテクスチャを取得し、取得した上記テクスチャを用いて上記強調画像を生成してもよい。
【００１５】
また、本発明の別の実施形態によれば、実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する記憶部を備える画像処理装置を制御するコンピュータを、上記実世界を映した入力画像を取得する入力画像取得部と、上記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する上記入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、として機能させるためのプログラムが提供される。
【００１６】
また、上記強調処理部は、上記指定オブジェクトが動くアニメーションを表現する一連の上記強調画像を生成してもよい。
【００１７】
また、上記強調処理部は、上記部分画像のサイズ、形状、色及び明るさのうち少なくとも１つを変更することにより上記強調画像を生成してもよい。
【００１８】
また、上記強調処理部は、順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する上記部分画像のサイズを各オブジェクトの順位に応じて変化させてもよい。
【００１９】
また、上記強調処理部は、上記画像処理装置の検出部が自装置が揺り動かされたことを検出した場合に、上記指定オブジェクトが揺れ動く上記アニメーションを表現する一連の上記強調画像を生成してもよい。
【００２０】
また、上記強調処理部は、第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、上記第１の指定オブジェクト及び上記第２の指定オブジェクトの双方を第１の手法で強調すると共に、さらに上記画像処理装置の検出部が自装置が揺り動かされたことを検出したときには、指定オブジェクトが揺れ動く上記アニメーションを用いる第２の手法で上記第１の指定オブジェクトのみを強調してもよい。
【００２１】
また、上記プログラムは、上記コンピュータを、上記画像処理装置の測位部により計測される現在位置の周囲の上記３次元モデルに含まれるオブジェクトの特徴点と上記入力画像内の特徴点とを照合することにより、上記３次元モデルに含まれるオブジェクトと上記入力画像に映るオブジェクトとを対応付ける照合部、としてさらに機能させてもよい。
【００２２】
また、上記照合部は、上記照合の結果として自装置の位置及び姿勢を判定し、上記強調処理部は、上記照合部により判定される位置及び姿勢に応じて上記部分画像を変換して各指定オブジェクトのためのテクスチャを取得し、取得した上記テクスチャを用いて上記強調画像を生成してもよい。
【００２３】
また、本発明の別の実施形態によれば、実世界を映した入力画像を取得するステップと、上記実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを取得するステップと、上記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する上記入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示する強調画像を生成するステップと、を含む画像処理方法が提供される。
【発明の効果】
【００２４】
以上説明したように、本発明に係る画像処理装置、プログラム及び画像処理方法によれば、目的とする建物又は施設などのオブジェクトを実空間内で見つけることを容易にすることができる。
【図面の簡単な説明】
【００２５】
【図１】一実施形態に係る画像処理装置のハードウェア構成の一例を示すブロック図である。
【図２】一実施形態に係る画像処理装置の論理的な構成の一例を示すブロック図である。
【図３】入力画像の一例を示す説明図である。
【図４】３次元モデルの一例について説明するための説明図である。
【図５】一実施形態に係る照合部による照合処理の結果の一例を示す説明図である。
【図６】一実施形態に係る強調処理部による部分画像抽出処理について説明するための説明図である。
【図７】一実施形態に係る強調処理部による強調処理の第１の例について説明するための説明図である。
【図８】一実施形態に係る強調処理部による強調処理の第２の例について説明するための説明図である。
【図９】一実施形態に係る強調処理部による強調処理の第３の例について説明するための説明図である。
【図１０】一実施形態に係る画像処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２６】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付すことにより重複説明を省略する。
【００２７】
また、以下の順序にしたがって当該「発明を実施するための形態」を説明する。
１．画像処理装置の構成例
１−１．ハードウェア構成
１−２．論理的な構成
２．強調処理の例
２−１．第１の例
２−２．第２の例
２−３．第３の例
３．画像処理の流れの例
４．まとめ
【００２８】
＜１．画像処理装置の構成例＞
まず、図１〜図６を用いて、本発明の一実施形態に係る画像処理装置の構成の一例を説明する。本明細書において説明する画像処理装置は、例えば、ＰＣ（Personal Computer）、スマートフォン、携帯情報端末、デジタルカメラ、車載若しくは携帯型ナビゲーション機器、又はゲーム端末などであってよい。
【００２９】
［１−１．ハードウェア構成］
図１は、本実施形態に係る画像処理装置１００のハードウェア構成の一例を示すブロック図である。図１を参照すると、画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０、ＲＡＭ（Random Access Memory）１２、ＲＯＭ（Read Only Memory）１４、バス１６、記憶装置２０、撮像装置２２、表示装置２４、入力装置２６、ＧＰＳ（Global Positioning System）モジュール３０、電子コンパス３２及び加速度センサ３４を備える。
【００３０】
ＣＰＵ１０は、画像処理装置１００の動作全般を制御する。ＲＡＭ１２は、ＣＰＵ１０により実行されるプログラム及びデータを一時的に記憶する。ＲＯＭ１４は、画像処理装置１００の動作のためのプログラムを予め記憶する。バス１６は、ＣＰＵ１０、ＲＡＭ１２、ＲＯＭ１４、記憶装置２０、撮像装置２２、表示装置２４、入力装置２６、ＧＰＳモジュール３０、電子コンパス３２及び加速度センサ３４を相互に接続する。
【００３１】
記憶装置２０は、ハードディスク又は半導体メモリなどの記憶媒体により構成される。記憶装置２０は、着脱可能であってもよい。記憶装置２０により記憶されるデータは、画像処理装置１００による画像処理の際に外部のデータベースから動的に取得されてもよい。撮像装置２２は、例えば、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）などの撮像素子を有するカメラモジュールとして構成される。表示装置２４は、例えば、ＬＣＤ（Liquid Crystal Display）、ＯＬＥＤ（Organic Light Emitting Diode）又はＰＤＰ（Plasma Display Panel）などの画面上に画像を表示する。入力装置２６は、画像処理装置１００のユーザが画像処理装置１００に情報を入力するためのボタン、キーパッド、タッチパネル又はポインティングデバイスなどを含む。
【００３２】
ＧＰＳモジュール３０は、ＧＰＳ衛星から送信されるＧＰＳ信号を受信し、画像処理装置１００が現在位置する緯度、経度及び高度などを算出する。電子コンパス３２は、画像処理装置１００が現在向いている方角を検出する。加速度センサ３４は、画像処理装置１００に加えられる力により生じる加速度を検出する。
【００３３】
［１−２．論理的な構成］
図２は、本実施形態に係る画像処理装置１００の論理的な構成の一例を示すブロック図である。図２を参照すると、画像処理装置１００は、入力画像取得部１１０、測位部１２０、記憶部１３０、照合部１４０、揺れ検出部１５０、アプリケーション部１６０、ユーザインタフェース部１７０及び強調処理部１８０を備える。
【００３４】
（１）入力画像取得部
入力画像取得部１１０は、撮像装置２２を用いて、実世界を映した一連の入力画像を取得する。そして、入力画像取得部１１０は、取得した入力画像を照合部１４０及び強調処理部１８０へ順次出力する。
【００３５】
図３は、入力画像取得部１１０により取得される入力画像の一例を示す説明図である。図３を参照すると、画像処理装置１００を携帯するユーザ（又は画像処理装置１００を搭載した車両など）が存在する実空間としての街が映っている。街には、複数の建物又は施設が存在する。このように入力画像に映るオブジェクトは、後に説明するアプリケーション部１６０における地理情報検索の検索対象、又はナビゲーションにおける案内の対象となり得る。
【００３６】
（２）測位部
測位部１２０は、ＧＰＳモジュール３０を用いて、画像処理装置１００の現在位置を計測する。また、測位部１２０は、電子コンパス３２を用いて、画像処理装置１００が現在向いている方角を計測する。そして、測位部１２０は、計測の結果として得られる画像処理装置１００の緯度、経度及び高度などの位置情報並びに方角情報を、照合部１４０へ出力する。
【００３７】
（３）記憶部
記憶部１３０は、実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する。３次元モデルにより記述されるオブジェクトは、例えば、アプリケーション部１６０が提供する上述したアプリケーション機能の対象とされるオブジェクトを含む。例えば、街に存在するレストラン、オフィス、学校、駅、公共施設並びにランドマークなどのオブジェクトの３次元形状及び位置が、３次元モデルにより記述される。３次元モデルは、例えば、ＧＭＬ（Geography Markup Language）又はＧＭＬをベースとするＫＭＬなどの言語を用いて記述されてよい。
【００３８】
図４は、３次元モデルの一例について説明するための説明図である。図４を参照すると、一例としての３次元モデル１３２が部分的に表現されている。図４の例において、３次元モデル１３２は、それぞれ建物である９個のオブジェクトＢ１〜Ｂ９に関するデータを含む。３次元モデル１３２は、これらオブジェクトの各々について、例えば、オブジェクトの識別子（以下、オブジェクトＩＤという）、建物の名称、並びに建物の形状を構成する頂点の３次元位置及び既定のテクスチャを定義する。実際には、記憶部１３０により記憶される３次元モデルは、図４に例示したオブジェクト群よりも多数の（より広範囲にわたる地域内の）オブジェクトに関するデータを含んでよい。また、記憶部１３０は、これらオブジェクトと関連付けて、例えばレストラン又はホテルなどユーザにより利用される施設についてのユーザによる評価などの付加情報を記憶してもよい。
【００３９】
（４）照合部
照合部１４０は、測位部１２０により計測される現在位置の周囲の３次元モデルに含まれるオブジェクトの特徴点と入力画像内の特徴点とを照合することにより、３次元モデルに含まれるオブジェクトと入力画像に映るオブジェクトとを対応付ける。より具体的には、本実施形態において、照合部１４０は、まず、画像処理装置１００の現在位置の周囲のオブジェクトに関するデータを、測位部１２０から入力される位置情報及び方角情報に基づいて、記憶部１３０に記憶されている３次元モデルから抽出する。また、照合部１４０は、例えばＨａｒｒｉｓ法又はＭｏｒａｖｅｃ法などの公知のコーナー検出法に従って、入力画像内に特徴点を設定する。そして、照合部１４０は、３次元モデルから抽出されたオブジェクト群の特徴点と入力画像内に設定した特徴点とを照合する。それにより、照合部１４０は、３次元モデルに含まれるオブジェクトと入力画像に映るオブジェクトとの対応を認識することができる。また、照合部１４０は、照合の結果として、画像処理装置１００の詳細な位置及び姿勢を判定してもよい。ここで説明した照合処理により判定される画像処理装置１００の位置は、ＧＰＳモジュール３０を用いて測位部１２０が計測可能な位置よりも高い精度を有し得る。
【００４０】
図５は、照合部１４０による照合処理の結果の一例を示す説明図である。図５を参照すると、入力画像Ｉｍ０１に映っているオブジェクトのコーナーに三角形で示された多数の特徴点が設定されている。そして、入力画像Ｉｍ０１内のこれら特徴点が、画像処理装置１００の特定の位置及び姿勢において、３次元モデル１３２に含まれるオブジェクトの頂点に適合する。例えば、特徴点ＦＰ１は、３次元モデル１３２のオブジェクトＢ２の頂点の１つに一致している。このようにして、照合部１４０は、３次元モデルに含まれるオブジェクトが入力画像内のどの位置に映っているかを認識することができる。
【００４１】
（５）揺れ検出部
揺れ検出部１５０は、加速度センサ３４を用いて、画像処理装置１００が揺り動かされたことを検出する。そして、揺れ検出部１５０は、画像処理装置１００が揺り動かされたことを検出すると、強調処理部１８０へ揺れ検出信号を出力する。揺れ検出部１５０は、例えは、画像処理装置１００に加えられる加速度が所定の閾値を上回った場合に、画像処理装置１００が揺り動かされたと判定してもよい。
【００４２】
（６）アプリケーション部
アプリケーション部１６０は、地理情報サービスに関連する上で例示したアプリケーション機能を実現する処理ブロックである。アプリケーション部１６０が提供するアプリケーション機能は、例えば、地理情報検索機能又はナビゲーション機能などであってよい。アプリケーション部１６０は、例えば、ユーザインタフェース部１７０にアプリケーション画面を表示させる。また、アプリケーション画面を介して検索キーワードがユーザにより入力されると、アプリケーション部１６０は、入力された検索キーワードに適合するオブジェクトを記憶部１３０から検索する。そして、アプリケーション部１６０は、検索結果として特定された１つ以上のオブジェクトを指定するオブジェクト指定情報を、強調処理部１８０へ出力する。オブジェクト指定情報は、例えば、ナビゲーションの目的地としてユーザにより選択されるオブジェクトを指定する情報であってもよい。
【００４３】
（７）ユーザインタフェース部
ユーザインタフェース部１７０は、上述したアプリケーション機能を利用するためのユーザインタフェースをユーザに提供する。ユーザインタフェース部１７０は、例えば、入力装置２６を介して、地理情報検索機能のための検索キーワード又はナビゲーションの目的地などのユーザ入力情報を受け付ける。また、ユーザインタフェース部１７０は、アプリケーション部１６０により生成されるアプリケーション画面を表示装置２４を用いて表示する。さらに、ユーザインタフェース部１７０は、例えば、後に説明する強調処理部１８０により生成される強調画像をアプリケーション画面内で表示する。
【００４４】
（８）強調処理部
強調処理部１８０は、３次元モデルに含まれるオブジェクトのうちの１つ以上の指定されるオブジェクト（以下、指定オブジェクトという）に対応する入力画像内の部分画像を加工することにより、上記指定オブジェクトを強調して表示するための強調画像を生成する。本実施形態において、強調処理部１８０は、例えば、アプリケーション部１６０からオブジェクト指定情報が入力されると、オブジェクト指定情報により指定オブジェクトが入力画像に映っているか否かを判定する。次に、強調処理部１８０は、入力画像に映っているオブジェクトが存在する場合には、照合部１４０による上述した照合の結果に基づいて、当該オブジェクトに対応する入力画像内の領域を認識する。次に、強調処理部１８０は、認識した領域における部分画像を、指定オブジェクトが強調されるように加工する。ここで強調処理部１８０により加工され生成された部分画像を、本明細書では強調画像という。そして、強調処理部１８０は、強調画像を入力画像に重畳することにより出力画像を生成し、生成した出力画像をユーザインタフェース部１７０により表示させる。
【００４５】
図６は、本実施形態に係る強調処理部１８０による部分画像抽出処理について説明するための説明図である。図６の左上には、入力画像Ｉｍ０１が示されている。ここで、一例として、アプリケーション部１６０から入力されるオブジェクト指定情報が、入力画像Ｉｍ０１に映るオブジェクトＢ７を指定しているものとする。図６の右上には、照合部１４０による照合の結果として認識される、オブジェクトＢ７に対応する領域Ｒ１が示されている。強調処理部１８０は、入力画像Ｉｍ０１からこのような領域Ｒ１の部分画像Ｉｍ１１を抽出する（図６左下参照）。ここで、部分画像Ｉｍ１１には、入力画像Ｉｍ０１に映る動物体が重なっている可能性がある。図６の例では、人間がオブジェクトＢ７の前面に重なっている。そこで、強調処理部１８０は、例えば、複数のフレームにわたる部分画像Ｉｍ１１を平均化することにより、動物体の影響を低減させた部分画像Ｉｍ１２を生成する。
【００４６】
次節では、このようにして抽出される部分画像から上述した強調画像を生成するための、強調処理部１８０による強調処理の３つの例を詳細に説明する。
【００４７】
＜２．強調処理の例＞
図７〜図９は、それぞれ、本実施形態に係る強調処理部１８０による強調処理の一例について説明するための説明図である。
【００４８】
［２−１．第１の例］
強調処理の第１の例では、図４に例示した３次元モデル１３２に含まれるオブジェクトＢ４及びＢ７が、オブジェクト指定情報により指定されているものとする。図７を参照すると、第１の例において強調処理部１８０により生成される出力画像Ｉｍ２１が示されている。出力画像Ｉｍ２１と図３の入力画像Ｉｍ０１とを対比すると、オブジェクトＢ４及びＢ７のサイズ（特に、高さ）が画像内で拡大されていることが理解される。このように、強調処理部１８０は、指定オブジェクトに対応する部分画像のサイズを変更することにより、当該オブジェクトを強調してもよい。その代わりに（又は追加的に）、強調処理部１８０は、指定オブジェクトに対応する部分画像の形状、色又は明るさを変更することにより、当該オブジェクトを強調してもよい。
【００４９】
なお、強調処理部１８０は、各オブジェクトを強調する強調画像（図７の出力画像Ｉｍ２１内の網掛け部分）を、部分画像のサイズ、形状、色又は明るさを変化させることにより直接的に生成してもよい。その代わりに、例えば、強調処理部１８０は、部分画像のパースによる歪みを除去して各オブジェクトのテクスチャを取得し、取得したテクスチャを各オブジェクトのポリゴンの表面に貼り付けて強調画像を生成してもよい。部分画像のパースによる歪みは、照合部１４０により判定される画像処理装置１００の（撮像装置２２の）位置及び姿勢に応じて当該部分画像をアフィン変換することにより除去され得る。このように取得されるテクスチャを用いることで、例えば、指定オブジェクトの外観のうち入力画像内で他のオブジェクトに隠されている部分についても出力画像内で可視化することができる（例えば、後の図９の例において、他のオブジェクトに隠されている部分が可視化されている）。
【００５０】
［２−２．第２の例］
強調処理の第２の例においても、図４に例示した３次元モデル１３２に含まれるオブジェクトＢ４及びＢ７が、オブジェクト指定情報により指定されているものとする。また、一例として、オブジェクトＢ４及びＢ７は、レストラン検索の結果として指定されており、各オブジェクトに「店名」及び「評価」という２つの付加情報が関連付けられているものとする。例えば、図８を参照すると、オブジェクトＢ４の店名は「ＡＢＣ Ｃａｆｅ」、評価は星２つである。一方、オブジェクトＢ７の店名は「Ｂａｒ ＸＹＺ」、評価は星３つである。なお、付加情報は、かかる例に限定されず、例えば想定される予算、料理の種類などの任意の情報であってよい。
【００５１】
第２の例において、強調処理部１８０は、まず、第１の例と同様に、指定オブジェクトＢ４及びＢ７に対応する部分画像のサイズ（又は形状、色若しくは明るさ）を変更することにより、これら指定オブジェクトを強調する。さらに、強調処理部１８０は、指定オブジェクトが動くアニメーションを表現する一連の強調画像を生成する。かかるアニメーションは、例えば、オブジェクトが揺れ動くアニメーションである。強調処理部１８０は、例えば、画像処理装置１００が揺り動かされたことを示す揺れ検出信号が揺れ検出部１５０から入力された場合に、このような指定オブジェクトが揺れ動くアニメーションを生成してよい。
【００５２】
図８を参照すると、第２の例において強調処理部１８０により生成される出力画像Ｉｍ２２、Ｉｍ２３及びＩｍ２４が示されている。出力画像Ｉｍ２２では、揺れ検出部１５０による揺れの検出結果によらず、上述したオブジェクトＢ４及びＢ７が、サイズを拡大する手法で共に強調されている。一方、出力画像Ｉｍ２３及びＩｍ２４は、画像処理装置１００の揺れが検出された場合に表示される画像である。出力画像Ｉｍ２３及びＩｍ２４において、評価の高い（星３つ）レストランであるオブジェクトＢ７のみが、指定オブジェクトを揺り動かすアニメーションを用いる手法で強調されている。
【００５３】
このように、指定オブジェクトが動くアニメーションを用いることで、目的とする指定オブジェクトが入力画像内の他のオブジェクトに紛れることがない。そのため、ユーザは、出力画像を参照することで、一目瞭然に目的とするオブジェクトを見つけることができる。なお、オブジェクトが動くアニメーションは、上述した例に限定されず、例えばオブジェクトが伸縮し又は飛び跳ねるようなアニメーションであってもよい。
【００５４】
また、上述したように、指定オブジェクトを付加情報（例えば、星の数又は予算の範囲など）に応じて２つ以上のグループに分類し、その分類に応じて異なる手法で段階的にオブジェクトを強調することにより、ユーザに呈示すべき複数の指定オブジェクトとその中でもより注目に値する指定オブジェクト（例えば、星の数の多いレストラン、又はユーザの予算に適合するレストランなど）とを、ユーザが容易に区別し得るように表示することができる。また、ユーザが装置を揺り動かしたことをきっかけとして指定オブジェクトを揺り動かす手法により、より直感的かつユーザにとって憶え易い地理情報の呈示のための効果的なユーザインタフェースが実現される。
【００５５】
［２−３．第３の例］
強調処理の第３の例では、オブジェクトＢ４、Ｂ７及びＢ１０が、オブジェクト指定情報により指定されているものとする。また、第２の例と同様、各オブジェクトに「店名」及び「評価」という２つの付加情報が関連付けられているものとする。但し、第３の例においては、「評価」は数値として与えられ、数値の大小に応じたランキングが付与されているものとする。例えば、オブジェクトＢ４の評価は２．９であり、ランキングは第３位である。オブジェクトＢ７の評価は３．８であり、ランキングは第２位である。オブジェクトＢ１０の評価は４．２であり、ランキングは第１位である。
【００５６】
第３の例において、強調処理部１８０は、このように順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する部分画像のサイズを各オブジェクトの順位に応じて変化させる。図９の例では、出力画像Ｉｍ２５において、オブジェクトＢ１０が最も大きいサイズで表示され、オブジェクトＢ７は次に大きいサイズで表示され、オブジェクトＢ４は指定オブジェクトの中で最も小さくなるように縮小されている。
【００５７】
このように、オブジェクトに付与されるランキングなどの付加情報に応じてオブジェクトのサイズを変化させることで、指定オブジェクトに関する位置情報に加えて、付加情報をも直感的かつ容易にユーザに理解させることができる。
【００５８】
＜３．画像処理の流れの例＞
図１０は、本実施形態に係る画像処理装置１００による画像処理の流れの一例を示すフローチャートである。図１０を参照すると、まず、入力画像取得部１１０は、実世界を映した入力画像を取得する（ステップＳ１０２）。また、測位部１２０は、画像処理装置１００の現在位置及び方角を計測する（ステップＳ１０４）。次に、照合部１４０は、画像処理装置１００の現在位置の周囲のオブジェクトに関するデータを、記憶部１３０に記憶されている３次元モデルから取得する（ステップＳ１０６）。次に、照合部１４０は、入力画像内に設定した特徴点と取得した３次元モデルに含まれるオブジェクト群の特徴点とを照合する（ステップＳ１０８）。次に、強調処理部１８０は、アプリケーション部１６０からオブジェクト指定情報が入力されると、オブジェクト指定情報により指定された１つ以上の指定オブジェクトを識別する（ステップＳ１１０）。次に、強調処理部１８０は、指定オブジェクトに対応する入力画像内の領域の部分画像を抽出する（ステップＳ１１２）。次に、強調処理部１８０は、抽出した部分画像を加工することにより、指定オブジェクトを強調する強調画像を生成する（ステップＳ１１４）。そして、強調処理部１８０は、入力画像と生成した強調画像とを重畳することにより、出力画像を生成する（ステップＳ１１６）。このように生成された出力画像は、ユーザインタフェース部１７０を介して表示装置２４の画面上に表示される。
【００５９】
＜４．まとめ＞
ここまで、図１〜図１０を用いて、本発明の一実施形態について説明した。本実施形態によれば、アプリケーション機能により指定される３次元モデル内の指定オブジェクトに対応する入力画像内の部分画像を加工することにより、指定オブジェクトが強調された強調画像が生成され、表示される。従って、ユーザが利用する画像処理装置１００に設けられる撮像装置２２の視点からの入力画像に映る自然な外観を保ったまま、指定オブジェクトが強調して表示される。その結果、目的とする建物又は施設などの指定オブジェクトをユーザが実空間内で見つけることが容易となる。
【００６０】
また、例えば、指定オブジェクトが動くアニメーションを表現する一連の強調画像を用いることで、目的とするオブジェクトを一目瞭然にユーザに認識させることができる。また、ランキングなどの付加情報を、出力画像内のオブジェクトの変化により直感的かつ容易にユーザに認識させることもできる。
【００６１】
また、ユーザが装置を揺り動かしたことをきっかけとして出力画像内で指定オブジェクトを揺り動かすアニメーションを表示することで、ユーザ自身の動きと強調表示との間に関連性を持たせ、地理情報の呈示に際しての直感的かつ分かり易いユーザインタフェースが実現され得る。
【００６２】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００６３】
１００ 画像処理装置
１１０ 入力画像取得部
１２０ 測位部
１３０ 記憶部
１４０ 照合部
１５０ 揺れ検出部
１８０ 強調処理部
【特許請求の範囲】
【請求項１】
実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する記憶部と、
前記実世界を映した入力画像を取得する入力画像取得部と、
前記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する前記入力画像内の部分画像を加工することにより、前記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、
を備える画像処理装置。
【請求項２】
前記強調処理部は、前記指定オブジェクトが動くアニメーションを表現する一連の前記強調画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記強調処理部は、前記部分画像のサイズ、形状、色及び明るさのうち少なくとも１つを変更することにより前記強調画像を生成する、請求項１に記載の画像処理装置。
【請求項４】
前記強調処理部は、順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する前記部分画像のサイズを各指定オブジェクトの順位に応じて変化させる、請求項３に記載の画像処理装置。
【請求項５】
前記画像処理装置は、自装置が揺り動かされたことを検出する検出部、をさらに備え、
前記強調処理部は、自装置が揺り動かされたことを前記検出部が検出した場合に、前記指定オブジェクトが揺れ動く前記アニメーションを表現する一連の前記強調画像を生成する、
請求項２に記載の画像処理装置。
【請求項６】
前記画像処理装置は、自装置が揺り動かされたことを検出する検出部、をさらに備え、
前記強調処理部は、第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、前記第１の指定オブジェクト及び前記第２の指定オブジェクトの双方を第１の手法で強調すると共に、さらに自装置が揺り動かされたことを前記検出部が検出したときには、指定オブジェクトが揺れ動く前記アニメーションを用いる第２の手法で前記第１の指定オブジェクトのみを強調する、
請求項２に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
自装置の現在位置を計測する測位部と、
前記測位部により計測される前記現在位置の周囲の前記３次元モデルに含まれるオブジェクトの特徴点と前記入力画像内の特徴点とを照合することにより、前記３次元モデルに含まれるオブジェクトと前記入力画像に映るオブジェクトとを対応付ける照合部と、
をさらに備える、請求項１に記載の画像処理装置。
【請求項８】
前記照合部は、前記照合の結果として自装置の位置及び姿勢を判定し、
前記強調処理部は、前記照合部により判定される位置及び姿勢に応じて前記部分画像を変換して各指定オブジェクトのためのテクスチャを取得し、取得した前記テクスチャを用いて前記強調画像を生成する、
請求項７に記載の画像処理装置。
【請求項９】
実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する記憶部を備える画像処理装置を制御するコンピュータを、
前記実世界を映した入力画像を取得する入力画像取得部と、
前記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する前記入力画像内の部分画像を加工することにより、前記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、
として機能させるためのプログラム。
【請求項１０】
前記強調処理部は、前記指定オブジェクトが動くアニメーションを表現する一連の前記強調画像を生成する、請求項９に記載のプログラム。
【請求項１１】
前記強調処理部は、前記部分画像のサイズ、形状、色及び明るさのうち少なくとも１つを変更することにより前記強調画像を生成する、請求項９に記載のプログラム。
【請求項１２】
前記強調処理部は、順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する前記部分画像のサイズを各オブジェクトの順位に応じて変化させる、請求項１１に記載のプログラム。
【請求項１３】
前記強調処理部は、前記画像処理装置の検出部が自装置が揺り動かされたことを検出した場合に、前記指定オブジェクトが揺れ動く前記アニメーションを表現する一連の前記強調画像を生成する、請求項１０に記載のプログラム。
【請求項１４】
前記強調処理部は、第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、前記第１の指定オブジェクト及び前記第２の指定オブジェクトの双方を第１の手法で強調すると共に、さらに前記画像処理装置の検出部が自装置が揺り動かされたことを検出したときには、指定オブジェクトが揺れ動く前記アニメーションを用いる第２の手法で前記第１の指定オブジェクトのみを強調する、
請求項１０に記載のプログラム。
【請求項１５】
前記コンピュータを、
前記画像処理装置の測位部により計測される現在位置の周囲の前記３次元モデルに含まれるオブジェクトの特徴点と前記入力画像内の特徴点とを照合することにより、前記３次元モデルに含まれるオブジェクトと前記入力画像に映るオブジェクトとを対応付ける照合部、
としてさらに機能させるための、請求項９に記載のプログラム。
【請求項１６】
前記照合部は、前記照合の結果として自装置の位置及び姿勢を判定し、
前記強調処理部は、前記照合部により判定される位置及び姿勢に応じて前記部分画像を変換して各指定オブジェクトのためのテクスチャを取得し、取得した前記テクスチャを用いて前記強調画像を生成する、
請求項１５に記載のプログラム。
【請求項１７】
実世界を映した入力画像を取得するステップと、
前記実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを取得するステップと、
前記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する前記入力画像内の部分画像を加工することにより、前記指定オブジェクトを強調して表示する強調画像を生成するステップと、
を含む画像処理方法。
【請求項１】
実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する記憶部と、
前記実世界を映した入力画像を取得する入力画像取得部と、
前記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する前記入力画像内の部分画像を加工することにより、前記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、
を備える画像処理装置。
【請求項２】
前記強調処理部は、前記指定オブジェクトが動くアニメーションを表現する一連の前記強調画像を生成する、請求項１に記載の画像処理装置。
【請求項３】
前記強調処理部は、前記部分画像のサイズ、形状、色及び明るさのうち少なくとも１つを変更することにより前記強調画像を生成する、請求項１に記載の画像処理装置。
【請求項４】
前記強調処理部は、順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する前記部分画像のサイズを各指定オブジェクトの順位に応じて変化させる、請求項３に記載の画像処理装置。
【請求項５】
前記画像処理装置は、自装置が揺り動かされたことを検出する検出部、をさらに備え、
前記強調処理部は、自装置が揺り動かされたことを前記検出部が検出した場合に、前記指定オブジェクトが揺れ動く前記アニメーションを表現する一連の前記強調画像を生成する、
請求項２に記載の画像処理装置。
【請求項６】
前記画像処理装置は、自装置が揺り動かされたことを検出する検出部、をさらに備え、
前記強調処理部は、第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、前記第１の指定オブジェクト及び前記第２の指定オブジェクトの双方を第１の手法で強調すると共に、さらに自装置が揺り動かされたことを前記検出部が検出したときには、指定オブジェクトが揺れ動く前記アニメーションを用いる第２の手法で前記第１の指定オブジェクトのみを強調する、
請求項２に記載の画像処理装置。
【請求項７】
前記画像処理装置は、
自装置の現在位置を計測する測位部と、
前記測位部により計測される前記現在位置の周囲の前記３次元モデルに含まれるオブジェクトの特徴点と前記入力画像内の特徴点とを照合することにより、前記３次元モデルに含まれるオブジェクトと前記入力画像に映るオブジェクトとを対応付ける照合部と、
をさらに備える、請求項１に記載の画像処理装置。
【請求項８】
前記照合部は、前記照合の結果として自装置の位置及び姿勢を判定し、
前記強調処理部は、前記照合部により判定される位置及び姿勢に応じて前記部分画像を変換して各指定オブジェクトのためのテクスチャを取得し、取得した前記テクスチャを用いて前記強調画像を生成する、
請求項７に記載の画像処理装置。
【請求項９】
実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを記憶する記憶部を備える画像処理装置を制御するコンピュータを、
前記実世界を映した入力画像を取得する入力画像取得部と、
前記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する前記入力画像内の部分画像を加工することにより、前記指定オブジェクトを強調して表示する強調画像を生成する強調処理部と、
として機能させるためのプログラム。
【請求項１０】
前記強調処理部は、前記指定オブジェクトが動くアニメーションを表現する一連の前記強調画像を生成する、請求項９に記載のプログラム。
【請求項１１】
前記強調処理部は、前記部分画像のサイズ、形状、色及び明るさのうち少なくとも１つを変更することにより前記強調画像を生成する、請求項９に記載のプログラム。
【請求項１２】
前記強調処理部は、順位付けされた複数のオブジェクトが指定された場合に、複数の指定オブジェクトの各々に対応する前記部分画像のサイズを各オブジェクトの順位に応じて変化させる、請求項１１に記載のプログラム。
【請求項１３】
前記強調処理部は、前記画像処理装置の検出部が自装置が揺り動かされたことを検出した場合に、前記指定オブジェクトが揺れ動く前記アニメーションを表現する一連の前記強調画像を生成する、請求項１０に記載のプログラム。
【請求項１４】
前記強調処理部は、第１グループに属する第１の指定オブジェクトと第２グループに属する第２の指定オブジェクトとが指定された場合に、前記第１の指定オブジェクト及び前記第２の指定オブジェクトの双方を第１の手法で強調すると共に、さらに前記画像処理装置の検出部が自装置が揺り動かされたことを検出したときには、指定オブジェクトが揺れ動く前記アニメーションを用いる第２の手法で前記第１の指定オブジェクトのみを強調する、
請求項１０に記載のプログラム。
【請求項１５】
前記コンピュータを、
前記画像処理装置の測位部により計測される現在位置の周囲の前記３次元モデルに含まれるオブジェクトの特徴点と前記入力画像内の特徴点とを照合することにより、前記３次元モデルに含まれるオブジェクトと前記入力画像に映るオブジェクトとを対応付ける照合部、
としてさらに機能させるための、請求項９に記載のプログラム。
【請求項１６】
前記照合部は、前記照合の結果として自装置の位置及び姿勢を判定し、
前記強調処理部は、前記照合部により判定される位置及び姿勢に応じて前記部分画像を変換して各指定オブジェクトのためのテクスチャを取得し、取得した前記テクスチャを用いて前記強調画像を生成する、
請求項１５に記載のプログラム。
【請求項１７】
実世界を映した入力画像を取得するステップと、
前記実世界に存在するオブジェクトの３次元形状及び位置を記述する３次元モデルを取得するステップと、
前記３次元モデルに含まれるオブジェクトのうちの指定オブジェクトに対応する前記入力画像内の部分画像を加工することにより、前記指定オブジェクトを強調して表示する強調画像を生成するステップと、
を含む画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−７９１２９（Ｐ２０１２−７９１２９Ａ）
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願番号】特願２０１０−２２４３４７（Ｐ２０１０−２２４３４７）
【出願日】平成２２年１０月１日（２０１０．１０．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２４年４月１９日（２０１２．４．１９）
【国際特許分類】
【出願日】平成２２年１０月１日（２０１０．１０．１）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]