オブジェクト表示装置及びオブジェクト表示方法
【課題】ＡＲ技術を用いたサービスにおいて、現実空間の画像における視認容易な位置にオブジェクトを重畳表示させることを可能とする。
【解決手段】画像解析部１６により取得されたオブジェクトの大きさ及び色に関する情報及び現実空間の画像の色に関する情報に基づき、現実空間の画像にオブジェクトを重畳表示させた際にオブジェクトを視認容易な領域がパターン抽出部１７により現実空間の画像から抽出され、この領域に表示位置補正部１８によりオブジェクトの表示位置が補正される。従って、オブジェクトの視認が容易となり、オブジェクトを現実空間の画像に表示することによる情報性といった各種の効果を高めることが可能となる。
【解決手段】画像解析部１６により取得されたオブジェクトの大きさ及び色に関する情報及び現実空間の画像の色に関する情報に基づき、現実空間の画像にオブジェクトを重畳表示させた際にオブジェクトを視認容易な領域がパターン抽出部１７により現実空間の画像から抽出され、この領域に表示位置補正部１８によりオブジェクトの表示位置が補正される。従って、オブジェクトの視認が容易となり、オブジェクトを現実空間の画像に表示することによる情報性といった各種の効果を高めることが可能となる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト表示装置及びオブジェクト表示方法に関する。
【背景技術】
【０００２】
近年において、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術を用いたサービスが開発・提供されている。例えば、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像に種々の情報や画像を含むオブジェクトを重畳表示する技術が知られている。また、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている。また、上記技術に関連する技術として、撮影された実空間の画像から肌色の領域を検出し、その検出位置に仮想オブジェクト（ペット）を表示させる装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６２９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、通常のＡＲ技術では、オブジェクトの表示位置は、オブジェクトが有する位置情報や、当該オブジェクトが対応付けられるマーカの位置に依存するので、オブジェクトの表示位置周辺の画像の状態は考慮されない。このため、現実空間の画像におけるオブジェクトの表示位置周辺の画像の色調が煩雑である場合には、重畳されたオブジェクトの視認が難しくなり、オブジェクトの表示による各種の情報提供といった効果が小さくなる。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたものであり、ＡＲ技術において、現実空間の画像における視認容易な位置にオブジェクトを重畳表示させることが可能なオブジェクト表示装置及びオブジェクト表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のオブジェクト表示装置は、現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置であって、オブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得手段と、現実空間の画像を取得する画像取得手段と、オブジェクト情報取得手段により取得されたオブジェクトの大きさ及び色に関する情報、並びに画像取得手段により取得された現実空間の画像の色に関する情報を取得する画像解析手段と、画像解析手段により取得されたオブジェクトの大きさ及び色に関する情報並びに現実空間の画像の色に関する情報に基づき、現実空間の画像にオブジェクトを重畳表示させた際にオブジェクトを視認容易な領域を現実空間の画像から抽出するパターン抽出手段と、パターン抽出手段により抽出された領域にオブジェクトの表示位置を補正する表示位置補正手段と、表示位置補正手段により補正された表示位置にオブジェクトを重畳表示する表示手段とを備えることを特徴とする。
【０００７】
また、上記課題を解決するために、本発明のオブジェクト表示方法は、現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、オブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得ステップと、現実空間の画像を取得する画像取得ステップと、オブジェクト情報取得ステップにおいて取得されたオブジェクトの現実空間の画像に占める領域の大きさ及び色に関する情報、及び画像取得ステップにおいて取得された現実空間の画像の色に関する情報を取得する画像解析ステップと、画像解析ステップにおいて取得されたオブジェクトの大きさ及び色に関する情報及び現実空間の画像の色に関する情報に基づき、現実空間の画像にオブジェクトを重畳表示させた際にオブジェクトを視認容易な領域を現実空間の画像から抽出するパターン抽出ステップと、パターン抽出ステップにおいて抽出された領域にオブジェクトの表示位置を補正する表示位置補正ステップと、表示位置補正ステップにおいて補正された表示位置にオブジェクトを重畳表示する表示ステップとを有することを特徴とする。
【０００８】
本発明のオブジェクト表示装置及びオブジェクト表示方法によれば、オブジェクトの大きさ及び色に関する情報及び現実空間の画像の色に関する情報に基づき、現実空間の画像にオブジェクトを重畳表示させた際にオブジェクトを視認容易な領域が現実空間の画像から抽出され、この領域にオブジェクトの表示位置が補正される。従って、オブジェクトの視認が容易となり、オブジェクトを現実空間の画像に表示することによる各種の効果を高めることが可能となる。
【０００９】
また、本発明のオブジェクト表示装置では、パターン抽出手段は、オブジェクトの大きさ以上の大きさを有すると共に、単一の色を有する領域を現実空間の画像から抽出することを特徴とする。
【００１０】
この場合には、現実空間の画像において単一の色を有する領域が抽出され、この領域にオブジェクトの表示位置が補正される。これにより、オブジェクトは、現実空間の画像における色調が煩雑でない領域に重畳表示されるので、当該オブジェクトの視認が容易となる。
【００１１】
また、本発明のオブジェクト表示装置では、パターン抽出手段は、オブジェクトの大きさ以上の大きさを有すると共に、所定の範囲内の色調を有する領域を現実空間の画像から抽出することを特徴とする。
【００１２】
この場合には、現実空間の画像において所定の範囲内の色調を有する領域が抽出され、この領域にオブジェクトの表示位置が補正される。これにより、オブジェクトは、現実空間の画像における色調が煩雑でない領域に重畳表示されるので、当該オブジェクトの視認が容易となる。
【００１３】
また、本発明のオブジェクト表示装置では、パターン抽出手段は、オブジェクトの大きさ以上の大きさを有すると共に、オブジェクトを重畳した場合にオブジェクトの外縁部が重畳される部分が単一の色を有する領域を現実空間の画像から抽出することを特徴とする。
【００１４】
オブジェクトが現実空間の画像に重畳表示された際に、現実空間の画像における当該オブジェクトにより視認不可能となる部分の色は、オブジェクトの視認性に影響を与えない。一方、オブジェクトの外縁部が重畳される部分の色は、オブジェクトの視認性に大きな影響を与える。本発明のオブジェクト表示装置では、オブジェクトを重畳した際にオブジェクトの外縁部が重畳される部分が単一の色を有する領域が現実空間の画像から抽出され、この領域にオブジェクトの表示位置が補正される。これにより、現実空間の画像における色調が煩雑でない部分に外縁部が位置するようにオブジェクトが重畳表示されるので、当該オブジェクトの視認が容易となる。
【００１５】
また、本発明のオブジェクト表示装置では、パターン抽出手段は、オブジェクトの大きさ以上の大きさを有すると共に、オブジェクトを重畳した場合にオブジェクトの外縁部が重畳される部分が所定の範囲内の色調を有する領域を現実空間の画像から抽出することを特徴とする。
【００１６】
この場合には、オブジェクトを重畳した際にオブジェクトの外縁部が重畳される部分が所定の範囲内の色調を有する領域が現実空間の画像から抽出され、この領域にオブジェクトの表示位置が補正される。これにより、現実空間の画像における色調が煩雑でない部分に外縁部が位置するようにオブジェクトが重畳表示されるので、当該オブジェクトの視認が容易となる。
【００１７】
また、本発明のオブジェクト表示装置では、パターン抽出手段は、オブジェクトの大きさ以上の大きさを有すると共に、単一色に占められる部分が所定以上含まれる領域を現実空間の画像から抽出することを特徴とする。
【００１８】
この場合には、現実空間の画像において単一の色が所定以上含まれる領域が抽出され、この領域にオブジェクトの表示位置が補正される。これにより、オブジェクトは、現実空間の画像における色調が比較的煩雑でない領域に重畳表示されるので、当該オブジェクトの視認が容易となる。
【００１９】
また、本発明のオブジェクト表示装置では、パターン抽出手段は、オブジェクトの大きさ以上の大きさを有すると共に、所定の範囲内の色調を有する部分が所定以上含まれる領域を現実空間の画像から抽出することを特徴とする。
【００２０】
この場合には、現実空間の画像において所定の範囲内の色調を有する部分が所定以上含まれる領域が抽出され、この領域にオブジェクトの表示位置が補正される。これにより、オブジェクトは、現実空間の画像における色調が比較的煩雑でない領域に重畳表示されるので、当該オブジェクトの視認が容易となる。
【００２１】
また、本発明のオブジェクト表示装置では、画像解析手段は、画像取得手段により取得された現実空間の画像から、単一色または所定範囲内の色調を有する領域を表示候補領域として抽出し、パターン抽出手段は、画像解析手段により抽出された表示候補領域からオブジェクトを視認容易な領域を抽出することを特徴とする。
【００２２】
この場合には、オブジェクトの表示位置を補正するための領域の候補となる表示候補領域が予め抽出され、抽出された表示候補領域に対してオブジェクトの表示のための領域の抽出が実施されるので、当該抽出処理のための処理負荷が軽減される。
【００２３】
また、本発明のオブジェクト表示装置では、表示位置補正手段は、画像解析手段により取得されたオブジェクトの色に関する情報及びパターン抽出手段により抽出された領域が有する色に関する情報に基づき、オブジェクトの色と領域の色とが所定の対照関係である場合に、オブジェクトの表示位置を補正することを特徴とする。
【００２４】
この場合には、オブジェクトの背景となる領域の色調とオブジェクトの色調とが対照関係にある場合に、オブジェクトの表示位置が当該領域に補正されるので、当該オブジェクトの視認が容易となる。
【００２５】
また、本発明のオブジェクト表示装置では、表示位置補正手段は、パターン抽出手段により複数の領域が抽出された場合には、オブジェクトの元の表示位置に最も近い領域にオブジェクトの表示位置を補正することを特徴とする。
【００２６】
現実空間の画像に重畳表示されるオブジェクトは、所定の位置に対応付けられており、その位置に関連する情報を含む場合が多い。本発明のオブジェクト表示装置では、視認性向上のために表示位置が補正される場合であっても、当該オブジェクトの元の表示位置に最も近い領域に表示位置が補正されるので、当該オブジェクトの情報性の低下が防止される。
【００２７】
また、本発明のオブジェクト表示装置では、オブジェクト情報は、当該オブジェクトの表示位置との関連性の強さの度合いを示す位置依存度を含み、表示位置補正手段は、位置依存度が所定の度合いより低い場合に、オブジェクトの表示位置を補正することを特徴とする。
【００２８】
オブジェクトの位置依存度が高い場合には、当該オブジェクトの表示位置に対する関連性が高いことを意味するので、当該オブジェクトを所定位置以外の位置に表示した場合には、当該オブジェクトがユーザに提供する情報が不適切なものとなる可能性が高い。本発明の構成では、位置依存度が所定の度合いより低い場合に、オブジェクトの表示位置が補正されるので、当該オブジェクトの情報性の低下が防止される。
【発明の効果】
【００２９】
ＡＲ技術において、現実空間の画像において、視認容易な位置にオブジェクトを重畳表示させることが可能となる。
【図面の簡単な説明】
【００３０】
【図１】オブジェクト表示装置の機能的構成を示すブロック図である。
【図２】オブジェクト表示装置のハードブロック図である。
【図３】オブジェクトデータベースの構成及び記憶されているデータの例を示す図である。
【図４】現実空間の画像及び現実空間の画像に設定された格子の例を示す図である。
【図５】オブジェクトの表示に必要とされるマス目の数を示す図である。
【図６】画像解析部により取得されたオブジェクトの表示位置、表示に必要なマス目の数、及び主色調を示す図である。
【図７】現実空間の画像から抽出された表示候補領域の例を示す図である。
【図８】画像解析部により取得された各表示候補領域のマス目の数、マス目に関する情報及び主色調を示す図である。
【図９】オブジェクトの表示位置の補正のために、パターン抽出部により抽出される領域のパターン例を示す図である。
【図１０】現実空間の画像にオブジェクトを重畳表示した例であって、表示位置の補正前及び補正後の重畳表示の例を示す図である。
【図１１】オブジェクト表示方法の処理内容を示すタイミングチャートである。
【図１２】図１１におけるパターン抽出処理の処理内容を示すフローチャートである。
【発明を実施するための形態】
【００３１】
本発明に係るオブジェクト表示装置及びオブジェクト表示方法の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００３２】
図１は、オブジェクト表示装置１の機能的構成を示すブロック図である。本実施形態のオブジェクト表示装置１は、現実空間の画像の所定位置にオブジェクトを重畳表示する装置であって、例えば、移動体通信網を介した通信が可能な携帯端末である。
【００３３】
移動端末等の装置を用いたＡＲ技術によるサービスとしては、例えば、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示するものがある。また、同様のサービスとしては、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像中の位置に対応付けてオブジェクトを重畳表示するものがある。本実施形態のオブジェクト表示装置１は、後者のサービスの提供を受けるものに相当するが、これには限定されない。
【００３４】
図１に示すように、オブジェクト表示装置１は、機能的には、位置情報取得部１０、オブジェクト情報取得部１１（オブジェクト情報取得手段）、オブジェクトデータベース１２、位置依存判定部１３、カメラ１４、画像取得部１５（画像取得手段）、画像解析部１６（画像解析手段）、パターン抽出部１７（パターン抽出手段）、表示位置補正部１８（表示位置補正手段）及び表示部１９（表示手段）を備える。
【００３５】
図２は、オブジェクト表示装置１のハードウエア構成図である。オブジェクト表示装置１は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図１に示した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。再び、図１を参照し、オブジェクト表示装置１の各機能部について詳細に説明する。
【００３６】
位置情報取得部１０は、オブジェクト表示装置１の所在位置を示す位置情報を取得する部分である。オブジェクト表示装置１の所在位置は、例えば、ＧＰＳ装置といった測位手段により測位される。位置情報取得部１０は、位置情報をオブジェクト情報取得部１１に送出する。
【００３７】
オブジェクト情報取得部１１は、オブジェクトに関するオブジェクト情報を取得する部分である。具体的には、オブジェクト情報取得部１１は、位置情報取得部から送出された位置情報に基づき、オブジェクト表示装置１に所在位置の周辺に配置されたオブジェクトに関するオブジェクト情報を、オブジェクトデータベース１２から取得する。オブジェクト情報取得部１１は、取得したオブジェクト情報を位置依存判定部１３及び画像解析部１６に送出する。
【００３８】
オブジェクトデータベース１２は、オブジェクト情報を記憶している記憶手段である。オブジェクトデータベース１２は、オブジェクト情報を予め記憶していることとしてもよい。また、オブジェクトデータベース１２は、位置情報取得部１０により取得された位置情報に基づき、オブジェクト情報を記憶、管理しているサーバ（図示せず）から所定の通信手段（図示せず）を介して取得されたオブジェクト情報を蓄積することとしてもよい。図３は、オブジェクトデータベース１２に記憶されているオブジェクト情報の例を示す図である。図３に示すように、オブジェクト情報は、オブジェクトを識別するオブジェクトＩＤに対応付けられたオブジェクトデータ、位置情報、位置依存度といったデータを含む。
【００３９】
オブジェクトデータは、オブジェクトの画像データである。位置情報は、現実空間における当該オブジェクトの配置位置を示す情報であって、例えば、３次元の座標値により表される。位置依存度は、当該オブジェクトの表示位置との関連性の強さの度合いを示す情報である。本実施形態では、位置依存度が「１」である場合には、表示位置との関連性が強いことを示し、位置依存度が「０」である場合には、表示位置との関連性が弱いことを示す。位置依存度が高い場合に、当該オブジェクトを位置情報に示される元の配置位置と異なる場所に表示すると、当該オブジェクトにより提供される情報が不適切なものになる可能性が高い。
【００４０】
位置依存判定部１３は、オブジェクト情報に含まれる位置依存度に基づき、当該オブジェクトの位置情報に示される元の配置位置に対する関連性の強さを判定する部分である。位置依存判定部１３は、判定結果を画像解析部１６及び表示位置補正部１８に送出する。
【００４１】
カメラ１４は、現実空間の画像を撮影する装置である。画像取得部１５は、カメラ１４により撮影された現実空間の画像を取得する部分である。画像取得部１５は、取得した現実空間の画像を画像解析部１６に送出する。
【００４２】
画像解析部１６は、オブジェクト情報取得部１１により取得されたオブジェクトの現実空間の画像に占める領域の大きさ及び色に関する情報、及び画像取得部１５により取得された現実空間の画像の色に関する情報を取得する部分である。画像解析部１６により実施される処理内容を以下により具体的に説明する。
【００４３】
画像解析部１６は、現実空間の画像に所定間隔の格子を設定する。図４（ａ）は、現実空間の画像Ｐの例を示す図である。また、図４（ｂ）は、図４（ａ）に示す現実空間の画像Ｐに設定された格子Ｇの例を示す図である。図４（ｂ）に示すように、画像解析部１６は、格子Ｇを設定することにより現実空間の画像Ｐを方形のマス目Ｍに分割する。画像解析部１６は、一のマス目Ｍに現実空間の画像の画素が１又は複数含まれるように、格子Ｇの間隔を所定の大きさに設定する。続いて、画像解析部１６は、一のマス目Ｍごとに色を設定する。一のマス目に設定される色は、例えば、当該マス目Ｍに含まれる画素の色のうち最も多くの画素が有する色、またはマス目Ｍに含まれる画素の色の平均といった色に設定される。このように、一のマス目Ｍごとに単一の色を設定されることにより、現実空間の画像Ｐに、いわゆるモザイク処理が施されることとなる。
【００４４】
また、画像解析部１６は、オブジェクトの現実空間の画像に占める領域の大きさ及び色に関する情報を取得する。より具体的には、画像解析部１６は、表示対象のオブジェクトの画像データの大きさと、現実空間の画像Ｐに設定した格子Ｇ及びマス目Ｍの大きさとを対比して、オブジェクトを現実空間の画像に重畳表示する際に必要な領域の大きさ及びマス目数を判定する。図５は、本実施形態における表示対象のオブジェクトＯを、現実空間の画像Ｐに設定した格子Ｇ及びマス目Ｍに重畳した例を示す図である。図５に示すように、オブジェクトＯを表示するためには、縦３行×横４列のマス目から成る長方形の領域が必要とされる。画像解析部１６は、図５に例示されるような、オブジェクトＯを現実空間の画像に重畳表示する際に必要な領域の大きさ及びマス目数の情報を一時記憶する。
【００４５】
また、画像解析部１６は、オブジェクトＯを構成する主な色調である主色調を取得する。画像解析部１６は、例えば、当該オブジェクトＯに含まれる画素の色のうち最も多くの画素が有する色、または当該オブジェクトＯに含まれる画素の色の平均といった色を主色調として取得する。画像解析部１６は、取得した主色調に関する情報を一時記憶する。図６は、画像解析部１６により一時記憶される、オブジェクトＯを現実空間の画像に重畳表示する際に必要な領域の大きさ及びマス目数の情報、及びオブジェクトＯの主色調に関する情報の例を示す図である。図６に示すように、画像解析部１６は、オブジェクトＩＤに対応付けて、表示位置、表示マス数及び主色調といった情報を記憶する。表示位置は、当該オブジェクトの配置位置を示す情報であって、当該オブジェクトにおける代表点を配置する位置を示す。この表示位置は、図３に示したオブジェクト情報における位置情報と同様である。表示マス数は、オブジェクトＯを現実空間の画像に重畳表示する際に必要な領域の大きさ及びマス目数を示す情報である。図６に示す例では、当該オブジェクトＯの表示には、縦３行×横４列のマス目から成る長方形の領域が必要とされることが示されている。主色調は、オブジェクトＯの主色調を示す情報であって、本実施形態では、例えばＲＧＢ表現のデータにより示されている。
【００４６】
また、画像解析部１６は、マス目Ｍに分割された現実空間の画像Ｐから、オブジェクトの表示位置を補正するための表示候補領域を抽出する。画像解析部１６は、マス目Ｍに分割された現実空間の画像Ｐから、例えば、単一色で構成される領域を表示候補領域として抽出する。即ち、このように抽出された表示候補領域に含まれる全てのマス目Ｍは、単一の色を有する。また、画像解析部１６は、マス目Ｍに分割された現実空間の画像Ｐから、例えば、同系色で構成される領域を表示候補領域として抽出することとしてもよい。本実施形態における同系色は、色調が所定範囲内に含まれる色の群として定義される。より具体的な例としては、各マス目Ｍが有する色がＲＧＢ表現形式で表される場合には、画像解析部１６は、各マス目Ｍの色を表すＲ、Ｇ、Ｂ各値の所定の上位ビットを参照して、参照した上位ビットが一致するマス目Ｍにより構成される領域を表示候補領域として抽出することができる。このように抽出された全てのマス目Ｍが有する色は、所定範囲の色調に含まれる。
【００４７】
画像解析部１６は、抽出した表示候補領域に関する情報を一時記憶する。図７は、画像解析部１６により抽出された表示候補領域の例を示す図である。図７に示すように、格子Ｇが設定された現実空間の画像Ｐから、表示候補領域Ａ１，Ａ２及びＡ３が抽出されている。また、図８は、画像解析部１６により一時記憶される表示候補領域に関する情報の例を示す図である。図８に示すように、画像解析部１６は、表示候補領域に関する情報として、表示候補領域を識別する表示候補領域ＩＤに対応付けて領域情報及び主色調を記憶する。領域情報は、当該表示候補領域Ａを構成するマス目Ｍの数Ｎ、及びマス目Ｍを特定する情報Ｒを含む。マス目Ｍを特定する情報Ｒは、当該表示候補領域Ａの外縁に位置する全てのマス目Ｍの座標群であってもよいし、当該表示候補領域Ａに含まれる全てのマス目Ｍの座標群であってもよい。主色調は、当該表示候補領域Ａを構成する主な色調である。画像解析部１６は、例えば、当該表示候補領域Ａに含まれるマス目Ｍの色のうち最も多くのマス目Ｍが有する色、または当該表示候補領域Ａに含まれるマス目Ｍの色の平均といった色を主色調として取得し、一時記憶する。画像解析部１６は、オブジェクトＯが現実空間の画像に占める領域の大きさ及び主色調に関する情報、及び表示項捕領域Ａに関する情報をパターン抽出部１７に送出する。
【００４８】
パターン抽出部１７は、画像解析部１６により取得されたオブジェクトＯの大きさ及び色に関する情報及び現実空間の画像の色に関する情報に基づき、現実空間の画像にオブジェクトを重畳表示させた際にオブジェクトを視認容易な領域を現実空間の画像から抽出する部分である。パターン抽出部１７により実施される処理内容を図９を参照しながら、より具体的に説明する。図９は、表示候補領域Ａから抽出された抽出パターンの例を示す図である。
【００４９】
本実施形態では、パターン抽出部１７は、オブジェクトＯの大きさ以上の大きさを有すると共に、単一の色を有する領域を抽出パターンとして、表示候補領域Ａから抽出する。本実施形態のオブジェクトＯを表示するためには、縦３行×横４列のマス目Ｍから成る長方形の領域が必要とされる。従って、パターン抽出部１７は、図９（ａ）に示すように、単一色のマス目Ｍにより構成された領域Ｒ１を抽出パターンとして表示候補領域Ａから抽出する。
【００５０】
また、パターン抽出部１７は、オブジェクトＯの大きさ以上の大きさを有すると共に、所定の範囲内の色調を有する領域を抽出パターンとして、表示候補領域Ａから抽出することとしてもよい。この場合には、領域Ｒ１に含まれる全てのマス目の色が所定の範囲内の色調を有していれば、パターン抽出部１７は、当該領域Ｒ１を抽出パターンとして表示候補領域Ａから抽出する。
【００５１】
オブジェクトＯを現実空間の画像に重畳したときに、現実空間の画像において当該オブジェクトＯにより隠されて視認できない部分の色調は、オブジェクトＯの視認性に影響を与えない。一方、現実空間の画像においてオブジェクトＯの外縁部が重畳される部分の色調は、オブジェクトＯの視認性に影響を与える。このため、パターン抽出部１７は、オブジェクトＯの大きさ以上の大きさを有すると共に、オブジェクトＯを重畳した場合にオブジェクトＯの外縁部が重畳される部分が単一の色を有する領域を抽出パターンとして、表示候補領域Ａから抽出することとしてもよい。図５に示すオブジェクトＯを現実空間の画像に重畳すると、オブジェクトＯは、縦３行×横４列のマス目Ｍから成る長方形の領域を必要とすると共に、オブジェクトＯの外縁部が図９（ｂ）に示される領域Ｒ２の斜線が施されたマス目Ｍに重畳される。この場合には、領域Ｒ２に含まれるマス目Ｍのうち、斜線が施された全てのマス目Ｍが単一色を有していれば、パターン抽出部１７は、当該領域Ｒ２を抽出パターンとして表示候補領域Ａから抽出する。
【００５２】
また、パターン抽出部１７は、オブジェクトＯの大きさ以上の大きさを有すると共に、オブジェクトＯを重畳した場合にオブジェクトＯの外縁部が重畳される部分が所定の範囲内の色調を有する領域を抽出パターンとして、表示候補領域Ａから抽出することとしてもよい。この場合には、領域Ｒ２に含まれるマス目Ｍのうち、斜線が施された全てのマス目Ｍの色が所定の範囲内の色調を有していれば、パターン抽出部１７は、当該領域Ｒ２を抽出パターンとして表示候補領域Ａから抽出する。
【００５３】
また、オブジェクトＯを現実空間の画像に重畳したときに、現実空間の画像において当該オブジェクトＯが重畳される領域がより多くの単一色で占められるほど、オブジェクトＯの視認性の向上が期待される。このため、パターン抽出部１７は、オブジェクトＯの大きさ以上の大きさを有すると共に、単一色に占められる部分が所定以上含まれる領域を抽出パターンとして、表示候補領域Ａから抽出することとしてもよい。即ち、本実施形態のオブジェクトＯを表示するためには、縦３行×横４列のマス目Ｍから成る長方形の領域が必要とされるところ、パターン抽出部１７は、図９（ｃ）に示すように、縦３行×横４列のマス目Ｍから成る長方形の領域Ｒ３に含まれるマス目Ｍのうち、斜線で示される単一色を有するマス目Ｍが所定の割合以上である場合に、領域Ｒ３を抽出パターンとして表示候補領域Ａから抽出する。
【００５４】
また、パターン抽出部１７は、オブジェクトＯの大きさ以上の大きさを有すると共に、所定の範囲内の色調を有する部分が所定以上含まれる領域を抽出パターンとして、表示候補領域Ａから抽出することとしてもよい。即ち、本実施形態のオブジェクトＯを表示するためには、縦３行×横４列のマス目Ｍから成る長方形の領域が必要とされるところ、パターン抽出部１７は、図９（ｃ）に示すように、縦３行×横４列のマス目Ｍから成る長方形の領域Ｒ３に含まれるマス目Ｍのうち、斜線で示される所定の範囲内の色調を有するマス目Ｍが所定の割合以上である場合に、領域Ｒ３を抽出パターンとして表示候補領域Ａから抽出する。
【００５５】
表示位置補正部１８は、パターン抽出部１７により抽出された抽出パターンにオブジェクトＯの表示位置を補正する部分である。即ち、オブジェクトＯの元来の表示位置は、例えばオブジェクトデータベース１２において位置情報として設定又は記憶されているところ、表示位置補正部１８は、オブジェクトＯの表示位置を元来の表示位置から、パターン抽出部１７により抽出された抽出パターンの位置に変更する。
【００５６】
また、表示位置補正部１８は、パターン抽出部１７により複数の抽出パターンが抽出された場合には、オブジェクトＯの元来の表示位置に最も近い領域にオブジェクトＯの表示位置を補正することとしてもよい。即ち、パターン抽出部１７において、オブジェクトＯの視認性向上のための表示位置の候補として、抽出パターンが複数抽出される場合がある。この場合には、表示位置補正部１８は、当該オブジェクトＯの元来の表示位置に最も近い領域にオブジェクトＯの表示位置を補正する。オブジェクトＯは、所定の位置に対応付けて表示されることにより、その配置位置に関連する様々な情報を提供するところ、視認性向上のために表示位置が補正される場合であっても、当該オブジェクトＯの元の表示位置に最も近い領域に表示位置が補正されるので、当該オブジェクトＯの情報性の低下が防止される。
【００５７】
また、表示位置補正部１８は、画像解析部１６により取得されたオブジェクトＯの色に関する情報及びパターン抽出部１７により抽出された抽出パターンが有する色に関する情報に基づき、オブジェクトＯの色調と抽出パターンの色調とが所定の対照関係である場合に、オブジェクトＯの表示位置を補正することとしてもよい。例えば、オブジェクトＯの色調と抽出パターンの色調とが近似する場合には、当該オブジェクトＯの表示位置を当該抽出パターンの位置に補正しても、オブジェクトＯの視認性は向上しにくい。従って、オブジェクトＯの色調と抽出パターンの色調とが所定の対照関係である場合に、オブジェクトＯの表示位置の補正を実施することにより、当該オブジェクトＯの視認が容易となる。色調間の対照性の判定は、例えば周知の色相環により行うことができる。具体的には、色相環においてオブジェクトＯの主色調の反対の位置及びその周辺に設けられた色を対照色として抽出し、抽出パターンの主色調が対照色に該当する場合に、表示位置補正部１８は、オブジェクトＯの表示位置の補正を実施する。対照色の範囲は、予め設定されるものとする。
【００５８】
また、表示位置補正部１８は、位置依存判定部１３から送出された、オブジェクトＯの元来の表示位置との関連性の強さの度合い位置依存度に関する判定結果を取得する。そして、表示位置補正部１８は、オブジェクトＯの位置依存度が所定の度合いより低い場合に、オブジェクトＯの表示位置の補正を実施することとしてもよい。即ち、オブジェクトＯの位置依存度が高い場合には、当該オブジェクトＯの表示位置に対する関連性が高いことを意味するので、当該オブジェクトＯを元来の表示位置以外の位置に表示した場合には、オブジェクトＯがユーザに提供する情報が不適切なものとなる可能性が高い。本実施形態では、位置依存度が所定の度合いより低い場合にオブジェクトＯの表示位置が補正されるので、当該オブジェクトＯの情報性の低下が防止される。
【００５９】
表示部１９は、表示位置補正部１８により補正された表示位置にオブジェクトＯを、現実空間の画像に重畳表示する部分である。図１０（ａ）は、表示位置の補正前における、現実空間の画像にオブジェクトを重畳表示した例である。図１０（ｂ）は、表示位置の補正後における、現実空間の画像にオブジェクトを重畳表示した例である。図１０（ａ）に示すように、現実空間の画像におけるオブジェクトＯＡが重畳表示される領域の色調が煩雑である場合には、オブジェクトＯＡの視認性は低い。一方、図１０（ｂ）に示すように、本実施形態では、オブジェクトＯＢの表示位置が現実空間の画像における色調が煩雑でない領域に補正されるので、オブジェクトＯＢの視認性は良好である。
【００６０】
続いて、図１１及び図１２を参照して、本実施形態のオブジェクト表示方法におけるオブジェクト表示装置１の動作について説明する。図１１は、オブジェクト表示方法の処理内容を示すタイミングチャートである。また、図１２は、図１１におけるパターン抽出処理の処理内容を示すフローチャートである。
【００６１】
まず、オブジェクト情報取得部１１は、オブジェクト情報を取得する（Ｓ１、オブジェクト情報取得ステップ）。続いて、位置依存判定部１３は、オブジェクト情報に含まれる位置依存度に基づき、当該オブジェクトの位置情報に示される元来の配置位置に対する関連性の強さを判定する（Ｓ２）。位置依存度が低いと判定された場合には、処理手順はステップＳ３に進められる。一方、位置依存度が低いと判定されなかった場合には、処理手順はステップＳ１３に進められる。
【００６２】
ステップＳ３において、画像取得部１５は、カメラ１４により撮影された現実空間の画像を取得する（Ｓ３、画像取得ステップ）。続いて、画像解析部１６は、現実空間の画像に所定間隔の格子を設定する（Ｓ４）。格子の設定により、現実空間の画像は、方形のマス目に分割される。そして、画像解析部１６は、マス目ごとに色を設定する。
【００６３】
次に、画像解析部１６は、表示対象のオブジェクトの画像データの大きさと、現実空間の画像に設定した格子及びマス目の大きさとを対比して、オブジェクトを現実空間の画像に重畳表示する際に必要な領域の大きさ（マス目数）を取得する（Ｓ５、画像解析ステップ）。さらに、画像解析部１６は、オブジェクトＯを構成する主な色調である主色調を取得する（Ｓ５、画像解析ステップ）。
【００６４】
画像解析部１６は、マス目Ｍに分割された現実空間の画像Ｐから、オブジェクトの表示位置を補正するための表示候補領域を抽出する（Ｓ６、画像解析ステップ）。表示候補領域は、例えば、単一色のマス目により構成される領域、または、同系色を有するマス目により構成される領域である。また、画像解析部１６は、抽出した表示候補領域の主色調を判定する（Ｓ６、画像解析ステップ）。なお、ステップＳ６に示される処理内容は、本実施形態において必須の処理ではない。即ち、本実施形態のオブジェクト表示装置１では、表示候補領域の抽出を実施することなく、後述するパターン抽出処理を表示候補領域ではなく現実空間の画像に対して実施することとしてもよい。
【００６５】
次に、パターン抽出部１７は、パターン抽出処理を実施する（Ｓ７、パターン抽出ステップ）。続いて、図１２を参照してパターン抽出処理を詳細に説明する。
【００６６】
まず、パターン抽出部１７は、抽出パターンのパターン態様を設定する（Ｓ２１）。パターン態様は、ステップＳ４において設定されたマス目を１単位として、例えば、以下のようなものが順次設定される。
（ｉ）オブジェクトを重畳表示するために必要な大きさを有する領域に含まれる全てのマス目
（ｉｉ）オブジェクトを重畳表示するために必要な大きさを有する領域に含まれる全てのマス目のうち、オブジェクトの外縁部が重畳されるマス目
（ｉｉｉ）オブジェクトを重畳表示するために必要な大きさを有する領域に含まれる全てのマス目のうち、所定の割合又は数以上のマス目
【００６７】
本実施形態では、ステップＳ２１において、パターン抽出部１７は、パターン（ｉ）をパターン態様として設定する。
【００６８】
次に、パターン抽出部１７は、オブジェクトを重畳表示するために必要な大きさを有すると共に、単一色のマス目により構成される領域を抽出パターンとして表示候補領域から抽出することを試みる（Ｓ２２）。ステップＳ２２において、抽出パターンが抽出された場合には、処理手順は終了する（Ｓ２３）。一方、ステップＳ２２において、抽出パターンが抽出されなかった場合には、処理手順はステップＳ２４に進められる（Ｓ２３）。
【００６９】
ステップＳ２４において、パターン抽出部１７は、オブジェクトを重畳表示するために必要な大きさを有すると共に、同系色を有するマス目により構成される領域を抽出パターンとして表示候補領域から抽出することを試みる（Ｓ２４）。なお、同系色は、所定の範囲内の色調を有する色群として定義される。ステップＳ２４において、抽出パターンが抽出された場合には、処理手順は終了する（Ｓ２５）。一方、ステップＳ２４において、抽出パターンが抽出されなかった場合には、処理手順はステップＳ２６に進められる（Ｓ２５）。
【００７０】
ステップＳ２６において、パターン抽出部１７は、全てのパターン態様の設定を実施済みか否かを判定する（Ｓ２６）。本実施形態では、上記した（ｉ）〜（ｉｉｉ）のパターン態様について設定済みか否かが判定される。全てのパターン態様の設定を実施済みであると判定された場合には、処理手順は終了する。一方、全てのパターン態様の設定を実施済みであると判定されなかった場合には、処理手順はステップＳ２７に進められる。例えば、パターン態様（ｉ）が設定されてパターン抽出が実施されていた場合には、パターン態様（ｉｉ）、（ｉｉｉ）によるパターン抽出が実施されていないので、この場合には、全てのパターン態様の設定を実施済みであると判定されない。
【００７１】
ステップＳ２７において、パターン抽出部１７は、パターン態様を変更する。具体的には、パターン抽出部１７は、抽出パターンが抽出される可能性が高められるように、パターン態様を順次変更する。即ち、上記の複数のパターン態様における抽出パターンが抽出される可能性は、パターン態様（ｉ）が最も低く、パターン態様（ｉｉｉ）が最も高いので、例えば、パターン態様（ｉ）が設定されてパターン抽出が実施されていた場合には、パターン抽出部１７は、パターン態様を（ｉｉ）に変更する。
【００７２】
ステップＳ２７の処理が実施された後、処理手順はステップＳ２２に戻る。このように、パターン態様が変更されながら、ステップＳ２２〜Ｓ２７の処理が繰り返される。パターン抽出部１７は、抽出した抽出パターンに関する情報、又は抽出パターンが抽出されなかった旨の情報を表示位置補正部１８に送出する。
【００７３】
再び、図１１を参照して、ステップＳ８において、表示位置補正部１８は、抽出パターンがあるか否かを判定する（Ｓ８）。抽出パターンがあると判定された場合には、処理手順はステップＳ９に進められる。一方、抽出パターンがあると判定されなかった場合には、処理手順はステップＳ１３に進められる。
【００７４】
続いて、表示位置補正部１８は、抽出パターンが複数あるか否かを判定する（Ｓ９）。抽出パターンが複数あると判定された場合には、処理手順はステップＳ１０に進められる。一方、抽出パターンが複数あると判定されなかった場合には、処理手順はステップＳ１１に進められる。
【００７５】
ステップＳ１０において、表示位置補正部１８は、オブジェクトの元来の表示位置に最も近くに位置する抽出パターンを選択する（Ｓ１０）。続いて、表示位置補正部１８は、選択された抽出パターンの主色調が、オブジェクトの主色調の所定の対照色に該当するか否かを判定する（Ｓ１１）。抽出パターンの主色調がオブジェクトの主色調の所定の対照色に該当すると判定された場合には、処理手順はステップＳ１２に進められる。一方、抽出パターンの主色調がオブジェクトの主色調の所定の対照色に該当すると判定されなかった場合には、処理手順はステップＳ１３に進められる。
【００７６】
ステップＳ１２において、表示位置補正部１８は、パターン抽出部１７により抽出された抽出パターンにオブジェクトの表示位置を補正する。そして、表示部１９は、現実空間の画像における、表示位置補正部１８により補正された表示位置に、オブジェクトを重畳表示する（Ｓ１２、表示位置補正ステップ、表示ステップ）。
【００７７】
一方、ステップＳ１３において、表示部１９は、オブジェクトの表示位置の補正を実施することなく、当該オブジェクトの位置情報に示される元来の配置位置にオブジェクトを重畳表示する（Ｓ１３）。こうして、本実施形態の処理を終了する。
【００７８】
なお、ステップＳ８において、抽出パターンがあると判定されなかった場合、又はステップＳ１１において、抽出パターンの主色調がオブジェクトの主色調の所定の対照色に該当すると判定されなかった場合に、処理手順がステップＳ４に戻されることとしてもよい。このように、処理手順がステップＳ４に戻された場合には、抽出パターンが抽出される可能性が高くなるように、ステップＳ４における格子設定の条件、又はステップＳ６における表示候補領域の抽出条件が変更されて、ステップＳ４以降の処理が繰り返される。例えば、ステップＳ４において、格子の間隔を広げ、格子間に形成されるマス目の大きさを大きくするように格子設定の条件を変更することにより、抽出パターンが抽出される可能性を高めることが可能となる。また、ステップＳ６において、同系色と判定される色調の範囲を広げるように、表示候補領域の抽出条件を変更することにより、抽出パターンが抽出される可能性を高めることが可能となる。
【００７９】
以上説明した本実施形態のオブジェクト表示装置１及びオブジェクト表示方法では、画像解析部１６により取得されたオブジェクトの大きさ及び色に関する情報及び現実空間の画像の色に関する情報に基づき、現実空間の画像にオブジェクトを重畳表示させた際にオブジェクトを視認容易な領域がパターン抽出部１７により現実空間の画像から抽出され、この領域に表示位置補正部１８によりオブジェクトの表示位置が補正される。従って、オブジェクトの視認が容易となり、オブジェクトを現実空間の画像に表示することによる情報性といった各種の効果を高めることが可能となる。
【００８０】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【符号の説明】
【００８１】
１…オブジェクト表示装置、１０…位置情報取得部、１１…オブジェクト情報取得部、１２…オブジェクトデータベース、１３…位置依存判定部、１４…カメラ、１５…画像取得部、１６…画像解析部、１７…パターン抽出部、１８…表示位置補正部、１９…表示部、Ａ，Ａ１，Ａ２…表示候補領域、Ｇ…格子、Ｍ…マス目、Ｏ…オブジェクト。
【技術分野】
【０００１】
本発明は、オブジェクト表示装置及びオブジェクト表示方法に関する。
【背景技術】
【０００２】
近年において、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術を用いたサービスが開発・提供されている。例えば、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像に種々の情報や画像を含むオブジェクトを重畳表示する技術が知られている。また、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている。また、上記技術に関連する技術として、撮影された実空間の画像から肌色の領域を検出し、その検出位置に仮想オブジェクト（ペット）を表示させる装置が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−２６２９８０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、通常のＡＲ技術では、オブジェクトの表示位置は、オブジェクトが有する位置情報や、当該オブジェクトが対応付けられるマーカの位置に依存するので、オブジェクトの表示位置周辺の画像の状態は考慮されない。このため、現実空間の画像におけるオブジェクトの表示位置周辺の画像の色調が煩雑である場合には、重畳されたオブジェクトの視認が難しくなり、オブジェクトの表示による各種の情報提供といった効果が小さくなる。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたものであり、ＡＲ技術において、現実空間の画像における視認容易な位置にオブジェクトを重畳表示させることが可能なオブジェクト表示装置及びオブジェクト表示方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のオブジェクト表示装置は、現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置であって、オブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得手段と、現実空間の画像を取得する画像取得手段と、オブジェクト情報取得手段により取得されたオブジェクトの大きさ及び色に関する情報、並びに画像取得手段により取得された現実空間の画像の色に関する情報を取得する画像解析手段と、画像解析手段により取得されたオブジェクトの大きさ及び色に関する情報並びに現実空間の画像の色に関する情報に基づき、現実空間の画像にオブジェクトを重畳表示させた際にオブジェクトを視認容易な領域を現実空間の画像から抽出するパターン抽出手段と、パターン抽出手段により抽出された領域にオブジェクトの表示位置を補正する表示位置補正手段と、表示位置補正手段により補正された表示位置にオブジェクトを重畳表示する表示手段とを備えることを特徴とする。
【０００７】
また、上記課題を解決するために、本発明のオブジェクト表示方法は、現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、オブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得ステップと、現実空間の画像を取得する画像取得ステップと、オブジェクト情報取得ステップにおいて取得されたオブジェクトの現実空間の画像に占める領域の大きさ及び色に関する情報、及び画像取得ステップにおいて取得された現実空間の画像の色に関する情報を取得する画像解析ステップと、画像解析ステップにおいて取得されたオブジェクトの大きさ及び色に関する情報及び現実空間の画像の色に関する情報に基づき、現実空間の画像にオブジェクトを重畳表示させた際にオブジェクトを視認容易な領域を現実空間の画像から抽出するパターン抽出ステップと、パターン抽出ステップにおいて抽出された領域にオブジェクトの表示位置を補正する表示位置補正ステップと、表示位置補正ステップにおいて補正された表示位置にオブジェクトを重畳表示する表示ステップとを有することを特徴とする。
【０００８】
本発明のオブジェクト表示装置及びオブジェクト表示方法によれば、オブジェクトの大きさ及び色に関する情報及び現実空間の画像の色に関する情報に基づき、現実空間の画像にオブジェクトを重畳表示させた際にオブジェクトを視認容易な領域が現実空間の画像から抽出され、この領域にオブジェクトの表示位置が補正される。従って、オブジェクトの視認が容易となり、オブジェクトを現実空間の画像に表示することによる各種の効果を高めることが可能となる。
【０００９】
また、本発明のオブジェクト表示装置では、パターン抽出手段は、オブジェクトの大きさ以上の大きさを有すると共に、単一の色を有する領域を現実空間の画像から抽出することを特徴とする。
【００１０】
この場合には、現実空間の画像において単一の色を有する領域が抽出され、この領域にオブジェクトの表示位置が補正される。これにより、オブジェクトは、現実空間の画像における色調が煩雑でない領域に重畳表示されるので、当該オブジェクトの視認が容易となる。
【００１１】
また、本発明のオブジェクト表示装置では、パターン抽出手段は、オブジェクトの大きさ以上の大きさを有すると共に、所定の範囲内の色調を有する領域を現実空間の画像から抽出することを特徴とする。
【００１２】
この場合には、現実空間の画像において所定の範囲内の色調を有する領域が抽出され、この領域にオブジェクトの表示位置が補正される。これにより、オブジェクトは、現実空間の画像における色調が煩雑でない領域に重畳表示されるので、当該オブジェクトの視認が容易となる。
【００１３】
また、本発明のオブジェクト表示装置では、パターン抽出手段は、オブジェクトの大きさ以上の大きさを有すると共に、オブジェクトを重畳した場合にオブジェクトの外縁部が重畳される部分が単一の色を有する領域を現実空間の画像から抽出することを特徴とする。
【００１４】
オブジェクトが現実空間の画像に重畳表示された際に、現実空間の画像における当該オブジェクトにより視認不可能となる部分の色は、オブジェクトの視認性に影響を与えない。一方、オブジェクトの外縁部が重畳される部分の色は、オブジェクトの視認性に大きな影響を与える。本発明のオブジェクト表示装置では、オブジェクトを重畳した際にオブジェクトの外縁部が重畳される部分が単一の色を有する領域が現実空間の画像から抽出され、この領域にオブジェクトの表示位置が補正される。これにより、現実空間の画像における色調が煩雑でない部分に外縁部が位置するようにオブジェクトが重畳表示されるので、当該オブジェクトの視認が容易となる。
【００１５】
また、本発明のオブジェクト表示装置では、パターン抽出手段は、オブジェクトの大きさ以上の大きさを有すると共に、オブジェクトを重畳した場合にオブジェクトの外縁部が重畳される部分が所定の範囲内の色調を有する領域を現実空間の画像から抽出することを特徴とする。
【００１６】
この場合には、オブジェクトを重畳した際にオブジェクトの外縁部が重畳される部分が所定の範囲内の色調を有する領域が現実空間の画像から抽出され、この領域にオブジェクトの表示位置が補正される。これにより、現実空間の画像における色調が煩雑でない部分に外縁部が位置するようにオブジェクトが重畳表示されるので、当該オブジェクトの視認が容易となる。
【００１７】
また、本発明のオブジェクト表示装置では、パターン抽出手段は、オブジェクトの大きさ以上の大きさを有すると共に、単一色に占められる部分が所定以上含まれる領域を現実空間の画像から抽出することを特徴とする。
【００１８】
この場合には、現実空間の画像において単一の色が所定以上含まれる領域が抽出され、この領域にオブジェクトの表示位置が補正される。これにより、オブジェクトは、現実空間の画像における色調が比較的煩雑でない領域に重畳表示されるので、当該オブジェクトの視認が容易となる。
【００１９】
また、本発明のオブジェクト表示装置では、パターン抽出手段は、オブジェクトの大きさ以上の大きさを有すると共に、所定の範囲内の色調を有する部分が所定以上含まれる領域を現実空間の画像から抽出することを特徴とする。
【００２０】
この場合には、現実空間の画像において所定の範囲内の色調を有する部分が所定以上含まれる領域が抽出され、この領域にオブジェクトの表示位置が補正される。これにより、オブジェクトは、現実空間の画像における色調が比較的煩雑でない領域に重畳表示されるので、当該オブジェクトの視認が容易となる。
【００２１】
また、本発明のオブジェクト表示装置では、画像解析手段は、画像取得手段により取得された現実空間の画像から、単一色または所定範囲内の色調を有する領域を表示候補領域として抽出し、パターン抽出手段は、画像解析手段により抽出された表示候補領域からオブジェクトを視認容易な領域を抽出することを特徴とする。
【００２２】
この場合には、オブジェクトの表示位置を補正するための領域の候補となる表示候補領域が予め抽出され、抽出された表示候補領域に対してオブジェクトの表示のための領域の抽出が実施されるので、当該抽出処理のための処理負荷が軽減される。
【００２３】
また、本発明のオブジェクト表示装置では、表示位置補正手段は、画像解析手段により取得されたオブジェクトの色に関する情報及びパターン抽出手段により抽出された領域が有する色に関する情報に基づき、オブジェクトの色と領域の色とが所定の対照関係である場合に、オブジェクトの表示位置を補正することを特徴とする。
【００２４】
この場合には、オブジェクトの背景となる領域の色調とオブジェクトの色調とが対照関係にある場合に、オブジェクトの表示位置が当該領域に補正されるので、当該オブジェクトの視認が容易となる。
【００２５】
また、本発明のオブジェクト表示装置では、表示位置補正手段は、パターン抽出手段により複数の領域が抽出された場合には、オブジェクトの元の表示位置に最も近い領域にオブジェクトの表示位置を補正することを特徴とする。
【００２６】
現実空間の画像に重畳表示されるオブジェクトは、所定の位置に対応付けられており、その位置に関連する情報を含む場合が多い。本発明のオブジェクト表示装置では、視認性向上のために表示位置が補正される場合であっても、当該オブジェクトの元の表示位置に最も近い領域に表示位置が補正されるので、当該オブジェクトの情報性の低下が防止される。
【００２７】
また、本発明のオブジェクト表示装置では、オブジェクト情報は、当該オブジェクトの表示位置との関連性の強さの度合いを示す位置依存度を含み、表示位置補正手段は、位置依存度が所定の度合いより低い場合に、オブジェクトの表示位置を補正することを特徴とする。
【００２８】
オブジェクトの位置依存度が高い場合には、当該オブジェクトの表示位置に対する関連性が高いことを意味するので、当該オブジェクトを所定位置以外の位置に表示した場合には、当該オブジェクトがユーザに提供する情報が不適切なものとなる可能性が高い。本発明の構成では、位置依存度が所定の度合いより低い場合に、オブジェクトの表示位置が補正されるので、当該オブジェクトの情報性の低下が防止される。
【発明の効果】
【００２９】
ＡＲ技術において、現実空間の画像において、視認容易な位置にオブジェクトを重畳表示させることが可能となる。
【図面の簡単な説明】
【００３０】
【図１】オブジェクト表示装置の機能的構成を示すブロック図である。
【図２】オブジェクト表示装置のハードブロック図である。
【図３】オブジェクトデータベースの構成及び記憶されているデータの例を示す図である。
【図４】現実空間の画像及び現実空間の画像に設定された格子の例を示す図である。
【図５】オブジェクトの表示に必要とされるマス目の数を示す図である。
【図６】画像解析部により取得されたオブジェクトの表示位置、表示に必要なマス目の数、及び主色調を示す図である。
【図７】現実空間の画像から抽出された表示候補領域の例を示す図である。
【図８】画像解析部により取得された各表示候補領域のマス目の数、マス目に関する情報及び主色調を示す図である。
【図９】オブジェクトの表示位置の補正のために、パターン抽出部により抽出される領域のパターン例を示す図である。
【図１０】現実空間の画像にオブジェクトを重畳表示した例であって、表示位置の補正前及び補正後の重畳表示の例を示す図である。
【図１１】オブジェクト表示方法の処理内容を示すタイミングチャートである。
【図１２】図１１におけるパターン抽出処理の処理内容を示すフローチャートである。
【発明を実施するための形態】
【００３１】
本発明に係るオブジェクト表示装置及びオブジェクト表示方法の実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００３２】
図１は、オブジェクト表示装置１の機能的構成を示すブロック図である。本実施形態のオブジェクト表示装置１は、現実空間の画像の所定位置にオブジェクトを重畳表示する装置であって、例えば、移動体通信網を介した通信が可能な携帯端末である。
【００３３】
移動端末等の装置を用いたＡＲ技術によるサービスとしては、例えば、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示するものがある。また、同様のサービスとしては、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像中の位置に対応付けてオブジェクトを重畳表示するものがある。本実施形態のオブジェクト表示装置１は、後者のサービスの提供を受けるものに相当するが、これには限定されない。
【００３４】
図１に示すように、オブジェクト表示装置１は、機能的には、位置情報取得部１０、オブジェクト情報取得部１１（オブジェクト情報取得手段）、オブジェクトデータベース１２、位置依存判定部１３、カメラ１４、画像取得部１５（画像取得手段）、画像解析部１６（画像解析手段）、パターン抽出部１７（パターン抽出手段）、表示位置補正部１８（表示位置補正手段）及び表示部１９（表示手段）を備える。
【００３５】
図２は、オブジェクト表示装置１のハードウエア構成図である。オブジェクト表示装置１は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図１に示した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。再び、図１を参照し、オブジェクト表示装置１の各機能部について詳細に説明する。
【００３６】
位置情報取得部１０は、オブジェクト表示装置１の所在位置を示す位置情報を取得する部分である。オブジェクト表示装置１の所在位置は、例えば、ＧＰＳ装置といった測位手段により測位される。位置情報取得部１０は、位置情報をオブジェクト情報取得部１１に送出する。
【００３７】
オブジェクト情報取得部１１は、オブジェクトに関するオブジェクト情報を取得する部分である。具体的には、オブジェクト情報取得部１１は、位置情報取得部から送出された位置情報に基づき、オブジェクト表示装置１に所在位置の周辺に配置されたオブジェクトに関するオブジェクト情報を、オブジェクトデータベース１２から取得する。オブジェクト情報取得部１１は、取得したオブジェクト情報を位置依存判定部１３及び画像解析部１６に送出する。
【００３８】
オブジェクトデータベース１２は、オブジェクト情報を記憶している記憶手段である。オブジェクトデータベース１２は、オブジェクト情報を予め記憶していることとしてもよい。また、オブジェクトデータベース１２は、位置情報取得部１０により取得された位置情報に基づき、オブジェクト情報を記憶、管理しているサーバ（図示せず）から所定の通信手段（図示せず）を介して取得されたオブジェクト情報を蓄積することとしてもよい。図３は、オブジェクトデータベース１２に記憶されているオブジェクト情報の例を示す図である。図３に示すように、オブジェクト情報は、オブジェクトを識別するオブジェクトＩＤに対応付けられたオブジェクトデータ、位置情報、位置依存度といったデータを含む。
【００３９】
オブジェクトデータは、オブジェクトの画像データである。位置情報は、現実空間における当該オブジェクトの配置位置を示す情報であって、例えば、３次元の座標値により表される。位置依存度は、当該オブジェクトの表示位置との関連性の強さの度合いを示す情報である。本実施形態では、位置依存度が「１」である場合には、表示位置との関連性が強いことを示し、位置依存度が「０」である場合には、表示位置との関連性が弱いことを示す。位置依存度が高い場合に、当該オブジェクトを位置情報に示される元の配置位置と異なる場所に表示すると、当該オブジェクトにより提供される情報が不適切なものになる可能性が高い。
【００４０】
位置依存判定部１３は、オブジェクト情報に含まれる位置依存度に基づき、当該オブジェクトの位置情報に示される元の配置位置に対する関連性の強さを判定する部分である。位置依存判定部１３は、判定結果を画像解析部１６及び表示位置補正部１８に送出する。
【００４１】
カメラ１４は、現実空間の画像を撮影する装置である。画像取得部１５は、カメラ１４により撮影された現実空間の画像を取得する部分である。画像取得部１５は、取得した現実空間の画像を画像解析部１６に送出する。
【００４２】
画像解析部１６は、オブジェクト情報取得部１１により取得されたオブジェクトの現実空間の画像に占める領域の大きさ及び色に関する情報、及び画像取得部１５により取得された現実空間の画像の色に関する情報を取得する部分である。画像解析部１６により実施される処理内容を以下により具体的に説明する。
【００４３】
画像解析部１６は、現実空間の画像に所定間隔の格子を設定する。図４（ａ）は、現実空間の画像Ｐの例を示す図である。また、図４（ｂ）は、図４（ａ）に示す現実空間の画像Ｐに設定された格子Ｇの例を示す図である。図４（ｂ）に示すように、画像解析部１６は、格子Ｇを設定することにより現実空間の画像Ｐを方形のマス目Ｍに分割する。画像解析部１６は、一のマス目Ｍに現実空間の画像の画素が１又は複数含まれるように、格子Ｇの間隔を所定の大きさに設定する。続いて、画像解析部１６は、一のマス目Ｍごとに色を設定する。一のマス目に設定される色は、例えば、当該マス目Ｍに含まれる画素の色のうち最も多くの画素が有する色、またはマス目Ｍに含まれる画素の色の平均といった色に設定される。このように、一のマス目Ｍごとに単一の色を設定されることにより、現実空間の画像Ｐに、いわゆるモザイク処理が施されることとなる。
【００４４】
また、画像解析部１６は、オブジェクトの現実空間の画像に占める領域の大きさ及び色に関する情報を取得する。より具体的には、画像解析部１６は、表示対象のオブジェクトの画像データの大きさと、現実空間の画像Ｐに設定した格子Ｇ及びマス目Ｍの大きさとを対比して、オブジェクトを現実空間の画像に重畳表示する際に必要な領域の大きさ及びマス目数を判定する。図５は、本実施形態における表示対象のオブジェクトＯを、現実空間の画像Ｐに設定した格子Ｇ及びマス目Ｍに重畳した例を示す図である。図５に示すように、オブジェクトＯを表示するためには、縦３行×横４列のマス目から成る長方形の領域が必要とされる。画像解析部１６は、図５に例示されるような、オブジェクトＯを現実空間の画像に重畳表示する際に必要な領域の大きさ及びマス目数の情報を一時記憶する。
【００４５】
また、画像解析部１６は、オブジェクトＯを構成する主な色調である主色調を取得する。画像解析部１６は、例えば、当該オブジェクトＯに含まれる画素の色のうち最も多くの画素が有する色、または当該オブジェクトＯに含まれる画素の色の平均といった色を主色調として取得する。画像解析部１６は、取得した主色調に関する情報を一時記憶する。図６は、画像解析部１６により一時記憶される、オブジェクトＯを現実空間の画像に重畳表示する際に必要な領域の大きさ及びマス目数の情報、及びオブジェクトＯの主色調に関する情報の例を示す図である。図６に示すように、画像解析部１６は、オブジェクトＩＤに対応付けて、表示位置、表示マス数及び主色調といった情報を記憶する。表示位置は、当該オブジェクトの配置位置を示す情報であって、当該オブジェクトにおける代表点を配置する位置を示す。この表示位置は、図３に示したオブジェクト情報における位置情報と同様である。表示マス数は、オブジェクトＯを現実空間の画像に重畳表示する際に必要な領域の大きさ及びマス目数を示す情報である。図６に示す例では、当該オブジェクトＯの表示には、縦３行×横４列のマス目から成る長方形の領域が必要とされることが示されている。主色調は、オブジェクトＯの主色調を示す情報であって、本実施形態では、例えばＲＧＢ表現のデータにより示されている。
【００４６】
また、画像解析部１６は、マス目Ｍに分割された現実空間の画像Ｐから、オブジェクトの表示位置を補正するための表示候補領域を抽出する。画像解析部１６は、マス目Ｍに分割された現実空間の画像Ｐから、例えば、単一色で構成される領域を表示候補領域として抽出する。即ち、このように抽出された表示候補領域に含まれる全てのマス目Ｍは、単一の色を有する。また、画像解析部１６は、マス目Ｍに分割された現実空間の画像Ｐから、例えば、同系色で構成される領域を表示候補領域として抽出することとしてもよい。本実施形態における同系色は、色調が所定範囲内に含まれる色の群として定義される。より具体的な例としては、各マス目Ｍが有する色がＲＧＢ表現形式で表される場合には、画像解析部１６は、各マス目Ｍの色を表すＲ、Ｇ、Ｂ各値の所定の上位ビットを参照して、参照した上位ビットが一致するマス目Ｍにより構成される領域を表示候補領域として抽出することができる。このように抽出された全てのマス目Ｍが有する色は、所定範囲の色調に含まれる。
【００４７】
画像解析部１６は、抽出した表示候補領域に関する情報を一時記憶する。図７は、画像解析部１６により抽出された表示候補領域の例を示す図である。図７に示すように、格子Ｇが設定された現実空間の画像Ｐから、表示候補領域Ａ１，Ａ２及びＡ３が抽出されている。また、図８は、画像解析部１６により一時記憶される表示候補領域に関する情報の例を示す図である。図８に示すように、画像解析部１６は、表示候補領域に関する情報として、表示候補領域を識別する表示候補領域ＩＤに対応付けて領域情報及び主色調を記憶する。領域情報は、当該表示候補領域Ａを構成するマス目Ｍの数Ｎ、及びマス目Ｍを特定する情報Ｒを含む。マス目Ｍを特定する情報Ｒは、当該表示候補領域Ａの外縁に位置する全てのマス目Ｍの座標群であってもよいし、当該表示候補領域Ａに含まれる全てのマス目Ｍの座標群であってもよい。主色調は、当該表示候補領域Ａを構成する主な色調である。画像解析部１６は、例えば、当該表示候補領域Ａに含まれるマス目Ｍの色のうち最も多くのマス目Ｍが有する色、または当該表示候補領域Ａに含まれるマス目Ｍの色の平均といった色を主色調として取得し、一時記憶する。画像解析部１６は、オブジェクトＯが現実空間の画像に占める領域の大きさ及び主色調に関する情報、及び表示項捕領域Ａに関する情報をパターン抽出部１７に送出する。
【００４８】
パターン抽出部１７は、画像解析部１６により取得されたオブジェクトＯの大きさ及び色に関する情報及び現実空間の画像の色に関する情報に基づき、現実空間の画像にオブジェクトを重畳表示させた際にオブジェクトを視認容易な領域を現実空間の画像から抽出する部分である。パターン抽出部１７により実施される処理内容を図９を参照しながら、より具体的に説明する。図９は、表示候補領域Ａから抽出された抽出パターンの例を示す図である。
【００４９】
本実施形態では、パターン抽出部１７は、オブジェクトＯの大きさ以上の大きさを有すると共に、単一の色を有する領域を抽出パターンとして、表示候補領域Ａから抽出する。本実施形態のオブジェクトＯを表示するためには、縦３行×横４列のマス目Ｍから成る長方形の領域が必要とされる。従って、パターン抽出部１７は、図９（ａ）に示すように、単一色のマス目Ｍにより構成された領域Ｒ１を抽出パターンとして表示候補領域Ａから抽出する。
【００５０】
また、パターン抽出部１７は、オブジェクトＯの大きさ以上の大きさを有すると共に、所定の範囲内の色調を有する領域を抽出パターンとして、表示候補領域Ａから抽出することとしてもよい。この場合には、領域Ｒ１に含まれる全てのマス目の色が所定の範囲内の色調を有していれば、パターン抽出部１７は、当該領域Ｒ１を抽出パターンとして表示候補領域Ａから抽出する。
【００５１】
オブジェクトＯを現実空間の画像に重畳したときに、現実空間の画像において当該オブジェクトＯにより隠されて視認できない部分の色調は、オブジェクトＯの視認性に影響を与えない。一方、現実空間の画像においてオブジェクトＯの外縁部が重畳される部分の色調は、オブジェクトＯの視認性に影響を与える。このため、パターン抽出部１７は、オブジェクトＯの大きさ以上の大きさを有すると共に、オブジェクトＯを重畳した場合にオブジェクトＯの外縁部が重畳される部分が単一の色を有する領域を抽出パターンとして、表示候補領域Ａから抽出することとしてもよい。図５に示すオブジェクトＯを現実空間の画像に重畳すると、オブジェクトＯは、縦３行×横４列のマス目Ｍから成る長方形の領域を必要とすると共に、オブジェクトＯの外縁部が図９（ｂ）に示される領域Ｒ２の斜線が施されたマス目Ｍに重畳される。この場合には、領域Ｒ２に含まれるマス目Ｍのうち、斜線が施された全てのマス目Ｍが単一色を有していれば、パターン抽出部１７は、当該領域Ｒ２を抽出パターンとして表示候補領域Ａから抽出する。
【００５２】
また、パターン抽出部１７は、オブジェクトＯの大きさ以上の大きさを有すると共に、オブジェクトＯを重畳した場合にオブジェクトＯの外縁部が重畳される部分が所定の範囲内の色調を有する領域を抽出パターンとして、表示候補領域Ａから抽出することとしてもよい。この場合には、領域Ｒ２に含まれるマス目Ｍのうち、斜線が施された全てのマス目Ｍの色が所定の範囲内の色調を有していれば、パターン抽出部１７は、当該領域Ｒ２を抽出パターンとして表示候補領域Ａから抽出する。
【００５３】
また、オブジェクトＯを現実空間の画像に重畳したときに、現実空間の画像において当該オブジェクトＯが重畳される領域がより多くの単一色で占められるほど、オブジェクトＯの視認性の向上が期待される。このため、パターン抽出部１７は、オブジェクトＯの大きさ以上の大きさを有すると共に、単一色に占められる部分が所定以上含まれる領域を抽出パターンとして、表示候補領域Ａから抽出することとしてもよい。即ち、本実施形態のオブジェクトＯを表示するためには、縦３行×横４列のマス目Ｍから成る長方形の領域が必要とされるところ、パターン抽出部１７は、図９（ｃ）に示すように、縦３行×横４列のマス目Ｍから成る長方形の領域Ｒ３に含まれるマス目Ｍのうち、斜線で示される単一色を有するマス目Ｍが所定の割合以上である場合に、領域Ｒ３を抽出パターンとして表示候補領域Ａから抽出する。
【００５４】
また、パターン抽出部１７は、オブジェクトＯの大きさ以上の大きさを有すると共に、所定の範囲内の色調を有する部分が所定以上含まれる領域を抽出パターンとして、表示候補領域Ａから抽出することとしてもよい。即ち、本実施形態のオブジェクトＯを表示するためには、縦３行×横４列のマス目Ｍから成る長方形の領域が必要とされるところ、パターン抽出部１７は、図９（ｃ）に示すように、縦３行×横４列のマス目Ｍから成る長方形の領域Ｒ３に含まれるマス目Ｍのうち、斜線で示される所定の範囲内の色調を有するマス目Ｍが所定の割合以上である場合に、領域Ｒ３を抽出パターンとして表示候補領域Ａから抽出する。
【００５５】
表示位置補正部１８は、パターン抽出部１７により抽出された抽出パターンにオブジェクトＯの表示位置を補正する部分である。即ち、オブジェクトＯの元来の表示位置は、例えばオブジェクトデータベース１２において位置情報として設定又は記憶されているところ、表示位置補正部１８は、オブジェクトＯの表示位置を元来の表示位置から、パターン抽出部１７により抽出された抽出パターンの位置に変更する。
【００５６】
また、表示位置補正部１８は、パターン抽出部１７により複数の抽出パターンが抽出された場合には、オブジェクトＯの元来の表示位置に最も近い領域にオブジェクトＯの表示位置を補正することとしてもよい。即ち、パターン抽出部１７において、オブジェクトＯの視認性向上のための表示位置の候補として、抽出パターンが複数抽出される場合がある。この場合には、表示位置補正部１８は、当該オブジェクトＯの元来の表示位置に最も近い領域にオブジェクトＯの表示位置を補正する。オブジェクトＯは、所定の位置に対応付けて表示されることにより、その配置位置に関連する様々な情報を提供するところ、視認性向上のために表示位置が補正される場合であっても、当該オブジェクトＯの元の表示位置に最も近い領域に表示位置が補正されるので、当該オブジェクトＯの情報性の低下が防止される。
【００５７】
また、表示位置補正部１８は、画像解析部１６により取得されたオブジェクトＯの色に関する情報及びパターン抽出部１７により抽出された抽出パターンが有する色に関する情報に基づき、オブジェクトＯの色調と抽出パターンの色調とが所定の対照関係である場合に、オブジェクトＯの表示位置を補正することとしてもよい。例えば、オブジェクトＯの色調と抽出パターンの色調とが近似する場合には、当該オブジェクトＯの表示位置を当該抽出パターンの位置に補正しても、オブジェクトＯの視認性は向上しにくい。従って、オブジェクトＯの色調と抽出パターンの色調とが所定の対照関係である場合に、オブジェクトＯの表示位置の補正を実施することにより、当該オブジェクトＯの視認が容易となる。色調間の対照性の判定は、例えば周知の色相環により行うことができる。具体的には、色相環においてオブジェクトＯの主色調の反対の位置及びその周辺に設けられた色を対照色として抽出し、抽出パターンの主色調が対照色に該当する場合に、表示位置補正部１８は、オブジェクトＯの表示位置の補正を実施する。対照色の範囲は、予め設定されるものとする。
【００５８】
また、表示位置補正部１８は、位置依存判定部１３から送出された、オブジェクトＯの元来の表示位置との関連性の強さの度合い位置依存度に関する判定結果を取得する。そして、表示位置補正部１８は、オブジェクトＯの位置依存度が所定の度合いより低い場合に、オブジェクトＯの表示位置の補正を実施することとしてもよい。即ち、オブジェクトＯの位置依存度が高い場合には、当該オブジェクトＯの表示位置に対する関連性が高いことを意味するので、当該オブジェクトＯを元来の表示位置以外の位置に表示した場合には、オブジェクトＯがユーザに提供する情報が不適切なものとなる可能性が高い。本実施形態では、位置依存度が所定の度合いより低い場合にオブジェクトＯの表示位置が補正されるので、当該オブジェクトＯの情報性の低下が防止される。
【００５９】
表示部１９は、表示位置補正部１８により補正された表示位置にオブジェクトＯを、現実空間の画像に重畳表示する部分である。図１０（ａ）は、表示位置の補正前における、現実空間の画像にオブジェクトを重畳表示した例である。図１０（ｂ）は、表示位置の補正後における、現実空間の画像にオブジェクトを重畳表示した例である。図１０（ａ）に示すように、現実空間の画像におけるオブジェクトＯＡが重畳表示される領域の色調が煩雑である場合には、オブジェクトＯＡの視認性は低い。一方、図１０（ｂ）に示すように、本実施形態では、オブジェクトＯＢの表示位置が現実空間の画像における色調が煩雑でない領域に補正されるので、オブジェクトＯＢの視認性は良好である。
【００６０】
続いて、図１１及び図１２を参照して、本実施形態のオブジェクト表示方法におけるオブジェクト表示装置１の動作について説明する。図１１は、オブジェクト表示方法の処理内容を示すタイミングチャートである。また、図１２は、図１１におけるパターン抽出処理の処理内容を示すフローチャートである。
【００６１】
まず、オブジェクト情報取得部１１は、オブジェクト情報を取得する（Ｓ１、オブジェクト情報取得ステップ）。続いて、位置依存判定部１３は、オブジェクト情報に含まれる位置依存度に基づき、当該オブジェクトの位置情報に示される元来の配置位置に対する関連性の強さを判定する（Ｓ２）。位置依存度が低いと判定された場合には、処理手順はステップＳ３に進められる。一方、位置依存度が低いと判定されなかった場合には、処理手順はステップＳ１３に進められる。
【００６２】
ステップＳ３において、画像取得部１５は、カメラ１４により撮影された現実空間の画像を取得する（Ｓ３、画像取得ステップ）。続いて、画像解析部１６は、現実空間の画像に所定間隔の格子を設定する（Ｓ４）。格子の設定により、現実空間の画像は、方形のマス目に分割される。そして、画像解析部１６は、マス目ごとに色を設定する。
【００６３】
次に、画像解析部１６は、表示対象のオブジェクトの画像データの大きさと、現実空間の画像に設定した格子及びマス目の大きさとを対比して、オブジェクトを現実空間の画像に重畳表示する際に必要な領域の大きさ（マス目数）を取得する（Ｓ５、画像解析ステップ）。さらに、画像解析部１６は、オブジェクトＯを構成する主な色調である主色調を取得する（Ｓ５、画像解析ステップ）。
【００６４】
画像解析部１６は、マス目Ｍに分割された現実空間の画像Ｐから、オブジェクトの表示位置を補正するための表示候補領域を抽出する（Ｓ６、画像解析ステップ）。表示候補領域は、例えば、単一色のマス目により構成される領域、または、同系色を有するマス目により構成される領域である。また、画像解析部１６は、抽出した表示候補領域の主色調を判定する（Ｓ６、画像解析ステップ）。なお、ステップＳ６に示される処理内容は、本実施形態において必須の処理ではない。即ち、本実施形態のオブジェクト表示装置１では、表示候補領域の抽出を実施することなく、後述するパターン抽出処理を表示候補領域ではなく現実空間の画像に対して実施することとしてもよい。
【００６５】
次に、パターン抽出部１７は、パターン抽出処理を実施する（Ｓ７、パターン抽出ステップ）。続いて、図１２を参照してパターン抽出処理を詳細に説明する。
【００６６】
まず、パターン抽出部１７は、抽出パターンのパターン態様を設定する（Ｓ２１）。パターン態様は、ステップＳ４において設定されたマス目を１単位として、例えば、以下のようなものが順次設定される。
（ｉ）オブジェクトを重畳表示するために必要な大きさを有する領域に含まれる全てのマス目
（ｉｉ）オブジェクトを重畳表示するために必要な大きさを有する領域に含まれる全てのマス目のうち、オブジェクトの外縁部が重畳されるマス目
（ｉｉｉ）オブジェクトを重畳表示するために必要な大きさを有する領域に含まれる全てのマス目のうち、所定の割合又は数以上のマス目
【００６７】
本実施形態では、ステップＳ２１において、パターン抽出部１７は、パターン（ｉ）をパターン態様として設定する。
【００６８】
次に、パターン抽出部１７は、オブジェクトを重畳表示するために必要な大きさを有すると共に、単一色のマス目により構成される領域を抽出パターンとして表示候補領域から抽出することを試みる（Ｓ２２）。ステップＳ２２において、抽出パターンが抽出された場合には、処理手順は終了する（Ｓ２３）。一方、ステップＳ２２において、抽出パターンが抽出されなかった場合には、処理手順はステップＳ２４に進められる（Ｓ２３）。
【００６９】
ステップＳ２４において、パターン抽出部１７は、オブジェクトを重畳表示するために必要な大きさを有すると共に、同系色を有するマス目により構成される領域を抽出パターンとして表示候補領域から抽出することを試みる（Ｓ２４）。なお、同系色は、所定の範囲内の色調を有する色群として定義される。ステップＳ２４において、抽出パターンが抽出された場合には、処理手順は終了する（Ｓ２５）。一方、ステップＳ２４において、抽出パターンが抽出されなかった場合には、処理手順はステップＳ２６に進められる（Ｓ２５）。
【００７０】
ステップＳ２６において、パターン抽出部１７は、全てのパターン態様の設定を実施済みか否かを判定する（Ｓ２６）。本実施形態では、上記した（ｉ）〜（ｉｉｉ）のパターン態様について設定済みか否かが判定される。全てのパターン態様の設定を実施済みであると判定された場合には、処理手順は終了する。一方、全てのパターン態様の設定を実施済みであると判定されなかった場合には、処理手順はステップＳ２７に進められる。例えば、パターン態様（ｉ）が設定されてパターン抽出が実施されていた場合には、パターン態様（ｉｉ）、（ｉｉｉ）によるパターン抽出が実施されていないので、この場合には、全てのパターン態様の設定を実施済みであると判定されない。
【００７１】
ステップＳ２７において、パターン抽出部１７は、パターン態様を変更する。具体的には、パターン抽出部１７は、抽出パターンが抽出される可能性が高められるように、パターン態様を順次変更する。即ち、上記の複数のパターン態様における抽出パターンが抽出される可能性は、パターン態様（ｉ）が最も低く、パターン態様（ｉｉｉ）が最も高いので、例えば、パターン態様（ｉ）が設定されてパターン抽出が実施されていた場合には、パターン抽出部１７は、パターン態様を（ｉｉ）に変更する。
【００７２】
ステップＳ２７の処理が実施された後、処理手順はステップＳ２２に戻る。このように、パターン態様が変更されながら、ステップＳ２２〜Ｓ２７の処理が繰り返される。パターン抽出部１７は、抽出した抽出パターンに関する情報、又は抽出パターンが抽出されなかった旨の情報を表示位置補正部１８に送出する。
【００７３】
再び、図１１を参照して、ステップＳ８において、表示位置補正部１８は、抽出パターンがあるか否かを判定する（Ｓ８）。抽出パターンがあると判定された場合には、処理手順はステップＳ９に進められる。一方、抽出パターンがあると判定されなかった場合には、処理手順はステップＳ１３に進められる。
【００７４】
続いて、表示位置補正部１８は、抽出パターンが複数あるか否かを判定する（Ｓ９）。抽出パターンが複数あると判定された場合には、処理手順はステップＳ１０に進められる。一方、抽出パターンが複数あると判定されなかった場合には、処理手順はステップＳ１１に進められる。
【００７５】
ステップＳ１０において、表示位置補正部１８は、オブジェクトの元来の表示位置に最も近くに位置する抽出パターンを選択する（Ｓ１０）。続いて、表示位置補正部１８は、選択された抽出パターンの主色調が、オブジェクトの主色調の所定の対照色に該当するか否かを判定する（Ｓ１１）。抽出パターンの主色調がオブジェクトの主色調の所定の対照色に該当すると判定された場合には、処理手順はステップＳ１２に進められる。一方、抽出パターンの主色調がオブジェクトの主色調の所定の対照色に該当すると判定されなかった場合には、処理手順はステップＳ１３に進められる。
【００７６】
ステップＳ１２において、表示位置補正部１８は、パターン抽出部１７により抽出された抽出パターンにオブジェクトの表示位置を補正する。そして、表示部１９は、現実空間の画像における、表示位置補正部１８により補正された表示位置に、オブジェクトを重畳表示する（Ｓ１２、表示位置補正ステップ、表示ステップ）。
【００７７】
一方、ステップＳ１３において、表示部１９は、オブジェクトの表示位置の補正を実施することなく、当該オブジェクトの位置情報に示される元来の配置位置にオブジェクトを重畳表示する（Ｓ１３）。こうして、本実施形態の処理を終了する。
【００７８】
なお、ステップＳ８において、抽出パターンがあると判定されなかった場合、又はステップＳ１１において、抽出パターンの主色調がオブジェクトの主色調の所定の対照色に該当すると判定されなかった場合に、処理手順がステップＳ４に戻されることとしてもよい。このように、処理手順がステップＳ４に戻された場合には、抽出パターンが抽出される可能性が高くなるように、ステップＳ４における格子設定の条件、又はステップＳ６における表示候補領域の抽出条件が変更されて、ステップＳ４以降の処理が繰り返される。例えば、ステップＳ４において、格子の間隔を広げ、格子間に形成されるマス目の大きさを大きくするように格子設定の条件を変更することにより、抽出パターンが抽出される可能性を高めることが可能となる。また、ステップＳ６において、同系色と判定される色調の範囲を広げるように、表示候補領域の抽出条件を変更することにより、抽出パターンが抽出される可能性を高めることが可能となる。
【００７９】
以上説明した本実施形態のオブジェクト表示装置１及びオブジェクト表示方法では、画像解析部１６により取得されたオブジェクトの大きさ及び色に関する情報及び現実空間の画像の色に関する情報に基づき、現実空間の画像にオブジェクトを重畳表示させた際にオブジェクトを視認容易な領域がパターン抽出部１７により現実空間の画像から抽出され、この領域に表示位置補正部１８によりオブジェクトの表示位置が補正される。従って、オブジェクトの視認が容易となり、オブジェクトを現実空間の画像に表示することによる情報性といった各種の効果を高めることが可能となる。
【００８０】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【符号の説明】
【００８１】
１…オブジェクト表示装置、１０…位置情報取得部、１１…オブジェクト情報取得部、１２…オブジェクトデータベース、１３…位置依存判定部、１４…カメラ、１５…画像取得部、１６…画像解析部、１７…パターン抽出部、１８…表示位置補正部、１９…表示部、Ａ，Ａ１，Ａ２…表示候補領域、Ｇ…格子、Ｍ…マス目、Ｏ…オブジェクト。
【特許請求の範囲】
【請求項１】
現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置であって、
オブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得手段と、
現実空間の画像を取得する画像取得手段と、
前記オブジェクト情報取得手段により取得されたオブジェクトの大きさ及び色に関する情報、並びに前記画像取得手段により取得された現実空間の画像の色に関する情報を取得する画像解析手段と、
前記画像解析手段により取得されたオブジェクトの大きさ及び色に関する情報並びに現実空間の画像の色に関する情報に基づき、現実空間の画像に前記オブジェクトを重畳表示させた際に前記オブジェクトを視認容易な領域を現実空間の画像から抽出するパターン抽出手段と、
前記パターン抽出手段により抽出された領域に前記オブジェクトの表示位置を補正する表示位置補正手段と、
前記表示位置補正手段により補正された表示位置にオブジェクトを重畳表示する表示手段と
を備えることを特徴とするオブジェクト表示装置。
【請求項２】
前記パターン抽出手段は、
前記オブジェクトの大きさ以上の大きさを有すると共に、単一の色を有する領域を現実空間の画像から抽出する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項３】
前記パターン抽出手段は、
前記オブジェクトの大きさ以上の大きさを有すると共に、所定の範囲内の色調を有する領域を現実空間の画像から抽出する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項４】
前記パターン抽出手段は、
前記オブジェクトの大きさ以上の大きさを有すると共に、前記オブジェクトを重畳した場合に前記オブジェクトの外縁部が重畳される部分が単一色を有する領域を現実空間の画像から抽出する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項５】
前記パターン抽出手段は、
前記オブジェクトの大きさ以上の大きさを有すると共に、前記オブジェクトを重畳した場合に前記オブジェクトの外縁部が重畳される部分が所定の範囲内の色調を有する領域を現実空間の画像から抽出する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項６】
前記パターン抽出手段は、
前記オブジェクトの大きさ以上の大きさを有すると共に、単一色に占められる部分が所定の割合以上含まれる領域を現実空間の画像から抽出する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項７】
前記パターン抽出手段は、
前記オブジェクトの大きさ以上の大きさを有すると共に、所定の範囲内の色調を有する部分が所定の割合以上含まれる領域を現実空間の画像から抽出する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項８】
前記画像解析手段は、
前記画像取得手段により取得された現実空間の画像から、単一色または所定範囲内の色調を有する領域を表示候補領域として抽出し、
前記パターン抽出手段は、
前記画像解析手段により抽出された表示候補領域から前記オブジェクトを視認容易な領域を抽出する
ことを特徴とする請求項１〜７のいずれか１項に記載のオブジェクト表示装置。
【請求項９】
前記表示位置補正手段は、
前記画像解析手段により取得されたオブジェクトの色に関する情報及び前記パターン抽出手段により抽出された領域が有する色に関する情報に基づき、前記オブジェクトの色調と前記領域の色調とが所定の対照関係である場合に、前記オブジェクトの表示位置を補正する
ことを特徴とする請求項１〜８のいずれか１項に記載のオブジェクト表示装置。
【請求項１０】
前記表示位置補正手段は、
前記パターン抽出手段により複数の領域が抽出された場合には、
前記オブジェクトの元の表示位置に最も近い領域に前記オブジェクトの表示位置を補正する
ことを特徴とする請求項１〜９のいずれか１項に記載のオブジェクト表示装置。
【請求項１１】
前記オブジェクト情報は、当該オブジェクトの表示位置との関連性の強さの度合いを示す位置依存度を含み、
前記表示位置補正手段は、前記位置依存度が所定の度合いより低い場合に、前記オブジェクトの表示位置を補正する
ことを特徴とする請求項１〜１０のいずれか１項に記載のオブジェクト表示装置。
【請求項１２】
現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、
オブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得ステップと、
現実空間の画像を取得する画像取得ステップと、
前記オブジェクト情報取得ステップにおいて取得されたオブジェクトの現実空間の画像に占める領域の大きさ及び色に関する情報、及び前記画像取得ステップにおいて取得された現実空間の画像の色に関する情報を取得する画像解析ステップと、
前記画像解析ステップにおいて取得されたオブジェクトの大きさ及び色に関する情報及び現実空間の画像の色に関する情報に基づき、現実空間の画像に前記オブジェクトを重畳表示させた際に前記オブジェクトを視認容易な領域を現実空間の画像から抽出するパターン抽出ステップと、
前記パターン抽出ステップにおいて抽出された領域に前記オブジェクトの表示位置を補正する表示位置補正ステップと、
前記表示位置補正ステップにおいて補正された表示位置にオブジェクトを重畳表示する表示ステップと
を有することを特徴とするオブジェクト表示方法。
【請求項１】
現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置であって、
オブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得手段と、
現実空間の画像を取得する画像取得手段と、
前記オブジェクト情報取得手段により取得されたオブジェクトの大きさ及び色に関する情報、並びに前記画像取得手段により取得された現実空間の画像の色に関する情報を取得する画像解析手段と、
前記画像解析手段により取得されたオブジェクトの大きさ及び色に関する情報並びに現実空間の画像の色に関する情報に基づき、現実空間の画像に前記オブジェクトを重畳表示させた際に前記オブジェクトを視認容易な領域を現実空間の画像から抽出するパターン抽出手段と、
前記パターン抽出手段により抽出された領域に前記オブジェクトの表示位置を補正する表示位置補正手段と、
前記表示位置補正手段により補正された表示位置にオブジェクトを重畳表示する表示手段と
を備えることを特徴とするオブジェクト表示装置。
【請求項２】
前記パターン抽出手段は、
前記オブジェクトの大きさ以上の大きさを有すると共に、単一の色を有する領域を現実空間の画像から抽出する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項３】
前記パターン抽出手段は、
前記オブジェクトの大きさ以上の大きさを有すると共に、所定の範囲内の色調を有する領域を現実空間の画像から抽出する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項４】
前記パターン抽出手段は、
前記オブジェクトの大きさ以上の大きさを有すると共に、前記オブジェクトを重畳した場合に前記オブジェクトの外縁部が重畳される部分が単一色を有する領域を現実空間の画像から抽出する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項５】
前記パターン抽出手段は、
前記オブジェクトの大きさ以上の大きさを有すると共に、前記オブジェクトを重畳した場合に前記オブジェクトの外縁部が重畳される部分が所定の範囲内の色調を有する領域を現実空間の画像から抽出する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項６】
前記パターン抽出手段は、
前記オブジェクトの大きさ以上の大きさを有すると共に、単一色に占められる部分が所定の割合以上含まれる領域を現実空間の画像から抽出する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項７】
前記パターン抽出手段は、
前記オブジェクトの大きさ以上の大きさを有すると共に、所定の範囲内の色調を有する部分が所定の割合以上含まれる領域を現実空間の画像から抽出する
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項８】
前記画像解析手段は、
前記画像取得手段により取得された現実空間の画像から、単一色または所定範囲内の色調を有する領域を表示候補領域として抽出し、
前記パターン抽出手段は、
前記画像解析手段により抽出された表示候補領域から前記オブジェクトを視認容易な領域を抽出する
ことを特徴とする請求項１〜７のいずれか１項に記載のオブジェクト表示装置。
【請求項９】
前記表示位置補正手段は、
前記画像解析手段により取得されたオブジェクトの色に関する情報及び前記パターン抽出手段により抽出された領域が有する色に関する情報に基づき、前記オブジェクトの色調と前記領域の色調とが所定の対照関係である場合に、前記オブジェクトの表示位置を補正する
ことを特徴とする請求項１〜８のいずれか１項に記載のオブジェクト表示装置。
【請求項１０】
前記表示位置補正手段は、
前記パターン抽出手段により複数の領域が抽出された場合には、
前記オブジェクトの元の表示位置に最も近い領域に前記オブジェクトの表示位置を補正する
ことを特徴とする請求項１〜９のいずれか１項に記載のオブジェクト表示装置。
【請求項１１】
前記オブジェクト情報は、当該オブジェクトの表示位置との関連性の強さの度合いを示す位置依存度を含み、
前記表示位置補正手段は、前記位置依存度が所定の度合いより低い場合に、前記オブジェクトの表示位置を補正する
ことを特徴とする請求項１〜１０のいずれか１項に記載のオブジェクト表示装置。
【請求項１２】
現実空間の画像の所定位置にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、
オブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得ステップと、
現実空間の画像を取得する画像取得ステップと、
前記オブジェクト情報取得ステップにおいて取得されたオブジェクトの現実空間の画像に占める領域の大きさ及び色に関する情報、及び前記画像取得ステップにおいて取得された現実空間の画像の色に関する情報を取得する画像解析ステップと、
前記画像解析ステップにおいて取得されたオブジェクトの大きさ及び色に関する情報及び現実空間の画像の色に関する情報に基づき、現実空間の画像に前記オブジェクトを重畳表示させた際に前記オブジェクトを視認容易な領域を現実空間の画像から抽出するパターン抽出ステップと、
前記パターン抽出ステップにおいて抽出された領域に前記オブジェクトの表示位置を補正する表示位置補正ステップと、
前記表示位置補正ステップにおいて補正された表示位置にオブジェクトを重畳表示する表示ステップと
を有することを特徴とするオブジェクト表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１０３７９０（Ｐ２０１２−１０３７９０Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２４９８７３（Ｐ２０１０−２４９８７３）
【出願日】平成２２年１１月８日（２０１０．１１．８）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月８日（２０１０．１１．８）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]