オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
【課題】ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた重畳画像における、オブジェクトの画像の違和感を軽減する。
【解決手段】オブジェクト表示装置１は、現実空間の画像を取得する撮影部１１、現実空間の画像から検出された複数の特徴物又は現実空間の画像全体から画像に関する所定の特徴を抽出する画像特徴抽出部１２、画像に関する所定の特徴に基づきオブジェクトの画像を補正処理する画像処理部１８及び補正処理されたオブジェクトを現実空間の画像に重畳した重畳画像を表示する表示部１９を備える。これにより、重畳画像におけるオブジェクトの画像に対して現実空間の画像の特徴が適切に反映される。
【解決手段】オブジェクト表示装置１は、現実空間の画像を取得する撮影部１１、現実空間の画像から検出された複数の特徴物又は現実空間の画像全体から画像に関する所定の特徴を抽出する画像特徴抽出部１２、画像に関する所定の特徴に基づきオブジェクトの画像を補正処理する画像処理部１８及び補正処理されたオブジェクトを現実空間の画像に重畳した重畳画像を表示する表示部１９を備える。これにより、重畳画像におけるオブジェクトの画像に対して現実空間の画像の特徴が適切に反映される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムに関する。
【背景技術】
【０００２】
近年において、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術を用いたサービスが開発・提供されている。例えば、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像に種々の情報や画像を含むオブジェクトを重畳表示する技術が知られている。また、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている。一方、オブジェクトを現実空間の画像に重畳する際の、現実空間の映像におけるオブジェクトの色調を考慮するための技術として現実空間に配置されたマーカの色調に基づきオブジェクトの色調を補正する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７０３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現実空間の画像にオブジェクトが重畳された重畳画像におけるオブジェクトの違和感を軽減するためには、現実空間の画像の特徴がオブジェクトの画像に反映されることが好ましい。しかしながら、特許文献１に記載された従来の技術では、現実空間に配置された一のマーカの色調に基づきオブジェクトの色調の補正が行われるので、画像中における限られた一の領域に現実空間の画像の特徴を代表させることとなる。マーカの色調が現実空間の画像の特徴を代表しているとは限らないので、上記した従来技術では、オブジェクトの画像に対して適切な補正が行われず、重畳画像において違和感が生じる場合があった。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたものであり、ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた重畳画像における、オブジェクトの画像の違和感を軽減することが可能なオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のオブジェクト表示装置は、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置であって、現実空間の画像を取得する撮影手段と、撮影手段により取得された現実空間の画像から検出された複数の所定の特徴領域又は現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出手段と、画像特徴抽出手段により抽出された所定の特徴に基づき、オブジェクトの画像を補正処理する画像処理手段と、画像処理手段により補正処理されたオブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示手段とを備える。
【０００７】
また、上記課題を解決するために、本発明のオブジェクト表示方法は、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、現実空間の画像を取得する撮影ステップと、撮影ステップにおいて取得された現実空間の画像から検出された複数の特徴領域又は現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出ステップと、画像特徴抽出ステップにおいて抽出された所定の特徴に基づき、オブジェクトの画像を補正処理する画像処理ステップと、画像処理ステップにおいて補正処理されたオブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示ステップとを有する。
【０００８】
また、上記課題を解決するために、本発明のオブジェクト表示プログラムは、コンピュータを、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、コンピュータに、現実空間の画像を取得する撮影機能と、撮影機能により取得された現実空間の画像から検出された複数の特徴領域又は現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出機能と、画像特徴抽出機能により抽出された所定の特徴に基づき、オブジェクトの画像を補正処理する画像処理機能と、画像処理機能により補正処理されたオブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示機能とを実現させる。
【０００９】
本発明のオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムによれば、現実空間の画像から検出された複数の特徴領域又は現実空間の画像全体から抽出された画像に関する所定の特徴に基づきオブジェクトの画像が補正処理されるので、オブジェクトの画像に対して現実空間の画像の特徴が適切に反映される。従って、現実空間の画像にオブジェクトを重畳表示させた重畳画像におけるオブジェクトの画像の違和感が軽減される。
【００１０】
また、本発明のオブジェクト表示装置では、画像特徴抽出手段は、特徴領域が検出されなかった場合に、現実空間の画像全体から所定の特徴を抽出することとしてもよい。
【００１１】
上記構成によれば、まず所定の特徴領域の検出が試みられ、オブジェクトの画像の補正に用いられる特徴が、検出された特徴領域の画像から抽出されるので、オブジェクトの画像の補正に用いられる特徴の抽出が容易である。また、特徴領域が検出されなかった場合であっても、現実空間の画像から抽出された所定の特徴がオブジェクトの画像の補正に用いられるので、オブジェクトの画像の適切な補正の実施が可能である。
【００１２】
また、本発明のオブジェクト表示装置は、少なくとも特徴領域の色調に関する特徴領域情報を当該特徴領域に対応付けて記憶している特徴領域情報記憶手段を備え、画像特徴抽出手段は、特徴領域情報記憶手段に記憶された色調に対する、現実空間の画像における複数の特徴領域の色調の変化量を抽出し、画像処理手段は、画像特徴抽出手段により抽出された色調の変化量に基づきオブジェクトの画像を補正処理することとしてもよい。
【００１３】
上記構成によれば、検出された特徴領域に関して予め記憶された色調に対する、現実空間の画像における当該特徴領域の色調の変化量に基づき、オブジェクトの画像の色調が補正される。これにより、オブジェクトの画像に対して、現実空間の画像の色調が適切に反映される。
【００１４】
また、本発明のオブジェクト表示装置では、画像処理手段は、現実空間の画像における特徴領域の位置に対するオブジェクトの重畳位置に応じて、オブジェクトの画像を補正処理する。
【００１５】
上記構成によれば、特徴領域の色調の変化量のオブジェクトの色調に対する反映の度合いが、特徴領域とオブジェクトとの位置関係に応じて考慮される。これにより、オブジェクトの色調がより適切に補正されるので、一層の違和感の軽減が実現される。
【００１６】
また、本発明のオブジェクト表示装置では、画像特徴抽出手段は、現実空間の画像全体の色調に関する特徴を抽出し、画像処理手段は、画像特徴抽出手段により抽出された現実空間の画像全体の色調に関する特徴に基づき補正処理することとしてもよい。
【００１７】
上記構成によれば、現実空間の画像全体の色調がオブジェクトの色調に反映されることとなるので、重畳画像におけるオブジェクトの違和感が軽減される。
【００１８】
また、本発明のオブジェクト表示装置では、画像特徴抽出手段は、現実空間の画像におけるノイズの分布に関する特徴を抽出し、画像処理手段は、画像特徴抽出手段により抽出されたノイズの分布に関する特徴に基づき補正処理することとしてもよい。
【００１９】
現実空間の画像にノイズがある場合において、ノイズがないオブジェクトの画像が重畳されると、重畳画像において違和感が生じる。上記構成によれば、現実空間の画像におけるノイズの分布に関する特徴が、オブジェクトの画像に反映されるので、重畳画像における違和感が軽減される。
【発明の効果】
【００２０】
ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた重畳画像における、オブジェクトの画像の違和感を軽減することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】オブジェクト表示装置の機能的構成を示すブロック図である。
【図２】オブジェクト表示装置のハードブロック図である。
【図３】撮影部により取得される現実空間の画像の例を示す図である。
【図４】撮影部により取得される現実空間の画像の例を示す図である。
【図５】撮影部により取得される現実空間の画像の例を示す図である。
【図６】特徴領域情報記憶部の構成及び記憶されているデータの例を示す図である。
【図７】色調変化量測定部における、特徴領域の色調の変化量を抽出するための色調テーブルの例を示す図である。
【図８】仮想オブジェクト記憶部の構成及び記憶されているデータの例を示す図である。
【図９】特徴領域の色調の変化量に基づくオブジェクトの色調の補正処理の例を示す図である。
【図１０】特徴領域の色調の変化量に基づくオブジェクトの色調の補正処理の例を示す図である。
【図１１】特徴領域の色調の変化量に基づくオブジェクトの色調の補正処理の例を示す図である。
【図１２】特徴領域の色調の変化量に基づくオブジェクトの色調の補正処理の例を示す図である。
【図１３】現実空間の画像全体の色調に基づく補正処理の例を示す図である。
【図１４】現実空間の画像全体のノイズ分布に基づく補正処理の例を示す図である。
【図１５】オブジェクト表示方法の処理内容を示すフローチャートである。
【図１６】オブジェクト表示方法の処理内容を示すフローチャートである。
【図１７】オブジェクト表示方法の処理内容を示すフローチャートである。
【図１８】特徴領域の色調の変化量に基づく補正処理を示すフローチャートである。
【図１９】現実空間の画像全体の特徴に基づく補正処理を示すフローチャートである。
【図２０】オブジェクト表示プログラムの構成を示す図である。
【発明を実施するための形態】
【００２２】
本発明に係るオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００２３】
図１は、オブジェクト表示装置１の機能的構成を示すブロック図である。本実施形態のオブジェクト表示装置１は、現実空間の画像にオブジェクトを重畳表示する装置であって、例えば、移動体通信網を介した通信が可能な携帯端末である。
【００２４】
移動端末等の装置を用いたＡＲ技術によるサービスとしては、例えば、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示するものがある。マーカは、現実空間中に予め人為的に設けられた物であってもよいし、現実空間中に存在する建物及び看板等の構造物並びにロゴマーク等であってもよい。また、同様のサービスとしては、移動端末が所在する位置情報に基づき移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像中の位置に対応付けてオブジェクトを重畳表示するものがある。本実施形態のオブジェクト表示装置１では、上記したＡＲ技術によるサービスの両態様が想定される。
【００２５】
図１に示すように、オブジェクト表示装置１は、機能的には、撮影部１１（撮影手段）、画像特徴抽出部１２（画像特徴抽出手段）、特徴領域情報記憶部１３（特徴領域情報記憶手段）、仮想オブジェクト記憶部１７（仮想オブジェクト記憶手段）、画像処理部１８（画像処理手段）、表示部１９（表示手段）及び色調データ記憶部２０を備える。また、画像特徴抽出部１２は、特徴領域検知部１４、色調変化量測定部１５及び全体画面特徴抽出部１６を含む。
【００２６】
図２は、オブジェクト表示装置１のハードウエア構成図である。オブジェクト表示装置１は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図１に示した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。再び、図１を参照し、オブジェクト表示装置１の各機能部について詳細に説明する。
【００２７】
撮影部１１は、現実空間の画像を取得する部分であって、例えばカメラにより構成される。図３〜５は、撮影部１１により取得される現実空間の画像の例を示す図である。図３に示される現実空間の画像は、後に画像特徴抽出部１２により抽出される特徴物として、横断歩道Ｃｒ及びポストＰｓｔの画像を含む。図４に示される現実空間の画像は、後に画像特徴抽出部１２により抽出される特徴物として、星型のオブジェクトＳｔ１，Ｓｔ２の画像を含む。図５に示される現実空間の画像は、後に画像特徴抽出部１２により画像全体の色調を構成する要素として抽出される雲Ｃｒｄ及び建物Ｂｄの画像を含む。撮影部１１は、取得した現実空間の画像を画像特徴抽出部１２に送出する。
【００２８】
画像特徴抽出部１２は、撮影部１１により取得された現実空間の画像から検出された複数の所定の特徴領域又は現実空間の画像全体の、画像に関する所定の特徴を抽出する部分である。所定の特徴領域は、現実空間の画像の特徴を抽出するために参照される領域である。画像特徴抽出部１２は、画像に関する特徴を抽出するための機能部として、特徴領域検知部１４、色調変化量測定部１５及び全体画面特徴抽出部１６を含む。また、画像に関する特徴を抽出のために、特徴領域情報記憶部１３が用いられる。
【００２９】
特徴領域情報記憶部１３は、少なくとも特徴領域の色調に関する特徴領域情報を当該特徴領域に対応付けて記憶している部分である。また、特徴領域情報記憶部１３は、現実空間の画像から特徴領域を検出（マッチング）するための当該特徴領域の形状を表す２Ｄまたは３Ｄデータを含む。本実施形態では、特徴領域情報記憶部１３は、特徴領域を表すデータとして特徴物データを含む。図６は、特徴領域情報記憶部１３の構成及び記憶されているデータの例を示す図である。
【００３０】
図６に示すように、特徴領域情報記憶部１３は、特徴領域を一意に識別する「Ｎｏ」に対応付けて特徴物データ及び色調のデータを記憶している。特徴物データは、上述したように、当該特徴物の形状を表す２Ｄまたは３Ｄデータであって、現実空間の画像からの特徴領域検知部１４による特徴物の検出（マッチング）に用いられる。色調のデータは、当該特徴物の主要部分の色を表すデータであって、例えばＲＧＢ形式で表される。図６を参照すると、特徴領域情報記憶部１３は、Ｎｏ「０００１」に対応付けて、特徴物データとしてポストを表す３Ｄデータ、及び当該ポストの主要部分である赤色部分の色調を示すデータ（ｒ１，ｇ１，ｂ１）を記憶している。また、特徴領域情報記憶部１３は、Ｎｏ「０００２」に対応付けて、特徴物データとして横断歩道を表す２Ｄデータ、及び当該横断歩道の主要部分である白色部分の色調を示すデータ（ｒ２，ｇ２，ｂ２）を記憶している。さらに、特徴領域情報記憶部１３は、Ｎｏ「０００３」に対応付けて、特徴物データとして星型オブジェクトを表す２Ｄデータ、及び当該星型オブジェクトの色調を示すデータ（ｒ３，ｇ３，ｂ３）を記憶している。
【００３１】
色調データ記憶部２０は、色調の変化量の測定に用いられる色調データを記憶している部分であって、例えば、図７に示す色調テーブルを記憶している。図７に示すように、色調テーブルは、レコードを一意に識別する番号「Ｎｏ」に対応付けて、Ｒ値、Ｇ値及びＢ値それぞれの各階調の最大値に対する割合により色調を定義している。色調変化量測定部１５は、色調データ記憶部２０に記憶されているデータをもとに、色調の変化量を測定する。色調変化量測定部１５による詳細な処理は後述する。
【００３２】
仮想オブジェクト記憶部１７は、仮想オブジェクトに関する仮想オブジェクト情報を予め又は一時的に記憶している部分である。オブジェクト表示装置１が、現実空間の画像から検出したマーカに対応付けてオブジェクトを表示する装置である場合には、仮想オブジェクト情報は、例えば、マーカに対応付けられたオブジェクトデータを含む。また、オブジェクト表示装置１が、現実空間における位置に対応付けられたオブジェクトを表示する装置である場合には、仮想オブジェクト情報は、例えば、位置情報に対応付けられたオブジェクトデータを含む。
【００３３】
図８は、仮想オブジェクト記憶部１７に記憶されている仮想オブジェクト情報の例を示す図である。図８に示すように、仮想オブジェクト記憶部１７は、仮想オブジェクトを識別するＩＤに対応付けて仮想オブジェクトデータ及び重畳位置を記憶している。仮想オブジェクトデータは、仮想オブジェクトの形状及び色を表すデータである。重畳位置は、当該仮想オブジェクトが重畳表示される位置を示すデータであって、現実空間における絶対的な位置又はマーカ（特徴物）に対する相対的な位置を表す。
【００３４】
仮想オブジェクト情報は、仮想オブジェクト記憶部１７に予め記憶されていることとしてもよいし、図示しないサーバから所定の通信手段を介して取得されることとしてもよい。仮想オブジェクト情報がサーバから取得される場合には、オブジェクト表示装置１の所在位置を示す位置情報に基づき、仮想オブジェクト情報は、サーバから提供されることとしてもよい。オブジェクトデータは、例えば、オブジェクトの画像データ、又は当該オブジェクトを表すための３Ｄオブジェクトのデータである。現実空間の画像中においてオブジェクトが重畳表示される位置は、例えば、仮想オブジェクト情報においてオブジェクトデータに対応付けられた位置情報、又は、現実空間の画像中におけるマーカとの相対位置により定義される。
【００３５】
画像処理部１８は、仮想オブジェクト記憶部１７から仮想オブジェクトを取得し、取得した仮想オブジェクトを、撮影部１１により取得された現実空間の画像に重畳して、重畳画像を生成する部分である。重畳画像における仮想オブジェクトの重畳位置は、例えば、当該仮想オブジェクトに対応付けられている位置情報、又は現実空間の画像中におけるマーカとの相対位置に基づき決定される。画像処理部１８は、生成した重畳画像を表示部１９に送出する。
【００３６】
また、画像処理部１８は、画像特徴抽出部１２により抽出された、現実空間の画像に関する所定の特徴に基づき、オブジェクトの画像を補正処理する。具体的な処理は、後に詳細を説明する。
【００３７】
表示部１９は、画像処理部１８により生成及び送出された重畳画像を表示する部分であって、例えばディスプレイといった装置により構成される。重畳画像は、画像処理部１８により補正処理されたオブジェクトの画像が、現実空間の画像に重畳された画像である。以下、画像特徴抽出部１２および画像処理部１８の詳細な機能について説明する。
【００３８】
特徴領域検知部１４は、撮影部１１により取得された現実空間の画像から所定の特徴領域を検出する部分である。具体的には、特徴領域検知部１４は、特徴領域情報記憶部１３に記憶されている特徴物データに基づき現実空間の画像を探索して、現実空間の画像から特徴物を抽出する。
【００３９】
図３に示した現実空間の画像を例に説明すると、特徴領域検知部１４は、図６に示した特徴領域情報記憶部１３に記憶された特徴物データに基づき現実空間の画像を探索する。そして、特徴領域検知部１４は、Ｎｏ「０００１」及び「０００２」に示される特徴物に該当するポストＰｓｔ及び横断歩道Ｃｒを抽出する。また、特徴領域検知部１４は、図４に示した現実空間の画像を探索した場合には、Ｎｏ「０００３に示される特徴物に該当する星型オブジェクトを抽出する。現実空間の画像における特徴物が表された領域は、特徴領域を構成する。特徴領域検知部１４は、特徴物が抽出された場合に、現実空間の画像における特徴物の位置を表す情報（例えば、現実空間の画像における座標等）を取得し、色調変化量測定部１５へ送出する。特徴領域検知部１４は、特徴物を抽出できない場合は、その旨を全体画面特徴抽出部１６へ通知することとしてもよい。全体画面特徴抽出部１６の機能については、後述する。
【００４０】
色調変化量測定部１５は、特徴領域検知部１４において抽出された特徴物に関して、特徴領域情報記憶部１３に記憶された当該特徴物に対する色調の変化量を抽出する部分である。具体的には、例えば特徴物の色調がＲＧＢ形式で表されている場合には、色調変化量測定部１５は、特徴領域情報記憶部１３に記憶された特徴物のＲ値、Ｇ値及びＢ値と、特徴領域検知部１４により抽出された特徴物のＲ値、Ｇ値及びＢ値との差異（特徴物の色調の変化量）をそれぞれ算出する。
【００４１】
色調変化量測定部１５は、特徴領域情報記憶部１３に記憶された特徴物の色調（ＲＧＢ）に対する特徴領域検知部１４により抽出された特徴物の色調（ＲＧＢ）の変化量に最も近い値を有するレコードを色調テーブルから抽出し、抽出したレコードを当該特徴物の色調の変化量とする。
【００４２】
色調変化量測定部１５は、特徴領域検知部１４から取得した現実空間の画像における特徴物の位置を表す情報と共に、特徴物の色調の変化量の情報を画像処理部１８に送出する。
【００４３】
また、画像処理部１８は、画像特徴抽出部１２により抽出された、現実空間の画像に関する所定の特徴に基づき、オブジェクトの画像を補正処理する。具体的には、画像処理部１８は、特徴領域検知部１４及び色調変化量測定部１５により抽出された、複数の特徴物の色調の変化量に基づき、仮想オブジェクト記憶部から取得したオブジェクトの画像を補正処理する。画像処理部は、色調変化量測定部から受信した特徴物の位置を表す情報とオブジェクトの表示位置を比較して、所定の距離以内であるか否かを判定する。また、画像処理部は、色調変化量測定部から受信した各特徴物の色調の変化量を比較して、変化量の差が所定量より小さいか否かを判定する。図９〜１２を参照して、複数の特徴物の色調の変化量に基づく、オブジェクトの補正処理の例を説明する。
【００４４】
図９は、複数の特徴物Ｃ１，Ｃ２の色調の変化量の差が所定量より小さい場合におけるオブジェクトＶ１Ａの補正処理の例を示す図である。複数の特徴物の色調の変化量の差が所定量より小さく、当該複数の特徴物から所定距離以内に補正処理対象のオブジェクトが位置する場合に、画像処理部１８は、当該複数の特徴物の色調の変化量の平均変化量に基づく色調の補正を当該オブジェクトに対して実施する。
【００４５】
色調の補正は、例えば、ＲＧＢ形式で示された色調の平均変化量に基づきＲＧＢ各値の変換パラメータを生成し、オブジェクトを表す各画素のＲＧＢ値に当該変換パラメータによる所定の演算処理を施すことにより実現される。この補正処理には、各種の周知の色調補正処理及びフィルタ処理等の手法を適用可能であって、以下の図７，８を参照して説明する例においても同様である。
【００４６】
図９（ａ）に示す例では、例えば、特徴物Ｃ１の色調の変化量が、図４に示す色調テーブルにおけるＮｏ１に該当し、特徴物Ｃ２の色調の変化量が、色調テーブルにおけるＮｏ２に該当するものとする。この場合には、特徴物Ｃ１の色調の変化量と特徴物Ｃ２の色調の変化量の差分が所定量より小さいので、画像処理部１８は、特徴物Ｃ１の色調の変化量及び特徴物Ｃ２の色調の変化量の平均変化量に基づき変換パラメータを生成する。そして、図９（ｂ）に示すように、画像処理部１８は、生成した変換パラメータを用いて、オブジェクトＶ１Ａに対する色調の補正処理を実施し、色調補正されたオブジェクトＶ１Ｂの画像を生成する。
【００４７】
図１０は、複数の特徴物Ｃ３，Ｃ４の色調の変化量における各色（ＲＧＢ）の成分が類似しており、その濃淡に差異がある場合におけるオブジェクトＶ２Ａの補正処理の例を示す図である。複数の特徴物の色調の変化量の成分の差が類似且つ所定量より小さく、当該複数の特徴物から所定距離以内に補正処理対象のオブジェクトが位置する場合に、画像処理部１８は、当該複数の特徴物の色調の変化量と、当該複数の特徴物に対するオブジェクトの相対位置に基づき、グラデーション処理を当該オブジェクトに対して実施する。複数の色調の成分が類似している場合は、当該複数の色調が同系色に属し、その濃度に差異がある場合である。画像処理部１８は、Ｒ、Ｇ、Ｂの各値に着目して、例えば、Ｒ値が０％のものを同系色と扱うこととしてもよいが、これに限定されない。
【００４８】
図１０（ａ）に示す例では、例えば、特徴物Ｃ３の色調の変化量が、図４に示す色調テーブルにおけるＮｏ１に該当し、特徴物Ｃ４の色調の変化量が、色調テーブルにおけるＮｏ４に該当するものとする。この場合には、特徴物Ｃ３の色調の変化量及び特徴物Ｃ４の色調の変化量における各色の成分が類似しており、両特徴物の色調の変化量が同系色に属するので、画像処理部１８は、オブジェクトＶ２Ａにグラデーション処理を実施し、図１０（ｂ）に示すような色調補正されたオブジェクトＶ２Ｂを生成する。
【００４９】
具体的には、画像処理部１８は、オブジェクトＶ２Ａにおける特徴物Ｃ３に最も近い部分を、特徴物Ｃ３の色調の変化量に基づき生成された第１の変換パラメータにより色調補正する。一方、画像処理部１８は、オブジェクトＶ２Ａにおける特徴物Ｃ４に最も近い部分を、特徴物Ｃ４の色調の変化量に基づき生成された第２の変換パラメータにより色調補正する。そして、画像処理部１８は、オブジェクトＶ２Ａにおける特徴物Ｃ３に最も近い部分から特徴物Ｃ４に最も近い部分に至る領域に対して、特徴物Ｃ３及び特徴物Ｃ４からの距離に応じて第１の変換パラメータ値から第２の変換パラメータ値に変換パラメータの値を徐々に変化させながら、色調補正処理を実施する。
【００５０】
図１１は、複数の特徴物Ｃ５，Ｃ６の色調の変化量の差が所定量より大きい場合におけるオブジェクトＶ３Ａの補正処理の例を示す図である。複数の特徴物Ｃ５，Ｃ６の色調の変化量が顕著に異なる場合には、例えば、色調が異なる複数の光源が現実空間の画像中に存在すると想定される。複数の特徴物の色調の変化量の差が所定量より大きい場合に、画像処理部１８は、色調補正対象のオブジェクトとの距離がより近い特徴物の色調の変化量に基づく色調の補正を当該オブジェクトに対して実施する。
【００５１】
図１１（ａ）に示す例では、例えば、特徴物Ｃ５の色調の変化量が、図４に示す色調テーブルにおけるＮｏ１に該当し、特徴物Ｃ６の色調の変化量が、色調テーブルにおけるＮｏ１５に該当するものとする。この場合には、特徴物Ｃ５の色調の変化量と特徴物Ｃ６の色調の変化量の差分が所定量より大きく、且つオブジェクトＶ３Ａの位置が特徴物Ｃ５の位置近傍に偏っており所定距離以下であるので、画像処理部１８は、特徴物Ｃ５の色調の変化量に基づき変換パラメータを生成する。そして、図１１（ｂ）に示すように、画像処理部１８は、生成した変換パラメータを用いて、オブジェクトＶ３Ａに対する色調の補正処理を実施し、色調補正されたオブジェクトＶ３Ｂの画像を生成する。
【００５２】
図１２は、複数の特徴物Ｃ７，Ｃ８の色調の変化量の差が所定量より大きく、且つ、オブジェクトＶ４Ａと特徴物Ｃ７，Ｃ８のそれぞれとの距離が同程度である場合におけるオブジェクトＶ４Ａの補正処理の例を示す図である。図１２（ａ）に示す例は、図１１に示した例と同様に、例えば、色調が異なる複数の光源が現実空間の画像中に存在すると想定される。この場合には、図１２（ｂ）に示すように、画像処理部１８は、オブジェクトＶ４Ａを特徴物Ｃ７の位置により近い第１の領域Ｖ４Ｂ１及び特徴物Ｃ８の位置により近い第２の領域Ｖ４Ｂ２に分割し、第１の領域Ｖ４Ｂ１を特徴物Ｃ７の色調の変化量に基づき生成した変換パラメータにより色調補正し、第２の領域Ｖ４Ｂ２を特徴物Ｃ８の色調の変化量に基づき生成した変換パラメータにより色調補正することとしてもよい。
【００５３】
全体画面特徴抽出部１６は、現実空間の画像全体の色調に関する特徴（補正色情報）を、補正色として抽出する部分である。具体的には、全体画面特徴抽出部１６は、例えば、現実空間の画像全体の色調に関する特徴として、例えば、画像全体における支配的な色成分、画像全体の色調の平均の色調、ノイズ分布を抽出する。全体画面特徴抽出部１６は、抽出した補正色を画像処理部１８へ送出する。
【００５４】
図１３（ａ）を参照して、全体画面特徴抽出部１６による支配的な色成分の抽出処理を説明する。図１３（ａ）は、現実空間の画像の色調の分布を模式的に示す図である。図１３（ａ）に示す画像は、例えば、図５に示した現実空間の画像を所定の大きさの単位領域に分割し、各領域に含まれる画素の色調の平均値を当該領域全体の色調とすることにより得られる。図１３（ａ）に示す画像では、領域Ｒ１は、図５に示した画像の背景に由来する色調を有し、領域Ｒ２は、雲Ｃｒｄに由来する色調を有し、領域Ｒ３は、建物Ｂｄに由来する色調を有している。全体画面特徴抽出部１６は、図１３（ａ）に示す現実空間の画像を解析して、領域Ｒ１の色調を支配的色成分として抽出し、領域Ｒ１の色調をオブジェクトの補正処理のための補正色として抽出する。画像からの支配的な色成分の抽出処理は、画像全体を単位領域に区切って色調の解析を行なうなど、周知の解析手法により実施可能である。
【００５５】
画像全体の色調の平均の色調の抽出処理としては、全体画面特徴抽出部１６は、領域Ｒ１、領域Ｒ２、領域Ｒ３の各々のピクセル数及び当該領域の色調を示すＲＧＢ値に基づき現実空間の画像全体の色調の平均の色調を算出し、算出した平均に色調をオブジェクトの補正処理のための補正色として抽出する。
【００５６】
また、全体画面特徴抽出部１６は、現実空間の画像におけるノイズの分布に関する特徴を抽出する。具体的には、全体画面特徴抽出部１６は、現実空間の画像におけるノイズを検出し、検出したノイズの密度といった情報を含む、ノイズの分布情報を抽出する。
【００５７】
図１４（ａ）を参照して、全体画面特徴抽出部１６による現実空間の画像全体のノイズの分布に関する特徴の抽出処理の例を説明する。図１４（ａ）は、現実空間の画像のノイズの分布を模式的に示す図である。
【００５８】
全体画面特徴抽出部１６は、現実空間の画像から一のピクセルを選択し、当該一のピクセルの周囲のピクセルの色を表す値の平均値に対して、当該一のピクセルの色を表す値が所定以上相違する場合に、当該一のピクセルをノイズを判断する。図１４（ａ）に示す例では、全体画面特徴抽出部１６は、ピクセルＰ１，Ｐ２，Ｐ４及びＰ５をノイズと判断する。一方、ピクセルＰ３の色は、その周囲の色と相違しているが、その相違が所定以上ではないので、全体画面特徴抽出部１６は、ピクセルＰ３をノイズと判断しない。全体画面特徴抽出部１６は、例示したような処理方法により現実空間の画像からノイズを検出し、そのノイズの密度を、ノイズの分布に関する情報として抽出する。そして、全体画面特徴抽出部１６は、抽出されたノイズの分布に関する情報を画像処理部１８に送出する。
【００５９】
全体画面特徴抽出部１６は、抽出されたオブジェクトの補正処理のための補正色に関する情報（補正色情報）を画像処理部１８に送出する。
【００６０】
画像処理部１８は、全体画面特徴抽出部１６により抽出された現実空間の画像全体の色調に関する特徴に基づきオブジェクトの画像を補正処理する。具体的には、画像処理部１８は、全体画面特徴抽出部１６から、現実空間の画像全体の色調から抽出された補正色に関する補正色情報を取得する。画像処理部１８は、例えばＲＧＢ形式で表された補正色情報に基づき、ＲＧＢ各値の変換パラメータを生成する。そして、画像処理部１８は、オブジェクトを表す各画素のＲＧＢ値に当該変換パラメータによる所定の演算処理を施すことにより、オブジェクトの画像の補正処理を実施する。変換パラメータの生成及び変換パラメータによる演算処理は、各種の周知の色調補正処理及びフィルタ処理等における手法を適用可能である。
【００６１】
図１３（ｂ）は、画像処理部１８による補正処理が実施されていない場合の重畳画像の例を示す図である。図１３（ｂ）に示すように、オブジェクトＶ５Ａは、現実空間の画像全体の色調が反映されていないので、違和感のある重畳画像となる。一方、図１３（ｃ）は、画像処理部１８による現実空間の画像全体の支配的な色成分による補正処理が実施された場合の重畳画像の例を示す図である。図１３（ｃ）に示すように、オブジェクトＶ５Ｂは、現実空間の画像全体の支配的な色成分による補正処理（乗算処理）が施されているので、重畳画像における違和感が軽減されている。
【００６２】
さらに、画像処理部１８は、全体画面特徴抽出部１６により抽出された、現実空間の画像におけるノイズの分布に関する特徴に基づきオブジェクトの画像を補正処理することができる。具体的には、画像処理部１８は、全体画面特徴抽出部１６から、ノイズの密度といった情報を含むノイズの分布情報を取得する。そして、画像処理部１８は、取得したノイズの分布情報に従って、補正対象のオブジェクトに対して、ノイズを付加する画像処理を実施する。ノイズは、例えば、所定のサイズを有する白色の点をオブジェクトに重畳することにより表される。この画像処理により、オブジェクトは、現実空間の画像全体と同様のノイズを有することとなる。
【００６３】
図１４（ｂ）は、画像処理部１８による補正処理が実施されていない場合の重畳画像の例を示す図である。図１４（ｂ）に示すように、オブジェクトＶ５Ａは、現実空間の画像全体に発生したノイズの状態が反映されていないので、違和感のある重畳画像となる。一方、図１４（ｃ）は、画像処理部１８によるノイズの分布情報による補正処理が実施された場合の重畳画像の例を示す図である。図１３（ｃ）に示すように、オブジェクトＶ５Ｂは、現実空間の画像全体に発生したノイズと同様のノイズが付加される補正処理が施されているので、重畳画像における違和感が軽減されている。
【００６４】
なお、ノイズの分布情報による補正は、前述の支配的な色成分による色調補正と併せて実施してもよいし、平均の色調による色調補正と併せて実施してもよい。
【００６５】
上述のように、画像処理部１８は、色調変化量測定部１５や全体画面特徴抽出部１６から取得した補正色情報に基づいて、オブジェクトの色調を補正し、重畳画像を表示部１９へ送出する。このようにして、表示部１９に重畳画像が表示される。
【００６６】
続いて、オブジェクト表示装置１におけるオブジェクト表示方法の処理内容を説明する。図１５〜１７は、オブジェクト表示方法の処理内容を示すフローチャートである。
【００６７】
まず、図１５のフローチャートを参照すると、オブジェクト表示装置１は、仮想オブジェクトの画像補正機能がＯＮに設定されているか否かを判定する（Ｓ１）。画像補正機能がＯＮに設定されていると判定された場合には、処理手順はステップＳ２に進められる。一方、画像補正機能がＯＮに設定されていると判定されなかった場合には、処理手順はステップＳ９に進められ、仮想オブジェクトの補正は実施されない。
【００６８】
ステップＳ２において、撮影部１１は、現実空間の画像を取得する（Ｓ２）。続いて、画像特徴抽出部１２の特徴領域検知部１４は、現実空間の画像から特徴物の検出を試み（Ｓ３）、特徴物が検出されたか否かを判定する（Ｓ４）。特徴物が検出されたと判定された場合には、処理手順はステップＳ５に進められる。一方、特徴物が検出されたと判定されなかった場合には、処理手順は図１０に示されるフローチャートのステップＳ１０に進められる。
【００６９】
ステップＳ５において、画像特徴抽出部１２の色調変化量測定部１５は、特徴領域情報記憶部１３を参照して特徴領域検知部１４において抽出された特徴物の色調の変化量の抽出を試み、特徴物の色調に変化があるか否かを判定する（Ｓ５）。特徴物の色調に変化があると判定した場合には、処理手順はステップＳ６に進められる。一方、特徴物の色調に変化があると判定しなかった場合には、処理手順はステップＳ９に進められ、仮想オブジェクトの補正は実施されない。
【００７０】
ステップＳ６において、画像特徴抽出部１２は、色調の変化が検出された特徴物が複数であるか否かを判定する（Ｓ６）。特徴物が複数であると判定された場合には、処理手順はステップＳ７に進められる。一方、特徴物が複数であると判定されなかった場合には、処理手順はステップＳ８に進められる。
【００７１】
ステップＳ７において、画像処理部１８は、複数の特徴物の色調の変化量に基づき、仮想オブジェクト記憶部１７から取得したオブジェクトの画像を補正処理する（Ｓ７）。一方、ステップＳ８において、画像処理部１８は、一の特徴物の色調の変化量に基づき、仮想オブジェクト記憶部１７から取得したオブジェクトの画像を補正処理する（Ｓ８）。また、ステップＳ９において、画像処理部１８は、オブジェクトに対する補正処理を実施しない。
【００７２】
続いて、図１６を参照して、ステップＳ４において特徴物が検出されたと判定されなかった場合の処理を説明する。ステップＳ１０において、画像特徴抽出部１２の全体画面特徴抽出部１６は、現実空間の画像全体から、画像に関する特徴の抽出を試みる（Ｓ１０）。ここで抽出される特徴は、現実空間の画像全体の色調に関する特徴、及びノイズの分布に関する特徴を含む。現実空間の画像全体から特徴が抽出された場合には、処理手順はステップＳ１２に進められる。一方、現実空間の画像全体から特徴が抽出されなかった場合には、処理手順はステップＳ１３に進められ、仮想オブジェクトの補正は実施されない。
【００７３】
ステップＳ１２において、画像処理部１８は、全体画面特徴抽出部１６により抽出された現実空間の画像全体の特徴に基づきオブジェクトの画像を補正処理する（Ｓ１２）。ステップＳ１２における補正処理は、画像全体における支配的な色成分や画像全体の色調の平均の色調といった色調に基づく補正及び画像全体におけるノイズ分布に基づく補正を含む。また、色調に基づく補正及びノイズ分布に基づく補正の両方が実施されることとしてもよい。
【００７４】
次に、図１７を参照して、図１５におけるステップＳ７の処理を詳細に説明する。まず、画像処理部１８は、複数の特徴物の色調の変化量を比較し（Ｓ１４）、変化量の差分が所定量より大きいか否かを判定する（Ｓ１５）。変化量の差分が所定量より大きいと判定された場合には、処理手順はステップＳ１６に進められる。一方、変化量の差分が所定量より大きいと判定されなかった場合には、処理手順はステップＳ１９に進められる。
【００７５】
ステップＳ１６において、画像処理部１８は、特徴物とオブジェクトの位置が所定距離以内か否かを判定する（Ｓ１６）。特徴物とオブジェクトの位置が所定距離以内であると判定された場合には，処理手順はステップＳ１７に進められる。一方、特徴物とオブジェクトの位置が所定距離以内であると判定されなかった場合には，処理手順はステップＳ１８に進められる。
【００７６】
ステップＳ１７において、画像処理部１８は、色調補正対象のオブジェクトのより近傍に位置する特徴物の色調の変化量に基づく色調の補正を当該オブジェクトに対して実施する（Ｓ１７）。一方、ステップＳ１８において、画像処理部１８は、オブジェクトを特徴物のそれぞれにより近い第１の領域及び第２の領域に分割し、領域ごとに各々の領域の近傍に位置する特徴物の色調の変化量基づき色調補正する（Ｓ１８）。
【００７７】
また、ステップＳ１９において、画像処理部１８は、特徴物とオブジェクトの位置が所定距離以内か否かを判定する（Ｓ１９）。特徴物とオブジェクトの位置が所定距離以内であると判定された場合には，処理手順はステップＳ２０に進められる。一方、特徴物とオブジェクトの位置が所定距離以内であると判定されなかった場合には，処理手順はステップＳ２１に進められる。
【００７８】
ステップＳ２０において、画像処理部１８は、各特徴物の色調の変化量に基づきオブジェクトにグラデーション処理を実施する（Ｓ２０）。一方、ステップＳ２１において、画像処理部１８は、複数の特徴物の色調の変化量の平均変化量に基づく色調の補正をオブジェクトに対して実施する（Ｓ２１）。
【００７９】
そして、ステップＳ７〜Ｓ９，Ｓ１２〜Ｓ１３，Ｓ１７〜Ｓ１８，Ｓ２０〜Ｓ２１の処理手順を経て、画像処理部１８は、現実空間の画像にオブジェクトを重畳した重畳画像を生成し、表示部１９は、画像処理部１８により生成された重畳画像を表示する。
【００８０】
本実施形態では、画像特徴抽出部１２は、複数の特徴物（特徴領域）の色調の変化量を取得するための特徴領域検知部１４及び色調変化量測定部１５、並びに現実空間の画像全体の特徴を抽出するための全体画面特徴抽出部１６を有することとしているが、特徴領域検知部１４及び色調変化量測定部１５と、全体画面特徴抽出部１６とのうちのいずれか一方を備えることとしてもよい。即ち、画像処理部１８は、複数の特徴物の色調の変化量及び現実空間の画像全体の特徴のいずれか一方に基づき、オブジェクトの画像の補正処理を実施することとしてもよい。
【００８１】
図１８は、複数の特徴物の色調の変化量に基づき、オブジェクトの画像の補正処理を実施する処理を示すフローチャートである。ステップＳ３１〜Ｓ３３の処理は、図１５のフローチャートにおけるＳ１〜Ｓ３の処理と同様である。続くステップＳ３４において、特徴領域検知部１４は、特徴物が検出されたか否かを判定する（Ｓ３４）。特徴物が検出されたと判定された場合には、処理手順はステップＳ３５に進められ、画像処理部１８は、ステップＳ５〜９と同様の処理内容であるステップＳ３５〜Ｓ３９において、複数の特徴物の色調の変化量に基づくオブジェクトの補正処理を実施する。
【００８２】
一方、ステップＳ３４において特徴物が検出されたと判定されなかった場合には、処理手順はステップＳ３９に進められ、仮想オブジェクトの補正処理は実施されない。図１８のフローチャートにより説明した処理では、オブジェクト表示装置１は、特徴物の色調に関する情報を有しており、このような特徴物の色調の変化に基づきオブジェクトの色調を補正するので、容易に補正処理を実施できる。
【００８３】
一方、図１９は、現実空間の画像全体の特徴に基づき、オブジェクトの画像の補正処理を実施する処理を示すフローチャートである。まず、オブジェクト表示装置１は、仮想オブジェクトの画像補正機能がＯＮに設定されているか否かを判定する（Ｓ４１）。画像補正機能がＯＮに設定されていると判定された場合には、処理手順はステップＳ４２に進められる。一方、画像補正機能がＯＮに設定されていると判定されなかった場合には、処理手順はステップＳ４６に進められ、仮想オブジェクトの補正は実施されない。
【００８４】
ステップＳ４２において、撮影部１１は、現実空間の画像を取得する（Ｓ４２）。続いて、画像特徴抽出部１２の全体画面特徴抽出部１６は、現実空間の画像全体から、画像に関する特徴の抽出を試みる（Ｓ４３）。ここで抽出される特徴は、現実空間の画像全体の色調に関する特徴、及びノイズの分布に関する特徴を含む。現実空間の画像全体から特徴が抽出された場合には、処理手順はステップＳ４５に進められる（Ｓ４４）。
【００８５】
一方、現実空間の画像全体から特徴が抽出されなかった場合には（Ｓ４４）、処理手順はステップＳ４６に進められ、仮想オブジェクトの補正は実施されない。ステップＳ４５において、画像処理部１８は、全体画面特徴抽出部１６により抽出された現実空間の画像全体の特徴に基づきオブジェクトの画像を補正処理する（Ｓ４５）。図１９のフローチャートにより説明した処理では、オブジェクト表示装置１は、現実空間の画像全体の色調等に基づきオブジェクトの補正処理を実施するので、重畳画像におけるオブジェクトの違和感が軽減される。
【００８６】
次に、コンピュータを、本実施形態のオブジェクト表示装置１として機能させるためのオブジェクト表示プログラムについて説明する。図２０は、図１に示したオブジェクト表示装置１に対応するオブジェクト表示プログラム１ｍの構成を示す図である。
【００８７】
オブジェクト表示プログラム１ｍは、オブジェクト表示処理を統括的に制御するメインモジュール１０ｍ、撮影モジュール１１ｍ、画像特徴抽出モジュール１２ｍ、特徴領域情報記憶モジュール１３ｍ、仮想オブジェクト記憶モジュール１７ｍ、画像処理モジュール１８ｍ、表示モジュール１９ｍ及び色調データ記憶モジュール２０ｍを備えて構成される。また、画像特徴抽出モジュール１２ｍは、特徴領域検知モジュール１４ｍ、色調変化量測定モジュール１５ｍ及び全体画面特徴抽出モジュール１６ｍを含む。そして、各モジュール１０ｍ〜２０ｍにより、オブジェクト表示装置１における各機能部１１〜２０のための各機能が実現される。なお、オブジェクト表示プログラム１ｍは、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１１に示されるように、記録媒体１ｄのプログラム格納領域１ｒに記憶される態様であってもよい。
【００８８】
本実施形態のオブジェクト表示装置１、オブジェクト表示方法及びオブジェクト表示プログラム１ｍによれば、撮影部１１により取得された現実空間の画像から、画像特徴抽出部１２により、複数の特徴物又は現実空間の画像全体から画像に関する所定の特徴が抽出される。そして、画像に関する特徴に基づきオブジェクトの画像が補正処理されるので、オブジェクトの画像に対して現実空間の画像の特徴が適切に反映される。従って、現実空間の画像にオブジェクトを重畳表示させた重畳画像におけるオブジェクトの画像の違和感が軽減される。
【００８９】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【符号の説明】
【００９０】
１…オブジェクト表示装置、１ｄ…記録媒体、１ｍ…オブジェクト表示プログラム、１ｒ…プログラム格納領域、１０ｍ…メインモジュール、１１…撮影部、１１ｍ…撮影モジュール、１２…画像特徴抽出部、１２ｍ…画像特徴抽出モジュール、１３…特徴領域情報記憶部、１３ｍ…特徴領域情報記憶モジュール、１４…特徴領域検知部、１４ｍ…特徴領域検知モジュール、１５…色調変化量測定部、１５ｍ…色調変化量測定モジュール、１６…全体画面特徴抽出部、１６ｍ…全体画面特徴抽出モジュール、１７…仮想オブジェクト記憶部、１７ｍ…仮想オブジェクト記憶モジュール、１８…画像処理部、１８ｍ…画像処理モジュール、１９…表示部、１９ｍ…表示モジュール、２０…色調データ記憶部、２０ｍ…色調データ記憶モジュール。
【技術分野】
【０００１】
本発明は、オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムに関する。
【背景技術】
【０００２】
近年において、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術を用いたサービスが開発・提供されている。例えば、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像に種々の情報や画像を含むオブジェクトを重畳表示する技術が知られている。また、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている。一方、オブジェクトを現実空間の画像に重畳する際の、現実空間の映像におけるオブジェクトの色調を考慮するための技術として現実空間に配置されたマーカの色調に基づきオブジェクトの色調を補正する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７０３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
現実空間の画像にオブジェクトが重畳された重畳画像におけるオブジェクトの違和感を軽減するためには、現実空間の画像の特徴がオブジェクトの画像に反映されることが好ましい。しかしながら、特許文献１に記載された従来の技術では、現実空間に配置された一のマーカの色調に基づきオブジェクトの色調の補正が行われるので、画像中における限られた一の領域に現実空間の画像の特徴を代表させることとなる。マーカの色調が現実空間の画像の特徴を代表しているとは限らないので、上記した従来技術では、オブジェクトの画像に対して適切な補正が行われず、重畳画像において違和感が生じる場合があった。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたものであり、ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた重畳画像における、オブジェクトの画像の違和感を軽減することが可能なオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のオブジェクト表示装置は、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置であって、現実空間の画像を取得する撮影手段と、撮影手段により取得された現実空間の画像から検出された複数の所定の特徴領域又は現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出手段と、画像特徴抽出手段により抽出された所定の特徴に基づき、オブジェクトの画像を補正処理する画像処理手段と、画像処理手段により補正処理されたオブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示手段とを備える。
【０００７】
また、上記課題を解決するために、本発明のオブジェクト表示方法は、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、現実空間の画像を取得する撮影ステップと、撮影ステップにおいて取得された現実空間の画像から検出された複数の特徴領域又は現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出ステップと、画像特徴抽出ステップにおいて抽出された所定の特徴に基づき、オブジェクトの画像を補正処理する画像処理ステップと、画像処理ステップにおいて補正処理されたオブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示ステップとを有する。
【０００８】
また、上記課題を解決するために、本発明のオブジェクト表示プログラムは、コンピュータを、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、コンピュータに、現実空間の画像を取得する撮影機能と、撮影機能により取得された現実空間の画像から検出された複数の特徴領域又は現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出機能と、画像特徴抽出機能により抽出された所定の特徴に基づき、オブジェクトの画像を補正処理する画像処理機能と、画像処理機能により補正処理されたオブジェクトの画像を、現実空間の画像に重畳した重畳画像を表示する表示機能とを実現させる。
【０００９】
本発明のオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムによれば、現実空間の画像から検出された複数の特徴領域又は現実空間の画像全体から抽出された画像に関する所定の特徴に基づきオブジェクトの画像が補正処理されるので、オブジェクトの画像に対して現実空間の画像の特徴が適切に反映される。従って、現実空間の画像にオブジェクトを重畳表示させた重畳画像におけるオブジェクトの画像の違和感が軽減される。
【００１０】
また、本発明のオブジェクト表示装置では、画像特徴抽出手段は、特徴領域が検出されなかった場合に、現実空間の画像全体から所定の特徴を抽出することとしてもよい。
【００１１】
上記構成によれば、まず所定の特徴領域の検出が試みられ、オブジェクトの画像の補正に用いられる特徴が、検出された特徴領域の画像から抽出されるので、オブジェクトの画像の補正に用いられる特徴の抽出が容易である。また、特徴領域が検出されなかった場合であっても、現実空間の画像から抽出された所定の特徴がオブジェクトの画像の補正に用いられるので、オブジェクトの画像の適切な補正の実施が可能である。
【００１２】
また、本発明のオブジェクト表示装置は、少なくとも特徴領域の色調に関する特徴領域情報を当該特徴領域に対応付けて記憶している特徴領域情報記憶手段を備え、画像特徴抽出手段は、特徴領域情報記憶手段に記憶された色調に対する、現実空間の画像における複数の特徴領域の色調の変化量を抽出し、画像処理手段は、画像特徴抽出手段により抽出された色調の変化量に基づきオブジェクトの画像を補正処理することとしてもよい。
【００１３】
上記構成によれば、検出された特徴領域に関して予め記憶された色調に対する、現実空間の画像における当該特徴領域の色調の変化量に基づき、オブジェクトの画像の色調が補正される。これにより、オブジェクトの画像に対して、現実空間の画像の色調が適切に反映される。
【００１４】
また、本発明のオブジェクト表示装置では、画像処理手段は、現実空間の画像における特徴領域の位置に対するオブジェクトの重畳位置に応じて、オブジェクトの画像を補正処理する。
【００１５】
上記構成によれば、特徴領域の色調の変化量のオブジェクトの色調に対する反映の度合いが、特徴領域とオブジェクトとの位置関係に応じて考慮される。これにより、オブジェクトの色調がより適切に補正されるので、一層の違和感の軽減が実現される。
【００１６】
また、本発明のオブジェクト表示装置では、画像特徴抽出手段は、現実空間の画像全体の色調に関する特徴を抽出し、画像処理手段は、画像特徴抽出手段により抽出された現実空間の画像全体の色調に関する特徴に基づき補正処理することとしてもよい。
【００１７】
上記構成によれば、現実空間の画像全体の色調がオブジェクトの色調に反映されることとなるので、重畳画像におけるオブジェクトの違和感が軽減される。
【００１８】
また、本発明のオブジェクト表示装置では、画像特徴抽出手段は、現実空間の画像におけるノイズの分布に関する特徴を抽出し、画像処理手段は、画像特徴抽出手段により抽出されたノイズの分布に関する特徴に基づき補正処理することとしてもよい。
【００１９】
現実空間の画像にノイズがある場合において、ノイズがないオブジェクトの画像が重畳されると、重畳画像において違和感が生じる。上記構成によれば、現実空間の画像におけるノイズの分布に関する特徴が、オブジェクトの画像に反映されるので、重畳画像における違和感が軽減される。
【発明の効果】
【００２０】
ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた重畳画像における、オブジェクトの画像の違和感を軽減することが可能となる。
【図面の簡単な説明】
【００２１】
【図１】オブジェクト表示装置の機能的構成を示すブロック図である。
【図２】オブジェクト表示装置のハードブロック図である。
【図３】撮影部により取得される現実空間の画像の例を示す図である。
【図４】撮影部により取得される現実空間の画像の例を示す図である。
【図５】撮影部により取得される現実空間の画像の例を示す図である。
【図６】特徴領域情報記憶部の構成及び記憶されているデータの例を示す図である。
【図７】色調変化量測定部における、特徴領域の色調の変化量を抽出するための色調テーブルの例を示す図である。
【図８】仮想オブジェクト記憶部の構成及び記憶されているデータの例を示す図である。
【図９】特徴領域の色調の変化量に基づくオブジェクトの色調の補正処理の例を示す図である。
【図１０】特徴領域の色調の変化量に基づくオブジェクトの色調の補正処理の例を示す図である。
【図１１】特徴領域の色調の変化量に基づくオブジェクトの色調の補正処理の例を示す図である。
【図１２】特徴領域の色調の変化量に基づくオブジェクトの色調の補正処理の例を示す図である。
【図１３】現実空間の画像全体の色調に基づく補正処理の例を示す図である。
【図１４】現実空間の画像全体のノイズ分布に基づく補正処理の例を示す図である。
【図１５】オブジェクト表示方法の処理内容を示すフローチャートである。
【図１６】オブジェクト表示方法の処理内容を示すフローチャートである。
【図１７】オブジェクト表示方法の処理内容を示すフローチャートである。
【図１８】特徴領域の色調の変化量に基づく補正処理を示すフローチャートである。
【図１９】現実空間の画像全体の特徴に基づく補正処理を示すフローチャートである。
【図２０】オブジェクト表示プログラムの構成を示す図である。
【発明を実施するための形態】
【００２２】
本発明に係るオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００２３】
図１は、オブジェクト表示装置１の機能的構成を示すブロック図である。本実施形態のオブジェクト表示装置１は、現実空間の画像にオブジェクトを重畳表示する装置であって、例えば、移動体通信網を介した通信が可能な携帯端末である。
【００２４】
移動端末等の装置を用いたＡＲ技術によるサービスとしては、例えば、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示するものがある。マーカは、現実空間中に予め人為的に設けられた物であってもよいし、現実空間中に存在する建物及び看板等の構造物並びにロゴマーク等であってもよい。また、同様のサービスとしては、移動端末が所在する位置情報に基づき移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像中の位置に対応付けてオブジェクトを重畳表示するものがある。本実施形態のオブジェクト表示装置１では、上記したＡＲ技術によるサービスの両態様が想定される。
【００２５】
図１に示すように、オブジェクト表示装置１は、機能的には、撮影部１１（撮影手段）、画像特徴抽出部１２（画像特徴抽出手段）、特徴領域情報記憶部１３（特徴領域情報記憶手段）、仮想オブジェクト記憶部１７（仮想オブジェクト記憶手段）、画像処理部１８（画像処理手段）、表示部１９（表示手段）及び色調データ記憶部２０を備える。また、画像特徴抽出部１２は、特徴領域検知部１４、色調変化量測定部１５及び全体画面特徴抽出部１６を含む。
【００２６】
図２は、オブジェクト表示装置１のハードウエア構成図である。オブジェクト表示装置１は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図１に示した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。再び、図１を参照し、オブジェクト表示装置１の各機能部について詳細に説明する。
【００２７】
撮影部１１は、現実空間の画像を取得する部分であって、例えばカメラにより構成される。図３〜５は、撮影部１１により取得される現実空間の画像の例を示す図である。図３に示される現実空間の画像は、後に画像特徴抽出部１２により抽出される特徴物として、横断歩道Ｃｒ及びポストＰｓｔの画像を含む。図４に示される現実空間の画像は、後に画像特徴抽出部１２により抽出される特徴物として、星型のオブジェクトＳｔ１，Ｓｔ２の画像を含む。図５に示される現実空間の画像は、後に画像特徴抽出部１２により画像全体の色調を構成する要素として抽出される雲Ｃｒｄ及び建物Ｂｄの画像を含む。撮影部１１は、取得した現実空間の画像を画像特徴抽出部１２に送出する。
【００２８】
画像特徴抽出部１２は、撮影部１１により取得された現実空間の画像から検出された複数の所定の特徴領域又は現実空間の画像全体の、画像に関する所定の特徴を抽出する部分である。所定の特徴領域は、現実空間の画像の特徴を抽出するために参照される領域である。画像特徴抽出部１２は、画像に関する特徴を抽出するための機能部として、特徴領域検知部１４、色調変化量測定部１５及び全体画面特徴抽出部１６を含む。また、画像に関する特徴を抽出のために、特徴領域情報記憶部１３が用いられる。
【００２９】
特徴領域情報記憶部１３は、少なくとも特徴領域の色調に関する特徴領域情報を当該特徴領域に対応付けて記憶している部分である。また、特徴領域情報記憶部１３は、現実空間の画像から特徴領域を検出（マッチング）するための当該特徴領域の形状を表す２Ｄまたは３Ｄデータを含む。本実施形態では、特徴領域情報記憶部１３は、特徴領域を表すデータとして特徴物データを含む。図６は、特徴領域情報記憶部１３の構成及び記憶されているデータの例を示す図である。
【００３０】
図６に示すように、特徴領域情報記憶部１３は、特徴領域を一意に識別する「Ｎｏ」に対応付けて特徴物データ及び色調のデータを記憶している。特徴物データは、上述したように、当該特徴物の形状を表す２Ｄまたは３Ｄデータであって、現実空間の画像からの特徴領域検知部１４による特徴物の検出（マッチング）に用いられる。色調のデータは、当該特徴物の主要部分の色を表すデータであって、例えばＲＧＢ形式で表される。図６を参照すると、特徴領域情報記憶部１３は、Ｎｏ「０００１」に対応付けて、特徴物データとしてポストを表す３Ｄデータ、及び当該ポストの主要部分である赤色部分の色調を示すデータ（ｒ１，ｇ１，ｂ１）を記憶している。また、特徴領域情報記憶部１３は、Ｎｏ「０００２」に対応付けて、特徴物データとして横断歩道を表す２Ｄデータ、及び当該横断歩道の主要部分である白色部分の色調を示すデータ（ｒ２，ｇ２，ｂ２）を記憶している。さらに、特徴領域情報記憶部１３は、Ｎｏ「０００３」に対応付けて、特徴物データとして星型オブジェクトを表す２Ｄデータ、及び当該星型オブジェクトの色調を示すデータ（ｒ３，ｇ３，ｂ３）を記憶している。
【００３１】
色調データ記憶部２０は、色調の変化量の測定に用いられる色調データを記憶している部分であって、例えば、図７に示す色調テーブルを記憶している。図７に示すように、色調テーブルは、レコードを一意に識別する番号「Ｎｏ」に対応付けて、Ｒ値、Ｇ値及びＢ値それぞれの各階調の最大値に対する割合により色調を定義している。色調変化量測定部１５は、色調データ記憶部２０に記憶されているデータをもとに、色調の変化量を測定する。色調変化量測定部１５による詳細な処理は後述する。
【００３２】
仮想オブジェクト記憶部１７は、仮想オブジェクトに関する仮想オブジェクト情報を予め又は一時的に記憶している部分である。オブジェクト表示装置１が、現実空間の画像から検出したマーカに対応付けてオブジェクトを表示する装置である場合には、仮想オブジェクト情報は、例えば、マーカに対応付けられたオブジェクトデータを含む。また、オブジェクト表示装置１が、現実空間における位置に対応付けられたオブジェクトを表示する装置である場合には、仮想オブジェクト情報は、例えば、位置情報に対応付けられたオブジェクトデータを含む。
【００３３】
図８は、仮想オブジェクト記憶部１７に記憶されている仮想オブジェクト情報の例を示す図である。図８に示すように、仮想オブジェクト記憶部１７は、仮想オブジェクトを識別するＩＤに対応付けて仮想オブジェクトデータ及び重畳位置を記憶している。仮想オブジェクトデータは、仮想オブジェクトの形状及び色を表すデータである。重畳位置は、当該仮想オブジェクトが重畳表示される位置を示すデータであって、現実空間における絶対的な位置又はマーカ（特徴物）に対する相対的な位置を表す。
【００３４】
仮想オブジェクト情報は、仮想オブジェクト記憶部１７に予め記憶されていることとしてもよいし、図示しないサーバから所定の通信手段を介して取得されることとしてもよい。仮想オブジェクト情報がサーバから取得される場合には、オブジェクト表示装置１の所在位置を示す位置情報に基づき、仮想オブジェクト情報は、サーバから提供されることとしてもよい。オブジェクトデータは、例えば、オブジェクトの画像データ、又は当該オブジェクトを表すための３Ｄオブジェクトのデータである。現実空間の画像中においてオブジェクトが重畳表示される位置は、例えば、仮想オブジェクト情報においてオブジェクトデータに対応付けられた位置情報、又は、現実空間の画像中におけるマーカとの相対位置により定義される。
【００３５】
画像処理部１８は、仮想オブジェクト記憶部１７から仮想オブジェクトを取得し、取得した仮想オブジェクトを、撮影部１１により取得された現実空間の画像に重畳して、重畳画像を生成する部分である。重畳画像における仮想オブジェクトの重畳位置は、例えば、当該仮想オブジェクトに対応付けられている位置情報、又は現実空間の画像中におけるマーカとの相対位置に基づき決定される。画像処理部１８は、生成した重畳画像を表示部１９に送出する。
【００３６】
また、画像処理部１８は、画像特徴抽出部１２により抽出された、現実空間の画像に関する所定の特徴に基づき、オブジェクトの画像を補正処理する。具体的な処理は、後に詳細を説明する。
【００３７】
表示部１９は、画像処理部１８により生成及び送出された重畳画像を表示する部分であって、例えばディスプレイといった装置により構成される。重畳画像は、画像処理部１８により補正処理されたオブジェクトの画像が、現実空間の画像に重畳された画像である。以下、画像特徴抽出部１２および画像処理部１８の詳細な機能について説明する。
【００３８】
特徴領域検知部１４は、撮影部１１により取得された現実空間の画像から所定の特徴領域を検出する部分である。具体的には、特徴領域検知部１４は、特徴領域情報記憶部１３に記憶されている特徴物データに基づき現実空間の画像を探索して、現実空間の画像から特徴物を抽出する。
【００３９】
図３に示した現実空間の画像を例に説明すると、特徴領域検知部１４は、図６に示した特徴領域情報記憶部１３に記憶された特徴物データに基づき現実空間の画像を探索する。そして、特徴領域検知部１４は、Ｎｏ「０００１」及び「０００２」に示される特徴物に該当するポストＰｓｔ及び横断歩道Ｃｒを抽出する。また、特徴領域検知部１４は、図４に示した現実空間の画像を探索した場合には、Ｎｏ「０００３に示される特徴物に該当する星型オブジェクトを抽出する。現実空間の画像における特徴物が表された領域は、特徴領域を構成する。特徴領域検知部１４は、特徴物が抽出された場合に、現実空間の画像における特徴物の位置を表す情報（例えば、現実空間の画像における座標等）を取得し、色調変化量測定部１５へ送出する。特徴領域検知部１４は、特徴物を抽出できない場合は、その旨を全体画面特徴抽出部１６へ通知することとしてもよい。全体画面特徴抽出部１６の機能については、後述する。
【００４０】
色調変化量測定部１５は、特徴領域検知部１４において抽出された特徴物に関して、特徴領域情報記憶部１３に記憶された当該特徴物に対する色調の変化量を抽出する部分である。具体的には、例えば特徴物の色調がＲＧＢ形式で表されている場合には、色調変化量測定部１５は、特徴領域情報記憶部１３に記憶された特徴物のＲ値、Ｇ値及びＢ値と、特徴領域検知部１４により抽出された特徴物のＲ値、Ｇ値及びＢ値との差異（特徴物の色調の変化量）をそれぞれ算出する。
【００４１】
色調変化量測定部１５は、特徴領域情報記憶部１３に記憶された特徴物の色調（ＲＧＢ）に対する特徴領域検知部１４により抽出された特徴物の色調（ＲＧＢ）の変化量に最も近い値を有するレコードを色調テーブルから抽出し、抽出したレコードを当該特徴物の色調の変化量とする。
【００４２】
色調変化量測定部１５は、特徴領域検知部１４から取得した現実空間の画像における特徴物の位置を表す情報と共に、特徴物の色調の変化量の情報を画像処理部１８に送出する。
【００４３】
また、画像処理部１８は、画像特徴抽出部１２により抽出された、現実空間の画像に関する所定の特徴に基づき、オブジェクトの画像を補正処理する。具体的には、画像処理部１８は、特徴領域検知部１４及び色調変化量測定部１５により抽出された、複数の特徴物の色調の変化量に基づき、仮想オブジェクト記憶部から取得したオブジェクトの画像を補正処理する。画像処理部は、色調変化量測定部から受信した特徴物の位置を表す情報とオブジェクトの表示位置を比較して、所定の距離以内であるか否かを判定する。また、画像処理部は、色調変化量測定部から受信した各特徴物の色調の変化量を比較して、変化量の差が所定量より小さいか否かを判定する。図９〜１２を参照して、複数の特徴物の色調の変化量に基づく、オブジェクトの補正処理の例を説明する。
【００４４】
図９は、複数の特徴物Ｃ１，Ｃ２の色調の変化量の差が所定量より小さい場合におけるオブジェクトＶ１Ａの補正処理の例を示す図である。複数の特徴物の色調の変化量の差が所定量より小さく、当該複数の特徴物から所定距離以内に補正処理対象のオブジェクトが位置する場合に、画像処理部１８は、当該複数の特徴物の色調の変化量の平均変化量に基づく色調の補正を当該オブジェクトに対して実施する。
【００４５】
色調の補正は、例えば、ＲＧＢ形式で示された色調の平均変化量に基づきＲＧＢ各値の変換パラメータを生成し、オブジェクトを表す各画素のＲＧＢ値に当該変換パラメータによる所定の演算処理を施すことにより実現される。この補正処理には、各種の周知の色調補正処理及びフィルタ処理等の手法を適用可能であって、以下の図７，８を参照して説明する例においても同様である。
【００４６】
図９（ａ）に示す例では、例えば、特徴物Ｃ１の色調の変化量が、図４に示す色調テーブルにおけるＮｏ１に該当し、特徴物Ｃ２の色調の変化量が、色調テーブルにおけるＮｏ２に該当するものとする。この場合には、特徴物Ｃ１の色調の変化量と特徴物Ｃ２の色調の変化量の差分が所定量より小さいので、画像処理部１８は、特徴物Ｃ１の色調の変化量及び特徴物Ｃ２の色調の変化量の平均変化量に基づき変換パラメータを生成する。そして、図９（ｂ）に示すように、画像処理部１８は、生成した変換パラメータを用いて、オブジェクトＶ１Ａに対する色調の補正処理を実施し、色調補正されたオブジェクトＶ１Ｂの画像を生成する。
【００４７】
図１０は、複数の特徴物Ｃ３，Ｃ４の色調の変化量における各色（ＲＧＢ）の成分が類似しており、その濃淡に差異がある場合におけるオブジェクトＶ２Ａの補正処理の例を示す図である。複数の特徴物の色調の変化量の成分の差が類似且つ所定量より小さく、当該複数の特徴物から所定距離以内に補正処理対象のオブジェクトが位置する場合に、画像処理部１８は、当該複数の特徴物の色調の変化量と、当該複数の特徴物に対するオブジェクトの相対位置に基づき、グラデーション処理を当該オブジェクトに対して実施する。複数の色調の成分が類似している場合は、当該複数の色調が同系色に属し、その濃度に差異がある場合である。画像処理部１８は、Ｒ、Ｇ、Ｂの各値に着目して、例えば、Ｒ値が０％のものを同系色と扱うこととしてもよいが、これに限定されない。
【００４８】
図１０（ａ）に示す例では、例えば、特徴物Ｃ３の色調の変化量が、図４に示す色調テーブルにおけるＮｏ１に該当し、特徴物Ｃ４の色調の変化量が、色調テーブルにおけるＮｏ４に該当するものとする。この場合には、特徴物Ｃ３の色調の変化量及び特徴物Ｃ４の色調の変化量における各色の成分が類似しており、両特徴物の色調の変化量が同系色に属するので、画像処理部１８は、オブジェクトＶ２Ａにグラデーション処理を実施し、図１０（ｂ）に示すような色調補正されたオブジェクトＶ２Ｂを生成する。
【００４９】
具体的には、画像処理部１８は、オブジェクトＶ２Ａにおける特徴物Ｃ３に最も近い部分を、特徴物Ｃ３の色調の変化量に基づき生成された第１の変換パラメータにより色調補正する。一方、画像処理部１８は、オブジェクトＶ２Ａにおける特徴物Ｃ４に最も近い部分を、特徴物Ｃ４の色調の変化量に基づき生成された第２の変換パラメータにより色調補正する。そして、画像処理部１８は、オブジェクトＶ２Ａにおける特徴物Ｃ３に最も近い部分から特徴物Ｃ４に最も近い部分に至る領域に対して、特徴物Ｃ３及び特徴物Ｃ４からの距離に応じて第１の変換パラメータ値から第２の変換パラメータ値に変換パラメータの値を徐々に変化させながら、色調補正処理を実施する。
【００５０】
図１１は、複数の特徴物Ｃ５，Ｃ６の色調の変化量の差が所定量より大きい場合におけるオブジェクトＶ３Ａの補正処理の例を示す図である。複数の特徴物Ｃ５，Ｃ６の色調の変化量が顕著に異なる場合には、例えば、色調が異なる複数の光源が現実空間の画像中に存在すると想定される。複数の特徴物の色調の変化量の差が所定量より大きい場合に、画像処理部１８は、色調補正対象のオブジェクトとの距離がより近い特徴物の色調の変化量に基づく色調の補正を当該オブジェクトに対して実施する。
【００５１】
図１１（ａ）に示す例では、例えば、特徴物Ｃ５の色調の変化量が、図４に示す色調テーブルにおけるＮｏ１に該当し、特徴物Ｃ６の色調の変化量が、色調テーブルにおけるＮｏ１５に該当するものとする。この場合には、特徴物Ｃ５の色調の変化量と特徴物Ｃ６の色調の変化量の差分が所定量より大きく、且つオブジェクトＶ３Ａの位置が特徴物Ｃ５の位置近傍に偏っており所定距離以下であるので、画像処理部１８は、特徴物Ｃ５の色調の変化量に基づき変換パラメータを生成する。そして、図１１（ｂ）に示すように、画像処理部１８は、生成した変換パラメータを用いて、オブジェクトＶ３Ａに対する色調の補正処理を実施し、色調補正されたオブジェクトＶ３Ｂの画像を生成する。
【００５２】
図１２は、複数の特徴物Ｃ７，Ｃ８の色調の変化量の差が所定量より大きく、且つ、オブジェクトＶ４Ａと特徴物Ｃ７，Ｃ８のそれぞれとの距離が同程度である場合におけるオブジェクトＶ４Ａの補正処理の例を示す図である。図１２（ａ）に示す例は、図１１に示した例と同様に、例えば、色調が異なる複数の光源が現実空間の画像中に存在すると想定される。この場合には、図１２（ｂ）に示すように、画像処理部１８は、オブジェクトＶ４Ａを特徴物Ｃ７の位置により近い第１の領域Ｖ４Ｂ１及び特徴物Ｃ８の位置により近い第２の領域Ｖ４Ｂ２に分割し、第１の領域Ｖ４Ｂ１を特徴物Ｃ７の色調の変化量に基づき生成した変換パラメータにより色調補正し、第２の領域Ｖ４Ｂ２を特徴物Ｃ８の色調の変化量に基づき生成した変換パラメータにより色調補正することとしてもよい。
【００５３】
全体画面特徴抽出部１６は、現実空間の画像全体の色調に関する特徴（補正色情報）を、補正色として抽出する部分である。具体的には、全体画面特徴抽出部１６は、例えば、現実空間の画像全体の色調に関する特徴として、例えば、画像全体における支配的な色成分、画像全体の色調の平均の色調、ノイズ分布を抽出する。全体画面特徴抽出部１６は、抽出した補正色を画像処理部１８へ送出する。
【００５４】
図１３（ａ）を参照して、全体画面特徴抽出部１６による支配的な色成分の抽出処理を説明する。図１３（ａ）は、現実空間の画像の色調の分布を模式的に示す図である。図１３（ａ）に示す画像は、例えば、図５に示した現実空間の画像を所定の大きさの単位領域に分割し、各領域に含まれる画素の色調の平均値を当該領域全体の色調とすることにより得られる。図１３（ａ）に示す画像では、領域Ｒ１は、図５に示した画像の背景に由来する色調を有し、領域Ｒ２は、雲Ｃｒｄに由来する色調を有し、領域Ｒ３は、建物Ｂｄに由来する色調を有している。全体画面特徴抽出部１６は、図１３（ａ）に示す現実空間の画像を解析して、領域Ｒ１の色調を支配的色成分として抽出し、領域Ｒ１の色調をオブジェクトの補正処理のための補正色として抽出する。画像からの支配的な色成分の抽出処理は、画像全体を単位領域に区切って色調の解析を行なうなど、周知の解析手法により実施可能である。
【００５５】
画像全体の色調の平均の色調の抽出処理としては、全体画面特徴抽出部１６は、領域Ｒ１、領域Ｒ２、領域Ｒ３の各々のピクセル数及び当該領域の色調を示すＲＧＢ値に基づき現実空間の画像全体の色調の平均の色調を算出し、算出した平均に色調をオブジェクトの補正処理のための補正色として抽出する。
【００５６】
また、全体画面特徴抽出部１６は、現実空間の画像におけるノイズの分布に関する特徴を抽出する。具体的には、全体画面特徴抽出部１６は、現実空間の画像におけるノイズを検出し、検出したノイズの密度といった情報を含む、ノイズの分布情報を抽出する。
【００５７】
図１４（ａ）を参照して、全体画面特徴抽出部１６による現実空間の画像全体のノイズの分布に関する特徴の抽出処理の例を説明する。図１４（ａ）は、現実空間の画像のノイズの分布を模式的に示す図である。
【００５８】
全体画面特徴抽出部１６は、現実空間の画像から一のピクセルを選択し、当該一のピクセルの周囲のピクセルの色を表す値の平均値に対して、当該一のピクセルの色を表す値が所定以上相違する場合に、当該一のピクセルをノイズを判断する。図１４（ａ）に示す例では、全体画面特徴抽出部１６は、ピクセルＰ１，Ｐ２，Ｐ４及びＰ５をノイズと判断する。一方、ピクセルＰ３の色は、その周囲の色と相違しているが、その相違が所定以上ではないので、全体画面特徴抽出部１６は、ピクセルＰ３をノイズと判断しない。全体画面特徴抽出部１６は、例示したような処理方法により現実空間の画像からノイズを検出し、そのノイズの密度を、ノイズの分布に関する情報として抽出する。そして、全体画面特徴抽出部１６は、抽出されたノイズの分布に関する情報を画像処理部１８に送出する。
【００５９】
全体画面特徴抽出部１６は、抽出されたオブジェクトの補正処理のための補正色に関する情報（補正色情報）を画像処理部１８に送出する。
【００６０】
画像処理部１８は、全体画面特徴抽出部１６により抽出された現実空間の画像全体の色調に関する特徴に基づきオブジェクトの画像を補正処理する。具体的には、画像処理部１８は、全体画面特徴抽出部１６から、現実空間の画像全体の色調から抽出された補正色に関する補正色情報を取得する。画像処理部１８は、例えばＲＧＢ形式で表された補正色情報に基づき、ＲＧＢ各値の変換パラメータを生成する。そして、画像処理部１８は、オブジェクトを表す各画素のＲＧＢ値に当該変換パラメータによる所定の演算処理を施すことにより、オブジェクトの画像の補正処理を実施する。変換パラメータの生成及び変換パラメータによる演算処理は、各種の周知の色調補正処理及びフィルタ処理等における手法を適用可能である。
【００６１】
図１３（ｂ）は、画像処理部１８による補正処理が実施されていない場合の重畳画像の例を示す図である。図１３（ｂ）に示すように、オブジェクトＶ５Ａは、現実空間の画像全体の色調が反映されていないので、違和感のある重畳画像となる。一方、図１３（ｃ）は、画像処理部１８による現実空間の画像全体の支配的な色成分による補正処理が実施された場合の重畳画像の例を示す図である。図１３（ｃ）に示すように、オブジェクトＶ５Ｂは、現実空間の画像全体の支配的な色成分による補正処理（乗算処理）が施されているので、重畳画像における違和感が軽減されている。
【００６２】
さらに、画像処理部１８は、全体画面特徴抽出部１６により抽出された、現実空間の画像におけるノイズの分布に関する特徴に基づきオブジェクトの画像を補正処理することができる。具体的には、画像処理部１８は、全体画面特徴抽出部１６から、ノイズの密度といった情報を含むノイズの分布情報を取得する。そして、画像処理部１８は、取得したノイズの分布情報に従って、補正対象のオブジェクトに対して、ノイズを付加する画像処理を実施する。ノイズは、例えば、所定のサイズを有する白色の点をオブジェクトに重畳することにより表される。この画像処理により、オブジェクトは、現実空間の画像全体と同様のノイズを有することとなる。
【００６３】
図１４（ｂ）は、画像処理部１８による補正処理が実施されていない場合の重畳画像の例を示す図である。図１４（ｂ）に示すように、オブジェクトＶ５Ａは、現実空間の画像全体に発生したノイズの状態が反映されていないので、違和感のある重畳画像となる。一方、図１４（ｃ）は、画像処理部１８によるノイズの分布情報による補正処理が実施された場合の重畳画像の例を示す図である。図１３（ｃ）に示すように、オブジェクトＶ５Ｂは、現実空間の画像全体に発生したノイズと同様のノイズが付加される補正処理が施されているので、重畳画像における違和感が軽減されている。
【００６４】
なお、ノイズの分布情報による補正は、前述の支配的な色成分による色調補正と併せて実施してもよいし、平均の色調による色調補正と併せて実施してもよい。
【００６５】
上述のように、画像処理部１８は、色調変化量測定部１５や全体画面特徴抽出部１６から取得した補正色情報に基づいて、オブジェクトの色調を補正し、重畳画像を表示部１９へ送出する。このようにして、表示部１９に重畳画像が表示される。
【００６６】
続いて、オブジェクト表示装置１におけるオブジェクト表示方法の処理内容を説明する。図１５〜１７は、オブジェクト表示方法の処理内容を示すフローチャートである。
【００６７】
まず、図１５のフローチャートを参照すると、オブジェクト表示装置１は、仮想オブジェクトの画像補正機能がＯＮに設定されているか否かを判定する（Ｓ１）。画像補正機能がＯＮに設定されていると判定された場合には、処理手順はステップＳ２に進められる。一方、画像補正機能がＯＮに設定されていると判定されなかった場合には、処理手順はステップＳ９に進められ、仮想オブジェクトの補正は実施されない。
【００６８】
ステップＳ２において、撮影部１１は、現実空間の画像を取得する（Ｓ２）。続いて、画像特徴抽出部１２の特徴領域検知部１４は、現実空間の画像から特徴物の検出を試み（Ｓ３）、特徴物が検出されたか否かを判定する（Ｓ４）。特徴物が検出されたと判定された場合には、処理手順はステップＳ５に進められる。一方、特徴物が検出されたと判定されなかった場合には、処理手順は図１０に示されるフローチャートのステップＳ１０に進められる。
【００６９】
ステップＳ５において、画像特徴抽出部１２の色調変化量測定部１５は、特徴領域情報記憶部１３を参照して特徴領域検知部１４において抽出された特徴物の色調の変化量の抽出を試み、特徴物の色調に変化があるか否かを判定する（Ｓ５）。特徴物の色調に変化があると判定した場合には、処理手順はステップＳ６に進められる。一方、特徴物の色調に変化があると判定しなかった場合には、処理手順はステップＳ９に進められ、仮想オブジェクトの補正は実施されない。
【００７０】
ステップＳ６において、画像特徴抽出部１２は、色調の変化が検出された特徴物が複数であるか否かを判定する（Ｓ６）。特徴物が複数であると判定された場合には、処理手順はステップＳ７に進められる。一方、特徴物が複数であると判定されなかった場合には、処理手順はステップＳ８に進められる。
【００７１】
ステップＳ７において、画像処理部１８は、複数の特徴物の色調の変化量に基づき、仮想オブジェクト記憶部１７から取得したオブジェクトの画像を補正処理する（Ｓ７）。一方、ステップＳ８において、画像処理部１８は、一の特徴物の色調の変化量に基づき、仮想オブジェクト記憶部１７から取得したオブジェクトの画像を補正処理する（Ｓ８）。また、ステップＳ９において、画像処理部１８は、オブジェクトに対する補正処理を実施しない。
【００７２】
続いて、図１６を参照して、ステップＳ４において特徴物が検出されたと判定されなかった場合の処理を説明する。ステップＳ１０において、画像特徴抽出部１２の全体画面特徴抽出部１６は、現実空間の画像全体から、画像に関する特徴の抽出を試みる（Ｓ１０）。ここで抽出される特徴は、現実空間の画像全体の色調に関する特徴、及びノイズの分布に関する特徴を含む。現実空間の画像全体から特徴が抽出された場合には、処理手順はステップＳ１２に進められる。一方、現実空間の画像全体から特徴が抽出されなかった場合には、処理手順はステップＳ１３に進められ、仮想オブジェクトの補正は実施されない。
【００７３】
ステップＳ１２において、画像処理部１８は、全体画面特徴抽出部１６により抽出された現実空間の画像全体の特徴に基づきオブジェクトの画像を補正処理する（Ｓ１２）。ステップＳ１２における補正処理は、画像全体における支配的な色成分や画像全体の色調の平均の色調といった色調に基づく補正及び画像全体におけるノイズ分布に基づく補正を含む。また、色調に基づく補正及びノイズ分布に基づく補正の両方が実施されることとしてもよい。
【００７４】
次に、図１７を参照して、図１５におけるステップＳ７の処理を詳細に説明する。まず、画像処理部１８は、複数の特徴物の色調の変化量を比較し（Ｓ１４）、変化量の差分が所定量より大きいか否かを判定する（Ｓ１５）。変化量の差分が所定量より大きいと判定された場合には、処理手順はステップＳ１６に進められる。一方、変化量の差分が所定量より大きいと判定されなかった場合には、処理手順はステップＳ１９に進められる。
【００７５】
ステップＳ１６において、画像処理部１８は、特徴物とオブジェクトの位置が所定距離以内か否かを判定する（Ｓ１６）。特徴物とオブジェクトの位置が所定距離以内であると判定された場合には，処理手順はステップＳ１７に進められる。一方、特徴物とオブジェクトの位置が所定距離以内であると判定されなかった場合には，処理手順はステップＳ１８に進められる。
【００７６】
ステップＳ１７において、画像処理部１８は、色調補正対象のオブジェクトのより近傍に位置する特徴物の色調の変化量に基づく色調の補正を当該オブジェクトに対して実施する（Ｓ１７）。一方、ステップＳ１８において、画像処理部１８は、オブジェクトを特徴物のそれぞれにより近い第１の領域及び第２の領域に分割し、領域ごとに各々の領域の近傍に位置する特徴物の色調の変化量基づき色調補正する（Ｓ１８）。
【００７７】
また、ステップＳ１９において、画像処理部１８は、特徴物とオブジェクトの位置が所定距離以内か否かを判定する（Ｓ１９）。特徴物とオブジェクトの位置が所定距離以内であると判定された場合には，処理手順はステップＳ２０に進められる。一方、特徴物とオブジェクトの位置が所定距離以内であると判定されなかった場合には，処理手順はステップＳ２１に進められる。
【００７８】
ステップＳ２０において、画像処理部１８は、各特徴物の色調の変化量に基づきオブジェクトにグラデーション処理を実施する（Ｓ２０）。一方、ステップＳ２１において、画像処理部１８は、複数の特徴物の色調の変化量の平均変化量に基づく色調の補正をオブジェクトに対して実施する（Ｓ２１）。
【００７９】
そして、ステップＳ７〜Ｓ９，Ｓ１２〜Ｓ１３，Ｓ１７〜Ｓ１８，Ｓ２０〜Ｓ２１の処理手順を経て、画像処理部１８は、現実空間の画像にオブジェクトを重畳した重畳画像を生成し、表示部１９は、画像処理部１８により生成された重畳画像を表示する。
【００８０】
本実施形態では、画像特徴抽出部１２は、複数の特徴物（特徴領域）の色調の変化量を取得するための特徴領域検知部１４及び色調変化量測定部１５、並びに現実空間の画像全体の特徴を抽出するための全体画面特徴抽出部１６を有することとしているが、特徴領域検知部１４及び色調変化量測定部１５と、全体画面特徴抽出部１６とのうちのいずれか一方を備えることとしてもよい。即ち、画像処理部１８は、複数の特徴物の色調の変化量及び現実空間の画像全体の特徴のいずれか一方に基づき、オブジェクトの画像の補正処理を実施することとしてもよい。
【００８１】
図１８は、複数の特徴物の色調の変化量に基づき、オブジェクトの画像の補正処理を実施する処理を示すフローチャートである。ステップＳ３１〜Ｓ３３の処理は、図１５のフローチャートにおけるＳ１〜Ｓ３の処理と同様である。続くステップＳ３４において、特徴領域検知部１４は、特徴物が検出されたか否かを判定する（Ｓ３４）。特徴物が検出されたと判定された場合には、処理手順はステップＳ３５に進められ、画像処理部１８は、ステップＳ５〜９と同様の処理内容であるステップＳ３５〜Ｓ３９において、複数の特徴物の色調の変化量に基づくオブジェクトの補正処理を実施する。
【００８２】
一方、ステップＳ３４において特徴物が検出されたと判定されなかった場合には、処理手順はステップＳ３９に進められ、仮想オブジェクトの補正処理は実施されない。図１８のフローチャートにより説明した処理では、オブジェクト表示装置１は、特徴物の色調に関する情報を有しており、このような特徴物の色調の変化に基づきオブジェクトの色調を補正するので、容易に補正処理を実施できる。
【００８３】
一方、図１９は、現実空間の画像全体の特徴に基づき、オブジェクトの画像の補正処理を実施する処理を示すフローチャートである。まず、オブジェクト表示装置１は、仮想オブジェクトの画像補正機能がＯＮに設定されているか否かを判定する（Ｓ４１）。画像補正機能がＯＮに設定されていると判定された場合には、処理手順はステップＳ４２に進められる。一方、画像補正機能がＯＮに設定されていると判定されなかった場合には、処理手順はステップＳ４６に進められ、仮想オブジェクトの補正は実施されない。
【００８４】
ステップＳ４２において、撮影部１１は、現実空間の画像を取得する（Ｓ４２）。続いて、画像特徴抽出部１２の全体画面特徴抽出部１６は、現実空間の画像全体から、画像に関する特徴の抽出を試みる（Ｓ４３）。ここで抽出される特徴は、現実空間の画像全体の色調に関する特徴、及びノイズの分布に関する特徴を含む。現実空間の画像全体から特徴が抽出された場合には、処理手順はステップＳ４５に進められる（Ｓ４４）。
【００８５】
一方、現実空間の画像全体から特徴が抽出されなかった場合には（Ｓ４４）、処理手順はステップＳ４６に進められ、仮想オブジェクトの補正は実施されない。ステップＳ４５において、画像処理部１８は、全体画面特徴抽出部１６により抽出された現実空間の画像全体の特徴に基づきオブジェクトの画像を補正処理する（Ｓ４５）。図１９のフローチャートにより説明した処理では、オブジェクト表示装置１は、現実空間の画像全体の色調等に基づきオブジェクトの補正処理を実施するので、重畳画像におけるオブジェクトの違和感が軽減される。
【００８６】
次に、コンピュータを、本実施形態のオブジェクト表示装置１として機能させるためのオブジェクト表示プログラムについて説明する。図２０は、図１に示したオブジェクト表示装置１に対応するオブジェクト表示プログラム１ｍの構成を示す図である。
【００８７】
オブジェクト表示プログラム１ｍは、オブジェクト表示処理を統括的に制御するメインモジュール１０ｍ、撮影モジュール１１ｍ、画像特徴抽出モジュール１２ｍ、特徴領域情報記憶モジュール１３ｍ、仮想オブジェクト記憶モジュール１７ｍ、画像処理モジュール１８ｍ、表示モジュール１９ｍ及び色調データ記憶モジュール２０ｍを備えて構成される。また、画像特徴抽出モジュール１２ｍは、特徴領域検知モジュール１４ｍ、色調変化量測定モジュール１５ｍ及び全体画面特徴抽出モジュール１６ｍを含む。そして、各モジュール１０ｍ〜２０ｍにより、オブジェクト表示装置１における各機能部１１〜２０のための各機能が実現される。なお、オブジェクト表示プログラム１ｍは、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１１に示されるように、記録媒体１ｄのプログラム格納領域１ｒに記憶される態様であってもよい。
【００８８】
本実施形態のオブジェクト表示装置１、オブジェクト表示方法及びオブジェクト表示プログラム１ｍによれば、撮影部１１により取得された現実空間の画像から、画像特徴抽出部１２により、複数の特徴物又は現実空間の画像全体から画像に関する所定の特徴が抽出される。そして、画像に関する特徴に基づきオブジェクトの画像が補正処理されるので、オブジェクトの画像に対して現実空間の画像の特徴が適切に反映される。従って、現実空間の画像にオブジェクトを重畳表示させた重畳画像におけるオブジェクトの画像の違和感が軽減される。
【００８９】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【符号の説明】
【００９０】
１…オブジェクト表示装置、１ｄ…記録媒体、１ｍ…オブジェクト表示プログラム、１ｒ…プログラム格納領域、１０ｍ…メインモジュール、１１…撮影部、１１ｍ…撮影モジュール、１２…画像特徴抽出部、１２ｍ…画像特徴抽出モジュール、１３…特徴領域情報記憶部、１３ｍ…特徴領域情報記憶モジュール、１４…特徴領域検知部、１４ｍ…特徴領域検知モジュール、１５…色調変化量測定部、１５ｍ…色調変化量測定モジュール、１６…全体画面特徴抽出部、１６ｍ…全体画面特徴抽出モジュール、１７…仮想オブジェクト記憶部、１７ｍ…仮想オブジェクト記憶モジュール、１８…画像処理部、１８ｍ…画像処理モジュール、１９…表示部、１９ｍ…表示モジュール、２０…色調データ記憶部、２０ｍ…色調データ記憶モジュール。
【特許請求の範囲】
【請求項１】
現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置であって、
現実空間の画像を取得する撮影手段と、
前記撮影手段により取得された現実空間の画像から検出された複数の所定の特徴領域又は前記現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段により抽出された所定の特徴に基づき、前記オブジェクトの画像を補正処理する画像処理手段と、
前記画像処理手段により補正処理されたオブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示手段と
を備えるオブジェクト表示装置。
【請求項２】
前記画像特徴抽出手段は、
前記特徴領域が検出されなかった場合に、前記現実空間の画像全体から所定の特徴を抽出する、
請求項１に記載のオブジェクト表示装置。
【請求項３】
少なくとも前記特徴領域の色調に関する特徴領域情報を当該特徴領域に対応付けて記憶している特徴領域情報記憶手段を備え、
前記画像特徴抽出手段は、前記特徴領域情報記憶手段に記憶された色調に対する、前記現実空間の画像における複数の前記特徴領域の色調の変化量を抽出し、
前記画像処理手段は、前記画像特徴抽出手段により抽出された色調の変化量に基づき前記オブジェクトの画像を補正処理する、
請求項１または２に記載のオブジェクト表示装置。
【請求項４】
前記画像処理手段は、前記現実空間の画像における前記特徴領域の位置に対する前記オブジェクトの重畳位置に応じて、前記オブジェクトの画像を補正処理する、
請求項３に記載のオブジェクト表示装置。
【請求項５】
前記画像特徴抽出手段は、前記現実空間の画像全体の色調に関する特徴を抽出し、
前記画像処理手段は、前記画像特徴抽出手段により抽出された現実空間の画像全体の色調に関する特徴に基づき補正処理する
請求項１〜４のいずれか１項に記載のオブジェクト表示装置。
【請求項６】
前記画像特徴抽出手段は、前記現実空間の画像におけるノイズの分布に関する特徴を抽出し、
前記画像処理手段は、前記画像特徴抽出手段により抽出された前記ノイズの分布に関する特徴に基づき補正処理する
請求項１〜５のいずれか１項に記載のオブジェクト表示装置。
【請求項７】
現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、
現実空間の画像を取得する撮影ステップと、
前記撮影ステップにおいて取得された現実空間の画像から検出された複数の特徴領域又は前記現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出ステップと、
前記画像特徴抽出ステップにおいて抽出された所定の特徴に基づき、前記オブジェクトの画像を補正処理する画像処理ステップと、
前記画像処理ステップにおいて補正処理されたオブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示ステップと
を有するオブジェクト表示方法。
【請求項８】
コンピュータを、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、
前記コンピュータに、
現実空間の画像を取得する撮影機能と、
前記撮影機能により取得された現実空間の画像から検出された複数の特徴領域又は前記現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出機能と、
前記画像特徴抽出機能により抽出された所定の特徴に基づき、前記オブジェクトの画像を補正処理する画像処理機能と、
前記画像処理機能により補正処理されたオブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示機能と
を実現させるオブジェクト表示プログラム。
【請求項１】
現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置であって、
現実空間の画像を取得する撮影手段と、
前記撮影手段により取得された現実空間の画像から検出された複数の所定の特徴領域又は前記現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出手段と、
前記画像特徴抽出手段により抽出された所定の特徴に基づき、前記オブジェクトの画像を補正処理する画像処理手段と、
前記画像処理手段により補正処理されたオブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示手段と
を備えるオブジェクト表示装置。
【請求項２】
前記画像特徴抽出手段は、
前記特徴領域が検出されなかった場合に、前記現実空間の画像全体から所定の特徴を抽出する、
請求項１に記載のオブジェクト表示装置。
【請求項３】
少なくとも前記特徴領域の色調に関する特徴領域情報を当該特徴領域に対応付けて記憶している特徴領域情報記憶手段を備え、
前記画像特徴抽出手段は、前記特徴領域情報記憶手段に記憶された色調に対する、前記現実空間の画像における複数の前記特徴領域の色調の変化量を抽出し、
前記画像処理手段は、前記画像特徴抽出手段により抽出された色調の変化量に基づき前記オブジェクトの画像を補正処理する、
請求項１または２に記載のオブジェクト表示装置。
【請求項４】
前記画像処理手段は、前記現実空間の画像における前記特徴領域の位置に対する前記オブジェクトの重畳位置に応じて、前記オブジェクトの画像を補正処理する、
請求項３に記載のオブジェクト表示装置。
【請求項５】
前記画像特徴抽出手段は、前記現実空間の画像全体の色調に関する特徴を抽出し、
前記画像処理手段は、前記画像特徴抽出手段により抽出された現実空間の画像全体の色調に関する特徴に基づき補正処理する
請求項１〜４のいずれか１項に記載のオブジェクト表示装置。
【請求項６】
前記画像特徴抽出手段は、前記現実空間の画像におけるノイズの分布に関する特徴を抽出し、
前記画像処理手段は、前記画像特徴抽出手段により抽出された前記ノイズの分布に関する特徴に基づき補正処理する
請求項１〜５のいずれか１項に記載のオブジェクト表示装置。
【請求項７】
現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、
現実空間の画像を取得する撮影ステップと、
前記撮影ステップにおいて取得された現実空間の画像から検出された複数の特徴領域又は前記現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出ステップと、
前記画像特徴抽出ステップにおいて抽出された所定の特徴に基づき、前記オブジェクトの画像を補正処理する画像処理ステップと、
前記画像処理ステップにおいて補正処理されたオブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示ステップと
を有するオブジェクト表示方法。
【請求項８】
コンピュータを、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、
前記コンピュータに、
現実空間の画像を取得する撮影機能と、
前記撮影機能により取得された現実空間の画像から検出された複数の特徴領域又は前記現実空間の画像全体の、画像に関する所定の特徴を抽出する画像特徴抽出機能と、
前記画像特徴抽出機能により抽出された所定の特徴に基づき、前記オブジェクトの画像を補正処理する画像処理機能と、
前記画像処理機能により補正処理されたオブジェクトの画像を、前記現実空間の画像に重畳した重畳画像を表示する表示機能と
を実現させるオブジェクト表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図５】
【図１０】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図６】
【図７】
【図８】
【図９】
【図１１】
【図１２】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図５】
【図１０】
【図１３】
【図１４】
【公開番号】特開２０１３−２５３２９（Ｐ２０１３−２５３２９Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５６０５３（Ｐ２０１１−１５６０５３）
【出願日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月１４日（２０１１．７．１４）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]