オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
【課題】ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた際の違和感を軽減する。
【解決手段】オブジェクト表示装置１は、撮像部１３が現実空間の画像の取得に際して参照する撮像情報に基づき、オブジェクトを加工する仮想オブジェクト加工部１５と、加工されたオブジェクトを現実空間の画像に重畳する画像合成部１６及び重畳画像を表示する表示部１７を備える。これにより、現実空間の画像の特徴が、重畳されるオブジェクトに反映される。従って、現実空間の画像にオブジェクトを重畳表示させた際の違和感が軽減される。
【解決手段】オブジェクト表示装置１は、撮像部１３が現実空間の画像の取得に際して参照する撮像情報に基づき、オブジェクトを加工する仮想オブジェクト加工部１５と、加工されたオブジェクトを現実空間の画像に重畳する画像合成部１６及び重畳画像を表示する表示部１７を備える。これにより、現実空間の画像の特徴が、重畳されるオブジェクトに反映される。従って、現実空間の画像にオブジェクトを重畳表示させた際の違和感が軽減される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムに関する。
【背景技術】
【０００２】
近年において、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術を用いたサービスが開発・提供されている。例えば、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像に種々の情報や画像を含むオブジェクトを重畳表示する技術が知られている。また、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている。一方、オブジェクトを現実空間の画像に重畳する際の、オブジェクトの色調を考慮するための技術として現実空間に配置されたマーカの色調に基づきオブジェクトの色調を補正する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７０３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、通常のＡＲ技術では、撮影した現実空間の画像にオブジェクトの画像や３Ｄのオブジェクトを単に重畳させるのみであったので、両画像の画質等の相違に起因して合成された画像に違和感が生じる場合があった。また、特許文献１に記載される技術では、特定のマーカが必要であると共に、そのマーカの色調に関する情報を端末が予め保持する必要があり、その実施は容易ではなかった。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたものであり、ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた際の違和感を容易に軽減することが可能なオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のオブジェクト表示装置は、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置であって、表示されるオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得手段と、現実空間の画像を取得する撮像手段と、撮像手段が現実空間の画像の取得に際して参照する撮像情報を取得する撮像情報取得手段と、撮像情報取得手段により取得された撮像情報に基づき、オブジェクト情報取得手段により取得されたオブジェクトを加工するオブジェクト加工手段と、撮像手段により取得された現実空間の画像に、オブジェクト加工手段により加工されたオブジェクトを重畳した画像を生成する画像合成手段と、画像合成手段により生成された画像を表示する表示手段とを備えることを特徴とする。
【０００７】
また、上記課題を解決するために、本発明のオブジェクト表示方法は、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、表示されるオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得ステップと、現実空間の画像を取得する撮像ステップと、撮像ステップにおける現実空間の画像の取得に際して参照される撮像情報を取得する撮像情報取得ステップと、撮像情報取得ステップにおいて取得された撮像情報に基づき、オブジェクト情報取得ステップにおいて取得されたオブジェクトを加工するオブジェクト加工ステップと、撮像ステップにおいて取得された現実空間の画像に、オブジェクト加工ステップにおいて加工されたオブジェクトを重畳した画像を生成する画像合成ステップと、画像合成ステップにおいて生成された画像を表示する表示ステップとを有することを特徴とする。
【０００８】
また、上記課題を解決するために、本発明のオブジェクト表示プログラムは、コンピュータを、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、コンピュータに、表示されるオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得機能と、現実空間の画像を取得する撮像機能と、撮像機能が現実空間の画像の取得に際して参照する撮像情報を取得する撮像情報取得機能と、撮像情報取得機能により取得された撮像情報に基づき、オブジェクト情報取得機能により取得されたオブジェクトを加工するオブジェクト加工機能と、撮像機能により取得された現実空間の画像に、オブジェクト加工機能により加工されたオブジェクトを重畳した画像を生成する画像合成機能と、画像合成機能により生成された画像を表示する表示機能とを実現させることを特徴とする。
【０００９】
本発明のオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムによれば、撮像手段が現実空間の画像の取得に際して参照する撮像情報に基づきオブジェクトが加工され、加工されたオブジェクトが現実空間の画像に重畳及び表示されるので、取得された現実空間の画像の特徴が表示されたオブジェクトに反映される。従って、現実空間の画像にオブジェクトを重畳表示させた際の違和感が容易に軽減される。
【００１０】
また、本発明のオブジェクト表示装置は、当該オブジェクト表示装置の所在位置を測定する位置測定手段と、オブジェクト距離算出手段とを更に備え、オブジェクト情報は、当該オブジェクトの現実空間における配置位置を示す位置情報を含み、撮像情報は、焦点距離を含み、オブジェクト距離算出手段は、オブジェクト情報取得手段により取得されたオブジェクトの位置情報、及び位置測定手段により測定されたオブジェクト表示装置の所在位置に基づき、当該オブジェクト表示装置からオブジェクトまでの距離を算出し、オブジェクト加工手段は、撮像情報取得手段により取得された撮像情報に含まれる焦点距離と、オブジェクト距離算出手段により算出されたオブジェクトまでの距離との差に応じて、当該オブジェクトに対して、撮像対象が焦点距離からずれた位置に存在する場合に取得される画像を模すためのぼかし加工をすることを特徴とする。
【００１１】
上記構成によれば、撮像手段が用いた焦点距離により、現実空間の画像における焦点が合わない位置にオブジェクトが所在する場合に、当該オブジェクトに対していわゆるぼかし加工が施される。ぼかし加工は、撮像対象が焦点距離からずれた位置に存在する場合に取得される画像を模すための画像加工処理である。これにより、現実空間における焦点が合っていない領域に、ぼかし加工が施されたオブジェクトが重畳されるので、違和感の軽減された重畳画像が得られる。
【００１２】
また、本発明のオブジェクト表示装置では、撮像情報は、現実空間の画像を取得する際の画質に関わる設定値を含み、オブジェクト加工手段は、撮像情報取得手段により取得された撮像情報に含まれる設定値に応じて、オブジェクトを加工することを特徴とする。
【００１３】
上記構成によれば、撮像手段における、現実空間の画像の画質に関わる設定値に応じてオブジェクトが加工されるので、取得された現実空間の画像の画質が、加工されたオブジェクトの画質に反映される。従って、現実空間の画像にオブジェクトを重畳表示させた際の違和感が軽減される。
【００１４】
また、本発明のオブジェクト表示装置では、撮像情報は、撮像手段における受光感度を決定する受光感度情報を含み、オブジェクト加工手段は、撮像情報取得手段により取得された撮像情報に含まれる受光感度情報に応じて、オブジェクトに所定のノイズを付加するノイズ加工を実施することを特徴とする。
【００１５】
撮像手段により取得される画像には、撮像手段における受光感度に応じてノイズが発生する場合がある。上記構成によれば、現実空間の画像に発生したノイズと同様のノイズが受光感度情報に応じてオブジェクトに付加されるので、現実空間の画像にオブジェクトを重畳表示させた際の違和感が軽減される。
【００１６】
また、本発明のオブジェクト表示装置では、撮像情報は、撮像手段において取得される画像の色調を補正する色調補正情報を含み、オブジェクト加工手段は、撮像情報取得手段により取得された撮像情報に含まれる色調補正情報に応じて、オブジェクトの色調を補正する色調補正加工を実施することを特徴とする。
【００１７】
この場合には、撮像手段が画像の取得に用いる色調補正情報に応じてオブジェクトの色調を補正する加工が実施される。これにより、オブジェクトの色調が、撮像手段により取得された現実空間の画像の色調に近づけられる。従って、現実空間の画像にオブジェクトを重畳表示させた際の違和感が軽減される。
【発明の効果】
【００１８】
ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた際の違和感を容易に軽減することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】オブジェクト表示装置の機能的構成を示すブロック図である。
【図２】オブジェクト表示装置のハードブロック図である。
【図３】仮想オブジェクト格納部の構成及び記憶されているデータの例を示す図である。
【図４】現実空間の画像に仮想オブジェクトが重畳された画像の例を示す図である。
【図５】現実空間の画像に仮想オブジェクトが重畳された画像の例を示す図である。
【図６】オブジェクト表示方法の処理内容を示すフローチャートである。
【図７】第２実施形態のオブジェクト表示装置の機能的構成を示すブロック図である。
【図８】第２実施形態の仮想オブジェクト格納部の構成及び記憶されているデータの例を示す図である。
【図９】第２実施形態における、現実空間の画像に仮想オブジェクトが重畳された画像の例を示す図である。
【図１０】第２実施形態のオブジェクト表示方法の処理内容を示すフローチャートである。
【図１１】第２実施形態のオブジェクト表示方法の処理内容を示すフローチャートである。
【図１２】第１実施形態におけるオブジェクト表示プログラムの構成を示す図である。
【図１３】第２実施形態におけるオブジェクト表示プログラムの構成を示す図である。
【発明を実施するための形態】
【００２０】
本発明に係るオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００２１】
（第１実施形態）
図１は、オブジェクト表示装置１の機能的構成を示すブロック図である。本実施形態のオブジェクト表示装置１は、現実空間の画像にオブジェクトを重畳表示する装置であって、例えば、移動体通信網を介した通信が可能な携帯端末である。
【００２２】
移動端末等の装置を用いたＡＲ技術によるサービスとしては、例えば、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示するものがある。また、同様のサービスとしては、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像中の位置に対応付けてオブジェクトを重畳表示するものがある。本実施形態では、オブジェクト表示装置１が前者のサービスの提供を受けるものとして以降の説明を記すが、これには限定されない。
【００２３】
図１に示すように、オブジェクト表示装置１は、機能的には、仮想オブジェクト格納部１１、仮想オブジェクト抽出部１２（オブジェクト情報取得手段）、撮像部１３（撮像手段）、カメラ情報取得部１４（撮像情報取得手段）、仮想オブジェクト加工部１５（オブジェクト加工手段）、画像合成部１６（画像合成手段）及び表示部１７（表示手段）を備える。
【００２４】
図２は、オブジェクト表示装置１のハードウエア構成図である。オブジェクト表示装置１は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図１に示した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。再び、図１を参照し、オブジェクト表示装置１の各機能部について詳細に説明する。
【００２５】
仮想オブジェクト格納部１１は、仮想オブジェクトに関する情報である仮想オブジェクト情報を記憶している記憶手段である。図３は、仮想オブジェクト格納部１１の構成及び記憶されているデータの例を示す図である。図３に示すように、仮想オブジェクト情報は、オブジェクトを識別するオブジェクトＩＤに対応付けられたオブジェクトデータ、マーカ情報といったデータを含む。
【００２６】
オブジェクトデータは、例えば、オブジェクトの画像データである。また、オブジェクトデータは、当該オブジェクトを表すための３Ｄオブジェクトのデータであってもよい。マーカ情報は、当該オブジェクトが対応付けられたマーカに関する情報であって、例えば、当該マーカの画像データまたは３Ｄオブジェクトデータを含む。即ち、本実施形態では、マーカ情報により表されるマーカが現実空間の画像から抽出された場合に、当該マーカ情報に対応付けられたオブジェクトが、現実空間の画像中のマーカに対応付けられて、重畳表示される。
【００２７】
仮想オブジェクト抽出部１２は、仮想オブジェクト格納部１１からオブジェクト情報を取得する部分である。具体的には、仮想オブジェクト抽出部１２は、まず、撮像部１３により取得された現実空間の画像からマーカの検出を試みる。マーカに関するマーカ情報は仮想オブジェクト格納部１１に記憶されているので、仮想オブジェクト抽出部１２は、仮想オブジェクト格納部１１からマーカ情報を取得し、取得したマーカ情報に基づき現実空間の画像を探索し、マーカの抽出を試みる。現実空間の画像からマーカが検出された場合には、仮想オブジェクト抽出部１２は、仮想オブジェクト格納部１１において当該マーカに対応付けられたオブジェクト情報を抽出する。
【００２８】
撮像部１３は、現実空間の画像を取得する部分であって、例えばカメラにより構成される。撮像部１３は、現実空間の画像の取得に際して撮像情報を参照する。撮像部１３は、取得した現実空間の画像を仮想オブジェクト抽出部１２及び画像合成部１６に送出する。また、撮像部１３は、カメラ情報取得部１４に撮像情報を送出する。
【００２９】
カメラ情報取得部１４は、撮像部１３が現実空間の画像の取得に際して参照する撮像情報を撮像部１３から取得する部分である。また、カメラ情報取得部１４は、取得した撮像情報を仮想オブジェクト加工部１５に送出する。
【００３０】
撮像情報は、例えば、現実空間の画像を取得する際の画質に関わる設定値を含む。この設定値は、例えば、撮像部１３における受光感度を決定する受光感度情報を含む。受光感度情報は、例えば、いわゆるＩＳＯ感度に例示される。また、設定値は、例えば、撮像部１３において取得される画像の色調を補正する色調補正情報を含む。色調補正情報は、例えば、ホワイトバランスに関する情報を含む。また、色調補正情報は、その他の周知の色調を補正するためのパラメータを含んでも良い。また、撮像情報は、焦点距離及び被写界深度といったパラメータを含んでもよい。
【００３１】
仮想オブジェクト加工部１５は、カメラ情報取得部１４により取得された撮像情報に基づき、仮想オブジェクト抽出部１２により取得されたオブジェクトを加工する部分である。
【００３２】
具体的には、仮想オブジェクト加工部１５は、カメラ情報取得部１４により取得された撮像情報に含まれる設定値に応じてオブジェクトを加工する。続いて、図４及び図５を参照して、オブジェクトの加工処理の例を説明する。
【００３３】
仮想オブジェクト加工部１５は、例えば、カメラ情報取得部１４により取得された撮像情報に含まれる受光感度情報に応じて、オブジェクトに所定のノイズを付加するノイズ加工を実施する。図４は、オブジェクトにノイズ加工処理を実施した場合における画像の表示例を示す図である。一般に、光量が少ない環境下で、高い受光感度により撮像された画像には、ノイズが発生する場合がある。所定のノイズは、かかる状況において発生するノイズを模すものである。仮想オブジェクト加工部１５は、かかる場合に発生するノイズを模した画像パターンをオブジェクトに重畳する画像処理をノイズ加工として実施する。
【００３４】
仮想オブジェクト加工部１５は、例えば、オブジェクトに付加するノイズの形状、量、密度といった情報を受光感度情報の値に対応付けて保持しておくことができる（図示せず）。そして、仮想オブジェクト加工部１５は、カメラ情報取得部１４からの受光感度情報の値に応じたノイズをオブジェクトに付加することができる。
【００３５】
図４（ａ）は、ノイズ加工が実施されていないオブジェクトが重畳された現実空間の画像の例である。図４（ａ）に示すように、ノイズが発生した現実空間の画像に、ノイズが付加されていないオブジェクトＶ１が重畳されているので、オブジェクトＶ１が表示された領域とオブジェクトＶ１以外の領域との間の画質が相違しており、違和感が生じる。
【００３６】
一方、図４（ｂ）は、ノイズ加工が実施されたオブジェクトが重畳された現実空間の画像の例である。図４（ｂ）に示すように、ノイズが発生した現実空間の画像に、ノイズが付加されたオブジェクトＶ２が重畳されているので、オブジェクトＶ２が表示された領域の画質がオブジェクトＶ２以外の領域の画質に近づけられるので、画像全体からの違和感が軽減される。
【００３７】
また、仮想オブジェクト加工部１５は、例えば、カメラ情報取得部１４により取得された撮像情報に含まれる色調補正情報に応じて、オブジェクトの色調を補正する色調補正加工を実施する。
【００３８】
図５は、オブジェクトに色調補正加工処理を実施した場合における画像の表示例を示す図である。一般に、センサにより取得される撮像環境の光量等の情報や、撮像された画像の解析により得られる当該画像の色調に関する情報に基づき、取得された画像の色調を補正処理する技術が知られている。この色調補正のための情報としては、ホワイトバランスに関する情報や、照度情報といったものが例示される。撮像部１３は、かかる色調補正情報を用いて、取得した現実空間の画像の色調を補正し、色調を補正した画像を画像合成部１６に送出している。
【００３９】
仮想オブジェクト加工部１５は、撮像部１３が用いた色調補正情報をカメラ情報取得部１４を介して取得し、取得した色調補正情報に基づきオブジェクトの色調を補正する色調補正加工を実施できる。こうして加工されたオブジェクトの色調は、現実空間の画像の色調と同様または類似した色調となる。
【００４０】
図５（ａ）は、色調補正加工が実施されていないオブジェクトが重畳された現実空間の画像の例である。図５（ａ）に示すように、ある色調処理が施された現実空間の画像に、色調が補正されていないオブジェクトＶ３が重畳されているので、オブジェクトＶ３が表示された領域とオブジェクトＶ３以外の領域の色調が相違しており、違和感が生じる。
【００４１】
一方、図５（ｂ）は、色調補正加工が実施されたオブジェクトが重畳された現実空間の画像の例である。図５（ｂ）に示すように、ある色調処理が施された現実空間の画像に、色調補正加工が実施されたオブジェクトＶ４が重畳されているので、オブジェクトＶ４が表示された領域の色調がオブジェクトＶ４以外の領域の色調に近づけられるので、画像全体からの違和感が軽減される。
【００４２】
画像合成部１６は、撮像部１３により取得された現実空間の画像に、仮想オブジェクト加工部１５により画像加工されたオブジェクトを重畳した画像を生成する部分である。具体的には、画像合成部１６は、現実空間の画像中のマーカの位置により規定される位置にオブジェクトを重畳した重畳画像を生成する。また、画像合成部１６は、生成した重畳画像を表示部１７に送出する。
【００４３】
表示部１７は、画像合成部１６により生成された画像を表示する部分であって、例えばディスプレイといった装置により構成される。
【００４４】
続いて、オブジェクト表示装置１におけるオブジェクト表示方法の処理内容を説明する。図６は、オブジェクト表示方法の処理内容を示すフローチャートである。
【００４５】
まず、オブジェクト表示装置１は、撮像部１３を起動する（Ｓ１）。続いて、撮像部１３は、現実空間の画像を取得する（Ｓ２）。次に、仮想オブジェクト抽出部１２は、仮想オブジェクト格納部１１から取得したマーカ情報に基づき現実空間の画像を探索し、マーカの抽出を試みる（Ｓ３）。そして、マーカが抽出された場合には処理手順はステップＳ４に進められる。一方、マーカが抽出されなかった場合には処理手順はステップＳ１０に進められる。
【００４６】
ステップＳ４において、仮想オブジェクト抽出部１２は、抽出したマーカに対応付けられたオブジェクト情報を仮想オブジェクト格納部１１から取得する（Ｓ４）。次に、カメラ情報取得部１４は、撮像情報を撮像部１３から取得する（Ｓ５）。続いて、仮想オブジェクト加工部１５は、ステップＳ５において取得された撮像情報に基づき、オブジェクトの加工処理が必要か否かを判断する（Ｓ６）。仮想オブジェクト加工部１５は、例えば、取得した撮像情報の値が所定の閾値以上であるか否かといった基準により、オブジェクトの加工処理の要否を判断できる。オブジェクトの加工処理が必要と判断された場合には、処理手順はステップＳ７に進められる。一方、オブジェクトの加工処理が必要と判断されなかった場合には、処理手順はステップＳ９に進められる。
【００４７】
ステップＳ７において、仮想オブジェクト加工部１５は、カメラ情報取得部１４により取得された撮像情報に含まれる設定値に応じて、ノイズ加工及び色調補正加工といった加工処理をオブジェクトに対して実施する（Ｓ７）。
【００４８】
画像合成部１６は、撮像部１３により取得された現実空間の画像に、ステップＳ７において加工処理されたオブジェクトを重畳した重畳画像を生成する（Ｓ８）。一方、ステップＳ９では、画像合成部１６は、撮像部１３により取得された現実空間の画像に、加工処理されていないオブジェクトを重畳した重畳画像を生成する（Ｓ９）。そして、表示部１７は、ステップＳ８またはＳ９において画像合成部１６により生成された重畳画像、またはオブジェクトが重畳されていない現実空間の画像を表示する（Ｓ１０）。
【００４９】
本実施形態のオブジェクト表示装置及びオブジェクト表示方法によれば、撮像部１３が現実空間の画像の取得に際して参照する撮像情報に基づきオブジェクトが加工され、加工されたオブジェクトが現実空間の画像に重畳及び表示されるので、取得された現実空間の画像の特徴が、表示されたオブジェクトに反映される。また、撮像部１３における、現実空間の画像の画質に関わる設定値に応じてオブジェクトが加工されるので、取得された現実空間の画像の画質が、加工されたオブジェクトの画質に反映される。従って、現実空間の画像にオブジェクトを重畳表示させた際の違和感が軽減される。
【００５０】
（第２実施形態）
第２実施形態におけるオブジェクト表示装置１では、ＡＲ技術によるサービスとして、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像中の位置に対応付けてオブジェクトを重畳表示するものを想定しているが、これには限定されない。図７は、第２実施形態におけるオブジェクト表示装置１の機能的構成を示すブロック図である。第２実施形態のオブジェクト表示装置１は、第１実施形態のオブジェクト表示装置１（図１参照）が備えていた各機能部に加えて、位置測定部１８（位置測定手段）、方位測位部１９及び仮想オブジェクト距離算出部２０（オブジェクト距離算出手段）を備える。
【００５１】
位置測定部１８は、オブジェクト表示装置１の所在位置を測位し、測位した所在位置に関する情報を位置情報として取得する部分である。オブジェクト表示装置１の所在位置は、例えば、ＧＰＳ装置といった測位手段により測位される。位置測定部１８は、位置情報を仮想オブジェクト抽出部１２に送出する。
【００５２】
方位測位部１９は、撮像部１３の撮像方位を測位する部分であって、例えば地磁気センサといった装置により構成される。方位測位部１９は、測位した方位情報を仮想オブジェクト抽出部１２に送出する。なお、方位測位部１９は、本発明における必須の構成ではない。
【００５３】
第２実施形態における仮想オブジェクト格納部１１は、第１実施形態における仮想オブジェクト格納部１１とは異なる構成を有する。図８は、第２実施形態における仮想オブジェクト格納部１１の構成及び記憶されているデータの例を示す図である。図８に示すように、仮想オブジェクト情報は、オブジェクトを識別するオブジェクトＩＤに対応付けられたオブジェクトデータ、位置情報といったデータを含む。
【００５４】
オブジェクトデータは、例えば、オブジェクトの画像データである。また、オブジェクトデータは、当該オブジェクトを表すための３Ｄオブジェクトのデータであってもよい。位置情報は、現実空間における当該オブジェクトの配置位置を示す情報であって、例えば、３次元の座標値により表される。
【００５５】
仮想オブジェクト格納部１１は、オブジェクト情報を予め記憶していることとしてもよい。また、仮想オブジェクト格納部１１は、位置測定部１８により取得された位置情報に基づき、オブジェクト情報を記憶、管理しているサーバ（図示せず）から所定の通信手段（図示せず）を介して取得されたオブジェクト情報を蓄積することとしてもよい。この場合には、オブジェクト情報を記憶、管理しているサーバは、オブジェクト表示装置１の周辺に配置された仮想オブジェクトのオブジェクト情報を提供する。
【００５６】
仮想オブジェクト抽出部１２は、オブジェクト表示装置１の所在位置に基づき、仮想オブジェクト格納部１１からオブジェクト情報を取得する。具体的には、仮想オブジェクト抽出部１２は、位置測定部１８により測定された位置情報及び方位測位部１９により測位された方位情報に基づき、表示部１７に表示される現実空間の範囲を判定し、その範囲に配置位置が含まれる仮想オブジェクトを抽出する。表示部１７に表示される現実空間の範囲に複数の仮想オブジェクトの配置位置が含まれる場合には、仮想オブジェクト抽出部１２は、当該複数の仮想オブジェクトを抽出する。
【００５７】
なお、仮想オブジェクト抽出部１２は、方位情報を用いないで仮想オブジェクトの抽出を実施することとしてもよい。仮想オブジェクト抽出部１２は、抽出したオブジェクト情報を仮想オブジェクト距離算出部２０及び仮想オブジェクト加工部１５に送出する。
【００５８】
仮想オブジェクト距離算出部２０は、仮想オブジェクト抽出部１２により取得された仮想オブジェクトの位置情報に基づき、オブジェクト表示装置１から仮想オブジェクトまでの距離を算出する部分である。具体的には、仮想オブジェクト距離算出部２０は、位置測定部１８により測定された位置情報及び仮想オブジェクト情報に含まれる仮想オブジェクトの位置情報に基づき、オブジェクト表示装置１から仮想オブジェクトまでの距離を算出する。また、仮想オブジェクト抽出部１２により複数の仮想オブジェクトが抽出された場合には、仮想オブジェクト距離算出部２０は、オブジェクト表示装置１から各々の仮想オブジェクトまでの距離を算出する。また、仮想オブジェクト距離算出部２０は、算出した距離を仮想オブジェクト加工部１５に送出する。
【００５９】
カメラ情報取得部１４は、撮像部１３が現実空間の画像の取得に際して参照する撮像情報を撮像部１３から取得する。ここで取得される撮像情報は、第１実施形態と同様に、現実空間の画像を取得する際の画質に関わる設定値を含む。この設定値は、例えば、撮像部１３における受光感度を決定する受光感度情報及び色調補正情報を含む。また、撮像情報は、焦点距離及び被写界深度といったパラメータを含む。
【００６０】
仮想オブジェクト加工部１５は、カメラ情報取得部１４により取得された撮像情報に基づき、仮想オブジェクト抽出部１２により取得されたオブジェクトを加工する。第２実施形態における仮想オブジェクト加工部１５も、第１実施形態と同様に、受光感度情報に応じたノイズ加工、及び色調補正情報に応じた色調補正加工を実施できる。
【００６１】
また、第２実施形態における仮想オブジェクト加工部１５は、撮像情報に含まれる焦点距離と、仮想オブジェクト距離算出部２０により算出された仮想オブジェクトまでの距離との差に応じて、当該オブジェクトの画像に対して、撮影対象が焦点距離からずれた位置に存在する場合に取得される画像を模すためのぼかし加工を実施できる。
【００６２】
撮像部１３は、ユーザによる設定等による所定の焦点距離を用いて現実空間の画像を取得するので、取得される画像には、撮像対象までの距離と焦点距離との合致による鮮明な画像の領域と、撮像対象までの距離と焦点距離との不一致による不鮮明な画像の領域とが存在する場合がある。この不鮮明な画像は、いわゆるぼけた画像と言われる場合がある。即ち、仮想オブジェクト加工部１５は、現実空間の画像におけるぼけた画像の領域に重畳されるオブジェクトに対して、当該画像の領域と同程度のボケを施すためのぼかし加工を実施する。仮想オブジェクト加工部１５は、周知の画像処理技術を用いてぼかし加工を実施することができる。以下のその一例を説明する。
【００６３】
仮想オブジェクト加工部１５は、ボケの大きさＢを以下の式（１）により算出できる。
Ｂ＝（ｍＤ／Ｗ）（Ｔ／（Ｌ＋Ｔ）） ・・・（１）
Ｂ：ボケの大きさ
Ｄ：有効口径＝焦点距離／Ｆ値
Ｗ：撮影範囲の対角線長
Ｌ：カメラから被写体までの距離
Ｔ：被写体から背景までの距離
ｍ：許容錯乱円径とイメージセンサの対角線長さの比
仮想オブジェクト加工部１５は、ボケの大きさＢに基づき、ぼかし加工のぼかし量を決定し、仮想オブジェクトのぼかし加工を実施する。なお、仮想オブジェクト加工部１５は、オブジェクト毎のぼかし加工の要否及びぼかし量を、焦点距離に加えて被写界深度を用いて決定することとしてもよい。
【００６４】
図９は、本実施形態において生成される重畳画像の例を示す図である。図９に示される現実空間の画像では、焦点距離が遠方に存在する山の位置に合うように設定されているので、領域Ｒ１の画像は鮮明に取得されている。一方、焦点距離とずれた位置に存在する撮像対象を捉えた領域Ｒ２の画像は、不鮮明であって、いわゆるぼけた画像となっている。かかる場合において、仮想オブジェクト加工部１５は、領域Ｒ１に重畳されるオブジェクトＶ５，Ｖ６に対して、ぼかし加工を実施しない。一方、仮想オブジェクト加工部１５は、領域Ｒ２に重畳されるオブジェクトＶ７に対して、ぼかし加工を実施する。このとき、仮想オブジェクト加工部１５は、オブジェクトＶ７の位置と焦点距離とのずれに基づきぼかし量を設定できる。
【００６５】
画像合成部１６は、撮像部１３により取得された現実空間の画像に、仮想オブジェクト加工部１５により画像加工されたオブジェクトを重畳した重畳画像を生成する。表示部１７は、画像合成部１６により生成された画像を表示する。
【００６６】
続いて、第２実施形態におけるオブジェクト表示装置１におけるオブジェクト表示方法の処理内容を説明する。図１０は、第１実施形態と同様のノイズ加工及び色調補正加工等をオブジェクト表示装置１が実施する場合のオブジェクト表示方法の処理内容を示すフローチャートである。
【００６７】
まず、オブジェクト表示装置１は、撮像部１３を起動する（Ｓ２１）。続いて、撮像部１３は、現実空間の画像を取得する（Ｓ２２）。次に、位置測定部１８は、オブジェクト表示装置１の所在位置を測位し、測位した所在位置に関する情報を位置情報として取得し（Ｓ２３）、取得した位置情報を仮想オブジェクト抽出部１２に送出する。また、ステップＳ２３において、方位測位部１９は、撮像部１３の撮像方位を測位することとしてもよい。
【００６８】
次に、仮想オブジェクト抽出部１２は、オブジェクト表示装置１の位置情報に基づき、表示部１７に表示される現実空間の範囲を判定し、その範囲に配置位置が含まれる仮想オブジェクトの仮想オブジェクト情報を仮想オブジェクト格納部１１から取得する（Ｓ２４）。続いて、仮想オブジェクト抽出部１２は、表示させるべき仮想オブジェクトが有るか否かを判定する（Ｓ２５）。即ち、ステップＳ２４においてオブジェクト情報が取得された場合には、仮想オブジェクト抽出部１２は、表示させるべき仮想オブジェクトが有ると判定する。表示させるべき仮想オブジェクトが有ると判定された場合には、処理手順はステップＳ２６に進められる。一方、表示させるべき仮想オブジェクトが有ると判定されなかった場合には、処理手順はステップＳ３１に進められる。
【００６９】
続くステップＳ２６〜Ｓ３１の処理内容は、第１実施形態の処理内容を示したフローチャート（図６）のステップＳ５〜Ｓ１０と同様である。
【００７０】
次に、図１１のフローチャートを参照して、オブジェクト表示装置１がぼかし加工を実施する場合のオブジェクト表示方法の処理内容を説明する。
【００７１】
まず、図１１のフローチャートにおけるステップＳ４１〜Ｓ４５の処理内容は、図１０のフローチャートにおけるステップＳ２１〜Ｓ２５の処理内容と同様である。
【００７２】
続いて、カメラ情報取得部１４は、撮像部１３が用いた焦点距離を含む撮像情報を取得する（Ｓ４６）。この撮像情報は、被写界深度の情報を含んでいても良い。次に、仮想オブジェクト距離算出部２０は、位置測定部１８により測定された位置情報及び仮想オブジェクト情報に含まれる仮想オブジェクトの位置情報に基づき、オブジェクト表示装置１から仮想オブジェクトまでの距離を算出する（Ｓ４７）。
【００７３】
次に、仮想オブジェクト加工部１５は、オブジェクト毎のぼかし加工の要否を判断する（Ｓ４８）。即ち、仮想オブジェクトの配置位置が現実空間の画像における焦点距離が合わされた領域に含まれる場合には、仮想オブジェクト加工部１５は、当該オブジェクトに対するぼかし加工の必要がないと判断し、仮想オブジェクトの配置位置が現実空間の画像における焦点距離が合わされた領域に含まれない場合には、仮想オブジェクト加工部１５は、当該オブジェクトに対するぼかし加工の必要があると判断する。ぼかし加工の必要があると判断された場合には、処理手順はステップＳ４９に進められる。一方、ぼかし加工の必要があると判断されたオブジェクトがなかった場合には、処理手順はステップＳ５１に進められる。
【００７４】
ステップＳ４９において、仮想オブジェクト加工部１５は、仮想オブジェクトに対してぼかし加工を実施する（Ｓ４９）。続いて、画像合成部１６は、撮像部１３により取得された現実空間の画像に、ステップＳ７において加工処理されたオブジェクトを重畳した重畳画像を生成する（Ｓ５０）。一方、ステップＳ５１では、画像合成部１６は、撮像部１３により取得された現実空間の画像に、加工処理されていないオブジェクトを重畳した重畳画像を生成する（Ｓ５１）。そして、表示部１７は、ステップＳ５０またはＳ５１において画像合成部１６により生成された重畳画像、またはオブジェクトが重畳されていない現実空間の画像を表示する（Ｓ５２）。
【００７５】
以上説明した第２実施形態のオブジェクト表示装置及びオブジェクト表示方法によれば、第１実施形態におけるノイズ加工及び色調補正加工といった加工処理に加えて、撮像部１３が用いた焦点距離により、現実空間の画像における焦点が合わない位置にオブジェクトが所在する場合に、当該オブジェクトに対していわゆるぼかし加工が施される。これにより、現実空間における焦点が合っていない領域に、ぼかし加工が施されたオブジェクトが重畳されるので、違和感の軽減された重畳画像が得られる。
【００７６】
なお、図１０を参照して、撮像情報に含まれる設定値に基づきノイズ加工及び色調補正加工が実施される場合を説明し、図１１を参照して、焦点距離等のパラメータに基づきぼかし加工が実施される場合をそれぞれ説明したが、これらの加工処理が一つのオブジェクトに対して併せて行われることとしてもよい。
【００７７】
次に、コンピュータを、本実施形態のオブジェクト表示装置１として機能させるためのオブジェクト表示プログラムについて説明する。図１２は、図１に示したオブジェクト表示装置１に対応するオブジェクト表示プログラム１ｍの構成を示す図である。
【００７８】
オブジェクト表示プログラム１ｍは、オブジェクト表示処理を統括的に制御するメインモジュール１０ｍ、仮想オブジェクト格納モジュール１１ｍ、仮想オブジェクト抽出モジュール１２ｍ、撮像モジュール１３ｍ、カメラ情報取得モジュール１４ｍ、仮想オブジェクト加工モジュール１５ｍ、画像合成モジュール１６ｍ及び表示モジュール１７ｍを備えて構成される。そして、各モジュール１０ｍ〜１７ｍにより、オブジェクト表示装置１における各機能部１１〜１７のための各機能が実現される。なお、オブジェクト表示プログラム１ｍは、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１２に示されるように、記録媒体１ｄのプログラム格納領域１ｒに記憶される態様であってもよい。
【００７９】
また、図１３は、図７に示したオブジェクト表示装置１に対応するオブジェクト表示プログラム１ｍの構成を示す図である。図１３に示すオブジェクト表示プログラム１ｍは、図１２に示した各モジュール１０ｍ〜１７ｍに加えて、位置測定ジュール１８ｍ、方位測位ジュール１９ｍ及び仮想オブジェクト距離算出ジュール２０ｍを備える。各モジュール１８ｍ〜２０ｍにより、オブジェクト表示装置１における各機能部１８〜２０のための各機能が実現される。
【００８０】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【符号の説明】
【００８１】
１…オブジェクト表示装置、１１…仮想オブジェクト格納部、１２…仮想オブジェクト抽出部、１３…撮像部、１４…カメラ情報取得部、１５…仮想オブジェクト加工部、１６…画像合成部、１７…表示部、１８…位置測定部、１９…方位測位部、２０…仮想オブジェクト距離算出部、１ｍ…オブジェクト表示プログラム、１ｄ…記録媒体、１０ｍ…メインモジュール、１１ｍ…仮想オブジェクト格納モジュール、１２ｍ…仮想オブジェクト抽出モジュール、１３ｍ…撮像モジュール、１４ｍ…カメラ情報取得モジュール、１５ｍ…仮想オブジェクト加工モジュール、１６ｍ…画像合成モジュール、１７ｍ…表示モジュール、１８ｍ…位置測定ジュール、１９ｍ…方位測位ジュール、２０ｍ…仮想オブジェクト距離算出ジュール、Ｖ１，Ｖ２，Ｖ３，Ｖ４，Ｖ５，Ｖ６，Ｖ７…オブジェクト。
【技術分野】
【０００１】
本発明は、オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムに関する。
【背景技術】
【０００２】
近年において、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実）技術を用いたサービスが開発・提供されている。例えば、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像に種々の情報や画像を含むオブジェクトを重畳表示する技術が知られている。また、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示する技術が知られている。一方、オブジェクトを現実空間の画像に重畳する際の、オブジェクトの色調を考慮するための技術として現実空間に配置されたマーカの色調に基づきオブジェクトの色調を補正する技術が知られている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１７０３１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、通常のＡＲ技術では、撮影した現実空間の画像にオブジェクトの画像や３Ｄのオブジェクトを単に重畳させるのみであったので、両画像の画質等の相違に起因して合成された画像に違和感が生じる場合があった。また、特許文献１に記載される技術では、特定のマーカが必要であると共に、そのマーカの色調に関する情報を端末が予め保持する必要があり、その実施は容易ではなかった。
【０００５】
そこで、本発明は、上記問題点に鑑みてなされたものであり、ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた際の違和感を容易に軽減することが可能なオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のオブジェクト表示装置は、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置であって、表示されるオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得手段と、現実空間の画像を取得する撮像手段と、撮像手段が現実空間の画像の取得に際して参照する撮像情報を取得する撮像情報取得手段と、撮像情報取得手段により取得された撮像情報に基づき、オブジェクト情報取得手段により取得されたオブジェクトを加工するオブジェクト加工手段と、撮像手段により取得された現実空間の画像に、オブジェクト加工手段により加工されたオブジェクトを重畳した画像を生成する画像合成手段と、画像合成手段により生成された画像を表示する表示手段とを備えることを特徴とする。
【０００７】
また、上記課題を解決するために、本発明のオブジェクト表示方法は、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、表示されるオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得ステップと、現実空間の画像を取得する撮像ステップと、撮像ステップにおける現実空間の画像の取得に際して参照される撮像情報を取得する撮像情報取得ステップと、撮像情報取得ステップにおいて取得された撮像情報に基づき、オブジェクト情報取得ステップにおいて取得されたオブジェクトを加工するオブジェクト加工ステップと、撮像ステップにおいて取得された現実空間の画像に、オブジェクト加工ステップにおいて加工されたオブジェクトを重畳した画像を生成する画像合成ステップと、画像合成ステップにおいて生成された画像を表示する表示ステップとを有することを特徴とする。
【０００８】
また、上記課題を解決するために、本発明のオブジェクト表示プログラムは、コンピュータを、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、コンピュータに、表示されるオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得機能と、現実空間の画像を取得する撮像機能と、撮像機能が現実空間の画像の取得に際して参照する撮像情報を取得する撮像情報取得機能と、撮像情報取得機能により取得された撮像情報に基づき、オブジェクト情報取得機能により取得されたオブジェクトを加工するオブジェクト加工機能と、撮像機能により取得された現実空間の画像に、オブジェクト加工機能により加工されたオブジェクトを重畳した画像を生成する画像合成機能と、画像合成機能により生成された画像を表示する表示機能とを実現させることを特徴とする。
【０００９】
本発明のオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムによれば、撮像手段が現実空間の画像の取得に際して参照する撮像情報に基づきオブジェクトが加工され、加工されたオブジェクトが現実空間の画像に重畳及び表示されるので、取得された現実空間の画像の特徴が表示されたオブジェクトに反映される。従って、現実空間の画像にオブジェクトを重畳表示させた際の違和感が容易に軽減される。
【００１０】
また、本発明のオブジェクト表示装置は、当該オブジェクト表示装置の所在位置を測定する位置測定手段と、オブジェクト距離算出手段とを更に備え、オブジェクト情報は、当該オブジェクトの現実空間における配置位置を示す位置情報を含み、撮像情報は、焦点距離を含み、オブジェクト距離算出手段は、オブジェクト情報取得手段により取得されたオブジェクトの位置情報、及び位置測定手段により測定されたオブジェクト表示装置の所在位置に基づき、当該オブジェクト表示装置からオブジェクトまでの距離を算出し、オブジェクト加工手段は、撮像情報取得手段により取得された撮像情報に含まれる焦点距離と、オブジェクト距離算出手段により算出されたオブジェクトまでの距離との差に応じて、当該オブジェクトに対して、撮像対象が焦点距離からずれた位置に存在する場合に取得される画像を模すためのぼかし加工をすることを特徴とする。
【００１１】
上記構成によれば、撮像手段が用いた焦点距離により、現実空間の画像における焦点が合わない位置にオブジェクトが所在する場合に、当該オブジェクトに対していわゆるぼかし加工が施される。ぼかし加工は、撮像対象が焦点距離からずれた位置に存在する場合に取得される画像を模すための画像加工処理である。これにより、現実空間における焦点が合っていない領域に、ぼかし加工が施されたオブジェクトが重畳されるので、違和感の軽減された重畳画像が得られる。
【００１２】
また、本発明のオブジェクト表示装置では、撮像情報は、現実空間の画像を取得する際の画質に関わる設定値を含み、オブジェクト加工手段は、撮像情報取得手段により取得された撮像情報に含まれる設定値に応じて、オブジェクトを加工することを特徴とする。
【００１３】
上記構成によれば、撮像手段における、現実空間の画像の画質に関わる設定値に応じてオブジェクトが加工されるので、取得された現実空間の画像の画質が、加工されたオブジェクトの画質に反映される。従って、現実空間の画像にオブジェクトを重畳表示させた際の違和感が軽減される。
【００１４】
また、本発明のオブジェクト表示装置では、撮像情報は、撮像手段における受光感度を決定する受光感度情報を含み、オブジェクト加工手段は、撮像情報取得手段により取得された撮像情報に含まれる受光感度情報に応じて、オブジェクトに所定のノイズを付加するノイズ加工を実施することを特徴とする。
【００１５】
撮像手段により取得される画像には、撮像手段における受光感度に応じてノイズが発生する場合がある。上記構成によれば、現実空間の画像に発生したノイズと同様のノイズが受光感度情報に応じてオブジェクトに付加されるので、現実空間の画像にオブジェクトを重畳表示させた際の違和感が軽減される。
【００１６】
また、本発明のオブジェクト表示装置では、撮像情報は、撮像手段において取得される画像の色調を補正する色調補正情報を含み、オブジェクト加工手段は、撮像情報取得手段により取得された撮像情報に含まれる色調補正情報に応じて、オブジェクトの色調を補正する色調補正加工を実施することを特徴とする。
【００１７】
この場合には、撮像手段が画像の取得に用いる色調補正情報に応じてオブジェクトの色調を補正する加工が実施される。これにより、オブジェクトの色調が、撮像手段により取得された現実空間の画像の色調に近づけられる。従って、現実空間の画像にオブジェクトを重畳表示させた際の違和感が軽減される。
【発明の効果】
【００１８】
ＡＲ技術において、現実空間の画像にオブジェクトを重畳表示させた際の違和感を容易に軽減することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】オブジェクト表示装置の機能的構成を示すブロック図である。
【図２】オブジェクト表示装置のハードブロック図である。
【図３】仮想オブジェクト格納部の構成及び記憶されているデータの例を示す図である。
【図４】現実空間の画像に仮想オブジェクトが重畳された画像の例を示す図である。
【図５】現実空間の画像に仮想オブジェクトが重畳された画像の例を示す図である。
【図６】オブジェクト表示方法の処理内容を示すフローチャートである。
【図７】第２実施形態のオブジェクト表示装置の機能的構成を示すブロック図である。
【図８】第２実施形態の仮想オブジェクト格納部の構成及び記憶されているデータの例を示す図である。
【図９】第２実施形態における、現実空間の画像に仮想オブジェクトが重畳された画像の例を示す図である。
【図１０】第２実施形態のオブジェクト表示方法の処理内容を示すフローチャートである。
【図１１】第２実施形態のオブジェクト表示方法の処理内容を示すフローチャートである。
【図１２】第１実施形態におけるオブジェクト表示プログラムの構成を示す図である。
【図１３】第２実施形態におけるオブジェクト表示プログラムの構成を示す図である。
【発明を実施するための形態】
【００２０】
本発明に係るオブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラムの実施形態について図面を参照して説明する。なお、可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００２１】
（第１実施形態）
図１は、オブジェクト表示装置１の機能的構成を示すブロック図である。本実施形態のオブジェクト表示装置１は、現実空間の画像にオブジェクトを重畳表示する装置であって、例えば、移動体通信網を介した通信が可能な携帯端末である。
【００２２】
移動端末等の装置を用いたＡＲ技術によるサービスとしては、例えば、移動端末のカメラにより取得された現実空間の画像から所定のマーカを検出し、当該マーカに対応付けられたオブジェクトを現実空間の画像に重畳してディスプレイに表示するものがある。また、同様のサービスとしては、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像中の位置に対応付けてオブジェクトを重畳表示するものがある。本実施形態では、オブジェクト表示装置１が前者のサービスの提供を受けるものとして以降の説明を記すが、これには限定されない。
【００２３】
図１に示すように、オブジェクト表示装置１は、機能的には、仮想オブジェクト格納部１１、仮想オブジェクト抽出部１２（オブジェクト情報取得手段）、撮像部１３（撮像手段）、カメラ情報取得部１４（撮像情報取得手段）、仮想オブジェクト加工部１５（オブジェクト加工手段）、画像合成部１６（画像合成手段）及び表示部１７（表示手段）を備える。
【００２４】
図２は、オブジェクト表示装置１のハードウエア構成図である。オブジェクト表示装置１は、物理的には、図２に示すように、ＣＰＵ１０１、主記憶装置であるＲＡＭ１０２及びＲＯＭ１０３、データ送受信デバイスである通信モジュール１０４、ハードディスク、フラッシュメモリ等の補助記憶装置１０５、入力デバイスであるキーボード等の入力装置１０６、ディスプレイ等の出力装置１０７などを含むコンピュータシステムとして構成されている。図１に示した各機能は、図２に示すＣＰＵ１０１、ＲＡＭ１０２等のハードウエア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１０１の制御のもとで通信モジュール１０４、入力装置１０６、出力装置１０７を動作させるとともに、ＲＡＭ１０２や補助記憶装置１０５におけるデータの読み出し及び書き込みを行うことで実現される。再び、図１を参照し、オブジェクト表示装置１の各機能部について詳細に説明する。
【００２５】
仮想オブジェクト格納部１１は、仮想オブジェクトに関する情報である仮想オブジェクト情報を記憶している記憶手段である。図３は、仮想オブジェクト格納部１１の構成及び記憶されているデータの例を示す図である。図３に示すように、仮想オブジェクト情報は、オブジェクトを識別するオブジェクトＩＤに対応付けられたオブジェクトデータ、マーカ情報といったデータを含む。
【００２６】
オブジェクトデータは、例えば、オブジェクトの画像データである。また、オブジェクトデータは、当該オブジェクトを表すための３Ｄオブジェクトのデータであってもよい。マーカ情報は、当該オブジェクトが対応付けられたマーカに関する情報であって、例えば、当該マーカの画像データまたは３Ｄオブジェクトデータを含む。即ち、本実施形態では、マーカ情報により表されるマーカが現実空間の画像から抽出された場合に、当該マーカ情報に対応付けられたオブジェクトが、現実空間の画像中のマーカに対応付けられて、重畳表示される。
【００２７】
仮想オブジェクト抽出部１２は、仮想オブジェクト格納部１１からオブジェクト情報を取得する部分である。具体的には、仮想オブジェクト抽出部１２は、まず、撮像部１３により取得された現実空間の画像からマーカの検出を試みる。マーカに関するマーカ情報は仮想オブジェクト格納部１１に記憶されているので、仮想オブジェクト抽出部１２は、仮想オブジェクト格納部１１からマーカ情報を取得し、取得したマーカ情報に基づき現実空間の画像を探索し、マーカの抽出を試みる。現実空間の画像からマーカが検出された場合には、仮想オブジェクト抽出部１２は、仮想オブジェクト格納部１１において当該マーカに対応付けられたオブジェクト情報を抽出する。
【００２８】
撮像部１３は、現実空間の画像を取得する部分であって、例えばカメラにより構成される。撮像部１３は、現実空間の画像の取得に際して撮像情報を参照する。撮像部１３は、取得した現実空間の画像を仮想オブジェクト抽出部１２及び画像合成部１６に送出する。また、撮像部１３は、カメラ情報取得部１４に撮像情報を送出する。
【００２９】
カメラ情報取得部１４は、撮像部１３が現実空間の画像の取得に際して参照する撮像情報を撮像部１３から取得する部分である。また、カメラ情報取得部１４は、取得した撮像情報を仮想オブジェクト加工部１５に送出する。
【００３０】
撮像情報は、例えば、現実空間の画像を取得する際の画質に関わる設定値を含む。この設定値は、例えば、撮像部１３における受光感度を決定する受光感度情報を含む。受光感度情報は、例えば、いわゆるＩＳＯ感度に例示される。また、設定値は、例えば、撮像部１３において取得される画像の色調を補正する色調補正情報を含む。色調補正情報は、例えば、ホワイトバランスに関する情報を含む。また、色調補正情報は、その他の周知の色調を補正するためのパラメータを含んでも良い。また、撮像情報は、焦点距離及び被写界深度といったパラメータを含んでもよい。
【００３１】
仮想オブジェクト加工部１５は、カメラ情報取得部１４により取得された撮像情報に基づき、仮想オブジェクト抽出部１２により取得されたオブジェクトを加工する部分である。
【００３２】
具体的には、仮想オブジェクト加工部１５は、カメラ情報取得部１４により取得された撮像情報に含まれる設定値に応じてオブジェクトを加工する。続いて、図４及び図５を参照して、オブジェクトの加工処理の例を説明する。
【００３３】
仮想オブジェクト加工部１５は、例えば、カメラ情報取得部１４により取得された撮像情報に含まれる受光感度情報に応じて、オブジェクトに所定のノイズを付加するノイズ加工を実施する。図４は、オブジェクトにノイズ加工処理を実施した場合における画像の表示例を示す図である。一般に、光量が少ない環境下で、高い受光感度により撮像された画像には、ノイズが発生する場合がある。所定のノイズは、かかる状況において発生するノイズを模すものである。仮想オブジェクト加工部１５は、かかる場合に発生するノイズを模した画像パターンをオブジェクトに重畳する画像処理をノイズ加工として実施する。
【００３４】
仮想オブジェクト加工部１５は、例えば、オブジェクトに付加するノイズの形状、量、密度といった情報を受光感度情報の値に対応付けて保持しておくことができる（図示せず）。そして、仮想オブジェクト加工部１５は、カメラ情報取得部１４からの受光感度情報の値に応じたノイズをオブジェクトに付加することができる。
【００３５】
図４（ａ）は、ノイズ加工が実施されていないオブジェクトが重畳された現実空間の画像の例である。図４（ａ）に示すように、ノイズが発生した現実空間の画像に、ノイズが付加されていないオブジェクトＶ１が重畳されているので、オブジェクトＶ１が表示された領域とオブジェクトＶ１以外の領域との間の画質が相違しており、違和感が生じる。
【００３６】
一方、図４（ｂ）は、ノイズ加工が実施されたオブジェクトが重畳された現実空間の画像の例である。図４（ｂ）に示すように、ノイズが発生した現実空間の画像に、ノイズが付加されたオブジェクトＶ２が重畳されているので、オブジェクトＶ２が表示された領域の画質がオブジェクトＶ２以外の領域の画質に近づけられるので、画像全体からの違和感が軽減される。
【００３７】
また、仮想オブジェクト加工部１５は、例えば、カメラ情報取得部１４により取得された撮像情報に含まれる色調補正情報に応じて、オブジェクトの色調を補正する色調補正加工を実施する。
【００３８】
図５は、オブジェクトに色調補正加工処理を実施した場合における画像の表示例を示す図である。一般に、センサにより取得される撮像環境の光量等の情報や、撮像された画像の解析により得られる当該画像の色調に関する情報に基づき、取得された画像の色調を補正処理する技術が知られている。この色調補正のための情報としては、ホワイトバランスに関する情報や、照度情報といったものが例示される。撮像部１３は、かかる色調補正情報を用いて、取得した現実空間の画像の色調を補正し、色調を補正した画像を画像合成部１６に送出している。
【００３９】
仮想オブジェクト加工部１５は、撮像部１３が用いた色調補正情報をカメラ情報取得部１４を介して取得し、取得した色調補正情報に基づきオブジェクトの色調を補正する色調補正加工を実施できる。こうして加工されたオブジェクトの色調は、現実空間の画像の色調と同様または類似した色調となる。
【００４０】
図５（ａ）は、色調補正加工が実施されていないオブジェクトが重畳された現実空間の画像の例である。図５（ａ）に示すように、ある色調処理が施された現実空間の画像に、色調が補正されていないオブジェクトＶ３が重畳されているので、オブジェクトＶ３が表示された領域とオブジェクトＶ３以外の領域の色調が相違しており、違和感が生じる。
【００４１】
一方、図５（ｂ）は、色調補正加工が実施されたオブジェクトが重畳された現実空間の画像の例である。図５（ｂ）に示すように、ある色調処理が施された現実空間の画像に、色調補正加工が実施されたオブジェクトＶ４が重畳されているので、オブジェクトＶ４が表示された領域の色調がオブジェクトＶ４以外の領域の色調に近づけられるので、画像全体からの違和感が軽減される。
【００４２】
画像合成部１６は、撮像部１３により取得された現実空間の画像に、仮想オブジェクト加工部１５により画像加工されたオブジェクトを重畳した画像を生成する部分である。具体的には、画像合成部１６は、現実空間の画像中のマーカの位置により規定される位置にオブジェクトを重畳した重畳画像を生成する。また、画像合成部１６は、生成した重畳画像を表示部１７に送出する。
【００４３】
表示部１７は、画像合成部１６により生成された画像を表示する部分であって、例えばディスプレイといった装置により構成される。
【００４４】
続いて、オブジェクト表示装置１におけるオブジェクト表示方法の処理内容を説明する。図６は、オブジェクト表示方法の処理内容を示すフローチャートである。
【００４５】
まず、オブジェクト表示装置１は、撮像部１３を起動する（Ｓ１）。続いて、撮像部１３は、現実空間の画像を取得する（Ｓ２）。次に、仮想オブジェクト抽出部１２は、仮想オブジェクト格納部１１から取得したマーカ情報に基づき現実空間の画像を探索し、マーカの抽出を試みる（Ｓ３）。そして、マーカが抽出された場合には処理手順はステップＳ４に進められる。一方、マーカが抽出されなかった場合には処理手順はステップＳ１０に進められる。
【００４６】
ステップＳ４において、仮想オブジェクト抽出部１２は、抽出したマーカに対応付けられたオブジェクト情報を仮想オブジェクト格納部１１から取得する（Ｓ４）。次に、カメラ情報取得部１４は、撮像情報を撮像部１３から取得する（Ｓ５）。続いて、仮想オブジェクト加工部１５は、ステップＳ５において取得された撮像情報に基づき、オブジェクトの加工処理が必要か否かを判断する（Ｓ６）。仮想オブジェクト加工部１５は、例えば、取得した撮像情報の値が所定の閾値以上であるか否かといった基準により、オブジェクトの加工処理の要否を判断できる。オブジェクトの加工処理が必要と判断された場合には、処理手順はステップＳ７に進められる。一方、オブジェクトの加工処理が必要と判断されなかった場合には、処理手順はステップＳ９に進められる。
【００４７】
ステップＳ７において、仮想オブジェクト加工部１５は、カメラ情報取得部１４により取得された撮像情報に含まれる設定値に応じて、ノイズ加工及び色調補正加工といった加工処理をオブジェクトに対して実施する（Ｓ７）。
【００４８】
画像合成部１６は、撮像部１３により取得された現実空間の画像に、ステップＳ７において加工処理されたオブジェクトを重畳した重畳画像を生成する（Ｓ８）。一方、ステップＳ９では、画像合成部１６は、撮像部１３により取得された現実空間の画像に、加工処理されていないオブジェクトを重畳した重畳画像を生成する（Ｓ９）。そして、表示部１７は、ステップＳ８またはＳ９において画像合成部１６により生成された重畳画像、またはオブジェクトが重畳されていない現実空間の画像を表示する（Ｓ１０）。
【００４９】
本実施形態のオブジェクト表示装置及びオブジェクト表示方法によれば、撮像部１３が現実空間の画像の取得に際して参照する撮像情報に基づきオブジェクトが加工され、加工されたオブジェクトが現実空間の画像に重畳及び表示されるので、取得された現実空間の画像の特徴が、表示されたオブジェクトに反映される。また、撮像部１３における、現実空間の画像の画質に関わる設定値に応じてオブジェクトが加工されるので、取得された現実空間の画像の画質が、加工されたオブジェクトの画質に反映される。従って、現実空間の画像にオブジェクトを重畳表示させた際の違和感が軽減される。
【００５０】
（第２実施形態）
第２実施形態におけるオブジェクト表示装置１では、ＡＲ技術によるサービスとして、移動端末の所在位置の周辺に配置されたオブジェクトを取得し、移動端末に備えられたカメラにより取得した現実空間の画像中の位置に対応付けてオブジェクトを重畳表示するものを想定しているが、これには限定されない。図７は、第２実施形態におけるオブジェクト表示装置１の機能的構成を示すブロック図である。第２実施形態のオブジェクト表示装置１は、第１実施形態のオブジェクト表示装置１（図１参照）が備えていた各機能部に加えて、位置測定部１８（位置測定手段）、方位測位部１９及び仮想オブジェクト距離算出部２０（オブジェクト距離算出手段）を備える。
【００５１】
位置測定部１８は、オブジェクト表示装置１の所在位置を測位し、測位した所在位置に関する情報を位置情報として取得する部分である。オブジェクト表示装置１の所在位置は、例えば、ＧＰＳ装置といった測位手段により測位される。位置測定部１８は、位置情報を仮想オブジェクト抽出部１２に送出する。
【００５２】
方位測位部１９は、撮像部１３の撮像方位を測位する部分であって、例えば地磁気センサといった装置により構成される。方位測位部１９は、測位した方位情報を仮想オブジェクト抽出部１２に送出する。なお、方位測位部１９は、本発明における必須の構成ではない。
【００５３】
第２実施形態における仮想オブジェクト格納部１１は、第１実施形態における仮想オブジェクト格納部１１とは異なる構成を有する。図８は、第２実施形態における仮想オブジェクト格納部１１の構成及び記憶されているデータの例を示す図である。図８に示すように、仮想オブジェクト情報は、オブジェクトを識別するオブジェクトＩＤに対応付けられたオブジェクトデータ、位置情報といったデータを含む。
【００５４】
オブジェクトデータは、例えば、オブジェクトの画像データである。また、オブジェクトデータは、当該オブジェクトを表すための３Ｄオブジェクトのデータであってもよい。位置情報は、現実空間における当該オブジェクトの配置位置を示す情報であって、例えば、３次元の座標値により表される。
【００５５】
仮想オブジェクト格納部１１は、オブジェクト情報を予め記憶していることとしてもよい。また、仮想オブジェクト格納部１１は、位置測定部１８により取得された位置情報に基づき、オブジェクト情報を記憶、管理しているサーバ（図示せず）から所定の通信手段（図示せず）を介して取得されたオブジェクト情報を蓄積することとしてもよい。この場合には、オブジェクト情報を記憶、管理しているサーバは、オブジェクト表示装置１の周辺に配置された仮想オブジェクトのオブジェクト情報を提供する。
【００５６】
仮想オブジェクト抽出部１２は、オブジェクト表示装置１の所在位置に基づき、仮想オブジェクト格納部１１からオブジェクト情報を取得する。具体的には、仮想オブジェクト抽出部１２は、位置測定部１８により測定された位置情報及び方位測位部１９により測位された方位情報に基づき、表示部１７に表示される現実空間の範囲を判定し、その範囲に配置位置が含まれる仮想オブジェクトを抽出する。表示部１７に表示される現実空間の範囲に複数の仮想オブジェクトの配置位置が含まれる場合には、仮想オブジェクト抽出部１２は、当該複数の仮想オブジェクトを抽出する。
【００５７】
なお、仮想オブジェクト抽出部１２は、方位情報を用いないで仮想オブジェクトの抽出を実施することとしてもよい。仮想オブジェクト抽出部１２は、抽出したオブジェクト情報を仮想オブジェクト距離算出部２０及び仮想オブジェクト加工部１５に送出する。
【００５８】
仮想オブジェクト距離算出部２０は、仮想オブジェクト抽出部１２により取得された仮想オブジェクトの位置情報に基づき、オブジェクト表示装置１から仮想オブジェクトまでの距離を算出する部分である。具体的には、仮想オブジェクト距離算出部２０は、位置測定部１８により測定された位置情報及び仮想オブジェクト情報に含まれる仮想オブジェクトの位置情報に基づき、オブジェクト表示装置１から仮想オブジェクトまでの距離を算出する。また、仮想オブジェクト抽出部１２により複数の仮想オブジェクトが抽出された場合には、仮想オブジェクト距離算出部２０は、オブジェクト表示装置１から各々の仮想オブジェクトまでの距離を算出する。また、仮想オブジェクト距離算出部２０は、算出した距離を仮想オブジェクト加工部１５に送出する。
【００５９】
カメラ情報取得部１４は、撮像部１３が現実空間の画像の取得に際して参照する撮像情報を撮像部１３から取得する。ここで取得される撮像情報は、第１実施形態と同様に、現実空間の画像を取得する際の画質に関わる設定値を含む。この設定値は、例えば、撮像部１３における受光感度を決定する受光感度情報及び色調補正情報を含む。また、撮像情報は、焦点距離及び被写界深度といったパラメータを含む。
【００６０】
仮想オブジェクト加工部１５は、カメラ情報取得部１４により取得された撮像情報に基づき、仮想オブジェクト抽出部１２により取得されたオブジェクトを加工する。第２実施形態における仮想オブジェクト加工部１５も、第１実施形態と同様に、受光感度情報に応じたノイズ加工、及び色調補正情報に応じた色調補正加工を実施できる。
【００６１】
また、第２実施形態における仮想オブジェクト加工部１５は、撮像情報に含まれる焦点距離と、仮想オブジェクト距離算出部２０により算出された仮想オブジェクトまでの距離との差に応じて、当該オブジェクトの画像に対して、撮影対象が焦点距離からずれた位置に存在する場合に取得される画像を模すためのぼかし加工を実施できる。
【００６２】
撮像部１３は、ユーザによる設定等による所定の焦点距離を用いて現実空間の画像を取得するので、取得される画像には、撮像対象までの距離と焦点距離との合致による鮮明な画像の領域と、撮像対象までの距離と焦点距離との不一致による不鮮明な画像の領域とが存在する場合がある。この不鮮明な画像は、いわゆるぼけた画像と言われる場合がある。即ち、仮想オブジェクト加工部１５は、現実空間の画像におけるぼけた画像の領域に重畳されるオブジェクトに対して、当該画像の領域と同程度のボケを施すためのぼかし加工を実施する。仮想オブジェクト加工部１５は、周知の画像処理技術を用いてぼかし加工を実施することができる。以下のその一例を説明する。
【００６３】
仮想オブジェクト加工部１５は、ボケの大きさＢを以下の式（１）により算出できる。
Ｂ＝（ｍＤ／Ｗ）（Ｔ／（Ｌ＋Ｔ）） ・・・（１）
Ｂ：ボケの大きさ
Ｄ：有効口径＝焦点距離／Ｆ値
Ｗ：撮影範囲の対角線長
Ｌ：カメラから被写体までの距離
Ｔ：被写体から背景までの距離
ｍ：許容錯乱円径とイメージセンサの対角線長さの比
仮想オブジェクト加工部１５は、ボケの大きさＢに基づき、ぼかし加工のぼかし量を決定し、仮想オブジェクトのぼかし加工を実施する。なお、仮想オブジェクト加工部１５は、オブジェクト毎のぼかし加工の要否及びぼかし量を、焦点距離に加えて被写界深度を用いて決定することとしてもよい。
【００６４】
図９は、本実施形態において生成される重畳画像の例を示す図である。図９に示される現実空間の画像では、焦点距離が遠方に存在する山の位置に合うように設定されているので、領域Ｒ１の画像は鮮明に取得されている。一方、焦点距離とずれた位置に存在する撮像対象を捉えた領域Ｒ２の画像は、不鮮明であって、いわゆるぼけた画像となっている。かかる場合において、仮想オブジェクト加工部１５は、領域Ｒ１に重畳されるオブジェクトＶ５，Ｖ６に対して、ぼかし加工を実施しない。一方、仮想オブジェクト加工部１５は、領域Ｒ２に重畳されるオブジェクトＶ７に対して、ぼかし加工を実施する。このとき、仮想オブジェクト加工部１５は、オブジェクトＶ７の位置と焦点距離とのずれに基づきぼかし量を設定できる。
【００６５】
画像合成部１６は、撮像部１３により取得された現実空間の画像に、仮想オブジェクト加工部１５により画像加工されたオブジェクトを重畳した重畳画像を生成する。表示部１７は、画像合成部１６により生成された画像を表示する。
【００６６】
続いて、第２実施形態におけるオブジェクト表示装置１におけるオブジェクト表示方法の処理内容を説明する。図１０は、第１実施形態と同様のノイズ加工及び色調補正加工等をオブジェクト表示装置１が実施する場合のオブジェクト表示方法の処理内容を示すフローチャートである。
【００６７】
まず、オブジェクト表示装置１は、撮像部１３を起動する（Ｓ２１）。続いて、撮像部１３は、現実空間の画像を取得する（Ｓ２２）。次に、位置測定部１８は、オブジェクト表示装置１の所在位置を測位し、測位した所在位置に関する情報を位置情報として取得し（Ｓ２３）、取得した位置情報を仮想オブジェクト抽出部１２に送出する。また、ステップＳ２３において、方位測位部１９は、撮像部１３の撮像方位を測位することとしてもよい。
【００６８】
次に、仮想オブジェクト抽出部１２は、オブジェクト表示装置１の位置情報に基づき、表示部１７に表示される現実空間の範囲を判定し、その範囲に配置位置が含まれる仮想オブジェクトの仮想オブジェクト情報を仮想オブジェクト格納部１１から取得する（Ｓ２４）。続いて、仮想オブジェクト抽出部１２は、表示させるべき仮想オブジェクトが有るか否かを判定する（Ｓ２５）。即ち、ステップＳ２４においてオブジェクト情報が取得された場合には、仮想オブジェクト抽出部１２は、表示させるべき仮想オブジェクトが有ると判定する。表示させるべき仮想オブジェクトが有ると判定された場合には、処理手順はステップＳ２６に進められる。一方、表示させるべき仮想オブジェクトが有ると判定されなかった場合には、処理手順はステップＳ３１に進められる。
【００６９】
続くステップＳ２６〜Ｓ３１の処理内容は、第１実施形態の処理内容を示したフローチャート（図６）のステップＳ５〜Ｓ１０と同様である。
【００７０】
次に、図１１のフローチャートを参照して、オブジェクト表示装置１がぼかし加工を実施する場合のオブジェクト表示方法の処理内容を説明する。
【００７１】
まず、図１１のフローチャートにおけるステップＳ４１〜Ｓ４５の処理内容は、図１０のフローチャートにおけるステップＳ２１〜Ｓ２５の処理内容と同様である。
【００７２】
続いて、カメラ情報取得部１４は、撮像部１３が用いた焦点距離を含む撮像情報を取得する（Ｓ４６）。この撮像情報は、被写界深度の情報を含んでいても良い。次に、仮想オブジェクト距離算出部２０は、位置測定部１８により測定された位置情報及び仮想オブジェクト情報に含まれる仮想オブジェクトの位置情報に基づき、オブジェクト表示装置１から仮想オブジェクトまでの距離を算出する（Ｓ４７）。
【００７３】
次に、仮想オブジェクト加工部１５は、オブジェクト毎のぼかし加工の要否を判断する（Ｓ４８）。即ち、仮想オブジェクトの配置位置が現実空間の画像における焦点距離が合わされた領域に含まれる場合には、仮想オブジェクト加工部１５は、当該オブジェクトに対するぼかし加工の必要がないと判断し、仮想オブジェクトの配置位置が現実空間の画像における焦点距離が合わされた領域に含まれない場合には、仮想オブジェクト加工部１５は、当該オブジェクトに対するぼかし加工の必要があると判断する。ぼかし加工の必要があると判断された場合には、処理手順はステップＳ４９に進められる。一方、ぼかし加工の必要があると判断されたオブジェクトがなかった場合には、処理手順はステップＳ５１に進められる。
【００７４】
ステップＳ４９において、仮想オブジェクト加工部１５は、仮想オブジェクトに対してぼかし加工を実施する（Ｓ４９）。続いて、画像合成部１６は、撮像部１３により取得された現実空間の画像に、ステップＳ７において加工処理されたオブジェクトを重畳した重畳画像を生成する（Ｓ５０）。一方、ステップＳ５１では、画像合成部１６は、撮像部１３により取得された現実空間の画像に、加工処理されていないオブジェクトを重畳した重畳画像を生成する（Ｓ５１）。そして、表示部１７は、ステップＳ５０またはＳ５１において画像合成部１６により生成された重畳画像、またはオブジェクトが重畳されていない現実空間の画像を表示する（Ｓ５２）。
【００７５】
以上説明した第２実施形態のオブジェクト表示装置及びオブジェクト表示方法によれば、第１実施形態におけるノイズ加工及び色調補正加工といった加工処理に加えて、撮像部１３が用いた焦点距離により、現実空間の画像における焦点が合わない位置にオブジェクトが所在する場合に、当該オブジェクトに対していわゆるぼかし加工が施される。これにより、現実空間における焦点が合っていない領域に、ぼかし加工が施されたオブジェクトが重畳されるので、違和感の軽減された重畳画像が得られる。
【００７６】
なお、図１０を参照して、撮像情報に含まれる設定値に基づきノイズ加工及び色調補正加工が実施される場合を説明し、図１１を参照して、焦点距離等のパラメータに基づきぼかし加工が実施される場合をそれぞれ説明したが、これらの加工処理が一つのオブジェクトに対して併せて行われることとしてもよい。
【００７７】
次に、コンピュータを、本実施形態のオブジェクト表示装置１として機能させるためのオブジェクト表示プログラムについて説明する。図１２は、図１に示したオブジェクト表示装置１に対応するオブジェクト表示プログラム１ｍの構成を示す図である。
【００７８】
オブジェクト表示プログラム１ｍは、オブジェクト表示処理を統括的に制御するメインモジュール１０ｍ、仮想オブジェクト格納モジュール１１ｍ、仮想オブジェクト抽出モジュール１２ｍ、撮像モジュール１３ｍ、カメラ情報取得モジュール１４ｍ、仮想オブジェクト加工モジュール１５ｍ、画像合成モジュール１６ｍ及び表示モジュール１７ｍを備えて構成される。そして、各モジュール１０ｍ〜１７ｍにより、オブジェクト表示装置１における各機能部１１〜１７のための各機能が実現される。なお、オブジェクト表示プログラム１ｍは、通信回線等の伝送媒体を介して伝送される態様であってもよいし、図１２に示されるように、記録媒体１ｄのプログラム格納領域１ｒに記憶される態様であってもよい。
【００７９】
また、図１３は、図７に示したオブジェクト表示装置１に対応するオブジェクト表示プログラム１ｍの構成を示す図である。図１３に示すオブジェクト表示プログラム１ｍは、図１２に示した各モジュール１０ｍ〜１７ｍに加えて、位置測定ジュール１８ｍ、方位測位ジュール１９ｍ及び仮想オブジェクト距離算出ジュール２０ｍを備える。各モジュール１８ｍ〜２０ｍにより、オブジェクト表示装置１における各機能部１８〜２０のための各機能が実現される。
【００８０】
以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
【符号の説明】
【００８１】
１…オブジェクト表示装置、１１…仮想オブジェクト格納部、１２…仮想オブジェクト抽出部、１３…撮像部、１４…カメラ情報取得部、１５…仮想オブジェクト加工部、１６…画像合成部、１７…表示部、１８…位置測定部、１９…方位測位部、２０…仮想オブジェクト距離算出部、１ｍ…オブジェクト表示プログラム、１ｄ…記録媒体、１０ｍ…メインモジュール、１１ｍ…仮想オブジェクト格納モジュール、１２ｍ…仮想オブジェクト抽出モジュール、１３ｍ…撮像モジュール、１４ｍ…カメラ情報取得モジュール、１５ｍ…仮想オブジェクト加工モジュール、１６ｍ…画像合成モジュール、１７ｍ…表示モジュール、１８ｍ…位置測定ジュール、１９ｍ…方位測位ジュール、２０ｍ…仮想オブジェクト距離算出ジュール、Ｖ１，Ｖ２，Ｖ３，Ｖ４，Ｖ５，Ｖ６，Ｖ７…オブジェクト。
【特許請求の範囲】
【請求項１】
現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置であって、
表示されるオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得手段と、
現実空間の画像を取得する撮像手段と、
前記撮像手段が現実空間の画像の取得に際して参照する撮像情報を取得する撮像情報取得手段と、
前記撮像情報取得手段により取得された撮像情報に基づき、前記オブジェクト情報取得手段により取得されたオブジェクトを加工するオブジェクト加工手段と、
前記撮像手段により取得された現実空間の画像に、前記オブジェクト加工手段により加工されたオブジェクトを重畳した画像を生成する画像合成手段と、
前記画像合成手段により生成された画像を表示する表示手段と
を備えることを特徴とするオブジェクト表示装置。
【請求項２】
当該オブジェクト表示装置の所在位置を測定する位置測定手段と、
オブジェクト距離算出手段とを更に備え、
前記オブジェクト情報は、当該オブジェクトの現実空間における配置位置を示す位置情報を含み、
前記撮像情報は、焦点距離を含み、
オブジェクト距離算出手段は、前記オブジェクト情報取得手段により取得されたオブジェクトの位置情報、及び前記位置測定手段により測定されたオブジェクト表示装置の所在位置に基づき、当該オブジェクト表示装置から前記オブジェクトまでの距離を算出し、
前記オブジェクト加工手段は、前記撮像情報取得手段により取得された撮像情報に含まれる焦点距離と、前記オブジェクト距離算出手段により算出された前記オブジェクトまでの距離との差に応じて、当該オブジェクトに対して、撮像対象が焦点距離からずれた位置に存在する場合に取得される画像を模すためのぼかし加工をする、
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項３】
前記撮像情報は、現実空間の画像を取得する際の画質に関わる設定値を含み、
前記オブジェクト加工手段は、前記撮像情報取得手段により取得された撮像情報に含まれる前記設定値に応じて、前記オブジェクトを加工する
ことを特徴とする請求項１または２に記載のオブジェクト表示装置。
【請求項４】
前記撮像情報は、前記撮像手段における受光感度を決定する受光感度情報を含み、
前記オブジェクト加工手段は、前記撮像情報取得手段により取得された撮像情報に含まれる前記受光感度情報に応じて、前記オブジェクトに所定のノイズを付加するノイズ加工を実施する
ことを特徴とする請求項３に記載のオブジェクト表示装置。
【請求項５】
前記撮像情報は、前記撮像手段において取得される画像の色調を補正する色調補正情報を含み、
前記オブジェクト加工手段は、前記撮像情報取得手段により取得された撮像情報に含まれる前記色調補正情報に応じて、前記オブジェクトの色調を補正する色調補正加工を実施する
ことを特徴とする請求項３または４に記載のオブジェクト表示装置。
【請求項６】
現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、
表示されるオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得ステップと、
現実空間の画像を取得する撮像ステップと、
前記撮像ステップにおける現実空間の画像の取得に際して参照される撮像情報を取得する撮像情報取得ステップと、
前記撮像情報取得ステップにおいて取得された撮像情報に基づき、前記オブジェクト情報取得ステップにおいて取得されたオブジェクトを加工するオブジェクト加工ステップと、
前記撮像ステップにおいて取得された現実空間の画像に、前記オブジェクト加工ステップにおいて加工されたオブジェクトを重畳した画像を生成する画像合成ステップと、
前記画像合成ステップにおいて生成された画像を表示する表示ステップと
を有することを特徴とするオブジェクト表示方法。
【請求項７】
コンピュータを、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、
前記コンピュータに、
表示されるオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得機能と、
現実空間の画像を取得する撮像機能と、
前記撮像機能が現実空間の画像の取得に際して参照する撮像情報を取得する撮像情報取得機能と、
前記撮像情報取得機能により取得された撮像情報に基づき、前記オブジェクト情報取得機能により取得されたオブジェクトを加工するオブジェクト加工機能と、
前記撮像機能により取得された現実空間の画像に、前記オブジェクト加工機能により加工されたオブジェクトを重畳した画像を生成する画像合成機能と、
前記画像合成機能により生成された画像を表示する表示機能と
を実現させることを特徴とするオブジェクト表示プログラム。
【請求項１】
現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置であって、
表示されるオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得手段と、
現実空間の画像を取得する撮像手段と、
前記撮像手段が現実空間の画像の取得に際して参照する撮像情報を取得する撮像情報取得手段と、
前記撮像情報取得手段により取得された撮像情報に基づき、前記オブジェクト情報取得手段により取得されたオブジェクトを加工するオブジェクト加工手段と、
前記撮像手段により取得された現実空間の画像に、前記オブジェクト加工手段により加工されたオブジェクトを重畳した画像を生成する画像合成手段と、
前記画像合成手段により生成された画像を表示する表示手段と
を備えることを特徴とするオブジェクト表示装置。
【請求項２】
当該オブジェクト表示装置の所在位置を測定する位置測定手段と、
オブジェクト距離算出手段とを更に備え、
前記オブジェクト情報は、当該オブジェクトの現実空間における配置位置を示す位置情報を含み、
前記撮像情報は、焦点距離を含み、
オブジェクト距離算出手段は、前記オブジェクト情報取得手段により取得されたオブジェクトの位置情報、及び前記位置測定手段により測定されたオブジェクト表示装置の所在位置に基づき、当該オブジェクト表示装置から前記オブジェクトまでの距離を算出し、
前記オブジェクト加工手段は、前記撮像情報取得手段により取得された撮像情報に含まれる焦点距離と、前記オブジェクト距離算出手段により算出された前記オブジェクトまでの距離との差に応じて、当該オブジェクトに対して、撮像対象が焦点距離からずれた位置に存在する場合に取得される画像を模すためのぼかし加工をする、
ことを特徴とする請求項１に記載のオブジェクト表示装置。
【請求項３】
前記撮像情報は、現実空間の画像を取得する際の画質に関わる設定値を含み、
前記オブジェクト加工手段は、前記撮像情報取得手段により取得された撮像情報に含まれる前記設定値に応じて、前記オブジェクトを加工する
ことを特徴とする請求項１または２に記載のオブジェクト表示装置。
【請求項４】
前記撮像情報は、前記撮像手段における受光感度を決定する受光感度情報を含み、
前記オブジェクト加工手段は、前記撮像情報取得手段により取得された撮像情報に含まれる前記受光感度情報に応じて、前記オブジェクトに所定のノイズを付加するノイズ加工を実施する
ことを特徴とする請求項３に記載のオブジェクト表示装置。
【請求項５】
前記撮像情報は、前記撮像手段において取得される画像の色調を補正する色調補正情報を含み、
前記オブジェクト加工手段は、前記撮像情報取得手段により取得された撮像情報に含まれる前記色調補正情報に応じて、前記オブジェクトの色調を補正する色調補正加工を実施する
ことを特徴とする請求項３または４に記載のオブジェクト表示装置。
【請求項６】
現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置におけるオブジェクト表示方法であって、
表示されるオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得ステップと、
現実空間の画像を取得する撮像ステップと、
前記撮像ステップにおける現実空間の画像の取得に際して参照される撮像情報を取得する撮像情報取得ステップと、
前記撮像情報取得ステップにおいて取得された撮像情報に基づき、前記オブジェクト情報取得ステップにおいて取得されたオブジェクトを加工するオブジェクト加工ステップと、
前記撮像ステップにおいて取得された現実空間の画像に、前記オブジェクト加工ステップにおいて加工されたオブジェクトを重畳した画像を生成する画像合成ステップと、
前記画像合成ステップにおいて生成された画像を表示する表示ステップと
を有することを特徴とするオブジェクト表示方法。
【請求項７】
コンピュータを、現実空間の画像にオブジェクトを重畳表示するオブジェクト表示装置として機能させるためのオブジェクト表示プログラムであって、
前記コンピュータに、
表示されるオブジェクトに関するオブジェクト情報を取得するオブジェクト情報取得機能と、
現実空間の画像を取得する撮像機能と、
前記撮像機能が現実空間の画像の取得に際して参照する撮像情報を取得する撮像情報取得機能と、
前記撮像情報取得機能により取得された撮像情報に基づき、前記オブジェクト情報取得機能により取得されたオブジェクトを加工するオブジェクト加工機能と、
前記撮像機能により取得された現実空間の画像に、前記オブジェクト加工機能により加工されたオブジェクトを重畳した画像を生成する画像合成機能と、
前記画像合成機能により生成された画像を表示する表示機能と
を実現させることを特徴とするオブジェクト表示プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図９】
【公開番号】特開２０１２−１７４１１６（Ｐ２０１２−１７４１１６Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３７２１１（Ｐ２０１１−３７２１１）
【出願日】平成２３年２月２３日（２０１１．２．２３）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２３日（２０１１．２．２３）
【出願人】（３９２０２６６９３）株式会社エヌ・ティ・ティ・ドコモ (5,876)
【Ｆターム（参考）】
[ Back to top ]