拡張現実表示装置、拡張現実表示方法、ならびに、プログラム
【課題】現実世界の映像と仮想物体の映像を調和させるために、仮想物体の色調を補正するのに好適な拡張現実表示装置等を提供する。
【解決手段】拡張現実表示装置２０１において、マーカ２０２は、所定の模様が描かれ、現実世界に配置される。撮影部２０３は、マーカ２０２が配置された現実世界の様子を撮影する。推定部２０４は、撮影部２０３により撮影された画像内におけるマーカ２０２の位置を推定し、計算部２０５は、マーカ２０２に描かれた模様の色彩から、撮影部２０３により撮影された画像内におけるマーカ２０２の模様の色彩への変換パラメータを計算する。変換部２０６は、マーカ２０２に対応づけられるオブジェクトの色彩を、計算された変換パラメータにより変換する。描画部２０７は、撮影部２０３により撮影された画像内の推定された位置に、色彩を変換されたオブジェクトを描画する。表示部２０８は、オブジェクトが描画された画像を表示する。
【解決手段】拡張現実表示装置２０１において、マーカ２０２は、所定の模様が描かれ、現実世界に配置される。撮影部２０３は、マーカ２０２が配置された現実世界の様子を撮影する。推定部２０４は、撮影部２０３により撮影された画像内におけるマーカ２０２の位置を推定し、計算部２０５は、マーカ２０２に描かれた模様の色彩から、撮影部２０３により撮影された画像内におけるマーカ２０２の模様の色彩への変換パラメータを計算する。変換部２０６は、マーカ２０２に対応づけられるオブジェクトの色彩を、計算された変換パラメータにより変換する。描画部２０７は、撮影部２０３により撮影された画像内の推定された位置に、色彩を変換されたオブジェクトを描画する。表示部２０８は、オブジェクトが描画された画像を表示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、仮想物体を現実世界の映像の中に重畳させる技術において、仮想物体の色を現実世界の映像に合わせて補正するのに好適な拡張現実表示装置、拡張現実表示方法、ならびにこれらをコンピュータにて実現するプログラムに関する。
【背景技術】
【０００２】
近年、撮影された現実世界の映像上に仮想物体を重畳させる拡張現実表示技術が開発され、ゲームやコミュニケーションツールとしての実用化が進められている。この様な技術は、一般にカメラ、モニタ、及び仮想物体を表示する位置を示すマーカ等を備えるシステムによって実現される。
【０００３】
非特許文献１には、拡張現実表示技術において、マーカの位置検出方法が開示されている。マーカの２次元空間の頂点情報を３次元空間座標系に変換し、その座標をさらにモニタ上の座標系に変換することによって、仮想物体を現実世界の適切な位置に表示させることができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎、マーカ追跡に基づく拡張現実感システムとそのキャリブレーション、日本バーチャルリアリティ学会論文誌、Vol.4、No.4、１９９９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、現実世界の映像と仮想物体とを重畳する際に、現実世界の映像の色調が考慮されていないため、仮想物体が背景に比べて明るすぎたり又は暗すぎたりして見えるという問題があった。
【０００６】
本発明は、上記のような課題を解決するもので、現実世界の映像と仮想物体の映像を調和させるために、仮想物体の色調を補正するのに好適な拡張現実表示装置、拡張現実表示方法、ならびにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の観点に係る拡張現実表示装置は、撮影部、推定部、計算部、変換部、描画部、表示部を備え、以下のように構成する。
【０００８】
撮影部は、マーカが配置された現実世界の様子を撮影する。
【０００９】
ここでマーカには、所定の模様が描かれており、現実世界に配置されるものであり、例えばシールやステッカーのように壁や床に貼り付けたり、コースターの用にテーブルの上に置いたりできる。
【００１０】
マーカに描かれる模様は、例えば向きを判別するために非対称な模様とすることが好ましい。ユーザは、非対称な任意の模様とその模様に対応付けるオブジェクトを予め登録しておき、仮想物体を重畳したい場所にマーカを配置する。
【００１１】
現実世界にマーカが配置され、そのマーカをユーザが見ている向きで撮影する。撮影部はユーザの視点を撮影するため、例えばユーザが装着するＨＭＤ（Head Mounted Display）等に備え付けられる。
【００１２】
推定部は、撮影部により撮影された画像内におけるマーカの位置を推定する。
【００１３】
例えば、マーカの形状を正方形とした場合、撮影された画像から正方形部分を検索し、一致した部分の頂点の座標情報を求める。さらに、マーカに描かれた模様と、予め登録されたマーカの模様とのマッチングを行い、模様の識別を行う。
【００１４】
計算部は、マーカに描かれた模様の色彩から、撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する。
【００１５】
予め登録されているマーカの模様の色彩情報と、現実世界に配置することによって色が変化したマーカの模様の色彩情報を比較し、例えば両者の値の比をとることによって変換パラメータを計算する。
【００１６】
変換部は、マーカに対応づけられるオブジェクトの色彩を、計算された変換パラメータにより変換する。
【００１７】
マーカに対応づけられるオブジェクトの色彩情報は予め登録されており、識別された模様に基づいてオブジェクトの色彩情報を読み込む。読み込んだ色に対して、変換パラメータを用いて変換する。
【００１８】
描画部は、撮影部により撮影された画像内の推定された位置に、色彩が変換されたオブジェクトを描画する。
【００１９】
マーカの模様に基づいてオブジェクトの形状情報等を読み込み、推定部から受け取ったマーカの座標の位置に、変換部で変換された色彩でオブジェクトを描画する。
【００２０】
表示部は、オブジェクトが描画された画像を表示する。
【００２１】
描画部で描画されたオブジェクト画像は現実世界の映像に重畳され、モニタ等に表示される。
【００２２】
本発明によれば、現実世界に配置されることによる仮想物体の色の変化を、実物体であるマーカの色の変化を計測することによって推定することができ、これにより現実世界と調和した仮想物体を表示することができる。
【００２３】
また本発明の拡張現実表示装置において、上記マーカをさらに備えるように構成することもできる。
【００２４】
また本発明の拡張現実表示装置において、マーカに描かれた模様の色彩は、マーカに対応づけられるオブジェクトの色彩の平均もしくは最頻値とするように構成することができる。
【００２５】
すなわち、オブジェクトの平均の色もしくは最も広範囲を占める色が、現実世界でどのような色に変化するかを知ることができる。
【００２６】
本発明は、上記発明の好適実施形態に係るものであり、描画に使用する色がどのような色に変化するかを知ることができるので、より現実世界の映像に調和する色変換が可能となる。
【００２７】
本発明のその他の観点に係る拡張現実表示方法は、撮影部、推定部、計算部、変換部、描画部、表示部を備え、以下のように構成する。
【００２８】
撮影工程では、撮影部が、所定の模様が描かれたマーカが配置された現実世界の様子を撮影する。
【００２９】
推定工程では、推定部が、撮影部により撮影された画像内におけるマーカの位置を推定する。
【００３０】
計算工程では、計算部が、マーカに描かれた模様の色彩から、撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する。
【００３１】
変換工程では、変換部が、マーカに対応づけられるオブジェクトの色彩を、計算された変換パラメータにより変換する。
【００３２】
描画工程では、描画部が、撮影部により撮影された画像内の推定された位置に、色彩が変換されたオブジェクトを描画する。
【００３３】
表示工程では、表示部が、オブジェクトが描画された画像を表示する。
【００３４】
本発明のその他の観点に係るプログラムは、コンピュータを上記拡張現実表示装置として機能させ、コンピュータに上記拡張現実表示方法を実行させるように構成する。
【００３５】
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。
【００３６】
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。
【発明の効果】
【００３７】
本発明によれば、現実世界の映像と仮想物体の映像を調和させるために、仮想物体色調を補正するのに好適な拡張現実表示装置、拡張現実表示方法、ならびにプログラムを提供することができる。
【図面の簡単な説明】
【００３８】
【図１】プログラムを実行することにより、本発明の拡張現実表示装置の機能を果たす典型的な情報処理装置の概要構成を示す模式図である。
【図２】実施形態の拡張現実表示装置の概要構成を示す説明図である。
【図３】実施形態にて用いられるマーカの模様とオブジェクトの対応関係の例を示す図である。
【図４】（ａ）、（ｂ）ともに実施形態にて用いられるマーカの例を示す図である。
【図５】実施形態の拡張現実表示装置の各部が行う処理を説明するためのフローチャートである。
【図６】撮影部によって撮影された現実世界の映像を示す図である。
【図７】図６で撮影されたマーカに対応づけられたオブジェクトを重畳した画像を示す図である。
【図８】図６で撮影されたマーカの色に合わせて色を変換したオブジェクトを示す図である。
【図９】照明が落とされた場合の現実世界の映像を示す図である。
【図１０】図９で撮影されたマーカに対応づけられたオブジェクトを重畳した画像を示す図である。
【図１１】図９で撮影されたマーカの色に合わせて色を変換したオブジェクトを示す図である。
【発明を実施するための形態】
【００３９】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００４０】
（実施形態）
図１はプログラムを実行することにより、本発明の実施形態に係る拡張現実表示装置の機能を果たす典型的な情報処理装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【００４１】
情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ １０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェイス１０４と、コントローラ１０５と、外部メモリ１０６と、画像処理部１０７と、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８と、ＮＩＣ（Network Interface Card）１０９と、音声処理部１１０と、モニタ１１１と、カメラ１１２と、を備える。
【００４２】
ゲーム用のプログラム及びデータを記憶したＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態に係る拡張現実表示装置が実現される。
【００４３】
ＣＰＵ １０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ １０１は、レジスタ（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ １０１自身が構成されているものや、コプロセッサを備えて実現するものがある。
【００４４】
ＲＯＭ １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ １０３に読み出してＣＰＵ １０１による実行が開始される。また、ＲＯＭ １０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
【００４５】
ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ １０１は、ＲＡＭ １０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行ったり、ＲＡＭ １０３に格納された値を一旦レジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻す、などの処理を行う。
【００４６】
インターフェイス１０４を介して接続されたコントローラ１０５は、ユーザがゲーム実行の際に行う操作入力を受け付ける。
【００４７】
インターフェイス１０４を介して着脱自在に接続された外部メモリ１０６には、ゲーム等のプレイ状況（過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ（記録）のデータなどが書き換え可能に記憶される。ユーザは、コントローラ１０５を介して指示入力を行うことにより、これらのデータを適宜外部メモリ１０６に記録することができる。
【００４８】
ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ １０３等に一時的に記憶される。
【００４９】
画像処理部１０７は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ １０１や画像処理部１０７が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０７が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０７に接続されるモニタ１１１へ出力される。これにより、各種の画像表示が可能となる。
【００５０】
画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
【００５１】
また、仮想空間が３次元にて構成される場合には、当該３次元空間内に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から仮想空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。
【００５２】
さらに、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画したりすることが可能である。
【００５３】
ＮＩＣ １０９は、情報処理装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ １０１との仲立ちを行うインターフェイス（図示せず）により構成される。
【００５４】
音声処理部１１０は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず）から出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。
【００５５】
音声処理部１１０では、ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカに出力することにより、音声出力が可能となる。
【００５６】
モニタ１１１は、画像処理部１０７に接続され、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、画像情報を表示する。モニタ１１１は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬディスプレイ（organic Electro-Luminescence display）等により構成され、一般的な置き型ディスプレイの形式又は装着型のＨＭＤの形式で用いられる。
【００５７】
カメラ１１２は、インターフェイス１０４を介して接続され、現実世界を撮影し、撮影した映像を電気信号に変換する。ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complimentary MOS）センサ等から構成される。カメラ１１２は、ユーザの視点から撮影するためにユーザが装着してもよく、又ユーザを映し出すために置き型ディスプレイ等に備え付けてもよい。
【００５８】
このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリ１０６、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。
【００５９】
以上で説明した情報処理装置１００は、いわゆる「コンシューマ向けテレビゲーム装置」に相当するものであるが、仮想空間を表示するような画像処理を行うものであれば本発明を実現することができる。したがって、携帯電話、携帯ゲーム機器、カラオケ装置、一般的なビジネス用コンピュータなど、種々の計算機上で本発明を実現することが可能である。
【００６０】
たとえば、一般的なコンピュータは、上記情報処理装置１００と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＤＶＤ−ＲＯＭドライブ、及び、ＮＩＣを備え、情報処理装置１００よりも簡易な機能を備えた画像処理部を備え、外部記憶装置としてハードディスクを有する他、フレキシブルディスク、光磁気ディスク、磁気テープ等が利用できるようになっている。また、コントローラ１０５ではなく、キーボードやマウスなどを入力装置として利用する。
【００６１】
図２は、本発明の実施形態の一つに係る拡張現実表示装置であって、上記情報処理装置１００上に実現される拡張現実表示装置の概要構成を示す説明図である。以下、本図を参照して説明する。
【００６２】
本実施形態の拡張現実表示装置２０１は、撮影部２０３、推定部２０４、計算部２０５、変換部２０６、描画部２０７、表示部２０８、記憶部２０９、を備える。また、典型的には拡張現実表示装置２０１は、マーカ２０２と共に提供又は販売等される。
【００６３】
マーカ２０２は、所定の模様が描かれ、ユーザにより、映像上で仮想物体を表示させる場所に配置される。マーカ２０２に描かれている模様及び模様に対応づけられるオブジェクトは、記憶部２０９に予め登録される。マーカ２０２の模様とオブジェクトの対応関係を表にした例を図３に示す。模様は描画するオブジェクトの向きを判別するため非対称とする。オブジェクトは３次元構造を有するとする。また、記憶部２０９には、マーカ２０２に使用される色彩及びマーカ２０２に対応づけられたオブジェクトの色彩情報等が保存されている。
【００６４】
図４にマーカの例を示す。図４（ａ）に示す例では、マーカにはＬ字型の模様が描かれ、白と黒の２色のみが使用されている。この模様により、対応づけられているオブジェクトが判別され、模様の向きにより、オブジェクトを描画させる向きが決まる。マーカの模様の色彩に、オブジェクトの色彩の平均の色又は最頻値の色を使用しても良い。さらに、図４（ｂ）に示すように、数種類の色を用いてもよい。また、マーカには色彩情報以外にも、表示されるオブジェクトの情報（キャラクター等）を記してもよい。
【００６５】
撮影部２０３は、マーカ２０２が配置された現実世界の様子を撮影し、画像信号を推定部２０４及び計算部２０５に送る。例えば、撮影部２０３はユーザが装着するＨＭＤに備え付けられ、ユーザが見ている向きの現実世界を撮影する。したがって、ＣＰＵ １０１は、カメラ１１２と協働して撮影部２０３として機能する。
【００６６】
推定部２０４は、撮影部２０３により撮影された画像信号を受け取り、画像上のマーカ２０２の位置の推定及びマーカ２０２に描かれた模様の識別を行う。推定部２０４は、まず撮影部２０３により撮影された映像からマーカ２０２を検索し、マーカ画像を抽出する。抽出されたマーカ画像からマーカ２０２の座標情報を求める。次に、抽出されたマーカ画像の模様と記憶部２０９に登録されている模様とのマッチングを行い、マーカ２０２に描かれた模様を識別し、模様の向きを求める。推定部２０４は、推定されたマーカ２０２の位置、識別された模様及びその向きの情報を、計算部２０５及び描画部２０７に送る。例えば、図２の現実世界２１０を撮影した場合、テーブルの上の花瓶の横にあるマーカ画像が抽出され、マーカ２０２の四つの頂点の２次元座標が求められる。次に、抽出されたマーカ２０２は図４（ａ）の模様を有するマーカと判定され、マーカ２０２の模様は正面を向いていると推定される。したがって、ＣＰＵ １０１はＲＡＭ １０３と協働し、推定部２０４として機能する。
【００６７】
計算部２０５は、撮影部２０３からの画像信号と、推定部２０４からマーカ２０２の位置、模様及びその向きの情報と、を受け取り、記憶部２０９に保存されているマーカ２０２の色彩情報を参照して変換パラメータを計算する。例えば、計算部２０５は、画像信号、マーカ２０２の位置、模様及び向きの情報から、マーカ２０２の模様及び模様以外のＲＧＢ値を取得し、記憶部２０９に保存されているマーカ２０２の模様及び模様以外のＲＧＢ値との比を求めることにより、変換パラメータを得る。なお、ＲＧＢ値の代わりに、色相、彩度、明度により色を表現するＨＳＢ値を用いてもよい。計算部２０５は、求めた変換パラメータ及びマーカ２０２の模様情報を変換部２０６に送る。したがって、ＣＰＵ １０１は計算部２０５として機能する。
【００６８】
例えば、図４（ａ）のマーカが現実世界２１０に配置され、模様以外の白色部分が照明等によりオレンジがかったとする。画像信号とマーカ２０２の位置及び向きの情報を基づいて、マーカ２０２の模様以外の部分のＲＧＢ値を検出する（例えば、Ｒ値＝r、Ｇ値＝g、Ｂ値＝b、とする）。一方、記憶部２０９に保存されているマーカ２０２の色彩情報を取得する。マーカ２０２の模様以外の部分は、元は白色なので、Ｒ値＝255、Ｇ値＝255、Ｂ値＝255、となる。両者のＲＧＢ値の比を求め（Ｒ：ｒ/255、Ｇ：g/255、Ｂ：b/255）、その値をＲＧＢ値の変換パラメータとする。また、図４（ｂ）のマーカを用いて変換パラメータを計算する場合は、各色の変換パラメータを求め、オブジェクトの色彩を変換する際に、最も適した変換パラメータを選択するようにしてもよい。
【００６９】
変換部２０６は、計算部２０５より求められた変換パラメータ及び模様情報を受け取り、変換パラメータに基づいてオブジェクトの色を変換する。変換部２０６は、受け取った模様情報に対応づけられているオブジェクトの色彩情報を記憶部２０９から読み込み、オブジェクトの色に対して変換パラメータを用いて変換を行う。変換後の色彩情報を描画部２０７に送る。したがって、ＣＰＵ １０１は画像処理部１０７と協働し、変換部２０６として機能する。
【００７０】
例えば、変換パラメータを、Ｒ：ｒ/255、Ｇ：g/255、Ｂ：b/255、とし、オブジェクトの元の色のＲＧＢ値を、Ｒ値＝r'、Ｇ値＝g'、Ｂ値＝b'とすると、変換後のオブジェクトのＲＧＢ値は、Ｒ値＝(ｒ/255)r'、Ｇ値＝(g/255)g'、Ｂ値＝(b/255)b'、と求められる。また、図４（ｂ）のマーカから変換パラメータを求め、変換する元の色が青色に近い色の場合は、青色の模様部分のＲＧＢ値を用いて求めた変換パラメータで変換するようにしてもよい。
【００７１】
描画部２０７は、推定部２０４からマーカの位置、及び識別されたマーカ２０２の模様及びその向きの情報を、変換部２０６から変換後のオブジェクトの色彩情報を受け取る。描画部２０７は、マーカ２０２の模様からオブジェクトの形状情報を読み込み、マーカ２０２の座標の位置に、変換部２０６で変換された色彩でオブジェクトを描画する。さらに、マーカ２０２の模様の向きに対応するように、オブジェクトの向きを合わせる。描画部２０７は、描画されたオブジェクトの画像情報を表示部２０８に送る。したがって、ＣＰＵ １０１は画像処理部１０７と協働し、描画部２０７として機能する。
【００７２】
表示部２０８は、描画部２０７からのオブジェクト画像情報を受け取り、現実世界２１０の映像上に重畳した画像をモニタ１１１に表示する。したがって、ＣＰＵ １０１は画像処理部１０７及びモニタ１１１と協働し、表示部２０８として機能する。
【００７３】
記憶部２０９は、例えば図３のマーカとオブジェクトの対応関係を示すリストや、マーカ及びオブジェクトの色彩情報を記憶する。記憶部２０９が記憶した情報は、推定部２０４、計算部２０５、変換部２０６、及び描画部２０７によって参照される。したがって、ＣＰＵ １０１はＲＡＭ１０３と協働し、記憶部２０９として機能する。
【００７４】
図５は、本拡張現実表示装置２０１にて実行される拡張現実表示の流れを示すフローチャートである。以下、本図を参照して説明する。
【００７５】
ユーザによる撮影開始の指示等によって、撮影部２０３による撮影が開始される（ステップＳ５０１）。ここで、記憶部２０９に登録されている図４（ａ）のマーカが照明によってオレンジ色に映し出された例を図６に示す。
【００７６】
推定部２０４は撮影部２０３からの画像信号を受け付け、現実世界の画像６１０上のマーカ２０２の位置座標を推定する（ステップＳ５０２）。次に、推定部２０４は、マーカ２０２に描かれているＬ字型の模様を検出し、記憶部２０９に登録されている模様とのマッチングを行う。これによりマーカ２０２に描かれた模様を識別し、さらに登録されているマーカの向きと比較して、Ｌ字型の模様の向きを求める（ステップＳ５０３）。記憶部２０９に登録されている図４（ａ）のマーカより、現実世界の画像６１０のマーカ２０２は正面を向いていると推定される。
【００７７】
計算部２０５は、マーカ２０２の色彩を判別し、予め登録されているマーカの色彩情報を記憶部２０９から読み込む。現実世界の画像６１０の場合、模様以外に使用されている色は“オレンジ色”と判別される。また、マーカ２０２の模様から予め登録されているマーカの模様以外の色は“白色”であると判別される。次に、登録されているマーカの色と、登録されているマーカの色から変化した部分の色の、ＲＧＢ値の比を求め、変換パラメータを計算する（ステップＳ５０４）。
【００７８】
変換部２０６は、マーカ２０２に対応付けられている元のオブジェクトの色（ここでは“白色”とする）を、計算部２０５で求められた変換パラメータを用いて変更する（ステップＳ５０５）。マーカ２０２に対応づけるオブジェクトの色は“オレンジ色”と変更される。
【００７９】
描画部２０７は、推定部２０４で求められたマーカ２０２の位置座標及び模様の向きから、オブジェクトを画像上の所定の位置及び向きに配置する。マーカ２０２の場合は、図７のオブジェクト７１１のように、マーカ２０２の位置に正面を向いて配置される。さらに、変換部２０６で求められたオブジェクトの色彩情報に基づいて、オブジェクト画像を描画する（ステップＳ５０６）。マーカ２０２の場合は、図８のオブジェクト８１１のように“オレンジ色”に描画される。
【００８０】
表示部２０８は、描画部２０７で描画されたオブジェクト画像を現実世界の画像６１０に重畳し、図８の画像をモニタ１１１に表示させる（ステップＳ５０７）。
【００８１】
また、図４（ａ）のマーカが向きを変えて配置され、暗い照明の元で灰色に映し出された例を図９に示す。
【００８２】
この場合、推定部２０４は、現実世界の画像９１０のマーカ９０２と登録されているマーカの向きと比較して、マーカ９０２は左４５度の方向に向いていると推定する（ステップＳ５０３）。次に、計算部２０５は、現実世界の画像９１０のマーカは“灰色”と判別し、判別された色と登録されているマーカの色から変換パラメータを計算する（ステップＳ５０４）。変換部２０６は、計算部２０５で求められた変換パラメータを用いて、マーカ９０２に対応づけるオブジェクトの色を“灰色”に変更する（ステップＳ５０５）。描画部２０７は、図１０のオブジェクト１０１１のように、マーカ９０２の位置に左４５度を向いて配置し、変換部２０６で求められたオブジェクトの色彩情報に基づいて、図１１のオブジェクト１１１１のように“灰色”に描画する（ステップＳ５０６）。表示部２０８は、描画部２０７で描画されたオブジェクト画像を現実世界の画像９１０に重畳し、図１１の画像をモニタ１１１に表示させる（ステップＳ５０７）。
【００８３】
本実施形態では、現実世界に配置されたマーカの色彩情報に基づいて、映像上で現実世界に重畳する仮想物体の色を変換するので、色における違和感を減少させることができる。また、本実施形態では、マーカの模様の色彩をマーカに対応づけられるオブジェクトの色彩の平均又は最頻値することにより、オブジェクトに使用される色が現実世界で配置された際に変化した色を計測することができるので、色変換精度を上げることができる。
【産業上の利用可能性】
【００８４】
以上説明したように、本発明によれば、現実世界の映像と仮想物体の映像を調和させるために、仮想物体色調を補正するのに好適な拡張現実表示装置、拡張現実表示方法、ならびにプログラムを提供することができる。
【符号の説明】
【００８５】
１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ インターフェイス
１０５ コントローラ
１０６ 外部メモリ
１０７ 画像処理部
１０８ ＤＶＤ−ＲＯＭドライブ
１０９ ＮＩＣ
１１０ 音声処理部
１１１ モニタ
１１２ カメラ
２０１ 拡張現実表示装置
２０２，９０２ マーカ
２０３ 撮影部
２０４ 推定部
２０５ 計算部
２０６ 変換部
２０７ 描画部
２０８ 表示部
２０９ 記憶部
２１０ 現実世界
６１０ マーカ２０２が配置された現実世界の画像
７１０ マーカ２０２に対応づけられた、色変換前のオブジェクトを表示した画像
７１１ マーカ２０２に対応づけられた色変換前のオブジェクト
８１０ マーカ２０２に対応づけられた、色変換後のオブジェクトを表示した画像
８１１ マーカ２０２に対応づけられた色変換後のオブジェクト
９１０ マーカ９０２が配置された現実世界の画像
１０１０ マーカ９０２に対応づけられた、色変換前のオブジェクトを表示した画像
１０１１ マーカ９０２に対応づけられた色変換前のオブジェクト
１１１０ マーカ９０２に対応づけられた、色変換後のオブジェクトを表示した画像
１１１１ マーカ９０２に対応づけられた色変換後のオブジェクト
【技術分野】
【０００１】
本発明は、仮想物体を現実世界の映像の中に重畳させる技術において、仮想物体の色を現実世界の映像に合わせて補正するのに好適な拡張現実表示装置、拡張現実表示方法、ならびにこれらをコンピュータにて実現するプログラムに関する。
【背景技術】
【０００２】
近年、撮影された現実世界の映像上に仮想物体を重畳させる拡張現実表示技術が開発され、ゲームやコミュニケーションツールとしての実用化が進められている。この様な技術は、一般にカメラ、モニタ、及び仮想物体を表示する位置を示すマーカ等を備えるシステムによって実現される。
【０００３】
非特許文献１には、拡張現実表示技術において、マーカの位置検出方法が開示されている。マーカの２次元空間の頂点情報を３次元空間座標系に変換し、その座標をさらにモニタ上の座標系に変換することによって、仮想物体を現実世界の適切な位置に表示させることができる。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】加藤博一、Mark Billinghurst、浅野浩一、橘啓八郎、マーカ追跡に基づく拡張現実感システムとそのキャリブレーション、日本バーチャルリアリティ学会論文誌、Vol.4、No.4、１９９９
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、現実世界の映像と仮想物体とを重畳する際に、現実世界の映像の色調が考慮されていないため、仮想物体が背景に比べて明るすぎたり又は暗すぎたりして見えるという問題があった。
【０００６】
本発明は、上記のような課題を解決するもので、現実世界の映像と仮想物体の映像を調和させるために、仮想物体の色調を補正するのに好適な拡張現実表示装置、拡張現実表示方法、ならびにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の観点に係る拡張現実表示装置は、撮影部、推定部、計算部、変換部、描画部、表示部を備え、以下のように構成する。
【０００８】
撮影部は、マーカが配置された現実世界の様子を撮影する。
【０００９】
ここでマーカには、所定の模様が描かれており、現実世界に配置されるものであり、例えばシールやステッカーのように壁や床に貼り付けたり、コースターの用にテーブルの上に置いたりできる。
【００１０】
マーカに描かれる模様は、例えば向きを判別するために非対称な模様とすることが好ましい。ユーザは、非対称な任意の模様とその模様に対応付けるオブジェクトを予め登録しておき、仮想物体を重畳したい場所にマーカを配置する。
【００１１】
現実世界にマーカが配置され、そのマーカをユーザが見ている向きで撮影する。撮影部はユーザの視点を撮影するため、例えばユーザが装着するＨＭＤ（Head Mounted Display）等に備え付けられる。
【００１２】
推定部は、撮影部により撮影された画像内におけるマーカの位置を推定する。
【００１３】
例えば、マーカの形状を正方形とした場合、撮影された画像から正方形部分を検索し、一致した部分の頂点の座標情報を求める。さらに、マーカに描かれた模様と、予め登録されたマーカの模様とのマッチングを行い、模様の識別を行う。
【００１４】
計算部は、マーカに描かれた模様の色彩から、撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する。
【００１５】
予め登録されているマーカの模様の色彩情報と、現実世界に配置することによって色が変化したマーカの模様の色彩情報を比較し、例えば両者の値の比をとることによって変換パラメータを計算する。
【００１６】
変換部は、マーカに対応づけられるオブジェクトの色彩を、計算された変換パラメータにより変換する。
【００１７】
マーカに対応づけられるオブジェクトの色彩情報は予め登録されており、識別された模様に基づいてオブジェクトの色彩情報を読み込む。読み込んだ色に対して、変換パラメータを用いて変換する。
【００１８】
描画部は、撮影部により撮影された画像内の推定された位置に、色彩が変換されたオブジェクトを描画する。
【００１９】
マーカの模様に基づいてオブジェクトの形状情報等を読み込み、推定部から受け取ったマーカの座標の位置に、変換部で変換された色彩でオブジェクトを描画する。
【００２０】
表示部は、オブジェクトが描画された画像を表示する。
【００２１】
描画部で描画されたオブジェクト画像は現実世界の映像に重畳され、モニタ等に表示される。
【００２２】
本発明によれば、現実世界に配置されることによる仮想物体の色の変化を、実物体であるマーカの色の変化を計測することによって推定することができ、これにより現実世界と調和した仮想物体を表示することができる。
【００２３】
また本発明の拡張現実表示装置において、上記マーカをさらに備えるように構成することもできる。
【００２４】
また本発明の拡張現実表示装置において、マーカに描かれた模様の色彩は、マーカに対応づけられるオブジェクトの色彩の平均もしくは最頻値とするように構成することができる。
【００２５】
すなわち、オブジェクトの平均の色もしくは最も広範囲を占める色が、現実世界でどのような色に変化するかを知ることができる。
【００２６】
本発明は、上記発明の好適実施形態に係るものであり、描画に使用する色がどのような色に変化するかを知ることができるので、より現実世界の映像に調和する色変換が可能となる。
【００２７】
本発明のその他の観点に係る拡張現実表示方法は、撮影部、推定部、計算部、変換部、描画部、表示部を備え、以下のように構成する。
【００２８】
撮影工程では、撮影部が、所定の模様が描かれたマーカが配置された現実世界の様子を撮影する。
【００２９】
推定工程では、推定部が、撮影部により撮影された画像内におけるマーカの位置を推定する。
【００３０】
計算工程では、計算部が、マーカに描かれた模様の色彩から、撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する。
【００３１】
変換工程では、変換部が、マーカに対応づけられるオブジェクトの色彩を、計算された変換パラメータにより変換する。
【００３２】
描画工程では、描画部が、撮影部により撮影された画像内の推定された位置に、色彩が変換されたオブジェクトを描画する。
【００３３】
表示工程では、表示部が、オブジェクトが描画された画像を表示する。
【００３４】
本発明のその他の観点に係るプログラムは、コンピュータを上記拡張現実表示装置として機能させ、コンピュータに上記拡張現実表示方法を実行させるように構成する。
【００３５】
また、本発明のプログラムは、コンパクトディスク、フレキシブルディスク、ハードディスク、光磁気ディスク、ディジタルビデオディスク、磁気テープ、半導体メモリ等のコンピュータ読取可能な情報記憶媒体に記録することができる。
【００３６】
上記プログラムは、プログラムが実行されるコンピュータとは独立して、コンピュータ通信網を介して配布・販売することができる。また、上記情報記憶媒体は、コンピュータとは独立して配布・販売することができる。
【発明の効果】
【００３７】
本発明によれば、現実世界の映像と仮想物体の映像を調和させるために、仮想物体色調を補正するのに好適な拡張現実表示装置、拡張現実表示方法、ならびにプログラムを提供することができる。
【図面の簡単な説明】
【００３８】
【図１】プログラムを実行することにより、本発明の拡張現実表示装置の機能を果たす典型的な情報処理装置の概要構成を示す模式図である。
【図２】実施形態の拡張現実表示装置の概要構成を示す説明図である。
【図３】実施形態にて用いられるマーカの模様とオブジェクトの対応関係の例を示す図である。
【図４】（ａ）、（ｂ）ともに実施形態にて用いられるマーカの例を示す図である。
【図５】実施形態の拡張現実表示装置の各部が行う処理を説明するためのフローチャートである。
【図６】撮影部によって撮影された現実世界の映像を示す図である。
【図７】図６で撮影されたマーカに対応づけられたオブジェクトを重畳した画像を示す図である。
【図８】図６で撮影されたマーカの色に合わせて色を変換したオブジェクトを示す図である。
【図９】照明が落とされた場合の現実世界の映像を示す図である。
【図１０】図９で撮影されたマーカに対応づけられたオブジェクトを重畳した画像を示す図である。
【図１１】図９で撮影されたマーカの色に合わせて色を変換したオブジェクトを示す図である。
【発明を実施するための形態】
【００３９】
以下に本発明の実施形態を説明する。以下では、理解を容易にするため、ゲーム用の情報処理装置を利用して本発明が実現される実施形態を説明するが、以下に説明する実施形態は説明のためのものであり、本願発明の範囲を制限するものではない。したがって、当業者であればこれらの各要素もしくは全要素をこれと均等なものに置換した実施形態を採用することが可能であるが、これらの実施形態も本発明の範囲に含まれる。
【００４０】
（実施形態）
図１はプログラムを実行することにより、本発明の実施形態に係る拡張現実表示装置の機能を果たす典型的な情報処理装置の概要構成を示す模式図である。以下、本図を参照して説明する。
【００４１】
情報処理装置１００は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ １０２と、ＲＡＭ（Random Access Memory）１０３と、インターフェイス１０４と、コントローラ１０５と、外部メモリ１０６と、画像処理部１０７と、ＤＶＤ−ＲＯＭ（Digital Versatile Disc ROM）ドライブ１０８と、ＮＩＣ（Network Interface Card）１０９と、音声処理部１１０と、モニタ１１１と、カメラ１１２と、を備える。
【００４２】
ゲーム用のプログラム及びデータを記憶したＤＶＤ−ＲＯＭをＤＶＤ−ＲＯＭドライブ１０８に装着して、情報処理装置１００の電源を投入することにより、当該プログラムが実行され、本実施形態に係る拡張現実表示装置が実現される。
【００４３】
ＣＰＵ １０１は、情報処理装置１００全体の動作を制御し、各構成要素と接続され制御信号やデータをやりとりする。また、ＣＰＵ １０１は、レジスタ（図示せず）という高速アクセスが可能な記憶域に対してＡＬＵ（Arithmetic Logic Unit）（図示せず）を用いて加減乗除等の算術演算や、論理和、論理積、論理否定等の論理演算、ビット和、ビット積、ビット反転、ビットシフト、ビット回転等のビット演算などを行うことができる。さらに、マルチメディア処理対応のための加減乗除等の飽和演算や、三角関数等、ベクトル演算などを高速に行えるように、ＣＰＵ １０１自身が構成されているものや、コプロセッサを備えて実現するものがある。
【００４４】
ＲＯＭ １０２には、電源投入直後に実行されるＩＰＬ（Initial Program Loader）が記録され、これが実行されることにより、ＤＶＤ−ＲＯＭに記録されたプログラムをＲＡＭ １０３に読み出してＣＰＵ １０１による実行が開始される。また、ＲＯＭ １０２には、情報処理装置１００全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録される。
【００４５】
ＲＡＭ １０３は、データやプログラムを一時的に記憶するためのもので、ＤＶＤ−ＲＯＭから読み出したプログラムやデータ、その他ゲームの進行やチャット通信に必要なデータが保持される。また、ＣＰＵ １０１は、ＲＡＭ １０３に変数領域を設け、当該変数に格納された値に対して直接ＡＬＵを作用させて演算を行ったり、ＲＡＭ １０３に格納された値を一旦レジスタに格納してからレジスタに対して演算を行い、演算結果をメモリに書き戻す、などの処理を行う。
【００４６】
インターフェイス１０４を介して接続されたコントローラ１０５は、ユーザがゲーム実行の際に行う操作入力を受け付ける。
【００４７】
インターフェイス１０４を介して着脱自在に接続された外部メモリ１０６には、ゲーム等のプレイ状況（過去の成績等）を示すデータ、ゲームの進行状態を示すデータ、ネットワーク対戦の場合のチャット通信のログ（記録）のデータなどが書き換え可能に記憶される。ユーザは、コントローラ１０５を介して指示入力を行うことにより、これらのデータを適宜外部メモリ１０６に記録することができる。
【００４８】
ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭには、ゲームを実現するためのプログラムとゲームに付随する画像データや音声データが記録される。ＣＰＵ １０１の制御によって、ＤＶＤ−ＲＯＭドライブ１０８は、これに装着されたＤＶＤ−ＲＯＭに対する読み出し処理を行って、必要なプログラムやデータを読み出し、これらはＲＡＭ １０３等に一時的に記憶される。
【００４９】
画像処理部１０７は、ＤＶＤ−ＲＯＭから読み出されたデータをＣＰＵ １０１や画像処理部１０７が備える画像演算プロセッサ（図示せず）によって加工処理した後、これを画像処理部１０７が備えるフレームメモリ（図示せず）に記録する。フレームメモリに記録された画像情報は、所定の同期タイミングでビデオ信号に変換され画像処理部１０７に接続されるモニタ１１１へ出力される。これにより、各種の画像表示が可能となる。
【００５０】
画像演算プロセッサは、２次元の画像の重ね合わせ演算やαブレンディング等の透過演算、各種の飽和演算を高速に実行できる。
【００５１】
また、仮想空間が３次元にて構成される場合には、当該３次元空間内に配置され、各種のテクスチャ情報が付加されたポリゴン情報を、Ｚバッファ法によりレンダリングして、所定の視点位置から仮想空間に配置されたポリゴンを所定の視線の方向へ俯瞰したレンダリング画像を得る演算の高速実行も可能である。
【００５２】
さらに、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、文字の形状を定義するフォント情報にしたがって、文字列を２次元画像としてフレームメモリへ描画したり、各ポリゴン表面へ描画したりすることが可能である。
【００５３】
ＮＩＣ １０９は、情報処理装置１００をインターネット等のコンピュータ通信網（図示せず）に接続するためのものであり、ＬＡＮ（Local Area Network）を構成する際に用いられる１０ＢＡＳＥ−Ｔ／１００ＢＡＳＥ−Ｔ規格にしたがうものや、電話回線を用いてインターネットに接続するためのアナログモデム、ＩＳＤＮ（Integrated Services Digital Network）モデム、ＡＤＳＬ（Asymmetric Digital Subscriber Line）モデム、ケーブルテレビジョン回線を用いてインターネットに接続するためのケーブルモデム等と、これらとＣＰＵ １０１との仲立ちを行うインターフェイス（図示せず）により構成される。
【００５４】
音声処理部１１０は、ＤＶＤ−ＲＯＭから読み出した音声データをアナログ音声信号に変換し、これに接続されたスピーカ（図示せず）から出力させる。また、ＣＰＵ １０１の制御の下、ゲームの進行の中で発生させるべき効果音や楽曲データを生成し、これに対応した音声をスピーカから出力させる。
【００５５】
音声処理部１１０では、ＤＶＤ−ＲＯＭに記録された音声データがＭＩＤＩデータである場合には、これが有する音源データを参照して、ＭＩＤＩデータをＰＣＭデータに変換する。また、ADPCM形式やOgg Vorbis形式等の圧縮済音声データである場合には、これを展開してＰＣＭデータに変換する。ＰＣＭデータは、そのサンプリング周波数に応じたタイミングでＤ／Ａ（Digital/Analog）変換を行って、スピーカに出力することにより、音声出力が可能となる。
【００５６】
モニタ１１１は、画像処理部１０７に接続され、ＣＰＵ １０１と画像演算プロセッサが協調動作することにより、画像情報を表示する。モニタ１１１は、ＬＣＤ（Liquid Crystal Display）、有機ＥＬディスプレイ（organic Electro-Luminescence display）等により構成され、一般的な置き型ディスプレイの形式又は装着型のＨＭＤの形式で用いられる。
【００５７】
カメラ１１２は、インターフェイス１０４を介して接続され、現実世界を撮影し、撮影した映像を電気信号に変換する。ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complimentary MOS）センサ等から構成される。カメラ１１２は、ユーザの視点から撮影するためにユーザが装着してもよく、又ユーザを映し出すために置き型ディスプレイ等に備え付けてもよい。
【００５８】
このほか、情報処理装置１００は、ハードディスク等の大容量外部記憶装置を用いて、ＲＯＭ １０２、ＲＡＭ １０３、外部メモリ１０６、ＤＶＤ−ＲＯＭドライブ１０８に装着されるＤＶＤ−ＲＯＭ等と同じ機能を果たすように構成してもよい。
【００５９】
以上で説明した情報処理装置１００は、いわゆる「コンシューマ向けテレビゲーム装置」に相当するものであるが、仮想空間を表示するような画像処理を行うものであれば本発明を実現することができる。したがって、携帯電話、携帯ゲーム機器、カラオケ装置、一般的なビジネス用コンピュータなど、種々の計算機上で本発明を実現することが可能である。
【００６０】
たとえば、一般的なコンピュータは、上記情報処理装置１００と同様に、ＣＰＵ、ＲＡＭ、ＲＯＭ、ＤＶＤ−ＲＯＭドライブ、及び、ＮＩＣを備え、情報処理装置１００よりも簡易な機能を備えた画像処理部を備え、外部記憶装置としてハードディスクを有する他、フレキシブルディスク、光磁気ディスク、磁気テープ等が利用できるようになっている。また、コントローラ１０５ではなく、キーボードやマウスなどを入力装置として利用する。
【００６１】
図２は、本発明の実施形態の一つに係る拡張現実表示装置であって、上記情報処理装置１００上に実現される拡張現実表示装置の概要構成を示す説明図である。以下、本図を参照して説明する。
【００６２】
本実施形態の拡張現実表示装置２０１は、撮影部２０３、推定部２０４、計算部２０５、変換部２０６、描画部２０７、表示部２０８、記憶部２０９、を備える。また、典型的には拡張現実表示装置２０１は、マーカ２０２と共に提供又は販売等される。
【００６３】
マーカ２０２は、所定の模様が描かれ、ユーザにより、映像上で仮想物体を表示させる場所に配置される。マーカ２０２に描かれている模様及び模様に対応づけられるオブジェクトは、記憶部２０９に予め登録される。マーカ２０２の模様とオブジェクトの対応関係を表にした例を図３に示す。模様は描画するオブジェクトの向きを判別するため非対称とする。オブジェクトは３次元構造を有するとする。また、記憶部２０９には、マーカ２０２に使用される色彩及びマーカ２０２に対応づけられたオブジェクトの色彩情報等が保存されている。
【００６４】
図４にマーカの例を示す。図４（ａ）に示す例では、マーカにはＬ字型の模様が描かれ、白と黒の２色のみが使用されている。この模様により、対応づけられているオブジェクトが判別され、模様の向きにより、オブジェクトを描画させる向きが決まる。マーカの模様の色彩に、オブジェクトの色彩の平均の色又は最頻値の色を使用しても良い。さらに、図４（ｂ）に示すように、数種類の色を用いてもよい。また、マーカには色彩情報以外にも、表示されるオブジェクトの情報（キャラクター等）を記してもよい。
【００６５】
撮影部２０３は、マーカ２０２が配置された現実世界の様子を撮影し、画像信号を推定部２０４及び計算部２０５に送る。例えば、撮影部２０３はユーザが装着するＨＭＤに備え付けられ、ユーザが見ている向きの現実世界を撮影する。したがって、ＣＰＵ １０１は、カメラ１１２と協働して撮影部２０３として機能する。
【００６６】
推定部２０４は、撮影部２０３により撮影された画像信号を受け取り、画像上のマーカ２０２の位置の推定及びマーカ２０２に描かれた模様の識別を行う。推定部２０４は、まず撮影部２０３により撮影された映像からマーカ２０２を検索し、マーカ画像を抽出する。抽出されたマーカ画像からマーカ２０２の座標情報を求める。次に、抽出されたマーカ画像の模様と記憶部２０９に登録されている模様とのマッチングを行い、マーカ２０２に描かれた模様を識別し、模様の向きを求める。推定部２０４は、推定されたマーカ２０２の位置、識別された模様及びその向きの情報を、計算部２０５及び描画部２０７に送る。例えば、図２の現実世界２１０を撮影した場合、テーブルの上の花瓶の横にあるマーカ画像が抽出され、マーカ２０２の四つの頂点の２次元座標が求められる。次に、抽出されたマーカ２０２は図４（ａ）の模様を有するマーカと判定され、マーカ２０２の模様は正面を向いていると推定される。したがって、ＣＰＵ １０１はＲＡＭ １０３と協働し、推定部２０４として機能する。
【００６７】
計算部２０５は、撮影部２０３からの画像信号と、推定部２０４からマーカ２０２の位置、模様及びその向きの情報と、を受け取り、記憶部２０９に保存されているマーカ２０２の色彩情報を参照して変換パラメータを計算する。例えば、計算部２０５は、画像信号、マーカ２０２の位置、模様及び向きの情報から、マーカ２０２の模様及び模様以外のＲＧＢ値を取得し、記憶部２０９に保存されているマーカ２０２の模様及び模様以外のＲＧＢ値との比を求めることにより、変換パラメータを得る。なお、ＲＧＢ値の代わりに、色相、彩度、明度により色を表現するＨＳＢ値を用いてもよい。計算部２０５は、求めた変換パラメータ及びマーカ２０２の模様情報を変換部２０６に送る。したがって、ＣＰＵ １０１は計算部２０５として機能する。
【００６８】
例えば、図４（ａ）のマーカが現実世界２１０に配置され、模様以外の白色部分が照明等によりオレンジがかったとする。画像信号とマーカ２０２の位置及び向きの情報を基づいて、マーカ２０２の模様以外の部分のＲＧＢ値を検出する（例えば、Ｒ値＝r、Ｇ値＝g、Ｂ値＝b、とする）。一方、記憶部２０９に保存されているマーカ２０２の色彩情報を取得する。マーカ２０２の模様以外の部分は、元は白色なので、Ｒ値＝255、Ｇ値＝255、Ｂ値＝255、となる。両者のＲＧＢ値の比を求め（Ｒ：ｒ/255、Ｇ：g/255、Ｂ：b/255）、その値をＲＧＢ値の変換パラメータとする。また、図４（ｂ）のマーカを用いて変換パラメータを計算する場合は、各色の変換パラメータを求め、オブジェクトの色彩を変換する際に、最も適した変換パラメータを選択するようにしてもよい。
【００６９】
変換部２０６は、計算部２０５より求められた変換パラメータ及び模様情報を受け取り、変換パラメータに基づいてオブジェクトの色を変換する。変換部２０６は、受け取った模様情報に対応づけられているオブジェクトの色彩情報を記憶部２０９から読み込み、オブジェクトの色に対して変換パラメータを用いて変換を行う。変換後の色彩情報を描画部２０７に送る。したがって、ＣＰＵ １０１は画像処理部１０７と協働し、変換部２０６として機能する。
【００７０】
例えば、変換パラメータを、Ｒ：ｒ/255、Ｇ：g/255、Ｂ：b/255、とし、オブジェクトの元の色のＲＧＢ値を、Ｒ値＝r'、Ｇ値＝g'、Ｂ値＝b'とすると、変換後のオブジェクトのＲＧＢ値は、Ｒ値＝(ｒ/255)r'、Ｇ値＝(g/255)g'、Ｂ値＝(b/255)b'、と求められる。また、図４（ｂ）のマーカから変換パラメータを求め、変換する元の色が青色に近い色の場合は、青色の模様部分のＲＧＢ値を用いて求めた変換パラメータで変換するようにしてもよい。
【００７１】
描画部２０７は、推定部２０４からマーカの位置、及び識別されたマーカ２０２の模様及びその向きの情報を、変換部２０６から変換後のオブジェクトの色彩情報を受け取る。描画部２０７は、マーカ２０２の模様からオブジェクトの形状情報を読み込み、マーカ２０２の座標の位置に、変換部２０６で変換された色彩でオブジェクトを描画する。さらに、マーカ２０２の模様の向きに対応するように、オブジェクトの向きを合わせる。描画部２０７は、描画されたオブジェクトの画像情報を表示部２０８に送る。したがって、ＣＰＵ １０１は画像処理部１０７と協働し、描画部２０７として機能する。
【００７２】
表示部２０８は、描画部２０７からのオブジェクト画像情報を受け取り、現実世界２１０の映像上に重畳した画像をモニタ１１１に表示する。したがって、ＣＰＵ １０１は画像処理部１０７及びモニタ１１１と協働し、表示部２０８として機能する。
【００７３】
記憶部２０９は、例えば図３のマーカとオブジェクトの対応関係を示すリストや、マーカ及びオブジェクトの色彩情報を記憶する。記憶部２０９が記憶した情報は、推定部２０４、計算部２０５、変換部２０６、及び描画部２０７によって参照される。したがって、ＣＰＵ １０１はＲＡＭ１０３と協働し、記憶部２０９として機能する。
【００７４】
図５は、本拡張現実表示装置２０１にて実行される拡張現実表示の流れを示すフローチャートである。以下、本図を参照して説明する。
【００７５】
ユーザによる撮影開始の指示等によって、撮影部２０３による撮影が開始される（ステップＳ５０１）。ここで、記憶部２０９に登録されている図４（ａ）のマーカが照明によってオレンジ色に映し出された例を図６に示す。
【００７６】
推定部２０４は撮影部２０３からの画像信号を受け付け、現実世界の画像６１０上のマーカ２０２の位置座標を推定する（ステップＳ５０２）。次に、推定部２０４は、マーカ２０２に描かれているＬ字型の模様を検出し、記憶部２０９に登録されている模様とのマッチングを行う。これによりマーカ２０２に描かれた模様を識別し、さらに登録されているマーカの向きと比較して、Ｌ字型の模様の向きを求める（ステップＳ５０３）。記憶部２０９に登録されている図４（ａ）のマーカより、現実世界の画像６１０のマーカ２０２は正面を向いていると推定される。
【００７７】
計算部２０５は、マーカ２０２の色彩を判別し、予め登録されているマーカの色彩情報を記憶部２０９から読み込む。現実世界の画像６１０の場合、模様以外に使用されている色は“オレンジ色”と判別される。また、マーカ２０２の模様から予め登録されているマーカの模様以外の色は“白色”であると判別される。次に、登録されているマーカの色と、登録されているマーカの色から変化した部分の色の、ＲＧＢ値の比を求め、変換パラメータを計算する（ステップＳ５０４）。
【００７８】
変換部２０６は、マーカ２０２に対応付けられている元のオブジェクトの色（ここでは“白色”とする）を、計算部２０５で求められた変換パラメータを用いて変更する（ステップＳ５０５）。マーカ２０２に対応づけるオブジェクトの色は“オレンジ色”と変更される。
【００７９】
描画部２０７は、推定部２０４で求められたマーカ２０２の位置座標及び模様の向きから、オブジェクトを画像上の所定の位置及び向きに配置する。マーカ２０２の場合は、図７のオブジェクト７１１のように、マーカ２０２の位置に正面を向いて配置される。さらに、変換部２０６で求められたオブジェクトの色彩情報に基づいて、オブジェクト画像を描画する（ステップＳ５０６）。マーカ２０２の場合は、図８のオブジェクト８１１のように“オレンジ色”に描画される。
【００８０】
表示部２０８は、描画部２０７で描画されたオブジェクト画像を現実世界の画像６１０に重畳し、図８の画像をモニタ１１１に表示させる（ステップＳ５０７）。
【００８１】
また、図４（ａ）のマーカが向きを変えて配置され、暗い照明の元で灰色に映し出された例を図９に示す。
【００８２】
この場合、推定部２０４は、現実世界の画像９１０のマーカ９０２と登録されているマーカの向きと比較して、マーカ９０２は左４５度の方向に向いていると推定する（ステップＳ５０３）。次に、計算部２０５は、現実世界の画像９１０のマーカは“灰色”と判別し、判別された色と登録されているマーカの色から変換パラメータを計算する（ステップＳ５０４）。変換部２０６は、計算部２０５で求められた変換パラメータを用いて、マーカ９０２に対応づけるオブジェクトの色を“灰色”に変更する（ステップＳ５０５）。描画部２０７は、図１０のオブジェクト１０１１のように、マーカ９０２の位置に左４５度を向いて配置し、変換部２０６で求められたオブジェクトの色彩情報に基づいて、図１１のオブジェクト１１１１のように“灰色”に描画する（ステップＳ５０６）。表示部２０８は、描画部２０７で描画されたオブジェクト画像を現実世界の画像９１０に重畳し、図１１の画像をモニタ１１１に表示させる（ステップＳ５０７）。
【００８３】
本実施形態では、現実世界に配置されたマーカの色彩情報に基づいて、映像上で現実世界に重畳する仮想物体の色を変換するので、色における違和感を減少させることができる。また、本実施形態では、マーカの模様の色彩をマーカに対応づけられるオブジェクトの色彩の平均又は最頻値することにより、オブジェクトに使用される色が現実世界で配置された際に変化した色を計測することができるので、色変換精度を上げることができる。
【産業上の利用可能性】
【００８４】
以上説明したように、本発明によれば、現実世界の映像と仮想物体の映像を調和させるために、仮想物体色調を補正するのに好適な拡張現実表示装置、拡張現実表示方法、ならびにプログラムを提供することができる。
【符号の説明】
【００８５】
１００ 情報処理装置
１０１ ＣＰＵ
１０２ ＲＯＭ
１０３ ＲＡＭ
１０４ インターフェイス
１０５ コントローラ
１０６ 外部メモリ
１０７ 画像処理部
１０８ ＤＶＤ−ＲＯＭドライブ
１０９ ＮＩＣ
１１０ 音声処理部
１１１ モニタ
１１２ カメラ
２０１ 拡張現実表示装置
２０２，９０２ マーカ
２０３ 撮影部
２０４ 推定部
２０５ 計算部
２０６ 変換部
２０７ 描画部
２０８ 表示部
２０９ 記憶部
２１０ 現実世界
６１０ マーカ２０２が配置された現実世界の画像
７１０ マーカ２０２に対応づけられた、色変換前のオブジェクトを表示した画像
７１１ マーカ２０２に対応づけられた色変換前のオブジェクト
８１０ マーカ２０２に対応づけられた、色変換後のオブジェクトを表示した画像
８１１ マーカ２０２に対応づけられた色変換後のオブジェクト
９１０ マーカ９０２が配置された現実世界の画像
１０１０ マーカ９０２に対応づけられた、色変換前のオブジェクトを表示した画像
１０１１ マーカ９０２に対応づけられた色変換前のオブジェクト
１１１０ マーカ９０２に対応づけられた、色変換後のオブジェクトを表示した画像
１１１１ マーカ９０２に対応づけられた色変換後のオブジェクト
【特許請求の範囲】
【請求項１】
マーカが配置された現実世界の様子を撮影する撮影部と、
前記撮影部により撮影された画像内におけるマーカの位置を推定する推定部と、
前記マーカに描かれた模様の色彩から、前記撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する計算部と、
前記マーカに対応づけられるオブジェクトの色彩を、前記計算された変換パラメータにより変換する変換部と、
前記撮影部により撮影された画像内の前記推定された位置に、前記色彩が変換されたオブジェクトを描画する描画部と、
前記オブジェクトが描画された画像を表示する表示部と、
を備えることを特徴とする拡張現実表示装置。
【請求項２】
所定の模様が描かれ、現実世界に配置されるマーカと、
前記マーカが配置された現実世界の様子を撮影する撮影部と、
前記撮影部により撮影された画像内におけるマーカの位置を推定する推定部と、
前記マーカに描かれた模様の色彩から、前記撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する計算部と、
前記マーカに対応づけられるオブジェクトの色彩を、前記計算された変換パラメータにより変換する変換部と、
前記撮影部により撮影された画像内の前記推定された位置に、前記色彩が変換されたオブジェクトを描画する描画部と、
前記オブジェクトが描画された画像を表示する表示部と、
を備えることを特徴とする拡張現実表示装置。
【請求項３】
請求項１又は２に記載の拡張現実表示装置であって、
前記マーカに描かれた模様の色彩は、前記マーカに対応づけられるオブジェクトの色彩の平均もしくは最頻値である、
ことを特徴とする拡張現実表示装置。
【請求項４】
撮影部、推定部、計算部、変換部、描画部、表示部を有する拡張現実表示装置にて実行される拡張現実表示方法であって、
前記撮影部が、所定の模様が描かれたマーカが配置された現実世界の様子を撮影する撮影工程と、
前記推定部が、前記撮影部により撮影された画像内におけるマーカの位置を推定する推定工程と、
前記計算部が、前記マーカに描かれた模様の色彩から、前記撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する計算工程と、
前記変換部が、前記マーカに対応づけられるオブジェクトの色彩を、前記計算された変換パラメータにより変換する変換工程と、
前記描画部が、前記撮影部により撮影された画像内の前記推定された位置に、前記色彩が変換されたオブジェクトを描画する描画工程と、
前記表示部が、前記オブジェクトが描画された画像を表示する表示工程と、
を備えることを特徴とする拡張現実表示方法。
【請求項５】
コンピュータを、
所定の模様が描かれたマーカが配置された現実世界の様子を撮影する撮影部、
前記撮影部により撮影された画像内におけるマーカの位置を推定する推定部、
前記マーカに描かれた模様の色彩から、前記撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する計算部、
前記マーカに対応づけられるオブジェクトの色彩を、前記計算された変換パラメータにより変換する変換部、
前記撮影部により撮影された画像内の前記推定された位置に、前記色彩が変換されたオブジェクトを描画する描画部、
前記オブジェクトが描画された画像を表示する表示部、
として機能させることを特徴とするプログラム。
【請求項１】
マーカが配置された現実世界の様子を撮影する撮影部と、
前記撮影部により撮影された画像内におけるマーカの位置を推定する推定部と、
前記マーカに描かれた模様の色彩から、前記撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する計算部と、
前記マーカに対応づけられるオブジェクトの色彩を、前記計算された変換パラメータにより変換する変換部と、
前記撮影部により撮影された画像内の前記推定された位置に、前記色彩が変換されたオブジェクトを描画する描画部と、
前記オブジェクトが描画された画像を表示する表示部と、
を備えることを特徴とする拡張現実表示装置。
【請求項２】
所定の模様が描かれ、現実世界に配置されるマーカと、
前記マーカが配置された現実世界の様子を撮影する撮影部と、
前記撮影部により撮影された画像内におけるマーカの位置を推定する推定部と、
前記マーカに描かれた模様の色彩から、前記撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する計算部と、
前記マーカに対応づけられるオブジェクトの色彩を、前記計算された変換パラメータにより変換する変換部と、
前記撮影部により撮影された画像内の前記推定された位置に、前記色彩が変換されたオブジェクトを描画する描画部と、
前記オブジェクトが描画された画像を表示する表示部と、
を備えることを特徴とする拡張現実表示装置。
【請求項３】
請求項１又は２に記載の拡張現実表示装置であって、
前記マーカに描かれた模様の色彩は、前記マーカに対応づけられるオブジェクトの色彩の平均もしくは最頻値である、
ことを特徴とする拡張現実表示装置。
【請求項４】
撮影部、推定部、計算部、変換部、描画部、表示部を有する拡張現実表示装置にて実行される拡張現実表示方法であって、
前記撮影部が、所定の模様が描かれたマーカが配置された現実世界の様子を撮影する撮影工程と、
前記推定部が、前記撮影部により撮影された画像内におけるマーカの位置を推定する推定工程と、
前記計算部が、前記マーカに描かれた模様の色彩から、前記撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する計算工程と、
前記変換部が、前記マーカに対応づけられるオブジェクトの色彩を、前記計算された変換パラメータにより変換する変換工程と、
前記描画部が、前記撮影部により撮影された画像内の前記推定された位置に、前記色彩が変換されたオブジェクトを描画する描画工程と、
前記表示部が、前記オブジェクトが描画された画像を表示する表示工程と、
を備えることを特徴とする拡張現実表示方法。
【請求項５】
コンピュータを、
所定の模様が描かれたマーカが配置された現実世界の様子を撮影する撮影部、
前記撮影部により撮影された画像内におけるマーカの位置を推定する推定部、
前記マーカに描かれた模様の色彩から、前記撮影部により撮影された画像内におけるマーカの模様の色彩への変換パラメータを計算する計算部、
前記マーカに対応づけられるオブジェクトの色彩を、前記計算された変換パラメータにより変換する変換部、
前記撮影部により撮影された画像内の前記推定された位置に、前記色彩が変換されたオブジェクトを描画する描画部、
前記オブジェクトが描画された画像を表示する表示部、
として機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−１７０３１６（Ｐ２０１０−１７０３１６Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−１１９８２（Ｐ２００９−１１９８２）
【出願日】平成２１年１月２２日（２００９．１．２２）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２２日（２００９．１．２２）
【出願人】（５０６１１３６０２）株式会社コナミデジタルエンタテインメント (1,441)
【Ｆターム（参考）】
[ Back to top ]