複合現実感システムに用いるマーカユニット、複合現実感システム、マーカユニット作成支援システム、及び、マーカユニット作成支援プログラム
【課題】美観を損ねることが無く、しかも、識別性を十分に確保することができる複合現実感システムに用いるマーカユニットを提供する。
【解決手段】現実環境における物体Ｒの位置を認識して仮想情報を重畳表示する複合現実感システム１に用いられ、物体Ｒに配置されることによって当該物体Ｒの位置認識の指標とされるマーカユニットＭＵである。このマーカユニットＭＵは、物体Ｒの色に近似した色が付され、且つ、その外形及び配置の組合せにより識別情報を構成する複数のマーカエレメントＭＥからなる。
【解決手段】現実環境における物体Ｒの位置を認識して仮想情報を重畳表示する複合現実感システム１に用いられ、物体Ｒに配置されることによって当該物体Ｒの位置認識の指標とされるマーカユニットＭＵである。このマーカユニットＭＵは、物体Ｒの色に近似した色が付され、且つ、その外形及び配置の組合せにより識別情報を構成する複数のマーカエレメントＭＥからなる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実感システムに用いるマーカユニット及び複合現実感システムに関する。また、本発明は、マーカユニットを作成するためのマーカユニット作成支援システム及び作成支援プログラムに関する。
【背景技術】
【０００２】
近年、カメラによって撮影された現実環境（現実空間）の画像にＣＧ（コンピュータグラフィックス）画像や文字等の仮想情報を重畳表示することによって、現実環境の情報を増幅・拡張する複合現実感技術（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究、開発が盛んに行われている。この複合現実感技術の応用として、例えば、人間の頭部に装着可能なシースルータイプのディスプレイに、現実の視野に対応した仮想の映像を重ね合わせて映し出すことにより、装着者により多くの情報をリアルタイムに提供する複合現実感システムが考えられている。
【０００３】
このような複合現実感システムでは、人間が頭部を動かしたり移動したりすると当然に視野も変わるため、仮想情報も追随して変化しなければならない。この追随のため、現実環境の物体とその物体に対応した仮想情報との位置合わせが重要となる。この位置合わせを行うための方法として、現実環境の物体に人工的に作成したマーカを複数配置し、カメラで撮影した画像から物体に配置したマーカを検出することによって映像中の物体の位置を認識し、その位置からカメラの位置や姿勢を特定して位置合わせする方法が知られている。
【０００４】
従来、人工的に作成したマーカは、円形状や正方形状等の識別しやすい形状のものや、コントラストの高い白黒２色を配したもの、赤・青・黄などの色を組み合わせて配したもの等が用いられている。しかし、このようなマーカは識別性のみを重視したものであるため、これを配置した物体と調和せず、美観を損ねるという問題がある。
また、美観を損ねないようにするため、マーカ自身を肉眼では視認しにくい再帰性反射材で作成し、赤外光を照射したマーカを赤外線カメラで撮影することも提案されている（非特許文献１）。しかし、この場合、赤外線カメラの使用が前提となるため、使用環境が限定され、普及は困難である。
【非特許文献１】中里祐介、他２名、“ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた位置・姿勢推定”、日本バーチャルリアリティ学会論文誌Ｖｏｌ．１０，Ｎｏ．３，２００５
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記の実情に鑑みてなされたものであり、美観を損ねることが無く、しかも、識別性（識別の頑健性）を十分に確保することができるマーカユニット及びこのマーカユニットを用いた複合現実感システムを提供することを目的とする。
また、物体に応じて適切なマーカユニットを作成するためのマーカユニット作成支援システム及び作成支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のマーカユニットは、現実環境における物体の位置を認識して仮想情報を重畳表示する複合現実感システムに用いられ、前記物体に配置されることによって当該物体の位置認識の指標とされるマーカユニットであって、
前記物体の色に近似した色が付され、且つ、その外形及び配置の組合せにより識別情報を構成する複数のマーカエレメントからなることを特徴とする。
【０００７】
この構成によれば、マーカユニットの色が物体の色に近似した色とされるので、現実環境における美観を損ねることが無く、また、複数のマーカエレメントの外形及び配置の組合せによって識別情報を構成しているので、マーカユニットの色が物体の色に近似していても、マーカユニットの識別性を十分に確保することができる。
【０００８】
前記マーカエレメントの色は、物体の色と同一の色系統で濃度が近似するように設定したり、物体の色と同一の濃度で色系統が近似するように設定したりすることができる。
前記マーカエレメントは、その外形の少なくとも一部が物体の外形に沿う形状とされていることが好ましい。これによって、物体に調和したマーカエレメントを配置することができ、美観を損ねないようにすることができる。
【０００９】
上記のマーカユニットを用いた本発明の複合現実感システムは、前記物体とこの物体に配置されている前記マーカエレメントとの色情報、及び、前記マーカユニットの外形及び配置の組合せ情報とを記憶する記憶手段と、前記物体の撮影画像から、前記色情報に基づいて前記マーカエレメントを検出するマーカエレメント検出手段と、検出された複数のマーカエレメントの外形及び配置の組合せが、前記組合せ情報に対応するかを判別することにより、そのマーカエレメントにより構成されるマーカユニットを検出するマーカユニット検出手段と、を備えていることを特徴とする。
このような構成によって、物体の色に近似した色のマーカエレメントや、このマーカエレメントの外形や配置により識別されるマーカユニットを適切に検出することができる。
【００１０】
物体に対応した上記のマーカユニットを作成するための本発明のマーカユニット作成支援システムは、前記物体を撮影する撮影装置と、前記物体に使用するマーカユニットの決定処理を行う処理装置と、を備え、前記処理装置が、撮影された物体の画像を入力する画像入力手段と、入力された画像から、マーカユニットが配置される物体の領域を抽出する対象領域抽出手段と、抽出された物体の色及び形状に応じて当該物体に配置することが可能なマーカユニットを決定するマーカユニット決定手段と、を備えていることを特徴とする。
【００１１】
また、物体に対応した上記のマーカユニットを作成するための本発明のマーカユニット作成支援プログラムは、物体の撮影画像を入力する画像入力手段、入力された画像から、マーカユニットが配置される物体の領域を抽出する対象領域抽出手段、及び、抽出された物体の色及び形状に応じて当該物体に配置することが可能なマーカユニットを決定するマーカユニット決定手段、としてコンピュータを機能させることを特徴とする。
【００１２】
このようなマーカユニット作成支援システム及びマーカユニット作成支援プログラムによれば、現実環境の物体に応じてマーカユニットを適切に決定することができ、ユーザ（マーカユニットの作成者）自身が物体に応じてマーカユニットの色や形状等を決定する必要が無くなるので、ユーザの負担を軽減し、現実環境に対する複合現実感システムの導入を容易に行うことができる。
【００１３】
前記マーカユニット決定手段は、物体に配置することが可能な複数のマーカユニットの候補を提示する提示手段と、複数のマーカユニットの候補のなかからユーザの選択を受け付ける選択受付手段とを含むことが好ましい。
この構成によって、複数のマーカユニットの候補の中から、より美観を損なうことがないマーカユニットをユーザの目で判断して決定することができる。
【発明の効果】
【００１４】
本発明のマーカユニット及び複合現実感システムによれば、現実環境の美観を損ねることが無く、しかも、マーカユニットの識別性を十分に確保することができる。また、本発明のマーカユニット作成支援システム及び作成支援プログラムによれば、現実環境に応じたマーカユニットを適切に決定し、ユーザに対するマーカユニットの作成負担を軽減することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明の実施形態にかかる複合現実感システム１の概要を示す図である。複合現実感システム１は、現実の環境に存在する物体Ｒ（Ｒ１，Ｒ２）、例えば、室内に配置された棚Ｒ１や扉Ｒ２に対してマーカユニットＭＵを配置し、室内の映像を、例えば人間の頭部に装着したヘッドマウントディスプレイ（ＨＭＤ）１０のカメラによって撮影し、撮影した映像からマーカユニットＭＵを検出して物体Ｒ１，Ｒ２の存在を認識し、この物体Ｒ１，Ｒ２に対応（位置合わせ）させてＣＧ画像や文字等の仮想の情報をヘッドマウントディスプレイ１０に表示することにより、現実の視野に入る情報を増幅・拡張するものである。
【００１６】
なお、ヘッドマウントディスプレイ１０は、例えばビデオシースルー方式を採用することができる。このヘッドマウントディスプレイ１０のゴーグル部の内部には、両眼とほぼ対応する位置にＣＣＤ又はＣＭＯＳイメージセンサを有するビデオカメラ（撮影手段）１２（図３）が設けられ、ゴーグル部の前面部分の裏側には、それぞれ両眼に対応するディスプレイ（表示手段）１３（図３）が左右両側に振り分けて配置される。そして、この各ディスプレイ１３に、ビデオカメラ１２で撮影した情報とともに、処理装置１１で生成された仮想空間の映像が表示される。なお、ヘッドマウントディスプレイ１０は光学シースルー方式を採用することもできる。
【００１７】
処理装置１１は、ＣＰＵ、ＲＡＭ，ＲＯＭ及びＨＤＤ等の記憶装置、Ｉ／Ｏインターフェース等を備えたコンピュータにより構成され、ヘッドマウントディスプレイ１０と有線又は無線により通信可能に接続されている。処理装置１１は、ウェアラブルコンピュータとして人間の体に付帯することもできるし、人間から離れた場所に設置することもできる。
ビデオカメラ１２及びディスプレイ１３は、ヘッドマウントディスプレイ１０として構成するに限らず、それぞれ個別に人体には装着しない形態で構成することも可能である。この場合、ディスプレイ１３は、ノートパソコンのように処理装置１１を構成するコンピュータの一部として構成することもできる。
【００１８】
〔マーカユニットの構成〕
マーカユニットＭＵは、物体Ｒ１，Ｒ２を認識するための１つの識別情報（ＩＤ）を構成する単位であり、複数のマーカエレメントＭＥの組合せによって構成されている。したがって、複数のマーカエレメントＭＥの一部の形状や配置が異なれば、マーカユニットＭＵは異なる識別情報を構成することになる。
マーカエレメントＭＥは、物体Ｒ１，Ｒ２の表面に貼り付けられる紙、プラスチック板、木板等により形成され、物体Ｒ１，Ｒ２に貼り付けたときの凹凸が小さく、物体Ｒ１，Ｒ２に対して違和感や異物感を感じさせない程度の薄い材料により形成されている。
【００１９】
また、マーカエレメントＭＥは単色無地であり、貼り付けられる物体Ｒ１，Ｒ２の色（背景色）に近似した着色がなされている。近似した色とは、例えば、色系統（色相、色彩）が同じで濃度（明度）がやや異なる色や、濃度が同じで色系統がやや異なる色、又は、色系統及び濃度がやや異なる色等をいう。いずれにおいても、マーカエレメントＭＥの色と物体Ｒ１，Ｒ２の色とは大きく相違するものではなく、マーカエレメントＭＥの色は、後述する検出処理が可能な範囲で物体Ｒ１，Ｒ２の色に違和感なく調和し、美観を損ねない色に設定されている。
【００２０】
また、マーカエレメントＭＥは、配置される物体Ｒ１，Ｒ２の形状に応じて、Ｌ字形、Ｉ字形、Ｔ字形、二等辺三角形等に形成されている。図１に示す例では、棚Ｒ１には６個のマーカエレメントＭＥが配置されており、棚Ｒ１の上部両側にはＬ字形、上下中間部の両側にはＴ字形、下部両側にはＩ字形のマーカエレメントＭＥがそれぞれ配置されている。また、扉Ｒ２には上下２つのマーカユニットＭＵが配置され、上側のマーカユニットＭＵの上部両側には二等辺三角形、下部両側にはＩ字形のマーカエレメントＭＥがそれぞれ配置されている。扉Ｒ２の下側のマーカユニットＭＵの上部両側にはＩ字形、下部両側にはＬ字形のマーカエレメントＭＥがそれぞれ配置されている。
【００２１】
各マーカエレメントＭＥは、物体Ｒ１，Ｒ２の角や辺の形状に沿うように外形が選択されている。すなわち、マーカエレメントＭＥは、少なくとも一部分の外形が物体Ｒ１，Ｒ２の外形に沿うように形成され、物体Ｒ１，Ｒ２に表面に配置しても視覚的に違和感を覚えさせないような単純な形状となっている。
【００２２】
１つのマーカユニットＭＵを構成する各マーカエレメントＭＥは、物体Ｒ１，Ｒ２の回転系を識別できるように外形の組合せが設定されている。例えば、図２に示すように、物体Ｒのある平面ＰＬの４隅にマーカエレメントＭＥ１〜ＭＥ４を配置することによって、２点鎖線で示すような長方形状のマーカユニットＭＵを形成する場合、当該平面ＰＬを中心Ｏ回りに回転させたときに、同じ形状のマーカエレメントＭＥ１〜ＭＥ４が同じ配置にならないようにマーカエレメントＭＥ１〜ＭＥ４の外形及び配置が設定される。すなわち、１つのマーカユニットＭＵにおいて、全てのマーカエレメントＭＥ１〜ＭＥ４を同じ形状で形成したり、各マーカエレメントＭＥ１〜ＭＥ４を点対称で配置することはできず、全てのマーカエレメントＭＥ１〜ＭＥ４を異なる形状としたり、同じ形状を含む場合であってもそれらを線対称で配置する必要がある。
なお、図１には物体Ｒに配置することが可能なマーカエレメントＭＥの集合をマーカセットＭＳとして示している。
【００２３】
〔処理装置１１の機能構成〕
図１に示すように、複合現実感システム１は、物体Ｒ１，Ｒ２に配置されたマーカエレメントＭＥ及びマーカユニットＭＵを検出することによって物体Ｒ１，Ｒ２の存在を認識し、マーカユニットＭＵの位置や配置からカメラ１２の位置や姿勢（人間の視点の位置や向き）を検出する。そして、検出されたカメラ１２の位置姿勢に応じて視野内の物体にディスプレイを介してＣＧ画像等の仮想情報を重畳して表示する。
【００２４】
図３は、このような複合現実感システム１の処理装置１１の機能構成を示す図であり、処理装置１１は、その機能部として、ヘッドマウントディスプレイ１０のカメラ１２及びディスプレイ１３との間で情報の入出力を行う通信手段２７、マーカエレメントＭＥ及び物体Ｒ１，Ｒ２の色に関する情報やマーカエレメントＭＥの外形や配置に関する情報を記憶する記憶手段２１、カメラ１２で撮影された画像を入力する画像入力手段２２、入力された画像からマーカエレメントＭＥを検出するマーカエレメント検出手段２３、検出されたマーカエレメントＭＥからマーカユニットＭＵを検出するマーカユニット検出手段２４、検出されたマーカユニットＭＵからカメラ１２の位置及び姿勢を求めるカメラ位置姿勢検出手段２５、及び、検出されたカメラ１２の位置姿勢に応じて、仮想情報をディスプレイ１３に出力表示させる仮想情報出力手段２６を備えている。
【００２５】
通信手段２７は、カメラ１２及びディスプレイ１３に物理的に接続されたＩ／Ｏインターフェースの機能として構成され、記憶手段２１は、ハードディスク等の記憶装置の機能として構成される。また、各検出手段２３，２４，２５は、ハードディスク等の記憶装置にインストールされたアプリケーションプログラムによって機能する。
以上の複合現実感システム１の機能の詳細については、次の処理手順とともに説明する。
【００２６】
〔複合現実感システムの処理手順〕
図４は、複合現実感システムの処理手順を示すフローチャートである。以下これらの処理を、図２に示すモデルを例に説明する。
なお、複合現実感システム１による処理を行うに当たって、処理装置１１には、記憶手段２１（図３）の機能により、マーカユニットＭＵを構成するマーカエレメントＭＥ（ＭＥ１〜ＭＥ４）と、このマーカエレメントＭＥが配置される物体Ｒとの色情報が予め登録されている。本実施形態では、マーカエレメントＭＥと物体Ｒとは同じ色系統（色相及び色彩）であるが、濃度（明度）がやや異なるものとされている。記憶手段２１には、このようなマーカエレメントＭＥ及び物体Ｒの色系統の情報と、濃度差の情報とが登録されている。
また、処理装置１１の記憶手段２１には、識別情報（ＩＤ）を構成するマーカユニットＭＵの各マーカエレメントＭＥの外形及び配置の組合せ情報が登録されている。図２に示すモデルでは、長方形を形成するように配置された４つのマーカエレメントＭＥ１〜ＭＥ４の各外形と相互の配置関係との組合せ情報が記憶手段２１に登録される。
【００２７】
（１）マーカエレメントの検出処理
図３に示すように、カメラ１２によって所定のフレームレートで撮影が行われると、処理装置１１は、その撮影された画像を画像入力手段２２によってその都度入力する。図４のステップＳ１はマーカエレメント検出手段２３の処理であり、処理装置１１は、まず、最初に入力されたフレームの画像全体に対してラスタ走査を行う。そして、記憶手段２１に記憶されているマーカエレメントＭＥ１〜ＭＥ４及び物体Ｒの色情報と同系色の色で構成されたピクセルを画像から探索する。
【００２８】
図５は、画像のピクセル探索を説明する概略図である。枠Ａで囲んで示すように、画像Ｇ内で該当するピクセルｐが互いに隣接して存在しているとき、その濃度差が所定の閾値を超えているか否かを判別する。閾値を超えている場合には、マーカエレメントＭＥ１〜ＭＥ４と物体Ｒとの境界で隣接するピクセルｐであると判断し、一方のピクセルを開始点として、同様の探索を繰り返し行い、矢印で示すようにマーカエレメントＭＥの輪郭線追跡処理を行う。
【００２９】
なお、隣接するピクセルｐのうちどちらを輪郭線追跡の開始点とするかは、予め登録されたマーカエレメントＭＥと物体Ｒとの濃度の高低から、マーカエレメントＭＥに相当する方のピクセルを開始点に選択する。
輪郭線追跡中に、画像の境界や他の輪郭線に接した場合、又は、現在追跡中の輪郭線に接した場合は、輪郭線追跡を終了する。輪郭線追跡を行った結果、開始点に戻ってきたい輪郭のみをマーカエレメントＭＥの候補とする。
【００３０】
処理装置１１は、以上のように輪郭線追跡処理をすることによって画像に含まれるマーカエレメントＭＥの候補を決定すると、次にマーカエレメントＭＥの形状の識別を行う。
マーカエレメントＭＥの外形は、輪郭線の頂点の数と、各頂点における輪郭線の形（凹凸）から分類することができる。例えば、Ｌ字形のマーカエレメントは頂点が６個あり、そのうち凸状の頂点が５個、凹状の頂点が１個ある。Ｉ字形のマーカエレメントは凸状の頂点が４個、２等辺三角形のマーカエレメントは凸状の頂点が３個ある。したがって、この頂点の数と頂点における輪郭形状とを判断することでマーカエレメントの形状を識別することができる。
【００３１】
輪郭線追跡処理によって取得した輪郭線の頂点は、区分的直線近似法を用いて求める。本来、この手法は、曲線を直線で近似する方法であるが、本実施形態のように、直線の組合せによって閉じた輪郭線を形成するマーカエレメントＭＥに対しては、その頂点を求めるために用いることができる。
具体的には、例えば図６（Ａ）に示すように、輪郭線追跡によって得られた輪郭線Ｌ上の任意の点Ｐ０を決定し、その点Ｐ０から最も遠い点を第１頂点Ｐ１、第１頂点Ｐ１から最も遠い点を第２頂点Ｐ２にそれぞれ設定する。そして、図６（Ｂ）に示すように、第１頂点Ｐ１（Ｐ１１，Ｐ１２）と第２頂点Ｐ２（Ｐ２１，Ｐ２２）を端点とする２つの輪郭線Ｌ１，Ｌ２を想定し、各輪郭線Ｌ１，Ｌ２に対してそれぞれ区分的直線的近似法を適用する。これにより、図６（Ｃ）に示すように、各輪郭線Ｌ１，Ｌ２が直線化されるとともに、頂点Ｐ３〜Ｐ６が求められる。
以上の処理をフレーム画像全体に対して行い、画像中の全てのマーカエレメントＭＥを検出する。
【００３２】
なお、本実施形態では、マーカエレメントＭＥの検出に用いる色情報として、一般にコンピュータで用いられるＲＧＢ色空間ではなく、マンセル表色系等の顕色系で使われるＨＳＩ（色相、彩度、明度）色空間を利用している。そのため、物体Ｒの撮影画像のＲＧＢ値は、双六角錐モデルや六角錐モデルを用いてＨＳＩ値に変換している。
【００３３】
（２）マーカユニットの検出処理
図４のステップＳ２において、処理装置１１は、マーカユニット検出手段２４の機能によりマーカユニットＭＵの検出処理を行う。処理装置１１は、撮影画像から検出された全てのマーカエレメントＭＥのなかからマーカユニットＭＵを構成し得る複数のマーカエレメントＭＥを選択する。例えば、図２に示すモデルでは、マーカユニットＭＵが、２点鎖線の長方形を形成するように配置されたマーカエレメントＭＥ１〜ＭＥ４によって構成されているので、選択されたマーカエレメントＭＥが、このような長方形の配置則に則って同一平面上に配置されているかを判定する。そして、選択されたマーカエレメントＭＥが、当該長方形を形成するように配置されていた場合は、そのマーカエレメントＭＥの外形及び配置の組合せと、記憶手段２１に予め記憶されたマーカエレメントＭＥの外形及び配置の組合せ情報との対応づけを行う。
【００３４】
選択されたマーカエレメントＭＥが長方形を形成するように配置されているか否かの判定は、次のように行う。図７（ａ）に示すように、まず、選択された４つのマーカエレメントＭＥ１〜ＭＥ４が長方形を形成していると仮定して、その頂点を求める。そして、各マーカエレメントＭＥの重心Ｅｃ１〜Ｅｃ４を求め、これらの中心を長方形の擬似重心Ｃとする。
各マーカエレメントＭＥ１〜ＭＥ４において、図７（ｂ）に示すように、擬似重心Ｃから最も距離のある頂点を求め、それぞれをマーカユニットＭＵの頂点ν１〜ν４と仮定する。この際、Ｌ字型のマーカエレメントＭＥ１，ＭＥ２に関しては、長方形の頂点となりうる点が一意に決定するため、その頂点をマーカユニットＭＵの頂点ν１，ν２とする。
【００３５】
そして、４角形ν１〜ν４に各マーカエレメントＭＥ１〜ＭＥ４の２辺が内接するとき、これらの４つのマーカエレメントＭＥ１〜ＭＥ４の組合せがマーカユニットＭＵを形成するための配置則を満たしていると判断する。
具体的に、各マーカエレメントＭＥ１〜ＭＥ４が４角形ν１〜ν４に内接しているかを調べるには、図７（ｃ）に示すように、マーカユニットＭＵの頂点と仮定された点、例えば頂点ν１から，マーカユニットＭＵ内で隣接する頂点ν２への方向ベクトルをＶ１２とし、マーカエレメントＭＥ１内で隣接する頂点ν１２への方向ベクトルをＵ１２とする。また、頂点ν１から，マーカユニットＭＵ内で隣接する他の頂点ν４への方向ベクトルをＶ１４とし、マーカエレメントＭＥ１内で隣接する他の頂点ν１４への方向ベクトルをＵ１４とする。そして、Ｖ１２とＵ１２、及び、Ｖ１４とＵ１４の方向成分がほぼ一致している場合、マーカエレメントＭＥ１の２辺が４角形ν１〜ν４に内接しているものとする。
【００３６】
選択された４つのマーカエレメントＭＥ１〜ＭＥ４が長方形を形成するように配置されている場合、それぞれのマーカエレメントＭＥ１〜ＭＥ４の外形や配置の関係が、記憶手段２１に予め登録されているマーカユニットＭＵのマーカエレメントＭＥ１〜ＭＥ４と一致するかを判定し、一致した場合にマーカユニットＭＵが検出される。
このように撮影画像からマーカユニットＭＵを検出すると、そのマーカユニットＭＵの４頂点ν１〜ν４の３次元位置をとることができる。
【００３７】
処理装置１１は、図４のステップＳ３において、マーカユニットＭＵの検出が成功したか否かを判別し、成功した場合はステップＳ４に進み、失敗した場合はステップＳ１に処理を戻す。
【００３８】
（３）カメラの位置姿勢検出
処理装置１１は、図４のステップＳ４において、カメラ位置姿勢検出手段２５の機能によってカメラ１２の位置姿勢検出を行う。
カメラ１２の位置姿勢検出を行うため、本実施形態の複合現実感システム１で取り扱う座標系は、図８に示すように、世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）、マーカ座標系（Ｘｍ，Ｙｍ，Ｚｍ）、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）、及び、スクリーン座標系（ｘｃ、ｙｃ）の４つである。
【００３９】
世界座標系は、複合現実空間において基準となる座標系である。この世界座標系を決定することで、現実空間と仮想空間との整合性を図る。現実空間における世界座標系の位置姿勢及び世界座標系における仮想物体の位置は予め設定しておく。
マーカ座標系は、マーカユニットＭＵ毎に存在する座標系であり、マーカユニットＭＵの法線方向をＺ軸とする３次元座標である。世界座標系におけるマーカ座標系の位置関係は予め設定しておく。
【００４０】
カメラ座標系は、カメラ１２の焦点位置ｆを原点として画像平面に垂直な方向をＺ軸とする３次元の座標系である。カメラ１２の位置姿勢を求めるには、世界座標系とカメラ座標系との変換行列を求めることが必要である。
スクリーン座標系は、撮影画像中での位置関係を表す２次元の座標系である。
世界座標系とマーカ座標系との変換行列は予め処理装置１１に登録される。また、カメラ座標系とスクリーン座標系との変換行列であるカメラの内部パラメータは、事前に求めておく。
【００４１】
上述したマーカユニット検出処理（ステップＳ２）によって、マーカ座標系とスクリーン座標系とにおけるマーカユニットＭＵを構成する４頂点の座標は既に求められている。そのため、これらの対応関係によって、マーカ座標系とカメラ座標系との変換行列を求めることができる。スクリーン座標系におけるマーカユニットＭＵの４頂点の座標から、向かい合う２辺の直線が２組得られるので、この２組の平行な直線によりカメラの姿勢推定を行う。カメラの姿勢が求まると、マーカ座標系とスクリーン座標系におけるマーカユニットＭＵの４頂点の対応関係によりカメラの位置が求まる。その後、マーカ座標系とカメラ座標系との変換行列の回転成分を適宜修正したのち、マーカ座標系とカメラ座標系との変換行列と、予め登録されている世界座標系とマーカ座標系との変換行列とを用い、世界座標系におけるカメラ１２の位置姿勢を求める。
【００４２】
図４のステップＳ５において、処理装置１１は、カメラ１２の位置姿勢の検出に成功したかどうかを判別し、成功した場合は処理をステップＳ６に進め、失敗した場合は処理をステップＳ１に戻す。
【００４３】
（４）次フレームにおけるマーカエレメントの検出処理
図４のステップＳ６では、カメラ１２によって撮影した次のフレームの画像について上述と略同様の処理を行う。この際、上記ステップＳ１の処理では、フレームの画像全体に対してラスタ走査を行うことによってマーカエレメントＭＥの検出を行っていたが、ステップＳ６では、走査範囲を限定してマーカエレメントＭＥの検出を行う。
ステップＳ６の処理は、その前のフレームでカメラ１２の位置姿勢検出が成功しているので、マーカエレメントＭＥ及びマーカユニットＭＵについても正確に検出されていると考えられる。そのため、既に検出されたマーカエレメントＭＥの位置情報をもとに走査範囲を限定することによって、処理速度の向上を図りつつ正確なマーカエレメントＭＥの検出を可能にしている。
したがって、本実施形態のマーカエレメント検出手段２３は、撮影画像全体を走査してマーカエレメントＭＥの検出を行う第１の検出機能と、既に検出されたマーカエレメントＭＥの位置情報を元に走査範囲を限定してマーカエレメントＭＥの検出を行う第２の検出機能とを備えていることになる。
【００４４】
ステップＳ６では、前のフレームで検出されたマーカエレメントＭＥに対しては、その外接長方形の領域のみに限定して走査する。この場合、マーカエレメントＭＥの形状や傾きから、前フレームで検出されたものと同じか否かを判定し、同じ位置のマーカエレメントが検出された場合には、以降の走査は行わない。
【００４５】
また、物体Ｒに複数のマーカユニットＭＵを設置している場合、ステップＳ６では、前フレームで検出されなかったマーカユニットＭＵのマーカエレメント（前フレームで他の物体等によって隠れていたマーカエレメント）が新たに画像内に写り込むことがある。
例えば、図９に示すように、棚Ｒの２つの側面にそれぞれマーカユニットＭＵ１，ＭＵ２を設定しているときに、前のフレームの画像には、一方のマーカユニットＭＵ１の全てのマーカエレメントＭＥと、他方のマーカユニットＭＵ２の一部のマーカエレメントＭＥが写っていた（円Ｂで囲まれたマーカエレメントＭＥのみが写っていた）ような場合、ステップＳ６では、既にあるカメラの位置姿勢の情報と、記憶手段２１に記憶されているマーカユニットＭＵ１，ＭＵ２の組合せ情報とによって透視投影変換を行い、前のフレームで写っていなかったマーカエレメントＭＥ（円Ｃで囲まれたマーカエレメントＭＥ）の位置を予測してその周辺領域を走査する。
これにより、フレームの画像全体を走査しなくとも、限定された範囲で確実にマーカエレメントＭＥの検出を行うことができる。
【００４６】
（５）仮想情報の出力
以上の手順を経てカメラの位置姿勢が検出されると、処理装置１１は、仮想情報出力手段２６（図３）の機能により物体Ｒに位置合わせした状態でＣＧ画像や文字等の仮想情報をディスプレイ１３に重畳表示する。
【００４７】
以上詳述したように、本実施形態の複合現実感システム１では、マーカユニットＭＵが、現実環境にある物体Ｒの色と近似した色とされているので、物体Ｒに配置しても目立たず、美観を損ねることもほとんど無い。また、マーカユニットＭＵを構成するマーカエレメントＭＥは、物体Ｒの外形（角や辺）に沿った形状（Ｌ字型、Ｉ字型、三角形等）に形成されているので、物体に配置しても目立たず、それを見た人に違和感を覚えさせることも少なくなる。さらに、マーカユニットＭＵは、複数のマーカエレメントＭＥの外形と相互の配置関係との組合せにより識別情報を構成することによって、マーカユニットの識別性は十分に確保することが可能である。
【００４８】
上述のように本実施形態では、現実環境の美観を損ねないように、マーカユニットＭＵを構成するマーカエレメントＭＥの色を物体の色と近似した色に設定し、尚かつ、各マーカエレメントＭＥを物体の形状に適合する形状に形成している。そのため、本実施形態のマーカエレメントＭＥは、その色や形状が現実環境に応じて左右され、どのような色や形状にすれば必要な美観や識別性を得られるかの判断が困難となる。
そこで、本願の発明者は、現実環境中の物体に応じて、最適なマーカユニットを作成するためのマーカユニット作成支援システムを構築した。以下、このシステムについて詳細に説明する。
【００４９】
〔マーカユニット作成支援システムの構成〕
図１０は、マーカユニット作成支援システムの概略構成を示す図である。マーカユニット作成支援システム３０は、処理装置３８と、カメラ（撮影装置）３９と、プリンタ（出力装置）４０とを備えている。処理装置３８は、ＣＰＵ、ＲＡＭ，ＲＯＭ及びＨＤＤ等からなる記憶装置、及び、Ｉ／Ｏインターフェース等を備えたコンピュータからなる。また、処理装置３８はディスプレイ３８ａを一体に備えたノートパソコンとして例示されている。カメラ３９は、デジタルカメラやデジタルビデオカメラが用いられ、少なくとも静止画を撮影できるものとされている。プリンタ４０は、インクジェットプリンタやレーザプリンタ等のカラープリンタが用いられている。カメラ３９及びプリンタ４０は、処理装置３８にＩ／Ｏインターフェースに有線又は無線で通信可能に接続されている。
【００５０】
図１１は、処理装置３８の機能構成を示す図である。処理装置３８は、カメラ３９及びプリンタ４０との通信を行う通信手段４１、カメラ３９で撮影された画像を入力する画像入力手段４２、入力された画像からマーカユニットＭＵを配置する物体Ｒの領域を抽出する対象領域抽出手段４３、抽出された領域に適した複数のマーカユニットＭＵの候補をユーザに提示するマーカユニット提示手段４４、提示されたマーカユニットＭＵの候補のなかからユーザの選択を受け付ける選択受付手段４５、その選択に基づいてプリンタ４０にマーカユニットＭＵの出力を指示する出力指示手段４６、マーカユニットＭＵの決定を受け付ける決定受付手段４７、及び、決定されたマーカユニットＭＵや物体Ｒについての情報を登録する情報登録手段４８等をその機能として備えている。通信手段４１は、カメラ３９及びプリンタ４０に物理的に接続されたＩ／Ｏインターフェースの機能として構成され、その他の手段は、処理装置３８の記憶装置にインストールされたアプリケーションプログラム等によって機能する。
これらの機能の詳細については次の処理手順とともに説明する。
【００５１】
〔マーカユニット作成処理手順〕
図１２は、マーカユニット作成支援システム３０の処理装置３８による処理手順を示すフローチャートである。
マーカユニット作成支援システム３０では、まず、図１０に示すように、マーカユニットを設置する現実環境ＲＥの画像をカメラ３９によって撮影する。撮影された画像は、図１２のステップＳ１１において、画像入力手段４２の機能により処理装置３８に入力される。
【００５２】
処理装置３８は、ステップＳ１２において、対象領域抽出手段４３の機能により、入力された撮影画像の中からマーカユニットを配置する物体（図１０の例では扉）Ｒの領域を抽出する。図１０のディスプレイ３８ａには、抽出された扉の映像が表示されている。
次に、処理装置３８は、ステップＳ１３において、マーカユニット提示手段４４の機能により、抽出された物体Ｒの色や形状に応じてこの物体Ｒに適したマーカユニットの候補をディスプレイ３８ａ上に表示（提示）する。物体Ｒに適したマーカユニットの候補が複数ある場合は、その複数をディスプレイ３８ａに表示する。
【００５３】
ユーザは、提示された複数のマーカユニットの候補から、使用したいマーカユニットを選択する。処理装置３８は、ステップＳ１４において、選択受付手段４５の機能によってユーザによるマーカユニットの候補の選択を受付け、さらに、出力指示手段４６によって、選択されたマーカユニットの候補を印刷するようにプリンタ４０に指示を送る。
プリンタ４０は、実際に物体Ｒに貼り付けるためのマーカユニットＭＵを紙ＳＥに印刷する。ユーザは、紙ＳＥに印刷されたマーカユニットＭＵを切り取り、実際に物体Ｒに貼り付けることによって、マーカユニットＭＵが物体Ｒに調和しているか、美観を損なっていないか等を確認し、処理装置３８に、そのマーカユニットＭＵを使用するか否か（そのマーカユニットに決定するか否か）を入力する。
【００５４】
ステップＳ１５において、処理装置３８は、決定受付手段４７の機能によってマーカユニットＭＵの決定を受け付けたかどうかを判別し、決定する旨を受け付けた場合には、ステップＳ１６に処理を進め、決定しない旨を受け付けた場合には、ステップＳ１３に処理を戻して同様の作業を繰り返し行う。
ここで、マーカユニット提示手段４４、選択受付手段４５、出力指示手段４６、決定受付手段４７は、物体に応じたマーカユニットを決定するマーカユニット決定手段を構成している。
【００５５】
処理装置３８は、ステップＳ１６において、情報登録手段４８の機能によって、決定されたマーカユニットＭＵを構成するマーカエレメントＭＥの色や形状、３次元空間の位置、物体Ｒの色（背景色）等の情報を処理装置３８上のデータベースに登録する。この登録された情報は、複合現実感システム１における処理装置１１の記憶手段２１に登録される情報として用いることができる。
【００５６】
このようなマーカユニット作成支援システム３０を用いることによって、ユーザ自身がマーカユニットの色や形状を決定する必要が無くなるので、ユーザの負担を軽減することができるとともに、複合現実感システムを簡単に構築することが可能となる。
また、マーカユニット提示手段４４によって複数のマーカユニットの候補を提示することによって、そのなかから、ユーザが実際に美観を損ねないことを目で確認したうえでより最適なマーカユニットを選択することができる。
【００５７】
本発明は、上記実施形態に限定されるものではなく、適宜変更可能である。
例えば、マーカユニットＭＵを構成するマーカエレメントＭＥの形状や大きさは、上記実施形態の図示例に限定されるものではなく、マーカエレメントＭＥを貼り付ける物体の形状や大きさに応じて適宜変更することができる。
また、本発明の複合現実感システム１は、室内だけでなく屋外においても利用することができる。例えば、街中等の屋外で本発明の複合現実感システム１を実施する場合、ビルや家屋等の建物、道路等の物体にマーカユニットＭＵを設置すればよい。
【００５８】
また、マーカエレメントＭＥの色は、照明条件等を考慮して検出可能な範囲で物体の色に近似した色を選択することが可能である。なお、本願の発明者が実施した実験では、室内の照明条件で、マーカエレメントＭＥと物体Ｒとの濃度差が２５６階調中２４階調以上（約１０％以上）あれば、安定した検出が行えることが分かった。このように、本発明を実施する環境（照明条件等）に応じてマーカエレメントＭＥの検出が可能な濃度差を求めることによって、この濃度差を近似の限界（閾値）としてマーカエレメントＭＥの色を設定することができる。
【００５９】
上記実施形態では、物体Ｒとは別に作成されたマーカエレメントＭＥを物体Ｒに貼り付けることにより、物体ＲにマーカエレメントＭＥを配置しているが、物体Ｒ自体にマーカエレメントＭＥに相当する着色を施すことによってマーカエレメントＭＥを配置することもできる。また、物体Ｒの表面を構成する素材によってマーカエレメントＭＥを構成することもできる。例えば、煉瓦造りやタイル張りの外壁を有する建物ＲにマーカエレメントＭＥを配置する場合には、その煉瓦やタイルをマーカエレメントＭＥとして用いることができる。
【００６０】
マーカユニット作成支援システム３０において、上記実施形態では、実際に物体Ｒに貼り付けるマーカユニットＭＵをプリンタ４０で印刷（作成）しているが、物体Ｒに適したマーカユニットＭＵの雛形や設計図をプリンタ４０により出力することもできる。この場合、雛形や設計図に従ってユーザ自身がマーカユニットＭＵを簡単に作成することができる。
【産業上の利用可能性】
【００６１】
本発明の複合現実感システムは、例えば、ゲーム等の娯楽システム、医療現場や工場ライン等の作業支援システム、観光地や展示場等における案内システムなど、様々な環境や用途に利用することが可能である。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施形態にかかる複合現実感システム１の概要を示す図である。
【図２】マーカユニットの配置例を示す正面図である。
【図３】複合現実感システムの処理装置の機能構成を示す図である。
【図４】複合現実感システムの処理手順を示すフローチャートである。
【図５】画像のピクセルを例示する概略図である。
【図６】マーカエレメント検出手段の処理を説明する図である。
【図７】マーカユニット検出手段の処理を説明する図である。
【図８】カメラ位置姿勢検出に用いる座標系を説明する図である。
【図９】物体に複数のマーカユニットを配置した例を示す斜視図である。
【図１０】マーカユニット作成支援システムの概略構成を示す図である。
【図１１】マーカユニット作成支援システムのコンピュータの機能構成を示す図である。
【図１２】マーカユニット作成支援システムのコンピュータによる処理手順を示すフローチャートである。
【符号の説明】
【００６３】
１ 複合現実感システム
１１ 処理装置
１２ カメラ
２１ 情報記憶手段
２２ 画像入力手段
２３ マーカエレメント検出手段
２４ マーカユニット検出手段
３０ マーカユニット作成支援システム
３８ コンピュータ（処理装置）
３９ カメラ（撮影装置）
４０ プリンタ（出力装置）
４２ 画像入力手段
４３ 対象領域抽出手段
４４ マーカユニット提示手段
４５ 選択受付手段
４７ 決定受付手段
ＭＵ マーカユニット
ＭＥ マーカエレメント
Ｒ 物体
【技術分野】
【０００１】
本発明は、複合現実感システムに用いるマーカユニット及び複合現実感システムに関する。また、本発明は、マーカユニットを作成するためのマーカユニット作成支援システム及び作成支援プログラムに関する。
【背景技術】
【０００２】
近年、カメラによって撮影された現実環境（現実空間）の画像にＣＧ（コンピュータグラフィックス）画像や文字等の仮想情報を重畳表示することによって、現実環境の情報を増幅・拡張する複合現実感技術（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究、開発が盛んに行われている。この複合現実感技術の応用として、例えば、人間の頭部に装着可能なシースルータイプのディスプレイに、現実の視野に対応した仮想の映像を重ね合わせて映し出すことにより、装着者により多くの情報をリアルタイムに提供する複合現実感システムが考えられている。
【０００３】
このような複合現実感システムでは、人間が頭部を動かしたり移動したりすると当然に視野も変わるため、仮想情報も追随して変化しなければならない。この追随のため、現実環境の物体とその物体に対応した仮想情報との位置合わせが重要となる。この位置合わせを行うための方法として、現実環境の物体に人工的に作成したマーカを複数配置し、カメラで撮影した画像から物体に配置したマーカを検出することによって映像中の物体の位置を認識し、その位置からカメラの位置や姿勢を特定して位置合わせする方法が知られている。
【０００４】
従来、人工的に作成したマーカは、円形状や正方形状等の識別しやすい形状のものや、コントラストの高い白黒２色を配したもの、赤・青・黄などの色を組み合わせて配したもの等が用いられている。しかし、このようなマーカは識別性のみを重視したものであるため、これを配置した物体と調和せず、美観を損ねるという問題がある。
また、美観を損ねないようにするため、マーカ自身を肉眼では視認しにくい再帰性反射材で作成し、赤外光を照射したマーカを赤外線カメラで撮影することも提案されている（非特許文献１）。しかし、この場合、赤外線カメラの使用が前提となるため、使用環境が限定され、普及は困難である。
【非特許文献１】中里祐介、他２名、“ウェアラブル拡張現実感のための不可視マーカと赤外線カメラを用いた位置・姿勢推定”、日本バーチャルリアリティ学会論文誌Ｖｏｌ．１０，Ｎｏ．３，２００５
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、上記の実情に鑑みてなされたものであり、美観を損ねることが無く、しかも、識別性（識別の頑健性）を十分に確保することができるマーカユニット及びこのマーカユニットを用いた複合現実感システムを提供することを目的とする。
また、物体に応じて適切なマーカユニットを作成するためのマーカユニット作成支援システム及び作成支援プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明のマーカユニットは、現実環境における物体の位置を認識して仮想情報を重畳表示する複合現実感システムに用いられ、前記物体に配置されることによって当該物体の位置認識の指標とされるマーカユニットであって、
前記物体の色に近似した色が付され、且つ、その外形及び配置の組合せにより識別情報を構成する複数のマーカエレメントからなることを特徴とする。
【０００７】
この構成によれば、マーカユニットの色が物体の色に近似した色とされるので、現実環境における美観を損ねることが無く、また、複数のマーカエレメントの外形及び配置の組合せによって識別情報を構成しているので、マーカユニットの色が物体の色に近似していても、マーカユニットの識別性を十分に確保することができる。
【０００８】
前記マーカエレメントの色は、物体の色と同一の色系統で濃度が近似するように設定したり、物体の色と同一の濃度で色系統が近似するように設定したりすることができる。
前記マーカエレメントは、その外形の少なくとも一部が物体の外形に沿う形状とされていることが好ましい。これによって、物体に調和したマーカエレメントを配置することができ、美観を損ねないようにすることができる。
【０００９】
上記のマーカユニットを用いた本発明の複合現実感システムは、前記物体とこの物体に配置されている前記マーカエレメントとの色情報、及び、前記マーカユニットの外形及び配置の組合せ情報とを記憶する記憶手段と、前記物体の撮影画像から、前記色情報に基づいて前記マーカエレメントを検出するマーカエレメント検出手段と、検出された複数のマーカエレメントの外形及び配置の組合せが、前記組合せ情報に対応するかを判別することにより、そのマーカエレメントにより構成されるマーカユニットを検出するマーカユニット検出手段と、を備えていることを特徴とする。
このような構成によって、物体の色に近似した色のマーカエレメントや、このマーカエレメントの外形や配置により識別されるマーカユニットを適切に検出することができる。
【００１０】
物体に対応した上記のマーカユニットを作成するための本発明のマーカユニット作成支援システムは、前記物体を撮影する撮影装置と、前記物体に使用するマーカユニットの決定処理を行う処理装置と、を備え、前記処理装置が、撮影された物体の画像を入力する画像入力手段と、入力された画像から、マーカユニットが配置される物体の領域を抽出する対象領域抽出手段と、抽出された物体の色及び形状に応じて当該物体に配置することが可能なマーカユニットを決定するマーカユニット決定手段と、を備えていることを特徴とする。
【００１１】
また、物体に対応した上記のマーカユニットを作成するための本発明のマーカユニット作成支援プログラムは、物体の撮影画像を入力する画像入力手段、入力された画像から、マーカユニットが配置される物体の領域を抽出する対象領域抽出手段、及び、抽出された物体の色及び形状に応じて当該物体に配置することが可能なマーカユニットを決定するマーカユニット決定手段、としてコンピュータを機能させることを特徴とする。
【００１２】
このようなマーカユニット作成支援システム及びマーカユニット作成支援プログラムによれば、現実環境の物体に応じてマーカユニットを適切に決定することができ、ユーザ（マーカユニットの作成者）自身が物体に応じてマーカユニットの色や形状等を決定する必要が無くなるので、ユーザの負担を軽減し、現実環境に対する複合現実感システムの導入を容易に行うことができる。
【００１３】
前記マーカユニット決定手段は、物体に配置することが可能な複数のマーカユニットの候補を提示する提示手段と、複数のマーカユニットの候補のなかからユーザの選択を受け付ける選択受付手段とを含むことが好ましい。
この構成によって、複数のマーカユニットの候補の中から、より美観を損なうことがないマーカユニットをユーザの目で判断して決定することができる。
【発明の効果】
【００１４】
本発明のマーカユニット及び複合現実感システムによれば、現実環境の美観を損ねることが無く、しかも、マーカユニットの識別性を十分に確保することができる。また、本発明のマーカユニット作成支援システム及び作成支援プログラムによれば、現実環境に応じたマーカユニットを適切に決定し、ユーザに対するマーカユニットの作成負担を軽減することができる。
【発明を実施するための最良の形態】
【００１５】
図１は、本発明の実施形態にかかる複合現実感システム１の概要を示す図である。複合現実感システム１は、現実の環境に存在する物体Ｒ（Ｒ１，Ｒ２）、例えば、室内に配置された棚Ｒ１や扉Ｒ２に対してマーカユニットＭＵを配置し、室内の映像を、例えば人間の頭部に装着したヘッドマウントディスプレイ（ＨＭＤ）１０のカメラによって撮影し、撮影した映像からマーカユニットＭＵを検出して物体Ｒ１，Ｒ２の存在を認識し、この物体Ｒ１，Ｒ２に対応（位置合わせ）させてＣＧ画像や文字等の仮想の情報をヘッドマウントディスプレイ１０に表示することにより、現実の視野に入る情報を増幅・拡張するものである。
【００１６】
なお、ヘッドマウントディスプレイ１０は、例えばビデオシースルー方式を採用することができる。このヘッドマウントディスプレイ１０のゴーグル部の内部には、両眼とほぼ対応する位置にＣＣＤ又はＣＭＯＳイメージセンサを有するビデオカメラ（撮影手段）１２（図３）が設けられ、ゴーグル部の前面部分の裏側には、それぞれ両眼に対応するディスプレイ（表示手段）１３（図３）が左右両側に振り分けて配置される。そして、この各ディスプレイ１３に、ビデオカメラ１２で撮影した情報とともに、処理装置１１で生成された仮想空間の映像が表示される。なお、ヘッドマウントディスプレイ１０は光学シースルー方式を採用することもできる。
【００１７】
処理装置１１は、ＣＰＵ、ＲＡＭ，ＲＯＭ及びＨＤＤ等の記憶装置、Ｉ／Ｏインターフェース等を備えたコンピュータにより構成され、ヘッドマウントディスプレイ１０と有線又は無線により通信可能に接続されている。処理装置１１は、ウェアラブルコンピュータとして人間の体に付帯することもできるし、人間から離れた場所に設置することもできる。
ビデオカメラ１２及びディスプレイ１３は、ヘッドマウントディスプレイ１０として構成するに限らず、それぞれ個別に人体には装着しない形態で構成することも可能である。この場合、ディスプレイ１３は、ノートパソコンのように処理装置１１を構成するコンピュータの一部として構成することもできる。
【００１８】
〔マーカユニットの構成〕
マーカユニットＭＵは、物体Ｒ１，Ｒ２を認識するための１つの識別情報（ＩＤ）を構成する単位であり、複数のマーカエレメントＭＥの組合せによって構成されている。したがって、複数のマーカエレメントＭＥの一部の形状や配置が異なれば、マーカユニットＭＵは異なる識別情報を構成することになる。
マーカエレメントＭＥは、物体Ｒ１，Ｒ２の表面に貼り付けられる紙、プラスチック板、木板等により形成され、物体Ｒ１，Ｒ２に貼り付けたときの凹凸が小さく、物体Ｒ１，Ｒ２に対して違和感や異物感を感じさせない程度の薄い材料により形成されている。
【００１９】
また、マーカエレメントＭＥは単色無地であり、貼り付けられる物体Ｒ１，Ｒ２の色（背景色）に近似した着色がなされている。近似した色とは、例えば、色系統（色相、色彩）が同じで濃度（明度）がやや異なる色や、濃度が同じで色系統がやや異なる色、又は、色系統及び濃度がやや異なる色等をいう。いずれにおいても、マーカエレメントＭＥの色と物体Ｒ１，Ｒ２の色とは大きく相違するものではなく、マーカエレメントＭＥの色は、後述する検出処理が可能な範囲で物体Ｒ１，Ｒ２の色に違和感なく調和し、美観を損ねない色に設定されている。
【００２０】
また、マーカエレメントＭＥは、配置される物体Ｒ１，Ｒ２の形状に応じて、Ｌ字形、Ｉ字形、Ｔ字形、二等辺三角形等に形成されている。図１に示す例では、棚Ｒ１には６個のマーカエレメントＭＥが配置されており、棚Ｒ１の上部両側にはＬ字形、上下中間部の両側にはＴ字形、下部両側にはＩ字形のマーカエレメントＭＥがそれぞれ配置されている。また、扉Ｒ２には上下２つのマーカユニットＭＵが配置され、上側のマーカユニットＭＵの上部両側には二等辺三角形、下部両側にはＩ字形のマーカエレメントＭＥがそれぞれ配置されている。扉Ｒ２の下側のマーカユニットＭＵの上部両側にはＩ字形、下部両側にはＬ字形のマーカエレメントＭＥがそれぞれ配置されている。
【００２１】
各マーカエレメントＭＥは、物体Ｒ１，Ｒ２の角や辺の形状に沿うように外形が選択されている。すなわち、マーカエレメントＭＥは、少なくとも一部分の外形が物体Ｒ１，Ｒ２の外形に沿うように形成され、物体Ｒ１，Ｒ２に表面に配置しても視覚的に違和感を覚えさせないような単純な形状となっている。
【００２２】
１つのマーカユニットＭＵを構成する各マーカエレメントＭＥは、物体Ｒ１，Ｒ２の回転系を識別できるように外形の組合せが設定されている。例えば、図２に示すように、物体Ｒのある平面ＰＬの４隅にマーカエレメントＭＥ１〜ＭＥ４を配置することによって、２点鎖線で示すような長方形状のマーカユニットＭＵを形成する場合、当該平面ＰＬを中心Ｏ回りに回転させたときに、同じ形状のマーカエレメントＭＥ１〜ＭＥ４が同じ配置にならないようにマーカエレメントＭＥ１〜ＭＥ４の外形及び配置が設定される。すなわち、１つのマーカユニットＭＵにおいて、全てのマーカエレメントＭＥ１〜ＭＥ４を同じ形状で形成したり、各マーカエレメントＭＥ１〜ＭＥ４を点対称で配置することはできず、全てのマーカエレメントＭＥ１〜ＭＥ４を異なる形状としたり、同じ形状を含む場合であってもそれらを線対称で配置する必要がある。
なお、図１には物体Ｒに配置することが可能なマーカエレメントＭＥの集合をマーカセットＭＳとして示している。
【００２３】
〔処理装置１１の機能構成〕
図１に示すように、複合現実感システム１は、物体Ｒ１，Ｒ２に配置されたマーカエレメントＭＥ及びマーカユニットＭＵを検出することによって物体Ｒ１，Ｒ２の存在を認識し、マーカユニットＭＵの位置や配置からカメラ１２の位置や姿勢（人間の視点の位置や向き）を検出する。そして、検出されたカメラ１２の位置姿勢に応じて視野内の物体にディスプレイを介してＣＧ画像等の仮想情報を重畳して表示する。
【００２４】
図３は、このような複合現実感システム１の処理装置１１の機能構成を示す図であり、処理装置１１は、その機能部として、ヘッドマウントディスプレイ１０のカメラ１２及びディスプレイ１３との間で情報の入出力を行う通信手段２７、マーカエレメントＭＥ及び物体Ｒ１，Ｒ２の色に関する情報やマーカエレメントＭＥの外形や配置に関する情報を記憶する記憶手段２１、カメラ１２で撮影された画像を入力する画像入力手段２２、入力された画像からマーカエレメントＭＥを検出するマーカエレメント検出手段２３、検出されたマーカエレメントＭＥからマーカユニットＭＵを検出するマーカユニット検出手段２４、検出されたマーカユニットＭＵからカメラ１２の位置及び姿勢を求めるカメラ位置姿勢検出手段２５、及び、検出されたカメラ１２の位置姿勢に応じて、仮想情報をディスプレイ１３に出力表示させる仮想情報出力手段２６を備えている。
【００２５】
通信手段２７は、カメラ１２及びディスプレイ１３に物理的に接続されたＩ／Ｏインターフェースの機能として構成され、記憶手段２１は、ハードディスク等の記憶装置の機能として構成される。また、各検出手段２３，２４，２５は、ハードディスク等の記憶装置にインストールされたアプリケーションプログラムによって機能する。
以上の複合現実感システム１の機能の詳細については、次の処理手順とともに説明する。
【００２６】
〔複合現実感システムの処理手順〕
図４は、複合現実感システムの処理手順を示すフローチャートである。以下これらの処理を、図２に示すモデルを例に説明する。
なお、複合現実感システム１による処理を行うに当たって、処理装置１１には、記憶手段２１（図３）の機能により、マーカユニットＭＵを構成するマーカエレメントＭＥ（ＭＥ１〜ＭＥ４）と、このマーカエレメントＭＥが配置される物体Ｒとの色情報が予め登録されている。本実施形態では、マーカエレメントＭＥと物体Ｒとは同じ色系統（色相及び色彩）であるが、濃度（明度）がやや異なるものとされている。記憶手段２１には、このようなマーカエレメントＭＥ及び物体Ｒの色系統の情報と、濃度差の情報とが登録されている。
また、処理装置１１の記憶手段２１には、識別情報（ＩＤ）を構成するマーカユニットＭＵの各マーカエレメントＭＥの外形及び配置の組合せ情報が登録されている。図２に示すモデルでは、長方形を形成するように配置された４つのマーカエレメントＭＥ１〜ＭＥ４の各外形と相互の配置関係との組合せ情報が記憶手段２１に登録される。
【００２７】
（１）マーカエレメントの検出処理
図３に示すように、カメラ１２によって所定のフレームレートで撮影が行われると、処理装置１１は、その撮影された画像を画像入力手段２２によってその都度入力する。図４のステップＳ１はマーカエレメント検出手段２３の処理であり、処理装置１１は、まず、最初に入力されたフレームの画像全体に対してラスタ走査を行う。そして、記憶手段２１に記憶されているマーカエレメントＭＥ１〜ＭＥ４及び物体Ｒの色情報と同系色の色で構成されたピクセルを画像から探索する。
【００２８】
図５は、画像のピクセル探索を説明する概略図である。枠Ａで囲んで示すように、画像Ｇ内で該当するピクセルｐが互いに隣接して存在しているとき、その濃度差が所定の閾値を超えているか否かを判別する。閾値を超えている場合には、マーカエレメントＭＥ１〜ＭＥ４と物体Ｒとの境界で隣接するピクセルｐであると判断し、一方のピクセルを開始点として、同様の探索を繰り返し行い、矢印で示すようにマーカエレメントＭＥの輪郭線追跡処理を行う。
【００２９】
なお、隣接するピクセルｐのうちどちらを輪郭線追跡の開始点とするかは、予め登録されたマーカエレメントＭＥと物体Ｒとの濃度の高低から、マーカエレメントＭＥに相当する方のピクセルを開始点に選択する。
輪郭線追跡中に、画像の境界や他の輪郭線に接した場合、又は、現在追跡中の輪郭線に接した場合は、輪郭線追跡を終了する。輪郭線追跡を行った結果、開始点に戻ってきたい輪郭のみをマーカエレメントＭＥの候補とする。
【００３０】
処理装置１１は、以上のように輪郭線追跡処理をすることによって画像に含まれるマーカエレメントＭＥの候補を決定すると、次にマーカエレメントＭＥの形状の識別を行う。
マーカエレメントＭＥの外形は、輪郭線の頂点の数と、各頂点における輪郭線の形（凹凸）から分類することができる。例えば、Ｌ字形のマーカエレメントは頂点が６個あり、そのうち凸状の頂点が５個、凹状の頂点が１個ある。Ｉ字形のマーカエレメントは凸状の頂点が４個、２等辺三角形のマーカエレメントは凸状の頂点が３個ある。したがって、この頂点の数と頂点における輪郭形状とを判断することでマーカエレメントの形状を識別することができる。
【００３１】
輪郭線追跡処理によって取得した輪郭線の頂点は、区分的直線近似法を用いて求める。本来、この手法は、曲線を直線で近似する方法であるが、本実施形態のように、直線の組合せによって閉じた輪郭線を形成するマーカエレメントＭＥに対しては、その頂点を求めるために用いることができる。
具体的には、例えば図６（Ａ）に示すように、輪郭線追跡によって得られた輪郭線Ｌ上の任意の点Ｐ０を決定し、その点Ｐ０から最も遠い点を第１頂点Ｐ１、第１頂点Ｐ１から最も遠い点を第２頂点Ｐ２にそれぞれ設定する。そして、図６（Ｂ）に示すように、第１頂点Ｐ１（Ｐ１１，Ｐ１２）と第２頂点Ｐ２（Ｐ２１，Ｐ２２）を端点とする２つの輪郭線Ｌ１，Ｌ２を想定し、各輪郭線Ｌ１，Ｌ２に対してそれぞれ区分的直線的近似法を適用する。これにより、図６（Ｃ）に示すように、各輪郭線Ｌ１，Ｌ２が直線化されるとともに、頂点Ｐ３〜Ｐ６が求められる。
以上の処理をフレーム画像全体に対して行い、画像中の全てのマーカエレメントＭＥを検出する。
【００３２】
なお、本実施形態では、マーカエレメントＭＥの検出に用いる色情報として、一般にコンピュータで用いられるＲＧＢ色空間ではなく、マンセル表色系等の顕色系で使われるＨＳＩ（色相、彩度、明度）色空間を利用している。そのため、物体Ｒの撮影画像のＲＧＢ値は、双六角錐モデルや六角錐モデルを用いてＨＳＩ値に変換している。
【００３３】
（２）マーカユニットの検出処理
図４のステップＳ２において、処理装置１１は、マーカユニット検出手段２４の機能によりマーカユニットＭＵの検出処理を行う。処理装置１１は、撮影画像から検出された全てのマーカエレメントＭＥのなかからマーカユニットＭＵを構成し得る複数のマーカエレメントＭＥを選択する。例えば、図２に示すモデルでは、マーカユニットＭＵが、２点鎖線の長方形を形成するように配置されたマーカエレメントＭＥ１〜ＭＥ４によって構成されているので、選択されたマーカエレメントＭＥが、このような長方形の配置則に則って同一平面上に配置されているかを判定する。そして、選択されたマーカエレメントＭＥが、当該長方形を形成するように配置されていた場合は、そのマーカエレメントＭＥの外形及び配置の組合せと、記憶手段２１に予め記憶されたマーカエレメントＭＥの外形及び配置の組合せ情報との対応づけを行う。
【００３４】
選択されたマーカエレメントＭＥが長方形を形成するように配置されているか否かの判定は、次のように行う。図７（ａ）に示すように、まず、選択された４つのマーカエレメントＭＥ１〜ＭＥ４が長方形を形成していると仮定して、その頂点を求める。そして、各マーカエレメントＭＥの重心Ｅｃ１〜Ｅｃ４を求め、これらの中心を長方形の擬似重心Ｃとする。
各マーカエレメントＭＥ１〜ＭＥ４において、図７（ｂ）に示すように、擬似重心Ｃから最も距離のある頂点を求め、それぞれをマーカユニットＭＵの頂点ν１〜ν４と仮定する。この際、Ｌ字型のマーカエレメントＭＥ１，ＭＥ２に関しては、長方形の頂点となりうる点が一意に決定するため、その頂点をマーカユニットＭＵの頂点ν１，ν２とする。
【００３５】
そして、４角形ν１〜ν４に各マーカエレメントＭＥ１〜ＭＥ４の２辺が内接するとき、これらの４つのマーカエレメントＭＥ１〜ＭＥ４の組合せがマーカユニットＭＵを形成するための配置則を満たしていると判断する。
具体的に、各マーカエレメントＭＥ１〜ＭＥ４が４角形ν１〜ν４に内接しているかを調べるには、図７（ｃ）に示すように、マーカユニットＭＵの頂点と仮定された点、例えば頂点ν１から，マーカユニットＭＵ内で隣接する頂点ν２への方向ベクトルをＶ１２とし、マーカエレメントＭＥ１内で隣接する頂点ν１２への方向ベクトルをＵ１２とする。また、頂点ν１から，マーカユニットＭＵ内で隣接する他の頂点ν４への方向ベクトルをＶ１４とし、マーカエレメントＭＥ１内で隣接する他の頂点ν１４への方向ベクトルをＵ１４とする。そして、Ｖ１２とＵ１２、及び、Ｖ１４とＵ１４の方向成分がほぼ一致している場合、マーカエレメントＭＥ１の２辺が４角形ν１〜ν４に内接しているものとする。
【００３６】
選択された４つのマーカエレメントＭＥ１〜ＭＥ４が長方形を形成するように配置されている場合、それぞれのマーカエレメントＭＥ１〜ＭＥ４の外形や配置の関係が、記憶手段２１に予め登録されているマーカユニットＭＵのマーカエレメントＭＥ１〜ＭＥ４と一致するかを判定し、一致した場合にマーカユニットＭＵが検出される。
このように撮影画像からマーカユニットＭＵを検出すると、そのマーカユニットＭＵの４頂点ν１〜ν４の３次元位置をとることができる。
【００３７】
処理装置１１は、図４のステップＳ３において、マーカユニットＭＵの検出が成功したか否かを判別し、成功した場合はステップＳ４に進み、失敗した場合はステップＳ１に処理を戻す。
【００３８】
（３）カメラの位置姿勢検出
処理装置１１は、図４のステップＳ４において、カメラ位置姿勢検出手段２５の機能によってカメラ１２の位置姿勢検出を行う。
カメラ１２の位置姿勢検出を行うため、本実施形態の複合現実感システム１で取り扱う座標系は、図８に示すように、世界座標系（Ｘｗ，Ｙｗ，Ｚｗ）、マーカ座標系（Ｘｍ，Ｙｍ，Ｚｍ）、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）、及び、スクリーン座標系（ｘｃ、ｙｃ）の４つである。
【００３９】
世界座標系は、複合現実空間において基準となる座標系である。この世界座標系を決定することで、現実空間と仮想空間との整合性を図る。現実空間における世界座標系の位置姿勢及び世界座標系における仮想物体の位置は予め設定しておく。
マーカ座標系は、マーカユニットＭＵ毎に存在する座標系であり、マーカユニットＭＵの法線方向をＺ軸とする３次元座標である。世界座標系におけるマーカ座標系の位置関係は予め設定しておく。
【００４０】
カメラ座標系は、カメラ１２の焦点位置ｆを原点として画像平面に垂直な方向をＺ軸とする３次元の座標系である。カメラ１２の位置姿勢を求めるには、世界座標系とカメラ座標系との変換行列を求めることが必要である。
スクリーン座標系は、撮影画像中での位置関係を表す２次元の座標系である。
世界座標系とマーカ座標系との変換行列は予め処理装置１１に登録される。また、カメラ座標系とスクリーン座標系との変換行列であるカメラの内部パラメータは、事前に求めておく。
【００４１】
上述したマーカユニット検出処理（ステップＳ２）によって、マーカ座標系とスクリーン座標系とにおけるマーカユニットＭＵを構成する４頂点の座標は既に求められている。そのため、これらの対応関係によって、マーカ座標系とカメラ座標系との変換行列を求めることができる。スクリーン座標系におけるマーカユニットＭＵの４頂点の座標から、向かい合う２辺の直線が２組得られるので、この２組の平行な直線によりカメラの姿勢推定を行う。カメラの姿勢が求まると、マーカ座標系とスクリーン座標系におけるマーカユニットＭＵの４頂点の対応関係によりカメラの位置が求まる。その後、マーカ座標系とカメラ座標系との変換行列の回転成分を適宜修正したのち、マーカ座標系とカメラ座標系との変換行列と、予め登録されている世界座標系とマーカ座標系との変換行列とを用い、世界座標系におけるカメラ１２の位置姿勢を求める。
【００４２】
図４のステップＳ５において、処理装置１１は、カメラ１２の位置姿勢の検出に成功したかどうかを判別し、成功した場合は処理をステップＳ６に進め、失敗した場合は処理をステップＳ１に戻す。
【００４３】
（４）次フレームにおけるマーカエレメントの検出処理
図４のステップＳ６では、カメラ１２によって撮影した次のフレームの画像について上述と略同様の処理を行う。この際、上記ステップＳ１の処理では、フレームの画像全体に対してラスタ走査を行うことによってマーカエレメントＭＥの検出を行っていたが、ステップＳ６では、走査範囲を限定してマーカエレメントＭＥの検出を行う。
ステップＳ６の処理は、その前のフレームでカメラ１２の位置姿勢検出が成功しているので、マーカエレメントＭＥ及びマーカユニットＭＵについても正確に検出されていると考えられる。そのため、既に検出されたマーカエレメントＭＥの位置情報をもとに走査範囲を限定することによって、処理速度の向上を図りつつ正確なマーカエレメントＭＥの検出を可能にしている。
したがって、本実施形態のマーカエレメント検出手段２３は、撮影画像全体を走査してマーカエレメントＭＥの検出を行う第１の検出機能と、既に検出されたマーカエレメントＭＥの位置情報を元に走査範囲を限定してマーカエレメントＭＥの検出を行う第２の検出機能とを備えていることになる。
【００４４】
ステップＳ６では、前のフレームで検出されたマーカエレメントＭＥに対しては、その外接長方形の領域のみに限定して走査する。この場合、マーカエレメントＭＥの形状や傾きから、前フレームで検出されたものと同じか否かを判定し、同じ位置のマーカエレメントが検出された場合には、以降の走査は行わない。
【００４５】
また、物体Ｒに複数のマーカユニットＭＵを設置している場合、ステップＳ６では、前フレームで検出されなかったマーカユニットＭＵのマーカエレメント（前フレームで他の物体等によって隠れていたマーカエレメント）が新たに画像内に写り込むことがある。
例えば、図９に示すように、棚Ｒの２つの側面にそれぞれマーカユニットＭＵ１，ＭＵ２を設定しているときに、前のフレームの画像には、一方のマーカユニットＭＵ１の全てのマーカエレメントＭＥと、他方のマーカユニットＭＵ２の一部のマーカエレメントＭＥが写っていた（円Ｂで囲まれたマーカエレメントＭＥのみが写っていた）ような場合、ステップＳ６では、既にあるカメラの位置姿勢の情報と、記憶手段２１に記憶されているマーカユニットＭＵ１，ＭＵ２の組合せ情報とによって透視投影変換を行い、前のフレームで写っていなかったマーカエレメントＭＥ（円Ｃで囲まれたマーカエレメントＭＥ）の位置を予測してその周辺領域を走査する。
これにより、フレームの画像全体を走査しなくとも、限定された範囲で確実にマーカエレメントＭＥの検出を行うことができる。
【００４６】
（５）仮想情報の出力
以上の手順を経てカメラの位置姿勢が検出されると、処理装置１１は、仮想情報出力手段２６（図３）の機能により物体Ｒに位置合わせした状態でＣＧ画像や文字等の仮想情報をディスプレイ１３に重畳表示する。
【００４７】
以上詳述したように、本実施形態の複合現実感システム１では、マーカユニットＭＵが、現実環境にある物体Ｒの色と近似した色とされているので、物体Ｒに配置しても目立たず、美観を損ねることもほとんど無い。また、マーカユニットＭＵを構成するマーカエレメントＭＥは、物体Ｒの外形（角や辺）に沿った形状（Ｌ字型、Ｉ字型、三角形等）に形成されているので、物体に配置しても目立たず、それを見た人に違和感を覚えさせることも少なくなる。さらに、マーカユニットＭＵは、複数のマーカエレメントＭＥの外形と相互の配置関係との組合せにより識別情報を構成することによって、マーカユニットの識別性は十分に確保することが可能である。
【００４８】
上述のように本実施形態では、現実環境の美観を損ねないように、マーカユニットＭＵを構成するマーカエレメントＭＥの色を物体の色と近似した色に設定し、尚かつ、各マーカエレメントＭＥを物体の形状に適合する形状に形成している。そのため、本実施形態のマーカエレメントＭＥは、その色や形状が現実環境に応じて左右され、どのような色や形状にすれば必要な美観や識別性を得られるかの判断が困難となる。
そこで、本願の発明者は、現実環境中の物体に応じて、最適なマーカユニットを作成するためのマーカユニット作成支援システムを構築した。以下、このシステムについて詳細に説明する。
【００４９】
〔マーカユニット作成支援システムの構成〕
図１０は、マーカユニット作成支援システムの概略構成を示す図である。マーカユニット作成支援システム３０は、処理装置３８と、カメラ（撮影装置）３９と、プリンタ（出力装置）４０とを備えている。処理装置３８は、ＣＰＵ、ＲＡＭ，ＲＯＭ及びＨＤＤ等からなる記憶装置、及び、Ｉ／Ｏインターフェース等を備えたコンピュータからなる。また、処理装置３８はディスプレイ３８ａを一体に備えたノートパソコンとして例示されている。カメラ３９は、デジタルカメラやデジタルビデオカメラが用いられ、少なくとも静止画を撮影できるものとされている。プリンタ４０は、インクジェットプリンタやレーザプリンタ等のカラープリンタが用いられている。カメラ３９及びプリンタ４０は、処理装置３８にＩ／Ｏインターフェースに有線又は無線で通信可能に接続されている。
【００５０】
図１１は、処理装置３８の機能構成を示す図である。処理装置３８は、カメラ３９及びプリンタ４０との通信を行う通信手段４１、カメラ３９で撮影された画像を入力する画像入力手段４２、入力された画像からマーカユニットＭＵを配置する物体Ｒの領域を抽出する対象領域抽出手段４３、抽出された領域に適した複数のマーカユニットＭＵの候補をユーザに提示するマーカユニット提示手段４４、提示されたマーカユニットＭＵの候補のなかからユーザの選択を受け付ける選択受付手段４５、その選択に基づいてプリンタ４０にマーカユニットＭＵの出力を指示する出力指示手段４６、マーカユニットＭＵの決定を受け付ける決定受付手段４７、及び、決定されたマーカユニットＭＵや物体Ｒについての情報を登録する情報登録手段４８等をその機能として備えている。通信手段４１は、カメラ３９及びプリンタ４０に物理的に接続されたＩ／Ｏインターフェースの機能として構成され、その他の手段は、処理装置３８の記憶装置にインストールされたアプリケーションプログラム等によって機能する。
これらの機能の詳細については次の処理手順とともに説明する。
【００５１】
〔マーカユニット作成処理手順〕
図１２は、マーカユニット作成支援システム３０の処理装置３８による処理手順を示すフローチャートである。
マーカユニット作成支援システム３０では、まず、図１０に示すように、マーカユニットを設置する現実環境ＲＥの画像をカメラ３９によって撮影する。撮影された画像は、図１２のステップＳ１１において、画像入力手段４２の機能により処理装置３８に入力される。
【００５２】
処理装置３８は、ステップＳ１２において、対象領域抽出手段４３の機能により、入力された撮影画像の中からマーカユニットを配置する物体（図１０の例では扉）Ｒの領域を抽出する。図１０のディスプレイ３８ａには、抽出された扉の映像が表示されている。
次に、処理装置３８は、ステップＳ１３において、マーカユニット提示手段４４の機能により、抽出された物体Ｒの色や形状に応じてこの物体Ｒに適したマーカユニットの候補をディスプレイ３８ａ上に表示（提示）する。物体Ｒに適したマーカユニットの候補が複数ある場合は、その複数をディスプレイ３８ａに表示する。
【００５３】
ユーザは、提示された複数のマーカユニットの候補から、使用したいマーカユニットを選択する。処理装置３８は、ステップＳ１４において、選択受付手段４５の機能によってユーザによるマーカユニットの候補の選択を受付け、さらに、出力指示手段４６によって、選択されたマーカユニットの候補を印刷するようにプリンタ４０に指示を送る。
プリンタ４０は、実際に物体Ｒに貼り付けるためのマーカユニットＭＵを紙ＳＥに印刷する。ユーザは、紙ＳＥに印刷されたマーカユニットＭＵを切り取り、実際に物体Ｒに貼り付けることによって、マーカユニットＭＵが物体Ｒに調和しているか、美観を損なっていないか等を確認し、処理装置３８に、そのマーカユニットＭＵを使用するか否か（そのマーカユニットに決定するか否か）を入力する。
【００５４】
ステップＳ１５において、処理装置３８は、決定受付手段４７の機能によってマーカユニットＭＵの決定を受け付けたかどうかを判別し、決定する旨を受け付けた場合には、ステップＳ１６に処理を進め、決定しない旨を受け付けた場合には、ステップＳ１３に処理を戻して同様の作業を繰り返し行う。
ここで、マーカユニット提示手段４４、選択受付手段４５、出力指示手段４６、決定受付手段４７は、物体に応じたマーカユニットを決定するマーカユニット決定手段を構成している。
【００５５】
処理装置３８は、ステップＳ１６において、情報登録手段４８の機能によって、決定されたマーカユニットＭＵを構成するマーカエレメントＭＥの色や形状、３次元空間の位置、物体Ｒの色（背景色）等の情報を処理装置３８上のデータベースに登録する。この登録された情報は、複合現実感システム１における処理装置１１の記憶手段２１に登録される情報として用いることができる。
【００５６】
このようなマーカユニット作成支援システム３０を用いることによって、ユーザ自身がマーカユニットの色や形状を決定する必要が無くなるので、ユーザの負担を軽減することができるとともに、複合現実感システムを簡単に構築することが可能となる。
また、マーカユニット提示手段４４によって複数のマーカユニットの候補を提示することによって、そのなかから、ユーザが実際に美観を損ねないことを目で確認したうえでより最適なマーカユニットを選択することができる。
【００５７】
本発明は、上記実施形態に限定されるものではなく、適宜変更可能である。
例えば、マーカユニットＭＵを構成するマーカエレメントＭＥの形状や大きさは、上記実施形態の図示例に限定されるものではなく、マーカエレメントＭＥを貼り付ける物体の形状や大きさに応じて適宜変更することができる。
また、本発明の複合現実感システム１は、室内だけでなく屋外においても利用することができる。例えば、街中等の屋外で本発明の複合現実感システム１を実施する場合、ビルや家屋等の建物、道路等の物体にマーカユニットＭＵを設置すればよい。
【００５８】
また、マーカエレメントＭＥの色は、照明条件等を考慮して検出可能な範囲で物体の色に近似した色を選択することが可能である。なお、本願の発明者が実施した実験では、室内の照明条件で、マーカエレメントＭＥと物体Ｒとの濃度差が２５６階調中２４階調以上（約１０％以上）あれば、安定した検出が行えることが分かった。このように、本発明を実施する環境（照明条件等）に応じてマーカエレメントＭＥの検出が可能な濃度差を求めることによって、この濃度差を近似の限界（閾値）としてマーカエレメントＭＥの色を設定することができる。
【００５９】
上記実施形態では、物体Ｒとは別に作成されたマーカエレメントＭＥを物体Ｒに貼り付けることにより、物体ＲにマーカエレメントＭＥを配置しているが、物体Ｒ自体にマーカエレメントＭＥに相当する着色を施すことによってマーカエレメントＭＥを配置することもできる。また、物体Ｒの表面を構成する素材によってマーカエレメントＭＥを構成することもできる。例えば、煉瓦造りやタイル張りの外壁を有する建物ＲにマーカエレメントＭＥを配置する場合には、その煉瓦やタイルをマーカエレメントＭＥとして用いることができる。
【００６０】
マーカユニット作成支援システム３０において、上記実施形態では、実際に物体Ｒに貼り付けるマーカユニットＭＵをプリンタ４０で印刷（作成）しているが、物体Ｒに適したマーカユニットＭＵの雛形や設計図をプリンタ４０により出力することもできる。この場合、雛形や設計図に従ってユーザ自身がマーカユニットＭＵを簡単に作成することができる。
【産業上の利用可能性】
【００６１】
本発明の複合現実感システムは、例えば、ゲーム等の娯楽システム、医療現場や工場ライン等の作業支援システム、観光地や展示場等における案内システムなど、様々な環境や用途に利用することが可能である。
【図面の簡単な説明】
【００６２】
【図１】本発明の実施形態にかかる複合現実感システム１の概要を示す図である。
【図２】マーカユニットの配置例を示す正面図である。
【図３】複合現実感システムの処理装置の機能構成を示す図である。
【図４】複合現実感システムの処理手順を示すフローチャートである。
【図５】画像のピクセルを例示する概略図である。
【図６】マーカエレメント検出手段の処理を説明する図である。
【図７】マーカユニット検出手段の処理を説明する図である。
【図８】カメラ位置姿勢検出に用いる座標系を説明する図である。
【図９】物体に複数のマーカユニットを配置した例を示す斜視図である。
【図１０】マーカユニット作成支援システムの概略構成を示す図である。
【図１１】マーカユニット作成支援システムのコンピュータの機能構成を示す図である。
【図１２】マーカユニット作成支援システムのコンピュータによる処理手順を示すフローチャートである。
【符号の説明】
【００６３】
１ 複合現実感システム
１１ 処理装置
１２ カメラ
２１ 情報記憶手段
２２ 画像入力手段
２３ マーカエレメント検出手段
２４ マーカユニット検出手段
３０ マーカユニット作成支援システム
３８ コンピュータ（処理装置）
３９ カメラ（撮影装置）
４０ プリンタ（出力装置）
４２ 画像入力手段
４３ 対象領域抽出手段
４４ マーカユニット提示手段
４５ 選択受付手段
４７ 決定受付手段
ＭＵ マーカユニット
ＭＥ マーカエレメント
Ｒ 物体
【特許請求の範囲】
【請求項１】
現実環境における物体の位置を認識して仮想情報を重畳表示する複合現実感システムに用いられ、前記物体に配置されることによって当該物体の位置認識の指標とされるマーカユニットであって、
前記物体の色に近似した着色がなされ、且つ、その外形及び配置の組合せによって識別情報を構成する複数のマーカエレメントからなることを特徴とする複合現実感システムに用いるマーカユニット。
【請求項２】
前記マーカエレメントの色が、前記物体の色と同一の色系統で濃度が近似している請求項１記載の複合現実感システムに用いるマーカユニット。
【請求項３】
前記マーカエレメントの色が、前記物体の色と同一の濃度で色系統が近似している請求項１記載の複合現実感システムに用いるマーカユニット。
【請求項４】
前記マーカエレメントの外形の少なくとも一部が、前記物体の外形に沿う形状とされている請求項１記載の複合現実感システムに用いるマーカユニット。
【請求項５】
請求項１〜４のいずれかに記載のマーカユニットを用いた複合現実感システムであって、
前記物体とこの物体に配置されている前記マーカエレメントとの色情報、及び、前記マーカユニットの外形及び配置の組合せ情報とを記憶する記憶手段と、
前記物体の撮影画像から、前記色情報に基づいて前記マーカエレメントを検出するマーカエレメント検出手段と、
検出された複数のマーカエレメントの外形及び配置の組合せが、前記組合せ情報に対応するかを判別することにより、そのマーカエレメントにより構成されるマーカユニットを検出するマーカユニット検出手段と、
を備えていることを特徴とする複合現実感システム。
【請求項６】
物体に対応した請求項１〜４のいずれかに記載のマーカユニットを作成するためのマーカユニット作成支援システムであって、
前記物体を撮影する撮影装置と、前記物体に使用するマーカユニットの決定処理を行う処理装置と、を備え、
前記処理装置が、
撮影された物体の画像を入力する画像入力手段と、
入力された画像から、マーカユニットが配置される物体の領域を抽出する対象領域抽出手段と、
抽出された物体の色及び形状に応じて当該物体に配置することが可能なマーカユニットを決定するマーカユニット決定手段と、
を備えていることを特徴とするマーカユニット作成支援システム。
【請求項７】
マーカユニット決定手段が、
前記物体に配置することが可能な複数のマーカユニットの候補を提示する提示手段と、
複数のマーカユニットの候補のなかからユーザの選択を受け付ける選択受付手段と、
を含む請求項６記載のマーカユニット作成支援システム。
【請求項８】
物体に対応した請求項１〜４のいずれかに記載のマーカユニットを作成するためのマーカユニット作成支援プログラムであって、
物体の撮影画像を入力する画像入力手段、
入力された画像から、マーカユニットが配置される物体の領域を抽出する対象領域抽出手段、及び
抽出された物体の色及び形状に応じて当該物体に配置することが可能なマーカユニットを決定するマーカユニット決定手段、
としてコンピュータを機能させることを特徴とするマーカユニット作成支援プログラム。
【請求項１】
現実環境における物体の位置を認識して仮想情報を重畳表示する複合現実感システムに用いられ、前記物体に配置されることによって当該物体の位置認識の指標とされるマーカユニットであって、
前記物体の色に近似した着色がなされ、且つ、その外形及び配置の組合せによって識別情報を構成する複数のマーカエレメントからなることを特徴とする複合現実感システムに用いるマーカユニット。
【請求項２】
前記マーカエレメントの色が、前記物体の色と同一の色系統で濃度が近似している請求項１記載の複合現実感システムに用いるマーカユニット。
【請求項３】
前記マーカエレメントの色が、前記物体の色と同一の濃度で色系統が近似している請求項１記載の複合現実感システムに用いるマーカユニット。
【請求項４】
前記マーカエレメントの外形の少なくとも一部が、前記物体の外形に沿う形状とされている請求項１記載の複合現実感システムに用いるマーカユニット。
【請求項５】
請求項１〜４のいずれかに記載のマーカユニットを用いた複合現実感システムであって、
前記物体とこの物体に配置されている前記マーカエレメントとの色情報、及び、前記マーカユニットの外形及び配置の組合せ情報とを記憶する記憶手段と、
前記物体の撮影画像から、前記色情報に基づいて前記マーカエレメントを検出するマーカエレメント検出手段と、
検出された複数のマーカエレメントの外形及び配置の組合せが、前記組合せ情報に対応するかを判別することにより、そのマーカエレメントにより構成されるマーカユニットを検出するマーカユニット検出手段と、
を備えていることを特徴とする複合現実感システム。
【請求項６】
物体に対応した請求項１〜４のいずれかに記載のマーカユニットを作成するためのマーカユニット作成支援システムであって、
前記物体を撮影する撮影装置と、前記物体に使用するマーカユニットの決定処理を行う処理装置と、を備え、
前記処理装置が、
撮影された物体の画像を入力する画像入力手段と、
入力された画像から、マーカユニットが配置される物体の領域を抽出する対象領域抽出手段と、
抽出された物体の色及び形状に応じて当該物体に配置することが可能なマーカユニットを決定するマーカユニット決定手段と、
を備えていることを特徴とするマーカユニット作成支援システム。
【請求項７】
マーカユニット決定手段が、
前記物体に配置することが可能な複数のマーカユニットの候補を提示する提示手段と、
複数のマーカユニットの候補のなかからユーザの選択を受け付ける選択受付手段と、
を含む請求項６記載のマーカユニット作成支援システム。
【請求項８】
物体に対応した請求項１〜４のいずれかに記載のマーカユニットを作成するためのマーカユニット作成支援プログラムであって、
物体の撮影画像を入力する画像入力手段、
入力された画像から、マーカユニットが配置される物体の領域を抽出する対象領域抽出手段、及び
抽出された物体の色及び形状に応じて当該物体に配置することが可能なマーカユニットを決定するマーカユニット決定手段、
としてコンピュータを機能させることを特徴とするマーカユニット作成支援プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００９−２０６１４（Ｐ２００９−２０６１４Ａ）
【公開日】平成２１年１月２９日（２００９．１．２９）
【国際特許分類】
【出願番号】特願２００７−１８１３９５（Ｐ２００７−１８１３９５）
【出願日】平成１９年７月１０日（２００７．７．１０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 社団法人電子情報通信学会 電子情報通信学会技術研究報告 Ｖｏｌ．１０６ Ｎｏ．４７０ 平成１９年１月１２日発行
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
【公開日】平成２１年１月２９日（２００９．１．２９）
【国際特許分類】
【出願日】平成１９年７月１０日（２００７．７．１０）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 社団法人電子情報通信学会 電子情報通信学会技術研究報告 Ｖｏｌ．１０６ Ｎｏ．４７０ 平成１９年１月１２日発行
【出願人】（５９３００６６３０）学校法人立命館 (359)
【Ｆターム（参考）】
[ Back to top ]