情報処理装置、情報処理システム及び情報処理方法
【課題】標識が撮像範囲に含まれない場合であっても、現実環境に対応する付加画像の表示が可能な情報処理装置、情報処理システム及び情報処理方法を提供すること。
【解決手段】第１の撮像手段４、現実空間を撮像して第１の背景画像を取得する。
第１の位置関係推定部２０は、第１の背景画像に、予め登録され現実空間に配置された標識の画像である第１の標識画像が含まれるときには第１の標識画像を基に上記第１の撮像手段の上記標識に対する空間的な位置関係である第１の位置関係を推定し、第１の背景画像に第１の標識画像が含まれないときには第１の背景画像から抽出された特徴点の変位から第１の位置関係を推定する。
合成画像生成部２２は、第１の位置関係を基に第１の付加画像を生成し、第１の付加画像と第１の背景画像とを合成して合成画像を生成する。
表示手段は、合成画像を表示させる。
【解決手段】第１の撮像手段４、現実空間を撮像して第１の背景画像を取得する。
第１の位置関係推定部２０は、第１の背景画像に、予め登録され現実空間に配置された標識の画像である第１の標識画像が含まれるときには第１の標識画像を基に上記第１の撮像手段の上記標識に対する空間的な位置関係である第１の位置関係を推定し、第１の背景画像に第１の標識画像が含まれないときには第１の背景画像から抽出された特徴点の変位から第１の位置関係を推定する。
合成画像生成部２２は、第１の位置関係を基に第１の付加画像を生成し、第１の付加画像と第１の背景画像とを合成して合成画像を生成する。
表示手段は、合成画像を表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、現実環境の画像に、現実環境に対応する画像を合成して表示する情報処理装置、情報処理システム及び情報処理方法に関する。
【背景技術】
【０００２】
現実環境の画像に、現実環境に対応する画像を付加する、拡張現実（Augmented Reality：ＡＲ）と呼ばれる技術がある。ＡＲでは、カメラ等によって現実環境の画像が取得され、取得された現実環境の画像に、現実環境に対応する付加的な画像(以下、付加画像）が合成され、表示画面に表示される。ユーザは、現実環境の画像と付加画像が合成された画像を見ることにより、あたかも現実環境に付加画像として表示されている物体又は画像が存在しているかのように認識することができる。
【０００３】
ＡＲでは、取得された現実環境の画像に対し、付加画像の正確な対応付け、即ち、付加画像の位置、サイズ、角度等の現実環境への適合ができることが重要である。正確に対応付けされない場合、表示される付加画像の位置、サイズ、角度等が現実環境に対して不自然になる。
【０００４】
例えば、非特許文献１には、マーカーを利用したＡＲシステムについて記載されている。このシステムでは、予めマーカー（所定のサイズを有する着色された正方形）の画像情報が登録される。マーカーの画像が現実環境の画像に含まれると、現実環境の画像からマーカーが検出され、その大きさ、角度等の情報から、マーカーに対するカメラの空間的な位置関係が算出される。その位置関係を基に、カメラとの相対位置が固定されたＨＤＭに仮想物体が表示され、ユーザは現実環境と共に仮想物体を視認することができる。
【０００５】
さらに、ＡＲでは、現実環境に付加画像を関連付けて表示するのみならず、ユーザによる入力に応じて付加画像を変更することも可能とされる。例えば、ユーザが、付加画像が付加された現実環境を視認しながら現実環境に向けてポインタを向けると、指示された現実環境の位置に対応する付加画像が変更されるような動作が可能となる。このような動作を可能とするものとして、特許文献１には、情報処理プログラムについて記載されている。
【０００６】
特許文献１には、モニタの周縁に離間して配置された２つのマーカ（赤外線光源）と、これらマーカを撮像することが可能な撮像装置を備えたコントローラを有する装置が記載されている。ユーザがコントローラをモニタに向けて操作すると、撮像装置によって撮像された２つのマーカの距離、角度等からコントローラのモニタに対する空間的な位置関係が算出され、ユーザの操作が該装置に入力される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−７５２１３号公報（段落[００８６]、図７）
【非特許文献】
【０００８】
【非特許文献１】加藤博一 Mark Billinghurst 浅野浩一 橘啓八郎 "マーカ追跡に基づく拡張現実感システムとそのキャリブレーション" 日本バーチャルリアリティ学会論文誌Vol.4, No4, 1999 http://intron.kz.tsukuba.ac.jp/tvrsj/4.4/kato/p-99_VRSJ4_4.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１および非特許文献１に記載の技術では、ともに、撮像手段の撮像範囲に標識（マーカ）が含まれている必要がある。このため、標識が撮像手段によって撮像される範囲内でしか、付加画像が合成された画像を表示することができない。
【００１０】
以上のような事情に鑑み、本発明の目的は、標識が撮像範囲に含まれない場合であっても、現実環境に対応する付加画像の表示が可能な情報処理装置、情報処理システム及び情報処理方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、第１の撮像手段と、第１の位置関係推定部と、画像生成部と、表示手段とを具備する。
上記第１の撮像手段は、現実空間を撮像して第１の背景画像を取得する。
上記第１の位置関係推定部は、上記第１の背景画像に、予め登録され上記現実空間に配置された標識の画像である第１の標識画像が含まれるときには上記第１の標識画像を基に上記第１の撮像手段の上記標識に対する空間的な位置関係である第１の位置関係を推定し、上記第１の背景画像に上記第１の標識画像が含まれないときには上記第１の背景画像から抽出された特徴点の変位から上記第１の位置関係を推定する。
上記画像生成部は、上記第１の位置関係を基に第１の付加画像を生成し、上記第１の付加画像と上記第１の背景画像とを合成して合成画像を生成する。
上記表示手段は、上記合成画像を表示させる。
【００１２】
第１の背景画像に第１の標識画像が含まれている場合、第１の位置関係推定部は、第１の標識画像と予め第１の位置関係推定部に登録されている標識の情報とを比較することで第１の位置関係を推定することが可能である。一方、第１の背景画像に第１の標識画像が含まれていない場合、第１の位置関係推定部は、以前に第１の撮像手段によって撮像された、標識画像が含まれる背景画像から抽出された特徴点と、第１の背景画像から抽出された特徴点の変位から、第１の位置関係を推定することが可能である。画像生成部は、第１の位置関係を用いて、第１の背景画像に適合する第１の付加画像の位置、向き、大きさ等を決定し、第１の背景画像に合成する。第１の付加画像は、第１の位置関係に応じて、即ち、現実空間における標識に対する第１の撮像手段の位置及び向きに応じて生成されるため、あたかも現実空間に存在しているかのような仮想的なオブジェクトをユーザに認識させる。情報処理装置は、第１の背景画像に第１の標識画像が含まれていない、即ち、第１の撮像手段の撮影範囲に標識が含まれていない場合であっても、第１の背景画像に適合する第１の付加画像が合成された合成画像を表示することが可能となる。
【００１３】
上記情報処理装置は、現実空間を撮像して第２の背景画像を取得する第２の撮像手段を有し、上記第２の背景画像に上記標識の画像である第２の標識画像が含まれるときには上記第２の標識画像を基に上記第２の撮像手段の上記標識に対する空間的な位置関係である第２の位置関係を推定し、上記第２の背景画像に上記第２の標識画像が含まれないときには上記第２の背景画像から抽出された特徴点の変位から上記第２の位置関係を推定する装置から送信された上記第２の位置関係を受信する受信部と、上記第１の位置関係及び上記受信された上記第２の位置関係を基に第１の付加画像を生成し、上記第１の付加画像と上記第１の背景画像とを合成して合成画像を生成する画像生成部とをさらに具備してもよい。
【００１４】
この構成によれば、画像生成部は、第１の位置関係に加え、第２の撮像手段の位置関係である第２の位置関係を取得し、画像生成部が第１の位置関係及び第２の位置関係を基に第１の付加画像に変更を加えることが可能となる。これにより、仮想的オブジェクトに第２の位置関係に応じた変更が加えられたかのように第１の付加画像を変更することが可能となる。
【００１５】
上記目的を達成するため、本発明の一形態に係る情報処理システムは、第１の情報処理装置と、第２の情報処理装置とを具備する。
上記第１の情報処理装置は、第１の撮像手段と、第１の位置関係推定部とを具備する。
上記第１の撮像手段は、現実空間を撮像して第１の背景画像を取得する。
上記第１の位置関係推定部は、上記第１の背景画像に、予め登録され上記現実空間に配置された標識の画像である第１の標識画像が含まれるときには上記第１の標識画像を基に上記第１の撮像手段の上記標識に対する空間的な位置関係である第１の位置関係を推定し、上記第１の背景画像に上記第１の標識画像が含まれないときには上記第１の背景画像から抽出された特徴点の変位から上記第１の位置関係を推定する。
上記第２の情報処理装置は、第２の撮像手段と、第２の位置関係推定部と、送信部とを具備する。
上記第２の撮像手段は、現実空間を撮像して第２の背景画像を取得する。
上記第２の位置関係推定部は、上記第２の背景画像に上記標識の画像である第２の標識画像が含まれるときには上記第２の標識画像を基に上記第２の撮像手段の上記標識に対する空間的な位置関係である第２の位置関係を推定し、上記第２の背景画像に上記第２の標識画像が含まれないときには上記第２の背景画像から抽出された特徴点の変位から上記第２の位置関係を推定する。
上記送信部は、上記第２の位置関係を上記第１の情報処理装置に送信する。
上記第１の情報処理装置は、さらに、受信部と、画像生成部と、表示手段とを具備する。
上記受信部は、上記第２の情報処理装置から送信された上記第２の位置関係を受信する。
上記画像生成部は、上記第１の位置関係及び上記受信された上記第２の位置関係を基に第１の付加画像を生成し、上記第１の付加画像と上記第１の背景画像とを合成して合成画像を生成する。
上記表示手段は、上記第１の位置関係及び上記第２の位置関係を基に第１の付加画像を生成し、上記第１の付加画像と上記第１の背景画像とを合成して合成画像を生成する。
【００１６】
第１の撮像手段と第２の撮像手段によって現実空間が撮像される。例えば、第１の撮像手段は装置本体に設けられたカメラであり、第２の撮像手段はコントローラに設けられているカメラである。第１の撮像手段と第２の撮像手段の空間的位置の相違から、第１の背景画像と第２の背景画像は異なる画像となる。第１の撮像手段については上述のように第１の位置関係推定部によって第１の位置関係が推定される。第２の撮像手段については、第２の位置関係推定部が、第２の標識画像と予め第２の位置関係推定部に登録されている標識の情報とを比較することで第２の位置関係を推定し、又は、以前に第２の撮像手段によって撮像された、標識画像が含まれる背景画像から抽出された特徴点と、第２の背景画像から抽出された特徴点の変位から、第２の位置関係を推定する。したがって、画像生成部が第１の位置関係及び第２の位置関係を基に第１の付加画像に変更を加えることが可能となる。これにより、仮想的オブジェクトに第２の位置関係に応じた変更が加えられたかのように第１の付加画像を変更することが可能となる。
【００１７】
上記第２の情報処理装置は、ユーザによる操作入力を可能とする入力部をさらに具備し、
上記画像生成部は、上記入力部から入力された指示に応じて上記第１の付加画像を変更してもよい。
【００１８】
この構成によれば、情報処理システムは、ユーザによる指示が入力されたときの第２の位置関係に応じて変更された第１の付加画像を表示することが可能となる。
【００１９】
上記画像生成部は、上記第１の位置関係及び上記第２の位置関係を基に、上記第１の撮像手段に対する上記第２の撮像手段の空間的な位置関係である第３の位置関係を算出し、上記第３の位置関係を基に上記背景画像に付加される第２の付加画像をさらに生成し、上記第１の付加画像と上記背景画像と上記第２の付加画像とを合成して上記合成画像を生成してもよい。
【００２０】
情報処理システムは、第１の撮像手段に対する第２の撮像手段の空間的な位置関係に応じて第２の付加画像を現実画像に合成することが可能となる。例えば、情報処理システムは、第１の撮像手段の撮像範囲に第２の撮像手段が含まれる場合に、第２の撮像手段を表す画像を、第２の撮像手段の第１の撮像手段に対する位置関係、即ち第３の位置関係にあわせて合わせて表示させることが可能となる。
【００２１】
上記目的を達成するため、本発明の一形態に係るプログラムは、第１の位置関係推定部と、画像生成部としてコンピュータを機能させる。
上記第１の位置関係推定部は、第１の撮像手段によって撮像された第１の背景画像に、予め登録され上記現実空間に配置された標識の画像である第１の標識画像が含まれるときには上記第１の標識画像を基に上記第１の撮像手段の標識に対する空間的な位置関係である第１の位置関係を推定し、上記第１の背景画像に上記第１の標識画像が含まれないときには上記第１の背景画像から抽出された特徴点の変位から上記第１の位置関係を推定する。
上記画像生成部は、上記第１の位置関係を基に第１の付加画像を生成し、上記第１の付加画像と上記第１の背景画像とを合成して表示手段に表示させる合成画像を生成する。
【００２２】
上記目的を達成するため、本発明の一形態に係る情報処理方法は、第１の撮像手段が、現実空間を撮像して第１の背景画像を取得する。
第１の位置関係推定部が、上記第１の背景画像に、予め登録され上記現実空間に配置された標識の画像である第１の標識画像が含まれるときには上記第１の標識画像を基に上記第１の撮像手段の上記標識に対する空間的な位置関係である第１の位置関係を推定し、上記第１の背景画像に上記第１の標識画像が含まれないときには上記第１の背景画像から抽出された特徴点の変位から上記第１の位置関係を推定する。
画像生成部が、上記第１の位置関係を基に第１の付加画像を生成し、上記第１の付加画像と上記第１の背景画像とを合成して合成画像を生成する。
表示手段が、上記合成画像を表示させる。
【発明の効果】
【００２３】
以上、本発明によれば、標識が撮像範囲に含まれない場合であっても、現実環境に対応する付加画像の表示が可能な情報処理装置、情報処理システム及び情報処理方法を提供することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】第１の実施形態に係る情報処理装置の外観を示す斜視図である。
【図２】同情報処理装置の構成を示すブロック図である。
【図３】同情報処理装置による拡張現実画像の生成の概要を例示する模式図である。
【図４】同情報処理装置の機能的な構成を示すブロック図である。
【図５】同情報処理装置の位置関係推定部の詳細を示すブロック図である。
【図６】マーカを示す模式図である。
【図７】特徴点の設定の様子を示す模式図である。
【図８】第１の実施形態に係る情報処理装置の動作を示すフローチャートである。
【図９】同情報処理装置により撮像される現実画像及び生成される拡張現実画像を示す模式図である。
【図１０】第２の実施形態に係る情報処理システムの外観を示す斜視図である。
【図１１】同情報処理システムのＡＲコントローラを示す斜視図である。
【図１２】同情報処理システムの構成を示すブロック図である。
【図１３】同情報処理システムよる拡張現実画像の生成の概要を例示する模式図である
【図１４】同情報処理システムの機能的な構成を示すブロック図である。
【図１５】同情報処理システムの動作を示すフローチャートである。
【図１６】第３の実施形態に係る情報処理システムによる拡張現実画像の生成の概要を例示する模式図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２６】
＜第１の実施形態＞
本発明の第１の実施形態について説明する。
図１は、本発明の第１の実施形態に係る情報処理装置１の外観を示す斜視図である。
情報処理装置１の一例として、ポータブル型の情報端末について説明する。
図１に示すように、情報処理装置１は、本体２、ディスプレイ３及びカメラ４（第１の撮像手段）を有する。本体２には、押しボタンスイッチ等である入力部５が設けられている。ディスプレイ３は、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等、軽量、薄型化が容易な表示素子を用いたものであればよい。カメラ４は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いて構成されたものであればよい。カメラ４は、撮像方向が、ユーザの視線方向と同方向、即ち、ディスプレイ３の表示面側とは逆向きになるように本体２に設けられている。以下で説明するように、ＡＲ（Augmented Reality）システムでは、カメラ４がユーザの視覚の替わりとなる。
【００２７】
図２は、情報処理装置１の構成を示すブロック図である。
図２に示すように、情報処理装置１は、ＣＰＵ（Central Processing Unit）１０、メモリ１１、ディスプレイインターフェイス１２及びカメラインターフェイス１３をさらに有する。ディスプレイ３はディスプレイインターフェイス１２に接続されており、カメラ４はカメラインターフェイス１３に接続されている。ＣＰＵ１０、メモリ１１、ディスプレイインターフェイス１２、カメラインターフェイス１３及び入力部５は、それぞれバス１５によって接続されている。なお、情報処理装置１の構成はここに示すものに限られない。
【００２８】
図３は、情報処理装置１によるＡＲ画像（拡張現実画像）の生成の概要を例示する模式図である。ここでは、現実空間に置かれた現実の物体として「机」を例とする。机には、マーカＭが置かれている。図３（Ａ）に示すように、情報処理装置１のカメラ４によって、現実空間の画像（以下、現実画像）が撮像され、ディスプレイ３に表示される。現実画像にはマーカＭの画像が含まれている。情報処理装置１にユーザからのＡＲ画像生成の指示が与えられると、図３（Ｂ）に示すように、現実画像にオブジェクトの画像（以下、オブジェクト画像）Ｊが合成された、あたかも現実空間の中に仮想的なオブジェクトが存在しているかのようなＡＲ画像がディスプレイ３に表示される。なお、図３の例では、オブジェクトは仮想的な３次元（立体）オブジェクトであるとするが、仮想的な２次元（平面）オブジェクトであってもよい。ＡＲ画像の生成プロセスの詳細については後述する。
【００２９】
図４は、情報処理装置１の機能的な構成を示すブロック図である。
図４に示すように、情報処理装置１の機能的な構成として、上述のディスプレイ３、カメラ４及び入力部５に加え、位置関係推定部２０（第１の位置関係推定部）、オブジェクトデータ記憶部２１及び画像データ生成部２２（画像生成部）が含まれる。なお、位置関係推定部２０、オブジェクトデータ記憶部２１及び画像データ生成部２２は、ＣＰＵ１０、メモリ１１等によって実現されている。
【００３０】
カメラ４は、現実空間を撮像し、撮像された現実空間の画像データ（以下、現実画像データ）を位置関係推定部２０及び画像データ生成部２２に供給する。
【００３１】
位置関係推定部２０は、カメラ４から供給された現実画像データから、現実空間におけるマーカＭに対するカメラ４の空間的位置関係を推定する。空間的位置関係とは、現実空間における座標及び向きを意味する。具体的には、位置関係推定部２０は、現実空間におけるマーカＭを基準とした座標系（以下、マーカ座標系）を、現実空間におけるカメラ４を基準とした座標系（以下、カメラ座標系）に変換するための空間座標変換行列を生成する。位置関係推定部２０は、その空間座標変換行列を画像データ生成部２２に供給する。位置関係推定部２０の詳細については後述する。
【００３２】
オブジェクトデータ記憶部２１は、予めオブジェクトの描画のためのデータ（以下、オブジェクトデータ）を記憶している。オブジェクトデータ記憶部２１に記憶されているオブジェクトデータは、３次元のオブジェクトのデータであってもよく、２次元のオブジェクトであってもよい。また、オブジェクトデータは、一つの仮想的なオブジェクトのデータであってもよく、複数の仮想的なオブジェクトのデータであってもよい。
【００３３】
画像データ生成部２２は、オブジェクトデータ記憶部２１から供給されたオブジェクトデータと、位置関係推定部２０から供給された空間座標変換行列とから、カメラ座標系でのオブジェクト画像データを算出する。画像データ生成部２２は、ユーザによる入力部５を介した指示を受けてオブジェクト画像データと現実画像データとを合成することによって、ＡＲ画像データを生成する。このようにして生成されたＡＲ画像データは、ＣＰＵ１０によってディスプレイ３に供給される。
【００３４】
ディスプレイ３は、供給されたＡＲ画像データをＡＲ画像として表示する。
【００３５】
このようにして、ディスプレイ３にＡＲ画像が表示される。なお、これらの一連の処理は、１フレーム（例えば、１／３０秒）ごと、あるいはそれより短い時間ごとに実行される。これにより、時系列的に連続するＡＲ画像がディスプレイ３に動画として表示される。カメラ４がマーカＭに対して移動すれば、オブジェクト画像Ｊもそれに応じて変更される。
【００３６】
位置関係推定部２０の詳細について説明する。
図５は、位置関係推定部２０の詳細な機能的構成を示すブロック図である。
同図に示すように、位置関係推定部２０は、マーカ検出部２３、変位量算出部２４及び変換行列算出部２５を有する。
【００３７】
カメラ４によって撮像された現実画像データは、マーカ検出部２３及び変位量算出部２４に供給される。
【００３８】
マーカ検出部２３について説明する。
マーカ検出部２３には、予めマーカの情報が登録されている。マーカの情報は、例えば、図６（Ａ）に示すようにマーカが正方形である場合、マーカを所定の距離で垂直方向から撮像した画像におけるの各辺の長さ等である。なお、マーカ検出部２３に、予め現実空間に存在する物体の情報を登録することで、当該物体をマーカとして用いることも可能である。
【００３９】
マーカ検出部２３は、現実画像データを閾値を用いて２値化し、連結領域（同一の値の連続する領域）ごとに面積・外接長方形の計算を行う。例えば、図６の場合、連結領域として、「黒」の値が連続する１以上の領域について、面積・外接長方形の計算を行う。続いて、マーカ検出部２３は、面積値が閾値より大きい領域を巨大領域として、面積値が他方の閾値より小さい領域を微少領域として除外し、外接長方形情報から、画像外縁に位置する連結領域も除外する。
【００４０】
マーカ検出部２３は、さらに残りの連結領域に対して輪郭線追跡を行い、輪郭線上の画素位置を全て記憶する。次に、マーカ検出部２３は、輪郭線を、直線の連結からなる折れ線へ近似する処理を行い、その近似結果である連結領域をマーカＭの候補として検出する。ここでは、所定の大きさを有する黒色の正方形がマーカとして登録されているので、互いに略等しい長さを有する４本の直線の連結を輪郭線とする連結領域がマーカMの候補となる。図６（Ｂ）は、マーカＭの候補とされた連結領域の撮影画像を示す概念図であり、図６（Ｃ）は、当該画像に対する上述の処理により生成される折れ線近似後の輪郭線Ｌを示す。マーカ検出部２３は、マーカM候補として検出された連結領域の輪郭線を構成する直線の交点（図６（Ｃ）に点Ｐとして示す）の、現実画像における画素位置を記憶しておく。
【００４１】
次に、マーカ検出部２３は、マーカＭ候補の連結領域を正規化、即ち、垂直方向からみた形状に変換する。本例としては、マーカとして正方形が採用されているので、マーカ検出部２３は、４つの交点Ｐの画素位置が正方形の４頂点となるような平面座標変換行列を生成し、マーカＭ候補とされた連結領域の画像に対して平面座標変換行列を用いた座標変換を行う。続いて、マーカ検出部２３は、座標変換された連結領域の画像に対し、登録されたマーカとのパターンマッチングを実行する。マーカ検出部２３は、パターンマッチングの結果、登録されたマーカと類似性が最も高いと判定された連結領域をマーカＭと認識する。マーカ検出部２３は、マーカＭとして認識された連結領域の４つの交点Ｐの画素位置（以下、マーカ画素位置）を変換行列算出部２５に供給する。マーカ検出部２３は、マーカＭの検出を失敗した場合は、変換行列算出部２５にその旨の指示を供給する。マーカ検出部２３がマーカＭの検出を失敗する場合とは、全ての連結領域が上記巨大領域あるいは微少領域として除外された場合、類似度が閾値以下であった場合等である。
【００４２】
次に、変位量算出部２４の推定処理について説明する。
まず、変位量算出部２４は、カメラ４から供給された特定のフレームの現実画像（第１フレーム画像とする）から特徴点を抽出する。特徴点は変位量算出部２４が安定的に検出することが可能な点である。具体的には、特徴点は、Moravec演算子等により検出することが可能な、現実画像に表示されている物体の角とすることができる。変位量算出部２４は、現実画像において分散した複数の画素位置に特徴点を設定する。図７（Ａ）は、図３（Ａ）で例示した現実画像において設定される特徴点を模式的に示した図である。図７（Ａ）には、第１フレーム画像の特徴点を点Ｑ１、Ｑ２、Ｑ３及びＱ４として示す。なお、実際にはより多くの特徴点が設定される。
【００４３】
変位量算出部２４は、さらに、特徴点を中心とする複数の画素の情報をテンプレートとして抽出する。変位量算出部２４は、特徴点の画素位置及び画素位置に関連付けられたテンプレートを記憶しておく。
【００４４】
変位量算出部２４に次のフレームの現実画像（第２フレーム画像とする）の画像データが供給されると、変位量算出部２４は、第２フレーム画像に対し、上記テンプレートを用いてテンプレートマッチングを実行する。具体的には、変位量算出部２４は、まず、二乗誤差を評価尺度とした残差逐次検定法により粗な探索を行なう。変位量算出部２４は、縮小画像を用いて粗な探索を行い、テンプレートマッチングを行なう間隔も大きくする。変位量算出部２４は、次に、最もマッチングの相関が高くなった位置の近傍で正規化相互相関を用いて密な探索を行なう。変位量算出部２４は、このようにして、第２フレーム画像に、第１フレーム画像の特徴点と対応する特徴点を設定する。図７（Ｂ）は、第２フレーム画像の特徴点を点Ｒ３及びＲ４として示す。点Ｒ３は点Ｑ３に対応し、点Ｒ４は点Ｑ４に対応するものとする。
【００４５】
次に、変位量算出部２４は、第１フレーム画像と第２フレーム画像の対応するそれぞれの特徴点、Ｑ３とＲ３との間及びＱ４とＲ４との間でその画素位置の変位量（変位ベクトル）を求める。図７（Ｃ）は、変位量算出部２４の求める変位ベクトルを模式的に示す。変位量算出部２４は、このようにして得られた、対応する特徴点のそれぞれの画素位置の変位量（以下、画素位置変位量）を変換行列算出部２５に供給する。
【００４６】
次に、変換行列算出部２５について説明する。
【００４７】
変換行列算出部２５に、マーカ検出部２３からマーカ画素位置が供給された場合について説明する。
変換行列算出部２５は、マーカ画素位置、即ち、４つの交点Ｐの画素位置から、向かい合う２辺の直線の方程式を求める。マーカＭの２辺は現実空間において同一平面内にあることから、現実画像の平面を現実空間の平面として変換するための回転変換成分が得られる。また、４つの交点Ｐの画素位置と回転変換成分を用いて、現実空間の平面内における平行移動成分が得られる。変換行列算出部２５は、これらの回転変換成分と平行移動成分から空間座標変換行列を算出し、画像データ生成部２２に供給する。
【００４８】
変換行列算出部２５に、マーカ検出部２３からマーカＭが検出されなかった旨の指示が供給された場合について説明する。
【００４９】
変換行列算出部２５は、マーカＭが検出されなかった旨の指示が供給された際のフレームの一つ前のフレームにおいて算出されていた空間座標変換行列に、変位量算出部２４から供給された画素位置変位量を適用する。具体的には、変換行列算出部２５は、前フレームの特徴点の画素位置を、当該フレームの特徴点の画素位置に変換するための空間座標変換行列を生成し、それを一つ前のフレームにおいて算出されていた空間座標変換行列に乗する。これにより、撮像範囲にマーカＭが含まれない場合であっても、空間座標変換行列を推定することが可能となる。
【００５０】
情報処理装置１の一連の動作をフローチャートを用いて説明する。図８は、情報処理装置１の動作を示すフローチャートである。現実画像データからマーカＭが検出されると、以下の処理が開始される。
【００５１】
カメラ４が現実空間の画像を撮像し、現実画像データを取得する（Ｓｔ１０１）。次に、マーカ検出部２３が現実画像におけるマーカＭの検出処理をする（Ｓｔ１０２）。マーカＭが検出された（Ｙｅｓ）場合、マーカ検出部２３がマーカ画素位置を変換行列算出部２５に供給する（Ｓｔ１０３）。マーカＭが検出されなかった（Ｎｏ）場合、変位量算出部２４が画素位置変位量を変換行列算出部２５に供給する（Ｓｔ１０４）。次に、変換行列算出部２５がマーカ画素位置又は画素位置変位量を基に空間座標変換行列を算出する（Ｓｔ１０５）。続いて、画像データ生成部２２が空間座標変換行列を基にオブジェクト画像データを算出し、現実画像データに合成してＡＲ画像データを生成する（Ｓｔ１０６）。そして、ディスプレイ３がＡＲ画像データを表示画面にＡＲ画像として表示する（Ｓｔ１０７）。この後、次フレームの現実画像の撮像からＡＲ画像の表示までの処理が繰り返し実行される。
【００５２】
図９は、情報処理装置１により撮像される現実画像及び生成されるＡＲ画像の例である。カメラ４が現実空間に対して移動しながら現実空間を撮像したものとする。図９（Ａ）、（Ｂ）、（Ｃ）は、この順で撮像された現実画像を示す。図９（Ｄ）は、図９（Ａ）に示す現実画像に対して生成されたＡＲ画像、図９（Ｅ）は、図９（Ｂ）に示す現実画像に対して生成されたＡＲ画像、図９（Ｆ）は、図９（Ｃ）に示す現実画像に対して生成されたＡＲ画像をそれぞれ示す。
【００５３】
図９（Ａ）に示すように、撮像範囲にマーカＭが含まれている場合、情報処理装置１は現実画像におけるマーカ画素位置を基にオブジェクト画像Ｊを合成し、図９（Ｄ）に示すＡＲ画像を生成する。次に、図９（Ｂ）に示すように、カメラ４の移動後も依然として撮像範囲にマーカＭが含まれている場合、情報処理装置１は、カメラ４の移動後の現実画像におけるマーカ画素位置を基にオブジェクト画像Ｊを合成し、図９（Ｅ）に示すＡＲ画像を生成する。さらに、図９（Ｃ）に示すように、カメラ４の移動後の撮像範囲にマーカＭが含まれていない場合、情報処理装置１は、図９（Ｂ）に示した現実画像と図９（Ｃ）に示した現実画像の間での画素位置変位量を基にオブジェクト画像Ｊを合成し、図９（Ｆ）に示すＡＲ画像を生成する。
【００５４】
以上のように、本実施形態に係る情報処理装置は、マーカ検出と特徴点変位の両方を用いてマーカＭに対するカメラ４の空間的な位置関係を推定することが可能である。これにより情報処理装置１は、一度、カメラ４の撮像範囲にマーカを捉えれば、以降は撮像範囲にマーカが含まれていなくてもＡＲ画像を生成することが可能となる。
【００５５】
＜第２の実施形態＞
本発明の第２の実施形態について説明する。
第２の実施形態において、第１の実施形態と同一の構成には同一の符号を付し、説明を省略する。なお、第１の実施形態におけるカメラ４、入力部５及び位置関係推定部２０は、本実施形態においてそれぞれ第１のカメラ４、第１の入力部５及び第１の位置関係推定部２０とする。
図１０は、本発明の第２の実施形態に係る情報処理システム２００の外観を示す斜視図である。図１０に示すように、情報処理システム２００は、ＡＲビューア２０１（第１の情報処理装置）及びＡＲコントローラ２０２（第２の情報処理装置）を有する。ＡＲビューア２０１は、第１の実施形態に係る情報処理装置１と同様の構成を有する。即ち、本体２にディスプレイ３、第１のカメラ４（第１の撮像手段）及び第１の入力部５が設けられている。ＡＲビューア２０１とＡＲコントローラ２０２とはケーブル２０３によって接続されている。なお、この接続は無線接続であってもよい。
【００５６】
図１１は、ＡＲコントローラ２０２を示す斜視図である。図１１に示すように、ＡＲコントローラ２０２は、例えば「銃」を模した形状を有し、引き金に当たるスイッチとして第２の入力部２０４（入力部）が設けられている。また、ＡＲコントローラ２０２の先端には第２のカメラ２０５（第２の撮像手段）が設けられている。なお、ＡＲコントローラ２０２の形状はここに示すものに限られず、第２のカメラ２０５と第２の入力部２０４を備えた他の形状とすることができる。
【００５７】
図１２は、情報処理システム２００の構成を示すブロック図である。
図１２に示すように、ＡＲビューア２０１は、第１の実施形態に係る情報処理装置１の構成に加え、バス１５に接続された通信インターフェイス２１０（受信部）をさらに有する。通信インターフェイス２１０にはケーブル２０３が接続されている。
【００５８】
ＡＲコントローラ２０２は、ＣＰＵ２１１、メモリ２１２、カメラインターフェイス２１３及び通信インターフェイス２１４（送信部）をさらに有する。第２のカメラ２０５はカメラインターフェイス２１３に接続されている。通信インターフェイス２１４にはケーブル２０３が接続されている。ＣＰＵ２１１、メモリ２１２、カメラインターフェイス２１３、第２の入力部２０４及び通信インターフェイス２１４は、それぞれバス２１５によって接続されている。なお、ＡＲコントローラ２０２の構成はここに示すものに限られない。
【００５９】
図１３は、情報処理システム２００のＡＲ画像の生成の概要を例示する模式図である。図１３（Ａ）に示すように、ユーザが、ＡＲコントローラ２０２を現実空間に向けているものとする。第１のカメラ４によって現実画像が撮像されディスプレイ３に表示されている。ディスプレイ３には、ユーザが把持するＡＲコントローラ２０２が現実画像として表示されている。情報処理システム２００にユーザからのＡＲ画像生成の指示が与えられると、図１３（Ｂ）に示すように、現実画像にオブジェクト画像Ｊが合成されたＡＲ画像がディスプレイ３に表示される。ここまでは、第１の実施形態に係る情報処理装置１の動作と同様である。
【００６０】
ユーザが、ディスプレイ３に表示されているＡＲ画像を見ながら、ＡＲコントローラ２０２の照準を、オブジェクト画像Ｊで示されている仮想的なオブジェクトに向け、第２の入力部２０４を操作すると、図１３（Ｃ）に示すようにオブジェクト画像Ｊが変更される。図１３（Ｃ）では、オブジェクト画像Ｊに対して、銃弾が命中したかのようなエフェクトがかけられている。このような情報処理システム２００の動作の詳細については後述する。
【００６１】
図１４は、情報処理システム２００の機能的な構成を示すブロック図である。
図１４に示すように、情報処理システム２００の機能的な構成として、第１の実施形態に係る情報処理装置１の構成に加え、上述した第２のカメラ２０５及び第２の入力部２０４と、第２の位置関係推定部２２１が含まれる。また、第１の実施形態に係る画像データ生成部２２に替えて画像データ生成部２２０が含まれる。なお、第２の位置関係推定部２２１は、ＣＰＵ２１１、メモリ２１２等によって実現されている。
【００６２】
第２のカメラ２０５は、現実空間を撮像し、現実画像データを第２の位置関係推定部２２１に供給する。第２のカメラ２２３は、第１のカメラ４と空間的位置が異なるため、第２のカメラ２２３によって撮像される現実画像は第１のカメラ４のものとは異なる。以下、第１のカメラ４によって撮像された現実画像を「第１の現実画像」、第１の現実画像のデータを「第１の現実画像データ」とし、第２のカメラ２２３によって撮像された現実画像を「第２の現実画像」、第２の現実画像のデータを「第２の現実画像データ」とする。
【００６３】
第２の位置関係推定部２２１は、第２のカメラ２２３から供給された第２の現実画像データから、マーカＭを基準としたマーカ座標系を第２のカメラ２２３を基準とした第２のカメラ座標系に変換するための第２の空間座標変換行列を生成する。第２の位置関係推定部２２１は、その空間座標変換行列を画像データ生成部２２０に供給する。第２の位置関係推定部２２１の詳細については後述する。
【００６４】
画像データ生成部２２０は、第１の実施形態と同様に、オブジェクトデータ記憶部２１から供給されたオブジェクトデータと、第１の位置関係推定部２０から供給された第１の空間座標変換行列とから、第１のカメラ４を基準とする第１のカメラ座標系でのオブジェクト画像データを生成する。
【００６５】
さらに、画像データ生成部２２０は、オブジェクトデータ記憶部２１から供給されたオブジェクトデータと第２の位置関係推定部２２１から供給された第２の空間座標変換行列とから、ＡＲコントローラ２０２と仮想的なオブジェクトとの間に所定の位置関係が成立しているかどうかを判断する。所定の位置関係とは、例えば、ＡＲコントローラ２０２の軸方向に仮想的なオブジェクトが想定されているような位置関係である。画像データ生成部２２０は、所定の位置関係が成立していると判断した場合、上記第１のカメラ座標系でのオブジェクト画像データに変更を加える。ここで、変更とは、例えば、オブジェクト画像データに対して、銃弾が命中したことを示すエフェクトを追加すること等である。一方、所定の位置関係が成立していないと判断した場合、オブジェクト画像データに対し、照準が外れていたことを示す変更を加えてもよく、なんらの変更を加えなくてもよい。
【００６６】
画像データ生成部２２０は、第１の空間座標変換行列を用いて算出されたオブジェクト画像データ、又は上述のように変更されたオブジェクト画像データを第１の現実画像データに合成してＡＲ画像を生成する。このようにして生成されたＡＲ画像データは、ＣＰＵ１０によってディスプレイ３に供給される。
【００６７】
第２の位置関係推定部２２１の詳細について説明する。
第２の位置関係推定部２２１は、図５に示した第１の実施形態に係る位置関係推定部２０及び本実施形態に係る第１の位置関係推定部２０と同様の構成を有する。即ち、第２の位置関係推定部２２１は、マーカ検出部２３、変位量算出部２４及び変換行列算出部２５を有する。第１の位置関係推定部２０が第１のカメラ４によって撮像された第１の現実画像データから第１の変換行列を生成するのに対し、第２の位置関係推定部２２１は第２のカメラ２０５によって撮像された第２の現実画像データから第２の変換行列を生成する。
【００６８】
情報処理システム２００の一連の動作をフローチャートを用いて説明する。図１５は、情報処理システム２００の動作を示すフローチャートである。第1の現実画像データ及び第１の現実画像データからマーカＭが検出されると、以下の処理が開始される。
【００６９】
Ｓｔ２０１〜２０５は、第１の実施形態に係る情報処理装置１の動作と同様である。即ち、第１のカメラ４が現実空間の画像を撮像し、第１の現実画像データを取得する（Ｓｔ２０１）。次に、マーカ検出部２３が第１の現実画像におけるマーカＭの検出処理をする（Ｓｔ２０２）。マーカＭが検出された（Ｙｅｓ）場合、マーカ検出部２３がマーカ画素位置を変換行列算出部２５に供給する（Ｓｔ２０３）。マーカＭが検出されなかった（Ｎｏ）場合、変位量算出部２４が画素位置変位量を変換行列算出部２５に供給する（Ｓｔ２０４）。次に、変換行列算出部２５がマーカ画素位置又は画素位置変位量を基に第１の空間座標変換行列を算出する（Ｓｔ２０５）。
【００７０】
第１のカメラ４が現実空間の画像を撮像し、第１の現実画像データを取得すると同時に、第２のカメラ２０５も現実空間の画像を撮像し、第２の現実画像データを取得する（Ｓｔ２０６）。次に、マーカ検出部２３が第２の現実画像におけるマーカＭの検出処理をする（Ｓｔ２０７）。マーカＭが検出された（Ｙｅｓ）場合、マーカ検出部２３がマーカ画素位置を変換行列算出部２５に供給する（Ｓｔ２０８）。マーカＭが検出されなかった（Ｎｏ）場合、変位量算出部２４が画素位置変位量を変換行列算出部２５に供給する（Ｓｔ２０９）。次に、変換行列算出部２５がマーカ画素位置又は画素位置変位量を基に第２の空間座標変換行列を算出する（Ｓｔ２１０）。
【００７１】
次に、画像データ生成部２２０が、第１の空間座標変換行列を基にオブジェクト画像データを抽出して第１の現実画像データに合成し、又は第２の空間座標変換行列を基に変更されたオブジェクト画像データを現実画像データに合成してＡＲ画像データを生成する（Ｓｔ２１１）。ディスプレイ３がＡＲ画像データを表示画面にＡＲ画像として表示する（Ｓｔ２１２）。この後、次フレームの現実画像の撮像からＡＲ画像の表示までの処理が繰り返し実行される。
【００７２】
以上のように、本実施形態に係る情報処理システム２００は、マーカ検出と特徴点変位の両方を用いて、マーカＭに対する第１のカメラ４及び第２のカメラ２０５の空間的な位置関係を推定することが可能である。これにより、情報処理システム２００は、ＡＲコントローラ２０２と仮想的なオブジェクトとの所定の位置関係が成立しているかどうかを判断し、ユーザの操作入力に応じてオブジェクト画像Ｊに変更を加えることが可能となる。
【００７３】
本実施形態の別の例として、情報処理システム２００は、オブジェクト画像Ｊとして表示している仮想的なオブジェクトとＡＲコントローラ２０２との所定の位置関係が成立すると、オブジェクト画像Ｊの色彩を変更する、あるいはオブジェクト画像Ｊを明滅させる等の変更させ、ＡＲコントローラ２０２と仮想的なオブジェクトとの所定の位置関係が成立していることをユーザに示すようにすることが可能である。また、ＡＲコントローラ２０２を光源とみなして、仮想的なオブジェクトにＡＲコントローラ２０２から光が照射されたかのようにオブジェクト画像Ｊを表示することも可能である。
【００７４】
＜第３の実施形態＞
本発明の第３の実施形態について説明する。
第３の実施形態において、第１の実施形態及び第２の実施形態と同一の構成には同一の符号を付し、説明を省略する。本実施形態に係る情報処理システムの外観及び構成は、第２の実施形態に係る情報処理システム２００と同一であり、画像データ生成部２２０の機能的な構成が異なる。
【００７５】
図１６は、本実施形態に係る情報処理システムのＡＲ画像の生成の概要を例示する模式図である。図１６（Ａ）に示すように、ユーザが、ＡＲコントローラ２０２を現実空間に向けているものとする。第１のカメラ４によってＡＲコントローラ２０２を含む現実画像が撮像され、ディスプレイ３には、ＡＲコントローラ２０２を含む現実画像が表示されている。ＡＲビューア２０１に設けられた第１の入力部５又はＡＲコントローラ２０２に設けられた第２の入力部２０４を介して、ユーザからのＡＲ画像生成の指示が与えられると、図１６（Ｂ）に示すように、現実画像に、オブジェクト画像Ｊ及びＡＲコントローラ２０２に対応する画像（以下、コントローラ画像）Ｃが合成されたＡＲ画像がディスプレイ３に表示される。ここでは、コントローラ画像Ｃとして「剣」の画像を用いた場合を示す。また、図１６（Ｂ）に示す状態から、ユーザがＡＲコントローラ２０２のマーカＭに対する空間的位置関係を変更すると、図１６（Ｃ）に示すように、コントローラ画像Ｃもそれに応じて変更される。
【００７６】
以下に、上記の動作の詳細を説明する。
本実施形態の画像データ生成部２２０は、第１の実施形態及び第２の実施形態と同様に、オブジェクトデータ記憶部２１から供給されたオブジェクトデータと、第１の位置関係推定部２０から供給された第１の空間座標変換行列とから、第１のカメラ４を基準とする第１のカメラ座標系でのオブジェクト画像データを算出する。
【００７７】
また、画像データ生成部２２０は、第１の位置関係推定部２０から供給された第１の空間座標変換行列と、第２の位置関係推定部２２１から供給された第２の空間座標変換行列とから、第３の空間座標変換行列を算出する。第３の空間座標変換行列は、第２のカメラ２０５を基準とする第２のカメラ座標系を、第１のカメラ４を基準とする第１のカメラ座標系に変換するための空間座標変換行列である。例えば、第３の空間座標変換行列は、第１の空間座標変換行列を第２の空間座標変換行列で除すること等により算出することが可能である。
【００７８】
画像データ生成部２２０は、オブジェクトデータ記憶部２１に記憶されている、ＡＲコントローラ２０２を表すオブジェクトデータ（以下、コントローラオブジェクトデータ）と、第３の空間座標変換行列とから、第１のカメラ座標系でのコントローラ画像データを算出する。ここで、コントローラオブジェクトデータは３次元データであってもよく、２次元データであってもよい。
【００７９】
このように、画像データ生成部２２０は、第１の空間座標変換行列によってマーカ座標系を第１のカメラ座標系に変換してオブジェクト画像データを算出し、第３の空間座標変換行列によって第２のカメラ座標系を第１のカメラ座標系に変換してコントローラ画像データを算出する。
【００８０】
画像データ生成部２２０は、オブジェクト画像データ及びコントローラ画像データを現実画像に合成してＡＲ画像データを生成する。ディスプレイ３は、オブジェクト画像Ｊ及びコントローラ画像Ｃが現実画像に合成されたＡＲ画像をディスプレイ３に表示する。コントローラ画像データは、第２のカメラ座標系を第１のカメラ座標系に変換するための第３の空間座標変換行列を基に算出されるため、コントローラ画像ＣはＡＲコントローラ２０２に対応する画像となる。なお、「対応する」とは、コントローラオブジェクトが、あたかもＡＲコントローラ２０２と同一の空間的位置関係を有しているかのように、コントローラ画像Ｃが表示されることを意味する。
【００８１】
さらに本実施形態の画像データ生成部２２０は、第２の空間座標変換行列あるいは第３の空間座標変換行列から、ＡＲコントローラ２０２とオブジェクト画像Ｊとして表示されている仮想的なオブジェクトの所定の位置関係が成立しているかどうかを判断することができる。所定の位置関係とは、例えば、ＡＲコントローラ２０２の軸方向に仮想的なオブジェクトが想定されているような位置関係、あるいは、コントローラ画像Ｃとオブジェクト画像Ｊが重なるような位置関係である。画像データ生成部２２０は、このような所定の位置関係が成立した場合、あるいは成立しなかった場合に、オブジェクト画像Ｊに対して変更を加えることが可能となる。
【００８２】
本実施形態に係る情報処理システムは、マーカ検出と特徴点変位の両方を用いて、マーカＭに対する第１のカメラ４及び第２のカメラ２０５の空間的な位置関係を推定し、それを基に第１のカメラ４に対する第２のカメラ２０５の空間的な位置関係を算出しする。これにより、情報処理システムは、ＡＲコントローラ２０２に対応する画像が合成されたＡＲ画像を生成することが可能である。
【００８３】
本実施形態の別の例として、情報処理システムは、ＡＲコントローラ２０２が現実空間において移動した軌跡を「線」としてディスプレイ３に表示してもよい。これにより、情報処理システムは、ユーザが現実空間に立体的に描いたかのような線をディスプレイ３に表示することが可能である。また、本実施形態に係る情報処理システムは、コントローラ画像を鑑賞するために用いることも可能である。例えば、コントローラオブジェクトデータとして「飛行機」の外観を表す３次元データを用いれば、情報処理システムは、ＡＲコントローラ２０２の空間的位置関係を変えることによって、飛行機が飛んでいるかのように表示させることが可能である。
【００８４】
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更され得る。
【００８５】
上述の実施形態では、ＡＲコントローラにおいて第２の空間座標変換行列が生成されるとしたがこれに限られない。ＡＲコントローラの第２のカメラによって撮像された画像がＡＲビューアに送信され、ＡＲビューアにおいて第２の空間座標変換行列が生成されるようにすることも可能である。
【００８６】
上述の実施形態では、ＡＲビューアにおいて、第１の変換行列あるいは第２の空間座標変換行列を用いてＡＲ画像が生成されるとしたがこれに限られない。例えば、第１の空間座標変換行列及び第２の空間座標変換行列が、ＡＲビューアに設けられた通信手段により別の情報処理装置に送信され、当該情報処理装置においてＡＲ画像が生成されるようにすることも可能である。
【００８７】
上述の実施形態では、１つのＡＲビューアに１つのＡＲコントローラが付属するものとしたがこれに限られない。１つのＡＲビューアに２つ以上のＡＲコントローラが付属するものとしてもよい。これにより、例えば、ユーザが２つのＡＲコントローラを右手及び左手でそれぞれ把持し、仮想的なオブジェクトを両手で挟んで持ち上げるような処理を可能とすることができる。
【００８８】
一つのマーカを複数のＡＲビューアの第１のカメラで撮像することにより、複数のユーザが当該マーカを基準とする仮想空間を共有することが可能となる。例えば、一つの仮想的なオブジェクトは、位置の異なる複数のＡＲビューアには、それぞれ別の角度から見たオブジェクト画像として表示される。複数のＡＲビューアを連携させることにより、それぞれのＡＲビューアは他のＡＲビューアの空間的位置関係を把握することが可能となる。例えば、ＡＲビューアが他のＡＲビューアの位置に他のユーザを現すオブジェクト画像を表示することが可能となる。
【００８９】
上述の実施形態では、第１のカメラによって撮像された現実画像とオブジェクト画像が合成されたＡＲ画像がディスプレイに表示されるビデオシースルー型のＡＲシステムについて説明した。しかし、本発明は、オブジェクト画像が現実画像と合成されることなく、単独で透過型ディスプレイに表示される光学シースルー型のＡＲシステムに適用することも可能である。
【符号の説明】
【００９０】
１…情報処理装置
３…ディスプレイ
４…カメラ、第１のカメラ
２０…位置関係推定部、第１の位置関係推定部
２２…画像データ生成部
２００…情報処理システム
２０５…第２のカメラ
２２１…第２の位置関係推定部
２２０…画像データ生成部
２１０、２１４…通信インターフェイス
【技術分野】
【０００１】
本発明は、現実環境の画像に、現実環境に対応する画像を合成して表示する情報処理装置、情報処理システム及び情報処理方法に関する。
【背景技術】
【０００２】
現実環境の画像に、現実環境に対応する画像を付加する、拡張現実（Augmented Reality：ＡＲ）と呼ばれる技術がある。ＡＲでは、カメラ等によって現実環境の画像が取得され、取得された現実環境の画像に、現実環境に対応する付加的な画像(以下、付加画像）が合成され、表示画面に表示される。ユーザは、現実環境の画像と付加画像が合成された画像を見ることにより、あたかも現実環境に付加画像として表示されている物体又は画像が存在しているかのように認識することができる。
【０００３】
ＡＲでは、取得された現実環境の画像に対し、付加画像の正確な対応付け、即ち、付加画像の位置、サイズ、角度等の現実環境への適合ができることが重要である。正確に対応付けされない場合、表示される付加画像の位置、サイズ、角度等が現実環境に対して不自然になる。
【０００４】
例えば、非特許文献１には、マーカーを利用したＡＲシステムについて記載されている。このシステムでは、予めマーカー（所定のサイズを有する着色された正方形）の画像情報が登録される。マーカーの画像が現実環境の画像に含まれると、現実環境の画像からマーカーが検出され、その大きさ、角度等の情報から、マーカーに対するカメラの空間的な位置関係が算出される。その位置関係を基に、カメラとの相対位置が固定されたＨＤＭに仮想物体が表示され、ユーザは現実環境と共に仮想物体を視認することができる。
【０００５】
さらに、ＡＲでは、現実環境に付加画像を関連付けて表示するのみならず、ユーザによる入力に応じて付加画像を変更することも可能とされる。例えば、ユーザが、付加画像が付加された現実環境を視認しながら現実環境に向けてポインタを向けると、指示された現実環境の位置に対応する付加画像が変更されるような動作が可能となる。このような動作を可能とするものとして、特許文献１には、情報処理プログラムについて記載されている。
【０００６】
特許文献１には、モニタの周縁に離間して配置された２つのマーカ（赤外線光源）と、これらマーカを撮像することが可能な撮像装置を備えたコントローラを有する装置が記載されている。ユーザがコントローラをモニタに向けて操作すると、撮像装置によって撮像された２つのマーカの距離、角度等からコントローラのモニタに対する空間的な位置関係が算出され、ユーザの操作が該装置に入力される。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−７５２１３号公報（段落[００８６]、図７）
【非特許文献】
【０００８】
【非特許文献１】加藤博一 Mark Billinghurst 浅野浩一 橘啓八郎 "マーカ追跡に基づく拡張現実感システムとそのキャリブレーション" 日本バーチャルリアリティ学会論文誌Vol.4, No4, 1999 http://intron.kz.tsukuba.ac.jp/tvrsj/4.4/kato/p-99_VRSJ4_4.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１および非特許文献１に記載の技術では、ともに、撮像手段の撮像範囲に標識（マーカ）が含まれている必要がある。このため、標識が撮像手段によって撮像される範囲内でしか、付加画像が合成された画像を表示することができない。
【００１０】
以上のような事情に鑑み、本発明の目的は、標識が撮像範囲に含まれない場合であっても、現実環境に対応する付加画像の表示が可能な情報処理装置、情報処理システム及び情報処理方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の一形態に係る情報処理装置は、第１の撮像手段と、第１の位置関係推定部と、画像生成部と、表示手段とを具備する。
上記第１の撮像手段は、現実空間を撮像して第１の背景画像を取得する。
上記第１の位置関係推定部は、上記第１の背景画像に、予め登録され上記現実空間に配置された標識の画像である第１の標識画像が含まれるときには上記第１の標識画像を基に上記第１の撮像手段の上記標識に対する空間的な位置関係である第１の位置関係を推定し、上記第１の背景画像に上記第１の標識画像が含まれないときには上記第１の背景画像から抽出された特徴点の変位から上記第１の位置関係を推定する。
上記画像生成部は、上記第１の位置関係を基に第１の付加画像を生成し、上記第１の付加画像と上記第１の背景画像とを合成して合成画像を生成する。
上記表示手段は、上記合成画像を表示させる。
【００１２】
第１の背景画像に第１の標識画像が含まれている場合、第１の位置関係推定部は、第１の標識画像と予め第１の位置関係推定部に登録されている標識の情報とを比較することで第１の位置関係を推定することが可能である。一方、第１の背景画像に第１の標識画像が含まれていない場合、第１の位置関係推定部は、以前に第１の撮像手段によって撮像された、標識画像が含まれる背景画像から抽出された特徴点と、第１の背景画像から抽出された特徴点の変位から、第１の位置関係を推定することが可能である。画像生成部は、第１の位置関係を用いて、第１の背景画像に適合する第１の付加画像の位置、向き、大きさ等を決定し、第１の背景画像に合成する。第１の付加画像は、第１の位置関係に応じて、即ち、現実空間における標識に対する第１の撮像手段の位置及び向きに応じて生成されるため、あたかも現実空間に存在しているかのような仮想的なオブジェクトをユーザに認識させる。情報処理装置は、第１の背景画像に第１の標識画像が含まれていない、即ち、第１の撮像手段の撮影範囲に標識が含まれていない場合であっても、第１の背景画像に適合する第１の付加画像が合成された合成画像を表示することが可能となる。
【００１３】
上記情報処理装置は、現実空間を撮像して第２の背景画像を取得する第２の撮像手段を有し、上記第２の背景画像に上記標識の画像である第２の標識画像が含まれるときには上記第２の標識画像を基に上記第２の撮像手段の上記標識に対する空間的な位置関係である第２の位置関係を推定し、上記第２の背景画像に上記第２の標識画像が含まれないときには上記第２の背景画像から抽出された特徴点の変位から上記第２の位置関係を推定する装置から送信された上記第２の位置関係を受信する受信部と、上記第１の位置関係及び上記受信された上記第２の位置関係を基に第１の付加画像を生成し、上記第１の付加画像と上記第１の背景画像とを合成して合成画像を生成する画像生成部とをさらに具備してもよい。
【００１４】
この構成によれば、画像生成部は、第１の位置関係に加え、第２の撮像手段の位置関係である第２の位置関係を取得し、画像生成部が第１の位置関係及び第２の位置関係を基に第１の付加画像に変更を加えることが可能となる。これにより、仮想的オブジェクトに第２の位置関係に応じた変更が加えられたかのように第１の付加画像を変更することが可能となる。
【００１５】
上記目的を達成するため、本発明の一形態に係る情報処理システムは、第１の情報処理装置と、第２の情報処理装置とを具備する。
上記第１の情報処理装置は、第１の撮像手段と、第１の位置関係推定部とを具備する。
上記第１の撮像手段は、現実空間を撮像して第１の背景画像を取得する。
上記第１の位置関係推定部は、上記第１の背景画像に、予め登録され上記現実空間に配置された標識の画像である第１の標識画像が含まれるときには上記第１の標識画像を基に上記第１の撮像手段の上記標識に対する空間的な位置関係である第１の位置関係を推定し、上記第１の背景画像に上記第１の標識画像が含まれないときには上記第１の背景画像から抽出された特徴点の変位から上記第１の位置関係を推定する。
上記第２の情報処理装置は、第２の撮像手段と、第２の位置関係推定部と、送信部とを具備する。
上記第２の撮像手段は、現実空間を撮像して第２の背景画像を取得する。
上記第２の位置関係推定部は、上記第２の背景画像に上記標識の画像である第２の標識画像が含まれるときには上記第２の標識画像を基に上記第２の撮像手段の上記標識に対する空間的な位置関係である第２の位置関係を推定し、上記第２の背景画像に上記第２の標識画像が含まれないときには上記第２の背景画像から抽出された特徴点の変位から上記第２の位置関係を推定する。
上記送信部は、上記第２の位置関係を上記第１の情報処理装置に送信する。
上記第１の情報処理装置は、さらに、受信部と、画像生成部と、表示手段とを具備する。
上記受信部は、上記第２の情報処理装置から送信された上記第２の位置関係を受信する。
上記画像生成部は、上記第１の位置関係及び上記受信された上記第２の位置関係を基に第１の付加画像を生成し、上記第１の付加画像と上記第１の背景画像とを合成して合成画像を生成する。
上記表示手段は、上記第１の位置関係及び上記第２の位置関係を基に第１の付加画像を生成し、上記第１の付加画像と上記第１の背景画像とを合成して合成画像を生成する。
【００１６】
第１の撮像手段と第２の撮像手段によって現実空間が撮像される。例えば、第１の撮像手段は装置本体に設けられたカメラであり、第２の撮像手段はコントローラに設けられているカメラである。第１の撮像手段と第２の撮像手段の空間的位置の相違から、第１の背景画像と第２の背景画像は異なる画像となる。第１の撮像手段については上述のように第１の位置関係推定部によって第１の位置関係が推定される。第２の撮像手段については、第２の位置関係推定部が、第２の標識画像と予め第２の位置関係推定部に登録されている標識の情報とを比較することで第２の位置関係を推定し、又は、以前に第２の撮像手段によって撮像された、標識画像が含まれる背景画像から抽出された特徴点と、第２の背景画像から抽出された特徴点の変位から、第２の位置関係を推定する。したがって、画像生成部が第１の位置関係及び第２の位置関係を基に第１の付加画像に変更を加えることが可能となる。これにより、仮想的オブジェクトに第２の位置関係に応じた変更が加えられたかのように第１の付加画像を変更することが可能となる。
【００１７】
上記第２の情報処理装置は、ユーザによる操作入力を可能とする入力部をさらに具備し、
上記画像生成部は、上記入力部から入力された指示に応じて上記第１の付加画像を変更してもよい。
【００１８】
この構成によれば、情報処理システムは、ユーザによる指示が入力されたときの第２の位置関係に応じて変更された第１の付加画像を表示することが可能となる。
【００１９】
上記画像生成部は、上記第１の位置関係及び上記第２の位置関係を基に、上記第１の撮像手段に対する上記第２の撮像手段の空間的な位置関係である第３の位置関係を算出し、上記第３の位置関係を基に上記背景画像に付加される第２の付加画像をさらに生成し、上記第１の付加画像と上記背景画像と上記第２の付加画像とを合成して上記合成画像を生成してもよい。
【００２０】
情報処理システムは、第１の撮像手段に対する第２の撮像手段の空間的な位置関係に応じて第２の付加画像を現実画像に合成することが可能となる。例えば、情報処理システムは、第１の撮像手段の撮像範囲に第２の撮像手段が含まれる場合に、第２の撮像手段を表す画像を、第２の撮像手段の第１の撮像手段に対する位置関係、即ち第３の位置関係にあわせて合わせて表示させることが可能となる。
【００２１】
上記目的を達成するため、本発明の一形態に係るプログラムは、第１の位置関係推定部と、画像生成部としてコンピュータを機能させる。
上記第１の位置関係推定部は、第１の撮像手段によって撮像された第１の背景画像に、予め登録され上記現実空間に配置された標識の画像である第１の標識画像が含まれるときには上記第１の標識画像を基に上記第１の撮像手段の標識に対する空間的な位置関係である第１の位置関係を推定し、上記第１の背景画像に上記第１の標識画像が含まれないときには上記第１の背景画像から抽出された特徴点の変位から上記第１の位置関係を推定する。
上記画像生成部は、上記第１の位置関係を基に第１の付加画像を生成し、上記第１の付加画像と上記第１の背景画像とを合成して表示手段に表示させる合成画像を生成する。
【００２２】
上記目的を達成するため、本発明の一形態に係る情報処理方法は、第１の撮像手段が、現実空間を撮像して第１の背景画像を取得する。
第１の位置関係推定部が、上記第１の背景画像に、予め登録され上記現実空間に配置された標識の画像である第１の標識画像が含まれるときには上記第１の標識画像を基に上記第１の撮像手段の上記標識に対する空間的な位置関係である第１の位置関係を推定し、上記第１の背景画像に上記第１の標識画像が含まれないときには上記第１の背景画像から抽出された特徴点の変位から上記第１の位置関係を推定する。
画像生成部が、上記第１の位置関係を基に第１の付加画像を生成し、上記第１の付加画像と上記第１の背景画像とを合成して合成画像を生成する。
表示手段が、上記合成画像を表示させる。
【発明の効果】
【００２３】
以上、本発明によれば、標識が撮像範囲に含まれない場合であっても、現実環境に対応する付加画像の表示が可能な情報処理装置、情報処理システム及び情報処理方法を提供することが可能となる。
【図面の簡単な説明】
【００２４】
【図１】第１の実施形態に係る情報処理装置の外観を示す斜視図である。
【図２】同情報処理装置の構成を示すブロック図である。
【図３】同情報処理装置による拡張現実画像の生成の概要を例示する模式図である。
【図４】同情報処理装置の機能的な構成を示すブロック図である。
【図５】同情報処理装置の位置関係推定部の詳細を示すブロック図である。
【図６】マーカを示す模式図である。
【図７】特徴点の設定の様子を示す模式図である。
【図８】第１の実施形態に係る情報処理装置の動作を示すフローチャートである。
【図９】同情報処理装置により撮像される現実画像及び生成される拡張現実画像を示す模式図である。
【図１０】第２の実施形態に係る情報処理システムの外観を示す斜視図である。
【図１１】同情報処理システムのＡＲコントローラを示す斜視図である。
【図１２】同情報処理システムの構成を示すブロック図である。
【図１３】同情報処理システムよる拡張現実画像の生成の概要を例示する模式図である
【図１４】同情報処理システムの機能的な構成を示すブロック図である。
【図１５】同情報処理システムの動作を示すフローチャートである。
【図１６】第３の実施形態に係る情報処理システムによる拡張現実画像の生成の概要を例示する模式図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照しながら、本発明の実施形態を説明する。
【００２６】
＜第１の実施形態＞
本発明の第１の実施形態について説明する。
図１は、本発明の第１の実施形態に係る情報処理装置１の外観を示す斜視図である。
情報処理装置１の一例として、ポータブル型の情報端末について説明する。
図１に示すように、情報処理装置１は、本体２、ディスプレイ３及びカメラ４（第１の撮像手段）を有する。本体２には、押しボタンスイッチ等である入力部５が設けられている。ディスプレイ３は、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬ（Electro-Luminescence）ディスプレイ等、軽量、薄型化が容易な表示素子を用いたものであればよい。カメラ４は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を用いて構成されたものであればよい。カメラ４は、撮像方向が、ユーザの視線方向と同方向、即ち、ディスプレイ３の表示面側とは逆向きになるように本体２に設けられている。以下で説明するように、ＡＲ（Augmented Reality）システムでは、カメラ４がユーザの視覚の替わりとなる。
【００２７】
図２は、情報処理装置１の構成を示すブロック図である。
図２に示すように、情報処理装置１は、ＣＰＵ（Central Processing Unit）１０、メモリ１１、ディスプレイインターフェイス１２及びカメラインターフェイス１３をさらに有する。ディスプレイ３はディスプレイインターフェイス１２に接続されており、カメラ４はカメラインターフェイス１３に接続されている。ＣＰＵ１０、メモリ１１、ディスプレイインターフェイス１２、カメラインターフェイス１３及び入力部５は、それぞれバス１５によって接続されている。なお、情報処理装置１の構成はここに示すものに限られない。
【００２８】
図３は、情報処理装置１によるＡＲ画像（拡張現実画像）の生成の概要を例示する模式図である。ここでは、現実空間に置かれた現実の物体として「机」を例とする。机には、マーカＭが置かれている。図３（Ａ）に示すように、情報処理装置１のカメラ４によって、現実空間の画像（以下、現実画像）が撮像され、ディスプレイ３に表示される。現実画像にはマーカＭの画像が含まれている。情報処理装置１にユーザからのＡＲ画像生成の指示が与えられると、図３（Ｂ）に示すように、現実画像にオブジェクトの画像（以下、オブジェクト画像）Ｊが合成された、あたかも現実空間の中に仮想的なオブジェクトが存在しているかのようなＡＲ画像がディスプレイ３に表示される。なお、図３の例では、オブジェクトは仮想的な３次元（立体）オブジェクトであるとするが、仮想的な２次元（平面）オブジェクトであってもよい。ＡＲ画像の生成プロセスの詳細については後述する。
【００２９】
図４は、情報処理装置１の機能的な構成を示すブロック図である。
図４に示すように、情報処理装置１の機能的な構成として、上述のディスプレイ３、カメラ４及び入力部５に加え、位置関係推定部２０（第１の位置関係推定部）、オブジェクトデータ記憶部２１及び画像データ生成部２２（画像生成部）が含まれる。なお、位置関係推定部２０、オブジェクトデータ記憶部２１及び画像データ生成部２２は、ＣＰＵ１０、メモリ１１等によって実現されている。
【００３０】
カメラ４は、現実空間を撮像し、撮像された現実空間の画像データ（以下、現実画像データ）を位置関係推定部２０及び画像データ生成部２２に供給する。
【００３１】
位置関係推定部２０は、カメラ４から供給された現実画像データから、現実空間におけるマーカＭに対するカメラ４の空間的位置関係を推定する。空間的位置関係とは、現実空間における座標及び向きを意味する。具体的には、位置関係推定部２０は、現実空間におけるマーカＭを基準とした座標系（以下、マーカ座標系）を、現実空間におけるカメラ４を基準とした座標系（以下、カメラ座標系）に変換するための空間座標変換行列を生成する。位置関係推定部２０は、その空間座標変換行列を画像データ生成部２２に供給する。位置関係推定部２０の詳細については後述する。
【００３２】
オブジェクトデータ記憶部２１は、予めオブジェクトの描画のためのデータ（以下、オブジェクトデータ）を記憶している。オブジェクトデータ記憶部２１に記憶されているオブジェクトデータは、３次元のオブジェクトのデータであってもよく、２次元のオブジェクトであってもよい。また、オブジェクトデータは、一つの仮想的なオブジェクトのデータであってもよく、複数の仮想的なオブジェクトのデータであってもよい。
【００３３】
画像データ生成部２２は、オブジェクトデータ記憶部２１から供給されたオブジェクトデータと、位置関係推定部２０から供給された空間座標変換行列とから、カメラ座標系でのオブジェクト画像データを算出する。画像データ生成部２２は、ユーザによる入力部５を介した指示を受けてオブジェクト画像データと現実画像データとを合成することによって、ＡＲ画像データを生成する。このようにして生成されたＡＲ画像データは、ＣＰＵ１０によってディスプレイ３に供給される。
【００３４】
ディスプレイ３は、供給されたＡＲ画像データをＡＲ画像として表示する。
【００３５】
このようにして、ディスプレイ３にＡＲ画像が表示される。なお、これらの一連の処理は、１フレーム（例えば、１／３０秒）ごと、あるいはそれより短い時間ごとに実行される。これにより、時系列的に連続するＡＲ画像がディスプレイ３に動画として表示される。カメラ４がマーカＭに対して移動すれば、オブジェクト画像Ｊもそれに応じて変更される。
【００３６】
位置関係推定部２０の詳細について説明する。
図５は、位置関係推定部２０の詳細な機能的構成を示すブロック図である。
同図に示すように、位置関係推定部２０は、マーカ検出部２３、変位量算出部２４及び変換行列算出部２５を有する。
【００３７】
カメラ４によって撮像された現実画像データは、マーカ検出部２３及び変位量算出部２４に供給される。
【００３８】
マーカ検出部２３について説明する。
マーカ検出部２３には、予めマーカの情報が登録されている。マーカの情報は、例えば、図６（Ａ）に示すようにマーカが正方形である場合、マーカを所定の距離で垂直方向から撮像した画像におけるの各辺の長さ等である。なお、マーカ検出部２３に、予め現実空間に存在する物体の情報を登録することで、当該物体をマーカとして用いることも可能である。
【００３９】
マーカ検出部２３は、現実画像データを閾値を用いて２値化し、連結領域（同一の値の連続する領域）ごとに面積・外接長方形の計算を行う。例えば、図６の場合、連結領域として、「黒」の値が連続する１以上の領域について、面積・外接長方形の計算を行う。続いて、マーカ検出部２３は、面積値が閾値より大きい領域を巨大領域として、面積値が他方の閾値より小さい領域を微少領域として除外し、外接長方形情報から、画像外縁に位置する連結領域も除外する。
【００４０】
マーカ検出部２３は、さらに残りの連結領域に対して輪郭線追跡を行い、輪郭線上の画素位置を全て記憶する。次に、マーカ検出部２３は、輪郭線を、直線の連結からなる折れ線へ近似する処理を行い、その近似結果である連結領域をマーカＭの候補として検出する。ここでは、所定の大きさを有する黒色の正方形がマーカとして登録されているので、互いに略等しい長さを有する４本の直線の連結を輪郭線とする連結領域がマーカMの候補となる。図６（Ｂ）は、マーカＭの候補とされた連結領域の撮影画像を示す概念図であり、図６（Ｃ）は、当該画像に対する上述の処理により生成される折れ線近似後の輪郭線Ｌを示す。マーカ検出部２３は、マーカM候補として検出された連結領域の輪郭線を構成する直線の交点（図６（Ｃ）に点Ｐとして示す）の、現実画像における画素位置を記憶しておく。
【００４１】
次に、マーカ検出部２３は、マーカＭ候補の連結領域を正規化、即ち、垂直方向からみた形状に変換する。本例としては、マーカとして正方形が採用されているので、マーカ検出部２３は、４つの交点Ｐの画素位置が正方形の４頂点となるような平面座標変換行列を生成し、マーカＭ候補とされた連結領域の画像に対して平面座標変換行列を用いた座標変換を行う。続いて、マーカ検出部２３は、座標変換された連結領域の画像に対し、登録されたマーカとのパターンマッチングを実行する。マーカ検出部２３は、パターンマッチングの結果、登録されたマーカと類似性が最も高いと判定された連結領域をマーカＭと認識する。マーカ検出部２３は、マーカＭとして認識された連結領域の４つの交点Ｐの画素位置（以下、マーカ画素位置）を変換行列算出部２５に供給する。マーカ検出部２３は、マーカＭの検出を失敗した場合は、変換行列算出部２５にその旨の指示を供給する。マーカ検出部２３がマーカＭの検出を失敗する場合とは、全ての連結領域が上記巨大領域あるいは微少領域として除外された場合、類似度が閾値以下であった場合等である。
【００４２】
次に、変位量算出部２４の推定処理について説明する。
まず、変位量算出部２４は、カメラ４から供給された特定のフレームの現実画像（第１フレーム画像とする）から特徴点を抽出する。特徴点は変位量算出部２４が安定的に検出することが可能な点である。具体的には、特徴点は、Moravec演算子等により検出することが可能な、現実画像に表示されている物体の角とすることができる。変位量算出部２４は、現実画像において分散した複数の画素位置に特徴点を設定する。図７（Ａ）は、図３（Ａ）で例示した現実画像において設定される特徴点を模式的に示した図である。図７（Ａ）には、第１フレーム画像の特徴点を点Ｑ１、Ｑ２、Ｑ３及びＱ４として示す。なお、実際にはより多くの特徴点が設定される。
【００４３】
変位量算出部２４は、さらに、特徴点を中心とする複数の画素の情報をテンプレートとして抽出する。変位量算出部２４は、特徴点の画素位置及び画素位置に関連付けられたテンプレートを記憶しておく。
【００４４】
変位量算出部２４に次のフレームの現実画像（第２フレーム画像とする）の画像データが供給されると、変位量算出部２４は、第２フレーム画像に対し、上記テンプレートを用いてテンプレートマッチングを実行する。具体的には、変位量算出部２４は、まず、二乗誤差を評価尺度とした残差逐次検定法により粗な探索を行なう。変位量算出部２４は、縮小画像を用いて粗な探索を行い、テンプレートマッチングを行なう間隔も大きくする。変位量算出部２４は、次に、最もマッチングの相関が高くなった位置の近傍で正規化相互相関を用いて密な探索を行なう。変位量算出部２４は、このようにして、第２フレーム画像に、第１フレーム画像の特徴点と対応する特徴点を設定する。図７（Ｂ）は、第２フレーム画像の特徴点を点Ｒ３及びＲ４として示す。点Ｒ３は点Ｑ３に対応し、点Ｒ４は点Ｑ４に対応するものとする。
【００４５】
次に、変位量算出部２４は、第１フレーム画像と第２フレーム画像の対応するそれぞれの特徴点、Ｑ３とＲ３との間及びＱ４とＲ４との間でその画素位置の変位量（変位ベクトル）を求める。図７（Ｃ）は、変位量算出部２４の求める変位ベクトルを模式的に示す。変位量算出部２４は、このようにして得られた、対応する特徴点のそれぞれの画素位置の変位量（以下、画素位置変位量）を変換行列算出部２５に供給する。
【００４６】
次に、変換行列算出部２５について説明する。
【００４７】
変換行列算出部２５に、マーカ検出部２３からマーカ画素位置が供給された場合について説明する。
変換行列算出部２５は、マーカ画素位置、即ち、４つの交点Ｐの画素位置から、向かい合う２辺の直線の方程式を求める。マーカＭの２辺は現実空間において同一平面内にあることから、現実画像の平面を現実空間の平面として変換するための回転変換成分が得られる。また、４つの交点Ｐの画素位置と回転変換成分を用いて、現実空間の平面内における平行移動成分が得られる。変換行列算出部２５は、これらの回転変換成分と平行移動成分から空間座標変換行列を算出し、画像データ生成部２２に供給する。
【００４８】
変換行列算出部２５に、マーカ検出部２３からマーカＭが検出されなかった旨の指示が供給された場合について説明する。
【００４９】
変換行列算出部２５は、マーカＭが検出されなかった旨の指示が供給された際のフレームの一つ前のフレームにおいて算出されていた空間座標変換行列に、変位量算出部２４から供給された画素位置変位量を適用する。具体的には、変換行列算出部２５は、前フレームの特徴点の画素位置を、当該フレームの特徴点の画素位置に変換するための空間座標変換行列を生成し、それを一つ前のフレームにおいて算出されていた空間座標変換行列に乗する。これにより、撮像範囲にマーカＭが含まれない場合であっても、空間座標変換行列を推定することが可能となる。
【００５０】
情報処理装置１の一連の動作をフローチャートを用いて説明する。図８は、情報処理装置１の動作を示すフローチャートである。現実画像データからマーカＭが検出されると、以下の処理が開始される。
【００５１】
カメラ４が現実空間の画像を撮像し、現実画像データを取得する（Ｓｔ１０１）。次に、マーカ検出部２３が現実画像におけるマーカＭの検出処理をする（Ｓｔ１０２）。マーカＭが検出された（Ｙｅｓ）場合、マーカ検出部２３がマーカ画素位置を変換行列算出部２５に供給する（Ｓｔ１０３）。マーカＭが検出されなかった（Ｎｏ）場合、変位量算出部２４が画素位置変位量を変換行列算出部２５に供給する（Ｓｔ１０４）。次に、変換行列算出部２５がマーカ画素位置又は画素位置変位量を基に空間座標変換行列を算出する（Ｓｔ１０５）。続いて、画像データ生成部２２が空間座標変換行列を基にオブジェクト画像データを算出し、現実画像データに合成してＡＲ画像データを生成する（Ｓｔ１０６）。そして、ディスプレイ３がＡＲ画像データを表示画面にＡＲ画像として表示する（Ｓｔ１０７）。この後、次フレームの現実画像の撮像からＡＲ画像の表示までの処理が繰り返し実行される。
【００５２】
図９は、情報処理装置１により撮像される現実画像及び生成されるＡＲ画像の例である。カメラ４が現実空間に対して移動しながら現実空間を撮像したものとする。図９（Ａ）、（Ｂ）、（Ｃ）は、この順で撮像された現実画像を示す。図９（Ｄ）は、図９（Ａ）に示す現実画像に対して生成されたＡＲ画像、図９（Ｅ）は、図９（Ｂ）に示す現実画像に対して生成されたＡＲ画像、図９（Ｆ）は、図９（Ｃ）に示す現実画像に対して生成されたＡＲ画像をそれぞれ示す。
【００５３】
図９（Ａ）に示すように、撮像範囲にマーカＭが含まれている場合、情報処理装置１は現実画像におけるマーカ画素位置を基にオブジェクト画像Ｊを合成し、図９（Ｄ）に示すＡＲ画像を生成する。次に、図９（Ｂ）に示すように、カメラ４の移動後も依然として撮像範囲にマーカＭが含まれている場合、情報処理装置１は、カメラ４の移動後の現実画像におけるマーカ画素位置を基にオブジェクト画像Ｊを合成し、図９（Ｅ）に示すＡＲ画像を生成する。さらに、図９（Ｃ）に示すように、カメラ４の移動後の撮像範囲にマーカＭが含まれていない場合、情報処理装置１は、図９（Ｂ）に示した現実画像と図９（Ｃ）に示した現実画像の間での画素位置変位量を基にオブジェクト画像Ｊを合成し、図９（Ｆ）に示すＡＲ画像を生成する。
【００５４】
以上のように、本実施形態に係る情報処理装置は、マーカ検出と特徴点変位の両方を用いてマーカＭに対するカメラ４の空間的な位置関係を推定することが可能である。これにより情報処理装置１は、一度、カメラ４の撮像範囲にマーカを捉えれば、以降は撮像範囲にマーカが含まれていなくてもＡＲ画像を生成することが可能となる。
【００５５】
＜第２の実施形態＞
本発明の第２の実施形態について説明する。
第２の実施形態において、第１の実施形態と同一の構成には同一の符号を付し、説明を省略する。なお、第１の実施形態におけるカメラ４、入力部５及び位置関係推定部２０は、本実施形態においてそれぞれ第１のカメラ４、第１の入力部５及び第１の位置関係推定部２０とする。
図１０は、本発明の第２の実施形態に係る情報処理システム２００の外観を示す斜視図である。図１０に示すように、情報処理システム２００は、ＡＲビューア２０１（第１の情報処理装置）及びＡＲコントローラ２０２（第２の情報処理装置）を有する。ＡＲビューア２０１は、第１の実施形態に係る情報処理装置１と同様の構成を有する。即ち、本体２にディスプレイ３、第１のカメラ４（第１の撮像手段）及び第１の入力部５が設けられている。ＡＲビューア２０１とＡＲコントローラ２０２とはケーブル２０３によって接続されている。なお、この接続は無線接続であってもよい。
【００５６】
図１１は、ＡＲコントローラ２０２を示す斜視図である。図１１に示すように、ＡＲコントローラ２０２は、例えば「銃」を模した形状を有し、引き金に当たるスイッチとして第２の入力部２０４（入力部）が設けられている。また、ＡＲコントローラ２０２の先端には第２のカメラ２０５（第２の撮像手段）が設けられている。なお、ＡＲコントローラ２０２の形状はここに示すものに限られず、第２のカメラ２０５と第２の入力部２０４を備えた他の形状とすることができる。
【００５７】
図１２は、情報処理システム２００の構成を示すブロック図である。
図１２に示すように、ＡＲビューア２０１は、第１の実施形態に係る情報処理装置１の構成に加え、バス１５に接続された通信インターフェイス２１０（受信部）をさらに有する。通信インターフェイス２１０にはケーブル２０３が接続されている。
【００５８】
ＡＲコントローラ２０２は、ＣＰＵ２１１、メモリ２１２、カメラインターフェイス２１３及び通信インターフェイス２１４（送信部）をさらに有する。第２のカメラ２０５はカメラインターフェイス２１３に接続されている。通信インターフェイス２１４にはケーブル２０３が接続されている。ＣＰＵ２１１、メモリ２１２、カメラインターフェイス２１３、第２の入力部２０４及び通信インターフェイス２１４は、それぞれバス２１５によって接続されている。なお、ＡＲコントローラ２０２の構成はここに示すものに限られない。
【００５９】
図１３は、情報処理システム２００のＡＲ画像の生成の概要を例示する模式図である。図１３（Ａ）に示すように、ユーザが、ＡＲコントローラ２０２を現実空間に向けているものとする。第１のカメラ４によって現実画像が撮像されディスプレイ３に表示されている。ディスプレイ３には、ユーザが把持するＡＲコントローラ２０２が現実画像として表示されている。情報処理システム２００にユーザからのＡＲ画像生成の指示が与えられると、図１３（Ｂ）に示すように、現実画像にオブジェクト画像Ｊが合成されたＡＲ画像がディスプレイ３に表示される。ここまでは、第１の実施形態に係る情報処理装置１の動作と同様である。
【００６０】
ユーザが、ディスプレイ３に表示されているＡＲ画像を見ながら、ＡＲコントローラ２０２の照準を、オブジェクト画像Ｊで示されている仮想的なオブジェクトに向け、第２の入力部２０４を操作すると、図１３（Ｃ）に示すようにオブジェクト画像Ｊが変更される。図１３（Ｃ）では、オブジェクト画像Ｊに対して、銃弾が命中したかのようなエフェクトがかけられている。このような情報処理システム２００の動作の詳細については後述する。
【００６１】
図１４は、情報処理システム２００の機能的な構成を示すブロック図である。
図１４に示すように、情報処理システム２００の機能的な構成として、第１の実施形態に係る情報処理装置１の構成に加え、上述した第２のカメラ２０５及び第２の入力部２０４と、第２の位置関係推定部２２１が含まれる。また、第１の実施形態に係る画像データ生成部２２に替えて画像データ生成部２２０が含まれる。なお、第２の位置関係推定部２２１は、ＣＰＵ２１１、メモリ２１２等によって実現されている。
【００６２】
第２のカメラ２０５は、現実空間を撮像し、現実画像データを第２の位置関係推定部２２１に供給する。第２のカメラ２２３は、第１のカメラ４と空間的位置が異なるため、第２のカメラ２２３によって撮像される現実画像は第１のカメラ４のものとは異なる。以下、第１のカメラ４によって撮像された現実画像を「第１の現実画像」、第１の現実画像のデータを「第１の現実画像データ」とし、第２のカメラ２２３によって撮像された現実画像を「第２の現実画像」、第２の現実画像のデータを「第２の現実画像データ」とする。
【００６３】
第２の位置関係推定部２２１は、第２のカメラ２２３から供給された第２の現実画像データから、マーカＭを基準としたマーカ座標系を第２のカメラ２２３を基準とした第２のカメラ座標系に変換するための第２の空間座標変換行列を生成する。第２の位置関係推定部２２１は、その空間座標変換行列を画像データ生成部２２０に供給する。第２の位置関係推定部２２１の詳細については後述する。
【００６４】
画像データ生成部２２０は、第１の実施形態と同様に、オブジェクトデータ記憶部２１から供給されたオブジェクトデータと、第１の位置関係推定部２０から供給された第１の空間座標変換行列とから、第１のカメラ４を基準とする第１のカメラ座標系でのオブジェクト画像データを生成する。
【００６５】
さらに、画像データ生成部２２０は、オブジェクトデータ記憶部２１から供給されたオブジェクトデータと第２の位置関係推定部２２１から供給された第２の空間座標変換行列とから、ＡＲコントローラ２０２と仮想的なオブジェクトとの間に所定の位置関係が成立しているかどうかを判断する。所定の位置関係とは、例えば、ＡＲコントローラ２０２の軸方向に仮想的なオブジェクトが想定されているような位置関係である。画像データ生成部２２０は、所定の位置関係が成立していると判断した場合、上記第１のカメラ座標系でのオブジェクト画像データに変更を加える。ここで、変更とは、例えば、オブジェクト画像データに対して、銃弾が命中したことを示すエフェクトを追加すること等である。一方、所定の位置関係が成立していないと判断した場合、オブジェクト画像データに対し、照準が外れていたことを示す変更を加えてもよく、なんらの変更を加えなくてもよい。
【００６６】
画像データ生成部２２０は、第１の空間座標変換行列を用いて算出されたオブジェクト画像データ、又は上述のように変更されたオブジェクト画像データを第１の現実画像データに合成してＡＲ画像を生成する。このようにして生成されたＡＲ画像データは、ＣＰＵ１０によってディスプレイ３に供給される。
【００６７】
第２の位置関係推定部２２１の詳細について説明する。
第２の位置関係推定部２２１は、図５に示した第１の実施形態に係る位置関係推定部２０及び本実施形態に係る第１の位置関係推定部２０と同様の構成を有する。即ち、第２の位置関係推定部２２１は、マーカ検出部２３、変位量算出部２４及び変換行列算出部２５を有する。第１の位置関係推定部２０が第１のカメラ４によって撮像された第１の現実画像データから第１の変換行列を生成するのに対し、第２の位置関係推定部２２１は第２のカメラ２０５によって撮像された第２の現実画像データから第２の変換行列を生成する。
【００６８】
情報処理システム２００の一連の動作をフローチャートを用いて説明する。図１５は、情報処理システム２００の動作を示すフローチャートである。第1の現実画像データ及び第１の現実画像データからマーカＭが検出されると、以下の処理が開始される。
【００６９】
Ｓｔ２０１〜２０５は、第１の実施形態に係る情報処理装置１の動作と同様である。即ち、第１のカメラ４が現実空間の画像を撮像し、第１の現実画像データを取得する（Ｓｔ２０１）。次に、マーカ検出部２３が第１の現実画像におけるマーカＭの検出処理をする（Ｓｔ２０２）。マーカＭが検出された（Ｙｅｓ）場合、マーカ検出部２３がマーカ画素位置を変換行列算出部２５に供給する（Ｓｔ２０３）。マーカＭが検出されなかった（Ｎｏ）場合、変位量算出部２４が画素位置変位量を変換行列算出部２５に供給する（Ｓｔ２０４）。次に、変換行列算出部２５がマーカ画素位置又は画素位置変位量を基に第１の空間座標変換行列を算出する（Ｓｔ２０５）。
【００７０】
第１のカメラ４が現実空間の画像を撮像し、第１の現実画像データを取得すると同時に、第２のカメラ２０５も現実空間の画像を撮像し、第２の現実画像データを取得する（Ｓｔ２０６）。次に、マーカ検出部２３が第２の現実画像におけるマーカＭの検出処理をする（Ｓｔ２０７）。マーカＭが検出された（Ｙｅｓ）場合、マーカ検出部２３がマーカ画素位置を変換行列算出部２５に供給する（Ｓｔ２０８）。マーカＭが検出されなかった（Ｎｏ）場合、変位量算出部２４が画素位置変位量を変換行列算出部２５に供給する（Ｓｔ２０９）。次に、変換行列算出部２５がマーカ画素位置又は画素位置変位量を基に第２の空間座標変換行列を算出する（Ｓｔ２１０）。
【００７１】
次に、画像データ生成部２２０が、第１の空間座標変換行列を基にオブジェクト画像データを抽出して第１の現実画像データに合成し、又は第２の空間座標変換行列を基に変更されたオブジェクト画像データを現実画像データに合成してＡＲ画像データを生成する（Ｓｔ２１１）。ディスプレイ３がＡＲ画像データを表示画面にＡＲ画像として表示する（Ｓｔ２１２）。この後、次フレームの現実画像の撮像からＡＲ画像の表示までの処理が繰り返し実行される。
【００７２】
以上のように、本実施形態に係る情報処理システム２００は、マーカ検出と特徴点変位の両方を用いて、マーカＭに対する第１のカメラ４及び第２のカメラ２０５の空間的な位置関係を推定することが可能である。これにより、情報処理システム２００は、ＡＲコントローラ２０２と仮想的なオブジェクトとの所定の位置関係が成立しているかどうかを判断し、ユーザの操作入力に応じてオブジェクト画像Ｊに変更を加えることが可能となる。
【００７３】
本実施形態の別の例として、情報処理システム２００は、オブジェクト画像Ｊとして表示している仮想的なオブジェクトとＡＲコントローラ２０２との所定の位置関係が成立すると、オブジェクト画像Ｊの色彩を変更する、あるいはオブジェクト画像Ｊを明滅させる等の変更させ、ＡＲコントローラ２０２と仮想的なオブジェクトとの所定の位置関係が成立していることをユーザに示すようにすることが可能である。また、ＡＲコントローラ２０２を光源とみなして、仮想的なオブジェクトにＡＲコントローラ２０２から光が照射されたかのようにオブジェクト画像Ｊを表示することも可能である。
【００７４】
＜第３の実施形態＞
本発明の第３の実施形態について説明する。
第３の実施形態において、第１の実施形態及び第２の実施形態と同一の構成には同一の符号を付し、説明を省略する。本実施形態に係る情報処理システムの外観及び構成は、第２の実施形態に係る情報処理システム２００と同一であり、画像データ生成部２２０の機能的な構成が異なる。
【００７５】
図１６は、本実施形態に係る情報処理システムのＡＲ画像の生成の概要を例示する模式図である。図１６（Ａ）に示すように、ユーザが、ＡＲコントローラ２０２を現実空間に向けているものとする。第１のカメラ４によってＡＲコントローラ２０２を含む現実画像が撮像され、ディスプレイ３には、ＡＲコントローラ２０２を含む現実画像が表示されている。ＡＲビューア２０１に設けられた第１の入力部５又はＡＲコントローラ２０２に設けられた第２の入力部２０４を介して、ユーザからのＡＲ画像生成の指示が与えられると、図１６（Ｂ）に示すように、現実画像に、オブジェクト画像Ｊ及びＡＲコントローラ２０２に対応する画像（以下、コントローラ画像）Ｃが合成されたＡＲ画像がディスプレイ３に表示される。ここでは、コントローラ画像Ｃとして「剣」の画像を用いた場合を示す。また、図１６（Ｂ）に示す状態から、ユーザがＡＲコントローラ２０２のマーカＭに対する空間的位置関係を変更すると、図１６（Ｃ）に示すように、コントローラ画像Ｃもそれに応じて変更される。
【００７６】
以下に、上記の動作の詳細を説明する。
本実施形態の画像データ生成部２２０は、第１の実施形態及び第２の実施形態と同様に、オブジェクトデータ記憶部２１から供給されたオブジェクトデータと、第１の位置関係推定部２０から供給された第１の空間座標変換行列とから、第１のカメラ４を基準とする第１のカメラ座標系でのオブジェクト画像データを算出する。
【００７７】
また、画像データ生成部２２０は、第１の位置関係推定部２０から供給された第１の空間座標変換行列と、第２の位置関係推定部２２１から供給された第２の空間座標変換行列とから、第３の空間座標変換行列を算出する。第３の空間座標変換行列は、第２のカメラ２０５を基準とする第２のカメラ座標系を、第１のカメラ４を基準とする第１のカメラ座標系に変換するための空間座標変換行列である。例えば、第３の空間座標変換行列は、第１の空間座標変換行列を第２の空間座標変換行列で除すること等により算出することが可能である。
【００７８】
画像データ生成部２２０は、オブジェクトデータ記憶部２１に記憶されている、ＡＲコントローラ２０２を表すオブジェクトデータ（以下、コントローラオブジェクトデータ）と、第３の空間座標変換行列とから、第１のカメラ座標系でのコントローラ画像データを算出する。ここで、コントローラオブジェクトデータは３次元データであってもよく、２次元データであってもよい。
【００７９】
このように、画像データ生成部２２０は、第１の空間座標変換行列によってマーカ座標系を第１のカメラ座標系に変換してオブジェクト画像データを算出し、第３の空間座標変換行列によって第２のカメラ座標系を第１のカメラ座標系に変換してコントローラ画像データを算出する。
【００８０】
画像データ生成部２２０は、オブジェクト画像データ及びコントローラ画像データを現実画像に合成してＡＲ画像データを生成する。ディスプレイ３は、オブジェクト画像Ｊ及びコントローラ画像Ｃが現実画像に合成されたＡＲ画像をディスプレイ３に表示する。コントローラ画像データは、第２のカメラ座標系を第１のカメラ座標系に変換するための第３の空間座標変換行列を基に算出されるため、コントローラ画像ＣはＡＲコントローラ２０２に対応する画像となる。なお、「対応する」とは、コントローラオブジェクトが、あたかもＡＲコントローラ２０２と同一の空間的位置関係を有しているかのように、コントローラ画像Ｃが表示されることを意味する。
【００８１】
さらに本実施形態の画像データ生成部２２０は、第２の空間座標変換行列あるいは第３の空間座標変換行列から、ＡＲコントローラ２０２とオブジェクト画像Ｊとして表示されている仮想的なオブジェクトの所定の位置関係が成立しているかどうかを判断することができる。所定の位置関係とは、例えば、ＡＲコントローラ２０２の軸方向に仮想的なオブジェクトが想定されているような位置関係、あるいは、コントローラ画像Ｃとオブジェクト画像Ｊが重なるような位置関係である。画像データ生成部２２０は、このような所定の位置関係が成立した場合、あるいは成立しなかった場合に、オブジェクト画像Ｊに対して変更を加えることが可能となる。
【００８２】
本実施形態に係る情報処理システムは、マーカ検出と特徴点変位の両方を用いて、マーカＭに対する第１のカメラ４及び第２のカメラ２０５の空間的な位置関係を推定し、それを基に第１のカメラ４に対する第２のカメラ２０５の空間的な位置関係を算出しする。これにより、情報処理システムは、ＡＲコントローラ２０２に対応する画像が合成されたＡＲ画像を生成することが可能である。
【００８３】
本実施形態の別の例として、情報処理システムは、ＡＲコントローラ２０２が現実空間において移動した軌跡を「線」としてディスプレイ３に表示してもよい。これにより、情報処理システムは、ユーザが現実空間に立体的に描いたかのような線をディスプレイ３に表示することが可能である。また、本実施形態に係る情報処理システムは、コントローラ画像を鑑賞するために用いることも可能である。例えば、コントローラオブジェクトデータとして「飛行機」の外観を表す３次元データを用いれば、情報処理システムは、ＡＲコントローラ２０２の空間的位置関係を変えることによって、飛行機が飛んでいるかのように表示させることが可能である。
【００８４】
本発明は上述の実施形態にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において変更され得る。
【００８５】
上述の実施形態では、ＡＲコントローラにおいて第２の空間座標変換行列が生成されるとしたがこれに限られない。ＡＲコントローラの第２のカメラによって撮像された画像がＡＲビューアに送信され、ＡＲビューアにおいて第２の空間座標変換行列が生成されるようにすることも可能である。
【００８６】
上述の実施形態では、ＡＲビューアにおいて、第１の変換行列あるいは第２の空間座標変換行列を用いてＡＲ画像が生成されるとしたがこれに限られない。例えば、第１の空間座標変換行列及び第２の空間座標変換行列が、ＡＲビューアに設けられた通信手段により別の情報処理装置に送信され、当該情報処理装置においてＡＲ画像が生成されるようにすることも可能である。
【００８７】
上述の実施形態では、１つのＡＲビューアに１つのＡＲコントローラが付属するものとしたがこれに限られない。１つのＡＲビューアに２つ以上のＡＲコントローラが付属するものとしてもよい。これにより、例えば、ユーザが２つのＡＲコントローラを右手及び左手でそれぞれ把持し、仮想的なオブジェクトを両手で挟んで持ち上げるような処理を可能とすることができる。
【００８８】
一つのマーカを複数のＡＲビューアの第１のカメラで撮像することにより、複数のユーザが当該マーカを基準とする仮想空間を共有することが可能となる。例えば、一つの仮想的なオブジェクトは、位置の異なる複数のＡＲビューアには、それぞれ別の角度から見たオブジェクト画像として表示される。複数のＡＲビューアを連携させることにより、それぞれのＡＲビューアは他のＡＲビューアの空間的位置関係を把握することが可能となる。例えば、ＡＲビューアが他のＡＲビューアの位置に他のユーザを現すオブジェクト画像を表示することが可能となる。
【００８９】
上述の実施形態では、第１のカメラによって撮像された現実画像とオブジェクト画像が合成されたＡＲ画像がディスプレイに表示されるビデオシースルー型のＡＲシステムについて説明した。しかし、本発明は、オブジェクト画像が現実画像と合成されることなく、単独で透過型ディスプレイに表示される光学シースルー型のＡＲシステムに適用することも可能である。
【符号の説明】
【００９０】
１…情報処理装置
３…ディスプレイ
４…カメラ、第１のカメラ
２０…位置関係推定部、第１の位置関係推定部
２２…画像データ生成部
２００…情報処理システム
２０５…第２のカメラ
２２１…第２の位置関係推定部
２２０…画像データ生成部
２１０、２１４…通信インターフェイス
【特許請求の範囲】
【請求項１】
現実空間を撮像して第１の背景画像を取得する第１の撮像手段と、
前記第１の背景画像に、予め登録され前記現実空間に配置された標識の画像である第１の標識画像が含まれるときには前記第１の標識画像を基に前記第１の撮像手段の前記標識に対する空間的な位置関係である第１の位置関係を推定し、前記第１の背景画像に前記第１の標識画像が含まれないときには前記第１の背景画像から抽出された特徴点の変位から前記第１の位置関係を推定する第１の位置関係推定部と、
前記第１の位置関係を基に第１の付加画像を生成し、前記第１の付加画像と前記第１の背景画像とを合成して合成画像を生成する画像生成部と、
前記合成画像を表示させる表示手段と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
現実空間を撮像して第２の背景画像を取得する第２の撮像手段を有し、前記第２の背景画像に前記標識の画像である第２の標識画像が含まれるときには前記第２の標識画像を基に前記第２の撮像手段の前記標識に対する空間的な位置関係である第２の位置関係を推定し、前記第２の背景画像に前記第２の標識画像が含まれないときには前記第２の背景画像から抽出された特徴点の変位から前記第２の位置関係を推定する装置から送信された前記第２の位置関係を受信する受信部と、
前記第１の位置関係及び前記受信された前記第２の位置関係を基に第１の付加画像を生成し、前記第１の付加画像と前記第１の背景画像とを合成して合成画像を生成する画像生成部と
をさらに具備する情報処理装置。
【請求項３】
第１の情報処理装置と第２の情報処理装置とを具備する情報処理システムであって、
前記第１の情報処理装置は、
現実空間を撮像して第１の背景画像を取得する第１の撮像手段と、
前記第１の背景画像に、予め登録され前記現実空間に配置された標識の画像である第１の標識画像が含まれるときには前記第１の標識画像を基に前記第１の撮像手段の前記標識に対する空間的な位置関係である第１の位置関係を推定し、前記第１の背景画像に前記第１の標識画像が含まれないときには前記第１の背景画像から抽出された特徴点の変位から前記第１の位置関係を推定する第１の位置関係推定部とを具備し、
前記第２の情報処理装置は、
現実空間を撮像して第２の背景画像を取得する第２の撮像手段と、
前記第２の背景画像に前記標識の画像である第２の標識画像が含まれるときには前記第２の標識画像を基に前記第２の撮像手段の前記標識に対する空間的な位置関係である第２の位置関係を推定し、前記第２の背景画像に前記第２の標識画像が含まれないときには前記第２の背景画像から抽出された特徴点の変位から前記第２の位置関係を推定する第２の位置関係推定部と、
前記第２の位置関係を前記第１の情報処理装置に送信する送信部とを具備し、
前記第１の情報処理装置は、さらに、
前記第２の情報処理装置から送信された前記第２の位置関係を受信する受信部と、
前記第１の位置関係及び前記受信された前記第２の位置関係を基に第１の付加画像を生成し、前記第１の付加画像と前記第１の背景画像とを合成して合成画像を生成する画像生成部と、
前記合成画像を表示させる表示手段とを具備する
情報処理システム。
【請求項４】
請求項３に記載の情報処理システムであって、
前記第２の情報処理装置は、ユーザによる操作入力を可能とする入力部をさらに具備し、
前記画像生成部は、前記入力部から入力された指示に応じて前記第１の付加画像を変更する
情報処理システム。
【請求項５】
請求項４に記載の情報処理システムであって、
前記画像生成部は、前記第１の位置関係及び前記第２の位置関係を基に、前記第１の撮像手段に対する前記第２の撮像手段の空間的な位置関係である第３の位置関係を算出し、前記第３の位置関係を基に前記背景画像に付加される第２の付加画像をさらに生成し、前記第１の付加画像と前記背景画像と前記第２の付加画像とを合成して前記合成画像を生成する
情報処理システム。
【請求項６】
第１の撮像手段によって撮像された第１の背景画像に、予め登録され前記現実空間に配置された標識の画像である第１の標識画像が含まれるときには前記第１の標識画像を基に前記第１の撮像手段の標識に対する空間的な位置関係である第１の位置関係を推定し、前記第１の背景画像に前記第１の標識画像が含まれないときには前記第１の背景画像から抽出された特徴点の変位から前記第１の位置関係を推定する第１の位置関係推定部と、
前記第１の位置関係を基に第１の付加画像を生成し、前記第１の付加画像と前記第１の背景画像とを合成して表示手段に表示させる合成画像を生成する画像生成部
としてコンピュータを機能させるプログラム。
【請求項７】
第１の撮像手段が、現実空間を撮像して第１の背景画像を取得し、
第１の位置関係推定部が、前記第１の背景画像に、予め登録され前記現実空間に配置された標識の画像である第１の標識画像が含まれるときには前記第１の標識画像を基に前記第１の撮像手段の前記標識に対する空間的な位置関係である第１の位置関係を推定し、前記第１の背景画像に前記第１の標識画像が含まれないときには前記第１の背景画像から抽出された特徴点の変位から前記第１の位置関係を推定し、
画像生成部が、前記第１の位置関係を基に第１の付加画像を生成し、前記第１の付加画像と前記第１の背景画像とを合成して合成画像を生成し、
表示手段が、前記合成画像を表示させる
情報処理方法。
【請求項１】
現実空間を撮像して第１の背景画像を取得する第１の撮像手段と、
前記第１の背景画像に、予め登録され前記現実空間に配置された標識の画像である第１の標識画像が含まれるときには前記第１の標識画像を基に前記第１の撮像手段の前記標識に対する空間的な位置関係である第１の位置関係を推定し、前記第１の背景画像に前記第１の標識画像が含まれないときには前記第１の背景画像から抽出された特徴点の変位から前記第１の位置関係を推定する第１の位置関係推定部と、
前記第１の位置関係を基に第１の付加画像を生成し、前記第１の付加画像と前記第１の背景画像とを合成して合成画像を生成する画像生成部と、
前記合成画像を表示させる表示手段と
を具備する情報処理装置。
【請求項２】
請求項１に記載の情報処理装置であって、
現実空間を撮像して第２の背景画像を取得する第２の撮像手段を有し、前記第２の背景画像に前記標識の画像である第２の標識画像が含まれるときには前記第２の標識画像を基に前記第２の撮像手段の前記標識に対する空間的な位置関係である第２の位置関係を推定し、前記第２の背景画像に前記第２の標識画像が含まれないときには前記第２の背景画像から抽出された特徴点の変位から前記第２の位置関係を推定する装置から送信された前記第２の位置関係を受信する受信部と、
前記第１の位置関係及び前記受信された前記第２の位置関係を基に第１の付加画像を生成し、前記第１の付加画像と前記第１の背景画像とを合成して合成画像を生成する画像生成部と
をさらに具備する情報処理装置。
【請求項３】
第１の情報処理装置と第２の情報処理装置とを具備する情報処理システムであって、
前記第１の情報処理装置は、
現実空間を撮像して第１の背景画像を取得する第１の撮像手段と、
前記第１の背景画像に、予め登録され前記現実空間に配置された標識の画像である第１の標識画像が含まれるときには前記第１の標識画像を基に前記第１の撮像手段の前記標識に対する空間的な位置関係である第１の位置関係を推定し、前記第１の背景画像に前記第１の標識画像が含まれないときには前記第１の背景画像から抽出された特徴点の変位から前記第１の位置関係を推定する第１の位置関係推定部とを具備し、
前記第２の情報処理装置は、
現実空間を撮像して第２の背景画像を取得する第２の撮像手段と、
前記第２の背景画像に前記標識の画像である第２の標識画像が含まれるときには前記第２の標識画像を基に前記第２の撮像手段の前記標識に対する空間的な位置関係である第２の位置関係を推定し、前記第２の背景画像に前記第２の標識画像が含まれないときには前記第２の背景画像から抽出された特徴点の変位から前記第２の位置関係を推定する第２の位置関係推定部と、
前記第２の位置関係を前記第１の情報処理装置に送信する送信部とを具備し、
前記第１の情報処理装置は、さらに、
前記第２の情報処理装置から送信された前記第２の位置関係を受信する受信部と、
前記第１の位置関係及び前記受信された前記第２の位置関係を基に第１の付加画像を生成し、前記第１の付加画像と前記第１の背景画像とを合成して合成画像を生成する画像生成部と、
前記合成画像を表示させる表示手段とを具備する
情報処理システム。
【請求項４】
請求項３に記載の情報処理システムであって、
前記第２の情報処理装置は、ユーザによる操作入力を可能とする入力部をさらに具備し、
前記画像生成部は、前記入力部から入力された指示に応じて前記第１の付加画像を変更する
情報処理システム。
【請求項５】
請求項４に記載の情報処理システムであって、
前記画像生成部は、前記第１の位置関係及び前記第２の位置関係を基に、前記第１の撮像手段に対する前記第２の撮像手段の空間的な位置関係である第３の位置関係を算出し、前記第３の位置関係を基に前記背景画像に付加される第２の付加画像をさらに生成し、前記第１の付加画像と前記背景画像と前記第２の付加画像とを合成して前記合成画像を生成する
情報処理システム。
【請求項６】
第１の撮像手段によって撮像された第１の背景画像に、予め登録され前記現実空間に配置された標識の画像である第１の標識画像が含まれるときには前記第１の標識画像を基に前記第１の撮像手段の標識に対する空間的な位置関係である第１の位置関係を推定し、前記第１の背景画像に前記第１の標識画像が含まれないときには前記第１の背景画像から抽出された特徴点の変位から前記第１の位置関係を推定する第１の位置関係推定部と、
前記第１の位置関係を基に第１の付加画像を生成し、前記第１の付加画像と前記第１の背景画像とを合成して表示手段に表示させる合成画像を生成する画像生成部
としてコンピュータを機能させるプログラム。
【請求項７】
第１の撮像手段が、現実空間を撮像して第１の背景画像を取得し、
第１の位置関係推定部が、前記第１の背景画像に、予め登録され前記現実空間に配置された標識の画像である第１の標識画像が含まれるときには前記第１の標識画像を基に前記第１の撮像手段の前記標識に対する空間的な位置関係である第１の位置関係を推定し、前記第１の背景画像に前記第１の標識画像が含まれないときには前記第１の背景画像から抽出された特徴点の変位から前記第１の位置関係を推定し、
画像生成部が、前記第１の位置関係を基に第１の付加画像を生成し、前記第１の付加画像と前記第１の背景画像とを合成して合成画像を生成し、
表示手段が、前記合成画像を表示させる
情報処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−１４１８２８（Ｐ２０１１−１４１８２８Ａ）
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願番号】特願２０１０−３１４０（Ｐ２０１０−３１４０）
【出願日】平成２２年１月８日（２０１０．１．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年７月２１日（２０１１．７．２１）
【国際特許分類】
【出願日】平成２２年１月８日（２０１０．１．８）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]