情報処理装置およびその方法
【課題】 複合現実感で複数ページの仮想情報を表示するには複数の現実物体や複数のタッチパネルディスプレイが必要であり、観察者が一つの現実物体で複数の仮想情報を切り替えることができないという課題があった。
【解決手段】 現実空間の現実物体の撮像画像を入力し、撮像手段の位置および姿勢を計測し、現実物体の姿勢を計測し、撮像手段と現実物体との姿勢の変化を推定し、推定した変化に応じて複数の仮想情報のうち何れかを選択し、撮像画像に選択された仮想情報を合成した合成画像を生成して出力することにより、複数の仮想情報を切り替える。
【解決手段】 現実空間の現実物体の撮像画像を入力し、撮像手段の位置および姿勢を計測し、現実物体の姿勢を計測し、撮像手段と現実物体との姿勢の変化を推定し、推定した変化に応じて複数の仮想情報のうち何れかを選択し、撮像画像に選択された仮想情報を合成した合成画像を生成して出力することにより、複数の仮想情報を切り替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置および方法に関し、複合現実感において仮想情報を選択し表示する為の情報処理装置および方法に関する。
【背景技術】
【０００２】
従来、複数ページを持つテキスト及び画像を有する文章等の仮想情報の表示を行なう際、ディスプレイを見る事が一般的である。また、仮想ページの切り替えには、観察者がマウス、キーボード、ボタン、タッチパネル等のデバイスを利用する。
【０００３】
一方、現実空間と仮想空間との繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究が近年、盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像から検出した現実物体の一つ一つに仮想物体を重ねわせるように、画像上に撮像装置の位置及び姿勢に応じて生成した仮想空間の画像を重畳描画した画像を表示する。例えば、仮想空間の画像として、コンピュータグラフィックスにより描画された仮想物体や文字情報等がある。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いることができる。
【０００４】
また、係る画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成した仮想現実空間の画像を表示する光学シースルー方式によっても実現される。
【０００５】
このような画像表示装置の応用として、患者の体表面に体内の様子を重畳表示する手術支援や、現実空間に浮遊する仮想の敵と戦う複合現実感ゲーム等がある。この他にも、例えば、市街地を撮像することで得られる現実空間の画像中に含まれる著名な建造物等の名称や案内を仮想空間画像として重畳表示するナビゲーションがある。この他にも、例えば、ビルの建設予定地を撮像することで得られる画像中に建設予定のビルのコンピュータグラフィックス映像を重畳表示する景観シミュレーションがある。
【０００６】
特許文献１には、例えば、電子的に生成された画像及び／又はテキストを現実世界の用紙に関連付けて表示する手法が開示されている。そして、指をマウスポインタとして動かすことにより、用紙に関連づけられた画像やテキストの表示を動かすことができる。つまり、複合現実感の仕組みを用いて、用紙を１つのあたかも従来のＣＲＴや液晶のようなディスプレイとする手法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−９２９９５号公報
【特許文献２】特開２００７−１７２５９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、この手法では、映像から用紙のどの位置に対してどのような指の動作や挙動を行ったかを認識し、複雑な処理を必要とするため、表示内容を変更することが容易でないという課題があった。
【０００９】
上記課題を解決するため、本発明は、複合現実感において、観察者が複数の仮想情報の切り替えることを容易に可能にする事を目的とする。
【課題を解決するための手段】
【００１０】
本発明は以下の装置により上記目的を達成する。
【００１１】
複数の仮想情報の提示を切り替えるための情報処理装置であって、
撮像手段で現実空間の現実物体を撮像した撮像画像を入力する画像入力手段と、
前記撮像手段の位置および姿勢を計測する第１の計測手段と、
前記現実物体の姿勢を計測する第２の計測手段と、
前記撮像手段の姿勢と前記現実物体の姿勢とに基づいて、前記撮像手段と前記現実物体との姿勢の第１の変化を推定する第１の推定手段と、
前記推定した第１の変化に応じて、前記複数の仮想情報のうち何れかを選択する選択手段と、
前記撮像手段の位置および姿勢に基づいて、前記撮像画像に前記選択された仮想情報を合成した合成画像を生成する合成手段と、
前記合成画像を出力する出力手段と
を有することを特徴とする情報処理装置。
【発明の効果】
【００１２】
本発明の構成によれば、複合現実感において、複数ページを持つ仮想情報の表示を切り替えて表示することが容易に可能となる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態の仮想物体操作装置の概略構成を示すブロック図である。
【図２】第１の実施形態の情報処理装置の構成の模式図である。
【図３】第１の実施形態における現実物体の姿勢の変化を示す図である。
【図４】第１の実施形態における処理手順を示すフローチャートである。
【図５】第１の実施形態における現実物の操作によるページ切り替えを示す図である。
【図６】変形例１の撮像画像から現実物体に触れている部位の計測例を示す図である。
【図７】第２の実施形態における現実物体の例を示す図である。
【図８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下添付画像を参照して、本発明を適用した好適な実施形態に従って詳細に説明する。
【００１５】
〔第１の実施形態〕
＜構成＞
図１は本実施形態の複合現実感における現実物体の操作を適用した概略構成を示す。図２は本実施形態における装置の構成の模式図である。
【００１６】
ＨＭＤ１０００には、撮像部１０１０、表示部１０２０が取り付けられ互いに固定されている。なお、本実施形態では、図２に示すように、撮像部１０１０と表示部１０２０をＨＭＤ内にそれぞれ２基搭載しており、ステレオで現実空間の撮像と複合現実感における合成画像の表示が可能である。観察者はこのＨＭＤ１０００を頭部に装着することで、表示部１０２０に映るステレオの複合現実感の合成画像（以下、ＭＲ画像とする）を見ることができる。本実施形態では、ステレオの撮像と表示を行うことに限定するものではなく、少なくとも１つ以上の撮像部と表示部があれば適応可能である。さらに、本実施形態では、ＨＭＤ１０００を使用することに限定するものではなく、撮像部１０１０が装備されていないタイプでも適応可能である。また、ＨＭＤ１０００は、外部のワークステーション２３００とカメラ映像や表示映像のデータを送受信する。なお、ワークステーション２３００は外部に限らず、ＨＭＤ１０００の機能の一部として内蔵されていてもよい。
【００１７】
画像入力部１０３０は、撮像部１０１０において撮像された撮像画像を画像データとして入力する。
【００１８】
撮像部位置姿勢計測部１０４０では、画像入力部１０３０で得られた撮像画像から画像処理を行ない撮像部の位置姿勢の計測を行う。ここでは、特許文献２に記載の方法を用いてもよい。この計測には、現実空間での位置が既知である特徴点を用いて求める方法や、センサの誤差を推定して修正する方法などを適応してもよい。また、この撮像部位置姿勢計測部１０４０は、前記画像処理に限る物ではなく、画像認識による処理、磁気式センサ、光学式センサなど撮像部の位置姿勢を計測できるものであれば適応可能である。
【００１９】
現実物体位置姿勢計測部１０５０では、画像入力部１０３０で得られた撮像画像から画像処理を行ない現実物体の位置および姿勢、または姿勢の計測を行う。ここでも、特許文献２に記載の方法を用いてもよい。画像処理により現実物体の位置姿勢の計測を行う場合、例えば厚紙のような現実物体２０００にマーカ２０１０を印刷する平面の物体でもよい。また、この現実物体位置姿勢計測部１０５０は、前記画像処理に限る物ではなく、画像認識による処理、磁気式センサ、光学式センサなど撮像部の位置姿勢を計測できるものであればよい。
【００２０】
図３は、本実施形態における現実物体の姿勢の変化を示す図である。
【００２１】
位置姿勢管理部１０５０では、観察者またはシステムが指定する時刻ｓでの撮像部位置姿勢計測部１０４０から得られた位置と現実物体位置姿勢計測部１０５０から得られた位置とを結んだベクトル方向２１００と現実物体２０００の法線方向２２００を記憶する。
【００２２】
また、時刻ｓ以降かつ観察者システムが指定した時刻ｔでの撮像部位置姿勢計測部１０４０から得られた位置と現実物体位置姿勢計測部１０５０から得られた位置とを結んだベクトル方向２１２０と現実物体２０００の法線方向２２００を記憶する。
【００２３】
また、時刻ｔ以降の観察者システムが指定した時刻ｕでの撮像部位置姿勢計測部１０４０から得られた位置と現実物体位置姿勢計測部１０５０から得られた位置とを結んだベクトル方向２１００と現実物体２０００の法線方向２２００を記憶する。
【００２４】
また、この時、世界座標系は、頂点３０００を原点とし、軸３０３０をＸ軸とし、軸３０２０をＹ軸とし、軸３０１０をＺ軸とする。この時、観察者またはユーザが指定する任意の時刻だけではなくシステムが開始されてから一定の間隔で前記現実物体の位置姿勢及び前記撮像部の位置姿勢を記憶しても良い。
【００２５】
位置姿勢管理部１０６０では、時刻ｓ、ｔ、ｕのように、複数の時刻において、上方から見た場合のベクトル方向３１００（単位ベクトル）と法線方向３２００のなす角度３３００を算出する。
【００２６】
複数の時刻において、角度３３００が、９０度以上１８０度以下の状態から、２７０度以上３６０度未満もしくは０度以上１８０度未満への変化を検知した場合、イベントＡを発行し、仮想情報管理部１０７０に送る。
【００２７】
一方、複数の時刻において、角度３３００が、１８０度以上２７０度以下の状態から、２７０度以上３６０度未満もしくは０度以上１８０度未満への変化を検知した場合、イベントＢを発行し、仮想情報管理部１０７０に送る。
【００２８】
このように、位置姿勢管理部１０６０では、複数の時刻において、現実物体の姿勢がどのように変化したかを推定する。そして推定した結果を条件として当てはめ、条件に該当したことをイベントとして発行し、仮想情報管理部１０７０に送る。
【００２９】
この時、前記イベントを発行させる条件は、観察者の位置または姿勢の少なくとも一つと現実物体の位置または姿勢の少なくとも一つを用いて導き出した物であれば良い。
【００３０】
また、ここで取り上げた角度は、０、９０、１８０、２７０度に限るものではなく、予め設定しておいてよい。また、上方から見た場合に限るものではない。また、現実物体の姿勢の角度を１つの軸において固定したものを取り上げたが、複数の軸の角度を組み合わせた条件を用意してもよい。
【００３１】
仮想情報管理部１０７０では、現実物体位置姿勢計測部１０５０から受けとった現実物体の位置姿勢情報から仮想情報の位置姿勢設定し位置姿勢管理部１０６０から受け取ったイベントから仮想情報の選択を行なう。この時、仮想情報を順方向や逆方向に切り替える。例えば、仮想情報が電子的な書類や書籍情報のような複数のページで構成される情報である場合、現在がページ１０の情報であったら、イベントＡを受けた時、ページ１１の情報に切り替える。また、イベントＢを受けた時、仮想情報を逆方向に切り替える。例えば、仮想情報がページ１０の情報であったら、ページ９の情報に切り替える。
【００３２】
仮想画像生成部１０８０は、撮像部位置姿勢計測部１０４０と仮想情報管理部１０７０に基づいて仮想画像を生成する。また、仮想画像生成部１０８０では、撮像部位置姿勢計測部１０４０ではなく、位置姿勢管理部１０６０から撮像部と現実物体の各々の位置および姿勢から仮想画像を生成してもよい。これにより、現実物体の位置や姿勢に仮想情報が追従する仮想画像を生成することができる。
【００３３】
画像合成部１０９０は、画像入力部１０３０と仮想画像生成部１０８０から得られる画像とを合成する。
【００３４】
画像出力部１１００では、合成された画像を表示部１０２０に転送する。ＨＭＤ１０００内にある表示部１０２０には観察者の視点位置に対応した合成画像が表示される。観察者はこの画像を見ることで複合現実感を知覚でき、同時に現実空間上の現実物体の操作も同時に行う。
【００３５】
なお、本実施形態においては、前述の画像入力部１０３０、撮像部位位置姿勢計測部１０４０、仮想情報管理部１０７０、仮想画像生成部１０８０、画像合成部１０９０、画像出力部１１００を図２におけるワークステーション２３００内に格納する。ワークステーション２３００は、基本構成の機器の他に、撮像部の画像をキャプチャする為の２系統の映像出力装置を備える。本実施形態においては、このようなワークステーションに限られるものではなく、前述の機能と同等の機能を持つ計算機であればよい。
【００３６】
＜処理の手順＞
本実施形態における処理の手順を図４のフローチャートを参照して説明する。図４で示すフローチャートは、ＭＲ画像を１枚描画するごとに繰り返し行われる処理である。
【００３７】
ステップＳ４０１０では、画像入力部１０３０で入力された画像から撮像部位置姿勢計測部１０４０で位置姿勢を計測する。
【００３８】
ステップＳ４０２０では、同様に現実物体位置姿勢計測部１０５０で位置姿勢を計測する。
【００３９】
ステップＳ４０３０では、システム又はユーザが指定した時間が経過した場合に、ステップＳ４０４０に進む。満たしていない場合はステップＳ４０９０に進む。ここでの時間は、一定の時間ごとや特定の時刻ごとに処理を繰り返すことができればよく、時間の経過に限るものではない。これにより、例えば、現実物体を少ししか動かさないときでも、意図せず勝手に仮想情報が切り替わる可能性を軽減することができる。
【００４０】
ステップＳ４０４０では、撮像部の位置姿勢と現実物体の位置姿勢を位置姿勢管理部１０６０に保存する。
【００４１】
ステップＳ４０５０では、位置姿勢管理部１０６０で保存された、過去の時刻の撮像部の位置姿勢と現実物体の位置姿勢とを推定する。そして、撮像部と現実物体とを結ぶベクトル方向２１２０と現実物体の表面に対する法線方向２２２０を求め、ベクトル方向２１２０と法線方向２２２０とがなす角４１１０を求める。また、同様にして現在時刻のベクトル方向２１２０と法線方向２２２０とがなす角４１２０を求める。
【００４２】
ステップＳ４０６０では、求めた角度を元にイベントを発行する条件に該当するか否かを判定する。すなわち、角度４１１０と角度４１２０が条件１の時は、ステップＳ４０７０に進み、条件２の時は、ステップＳ４０８０へ進み、条件３のときは、ステップＳ４１００へ進む。
【００４３】
条件１は、角度３３００が、９０度以上１８０度以下の状態から、２７０度以上３６０度未満もしくは０度以上１８０度未満への変化を検知した場合、イベントＡを仮想情報管理部１０７０に送る。
【００４４】
条件２は、角度３３００が、１８０度以上２７０度以下の状態から、２７０度以上３６０度未満もしくは０度以上１８０度未満への変化を検知した場合、イベントＢを仮想情報管理部１０７０に送る。
【００４５】
条件３は、条件１及び条件２以外の場合である。
【００４６】
このように、角度３３００は、予め定められた複数の角度の範囲を遷移する。この遷移の内容を条件として発行するイベントを切り替える。
【００４７】
ここでは、撮影部１０１０と現実物体２０００との相対的な姿勢の変化のみを条件として加えた。一方、現実物体計測部１０５０で計測した現実物体２０００の現実空間における姿勢の変化も組み合わせた条件を用意してもよい。具体的には、条件１や条件２に加えて、現実物体２０００の現実空間の姿勢の変化が一定以上の場合を合接する条件として更に加えてもよい。これにより、例えば、現実物体を動かさないときでも、勝手に仮想情報が切り替わる可能性を軽減することができる。
【００４８】
ステップＳ４０７０では、イベントＡを発行する。
ステップＳ４０８０では、イベントＢを発行する。
【００４９】
このように、現実物体の姿勢がどのように変化したかを推定する。そして推定した結果を条件として当てはめ、条件に該当したことをイベントとして発行する。
【００５０】
ステップＳ４０９０では、仮想情報管理部１０７０の仮想情報の切り替え対象となる仮想情報を選択する。イベントＡを受け取った時は仮想情報を順方向に切り替える。また、イベントＢを受け取った時は仮想情報を逆方向に切り替える。
【００５１】
具体的に言えば、仮想情報管理部１０７０に記憶されている複数の仮想情報は、予め並びが決められている。そして、条件に該当したときに、順方向または逆方向の何れか一方の方向を決める。そして、複数の仮想情報に対し、現在選択されている仮想物体から決められた方向にある仮想情報を選択する。
【００５２】
ステップＳ４１００では、仮想画像生成部１０８０で仮想情報管理部１０７０に記憶され、選択されている仮想情報から仮想画像の生成を行う。
【００５３】
ステップＳ４１１０では、ステップＳ４１００で得られた撮像画像に、ステップＳ４１００で得られた仮想画像を重畳して画像出力部１１００によって表示部１０２０に表示する。
【００５４】
従来の技術を用いると、複合現実感において、複数の仮想情報を提示するには、撮像するマーカの模様など識別内容がそれぞれ異なるマーカに対して１つずつの仮想情報が割り当てていた。マーカを撮像することで、そのマーカに割り当てられた仮想情報を提示していた。すなわち、撮像したマーカが別のマーカに切り替わることに応じてのみ仮想情報を切り替えることができた。
【００５５】
以上の実施形態によれば、現実物体とＨＭＤとの位置もしくは姿勢の変化を検知して、同一の識別内容のマーカに割り当てられる仮想物体を容易に切り替えることができる。
【００５６】
図５は、現実物の操作によるページ切り替えを示す図である。
【００５７】
例えば、図５には、紙などの両面にマーカが５０１０印刷されている。このマーカ５０１０を撮像することで、現実物体の姿勢の変化である紙の表と裏のめくり操作を検知し、仮想情報であるページを切り替えることができる。なお、現実物体は、紙に限定するものではなく、木材でも樹脂でも金属でも材料は問わない。
【００５８】
〔変形例１〕
図６は、撮像画像から現実物体に触れている部位を計測する例である。
【００５９】
上記第１の実施形態では、位置姿勢管理部１０６０では、撮像部の位置姿勢と現実物体の位置姿勢から計算を行っている。一方、図４に示すように観察者が現実物体の特定の部位を押さえた場合にどの部位を押さえているか、画像入力部１０３０から入力された画像から計測を行ない、その情報を仮想情報管理部１０７０に送っても良い。
【００６０】
この結果から図６にしめす部位６０１０が観察者の部位６０２０で押さえられて前記条件１となり前記イベントＡが発行された場合は、任意の数だけ順方向にすすめ切り替えを行なう。また、部位６０１０を押さえられて前記条件２となりイベントＢが発行された場合は、任意の数だけ逆方向にすすめ切り替えを行なう。
【００６１】
またこの時、ユーザまたはシステムが指定した任意のページの仮想情報に切り替えても良い。また、例えば、押さえている現実物体の特定部位ごとに、ページのめくり量を決めてもよい。具体的には、現実物体の姿勢の変化に応じて、めくる量を１ページ、１０ページ、１００ページとすることができる。
【００６２】
このように、選択を切り替えられた仮想物体は、マーカ６０２０の位置に合わせて仮想画像を生成、重畳される。
【００６３】
〔変形例２〕
上記第１の実施形態では、図７に示すように、現実物体２０００は冊子７０１０であっても良い。この冊子は、図５に示すような現実物体の複数の部品を複数束ねたものである。この複数の部品の個々に対して、第１の実施形態の現実物体と同様の処理を行う。冊子をめくり続けることにより、一度仮想物体を提示したマーカ７１１０、７１２０を再度検出しても、同じマーカに対して前回提示した仮想情報とは異なる仮想情報、例えば異なるページを提示することができる。
【００６４】
より具体的には、紙は２枚だけでもよいし、１枚の紙を折り曲げたものでもよい。数多くのページを持った冊子をめくるという体感を残しつつ、冊子の構成を少なくすることができる。
【００６５】
また、冊子のように折り曲げる部分が固定されているものであれば、冊子を構成する複数の部品において、それぞれの部品は他の部品に対する稼働範囲を定義してもよい。これにより、現実物体の姿勢の変化を計測する軸が、例えば折り曲げる部分に固定され、変化の検出をより容易にすることができる。
【００６６】
〔変形例３〕
上記変形例１及び２を組み合わせてもよい。例えば、冊子をめくるときに、何度も繰り返しめくることなく、閲覧したい仮想情報を簡単に提示させることができる。
【００６７】
〔その他の実施形態〕
図８はコンピュータの構成例を示す図である。
【００６８】
本実施形態の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の情報処理の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体８０２、８０３である。そして、そのシステムあるいは装置のコンピュータ８０１（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本実施形態を構成することになる。
【００６９】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
本実施形態を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【技術分野】
【０００１】
本発明は、情報処理装置および方法に関し、複合現実感において仮想情報を選択し表示する為の情報処理装置および方法に関する。
【背景技術】
【０００２】
従来、複数ページを持つテキスト及び画像を有する文章等の仮想情報の表示を行なう際、ディスプレイを見る事が一般的である。また、仮想ページの切り替えには、観察者がマウス、キーボード、ボタン、タッチパネル等のデバイスを利用する。
【０００３】
一方、現実空間と仮想空間との繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究が近年、盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像から検出した現実物体の一つ一つに仮想物体を重ねわせるように、画像上に撮像装置の位置及び姿勢に応じて生成した仮想空間の画像を重畳描画した画像を表示する。例えば、仮想空間の画像として、コンピュータグラフィックスにより描画された仮想物体や文字情報等がある。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いることができる。
【０００４】
また、係る画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成した仮想現実空間の画像を表示する光学シースルー方式によっても実現される。
【０００５】
このような画像表示装置の応用として、患者の体表面に体内の様子を重畳表示する手術支援や、現実空間に浮遊する仮想の敵と戦う複合現実感ゲーム等がある。この他にも、例えば、市街地を撮像することで得られる現実空間の画像中に含まれる著名な建造物等の名称や案内を仮想空間画像として重畳表示するナビゲーションがある。この他にも、例えば、ビルの建設予定地を撮像することで得られる画像中に建設予定のビルのコンピュータグラフィックス映像を重畳表示する景観シミュレーションがある。
【０００６】
特許文献１には、例えば、電子的に生成された画像及び／又はテキストを現実世界の用紙に関連付けて表示する手法が開示されている。そして、指をマウスポインタとして動かすことにより、用紙に関連づけられた画像やテキストの表示を動かすことができる。つまり、複合現実感の仕組みを用いて、用紙を１つのあたかも従来のＣＲＴや液晶のようなディスプレイとする手法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００１−９２９９５号公報
【特許文献２】特開２００７−１７２５９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、この手法では、映像から用紙のどの位置に対してどのような指の動作や挙動を行ったかを認識し、複雑な処理を必要とするため、表示内容を変更することが容易でないという課題があった。
【０００９】
上記課題を解決するため、本発明は、複合現実感において、観察者が複数の仮想情報の切り替えることを容易に可能にする事を目的とする。
【課題を解決するための手段】
【００１０】
本発明は以下の装置により上記目的を達成する。
【００１１】
複数の仮想情報の提示を切り替えるための情報処理装置であって、
撮像手段で現実空間の現実物体を撮像した撮像画像を入力する画像入力手段と、
前記撮像手段の位置および姿勢を計測する第１の計測手段と、
前記現実物体の姿勢を計測する第２の計測手段と、
前記撮像手段の姿勢と前記現実物体の姿勢とに基づいて、前記撮像手段と前記現実物体との姿勢の第１の変化を推定する第１の推定手段と、
前記推定した第１の変化に応じて、前記複数の仮想情報のうち何れかを選択する選択手段と、
前記撮像手段の位置および姿勢に基づいて、前記撮像画像に前記選択された仮想情報を合成した合成画像を生成する合成手段と、
前記合成画像を出力する出力手段と
を有することを特徴とする情報処理装置。
【発明の効果】
【００１２】
本発明の構成によれば、複合現実感において、複数ページを持つ仮想情報の表示を切り替えて表示することが容易に可能となる。
【図面の簡単な説明】
【００１３】
【図１】第１の実施形態の仮想物体操作装置の概略構成を示すブロック図である。
【図２】第１の実施形態の情報処理装置の構成の模式図である。
【図３】第１の実施形態における現実物体の姿勢の変化を示す図である。
【図４】第１の実施形態における処理手順を示すフローチャートである。
【図５】第１の実施形態における現実物の操作によるページ切り替えを示す図である。
【図６】変形例１の撮像画像から現実物体に触れている部位の計測例を示す図である。
【図７】第２の実施形態における現実物体の例を示す図である。
【図８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００１４】
以下添付画像を参照して、本発明を適用した好適な実施形態に従って詳細に説明する。
【００１５】
〔第１の実施形態〕
＜構成＞
図１は本実施形態の複合現実感における現実物体の操作を適用した概略構成を示す。図２は本実施形態における装置の構成の模式図である。
【００１６】
ＨＭＤ１０００には、撮像部１０１０、表示部１０２０が取り付けられ互いに固定されている。なお、本実施形態では、図２に示すように、撮像部１０１０と表示部１０２０をＨＭＤ内にそれぞれ２基搭載しており、ステレオで現実空間の撮像と複合現実感における合成画像の表示が可能である。観察者はこのＨＭＤ１０００を頭部に装着することで、表示部１０２０に映るステレオの複合現実感の合成画像（以下、ＭＲ画像とする）を見ることができる。本実施形態では、ステレオの撮像と表示を行うことに限定するものではなく、少なくとも１つ以上の撮像部と表示部があれば適応可能である。さらに、本実施形態では、ＨＭＤ１０００を使用することに限定するものではなく、撮像部１０１０が装備されていないタイプでも適応可能である。また、ＨＭＤ１０００は、外部のワークステーション２３００とカメラ映像や表示映像のデータを送受信する。なお、ワークステーション２３００は外部に限らず、ＨＭＤ１０００の機能の一部として内蔵されていてもよい。
【００１７】
画像入力部１０３０は、撮像部１０１０において撮像された撮像画像を画像データとして入力する。
【００１８】
撮像部位置姿勢計測部１０４０では、画像入力部１０３０で得られた撮像画像から画像処理を行ない撮像部の位置姿勢の計測を行う。ここでは、特許文献２に記載の方法を用いてもよい。この計測には、現実空間での位置が既知である特徴点を用いて求める方法や、センサの誤差を推定して修正する方法などを適応してもよい。また、この撮像部位置姿勢計測部１０４０は、前記画像処理に限る物ではなく、画像認識による処理、磁気式センサ、光学式センサなど撮像部の位置姿勢を計測できるものであれば適応可能である。
【００１９】
現実物体位置姿勢計測部１０５０では、画像入力部１０３０で得られた撮像画像から画像処理を行ない現実物体の位置および姿勢、または姿勢の計測を行う。ここでも、特許文献２に記載の方法を用いてもよい。画像処理により現実物体の位置姿勢の計測を行う場合、例えば厚紙のような現実物体２０００にマーカ２０１０を印刷する平面の物体でもよい。また、この現実物体位置姿勢計測部１０５０は、前記画像処理に限る物ではなく、画像認識による処理、磁気式センサ、光学式センサなど撮像部の位置姿勢を計測できるものであればよい。
【００２０】
図３は、本実施形態における現実物体の姿勢の変化を示す図である。
【００２１】
位置姿勢管理部１０５０では、観察者またはシステムが指定する時刻ｓでの撮像部位置姿勢計測部１０４０から得られた位置と現実物体位置姿勢計測部１０５０から得られた位置とを結んだベクトル方向２１００と現実物体２０００の法線方向２２００を記憶する。
【００２２】
また、時刻ｓ以降かつ観察者システムが指定した時刻ｔでの撮像部位置姿勢計測部１０４０から得られた位置と現実物体位置姿勢計測部１０５０から得られた位置とを結んだベクトル方向２１２０と現実物体２０００の法線方向２２００を記憶する。
【００２３】
また、時刻ｔ以降の観察者システムが指定した時刻ｕでの撮像部位置姿勢計測部１０４０から得られた位置と現実物体位置姿勢計測部１０５０から得られた位置とを結んだベクトル方向２１００と現実物体２０００の法線方向２２００を記憶する。
【００２４】
また、この時、世界座標系は、頂点３０００を原点とし、軸３０３０をＸ軸とし、軸３０２０をＹ軸とし、軸３０１０をＺ軸とする。この時、観察者またはユーザが指定する任意の時刻だけではなくシステムが開始されてから一定の間隔で前記現実物体の位置姿勢及び前記撮像部の位置姿勢を記憶しても良い。
【００２５】
位置姿勢管理部１０６０では、時刻ｓ、ｔ、ｕのように、複数の時刻において、上方から見た場合のベクトル方向３１００（単位ベクトル）と法線方向３２００のなす角度３３００を算出する。
【００２６】
複数の時刻において、角度３３００が、９０度以上１８０度以下の状態から、２７０度以上３６０度未満もしくは０度以上１８０度未満への変化を検知した場合、イベントＡを発行し、仮想情報管理部１０７０に送る。
【００２７】
一方、複数の時刻において、角度３３００が、１８０度以上２７０度以下の状態から、２７０度以上３６０度未満もしくは０度以上１８０度未満への変化を検知した場合、イベントＢを発行し、仮想情報管理部１０７０に送る。
【００２８】
このように、位置姿勢管理部１０６０では、複数の時刻において、現実物体の姿勢がどのように変化したかを推定する。そして推定した結果を条件として当てはめ、条件に該当したことをイベントとして発行し、仮想情報管理部１０７０に送る。
【００２９】
この時、前記イベントを発行させる条件は、観察者の位置または姿勢の少なくとも一つと現実物体の位置または姿勢の少なくとも一つを用いて導き出した物であれば良い。
【００３０】
また、ここで取り上げた角度は、０、９０、１８０、２７０度に限るものではなく、予め設定しておいてよい。また、上方から見た場合に限るものではない。また、現実物体の姿勢の角度を１つの軸において固定したものを取り上げたが、複数の軸の角度を組み合わせた条件を用意してもよい。
【００３１】
仮想情報管理部１０７０では、現実物体位置姿勢計測部１０５０から受けとった現実物体の位置姿勢情報から仮想情報の位置姿勢設定し位置姿勢管理部１０６０から受け取ったイベントから仮想情報の選択を行なう。この時、仮想情報を順方向や逆方向に切り替える。例えば、仮想情報が電子的な書類や書籍情報のような複数のページで構成される情報である場合、現在がページ１０の情報であったら、イベントＡを受けた時、ページ１１の情報に切り替える。また、イベントＢを受けた時、仮想情報を逆方向に切り替える。例えば、仮想情報がページ１０の情報であったら、ページ９の情報に切り替える。
【００３２】
仮想画像生成部１０８０は、撮像部位置姿勢計測部１０４０と仮想情報管理部１０７０に基づいて仮想画像を生成する。また、仮想画像生成部１０８０では、撮像部位置姿勢計測部１０４０ではなく、位置姿勢管理部１０６０から撮像部と現実物体の各々の位置および姿勢から仮想画像を生成してもよい。これにより、現実物体の位置や姿勢に仮想情報が追従する仮想画像を生成することができる。
【００３３】
画像合成部１０９０は、画像入力部１０３０と仮想画像生成部１０８０から得られる画像とを合成する。
【００３４】
画像出力部１１００では、合成された画像を表示部１０２０に転送する。ＨＭＤ１０００内にある表示部１０２０には観察者の視点位置に対応した合成画像が表示される。観察者はこの画像を見ることで複合現実感を知覚でき、同時に現実空間上の現実物体の操作も同時に行う。
【００３５】
なお、本実施形態においては、前述の画像入力部１０３０、撮像部位位置姿勢計測部１０４０、仮想情報管理部１０７０、仮想画像生成部１０８０、画像合成部１０９０、画像出力部１１００を図２におけるワークステーション２３００内に格納する。ワークステーション２３００は、基本構成の機器の他に、撮像部の画像をキャプチャする為の２系統の映像出力装置を備える。本実施形態においては、このようなワークステーションに限られるものではなく、前述の機能と同等の機能を持つ計算機であればよい。
【００３６】
＜処理の手順＞
本実施形態における処理の手順を図４のフローチャートを参照して説明する。図４で示すフローチャートは、ＭＲ画像を１枚描画するごとに繰り返し行われる処理である。
【００３７】
ステップＳ４０１０では、画像入力部１０３０で入力された画像から撮像部位置姿勢計測部１０４０で位置姿勢を計測する。
【００３８】
ステップＳ４０２０では、同様に現実物体位置姿勢計測部１０５０で位置姿勢を計測する。
【００３９】
ステップＳ４０３０では、システム又はユーザが指定した時間が経過した場合に、ステップＳ４０４０に進む。満たしていない場合はステップＳ４０９０に進む。ここでの時間は、一定の時間ごとや特定の時刻ごとに処理を繰り返すことができればよく、時間の経過に限るものではない。これにより、例えば、現実物体を少ししか動かさないときでも、意図せず勝手に仮想情報が切り替わる可能性を軽減することができる。
【００４０】
ステップＳ４０４０では、撮像部の位置姿勢と現実物体の位置姿勢を位置姿勢管理部１０６０に保存する。
【００４１】
ステップＳ４０５０では、位置姿勢管理部１０６０で保存された、過去の時刻の撮像部の位置姿勢と現実物体の位置姿勢とを推定する。そして、撮像部と現実物体とを結ぶベクトル方向２１２０と現実物体の表面に対する法線方向２２２０を求め、ベクトル方向２１２０と法線方向２２２０とがなす角４１１０を求める。また、同様にして現在時刻のベクトル方向２１２０と法線方向２２２０とがなす角４１２０を求める。
【００４２】
ステップＳ４０６０では、求めた角度を元にイベントを発行する条件に該当するか否かを判定する。すなわち、角度４１１０と角度４１２０が条件１の時は、ステップＳ４０７０に進み、条件２の時は、ステップＳ４０８０へ進み、条件３のときは、ステップＳ４１００へ進む。
【００４３】
条件１は、角度３３００が、９０度以上１８０度以下の状態から、２７０度以上３６０度未満もしくは０度以上１８０度未満への変化を検知した場合、イベントＡを仮想情報管理部１０７０に送る。
【００４４】
条件２は、角度３３００が、１８０度以上２７０度以下の状態から、２７０度以上３６０度未満もしくは０度以上１８０度未満への変化を検知した場合、イベントＢを仮想情報管理部１０７０に送る。
【００４５】
条件３は、条件１及び条件２以外の場合である。
【００４６】
このように、角度３３００は、予め定められた複数の角度の範囲を遷移する。この遷移の内容を条件として発行するイベントを切り替える。
【００４７】
ここでは、撮影部１０１０と現実物体２０００との相対的な姿勢の変化のみを条件として加えた。一方、現実物体計測部１０５０で計測した現実物体２０００の現実空間における姿勢の変化も組み合わせた条件を用意してもよい。具体的には、条件１や条件２に加えて、現実物体２０００の現実空間の姿勢の変化が一定以上の場合を合接する条件として更に加えてもよい。これにより、例えば、現実物体を動かさないときでも、勝手に仮想情報が切り替わる可能性を軽減することができる。
【００４８】
ステップＳ４０７０では、イベントＡを発行する。
ステップＳ４０８０では、イベントＢを発行する。
【００４９】
このように、現実物体の姿勢がどのように変化したかを推定する。そして推定した結果を条件として当てはめ、条件に該当したことをイベントとして発行する。
【００５０】
ステップＳ４０９０では、仮想情報管理部１０７０の仮想情報の切り替え対象となる仮想情報を選択する。イベントＡを受け取った時は仮想情報を順方向に切り替える。また、イベントＢを受け取った時は仮想情報を逆方向に切り替える。
【００５１】
具体的に言えば、仮想情報管理部１０７０に記憶されている複数の仮想情報は、予め並びが決められている。そして、条件に該当したときに、順方向または逆方向の何れか一方の方向を決める。そして、複数の仮想情報に対し、現在選択されている仮想物体から決められた方向にある仮想情報を選択する。
【００５２】
ステップＳ４１００では、仮想画像生成部１０８０で仮想情報管理部１０７０に記憶され、選択されている仮想情報から仮想画像の生成を行う。
【００５３】
ステップＳ４１１０では、ステップＳ４１００で得られた撮像画像に、ステップＳ４１００で得られた仮想画像を重畳して画像出力部１１００によって表示部１０２０に表示する。
【００５４】
従来の技術を用いると、複合現実感において、複数の仮想情報を提示するには、撮像するマーカの模様など識別内容がそれぞれ異なるマーカに対して１つずつの仮想情報が割り当てていた。マーカを撮像することで、そのマーカに割り当てられた仮想情報を提示していた。すなわち、撮像したマーカが別のマーカに切り替わることに応じてのみ仮想情報を切り替えることができた。
【００５５】
以上の実施形態によれば、現実物体とＨＭＤとの位置もしくは姿勢の変化を検知して、同一の識別内容のマーカに割り当てられる仮想物体を容易に切り替えることができる。
【００５６】
図５は、現実物の操作によるページ切り替えを示す図である。
【００５７】
例えば、図５には、紙などの両面にマーカが５０１０印刷されている。このマーカ５０１０を撮像することで、現実物体の姿勢の変化である紙の表と裏のめくり操作を検知し、仮想情報であるページを切り替えることができる。なお、現実物体は、紙に限定するものではなく、木材でも樹脂でも金属でも材料は問わない。
【００５８】
〔変形例１〕
図６は、撮像画像から現実物体に触れている部位を計測する例である。
【００５９】
上記第１の実施形態では、位置姿勢管理部１０６０では、撮像部の位置姿勢と現実物体の位置姿勢から計算を行っている。一方、図４に示すように観察者が現実物体の特定の部位を押さえた場合にどの部位を押さえているか、画像入力部１０３０から入力された画像から計測を行ない、その情報を仮想情報管理部１０７０に送っても良い。
【００６０】
この結果から図６にしめす部位６０１０が観察者の部位６０２０で押さえられて前記条件１となり前記イベントＡが発行された場合は、任意の数だけ順方向にすすめ切り替えを行なう。また、部位６０１０を押さえられて前記条件２となりイベントＢが発行された場合は、任意の数だけ逆方向にすすめ切り替えを行なう。
【００６１】
またこの時、ユーザまたはシステムが指定した任意のページの仮想情報に切り替えても良い。また、例えば、押さえている現実物体の特定部位ごとに、ページのめくり量を決めてもよい。具体的には、現実物体の姿勢の変化に応じて、めくる量を１ページ、１０ページ、１００ページとすることができる。
【００６２】
このように、選択を切り替えられた仮想物体は、マーカ６０２０の位置に合わせて仮想画像を生成、重畳される。
【００６３】
〔変形例２〕
上記第１の実施形態では、図７に示すように、現実物体２０００は冊子７０１０であっても良い。この冊子は、図５に示すような現実物体の複数の部品を複数束ねたものである。この複数の部品の個々に対して、第１の実施形態の現実物体と同様の処理を行う。冊子をめくり続けることにより、一度仮想物体を提示したマーカ７１１０、７１２０を再度検出しても、同じマーカに対して前回提示した仮想情報とは異なる仮想情報、例えば異なるページを提示することができる。
【００６４】
より具体的には、紙は２枚だけでもよいし、１枚の紙を折り曲げたものでもよい。数多くのページを持った冊子をめくるという体感を残しつつ、冊子の構成を少なくすることができる。
【００６５】
また、冊子のように折り曲げる部分が固定されているものであれば、冊子を構成する複数の部品において、それぞれの部品は他の部品に対する稼働範囲を定義してもよい。これにより、現実物体の姿勢の変化を計測する軸が、例えば折り曲げる部分に固定され、変化の検出をより容易にすることができる。
【００６６】
〔変形例３〕
上記変形例１及び２を組み合わせてもよい。例えば、冊子をめくるときに、何度も繰り返しめくることなく、閲覧したい仮想情報を簡単に提示させることができる。
【００６７】
〔その他の実施形態〕
図８はコンピュータの構成例を示す図である。
【００６８】
本実施形態の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の情報処理の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体８０２、８０３である。そして、そのシステムあるいは装置のコンピュータ８０１（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本実施形態を構成することになる。
【００６９】
また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７０】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７１】
本実施形態を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【特許請求の範囲】
【請求項１】
複数の仮想情報の提示を切り替えるための情報処理装置であって、
撮像手段で現実空間の現実物体を撮像した撮像画像を入力する画像入力手段と、
前記撮像手段の位置および姿勢を計測する第１の計測手段と、
前記現実物体の姿勢を計測する第２の計測手段と、
前記撮像手段の姿勢と前記現実物体の姿勢とに基づいて、前記撮像手段と前記現実物体との姿勢の第１の変化を推定する第１の推定手段と、
前記推定した第１の変化に応じて、前記複数の仮想情報のうち何れかを選択する選択手段と、
前記撮像手段の位置および姿勢に基づいて、前記撮像画像に前記選択された仮想情報を合成した合成画像を生成する合成手段と、
前記合成画像を出力する出力手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記現実空間の現実物体を撮像する撮像手段
を更に有し、
前記画像入力手段が、前記撮像手段から前記撮像画像を入力することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の計測手段が、画像認識を用いて計測することを特徴とする請求項１又は２の何れか１項に記載の情報処理装置。
【請求項４】
前記第２の計測手段が、画像認識を用いて計測することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記複数の仮想情報は、複数のページで構成されることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記推定手段では、前記撮像手段と前記現実物体とを結ぶベクトル方向と、前記現実物体の表面に対する法線方向とがなす角の変化を前記第１の変化として推定することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記推定手段では、前記なす角が、予め定められた複数の角度の範囲の間を遷移したことを前記第１の変化として推定することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記選択手段が、前記複数の仮想情報のうち現在選択されている仮想情報に基づいて、前記複数の仮想情報のうち何れかを選択することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項９】
前記複数の仮想物体は、予め並びが決められており、
前記選択手段が、前記推定した第１の変化に応じて前記並びのうち順方向と逆方向の何れか一方を決め、前記複数の仮想物体のうち、前記現在選択されている仮想情報から当該決められた方向にある仮想物体を選択することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記現実物体の姿勢に基づいて、前記現実物体の姿勢の第２の変化を推定する第２の推定手段と、
を更に有し、
前記選択手段が、前記推定した第１の変化及び前記推定した第２の変化に応じて、前記複数の仮想情報のうち何れかを選択することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
【請求項１１】
前記現実物体は、平面の物体であることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
【請求項１２】
前記現実物体は、複数の部品で構成され、
前記第２の計測手段が、前記複数の部品の各々の姿勢を計測し、
前記第１の推定手段が、前記複数の部品の各々に対して、前記撮像手段の姿勢と当該部品の姿勢とに基づいて、前記撮像手段と当該部品との姿勢の第１の変化を推定し、
前記選択手段が、前記複数の部品の各々に対して、当該部品に対応した第１の変化に応じて、前記複数の仮想情報のうち何れかを選択する
ことを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
【請求項１３】
前記現実物体は、複数のページの部品で構成される冊子であることを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記複数の部品の各々は、他の部品に対する稼働範囲が定義されていることを特徴とする請求項１２又は１３に記載の情報処理装置。
【請求項１５】
前記第２の計測手段が、前記現実物体の位置を計測し、
前記合成手段が、前記撮像手段の位置および姿勢と前記現実物体の位置および姿勢に基づいて、前記撮像画像に前記選択された仮想情報を合成した合成画像を生成することを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
【請求項１６】
前記出力された合成画像を表示する表示手段と
を更に有することを特徴とする請求項１乃至１５の何れか１項に記載の情報処理装置。
【請求項１７】
複数の仮想情報の提示を切り替えるための情報処理装置が行う情報処理方法であって、
前記情報処理装置の画像入力手段が、撮像手段で現実空間の現実物体を撮像した撮像画像を入力する画像入力工程と、
前記情報処理装置の第１の計測手段が、前記撮像手段の位置および姿勢を計測する第１の計測工程と、
前記情報処理装置の第２の計測手段が、前記現実物体の姿勢を計測する第２の計測工程と、
前記情報処理装置の第１の推定手段が、前記撮像手段の姿勢と前記現実物体の姿勢とに基づいて、前記撮像手段と前記現実物体との姿勢の第１の変化を推定する第１の推定工程と、
前記情報処理装置の選択手段が、前記推定した第１の変化に応じて、前記複数の仮想情報のうち何れかを選択する選択工程と、
前記情報処理装置の合成手段が、前記撮像手段の位置および姿勢に基づいて、前記撮像画像に前記選択された仮想情報を合成した合成画像を生成する合成工程と、
前記情報処理装置の出力手段が、前記合成画像を出力する出力工程と
を有することを特徴とする情報処理方法。
【請求項１８】
請求項１７に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
複数の仮想情報の提示を切り替えるための情報処理装置であって、
撮像手段で現実空間の現実物体を撮像した撮像画像を入力する画像入力手段と、
前記撮像手段の位置および姿勢を計測する第１の計測手段と、
前記現実物体の姿勢を計測する第２の計測手段と、
前記撮像手段の姿勢と前記現実物体の姿勢とに基づいて、前記撮像手段と前記現実物体との姿勢の第１の変化を推定する第１の推定手段と、
前記推定した第１の変化に応じて、前記複数の仮想情報のうち何れかを選択する選択手段と、
前記撮像手段の位置および姿勢に基づいて、前記撮像画像に前記選択された仮想情報を合成した合成画像を生成する合成手段と、
前記合成画像を出力する出力手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記現実空間の現実物体を撮像する撮像手段
を更に有し、
前記画像入力手段が、前記撮像手段から前記撮像画像を入力することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記第１の計測手段が、画像認識を用いて計測することを特徴とする請求項１又は２の何れか１項に記載の情報処理装置。
【請求項４】
前記第２の計測手段が、画像認識を用いて計測することを特徴とする請求項１乃至３の何れか１項に記載の情報処理装置。
【請求項５】
前記複数の仮想情報は、複数のページで構成されることを特徴とする請求項１乃至４の何れか１項に記載の情報処理装置。
【請求項６】
前記推定手段では、前記撮像手段と前記現実物体とを結ぶベクトル方向と、前記現実物体の表面に対する法線方向とがなす角の変化を前記第１の変化として推定することを特徴とする請求項１乃至５の何れか１項に記載の情報処理装置。
【請求項７】
前記推定手段では、前記なす角が、予め定められた複数の角度の範囲の間を遷移したことを前記第１の変化として推定することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記選択手段が、前記複数の仮想情報のうち現在選択されている仮想情報に基づいて、前記複数の仮想情報のうち何れかを選択することを特徴とする請求項１乃至７の何れか１項に記載の情報処理装置。
【請求項９】
前記複数の仮想物体は、予め並びが決められており、
前記選択手段が、前記推定した第１の変化に応じて前記並びのうち順方向と逆方向の何れか一方を決め、前記複数の仮想物体のうち、前記現在選択されている仮想情報から当該決められた方向にある仮想物体を選択することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記現実物体の姿勢に基づいて、前記現実物体の姿勢の第２の変化を推定する第２の推定手段と、
を更に有し、
前記選択手段が、前記推定した第１の変化及び前記推定した第２の変化に応じて、前記複数の仮想情報のうち何れかを選択することを特徴とする請求項１乃至９の何れか１項に記載の情報処理装置。
【請求項１１】
前記現実物体は、平面の物体であることを特徴とする請求項１乃至１０の何れか１項に記載の情報処理装置。
【請求項１２】
前記現実物体は、複数の部品で構成され、
前記第２の計測手段が、前記複数の部品の各々の姿勢を計測し、
前記第１の推定手段が、前記複数の部品の各々に対して、前記撮像手段の姿勢と当該部品の姿勢とに基づいて、前記撮像手段と当該部品との姿勢の第１の変化を推定し、
前記選択手段が、前記複数の部品の各々に対して、当該部品に対応した第１の変化に応じて、前記複数の仮想情報のうち何れかを選択する
ことを特徴とする請求項１乃至１１の何れか１項に記載の情報処理装置。
【請求項１３】
前記現実物体は、複数のページの部品で構成される冊子であることを特徴とする請求項１２に記載の情報処理装置。
【請求項１４】
前記複数の部品の各々は、他の部品に対する稼働範囲が定義されていることを特徴とする請求項１２又は１３に記載の情報処理装置。
【請求項１５】
前記第２の計測手段が、前記現実物体の位置を計測し、
前記合成手段が、前記撮像手段の位置および姿勢と前記現実物体の位置および姿勢に基づいて、前記撮像画像に前記選択された仮想情報を合成した合成画像を生成することを特徴とする請求項１乃至１４の何れか１項に記載の情報処理装置。
【請求項１６】
前記出力された合成画像を表示する表示手段と
を更に有することを特徴とする請求項１乃至１５の何れか１項に記載の情報処理装置。
【請求項１７】
複数の仮想情報の提示を切り替えるための情報処理装置が行う情報処理方法であって、
前記情報処理装置の画像入力手段が、撮像手段で現実空間の現実物体を撮像した撮像画像を入力する画像入力工程と、
前記情報処理装置の第１の計測手段が、前記撮像手段の位置および姿勢を計測する第１の計測工程と、
前記情報処理装置の第２の計測手段が、前記現実物体の姿勢を計測する第２の計測工程と、
前記情報処理装置の第１の推定手段が、前記撮像手段の姿勢と前記現実物体の姿勢とに基づいて、前記撮像手段と前記現実物体との姿勢の第１の変化を推定する第１の推定工程と、
前記情報処理装置の選択手段が、前記推定した第１の変化に応じて、前記複数の仮想情報のうち何れかを選択する選択工程と、
前記情報処理装置の合成手段が、前記撮像手段の位置および姿勢に基づいて、前記撮像画像に前記選択された仮想情報を合成した合成画像を生成する合成工程と、
前記情報処理装置の出力手段が、前記合成画像を出力する出力工程と
を有することを特徴とする情報処理方法。
【請求項１８】
請求項１７に記載の情報処理方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−４８４５６（Ｐ２０１２−４８４５６Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１８９４５８（Ｐ２０１０−１８９４５８）
【出願日】平成２２年８月２６日（２０１０．８．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月２６日（２０１０．８．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]