画像処理装置、画像処理方法
【課題】仮想空間、若しくは現実空間と仮想空間との複合空間である複合現実空間の中で複数のアクセス先の中から１つをユーザが簡単に指示することを可能とする為の技術を提供する。
【解決手段】計算部１００８は、操作部１００３が撮像部１０１０の視野内にあり、且つ操作部１００３とユーザインターフェース部１００４との位置関係が規定の位置関係にある場合には、ユーザインターフェース部１００４に対する操作があったと判断する。仮想世界生成部１００９は、仮想空間に対してこの操作に対応する更新を行い、視点から見た更新後の仮想空間の画像を生成する。
【解決手段】計算部１００８は、操作部１００３が撮像部１０１０の視野内にあり、且つ操作部１００３とユーザインターフェース部１００４との位置関係が規定の位置関係にある場合には、ユーザインターフェース部１００４に対する操作があったと判断する。仮想世界生成部１００９は、仮想空間に対してこの操作に対応する更新を行い、視点から見た更新後の仮想空間の画像を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複合現実感提示技術に関するものである。
【背景技術】
【０００２】
ＩＴ技術の発達により、従来は紙媒体だった本が電子化され、電子書籍として販売されるようになった。またネットワークを通して本を読むことができるようにもなってきている。
【０００３】
一方、現実空間と仮想空間との繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究が、近年、盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置及び姿勢に応じて生成した仮想空間の画像（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等）を重畳描画した画像を表示する装置である。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いることができる。
【０００４】
また、係る画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成した仮想空間の画像を表示する光学シースルー方式によっても実現されている。
【０００５】
そのような現実空間と仮想空間が融合された複合現実感空間においてユーザが仮想物体を操作する方法はいくつか存在している。例えば特許文献１のようにハンドラを表示して仮想物体の選択を容易にしているものがある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−４０８３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
現実物体の操作のしやすさと仮想物体の操作のしやすさはそれぞれに違うポイントがある。例えば実物の本は人間の手で直接触れることが出来、簡単にページをめくることが出来るが、複合現実感空間に存在する仮想の電子書籍には直接触れることが出来ない。そのためユーザが所望のページを開くためにはシステム的な工夫が必要となる。
【０００８】
しかしながら仮想世界や複合現実感世界の中で、複数のページを持つ電子書籍等のように複数のアクセス先を持つものを対象にして、１クリック等で所望のアクセス先に簡単にたどり着けるユーザインターフェイスはなかった。複合現実感世界が世の中に広まっている現在、上記のような簡単なユーザインターフェイスが求められている。
【０００９】
本発明は以上の問題に鑑みてなされたものであり、仮想空間、若しくは現実空間と仮想空間との複合空間である複合現実空間、の中で複数のアクセス先の中から１つをユーザが簡単に指示することを可能にする為の技術を提供する。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、ユーザインターフェースとしての仮想物体を仮想空間中に配置する手段と、ユーザの視点から見た前記仮想空間の画像を生成する生成手段と、前記生成手段が生成した前記仮想空間の画像を出力する出力手段と、前記ユーザが前記ユーザインターフェースに対して操作するために用いる操作部が前記視点からの視野内にあり、且つ前記操作部と前記ユーザインターフェースとの位置関係が規定の位置関係にある場合に、前記ユーザインターフェースに対する操作があったと判断する判断手段とを備え、前記生成手段は、前記判断手段により前記ユーザインターフェースに対する操作があったと判断された場合に、前記仮想空間に対して該操作に対応する更新を行い、前記視点から見た該更新後の仮想空間の画像を生成することを特徴とする。
【発明の効果】
【００１１】
本発明の構成によれば、仮想空間、若しくは現実空間と仮想空間との複合空間である複合現実空間、の中で複数のアクセス先の中から１つをユーザが簡単に指示することができる。
【図面の簡単な説明】
【００１２】
【図１】システムの機能構成例を示すブロック図。
【図２】画像処理装置１００１が行う処理のフローチャート。
【図３】画像処理装置１００１が行う処理のフローチャート。
【図４】ユーザインターフェース部１００４の構成例を示す図。
【図５】アイコン４００１のローカル座標系を示す図。
【図６】画像処理装置１００１が行う処理のフローチャート。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１４】
［第１の実施形態］
本実施形態では、本の仮想物体（即ち、各ページもまた仮想物体）において、ユーザが任意のページを閲覧するためのシステムについて説明する。本実施形態ではこれを可能にするために、各ページにリンクされているアイコンが配された仮想物体を複合現実空間内に配置する。ユーザは所望のページに対するアイコンを指示するので、本システムはこの指示されたアイコンに対応するページ（即ち、この所望のページ）をユーザに提示する。これにより、ユーザは複数のアクセス先（複数のページ）のうち任意のアクセス先（任意のページ）を指定することができる。
【００１５】
先ず、本実施形態に係るシステムの機能構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、画像処理装置１００１、撮像部１０１０、映像表示部１０１１、操作部１００３、ユーザインターフェース部１００４、により構成されている。更に、画像処理装置１００１は、一般のＰＣなどのコンピュータにより構成されており、ＣＰＵ、ＲＡＭやハードディスク、等により構成されている。
【００１６】
映像表示部１０１１は、ＨＭＤのように、複合現実空間を閲覧するユーザの頭部に装着されるものである。この映像表示部１０１１には、ユーザが自身の頭部にこの映像表示部１０１１を装着した場合にこのユーザの眼前に位置するように表示画面が設けられている。また、映像表示部１０１１には、動画像を撮像可能な撮像部１０１０が取り付けられている。映像表示部１０１１と撮像部１０１０との位置姿勢関係は固定されており、この位置姿勢関係は予め測定され、画像処理装置１００１内のメモリ内に登録されているものとする。
【００１７】
撮像部１０１０が撮像した各フレームの画像（現実空間の画像）は順次、画像処理装置１００１内の仮想世界生成部１００９に入力される。位置姿勢計測部１００５は、映像表示部１０１１の位置姿勢を計測する。映像表示部１０１１の位置姿勢を取得する方法については、磁気センサなどのセンサを用いて映像表示部１０１１の位置姿勢を計測する方法や、映像表示部１０１１を撮像した撮像画像から映像表示部１０１１の位置姿勢を求める方法等、様々なものがある。本実施形態では、映像表示部１０１１の位置姿勢を求めることができれば、如何なる方法を用いても良い。位置姿勢計測部１００５は、何れかの方法によって取得した映像表示部１０１１の位置姿勢を、計算部１００８に送出する。
【００１８】
操作部１００３は、ユーザが後述のユーザインターフェース部１００４上を指示するために用いるものである。操作部１００３としては、ユーザの指、スタイラスなどのポインティングデバイス、等、様々なものを適用することができる。操作部１００３の位置姿勢は、位置姿勢計測部１００６によって計測され、計測された位置姿勢は計算部１００８に送出される。位置姿勢計測部１００６による位置姿勢の計測方法についても位置姿勢計測部１００５と同様、様々な方法が考え得り、本実施形態では如何なる方法を用いても良い。
【００１９】
ユーザインターフェース部１００４は、図４に示す如く、１枚の仮想平面上に配されたアイコン４００１の集合であり、それぞれのアイコン４００１は、仮想物体としての本の各ページと対応付けられている。例えば、左上隅の位置におけるアイコンは第１ページ目と対応付け（リンク）られており、その右隣の位置におけるアイコンは第２ページ目と対応付け（リンク）られている。また、それぞれのアイコン４００１は、図５に示す如く、自身にローカルな座標系を有している。このように、ユーザインターフェース部１００４は、各ページに対応付けられているアイコンから成るのであれば、どのような外観、どのような構成であっても良い。
【００２０】
このようなユーザインターフェース部１００４は、現実空間内で基準として配される現実物体（基準現実物体）との位置姿勢関係が固定されるように、仮想空間中に配される。即ち、この基準現実物体を移動させると、それに伴ってこのユーザインターフェース部１００４も移動することになる。ここでは説明を簡単にするために、現実空間中に規定される座標系（現実空間座標系）と、仮想空間中に規定される座標系（仮想空間座標系）と、は、原点及び３軸が一致しているものとして説明する。しかし、何れかがずれていても、そのずれが既知であれば、一方の座標系における座標値を他方の座標系における座標値に変換することができる。もちろん、ユーザインターフェース部１００４を、規定の位置姿勢で固定して仮想空間内に配置しても良い。
【００２１】
位置姿勢計測部１００７は、この基準現実物体の位置姿勢を計測し、計測した位置姿勢に「基準として配される現実物体とユーザインターフェース部１００４との位置姿勢関係」を加えることで、ユーザインターフェース部１００４の位置姿勢を求める。位置姿勢計測部１００７による位置姿勢の計測方法についても位置姿勢計測部１００５と同様、様々な方法が考え得り、本実施形態では如何なる方法を用いても良い。
【００２２】
もちろん、ユーザインターフェース部１００４を、規定の位置姿勢で固定して仮想空間内に配置するのであれば、位置姿勢計測部１００７はこの規定の位置姿勢を取得する。そして位置姿勢計測部１００７は、何れかの方法によって取得したユーザインターフェース部１００４の位置姿勢を、計算部１００８に送出する。
【００２３】
計算部１００８は、それぞれの位置姿勢計測部１００５〜１００７から取得した位置姿勢を用いて後述する様々な計算処理を行い、結果として、ユーザインターフェース部１００４においてユーザが操作部１００３によって指示したアイコンを特定する。
【００２４】
仮想世界生成部１００９は、ユーザの視点（撮像部１０１０）の位置姿勢から見える仮想空間の画像を生成し、生成した仮想空間の画像と撮像部１０１０から取得した現実空間の画像とを合成した合成画像（複合現実空間の画像）を生成する。そして仮想世界生成部１００９は、この生成した合成画像を、映像表示部１０１１に対して出力する。これにより映像表示部１０１１が有する表示画面上には、この合成画像が表示されることになるので、結果としてこの映像表示部１０１１を頭部に装着したユーザの眼前には、この合成画像が表示（提示）されることになる。
【００２５】
次に、画像処理装置１００１が行う処理について、同処理のフローチャートを示す図２を用いて説明する。なお、このフローチャートに従った処理は、画像処理装置１００１が有するＣＰＵが、画像処理装置１００１内に格納されているコンピュータプログラムやデータを用いて処理を実行することで為されるものである。もちろん、コンピュータプログラムやデータは、図２のフローチャートに従った処理をＣＰＵに実行させるためのものである。
【００２６】
ステップＳ２００２では、位置姿勢計測部１００５は、映像表示部１０１１の位置姿勢を取得する。ステップＳ２００３では、位置姿勢計測部１００６は、操作部１００３の位置姿勢を取得する。ステップＳ２００４では、位置姿勢計測部１００７は、ユーザインターフェース部１００４の位置姿勢を取得する。ステップＳ２００２〜ステップＳ２００４の各ステップにおける位置姿勢の取得動作については上記の通りである。また、これらのステップは並行して行っても良い。
【００２７】
ステップＳ２００５では計算部１００８は、映像表示部１０１１と操作部１００３との位置関係が既定の条件を満たしているか否かを判断する。より詳しくは、映像表示部１０１１が有する表示画面内に、操作部１００３が位置しているか否かを判断する。映像表示部１０１１が有する表示画面内には、撮像部１０１０の視野内における現実空間が表示されるため、撮像部１０１０の視野が計算できれば、表示画面内に映る範囲が計算できる。然るに本ステップでは先ず、ステップＳ２００２で取得した映像表示部１０１１の位置姿勢に、画像処理装置１００１内のメモリ内に登録されている「映像表示部１０１１と撮像部１０１０との位置姿勢関係」を加えることで、撮像部１０１０の位置姿勢を求める。そして求めた位置姿勢と、撮像部１０１０に設定されている撮像パラメータ内の画角と、を用いて、撮像部１０１０の視野を求める。そして次に本ステップでは、撮像部１０１０の視野内に操作部１００３が位置しているか否かを判断する。この判断の結果、撮像部１０１０の視野内に操作部１００３が位置している場合には、処理はステップＳ２００６に進み、撮像部１０１０の視野内に操作部１００３が位置していない場合には、処理はステップＳ２００９に進む。
【００２８】
ステップＳ２００６では計算部１００８は、操作部１００３とユーザインターフェース部１００４との位置関係が既定の条件を満たしているか否かを判断する。より詳しくは、操作部１００３によって、ユーザインターフェース部１００４上のどのアイコンが選択されたのかを判断する。
【００２９】
ここで、ユーザインターフェース部１００４が図４に示したように、９個のアイコン（それぞれのアイコンは直方体の仮想物体）からなるものであるとする。この場合、ステップＳ２００３では、この９個のアイコンのそれぞれの座標（仮想空間中に規定された座標系における座標値）を取得する（それぞれの直方体について８頂点の座標値を取得する）ことになる。あるアイコンＰ（着目アイコン）について取得した座標をこのアイコンＰのローカル座標系に変換したものが次のようなものであるとする。
【００３０】
・ （０，０，０）
・ （０，０，Ｚ１）
・ （０，Ｙ１，０）
・ （０，Ｙ１，Ｚ１）
・ （Ｘ１，０，０）
・ （Ｘ１，０，Ｚ１）
・ （Ｘ１，Ｙ１，０）
・ （Ｘ１，Ｙ１，Ｚ１）
このとき、操作部１００３の座標をアイコンＰのローカル座標系に変換したものが（Ｘ、Ｙ、Ｚ）である場合、この（Ｘ、Ｙ、Ｚ）が以下の条件を満たしていれば、アイコンＰと操作部１００３との位置関係が既定の条件を満たしていると判断する。
【００３１】
０＜Ｘ＜Ｘ１
０＜Ｙ＜Ｙ１
０＜Ｚ＜Ｄ（規定の定数）
これは、他のアイコンについても同様である。これにより、操作部１００３との位置関係が既定の条件を満たしているアイコンを特定することができる。なお、操作部１００３がどのアイコンを指し示しているのかを判断するための１つの方法がこの例示した方法であり、これ以外の方法を用いても良い。
【００３２】
そして本ステップでは更に、アイコンＰと操作部１００３との位置関係が既定の条件を満たしている状態で、選択指示が入力されたか否かを判断する。選択指示は、操作部１００３がボタン付スタイラスであれば、このボタンを押下することで入力しても良いし、キーボードなどの操作入力装置を画像処理装置１００１に接続し、この操作入力装置から入力しても良い。
【００３３】
そして、アイコンＰと操作部１００３との位置関係が既定の条件を満たしている状態で上記選択指示が入力されたことを計算部１００８が検知すると、計算部１００８は、アイコンＰに対する操作があったと判断し、処理はステップＳ２００８に進む。一方、検知していない場合には、処理はステップＳ２００９に進む。
【００３４】
ステップＳ２００８では計算部１００８は、アイコンＰに対応付けられているページの仮想物体を、これからユーザに提示する仮想物体として仮想空間中に配置する為のイベントを、仮想世界生成部１００９に対して発行する。
【００３５】
ステップＳ２００９では仮想世界生成部１００９は、上記イベントを受け付けていない限りは、仮想空間を、ステップＳ２００５で求めた位置姿勢の視点から見た画像を、仮想空間の画像として生成する。一方、上記イベントを受け付けた場合には、仮想世界生成部１００９は、アイコンＰに対応付けられているページ（ページＰ）の仮想物体を、仮想空間中の規定の位置に配置する。この「ページＰの仮想物体」の配置形態については特に限定するものではなく、本においてページＰが開いているような状態の仮想物体を構成し、仮想空間中に配置しても良い。何れにせよ、ページＰは本における１ページに相当する仮想物体であり、ユーザはこのページに記された情報を閲覧するため、この情報が記された面が視点から見えることが必須となる。然るに、このページＰの仮想物体の向きは、このページの面（情報が記された面）がユーザの視点に向くように配置する。このようにして、本ステップでは、このページの仮想物体を含む仮想空間を構築（更新）する。然るに、この仮想物体以外の仮想物体を仮想空間中に配置する必要がある場合には、本ステップにおいて配置する。
【００３６】
そして仮想世界生成部１００９は、このような仮想空間（更新後の仮想空間）を、ステップＳ２００５で求めた位置姿勢の視点から見た画像を、仮想空間の画像として生成する。所定の位置姿勢を有する視点から見える仮想空間の画像を生成するための技術については様々な技術があるため、これについての技術説明は省略する。
【００３７】
そしてステップＳ２００９では更に仮想世界生成部１００９は、撮像部１０１０から取得した現実空間の画像と、この生成した仮想空間画像と、の合成画像を、複合現実空間の画像として生成する。この合成画像の生成技術については周知の技術であるため、これについての技術説明は省略する。そして仮想世界生成部１００９は、この生成した合成画像を、映像表示部１０１１に対して出力する。これにより映像表示部１０１１の表示画面上にはこの合成画像が表示されることになる。これによりユーザの眼前には、自身がユーザインターフェース部１００４上で指示したアイコンに対応するページの仮想物体が表示されることになる。そして処理はステップＳ２００２に戻り、次のフレームについて以降の処理を繰り返す。
【００３８】
なお、本実施形態では、映像表示部１０１１としてビデオシースルー型の表示装置を用いたが、光学シースルー型の表示装置を用いても良い。この場合、撮像部１０１０は必要なく、撮像部１０１０に係る情報の代わりに、仮想空間画像を生成する際に視点に係る情報を用いれば良い。そして仮想世界生成部１００９は、生成した仮想空間の画像をそのまま映像表示部１０１１に出力することになる。
【００３９】
［第２の実施形態］
画像処理装置１００１が行う別の実施形態としての処理について、図３のフローチャートを用いて説明する。なお、このフローチャートに従った処理は、画像処理装置１００１が有するＣＰＵが、画像処理装置１００１内に格納されているコンピュータプログラムやデータを用いて処理を実行することで為されるものである。もちろん、コンピュータプログラムやデータは、図３のフローチャートに従った処理をＣＰＵに実行させるためのものである。ステップＳ３００２〜Ｓ３００４はそれぞれ、上記のステップＳ２００２〜Ｓ２００４と同じであるので、これについての説明は省略する。
【００４０】
ステップＳ３００５では、計算部１００８は、１若しくは０の何れかの値を取るフラグの現在の値を判断する。この判断の結果、フラグの現在の値が「１」であれば、処理はステップＳ３００６に進み、「０」であれば、処理はステップＳ３０１０に進む。なお、図３のフローチャートに従った処理の開始時では、フラグの値は「０」に初期化されているものとする。
【００４１】
ステップＳ３０１０では、計算部１００８は、上記のステップＳ２００５と同じ処理を行う。そして、撮像部１０１０の視野内に操作部１００３が位置している場合には、処理はステップＳ３０１１に進み、撮像部１０１０の視野内に操作部１００３が位置していない場合には、処理はステップＳ３００９に進む。
【００４２】
ステップＳ３０１１では、計算部１００８は、上記のステップＳ２００６と同じ処理を行う。そして、アイコンＰと操作部１００３との位置関係が既定の条件を満たしている状態で上記選択指示が入力されたことを計算部１００８が検知すると、処理はステップＳ３０１２に進み、検知していない場合には、処理はステップＳ３００９に進む。ステップＳ３０１２では、計算部１００８は、フラグの値を１に設定する。そして処理をステップＳ３００９に進める。
【００４３】
ステップＳ３００６では、計算部１００８は、上記のステップＳ２００５と同じ処理を行う。そして、撮像部１０１０の視野内に操作部１００３が位置している場合には、処理はステップＳ３００７に進み、撮像部１０１０の視野内に操作部１００３が位置していない場合には、処理はステップＳ３００９に進む。ステップＳ３００７では、計算部１００８は、上記のステップＳ２００６と同じ処理を行う。なお、ステップＳ３００７では、以下の条件を「既定の条件」とする。
【００４４】
０＜Ｘ＜Ｘ１
０＜Ｙ＜Ｙ１
Ｄ≦Ｚ＜２×Ｄ
そして、アイコンＰと操作部１００３との位置関係がこの既定の条件を満たしている状態で上記選択指示が入力されたことを計算部１００８が検知すると、処理はステップＳ３００８に進み、検知していない場合には、処理はステップＳ３００９に進む。
【００４５】
ステップＳ３００８ではステップＳ２００８における処理に加え、フラグの値を０に設定する。ステップＳ３００９は、上記のステップＳ２００９と同じである。そして処理はステップＳ３００２に戻り、次のフレームについて以降の処理を繰り返す。
【００４６】
［第３の実施形態］
画像処理装置１００１が行う別の実施形態としての処理について、図６のフローチャートを用いて説明する。なお、このフローチャートに従った処理は、画像処理装置１００１が有するＣＰＵが、画像処理装置１００１内に格納されているコンピュータプログラムやデータを用いて処理を実行することで為されるものである。もちろん、コンピュータプログラムやデータは、図６のフローチャートに従った処理をＣＰＵに実行させるためのものである。ステップＳ６００２〜Ｓ６００８はそれぞれ、上記のステップＳ２００２〜Ｓ２００８と同じであるので、これについての説明は省略する。
【００４７】
なお、ステップＳ６００５では、計算部１００８は、上記のステップＳ２００５と同じ処理を行う。そして、撮像部１０１０の視野内に操作部１００３が位置している場合には、処理はステップＳ６００６に進み、撮像部１０１０の視野内に操作部１００３が位置していない場合には、処理はステップＳ６０１０に進む。
【００４８】
また、ステップＳ６００６では、計算部１００８は、上記のステップＳ２００６と同じ処理を行う。そして、アイコンＰと操作部１００３との位置関係が既定の条件を満たしている状態で上記選択指示が入力されたことを計算部１００８が検知すると、処理はステップＳ６００８に進み、検知していない場合には、処理はステップＳ６０１０に進む。
【００４９】
ステップＳ６００９で計算部１００８は、アイコンＰに対する操作があったと判断した後、規定の時間が経過するまでは、ユーザインターフェース部１００４に対する操作の受け付けを禁止すると共に、ユーザインターフェース部１００４の表示形態を変更する。これは、イベント発行直後の誤動作を防ぐ等のために行うものである。もちろん、アイコンＰに対する操作があったと判断した後、規定の時間が経過すれば、ユーザインターフェース部１００４に対する操作の受け付けを再開すると共に、ユーザインターフェース部１００４の表示形態を元に戻す。表示形態の変更としては様々なものがあり、ユーザインターフェース部１００４の色を変更しても良いし、その形状を変更しても良い。もちろん、ユーザインターフェース部１００４とは別個に、「現在ユーザインターフェース部１００４は操作できません」という旨を通知するための仮想物体を仮想空間中に配置させても良い。もちろん、この仮想物体は、アイコンＰに対する操作があったと判断した後、規定の時間内のみ配置されるもので、規定の時間が経過すれば、消去される。
【００５０】
ステップＳ６０１０は、上記のステップＳ２００９と同じであるので、これについての説明は省略する。そして処理はステップＳ６００２に戻り、次のフレームについて以降の処理を繰り返す。
【００５１】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【技術分野】
【０００１】
本発明は、複合現実感提示技術に関するものである。
【背景技術】
【０００２】
ＩＴ技術の発達により、従来は紙媒体だった本が電子化され、電子書籍として販売されるようになった。またネットワークを通して本を読むことができるようにもなってきている。
【０００３】
一方、現実空間と仮想空間との繋ぎ目のない結合を目的とした、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に関する研究が、近年、盛んに行われている。複合現実感の提示を行う画像表示装置は、例えば次のような構成を有する装置である。即ち、ビデオカメラ等の撮像装置が撮像した現実空間の画像上に、撮像装置の位置及び姿勢に応じて生成した仮想空間の画像（例えばコンピュータグラフィックスにより描画された仮想物体や文字情報等）を重畳描画した画像を表示する装置である。このような装置には、例えば、ＨＭＤ（ヘッドマウントディスプレイ、頭部装着型ディスプレイ）を用いることができる。
【０００４】
また、係る画像表示装置は、観察者の頭部に装着された光学シースルー型ディスプレイに、観察者の視点の位置及び姿勢に応じて生成した仮想空間の画像を表示する光学シースルー方式によっても実現されている。
【０００５】
そのような現実空間と仮想空間が融合された複合現実感空間においてユーザが仮想物体を操作する方法はいくつか存在している。例えば特許文献１のようにハンドラを表示して仮想物体の選択を容易にしているものがある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００８−４０８３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
現実物体の操作のしやすさと仮想物体の操作のしやすさはそれぞれに違うポイントがある。例えば実物の本は人間の手で直接触れることが出来、簡単にページをめくることが出来るが、複合現実感空間に存在する仮想の電子書籍には直接触れることが出来ない。そのためユーザが所望のページを開くためにはシステム的な工夫が必要となる。
【０００８】
しかしながら仮想世界や複合現実感世界の中で、複数のページを持つ電子書籍等のように複数のアクセス先を持つものを対象にして、１クリック等で所望のアクセス先に簡単にたどり着けるユーザインターフェイスはなかった。複合現実感世界が世の中に広まっている現在、上記のような簡単なユーザインターフェイスが求められている。
【０００９】
本発明は以上の問題に鑑みてなされたものであり、仮想空間、若しくは現実空間と仮想空間との複合空間である複合現実空間、の中で複数のアクセス先の中から１つをユーザが簡単に指示することを可能にする為の技術を提供する。
【課題を解決するための手段】
【００１０】
本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。即ち、ユーザインターフェースとしての仮想物体を仮想空間中に配置する手段と、ユーザの視点から見た前記仮想空間の画像を生成する生成手段と、前記生成手段が生成した前記仮想空間の画像を出力する出力手段と、前記ユーザが前記ユーザインターフェースに対して操作するために用いる操作部が前記視点からの視野内にあり、且つ前記操作部と前記ユーザインターフェースとの位置関係が規定の位置関係にある場合に、前記ユーザインターフェースに対する操作があったと判断する判断手段とを備え、前記生成手段は、前記判断手段により前記ユーザインターフェースに対する操作があったと判断された場合に、前記仮想空間に対して該操作に対応する更新を行い、前記視点から見た該更新後の仮想空間の画像を生成することを特徴とする。
【発明の効果】
【００１１】
本発明の構成によれば、仮想空間、若しくは現実空間と仮想空間との複合空間である複合現実空間、の中で複数のアクセス先の中から１つをユーザが簡単に指示することができる。
【図面の簡単な説明】
【００１２】
【図１】システムの機能構成例を示すブロック図。
【図２】画像処理装置１００１が行う処理のフローチャート。
【図３】画像処理装置１００１が行う処理のフローチャート。
【図４】ユーザインターフェース部１００４の構成例を示す図。
【図５】アイコン４００１のローカル座標系を示す図。
【図６】画像処理装置１００１が行う処理のフローチャート。
【発明を実施するための形態】
【００１３】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１４】
［第１の実施形態］
本実施形態では、本の仮想物体（即ち、各ページもまた仮想物体）において、ユーザが任意のページを閲覧するためのシステムについて説明する。本実施形態ではこれを可能にするために、各ページにリンクされているアイコンが配された仮想物体を複合現実空間内に配置する。ユーザは所望のページに対するアイコンを指示するので、本システムはこの指示されたアイコンに対応するページ（即ち、この所望のページ）をユーザに提示する。これにより、ユーザは複数のアクセス先（複数のページ）のうち任意のアクセス先（任意のページ）を指定することができる。
【００１５】
先ず、本実施形態に係るシステムの機能構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、画像処理装置１００１、撮像部１０１０、映像表示部１０１１、操作部１００３、ユーザインターフェース部１００４、により構成されている。更に、画像処理装置１００１は、一般のＰＣなどのコンピュータにより構成されており、ＣＰＵ、ＲＡＭやハードディスク、等により構成されている。
【００１６】
映像表示部１０１１は、ＨＭＤのように、複合現実空間を閲覧するユーザの頭部に装着されるものである。この映像表示部１０１１には、ユーザが自身の頭部にこの映像表示部１０１１を装着した場合にこのユーザの眼前に位置するように表示画面が設けられている。また、映像表示部１０１１には、動画像を撮像可能な撮像部１０１０が取り付けられている。映像表示部１０１１と撮像部１０１０との位置姿勢関係は固定されており、この位置姿勢関係は予め測定され、画像処理装置１００１内のメモリ内に登録されているものとする。
【００１７】
撮像部１０１０が撮像した各フレームの画像（現実空間の画像）は順次、画像処理装置１００１内の仮想世界生成部１００９に入力される。位置姿勢計測部１００５は、映像表示部１０１１の位置姿勢を計測する。映像表示部１０１１の位置姿勢を取得する方法については、磁気センサなどのセンサを用いて映像表示部１０１１の位置姿勢を計測する方法や、映像表示部１０１１を撮像した撮像画像から映像表示部１０１１の位置姿勢を求める方法等、様々なものがある。本実施形態では、映像表示部１０１１の位置姿勢を求めることができれば、如何なる方法を用いても良い。位置姿勢計測部１００５は、何れかの方法によって取得した映像表示部１０１１の位置姿勢を、計算部１００８に送出する。
【００１８】
操作部１００３は、ユーザが後述のユーザインターフェース部１００４上を指示するために用いるものである。操作部１００３としては、ユーザの指、スタイラスなどのポインティングデバイス、等、様々なものを適用することができる。操作部１００３の位置姿勢は、位置姿勢計測部１００６によって計測され、計測された位置姿勢は計算部１００８に送出される。位置姿勢計測部１００６による位置姿勢の計測方法についても位置姿勢計測部１００５と同様、様々な方法が考え得り、本実施形態では如何なる方法を用いても良い。
【００１９】
ユーザインターフェース部１００４は、図４に示す如く、１枚の仮想平面上に配されたアイコン４００１の集合であり、それぞれのアイコン４００１は、仮想物体としての本の各ページと対応付けられている。例えば、左上隅の位置におけるアイコンは第１ページ目と対応付け（リンク）られており、その右隣の位置におけるアイコンは第２ページ目と対応付け（リンク）られている。また、それぞれのアイコン４００１は、図５に示す如く、自身にローカルな座標系を有している。このように、ユーザインターフェース部１００４は、各ページに対応付けられているアイコンから成るのであれば、どのような外観、どのような構成であっても良い。
【００２０】
このようなユーザインターフェース部１００４は、現実空間内で基準として配される現実物体（基準現実物体）との位置姿勢関係が固定されるように、仮想空間中に配される。即ち、この基準現実物体を移動させると、それに伴ってこのユーザインターフェース部１００４も移動することになる。ここでは説明を簡単にするために、現実空間中に規定される座標系（現実空間座標系）と、仮想空間中に規定される座標系（仮想空間座標系）と、は、原点及び３軸が一致しているものとして説明する。しかし、何れかがずれていても、そのずれが既知であれば、一方の座標系における座標値を他方の座標系における座標値に変換することができる。もちろん、ユーザインターフェース部１００４を、規定の位置姿勢で固定して仮想空間内に配置しても良い。
【００２１】
位置姿勢計測部１００７は、この基準現実物体の位置姿勢を計測し、計測した位置姿勢に「基準として配される現実物体とユーザインターフェース部１００４との位置姿勢関係」を加えることで、ユーザインターフェース部１００４の位置姿勢を求める。位置姿勢計測部１００７による位置姿勢の計測方法についても位置姿勢計測部１００５と同様、様々な方法が考え得り、本実施形態では如何なる方法を用いても良い。
【００２２】
もちろん、ユーザインターフェース部１００４を、規定の位置姿勢で固定して仮想空間内に配置するのであれば、位置姿勢計測部１００７はこの規定の位置姿勢を取得する。そして位置姿勢計測部１００７は、何れかの方法によって取得したユーザインターフェース部１００４の位置姿勢を、計算部１００８に送出する。
【００２３】
計算部１００８は、それぞれの位置姿勢計測部１００５〜１００７から取得した位置姿勢を用いて後述する様々な計算処理を行い、結果として、ユーザインターフェース部１００４においてユーザが操作部１００３によって指示したアイコンを特定する。
【００２４】
仮想世界生成部１００９は、ユーザの視点（撮像部１０１０）の位置姿勢から見える仮想空間の画像を生成し、生成した仮想空間の画像と撮像部１０１０から取得した現実空間の画像とを合成した合成画像（複合現実空間の画像）を生成する。そして仮想世界生成部１００９は、この生成した合成画像を、映像表示部１０１１に対して出力する。これにより映像表示部１０１１が有する表示画面上には、この合成画像が表示されることになるので、結果としてこの映像表示部１０１１を頭部に装着したユーザの眼前には、この合成画像が表示（提示）されることになる。
【００２５】
次に、画像処理装置１００１が行う処理について、同処理のフローチャートを示す図２を用いて説明する。なお、このフローチャートに従った処理は、画像処理装置１００１が有するＣＰＵが、画像処理装置１００１内に格納されているコンピュータプログラムやデータを用いて処理を実行することで為されるものである。もちろん、コンピュータプログラムやデータは、図２のフローチャートに従った処理をＣＰＵに実行させるためのものである。
【００２６】
ステップＳ２００２では、位置姿勢計測部１００５は、映像表示部１０１１の位置姿勢を取得する。ステップＳ２００３では、位置姿勢計測部１００６は、操作部１００３の位置姿勢を取得する。ステップＳ２００４では、位置姿勢計測部１００７は、ユーザインターフェース部１００４の位置姿勢を取得する。ステップＳ２００２〜ステップＳ２００４の各ステップにおける位置姿勢の取得動作については上記の通りである。また、これらのステップは並行して行っても良い。
【００２７】
ステップＳ２００５では計算部１００８は、映像表示部１０１１と操作部１００３との位置関係が既定の条件を満たしているか否かを判断する。より詳しくは、映像表示部１０１１が有する表示画面内に、操作部１００３が位置しているか否かを判断する。映像表示部１０１１が有する表示画面内には、撮像部１０１０の視野内における現実空間が表示されるため、撮像部１０１０の視野が計算できれば、表示画面内に映る範囲が計算できる。然るに本ステップでは先ず、ステップＳ２００２で取得した映像表示部１０１１の位置姿勢に、画像処理装置１００１内のメモリ内に登録されている「映像表示部１０１１と撮像部１０１０との位置姿勢関係」を加えることで、撮像部１０１０の位置姿勢を求める。そして求めた位置姿勢と、撮像部１０１０に設定されている撮像パラメータ内の画角と、を用いて、撮像部１０１０の視野を求める。そして次に本ステップでは、撮像部１０１０の視野内に操作部１００３が位置しているか否かを判断する。この判断の結果、撮像部１０１０の視野内に操作部１００３が位置している場合には、処理はステップＳ２００６に進み、撮像部１０１０の視野内に操作部１００３が位置していない場合には、処理はステップＳ２００９に進む。
【００２８】
ステップＳ２００６では計算部１００８は、操作部１００３とユーザインターフェース部１００４との位置関係が既定の条件を満たしているか否かを判断する。より詳しくは、操作部１００３によって、ユーザインターフェース部１００４上のどのアイコンが選択されたのかを判断する。
【００２９】
ここで、ユーザインターフェース部１００４が図４に示したように、９個のアイコン（それぞれのアイコンは直方体の仮想物体）からなるものであるとする。この場合、ステップＳ２００３では、この９個のアイコンのそれぞれの座標（仮想空間中に規定された座標系における座標値）を取得する（それぞれの直方体について８頂点の座標値を取得する）ことになる。あるアイコンＰ（着目アイコン）について取得した座標をこのアイコンＰのローカル座標系に変換したものが次のようなものであるとする。
【００３０】
・ （０，０，０）
・ （０，０，Ｚ１）
・ （０，Ｙ１，０）
・ （０，Ｙ１，Ｚ１）
・ （Ｘ１，０，０）
・ （Ｘ１，０，Ｚ１）
・ （Ｘ１，Ｙ１，０）
・ （Ｘ１，Ｙ１，Ｚ１）
このとき、操作部１００３の座標をアイコンＰのローカル座標系に変換したものが（Ｘ、Ｙ、Ｚ）である場合、この（Ｘ、Ｙ、Ｚ）が以下の条件を満たしていれば、アイコンＰと操作部１００３との位置関係が既定の条件を満たしていると判断する。
【００３１】
０＜Ｘ＜Ｘ１
０＜Ｙ＜Ｙ１
０＜Ｚ＜Ｄ（規定の定数）
これは、他のアイコンについても同様である。これにより、操作部１００３との位置関係が既定の条件を満たしているアイコンを特定することができる。なお、操作部１００３がどのアイコンを指し示しているのかを判断するための１つの方法がこの例示した方法であり、これ以外の方法を用いても良い。
【００３２】
そして本ステップでは更に、アイコンＰと操作部１００３との位置関係が既定の条件を満たしている状態で、選択指示が入力されたか否かを判断する。選択指示は、操作部１００３がボタン付スタイラスであれば、このボタンを押下することで入力しても良いし、キーボードなどの操作入力装置を画像処理装置１００１に接続し、この操作入力装置から入力しても良い。
【００３３】
そして、アイコンＰと操作部１００３との位置関係が既定の条件を満たしている状態で上記選択指示が入力されたことを計算部１００８が検知すると、計算部１００８は、アイコンＰに対する操作があったと判断し、処理はステップＳ２００８に進む。一方、検知していない場合には、処理はステップＳ２００９に進む。
【００３４】
ステップＳ２００８では計算部１００８は、アイコンＰに対応付けられているページの仮想物体を、これからユーザに提示する仮想物体として仮想空間中に配置する為のイベントを、仮想世界生成部１００９に対して発行する。
【００３５】
ステップＳ２００９では仮想世界生成部１００９は、上記イベントを受け付けていない限りは、仮想空間を、ステップＳ２００５で求めた位置姿勢の視点から見た画像を、仮想空間の画像として生成する。一方、上記イベントを受け付けた場合には、仮想世界生成部１００９は、アイコンＰに対応付けられているページ（ページＰ）の仮想物体を、仮想空間中の規定の位置に配置する。この「ページＰの仮想物体」の配置形態については特に限定するものではなく、本においてページＰが開いているような状態の仮想物体を構成し、仮想空間中に配置しても良い。何れにせよ、ページＰは本における１ページに相当する仮想物体であり、ユーザはこのページに記された情報を閲覧するため、この情報が記された面が視点から見えることが必須となる。然るに、このページＰの仮想物体の向きは、このページの面（情報が記された面）がユーザの視点に向くように配置する。このようにして、本ステップでは、このページの仮想物体を含む仮想空間を構築（更新）する。然るに、この仮想物体以外の仮想物体を仮想空間中に配置する必要がある場合には、本ステップにおいて配置する。
【００３６】
そして仮想世界生成部１００９は、このような仮想空間（更新後の仮想空間）を、ステップＳ２００５で求めた位置姿勢の視点から見た画像を、仮想空間の画像として生成する。所定の位置姿勢を有する視点から見える仮想空間の画像を生成するための技術については様々な技術があるため、これについての技術説明は省略する。
【００３７】
そしてステップＳ２００９では更に仮想世界生成部１００９は、撮像部１０１０から取得した現実空間の画像と、この生成した仮想空間画像と、の合成画像を、複合現実空間の画像として生成する。この合成画像の生成技術については周知の技術であるため、これについての技術説明は省略する。そして仮想世界生成部１００９は、この生成した合成画像を、映像表示部１０１１に対して出力する。これにより映像表示部１０１１の表示画面上にはこの合成画像が表示されることになる。これによりユーザの眼前には、自身がユーザインターフェース部１００４上で指示したアイコンに対応するページの仮想物体が表示されることになる。そして処理はステップＳ２００２に戻り、次のフレームについて以降の処理を繰り返す。
【００３８】
なお、本実施形態では、映像表示部１０１１としてビデオシースルー型の表示装置を用いたが、光学シースルー型の表示装置を用いても良い。この場合、撮像部１０１０は必要なく、撮像部１０１０に係る情報の代わりに、仮想空間画像を生成する際に視点に係る情報を用いれば良い。そして仮想世界生成部１００９は、生成した仮想空間の画像をそのまま映像表示部１０１１に出力することになる。
【００３９】
［第２の実施形態］
画像処理装置１００１が行う別の実施形態としての処理について、図３のフローチャートを用いて説明する。なお、このフローチャートに従った処理は、画像処理装置１００１が有するＣＰＵが、画像処理装置１００１内に格納されているコンピュータプログラムやデータを用いて処理を実行することで為されるものである。もちろん、コンピュータプログラムやデータは、図３のフローチャートに従った処理をＣＰＵに実行させるためのものである。ステップＳ３００２〜Ｓ３００４はそれぞれ、上記のステップＳ２００２〜Ｓ２００４と同じであるので、これについての説明は省略する。
【００４０】
ステップＳ３００５では、計算部１００８は、１若しくは０の何れかの値を取るフラグの現在の値を判断する。この判断の結果、フラグの現在の値が「１」であれば、処理はステップＳ３００６に進み、「０」であれば、処理はステップＳ３０１０に進む。なお、図３のフローチャートに従った処理の開始時では、フラグの値は「０」に初期化されているものとする。
【００４１】
ステップＳ３０１０では、計算部１００８は、上記のステップＳ２００５と同じ処理を行う。そして、撮像部１０１０の視野内に操作部１００３が位置している場合には、処理はステップＳ３０１１に進み、撮像部１０１０の視野内に操作部１００３が位置していない場合には、処理はステップＳ３００９に進む。
【００４２】
ステップＳ３０１１では、計算部１００８は、上記のステップＳ２００６と同じ処理を行う。そして、アイコンＰと操作部１００３との位置関係が既定の条件を満たしている状態で上記選択指示が入力されたことを計算部１００８が検知すると、処理はステップＳ３０１２に進み、検知していない場合には、処理はステップＳ３００９に進む。ステップＳ３０１２では、計算部１００８は、フラグの値を１に設定する。そして処理をステップＳ３００９に進める。
【００４３】
ステップＳ３００６では、計算部１００８は、上記のステップＳ２００５と同じ処理を行う。そして、撮像部１０１０の視野内に操作部１００３が位置している場合には、処理はステップＳ３００７に進み、撮像部１０１０の視野内に操作部１００３が位置していない場合には、処理はステップＳ３００９に進む。ステップＳ３００７では、計算部１００８は、上記のステップＳ２００６と同じ処理を行う。なお、ステップＳ３００７では、以下の条件を「既定の条件」とする。
【００４４】
０＜Ｘ＜Ｘ１
０＜Ｙ＜Ｙ１
Ｄ≦Ｚ＜２×Ｄ
そして、アイコンＰと操作部１００３との位置関係がこの既定の条件を満たしている状態で上記選択指示が入力されたことを計算部１００８が検知すると、処理はステップＳ３００８に進み、検知していない場合には、処理はステップＳ３００９に進む。
【００４５】
ステップＳ３００８ではステップＳ２００８における処理に加え、フラグの値を０に設定する。ステップＳ３００９は、上記のステップＳ２００９と同じである。そして処理はステップＳ３００２に戻り、次のフレームについて以降の処理を繰り返す。
【００４６】
［第３の実施形態］
画像処理装置１００１が行う別の実施形態としての処理について、図６のフローチャートを用いて説明する。なお、このフローチャートに従った処理は、画像処理装置１００１が有するＣＰＵが、画像処理装置１００１内に格納されているコンピュータプログラムやデータを用いて処理を実行することで為されるものである。もちろん、コンピュータプログラムやデータは、図６のフローチャートに従った処理をＣＰＵに実行させるためのものである。ステップＳ６００２〜Ｓ６００８はそれぞれ、上記のステップＳ２００２〜Ｓ２００８と同じであるので、これについての説明は省略する。
【００４７】
なお、ステップＳ６００５では、計算部１００８は、上記のステップＳ２００５と同じ処理を行う。そして、撮像部１０１０の視野内に操作部１００３が位置している場合には、処理はステップＳ６００６に進み、撮像部１０１０の視野内に操作部１００３が位置していない場合には、処理はステップＳ６０１０に進む。
【００４８】
また、ステップＳ６００６では、計算部１００８は、上記のステップＳ２００６と同じ処理を行う。そして、アイコンＰと操作部１００３との位置関係が既定の条件を満たしている状態で上記選択指示が入力されたことを計算部１００８が検知すると、処理はステップＳ６００８に進み、検知していない場合には、処理はステップＳ６０１０に進む。
【００４９】
ステップＳ６００９で計算部１００８は、アイコンＰに対する操作があったと判断した後、規定の時間が経過するまでは、ユーザインターフェース部１００４に対する操作の受け付けを禁止すると共に、ユーザインターフェース部１００４の表示形態を変更する。これは、イベント発行直後の誤動作を防ぐ等のために行うものである。もちろん、アイコンＰに対する操作があったと判断した後、規定の時間が経過すれば、ユーザインターフェース部１００４に対する操作の受け付けを再開すると共に、ユーザインターフェース部１００４の表示形態を元に戻す。表示形態の変更としては様々なものがあり、ユーザインターフェース部１００４の色を変更しても良いし、その形状を変更しても良い。もちろん、ユーザインターフェース部１００４とは別個に、「現在ユーザインターフェース部１００４は操作できません」という旨を通知するための仮想物体を仮想空間中に配置させても良い。もちろん、この仮想物体は、アイコンＰに対する操作があったと判断した後、規定の時間内のみ配置されるもので、規定の時間が経過すれば、消去される。
【００５０】
ステップＳ６０１０は、上記のステップＳ２００９と同じであるので、これについての説明は省略する。そして処理はステップＳ６００２に戻り、次のフレームについて以降の処理を繰り返す。
【００５１】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【特許請求の範囲】
【請求項１】
ユーザインターフェースとしての仮想物体を仮想空間中に配置する手段と、
ユーザの視点から見た前記仮想空間の画像を生成する生成手段と、
前記生成手段が生成した前記仮想空間の画像を出力する出力手段と、
前記ユーザが前記ユーザインターフェースに対して操作するために用いる操作部が前記視点からの視野内にあり、且つ前記操作部と前記ユーザインターフェースとの位置関係が規定の位置関係にある場合に、前記ユーザインターフェースに対する操作があったと判断する判断手段と
を備え、
前記生成手段は、
前記判断手段により前記ユーザインターフェースに対する操作があったと判断された場合に、前記仮想空間に対して該操作に対応する更新を行い、前記視点から見た該更新後の仮想空間の画像を生成する
ことを特徴とする画像処理装置。
【請求項２】
前記ユーザインターフェースは複数のアイコンから構成されており、該複数のアイコンのそれぞれには、本の各ページの仮想物体が対応付けられており、
前記判断手段は、
前記操作部が前記視点からの視野内にあり、且つ前記操作部と着目アイコンとの位置関係が規定の位置関係にある場合には、前記着目アイコンに対する操作があったと判断し、
前記生成手段は、
前記判断手段により前記着目アイコンに対する操作があったと判断された場合に、前記複数のアイコンに加えて、前記着目アイコンに対応付けられたページの仮想物体を、該仮想物体において情報が記された面を前記視点に向けて前記仮想空間中に配置した後、前記仮想空間の画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記判断手段により前記着目アイコンに対する操作があったと判断された後、規定の時間が経過するまでは、前記ユーザインターフェースに対する操作の受け付けを禁止すると共に、前記ユーザインターフェースの表示形態を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
更に、
前記視点から見える現実空間の画像を撮像する手段を備え、
前記出力手段は、前記現実空間の画像と前記仮想空間の画像との合成画像を出力することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の配置手段が、ユーザインターフェースとしての仮想物体を仮想空間中に配置する工程と、
前記画像処理装置の生成手段が、ユーザの視点から見た前記仮想空間の画像を生成する生成工程と、
前記画像処理装置の出力手段が、前記生成工程で生成した前記仮想空間の画像を出力する出力工程と、
前記画像処理装置の判断手段が、前記ユーザが前記ユーザインターフェースに対して操作するために用いる操作部が前記視点からの視野内にあり、且つ前記操作部と前記ユーザインターフェースとの位置関係が規定の位置関係にある場合に、前記ユーザインターフェースに対する操作があったと判断する判断工程と
を備え、
前記生成工程では、
前記判断工程で前記ユーザインターフェースに対する操作があったと判断された場合に、前記仮想空間に対して該操作に対応する更新を行い、前記視点から見た該更新後の仮想空間の画像を生成する
ことを特徴とする画像処理方法。
【請求項６】
コンピュータを、請求項１乃至４の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【請求項１】
ユーザインターフェースとしての仮想物体を仮想空間中に配置する手段と、
ユーザの視点から見た前記仮想空間の画像を生成する生成手段と、
前記生成手段が生成した前記仮想空間の画像を出力する出力手段と、
前記ユーザが前記ユーザインターフェースに対して操作するために用いる操作部が前記視点からの視野内にあり、且つ前記操作部と前記ユーザインターフェースとの位置関係が規定の位置関係にある場合に、前記ユーザインターフェースに対する操作があったと判断する判断手段と
を備え、
前記生成手段は、
前記判断手段により前記ユーザインターフェースに対する操作があったと判断された場合に、前記仮想空間に対して該操作に対応する更新を行い、前記視点から見た該更新後の仮想空間の画像を生成する
ことを特徴とする画像処理装置。
【請求項２】
前記ユーザインターフェースは複数のアイコンから構成されており、該複数のアイコンのそれぞれには、本の各ページの仮想物体が対応付けられており、
前記判断手段は、
前記操作部が前記視点からの視野内にあり、且つ前記操作部と着目アイコンとの位置関係が規定の位置関係にある場合には、前記着目アイコンに対する操作があったと判断し、
前記生成手段は、
前記判断手段により前記着目アイコンに対する操作があったと判断された場合に、前記複数のアイコンに加えて、前記着目アイコンに対応付けられたページの仮想物体を、該仮想物体において情報が記された面を前記視点に向けて前記仮想空間中に配置した後、前記仮想空間の画像を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記生成手段は、前記判断手段により前記着目アイコンに対する操作があったと判断された後、規定の時間が経過するまでは、前記ユーザインターフェースに対する操作の受け付けを禁止すると共に、前記ユーザインターフェースの表示形態を変更することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
更に、
前記視点から見える現実空間の画像を撮像する手段を備え、
前記出力手段は、前記現実空間の画像と前記仮想空間の画像との合成画像を出力することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の配置手段が、ユーザインターフェースとしての仮想物体を仮想空間中に配置する工程と、
前記画像処理装置の生成手段が、ユーザの視点から見た前記仮想空間の画像を生成する生成工程と、
前記画像処理装置の出力手段が、前記生成工程で生成した前記仮想空間の画像を出力する出力工程と、
前記画像処理装置の判断手段が、前記ユーザが前記ユーザインターフェースに対して操作するために用いる操作部が前記視点からの視野内にあり、且つ前記操作部と前記ユーザインターフェースとの位置関係が規定の位置関係にある場合に、前記ユーザインターフェースに対する操作があったと判断する判断工程と
を備え、
前記生成工程では、
前記判断工程で前記ユーザインターフェースに対する操作があったと判断された場合に、前記仮想空間に対して該操作に対応する更新を行い、前記視点から見た該更新後の仮想空間の画像を生成する
ことを特徴とする画像処理方法。
【請求項６】
コンピュータを、請求項１乃至４の何れか１項に記載の画像処理装置が有する各手段として機能させるためのコンピュータプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−４８６５６（Ｐ２０１２−４８６５６Ａ）
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願番号】特願２０１０−１９２７０３（Ｐ２０１０−１９２７０３）
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年３月８日（２０１２．３．８）
【国際特許分類】
【出願日】平成２２年８月３０日（２０１０．８．３０）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]