仮想情報付与装置及び仮想情報付与プログラム
【課題】仮想情報付与装置において、カメラ等のイメージング・デバイスを介してユーザが観測する実空間中の対象物に関する仮想情報の付与位置を正確に決定する。
【解決手段】撮像装置から出力される最新時刻の画像を入力する手段と、入力した画像から特徴点群を抽出し、当該特徴点群を用いて撮像装置の位置及び姿勢を示す姿勢情報と、特徴点の三次元情報を算出する手段と、画像上で位置指定されたポインティング情報を入力し、画像を構成する画素値を用いた領域分割処理によって仮想情報付与を所望する対象の物体領域を決定し、当該物体領域に内包される特徴点群を抽出した特徴点群に対し物体領域をマスク処理することによって選択し、当該物体領域に内包される特徴点群に対応する三次元情報である計測点群を決定する手段と、算出された姿勢情報と、計測点群とから、仮想情報を付与する実空間中での位置を決定する手段とを備える。
【解決手段】撮像装置から出力される最新時刻の画像を入力する手段と、入力した画像から特徴点群を抽出し、当該特徴点群を用いて撮像装置の位置及び姿勢を示す姿勢情報と、特徴点の三次元情報を算出する手段と、画像上で位置指定されたポインティング情報を入力し、画像を構成する画素値を用いた領域分割処理によって仮想情報付与を所望する対象の物体領域を決定し、当該物体領域に内包される特徴点群を抽出した特徴点群に対し物体領域をマスク処理することによって選択し、当該物体領域に内包される特徴点群に対応する三次元情報である計測点群を決定する手段と、算出された姿勢情報と、計測点群とから、仮想情報を付与する実空間中での位置を決定する手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等の撮像装置によって撮影された施設や場所に関する仮想情報を付与する仮想情報付与装置及び仮想情報付与プログラムに関する。
【背景技術】
【０００２】
仮想画像や映像と現実世界のキャプチャ画像や映像との組み合わせは、一般に、拡張現実（Augmented Reality）と呼ばれる。拡張現実システムは、様々な状況において利用されている。例えば、ユーザが保有する携帯電話などの携帯情報機器に設けられている携帯電話の位置、向きを計測したセンサ情報を管理サーバに送ることにより、実空間の位置に関連付けて保存された仮想情報を取得し、携帯電話のモニタ上に表示する技術が提案されている。仮想情報に対して実空間中の位置を付与してハードディスク等に保存する方法には、予め手入力により実施する方法や、ユーザが携帯電話を利用している位置を用いる方法等がある。これらの方法は手間がかかったり、利用者の位置と、ユーザが観測した仮想情報を付与したいと所望する対象の位置とに乖離が生じるといった問題がある。
【０００３】
そこでこの乖離を無くす技術も提案されている。例えば、現在のユーザ位置から仮想情報を付与したい実空間中の位置までの距離をユーザが目測による決定する作業を、仮想空間内でモニタ奥方向に仮想情報を動かした際の見た目のサイズ変化やその仮想情報が予め定めた平面に投影する影などをイメージング・デバイスで撮像された画像上に合成し、この合成画像を携帯端末のモニタ上に表示することで支援し、仮想情報を付与する実空間中の位置を決定しているものがある（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Jason Wither and Tobias Hollerer：Evaluating Techniques for Interaction at a Distance, In Proc. International Symposium on Wearable Computers, November 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術にあっては、現在のユーザ位置から仮想情報を付与したい実空間中の位置までの距離をユーザが目測で決定することから、正確な仮想情報付与位置の決定が困難であるという問題がある。加えて、ユーザは携帯端末のモニタ上での確認のみで仮想情報付与位置を指定するため、実世界でメモ情報付与等に用いられる付箋との付与位置指定方法が異なり、ユーザがシステム操作する上で直感性に欠け誤操作を招く可能性があるという問題もある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、仮想情報付与装置において、カメラ等のイメージング・デバイスを介してユーザが観測する実空間中の対象物に関する仮想情報の付与位置を、正確に決定することができる仮想情報付与装置及び仮想情報付与プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、撮像装置によって撮影された対象物に関する仮想情報を該対象物に対して付与する仮想情報付与装置であって、前記撮像装置から出力される最新時刻の画像を入力する画像入力手段と、入力した前記画像から特徴点群を抽出し、当該特徴点群を用いて前記撮像装置の位置及び姿勢を示す姿勢情報と、前記特徴点の三次元情報を算出する位置姿勢算出手段と、前記画像上で位置指定されたポインティング情報を入力し、前記画像を構成する画素値を用いた領域分割処理によって仮想情報付与を所望する対象の物体領域を決定し、当該物体領域に内包される前記特徴点群を前記位置姿勢算出手段で抽出した特徴点群に対し物体領域をマスク処理することによって選択し、当該物体領域に内包される特徴点群に対応する三次元情報である計測点群を決定する指定対象決定手段と、前記位置姿勢算出手段において算出された前記姿勢情報と、前記計測点群とから、前記仮想情報を付与する実空間中での位置を決定する仮想情報付与位置決定手段とを備えることを特徴とする。
【０００８】
本発明は、前記仮想情報付与位置決定手段は、仮想情報を付与する実空間中での位置を、前記位置姿勢算出手段で算出した姿勢情報における撮像装置位置として決定することを特徴とする。
【０００９】
本発明は、仮想情報付与位置決定手段は、仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された前記計測点群の重心位置を算出することによって決定することを特徴とする。
【００１０】
本発明は、仮想情報付与位置決定手段は、仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された計測点群で構成される面と、前記位置姿勢算出手段で算出された前記姿勢情報の撮像装置位置及び計測点群から算出した重心位置とを結ぶ直線との交点を算出することによって決定することを特徴とする。
【００１１】
本発明は、仮想情報付与位置決定手段は、仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された計測点群から実空間に張る３軸ごとに最大値、最小値を算出し、当該値を予め直方体として定められた基本形状の頂点座標として用いることによって決定される計測点群の外接基本形状と、前記位置姿勢算出手段で算出された姿勢情報の撮像装置位置及び計測点群から算出した重心位置とを結ぶ直線との交点を算出することによって決定することを特徴とする。
【００１２】
本発明は、仮想情報付与位置決定手段は、仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された計測点群に球を当て嵌めることによって決定される計測点群の外接基本形状と、前記位置姿勢算出手段で算出された姿勢情報の撮像装置位置及び計測点群から算出した重心位置とを結ぶ直線との交点を算出することによって決定することを特徴とする。
【００１３】
本発明は、仮想情報付与位置決定手段は、前記撮像装置が時々刻々動く場合に、前記位置姿勢算出手段で算出する最新時刻の姿勢情報の撮像装置位置と、前記指定対象決定手段で算出される計測点群から算出した重心位置との両者間のユークリッド距離を算出し、当該ユークリッド距離が予め定められた閾値を下回った時の時刻を前記仮想情報を付与する時刻とすることを特徴とする。
【００１４】
本発明は、仮想情報付与位置決定手段は、前記撮像装置が時々刻々動く場合に、前記位置姿勢算出手段で算出する最新時刻と前時刻の前記姿勢情報の撮像装置位置から速度を算出し、当該速度が予め定められた閾値を上回った時刻を前記仮想情報を付与する時刻とすることを特徴とする。
【００１５】
本発明は、仮想情報付与位置決定手段は、前記位置姿勢算出手段で算出された最新時刻と前時刻の姿勢情報の撮像装置位置から算出する速度と、予め定められた重力の値から、最新時刻以降の撮像装置位置の実空間内での予測軌跡を算出し、最新時刻の撮像装置位置と前記指定対象決定手段で算出された計測点群から算出した重心位置の両者間を結ぶ直線を含む平面群から、当該平面群と実空間に属する地平面の両法線ベクトルとの内積値を最大とする唯一の平面を決定し、当該平面と予測軌跡との交点を算出することによって前記仮想情報を付与する実空間中での位置を決定することを特徴とする。
【００１６】
本発明は、仮想情報付与位置決定手段には、前記位置姿勢算出手段で算出された最新時刻と前時刻の姿勢情報の撮像装置位置から算出する速度と、予め定められた重力の値から、最新時刻以降のカメラ位置の実空間内での予測軌跡を算出し、当該予測軌跡と、実空間に属する地平面との交点を算出することによって前記仮想情報を付与する実空間中での位置を決定することを特徴とする。
【００１７】
本発明は、仮想情報付与位置決定手段は、仮想情報を付与する実空間中での姿勢を、前記位置姿勢算出手段で算出した姿勢情報における撮像装置姿勢として決定することを特徴とする。
【００１８】
本発明は、撮像装置によって撮影された対象物に関する仮想情報を該対象物に対して付与する仮想情報付与装置上のコンピュータに仮想情報付与処理を行わせる仮想情報付与プログラムであって、前記撮像装置から出力される最新時刻の画像を入力する画像入力ステップと、入力した前記画像から特徴点群を抽出し、当該特徴点群を用いて前記撮像装置の位置及び姿勢を示す姿勢情報と、前記特徴点の三次元情報を算出する姿勢算出ステップと、前記画像上で位置指定されたポインティング情報を入力し、前記画像を構成する画素値を用いた領域分割処理によって仮想情報付与を所望する対象の物体領域を決定し、当該物体領域に内包される前記特徴点群を前記姿勢算出ステップで抽出した特徴点群に対し物体領域をマスク処理することによって選択し、当該物体領域に内包される特徴点群に対応する三次元情報である計測点群を決定する指定対象決定ステップと、前記姿勢算出ステップにおいて算出された前記姿勢情報と、前記計測点群とから、前記仮想情報を付与する実空間中での位置を決定する仮想情報付与位置決定ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、撮影したカメラ画像からユーザと対象物までの距離を計測するため、正確に仮想情報の付与位置を決定することが可能になる。また、撮影したカメラ画像から時々刻々算出されるカメラ姿勢情報を用いて仮想情報付与位置を算出し決定するため、直感的で誤操作の可能性が少ない仮想情報の付与位置決定が可能になるという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図３】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図４】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図５】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図６】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図７】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図８】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図９】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図１０】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図１１】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図１２】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本発明の一実施形態による仮想情報付与装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、対象となる３次元シーンを撮像して画像データを出力するカメラであり、例えば、ＣＣＤ（Charge-Coupled Device）カメラ、ＣＭＯＳカメラ（Complementary Mental-Oxide Semiconductor）などが適用できる。符号２は、カメラ１が出力する画像データを入力して、仮想情報を付与する仮想情報付与装置である。
【００２２】
符号３は、ユーザからの文字や音声による入力を行う入力装置であり、例えばキーボード、マウス、コントローラ、マイクなどで構成する。符号４は、画像データの表示や仮想情報が付与された画像を表示するモニタ装置であり、例えば、ＴＦＴ液晶ディスプレイモジュールなどで構成する。入力装置３と出力装置４は、入力機能と出力機能が一体化したタッチパネルによって構成されても良い。
【００２３】
符号５は、仮想情報付与装置２における様々な演算処理を行なう少なくとも１つの中央演算処理装置（ＣＰＵ）である。符号６は、仮想情報付与装置２における様々なデータを格納する記録媒体であるハードディスク（ＨＤＤ）である。符号７は、仮想情報付与装置２における様々なデータを格納する記録媒体であるメモリである。ＣＰＵ５、ＨＤＤ６及びメモリ７は、仮想情報付与装置２本体に内蔵されても良いし、仮想情報付与装置本体の外部に備えられても良い。
【００２４】
符号２１は、カメラ１が撮像した最新の画像データを入力するカメラ画像入力部である。符号２２は、カメラ画像入力部２１が入力した画像データ内の特徴点を用いてカメラの位置、姿勢を示すカメラポーズと特徴点の三次元情報を算出してカメラポーズや計測された特徴点の三次元情報をＨＤＤ６やメモリ７に記憶するカメラポーズ算出部である。
【００２５】
符号２３は、入力装置３により入力したユーザのポインティング情報を、対象物体領域とこの物体領域に内包される特徴点の三次元情報を決定するユーザ指定対象決定部である。符号２４は、カメラポーズ算出部２２から出力されるカメラポーズと、ユーザ指定対象決定部２３から出力される物体領域に内包される特徴点の三次元情報とから、仮想情報を付与する位置を決定する仮想情報付与位置決定部である。
【００２６】
次に、図２〜図１２を参照して、図１に示す仮想情報付与装置２の動作を説明する。ここでは、図１に示す装置が携帯端末に搭載されているものとし、図２に示すように携帯端末８に搭載されたカメラ２で撮影する実空間に属す物体９に対し、携帯端末８上で作成した仮想情報を物体９が写っている位置の近傍に表示することによって、図３に示すように別の場所に配された携帯端末８からも参照、観測する動作を説明する。
【００２７】
まず、カメラ画像入力部２１は、携帯端末８に搭載されたカメラ１から現時刻において撮像された最新の画像データを入力して、カメラポーズ算出部２２へ出力する。これを受けて、カメラポーズ算出部２２は、カメラ画像入力部２１から出力された画像データを入力し、この画像データから画像上の角や交点となる特徴点を抽出する。続いて、カメラポーズ算出部２２は、抽出した特徴点情報を用いて撮影対象の三次元情報とカメラの位置・姿勢であるカメラ姿勢情報（カメラポーズ）を求める。
【００２８】
この処理は公知の方法（例えば、文献「佐藤智和、池谷彰彦、池田聖、神原誠之、中島昇、横矢直和：動画像からの三次元復元による湾曲した紙面のビデオモザイキング，信学論（Ｄ），Vol.J90-D, No.8, pp.1900-1911, 2007.」）を用いてカメラ姿勢情報を求める。この処理で必要となる撮影対象の三次元情報とカメラの位置・姿勢を示すカメラ姿勢情報の初期値には、例えば対象の三次元情報には平面、カメラ姿勢情報には平面に正対するような姿勢を設定すれば良い。カメラポーズ算出部２２では算出した撮影対象の三次元座標と、各時刻のカメラ姿勢情報及び画像上の特徴点をメモリ７或いはＨＤＤ６に記憶する。
【００２９】
なお、カメラポーズ算出部２２において求まるカメラ位置は計測開始点からの相対位置であるため、計測開始点を実空間内で唯一の場所を示す絶対位置とするため、携帯端末８に絶対位置を計測可能なＧＰＳ（全地球測位システム）を具備し、この出力を用いても良い。この計測開始点の座標を絶対位置とする処理によって、計測開始以降時々刻々のカメラポーズ算出部２２において求まるカメラ位置も絶対位置となる。ここでは、カメラ画像入力部２１と、カメラポーズ算出部２２における処理は、時々刻々と繰り返されるものとする。
【００３０】
次に、図４〜図６を参照して、図１に示すユーザ指定対象決定部２３の動作を説明する。ユーザ指定対象決定部２３は起動されると、まず入力装置３からのポインティング信号を待つ。携帯端末８のユーザが入力装置３を用いてカメラ画像上の１点をポインティングすると、ユーザ指定対象決定部２３は、その信号とポインティングされた画像座標を読み取る。ここでユーザがモニタ装置４に表示されているカメラ画像上で入力装置３を用いて位置指定するポインティング方法の代わりに、予め定めた画像領域内に対象物が撮像されるようユーザが携帯端末８を動かし、予め定めた画像領域内に対象物が撮像された時にユーザが入力装置３を用いてボタンを押下しても良い。この例では、ポインティングされたという信号には、ボタンを押下した信号を用い、またその時のポインティングされた画像座標には、予め定めた画像領域の中心点を用いるものとしても良い。
【００３１】
次に、ユーザ指定対象決定部２３は、画像座標を中心とした予め定められた一定範囲内において、領域分割処理を実施し、得られた領域を対象物体領域とする。この領域分割処理は、例えばポインティングされた画像座標の画素と隣接する画素の画素値の類似度を評価し、類似度が高い場合は同一領域とすることを、一定範囲内に亘って繰り返すことによって実現される。この領域分割処理は、公知の処理方法を用いることができるため、ここでは詳細な説明を省略する。領域分割処理は、例えば文献「CarstenRother , Vladimir Kolmogorov , Andrew Blake:GrabCut: Interactive Foreground Extraction using Iterated Graph Cuts,ACM Transactions on Graphics,Vol.23, pp.309-314, 2004.」に記載されている方法を適用可能である。
【００３２】
図４に示すように、タッチパネル搭載型の携帯端末８に表示されたカメラ画像上でユーザが指で円柱部分に触れてポインティング指示すると、領域分割処理によって円柱部分のみが対象物体領域として図５に示すように抽出される。続いて、対象物体領域に内包される特徴点を対象物体上特徴点として決定する。この処理はカメラポーズ算出部２２において抽出される画像内の全特徴点を対象物体領域でマスク処理することによって実現される。ここでは図４に示す特徴点のうち、図６に示す特徴点０１，０２，０３，０４が対象物体領域に内包される対象物体上特徴点として決定されることになる。最後に対象物体上特徴点に対応する三次元情報をメモリ７或いはＨＤＤ６から特定し、計測点として記録しておくことにより、図６に示す計測点０１，０２，０３，０４の三次元情報が計測点として記録されることになる。
【００３３】
次に、図７〜図１２を参照して、図１に示す仮想情報付与位置決定部２４の動作を説明する。仮想情報付与位置決定部２４は、ユーザ指定対象決定部２３で決定された対象物体領域に対する仮想情報の実空間中での付与位置を算出し、決定する。この付与位置としては、一つの例では、ユーザ指定対象決定部２３でポインティング情報を受信した時のカメラ位置をカメラポーズ算出部２２によりメモリ７或いはＨＤＤ６に記録されたカメラ姿勢情報を読出し、設定することによって実現する。図８に示すようなシーンを撮影しユーザ指定対象決定部２３にて対象物体領域として円柱部分が決定された場合、図９に示す仮想情報付与位置４がカメラ位置として読み出され、仮想情報の付与位置として決定されることになる。仮想情報の付与姿勢として、カメラ位置に、ユーザ指定対象決定部２３でポインティング情報を受信した時のカメラの姿勢情報も加えても良い。
【００３４】
付与位置としての他の例では、計測点の重心位置を設定することによっても実現できる。この計測点の重心位置の算出処理は、メモリ７或いはＨＤＤ６からユーザ指定対象決定部で計測点として記録された点全ての情報を読出し、これらの座標情報から（１）式によって重心位置（Ｘｇ，Ｙｇ，Ｚｇ）を算出することによって実現する。
【数１】
【００３５】
なお、（１）式でｎは計測点の総数を、ｉは計測点を唯一に識別するＩＤを示す。図８に示すようなシーンを撮影しユーザ指定対象決定部２３にて対象物体領域として円柱部分が決定された場合、図９に示す仮想情報付与位置１が重心位置として算出され、仮想情報の付与位置として決定されることになる。仮想情報の付与姿勢として、重心位置に、ユーザ指定対象決定部でポインティング情報を受信した時のカメラの姿勢情報も加えても良い。
【００３６】
また、付与位置としての他の例では、計測点で構成される面と、カメラ位置及び重心位置を結ぶ直線との交点を設定することによっても実現できる。計測点で構成される面は、例えば、計測点全てに対して３次元のドロネー分割を行なうことにより、三角形或いは四角形で構成されるメッシュ群として作成することができる。また交点の算出は、メッシュ群とカメラ位置及び重心位置を結ぶ直線との衝突検出を行なうことによって実現できる。この衝突検出はコンピュータグラフィックス分野で用いられる従来の技術となんら変わるところはないので、ここでの詳細な説明は省略する。図８に示すようなシーンを撮影しユーザ指定対象決定部にて対象物体領域として円柱部分が決定された場合、図９に示す仮想情報付与位置２が交点位置として算出され、仮想情報の付与位置として決定されることになる。仮想情報の付与姿勢として、計測点で構成される面との交点位置に、ユーザ指定対象決定部でポインティング情報を受信した時のカメラの姿勢情報も加えても良い。
【００３７】
また、付与位置としての他の例では、計測点の外接基本形状と、カメラ位置及び重心位置を結ぶ直線との交点を設定することによっても実現できる。外接基本形状の形状を示す基本形状として予め直方体、球等指定されているものとする。外接基本形状の決定は、例えば予め基本形状が直方体と定められている時には、計測点全ての座標値Ｘ，Ｙ，Ｚ夫々の最大値と最小値を決定し、これを頂点とした直方体を構成することによって決定できる。
【００３８】
また、他の例では、例えば予め基本形状が球と定められている時には、計測点群に球のＨｏｕｇｈ変換を適用することによって、外接基本形状を決定することができる。また外接基本形状とカメラ位置及び重心位置を結ぶ直線との交点の算出は、外接基本形状とカメラ位置及び重心位置を結ぶ直線との衝突検出を行なうことによって実現できる。この衝突検出はコンピュータグラフィックス分野で用いられる従来の技術となんら変わるところはないので、ここでの詳細な説明は省略する。図８に示すようなシーンを撮影しユーザ指定対象決定部２３にて対象物体領域として円柱部分が決定された場合、図９に示す仮想情報付与位置３が交点位置として算出され、仮想情報の付与位置として決定されることになる。仮想情報の付与姿勢として、外接基本形状との交点位置に、ユーザ指定対象決定部２３でポインティング情報を受信した時のカメラの姿勢情報も加えても良い。
【００３９】
以上の方法により付与位置を決定した後に、少なくとも付与位置と仮想情報を唯一に識別するための仮想情報ＩＤと、内容とを関連付けて図７に示すような形式でメモリ７或いはＨＤＤ６に記録出力する。付与姿勢がある場合はこれも併せて関連付け記録出力する。
【００４０】
以上説明した仮想情報付与位置決定部２４で行われる処理では、ユーザが携帯端末８の入力装置３を用いてカメラ画像上の１点をポインティングした時を仮想情報の付与タイミングとして付与位置を算出する方法について説明したが、以降ではポインティングした後に、ユーザが携帯端末を時々刻々動かす時に付与タイミングを自動で決定する方法について説明する。
【００４１】
この付与タイミングの決定処理の一つの例は、ユーザが時々刻々動かす携帯端末８の最新時刻のカメラ１の投影中心位置と計測点の重心位置の両者間の距離を用いることによって実現できる。カメラ１の投影中心位置は、カメラポーズ算出部２２でメモリ７或いはＨＤＤ６に記録された最新時刻のカメラ姿勢情報を読出し、このカメラ姿勢情報のうちカメラ位置をカメラ１の投影中心位置とすることによって決定できる。また計測点の重心位置は、仮想情報の付与位置の決定処理で説明した方法と同様に算出できる。付与タイミングは、最新時刻のカメラの投影中心位置と計測点の重心位置の両者間の距離を近接判定用距離ｄとすると、この近接判定用距離ｄが予め定められた閾値より小さくなった時として決定することによって実現できる。図８に示すようなシーンを撮影しユーザ指定対象決定部２３にて対象物体領域として円柱部分が決定され、かつ最新時刻のカメラの投影中心位置が図８中○で示す位置の場合、図８中で示す近接判定用距離ｄが閾値より小さくなった時刻が付与タイミングとして決定されることになる。仮想情報の付与位置及び姿勢の算出は、前述したユーザが携帯端末８の入力装置３を用いてカメラ画像上の１点をポインティングした時の付与位置及び姿勢の算出方法と何ら変わるところはないのでここでの詳細な説明は省略する。
【００４２】
この付与タイミングの決定処理の他の例は、ユーザが時々刻々動かす携帯端末８のカメラの投影中心位置の最新時刻ｔと前時刻ｔ−１での速度を用いることによって実現できる。両時刻のカメラ１の投影中心位置は、カメラポーズ算出部２２でメモリ７或いはＨＤＤ６に記録された最新時刻のカメラ姿勢情報を読出し、このカメラ姿勢情報のうちカメラ位置をカメラ１の投影中心位置とすることによって決定できる。付与タイミングは、最新時刻ｔのカメラの投影中心位置と前時刻ｔのカメラの投影中心と、両時刻間のΔｔから、カメラ１の投影中心位置の位置変化の速度ｖ→（→はｖの頭に付く）を算出し、この速度ｖ→（→はｖの頭に付く）の大きさが予め定められた閾値より大きくなった時として決定することによって実現できる。図８に示すようなシーンを撮影し、ユーザ指定対象決定部２３にて対象物体領域として円柱部分が決定されており、図１０に示すように前時刻ｔ−１の時に携帯端末８でシーンを撮影し、Δｔ後である最新時刻ｔの時に当該携帯端末が図１１に示す位置に存在する場合、図１２中に示す速度ベクトルｖ→（→はｖの頭に付く）が閾値より大きくなった最新時刻ｔが付与タイミングとして決定されることになる。
【００４３】
仮想情報付与位置の算出は、カメラ１の投影中心位置の位置変化の速度ｖ→（→はｖの頭に付く）と引力に基づく重力の値から実空間内でのカメラの投影中心位置の最新時刻ｔ以降の予測軌跡を算出し、この予測軌跡と実空間の地面平面もしくは、この予測軌跡と、最新時刻ｔのカメラ投影中心位置と計測点の重心位置の両者間を結ぶ直線を含む平面群のうち当該平面の法線ベクトルと実空間に属す地平面の両法線ベクトルとの内積値を最大とする唯一の平面との交点を算出することによって決定できる。図１２に示す例の場合、仮想情報付与位置５が予測軌跡と最新時刻ｔのカメラ投影中心位置と計測点の重心位置の両者間を結ぶ直線との交点位置として算出され、仮想情報の付与位置として決定されることになる。仮想情報の付与姿勢として、外接基本形状との交点位置に、ユーザ指定対象決定部２３でポインティング情報を受信した時のカメラ１の姿勢情報も加えても良い。加えて、仮想情報の付与位置及び姿勢として、前述したユーザが携帯端末８の入力装置３を用いてカメラ画像上の１点をポインティングした時の付与位置及び姿勢の算出方法に基づいて決定しても良い。この方法は前述しているため、ここでの詳細な説明は省略する。
【００４４】
以上、本発明を実施形態例に基づき具体的に説明したが、上記実施の形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或は範囲を減縮する様に解すべきではない。又、本発明の各部構成は上記実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
【００４５】
以上説明したように、撮影したカメラ画像からユーザと対象物までの距離を計測するため、正確に仮想情報の付与位置を決定することが可能になる。また、撮影したカメラ画像から時々刻々算出されるカメラ姿勢情報を用いて仮想情報付与位置を算出し決定するため、直感的で誤操作の可能性が少ない仮想情報の付与位置決定が可能になる。
【００４６】
なお、図１に示す仮想情報付与装置２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより仮想情報付与処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００４８】
カメラ等の撮像装置によって撮影された施設や場所に関する仮想情報を付与することが不可欠な用途にも適用できる。
【符号の説明】
【００４９】
１・・・カメラ、２・・・仮想情報付与装置、２１・・・カメラ画像入力部、２２・・・カメラポーズ算出部、２３・・・ユーザ指定対象決定部、２４・・・仮想情報付与位置決定部、３・・・入力装置、４・・・モニタ装置、５・・・ＣＰＵ、６・・・ＨＤＤ、７・・・メモリ
【技術分野】
【０００１】
本発明は、カメラ等の撮像装置によって撮影された施設や場所に関する仮想情報を付与する仮想情報付与装置及び仮想情報付与プログラムに関する。
【背景技術】
【０００２】
仮想画像や映像と現実世界のキャプチャ画像や映像との組み合わせは、一般に、拡張現実（Augmented Reality）と呼ばれる。拡張現実システムは、様々な状況において利用されている。例えば、ユーザが保有する携帯電話などの携帯情報機器に設けられている携帯電話の位置、向きを計測したセンサ情報を管理サーバに送ることにより、実空間の位置に関連付けて保存された仮想情報を取得し、携帯電話のモニタ上に表示する技術が提案されている。仮想情報に対して実空間中の位置を付与してハードディスク等に保存する方法には、予め手入力により実施する方法や、ユーザが携帯電話を利用している位置を用いる方法等がある。これらの方法は手間がかかったり、利用者の位置と、ユーザが観測した仮想情報を付与したいと所望する対象の位置とに乖離が生じるといった問題がある。
【０００３】
そこでこの乖離を無くす技術も提案されている。例えば、現在のユーザ位置から仮想情報を付与したい実空間中の位置までの距離をユーザが目測による決定する作業を、仮想空間内でモニタ奥方向に仮想情報を動かした際の見た目のサイズ変化やその仮想情報が予め定めた平面に投影する影などをイメージング・デバイスで撮像された画像上に合成し、この合成画像を携帯端末のモニタ上に表示することで支援し、仮想情報を付与する実空間中の位置を決定しているものがある（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Jason Wither and Tobias Hollerer：Evaluating Techniques for Interaction at a Distance, In Proc. International Symposium on Wearable Computers, November 2004.
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術にあっては、現在のユーザ位置から仮想情報を付与したい実空間中の位置までの距離をユーザが目測で決定することから、正確な仮想情報付与位置の決定が困難であるという問題がある。加えて、ユーザは携帯端末のモニタ上での確認のみで仮想情報付与位置を指定するため、実世界でメモ情報付与等に用いられる付箋との付与位置指定方法が異なり、ユーザがシステム操作する上で直感性に欠け誤操作を招く可能性があるという問題もある。
【０００６】
本発明は、このような事情に鑑みてなされたもので、仮想情報付与装置において、カメラ等のイメージング・デバイスを介してユーザが観測する実空間中の対象物に関する仮想情報の付与位置を、正確に決定することができる仮想情報付与装置及び仮想情報付与プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、撮像装置によって撮影された対象物に関する仮想情報を該対象物に対して付与する仮想情報付与装置であって、前記撮像装置から出力される最新時刻の画像を入力する画像入力手段と、入力した前記画像から特徴点群を抽出し、当該特徴点群を用いて前記撮像装置の位置及び姿勢を示す姿勢情報と、前記特徴点の三次元情報を算出する位置姿勢算出手段と、前記画像上で位置指定されたポインティング情報を入力し、前記画像を構成する画素値を用いた領域分割処理によって仮想情報付与を所望する対象の物体領域を決定し、当該物体領域に内包される前記特徴点群を前記位置姿勢算出手段で抽出した特徴点群に対し物体領域をマスク処理することによって選択し、当該物体領域に内包される特徴点群に対応する三次元情報である計測点群を決定する指定対象決定手段と、前記位置姿勢算出手段において算出された前記姿勢情報と、前記計測点群とから、前記仮想情報を付与する実空間中での位置を決定する仮想情報付与位置決定手段とを備えることを特徴とする。
【０００８】
本発明は、前記仮想情報付与位置決定手段は、仮想情報を付与する実空間中での位置を、前記位置姿勢算出手段で算出した姿勢情報における撮像装置位置として決定することを特徴とする。
【０００９】
本発明は、仮想情報付与位置決定手段は、仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された前記計測点群の重心位置を算出することによって決定することを特徴とする。
【００１０】
本発明は、仮想情報付与位置決定手段は、仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された計測点群で構成される面と、前記位置姿勢算出手段で算出された前記姿勢情報の撮像装置位置及び計測点群から算出した重心位置とを結ぶ直線との交点を算出することによって決定することを特徴とする。
【００１１】
本発明は、仮想情報付与位置決定手段は、仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された計測点群から実空間に張る３軸ごとに最大値、最小値を算出し、当該値を予め直方体として定められた基本形状の頂点座標として用いることによって決定される計測点群の外接基本形状と、前記位置姿勢算出手段で算出された姿勢情報の撮像装置位置及び計測点群から算出した重心位置とを結ぶ直線との交点を算出することによって決定することを特徴とする。
【００１２】
本発明は、仮想情報付与位置決定手段は、仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された計測点群に球を当て嵌めることによって決定される計測点群の外接基本形状と、前記位置姿勢算出手段で算出された姿勢情報の撮像装置位置及び計測点群から算出した重心位置とを結ぶ直線との交点を算出することによって決定することを特徴とする。
【００１３】
本発明は、仮想情報付与位置決定手段は、前記撮像装置が時々刻々動く場合に、前記位置姿勢算出手段で算出する最新時刻の姿勢情報の撮像装置位置と、前記指定対象決定手段で算出される計測点群から算出した重心位置との両者間のユークリッド距離を算出し、当該ユークリッド距離が予め定められた閾値を下回った時の時刻を前記仮想情報を付与する時刻とすることを特徴とする。
【００１４】
本発明は、仮想情報付与位置決定手段は、前記撮像装置が時々刻々動く場合に、前記位置姿勢算出手段で算出する最新時刻と前時刻の前記姿勢情報の撮像装置位置から速度を算出し、当該速度が予め定められた閾値を上回った時刻を前記仮想情報を付与する時刻とすることを特徴とする。
【００１５】
本発明は、仮想情報付与位置決定手段は、前記位置姿勢算出手段で算出された最新時刻と前時刻の姿勢情報の撮像装置位置から算出する速度と、予め定められた重力の値から、最新時刻以降の撮像装置位置の実空間内での予測軌跡を算出し、最新時刻の撮像装置位置と前記指定対象決定手段で算出された計測点群から算出した重心位置の両者間を結ぶ直線を含む平面群から、当該平面群と実空間に属する地平面の両法線ベクトルとの内積値を最大とする唯一の平面を決定し、当該平面と予測軌跡との交点を算出することによって前記仮想情報を付与する実空間中での位置を決定することを特徴とする。
【００１６】
本発明は、仮想情報付与位置決定手段には、前記位置姿勢算出手段で算出された最新時刻と前時刻の姿勢情報の撮像装置位置から算出する速度と、予め定められた重力の値から、最新時刻以降のカメラ位置の実空間内での予測軌跡を算出し、当該予測軌跡と、実空間に属する地平面との交点を算出することによって前記仮想情報を付与する実空間中での位置を決定することを特徴とする。
【００１７】
本発明は、仮想情報付与位置決定手段は、仮想情報を付与する実空間中での姿勢を、前記位置姿勢算出手段で算出した姿勢情報における撮像装置姿勢として決定することを特徴とする。
【００１８】
本発明は、撮像装置によって撮影された対象物に関する仮想情報を該対象物に対して付与する仮想情報付与装置上のコンピュータに仮想情報付与処理を行わせる仮想情報付与プログラムであって、前記撮像装置から出力される最新時刻の画像を入力する画像入力ステップと、入力した前記画像から特徴点群を抽出し、当該特徴点群を用いて前記撮像装置の位置及び姿勢を示す姿勢情報と、前記特徴点の三次元情報を算出する姿勢算出ステップと、前記画像上で位置指定されたポインティング情報を入力し、前記画像を構成する画素値を用いた領域分割処理によって仮想情報付与を所望する対象の物体領域を決定し、当該物体領域に内包される前記特徴点群を前記姿勢算出ステップで抽出した特徴点群に対し物体領域をマスク処理することによって選択し、当該物体領域に内包される特徴点群に対応する三次元情報である計測点群を決定する指定対象決定ステップと、前記姿勢算出ステップにおいて算出された前記姿勢情報と、前記計測点群とから、前記仮想情報を付与する実空間中での位置を決定する仮想情報付与位置決定ステップとを前記コンピュータに行わせることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、撮影したカメラ画像からユーザと対象物までの距離を計測するため、正確に仮想情報の付与位置を決定することが可能になる。また、撮影したカメラ画像から時々刻々算出されるカメラ姿勢情報を用いて仮想情報付与位置を算出し決定するため、直感的で誤操作の可能性が少ない仮想情報の付与位置決定が可能になるという効果が得られる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図３】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図４】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図５】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図６】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図７】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図８】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図９】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図１０】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図１１】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【図１２】図１に示す仮想情報付与装置の処理を説明するための説明図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本発明の一実施形態による仮想情報付与装置を説明する。図１は同実施形態の構成を示すブロック図である。この図において、符号１は、対象となる３次元シーンを撮像して画像データを出力するカメラであり、例えば、ＣＣＤ（Charge-Coupled Device）カメラ、ＣＭＯＳカメラ（Complementary Mental-Oxide Semiconductor）などが適用できる。符号２は、カメラ１が出力する画像データを入力して、仮想情報を付与する仮想情報付与装置である。
【００２２】
符号３は、ユーザからの文字や音声による入力を行う入力装置であり、例えばキーボード、マウス、コントローラ、マイクなどで構成する。符号４は、画像データの表示や仮想情報が付与された画像を表示するモニタ装置であり、例えば、ＴＦＴ液晶ディスプレイモジュールなどで構成する。入力装置３と出力装置４は、入力機能と出力機能が一体化したタッチパネルによって構成されても良い。
【００２３】
符号５は、仮想情報付与装置２における様々な演算処理を行なう少なくとも１つの中央演算処理装置（ＣＰＵ）である。符号６は、仮想情報付与装置２における様々なデータを格納する記録媒体であるハードディスク（ＨＤＤ）である。符号７は、仮想情報付与装置２における様々なデータを格納する記録媒体であるメモリである。ＣＰＵ５、ＨＤＤ６及びメモリ７は、仮想情報付与装置２本体に内蔵されても良いし、仮想情報付与装置本体の外部に備えられても良い。
【００２４】
符号２１は、カメラ１が撮像した最新の画像データを入力するカメラ画像入力部である。符号２２は、カメラ画像入力部２１が入力した画像データ内の特徴点を用いてカメラの位置、姿勢を示すカメラポーズと特徴点の三次元情報を算出してカメラポーズや計測された特徴点の三次元情報をＨＤＤ６やメモリ７に記憶するカメラポーズ算出部である。
【００２５】
符号２３は、入力装置３により入力したユーザのポインティング情報を、対象物体領域とこの物体領域に内包される特徴点の三次元情報を決定するユーザ指定対象決定部である。符号２４は、カメラポーズ算出部２２から出力されるカメラポーズと、ユーザ指定対象決定部２３から出力される物体領域に内包される特徴点の三次元情報とから、仮想情報を付与する位置を決定する仮想情報付与位置決定部である。
【００２６】
次に、図２〜図１２を参照して、図１に示す仮想情報付与装置２の動作を説明する。ここでは、図１に示す装置が携帯端末に搭載されているものとし、図２に示すように携帯端末８に搭載されたカメラ２で撮影する実空間に属す物体９に対し、携帯端末８上で作成した仮想情報を物体９が写っている位置の近傍に表示することによって、図３に示すように別の場所に配された携帯端末８からも参照、観測する動作を説明する。
【００２７】
まず、カメラ画像入力部２１は、携帯端末８に搭載されたカメラ１から現時刻において撮像された最新の画像データを入力して、カメラポーズ算出部２２へ出力する。これを受けて、カメラポーズ算出部２２は、カメラ画像入力部２１から出力された画像データを入力し、この画像データから画像上の角や交点となる特徴点を抽出する。続いて、カメラポーズ算出部２２は、抽出した特徴点情報を用いて撮影対象の三次元情報とカメラの位置・姿勢であるカメラ姿勢情報（カメラポーズ）を求める。
【００２８】
この処理は公知の方法（例えば、文献「佐藤智和、池谷彰彦、池田聖、神原誠之、中島昇、横矢直和：動画像からの三次元復元による湾曲した紙面のビデオモザイキング，信学論（Ｄ），Vol.J90-D, No.8, pp.1900-1911, 2007.」）を用いてカメラ姿勢情報を求める。この処理で必要となる撮影対象の三次元情報とカメラの位置・姿勢を示すカメラ姿勢情報の初期値には、例えば対象の三次元情報には平面、カメラ姿勢情報には平面に正対するような姿勢を設定すれば良い。カメラポーズ算出部２２では算出した撮影対象の三次元座標と、各時刻のカメラ姿勢情報及び画像上の特徴点をメモリ７或いはＨＤＤ６に記憶する。
【００２９】
なお、カメラポーズ算出部２２において求まるカメラ位置は計測開始点からの相対位置であるため、計測開始点を実空間内で唯一の場所を示す絶対位置とするため、携帯端末８に絶対位置を計測可能なＧＰＳ（全地球測位システム）を具備し、この出力を用いても良い。この計測開始点の座標を絶対位置とする処理によって、計測開始以降時々刻々のカメラポーズ算出部２２において求まるカメラ位置も絶対位置となる。ここでは、カメラ画像入力部２１と、カメラポーズ算出部２２における処理は、時々刻々と繰り返されるものとする。
【００３０】
次に、図４〜図６を参照して、図１に示すユーザ指定対象決定部２３の動作を説明する。ユーザ指定対象決定部２３は起動されると、まず入力装置３からのポインティング信号を待つ。携帯端末８のユーザが入力装置３を用いてカメラ画像上の１点をポインティングすると、ユーザ指定対象決定部２３は、その信号とポインティングされた画像座標を読み取る。ここでユーザがモニタ装置４に表示されているカメラ画像上で入力装置３を用いて位置指定するポインティング方法の代わりに、予め定めた画像領域内に対象物が撮像されるようユーザが携帯端末８を動かし、予め定めた画像領域内に対象物が撮像された時にユーザが入力装置３を用いてボタンを押下しても良い。この例では、ポインティングされたという信号には、ボタンを押下した信号を用い、またその時のポインティングされた画像座標には、予め定めた画像領域の中心点を用いるものとしても良い。
【００３１】
次に、ユーザ指定対象決定部２３は、画像座標を中心とした予め定められた一定範囲内において、領域分割処理を実施し、得られた領域を対象物体領域とする。この領域分割処理は、例えばポインティングされた画像座標の画素と隣接する画素の画素値の類似度を評価し、類似度が高い場合は同一領域とすることを、一定範囲内に亘って繰り返すことによって実現される。この領域分割処理は、公知の処理方法を用いることができるため、ここでは詳細な説明を省略する。領域分割処理は、例えば文献「CarstenRother , Vladimir Kolmogorov , Andrew Blake:GrabCut: Interactive Foreground Extraction using Iterated Graph Cuts,ACM Transactions on Graphics,Vol.23, pp.309-314, 2004.」に記載されている方法を適用可能である。
【００３２】
図４に示すように、タッチパネル搭載型の携帯端末８に表示されたカメラ画像上でユーザが指で円柱部分に触れてポインティング指示すると、領域分割処理によって円柱部分のみが対象物体領域として図５に示すように抽出される。続いて、対象物体領域に内包される特徴点を対象物体上特徴点として決定する。この処理はカメラポーズ算出部２２において抽出される画像内の全特徴点を対象物体領域でマスク処理することによって実現される。ここでは図４に示す特徴点のうち、図６に示す特徴点０１，０２，０３，０４が対象物体領域に内包される対象物体上特徴点として決定されることになる。最後に対象物体上特徴点に対応する三次元情報をメモリ７或いはＨＤＤ６から特定し、計測点として記録しておくことにより、図６に示す計測点０１，０２，０３，０４の三次元情報が計測点として記録されることになる。
【００３３】
次に、図７〜図１２を参照して、図１に示す仮想情報付与位置決定部２４の動作を説明する。仮想情報付与位置決定部２４は、ユーザ指定対象決定部２３で決定された対象物体領域に対する仮想情報の実空間中での付与位置を算出し、決定する。この付与位置としては、一つの例では、ユーザ指定対象決定部２３でポインティング情報を受信した時のカメラ位置をカメラポーズ算出部２２によりメモリ７或いはＨＤＤ６に記録されたカメラ姿勢情報を読出し、設定することによって実現する。図８に示すようなシーンを撮影しユーザ指定対象決定部２３にて対象物体領域として円柱部分が決定された場合、図９に示す仮想情報付与位置４がカメラ位置として読み出され、仮想情報の付与位置として決定されることになる。仮想情報の付与姿勢として、カメラ位置に、ユーザ指定対象決定部２３でポインティング情報を受信した時のカメラの姿勢情報も加えても良い。
【００３４】
付与位置としての他の例では、計測点の重心位置を設定することによっても実現できる。この計測点の重心位置の算出処理は、メモリ７或いはＨＤＤ６からユーザ指定対象決定部で計測点として記録された点全ての情報を読出し、これらの座標情報から（１）式によって重心位置（Ｘｇ，Ｙｇ，Ｚｇ）を算出することによって実現する。
【数１】
【００３５】
なお、（１）式でｎは計測点の総数を、ｉは計測点を唯一に識別するＩＤを示す。図８に示すようなシーンを撮影しユーザ指定対象決定部２３にて対象物体領域として円柱部分が決定された場合、図９に示す仮想情報付与位置１が重心位置として算出され、仮想情報の付与位置として決定されることになる。仮想情報の付与姿勢として、重心位置に、ユーザ指定対象決定部でポインティング情報を受信した時のカメラの姿勢情報も加えても良い。
【００３６】
また、付与位置としての他の例では、計測点で構成される面と、カメラ位置及び重心位置を結ぶ直線との交点を設定することによっても実現できる。計測点で構成される面は、例えば、計測点全てに対して３次元のドロネー分割を行なうことにより、三角形或いは四角形で構成されるメッシュ群として作成することができる。また交点の算出は、メッシュ群とカメラ位置及び重心位置を結ぶ直線との衝突検出を行なうことによって実現できる。この衝突検出はコンピュータグラフィックス分野で用いられる従来の技術となんら変わるところはないので、ここでの詳細な説明は省略する。図８に示すようなシーンを撮影しユーザ指定対象決定部にて対象物体領域として円柱部分が決定された場合、図９に示す仮想情報付与位置２が交点位置として算出され、仮想情報の付与位置として決定されることになる。仮想情報の付与姿勢として、計測点で構成される面との交点位置に、ユーザ指定対象決定部でポインティング情報を受信した時のカメラの姿勢情報も加えても良い。
【００３７】
また、付与位置としての他の例では、計測点の外接基本形状と、カメラ位置及び重心位置を結ぶ直線との交点を設定することによっても実現できる。外接基本形状の形状を示す基本形状として予め直方体、球等指定されているものとする。外接基本形状の決定は、例えば予め基本形状が直方体と定められている時には、計測点全ての座標値Ｘ，Ｙ，Ｚ夫々の最大値と最小値を決定し、これを頂点とした直方体を構成することによって決定できる。
【００３８】
また、他の例では、例えば予め基本形状が球と定められている時には、計測点群に球のＨｏｕｇｈ変換を適用することによって、外接基本形状を決定することができる。また外接基本形状とカメラ位置及び重心位置を結ぶ直線との交点の算出は、外接基本形状とカメラ位置及び重心位置を結ぶ直線との衝突検出を行なうことによって実現できる。この衝突検出はコンピュータグラフィックス分野で用いられる従来の技術となんら変わるところはないので、ここでの詳細な説明は省略する。図８に示すようなシーンを撮影しユーザ指定対象決定部２３にて対象物体領域として円柱部分が決定された場合、図９に示す仮想情報付与位置３が交点位置として算出され、仮想情報の付与位置として決定されることになる。仮想情報の付与姿勢として、外接基本形状との交点位置に、ユーザ指定対象決定部２３でポインティング情報を受信した時のカメラの姿勢情報も加えても良い。
【００３９】
以上の方法により付与位置を決定した後に、少なくとも付与位置と仮想情報を唯一に識別するための仮想情報ＩＤと、内容とを関連付けて図７に示すような形式でメモリ７或いはＨＤＤ６に記録出力する。付与姿勢がある場合はこれも併せて関連付け記録出力する。
【００４０】
以上説明した仮想情報付与位置決定部２４で行われる処理では、ユーザが携帯端末８の入力装置３を用いてカメラ画像上の１点をポインティングした時を仮想情報の付与タイミングとして付与位置を算出する方法について説明したが、以降ではポインティングした後に、ユーザが携帯端末を時々刻々動かす時に付与タイミングを自動で決定する方法について説明する。
【００４１】
この付与タイミングの決定処理の一つの例は、ユーザが時々刻々動かす携帯端末８の最新時刻のカメラ１の投影中心位置と計測点の重心位置の両者間の距離を用いることによって実現できる。カメラ１の投影中心位置は、カメラポーズ算出部２２でメモリ７或いはＨＤＤ６に記録された最新時刻のカメラ姿勢情報を読出し、このカメラ姿勢情報のうちカメラ位置をカメラ１の投影中心位置とすることによって決定できる。また計測点の重心位置は、仮想情報の付与位置の決定処理で説明した方法と同様に算出できる。付与タイミングは、最新時刻のカメラの投影中心位置と計測点の重心位置の両者間の距離を近接判定用距離ｄとすると、この近接判定用距離ｄが予め定められた閾値より小さくなった時として決定することによって実現できる。図８に示すようなシーンを撮影しユーザ指定対象決定部２３にて対象物体領域として円柱部分が決定され、かつ最新時刻のカメラの投影中心位置が図８中○で示す位置の場合、図８中で示す近接判定用距離ｄが閾値より小さくなった時刻が付与タイミングとして決定されることになる。仮想情報の付与位置及び姿勢の算出は、前述したユーザが携帯端末８の入力装置３を用いてカメラ画像上の１点をポインティングした時の付与位置及び姿勢の算出方法と何ら変わるところはないのでここでの詳細な説明は省略する。
【００４２】
この付与タイミングの決定処理の他の例は、ユーザが時々刻々動かす携帯端末８のカメラの投影中心位置の最新時刻ｔと前時刻ｔ−１での速度を用いることによって実現できる。両時刻のカメラ１の投影中心位置は、カメラポーズ算出部２２でメモリ７或いはＨＤＤ６に記録された最新時刻のカメラ姿勢情報を読出し、このカメラ姿勢情報のうちカメラ位置をカメラ１の投影中心位置とすることによって決定できる。付与タイミングは、最新時刻ｔのカメラの投影中心位置と前時刻ｔのカメラの投影中心と、両時刻間のΔｔから、カメラ１の投影中心位置の位置変化の速度ｖ→（→はｖの頭に付く）を算出し、この速度ｖ→（→はｖの頭に付く）の大きさが予め定められた閾値より大きくなった時として決定することによって実現できる。図８に示すようなシーンを撮影し、ユーザ指定対象決定部２３にて対象物体領域として円柱部分が決定されており、図１０に示すように前時刻ｔ−１の時に携帯端末８でシーンを撮影し、Δｔ後である最新時刻ｔの時に当該携帯端末が図１１に示す位置に存在する場合、図１２中に示す速度ベクトルｖ→（→はｖの頭に付く）が閾値より大きくなった最新時刻ｔが付与タイミングとして決定されることになる。
【００４３】
仮想情報付与位置の算出は、カメラ１の投影中心位置の位置変化の速度ｖ→（→はｖの頭に付く）と引力に基づく重力の値から実空間内でのカメラの投影中心位置の最新時刻ｔ以降の予測軌跡を算出し、この予測軌跡と実空間の地面平面もしくは、この予測軌跡と、最新時刻ｔのカメラ投影中心位置と計測点の重心位置の両者間を結ぶ直線を含む平面群のうち当該平面の法線ベクトルと実空間に属す地平面の両法線ベクトルとの内積値を最大とする唯一の平面との交点を算出することによって決定できる。図１２に示す例の場合、仮想情報付与位置５が予測軌跡と最新時刻ｔのカメラ投影中心位置と計測点の重心位置の両者間を結ぶ直線との交点位置として算出され、仮想情報の付与位置として決定されることになる。仮想情報の付与姿勢として、外接基本形状との交点位置に、ユーザ指定対象決定部２３でポインティング情報を受信した時のカメラ１の姿勢情報も加えても良い。加えて、仮想情報の付与位置及び姿勢として、前述したユーザが携帯端末８の入力装置３を用いてカメラ画像上の１点をポインティングした時の付与位置及び姿勢の算出方法に基づいて決定しても良い。この方法は前述しているため、ここでの詳細な説明は省略する。
【００４４】
以上、本発明を実施形態例に基づき具体的に説明したが、上記実施の形態の説明は、本発明を説明するためのものであって、特許請求の範囲に記載の発明を限定し、或は範囲を減縮する様に解すべきではない。又、本発明の各部構成は上記実施の形態に限らず、特許請求の範囲に記載の技術的範囲内で種々の変形が可能であることは勿論である。
【００４５】
以上説明したように、撮影したカメラ画像からユーザと対象物までの距離を計測するため、正確に仮想情報の付与位置を決定することが可能になる。また、撮影したカメラ画像から時々刻々算出されるカメラ姿勢情報を用いて仮想情報付与位置を算出し決定するため、直感的で誤操作の可能性が少ない仮想情報の付与位置決定が可能になる。
【００４６】
なお、図１に示す仮想情報付与装置２の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより仮想情報付与処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【００４７】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【産業上の利用可能性】
【００４８】
カメラ等の撮像装置によって撮影された施設や場所に関する仮想情報を付与することが不可欠な用途にも適用できる。
【符号の説明】
【００４９】
１・・・カメラ、２・・・仮想情報付与装置、２１・・・カメラ画像入力部、２２・・・カメラポーズ算出部、２３・・・ユーザ指定対象決定部、２４・・・仮想情報付与位置決定部、３・・・入力装置、４・・・モニタ装置、５・・・ＣＰＵ、６・・・ＨＤＤ、７・・・メモリ
【特許請求の範囲】
【請求項１】
撮像装置によって撮影された対象物に関する仮想情報を該対象物に対して付与する仮想情報付与装置であって、
前記撮像装置から出力される最新時刻の画像を入力する画像入力手段と、
入力した前記画像から特徴点群を抽出し、当該特徴点群を用いて前記撮像装置の位置及び姿勢を示す姿勢情報と、前記特徴点の三次元情報を算出する位置姿勢算出手段と、
前記画像上で位置指定されたポインティング情報を入力し、前記画像を構成する画素値を用いた領域分割処理によって仮想情報付与を所望する対象の物体領域を決定し、当該物体領域に内包される前記特徴点群を前記位置姿勢算出手段で抽出した特徴点群に対し物体領域をマスク処理することによって選択し、当該物体領域に内包される特徴点群に対応する三次元情報である計測点群を決定する指定対象決定手段と、
前記位置姿勢算出手段において算出された前記姿勢情報と、前記計測点群とから、前記仮想情報を付与する実空間中での位置を決定する仮想情報付与位置決定手段と
を備えることを特徴とする仮想情報付与装置。
【請求項２】
前記仮想情報付与位置決定手段は、
仮想情報を付与する実空間中での位置を、前記位置姿勢算出手段で算出した姿勢情報における撮像装置位置として決定することを特徴とする請求項１記載の仮想情報付与装置。
【請求項３】
前記仮想情報付与位置決定手段は、
仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された前記計測点群の重心位置を算出することによって決定することを特徴とする請求項１記載の仮想情報付与装置。
【請求項４】
前記仮想情報付与位置決定手段は、
仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された計測点群で構成される面と、
前記位置姿勢算出手段で算出された前記姿勢情報の撮像装置位置及び計測点群から算出した重心位置とを結ぶ直線との交点を算出することによって決定することを特徴とする請求項１記載の仮想情報付与装置。
【請求項５】
前記仮想情報付与位置決定手段は、
仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された計測点群から実空間に張る３軸ごとに最大値、最小値を算出し、当該値を予め直方体として定められた基本形状の頂点座標として用いることによって決定される計測点群の外接基本形状と、前記位置姿勢算出手段で算出された姿勢情報の撮像装置位置及び計測点群から算出した重心位置とを結ぶ直線との交点を算出することによって決定することを特徴とする請求項１記載の仮想情報付与装置。
【請求項６】
前記仮想情報付与位置決定手段は、
仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された計測点群に球を当て嵌めることによって決定される計測点群の外接基本形状と、前記位置姿勢算出手段で算出された姿勢情報の撮像装置位置及び計測点群から算出した重心位置とを結ぶ直線との交点を算出することによって決定することを特徴とする請求項１記載の仮想情報付与装置。
【請求項７】
前記仮想情報付与位置決定手段は、
前記撮像装置が時々刻々動く場合に、前記位置姿勢算出手段で算出する最新時刻の姿勢情報の撮像装置位置と、前記指定対象決定手段で算出される計測点群から算出した重心位置との両者間のユークリッド距離を算出し、当該ユークリッド距離が予め定められた閾値を下回った時の時刻を前記仮想情報を付与する時刻とすることを特徴とする請求項１から請求項６にいずれかに記載の仮想情報付与装置。
【請求項８】
前記仮想情報付与位置決定手段は、
前記撮像装置が時々刻々動く場合に、前記位置姿勢算出手段で算出する最新時刻と前時刻の前記姿勢情報の撮像装置位置から速度を算出し、当該速度が予め定められた閾値を上回った時刻を前記仮想情報を付与する時刻とすることを特徴とする請求項１から請求項６のいずれかに記載の仮想情報付与装置。
【請求項９】
前記仮想情報付与位置決定手段は、
前記位置姿勢算出手段で算出された最新時刻と前時刻の姿勢情報の撮像装置位置から算出する速度と、予め定められた重力の値から、最新時刻以降の撮像装置位置の実空間内での予測軌跡を算出し、最新時刻の撮像装置位置と前記指定対象決定手段で算出された計測点群から算出した重心位置の両者間を結ぶ直線を含む平面群から、当該平面群と実空間に属する地平面の両法線ベクトルとの内積値を最大とする唯一の平面を決定し、当該平面と予測軌跡との交点を算出することによって前記仮想情報を付与する実空間中での位置を決定することを特徴とする請求項１または請求項８に記載の仮想情報付与装置。
【請求項１０】
前記仮想情報付与位置決定手段は、
前記位置姿勢算出手段で算出された最新時刻と前時刻の姿勢情報の撮像装置位置から算出する速度と、予め定められた重力の値から、最新時刻以降のカメラ位置の実空間内での予測軌跡を算出し、当該予測軌跡と、実空間に属する地平面との交点を算出することによって前記仮想情報を付与する実空間中での位置を決定することを特徴とする請求項１または請求項８に記載の仮想情報付与装置。
【請求項１１】
前記仮想情報付与位置決定手段は、
仮想情報を付与する実空間中での姿勢を、前記位置姿勢算出手段で算出した姿勢情報における撮像装置姿勢として決定することを特徴とする請求項１から請求項１０のいずれかに記載の仮想情報付与装置。
【請求項１２】
撮像装置によって撮影された対象物に関する仮想情報を該対象物に対して付与する仮想情報付与装置上のコンピュータに仮想情報付与処理を行わせる仮想情報付与プログラムであって、
前記撮像装置から出力される最新時刻の画像を入力する画像入力ステップと、
入力した前記画像から特徴点群を抽出し、当該特徴点群を用いて前記撮像装置の位置及び姿勢を示す姿勢情報と、前記特徴点の三次元情報を算出する姿勢算出ステップと、
前記画像上で位置指定されたポインティング情報を入力し、前記画像を構成する画素値を用いた領域分割処理によって仮想情報付与を所望する対象の物体領域を決定し、当該物体領域に内包される前記特徴点群を前記姿勢算出ステップで抽出した特徴点群に対し物体領域をマスク処理することによって選択し、当該物体領域に内包される特徴点群に対応する三次元情報である計測点群を決定する指定対象決定ステップと、
前記姿勢算出ステップにおいて算出された前記姿勢情報と、前記計測点群とから、前記仮想情報を付与する実空間中での位置を決定する仮想情報付与位置決定ステップと
を前記コンピュータに行わせることを特徴とする仮想情報付与プログラム。
【請求項１】
撮像装置によって撮影された対象物に関する仮想情報を該対象物に対して付与する仮想情報付与装置であって、
前記撮像装置から出力される最新時刻の画像を入力する画像入力手段と、
入力した前記画像から特徴点群を抽出し、当該特徴点群を用いて前記撮像装置の位置及び姿勢を示す姿勢情報と、前記特徴点の三次元情報を算出する位置姿勢算出手段と、
前記画像上で位置指定されたポインティング情報を入力し、前記画像を構成する画素値を用いた領域分割処理によって仮想情報付与を所望する対象の物体領域を決定し、当該物体領域に内包される前記特徴点群を前記位置姿勢算出手段で抽出した特徴点群に対し物体領域をマスク処理することによって選択し、当該物体領域に内包される特徴点群に対応する三次元情報である計測点群を決定する指定対象決定手段と、
前記位置姿勢算出手段において算出された前記姿勢情報と、前記計測点群とから、前記仮想情報を付与する実空間中での位置を決定する仮想情報付与位置決定手段と
を備えることを特徴とする仮想情報付与装置。
【請求項２】
前記仮想情報付与位置決定手段は、
仮想情報を付与する実空間中での位置を、前記位置姿勢算出手段で算出した姿勢情報における撮像装置位置として決定することを特徴とする請求項１記載の仮想情報付与装置。
【請求項３】
前記仮想情報付与位置決定手段は、
仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された前記計測点群の重心位置を算出することによって決定することを特徴とする請求項１記載の仮想情報付与装置。
【請求項４】
前記仮想情報付与位置決定手段は、
仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された計測点群で構成される面と、
前記位置姿勢算出手段で算出された前記姿勢情報の撮像装置位置及び計測点群から算出した重心位置とを結ぶ直線との交点を算出することによって決定することを特徴とする請求項１記載の仮想情報付与装置。
【請求項５】
前記仮想情報付与位置決定手段は、
仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された計測点群から実空間に張る３軸ごとに最大値、最小値を算出し、当該値を予め直方体として定められた基本形状の頂点座標として用いることによって決定される計測点群の外接基本形状と、前記位置姿勢算出手段で算出された姿勢情報の撮像装置位置及び計測点群から算出した重心位置とを結ぶ直線との交点を算出することによって決定することを特徴とする請求項１記載の仮想情報付与装置。
【請求項６】
前記仮想情報付与位置決定手段は、
仮想情報を付与する実空間中での位置を、前記指定対象決定手段で算出された計測点群に球を当て嵌めることによって決定される計測点群の外接基本形状と、前記位置姿勢算出手段で算出された姿勢情報の撮像装置位置及び計測点群から算出した重心位置とを結ぶ直線との交点を算出することによって決定することを特徴とする請求項１記載の仮想情報付与装置。
【請求項７】
前記仮想情報付与位置決定手段は、
前記撮像装置が時々刻々動く場合に、前記位置姿勢算出手段で算出する最新時刻の姿勢情報の撮像装置位置と、前記指定対象決定手段で算出される計測点群から算出した重心位置との両者間のユークリッド距離を算出し、当該ユークリッド距離が予め定められた閾値を下回った時の時刻を前記仮想情報を付与する時刻とすることを特徴とする請求項１から請求項６にいずれかに記載の仮想情報付与装置。
【請求項８】
前記仮想情報付与位置決定手段は、
前記撮像装置が時々刻々動く場合に、前記位置姿勢算出手段で算出する最新時刻と前時刻の前記姿勢情報の撮像装置位置から速度を算出し、当該速度が予め定められた閾値を上回った時刻を前記仮想情報を付与する時刻とすることを特徴とする請求項１から請求項６のいずれかに記載の仮想情報付与装置。
【請求項９】
前記仮想情報付与位置決定手段は、
前記位置姿勢算出手段で算出された最新時刻と前時刻の姿勢情報の撮像装置位置から算出する速度と、予め定められた重力の値から、最新時刻以降の撮像装置位置の実空間内での予測軌跡を算出し、最新時刻の撮像装置位置と前記指定対象決定手段で算出された計測点群から算出した重心位置の両者間を結ぶ直線を含む平面群から、当該平面群と実空間に属する地平面の両法線ベクトルとの内積値を最大とする唯一の平面を決定し、当該平面と予測軌跡との交点を算出することによって前記仮想情報を付与する実空間中での位置を決定することを特徴とする請求項１または請求項８に記載の仮想情報付与装置。
【請求項１０】
前記仮想情報付与位置決定手段は、
前記位置姿勢算出手段で算出された最新時刻と前時刻の姿勢情報の撮像装置位置から算出する速度と、予め定められた重力の値から、最新時刻以降のカメラ位置の実空間内での予測軌跡を算出し、当該予測軌跡と、実空間に属する地平面との交点を算出することによって前記仮想情報を付与する実空間中での位置を決定することを特徴とする請求項１または請求項８に記載の仮想情報付与装置。
【請求項１１】
前記仮想情報付与位置決定手段は、
仮想情報を付与する実空間中での姿勢を、前記位置姿勢算出手段で算出した姿勢情報における撮像装置姿勢として決定することを特徴とする請求項１から請求項１０のいずれかに記載の仮想情報付与装置。
【請求項１２】
撮像装置によって撮影された対象物に関する仮想情報を該対象物に対して付与する仮想情報付与装置上のコンピュータに仮想情報付与処理を行わせる仮想情報付与プログラムであって、
前記撮像装置から出力される最新時刻の画像を入力する画像入力ステップと、
入力した前記画像から特徴点群を抽出し、当該特徴点群を用いて前記撮像装置の位置及び姿勢を示す姿勢情報と、前記特徴点の三次元情報を算出する姿勢算出ステップと、
前記画像上で位置指定されたポインティング情報を入力し、前記画像を構成する画素値を用いた領域分割処理によって仮想情報付与を所望する対象の物体領域を決定し、当該物体領域に内包される前記特徴点群を前記姿勢算出ステップで抽出した特徴点群に対し物体領域をマスク処理することによって選択し、当該物体領域に内包される特徴点群に対応する三次元情報である計測点群を決定する指定対象決定ステップと、
前記姿勢算出ステップにおいて算出された前記姿勢情報と、前記計測点群とから、前記仮想情報を付与する実空間中での位置を決定する仮想情報付与位置決定ステップと
を前記コンピュータに行わせることを特徴とする仮想情報付与プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１０３７４３（Ｐ２０１２−１０３７４３Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２４８８５０（Ｐ２０１０−２４８８５０）
【出願日】平成２２年１１月５日（２０１０．１１．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月５日（２０１０．１１．５）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]