３次元物体表示装置、３次元物体表示方法および３次元物体表示プログラムを記録した記録媒体
【課題】安価であるＷｅｂカメラと、配布が容易な何らかの物体を利用し、直感的に操作がし易い３次元物体表示装置を提供する。
【解決手段】登録するオブジェクトの３Ｄモデルをオブジェクト３Ｄモデル保存部１０１に保存し、前記３Ｄモデルに対応する２次元画像を登録用画像データ入力部１０２に入力する。前記２次元画像をもとに透視投影変換を用いて複数の画像を生成し、識別関数を導出して識別辞書保存部１０４に保存する。また姿勢パラメータ推定関数を導出しパラメータ推定関数保存１０６に保存する。カメラで撮影された画像を画像データ入力部１０７に入力し、該入力画像をもとに、画像内のオブジェクトを識別し、オブジェクトの姿勢を推定し、前記オブジェクトと姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、又は所定の姿勢に応じた変形・変更を施し、画像として生成し、該表示画像をディスプレイに出力する。
【解決手段】登録するオブジェクトの３Ｄモデルをオブジェクト３Ｄモデル保存部１０１に保存し、前記３Ｄモデルに対応する２次元画像を登録用画像データ入力部１０２に入力する。前記２次元画像をもとに透視投影変換を用いて複数の画像を生成し、識別関数を導出して識別辞書保存部１０４に保存する。また姿勢パラメータ推定関数を導出しパラメータ推定関数保存１０６に保存する。カメラで撮影された画像を画像データ入力部１０７に入力し、該入力画像をもとに、画像内のオブジェクトを識別し、オブジェクトの姿勢を推定し、前記オブジェクトと姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、又は所定の姿勢に応じた変形・変更を施し、画像として生成し、該表示画像をディスプレイに出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、紙面等に印刷された物体またはＴＶ等でディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係より、３次元モデリングされた物体を自由にディスプレイ表示・操作できるようにするための３次元物体表示装置、３次元物体表示方法および３次元物体表示プログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
計算機の高性能化にともない、モデリングされた３次元物体を安価なパソコン等で簡単にディスプレイ表示、操作できるようになってきた。その操作はマウス等で行うことが一般的であるが、３次元物体を２次元ポインティングデバイスで操作することは一般的に容易ではない。多くのユーザーが自分の思う通りに操作できるようにするには、インターフェースを３次元化する必要がある。
【０００３】
そういった観点からの近年の技術として、例えば下記特許文献１、２が挙げられる。これは、定形のマークを施したピンポン玉（球状の物体であれば何でも良い）と１台のカメラを用いて３次元操作インターフェースを実現したものであり、他のインターフェースに比べると、ピンポン玉とＷｅｂカメラという安価な装置で実現でき、低コストである点が特徴である。
【０００４】
尚本発明に関連する、透視投影変換のパラメータ値を画像から推定するための関数を導出するサポートベクトル回帰による推定法としては、例えば下記特許文献３に記載のものが提案されている。
【０００５】
また本発明に関連する、識別辞書を作成する際の部分空間法としては、例えば下記非特許文献１に記載のものが存在する。
【０００６】
また本発明に関連する、透視投影変換のパラメータ値を画像から推定するための関数を導出するパラメトリック固有空間法としては、例えば下記非特許文献２に記載のものが存在する。
【特許文献１】特開２００４−１４５６６４号公報
【特許文献２】特開２００４−１５２０３２号公報
【特許文献３】特開２００５−１４８９８８号公報
【非特許文献１】石井健一郎、上田修功、前田英作、村瀬洋共著“わかりやすいパターン認識”，オーム社，１９９８
【非特許文献２】村瀬 洋、Ｓｈｒｅｅ Ｋ．ＮＡＹＡＲ“２次元照合による３次元物体認識−パラメトリック固有空間法−”，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．２１７９−２１８７，１９９４
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし上記特許文献１，２において、操作のためには、事前にピンポン玉を用意して定形のマークを施すという準備が必要である。予めマークが施されたピンポン玉を配布しても良いが、その場合はパッケージがかさばるという問題がある。また、３次元物体の選択は、別のインターフェースで行う必要がある。
【０００８】
本発明は上記の問題点に鑑みてなされたものであり、安価であるＷｅｂカメラと、配布が容易な何らかの物体を利用し、直感的に操作がし易い３次元物体表示装置、３次元物体表示方法および３次元物体表示プログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明では、対象となる３次元物体の一定方向からの画像を紙面等に印刷し、それを上記ピンポン玉の代用品として利用する。すなわち、カメラで印刷物を撮像すると、カメラに接続された計算機がその印刷物の識別および姿勢（相対的な位置関係）推定を自動的に行う。そして、識別・推定結果に応じて姿勢を変えた該当物体を適宜ディスプレイ表示する。これにより、カメラの撮像対象およびカメラアングルを変えることで、複数の３次元物体を自由に選択し操作できるようになる。
【００１０】
図１に示すように、カメラ付き端末、例えばカメラ内蔵型のＰＤＡ、携帯電話、モバイルＰＣ等でこのシステムを実現すれば、あたかも紙面に印刷された物体が、カメラを通して３次元化したかのように見える。また、紙面等の印刷物ではなく、ＴＶ等でディスプレイ表示された物体でも同様のことができる。
【００１１】
請求項１に記載の３次元物体表示装置は、印刷された物体またはディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係を利用した３次元物体表示装置であって、登録するオブジェクトの３Ｄモデルをメモリに格納するオブジェクト３Ｄモデル保存手段と、前記登録オブジェクトの３Ｄモデルに対応する２次元画像を入力する登録用画像データ入力手段と、前記登録オブジェクトに対応する２次元画像をもとに透視投影変換を用いて複数の画像を生成し、それを識別のための学習用画像として利用し、識別関数を導出する識別辞書作成手段と、前記識別関数の各種係数値をメモリに格納する識別辞書保存手段と、前記透視投影変換を用いて生成された複数の画像を学習用画像として姿勢パラメータ推定関数を導出するパラメータ推定関数作成手段と、前記姿勢パラメータ推定関数の各種係数値をメモリに格納するパラメータ推定関数保存手段と、カメラで撮影された画像を入力する画像データ入力手段と、前記入力画像をもとに、画像内に含まれるオブジェクトを識別するオブジェクト識別手段と、前記入力画像内に含まれるオブジェクトがどのような姿勢で写っているかを推定する姿勢パラメータ推定手段と、前記オブジェクトの種類とその姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、もしくは所定の姿勢に応じた変形・変更を施し、画像として生成する表示画像作成手段と、前記作成された表示画像をディスプレイに出力する出力手段とを備えることを特徴としている。
【００１２】
また請求項４に記載の３次元物体表示方法は、印刷された物体またはディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係を利用した３次元物体表示方法であって、オブジェクト３Ｄモデル保存手段が、登録するオブジェクトの３Ｄモデルをメモリに格納するステップと、登録用画像データ入力手段が、前記登録オブジェクトの３Ｄモデルに対応する２次元画像を入力するステップと、識別辞書作成手段が、前記登録オブジェクトに対応する２次元画像をもとに透視投影変換を用いて複数の画像を生成し、それを識別のための学習用画像として利用し、識別関数を導出するステップと、識別辞書保存手段が、前記識別関数の各種係数値をメモリに格納するステップと、パラメータ推定関数作成手段が、前記透視投影変換を用いて生成された複数の画像を学習用画像として姿勢パラメータ推定関数を導出するステップと、パラメータ推定関数保存手段が、前記姿勢パラメータ推定関数の各種係数値をメモリに格納するステップと、画像データ入力手段が、カメラで撮影された画像を入力するステップと、オブジェクト識別手段が、前記入力画像をもとに、画像内に含まれるオブジェクトを識別するステップと、姿勢パラメータ推定手段が、前記入力画像内に含まれるオブジェクトがどのような姿勢で写っているかを推定するステップと、表示画像作成手段が、前記オブジェクトの種類とその姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、もしくは所定の姿勢に応じた変形・変更を施し、画像として生成する表示画像作成ステップと、出力手段が、前記作成された表示画像をディスプレイに出力するステップとを備えることを特徴としている。
【００１３】
上記構成によれば、カメラおよび紙面等の印刷物またはＴＶ等でディスプレイ表示した物体を用いて、低コストかつ配布が容易で、直感的に操作がし易い３次元物体表示装置及びその方法が提供される。
【００１４】
また請求項２に記載の３次元物体表示装置は、請求項１の３次元物体表示装置において、端末とサーバーを備えて構成され、前記端末は、前記画像データ入力手段と、前記画像データ入力手段により入力された入力画像データを前記サーバー側に送信し、前記サーバー側から送信される、作成された表示画像を受信する端末側送受信手段と、前記出力手段とを有し、前記サーバーは、前記端末側から送信される入力画像データを受信し、前記表示画像作成手段により生成された画像データを前記端末側に送信するサーバー側送受信手段と、前記オブジェクト３Ｄモデル保存手段、前記登録用画像データ入力手段、前記識別辞書作成手段、前記識別辞書保存手段、前記パラメータ推定関数作成手段、前記パラメータ推定関数保存手段、前記オブジェクト識別手段、前記姿勢パラメータ推定手段および前記表示画像作成手段とを有することを特徴としている。
【００１５】
また請求項５に記載の３次元物体表示方法は、印刷された物体またはディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係を利用した３次元物体表示方法であって、サーバー側のオブジェクト３Ｄモデル保存手段が、登録するオブジェクトの３Ｄモデルをメモリに格納するステップと、サーバー側の登録用画像データ入力手段が、前記登録オブジェクトの３Ｄモデルに対応する２次元画像を入力するステップと、サーバー側の識別辞書作成手段が、前記登録オブジェクトに対応する２次元画像をもとに透視投影変換を用いて複数の画像を生成し、それを識別のための学習用画像として利用し、識別関数を導出するステップと、サーバー側の識別辞書保存手段が、前記識別関数の各種係数値をメモリに格納するステップと、サーバー側のパラメータ推定関数作成手段が、前記透視投影変換を用いて生成された複数の画像を学習用画像として姿勢パラメータ推定関数を導出するステップと、サーバー側のパラメータ推定関数保存手段が、前記姿勢パラメータ推定関数の各種係数値をメモリに格納するステップと、端末側の画像データ入力手段が、カメラで撮影された画像を入力するステップと、端末側の送受信手段が、前記画像データ入力手段により入力された入力画像データを前記サーバー側に送信するステップと、サーバー側の送受信手段が、前記端末側から送信された入力画像データを受信するステップと、サーバー側のオブジェクト識別手段が、前記入力画像をもとに、画像内に含まれるオブジェクトを識別するステップと、サーバー側の姿勢パラメータ推定手段が、前記入力画像内に含まれるオブジェクトがどのような姿勢で写っているかを推定するステップと、サーバー側の表示画像作成手段が、前記オブジェクトの種類とその姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、もしくは所定の姿勢に応じた変形・変更を施し、画像として生成する表示画像作成ステップと、サーバー側の送受信手段が、前記表示画像作成手段により生成された画像データを前記端末側に送信するステップと、端末側の送受信手段が、前記サーバー側から送信された画像データを受信するステップと、前記端末側の出力手段が、前記作成された表示画像をディスプレイに出力するステップとを備えることを特徴としている。
【００１６】
上記構成によれば、処理の重い部分をサーバーが実行するので、満足な動作が保証される。
【００１７】
また請求項３に記載の３次元物体表示装置は、請求項１又は２の３次元物体表示装置において、前記表示画像作成手段は、表示するオブジェクトの姿勢パラメータを推定パラメータ値のｎ倍に設定し、表示画像を作成することを特徴としている。
【００１８】
また請求項６に記載の３次元物体表示方法は、請求項４又は５の３次元物体表示方法において、前記表示画像作成ステップは、表示するオブジェクトの姿勢パラメータを推定パラメータ値のｎ倍に設定し、表示画像を作成することを特徴としている。
【００１９】
上記構成によれば、推定された姿勢変化を大げさに表示したり、逆に抑えたりすることができる。
【００２０】
また請求項７に記載の記録媒体は、請求項４乃至６に記載の３次元物体表示方法をコンピュータに実行させるためのプログラムとし、そのプログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴としている。
【００２１】
以上の構成により、印刷物を対象とした画像パターン認識および姿勢推定技術を利用して３次元モデリングされた物体のディスプレイ表示および３次元的操作を行えるようになる。結果として、低コストかつ配布が容易で、直感的に操作がし易い３次元物体操作インターフェースが実現できる。
【発明の効果】
【００２２】
（１）請求項１〜７に記載の発明によれば、カメラおよび紙面等の印刷物またはＴＶ等でディスプレイ表示した物体を用いて、低コストかつ配布が容易で、直感的に操作がし易い３次元物体操作インターフェースが実現できる。
（２）請求項２、５に記載の発明によれば、処理の重い部分をサーバーが実行するので、満足な動作が保証される。
（３）請求項３、６に記載の発明によれば、推定された姿勢変化を大げさに表示したり、逆に抑えたりすることができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００２４】
（実施形態その１）
図２は、本発明に係る実施形態その１の装置の構成を示すブロック図であり、図３は、本発明に係る実施形態その１の方法のフローチャートである。
【００２５】
図２において、１０１は本発明のオブジェクト３Ｄモデル保存手段としてのオブジェクト３Ｄモデル保存部、１０２は本発明の登録用画像データ入力手段としての登録用画像データ入力部、１０３は本発明の識別辞書作成手段としての識別辞書作成部、１０４は本発明の識別辞書保存手段としての識別辞書保存部、１０５は本発明のパラメータ推定関数作成手段としてのパラメータ推定関数作成部、１０６は本発明のパラメータ推定関数保存手段としてのパラメータ推定関数保存部である。
【００２６】
また１０７は本発明の画像データ入力手段としての画像データ入力部、１０８は本発明のオブジェクト識別手段としてのオブジェクト識別部、１０９は本発明の姿勢パラメータ推定手段としての姿勢パラメータ推定部、１１０は本発明の表示画像作成手段としての表示画像作成部、１１１は本発明の出力手段としての出力部である。
【００２７】
尚図２に記載の各部の機能は、例えばコンピュータによって実行されるものである。
【００２８】
図２および図３において、まずオブジェクト３Ｄモデル保存部１０１では、３Ｄで表示したい３Ｄモデル（３次元モデル）を所定のメモリに保存する（ステップＳ１０１）。
【００２９】
登録用画像データ入力部１０２では、画像識別ができるように、上記３Ｄモデルの一定方向から見たときの画像（３Ｄモデルに対応する２次元画像）を入力する（ステップＳ１０２）。この入力画像は、オブジェクト３Ｄモデル保存部１０１から３Ｄモデルを呼び出し、自動的に作成することができる。
【００３０】
識別辞書作成部１０３では、まず、登録用画像データ入力部１０２から伝送された入力画像から、透視投影変換に基づきさまざまな見え方の画像を複数生成する。そして、それらの画像には透視投影変換のパラメータ（例えば、ｘ軸回転角度、ｙ軸回転角度、ｚ軸回転角度、ｘ方向シフト、ｙ方向シフト、ｚ方向シフト）をプロパティとして関連付けておく。そして、識別辞書を作成する。辞書の内容は、識別方法によってさまざまであるが、ここでは上記非特許文献１に記載の部分空間法を利用することにして説明を進める。部分空間法では、特徴空間に張られる部分空間の基底ベクトルが辞書の内容である。そこで、特徴空間を適当に定め（例えば、各画素の明度値をラスタースキャンした順に並べたもの等）、その特徴空間上に上記透視投影変換後画像をプロットしていく。そのときの分布を主成分分析し、基底ベクトルを算出する（ステップＳ１０３）。
【００３１】
識別辞書保存部１０４では、上記基底ベクトルを識別辞書として保存する（ステップＳ１０４）。
【００３２】
パラメータ推定関数作成部１０５では、透視投影変換のパラメータ値を画像から推定するための関数を導出する（ステップＳ１０５）。ここで利用できる技術は、上記非特許文献２に記載のパラメトリック固有空間法や部分空間法と上記特許文献３に記載のサポートベクトル回帰による推定法等が挙げられる。ここでは、後者の技術を利用することにして説明を進める。サポートベクトル回帰による推定法では、関数の中に含まれる複数の係数値を最適化計算により導出する。例えば、ｘ軸回転角度、ｙ軸回転角度、ｚ軸回転角度、ｘ方向シフト、ｙ方向シフト、ｚ方向シフトといった各パラメータの推定関数を、透視投影変換後画像とそのプロパティを用いて導出可能である。
【００３３】
パラメータ推定関数保存部１０６では、上記推定関数の係数値を所定のメモリに保存する（ステップＳ１０６）。
【００３４】
画像データ入力部１０７では、上記ステップＳ１０１〜Ｓ１０６による登録処理を済ませた印刷物をカメラ撮像した画像データをオブジェクト識別部１０８に伝送する（ステップＳ１０７）。
【００３５】
オブジェクト識別部１０８では、画像データ入力部１０７から伝送された画像から、その画像に含まれるオブジェクトを識別する（ステップＳ１０８）。識別は、前記部分空間法に基づき行われるとすれば、識別辞書保存部１０４より呼び出された基底ベクトルにより各登録オブジェクトの部分空間を構成し、特徴空間上で最も距離の近い部分空間の登録オブジェクトを求める。
【００３６】
姿勢パラメータ推定部１０９では、画像データ入力部１０７から伝送された画像およびオブジェクト識別部１０８で特定された登録オブジェクトから、そのオブジェクトの姿勢パラメータを推定する（ステップＳ１０９）。ここで、前記サポートベクトル回帰による推定法を利用するならば、パラメータ推定関数保存部１０６より呼び出された推定関数を用いて、ｘ軸回転角度、ｙ軸回転角度、ｚ軸回転角度、ｘ方向シフト、ｙ方向シフト、ｚ方向シフトといった各パラメータ値を推定する。
【００３７】
表示画像作成部１１０では、オブジェクト識別部１０８および姿勢パラメータ推定部１０９で推定された登録オブジェクトおよびその姿勢をもとに、オブジェクト３Ｄモデル保存部１０１から該当オブジェクトを呼び出し、推定された姿勢の画像を生成する。画像データ入力部１０７で入力された画像では、平面的な物体が幾何学的変形を伴って写っているが、ここでは３次元モデリングされた該当オブジェクトを同じ方向から見た場合の画像を生成する必要がある。また、所定の姿勢に応じて３次元モデルに変形もしくは変更を加えて表示しても良い。また、姿勢パラメータ値をｎ倍することで、推定された姿勢変化を大げさに表示したり、逆に抑えたりすることができる（ステップＳ１１０）。
【００３８】
出力部１１１では、表示画像作成部１１０で生成された画像をディスプレイに表示する（ステップＳ１１１）。
【００３９】
（実施形態その２）
上記図２、図３の装置および方法は、スタンドアロンで動作するものを想定している。しかし、ハードが携帯電話等の場合、必ずしも満足な動作を保証できるものではない。そこで、サーバー・クライアント型の装置および方法も考えることができる。以下、本発明のもう一つの実施形態について図を用いて説明する。図４は、本発明に係る実施形態その２の装置の構成を示すブロック図であり、図５は、本発明に係る実施形態その２の方法のフローチャートである。
【００４０】
図４において、１１は通信端末、１２はサーバーであり、通信端末１１は、画像データ入力部２０７（図２の画像データ入力部１０７と同様の機能を持つ）と、本発明の端末側の送受信手段としての送受信部２１２と、出力部２１１（図２の出力部１１１と同様の機能を持つ）とを有する。
【００４１】
サーバー１２は、オブジェクト３Ｄモデル保存部２０１（図２のオブジェクト３Ｄモデル保存部１０１と同様の機能を持つ）と、登録用画像データ入力部２０２（図２の登録用画像データ入力部１０２と同様の機能を持つ）と、識別辞書作成部２０３（図２の識別辞書作成部１０３と同様の機能を持つ）と、識別辞書保存部２０４（図２の識別辞書保存部１０４と同様の機能を持つ）と、パラメータ推定関数作成部２０５（図２のパラメータ推定関数作成部１０５と同様の機能を持つ）と、パラメータ推定関数保存部２０６（図２のパラメータ推定関数保存部１０６と同様の機能を持つ）と、オブジェクト識別部２０８（図２のオブジェクト識別部１０８と同様の機能を持つ）と、姿勢パラメータ推定部２０９（図２の姿勢パラメータ推定部１０９と同様の機能を持つ）と、表示画像作成部２１０（図２の表示画像作成部１１０と同様の機能を持つ）と、本発明のサーバー側の送受信手段としての送受信部２１３とを有する。
【００４２】
図５のフローチャートではサーバー１２で実行される登録過程については図示省略しているが、図４の装置においても前記図３と同様の登録過程が行われるものである。
【００４３】
すなわち、サーバー１２側のオブジェクト３Ｄモデル保存部２０１では、図３のステップＳ１０１のように３Ｄモデル（３次元モデル）を所定のメモリに保存し、登録用画像データ入力部２０２では、図３のステップＳ１０２のように３Ｄモデルに対応する２次元画像を入力する。
【００４４】
そして識別辞書作成部２０３では、図３のステップＳ１０３のように識別辞書を作成し、識別辞書保存部２０４では、図３のステップＳ１０４のように識別辞書を保存する。
【００４５】
またパラメータ推定関数作成部２０５では、図３のステップＳ１０５のように姿勢パラメータ推定関数を作成し、パラメータ推定関数保存部２０６では、図３のステップＳ１０６のように前記姿勢パラメータ推定関数を保存する。
【００４６】
次に通信端末１１側の画像データ入力部２０７では、前述したステップＳ１０１〜Ｓ１０６による登録処理を済ませた印刷物をカメラ撮像した画像データを入力する（ステップＳ２０１）。
【００４７】
送受信部２１２では、入力された画像データをサーバー１２側に送信する（ステップＳ２０２）。
【００４８】
サーバー１２側の送受信部２１３では、通信端末１１側から送信された画像データを受信する（ステップＳ２０３）。
【００４９】
オブジェクト識別部２０８では、前記受信された画像データから、図３のステップＳ１０８のように、画像に含まれるオブジェクトを識別する（ステップＳ２０４）。
【００５０】
姿勢パラメータ推定部２０９では、図３のステップＳ１０９のように、受信された画像及び特定された登録オブジェクトから姿勢パラメータを推定する（ステップＳ２０５）。
【００５１】
表示画像作成部２１０では、図３のステップＳ１１０のように、推定された姿勢の画像を生成する（ステップＳ２０６）。
【００５２】
次に送受信部２１３では、前記生成された画像データを通信端末１１側に送信する（ステップＳ２０７）。
【００５３】
そして通信端末１１側の送受信部２１２ではサーバー１２側から送信された画像データを受信し（ステップＳ２０８）、出力部２１１では図３のステップＳ１１１のように、前記受信された画像をディスプレイに表示する（ステップＳ２０９）。
【００５４】
上記のように図４、図５の構成によれば、処理の重い部分をサーバー１２が代行できるようなシステムを構築でき、これによって満足な動作が保証される。
【００５５】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。
【００５６】
尚前記図２、図４の装置の各部において、入出力、作成された各データは、例えばメモリに格納して利用するようにしても良い。
【図面の簡単な説明】
【００５７】
【図１】本発明で使用されるカメラ付き端末と、それにより撮像される印刷物を表す説明図。
【図２】本発明の一実施形態例のブロック図。
【図３】本発明の一実施形態例のフローチャート。
【図４】本発明の他の実施形態例のブロック図。
【図５】本発明の他の実施形態例のフローチャート。
【符号の説明】
【００５８】
１１…通信端末、１２…サーバー、１０２，２０２…登録用画像データ入力部、１０３，２０３…識別辞書作成部、１０４，２０４…識別辞書保存部、１０５，２０５…パラメータ推定関数作成部、１０６，２０６…パラメータ推定関数保存部、１０７，２０７…画像データ入力部、１０８，２０８…オブジェクト識別部、１０９，２０９…姿勢パラメータ推定部、１１０，２１０…表示画像作成部、１１１，２１１…出力部、２１２，２１３…送受信部。
【技術分野】
【０００１】
本発明は、紙面等に印刷された物体またはＴＶ等でディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係より、３次元モデリングされた物体を自由にディスプレイ表示・操作できるようにするための３次元物体表示装置、３次元物体表示方法および３次元物体表示プログラムを記録した記録媒体に関するものである。
【背景技術】
【０００２】
計算機の高性能化にともない、モデリングされた３次元物体を安価なパソコン等で簡単にディスプレイ表示、操作できるようになってきた。その操作はマウス等で行うことが一般的であるが、３次元物体を２次元ポインティングデバイスで操作することは一般的に容易ではない。多くのユーザーが自分の思う通りに操作できるようにするには、インターフェースを３次元化する必要がある。
【０００３】
そういった観点からの近年の技術として、例えば下記特許文献１、２が挙げられる。これは、定形のマークを施したピンポン玉（球状の物体であれば何でも良い）と１台のカメラを用いて３次元操作インターフェースを実現したものであり、他のインターフェースに比べると、ピンポン玉とＷｅｂカメラという安価な装置で実現でき、低コストである点が特徴である。
【０００４】
尚本発明に関連する、透視投影変換のパラメータ値を画像から推定するための関数を導出するサポートベクトル回帰による推定法としては、例えば下記特許文献３に記載のものが提案されている。
【０００５】
また本発明に関連する、識別辞書を作成する際の部分空間法としては、例えば下記非特許文献１に記載のものが存在する。
【０００６】
また本発明に関連する、透視投影変換のパラメータ値を画像から推定するための関数を導出するパラメトリック固有空間法としては、例えば下記非特許文献２に記載のものが存在する。
【特許文献１】特開２００４−１４５６６４号公報
【特許文献２】特開２００４−１５２０３２号公報
【特許文献３】特開２００５−１４８９８８号公報
【非特許文献１】石井健一郎、上田修功、前田英作、村瀬洋共著“わかりやすいパターン認識”，オーム社，１９９８
【非特許文献２】村瀬 洋、Ｓｈｒｅｅ Ｋ．ＮＡＹＡＲ“２次元照合による３次元物体認識−パラメトリック固有空間法−”，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ７７−Ｄ−ＩＩ，Ｎｏ．１１，ｐｐ．２１７９−２１８７，１９９４
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし上記特許文献１，２において、操作のためには、事前にピンポン玉を用意して定形のマークを施すという準備が必要である。予めマークが施されたピンポン玉を配布しても良いが、その場合はパッケージがかさばるという問題がある。また、３次元物体の選択は、別のインターフェースで行う必要がある。
【０００８】
本発明は上記の問題点に鑑みてなされたものであり、安価であるＷｅｂカメラと、配布が容易な何らかの物体を利用し、直感的に操作がし易い３次元物体表示装置、３次元物体表示方法および３次元物体表示プログラムを記録した記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明では、対象となる３次元物体の一定方向からの画像を紙面等に印刷し、それを上記ピンポン玉の代用品として利用する。すなわち、カメラで印刷物を撮像すると、カメラに接続された計算機がその印刷物の識別および姿勢（相対的な位置関係）推定を自動的に行う。そして、識別・推定結果に応じて姿勢を変えた該当物体を適宜ディスプレイ表示する。これにより、カメラの撮像対象およびカメラアングルを変えることで、複数の３次元物体を自由に選択し操作できるようになる。
【００１０】
図１に示すように、カメラ付き端末、例えばカメラ内蔵型のＰＤＡ、携帯電話、モバイルＰＣ等でこのシステムを実現すれば、あたかも紙面に印刷された物体が、カメラを通して３次元化したかのように見える。また、紙面等の印刷物ではなく、ＴＶ等でディスプレイ表示された物体でも同様のことができる。
【００１１】
請求項１に記載の３次元物体表示装置は、印刷された物体またはディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係を利用した３次元物体表示装置であって、登録するオブジェクトの３Ｄモデルをメモリに格納するオブジェクト３Ｄモデル保存手段と、前記登録オブジェクトの３Ｄモデルに対応する２次元画像を入力する登録用画像データ入力手段と、前記登録オブジェクトに対応する２次元画像をもとに透視投影変換を用いて複数の画像を生成し、それを識別のための学習用画像として利用し、識別関数を導出する識別辞書作成手段と、前記識別関数の各種係数値をメモリに格納する識別辞書保存手段と、前記透視投影変換を用いて生成された複数の画像を学習用画像として姿勢パラメータ推定関数を導出するパラメータ推定関数作成手段と、前記姿勢パラメータ推定関数の各種係数値をメモリに格納するパラメータ推定関数保存手段と、カメラで撮影された画像を入力する画像データ入力手段と、前記入力画像をもとに、画像内に含まれるオブジェクトを識別するオブジェクト識別手段と、前記入力画像内に含まれるオブジェクトがどのような姿勢で写っているかを推定する姿勢パラメータ推定手段と、前記オブジェクトの種類とその姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、もしくは所定の姿勢に応じた変形・変更を施し、画像として生成する表示画像作成手段と、前記作成された表示画像をディスプレイに出力する出力手段とを備えることを特徴としている。
【００１２】
また請求項４に記載の３次元物体表示方法は、印刷された物体またはディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係を利用した３次元物体表示方法であって、オブジェクト３Ｄモデル保存手段が、登録するオブジェクトの３Ｄモデルをメモリに格納するステップと、登録用画像データ入力手段が、前記登録オブジェクトの３Ｄモデルに対応する２次元画像を入力するステップと、識別辞書作成手段が、前記登録オブジェクトに対応する２次元画像をもとに透視投影変換を用いて複数の画像を生成し、それを識別のための学習用画像として利用し、識別関数を導出するステップと、識別辞書保存手段が、前記識別関数の各種係数値をメモリに格納するステップと、パラメータ推定関数作成手段が、前記透視投影変換を用いて生成された複数の画像を学習用画像として姿勢パラメータ推定関数を導出するステップと、パラメータ推定関数保存手段が、前記姿勢パラメータ推定関数の各種係数値をメモリに格納するステップと、画像データ入力手段が、カメラで撮影された画像を入力するステップと、オブジェクト識別手段が、前記入力画像をもとに、画像内に含まれるオブジェクトを識別するステップと、姿勢パラメータ推定手段が、前記入力画像内に含まれるオブジェクトがどのような姿勢で写っているかを推定するステップと、表示画像作成手段が、前記オブジェクトの種類とその姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、もしくは所定の姿勢に応じた変形・変更を施し、画像として生成する表示画像作成ステップと、出力手段が、前記作成された表示画像をディスプレイに出力するステップとを備えることを特徴としている。
【００１３】
上記構成によれば、カメラおよび紙面等の印刷物またはＴＶ等でディスプレイ表示した物体を用いて、低コストかつ配布が容易で、直感的に操作がし易い３次元物体表示装置及びその方法が提供される。
【００１４】
また請求項２に記載の３次元物体表示装置は、請求項１の３次元物体表示装置において、端末とサーバーを備えて構成され、前記端末は、前記画像データ入力手段と、前記画像データ入力手段により入力された入力画像データを前記サーバー側に送信し、前記サーバー側から送信される、作成された表示画像を受信する端末側送受信手段と、前記出力手段とを有し、前記サーバーは、前記端末側から送信される入力画像データを受信し、前記表示画像作成手段により生成された画像データを前記端末側に送信するサーバー側送受信手段と、前記オブジェクト３Ｄモデル保存手段、前記登録用画像データ入力手段、前記識別辞書作成手段、前記識別辞書保存手段、前記パラメータ推定関数作成手段、前記パラメータ推定関数保存手段、前記オブジェクト識別手段、前記姿勢パラメータ推定手段および前記表示画像作成手段とを有することを特徴としている。
【００１５】
また請求項５に記載の３次元物体表示方法は、印刷された物体またはディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係を利用した３次元物体表示方法であって、サーバー側のオブジェクト３Ｄモデル保存手段が、登録するオブジェクトの３Ｄモデルをメモリに格納するステップと、サーバー側の登録用画像データ入力手段が、前記登録オブジェクトの３Ｄモデルに対応する２次元画像を入力するステップと、サーバー側の識別辞書作成手段が、前記登録オブジェクトに対応する２次元画像をもとに透視投影変換を用いて複数の画像を生成し、それを識別のための学習用画像として利用し、識別関数を導出するステップと、サーバー側の識別辞書保存手段が、前記識別関数の各種係数値をメモリに格納するステップと、サーバー側のパラメータ推定関数作成手段が、前記透視投影変換を用いて生成された複数の画像を学習用画像として姿勢パラメータ推定関数を導出するステップと、サーバー側のパラメータ推定関数保存手段が、前記姿勢パラメータ推定関数の各種係数値をメモリに格納するステップと、端末側の画像データ入力手段が、カメラで撮影された画像を入力するステップと、端末側の送受信手段が、前記画像データ入力手段により入力された入力画像データを前記サーバー側に送信するステップと、サーバー側の送受信手段が、前記端末側から送信された入力画像データを受信するステップと、サーバー側のオブジェクト識別手段が、前記入力画像をもとに、画像内に含まれるオブジェクトを識別するステップと、サーバー側の姿勢パラメータ推定手段が、前記入力画像内に含まれるオブジェクトがどのような姿勢で写っているかを推定するステップと、サーバー側の表示画像作成手段が、前記オブジェクトの種類とその姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、もしくは所定の姿勢に応じた変形・変更を施し、画像として生成する表示画像作成ステップと、サーバー側の送受信手段が、前記表示画像作成手段により生成された画像データを前記端末側に送信するステップと、端末側の送受信手段が、前記サーバー側から送信された画像データを受信するステップと、前記端末側の出力手段が、前記作成された表示画像をディスプレイに出力するステップとを備えることを特徴としている。
【００１６】
上記構成によれば、処理の重い部分をサーバーが実行するので、満足な動作が保証される。
【００１７】
また請求項３に記載の３次元物体表示装置は、請求項１又は２の３次元物体表示装置において、前記表示画像作成手段は、表示するオブジェクトの姿勢パラメータを推定パラメータ値のｎ倍に設定し、表示画像を作成することを特徴としている。
【００１８】
また請求項６に記載の３次元物体表示方法は、請求項４又は５の３次元物体表示方法において、前記表示画像作成ステップは、表示するオブジェクトの姿勢パラメータを推定パラメータ値のｎ倍に設定し、表示画像を作成することを特徴としている。
【００１９】
上記構成によれば、推定された姿勢変化を大げさに表示したり、逆に抑えたりすることができる。
【００２０】
また請求項７に記載の記録媒体は、請求項４乃至６に記載の３次元物体表示方法をコンピュータに実行させるためのプログラムとし、そのプログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴としている。
【００２１】
以上の構成により、印刷物を対象とした画像パターン認識および姿勢推定技術を利用して３次元モデリングされた物体のディスプレイ表示および３次元的操作を行えるようになる。結果として、低コストかつ配布が容易で、直感的に操作がし易い３次元物体操作インターフェースが実現できる。
【発明の効果】
【００２２】
（１）請求項１〜７に記載の発明によれば、カメラおよび紙面等の印刷物またはＴＶ等でディスプレイ表示した物体を用いて、低コストかつ配布が容易で、直感的に操作がし易い３次元物体操作インターフェースが実現できる。
（２）請求項２、５に記載の発明によれば、処理の重い部分をサーバーが実行するので、満足な動作が保証される。
（３）請求項３、６に記載の発明によれば、推定された姿勢変化を大げさに表示したり、逆に抑えたりすることができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００２４】
（実施形態その１）
図２は、本発明に係る実施形態その１の装置の構成を示すブロック図であり、図３は、本発明に係る実施形態その１の方法のフローチャートである。
【００２５】
図２において、１０１は本発明のオブジェクト３Ｄモデル保存手段としてのオブジェクト３Ｄモデル保存部、１０２は本発明の登録用画像データ入力手段としての登録用画像データ入力部、１０３は本発明の識別辞書作成手段としての識別辞書作成部、１０４は本発明の識別辞書保存手段としての識別辞書保存部、１０５は本発明のパラメータ推定関数作成手段としてのパラメータ推定関数作成部、１０６は本発明のパラメータ推定関数保存手段としてのパラメータ推定関数保存部である。
【００２６】
また１０７は本発明の画像データ入力手段としての画像データ入力部、１０８は本発明のオブジェクト識別手段としてのオブジェクト識別部、１０９は本発明の姿勢パラメータ推定手段としての姿勢パラメータ推定部、１１０は本発明の表示画像作成手段としての表示画像作成部、１１１は本発明の出力手段としての出力部である。
【００２７】
尚図２に記載の各部の機能は、例えばコンピュータによって実行されるものである。
【００２８】
図２および図３において、まずオブジェクト３Ｄモデル保存部１０１では、３Ｄで表示したい３Ｄモデル（３次元モデル）を所定のメモリに保存する（ステップＳ１０１）。
【００２９】
登録用画像データ入力部１０２では、画像識別ができるように、上記３Ｄモデルの一定方向から見たときの画像（３Ｄモデルに対応する２次元画像）を入力する（ステップＳ１０２）。この入力画像は、オブジェクト３Ｄモデル保存部１０１から３Ｄモデルを呼び出し、自動的に作成することができる。
【００３０】
識別辞書作成部１０３では、まず、登録用画像データ入力部１０２から伝送された入力画像から、透視投影変換に基づきさまざまな見え方の画像を複数生成する。そして、それらの画像には透視投影変換のパラメータ（例えば、ｘ軸回転角度、ｙ軸回転角度、ｚ軸回転角度、ｘ方向シフト、ｙ方向シフト、ｚ方向シフト）をプロパティとして関連付けておく。そして、識別辞書を作成する。辞書の内容は、識別方法によってさまざまであるが、ここでは上記非特許文献１に記載の部分空間法を利用することにして説明を進める。部分空間法では、特徴空間に張られる部分空間の基底ベクトルが辞書の内容である。そこで、特徴空間を適当に定め（例えば、各画素の明度値をラスタースキャンした順に並べたもの等）、その特徴空間上に上記透視投影変換後画像をプロットしていく。そのときの分布を主成分分析し、基底ベクトルを算出する（ステップＳ１０３）。
【００３１】
識別辞書保存部１０４では、上記基底ベクトルを識別辞書として保存する（ステップＳ１０４）。
【００３２】
パラメータ推定関数作成部１０５では、透視投影変換のパラメータ値を画像から推定するための関数を導出する（ステップＳ１０５）。ここで利用できる技術は、上記非特許文献２に記載のパラメトリック固有空間法や部分空間法と上記特許文献３に記載のサポートベクトル回帰による推定法等が挙げられる。ここでは、後者の技術を利用することにして説明を進める。サポートベクトル回帰による推定法では、関数の中に含まれる複数の係数値を最適化計算により導出する。例えば、ｘ軸回転角度、ｙ軸回転角度、ｚ軸回転角度、ｘ方向シフト、ｙ方向シフト、ｚ方向シフトといった各パラメータの推定関数を、透視投影変換後画像とそのプロパティを用いて導出可能である。
【００３３】
パラメータ推定関数保存部１０６では、上記推定関数の係数値を所定のメモリに保存する（ステップＳ１０６）。
【００３４】
画像データ入力部１０７では、上記ステップＳ１０１〜Ｓ１０６による登録処理を済ませた印刷物をカメラ撮像した画像データをオブジェクト識別部１０８に伝送する（ステップＳ１０７）。
【００３５】
オブジェクト識別部１０８では、画像データ入力部１０７から伝送された画像から、その画像に含まれるオブジェクトを識別する（ステップＳ１０８）。識別は、前記部分空間法に基づき行われるとすれば、識別辞書保存部１０４より呼び出された基底ベクトルにより各登録オブジェクトの部分空間を構成し、特徴空間上で最も距離の近い部分空間の登録オブジェクトを求める。
【００３６】
姿勢パラメータ推定部１０９では、画像データ入力部１０７から伝送された画像およびオブジェクト識別部１０８で特定された登録オブジェクトから、そのオブジェクトの姿勢パラメータを推定する（ステップＳ１０９）。ここで、前記サポートベクトル回帰による推定法を利用するならば、パラメータ推定関数保存部１０６より呼び出された推定関数を用いて、ｘ軸回転角度、ｙ軸回転角度、ｚ軸回転角度、ｘ方向シフト、ｙ方向シフト、ｚ方向シフトといった各パラメータ値を推定する。
【００３７】
表示画像作成部１１０では、オブジェクト識別部１０８および姿勢パラメータ推定部１０９で推定された登録オブジェクトおよびその姿勢をもとに、オブジェクト３Ｄモデル保存部１０１から該当オブジェクトを呼び出し、推定された姿勢の画像を生成する。画像データ入力部１０７で入力された画像では、平面的な物体が幾何学的変形を伴って写っているが、ここでは３次元モデリングされた該当オブジェクトを同じ方向から見た場合の画像を生成する必要がある。また、所定の姿勢に応じて３次元モデルに変形もしくは変更を加えて表示しても良い。また、姿勢パラメータ値をｎ倍することで、推定された姿勢変化を大げさに表示したり、逆に抑えたりすることができる（ステップＳ１１０）。
【００３８】
出力部１１１では、表示画像作成部１１０で生成された画像をディスプレイに表示する（ステップＳ１１１）。
【００３９】
（実施形態その２）
上記図２、図３の装置および方法は、スタンドアロンで動作するものを想定している。しかし、ハードが携帯電話等の場合、必ずしも満足な動作を保証できるものではない。そこで、サーバー・クライアント型の装置および方法も考えることができる。以下、本発明のもう一つの実施形態について図を用いて説明する。図４は、本発明に係る実施形態その２の装置の構成を示すブロック図であり、図５は、本発明に係る実施形態その２の方法のフローチャートである。
【００４０】
図４において、１１は通信端末、１２はサーバーであり、通信端末１１は、画像データ入力部２０７（図２の画像データ入力部１０７と同様の機能を持つ）と、本発明の端末側の送受信手段としての送受信部２１２と、出力部２１１（図２の出力部１１１と同様の機能を持つ）とを有する。
【００４１】
サーバー１２は、オブジェクト３Ｄモデル保存部２０１（図２のオブジェクト３Ｄモデル保存部１０１と同様の機能を持つ）と、登録用画像データ入力部２０２（図２の登録用画像データ入力部１０２と同様の機能を持つ）と、識別辞書作成部２０３（図２の識別辞書作成部１０３と同様の機能を持つ）と、識別辞書保存部２０４（図２の識別辞書保存部１０４と同様の機能を持つ）と、パラメータ推定関数作成部２０５（図２のパラメータ推定関数作成部１０５と同様の機能を持つ）と、パラメータ推定関数保存部２０６（図２のパラメータ推定関数保存部１０６と同様の機能を持つ）と、オブジェクト識別部２０８（図２のオブジェクト識別部１０８と同様の機能を持つ）と、姿勢パラメータ推定部２０９（図２の姿勢パラメータ推定部１０９と同様の機能を持つ）と、表示画像作成部２１０（図２の表示画像作成部１１０と同様の機能を持つ）と、本発明のサーバー側の送受信手段としての送受信部２１３とを有する。
【００４２】
図５のフローチャートではサーバー１２で実行される登録過程については図示省略しているが、図４の装置においても前記図３と同様の登録過程が行われるものである。
【００４３】
すなわち、サーバー１２側のオブジェクト３Ｄモデル保存部２０１では、図３のステップＳ１０１のように３Ｄモデル（３次元モデル）を所定のメモリに保存し、登録用画像データ入力部２０２では、図３のステップＳ１０２のように３Ｄモデルに対応する２次元画像を入力する。
【００４４】
そして識別辞書作成部２０３では、図３のステップＳ１０３のように識別辞書を作成し、識別辞書保存部２０４では、図３のステップＳ１０４のように識別辞書を保存する。
【００４５】
またパラメータ推定関数作成部２０５では、図３のステップＳ１０５のように姿勢パラメータ推定関数を作成し、パラメータ推定関数保存部２０６では、図３のステップＳ１０６のように前記姿勢パラメータ推定関数を保存する。
【００４６】
次に通信端末１１側の画像データ入力部２０７では、前述したステップＳ１０１〜Ｓ１０６による登録処理を済ませた印刷物をカメラ撮像した画像データを入力する（ステップＳ２０１）。
【００４７】
送受信部２１２では、入力された画像データをサーバー１２側に送信する（ステップＳ２０２）。
【００４８】
サーバー１２側の送受信部２１３では、通信端末１１側から送信された画像データを受信する（ステップＳ２０３）。
【００４９】
オブジェクト識別部２０８では、前記受信された画像データから、図３のステップＳ１０８のように、画像に含まれるオブジェクトを識別する（ステップＳ２０４）。
【００５０】
姿勢パラメータ推定部２０９では、図３のステップＳ１０９のように、受信された画像及び特定された登録オブジェクトから姿勢パラメータを推定する（ステップＳ２０５）。
【００５１】
表示画像作成部２１０では、図３のステップＳ１１０のように、推定された姿勢の画像を生成する（ステップＳ２０６）。
【００５２】
次に送受信部２１３では、前記生成された画像データを通信端末１１側に送信する（ステップＳ２０７）。
【００５３】
そして通信端末１１側の送受信部２１２ではサーバー１２側から送信された画像データを受信し（ステップＳ２０８）、出力部２１１では図３のステップＳ１１１のように、前記受信された画像をディスプレイに表示する（ステップＳ２０９）。
【００５４】
上記のように図４、図５の構成によれば、処理の重い部分をサーバー１２が代行できるようなシステムを構築でき、これによって満足な動作が保証される。
【００５５】
また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。
【００５６】
尚前記図２、図４の装置の各部において、入出力、作成された各データは、例えばメモリに格納して利用するようにしても良い。
【図面の簡単な説明】
【００５７】
【図１】本発明で使用されるカメラ付き端末と、それにより撮像される印刷物を表す説明図。
【図２】本発明の一実施形態例のブロック図。
【図３】本発明の一実施形態例のフローチャート。
【図４】本発明の他の実施形態例のブロック図。
【図５】本発明の他の実施形態例のフローチャート。
【符号の説明】
【００５８】
１１…通信端末、１２…サーバー、１０２，２０２…登録用画像データ入力部、１０３，２０３…識別辞書作成部、１０４，２０４…識別辞書保存部、１０５，２０５…パラメータ推定関数作成部、１０６，２０６…パラメータ推定関数保存部、１０７，２０７…画像データ入力部、１０８，２０８…オブジェクト識別部、１０９，２０９…姿勢パラメータ推定部、１１０，２１０…表示画像作成部、１１１，２１１…出力部、２１２，２１３…送受信部。
【特許請求の範囲】
【請求項１】
印刷された物体またはディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係を利用した３次元物体表示装置であって、
登録するオブジェクトの３Ｄモデルをメモリに格納するオブジェクト３Ｄモデル保存手段と、
前記登録オブジェクトの３Ｄモデルに対応する２次元画像を入力する登録用画像データ入力手段と、
前記登録オブジェクトに対応する２次元画像をもとに透視投影変換を用いて複数の画像を生成し、それを識別のための学習用画像として利用し、識別関数を導出する識別辞書作成手段と、
前記識別関数の各種係数値をメモリに格納する識別辞書保存手段と、
前記透視投影変換を用いて生成された複数の画像を学習用画像として姿勢パラメータ推定関数を導出するパラメータ推定関数作成手段と、
前記姿勢パラメータ推定関数の各種係数値をメモリに格納するパラメータ推定関数保存手段と、
カメラで撮影された画像を入力する画像データ入力手段と、
前記入力画像をもとに、画像内に含まれるオブジェクトを識別するオブジェクト識別手段と、
前記入力画像内に含まれるオブジェクトがどのような姿勢で写っているかを推定する姿勢パラメータ推定手段と、
前記オブジェクトの種類とその姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、もしくは所定の姿勢に応じた変形・変更を施し、画像として生成する表示画像作成手段と、
前記作成された表示画像をディスプレイに出力する出力手段とを備えることを特徴とする３次元物体表示装置。
【請求項２】
端末とサーバーを備えて構成され、
前記端末は、
前記画像データ入力手段と、
前記画像データ入力手段により入力された入力画像データを前記サーバー側に送信し、前記サーバー側から送信される、作成された表示画像を受信する端末側送受信手段と、
前記出力手段とを有し、
前記サーバーは、
前記端末側から送信される入力画像データを受信し、前記表示画像作成手段により生成された画像データを前記端末側に送信するサーバー側送受信手段と、
前記オブジェクト３Ｄモデル保存手段、前記登録用画像データ入力手段、前記識別辞書作成手段、前記識別辞書保存手段、前記パラメータ推定関数作成手段、前記パラメータ推定関数保存手段、前記オブジェクト識別手段、前記姿勢パラメータ推定手段および前記表示画像作成手段とを有することを特徴とする請求項１に記載の３次元物体表示装置。
【請求項３】
前記表示画像作成手段は、表示するオブジェクトの姿勢パラメータを推定パラメータ値のｎ倍に設定し、表示画像を作成することを特徴とする請求項１又は２に記載の３次元物体表示装置。
【請求項４】
印刷された物体またはディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係を利用した３次元物体表示方法であって、
オブジェクト３Ｄモデル保存手段が、登録するオブジェクトの３Ｄモデルをメモリに格納するステップと、
登録用画像データ入力手段が、前記登録オブジェクトの３Ｄモデルに対応する２次元画像を入力するステップと、
識別辞書作成手段が、前記登録オブジェクトに対応する２次元画像をもとに透視投影変換を用いて複数の画像を生成し、それを識別のための学習用画像として利用し、識別関数を導出するステップと、
識別辞書保存手段が、前記識別関数の各種係数値をメモリに格納するステップと、
パラメータ推定関数作成手段が、前記透視投影変換を用いて生成された複数の画像を学習用画像として姿勢パラメータ推定関数を導出するステップと、
パラメータ推定関数保存手段が、前記姿勢パラメータ推定関数の各種係数値をメモリに格納するステップと、
画像データ入力手段が、カメラで撮影された画像を入力するステップと、
オブジェクト識別手段が、前記入力画像をもとに、画像内に含まれるオブジェクトを識別するステップと、
姿勢パラメータ推定手段が、前記入力画像内に含まれるオブジェクトがどのような姿勢で写っているかを推定するステップと、
表示画像作成手段が、前記オブジェクトの種類とその姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、もしくは所定の姿勢に応じた変形・変更を施し、画像として生成する表示画像作成ステップと、
出力手段が、前記作成された表示画像をディスプレイに出力するステップと
を備えることを特徴とする３次元物体表示方法。
【請求項５】
印刷された物体またはディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係を利用した３次元物体表示方法であって、
サーバー側のオブジェクト３Ｄモデル保存手段が、登録するオブジェクトの３Ｄモデルをメモリに格納するステップと、
サーバー側の登録用画像データ入力手段が、前記登録オブジェクトの３Ｄモデルに対応する２次元画像を入力するステップと、
サーバー側の識別辞書作成手段が、前記登録オブジェクトに対応する２次元画像をもとに透視投影変換を用いて複数の画像を生成し、それを識別のための学習用画像として利用し、識別関数を導出するステップと、
サーバー側の識別辞書保存手段が、前記識別関数の各種係数値をメモリに格納するステップと、
サーバー側のパラメータ推定関数作成手段が、前記透視投影変換を用いて生成された複数の画像を学習用画像として姿勢パラメータ推定関数を導出するステップと、
サーバー側のパラメータ推定関数保存手段が、前記姿勢パラメータ推定関数の各種係数値をメモリに格納するステップと、
端末側の画像データ入力手段が、カメラで撮影された画像を入力するステップと、
端末側の送受信手段が、前記画像データ入力手段により入力された入力画像データを前記サーバー側に送信するステップと、
サーバー側の送受信手段が、前記端末側から送信された入力画像データを受信するステップと、
サーバー側のオブジェクト識別手段が、前記入力画像をもとに、画像内に含まれるオブジェクトを識別するステップと、
サーバー側の姿勢パラメータ推定手段が、前記入力画像内に含まれるオブジェクトがどのような姿勢で写っているかを推定するステップと、
サーバー側の表示画像作成手段が、前記オブジェクトの種類とその姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、もしくは所定の姿勢に応じた変形・変更を施し、画像として生成する表示画像作成ステップと、
サーバー側の送受信手段が、前記表示画像作成手段により生成された画像データを前記端末側に送信するステップと、
端末側の送受信手段が、前記サーバー側から送信された画像データを受信するステップと、
前記端末側の出力手段が、前記作成された表示画像をディスプレイに出力するステップと
を備えることを特徴とする３次元物体表示方法。
【請求項６】
前記表示画像作成ステップは、表示するオブジェクトの姿勢パラメータを推定パラメータ値のｎ倍に設定し、表示画像を作成することを特徴とする請求項４又は５に記載の３次元物体表示方法。
【請求項７】
請求項４乃至６に記載の３次元物体表示方法をコンピュータに実行させるためのプログラムとし、そのプログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする３次元物体表示プログラムを記録した記録媒体。
【請求項１】
印刷された物体またはディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係を利用した３次元物体表示装置であって、
登録するオブジェクトの３Ｄモデルをメモリに格納するオブジェクト３Ｄモデル保存手段と、
前記登録オブジェクトの３Ｄモデルに対応する２次元画像を入力する登録用画像データ入力手段と、
前記登録オブジェクトに対応する２次元画像をもとに透視投影変換を用いて複数の画像を生成し、それを識別のための学習用画像として利用し、識別関数を導出する識別辞書作成手段と、
前記識別関数の各種係数値をメモリに格納する識別辞書保存手段と、
前記透視投影変換を用いて生成された複数の画像を学習用画像として姿勢パラメータ推定関数を導出するパラメータ推定関数作成手段と、
前記姿勢パラメータ推定関数の各種係数値をメモリに格納するパラメータ推定関数保存手段と、
カメラで撮影された画像を入力する画像データ入力手段と、
前記入力画像をもとに、画像内に含まれるオブジェクトを識別するオブジェクト識別手段と、
前記入力画像内に含まれるオブジェクトがどのような姿勢で写っているかを推定する姿勢パラメータ推定手段と、
前記オブジェクトの種類とその姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、もしくは所定の姿勢に応じた変形・変更を施し、画像として生成する表示画像作成手段と、
前記作成された表示画像をディスプレイに出力する出力手段とを備えることを特徴とする３次元物体表示装置。
【請求項２】
端末とサーバーを備えて構成され、
前記端末は、
前記画像データ入力手段と、
前記画像データ入力手段により入力された入力画像データを前記サーバー側に送信し、前記サーバー側から送信される、作成された表示画像を受信する端末側送受信手段と、
前記出力手段とを有し、
前記サーバーは、
前記端末側から送信される入力画像データを受信し、前記表示画像作成手段により生成された画像データを前記端末側に送信するサーバー側送受信手段と、
前記オブジェクト３Ｄモデル保存手段、前記登録用画像データ入力手段、前記識別辞書作成手段、前記識別辞書保存手段、前記パラメータ推定関数作成手段、前記パラメータ推定関数保存手段、前記オブジェクト識別手段、前記姿勢パラメータ推定手段および前記表示画像作成手段とを有することを特徴とする請求項１に記載の３次元物体表示装置。
【請求項３】
前記表示画像作成手段は、表示するオブジェクトの姿勢パラメータを推定パラメータ値のｎ倍に設定し、表示画像を作成することを特徴とする請求項１又は２に記載の３次元物体表示装置。
【請求項４】
印刷された物体またはディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係を利用した３次元物体表示方法であって、
オブジェクト３Ｄモデル保存手段が、登録するオブジェクトの３Ｄモデルをメモリに格納するステップと、
登録用画像データ入力手段が、前記登録オブジェクトの３Ｄモデルに対応する２次元画像を入力するステップと、
識別辞書作成手段が、前記登録オブジェクトに対応する２次元画像をもとに透視投影変換を用いて複数の画像を生成し、それを識別のための学習用画像として利用し、識別関数を導出するステップと、
識別辞書保存手段が、前記識別関数の各種係数値をメモリに格納するステップと、
パラメータ推定関数作成手段が、前記透視投影変換を用いて生成された複数の画像を学習用画像として姿勢パラメータ推定関数を導出するステップと、
パラメータ推定関数保存手段が、前記姿勢パラメータ推定関数の各種係数値をメモリに格納するステップと、
画像データ入力手段が、カメラで撮影された画像を入力するステップと、
オブジェクト識別手段が、前記入力画像をもとに、画像内に含まれるオブジェクトを識別するステップと、
姿勢パラメータ推定手段が、前記入力画像内に含まれるオブジェクトがどのような姿勢で写っているかを推定するステップと、
表示画像作成手段が、前記オブジェクトの種類とその姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、もしくは所定の姿勢に応じた変形・変更を施し、画像として生成する表示画像作成ステップと、
出力手段が、前記作成された表示画像をディスプレイに出力するステップと
を備えることを特徴とする３次元物体表示方法。
【請求項５】
印刷された物体またはディスプレイ表示された物体とそれを撮像するカメラとの相対的位置関係を利用した３次元物体表示方法であって、
サーバー側のオブジェクト３Ｄモデル保存手段が、登録するオブジェクトの３Ｄモデルをメモリに格納するステップと、
サーバー側の登録用画像データ入力手段が、前記登録オブジェクトの３Ｄモデルに対応する２次元画像を入力するステップと、
サーバー側の識別辞書作成手段が、前記登録オブジェクトに対応する２次元画像をもとに透視投影変換を用いて複数の画像を生成し、それを識別のための学習用画像として利用し、識別関数を導出するステップと、
サーバー側の識別辞書保存手段が、前記識別関数の各種係数値をメモリに格納するステップと、
サーバー側のパラメータ推定関数作成手段が、前記透視投影変換を用いて生成された複数の画像を学習用画像として姿勢パラメータ推定関数を導出するステップと、
サーバー側のパラメータ推定関数保存手段が、前記姿勢パラメータ推定関数の各種係数値をメモリに格納するステップと、
端末側の画像データ入力手段が、カメラで撮影された画像を入力するステップと、
端末側の送受信手段が、前記画像データ入力手段により入力された入力画像データを前記サーバー側に送信するステップと、
サーバー側の送受信手段が、前記端末側から送信された入力画像データを受信するステップと、
サーバー側のオブジェクト識別手段が、前記入力画像をもとに、画像内に含まれるオブジェクトを識別するステップと、
サーバー側の姿勢パラメータ推定手段が、前記入力画像内に含まれるオブジェクトがどのような姿勢で写っているかを推定するステップと、
サーバー側の表示画像作成手段が、前記オブジェクトの種類とその姿勢をもとに、該当する３Ｄモデルを同じ姿勢に変換、もしくは所定の姿勢に応じた変形・変更を施し、画像として生成する表示画像作成ステップと、
サーバー側の送受信手段が、前記表示画像作成手段により生成された画像データを前記端末側に送信するステップと、
端末側の送受信手段が、前記サーバー側から送信された画像データを受信するステップと、
前記端末側の出力手段が、前記作成された表示画像をディスプレイに出力するステップと
を備えることを特徴とする３次元物体表示方法。
【請求項６】
前記表示画像作成ステップは、表示するオブジェクトの姿勢パラメータを推定パラメータ値のｎ倍に設定し、表示画像を作成することを特徴とする請求項４又は５に記載の３次元物体表示方法。
【請求項７】
請求項４乃至６に記載の３次元物体表示方法をコンピュータに実行させるためのプログラムとし、そのプログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする３次元物体表示プログラムを記録した記録媒体。
【図２】
【図３】
【図４】
【図５】
【図１】
【図３】
【図４】
【図５】
【図１】
【公開番号】特開２００８−４０８６４（Ｐ２００８−４０８６４Ａ）
【公開日】平成２０年２月２１日（２００８．２．２１）
【国際特許分類】
【出願番号】特願２００６−２１５５０５（Ｐ２００６−２１５５０５）
【出願日】平成１８年８月８日（２００６．８．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２０年２月２１日（２００８．２．２１）
【国際特許分類】
【出願日】平成１８年８月８日（２００６．８．８）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]