情報端末装置
【課題】マーカやセンサを用いることなく、撮像部に対して撮像対象の空間的位置や姿勢を変化させるだけで、表示部での表示情報を確実かつ高精度に制御できる情報端末装置を提供すること。
【解決手段】撮像部11は、撮像対象、例えば手を撮像する。推定部12は、入力画像から撮像対象における特徴点と基準点を用いて撮像部11に対する撮像対象の相対的な位置および姿勢を推定する。抽出部13は、入力画像と撮像対象領域を元に撮像対象が位置する領域を抽出する。制御部14は、表示部16で表示する情報を、記憶部15から読み出して抽出部13で抽出された撮像対象が位置する領域に表示するとともに、推定部12により推定された位置および姿勢に応じて制御する。
【解決手段】撮像部11は、撮像対象、例えば手を撮像する。推定部12は、入力画像から撮像対象における特徴点と基準点を用いて撮像部11に対する撮像対象の相対的な位置および姿勢を推定する。抽出部13は、入力画像と撮像対象領域を元に撮像対象が位置する領域を抽出する。制御部14は、表示部16で表示する情報を、記憶部15から読み出して抽出部13で抽出された撮像対象が位置する領域に表示するとともに、推定部12により推定された位置および姿勢に応じて制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報を提示する情報端末装置に関し、特に、撮像部と撮像対象の相対的な位置および姿勢の変化によって表示部での表示情報を制御できる情報端末装置に関する。
【背景技術】
【０００２】
撮像部に対して撮像対象の位置を変化させ、撮像部と撮像対象の相対的な位置関係に応じて表示部での表示情報を制御して提示する装置は、提示する情報を直感的に変化させることが可能であり、利用者の利便性を向上させる上で有用である。
【０００３】
これを実現する方法として、特許文献１では、物体の色に近似した色が付され、かつその外形および配置の組み合わせにより識別情報を構成する複数のマーカエレメントで構成されるマーカユニットを物体に配置し、該物体のカメラ映像を解析することによって、現実環境における物体に仮想情報を重畳表示する際の位置合わせを行う複合現実感システムが提案されている。
【０００４】
特許文献２には、位置姿勢センサが配置された現実空間の実写画像に、位置姿勢センサとカメラの計測範囲を重ね合わせた合成画像を生成する画像合成装置が提案されている。
【０００５】
特許文献３には、モーションセンサが検出した移動、傾動の方向および量に応じて、表示する情報をスクロールまたはズームするとともに、キー入力の所定キーを操作することによりスクロールまたはズームを停止する機能を有するポータブル機器が提案されている。
【０００６】
非特許文献１には、カメラで撮像した手の画像から曲率が大きな箇所を指先として検出し、楕円フィッティングの技術を利用して、検出された手の場所に位置合わせして情報を表示する手法が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−０２０６１４号公報
【特許文献２】特開２００７−２３３９７１号公報
【特許文献３】特開２００９−００３７９９号公報
【非特許文献】
【０００８】
【非特許文献１】T.Lee, et al.,"Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking,"In Proc. IEEE International Symposium on Wearable Computers, pp.83-90, Oct. 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１の複合現実感システムでは、カメラ画像におけるマーカユニットの位置により現実環境に重畳表示する仮想情報の位置が制御されるが、物体に予め人工的なマーカエレメントを配置しておく必要がある。このため、この複合現実感システムでの手法を利用できる場所が限定されるという課題がある。
【００１０】
特許文献２の画像合成装置では、位置姿勢センサを必要としている。また、特許文献３のポータブル機器では、モーションセンサを必要としている。このため、これらにおける手法を利用できる装置が限定されるという課題がある。また、センサ類の搭載は、端末のコスト上昇を招くだけでなく、装置の小型化や省電力化を妨げるという課題もある。
【００１１】
非特許文献１の手法では、特に曲率が大きな箇所を指先として検出するので、情報を正しく位置合わせして表示するには、指が丸く見えるくらいの近距離かつ高解像度画像を必要とする。また、処理負荷が大きい楕円フィッティングを用いて指先を検出するので、全ての指の指先を検出するとなると、処理時間がかかりすぎるという課題もある。
【００１２】
本発明の目的は、上記課題を解決し、マーカやセンサを用いることなく、撮像部に対して撮像対象の空間的位置や姿勢を変化させるだけで、表示部での表示情報を確実かつ高精度に制御できる情報端末装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明は、撮像対象を撮像する撮像部と、前記撮像部からの入力画像における撮像対象領域を形成するとともに撮像対象の特徴点を抽出し、予め設定された撮像対象の基準点に対応付けることにより、前記撮像部に対する撮像対象の相対的な位置および姿勢を推定する推定部と、前記撮像部からの入力画像と前記推定部で形成された撮像対象領域を元に撮像対象が位置する領域を抽出する抽出部と、情報を表示する表示部と、前記表示部で表示する情報を記憶する記憶部と、前記記憶部から読み出して前記表示部で表示する情報を、前記抽出部で抽出された撮像対象が位置する領域で、前記推定部により推定された位置および姿勢に応じて制御する制御部とを備えたことを基本的特徴としている。
【発明の効果】
【００１４】
本発明によれば、撮像部と撮像対象の相対的な位置および姿勢を変化させるだけで表示部で表示する情報を制御して、表示部における撮像対象が位置する領域に表示させることができる。したがって、利用者は、撮像部に対する撮像対象の相対的な位置および姿勢を変化させるという直観的な操作で、表示部で表示する情報を制御できる。
【００１５】
また、撮像部からの入力画像を解析し、撮像部に対する撮像対象の相対的な位置および姿勢の変化を基に表示部で表示する情報を制御するので、ソフトウェアで実現可能であり、センサ類の特別なハードウェアを情報端末に組み込む必要がない。
【００１６】
さらに、本発明では、撮像部からの入力画像から抽出した撮像対象の特徴点を、基準となる位置および姿勢での撮像対象に予め設定された基準点に対応付けて撮像対象の位置および姿勢の変化を推定するようにしているので、撮像対象の位置および姿勢の変化を確実かつ高精度に推定でき、したがって、表示部で表示する情報を確実かつ高精度に制御できる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る情報処理装置の一実施形態を示すブロック図である。
【図２】撮像部からの入力画像の具体例を示す図である。
【図３】過去の撮像対象が位置する領域と変換係数とを用いて現在の撮像対象が位置する領域を抽出する場合の抽出処理を示す説明図である。
【図４】推定部での処理手順を示すフローチャートである。
【図５】撮像対象を分離するための分離境界を求める際に写像を利用する場合の説明図である。
【図６】撮像対象を手とし、画素値変化の極値を基に撮像対象領域を形成する場合の説明図である。
【図７】撮像対象領域および最小外接矩形の説明図である。
【図８】表示部での表示例を示す図である。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明を説明する。以下では、情報端末装置として携帯電話を利用し、撮像対象を手とし、撮像対象が位置する領域を机とした場合を例に挙げて説明する。しかし、本発明の情報端末装置は、携帯電話に限られず、撮像部を備えたものであればどのような情報端末装置でもよく、例えば、コンピュータなどでもよい。また、撮像対象や撮像対象が位置する領域も手や机に限られない。
【００１９】
図１は、本発明の情報端末装置の第一実施形態を示す機能ブロック図である。本実施形態の情報端末装置は、撮像部11、推定部12、抽出部13、制御部14、記憶部15および表示部16を備える。
【００２０】
利用者は、例えば、撮像対象としての手の平を机の上に位置させる。撮像部11は、所定のサンプリング周期で、撮像対象を含む領域を連続的に撮像し、その画像を推定部12、抽出部3および制御部14へ送出する。撮像部11としては携帯電話に標準装備されるデジタルカメラを用いることができる。
【００２１】
推定部13には、撮像対象の位置および姿勢の変化を判断する際の基準として既知(基準)の位置および姿勢での撮像対象における基準点が予め登録されている。ここで、基準点は、撮像対象の全体的な位置および姿勢の変化を示す点に設定するのが好ましい。例えば、撮像対象が手の場合、指先に基準点を設定すればよい。なお、撮像対象の位置、基準点の位置、後述する特徴点の位置、その他の位置は、座標位置として特定される。
【００２２】
推定部12は、撮像部11からの入力画像における撮像対象領域を形成し、この撮像対象領域から基準点に対応する特徴点を検出する。さらに、推定部12は、検出された特徴点を基準点に対応付け、対応付けられた特徴点と基準点の座標位置から、予め設定された変換式に基づいて撮像部11に対する撮像対象の相対的な位置および姿勢を表す変換係数を推定する。推定部12において変換係数の推定に用いた変換式および推定された変換係数は、制御部14へ送出される。推定部12での処理の詳細は後述する。
【００２３】
抽出部13は、撮像部11からの入力画像と推定部12で形成された撮像対象領域を入力とし、撮像対象が位置する領域を抽出する。これにより、例えば、手の平が位置する机上面の領域が抽出される。
【００２４】
撮像対象が位置する領域は、推定部12で形成された撮像対象領域の周囲外側に位置する画素の画素値(例えば、色)を基準とし、画素値の差が予め設定した一定範囲に収まる画素を同じ領域であるとして撮像対象が位置する領域に追加し、追加した画素の画素値を新たな基準として反復的に画素を撮像対象が位置する領域に追加するという処理で抽出できる。
【００２５】
上記処理により撮像対象領域を含まない外側領域が抽出されるが、撮像対象が位置する領域に撮像対象領域を含ませてもよい。これは、撮像対象が存在しないとした場合の背景を推定して形成することで実現できる。
【００２６】
これにより抽出された撮像対象が位置する領域は、撮像部11に対する相対的な姿勢が撮像対象と同じ領域として制御部14へ送出される。
【００２７】
図２は、撮像部11からの入力画像の具体例を示す。この具体例では、撮像部11により手Aと机上面Bが撮像され、抽出部13では、撮像対象としての手Aの平が位置する机の上面Bが撮像対象が位置する領域として抽出される。
【００２８】
抽出部13での撮像対象が位置する領域の抽出は、上記の手法に限らず、種々の手法で可能である。例えば、撮像対象はそのままの位置で動かないが、携帯電話のように、撮像対象に対して撮像部11が動くことが想定される場合、抽出部13で抽出された過去の撮像対象が位置する領域と変換係数とを用いて現在の撮像対象が位置する領域を抽出することができる。これにより、各フレームについて撮像対象が位置する領域を抽出する処理を行わなくても済む。
【００２９】
図３は、その場合の撮像対象が位置する領域の抽出処理の説明図である。同図に示すように、撮像対象の位置および姿勢の基準からの変化を時刻ｔの変換係数ｐtと変換式ｆ()で写像する場合、式(1)を用いて、時刻ｔ−１の変換係数ｐt-1で逆変換し、時刻tの変換係数で変換することで実現できる。
【００３０】
【数１】
【００３１】
ここで、ｘは、時刻ｔ−１において抽出された撮像対象が位置する領域に属する一部あるいは全部の座標を表す。式(1)におけるｆＰｔ−１−１()は、時刻ｔ−１において抽出された撮像対象が位置する領域に属する座標を時刻ｔ−１の変換係数ｐt-1で逆変換することを表し(図３の(a))、ｆＰｔ()は、逆変換された座標を時刻ｔの変換係数ｐtで変換することを表している(図３の(b))。
【００３２】
式(1)による変換後の座標がフレーム内に収まっている領域を基準として、上記と同様に、画素値の差が予め設定した一定範囲に収まる画素を同じ領域であるとして撮像対象が位置する領域に追加する処理を反復的に行うことで、時刻ｔにおける撮像対象が位置する領域を抽出できる。
【００３３】
記憶部15は、表示部16で表示する情報を予め複数蓄積している。利用者は、制御部14に対する入力操作で、記憶部15に蓄積されている情報の中から任意の情報を選択して表示部16で表示させることができる。
【００３４】
表示部16で情報を表示する際、制御部14は、表示する情報に推定部12から入力された変換式および変換係数を情報に適用する。これにより、表示する情報は、撮像対象と同じ姿勢に加工される。また、制御部14は、表示部16において抽出部13で抽出された撮像対象が位置する領域内に情報が表示されるように表示位置を制御する。ここで、表示する情報を自動あるいは手動で適宜拡大・縮小させるようにしてもよい。
【００３５】
表示部16における情報の表示位置は、撮像対象の位置により自動的に定めることができる。例えば、撮像対象が手である場合、その指先、重心や中心の位置に従って表示位置(表示中央や端部など)を定めることができる。また、利用者が手動で表示位置を定めるようにしてもよく、表示位置を自動で定めるモードと手動で定めるモードを選択できるようにしてもよい。
【００３６】
図３は、推定部12での処理手順を示すフローチャートである。推定部12は、処理選択S21に従って撮像対象領域形成処理S22および特徴点検出処理S23もしくは特徴点追跡処理S24並びに姿勢推定処理S25を所定のタイミング間隔で順次繰り返し実行する。
【００３７】
ここで、撮像対象領域形成処理S22および特徴点検出処理S23と特徴点追跡処理S24は、処理選択S21に従って排他的に切り替えられる。この切り替えは、利用者が適宜行ってもよく、一定時間間隔ごと、あるいは姿勢推定の精度や処理負担に応じて行ってもよい。
【００３８】
撮像対象領域形成処理S22、特徴点検出処理S23および姿勢推定処理S25による姿勢推定処理が選択された場合、まず、撮像対象領域形成処理S22では、撮像部11からの入力画像から撮像対象領域を抽出する。この抽出は、色空間を利用して利用者が手動で指定した色に基づいて行うことができる。撮像対象が手の場合、肌色を指定すればよい。例えば、撮像部11からの入力画像がRGB色空間で表現されている場合、RGBそれぞれの上限および下限で肌色を定義できる。RGB色空間に限らず、HSV色空間、YCbCr空間など他の色空間を利用することもできる。入力画像の色空間と色指定の色空間とが異なる場合には、それらの間での変換を行えばよい。
【００３９】
また、色の指定は、半自動的に行うこともできる。例えば、表示部16に一定領域を示す枠線を描画しておき、この枠内部が撮像対象で占められるようにして撮像部11で撮像対象を撮像する。そして、この枠内部の色分布を求め、該色分布を撮像対象の色として指定すればよい。
【００４０】
枠内部の画像が撮像対象と背景領域を含む場合には、さらにエッジを利用して撮像対象領域と背景領域を区別し、撮像対象領域の色分布を撮像対象の色として指定することもできる。
【００４１】
また、撮像部11からの入力画像内に撮像対象と類似した色の非撮像対象が存在する場合には、上記枠とは別の別枠内部が非撮像対象で占められるようにして撮像し、別枠内部の色分布も求め、枠内部と別枠内部の色分布の相違により撮像対象と非撮像対象を区別することも好ましい。
【００４２】
具体的には、上記のようにして求めた枠内部と別枠内部の色分布を最もよく分離する色空間上での分離境界を求め、この分離境界を境として撮像対象の色を指定すればよい。この分離境界を求めるに際しては、写像を利用することもできる。例えば、簡単化のための2次元の色空間(Cr,Cb)で説明するが、色空間(Cr,Cb)で撮像対象と非撮像対象の色分布が図４に示される場合、Cr→Cr′、Cb→Cb′の写像を利用すれば、撮像対象と非撮像対象の色分布の分離境界をCr′、Cb′の上限および下限で簡単に指定することができる。
【００４３】
また、色空間を予め複数に分離しておき、分離されたそれぞれの色空間(分離色空間)を適用した際に最も正しく撮像対象を抽出できた分離色空間を撮像対象の色として指定してもよい。例えば、撮像対象が手である場合、複数の指を横断するような枠を用意し、指と指間が交互に正しく抽出されるように撮像対象の色を指定する。
【００４４】
また、色空間を用いずに、画素値(色や輝度)変化の極値やエッジなどの特徴を基に撮像対象領域を形成することもできる。図６は、撮像対象を手とし、画素値変化の極値を基に撮像対象領域を形成する場合の説明図である。
【００４５】
同図(a)に示すように、複数の指を横断するような枠を用意し、この枠内の画像を抽出する。そして、同図(b)に示すように、枠内の画像における画素値変化の極値a1〜a4とb1〜b3の中から最も類似する極値a2,b1の組み合わせを選択し、その平均値を求める。ここで、図示するように、背景の画素値より撮像対象の画素値の方が大きい場合、求められた平均値を下限とし、最大値を上限とする画素値範囲を撮像対象の画素値範囲とする。逆に、撮像対象の画素値より背景の画素値の方が大きい場合には、求められた平均値を上限とし、最小値を下限とする画素値範囲を撮像対象の画素値範囲とする。以上のようにして求められた撮像対象の画素値範囲の画素を、撮像部11からの入力画像から抽出して撮像対象領域を形成する。
【００４６】
いずれの場合でも、一定時間間隔ごと、あるいは姿勢推定の精度や処理負担に応じて切り替えられる撮像対象領域形成処理S21では、撮像対象の色や画素値範囲を一旦決定すれば、閾値による抽出処理で撮像対象領域を形成できる。また、撮像対象が手である場合、過去の画像における隣接する２つの指先とそれらの指の股の座標で形成される複数の三角形それぞれの重心を求め、隣接する重心間を結ぶ直線上の色分布から上記と同様にして画素値範囲を求め、更新するという手法を採用して、画素値範囲を適応的に求めることもできる。この手法によれば、光源環境の変化に対して頑健にすることができる。また、入力画像の色空間と色指定の色空間が異なっていても色空間の変換で対処可能であり、高速処理で撮像対象領域を形成できる。
【００４７】
次に、特徴点検出処理S23では、撮像部11からの入力画像の中から予め設定された基準点に対応する点を特徴点として抽出し、その特徴点の位置座標を検出する。予め設定される基準点は、検出しやすく、後続する姿勢推定処理S25で姿勢推定を高精度で行うことができる点に設定するのが好ましい。撮像対象が手の場合、例えば、指先に基準点を設定すればよい。
【００４８】
特徴点検出処理S23についてさらに詳細に説明する。撮像対象領域形成処理S22では撮像対象以外の小領域が形成されることもあるので、特徴検出処理S23では、まず、撮像対象領域形成処理S22で形成された領域のうちから最も大きな領域を撮像対象領域として選択する。次に、モルフォロジフィルタによって撮像対象領域の部分的な欠損を補う。撮像対象領域の欠損は、撮像対象への光の当たり具合などによって生じる。
【００４９】
続いて、撮像対象領域全体を包含しかつ面積が最小の最小外接矩形を形成する。この最小外接矩形は、探索的手法により形成できる。図７は、撮像対象が手Aである場合の最小外接矩形a-b-c-dを示す。この最小外接矩形a-b-c-dを利用して特徴点を検出し、検出された特徴点を基準点に対応付ける。
【００５０】
撮像対象が手Aである場合、最小外接矩形a-b-c-dが指先から手首まで含むものとすると、最小外接矩形a-b-c-dの短辺a-b、c-dの内、撮像対象が接する画素の数もしくは短辺a-b、c-dから一定範囲内に存在する撮像対象領域の多少から指先方向と手首方向を判断できる。すなわち、指先方向では中指だけが短辺c-dに接するので接する画素の数は少ないが、手首方向では手首全体が短辺a-bに接するので接する画素の数が多い。また、指先方向では短辺c-dから一定範囲内に存在する撮像対象領域(肌色領域)は少ないが、手首方向では短辺a-bから一定範囲内に存在する撮像対象領域が多い。
【００５１】
最小外接矩形a-b-c-dは、探索的手法によらず、他の手法でも形成できる。例えば、小領域ごとに撮像対象領域のエッジの傾きをそれぞれ算出し、それらの傾きの中央値を軸方向として最小外接矩形a-b-c-dを形成することもできる。この場合、軸方向に垂直の方向において、エッジの密度が高い方の辺に指先があり、他方に手首があると判断できる。
【００５２】
以上のようにして指先方向および手首方向が分かれば、指先があると判断された方の短辺c-dと撮像対象領域の接点が第３指の指先であると判断できる。
【００５３】
最後に、第３指以外の第１指ないし第５指の指先を判断する。ここでは、第３指が接する辺に垂直な両辺(長辺)b-c、d-aの接点e、fから第３指が接する辺c-dに向かって撮像対象領域の縁を辿ったとき、第３指との距離が極小値を取る点が指先であると判断できる。それら極小値の内の最大値を取る点が第１指の指先であり、それから順番に他の極小値を取る点が第２指、第４指、第５指の指先であると判断できる。
【００５４】
以上のようにして第１指ないし第５指の指先を判断することができ、それらの指先を対応する基準点に対応付けることができる。これにより、指の開閉に依存せず、かつ指先が外接矩形に接していない場合においても、第１指ないし第５指を対応する基準点に正確に対応付けることができる。
【００５５】
特徴点追跡処理S24による姿勢推定処理が選択された場合には、過去の特徴点を用いて現在の特徴点を追跡する。具体的には、過去の入力画像で検出された特徴点を含む小領域をテンプレートとし、現在の入力画像からテンプレートとの差分二乗和が最小となる領域を探索する。差分二乗和最小値となる領域において過去の特徴点に対応する点を、撮像部11からの入力画像における特徴点として姿勢推定処理S25へ送出する。
【００５６】
撮像対象領域形成処理S22、特徴点検出処理S23および姿勢推定処理S25による姿勢推定処理と、特徴点追跡処理S24および姿勢推定処理S25による姿勢推定処理は、排他的に切り替えられる。撮像対象領域形成処理S22、特徴点検出処理S23および姿勢推定処理S25による姿勢推定処理は、姿勢推定精度の面で優れているのに対し、特徴点追跡処理S24および姿勢推定処理S25による姿勢推定処理は、処理負担および処理速度の面で優れている。
【００５７】
姿勢推定精度の面からは、撮像対象領域形成処理S22、特徴点検出処理S23を優先的に適用するのが好ましく、処理負担や処理速度の面からは、特徴点追跡処理S24を優先的に適用するのが好ましい。
【００５８】
特徴点追跡処理S24での特徴点追跡の精度が劣ると考えられる場合、例えば、特徴点追跡処理S24での追跡回数が一定回数を超えた場合や前回の追跡における差分二乗和が一定値を超えた場合、前回の特徴点検出処理S23で特徴点を検出できなかった場合や前々回と前回の特徴点の位置座標に大きな変化が存在する場合などには、領域形成処理S22および特徴点検出処理S23を適用するのが好ましい。したがって、領域形成処理S22および特徴点検出処理S23と特徴点追跡処理S24を上記の場合であるか否かに従って自動的に切り替えることもできる。これは、S21を上記の場合であるか否かの判断のステップに代えることによって実現できる。
【００５９】
姿勢推定処理S25では、特徴点検出処理S23あるいは特徴点追跡処理S24で検出された特徴点を予め同一平面上に登録されている基準点に対応付け、両者の位置座標を比較することにより、撮像部11に対する撮像対象の相対的な位置および姿勢を推定する。
【００６０】
撮像部11に対する撮像対象の相対的な位置および姿勢を推定するために、まず、対応付けられたｎ個の特徴点と基準点の位置(座標)をそれぞれ(ｘ′ｊ，ｙ′ｊ)(１≦ｊ≦ｎ)、(ｘｊ，ｙｊ)(１≦ｊ≦ｎ)とし、予め設定した変換式において両者が一致するような変換係数ａｋを求める。
【００６１】
例えば、式(2)，(3)の射影変換を利用する変換式を用いる場合、ｍ＝２ｎならば、２ｎ元連立方程式で変換係数ａｋを求めることができる。また、ｍ＜２ｎならば、最小二乗法で変換係数ａｋを求めることができる。
【００６２】
【数２】
【００６３】
【数３】
【００６４】
姿勢推定処理S24で求められた変換係数ａｋは、変換式と共に制御部14へ送出される。
【００６５】
制御部14は、姿勢推定処理24で求められた変換係数および変換式を表示する情報に適用する。これにより、表示する情報は、撮像対象と同じ姿勢に加工される。また、制御部14は、表示部16において抽出部13で抽出された撮像対象が位置する領域内に情報を位置させて表示する。
【００６６】
図８は、本発明による表示部16での表示例を示す図である。図２に示すように、机上面に手の平を位置させることにより、図８に示すように、机の上に置かれているような態様で情報を表示させることができる。ここでは、表示部16で撮像対象(手)が表示されないようにしている。これは、抽出部13により手が存在しないとした場合の背景を推定して撮像対象が位置する領域を形成することで実現できる。表示部16で手を表示し、その画面において情報を重畳表示させてもよい。同図(a)は、単に机上に情報が表示される場合であるが、同図(b)にように、机上に置かれた物品(例えばコーヒーカップ)で見えなくなる部分の一部情報を欠如させて情報を表示させるよういなことも可能である。
【００６７】
以上実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、種々に変形されたものも含む。例えば、撮像対象としての手の平を机上に垂直に立てるなど、撮像対象の姿勢を変えることにより、撮像対象が位置する領域での情報の表示態様を変えることができる。
【００６８】
また、上記実施形態では、携帯電話のように常に動く情報端末装置を想定し、その都度、撮像対象を撮像して変換係数を求めているが、情報端末装置が固定であり、情報表示の態様が固定である場合には、一旦求めた変換係数を保持し、それを継続的に利用することができる。この場合、情報表示の態様を変えたいときにだけ撮像対象を撮像して変換係数を求めればよい。
【００６９】
さらに、推定部12で形成される撮像対象領域と抽出部13で抽出される撮像対象が位置する領域を別のものとし、撮像対象領域あるいは撮像対象が位置する領域に位置させて情報を表示させることもできる。
【００７０】
本発明によれば、種々の場所に撮像対象を位置させて種々の情報を種々の形態で表示させることができ、例えば、壁面などに仮想的にポスターが張り付けられた仮想表示なども行うことができる。
【符号の説明】
【００７１】
11・・・撮像部、12・・・推定部、13・・・抽出部、14・・・制御部、15・・・記憶部、16・・・表示部
【技術分野】
【０００１】
本発明は、情報を提示する情報端末装置に関し、特に、撮像部と撮像対象の相対的な位置および姿勢の変化によって表示部での表示情報を制御できる情報端末装置に関する。
【背景技術】
【０００２】
撮像部に対して撮像対象の位置を変化させ、撮像部と撮像対象の相対的な位置関係に応じて表示部での表示情報を制御して提示する装置は、提示する情報を直感的に変化させることが可能であり、利用者の利便性を向上させる上で有用である。
【０００３】
これを実現する方法として、特許文献１では、物体の色に近似した色が付され、かつその外形および配置の組み合わせにより識別情報を構成する複数のマーカエレメントで構成されるマーカユニットを物体に配置し、該物体のカメラ映像を解析することによって、現実環境における物体に仮想情報を重畳表示する際の位置合わせを行う複合現実感システムが提案されている。
【０００４】
特許文献２には、位置姿勢センサが配置された現実空間の実写画像に、位置姿勢センサとカメラの計測範囲を重ね合わせた合成画像を生成する画像合成装置が提案されている。
【０００５】
特許文献３には、モーションセンサが検出した移動、傾動の方向および量に応じて、表示する情報をスクロールまたはズームするとともに、キー入力の所定キーを操作することによりスクロールまたはズームを停止する機能を有するポータブル機器が提案されている。
【０００６】
非特許文献１には、カメラで撮像した手の画像から曲率が大きな箇所を指先として検出し、楕円フィッティングの技術を利用して、検出された手の場所に位置合わせして情報を表示する手法が提案されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−０２０６１４号公報
【特許文献２】特開２００７−２３３９７１号公報
【特許文献３】特開２００９−００３７９９号公報
【非特許文献】
【０００８】
【非特許文献１】T.Lee, et al.,"Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking,"In Proc. IEEE International Symposium on Wearable Computers, pp.83-90, Oct. 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１の複合現実感システムでは、カメラ画像におけるマーカユニットの位置により現実環境に重畳表示する仮想情報の位置が制御されるが、物体に予め人工的なマーカエレメントを配置しておく必要がある。このため、この複合現実感システムでの手法を利用できる場所が限定されるという課題がある。
【００１０】
特許文献２の画像合成装置では、位置姿勢センサを必要としている。また、特許文献３のポータブル機器では、モーションセンサを必要としている。このため、これらにおける手法を利用できる装置が限定されるという課題がある。また、センサ類の搭載は、端末のコスト上昇を招くだけでなく、装置の小型化や省電力化を妨げるという課題もある。
【００１１】
非特許文献１の手法では、特に曲率が大きな箇所を指先として検出するので、情報を正しく位置合わせして表示するには、指が丸く見えるくらいの近距離かつ高解像度画像を必要とする。また、処理負荷が大きい楕円フィッティングを用いて指先を検出するので、全ての指の指先を検出するとなると、処理時間がかかりすぎるという課題もある。
【００１２】
本発明の目的は、上記課題を解決し、マーカやセンサを用いることなく、撮像部に対して撮像対象の空間的位置や姿勢を変化させるだけで、表示部での表示情報を確実かつ高精度に制御できる情報端末装置を提供することにある。
【課題を解決するための手段】
【００１３】
上記課題を解決するため、本発明は、撮像対象を撮像する撮像部と、前記撮像部からの入力画像における撮像対象領域を形成するとともに撮像対象の特徴点を抽出し、予め設定された撮像対象の基準点に対応付けることにより、前記撮像部に対する撮像対象の相対的な位置および姿勢を推定する推定部と、前記撮像部からの入力画像と前記推定部で形成された撮像対象領域を元に撮像対象が位置する領域を抽出する抽出部と、情報を表示する表示部と、前記表示部で表示する情報を記憶する記憶部と、前記記憶部から読み出して前記表示部で表示する情報を、前記抽出部で抽出された撮像対象が位置する領域で、前記推定部により推定された位置および姿勢に応じて制御する制御部とを備えたことを基本的特徴としている。
【発明の効果】
【００１４】
本発明によれば、撮像部と撮像対象の相対的な位置および姿勢を変化させるだけで表示部で表示する情報を制御して、表示部における撮像対象が位置する領域に表示させることができる。したがって、利用者は、撮像部に対する撮像対象の相対的な位置および姿勢を変化させるという直観的な操作で、表示部で表示する情報を制御できる。
【００１５】
また、撮像部からの入力画像を解析し、撮像部に対する撮像対象の相対的な位置および姿勢の変化を基に表示部で表示する情報を制御するので、ソフトウェアで実現可能であり、センサ類の特別なハードウェアを情報端末に組み込む必要がない。
【００１６】
さらに、本発明では、撮像部からの入力画像から抽出した撮像対象の特徴点を、基準となる位置および姿勢での撮像対象に予め設定された基準点に対応付けて撮像対象の位置および姿勢の変化を推定するようにしているので、撮像対象の位置および姿勢の変化を確実かつ高精度に推定でき、したがって、表示部で表示する情報を確実かつ高精度に制御できる。
【図面の簡単な説明】
【００１７】
【図１】本発明に係る情報処理装置の一実施形態を示すブロック図である。
【図２】撮像部からの入力画像の具体例を示す図である。
【図３】過去の撮像対象が位置する領域と変換係数とを用いて現在の撮像対象が位置する領域を抽出する場合の抽出処理を示す説明図である。
【図４】推定部での処理手順を示すフローチャートである。
【図５】撮像対象を分離するための分離境界を求める際に写像を利用する場合の説明図である。
【図６】撮像対象を手とし、画素値変化の極値を基に撮像対象領域を形成する場合の説明図である。
【図７】撮像対象領域および最小外接矩形の説明図である。
【図８】表示部での表示例を示す図である。
【発明を実施するための最良の形態】
【００１８】
以下、図面を参照して本発明を説明する。以下では、情報端末装置として携帯電話を利用し、撮像対象を手とし、撮像対象が位置する領域を机とした場合を例に挙げて説明する。しかし、本発明の情報端末装置は、携帯電話に限られず、撮像部を備えたものであればどのような情報端末装置でもよく、例えば、コンピュータなどでもよい。また、撮像対象や撮像対象が位置する領域も手や机に限られない。
【００１９】
図１は、本発明の情報端末装置の第一実施形態を示す機能ブロック図である。本実施形態の情報端末装置は、撮像部11、推定部12、抽出部13、制御部14、記憶部15および表示部16を備える。
【００２０】
利用者は、例えば、撮像対象としての手の平を机の上に位置させる。撮像部11は、所定のサンプリング周期で、撮像対象を含む領域を連続的に撮像し、その画像を推定部12、抽出部3および制御部14へ送出する。撮像部11としては携帯電話に標準装備されるデジタルカメラを用いることができる。
【００２１】
推定部13には、撮像対象の位置および姿勢の変化を判断する際の基準として既知(基準)の位置および姿勢での撮像対象における基準点が予め登録されている。ここで、基準点は、撮像対象の全体的な位置および姿勢の変化を示す点に設定するのが好ましい。例えば、撮像対象が手の場合、指先に基準点を設定すればよい。なお、撮像対象の位置、基準点の位置、後述する特徴点の位置、その他の位置は、座標位置として特定される。
【００２２】
推定部12は、撮像部11からの入力画像における撮像対象領域を形成し、この撮像対象領域から基準点に対応する特徴点を検出する。さらに、推定部12は、検出された特徴点を基準点に対応付け、対応付けられた特徴点と基準点の座標位置から、予め設定された変換式に基づいて撮像部11に対する撮像対象の相対的な位置および姿勢を表す変換係数を推定する。推定部12において変換係数の推定に用いた変換式および推定された変換係数は、制御部14へ送出される。推定部12での処理の詳細は後述する。
【００２３】
抽出部13は、撮像部11からの入力画像と推定部12で形成された撮像対象領域を入力とし、撮像対象が位置する領域を抽出する。これにより、例えば、手の平が位置する机上面の領域が抽出される。
【００２４】
撮像対象が位置する領域は、推定部12で形成された撮像対象領域の周囲外側に位置する画素の画素値(例えば、色)を基準とし、画素値の差が予め設定した一定範囲に収まる画素を同じ領域であるとして撮像対象が位置する領域に追加し、追加した画素の画素値を新たな基準として反復的に画素を撮像対象が位置する領域に追加するという処理で抽出できる。
【００２５】
上記処理により撮像対象領域を含まない外側領域が抽出されるが、撮像対象が位置する領域に撮像対象領域を含ませてもよい。これは、撮像対象が存在しないとした場合の背景を推定して形成することで実現できる。
【００２６】
これにより抽出された撮像対象が位置する領域は、撮像部11に対する相対的な姿勢が撮像対象と同じ領域として制御部14へ送出される。
【００２７】
図２は、撮像部11からの入力画像の具体例を示す。この具体例では、撮像部11により手Aと机上面Bが撮像され、抽出部13では、撮像対象としての手Aの平が位置する机の上面Bが撮像対象が位置する領域として抽出される。
【００２８】
抽出部13での撮像対象が位置する領域の抽出は、上記の手法に限らず、種々の手法で可能である。例えば、撮像対象はそのままの位置で動かないが、携帯電話のように、撮像対象に対して撮像部11が動くことが想定される場合、抽出部13で抽出された過去の撮像対象が位置する領域と変換係数とを用いて現在の撮像対象が位置する領域を抽出することができる。これにより、各フレームについて撮像対象が位置する領域を抽出する処理を行わなくても済む。
【００２９】
図３は、その場合の撮像対象が位置する領域の抽出処理の説明図である。同図に示すように、撮像対象の位置および姿勢の基準からの変化を時刻ｔの変換係数ｐtと変換式ｆ()で写像する場合、式(1)を用いて、時刻ｔ−１の変換係数ｐt-1で逆変換し、時刻tの変換係数で変換することで実現できる。
【００３０】
【数１】
【００３１】
ここで、ｘは、時刻ｔ−１において抽出された撮像対象が位置する領域に属する一部あるいは全部の座標を表す。式(1)におけるｆＰｔ−１−１()は、時刻ｔ−１において抽出された撮像対象が位置する領域に属する座標を時刻ｔ−１の変換係数ｐt-1で逆変換することを表し(図３の(a))、ｆＰｔ()は、逆変換された座標を時刻ｔの変換係数ｐtで変換することを表している(図３の(b))。
【００３２】
式(1)による変換後の座標がフレーム内に収まっている領域を基準として、上記と同様に、画素値の差が予め設定した一定範囲に収まる画素を同じ領域であるとして撮像対象が位置する領域に追加する処理を反復的に行うことで、時刻ｔにおける撮像対象が位置する領域を抽出できる。
【００３３】
記憶部15は、表示部16で表示する情報を予め複数蓄積している。利用者は、制御部14に対する入力操作で、記憶部15に蓄積されている情報の中から任意の情報を選択して表示部16で表示させることができる。
【００３４】
表示部16で情報を表示する際、制御部14は、表示する情報に推定部12から入力された変換式および変換係数を情報に適用する。これにより、表示する情報は、撮像対象と同じ姿勢に加工される。また、制御部14は、表示部16において抽出部13で抽出された撮像対象が位置する領域内に情報が表示されるように表示位置を制御する。ここで、表示する情報を自動あるいは手動で適宜拡大・縮小させるようにしてもよい。
【００３５】
表示部16における情報の表示位置は、撮像対象の位置により自動的に定めることができる。例えば、撮像対象が手である場合、その指先、重心や中心の位置に従って表示位置(表示中央や端部など)を定めることができる。また、利用者が手動で表示位置を定めるようにしてもよく、表示位置を自動で定めるモードと手動で定めるモードを選択できるようにしてもよい。
【００３６】
図３は、推定部12での処理手順を示すフローチャートである。推定部12は、処理選択S21に従って撮像対象領域形成処理S22および特徴点検出処理S23もしくは特徴点追跡処理S24並びに姿勢推定処理S25を所定のタイミング間隔で順次繰り返し実行する。
【００３７】
ここで、撮像対象領域形成処理S22および特徴点検出処理S23と特徴点追跡処理S24は、処理選択S21に従って排他的に切り替えられる。この切り替えは、利用者が適宜行ってもよく、一定時間間隔ごと、あるいは姿勢推定の精度や処理負担に応じて行ってもよい。
【００３８】
撮像対象領域形成処理S22、特徴点検出処理S23および姿勢推定処理S25による姿勢推定処理が選択された場合、まず、撮像対象領域形成処理S22では、撮像部11からの入力画像から撮像対象領域を抽出する。この抽出は、色空間を利用して利用者が手動で指定した色に基づいて行うことができる。撮像対象が手の場合、肌色を指定すればよい。例えば、撮像部11からの入力画像がRGB色空間で表現されている場合、RGBそれぞれの上限および下限で肌色を定義できる。RGB色空間に限らず、HSV色空間、YCbCr空間など他の色空間を利用することもできる。入力画像の色空間と色指定の色空間とが異なる場合には、それらの間での変換を行えばよい。
【００３９】
また、色の指定は、半自動的に行うこともできる。例えば、表示部16に一定領域を示す枠線を描画しておき、この枠内部が撮像対象で占められるようにして撮像部11で撮像対象を撮像する。そして、この枠内部の色分布を求め、該色分布を撮像対象の色として指定すればよい。
【００４０】
枠内部の画像が撮像対象と背景領域を含む場合には、さらにエッジを利用して撮像対象領域と背景領域を区別し、撮像対象領域の色分布を撮像対象の色として指定することもできる。
【００４１】
また、撮像部11からの入力画像内に撮像対象と類似した色の非撮像対象が存在する場合には、上記枠とは別の別枠内部が非撮像対象で占められるようにして撮像し、別枠内部の色分布も求め、枠内部と別枠内部の色分布の相違により撮像対象と非撮像対象を区別することも好ましい。
【００４２】
具体的には、上記のようにして求めた枠内部と別枠内部の色分布を最もよく分離する色空間上での分離境界を求め、この分離境界を境として撮像対象の色を指定すればよい。この分離境界を求めるに際しては、写像を利用することもできる。例えば、簡単化のための2次元の色空間(Cr,Cb)で説明するが、色空間(Cr,Cb)で撮像対象と非撮像対象の色分布が図４に示される場合、Cr→Cr′、Cb→Cb′の写像を利用すれば、撮像対象と非撮像対象の色分布の分離境界をCr′、Cb′の上限および下限で簡単に指定することができる。
【００４３】
また、色空間を予め複数に分離しておき、分離されたそれぞれの色空間(分離色空間)を適用した際に最も正しく撮像対象を抽出できた分離色空間を撮像対象の色として指定してもよい。例えば、撮像対象が手である場合、複数の指を横断するような枠を用意し、指と指間が交互に正しく抽出されるように撮像対象の色を指定する。
【００４４】
また、色空間を用いずに、画素値(色や輝度)変化の極値やエッジなどの特徴を基に撮像対象領域を形成することもできる。図６は、撮像対象を手とし、画素値変化の極値を基に撮像対象領域を形成する場合の説明図である。
【００４５】
同図(a)に示すように、複数の指を横断するような枠を用意し、この枠内の画像を抽出する。そして、同図(b)に示すように、枠内の画像における画素値変化の極値a1〜a4とb1〜b3の中から最も類似する極値a2,b1の組み合わせを選択し、その平均値を求める。ここで、図示するように、背景の画素値より撮像対象の画素値の方が大きい場合、求められた平均値を下限とし、最大値を上限とする画素値範囲を撮像対象の画素値範囲とする。逆に、撮像対象の画素値より背景の画素値の方が大きい場合には、求められた平均値を上限とし、最小値を下限とする画素値範囲を撮像対象の画素値範囲とする。以上のようにして求められた撮像対象の画素値範囲の画素を、撮像部11からの入力画像から抽出して撮像対象領域を形成する。
【００４６】
いずれの場合でも、一定時間間隔ごと、あるいは姿勢推定の精度や処理負担に応じて切り替えられる撮像対象領域形成処理S21では、撮像対象の色や画素値範囲を一旦決定すれば、閾値による抽出処理で撮像対象領域を形成できる。また、撮像対象が手である場合、過去の画像における隣接する２つの指先とそれらの指の股の座標で形成される複数の三角形それぞれの重心を求め、隣接する重心間を結ぶ直線上の色分布から上記と同様にして画素値範囲を求め、更新するという手法を採用して、画素値範囲を適応的に求めることもできる。この手法によれば、光源環境の変化に対して頑健にすることができる。また、入力画像の色空間と色指定の色空間が異なっていても色空間の変換で対処可能であり、高速処理で撮像対象領域を形成できる。
【００４７】
次に、特徴点検出処理S23では、撮像部11からの入力画像の中から予め設定された基準点に対応する点を特徴点として抽出し、その特徴点の位置座標を検出する。予め設定される基準点は、検出しやすく、後続する姿勢推定処理S25で姿勢推定を高精度で行うことができる点に設定するのが好ましい。撮像対象が手の場合、例えば、指先に基準点を設定すればよい。
【００４８】
特徴点検出処理S23についてさらに詳細に説明する。撮像対象領域形成処理S22では撮像対象以外の小領域が形成されることもあるので、特徴検出処理S23では、まず、撮像対象領域形成処理S22で形成された領域のうちから最も大きな領域を撮像対象領域として選択する。次に、モルフォロジフィルタによって撮像対象領域の部分的な欠損を補う。撮像対象領域の欠損は、撮像対象への光の当たり具合などによって生じる。
【００４９】
続いて、撮像対象領域全体を包含しかつ面積が最小の最小外接矩形を形成する。この最小外接矩形は、探索的手法により形成できる。図７は、撮像対象が手Aである場合の最小外接矩形a-b-c-dを示す。この最小外接矩形a-b-c-dを利用して特徴点を検出し、検出された特徴点を基準点に対応付ける。
【００５０】
撮像対象が手Aである場合、最小外接矩形a-b-c-dが指先から手首まで含むものとすると、最小外接矩形a-b-c-dの短辺a-b、c-dの内、撮像対象が接する画素の数もしくは短辺a-b、c-dから一定範囲内に存在する撮像対象領域の多少から指先方向と手首方向を判断できる。すなわち、指先方向では中指だけが短辺c-dに接するので接する画素の数は少ないが、手首方向では手首全体が短辺a-bに接するので接する画素の数が多い。また、指先方向では短辺c-dから一定範囲内に存在する撮像対象領域(肌色領域)は少ないが、手首方向では短辺a-bから一定範囲内に存在する撮像対象領域が多い。
【００５１】
最小外接矩形a-b-c-dは、探索的手法によらず、他の手法でも形成できる。例えば、小領域ごとに撮像対象領域のエッジの傾きをそれぞれ算出し、それらの傾きの中央値を軸方向として最小外接矩形a-b-c-dを形成することもできる。この場合、軸方向に垂直の方向において、エッジの密度が高い方の辺に指先があり、他方に手首があると判断できる。
【００５２】
以上のようにして指先方向および手首方向が分かれば、指先があると判断された方の短辺c-dと撮像対象領域の接点が第３指の指先であると判断できる。
【００５３】
最後に、第３指以外の第１指ないし第５指の指先を判断する。ここでは、第３指が接する辺に垂直な両辺(長辺)b-c、d-aの接点e、fから第３指が接する辺c-dに向かって撮像対象領域の縁を辿ったとき、第３指との距離が極小値を取る点が指先であると判断できる。それら極小値の内の最大値を取る点が第１指の指先であり、それから順番に他の極小値を取る点が第２指、第４指、第５指の指先であると判断できる。
【００５４】
以上のようにして第１指ないし第５指の指先を判断することができ、それらの指先を対応する基準点に対応付けることができる。これにより、指の開閉に依存せず、かつ指先が外接矩形に接していない場合においても、第１指ないし第５指を対応する基準点に正確に対応付けることができる。
【００５５】
特徴点追跡処理S24による姿勢推定処理が選択された場合には、過去の特徴点を用いて現在の特徴点を追跡する。具体的には、過去の入力画像で検出された特徴点を含む小領域をテンプレートとし、現在の入力画像からテンプレートとの差分二乗和が最小となる領域を探索する。差分二乗和最小値となる領域において過去の特徴点に対応する点を、撮像部11からの入力画像における特徴点として姿勢推定処理S25へ送出する。
【００５６】
撮像対象領域形成処理S22、特徴点検出処理S23および姿勢推定処理S25による姿勢推定処理と、特徴点追跡処理S24および姿勢推定処理S25による姿勢推定処理は、排他的に切り替えられる。撮像対象領域形成処理S22、特徴点検出処理S23および姿勢推定処理S25による姿勢推定処理は、姿勢推定精度の面で優れているのに対し、特徴点追跡処理S24および姿勢推定処理S25による姿勢推定処理は、処理負担および処理速度の面で優れている。
【００５７】
姿勢推定精度の面からは、撮像対象領域形成処理S22、特徴点検出処理S23を優先的に適用するのが好ましく、処理負担や処理速度の面からは、特徴点追跡処理S24を優先的に適用するのが好ましい。
【００５８】
特徴点追跡処理S24での特徴点追跡の精度が劣ると考えられる場合、例えば、特徴点追跡処理S24での追跡回数が一定回数を超えた場合や前回の追跡における差分二乗和が一定値を超えた場合、前回の特徴点検出処理S23で特徴点を検出できなかった場合や前々回と前回の特徴点の位置座標に大きな変化が存在する場合などには、領域形成処理S22および特徴点検出処理S23を適用するのが好ましい。したがって、領域形成処理S22および特徴点検出処理S23と特徴点追跡処理S24を上記の場合であるか否かに従って自動的に切り替えることもできる。これは、S21を上記の場合であるか否かの判断のステップに代えることによって実現できる。
【００５９】
姿勢推定処理S25では、特徴点検出処理S23あるいは特徴点追跡処理S24で検出された特徴点を予め同一平面上に登録されている基準点に対応付け、両者の位置座標を比較することにより、撮像部11に対する撮像対象の相対的な位置および姿勢を推定する。
【００６０】
撮像部11に対する撮像対象の相対的な位置および姿勢を推定するために、まず、対応付けられたｎ個の特徴点と基準点の位置(座標)をそれぞれ(ｘ′ｊ，ｙ′ｊ)(１≦ｊ≦ｎ)、(ｘｊ，ｙｊ)(１≦ｊ≦ｎ)とし、予め設定した変換式において両者が一致するような変換係数ａｋを求める。
【００６１】
例えば、式(2)，(3)の射影変換を利用する変換式を用いる場合、ｍ＝２ｎならば、２ｎ元連立方程式で変換係数ａｋを求めることができる。また、ｍ＜２ｎならば、最小二乗法で変換係数ａｋを求めることができる。
【００６２】
【数２】
【００６３】
【数３】
【００６４】
姿勢推定処理S24で求められた変換係数ａｋは、変換式と共に制御部14へ送出される。
【００６５】
制御部14は、姿勢推定処理24で求められた変換係数および変換式を表示する情報に適用する。これにより、表示する情報は、撮像対象と同じ姿勢に加工される。また、制御部14は、表示部16において抽出部13で抽出された撮像対象が位置する領域内に情報を位置させて表示する。
【００６６】
図８は、本発明による表示部16での表示例を示す図である。図２に示すように、机上面に手の平を位置させることにより、図８に示すように、机の上に置かれているような態様で情報を表示させることができる。ここでは、表示部16で撮像対象(手)が表示されないようにしている。これは、抽出部13により手が存在しないとした場合の背景を推定して撮像対象が位置する領域を形成することで実現できる。表示部16で手を表示し、その画面において情報を重畳表示させてもよい。同図(a)は、単に机上に情報が表示される場合であるが、同図(b)にように、机上に置かれた物品(例えばコーヒーカップ)で見えなくなる部分の一部情報を欠如させて情報を表示させるよういなことも可能である。
【００６７】
以上実施形態について説明したが、本発明は、上記実施形態に限定されるものではなく、種々に変形されたものも含む。例えば、撮像対象としての手の平を机上に垂直に立てるなど、撮像対象の姿勢を変えることにより、撮像対象が位置する領域での情報の表示態様を変えることができる。
【００６８】
また、上記実施形態では、携帯電話のように常に動く情報端末装置を想定し、その都度、撮像対象を撮像して変換係数を求めているが、情報端末装置が固定であり、情報表示の態様が固定である場合には、一旦求めた変換係数を保持し、それを継続的に利用することができる。この場合、情報表示の態様を変えたいときにだけ撮像対象を撮像して変換係数を求めればよい。
【００６９】
さらに、推定部12で形成される撮像対象領域と抽出部13で抽出される撮像対象が位置する領域を別のものとし、撮像対象領域あるいは撮像対象が位置する領域に位置させて情報を表示させることもできる。
【００７０】
本発明によれば、種々の場所に撮像対象を位置させて種々の情報を種々の形態で表示させることができ、例えば、壁面などに仮想的にポスターが張り付けられた仮想表示なども行うことができる。
【符号の説明】
【００７１】
11・・・撮像部、12・・・推定部、13・・・抽出部、14・・・制御部、15・・・記憶部、16・・・表示部
【特許請求の範囲】
【請求項１】
撮像対象を撮像する撮像部と、
前記撮像部からの入力画像における撮像対象領域を形成するとともに撮像対象の特徴点を抽出し、予め設定された撮像対象の基準点に対応付けることにより、前記撮像部に対する撮像対象の相対的な位置および姿勢を推定する推定部と、
前記撮像部からの入力画像と前記推定部で形成された撮像対象領域を元に撮像対象が位置する領域を抽出する抽出部と、
情報を表示する表示部と、
前記表示部で表示する情報を記憶する記憶部と、
前記記憶部から読み出して前記表示部で表示する情報を、前記抽出部で抽出された撮像対象が位置する領域で、前記推定部により推定された位置および姿勢に応じて制御する制御部とを備えたことを特徴とする情報端末装置。
【請求項２】
前記推定部は、撮像対象領域を形成し、該撮像対象領域から特徴点を検出する撮像対象領域形成および特徴点検出処理の機能と、過去の入力画像から検出された特徴点を用いて現在の入力画像の特徴点を追跡する特徴点追跡処理の機能を有し、前記撮像対象領域形成および特徴点検出処理と前記特徴点追跡処理を排他的に用いることを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記推定部は、前記撮像部からの入力画像から抽出した撮像対象の特徴点の座標と前記撮像部に対する撮像対象の相対的な位置および姿勢の変化の判断基準として予め設定された基準点を予め設定された変換式で写像した座標との誤差が最小となる変換係数を算出することにより、前記撮像部に対する撮像対象の相対的な位置および姿勢を推定する機能を備える請求項１に記載の情報端末装置。
【請求項４】
前記基準点は、撮像対象の端点に設定されることを特徴とする請求項１に記載の情報端末装置。
【請求項５】
前記推定部の撮像対象領域形成および特徴点検出処理の機能は、前記撮像部からの入力画像から撮像対象の特徴点を検出するに当たり、予め一定範囲の色を指定して撮像対象領域を形成することを特徴とする請求項２に記載の情報端末装置。
【請求項６】
前記一定範囲の色は、撮像対象の色分布として指定されることを特徴とする請求項５に記載の情報端末装置。
【請求項７】
前記一定範囲の色は、撮像対象の色と非撮像対象の色の組み合わせで最も類似する色の組み合わせにおいて撮像対象の色と非撮像対象の色の間を境界とした色分布として指定されることを特徴とする請求項５に記載の情報端末装置。
【請求項８】
撮像対象が手であり、前記一定範囲の色は、過去の画像における隣接する２つの指先とそれらの指の股の座標で形成される複数の三角形の重心間を順に結ぶ直線上の色分布から求められることを特徴とする請求項５に記載の情報端末装置。
【請求項９】
前記推定部の撮像対象領域形成および特徴点検出処理の機能は、撮像対象領域を包含する最小外接矩形を形成し、該最小外接矩形を基に特徴点を検出することを特徴とする請求項２に記載の情報端末装置。
【請求項１０】
前記推定部は、前記最小外接矩形の内部で、前記撮像対象領域が占める領域の偏りから撮像対象の向きを判断することを特徴とする請求項９に記載の情報端末装置。
【請求項１１】
前記推定部は、前記最小外接矩形に接する撮像対象の画素数もしくは前記最小外接矩形内の一定領域内に存在する撮像対象領域の面積の多寡によって撮像対象の向きを判断することを特徴とする請求項９に記載の情報端末装置。
【請求項１２】
前記推定部の撮像対象領域形成および特徴点検出処理の機能は、入力画像の小領域ごとにエッジを検出し、該エッジの傾きの中央値を軸方向とした最小外接矩形を形成することを特徴とする請求項９に記載の情報端末装置。
【請求項１３】
前記推定部は、前記最小外接矩形の軸方向に垂直な方向におけるエッジ密度の多寡により撮像対象の向きを判断することを特徴とする請求項１２に記載の情報端末装置。
【請求項１４】
前記推定部は、前記最小外接矩形と撮像対象の接点を特徴点として抽出することを特徴とする請求項９に記載の情報端末装置。
【請求項１５】
前記推定部は、撮像対象領域の輪郭上において前記特徴点との距離の極値を前記最小外接矩形内部の特徴点として抽出することを特徴とする請求項１４に記載の情報端末装置。
【請求項１６】
前記抽出部は、撮像対象の周囲の外側に位置する画素の色を基準として、画素の色の差が予め設定した一定範囲に収まる画素を撮像対象が位置する領域に追加し、追加された画素を新たな基準として反復的に画素を撮像対象が位置する領域に追加するという処理を行うことにより、撮像対象が位置する領域を抽出することを特徴とする請求項１に記載の情報端末装置。
【請求項１７】
前記抽出部は、過去に抽出された撮像対象が位置する領域を過去の変換係数で逆変換し、さらに前記推定部で現在算出された変換係数で変換して撮像対象が位置する領域を抽出するための基準を求め、これを基準として、画素の色の差が予め設定した一定範囲に収まる画素を撮像対象が位置する領域に追加し、追加された画素を新たな基準として反復的に画素を撮像対象が位置する領域に追加するという処理を行うことにより、撮像対象が位置する領域を抽出することを特徴とする請求項３に記載の情報端末装置。
【請求項１８】
前記制御部は、前記推定部で算出された変換係数と前記抽出部で抽出された撮像対象が位置する領域に応じて、前記表示部での表示情報を制御する機能を有することを特徴とする請求項３に記載の情報端末装置。
【請求項１９】
前記制御部は、前記推定部により推定された位置および姿勢に応じて情報を制御する際に、該情報を前記撮像部からの入力画像に重ね合わせることを特徴とする請求項１に記載の情報端末装置。
【請求項１】
撮像対象を撮像する撮像部と、
前記撮像部からの入力画像における撮像対象領域を形成するとともに撮像対象の特徴点を抽出し、予め設定された撮像対象の基準点に対応付けることにより、前記撮像部に対する撮像対象の相対的な位置および姿勢を推定する推定部と、
前記撮像部からの入力画像と前記推定部で形成された撮像対象領域を元に撮像対象が位置する領域を抽出する抽出部と、
情報を表示する表示部と、
前記表示部で表示する情報を記憶する記憶部と、
前記記憶部から読み出して前記表示部で表示する情報を、前記抽出部で抽出された撮像対象が位置する領域で、前記推定部により推定された位置および姿勢に応じて制御する制御部とを備えたことを特徴とする情報端末装置。
【請求項２】
前記推定部は、撮像対象領域を形成し、該撮像対象領域から特徴点を検出する撮像対象領域形成および特徴点検出処理の機能と、過去の入力画像から検出された特徴点を用いて現在の入力画像の特徴点を追跡する特徴点追跡処理の機能を有し、前記撮像対象領域形成および特徴点検出処理と前記特徴点追跡処理を排他的に用いることを特徴とする請求項１に記載の情報端末装置。
【請求項３】
前記推定部は、前記撮像部からの入力画像から抽出した撮像対象の特徴点の座標と前記撮像部に対する撮像対象の相対的な位置および姿勢の変化の判断基準として予め設定された基準点を予め設定された変換式で写像した座標との誤差が最小となる変換係数を算出することにより、前記撮像部に対する撮像対象の相対的な位置および姿勢を推定する機能を備える請求項１に記載の情報端末装置。
【請求項４】
前記基準点は、撮像対象の端点に設定されることを特徴とする請求項１に記載の情報端末装置。
【請求項５】
前記推定部の撮像対象領域形成および特徴点検出処理の機能は、前記撮像部からの入力画像から撮像対象の特徴点を検出するに当たり、予め一定範囲の色を指定して撮像対象領域を形成することを特徴とする請求項２に記載の情報端末装置。
【請求項６】
前記一定範囲の色は、撮像対象の色分布として指定されることを特徴とする請求項５に記載の情報端末装置。
【請求項７】
前記一定範囲の色は、撮像対象の色と非撮像対象の色の組み合わせで最も類似する色の組み合わせにおいて撮像対象の色と非撮像対象の色の間を境界とした色分布として指定されることを特徴とする請求項５に記載の情報端末装置。
【請求項８】
撮像対象が手であり、前記一定範囲の色は、過去の画像における隣接する２つの指先とそれらの指の股の座標で形成される複数の三角形の重心間を順に結ぶ直線上の色分布から求められることを特徴とする請求項５に記載の情報端末装置。
【請求項９】
前記推定部の撮像対象領域形成および特徴点検出処理の機能は、撮像対象領域を包含する最小外接矩形を形成し、該最小外接矩形を基に特徴点を検出することを特徴とする請求項２に記載の情報端末装置。
【請求項１０】
前記推定部は、前記最小外接矩形の内部で、前記撮像対象領域が占める領域の偏りから撮像対象の向きを判断することを特徴とする請求項９に記載の情報端末装置。
【請求項１１】
前記推定部は、前記最小外接矩形に接する撮像対象の画素数もしくは前記最小外接矩形内の一定領域内に存在する撮像対象領域の面積の多寡によって撮像対象の向きを判断することを特徴とする請求項９に記載の情報端末装置。
【請求項１２】
前記推定部の撮像対象領域形成および特徴点検出処理の機能は、入力画像の小領域ごとにエッジを検出し、該エッジの傾きの中央値を軸方向とした最小外接矩形を形成することを特徴とする請求項９に記載の情報端末装置。
【請求項１３】
前記推定部は、前記最小外接矩形の軸方向に垂直な方向におけるエッジ密度の多寡により撮像対象の向きを判断することを特徴とする請求項１２に記載の情報端末装置。
【請求項１４】
前記推定部は、前記最小外接矩形と撮像対象の接点を特徴点として抽出することを特徴とする請求項９に記載の情報端末装置。
【請求項１５】
前記推定部は、撮像対象領域の輪郭上において前記特徴点との距離の極値を前記最小外接矩形内部の特徴点として抽出することを特徴とする請求項１４に記載の情報端末装置。
【請求項１６】
前記抽出部は、撮像対象の周囲の外側に位置する画素の色を基準として、画素の色の差が予め設定した一定範囲に収まる画素を撮像対象が位置する領域に追加し、追加された画素を新たな基準として反復的に画素を撮像対象が位置する領域に追加するという処理を行うことにより、撮像対象が位置する領域を抽出することを特徴とする請求項１に記載の情報端末装置。
【請求項１７】
前記抽出部は、過去に抽出された撮像対象が位置する領域を過去の変換係数で逆変換し、さらに前記推定部で現在算出された変換係数で変換して撮像対象が位置する領域を抽出するための基準を求め、これを基準として、画素の色の差が予め設定した一定範囲に収まる画素を撮像対象が位置する領域に追加し、追加された画素を新たな基準として反復的に画素を撮像対象が位置する領域に追加するという処理を行うことにより、撮像対象が位置する領域を抽出することを特徴とする請求項３に記載の情報端末装置。
【請求項１８】
前記制御部は、前記推定部で算出された変換係数と前記抽出部で抽出された撮像対象が位置する領域に応じて、前記表示部での表示情報を制御する機能を有することを特徴とする請求項３に記載の情報端末装置。
【請求項１９】
前記制御部は、前記推定部により推定された位置および姿勢に応じて情報を制御する際に、該情報を前記撮像部からの入力画像に重ね合わせることを特徴とする請求項１に記載の情報端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１２−２５２４６５（Ｐ２０１２−２５２４６５Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２３６３６（Ｐ２０１１−１２３６３６）
【出願日】平成２３年６月１日（２０１１．６．１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月１日（２０１１．６．１）
【出願人】（０００２０８８９１）ＫＤＤＩ株式会社 (2,700)
【Ｆターム（参考）】
[ Back to top ]