被写体位置計測装置、ディスプレイシステム、および被写体位置計測方法
【課題】被写体位置計測装置および被写体位置計測方法において、撮影人物の頭部等の被写体の一部分の位置を求める際、簡単な方式で上記一部分の位置を安定して求める。
【解決手段】被写体の一部分を球状体と見なして前記一部分の位置を求める。具体的には、装置は、少なくとも２方向からカメラを用いて撮影した被写体の前記一部分の画像のそれぞれにおいて、画像中の前記被写体の輪郭像を抽出する。さらに、前記輪郭像と前記画像中の第１の方向に延びる探索直線とが接する接点位置情報を求めることにより、撮影空間内において、前記カメラから延びて被写体の前記一部分と接する第１仮想直線を前記輪郭像のそれぞれについて求める。さらに、前記撮影空間において、前記第１仮想直線を前記第１の方向に対応する方向に所定の距離それぞれ平行移動した第２仮想直線同士の交点または前記第２仮想直線同士が最接近する点の位置を、前記一部分の中心位置として求める。
【解決手段】被写体の一部分を球状体と見なして前記一部分の位置を求める。具体的には、装置は、少なくとも２方向からカメラを用いて撮影した被写体の前記一部分の画像のそれぞれにおいて、画像中の前記被写体の輪郭像を抽出する。さらに、前記輪郭像と前記画像中の第１の方向に延びる探索直線とが接する接点位置情報を求めることにより、撮影空間内において、前記カメラから延びて被写体の前記一部分と接する第１仮想直線を前記輪郭像のそれぞれについて求める。さらに、前記撮影空間において、前記第１仮想直線を前記第１の方向に対応する方向に所定の距離それぞれ平行移動した第２仮想直線同士の交点または前記第２仮想直線同士が最接近する点の位置を、前記一部分の中心位置として求める。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影被写体の一部分を球状体と見なして前記撮影被写体の前記一部分の位置を求める被写体位置計測装置、被写体位置計測装置を用いたディスプレイシステム、および被写体位置計測方法に関する。
【背景技術】
【０００２】
従来、カメラ等により撮影された動画上の被写体人物の頭部の位置を追跡する方法が種々提案されている。このような被写体人物の頭部の位置の追跡は、運動視差立体視ディスプレイにおいて、視聴者の運動視差に応じて仮想オブジェクトの見え方が変わるようにするために、有効に用いられ得る。運動視差とは、視聴者の視点の位置が変化することで変わる仮想オブジェクトの奥行きの見え方の変化量に関するものである。
【０００３】
例えば、人物の頭部領域の追跡方法として、ポリゴンモデルを用いた３次元人物頭部追跡方法が知られている。当該方法では、具体的に、三次元ポリゴンモデルを撮影された２次元画像上に投影し、そのときの三次元ポリゴンモデルの色と奥行き情報を用いることにより、撮影された画像上の被写体人物の３次元位置と顔部の向きが推定される。
また、２台のカメラで撮影された画像の情報に基いて、自動的にリアルタイムで被写体人物の顔部を追跡し、その顔部の運動の計測をする他、被写体人物の顔部の特徴を、撮影された画像の情報から抽出し、その特徴を追跡するシステムも知られている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】大場篤哉、寺田和憲、伊藤昭，「ポリゴンモデルを用いた３次元人物頭部追跡]，[online]，ロボティクス・メカトロニクス講演会（ＲＯＢＯＭＥＣ０５），［平成２２年１１月１９日検索］，インターネット（ＵＲＬ：http://www.elf.info.gifu-u.ac.jp/terada/publications/robomec05O.pdf）
【非特許文献２】face LAB (SeeingMachines 社製品) ，[online]， ［平成２２年１１月１９日検索］，インターネット（ＵＲＬ：http://www.creact.co.jp/jpn/facelab/index_f.html）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したような、カメラ等により撮影された動画上の被写体人物の頭部の位置を追跡する方法を、運動視差立体視ディスプレイにおいて用いる場合、被写体人物の頭部の中心位置の空間内の位置座標に基いて、仮想空間内での被写体人物の視点位置を定め、運動視差を考慮して仮想オブジェクトの映像を表示する。このとき、測定対象の頭部の中心位置を定める座標位置が揺らぐと、被写体人物が頭部を動かしていなくても仮想オブジェクトの表示映像が揺らいでしまう不都合が生じる場合がある。
【０００６】
上記ポリゴンモデルを用いた３次元人物頭部追跡方法や上記システムにおける被写体人物の顔部の追跡の処理は、一般に被写体人物の照明条件の微妙な揺らぎ等の影響を受けやすいため、測定対象の頭部が動いていなくても、頭部の座標位置が揺らぐ場合がある。
上記揺らぎを抑制するために、ローパスフィルタを用いることもできるが、頭部が実際に移動する場合、実際に移動する頭部に対して頭部の座標位置がリアルタイムで追従しなくなる場合がある。
【０００７】
そこで、本発明は、撮影人物の頭部などの撮影被写体の一部分の位置を求める際、従来の方法とは異なる簡単な方式により、上記一部分の位置を安定して求めることができる被写体位置計測装置および被写体位置計測方法と、この被写体位置計測装置を利用したディスプレイシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、撮影被写体の一部分を球状体と見なして前記一部分の位置を求める被写体位置計測装置である。当該装置は、
撮影被写体を少なくとも２方向から撮影する複数のカメラと、
前記カメラで撮影された複数の画像から、前記撮影被写体の一部分を球状体と見なして撮影被写体の前記一部分の位置を求めるデータ処理部と、を有する。
前記データ処理部は、
前記複数の画像のそれぞれにおいて、前記画像中の撮影被写体の輪郭像を抽出する輪郭抽出部と、
前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する前記画像中の接点位置情報を求め、さらに、撮影被写体を撮影した撮影空間内において、前記カメラそれぞれから延びて前記撮影被写体の前記一部分と接する第１仮想直線を、前記接点位置情報を用いて前記輪郭像のそれぞれについて求める仮想直線抽出部と、
前記輪郭像のそれぞれについて求めた前記第１仮想直線を、前記第１の方向に対応する前記撮影空間内の方向に所定の距離平行移動した第２仮想直線同士の交点、あるいは、前記第２仮想直線同士が最接近する点の位置を、前記撮影空間における前記撮影被写体の前記一部分の中心位置として求める位置算出部と、を備える。
【０００９】
また、本発明の他の一態様は、映像を表示するディスプレイシステムである。当該システムは、
前記被写体位置計測装置と、
前記撮影被写体の前記一部分の前記中心位置に応じて、前記撮影被写体から見える表示対象の仮想オブジェクトの映像信号を生成する映像生成部を含むデータ処理装置と、
生成された映像信号を用いて前記仮想オブジェクトの像を画面表示する画面表示装置と、を備える。
【００１０】
さらに、本発明の他の一態様は、撮影被写体の一部分を球状体と見なして前記一部分の位置を求める被写体位置計測方法である。当該方法では、
撮影被写体を少なくとも２方向からカメラを用いて撮影することにより、少なくとも２方向から見た複数の画像を取得し、
前記複数の画像のそれぞれにおいて、前記画像中の撮影被写体の輪郭像を抽出し、
前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する前記画像中の接点位置情報を求め、さらに、撮影被写体を撮影した撮影空間内において、前記カメラそれぞれから延びて前記撮影被写体の前記一部分と接する第１仮想直線を、前記接点位置情報を用いて前記輪郭像のそれぞれについて求め、
前記輪郭像のそれぞれについて求めた前記第１仮想直線を、前記第１の方向に対応する前記撮影空間における方向に所定の距離平行移動した第２仮想直線同士の交点、あるいは、前記第２仮想直線同士が最接近する点の位置を、前記撮影空間における前記撮影被写体の前記一部分の中心位置として求める。
【発明の効果】
【００１１】
上記態様の被写体位置計測装置および被写体位置計測方法によれば、撮影被写体の一部分の位置を求める際、安定して上記一部分の位置を求めることができる。このため、被写体位置計測装置および被写体位置計測方法を利用したディスプレイシステムによれば、仮想オブジェクトの表示映像が揺らいで視聴者に不快を与えることを防止することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態のディスプレイシステムの概略を説明する図である。
【図２】（ａ）は、図１に示すディスプレイシステムのブロック構成図であり、（ｂ）は、図１に示すディスプレイシステムの機能ブロック図である。
【図３】本実施形態の被写体位置計測装置のデータ処理部の構成を示すブロック図である。
【図４】本実施形態の被写体位置計測装置で行われる輪郭像の接点位置情報の算出の一例を説明する図である。
【図５】本実施形態の被写体位置計測装置が行う頭部の位置計測の一例を説明する図である。
【図６】本実施形態の被写体位置計測方法のフローの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の被写体位置計測装置、ディスプレイシステム、および被写体位置計測方法について説明する。
【００１４】
（ディスプレイシステム）
図１は、本実施形態のディスプレイシステム１０の概略を説明する図である。図２（ａ）は、ディスプレイシステム１０のブロック構成図であり、図２（ｂ）は、ディスプレイシステム１０の機能ブロック図である。
ディスプレイシステム１０は、視聴者Ｖの運動視差により、表示しようとする仮想オブジェクトの見え方が変われるようにする運動視差立体視ディスプレイを含むシステムである。例えば、視聴者Ｖの視点が左上方にわずかに動いたとき、視聴者Ｖが左上方から仮想オブジェクトを見るように、ディスプレイシステム１０は、視聴者Ｖの視点に応じて、表示する仮想オブジェクトの奥行きの見え方や陰影を修正して表示する。
【００１５】
ディスプレイシステム１０は、一対のカメラ１２ａ，１２ｂと、データ処理装置１４と、画面表示装置１６と、を有する。
一対のカメラ１２は、表示画像を見る視聴者Ｖをお互いに異なる方向から撮影するために、空間に固定されている。
データ処理装置１４は、視聴者Ｖの頭部の位置に応じて、視聴者Ｖから見える表示対象の仮想オブジェクトの映像信号を生成する。
データ処理装置１４は、図２（ａ）に示すように、ＣＰＵ１５ａと、ＲＯＭ１５ｂと、ＲＡＭ１５ｃと、記憶部１５ｄと、入出力部１５ｅと、バス１５ｆと、有するコンピュータによって形成される。ＣＰＵ１５ａ、ＲＯＭ１５ｂ、ＲＡＭ１５ｃ、記憶部１５ｄ、および入出力部１５ｅはバス１５ｆを介してお互いに接続されている。入出力部１５ｅは、カメラ１２ａ，１２ｂと、画面表示装置１６と、マウスおよびキーボードを備える図示されない入力操作系と接続されている。
【００１６】
ＲＯＭ１５ｂは、コンピュータの起動によりＣＰＵ１５ａが各処理を実行するＯＳおよび制御ソフトウェアを記憶している。ＲＡＭ１５ｃは、後述する各種データ処理の結果を一時的に記憶する。記憶部１５ｄは、データ処理装置１４における後述するデータ処理を実行するプログラムを記憶する。また、記憶部１５ｄは、後述する各種データ処理の結果を記憶する。なお、後述するデータ処理を実行するプログラムは、記憶部１５ｄの代わりにＲＯＭ１５ｂに記憶されてもよい。ＣＰＵ１５ａは、コンピュータの各部分の動作の制御と管理を行い、さらに、後述するデータ処理の制御と管理を行う。
【００１７】
上記コンピュータであるデータ処理装置１４は記憶部１５ｄに記憶されたプログラムを読み出して実行することにより、図２（ｂ）に示すように、データ処理部１４ａと映像生成部１４ｂを機能的に形成する。すなわち、データ処理部１４ａおよび映像生成部１４ｂは、ソフトウェアモジュールであり、プログラムをＣＰＵ１５ａが実行することにより仮想的に形成される部分である。
【００１８】
データ処理部１４ａは、カメラ１２ａ，１２ｂで撮影された２方向からの画像から、視聴者Ｖの頭部を球状体と見なして視聴者Ｖの頭部の位置を求める。データ処理部１４ａは、視聴者Ｖの頭部の位置の情報を映像生成部１４ｂに提供する。
映像生成部１４ｂは、入力された仮想オブジェクトの映像信号に対して、視聴者Ｖの頭部の位置に応じて、視聴者Ｖから見える表示対象の仮想オブジェクトの映像信号を生成する。映像生成部１４ｂに入力される映像信号には、例えば、仮想空間内における仮想オブジェクトの３次元座標で表されたデータの他に、仮想空間内で照射される照明光源の向き、照明光の光強度およびスペクトル分布等の情報も含まれる。すなわち、映像生成部１４ｂは、入力された映像信号を用いて、視聴者Ｖの頭部の位置に応じて３次元データを２次元データに変換し、陰影処理を施すことで、２次元の仮想オブジェクトの映像信号を生成する。
画面表示装置１６は、データ処理装置１４で生成された２次元の映像信号を用いて仮想オブジェクトの像を画面表示する。
【００１９】
データ処理部１４ａは、後述するように、視聴者Ｖの頭部の位置を求める際、安定して頭部の位置を求めることができ、さらに、頭部が実際に移動しても、頭部の座標位置をリアルタイムに追従して求めることができる。したがって、画面表示装置１６は、従来の装置のように、視聴者Ｖの頭部の座標位置が揺らぐことはないので、表示される仮想オブジェクトは揺らいで表示されることはなくなり、視聴者Ｖの頭部の移動に応じて仮想オブジェクトの像がリアルタイムで変化する。
【００２０】
（被写体位置計測装置）
本実施形態の被写体位置計測装置２０は、図２（ｂ）に示されるように、データ処理装置１４の一部であり、ディスプレイシステム１０に搭載されており、図中の点線で示されるように、一対のカメラ１２ａ，１２ｂと、データ処理部１４ａと、を有する。
カメラ１２ａ，１２ｂは、撮影被写体である視聴者Ｖをお互いに異なる２方向から撮影する。お互いに異なる２方向から視聴者Ｖを撮影するのは、視聴者Ｖの頭部の撮影空間内における位置を求めるためである。
データ処理部１４ａは、カメラ１２ａ，１２ｂで撮影された２つの画像から、撮影被写体である視聴者Ｖの頭部を球状体と見なして視聴者Ｖの頭部の位置を求める。
【００２１】
図３は、データ処理部１４ａの構成を示す機能ブロック図である。
データ処理部１４ａは、上述したように、データ処理装置１４であるコンピュータが記憶部１５ｄに記憶されたプログラムを実行することにより機能的に形成されたソフトウェアモジュールである。データ処理部１４ａは、輪郭抽出部２４と、仮想直線抽出部２６と、位置算出部２８と、を含む。すなわち、輪郭抽出部２４、仮想直線抽出部２６、および位置算出部２８は、データ処理装置１４においてプログラムを実行することによって形成されるソフトウェアモジュールである。輪郭抽出部２４と、仮想直線抽出部２６と、位置算出部２８の一部は、ソフトウェアモジュールの代わりに、専用回路等を用いたハードウェアモジュールが用いられてもよい。
【００２２】
輪郭抽出部２４は、カメラ１２ａ，１２ｂで撮影された２つの画像のそれぞれにおいて、画像中の視聴者Ｖの輪郭像を抽出する。輪郭抽出部２４は、視聴者Ｖの輪郭像を抽出するとき、背景画像を用いる。この背景画像は、視聴者Ｖがカメラ１２ａ，１２ｂの撮影範囲内にいないときの画像がカメラ１２ａ，１２ｂで予め撮影されて、ＲＡＭ１５ｃあるいは記憶部１５ｄに予め記憶されたものである。輪郭抽出部２４は、カメラ１２ａ，１２ｂで撮影された視聴者Ｖの撮影された画像と、視聴者Ｖの撮影されていない背景画像との差分を求め、この差分画像を二値化することにより視聴者Ｖの輪郭像を抽出する。差分画像を所定の閾値を用いて二値化することにより、視聴者Ｖの輪郭像とそれ以外の像とを明確に区分けすることができる。視聴者Ｖの輪郭像は、カメラ１２ａ，１２ｂで撮影された視聴者Ｖの画像毎に抽出される。
【００２３】
具体的には、輪郭抽出部２４は、視聴者Ｖの撮影された画像と背景画像における各画素における輝度データの差を求めることにより、輝度データの差分画像を求める。差分画像では、視聴者Ｖが映っている部分と視聴者Ｖが映っていない部分とでは画素値が大きく異なる。したがって、二値化した画像は、視聴者Ｖが映っている部分は例えば白い領域となり、視聴者Ｖが映っていない部分は例えば黒い領域となる。以降の説明では、視聴者Ｖが映っている部分は白い領域となり、視聴者Ｖが映っていない部分は黒い領域となる例で説明する。なお、二値化に用いる閾値は、撮影する照明条件に応じて調整することにより、視聴者Ｖ以外の背景画像の一部を輪郭像として誤抽出することを防止できる。抽出された視聴者Ｖの輪郭像は、ノイズ低減処理として、輪郭像の白領域を縮小した後、白領域を拡大する拡大・縮小処理を施してもよい。輪郭像の白領域を縮小する処理は、例えば、注目する画素が黒の画素と接している場合、注目する画素を強制的に黒の画素にする処理である。輪郭像の白領域を拡大する処理は、例えば、注目する画素が白の画素と接している場合、注目する画素を強制的に白の画素にする処理である。
【００２４】
輪郭抽出部２４は、輝度データを用いた差分画像を作成するが、輝度データの代わりに、色相データの差分を用いて、色相データの差分画像を求めてもよいし、輝度データと色相データの両方を用いた差分画像を求めてもよい。この場合、輝度データの差分画像から得られる輪郭像と、色相データの差分画像から得られる輪郭像との共通部分を、被写体Ｖの輪郭像として求めることができる。
本実施形態は、視聴者Ｖの輪郭像を、視聴者Ｖの有無の画像を用いて抽出するが、このほかの方法として、例えば、視聴者Ｖの頭部の位置を、目、鼻、口および髪の毛等に関する画像特徴量（色及び形状）を利用して抽出することにより、視聴者Ｖの輪郭像を抽出してもよい。
【００２５】
仮想直線抽出部２６は、カメラ１２ａ，１２ｂで撮影された視聴者Ｖの２つの画像のそれぞれから抽出した輪郭像と、差分画像中の水平方向に延びて輪郭像の領域を探索する探索直線とが接する差分画像中の接点位置情報を求める。仮想直線抽出部２６は、接点位置情報を、例えば、以下のようにして求める。
【００２６】
図４は、輪郭像の接点位置情報の算出の一例を説明する図である。
図４には、輪郭像３０が二値化された差分画像３２内で抽出されている。また、差分画像３２には、背景画像に対して照明条件の変化あるいはノイズ等によってできた、視聴者Ｖの輪郭像３０以外の白い領域Ｗ1〜Ｗ4が存在する。
この状態で、仮想直線抽出部２６は、図４中の上方から下方に（差分画像３２中の鉛直方向に）移動しながら輪郭像３０の領域を探索するために水平方向に延びた探索直線Ｌsを移動させる。これにより、仮想直線抽出部２６は、探索直線Ｌsが輪郭像３０と接する差分画像３２中の接点位置情報を求める。具体的には、仮想直線抽出部２６は、水平方向に延びる探索直線Ｌsが輪郭像３０を横切るように、探索直線Ｌsを鉛直方向に１画素ずつ移動させることを繰り返し行う。このとき、仮想直線抽出部２６は、探索直線Ｌsが輪郭像３０を横切る領域の水平方向における中心位置の平均値を、接点位置の座標位置を表す接点位置情報の一部（水平方向における情報）として求める。さらに、仮想直線抽出部２６は、この平均値に対する探索直線Ｌsの鉛直方向の位置を接点位置情報の一部（鉛直方向における情報）として求める。
より具体的に説明すると、仮想直線抽出部２６は、探索直線Ｌsを鉛直方向に１画素ずつ移動させることを繰り返し行い、探索直線Ｌsが視聴者Ｖの頭部と同じ二値化データの値、すなわち、同じ白い領域を横切り、かつ、探索直線Ｌsが連続して上記領域を横切る繰り返し回数が所定の回数に達するとき、上記領域を、視聴者Ｖの頭部の領域と判定する。
探索直線Ｌsを用いて上記条件で判定が行われるのは、図４に示すように、視聴者Ｖの輪郭像３０以外の白い領域Ｗ1〜Ｗ4が存在するとき、仮想直線抽出部２６がこの領域Ｗ1〜Ｗ4を誤って視聴者Ｖの頭部の領域として判定しないためである。差分画像において、白い領域Ｗ1〜Ｗ4が、視聴者Ｖの頭部の領域と同様に、広い範囲を持つことは極めて少ない。このことから、仮想直線抽出部２６は、探索直線Ｌsが連続して白い領域を横切る繰り返し回数が所定の回数に達することを頭部の判定の条件として用いる。したがって、判定に用いる上記所定の回数は、予め決定されるが、カメラ１２ａ，１２ｂの撮影倍率等の撮影条件によって変化することが好ましい。
【００２７】
仮想直線抽出部２６は、上述したように、探索直線Ｌsが輪郭像３０を横切る領域の水平方向における中心位置の平均値を接点位置情報の水平方向における情報として求める。この接点位置情報は、探索直線Ｌsが図４中の上方から下方に１画素ずつ移動しながら、輪郭像３０の最上部分と最初に接する点の位置とは厳密に異なる。しかし、輪郭像３０の最上部分が、ノイズ等の影響により必ずしも実際の頭部の接点に対応するとはいえないことから、より安定しかつ正確な接点位置情報を求めるために、仮想直線抽出部２６は上述の方法により得られた平均値を接点位置情報の水平方向における情報として求める。勿論、仮想直線抽出部２６は、差分画像３２にノイズが含まれていない場合、探索直線Ｌsが輪郭像３０の最上部分と最初に接する点の水平方向における位置を、接点位置情報の水平方向における情報として定めてもよい。
【００２８】
また、差分画像では、図４に示す画素が白い領域Ｗ1〜Ｗ4が頭部の領域と繋がることで実際の頭部の領域に比べて水平方向の幅が広がった領域が存在する場合がある。また、差分画像を作成するために用いる背景画像の影響を受けて実際の頭部の領域に比べて水平方向の幅が短くなった領域が存在する場合もある。これらの場合、これらの領域が、探索直線Ｌsの横切る輪郭像３０の領域と判定され、接点位置情報として求める上記中心位置の平均値が不正確になる。このため、仮想直線抽出部２６は、以下のような処理を行うことができる。すなわち、仮想直線抽出部２６は、探索直線Ｌsが水平方向に所定の回数連続して輪郭像３０を横切るとき、探索直線Ｌsが輪郭像３０を横切る領域の水平方向の横断幅に関する平均値と標準偏差を求める。仮想直線抽出部２６は、さらに、この領域のうち、水平方向の横断幅が平均値と標準偏差から求められる許容範囲内に含まれる領域に限定して、水平方向における中心位置の平均値を求める。仮想直線抽出部２６は、求めた平均値を接点位置情報の水平方向における情報として定める。すなわち、仮想直線抽出部２６は、水平方向の横断幅が平均値と標準偏差から求められる許容範囲内に含まれない領域を除外する。上記平均値をλとし、上記標準偏差をσとしたとき、上記許容範囲は、λ−ｃ・σ〜λ＋ｃ・σ（ｃは、０．５〜１．５の範囲の与えられた定数）とする。あるいは、水平方向の幅が実際の幅に比べて広がった領域を除去する場合は、上記許容範囲は、λ＋ｃ・σ以下とする。
なお、本実施形態では、探索直線Ｌsは、差分画像において水平方向に延びて、鉛直方向に１画素ずつ移動するが、探索直線Ｌsは、差分画像において傾斜した方向に延びて、この傾斜した方向に直交する方向に移動してもよい。また、探索直線Ｌsは、１画素分に相当する距離ずつ移動するが、複数画素分に相当する距離ずつ、さらには、予め設定された距離ずつ移動してもよい。
【００２９】
さらに、仮想直線抽出部２６は、求めた接点位置情報（水平方向および鉛直方向における位置情報）を用いて、視聴者Ｖを撮影した撮影空間内において、カメラ１２ａ，１２ｂそれぞれの撮影中心から延びて視聴者Ｖの頭部と接する第１仮想直線を、それぞれの輪郭像３０について求める。カメラ１２ａ，１２ｂで撮影された画像内の点は、撮影された画像が歪んでいない場合、カメラ１２ａ，１２ｂそれぞれの撮影中心から延びる直線であるので、画像内の点は、３次元の撮影空間内においては、直線に変換される。このため、仮想直線抽出部２６は、接点位置情報を用いて、上記第１仮想直線を簡単に求めることができる。
【００３０】
仮想直線抽出部２６は、撮影された画像内の接点位置情報を用いて第１仮想直線を求めるとき、撮影空間内の正確な第１仮想直線を求めるために、キャリブレーションを行う。具体的には、仮想直線抽出部２６は、接点位置情報から第１仮想直線を求めるとき、カメラ１２ａ，１２ｂの撮影レンズに起因する歪曲収差やカメラ１２ａ，１２ｂの撮影位置や撮影倍率等の情報を正確に反映した補正を行う。より、具体的には、仮想直線抽出部２６は、例えば、周知のＺｈａｎｇのアルゴリズムを用いてキャリブレーションすることにより、画像内の接点位置情報から第１仮想直線を求める。Ｚｈａｎｇのアルゴリズムは、http://research.microsoft.com/en-us/um/people/zhang/calib/ （２０１０年１１月２１日検索））、http://research.microsoft.com/en-us/um/people/zhang/Papers/TR98-71.pdf （２０１０年１１月２１日検索））等に開示されている。
Ｚｈａｎｇのアルゴリズムでは、撮影された画像上の２次元位置座標と、撮影空間内の３次元位置座標との間が、画素のスケール量と画像の歪み量を補正する行列と、撮影空間の回転と平行移動の変換パラメータとを用いて予め関係付けられる。この関係付けは、例えば、カメラ１２ａ，１２ｂを用いて３点以上の異なる位置からチェッカーボードを撮影し、チェッカーの交点の撮影空間内の位置座標列と、各撮影画像内の２次元の位置座標列とを用いて、上記行列および上記変換パラメータの値を同定することにより行われる。
したがって、撮影された画像内の接点位置情報は、事前にキャリブレーションを行って求めておいた上記行列及び変換パラメータの値を用いて、上記関係付けについての計算を行うことにより、カメラ１２ａ，１２ｂそれぞれの撮影中心から延びて視聴者Ｖの頭部と接する撮影空間内における正確な直線、すなわち第１仮想直線に変換され得る。
【００３１】
位置算出部２８は、視聴者Ｖの輪郭像３０のそれぞれについて求めた第１仮想直線を、差分画像３２中の水平方向に対応する撮影空間内における方向に所定の距離平行移動した第２仮想直線を求める。位置算出部２８は、さらに、求めた第２仮想直線同士の交点の位置、あるいは、第２仮想直線同士が最接近する点の位置を、撮影空間内における視聴者Ｖの頭部の中心位置として求める。
【００３２】
図５は、被写体位置計測装置２０が行う視聴者Ｖの頭部Ｈの位置計測を説明する図である。
図５に示されるように、カメラ１２ａ，１２ｂそれぞれの撮影中心から延びて視聴者Ｖの頭部Ｈと接する撮影空間内における第１仮想直線Ｌ１，Ｌ2が仮想直線抽出部２６で求められる。このとき第１仮想直線Ｌ１，Ｌ2が頭部Ｈと接する接点Ｐ1，Ｐ2は、視聴者Ｖを撮影するカメラ１２ａ，１２ｂの向きが異なるので、お互いに異なる位置にある。しかし、頭部Ｈの中心位置は、カメラ１２ａ，１２ｂが視聴者Ｖを撮影する向きが異なっても同じ位置にある。したがって、この中心位置を求めるために、位置算出部２８は、第２仮想直線同士の交点の位置、あるいは第２仮想直線同士が最接近する点の位置を求める。
【００３３】
すなわち、位置算出部２８は、第１仮想直線Ｌ１，Ｌ2を、差分画像３２中の水平方向に対応する撮影空間内における方向に所定の距離平行移動した直線を第２仮想直線Ｌ3，Ｌ4として求める。このとき、上記所定の距離とは、視聴者Ｖの頭部Ｈを球形状とみなして近似したときの球体の半径Ｒhである。頭部Ｈの大きさは人間であれば、例えば、１８ｃｍといったように略一定に決まっているので、このような球体の半径Ｒhの値は、人間の平均的な頭部のサイズから定められる。
したがって、第２仮想直線Ｌ3，Ｌ4同士は、頭部Ｈの中心位置あるいはその近傍を通るので、位置算出部２８は、第２仮想直線Ｌ3，Ｌ4同士の交点Ｐ3の位置、あるいは、第２仮想直線Ｌ3，Ｌ4同士が最接近する点の位置を、頭部Ｈの中心位置として求める。この中心位置の座標情報が、上述したようなディスプレイシステム１０の映像生成部１４ｂに提供される。
ここで、第２仮想直線Ｌ3，Ｌ4同士が最接近する点の位置は、第２仮想直線Ｌ3，Ｌ4同士の離間距離が最も小さい線分上の中心位置、あるいは、上記線分を所定の比で分割する線分上の点の位置である。
以上が、被写体位置計測装置２０の説明である。
【００３４】
（被写体位置計測方法）
図６は、本実施形態の被写体位置計測２０が行う被写体位置計測方法のフローの一例を示すフローチャートである。
まず、カメラ１２ａ，１２ｂ毎に、Ｚｈａｎｇのアルゴリズムを用いてカメラ１２ａ，１２ｂで撮影される画像上の２次元位置座標と、撮影空間内の３次元位置座標との間を関係付ける、上述した行列の各要素の値と変換パラメータの値を取得する。上記行列および上記変換パラメータの値の取得は、上述したように、３点以上の異なる位置からチェッカーボードを撮影し、チェッカーの交点の撮影空間内の位置座標列と、各撮影画像内の２次元の位置座標列とを用いて、同定することにより行われる。
【００３５】
次に、カメラ１２ａ，１２ｂは、視聴者Ｖを撮影し、データ処理部１４ａは画像を取得する（ステップＳ１０）。撮影された視聴者Ｖの画像データは、ＲＡＭ１５ｃあるいは記憶部１５ｄに記憶される。データ処理部１４ａは、カメラ１２ａ，１２ｂからの画像データの記憶が全て完了したか否かを判定する（ステップＳ２０）。カメラ１２ａ，１２ｂから、視聴者Ｖの画像データが全てＲＡＭ１５ｃあるいは記憶部１５ｄに記憶されるまでデータ処理部１４ａは待機する。カメラ１２ａ，１２ｂから、視聴者Ｖの画像データが全て提供され、ＲＡＭ１５ｃあるいは記憶部１５ｄに記憶された場合（ステップＳ２０におけるＹｅｓの場合）、輪郭抽出部２４は、視聴者Ｖの輪郭像３０を抽出する（ステップＳ３０）。輪郭像３０の抽出は、上述したように、視聴者Ｖの撮影された画像と、視聴者Ｖの撮影されていない背景画像との差分を二値化した画像を作成することにより、行われる。輪郭抽出部２４は、抽出された輪郭像３０を、記憶部１５ｄに記憶する。輪郭像３０は、二値化された差分画像に例えば白の領域として形成される。この輪郭像３０が含まれた二値化された差分画像が、ＲＡＭ１５ｃあるいは記憶部１５ｄに記憶される。
【００３６】
次に、仮想直線抽出部２６は、探索直線Ｌsが差分画像中の視聴者Ｖの頭部Ｈと接する接点位置情報を算出する（ステップＳ４０）。具体的には、仮想直線抽出部２６は、水平方向に延びる探索直線Ｌsを差分画像３２中の鉛直方向に１画素分に相当する距離移動させることを繰り返し行う。このとき、探索直線Ｌsが視聴者Ｖの頭部Ｈと同じ二値化データの値を持つ領域を横切り、かつ、探索直線Ｌsが連続して上記領域を横切る繰り返し回数が所定の回数に達するとき、上記領域を視聴者Ｖの頭部Ｈの領域と判定する。このとき、仮想直線抽出部２６は、探索直線Ｌsが輪郭像３０を横切る横断幅の水平方向における中心位置の平均値を、接点位置情報の水平方向における情報として求める。さらに、仮想直線抽出部２６は、上記平均値における探索直線Ｌsの鉛直方向における位置を接点位置情報の鉛直方向における情報として求める。視聴者Ｖの頭部の接点位置情報をより正確に求めるために、仮想直線抽出部２６は、探索直線Ｌsが上記領域を横切る横断幅に関する平均値と標準偏差を求め、この横断幅のうち、上記平均値と上記標準偏差から求められる許容範囲内に含まれる横断幅に関する水平方向における中心位置の平均値を、接点位置情報の水平方向における情報として求めることが好ましい。これにより、仮想直線抽出部２６は、実際の頭部Ｈの領域と異なる領域を含んで不正確な平均値を求めることを防止することができる。
【００３７】
次に、仮想直線抽出部２６は、求められた接点位置情報を用いて、カメラ１２ａ，１２ｂで撮影した撮影空間内において、カメラ１２ａ，１２ｂそれぞれの撮影中心から延びて視聴者Ｖの頭部Ｈと接する第１仮想直線Ｌ1，Ｌ2を求める（ステップＳ５０）。具体的には、仮想直線抽出部２６は、撮影された画像上の２次元位置座標と、撮影空間内の３次元位置座標との間を関係付ける、予め求めた行列の各要素の値と変換パラメータの値を用いて、接点位置情報から、第１仮想直線Ｌ1，Ｌ2を求める。
【００３８】
次に、位置算出部２８は、第１仮想直線Ｌ1，Ｌ2を、差分画像３２中の水平方向に対応する撮影空間における方向に所定の距離平行移動した第２仮想直線Ｌ3，Ｌ4を算出する（ステップＳ６０）。ここで、第１仮想直線Ｌ1，Ｌ2を平行移動する所定の距離とは、視聴者Ｖの頭部Ｈを球形状とみなして近似したときの球体の半径Ｒhであり、人間の頭部の平均的な半径である。
このような第２仮想直線Ｌ3，Ｌ4は、カメラ１２ａ，１２ｂ毎の差分画像から求められた第１仮想直線Ｌ1，Ｌ2毎に求められる。したがって、位置算出部２８は、カメラ１２ａ，１２ｂ毎に、第２仮想直線Ｌ3，Ｌ4がすべて算出されたか否かを判定する（ステップＳ７０）。第２仮想直線Ｌ3，Ｌ4が全て算出されるまで、位置算出部２８は待機する。
【００３９】
第２仮想直線Ｌ3，Ｌ4がすべて算出されると（ステップＳ７０においてＹｅｓの場合）、位置算出部２８は、視聴者Ｖの頭部の中心位置の座標を算出する（ステップＳ８０）。具体的には、位置算出部２８は、第２仮想直線Ｌ3，Ｌ4同士の交点、あるいは、第２仮想直線Ｌ3，Ｌ4同士が最接近する点の位置を、視聴者Ｖの頭部の中心位置として、この位置の座標を算出する。視聴者Ｖの頭部Ｈの形状は球体形状として処理されるため、第２仮想直線Ｌ3，Ｌ4同士が交点を持たない場合も多い。このため、位置算出部２８は、第２仮想直線Ｌ3，Ｌ4同士が最接近する点の位置を、視聴者Ｖの頭部の中心位置として求める。
こうして算出された頭部Ｈの中心位置の座標は、例えば、図２に示されるような映像生成部１４ｂに提供され、視聴者Ｖの運動視差により、仮想オブジェクトの見え方が変われるような映像信号を生成するために用いられる。
なお、本実施形態では、視聴者Ｖを２方向から撮影するためにカメラ１２ａ，１２ｂを用いるが、３つ以上のカメラを用いて３方向以上の方向から視聴者Ｖを撮影し、３つ以上の第１仮想直線および第２仮想直線を求め、これらの第２仮想直線を用いて、視聴者Ｖの頭部Ｈの中心位置を求めてもよい。
【００４０】
本実施形態の被写体位置計測装置２０および被写体位置計測方法は、２方向からカメラ１２ａ，１２ｂで撮影したときの視聴者Ｖの頭部Ｈに接するように、撮影空間内の２つの第１仮想直線Ｌ1，Ｌ2を求め、この第１仮想直線Ｌ1，Ｌ2を、所定の距離平行移動した２つの第２仮想直線間の交点位置、あるいは、第２仮想直線Ｌ3，Ｌ4同士が最接近する点の位置を、頭部Ｈの位置として求める。このため、本実施形態は、従来に比べて、視聴者Ｖの頭部Ｈの位置を簡単な計算により求めることができ、従来のように、照明条件の微妙な揺らぎ等の影響を受ける要素が入りにくい。このため、本実施形態は、視聴者Ｖの頭部Ｈの位置を安定して求めることができる。
【００４１】
被写体位置計測装置２０および被写体位置計測方法は、輪郭像と探索直線Ｌsとが接する画像中の接点位置情報を求めることにより第１仮想直線Ｌ1，Ｌ2を求めるので、輪郭像３０から撮影空間内の第１仮想直線Ｌ1，Ｌ2を容易に求めることができる。
【００４２】
さらに、被写体位置計測装置２０および被写体位置計測方法は、探索直線Ｌsが輪郭像３０を横切るように、探索直線Ｌsを鉛直方向に１画素分に相当する距離移動させることを繰り返し行うことにより、探索直線Ｌsが輪郭像３０を横切る領域の水平方向における中心位置の平均値を、接点位置情報の水平方向における情報として求める。このため、本実施形態は、探索直線Ｌsが輪郭像３０に接する点を求める場合に比べて、正確かつ安定した接点位置情報を求めることができる。
【００４３】
また、被写体位置計測装置２０および被写体位置計測方法は、探索直線Ｌsが差分画像３２中の鉛直方向に所定の回数連続して輪郭像３０を横切るとき、探索直線Ｌsが横切る領域の横断幅に関する平均値と標準偏差を求める。このとき、被写体位置計測装置２０および被写体位置計測方法は、探索直線Ｌsが横切る領域のうち、横断幅が上記平均値と上記標準偏差から求められる許容範囲内に含まれる領域に関する、差分画像３２中の水平方向における中心位置の平均値を用いて接点位置情報の水平方向における情報を求める。このため、本実施形態では、実際の頭部Ｈの領域と異なる領域を含んだ不正確な平均値を求めることを防止することができる。
【００４４】
被写体位置計測装置２０および被写体位置計測方法は、探索直線Ｌsを差分画像３２中の鉛直方に１画素分に相当する距離移動させることを繰り返し行い、探索直線Ｌsが視聴者Ｖの頭部Ｈと同じ二値化データの値を持つ領域を横切り、かつ、探索直線Ｌsが連続して上記領域を横切る回数が所定の回数に達するとき、上記領域を視聴者Ｖの頭部Ｈの領域と判定する。このため、本実施形態は、視聴者Ｖの頭部Ｈの領域を誤抽出する可能性は低い。
本実施形態では、被写体および被写体の一部分として人物及び人物の頭部としたが、人物および人物の頭部に限定されず、他の被写体及び被写体の一部が球形状と見なせるものであればよい。
【００４５】
上記実施形態は、以下に示す内容を開示する。
（付記１）
撮影被写体の一部分を球状体と見なして前記一部分の位置を求める被写体位置計測装置であって、
撮影被写体を少なくとも２方向から撮影する複数のカメラと、
前記カメラで撮影された複数の画像から、前記撮影被写体の一部分を球状体と見なして撮影被写体の前記一部分の位置を求めるデータ処理部と、を有し、
前記データ処理部は、
前記複数の画像のそれぞれにおいて、前記画像中の撮影被写体の輪郭像を抽出する輪郭抽出部と、
前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する前記画像中の接点位置情報を求め、さらに、撮影被写体を撮影した撮影空間内において、前記カメラそれぞれから延びて前記撮影被写体の前記一部分と接する第１仮想直線を、前記接点位置情報を用いて前記輪郭像のそれぞれについて求める仮想直線抽出部と、
前記輪郭像のそれぞれについて求めた前記第１仮想直線を、前記第１の方向に対応する前記撮影空間内の方向に所定の距離平行移動した第２仮想直線同士の交点、あるいは、前記第２仮想直線同士が最接近する点の位置を、前記撮影空間における前記撮影被写体の前記一部分の中心位置として求める位置算出部と、を備えることを特徴とする被写体位置計測装置。
【００４６】
（付記２）
前記仮想直線抽出部は、前記第１の方向に延びる前記探索直線が前記輪郭像を横切るように、前記探索直線を前記第１の方向と直交する第２の方向に予め設定された距離移動させることを繰り返し行うことにより、前記探索直線が前記輪郭像を横切る領域の前記第１の方向における中心位置の平均値を求め、求めた前記平均値を前記接点位置情報の前記第１の方向における情報として定める付記１に記載の被写体位置計測装置。
【００４７】
（付記３）
前記仮想直線抽出部は、前記探索直線が前記輪郭像と同じ二値化データの値を持つ領域を横切り、かつ、前記探索直線が前記第２の方向に移動を繰り返す際に連続して前記領域を横切る繰り返し回数が所定の回数に達するとき、前記領域を前記撮影被写体の前記一部分の領域と判定する、付記２に記載の被写体位置計測装置。
【００４８】
（付記４）
前記仮想直線抽出部は、前記探索直線が前記輪郭像と同じ二値化データの値を持つ領域を横切るたびに、前記探索直線が前記領域を横切る横断幅を求め、前記探索直線が前記第２の方向に移動を繰り返す際に連続して前記領域を横切る繰り返し回数が所定の回数に達するとき、前記横断幅の平均値と標準偏差を求め、前記探索直線が横断した前記領域のうち、横断幅が前記平均値と前記標準偏差から求められる許容範囲内に含まれる領域に限定して、前記第１方向における中心位置の平均値を、前記接点位置情報の前記第１の方向における情報として求める付記１〜３のいずれか１項に記載の被写体位置計測装置。
【００４９】
（付記５）
前記輪郭抽出部は、前記撮影被写体の撮影された画像と、前記撮影被写体の撮影されていない背景画像との差分を二値化することにより前記輪郭像を抽出する、付記１〜４のいずれか１項に記載の被写体位置計測装置。
【００５０】
（付記６）
映像を表示するディスプレイシステムであって、
付記１〜６のいずれか１項に記載の被写体位置計測装置と、
前記撮影被写体の前記一部分の前記中心位置に応じて、前記撮影被写体から見える表示対象の仮想オブジェクトの映像信号を生成する映像生成部を含むデータ処理装置と、
生成された映像信号を用いて前記仮想オブジェクトの像を画面表示する画面表示装置と、を備えることを特徴とするディスプレイシステム。
【００５１】
（付記７）
撮影被写体の一部分を球状体と見なして前記一部分の位置を求める被写体位置計測装置が行う被写体位置計測方法であって、
撮影被写体を少なくとも２方向からカメラを用いて撮影することにより、少なくとも２方向から見た複数の画像を取得し、
前記複数の画像のそれぞれにおいて、前記画像中の撮影被写体の輪郭像を抽出し、
前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する前記画像中の接点位置情報を求め、さらに、撮影被写体を撮影した撮影空間内において、前記カメラそれぞれから延びて前記撮影被写体の前記一部分と接する第１仮想直線を、前記接点位置情報を用いて前記輪郭像のそれぞれについて求め、
前記輪郭像のそれぞれについて求めた前記第１仮想直線を、前記第１の方向に対応する前記撮影空間における方向に所定の距離平行移動した第２仮想直線同士の交点、あるいは、前記第２仮想直線同士が最接近する点の位置を、前記撮影空間における前記撮影被写体の前記一部分の中心位置として求める、ことを特徴とする被写体位置計測方法。
【００５２】
（付記８）
前記第１仮想直線を求めるとき、前記複数の画像のそれぞれから抽出した前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する接点位置情報を求めることにより、前記第１仮想直線を求める、付記７に記載の被写体位置計測方法。
【００５３】
（付記９）
前記第１仮想直線を前記輪郭像のそれぞれについて求めるとき、前記第１の方向に延びる前記探索直線が前記輪郭線を横切るように、前記探索直線を前記第１の方向と直交する第２の方向に予め設定された距離移動させることを繰り返し行うことにより、前記探索直線が前記輪郭像を横切る領域の前記第１の方向における中心位置の平均値を求め、求めた前記平均値を前記接点位置情報の前記第１の方向における情報として定める、付記８に記載の被写体位置計測方法。
【００５４】
（付記１０）
前記第１仮想直線を前記輪郭像のそれぞれについて求めるとき、前記探索直線が前記輪郭像と同じ二値化データの値を持つ領域を横切り、かつ、前記探索直線が前記第２の方向に移動を繰り返す際に連続して前記領域を横切る繰り返し回数が所定の回数に達するとき、前記領域を前記撮影被写体の前記一部分の領域と判定する、付記９に記載の被写体位置計測方法。
【００５５】
（付記１１）
前記第１仮想直線を前記輪郭像のそれぞれについて求めるとき、前記探索直線が前記輪郭像と同じ二値化データの値を持つ領域を横切るたびに、前記探索直線が前記領域を横切る横断幅を求め、前記探索直線が前記第２の方向に移動を繰り返す際に連続して前記領域を横切る繰り返し回数が所定の回数に達するとき、前記横断幅の平均値と標準偏差を求め、前記探索直線が横断した前記領域のうち、横断幅が前記平均値と前記標準偏差から求められる許容範囲内に含まれる領域に限定して、前記第１方向における中心位置の平均値を、前記接点位置情報の前記第１の方向における情報として求める、付記８〜１０のいずれか１項に記載の被写体位置計測方法。
【００５６】
（付記１２）
前記輪郭像を抽出するとき、前記撮影被写体の撮影された画像と、前記撮影被写体の撮影されていない背景画像との差分を二値化することにより前記輪郭像を抽出する、付記７〜１１のいずれか１項に記載の被写体位置計測方法。
【００５７】
以上、本発明の被写体位置計測装置、ディスプレイシステム、および被写体位置計測方法について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【００５８】
１０ ディスプレイシステム
１２ａ，１２ｂ カメラ
１４ データ処理装置
１５ａ ＣＰＵ
１５ｂ ＲＯＭ
１５ｃ ＲＡＭ
１５ｄ 記憶部
１５ｅ 入出力部
１６ 画面表示装置
２０ 被写体位置計測装置
２４ 輪郭抽出部
２６ 仮想直線抽出部
２８ 位置算出部
３０ 輪郭像
３２ 差分画像
【技術分野】
【０００１】
本発明は、撮影被写体の一部分を球状体と見なして前記撮影被写体の前記一部分の位置を求める被写体位置計測装置、被写体位置計測装置を用いたディスプレイシステム、および被写体位置計測方法に関する。
【背景技術】
【０００２】
従来、カメラ等により撮影された動画上の被写体人物の頭部の位置を追跡する方法が種々提案されている。このような被写体人物の頭部の位置の追跡は、運動視差立体視ディスプレイにおいて、視聴者の運動視差に応じて仮想オブジェクトの見え方が変わるようにするために、有効に用いられ得る。運動視差とは、視聴者の視点の位置が変化することで変わる仮想オブジェクトの奥行きの見え方の変化量に関するものである。
【０００３】
例えば、人物の頭部領域の追跡方法として、ポリゴンモデルを用いた３次元人物頭部追跡方法が知られている。当該方法では、具体的に、三次元ポリゴンモデルを撮影された２次元画像上に投影し、そのときの三次元ポリゴンモデルの色と奥行き情報を用いることにより、撮影された画像上の被写体人物の３次元位置と顔部の向きが推定される。
また、２台のカメラで撮影された画像の情報に基いて、自動的にリアルタイムで被写体人物の顔部を追跡し、その顔部の運動の計測をする他、被写体人物の顔部の特徴を、撮影された画像の情報から抽出し、その特徴を追跡するシステムも知られている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】大場篤哉、寺田和憲、伊藤昭，「ポリゴンモデルを用いた３次元人物頭部追跡]，[online]，ロボティクス・メカトロニクス講演会（ＲＯＢＯＭＥＣ０５），［平成２２年１１月１９日検索］，インターネット（ＵＲＬ：http://www.elf.info.gifu-u.ac.jp/terada/publications/robomec05O.pdf）
【非特許文献２】face LAB (SeeingMachines 社製品) ，[online]， ［平成２２年１１月１９日検索］，インターネット（ＵＲＬ：http://www.creact.co.jp/jpn/facelab/index_f.html）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したような、カメラ等により撮影された動画上の被写体人物の頭部の位置を追跡する方法を、運動視差立体視ディスプレイにおいて用いる場合、被写体人物の頭部の中心位置の空間内の位置座標に基いて、仮想空間内での被写体人物の視点位置を定め、運動視差を考慮して仮想オブジェクトの映像を表示する。このとき、測定対象の頭部の中心位置を定める座標位置が揺らぐと、被写体人物が頭部を動かしていなくても仮想オブジェクトの表示映像が揺らいでしまう不都合が生じる場合がある。
【０００６】
上記ポリゴンモデルを用いた３次元人物頭部追跡方法や上記システムにおける被写体人物の顔部の追跡の処理は、一般に被写体人物の照明条件の微妙な揺らぎ等の影響を受けやすいため、測定対象の頭部が動いていなくても、頭部の座標位置が揺らぐ場合がある。
上記揺らぎを抑制するために、ローパスフィルタを用いることもできるが、頭部が実際に移動する場合、実際に移動する頭部に対して頭部の座標位置がリアルタイムで追従しなくなる場合がある。
【０００７】
そこで、本発明は、撮影人物の頭部などの撮影被写体の一部分の位置を求める際、従来の方法とは異なる簡単な方式により、上記一部分の位置を安定して求めることができる被写体位置計測装置および被写体位置計測方法と、この被写体位置計測装置を利用したディスプレイシステムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様は、撮影被写体の一部分を球状体と見なして前記一部分の位置を求める被写体位置計測装置である。当該装置は、
撮影被写体を少なくとも２方向から撮影する複数のカメラと、
前記カメラで撮影された複数の画像から、前記撮影被写体の一部分を球状体と見なして撮影被写体の前記一部分の位置を求めるデータ処理部と、を有する。
前記データ処理部は、
前記複数の画像のそれぞれにおいて、前記画像中の撮影被写体の輪郭像を抽出する輪郭抽出部と、
前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する前記画像中の接点位置情報を求め、さらに、撮影被写体を撮影した撮影空間内において、前記カメラそれぞれから延びて前記撮影被写体の前記一部分と接する第１仮想直線を、前記接点位置情報を用いて前記輪郭像のそれぞれについて求める仮想直線抽出部と、
前記輪郭像のそれぞれについて求めた前記第１仮想直線を、前記第１の方向に対応する前記撮影空間内の方向に所定の距離平行移動した第２仮想直線同士の交点、あるいは、前記第２仮想直線同士が最接近する点の位置を、前記撮影空間における前記撮影被写体の前記一部分の中心位置として求める位置算出部と、を備える。
【０００９】
また、本発明の他の一態様は、映像を表示するディスプレイシステムである。当該システムは、
前記被写体位置計測装置と、
前記撮影被写体の前記一部分の前記中心位置に応じて、前記撮影被写体から見える表示対象の仮想オブジェクトの映像信号を生成する映像生成部を含むデータ処理装置と、
生成された映像信号を用いて前記仮想オブジェクトの像を画面表示する画面表示装置と、を備える。
【００１０】
さらに、本発明の他の一態様は、撮影被写体の一部分を球状体と見なして前記一部分の位置を求める被写体位置計測方法である。当該方法では、
撮影被写体を少なくとも２方向からカメラを用いて撮影することにより、少なくとも２方向から見た複数の画像を取得し、
前記複数の画像のそれぞれにおいて、前記画像中の撮影被写体の輪郭像を抽出し、
前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する前記画像中の接点位置情報を求め、さらに、撮影被写体を撮影した撮影空間内において、前記カメラそれぞれから延びて前記撮影被写体の前記一部分と接する第１仮想直線を、前記接点位置情報を用いて前記輪郭像のそれぞれについて求め、
前記輪郭像のそれぞれについて求めた前記第１仮想直線を、前記第１の方向に対応する前記撮影空間における方向に所定の距離平行移動した第２仮想直線同士の交点、あるいは、前記第２仮想直線同士が最接近する点の位置を、前記撮影空間における前記撮影被写体の前記一部分の中心位置として求める。
【発明の効果】
【００１１】
上記態様の被写体位置計測装置および被写体位置計測方法によれば、撮影被写体の一部分の位置を求める際、安定して上記一部分の位置を求めることができる。このため、被写体位置計測装置および被写体位置計測方法を利用したディスプレイシステムによれば、仮想オブジェクトの表示映像が揺らいで視聴者に不快を与えることを防止することができる。
【図面の簡単な説明】
【００１２】
【図１】本実施形態のディスプレイシステムの概略を説明する図である。
【図２】（ａ）は、図１に示すディスプレイシステムのブロック構成図であり、（ｂ）は、図１に示すディスプレイシステムの機能ブロック図である。
【図３】本実施形態の被写体位置計測装置のデータ処理部の構成を示すブロック図である。
【図４】本実施形態の被写体位置計測装置で行われる輪郭像の接点位置情報の算出の一例を説明する図である。
【図５】本実施形態の被写体位置計測装置が行う頭部の位置計測の一例を説明する図である。
【図６】本実施形態の被写体位置計測方法のフローの一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下、本発明の被写体位置計測装置、ディスプレイシステム、および被写体位置計測方法について説明する。
【００１４】
（ディスプレイシステム）
図１は、本実施形態のディスプレイシステム１０の概略を説明する図である。図２（ａ）は、ディスプレイシステム１０のブロック構成図であり、図２（ｂ）は、ディスプレイシステム１０の機能ブロック図である。
ディスプレイシステム１０は、視聴者Ｖの運動視差により、表示しようとする仮想オブジェクトの見え方が変われるようにする運動視差立体視ディスプレイを含むシステムである。例えば、視聴者Ｖの視点が左上方にわずかに動いたとき、視聴者Ｖが左上方から仮想オブジェクトを見るように、ディスプレイシステム１０は、視聴者Ｖの視点に応じて、表示する仮想オブジェクトの奥行きの見え方や陰影を修正して表示する。
【００１５】
ディスプレイシステム１０は、一対のカメラ１２ａ，１２ｂと、データ処理装置１４と、画面表示装置１６と、を有する。
一対のカメラ１２は、表示画像を見る視聴者Ｖをお互いに異なる方向から撮影するために、空間に固定されている。
データ処理装置１４は、視聴者Ｖの頭部の位置に応じて、視聴者Ｖから見える表示対象の仮想オブジェクトの映像信号を生成する。
データ処理装置１４は、図２（ａ）に示すように、ＣＰＵ１５ａと、ＲＯＭ１５ｂと、ＲＡＭ１５ｃと、記憶部１５ｄと、入出力部１５ｅと、バス１５ｆと、有するコンピュータによって形成される。ＣＰＵ１５ａ、ＲＯＭ１５ｂ、ＲＡＭ１５ｃ、記憶部１５ｄ、および入出力部１５ｅはバス１５ｆを介してお互いに接続されている。入出力部１５ｅは、カメラ１２ａ，１２ｂと、画面表示装置１６と、マウスおよびキーボードを備える図示されない入力操作系と接続されている。
【００１６】
ＲＯＭ１５ｂは、コンピュータの起動によりＣＰＵ１５ａが各処理を実行するＯＳおよび制御ソフトウェアを記憶している。ＲＡＭ１５ｃは、後述する各種データ処理の結果を一時的に記憶する。記憶部１５ｄは、データ処理装置１４における後述するデータ処理を実行するプログラムを記憶する。また、記憶部１５ｄは、後述する各種データ処理の結果を記憶する。なお、後述するデータ処理を実行するプログラムは、記憶部１５ｄの代わりにＲＯＭ１５ｂに記憶されてもよい。ＣＰＵ１５ａは、コンピュータの各部分の動作の制御と管理を行い、さらに、後述するデータ処理の制御と管理を行う。
【００１７】
上記コンピュータであるデータ処理装置１４は記憶部１５ｄに記憶されたプログラムを読み出して実行することにより、図２（ｂ）に示すように、データ処理部１４ａと映像生成部１４ｂを機能的に形成する。すなわち、データ処理部１４ａおよび映像生成部１４ｂは、ソフトウェアモジュールであり、プログラムをＣＰＵ１５ａが実行することにより仮想的に形成される部分である。
【００１８】
データ処理部１４ａは、カメラ１２ａ，１２ｂで撮影された２方向からの画像から、視聴者Ｖの頭部を球状体と見なして視聴者Ｖの頭部の位置を求める。データ処理部１４ａは、視聴者Ｖの頭部の位置の情報を映像生成部１４ｂに提供する。
映像生成部１４ｂは、入力された仮想オブジェクトの映像信号に対して、視聴者Ｖの頭部の位置に応じて、視聴者Ｖから見える表示対象の仮想オブジェクトの映像信号を生成する。映像生成部１４ｂに入力される映像信号には、例えば、仮想空間内における仮想オブジェクトの３次元座標で表されたデータの他に、仮想空間内で照射される照明光源の向き、照明光の光強度およびスペクトル分布等の情報も含まれる。すなわち、映像生成部１４ｂは、入力された映像信号を用いて、視聴者Ｖの頭部の位置に応じて３次元データを２次元データに変換し、陰影処理を施すことで、２次元の仮想オブジェクトの映像信号を生成する。
画面表示装置１６は、データ処理装置１４で生成された２次元の映像信号を用いて仮想オブジェクトの像を画面表示する。
【００１９】
データ処理部１４ａは、後述するように、視聴者Ｖの頭部の位置を求める際、安定して頭部の位置を求めることができ、さらに、頭部が実際に移動しても、頭部の座標位置をリアルタイムに追従して求めることができる。したがって、画面表示装置１６は、従来の装置のように、視聴者Ｖの頭部の座標位置が揺らぐことはないので、表示される仮想オブジェクトは揺らいで表示されることはなくなり、視聴者Ｖの頭部の移動に応じて仮想オブジェクトの像がリアルタイムで変化する。
【００２０】
（被写体位置計測装置）
本実施形態の被写体位置計測装置２０は、図２（ｂ）に示されるように、データ処理装置１４の一部であり、ディスプレイシステム１０に搭載されており、図中の点線で示されるように、一対のカメラ１２ａ，１２ｂと、データ処理部１４ａと、を有する。
カメラ１２ａ，１２ｂは、撮影被写体である視聴者Ｖをお互いに異なる２方向から撮影する。お互いに異なる２方向から視聴者Ｖを撮影するのは、視聴者Ｖの頭部の撮影空間内における位置を求めるためである。
データ処理部１４ａは、カメラ１２ａ，１２ｂで撮影された２つの画像から、撮影被写体である視聴者Ｖの頭部を球状体と見なして視聴者Ｖの頭部の位置を求める。
【００２１】
図３は、データ処理部１４ａの構成を示す機能ブロック図である。
データ処理部１４ａは、上述したように、データ処理装置１４であるコンピュータが記憶部１５ｄに記憶されたプログラムを実行することにより機能的に形成されたソフトウェアモジュールである。データ処理部１４ａは、輪郭抽出部２４と、仮想直線抽出部２６と、位置算出部２８と、を含む。すなわち、輪郭抽出部２４、仮想直線抽出部２６、および位置算出部２８は、データ処理装置１４においてプログラムを実行することによって形成されるソフトウェアモジュールである。輪郭抽出部２４と、仮想直線抽出部２６と、位置算出部２８の一部は、ソフトウェアモジュールの代わりに、専用回路等を用いたハードウェアモジュールが用いられてもよい。
【００２２】
輪郭抽出部２４は、カメラ１２ａ，１２ｂで撮影された２つの画像のそれぞれにおいて、画像中の視聴者Ｖの輪郭像を抽出する。輪郭抽出部２４は、視聴者Ｖの輪郭像を抽出するとき、背景画像を用いる。この背景画像は、視聴者Ｖがカメラ１２ａ，１２ｂの撮影範囲内にいないときの画像がカメラ１２ａ，１２ｂで予め撮影されて、ＲＡＭ１５ｃあるいは記憶部１５ｄに予め記憶されたものである。輪郭抽出部２４は、カメラ１２ａ，１２ｂで撮影された視聴者Ｖの撮影された画像と、視聴者Ｖの撮影されていない背景画像との差分を求め、この差分画像を二値化することにより視聴者Ｖの輪郭像を抽出する。差分画像を所定の閾値を用いて二値化することにより、視聴者Ｖの輪郭像とそれ以外の像とを明確に区分けすることができる。視聴者Ｖの輪郭像は、カメラ１２ａ，１２ｂで撮影された視聴者Ｖの画像毎に抽出される。
【００２３】
具体的には、輪郭抽出部２４は、視聴者Ｖの撮影された画像と背景画像における各画素における輝度データの差を求めることにより、輝度データの差分画像を求める。差分画像では、視聴者Ｖが映っている部分と視聴者Ｖが映っていない部分とでは画素値が大きく異なる。したがって、二値化した画像は、視聴者Ｖが映っている部分は例えば白い領域となり、視聴者Ｖが映っていない部分は例えば黒い領域となる。以降の説明では、視聴者Ｖが映っている部分は白い領域となり、視聴者Ｖが映っていない部分は黒い領域となる例で説明する。なお、二値化に用いる閾値は、撮影する照明条件に応じて調整することにより、視聴者Ｖ以外の背景画像の一部を輪郭像として誤抽出することを防止できる。抽出された視聴者Ｖの輪郭像は、ノイズ低減処理として、輪郭像の白領域を縮小した後、白領域を拡大する拡大・縮小処理を施してもよい。輪郭像の白領域を縮小する処理は、例えば、注目する画素が黒の画素と接している場合、注目する画素を強制的に黒の画素にする処理である。輪郭像の白領域を拡大する処理は、例えば、注目する画素が白の画素と接している場合、注目する画素を強制的に白の画素にする処理である。
【００２４】
輪郭抽出部２４は、輝度データを用いた差分画像を作成するが、輝度データの代わりに、色相データの差分を用いて、色相データの差分画像を求めてもよいし、輝度データと色相データの両方を用いた差分画像を求めてもよい。この場合、輝度データの差分画像から得られる輪郭像と、色相データの差分画像から得られる輪郭像との共通部分を、被写体Ｖの輪郭像として求めることができる。
本実施形態は、視聴者Ｖの輪郭像を、視聴者Ｖの有無の画像を用いて抽出するが、このほかの方法として、例えば、視聴者Ｖの頭部の位置を、目、鼻、口および髪の毛等に関する画像特徴量（色及び形状）を利用して抽出することにより、視聴者Ｖの輪郭像を抽出してもよい。
【００２５】
仮想直線抽出部２６は、カメラ１２ａ，１２ｂで撮影された視聴者Ｖの２つの画像のそれぞれから抽出した輪郭像と、差分画像中の水平方向に延びて輪郭像の領域を探索する探索直線とが接する差分画像中の接点位置情報を求める。仮想直線抽出部２６は、接点位置情報を、例えば、以下のようにして求める。
【００２６】
図４は、輪郭像の接点位置情報の算出の一例を説明する図である。
図４には、輪郭像３０が二値化された差分画像３２内で抽出されている。また、差分画像３２には、背景画像に対して照明条件の変化あるいはノイズ等によってできた、視聴者Ｖの輪郭像３０以外の白い領域Ｗ1〜Ｗ4が存在する。
この状態で、仮想直線抽出部２６は、図４中の上方から下方に（差分画像３２中の鉛直方向に）移動しながら輪郭像３０の領域を探索するために水平方向に延びた探索直線Ｌsを移動させる。これにより、仮想直線抽出部２６は、探索直線Ｌsが輪郭像３０と接する差分画像３２中の接点位置情報を求める。具体的には、仮想直線抽出部２６は、水平方向に延びる探索直線Ｌsが輪郭像３０を横切るように、探索直線Ｌsを鉛直方向に１画素ずつ移動させることを繰り返し行う。このとき、仮想直線抽出部２６は、探索直線Ｌsが輪郭像３０を横切る領域の水平方向における中心位置の平均値を、接点位置の座標位置を表す接点位置情報の一部（水平方向における情報）として求める。さらに、仮想直線抽出部２６は、この平均値に対する探索直線Ｌsの鉛直方向の位置を接点位置情報の一部（鉛直方向における情報）として求める。
より具体的に説明すると、仮想直線抽出部２６は、探索直線Ｌsを鉛直方向に１画素ずつ移動させることを繰り返し行い、探索直線Ｌsが視聴者Ｖの頭部と同じ二値化データの値、すなわち、同じ白い領域を横切り、かつ、探索直線Ｌsが連続して上記領域を横切る繰り返し回数が所定の回数に達するとき、上記領域を、視聴者Ｖの頭部の領域と判定する。
探索直線Ｌsを用いて上記条件で判定が行われるのは、図４に示すように、視聴者Ｖの輪郭像３０以外の白い領域Ｗ1〜Ｗ4が存在するとき、仮想直線抽出部２６がこの領域Ｗ1〜Ｗ4を誤って視聴者Ｖの頭部の領域として判定しないためである。差分画像において、白い領域Ｗ1〜Ｗ4が、視聴者Ｖの頭部の領域と同様に、広い範囲を持つことは極めて少ない。このことから、仮想直線抽出部２６は、探索直線Ｌsが連続して白い領域を横切る繰り返し回数が所定の回数に達することを頭部の判定の条件として用いる。したがって、判定に用いる上記所定の回数は、予め決定されるが、カメラ１２ａ，１２ｂの撮影倍率等の撮影条件によって変化することが好ましい。
【００２７】
仮想直線抽出部２６は、上述したように、探索直線Ｌsが輪郭像３０を横切る領域の水平方向における中心位置の平均値を接点位置情報の水平方向における情報として求める。この接点位置情報は、探索直線Ｌsが図４中の上方から下方に１画素ずつ移動しながら、輪郭像３０の最上部分と最初に接する点の位置とは厳密に異なる。しかし、輪郭像３０の最上部分が、ノイズ等の影響により必ずしも実際の頭部の接点に対応するとはいえないことから、より安定しかつ正確な接点位置情報を求めるために、仮想直線抽出部２６は上述の方法により得られた平均値を接点位置情報の水平方向における情報として求める。勿論、仮想直線抽出部２６は、差分画像３２にノイズが含まれていない場合、探索直線Ｌsが輪郭像３０の最上部分と最初に接する点の水平方向における位置を、接点位置情報の水平方向における情報として定めてもよい。
【００２８】
また、差分画像では、図４に示す画素が白い領域Ｗ1〜Ｗ4が頭部の領域と繋がることで実際の頭部の領域に比べて水平方向の幅が広がった領域が存在する場合がある。また、差分画像を作成するために用いる背景画像の影響を受けて実際の頭部の領域に比べて水平方向の幅が短くなった領域が存在する場合もある。これらの場合、これらの領域が、探索直線Ｌsの横切る輪郭像３０の領域と判定され、接点位置情報として求める上記中心位置の平均値が不正確になる。このため、仮想直線抽出部２６は、以下のような処理を行うことができる。すなわち、仮想直線抽出部２６は、探索直線Ｌsが水平方向に所定の回数連続して輪郭像３０を横切るとき、探索直線Ｌsが輪郭像３０を横切る領域の水平方向の横断幅に関する平均値と標準偏差を求める。仮想直線抽出部２６は、さらに、この領域のうち、水平方向の横断幅が平均値と標準偏差から求められる許容範囲内に含まれる領域に限定して、水平方向における中心位置の平均値を求める。仮想直線抽出部２６は、求めた平均値を接点位置情報の水平方向における情報として定める。すなわち、仮想直線抽出部２６は、水平方向の横断幅が平均値と標準偏差から求められる許容範囲内に含まれない領域を除外する。上記平均値をλとし、上記標準偏差をσとしたとき、上記許容範囲は、λ−ｃ・σ〜λ＋ｃ・σ（ｃは、０．５〜１．５の範囲の与えられた定数）とする。あるいは、水平方向の幅が実際の幅に比べて広がった領域を除去する場合は、上記許容範囲は、λ＋ｃ・σ以下とする。
なお、本実施形態では、探索直線Ｌsは、差分画像において水平方向に延びて、鉛直方向に１画素ずつ移動するが、探索直線Ｌsは、差分画像において傾斜した方向に延びて、この傾斜した方向に直交する方向に移動してもよい。また、探索直線Ｌsは、１画素分に相当する距離ずつ移動するが、複数画素分に相当する距離ずつ、さらには、予め設定された距離ずつ移動してもよい。
【００２９】
さらに、仮想直線抽出部２６は、求めた接点位置情報（水平方向および鉛直方向における位置情報）を用いて、視聴者Ｖを撮影した撮影空間内において、カメラ１２ａ，１２ｂそれぞれの撮影中心から延びて視聴者Ｖの頭部と接する第１仮想直線を、それぞれの輪郭像３０について求める。カメラ１２ａ，１２ｂで撮影された画像内の点は、撮影された画像が歪んでいない場合、カメラ１２ａ，１２ｂそれぞれの撮影中心から延びる直線であるので、画像内の点は、３次元の撮影空間内においては、直線に変換される。このため、仮想直線抽出部２６は、接点位置情報を用いて、上記第１仮想直線を簡単に求めることができる。
【００３０】
仮想直線抽出部２６は、撮影された画像内の接点位置情報を用いて第１仮想直線を求めるとき、撮影空間内の正確な第１仮想直線を求めるために、キャリブレーションを行う。具体的には、仮想直線抽出部２６は、接点位置情報から第１仮想直線を求めるとき、カメラ１２ａ，１２ｂの撮影レンズに起因する歪曲収差やカメラ１２ａ，１２ｂの撮影位置や撮影倍率等の情報を正確に反映した補正を行う。より、具体的には、仮想直線抽出部２６は、例えば、周知のＺｈａｎｇのアルゴリズムを用いてキャリブレーションすることにより、画像内の接点位置情報から第１仮想直線を求める。Ｚｈａｎｇのアルゴリズムは、http://research.microsoft.com/en-us/um/people/zhang/calib/ （２０１０年１１月２１日検索））、http://research.microsoft.com/en-us/um/people/zhang/Papers/TR98-71.pdf （２０１０年１１月２１日検索））等に開示されている。
Ｚｈａｎｇのアルゴリズムでは、撮影された画像上の２次元位置座標と、撮影空間内の３次元位置座標との間が、画素のスケール量と画像の歪み量を補正する行列と、撮影空間の回転と平行移動の変換パラメータとを用いて予め関係付けられる。この関係付けは、例えば、カメラ１２ａ，１２ｂを用いて３点以上の異なる位置からチェッカーボードを撮影し、チェッカーの交点の撮影空間内の位置座標列と、各撮影画像内の２次元の位置座標列とを用いて、上記行列および上記変換パラメータの値を同定することにより行われる。
したがって、撮影された画像内の接点位置情報は、事前にキャリブレーションを行って求めておいた上記行列及び変換パラメータの値を用いて、上記関係付けについての計算を行うことにより、カメラ１２ａ，１２ｂそれぞれの撮影中心から延びて視聴者Ｖの頭部と接する撮影空間内における正確な直線、すなわち第１仮想直線に変換され得る。
【００３１】
位置算出部２８は、視聴者Ｖの輪郭像３０のそれぞれについて求めた第１仮想直線を、差分画像３２中の水平方向に対応する撮影空間内における方向に所定の距離平行移動した第２仮想直線を求める。位置算出部２８は、さらに、求めた第２仮想直線同士の交点の位置、あるいは、第２仮想直線同士が最接近する点の位置を、撮影空間内における視聴者Ｖの頭部の中心位置として求める。
【００３２】
図５は、被写体位置計測装置２０が行う視聴者Ｖの頭部Ｈの位置計測を説明する図である。
図５に示されるように、カメラ１２ａ，１２ｂそれぞれの撮影中心から延びて視聴者Ｖの頭部Ｈと接する撮影空間内における第１仮想直線Ｌ１，Ｌ2が仮想直線抽出部２６で求められる。このとき第１仮想直線Ｌ１，Ｌ2が頭部Ｈと接する接点Ｐ1，Ｐ2は、視聴者Ｖを撮影するカメラ１２ａ，１２ｂの向きが異なるので、お互いに異なる位置にある。しかし、頭部Ｈの中心位置は、カメラ１２ａ，１２ｂが視聴者Ｖを撮影する向きが異なっても同じ位置にある。したがって、この中心位置を求めるために、位置算出部２８は、第２仮想直線同士の交点の位置、あるいは第２仮想直線同士が最接近する点の位置を求める。
【００３３】
すなわち、位置算出部２８は、第１仮想直線Ｌ１，Ｌ2を、差分画像３２中の水平方向に対応する撮影空間内における方向に所定の距離平行移動した直線を第２仮想直線Ｌ3，Ｌ4として求める。このとき、上記所定の距離とは、視聴者Ｖの頭部Ｈを球形状とみなして近似したときの球体の半径Ｒhである。頭部Ｈの大きさは人間であれば、例えば、１８ｃｍといったように略一定に決まっているので、このような球体の半径Ｒhの値は、人間の平均的な頭部のサイズから定められる。
したがって、第２仮想直線Ｌ3，Ｌ4同士は、頭部Ｈの中心位置あるいはその近傍を通るので、位置算出部２８は、第２仮想直線Ｌ3，Ｌ4同士の交点Ｐ3の位置、あるいは、第２仮想直線Ｌ3，Ｌ4同士が最接近する点の位置を、頭部Ｈの中心位置として求める。この中心位置の座標情報が、上述したようなディスプレイシステム１０の映像生成部１４ｂに提供される。
ここで、第２仮想直線Ｌ3，Ｌ4同士が最接近する点の位置は、第２仮想直線Ｌ3，Ｌ4同士の離間距離が最も小さい線分上の中心位置、あるいは、上記線分を所定の比で分割する線分上の点の位置である。
以上が、被写体位置計測装置２０の説明である。
【００３４】
（被写体位置計測方法）
図６は、本実施形態の被写体位置計測２０が行う被写体位置計測方法のフローの一例を示すフローチャートである。
まず、カメラ１２ａ，１２ｂ毎に、Ｚｈａｎｇのアルゴリズムを用いてカメラ１２ａ，１２ｂで撮影される画像上の２次元位置座標と、撮影空間内の３次元位置座標との間を関係付ける、上述した行列の各要素の値と変換パラメータの値を取得する。上記行列および上記変換パラメータの値の取得は、上述したように、３点以上の異なる位置からチェッカーボードを撮影し、チェッカーの交点の撮影空間内の位置座標列と、各撮影画像内の２次元の位置座標列とを用いて、同定することにより行われる。
【００３５】
次に、カメラ１２ａ，１２ｂは、視聴者Ｖを撮影し、データ処理部１４ａは画像を取得する（ステップＳ１０）。撮影された視聴者Ｖの画像データは、ＲＡＭ１５ｃあるいは記憶部１５ｄに記憶される。データ処理部１４ａは、カメラ１２ａ，１２ｂからの画像データの記憶が全て完了したか否かを判定する（ステップＳ２０）。カメラ１２ａ，１２ｂから、視聴者Ｖの画像データが全てＲＡＭ１５ｃあるいは記憶部１５ｄに記憶されるまでデータ処理部１４ａは待機する。カメラ１２ａ，１２ｂから、視聴者Ｖの画像データが全て提供され、ＲＡＭ１５ｃあるいは記憶部１５ｄに記憶された場合（ステップＳ２０におけるＹｅｓの場合）、輪郭抽出部２４は、視聴者Ｖの輪郭像３０を抽出する（ステップＳ３０）。輪郭像３０の抽出は、上述したように、視聴者Ｖの撮影された画像と、視聴者Ｖの撮影されていない背景画像との差分を二値化した画像を作成することにより、行われる。輪郭抽出部２４は、抽出された輪郭像３０を、記憶部１５ｄに記憶する。輪郭像３０は、二値化された差分画像に例えば白の領域として形成される。この輪郭像３０が含まれた二値化された差分画像が、ＲＡＭ１５ｃあるいは記憶部１５ｄに記憶される。
【００３６】
次に、仮想直線抽出部２６は、探索直線Ｌsが差分画像中の視聴者Ｖの頭部Ｈと接する接点位置情報を算出する（ステップＳ４０）。具体的には、仮想直線抽出部２６は、水平方向に延びる探索直線Ｌsを差分画像３２中の鉛直方向に１画素分に相当する距離移動させることを繰り返し行う。このとき、探索直線Ｌsが視聴者Ｖの頭部Ｈと同じ二値化データの値を持つ領域を横切り、かつ、探索直線Ｌsが連続して上記領域を横切る繰り返し回数が所定の回数に達するとき、上記領域を視聴者Ｖの頭部Ｈの領域と判定する。このとき、仮想直線抽出部２６は、探索直線Ｌsが輪郭像３０を横切る横断幅の水平方向における中心位置の平均値を、接点位置情報の水平方向における情報として求める。さらに、仮想直線抽出部２６は、上記平均値における探索直線Ｌsの鉛直方向における位置を接点位置情報の鉛直方向における情報として求める。視聴者Ｖの頭部の接点位置情報をより正確に求めるために、仮想直線抽出部２６は、探索直線Ｌsが上記領域を横切る横断幅に関する平均値と標準偏差を求め、この横断幅のうち、上記平均値と上記標準偏差から求められる許容範囲内に含まれる横断幅に関する水平方向における中心位置の平均値を、接点位置情報の水平方向における情報として求めることが好ましい。これにより、仮想直線抽出部２６は、実際の頭部Ｈの領域と異なる領域を含んで不正確な平均値を求めることを防止することができる。
【００３７】
次に、仮想直線抽出部２６は、求められた接点位置情報を用いて、カメラ１２ａ，１２ｂで撮影した撮影空間内において、カメラ１２ａ，１２ｂそれぞれの撮影中心から延びて視聴者Ｖの頭部Ｈと接する第１仮想直線Ｌ1，Ｌ2を求める（ステップＳ５０）。具体的には、仮想直線抽出部２６は、撮影された画像上の２次元位置座標と、撮影空間内の３次元位置座標との間を関係付ける、予め求めた行列の各要素の値と変換パラメータの値を用いて、接点位置情報から、第１仮想直線Ｌ1，Ｌ2を求める。
【００３８】
次に、位置算出部２８は、第１仮想直線Ｌ1，Ｌ2を、差分画像３２中の水平方向に対応する撮影空間における方向に所定の距離平行移動した第２仮想直線Ｌ3，Ｌ4を算出する（ステップＳ６０）。ここで、第１仮想直線Ｌ1，Ｌ2を平行移動する所定の距離とは、視聴者Ｖの頭部Ｈを球形状とみなして近似したときの球体の半径Ｒhであり、人間の頭部の平均的な半径である。
このような第２仮想直線Ｌ3，Ｌ4は、カメラ１２ａ，１２ｂ毎の差分画像から求められた第１仮想直線Ｌ1，Ｌ2毎に求められる。したがって、位置算出部２８は、カメラ１２ａ，１２ｂ毎に、第２仮想直線Ｌ3，Ｌ4がすべて算出されたか否かを判定する（ステップＳ７０）。第２仮想直線Ｌ3，Ｌ4が全て算出されるまで、位置算出部２８は待機する。
【００３９】
第２仮想直線Ｌ3，Ｌ4がすべて算出されると（ステップＳ７０においてＹｅｓの場合）、位置算出部２８は、視聴者Ｖの頭部の中心位置の座標を算出する（ステップＳ８０）。具体的には、位置算出部２８は、第２仮想直線Ｌ3，Ｌ4同士の交点、あるいは、第２仮想直線Ｌ3，Ｌ4同士が最接近する点の位置を、視聴者Ｖの頭部の中心位置として、この位置の座標を算出する。視聴者Ｖの頭部Ｈの形状は球体形状として処理されるため、第２仮想直線Ｌ3，Ｌ4同士が交点を持たない場合も多い。このため、位置算出部２８は、第２仮想直線Ｌ3，Ｌ4同士が最接近する点の位置を、視聴者Ｖの頭部の中心位置として求める。
こうして算出された頭部Ｈの中心位置の座標は、例えば、図２に示されるような映像生成部１４ｂに提供され、視聴者Ｖの運動視差により、仮想オブジェクトの見え方が変われるような映像信号を生成するために用いられる。
なお、本実施形態では、視聴者Ｖを２方向から撮影するためにカメラ１２ａ，１２ｂを用いるが、３つ以上のカメラを用いて３方向以上の方向から視聴者Ｖを撮影し、３つ以上の第１仮想直線および第２仮想直線を求め、これらの第２仮想直線を用いて、視聴者Ｖの頭部Ｈの中心位置を求めてもよい。
【００４０】
本実施形態の被写体位置計測装置２０および被写体位置計測方法は、２方向からカメラ１２ａ，１２ｂで撮影したときの視聴者Ｖの頭部Ｈに接するように、撮影空間内の２つの第１仮想直線Ｌ1，Ｌ2を求め、この第１仮想直線Ｌ1，Ｌ2を、所定の距離平行移動した２つの第２仮想直線間の交点位置、あるいは、第２仮想直線Ｌ3，Ｌ4同士が最接近する点の位置を、頭部Ｈの位置として求める。このため、本実施形態は、従来に比べて、視聴者Ｖの頭部Ｈの位置を簡単な計算により求めることができ、従来のように、照明条件の微妙な揺らぎ等の影響を受ける要素が入りにくい。このため、本実施形態は、視聴者Ｖの頭部Ｈの位置を安定して求めることができる。
【００４１】
被写体位置計測装置２０および被写体位置計測方法は、輪郭像と探索直線Ｌsとが接する画像中の接点位置情報を求めることにより第１仮想直線Ｌ1，Ｌ2を求めるので、輪郭像３０から撮影空間内の第１仮想直線Ｌ1，Ｌ2を容易に求めることができる。
【００４２】
さらに、被写体位置計測装置２０および被写体位置計測方法は、探索直線Ｌsが輪郭像３０を横切るように、探索直線Ｌsを鉛直方向に１画素分に相当する距離移動させることを繰り返し行うことにより、探索直線Ｌsが輪郭像３０を横切る領域の水平方向における中心位置の平均値を、接点位置情報の水平方向における情報として求める。このため、本実施形態は、探索直線Ｌsが輪郭像３０に接する点を求める場合に比べて、正確かつ安定した接点位置情報を求めることができる。
【００４３】
また、被写体位置計測装置２０および被写体位置計測方法は、探索直線Ｌsが差分画像３２中の鉛直方向に所定の回数連続して輪郭像３０を横切るとき、探索直線Ｌsが横切る領域の横断幅に関する平均値と標準偏差を求める。このとき、被写体位置計測装置２０および被写体位置計測方法は、探索直線Ｌsが横切る領域のうち、横断幅が上記平均値と上記標準偏差から求められる許容範囲内に含まれる領域に関する、差分画像３２中の水平方向における中心位置の平均値を用いて接点位置情報の水平方向における情報を求める。このため、本実施形態では、実際の頭部Ｈの領域と異なる領域を含んだ不正確な平均値を求めることを防止することができる。
【００４４】
被写体位置計測装置２０および被写体位置計測方法は、探索直線Ｌsを差分画像３２中の鉛直方に１画素分に相当する距離移動させることを繰り返し行い、探索直線Ｌsが視聴者Ｖの頭部Ｈと同じ二値化データの値を持つ領域を横切り、かつ、探索直線Ｌsが連続して上記領域を横切る回数が所定の回数に達するとき、上記領域を視聴者Ｖの頭部Ｈの領域と判定する。このため、本実施形態は、視聴者Ｖの頭部Ｈの領域を誤抽出する可能性は低い。
本実施形態では、被写体および被写体の一部分として人物及び人物の頭部としたが、人物および人物の頭部に限定されず、他の被写体及び被写体の一部が球形状と見なせるものであればよい。
【００４５】
上記実施形態は、以下に示す内容を開示する。
（付記１）
撮影被写体の一部分を球状体と見なして前記一部分の位置を求める被写体位置計測装置であって、
撮影被写体を少なくとも２方向から撮影する複数のカメラと、
前記カメラで撮影された複数の画像から、前記撮影被写体の一部分を球状体と見なして撮影被写体の前記一部分の位置を求めるデータ処理部と、を有し、
前記データ処理部は、
前記複数の画像のそれぞれにおいて、前記画像中の撮影被写体の輪郭像を抽出する輪郭抽出部と、
前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する前記画像中の接点位置情報を求め、さらに、撮影被写体を撮影した撮影空間内において、前記カメラそれぞれから延びて前記撮影被写体の前記一部分と接する第１仮想直線を、前記接点位置情報を用いて前記輪郭像のそれぞれについて求める仮想直線抽出部と、
前記輪郭像のそれぞれについて求めた前記第１仮想直線を、前記第１の方向に対応する前記撮影空間内の方向に所定の距離平行移動した第２仮想直線同士の交点、あるいは、前記第２仮想直線同士が最接近する点の位置を、前記撮影空間における前記撮影被写体の前記一部分の中心位置として求める位置算出部と、を備えることを特徴とする被写体位置計測装置。
【００４６】
（付記２）
前記仮想直線抽出部は、前記第１の方向に延びる前記探索直線が前記輪郭像を横切るように、前記探索直線を前記第１の方向と直交する第２の方向に予め設定された距離移動させることを繰り返し行うことにより、前記探索直線が前記輪郭像を横切る領域の前記第１の方向における中心位置の平均値を求め、求めた前記平均値を前記接点位置情報の前記第１の方向における情報として定める付記１に記載の被写体位置計測装置。
【００４７】
（付記３）
前記仮想直線抽出部は、前記探索直線が前記輪郭像と同じ二値化データの値を持つ領域を横切り、かつ、前記探索直線が前記第２の方向に移動を繰り返す際に連続して前記領域を横切る繰り返し回数が所定の回数に達するとき、前記領域を前記撮影被写体の前記一部分の領域と判定する、付記２に記載の被写体位置計測装置。
【００４８】
（付記４）
前記仮想直線抽出部は、前記探索直線が前記輪郭像と同じ二値化データの値を持つ領域を横切るたびに、前記探索直線が前記領域を横切る横断幅を求め、前記探索直線が前記第２の方向に移動を繰り返す際に連続して前記領域を横切る繰り返し回数が所定の回数に達するとき、前記横断幅の平均値と標準偏差を求め、前記探索直線が横断した前記領域のうち、横断幅が前記平均値と前記標準偏差から求められる許容範囲内に含まれる領域に限定して、前記第１方向における中心位置の平均値を、前記接点位置情報の前記第１の方向における情報として求める付記１〜３のいずれか１項に記載の被写体位置計測装置。
【００４９】
（付記５）
前記輪郭抽出部は、前記撮影被写体の撮影された画像と、前記撮影被写体の撮影されていない背景画像との差分を二値化することにより前記輪郭像を抽出する、付記１〜４のいずれか１項に記載の被写体位置計測装置。
【００５０】
（付記６）
映像を表示するディスプレイシステムであって、
付記１〜６のいずれか１項に記載の被写体位置計測装置と、
前記撮影被写体の前記一部分の前記中心位置に応じて、前記撮影被写体から見える表示対象の仮想オブジェクトの映像信号を生成する映像生成部を含むデータ処理装置と、
生成された映像信号を用いて前記仮想オブジェクトの像を画面表示する画面表示装置と、を備えることを特徴とするディスプレイシステム。
【００５１】
（付記７）
撮影被写体の一部分を球状体と見なして前記一部分の位置を求める被写体位置計測装置が行う被写体位置計測方法であって、
撮影被写体を少なくとも２方向からカメラを用いて撮影することにより、少なくとも２方向から見た複数の画像を取得し、
前記複数の画像のそれぞれにおいて、前記画像中の撮影被写体の輪郭像を抽出し、
前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する前記画像中の接点位置情報を求め、さらに、撮影被写体を撮影した撮影空間内において、前記カメラそれぞれから延びて前記撮影被写体の前記一部分と接する第１仮想直線を、前記接点位置情報を用いて前記輪郭像のそれぞれについて求め、
前記輪郭像のそれぞれについて求めた前記第１仮想直線を、前記第１の方向に対応する前記撮影空間における方向に所定の距離平行移動した第２仮想直線同士の交点、あるいは、前記第２仮想直線同士が最接近する点の位置を、前記撮影空間における前記撮影被写体の前記一部分の中心位置として求める、ことを特徴とする被写体位置計測方法。
【００５２】
（付記８）
前記第１仮想直線を求めるとき、前記複数の画像のそれぞれから抽出した前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する接点位置情報を求めることにより、前記第１仮想直線を求める、付記７に記載の被写体位置計測方法。
【００５３】
（付記９）
前記第１仮想直線を前記輪郭像のそれぞれについて求めるとき、前記第１の方向に延びる前記探索直線が前記輪郭線を横切るように、前記探索直線を前記第１の方向と直交する第２の方向に予め設定された距離移動させることを繰り返し行うことにより、前記探索直線が前記輪郭像を横切る領域の前記第１の方向における中心位置の平均値を求め、求めた前記平均値を前記接点位置情報の前記第１の方向における情報として定める、付記８に記載の被写体位置計測方法。
【００５４】
（付記１０）
前記第１仮想直線を前記輪郭像のそれぞれについて求めるとき、前記探索直線が前記輪郭像と同じ二値化データの値を持つ領域を横切り、かつ、前記探索直線が前記第２の方向に移動を繰り返す際に連続して前記領域を横切る繰り返し回数が所定の回数に達するとき、前記領域を前記撮影被写体の前記一部分の領域と判定する、付記９に記載の被写体位置計測方法。
【００５５】
（付記１１）
前記第１仮想直線を前記輪郭像のそれぞれについて求めるとき、前記探索直線が前記輪郭像と同じ二値化データの値を持つ領域を横切るたびに、前記探索直線が前記領域を横切る横断幅を求め、前記探索直線が前記第２の方向に移動を繰り返す際に連続して前記領域を横切る繰り返し回数が所定の回数に達するとき、前記横断幅の平均値と標準偏差を求め、前記探索直線が横断した前記領域のうち、横断幅が前記平均値と前記標準偏差から求められる許容範囲内に含まれる領域に限定して、前記第１方向における中心位置の平均値を、前記接点位置情報の前記第１の方向における情報として求める、付記８〜１０のいずれか１項に記載の被写体位置計測方法。
【００５６】
（付記１２）
前記輪郭像を抽出するとき、前記撮影被写体の撮影された画像と、前記撮影被写体の撮影されていない背景画像との差分を二値化することにより前記輪郭像を抽出する、付記７〜１１のいずれか１項に記載の被写体位置計測方法。
【００５７】
以上、本発明の被写体位置計測装置、ディスプレイシステム、および被写体位置計測方法について詳細に説明したが、本発明は上記実施形態に限定されず、本発明の主旨を逸脱しない範囲において、種々の改良や変更をしてもよいのはもちろんである。
【符号の説明】
【００５８】
１０ ディスプレイシステム
１２ａ，１２ｂ カメラ
１４ データ処理装置
１５ａ ＣＰＵ
１５ｂ ＲＯＭ
１５ｃ ＲＡＭ
１５ｄ 記憶部
１５ｅ 入出力部
１６ 画面表示装置
２０ 被写体位置計測装置
２４ 輪郭抽出部
２６ 仮想直線抽出部
２８ 位置算出部
３０ 輪郭像
３２ 差分画像
【特許請求の範囲】
【請求項１】
撮影被写体の一部分を球状体と見なして前記一部分の位置を求める被写体位置計測装置であって、
撮影被写体を少なくとも２方向から撮影する複数のカメラと、
前記カメラで撮影された複数の画像から、前記撮影被写体の一部分を球状体と見なして撮影被写体の前記一部分の位置を求めるデータ処理部と、を有し、
前記データ処理部は、
前記複数の画像のそれぞれにおいて、前記画像中の撮影被写体の輪郭像を抽出する輪郭抽出部と、
前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する前記画像中の接点位置情報を求め、さらに、撮影被写体を撮影した撮影空間内において、前記カメラそれぞれから延びて前記撮影被写体の前記一部分と接する第１仮想直線を、前記接点位置情報を用いて前記輪郭像のそれぞれについて求める仮想直線抽出部と、
前記輪郭像のそれぞれについて求めた前記第１仮想直線を、前記第１の方向に対応する前記撮影空間内の方向に所定の距離平行移動した第２仮想直線同士の交点、あるいは、前記第２仮想直線同士が最接近する点の位置を、前記撮影空間における前記撮影被写体の前記一部分の中心位置として求める位置算出部と、を備えることを特徴とする被写体位置計測装置。
【請求項２】
前記仮想直線抽出部は、前記第１の方向に延びる前記探索直線が前記輪郭像を横切るように、前記探索直線を前記第１の方向と直交する第２の方向に予め設定された距離移動させることを繰り返し行うことにより、前記探索直線が前記輪郭像を横切る領域の前記第１の方向における中心位置の平均値を求め、求めた前記平均値を前記接点位置情報の前記第１の方向における情報として定める請求項１に記載の被写体位置計測装置。
【請求項３】
前記仮想直線抽出部は、前記探索直線が前記輪郭像と同じ二値化データの値を持つ領域を横切り、かつ、前記探索直線が前記第２の方向に移動を繰り返す際に連続して前記領域を横切る繰り返し回数が所定の回数に達するとき、前記領域を前記撮影被写体の前記一部分の領域と判定する、請求項２に記載の被写体位置計測装置。
【請求項４】
前記仮想直線抽出部は、前記探索直線が前記輪郭像と同じ二値化データの値を持つ領域を横切るたびに、前記探索直線が前記領域を横切る横断幅を求め、前記探索直線が前記第２の方向に移動を繰り返す際に連続して前記領域を横切る繰り返し回数が所定の回数に達するとき、前記横断幅の平均値と標準偏差を求め、前記探索直線が横断した前記領域のうち、横断幅が前記平均値と前記標準偏差から求められる許容範囲内に含まれる領域に限定して、前記第１方向における中心位置の平均値を、前記接点位置情報の前記第１の方向における情報として求める請求項１〜３のいずれか１項に記載の被写体位置計測装置。
【請求項５】
映像を表示するディスプレイシステムであって、
請求項１〜４のいずれか１項に記載の被写体位置計測装置と、
前記撮影被写体の前記一部分の前記中心位置に応じて、前記撮影被写体から見える表示対象の仮想オブジェクトの映像信号を生成する映像生成部を含むデータ処理装置と、
生成された映像信号を用いて前記仮想オブジェクトの像を画面表示する画面表示装置と、を備えることを特徴とするディスプレイシステム。
【請求項６】
撮影被写体の一部分を球状体と見なして前記一部分の位置を求める被写体位置計測装置が行う被写体位置計測方法であって、
撮影被写体を少なくとも２方向からカメラを用いて撮影することにより、少なくとも２方向から見た複数の画像を取得し、
前記複数の画像のそれぞれにおいて、前記画像中の撮影被写体の輪郭像を抽出し、
前記複数の画像のそれぞれから抽出した前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する前記画像中の接点位置情報を求め、さらに、撮影被写体を撮影した撮影空間内において、前記カメラそれぞれから延びて前記撮影被写体の前記一部分と接する第１仮想直線を、前記接点位置情報を用いて前記輪郭像のそれぞれについて求め、
前記輪郭像のそれぞれについて求めた前記第１仮想直線を、前記第１の方向に対応する前記撮影空間における方向に所定の距離平行移動した第２仮想直線同士の交点、あるいは、前記第２仮想直線同士が最接近する点の位置を、前記撮影空間における前記撮影被写体の前記一部分の中心位置として求める、ことを特徴とする被写体位置計測方法。
【請求項１】
撮影被写体の一部分を球状体と見なして前記一部分の位置を求める被写体位置計測装置であって、
撮影被写体を少なくとも２方向から撮影する複数のカメラと、
前記カメラで撮影された複数の画像から、前記撮影被写体の一部分を球状体と見なして撮影被写体の前記一部分の位置を求めるデータ処理部と、を有し、
前記データ処理部は、
前記複数の画像のそれぞれにおいて、前記画像中の撮影被写体の輪郭像を抽出する輪郭抽出部と、
前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する前記画像中の接点位置情報を求め、さらに、撮影被写体を撮影した撮影空間内において、前記カメラそれぞれから延びて前記撮影被写体の前記一部分と接する第１仮想直線を、前記接点位置情報を用いて前記輪郭像のそれぞれについて求める仮想直線抽出部と、
前記輪郭像のそれぞれについて求めた前記第１仮想直線を、前記第１の方向に対応する前記撮影空間内の方向に所定の距離平行移動した第２仮想直線同士の交点、あるいは、前記第２仮想直線同士が最接近する点の位置を、前記撮影空間における前記撮影被写体の前記一部分の中心位置として求める位置算出部と、を備えることを特徴とする被写体位置計測装置。
【請求項２】
前記仮想直線抽出部は、前記第１の方向に延びる前記探索直線が前記輪郭像を横切るように、前記探索直線を前記第１の方向と直交する第２の方向に予め設定された距離移動させることを繰り返し行うことにより、前記探索直線が前記輪郭像を横切る領域の前記第１の方向における中心位置の平均値を求め、求めた前記平均値を前記接点位置情報の前記第１の方向における情報として定める請求項１に記載の被写体位置計測装置。
【請求項３】
前記仮想直線抽出部は、前記探索直線が前記輪郭像と同じ二値化データの値を持つ領域を横切り、かつ、前記探索直線が前記第２の方向に移動を繰り返す際に連続して前記領域を横切る繰り返し回数が所定の回数に達するとき、前記領域を前記撮影被写体の前記一部分の領域と判定する、請求項２に記載の被写体位置計測装置。
【請求項４】
前記仮想直線抽出部は、前記探索直線が前記輪郭像と同じ二値化データの値を持つ領域を横切るたびに、前記探索直線が前記領域を横切る横断幅を求め、前記探索直線が前記第２の方向に移動を繰り返す際に連続して前記領域を横切る繰り返し回数が所定の回数に達するとき、前記横断幅の平均値と標準偏差を求め、前記探索直線が横断した前記領域のうち、横断幅が前記平均値と前記標準偏差から求められる許容範囲内に含まれる領域に限定して、前記第１方向における中心位置の平均値を、前記接点位置情報の前記第１の方向における情報として求める請求項１〜３のいずれか１項に記載の被写体位置計測装置。
【請求項５】
映像を表示するディスプレイシステムであって、
請求項１〜４のいずれか１項に記載の被写体位置計測装置と、
前記撮影被写体の前記一部分の前記中心位置に応じて、前記撮影被写体から見える表示対象の仮想オブジェクトの映像信号を生成する映像生成部を含むデータ処理装置と、
生成された映像信号を用いて前記仮想オブジェクトの像を画面表示する画面表示装置と、を備えることを特徴とするディスプレイシステム。
【請求項６】
撮影被写体の一部分を球状体と見なして前記一部分の位置を求める被写体位置計測装置が行う被写体位置計測方法であって、
撮影被写体を少なくとも２方向からカメラを用いて撮影することにより、少なくとも２方向から見た複数の画像を取得し、
前記複数の画像のそれぞれにおいて、前記画像中の撮影被写体の輪郭像を抽出し、
前記複数の画像のそれぞれから抽出した前記輪郭像と前記画像中の第１の方向に延びて前記輪郭像を探索する探索直線とが接する前記画像中の接点位置情報を求め、さらに、撮影被写体を撮影した撮影空間内において、前記カメラそれぞれから延びて前記撮影被写体の前記一部分と接する第１仮想直線を、前記接点位置情報を用いて前記輪郭像のそれぞれについて求め、
前記輪郭像のそれぞれについて求めた前記第１仮想直線を、前記第１の方向に対応する前記撮影空間における方向に所定の距離平行移動した第２仮想直線同士の交点、あるいは、前記第２仮想直線同士が最接近する点の位置を、前記撮影空間における前記撮影被写体の前記一部分の中心位置として求める、ことを特徴とする被写体位置計測方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−１２８５５７（Ｐ２０１２−１２８５５７Ａ）
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願番号】特願２０１０−２７８００３（Ｐ２０１０−２７８００３）
【出願日】平成２２年１２月１４日（２０１０．１２．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
【公開日】平成２４年７月５日（２０１２．７．５）
【国際特許分類】
【出願日】平成２２年１２月１４日（２０１０．１２．１４）
【出願人】（０００００５２２３）富士通株式会社 (25,993)
【Ｆターム（参考）】
[ Back to top ]