姿勢検出システム及び発光装置
【課題】簡略な構成により、対象物を特定することができるとともに、対象物の姿勢を検出することができる姿勢検出システムを提供する。
【解決手段】複数の赤外線タグ６−１〜６−４を備えるヘッドセット４は、ユーザの頭部に装着され、赤外線タグ６−１〜６−４は、赤外線タグ６−１〜６−４に対して一意的に割り付けられたＩＤ番号に応じて点滅するとともに、赤外線タグ６−１〜６−４の３次元位置関係を表す３次元位置情報に応じて点滅し、検出装置１は、ユーザを含む近赤外線画像を撮影し、撮影された近赤外線画像を用いて赤外線タグ６−１〜６−４を検出し、検出した赤外線タグ６−１〜６−４の点滅状態からＩＤ番号及び３次元位置情報を検出し、検出された各赤外線タグ６−１〜６−４のＩＤ番号及び３次元位置情報に基づいてユーザの頭部の姿勢を検出する。
【解決手段】複数の赤外線タグ６−１〜６−４を備えるヘッドセット４は、ユーザの頭部に装着され、赤外線タグ６−１〜６−４は、赤外線タグ６−１〜６−４に対して一意的に割り付けられたＩＤ番号に応じて点滅するとともに、赤外線タグ６−１〜６−４の３次元位置関係を表す３次元位置情報に応じて点滅し、検出装置１は、ユーザを含む近赤外線画像を撮影し、撮影された近赤外線画像を用いて赤外線タグ６−１〜６−４を検出し、検出した赤外線タグ６−１〜６−４の点滅状態からＩＤ番号及び３次元位置情報を検出し、検出された各赤外線タグ６−１〜６−４のＩＤ番号及び３次元位置情報に基づいてユーザの頭部の姿勢を検出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検出装置により対象物の所定位置に装着された発光装置を検出して対象物の姿勢を検出する姿勢検出システム及び該姿勢検出システムに用いられる発光装置に関するものである。
【背景技術】
【０００２】
近年、部屋の中での人の動きを認識するために、無線やウェアラブルな航行システムを使って個人の位置を知る技術が開発されている。また、赤外線を高速点滅させるＩＤタグを用いて、人が見ている対象物のＩＤ（識別情報）を自動認識させる技術が開発されている（例えば、非特許文献１，２参照）。
【０００３】
しかしながら、上記の赤外線を高速点滅させるＩＤタグを用いる方法では、通常のカメラを利用しているため、処理速度を充分に確保することができず、例えば、人の動き程度の低速なものでも捕らえることができなかった。また、特殊な高速カメラを用いて処理速度を向上するものもあるが、当該カメラが高価且つ大型なものとなり、人が身につけて使用する用途には適用できなかった。
【０００４】
このため、本願発明者らは、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを開発している（特許文献１参照）。この対象物識別システムでは、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影し、この赤外線画像の中から所定サイズの光点をＩＤタグとして検出することにより対象物の識別情報を取得している。
【非特許文献１】青木恒、カメラで読み取る赤外線タグとその応用、インタラクティブシステムとソフトウェアＶIII（WISS 2000）、日本ソフトウェア科学会、近代科学社、２０００年、ｐｐ．１３１−１３６
【非特許文献２】松下伸行、他４名、ＩＤ Ｃａｍ：シーンとＩＤを同時に取得可能なイメージセンサ、インタラクション２００２、情報処理学会、２００２年、ｐｐ．９−１６
【特許文献１】特開２００４−２０８２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の対象物識別システムでは、ユーザには１つのＩＤタグのみが装着されるため、ユーザの全体的な動き（動線）を検出することはできても、ユーザの頭部の姿勢を検出することはできない。
【０００６】
本発明の目的は、簡略な構成により、対象物を特定することができるとともに、対象物の姿勢を検出することができる姿勢検出システム及び発光装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る姿勢検出システムは、対象物の所定位置に装着される発光装置と、前記発光装置を検出する検出装置とを備え、前記発光装置は、対象物に対して所定位置に固定され、赤外線を発光する複数の発光手段と、各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段を点滅させるとともに、前記複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段を点滅させる発光制御手段とを備え、前記検出装置は、所定方向に設定された光軸を有し、前記対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、前記撮影手段により撮影された赤外線画像を用いて前記複数の発光手段を検出する発光検出手段と、前記検出手段により検出された前記複数の発光手段の点滅状態を検出して各発光手段の識別情報及び３次元位置情報を検出する情報検出手段と、前記情報検出手段によって検出された識別情報及び３次元位置情報に基づいて前記対象物の姿勢を検出する姿勢検出手段とを備えるものである。
【０００８】
本発明に係る姿勢検出システムにおいては、赤外線を発光する複数の発光手段が対象物に対して所定位置に固定され、各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段が点滅するとともに、複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段が点滅し、このとき、対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて複数の発光手段が検出され、検出された複数の発光手段の点滅状態を検出して各発光手段の識別情報及び３次元位置情報が検出され、検出された識別情報及び３次元位置情報に基づいて対象物の姿勢が検出されるので、簡略な構成により、対象物を特定することができるとともに、対象物の姿勢を検出することができる。
【０００９】
前記発光制御手段は、各発光手段を、前記識別情報に応じて点滅させるとともに、他の発光手段に対する自身の３次元位置関係を表す３次元位置情報に応じて点滅させることが好ましい。
【００１０】
この場合、各発光手段が自身の識別情報に応じて点滅するとともに、他の発光手段に対する自身の３次元位置関係を表す３次元位置情報に応じて点滅するので、撮影された赤外線画像を用いて検出された各発光手段の点滅状態を検出することにより、各発光手段から識別情報及び３次元位置情報を取得することができ、対象物の姿勢を確実に検出することができる。
【００１１】
前記複数の発光手段は、剛体部材に固定され、前記剛体部材は、弾性部材に固定され、前記発光装置は、前記弾性部材を介して前記対象物に装着されることが好ましい。
【００１２】
この場合、複数の発光手段が剛体部材に固定され、この剛体部材が弾性部材に固定され、発光装置が弾性部材を介して対象物に装着されるので、対象物に対する発光手段の３次元位置を固定しながら、発光装置を対象物に容易に装着することができる。
【００１３】
前記発光装置は、ユーザの頭部に装着され、前記姿勢検出手段は、前記情報検出手段によって検出された識別情報及び３次元位置情報に基づいて前記ユーザの頭部の姿勢を検出することが好ましい。
【００１４】
この場合、発光装置がユーザの頭部に装着され、検出された識別情報及び３次元位置情報に基づいてユーザの頭部の姿勢が検出されるので、簡略な構成により、ユーザの頭部の姿勢を高精度に検出することができる。
【００１５】
前記複数の発光手段は、３つ以上の発光手段を含み、前記姿勢検出手段は、前記情報検出手段によって検出された３つ以上の発光手段の識別情報及び３次元位置情報に基づいて前記ユーザの頭部の姿勢を検出することが好ましい。
【００１６】
この場合、３つ以上の発光手段の識別情報及び３次元位置情報に基づいてユーザの頭部の姿勢が検出されるので、ユーザの頭部の姿勢をより高精度に検出することができる。
【００１７】
前記複数の発光手段は、ユーザの頭部の前方に赤外線を発光する第１の発光手段と、ユーザの頭部の右側方に赤外線を発光する第２の発光手段と、ユーザの頭部の左側方に赤外線を発光する第３の発光手段と、ユーザの頭部の後方に赤外線を発光する第４の発光手段とを含むことが好ましい。
【００１８】
この場合、ユーザの頭部の全周に亘って発光手段が装着され、ユーザがどの方向を向いている場合でも、少なくとも２つの発光手段から識別情報及び３次元位置情報を検出することができるので、ユーザの方向に拘らず、ユーザの頭部の姿勢を確実に検出することができる。
【００１９】
本発明に係る発光装置は、対象物の所定位置に装着される発光装置であって、対象物に対して所定位置に固定され、赤外線を発光する複数の発光手段と、各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段を点滅させるとともに、前記複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段を点滅させる発光制御手段とを備えるものである。
【００２０】
本発明に係る発光装置においては、赤外線を発光する複数の発光手段が対象物に対して所定位置に固定され、各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段が点滅するとともに、複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段が点滅するので、発光手段の点滅状態を検出することにより、発光手段の識別情報及び３次元位置情報を検出することができる。この結果、検出された識別情報及び３次元位置情報に基づいて対象物の姿勢を検出することができるので、簡略な構成により、対象物を特定することができるとともに、対象物の姿勢を検出することができる。
【発明の効果】
【００２１】
本発明によれば、赤外線を発光する複数の発光手段が対象物に対して所定位置に固定され、各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段が点滅するとともに、複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段が点滅し、このとき、対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて複数の発光手段が検出され、検出された複数の発光手段の点滅状態を検出して各発光手段の識別情報及び３次元位置情報が検出され、検出された識別情報及び３次元位置情報に基づいて対象物の姿勢が検出されるので、簡略な構成により、対象物を特定することができるとともに、対象物の姿勢を検出することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明による姿勢検出システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による姿勢検出システムの構成を示すブロック図である。なお、以下の説明では、対象物の姿勢の検出例としてユーザの頭部の姿勢を検出する場合について説明するが、本発明が適用可能な対象物は、ユーザの頭部に特に限定されず、姿勢が変化する事物であれば、種々のものを適用することができる。
【００２３】
図１に示す姿勢検出システムは、検出装置１及びヘッドセット４を備える。ヘッドセット４は、ユーザに装着され、複数の赤外線タグ６−１〜６−４のそれぞれに対して一意的に割り付けられたＩＤ番号（識別情報）を赤外線の点滅により送信するとともに、各赤外線タグ６−１〜６−４の３次元位置関係を表す３次元位置情報を赤外線の点滅により送信する。
【００２４】
検出装置１は、ユーザが位置する空間内、例えば、天井の所定箇所に配置され、撮影範囲内に位置するユーザに装着されたヘッドセット４が備える赤外線タグ６−１〜６−４から送信される赤外線タグのＩＤ番号及び３次元位置情報を検出するとともに、ヘッドセット４を装着したユーザを含む可視光画像を撮影する。また、検出装置１は、検出した識別情報及び３次元位置情報に基づいてユーザの姿勢を検出し、検出したユーザの姿勢に関する情報及び撮影した可視光画像をサーバ１１へ出力する。サーバ１１は、入力される情報に対して時間情報の付加等の所定の処理を行う。
【００２５】
上記のようにして収集された情報は、サーバ１１において種々の用途に使用され、例えば、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成するために使用される。
【００２６】
図２は、図１に示すヘッドセット４をユーザが装着したときの外観を示す模式的斜視図であり、図３は、図２に示すヘッドセット４の構成を説明するための模式的上面図及び右側面図である。図２及び図３に示すように、ヘッドセット４は、ユーザの頭部に装着される眼鏡型ヘッドセットとして構成され、４個の赤外線タグ６−１〜６−４及びマイク部５が配設される本体部４１と、その両端部が耳掛け部となり、その中央部に鼻当て部材７が配設される固定部４２とを備える。本体部４１は、赤外線タグ６−１〜６−４の相対位置関係が変化しないように剛体部材から構成され、固定部４２は、ユーザが装着しやすいように弾性部材から構成され、本体部４１は固定部４２に固定されている。ヘッドセット４は、固定部４２がユーザの頭部を額付近で前方から挟み込むことにより、ユーザの頭部に装着され略固定される。
【００２７】
ヘッドセット４の本体部４１の前面部分には、ユーザの正面方向（０度）に光軸を有する第１の赤外線タグ６−１が配置され、ヘッドセット４の本体部４１の右前方部分には、ユーザの右斜め前方（右６０度）に光軸を有する第２の赤外線タグ６−２が配置され、ヘッドセット４の本体部４１の左前方部分には、ユーザの左斜め前方（左６０度）に光軸を有する第３の赤外線タグ６−３が配置される。第１乃至第２の赤外線タグ６−１〜６−３には、２個のＬＥＤが同一方向に併設されている。これは、第１乃至第２の赤外線タグ６−１〜６−３から充分な光量を得るために設けられたものであり、これら２つのＬＥＤは同期して点滅される。
【００２８】
また、ヘッドセット４の本体部４１は、その右側面部分から後方に向けて棒状の支持部４３を有し、支持部４３の先端にユーザの後方（１８０度）に光軸を有する第４の赤外線タグ６−４が配置され、第４の赤外線タグ６−４は、光軸間の角度が９０度になるように２つのＬＥＤ（Light Emitting Diode）が併設され、ユーザの後方約１８０度の範囲で検出可能なように構成され、２つのＬＥＤは同期して点滅される。
【００２９】
なお、ヘッドセット４に配置される赤外線タグの数及び位置は、上記の例に特に限定されず、種々の変更が可能であり、また、一の赤外線タグに使用されるＬＥＤの数及び位置も、上記の例に特に限定されず、種々の変更が可能である。
【００３０】
ヘッドセット４の本体部４１の前面中央下部にはマイク部５が配置されており、ヘッドセット４をユーザが装着することによりマイク部５がユーザの眉間付近に配置される。このように、マイク部５がユーザの眉間部分に位置するようにヘッドセット４に対して固定して配置されることにより、一定の音質の音声を確実に録音することができる。そのため、ユーザの口元付近に配置される従来の可動式のマイク部に比べて、音質を向上させることができる。
【００３１】
ヘッドセット４の固定部４２の前面中央下部には鼻当て部材７が配置される。鼻当て部材７は、一般のメガネと同様に、ユーザの鼻に架けられることによりヘッドセット４をユーザの頭部に略固定するものである。
【００３２】
再び、図１を参照して、上記のように、ヘッドセット４は、複数の赤外線タグ６−１〜６−４及びマイク部５を備える。なお、以下の説明では、説明を容易にするために、第１乃至第４の赤外線タグ６−１〜６−４の２つのＬＥＤを１つのＬＥＤ６１として説明する。
【００３３】
赤外線タグ６−１〜６−４は、ＬＥＤ６１及び駆動回路６２をそれぞれ備える。ＬＥＤ６１は、赤外線ＬＥＤ等から構成され、例えば、光通信用高出力発光ダイオード（スタンレイ社製ＤＮ３１１）等を用いることができ、指向性が弱く且つ可視光に近い８００ｎｍ程度の赤外ＬＥＤを好適に用いることができる。
【００３４】
駆動回路６２は、マイクロコンピュータ等から構成され、例えば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２３２３等を用いることができ、赤外線タグ６−１〜６−４に対して一意的に割り付けられたＩＤ番号が識別可能なようにＬＥＤ６１を点滅制御する。また、駆動回路６２は、各赤外線タグ６−１〜６−４のヘッドセット４上の３次元位置関係を表す３次元位置情報に応じて各ＬＥＤ６１を点滅させる。なお、本実施の形態では、駆動回路を赤外線タグすなわちＬＥＤ毎に設けたが、この例に特に限定されず、一の駆動回路によりすべて又は複数のＬＥＤの点滅状態を制御するようにしてもよい。
【００３５】
具体的には、駆動回路６２は、マンチェスタ符号化方式を用い、データ間隔８ｍｓ／１ｂｉｔで、スタートビット（２ｂｉｔ）、１番目（ＩＤ１番目）／続き（ＩＤ連続）符号（１ｂｉｔ）、ＩＤ番号（１０ｂｉｔ）、３次元位置情報及びパリティビット（１ｂｉｔ）のデータフォーマットに従い、ＬＥＤ６１を点滅させ、ＩＤ番号及び３次元位置情報を繰り返し送信する。
【００３６】
例えば、３次元位置情報としては、ヘッドセット４上に規定された局所座標系において、赤外線タグ６−１が（ｘ１，ｙ１，ｚ１）にあり、赤外線タグ６−２が（ｘ２，ｙ２，ｚ２）にあり、赤外線タグ６−３が（ｘ３，ｙ３，ｚ３）にあり、赤外線タグ６−４が（ｘ４，ｙ４，ｚ４）にある場合、赤外線タグ６−１のＬＥＤ６１は（ｘ１，ｙ１，ｚ１）を表す３次元位置情報を送信し、赤外線タグ６−２のＬＥＤ６１は（ｘ２，ｙ２，ｚ２）を表す３次元位置情報を送信し、赤外線タグ６−３のＬＥＤ６１は（ｘ３，ｙ３，ｚ３）を表す３次元位置情報を送信し、赤外線タグ６−４のＬＥＤ６１は（ｘ４，ｙ４，ｚ４）を表す３次元位置情報を送信する。この場合、検出された各赤外線タグから当該赤外線タグのＩＤ番号及び３次元位置情報を取得することができ、ユーザの頭部の姿勢を確実に検出することができる。
【００３７】
なお、３次元位置情報は、上記の例に特に限定されず、種々の変更が可能である。例えば、赤外線タグ６−１の位置をヘッドセット４上に規定された局所座標系の原点に設定し、赤外線タグ６−１が、自身の識別情報及び原点に位置していることを示す３次元位置情報を送信し、他の赤外線タグ６−２〜６−４が、自身の識別情報及び原点からの相対位置を表す３次元位置情報を送信するようにしてもよい。この場合、赤外線タグ６−１から送信される３次元位置情報の情報量を削減することができる。
【００３８】
また、一の赤外線タグ、例えば、赤外線タグ６−１が、すべての赤外線タグ６−１〜６−４の３次元位置及び各３次元位置を有する赤外線タグのＩＤ番号を表す３次元位置情報を送信し、他の赤外線タグ６−２〜６−４は自身の識別情報のみを送信して３次元位置情報の送信を省略してもよい。この場合、赤外線タグ６−２〜６−４から送信される情報の情報量を削減することができる。
【００３９】
また、すべての赤外線タグ６−１〜６−４が、自身のＩＤ番号と、すべての赤外線タグ６−１〜６−４の３次元位置及び各３次元位置を有する赤外線タグのＩＤ番号を表す３次元位置情報とを送信するようにしてもよい。この場合、検出された赤外線タグからすべての赤外線タグの識別情報及び３次元位置情報を取得することができ、ユーザの頭部の姿勢をより確実に検出することができる。
【００４０】
マイク部５は、音声処理回路５１及びマイクロホン５２を備える。マイクロホン５２は、ユーザの発話又は周囲音を集音して音声処理回路５１へ出力し、音声処理回路５１は録音された音声信号を携帯型コンピュータ１０へ出力する。なお、音声を録音しない場合は、マイク部５を省略してもよく、また、ユーザに音声等を伝達するためにスピーカ等をヘッドセットに一体に構成してもよい。
【００４１】
検出装置１は、赤外線検出部２及び画像撮影部３を備える。画像撮影部３は、レンズ３１、光学素子３２及びＣＣＤカメラ３３を備える。レンズ３１は、ヘッドセット４を装着したユーザを含む所定撮影範囲の可視光及び近赤外光を光学素子３２へ導く。光学素子３２は、近赤外光を反射して赤外線検出部２へ導き、可視光を通過させて可視光画像をＣＣＤカメラ３３上に結像させる。ＣＣＤカメラ３３は、可視光画像を撮影して映像信号をサーバ１１へ出力する。
【００４２】
このように、画像撮影部３及び赤外線検出部２は、光学素子３２により分離された可視光及び近赤外光を用い、同一光軸上の可視光画像及び近赤外線画像を撮影することができるので、ユーザ（赤外線タグ６−１〜６−４）を撮影した可視光画像及び近赤外線画像上の位置が完全に一致し、ユーザを識別するだけでなく、ユーザの頭部の姿勢を高精度に検出することができる。
【００４３】
赤外線検出部２は、反射素子２１、ＣＭＯＳイメージセンサ２２、画像処理装置２３及び姿勢検出部２４を備える。反射素子２１は、光学素子３２からの近赤外光を反射してＣＭＯＳイメージセンサ２２上に結像させる。ＣＭＯＳイメージセンサ２２は、結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置２３へ出力する。ＣＭＯＳイメージセンサ２２としては、例えば、ナショナルセミコンダクター社製高感度モノクロＣＭＯＳイメージセンサＬＭ９６３０等を用いることができ、この場合、解像度は１２８×９８ｐｉｘｅｌ、フレームレートは５００ｆｐｓである。
【００４４】
画像処理装置２３は、ＣＭＯＳイメージセンサ２２の制御及びデータ処理を行い、ＣＭＯＳイメージセンサ２２により撮影された近赤外線画像から赤外線タグ６−１〜６−４を検出し、検出した赤外線タグ６−１〜６−４の点滅状態からＩＤ番号及び３次元位置情報を検出し、ＩＤ番号及び３次元位置情報等のデータを姿勢検出部２４へ出力する。このように、赤外線検出部２では、主に近赤外線のみから作成された近赤外線画像を用いて赤外線タグ６−１〜６−４のＩＤ番号及び３次元位置情報を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理を高速化することができる。
【００４５】
姿勢検出部２４は、画像処理装置２３によって検出された赤外線タグのＩＤ番号及び３次元位置情報に基づいてユーザの頭部の姿勢を検出する。すなわち、姿勢検出部２４は、赤外線画像上の各赤外線タグの２次元位置と各赤外線タグの３次元位置情報とを基に公知の姿勢算出方法を用いてユーザの頭部の姿勢すなわち３次元空間上の位置及び角度を検出する。姿勢検出部２４は、検出したユーザの姿勢を表す姿勢情報をＲＳ２３２Ｃ等のデータ伝送規格に従ってサーバ１１へ出力する。
【００４６】
サーバ１１は、検出装置１から出力されるユーザの姿勢情報等を受け、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成する処理を実行する。
【００４７】
次に、図１に示す画像処理装置２３について詳細に説明する。図４は、図１に示す画像処理装置２３の構成を示すブロック図である。図４に示すように、画像処理装置２３は、２値化回路８１、ＳＲＡＭ（Static Random Access Memory）８２、明度変化検出回路８３及びデコード回路８４を備える。例えば、２値化回路８１及び明度変化検出回路８３は、ＣＰＬＤ（Complex Programmable Logic Device）等から構成され、デコード回路８４は、ＣＰＵ等から構成され、ＣＰＵで所定のデコードプログラムを実行することによりデコード処理を行う。なお、画像処理装置２３の構成は、上記の例に特に限定されず、すべてを専用のハードウエア回路から構成する等の種々の変更が可能である。
【００４８】
２値化回路８１は、撮影された近赤外線画像を構成する各画素の明度データをＣＭＯＳイメージセンサ２２から受け、各画素の明度値を予め記憶している基準明度値と比較して２値化し、２値化画素データをＳＲＡＭ８２に順次記憶させる。例えば、ＣＭＯＳイメージセンサ２２から２５６階調で明度データが出力される場合、１２８階調以上の明度を「１」に変換し、１２８階調未満の明度を「０」に変換する。多値化処理は、上記の例に特に限定されず、１２８階調以上の明度を「２」、１２８階調未満６４階調以上を「１」、６４階調未満を「０」に変換し、「２」の場合を「明」、「０」の場合を「滅」として点滅状態を判断する等の種々の変更が可能である。
【００４９】
ＳＲＡＭ８２は、ＣＭＯＳイメージセンサ２２により撮影された近赤外線画像を複数枚、例えば、６７２枚記憶可能な記憶容量を有し、２値化回路８１から出力される２値化画素データを画像毎に記憶する。
【００５０】
明度変化検出回路８３は、連続して撮影された複数枚、例えば、５枚の２値化画像の各画素データをＳＲＡＭ８２から読み出し、各２値化画像上で同一位置にある画素データが点滅すなわち時間的に「１」又は「０」を交互に繰り返している全ての点滅画素を光点（赤外線タグ６−１〜６−４）として検出し、検出した複数の光点の２値化画像上の位置及び当該画像の撮影フレーム数を特定するための光点位置情報、例えば、当該点滅画素データのＳＲＡＭ８２の記憶アドレスをデコード回路８４へ出力する。
【００５１】
また、明度変化検出回路８３は、隣接する複数の画素が点滅している場合、これらの画素を一つの光点として検出する。この場合、同時に点滅している隣接する複数の画素を一つの光点として検出することができるので、ＣＭＯＳイメージセンサ２２の１画素の大きさに拘らず、種々の大きさのＬＥＤ６１を一つの光点として正確に検出することができる。
【００５２】
デコード回路８４は、点滅画素の光点位置情報を基に２値化画像内の点滅画素の２値化画素データをＳＲＡＭ８２から順次読み出してデコードし、複数の光点すなわち複数の赤外線タグ６−１〜６−４のＩＤ番号及び３次元位置情報をサーバ１１へ出力する。
【００５３】
また、デコード回路８４は、明度変化検出回路８３により検出された光点に対応する画素が点滅していない場合、当該画素の周辺に位置する画素の２値化画素データをＳＲＡＭ８２から読み出し、周辺の画素の時間的に前後する２値化画素データをも用いて光点の点滅状態を再度デコードして赤外線タグ６−１〜６−４のＩＤ番号及び３次元位置情報を検出する。この場合、光点として検出された画素だけでなく、当該画素の周辺に位置する画素の２値化値をも用いて光点の点滅状態をデコードすることができるので、ユーザが高速に移動する場合でも、ユーザの移動に伴って移動する複数の赤外線タグ６−１〜６−４を同時に且つ連続的に識別することができる。
【００５４】
本実施の形態では、ヘッドセット４が発光装置の一例に相当し、検出装置１が検出装置の一例に相当し、赤外線タグ６−１〜６−４（ＬＥＤ６１）が発光手段の一例に相当し、駆動回路６２が発光制御手段の一例に相当し、反射素子２１、ＣＭＯＳイメージセンサ２２が撮影手段の一例に相当し、２値化回路８１、ＳＲＡＭ８２及び明度変化検出回路８３が発光検出手段の一例に相当し、デコード回路８４が情報検出手段の一例に相当し、姿勢検出部２４が姿勢検出手段の一例に相当する。また、本体部４１が剛体部材の一例に相当し、固定部４２が弾性部材の一例に相当する。また、赤外線タグ６−１が第１の発光手段の一例に相当し、赤外線タグ６−２が第２の発光手段の一例に相当し、赤外線タグ６−３が第３の発光手段の一例に相当し、赤外線タグ６−４が第４の発光手段の一例に相当する。
【００５５】
次に、上記のように構成された検出装置１による赤外線タグ検出処理について説明する。図５は、図１に示す検出装置１による姿勢検出処理を説明するためのフローチャートである。
【００５６】
まず、画像処理装置２３は、ＣＭＯＳイメージセンサ２２等を初期化し（ステップＳ１１）、全画面（１２８×９８ｐｉｘｅｌ）の近赤外線画像を順次撮影して取得する（ステップＳ１２）。次に、２値化回路８１は、撮影された近赤外線画像を構成する各画素の明度データをＣＭＯＳイメージセンサ２２から受け、各画素の明度値を所定の基準明度値と比較して２値化（「０」又は「１」）し、２値化画素データを近赤外線画像毎にＳＲＡＭ８２に記憶させる（ステップＳ１３）。
【００５７】
次に、明度変化検出回路８３は、連続して撮影された複数枚の２値化画像の各画素の２値化画素データをＳＲＡＭ８２から読み出し、各２値化画像上で同一位置にある２値化画素データが「１」又は「０」を所定順序で交互に繰り返している全ての点滅画素を光点として検出し、検出した複数の光点の画像上の各位置及び当該画像の撮影フレーム数を特定するための光点位置情報をデコード回路８４へ出力する（ステップＳ１４）。
【００５８】
次に、デコード回路８４は、点滅画素の光点位置情報を基にＳＲＡＭ８２から複数の２値化画像の各光点の２値化画素データを順次読み出してデコードし（ステップＳ１５）、デコード結果に対してパリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ１６）。
【００５９】
ここで、パリティチェックが正しければ（ステップＳ１６でＹＥＳ）、デコード回路８４は、デコードした赤外線タグのＩＤ番号及び３次元位置情報と、当該赤外線タグの画像上の位置を表す２次元位置情報とを姿勢検出部２４へ出力する（ステップＳ１７）。
【００６０】
一方、パリティチェックが正しくなければ（ステップＳ１６でＮＯ）、デコード回路８４は、点滅画素の光点位置情報を基に当該画素の周辺に位置する画素、例えば、点滅画素の上下、左右及び斜めに位置する８画素の２値化画素データをＳＲＡＭ８２から読み出し、読み出した２値化画素データと点滅画素の２値化画素データとの論理和をデコードし（ステップＳ１８）、デコード結果に対して再度パリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ１９）。
【００６１】
ここで、パリティチェックが正しければ（ステップＳ１９でＹＥＳ）、デコード回路８４は、デコードした赤外線タグのＩＤ番号及び３次元位置情報と、当該赤外線タグの画像上の位置を表す２次元位置情報とを姿勢検出部２４へ出力する（ステップＳ１７）。また、パリティチェックが正しくない場合はステップＳ１２に戻って上記の処理を継続する。
【００６２】
次に、姿勢検出部２４は、デコード回路８４によって出力された赤外線タグのＩＤ番号、３次元位置情報及び２次元位置情報からユーザの頭部の姿勢を検出し（ステップＳ２０）、検出したユーザの姿勢情報をサーバ１１へ送信し、サーバ１１は、送信された姿勢情報を記憶する。その後、ステップＳ１２に戻って上記の処理が継続される。なお、頭部の姿勢は、少なくとも２つの赤外線タグが検出されれば、ユーザの頭部がどの方向へ向いているかを検出することができ、３つの赤外線タグが検出された場合、頭部の回転方向も含めて検出することができる。
【００６３】
上記のように、本実施の形態では、ユーザの頭部に装着されたヘッドセット４に固定された４つの赤外線タグ６−１〜６−４に対して一意的に割り付けられたＩＤ番号に応じて各赤外線タグ６−１〜６−４が点滅するとともに、各赤外線タグ６−１〜６−４の３次元位置情報に応じて各赤外線タグ６−１〜６−４が点滅し、赤外線タグ６−１〜６−４のうち少なくとも２つ以上の赤外線タグを含む赤外線画像が撮影され、撮影された赤外線画像を用いて少なくとも２つ以上の赤外線タグが検出され、検出された赤外線タグの点滅状態を検出して各赤外線タグのＩＤ番号及び３次元位置情報が検出され、検出された各赤外線タグのＩＤ番号及び３次元位置情報からユーザの頭部の姿勢を検出することができるので、複数の赤外線タグをユーザの頭部に装着するという簡略な構成により、ユーザの頭部の姿勢を高精度に検出することができる。
【００６４】
また、撮影された近赤外線画像を２値化した２値化画像が作成され、作成された２値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる多数の光点を同時に且つ高速に検出することができ、ヘッドセット４が装着された複数のユーザの頭部の姿勢を同時に且つ連続的に検出することができる。また、所定の基準明度値と比較して２多値化画像を作成しているので、２値化処理にフレームバッファ等の特別なメモリを必要がなく、２値化画像を高速に作成することができるとともに、そのデータ容量を削減することができるので、ＳＲＡＭ８２の記憶容量を低く抑えることができる。さらに、２値化回路８１及び明度変化検出回路８３をＣＰＬＤから構成しているので、複数の光点をより高速に検出することができる。
【００６５】
なお、本実施の形態では、赤外線タグ６−１〜６−４からＩＤ番号及び３次元位置情報を連続した発光パターンにより送信したが、この例に特に限定されず、まず赤外線タグ６−１〜６−４がＩＤ番号のみを送信し、複数の赤外線タグ６−１〜６−４のうち、検出装置１によりデータ送信が許可された赤外線タグのみがＩＤ番号及び３次元位置情報を送信するようにしてもよい。
【００６６】
図６は、赤外線タグ６−１〜６−３と検出装置１との間の通信処理を説明するための通信シーケンス図である。なお、図６では、説明を容易にするために、赤外線タグ６−１〜６−３と検出装置１との通信処理について説明するが、さらに多くの赤外線タグと通信する場合も本例に同様に行うことができる。
【００６７】
まず、携帯型コンピュータ１０は、赤外線タグ６−１，６−２，６−３に自身のＩＤ番号を送信させ、検出装置１は、発信中の赤外線タグ６−１，６−２，６−３のＩＤ番号を受信する（ステップＳ１０１〜Ｓ１０３）。
【００６８】
次に、検出装置１は、検知した複数の赤外線タグ６−１〜６−３のうちの一の赤外線タグ６−１にデータ送信を許可するスタート信号を当該赤外線タグ６−１のＩＤ番号とともにサーバ１１を介して携帯型コンピュータ１０へ送信する（ステップＳ１０４）。このとき、他の赤外線タグ６−２，６−３は、自身以外のＩＤ番号を持つ赤外線タグに対してスタート信号が発せられていることにより、データ送信が不許可であることを認識する（ステップＳ１０５，Ｓ１０６）。
【００６９】
なお、本例では、データ送信を許可するスタート信号をサーバ１１から携帯型コンピュータ１０へ無線通信により送信したが、この例に特に限定されず、ヘッドセット４が赤外線検出部を備え、検出装置１が赤外線タグを備える場合、赤外線通信によりスタート信号を送信してもよい。後述するストップ信号も同様である。また、データ送信の許可順序は、最も早くＩＤ番号を検出した赤外線タグから順番にデータ送信の許可を与えてもよいし、所定の順番を予め決めておき、この順番に基づいてデータ送信の許可を与えてもよい。
【００７０】
次に、スタート信号を受信した携帯型コンピュータ１０は、赤外線タグ６−１に自身の３次元位置情報をＩＤ番号とともに送信させる（ステップＳ１０７）。赤外線タグ６−１からの３次元位置情報の受信を完了した検出装置１は、赤外線タグ６−１に対するストップ信号を当該赤外線タグ６−１のＩＤ番号とともにサーバ１１を介して携帯型コンピュータ１０へ送信することにより、赤外線タグ６−１にデータ送信を停止させる（ステップＳ１０８）。そして、ＣＭＯＳイメージセンサ２２の撮影画像内の他の赤外線タグ６−２，６−３に対して順次上記の処理が繰り返し行われることにより、検出装置１は、全ての赤外線タグ６−１〜６−３からの３次元位置情報を取得する（ステップＳ１０９〜Ｓ１１４）。
【００７１】
上記の場合、複数の赤外線タグからデータ（３次元位置情報）が同時に送信されないため、複数の赤外線タグからの信号を同時に受信することが無くなり、複数の赤外線タグによる各赤外線信号の点滅パターンの誤認識を防止することができる。
【００７２】
次に、図１に示すＣＭＯＳイメージセンサ２２及び画像処理装置２３の他の例について詳細に説明する。図７は、図１に示すＣＭＯＳイメージセンサ及び画像処理装置の他の例の構成を示すブロック図である。
【００７３】
図７に示すように、ＣＭＯＳイメージセンサ２２ａは、反射素子２１（図１参照）により反射された近赤外線から構成される近赤外線画像を撮影して画像処理装置２３ａへ出力する。ＣＭＯＳイメージセンサ２２ａとしては、例えば、ＭＩＣＲＯＮ社製撮像エリアＣＭＯＳ型撮像素子ＭＴ９Ｍ４１３等を用いることができ、この場合、解像度は１２８０×１０２４ｐｉｘｅｌ、フレームレートは４００ｆｐｓである。
【００７４】
なお、上記のような高解像度のＣＭＯＳイメージセンサを用いる場合、近赤外光及び可視光に対して感度を有していれば、ＣＣＤカメラ３３を省略してＣＭＯＳイメージセンサ２２ａを可視光画像の撮影にも用いることができ、検出装置１の構成をより簡略化することができる。
【００７５】
画像処理装置２３ａは、ＣＭＯＳイメージセンサ２２ａの制御及びデータ処理を行い、ＣＭＯＳイメージセンサ２２ａにより撮影された近赤外線画像から赤外線タグ６−１〜６−４を検出し、検出した赤外線タグ６−１〜６−４の点滅状態からＩＤ番号及び３次元位置情報を検出し、ＩＤ番号及び３次元位置情報のデータを姿勢検出部２４へ出力する。
【００７６】
画像処理装置２３ａは、４値化回路９１、フレームバッファ９２、ＳＲＡＭ９３、明度変化検出回路９４及びデコード回路９５を備える。例えば、４値化回路９１及び明度変化検出回路９４は、ＦＰＧＡ（Field Programmable Gate Array）等から構成され、デコード回路９５は、ＣＰＵ等から構成され、ＣＰＵで所定のデコードプログラムを実行することにより下記のデコード処理を行う。なお、画像処理装置２３ａの構成は、上記の例に特に限定されず、すべてを専用のハードウエア回路から構成する等の種々の変更が可能である。
【００７７】
４値化回路９１は、複数フレーム、例えば、２０フレームを比較処理単位として近赤外線画像を処理し、１フレーム目の赤外線画像をフレームバッファ９２に記憶させ、２フレーム目の赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している１フレーム目の赤外線画像を構成する各画素の明度データとを比較し、比較結果として４値化した４値化画素データをＳＲＡＭ９３に記憶させるとともに、２フレーム目の赤外線画像をフレームバッファ９２に記憶させる。
【００７８】
以降、上記と同様に、４値化回路９１は、現フレームの赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している直前フレームの赤外線画像を構成する各画素の明度データとを比較し、比較結果から４値化した４値化画素データをＳＲＡＭ９３に記憶させるとともに、現フレーム（比較処理単位の最終フレームを除く）の赤外線画像をフレームバッファ９２に記憶させる処理を繰り返す。ＳＲＡＭ９３は、４値化回路９１から出力される４値化画像の４値化画素データを比較処理単位、例えば、２０フレーム単位で記憶する。
【００７９】
例えば、現フレームの判定対象画素の明度値をｐ、直前フレームの該当画素の明度値をＰ、予め定めた閾値をＴとすると、４値化回路９１は、ＳＲＡＭ９３に、Ｐ≦ｐ＜Ｐ＋Ｔのときは「０」を記憶させ、Ｐ＋Ｔ≦ｐのときは「１」を記憶させ、Ｐ−Ｔ＜ｐ＜Ｐのときは「２」を記憶させ、ｐ≦Ｐ−Ｔのときは「３」を記憶させ、画素毎に直前フレームと明度を比較して４段階に分類する。
【００８０】
明度変化検出回路９４は、比較処理単位の最終フレームがＳＲＡＭ９３に記憶されたときに、比較処理単位となる複数フレーム、例えば、２０フレームの４値化画素データをＳＲＡＭ９３から読み出し、読み出した４値化画像の４値化画素データを基に各画素の明滅状態を判定し、判定結果から光点（赤外線タグ６−１〜６−４）として判断した複数の光点の４値化画像上の位置及び当該画像の撮影フレーム数を特定するための光点位置特定情報、例えば、当該点滅画素データのＳＲＡＭ９３の記憶アドレスをデコード回路９５へ出力する。また、明度変化検出回路９４は、隣接する複数の画素が点滅していると判断した場合、これらの画素を一つの光点として検出する。
【００８１】
例えば、比較処理単位が２０フレーム単位のとき、明度変化検出回路９４は、各画素の明滅状態として、全１９フレーム中に「１」か「３」の４値化画素データが合計４回以上出る場合は当該画素を「０」と判定し、連続する１０フレーム以内に「１」の４値化画素データと「３」の４値化画素データとが両方出る場合は当該画素を「１」と判定し、全１９フレーム中に「１」か「３」の４値化画素データが合計２回以上３回以下出る場合は当該画素を「２」と判定し、全１９フレーム中に「１」か「３」の４値化画素データが合計１回以下しか出ない場合は当該画素を「３」と判定し、判定結果が「０」又は「１」の画素を光点として検出する。
【００８２】
デコード回路９５は、点滅画素の光点位置特定情報を基に４値化画像内の点滅画素の４値化画素データをＳＲＡＭ９３から順次読み出し、４値化画素データが「１」の場合を「１」（明状態）、４値化画素データが「３」の場合を「０」（滅状態）としてデコードし、複数の光点すなわち赤外線タグ６−１〜６−４のＩＤ番号及び３次元位置情報を姿勢検出部２４へ出力する。
【００８３】
また、比較処理単位の複数フレーム中に赤外線タグ６−１〜６−４が画素を跨いで移動した場合に対処するため、明度変化検出回路９４は、判定結果が「１」又は「２」の画素の位置特定情報をデコード回路９５へ出力するようにしてもよい。この場合、デコード回路９５は、当該画素の周辺に位置する画素の明度判定結果データをＳＲＡＭ９３から読み出し、周辺の画素の時間的に前後する４値化画素データをも用いて光点の点滅状態を再度デコードして赤外線タグ６−１〜６−４のＩＤ番号及び３次元位置情報を検出する。また、フレーム毎に近赤外線画像を濃淡でラベリングし、ラベリングされた各領域の重心座標、面積、円形度、フィレ径、平均明度等を記録し、その形状のＬＥＤらしさを判定して光点を検出するようにしてもよい。
【００８４】
本例では、ＣＭＯＳイメージセンサ２２ａが撮影手段の一例に相当し、４値化回路９１、フレームバッファ９２、ＳＲＡＭ９３及び明度変化検出回路９４が発光検出手段の一例に相当し、デコード回路９５が情報検出手段の一例に相当する。
【００８５】
次に、図７に示すＣＭＯＳイメージセンサ２２ａ及び画像処理装置２３ａを用いた姿勢検出処理について説明する。図８は、図７に示すＣＭＯＳイメージセンサ２２ａ及び画像処理装置２３ａを用いた姿勢検出処理を説明するためのフローチャートである。
【００８６】
まず、画像処理装置２３ａは、ＣＭＯＳイメージセンサ２２ａ等を初期化し（ステップＳ２１）、全画面（１２８０×１０２４ｐｉｘｅｌ）の近赤外線画像を順次撮影して取得する（ステップＳ２２）。次に、４値化回路９１は、直前フレームの近赤外線画像を構成する各画素の明度データをフレームバッファ９２に記憶させ、現フレームの近赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している直前フレームの近赤外線画像を構成する各画素の明度データとを比較し、比較結果を４値化して比較処理単位で４値化画素データをＳＲＡＭ９３に記憶させる（ステップＳ２３）。
【００８７】
次に、明度変化検出回路９４は、比較処理単位の最終フレームがＳＲＡＭ９３に記憶されたときに、比較処理単位となる１９フレームの４値化画素データをＳＲＡＭ９３から読み出し、読み出した４値化画素データを基に各画素の明滅状態を上記の「０」〜「３」に４値化して判定する（ステップＳ２４）。
【００８８】
ここで、明滅状態が「０」又は「１」の場合（ステップＳ２５でＹＥＳ）、明度変化検出回路９４は、当該画素を光点（赤外線タグ６−１〜６−４）として判定し、判定した複数の光点の画像上の各位置及び当該画像の撮影フレーム数を特定するための光点位置特定情報をデコード回路９５へ出力する。
【００８９】
次に、デコード回路９５は、点滅画素の光点位置特定情報を基にＳＲＡＭ９３から複数の４値化画像の各光点の４値化画素データを順次読み出し、４値化画素データが「１」の場合を「１」、４値化画素データが「３」の場合を「０」としてデコードし（ステップＳ２６）、デコード結果に対してパリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ２７）。
【００９０】
ここで、パリティチェックが正しければ（ステップＳ２７でＹＥＳ）、デコード回路９５は、デコードした赤外線タグのＩＤ番号及び３次元位置情報と、当該赤外線タグの画像上の位置を表す２次元位置情報とを姿勢検出部２４へ出力する（ステップＳ２８）。
【００９１】
一方、明滅状態が「０」又は「１」でない場合（ステップＳ２５でＮＯ）、又は、パリティチェックが正しくなければ（ステップＳ２６でＮＯ）、デコード回路９５は、点滅画素の位置特定情報を基に当該画素の周辺に位置する画素、例えば、点滅画素の上下、左右及び斜めに位置する８画素の明度変化判定結果データをＳＲＡＭ９３から読み出し、読み出した４値化画素データと点滅画素の４値化画素データとを用いてデコードし（ステップＳ２９）、デコード結果に対して再度パリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ３０）。
【００９２】
ここで、パリティチェックが正しければ（ステップＳ３０でＹＥＳ）、デコード回路９５は、デコードした赤外線タグのＩＤ番号及び３次元位置情報と、当該赤外線タグの画像上の位置を表す２次元位置情報とを姿勢検出部２４へ出力する（ステップＳ２８）。また、パリティチェックが正しくない場合はステップＳ２２に戻って上記の処理を継続する。
【００９３】
次に、姿勢検出部２４は、デコード回路９５によって出力された赤外線タグのＩＤ番号、３次元位置情報及び２次元位置情報からユーザの頭部の姿勢を検出し（ステップＳ３１）、その後、ステップＳ２２に戻って上記の処理を継続する。
【００９４】
上記のように、本例でも、一枚の画像に含まれる多数の光点を同時に且つ高速に検出することができ、ヘッドセット４が装着された複数のユーザの頭部の姿勢を同時に且つ連続的に検出することができる。また、直前に撮影された近赤外線画像の明度と比較して４値化画像を作成しているので、撮影環境が変化した場合でも、明度の変化を正確に反映した４値化画像を作成することができる。さらに、４値化回路９１及び明度変化検出回路９４をＦＰＧＡから構成しているので、複数の光点をより高速に検出することができる。
【００９５】
なお、本実施の形態では、赤外線タグ６−１〜６−４を検出してユーザの頭部の姿勢を検出しているが、検出対象はこの例に特に限定されず、ユーザが位置する空間内に配置された種々の対象物に赤外線タグを取り付け、検出装置１により対象物に取り付けられた赤外線タグをも検出するようにしてもよい。この場合、ユーザの頭部の姿勢が検出されるとともに、対象物の位置が検出されるので、ユーザの頭部の姿勢と対象物の位置とに基づいてユーザが興味を持った対象物を特定することができ、さらに詳細なインタラクションデータを蓄積することができる。
【００９６】
次に、上記のように構成された対象物識別システムの応用例について説明する。図９は、図１に示す姿勢検出システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【００９７】
図９に示すように、訪問者Ｐ２等がヘッドセット４（赤外線タグ６−１〜６−４）を頭部に装着するとともに、携帯型コンピュータ１０を背負っている。対象物に取り付けられる赤外線タグ６は、説明員Ｐ１の胸部に装着されるとともに、環境側の対象物として展示説明用のコンピュータＭ１及びロボットＭ２、展示用のぬいぐるみＭ３、展示説明用ボードＢ１等に取り付けられ、それぞれ個別のＩＤ番号を送信する。また、展示場の天井又は壁には、検出装置１が取り付けられている。
【００９８】
上記のように各装置が配置されることにより、例えば、検出装置１により訪問者Ｐ２が識別されるとともに、訪問者Ｐ２の頭部の姿勢が検出され、検出装置１により訪問者Ｐ２の周囲の対象物として説明員Ｐ１、ロボットＭ２等が識別される。このようにして、展示場における人と人とのインタラクション等に関するインタラクションデータを収集することができ、収集したデータから知識ベースとなるインタラクション・コーパスを作成することが可能となる。
【００９９】
上記の説明では、インタラクション・コーパスの収集を例に説明したが、本発明が適用可能な用途は、上記の例に特に限定されず、種々の用途に適用することができる。また、一つの対象物に一つの赤外線タグを取り付けたが、一つの対象物に同一のＩＤ番号を送信する複数の赤外線タグを設けるようにしてもよい。また、本実施の形態では、撮影した画像を２値化又は４値化したが、多値化の例はこれらの例に特に限定されず、３値化等の他の数を用いてもよい。
【０１００】
また、本実施の形態では、ユーザの頭部に装着されるヘッドセット４に複数の赤外線タグ６−１〜６−４を設けたが、この例に特に限定されず、ユーザの身体の他の部位、例えば手や足等に赤外線タグを装着してもよい。また、本実施の形態では、ヘッドセット４に赤外線タグ６−１〜６−４を設けたが、ヘッドセットの構成はこの例に特に限定されず、検出装置１と同様に赤外線検出部２及び画像撮影部３をヘッドセット４に取り付け、ユーザの視線方向の対象物の赤外線タグを検出するようにしてもよい。
【図面の簡単な説明】
【０１０１】
【図１】本発明の一実施の形態による姿勢検出システムの構成を示すブロック図である。
【図２】図１に示すヘッドセットをユーザが装着したときの外観を示す模式的斜視図である。
【図３】図２に示すヘッドセットの構成を説明するための模式的上面図及び右側面図である。
【図４】図１に示す画像処理装置の構成を示すブロック図である。
【図５】図１に示す検出装置による姿勢検出処理を説明するためのフローチャートである。
【図６】図１に示す赤外線タグと検出装置との間の通信処理を説明するための通信シーケンス図である。
【図７】図１に示すＣＭＯＳイメージセンサ及び画像処理装置の他の例の構成を示すブロック図である。
【図８】図７に示すＣＭＯＳイメージセンサ及び画像処理装置を用いた姿勢検出処理を説明するためのフローチャートである。
【図９】図１に示す姿勢検出システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【符号の説明】
【０１０２】
１ 検出装置
２ 赤外線検出部
３ 画像撮影部
４ ヘッドセット
５ マイク部
６−１〜６−４ 赤外線タグ
１０ 携帯型コンピュータ
１１ サーバ
２１ 反射素子
２２ ＣＭＯＳイメージセンサ
２３ 画像処理装置
２４ 姿勢検出部
３１ レンズ
３２ 光学素子
３３ ＣＣＤカメラ
５１ 音声処理回路
５２ マイクロホン
６１ ＬＥＤ
６２ 駆動回路
８１ ２値化回路
８２ ＳＲＡＭ
８３ 明度変化検出回路
８４ デコード回路
９１ ４値化回路
９２ フレームバッファ
９３ ＳＲＡＭ
９４ 明度変化検出回路
９５ デコード回路
【技術分野】
【０００１】
本発明は、検出装置により対象物の所定位置に装着された発光装置を検出して対象物の姿勢を検出する姿勢検出システム及び該姿勢検出システムに用いられる発光装置に関するものである。
【背景技術】
【０００２】
近年、部屋の中での人の動きを認識するために、無線やウェアラブルな航行システムを使って個人の位置を知る技術が開発されている。また、赤外線を高速点滅させるＩＤタグを用いて、人が見ている対象物のＩＤ（識別情報）を自動認識させる技術が開発されている（例えば、非特許文献１，２参照）。
【０００３】
しかしながら、上記の赤外線を高速点滅させるＩＤタグを用いる方法では、通常のカメラを利用しているため、処理速度を充分に確保することができず、例えば、人の動き程度の低速なものでも捕らえることができなかった。また、特殊な高速カメラを用いて処理速度を向上するものもあるが、当該カメラが高価且つ大型なものとなり、人が身につけて使用する用途には適用できなかった。
【０００４】
このため、本願発明者らは、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを開発している（特許文献１参照）。この対象物識別システムでは、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影し、この赤外線画像の中から所定サイズの光点をＩＤタグとして検出することにより対象物の識別情報を取得している。
【非特許文献１】青木恒、カメラで読み取る赤外線タグとその応用、インタラクティブシステムとソフトウェアＶIII（WISS 2000）、日本ソフトウェア科学会、近代科学社、２０００年、ｐｐ．１３１−１３６
【非特許文献２】松下伸行、他４名、ＩＤ Ｃａｍ：シーンとＩＤを同時に取得可能なイメージセンサ、インタラクション２００２、情報処理学会、２００２年、ｐｐ．９−１６
【特許文献１】特開２００４−２０８２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の対象物識別システムでは、ユーザには１つのＩＤタグのみが装着されるため、ユーザの全体的な動き（動線）を検出することはできても、ユーザの頭部の姿勢を検出することはできない。
【０００６】
本発明の目的は、簡略な構成により、対象物を特定することができるとともに、対象物の姿勢を検出することができる姿勢検出システム及び発光装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る姿勢検出システムは、対象物の所定位置に装着される発光装置と、前記発光装置を検出する検出装置とを備え、前記発光装置は、対象物に対して所定位置に固定され、赤外線を発光する複数の発光手段と、各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段を点滅させるとともに、前記複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段を点滅させる発光制御手段とを備え、前記検出装置は、所定方向に設定された光軸を有し、前記対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、前記撮影手段により撮影された赤外線画像を用いて前記複数の発光手段を検出する発光検出手段と、前記検出手段により検出された前記複数の発光手段の点滅状態を検出して各発光手段の識別情報及び３次元位置情報を検出する情報検出手段と、前記情報検出手段によって検出された識別情報及び３次元位置情報に基づいて前記対象物の姿勢を検出する姿勢検出手段とを備えるものである。
【０００８】
本発明に係る姿勢検出システムにおいては、赤外線を発光する複数の発光手段が対象物に対して所定位置に固定され、各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段が点滅するとともに、複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段が点滅し、このとき、対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて複数の発光手段が検出され、検出された複数の発光手段の点滅状態を検出して各発光手段の識別情報及び３次元位置情報が検出され、検出された識別情報及び３次元位置情報に基づいて対象物の姿勢が検出されるので、簡略な構成により、対象物を特定することができるとともに、対象物の姿勢を検出することができる。
【０００９】
前記発光制御手段は、各発光手段を、前記識別情報に応じて点滅させるとともに、他の発光手段に対する自身の３次元位置関係を表す３次元位置情報に応じて点滅させることが好ましい。
【００１０】
この場合、各発光手段が自身の識別情報に応じて点滅するとともに、他の発光手段に対する自身の３次元位置関係を表す３次元位置情報に応じて点滅するので、撮影された赤外線画像を用いて検出された各発光手段の点滅状態を検出することにより、各発光手段から識別情報及び３次元位置情報を取得することができ、対象物の姿勢を確実に検出することができる。
【００１１】
前記複数の発光手段は、剛体部材に固定され、前記剛体部材は、弾性部材に固定され、前記発光装置は、前記弾性部材を介して前記対象物に装着されることが好ましい。
【００１２】
この場合、複数の発光手段が剛体部材に固定され、この剛体部材が弾性部材に固定され、発光装置が弾性部材を介して対象物に装着されるので、対象物に対する発光手段の３次元位置を固定しながら、発光装置を対象物に容易に装着することができる。
【００１３】
前記発光装置は、ユーザの頭部に装着され、前記姿勢検出手段は、前記情報検出手段によって検出された識別情報及び３次元位置情報に基づいて前記ユーザの頭部の姿勢を検出することが好ましい。
【００１４】
この場合、発光装置がユーザの頭部に装着され、検出された識別情報及び３次元位置情報に基づいてユーザの頭部の姿勢が検出されるので、簡略な構成により、ユーザの頭部の姿勢を高精度に検出することができる。
【００１５】
前記複数の発光手段は、３つ以上の発光手段を含み、前記姿勢検出手段は、前記情報検出手段によって検出された３つ以上の発光手段の識別情報及び３次元位置情報に基づいて前記ユーザの頭部の姿勢を検出することが好ましい。
【００１６】
この場合、３つ以上の発光手段の識別情報及び３次元位置情報に基づいてユーザの頭部の姿勢が検出されるので、ユーザの頭部の姿勢をより高精度に検出することができる。
【００１７】
前記複数の発光手段は、ユーザの頭部の前方に赤外線を発光する第１の発光手段と、ユーザの頭部の右側方に赤外線を発光する第２の発光手段と、ユーザの頭部の左側方に赤外線を発光する第３の発光手段と、ユーザの頭部の後方に赤外線を発光する第４の発光手段とを含むことが好ましい。
【００１８】
この場合、ユーザの頭部の全周に亘って発光手段が装着され、ユーザがどの方向を向いている場合でも、少なくとも２つの発光手段から識別情報及び３次元位置情報を検出することができるので、ユーザの方向に拘らず、ユーザの頭部の姿勢を確実に検出することができる。
【００１９】
本発明に係る発光装置は、対象物の所定位置に装着される発光装置であって、対象物に対して所定位置に固定され、赤外線を発光する複数の発光手段と、各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段を点滅させるとともに、前記複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段を点滅させる発光制御手段とを備えるものである。
【００２０】
本発明に係る発光装置においては、赤外線を発光する複数の発光手段が対象物に対して所定位置に固定され、各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段が点滅するとともに、複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段が点滅するので、発光手段の点滅状態を検出することにより、発光手段の識別情報及び３次元位置情報を検出することができる。この結果、検出された識別情報及び３次元位置情報に基づいて対象物の姿勢を検出することができるので、簡略な構成により、対象物を特定することができるとともに、対象物の姿勢を検出することができる。
【発明の効果】
【００２１】
本発明によれば、赤外線を発光する複数の発光手段が対象物に対して所定位置に固定され、各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段が点滅するとともに、複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段が点滅し、このとき、対象物を含む所定の撮影領域の赤外線画像が撮影され、撮影された赤外線画像を用いて複数の発光手段が検出され、検出された複数の発光手段の点滅状態を検出して各発光手段の識別情報及び３次元位置情報が検出され、検出された識別情報及び３次元位置情報に基づいて対象物の姿勢が検出されるので、簡略な構成により、対象物を特定することができるとともに、対象物の姿勢を検出することができる。
【発明を実施するための最良の形態】
【００２２】
以下、本発明による姿勢検出システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による姿勢検出システムの構成を示すブロック図である。なお、以下の説明では、対象物の姿勢の検出例としてユーザの頭部の姿勢を検出する場合について説明するが、本発明が適用可能な対象物は、ユーザの頭部に特に限定されず、姿勢が変化する事物であれば、種々のものを適用することができる。
【００２３】
図１に示す姿勢検出システムは、検出装置１及びヘッドセット４を備える。ヘッドセット４は、ユーザに装着され、複数の赤外線タグ６−１〜６−４のそれぞれに対して一意的に割り付けられたＩＤ番号（識別情報）を赤外線の点滅により送信するとともに、各赤外線タグ６−１〜６−４の３次元位置関係を表す３次元位置情報を赤外線の点滅により送信する。
【００２４】
検出装置１は、ユーザが位置する空間内、例えば、天井の所定箇所に配置され、撮影範囲内に位置するユーザに装着されたヘッドセット４が備える赤外線タグ６−１〜６−４から送信される赤外線タグのＩＤ番号及び３次元位置情報を検出するとともに、ヘッドセット４を装着したユーザを含む可視光画像を撮影する。また、検出装置１は、検出した識別情報及び３次元位置情報に基づいてユーザの姿勢を検出し、検出したユーザの姿勢に関する情報及び撮影した可視光画像をサーバ１１へ出力する。サーバ１１は、入力される情報に対して時間情報の付加等の所定の処理を行う。
【００２５】
上記のようにして収集された情報は、サーバ１１において種々の用途に使用され、例えば、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成するために使用される。
【００２６】
図２は、図１に示すヘッドセット４をユーザが装着したときの外観を示す模式的斜視図であり、図３は、図２に示すヘッドセット４の構成を説明するための模式的上面図及び右側面図である。図２及び図３に示すように、ヘッドセット４は、ユーザの頭部に装着される眼鏡型ヘッドセットとして構成され、４個の赤外線タグ６−１〜６−４及びマイク部５が配設される本体部４１と、その両端部が耳掛け部となり、その中央部に鼻当て部材７が配設される固定部４２とを備える。本体部４１は、赤外線タグ６−１〜６−４の相対位置関係が変化しないように剛体部材から構成され、固定部４２は、ユーザが装着しやすいように弾性部材から構成され、本体部４１は固定部４２に固定されている。ヘッドセット４は、固定部４２がユーザの頭部を額付近で前方から挟み込むことにより、ユーザの頭部に装着され略固定される。
【００２７】
ヘッドセット４の本体部４１の前面部分には、ユーザの正面方向（０度）に光軸を有する第１の赤外線タグ６−１が配置され、ヘッドセット４の本体部４１の右前方部分には、ユーザの右斜め前方（右６０度）に光軸を有する第２の赤外線タグ６−２が配置され、ヘッドセット４の本体部４１の左前方部分には、ユーザの左斜め前方（左６０度）に光軸を有する第３の赤外線タグ６−３が配置される。第１乃至第２の赤外線タグ６−１〜６−３には、２個のＬＥＤが同一方向に併設されている。これは、第１乃至第２の赤外線タグ６−１〜６−３から充分な光量を得るために設けられたものであり、これら２つのＬＥＤは同期して点滅される。
【００２８】
また、ヘッドセット４の本体部４１は、その右側面部分から後方に向けて棒状の支持部４３を有し、支持部４３の先端にユーザの後方（１８０度）に光軸を有する第４の赤外線タグ６−４が配置され、第４の赤外線タグ６−４は、光軸間の角度が９０度になるように２つのＬＥＤ（Light Emitting Diode）が併設され、ユーザの後方約１８０度の範囲で検出可能なように構成され、２つのＬＥＤは同期して点滅される。
【００２９】
なお、ヘッドセット４に配置される赤外線タグの数及び位置は、上記の例に特に限定されず、種々の変更が可能であり、また、一の赤外線タグに使用されるＬＥＤの数及び位置も、上記の例に特に限定されず、種々の変更が可能である。
【００３０】
ヘッドセット４の本体部４１の前面中央下部にはマイク部５が配置されており、ヘッドセット４をユーザが装着することによりマイク部５がユーザの眉間付近に配置される。このように、マイク部５がユーザの眉間部分に位置するようにヘッドセット４に対して固定して配置されることにより、一定の音質の音声を確実に録音することができる。そのため、ユーザの口元付近に配置される従来の可動式のマイク部に比べて、音質を向上させることができる。
【００３１】
ヘッドセット４の固定部４２の前面中央下部には鼻当て部材７が配置される。鼻当て部材７は、一般のメガネと同様に、ユーザの鼻に架けられることによりヘッドセット４をユーザの頭部に略固定するものである。
【００３２】
再び、図１を参照して、上記のように、ヘッドセット４は、複数の赤外線タグ６−１〜６−４及びマイク部５を備える。なお、以下の説明では、説明を容易にするために、第１乃至第４の赤外線タグ６−１〜６−４の２つのＬＥＤを１つのＬＥＤ６１として説明する。
【００３３】
赤外線タグ６−１〜６−４は、ＬＥＤ６１及び駆動回路６２をそれぞれ備える。ＬＥＤ６１は、赤外線ＬＥＤ等から構成され、例えば、光通信用高出力発光ダイオード（スタンレイ社製ＤＮ３１１）等を用いることができ、指向性が弱く且つ可視光に近い８００ｎｍ程度の赤外ＬＥＤを好適に用いることができる。
【００３４】
駆動回路６２は、マイクロコンピュータ等から構成され、例えば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２３２３等を用いることができ、赤外線タグ６−１〜６−４に対して一意的に割り付けられたＩＤ番号が識別可能なようにＬＥＤ６１を点滅制御する。また、駆動回路６２は、各赤外線タグ６−１〜６−４のヘッドセット４上の３次元位置関係を表す３次元位置情報に応じて各ＬＥＤ６１を点滅させる。なお、本実施の形態では、駆動回路を赤外線タグすなわちＬＥＤ毎に設けたが、この例に特に限定されず、一の駆動回路によりすべて又は複数のＬＥＤの点滅状態を制御するようにしてもよい。
【００３５】
具体的には、駆動回路６２は、マンチェスタ符号化方式を用い、データ間隔８ｍｓ／１ｂｉｔで、スタートビット（２ｂｉｔ）、１番目（ＩＤ１番目）／続き（ＩＤ連続）符号（１ｂｉｔ）、ＩＤ番号（１０ｂｉｔ）、３次元位置情報及びパリティビット（１ｂｉｔ）のデータフォーマットに従い、ＬＥＤ６１を点滅させ、ＩＤ番号及び３次元位置情報を繰り返し送信する。
【００３６】
例えば、３次元位置情報としては、ヘッドセット４上に規定された局所座標系において、赤外線タグ６−１が（ｘ１，ｙ１，ｚ１）にあり、赤外線タグ６−２が（ｘ２，ｙ２，ｚ２）にあり、赤外線タグ６−３が（ｘ３，ｙ３，ｚ３）にあり、赤外線タグ６−４が（ｘ４，ｙ４，ｚ４）にある場合、赤外線タグ６−１のＬＥＤ６１は（ｘ１，ｙ１，ｚ１）を表す３次元位置情報を送信し、赤外線タグ６−２のＬＥＤ６１は（ｘ２，ｙ２，ｚ２）を表す３次元位置情報を送信し、赤外線タグ６−３のＬＥＤ６１は（ｘ３，ｙ３，ｚ３）を表す３次元位置情報を送信し、赤外線タグ６−４のＬＥＤ６１は（ｘ４，ｙ４，ｚ４）を表す３次元位置情報を送信する。この場合、検出された各赤外線タグから当該赤外線タグのＩＤ番号及び３次元位置情報を取得することができ、ユーザの頭部の姿勢を確実に検出することができる。
【００３７】
なお、３次元位置情報は、上記の例に特に限定されず、種々の変更が可能である。例えば、赤外線タグ６−１の位置をヘッドセット４上に規定された局所座標系の原点に設定し、赤外線タグ６−１が、自身の識別情報及び原点に位置していることを示す３次元位置情報を送信し、他の赤外線タグ６−２〜６−４が、自身の識別情報及び原点からの相対位置を表す３次元位置情報を送信するようにしてもよい。この場合、赤外線タグ６−１から送信される３次元位置情報の情報量を削減することができる。
【００３８】
また、一の赤外線タグ、例えば、赤外線タグ６−１が、すべての赤外線タグ６−１〜６−４の３次元位置及び各３次元位置を有する赤外線タグのＩＤ番号を表す３次元位置情報を送信し、他の赤外線タグ６−２〜６−４は自身の識別情報のみを送信して３次元位置情報の送信を省略してもよい。この場合、赤外線タグ６−２〜６−４から送信される情報の情報量を削減することができる。
【００３９】
また、すべての赤外線タグ６−１〜６−４が、自身のＩＤ番号と、すべての赤外線タグ６−１〜６−４の３次元位置及び各３次元位置を有する赤外線タグのＩＤ番号を表す３次元位置情報とを送信するようにしてもよい。この場合、検出された赤外線タグからすべての赤外線タグの識別情報及び３次元位置情報を取得することができ、ユーザの頭部の姿勢をより確実に検出することができる。
【００４０】
マイク部５は、音声処理回路５１及びマイクロホン５２を備える。マイクロホン５２は、ユーザの発話又は周囲音を集音して音声処理回路５１へ出力し、音声処理回路５１は録音された音声信号を携帯型コンピュータ１０へ出力する。なお、音声を録音しない場合は、マイク部５を省略してもよく、また、ユーザに音声等を伝達するためにスピーカ等をヘッドセットに一体に構成してもよい。
【００４１】
検出装置１は、赤外線検出部２及び画像撮影部３を備える。画像撮影部３は、レンズ３１、光学素子３２及びＣＣＤカメラ３３を備える。レンズ３１は、ヘッドセット４を装着したユーザを含む所定撮影範囲の可視光及び近赤外光を光学素子３２へ導く。光学素子３２は、近赤外光を反射して赤外線検出部２へ導き、可視光を通過させて可視光画像をＣＣＤカメラ３３上に結像させる。ＣＣＤカメラ３３は、可視光画像を撮影して映像信号をサーバ１１へ出力する。
【００４２】
このように、画像撮影部３及び赤外線検出部２は、光学素子３２により分離された可視光及び近赤外光を用い、同一光軸上の可視光画像及び近赤外線画像を撮影することができるので、ユーザ（赤外線タグ６−１〜６−４）を撮影した可視光画像及び近赤外線画像上の位置が完全に一致し、ユーザを識別するだけでなく、ユーザの頭部の姿勢を高精度に検出することができる。
【００４３】
赤外線検出部２は、反射素子２１、ＣＭＯＳイメージセンサ２２、画像処理装置２３及び姿勢検出部２４を備える。反射素子２１は、光学素子３２からの近赤外光を反射してＣＭＯＳイメージセンサ２２上に結像させる。ＣＭＯＳイメージセンサ２２は、結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置２３へ出力する。ＣＭＯＳイメージセンサ２２としては、例えば、ナショナルセミコンダクター社製高感度モノクロＣＭＯＳイメージセンサＬＭ９６３０等を用いることができ、この場合、解像度は１２８×９８ｐｉｘｅｌ、フレームレートは５００ｆｐｓである。
【００４４】
画像処理装置２３は、ＣＭＯＳイメージセンサ２２の制御及びデータ処理を行い、ＣＭＯＳイメージセンサ２２により撮影された近赤外線画像から赤外線タグ６−１〜６−４を検出し、検出した赤外線タグ６−１〜６−４の点滅状態からＩＤ番号及び３次元位置情報を検出し、ＩＤ番号及び３次元位置情報等のデータを姿勢検出部２４へ出力する。このように、赤外線検出部２では、主に近赤外線のみから作成された近赤外線画像を用いて赤外線タグ６−１〜６−４のＩＤ番号及び３次元位置情報を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理を高速化することができる。
【００４５】
姿勢検出部２４は、画像処理装置２３によって検出された赤外線タグのＩＤ番号及び３次元位置情報に基づいてユーザの頭部の姿勢を検出する。すなわち、姿勢検出部２４は、赤外線画像上の各赤外線タグの２次元位置と各赤外線タグの３次元位置情報とを基に公知の姿勢算出方法を用いてユーザの頭部の姿勢すなわち３次元空間上の位置及び角度を検出する。姿勢検出部２４は、検出したユーザの姿勢を表す姿勢情報をＲＳ２３２Ｃ等のデータ伝送規格に従ってサーバ１１へ出力する。
【００４６】
サーバ１１は、検出装置１から出力されるユーザの姿勢情報等を受け、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成する処理を実行する。
【００４７】
次に、図１に示す画像処理装置２３について詳細に説明する。図４は、図１に示す画像処理装置２３の構成を示すブロック図である。図４に示すように、画像処理装置２３は、２値化回路８１、ＳＲＡＭ（Static Random Access Memory）８２、明度変化検出回路８３及びデコード回路８４を備える。例えば、２値化回路８１及び明度変化検出回路８３は、ＣＰＬＤ（Complex Programmable Logic Device）等から構成され、デコード回路８４は、ＣＰＵ等から構成され、ＣＰＵで所定のデコードプログラムを実行することによりデコード処理を行う。なお、画像処理装置２３の構成は、上記の例に特に限定されず、すべてを専用のハードウエア回路から構成する等の種々の変更が可能である。
【００４８】
２値化回路８１は、撮影された近赤外線画像を構成する各画素の明度データをＣＭＯＳイメージセンサ２２から受け、各画素の明度値を予め記憶している基準明度値と比較して２値化し、２値化画素データをＳＲＡＭ８２に順次記憶させる。例えば、ＣＭＯＳイメージセンサ２２から２５６階調で明度データが出力される場合、１２８階調以上の明度を「１」に変換し、１２８階調未満の明度を「０」に変換する。多値化処理は、上記の例に特に限定されず、１２８階調以上の明度を「２」、１２８階調未満６４階調以上を「１」、６４階調未満を「０」に変換し、「２」の場合を「明」、「０」の場合を「滅」として点滅状態を判断する等の種々の変更が可能である。
【００４９】
ＳＲＡＭ８２は、ＣＭＯＳイメージセンサ２２により撮影された近赤外線画像を複数枚、例えば、６７２枚記憶可能な記憶容量を有し、２値化回路８１から出力される２値化画素データを画像毎に記憶する。
【００５０】
明度変化検出回路８３は、連続して撮影された複数枚、例えば、５枚の２値化画像の各画素データをＳＲＡＭ８２から読み出し、各２値化画像上で同一位置にある画素データが点滅すなわち時間的に「１」又は「０」を交互に繰り返している全ての点滅画素を光点（赤外線タグ６−１〜６−４）として検出し、検出した複数の光点の２値化画像上の位置及び当該画像の撮影フレーム数を特定するための光点位置情報、例えば、当該点滅画素データのＳＲＡＭ８２の記憶アドレスをデコード回路８４へ出力する。
【００５１】
また、明度変化検出回路８３は、隣接する複数の画素が点滅している場合、これらの画素を一つの光点として検出する。この場合、同時に点滅している隣接する複数の画素を一つの光点として検出することができるので、ＣＭＯＳイメージセンサ２２の１画素の大きさに拘らず、種々の大きさのＬＥＤ６１を一つの光点として正確に検出することができる。
【００５２】
デコード回路８４は、点滅画素の光点位置情報を基に２値化画像内の点滅画素の２値化画素データをＳＲＡＭ８２から順次読み出してデコードし、複数の光点すなわち複数の赤外線タグ６−１〜６−４のＩＤ番号及び３次元位置情報をサーバ１１へ出力する。
【００５３】
また、デコード回路８４は、明度変化検出回路８３により検出された光点に対応する画素が点滅していない場合、当該画素の周辺に位置する画素の２値化画素データをＳＲＡＭ８２から読み出し、周辺の画素の時間的に前後する２値化画素データをも用いて光点の点滅状態を再度デコードして赤外線タグ６−１〜６−４のＩＤ番号及び３次元位置情報を検出する。この場合、光点として検出された画素だけでなく、当該画素の周辺に位置する画素の２値化値をも用いて光点の点滅状態をデコードすることができるので、ユーザが高速に移動する場合でも、ユーザの移動に伴って移動する複数の赤外線タグ６−１〜６−４を同時に且つ連続的に識別することができる。
【００５４】
本実施の形態では、ヘッドセット４が発光装置の一例に相当し、検出装置１が検出装置の一例に相当し、赤外線タグ６−１〜６−４（ＬＥＤ６１）が発光手段の一例に相当し、駆動回路６２が発光制御手段の一例に相当し、反射素子２１、ＣＭＯＳイメージセンサ２２が撮影手段の一例に相当し、２値化回路８１、ＳＲＡＭ８２及び明度変化検出回路８３が発光検出手段の一例に相当し、デコード回路８４が情報検出手段の一例に相当し、姿勢検出部２４が姿勢検出手段の一例に相当する。また、本体部４１が剛体部材の一例に相当し、固定部４２が弾性部材の一例に相当する。また、赤外線タグ６−１が第１の発光手段の一例に相当し、赤外線タグ６−２が第２の発光手段の一例に相当し、赤外線タグ６−３が第３の発光手段の一例に相当し、赤外線タグ６−４が第４の発光手段の一例に相当する。
【００５５】
次に、上記のように構成された検出装置１による赤外線タグ検出処理について説明する。図５は、図１に示す検出装置１による姿勢検出処理を説明するためのフローチャートである。
【００５６】
まず、画像処理装置２３は、ＣＭＯＳイメージセンサ２２等を初期化し（ステップＳ１１）、全画面（１２８×９８ｐｉｘｅｌ）の近赤外線画像を順次撮影して取得する（ステップＳ１２）。次に、２値化回路８１は、撮影された近赤外線画像を構成する各画素の明度データをＣＭＯＳイメージセンサ２２から受け、各画素の明度値を所定の基準明度値と比較して２値化（「０」又は「１」）し、２値化画素データを近赤外線画像毎にＳＲＡＭ８２に記憶させる（ステップＳ１３）。
【００５７】
次に、明度変化検出回路８３は、連続して撮影された複数枚の２値化画像の各画素の２値化画素データをＳＲＡＭ８２から読み出し、各２値化画像上で同一位置にある２値化画素データが「１」又は「０」を所定順序で交互に繰り返している全ての点滅画素を光点として検出し、検出した複数の光点の画像上の各位置及び当該画像の撮影フレーム数を特定するための光点位置情報をデコード回路８４へ出力する（ステップＳ１４）。
【００５８】
次に、デコード回路８４は、点滅画素の光点位置情報を基にＳＲＡＭ８２から複数の２値化画像の各光点の２値化画素データを順次読み出してデコードし（ステップＳ１５）、デコード結果に対してパリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ１６）。
【００５９】
ここで、パリティチェックが正しければ（ステップＳ１６でＹＥＳ）、デコード回路８４は、デコードした赤外線タグのＩＤ番号及び３次元位置情報と、当該赤外線タグの画像上の位置を表す２次元位置情報とを姿勢検出部２４へ出力する（ステップＳ１７）。
【００６０】
一方、パリティチェックが正しくなければ（ステップＳ１６でＮＯ）、デコード回路８４は、点滅画素の光点位置情報を基に当該画素の周辺に位置する画素、例えば、点滅画素の上下、左右及び斜めに位置する８画素の２値化画素データをＳＲＡＭ８２から読み出し、読み出した２値化画素データと点滅画素の２値化画素データとの論理和をデコードし（ステップＳ１８）、デコード結果に対して再度パリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ１９）。
【００６１】
ここで、パリティチェックが正しければ（ステップＳ１９でＹＥＳ）、デコード回路８４は、デコードした赤外線タグのＩＤ番号及び３次元位置情報と、当該赤外線タグの画像上の位置を表す２次元位置情報とを姿勢検出部２４へ出力する（ステップＳ１７）。また、パリティチェックが正しくない場合はステップＳ１２に戻って上記の処理を継続する。
【００６２】
次に、姿勢検出部２４は、デコード回路８４によって出力された赤外線タグのＩＤ番号、３次元位置情報及び２次元位置情報からユーザの頭部の姿勢を検出し（ステップＳ２０）、検出したユーザの姿勢情報をサーバ１１へ送信し、サーバ１１は、送信された姿勢情報を記憶する。その後、ステップＳ１２に戻って上記の処理が継続される。なお、頭部の姿勢は、少なくとも２つの赤外線タグが検出されれば、ユーザの頭部がどの方向へ向いているかを検出することができ、３つの赤外線タグが検出された場合、頭部の回転方向も含めて検出することができる。
【００６３】
上記のように、本実施の形態では、ユーザの頭部に装着されたヘッドセット４に固定された４つの赤外線タグ６−１〜６−４に対して一意的に割り付けられたＩＤ番号に応じて各赤外線タグ６−１〜６−４が点滅するとともに、各赤外線タグ６−１〜６−４の３次元位置情報に応じて各赤外線タグ６−１〜６−４が点滅し、赤外線タグ６−１〜６−４のうち少なくとも２つ以上の赤外線タグを含む赤外線画像が撮影され、撮影された赤外線画像を用いて少なくとも２つ以上の赤外線タグが検出され、検出された赤外線タグの点滅状態を検出して各赤外線タグのＩＤ番号及び３次元位置情報が検出され、検出された各赤外線タグのＩＤ番号及び３次元位置情報からユーザの頭部の姿勢を検出することができるので、複数の赤外線タグをユーザの頭部に装着するという簡略な構成により、ユーザの頭部の姿勢を高精度に検出することができる。
【００６４】
また、撮影された近赤外線画像を２値化した２値化画像が作成され、作成された２値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる多数の光点を同時に且つ高速に検出することができ、ヘッドセット４が装着された複数のユーザの頭部の姿勢を同時に且つ連続的に検出することができる。また、所定の基準明度値と比較して２多値化画像を作成しているので、２値化処理にフレームバッファ等の特別なメモリを必要がなく、２値化画像を高速に作成することができるとともに、そのデータ容量を削減することができるので、ＳＲＡＭ８２の記憶容量を低く抑えることができる。さらに、２値化回路８１及び明度変化検出回路８３をＣＰＬＤから構成しているので、複数の光点をより高速に検出することができる。
【００６５】
なお、本実施の形態では、赤外線タグ６−１〜６−４からＩＤ番号及び３次元位置情報を連続した発光パターンにより送信したが、この例に特に限定されず、まず赤外線タグ６−１〜６−４がＩＤ番号のみを送信し、複数の赤外線タグ６−１〜６−４のうち、検出装置１によりデータ送信が許可された赤外線タグのみがＩＤ番号及び３次元位置情報を送信するようにしてもよい。
【００６６】
図６は、赤外線タグ６−１〜６−３と検出装置１との間の通信処理を説明するための通信シーケンス図である。なお、図６では、説明を容易にするために、赤外線タグ６−１〜６−３と検出装置１との通信処理について説明するが、さらに多くの赤外線タグと通信する場合も本例に同様に行うことができる。
【００６７】
まず、携帯型コンピュータ１０は、赤外線タグ６−１，６−２，６−３に自身のＩＤ番号を送信させ、検出装置１は、発信中の赤外線タグ６−１，６−２，６−３のＩＤ番号を受信する（ステップＳ１０１〜Ｓ１０３）。
【００６８】
次に、検出装置１は、検知した複数の赤外線タグ６−１〜６−３のうちの一の赤外線タグ６−１にデータ送信を許可するスタート信号を当該赤外線タグ６−１のＩＤ番号とともにサーバ１１を介して携帯型コンピュータ１０へ送信する（ステップＳ１０４）。このとき、他の赤外線タグ６−２，６−３は、自身以外のＩＤ番号を持つ赤外線タグに対してスタート信号が発せられていることにより、データ送信が不許可であることを認識する（ステップＳ１０５，Ｓ１０６）。
【００６９】
なお、本例では、データ送信を許可するスタート信号をサーバ１１から携帯型コンピュータ１０へ無線通信により送信したが、この例に特に限定されず、ヘッドセット４が赤外線検出部を備え、検出装置１が赤外線タグを備える場合、赤外線通信によりスタート信号を送信してもよい。後述するストップ信号も同様である。また、データ送信の許可順序は、最も早くＩＤ番号を検出した赤外線タグから順番にデータ送信の許可を与えてもよいし、所定の順番を予め決めておき、この順番に基づいてデータ送信の許可を与えてもよい。
【００７０】
次に、スタート信号を受信した携帯型コンピュータ１０は、赤外線タグ６−１に自身の３次元位置情報をＩＤ番号とともに送信させる（ステップＳ１０７）。赤外線タグ６−１からの３次元位置情報の受信を完了した検出装置１は、赤外線タグ６−１に対するストップ信号を当該赤外線タグ６−１のＩＤ番号とともにサーバ１１を介して携帯型コンピュータ１０へ送信することにより、赤外線タグ６−１にデータ送信を停止させる（ステップＳ１０８）。そして、ＣＭＯＳイメージセンサ２２の撮影画像内の他の赤外線タグ６−２，６−３に対して順次上記の処理が繰り返し行われることにより、検出装置１は、全ての赤外線タグ６−１〜６−３からの３次元位置情報を取得する（ステップＳ１０９〜Ｓ１１４）。
【００７１】
上記の場合、複数の赤外線タグからデータ（３次元位置情報）が同時に送信されないため、複数の赤外線タグからの信号を同時に受信することが無くなり、複数の赤外線タグによる各赤外線信号の点滅パターンの誤認識を防止することができる。
【００７２】
次に、図１に示すＣＭＯＳイメージセンサ２２及び画像処理装置２３の他の例について詳細に説明する。図７は、図１に示すＣＭＯＳイメージセンサ及び画像処理装置の他の例の構成を示すブロック図である。
【００７３】
図７に示すように、ＣＭＯＳイメージセンサ２２ａは、反射素子２１（図１参照）により反射された近赤外線から構成される近赤外線画像を撮影して画像処理装置２３ａへ出力する。ＣＭＯＳイメージセンサ２２ａとしては、例えば、ＭＩＣＲＯＮ社製撮像エリアＣＭＯＳ型撮像素子ＭＴ９Ｍ４１３等を用いることができ、この場合、解像度は１２８０×１０２４ｐｉｘｅｌ、フレームレートは４００ｆｐｓである。
【００７４】
なお、上記のような高解像度のＣＭＯＳイメージセンサを用いる場合、近赤外光及び可視光に対して感度を有していれば、ＣＣＤカメラ３３を省略してＣＭＯＳイメージセンサ２２ａを可視光画像の撮影にも用いることができ、検出装置１の構成をより簡略化することができる。
【００７５】
画像処理装置２３ａは、ＣＭＯＳイメージセンサ２２ａの制御及びデータ処理を行い、ＣＭＯＳイメージセンサ２２ａにより撮影された近赤外線画像から赤外線タグ６−１〜６−４を検出し、検出した赤外線タグ６−１〜６−４の点滅状態からＩＤ番号及び３次元位置情報を検出し、ＩＤ番号及び３次元位置情報のデータを姿勢検出部２４へ出力する。
【００７６】
画像処理装置２３ａは、４値化回路９１、フレームバッファ９２、ＳＲＡＭ９３、明度変化検出回路９４及びデコード回路９５を備える。例えば、４値化回路９１及び明度変化検出回路９４は、ＦＰＧＡ（Field Programmable Gate Array）等から構成され、デコード回路９５は、ＣＰＵ等から構成され、ＣＰＵで所定のデコードプログラムを実行することにより下記のデコード処理を行う。なお、画像処理装置２３ａの構成は、上記の例に特に限定されず、すべてを専用のハードウエア回路から構成する等の種々の変更が可能である。
【００７７】
４値化回路９１は、複数フレーム、例えば、２０フレームを比較処理単位として近赤外線画像を処理し、１フレーム目の赤外線画像をフレームバッファ９２に記憶させ、２フレーム目の赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している１フレーム目の赤外線画像を構成する各画素の明度データとを比較し、比較結果として４値化した４値化画素データをＳＲＡＭ９３に記憶させるとともに、２フレーム目の赤外線画像をフレームバッファ９２に記憶させる。
【００７８】
以降、上記と同様に、４値化回路９１は、現フレームの赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している直前フレームの赤外線画像を構成する各画素の明度データとを比較し、比較結果から４値化した４値化画素データをＳＲＡＭ９３に記憶させるとともに、現フレーム（比較処理単位の最終フレームを除く）の赤外線画像をフレームバッファ９２に記憶させる処理を繰り返す。ＳＲＡＭ９３は、４値化回路９１から出力される４値化画像の４値化画素データを比較処理単位、例えば、２０フレーム単位で記憶する。
【００７９】
例えば、現フレームの判定対象画素の明度値をｐ、直前フレームの該当画素の明度値をＰ、予め定めた閾値をＴとすると、４値化回路９１は、ＳＲＡＭ９３に、Ｐ≦ｐ＜Ｐ＋Ｔのときは「０」を記憶させ、Ｐ＋Ｔ≦ｐのときは「１」を記憶させ、Ｐ−Ｔ＜ｐ＜Ｐのときは「２」を記憶させ、ｐ≦Ｐ−Ｔのときは「３」を記憶させ、画素毎に直前フレームと明度を比較して４段階に分類する。
【００８０】
明度変化検出回路９４は、比較処理単位の最終フレームがＳＲＡＭ９３に記憶されたときに、比較処理単位となる複数フレーム、例えば、２０フレームの４値化画素データをＳＲＡＭ９３から読み出し、読み出した４値化画像の４値化画素データを基に各画素の明滅状態を判定し、判定結果から光点（赤外線タグ６−１〜６−４）として判断した複数の光点の４値化画像上の位置及び当該画像の撮影フレーム数を特定するための光点位置特定情報、例えば、当該点滅画素データのＳＲＡＭ９３の記憶アドレスをデコード回路９５へ出力する。また、明度変化検出回路９４は、隣接する複数の画素が点滅していると判断した場合、これらの画素を一つの光点として検出する。
【００８１】
例えば、比較処理単位が２０フレーム単位のとき、明度変化検出回路９４は、各画素の明滅状態として、全１９フレーム中に「１」か「３」の４値化画素データが合計４回以上出る場合は当該画素を「０」と判定し、連続する１０フレーム以内に「１」の４値化画素データと「３」の４値化画素データとが両方出る場合は当該画素を「１」と判定し、全１９フレーム中に「１」か「３」の４値化画素データが合計２回以上３回以下出る場合は当該画素を「２」と判定し、全１９フレーム中に「１」か「３」の４値化画素データが合計１回以下しか出ない場合は当該画素を「３」と判定し、判定結果が「０」又は「１」の画素を光点として検出する。
【００８２】
デコード回路９５は、点滅画素の光点位置特定情報を基に４値化画像内の点滅画素の４値化画素データをＳＲＡＭ９３から順次読み出し、４値化画素データが「１」の場合を「１」（明状態）、４値化画素データが「３」の場合を「０」（滅状態）としてデコードし、複数の光点すなわち赤外線タグ６−１〜６−４のＩＤ番号及び３次元位置情報を姿勢検出部２４へ出力する。
【００８３】
また、比較処理単位の複数フレーム中に赤外線タグ６−１〜６−４が画素を跨いで移動した場合に対処するため、明度変化検出回路９４は、判定結果が「１」又は「２」の画素の位置特定情報をデコード回路９５へ出力するようにしてもよい。この場合、デコード回路９５は、当該画素の周辺に位置する画素の明度判定結果データをＳＲＡＭ９３から読み出し、周辺の画素の時間的に前後する４値化画素データをも用いて光点の点滅状態を再度デコードして赤外線タグ６−１〜６−４のＩＤ番号及び３次元位置情報を検出する。また、フレーム毎に近赤外線画像を濃淡でラベリングし、ラベリングされた各領域の重心座標、面積、円形度、フィレ径、平均明度等を記録し、その形状のＬＥＤらしさを判定して光点を検出するようにしてもよい。
【００８４】
本例では、ＣＭＯＳイメージセンサ２２ａが撮影手段の一例に相当し、４値化回路９１、フレームバッファ９２、ＳＲＡＭ９３及び明度変化検出回路９４が発光検出手段の一例に相当し、デコード回路９５が情報検出手段の一例に相当する。
【００８５】
次に、図７に示すＣＭＯＳイメージセンサ２２ａ及び画像処理装置２３ａを用いた姿勢検出処理について説明する。図８は、図７に示すＣＭＯＳイメージセンサ２２ａ及び画像処理装置２３ａを用いた姿勢検出処理を説明するためのフローチャートである。
【００８６】
まず、画像処理装置２３ａは、ＣＭＯＳイメージセンサ２２ａ等を初期化し（ステップＳ２１）、全画面（１２８０×１０２４ｐｉｘｅｌ）の近赤外線画像を順次撮影して取得する（ステップＳ２２）。次に、４値化回路９１は、直前フレームの近赤外線画像を構成する各画素の明度データをフレームバッファ９２に記憶させ、現フレームの近赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している直前フレームの近赤外線画像を構成する各画素の明度データとを比較し、比較結果を４値化して比較処理単位で４値化画素データをＳＲＡＭ９３に記憶させる（ステップＳ２３）。
【００８７】
次に、明度変化検出回路９４は、比較処理単位の最終フレームがＳＲＡＭ９３に記憶されたときに、比較処理単位となる１９フレームの４値化画素データをＳＲＡＭ９３から読み出し、読み出した４値化画素データを基に各画素の明滅状態を上記の「０」〜「３」に４値化して判定する（ステップＳ２４）。
【００８８】
ここで、明滅状態が「０」又は「１」の場合（ステップＳ２５でＹＥＳ）、明度変化検出回路９４は、当該画素を光点（赤外線タグ６−１〜６−４）として判定し、判定した複数の光点の画像上の各位置及び当該画像の撮影フレーム数を特定するための光点位置特定情報をデコード回路９５へ出力する。
【００８９】
次に、デコード回路９５は、点滅画素の光点位置特定情報を基にＳＲＡＭ９３から複数の４値化画像の各光点の４値化画素データを順次読み出し、４値化画素データが「１」の場合を「１」、４値化画素データが「３」の場合を「０」としてデコードし（ステップＳ２６）、デコード結果に対してパリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ２７）。
【００９０】
ここで、パリティチェックが正しければ（ステップＳ２７でＹＥＳ）、デコード回路９５は、デコードした赤外線タグのＩＤ番号及び３次元位置情報と、当該赤外線タグの画像上の位置を表す２次元位置情報とを姿勢検出部２４へ出力する（ステップＳ２８）。
【００９１】
一方、明滅状態が「０」又は「１」でない場合（ステップＳ２５でＮＯ）、又は、パリティチェックが正しくなければ（ステップＳ２６でＮＯ）、デコード回路９５は、点滅画素の位置特定情報を基に当該画素の周辺に位置する画素、例えば、点滅画素の上下、左右及び斜めに位置する８画素の明度変化判定結果データをＳＲＡＭ９３から読み出し、読み出した４値化画素データと点滅画素の４値化画素データとを用いてデコードし（ステップＳ２９）、デコード結果に対して再度パリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ３０）。
【００９２】
ここで、パリティチェックが正しければ（ステップＳ３０でＹＥＳ）、デコード回路９５は、デコードした赤外線タグのＩＤ番号及び３次元位置情報と、当該赤外線タグの画像上の位置を表す２次元位置情報とを姿勢検出部２４へ出力する（ステップＳ２８）。また、パリティチェックが正しくない場合はステップＳ２２に戻って上記の処理を継続する。
【００９３】
次に、姿勢検出部２４は、デコード回路９５によって出力された赤外線タグのＩＤ番号、３次元位置情報及び２次元位置情報からユーザの頭部の姿勢を検出し（ステップＳ３１）、その後、ステップＳ２２に戻って上記の処理を継続する。
【００９４】
上記のように、本例でも、一枚の画像に含まれる多数の光点を同時に且つ高速に検出することができ、ヘッドセット４が装着された複数のユーザの頭部の姿勢を同時に且つ連続的に検出することができる。また、直前に撮影された近赤外線画像の明度と比較して４値化画像を作成しているので、撮影環境が変化した場合でも、明度の変化を正確に反映した４値化画像を作成することができる。さらに、４値化回路９１及び明度変化検出回路９４をＦＰＧＡから構成しているので、複数の光点をより高速に検出することができる。
【００９５】
なお、本実施の形態では、赤外線タグ６−１〜６−４を検出してユーザの頭部の姿勢を検出しているが、検出対象はこの例に特に限定されず、ユーザが位置する空間内に配置された種々の対象物に赤外線タグを取り付け、検出装置１により対象物に取り付けられた赤外線タグをも検出するようにしてもよい。この場合、ユーザの頭部の姿勢が検出されるとともに、対象物の位置が検出されるので、ユーザの頭部の姿勢と対象物の位置とに基づいてユーザが興味を持った対象物を特定することができ、さらに詳細なインタラクションデータを蓄積することができる。
【００９６】
次に、上記のように構成された対象物識別システムの応用例について説明する。図９は、図１に示す姿勢検出システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【００９７】
図９に示すように、訪問者Ｐ２等がヘッドセット４（赤外線タグ６−１〜６−４）を頭部に装着するとともに、携帯型コンピュータ１０を背負っている。対象物に取り付けられる赤外線タグ６は、説明員Ｐ１の胸部に装着されるとともに、環境側の対象物として展示説明用のコンピュータＭ１及びロボットＭ２、展示用のぬいぐるみＭ３、展示説明用ボードＢ１等に取り付けられ、それぞれ個別のＩＤ番号を送信する。また、展示場の天井又は壁には、検出装置１が取り付けられている。
【００９８】
上記のように各装置が配置されることにより、例えば、検出装置１により訪問者Ｐ２が識別されるとともに、訪問者Ｐ２の頭部の姿勢が検出され、検出装置１により訪問者Ｐ２の周囲の対象物として説明員Ｐ１、ロボットＭ２等が識別される。このようにして、展示場における人と人とのインタラクション等に関するインタラクションデータを収集することができ、収集したデータから知識ベースとなるインタラクション・コーパスを作成することが可能となる。
【００９９】
上記の説明では、インタラクション・コーパスの収集を例に説明したが、本発明が適用可能な用途は、上記の例に特に限定されず、種々の用途に適用することができる。また、一つの対象物に一つの赤外線タグを取り付けたが、一つの対象物に同一のＩＤ番号を送信する複数の赤外線タグを設けるようにしてもよい。また、本実施の形態では、撮影した画像を２値化又は４値化したが、多値化の例はこれらの例に特に限定されず、３値化等の他の数を用いてもよい。
【０１００】
また、本実施の形態では、ユーザの頭部に装着されるヘッドセット４に複数の赤外線タグ６−１〜６−４を設けたが、この例に特に限定されず、ユーザの身体の他の部位、例えば手や足等に赤外線タグを装着してもよい。また、本実施の形態では、ヘッドセット４に赤外線タグ６−１〜６−４を設けたが、ヘッドセットの構成はこの例に特に限定されず、検出装置１と同様に赤外線検出部２及び画像撮影部３をヘッドセット４に取り付け、ユーザの視線方向の対象物の赤外線タグを検出するようにしてもよい。
【図面の簡単な説明】
【０１０１】
【図１】本発明の一実施の形態による姿勢検出システムの構成を示すブロック図である。
【図２】図１に示すヘッドセットをユーザが装着したときの外観を示す模式的斜視図である。
【図３】図２に示すヘッドセットの構成を説明するための模式的上面図及び右側面図である。
【図４】図１に示す画像処理装置の構成を示すブロック図である。
【図５】図１に示す検出装置による姿勢検出処理を説明するためのフローチャートである。
【図６】図１に示す赤外線タグと検出装置との間の通信処理を説明するための通信シーケンス図である。
【図７】図１に示すＣＭＯＳイメージセンサ及び画像処理装置の他の例の構成を示すブロック図である。
【図８】図７に示すＣＭＯＳイメージセンサ及び画像処理装置を用いた姿勢検出処理を説明するためのフローチャートである。
【図９】図１に示す姿勢検出システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【符号の説明】
【０１０２】
１ 検出装置
２ 赤外線検出部
３ 画像撮影部
４ ヘッドセット
５ マイク部
６−１〜６−４ 赤外線タグ
１０ 携帯型コンピュータ
１１ サーバ
２１ 反射素子
２２ ＣＭＯＳイメージセンサ
２３ 画像処理装置
２４ 姿勢検出部
３１ レンズ
３２ 光学素子
３３ ＣＣＤカメラ
５１ 音声処理回路
５２ マイクロホン
６１ ＬＥＤ
６２ 駆動回路
８１ ２値化回路
８２ ＳＲＡＭ
８３ 明度変化検出回路
８４ デコード回路
９１ ４値化回路
９２ フレームバッファ
９３ ＳＲＡＭ
９４ 明度変化検出回路
９５ デコード回路
【特許請求の範囲】
【請求項１】
対象物の所定位置に装着される発光装置と、前記発光装置を検出する検出装置とを備え、
前記発光装置は、
対象物に対して所定位置に固定され、赤外線を発光する複数の発光手段と、
各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段を点滅させるとともに、前記複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段を点滅させる発光制御手段とを備え、
前記検出装置は、
前記対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
前記撮影手段により撮影された赤外線画像を用いて前記複数の発光手段を検出する発光検出手段と、
前記検出手段により検出された前記複数の発光手段の点滅状態を検出して各発光手段の識別情報及び３次元位置情報を検出する情報検出手段と、
前記情報検出手段によって検出された識別情報及び３次元位置情報に基づいて前記対象物の姿勢を検出する姿勢検出手段とを備えることを特徴とする姿勢検出システム。
【請求項２】
前記発光制御手段は、各発光手段を、前記識別情報に応じて点滅させるとともに、他の発光手段に対する自身の３次元位置関係を表す３次元位置情報に応じて点滅させることを特徴とする請求項１記載の姿勢検出システム。
【請求項３】
前記複数の発光手段は、剛体部材に固定され、前記剛体部材は、弾性部材に固定され、前記発光装置は、前記弾性部材を介して前記対象物に装着されることを特徴とする請求項１又は２記載の姿勢検出システム。
【請求項４】
前記発光装置は、ユーザの頭部に装着され、
前記姿勢検出手段は、前記情報検出手段によって検出された識別情報及び３次元位置情報に基づいて前記ユーザの頭部の姿勢を検出することを特徴とする請求項１〜３のいずれかに記載の姿勢検出システム。
【請求項５】
前記複数の発光手段は、３つ以上の発光手段を含み、
前記姿勢検出手段は、前記情報検出手段によって検出された３つ以上の発光手段の識別情報及び３次元位置情報に基づいて前記ユーザの頭部の姿勢を検出することを特徴とする請求項４記載の姿勢検出システム。
【請求項６】
前記複数の発光手段は、
ユーザの頭部の前方に赤外線を発光する第１の発光手段と、
ユーザの頭部の右側方に赤外線を発光する第２の発光手段と、
ユーザの頭部の左側方に赤外線を発光する第３の発光手段と、
ユーザの頭部の後方に赤外線を発光する第４の発光手段とを含むことを特徴とする請求項４又は５記載の姿勢検出システム。
【請求項７】
対象物の所定位置に装着される発光装置であって、
対象物に対して所定位置に固定され、赤外線を発光する複数の発光手段と、
各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段を点滅させるとともに、前記複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段を点滅させる発光制御手段とを備えることを特徴とする発光装置。
【請求項１】
対象物の所定位置に装着される発光装置と、前記発光装置を検出する検出装置とを備え、
前記発光装置は、
対象物に対して所定位置に固定され、赤外線を発光する複数の発光手段と、
各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段を点滅させるとともに、前記複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段を点滅させる発光制御手段とを備え、
前記検出装置は、
前記対象物を含む所定の撮影領域の赤外線画像を撮影する撮影手段と、
前記撮影手段により撮影された赤外線画像を用いて前記複数の発光手段を検出する発光検出手段と、
前記検出手段により検出された前記複数の発光手段の点滅状態を検出して各発光手段の識別情報及び３次元位置情報を検出する情報検出手段と、
前記情報検出手段によって検出された識別情報及び３次元位置情報に基づいて前記対象物の姿勢を検出する姿勢検出手段とを備えることを特徴とする姿勢検出システム。
【請求項２】
前記発光制御手段は、各発光手段を、前記識別情報に応じて点滅させるとともに、他の発光手段に対する自身の３次元位置関係を表す３次元位置情報に応じて点滅させることを特徴とする請求項１記載の姿勢検出システム。
【請求項３】
前記複数の発光手段は、剛体部材に固定され、前記剛体部材は、弾性部材に固定され、前記発光装置は、前記弾性部材を介して前記対象物に装着されることを特徴とする請求項１又は２記載の姿勢検出システム。
【請求項４】
前記発光装置は、ユーザの頭部に装着され、
前記姿勢検出手段は、前記情報検出手段によって検出された識別情報及び３次元位置情報に基づいて前記ユーザの頭部の姿勢を検出することを特徴とする請求項１〜３のいずれかに記載の姿勢検出システム。
【請求項５】
前記複数の発光手段は、３つ以上の発光手段を含み、
前記姿勢検出手段は、前記情報検出手段によって検出された３つ以上の発光手段の識別情報及び３次元位置情報に基づいて前記ユーザの頭部の姿勢を検出することを特徴とする請求項４記載の姿勢検出システム。
【請求項６】
前記複数の発光手段は、
ユーザの頭部の前方に赤外線を発光する第１の発光手段と、
ユーザの頭部の右側方に赤外線を発光する第２の発光手段と、
ユーザの頭部の左側方に赤外線を発光する第３の発光手段と、
ユーザの頭部の後方に赤外線を発光する第４の発光手段とを含むことを特徴とする請求項４又は５記載の姿勢検出システム。
【請求項７】
対象物の所定位置に装着される発光装置であって、
対象物に対して所定位置に固定され、赤外線を発光する複数の発光手段と、
各発光手段に対して一意的に割り付けられた識別情報に応じて各発光手段を点滅させるとともに、前記複数の発光手段の３次元位置関係を表す３次元位置情報に応じて少なくとも一の発光手段を点滅させる発光制御手段とを備えることを特徴とする発光装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００７−１２７５３６（Ｐ２００７−１２７５３６Ａ）
【公開日】平成１９年５月２４日（２００７．５．２４）
【国際特許分類】
【出願番号】特願２００５−３２０７５２（Ｐ２００５−３２０７５２）
【出願日】平成１７年１１月４日（２００５．１１．４）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成１９年５月２４日（２００７．５．２４）
【国際特許分類】
【出願日】平成１７年１１月４日（２００５．１１．４）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]