対象物識別システム及び検出装置
【課題】 ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる対象物識別システムを提供する。
【解決手段】 赤外線タグ６は、所定の対象物に取り付けられ、当該対象物に対して一意的に割り付けられたＩＤ番号に応じて点滅し、検出装置１は、ユーザの頭部に装着され、ＣＭＯＳイメージセンサ２２は、ユーザの視線方向に位置する対象物を含む近赤外線画像を撮影し、画像処理装置２３は、ＣＭＯＳイメージセンサ２２により撮影された近赤外線画像を２値化した２値化画像を作成し、２値化画像の時間的な明暗の変化を基に赤外線タグ６を検出し、検出した赤外線タグ６の点滅状態からＩＤ番号を検出するとともに、近赤外線画像上の赤外線タグ６のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータを携帯型コンピュータ１０へ出力する。
【解決手段】 赤外線タグ６は、所定の対象物に取り付けられ、当該対象物に対して一意的に割り付けられたＩＤ番号に応じて点滅し、検出装置１は、ユーザの頭部に装着され、ＣＭＯＳイメージセンサ２２は、ユーザの視線方向に位置する対象物を含む近赤外線画像を撮影し、画像処理装置２３は、ＣＭＯＳイメージセンサ２２により撮影された近赤外線画像を２値化した２値化画像を作成し、２値化画像の時間的な明暗の変化を基に赤外線タグ６を検出し、検出した赤外線タグ６の点滅状態からＩＤ番号を検出するとともに、近赤外線画像上の赤外線タグ６のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータを携帯型コンピュータ１０へ出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物に取り付けられた発光装置を、ユーザに装着された検出装置により検出してユーザの視界内に位置する対象物を識別する対象物識別システム、当該対象物識別システムに用いられる検出装置に関するものである。
【背景技術】
【０００２】
近年、部屋の中での人の動きを認識するために、無線やウェアラブルな航行システムを使って個人の位置を知る技術が開発されている。また、赤外線を高速点滅させるＩＤタグを用いて、人が見ている対象物のＩＤ（識別情報）を自動認識させる技術が開発されている（例えば、非特許文献１，２参照）。
【０００３】
しかしながら、上記の赤外線を高速点滅させるＩＤタグを用いる方法では、通常のカメラを利用しているため、処理速度を充分に確保することができず、例えば、人の動き程度の低速なものでも捕らえることができなかった。また、特殊な高速カメラを用いて処理速度を向上するものもあるが、当該カメラが高価且つ大型なものとなり、人が身につけて使用する用途には適用できなかった。
【０００４】
このため、本願発明者らは、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを開発している（特許文献１参照）。この対象物識別システムでは、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影し、この赤外線画像の中から所定サイズの光点をＩＤタグとして検出することにより対象物の識別情報を取得している。
【非特許文献１】青木恒、カメラで読み取る赤外線タグとその応用、インタラクティブシステムとソフトウェアＶIII（WISS 2000）、日本ソフトウェア科学会、近代科学社、２０００年、ｐｐ．１３１−１３６
【非特許文献２】松下伸行、他４名、ＩＤ Ｃａｍ：シーンとＩＤを同時に取得可能なイメージセンサ、インタラクション２００２、情報処理学会、２００２年、ｐｐ．９−１６
【特許文献１】特開２００４−２０８２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の対象物識別システムでは、赤外線画像の中から所定サイズの光点を中心とする領域を切り出して一つのＩＤタグを検出しているため、複数のＩＤタグを同時に且つ連続的に検出することができない。
【０００６】
本発明の目的は、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる対象物識別システムを提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る対象物識別システムは、対象物に取り付けられた複数の発光装置と、ユーザに装着された検出装置とを備え、発光装置は、赤外線を発光する発光手段と、当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備え、検出装置は、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定領域の画像を所定間隔で順次撮影する撮影手段と、撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、作成した多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、光点検出手段により検出された光点の点滅状態を基に発光装置の識別情報を検出する識別情報検出手段とを備えるものである。
【０００８】
本発明に係る対象物識別システムにおいては、発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅し、ユーザに装着された検出装置により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の画像が撮影され、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出され、検出された光点の点滅状態を基に発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。また、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができる。したがって、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【０００９】
光点検出手段は、撮影手段により撮影された画像を、所定の基準明度値を基に多値化した多値化画像を作成することが好ましい。
【００１０】
この場合、所定の基準明度値を基に多値化画像を作成しているので、多値化処理にフレームバッファ等の特別なメモリを用いることなく、多値化画像を高速に作成することができる。
【００１１】
光点検出手段は、撮影手段により撮影された画像を、当該画像の直前に撮影された画像の輝度値を基に多値化した多値化画像を作成することが好ましい。
【００１２】
この場合、直前に撮影された画像の輝度値を基に多値化画像を作成することができるので、撮影環境が変化した場合でも、明度の変化を正確に反映した多値化画像を作成することができる。
【００１３】
光点検出手段は、撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成する多値化回路と、多値化回路により多値化された多値化画像を記憶する記憶回路と、記憶回路に記憶されている多値化画像を参照して各画素の時間的な明暗の変化を基に点滅する光点を検出する変化検出回路とを備え、識別情報検出手段は、変化検出回路により検出された光点に対応する多値化値を記憶回路から読み出してデコードすることにより発光装置の識別情報を検出することが好ましい。
【００１４】
この場合、多値化回路及び変化検出回路を専用のハードウエアから作成することができるので、点滅する光点をより高速に検出することができ、ユーザの視線方向に位置する多数の対象物を同時に且つ連続的に識別することができる。
【００１５】
識別情報検出手段は、変化検出回路により検出された光点に対応する画素が点滅していない場合、当該画素の周辺に位置する画素の多値化値を記憶回路から読み出してデコードすることにより発光装置の識別情報を検出することが好ましい。
【００１６】
この場合、光点として検出された画素だけでなく、当該画素の周辺に位置する画素の多値化値をも用いて光点の点滅状態をデコードすることができるので、対象物が高速に移動する場合でも、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【００１７】
撮影手段は、可視光及び赤外光を含む光を可視光と赤外光とに分離する分離手段と、分離手段により分離された赤外光を受光して対象物を含む所定の撮影領域の赤外線画像を撮影する赤外線撮影手段と、分離手段により分離された可視光を受光して対象物を含む所定の撮影領域の可視光画像を撮影する可視光撮影手段とを備え、光点検出手段は、赤外線撮影手段により撮影された赤外線画像を、各画素の明度を基に多値化した多値化画像を作成し、作成した多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出し、検出装置は、ユーザの頭部に装着されることが好ましい。
【００１８】
この場合、ユーザの視線方向に位置する複数の対象物を、同一の光軸で赤外線画像及び可視光画像として撮影することができるので、対象物の可視光画像及び近赤外線画像上の位置が一致し、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができるとともに、対象物の位置を高精度に検出することができる。また、撮影手段の構成を簡略化することができるので、可視光撮影手段をも一体に構成し、ユーザの頭部への装着に適した小型の検出装置を実現することができる。
【００１９】
検出装置は、赤外線を発光する発光手段と、当該検出装置を装着するユーザに対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備える検出装置用発光装置をさらに備え、検出装置は、ユーザの頭部に装着されることが好ましい。
【００２０】
この場合、ユーザに対して一意的に割り付けられた識別情報に応じて点滅する発光手段を一体に構成して小型化した検出装置をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別されることができ、対象物識別システムの用途を拡大することができる。
【００２１】
上記対象物識別システムは、ユーザが位置する空間を構成する構造物に固定された固定検出装置をさらに備え、固定検出装置は、所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の画像を所定間隔で順次撮影する撮影手段と、撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、光点検出手段により検出された光点の点滅状態を検出して発光装置の識別情報を検出する識別情報検出手段とを備えることが好ましい。
【００２２】
この場合、ユーザの頭部に装着された検出装置だけでなく、ユーザが位置する空間を構成する構造物に固定された固定検出装置により、遠方に位置するユーザ及びユーザの視線方向の対象物を識別することができるので、異なる視点からユーザの周囲の状況を広範囲に検出することができる。
【００２３】
本発明に係る検出装置は、ユーザに装着され、対象物に取り付けられた発光装置を検出する検出装置であって、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定領域の画像を所定間隔で順次撮影する撮影手段と、撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、光点検出手段により検出された光点の点滅状態を検出して発光装置の識別情報を検出する識別情報検出手段とを備えるものである。
【００２４】
本発明に係る検出装置においては、対象物に発光装置が取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅する場合、ユーザの視線方向に位置する対象物を含む所定の撮影領域の画像が撮影され、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出され、検出された光点の点滅状態を基に発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。また、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができる。したがって、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【発明の効果】
【００２５】
本発明によれば、ユーザの視線方向に位置する対象物を含む所定の撮影領域の画像が撮影され、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出されるので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができ、検出された光点の点滅状態を基に複数の発光装置の識別情報が検出されるので、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明による対象物識別システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。
【００２７】
図１に示す対象物識別システムは、検出装置１、赤外線タグ６及び固定検出装置７を備える。赤外線タグ６は、対象物自体又はその近傍に取り付けられ、対象物に対して一意的に割り付けられたＩＤ番号（識別情報）を赤外線の点滅により送信する。検出装置１は、ユーザに装着され、ユーザの視界内に位置する赤外線タグ６から送信される対象物のＩＤ番号及び赤外線タグ６の赤外線画像内のＸＹ座標を検出するとともに、赤外線タグ６を含む可視光画像を撮影し、検出したＩＤ番号及びＸＹ座標等の情報及び撮影した可視光画像を携帯型コンピュータ１０へ出力する。携帯型コンピュータ１０は、入力される各情報に対して時間情報の付加等の所定の処理を行い、各情報を無線によりサーバ１１へ送信する。
【００２８】
また、検出装置１は、ユーザのＩＤ番号を赤外線の点滅により送信する。固定検出装置７は、ユーザが位置する空間を構成する構造物に固定され、撮影範囲内に位置する検出装置１及び赤外線タグ６から送信されるＩＤ番号及び検出装置１及び赤外線タグ６の赤外線画像内のＸＹ座標を検出してサーバ１１へ出力する。
【００２９】
上記のようにして収集された各情報は、サーバ１１において種々の用途に使用され、例えば、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成するために使用される。
【００３０】
検出装置１は、赤外線検出部２、画像撮影部３、赤外線タグ４及びマイク部５を備える。図２は、図１に示す検出装置１の外観を示す模式的斜視図である。図２に示すように、検出装置１は、ユーザの頭部に装着される耳かけ式ネックバンド方式ヘッドセットとして構成され、ユーザの頭部に装着される。赤外線検出部２及び画像撮影部３は直方体形状の筺体に一体に内蔵され、赤外線タグ４は筺体の側面に一体に固定され、マイク部５はユーザの口元付近に配置される。また、携帯型コンピュータ１０は、ユーザに背負われて使用され、検出装置１からの各出力が携帯型コンピュータ１０へ供給される。
【００３１】
再び、図１を参照して、赤外線タグ６は、ＬＥＤ（Light Emitting Diode）６１及び駆動回路６２を備える。ＬＥＤ６１は、赤外線ＬＥＤ等から構成され、例えば、光通信用高出力発光ダイオード（スタンレイ社製ＤＮ３１１）等を用いることができ、指向性が弱く且つ可視光に近い８００ｎｍ程度の赤外ＬＥＤを好適に用いることができる。
【００３２】
駆動回路６２は、マイクロコンピュータ等から構成され、例えば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２３２３等を用いることができ、赤外線タグ６が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号が識別可能なようにＬＥＤ６１を点滅制御する。なお、ＬＥＤ６１及び駆動回路６２は、内部電池（図示省略）から電源を供給されている。
【００３３】
具体的には、駆動回路６２は、マンチェスタ符号化方式を用い、データ間隔８ｍｓ／１ｂｉｔで、スタートビット（２ｂｉｔ）、１番目（ＩＤ１番目）／続き（ＩＤ連続）符号（１ｂｉｔ）、ＩＤ番号（１０ｂｉｔ）及びパリティビット（１ｂｉｔ）のデータフォーマットに従い、ＬＥＤ６１を点滅させ、ＩＤ番号を繰り返し送信する。
【００３４】
画像撮影部３は、レンズ３１、光学素子３２及びＣＣＤカメラ３３を備える。レンズ３１は、ユーザの視線方向に位置し且つ赤外線タグ６が取り付けられた対象物を含む所定撮影範囲の可視光及び近赤外光を光学素子３２へ導く。光学素子３２は、近赤外光を反射して赤外線検出部２へ導き、可視光を通過させて可視光画像をＣＣＤカメラ３３上に結像させる。ＣＣＤカメラ３３は、可視光画像を撮影して映像信号を携帯型コンピュータ１０へ出力する。
【００３５】
このように、画像撮影部３及び赤外線検出部２は、光学素子３２により分離された可視光及び近赤外光を用い、同一光軸上の可視光画像及び近赤外線画像を撮影することができるので、対象物の可視光画像及び近赤外線画像上の位置が完全に一致し、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができるとともに、対象物の位置を高精度に検出することができる。
【００３６】
赤外線検出部２は、反射素子２１、ＣＭＯＳイメージセンサ２２及び画像処理装置２３を備える。反射素子２１は、光学素子３２からの近赤外光を反射してＣＭＯＳイメージセンサ２２上に結像させる。ＣＭＯＳイメージセンサ２２は、結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置２３へ出力する。ＣＭＯＳイメージセンサ２２としては、例えば、ナショナルセミコンダクター社製高感度モノクロＣＭＯＳイメージセンサＬＭ９６３０等を用いることができ、この場合、解像度は１２８×９８ｐｉｘｅｌ、フレームレートは５００ｆｐｓである。
【００３７】
画像処理装置２３は、ＣＭＯＳイメージセンサ２２の制御及びデータ処理を行い、ＣＭＯＳイメージセンサ２２により撮影された近赤外線画像から赤外線タグ６を検出し、検出した赤外線タグ６の点滅状態からＩＤ番号を検出するとともに、近赤外線画像上の赤外線タグ６のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータをＲＳ２３２Ｃ等のデータ伝送規格に従って携帯型コンピュータ１０へ出力する。このように、赤外線検出部２では、主に近赤外線のみから作成された近赤外線画像を用いて赤外線タグ６のＩＤ番号を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理を高速化することができる。
【００３８】
赤外線タグ４は、ＬＥＤ４１及び駆動回路４２を備える。赤外線タグ４は、検出装置１に一体に構成され、検出装置１を装着するユーザのＩＤ番号を送信する点を除き、赤外線タグ６と同様のハードウエアから構成され、同様に動作する。この場合、ユーザに対して一意的に割り付けられたＩＤ番号に応じて点滅する赤外線タグ４を一体に構成して小型化した検出装置１をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別され、上記のインタラクション・コーパスの収集等の種々の用途に好適に用いることができる。
【００３９】
マイク部５は、音声処理回路５１及びマイクロホン５２を備える。マイクロホン５２は、ユーザの発話又は周囲音を集音して音声処理回路５１へ出力し、音声処理回路５１は録音された音声信号を携帯型コンピュータ１０へ出力する。なお、音声を録音しない場合は、マイク部５を省略してもよく、また、ユーザに音声等を伝達するためにスピーカ等をヘッドセットに一体に構成してもよい。
【００４０】
固定検出装置７は、赤外線フィルタ７１、レンズ７２、ＣＭＯＳイメージセンサ７３及び画像処理装置７４を備える。赤外線フィルタ７１は、赤外線タグ４のＬＥＤ４１等から発光される赤外線のうち主に近赤外線のみ透過させてレンズ７２に近赤外線を導く。赤外線フィルタ７１としては、例えば、可視光をブロックし、近赤外光をパスするエドモンド社製プラスチックＩＲパスフィルタを用いることができる。レンズ７２は、赤外線フィルタ７１を透過した近赤外線をＣＭＯＳイメージセンサ７３上に結像させる。ＣＭＯＳイメージセンサ７３及び画像処理装置７４は、上記の赤外線検出部２のＣＭＯＳイメージセンサ２２及び画像処理装置２３と同様に構成され、同様に動作する。
【００４１】
サーバ１１は、固定検出装置７から出力される赤外線タグ４のＩＤ番号及び赤外線画像内のＸＹ座標、並びに検出装置１から出力される赤外線タグ６のＩＤ番号及び赤外線画像内のＸＹ座標等を受け、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成する処理を実行する。
【００４２】
次に、図１に示す画像処理装置２３について詳細に説明する。図３は、図１に示す画像処理装置２３の構成を示すブロック図である。図３に示すように、画像処理装置２３は、２値化回路８１、ＳＲＡＭ（Static Random Access Memory）８２、明度変化検出回路８３及びデコード回路８４を備える。例えば、２値化回路８１及び明度変化検出回路８３は、ＣＰＬＤ（Complex Programmable Logic Device）等から構成され、デコード回路８４は、ＣＰＵ等から構成され、ＣＰＵで所定のデコードプログラムを実行することによりデコード処理を行う。なお、画像処理装置２３の構成は、上記の例に特に限定されず、すべてを専用のハードウエア回路から構成する等の種々の変更が可能である。
【００４３】
２値化回路８１は、撮影された近赤外線画像を構成する各画素の明度データをＣＭＯＳイメージセンサ２２から受け、各画素の明度値を予め記憶している基準明度値と比較して２値化し、２値化画素データをＳＲＡＭ８２に順次記憶させる。例えば、ＣＭＯＳイメージセンサ２２から２５６階調で明度データが出力される場合、１２８階調以上の明度を「１」に変換し、１２８階調未満の明度を「０」に変換する。多値化処理は、上記の例に特に限定されず、１２８階調以上の明度を「２」、１２８階調未満６４階調以上を「１」、６４階調未満を「０」に変換し、「２」の場合を「明」、「０」の場合を「滅」として点滅状態を判断する等の種々の変更が可能である。
【００４４】
ＳＲＡＭ８２は、ＣＭＯＳイメージセンサ２２により撮影された近赤外線画像を複数枚、例えば、６７２枚記憶可能な記憶容量を有し、２値化回路８１から出力される２値化画素データを画像毎に記憶する。
【００４５】
明度変化検出回路８３は、連続して撮影された複数枚、例えば、５枚の２値化画像の各画素データをＳＲＡＭ８２から読み出し、各２値化画像上で同一位置にある画素データが点滅すなわち時間的に「１」又は「０」を交互に繰り返している全ての点滅画素を光点（赤外線タグ６）として検出し、検出した複数の光点の２値化画像上の位置及び当該画像の撮影フレーム数を特定するための位置情報、例えば、当該点滅画素データのＳＲＡＭ８２の記憶アドレスをデコード回路８４へ出力する。
【００４６】
また、明度変化検出回路８３は、隣接する複数の画素が点滅している場合、これらの画素を一つの光点として検出する。この場合、同時に点滅している隣接する複数の画素を一つの光点として検出することができるので、ＣＭＯＳイメージセンサ２２の１画素の大きさに拘らず、種々の大きさのＬＥＤ６１を一つの光点として正確に検出することができる。
【００４７】
デコード回路８４は、点滅画素の位置情報を基に２値化画像内の点滅画素の２値化画素データをＳＲＡＭ８２から順次読み出してデコードし、複数の光点すなわち複数の赤外線タグ６のＩＤ番号及びその撮影画像上のＸＹ座標を携帯型コンピュータ１０へ出力する。
【００４８】
また、デコード回路８４は、明度変化検出回路８３により検出された光点に対応する画素が点滅していない場合、当該画素の周辺に位置する画素の２値化画素データをＳＲＡＭ８２から読み出し、周辺の画素の時間的に前後する２値化画素データをも用いて光点の点滅状態を再度デコードして赤外線タグ６のＩＤ番号を検出する。この場合、光点として検出された画素だけでなく、当該画素の周辺に位置する画素の２値化値をも用いて光点の点滅状態をデコードすることができるので、対象物が高速に移動する場合でも、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【００４９】
本実施の形態では、赤外線タグ６が発光装置の一例に相当し、検出装置１が検出装置の一例に相当し、ＬＥＤ６１が発光手段の一例に相当し、駆動回路６２が発光制御手段の一例に相当し、反射素子２１、ＣＭＯＳイメージセンサ２２、光学素子３２及びＣＣＤカメラ３３が撮影手段の一例に相当し、２値化回路８１、ＳＲＡＭ８２及び明度変化検出回路８３が光点検出手段の一例に相当し、デコード回路８４が識別情報検出手段の一例に相当する。
【００５０】
また、２値化回路８１が多値化回路の一例に相当し、ＳＲＡＭ８２が記憶回路の一例に相当し、明度変化検出回路８３が変化検出回路の一例に相当し、反射素子２１及び光学素子３２が分離手段の一例に相当し、ＣＭＯＳイメージセンサ２２が赤外線撮影手段の一例に相当し、ＣＣＤカメラ３３が可視光撮影手段の一例に相当する。
【００５１】
また、赤外線タグ４が検出装置用発光装置の一例に相当し、ＬＥＤ４１が発光手段の一例に相当し、駆動回路４２が発光制御手段の一例に相当し、固定検出装置７が固定検出装置の一例に相当し、赤外線フィルタ７１、レンズ７２及びＣＭＯＳイメージセンサ７３が撮影手段の一例に相当し、画像処理装置７４が光点検出手段及び識別情報検出手段の一例に相当する。
【００５２】
次に、上記のように構成された検出装置１による赤外線タグ検出処理について説明する。図４は、図１に示す検出装置１の赤外線タグ検出処理を説明するためのフローチャートである。
【００５３】
まず、画像処理装置２３は、ＣＭＯＳイメージセンサ２２等を初期化し（ステップＳ１１）、全画面（１２８×９８ｐｉｘｅｌ）の近赤外線画像を順次撮影して取得する（ステップＳ１２）。次に、２値化回路８１は、撮影された近赤外線画像を構成する各画素の明度データをＣＭＯＳイメージセンサ２２から受け、各画素の明度値を所定の基準明度値と比較して２値化（「０」又は「１」）し、２値化画素データを近赤外線画像毎にＳＲＡＭ８２に記憶させる（ステップＳ１３）。
【００５４】
次に、明度変化検出回路８３は、連続して撮影された複数枚の２値化画像の各画素の２値化画素データをＳＲＡＭ８２から読み出し、各２値化画像上で同一位置にある２値化画素データが「１」又は「０」を所定順序で交互に繰り返している全ての点滅画素を光点として検出し、検出した複数の光点の画像上の各位置及び当該画像の撮影フレーム数を特定するための位置情報をデコード回路８４へ出力する（ステップＳ１４）。
【００５５】
次に、デコード回路８４は、点滅画素の位置情報を基にＳＲＡＭ８２から複数の２値化画像の各光点の２値化画素データを順次読み出してデコードし（ステップＳ１５）、デコード結果に対してパリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ１６）。
【００５６】
ここで、パリティチェックが正しければ（ステップＳ１６でＹＥＳ）、デコード回路８４は、デコードした赤外線タグ６のＩＤ番号及びＸＹ座標を携帯型コンピュータ１０へ出力し（ステップＳ１７）、その後、ステップＳ１２に戻って上記の処理を継続する。
【００５７】
一方、パリティチェックが正しくなければ（ステップＳ１６でＮＯ）、デコード回路８４は、点滅画素の位置情報を基に当該画素の周辺に位置する画素、例えば、点滅画素の上下、左右及び斜めに位置する８画素の２値化画素データをＳＲＡＭ８２から読み出し、読み出した２値化画素データと点滅画素の２値化画素データとの論理和をデコードし（ステップＳ１８）、デコード結果に対して再度パリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ１９）。
【００５８】
ここで、パリティチェックが正しければ（ステップＳ１９でＹＥＳ）、デコード回路８４は、デコードした赤外線タグ６のＩＤ番号及びＸＹ座標を携帯型コンピュータ１０へ出力し（ステップＳ１７）、その後、ステップＳ１２に戻って上記の処理を継続する。また、パリティチェックが正しくない場合もステップＳ１２に戻って上記の処理を継続する。
【００５９】
上記のように、本実施の形態では、赤外線タグ６が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号をＬＥＤ６１の点滅により送信し、ユーザに装着された検出装置１により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の近赤外線画像が撮影され、撮影された近赤外線画像から各画素の明度を所定の基準明度値と比較して２値化画像が作成され、作成された２値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出され、検出された光点の点滅状態を基に複数の赤外線タグ６のＩＤ番号及びその位置が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。また、撮影された近赤外線画像を２値化した２値化画像が作成され、作成された２値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができる。したがって、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【００６０】
また、所定の基準明度値と比較して２多値化画像を作成しているので、２値化処理にフレームバッファ等の特別なメモリを必要がなく、２値化画像を高速に作成することができるとともに、そのデータ容量を削減することができるので、ＳＲＡＭ８２の記憶容量を低く抑えることができる。さらに、２値化回路８１及び明度変化検出回路８３をＣＰＬＤから構成しているので、複数の光点をより高速に検出することができる。
【００６１】
次に、図１に示すＣＭＯＳイメージセンサ２２及び画像処理装置２３の他の例について詳細に説明する。図５は、図１に示すＣＭＯＳイメージセンサ及び画像処理装置の他の例の構成を示すブロック図である。
【００６２】
図５に示すように、ＣＭＯＳイメージセンサ２２ａは、反射素子２１（図１参照）により反射された近赤外線から構成される近赤外線画像を撮影して画像処理装置２３ａへ出力する。ＣＭＯＳイメージセンサ２２ａとしては、例えば、ＭＩＣＲＯＮ社製撮像エリアＣＭＯＳ型撮像素子ＭＴ９Ｍ４１３等を用いることができ、この場合、解像度は１２８０×１０２４ｐｉｘｅｌ、フレームレートは４００ｆｐｓである。
【００６３】
なお、上記のような高解像度のＣＭＯＳイメージセンサを用いる場合、近赤外光及び可視光に対して感度を有していれば、ＣＣＤカメラ３３を省略してＣＭＯＳイメージセンサ２２ａを可視光画像の撮影にも用いることができ、検出装置１の構成をより簡略化することができる。
【００６４】
画像処理装置２３ａは、ＣＭＯＳイメージセンサ２２ａの制御及びデータ処理を行い、ＣＭＯＳイメージセンサ２２ａにより撮影された近赤外線画像から赤外線タグ６を検出し、検出した赤外線タグ６の点滅状態からＩＤ番号を検出するとともに、近赤外線画像上の赤外線タグ６のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータを携帯型コンピュータ１０へ出力する。
【００６５】
画像処理装置２３ａは、４値化回路９１、フレームバッファ９２、ＳＲＡＭ９３、明度変化検出回路９４及びデコード回路９５を備える。例えば、４値化回路９１及び明度変化検出回路９４は、ＦＰＧＡ（Fileld Programmable Gate Array）等から構成され、デコード回路９５は、ＣＰＵ等から構成され、ＣＰＵで所定のデコードプログラムを実行することにより下記のデコード処理を行う。なお、画像処理装置２３ａの構成は、上記の例に特に限定されず、すべてを専用のハードウエア回路から構成する等の種々の変更が可能である。
【００６６】
４値化回路９１は、複数フレーム、例えば、２０フレームを比較処理単位として近赤外線画像を処理し、１フレーム目の赤外線画像をフレームバッファ９２に記憶させ、２フレーム目の赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している１フレーム目の赤外線画像を構成する各画素の明度データとを比較し、比較結果として４値化した４値化画素データをＳＲＡＭ９３に記憶させるとともに、２フレーム目の赤外線画像をフレームバッファ９２に記憶させる。
【００６７】
以降、上記と同様に、４値化回路９１は、現フレームの赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している直前フレームの赤外線画像を構成する各画素の明度データとを比較し、比較結果から４値化した４値化画素データをＳＲＡＭ９３に記憶させるとともに、現フレーム（比較処理単位の最終フレームを除く）の赤外線画像をフレームバッファ９２に記憶させる処理を繰り返す。ＳＲＡＭ９３は、４値化回路９１から出力される４値化画像の４値化画素データを比較処理単位、例えば、２０フレーム単位で記憶する。
【００６８】
例えば、現フレームの判定対象画素の明度値をｐ、直前フレームの該当画素の明度値をＰ、予め定めた閾値をＴとすると、４値化回路９１は、ＳＲＡＭ９３に、Ｐ≦ｐ＜Ｐ＋Ｔのときは「０」を記憶させ、Ｐ＋Ｔ≦ｐのときは「１」を記憶させ、Ｐ−Ｔ＜ｐ＜Ｐのときは「２」を記憶させ、ｐ≦Ｐ−Ｔのときは「３」を記憶させ、画素毎に直前フレームと明度を比較して４段階に分類する。
【００６９】
明度変化検出回路９４は、比較処理単位の最終フレームがＳＲＡＭ９３に記憶されたときに、比較処理単位となる複数フレーム、例えば、２０フレームの４値化画素データをＳＲＡＭ９３から読み出し、読み出した４値化画像の４値化画素データを基に各画素の明滅状態を判定し、判定結果から光点（赤外線タグ６）として判断した複数の光点の４値化画像上の位置及び当該画像の撮影フレーム数を特定するための位置情報、例えば、当該点滅画素データのＳＲＡＭ９３の記憶アドレスをデコード回路９５へ出力する。また、明度変化検出回路９４は、隣接する複数の画素が点滅していると判断した場合、これらの画素を一つの光点として検出する。
【００７０】
例えば、比較処理単位が２０フレーム単位のとき、明度変化検出回路９４は、各画素の明滅状態として、全１９フレーム中に「１」か「３」の４値化画素データが合計４回以上出る場合は当該画素を「０」と判定し、連続する１０フレーム以内に「１」の４値化画素データと「３」の４値化画素データとが両方出る場合は当該画素を「１」と判定し、全１９フレーム中に「１」か「３」の４値化画素データが合計２回以上３回以下出る場合は当該画素を「２」と判定し、全１９フレーム中に「１」か「３」の４値化画素データが合計１回以下しか出ない場合は当該画素を「３」と判定し、判定結果が「０」又は「１」の画素を光点として検出する。
【００７１】
デコード回路９５は、点滅画素の位置情報を基に４値化画像内の点滅画素の４値化画素データをＳＲＡＭ９３から順次読み出し、４値化画素データが「１」の場合を「１」（明状態）、４値化画素データが「３」の場合を「０」（滅状態）としてデコードし、複数の光点すなわち赤外線タグ６のＩＤ番号及びその撮影画像上のＸＹ座標を携帯型コンピュータ１０へ出力する。
【００７２】
また、比較処理単位の複数フレーム中に赤外線タグ６が画素を跨いで移動した場合に対処するため、明度変化検出回路９４は、判定結果が「１」又は「２」の画素の位置情報をデコード回路９５へ出力するようにしてもよい。この場合、デコード回路９５は、当該画素の周辺に位置する画素の明度判定結果データをＳＲＡＭ９３から読み出し、周辺の画素の時間的に前後する４値化画素データをも用いて光点の点滅状態を再度デコードして赤外線タグ６のＩＤ番号を検出する。また、フレーム毎に近赤外線画像を濃淡でラベリングし、ラベリングされた各領域の重心座標、面積、円形度、フィレ径、平均明度等を記録し、その形状のＬＥＤらしさを判定して光点を検出するようにしてもよい。
【００７３】
本例では、ＣＭＯＳイメージセンサ２２ａが撮影手段の一例に相当し、４値化回路９１、フレームバッファ９２、ＳＲＡＭ９３及び明度変化検出回路９４が光点検出手段の一例に相当し、デコード回路９５が識別情報検出手段の一例に相当し、４値化回路９１が多値化回路の一例に相当し、ＳＲＡＭ９３が記憶回路の一例に相当し、明度変化検出回路９４が変化検出回路の一例に相当する。
【００７４】
次に、図５に示すＣＭＯＳイメージセンサ２２ａ及び画像処理装置２３ａを用いた赤外線タグ検出処理について説明する。図６は、図５に示すＣＭＯＳイメージセンサ２２ａ及び画像処理装置２３ａを用いた赤外線タグ検出処理を説明するためのフローチャートである。
【００７５】
まず、画像処理装置２３ａは、ＣＭＯＳイメージセンサ２２ａ等を初期化し（ステップＳ２１）、全画面（１２８０×１０２４ｐｉｘｅｌ）の近赤外線画像を順次撮影して取得する（ステップＳ２２）。次に、４値化回路９１は、直前フレームの近赤外線画像を構成する各画素の明度データをフレームバッファ９２に記憶させ、現フレームの近赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している直前フレームの近赤外線画像を構成する各画素の明度データとを比較し、比較結果を４値化して比較処理単位で４値化画素データをＳＲＡＭ９３に記憶させる（ステップＳ２３）。
【００７６】
次に、明度変化検出回路９４は、比較処理単位の最終フレームがＳＲＡＭ９３に記憶されたときに、比較処理単位となる１９フレームの４値化画素データをＳＲＡＭ９３から読み出し、読み出した４値化画素データを基に各画素の明滅状態を上記の「０」〜「３」に４値化して判定する（ステップＳ２４）
ここで、明滅状態が「０」又は「１」の場合（ステップＳ２５でＹＥＳ）、明度変化検出回路９４は、当該画素を光点（赤外線タグ６）として判定し、判定した複数の光点の画像上の各位置及び当該画像の撮影フレーム数を特定するための位置情報をデコード回路９５へ出力する。
【００７７】
次に、デコード回路９５は、点滅画素の位置情報を基にＳＲＡＭ９３から複数の４値化画像の各光点の４値化画素データを順次読み出し、４値化画素データが「１」の場合を「１」、４値化画素データが「３」の場合を「０」としてデコードし（ステップＳ２６）、デコード結果に対してパリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ２７）。
【００７８】
ここで、パリティチェックが正しければ（ステップＳ２７でＹＥＳ）、デコード回路９５は、デコードした赤外線タグ６のＩＤ番号及びＸＹ座標を携帯型コンピュータ１０へ出力し（ステップＳ２８）、その後、ステップＳ２２に戻って上記の処理を継続する。
【００７９】
一方、明滅状態が「０」又は「１」でない場合（ステップＳ２５でＮＯ）、又は、パリティチェックが正しくなければ（ステップＳ２６でＮＯ）、デコード回路９５は、点滅画素の位置情報を基に当該画素の周辺に位置する画素、例えば、点滅画素の上下、左右及び斜めに位置する８画素の明度変化判定結果データをＳＲＡＭ９３から読み出し、読み出した４値化画素データと点滅画素の４値化画素データとを用いてデコードし（ステップＳ２９）、デコード結果に対して再度パリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ３０）。
【００８０】
ここで、パリティチェックが正しければ（ステップＳ３０でＹＥＳ）、デコード回路９５は、デコードした赤外線タグ６のＩＤ番号及びＸＹ座標を携帯型コンピュータ１０へ出力し（ステップＳ２８）、その後、ステップＳ２２に戻って上記の処理を継続する。また、パリティチェックが正しくない場合もステップＳ２２に戻って上記の処理を継続する。
【００８１】
上記のように、本例でも、ユーザの視線方向に位置する対象物を含む所定の撮影領域の近赤外線画像が撮影され、撮影された近赤外線画像の各画素の明度と直前に撮影された近赤外線画像の明度と比較して４値化画像が作成され、作成された４値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出され、検出された光点の点滅状態を基に複数の赤外線タグ６のＩＤ番号が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。また、撮影された近赤外線画像を４値化した４値化画像が作成され、作成された４値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができる。したがって、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【００８２】
また、直前に撮影された近赤外線画像の明度と比較して４多値化画像を作成しているので、撮影環境が変化した場合でも、明度の変化を正確に反映した４値化画像を作成することができる。さらに、４値化回路９１及び明度変化検出回路９４をＦＰＧＡから構成しているので、複数の光点をより高速に検出することができる。
【００８３】
次に、上記のように構成された対象物識別システムの応用例について説明する。図７は、図１に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【００８４】
図７に示すように、説明員Ｐ１等が検出装置１を頭部に装着するとともに、携帯型コンピュータ１０を背負っている。赤外線タグ６は、訪問者Ｐ２の胸部に装着されるとともに、環境側の対象物として展示説明用のコンピュータＭ１及びロボットＭ２、展示用のぬいぐるみＭ３、展示説明用ボードＢ１等に取り付けられ、それぞれ個別のＩＤ番号を送信する。また、展示場の天井又は壁には、固定検出装置７が取り付けられている。
【００８５】
上記のように各装置が配置されることにより、例えば、検出装置１により説明員Ｐ１の視界に入った訪問者Ｐ２等が対象物として識別され、固定検出装置７により説明員Ｐ１が対象物として識別されるとともに、説明員Ｐ１の周囲の対象物として訪問者Ｐ２、ロボットＭ２等が識別される。このようにして、展示場における人と人とのインタラクション等に関するインタラクションデータを収集することができ、収集したデータから知識ベースとなるインタラクション・コーパスを作成することが可能となる。
【００８６】
上記の説明では、インタラクション・コーパスの収集を例に説明したが、本発明が適用可能な用途は、上記の例に特に限定されず、種々の用途に適用することができる。また、一つの対象物に一つの赤外線タグを取り付けたが、一つの対象物に同一のＩＤ番号を送信する複数の赤外線タグを設けるようにしてもよい。また、本実施の形態では、撮影した画像を２値化又は４値化したが、多値化の例はこれらの例に特に限定されず、３値化等の他の数を用いてもよい。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。
【図２】図１に示す検出装置の外観を示す模式的斜視図である。
【図３】図１に示す画像処理装置の構成を示すブロック図である。
【図４】図１に示す検出装置の赤外線タグ検出処理を説明するためのフローチャートである。
【図５】図１に示すＣＭＯＳイメージセンサ及び画像処理装置の他の例の構成を示すブロック図である。
【図６】図５に示すＣＭＯＳイメージセンサ及び画像処理装置を用いた赤外線タグ検出処理を説明するためのフローチャートである。
【図７】図１に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【符号の説明】
【００８８】
１ 検出装置
２ 赤外線検出部
３ 画像撮影部
４ 赤外線タグ
５ マイク部
６ 赤外線タグ
７ 固定検出装置
２１ 反射素子
２２ ＣＭＯＳイメージセンサ
２３ 画像処理装置
３１ レンズ
３２ 光学素子
３３ ＣＣＤカメラ
４１ ＬＥＤ
４２ 駆動回路
５１ 音声処理回路
５２ マイクロホン
６１ ＬＥＤ
６２ 駆動回路
７１ 赤外線フィルタ
７２ レンズ
７３ ＣＭＯＳイメージセンサ
７４ 画像処理装置
８１ ２値化回路
８２ ＳＲＡＭ
８３ 明度変化検出回路
８４ デコード回路
９１ ４値化回路
９２ フレームバッファ
９３ ＳＲＡＭ
９４ 明度変化検出回路
９５ デコード回路
【技術分野】
【０００１】
本発明は、対象物に取り付けられた発光装置を、ユーザに装着された検出装置により検出してユーザの視界内に位置する対象物を識別する対象物識別システム、当該対象物識別システムに用いられる検出装置に関するものである。
【背景技術】
【０００２】
近年、部屋の中での人の動きを認識するために、無線やウェアラブルな航行システムを使って個人の位置を知る技術が開発されている。また、赤外線を高速点滅させるＩＤタグを用いて、人が見ている対象物のＩＤ（識別情報）を自動認識させる技術が開発されている（例えば、非特許文献１，２参照）。
【０００３】
しかしながら、上記の赤外線を高速点滅させるＩＤタグを用いる方法では、通常のカメラを利用しているため、処理速度を充分に確保することができず、例えば、人の動き程度の低速なものでも捕らえることができなかった。また、特殊な高速カメラを用いて処理速度を向上するものもあるが、当該カメラが高価且つ大型なものとなり、人が身につけて使用する用途には適用できなかった。
【０００４】
このため、本願発明者らは、ユーザの視線方向に位置する対象物を識別することができるとともに、処理速度が高速で且つ人が装着できるように小型化及び低コスト化が可能な対象物識別システムを開発している（特許文献１参照）。この対象物識別システムでは、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定の撮影領域の赤外線画像を撮影し、この赤外線画像の中から所定サイズの光点をＩＤタグとして検出することにより対象物の識別情報を取得している。
【非特許文献１】青木恒、カメラで読み取る赤外線タグとその応用、インタラクティブシステムとソフトウェアＶIII（WISS 2000）、日本ソフトウェア科学会、近代科学社、２０００年、ｐｐ．１３１−１３６
【非特許文献２】松下伸行、他４名、ＩＤ Ｃａｍ：シーンとＩＤを同時に取得可能なイメージセンサ、インタラクション２００２、情報処理学会、２００２年、ｐｐ．９−１６
【特許文献１】特開２００４−２０８２２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の対象物識別システムでは、赤外線画像の中から所定サイズの光点を中心とする領域を切り出して一つのＩＤタグを検出しているため、複数のＩＤタグを同時に且つ連続的に検出することができない。
【０００６】
本発明の目的は、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる対象物識別システムを提供することである。
【課題を解決するための手段】
【０００７】
本発明に係る対象物識別システムは、対象物に取り付けられた複数の発光装置と、ユーザに装着された検出装置とを備え、発光装置は、赤外線を発光する発光手段と、当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備え、検出装置は、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定領域の画像を所定間隔で順次撮影する撮影手段と、撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、作成した多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、光点検出手段により検出された光点の点滅状態を基に発光装置の識別情報を検出する識別情報検出手段とを備えるものである。
【０００８】
本発明に係る対象物識別システムにおいては、発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅し、ユーザに装着された検出装置により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の画像が撮影され、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出され、検出された光点の点滅状態を基に発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。また、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができる。したがって、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【０００９】
光点検出手段は、撮影手段により撮影された画像を、所定の基準明度値を基に多値化した多値化画像を作成することが好ましい。
【００１０】
この場合、所定の基準明度値を基に多値化画像を作成しているので、多値化処理にフレームバッファ等の特別なメモリを用いることなく、多値化画像を高速に作成することができる。
【００１１】
光点検出手段は、撮影手段により撮影された画像を、当該画像の直前に撮影された画像の輝度値を基に多値化した多値化画像を作成することが好ましい。
【００１２】
この場合、直前に撮影された画像の輝度値を基に多値化画像を作成することができるので、撮影環境が変化した場合でも、明度の変化を正確に反映した多値化画像を作成することができる。
【００１３】
光点検出手段は、撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成する多値化回路と、多値化回路により多値化された多値化画像を記憶する記憶回路と、記憶回路に記憶されている多値化画像を参照して各画素の時間的な明暗の変化を基に点滅する光点を検出する変化検出回路とを備え、識別情報検出手段は、変化検出回路により検出された光点に対応する多値化値を記憶回路から読み出してデコードすることにより発光装置の識別情報を検出することが好ましい。
【００１４】
この場合、多値化回路及び変化検出回路を専用のハードウエアから作成することができるので、点滅する光点をより高速に検出することができ、ユーザの視線方向に位置する多数の対象物を同時に且つ連続的に識別することができる。
【００１５】
識別情報検出手段は、変化検出回路により検出された光点に対応する画素が点滅していない場合、当該画素の周辺に位置する画素の多値化値を記憶回路から読み出してデコードすることにより発光装置の識別情報を検出することが好ましい。
【００１６】
この場合、光点として検出された画素だけでなく、当該画素の周辺に位置する画素の多値化値をも用いて光点の点滅状態をデコードすることができるので、対象物が高速に移動する場合でも、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【００１７】
撮影手段は、可視光及び赤外光を含む光を可視光と赤外光とに分離する分離手段と、分離手段により分離された赤外光を受光して対象物を含む所定の撮影領域の赤外線画像を撮影する赤外線撮影手段と、分離手段により分離された可視光を受光して対象物を含む所定の撮影領域の可視光画像を撮影する可視光撮影手段とを備え、光点検出手段は、赤外線撮影手段により撮影された赤外線画像を、各画素の明度を基に多値化した多値化画像を作成し、作成した多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出し、検出装置は、ユーザの頭部に装着されることが好ましい。
【００１８】
この場合、ユーザの視線方向に位置する複数の対象物を、同一の光軸で赤外線画像及び可視光画像として撮影することができるので、対象物の可視光画像及び近赤外線画像上の位置が一致し、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができるとともに、対象物の位置を高精度に検出することができる。また、撮影手段の構成を簡略化することができるので、可視光撮影手段をも一体に構成し、ユーザの頭部への装着に適した小型の検出装置を実現することができる。
【００１９】
検出装置は、赤外線を発光する発光手段と、当該検出装置を装着するユーザに対して一意的に割り付けられた識別情報に応じて発光手段を点滅させる発光制御手段とを備える検出装置用発光装置をさらに備え、検出装置は、ユーザの頭部に装着されることが好ましい。
【００２０】
この場合、ユーザに対して一意的に割り付けられた識別情報に応じて点滅する発光手段を一体に構成して小型化した検出装置をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別されることができ、対象物識別システムの用途を拡大することができる。
【００２１】
上記対象物識別システムは、ユーザが位置する空間を構成する構造物に固定された固定検出装置をさらに備え、固定検出装置は、所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の画像を所定間隔で順次撮影する撮影手段と、撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、光点検出手段により検出された光点の点滅状態を検出して発光装置の識別情報を検出する識別情報検出手段とを備えることが好ましい。
【００２２】
この場合、ユーザの頭部に装着された検出装置だけでなく、ユーザが位置する空間を構成する構造物に固定された固定検出装置により、遠方に位置するユーザ及びユーザの視線方向の対象物を識別することができるので、異なる視点からユーザの周囲の状況を広範囲に検出することができる。
【００２３】
本発明に係る検出装置は、ユーザに装着され、対象物に取り付けられた発光装置を検出する検出装置であって、ユーザの視線方向に略一致させた光軸を有し、対象物を含む所定領域の画像を所定間隔で順次撮影する撮影手段と、撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、光点検出手段により検出された光点の点滅状態を検出して発光装置の識別情報を検出する識別情報検出手段とを備えるものである。
【００２４】
本発明に係る検出装置においては、対象物に発光装置が取り付けられ、当該対象物に対して一意的に割り付けられた識別情報に応じて発光装置が点滅する場合、ユーザの視線方向に位置する対象物を含む所定の撮影領域の画像が撮影され、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出され、検出された光点の点滅状態を基に発光装置の識別情報が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。また、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができる。したがって、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【発明の効果】
【００２５】
本発明によれば、ユーザの視線方向に位置する対象物を含む所定の撮影領域の画像が撮影され、撮影された画像から各画素の明度を基に多値化した多値化画像が作成され、作成された多値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出されるので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができ、検出された光点の点滅状態を基に複数の発光装置の識別情報が検出されるので、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明による対象物識別システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。
【００２７】
図１に示す対象物識別システムは、検出装置１、赤外線タグ６及び固定検出装置７を備える。赤外線タグ６は、対象物自体又はその近傍に取り付けられ、対象物に対して一意的に割り付けられたＩＤ番号（識別情報）を赤外線の点滅により送信する。検出装置１は、ユーザに装着され、ユーザの視界内に位置する赤外線タグ６から送信される対象物のＩＤ番号及び赤外線タグ６の赤外線画像内のＸＹ座標を検出するとともに、赤外線タグ６を含む可視光画像を撮影し、検出したＩＤ番号及びＸＹ座標等の情報及び撮影した可視光画像を携帯型コンピュータ１０へ出力する。携帯型コンピュータ１０は、入力される各情報に対して時間情報の付加等の所定の処理を行い、各情報を無線によりサーバ１１へ送信する。
【００２８】
また、検出装置１は、ユーザのＩＤ番号を赤外線の点滅により送信する。固定検出装置７は、ユーザが位置する空間を構成する構造物に固定され、撮影範囲内に位置する検出装置１及び赤外線タグ６から送信されるＩＤ番号及び検出装置１及び赤外線タグ６の赤外線画像内のＸＹ座標を検出してサーバ１１へ出力する。
【００２９】
上記のようにして収集された各情報は、サーバ１１において種々の用途に使用され、例えば、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成するために使用される。
【００３０】
検出装置１は、赤外線検出部２、画像撮影部３、赤外線タグ４及びマイク部５を備える。図２は、図１に示す検出装置１の外観を示す模式的斜視図である。図２に示すように、検出装置１は、ユーザの頭部に装着される耳かけ式ネックバンド方式ヘッドセットとして構成され、ユーザの頭部に装着される。赤外線検出部２及び画像撮影部３は直方体形状の筺体に一体に内蔵され、赤外線タグ４は筺体の側面に一体に固定され、マイク部５はユーザの口元付近に配置される。また、携帯型コンピュータ１０は、ユーザに背負われて使用され、検出装置１からの各出力が携帯型コンピュータ１０へ供給される。
【００３１】
再び、図１を参照して、赤外線タグ６は、ＬＥＤ（Light Emitting Diode）６１及び駆動回路６２を備える。ＬＥＤ６１は、赤外線ＬＥＤ等から構成され、例えば、光通信用高出力発光ダイオード（スタンレイ社製ＤＮ３１１）等を用いることができ、指向性が弱く且つ可視光に近い８００ｎｍ程度の赤外ＬＥＤを好適に用いることができる。
【００３２】
駆動回路６２は、マイクロコンピュータ等から構成され、例えば、Ａｔｍｅｌ社製４ＭＨｚ駆動マイコンＡＴ９０Ｓ２３２３等を用いることができ、赤外線タグ６が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号が識別可能なようにＬＥＤ６１を点滅制御する。なお、ＬＥＤ６１及び駆動回路６２は、内部電池（図示省略）から電源を供給されている。
【００３３】
具体的には、駆動回路６２は、マンチェスタ符号化方式を用い、データ間隔８ｍｓ／１ｂｉｔで、スタートビット（２ｂｉｔ）、１番目（ＩＤ１番目）／続き（ＩＤ連続）符号（１ｂｉｔ）、ＩＤ番号（１０ｂｉｔ）及びパリティビット（１ｂｉｔ）のデータフォーマットに従い、ＬＥＤ６１を点滅させ、ＩＤ番号を繰り返し送信する。
【００３４】
画像撮影部３は、レンズ３１、光学素子３２及びＣＣＤカメラ３３を備える。レンズ３１は、ユーザの視線方向に位置し且つ赤外線タグ６が取り付けられた対象物を含む所定撮影範囲の可視光及び近赤外光を光学素子３２へ導く。光学素子３２は、近赤外光を反射して赤外線検出部２へ導き、可視光を通過させて可視光画像をＣＣＤカメラ３３上に結像させる。ＣＣＤカメラ３３は、可視光画像を撮影して映像信号を携帯型コンピュータ１０へ出力する。
【００３５】
このように、画像撮影部３及び赤外線検出部２は、光学素子３２により分離された可視光及び近赤外光を用い、同一光軸上の可視光画像及び近赤外線画像を撮影することができるので、対象物の可視光画像及び近赤外線画像上の位置が完全に一致し、ユーザの視線方向に位置する対象物を識別するだけでなく、当該対象物の画像も同時に撮影することができるとともに、対象物の位置を高精度に検出することができる。
【００３６】
赤外線検出部２は、反射素子２１、ＣＭＯＳイメージセンサ２２及び画像処理装置２３を備える。反射素子２１は、光学素子３２からの近赤外光を反射してＣＭＯＳイメージセンサ２２上に結像させる。ＣＭＯＳイメージセンサ２２は、結像された近赤外線から構成される近赤外線画像を撮影して画像処理装置２３へ出力する。ＣＭＯＳイメージセンサ２２としては、例えば、ナショナルセミコンダクター社製高感度モノクロＣＭＯＳイメージセンサＬＭ９６３０等を用いることができ、この場合、解像度は１２８×９８ｐｉｘｅｌ、フレームレートは５００ｆｐｓである。
【００３７】
画像処理装置２３は、ＣＭＯＳイメージセンサ２２の制御及びデータ処理を行い、ＣＭＯＳイメージセンサ２２により撮影された近赤外線画像から赤外線タグ６を検出し、検出した赤外線タグ６の点滅状態からＩＤ番号を検出するとともに、近赤外線画像上の赤外線タグ６のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータをＲＳ２３２Ｃ等のデータ伝送規格に従って携帯型コンピュータ１０へ出力する。このように、赤外線検出部２では、主に近赤外線のみから作成された近赤外線画像を用いて赤外線タグ６のＩＤ番号を検出することができるので、外乱となる可視光領域の波長を有する光による悪影響を充分に低減することができ、検出処理を高速化することができる。
【００３８】
赤外線タグ４は、ＬＥＤ４１及び駆動回路４２を備える。赤外線タグ４は、検出装置１に一体に構成され、検出装置１を装着するユーザのＩＤ番号を送信する点を除き、赤外線タグ６と同様のハードウエアから構成され、同様に動作する。この場合、ユーザに対して一意的に割り付けられたＩＤ番号に応じて点滅する赤外線タグ４を一体に構成して小型化した検出装置１をユーザの頭部に装着することができるので、ユーザが見る側として当該ユーザの視線方向に位置する対象物を識別するだけでなく、当該ユーザが見られる側として他のユーザの視線方向に位置する対象物として識別され、上記のインタラクション・コーパスの収集等の種々の用途に好適に用いることができる。
【００３９】
マイク部５は、音声処理回路５１及びマイクロホン５２を備える。マイクロホン５２は、ユーザの発話又は周囲音を集音して音声処理回路５１へ出力し、音声処理回路５１は録音された音声信号を携帯型コンピュータ１０へ出力する。なお、音声を録音しない場合は、マイク部５を省略してもよく、また、ユーザに音声等を伝達するためにスピーカ等をヘッドセットに一体に構成してもよい。
【００４０】
固定検出装置７は、赤外線フィルタ７１、レンズ７２、ＣＭＯＳイメージセンサ７３及び画像処理装置７４を備える。赤外線フィルタ７１は、赤外線タグ４のＬＥＤ４１等から発光される赤外線のうち主に近赤外線のみ透過させてレンズ７２に近赤外線を導く。赤外線フィルタ７１としては、例えば、可視光をブロックし、近赤外光をパスするエドモンド社製プラスチックＩＲパスフィルタを用いることができる。レンズ７２は、赤外線フィルタ７１を透過した近赤外線をＣＭＯＳイメージセンサ７３上に結像させる。ＣＭＯＳイメージセンサ７３及び画像処理装置７４は、上記の赤外線検出部２のＣＭＯＳイメージセンサ２２及び画像処理装置２３と同様に構成され、同様に動作する。
【００４１】
サーバ１１は、固定検出装置７から出力される赤外線タグ４のＩＤ番号及び赤外線画像内のＸＹ座標、並びに検出装置１から出力される赤外線タグ６のＩＤ番号及び赤外線画像内のＸＹ座標等を受け、人と人とのインタラクション等に関するインタラクションデータを蓄積した知識ベースとなるインタラクション・コーパスを作成する処理を実行する。
【００４２】
次に、図１に示す画像処理装置２３について詳細に説明する。図３は、図１に示す画像処理装置２３の構成を示すブロック図である。図３に示すように、画像処理装置２３は、２値化回路８１、ＳＲＡＭ（Static Random Access Memory）８２、明度変化検出回路８３及びデコード回路８４を備える。例えば、２値化回路８１及び明度変化検出回路８３は、ＣＰＬＤ（Complex Programmable Logic Device）等から構成され、デコード回路８４は、ＣＰＵ等から構成され、ＣＰＵで所定のデコードプログラムを実行することによりデコード処理を行う。なお、画像処理装置２３の構成は、上記の例に特に限定されず、すべてを専用のハードウエア回路から構成する等の種々の変更が可能である。
【００４３】
２値化回路８１は、撮影された近赤外線画像を構成する各画素の明度データをＣＭＯＳイメージセンサ２２から受け、各画素の明度値を予め記憶している基準明度値と比較して２値化し、２値化画素データをＳＲＡＭ８２に順次記憶させる。例えば、ＣＭＯＳイメージセンサ２２から２５６階調で明度データが出力される場合、１２８階調以上の明度を「１」に変換し、１２８階調未満の明度を「０」に変換する。多値化処理は、上記の例に特に限定されず、１２８階調以上の明度を「２」、１２８階調未満６４階調以上を「１」、６４階調未満を「０」に変換し、「２」の場合を「明」、「０」の場合を「滅」として点滅状態を判断する等の種々の変更が可能である。
【００４４】
ＳＲＡＭ８２は、ＣＭＯＳイメージセンサ２２により撮影された近赤外線画像を複数枚、例えば、６７２枚記憶可能な記憶容量を有し、２値化回路８１から出力される２値化画素データを画像毎に記憶する。
【００４５】
明度変化検出回路８３は、連続して撮影された複数枚、例えば、５枚の２値化画像の各画素データをＳＲＡＭ８２から読み出し、各２値化画像上で同一位置にある画素データが点滅すなわち時間的に「１」又は「０」を交互に繰り返している全ての点滅画素を光点（赤外線タグ６）として検出し、検出した複数の光点の２値化画像上の位置及び当該画像の撮影フレーム数を特定するための位置情報、例えば、当該点滅画素データのＳＲＡＭ８２の記憶アドレスをデコード回路８４へ出力する。
【００４６】
また、明度変化検出回路８３は、隣接する複数の画素が点滅している場合、これらの画素を一つの光点として検出する。この場合、同時に点滅している隣接する複数の画素を一つの光点として検出することができるので、ＣＭＯＳイメージセンサ２２の１画素の大きさに拘らず、種々の大きさのＬＥＤ６１を一つの光点として正確に検出することができる。
【００４７】
デコード回路８４は、点滅画素の位置情報を基に２値化画像内の点滅画素の２値化画素データをＳＲＡＭ８２から順次読み出してデコードし、複数の光点すなわち複数の赤外線タグ６のＩＤ番号及びその撮影画像上のＸＹ座標を携帯型コンピュータ１０へ出力する。
【００４８】
また、デコード回路８４は、明度変化検出回路８３により検出された光点に対応する画素が点滅していない場合、当該画素の周辺に位置する画素の２値化画素データをＳＲＡＭ８２から読み出し、周辺の画素の時間的に前後する２値化画素データをも用いて光点の点滅状態を再度デコードして赤外線タグ６のＩＤ番号を検出する。この場合、光点として検出された画素だけでなく、当該画素の周辺に位置する画素の２値化値をも用いて光点の点滅状態をデコードすることができるので、対象物が高速に移動する場合でも、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【００４９】
本実施の形態では、赤外線タグ６が発光装置の一例に相当し、検出装置１が検出装置の一例に相当し、ＬＥＤ６１が発光手段の一例に相当し、駆動回路６２が発光制御手段の一例に相当し、反射素子２１、ＣＭＯＳイメージセンサ２２、光学素子３２及びＣＣＤカメラ３３が撮影手段の一例に相当し、２値化回路８１、ＳＲＡＭ８２及び明度変化検出回路８３が光点検出手段の一例に相当し、デコード回路８４が識別情報検出手段の一例に相当する。
【００５０】
また、２値化回路８１が多値化回路の一例に相当し、ＳＲＡＭ８２が記憶回路の一例に相当し、明度変化検出回路８３が変化検出回路の一例に相当し、反射素子２１及び光学素子３２が分離手段の一例に相当し、ＣＭＯＳイメージセンサ２２が赤外線撮影手段の一例に相当し、ＣＣＤカメラ３３が可視光撮影手段の一例に相当する。
【００５１】
また、赤外線タグ４が検出装置用発光装置の一例に相当し、ＬＥＤ４１が発光手段の一例に相当し、駆動回路４２が発光制御手段の一例に相当し、固定検出装置７が固定検出装置の一例に相当し、赤外線フィルタ７１、レンズ７２及びＣＭＯＳイメージセンサ７３が撮影手段の一例に相当し、画像処理装置７４が光点検出手段及び識別情報検出手段の一例に相当する。
【００５２】
次に、上記のように構成された検出装置１による赤外線タグ検出処理について説明する。図４は、図１に示す検出装置１の赤外線タグ検出処理を説明するためのフローチャートである。
【００５３】
まず、画像処理装置２３は、ＣＭＯＳイメージセンサ２２等を初期化し（ステップＳ１１）、全画面（１２８×９８ｐｉｘｅｌ）の近赤外線画像を順次撮影して取得する（ステップＳ１２）。次に、２値化回路８１は、撮影された近赤外線画像を構成する各画素の明度データをＣＭＯＳイメージセンサ２２から受け、各画素の明度値を所定の基準明度値と比較して２値化（「０」又は「１」）し、２値化画素データを近赤外線画像毎にＳＲＡＭ８２に記憶させる（ステップＳ１３）。
【００５４】
次に、明度変化検出回路８３は、連続して撮影された複数枚の２値化画像の各画素の２値化画素データをＳＲＡＭ８２から読み出し、各２値化画像上で同一位置にある２値化画素データが「１」又は「０」を所定順序で交互に繰り返している全ての点滅画素を光点として検出し、検出した複数の光点の画像上の各位置及び当該画像の撮影フレーム数を特定するための位置情報をデコード回路８４へ出力する（ステップＳ１４）。
【００５５】
次に、デコード回路８４は、点滅画素の位置情報を基にＳＲＡＭ８２から複数の２値化画像の各光点の２値化画素データを順次読み出してデコードし（ステップＳ１５）、デコード結果に対してパリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ１６）。
【００５６】
ここで、パリティチェックが正しければ（ステップＳ１６でＹＥＳ）、デコード回路８４は、デコードした赤外線タグ６のＩＤ番号及びＸＹ座標を携帯型コンピュータ１０へ出力し（ステップＳ１７）、その後、ステップＳ１２に戻って上記の処理を継続する。
【００５７】
一方、パリティチェックが正しくなければ（ステップＳ１６でＮＯ）、デコード回路８４は、点滅画素の位置情報を基に当該画素の周辺に位置する画素、例えば、点滅画素の上下、左右及び斜めに位置する８画素の２値化画素データをＳＲＡＭ８２から読み出し、読み出した２値化画素データと点滅画素の２値化画素データとの論理和をデコードし（ステップＳ１８）、デコード結果に対して再度パリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ１９）。
【００５８】
ここで、パリティチェックが正しければ（ステップＳ１９でＹＥＳ）、デコード回路８４は、デコードした赤外線タグ６のＩＤ番号及びＸＹ座標を携帯型コンピュータ１０へ出力し（ステップＳ１７）、その後、ステップＳ１２に戻って上記の処理を継続する。また、パリティチェックが正しくない場合もステップＳ１２に戻って上記の処理を継続する。
【００５９】
上記のように、本実施の形態では、赤外線タグ６が取り付けられた対象物に対して一意的に割り付けられたＩＤ番号をＬＥＤ６１の点滅により送信し、ユーザに装着された検出装置１により、ユーザの視線方向に位置する対象物を含む所定の撮影領域の近赤外線画像が撮影され、撮影された近赤外線画像から各画素の明度を所定の基準明度値と比較して２値化画像が作成され、作成された２値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出され、検出された光点の点滅状態を基に複数の赤外線タグ６のＩＤ番号及びその位置が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。また、撮影された近赤外線画像を２値化した２値化画像が作成され、作成された２値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができる。したがって、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【００６０】
また、所定の基準明度値と比較して２多値化画像を作成しているので、２値化処理にフレームバッファ等の特別なメモリを必要がなく、２値化画像を高速に作成することができるとともに、そのデータ容量を削減することができるので、ＳＲＡＭ８２の記憶容量を低く抑えることができる。さらに、２値化回路８１及び明度変化検出回路８３をＣＰＬＤから構成しているので、複数の光点をより高速に検出することができる。
【００６１】
次に、図１に示すＣＭＯＳイメージセンサ２２及び画像処理装置２３の他の例について詳細に説明する。図５は、図１に示すＣＭＯＳイメージセンサ及び画像処理装置の他の例の構成を示すブロック図である。
【００６２】
図５に示すように、ＣＭＯＳイメージセンサ２２ａは、反射素子２１（図１参照）により反射された近赤外線から構成される近赤外線画像を撮影して画像処理装置２３ａへ出力する。ＣＭＯＳイメージセンサ２２ａとしては、例えば、ＭＩＣＲＯＮ社製撮像エリアＣＭＯＳ型撮像素子ＭＴ９Ｍ４１３等を用いることができ、この場合、解像度は１２８０×１０２４ｐｉｘｅｌ、フレームレートは４００ｆｐｓである。
【００６３】
なお、上記のような高解像度のＣＭＯＳイメージセンサを用いる場合、近赤外光及び可視光に対して感度を有していれば、ＣＣＤカメラ３３を省略してＣＭＯＳイメージセンサ２２ａを可視光画像の撮影にも用いることができ、検出装置１の構成をより簡略化することができる。
【００６４】
画像処理装置２３ａは、ＣＭＯＳイメージセンサ２２ａの制御及びデータ処理を行い、ＣＭＯＳイメージセンサ２２ａにより撮影された近赤外線画像から赤外線タグ６を検出し、検出した赤外線タグ６の点滅状態からＩＤ番号を検出するとともに、近赤外線画像上の赤外線タグ６のＸＹ座標を検出し、ＩＤ番号及びＸＹ座標等のデータを携帯型コンピュータ１０へ出力する。
【００６５】
画像処理装置２３ａは、４値化回路９１、フレームバッファ９２、ＳＲＡＭ９３、明度変化検出回路９４及びデコード回路９５を備える。例えば、４値化回路９１及び明度変化検出回路９４は、ＦＰＧＡ（Fileld Programmable Gate Array）等から構成され、デコード回路９５は、ＣＰＵ等から構成され、ＣＰＵで所定のデコードプログラムを実行することにより下記のデコード処理を行う。なお、画像処理装置２３ａの構成は、上記の例に特に限定されず、すべてを専用のハードウエア回路から構成する等の種々の変更が可能である。
【００６６】
４値化回路９１は、複数フレーム、例えば、２０フレームを比較処理単位として近赤外線画像を処理し、１フレーム目の赤外線画像をフレームバッファ９２に記憶させ、２フレーム目の赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している１フレーム目の赤外線画像を構成する各画素の明度データとを比較し、比較結果として４値化した４値化画素データをＳＲＡＭ９３に記憶させるとともに、２フレーム目の赤外線画像をフレームバッファ９２に記憶させる。
【００６７】
以降、上記と同様に、４値化回路９１は、現フレームの赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している直前フレームの赤外線画像を構成する各画素の明度データとを比較し、比較結果から４値化した４値化画素データをＳＲＡＭ９３に記憶させるとともに、現フレーム（比較処理単位の最終フレームを除く）の赤外線画像をフレームバッファ９２に記憶させる処理を繰り返す。ＳＲＡＭ９３は、４値化回路９１から出力される４値化画像の４値化画素データを比較処理単位、例えば、２０フレーム単位で記憶する。
【００６８】
例えば、現フレームの判定対象画素の明度値をｐ、直前フレームの該当画素の明度値をＰ、予め定めた閾値をＴとすると、４値化回路９１は、ＳＲＡＭ９３に、Ｐ≦ｐ＜Ｐ＋Ｔのときは「０」を記憶させ、Ｐ＋Ｔ≦ｐのときは「１」を記憶させ、Ｐ−Ｔ＜ｐ＜Ｐのときは「２」を記憶させ、ｐ≦Ｐ−Ｔのときは「３」を記憶させ、画素毎に直前フレームと明度を比較して４段階に分類する。
【００６９】
明度変化検出回路９４は、比較処理単位の最終フレームがＳＲＡＭ９３に記憶されたときに、比較処理単位となる複数フレーム、例えば、２０フレームの４値化画素データをＳＲＡＭ９３から読み出し、読み出した４値化画像の４値化画素データを基に各画素の明滅状態を判定し、判定結果から光点（赤外線タグ６）として判断した複数の光点の４値化画像上の位置及び当該画像の撮影フレーム数を特定するための位置情報、例えば、当該点滅画素データのＳＲＡＭ９３の記憶アドレスをデコード回路９５へ出力する。また、明度変化検出回路９４は、隣接する複数の画素が点滅していると判断した場合、これらの画素を一つの光点として検出する。
【００７０】
例えば、比較処理単位が２０フレーム単位のとき、明度変化検出回路９４は、各画素の明滅状態として、全１９フレーム中に「１」か「３」の４値化画素データが合計４回以上出る場合は当該画素を「０」と判定し、連続する１０フレーム以内に「１」の４値化画素データと「３」の４値化画素データとが両方出る場合は当該画素を「１」と判定し、全１９フレーム中に「１」か「３」の４値化画素データが合計２回以上３回以下出る場合は当該画素を「２」と判定し、全１９フレーム中に「１」か「３」の４値化画素データが合計１回以下しか出ない場合は当該画素を「３」と判定し、判定結果が「０」又は「１」の画素を光点として検出する。
【００７１】
デコード回路９５は、点滅画素の位置情報を基に４値化画像内の点滅画素の４値化画素データをＳＲＡＭ９３から順次読み出し、４値化画素データが「１」の場合を「１」（明状態）、４値化画素データが「３」の場合を「０」（滅状態）としてデコードし、複数の光点すなわち赤外線タグ６のＩＤ番号及びその撮影画像上のＸＹ座標を携帯型コンピュータ１０へ出力する。
【００７２】
また、比較処理単位の複数フレーム中に赤外線タグ６が画素を跨いで移動した場合に対処するため、明度変化検出回路９４は、判定結果が「１」又は「２」の画素の位置情報をデコード回路９５へ出力するようにしてもよい。この場合、デコード回路９５は、当該画素の周辺に位置する画素の明度判定結果データをＳＲＡＭ９３から読み出し、周辺の画素の時間的に前後する４値化画素データをも用いて光点の点滅状態を再度デコードして赤外線タグ６のＩＤ番号を検出する。また、フレーム毎に近赤外線画像を濃淡でラベリングし、ラベリングされた各領域の重心座標、面積、円形度、フィレ径、平均明度等を記録し、その形状のＬＥＤらしさを判定して光点を検出するようにしてもよい。
【００７３】
本例では、ＣＭＯＳイメージセンサ２２ａが撮影手段の一例に相当し、４値化回路９１、フレームバッファ９２、ＳＲＡＭ９３及び明度変化検出回路９４が光点検出手段の一例に相当し、デコード回路９５が識別情報検出手段の一例に相当し、４値化回路９１が多値化回路の一例に相当し、ＳＲＡＭ９３が記憶回路の一例に相当し、明度変化検出回路９４が変化検出回路の一例に相当する。
【００７４】
次に、図５に示すＣＭＯＳイメージセンサ２２ａ及び画像処理装置２３ａを用いた赤外線タグ検出処理について説明する。図６は、図５に示すＣＭＯＳイメージセンサ２２ａ及び画像処理装置２３ａを用いた赤外線タグ検出処理を説明するためのフローチャートである。
【００７５】
まず、画像処理装置２３ａは、ＣＭＯＳイメージセンサ２２ａ等を初期化し（ステップＳ２１）、全画面（１２８０×１０２４ｐｉｘｅｌ）の近赤外線画像を順次撮影して取得する（ステップＳ２２）。次に、４値化回路９１は、直前フレームの近赤外線画像を構成する各画素の明度データをフレームバッファ９２に記憶させ、現フレームの近赤外線画像を構成する各画素の明度データとフレームバッファ９２に記憶している直前フレームの近赤外線画像を構成する各画素の明度データとを比較し、比較結果を４値化して比較処理単位で４値化画素データをＳＲＡＭ９３に記憶させる（ステップＳ２３）。
【００７６】
次に、明度変化検出回路９４は、比較処理単位の最終フレームがＳＲＡＭ９３に記憶されたときに、比較処理単位となる１９フレームの４値化画素データをＳＲＡＭ９３から読み出し、読み出した４値化画素データを基に各画素の明滅状態を上記の「０」〜「３」に４値化して判定する（ステップＳ２４）
ここで、明滅状態が「０」又は「１」の場合（ステップＳ２５でＹＥＳ）、明度変化検出回路９４は、当該画素を光点（赤外線タグ６）として判定し、判定した複数の光点の画像上の各位置及び当該画像の撮影フレーム数を特定するための位置情報をデコード回路９５へ出力する。
【００７７】
次に、デコード回路９５は、点滅画素の位置情報を基にＳＲＡＭ９３から複数の４値化画像の各光点の４値化画素データを順次読み出し、４値化画素データが「１」の場合を「１」、４値化画素データが「３」の場合を「０」としてデコードし（ステップＳ２６）、デコード結果に対してパリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ２７）。
【００７８】
ここで、パリティチェックが正しければ（ステップＳ２７でＹＥＳ）、デコード回路９５は、デコードした赤外線タグ６のＩＤ番号及びＸＹ座標を携帯型コンピュータ１０へ出力し（ステップＳ２８）、その後、ステップＳ２２に戻って上記の処理を継続する。
【００７９】
一方、明滅状態が「０」又は「１」でない場合（ステップＳ２５でＮＯ）、又は、パリティチェックが正しくなければ（ステップＳ２６でＮＯ）、デコード回路９５は、点滅画素の位置情報を基に当該画素の周辺に位置する画素、例えば、点滅画素の上下、左右及び斜めに位置する８画素の明度変化判定結果データをＳＲＡＭ９３から読み出し、読み出した４値化画素データと点滅画素の４値化画素データとを用いてデコードし（ステップＳ２９）、デコード結果に対して再度パリティチェックを行い、読み込みデータの判定処理を行う（ステップＳ３０）。
【００８０】
ここで、パリティチェックが正しければ（ステップＳ３０でＹＥＳ）、デコード回路９５は、デコードした赤外線タグ６のＩＤ番号及びＸＹ座標を携帯型コンピュータ１０へ出力し（ステップＳ２８）、その後、ステップＳ２２に戻って上記の処理を継続する。また、パリティチェックが正しくない場合もステップＳ２２に戻って上記の処理を継続する。
【００８１】
上記のように、本例でも、ユーザの視線方向に位置する対象物を含む所定の撮影領域の近赤外線画像が撮影され、撮影された近赤外線画像の各画素の明度と直前に撮影された近赤外線画像の明度と比較して４値化画像が作成され、作成された４値化画像の各画素の時間的な明暗の変化を基に点滅する光点が検出され、検出された光点の点滅状態を基に複数の赤外線タグ６のＩＤ番号が検出されるので、ユーザの視線方向に位置する対象物を識別することができる。また、撮影された近赤外線画像を４値化した４値化画像が作成され、作成された４値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出しているので、一枚の画像に含まれる複数の光点を同時に且つ高速に検出することができる。したがって、ユーザの視線方向に位置する複数の対象物を同時に且つ連続的に識別することができる。
【００８２】
また、直前に撮影された近赤外線画像の明度と比較して４多値化画像を作成しているので、撮影環境が変化した場合でも、明度の変化を正確に反映した４値化画像を作成することができる。さらに、４値化回路９１及び明度変化検出回路９４をＦＰＧＡから構成しているので、複数の光点をより高速に検出することができる。
【００８３】
次に、上記のように構成された対象物識別システムの応用例について説明する。図７は、図１に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【００８４】
図７に示すように、説明員Ｐ１等が検出装置１を頭部に装着するとともに、携帯型コンピュータ１０を背負っている。赤外線タグ６は、訪問者Ｐ２の胸部に装着されるとともに、環境側の対象物として展示説明用のコンピュータＭ１及びロボットＭ２、展示用のぬいぐるみＭ３、展示説明用ボードＢ１等に取り付けられ、それぞれ個別のＩＤ番号を送信する。また、展示場の天井又は壁には、固定検出装置７が取り付けられている。
【００８５】
上記のように各装置が配置されることにより、例えば、検出装置１により説明員Ｐ１の視界に入った訪問者Ｐ２等が対象物として識別され、固定検出装置７により説明員Ｐ１が対象物として識別されるとともに、説明員Ｐ１の周囲の対象物として訪問者Ｐ２、ロボットＭ２等が識別される。このようにして、展示場における人と人とのインタラクション等に関するインタラクションデータを収集することができ、収集したデータから知識ベースとなるインタラクション・コーパスを作成することが可能となる。
【００８６】
上記の説明では、インタラクション・コーパスの収集を例に説明したが、本発明が適用可能な用途は、上記の例に特に限定されず、種々の用途に適用することができる。また、一つの対象物に一つの赤外線タグを取り付けたが、一つの対象物に同一のＩＤ番号を送信する複数の赤外線タグを設けるようにしてもよい。また、本実施の形態では、撮影した画像を２値化又は４値化したが、多値化の例はこれらの例に特に限定されず、３値化等の他の数を用いてもよい。
【図面の簡単な説明】
【００８７】
【図１】本発明の一実施の形態による対象物識別システムの構成を示すブロック図である。
【図２】図１に示す検出装置の外観を示す模式的斜視図である。
【図３】図１に示す画像処理装置の構成を示すブロック図である。
【図４】図１に示す検出装置の赤外線タグ検出処理を説明するためのフローチャートである。
【図５】図１に示すＣＭＯＳイメージセンサ及び画像処理装置の他の例の構成を示すブロック図である。
【図６】図５に示すＣＭＯＳイメージセンサ及び画像処理装置を用いた赤外線タグ検出処理を説明するためのフローチャートである。
【図７】図１に示す対象物識別システムを用いた展示場におけるインタラクション・コーパスの収集例を説明するための模式図である。
【符号の説明】
【００８８】
１ 検出装置
２ 赤外線検出部
３ 画像撮影部
４ 赤外線タグ
５ マイク部
６ 赤外線タグ
７ 固定検出装置
２１ 反射素子
２２ ＣＭＯＳイメージセンサ
２３ 画像処理装置
３１ レンズ
３２ 光学素子
３３ ＣＣＤカメラ
４１ ＬＥＤ
４２ 駆動回路
５１ 音声処理回路
５２ マイクロホン
６１ ＬＥＤ
６２ 駆動回路
７１ 赤外線フィルタ
７２ レンズ
７３ ＣＭＯＳイメージセンサ
７４ 画像処理装置
８１ ２値化回路
８２ ＳＲＡＭ
８３ 明度変化検出回路
８４ デコード回路
９１ ４値化回路
９２ フレームバッファ
９３ ＳＲＡＭ
９４ 明度変化検出回路
９５ デコード回路
【特許請求の範囲】
【請求項１】
対象物に取り付けられた複数の発光装置と、ユーザに装着された検出装置とを備え、
前記発光装置は、
赤外線を発光する発光手段と、
当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備え、
前記検出装置は、
ユーザの視線方向に略一致させた光軸を有し、前記対象物を含む所定領域の画像を所定間隔で順次撮影する撮影手段と、
前記撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、作成した多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、
前記光点検出手段により検出された光点の点滅状態を基に前記発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする対象物識別システム。
【請求項２】
前記光点検出手段は、前記撮影手段により撮影された画像を、所定の基準明度値を基に多値化した多値化画像を作成することを特徴とする請求項１記載の対象物識別システム。
【請求項３】
前記光点検出手段は、前記撮影手段により撮影された画像を、当該画像の直前に撮影された画像の輝度値を基に多値化した多値化画像を作成することを特徴とする請求項１記載の対象物識別システム。
【請求項４】
前記光点検出手段は、
前記撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成する多値化回路と、
前記多値化回路により多値化された多値化画像を記憶する記憶回路と、
前記記憶回路に記憶されている多値化画像を参照して各画素の時間的な明暗の変化を基に点滅する光点を検出する変化検出回路とを備え、
前記識別情報検出手段は、前記変化検出回路により検出された光点に対応する多値化値を前記記憶回路から読み出してデコードすることにより前記発光装置の識別情報を検出することを特徴とする請求項１〜３のいずれかに記載の対象物識別システム。
【請求項５】
前記識別情報検出手段は、前記変化検出回路により検出された光点に対応する画素が点滅していない場合、当該画素の周辺に位置する画素の多値化値を前記記憶回路から読み出してデコードすることにより前記発光装置の識別情報を検出することを特徴とする請求項４記載の対象物識別システム。
【請求項６】
前記撮影手段は、
可視光及び赤外光を含む光を可視光と赤外光とに分離する分離手段と、
前記分離手段により分離された赤外光を受光して前記対象物を含む所定の撮影領域の赤外線画像を撮影する赤外線撮影手段と、
前記分離手段により分離された可視光を受光して前記対象物を含む所定の撮影領域の可視光画像を撮影する可視光撮影手段とを備え、
前記光点検出手段は、前記赤外線撮影手段により撮影された赤外線画像を、各画素の明度を基に多値化した多値化画像を作成し、作成した多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出し、
前記検出装置は、ユーザの頭部に装着されることを特徴とする請求項１〜５のいずれかに記載の対象物識別システム。
【請求項７】
前記検出装置は、
赤外線を発光する発光手段と、
当該検出装置を装着するユーザに対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備える検出装置用発光装置をさらに備え、
前記検出装置は、ユーザの頭部に装着されることを特徴とする請求項１〜６のいずれかに記載の対象物識別システム。
【請求項８】
ユーザが位置する空間を構成する構造物に固定された固定検出装置をさらに備え、
前記固定検出装置は、
所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の画像を所定間隔で順次撮影する撮影手段と、
前記撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、前記多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、
前記光点検出手段により検出された光点の点滅状態を検出して前記発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする請求項７記載の対象物識別システム。
【請求項９】
ユーザに装着され、対象物に取り付けられた発光装置を検出する検出装置であって、
ユーザの視線方向に略一致させた光軸を有し、前記対象物を含む所定領域の画像を所定間隔で順次撮影する撮影手段と、
前記撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、前記多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、
前記光点検出手段により検出された光点の点滅状態を検出して前記発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする検出装置。
【請求項１】
対象物に取り付けられた複数の発光装置と、ユーザに装着された検出装置とを備え、
前記発光装置は、
赤外線を発光する発光手段と、
当該発光装置が取り付けられた対象物に対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備え、
前記検出装置は、
ユーザの視線方向に略一致させた光軸を有し、前記対象物を含む所定領域の画像を所定間隔で順次撮影する撮影手段と、
前記撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、作成した多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、
前記光点検出手段により検出された光点の点滅状態を基に前記発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする対象物識別システム。
【請求項２】
前記光点検出手段は、前記撮影手段により撮影された画像を、所定の基準明度値を基に多値化した多値化画像を作成することを特徴とする請求項１記載の対象物識別システム。
【請求項３】
前記光点検出手段は、前記撮影手段により撮影された画像を、当該画像の直前に撮影された画像の輝度値を基に多値化した多値化画像を作成することを特徴とする請求項１記載の対象物識別システム。
【請求項４】
前記光点検出手段は、
前記撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成する多値化回路と、
前記多値化回路により多値化された多値化画像を記憶する記憶回路と、
前記記憶回路に記憶されている多値化画像を参照して各画素の時間的な明暗の変化を基に点滅する光点を検出する変化検出回路とを備え、
前記識別情報検出手段は、前記変化検出回路により検出された光点に対応する多値化値を前記記憶回路から読み出してデコードすることにより前記発光装置の識別情報を検出することを特徴とする請求項１〜３のいずれかに記載の対象物識別システム。
【請求項５】
前記識別情報検出手段は、前記変化検出回路により検出された光点に対応する画素が点滅していない場合、当該画素の周辺に位置する画素の多値化値を前記記憶回路から読み出してデコードすることにより前記発光装置の識別情報を検出することを特徴とする請求項４記載の対象物識別システム。
【請求項６】
前記撮影手段は、
可視光及び赤外光を含む光を可視光と赤外光とに分離する分離手段と、
前記分離手段により分離された赤外光を受光して前記対象物を含む所定の撮影領域の赤外線画像を撮影する赤外線撮影手段と、
前記分離手段により分離された可視光を受光して前記対象物を含む所定の撮影領域の可視光画像を撮影する可視光撮影手段とを備え、
前記光点検出手段は、前記赤外線撮影手段により撮影された赤外線画像を、各画素の明度を基に多値化した多値化画像を作成し、作成した多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出し、
前記検出装置は、ユーザの頭部に装着されることを特徴とする請求項１〜５のいずれかに記載の対象物識別システム。
【請求項７】
前記検出装置は、
赤外線を発光する発光手段と、
当該検出装置を装着するユーザに対して一意的に割り付けられた識別情報に応じて前記発光手段を点滅させる発光制御手段とを備える検出装置用発光装置をさらに備え、
前記検出装置は、ユーザの頭部に装着されることを特徴とする請求項１〜６のいずれかに記載の対象物識別システム。
【請求項８】
ユーザが位置する空間を構成する構造物に固定された固定検出装置をさらに備え、
前記固定検出装置は、
所定方向に設定された光軸を有し、ユーザを含む所定の撮影領域の画像を所定間隔で順次撮影する撮影手段と、
前記撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、前記多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、
前記光点検出手段により検出された光点の点滅状態を検出して前記発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする請求項７記載の対象物識別システム。
【請求項９】
ユーザに装着され、対象物に取り付けられた発光装置を検出する検出装置であって、
ユーザの視線方向に略一致させた光軸を有し、前記対象物を含む所定領域の画像を所定間隔で順次撮影する撮影手段と、
前記撮影手段により撮影された画像を、各画素の明度を基に多値化した多値化画像を作成し、前記多値化画像の各画素の時間的な明暗の変化を基に点滅する光点を検出する光点検出手段と、
前記光点検出手段により検出された光点の点滅状態を検出して前記発光装置の識別情報を検出する識別情報検出手段とを備えることを特徴とする検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−４３５７９（Ｐ２００７−４３５７９Ａ）
【公開日】平成１９年２月１５日（２００７．２．１５）
【国際特許分類】
【出願番号】特願２００５−２２７１３５（Ｐ２００５−２２７１３５）
【出願日】平成１７年８月４日（２００５．８．４）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成１９年２月１５日（２００７．２．１５）
【国際特許分類】
【出願日】平成１７年８月４日（２００５．８．４）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１７年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]