発言者位置特定システム、位置信号出力装置及び位置特定装置
【課題】音声コミュニケーションシステムにおいて、マイクを用いずに短時間で発言者の位置を特定することができ、複数の人が同時に発言を行う場合でも、各発言者の位置を特定することができるようにする。
【解決手段】本発明は、発言者の位置を特定する発言者位置特定システムにおいて、利用者が発した音声を検出し、その音声検出結果に応じて、所定のタイミングで複数の信号波を出力する１又は複数の位置信号出力装置と、各位置信号出力装置から出力された複数の信号波を受信し、受信した複数の信号波を用いて、当該信号波を出力する位置信号出力装置の距離及び方向を求め、当該位置信号出力装置の位置を発言者の位置として特定する位置特定装置とを備えることを特徴とする。
【解決手段】本発明は、発言者の位置を特定する発言者位置特定システムにおいて、利用者が発した音声を検出し、その音声検出結果に応じて、所定のタイミングで複数の信号波を出力する１又は複数の位置信号出力装置と、各位置信号出力装置から出力された複数の信号波を受信し、受信した複数の信号波を用いて、当該信号波を出力する位置信号出力装置の距離及び方向を求め、当該位置信号出力装置の位置を発言者の位置として特定する位置特定装置とを備えることを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、発言者位置特定システム、位置信号出力装置及び位置特定装置に関し、例えば会議システム等の音声コミュニケーションシステムで、複数の参加者のうち発言者の位置を特定する発言者位置特定システム、位置信号出力装置及び位置特定装置に適用し得るものである。
【背景技術】
【０００２】
複数の参加者の間で会議システムを用いて会議を行う場合、発言者の音声や映像を正しく捉えることが望まれる。
【０００３】
例えば、広い会議室の場合、発言者の位置を正確に特定することが難しく、発言者の音声や映像を正確に捉えることが難しい。また例えば、それぞれ離れた拠点間で会議を行う場合、高品質、高臨場感を実現するために、発言者の音声や映像を正確に捉えることが要求される。
【０００４】
そのため、会議システム等の音声コミュニケーションシステムでは、発言者の音声や映像を明瞭に伝達するために、発言者の位置を特定することが必要である。
【０００５】
例えば、特許文献１には、音声の発生方向より発言者の方向を検出し、カメラ映像から発言者の領域を検出し、これらの検出結果を複合的に判断することにより、発言者の位置を特定する技術が記載されている。特許文献１の記載技術は、固定的に全景を撮影するカメラで発言者の位置を検出し、その検出位置に向けてズーム用のカメラを回転させたり又はズームさせたりして発言者の映像を捉えることとしている。
【０００６】
また、特許文献２には、音声の発生方向に基づいてカメラの位置を制御し、カメラ映像から発言者を検出して、映像中の発言者の位置にマーカを表示させる方法が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−２４４５８７号公報
【特許文献２】特開２００３−１８９２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した特許文献１及び特許文献２の記載技術は、音声の発生方向にカメラを向けて発言者を検出する技術である。
【０００９】
発言者が一人の場合には、マイクが捉える音源が１つであるから、その音源の方向にカメラを向けることができるが、複数の者が同時に発言する場合には、複数の音声が重畳されてマイクに収音されるので、音声の発生方向を検出することができない。
【００１０】
そのため、複数の人が同時に発言を行う場合でも発言者の位置を検出することが望まれている。
【００１１】
また、特許文献１の記載技術は、発言者を検出するための全景撮影用カメラと、発言者の映像を伝達するためのズームカメラとを別々に用意しなければならず、例えば会議を行うために、合わせて２台以上のカメラが必要となるという問題がある。
【００１２】
さらに、特許文献１の場合、発言者を検出するカメラが回転やズームが可能であれば、発言者の映像を伝達するカメラと共用することができるが、発言者を確認するまでに時間がかかってしまうという問題がある。
【００１３】
また、特許文献２の記載技術は、音声の発生方向に基づいてカメラを制御する際、一旦、全景が写るようにカメラを制御した後に、発言者を検出するため、発言者の映像を捉えるまでの時間がかかる場合があるという問題点がある。
【００１４】
そのため、カメラを用いず、短時間で発言者の位置を検出することが望まれている。
【００１５】
そこで、本発明は、以上の問題に鑑みたものであり、例えば会議や電話等のコミュニケーションを行う際に、マイクを用いずに短時間で発言者の位置を特定することができ、複数の人が同時に発言を行う場合でも、各発言者の位置を特定することができる発言者位置特定システム、位置信号出力装置及び位置特定装置を提供する。
【課題を解決するための手段】
【００１６】
かかる課題を解決するために、第１の本発明の位置信号出力装置は、発言者の位置を示す位置信号を出力する位置信号出力装置であって、（１）それぞれ複数の信号波を上記位置信号として出力する信号波出力手段と、（２）利用者が発した音声を検出する音声検出手段と、（３）音声検出手段により検出された音声検出結果に応じて、信号波出力手段から出力される複数の信号波の出力制御を行う信号生成制御手段とを備えることを特徴とする。
【００１７】
第２の本発明の位置特定装置は、第１の本発明の位置信号出力装置から出力された位置信号に基づいて、発言者の位置を特定する位置特定装置であって、（１）位置信号出力装置から出力された複数の信号波を受信する受信手段と、（２）受信手段により受信された複数の信号波を用いて、当該信号波を出力する位置信号出力装置の距離及び方向を求め、当該位置信号出力装置の位置を発言者の位置として特定する発言者位置特定手段とを備えることを特徴とする。
【００１８】
第３の本発明の発言者位置特定システムは、発言者の位置を特定する発言者位置特定システムにおいて、（１）利用者が発した音声を検出し、その音声検出結果に応じて、所定のタイミングで複数の信号波を出力する第１の本発明の１又は複数の位置信号出力装置と、（２）各位置信号出力装置から出力された複数の信号波を受信し、受信した複数の信号波を用いて、当該信号波を出力する位置信号出力装置の距離及び方向を求め、当該位置信号出力装置の位置を発言者の位置として特定する第２の本発明の位置特定装置とを備えることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、音声コミュニケーションシステムにおいて、マイクを用いずに短時間で発言者の位置を特定することができ、複数の人が同時に発言を行う場合でも、各発言者の位置を特定することができる。その結果、発言者の音声や映像を正しく捉えることができ、発言者の音声や映像を明瞭に伝達することができる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態の位置被検出装置と会議端末の構成を示す構成図である。
【図２】第１の実施形態の位置被検出装置の外観構成図である。
【図３】第１の実施形態の位置被検出装置の機能構成を示す構成図である。
【図４】第１の実施形態の位置検出部の機能構成を示す構成図である。
【図５】第１の実施形態の位置被検出装置における動作を説明する説明図である。
【図６】第１の実施形態の位置検出部における動作を説明する説明図である。
【図７】第２の実施形態の位置被検出装置と会議端末の構成を示す構成図である。
【図８】第２の実施形態の位置被検出装置の外観構成図である。
【図９】第２の実施形態の位置被検出装置の機能構成を示す構成図である。
【図１０】第２の実施形態の位置信号受信部の構成を示す構成図である。
【図１１】第２の実施形態の位置特定部の機能構成を示す構成図である。
【図１２】第２の実施形態の位置被検出装置における動作を説明する説明図である。
【図１３】第２の実施形態の位置検出装置における動作を説明する説明図である。
【図１４】第２の実施形態の位置検出装置における方向を求める動作を説明する説明図である。
【図１５】第３の実施形態の位置被検出装置における動作を説明する説明図である。
【図１６】第４の実施形態の位置被検出装置における動作を説明する説明図である。
【発明を実施するための形態】
【００２１】
（Ａ）第１の実施形態
以下では、本発明の発言者位置特定システム、位置信号出力装置及び位置特定装置の第１の実施形態を、図面を参照しながら説明する。
【００２２】
第１の実施形態では、複数の参加者が参加するテレビ会議システムを構成する発言者位置特定システムに、本発明を適用した場合の実施形態を例示する。
【００２３】
第１の実施形態のテレビ会議システムは、様々な態様で用いることができ、例えば、広い会議室で行う会議や、それぞれ離れた拠点間で行う遠隔会議などで用いることができる。
【００２４】
（Ａ−１）第１の実施形態の構成
（Ａ−１−１）全体構成
図１は、第１の実施形態のテレビ会議システムを構成する位置被検出装置１Ａ及び会議端末２Ａの構成を示す構成図である。
【００２５】
位置被検出装置１Ａは、発言者の音声が入力されると、位置信号を出力する位置信号出力装置である。ここで、位置信号は、位置被検出装置１Ａの位置を知らせる信号である。例えば、位置信号としては、複数の電磁波を適用することができる。これにより、複数の電磁波を検出した会議端末２Ａの位置検出部２１が、複数の電磁波の送出元である位置被検出装置１Ａの位置を特定することで、発言者の位置を特定することができる。
【００２６】
位置被検出装置１Ａが送出する電磁波としては、例えば、電波、赤外線、可視光線等を適用することができる。また、複数の電磁波は、それぞれ波長が同じものであってもよいし、それぞれ波長が異なるものであってもよい。第１の実施形態では、複数の電磁波がそれぞれ赤外線である場合を例示する。
【００２７】
また、位置被検出装置１Ａは、例えば、会議参加者が所持したり又は会議参加者の近傍に置かれたりして、発言者の音声を捉えることができる位置に置かれるものである。例えば、位置被検出装置１Ａは、参加者が使用するマイクやテーブルの上に置かれる卓上装置等に搭載されるようにしてもよい。
【００２８】
会議端末２Ａは、参加者の音声、映像を捉え、音声データ、映像データに基づく会議データを用いてテレビ会議を制御するものである。会議端末２Ａは、例えば、ネットワークを通じて、図示しない他の会議端末や会議サーバとの間で会議データの授受を行うことができる。また、会議端末２Ａは、発言者の発言に伴い複数の電磁波を検出し、この複数の電磁波の検出により位置被検出装置１Ａの位置（発言者の位置）を特定するものである。
【００２９】
図１に示すように、会議端末２Ａは、位置検出部２１、撮影制御部２２、会議制御部２３、マイク２４、カメラ２５、テレビモニタ２６、スピーカ２７などを有して構成されるものである。
【００３０】
位置検出部２１は、到来した複数の電磁波を２次元イメージセンサで受信し、当該イメージセンサから得られる２次元領域上の画像データに基づいて、各電磁波の送出元の位置データを検出するものである。また、位置検出部２１は、検出した位置データを撮影制御部２２に与えるものである。
【００３１】
ここで、位置検出部２１は、２次元イメージセンサ等の２次元領域上で電磁波の送出位置を特定するものである。この２次元イメージセンサは、位置被検出装置１Ａが送出する電磁波を検出することができるものであれば、特に限定されるものではなく、例えば、赤外線イメージセンサ、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどを適用することができる。第１の実施形態では、電磁波が赤外線であることから、赤外線イメージセンサを適用する場合を例示する。
【００３２】
撮影制御部２２は、位置検出部２１から位置データを受け取り、この位置データに基づいて、発言者の位置を撮像するようにカメラ２５に対してカメラ制御データを与えるものである。また、撮影制御部２２は、マイク２４からマイクデータや、撮像したカメラデータをカメラ２５から受け取り、マイクデータとカメラデータをメディアデータとして会議制御部２３に与えるものである。
【００３３】
会議制御部２３は、撮影制御部２２からのメディアデータに基づいて会議データを生成してネットワークに伝送したり、又ネットワークを通じて外部機器から受信した会議データを復号し、復号映像データをテレビモニタ２６に与えたり、復号音声データをスピーカ２７に与えたりするものである。
【００３４】
マイク２４は、参加者が発した音声を捕捉したマイクデータを撮影制御部２２に与えるものである。なお、マイク２４の数は、１個である必要はなく、複数個備えるようにしてもよい。
【００３５】
カメラ２５は、撮影制御部２２からのカメラ制御データに基づいて撮像するものである。カメラ２５は、撮影制御部２２の制御の下、例えば、回転、ズームなどを行い、発言者の位置を撮像する。なお、カメラ２５の数は特に限定されるものではない。
【００３６】
スピーカ２７は、会議制御部２７から復号音声データを受け取り、この復号音声データに基づいて音声を出力するものである。なお、スピーカ２７の数は特に限定されるものではない。
【００３７】
テレビモニタ２６は、会議制御部２６から受け取った復号映像データに基づいて映像を映し出すものである。なお、テレビモニタ２６の数も特に限定されるものではない。
【００３８】
（Ａ−１−２）位置被検出装置１Ａの構成
図２は、位置被検出装置１Ａの外観構成の一例を示す外観図である。
【００３９】
位置被検出装置１Ａは、発言者の位置を特定するために、参加者が所持したり又は参加者の近傍に置かれることが望ましい。位置被検出装置１Ａの形態は、特に限定されるものではないが、図２では、位置被検出装置１Ａの外観構成の一例として、ピンマイク型とした場合（図２（ａ）参照）、卓上型とする場合（図２（ｂ）参照）の外観構成を例示する。
【００４０】
図２（ａ）に例示するピンマイク型の位置被検出装置１Ａは、例えば利用者の衣服等の固定することができるものである。そのため、筐体１０を衣服等に固定する固定具１４を有している。
【００４１】
図２（ｂ）に例示する卓上型の位置被検出装置１Ａは、例えばテーブルなどの上に置くことができるものである。図２（ｂ）では、筐体１０が立方体である場合を例示するが、その形状は特に限定されるものではない。
【００４２】
図２（ａ）及び図２（ｂ）に示すように、位置被検出装置１Ａは、例えば２個の赤外線発光素子１２が表出している。２個の赤外線発光素子１２の相互距離は、特に限定されるものではないが、会議端末２Ａの位置検出部２１に予め登録されている。すなわち、位置検出部２１は、２個の赤外線発光素子の距離を認識している。
【００４３】
赤外線発光素子１２は、例えば発光ダイオードなどを適用することができ、後述する音声センサ１１により音声入力により発光するものである。赤外線発光素子１２の発光タイミングや発光パタンは、例えば位置被検出装置１Ａ毎や利用者毎等に異なるものとしてよい。なお、２個の赤外線発光素子１２が共に同じ発光パタンであることが望ましい。
【００４４】
また、位置被検出装置１Ａの筐体１０内部には、音声センサ１１及び電池１３がある。音声センサ１１は、音を感知して電気信号に変換するものである。また、電池１３は、電源の一例であり、例えば、乾電池、太陽電池などを広く適用することができる。
【００４５】
図３は、位置被検出装置１Ａの機能構成を示すブロック図である。図３において、位置被検出装置１Ａは、音声検出部１０１、信号生成制御部１０２、信号発生部１０３を少なくとも有する。
【００４６】
音声検出部１０１は、参加者が発声した音声を検出し、音声検出データを信号生成部１０２に与えるものである。音声検出部１０１は、例えば、図２に例示する音声センサ１１が該当する。
【００４７】
信号生成制御部１０２は、音声検出部１０１からの音声検出データに基づいて、制御信号を信号発生部１０３に与えるものである。信号生成制御部１０２は、例えば、図２に例示する赤外線発光素子１２の発光タイミングや発光パタンなどを制御するものである。
【００４８】
信号発生部１０３は、信号生成制御部１０２からの制御信号に基づいて、電磁波である位置信号（発言者信号ともいう）を発生するものである。信号生成制御部１０２は、例えば、図２に例示する赤外線発光素子１２の一部に該当するものであり、信号生成制御部１０２の制御を受けて赤外線を発光する。
【００４９】
（Ａ−１−３）位置検出部２１の構成
図４は、位置検出部２１の機能構成を示すブロック図である。図４に示すように、位置検出部２１は、受信部２１１、画像データ形成部２１２、時間変化検出部２１３、空間位置算出部２１４を有する。
【００５０】
受信部２１１は、到来する電磁波を受信するものである。受信部２１１は、例えば、イメージセンサの受信部を適用することができる。
【００５１】
画像データ形成部２１２は、受信部２１１が受信した信号に基づいて２次元領域上での受信信号の位置を示す画像データを形成するものである。
【００５２】
時間変化検出部２１３は、画像形成部２１２により形成された画像データを時間軸上で監視し、画像データの時間変化を検出するものである。
【００５３】
空間位置算出部２１４は、画像データ形成部２１２により形成された画像データの位置を、会議を行う室内空間における位置に換算するものである。
【００５４】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の発言者位置特定処理の動作を図面を参照しながら説明する。
【００５５】
以下では、それぞれ離れた拠点間でテレビ電話会議を行う場合に、いずれの拠点で発言した発言者の位置を特定し、その発言者の音声及び映像を他の拠点に伝送する場合を例示して説明する。
【００５６】
（Ａ−２−１）位置被検出装置１Ａによる位置信号の送出処理
まず、発言者が発言すると、位置被検出装置１Ａの音声検出部１０１が、発話区間を示す音声検出データを信号生成制御部１０２に出力する。
【００５７】
信号生成制御部１０２は、音声検出部１０１からの音声検出データに基づいて、音声が検出された発話区間において所定のタイミングで、２個の赤外線発光素子１２を同時に発光制御する。これにより、２個の赤外線発光素子１２は、赤外線による発言者信号を出力（発光）する。
【００５８】
図５は、位置被検出装置１Ａにおける動作を説明する説明図である。以下では、図５を参照しながら、位置被検出装置１Ａにおける動作を詳細に説明する。
【００５９】
音声検出部１０１は、入力した音声信号の信号強度を所定時間毎に積算する。そして、信号強度の積算値が所定値より大きい場合発話状態にあると判断し、音声検出データを出力する。
【００６０】
例えば、図５（Ａ）は、音声入力信号の信号波形を示す。位置被検出装置１Ａに音声入力信号が入力すると、音声検出部１０１は、音声入力信号の信号強度の積算値を求め、この積算値が所定値を超えると、図５（Ｂ）に示すように音声検出データを出力する。また、音声検出部１０１は、音声入力信号が入力されなくなり、信号強度の積算値が減少して所定値以下となると音声検出データの出力を止める。これにより、図５（Ｂ）に示すように、時刻ｔ１〜ｔ２の区間と時刻ｔ３〜ｔ４の区間とを発話区間として検出する。
【００６１】
なお、ここでは、例えば、瞬時に入力した音を発言音声と判断しないために、音声入力信号の信号強度の積算値を用いることとするが、音声を検出することができるのであれば、音声検出部１０１が音声入力信号の入力に基づいて発話状態を検出するようにしてもよい。
【００６２】
次に、信号生成制御部１０２は、音声検出部１０１により検出された時刻ｔ１〜ｔ２の区間と、時刻ｔ３〜ｔ４の区間とにおいて、ランダムに発言者信号の出力タイミングを決定し、該タイミングにて２個の赤外線発光素子１２を同時に駆動制御する。
【００６３】
これにより、信号発生部１０３である赤外線発光素子１２は、信号生成制御部１０２の制御の下、所定の発光パタンで赤外線を位置信号として出力する。ここで、信号生成制御部１０２は、発話区間内に２個の赤外線発光素子１２を発光させるようにする。
【００６４】
例えば、図５（Ｃ）及び図５（Ｄ）は、発言者信号の出力パタンを示す。図５（Ｃ）は、２個の赤外線発光素子のうちの一方の素子に対する信号パタンであり、図５（Ｄ）は、他方の素子に対する信号パタンである。
【００６５】
図５（Ｃ）及び図５（Ｄ）では、音声検出部１０１が発話を検出すると、これをトリガーにして信号生成制御部１０２が発言者信号１及び発言者信号２を出力する。その後、信号生成制御部１０２は、直前の出力タイミングから所定時間経過後に、次の発言者信号１及び発言者信号２を出力する。この直線の出力タイミングを基準にした所定時間は、例えば予め予測される発話区間よりも短い期間とすることが望ましいが、特に限定されるものではなく、予め設定してもよいし、ランダムに可変するようにしてもよい。
【００６６】
上記のように、２個の赤外線発光素子１２は、信号生成制御部１０２の制御により、発行パタンが同じ赤外線が同時に出力される。
【００６７】
（Ａ−２−２）位置検出部２１の位置検出処理
位置検出部２１は、位置被検出装置１Ａからの位置信号を、赤外線イメージセンサで受信し、当該赤外線イメージセンサから得られる赤外画像データの時間変化に基づいて、位置被検出装置１Ａの２個の赤外線発光素子１２の位置を検出する。
【００６８】
さらに、位置検出部２１は、３次元空間上の位置情報に変換し、この位置情報を発言者データとして撮影制御部２２に与える。
【００６９】
図６は、位置検出部２１による位置検出動作を説明する説明図である。以下では、図６を参照しながら、位置検出部２１の位置検出動作を詳細に説明する。
【００７０】
図６に示す矩形領域は、位置検出部２１の赤外線イメージセンサで受信された赤外画像データを示す。
【００７１】
例えば、２人の発言者がほぼ同時に発言した場合、それぞれの発言者の各位置被検出装置１Ａは位置信号を出力する。すなわち、４個の赤外線発光素子１２が発光する。位置検出部２１では、赤外線イメージセンサの受信部２１１で赤外線発光素子１２が発光した赤外線を受信し、画像データ形成部２１２が受信した赤外線に基づく画像データを形成して、信号強度の高い対象を２次元領域の赤外画像データ上で検出する。この４個の対象を、図６では「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」とする。
【００７２】
位置検出部２１では、時間変化検出部２１３が、赤外画像データの時間変化に基づいて、上記４個の対象の中から、同一の位置被検出装置１Ａから出力された２個の対象を組として選択する。
【００７３】
ここで、時間変化検出部２１３による対象の選択方法は、種々の方法を適用することができるが、例えば、赤外線発光素子１２の発光パタンが時間的に同じであるものを組として選択する。すなわち、位置被検出装置１Ａの２個の赤外線発光素子１２は、時間的に同じ発光パタンで点滅する。また、発光パタンは、位置被検出装置１Ａ毎に異なる。そこで、時間変化検出部２１３は、赤外画像データの時間変化を監視して、時間変化に伴い同じパタンで発光する対象を組として選択する。
【００７４】
例えば、図６に例示する赤外画像では、ＡとＢとが同じ発光パタンであり、ＣとＤとが同じ発光パタンであるとする。時間変化検出部２１３は、赤外画像データの時間的変化を監視し、発光パタンが同じであるＡとＢ、ＣとＤをそれぞれ組として選択する。そして、ＡとＢが同じ位置被検出装置１Ａから発光された赤外線発光素子１２であり、ＣとＤが別の位置被検出装置１Ａから発光された赤外線発光素子１２であると識別することができる。
【００７５】
次に、位置検出部２１では、空間位置算出部２１４が、赤外画像データ上の赤外線発光素子の位置に基づいて、対応する位置被検出装置１Ａの３次元空間上の位置を求める。
【００７６】
空間位置算出部２１４による３次元空間上での位置被検出装置１Ａの位置の求める方法は、種々の方法を適用することができるが、例えば以下のようにして求めることができる。
【００７７】
空間位置算出部２１４は、赤外線イメージセンサの光学的特性に基づき、赤外線発光素子１２の３次元空間上の方向を、赤外画像データ上の位置（例えば、図５のＡ）から一意に求める。
【００７８】
さらに、空間位置算出部２１４には、位置被検出装置１Ａの２個の赤外線発光素子の間の距離が予め登録されている。そこで、空間位置算出部２１４は、赤外線イメージセンサの光学的特性に基づき、赤外線発光素子１２までの距離を赤外画像データ上での距離（例えば、図５のＡＢ間の距離）から一意に求める。
【００７９】
例えば、赤外画像データは２次元領域であるから、赤外画像データ上で検出された各対象の位置（ｘ，ｙ）を知ることができる。そのため、空間位置算出部２１４は、同じ位置被検出装置１Ａから発光されていると判断された、赤外画像データ上の２個の対象の位置から、当該２個の対象の距離を求める。
【００８０】
そして、空間位置算出部２１４は、赤外線イメージセンサの光学的特性に基づいて用意された変換表を参照することにより、赤外画像データ上で計測された２個の赤外線受光素子１２の位置と距離を、発言者通知装置の３次元空間上の位置（距離と方向）の情報に変換し、これを発言者データとして撮影制御部２２に出力する。
【００８１】
図６の例では、位置検出部２１は、（Ａ、Ｂ）の組に対応した位置被検出装置１Ａと、（Ｃ、Ｄ）の組に対応した位置被検出装置１Ａの両方に対応する発言者データを撮影制御部２２に出力する。
【００８２】
（Ａ−２−３）会議端末２Ａにおける処理
次に、位置検出部２１により検出された位置被検出装置１Ａの位置を用いた、会議端末２Ａにおける処理を説明する。
【００８３】
撮影制御部２２は、位置検出部２１から１又は複数の発言者データを受け取ると、１又は複数の発言者データのそれぞれの位置情報に基づいてカメラ２５の向きを制御したり、距離情報に基づいてカメラ２５のズームを制御したりする。
【００８４】
また、撮影制御部２２は、各発言者データの位置情報に基づき、マイク２４から入力したマイクデータから、発言者の方向にある音源の音声データを抽出し、発言者データの距離情報に基づき該音声データの音量を制御する。
【００８５】
ここで、撮影制御部２２による特定方向の音源からの音声データを抽出する方法（音源分離方法）としては、種々の方法を広く適用することができる。例えば、第１の実施形態では、マイクを構成する２×２の音波センサ各々の音響信号に遅延を与えて合成した空間フィルタを複数種類用意し、これらを組み合わせて再合成することにより、特定方向の音響データを取り出す方法を適用する（参照文献：矢頭隆、森戸誠、「臨場感テレワークにおける音処理技術」、ＯＫＩテクニカルレビュー、第２１３号Ｖｏｌ．７５、Ｎｏ．２、ｐｐ．１６−２０、２００８年１０月）。
【００８６】
撮影制御部２２は、カメラ２５から入力されたカメラデータと、音波データに基づき音源分離された音声データとを合わせ、メディアデータとして会議制御部２３に出力する。
【００８７】
会議制御部２３は、撮影制御部２２からメディアデータを入力すると、これを符号化して会議データとしてネットワーク経由にて外部機器へ送信する。これにより、発言者に適した映像及び音声を遠隔地に伝達することができる。
【００８８】
また、会議制御部２３は、外部機器からネットワーク経由で受信した会議データを復号し、復号映像データをテレビモニタ２６に出力し、復号音声データをスピーカ２７に出力する。これにより、利用者は、遠隔地からの映像及び音声を視聴できる。
【００８９】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、位置被検出装置が発言者の発話状況に基づいてランダムなタイミングにて２つの発言者信号を送出し、会議端末がこれを受信して、同タイミングで発生する発信者信号の組を検出して、これに基づいて発信通知装置の３次元空間上の位置を特定するので、複数の人が同時に発言を行う場合においても、発言者の位置を検出可能である。これにより、発言者の３次元空間上の位置に基づいて、発言者の映像及び音声を制御することが可能となる。
【００９０】
（Ｂ）第２の実施形態
次に、本発明の発言者位置特定システム、位置信号出力装置及び位置特定装置の第２の実施形態を、図面を参照しながら説明する。
【００９１】
第２の実施形態も、第１の実施形態と同様に、テレビ会議システムの発言者特定システムに本発明を適用した場合の実施形態を例示する。
【００９２】
（Ｂ−１）第２の実施形態の構成
図７は、第２の実施形態のテレビ会議システムを構成する位置被検出装置１Ｂ及び会議端末２Ｂの構成を示す構成図である。
【００９３】
第２の実施形態が、第１の実施形態と異なる点は、位置被検出装置１Ｂの構成と、位置被検出装置１Ｂの位置を特定する会議端末２Ｂの構成及び処理である。
【００９４】
従って、以下では、第２の実施形態の特徴的な位置被検出装置１Ｂの構成と、会議端末２Ｂの内部構成を中心に説明することとし、第１の実施形態で既に説明した構成及び処理については省略する。
【００９５】
（Ｂ−１−１）位置被検出装置１Ｂの構成
図８は、位置被検出装置１Ｂの外観構成の一例を示す外観図である。図８（ａ）は、ピンマイク型とした場合であり、図８（ｂ）は卓上型とした場合である。
【００９６】
位置被検出装置１Ｂは、第１の実施形態と同様に、発言者の位置を特定するために、参加者が所持したり又は参加者の近傍に置いたりすることが望ましい。
【００９７】
図８（ａ）及び図８（ｂ）に例示するように、位置被検出装置１Ｂは、例えば１個の赤外線発光素子１２と１個の音波振動素子４１とを有する。なお、図８（ａ）及び図８（ｂ）では赤外線発光素子１２の上方に音波振動子４１を設けているが、赤外線発光素子１２及び音波振動素子４１の配置は特に限定されるものではない。
【００９８】
音波振動素子４１は、音声センサ１１により入力音声が検出されると、所定の信号波を送出するものである。
【００９９】
赤外線発光素子１２は、第１の実施形態と同様に、例えば、発光ダイオオードなどを適用することができ、音声センサ１１により音声の入力に応じて発光するものである。
【０１００】
ここで、音波振動子４１及び赤外線発光素子１２の駆動制御が、第１の実施形態と異なる。第１の実施形態では、音声センサ１１により検出された発話区間に音波振動子４１及び赤外線発光素子１２を駆動させるが、第２の実施形態では、無音区間にこれらを駆動させる。
【０１０１】
図９は、第２の実施形態の位置被検出装置１Ｂの機能構成を示す構成図である。図９において、位置被検出装置１Ｂは、音声検出部１０１、信号生成制御部２０２、信号発生部２０３を少なくとも有する。
【０１０２】
音声検出部１０１は、第１の実施形態と同様に、音声入力信号の信号強度の積算値を求め、この積算値が所定値を超えると発話区間、積算値が所定値以下になると無音区間として音声を検出するものである。
【０１０３】
信号生成制御部２０２は、音声検出部１０１からの音声検出データに基づいて、無音区間に、音波振動素子４１及び赤外線発光素子１２を駆動させる制御信号を出力するものである。
【０１０４】
信号発生部２０３は、例えば、音波振動素子４１及び赤外線発光素子１２に該当し、信号生成制御部２０２からの制御信号に基づいて、位置信号（発言者信号）を出力するものである。
【０１０５】
（Ｂ−１−２）会議端末２Ｂの構成
第２の実施形態の会議端末２Ｂが、第１の実施形態と異なる点は、位置検出部２１に代えて、位置信号受信部３１及び位置特定部３２を備える点である。
【０１０６】
位置信号受信部３１は、到来した位置信号を受信するものである。位置信号受信部３１は、位置信号として赤外線と音波振動素子４１からの信号波を受信し、受信した赤外線データ及び信号波データ（音波データ）を位置特定部３２に与えるものである。また、位置信号受信部３１は、参加者が発した音声を入力して、その音声信号を音波データとして撮影制御部２２に与えるものである。
【０１０７】
図１０は、位置信号受信部３１の構成を示す構成図である。図１０において、位置信号受信部３１は、１個の赤外線センサ３１０、４個の音波センサ３１１〜３１４を有して構成される。
【０１０８】
図１０に示すように、位置信号受信部３１は、赤外線センサ３１０を中心として、４個の音波センサ３１１〜３１４を２行２列で配置する。これにより、ｘ、ｙ、ｚ軸で表現される３次元空間において、原点に赤外線センサ３１０が配置され、ｚ＝０平面上に原点を中心とした音波センサ３１１〜３１４が配置される。
【０１０９】
位置特定部３２は、位置信号受信部３１が受信した赤外線データ及び音波データを受け取り、この赤外線データ及び音波データに基づいて、３次元空間における位置被検出装置１Ｂの位置を特定するものである。また、位置特定部３２は、求めた位置被検出装置１Ｂの位置を位置データとして撮影制御部２２に与えるものである。
【０１１０】
図１１は、位置特定部３２の機能構成を示す構成図である。図１１において、位置特定部３２は、位置信号受信部３１からの赤外線データ及び音波データに基づいて、３次元空間上での位置被検出装置１Ｂの位置を算出する空間位置算出部３２０を有する。
【０１１１】
図１１に示すように、空間位置算出部３２０は、遅延算出部３２１、距離算出部３２２、方向特定部３２３を有する。
【０１１２】
遅延算出部３２１は、位置信号受信部３１による赤外線データの受信時刻を基準として、位置信号受信部３１による各音波データの受信時刻を求めることにより、各音波データの受信に係る遅延時間を求めるものである。
【０１１３】
距離算出部３２は、遅延算出部３２１により求められた各音波データの受信に係る遅延時間に基づいて、各音波センサ３１１〜３１４から位置被検出装置１Ｂまでの距離を求めるものである。
【０１１４】
方向特定部３２３は、遅延算出部３２１により求められた各音波データの受信に係る遅延に基づいて、会議端末２Ｂから位置被検出装置１Ｂの方向を求めるものである。
【０１１５】
（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態の発言者位置特定処理の動作を、図面を参照しながら説明する。（Ｂ−２−１）位置被検出装置１Ｂによる位置信号の送出処理
図１２は、位置被検出装置１Ｂの動作を説明する説明図である。
【０１１６】
まず、参加者が発言すると、発声された音声が位置被検出装置１Ｂに入力する。音声検出部１０１は、音声入力信号の信号強度を所定時間毎に積算し、その積算値が所定値を超えると音声検出データを出力し、積算値が所定値以下となると音声検出データの出力を止める。
【０１１７】
例えば、図１２（Ａ）及び図１２（Ｂ）の場合、音声検出部１０１は、時刻ｔ１〜ｔ２の区間、時刻ｔ３〜ｔ４の区間を発話区間とし、この区間に音声検出データを出力する。
【０１１８】
信号生成制御部２０２は、音声検出部１０１からの音声検出データに基づいて、音声検出後の最初の無音時に、音波振動素子４１及び赤外線発光素子１２に対して、信号を送出させる制御信号を与える。
【０１１９】
ここで、音声は、通常、文節や文章の切れ目に無音区間が存在する。例えば、図１２（Ａ）及び図１２（Ｂ）に示すように、音声入力信号は、無音区間と発話区間とが交互に繰り返すパタンで入力される。
【０１２０】
信号生成制御部２０２は、図１２（Ｃ）及び図１２（Ｄ）に示すように、音声検出データを受け取り、その後の最初の無音時（すなわち、時刻ｔ２）に、赤外線発光素子１２と音波振動素子４１とを同時に駆動させるように制御信号を出力する。
【０１２１】
これにより、赤外線発光素子１２と音波振動素子４１はそれぞれ、信号生成部２０２からの制御信号を受け取り、信号を送出する。
【０１２２】
例えば、赤外線発光素子１２は、一定時間だけ赤外線を発光し、音波振動素子４１は、所定の単一周波数の音波を一定時間だけ発振する。すなわち、位置信号のうち赤外線による信号は、一定時間だけ発光するパタン信号となり、位置信号のうち音波による信号は、単一周波数の音波を一定期間だけ発振するパタン信号となる。
【０１２３】
（Ｂ−２−２）位置検出処理
位置被検出装置１Ｂから送出された位置信号は、会議端末２Ｂの位置信号受信部３１により受信される。
【０１２４】
ここで、位置信号受信部３１は、図１０に示すように、１個の赤外線センサ３１０と、これを中心とした４個の音声センサ３１１〜３１４とを有して構成される。
【０１２５】
そのため、位置信号のうち赤外線については赤外線センサ３１０により受信され、赤外線センサ３１０により検知されると、赤外線データが位置特定部３２に与えられる。また、位置信号のうち音波については、音波センサ３１１〜３１４により受信され、音波センサ３１１〜３１４により検知されると、音波データが位置特定部３２に与えられる。
【０１２６】
位置信号受信部３１からの赤外線データ及び音波データが、位置特定部３２に与えられると、位置特定部３２は、赤外線データ及び音波データに基づいて、３次元空間上の位置被検出装置１Ｂの位置を求め、距離情報及び方向情報からなる位置データを撮影制御部２２に与える。
【０１２７】
ここで、位置特定部３２による位置被検出装置１Ｂの位置の特定方法は、種々の方法を適用することができるが、その一例として、以下の方法を適用することができる。
【０１２８】
図１３は、位置特定部３２により位置特定処理を説明する説明図である。なお、図１３では、音波センサから出力される音波センサ信号（音波データ）については、２つだけを示している。
【０１２９】
まず、位置特定部３２では、位置信号受信部３１からの赤外線データ及び音波データを受け取り、遅延算出部３２１が、赤外線センサ３１０による赤外線検知時刻を基準にして、各音波センサ３１１〜３１４による音波検知時刻を求めて、音波センサ３１１〜３１４からの各音波データについて遅延時間を求める。
【０１３０】
これは、例えば図１３（Ａ）及び図１３（Ｂ）に示すように、位置被検出装置１Ｂから赤外線と音波とが同時に出力されるが、伝搬速度は赤外線の方が速いので、赤外線は、出力とほぼ同時に位置信号受信部３１の赤外線センサ３１０により検知される（図１３（Ｃ）参照）。一方、音波は赤外線より伝搬速度が遅いので、遅延して受信される（図１３（Ｄ）及び図１３（Ｅ）参照）。
【０１３１】
そこで、遅延算出部３２１は、赤外線検知時刻を基準にして、音波センサ１信号の遅延時間をＴ１、音波センサ２信号の遅延時間をＴ２とする。
【０１３２】
距離算出部３２２は、遅延算出部３２１により求められた各音波データの遅延時間に基づいて、各音波センサ３１１〜３１４から位置被検出装置１Ｂまでの距離を求める。
【０１３３】
位置被検出装置１Ｂまでの距離の算出方法は、例えば、音波の伝播速度に、各音波データの遅延時間を乗算することにより、位置被検出装置１Ｂと位置信号受信部３１との間の距離を求めることができる。
【０１３４】
また、方向特定部３２３は、遅延算出部３２１からの各音波データの遅延時間に基づいて、位置被検出装置１Ｂの方向を求める。
【０１３５】
ここで、方向特定部３２３による位置被検出装置１Ｂの方向を求める方法は、種々の方法を広く適用することができるが、例えば、以下のような方法を用いることができる。
【０１３６】
図１４は、位置被検出装置１Ｂの方向を求める方法を説明する説明図である。図１４では、ｚ＝０の平面上に２個の音波センサ３１１及び音波センサ３１２が配置されている場合を示す。
【０１３７】
例えば、距離算出部３２２により求められた位置被検出装置１Ｂと位置信号受信部３１との間の距離が、音波センサ３１１と音波センサ３１２と間の距離Ｄに比べて十分に大きい場合を考える。この場合、図１４に示すように、音波センサ３１１及び音波センサ３１２に到来する音波の入射角度θは同じであると考えることができる。
【０１３８】
また、このとき、音波センサ３１１及び音波センサ３１２に到来する音波は、Δだけの遅延をもってそれぞれの音波センサ３１１及び３１２に入力される。従って、音波センサ３１１及び音波センサ３１２に到来する音波の遅延時間τは、各音波センサ３１１及び３１２への入射角度θとには、式（１）のような幾何学的関係がある。
【０１３９】
θ＝ｓｉｎ−１（Δ／Ｄ） …（１）
Δ＝ｖ・τ …（２）
ただし、Ｄは、音波センサ間の距離、ｖは音波伝播速度を示す。
【０１４０】
なお、図１４は、水平平面上に配置した音波センサ間の音波の遅延関係を説明したが、垂直平面上に配置した場合にも式（１）の関係式は成立する。従って、４個の音波センサ３１１〜３１４について、位置信号（音波）の受信時刻差を計測することにより、３次元空間における位置被検出装置１Ｂの方向を求めることができる。
【０１４１】
以上の原理に基づき、位置特定部３２は、赤外線データと音波データの中からデータ強度の変化時刻を検出し、これに基づいて、位置被検出装置１Ｂまでの距離および３次元空間での方向を計算し、これを位置データとして撮影制御部２２に出力する。
【０１４２】
撮影制御部２２以降の会議端末２Ｂの処理は、第１の実施形態で説明した処理と同じであるので、ここでの説明を省略する。
【０１４３】
（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、位置被検出装置が発言者の発話状況に基づいて赤外線と音波の位置信号を送出し、会議端末が１個の赤外線センサと４個の音波センサで受信し、これらの受信時刻差に基づいて位置被検出装置の３次元位置を検出するので、カメラを必要とすることなく、短時間で、発言者の位置を検出することができる。
【０１４４】
また、第２の実施形態では、位置被検出装置を、発言者による音声の隙間を検出して、その期間に位置信号を送出するように構成したので、発言者による音声と位置信号の音波とが同時に発生することを避けることができ、会議端末における発言者の位置検出を安定に行うことができる。
【０１４５】
（Ｃ）第３の実施形態
次に、本発明の発言者位置特定システム、位置信号出力装置及び位置特定装置の第３の実施形態を、図面を参照しながら説明する。
【０１４６】
第３の実施形態も、第２の実施形態と同様に、テレビ会議システムの発言者特定システムに本発明を適用した場合の実施形態を例示する。
【０１４７】
（Ｃ−１）第３の実施形態の構成及び動作
第３の実施形態が、第２の実施形態と異なる点は、位置被検出装置１Ｂの音波振動素子４１が音波に代えて超音波を送出すること、超音波及び赤外線を送出するタイミングである。
【０１４８】
そこで、第３の実施形態では、図７〜図１１を参照しながら、第３の実施形態に特徴的な処理を中心に説明することとし、第１及び第２の実施形態で既に説明した構成については省略する。
【０１４９】
図７において、第３の実施形態の位置被検出装置１Ｂは、音波振動素子４１及び赤外線発光素子１２を有する。音波振動素子４１は、音声センサ１１の音声入力の検知に応じて、超音波を出力する素子である。
【０１５０】
図９において、第３の実施形態の位置被検出装置１Ｂは、音声検出部１０１、信号生成制御部２０２、信号発生部２０３を有する。
【０１５１】
ここで、第３の実施形態の信号生成制御部２０２は、音声検出部１０１から音声検出データに基づき、発話区間において、所定のパタンで超音波及び赤外線を出力するように、制御信号を信号生成部２０３に与えるものである。
【０１５２】
これにより、参加者が発言すると、その発話区間において、音波振動素子４１及び赤外線発光素子１２が、同時に同じパタンで、超音波及び赤外線を出力することとなる。
【０１５３】
図１５は、第３の実施形態の位置被検出装置１Ｂにおける動作を説明する説明図である。
【０１５４】
図１５において、参加者が発言すると、その発声した音声が位置被検出装置１Ｂに与えられる（図１５（Ａ）参照）。音声検出部１０１は、第１の実施形態と同様にして音声入力信号を検出し、音声検出データを出力する（図１５（Ｂ）参照）。
【０１５５】
信号生成制御部２０２は、音声検出部１０１からの音声検出データに基づいて、発言者による発言開始直後及びその後の所定周期毎に音声が検出された場合に、赤外線及び超音波を出力させる制御信号を出力する。
【０１５６】
例えば、図１５（Ｂ）に例示するように、音声検出部１０１は、時刻ｔ１〜ｔ２の区間と時刻ｔ３〜ｔ４の区間とを発話区間とする。
【０１５７】
この場合、信号生成制御部２０２は、音声が検出された時刻ｔ１に、赤外線発光素子１２と音波振動素子４１を同時に駆動する。これにより、赤外線発光素子１２及び音波振動素子４１は、同時に赤外線及び超音波を位置信号として出力する。
【０１５８】
さらに、信号生成制御部２０２は、その後、所定周期毎に音声の有無を確認し、音声が検出された場合、赤外線発光素子１２と音波振動素子４１を同時に駆動する。これにより、発話区間において、赤外線発光素子１２及び音波振動素子４１から所定周期毎に赤外線及び超音波を出力することになる。
【０１５９】
会議端末２Ｂにおいて、位置信号受信部３１は、基本的には第２の実施形態と同じ構成であるが、第２の実施形態と異なる点は、音波センサ３１１〜３１４が、超音波の周波数帯域まで検出できることである。
【０１６０】
位置信号受信部３１は、１個の赤外線センサ３１０と、４個の音波センサ３１１〜３１４とに基づいて赤外線と超音波を検出して、赤外線データ及び超音波データを位置特定部３２に与える。なお、位置特定部３２以降の処理は、第２の実施形態で説明したので、ここでの処理説明は省略する。
【０１６１】
（Ｃ−２）第３の実施形態の効果
以上のように、第３の実施形態によれば、位置被検出装置が発言者の発話状況に基づいて赤外線と超音波の位置信号を送出し、会議端末が１個の赤外線センサと４個の超音波センサで受信し、これらの受信時刻差に基づいて位置被検出装置の３次元位置を検出するので、第２の実施例と同様に、カメラを必要とすることなく、短時間で、発言者の位置を検出することができる。
【０１６２】
また、第３の実施形態によれば、発言者による音声と位置信号の超音波が同時に発生しても、会議端末における発言者の位置検出を安定に行うことができ、同時に、会議参加者の耳に超音波の位置信号が検知されることがないという効果もある。
【０１６３】
（Ｄ）第４の実施形態
次に、本発明の発言者位置特定システム、位置信号出力装置及び位置特定装置の第４の実施形態を、図面を参照しながら説明する。
【０１６４】
第４の実施形態も、第２の実施形態と同様に、テレビ会議システムの発言者特定システムに本発明を適用した場合の実施形態を例示する。
【０１６５】
（Ｄ−１）第４の実施形態の構成及び動作
第４の実施形態が、第２の実施形態と異なる点は、位置被検出装置１Ｂの音波振動素子４１が音波に代えて音声帯域外の信号波を送出すること、音声帯域外の信号波及び赤外線を送出するタイミングである。
【０１６６】
そこで、第４の実施形態でも、図７〜図１１を参照しながら、第４の実施形態に特徴的な処理を中心に説明することとし、第１及び第２の実施形態で既に説明した構成については省略する。
【０１６７】
図１６は、第４の実施形態の位置被検出装置１Ｂにおける動作を説明する説明図である。
【０１６８】
まず、参加者が発話すると、位置被検出装置１Ｂの音声検出部１０１が発話区間を示す音声検出データを出力し、次に、位置被検出装置１Ｂの信号生成制御部２０２が、該音声検出データに基づいて発言者による発言開始直後に、赤外線および音声帯域外の信号波を出力させる制御信号を出力する。
【０１６９】
図１６において、音声検出部１０１は、音声入力信号の信号強度を一定時間間隔毎に積算し、その値が所定借より大きい場合に発話状態にあると判断し、音声検出データを出力する。例えば、図１６では、時刻ｔ１〜ｔ２の区間と時刻ｔ３〜ｔ４の区間において、音声検出データが出力される。
【０１７０】
次に、信号生成制御部２０２は、音声が検出された時刻ｔ１およびｔ３に、赤外線発光素子１２と音波振動素子４１を同時に駆動して、赤外線発光素子１２と音波振動素子４１が赤外線及び音声帯域以外の信号波を位置信号として出力する。
【０１７１】
位置信号受信部３１は、位置被検出装置１Ｂからの位置信号を、１個の赤外線センサ３１０と４個の音波センサ３１１〜３１４にて受信し、その受信信号を赤外線データ及び音波データとして、位置特定部３２に出力する。なお、音声センサ３１１〜３１４は、音声帯域以外の信号波を検出するできるものである。
【０１７２】
位置特定部３２は、第２の実施形態と同様の原理に基づいて、位置被検出装置１Ｂまでの距離および３次元空間での方向からなる位置データを求め、撮影制御部２２に出力する。
【０１７３】
第２の実施形態の位置特定部３２は、赤外線データと音波データの中からデータ強度の変化時刻を検出し、これに基づいて、位置被検出装置１Ｂまでの距離および３次元空間での方向を計算した。
【０１７４】
第４の実施形態は、赤外線及び音声帯域以外の信号波を発話区間に出力させる。そのため、第４の実施形態では、発言者の音声と位置信号との混信による位置信号の誤検出を避ける必要がある。
【０１７５】
そこで、位置特定部３２は、第２の実施形態と同様の原理を用いるが、次に示すような方法をさらに適用する。
【０１７６】
例えば、位置特定部３２は、４個の音波センサ３１１〜３１４の音波データから各々音声帯域外の信号波データを抽出し、そのうち、４個の信号波データ間で一定区間毎の相互相関関数または相当量を計算し、相互相関数または相当量がピークを示す音波データ間の時間差を検出して、これを各音波センサ３１１〜３１４間の受信時間差とみなす。
【０１７７】
すなわち、任意の２つの音波データＳ１（ｔ）、Ｓ２（ｔ）の時間区間（Ｔ１，Ｔ２）における相互相関関数ＣＣＦ（Ｔ１，ｄｔ）とする。例えば、この相互相関関数ＣＣＦ（Ｔ１，ｄｔ）は式（３）のように示すことができる。
【数１】
【０１７８】
位置特定部３２は、相互相関関数ＣＣＦ（Ｔ１，ｄｔ）に基づいて、時間区間（Ｔ１，Ｔ２）を変化させながら、ＣＣＦ（Ｔ１，ｄｔ）がピーク値を示すｄｔを求め、これを音波センサ間の受信時間差とみなす。
【０１７９】
さらに、位置特定部３２は、上記受信時刻差に基づいて、第２の実施形態と同様の方法により、位置被検出装置１Ｂまでの距離および３次元空間での方向を計算する。これ以降の会議端末２Ｂの処理は、第１及び第２の実施形態で説明した処理なので説明を省略する。
【０１８０】
（Ｄ−２）第４の実施形態の効果
以上のように、第４の実施形態によれば、位置被検出装置が発言者の発話状況に基づいて赤外線と音声帯域外の音波（信号波）の位置信号を送出し、会議端末が１個の赤外線センサと４個の音波センサで受信し、これらの受信時刻差に基づいて位置被検出装置の３次元位置を検出するので、第２の実施形態と同様に、カメラを必要とすることなく、短時間で、発声者の位置を検出することができる。
【０１８１】
また、第４の実施形態の会議端末は、発言者による音声と位置信号の音波が同時に発生しても、周波数フィルタで両者を分離して処理するので、会議端末における発言者の位置検出を安定に行うことができる。しかも、会議端末において、発言者による音声を入力するマイクと位置信号の音波を入力するマイクとを同じ音響帯域のデバイスとして共用化することができるので、超音波を用いる第３の実施形態に比べて、会議端末のコストを低減させることができる。
【０１８２】
（Ｅ）他の実施形態
（Ｅ−１）第１〜第４の実施形態では、本発明による発言者位置特定システムをテレビ会議システムに適用した場合について説明したが、本発明の利用形態はテレビ会議システムに限定されるものではない。
【０１８３】
例えば、音声によるコミュニケーションを伴う他の利用分野（例えば、音声会議システム、音声電話、テレビ電話、音声プレゼンテーションなど）に本発明を適用するようにしてもよい。これにより、発言者の位置を検出し、該位置に基づく情報伝達が可能となる。
【０１８４】
（Ｅ−２）第１の実施形態では、位置被検出装置が、音声を検出している間、発言者信号をランダムなタイミングで送信する場合について説明したが、位置被検出装置の他の構成として、音声を検出している間、発言者信号を、発言者または発言通知装置毎に一意に設定されたタイミングで送信するように構成してもよく、第１の実施例と同様に、複数の人が同時に発言を行う場合においても、発言者の位置を検出可能である。
【０１８５】
さらに、この場合、位置検出部が上記のタイミングを識別することにより、発言者または位置被検出装置を識別できるので、会議データに発言者のＩＤ情報を加えることによって、誰が発言しているのかを他の会議参加者に通知するなど、発言者毎の会議データ管理が可能となる。
【０１８６】
（Ｅ−３）第２〜第４の実施形態では、位置信号受信部の音波センサを４個で構成する場合について説明した。図１４に説明したように、水平または垂直方向の角度を検出するための音波センサは最低２個必要であるので、３次元空間上の角度を検出するためには音波センサは最低３個あればよい。また、角度の検出精度を向上させるために、音波センサの個数を増やしてもよい。さらに、位置被検出装置と会議端末がほぼ同じ水平面上に存在することが保証される場合には、水平方向に配置した２個の音波センサのみを用意してもよい。
【０１８７】
（Ｅ−４）上述した第１〜第４の実施形態において、位置被検出装置及び会議端末における処理は、いわゆるソフトウェア処理により実現することができる。例えば、ハードウェア構成として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等からなり、ＣＰＵが、ＲＯＭに格納された処理プログラムを読み出し、処理に必要なデータを用いて処理プログラムを実行することにより各機能を実現することができる。
【符号の説明】
【０１８８】
１Ａ及び１Ｂ…位置被検出装置、
１１…音声センサ、１２…赤外線発光素子、４１…音波振動素子、
１０１…音声検出部、１０２及び２０２…信号生成制御部、
１０３及び２０３…信号発生部、
２Ａ及び２Ｂ…会議端末、
２１…位置検出部、２２…撮影制御部、２３…会議制御部、２４…マイク、
２５…カメラ、２６…テレビモニタ、２７…スピーカ、
３１…位置信号受信部、３１０…赤外線センサ、３１１〜３１４…音波センサ、
３２…位置特定部、
２１１…受信部、２１２…画像データ形成部、２１３…時間変化検出部、
２１４及び３２０…空間位置算出部、３２１…遅延算出部、３２２…距離算出部、
３２３…方向特定部。
【技術分野】
【０００１】
本発明は、発言者位置特定システム、位置信号出力装置及び位置特定装置に関し、例えば会議システム等の音声コミュニケーションシステムで、複数の参加者のうち発言者の位置を特定する発言者位置特定システム、位置信号出力装置及び位置特定装置に適用し得るものである。
【背景技術】
【０００２】
複数の参加者の間で会議システムを用いて会議を行う場合、発言者の音声や映像を正しく捉えることが望まれる。
【０００３】
例えば、広い会議室の場合、発言者の位置を正確に特定することが難しく、発言者の音声や映像を正確に捉えることが難しい。また例えば、それぞれ離れた拠点間で会議を行う場合、高品質、高臨場感を実現するために、発言者の音声や映像を正確に捉えることが要求される。
【０００４】
そのため、会議システム等の音声コミュニケーションシステムでは、発言者の音声や映像を明瞭に伝達するために、発言者の位置を特定することが必要である。
【０００５】
例えば、特許文献１には、音声の発生方向より発言者の方向を検出し、カメラ映像から発言者の領域を検出し、これらの検出結果を複合的に判断することにより、発言者の位置を特定する技術が記載されている。特許文献１の記載技術は、固定的に全景を撮影するカメラで発言者の位置を検出し、その検出位置に向けてズーム用のカメラを回転させたり又はズームさせたりして発言者の映像を捉えることとしている。
【０００６】
また、特許文献２には、音声の発生方向に基づいてカメラの位置を制御し、カメラ映像から発言者を検出して、映像中の発言者の位置にマーカを表示させる方法が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−２４４５８７号公報
【特許文献２】特開２００３−１８９２７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述した特許文献１及び特許文献２の記載技術は、音声の発生方向にカメラを向けて発言者を検出する技術である。
【０００９】
発言者が一人の場合には、マイクが捉える音源が１つであるから、その音源の方向にカメラを向けることができるが、複数の者が同時に発言する場合には、複数の音声が重畳されてマイクに収音されるので、音声の発生方向を検出することができない。
【００１０】
そのため、複数の人が同時に発言を行う場合でも発言者の位置を検出することが望まれている。
【００１１】
また、特許文献１の記載技術は、発言者を検出するための全景撮影用カメラと、発言者の映像を伝達するためのズームカメラとを別々に用意しなければならず、例えば会議を行うために、合わせて２台以上のカメラが必要となるという問題がある。
【００１２】
さらに、特許文献１の場合、発言者を検出するカメラが回転やズームが可能であれば、発言者の映像を伝達するカメラと共用することができるが、発言者を確認するまでに時間がかかってしまうという問題がある。
【００１３】
また、特許文献２の記載技術は、音声の発生方向に基づいてカメラを制御する際、一旦、全景が写るようにカメラを制御した後に、発言者を検出するため、発言者の映像を捉えるまでの時間がかかる場合があるという問題点がある。
【００１４】
そのため、カメラを用いず、短時間で発言者の位置を検出することが望まれている。
【００１５】
そこで、本発明は、以上の問題に鑑みたものであり、例えば会議や電話等のコミュニケーションを行う際に、マイクを用いずに短時間で発言者の位置を特定することができ、複数の人が同時に発言を行う場合でも、各発言者の位置を特定することができる発言者位置特定システム、位置信号出力装置及び位置特定装置を提供する。
【課題を解決するための手段】
【００１６】
かかる課題を解決するために、第１の本発明の位置信号出力装置は、発言者の位置を示す位置信号を出力する位置信号出力装置であって、（１）それぞれ複数の信号波を上記位置信号として出力する信号波出力手段と、（２）利用者が発した音声を検出する音声検出手段と、（３）音声検出手段により検出された音声検出結果に応じて、信号波出力手段から出力される複数の信号波の出力制御を行う信号生成制御手段とを備えることを特徴とする。
【００１７】
第２の本発明の位置特定装置は、第１の本発明の位置信号出力装置から出力された位置信号に基づいて、発言者の位置を特定する位置特定装置であって、（１）位置信号出力装置から出力された複数の信号波を受信する受信手段と、（２）受信手段により受信された複数の信号波を用いて、当該信号波を出力する位置信号出力装置の距離及び方向を求め、当該位置信号出力装置の位置を発言者の位置として特定する発言者位置特定手段とを備えることを特徴とする。
【００１８】
第３の本発明の発言者位置特定システムは、発言者の位置を特定する発言者位置特定システムにおいて、（１）利用者が発した音声を検出し、その音声検出結果に応じて、所定のタイミングで複数の信号波を出力する第１の本発明の１又は複数の位置信号出力装置と、（２）各位置信号出力装置から出力された複数の信号波を受信し、受信した複数の信号波を用いて、当該信号波を出力する位置信号出力装置の距離及び方向を求め、当該位置信号出力装置の位置を発言者の位置として特定する第２の本発明の位置特定装置とを備えることを特徴とする。
【発明の効果】
【００１９】
本発明によれば、音声コミュニケーションシステムにおいて、マイクを用いずに短時間で発言者の位置を特定することができ、複数の人が同時に発言を行う場合でも、各発言者の位置を特定することができる。その結果、発言者の音声や映像を正しく捉えることができ、発言者の音声や映像を明瞭に伝達することができる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態の位置被検出装置と会議端末の構成を示す構成図である。
【図２】第１の実施形態の位置被検出装置の外観構成図である。
【図３】第１の実施形態の位置被検出装置の機能構成を示す構成図である。
【図４】第１の実施形態の位置検出部の機能構成を示す構成図である。
【図５】第１の実施形態の位置被検出装置における動作を説明する説明図である。
【図６】第１の実施形態の位置検出部における動作を説明する説明図である。
【図７】第２の実施形態の位置被検出装置と会議端末の構成を示す構成図である。
【図８】第２の実施形態の位置被検出装置の外観構成図である。
【図９】第２の実施形態の位置被検出装置の機能構成を示す構成図である。
【図１０】第２の実施形態の位置信号受信部の構成を示す構成図である。
【図１１】第２の実施形態の位置特定部の機能構成を示す構成図である。
【図１２】第２の実施形態の位置被検出装置における動作を説明する説明図である。
【図１３】第２の実施形態の位置検出装置における動作を説明する説明図である。
【図１４】第２の実施形態の位置検出装置における方向を求める動作を説明する説明図である。
【図１５】第３の実施形態の位置被検出装置における動作を説明する説明図である。
【図１６】第４の実施形態の位置被検出装置における動作を説明する説明図である。
【発明を実施するための形態】
【００２１】
（Ａ）第１の実施形態
以下では、本発明の発言者位置特定システム、位置信号出力装置及び位置特定装置の第１の実施形態を、図面を参照しながら説明する。
【００２２】
第１の実施形態では、複数の参加者が参加するテレビ会議システムを構成する発言者位置特定システムに、本発明を適用した場合の実施形態を例示する。
【００２３】
第１の実施形態のテレビ会議システムは、様々な態様で用いることができ、例えば、広い会議室で行う会議や、それぞれ離れた拠点間で行う遠隔会議などで用いることができる。
【００２４】
（Ａ−１）第１の実施形態の構成
（Ａ−１−１）全体構成
図１は、第１の実施形態のテレビ会議システムを構成する位置被検出装置１Ａ及び会議端末２Ａの構成を示す構成図である。
【００２５】
位置被検出装置１Ａは、発言者の音声が入力されると、位置信号を出力する位置信号出力装置である。ここで、位置信号は、位置被検出装置１Ａの位置を知らせる信号である。例えば、位置信号としては、複数の電磁波を適用することができる。これにより、複数の電磁波を検出した会議端末２Ａの位置検出部２１が、複数の電磁波の送出元である位置被検出装置１Ａの位置を特定することで、発言者の位置を特定することができる。
【００２６】
位置被検出装置１Ａが送出する電磁波としては、例えば、電波、赤外線、可視光線等を適用することができる。また、複数の電磁波は、それぞれ波長が同じものであってもよいし、それぞれ波長が異なるものであってもよい。第１の実施形態では、複数の電磁波がそれぞれ赤外線である場合を例示する。
【００２７】
また、位置被検出装置１Ａは、例えば、会議参加者が所持したり又は会議参加者の近傍に置かれたりして、発言者の音声を捉えることができる位置に置かれるものである。例えば、位置被検出装置１Ａは、参加者が使用するマイクやテーブルの上に置かれる卓上装置等に搭載されるようにしてもよい。
【００２８】
会議端末２Ａは、参加者の音声、映像を捉え、音声データ、映像データに基づく会議データを用いてテレビ会議を制御するものである。会議端末２Ａは、例えば、ネットワークを通じて、図示しない他の会議端末や会議サーバとの間で会議データの授受を行うことができる。また、会議端末２Ａは、発言者の発言に伴い複数の電磁波を検出し、この複数の電磁波の検出により位置被検出装置１Ａの位置（発言者の位置）を特定するものである。
【００２９】
図１に示すように、会議端末２Ａは、位置検出部２１、撮影制御部２２、会議制御部２３、マイク２４、カメラ２５、テレビモニタ２６、スピーカ２７などを有して構成されるものである。
【００３０】
位置検出部２１は、到来した複数の電磁波を２次元イメージセンサで受信し、当該イメージセンサから得られる２次元領域上の画像データに基づいて、各電磁波の送出元の位置データを検出するものである。また、位置検出部２１は、検出した位置データを撮影制御部２２に与えるものである。
【００３１】
ここで、位置検出部２１は、２次元イメージセンサ等の２次元領域上で電磁波の送出位置を特定するものである。この２次元イメージセンサは、位置被検出装置１Ａが送出する電磁波を検出することができるものであれば、特に限定されるものではなく、例えば、赤外線イメージセンサ、ＣＣＤイメージセンサ、ＣＭＯＳイメージセンサなどを適用することができる。第１の実施形態では、電磁波が赤外線であることから、赤外線イメージセンサを適用する場合を例示する。
【００３２】
撮影制御部２２は、位置検出部２１から位置データを受け取り、この位置データに基づいて、発言者の位置を撮像するようにカメラ２５に対してカメラ制御データを与えるものである。また、撮影制御部２２は、マイク２４からマイクデータや、撮像したカメラデータをカメラ２５から受け取り、マイクデータとカメラデータをメディアデータとして会議制御部２３に与えるものである。
【００３３】
会議制御部２３は、撮影制御部２２からのメディアデータに基づいて会議データを生成してネットワークに伝送したり、又ネットワークを通じて外部機器から受信した会議データを復号し、復号映像データをテレビモニタ２６に与えたり、復号音声データをスピーカ２７に与えたりするものである。
【００３４】
マイク２４は、参加者が発した音声を捕捉したマイクデータを撮影制御部２２に与えるものである。なお、マイク２４の数は、１個である必要はなく、複数個備えるようにしてもよい。
【００３５】
カメラ２５は、撮影制御部２２からのカメラ制御データに基づいて撮像するものである。カメラ２５は、撮影制御部２２の制御の下、例えば、回転、ズームなどを行い、発言者の位置を撮像する。なお、カメラ２５の数は特に限定されるものではない。
【００３６】
スピーカ２７は、会議制御部２７から復号音声データを受け取り、この復号音声データに基づいて音声を出力するものである。なお、スピーカ２７の数は特に限定されるものではない。
【００３７】
テレビモニタ２６は、会議制御部２６から受け取った復号映像データに基づいて映像を映し出すものである。なお、テレビモニタ２６の数も特に限定されるものではない。
【００３８】
（Ａ−１−２）位置被検出装置１Ａの構成
図２は、位置被検出装置１Ａの外観構成の一例を示す外観図である。
【００３９】
位置被検出装置１Ａは、発言者の位置を特定するために、参加者が所持したり又は参加者の近傍に置かれることが望ましい。位置被検出装置１Ａの形態は、特に限定されるものではないが、図２では、位置被検出装置１Ａの外観構成の一例として、ピンマイク型とした場合（図２（ａ）参照）、卓上型とする場合（図２（ｂ）参照）の外観構成を例示する。
【００４０】
図２（ａ）に例示するピンマイク型の位置被検出装置１Ａは、例えば利用者の衣服等の固定することができるものである。そのため、筐体１０を衣服等に固定する固定具１４を有している。
【００４１】
図２（ｂ）に例示する卓上型の位置被検出装置１Ａは、例えばテーブルなどの上に置くことができるものである。図２（ｂ）では、筐体１０が立方体である場合を例示するが、その形状は特に限定されるものではない。
【００４２】
図２（ａ）及び図２（ｂ）に示すように、位置被検出装置１Ａは、例えば２個の赤外線発光素子１２が表出している。２個の赤外線発光素子１２の相互距離は、特に限定されるものではないが、会議端末２Ａの位置検出部２１に予め登録されている。すなわち、位置検出部２１は、２個の赤外線発光素子の距離を認識している。
【００４３】
赤外線発光素子１２は、例えば発光ダイオードなどを適用することができ、後述する音声センサ１１により音声入力により発光するものである。赤外線発光素子１２の発光タイミングや発光パタンは、例えば位置被検出装置１Ａ毎や利用者毎等に異なるものとしてよい。なお、２個の赤外線発光素子１２が共に同じ発光パタンであることが望ましい。
【００４４】
また、位置被検出装置１Ａの筐体１０内部には、音声センサ１１及び電池１３がある。音声センサ１１は、音を感知して電気信号に変換するものである。また、電池１３は、電源の一例であり、例えば、乾電池、太陽電池などを広く適用することができる。
【００４５】
図３は、位置被検出装置１Ａの機能構成を示すブロック図である。図３において、位置被検出装置１Ａは、音声検出部１０１、信号生成制御部１０２、信号発生部１０３を少なくとも有する。
【００４６】
音声検出部１０１は、参加者が発声した音声を検出し、音声検出データを信号生成部１０２に与えるものである。音声検出部１０１は、例えば、図２に例示する音声センサ１１が該当する。
【００４７】
信号生成制御部１０２は、音声検出部１０１からの音声検出データに基づいて、制御信号を信号発生部１０３に与えるものである。信号生成制御部１０２は、例えば、図２に例示する赤外線発光素子１２の発光タイミングや発光パタンなどを制御するものである。
【００４８】
信号発生部１０３は、信号生成制御部１０２からの制御信号に基づいて、電磁波である位置信号（発言者信号ともいう）を発生するものである。信号生成制御部１０２は、例えば、図２に例示する赤外線発光素子１２の一部に該当するものであり、信号生成制御部１０２の制御を受けて赤外線を発光する。
【００４９】
（Ａ−１−３）位置検出部２１の構成
図４は、位置検出部２１の機能構成を示すブロック図である。図４に示すように、位置検出部２１は、受信部２１１、画像データ形成部２１２、時間変化検出部２１３、空間位置算出部２１４を有する。
【００５０】
受信部２１１は、到来する電磁波を受信するものである。受信部２１１は、例えば、イメージセンサの受信部を適用することができる。
【００５１】
画像データ形成部２１２は、受信部２１１が受信した信号に基づいて２次元領域上での受信信号の位置を示す画像データを形成するものである。
【００５２】
時間変化検出部２１３は、画像形成部２１２により形成された画像データを時間軸上で監視し、画像データの時間変化を検出するものである。
【００５３】
空間位置算出部２１４は、画像データ形成部２１２により形成された画像データの位置を、会議を行う室内空間における位置に換算するものである。
【００５４】
（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の発言者位置特定処理の動作を図面を参照しながら説明する。
【００５５】
以下では、それぞれ離れた拠点間でテレビ電話会議を行う場合に、いずれの拠点で発言した発言者の位置を特定し、その発言者の音声及び映像を他の拠点に伝送する場合を例示して説明する。
【００５６】
（Ａ−２−１）位置被検出装置１Ａによる位置信号の送出処理
まず、発言者が発言すると、位置被検出装置１Ａの音声検出部１０１が、発話区間を示す音声検出データを信号生成制御部１０２に出力する。
【００５７】
信号生成制御部１０２は、音声検出部１０１からの音声検出データに基づいて、音声が検出された発話区間において所定のタイミングで、２個の赤外線発光素子１２を同時に発光制御する。これにより、２個の赤外線発光素子１２は、赤外線による発言者信号を出力（発光）する。
【００５８】
図５は、位置被検出装置１Ａにおける動作を説明する説明図である。以下では、図５を参照しながら、位置被検出装置１Ａにおける動作を詳細に説明する。
【００５９】
音声検出部１０１は、入力した音声信号の信号強度を所定時間毎に積算する。そして、信号強度の積算値が所定値より大きい場合発話状態にあると判断し、音声検出データを出力する。
【００６０】
例えば、図５（Ａ）は、音声入力信号の信号波形を示す。位置被検出装置１Ａに音声入力信号が入力すると、音声検出部１０１は、音声入力信号の信号強度の積算値を求め、この積算値が所定値を超えると、図５（Ｂ）に示すように音声検出データを出力する。また、音声検出部１０１は、音声入力信号が入力されなくなり、信号強度の積算値が減少して所定値以下となると音声検出データの出力を止める。これにより、図５（Ｂ）に示すように、時刻ｔ１〜ｔ２の区間と時刻ｔ３〜ｔ４の区間とを発話区間として検出する。
【００６１】
なお、ここでは、例えば、瞬時に入力した音を発言音声と判断しないために、音声入力信号の信号強度の積算値を用いることとするが、音声を検出することができるのであれば、音声検出部１０１が音声入力信号の入力に基づいて発話状態を検出するようにしてもよい。
【００６２】
次に、信号生成制御部１０２は、音声検出部１０１により検出された時刻ｔ１〜ｔ２の区間と、時刻ｔ３〜ｔ４の区間とにおいて、ランダムに発言者信号の出力タイミングを決定し、該タイミングにて２個の赤外線発光素子１２を同時に駆動制御する。
【００６３】
これにより、信号発生部１０３である赤外線発光素子１２は、信号生成制御部１０２の制御の下、所定の発光パタンで赤外線を位置信号として出力する。ここで、信号生成制御部１０２は、発話区間内に２個の赤外線発光素子１２を発光させるようにする。
【００６４】
例えば、図５（Ｃ）及び図５（Ｄ）は、発言者信号の出力パタンを示す。図５（Ｃ）は、２個の赤外線発光素子のうちの一方の素子に対する信号パタンであり、図５（Ｄ）は、他方の素子に対する信号パタンである。
【００６５】
図５（Ｃ）及び図５（Ｄ）では、音声検出部１０１が発話を検出すると、これをトリガーにして信号生成制御部１０２が発言者信号１及び発言者信号２を出力する。その後、信号生成制御部１０２は、直前の出力タイミングから所定時間経過後に、次の発言者信号１及び発言者信号２を出力する。この直線の出力タイミングを基準にした所定時間は、例えば予め予測される発話区間よりも短い期間とすることが望ましいが、特に限定されるものではなく、予め設定してもよいし、ランダムに可変するようにしてもよい。
【００６６】
上記のように、２個の赤外線発光素子１２は、信号生成制御部１０２の制御により、発行パタンが同じ赤外線が同時に出力される。
【００６７】
（Ａ−２−２）位置検出部２１の位置検出処理
位置検出部２１は、位置被検出装置１Ａからの位置信号を、赤外線イメージセンサで受信し、当該赤外線イメージセンサから得られる赤外画像データの時間変化に基づいて、位置被検出装置１Ａの２個の赤外線発光素子１２の位置を検出する。
【００６８】
さらに、位置検出部２１は、３次元空間上の位置情報に変換し、この位置情報を発言者データとして撮影制御部２２に与える。
【００６９】
図６は、位置検出部２１による位置検出動作を説明する説明図である。以下では、図６を参照しながら、位置検出部２１の位置検出動作を詳細に説明する。
【００７０】
図６に示す矩形領域は、位置検出部２１の赤外線イメージセンサで受信された赤外画像データを示す。
【００７１】
例えば、２人の発言者がほぼ同時に発言した場合、それぞれの発言者の各位置被検出装置１Ａは位置信号を出力する。すなわち、４個の赤外線発光素子１２が発光する。位置検出部２１では、赤外線イメージセンサの受信部２１１で赤外線発光素子１２が発光した赤外線を受信し、画像データ形成部２１２が受信した赤外線に基づく画像データを形成して、信号強度の高い対象を２次元領域の赤外画像データ上で検出する。この４個の対象を、図６では「Ａ」、「Ｂ」、「Ｃ」、「Ｄ」とする。
【００７２】
位置検出部２１では、時間変化検出部２１３が、赤外画像データの時間変化に基づいて、上記４個の対象の中から、同一の位置被検出装置１Ａから出力された２個の対象を組として選択する。
【００７３】
ここで、時間変化検出部２１３による対象の選択方法は、種々の方法を適用することができるが、例えば、赤外線発光素子１２の発光パタンが時間的に同じであるものを組として選択する。すなわち、位置被検出装置１Ａの２個の赤外線発光素子１２は、時間的に同じ発光パタンで点滅する。また、発光パタンは、位置被検出装置１Ａ毎に異なる。そこで、時間変化検出部２１３は、赤外画像データの時間変化を監視して、時間変化に伴い同じパタンで発光する対象を組として選択する。
【００７４】
例えば、図６に例示する赤外画像では、ＡとＢとが同じ発光パタンであり、ＣとＤとが同じ発光パタンであるとする。時間変化検出部２１３は、赤外画像データの時間的変化を監視し、発光パタンが同じであるＡとＢ、ＣとＤをそれぞれ組として選択する。そして、ＡとＢが同じ位置被検出装置１Ａから発光された赤外線発光素子１２であり、ＣとＤが別の位置被検出装置１Ａから発光された赤外線発光素子１２であると識別することができる。
【００７５】
次に、位置検出部２１では、空間位置算出部２１４が、赤外画像データ上の赤外線発光素子の位置に基づいて、対応する位置被検出装置１Ａの３次元空間上の位置を求める。
【００７６】
空間位置算出部２１４による３次元空間上での位置被検出装置１Ａの位置の求める方法は、種々の方法を適用することができるが、例えば以下のようにして求めることができる。
【００７７】
空間位置算出部２１４は、赤外線イメージセンサの光学的特性に基づき、赤外線発光素子１２の３次元空間上の方向を、赤外画像データ上の位置（例えば、図５のＡ）から一意に求める。
【００７８】
さらに、空間位置算出部２１４には、位置被検出装置１Ａの２個の赤外線発光素子の間の距離が予め登録されている。そこで、空間位置算出部２１４は、赤外線イメージセンサの光学的特性に基づき、赤外線発光素子１２までの距離を赤外画像データ上での距離（例えば、図５のＡＢ間の距離）から一意に求める。
【００７９】
例えば、赤外画像データは２次元領域であるから、赤外画像データ上で検出された各対象の位置（ｘ，ｙ）を知ることができる。そのため、空間位置算出部２１４は、同じ位置被検出装置１Ａから発光されていると判断された、赤外画像データ上の２個の対象の位置から、当該２個の対象の距離を求める。
【００８０】
そして、空間位置算出部２１４は、赤外線イメージセンサの光学的特性に基づいて用意された変換表を参照することにより、赤外画像データ上で計測された２個の赤外線受光素子１２の位置と距離を、発言者通知装置の３次元空間上の位置（距離と方向）の情報に変換し、これを発言者データとして撮影制御部２２に出力する。
【００８１】
図６の例では、位置検出部２１は、（Ａ、Ｂ）の組に対応した位置被検出装置１Ａと、（Ｃ、Ｄ）の組に対応した位置被検出装置１Ａの両方に対応する発言者データを撮影制御部２２に出力する。
【００８２】
（Ａ−２−３）会議端末２Ａにおける処理
次に、位置検出部２１により検出された位置被検出装置１Ａの位置を用いた、会議端末２Ａにおける処理を説明する。
【００８３】
撮影制御部２２は、位置検出部２１から１又は複数の発言者データを受け取ると、１又は複数の発言者データのそれぞれの位置情報に基づいてカメラ２５の向きを制御したり、距離情報に基づいてカメラ２５のズームを制御したりする。
【００８４】
また、撮影制御部２２は、各発言者データの位置情報に基づき、マイク２４から入力したマイクデータから、発言者の方向にある音源の音声データを抽出し、発言者データの距離情報に基づき該音声データの音量を制御する。
【００８５】
ここで、撮影制御部２２による特定方向の音源からの音声データを抽出する方法（音源分離方法）としては、種々の方法を広く適用することができる。例えば、第１の実施形態では、マイクを構成する２×２の音波センサ各々の音響信号に遅延を与えて合成した空間フィルタを複数種類用意し、これらを組み合わせて再合成することにより、特定方向の音響データを取り出す方法を適用する（参照文献：矢頭隆、森戸誠、「臨場感テレワークにおける音処理技術」、ＯＫＩテクニカルレビュー、第２１３号Ｖｏｌ．７５、Ｎｏ．２、ｐｐ．１６−２０、２００８年１０月）。
【００８６】
撮影制御部２２は、カメラ２５から入力されたカメラデータと、音波データに基づき音源分離された音声データとを合わせ、メディアデータとして会議制御部２３に出力する。
【００８７】
会議制御部２３は、撮影制御部２２からメディアデータを入力すると、これを符号化して会議データとしてネットワーク経由にて外部機器へ送信する。これにより、発言者に適した映像及び音声を遠隔地に伝達することができる。
【００８８】
また、会議制御部２３は、外部機器からネットワーク経由で受信した会議データを復号し、復号映像データをテレビモニタ２６に出力し、復号音声データをスピーカ２７に出力する。これにより、利用者は、遠隔地からの映像及び音声を視聴できる。
【００８９】
（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、位置被検出装置が発言者の発話状況に基づいてランダムなタイミングにて２つの発言者信号を送出し、会議端末がこれを受信して、同タイミングで発生する発信者信号の組を検出して、これに基づいて発信通知装置の３次元空間上の位置を特定するので、複数の人が同時に発言を行う場合においても、発言者の位置を検出可能である。これにより、発言者の３次元空間上の位置に基づいて、発言者の映像及び音声を制御することが可能となる。
【００９０】
（Ｂ）第２の実施形態
次に、本発明の発言者位置特定システム、位置信号出力装置及び位置特定装置の第２の実施形態を、図面を参照しながら説明する。
【００９１】
第２の実施形態も、第１の実施形態と同様に、テレビ会議システムの発言者特定システムに本発明を適用した場合の実施形態を例示する。
【００９２】
（Ｂ−１）第２の実施形態の構成
図７は、第２の実施形態のテレビ会議システムを構成する位置被検出装置１Ｂ及び会議端末２Ｂの構成を示す構成図である。
【００９３】
第２の実施形態が、第１の実施形態と異なる点は、位置被検出装置１Ｂの構成と、位置被検出装置１Ｂの位置を特定する会議端末２Ｂの構成及び処理である。
【００９４】
従って、以下では、第２の実施形態の特徴的な位置被検出装置１Ｂの構成と、会議端末２Ｂの内部構成を中心に説明することとし、第１の実施形態で既に説明した構成及び処理については省略する。
【００９５】
（Ｂ−１−１）位置被検出装置１Ｂの構成
図８は、位置被検出装置１Ｂの外観構成の一例を示す外観図である。図８（ａ）は、ピンマイク型とした場合であり、図８（ｂ）は卓上型とした場合である。
【００９６】
位置被検出装置１Ｂは、第１の実施形態と同様に、発言者の位置を特定するために、参加者が所持したり又は参加者の近傍に置いたりすることが望ましい。
【００９７】
図８（ａ）及び図８（ｂ）に例示するように、位置被検出装置１Ｂは、例えば１個の赤外線発光素子１２と１個の音波振動素子４１とを有する。なお、図８（ａ）及び図８（ｂ）では赤外線発光素子１２の上方に音波振動子４１を設けているが、赤外線発光素子１２及び音波振動素子４１の配置は特に限定されるものではない。
【００９８】
音波振動素子４１は、音声センサ１１により入力音声が検出されると、所定の信号波を送出するものである。
【００９９】
赤外線発光素子１２は、第１の実施形態と同様に、例えば、発光ダイオオードなどを適用することができ、音声センサ１１により音声の入力に応じて発光するものである。
【０１００】
ここで、音波振動子４１及び赤外線発光素子１２の駆動制御が、第１の実施形態と異なる。第１の実施形態では、音声センサ１１により検出された発話区間に音波振動子４１及び赤外線発光素子１２を駆動させるが、第２の実施形態では、無音区間にこれらを駆動させる。
【０１０１】
図９は、第２の実施形態の位置被検出装置１Ｂの機能構成を示す構成図である。図９において、位置被検出装置１Ｂは、音声検出部１０１、信号生成制御部２０２、信号発生部２０３を少なくとも有する。
【０１０２】
音声検出部１０１は、第１の実施形態と同様に、音声入力信号の信号強度の積算値を求め、この積算値が所定値を超えると発話区間、積算値が所定値以下になると無音区間として音声を検出するものである。
【０１０３】
信号生成制御部２０２は、音声検出部１０１からの音声検出データに基づいて、無音区間に、音波振動素子４１及び赤外線発光素子１２を駆動させる制御信号を出力するものである。
【０１０４】
信号発生部２０３は、例えば、音波振動素子４１及び赤外線発光素子１２に該当し、信号生成制御部２０２からの制御信号に基づいて、位置信号（発言者信号）を出力するものである。
【０１０５】
（Ｂ−１−２）会議端末２Ｂの構成
第２の実施形態の会議端末２Ｂが、第１の実施形態と異なる点は、位置検出部２１に代えて、位置信号受信部３１及び位置特定部３２を備える点である。
【０１０６】
位置信号受信部３１は、到来した位置信号を受信するものである。位置信号受信部３１は、位置信号として赤外線と音波振動素子４１からの信号波を受信し、受信した赤外線データ及び信号波データ（音波データ）を位置特定部３２に与えるものである。また、位置信号受信部３１は、参加者が発した音声を入力して、その音声信号を音波データとして撮影制御部２２に与えるものである。
【０１０７】
図１０は、位置信号受信部３１の構成を示す構成図である。図１０において、位置信号受信部３１は、１個の赤外線センサ３１０、４個の音波センサ３１１〜３１４を有して構成される。
【０１０８】
図１０に示すように、位置信号受信部３１は、赤外線センサ３１０を中心として、４個の音波センサ３１１〜３１４を２行２列で配置する。これにより、ｘ、ｙ、ｚ軸で表現される３次元空間において、原点に赤外線センサ３１０が配置され、ｚ＝０平面上に原点を中心とした音波センサ３１１〜３１４が配置される。
【０１０９】
位置特定部３２は、位置信号受信部３１が受信した赤外線データ及び音波データを受け取り、この赤外線データ及び音波データに基づいて、３次元空間における位置被検出装置１Ｂの位置を特定するものである。また、位置特定部３２は、求めた位置被検出装置１Ｂの位置を位置データとして撮影制御部２２に与えるものである。
【０１１０】
図１１は、位置特定部３２の機能構成を示す構成図である。図１１において、位置特定部３２は、位置信号受信部３１からの赤外線データ及び音波データに基づいて、３次元空間上での位置被検出装置１Ｂの位置を算出する空間位置算出部３２０を有する。
【０１１１】
図１１に示すように、空間位置算出部３２０は、遅延算出部３２１、距離算出部３２２、方向特定部３２３を有する。
【０１１２】
遅延算出部３２１は、位置信号受信部３１による赤外線データの受信時刻を基準として、位置信号受信部３１による各音波データの受信時刻を求めることにより、各音波データの受信に係る遅延時間を求めるものである。
【０１１３】
距離算出部３２は、遅延算出部３２１により求められた各音波データの受信に係る遅延時間に基づいて、各音波センサ３１１〜３１４から位置被検出装置１Ｂまでの距離を求めるものである。
【０１１４】
方向特定部３２３は、遅延算出部３２１により求められた各音波データの受信に係る遅延に基づいて、会議端末２Ｂから位置被検出装置１Ｂの方向を求めるものである。
【０１１５】
（Ｂ−２）第２の実施形態の動作
次に、第２の実施形態の発言者位置特定処理の動作を、図面を参照しながら説明する。（Ｂ−２−１）位置被検出装置１Ｂによる位置信号の送出処理
図１２は、位置被検出装置１Ｂの動作を説明する説明図である。
【０１１６】
まず、参加者が発言すると、発声された音声が位置被検出装置１Ｂに入力する。音声検出部１０１は、音声入力信号の信号強度を所定時間毎に積算し、その積算値が所定値を超えると音声検出データを出力し、積算値が所定値以下となると音声検出データの出力を止める。
【０１１７】
例えば、図１２（Ａ）及び図１２（Ｂ）の場合、音声検出部１０１は、時刻ｔ１〜ｔ２の区間、時刻ｔ３〜ｔ４の区間を発話区間とし、この区間に音声検出データを出力する。
【０１１８】
信号生成制御部２０２は、音声検出部１０１からの音声検出データに基づいて、音声検出後の最初の無音時に、音波振動素子４１及び赤外線発光素子１２に対して、信号を送出させる制御信号を与える。
【０１１９】
ここで、音声は、通常、文節や文章の切れ目に無音区間が存在する。例えば、図１２（Ａ）及び図１２（Ｂ）に示すように、音声入力信号は、無音区間と発話区間とが交互に繰り返すパタンで入力される。
【０１２０】
信号生成制御部２０２は、図１２（Ｃ）及び図１２（Ｄ）に示すように、音声検出データを受け取り、その後の最初の無音時（すなわち、時刻ｔ２）に、赤外線発光素子１２と音波振動素子４１とを同時に駆動させるように制御信号を出力する。
【０１２１】
これにより、赤外線発光素子１２と音波振動素子４１はそれぞれ、信号生成部２０２からの制御信号を受け取り、信号を送出する。
【０１２２】
例えば、赤外線発光素子１２は、一定時間だけ赤外線を発光し、音波振動素子４１は、所定の単一周波数の音波を一定時間だけ発振する。すなわち、位置信号のうち赤外線による信号は、一定時間だけ発光するパタン信号となり、位置信号のうち音波による信号は、単一周波数の音波を一定期間だけ発振するパタン信号となる。
【０１２３】
（Ｂ−２−２）位置検出処理
位置被検出装置１Ｂから送出された位置信号は、会議端末２Ｂの位置信号受信部３１により受信される。
【０１２４】
ここで、位置信号受信部３１は、図１０に示すように、１個の赤外線センサ３１０と、これを中心とした４個の音声センサ３１１〜３１４とを有して構成される。
【０１２５】
そのため、位置信号のうち赤外線については赤外線センサ３１０により受信され、赤外線センサ３１０により検知されると、赤外線データが位置特定部３２に与えられる。また、位置信号のうち音波については、音波センサ３１１〜３１４により受信され、音波センサ３１１〜３１４により検知されると、音波データが位置特定部３２に与えられる。
【０１２６】
位置信号受信部３１からの赤外線データ及び音波データが、位置特定部３２に与えられると、位置特定部３２は、赤外線データ及び音波データに基づいて、３次元空間上の位置被検出装置１Ｂの位置を求め、距離情報及び方向情報からなる位置データを撮影制御部２２に与える。
【０１２７】
ここで、位置特定部３２による位置被検出装置１Ｂの位置の特定方法は、種々の方法を適用することができるが、その一例として、以下の方法を適用することができる。
【０１２８】
図１３は、位置特定部３２により位置特定処理を説明する説明図である。なお、図１３では、音波センサから出力される音波センサ信号（音波データ）については、２つだけを示している。
【０１２９】
まず、位置特定部３２では、位置信号受信部３１からの赤外線データ及び音波データを受け取り、遅延算出部３２１が、赤外線センサ３１０による赤外線検知時刻を基準にして、各音波センサ３１１〜３１４による音波検知時刻を求めて、音波センサ３１１〜３１４からの各音波データについて遅延時間を求める。
【０１３０】
これは、例えば図１３（Ａ）及び図１３（Ｂ）に示すように、位置被検出装置１Ｂから赤外線と音波とが同時に出力されるが、伝搬速度は赤外線の方が速いので、赤外線は、出力とほぼ同時に位置信号受信部３１の赤外線センサ３１０により検知される（図１３（Ｃ）参照）。一方、音波は赤外線より伝搬速度が遅いので、遅延して受信される（図１３（Ｄ）及び図１３（Ｅ）参照）。
【０１３１】
そこで、遅延算出部３２１は、赤外線検知時刻を基準にして、音波センサ１信号の遅延時間をＴ１、音波センサ２信号の遅延時間をＴ２とする。
【０１３２】
距離算出部３２２は、遅延算出部３２１により求められた各音波データの遅延時間に基づいて、各音波センサ３１１〜３１４から位置被検出装置１Ｂまでの距離を求める。
【０１３３】
位置被検出装置１Ｂまでの距離の算出方法は、例えば、音波の伝播速度に、各音波データの遅延時間を乗算することにより、位置被検出装置１Ｂと位置信号受信部３１との間の距離を求めることができる。
【０１３４】
また、方向特定部３２３は、遅延算出部３２１からの各音波データの遅延時間に基づいて、位置被検出装置１Ｂの方向を求める。
【０１３５】
ここで、方向特定部３２３による位置被検出装置１Ｂの方向を求める方法は、種々の方法を広く適用することができるが、例えば、以下のような方法を用いることができる。
【０１３６】
図１４は、位置被検出装置１Ｂの方向を求める方法を説明する説明図である。図１４では、ｚ＝０の平面上に２個の音波センサ３１１及び音波センサ３１２が配置されている場合を示す。
【０１３７】
例えば、距離算出部３２２により求められた位置被検出装置１Ｂと位置信号受信部３１との間の距離が、音波センサ３１１と音波センサ３１２と間の距離Ｄに比べて十分に大きい場合を考える。この場合、図１４に示すように、音波センサ３１１及び音波センサ３１２に到来する音波の入射角度θは同じであると考えることができる。
【０１３８】
また、このとき、音波センサ３１１及び音波センサ３１２に到来する音波は、Δだけの遅延をもってそれぞれの音波センサ３１１及び３１２に入力される。従って、音波センサ３１１及び音波センサ３１２に到来する音波の遅延時間τは、各音波センサ３１１及び３１２への入射角度θとには、式（１）のような幾何学的関係がある。
【０１３９】
θ＝ｓｉｎ−１（Δ／Ｄ） …（１）
Δ＝ｖ・τ …（２）
ただし、Ｄは、音波センサ間の距離、ｖは音波伝播速度を示す。
【０１４０】
なお、図１４は、水平平面上に配置した音波センサ間の音波の遅延関係を説明したが、垂直平面上に配置した場合にも式（１）の関係式は成立する。従って、４個の音波センサ３１１〜３１４について、位置信号（音波）の受信時刻差を計測することにより、３次元空間における位置被検出装置１Ｂの方向を求めることができる。
【０１４１】
以上の原理に基づき、位置特定部３２は、赤外線データと音波データの中からデータ強度の変化時刻を検出し、これに基づいて、位置被検出装置１Ｂまでの距離および３次元空間での方向を計算し、これを位置データとして撮影制御部２２に出力する。
【０１４２】
撮影制御部２２以降の会議端末２Ｂの処理は、第１の実施形態で説明した処理と同じであるので、ここでの説明を省略する。
【０１４３】
（Ｂ−３）第２の実施形態の効果
以上のように、第２の実施形態によれば、位置被検出装置が発言者の発話状況に基づいて赤外線と音波の位置信号を送出し、会議端末が１個の赤外線センサと４個の音波センサで受信し、これらの受信時刻差に基づいて位置被検出装置の３次元位置を検出するので、カメラを必要とすることなく、短時間で、発言者の位置を検出することができる。
【０１４４】
また、第２の実施形態では、位置被検出装置を、発言者による音声の隙間を検出して、その期間に位置信号を送出するように構成したので、発言者による音声と位置信号の音波とが同時に発生することを避けることができ、会議端末における発言者の位置検出を安定に行うことができる。
【０１４５】
（Ｃ）第３の実施形態
次に、本発明の発言者位置特定システム、位置信号出力装置及び位置特定装置の第３の実施形態を、図面を参照しながら説明する。
【０１４６】
第３の実施形態も、第２の実施形態と同様に、テレビ会議システムの発言者特定システムに本発明を適用した場合の実施形態を例示する。
【０１４７】
（Ｃ−１）第３の実施形態の構成及び動作
第３の実施形態が、第２の実施形態と異なる点は、位置被検出装置１Ｂの音波振動素子４１が音波に代えて超音波を送出すること、超音波及び赤外線を送出するタイミングである。
【０１４８】
そこで、第３の実施形態では、図７〜図１１を参照しながら、第３の実施形態に特徴的な処理を中心に説明することとし、第１及び第２の実施形態で既に説明した構成については省略する。
【０１４９】
図７において、第３の実施形態の位置被検出装置１Ｂは、音波振動素子４１及び赤外線発光素子１２を有する。音波振動素子４１は、音声センサ１１の音声入力の検知に応じて、超音波を出力する素子である。
【０１５０】
図９において、第３の実施形態の位置被検出装置１Ｂは、音声検出部１０１、信号生成制御部２０２、信号発生部２０３を有する。
【０１５１】
ここで、第３の実施形態の信号生成制御部２０２は、音声検出部１０１から音声検出データに基づき、発話区間において、所定のパタンで超音波及び赤外線を出力するように、制御信号を信号生成部２０３に与えるものである。
【０１５２】
これにより、参加者が発言すると、その発話区間において、音波振動素子４１及び赤外線発光素子１２が、同時に同じパタンで、超音波及び赤外線を出力することとなる。
【０１５３】
図１５は、第３の実施形態の位置被検出装置１Ｂにおける動作を説明する説明図である。
【０１５４】
図１５において、参加者が発言すると、その発声した音声が位置被検出装置１Ｂに与えられる（図１５（Ａ）参照）。音声検出部１０１は、第１の実施形態と同様にして音声入力信号を検出し、音声検出データを出力する（図１５（Ｂ）参照）。
【０１５５】
信号生成制御部２０２は、音声検出部１０１からの音声検出データに基づいて、発言者による発言開始直後及びその後の所定周期毎に音声が検出された場合に、赤外線及び超音波を出力させる制御信号を出力する。
【０１５６】
例えば、図１５（Ｂ）に例示するように、音声検出部１０１は、時刻ｔ１〜ｔ２の区間と時刻ｔ３〜ｔ４の区間とを発話区間とする。
【０１５７】
この場合、信号生成制御部２０２は、音声が検出された時刻ｔ１に、赤外線発光素子１２と音波振動素子４１を同時に駆動する。これにより、赤外線発光素子１２及び音波振動素子４１は、同時に赤外線及び超音波を位置信号として出力する。
【０１５８】
さらに、信号生成制御部２０２は、その後、所定周期毎に音声の有無を確認し、音声が検出された場合、赤外線発光素子１２と音波振動素子４１を同時に駆動する。これにより、発話区間において、赤外線発光素子１２及び音波振動素子４１から所定周期毎に赤外線及び超音波を出力することになる。
【０１５９】
会議端末２Ｂにおいて、位置信号受信部３１は、基本的には第２の実施形態と同じ構成であるが、第２の実施形態と異なる点は、音波センサ３１１〜３１４が、超音波の周波数帯域まで検出できることである。
【０１６０】
位置信号受信部３１は、１個の赤外線センサ３１０と、４個の音波センサ３１１〜３１４とに基づいて赤外線と超音波を検出して、赤外線データ及び超音波データを位置特定部３２に与える。なお、位置特定部３２以降の処理は、第２の実施形態で説明したので、ここでの処理説明は省略する。
【０１６１】
（Ｃ−２）第３の実施形態の効果
以上のように、第３の実施形態によれば、位置被検出装置が発言者の発話状況に基づいて赤外線と超音波の位置信号を送出し、会議端末が１個の赤外線センサと４個の超音波センサで受信し、これらの受信時刻差に基づいて位置被検出装置の３次元位置を検出するので、第２の実施例と同様に、カメラを必要とすることなく、短時間で、発言者の位置を検出することができる。
【０１６２】
また、第３の実施形態によれば、発言者による音声と位置信号の超音波が同時に発生しても、会議端末における発言者の位置検出を安定に行うことができ、同時に、会議参加者の耳に超音波の位置信号が検知されることがないという効果もある。
【０１６３】
（Ｄ）第４の実施形態
次に、本発明の発言者位置特定システム、位置信号出力装置及び位置特定装置の第４の実施形態を、図面を参照しながら説明する。
【０１６４】
第４の実施形態も、第２の実施形態と同様に、テレビ会議システムの発言者特定システムに本発明を適用した場合の実施形態を例示する。
【０１６５】
（Ｄ−１）第４の実施形態の構成及び動作
第４の実施形態が、第２の実施形態と異なる点は、位置被検出装置１Ｂの音波振動素子４１が音波に代えて音声帯域外の信号波を送出すること、音声帯域外の信号波及び赤外線を送出するタイミングである。
【０１６６】
そこで、第４の実施形態でも、図７〜図１１を参照しながら、第４の実施形態に特徴的な処理を中心に説明することとし、第１及び第２の実施形態で既に説明した構成については省略する。
【０１６７】
図１６は、第４の実施形態の位置被検出装置１Ｂにおける動作を説明する説明図である。
【０１６８】
まず、参加者が発話すると、位置被検出装置１Ｂの音声検出部１０１が発話区間を示す音声検出データを出力し、次に、位置被検出装置１Ｂの信号生成制御部２０２が、該音声検出データに基づいて発言者による発言開始直後に、赤外線および音声帯域外の信号波を出力させる制御信号を出力する。
【０１６９】
図１６において、音声検出部１０１は、音声入力信号の信号強度を一定時間間隔毎に積算し、その値が所定借より大きい場合に発話状態にあると判断し、音声検出データを出力する。例えば、図１６では、時刻ｔ１〜ｔ２の区間と時刻ｔ３〜ｔ４の区間において、音声検出データが出力される。
【０１７０】
次に、信号生成制御部２０２は、音声が検出された時刻ｔ１およびｔ３に、赤外線発光素子１２と音波振動素子４１を同時に駆動して、赤外線発光素子１２と音波振動素子４１が赤外線及び音声帯域以外の信号波を位置信号として出力する。
【０１７１】
位置信号受信部３１は、位置被検出装置１Ｂからの位置信号を、１個の赤外線センサ３１０と４個の音波センサ３１１〜３１４にて受信し、その受信信号を赤外線データ及び音波データとして、位置特定部３２に出力する。なお、音声センサ３１１〜３１４は、音声帯域以外の信号波を検出するできるものである。
【０１７２】
位置特定部３２は、第２の実施形態と同様の原理に基づいて、位置被検出装置１Ｂまでの距離および３次元空間での方向からなる位置データを求め、撮影制御部２２に出力する。
【０１７３】
第２の実施形態の位置特定部３２は、赤外線データと音波データの中からデータ強度の変化時刻を検出し、これに基づいて、位置被検出装置１Ｂまでの距離および３次元空間での方向を計算した。
【０１７４】
第４の実施形態は、赤外線及び音声帯域以外の信号波を発話区間に出力させる。そのため、第４の実施形態では、発言者の音声と位置信号との混信による位置信号の誤検出を避ける必要がある。
【０１７５】
そこで、位置特定部３２は、第２の実施形態と同様の原理を用いるが、次に示すような方法をさらに適用する。
【０１７６】
例えば、位置特定部３２は、４個の音波センサ３１１〜３１４の音波データから各々音声帯域外の信号波データを抽出し、そのうち、４個の信号波データ間で一定区間毎の相互相関関数または相当量を計算し、相互相関数または相当量がピークを示す音波データ間の時間差を検出して、これを各音波センサ３１１〜３１４間の受信時間差とみなす。
【０１７７】
すなわち、任意の２つの音波データＳ１（ｔ）、Ｓ２（ｔ）の時間区間（Ｔ１，Ｔ２）における相互相関関数ＣＣＦ（Ｔ１，ｄｔ）とする。例えば、この相互相関関数ＣＣＦ（Ｔ１，ｄｔ）は式（３）のように示すことができる。
【数１】
【０１７８】
位置特定部３２は、相互相関関数ＣＣＦ（Ｔ１，ｄｔ）に基づいて、時間区間（Ｔ１，Ｔ２）を変化させながら、ＣＣＦ（Ｔ１，ｄｔ）がピーク値を示すｄｔを求め、これを音波センサ間の受信時間差とみなす。
【０１７９】
さらに、位置特定部３２は、上記受信時刻差に基づいて、第２の実施形態と同様の方法により、位置被検出装置１Ｂまでの距離および３次元空間での方向を計算する。これ以降の会議端末２Ｂの処理は、第１及び第２の実施形態で説明した処理なので説明を省略する。
【０１８０】
（Ｄ−２）第４の実施形態の効果
以上のように、第４の実施形態によれば、位置被検出装置が発言者の発話状況に基づいて赤外線と音声帯域外の音波（信号波）の位置信号を送出し、会議端末が１個の赤外線センサと４個の音波センサで受信し、これらの受信時刻差に基づいて位置被検出装置の３次元位置を検出するので、第２の実施形態と同様に、カメラを必要とすることなく、短時間で、発声者の位置を検出することができる。
【０１８１】
また、第４の実施形態の会議端末は、発言者による音声と位置信号の音波が同時に発生しても、周波数フィルタで両者を分離して処理するので、会議端末における発言者の位置検出を安定に行うことができる。しかも、会議端末において、発言者による音声を入力するマイクと位置信号の音波を入力するマイクとを同じ音響帯域のデバイスとして共用化することができるので、超音波を用いる第３の実施形態に比べて、会議端末のコストを低減させることができる。
【０１８２】
（Ｅ）他の実施形態
（Ｅ−１）第１〜第４の実施形態では、本発明による発言者位置特定システムをテレビ会議システムに適用した場合について説明したが、本発明の利用形態はテレビ会議システムに限定されるものではない。
【０１８３】
例えば、音声によるコミュニケーションを伴う他の利用分野（例えば、音声会議システム、音声電話、テレビ電話、音声プレゼンテーションなど）に本発明を適用するようにしてもよい。これにより、発言者の位置を検出し、該位置に基づく情報伝達が可能となる。
【０１８４】
（Ｅ−２）第１の実施形態では、位置被検出装置が、音声を検出している間、発言者信号をランダムなタイミングで送信する場合について説明したが、位置被検出装置の他の構成として、音声を検出している間、発言者信号を、発言者または発言通知装置毎に一意に設定されたタイミングで送信するように構成してもよく、第１の実施例と同様に、複数の人が同時に発言を行う場合においても、発言者の位置を検出可能である。
【０１８５】
さらに、この場合、位置検出部が上記のタイミングを識別することにより、発言者または位置被検出装置を識別できるので、会議データに発言者のＩＤ情報を加えることによって、誰が発言しているのかを他の会議参加者に通知するなど、発言者毎の会議データ管理が可能となる。
【０１８６】
（Ｅ−３）第２〜第４の実施形態では、位置信号受信部の音波センサを４個で構成する場合について説明した。図１４に説明したように、水平または垂直方向の角度を検出するための音波センサは最低２個必要であるので、３次元空間上の角度を検出するためには音波センサは最低３個あればよい。また、角度の検出精度を向上させるために、音波センサの個数を増やしてもよい。さらに、位置被検出装置と会議端末がほぼ同じ水平面上に存在することが保証される場合には、水平方向に配置した２個の音波センサのみを用意してもよい。
【０１８７】
（Ｅ−４）上述した第１〜第４の実施形態において、位置被検出装置及び会議端末における処理は、いわゆるソフトウェア処理により実現することができる。例えば、ハードウェア構成として、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＥＥＰＲＯＭ等からなり、ＣＰＵが、ＲＯＭに格納された処理プログラムを読み出し、処理に必要なデータを用いて処理プログラムを実行することにより各機能を実現することができる。
【符号の説明】
【０１８８】
１Ａ及び１Ｂ…位置被検出装置、
１１…音声センサ、１２…赤外線発光素子、４１…音波振動素子、
１０１…音声検出部、１０２及び２０２…信号生成制御部、
１０３及び２０３…信号発生部、
２Ａ及び２Ｂ…会議端末、
２１…位置検出部、２２…撮影制御部、２３…会議制御部、２４…マイク、
２５…カメラ、２６…テレビモニタ、２７…スピーカ、
３１…位置信号受信部、３１０…赤外線センサ、３１１〜３１４…音波センサ、
３２…位置特定部、
２１１…受信部、２１２…画像データ形成部、２１３…時間変化検出部、
２１４及び３２０…空間位置算出部、３２１…遅延算出部、３２２…距離算出部、
３２３…方向特定部。
【特許請求の範囲】
【請求項１】
発言者の位置を示す位置信号を出力する位置信号出力装置であって、
それぞれ複数の信号波を上記位置信号として出力する信号波出力手段と、
利用者が発した音声を検出する音声検出手段と、
上記音声検出手段により検出された音声検出結果に応じて、上記信号波出力手段から出力される複数の信号波の出力制御を行う信号生成制御手段と
を備えることを特徴とする位置信号出力装置。
【請求項２】
上記複数の信号波がいずれも電磁波であり、
上記信号生成制御手段が、上記音声検出手段により検出された音声検出区間に、上記複数の電磁波を同時に出力させるものである
ことを特徴とする請求項１に記載の位置信号出力装置。
【請求項３】
上記複数の信号波のうち、一方は電磁波であり、他方が音響波であり、
上記信号生成制御手段が、上記音声検出手段により検出された音声の無音区間に、上記電磁波及び音響波を同時に出力させるものである
ことを特徴とする請求項１に記載の位置信号出力装置。
【請求項４】
上記複数の信号波のうち、一方は電磁波であり、他方は不可聴音信号波であり、
上記信号生成制御手段が、上記音声検出手段により検出された音声検出区間に、上記電磁波及び不可聴音信号波を同時に出力させるものである
ことを特徴とする請求項１に記載の位置信号出力装置。
【請求項５】
請求項１〜４のいずれかに記載の位置信号出力装置から出力された位置信号に基づいて、発言者の位置を特定する位置特定装置であって、
上記位置信号出力装置から出力された複数の信号波を受信する受信手段と、
上記受信手段により受信された複数の信号波を用いて、当該信号波を出力する上記位置信号出力装置の距離及び方向を求め、当該位置信号出力装置の位置を発言者の位置として特定する発言者位置特定手段と
を備えることを特徴とする位置特定装置。
【請求項６】
上記受信手段がイメージセンサであり、２次元領域上で上記複数の信号波を検出し、
上記発言者位置特定手段が、上記受信手段により検出された２次元領域上での検出位置間の距離を用いて、３次元領域上での位置を求めるものである
ことを特徴とする請求項５に記載の位置特定装置。
【請求項７】
上記受信手段が、電磁波検知部と、複数の音信号波検知部とを有するものであり、
上記発言者位置特定手段が、上記電磁波検知部の検知結果と、上記複数の音信号波検知部の検知結果とから求めた到来時刻差に基づいて、上記位置信号出力装置の距離及び方向を求めるものである
ことを特徴とする請求項５に記載の位置特定装置。
【請求項８】
上記発言者位置特定手段が、上記複数の音信号波検知部から音声帯域外の信号を抽出し、任意の音信号波検知信号部に対応した対象信号と、他の音信号波検知信号部に対応した対象信号との相関を取り、この相関がピーク値を示す時間差に基づいて、上記位置信号出力装置の方向を求めるものである
ことを特徴とする請求項５又は７に記載の位置特定装置。
【請求項９】
発言者の位置を特定する発言者位置特定システムにおいて、
利用者が発した音声を検出し、その音声検出結果に応じて、所定のタイミングで複数の信号波を出力する請求項１〜４のいずれかに記載の１又は複数の位置信号出力装置と、
上記各位置信号出力装置から出力された複数の信号波を受信し、受信した複数の信号波を用いて、当該信号波を出力する上記位置信号出力装置の距離及び方向を求め、当該位置信号出力装置の位置を発言者の位置として特定する請求項５〜８のいずれかに記載の位置特定装置と
を備えることを特徴とする発言者位置特定システム。
【請求項１】
発言者の位置を示す位置信号を出力する位置信号出力装置であって、
それぞれ複数の信号波を上記位置信号として出力する信号波出力手段と、
利用者が発した音声を検出する音声検出手段と、
上記音声検出手段により検出された音声検出結果に応じて、上記信号波出力手段から出力される複数の信号波の出力制御を行う信号生成制御手段と
を備えることを特徴とする位置信号出力装置。
【請求項２】
上記複数の信号波がいずれも電磁波であり、
上記信号生成制御手段が、上記音声検出手段により検出された音声検出区間に、上記複数の電磁波を同時に出力させるものである
ことを特徴とする請求項１に記載の位置信号出力装置。
【請求項３】
上記複数の信号波のうち、一方は電磁波であり、他方が音響波であり、
上記信号生成制御手段が、上記音声検出手段により検出された音声の無音区間に、上記電磁波及び音響波を同時に出力させるものである
ことを特徴とする請求項１に記載の位置信号出力装置。
【請求項４】
上記複数の信号波のうち、一方は電磁波であり、他方は不可聴音信号波であり、
上記信号生成制御手段が、上記音声検出手段により検出された音声検出区間に、上記電磁波及び不可聴音信号波を同時に出力させるものである
ことを特徴とする請求項１に記載の位置信号出力装置。
【請求項５】
請求項１〜４のいずれかに記載の位置信号出力装置から出力された位置信号に基づいて、発言者の位置を特定する位置特定装置であって、
上記位置信号出力装置から出力された複数の信号波を受信する受信手段と、
上記受信手段により受信された複数の信号波を用いて、当該信号波を出力する上記位置信号出力装置の距離及び方向を求め、当該位置信号出力装置の位置を発言者の位置として特定する発言者位置特定手段と
を備えることを特徴とする位置特定装置。
【請求項６】
上記受信手段がイメージセンサであり、２次元領域上で上記複数の信号波を検出し、
上記発言者位置特定手段が、上記受信手段により検出された２次元領域上での検出位置間の距離を用いて、３次元領域上での位置を求めるものである
ことを特徴とする請求項５に記載の位置特定装置。
【請求項７】
上記受信手段が、電磁波検知部と、複数の音信号波検知部とを有するものであり、
上記発言者位置特定手段が、上記電磁波検知部の検知結果と、上記複数の音信号波検知部の検知結果とから求めた到来時刻差に基づいて、上記位置信号出力装置の距離及び方向を求めるものである
ことを特徴とする請求項５に記載の位置特定装置。
【請求項８】
上記発言者位置特定手段が、上記複数の音信号波検知部から音声帯域外の信号を抽出し、任意の音信号波検知信号部に対応した対象信号と、他の音信号波検知信号部に対応した対象信号との相関を取り、この相関がピーク値を示す時間差に基づいて、上記位置信号出力装置の方向を求めるものである
ことを特徴とする請求項５又は７に記載の位置特定装置。
【請求項９】
発言者の位置を特定する発言者位置特定システムにおいて、
利用者が発した音声を検出し、その音声検出結果に応じて、所定のタイミングで複数の信号波を出力する請求項１〜４のいずれかに記載の１又は複数の位置信号出力装置と、
上記各位置信号出力装置から出力された複数の信号波を受信し、受信した複数の信号波を用いて、当該信号波を出力する上記位置信号出力装置の距離及び方向を求め、当該位置信号出力装置の位置を発言者の位置として特定する請求項５〜８のいずれかに記載の位置特定装置と
を備えることを特徴とする発言者位置特定システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−１９９７６３（Ｐ２０１１−１９９７６３Ａ）
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願番号】特願２０１０−６６７１７（Ｐ２０１０−６６７１７）
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（３０８０３３７２２）株式会社ＯＫＩネットワークス (165)
【Ｆターム（参考）】
【公開日】平成２３年１０月６日（２０１１．１０．６）
【国際特許分類】
【出願日】平成２２年３月２３日（２０１０．３．２３）
【出願人】（３０８０３３７２２）株式会社ＯＫＩネットワークス (165)
【Ｆターム（参考）】
[ Back to top ]