対象者特定装置，催事動向分析装置及び催事動向分析システム
【課題】 会議，演劇，プレゼンテーションなどの各種催事の動向を把握すること。
【解決手段】 対象者特定装置１には、利用者の体温，発汗，心拍数を計測する各種センサと、利用者が対象者の特定を指示するための意思伝達スイッチ１８９とが、外部からの音声を集音する指向性マイク１５１が設けられる。複数の対象者が参加する会議を視聴している利用者が意思伝達スイッチ１８９を押下すると、指向性マイク１５１からの音声が分析されて、発話中の対象者が特定される。そして、その対象者に対する利用者の「感動」の度合い等が、各センサからの計測値に基づいて推論される。その後、発話中の対象者の識別情報と、利用者の「感動」についての推論結果とを含む対象者情報が作成されて、催事動向分析装置２へ送信される。催事動向分析装置２では、対象者情報に基づいて会議などの各種催事の動向が分析される。
【解決手段】 対象者特定装置１には、利用者の体温，発汗，心拍数を計測する各種センサと、利用者が対象者の特定を指示するための意思伝達スイッチ１８９とが、外部からの音声を集音する指向性マイク１５１が設けられる。複数の対象者が参加する会議を視聴している利用者が意思伝達スイッチ１８９を押下すると、指向性マイク１５１からの音声が分析されて、発話中の対象者が特定される。そして、その対象者に対する利用者の「感動」の度合い等が、各センサからの計測値に基づいて推論される。その後、発話中の対象者の識別情報と、利用者の「感動」についての推論結果とを含む対象者情報が作成されて、催事動向分析装置２へ送信される。催事動向分析装置２では、対象者情報に基づいて会議などの各種催事の動向が分析される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の参加者により行われる催事の動向を分析する装置に関し、詳細には、催事の参加者に向けられた視聴者の意識や感情などを推論することで、催事の動向を分析する対象者特定装置，催事動向分析装置及び催事動向分析システムに関する。
【背景技術】
【０００２】
従来、利用者の生理情報や生体情報などを計測するセンサを設けて、このセンサから計測される各種情報に基づいて、利用者の意識や感情などを推論する装置が各種提案されている。
【０００３】
そして、心拍や皮膚インピーダンスなどの生理情報を計測するセンサに加えて、利用者の姿勢や運動状態を検出するためのＣＣＤカメラや、利用者が発する音声を検出するためのマイクロホンを設けて、利用者の意識レベルが特定の状態にあるか否かを、より正確に検出することができる意識レベル検出装置が知られている。また、利用者が意図的にみずからの心理状態をより正確に入力することができるゲーム制御装置も知られている（例えば、特許文献１参照。）。
【特許文献１】特開平１０−５７３５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、利用者の関心が特定の対象に向けられている場合、利用者の感情や意識などはその対象によって大きく左右されることが知られている。例えば、利用者が美術館や博物館などを見学する場合、特定の展示品に対しては強く感動するものの、その他の展示品にはほとんど感動しない場合がある。そのため、利用者が何に対して「感動」や「興奮」といった感情や意識などを生じたかが不明であると、利用者の感情や意識を推論しても、その推論結果を活用することが難しいという問題があった。
【０００５】
特許文献１に記載の発明では、ゲームについての利用者の意識レベルを検出しているが、利用者の関心が向けられる対象がゲームに限定されており、他の対象について利用者の意識レベル等を推論することはできなかった。特に、対象が人間である場合は、その対象者が移動してしまうと、利用者の関心が向けられている対象者の特定ができないという問題があった。さらに、会議，演劇，プレゼンテーションなどの各種催事は、通常は複数の参加者（対象者）によって行われるため、利用者の関心がどの対象者に向けられているのかを特定するのがいっそう困難であるという問題があった。
【０００６】
本発明は上記課題を解決するためになされたものであり、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、さらに複数の利用者によって行われる各種催事の動向を把握することができる対象者特定装置，催事動向分析装置及び催事動向分析システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に係る発明の対象者特定装置は、外部から音声を取得する音声取得手段と、前記音声取得手段により取得された音声に関する音声情報に基づいて対象者を特定する対象者特定手段と、少なくとも１個以上のセンサから、計測値を取得する計測値取得手段と、前記計測値取得手段により取得された前記計測値に基づいて、該計測値とは異なる指標値である推論情報を作成する推論情報作成手段と、前記対象者特定手段により特定された対象者を識別するための対象者識別情報と、前記推論情報作成手段により作成された前記推論情報とを含む対象者情報を作成する対象者情報作成手段とを備えている。
【０００８】
また、請求項２に係る発明の対象者特定装置は、請求項１に記載の発明の構成に加え、前記音声取得手段は、向けられた方向からの音声のみを集音する指向性マイクであり、前記対象者特定手段は、前記指向性マイクにおいて集音された音声を分析して、該音声を発した対象者を特定することを特徴とする。
【０００９】
また、請求項３に係る発明の対象者特定装置は、請求項１に記載の発明の構成に加え、前記音声取得手段は、外部から音声を集音可能なマイクを複数備えたマイクアレイであり、前記対象者特定手段は、前記マイクアレイにおいて集音された音声を分析して、該音声を発した対象者を特定することを特徴とする。
【００１０】
また、請求項４に係る発明の対象者特定装置は、請求項３に記載の発明の構成に加え、対象者とその存在位置とを対応付けた対象者特定テーブルを備え、前記対象者特定手段は、前記マイクアレイにおいて集音された音声の音源の方向及び距離を分析して、該音声を発した対象者の存在位置を特定し、前記対象者特定テーブルから該存在位置に対応する対象者を特定することを特徴とする。
【００１１】
また、請求項５に係る発明の対象者特定装置は、請求項１に記載の発明の構成に加え、前記音声取得手段は、外部から音声を集音可能な複数のマイクであり、前記対象者特定手段は、対象者が発した音声が入力された前記マイクに基づいて、該音声を発した対象者を特定することを特徴とする。
【００１２】
また、請求項６に係る発明の対象者特定装置は、請求項５に記載の発明の構成に加え、対象者と前記マイクとを対応付けた第２の対象者特定テーブルを備え、前記対象者特定手段は、対象者が発した音声が入力された前記マイクを特定して、前記第２の対象者特定テーブルから該マイクに対応する対象者を特定することを特徴とする。
【００１３】
また、請求項７に係る発明の対象者特定装置は、請求項１乃至６のいずれかに記載の発明の構成に加え、利用者自身が操作して対象者の特定を指示するための意思伝達手段を備え、前記対象者特定手段は、前記意思伝達手段から対象者の特定を指示された場合、前記音声取得手段により取得された音声に関する音声情報に基づいて対象者を特定することを特徴とする。
【００１４】
また、請求項８に係る発明の対象者特定装置は、請求項１乃至７のいずれかに記載の発明の構成に加え、前記対象者特定手段は、前記音声取得手段が複数の音声を取得した場合、該複数の音声のうちで最大音量又は最大音圧のものに基づいて対象者を特定することを特徴とする。
【００１５】
また、請求項９に係る発明の催事動向分析装置は、請求項１乃至８のいずれかに記載の対象者特定装置と、前記対象者情報作成手段により作成された複数の前記対象者情報を記憶する対象者情報記憶手段と、前記対象者情報記憶手段に記憶された複数の前記対象者情報に基づいて、対象者により行われる催事の動向を分析する催事動向分析手段とを備えている。
【００１６】
また、請求項１０に係る発明の催事動向分析システムは、外部から音声を取得して対象者を特定する音声取得装置と、利用者に関する推論を実行して対象者情報を作成する複数の対象者情報作成装置と、対象者により行われる催事の動向を分析する催事動向分析装置とが、ネットワークを介して接続された催事動向分析システムであって、前記音声取得装置は、外部からの音声の取得を実行する音声取得手段と、前記音声取得手段により取得された音声に関する音声情報に基づいて、対象者を特定する対象者特定手段と、前記対象者特定手段により特定された対象者を識別するための対象者識別情報を、前記推論情報作成手段に送信する対象者識別情報送信手段とを備え、前記推論情報作成装置は、前記対象者識別情報送信手段により送信された対象者識別情報を受信する対象者識別情報受信手段と、少なくとも１個以上のセンサから、計測値を取得する計測値取得手段と、前記計測値取得手段により取得された前記計測値に基づいて、該計測値とは異なる指標値である推論情報を作成する推論情報作成手段と、前記対象者識別情報受信手段により受信された前記対象者識別情報と、前記推論情報作成手段により作成された前記推論情報とを含む対象者情報を作成する対象者情報作成手段と、前記対象者情報作成手段により作成された前記対象者情報を前記催事動向分析装置に送信する対象者情報送信手段とを備え、前記催事動向分析装置は、前記対象者情報送信手段により送信された前記対象者情報を受信する対象者情報受信手段と、前記対象者情報受信手段により受信された前記対象者情報を記憶する対象者情報記憶手段と、前記対象者情報記憶手段に記憶された複数の前記対象者情報に基づいて、対象者により行われる催事の動向を分析する催事動向分析手段とを備えている。
【発明の効果】
【００１７】
請求項１に係る発明の対象者特定装置では、外部から取得された音声に関する音声情報に基づいて対象者を特定し、センサからの計測値に基づいて推論情報を作成して、対象者識別情報と推論情報とを含む対象者情報を作成するようにした。よって、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。
【００１８】
また、請求項２に係る発明の対象者特定装置では、請求項１に記載の発明の効果に加え、指向性マイクにおいて集音された音声を分析して対象者を特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００１９】
また、請求項３に係る発明の対象者特定装置では、請求項１に記載の発明の効果に加え、マイクアレイにおいて集音された音声を分析して対象者を特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００２０】
また、請求項４に係る発明の対象者特定装置では、請求項３に記載の発明の効果に加え、マイクアレイからの音声が分析されて音源の方向及び距離（音源位置）を特定し、その音源位置に対応する対象者を対象者特定テーブルから特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００２１】
また、請求項５に係る発明の対象者特定装置では、請求項１に記載の発明の効果に加え、複数のマイクのうちで音声が入力されたものに基づいて対象者を特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００２２】
また、請求項６に係る発明の対象者特定装置では、請求項５に記載の発明の効果に加え、複数のマイクのうちで音声が入力されたものを特定し、そのマイクに対応する対象者を第２の対象者特定テーブルから特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００２３】
また、請求項７に係る発明の対象者特定装置では、請求項１乃至６のいずれかに記載の発明の効果に加え、利用者による意思伝達手段の操作に応じて対象者を特定するようにした。よって、利用者は意思伝達手段を操作することで、任意の対象者を任意のタイミングで特定することができる。
【００２４】
また、請求項８に係る発明の対象者特定装置では、請求項１乃至７のいずれかに記載の発明の効果に加え、複数の音声が取得された場合には、その複数の音声のうちで最大音量又は最大音圧のものに基づいて対象者を特定するようにした。よって、音声取得手段により複数の対象者の音声が取得されても、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００２５】
また、請求項９に係る発明の催事動向分析装置では、複数の対象者情報に基づいて対象者により行われる催事の動向を分析するようにしたので、催事の盛り上がり具合や中心人物の変遷などの各種動向を把握することができ、対象者情報の利用範囲を広げることができる。
【００２６】
また、請求項１０に係る発明の催事動向分析システムでは、外部から音声を取得して対象者を特定する音声取得装置と、利用者に関する推論を実行して対象者情報を作成する複数の対象者情報作成装置と、対象者により行われる催事の動向を分析する催事動向分析装置とが、ネットワークを介して接続されるようにした。よって、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。また、催事の盛り上がり具合や中心人物の変遷などの各種動向を把握することができ、対象者情報の利用範囲を広げることができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の第１の実施の形態を図面を参照して説明する。第１の実施の形態に係る催事動向分析システムは、小型の携帯端末機器である対象者特定装置１と、固定されたコンピュータ端末である催事動向分析装置２とで構成されたシステムである。
【００２８】
本実施の形態では、視聴者が対象者特定装置１を携行しながら、会議，演劇，プレゼンテーションなどの複数の参加者で行われる各種催事を視聴すると、センサから計測された情報に基づいて、各参加者に対する利用者の意識や感情などが推論されて、その推論結果に基づいて催事の動向が分析される。以下では、催事を行っている参加者を「対象者」と、その催事を視聴する視聴者を「利用者」とし、両者を区別して説明する。
【００２９】
また、センサから計測される情報として、体温，発汗，心拍数の各計測値を例示する。また、対象者情報とは、特定の対象者に対する利用者の意識や感情などに関する情報であるが、本実施の形態では、利用者がどの対象者に対して、どの程度「感動」したかを示す情報として説明する。
【００３０】
まず、図１乃至図５を参照して、第１の実施の形態に係る催事動向分析システムの構成について説明する。図１は、催事動向分析システムについての全体構成図である。図２は、対象者特定装置１の電気的構成を示すブロック図である。図３は、対象者特定装置１のＲＡＭ１３０の記憶エリアの構成を示す概念図である。図４は、対象者特定装置１のＨＤＤ１４０の記憶エリアの構成を示す概念図である。図５は、催事動向分析装置２の電気的構成を示すブロック図である。
【００３１】
図１に示すように、本実施の形態の催事動向分析システムにおいては、対象者特定装置１が利用者に携帯または装着され、体温センサ、発汗センサ及び心拍数センサなどの複数のセンサが接続される。これらのセンサの読み取り部は利用者の皮膚等に接触して、適切に利用者を計測可能な状態に設けられる（図１中の斜線部）。そのため、対象者特定装置１では常に利用者がセンサにより計測される状態に保持される。また、対象者の特定を指示するために利用者が任意に押下することができる意思伝達スイッチ１８９や、後述の指向性マイク１５１が具備されており、利用者は指向性マイク１５１を任意の対象者に向けることで、対象者特定装置１にその対象者の音声を取得させることができる。また、対象者特定装置１はアンテナ１６１を介して、外部との各種情報の送受信が可能であり、本実施の形態では、複数の利用者が各々対象者特定装置１を携行し、各対象者特定装置１が催事動向分析装置２と有効に接続可能となっている。
【００３２】
このような構成により、例えば、対象者特定装置１を携行する利用者が、複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合には、その対象者に指向性マイク１５１を向けて意思伝達スイッチ１８９を押す。すると、後述するように、その対象者についての利用者の「感動」に関する対象者情報が作成されて、催事動向分析装置２に送信される。催事動向分析装置２では、複数の対象者特定装置１から取得された対象者情報をもとに、その会議の盛り上がり具合や中心人物の変遷などの各種動向が分析される。
【００３３】
なお、本実施の形態では、図１に示すように複数の対象者「Ａ」，「Ｂ」，「Ｃ」が参加して会議が催されており、その会議を複数の利用者「Ｘ」，「Ｙ」，「Ｚ」が視聴しており、対象者特定装置１を携行する利用者「Ｘ」が対象者「Ａ」の発言に「感動」して、指向性マイク１５１を対象者「Ａ」に向けて意思伝達スイッチ１８９を押下した場合を例示する。
【００３４】
次に、対象者特定装置１の電気的構成を説明する。図２に示すように、対象者特定装置１には、対象者特定装置１の制御を司るＣＰＵ１１０が設けられている。このＣＰＵ１１０には、バス１１５を介し、ＣＰＵ１１０が実行するＢＩＯＳ等のプログラムを記憶したＲＯＭ１２０と、データを一時的に記憶するＲＡＭ１３０と、データの記憶装置であるハードディスクドライブ（以下、「ＨＤＤ」という。）１４０とが接続されている。
【００３５】
また、各種機器からの入力の検知を行う入力検知部１８０が、バス１１５を介してＣＰＵ１１０に接続されており、この入力検知部１８０には、利用者が対象者特定装置１を操作するためのボタンやスイッチを備えた入力パネル１８１と、利用者の体温を計測する体温センサ１８２と、利用者の発汗状態を計測するための発汗センサ１８３と、利用者の心拍数を計測するための心拍数センサ１８４とが接続されている。また、体温センサ１８２、発汗センサ１８３及び心拍数センサ１８４は、有効に利用者の体温、発汗、心拍数を測定できれば、その位置や計測手法は問わないが、好適には、利用者の皮膚に当接するように各センサの読み取り部が設けられている。なお、体温センサ１８２では計測値として０〜５０℃が計測され、発汗センサ１８３では計測値として０〜１００％ＲＨが計測され、心拍数センサ１８４では計測値として０〜２００拍が計測されるものとする。体温センサ１８２，発汗センサ１８３，心拍数センサ１８４から計測される情報が、本発明の「計測値」に相当する。
【００３６】
各センサは、対象者特定装置１に電源が投入されて起動されると、自動的に定期的な計測を実行するように制御される。各センサの計測値が、各センサ内部の所定の記憶エリアに保存されて、対象者特定装置１では入力検知部１８０を介してこの所定の記憶エリアから最新の計測値が取得される。なお、対象者特定装置１のＲＡＭ１３０やＨＤＤ１４０にセンサ毎の計測値記憶エリア（図示外）を設けて、各センサの計測値が入力検知部１８０を介して計測値記憶エリアに保存される一方、対象者特定装置１ではこの計測値記憶エリアが参照されて最新の計測値が取得されるようにしてもよい。
【００３７】
また、入力パネル１８１には、対象者特定装置１の電源を入切したり、起動し直すための電源リセットスイッチ（図示せず）や、任意に対象者の特定を指示するために利用者自身がオン・オフしてスイッチ情報を入力するための意思伝達スイッチ１８９などが設けられている。例えば、本実施の形態では、対象者特定装置１は利用者の「感動」について推論するものであるから、利用者は特定の対象者について感動した場合には意思伝達スイッチ１８９をオンしてスイッチ情報「ＯＮ」を入力し、感動しない場合には意思伝達スイッチ１８９をオンせずに（オフして）スイッチ情報「ＯＦＦ」を入力する。
【００３８】
また、音声制御部１５０，通信制御部１６０，計時装置１９０が、バス１１５を介してＣＰＵ１１０に接続されている。音声制御部１５０は、向けられた方向からの外部音声のみを集音する高感度の指向性マイク１５１に接続され、指向性マイク１５１により集音された音声信号を処理する。通信制御部１６０は、外部との各種情報の送受信を仲介するアンテナ１６１に接続され、アンテナ１６１を介して外部との無線通信を実行する。また、計時装置１９０は、現在日時や時間間隔をカウントするための時計機能を備えたＩＣチップであるが、インターネットや無線によって日時を取得するように構成してもよい。
【００３９】
このような構成によって、第１の実施の形態の対象者特定装置１では、体温センサ１８２，発汗センサ１８３，心拍数センサ１８４からのセンサ情報と、指向性マイク１５１からの音声信号とに基づいて、利用者がどの対象者に対してどのような感情や意識などを生じたかを示す対象者情報が作成される。
【００４０】
なお、本実施の形態の対象者特定装置１で実行されるモジュールの一つとして、対象者特定プログラム１２１と対象者情報作成プログラム１２２が実行される。対象者情報作成プログラム１２２は、後述の対象者情報作成処理（図６）を実行して対象者情報を作成するためのものであり、対象者特定プログラム１２１は、後述の発話者特定処理（図１１）を実行して発話中の対象者を特定するためのものである。対象者特定プログラム１２１と対象者情報作成プログラム１２２は、あらかじめＨＤＤ１４０上のプログラム記憶エリア１４２（図４参照）に記憶されているものとする。また、図示外のＣＤ−ＲＯＭドライブ、フロッピー（登録商標）ディスクドライブ、各種インタフェースを介して、導入時に、ＣＤ−ＲＯＭ等の外部の記憶媒体やネットワークを介して外部の記憶装置から、ＨＤＤ１４０上のプログラム記憶エリア１４２や情報記憶エリア１４３（図４参照）に、対象者特定プログラム１２１と対象者情報作成プログラム１２２がセットアップされてもよい。また、ＨＤＤ１４０には、指向性マイク１５１から入力された音声の発話者を特定するための発話者音声照合テーブル１４が設けられている（詳細は後述。）。
【００４１】
図３に示すように、対象者特定装置１のＲＡＭ１３０には、プログラムの実行中の一時的なデータを記憶するワークエリア１３１と、入力された各種情報を一時的に記憶する入力情報記憶エリア１３２と、出力すべき各種情報を一時的に記憶する出力情報記憶エリア１３３とが設けられている。さらに、ＲＡＭ１３０には、図示外の各種記憶エリアが設けられる。
【００４２】
図４に示すように、対象者特定装置１のＨＤＤ１４０には、対象者特定装置１の動作を制御するためＣＰＵ１１０が実行する各種のプログラム等を記憶したオペレーティングシステム（ＯＳ）記憶エリア１４１と、対象者特定装置１で実行される各種のプログラムや対象者特定プログラム１２１及び対象者情報作成プログラム１２２を記憶したプログラム記憶エリア１４２と、プログラムの実行に必要な設定や初期値、データ等の情報を記憶した情報記憶エリア１４３と、作成された対象者情報を記憶する対象者情報記憶エリア１４４とが設けられる。なお、情報記憶エリア１４３には、後述の推論定義テーブル１３や発話者音声照合テーブル１４等が記憶される。
【００４３】
次に、催事動向分析装置２の電気的構成を説明する。図５に示すように、催事動向分析装置２には、ＣＰＵ２１０，ＲＯＭ２２０，ＲＡＭ２３０，ＨＤＤ２４０，ディスプレイ２６１が接続された表示制御部２６０，マイク２７１及びスピーカ２７２が接続された音声制御部２７０，マウス２８１及びキーボード２８２が接続された入力検知部２８０が、バス２１５を介して具備されている。このような催事動向分析装置２の構成は、通常のコンピュータ機器の構成として公知のものであるから、詳細は省略する。なお、催事動向分析装置２には、アンテナ２９２を介して複数の対象者特定装置１と無線通信によって有効に接続するための通信制御部２９１が設けられている。また、後述の催事動向解析処理を実行するための催事動向分析プログラム２２１がＲＯＭ２２０に記憶され、催事動向解析処理により作成された催事動向分析情報が記憶される分析情報記憶エリア２４１が設けられている。
【００４４】
以下、第１の実施の形態に係る催事動向分析システムにおける処理の流れを説明する。
【００４５】
まず、対象者特定装置１での処理の流れを、図６乃至図１３を参照して説明する。図６は、対象者情報作成処理のメインフローチャートである。図７は、キャリブレーション処理（Ｓ１３）の詳細を示すフローチャートである。図８は、計測処理（Ｓ１５）の詳細を示すフローチャートである。図９は、推論処理（Ｓ１６）の詳細を示すフローチャートである。図１０は、推論定義テーブル１３の概要を示す図である。図１１は、対象者特定処理（Ｓ１７）の詳細を示すフローチャートである。図１２は、発話者音声照合テーブル１４のデータ構成を示す図である。図１３は、対象者情報１０のデータ構成を示す図である。なお、対象者情報作成処理（図６）は、対象者特定装置１の電源がＯＮされて起動されると、その処理が開始されて、対象者特定装置１が起動している間は継続的に実行されるものとする。
【００４６】
図６に示すように、対象者情報作成処理では、まず利用者を計測するための各種センサが初期化される（Ｓ１１）。本実施の形態においては、対象者特定装置１が起動されると、体温センサ１８２，発汗センサ１８３，心拍数センサ１８４が初期化される。そして、所定の測定間隔時間が計時装置１９０にセットされる（Ｓ１２）。測定間隔時間は、後述のキャリブレーション処理（Ｓ１３）においてキャリブレーション測定が実行される時間間隔である。Ｓ１１ではあらかじめ定められた値が、測定間隔時間としてセットされるが、利用者又は設計者が任意の値を設定するようにしてもよい。
【００４７】
次に、各種センサによる計測値の平均である基準値を取得するためのキャリブレーション処理が実行される（Ｓ１３）。図７に示すように、キャリブレーション処理（Ｓ１３）では、まず測定回数の初期化がなされ（Ｓ２１）、このキャリブレーション処理が実行されるキャリブレーション時間が計時装置１９０にセットされる（Ｓ２２）。Ｓ２２ではあらかじめ定められた値が、キャリブレーション時間としてセットされるが、利用者又は設計者が任意の値を設定するようにしてもよい。
【００４８】
そして、キャリブレーション時間を終了（経過）しておらず（Ｓ２３：ＮＯ）、かつ、対象者情報作成処理（図６参照）のＳ１２で設定された測定間隔時間が終了（経過）していれば（Ｓ２４：ＹＥＳ）、各センサの出力が測定される（Ｓ２５）。本実施の形態においては、体温センサ１８２，発汗センサ１８３，心拍数センサ１８４が設けられているから、それぞれ利用者の体温，発汗，心拍数について出力された計測値が取得される。なお、測定間隔時間が終了（経過）していない場合は（Ｓ２４：ＮＯ）、測定間隔時間が終了（経過）するまで、Ｓ２４において待ち状態となる。その後、測定回数が増加されて（Ｓ２６）、Ｓ２３へ戻る。
【００４９】
そして、Ｓ２３でキャリブレーション時間を終了（経過）していない場合には（Ｓ２３：ＮＯ）、再び、測定間隔時間の経過後（Ｓ２４：ＹＥＳ）、各センサの出力が測定される（Ｓ２５）。このように、Ｓ２２においてセットされたキャリブレーション時間が終了（経過）するまで、測定間隔時間毎に各センサの出力の測定が繰り返される（Ｓ２３〜Ｓ２６）。
【００５０】
一方、キャリブレーション時間の経過後は（Ｓ２３：ＹＥＳ）、各センサ毎の測定値の平均値が算出される（Ｓ２７）。例えば、体温センサ１８２により測定間隔時間毎に測定された複数の体温の測定値を全て加算し、その加算値をＳ２６により取得された測定回数で除算する等して、体温センサ１８２の測定値の平均値が算出される。そして、Ｓ２７で算出された各センサの基準値は、ＲＡＭ１３０に設けられた基準値エリア（図示外）に保存される（Ｓ２８）。
【００５１】
対象者情報作成処理（図６）に戻り、意思伝達スイッチ１８９が「ＯＮ」か否かが判定される（Ｓ１４）。意思伝達スイッチ１８９が「ＯＮ」でない、すなわち「ＯＦＦ」である場合には（Ｓ１４：ＮＯ）、Ｓ１４で待ち状態となる。一方、意思伝達スイッチ１８９が「ＯＮ」である場合（Ｓ１４：ＹＥＳ）、各センサが利用者を計測する計測処理が実行される（Ｓ１５）。
【００５２】
図８に示すように、計測処理（Ｓ１５）では、まず計測回数の初期化がなされ（Ｓ３１）、計測回数のセットがなされた後（Ｓ３２）、各センサの出力が計測される（Ｓ３３）。そして、Ｓ３３による各センサの計測値から、ＲＡＭ１３０に設けられた基準値エリアに記憶された各センサの基準値が減算されて、増分値に加算される（Ｓ３４）。例えば、Ｓ３３において、体温センサ１８２により現在の利用者の体温が計測値３６．５℃として計測された場合に、体温センサ１８２の基準値３６．０℃であれば、０．５℃が増分値に加算されることになる。その後、計測回数が増加されて（Ｓ３５）、Ｓ３２でセットされた計測回数が終了していなければ（Ｓ３６：ＮＯ）、その計測回数を終了するまで、各センサの出力の測定が繰り返される（Ｓ３３〜Ｓ３６）。Ｓ３４においては、１回の計測毎の増分値がその都度前回までの増分値に加算されていく。Ｓ３２でセットされた計測回数が終了すると（Ｓ３６：ＹＥＳ）、Ｓ３２によりセットされた計測回数で、各センサ毎に増分値を除算して、各センサ毎の増分値の平均値が算出される（Ｓ３７）。
【００５３】
対象者情報作成処理（図６）に戻り、利用者の感情や意識などを推論する推論処理が実行される（Ｓ１６）。図９に示すように、推論処理（Ｓ１６）では、まず各センサからの計測値の状態変化を示すフラグである状態変数がクリアされる（Ｓ４１）。本実施の形態では、体温センサ１８２が計測する体温についての第２ｂｉｔ、発汗センサ１８３が計測する発汗についての第１ｂｉｔ、心拍数センサ１８４が計測する心拍数についての第０ｂｉｔ、の３つのビットを状態変数として有している。そして、計測処理（Ｓ１５）で算出された各センサ毎の増分値の平均値に基づいて、利用者からの計測値の変化を判定する。
【００５４】
最初に、体温センサ１８２から計測された体温の増分値の平均値（体温増分値）と、体温に関する基準値（体温閾値）とが比較される（Ｓ４２）。基準値（閾値）は、キャリブレーション処理（図７）のＳ２８で、各センサの基準値エリアに保存された値である。その結果、体温増分値が体温閾値よりも大きければ（Ｓ４２：ＹＥＳ）、第２ｂｉｔが「ＯＮ」にセットされる（Ｓ４３）。一方、体温増分値が体温閾値よりも大きくない場合（Ｓ４２：ＮＯ）、そのまま次のステップ（Ｓ４４）へ進む。同様に、発汗センサ１８３が計測する発汗についても、その増分値の平均値（発汗増分値）と発汗に関する基準値（発汗閾値）とが比較され（Ｓ４４）、その結果、発汗増分値が発汗閾値よりも大きければ（Ｓ４４：ＹＥＳ）、第１ｂｉｔが「ＯＮ」にセットされる（Ｓ４５）。一方、発汗増分値が発汗閾値よりも大きくない場合（Ｓ４４：ＮＯ）、そのまま次のステップ（Ｓ４６）へ進む。また、心拍数センサ１８４が計測する心拍数についても、その増分値の平均値（心拍数増分値）と心拍数に関する基準値（心拍数閾値）とが比較され（Ｓ４６）、その結果、心拍数増分値が心拍数閾値よりも大きければ（Ｓ４６：ＹＥＳ）、第０ｂｉｔが「ＯＮ」にセットされる（Ｓ４７）。一方、心拍数増分値が心拍数閾値よりも大きくない場合（Ｓ４６：ＮＯ）、そのまま次のステップ（Ｓ４８）へ進む。
【００５５】
その後、状態変数の第２ｂｉｔ，第１ｂｉｔ，第０ｂｉｔまでのパターンに対応する推論種別及び推論値が、推論定義テーブル１３から取得される（Ｓ４８）。図１０に示すように、推論定義テーブル１３は、推論の種別を示す推論種別１３ａと、各センサにより計測された利用者の感情や意識などの変化状態を示すセンサ状態１３ｂと、利用者の推論の強弱を数値で示す推論値１３ｃとをデータ項目として具備している。そして、各々のデータ項目の対応を、テーブル形式で定義している。先述のように、本実施の形態では利用者の「感動」について推論されるから、推論定義テーブル１３も「感動」を推論するのに適した内容で定義されている。詳細には、推論種別１３ａは「感動」に関する推論の種別が定義されており、利用者の「感動」の強弱によって「大興奮」から「無感動（平常）」までの複数の推論の種別が存在している。また、その「感動」の強弱を数値で表した推論値１３ｃが定義され、例えば、推論種別１３ａが「大興奮」であれば、その推論値１３ｃは最大値の「１００」である。なお、図１０に示す推論定義テーブル１３は「感動」に関するものであるから、推論値１３ｃは感動度（Ｅ）とも表示される。
【００５６】
そして、Ｓ４８では、Ｓ４２〜Ｓ４７によりセットされた状態変数によってセンサ状態１３ｂが特定されるから、このセンサ状態１３ｂに対応する推論種別１３ａや推論値１３ｃが取得される。なお、第２ｂｉｔ〜第０ｂｉｔが、それぞれ「ＯＮ」がセットされている場合には、センサ状態１３ｂにおいては「ＵＰ」と判定される。例えば、第２ｂｉｔ「ＯＮ」，第１ｂｉｔ「ＯＮ」，第０ｂｉｔ「ＯＦＦ」の場合は、推論種別１３ａ「混乱」で推論値１３ｃ「１０」が、推論定義テーブル１３を参照して取得される。
【００５７】
対象者情報作成処理（図６）に戻り、利用者の感情や意識が向けられている対象者を特定する対象者特定処理が実行される（Ｓ１７）。図１１に示すように、対象者特定処理（Ｓ１７）では、まず指向性マイク１５１から音声のサンプリングが実行され（Ｓ５１）、Ｓ５１でサンプリングされた音声の特徴量（音声パターン）が抽出される（Ｓ５２）。そして、発話者音声照合テーブル１４を参照して、各対象者の音声の特徴量（音声パターン）とＳ５２で抽出された特徴量（音声パターン）との差分が算出される（Ｓ５３）。
【００５８】
図１２に示すように、発話者音声照合テーブル１４には、複数の対象者の音声の特徴量を示す音声パターン情報１４ａと、その対象者に固有の識別情報（対象者識別情報）１４ｂとが対応付けて記憶されている。Ｓ５３では発話者音声照合テーブル１４が参照されて、全対象者の音声パターン情報１４ａに基づいて、Ｓ５２で抽出された音声パターンとの差分が算出される。なお、図１２は、対象者「Ａ」，「Ｂ」，「Ｃ」についての音声パターン情報１４ａ及び対象者識別情報１４ｂが定義されていることを図示している。
【００５９】
そして、Ｓ５３で算出された各差分のうち、最小値のものの登録対象者の対象者識別情報１４ｂが、Ｓ１８の対象者情報の作成（図６参照）で用いられる対象者識別情報として設定される（Ｓ５４）。すなわち、Ｓ５３における演算の結果、Ｓ５２で抽出された特徴量（音声パターン）との差分が最も小さい音声パターン情報１４ａが、Ｓ５１で取得された音声と最も近似しているため、その音声パターン情報１４ａに対応する対象者識別情報１４ｂが設定される。
【００６０】
なお、対象者特定処理（Ｓ１７）で実行される音声照合による対象者の特定は、公知の話者識別や話者照合に関する技術を適用すればよく、有効に音声を発した利用者を特定できるのであれば、いずれの技術を適用してもよい（一例として、特許第２８１６１６３号，特許第３０９８１５７号，特開２００２−２２１９９０，特開２００１−３１２２９５，特開平７−２１０１９７など）。
【００６１】
そして、推論処理（Ｓ１６）で取得された推論種別１３ａ及び推論値１３ｃと、対象者特定処理（Ｓ１７）で設定された対象者識別情報に基づいて、所定のヘッダー部などを付加した対象者情報１０が作成される（Ｓ１８）。なお、作成された対象者情報１０は、ＨＤＤ１４０の対象者情報記憶エリア１４４（図４参照）に保存される。
【００６２】
図１３に示すように、対象者情報１０には、少なくとも推論値１０ａ，推論種別１０ｂ，対象者識別情報１０ｃが含まれている。推論値１０ａ及び推論種別１０ｂは、推論処理（Ｓ１６）で推論定義テーブル１３から取得された推論値１３ｃ及び推論種別１３ａに各々対応する。また、対象者識別情報１０ｃは、対象者特定処理（Ｓ１７）で発話者音声照合テーブル１４から特定された対象者識別情報１４ｂである。図１３には、推論値１０ａ「８０」及び推論種別１０ｂ「鳥肌が立つ」とともに、利用者「Ａ」（図１参照）を示す対象者識別情報１０ｃ「Ａ」が図示されている。
【００６３】
そして、Ｓ１８で作成された対象者情報１０は、通信制御部１６０からアンテナ１６１を介して催事動向分析装置２に送信される（Ｓ１９）。Ｓ１９の送信処理の実行タイミングは対象者情報１０の作成時に限定されず、所定期間ごとに又は利用者からの指示がある場合に、Ｓ１９の送信処理が実行されてもよい。なお、催事動向分析装置２に送信された対象者情報１０は、アンテナ２９２を介して通信制御部２９１により受信され、催事動向分析装置２のＨＤＤ２４０に設けられた対象者情報記憶エリア（図示外）に保存される。
【００６４】
その後、Ｓ１４に戻り、意思伝達スイッチ１８９が「ＯＮ」される毎に、最新の対象者情報１０が出力される処理が繰り返される（Ｓ１５〜Ｓ１９）。このように、意思伝達スイッチ１８９が「ＯＮ」される毎に、最新の対象者情報１０が出力される処理が繰り返される結果、ＨＤＤ１４０の対象者情報記憶エリア１４４（図４参照）には、複数の対象者情報１０が時系列に保存される。
【００６５】
以上の処理により、対象者特定装置１を携行する利用者「Ｘ」が、対象者「Ａ」の発言に「感動」したような場合に、指向性マイク１５１を対象者「Ａ」に向けて意思伝達スイッチ１８９を押すと、対象者「Ａ」についての利用者「Ｘ」の「感動」に関する対象者情報１０が作成されて、催事動向分析装置２に送信される。
【００６６】
次に、催事動向分析装置２での処理の流れを、図１４及び図１５を参照して説明する。図１４は、催事動向分析処理のメインフローチャートである。図１５は、催事動向分析情報２００のデータ内容の表示例を示す図である。
【００６７】
催事動向分析装置２では、ＨＤＤ２４０の対象者情報記憶エリア（図示外）に収集された複数の対象者情報１０に基づいて、催事の動向を分析する催事動向分析処理が実行され、本実施の形態では、複数の対象者が参加する会議の盛り上がり具合や中心人物の変遷などの各種動向が分析される。催事動向分析処理では、あらかじめ定められた時間間隔毎に定期的に実行され、又はマウス２８１やキーボード２８２から処理実行が指示されると実行される。
【００６８】
図１４に示すように、催事動向分析処理では、対象者情報記憶エリア（図示外）から分析対象となる対象者情報１０が読み出される（Ｓ２０１）。ここで、対象者情報記憶エリア（図示外）に保存されている全ての対象者情報１０を読み出してもよいし、一部のみを読み出してもよい。また、読み出し対象となる対象者情報１０を、利用者が選択できるようにしてもよい。
【００６９】
次に、Ｓ２０１で読み出された対象者情報１０に基づいて、分析実行処理（Ｓ２０２）が実行されて、催事の動向を示す催事動向分析情報２００が作成される。Ｓ２０２で作成された催事動向分析情報２００は、ＨＤＤ２４０の分析情報記憶エリア２４１に保存される（Ｓ２０３）。ここで、対象者情報１０に基づいて催事動向分析情報２００を作成する手法としては、その目的や利用形態に応じて各種手法を適用可能であり、どのような内容の催事動向分析情報２００を作成するかも利用者又は設計者の任意である。
【００７０】
図１５に示すように、催事動向分析情報２００は、現在の時刻を示す「現在日時」２０１や、催事動向分析処理（図１４）が実行される時間間隔を示す「集計間隔」２０２の他、「会議全体の盛り上がり」２０３，「主役（優位）」２０４，「主役獲得時間のＴＯＰ」２０５，「感動度獲得のＴＯＰ」２０６，「集計時間における各対象者に対する感動度」２０７などのデータ項目を含む。以下では、各データ項目と分析実行処理（Ｓ２０２）との関係について説明する。
【００７１】
「会議全体の盛り上がり」２０３は、会議全体の盛り上がりの程度を示す指標であり、分析処理（Ｓ２０２）における次のような処理により取得される。すなわち、Ｓ２０１で取得された対象者情報１０の推論値１０ａ（図１３参照）を総計し、その総計した値を対象者情報１０の数量で除算して、推論値１０ａの平均値を求める。例えば、３つの対象者情報１０の推論値１０ａが、それぞれ「１００」，「８０」，「６０」である場合、図１５に示すように、「会議全体の盛り上がり」２０３として「８０％」が設定される。
【００７２】
「主役（優位）」２０４は、会議における中心人物となっている対象者を示す指標であり、詳細には、「主役（優位）」２０４ａ，「前主役（優位）」２０４ｂ，「前々主役（優位）」２０４ｃは、それぞれ今回，前回，前々回の催事動向分析処理（図１４）ごとの中心人物を示し、分析処理（Ｓ２０２）における次のような処理により取得される。すなわち、Ｓ２０１で取得された対象者情報１０の推論値１０ａを比較して、最大値の対象者情報１０の対象者識別情報１０ｃ（図１２参照）を特定する。例えば、推論値１０ａが最大値を示す対象者情報１０の対象者識別情報１０ｃ「Ａ」であれば、図１５に示すように、「主役（優位）」２０４ａとして「Ａ」が設定され、前回に「主役（優位）」２０４ａ，「前主役（優位）」２０４ｂに設定されていた「Ｂ」，「Ａ」が、今回の「前主役（優位）」２０４ｂ，「前々主役（優位）」２０４ｃに設定される。
【００７３】
「主役獲得時間のＴＯＰ」２０５は、会議の開始から現在に至るまでの主役（優位）であった時間が最も長い対象者を示す指標である。この指標は、分析処理（Ｓ２０２）において、会議の開始から現在に至るまでに作成された催事動向分析情報２００を統計することで取得される。例えば、現在までの催事動向分析情報２００において、「主役（優位）」２０４に設定された回数が最も多い対象者「Ａ」である場合は、図１５に示すように「主役獲得期間のＴＯＰ」２０５として「Ａ」が設定される。
【００７４】
「感動度獲得のＴＯＰ」２０６は会議の開始から現在に至るまでの最も高い「感動」を獲得した対象者を示す指標である。この指標は、分析処理（Ｓ２０２）において、会議の開始から現在に至るまでに、Ｓ２０１で取得された対象者情報１０のうちで、推論値１０ａが最大値を記録した対象者の対象者識別情報１０ｃが取得される。例えば、現在までにＳ２０１で取得された対象者情報１０のうちで、最大の推論値１０ａを示す対象者の対象者識別情報１０ｃ「Ｂ」である場合は、図１５に示すように「感動度獲得のＴＯＰ」２０６として「Ｂ」が設定される。
【００７５】
「集計時間における各対象者に対する感動度」２０７は、各対象者が会議の開始から現在に至るまでに獲得した感動度の最大値を示す指標であり、詳細には、対象者「Ａ」，「Ｂ」がこれまでに獲得した感動度の最大値が２０７ａ，２０７ｂに各々設定されており、分析処理（Ｓ２０２）における次のような処理により取得される。すなわち、今回の催事動向分析処理（図１４）で取得された対象者情報１０のうちで、各利用者ごとの推論値１０ａの最大値が、現在設定されている「集計時間における各対象者に対する感動度」２０７より大であれば更新される。例えば、現在設定されている「集計時間におけるＡに対する感動度」２０７ａが「５０」である場合に、今回の催事動向分析処理（図１３）で取得された対象者「Ａ」の推論値１０ａの最大値が「６０」であれば、図１５に示すように「集計時間におけるＡに対する感動度」２０７ａが「６０」に更新される。
【００７６】
以上の処理により、催事動向分析装置２では、複数の利用者「Ａ」，「Ｂ」，「Ｃ」が各々有する対象者特定装置１で作成された対象者情報１０が収集されて、この複数の対象者情報１０に基づいて、その会議の盛り上がり具合や中心人物の変遷などの各種動向が分析された催事動向分析情報２００が作成される。
【００７７】
以上説明したように、第１の実施の形態の催事動向分析システムによれば、対象者特定装置１を携行する利用者が、複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合、その対象者に指向性マイク１５１を向けて意思伝達スイッチ１８９を押すと、その対象者についての利用者の「感動」に関する対象者情報１０が作成されるので、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。
【００７８】
また、催事動向分析装置２では、複数の利用者が各々有する対象者特定装置１から取得された対象者情報１０をもとに会議の動向を分析されるので、その解析結果を利用すれば、その会議の盛り上がり具合や中心人物の変遷などを把握することができ、対象者情報１０の利用範囲を広げることができる。
【００７９】
また、利用者は対象者に指向性マイク１５１を向けて意思伝達スイッチ１８９を押すことで、利用者は任意の対象者についての対象者情報１０の作成を指示することができ、また、指向性マイク１５１から取得された音声を分析することで、複数の対象者が任意に移動可能であっても、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００８０】
次に、本発明の第２の実施の形態を図面を参照して説明する。本実施形態に係る催事動向分析システムは、基本的に第１の実施の形態のものと同一であるが、音声により対象者を特定するための構成が異なる。
【００８１】
まず、第２の実施の形態に係る催事動向分析システムの構成について説明する。図１６は、第２の実施の形態における、催事動向分析システムについての全体構成図である。図１７は、マイクアレイ制御装置３０の電気的構成を示すブロック図である。図１８は、発話者位置特定マップ１５のデータ構成を示す図である。
【００８２】
図１６に示すように、本実施の形態の催事動向分析システムにおいては、第１の実施の形態と同様に、対象者特定装置１は利用者に保持され、体温センサ、発汗センサ及び心拍数センサなどの複数のセンサや意思伝達スイッチ１８９が設けられているが、指向性マイク１５１やアンテナ１６１は設けられていない。
【００８３】
本実施の形態では、複数の対象者があらかじめ定められた固定の位置に存在しており、複数のマイク３１，３２，３３が複数の対象者に向けて設けられている。マイク３１，３２，３３は、例えば室内の壁面や床面に固定的に設置されており、対象者が発した同一音声を各々が集音できるように同一方向に向けられたマイクアレイ３８を構成している。なお、図１６では発話中の対象者「Ａ」の音声が、右側に位置するマイク３１，中央に位置するマイク３２，左側に位置するマイク３３に各々入力されていることが示されており、マイクアレイ３８は少なくとも対象者「Ａ」，「Ｂ」，「Ｃ」の位置を含む集音領域４０の範囲を有効に集音できるものとする。
【００８４】
また、マイクアレイ３８からの音声信号を解析して対象者の中から発話者を特定するためのマイクアレイ制御装置３０（詳細は後述。）が設けられ、これらの各構成は有線回線３４によって相互に接続されている。そして、対象者特定装置１，催事動向分析装置２，マイクアレイ制御装置３０は、有線によるネットワーク５１を介して相互に接続されている。
【００８５】
なお、本実施の形態では、図１６に示すように、複数の対象者「Ａ」，「Ｂ」，「Ｃ」があらかじめ定められた固定の座席に位置して会議が催されており、その会議を複数の利用者「Ｘ」，「Ｙ」，「Ｚ」が視聴しており、対象者特定装置１を保持する利用者「Ｘ」が、対象者「Ａ」の発言に「感動」して意思伝達スイッチ１８９を押下した場合を例示する。
【００８６】
次に、マイクアレイ制御装置３０について説明する。図１７に示すように、マイクアレイ制御装置３０は、ＣＰＵ３１０，ＲＯＭ３２０，ＲＡＭ３３０，ＨＤＤ３４０，通信制御部３６０などを備え、通常のコンピュータ機器と同様な構成をなすため、詳細は省略するが、マイクアレイ３８からの音声信号を解析して対象者の中から発話者を特定する後述の発話者特定処理（図２０）を実行するための発話者特定プログラム３２１が、ＲＯＭ３２０に記憶されている。
【００８７】
また、発話者特定処理（図２０）で用いられ、音源位置に基づいて発話者を特定するための発話者位置特定マップ１５が、ＨＤＤ３４０に記憶されている。図１８に示すように、発話者位置特定マップ１５には、各対象者の位置情報１５ａとその対象者に固有の識別情報（対象者識別情報）１５ｂとが対応付けて記憶されている。なお、図１８に示す発話者位置特定マップ１５は、集音領域４０（図１６）に存在する対象者「Ａ」，「Ｂ」，「Ｃ」についての位置情報１５ａ及び対象者識別情報１５ｂが定義されている。
【００８８】
以下、第２の実施の形態に係る催事動向分析システムにおける処理の流れを説明する。本実施の形態における処理は、基本的には第１の実施の形態と同一であるが、図６に示す対象者情報作成処理における対象者特定処理（Ｓ１７）の内容が異なる。図１９は、第２の実施の形態における、対象者特定処理（Ｓ１７）の詳細を示すフローチャートである。図２０は、発話者特定処理のメインフローチャートである。
【００８９】
図１９に示すように、対象者特定処理（Ｓ１７）では、まずマイクアレイ制御装置３０へ、発話中の対象者を示す対象者識別番号を要求する対象者リクエスト信号が送信される（Ｓ７１）。すると、マイクアレイ制御装置３０においては、対象者リクエスト信号が受信されると、ＣＰＵ３１０により発話者特定プログラム３２１が実行されて、発話者特定処理（図２０）が開始される。
【００９０】
図２０に示すように、発話者特定処理では、まずマイクアレイ３８から音声のサンプリングが実行され（Ｓ８１）、Ｓ８１でサンプリングされた音声が解析されて、音声波形の位相又は振幅の情報から音源の方向及び距離（音源位置）が特定される（Ｓ８２）。そして、発話者位置特定マップ１５を参照して、Ｓ８２で特定された音源位置の最も近傍に位置する位置情報１５ａに対応する対象者識別情報１５ｂが特定され（Ｓ８３）、Ｓ８３で特定された対象者識別情報１５ｂが対象者特定装置１に送信される（Ｓ８４）。
【００９１】
なお、マイクアレイから取得された音声信号を分析して音源位置を特定することで、発話中の話者を特定する技術は公知であって詳細は省略するが、有効に対象者を特定できればいずれの技術も適用できる（一例として、特開２００３−３０４５８９，特開２００１−３５９１８５，特開平１１−４１５７７，特開平５−２４４５８７，特開平１０−１４５７６３など）。
【００９２】
対象者特定処理（図１９）に戻り、対象者特定装置１では、マイクアレイ制御装置３０から送信された対象者識別情報が受信されて（Ｓ７２）、Ｓ７２で受信された対象者識別情報が、Ｓ１８の対象者情報の作成（図６参照）で用いられる対象者識別情報として設定される（Ｓ７３）。その後は、第１の実施の形態と同様に、推論処理（Ｓ１６）で取得された推論種別１３ａ及び推論値１３ｃと、対象者特定処理（Ｓ１７）で設定された対象者識別情報に基づいて、所定のヘッダー部などを付加した対象者情報１０が作成されて（Ｓ１８）、対象者情報１０が催事動向分析装置２へ送信される（Ｓ１９）。
【００９３】
このように本実施の形態では、対象者特定装置１を保持する利用者「Ｘ」が、対象者「Ａ」の発言に「感動」して意思伝達スイッチ１８９を押すと、マイクアレイ制御装置３０においてマイクアレイ３８からの音声信号を分析して音源位置が特定されて、位置が固定された複数の対象者のうちで発話中の対象者「Ａ」が特定される。そのため、第１の実施の形態のように、利用者が対象者特定装置１の指向性マイク１５１を発話中の対象者に向ける必要がない。
【００９４】
以上説明したように、第２の実施の形態の催事動向分析システムによれば、対象者特定装置１を保持する利用者が、複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合に意思伝達スイッチ１８９を押すと、その対象者についての利用者の「感動」に関する対象者情報１０が作成されるので、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、また推論結果の信頼性を高めることができる。
【００９５】
また、利用者は意思伝達スイッチ１８９を押すことで、利用者は任意の対象者についての対象者情報１０の作成を指示することができ、また、マイクアレイ３８から取得された音声の音源の方向及び距離を分析することで、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００９６】
次に、本発明の第３の実施の形態を図面を参照して説明する。本実施形態に係る催事動向分析システムは、基本的に第２の実施の形態のものと同一であるが、音声により対象者を特定するための構成が異なる。
【００９７】
まず、第３の実施の形態に係る催事動向分析システムの構成について説明する。図２１は、第３の実施の形態における、催事動向分析システムについての全体構成図である。
【００９８】
図２１に示すように、本実施の形態の催事動向分析システムにおいては、第２の実施の形態の構成に加え、複数の対象者の位置を計測する光センサである位置センサ３９が設けられており、有線回線３４を介してマイクアレイ制御装置３０と接続されている。また、対象者「Ａ」，「Ｂ」，「Ｃ」はその位置が固定されておらず、自由に移動可能であり、位置センサ３９は集音領域４０における対象者「Ａ」，「Ｂ」，「Ｃ」の存在位置を計測可能である。また、位置センサ３９が各対象者を判別して、その位置を特定する技術は各種のものが公知であるが、一例としては、各対象者を一意に判別する対象者識別情報を記憶した非接触素子が、位置センサ３９による読み取りが可能な状態で、各対象者に携行されている。
【００９９】
以下、第３の実施の形態に係る催事動向分析システムにおける処理の流れを説明する。本実施の形態における処理は、基本的には第２の実施の形態と同一であるが、後述の発話者位置特定マップ更新処理が実行される点が異なる。図２２は、発話者位置特定マップ更新処理のメインフローチャートである。
【０１００】
本実施の形態のマイクアレイ制御装置３０では、先述のように、対象者「Ａ」，「Ｂ」，「Ｃ」が任意に移動可能であるため、発話者位置特定マップ１５における位置情報１５ａと対象者識別情報１５ｂとの対応を、位置センサ３９からの情報に基づいて最新のものに更新する発話者位置特定マップ更新処理（図２２）が適宜実行される。この発話者位置特定マップ更新処理は、マイクアレイ制御装置３０の電源投入時や発話者特定処理（図２０）の実行開始前など、任意のタイミングで実行されればよいが、本実施の形態では、マイクアレイ制御装置３０の動作中に所定の時間間隔で（例えば、１０秒）繰り返し実行されるものとする。
【０１０１】
図２２に示すように、発話者位置特定マップ更新処理では、まず位置センサ３９による計測に基づいて、各対象者の位置情報が取得される（Ｓ９１）。そして、Ｓ９１で取得された位置情報に基づいて、発話者位置特定マップ１５が最新の内容に更新される（Ｓ９２）。すなわち、発話者位置特定マップ１５における各対象者の位置情報１５ａが、Ｓ９１で取得された位置情報に基づいて各々更新されて、最新の利用者の位置情報が反映される。
【０１０２】
そして、第２の実施の形態同様に、発話者特定処理（図２０）が実行されて、マイクアレイ３８からの音声により音源位置が特定され、発話者特定マップ更新処理（図２２）により適宜更新された発話者位置特定マップ１５に基づいて、この音源位置の最も近傍に位置する対象者が特定される。
【０１０３】
このように本実施の形態では、対象者特定装置１を保持する利用者「Ｘ」が、対象者「Ａ」の発言に「感動」して意思伝達スイッチ１８９を押すと、マイクアレイ制御装置３０において、マイクアレイ３８からの音声信号を分析して音源位置を特定することで、任意に移動可能な複数の対象者のうちで、発話中の対象者「Ａ」が特定される。そのため、第２の実施の形態のように、対象者が所定の位置に固定されていなくても発話中の対象者を特定することができる。
【０１０４】
以上説明したように、第３の実施の形態の催事動向分析システムによれば、対象者特定装置１を保持する利用者が、任意に移動可能な複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合に意思伝達スイッチ１８９を押すと、その対象者についての利用者の「感動」に関する対象者情報１０が作成されるので、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。そして、発話者位置特定マップ１５が適宜最新の内容に更新されるため、複数の対象者が移動可能であっても、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【０１０５】
次に、本発明の第４の実施の形態を図面を参照して説明する。本実施形態に係る催事動向分析システムは、基本的に第１の実施の形態のものと同一であるが、音声により対象者を特定するための構成が異なる。
【０１０６】
まず、第４の実施の形態に係る催事動向分析システムの構成について説明する。図２３は、第４の実施の形態における、催事動向分析システムについての全体構成図である。図２４は、無線マイク制御装置７０の電気的構成を示すブロック図である。図２５は、発話者マイク特定テーブル１６のデータ構成を示す図である。
【０１０７】
図２３に示すように、本実施の形態の催事動向分析システムにおいては、第１の実施の形態と同様に、対象者特定装置１が利用者に保持され、体温センサ、発汗センサ及び心拍数センサなどの複数のセンサや意思伝達スイッチ１８９が設けられているが、指向性マイク１５１やアンテナ１６１は設けられていない。
【０１０８】
本実施の形態では、複数の対象者は各々無線マイク７１を携行して任意に移動可能である。無線マイク７１は、携行される各利用者が発する音声のみを集音可能な指向性マイクであり、各無線マイク７１を一意に識別するためのマイク識別情報が記憶されている。また、無線マイク７１は、無線通信によって無線マイク制御装置７０と有効に接続されて、各種情報を送受信可能となっている。無線マイク制御装置７０は、無線マイク７１からの音声信号を解析して対象者の中から発話者を特定するものである。対象者特定装置１，催事動向分析装置２，無線マイク制御装置７０は、有線によるネットワーク５１を介して相互に接続されている。
【０１０９】
なお、本実施の形態では、図２３に示すように、無線マイク７１ａ，７１ｂ，７１ｃを携行する対象者「Ａ」，「Ｂ」，「Ｃ」によって会議が催されており、各無線マイク７１は小型のピンマイクとして実装されている。また、対象者「Ａ」，「Ｂ」，「Ｃ」は、各々が携行する無線マイク７１ａ，７１ｂ，７１ｃと無線マイク制御装置７０との間で有効に通信できる範囲で任意に移動可能である。また、発話中の対象者「Ａ」の音声が無線マイク７１ａに入力されており、対象者「Ａ」の音声及びマイク識別情報が、無線マイク７１ａから無線マイク制御装置７０に送信されている。そして、以下では、対象者特定装置１を保持する利用者「Ｘ」が、対象者「Ａ」の発言に「感動」して意思伝達スイッチ１８９を押下した場合を例示する。
【０１１０】
次に、無線マイク制御装置７０について説明する。図２４に示すように、無線マイク制御装置７０は、ＣＰＵ７１０，ＲＯＭ７２０，ＲＡＭ７３０，ＨＤＤ７４０，通信制御部７６０などを備え、通常のコンピュータ装置の同様な構成をなすため、詳細は省略するが、無線マイク７１からの音声に関する情報に基づいて、対象者の中から発話者を特定する後述の発話者特定処理（図２６）を実行するための発話者特定プログラム７２１が、ＲＯＭ７２０に記憶されている。
【０１１１】
また、後述の発話者特定処理（図２６）で用いられ、音声が入力された無線マイク７１に基づいて発話者を特定するための発話者マイク特定テーブル１６が、ＨＤＤ７４０に記憶されている。図２５に示すように、発話者マイク特定テーブル１６には、先述の各無線マイク７１を一意に識別するためのマイク識別情報１６ａと、その無線マイク７１を携行する対象者に固有の識別情報（対象者識別情報）１６ｂとが対応付けて記憶されている。なお、図２５に示す発話者特定テーブルは、無線マイク７１ａ，７１ｂ，７１ｃ（図２２）を携行する対象者「Ａ」，「Ｂ」，「Ｃ」についてのマイク識別情報１６ａ及び対象者識別情報１６ｂが定義されている。
【０１１２】
以下、第４の実施の形態に係る催事動向分析システムにおける処理の流れを説明する。本実施の形態における処理は、基本的には第２及び第３の実施の形態と同一であるが、発話者特定処理（図２０）の詳細が異なる。図２６は、第４の実施の形態における、発話者特定処理のメインフローチャートである。
【０１１３】
図２６に示すように、発話者特定処理では、まず無線マイク７１ａ，７１ｂ，７１ｃから音声のサンプリングが実行され（Ｓ１０１）、Ｓ１０１でサンプリングされた音声が解析されて、最大音量又は最大音圧が入力された無線マイク７１のマイク識別番号が特定される（Ｓ１０２）。すなわち、無線マイク７１ａ，７１ｂ，７１ｃのうちで、最大音量又は最大音圧が入力されたもののマイク識別情報が特定される。そして、発話者マイク特定テーブル１６を参照して、Ｓ１０２で特定されたマイク識別情報１６ａに対応する対象者識別情報１６ｂが特定され（Ｓ１０３）、Ｓ１０３で特定された対象者識別情報１６ｂが、対象者特定装置１に送信される（Ｓ１０４）。
【０１１４】
このように本実施の形態では、対象者特定装置１を保持する利用者「Ｘ」が、対象者「Ａ」の発言に「感動」して意思伝達スイッチ１８９を押すと、無線マイク制御装置７０において、最大音量又は最大音圧が入力された無線マイク７１ａが特定され、その無線マイク７１を携行する発話中の対象者「Ａ」が特定される。そのため、第１の実施の形態のように、利用者が対象者特定装置１の指向性マイク１５１を対象者に向けて意思伝達スイッチ１８９を押す必要がなく、第２の実施の形態のように、対象者が所定の位置に固定されていなくても発話中の対象者を特定することができる。
【０１１５】
以上説明したように、第４の実施の形態の催事動向分析システムによれば、対象者特定装置１を保持する利用者が、複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合に意思伝達スイッチ１８９を押すと、その対象者についての利用者の「感動」に関する対象者情報１０が作成されるので、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。
【０１１６】
また、利用者は意思伝達スイッチ１８９を押すことで、利用者は任意の対象者についての対象者情報１０の作成を指示することができ、また、音声が入力された無線マイク７１を特定することで、対象者が移動可能であっても、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【０１１７】
ところで、上記第１乃至第４の実施の形態において、指向性マイク１５１，マイクアレイ３８，無線マイク７１が、本発明の「音声取得手段」に相当する。また、対象者特定プログラム１２１を実行して対象者特定処理（図１１、図１９）を実行するＣＰＵ１１０、発話者特定プログラム３２１を実行して発話者特定処理（図２０）を実行するＣＰＵ３１０、発話者特定プログラム７２１を実行して発話者特定処理（図２６）を実行するＣＰＵ７１０が、それぞれ本発明の「対象者特定手段」に相当する。また、体温センサ１８２，発汗センサ１８３，心拍数センサ１８４に接続された入力検知部１８０が、本発明の「計測値取得手段」に相当する。また、対象者情報作成プログラム１２２を実行して、推論処理（図９）を実行するＣＰＵ１１０が本発明の「推論情報作成手段」に、対象物情報の作成（図６のＳ１８）を実行するＣＰＵ１１０が本発明の「対象物情報作成手段」に、それぞれ相当する。
【０１１８】
また、各種マイクからの音声と、音源の方向及び距離と、音声が入力されたマイクの識別情報とを含む、各種マイクからの音声に関する各種情報が、本発明の「音声に関する音声情報」に相当する。また、推論処理（図９）のＳ４８で取得される推論種別及び推論値が、本発明の「推論情報」に相当する。
【０１１９】
また、発話者位置特定マップ１５が、本発明の「対象者特定テーブル」に相当し、発話者マイク特定テーブル１６が、本発明の「第２の対象者特定テーブル」に相当する。また、意思伝達スイッチ１８９が、本発明の「意思伝達手段」に相当する。また、ＨＤＤ２４０の対象者情報記憶エリア（図示外）が、「対象者情報記憶手段」に相当する。そして、催事動向分析プログラム２２１を実行して催事動向分析処理（図１４）を実行するＣＰＵ２１０が、本発明の「催事動向分析手段」に相当する。
【０１２０】
なお、本発明は、以上詳述した第１乃至第４の実施の形態に限定されるものではなく、各種の変形が可能なことはいうまでもない。
【０１２１】
例えば、上記実施の形態では、利用者と対象者が別人物であるが、利用者が各種催事を視聴する態様は、直接的に参加者としてでもよいし、間接的に傍観者としてでもよい。例えば、図２７に示すように、利用者「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」は、同時に催事に参加する対象者でもある。よって、例えば、利用者「Ａ」が意識や感情などが向けられた対象者として他の利用者「Ｄ」を特定したり、他の利用者「Ｃ」が利用者「Ａ」を対象者として特定したり等、任意の利用者を対象者とすることができる。
【０１２２】
また、対象者特定装置１，催事動向分析装置２，マイクアレイ制御装置３０（無線マイク制御装置７０）等の各構成は、上記の実施の形態に限定されず、その実装や目的に応じて利用者又は設計者の任意により各種態様で構成できる。例えば、対象者特定装置１とマイクアレイ制御装置３０（無線マイク制御装置７０）とを一体とした構成としてもよいし、催事動向分析装置２の対象者情報記憶エリア（図示外）と分析情報記憶エリア２４１とを、それぞれ異なるコンピュータ端末の記憶領域に設けてもよい。
【０１２３】
また、上記の第１乃至４の実施の形態を様々に組み合わせて、本発明を実現してもよい。例えば、第４の実施の形態では、複数の無線マイク７１のうちで音声が入力されたものを携行する者を、発話中の対象者として特定しているが、第１の実施の形態のように各無線マイク７１に入力された音声パターンを分析して、発話中の対象者を特定してもよい。この場合は、第１の実施の形態の対象者特定装置１に具備される対象者特定プログラム１２１と発話者音声照合テーブル１４を、第４の実施の形態の無線マイク制御装置７０に具備させればよい。
【０１２４】
また、音声を取得するための各種マイク（１５１，３１〜３３，７１ａ〜７１ｃ）も、任意の種類，位置，数量で設ければよく、また上述のように音声に関する各種情報（音声、音源位置、マイクの種類など）に基づいて発話者を特定する技術も、正確に発話者を特定できるのであれば各種公知技術を適用できる。また、本発明に係る各構成を接続するためのアンテナ１６１，有線回線３４，ネットワーク５１などは、有効に接続できれば有線又は無線等の種類は問わないことはいうまでもない。
【０１２５】
また、上記実施の形態では、対象者情報１０が「感動」について推論される場合を説明しているが、利用者の感情や意識の他にも、雰囲気や重要度等のように、事象の文脈や状況の前後関係などを示すものであって、事実や証拠のみでは把握できない抽象的な概念（コンテクストともいう。）について、対象者情報１０が推論されてもよい。そのため、「悲しみ」，「怒り」，「楽しさ」，「賑やかさ」，「忙しさ」等について推論された対象者情報１０が作成されてもよい。これは、各対象者情報１０の推論内容に対応する推論定義テーブル１３を設定することで実現できる。例えば、利用者の「悲しみ」に基づいて対象者情報１０を作成したい場合は、「悲しみ」に対応する推論定義テーブル１３を設定すればよい。
【０１２６】
また、推論定義テーブル１３には、あらかじめ任意の推論内容についてのテーブルが利用者又は設計者によって設定されていてもよいし、複数の推論内容の各々に対応する複数のテーブルが推論定義テーブル１３にあらかじめ設定されており、対象者情報作成処理（図６）において、自動的に最適なテーブルが選択されるようにしてもよい。
【０１２７】
また、本発明における催事とは、会議，演劇，プレゼンテーションに限定されず、複数の参加者によって何らかの目的をもって行われるものであれば、あらゆる催しや行事に適用できる。そして、催事動向分析処理（図１４）では催事の動向として様々なものを分析可能であり、図１５に例示したものの他、例えば、対象者の人気度や会議の盛り上がりの変遷などを分析してもよい。
【０１２８】
また、キャリブレーション処理（図７）では、サンプリング値の時系列データを取得して、その推移の特徴に基づいて基準値を算定するようにしてもよい。また、異常なサンプリング値は除外して基準値を算定するようにしてもよい。また、推論処理（図９）での比較処理（Ｓ４２，Ｓ４４，Ｓ４６）では、各センサ毎に変化閾値εを設けておき、閾値を変化閾値εで補正した補正値で、各センサからの計測値との比較を実行してもよい。例えば、変化閾値εの誤差許容範囲として、閾値の５％程度を設定する等である。
【０１２９】
また、各センサからの計測値は、体温、発汗及び心拍数に限定されないことはいうまでもない。例えば、利用者の振動、脳波、呼吸、加速度、傾き、バイオリズムなどを利用者から計測するようにしてもよい。さらに、各センサ（体温センサ１８２，発汗センサ１８３，心拍数センサ１８４）や入力パネル１８１は、対象者特定装置１に一体として構成されている必要はなく、ＵＳＢやネットワークなどのインタフェースを介して入力検知部１８０に遠隔接続して、有効に計測値や入力情報を取得できればよい。
【産業上の利用可能性】
【０１３０】
本発明の対象者特定装置，催事動向分析装置及び催事動向分析システムは、会議，演劇，プレゼンテーションなどの各種催事の動向を把握するためのコンピュータ機器に適用できる。
【図面の簡単な説明】
【０１３１】
【図１】催事動向分析システムについての全体構成図である。
【図２】対象者特定装置１の電気的構成を示すブロック図である。
【図３】対象者特定装置１のＲＡＭ１３０の記憶エリアの構成を示す概念図である。
【図４】対象者特定装置１のＨＤＤ１４０の記憶エリアの構成を示す概念図である。
【図５】催事動向分析装置２の電気的構成を示すブロック図である。
【図６】対象者情報作成処理のメインフローチャートである。
【図７】キャリブレーション処理（Ｓ１３）の詳細を示すフローチャートである。
【図８】計測処理（Ｓ１５）の詳細を示すフローチャートである。
【図９】推論処理（Ｓ１６）の詳細を示すフローチャートである。
【図１０】推論定義テーブル１３の概要を示す図である。
【図１１】対象者特定処理（Ｓ１７）の詳細を示すフローチャートである。
【図１２】発話者音声照合テーブル１４のデータ構成を示す図である。
【図１３】対象者情報１０のデータ構成を示す図である。
【図１４】催事動向分析処理のメインフローチャートである。
【図１５】催事動向分析情報２００のデータ内容の表示例を示す図である。
【図１６】第２の実施の形態における、催事動向分析システムについての全体構成図である。
【図１７】マイクアレイ制御装置３０の電気的構成を示すブロック図である。
【図１８】発話者位置特定マップ１５のデータ構成を示す図である。
【図１９】第２の実施の形態における、対象者特定処理（Ｓ１７）の詳細を示すフローチャートである。
【図２０】発話者特定処理のメインフローチャートである。
【図２１】第３の実施の形態における、催事動向分析システムについての全体構成図である。
【図２２】発話者位置特定マップ更新処理のメインフローチャートである。
【図２３】解析実行処理（Ｓ２２）による展示最適化の詳細を示すフローチャートである。
【図２４】無線マイク制御装置７０の電気的構成を示すブロック図である。
【図２５】発話者マイク特定テーブル１６のデータ構成を示す図である。
【図２６】第４の実施の形態における、発話者特定処理のメインフローチャートである。
【図２７】催事動向分析システムについての他の全体構成図である。
【符号の説明】
【０１３２】
１ 対象者特定装置
２ 催事動向分析装置
１３ 推論定義テーブル
１４ 発話者音声照合テーブル
１５ 発話者位置特定マップ
１６ 発話者マイク特定テーブル
３０ マイクアレイ制御装置
３８ マイクアレイ
３９ 位置センサ
７０ 無線マイク制御装置
７１ 無線マイク
１１０ ＣＰＵ
１１５ バス
１２１ 対象者特定プログラム
１２２ 対象者情報作成プログラム
１３０ ＲＡＭ
１４０ ＨＤＤ
１５０ 音声制御部
１５１ 指向性マイク
１６０ 通信制御部
１６１ アンテナ
１８０ 入力検知部
１８１ 入力パネル
１８２ 体温センサ
１８３ 発汗センサ
１８４ 心拍数センサ
１８９ 意思伝達スイッチ
１９０ 計時装置
２１０ ＣＰＵ
２１５ バス
２２１ 催事動向分析プログラム
２３０ ＲＡＭ
２４０ ＨＤＤ
２４１ 分析情報記憶エリア
２６０ 表示制御部
２６１ ディスプレイ
２７０ 音声制御部
２７１ マイク
２７２ スピーカ
２８０ 入力検知部
２８１ マウス
２８２ キーボード
２９１ 通信制御部
２９２ アンテナ
【技術分野】
【０００１】
本発明は、複数の参加者により行われる催事の動向を分析する装置に関し、詳細には、催事の参加者に向けられた視聴者の意識や感情などを推論することで、催事の動向を分析する対象者特定装置，催事動向分析装置及び催事動向分析システムに関する。
【背景技術】
【０００２】
従来、利用者の生理情報や生体情報などを計測するセンサを設けて、このセンサから計測される各種情報に基づいて、利用者の意識や感情などを推論する装置が各種提案されている。
【０００３】
そして、心拍や皮膚インピーダンスなどの生理情報を計測するセンサに加えて、利用者の姿勢や運動状態を検出するためのＣＣＤカメラや、利用者が発する音声を検出するためのマイクロホンを設けて、利用者の意識レベルが特定の状態にあるか否かを、より正確に検出することができる意識レベル検出装置が知られている。また、利用者が意図的にみずからの心理状態をより正確に入力することができるゲーム制御装置も知られている（例えば、特許文献１参照。）。
【特許文献１】特開平１０−５７３５５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、利用者の関心が特定の対象に向けられている場合、利用者の感情や意識などはその対象によって大きく左右されることが知られている。例えば、利用者が美術館や博物館などを見学する場合、特定の展示品に対しては強く感動するものの、その他の展示品にはほとんど感動しない場合がある。そのため、利用者が何に対して「感動」や「興奮」といった感情や意識などを生じたかが不明であると、利用者の感情や意識を推論しても、その推論結果を活用することが難しいという問題があった。
【０００５】
特許文献１に記載の発明では、ゲームについての利用者の意識レベルを検出しているが、利用者の関心が向けられる対象がゲームに限定されており、他の対象について利用者の意識レベル等を推論することはできなかった。特に、対象が人間である場合は、その対象者が移動してしまうと、利用者の関心が向けられている対象者の特定ができないという問題があった。さらに、会議，演劇，プレゼンテーションなどの各種催事は、通常は複数の参加者（対象者）によって行われるため、利用者の関心がどの対象者に向けられているのかを特定するのがいっそう困難であるという問題があった。
【０００６】
本発明は上記課題を解決するためになされたものであり、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、さらに複数の利用者によって行われる各種催事の動向を把握することができる対象者特定装置，催事動向分析装置及び催事動向分析システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、請求項１に係る発明の対象者特定装置は、外部から音声を取得する音声取得手段と、前記音声取得手段により取得された音声に関する音声情報に基づいて対象者を特定する対象者特定手段と、少なくとも１個以上のセンサから、計測値を取得する計測値取得手段と、前記計測値取得手段により取得された前記計測値に基づいて、該計測値とは異なる指標値である推論情報を作成する推論情報作成手段と、前記対象者特定手段により特定された対象者を識別するための対象者識別情報と、前記推論情報作成手段により作成された前記推論情報とを含む対象者情報を作成する対象者情報作成手段とを備えている。
【０００８】
また、請求項２に係る発明の対象者特定装置は、請求項１に記載の発明の構成に加え、前記音声取得手段は、向けられた方向からの音声のみを集音する指向性マイクであり、前記対象者特定手段は、前記指向性マイクにおいて集音された音声を分析して、該音声を発した対象者を特定することを特徴とする。
【０００９】
また、請求項３に係る発明の対象者特定装置は、請求項１に記載の発明の構成に加え、前記音声取得手段は、外部から音声を集音可能なマイクを複数備えたマイクアレイであり、前記対象者特定手段は、前記マイクアレイにおいて集音された音声を分析して、該音声を発した対象者を特定することを特徴とする。
【００１０】
また、請求項４に係る発明の対象者特定装置は、請求項３に記載の発明の構成に加え、対象者とその存在位置とを対応付けた対象者特定テーブルを備え、前記対象者特定手段は、前記マイクアレイにおいて集音された音声の音源の方向及び距離を分析して、該音声を発した対象者の存在位置を特定し、前記対象者特定テーブルから該存在位置に対応する対象者を特定することを特徴とする。
【００１１】
また、請求項５に係る発明の対象者特定装置は、請求項１に記載の発明の構成に加え、前記音声取得手段は、外部から音声を集音可能な複数のマイクであり、前記対象者特定手段は、対象者が発した音声が入力された前記マイクに基づいて、該音声を発した対象者を特定することを特徴とする。
【００１２】
また、請求項６に係る発明の対象者特定装置は、請求項５に記載の発明の構成に加え、対象者と前記マイクとを対応付けた第２の対象者特定テーブルを備え、前記対象者特定手段は、対象者が発した音声が入力された前記マイクを特定して、前記第２の対象者特定テーブルから該マイクに対応する対象者を特定することを特徴とする。
【００１３】
また、請求項７に係る発明の対象者特定装置は、請求項１乃至６のいずれかに記載の発明の構成に加え、利用者自身が操作して対象者の特定を指示するための意思伝達手段を備え、前記対象者特定手段は、前記意思伝達手段から対象者の特定を指示された場合、前記音声取得手段により取得された音声に関する音声情報に基づいて対象者を特定することを特徴とする。
【００１４】
また、請求項８に係る発明の対象者特定装置は、請求項１乃至７のいずれかに記載の発明の構成に加え、前記対象者特定手段は、前記音声取得手段が複数の音声を取得した場合、該複数の音声のうちで最大音量又は最大音圧のものに基づいて対象者を特定することを特徴とする。
【００１５】
また、請求項９に係る発明の催事動向分析装置は、請求項１乃至８のいずれかに記載の対象者特定装置と、前記対象者情報作成手段により作成された複数の前記対象者情報を記憶する対象者情報記憶手段と、前記対象者情報記憶手段に記憶された複数の前記対象者情報に基づいて、対象者により行われる催事の動向を分析する催事動向分析手段とを備えている。
【００１６】
また、請求項１０に係る発明の催事動向分析システムは、外部から音声を取得して対象者を特定する音声取得装置と、利用者に関する推論を実行して対象者情報を作成する複数の対象者情報作成装置と、対象者により行われる催事の動向を分析する催事動向分析装置とが、ネットワークを介して接続された催事動向分析システムであって、前記音声取得装置は、外部からの音声の取得を実行する音声取得手段と、前記音声取得手段により取得された音声に関する音声情報に基づいて、対象者を特定する対象者特定手段と、前記対象者特定手段により特定された対象者を識別するための対象者識別情報を、前記推論情報作成手段に送信する対象者識別情報送信手段とを備え、前記推論情報作成装置は、前記対象者識別情報送信手段により送信された対象者識別情報を受信する対象者識別情報受信手段と、少なくとも１個以上のセンサから、計測値を取得する計測値取得手段と、前記計測値取得手段により取得された前記計測値に基づいて、該計測値とは異なる指標値である推論情報を作成する推論情報作成手段と、前記対象者識別情報受信手段により受信された前記対象者識別情報と、前記推論情報作成手段により作成された前記推論情報とを含む対象者情報を作成する対象者情報作成手段と、前記対象者情報作成手段により作成された前記対象者情報を前記催事動向分析装置に送信する対象者情報送信手段とを備え、前記催事動向分析装置は、前記対象者情報送信手段により送信された前記対象者情報を受信する対象者情報受信手段と、前記対象者情報受信手段により受信された前記対象者情報を記憶する対象者情報記憶手段と、前記対象者情報記憶手段に記憶された複数の前記対象者情報に基づいて、対象者により行われる催事の動向を分析する催事動向分析手段とを備えている。
【発明の効果】
【００１７】
請求項１に係る発明の対象者特定装置では、外部から取得された音声に関する音声情報に基づいて対象者を特定し、センサからの計測値に基づいて推論情報を作成して、対象者識別情報と推論情報とを含む対象者情報を作成するようにした。よって、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。
【００１８】
また、請求項２に係る発明の対象者特定装置では、請求項１に記載の発明の効果に加え、指向性マイクにおいて集音された音声を分析して対象者を特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００１９】
また、請求項３に係る発明の対象者特定装置では、請求項１に記載の発明の効果に加え、マイクアレイにおいて集音された音声を分析して対象者を特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００２０】
また、請求項４に係る発明の対象者特定装置では、請求項３に記載の発明の効果に加え、マイクアレイからの音声が分析されて音源の方向及び距離（音源位置）を特定し、その音源位置に対応する対象者を対象者特定テーブルから特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００２１】
また、請求項５に係る発明の対象者特定装置では、請求項１に記載の発明の効果に加え、複数のマイクのうちで音声が入力されたものに基づいて対象者を特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００２２】
また、請求項６に係る発明の対象者特定装置では、請求項５に記載の発明の効果に加え、複数のマイクのうちで音声が入力されたものを特定し、そのマイクに対応する対象者を第２の対象者特定テーブルから特定するようにしたので、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００２３】
また、請求項７に係る発明の対象者特定装置では、請求項１乃至６のいずれかに記載の発明の効果に加え、利用者による意思伝達手段の操作に応じて対象者を特定するようにした。よって、利用者は意思伝達手段を操作することで、任意の対象者を任意のタイミングで特定することができる。
【００２４】
また、請求項８に係る発明の対象者特定装置では、請求項１乃至７のいずれかに記載の発明の効果に加え、複数の音声が取得された場合には、その複数の音声のうちで最大音量又は最大音圧のものに基づいて対象者を特定するようにした。よって、音声取得手段により複数の対象者の音声が取得されても、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００２５】
また、請求項９に係る発明の催事動向分析装置では、複数の対象者情報に基づいて対象者により行われる催事の動向を分析するようにしたので、催事の盛り上がり具合や中心人物の変遷などの各種動向を把握することができ、対象者情報の利用範囲を広げることができる。
【００２６】
また、請求項１０に係る発明の催事動向分析システムでは、外部から音声を取得して対象者を特定する音声取得装置と、利用者に関する推論を実行して対象者情報を作成する複数の対象者情報作成装置と、対象者により行われる催事の動向を分析する催事動向分析装置とが、ネットワークを介して接続されるようにした。よって、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。また、催事の盛り上がり具合や中心人物の変遷などの各種動向を把握することができ、対象者情報の利用範囲を広げることができる。
【発明を実施するための最良の形態】
【００２７】
以下、本発明の第１の実施の形態を図面を参照して説明する。第１の実施の形態に係る催事動向分析システムは、小型の携帯端末機器である対象者特定装置１と、固定されたコンピュータ端末である催事動向分析装置２とで構成されたシステムである。
【００２８】
本実施の形態では、視聴者が対象者特定装置１を携行しながら、会議，演劇，プレゼンテーションなどの複数の参加者で行われる各種催事を視聴すると、センサから計測された情報に基づいて、各参加者に対する利用者の意識や感情などが推論されて、その推論結果に基づいて催事の動向が分析される。以下では、催事を行っている参加者を「対象者」と、その催事を視聴する視聴者を「利用者」とし、両者を区別して説明する。
【００２９】
また、センサから計測される情報として、体温，発汗，心拍数の各計測値を例示する。また、対象者情報とは、特定の対象者に対する利用者の意識や感情などに関する情報であるが、本実施の形態では、利用者がどの対象者に対して、どの程度「感動」したかを示す情報として説明する。
【００３０】
まず、図１乃至図５を参照して、第１の実施の形態に係る催事動向分析システムの構成について説明する。図１は、催事動向分析システムについての全体構成図である。図２は、対象者特定装置１の電気的構成を示すブロック図である。図３は、対象者特定装置１のＲＡＭ１３０の記憶エリアの構成を示す概念図である。図４は、対象者特定装置１のＨＤＤ１４０の記憶エリアの構成を示す概念図である。図５は、催事動向分析装置２の電気的構成を示すブロック図である。
【００３１】
図１に示すように、本実施の形態の催事動向分析システムにおいては、対象者特定装置１が利用者に携帯または装着され、体温センサ、発汗センサ及び心拍数センサなどの複数のセンサが接続される。これらのセンサの読み取り部は利用者の皮膚等に接触して、適切に利用者を計測可能な状態に設けられる（図１中の斜線部）。そのため、対象者特定装置１では常に利用者がセンサにより計測される状態に保持される。また、対象者の特定を指示するために利用者が任意に押下することができる意思伝達スイッチ１８９や、後述の指向性マイク１５１が具備されており、利用者は指向性マイク１５１を任意の対象者に向けることで、対象者特定装置１にその対象者の音声を取得させることができる。また、対象者特定装置１はアンテナ１６１を介して、外部との各種情報の送受信が可能であり、本実施の形態では、複数の利用者が各々対象者特定装置１を携行し、各対象者特定装置１が催事動向分析装置２と有効に接続可能となっている。
【００３２】
このような構成により、例えば、対象者特定装置１を携行する利用者が、複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合には、その対象者に指向性マイク１５１を向けて意思伝達スイッチ１８９を押す。すると、後述するように、その対象者についての利用者の「感動」に関する対象者情報が作成されて、催事動向分析装置２に送信される。催事動向分析装置２では、複数の対象者特定装置１から取得された対象者情報をもとに、その会議の盛り上がり具合や中心人物の変遷などの各種動向が分析される。
【００３３】
なお、本実施の形態では、図１に示すように複数の対象者「Ａ」，「Ｂ」，「Ｃ」が参加して会議が催されており、その会議を複数の利用者「Ｘ」，「Ｙ」，「Ｚ」が視聴しており、対象者特定装置１を携行する利用者「Ｘ」が対象者「Ａ」の発言に「感動」して、指向性マイク１５１を対象者「Ａ」に向けて意思伝達スイッチ１８９を押下した場合を例示する。
【００３４】
次に、対象者特定装置１の電気的構成を説明する。図２に示すように、対象者特定装置１には、対象者特定装置１の制御を司るＣＰＵ１１０が設けられている。このＣＰＵ１１０には、バス１１５を介し、ＣＰＵ１１０が実行するＢＩＯＳ等のプログラムを記憶したＲＯＭ１２０と、データを一時的に記憶するＲＡＭ１３０と、データの記憶装置であるハードディスクドライブ（以下、「ＨＤＤ」という。）１４０とが接続されている。
【００３５】
また、各種機器からの入力の検知を行う入力検知部１８０が、バス１１５を介してＣＰＵ１１０に接続されており、この入力検知部１８０には、利用者が対象者特定装置１を操作するためのボタンやスイッチを備えた入力パネル１８１と、利用者の体温を計測する体温センサ１８２と、利用者の発汗状態を計測するための発汗センサ１８３と、利用者の心拍数を計測するための心拍数センサ１８４とが接続されている。また、体温センサ１８２、発汗センサ１８３及び心拍数センサ１８４は、有効に利用者の体温、発汗、心拍数を測定できれば、その位置や計測手法は問わないが、好適には、利用者の皮膚に当接するように各センサの読み取り部が設けられている。なお、体温センサ１８２では計測値として０〜５０℃が計測され、発汗センサ１８３では計測値として０〜１００％ＲＨが計測され、心拍数センサ１８４では計測値として０〜２００拍が計測されるものとする。体温センサ１８２，発汗センサ１８３，心拍数センサ１８４から計測される情報が、本発明の「計測値」に相当する。
【００３６】
各センサは、対象者特定装置１に電源が投入されて起動されると、自動的に定期的な計測を実行するように制御される。各センサの計測値が、各センサ内部の所定の記憶エリアに保存されて、対象者特定装置１では入力検知部１８０を介してこの所定の記憶エリアから最新の計測値が取得される。なお、対象者特定装置１のＲＡＭ１３０やＨＤＤ１４０にセンサ毎の計測値記憶エリア（図示外）を設けて、各センサの計測値が入力検知部１８０を介して計測値記憶エリアに保存される一方、対象者特定装置１ではこの計測値記憶エリアが参照されて最新の計測値が取得されるようにしてもよい。
【００３７】
また、入力パネル１８１には、対象者特定装置１の電源を入切したり、起動し直すための電源リセットスイッチ（図示せず）や、任意に対象者の特定を指示するために利用者自身がオン・オフしてスイッチ情報を入力するための意思伝達スイッチ１８９などが設けられている。例えば、本実施の形態では、対象者特定装置１は利用者の「感動」について推論するものであるから、利用者は特定の対象者について感動した場合には意思伝達スイッチ１８９をオンしてスイッチ情報「ＯＮ」を入力し、感動しない場合には意思伝達スイッチ１８９をオンせずに（オフして）スイッチ情報「ＯＦＦ」を入力する。
【００３８】
また、音声制御部１５０，通信制御部１６０，計時装置１９０が、バス１１５を介してＣＰＵ１１０に接続されている。音声制御部１５０は、向けられた方向からの外部音声のみを集音する高感度の指向性マイク１５１に接続され、指向性マイク１５１により集音された音声信号を処理する。通信制御部１６０は、外部との各種情報の送受信を仲介するアンテナ１６１に接続され、アンテナ１６１を介して外部との無線通信を実行する。また、計時装置１９０は、現在日時や時間間隔をカウントするための時計機能を備えたＩＣチップであるが、インターネットや無線によって日時を取得するように構成してもよい。
【００３９】
このような構成によって、第１の実施の形態の対象者特定装置１では、体温センサ１８２，発汗センサ１８３，心拍数センサ１８４からのセンサ情報と、指向性マイク１５１からの音声信号とに基づいて、利用者がどの対象者に対してどのような感情や意識などを生じたかを示す対象者情報が作成される。
【００４０】
なお、本実施の形態の対象者特定装置１で実行されるモジュールの一つとして、対象者特定プログラム１２１と対象者情報作成プログラム１２２が実行される。対象者情報作成プログラム１２２は、後述の対象者情報作成処理（図６）を実行して対象者情報を作成するためのものであり、対象者特定プログラム１２１は、後述の発話者特定処理（図１１）を実行して発話中の対象者を特定するためのものである。対象者特定プログラム１２１と対象者情報作成プログラム１２２は、あらかじめＨＤＤ１４０上のプログラム記憶エリア１４２（図４参照）に記憶されているものとする。また、図示外のＣＤ−ＲＯＭドライブ、フロッピー（登録商標）ディスクドライブ、各種インタフェースを介して、導入時に、ＣＤ−ＲＯＭ等の外部の記憶媒体やネットワークを介して外部の記憶装置から、ＨＤＤ１４０上のプログラム記憶エリア１４２や情報記憶エリア１４３（図４参照）に、対象者特定プログラム１２１と対象者情報作成プログラム１２２がセットアップされてもよい。また、ＨＤＤ１４０には、指向性マイク１５１から入力された音声の発話者を特定するための発話者音声照合テーブル１４が設けられている（詳細は後述。）。
【００４１】
図３に示すように、対象者特定装置１のＲＡＭ１３０には、プログラムの実行中の一時的なデータを記憶するワークエリア１３１と、入力された各種情報を一時的に記憶する入力情報記憶エリア１３２と、出力すべき各種情報を一時的に記憶する出力情報記憶エリア１３３とが設けられている。さらに、ＲＡＭ１３０には、図示外の各種記憶エリアが設けられる。
【００４２】
図４に示すように、対象者特定装置１のＨＤＤ１４０には、対象者特定装置１の動作を制御するためＣＰＵ１１０が実行する各種のプログラム等を記憶したオペレーティングシステム（ＯＳ）記憶エリア１４１と、対象者特定装置１で実行される各種のプログラムや対象者特定プログラム１２１及び対象者情報作成プログラム１２２を記憶したプログラム記憶エリア１４２と、プログラムの実行に必要な設定や初期値、データ等の情報を記憶した情報記憶エリア１４３と、作成された対象者情報を記憶する対象者情報記憶エリア１４４とが設けられる。なお、情報記憶エリア１４３には、後述の推論定義テーブル１３や発話者音声照合テーブル１４等が記憶される。
【００４３】
次に、催事動向分析装置２の電気的構成を説明する。図５に示すように、催事動向分析装置２には、ＣＰＵ２１０，ＲＯＭ２２０，ＲＡＭ２３０，ＨＤＤ２４０，ディスプレイ２６１が接続された表示制御部２６０，マイク２７１及びスピーカ２７２が接続された音声制御部２７０，マウス２８１及びキーボード２８２が接続された入力検知部２８０が、バス２１５を介して具備されている。このような催事動向分析装置２の構成は、通常のコンピュータ機器の構成として公知のものであるから、詳細は省略する。なお、催事動向分析装置２には、アンテナ２９２を介して複数の対象者特定装置１と無線通信によって有効に接続するための通信制御部２９１が設けられている。また、後述の催事動向解析処理を実行するための催事動向分析プログラム２２１がＲＯＭ２２０に記憶され、催事動向解析処理により作成された催事動向分析情報が記憶される分析情報記憶エリア２４１が設けられている。
【００４４】
以下、第１の実施の形態に係る催事動向分析システムにおける処理の流れを説明する。
【００４５】
まず、対象者特定装置１での処理の流れを、図６乃至図１３を参照して説明する。図６は、対象者情報作成処理のメインフローチャートである。図７は、キャリブレーション処理（Ｓ１３）の詳細を示すフローチャートである。図８は、計測処理（Ｓ１５）の詳細を示すフローチャートである。図９は、推論処理（Ｓ１６）の詳細を示すフローチャートである。図１０は、推論定義テーブル１３の概要を示す図である。図１１は、対象者特定処理（Ｓ１７）の詳細を示すフローチャートである。図１２は、発話者音声照合テーブル１４のデータ構成を示す図である。図１３は、対象者情報１０のデータ構成を示す図である。なお、対象者情報作成処理（図６）は、対象者特定装置１の電源がＯＮされて起動されると、その処理が開始されて、対象者特定装置１が起動している間は継続的に実行されるものとする。
【００４６】
図６に示すように、対象者情報作成処理では、まず利用者を計測するための各種センサが初期化される（Ｓ１１）。本実施の形態においては、対象者特定装置１が起動されると、体温センサ１８２，発汗センサ１８３，心拍数センサ１８４が初期化される。そして、所定の測定間隔時間が計時装置１９０にセットされる（Ｓ１２）。測定間隔時間は、後述のキャリブレーション処理（Ｓ１３）においてキャリブレーション測定が実行される時間間隔である。Ｓ１１ではあらかじめ定められた値が、測定間隔時間としてセットされるが、利用者又は設計者が任意の値を設定するようにしてもよい。
【００４７】
次に、各種センサによる計測値の平均である基準値を取得するためのキャリブレーション処理が実行される（Ｓ１３）。図７に示すように、キャリブレーション処理（Ｓ１３）では、まず測定回数の初期化がなされ（Ｓ２１）、このキャリブレーション処理が実行されるキャリブレーション時間が計時装置１９０にセットされる（Ｓ２２）。Ｓ２２ではあらかじめ定められた値が、キャリブレーション時間としてセットされるが、利用者又は設計者が任意の値を設定するようにしてもよい。
【００４８】
そして、キャリブレーション時間を終了（経過）しておらず（Ｓ２３：ＮＯ）、かつ、対象者情報作成処理（図６参照）のＳ１２で設定された測定間隔時間が終了（経過）していれば（Ｓ２４：ＹＥＳ）、各センサの出力が測定される（Ｓ２５）。本実施の形態においては、体温センサ１８２，発汗センサ１８３，心拍数センサ１８４が設けられているから、それぞれ利用者の体温，発汗，心拍数について出力された計測値が取得される。なお、測定間隔時間が終了（経過）していない場合は（Ｓ２４：ＮＯ）、測定間隔時間が終了（経過）するまで、Ｓ２４において待ち状態となる。その後、測定回数が増加されて（Ｓ２６）、Ｓ２３へ戻る。
【００４９】
そして、Ｓ２３でキャリブレーション時間を終了（経過）していない場合には（Ｓ２３：ＮＯ）、再び、測定間隔時間の経過後（Ｓ２４：ＹＥＳ）、各センサの出力が測定される（Ｓ２５）。このように、Ｓ２２においてセットされたキャリブレーション時間が終了（経過）するまで、測定間隔時間毎に各センサの出力の測定が繰り返される（Ｓ２３〜Ｓ２６）。
【００５０】
一方、キャリブレーション時間の経過後は（Ｓ２３：ＹＥＳ）、各センサ毎の測定値の平均値が算出される（Ｓ２７）。例えば、体温センサ１８２により測定間隔時間毎に測定された複数の体温の測定値を全て加算し、その加算値をＳ２６により取得された測定回数で除算する等して、体温センサ１８２の測定値の平均値が算出される。そして、Ｓ２７で算出された各センサの基準値は、ＲＡＭ１３０に設けられた基準値エリア（図示外）に保存される（Ｓ２８）。
【００５１】
対象者情報作成処理（図６）に戻り、意思伝達スイッチ１８９が「ＯＮ」か否かが判定される（Ｓ１４）。意思伝達スイッチ１８９が「ＯＮ」でない、すなわち「ＯＦＦ」である場合には（Ｓ１４：ＮＯ）、Ｓ１４で待ち状態となる。一方、意思伝達スイッチ１８９が「ＯＮ」である場合（Ｓ１４：ＹＥＳ）、各センサが利用者を計測する計測処理が実行される（Ｓ１５）。
【００５２】
図８に示すように、計測処理（Ｓ１５）では、まず計測回数の初期化がなされ（Ｓ３１）、計測回数のセットがなされた後（Ｓ３２）、各センサの出力が計測される（Ｓ３３）。そして、Ｓ３３による各センサの計測値から、ＲＡＭ１３０に設けられた基準値エリアに記憶された各センサの基準値が減算されて、増分値に加算される（Ｓ３４）。例えば、Ｓ３３において、体温センサ１８２により現在の利用者の体温が計測値３６．５℃として計測された場合に、体温センサ１８２の基準値３６．０℃であれば、０．５℃が増分値に加算されることになる。その後、計測回数が増加されて（Ｓ３５）、Ｓ３２でセットされた計測回数が終了していなければ（Ｓ３６：ＮＯ）、その計測回数を終了するまで、各センサの出力の測定が繰り返される（Ｓ３３〜Ｓ３６）。Ｓ３４においては、１回の計測毎の増分値がその都度前回までの増分値に加算されていく。Ｓ３２でセットされた計測回数が終了すると（Ｓ３６：ＹＥＳ）、Ｓ３２によりセットされた計測回数で、各センサ毎に増分値を除算して、各センサ毎の増分値の平均値が算出される（Ｓ３７）。
【００５３】
対象者情報作成処理（図６）に戻り、利用者の感情や意識などを推論する推論処理が実行される（Ｓ１６）。図９に示すように、推論処理（Ｓ１６）では、まず各センサからの計測値の状態変化を示すフラグである状態変数がクリアされる（Ｓ４１）。本実施の形態では、体温センサ１８２が計測する体温についての第２ｂｉｔ、発汗センサ１８３が計測する発汗についての第１ｂｉｔ、心拍数センサ１８４が計測する心拍数についての第０ｂｉｔ、の３つのビットを状態変数として有している。そして、計測処理（Ｓ１５）で算出された各センサ毎の増分値の平均値に基づいて、利用者からの計測値の変化を判定する。
【００５４】
最初に、体温センサ１８２から計測された体温の増分値の平均値（体温増分値）と、体温に関する基準値（体温閾値）とが比較される（Ｓ４２）。基準値（閾値）は、キャリブレーション処理（図７）のＳ２８で、各センサの基準値エリアに保存された値である。その結果、体温増分値が体温閾値よりも大きければ（Ｓ４２：ＹＥＳ）、第２ｂｉｔが「ＯＮ」にセットされる（Ｓ４３）。一方、体温増分値が体温閾値よりも大きくない場合（Ｓ４２：ＮＯ）、そのまま次のステップ（Ｓ４４）へ進む。同様に、発汗センサ１８３が計測する発汗についても、その増分値の平均値（発汗増分値）と発汗に関する基準値（発汗閾値）とが比較され（Ｓ４４）、その結果、発汗増分値が発汗閾値よりも大きければ（Ｓ４４：ＹＥＳ）、第１ｂｉｔが「ＯＮ」にセットされる（Ｓ４５）。一方、発汗増分値が発汗閾値よりも大きくない場合（Ｓ４４：ＮＯ）、そのまま次のステップ（Ｓ４６）へ進む。また、心拍数センサ１８４が計測する心拍数についても、その増分値の平均値（心拍数増分値）と心拍数に関する基準値（心拍数閾値）とが比較され（Ｓ４６）、その結果、心拍数増分値が心拍数閾値よりも大きければ（Ｓ４６：ＹＥＳ）、第０ｂｉｔが「ＯＮ」にセットされる（Ｓ４７）。一方、心拍数増分値が心拍数閾値よりも大きくない場合（Ｓ４６：ＮＯ）、そのまま次のステップ（Ｓ４８）へ進む。
【００５５】
その後、状態変数の第２ｂｉｔ，第１ｂｉｔ，第０ｂｉｔまでのパターンに対応する推論種別及び推論値が、推論定義テーブル１３から取得される（Ｓ４８）。図１０に示すように、推論定義テーブル１３は、推論の種別を示す推論種別１３ａと、各センサにより計測された利用者の感情や意識などの変化状態を示すセンサ状態１３ｂと、利用者の推論の強弱を数値で示す推論値１３ｃとをデータ項目として具備している。そして、各々のデータ項目の対応を、テーブル形式で定義している。先述のように、本実施の形態では利用者の「感動」について推論されるから、推論定義テーブル１３も「感動」を推論するのに適した内容で定義されている。詳細には、推論種別１３ａは「感動」に関する推論の種別が定義されており、利用者の「感動」の強弱によって「大興奮」から「無感動（平常）」までの複数の推論の種別が存在している。また、その「感動」の強弱を数値で表した推論値１３ｃが定義され、例えば、推論種別１３ａが「大興奮」であれば、その推論値１３ｃは最大値の「１００」である。なお、図１０に示す推論定義テーブル１３は「感動」に関するものであるから、推論値１３ｃは感動度（Ｅ）とも表示される。
【００５６】
そして、Ｓ４８では、Ｓ４２〜Ｓ４７によりセットされた状態変数によってセンサ状態１３ｂが特定されるから、このセンサ状態１３ｂに対応する推論種別１３ａや推論値１３ｃが取得される。なお、第２ｂｉｔ〜第０ｂｉｔが、それぞれ「ＯＮ」がセットされている場合には、センサ状態１３ｂにおいては「ＵＰ」と判定される。例えば、第２ｂｉｔ「ＯＮ」，第１ｂｉｔ「ＯＮ」，第０ｂｉｔ「ＯＦＦ」の場合は、推論種別１３ａ「混乱」で推論値１３ｃ「１０」が、推論定義テーブル１３を参照して取得される。
【００５７】
対象者情報作成処理（図６）に戻り、利用者の感情や意識が向けられている対象者を特定する対象者特定処理が実行される（Ｓ１７）。図１１に示すように、対象者特定処理（Ｓ１７）では、まず指向性マイク１５１から音声のサンプリングが実行され（Ｓ５１）、Ｓ５１でサンプリングされた音声の特徴量（音声パターン）が抽出される（Ｓ５２）。そして、発話者音声照合テーブル１４を参照して、各対象者の音声の特徴量（音声パターン）とＳ５２で抽出された特徴量（音声パターン）との差分が算出される（Ｓ５３）。
【００５８】
図１２に示すように、発話者音声照合テーブル１４には、複数の対象者の音声の特徴量を示す音声パターン情報１４ａと、その対象者に固有の識別情報（対象者識別情報）１４ｂとが対応付けて記憶されている。Ｓ５３では発話者音声照合テーブル１４が参照されて、全対象者の音声パターン情報１４ａに基づいて、Ｓ５２で抽出された音声パターンとの差分が算出される。なお、図１２は、対象者「Ａ」，「Ｂ」，「Ｃ」についての音声パターン情報１４ａ及び対象者識別情報１４ｂが定義されていることを図示している。
【００５９】
そして、Ｓ５３で算出された各差分のうち、最小値のものの登録対象者の対象者識別情報１４ｂが、Ｓ１８の対象者情報の作成（図６参照）で用いられる対象者識別情報として設定される（Ｓ５４）。すなわち、Ｓ５３における演算の結果、Ｓ５２で抽出された特徴量（音声パターン）との差分が最も小さい音声パターン情報１４ａが、Ｓ５１で取得された音声と最も近似しているため、その音声パターン情報１４ａに対応する対象者識別情報１４ｂが設定される。
【００６０】
なお、対象者特定処理（Ｓ１７）で実行される音声照合による対象者の特定は、公知の話者識別や話者照合に関する技術を適用すればよく、有効に音声を発した利用者を特定できるのであれば、いずれの技術を適用してもよい（一例として、特許第２８１６１６３号，特許第３０９８１５７号，特開２００２−２２１９９０，特開２００１−３１２２９５，特開平７−２１０１９７など）。
【００６１】
そして、推論処理（Ｓ１６）で取得された推論種別１３ａ及び推論値１３ｃと、対象者特定処理（Ｓ１７）で設定された対象者識別情報に基づいて、所定のヘッダー部などを付加した対象者情報１０が作成される（Ｓ１８）。なお、作成された対象者情報１０は、ＨＤＤ１４０の対象者情報記憶エリア１４４（図４参照）に保存される。
【００６２】
図１３に示すように、対象者情報１０には、少なくとも推論値１０ａ，推論種別１０ｂ，対象者識別情報１０ｃが含まれている。推論値１０ａ及び推論種別１０ｂは、推論処理（Ｓ１６）で推論定義テーブル１３から取得された推論値１３ｃ及び推論種別１３ａに各々対応する。また、対象者識別情報１０ｃは、対象者特定処理（Ｓ１７）で発話者音声照合テーブル１４から特定された対象者識別情報１４ｂである。図１３には、推論値１０ａ「８０」及び推論種別１０ｂ「鳥肌が立つ」とともに、利用者「Ａ」（図１参照）を示す対象者識別情報１０ｃ「Ａ」が図示されている。
【００６３】
そして、Ｓ１８で作成された対象者情報１０は、通信制御部１６０からアンテナ１６１を介して催事動向分析装置２に送信される（Ｓ１９）。Ｓ１９の送信処理の実行タイミングは対象者情報１０の作成時に限定されず、所定期間ごとに又は利用者からの指示がある場合に、Ｓ１９の送信処理が実行されてもよい。なお、催事動向分析装置２に送信された対象者情報１０は、アンテナ２９２を介して通信制御部２９１により受信され、催事動向分析装置２のＨＤＤ２４０に設けられた対象者情報記憶エリア（図示外）に保存される。
【００６４】
その後、Ｓ１４に戻り、意思伝達スイッチ１８９が「ＯＮ」される毎に、最新の対象者情報１０が出力される処理が繰り返される（Ｓ１５〜Ｓ１９）。このように、意思伝達スイッチ１８９が「ＯＮ」される毎に、最新の対象者情報１０が出力される処理が繰り返される結果、ＨＤＤ１４０の対象者情報記憶エリア１４４（図４参照）には、複数の対象者情報１０が時系列に保存される。
【００６５】
以上の処理により、対象者特定装置１を携行する利用者「Ｘ」が、対象者「Ａ」の発言に「感動」したような場合に、指向性マイク１５１を対象者「Ａ」に向けて意思伝達スイッチ１８９を押すと、対象者「Ａ」についての利用者「Ｘ」の「感動」に関する対象者情報１０が作成されて、催事動向分析装置２に送信される。
【００６６】
次に、催事動向分析装置２での処理の流れを、図１４及び図１５を参照して説明する。図１４は、催事動向分析処理のメインフローチャートである。図１５は、催事動向分析情報２００のデータ内容の表示例を示す図である。
【００６７】
催事動向分析装置２では、ＨＤＤ２４０の対象者情報記憶エリア（図示外）に収集された複数の対象者情報１０に基づいて、催事の動向を分析する催事動向分析処理が実行され、本実施の形態では、複数の対象者が参加する会議の盛り上がり具合や中心人物の変遷などの各種動向が分析される。催事動向分析処理では、あらかじめ定められた時間間隔毎に定期的に実行され、又はマウス２８１やキーボード２８２から処理実行が指示されると実行される。
【００６８】
図１４に示すように、催事動向分析処理では、対象者情報記憶エリア（図示外）から分析対象となる対象者情報１０が読み出される（Ｓ２０１）。ここで、対象者情報記憶エリア（図示外）に保存されている全ての対象者情報１０を読み出してもよいし、一部のみを読み出してもよい。また、読み出し対象となる対象者情報１０を、利用者が選択できるようにしてもよい。
【００６９】
次に、Ｓ２０１で読み出された対象者情報１０に基づいて、分析実行処理（Ｓ２０２）が実行されて、催事の動向を示す催事動向分析情報２００が作成される。Ｓ２０２で作成された催事動向分析情報２００は、ＨＤＤ２４０の分析情報記憶エリア２４１に保存される（Ｓ２０３）。ここで、対象者情報１０に基づいて催事動向分析情報２００を作成する手法としては、その目的や利用形態に応じて各種手法を適用可能であり、どのような内容の催事動向分析情報２００を作成するかも利用者又は設計者の任意である。
【００７０】
図１５に示すように、催事動向分析情報２００は、現在の時刻を示す「現在日時」２０１や、催事動向分析処理（図１４）が実行される時間間隔を示す「集計間隔」２０２の他、「会議全体の盛り上がり」２０３，「主役（優位）」２０４，「主役獲得時間のＴＯＰ」２０５，「感動度獲得のＴＯＰ」２０６，「集計時間における各対象者に対する感動度」２０７などのデータ項目を含む。以下では、各データ項目と分析実行処理（Ｓ２０２）との関係について説明する。
【００７１】
「会議全体の盛り上がり」２０３は、会議全体の盛り上がりの程度を示す指標であり、分析処理（Ｓ２０２）における次のような処理により取得される。すなわち、Ｓ２０１で取得された対象者情報１０の推論値１０ａ（図１３参照）を総計し、その総計した値を対象者情報１０の数量で除算して、推論値１０ａの平均値を求める。例えば、３つの対象者情報１０の推論値１０ａが、それぞれ「１００」，「８０」，「６０」である場合、図１５に示すように、「会議全体の盛り上がり」２０３として「８０％」が設定される。
【００７２】
「主役（優位）」２０４は、会議における中心人物となっている対象者を示す指標であり、詳細には、「主役（優位）」２０４ａ，「前主役（優位）」２０４ｂ，「前々主役（優位）」２０４ｃは、それぞれ今回，前回，前々回の催事動向分析処理（図１４）ごとの中心人物を示し、分析処理（Ｓ２０２）における次のような処理により取得される。すなわち、Ｓ２０１で取得された対象者情報１０の推論値１０ａを比較して、最大値の対象者情報１０の対象者識別情報１０ｃ（図１２参照）を特定する。例えば、推論値１０ａが最大値を示す対象者情報１０の対象者識別情報１０ｃ「Ａ」であれば、図１５に示すように、「主役（優位）」２０４ａとして「Ａ」が設定され、前回に「主役（優位）」２０４ａ，「前主役（優位）」２０４ｂに設定されていた「Ｂ」，「Ａ」が、今回の「前主役（優位）」２０４ｂ，「前々主役（優位）」２０４ｃに設定される。
【００７３】
「主役獲得時間のＴＯＰ」２０５は、会議の開始から現在に至るまでの主役（優位）であった時間が最も長い対象者を示す指標である。この指標は、分析処理（Ｓ２０２）において、会議の開始から現在に至るまでに作成された催事動向分析情報２００を統計することで取得される。例えば、現在までの催事動向分析情報２００において、「主役（優位）」２０４に設定された回数が最も多い対象者「Ａ」である場合は、図１５に示すように「主役獲得期間のＴＯＰ」２０５として「Ａ」が設定される。
【００７４】
「感動度獲得のＴＯＰ」２０６は会議の開始から現在に至るまでの最も高い「感動」を獲得した対象者を示す指標である。この指標は、分析処理（Ｓ２０２）において、会議の開始から現在に至るまでに、Ｓ２０１で取得された対象者情報１０のうちで、推論値１０ａが最大値を記録した対象者の対象者識別情報１０ｃが取得される。例えば、現在までにＳ２０１で取得された対象者情報１０のうちで、最大の推論値１０ａを示す対象者の対象者識別情報１０ｃ「Ｂ」である場合は、図１５に示すように「感動度獲得のＴＯＰ」２０６として「Ｂ」が設定される。
【００７５】
「集計時間における各対象者に対する感動度」２０７は、各対象者が会議の開始から現在に至るまでに獲得した感動度の最大値を示す指標であり、詳細には、対象者「Ａ」，「Ｂ」がこれまでに獲得した感動度の最大値が２０７ａ，２０７ｂに各々設定されており、分析処理（Ｓ２０２）における次のような処理により取得される。すなわち、今回の催事動向分析処理（図１４）で取得された対象者情報１０のうちで、各利用者ごとの推論値１０ａの最大値が、現在設定されている「集計時間における各対象者に対する感動度」２０７より大であれば更新される。例えば、現在設定されている「集計時間におけるＡに対する感動度」２０７ａが「５０」である場合に、今回の催事動向分析処理（図１３）で取得された対象者「Ａ」の推論値１０ａの最大値が「６０」であれば、図１５に示すように「集計時間におけるＡに対する感動度」２０７ａが「６０」に更新される。
【００７６】
以上の処理により、催事動向分析装置２では、複数の利用者「Ａ」，「Ｂ」，「Ｃ」が各々有する対象者特定装置１で作成された対象者情報１０が収集されて、この複数の対象者情報１０に基づいて、その会議の盛り上がり具合や中心人物の変遷などの各種動向が分析された催事動向分析情報２００が作成される。
【００７７】
以上説明したように、第１の実施の形態の催事動向分析システムによれば、対象者特定装置１を携行する利用者が、複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合、その対象者に指向性マイク１５１を向けて意思伝達スイッチ１８９を押すと、その対象者についての利用者の「感動」に関する対象者情報１０が作成されるので、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。
【００７８】
また、催事動向分析装置２では、複数の利用者が各々有する対象者特定装置１から取得された対象者情報１０をもとに会議の動向を分析されるので、その解析結果を利用すれば、その会議の盛り上がり具合や中心人物の変遷などを把握することができ、対象者情報１０の利用範囲を広げることができる。
【００７９】
また、利用者は対象者に指向性マイク１５１を向けて意思伝達スイッチ１８９を押すことで、利用者は任意の対象者についての対象者情報１０の作成を指示することができ、また、指向性マイク１５１から取得された音声を分析することで、複数の対象者が任意に移動可能であっても、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００８０】
次に、本発明の第２の実施の形態を図面を参照して説明する。本実施形態に係る催事動向分析システムは、基本的に第１の実施の形態のものと同一であるが、音声により対象者を特定するための構成が異なる。
【００８１】
まず、第２の実施の形態に係る催事動向分析システムの構成について説明する。図１６は、第２の実施の形態における、催事動向分析システムについての全体構成図である。図１７は、マイクアレイ制御装置３０の電気的構成を示すブロック図である。図１８は、発話者位置特定マップ１５のデータ構成を示す図である。
【００８２】
図１６に示すように、本実施の形態の催事動向分析システムにおいては、第１の実施の形態と同様に、対象者特定装置１は利用者に保持され、体温センサ、発汗センサ及び心拍数センサなどの複数のセンサや意思伝達スイッチ１８９が設けられているが、指向性マイク１５１やアンテナ１６１は設けられていない。
【００８３】
本実施の形態では、複数の対象者があらかじめ定められた固定の位置に存在しており、複数のマイク３１，３２，３３が複数の対象者に向けて設けられている。マイク３１，３２，３３は、例えば室内の壁面や床面に固定的に設置されており、対象者が発した同一音声を各々が集音できるように同一方向に向けられたマイクアレイ３８を構成している。なお、図１６では発話中の対象者「Ａ」の音声が、右側に位置するマイク３１，中央に位置するマイク３２，左側に位置するマイク３３に各々入力されていることが示されており、マイクアレイ３８は少なくとも対象者「Ａ」，「Ｂ」，「Ｃ」の位置を含む集音領域４０の範囲を有効に集音できるものとする。
【００８４】
また、マイクアレイ３８からの音声信号を解析して対象者の中から発話者を特定するためのマイクアレイ制御装置３０（詳細は後述。）が設けられ、これらの各構成は有線回線３４によって相互に接続されている。そして、対象者特定装置１，催事動向分析装置２，マイクアレイ制御装置３０は、有線によるネットワーク５１を介して相互に接続されている。
【００８５】
なお、本実施の形態では、図１６に示すように、複数の対象者「Ａ」，「Ｂ」，「Ｃ」があらかじめ定められた固定の座席に位置して会議が催されており、その会議を複数の利用者「Ｘ」，「Ｙ」，「Ｚ」が視聴しており、対象者特定装置１を保持する利用者「Ｘ」が、対象者「Ａ」の発言に「感動」して意思伝達スイッチ１８９を押下した場合を例示する。
【００８６】
次に、マイクアレイ制御装置３０について説明する。図１７に示すように、マイクアレイ制御装置３０は、ＣＰＵ３１０，ＲＯＭ３２０，ＲＡＭ３３０，ＨＤＤ３４０，通信制御部３６０などを備え、通常のコンピュータ機器と同様な構成をなすため、詳細は省略するが、マイクアレイ３８からの音声信号を解析して対象者の中から発話者を特定する後述の発話者特定処理（図２０）を実行するための発話者特定プログラム３２１が、ＲＯＭ３２０に記憶されている。
【００８７】
また、発話者特定処理（図２０）で用いられ、音源位置に基づいて発話者を特定するための発話者位置特定マップ１５が、ＨＤＤ３４０に記憶されている。図１８に示すように、発話者位置特定マップ１５には、各対象者の位置情報１５ａとその対象者に固有の識別情報（対象者識別情報）１５ｂとが対応付けて記憶されている。なお、図１８に示す発話者位置特定マップ１５は、集音領域４０（図１６）に存在する対象者「Ａ」，「Ｂ」，「Ｃ」についての位置情報１５ａ及び対象者識別情報１５ｂが定義されている。
【００８８】
以下、第２の実施の形態に係る催事動向分析システムにおける処理の流れを説明する。本実施の形態における処理は、基本的には第１の実施の形態と同一であるが、図６に示す対象者情報作成処理における対象者特定処理（Ｓ１７）の内容が異なる。図１９は、第２の実施の形態における、対象者特定処理（Ｓ１７）の詳細を示すフローチャートである。図２０は、発話者特定処理のメインフローチャートである。
【００８９】
図１９に示すように、対象者特定処理（Ｓ１７）では、まずマイクアレイ制御装置３０へ、発話中の対象者を示す対象者識別番号を要求する対象者リクエスト信号が送信される（Ｓ７１）。すると、マイクアレイ制御装置３０においては、対象者リクエスト信号が受信されると、ＣＰＵ３１０により発話者特定プログラム３２１が実行されて、発話者特定処理（図２０）が開始される。
【００９０】
図２０に示すように、発話者特定処理では、まずマイクアレイ３８から音声のサンプリングが実行され（Ｓ８１）、Ｓ８１でサンプリングされた音声が解析されて、音声波形の位相又は振幅の情報から音源の方向及び距離（音源位置）が特定される（Ｓ８２）。そして、発話者位置特定マップ１５を参照して、Ｓ８２で特定された音源位置の最も近傍に位置する位置情報１５ａに対応する対象者識別情報１５ｂが特定され（Ｓ８３）、Ｓ８３で特定された対象者識別情報１５ｂが対象者特定装置１に送信される（Ｓ８４）。
【００９１】
なお、マイクアレイから取得された音声信号を分析して音源位置を特定することで、発話中の話者を特定する技術は公知であって詳細は省略するが、有効に対象者を特定できればいずれの技術も適用できる（一例として、特開２００３−３０４５８９，特開２００１−３５９１８５，特開平１１−４１５７７，特開平５−２４４５８７，特開平１０−１４５７６３など）。
【００９２】
対象者特定処理（図１９）に戻り、対象者特定装置１では、マイクアレイ制御装置３０から送信された対象者識別情報が受信されて（Ｓ７２）、Ｓ７２で受信された対象者識別情報が、Ｓ１８の対象者情報の作成（図６参照）で用いられる対象者識別情報として設定される（Ｓ７３）。その後は、第１の実施の形態と同様に、推論処理（Ｓ１６）で取得された推論種別１３ａ及び推論値１３ｃと、対象者特定処理（Ｓ１７）で設定された対象者識別情報に基づいて、所定のヘッダー部などを付加した対象者情報１０が作成されて（Ｓ１８）、対象者情報１０が催事動向分析装置２へ送信される（Ｓ１９）。
【００９３】
このように本実施の形態では、対象者特定装置１を保持する利用者「Ｘ」が、対象者「Ａ」の発言に「感動」して意思伝達スイッチ１８９を押すと、マイクアレイ制御装置３０においてマイクアレイ３８からの音声信号を分析して音源位置が特定されて、位置が固定された複数の対象者のうちで発話中の対象者「Ａ」が特定される。そのため、第１の実施の形態のように、利用者が対象者特定装置１の指向性マイク１５１を発話中の対象者に向ける必要がない。
【００９４】
以上説明したように、第２の実施の形態の催事動向分析システムによれば、対象者特定装置１を保持する利用者が、複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合に意思伝達スイッチ１８９を押すと、その対象者についての利用者の「感動」に関する対象者情報１０が作成されるので、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、また推論結果の信頼性を高めることができる。
【００９５】
また、利用者は意思伝達スイッチ１８９を押すことで、利用者は任意の対象者についての対象者情報１０の作成を指示することができ、また、マイクアレイ３８から取得された音声の音源の方向及び距離を分析することで、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【００９６】
次に、本発明の第３の実施の形態を図面を参照して説明する。本実施形態に係る催事動向分析システムは、基本的に第２の実施の形態のものと同一であるが、音声により対象者を特定するための構成が異なる。
【００９７】
まず、第３の実施の形態に係る催事動向分析システムの構成について説明する。図２１は、第３の実施の形態における、催事動向分析システムについての全体構成図である。
【００９８】
図２１に示すように、本実施の形態の催事動向分析システムにおいては、第２の実施の形態の構成に加え、複数の対象者の位置を計測する光センサである位置センサ３９が設けられており、有線回線３４を介してマイクアレイ制御装置３０と接続されている。また、対象者「Ａ」，「Ｂ」，「Ｃ」はその位置が固定されておらず、自由に移動可能であり、位置センサ３９は集音領域４０における対象者「Ａ」，「Ｂ」，「Ｃ」の存在位置を計測可能である。また、位置センサ３９が各対象者を判別して、その位置を特定する技術は各種のものが公知であるが、一例としては、各対象者を一意に判別する対象者識別情報を記憶した非接触素子が、位置センサ３９による読み取りが可能な状態で、各対象者に携行されている。
【００９９】
以下、第３の実施の形態に係る催事動向分析システムにおける処理の流れを説明する。本実施の形態における処理は、基本的には第２の実施の形態と同一であるが、後述の発話者位置特定マップ更新処理が実行される点が異なる。図２２は、発話者位置特定マップ更新処理のメインフローチャートである。
【０１００】
本実施の形態のマイクアレイ制御装置３０では、先述のように、対象者「Ａ」，「Ｂ」，「Ｃ」が任意に移動可能であるため、発話者位置特定マップ１５における位置情報１５ａと対象者識別情報１５ｂとの対応を、位置センサ３９からの情報に基づいて最新のものに更新する発話者位置特定マップ更新処理（図２２）が適宜実行される。この発話者位置特定マップ更新処理は、マイクアレイ制御装置３０の電源投入時や発話者特定処理（図２０）の実行開始前など、任意のタイミングで実行されればよいが、本実施の形態では、マイクアレイ制御装置３０の動作中に所定の時間間隔で（例えば、１０秒）繰り返し実行されるものとする。
【０１０１】
図２２に示すように、発話者位置特定マップ更新処理では、まず位置センサ３９による計測に基づいて、各対象者の位置情報が取得される（Ｓ９１）。そして、Ｓ９１で取得された位置情報に基づいて、発話者位置特定マップ１５が最新の内容に更新される（Ｓ９２）。すなわち、発話者位置特定マップ１５における各対象者の位置情報１５ａが、Ｓ９１で取得された位置情報に基づいて各々更新されて、最新の利用者の位置情報が反映される。
【０１０２】
そして、第２の実施の形態同様に、発話者特定処理（図２０）が実行されて、マイクアレイ３８からの音声により音源位置が特定され、発話者特定マップ更新処理（図２２）により適宜更新された発話者位置特定マップ１５に基づいて、この音源位置の最も近傍に位置する対象者が特定される。
【０１０３】
このように本実施の形態では、対象者特定装置１を保持する利用者「Ｘ」が、対象者「Ａ」の発言に「感動」して意思伝達スイッチ１８９を押すと、マイクアレイ制御装置３０において、マイクアレイ３８からの音声信号を分析して音源位置を特定することで、任意に移動可能な複数の対象者のうちで、発話中の対象者「Ａ」が特定される。そのため、第２の実施の形態のように、対象者が所定の位置に固定されていなくても発話中の対象者を特定することができる。
【０１０４】
以上説明したように、第３の実施の形態の催事動向分析システムによれば、対象者特定装置１を保持する利用者が、任意に移動可能な複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合に意思伝達スイッチ１８９を押すと、その対象者についての利用者の「感動」に関する対象者情報１０が作成されるので、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。そして、発話者位置特定マップ１５が適宜最新の内容に更新されるため、複数の対象者が移動可能であっても、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【０１０５】
次に、本発明の第４の実施の形態を図面を参照して説明する。本実施形態に係る催事動向分析システムは、基本的に第１の実施の形態のものと同一であるが、音声により対象者を特定するための構成が異なる。
【０１０６】
まず、第４の実施の形態に係る催事動向分析システムの構成について説明する。図２３は、第４の実施の形態における、催事動向分析システムについての全体構成図である。図２４は、無線マイク制御装置７０の電気的構成を示すブロック図である。図２５は、発話者マイク特定テーブル１６のデータ構成を示す図である。
【０１０７】
図２３に示すように、本実施の形態の催事動向分析システムにおいては、第１の実施の形態と同様に、対象者特定装置１が利用者に保持され、体温センサ、発汗センサ及び心拍数センサなどの複数のセンサや意思伝達スイッチ１８９が設けられているが、指向性マイク１５１やアンテナ１６１は設けられていない。
【０１０８】
本実施の形態では、複数の対象者は各々無線マイク７１を携行して任意に移動可能である。無線マイク７１は、携行される各利用者が発する音声のみを集音可能な指向性マイクであり、各無線マイク７１を一意に識別するためのマイク識別情報が記憶されている。また、無線マイク７１は、無線通信によって無線マイク制御装置７０と有効に接続されて、各種情報を送受信可能となっている。無線マイク制御装置７０は、無線マイク７１からの音声信号を解析して対象者の中から発話者を特定するものである。対象者特定装置１，催事動向分析装置２，無線マイク制御装置７０は、有線によるネットワーク５１を介して相互に接続されている。
【０１０９】
なお、本実施の形態では、図２３に示すように、無線マイク７１ａ，７１ｂ，７１ｃを携行する対象者「Ａ」，「Ｂ」，「Ｃ」によって会議が催されており、各無線マイク７１は小型のピンマイクとして実装されている。また、対象者「Ａ」，「Ｂ」，「Ｃ」は、各々が携行する無線マイク７１ａ，７１ｂ，７１ｃと無線マイク制御装置７０との間で有効に通信できる範囲で任意に移動可能である。また、発話中の対象者「Ａ」の音声が無線マイク７１ａに入力されており、対象者「Ａ」の音声及びマイク識別情報が、無線マイク７１ａから無線マイク制御装置７０に送信されている。そして、以下では、対象者特定装置１を保持する利用者「Ｘ」が、対象者「Ａ」の発言に「感動」して意思伝達スイッチ１８９を押下した場合を例示する。
【０１１０】
次に、無線マイク制御装置７０について説明する。図２４に示すように、無線マイク制御装置７０は、ＣＰＵ７１０，ＲＯＭ７２０，ＲＡＭ７３０，ＨＤＤ７４０，通信制御部７６０などを備え、通常のコンピュータ装置の同様な構成をなすため、詳細は省略するが、無線マイク７１からの音声に関する情報に基づいて、対象者の中から発話者を特定する後述の発話者特定処理（図２６）を実行するための発話者特定プログラム７２１が、ＲＯＭ７２０に記憶されている。
【０１１１】
また、後述の発話者特定処理（図２６）で用いられ、音声が入力された無線マイク７１に基づいて発話者を特定するための発話者マイク特定テーブル１６が、ＨＤＤ７４０に記憶されている。図２５に示すように、発話者マイク特定テーブル１６には、先述の各無線マイク７１を一意に識別するためのマイク識別情報１６ａと、その無線マイク７１を携行する対象者に固有の識別情報（対象者識別情報）１６ｂとが対応付けて記憶されている。なお、図２５に示す発話者特定テーブルは、無線マイク７１ａ，７１ｂ，７１ｃ（図２２）を携行する対象者「Ａ」，「Ｂ」，「Ｃ」についてのマイク識別情報１６ａ及び対象者識別情報１６ｂが定義されている。
【０１１２】
以下、第４の実施の形態に係る催事動向分析システムにおける処理の流れを説明する。本実施の形態における処理は、基本的には第２及び第３の実施の形態と同一であるが、発話者特定処理（図２０）の詳細が異なる。図２６は、第４の実施の形態における、発話者特定処理のメインフローチャートである。
【０１１３】
図２６に示すように、発話者特定処理では、まず無線マイク７１ａ，７１ｂ，７１ｃから音声のサンプリングが実行され（Ｓ１０１）、Ｓ１０１でサンプリングされた音声が解析されて、最大音量又は最大音圧が入力された無線マイク７１のマイク識別番号が特定される（Ｓ１０２）。すなわち、無線マイク７１ａ，７１ｂ，７１ｃのうちで、最大音量又は最大音圧が入力されたもののマイク識別情報が特定される。そして、発話者マイク特定テーブル１６を参照して、Ｓ１０２で特定されたマイク識別情報１６ａに対応する対象者識別情報１６ｂが特定され（Ｓ１０３）、Ｓ１０３で特定された対象者識別情報１６ｂが、対象者特定装置１に送信される（Ｓ１０４）。
【０１１４】
このように本実施の形態では、対象者特定装置１を保持する利用者「Ｘ」が、対象者「Ａ」の発言に「感動」して意思伝達スイッチ１８９を押すと、無線マイク制御装置７０において、最大音量又は最大音圧が入力された無線マイク７１ａが特定され、その無線マイク７１を携行する発話中の対象者「Ａ」が特定される。そのため、第１の実施の形態のように、利用者が対象者特定装置１の指向性マイク１５１を対象者に向けて意思伝達スイッチ１８９を押す必要がなく、第２の実施の形態のように、対象者が所定の位置に固定されていなくても発話中の対象者を特定することができる。
【０１１５】
以上説明したように、第４の実施の形態の催事動向分析システムによれば、対象者特定装置１を保持する利用者が、複数の対象者が参加する会議を視聴しているときに、ある対象者の発言に「感動」した場合に意思伝達スイッチ１８９を押すと、その対象者についての利用者の「感動」に関する対象者情報１０が作成されるので、利用者がどの対象者に対してどのような感情や意識などを生じたかを把握することができ、推論結果の信頼性を高めることができる。
【０１１６】
また、利用者は意思伝達スイッチ１８９を押すことで、利用者は任意の対象者についての対象者情報１０の作成を指示することができ、また、音声が入力された無線マイク７１を特定することで、対象者が移動可能であっても、利用者の感情や意識などが向けられた対象者を正確に特定することができる。
【０１１７】
ところで、上記第１乃至第４の実施の形態において、指向性マイク１５１，マイクアレイ３８，無線マイク７１が、本発明の「音声取得手段」に相当する。また、対象者特定プログラム１２１を実行して対象者特定処理（図１１、図１９）を実行するＣＰＵ１１０、発話者特定プログラム３２１を実行して発話者特定処理（図２０）を実行するＣＰＵ３１０、発話者特定プログラム７２１を実行して発話者特定処理（図２６）を実行するＣＰＵ７１０が、それぞれ本発明の「対象者特定手段」に相当する。また、体温センサ１８２，発汗センサ１８３，心拍数センサ１８４に接続された入力検知部１８０が、本発明の「計測値取得手段」に相当する。また、対象者情報作成プログラム１２２を実行して、推論処理（図９）を実行するＣＰＵ１１０が本発明の「推論情報作成手段」に、対象物情報の作成（図６のＳ１８）を実行するＣＰＵ１１０が本発明の「対象物情報作成手段」に、それぞれ相当する。
【０１１８】
また、各種マイクからの音声と、音源の方向及び距離と、音声が入力されたマイクの識別情報とを含む、各種マイクからの音声に関する各種情報が、本発明の「音声に関する音声情報」に相当する。また、推論処理（図９）のＳ４８で取得される推論種別及び推論値が、本発明の「推論情報」に相当する。
【０１１９】
また、発話者位置特定マップ１５が、本発明の「対象者特定テーブル」に相当し、発話者マイク特定テーブル１６が、本発明の「第２の対象者特定テーブル」に相当する。また、意思伝達スイッチ１８９が、本発明の「意思伝達手段」に相当する。また、ＨＤＤ２４０の対象者情報記憶エリア（図示外）が、「対象者情報記憶手段」に相当する。そして、催事動向分析プログラム２２１を実行して催事動向分析処理（図１４）を実行するＣＰＵ２１０が、本発明の「催事動向分析手段」に相当する。
【０１２０】
なお、本発明は、以上詳述した第１乃至第４の実施の形態に限定されるものではなく、各種の変形が可能なことはいうまでもない。
【０１２１】
例えば、上記実施の形態では、利用者と対象者が別人物であるが、利用者が各種催事を視聴する態様は、直接的に参加者としてでもよいし、間接的に傍観者としてでもよい。例えば、図２７に示すように、利用者「Ａ」，「Ｂ」，「Ｃ」，「Ｄ」は、同時に催事に参加する対象者でもある。よって、例えば、利用者「Ａ」が意識や感情などが向けられた対象者として他の利用者「Ｄ」を特定したり、他の利用者「Ｃ」が利用者「Ａ」を対象者として特定したり等、任意の利用者を対象者とすることができる。
【０１２２】
また、対象者特定装置１，催事動向分析装置２，マイクアレイ制御装置３０（無線マイク制御装置７０）等の各構成は、上記の実施の形態に限定されず、その実装や目的に応じて利用者又は設計者の任意により各種態様で構成できる。例えば、対象者特定装置１とマイクアレイ制御装置３０（無線マイク制御装置７０）とを一体とした構成としてもよいし、催事動向分析装置２の対象者情報記憶エリア（図示外）と分析情報記憶エリア２４１とを、それぞれ異なるコンピュータ端末の記憶領域に設けてもよい。
【０１２３】
また、上記の第１乃至４の実施の形態を様々に組み合わせて、本発明を実現してもよい。例えば、第４の実施の形態では、複数の無線マイク７１のうちで音声が入力されたものを携行する者を、発話中の対象者として特定しているが、第１の実施の形態のように各無線マイク７１に入力された音声パターンを分析して、発話中の対象者を特定してもよい。この場合は、第１の実施の形態の対象者特定装置１に具備される対象者特定プログラム１２１と発話者音声照合テーブル１４を、第４の実施の形態の無線マイク制御装置７０に具備させればよい。
【０１２４】
また、音声を取得するための各種マイク（１５１，３１〜３３，７１ａ〜７１ｃ）も、任意の種類，位置，数量で設ければよく、また上述のように音声に関する各種情報（音声、音源位置、マイクの種類など）に基づいて発話者を特定する技術も、正確に発話者を特定できるのであれば各種公知技術を適用できる。また、本発明に係る各構成を接続するためのアンテナ１６１，有線回線３４，ネットワーク５１などは、有効に接続できれば有線又は無線等の種類は問わないことはいうまでもない。
【０１２５】
また、上記実施の形態では、対象者情報１０が「感動」について推論される場合を説明しているが、利用者の感情や意識の他にも、雰囲気や重要度等のように、事象の文脈や状況の前後関係などを示すものであって、事実や証拠のみでは把握できない抽象的な概念（コンテクストともいう。）について、対象者情報１０が推論されてもよい。そのため、「悲しみ」，「怒り」，「楽しさ」，「賑やかさ」，「忙しさ」等について推論された対象者情報１０が作成されてもよい。これは、各対象者情報１０の推論内容に対応する推論定義テーブル１３を設定することで実現できる。例えば、利用者の「悲しみ」に基づいて対象者情報１０を作成したい場合は、「悲しみ」に対応する推論定義テーブル１３を設定すればよい。
【０１２６】
また、推論定義テーブル１３には、あらかじめ任意の推論内容についてのテーブルが利用者又は設計者によって設定されていてもよいし、複数の推論内容の各々に対応する複数のテーブルが推論定義テーブル１３にあらかじめ設定されており、対象者情報作成処理（図６）において、自動的に最適なテーブルが選択されるようにしてもよい。
【０１２７】
また、本発明における催事とは、会議，演劇，プレゼンテーションに限定されず、複数の参加者によって何らかの目的をもって行われるものであれば、あらゆる催しや行事に適用できる。そして、催事動向分析処理（図１４）では催事の動向として様々なものを分析可能であり、図１５に例示したものの他、例えば、対象者の人気度や会議の盛り上がりの変遷などを分析してもよい。
【０１２８】
また、キャリブレーション処理（図７）では、サンプリング値の時系列データを取得して、その推移の特徴に基づいて基準値を算定するようにしてもよい。また、異常なサンプリング値は除外して基準値を算定するようにしてもよい。また、推論処理（図９）での比較処理（Ｓ４２，Ｓ４４，Ｓ４６）では、各センサ毎に変化閾値εを設けておき、閾値を変化閾値εで補正した補正値で、各センサからの計測値との比較を実行してもよい。例えば、変化閾値εの誤差許容範囲として、閾値の５％程度を設定する等である。
【０１２９】
また、各センサからの計測値は、体温、発汗及び心拍数に限定されないことはいうまでもない。例えば、利用者の振動、脳波、呼吸、加速度、傾き、バイオリズムなどを利用者から計測するようにしてもよい。さらに、各センサ（体温センサ１８２，発汗センサ１８３，心拍数センサ１８４）や入力パネル１８１は、対象者特定装置１に一体として構成されている必要はなく、ＵＳＢやネットワークなどのインタフェースを介して入力検知部１８０に遠隔接続して、有効に計測値や入力情報を取得できればよい。
【産業上の利用可能性】
【０１３０】
本発明の対象者特定装置，催事動向分析装置及び催事動向分析システムは、会議，演劇，プレゼンテーションなどの各種催事の動向を把握するためのコンピュータ機器に適用できる。
【図面の簡単な説明】
【０１３１】
【図１】催事動向分析システムについての全体構成図である。
【図２】対象者特定装置１の電気的構成を示すブロック図である。
【図３】対象者特定装置１のＲＡＭ１３０の記憶エリアの構成を示す概念図である。
【図４】対象者特定装置１のＨＤＤ１４０の記憶エリアの構成を示す概念図である。
【図５】催事動向分析装置２の電気的構成を示すブロック図である。
【図６】対象者情報作成処理のメインフローチャートである。
【図７】キャリブレーション処理（Ｓ１３）の詳細を示すフローチャートである。
【図８】計測処理（Ｓ１５）の詳細を示すフローチャートである。
【図９】推論処理（Ｓ１６）の詳細を示すフローチャートである。
【図１０】推論定義テーブル１３の概要を示す図である。
【図１１】対象者特定処理（Ｓ１７）の詳細を示すフローチャートである。
【図１２】発話者音声照合テーブル１４のデータ構成を示す図である。
【図１３】対象者情報１０のデータ構成を示す図である。
【図１４】催事動向分析処理のメインフローチャートである。
【図１５】催事動向分析情報２００のデータ内容の表示例を示す図である。
【図１６】第２の実施の形態における、催事動向分析システムについての全体構成図である。
【図１７】マイクアレイ制御装置３０の電気的構成を示すブロック図である。
【図１８】発話者位置特定マップ１５のデータ構成を示す図である。
【図１９】第２の実施の形態における、対象者特定処理（Ｓ１７）の詳細を示すフローチャートである。
【図２０】発話者特定処理のメインフローチャートである。
【図２１】第３の実施の形態における、催事動向分析システムについての全体構成図である。
【図２２】発話者位置特定マップ更新処理のメインフローチャートである。
【図２３】解析実行処理（Ｓ２２）による展示最適化の詳細を示すフローチャートである。
【図２４】無線マイク制御装置７０の電気的構成を示すブロック図である。
【図２５】発話者マイク特定テーブル１６のデータ構成を示す図である。
【図２６】第４の実施の形態における、発話者特定処理のメインフローチャートである。
【図２７】催事動向分析システムについての他の全体構成図である。
【符号の説明】
【０１３２】
１ 対象者特定装置
２ 催事動向分析装置
１３ 推論定義テーブル
１４ 発話者音声照合テーブル
１５ 発話者位置特定マップ
１６ 発話者マイク特定テーブル
３０ マイクアレイ制御装置
３８ マイクアレイ
３９ 位置センサ
７０ 無線マイク制御装置
７１ 無線マイク
１１０ ＣＰＵ
１１５ バス
１２１ 対象者特定プログラム
１２２ 対象者情報作成プログラム
１３０ ＲＡＭ
１４０ ＨＤＤ
１５０ 音声制御部
１５１ 指向性マイク
１６０ 通信制御部
１６１ アンテナ
１８０ 入力検知部
１８１ 入力パネル
１８２ 体温センサ
１８３ 発汗センサ
１８４ 心拍数センサ
１８９ 意思伝達スイッチ
１９０ 計時装置
２１０ ＣＰＵ
２１５ バス
２２１ 催事動向分析プログラム
２３０ ＲＡＭ
２４０ ＨＤＤ
２４１ 分析情報記憶エリア
２６０ 表示制御部
２６１ ディスプレイ
２７０ 音声制御部
２７１ マイク
２７２ スピーカ
２８０ 入力検知部
２８１ マウス
２８２ キーボード
２９１ 通信制御部
２９２ アンテナ
【特許請求の範囲】
【請求項１】
外部から音声を取得する音声取得手段と、
前記音声取得手段により取得された音声に関する音声情報に基づいて対象者を特定する対象者特定手段と、
少なくとも１個以上のセンサから、計測値を取得する計測値取得手段と、
前記計測値取得手段により取得された前記計測値に基づいて、該計測値とは異なる指標値である推論情報を作成する推論情報作成手段と、
前記対象者特定手段により特定された対象者を識別するための対象者識別情報と、前記推論情報作成手段により作成された前記推論情報とを含む対象者情報を作成する対象者情報作成手段とを備えることを特徴とする対象者特定装置。
【請求項２】
前記音声取得手段は、向けられた方向からの音声のみを集音する指向性マイクであり、
前記対象者特定手段は、前記指向性マイクにおいて集音された音声を分析して、該音声を発した対象者を特定することを特徴とする請求項１に記載の対象者特定装置。
【請求項３】
前記音声取得手段は、外部から音声を集音可能なマイクを複数備えたマイクアレイであり、
前記対象者特定手段は、前記マイクアレイにおいて集音された音声を分析して、該音声を発した対象者を特定することを特徴とする請求項１に記載の対象者特定装置。
【請求項４】
対象者とその存在位置とを対応付けた対象者特定テーブルを備え、
前記対象者特定手段は、前記マイクアレイにおいて集音された音声の音源の方向及び距離を分析して、該音声を発した対象者の存在位置を特定し、前記対象者特定テーブルから該存在位置に対応する対象者を特定することを特徴とする請求項３に記載の対象者特定装置。
【請求項５】
前記音声取得手段は、外部から音声を集音可能な複数のマイクであり、
前記対象者特定手段は、対象者が発した音声が入力された前記マイクに基づいて、該音声を発した対象者を特定することを特徴とする請求項１に記載の対象者特定装置。
【請求項６】
対象者と前記マイクとを対応付けた第２の対象者特定テーブルを備え、
前記対象者特定手段は、対象者が発した音声が入力された前記マイクを特定して、前記第２の対象者特定テーブルから該マイクに対応する対象者を特定することを特徴とする請求項５に記載の対象者特定装置。
【請求項７】
利用者自身が操作して対象者の特定を指示するための意思伝達手段を備え、
前記対象者特定手段は、前記意思伝達手段から対象者の特定を指示された場合、前記音声取得手段により取得された音声に関する音声情報に基づいて対象者を特定することを特徴とする請求項１乃至６のいずれかに記載の対象者特定装置。
【請求項８】
前記対象者特定手段は、前記音声取得手段が複数の音声を取得した場合、該複数の音声のうちで最大音量又は最大音圧のものに基づいて対象者を特定することを特徴とする請求項１乃至７のいずれかに記載の対象者特定装置。
【請求項９】
請求項１乃至８のいずれかに記載の対象者特定装置と、
前記対象者情報作成手段により作成された複数の前記対象者情報を記憶する対象者情報記憶手段と、
前記対象者情報記憶手段に記憶された複数の前記対象者情報に基づいて、対象者により行われる催事の動向を分析する催事動向分析手段とを備えることを特徴とする催事動向分析装置。
【請求項１０】
外部から音声を取得して対象者を特定する音声取得装置と、利用者に関する推論を実行して対象者情報を作成する複数の対象者情報作成装置と、対象者により行われる催事の動向を分析する催事動向分析装置とが、ネットワークを介して接続された催事動向分析システムであって、
前記音声取得装置は、
外部からの音声の取得を実行する音声取得手段と、
前記音声取得手段により取得された音声に関する音声情報に基づいて、対象者を特定する対象者特定手段と、
前記対象者特定手段により特定された対象者を識別するための対象者識別情報を、前記推論情報作成手段に送信する対象者識別情報送信手段とを備え、
前記対象者情報作成装置は、
前記対象者識別情報送信手段により送信された対象者識別情報を受信する対象者識別情報受信手段と、
少なくとも１個以上のセンサから、計測値を取得する計測値取得手段と、
前記計測値取得手段により取得された前記計測値に基づいて、該計測値とは異なる指標値である推論情報を作成する推論情報作成手段と、
前記対象者識別情報受信手段により受信された前記対象者識別情報と、前記推論情報作成手段により作成された前記推論情報とを含む対象者情報を作成する対象者情報作成手段と、
前記対象者情報作成手段により作成された前記対象者情報を前記催事動向分析装置に送信する対象者情報送信手段とを備え、
前記催事動向分析装置は、
前記対象者情報送信手段により送信された前記対象者情報を受信する対象者情報受信手段と、
前記対象者情報受信手段により受信された前記対象者情報を記憶する対象者情報記憶手段と、
前記対象者情報記憶手段に記憶された複数の前記対象者情報に基づいて、対象者により行われる催事の動向を分析する催事動向分析手段とを備えることを特徴とする催事動向分析システム。
【請求項１】
外部から音声を取得する音声取得手段と、
前記音声取得手段により取得された音声に関する音声情報に基づいて対象者を特定する対象者特定手段と、
少なくとも１個以上のセンサから、計測値を取得する計測値取得手段と、
前記計測値取得手段により取得された前記計測値に基づいて、該計測値とは異なる指標値である推論情報を作成する推論情報作成手段と、
前記対象者特定手段により特定された対象者を識別するための対象者識別情報と、前記推論情報作成手段により作成された前記推論情報とを含む対象者情報を作成する対象者情報作成手段とを備えることを特徴とする対象者特定装置。
【請求項２】
前記音声取得手段は、向けられた方向からの音声のみを集音する指向性マイクであり、
前記対象者特定手段は、前記指向性マイクにおいて集音された音声を分析して、該音声を発した対象者を特定することを特徴とする請求項１に記載の対象者特定装置。
【請求項３】
前記音声取得手段は、外部から音声を集音可能なマイクを複数備えたマイクアレイであり、
前記対象者特定手段は、前記マイクアレイにおいて集音された音声を分析して、該音声を発した対象者を特定することを特徴とする請求項１に記載の対象者特定装置。
【請求項４】
対象者とその存在位置とを対応付けた対象者特定テーブルを備え、
前記対象者特定手段は、前記マイクアレイにおいて集音された音声の音源の方向及び距離を分析して、該音声を発した対象者の存在位置を特定し、前記対象者特定テーブルから該存在位置に対応する対象者を特定することを特徴とする請求項３に記載の対象者特定装置。
【請求項５】
前記音声取得手段は、外部から音声を集音可能な複数のマイクであり、
前記対象者特定手段は、対象者が発した音声が入力された前記マイクに基づいて、該音声を発した対象者を特定することを特徴とする請求項１に記載の対象者特定装置。
【請求項６】
対象者と前記マイクとを対応付けた第２の対象者特定テーブルを備え、
前記対象者特定手段は、対象者が発した音声が入力された前記マイクを特定して、前記第２の対象者特定テーブルから該マイクに対応する対象者を特定することを特徴とする請求項５に記載の対象者特定装置。
【請求項７】
利用者自身が操作して対象者の特定を指示するための意思伝達手段を備え、
前記対象者特定手段は、前記意思伝達手段から対象者の特定を指示された場合、前記音声取得手段により取得された音声に関する音声情報に基づいて対象者を特定することを特徴とする請求項１乃至６のいずれかに記載の対象者特定装置。
【請求項８】
前記対象者特定手段は、前記音声取得手段が複数の音声を取得した場合、該複数の音声のうちで最大音量又は最大音圧のものに基づいて対象者を特定することを特徴とする請求項１乃至７のいずれかに記載の対象者特定装置。
【請求項９】
請求項１乃至８のいずれかに記載の対象者特定装置と、
前記対象者情報作成手段により作成された複数の前記対象者情報を記憶する対象者情報記憶手段と、
前記対象者情報記憶手段に記憶された複数の前記対象者情報に基づいて、対象者により行われる催事の動向を分析する催事動向分析手段とを備えることを特徴とする催事動向分析装置。
【請求項１０】
外部から音声を取得して対象者を特定する音声取得装置と、利用者に関する推論を実行して対象者情報を作成する複数の対象者情報作成装置と、対象者により行われる催事の動向を分析する催事動向分析装置とが、ネットワークを介して接続された催事動向分析システムであって、
前記音声取得装置は、
外部からの音声の取得を実行する音声取得手段と、
前記音声取得手段により取得された音声に関する音声情報に基づいて、対象者を特定する対象者特定手段と、
前記対象者特定手段により特定された対象者を識別するための対象者識別情報を、前記推論情報作成手段に送信する対象者識別情報送信手段とを備え、
前記対象者情報作成装置は、
前記対象者識別情報送信手段により送信された対象者識別情報を受信する対象者識別情報受信手段と、
少なくとも１個以上のセンサから、計測値を取得する計測値取得手段と、
前記計測値取得手段により取得された前記計測値に基づいて、該計測値とは異なる指標値である推論情報を作成する推論情報作成手段と、
前記対象者識別情報受信手段により受信された前記対象者識別情報と、前記推論情報作成手段により作成された前記推論情報とを含む対象者情報を作成する対象者情報作成手段と、
前記対象者情報作成手段により作成された前記対象者情報を前記催事動向分析装置に送信する対象者情報送信手段とを備え、
前記催事動向分析装置は、
前記対象者情報送信手段により送信された前記対象者情報を受信する対象者情報受信手段と、
前記対象者情報受信手段により受信された前記対象者情報を記憶する対象者情報記憶手段と、
前記対象者情報記憶手段に記憶された複数の前記対象者情報に基づいて、対象者により行われる催事の動向を分析する催事動向分析手段とを備えることを特徴とする催事動向分析システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【公開番号】特開２００６−３４５１（Ｐ２００６−３４５１Ａ）
【公開日】平成１８年１月５日（２００６．１．５）
【国際特許分類】
【出願番号】特願２００４−１７７３８０（Ｐ２００４−１７７３８０）
【出願日】平成１６年６月１５日（２００４．６．１５）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
【公開日】平成１８年１月５日（２００６．１．５）
【国際特許分類】
【出願日】平成１６年６月１５日（２００４．６．１５）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【Ｆターム（参考）】
[ Back to top ]