生体認識を用いたレビュー管理システム及び管理方法
【課題】 製品・サービス・創造的作業・又は事物の参照にバイオメトリクスを捕捉して使用するためのシステム及び方法を提供する。
【解決手段】 ユーザが特定の製品・サービス・創造的作業・又は事物を認識している間にバイオメトリック情報を捕捉する。例えば、映画ファンが映画を見ている間に、本システムが観客の中の一人又はそれ以上の人の顔面の表情、声の表情、及び／又は目の表情（例えば虹彩情報）を捕捉して認識し、映画の内容に対する観客の反応を判定する。本システムは、バイオメトリック情報及び／又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として保存したり、製品を評価する際に前記製品のその他の潜在的ユーザが情報を参照できるようにする。
【解決手段】 ユーザが特定の製品・サービス・創造的作業・又は事物を認識している間にバイオメトリック情報を捕捉する。例えば、映画ファンが映画を見ている間に、本システムが観客の中の一人又はそれ以上の人の顔面の表情、声の表情、及び／又は目の表情（例えば虹彩情報）を捕捉して認識し、映画の内容に対する観客の反応を判定する。本システムは、バイオメトリック情報及び／又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として保存したり、製品を評価する際に前記製品のその他の潜在的ユーザが情報を参照できるようにする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生体認識を用いたレビュー管理システム及び管理方法に係り、さらに詳しくは、製品・サービス・創造的作業又は事物の参照に、バイオメトリクス・データを収集して使用するシステム並びに方法に関する。
【背景技術】
【０００２】
ロジャー・エバート等の映画評論家が提供する評論や、ザ ニューヨーク タイムズ（登録商標）等の新聞で公表される評論、「amazon.com」等のウェブ・サイトに掲載される評価、及び／又はニールセン・メディア・リサーチ社（登録商標）によって行なわれる調査から作製された評価等、消費者向け評論に基づいて、消費者はビデオ、演劇、映画、テレビ番組を選択することが多い。
【０００３】
例えば、映画評論家（テレビ又は新聞媒体を通じて）は個人的意見だけを述べ、この意見は個人的な偏見に満ちていることが多い。ある特定の評論家がホラー映画を好きでない場合、その特定の評論家はホラー映画に対して良い評価を付けないことが多い。同様に、ある特定の評論家がアクション映画を好む場合又は特定の映画スターに魅力を感じている場合には、その評論家は彼又は彼女のお気に入りの映画スターが出るアクション映画やショーに高い評価を付ける可能性が高い。
【０００４】
【特許文献１】特開平６ー６７６０１号公報
【非特許文献１】Y. Ariki et al.、「サブスペース法による顔と話者の認識の統合 (Integration of Face and Speaker Recognition by Subspace Method)」、International Conference on Pattern Recognition, pp. 456-460, 1996
【非特許文献２】Rosalind W. Picard 教授、書籍「Affective Computing」中の「顔と声の組み合わせ」, pp. 184-185、１９９７年ＭＩＴプレス発行
【非特許文献３】Lawrence S. Chen et al.、「多モードの人間の感情／表現の認識 (Multimodal Human Emotion/Expression Recognition)」3rd International Conference on Face and Gesture Recognition, pp. 366-371, 1998
【非特許文献４】W. A. Fellenz et al.、「ニューラル・ネットワーク、ファジー論理、ＡＳＳＥＳＳシステムを用いた顔面とスピーチの感情認識に関して (On emotion recognition of faces and of speeches using neural networks, fuzzy logic and the ASSESS system)」International Joint Conference on Neural Networks, 2000
【非特許文献５】Uyanage C． De Silva and Pel Chi Ng, 「バイモーダル感情認識 (Bimodal Emotion Recognition) 4th International Conference on Automatic Face and Gesture Recognition, 2000
【発明の開示】
【発明が解決しようとする課題】
【０００５】
大半の映画ファンは各々の映画に意見や評価を発表しないのが普通である。つまり、限定数の意見だけしか利用できないのが普通である。更に、ウェブ・ジャンキー（すなわち何にでも意見を発表したがる偏執的な人）や極端主義者（すなわち好むか好まざるかいずれかで強い意見を持っている人）がこのようなウェブ・サイトに意見を掲示することが想定される傾向にある。したがって、この場合、消費者は大衆の意見を決定するに足る充分な掲示を得られないか、又は掲示された意見が正確なものとして信用できないかのいずれかとなる。
【０００６】
ニールセン・メディア・リサーチ社は、ニールセン調査対象が視聴したテレビ・チャンネルに基づいて自動的に視聴情報を収集する。ニールセンの調査対象は比較的多く（５，０００世帯で１１，０００視聴者程度）、様々な民族と地域にわたっているが、評価は定性的ではない。ニールセンのシステムはセットされたテレビル受像機のチャンネルだけに依存しており、視聴者が本当に番組を視聴又は楽しんでいるかを示すものではない。つまり、これらの評価は定性的尺度を提供するものではないので、これらの評価は特定番組に対する一般大衆の意見の正確な評価を提供するものではない。
【０００７】
したがって、製品・サービス・創造的作業又は事物についての更に正確で定性的なフィードバックを提供し、望ましくは上記の欠点を伴わないシステム及び方法が必要とされている。
【課題を解決するための手段】
【０００８】
本発明の代表的手段の一例を示せば次の通りである。
本発明は、ある人がある製品を認識している間に前記ある人のバイオメトリック・データ（生体情報あるいは生体認識情報）を、捕捉するように構成されたバイオメトリック捕捉装置と、前記バイオメトリック・データに基づいた情報と前記製品に関する情報とを格納するための装置とを含むことを特徴とする。
【０００９】
このバイオメトリック・データは、指紋や虹彩、あるいは声、顔などの身体的特徴によって本人確認を行なうための情報である。
本発明の実施例は、ユーザが製品・サービス・創造的作業又は事物を感知、認識している（perceiving）間に特定のバイオメトリック情報を収集するシステムを含む。
【００１０】
例えば、映画ファンが映画を鑑賞している間に、システムが観衆の一人又はそれ以上の人の顔の表情、声の表現及び／又は目の表情（例えば虹彩情報）を捉えて認識し、映画の内容に対する観衆の反応を決定することができる。これ以外に、本システムを使用して大衆の代弁者例えば政治家に対する聴衆の反応を評価することもできる。
【００１１】
本システムは、民生用製品又は映画製作の実質的投資を始める前のストーリーボードの評価に有用である。バイオメトリック表現（笑う、泣く、等）は一般に普遍的であることから、本システムは一般に言語に左右されず地球規模で使用される製品や用途に容易に適用できる。
【００１２】
本システムは、バイオメトリック情報を解釈して、人間の感情及び／又は感情的レベル（度合又は確率）を、フィードバック又は製品・サービス・創造的作業又は事物に対する反応として決定することができる。本システムは、将来の使用のためフィードバック・データベースにフィードバックを保存し、バイオメトリック情報及び／又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として、その他の潜在的ユーザ（例えば消費者、観衆、理解者等）へ提供することができる。このようにすると、その他の潜在的ユーザはより正確に大衆の意見を評価することができる。循環的な方法としては、フィードバックに基づいて新規ユーザが特定の製品・サービス・創造的作業又は事物を選択し、特定の製品・サービス・創造的作業又は事物に対するその新規ユーザの反応を捉えてフィードバック・データベースへ追加することができる。
【００１３】
大抵の人には容易に理解されるように、一般に笑い声のない笑顔は幸福として解釈しうる。笑い声と同時の笑顔は、ある人が何か特に面白いものを見つけたのだと解釈しうる。笑い声と涙を同時に伴う笑顔は、ある人が何か極めておかしいものを見つけた場合でどちらかというとヒステリックに笑っていると解釈しうる。さらに、容易に理解されるように、笑い声の量、笑顔の大きさと持続時間、涙の量を用いて、ある人が製品・サービス・創造的作業又は事物をどのくらい面白いと思っているか判定することができる。
【００１４】
同様に、これも容易に理解されるように、泣声のない涙は、悲哀又は疲労を示唆する。泣声のある涙は悲哀を示唆する。幸福と同様の方法で、流涙の量及び／又は持続、叫び声の大きさ及び／又は持続、等はある人の悲哀のレベルを決定するために使用できる。他方で、顔の表情の変化のない泣声はある人が悲しい真似をしているだけであると推測できる。
【００１５】
さらにいくつかの例を続けると、急激に変化する顔の表情及び／又は音声の鋭い強調、たとえば悲鳴は驚きを示唆させる。しかし、人によっては驚くような事態に音も立てずに反応したり、人によっては驚くような事態が進行していてもしばらく反応しないこともあることは理解されよう。虹彩バイオメトリクスは、ショックと驚きの判定を支援できる。
【００１６】
一般に、顔の表情、声の表現、目の表情を感情及び／又は感情レベルに変換するなんらかのアルゴリズムを用いて本発明の実施例を実現することができる。たとえば、隠れマルコフ・モデル（Hidden Markov Models）、ニューラル・ネットワーク、又はファジー論理を使用できる。本システムは一つのバイオメトリックだけを取得してシステム全体のコストを削減する、又は多数のバイオメトリクスを取得して人間の感情及び感情レベルをより正確に決定することができる。
【００１７】
さらに、本システム及び方法は、映画鑑賞者の意見を参照して説明するが、本システムならびに方法がたとえば製品・サービス・創造的作業・又は事物等あらゆるものに利用可能であることは当業者には理解されよう。
【００１８】
本発明の実施例は、以下を提供することができる：
・観衆のフィードバックを取得する自動メカニズム
・感情認識のため複数のバイオメトリクスを組み合わせる感情反応集積装置
・ユーザが製品評価を決定するのを支援するメトリック
・マーケティング・データ回収の効率的なメカニズム
・現在の評価メカニズムより正確なメカニズム
本発明は、製品・サービス・創造的作業・又は事物を参照するバイオメトリック情報を捕捉使用するためのシステムを提供する。本システムは、製品についての情報とある人が当該製品を認識している間に当該人のバイオメトリック・データを捕捉するように構成されたバイオメトリック捕捉装置、及び当該バイオメトリック・データに基づく情報と当該製品についての情報を格納するための装置とを含む。
【００１９】
当該製品はビデオ・クリップでありうる。製品情報はビデオ・インデックス又は製品それ自体でありうる。バイオメトリック・データは、一次バイオメトリック・データ又は二次バイオメトリック・データを含む。バイオメトリック・データは、顔の表情、声の表現、虹彩情報、身ぶり言語（ボディランゲージ）、発汗レベル、心拍情報、無関係な会話、又は関連する会話を含む。バイオメトリック捕捉装置は、マイクロホン、カメラ、サーモメータ、心拍モニター、ＭＲＩ装置、又はこれらの装置の組み合わせであり得る。バイオメトリック捕捉装置は、更に、バイオメトリック表現認識装置も含む。バイオメトリック・データに基づく情報は、一次バイオメトリック情報、二次バイオメトリック情報、又は反応参照メトリック情報である。本システムは、更に、決定メカニズムと、感情としてバイオメトリック・データを解釈するための反応認識装置、バイオメトリック・データに基づいた広告のコストを推定するための広告推定装置、及び／又は別の人がバイオメトリック・データに基づいた情報及び製品についての情報を参照できるようにするための参照装置も含む。
【００２０】
本発明は、更に、バイオメトリック情報を捕捉使用して製品・サービス・創造的作業・又は事物を参照する方法も提供する。本方法は、ある人が製品を認識している際にバイオメトリック情報を捕捉するステップと、バイオメトリック情報に基づく情報及び製品に関する情報を将来の使用のためにデータベースへ保存するステップとを含む。
【発明の効果】
【００２１】
本発明によれば、バイオメトリック・データの組合せで認識した感情表現をレビュー情報に利用することができる。
【００２２】
本発明によれば、バイオメトリック・データを解釈して、人間の感情及び／又は感情的レベル（度合又は確率）を、フィードバック又は製品・サービス・創造的作業又は事物に対する反応として決定することができる。
【００２３】
また、本発明によれば、将来の使用のためフィードバック・データベースにフィードバックを保存し、バイオメトリック情報及び／又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として、その他の潜在的ユーザ（例えば消費者、観衆、理解者等）へ提供することができる。
【発明を実施するための最良の形態】
【００２４】
以下の説明は、当業者が本発明を使用できるようにする目的で提供され、また特定の用途とその必要条件の状況で提供される。実施例に対する各種の変更は当業者には容易に理解されるであろうし、本明細書で規定する一般原理は本発明の精神及び範囲から逸脱することなく他の実施例及び用途にも適用される。したがって本発明は図示した実施例に制限されるべきことを意図していないが、本明細書で開示される原理、特徴、教示に一致するもっとも広い範囲で許容されるべきものである。
【００２５】
本発明の実施例は、ユーザが特定の製品・サービス・創造的作業・又は事物を感知、認識している間にバイオメトリック情報を捕捉するためのシステムを含む。例えば、映画ファンが映画を見ている間に、本システムが観客の中の一人又はそれ以上の人の顔の表情、声の表現及び／又は目の表情（例えば虹彩情報）を捕捉して映画の内容に対する観衆の反応を決定することができる。これ以外に、本システムを使って大衆の代弁者例えば政治家に対する聴衆の反応を評価することができる。本システムは民生用製品又は映画製作の実質的投資を始める前のストーリーボードの評価に有用である。バイオメトリック表現（笑う、泣く、等）は一般に普遍的であることから、本システムは一般に言語に左右されず地球規模で使用される製品や用途に容易に適用できる。
【００２６】
本システムはバイオメトリック情報を解釈して、人間の感情及び／又は感情的レベル（度合又は確率）を、フィードバック又は製品・サービス・創造的作業又は事物に対する反応として決定することができる。本システムは将来の使用のためフィードバック・データベースにフィードバックを保存し、バイオメトリック情報及び／又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として、その他の潜在的ユーザ（例えば消費者、観衆、理解者等）へ提供することができる。このようにすると、その他の潜在的ユーザはより正確に大衆の意見を評価することができる。循環的な方法としては、フィードバックに基づいて新規ユーザが特定の製品・サービス・創造的作業又は事物を選択し、特定の製品・サービス・創造的作業又は事物に対するその新規ユーザの反応を捉えてフィードバック・データベースへ追加することができる。
【００２７】
バイオメトリック表現を感情及び／又は感情レベルへ変換するための幾つかの技術が開発されている。非特許文献１、非特許文献２、非特許文献３、は各々２種類の形態すなわち会話表現と顔面表現が互いに相補的であることを見出している。会話と顔面表現の両方を使用することにより、研究者はいずれかの形態を単独で使用するよりも大きな感情認識率が達成可能であることを示している。研究されている感情の分類は幸福、悲哀、怒り、嫌悪、驚き、恐怖で構成される。
【００２８】
非特許文献４では、顔の画像シーケンスとスピーチとを処理して感情表現を認識するフレームワークを提案している。ここで対象になる６種類の表現は怒り、悲哀、喜び、嫌気、恐れ、驚きで構成されている。
【００２９】
非特許文献５では、統計的手法と隠れマルコフ・モデル（HMM）を用いての感情認識を説明している。この技術は６種類の基本的感情すなわち怒り、嫌悪、恐れ、幸せ、悲しみ、驚きを顔の表現（ビデオ）と感情的スピーチ（オーディオ）の両方から分類しようとするものである。ルール・ベースのシステムを用いてオーディオ及びビデオ情報を組み合わせ感情認識率を向上できることが示されている。
【００３０】
特許文献１では、手の動きから手話を認識し顔面の表情だけから感情とその確率を認識する手話トランスレータを説明している。
【００３１】
多くの人に容易に明らかなように、一般に、笑い声のない微笑みは幸福と解釈することができる。微笑みと同時の笑い声は、ある人が何か特に可笑しなものを見つけたと解釈できる。笑い声と涙を同時に伴う笑顔はある人が何か極めておかしいものを見つけた場合でどちらかというとヒステリックに笑っていると解釈しうる。さらに、容易に理解されるように、笑い声の量、笑顔の大きさと持続時間、涙の量を用いて、ある人が製品・サービス・創造的作業又は事物をどのくらい面白いと思っているか判定することができる。
【００３２】
同様に、これも容易に理解されるように、泣声のない涙は悲哀又は疲労を示唆する。泣声のある涙は悲哀を示唆する。幸福と同様の方法で、流涙の量及び／又は持続、叫び声の大きさ及び／又は持続、等はある人の悲哀のレベルを決定するために使用できる。他方で、顔の表情の変化のない泣声は、ある人が悲しい真似をしているだけであると推測できる。
【００３３】
さらにいくつかの例を続けると、急激に変化する顔の表情及び／又は音声の鋭い強調たとえば悲鳴は驚きを示唆させる。しかし、人によっては驚くような事態に音も立てずに反応したり、人によっては驚くような事態が進行していてもしばらく反応しないこともあることは理解されよう。虹彩バイオメトリクスはショックと驚きの判定を支援できる。
【００３４】
一般に、顔の表情、声の表現、目の表情を感情及び／又は感情レベルに変換するなんらかのアルゴリズムを用いて、本発明の実施例を実現することができる。たとえば、隠れマルコフ・モデル、ニューラル・ネットワーク、又はファジー論理を使用できる。本システムは一つのバイオメトリックだけを取得してシステム全体のコストを削減する、又は多数のバイオメトリクスを取得して人間の感情及び感情レベルをより正確に決定することができる。さらに、本システム及び方法は映画鑑賞者の意見を参照して説明するが、本システムならびに方法がたとえば製品・サービス・創造的作業・又は事物等あらゆるものに利用可能であることは当業者には理解されよう。
【００３５】
利便な言語を設定する便宜上、術語「製品」には、人によって認識され得る全ての製品・サービス・創造的作業又は事物を含む。術語「人」は、消費者、ユーザ、観察者、聴取者、映画ファン、政治アナリスト、又はその他製品の認識者等として機能する何らかの人を含む。術語「一次バイオメトリクス」には、ある製品を認識する人による物理的表現を含む。このような表現には、笑う、泣く、微笑む、聞き取り可能な叫び、単語等を含む。このような表現はまた、ボディランゲージ、人の発生する雑音例えば口笛、舌打ち、歯を噛み合わせる音などを含む。術語「二次バイオメトリクス」には、特定の表現から認識される一般的感情及び／又は感情レベル（システムが分析において正しいかどうかは別として）を含む。このような二次バイオメトリクスには、幸福、悲哀、恐れ、怒り、嫌悪、驚き等を含む。術語「反応参照メトリクス」は、一般に一次及び二次バイオメトリクスを惹起するような製品の説明に相当する。反応参照メトリクスの例としては、コメディの量、ドラマの量、特殊効果の量、ホラーの量、等が含まれる。一次バイオメトリクス、二次バイオメトリクス、反応参照メトリクスの間の相違が幾らか不鮮明であることは理解されるべきである。例えば、笑いは一次又は二次バイオメトリックのいずれかとして主張することが可能である。面白さは二次バイオメトリック又は反応参照メトリックのいずれかとして論じることができる。
【００３６】
本発明の実施例として、以下を提供することができる：
・観衆のフィードバックを取得する自動メカニズム
・感情認識のため複数のバイオメトリクスを組み合わせる感情反応集積装置
・ユーザが製品評価を決定するのを支援するメトリック
・マーケティング・データ回収の効率的なメカニズム
・現在の評価メカニズムより正確なメカニズム
図１は、本発明の実施例による感情反応認識装置１００を示すブロック図である。感情反応認識装置１００は、顔面／虹彩表現認識装置１１０経由で決定メカニズム及び反応解釈装置１１５へ接続してあるカメラ１０５を含む。認識装置１００は更に、音声表現認識装置１２５経由で決定メカニズム及び反応解釈装置１１５へ接続されたマイクロホン１２０を含む。図示したように、カメラ１０５とマイクロホン１２０は、人１３５からバイオメトリック情報を捕捉する。
【００３７】
カメラ１０５は、人１３５から画像情報を捕捉するものであり、デジタル式カメラが便利である。しかし、アナログ式カメラを代用することも可能である。カメラ１０５は、人１３５の頭部だけに焦点を合わせて顔の表情及び／又は目の表情（例えば虹彩情報）を捕捉するが、他の実施例において、カメラ１０５は、人１３５の体に焦点を合わせボディランゲージを捕捉する。当業者には容易に認識されるように、カメラ１０５がボディランゲージを捕捉している場合には、ボディランゲージ認識装置（図示略）をカメラ１０５と決定メカニズム及び反応解釈装置１１５との間に接続できる。
【００３８】
マイクロホン１２０は人１３５から音声表現を捕捉するものであり、デジタル式マイクロホンが望ましい。マイクロホン１２０は、指向性マイクロホンとして各人の発話を個別に捕捉したり、あるいは無指向性マイクロホンとして聴衆全体の発話を捕捉できることが理解されよう。更に、マイクロホン１２０は、狭い周波数帯域だけを捕捉する（例えば、声によって作られる音だけを捕捉しようとする）又は広い周波数帯域を捕捉する（例えば舌打ちや口笛等を含む全ての音を捕捉しようとする）ことができる。
【００３９】
顔面／虹彩表現認識装置１１０は、カメラ１０５経由で捕捉した画像データから顔面及び／又は目の表現を認識するのが望ましく、表現を感情及び／又は感情レベルに翻訳することができる。これ以外に、顔面／虹彩表現認識装置１１０は表現を感情的分類又はグループへ変換することができる。認識装置１１０は、例えばどちらともはっきりしない顔（感情ゼロ又は基準顔貌）、笑っている顔、中程度の笑顔、極端な笑顔、叫んでいる顔、ショックを受けた顔等の表現も認識する。顔面／虹彩表現認識装置１１０は、虹彩の大きさを認識できる。更に、顔面／虹彩表現認識装置１１０は、表現のグラデーションと確率、例えば２０％笑い顔、３５％微笑んでいる顔、及び／又は５０％泣き顔、等、及び／又は複数の表現の組み合わせを認識する。
【００４０】
音声表現認識装置１２５は、マイクロホン１２０経由で捕捉した音声データから音声表現を認識するのが望ましく、音声表現を感情及び／又は感情レベル（又は感情分類又はグループ）に翻訳することができる。音声表現認識装置１２５は笑い、悲鳴、言語表現等を認識する。更に、音声表現認識装置１２５は、表現のグラデーションと確率、例えば２０％笑い声、３５％泣き声等も認識する。音声表現認識装置１２５は、言語表現及び／又は非言語音響表現、例えば舌打ち、口笛、テーブルを叩く音、脚を踏み鳴らす音、歯を噛み合わせる音等を認識可能な（音声表現認識装置１２５と同様の）音響表現認識装置（図示略）で置き換えることが可能である。
【００４１】
カメラ１０５とマイクロホン１２０は、各々バイオメトリック捕捉装置の例である。他のバイオメトリック捕捉装置としては、サーモメータ、心拍モニター、又はＭＲＩ装置が含まれる。顔面／虹彩表現認識装置１１０、ボディランゲージ認識装置（図示略）及び音声表現認識装置１２５の各々は「バイオメトリック表現認識装置」の例である。カメラ１０５と顔面／虹彩表現認識装置１１０、カメラ１０５とボディランゲージ認識装置（図示略）、マイクロホン１２０と音声表現認識装置１２５は、各々「バイオメトリック認識システム」の例である。
【００４２】
決定メカニズム及び反応解釈装置１１５は、顔面／虹彩表現認識装置１１０と音声表現認識装置１２５からの結果を組み合わせて人１３５の完全な一次バイオメトリック表現を判定する。反応解釈装置１１５は、何らかのアルゴリズム例えばルール・ベース、ニューラルネットワーク、ファジー論理、及び／又はその他の感情分析アルゴリズムを使用して、一次バイオメトリック表現から人の感情及び感情レベルを決定する。したがって、解釈装置は、感情（例えば幸福）だけでなくそのレベル例えば２０％幸せで８０％普通等も判定できる。反応解釈装置１１５は、表現と感情に、認識されている製品の情報（例えば映画、映画インデックス、製品識別情報、政治家のスピーチ情報等）を関連付けることが可能である。このような統合により、他の人が予想される感情に製品を関連付けることができるようになる
図１は、顔面と音声のバイオメトリック情報に限定されているが、他のバイオメトリクスやバイオメトリック情報を捕捉して感情及び／又は感情レベルを判定できることは当業者には理解されよう。例えば、感情反応認識装置１００は、手のジェスチャー、心拍、発汗、ボディランゲージ、無関係なおしゃべりの量等を捕捉できる。決定メカニズム及び反応解釈装置１１５は、変換アルゴリズムを用いて一次バイオメトリック表現（微笑み、声を出した笑い、涙等）を笑い、恐れ、驚き等の感情及び／又はこれに対応するレベルに変換できる。
【００４３】
図２は、本発明の実施例による感情反応認識装置及びストレージ・システム２００を示すブロック図である。感情反応認識装置及びストレージ・システム２００はほとんどどこにでも、例えば家庭、劇場、航空機、及び／又は車両内に配置することができる。システム２００は、移動体装置特に携帯電話に組み込むことが可能であり、携帯電話はマイクロホンとカメラを両方とも備える傾向にある。このシステム２００は、家庭用のテレビ又はセットトップボックスに組み込んだり、又は劇場用として劇場の客席の背もたれに組み込むことができる。システム２００は感情反応認識装置２０２を含み、これは顔面／虹彩表現認識装置１１０経由で決定メカニズム及び反応解釈装置２０５へ接続されたカメラ１０５と、音声表現認識装置１２５経由で決定メカニズム及び反応解釈装置２０５へ接続されたマイクロホン１２０とを含む。感情反応認識装置２０２は評価管理サーバ２１５へ接続される。感情反応認識装置２０２は、図１を参照して前述したように、異なったバイオメトリック捕捉装置及び／又は装置の組み合わせで構成できることが当業者には理解されよう。
【００４４】
カメラ１０５、顔面／虹彩表現認識装置１１０、マイクロホン１２０、及び音声表現認識装置１２５の各々は、図１を参照して説明したコンポーネントと同様のものであり、同様に機能する。
【００４５】
決定メカニズム及び反応解釈装置２０５は、図１を参照して上記で説明した決定メカニズム及び反応解釈装置１１５と同様のものであり、さらに、以下の追加、変更、及び／又は説明を含む。反応解釈装置２０５は、表現、感情、及び／又は感情レベルを認識されている製品についての情報と関連付ける。図２の実施例において、図示した製品は映画／番組インデックス２１０を含む。反応解釈装置２０５は、表情、感情、及び／又は感情レベルを映画の内容と関連付け、動的アップデート情報２２０として図示した情報を将来の使用のため評価管理サーバ２１５へ送信する。
【００４６】
評価管理サーバ２１５は、動的アップデート情報２２０を用いて実質的内容に関連する感情傾向の統計情報を計算することができる。評価管理サーバ２１５は統計情報をリレーショナル・データベース又はその他の構造体に保持することができ、また興味のある人（例えばユーザ、消費者、観客、視聴者等）へ情報２２０を提供してその製品がどれほど感動的か、又製品の認知によってどのような種類の感情的反応が予想されるかを示すことができる。評価管理サーバ２１５は、感情及び／又は感情レベルを検証してその製品についての反応評価メトリクスを決定できる。例えば、ある映画がコメディだとすると、どの位映画が面白かったかを確定する反応評価メトリックは惹起された面白いと言う感情の量に基づいたものとなり、これは表現された笑い及び／又は微笑みの量に基づくことができる。したがって、評価管理サーバ２１５はコメディとしての製品の成功度を測定し保存できる。評価管理サーバ２１５の代わりとして、例えば決定メカニズム及び反応解釈装置２０５等の他のコンポーネントが反応評価メトリクスを決定できることは当業者には理解されよう。
【００４７】
本実施例において、サーバ２１５は新しい観客が動的アップデート情報２２０に基づいて映画を選択できるようにするものであり、情報は多くの異なる方法で提示することが可能である。例えば、サーバ２１５は「平均より５．５倍笑い声が多い」又は「平均より１５．３倍笑い声が多い、泣き声無し」のように情報を表現できる。表現は、一次バイオメトリクス、二次バイオメトリクス、反応評価メトリクス、又はこれらの組み合わせに関するものである。意図しているか意図していないかに係わらず、新しい観客が別の評価者になり得ることは理解されよう。
【００４８】
新しい種類の報奨（例えばアカデミー賞やグラミー賞）は、ある製品（例えば映画）の熱烈な感情（例えば統計情報）に基づいて決定されることは理解されよう。言い換えれば、報奨は感情を揺さぶる意図に関連してその製品がどの程度成功したかに基づいている。最高のコメディは、観客が表現した最大数の笑いに基づくことができる。
【００４９】
図３は、本発明の実施例による感情反応認識装置、ストレージ、及び評価ネットワーク・システム３００を示すブロック図である。
【００５０】
ネットワーク・システム３００は、第１のコンテンツ提供兼バイオメトリック捕捉システム３０２と第２のコンテンツ提供兼バイオメトリック捕捉システム３０４を含み、各々ネットワーク３２０（例えばＬＡＮ、ＷＡＮ、インターネット、無線等）経由で評価管理サーバ３２５へ接続されている。評価管理サーバ３２５は更に、例えばネットワーク３２０経由で広告費用推測装置３３０や広告会社３３５へ接続されている。評価管理サーバ３２５は、１つまたは多数のユーザ・システム、例えば第１のコンテンツ提供兼バイオメトリック捕捉システム３０２と第２のコンテンツ提供兼バイオメトリック捕捉システム３０４に接続できることが理解されよう。
【００５１】
第１のコンテンツ提供兼バイオメトリック捕捉システム３０２は、モニタ３１０（例えばテレビ、ＤＶＤプレーヤ等）へ接続された評価付きコンテンツ・セレクタ３１５を含み、これは感情反応認識装置３０５へ接続される。
【００５２】
評価付きコンテンツ・セレクタ３１５は、製品情報とこれに対応する感情情報（一次バイオメトリクスとして、二次バイオメトリクスとして、又は反応評価メトリクスとして表現されたかに係わらない）を評価管理サーバ３２５から取得する。評価付きコンテンツ・セレクタ３１５は、利用可能なオプションを第１の人３５５へ、例えばリスト形式で、メニュー項目のセットとして、階層化テーブルとして、又は他の何らかの方法（望ましくは変性された方法）で提示する。評価付きコンテンツ・セレクタ３１５は、従来のリモートコントロール（図示略）、キーボード、タッチスクリーン、又はその他の入力装置とこれに対応するソフトウェアを含む。評価付きコンテンツ・セレクタ３１５は、コンテンツ・プロバイダ例えばオンデマンド映画サービス等を含む。第１の人３５５は評価付きコンテンツ・セレクタ３１５を使って見たい製品例えば鑑賞したい映画を選択できる。ネットワーク・システム３００は、評価付きコンテンツ・セレクタ３１５を含むように説明しているが、どのようなデータ評価機構を使用することも可能なことは当業者には理解されよう。どのユーザも、データ評価機構により、保存されている製品と感情情報（例えば認識、購入、レンタル、鑑賞、制御、聴取等しようとする製品を選択するため）を参照できる。
【００５３】
モニタ３１０は、選択された製品例えば映画を提示し、これはテレビ又は映画画面とすることができる。モニタは、製品が音楽の場合にはオーディオ型のシステムに置き換える又は拡張することができ、製品が仮想現実イベントの場合には触覚フィードによって置き換える又は拡張することができることは、当業者には理解されよう。モニタ３１０は、製品を提示するためのメカニズム（電子的又はライブかによらない）又はメカニズムの組み合わせを提示する。
【００５４】
感情反応認識装置３０５は、第１の人３５５の表現、感情及び／又は感情レベルを捕捉する。感情反応認識装置３０５は、図２を参照して説明した感情反応認識装置２０２のコンポーネントを含む。
【００５５】
第２のコンテンツ提供兼バイオメトリック捕捉システム３０４は、第１のコンテンツ提供兼バイオメトリック捕捉システム３０２と同様に、第２の人３６０に製品及び感情情報を提供するため、又感情と感情レベルの情報を収集して評価管理サーバ３２５に例えば保持されているデータベース内に格納するため、評価付きコンテンツ・セレクタ３５０、モニタ３４５、感情反応認識装置３４０を含む。これらのコンポーネントは第１のコンテンツ提供兼バイオメトリック捕捉システム３０２のコンポーネントと同様に機能し、構成／プログラムされる。フィードバック・データベースはネットワーク・システム３００のどこに保持されても構わないことは当業者には理解されよう。
【００５６】
評価管理サーバ３２５は、ユーザに正確な評価情報を提供する新規サービスを提供できる。評価情報は自動的に回収され、したがってオーバヘッドや人的資源を削減できる。評価管理サーバ３２５はフィードバック・データベース（図示略）の情報を生成し又は更新する。
【００５７】
評価管理サーバ３２５はフィードバック情報を広告費用推測装置３３０へ送信できる。図面では「評価点数」として図示してあるが、情報はどのような種類又は形態でも構わないことは当業者には理解されよう。広告費用推測装置３３０は、広告会社３３５によるテレビのコマーシャルを含め広告にかかる費用見積りを生成できる。特定の製品（例えば番組）に対する反応が良いほど、製品（例えば番組）の提示中にコマーシャルにかかる見積りは高くなる。
【００５８】
評価管理サーバ３２５は、フィードバック・データベース（図示略）を維持するのが望ましい。評価は「５つ星」評価スケールを使って点数付けする。しかし、このような点数評価スケールは、非統計的で不十分なデータ、少数の認識者に基づく個人的偏見、中程度に良い製品と中程度に悪い製品の間の差別がうまくできない、個人的聴衆の好みについての定量的情報がないという欠点を抱えている。評価管理サーバ３２５はもっと広い範囲の反応についてパーセンテージによる点数評価を保持するのが望ましい。
【００５９】
反応評価メトリクス(metrics)の幾つかと二次バイオメトリクスに対する関連性について、以下の表１に図示する。他のメトリクスも考慮できる。
【００６０】
表１：二次バイオメトリクスに対する反応評価メトリクス
【００６１】
表１の二つの欄の間の関連性は、手動でトレーニングするかファジー論理を用いて自動生成するかのいずれかで反応評価マトリクスの二次バイオメトリクスへマッピングできる。例えば、多重ファジー連想記憶マトリクス（ＭＦＡＭＭ）を形成するファジー規則を書いて反応評価メンバー・スコアに対するファジー・ドメイン・メンバーシップの度合をマッピングできる。ファジー・ドメインは各二次バイオメトリック・パラメータについてのスケール又は次元である。ＭＦＡＭＭは「ファジー・ドメイン」と反応評価出力の全ての組み合わせの間にマッピングが存在することを保証する。
【００６２】
反応評価データベース（又はフィードバック・データベース）は以下の表２に示したのと同様の方法で構成できる。この表２は、放送される全ての番組、映画、スポーツのリストを含む。各々の番組に対応して、「面白い」「スリリング」等の感情的評価メトリックが存在する。各メトリックに対応して評価点数（パーセンテージ又はその他のスケールとして）が存在する。このデータベースは、オンデマンドでユーザが製品評価のため例えば内容評価のために問い合わせることができる。フィードバック・データベースは、ある製品をユーザが経験し終えるとユーザの反応で自動的に更新される。
【００６３】
表２：反応評価データベースの例
【００６４】
多くの人は、もし彼らの感情的反応が記録されるとしても、画像の類似性や識別情報が保持されていない限り、ほとんど心配しないだろう。
【００６５】
各ユーザについて収集される情報はパラメータであるから、この情報を利用して窃盗又はその他の詐欺を働くことはできない。
【００６６】
図４は、本発明の第２の実施例による感情反応認識装置、ストレージ、及び評価ネットワーク・システム４００を示すブロック図である。映画提供者の状況で図示してあるが、本発明の実施例は異なる用途に使用可能であることが当業者には理解されよう。ネットワーク・システム４００は、ネットワーク４６５経由で評価管理サーバ４３０へ接続された第１のコンテンツ提供兼バイオメトリック捕捉システム４０２と、ネットワーク４６５経由で評価管理サーバ４３０へ接続された第２のコンテンツ提供兼バイオメトリック捕捉システム４０４とを含む。コンテンツ提供サーバ４６０は、ネットワーク４６５経由で第１のコンテンツ提供兼バイオメトリック捕捉システム４０２と、第２のコンテンツ提供兼バイオメトリック捕捉システム４０４へ接続される。
【００６７】
第１のコンテンツ提供兼バイオメトリック捕捉システム４０２は、評価管理クライアント４１５へ接続されたコンテンツ・セレクタ４１０と、評価管理クライアント４１５へ接続された感情反応認識装置４２０と、評価管理クライアント４１５へ接続されたモニタ４２５とを含む。評価管理クライアント４１５は、評価管理サーバ４３０とコンテンツ提供サーバ４６０へ接続される。感情反応認識装置４２０、コンテンツ・セレクタ４１０、モニタ４２５は各々意図しない評価者として図４で分類されている第１の人４０５に対するＩ／Ｏとして機能する。
【００６８】
本実施例において、第２のコンテンツ提供兼バイオメトリック捕捉システム４０４は第１のコンテンツ提供兼バイオメトリック捕捉システム４０２と同じ方法で互いに接続された同一のコンポーネントを含む。つまり、第２のコンテンツ提供兼バイオメトリック捕捉システム４０４は、評価管理クライアント４４０へ接続されたコンテンツ・セレクタ４３５と、評価管理クライアント４４０へ接続された感情反応認識装置４４５と、評価管理クライアント４４０へ接続されたモニタ４５０とを含む。評価管理クライアント４４０は評価管理サーバ４３０及びコンテンツ提供サーバ４６０へ接続される。感情反応認識装置４４５、コンテンツ・セレクタ４３５、モニタ４５０の各々は、図４ではその他の観察者として分類されている第２の人４５５へのＩ／Ｏとして機能する。
【００６９】
図４において、矢印で（又イベントの番号で）示してあるように、本実施例の方法は評価管理クライアント４１５がコンテンツ提供サーバ４６０によって提供されるコンテンツ（又は製品）のリストを要求し取得することから開始される。評価管理クライアント４１５は、提供されるコンテンツの各々について何らかの評価情報（すなわち一次バイオメトリクス、二次バイオメトリクス、又は反応評価メトリクスのいずれかとして提供されるフィードバック情報）を要求し取得する。評価情報を取得した後、評価管理クライアント４１５は提供されるコンテンツのリストとこれに対応する利用可能な評価情報をモニタ４２５へ提供し、第１の人４０５が情報を熟読してから、認識するコンテンツを選択できるようにする。第１の人４０５は、コンテンツ・セレクタ４１０のインタフェースを使って認識例えば鑑賞しようとするコンテンツを選択する。選択情報は評価管理クライアント４１５へ送信され、クライアントは、第１の人４０５へ選択されたコンテンツを提供するように、コンテンツ提供サーバ４６０へ命令を送る。コンテンツ提供サーバ４６０はモニタ４２５へのコンテンツを直接モニタ４２５へ提供できる。本発明の精神と範囲から逸脱することなくこれに代わる方法も可能であることは当業者には理解されよう。例えば、ユーザはコンテンツ提供サーバ４６０から直接コンテンツを要求できる。更に、コンテンツ提供サーバ４６０は評価管理クライアント４１５経由でモニタ４２５へコンテンツを送信することができる。
【００７０】
ユーザがコンテンツを認識している間に、感情反応認識装置４２０は第１の人４０５をモニタしてバイオメトリック表現を捕捉できる。感情反応認識装置４２０は表現を感情及び／又は感情レベルへ変換でき、更にコンテンツ・インデックスに関連させた感情及び／又は感情レベルを評価管理クライアント４１５へ送信できる。評価管理クライアント４１５は、次に、フィードバック情報例えばバイオメトリック表現、感情及び感情レベル、及びコンテンツ・インデックスを評価管理サーバ４３０へ送信し、サーバは同一又は別の人４０５，４５５による将来の使用のために参照情報を保存する。評価管理クライアント４１５は、感情反応認識装置４２０の代わりにコンテンツ・インデックスに対して感情及び／又は感情レベルを統合しても良い。これ以外に、表現、感情及び／又は感情レベルだけを送信しても良く、これは評価管理サーバ４３０ではすでに製品情報又は時間ベースのマッピングが分かっていることによる。言い換えれば、評価管理サーバ４３０は表現、感情及び／又は感情レベルを映画へ簡単にマッピングすることができ、これは評価管理サーバ４３０では時刻と映画の内容（例えばインデックス）の間のマッピングがすでにできていることによる。他の多くのオプションも利用できる。
【００７１】
本実施例において、評価管理サーバ４３０，第１のコンテンツ提供兼バイオメトリック捕捉システム４０２，第２のコンテンツ提供兼バイオメトリック捕捉システム４０４，コンテンツ提供サーバ４６０の各々が個別のコンピュータ上に維持されるものと仮定している。しかし、コンポーネント各々又はコンポーネントの異なる組み合わせ及び／又はシステムを別々のコンピュータに保持し得ることは当業者に理解されよう。例えば、評価管理サーバ４３０とコンテンツ提供サーバ４６０は同一コンピュータ上に配置できる。又、例えば、第１のコンテンツ提供兼バイオメトリック捕捉システム４０２とコンテンツ提供サーバ４６０は同一のコンピュータ上に配置可能である。更に別の例として、感情反応認識装置４２０と評価管理サーバ４３０は同一のコンピュータ上に配置可能である。
【００７２】
図５は、コンピュータ・システム５００の例を示すブロック図である。コンピュータ・システム５００は通信チャネル５２０へ接続されたプロセッサ５０５例えばインテル社製ペンティアム（登録商標）・プロセッサ、又はモトローラ社製ＰｏｗｅｒＰＣ（登録商標）プロセッサ等を含む。コンピュータ・システム５００は更に、各々通信チャネル５２０へ接続される、キーボード又はマウス等の入力装置５１０、ＣＲＴディスプレイ等の出力装置５１５、通信装置５２５、磁気ディスク装置等のデータ記憶装置５３０、ランダム・アクセス・メモリ（ＲＡＭ）等のメモリ５３５を含む。通信インタフェース５３５はインターネットとして共通に参照される広域ネットワーク等のネットワークへ接続される。データ記憶装置５３０とメモリ５３５は異なるユニットとして図示してあるが、データ記憶装置５３０とメモリ５３５は同一ユニットの部分、分散ユニット、仮想メモリ等とすることが可能なことは当業者には理解されよう。
【００７３】
データ記憶装置５３０及び／又はメモリ５３５は、例えばマイクロソフト・ウィンドウズＮＴ（登録商標）又はウィンドウズ９５（登録商標）オペレーティング・システム（ＯＳ）、ＩＢＭ（登録商標） ＯＳ／２オペレーティング・システム、ＭＡＣ（登録商標） ＯＳ又はＵＮＩＸ（登録商標）オペレーティング・システム等のオペレーティング・システム５４０、及び／又はその他のプログラム５４５を格納できる。好適実施例は前述した以外のプラットホームとオペレーティング・システムでも実現され得ることは理解されよう。実施例はＪＡＶＡ（登録商標）、Ｃ、及び／又はＣ＋＋言語又はその他のプログラミング言語をつかって、オブジェクト指向プログラミング手法と併せて、書くことができる。オブジェクト指向プログラミング（ＯＯＰ）は複雑なアプリケーションの開発にますます使用されるようになってきた。
【００７４】
システム５００は、追加の情報例えばネットワーク接続、追加のメモリ、追加プロセッサ、ＬＡＮ、ハードウェアチャネル間で情報を転送するための入出力線、インターネット又はイントラネット等も含むことは当業者には理解されよう。またプログラムとデータは別の方法でシステムにより受信されシステム内に格納し得ることも当業者には理解されよう。例えば、コンピュータで読み取り可能な記憶媒体（ＣＲＳＭ）読取装置５５０、例えば磁気ディスクドライブ装置、ハードディスクドライブ装置、光磁気リーダ、ＣＰＵ等を通信バス５２０に接続しコンピュータで読み取り可能な記憶媒体（ＣＲＳＭ）５５５、例えば磁気ディスク、ハードディスク、光磁気ディスク、ＲＡＭ等を読み取ることができる。したがって、システム５００はＣＲＳＭ読取装置５５０経由でプログラム及び／又はデータを受信する。更に、本明細書において術語「メモリ」は永久又は一時を問わず全てのデータ記憶媒体を包含することを意図していることは理解されよう。
【００７５】
図６は、本発明の実施例によるバイオメトリック・データを捕捉使用して製品を評価しまた消費者の意見データベースを構築する方法６００を示すフローチャートである。方法６００はステップ６０５から開始し、利用可能なコンテンツ／タイトルのリストの要求をコンテンツ提供サーバへ送信しコンテンツ提供サーバからリストを取得する。ステップ６１０では、各々のコンテンツ／タイトルに関連した評価情報（すなわちフィードバック、バイオメトリック又は反応情報）の要求を評価管理サーバへ送信し、評価情報を評価管理サーバから受信する。ステップ６１５では、利用可能なコンテンツ／タイトルのリストとこれに対応する評価情報をユーザへ表示する。ステップ６２０では、ユーザがコンテンツ・セレクタを使用して特定のコンテンツ／タイトルを選択する。コンテンツ・セレクタは何らかの入力捕捉装置例えばキーボード、リモコン、マウス、音声コマンド・インタフェース、タッチスクリーン等を使用できる。ステップ６２５では、選択したコンテンツ／タイトルの要求をコンテンツ提供サーバへ送信する。ステップ６３０では、コンテンツをユーザへ表示しつつ、感情反応認識装置によってユーザの感情及び／又は感情レベルを捕捉する。ステップ６３５では、感情及び／又は感情レベルが例えばコンテンツのタイトルと一緒に評価管理サーバへ送信される。ここで方法６００は終了する。
【００７６】
図７は本発明の第３の実施例による通信及びコンテンツ・サービス・システムを示す。通信及びコンテンツ・サービス・システムは複数の移動体端末７０１と通信及びコンテンツ提供サーバ７１１とを含む。移動体端末７０１とサーバ７１１の間の通信として無線通信を使用する。
【００７７】
移動体端末７０１は、通信機能７０２及びコンテンツ提供機能７０３を有する。通信機能７０２は、携帯電話のような音声と電子メールのようなテキストデータとを使用することにより通信する機能を含む。コンテンツ提供機能７０３は、映画、テレビ番組を表示したりラジオを鳴らす機能を含む。また移動体端末７０１は、更に感情反応認識機能７０４と評価管理クライアント機能７０５も含む。基本的に、感情反応認識機能７０４の機能は感情反応認識装置４２０と同様のコンポーネントを含み同様の方法で動作し、また評価管理クライアント機能７０５は評価管理クライアント４１５と同様のコンポーネントを含み同様の方法で動作する。移動体端末７０１は、プロセッサ、メモリ、及びディスプレイ装置と入力装置等を備え、これらの機能７０２，７０３，７０４，７０５はハードウェア又はソフトウェアで実現される。移動体端末７０１はその他のアプリケーションをメモリに記憶してプロセッサにより実行することができる。
【００７８】
通信及びコンテンツ提供サーバ７１１は、通信管理機能７１２とコンテンツ提供管理機能７１３とを有する。通信管理機能７１２の機能は移動体端末７０１間の通信を管理する。また、通信及びコンテンツ提供サーバ７１１が移動体端末７０１からコンテンツ要求を受信した時、通信管理機能７１２がコンテンツ提供管理機能７１３を実行する。コンテンツ提供管理機能７１３は、評価管理サーバ４３０及びコンテンツ提供サーバ４６０と同様のコンポーネントを含み同様の方法で動作する。通信及びコンテンツ提供サーバ７１１は、プロセッサ、メモリ、及びディスプレイ装置と入力装置等を備え、これらの機能７１２と７１３はハードウェア又はソフトウェアで実現される。
【００７９】
通信及びコンテンツ提供サーバ７１１は、データベース７２０へ接続される。データベース７２０はコンテンツと、各々のコンテンツに対応する各々の感情の評価点数（パーセンテージ又はその他のスケールで）を格納する。
【００８０】
さらに詳しく説明すると、あるコンテンツの所定の時刻に於ける各々の感情の評価点数が、図８に図示してあるようにして、データベース７２０に格納される。
【００８１】
図９は、ユーザがコンテンツを鑑賞又は聴取している時の移動体端末７０１と通信及びコンテンツ提供サーバ７１１の間のデータ通信の例を示す。
【００８２】
ユーザがコンテンツを鑑賞又は聴取する際には、ユーザは移動体端末７０１のコンテンツ提供機能７０３を実行する。コンテンツ提供機能７０３は評価管理クライアント機能７０５を実行する。評価管理クライアント機能７０５は、コンテンツ要求を通信及びコンテンツ提供サーバ７１１へ送信する（９０１）。サーバ７１１が要求を受信すると、通信管理機能７１２がコンテンツ提供管理機能７１３を実行する。
【００８３】
コンテンツ提供管理機能７１３は、図１０に図示したような表を生成する（９０２）。表は、コンテンツと、データベース７２０に格納されているデータに基づいて各々のコンテンツについての各々の感情の評価点数とを含む。図１０に図示したようなスコアは所定の評価点を越える時間の割合を示す。例えば、映画１の面白さは所定の評価点数を越える時間が全体の１０％であることを意味する。コンテンツ提供管理機能７１３は表を移動体端末７０１に送信する（９０３）。移動体端末７０１は画面上に表を表示する（９０４）。移動体端末７０１のユーザはコンテンツ又は「面白い」、「スリリング」等の感情を選択できる（９０５）。ユーザが感情の一つを選択すると、ユーザは所定のレベルを越えたコンテンツの場面を鑑賞及び／又は聴取できる。例えば、ユーザが感情の一つである「面白い」を選択した場合、ユーザは所定のレベルを越えるコンテンツの面白い場面を鑑賞及び／又は聴取できる。評価管理クライアント機能７０５は、コンテンツと選択された感情の情報を通信及びコンテンツ提供サーバ７１１へ送信する（９０６）。サーバ７１１のコンテンツ提供管理機能７１３は、選択された感情が所定のレベルを越える場面をデータベース７２０から検索し（９０７）、移動体端末７０１へ検索した場面を送信する（９０８）。評価管理クライアント機能７０７が場面を受信すると、評価管理クライアント機能は移動体端末７０１の画面上に場面を再生するための再生ボタンを表示する（９０９）。
【００８４】
ユーザがコンテンツの一つを選択した場合、ユーザはそのコンテンツを鑑賞及び／又は聴取できる。評価管理クライアント機能７０５は選択されたコンテンツの情報を通信及びコンテンツ提供サーバ７１１へ送信する（９０６）。サーバ７１１のコンテンツ提供管理機能７１３はデータベースからコンテンツを検索し（９０７）、移動体端末７０１へ検索したコンテンツを送信する（９０８）。評価管理クライアント機能７０７がコンテンツを受信すると、評価管理クライアント機能７０７は移動体端末７０１の画面上にコンテンツを再生するための再生ボタンを表示する（９０９）。
【００８５】
再生ボタンをユーザが選択した場合、評価管理クライアント機能７０５は感情反応認識機能７０４を実行して移動体端末７０１の画面上にコンテンツを表示する（９１０）。感情反応認識機能７０４は一次バイオメトリクスを捕捉する。移動体端末７０１はカメラ、マイクロホン、及びセンサーを備える。カメラはユーザの表情を捉え、マイクロホンはユーザの声を捉え、センサーは握りの強さ及び／又はユーザの手の汗を捉える。例えば、ユーザがコンテンツでスリルを感じている場合、握りは強い握りになり手掌は汗ばんでくる。感情反応認識機能７０４はカメラ、マイクロホン、センサーによって捕捉された情報に基づいて、二次バイオメトリクスとして一般的感情及び／又は感情レベルを生成する（９１１）。感情反応認識機能７０４は、感情及び／又は感情レベルを、コンテンツとコンテンツの時刻を特定するためのインデックスと関連付け、また移動体端末７０１のメモリに格納する。評価管理クライアント機能７０５は感情、感情レベル、コンテンツ、時刻をメモリから所定の時間間隔で読み取り、これらを通信及びコンテンツ提供サーバ７１１へ送信する（９１２）。
【００８６】
コンテンツ提供管理機能７１３は、感情、感情レベル、コンテンツとコンテンツの時刻を指定するインデックスに基づいてデータベース７２０の感情の評価点数を更新する（９１３）。コンテンツ提供管理機能７１３が要求を受信すると、コンテンツ提供管理機能７１３は感情の更新された評価点数に基づいて表を生成し、表を移動体端末７０１へ送信する。
【００８７】
更に、感情情報の付いた広告をデータベース７２０に保存することができる。サーバ７１１のコンテンツ提供管理機能７１３がコンテンツと選択された感情の情報を評価管理クライアント機能７０５から受信すると、コンテンツ提供管理機能７１３は選択された感情に一致する広告を検索し、コンテンツと一緒に検索された広告を移動体端末７０１へ送信する。移動体端末はコンテンツを表示する前に受信した広告を表示する。したがって、システムはユーザの感情に合わせた広告を提供することができる。
【００８８】
本発明の好適実施例の前述の説明は単なる例示であって、前述の実施例及び方法のその他の変化及び変更が前述の教示に鑑みて可能である。例えば、図面の各々でコンポーネントの各々は単一のコンピュータ・システムへ組み込まなくても良い。コンポーネントの各々はネットワーク内で分散していても構わない。本明細書で記載した各種実施例はハードウェア、ソフトウェア、又はこれらの希望する組み合わせを用いて実現できる。その点で、本明細書で記載した各種機能を実現する能力のあるあらゆる種類の論理を使用できる。コンポーネントはプログラム済み汎用デジタル・コンピュータを用いて、特定用途集積回路を用いて、又は相互接続してある従来のコンポーネント及び回路のネットワークを使用して、実現することができる。接続は有線、無線、モデム等とすることができる。本明細書で説明した実施例は排他又は制限することを意図したものではない。本発明は以下の請求の範囲によってのみ制限されるものである。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施例による感情反応認識装置を示すブロック図である。
【図２】本発明の実施例による感情反応認識装置とストレージ・システムを示すブロック図である。
【図３】本発明の実施例による感情反応認識装置と、ストレージ及び評価ネットワーク・システムとを示すブロック図である。
【図４】本発明の第２の実施例による感情反応認識装置と、ストレージ及び評価ネットワーク・システムとを示すブロック図である。
【図５】本発明の第１の実施例によるコンピュータ・システムを示すブロック図である。
【図６】本発明の実施例によるバイオメトリック・データを使用し捕捉して製品・サービス・創造的作業・又は事物を評価し、また消費者の意見のデータベースを設置する方法を示すフローチャートである。
【図７】コンテンツ提供システムを示すブロック図である。
【図８】データベースに格納されたデータの例である。
【図９】端末とサーバのデータ処理を示す略図である。
【図１０】ユーザに提供されるバイオメトリック・データの表の例である。
【符号の説明】
【００９０】
１００…感情反応認識装置、１０５…カメラ、１１０…顔面／虹彩表現認識装置、１１５…反応解釈装置、１２０…マイクロホン、１２５…音声表現認識装置、１３５…人、２００…感情反応認識装置及びストレージ・システム、２０２…感情反応認識装置、２０５…決定メカニズム及び反応解釈装置、２１０…映画／番組インデックス、２１５…評価管理サーバ、２２０…動的アップデート情報、３００…ネットワーク・システム、３０２…第１のコンテンツ提供兼バイオメトリック捕捉システム、３０４…第２のコンテンツ提供兼バイオメトリック捕捉システム、３１５…コンテンツ・セレクタ、３２０…ネットワーク、３２５…評価管理サーバ、３３０…広告費用推測装置、３３５…広告会社、３４０…感情反応認識装置３４５…モニタ、３５０…評価付きコンテンツ・セレクタ。
【技術分野】
【０００１】
本発明は、生体認識を用いたレビュー管理システム及び管理方法に係り、さらに詳しくは、製品・サービス・創造的作業又は事物の参照に、バイオメトリクス・データを収集して使用するシステム並びに方法に関する。
【背景技術】
【０００２】
ロジャー・エバート等の映画評論家が提供する評論や、ザ ニューヨーク タイムズ（登録商標）等の新聞で公表される評論、「amazon.com」等のウェブ・サイトに掲載される評価、及び／又はニールセン・メディア・リサーチ社（登録商標）によって行なわれる調査から作製された評価等、消費者向け評論に基づいて、消費者はビデオ、演劇、映画、テレビ番組を選択することが多い。
【０００３】
例えば、映画評論家（テレビ又は新聞媒体を通じて）は個人的意見だけを述べ、この意見は個人的な偏見に満ちていることが多い。ある特定の評論家がホラー映画を好きでない場合、その特定の評論家はホラー映画に対して良い評価を付けないことが多い。同様に、ある特定の評論家がアクション映画を好む場合又は特定の映画スターに魅力を感じている場合には、その評論家は彼又は彼女のお気に入りの映画スターが出るアクション映画やショーに高い評価を付ける可能性が高い。
【０００４】
【特許文献１】特開平６ー６７６０１号公報
【非特許文献１】Y. Ariki et al.、「サブスペース法による顔と話者の認識の統合 (Integration of Face and Speaker Recognition by Subspace Method)」、International Conference on Pattern Recognition, pp. 456-460, 1996
【非特許文献２】Rosalind W. Picard 教授、書籍「Affective Computing」中の「顔と声の組み合わせ」, pp. 184-185、１９９７年ＭＩＴプレス発行
【非特許文献３】Lawrence S. Chen et al.、「多モードの人間の感情／表現の認識 (Multimodal Human Emotion/Expression Recognition)」3rd International Conference on Face and Gesture Recognition, pp. 366-371, 1998
【非特許文献４】W. A. Fellenz et al.、「ニューラル・ネットワーク、ファジー論理、ＡＳＳＥＳＳシステムを用いた顔面とスピーチの感情認識に関して (On emotion recognition of faces and of speeches using neural networks, fuzzy logic and the ASSESS system)」International Joint Conference on Neural Networks, 2000
【非特許文献５】Uyanage C． De Silva and Pel Chi Ng, 「バイモーダル感情認識 (Bimodal Emotion Recognition) 4th International Conference on Automatic Face and Gesture Recognition, 2000
【発明の開示】
【発明が解決しようとする課題】
【０００５】
大半の映画ファンは各々の映画に意見や評価を発表しないのが普通である。つまり、限定数の意見だけしか利用できないのが普通である。更に、ウェブ・ジャンキー（すなわち何にでも意見を発表したがる偏執的な人）や極端主義者（すなわち好むか好まざるかいずれかで強い意見を持っている人）がこのようなウェブ・サイトに意見を掲示することが想定される傾向にある。したがって、この場合、消費者は大衆の意見を決定するに足る充分な掲示を得られないか、又は掲示された意見が正確なものとして信用できないかのいずれかとなる。
【０００６】
ニールセン・メディア・リサーチ社は、ニールセン調査対象が視聴したテレビ・チャンネルに基づいて自動的に視聴情報を収集する。ニールセンの調査対象は比較的多く（５，０００世帯で１１，０００視聴者程度）、様々な民族と地域にわたっているが、評価は定性的ではない。ニールセンのシステムはセットされたテレビル受像機のチャンネルだけに依存しており、視聴者が本当に番組を視聴又は楽しんでいるかを示すものではない。つまり、これらの評価は定性的尺度を提供するものではないので、これらの評価は特定番組に対する一般大衆の意見の正確な評価を提供するものではない。
【０００７】
したがって、製品・サービス・創造的作業又は事物についての更に正確で定性的なフィードバックを提供し、望ましくは上記の欠点を伴わないシステム及び方法が必要とされている。
【課題を解決するための手段】
【０００８】
本発明の代表的手段の一例を示せば次の通りである。
本発明は、ある人がある製品を認識している間に前記ある人のバイオメトリック・データ（生体情報あるいは生体認識情報）を、捕捉するように構成されたバイオメトリック捕捉装置と、前記バイオメトリック・データに基づいた情報と前記製品に関する情報とを格納するための装置とを含むことを特徴とする。
【０００９】
このバイオメトリック・データは、指紋や虹彩、あるいは声、顔などの身体的特徴によって本人確認を行なうための情報である。
本発明の実施例は、ユーザが製品・サービス・創造的作業又は事物を感知、認識している（perceiving）間に特定のバイオメトリック情報を収集するシステムを含む。
【００１０】
例えば、映画ファンが映画を鑑賞している間に、システムが観衆の一人又はそれ以上の人の顔の表情、声の表現及び／又は目の表情（例えば虹彩情報）を捉えて認識し、映画の内容に対する観衆の反応を決定することができる。これ以外に、本システムを使用して大衆の代弁者例えば政治家に対する聴衆の反応を評価することもできる。
【００１１】
本システムは、民生用製品又は映画製作の実質的投資を始める前のストーリーボードの評価に有用である。バイオメトリック表現（笑う、泣く、等）は一般に普遍的であることから、本システムは一般に言語に左右されず地球規模で使用される製品や用途に容易に適用できる。
【００１２】
本システムは、バイオメトリック情報を解釈して、人間の感情及び／又は感情的レベル（度合又は確率）を、フィードバック又は製品・サービス・創造的作業又は事物に対する反応として決定することができる。本システムは、将来の使用のためフィードバック・データベースにフィードバックを保存し、バイオメトリック情報及び／又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として、その他の潜在的ユーザ（例えば消費者、観衆、理解者等）へ提供することができる。このようにすると、その他の潜在的ユーザはより正確に大衆の意見を評価することができる。循環的な方法としては、フィードバックに基づいて新規ユーザが特定の製品・サービス・創造的作業又は事物を選択し、特定の製品・サービス・創造的作業又は事物に対するその新規ユーザの反応を捉えてフィードバック・データベースへ追加することができる。
【００１３】
大抵の人には容易に理解されるように、一般に笑い声のない笑顔は幸福として解釈しうる。笑い声と同時の笑顔は、ある人が何か特に面白いものを見つけたのだと解釈しうる。笑い声と涙を同時に伴う笑顔は、ある人が何か極めておかしいものを見つけた場合でどちらかというとヒステリックに笑っていると解釈しうる。さらに、容易に理解されるように、笑い声の量、笑顔の大きさと持続時間、涙の量を用いて、ある人が製品・サービス・創造的作業又は事物をどのくらい面白いと思っているか判定することができる。
【００１４】
同様に、これも容易に理解されるように、泣声のない涙は、悲哀又は疲労を示唆する。泣声のある涙は悲哀を示唆する。幸福と同様の方法で、流涙の量及び／又は持続、叫び声の大きさ及び／又は持続、等はある人の悲哀のレベルを決定するために使用できる。他方で、顔の表情の変化のない泣声はある人が悲しい真似をしているだけであると推測できる。
【００１５】
さらにいくつかの例を続けると、急激に変化する顔の表情及び／又は音声の鋭い強調、たとえば悲鳴は驚きを示唆させる。しかし、人によっては驚くような事態に音も立てずに反応したり、人によっては驚くような事態が進行していてもしばらく反応しないこともあることは理解されよう。虹彩バイオメトリクスは、ショックと驚きの判定を支援できる。
【００１６】
一般に、顔の表情、声の表現、目の表情を感情及び／又は感情レベルに変換するなんらかのアルゴリズムを用いて本発明の実施例を実現することができる。たとえば、隠れマルコフ・モデル（Hidden Markov Models）、ニューラル・ネットワーク、又はファジー論理を使用できる。本システムは一つのバイオメトリックだけを取得してシステム全体のコストを削減する、又は多数のバイオメトリクスを取得して人間の感情及び感情レベルをより正確に決定することができる。
【００１７】
さらに、本システム及び方法は、映画鑑賞者の意見を参照して説明するが、本システムならびに方法がたとえば製品・サービス・創造的作業・又は事物等あらゆるものに利用可能であることは当業者には理解されよう。
【００１８】
本発明の実施例は、以下を提供することができる：
・観衆のフィードバックを取得する自動メカニズム
・感情認識のため複数のバイオメトリクスを組み合わせる感情反応集積装置
・ユーザが製品評価を決定するのを支援するメトリック
・マーケティング・データ回収の効率的なメカニズム
・現在の評価メカニズムより正確なメカニズム
本発明は、製品・サービス・創造的作業・又は事物を参照するバイオメトリック情報を捕捉使用するためのシステムを提供する。本システムは、製品についての情報とある人が当該製品を認識している間に当該人のバイオメトリック・データを捕捉するように構成されたバイオメトリック捕捉装置、及び当該バイオメトリック・データに基づく情報と当該製品についての情報を格納するための装置とを含む。
【００１９】
当該製品はビデオ・クリップでありうる。製品情報はビデオ・インデックス又は製品それ自体でありうる。バイオメトリック・データは、一次バイオメトリック・データ又は二次バイオメトリック・データを含む。バイオメトリック・データは、顔の表情、声の表現、虹彩情報、身ぶり言語（ボディランゲージ）、発汗レベル、心拍情報、無関係な会話、又は関連する会話を含む。バイオメトリック捕捉装置は、マイクロホン、カメラ、サーモメータ、心拍モニター、ＭＲＩ装置、又はこれらの装置の組み合わせであり得る。バイオメトリック捕捉装置は、更に、バイオメトリック表現認識装置も含む。バイオメトリック・データに基づく情報は、一次バイオメトリック情報、二次バイオメトリック情報、又は反応参照メトリック情報である。本システムは、更に、決定メカニズムと、感情としてバイオメトリック・データを解釈するための反応認識装置、バイオメトリック・データに基づいた広告のコストを推定するための広告推定装置、及び／又は別の人がバイオメトリック・データに基づいた情報及び製品についての情報を参照できるようにするための参照装置も含む。
【００２０】
本発明は、更に、バイオメトリック情報を捕捉使用して製品・サービス・創造的作業・又は事物を参照する方法も提供する。本方法は、ある人が製品を認識している際にバイオメトリック情報を捕捉するステップと、バイオメトリック情報に基づく情報及び製品に関する情報を将来の使用のためにデータベースへ保存するステップとを含む。
【発明の効果】
【００２１】
本発明によれば、バイオメトリック・データの組合せで認識した感情表現をレビュー情報に利用することができる。
【００２２】
本発明によれば、バイオメトリック・データを解釈して、人間の感情及び／又は感情的レベル（度合又は確率）を、フィードバック又は製品・サービス・創造的作業又は事物に対する反応として決定することができる。
【００２３】
また、本発明によれば、将来の使用のためフィードバック・データベースにフィードバックを保存し、バイオメトリック情報及び／又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として、その他の潜在的ユーザ（例えば消費者、観衆、理解者等）へ提供することができる。
【発明を実施するための最良の形態】
【００２４】
以下の説明は、当業者が本発明を使用できるようにする目的で提供され、また特定の用途とその必要条件の状況で提供される。実施例に対する各種の変更は当業者には容易に理解されるであろうし、本明細書で規定する一般原理は本発明の精神及び範囲から逸脱することなく他の実施例及び用途にも適用される。したがって本発明は図示した実施例に制限されるべきことを意図していないが、本明細書で開示される原理、特徴、教示に一致するもっとも広い範囲で許容されるべきものである。
【００２５】
本発明の実施例は、ユーザが特定の製品・サービス・創造的作業・又は事物を感知、認識している間にバイオメトリック情報を捕捉するためのシステムを含む。例えば、映画ファンが映画を見ている間に、本システムが観客の中の一人又はそれ以上の人の顔の表情、声の表現及び／又は目の表情（例えば虹彩情報）を捕捉して映画の内容に対する観衆の反応を決定することができる。これ以外に、本システムを使って大衆の代弁者例えば政治家に対する聴衆の反応を評価することができる。本システムは民生用製品又は映画製作の実質的投資を始める前のストーリーボードの評価に有用である。バイオメトリック表現（笑う、泣く、等）は一般に普遍的であることから、本システムは一般に言語に左右されず地球規模で使用される製品や用途に容易に適用できる。
【００２６】
本システムはバイオメトリック情報を解釈して、人間の感情及び／又は感情的レベル（度合又は確率）を、フィードバック又は製品・サービス・創造的作業又は事物に対する反応として決定することができる。本システムは将来の使用のためフィードバック・データベースにフィードバックを保存し、バイオメトリック情報及び／又はバイオメトリック情報の何らかの分析結果を、特定の製品・サービス・創造的作業又は事物に対する一般に正しい意見として、その他の潜在的ユーザ（例えば消費者、観衆、理解者等）へ提供することができる。このようにすると、その他の潜在的ユーザはより正確に大衆の意見を評価することができる。循環的な方法としては、フィードバックに基づいて新規ユーザが特定の製品・サービス・創造的作業又は事物を選択し、特定の製品・サービス・創造的作業又は事物に対するその新規ユーザの反応を捉えてフィードバック・データベースへ追加することができる。
【００２７】
バイオメトリック表現を感情及び／又は感情レベルへ変換するための幾つかの技術が開発されている。非特許文献１、非特許文献２、非特許文献３、は各々２種類の形態すなわち会話表現と顔面表現が互いに相補的であることを見出している。会話と顔面表現の両方を使用することにより、研究者はいずれかの形態を単独で使用するよりも大きな感情認識率が達成可能であることを示している。研究されている感情の分類は幸福、悲哀、怒り、嫌悪、驚き、恐怖で構成される。
【００２８】
非特許文献４では、顔の画像シーケンスとスピーチとを処理して感情表現を認識するフレームワークを提案している。ここで対象になる６種類の表現は怒り、悲哀、喜び、嫌気、恐れ、驚きで構成されている。
【００２９】
非特許文献５では、統計的手法と隠れマルコフ・モデル（HMM）を用いての感情認識を説明している。この技術は６種類の基本的感情すなわち怒り、嫌悪、恐れ、幸せ、悲しみ、驚きを顔の表現（ビデオ）と感情的スピーチ（オーディオ）の両方から分類しようとするものである。ルール・ベースのシステムを用いてオーディオ及びビデオ情報を組み合わせ感情認識率を向上できることが示されている。
【００３０】
特許文献１では、手の動きから手話を認識し顔面の表情だけから感情とその確率を認識する手話トランスレータを説明している。
【００３１】
多くの人に容易に明らかなように、一般に、笑い声のない微笑みは幸福と解釈することができる。微笑みと同時の笑い声は、ある人が何か特に可笑しなものを見つけたと解釈できる。笑い声と涙を同時に伴う笑顔はある人が何か極めておかしいものを見つけた場合でどちらかというとヒステリックに笑っていると解釈しうる。さらに、容易に理解されるように、笑い声の量、笑顔の大きさと持続時間、涙の量を用いて、ある人が製品・サービス・創造的作業又は事物をどのくらい面白いと思っているか判定することができる。
【００３２】
同様に、これも容易に理解されるように、泣声のない涙は悲哀又は疲労を示唆する。泣声のある涙は悲哀を示唆する。幸福と同様の方法で、流涙の量及び／又は持続、叫び声の大きさ及び／又は持続、等はある人の悲哀のレベルを決定するために使用できる。他方で、顔の表情の変化のない泣声は、ある人が悲しい真似をしているだけであると推測できる。
【００３３】
さらにいくつかの例を続けると、急激に変化する顔の表情及び／又は音声の鋭い強調たとえば悲鳴は驚きを示唆させる。しかし、人によっては驚くような事態に音も立てずに反応したり、人によっては驚くような事態が進行していてもしばらく反応しないこともあることは理解されよう。虹彩バイオメトリクスはショックと驚きの判定を支援できる。
【００３４】
一般に、顔の表情、声の表現、目の表情を感情及び／又は感情レベルに変換するなんらかのアルゴリズムを用いて、本発明の実施例を実現することができる。たとえば、隠れマルコフ・モデル、ニューラル・ネットワーク、又はファジー論理を使用できる。本システムは一つのバイオメトリックだけを取得してシステム全体のコストを削減する、又は多数のバイオメトリクスを取得して人間の感情及び感情レベルをより正確に決定することができる。さらに、本システム及び方法は映画鑑賞者の意見を参照して説明するが、本システムならびに方法がたとえば製品・サービス・創造的作業・又は事物等あらゆるものに利用可能であることは当業者には理解されよう。
【００３５】
利便な言語を設定する便宜上、術語「製品」には、人によって認識され得る全ての製品・サービス・創造的作業又は事物を含む。術語「人」は、消費者、ユーザ、観察者、聴取者、映画ファン、政治アナリスト、又はその他製品の認識者等として機能する何らかの人を含む。術語「一次バイオメトリクス」には、ある製品を認識する人による物理的表現を含む。このような表現には、笑う、泣く、微笑む、聞き取り可能な叫び、単語等を含む。このような表現はまた、ボディランゲージ、人の発生する雑音例えば口笛、舌打ち、歯を噛み合わせる音などを含む。術語「二次バイオメトリクス」には、特定の表現から認識される一般的感情及び／又は感情レベル（システムが分析において正しいかどうかは別として）を含む。このような二次バイオメトリクスには、幸福、悲哀、恐れ、怒り、嫌悪、驚き等を含む。術語「反応参照メトリクス」は、一般に一次及び二次バイオメトリクスを惹起するような製品の説明に相当する。反応参照メトリクスの例としては、コメディの量、ドラマの量、特殊効果の量、ホラーの量、等が含まれる。一次バイオメトリクス、二次バイオメトリクス、反応参照メトリクスの間の相違が幾らか不鮮明であることは理解されるべきである。例えば、笑いは一次又は二次バイオメトリックのいずれかとして主張することが可能である。面白さは二次バイオメトリック又は反応参照メトリックのいずれかとして論じることができる。
【００３６】
本発明の実施例として、以下を提供することができる：
・観衆のフィードバックを取得する自動メカニズム
・感情認識のため複数のバイオメトリクスを組み合わせる感情反応集積装置
・ユーザが製品評価を決定するのを支援するメトリック
・マーケティング・データ回収の効率的なメカニズム
・現在の評価メカニズムより正確なメカニズム
図１は、本発明の実施例による感情反応認識装置１００を示すブロック図である。感情反応認識装置１００は、顔面／虹彩表現認識装置１１０経由で決定メカニズム及び反応解釈装置１１５へ接続してあるカメラ１０５を含む。認識装置１００は更に、音声表現認識装置１２５経由で決定メカニズム及び反応解釈装置１１５へ接続されたマイクロホン１２０を含む。図示したように、カメラ１０５とマイクロホン１２０は、人１３５からバイオメトリック情報を捕捉する。
【００３７】
カメラ１０５は、人１３５から画像情報を捕捉するものであり、デジタル式カメラが便利である。しかし、アナログ式カメラを代用することも可能である。カメラ１０５は、人１３５の頭部だけに焦点を合わせて顔の表情及び／又は目の表情（例えば虹彩情報）を捕捉するが、他の実施例において、カメラ１０５は、人１３５の体に焦点を合わせボディランゲージを捕捉する。当業者には容易に認識されるように、カメラ１０５がボディランゲージを捕捉している場合には、ボディランゲージ認識装置（図示略）をカメラ１０５と決定メカニズム及び反応解釈装置１１５との間に接続できる。
【００３８】
マイクロホン１２０は人１３５から音声表現を捕捉するものであり、デジタル式マイクロホンが望ましい。マイクロホン１２０は、指向性マイクロホンとして各人の発話を個別に捕捉したり、あるいは無指向性マイクロホンとして聴衆全体の発話を捕捉できることが理解されよう。更に、マイクロホン１２０は、狭い周波数帯域だけを捕捉する（例えば、声によって作られる音だけを捕捉しようとする）又は広い周波数帯域を捕捉する（例えば舌打ちや口笛等を含む全ての音を捕捉しようとする）ことができる。
【００３９】
顔面／虹彩表現認識装置１１０は、カメラ１０５経由で捕捉した画像データから顔面及び／又は目の表現を認識するのが望ましく、表現を感情及び／又は感情レベルに翻訳することができる。これ以外に、顔面／虹彩表現認識装置１１０は表現を感情的分類又はグループへ変換することができる。認識装置１１０は、例えばどちらともはっきりしない顔（感情ゼロ又は基準顔貌）、笑っている顔、中程度の笑顔、極端な笑顔、叫んでいる顔、ショックを受けた顔等の表現も認識する。顔面／虹彩表現認識装置１１０は、虹彩の大きさを認識できる。更に、顔面／虹彩表現認識装置１１０は、表現のグラデーションと確率、例えば２０％笑い顔、３５％微笑んでいる顔、及び／又は５０％泣き顔、等、及び／又は複数の表現の組み合わせを認識する。
【００４０】
音声表現認識装置１２５は、マイクロホン１２０経由で捕捉した音声データから音声表現を認識するのが望ましく、音声表現を感情及び／又は感情レベル（又は感情分類又はグループ）に翻訳することができる。音声表現認識装置１２５は笑い、悲鳴、言語表現等を認識する。更に、音声表現認識装置１２５は、表現のグラデーションと確率、例えば２０％笑い声、３５％泣き声等も認識する。音声表現認識装置１２５は、言語表現及び／又は非言語音響表現、例えば舌打ち、口笛、テーブルを叩く音、脚を踏み鳴らす音、歯を噛み合わせる音等を認識可能な（音声表現認識装置１２５と同様の）音響表現認識装置（図示略）で置き換えることが可能である。
【００４１】
カメラ１０５とマイクロホン１２０は、各々バイオメトリック捕捉装置の例である。他のバイオメトリック捕捉装置としては、サーモメータ、心拍モニター、又はＭＲＩ装置が含まれる。顔面／虹彩表現認識装置１１０、ボディランゲージ認識装置（図示略）及び音声表現認識装置１２５の各々は「バイオメトリック表現認識装置」の例である。カメラ１０５と顔面／虹彩表現認識装置１１０、カメラ１０５とボディランゲージ認識装置（図示略）、マイクロホン１２０と音声表現認識装置１２５は、各々「バイオメトリック認識システム」の例である。
【００４２】
決定メカニズム及び反応解釈装置１１５は、顔面／虹彩表現認識装置１１０と音声表現認識装置１２５からの結果を組み合わせて人１３５の完全な一次バイオメトリック表現を判定する。反応解釈装置１１５は、何らかのアルゴリズム例えばルール・ベース、ニューラルネットワーク、ファジー論理、及び／又はその他の感情分析アルゴリズムを使用して、一次バイオメトリック表現から人の感情及び感情レベルを決定する。したがって、解釈装置は、感情（例えば幸福）だけでなくそのレベル例えば２０％幸せで８０％普通等も判定できる。反応解釈装置１１５は、表現と感情に、認識されている製品の情報（例えば映画、映画インデックス、製品識別情報、政治家のスピーチ情報等）を関連付けることが可能である。このような統合により、他の人が予想される感情に製品を関連付けることができるようになる
図１は、顔面と音声のバイオメトリック情報に限定されているが、他のバイオメトリクスやバイオメトリック情報を捕捉して感情及び／又は感情レベルを判定できることは当業者には理解されよう。例えば、感情反応認識装置１００は、手のジェスチャー、心拍、発汗、ボディランゲージ、無関係なおしゃべりの量等を捕捉できる。決定メカニズム及び反応解釈装置１１５は、変換アルゴリズムを用いて一次バイオメトリック表現（微笑み、声を出した笑い、涙等）を笑い、恐れ、驚き等の感情及び／又はこれに対応するレベルに変換できる。
【００４３】
図２は、本発明の実施例による感情反応認識装置及びストレージ・システム２００を示すブロック図である。感情反応認識装置及びストレージ・システム２００はほとんどどこにでも、例えば家庭、劇場、航空機、及び／又は車両内に配置することができる。システム２００は、移動体装置特に携帯電話に組み込むことが可能であり、携帯電話はマイクロホンとカメラを両方とも備える傾向にある。このシステム２００は、家庭用のテレビ又はセットトップボックスに組み込んだり、又は劇場用として劇場の客席の背もたれに組み込むことができる。システム２００は感情反応認識装置２０２を含み、これは顔面／虹彩表現認識装置１１０経由で決定メカニズム及び反応解釈装置２０５へ接続されたカメラ１０５と、音声表現認識装置１２５経由で決定メカニズム及び反応解釈装置２０５へ接続されたマイクロホン１２０とを含む。感情反応認識装置２０２は評価管理サーバ２１５へ接続される。感情反応認識装置２０２は、図１を参照して前述したように、異なったバイオメトリック捕捉装置及び／又は装置の組み合わせで構成できることが当業者には理解されよう。
【００４４】
カメラ１０５、顔面／虹彩表現認識装置１１０、マイクロホン１２０、及び音声表現認識装置１２５の各々は、図１を参照して説明したコンポーネントと同様のものであり、同様に機能する。
【００４５】
決定メカニズム及び反応解釈装置２０５は、図１を参照して上記で説明した決定メカニズム及び反応解釈装置１１５と同様のものであり、さらに、以下の追加、変更、及び／又は説明を含む。反応解釈装置２０５は、表現、感情、及び／又は感情レベルを認識されている製品についての情報と関連付ける。図２の実施例において、図示した製品は映画／番組インデックス２１０を含む。反応解釈装置２０５は、表情、感情、及び／又は感情レベルを映画の内容と関連付け、動的アップデート情報２２０として図示した情報を将来の使用のため評価管理サーバ２１５へ送信する。
【００４６】
評価管理サーバ２１５は、動的アップデート情報２２０を用いて実質的内容に関連する感情傾向の統計情報を計算することができる。評価管理サーバ２１５は統計情報をリレーショナル・データベース又はその他の構造体に保持することができ、また興味のある人（例えばユーザ、消費者、観客、視聴者等）へ情報２２０を提供してその製品がどれほど感動的か、又製品の認知によってどのような種類の感情的反応が予想されるかを示すことができる。評価管理サーバ２１５は、感情及び／又は感情レベルを検証してその製品についての反応評価メトリクスを決定できる。例えば、ある映画がコメディだとすると、どの位映画が面白かったかを確定する反応評価メトリックは惹起された面白いと言う感情の量に基づいたものとなり、これは表現された笑い及び／又は微笑みの量に基づくことができる。したがって、評価管理サーバ２１５はコメディとしての製品の成功度を測定し保存できる。評価管理サーバ２１５の代わりとして、例えば決定メカニズム及び反応解釈装置２０５等の他のコンポーネントが反応評価メトリクスを決定できることは当業者には理解されよう。
【００４７】
本実施例において、サーバ２１５は新しい観客が動的アップデート情報２２０に基づいて映画を選択できるようにするものであり、情報は多くの異なる方法で提示することが可能である。例えば、サーバ２１５は「平均より５．５倍笑い声が多い」又は「平均より１５．３倍笑い声が多い、泣き声無し」のように情報を表現できる。表現は、一次バイオメトリクス、二次バイオメトリクス、反応評価メトリクス、又はこれらの組み合わせに関するものである。意図しているか意図していないかに係わらず、新しい観客が別の評価者になり得ることは理解されよう。
【００４８】
新しい種類の報奨（例えばアカデミー賞やグラミー賞）は、ある製品（例えば映画）の熱烈な感情（例えば統計情報）に基づいて決定されることは理解されよう。言い換えれば、報奨は感情を揺さぶる意図に関連してその製品がどの程度成功したかに基づいている。最高のコメディは、観客が表現した最大数の笑いに基づくことができる。
【００４９】
図３は、本発明の実施例による感情反応認識装置、ストレージ、及び評価ネットワーク・システム３００を示すブロック図である。
【００５０】
ネットワーク・システム３００は、第１のコンテンツ提供兼バイオメトリック捕捉システム３０２と第２のコンテンツ提供兼バイオメトリック捕捉システム３０４を含み、各々ネットワーク３２０（例えばＬＡＮ、ＷＡＮ、インターネット、無線等）経由で評価管理サーバ３２５へ接続されている。評価管理サーバ３２５は更に、例えばネットワーク３２０経由で広告費用推測装置３３０や広告会社３３５へ接続されている。評価管理サーバ３２５は、１つまたは多数のユーザ・システム、例えば第１のコンテンツ提供兼バイオメトリック捕捉システム３０２と第２のコンテンツ提供兼バイオメトリック捕捉システム３０４に接続できることが理解されよう。
【００５１】
第１のコンテンツ提供兼バイオメトリック捕捉システム３０２は、モニタ３１０（例えばテレビ、ＤＶＤプレーヤ等）へ接続された評価付きコンテンツ・セレクタ３１５を含み、これは感情反応認識装置３０５へ接続される。
【００５２】
評価付きコンテンツ・セレクタ３１５は、製品情報とこれに対応する感情情報（一次バイオメトリクスとして、二次バイオメトリクスとして、又は反応評価メトリクスとして表現されたかに係わらない）を評価管理サーバ３２５から取得する。評価付きコンテンツ・セレクタ３１５は、利用可能なオプションを第１の人３５５へ、例えばリスト形式で、メニュー項目のセットとして、階層化テーブルとして、又は他の何らかの方法（望ましくは変性された方法）で提示する。評価付きコンテンツ・セレクタ３１５は、従来のリモートコントロール（図示略）、キーボード、タッチスクリーン、又はその他の入力装置とこれに対応するソフトウェアを含む。評価付きコンテンツ・セレクタ３１５は、コンテンツ・プロバイダ例えばオンデマンド映画サービス等を含む。第１の人３５５は評価付きコンテンツ・セレクタ３１５を使って見たい製品例えば鑑賞したい映画を選択できる。ネットワーク・システム３００は、評価付きコンテンツ・セレクタ３１５を含むように説明しているが、どのようなデータ評価機構を使用することも可能なことは当業者には理解されよう。どのユーザも、データ評価機構により、保存されている製品と感情情報（例えば認識、購入、レンタル、鑑賞、制御、聴取等しようとする製品を選択するため）を参照できる。
【００５３】
モニタ３１０は、選択された製品例えば映画を提示し、これはテレビ又は映画画面とすることができる。モニタは、製品が音楽の場合にはオーディオ型のシステムに置き換える又は拡張することができ、製品が仮想現実イベントの場合には触覚フィードによって置き換える又は拡張することができることは、当業者には理解されよう。モニタ３１０は、製品を提示するためのメカニズム（電子的又はライブかによらない）又はメカニズムの組み合わせを提示する。
【００５４】
感情反応認識装置３０５は、第１の人３５５の表現、感情及び／又は感情レベルを捕捉する。感情反応認識装置３０５は、図２を参照して説明した感情反応認識装置２０２のコンポーネントを含む。
【００５５】
第２のコンテンツ提供兼バイオメトリック捕捉システム３０４は、第１のコンテンツ提供兼バイオメトリック捕捉システム３０２と同様に、第２の人３６０に製品及び感情情報を提供するため、又感情と感情レベルの情報を収集して評価管理サーバ３２５に例えば保持されているデータベース内に格納するため、評価付きコンテンツ・セレクタ３５０、モニタ３４５、感情反応認識装置３４０を含む。これらのコンポーネントは第１のコンテンツ提供兼バイオメトリック捕捉システム３０２のコンポーネントと同様に機能し、構成／プログラムされる。フィードバック・データベースはネットワーク・システム３００のどこに保持されても構わないことは当業者には理解されよう。
【００５６】
評価管理サーバ３２５は、ユーザに正確な評価情報を提供する新規サービスを提供できる。評価情報は自動的に回収され、したがってオーバヘッドや人的資源を削減できる。評価管理サーバ３２５はフィードバック・データベース（図示略）の情報を生成し又は更新する。
【００５７】
評価管理サーバ３２５はフィードバック情報を広告費用推測装置３３０へ送信できる。図面では「評価点数」として図示してあるが、情報はどのような種類又は形態でも構わないことは当業者には理解されよう。広告費用推測装置３３０は、広告会社３３５によるテレビのコマーシャルを含め広告にかかる費用見積りを生成できる。特定の製品（例えば番組）に対する反応が良いほど、製品（例えば番組）の提示中にコマーシャルにかかる見積りは高くなる。
【００５８】
評価管理サーバ３２５は、フィードバック・データベース（図示略）を維持するのが望ましい。評価は「５つ星」評価スケールを使って点数付けする。しかし、このような点数評価スケールは、非統計的で不十分なデータ、少数の認識者に基づく個人的偏見、中程度に良い製品と中程度に悪い製品の間の差別がうまくできない、個人的聴衆の好みについての定量的情報がないという欠点を抱えている。評価管理サーバ３２５はもっと広い範囲の反応についてパーセンテージによる点数評価を保持するのが望ましい。
【００５９】
反応評価メトリクス(metrics)の幾つかと二次バイオメトリクスに対する関連性について、以下の表１に図示する。他のメトリクスも考慮できる。
【００６０】
表１：二次バイオメトリクスに対する反応評価メトリクス
【００６１】
表１の二つの欄の間の関連性は、手動でトレーニングするかファジー論理を用いて自動生成するかのいずれかで反応評価マトリクスの二次バイオメトリクスへマッピングできる。例えば、多重ファジー連想記憶マトリクス（ＭＦＡＭＭ）を形成するファジー規則を書いて反応評価メンバー・スコアに対するファジー・ドメイン・メンバーシップの度合をマッピングできる。ファジー・ドメインは各二次バイオメトリック・パラメータについてのスケール又は次元である。ＭＦＡＭＭは「ファジー・ドメイン」と反応評価出力の全ての組み合わせの間にマッピングが存在することを保証する。
【００６２】
反応評価データベース（又はフィードバック・データベース）は以下の表２に示したのと同様の方法で構成できる。この表２は、放送される全ての番組、映画、スポーツのリストを含む。各々の番組に対応して、「面白い」「スリリング」等の感情的評価メトリックが存在する。各メトリックに対応して評価点数（パーセンテージ又はその他のスケールとして）が存在する。このデータベースは、オンデマンドでユーザが製品評価のため例えば内容評価のために問い合わせることができる。フィードバック・データベースは、ある製品をユーザが経験し終えるとユーザの反応で自動的に更新される。
【００６３】
表２：反応評価データベースの例
【００６４】
多くの人は、もし彼らの感情的反応が記録されるとしても、画像の類似性や識別情報が保持されていない限り、ほとんど心配しないだろう。
【００６５】
各ユーザについて収集される情報はパラメータであるから、この情報を利用して窃盗又はその他の詐欺を働くことはできない。
【００６６】
図４は、本発明の第２の実施例による感情反応認識装置、ストレージ、及び評価ネットワーク・システム４００を示すブロック図である。映画提供者の状況で図示してあるが、本発明の実施例は異なる用途に使用可能であることが当業者には理解されよう。ネットワーク・システム４００は、ネットワーク４６５経由で評価管理サーバ４３０へ接続された第１のコンテンツ提供兼バイオメトリック捕捉システム４０２と、ネットワーク４６５経由で評価管理サーバ４３０へ接続された第２のコンテンツ提供兼バイオメトリック捕捉システム４０４とを含む。コンテンツ提供サーバ４６０は、ネットワーク４６５経由で第１のコンテンツ提供兼バイオメトリック捕捉システム４０２と、第２のコンテンツ提供兼バイオメトリック捕捉システム４０４へ接続される。
【００６７】
第１のコンテンツ提供兼バイオメトリック捕捉システム４０２は、評価管理クライアント４１５へ接続されたコンテンツ・セレクタ４１０と、評価管理クライアント４１５へ接続された感情反応認識装置４２０と、評価管理クライアント４１５へ接続されたモニタ４２５とを含む。評価管理クライアント４１５は、評価管理サーバ４３０とコンテンツ提供サーバ４６０へ接続される。感情反応認識装置４２０、コンテンツ・セレクタ４１０、モニタ４２５は各々意図しない評価者として図４で分類されている第１の人４０５に対するＩ／Ｏとして機能する。
【００６８】
本実施例において、第２のコンテンツ提供兼バイオメトリック捕捉システム４０４は第１のコンテンツ提供兼バイオメトリック捕捉システム４０２と同じ方法で互いに接続された同一のコンポーネントを含む。つまり、第２のコンテンツ提供兼バイオメトリック捕捉システム４０４は、評価管理クライアント４４０へ接続されたコンテンツ・セレクタ４３５と、評価管理クライアント４４０へ接続された感情反応認識装置４４５と、評価管理クライアント４４０へ接続されたモニタ４５０とを含む。評価管理クライアント４４０は評価管理サーバ４３０及びコンテンツ提供サーバ４６０へ接続される。感情反応認識装置４４５、コンテンツ・セレクタ４３５、モニタ４５０の各々は、図４ではその他の観察者として分類されている第２の人４５５へのＩ／Ｏとして機能する。
【００６９】
図４において、矢印で（又イベントの番号で）示してあるように、本実施例の方法は評価管理クライアント４１５がコンテンツ提供サーバ４６０によって提供されるコンテンツ（又は製品）のリストを要求し取得することから開始される。評価管理クライアント４１５は、提供されるコンテンツの各々について何らかの評価情報（すなわち一次バイオメトリクス、二次バイオメトリクス、又は反応評価メトリクスのいずれかとして提供されるフィードバック情報）を要求し取得する。評価情報を取得した後、評価管理クライアント４１５は提供されるコンテンツのリストとこれに対応する利用可能な評価情報をモニタ４２５へ提供し、第１の人４０５が情報を熟読してから、認識するコンテンツを選択できるようにする。第１の人４０５は、コンテンツ・セレクタ４１０のインタフェースを使って認識例えば鑑賞しようとするコンテンツを選択する。選択情報は評価管理クライアント４１５へ送信され、クライアントは、第１の人４０５へ選択されたコンテンツを提供するように、コンテンツ提供サーバ４６０へ命令を送る。コンテンツ提供サーバ４６０はモニタ４２５へのコンテンツを直接モニタ４２５へ提供できる。本発明の精神と範囲から逸脱することなくこれに代わる方法も可能であることは当業者には理解されよう。例えば、ユーザはコンテンツ提供サーバ４６０から直接コンテンツを要求できる。更に、コンテンツ提供サーバ４６０は評価管理クライアント４１５経由でモニタ４２５へコンテンツを送信することができる。
【００７０】
ユーザがコンテンツを認識している間に、感情反応認識装置４２０は第１の人４０５をモニタしてバイオメトリック表現を捕捉できる。感情反応認識装置４２０は表現を感情及び／又は感情レベルへ変換でき、更にコンテンツ・インデックスに関連させた感情及び／又は感情レベルを評価管理クライアント４１５へ送信できる。評価管理クライアント４１５は、次に、フィードバック情報例えばバイオメトリック表現、感情及び感情レベル、及びコンテンツ・インデックスを評価管理サーバ４３０へ送信し、サーバは同一又は別の人４０５，４５５による将来の使用のために参照情報を保存する。評価管理クライアント４１５は、感情反応認識装置４２０の代わりにコンテンツ・インデックスに対して感情及び／又は感情レベルを統合しても良い。これ以外に、表現、感情及び／又は感情レベルだけを送信しても良く、これは評価管理サーバ４３０ではすでに製品情報又は時間ベースのマッピングが分かっていることによる。言い換えれば、評価管理サーバ４３０は表現、感情及び／又は感情レベルを映画へ簡単にマッピングすることができ、これは評価管理サーバ４３０では時刻と映画の内容（例えばインデックス）の間のマッピングがすでにできていることによる。他の多くのオプションも利用できる。
【００７１】
本実施例において、評価管理サーバ４３０，第１のコンテンツ提供兼バイオメトリック捕捉システム４０２，第２のコンテンツ提供兼バイオメトリック捕捉システム４０４，コンテンツ提供サーバ４６０の各々が個別のコンピュータ上に維持されるものと仮定している。しかし、コンポーネント各々又はコンポーネントの異なる組み合わせ及び／又はシステムを別々のコンピュータに保持し得ることは当業者に理解されよう。例えば、評価管理サーバ４３０とコンテンツ提供サーバ４６０は同一コンピュータ上に配置できる。又、例えば、第１のコンテンツ提供兼バイオメトリック捕捉システム４０２とコンテンツ提供サーバ４６０は同一のコンピュータ上に配置可能である。更に別の例として、感情反応認識装置４２０と評価管理サーバ４３０は同一のコンピュータ上に配置可能である。
【００７２】
図５は、コンピュータ・システム５００の例を示すブロック図である。コンピュータ・システム５００は通信チャネル５２０へ接続されたプロセッサ５０５例えばインテル社製ペンティアム（登録商標）・プロセッサ、又はモトローラ社製ＰｏｗｅｒＰＣ（登録商標）プロセッサ等を含む。コンピュータ・システム５００は更に、各々通信チャネル５２０へ接続される、キーボード又はマウス等の入力装置５１０、ＣＲＴディスプレイ等の出力装置５１５、通信装置５２５、磁気ディスク装置等のデータ記憶装置５３０、ランダム・アクセス・メモリ（ＲＡＭ）等のメモリ５３５を含む。通信インタフェース５３５はインターネットとして共通に参照される広域ネットワーク等のネットワークへ接続される。データ記憶装置５３０とメモリ５３５は異なるユニットとして図示してあるが、データ記憶装置５３０とメモリ５３５は同一ユニットの部分、分散ユニット、仮想メモリ等とすることが可能なことは当業者には理解されよう。
【００７３】
データ記憶装置５３０及び／又はメモリ５３５は、例えばマイクロソフト・ウィンドウズＮＴ（登録商標）又はウィンドウズ９５（登録商標）オペレーティング・システム（ＯＳ）、ＩＢＭ（登録商標） ＯＳ／２オペレーティング・システム、ＭＡＣ（登録商標） ＯＳ又はＵＮＩＸ（登録商標）オペレーティング・システム等のオペレーティング・システム５４０、及び／又はその他のプログラム５４５を格納できる。好適実施例は前述した以外のプラットホームとオペレーティング・システムでも実現され得ることは理解されよう。実施例はＪＡＶＡ（登録商標）、Ｃ、及び／又はＣ＋＋言語又はその他のプログラミング言語をつかって、オブジェクト指向プログラミング手法と併せて、書くことができる。オブジェクト指向プログラミング（ＯＯＰ）は複雑なアプリケーションの開発にますます使用されるようになってきた。
【００７４】
システム５００は、追加の情報例えばネットワーク接続、追加のメモリ、追加プロセッサ、ＬＡＮ、ハードウェアチャネル間で情報を転送するための入出力線、インターネット又はイントラネット等も含むことは当業者には理解されよう。またプログラムとデータは別の方法でシステムにより受信されシステム内に格納し得ることも当業者には理解されよう。例えば、コンピュータで読み取り可能な記憶媒体（ＣＲＳＭ）読取装置５５０、例えば磁気ディスクドライブ装置、ハードディスクドライブ装置、光磁気リーダ、ＣＰＵ等を通信バス５２０に接続しコンピュータで読み取り可能な記憶媒体（ＣＲＳＭ）５５５、例えば磁気ディスク、ハードディスク、光磁気ディスク、ＲＡＭ等を読み取ることができる。したがって、システム５００はＣＲＳＭ読取装置５５０経由でプログラム及び／又はデータを受信する。更に、本明細書において術語「メモリ」は永久又は一時を問わず全てのデータ記憶媒体を包含することを意図していることは理解されよう。
【００７５】
図６は、本発明の実施例によるバイオメトリック・データを捕捉使用して製品を評価しまた消費者の意見データベースを構築する方法６００を示すフローチャートである。方法６００はステップ６０５から開始し、利用可能なコンテンツ／タイトルのリストの要求をコンテンツ提供サーバへ送信しコンテンツ提供サーバからリストを取得する。ステップ６１０では、各々のコンテンツ／タイトルに関連した評価情報（すなわちフィードバック、バイオメトリック又は反応情報）の要求を評価管理サーバへ送信し、評価情報を評価管理サーバから受信する。ステップ６１５では、利用可能なコンテンツ／タイトルのリストとこれに対応する評価情報をユーザへ表示する。ステップ６２０では、ユーザがコンテンツ・セレクタを使用して特定のコンテンツ／タイトルを選択する。コンテンツ・セレクタは何らかの入力捕捉装置例えばキーボード、リモコン、マウス、音声コマンド・インタフェース、タッチスクリーン等を使用できる。ステップ６２５では、選択したコンテンツ／タイトルの要求をコンテンツ提供サーバへ送信する。ステップ６３０では、コンテンツをユーザへ表示しつつ、感情反応認識装置によってユーザの感情及び／又は感情レベルを捕捉する。ステップ６３５では、感情及び／又は感情レベルが例えばコンテンツのタイトルと一緒に評価管理サーバへ送信される。ここで方法６００は終了する。
【００７６】
図７は本発明の第３の実施例による通信及びコンテンツ・サービス・システムを示す。通信及びコンテンツ・サービス・システムは複数の移動体端末７０１と通信及びコンテンツ提供サーバ７１１とを含む。移動体端末７０１とサーバ７１１の間の通信として無線通信を使用する。
【００７７】
移動体端末７０１は、通信機能７０２及びコンテンツ提供機能７０３を有する。通信機能７０２は、携帯電話のような音声と電子メールのようなテキストデータとを使用することにより通信する機能を含む。コンテンツ提供機能７０３は、映画、テレビ番組を表示したりラジオを鳴らす機能を含む。また移動体端末７０１は、更に感情反応認識機能７０４と評価管理クライアント機能７０５も含む。基本的に、感情反応認識機能７０４の機能は感情反応認識装置４２０と同様のコンポーネントを含み同様の方法で動作し、また評価管理クライアント機能７０５は評価管理クライアント４１５と同様のコンポーネントを含み同様の方法で動作する。移動体端末７０１は、プロセッサ、メモリ、及びディスプレイ装置と入力装置等を備え、これらの機能７０２，７０３，７０４，７０５はハードウェア又はソフトウェアで実現される。移動体端末７０１はその他のアプリケーションをメモリに記憶してプロセッサにより実行することができる。
【００７８】
通信及びコンテンツ提供サーバ７１１は、通信管理機能７１２とコンテンツ提供管理機能７１３とを有する。通信管理機能７１２の機能は移動体端末７０１間の通信を管理する。また、通信及びコンテンツ提供サーバ７１１が移動体端末７０１からコンテンツ要求を受信した時、通信管理機能７１２がコンテンツ提供管理機能７１３を実行する。コンテンツ提供管理機能７１３は、評価管理サーバ４３０及びコンテンツ提供サーバ４６０と同様のコンポーネントを含み同様の方法で動作する。通信及びコンテンツ提供サーバ７１１は、プロセッサ、メモリ、及びディスプレイ装置と入力装置等を備え、これらの機能７１２と７１３はハードウェア又はソフトウェアで実現される。
【００７９】
通信及びコンテンツ提供サーバ７１１は、データベース７２０へ接続される。データベース７２０はコンテンツと、各々のコンテンツに対応する各々の感情の評価点数（パーセンテージ又はその他のスケールで）を格納する。
【００８０】
さらに詳しく説明すると、あるコンテンツの所定の時刻に於ける各々の感情の評価点数が、図８に図示してあるようにして、データベース７２０に格納される。
【００８１】
図９は、ユーザがコンテンツを鑑賞又は聴取している時の移動体端末７０１と通信及びコンテンツ提供サーバ７１１の間のデータ通信の例を示す。
【００８２】
ユーザがコンテンツを鑑賞又は聴取する際には、ユーザは移動体端末７０１のコンテンツ提供機能７０３を実行する。コンテンツ提供機能７０３は評価管理クライアント機能７０５を実行する。評価管理クライアント機能７０５は、コンテンツ要求を通信及びコンテンツ提供サーバ７１１へ送信する（９０１）。サーバ７１１が要求を受信すると、通信管理機能７１２がコンテンツ提供管理機能７１３を実行する。
【００８３】
コンテンツ提供管理機能７１３は、図１０に図示したような表を生成する（９０２）。表は、コンテンツと、データベース７２０に格納されているデータに基づいて各々のコンテンツについての各々の感情の評価点数とを含む。図１０に図示したようなスコアは所定の評価点を越える時間の割合を示す。例えば、映画１の面白さは所定の評価点数を越える時間が全体の１０％であることを意味する。コンテンツ提供管理機能７１３は表を移動体端末７０１に送信する（９０３）。移動体端末７０１は画面上に表を表示する（９０４）。移動体端末７０１のユーザはコンテンツ又は「面白い」、「スリリング」等の感情を選択できる（９０５）。ユーザが感情の一つを選択すると、ユーザは所定のレベルを越えたコンテンツの場面を鑑賞及び／又は聴取できる。例えば、ユーザが感情の一つである「面白い」を選択した場合、ユーザは所定のレベルを越えるコンテンツの面白い場面を鑑賞及び／又は聴取できる。評価管理クライアント機能７０５は、コンテンツと選択された感情の情報を通信及びコンテンツ提供サーバ７１１へ送信する（９０６）。サーバ７１１のコンテンツ提供管理機能７１３は、選択された感情が所定のレベルを越える場面をデータベース７２０から検索し（９０７）、移動体端末７０１へ検索した場面を送信する（９０８）。評価管理クライアント機能７０７が場面を受信すると、評価管理クライアント機能は移動体端末７０１の画面上に場面を再生するための再生ボタンを表示する（９０９）。
【００８４】
ユーザがコンテンツの一つを選択した場合、ユーザはそのコンテンツを鑑賞及び／又は聴取できる。評価管理クライアント機能７０５は選択されたコンテンツの情報を通信及びコンテンツ提供サーバ７１１へ送信する（９０６）。サーバ７１１のコンテンツ提供管理機能７１３はデータベースからコンテンツを検索し（９０７）、移動体端末７０１へ検索したコンテンツを送信する（９０８）。評価管理クライアント機能７０７がコンテンツを受信すると、評価管理クライアント機能７０７は移動体端末７０１の画面上にコンテンツを再生するための再生ボタンを表示する（９０９）。
【００８５】
再生ボタンをユーザが選択した場合、評価管理クライアント機能７０５は感情反応認識機能７０４を実行して移動体端末７０１の画面上にコンテンツを表示する（９１０）。感情反応認識機能７０４は一次バイオメトリクスを捕捉する。移動体端末７０１はカメラ、マイクロホン、及びセンサーを備える。カメラはユーザの表情を捉え、マイクロホンはユーザの声を捉え、センサーは握りの強さ及び／又はユーザの手の汗を捉える。例えば、ユーザがコンテンツでスリルを感じている場合、握りは強い握りになり手掌は汗ばんでくる。感情反応認識機能７０４はカメラ、マイクロホン、センサーによって捕捉された情報に基づいて、二次バイオメトリクスとして一般的感情及び／又は感情レベルを生成する（９１１）。感情反応認識機能７０４は、感情及び／又は感情レベルを、コンテンツとコンテンツの時刻を特定するためのインデックスと関連付け、また移動体端末７０１のメモリに格納する。評価管理クライアント機能７０５は感情、感情レベル、コンテンツ、時刻をメモリから所定の時間間隔で読み取り、これらを通信及びコンテンツ提供サーバ７１１へ送信する（９１２）。
【００８６】
コンテンツ提供管理機能７１３は、感情、感情レベル、コンテンツとコンテンツの時刻を指定するインデックスに基づいてデータベース７２０の感情の評価点数を更新する（９１３）。コンテンツ提供管理機能７１３が要求を受信すると、コンテンツ提供管理機能７１３は感情の更新された評価点数に基づいて表を生成し、表を移動体端末７０１へ送信する。
【００８７】
更に、感情情報の付いた広告をデータベース７２０に保存することができる。サーバ７１１のコンテンツ提供管理機能７１３がコンテンツと選択された感情の情報を評価管理クライアント機能７０５から受信すると、コンテンツ提供管理機能７１３は選択された感情に一致する広告を検索し、コンテンツと一緒に検索された広告を移動体端末７０１へ送信する。移動体端末はコンテンツを表示する前に受信した広告を表示する。したがって、システムはユーザの感情に合わせた広告を提供することができる。
【００８８】
本発明の好適実施例の前述の説明は単なる例示であって、前述の実施例及び方法のその他の変化及び変更が前述の教示に鑑みて可能である。例えば、図面の各々でコンポーネントの各々は単一のコンピュータ・システムへ組み込まなくても良い。コンポーネントの各々はネットワーク内で分散していても構わない。本明細書で記載した各種実施例はハードウェア、ソフトウェア、又はこれらの希望する組み合わせを用いて実現できる。その点で、本明細書で記載した各種機能を実現する能力のあるあらゆる種類の論理を使用できる。コンポーネントはプログラム済み汎用デジタル・コンピュータを用いて、特定用途集積回路を用いて、又は相互接続してある従来のコンポーネント及び回路のネットワークを使用して、実現することができる。接続は有線、無線、モデム等とすることができる。本明細書で説明した実施例は排他又は制限することを意図したものではない。本発明は以下の請求の範囲によってのみ制限されるものである。
【図面の簡単な説明】
【００８９】
【図１】本発明の実施例による感情反応認識装置を示すブロック図である。
【図２】本発明の実施例による感情反応認識装置とストレージ・システムを示すブロック図である。
【図３】本発明の実施例による感情反応認識装置と、ストレージ及び評価ネットワーク・システムとを示すブロック図である。
【図４】本発明の第２の実施例による感情反応認識装置と、ストレージ及び評価ネットワーク・システムとを示すブロック図である。
【図５】本発明の第１の実施例によるコンピュータ・システムを示すブロック図である。
【図６】本発明の実施例によるバイオメトリック・データを使用し捕捉して製品・サービス・創造的作業・又は事物を評価し、また消費者の意見のデータベースを設置する方法を示すフローチャートである。
【図７】コンテンツ提供システムを示すブロック図である。
【図８】データベースに格納されたデータの例である。
【図９】端末とサーバのデータ処理を示す略図である。
【図１０】ユーザに提供されるバイオメトリック・データの表の例である。
【符号の説明】
【００９０】
１００…感情反応認識装置、１０５…カメラ、１１０…顔面／虹彩表現認識装置、１１５…反応解釈装置、１２０…マイクロホン、１２５…音声表現認識装置、１３５…人、２００…感情反応認識装置及びストレージ・システム、２０２…感情反応認識装置、２０５…決定メカニズム及び反応解釈装置、２１０…映画／番組インデックス、２１５…評価管理サーバ、２２０…動的アップデート情報、３００…ネットワーク・システム、３０２…第１のコンテンツ提供兼バイオメトリック捕捉システム、３０４…第２のコンテンツ提供兼バイオメトリック捕捉システム、３１５…コンテンツ・セレクタ、３２０…ネットワーク、３２５…評価管理サーバ、３３０…広告費用推測装置、３３５…広告会社、３４０…感情反応認識装置３４５…モニタ、３５０…評価付きコンテンツ・セレクタ。
【特許請求の範囲】
【請求項１】
ある人がある製品を認識している間に前記ある人のバイオメトリック・データを、捕捉するように構成されたバイオメトリック捕捉装置と、
前記バイオメトリック・データに基づいた情報と前記製品に関する情報とを格納するための装置と
を含むことを特徴とするシステム。
【請求項２】
前記製品がビデオ・クリップを含むことを特徴とする請求項１に記載のシステム。
【請求項３】
前記製品に関する前記情報がビデオ・インデックスを含むことを特徴とする請求項２に記載のシステム。
【請求項４】
前記製品に関する前記情報が前記製品を含むことを特徴とする請求項１に記載のシステム。
【請求項５】
前記バイオメトリック・データが一次バイオメトリック・データと二次バイオメトリック・データの少なくとも一方を含むことを特徴とする請求項１に記載のシステム。
【請求項６】
前記バイオメトリック・データは顔の表情、声の表現、虹彩情報、身振り言語、発汗レベル、心拍情報、無関係な会話、及び関連のある会話のグループから少なくとも一つの表現を含むことを特徴とする請求項１に記載のシステム。
【請求項７】
前記バイオメトリック捕捉装置はマイクロホン、カメラ、サーモメータ、心拍モニタ、及びＭＲＩ装置の少なくとも一つを含むことを特徴とする請求項１に記載のシステム。
【請求項８】
前記バイオメトリック捕捉装置は、更にバイオメトリック表現認識装置を含むことを特徴とする請求項７に記載のシステム。
【請求項９】
前記バイオメトリック・データに基づいた前記情報は、一次バイオメトリック情報、二次バイオメトリック情報、及び反応評価メトリック情報の少なくとも一つを含むことを特徴とする請求項１に記載のシステム。
【請求項１０】
バイオメトリック・データを感情として解釈するための決定メカニズム及び反応解釈装置を更に含むことを特徴とする請求項１に記載のシステム。
【請求項１１】
前記バイオメトリック・データに基づいて広告の費用を推定するための広告推定装置を更に含むことを特徴とする請求項１に記載のシステム。
【請求項１２】
前記バイオメトリック・データに基づいた前記情報と前記製品に関する前記情報を別の人が参照できるようにする参照装置を更に含むことを特徴とする請求項１に記載のシステム。
【請求項１３】
ある人がある製品を認識している間にバイオメトリック情報を捕捉するステップと、
前記バイオメトリック情報に基づく情報と前記製品に関する情報とを将来の使用のためにデータベース内に格納するステップと、
を含むことを特徴とする方法。
【請求項１４】
前記製品がビデオ・クリップを含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記製品に関する前記情報がビデオ・インデックスを含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記製品に関する前記情報が前記製品を含むことを特徴とする請求項１３に記載の方法。
【請求項１７】
前記バイオメトリック・データが一次バイオメトリック・データと二次バイオメトリック・データの少なくとも一方を含むことを特徴とする請求項１３に記載の方法。
【請求項１８】
前記バイオメトリック・データは顔の表情、声の表現、虹彩情報、身振り言語、発汗レベル、心拍情報、無関係な会話、及び関連のある会話のグループから少なくとも一つの表現を含むことを特徴とする請求項１３に記載の方法。
【請求項１９】
前記バイオメトリック・データに基づいた前記情報は、一次バイオメトリック情報、二次バイオメトリック情報、及び反応評価メトリック情報の少なくとも一つを含むことを特徴とする請求項１３に記載の方法。
【請求項２０】
前記バイオメトリック・データを感情及び／又は感情レベルとして認識するステップを更に含むことを特徴とする請求項１３に記載の方法。
【請求項２１】
前記バイオメトリック・データに基づいた広告の費用を推定するステップを更に含むことを特徴とする請求項１３に記載の方法。
【請求項２２】
前記バイオメトリック・データに基づいた前記情報と前記製品に関する前記情報を別の人が参照できるようにするステップを更に含むことを特徴とする請求項１３に記載の方法。
【請求項２３】
ある人がある製品を認識している間にバイオメトリック情報を捕捉するための手段と、
前記バイオメトリック情報に基づいた情報と前記製品に関する情報とを将来の使用のために格納するデータベースと、
を含むことを特徴とするシステム。
【請求項２４】
ユーザにコンテンツを提示し、前記ユーザのバイオメトリック情報を捕捉し、サーバへ前記捕捉したバイオメトリック情報を送信するための少なくとも１台の装置と、
前記コンテンツと前記コンテンツに対応してあらかじめ取得してあるバイオメトリック情報を格納し、前記コンテンツと前記あらかじめ取得してあるバイオメトリック情報を前記少なくとも１台の装置へ提供し、前記少なくとも１台の装置から前記ユーザの前記捕捉したバイオメトリック情報を受信し、前記少なくとも１台の装置から受信した前記捕捉したバイオメトリック情報に基づいて前記あらかじめ取得してあるバイオメトリック情報を更新するためのサーバと
を含むことを特徴とするコンテンツ提供システム。
【請求項１】
ある人がある製品を認識している間に前記ある人のバイオメトリック・データを、捕捉するように構成されたバイオメトリック捕捉装置と、
前記バイオメトリック・データに基づいた情報と前記製品に関する情報とを格納するための装置と
を含むことを特徴とするシステム。
【請求項２】
前記製品がビデオ・クリップを含むことを特徴とする請求項１に記載のシステム。
【請求項３】
前記製品に関する前記情報がビデオ・インデックスを含むことを特徴とする請求項２に記載のシステム。
【請求項４】
前記製品に関する前記情報が前記製品を含むことを特徴とする請求項１に記載のシステム。
【請求項５】
前記バイオメトリック・データが一次バイオメトリック・データと二次バイオメトリック・データの少なくとも一方を含むことを特徴とする請求項１に記載のシステム。
【請求項６】
前記バイオメトリック・データは顔の表情、声の表現、虹彩情報、身振り言語、発汗レベル、心拍情報、無関係な会話、及び関連のある会話のグループから少なくとも一つの表現を含むことを特徴とする請求項１に記載のシステム。
【請求項７】
前記バイオメトリック捕捉装置はマイクロホン、カメラ、サーモメータ、心拍モニタ、及びＭＲＩ装置の少なくとも一つを含むことを特徴とする請求項１に記載のシステム。
【請求項８】
前記バイオメトリック捕捉装置は、更にバイオメトリック表現認識装置を含むことを特徴とする請求項７に記載のシステム。
【請求項９】
前記バイオメトリック・データに基づいた前記情報は、一次バイオメトリック情報、二次バイオメトリック情報、及び反応評価メトリック情報の少なくとも一つを含むことを特徴とする請求項１に記載のシステム。
【請求項１０】
バイオメトリック・データを感情として解釈するための決定メカニズム及び反応解釈装置を更に含むことを特徴とする請求項１に記載のシステム。
【請求項１１】
前記バイオメトリック・データに基づいて広告の費用を推定するための広告推定装置を更に含むことを特徴とする請求項１に記載のシステム。
【請求項１２】
前記バイオメトリック・データに基づいた前記情報と前記製品に関する前記情報を別の人が参照できるようにする参照装置を更に含むことを特徴とする請求項１に記載のシステム。
【請求項１３】
ある人がある製品を認識している間にバイオメトリック情報を捕捉するステップと、
前記バイオメトリック情報に基づく情報と前記製品に関する情報とを将来の使用のためにデータベース内に格納するステップと、
を含むことを特徴とする方法。
【請求項１４】
前記製品がビデオ・クリップを含むことを特徴とする請求項１３に記載の方法。
【請求項１５】
前記製品に関する前記情報がビデオ・インデックスを含むことを特徴とする請求項１４に記載の方法。
【請求項１６】
前記製品に関する前記情報が前記製品を含むことを特徴とする請求項１３に記載の方法。
【請求項１７】
前記バイオメトリック・データが一次バイオメトリック・データと二次バイオメトリック・データの少なくとも一方を含むことを特徴とする請求項１３に記載の方法。
【請求項１８】
前記バイオメトリック・データは顔の表情、声の表現、虹彩情報、身振り言語、発汗レベル、心拍情報、無関係な会話、及び関連のある会話のグループから少なくとも一つの表現を含むことを特徴とする請求項１３に記載の方法。
【請求項１９】
前記バイオメトリック・データに基づいた前記情報は、一次バイオメトリック情報、二次バイオメトリック情報、及び反応評価メトリック情報の少なくとも一つを含むことを特徴とする請求項１３に記載の方法。
【請求項２０】
前記バイオメトリック・データを感情及び／又は感情レベルとして認識するステップを更に含むことを特徴とする請求項１３に記載の方法。
【請求項２１】
前記バイオメトリック・データに基づいた広告の費用を推定するステップを更に含むことを特徴とする請求項１３に記載の方法。
【請求項２２】
前記バイオメトリック・データに基づいた前記情報と前記製品に関する前記情報を別の人が参照できるようにするステップを更に含むことを特徴とする請求項１３に記載の方法。
【請求項２３】
ある人がある製品を認識している間にバイオメトリック情報を捕捉するための手段と、
前記バイオメトリック情報に基づいた情報と前記製品に関する情報とを将来の使用のために格納するデータベースと、
を含むことを特徴とするシステム。
【請求項２４】
ユーザにコンテンツを提示し、前記ユーザのバイオメトリック情報を捕捉し、サーバへ前記捕捉したバイオメトリック情報を送信するための少なくとも１台の装置と、
前記コンテンツと前記コンテンツに対応してあらかじめ取得してあるバイオメトリック情報を格納し、前記コンテンツと前記あらかじめ取得してあるバイオメトリック情報を前記少なくとも１台の装置へ提供し、前記少なくとも１台の装置から前記ユーザの前記捕捉したバイオメトリック情報を受信し、前記少なくとも１台の装置から受信した前記捕捉したバイオメトリック情報に基づいて前記あらかじめ取得してあるバイオメトリック情報を更新するためのサーバと
を含むことを特徴とするコンテンツ提供システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２００６−１２１７１（Ｐ２００６−１２１７１Ａ）
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願番号】特願２００５−１８２９４５（Ｐ２００５−１８２９４５）
【出願日】平成１７年６月２３日（２００５．６．２３）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成１８年１月１２日（２００６．１．１２）
【国際特許分類】
【出願日】平成１７年６月２３日（２００５．６．２３）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]