視聴者識別に基づく映像配信サービス実現装置、映像配信サービス実現方法、映像配信サービス実現プログラムおよびそのプログラムを記録した記録媒体
【課題】煩わしい操作を行なうことなく、識別された視聴者の個人情報に基づいて視聴者のニーズに合致した映像を配信することができる視聴者識別に基づく映像配信サービス実現装置を提供する。
【解決手段】予め視聴者の個人情報と顔画像を登録し、該登録された視聴者の顔画像と、カメラ２により撮像され入力された視聴者の顔画像との類似度を調べて顔を識別し、視聴者識別結果情報を出力する画像処理装置３と、前記画像処理装置３により識別された視聴者識別結果情報をネットワーク５を介して映像配信装置６へ送信する機能と、該映像配信装置６から送信された映像データを映像表示装置１に表示させる機能を有した映像再生装置４と、前記映像再生装置４から送信された視聴者識別結果情報に基づいて、放映する映像を決定し、該決定された映像データを前記映像再生装置４に配信する映像配信装置６と、を備える。
【解決手段】予め視聴者の個人情報と顔画像を登録し、該登録された視聴者の顔画像と、カメラ２により撮像され入力された視聴者の顔画像との類似度を調べて顔を識別し、視聴者識別結果情報を出力する画像処理装置３と、前記画像処理装置３により識別された視聴者識別結果情報をネットワーク５を介して映像配信装置６へ送信する機能と、該映像配信装置６から送信された映像データを映像表示装置１に表示させる機能を有した映像再生装置４と、前記映像再生装置４から送信された視聴者識別結果情報に基づいて、放映する映像を決定し、該決定された映像データを前記映像再生装置４に配信する映像配信装置６と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視聴者識別に基づいた映像サービスの実現方法、およびその装置に関するものである。
【背景技術】
【０００２】
従来の映像サービスは、下記の二通りに大別できる。
（１）テレビ放送に代表される、視聴者を特定せず不特定多数の一般視聴者に向けて映像を放映するもの。
（２）ビデオ・オン・デマンドやＹｏｕＴｕｂｅに代表される、視聴者が何らかのアクションを起こすことにより視聴者が要求した映像を放映するもの。
【０００３】
尚、従来、ビデオ・オン・デマンドサーバ装置として、例えば特許文献１に記載のものが提案されていた。また、本発明で利用する技術および本発明に関連する技術としては、特許文献２、非特許文献１〜７に記載のものがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−１８１９６９号公報
【特許文献２】特開２００９−１５７７６７号公報
【非特許文献】
【０００５】
【非特許文献１】安藤慎吾、草地良規、鈴木章、荒川賢一、“サポートベクトル回帰を用いた三次元物体の姿勢推定法”、電子情報通信学会論文誌Ｄ、２００６年８月、Ｖｏｌ．Ｊ８９−Ｄ Ｎｏ．８、ｐｐ．１８４０−１８４７
【非特許文献２】安藤慎吾、鈴木章、高橋裕子、安野貴之、“同時確率増分符号相関による高速物体検出・識別”、「画像の認識・理解シンポジウム（ＭＩＲＵ２００７）」、２００７年７月
【非特許文献３】三田雄志、金子敏充、堀修、“個体差のある対象の画像照合に適した確率的増分符号相関”、電子情報通信学会論文誌Ｄ−II、２００５年８月、Ｖｏｌ．Ｊ８８−Ｄ−II Ｎｏ．８、ｐｐ．１６１４−１６２３
【非特許文献４】斉藤文彦、“ブロック照合投票処理を用いた遮へいに強い画像マッチング”、電子情報通信学会論文誌Ｄ−II、２００１年１０月、Ｖｏｌ．Ｊ８４−Ｄ−II Ｎｏ．１０、ｐｐ．２２７０−２２７９
【非特許文献５】赤松茂、“コンピュータによる顔の認識―サーベイ―”、電子情報通信学会論文誌Ｄ−II、１９９７年８月、Ｖｏｌ．Ｊ８０−Ｄ−II Ｎｏ．８、ｐｐ．２０３１−２０４６
【非特許文献６】Ｙｏｓｈｉｋｏ Ｓｕｇａｙａ、Ｓｈｉｎｇｏ Ａｎｄｏ、Ａｋｉｒａ Ｓｕｚｕｋｉ、Ｈｉｄｅｋｉ Ｋｏｉｋｅ、“３Ｄ ＦＡＣＥ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ ＦＲＯＭ ＲＯＴＡＴＩＯＮＡＬ ＭＯＴＩＯＮ”、ＩＷＡＩＴ２００９．
【非特許文献７】瀧川えりな、細井聖、“顔画像による自動性別・年代推定”、ＯＭＲＯＮ ＴＥＣＨＮＩＣＳ、２００３年、Ｖｏｌ．４３ Ｎｏ．１（通巻１４５号）、ｐｐ．３７−４１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の映像サービスは次のような問題点がある。
【０００７】
（１）の方法は、特定の個人に向けた映像を放映していないため、必ずしも視聴者のニーズに合致した映像を放映しているとは限らない。また、広告を目的とした映像（広告映像）を放映する場合にも、例えば高齢者をターゲットとした商品の広告映像を若年視聴者に向けて放映してしまうなど、当該視聴者をターゲットとした広告が放映されるとは限らず、効果のないあるいは効果の薄い広告映像を放映してしまう可能性がある。
【０００８】
（２）の方法は、視聴者は自分のニーズに合致した映像を取得することが可能であるが、欲しい映像を要求するためのアクションが視聴者にとって煩わしい操作であり、またその操作方法を知らない場合には、自分のニーズに合致した映像を取得することができない。また広告映像は、視聴者が自ら要求して取得するものではないことが多いので、（２）の方法は広告映像を放映するには不向きである。
【０００９】
上述した従来の方法は、視聴者のニーズに沿った映像、または当該視聴者をターゲットにした広告映像を、視聴者を煩わせることなく放映することができないという問題がある。
【００１０】
本発明は上記課題を解決するものであり、その目的は、煩わしい操作を行なうことなく、識別された視聴者の個人情報に基づいて視聴者のニーズに合致した映像を配信することができる視聴者識別に基づく映像配信サービス実現装置、方法、プログラム、記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するための本発明の視聴者識別に基づく映像配信サービス実現装置は、予め視聴者の個人情報と顔画像を登録し、該登録された視聴者の顔画像と、撮像手段により撮像され入力された視聴者の顔画像との類似度を調べて顔を識別し、視聴者識別結果情報を出力する顔画像認識手段と、前記顔画像認識手段により識別された視聴者識別結果情報を映像配信手段へ送信する機能と、該映像配信手段から送信された映像データを映像表示手段に表示させる機能を有した映像再生手段と、前記映像再生手段から送信された視聴者識別結果情報に基づいて、放映する映像を決定し、該決定された映像データを前記映像再生手段に配信する映像配信手段と、を備えたことを特徴としている。
【発明の効果】
【００１２】
本発明によれば、例えば映像表示機器近傍に設置されたカメラで取得した画像を用いて視聴者を識別し、識別された視聴者の個人情報にもとづき映像が配信されることが可能である。そのため、視聴者のニーズに合致した映像を放映することが可能となり、特に広告を目的とした映像を配信する場合に、視聴者の年齢性別などの属性に合致した広告映像を配信できることとなり、広告効果を高めることができる。また、視聴者は一度顔画像を登録してしまえば、その後映像を要求するためのアクションを何も必要とされず、顔をカメラ近傍のテレビなどの映像表示装置に向けているだけでよいため、煩わしい操作をする必要がなくなる。
【図面の簡単な説明】
【００１３】
【図１】本発明の視聴者識別に基づく映像配信サービス実現装置の実施形態例の全体を示す構成図。
【図２】本発明の実施形態例における画像処理装置の構成を示すブロック図。
【図３】本発明の実施形態例における映像表示装置の登録用ウィンドウの表示例を示す説明図。
【図４】本発明の実施形態例における顔画像登録処理のフローチャート。
【図５】本発明の実施形態例における顔識別処理のフローチャート。
【図６】本発明の実施形態例における映像配信装置の構成を示すブロック図。
【図７】本発明の実施形態例における映像配信処理のフローチャート。
【図８】本発明の実施形態例における映像制御処理の例１を示す説明図。
【図９】本発明の実施形態例における映像制御処理の例２を示す説明図。
【図１０】本発明の実施形態例における映像制御処理の例３を示す説明図。
【図１１】本発明の実施形態例における映像制御処理の例４を示す説明図。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００１５】
図１は、本発明の視聴者識別に基づく映像サービス実現装置の実施形態例を示す構成図である。視聴者はテレビモニタ等の映像表示装置１（映像表示手段）に向かって映像を視聴している。映像表示装置１近傍には１台または複数台のカメラ２（撮像手段）が設置されており、視聴者の顔を撮影している。カメラ２は無線あるいは有線のネットワークによって顔画像認識機能を備えた画像処理装置３（顔画像認識手段）に接続されており、画像処理装置３ではカメラ画像を使い視聴者を識別する。
【００１６】
画像処理装置３は、セットトップボックス等の映像再生装置４（映像再生手段）に内在するか接続しており、視聴者の顔画像を登録する場合には映像表示装置１に登録作業用のウィンドウを表示する。また、画像処理装置３から出力される視聴者識別結果（視聴者識別結果情報）は映像再生装置４を経由して、ネットワーク５を使って映像を配信する放送局の映像配信装置６（映像配信手段）に送信される。映像配信装置６は前記視聴者識別結果にもとづき映像配信をコントロールし、視聴者に応じた映像データを映像再生装置４に配信する。映像再生装置４では受領した映像データを映像表示装置１に表示する。
【００１７】
尚映像表示装置１は、例えばコンピュータ端末のディスプレイなどで構成される。
【００１８】
図２は、画像処理装置３の構成を示すブロック図である。画像処理装置３は顔画像登録部３１と顔識別部３２を備えている。顔識別部３２ではカメラ画像から人物の顔領域を検出し、顔画像登録部３１において事前に登録されている顔画像と照合することによって、視聴者を識別する（例えば特許文献２で説明されている方法を用いて識別する）。顔識別部３２からは、処理のタイミングごとに、視聴者識別結果（ユーザ名、性別、生年月日などの視聴者個人情報）が出力される。複数人が検出、識別された場合には、複数の視聴者識別結果が出力される。また、視聴者の顔画像を登録していない場合など、顔検出はされたが識別できない場合には、顔検出数のみが出力される。
【００１９】
顔画像登録部３１は、視聴者から入力された個人情報と前記カメラ２により撮像された視聴者の顔画像を登録し、識別用データを作成するものであり、特許文献２に記載の登録用画像入力部１１、顔検出部１２、顔姿勢推定部１３、顔再切り出し部１４、顔形状再構成部１５および登録顔記憶部１６を備えている。
【００２０】
顔識別部３２は、前記カメラ２により撮像された視聴者の認識用の顔画像を入力し、前記入力された認識用の顔画像から顔のある領域を検出し、前記検出された顔領域をもとに顔の姿勢を推定し、前記顔画像登録部３１で作成された識別用データが示す視聴者の顔画像を、前記推定された顔の姿勢と同じ姿勢になるように回転させた顔画像と、前記入力された認識用の顔画像との類似度を調べて顔を識別し、視聴者の識別結果情報を出力するものであり、特許文献２に記載の認識用画像入力部１７、顔検出部１８、顔姿勢推定部１９、顔再切り出し部２０、登録顔回転部２１、顔識別部２２および結果出力部２３を備えている。
【００２１】
顔識別部３２に関連する技術としては、非特許文献１〜５に記載のものがある。
【００２２】
本実施例では、上記非特許文献１および非特許文献２に記載の技術を利用し、顔識別を行うものとするが、これに限るものではない。本実施例では、まず非特許文献１の手法を応用し、あらかじめ用意されている顔検出および姿勢推定用のデータを用いて、画像から人物の顔領域の検出と当該顔の姿勢推定を実施する。次に非特許文献２の手法を応用し、あらかじめ用意されている視聴者の顔画像を用いて、検出された顔の個人識別を実施する。このとき、推定されている姿勢にもとづき、当該姿勢の視聴者顔画像を用いることで、精度の高い個人識別が可能となる。
【００２３】
顔画像登録部３１では、識別させたい視聴者の顔画像を事前に登録する。登録作業は映像表示装置１に表示される登録用ウィンドウを用いて行なう。図３に、登録用ウィンドウの例を示す。個人情報表示部３１１では、視聴者のユーザ名、性別、生年月日を、キーボードやリモコンなどの文字入力用機器を用いて入力する。これら以外にも、年齢、趣味、居住地、血液型、職業、家族構成などの個人情報を入力することも考えられる。カメラ画像表示部３１２（撮像画像表示部）にはカメラ２で撮影されている映像がリアルタイムに表示されており、人物の頭部付近の形状を模倣した輪郭線または十字線などのガイドラインが重畳表示される。視聴者は自分の顔画像を登録する際、これらガイドラインを頭部の位置合わせのための補助線として使用する。
【００２４】
顔画像は正面向きだけを登録する方法、正面向きに加えて上下左右方向のさまざまな角度の顔を登録する方法があり、顔識別処理方法に依存する。本実施例では、上記非特許文献１および非特許文献２を利用して顔識別を行う方法を説明するものであり、正面向きに加えて上下左右向きの顔を登録する。顔画像の登録には複数の方法があり、最もシンプルな方法は、（１）カメラ画像表示部３１２を確認しながら、１枚ずつ所定の方向を向いた顔画像を手動で撮影し登録していく方法である。また別の方法としては、（２）顔識別部３２で使用する顔検出機能と顔姿勢推定機能を利用し、視聴者はカメラ前で顔を上下左右に動かすことにより、視聴者の顔領域を自動的に検出、姿勢推定し、該当する向きの顔画像として登録していく方法がある。本実施例では、後者（２）の方法を用いることとして説明するが、これに限るものではない。
【００２５】
登録顔画像表示部３１３には、登録した複数の顔画像が表示されており、視聴者は登録された顔画像が所定の角度の顔画像として適当なのか否か確認できる。不適当だと判断された場合には、その顔画像を削除し、再登録可能である。図３の例では、登録する顔画像の枚数は左右方向５枚×上下方向３枚の計１５枚であるが、左右方向７枚×上下方向３枚の計２１枚など、任意の枚数の顔画像を登録可能である。すべての向きの顔画像が登録されていない場合は、欠落している顔画像を、その近傍の向きの顔画像で流用する。また、登録顔画像表示部３１３には、登録させたい向きの顔画像例がコンピュータグラフィックスや写真などで例示されており、視聴者はどのような向きの顔画像を登録すべきなのか分かるよう工夫されている。
【００２６】
複数の顔画像を登録する別の方法として、（３）顔部分の３次元形状情報を取得し、そこから複数の姿勢の顔画像を再構成し、登録していく方法も考えられる。３次元形状情報の取得には、レーザやカメラを使った３次元デジタイザを使う方法の他、非特許文献６に記載の技術を使う方法がある。
【００２７】
尚、前記顔画像登録部３１で行われる処理のフローチャートは図４のとおりである。まず顔画像登録部３１はステップＳ１１において、キーボードやリモコンなどの文字入力用機器を用いて視聴者から入力される個人情報を入力する。
【００２８】
次に適当な画像が登録されるまで、図２で述べた顔画像登録処理が行われる（ステップＳ１２，Ｓ１３）。
【００２９】
次にステップＳ１４において、前記入力された個人情報と登録された顔画像に基づいて識別用データを作成する。
【００３０】
次にステップＳ１５において、他の視聴者を登録するか否かを判定し、ＹＥＳの場合はステップＳ１１に戻り、ＮＯの場合は処理を終了する。
【００３１】
また、前記顔識別部３２で行われる処理のフローチャートは図５のとおりである。まずステップＳ２１において、カメラ２で撮像された認識用の画像を入力する。
【００３２】
次にステップＳ２２において、顔検出用データを用いて、前記入力された認識用の画像から顔のある領域を、例えば非特許文献３に記載の手法を応用して検出する。
【００３３】
次にステップＳ２３において、顔姿勢推定用データを用いて、前記検出された顔領域について、例えば非特許文献１に記載の手法を応用して顔の姿勢を推定する。
【００３４】
次にステップＳ２４において、前記顔画像登録部３１により作成された識別用データを用いて、例えば特許文献２、非特許文献２に記載の手法を応用して、前記推定されている姿勢に基づいて前記検出された顔の視聴者識別を行って、その視聴者識別結果を出力する。
【００３５】
映像再生装置４は、ケーブルテレビのセットトップボックスや、ＩＰテレビのチューナなど、放送局から送信された映像データを映像表示装置１に表示するための装置であり、双方向通信機能を備える。画像処理装置３から出力される視聴者識別結果は、まず映像再生装置４に入力され、ネットワーク５を経由して放送局側に存在する映像配信装置６に送信される。送信のタイミングは任意であり、ネットワーク５や映像配信装置６のトラフィックを考慮して設定可能する。
【００３６】
映像配信装置６は、映像を配信する放送局に存在する映像データを配信するための装置であり、双方向通信機能を備える。図６に、映像配信装置６の構成例を示す。映像制御部６１は、映像再生装置４から送信された視聴者識別結果を受領する視聴者識別結果入力部６１１と、性別、年齢といった属性を判定する視聴者属性判定部６１２と、その判定結果から当該視聴者に対する放映リストを作成する放映リスト作成部６１３とを備えている。映像配信部６２は、映像制御部６１で作成された放映リストにもとづき、映像データベース６２１内の映像データを映像再生装置４へ配信する。
【００３７】
映像配信装置６で行なわれる処理のフローチャートは図７のとおりである。まずステップＳ３１において、視聴者属性判定部６１２が、視聴者識別結果入力部６１１に入力された視聴者識別結果について、視聴者の属性を判定する。
【００３８】
次にステップＳ３２において、放映リスト作成部６１３が、前記属性判定結果から当該視聴者に対する放映リストを作成する。
【００３９】
次にステップＳ３３において、映像配信部６２が、前記作成された放映リストに基づいて映像データを映像再生装置４へ配信する。
【００４０】
図８〜図１１に、映像制御部６１で行われる処理の例を示す。
【００４１】
図８は、「ユーザ名：電電父」が識別された例である。「電電父」には「性別：男、生年月日：１９７０年１月１日」という個人情報が付与されているとすると、視聴者識別結果入力部６１１には「ユーザ名：電電父、性別：男、生年月日：１９７０年１月１日」という視聴者識別結果が入力される。視聴者属性判定部６１２では、視聴者識別結果の性別と生年月日から視聴者属性を判定する。
【００４２】
視聴者属性の例としては、マーケティング分野等で使用されている、性別と年齢からなる８層の属性があり、具体的にはＣ層（４〜１２歳）、Ｔ層（１３〜１９歳）、Ｍ１層（男性２０〜３４歳）、Ｍ２層（男性３５〜４９歳）、Ｍ３層（男性５０歳〜）、Ｆ１層（女性２０〜３４歳）、Ｆ２層（女性３５〜４９歳）、Ｆ３層（女性５０歳〜）である。このほか、視聴者属性を性別のみで判定する方法、年齢を１０歳刻みで判定する方法、年齢をより大まかに３段階程度に分類して判定する方法など、視聴者属性を判定する方法は任意である。
【００４３】
図８の例では、男性かつ３９歳であることから、視聴者属性はＭ２層であると判定される。放映リスト作成部６１３では、判定された視聴者属性にもとづき、映像の配信リストを作成する。ここでは、コマーシャル映像を配信する場合を例として示す。放送局には配信予定のコマーシャル映像が１０本蓄積されており、各コマーシャルはターゲットとする視聴者属性が設定されているものとする。ＣＭリスト６１３１にその例を示す。ＣＭリスト６１３１には、Ｍ２層向けのコマーシャル映像が２本存在しており（ＣＭ＿Ｍ２（１）およびＣＭ＿Ｍ２（２））、視聴者の属性はＭ２層であることから、これら２本のコマーシャル映像が当該視聴者に配信する映像の候補となる。これら候補映像のうち、そのすべてを配信する方法、ランダムに選択された１本を配信する方法、配信する本数と順番をあらかじめ定めておきそのルールに従って配信する方法、などが考えられる。
【００４４】
図８の例はすべてを配信する方法を示しており、放映リスト６１３２にはＣＭ＿Ｍ２（１）およびＣＭ＿Ｍ２（２）が設定される。放映の順番はランダムに設定する方法、またはあらかじめ決められた順に設定する方法があるが、ここではあらかじめ決められた順番（ＣＭ名の括弧内の数字が放映順の優先度を表す）に放映するよう、放映リストに設定する例を示す。
【００４５】
図９の例では、視聴者が２名識別されており、図８で説明した例と同様にして、視聴者属性はＭ２層およびＣ層と判別される。この場合、２名の視聴者の属性に対応したコマーシャル映像である４本（ＣＭ＿Ｃ（１）、ＣＭ＿Ｃ（２）、ＣＭ＿Ｍ２（１）、ＣＭ＿Ｍ２（２））が視聴者に配信する映像の候補となる。映像の候補が複数の属性にまたがる場合、放映の順番をランダムに設定する方法と、あらかじめ決められたルールに従って設定する方法があり、ここでは放映順を決める際、Ｆ１層＞Ｆ２層＞Ｆ３層＞Ｍ１層＞Ｍ２層＞Ｍ３層＞Ｔ層＞Ｃ層という属性の優先度の関係性を使うこととする。
【００４６】
すなわち、図９の例では、Ｍ２層向けの映像のほうがＣ層向けの映像よりも優先度が高くなり、放映リストに並ぶ順番はＭ２層向けの映像が先に設定される。次に、各属性に割り当てられた複数のコマーシャル映像の放映順番を決めることになるが、ここでは図８の例と同様、あらかじめ決められたルール（ＣＭ名の括弧内の数字が放映順の優先度を表す）に従って放映することとし、放映リスト６１３２はＣＭ＿Ｍ２（１）、ＣＭ＿Ｍ２（２）、ＣＭ＿Ｃ（１）、ＣＭ＿Ｃ（２）と設定される。
【００４７】
図１０の例では、視聴者は２名検出されているが、顔画像が未登録または識別処理に失敗などの理由により、ユーザ名が「不明」である。このような場合には、視聴者属性判定部６１２での処理はスキップされ、放映リスト作成部６１３での処理に移る。この場合、ＣＭリスト６１３１に存在するすべての映像が配信候補となる。これら映像の中から、何をどのような順番で配信するかについては、ランダムに配信する方法、属性ごとに１本ずつランダムに配信する方法、あらかじめ決められたルールに従って配信する方法などが考えられるが、ここでは図９の例で説明した視聴者属性の優先度を表す関係性にしたがい、ＣＭリストに存在するすべてのコマーシャル映像を放映リストに設定することとする。
【００４８】
図１１の例では、視聴者は２名検出されているが、そのうちの１名は「不明」である。識別されている「電電母」の属性はＦ１層と判定され、「不明」視聴者の属性判定はスキップされる。放映リスト作成部６１３では、Ｆ１層をターゲットとしたコマーシャル映像であるＣＭ＿Ｆ１（１）が放映リスト６１３２に設定される。
【００４９】
なお、上記説明した実施例では、視聴者識別ができなかった場合に視聴者属性判定部６１２での処理をスキップしているが、顔画像から年齢と性別を推定し、これにもとづき視聴者属性を判定する方法もある。顔画像から年齢性別を推定する方法に関しては、非特許文献７に記載の技術がある。
【００５０】
また、上記説明した映像制御部６１での処理例では、視聴者の属性のみを使用して配信する映像を制御しているが、年齢性別以外の視聴者個人情報を用いて制御する方法、視聴者の数を用いて制御する方法、連続視聴時間を用いて制御する方法、時刻や時間帯を用いて制御する方法、などの実施例も考えられる。
【００５１】
また、放映リスト６１３２を作成するタイミングについては、視聴者識別結果が入力される度に実施する方法、すでに作成済みの放映リストに設定された映像がすべて放映された後に実施する方法などが考えられる。
【００５２】
また、映像配信装置６では、ネットワーク５を経由して複数の家庭から送信されてくる視聴者識別結果を集計することにより、視聴者数や視聴率を測定することも可能である。この場合、視聴者数や視聴率は、視聴者個人情報を用い、属性別に集計することも可能である。また、映像配信装置６は、視聴者識別結果、視聴者数、視聴率をグラフ形式で表示したり、表形式で表示したりする機能を有することも考えられる。
【００５３】
また、本実施形態の視聴者識別に基づく映像配信サービス実現装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の視聴者識別に基づく映像配信サービス実現方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【符号の説明】
【００５４】
１…映像表示装置
２…カメラ
３…画像処理装置
４…映像再生装置
５…ネットワーク
６…映像配信装置
１１…登録用画像入力部
１２、１８…顔検出部
１３、１９…顔姿勢推定部
１４、２０…顔再切り出し部
１５…顔形状再構成部
１６…登録顔記憶部
１７…認識用画像入力部
２１…登録顔回転部
２２…顔識別部
２３…結果出力部
６１…映像制御部
６２…映像配信部
３１１…個人情報表示部
３１２…カメラ画像表示部
３１３…登録顔画像表示部
６１１…視聴者識別結果入力部
６１２…視聴者属性判定部
６１３…放映リスト作成部
６２１…映像データベース
６１３１…ＣＭリスト
６１３２…放映リスト
【技術分野】
【０００１】
本発明は、視聴者識別に基づいた映像サービスの実現方法、およびその装置に関するものである。
【背景技術】
【０００２】
従来の映像サービスは、下記の二通りに大別できる。
（１）テレビ放送に代表される、視聴者を特定せず不特定多数の一般視聴者に向けて映像を放映するもの。
（２）ビデオ・オン・デマンドやＹｏｕＴｕｂｅに代表される、視聴者が何らかのアクションを起こすことにより視聴者が要求した映像を放映するもの。
【０００３】
尚、従来、ビデオ・オン・デマンドサーバ装置として、例えば特許文献１に記載のものが提案されていた。また、本発明で利用する技術および本発明に関連する技術としては、特許文献２、非特許文献１〜７に記載のものがある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−１８１９６９号公報
【特許文献２】特開２００９−１５７７６７号公報
【非特許文献】
【０００５】
【非特許文献１】安藤慎吾、草地良規、鈴木章、荒川賢一、“サポートベクトル回帰を用いた三次元物体の姿勢推定法”、電子情報通信学会論文誌Ｄ、２００６年８月、Ｖｏｌ．Ｊ８９−Ｄ Ｎｏ．８、ｐｐ．１８４０−１８４７
【非特許文献２】安藤慎吾、鈴木章、高橋裕子、安野貴之、“同時確率増分符号相関による高速物体検出・識別”、「画像の認識・理解シンポジウム（ＭＩＲＵ２００７）」、２００７年７月
【非特許文献３】三田雄志、金子敏充、堀修、“個体差のある対象の画像照合に適した確率的増分符号相関”、電子情報通信学会論文誌Ｄ−II、２００５年８月、Ｖｏｌ．Ｊ８８−Ｄ−II Ｎｏ．８、ｐｐ．１６１４−１６２３
【非特許文献４】斉藤文彦、“ブロック照合投票処理を用いた遮へいに強い画像マッチング”、電子情報通信学会論文誌Ｄ−II、２００１年１０月、Ｖｏｌ．Ｊ８４−Ｄ−II Ｎｏ．１０、ｐｐ．２２７０−２２７９
【非特許文献５】赤松茂、“コンピュータによる顔の認識―サーベイ―”、電子情報通信学会論文誌Ｄ−II、１９９７年８月、Ｖｏｌ．Ｊ８０−Ｄ−II Ｎｏ．８、ｐｐ．２０３１−２０４６
【非特許文献６】Ｙｏｓｈｉｋｏ Ｓｕｇａｙａ、Ｓｈｉｎｇｏ Ａｎｄｏ、Ａｋｉｒａ Ｓｕｚｕｋｉ、Ｈｉｄｅｋｉ Ｋｏｉｋｅ、“３Ｄ ＦＡＣＥ ＲＥＣＯＮＳＴＲＵＣＴＩＯＮ ＦＲＯＭ ＲＯＴＡＴＩＯＮＡＬ ＭＯＴＩＯＮ”、ＩＷＡＩＴ２００９．
【非特許文献７】瀧川えりな、細井聖、“顔画像による自動性別・年代推定”、ＯＭＲＯＮ ＴＥＣＨＮＩＣＳ、２００３年、Ｖｏｌ．４３ Ｎｏ．１（通巻１４５号）、ｐｐ．３７−４１
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の映像サービスは次のような問題点がある。
【０００７】
（１）の方法は、特定の個人に向けた映像を放映していないため、必ずしも視聴者のニーズに合致した映像を放映しているとは限らない。また、広告を目的とした映像（広告映像）を放映する場合にも、例えば高齢者をターゲットとした商品の広告映像を若年視聴者に向けて放映してしまうなど、当該視聴者をターゲットとした広告が放映されるとは限らず、効果のないあるいは効果の薄い広告映像を放映してしまう可能性がある。
【０００８】
（２）の方法は、視聴者は自分のニーズに合致した映像を取得することが可能であるが、欲しい映像を要求するためのアクションが視聴者にとって煩わしい操作であり、またその操作方法を知らない場合には、自分のニーズに合致した映像を取得することができない。また広告映像は、視聴者が自ら要求して取得するものではないことが多いので、（２）の方法は広告映像を放映するには不向きである。
【０００９】
上述した従来の方法は、視聴者のニーズに沿った映像、または当該視聴者をターゲットにした広告映像を、視聴者を煩わせることなく放映することができないという問題がある。
【００１０】
本発明は上記課題を解決するものであり、その目的は、煩わしい操作を行なうことなく、識別された視聴者の個人情報に基づいて視聴者のニーズに合致した映像を配信することができる視聴者識別に基づく映像配信サービス実現装置、方法、プログラム、記録媒体を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するための本発明の視聴者識別に基づく映像配信サービス実現装置は、予め視聴者の個人情報と顔画像を登録し、該登録された視聴者の顔画像と、撮像手段により撮像され入力された視聴者の顔画像との類似度を調べて顔を識別し、視聴者識別結果情報を出力する顔画像認識手段と、前記顔画像認識手段により識別された視聴者識別結果情報を映像配信手段へ送信する機能と、該映像配信手段から送信された映像データを映像表示手段に表示させる機能を有した映像再生手段と、前記映像再生手段から送信された視聴者識別結果情報に基づいて、放映する映像を決定し、該決定された映像データを前記映像再生手段に配信する映像配信手段と、を備えたことを特徴としている。
【発明の効果】
【００１２】
本発明によれば、例えば映像表示機器近傍に設置されたカメラで取得した画像を用いて視聴者を識別し、識別された視聴者の個人情報にもとづき映像が配信されることが可能である。そのため、視聴者のニーズに合致した映像を放映することが可能となり、特に広告を目的とした映像を配信する場合に、視聴者の年齢性別などの属性に合致した広告映像を配信できることとなり、広告効果を高めることができる。また、視聴者は一度顔画像を登録してしまえば、その後映像を要求するためのアクションを何も必要とされず、顔をカメラ近傍のテレビなどの映像表示装置に向けているだけでよいため、煩わしい操作をする必要がなくなる。
【図面の簡単な説明】
【００１３】
【図１】本発明の視聴者識別に基づく映像配信サービス実現装置の実施形態例の全体を示す構成図。
【図２】本発明の実施形態例における画像処理装置の構成を示すブロック図。
【図３】本発明の実施形態例における映像表示装置の登録用ウィンドウの表示例を示す説明図。
【図４】本発明の実施形態例における顔画像登録処理のフローチャート。
【図５】本発明の実施形態例における顔識別処理のフローチャート。
【図６】本発明の実施形態例における映像配信装置の構成を示すブロック図。
【図７】本発明の実施形態例における映像配信処理のフローチャート。
【図８】本発明の実施形態例における映像制御処理の例１を示す説明図。
【図９】本発明の実施形態例における映像制御処理の例２を示す説明図。
【図１０】本発明の実施形態例における映像制御処理の例３を示す説明図。
【図１１】本発明の実施形態例における映像制御処理の例４を示す説明図。
【発明を実施するための形態】
【００１４】
以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。
【００１５】
図１は、本発明の視聴者識別に基づく映像サービス実現装置の実施形態例を示す構成図である。視聴者はテレビモニタ等の映像表示装置１（映像表示手段）に向かって映像を視聴している。映像表示装置１近傍には１台または複数台のカメラ２（撮像手段）が設置されており、視聴者の顔を撮影している。カメラ２は無線あるいは有線のネットワークによって顔画像認識機能を備えた画像処理装置３（顔画像認識手段）に接続されており、画像処理装置３ではカメラ画像を使い視聴者を識別する。
【００１６】
画像処理装置３は、セットトップボックス等の映像再生装置４（映像再生手段）に内在するか接続しており、視聴者の顔画像を登録する場合には映像表示装置１に登録作業用のウィンドウを表示する。また、画像処理装置３から出力される視聴者識別結果（視聴者識別結果情報）は映像再生装置４を経由して、ネットワーク５を使って映像を配信する放送局の映像配信装置６（映像配信手段）に送信される。映像配信装置６は前記視聴者識別結果にもとづき映像配信をコントロールし、視聴者に応じた映像データを映像再生装置４に配信する。映像再生装置４では受領した映像データを映像表示装置１に表示する。
【００１７】
尚映像表示装置１は、例えばコンピュータ端末のディスプレイなどで構成される。
【００１８】
図２は、画像処理装置３の構成を示すブロック図である。画像処理装置３は顔画像登録部３１と顔識別部３２を備えている。顔識別部３２ではカメラ画像から人物の顔領域を検出し、顔画像登録部３１において事前に登録されている顔画像と照合することによって、視聴者を識別する（例えば特許文献２で説明されている方法を用いて識別する）。顔識別部３２からは、処理のタイミングごとに、視聴者識別結果（ユーザ名、性別、生年月日などの視聴者個人情報）が出力される。複数人が検出、識別された場合には、複数の視聴者識別結果が出力される。また、視聴者の顔画像を登録していない場合など、顔検出はされたが識別できない場合には、顔検出数のみが出力される。
【００１９】
顔画像登録部３１は、視聴者から入力された個人情報と前記カメラ２により撮像された視聴者の顔画像を登録し、識別用データを作成するものであり、特許文献２に記載の登録用画像入力部１１、顔検出部１２、顔姿勢推定部１３、顔再切り出し部１４、顔形状再構成部１５および登録顔記憶部１６を備えている。
【００２０】
顔識別部３２は、前記カメラ２により撮像された視聴者の認識用の顔画像を入力し、前記入力された認識用の顔画像から顔のある領域を検出し、前記検出された顔領域をもとに顔の姿勢を推定し、前記顔画像登録部３１で作成された識別用データが示す視聴者の顔画像を、前記推定された顔の姿勢と同じ姿勢になるように回転させた顔画像と、前記入力された認識用の顔画像との類似度を調べて顔を識別し、視聴者の識別結果情報を出力するものであり、特許文献２に記載の認識用画像入力部１７、顔検出部１８、顔姿勢推定部１９、顔再切り出し部２０、登録顔回転部２１、顔識別部２２および結果出力部２３を備えている。
【００２１】
顔識別部３２に関連する技術としては、非特許文献１〜５に記載のものがある。
【００２２】
本実施例では、上記非特許文献１および非特許文献２に記載の技術を利用し、顔識別を行うものとするが、これに限るものではない。本実施例では、まず非特許文献１の手法を応用し、あらかじめ用意されている顔検出および姿勢推定用のデータを用いて、画像から人物の顔領域の検出と当該顔の姿勢推定を実施する。次に非特許文献２の手法を応用し、あらかじめ用意されている視聴者の顔画像を用いて、検出された顔の個人識別を実施する。このとき、推定されている姿勢にもとづき、当該姿勢の視聴者顔画像を用いることで、精度の高い個人識別が可能となる。
【００２３】
顔画像登録部３１では、識別させたい視聴者の顔画像を事前に登録する。登録作業は映像表示装置１に表示される登録用ウィンドウを用いて行なう。図３に、登録用ウィンドウの例を示す。個人情報表示部３１１では、視聴者のユーザ名、性別、生年月日を、キーボードやリモコンなどの文字入力用機器を用いて入力する。これら以外にも、年齢、趣味、居住地、血液型、職業、家族構成などの個人情報を入力することも考えられる。カメラ画像表示部３１２（撮像画像表示部）にはカメラ２で撮影されている映像がリアルタイムに表示されており、人物の頭部付近の形状を模倣した輪郭線または十字線などのガイドラインが重畳表示される。視聴者は自分の顔画像を登録する際、これらガイドラインを頭部の位置合わせのための補助線として使用する。
【００２４】
顔画像は正面向きだけを登録する方法、正面向きに加えて上下左右方向のさまざまな角度の顔を登録する方法があり、顔識別処理方法に依存する。本実施例では、上記非特許文献１および非特許文献２を利用して顔識別を行う方法を説明するものであり、正面向きに加えて上下左右向きの顔を登録する。顔画像の登録には複数の方法があり、最もシンプルな方法は、（１）カメラ画像表示部３１２を確認しながら、１枚ずつ所定の方向を向いた顔画像を手動で撮影し登録していく方法である。また別の方法としては、（２）顔識別部３２で使用する顔検出機能と顔姿勢推定機能を利用し、視聴者はカメラ前で顔を上下左右に動かすことにより、視聴者の顔領域を自動的に検出、姿勢推定し、該当する向きの顔画像として登録していく方法がある。本実施例では、後者（２）の方法を用いることとして説明するが、これに限るものではない。
【００２５】
登録顔画像表示部３１３には、登録した複数の顔画像が表示されており、視聴者は登録された顔画像が所定の角度の顔画像として適当なのか否か確認できる。不適当だと判断された場合には、その顔画像を削除し、再登録可能である。図３の例では、登録する顔画像の枚数は左右方向５枚×上下方向３枚の計１５枚であるが、左右方向７枚×上下方向３枚の計２１枚など、任意の枚数の顔画像を登録可能である。すべての向きの顔画像が登録されていない場合は、欠落している顔画像を、その近傍の向きの顔画像で流用する。また、登録顔画像表示部３１３には、登録させたい向きの顔画像例がコンピュータグラフィックスや写真などで例示されており、視聴者はどのような向きの顔画像を登録すべきなのか分かるよう工夫されている。
【００２６】
複数の顔画像を登録する別の方法として、（３）顔部分の３次元形状情報を取得し、そこから複数の姿勢の顔画像を再構成し、登録していく方法も考えられる。３次元形状情報の取得には、レーザやカメラを使った３次元デジタイザを使う方法の他、非特許文献６に記載の技術を使う方法がある。
【００２７】
尚、前記顔画像登録部３１で行われる処理のフローチャートは図４のとおりである。まず顔画像登録部３１はステップＳ１１において、キーボードやリモコンなどの文字入力用機器を用いて視聴者から入力される個人情報を入力する。
【００２８】
次に適当な画像が登録されるまで、図２で述べた顔画像登録処理が行われる（ステップＳ１２，Ｓ１３）。
【００２９】
次にステップＳ１４において、前記入力された個人情報と登録された顔画像に基づいて識別用データを作成する。
【００３０】
次にステップＳ１５において、他の視聴者を登録するか否かを判定し、ＹＥＳの場合はステップＳ１１に戻り、ＮＯの場合は処理を終了する。
【００３１】
また、前記顔識別部３２で行われる処理のフローチャートは図５のとおりである。まずステップＳ２１において、カメラ２で撮像された認識用の画像を入力する。
【００３２】
次にステップＳ２２において、顔検出用データを用いて、前記入力された認識用の画像から顔のある領域を、例えば非特許文献３に記載の手法を応用して検出する。
【００３３】
次にステップＳ２３において、顔姿勢推定用データを用いて、前記検出された顔領域について、例えば非特許文献１に記載の手法を応用して顔の姿勢を推定する。
【００３４】
次にステップＳ２４において、前記顔画像登録部３１により作成された識別用データを用いて、例えば特許文献２、非特許文献２に記載の手法を応用して、前記推定されている姿勢に基づいて前記検出された顔の視聴者識別を行って、その視聴者識別結果を出力する。
【００３５】
映像再生装置４は、ケーブルテレビのセットトップボックスや、ＩＰテレビのチューナなど、放送局から送信された映像データを映像表示装置１に表示するための装置であり、双方向通信機能を備える。画像処理装置３から出力される視聴者識別結果は、まず映像再生装置４に入力され、ネットワーク５を経由して放送局側に存在する映像配信装置６に送信される。送信のタイミングは任意であり、ネットワーク５や映像配信装置６のトラフィックを考慮して設定可能する。
【００３６】
映像配信装置６は、映像を配信する放送局に存在する映像データを配信するための装置であり、双方向通信機能を備える。図６に、映像配信装置６の構成例を示す。映像制御部６１は、映像再生装置４から送信された視聴者識別結果を受領する視聴者識別結果入力部６１１と、性別、年齢といった属性を判定する視聴者属性判定部６１２と、その判定結果から当該視聴者に対する放映リストを作成する放映リスト作成部６１３とを備えている。映像配信部６２は、映像制御部６１で作成された放映リストにもとづき、映像データベース６２１内の映像データを映像再生装置４へ配信する。
【００３７】
映像配信装置６で行なわれる処理のフローチャートは図７のとおりである。まずステップＳ３１において、視聴者属性判定部６１２が、視聴者識別結果入力部６１１に入力された視聴者識別結果について、視聴者の属性を判定する。
【００３８】
次にステップＳ３２において、放映リスト作成部６１３が、前記属性判定結果から当該視聴者に対する放映リストを作成する。
【００３９】
次にステップＳ３３において、映像配信部６２が、前記作成された放映リストに基づいて映像データを映像再生装置４へ配信する。
【００４０】
図８〜図１１に、映像制御部６１で行われる処理の例を示す。
【００４１】
図８は、「ユーザ名：電電父」が識別された例である。「電電父」には「性別：男、生年月日：１９７０年１月１日」という個人情報が付与されているとすると、視聴者識別結果入力部６１１には「ユーザ名：電電父、性別：男、生年月日：１９７０年１月１日」という視聴者識別結果が入力される。視聴者属性判定部６１２では、視聴者識別結果の性別と生年月日から視聴者属性を判定する。
【００４２】
視聴者属性の例としては、マーケティング分野等で使用されている、性別と年齢からなる８層の属性があり、具体的にはＣ層（４〜１２歳）、Ｔ層（１３〜１９歳）、Ｍ１層（男性２０〜３４歳）、Ｍ２層（男性３５〜４９歳）、Ｍ３層（男性５０歳〜）、Ｆ１層（女性２０〜３４歳）、Ｆ２層（女性３５〜４９歳）、Ｆ３層（女性５０歳〜）である。このほか、視聴者属性を性別のみで判定する方法、年齢を１０歳刻みで判定する方法、年齢をより大まかに３段階程度に分類して判定する方法など、視聴者属性を判定する方法は任意である。
【００４３】
図８の例では、男性かつ３９歳であることから、視聴者属性はＭ２層であると判定される。放映リスト作成部６１３では、判定された視聴者属性にもとづき、映像の配信リストを作成する。ここでは、コマーシャル映像を配信する場合を例として示す。放送局には配信予定のコマーシャル映像が１０本蓄積されており、各コマーシャルはターゲットとする視聴者属性が設定されているものとする。ＣＭリスト６１３１にその例を示す。ＣＭリスト６１３１には、Ｍ２層向けのコマーシャル映像が２本存在しており（ＣＭ＿Ｍ２（１）およびＣＭ＿Ｍ２（２））、視聴者の属性はＭ２層であることから、これら２本のコマーシャル映像が当該視聴者に配信する映像の候補となる。これら候補映像のうち、そのすべてを配信する方法、ランダムに選択された１本を配信する方法、配信する本数と順番をあらかじめ定めておきそのルールに従って配信する方法、などが考えられる。
【００４４】
図８の例はすべてを配信する方法を示しており、放映リスト６１３２にはＣＭ＿Ｍ２（１）およびＣＭ＿Ｍ２（２）が設定される。放映の順番はランダムに設定する方法、またはあらかじめ決められた順に設定する方法があるが、ここではあらかじめ決められた順番（ＣＭ名の括弧内の数字が放映順の優先度を表す）に放映するよう、放映リストに設定する例を示す。
【００４５】
図９の例では、視聴者が２名識別されており、図８で説明した例と同様にして、視聴者属性はＭ２層およびＣ層と判別される。この場合、２名の視聴者の属性に対応したコマーシャル映像である４本（ＣＭ＿Ｃ（１）、ＣＭ＿Ｃ（２）、ＣＭ＿Ｍ２（１）、ＣＭ＿Ｍ２（２））が視聴者に配信する映像の候補となる。映像の候補が複数の属性にまたがる場合、放映の順番をランダムに設定する方法と、あらかじめ決められたルールに従って設定する方法があり、ここでは放映順を決める際、Ｆ１層＞Ｆ２層＞Ｆ３層＞Ｍ１層＞Ｍ２層＞Ｍ３層＞Ｔ層＞Ｃ層という属性の優先度の関係性を使うこととする。
【００４６】
すなわち、図９の例では、Ｍ２層向けの映像のほうがＣ層向けの映像よりも優先度が高くなり、放映リストに並ぶ順番はＭ２層向けの映像が先に設定される。次に、各属性に割り当てられた複数のコマーシャル映像の放映順番を決めることになるが、ここでは図８の例と同様、あらかじめ決められたルール（ＣＭ名の括弧内の数字が放映順の優先度を表す）に従って放映することとし、放映リスト６１３２はＣＭ＿Ｍ２（１）、ＣＭ＿Ｍ２（２）、ＣＭ＿Ｃ（１）、ＣＭ＿Ｃ（２）と設定される。
【００４７】
図１０の例では、視聴者は２名検出されているが、顔画像が未登録または識別処理に失敗などの理由により、ユーザ名が「不明」である。このような場合には、視聴者属性判定部６１２での処理はスキップされ、放映リスト作成部６１３での処理に移る。この場合、ＣＭリスト６１３１に存在するすべての映像が配信候補となる。これら映像の中から、何をどのような順番で配信するかについては、ランダムに配信する方法、属性ごとに１本ずつランダムに配信する方法、あらかじめ決められたルールに従って配信する方法などが考えられるが、ここでは図９の例で説明した視聴者属性の優先度を表す関係性にしたがい、ＣＭリストに存在するすべてのコマーシャル映像を放映リストに設定することとする。
【００４８】
図１１の例では、視聴者は２名検出されているが、そのうちの１名は「不明」である。識別されている「電電母」の属性はＦ１層と判定され、「不明」視聴者の属性判定はスキップされる。放映リスト作成部６１３では、Ｆ１層をターゲットとしたコマーシャル映像であるＣＭ＿Ｆ１（１）が放映リスト６１３２に設定される。
【００４９】
なお、上記説明した実施例では、視聴者識別ができなかった場合に視聴者属性判定部６１２での処理をスキップしているが、顔画像から年齢と性別を推定し、これにもとづき視聴者属性を判定する方法もある。顔画像から年齢性別を推定する方法に関しては、非特許文献７に記載の技術がある。
【００５０】
また、上記説明した映像制御部６１での処理例では、視聴者の属性のみを使用して配信する映像を制御しているが、年齢性別以外の視聴者個人情報を用いて制御する方法、視聴者の数を用いて制御する方法、連続視聴時間を用いて制御する方法、時刻や時間帯を用いて制御する方法、などの実施例も考えられる。
【００５１】
また、放映リスト６１３２を作成するタイミングについては、視聴者識別結果が入力される度に実施する方法、すでに作成済みの放映リストに設定された映像がすべて放映された後に実施する方法などが考えられる。
【００５２】
また、映像配信装置６では、ネットワーク５を経由して複数の家庭から送信されてくる視聴者識別結果を集計することにより、視聴者数や視聴率を測定することも可能である。この場合、視聴者数や視聴率は、視聴者個人情報を用い、属性別に集計することも可能である。また、映像配信装置６は、視聴者識別結果、視聴者数、視聴率をグラフ形式で表示したり、表形式で表示したりする機能を有することも考えられる。
【００５３】
また、本実施形態の視聴者識別に基づく映像配信サービス実現装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態の視聴者識別に基づく映像配信サービス実現方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【符号の説明】
【００５４】
１…映像表示装置
２…カメラ
３…画像処理装置
４…映像再生装置
５…ネットワーク
６…映像配信装置
１１…登録用画像入力部
１２、１８…顔検出部
１３、１９…顔姿勢推定部
１４、２０…顔再切り出し部
１５…顔形状再構成部
１６…登録顔記憶部
１７…認識用画像入力部
２１…登録顔回転部
２２…顔識別部
２３…結果出力部
６１…映像制御部
６２…映像配信部
３１１…個人情報表示部
３１２…カメラ画像表示部
３１３…登録顔画像表示部
６１１…視聴者識別結果入力部
６１２…視聴者属性判定部
６１３…放映リスト作成部
６２１…映像データベース
６１３１…ＣＭリスト
６１３２…放映リスト
【特許請求の範囲】
【請求項１】
予め視聴者の個人情報と顔画像を登録し、該登録された視聴者の顔画像と、撮像手段により撮像され入力された視聴者の顔画像との類似度を調べて顔を識別し、視聴者識別結果情報を出力する顔画像認識手段と、
前記顔画像認識手段により識別された視聴者識別結果情報を映像配信手段へ送信する機能と、該映像配信手段から送信された映像データを映像表示手段に表示する機能を有した映像再生手段と、
前記映像再生手段から送信された視聴者識別結果情報に基づいて、放映する映像を決定し、該決定された映像データを前記映像再生手段に配信する映像配信手段と、を備えたことを特徴とする視聴者識別に基づく映像配信サービス実現装置。
【請求項２】
前記映像配信手段は、
前記視聴者識別結果情報に基づいて視聴者の属性を判定する視聴者属性判定部と、
前記視聴者属性判定部により判定された属性、又は前記視聴者識別結果情報に応じて、放映する映像のリストを作成する放映リスト作成部と、
前記放映リスト作成部により作成されたリストの映像データを前記映像再生手段に配信する映像配信部と、を備えたことを特徴とする請求項１に記載の視聴者識別に基づく映像配信サービス実現装置。
【請求項３】
前記映像表示手段は、視聴者から入力された個人情報を表示する個人情報表示部と、前記撮像手段により撮像された視聴者の顔画像を表示する撮像画像表示部と、前記顔画像認識手段に登録する視聴者の顔画像を表示する登録顔画像表示部とを備え、
前記顔画像認識手段は、
視聴者から入力された個人情報と前記撮像手段により撮像された視聴者の顔画像を登録し、識別用データを作成する顔画像登録部と、
前記撮像手段により撮像された視聴者の認識用の顔画像を入力し、前記入力された認識用の顔画像から顔のある領域を検出し、前記検出された顔領域をもとに顔の姿勢を推定し、前記顔画像登録部で作成された識別用データが示す視聴者の顔画像を、前記推定された顔の姿勢と同じ姿勢になるように回転させた顔画像と、前記入力された認識用の顔画像との類似度を調べて顔を識別し、視聴者の識別結果情報を出力する顔識別部と、を備えたことを特徴とする請求項１又は２に記載の視聴者識別に基づく映像配信サービス実現装置。
【請求項４】
前記放映リスト作成部は、視聴者の属性と配信予定映像を対応させたリストを備え、前記視聴者属性判定部により判定された属性に対応する前記リスト内の配信予定映像を抽出して放映リストを作成することを特徴とする請求項２又は３に記載の視聴者識別に基づく映像配信サービス実現装置。
【請求項５】
顔画像認識手段が、予め視聴者の個人情報と顔画像を登録し、該登録された視聴者の顔画像と、撮像手段により撮像され入力された視聴者の顔画像との類似度を調べて顔を識別し、視聴者識別結果情報を出力する顔画像認識ステップと、
映像再生手段が、前記顔画像認識手段により識別された視聴者識別結果情報を映像配信手段へ送信するステップと、
映像配信手段が、前記映像再生手段から送信された視聴者識別結果情報に基づいて、放映する映像を決定し、該決定された映像データを前記映像再生手段に配信する映像配信ステップと、
映像再生手段が、前記映像配信手段から送信された映像データを映像表示手段に表示させるステップと、を備えたことを特徴とする視聴者識別に基づく映像配信サービス実現方法。
【請求項６】
前記映像配信ステップは、
前記映像再生手段から送信された視聴者識別結果情報に基づいて視聴者の属性を判定する視聴者属性判定ステップと、
前記視聴者属性判定ステップにより判定された属性、又は前記視聴者識別結果情報に応じて、放映する映像のリストを作成する放映リスト作成ステップと、
前記放映リスト作成ステップにより作成されたリストの映像データを前記映像再生手段に配信する映像配信ステップと、を備えたことを特徴とする請求項５に記載の視聴者識別に基づく映像配信サービス実現方法。
【請求項７】
前記顔画像認識ステップは、
前記顔画像認識手段の顔画像登録部が、視聴者から入力された個人情報を前記映像表示手段に表示させるステップと、前記撮像手段により撮像された視聴者の顔画像を前記映像表示手段に表示させるステップと、顔画像認識手段に登録する視聴者の顔画像を前記映像表示手段に表示させるステップと、視聴者から入力された個人情報と前記撮像手段により撮像された視聴者の顔画像を登録し、識別用データを作成する顔画像登録ステップと、
前記顔画像認識手段の顔識別部が、前記撮像手段により撮像された視聴者の認識用の顔画像を入力し、前記入力された認識用の顔画像から顔のある領域を検出し、前記検出された顔領域をもとに顔の姿勢を推定し、前記顔画像登録ステップで作成された識別用データが示す視聴者の顔画像を、前記推定された顔の姿勢と同じ姿勢になるように回転させた顔画像と、前記入力された認識用の顔画像との類似度を調べて顔を識別し、視聴者の識別結果情報を出力する顔識別ステップと、を備えたことを特徴とする請求項５又は６に記載の視聴者識別に基づく映像配信サービス実現方法。
【請求項８】
視聴者の属性と配信予定映像を対応させたリストを備え、
前記放映リスト作成ステップは、前記視聴者属性判定ステップにより判定された属性に対応する前記リスト内の配信予定映像を抽出して放映リストを作成することを特徴とする請求項６又は７に記載の視聴者識別に基づく映像配信サービス実現方法。
【請求項９】
コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させる視聴者識別に基づく映像配信サービス実現プログラム。
【請求項１０】
コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させる視聴者識別に基づく映像配信サービス実現プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
予め視聴者の個人情報と顔画像を登録し、該登録された視聴者の顔画像と、撮像手段により撮像され入力された視聴者の顔画像との類似度を調べて顔を識別し、視聴者識別結果情報を出力する顔画像認識手段と、
前記顔画像認識手段により識別された視聴者識別結果情報を映像配信手段へ送信する機能と、該映像配信手段から送信された映像データを映像表示手段に表示する機能を有した映像再生手段と、
前記映像再生手段から送信された視聴者識別結果情報に基づいて、放映する映像を決定し、該決定された映像データを前記映像再生手段に配信する映像配信手段と、を備えたことを特徴とする視聴者識別に基づく映像配信サービス実現装置。
【請求項２】
前記映像配信手段は、
前記視聴者識別結果情報に基づいて視聴者の属性を判定する視聴者属性判定部と、
前記視聴者属性判定部により判定された属性、又は前記視聴者識別結果情報に応じて、放映する映像のリストを作成する放映リスト作成部と、
前記放映リスト作成部により作成されたリストの映像データを前記映像再生手段に配信する映像配信部と、を備えたことを特徴とする請求項１に記載の視聴者識別に基づく映像配信サービス実現装置。
【請求項３】
前記映像表示手段は、視聴者から入力された個人情報を表示する個人情報表示部と、前記撮像手段により撮像された視聴者の顔画像を表示する撮像画像表示部と、前記顔画像認識手段に登録する視聴者の顔画像を表示する登録顔画像表示部とを備え、
前記顔画像認識手段は、
視聴者から入力された個人情報と前記撮像手段により撮像された視聴者の顔画像を登録し、識別用データを作成する顔画像登録部と、
前記撮像手段により撮像された視聴者の認識用の顔画像を入力し、前記入力された認識用の顔画像から顔のある領域を検出し、前記検出された顔領域をもとに顔の姿勢を推定し、前記顔画像登録部で作成された識別用データが示す視聴者の顔画像を、前記推定された顔の姿勢と同じ姿勢になるように回転させた顔画像と、前記入力された認識用の顔画像との類似度を調べて顔を識別し、視聴者の識別結果情報を出力する顔識別部と、を備えたことを特徴とする請求項１又は２に記載の視聴者識別に基づく映像配信サービス実現装置。
【請求項４】
前記放映リスト作成部は、視聴者の属性と配信予定映像を対応させたリストを備え、前記視聴者属性判定部により判定された属性に対応する前記リスト内の配信予定映像を抽出して放映リストを作成することを特徴とする請求項２又は３に記載の視聴者識別に基づく映像配信サービス実現装置。
【請求項５】
顔画像認識手段が、予め視聴者の個人情報と顔画像を登録し、該登録された視聴者の顔画像と、撮像手段により撮像され入力された視聴者の顔画像との類似度を調べて顔を識別し、視聴者識別結果情報を出力する顔画像認識ステップと、
映像再生手段が、前記顔画像認識手段により識別された視聴者識別結果情報を映像配信手段へ送信するステップと、
映像配信手段が、前記映像再生手段から送信された視聴者識別結果情報に基づいて、放映する映像を決定し、該決定された映像データを前記映像再生手段に配信する映像配信ステップと、
映像再生手段が、前記映像配信手段から送信された映像データを映像表示手段に表示させるステップと、を備えたことを特徴とする視聴者識別に基づく映像配信サービス実現方法。
【請求項６】
前記映像配信ステップは、
前記映像再生手段から送信された視聴者識別結果情報に基づいて視聴者の属性を判定する視聴者属性判定ステップと、
前記視聴者属性判定ステップにより判定された属性、又は前記視聴者識別結果情報に応じて、放映する映像のリストを作成する放映リスト作成ステップと、
前記放映リスト作成ステップにより作成されたリストの映像データを前記映像再生手段に配信する映像配信ステップと、を備えたことを特徴とする請求項５に記載の視聴者識別に基づく映像配信サービス実現方法。
【請求項７】
前記顔画像認識ステップは、
前記顔画像認識手段の顔画像登録部が、視聴者から入力された個人情報を前記映像表示手段に表示させるステップと、前記撮像手段により撮像された視聴者の顔画像を前記映像表示手段に表示させるステップと、顔画像認識手段に登録する視聴者の顔画像を前記映像表示手段に表示させるステップと、視聴者から入力された個人情報と前記撮像手段により撮像された視聴者の顔画像を登録し、識別用データを作成する顔画像登録ステップと、
前記顔画像認識手段の顔識別部が、前記撮像手段により撮像された視聴者の認識用の顔画像を入力し、前記入力された認識用の顔画像から顔のある領域を検出し、前記検出された顔領域をもとに顔の姿勢を推定し、前記顔画像登録ステップで作成された識別用データが示す視聴者の顔画像を、前記推定された顔の姿勢と同じ姿勢になるように回転させた顔画像と、前記入力された認識用の顔画像との類似度を調べて顔を識別し、視聴者の識別結果情報を出力する顔識別ステップと、を備えたことを特徴とする請求項５又は６に記載の視聴者識別に基づく映像配信サービス実現方法。
【請求項８】
視聴者の属性と配信予定映像を対応させたリストを備え、
前記放映リスト作成ステップは、前記視聴者属性判定ステップにより判定された属性に対応する前記リスト内の配信予定映像を抽出して放映リストを作成することを特徴とする請求項６又は７に記載の視聴者識別に基づく映像配信サービス実現方法。
【請求項９】
コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させる視聴者識別に基づく映像配信サービス実現プログラム。
【請求項１０】
コンピュータを請求項１ないし４のいずれか１項に記載の各手段として機能させる視聴者識別に基づく映像配信サービス実現プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−７７９６５（Ｐ２０１１−７７９６５Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２９２２３（Ｐ２００９−２２９２２３）
【出願日】平成２１年１０月１日（２００９．１０．１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年１０月１日（２００９．１０．１）
【出願人】（０００００４２２６）日本電信電話株式会社 (13,992)
【Ｆターム（参考）】
[ Back to top ]