映像表示方法および映像表示装置
【課題】映像表示装置に表示された映像に対する不特定多数の視聴者に特別な視線入力装置を装着することなしに、複数の映像視聴者の興味が集まる映像を表示部に入れ替え可能に表示する映像表示方法及び映像表示装置を提供する。
【解決手段】映像表示部１０１の表示画面１０１Ａを視聴している複数の視聴者の興味が集まる映像を視聴者の視線情報と顔画像の位置情報に基づいて検出する。興味が集まる映像が副表示領域１０１Ｃに表示されている場合には、この映像が主表示領域１０１Ｂに表示されるように映像を入れ替える。
【解決手段】映像表示部１０１の表示画面１０１Ａを視聴している複数の視聴者の興味が集まる映像を視聴者の視線情報と顔画像の位置情報に基づいて検出する。興味が集まる映像が副表示領域１０１Ｃに表示されている場合には、この映像が主表示領域１０１Ｂに表示されるように映像を入れ替える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、集まった多数の人により視聴される大画面映像を表示する映像表示装置に関し、詳しくは、表示される映像の中で多くの視聴者が注目する領域を検出し、検出された領域を大きく表示する映像表示方法および映像表示装置に関する。
【背景技術】
【０００２】
屋外等に設置された映像表示装置の大画面映像は、その場に集まった多数の人により視聴される。しかし、個々の視聴者がどの映像に興味があるかといった事情は、その映像の表示には反映されないのが普通である。視聴者の興味を反映させた映像を提供する場合、多くの視聴者の情報を集め、集められた情報をまとめる必要がある。
【０００３】
そこで、従来においては、視線入力装置を複数の観客に装着してもらい、複数の視線入力装置により検出された観客の視線情報を統計的に処理した結果に応じて観客の注目する領域を切り出す映像切り出し制御装置が開示されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１２５２８６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１の映像切り出し制御装置では、視線入力装置を複数の観客に装着してもらうため、スポーツ観戦のような特定の観客の視線情報を取得する場合には好適であるが、屋外に設置された不特定多数の人に視聴される映像表示装置には不向きである。街頭の映像表示装置では、立ち止まって視聴する人や、歩いて通り過ぎる間だけ視聴する人等の様々な人があり、これらの人に視線入力装置をいちいち装着してもらうのが現実的ではない。
【０００６】
本発明の目的は、上記のような従来の問題を鑑みてなされたものであり、視聴者に装着される視線入力装置を用いることなしに、映像表示装置に表示された映像に対する不特定多数の視聴者の視線情報を取得して視聴者の興味が集まる映像の領域を検出し、検出された領域を大きく表示する映像表示方法及び映像表示装置を提供するにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の映像表示方法は、第１のカメラにより第１の映像を撮影する第１の映像撮影ステップと、前記第１の映像撮影ステップで撮影される第１の映像の一部の領域である第２の映像を第２のカメラにより撮影する第２の映像撮影ステップと、前記第１の映像撮影ステップで撮影された第１の映像および前記第２の映像撮影ステップで撮影された第２の映像を映像表示部により表示画面に表示する映像表示ステップとを含み、前記映像表示ステップは、前記第１の映像撮影ステップで撮影された第１の映像を前記表示画面に表示する第１の映像表示ステップと、前記第１の映像表示ステップで前記表示画面に表示された映像を見る視聴者を複数の視聴者用カメラにより撮影する視聴者撮影ステップと、前記視聴者撮影ステップで撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識ステップと、前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出ステップと、前記表示欲求度算出ステップで算出された表示欲求度に基づいて前記第２の映像撮影ステップで撮影すべき前記領域を選択する領域選択ステップと、前記領域選択ステップで選択された選択情報に応じて前記第２の映像撮影ステップで撮影された第２の映像を前記表示画面に表示する第２の映像表示ステップとを含み、前記第２の映像撮影ステップは、前記領域選択ステップで選択された選択情報に従って前記領域を第２のカメラにより撮影することを特徴とする。
また、本発明の映像表示装置は、第１の映像を撮影する第１のカメラと、前記第１の映像の一部の領域である第２の映像を撮影する第２のカメラと、前記第１のカメラにより撮影された第１の映像および前記第２のカメラにより撮影された第２の映像を表示画面に表示する映像表示部とを備えた映像表示装置であって、前記映像表示部は、前記第１のカメラにより撮影された第１の映像を前記表示画面に表示する第１の映像表示手段と、前記第１の映像表示手段により前記表示画面に表示された映像を見る視聴者を撮影する複数の視聴者用カメラと、前記複数の視聴者撮影用カメラにより撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識手段と、前記顔画像認識手段により認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出手段と、前記表示欲求度算出手段により算出された表示欲求度に基づいて前記第２のカメラにより撮影すべき前記領域を選択する領域選択手段と、前記領域選択手段により選択された前記領域の選択情報に応じて前記第２のカメラにより撮影された第２の映像を前記表示画面に表示する第２の映像表示手段とを有し、前記第２のカメラは、前記領域選択手段により選択された選択情報に従って前記領域を撮影することを特徴とする。
【０００８】
また、本発明の映像表示方法は、第１のカメラにより第１の映像を撮影する第１の映像撮影ステップと、前記第１の映像撮影ステップで撮影される第１の映像の一部の領域である第２の映像を第２のカメラにより撮影する第２の映像撮影ステップと、前記第１の映像撮影ステップで撮影された第１の映像および前記第２の映像撮影ステップで撮影された第２の映像を第１の通信回線を介して送信する映像送信ステップと、前記映像送信ステップで前記第１の通信回線を介して送信された第１および第２の映像を受信する映像受信ステップと、前記映像受信ステップで受信された第１および第２の映像を映像表示部の表示画面に表示する映像表示ステップとを含み、前記映像表示ステップは、前記映像受信ステップで受信された第１の映像を前記表示画面に表示する第１の映像表示ステップと、前記第１の映像表示ステップで前記表示画面に表示された映像を見る視聴者を複数の視聴者用カメラにより撮影する視聴者撮影ステップと、前記視聴者撮影ステップで撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識ステップと、前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出ステップと、前記表示欲求度算出ステップで算出された表示欲求度に基づいて前記第２の映像撮影ステップで撮影すべき前記領域を選択する領域選択ステップと、前記領域選択ステップで選択された前記領域の選択情報を第２の通信回線を介して送信する選択情報送信ステップと、前記選択情報送信ステップで送信された選択情報を前記第２の通信回線を介して受信する選択情報受信ステップと、前記選択情報受信ステップで受信された選択情報に応じれ前記第２の映像撮影ステップで撮影され、前記映像送信ステップで送信され、前記映像受信ステップで受信された第２の映像を前記表示画面に表示する第２の映像表示ステップとを含み、前記第２の映像撮影ステップは、前記選択情報受信ステップで受信された選択情報に従って前記領域を第２のカメラにより撮影することを特徴とする。
また、本発明の映像表示装置は、第１の映像を撮影する第１のカメラと、前記第１の映像の一部の領域である第２の映像を撮影する第２のカメラと、前記第１のカメラにより撮影された第１の映像および前記第２のカメラにより撮影された第２の映像を第１の通信回線を介して送信する映像送信手段と、前記映像送信手段により前記第１の通信回線を介して送信された第１および第２の映像を受信する映像受信手段と、前記映像受信手段により受信された第１および第２の映像を表示画面に表示する映像表示部とを備えた映像表示装置であって、前記映像表示部は、前記映像受信手段により受信された第１の映像を前記表示画面に表示する第１の映像表示手段と、前記第１の映像表示手段により前記表示画面に表示された映像を見る視聴者を撮影する複数の視聴者用カメラと、前記複数の視聴者撮影用カメラにより撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識手段と、前記顔画像認識手段により認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出手段と、前記表示欲求度算出手段により算出された表示欲求度に基づいて前記第２のカメラにより撮影すべき前記領域を選択する領域選択手段と、前記領域選択手段により選択された前記領域の選択情報を第２の通信回線を介して送信する選択情報送信手段と、前記選択情報送信手段により送信された選択情報に応じて前記第２のカメラにより撮影され、前記映像送信手段により送信され、前記映像受信手段により受信された第２の映像を前記表示画面に表示する第２の映像表示手段とを有し、前記映像表示装置は、前記選択情報送信手段により前記第２の通信回線を介して送信された選択情報を受信する選択情報受信手段を有し、前記第２のカメラは、前記選択情報受信手段により受信された選択情報に従って前記領域を撮影することを特徴とする。
【発明の効果】
【０００９】
本発明の映像表示方法および映像表示装置によれば、第１のカメラにより撮影され第１の映像を映像表示部により表示し、表示された画面を見る視聴者を複数の視聴者用カメラにより撮影する。次に、複数の視聴者用カメラにより撮影された画像に基づいて視聴者の顔画像を認識し、認識された顔画像に基づいて顔画像が注視する映像の位置を検出して位置の表示欲求度を算出し、算出された表示欲求度に基づいて第２のカメラにより撮影すべき領域を選択する。そして、選択情報に従う領域を第２のカメラにより撮影し、撮影された領域の映像を映像表示部により表示する。
したがって、従来のような視線入力装置を用いることなしに、多数の視聴者の興味が集まる映像を検出し、検出された映像を大きく表示することができる。
【００１０】
また、本発明の映像表示方法および映像表示装置によれば、第１のカメラにより撮影され第１の通信回線を介して送信された第１の映像を映像表示部により表示し、表示された画面を見る視聴者を複数の視聴者用カメラにより撮影する。次に、複数の視聴者用カメラにより撮影された画像に基づいて視聴者の顔画像を認識し、認識された顔画像に基づいて顔画像が注視する映像の位置を検出して位置の表示欲求度を算出し、算出された表示欲求度に基づいて第２のカメラにより撮影すべき領域を選択し、選択情報を第２の通信回線を介して第２のカメラに送信する。そして、選択情報に従う領域を第２のカメラにより撮影し、第１の通信回線を介して送信された第２の映像を映像表示部により表示する。
したがって、従来のような視線入力装置を用いることなしに、多数の視聴者の興味が集まる映像を検出し、検出された映像を大きく表示することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１の映像表示装置の構成を示す機能ブロック図である。
【図２】映像表示部の映像表示形態の一例を示す説明図である。
【図３】映像表示部と視聴者との関係を示す説明図である。
【図４】映像表示部と視聴者情報取得用カメラとの位置関係を示す説明図である。
【図５】映像表示部の表示画面に顔を向けている視聴者の顔画像を認識する場合の映像表示部と視聴者との関係を示す説明図である。
【図６】映像表示部の表示画面と視聴者の顔領域との位置関係を求めるための説明図である。
【図７】映像表示部の表示画面中で見ている視聴者の視線位置を表す説明図である。
【図８】実施例１の映像表示装置の動作を示すフローチャートである。
【図９】実施例２の映像表示システムの概略構成を示す図である。
【図１０】実施例２の映像表示システムの構成を示す機能ブロック図である。
【図１１】映像表示部と視聴者情報取得用カメラとの位置関係を示す説明図である。
【図１２】表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の第１段階を示す説明図である。
【図１３】表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の第２段階を示す説明図である。
【図１４】表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の第３段階を示す説明図である。
【図１５】表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の最終段階を示す説明図である。
【図１６】実施例２の映像表示システムの動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
映像表示装置に表示された映像に対する不特定多数の視聴者に特別な視線入力装置を装着することなしに、複数の映像視聴者の興味を持った映像を表示部に入れ替え可能に表示する映像表示制御方法及び装置を提供するという目的は、映像表示手段を視聴している複数の視聴者の興味の集まっている映像を視聴者の視線情報と顔画像の位置情報から調べ、興味の集まっている映像が副表示領域に表示されている映像の場合は、この映像を主表示領域に表示される映像と入れ替え、視聴者に興味を持たれている映像を主表示領域に表示することによって実現した。
【実施例１】
【００１３】
以下、本発明の実施例１について図１〜図８を参照して説明する。
図１は、実施例１の映像表示装置の構成を示す機能ブロック図、図２は実施例１における映像表示部への映像表示形態の一例を示す説明図、図３は実施例１における映像表示部と視聴者との関係を示す説明図、図４は実施例１における映像表示部と視聴者情報取得用カメラとの位置関係を示す説明図、図５は実施例１における映像表示部の表示画面に顔を向けている視聴者の顔画像を認識する場合の映像表示部と視聴者との関係を示す説明図、図６は実施例１における映像表示部の表示画面と視聴者の顔領域との位置関係を求めるための説明図、図７は実施例１における映像表示部の表示画面中で見ている視聴者の視線位置を表す説明図、図８は実施例１の映像表示装置の動作を示すフローチャートである。
【００１４】
図１に示すように、映像表示装置１００は、映像表示部１０１、２つの視聴者情報取得用カメラ１０２、顔画像認識手段１０３、顔座標検出手段１０４、視聴者注視座標検出手段１０５、注目映像情報検出手段１０６、満足度検出手段１０７、表示欲求度検出手段１０８および表示映像作成手段１０９を備える。
【００１５】
映像表示部１０１は、屋外のような人通りの多いに広場などに設置されもので、横寸法がＸ，縦寸法がＹの大きさの映像表示画面１０１Ａを有する。また、映像表示画面１０１Ａは、図２〜図４に示すように、比較的大きな１つの映像表示領域からなる主表示領域１０１Ｂと、主表示領域１０１Ｂより小さな映像表示領域の映像Ｐ１，Ｐ２・・・を複数並べて表示する副表示領域１０１Ｃとに区分されている。
【００１６】
２つの視聴者情報取得用カメラ１０２は、映像表示部１０１の映像表示画面を視聴する不特定多数の視聴者を撮影するもので、図４に示すように、映像表示部１０１の表示画面上における上端の左右個所に、視聴者に向けて配置されている。この左右両視聴者情報取得用カメラ１０２の間隔は、視聴者の表示画面に対する視線の位置を正確に求めるために表示画面のＸ軸方向の寸法に相当する距離Ｌに設定されている。
【００１７】
顔画像認識手段１０３は、各視聴者情報取得用カメラ１０２で取得された視聴者映像からＳＶＭ（Support Vector Machine）等により、図３に示すように、映像表示画面１０１Ａに顔を向けている視聴者２００の顔画像を認識し、認識された顔画像に基づいて映像表示画面１０１Ａに顔を向けている視聴者２００の人数を認識する。
顔座標検出手段１０４は、視聴者情報取得用カメラ１０２毎に顔画像認識手段１０３により認識された顔画像に基づいて映像表示画面１０１Ａ上における顔画像の位置座標を認識された視聴者２００毎に検出するものである。
【００１８】
視聴者注視座標検出手段１０５は、視聴者情報取得用カメラ１０２毎に顔画像認識手段１０３により認識された両方の顔画像に基づいて視聴者２００の顔の方向と眼球の方向を検出して、認識された視聴者２００の視線方向を視聴者毎に検出し、検出された視線方向の情報と顔座標検出手段１０４により検出された顔画像の位置座標に基ついて視聴者２００が映像表示画面１０１Ａ中で注視している視線の位置座標を認識された視聴者毎に検出する。
【００１９】
注目映像情報検出手段１０６は、視聴者注視座標検出手段１０５により検出された視線の位置座標に基づいて視聴者２００が瞬間注視している映像表示画面１０１Ａ中の映像がどの映像かを判定して注目映像情報を検出し、検出された注目映像情報を一定時間取得して視聴者２００の注目映像メタ情報Ｐｉｍｅｔａ（ｔ）を視聴者毎に算出する。
【００２０】
満足度検出手段１０７は、顔座標検出手段１０４により検出された顔画像の位置座標に基づいて視聴者２００が映像表示画面１０１Ａに顔を向けて映像をどれくらい静止して見ていたかを表す顔移動係数Ｆｉｍｏｖｅを算出し、算出された顔移動係数Ｆｉｍｏｖｅに基づいて視聴者２００の満足度Ｓｉ（ｔ）を算出する。
【００２１】
表示欲求度検出手段１０８は、注目映像情報検出手段１０６で算出された注目映像メタ情報Ｐｉｍｅｔａ（ｔ）と満足度検出手段１０７により算出された顔移動係数Ｆｉｍｏｖｅ及び満足度Ｓｉ（ｔ）に基づいて主表示領域１０１Ｂと副表示領域１０１Ｃの各映像に対する視聴者２００の表示欲求度Ｄｉ（ｔ）を各映像毎に算出し、算出された表示欲求度Ｄｉ（ｔ）を各映像毎に加算して、認識した視聴者全員の各映像に対する表示欲求度ＡＤ（ｔ）を算出する。
【００２２】
表示映像作成手段１０９は、表示欲求度検出手段１０８により算出された表示欲求度の最も高い値の映像が主表示領域１０１Ｂに表示されるように主表示領域１０１Ｂ及び副表示領域１０１Ｃに表示される映像を作成して映像表示部１０１に出力する。また、この表示映像作成手段１０９には、図１に示すように、受信手段１１０が接続されている。受信手段１１０は、遠隔地に設置された１つの主表示領域用カメラ３０１および複数の副表示領域用カメラ３０２により撮影されたそれぞれの映像情報を受信する。表示映像作成手段１０９は、受信手段１１０により受信された１つの主表示領域用カメラ３０１および複数の副表示領域用カメラ３０２の映像情報に基づいて映像表示部１０１に出力する映像を作成する。
【００２３】
次に、実施例１の映像表示装置の動作について説明する。
遠隔地で主表示領域用カメラ３０１及び副表示領域用カメラ３０２により撮影されたそれぞれの映像は、通信回線１１１を通して現在地にある映像表示装置１００の受信手段１１０により受信される。受信された映像は、表示映像作成手段１０９により表示用の映像に加工され、映像表示部１０１により表示される。これにより、映像表示部１０１の主表示領域１０１Ｂには、図２に示すように、大きな１つの映像ＰＭＡＸが表示され、また、副表示領域１０１Ｃの各映像表示領域には、図２に示すように、複数の映像Ｐ１，Ｐ２・・・が並べて表示される。
【００２４】
上述のように映像を表示した映像表示部１０１の映像表示画面１０１Ａを視聴している複数の視聴者２００がいる場合、図２の矢印で示すように、視聴者２００のそれぞれが興味をもっている映像が異なり、常に主表示領域１０１Ｂの映像が最大の興味を得ているとは限らない。
そこで、視聴者２００の興味が集まっている映像を視聴者２００の視線情報と顔の位置情報に基づいて検出する。そして、興味の集まっている映像が副表示領域１０１Ｃに表示されている映像の場合は、この映像を主表示領域１０１Ｂに表示される映像と入れ替え、視聴者２００に興味を持たれている映像が主表示領域１０１Ｂに表示されるようにする。以下、図２〜図８を参照して詳述する。
【００２５】
まず、左右の視聴者情報取得用カメラ１０２を用いて、それぞれのカメラ視野内にいる視聴者２００を撮影し、視聴者２００達の映像情報を得る（ステップＳ１１）。このとき、視聴者情報取得用カメラ１０２と映像表示部１０１との位置関係は既知であり、図４に示すような配置をとるものとする。また、図４において、座標（０，０，０）は映像表示画面１０１Ａの左端上の座標を表し、座標（Ｘ，Ｙ，０）は映像表示画面１０１Ａの右端下の座標を表している。
【００２６】
顔画像認識手段１０３では、視聴者情報取得用カメラ１０２から得られた映像信号を用いてＳＶＭ等の手法により、映像表示画面１０１Ａに顔を向けている視聴者２００の顔画像の認識を行い、更に顔画像認識された視聴者の人数を検出する（ステップＳ１２）。ここで、検出された視聴者２００の人数をｍとする。この顔画像認識ではある程度の正面顔、つまりは映像表示画面１０１Ａに顔を向けている人物さえ認識できればよい。映像表示画面１０１Ａに対して顔を向けていない人物は、映像に興味を持っていない人物であると考えられるからである。この様子を図５に示す。この図５において、曲線で囲んだ範囲内の視聴者２００が顔認識された者であり、×印を付した視聴者２００は顔認識できない者である。また、曲線で囲んだ範囲内の視聴者で、符号２００Ａで示す視聴者は矢印Ａで示す方向に歩行中または視線を副表示領域１０１Ｃの映像Ｐ１に向けた者であり、また曲線で囲んだ範囲内の視聴者で、符号２００Ｂで示す視聴者は視聴しずらい者である。
【００２７】
顔座標検出手段１０４では、顔画像認識手段１０３によって認識された視聴者２００のそれぞれに対して、映像表示画面１０１Ａに対する顔の位置座標を検出する（ステップＳ１３）。視聴者情報取得用カメラ１０２の映像において、対象とする視聴者２００の顔画像に対応する顔画像をもう一方の視聴者情報取得用カメラの映像から求める。このとき、二つの視聴者情報取得用カメラ１０２の光軸１０２Ａは、図６に示すように、お互いに平行であり、そして、視聴者情報取得用カメラ１０２を構成するレンズを結ぶ線分（Ｘ−Ｙ平面）は光軸１０２Ａと直交し、さらに、視聴者情報取得用カメラ１１２を構成する撮像素子面は光軸１１２Ａと直交する同一平面内に存在し、レンズの焦点距離ｆ（＝Ｈ）は等しい。
視聴者情報取得用カメラ１０２のレンズの中心から対応する顔画像ｉ(視聴者ｍ人中ｉ番目の視聴者の顔画像)が二つの視聴者情報取得用カメラにおいてずれている距離をそれぞれ
この時、求めたい視聴者ｉの顔画像の映像表示画面１０１Ａ上での座標は、数１で与えられる。
【００２８】
［数１］
【００２９】
視聴者注視座標検出手段１０５では、視聴者２００が映像表示画面１０１Ａ中で注視している視線の方向を検出し、かつ映像表示画面１０１Ａ中で見ている位置座標を、認識された視聴者毎に検出する（ステップＳ１４）。
視聴者ｉの視線方向の検出手法としては、実施例１では画像認識による方法を用いる。すなわち、二つの視聴者情報取得用カメラ１０２から得た顔画像から三次元顔画像モデルを作成し、三次元顔データベースとマッチングを取ることにより顔の方向を求め、さらに顔画像の内眼球部分に当たる領域において、黒目と白目の位置関係から眼球の方向を求める。この顔の方向と眼球の方向から視線の方向を得る。この時の視聴者ｉと映像表示画面１０１Ａとの関係は図７に示すようになる。
この図７から明らかなように、視聴者ｉが映像表示画面１０１Ａ中で見ている座標（Ｖｉｘ，Ｖｉｙ，0）は、数２で与えられる。
【００３０】
［数２］
【００３１】
注目映像情報検出手段１０６では、視聴者注視座標検出手段１０５で求められた視線の位置座標を基に視聴者２００が注視している映像表示画面１０１Ａ中の映像を検出し、この注目映像情報を一定時間取得して視聴者２００の注目映像メタ情報を視聴者毎に算出する（ステップＳ１５）。
すなわち、映像表示画面１０１Ａの主表示領域１０１Ｂ及び副表示領域１０１Ｃにおいて表示されている映像の数をｋ個とする。視聴者ｉの見ている座標（Ｖｉｘ，Ｖｉｙ，0）から、その瞬間視聴者が見ている映像がどの映像なのかを判定する。そして、現時刻ｔでの視聴者ｉの注目映像情報Ｐｉ（ｔ）＝（ｐｉ1（ｔ），ｐｉ2（ｔ），…，ｐｉｋ（ｔ））を得る。
【００３２】
次に、視聴者ｉの注目映像情報を一定時間取得し加算する。これは、人は何かに注目しているとき常にその領域を見続けるわけではなく、時として視線がずれること、また、ノイズなどによる誤領域の検出の影響を軽減するためなどの理由による。したがって、視線位置情報を時刻ｔ−Ｔから現時刻ｔまで加算したとすると、視聴者ｉの注目映像メタ情報Ｐｉｍｅｔａ（ｔ）は、数３で求められる。
【００３３】
[数３]
【００３４】
満足度検出手段１０７では、顔移動係数を算出し、算出された顔移動係数に基づいて視聴者２００の満足度を算出する（ステップＳ１６）。
すなわち、顔画像の位置座標に基づく視聴者２００が映像表示画面１０１Ａに顔を向けて映像をどれくらい静止して見ていたかを表す顔移動係数は、顔位置座標（Ｆｉｘ，Ｆｉｙ，0）を時刻ｔ−Ｔから現時刻ｔまで取得することで求められる。この場合は、まず、現在の位置と一回前に取得した位置との差分を取る。不特定多数の人物から映像内での興味領域を得るという目的上、表示されている映像に興味を持たない人物はできる限り除きたい。視聴者ｉが、静止して映像を見ているか、それとも歩きながらたまたま視線を向けているだけかの判定として、静止しているという情報を用いるのが最もわかりやすく、また有効であると考えられる。現時刻ｔでの移動時間係数ｆｉｔは単調減少関数Ｇ（ｘ）を用いて、数４で与えられる。
【００３５】
[数４]
この式から、瞬間の顔の移動量を用いた瞬間の顔移動係数が求まる。この瞬間の顔移動係数を時刻ｔ−Ｔから現時刻ｔまで加算することで、現時刻までにおいて視聴者ｉがどれくらい映像を静止してみていたかを表す顔移動係数Ｆｉｍｏｖｅが数５から求まる。
【００３６】
［数５］
【００３７】
さらに、重み付けとして、視聴者ｉの満足度を求める。人は、注目しているほど、映像をできるだけ良い環境で見ようとする。
映像表示画面１０１Ａ上での視線の座標（Ｖｉｘ，Ｖｉｙ，0）が、顔位置座標（Ｆｉｘ，Ｆｉｙ，0）に近いほど、映像を正面から見ていることになる。そして、映像表示部１０１の映像を最もよく見ることができる環境は、映像表示部１０１に対して正面であることは直感的に理解できる。しかし、多人数で映像表示画面１０１Ａを視聴する場合、必ずしも良好な環境で、つまりは映像を正面から見られるわけではない。そこで現状の環境に対する満足度として、時刻ｔにおいて視線の方向と顔位置がどれだけ離れているかで、視聴者ｉの満足度Ｓｉ（ｔ）を定義する。Ｈ（ｘ）を単調減少関数とすると、満足度Ｓｉ（ｔ）は数６から求められる。
【００３８】
［数６］
上記の式で得られる満足度は良い視聴環境であれば高くなる。この満足度が低い視聴者ほど、現状に満足しておらず、自分の見ている映像を主表示領域１０１Ｂにて視聴したい要求が強いと考えられる。
【００３９】
表示欲求度検出手段１０８では、以上の係数を用いて、現時刻ｔでの視聴者ｉの映像の表示欲求度Ｄｉ（ｔ）は数７から求められる（ステップＳ１７）。
【００４０】
［数７］
ここで、Ｄｉ（ｔ）は、視聴者がｋ個の映像それぞれをどの程度視聴したいかを表すものである。さらに、表示欲求度検出手段１０８では、Ｄｉ（ｔ）を認識したｍ人の視聴者全員に対して求め、加算することで視聴者全員の映像の表示欲求度ＡＤ（ｔ）を数８から算出する（ステップＳ１８）。
【００４１】
［数８］
【００４２】
表示映像作成手段１０９では、表示欲求度検出手段１０８で算出された表示欲求度の最も高い値の映像が主表示領域１０１Ｂの映像か否かを判定する（ステップＳ１９）。ここで、表示欲求度の最も高い値の映像が主表示領域１０１Ｂの映像であると判定された場合は、その映像が主表示領域１０１Ｂに表示する（ステップＳ２０）。また、表示欲求度の最も高い値の映像が副表示領域１０１Ｃの映像であると判定された場合、例えば表示欲求度の最も高い値の映像が副表示領域１０１Ｃの映像Ｐ１であると判定された場合には、主表示領域に表示されている映像ＰＭＡＸに代えて、表示欲求度の最も高い値の映像Ｐ１に入れ替え、映像Ｐ１が映像表示部１０１に表示する（ステップＳ２１）。以上の処理により主表示領域には、視聴者達の最も興味のある映像が表示され続ける。
以下、図８のステップＳ１１からステップＳ２１に示す処理は所定の時間単位、例えば数十秒ないし１分程度の時間単位で繰り返し実行され、これにより、映像表示部１０１に興味の集まった映像を主表示領域１０１Ｂに入れ替えて表示できる。なお、上記処理サイクルは、上述した時間に限定されるものではない。
【００４３】
このように実施例１によれば、従来のように観客に特別に装着される視線入力装置を用いることなしに、屋外の映像表示部に表示された映像に対する不特定多数の視聴者の視線情報を取得し、取得された視線情報に基づいて視聴者の興味が集まる映像を検出し、検出された映像を主表示領域１０１Ｂに表示する。したがって、視聴者に手間をかけることなく、視聴者の興味が集まる映像を大きく表示し、視聴者の興味をいっそう喚起することができる。
【実施例２】
【００４４】
次に、図９〜図１６により実施例２について説明する。
図９は、実施例２の映像表示システムの概略構成を示す図、図１０は実施例２の映像表示システムの構成を示す機能ブロック図、図１１は実施例２における映像表示部と視聴者情報取得用カメラとの位置関係を示す説明図、図１２は実施例２において表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の第１段階を示す説明図、図１３は実施例２において表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の第２段階を示す説明図、図１４は実施例２において表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の第３段階を示す説明図、図１５は本実施例２において表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の最終段階を示す説明図、図１６は本実施例２の映像表示システムの動作を示すフローチャートである。
【００４５】
まず、図９に示す映像表示システムの構成について説明する。
図９に示すように、遠隔地９０において、風景、人物、繁華街などをカメラで撮影し、その映像をリアルタイムに現在地９１の映像表示装置９２（図１０及び図１１に示す映像表示部４０１に相当する）に表示する。撮影は二つのカメラ９３および９４を用いて行い、カメラ９３を主表示領域用カメラとし、カメラ９４を副表示領域表示用カメラとする。副表示領域用カメラ９４は、被写体の全体映像を撮影するものである。主表示領域表示用カメラ９３は、副表示領域用カメラ９４により撮影される被写体のうち視聴者の興味が集まる部分（領域）を拡大して撮影するために用いられる。また、主表示領域表示用カメラ９３及び副表示領域用カメラ９４と映像表示装置９２とは、通信回線９５介して接続されている。
【００４６】
実施例２の映像表示装置４００は、図１０に示すように、映像表示部４０１、２つの視聴者情報取得用カメラ４０２、顔画像認識手段４０３、顔座標検出手段４０４、視聴者注視座標検出手段４０５、視線位置行列作成手段４０６、視線位置情報検出手段４０７、満足度検出手段４０８、表示欲求度検出手段４０９、表示領域・表示順番決定手段４１０、動領域検出手段４１１、送信手段４１２、受信手段４１３および表示映像作成手段４１４を備える。
【００４７】
映像表示部４０１は、屋外のような人通りの多いに広場などに設置されるもので、横寸法がＸ，縦寸法がＹの大きさの映像表示画面４０１Ａを有する。また、この映像表示画面４０１Ａは、図１１に示すように、視聴者の興味を持った領域の映像を表示する主表示領域４０１Ｂと、全体映像を縮小して表示する副表示領域４０１Ｃとに区分されている。また、実施例２では、主表示領域表示用カメラ９３により撮影された映像を主表示領域４０１Ｂに表示し、副表示領域用カメラ９４により撮影された映像を副表示領域４０１Ｃに表示することができるようになっている。
【００４８】
２つの視聴者情報取得用カメラ４０２は、映像表示部４０１の映像表示画面を視聴する不特定多数の視聴者を撮影するもので、図１１に示すように、映像表示部４０１の表示画面上における上端の左右個所に、視聴者に向けて配置されている。この左右両視聴者情報取得用カメラ４０２の間隔は、視聴者の表示画面に対する視線の位置を正確に求めるために表示画面のＸ軸方向の寸法に相当する距離Ｌに設定されている。
【００４９】
顔画像認識手段４０３は、各視聴者情報取得用カメラ４０２で取得された視聴者映像に基づいて、図９に示すように、映像表示画面４０１Ａに顔を向けている視聴者２００の顔画像をＳＶＭ等により認識し、認識された顔画像に基づいて映像表示画面４０１Ａに顔を向けている視聴者２００の数を検出する。
顔座標検出手段４０４は、実施例１の顔座標検出手段１０４と同様に、視聴者情報取得用カメラ４０２毎に顔画像認識手段４０３により認識された顔画像に基づいて映像表示画面４０１Ａ上における顔画像の位置座標を、認識された視聴者２００毎に検出する。
【００５０】
視聴者注視座標検出手段４０５は、実施例１の視聴者注視座標検出手段１０５と同様に、視聴者情報取得用カメラ４０２毎に顔画像認識手段４０３により認識された両方の顔画像に基づいて視聴者２００の顔の方向と眼球の方向を検出し、認識された視聴者２００の視線方向を視聴者毎に検出し、検出された視線方向の情報と顔座標検出手段４０４により検出された顔画像の位置座標に基づいて視聴者２００が映像表示画面４０１Ａ中で注視している視線の位置を視線位置情報として、認識された視聴者毎に検出する。
【００５１】
視線位置行列作成手段４０６は、視聴者注視座標検出手段４０５により検出された視線位置情報に基づいて映像表示画面４０１Ａ上の座標（０，０，０）〜（Ｘ，Ｙ，０）に対して視聴者２００の視線が向いているかどうかを表すＸ×Ｙの行列Ｖｉ（ｔ）を作成する。
また、視線位置情報検出手段４０７は、視線位置行列作成手段４０６により作成されたＸ×Ｙの行列に過去（時刻ｔ−Ｔから現時刻ｔ）の視線位置情報を加算して現在の視線位置情報を視線位置メタ情報Ｖｉｍｅｔａ（ｔ）として、視聴者毎に算出する。
【００５２】
満足度検出手段４０８は、顔座標検出手段４０４により検出された顔画像の位置座標に基づいて視聴者２００が映像表示画面４０１Ａに顔を向けて映像をどれくらい静止して見ていたかを表す顔移動係数Ｆｉｍｏｖｅを算出するとともに、算出された顔移動係数Ｆｉｍｏｖｅに基づいて視聴者２００の満足度Ｓｉ（ｔ）を視聴者毎に算出する。
【００５３】
表示欲求度検出手段４０９は、視線位置情報検出手段４０７により算出された視線位置メタ情報Ｖｉｍｅｔａ（ｔ）、満足度検出手段４０８により算出された顔移動係数Ｆｉｍｏｖｅおよび満足度Ｓｉ（ｔ）に基づいて映像表示画面４０１Ａ中の全領域での映像に対する視聴者２００の表示欲求度Ｄｉ（ｔ）を、認識した視聴者２００毎に算出し、算出された表示欲求度Ｄｉ（ｔ）を加算して、認識した視聴者全員の映像表示画面４０１Ａ中の表示欲求度ＡＤ（ｔ）として求める。
【００５４】
表示領域・表示順番決定手段４１０は、表示欲求度検出手段４０９により算出された表示欲求度ＡＤ（ｔ）の情報に基づいて映像表示画面４０１Ａの主表示領域４０１Ｂに表示する表示領域の大きさとこの表示領域の表示の順番を決定し、表示領域および表示順の情報を主表示領域表示用カメラ９３に対して送出する。
動領域検出手段４１１は、表示領域・表示順番決定手段４１０により決定された各表示領域が動領域か静止領域かを判定し、表示領域が動領域と判定されたとき、表示領域（すなわち主表示領域表示用カメラ９３の撮影領域）が変更されてトラッキングされるように主表示領域表示用カメラ９３に対してトラッキング指令を送出するものである。
【００５５】
送信手段４１２は、表示領域・表示順番決定手段４１０により決定された表示領域と順番を表す情報と動領域検出手段４１１により検出された動領域か静止領域かの判定情報とを遠隔地に設置された主表示領域表示用カメラ９３に送信する。
受信手段４１３は、遠隔地に設置された主表示領域表示用カメラ９３及び副表示領域用カメラ９４により撮影された映像を受信し、表示映像作成手段４１４に出力する。
表示映像作成手段４１４は、受信手段４１３からの主表示領域表示用カメラ９３及び副表示領域用カメラ９４の映像を映像表示部４０１の主表示領域４０１Ｂ及び副表示領域４０１Ｃに表示するように加工する。
【００５６】
次に、実施例２の映像表示装置の動作について図９〜図１６を参照して説明する。
図９において、遠隔地９０の主表示領域用カメラ３０１及び副表示領域用カメラ３０２により撮影されたそれぞれの映像は、通信回線９５を通して現在地９１にある映像表示装置９２に伝送され表示される。より具体的には、主表示領域表示用カメラ９３は視聴者達が興味を持った領域の拡大映像を得るための被写体、例えば図９に示す遠隔地９０の撮影場所にいる人物９６を撮影し、また、副表示領域用カメラ９４は遠隔地９０の撮影場所にいる人物９６及びその背景建物９７を含む全体映像を撮影する。そして、主表示領域表示用カメラ９３で撮影された映像は受信手段４１３で受信され、表示映像作成手段４１４によって映像表示部４０１の主表示領域４０１Ｂに図９及び図１１に示すように拡大表示される。また、副表示領域用カメラ９４で撮影された映像は受信手段４１３で受信され、表示映像作成手段４１４によって映像表示部４０１の副表示領域４０１Ｃに図９及び図１１に示すように縮小表示される。
【００５７】
かかる状態において、左右の視聴者情報取得用カメラ４０２を用いて、それぞれのカメラ視野内にいる視聴者２００を撮影し、視聴者２００の映像情報を得る（ステップＳ３１）。この時、視聴者情報取得用カメラ４０２と映像表示部４０１との位置関係は既知であり、図１１に示すような配置をとるものとする。また、図１１において、座標（０，０，０）は映像表示画面４０１Ａの左端上の座標を表し、座標（Ｘ，Ｙ，０）は映像表示画面４０１Ａの右端下の座標を表している。
【００５８】
顔画像認識手段４０３では、実施例１と同様に、視聴者情報取得用カメラ４０２から得られた映像信号を用いてＳＶＭ等の手法により、映像表示画面４０１Ａに顔を向けている視聴者２００の顔画像認識を行い、この視聴者の数を認識する（ステップＳ３２）。このとき認識した視聴者２００の人数をｍとする。
顔座標検出手段４０４では、実施例１と同様に、顔画像認識手段４０３によって認識された視聴者２００のそれぞれに対して、映像表示画面４０１Ａに対する顔の位置座標を求める（ステップＳ３３）。
【００５９】
視聴者注視座標検出手段４０５では、実施例１同様に、視聴者２００が映像表示画面４０１Ａ中で注視している視線の方向を検出し、かつ映像表示画面４０１Ａ中で見ている位置座標を、認識された視聴者毎に検出する（ステップＳ３４）。
視線位置行列作成手段４０６では、視聴者注視座標検出手段４０５で求められた視線位置情報を基に映像表示画面４０１Ａ上の座標（０，０，０）〜（Ｘ，Ｙ，０）に対して視聴者２００の視線が向いているかどうかを表すＸ×Ｙの視線位置行列を作成する（ステップＳ３５）。すなわち、視線の位置座標は（Ｖｉｘ，Ｖｉｙ，0）一点ではなく、（Ｖｉｘ，Ｖｉｙ，0）を中心にして半径ｒの円内部に視線が向いているとすると、現時刻ｔで視線が向いているかどうかを表すＸ×Ｙの視線位置行列Ｖｉ（ｔ）は数９に基づいて作成することができる。
【００６０】
［数９］
【００６１】
上記の視線位置行列は、図１１に示される映像表示画面４０１Ａ上の座標（０，０，０）〜（Ｘ，Ｙ，０）の位置と対応しており、行列の要素v11が映像表示画面４０１Ａの左端上を示し、要素vxyが右端下を示している。したがって、視線位置情報検出手段４０７は、視線位置行列作成手段４０６で作成されたＸ×Ｙの視線位置行列に過去（時刻ｔ−Ｔから現時刻ｔ）の視線位置情報を加算することにより、現在の視線位置情報を視線位置メタ情報Ｖｉｍｅｔａ（ｔ）として、次の数１０から視聴者毎に求めることができる（ステップＳ３６）。
【００６２】
［数１０］
【００６３】
満足度検出手段４０８では、上記実施例１に示す場合と同様にして、顔移動係数Ｆｉｍｏｖｅを算出し、算出された顔移動係数Ｆｉｍｏｖｅに基づいて視聴者２００の満足度Ｓｉ（ｔ）を算出する（ステップＳ３７）。
表示欲求度検出手段４０９では、視線位置情報検出手段４０７で算出された視線位置メタ情報Ｖｉｍｅｔａ（ｔ）と満足度検出手段４０８で算出された顔移動係数Ｆｉｍｏｖｅ及び満足度Ｓｉ（ｔ）とに基づいて現時刻ｔにおける映像表示画面４０１Ａ中の全領域での映像に対する視聴者２００の表示欲求度Ｄｉ（ｔ）を数１１により、認識した視聴者２００毎に算出する（ステップＳ３８）。
【００６４】
［数１１］
【００６５】
さらに、表示欲求度検出手段４０９では、認識した視聴者２００毎に算出された表示欲求度Ｄｉ（ｔ）を加算して、認識した視聴者全員の映像表示画面４０１Ａ中における映像の表示欲求度ＡＤ（ｔ）を数１２により算出する（ステップＳ３９）。この表示欲求度ＡＤ（ｔ）はＸ×Ｙの行列として得られる。
【００６６】
［数１２］
【００６７】
表示領域・表示順番決定手段４１０では、Ｘ×Ｙの行列として得られる表示欲求度ＡＤ（ｔ）に基づいて、主表示領域４０１Ｂに表示する領域を選択し、選択された領域の大きさおよび表示順を、以下に述べる処理により決定する（ステップＳ４０）。
【００６８】
処理１；表示欲求度ＡＤ（ｔ）の行列の要素ａｄｉｊにおいて、要素ａｄｉｊが予め定めた閾値以下ａｄｉｊ＜ｔｈｖａｌｕｅとなる領域を表示しない領域（ＮＧ）とし、要素ａｄｉｊが閾値以上の領域を表示する領域として選択する。図１２に示す主表示領域４０１Ｂにおいて、ハッチングの領域が表示しない領域（ＮＧ）を示しており、白抜きの領域が表示する領域１２０を示している。また、この表示する領域１２０のうち、白抜きの度合が大きい程要素ａｄｉｊの値が大きくなる。
【００６９】
処理２；表示しない領域（ＮＧ）になっていない要素ａｄｉｊを連結させ、ｎ個の連結された領域ＡＲＥＡｊ（ｊ＝0，…，ｎ）を作成する。
この領域においてＡＲＥＡｊの面積＜ｔｈＡＲＥＡとなる閾値以下のエリアはＮＧとし、閾値以上のエリアを表示するエリア１３０とする。そして、この各エリア１３０の中心点１３１を図１３に示すように求める。この場合、中心点１３１がある閾値以上の副表示領域４０１Ｃに含まれていたならば、そのエリアをＮＧとする。
【００７０】
処理３；中心点を中心にして、図１４に示すように、ＮＧ領域が入らないように表示エリア１３０からＮ：Ｌの比率の領域１４０を抜き出す。
処理４；抜き出した領域１４０のうち、ＮＧになっていない領域１４０の大きさの平均値を求め、この平均値の高いものから順に、図１５に示すようなラベルをつける。すなわち、各表示する領域１４０に図１５に示すような表示の順番を表す番号「１」、「２」、「３」を付ける。なお、領域の表示の順番を表す番号の順序は図１５に示すものに限定されない。
以上の処理で、主表示領域４０１Ｂに表示する表示領域の大きさおよび表示順を決定することができる。
【００７１】
動領域検出手段４１１では、表示領域・表示順番決定手段４１０で選択されたそれぞれの表示領域が動領域か静止領域かを判定する。動領域検出手段４１１は、表示領域内の映像を時間によるブロックマッチング処理を行い、動きベクトルを検出する（ステップＳ４１）。そして、検出された動きベクトル値（ｍｖｘ，ｍｖｙ）を予め定めた閾値（ｍｖｘ＞ｔｈｍｖ_ｘ ｏｒ ｍｖｙ＞ｔｈｍｖ_ｙ）と比較し、動きベクトルの値が閾値以上のとき、この表示領域を動領域と判定する（ステップＳ４２）。そして、動領域検出手段４１１は、表示領域が動領域の場合には、動き検出を行い、動領域をトラッキングする。また、表示領域が動領域でない場合には、静止領域であるから、そのまま保持する。
【００７２】
次に、送信手段４１２では、表示領域・表示順番決定手段４１０により決定された表示領域（撮影場所）と表示の順番を表す情報、及び動領域検出手段４１１により検出された動領域か静止領域かの判定情報である動き検出の情報を遠隔地に設置された主表示領域表示用カメラ９３に送信する（ステップＳ４５）。これに伴い、主表示領域用カメラ９３は、与えられた情報に基づいて、カメラ本体の角度や、ズーム、トラッキングの有無などが変更されるとともに、指定された領域の映像を撮影して現在地の映像表示装置に送信する。この映像を受信した映像表示部４０１では、各表示領域を一定時間表示した後、副表示領域４０１Ｃに表示されている全体映像を主表示領域４０１Ｂに表示する。
以下、図１６のステップＳ３１からステップＳ４６に示す処理は所定の時間単位、例えば数十秒ないし１分程度の時間単位で繰り返し実行される。なお、上記処理サイクルは、上述した時間に限定されるものではない。
【００７３】
上記で述べた映像表示制御の処理手順を要約すると、以下に述べる手順で映像表示処理が繰り返し行われることになる。
手順１；映像表示部４０１の表示領域全体に、副表示領域用カメラ９３で取得した遠隔地９０からの全体映像を表示する。
手順２；全体映像を視聴している視聴者２００達が興味を持った領域を複数個求める。
手順３；映像部４０１の表示領域を主表示領域４０１Ｂと副表示領域４０１Ｃに分割して、主表示領域４０１Ｂに主表示領域表示用カメラ９３で取得した視聴者の興味を持った映像Ｐ１を図９に示すように拡大して表示し、副表示領域４０１Ｃに副表示領域表示用カメラ９４で取得した全体映像Ｐ２を図９に示すように縮小して表示する。
手順４；上記手順２で求めた視聴者の興味を持った領域を一定時間毎に切り替え、全て表示する。
手順５；手順１に戻る。
【００７４】
このように実施例２によれば、従来のように観客に特別に装着される視線入力装置を用いることなしに、屋外の映像表示部に表示された映像に対する不特定多数の視聴者の視線情報を取得し、取得された視線情報に基づいて視聴者の興味が集まる映像を表示する。
したがって、視聴者に手間をかけることなく、視聴者の興味が集まる映像を大きく表示し、ひいては視聴者の興味をいっそう喚起することができる。
【符号の説明】
【００７５】
１００・・・・・・映像表示装置、１０１・・・・・・映像表示部、１０１Ａ・・・・・・映像表示画面、１０１Ｂ・・・・・・主表示領域、１０１Ｃ・・・・・・副表示領域、１０２・・・・・・視聴者情報取得用カメラ、１０３・・・・・・顔画像認識手段、１０４・・・・・・顔座標検出手段、１０５・・・・・・視聴者注視座標検出手段、１０６・・・・・・注目映像情報検出手段、１０７・・・・・・満足度検出手段、１０８・・・・・・表示欲求度検出手段、１０９・・・・・・表示映像作成手段、１１０・・・・・・受信手段、２００・・・・・・視聴者、３０１・・・・・・主表示領域用カメラ、３０２・・・・・・副表示領域用カメラ、４００・・・・・・映像表示装置、４０１・・・・・・映像表示部、４０２・・・・・・視聴者情報取得用カメラ、４０３・・・・・・顔画像認識手段、４０４・・・・・・顔座標検出手段、４０５・・・・・・視聴者注視座標検出手段、４０６・・・・・・視線位置行列作成手段、４０７・・・・・・視線位置情報検出手段、４０８・・・・・・満足度検出手段、４０９・・・・・・表示欲求度検出手段、４１０・・・・・・表示領域・表示順番決定手段、４１１・・・・・・動領域検出手段、４１２・・・・・・送信手段、４１３・・・・・・受信手段、４１４・・・・・・表示映像作成手段、４０１Ａ・・・・・・映像表示画面、４０１Ｂ・・・・・・主表示領域、４０１Ｃ・・・・・・副表示領域。
【技術分野】
【０００１】
本発明は、集まった多数の人により視聴される大画面映像を表示する映像表示装置に関し、詳しくは、表示される映像の中で多くの視聴者が注目する領域を検出し、検出された領域を大きく表示する映像表示方法および映像表示装置に関する。
【背景技術】
【０００２】
屋外等に設置された映像表示装置の大画面映像は、その場に集まった多数の人により視聴される。しかし、個々の視聴者がどの映像に興味があるかといった事情は、その映像の表示には反映されないのが普通である。視聴者の興味を反映させた映像を提供する場合、多くの視聴者の情報を集め、集められた情報をまとめる必要がある。
【０００３】
そこで、従来においては、視線入力装置を複数の観客に装着してもらい、複数の視線入力装置により検出された観客の視線情報を統計的に処理した結果に応じて観客の注目する領域を切り出す映像切り出し制御装置が開示されている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−１２５２８６号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記特許文献１の映像切り出し制御装置では、視線入力装置を複数の観客に装着してもらうため、スポーツ観戦のような特定の観客の視線情報を取得する場合には好適であるが、屋外に設置された不特定多数の人に視聴される映像表示装置には不向きである。街頭の映像表示装置では、立ち止まって視聴する人や、歩いて通り過ぎる間だけ視聴する人等の様々な人があり、これらの人に視線入力装置をいちいち装着してもらうのが現実的ではない。
【０００６】
本発明の目的は、上記のような従来の問題を鑑みてなされたものであり、視聴者に装着される視線入力装置を用いることなしに、映像表示装置に表示された映像に対する不特定多数の視聴者の視線情報を取得して視聴者の興味が集まる映像の領域を検出し、検出された領域を大きく表示する映像表示方法及び映像表示装置を提供するにある。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の映像表示方法は、第１のカメラにより第１の映像を撮影する第１の映像撮影ステップと、前記第１の映像撮影ステップで撮影される第１の映像の一部の領域である第２の映像を第２のカメラにより撮影する第２の映像撮影ステップと、前記第１の映像撮影ステップで撮影された第１の映像および前記第２の映像撮影ステップで撮影された第２の映像を映像表示部により表示画面に表示する映像表示ステップとを含み、前記映像表示ステップは、前記第１の映像撮影ステップで撮影された第１の映像を前記表示画面に表示する第１の映像表示ステップと、前記第１の映像表示ステップで前記表示画面に表示された映像を見る視聴者を複数の視聴者用カメラにより撮影する視聴者撮影ステップと、前記視聴者撮影ステップで撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識ステップと、前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出ステップと、前記表示欲求度算出ステップで算出された表示欲求度に基づいて前記第２の映像撮影ステップで撮影すべき前記領域を選択する領域選択ステップと、前記領域選択ステップで選択された選択情報に応じて前記第２の映像撮影ステップで撮影された第２の映像を前記表示画面に表示する第２の映像表示ステップとを含み、前記第２の映像撮影ステップは、前記領域選択ステップで選択された選択情報に従って前記領域を第２のカメラにより撮影することを特徴とする。
また、本発明の映像表示装置は、第１の映像を撮影する第１のカメラと、前記第１の映像の一部の領域である第２の映像を撮影する第２のカメラと、前記第１のカメラにより撮影された第１の映像および前記第２のカメラにより撮影された第２の映像を表示画面に表示する映像表示部とを備えた映像表示装置であって、前記映像表示部は、前記第１のカメラにより撮影された第１の映像を前記表示画面に表示する第１の映像表示手段と、前記第１の映像表示手段により前記表示画面に表示された映像を見る視聴者を撮影する複数の視聴者用カメラと、前記複数の視聴者撮影用カメラにより撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識手段と、前記顔画像認識手段により認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出手段と、前記表示欲求度算出手段により算出された表示欲求度に基づいて前記第２のカメラにより撮影すべき前記領域を選択する領域選択手段と、前記領域選択手段により選択された前記領域の選択情報に応じて前記第２のカメラにより撮影された第２の映像を前記表示画面に表示する第２の映像表示手段とを有し、前記第２のカメラは、前記領域選択手段により選択された選択情報に従って前記領域を撮影することを特徴とする。
【０００８】
また、本発明の映像表示方法は、第１のカメラにより第１の映像を撮影する第１の映像撮影ステップと、前記第１の映像撮影ステップで撮影される第１の映像の一部の領域である第２の映像を第２のカメラにより撮影する第２の映像撮影ステップと、前記第１の映像撮影ステップで撮影された第１の映像および前記第２の映像撮影ステップで撮影された第２の映像を第１の通信回線を介して送信する映像送信ステップと、前記映像送信ステップで前記第１の通信回線を介して送信された第１および第２の映像を受信する映像受信ステップと、前記映像受信ステップで受信された第１および第２の映像を映像表示部の表示画面に表示する映像表示ステップとを含み、前記映像表示ステップは、前記映像受信ステップで受信された第１の映像を前記表示画面に表示する第１の映像表示ステップと、前記第１の映像表示ステップで前記表示画面に表示された映像を見る視聴者を複数の視聴者用カメラにより撮影する視聴者撮影ステップと、前記視聴者撮影ステップで撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識ステップと、前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出ステップと、前記表示欲求度算出ステップで算出された表示欲求度に基づいて前記第２の映像撮影ステップで撮影すべき前記領域を選択する領域選択ステップと、前記領域選択ステップで選択された前記領域の選択情報を第２の通信回線を介して送信する選択情報送信ステップと、前記選択情報送信ステップで送信された選択情報を前記第２の通信回線を介して受信する選択情報受信ステップと、前記選択情報受信ステップで受信された選択情報に応じれ前記第２の映像撮影ステップで撮影され、前記映像送信ステップで送信され、前記映像受信ステップで受信された第２の映像を前記表示画面に表示する第２の映像表示ステップとを含み、前記第２の映像撮影ステップは、前記選択情報受信ステップで受信された選択情報に従って前記領域を第２のカメラにより撮影することを特徴とする。
また、本発明の映像表示装置は、第１の映像を撮影する第１のカメラと、前記第１の映像の一部の領域である第２の映像を撮影する第２のカメラと、前記第１のカメラにより撮影された第１の映像および前記第２のカメラにより撮影された第２の映像を第１の通信回線を介して送信する映像送信手段と、前記映像送信手段により前記第１の通信回線を介して送信された第１および第２の映像を受信する映像受信手段と、前記映像受信手段により受信された第１および第２の映像を表示画面に表示する映像表示部とを備えた映像表示装置であって、前記映像表示部は、前記映像受信手段により受信された第１の映像を前記表示画面に表示する第１の映像表示手段と、前記第１の映像表示手段により前記表示画面に表示された映像を見る視聴者を撮影する複数の視聴者用カメラと、前記複数の視聴者撮影用カメラにより撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識手段と、前記顔画像認識手段により認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出手段と、前記表示欲求度算出手段により算出された表示欲求度に基づいて前記第２のカメラにより撮影すべき前記領域を選択する領域選択手段と、前記領域選択手段により選択された前記領域の選択情報を第２の通信回線を介して送信する選択情報送信手段と、前記選択情報送信手段により送信された選択情報に応じて前記第２のカメラにより撮影され、前記映像送信手段により送信され、前記映像受信手段により受信された第２の映像を前記表示画面に表示する第２の映像表示手段とを有し、前記映像表示装置は、前記選択情報送信手段により前記第２の通信回線を介して送信された選択情報を受信する選択情報受信手段を有し、前記第２のカメラは、前記選択情報受信手段により受信された選択情報に従って前記領域を撮影することを特徴とする。
【発明の効果】
【０００９】
本発明の映像表示方法および映像表示装置によれば、第１のカメラにより撮影され第１の映像を映像表示部により表示し、表示された画面を見る視聴者を複数の視聴者用カメラにより撮影する。次に、複数の視聴者用カメラにより撮影された画像に基づいて視聴者の顔画像を認識し、認識された顔画像に基づいて顔画像が注視する映像の位置を検出して位置の表示欲求度を算出し、算出された表示欲求度に基づいて第２のカメラにより撮影すべき領域を選択する。そして、選択情報に従う領域を第２のカメラにより撮影し、撮影された領域の映像を映像表示部により表示する。
したがって、従来のような視線入力装置を用いることなしに、多数の視聴者の興味が集まる映像を検出し、検出された映像を大きく表示することができる。
【００１０】
また、本発明の映像表示方法および映像表示装置によれば、第１のカメラにより撮影され第１の通信回線を介して送信された第１の映像を映像表示部により表示し、表示された画面を見る視聴者を複数の視聴者用カメラにより撮影する。次に、複数の視聴者用カメラにより撮影された画像に基づいて視聴者の顔画像を認識し、認識された顔画像に基づいて顔画像が注視する映像の位置を検出して位置の表示欲求度を算出し、算出された表示欲求度に基づいて第２のカメラにより撮影すべき領域を選択し、選択情報を第２の通信回線を介して第２のカメラに送信する。そして、選択情報に従う領域を第２のカメラにより撮影し、第１の通信回線を介して送信された第２の映像を映像表示部により表示する。
したがって、従来のような視線入力装置を用いることなしに、多数の視聴者の興味が集まる映像を検出し、検出された映像を大きく表示することができる。
【図面の簡単な説明】
【００１１】
【図１】実施例１の映像表示装置の構成を示す機能ブロック図である。
【図２】映像表示部の映像表示形態の一例を示す説明図である。
【図３】映像表示部と視聴者との関係を示す説明図である。
【図４】映像表示部と視聴者情報取得用カメラとの位置関係を示す説明図である。
【図５】映像表示部の表示画面に顔を向けている視聴者の顔画像を認識する場合の映像表示部と視聴者との関係を示す説明図である。
【図６】映像表示部の表示画面と視聴者の顔領域との位置関係を求めるための説明図である。
【図７】映像表示部の表示画面中で見ている視聴者の視線位置を表す説明図である。
【図８】実施例１の映像表示装置の動作を示すフローチャートである。
【図９】実施例２の映像表示システムの概略構成を示す図である。
【図１０】実施例２の映像表示システムの構成を示す機能ブロック図である。
【図１１】映像表示部と視聴者情報取得用カメラとの位置関係を示す説明図である。
【図１２】表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の第１段階を示す説明図である。
【図１３】表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の第２段階を示す説明図である。
【図１４】表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の第３段階を示す説明図である。
【図１５】表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の最終段階を示す説明図である。
【図１６】実施例２の映像表示システムの動作を説明するためのフローチャートである。
【発明を実施するための形態】
【００１２】
映像表示装置に表示された映像に対する不特定多数の視聴者に特別な視線入力装置を装着することなしに、複数の映像視聴者の興味を持った映像を表示部に入れ替え可能に表示する映像表示制御方法及び装置を提供するという目的は、映像表示手段を視聴している複数の視聴者の興味の集まっている映像を視聴者の視線情報と顔画像の位置情報から調べ、興味の集まっている映像が副表示領域に表示されている映像の場合は、この映像を主表示領域に表示される映像と入れ替え、視聴者に興味を持たれている映像を主表示領域に表示することによって実現した。
【実施例１】
【００１３】
以下、本発明の実施例１について図１〜図８を参照して説明する。
図１は、実施例１の映像表示装置の構成を示す機能ブロック図、図２は実施例１における映像表示部への映像表示形態の一例を示す説明図、図３は実施例１における映像表示部と視聴者との関係を示す説明図、図４は実施例１における映像表示部と視聴者情報取得用カメラとの位置関係を示す説明図、図５は実施例１における映像表示部の表示画面に顔を向けている視聴者の顔画像を認識する場合の映像表示部と視聴者との関係を示す説明図、図６は実施例１における映像表示部の表示画面と視聴者の顔領域との位置関係を求めるための説明図、図７は実施例１における映像表示部の表示画面中で見ている視聴者の視線位置を表す説明図、図８は実施例１の映像表示装置の動作を示すフローチャートである。
【００１４】
図１に示すように、映像表示装置１００は、映像表示部１０１、２つの視聴者情報取得用カメラ１０２、顔画像認識手段１０３、顔座標検出手段１０４、視聴者注視座標検出手段１０５、注目映像情報検出手段１０６、満足度検出手段１０７、表示欲求度検出手段１０８および表示映像作成手段１０９を備える。
【００１５】
映像表示部１０１は、屋外のような人通りの多いに広場などに設置されもので、横寸法がＸ，縦寸法がＹの大きさの映像表示画面１０１Ａを有する。また、映像表示画面１０１Ａは、図２〜図４に示すように、比較的大きな１つの映像表示領域からなる主表示領域１０１Ｂと、主表示領域１０１Ｂより小さな映像表示領域の映像Ｐ１，Ｐ２・・・を複数並べて表示する副表示領域１０１Ｃとに区分されている。
【００１６】
２つの視聴者情報取得用カメラ１０２は、映像表示部１０１の映像表示画面を視聴する不特定多数の視聴者を撮影するもので、図４に示すように、映像表示部１０１の表示画面上における上端の左右個所に、視聴者に向けて配置されている。この左右両視聴者情報取得用カメラ１０２の間隔は、視聴者の表示画面に対する視線の位置を正確に求めるために表示画面のＸ軸方向の寸法に相当する距離Ｌに設定されている。
【００１７】
顔画像認識手段１０３は、各視聴者情報取得用カメラ１０２で取得された視聴者映像からＳＶＭ（Support Vector Machine）等により、図３に示すように、映像表示画面１０１Ａに顔を向けている視聴者２００の顔画像を認識し、認識された顔画像に基づいて映像表示画面１０１Ａに顔を向けている視聴者２００の人数を認識する。
顔座標検出手段１０４は、視聴者情報取得用カメラ１０２毎に顔画像認識手段１０３により認識された顔画像に基づいて映像表示画面１０１Ａ上における顔画像の位置座標を認識された視聴者２００毎に検出するものである。
【００１８】
視聴者注視座標検出手段１０５は、視聴者情報取得用カメラ１０２毎に顔画像認識手段１０３により認識された両方の顔画像に基づいて視聴者２００の顔の方向と眼球の方向を検出して、認識された視聴者２００の視線方向を視聴者毎に検出し、検出された視線方向の情報と顔座標検出手段１０４により検出された顔画像の位置座標に基ついて視聴者２００が映像表示画面１０１Ａ中で注視している視線の位置座標を認識された視聴者毎に検出する。
【００１９】
注目映像情報検出手段１０６は、視聴者注視座標検出手段１０５により検出された視線の位置座標に基づいて視聴者２００が瞬間注視している映像表示画面１０１Ａ中の映像がどの映像かを判定して注目映像情報を検出し、検出された注目映像情報を一定時間取得して視聴者２００の注目映像メタ情報Ｐｉｍｅｔａ（ｔ）を視聴者毎に算出する。
【００２０】
満足度検出手段１０７は、顔座標検出手段１０４により検出された顔画像の位置座標に基づいて視聴者２００が映像表示画面１０１Ａに顔を向けて映像をどれくらい静止して見ていたかを表す顔移動係数Ｆｉｍｏｖｅを算出し、算出された顔移動係数Ｆｉｍｏｖｅに基づいて視聴者２００の満足度Ｓｉ（ｔ）を算出する。
【００２１】
表示欲求度検出手段１０８は、注目映像情報検出手段１０６で算出された注目映像メタ情報Ｐｉｍｅｔａ（ｔ）と満足度検出手段１０７により算出された顔移動係数Ｆｉｍｏｖｅ及び満足度Ｓｉ（ｔ）に基づいて主表示領域１０１Ｂと副表示領域１０１Ｃの各映像に対する視聴者２００の表示欲求度Ｄｉ（ｔ）を各映像毎に算出し、算出された表示欲求度Ｄｉ（ｔ）を各映像毎に加算して、認識した視聴者全員の各映像に対する表示欲求度ＡＤ（ｔ）を算出する。
【００２２】
表示映像作成手段１０９は、表示欲求度検出手段１０８により算出された表示欲求度の最も高い値の映像が主表示領域１０１Ｂに表示されるように主表示領域１０１Ｂ及び副表示領域１０１Ｃに表示される映像を作成して映像表示部１０１に出力する。また、この表示映像作成手段１０９には、図１に示すように、受信手段１１０が接続されている。受信手段１１０は、遠隔地に設置された１つの主表示領域用カメラ３０１および複数の副表示領域用カメラ３０２により撮影されたそれぞれの映像情報を受信する。表示映像作成手段１０９は、受信手段１１０により受信された１つの主表示領域用カメラ３０１および複数の副表示領域用カメラ３０２の映像情報に基づいて映像表示部１０１に出力する映像を作成する。
【００２３】
次に、実施例１の映像表示装置の動作について説明する。
遠隔地で主表示領域用カメラ３０１及び副表示領域用カメラ３０２により撮影されたそれぞれの映像は、通信回線１１１を通して現在地にある映像表示装置１００の受信手段１１０により受信される。受信された映像は、表示映像作成手段１０９により表示用の映像に加工され、映像表示部１０１により表示される。これにより、映像表示部１０１の主表示領域１０１Ｂには、図２に示すように、大きな１つの映像ＰＭＡＸが表示され、また、副表示領域１０１Ｃの各映像表示領域には、図２に示すように、複数の映像Ｐ１，Ｐ２・・・が並べて表示される。
【００２４】
上述のように映像を表示した映像表示部１０１の映像表示画面１０１Ａを視聴している複数の視聴者２００がいる場合、図２の矢印で示すように、視聴者２００のそれぞれが興味をもっている映像が異なり、常に主表示領域１０１Ｂの映像が最大の興味を得ているとは限らない。
そこで、視聴者２００の興味が集まっている映像を視聴者２００の視線情報と顔の位置情報に基づいて検出する。そして、興味の集まっている映像が副表示領域１０１Ｃに表示されている映像の場合は、この映像を主表示領域１０１Ｂに表示される映像と入れ替え、視聴者２００に興味を持たれている映像が主表示領域１０１Ｂに表示されるようにする。以下、図２〜図８を参照して詳述する。
【００２５】
まず、左右の視聴者情報取得用カメラ１０２を用いて、それぞれのカメラ視野内にいる視聴者２００を撮影し、視聴者２００達の映像情報を得る（ステップＳ１１）。このとき、視聴者情報取得用カメラ１０２と映像表示部１０１との位置関係は既知であり、図４に示すような配置をとるものとする。また、図４において、座標（０，０，０）は映像表示画面１０１Ａの左端上の座標を表し、座標（Ｘ，Ｙ，０）は映像表示画面１０１Ａの右端下の座標を表している。
【００２６】
顔画像認識手段１０３では、視聴者情報取得用カメラ１０２から得られた映像信号を用いてＳＶＭ等の手法により、映像表示画面１０１Ａに顔を向けている視聴者２００の顔画像の認識を行い、更に顔画像認識された視聴者の人数を検出する（ステップＳ１２）。ここで、検出された視聴者２００の人数をｍとする。この顔画像認識ではある程度の正面顔、つまりは映像表示画面１０１Ａに顔を向けている人物さえ認識できればよい。映像表示画面１０１Ａに対して顔を向けていない人物は、映像に興味を持っていない人物であると考えられるからである。この様子を図５に示す。この図５において、曲線で囲んだ範囲内の視聴者２００が顔認識された者であり、×印を付した視聴者２００は顔認識できない者である。また、曲線で囲んだ範囲内の視聴者で、符号２００Ａで示す視聴者は矢印Ａで示す方向に歩行中または視線を副表示領域１０１Ｃの映像Ｐ１に向けた者であり、また曲線で囲んだ範囲内の視聴者で、符号２００Ｂで示す視聴者は視聴しずらい者である。
【００２７】
顔座標検出手段１０４では、顔画像認識手段１０３によって認識された視聴者２００のそれぞれに対して、映像表示画面１０１Ａに対する顔の位置座標を検出する（ステップＳ１３）。視聴者情報取得用カメラ１０２の映像において、対象とする視聴者２００の顔画像に対応する顔画像をもう一方の視聴者情報取得用カメラの映像から求める。このとき、二つの視聴者情報取得用カメラ１０２の光軸１０２Ａは、図６に示すように、お互いに平行であり、そして、視聴者情報取得用カメラ１０２を構成するレンズを結ぶ線分（Ｘ−Ｙ平面）は光軸１０２Ａと直交し、さらに、視聴者情報取得用カメラ１１２を構成する撮像素子面は光軸１１２Ａと直交する同一平面内に存在し、レンズの焦点距離ｆ（＝Ｈ）は等しい。
視聴者情報取得用カメラ１０２のレンズの中心から対応する顔画像ｉ(視聴者ｍ人中ｉ番目の視聴者の顔画像)が二つの視聴者情報取得用カメラにおいてずれている距離をそれぞれ
この時、求めたい視聴者ｉの顔画像の映像表示画面１０１Ａ上での座標は、数１で与えられる。
【００２８】
［数１］
【００２９】
視聴者注視座標検出手段１０５では、視聴者２００が映像表示画面１０１Ａ中で注視している視線の方向を検出し、かつ映像表示画面１０１Ａ中で見ている位置座標を、認識された視聴者毎に検出する（ステップＳ１４）。
視聴者ｉの視線方向の検出手法としては、実施例１では画像認識による方法を用いる。すなわち、二つの視聴者情報取得用カメラ１０２から得た顔画像から三次元顔画像モデルを作成し、三次元顔データベースとマッチングを取ることにより顔の方向を求め、さらに顔画像の内眼球部分に当たる領域において、黒目と白目の位置関係から眼球の方向を求める。この顔の方向と眼球の方向から視線の方向を得る。この時の視聴者ｉと映像表示画面１０１Ａとの関係は図７に示すようになる。
この図７から明らかなように、視聴者ｉが映像表示画面１０１Ａ中で見ている座標（Ｖｉｘ，Ｖｉｙ，0）は、数２で与えられる。
【００３０】
［数２］
【００３１】
注目映像情報検出手段１０６では、視聴者注視座標検出手段１０５で求められた視線の位置座標を基に視聴者２００が注視している映像表示画面１０１Ａ中の映像を検出し、この注目映像情報を一定時間取得して視聴者２００の注目映像メタ情報を視聴者毎に算出する（ステップＳ１５）。
すなわち、映像表示画面１０１Ａの主表示領域１０１Ｂ及び副表示領域１０１Ｃにおいて表示されている映像の数をｋ個とする。視聴者ｉの見ている座標（Ｖｉｘ，Ｖｉｙ，0）から、その瞬間視聴者が見ている映像がどの映像なのかを判定する。そして、現時刻ｔでの視聴者ｉの注目映像情報Ｐｉ（ｔ）＝（ｐｉ1（ｔ），ｐｉ2（ｔ），…，ｐｉｋ（ｔ））を得る。
【００３２】
次に、視聴者ｉの注目映像情報を一定時間取得し加算する。これは、人は何かに注目しているとき常にその領域を見続けるわけではなく、時として視線がずれること、また、ノイズなどによる誤領域の検出の影響を軽減するためなどの理由による。したがって、視線位置情報を時刻ｔ−Ｔから現時刻ｔまで加算したとすると、視聴者ｉの注目映像メタ情報Ｐｉｍｅｔａ（ｔ）は、数３で求められる。
【００３３】
[数３]
【００３４】
満足度検出手段１０７では、顔移動係数を算出し、算出された顔移動係数に基づいて視聴者２００の満足度を算出する（ステップＳ１６）。
すなわち、顔画像の位置座標に基づく視聴者２００が映像表示画面１０１Ａに顔を向けて映像をどれくらい静止して見ていたかを表す顔移動係数は、顔位置座標（Ｆｉｘ，Ｆｉｙ，0）を時刻ｔ−Ｔから現時刻ｔまで取得することで求められる。この場合は、まず、現在の位置と一回前に取得した位置との差分を取る。不特定多数の人物から映像内での興味領域を得るという目的上、表示されている映像に興味を持たない人物はできる限り除きたい。視聴者ｉが、静止して映像を見ているか、それとも歩きながらたまたま視線を向けているだけかの判定として、静止しているという情報を用いるのが最もわかりやすく、また有効であると考えられる。現時刻ｔでの移動時間係数ｆｉｔは単調減少関数Ｇ（ｘ）を用いて、数４で与えられる。
【００３５】
[数４]
この式から、瞬間の顔の移動量を用いた瞬間の顔移動係数が求まる。この瞬間の顔移動係数を時刻ｔ−Ｔから現時刻ｔまで加算することで、現時刻までにおいて視聴者ｉがどれくらい映像を静止してみていたかを表す顔移動係数Ｆｉｍｏｖｅが数５から求まる。
【００３６】
［数５］
【００３７】
さらに、重み付けとして、視聴者ｉの満足度を求める。人は、注目しているほど、映像をできるだけ良い環境で見ようとする。
映像表示画面１０１Ａ上での視線の座標（Ｖｉｘ，Ｖｉｙ，0）が、顔位置座標（Ｆｉｘ，Ｆｉｙ，0）に近いほど、映像を正面から見ていることになる。そして、映像表示部１０１の映像を最もよく見ることができる環境は、映像表示部１０１に対して正面であることは直感的に理解できる。しかし、多人数で映像表示画面１０１Ａを視聴する場合、必ずしも良好な環境で、つまりは映像を正面から見られるわけではない。そこで現状の環境に対する満足度として、時刻ｔにおいて視線の方向と顔位置がどれだけ離れているかで、視聴者ｉの満足度Ｓｉ（ｔ）を定義する。Ｈ（ｘ）を単調減少関数とすると、満足度Ｓｉ（ｔ）は数６から求められる。
【００３８】
［数６］
上記の式で得られる満足度は良い視聴環境であれば高くなる。この満足度が低い視聴者ほど、現状に満足しておらず、自分の見ている映像を主表示領域１０１Ｂにて視聴したい要求が強いと考えられる。
【００３９】
表示欲求度検出手段１０８では、以上の係数を用いて、現時刻ｔでの視聴者ｉの映像の表示欲求度Ｄｉ（ｔ）は数７から求められる（ステップＳ１７）。
【００４０】
［数７］
ここで、Ｄｉ（ｔ）は、視聴者がｋ個の映像それぞれをどの程度視聴したいかを表すものである。さらに、表示欲求度検出手段１０８では、Ｄｉ（ｔ）を認識したｍ人の視聴者全員に対して求め、加算することで視聴者全員の映像の表示欲求度ＡＤ（ｔ）を数８から算出する（ステップＳ１８）。
【００４１】
［数８］
【００４２】
表示映像作成手段１０９では、表示欲求度検出手段１０８で算出された表示欲求度の最も高い値の映像が主表示領域１０１Ｂの映像か否かを判定する（ステップＳ１９）。ここで、表示欲求度の最も高い値の映像が主表示領域１０１Ｂの映像であると判定された場合は、その映像が主表示領域１０１Ｂに表示する（ステップＳ２０）。また、表示欲求度の最も高い値の映像が副表示領域１０１Ｃの映像であると判定された場合、例えば表示欲求度の最も高い値の映像が副表示領域１０１Ｃの映像Ｐ１であると判定された場合には、主表示領域に表示されている映像ＰＭＡＸに代えて、表示欲求度の最も高い値の映像Ｐ１に入れ替え、映像Ｐ１が映像表示部１０１に表示する（ステップＳ２１）。以上の処理により主表示領域には、視聴者達の最も興味のある映像が表示され続ける。
以下、図８のステップＳ１１からステップＳ２１に示す処理は所定の時間単位、例えば数十秒ないし１分程度の時間単位で繰り返し実行され、これにより、映像表示部１０１に興味の集まった映像を主表示領域１０１Ｂに入れ替えて表示できる。なお、上記処理サイクルは、上述した時間に限定されるものではない。
【００４３】
このように実施例１によれば、従来のように観客に特別に装着される視線入力装置を用いることなしに、屋外の映像表示部に表示された映像に対する不特定多数の視聴者の視線情報を取得し、取得された視線情報に基づいて視聴者の興味が集まる映像を検出し、検出された映像を主表示領域１０１Ｂに表示する。したがって、視聴者に手間をかけることなく、視聴者の興味が集まる映像を大きく表示し、視聴者の興味をいっそう喚起することができる。
【実施例２】
【００４４】
次に、図９〜図１６により実施例２について説明する。
図９は、実施例２の映像表示システムの概略構成を示す図、図１０は実施例２の映像表示システムの構成を示す機能ブロック図、図１１は実施例２における映像表示部と視聴者情報取得用カメラとの位置関係を示す説明図、図１２は実施例２において表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の第１段階を示す説明図、図１３は実施例２において表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の第２段階を示す説明図、図１４は実施例２において表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の第３段階を示す説明図、図１５は本実施例２において表示欲求度行列から表示する領域の大きさおよびその順番を決定する処理の最終段階を示す説明図、図１６は本実施例２の映像表示システムの動作を示すフローチャートである。
【００４５】
まず、図９に示す映像表示システムの構成について説明する。
図９に示すように、遠隔地９０において、風景、人物、繁華街などをカメラで撮影し、その映像をリアルタイムに現在地９１の映像表示装置９２（図１０及び図１１に示す映像表示部４０１に相当する）に表示する。撮影は二つのカメラ９３および９４を用いて行い、カメラ９３を主表示領域用カメラとし、カメラ９４を副表示領域表示用カメラとする。副表示領域用カメラ９４は、被写体の全体映像を撮影するものである。主表示領域表示用カメラ９３は、副表示領域用カメラ９４により撮影される被写体のうち視聴者の興味が集まる部分（領域）を拡大して撮影するために用いられる。また、主表示領域表示用カメラ９３及び副表示領域用カメラ９４と映像表示装置９２とは、通信回線９５介して接続されている。
【００４６】
実施例２の映像表示装置４００は、図１０に示すように、映像表示部４０１、２つの視聴者情報取得用カメラ４０２、顔画像認識手段４０３、顔座標検出手段４０４、視聴者注視座標検出手段４０５、視線位置行列作成手段４０６、視線位置情報検出手段４０７、満足度検出手段４０８、表示欲求度検出手段４０９、表示領域・表示順番決定手段４１０、動領域検出手段４１１、送信手段４１２、受信手段４１３および表示映像作成手段４１４を備える。
【００４７】
映像表示部４０１は、屋外のような人通りの多いに広場などに設置されるもので、横寸法がＸ，縦寸法がＹの大きさの映像表示画面４０１Ａを有する。また、この映像表示画面４０１Ａは、図１１に示すように、視聴者の興味を持った領域の映像を表示する主表示領域４０１Ｂと、全体映像を縮小して表示する副表示領域４０１Ｃとに区分されている。また、実施例２では、主表示領域表示用カメラ９３により撮影された映像を主表示領域４０１Ｂに表示し、副表示領域用カメラ９４により撮影された映像を副表示領域４０１Ｃに表示することができるようになっている。
【００４８】
２つの視聴者情報取得用カメラ４０２は、映像表示部４０１の映像表示画面を視聴する不特定多数の視聴者を撮影するもので、図１１に示すように、映像表示部４０１の表示画面上における上端の左右個所に、視聴者に向けて配置されている。この左右両視聴者情報取得用カメラ４０２の間隔は、視聴者の表示画面に対する視線の位置を正確に求めるために表示画面のＸ軸方向の寸法に相当する距離Ｌに設定されている。
【００４９】
顔画像認識手段４０３は、各視聴者情報取得用カメラ４０２で取得された視聴者映像に基づいて、図９に示すように、映像表示画面４０１Ａに顔を向けている視聴者２００の顔画像をＳＶＭ等により認識し、認識された顔画像に基づいて映像表示画面４０１Ａに顔を向けている視聴者２００の数を検出する。
顔座標検出手段４０４は、実施例１の顔座標検出手段１０４と同様に、視聴者情報取得用カメラ４０２毎に顔画像認識手段４０３により認識された顔画像に基づいて映像表示画面４０１Ａ上における顔画像の位置座標を、認識された視聴者２００毎に検出する。
【００５０】
視聴者注視座標検出手段４０５は、実施例１の視聴者注視座標検出手段１０５と同様に、視聴者情報取得用カメラ４０２毎に顔画像認識手段４０３により認識された両方の顔画像に基づいて視聴者２００の顔の方向と眼球の方向を検出し、認識された視聴者２００の視線方向を視聴者毎に検出し、検出された視線方向の情報と顔座標検出手段４０４により検出された顔画像の位置座標に基づいて視聴者２００が映像表示画面４０１Ａ中で注視している視線の位置を視線位置情報として、認識された視聴者毎に検出する。
【００５１】
視線位置行列作成手段４０６は、視聴者注視座標検出手段４０５により検出された視線位置情報に基づいて映像表示画面４０１Ａ上の座標（０，０，０）〜（Ｘ，Ｙ，０）に対して視聴者２００の視線が向いているかどうかを表すＸ×Ｙの行列Ｖｉ（ｔ）を作成する。
また、視線位置情報検出手段４０７は、視線位置行列作成手段４０６により作成されたＸ×Ｙの行列に過去（時刻ｔ−Ｔから現時刻ｔ）の視線位置情報を加算して現在の視線位置情報を視線位置メタ情報Ｖｉｍｅｔａ（ｔ）として、視聴者毎に算出する。
【００５２】
満足度検出手段４０８は、顔座標検出手段４０４により検出された顔画像の位置座標に基づいて視聴者２００が映像表示画面４０１Ａに顔を向けて映像をどれくらい静止して見ていたかを表す顔移動係数Ｆｉｍｏｖｅを算出するとともに、算出された顔移動係数Ｆｉｍｏｖｅに基づいて視聴者２００の満足度Ｓｉ（ｔ）を視聴者毎に算出する。
【００５３】
表示欲求度検出手段４０９は、視線位置情報検出手段４０７により算出された視線位置メタ情報Ｖｉｍｅｔａ（ｔ）、満足度検出手段４０８により算出された顔移動係数Ｆｉｍｏｖｅおよび満足度Ｓｉ（ｔ）に基づいて映像表示画面４０１Ａ中の全領域での映像に対する視聴者２００の表示欲求度Ｄｉ（ｔ）を、認識した視聴者２００毎に算出し、算出された表示欲求度Ｄｉ（ｔ）を加算して、認識した視聴者全員の映像表示画面４０１Ａ中の表示欲求度ＡＤ（ｔ）として求める。
【００５４】
表示領域・表示順番決定手段４１０は、表示欲求度検出手段４０９により算出された表示欲求度ＡＤ（ｔ）の情報に基づいて映像表示画面４０１Ａの主表示領域４０１Ｂに表示する表示領域の大きさとこの表示領域の表示の順番を決定し、表示領域および表示順の情報を主表示領域表示用カメラ９３に対して送出する。
動領域検出手段４１１は、表示領域・表示順番決定手段４１０により決定された各表示領域が動領域か静止領域かを判定し、表示領域が動領域と判定されたとき、表示領域（すなわち主表示領域表示用カメラ９３の撮影領域）が変更されてトラッキングされるように主表示領域表示用カメラ９３に対してトラッキング指令を送出するものである。
【００５５】
送信手段４１２は、表示領域・表示順番決定手段４１０により決定された表示領域と順番を表す情報と動領域検出手段４１１により検出された動領域か静止領域かの判定情報とを遠隔地に設置された主表示領域表示用カメラ９３に送信する。
受信手段４１３は、遠隔地に設置された主表示領域表示用カメラ９３及び副表示領域用カメラ９４により撮影された映像を受信し、表示映像作成手段４１４に出力する。
表示映像作成手段４１４は、受信手段４１３からの主表示領域表示用カメラ９３及び副表示領域用カメラ９４の映像を映像表示部４０１の主表示領域４０１Ｂ及び副表示領域４０１Ｃに表示するように加工する。
【００５６】
次に、実施例２の映像表示装置の動作について図９〜図１６を参照して説明する。
図９において、遠隔地９０の主表示領域用カメラ３０１及び副表示領域用カメラ３０２により撮影されたそれぞれの映像は、通信回線９５を通して現在地９１にある映像表示装置９２に伝送され表示される。より具体的には、主表示領域表示用カメラ９３は視聴者達が興味を持った領域の拡大映像を得るための被写体、例えば図９に示す遠隔地９０の撮影場所にいる人物９６を撮影し、また、副表示領域用カメラ９４は遠隔地９０の撮影場所にいる人物９６及びその背景建物９７を含む全体映像を撮影する。そして、主表示領域表示用カメラ９３で撮影された映像は受信手段４１３で受信され、表示映像作成手段４１４によって映像表示部４０１の主表示領域４０１Ｂに図９及び図１１に示すように拡大表示される。また、副表示領域用カメラ９４で撮影された映像は受信手段４１３で受信され、表示映像作成手段４１４によって映像表示部４０１の副表示領域４０１Ｃに図９及び図１１に示すように縮小表示される。
【００５７】
かかる状態において、左右の視聴者情報取得用カメラ４０２を用いて、それぞれのカメラ視野内にいる視聴者２００を撮影し、視聴者２００の映像情報を得る（ステップＳ３１）。この時、視聴者情報取得用カメラ４０２と映像表示部４０１との位置関係は既知であり、図１１に示すような配置をとるものとする。また、図１１において、座標（０，０，０）は映像表示画面４０１Ａの左端上の座標を表し、座標（Ｘ，Ｙ，０）は映像表示画面４０１Ａの右端下の座標を表している。
【００５８】
顔画像認識手段４０３では、実施例１と同様に、視聴者情報取得用カメラ４０２から得られた映像信号を用いてＳＶＭ等の手法により、映像表示画面４０１Ａに顔を向けている視聴者２００の顔画像認識を行い、この視聴者の数を認識する（ステップＳ３２）。このとき認識した視聴者２００の人数をｍとする。
顔座標検出手段４０４では、実施例１と同様に、顔画像認識手段４０３によって認識された視聴者２００のそれぞれに対して、映像表示画面４０１Ａに対する顔の位置座標を求める（ステップＳ３３）。
【００５９】
視聴者注視座標検出手段４０５では、実施例１同様に、視聴者２００が映像表示画面４０１Ａ中で注視している視線の方向を検出し、かつ映像表示画面４０１Ａ中で見ている位置座標を、認識された視聴者毎に検出する（ステップＳ３４）。
視線位置行列作成手段４０６では、視聴者注視座標検出手段４０５で求められた視線位置情報を基に映像表示画面４０１Ａ上の座標（０，０，０）〜（Ｘ，Ｙ，０）に対して視聴者２００の視線が向いているかどうかを表すＸ×Ｙの視線位置行列を作成する（ステップＳ３５）。すなわち、視線の位置座標は（Ｖｉｘ，Ｖｉｙ，0）一点ではなく、（Ｖｉｘ，Ｖｉｙ，0）を中心にして半径ｒの円内部に視線が向いているとすると、現時刻ｔで視線が向いているかどうかを表すＸ×Ｙの視線位置行列Ｖｉ（ｔ）は数９に基づいて作成することができる。
【００６０】
［数９］
【００６１】
上記の視線位置行列は、図１１に示される映像表示画面４０１Ａ上の座標（０，０，０）〜（Ｘ，Ｙ，０）の位置と対応しており、行列の要素v11が映像表示画面４０１Ａの左端上を示し、要素vxyが右端下を示している。したがって、視線位置情報検出手段４０７は、視線位置行列作成手段４０６で作成されたＸ×Ｙの視線位置行列に過去（時刻ｔ−Ｔから現時刻ｔ）の視線位置情報を加算することにより、現在の視線位置情報を視線位置メタ情報Ｖｉｍｅｔａ（ｔ）として、次の数１０から視聴者毎に求めることができる（ステップＳ３６）。
【００６２】
［数１０］
【００６３】
満足度検出手段４０８では、上記実施例１に示す場合と同様にして、顔移動係数Ｆｉｍｏｖｅを算出し、算出された顔移動係数Ｆｉｍｏｖｅに基づいて視聴者２００の満足度Ｓｉ（ｔ）を算出する（ステップＳ３７）。
表示欲求度検出手段４０９では、視線位置情報検出手段４０７で算出された視線位置メタ情報Ｖｉｍｅｔａ（ｔ）と満足度検出手段４０８で算出された顔移動係数Ｆｉｍｏｖｅ及び満足度Ｓｉ（ｔ）とに基づいて現時刻ｔにおける映像表示画面４０１Ａ中の全領域での映像に対する視聴者２００の表示欲求度Ｄｉ（ｔ）を数１１により、認識した視聴者２００毎に算出する（ステップＳ３８）。
【００６４】
［数１１］
【００６５】
さらに、表示欲求度検出手段４０９では、認識した視聴者２００毎に算出された表示欲求度Ｄｉ（ｔ）を加算して、認識した視聴者全員の映像表示画面４０１Ａ中における映像の表示欲求度ＡＤ（ｔ）を数１２により算出する（ステップＳ３９）。この表示欲求度ＡＤ（ｔ）はＸ×Ｙの行列として得られる。
【００６６】
［数１２］
【００６７】
表示領域・表示順番決定手段４１０では、Ｘ×Ｙの行列として得られる表示欲求度ＡＤ（ｔ）に基づいて、主表示領域４０１Ｂに表示する領域を選択し、選択された領域の大きさおよび表示順を、以下に述べる処理により決定する（ステップＳ４０）。
【００６８】
処理１；表示欲求度ＡＤ（ｔ）の行列の要素ａｄｉｊにおいて、要素ａｄｉｊが予め定めた閾値以下ａｄｉｊ＜ｔｈｖａｌｕｅとなる領域を表示しない領域（ＮＧ）とし、要素ａｄｉｊが閾値以上の領域を表示する領域として選択する。図１２に示す主表示領域４０１Ｂにおいて、ハッチングの領域が表示しない領域（ＮＧ）を示しており、白抜きの領域が表示する領域１２０を示している。また、この表示する領域１２０のうち、白抜きの度合が大きい程要素ａｄｉｊの値が大きくなる。
【００６９】
処理２；表示しない領域（ＮＧ）になっていない要素ａｄｉｊを連結させ、ｎ個の連結された領域ＡＲＥＡｊ（ｊ＝0，…，ｎ）を作成する。
この領域においてＡＲＥＡｊの面積＜ｔｈＡＲＥＡとなる閾値以下のエリアはＮＧとし、閾値以上のエリアを表示するエリア１３０とする。そして、この各エリア１３０の中心点１３１を図１３に示すように求める。この場合、中心点１３１がある閾値以上の副表示領域４０１Ｃに含まれていたならば、そのエリアをＮＧとする。
【００７０】
処理３；中心点を中心にして、図１４に示すように、ＮＧ領域が入らないように表示エリア１３０からＮ：Ｌの比率の領域１４０を抜き出す。
処理４；抜き出した領域１４０のうち、ＮＧになっていない領域１４０の大きさの平均値を求め、この平均値の高いものから順に、図１５に示すようなラベルをつける。すなわち、各表示する領域１４０に図１５に示すような表示の順番を表す番号「１」、「２」、「３」を付ける。なお、領域の表示の順番を表す番号の順序は図１５に示すものに限定されない。
以上の処理で、主表示領域４０１Ｂに表示する表示領域の大きさおよび表示順を決定することができる。
【００７１】
動領域検出手段４１１では、表示領域・表示順番決定手段４１０で選択されたそれぞれの表示領域が動領域か静止領域かを判定する。動領域検出手段４１１は、表示領域内の映像を時間によるブロックマッチング処理を行い、動きベクトルを検出する（ステップＳ４１）。そして、検出された動きベクトル値（ｍｖｘ，ｍｖｙ）を予め定めた閾値（ｍｖｘ＞ｔｈｍｖ_ｘ ｏｒ ｍｖｙ＞ｔｈｍｖ_ｙ）と比較し、動きベクトルの値が閾値以上のとき、この表示領域を動領域と判定する（ステップＳ４２）。そして、動領域検出手段４１１は、表示領域が動領域の場合には、動き検出を行い、動領域をトラッキングする。また、表示領域が動領域でない場合には、静止領域であるから、そのまま保持する。
【００７２】
次に、送信手段４１２では、表示領域・表示順番決定手段４１０により決定された表示領域（撮影場所）と表示の順番を表す情報、及び動領域検出手段４１１により検出された動領域か静止領域かの判定情報である動き検出の情報を遠隔地に設置された主表示領域表示用カメラ９３に送信する（ステップＳ４５）。これに伴い、主表示領域用カメラ９３は、与えられた情報に基づいて、カメラ本体の角度や、ズーム、トラッキングの有無などが変更されるとともに、指定された領域の映像を撮影して現在地の映像表示装置に送信する。この映像を受信した映像表示部４０１では、各表示領域を一定時間表示した後、副表示領域４０１Ｃに表示されている全体映像を主表示領域４０１Ｂに表示する。
以下、図１６のステップＳ３１からステップＳ４６に示す処理は所定の時間単位、例えば数十秒ないし１分程度の時間単位で繰り返し実行される。なお、上記処理サイクルは、上述した時間に限定されるものではない。
【００７３】
上記で述べた映像表示制御の処理手順を要約すると、以下に述べる手順で映像表示処理が繰り返し行われることになる。
手順１；映像表示部４０１の表示領域全体に、副表示領域用カメラ９３で取得した遠隔地９０からの全体映像を表示する。
手順２；全体映像を視聴している視聴者２００達が興味を持った領域を複数個求める。
手順３；映像部４０１の表示領域を主表示領域４０１Ｂと副表示領域４０１Ｃに分割して、主表示領域４０１Ｂに主表示領域表示用カメラ９３で取得した視聴者の興味を持った映像Ｐ１を図９に示すように拡大して表示し、副表示領域４０１Ｃに副表示領域表示用カメラ９４で取得した全体映像Ｐ２を図９に示すように縮小して表示する。
手順４；上記手順２で求めた視聴者の興味を持った領域を一定時間毎に切り替え、全て表示する。
手順５；手順１に戻る。
【００７４】
このように実施例２によれば、従来のように観客に特別に装着される視線入力装置を用いることなしに、屋外の映像表示部に表示された映像に対する不特定多数の視聴者の視線情報を取得し、取得された視線情報に基づいて視聴者の興味が集まる映像を表示する。
したがって、視聴者に手間をかけることなく、視聴者の興味が集まる映像を大きく表示し、ひいては視聴者の興味をいっそう喚起することができる。
【符号の説明】
【００７５】
１００・・・・・・映像表示装置、１０１・・・・・・映像表示部、１０１Ａ・・・・・・映像表示画面、１０１Ｂ・・・・・・主表示領域、１０１Ｃ・・・・・・副表示領域、１０２・・・・・・視聴者情報取得用カメラ、１０３・・・・・・顔画像認識手段、１０４・・・・・・顔座標検出手段、１０５・・・・・・視聴者注視座標検出手段、１０６・・・・・・注目映像情報検出手段、１０７・・・・・・満足度検出手段、１０８・・・・・・表示欲求度検出手段、１０９・・・・・・表示映像作成手段、１１０・・・・・・受信手段、２００・・・・・・視聴者、３０１・・・・・・主表示領域用カメラ、３０２・・・・・・副表示領域用カメラ、４００・・・・・・映像表示装置、４０１・・・・・・映像表示部、４０２・・・・・・視聴者情報取得用カメラ、４０３・・・・・・顔画像認識手段、４０４・・・・・・顔座標検出手段、４０５・・・・・・視聴者注視座標検出手段、４０６・・・・・・視線位置行列作成手段、４０７・・・・・・視線位置情報検出手段、４０８・・・・・・満足度検出手段、４０９・・・・・・表示欲求度検出手段、４１０・・・・・・表示領域・表示順番決定手段、４１１・・・・・・動領域検出手段、４１２・・・・・・送信手段、４１３・・・・・・受信手段、４１４・・・・・・表示映像作成手段、４０１Ａ・・・・・・映像表示画面、４０１Ｂ・・・・・・主表示領域、４０１Ｃ・・・・・・副表示領域。
【特許請求の範囲】
【請求項１】
第１のカメラにより第１の映像を撮影する第１の映像撮影ステップと、
前記第１の映像撮影ステップで撮影される第１の映像の一部の領域である第２の映像を第２のカメラにより撮影する第２の映像撮影ステップと、
前記第１の映像撮影ステップで撮影された第１の映像および前記第２の映像撮影ステップで撮影された第２の映像を映像表示部により表示画面に表示する映像表示ステップとを含み、
前記映像表示ステップは、
前記第１の映像撮影ステップで撮影された第１の映像を前記表示画面に表示する第１の映像表示ステップと、
前記第１の映像表示ステップで前記表示画面に表示された映像を見る視聴者を複数の視聴者用カメラにより撮影する視聴者撮影ステップと、
前記視聴者撮影ステップで撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出ステップと、
前記表示欲求度算出ステップで算出された表示欲求度に基づいて前記第２の映像撮影ステップで撮影すべき前記領域を選択する領域選択ステップと、
前記領域選択ステップで選択された選択情報に応じて前記第２の映像撮影ステップで撮影された第２の映像を前記表示画面に表示する第２の映像表示ステップとを含み、
前記第２の映像撮影ステップは、前記領域選択ステップで選択された選択情報に従って前記領域を第２のカメラにより撮影する
ことを特徴とする映像表示方法。
【請求項２】
前記第２の映像表示ステップは、前記表示画面に主領域と前記主領域より小さい副領域とを設け、前記主領域に前記第２の映像を表示し、前記副領域に前記第１の映像を表示する
ことを特徴とする請求項１記載の映像表示方法。
【請求項３】
前記領域選択ステップは、選択された前記領域が複数の場合、前記領域の大きい順に前記複数の領域の優先順位を決定し、
前記第２の映像表示ステップは、前記優先順位に従って前記複数の領域を表示する
ことを特徴とする請求項１記載の映像表示方法。
【請求項４】
前記領域選択ステップは、
選択された領域の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルに基づいて前記領域が動きのある映像かどうかを判定する動き判定ステップと、
前記動き判定ステップで前記領域が動きのある映像と判定されたとき、前記領域の選択情報に前記動きベクトルを付加する情報付加ステップとを含み、
前記第２の映像撮影ステップは、前記選択情報に付加された前記動きベクトルに基づいて前記領域を変更してトラッキングを行う
ことを特徴とする請求項１記載の映像表示方法。
【請求項５】
前記視聴者撮影ステップは、前記複数の視聴者用カメラにより一定時間に動画像を撮影し、
前記顔画像認識ステップは、前記視聴者撮影ステップで撮影された動画像を構成するフレーム毎に前記顔画像を認識し、
前記表示欲求度算出ステップは、前記顔画像認識ステップで認識された各フレームのそれぞれの顔画像に基づいて前記表示欲求度を算出する
ことを特徴とする請求項１記載の映像表示方法。
【請求項６】
前記表示欲求度算出ステップは、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の前記表示画面に対する位置座標を検出する顔座標検出ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップで検出された前記顔画像の視線方向と前記顔座標検出ステップで検出された対応する前記顔画像の位置座標とに基づいて前記顔画像が注視する前記表示画面の位置座標を検出する注視座標検出ステップとを含み、
前記注視座標検出ステップで検出された前記位置座標に基づいて前記表示欲求度を算出する
ことを特徴とする請求項１記載の映像表示方法。
【請求項７】
前記表示欲求度算出ステップは、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の前記表示画面に対する位置座標を検出する顔座標検出ステップと、
前記顔座標検出ステップで検出された顔画像の位置座標に基づいて前記顔画像の移動量を検出する移動量検出ステップと、
前記移動量検出ステップで検出された移動量に基づいて前記顔画像の満足度を算出する満足度算出ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップで検出された前記顔画像の視線方向と前記顔座標検出ステップで検出された対応する前記顔画像の位置座標とに基づいて前記顔画像が注視する前記表示画面の位置座標を検出する注視座標検出ステップとを含み、
前記注視座標検出ステップで検出された位置座標、前記移動量検出ステップで検出された移動量および前記満足度算出ステップで算出された満足度に基づいて前記表示欲求度を算出する
ことを特徴とする請求項１記載の映像表示方法。
【請求項８】
第１の映像を撮影する第１のカメラと、
前記第１の映像の一部の領域である第２の映像を撮影する第２のカメラと、
前記第１のカメラにより撮影された第１の映像および前記第２のカメラにより撮影された第２の映像を表示画面に表示する映像表示部とを備えた映像表示装置であって、
前記映像表示部は、
前記第１のカメラにより撮影された第１の映像を前記表示画面に表示する第１の映像表示手段と、
前記第１の映像表示手段により前記表示画面に表示された映像を見る視聴者を撮影する複数の視聴者用カメラと、
前記複数の視聴者撮影用カメラにより撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識手段と、
前記顔画像認識手段により認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出手段と、
前記表示欲求度算出手段により算出された表示欲求度に基づいて前記第２のカメラにより撮影すべき前記領域を選択する領域選択手段と、
前記領域選択手段により選択された前記領域の選択情報に応じて前記第２のカメラにより撮影された第２の映像を前記表示画面に表示する第２の映像表示手段とを有し、
前記第２のカメラは、前記領域選択手段により選択された選択情報に従って前記領域を撮影する
ことを特徴とする映像表示装置。
【請求項９】
第１のカメラにより第１の映像を撮影する第１の映像撮影ステップと、
前記第１の映像撮影ステップで撮影される第１の映像の一部の領域である第２の映像を第２のカメラにより撮影する第２の映像撮影ステップと、
前記第１の映像撮影ステップで撮影された第１の映像および前記第２の映像撮影ステップで撮影された第２の映像を第１の通信回線を介して送信する映像送信ステップと、
前記映像送信ステップで前記第１の通信回線を介して送信された第１および第２の映像を受信する映像受信ステップと、
前記映像受信ステップで受信された第１および第２の映像を映像表示部により表示画面に表示する映像表示ステップとを含み、
前記映像表示ステップは、
前記映像受信ステップで受信された第１の映像を前記表示画面に表示する第１の映像表示ステップと、
前記第１の映像表示ステップで前記表示画面に表示された映像を見る視聴者を複数の視聴者用カメラにより撮影する視聴者撮影ステップと、
前記視聴者撮影ステップで撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出ステップと、
前記表示欲求度算出ステップで算出された表示欲求度に基づいて前記第２の映像撮影ステップで撮影すべき前記領域を選択する領域選択ステップと、
前記領域選択ステップで選択された前記領域の選択情報を第２の通信回線を介して送信する選択情報送信ステップと、
前記選択情報送信ステップで送信された選択情報を前記第２の通信回線を介して受信する選択情報受信ステップと、
前記選択情報受信ステップで受信された選択情報に応じて前記第２の映像撮影ステップで撮影され、前記映像送信ステップで送信され、前記映像受信ステップで受信された第２の映像を前記表示画面に表示する第２の映像表示ステップとを含み、
前記第２の映像撮影ステップは、前記選択情報受信ステップで受信された選択情報に従って前記領域を第２のカメラにより撮影する
ことを特徴とする映像表示方法。
【請求項１０】
第１の映像を撮影する第１のカメラと、
前記第１の映像の一部の領域である第２の映像を撮影する第２のカメラと、
前記第１のカメラにより撮影された第１の映像および前記第２のカメラにより撮影された第２の映像を第１の通信回線を介して送信する映像送信手段と、
前記映像送信手段により前記第１の通信回線を介して送信された第１および第２の映像を受信する映像受信手段と、
前記映像受信手段により受信された第１および第２の映像を表示画面に表示する映像表示部とを備えた映像表示装置であって、
前記映像表示部は、
前記映像受信手段により受信された第１の映像を前記表示画面に表示する第１の映像表示手段と、
前記第１の映像表示手段により前記表示画面に表示された映像を見る視聴者を撮影する複数の視聴者用カメラと、
前記複数の視聴者撮影用カメラにより撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識手段と、
前記顔画像認識手段により認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出手段と、
前記表示欲求度算出手段により算出された表示欲求度に基づいて前記第２のカメラにより撮影すべき前記領域を選択する領域選択手段と、
前記領域選択手段により選択された前記領域の選択情報を第２の通信回線を介して送信する選択情報送信手段と、
前記選択情報送信手段により送信された選択情報に応じて前記第２のカメラにより撮影され、前記映像送信手段により送信され、前記映像受信手段により受信された第２の映像を前記表示画面に表示する第２の映像表示手段とを有し、
前記映像表示装置は、前記選択情報送信手段により前記第２の通信回線を介して送信された選択情報を受信する選択情報受信手段を有し、
前記第２のカメラは、前記選択情報受信手段により受信された選択情報に従って前記領域を撮影する
ことを特徴とする映像表示装置。
【請求項１】
第１のカメラにより第１の映像を撮影する第１の映像撮影ステップと、
前記第１の映像撮影ステップで撮影される第１の映像の一部の領域である第２の映像を第２のカメラにより撮影する第２の映像撮影ステップと、
前記第１の映像撮影ステップで撮影された第１の映像および前記第２の映像撮影ステップで撮影された第２の映像を映像表示部により表示画面に表示する映像表示ステップとを含み、
前記映像表示ステップは、
前記第１の映像撮影ステップで撮影された第１の映像を前記表示画面に表示する第１の映像表示ステップと、
前記第１の映像表示ステップで前記表示画面に表示された映像を見る視聴者を複数の視聴者用カメラにより撮影する視聴者撮影ステップと、
前記視聴者撮影ステップで撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出ステップと、
前記表示欲求度算出ステップで算出された表示欲求度に基づいて前記第２の映像撮影ステップで撮影すべき前記領域を選択する領域選択ステップと、
前記領域選択ステップで選択された選択情報に応じて前記第２の映像撮影ステップで撮影された第２の映像を前記表示画面に表示する第２の映像表示ステップとを含み、
前記第２の映像撮影ステップは、前記領域選択ステップで選択された選択情報に従って前記領域を第２のカメラにより撮影する
ことを特徴とする映像表示方法。
【請求項２】
前記第２の映像表示ステップは、前記表示画面に主領域と前記主領域より小さい副領域とを設け、前記主領域に前記第２の映像を表示し、前記副領域に前記第１の映像を表示する
ことを特徴とする請求項１記載の映像表示方法。
【請求項３】
前記領域選択ステップは、選択された前記領域が複数の場合、前記領域の大きい順に前記複数の領域の優先順位を決定し、
前記第２の映像表示ステップは、前記優先順位に従って前記複数の領域を表示する
ことを特徴とする請求項１記載の映像表示方法。
【請求項４】
前記領域選択ステップは、
選択された領域の動きベクトルを検出する動きベクトル検出ステップと、
前記動きベクトル検出ステップで検出された動きベクトルに基づいて前記領域が動きのある映像かどうかを判定する動き判定ステップと、
前記動き判定ステップで前記領域が動きのある映像と判定されたとき、前記領域の選択情報に前記動きベクトルを付加する情報付加ステップとを含み、
前記第２の映像撮影ステップは、前記選択情報に付加された前記動きベクトルに基づいて前記領域を変更してトラッキングを行う
ことを特徴とする請求項１記載の映像表示方法。
【請求項５】
前記視聴者撮影ステップは、前記複数の視聴者用カメラにより一定時間に動画像を撮影し、
前記顔画像認識ステップは、前記視聴者撮影ステップで撮影された動画像を構成するフレーム毎に前記顔画像を認識し、
前記表示欲求度算出ステップは、前記顔画像認識ステップで認識された各フレームのそれぞれの顔画像に基づいて前記表示欲求度を算出する
ことを特徴とする請求項１記載の映像表示方法。
【請求項６】
前記表示欲求度算出ステップは、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の前記表示画面に対する位置座標を検出する顔座標検出ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップで検出された前記顔画像の視線方向と前記顔座標検出ステップで検出された対応する前記顔画像の位置座標とに基づいて前記顔画像が注視する前記表示画面の位置座標を検出する注視座標検出ステップとを含み、
前記注視座標検出ステップで検出された前記位置座標に基づいて前記表示欲求度を算出する
ことを特徴とする請求項１記載の映像表示方法。
【請求項７】
前記表示欲求度算出ステップは、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の前記表示画面に対する位置座標を検出する顔座標検出ステップと、
前記顔座標検出ステップで検出された顔画像の位置座標に基づいて前記顔画像の移動量を検出する移動量検出ステップと、
前記移動量検出ステップで検出された移動量に基づいて前記顔画像の満足度を算出する満足度算出ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像の視線方向を検出する視線方向検出ステップと、
前記視線方向検出ステップで検出された前記顔画像の視線方向と前記顔座標検出ステップで検出された対応する前記顔画像の位置座標とに基づいて前記顔画像が注視する前記表示画面の位置座標を検出する注視座標検出ステップとを含み、
前記注視座標検出ステップで検出された位置座標、前記移動量検出ステップで検出された移動量および前記満足度算出ステップで算出された満足度に基づいて前記表示欲求度を算出する
ことを特徴とする請求項１記載の映像表示方法。
【請求項８】
第１の映像を撮影する第１のカメラと、
前記第１の映像の一部の領域である第２の映像を撮影する第２のカメラと、
前記第１のカメラにより撮影された第１の映像および前記第２のカメラにより撮影された第２の映像を表示画面に表示する映像表示部とを備えた映像表示装置であって、
前記映像表示部は、
前記第１のカメラにより撮影された第１の映像を前記表示画面に表示する第１の映像表示手段と、
前記第１の映像表示手段により前記表示画面に表示された映像を見る視聴者を撮影する複数の視聴者用カメラと、
前記複数の視聴者撮影用カメラにより撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識手段と、
前記顔画像認識手段により認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出手段と、
前記表示欲求度算出手段により算出された表示欲求度に基づいて前記第２のカメラにより撮影すべき前記領域を選択する領域選択手段と、
前記領域選択手段により選択された前記領域の選択情報に応じて前記第２のカメラにより撮影された第２の映像を前記表示画面に表示する第２の映像表示手段とを有し、
前記第２のカメラは、前記領域選択手段により選択された選択情報に従って前記領域を撮影する
ことを特徴とする映像表示装置。
【請求項９】
第１のカメラにより第１の映像を撮影する第１の映像撮影ステップと、
前記第１の映像撮影ステップで撮影される第１の映像の一部の領域である第２の映像を第２のカメラにより撮影する第２の映像撮影ステップと、
前記第１の映像撮影ステップで撮影された第１の映像および前記第２の映像撮影ステップで撮影された第２の映像を第１の通信回線を介して送信する映像送信ステップと、
前記映像送信ステップで前記第１の通信回線を介して送信された第１および第２の映像を受信する映像受信ステップと、
前記映像受信ステップで受信された第１および第２の映像を映像表示部により表示画面に表示する映像表示ステップとを含み、
前記映像表示ステップは、
前記映像受信ステップで受信された第１の映像を前記表示画面に表示する第１の映像表示ステップと、
前記第１の映像表示ステップで前記表示画面に表示された映像を見る視聴者を複数の視聴者用カメラにより撮影する視聴者撮影ステップと、
前記視聴者撮影ステップで撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識ステップと、
前記顔画像認識ステップで認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出ステップと、
前記表示欲求度算出ステップで算出された表示欲求度に基づいて前記第２の映像撮影ステップで撮影すべき前記領域を選択する領域選択ステップと、
前記領域選択ステップで選択された前記領域の選択情報を第２の通信回線を介して送信する選択情報送信ステップと、
前記選択情報送信ステップで送信された選択情報を前記第２の通信回線を介して受信する選択情報受信ステップと、
前記選択情報受信ステップで受信された選択情報に応じて前記第２の映像撮影ステップで撮影され、前記映像送信ステップで送信され、前記映像受信ステップで受信された第２の映像を前記表示画面に表示する第２の映像表示ステップとを含み、
前記第２の映像撮影ステップは、前記選択情報受信ステップで受信された選択情報に従って前記領域を第２のカメラにより撮影する
ことを特徴とする映像表示方法。
【請求項１０】
第１の映像を撮影する第１のカメラと、
前記第１の映像の一部の領域である第２の映像を撮影する第２のカメラと、
前記第１のカメラにより撮影された第１の映像および前記第２のカメラにより撮影された第２の映像を第１の通信回線を介して送信する映像送信手段と、
前記映像送信手段により前記第１の通信回線を介して送信された第１および第２の映像を受信する映像受信手段と、
前記映像受信手段により受信された第１および第２の映像を表示画面に表示する映像表示部とを備えた映像表示装置であって、
前記映像表示部は、
前記映像受信手段により受信された第１の映像を前記表示画面に表示する第１の映像表示手段と、
前記第１の映像表示手段により前記表示画面に表示された映像を見る視聴者を撮影する複数の視聴者用カメラと、
前記複数の視聴者撮影用カメラにより撮影された画像に基づいて前記視聴者の顔画像を認識する顔画像認識手段と、
前記顔画像認識手段により認識された顔画像に基づいて前記顔画像が注視する前記映像の位置を検出し、検出された前記位置に基づいて前記位置の表示を欲する表示欲求度を算出する表示欲求度算出手段と、
前記表示欲求度算出手段により算出された表示欲求度に基づいて前記第２のカメラにより撮影すべき前記領域を選択する領域選択手段と、
前記領域選択手段により選択された前記領域の選択情報を第２の通信回線を介して送信する選択情報送信手段と、
前記選択情報送信手段により送信された選択情報に応じて前記第２のカメラにより撮影され、前記映像送信手段により送信され、前記映像受信手段により受信された第２の映像を前記表示画面に表示する第２の映像表示手段とを有し、
前記映像表示装置は、前記選択情報送信手段により前記第２の通信回線を介して送信された選択情報を受信する選択情報受信手段を有し、
前記第２のカメラは、前記選択情報受信手段により受信された選択情報に従って前記領域を撮影する
ことを特徴とする映像表示装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−１４６０４８（Ｐ２０１１−１４６０４８Ａ）
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願番号】特願２０１１−１２９５３（Ｐ２０１１−１２９５３）
【出願日】平成２３年１月２５日（２０１１．１．２５）
【分割の表示】特願２００４−３０７７７６（Ｐ２００４−３０７７７６）の分割
【原出願日】平成１６年１０月２２日（２００４．１０．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年７月２８日（２０１１．７．２８）
【国際特許分類】
【出願日】平成２３年１月２５日（２０１１．１．２５）
【分割の表示】特願２００４−３０７７７６（Ｐ２００４−３０７７７６）の分割
【原出願日】平成１６年１０月２２日（２００４．１０．２２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]