画像表示装置、画像表示プログラム及び画像表示システム
【課題】表示画面に表示された対話相手が複数の利用者のうち特定の利用者に視線が向けられていることを知覚させる画像表示装置、画像表示プログラム及び画像表示システムを提供する。
【解決手段】画像表示装置１Ａは、利用者２Ａ及び２Ｂの人物像４Ａ及び４Ｂが表示される表示部１３Ｂにおいて、表示部１３に対する対話相手の利用者２Ｃ〜２Ｅの視線を検出して得られる視線情報を画像表示装置１Ｂから受信する人物視線情報受信手段１０４Ａと、人物視線情報受信手段１０４Ａが受信した視線情報に基づいて瞳の形状を決定し、当該形状を有する瞳を含む利用者２Ｃ〜２Ｅの人物像を生成する人物像情報生成手段１０５Ａと、人物像情報生成手段１０５Ａが生成した人物像を利用者に表示する表示部１３Ａとを有する。
【解決手段】画像表示装置１Ａは、利用者２Ａ及び２Ｂの人物像４Ａ及び４Ｂが表示される表示部１３Ｂにおいて、表示部１３に対する対話相手の利用者２Ｃ〜２Ｅの視線を検出して得られる視線情報を画像表示装置１Ｂから受信する人物視線情報受信手段１０４Ａと、人物視線情報受信手段１０４Ａが受信した視線情報に基づいて瞳の形状を決定し、当該形状を有する瞳を含む利用者２Ｃ〜２Ｅの人物像を生成する人物像情報生成手段１０５Ａと、人物像情報生成手段１０５Ａが生成した人物像を利用者に表示する表示部１３Ａとを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示プログラム及び画像表示システムに関する。
【背景技術】
【０００２】
遠隔会議システムにおいて利用者間の視線を一致する技術が提案されている。
【０００３】
これに関連する技術として、特許文献１には、利用者のいる各地点において、相手の像を表示する表示部と、表示部の表示画面に対して利用者の位置を規定する位置規定手段と、当該利用者を撮像する撮像部と、撮像部を利用者と表示画面との間の所定の位置に支持するための支持機構とを有し、撮像部を、位置規定手段によって特定された利用者から表示画面までの距離、及び、利用者の視線と相手の像の視線とが一致したと判断される視差角、によって定義される視線一致領域内であって、利用者に対し相手の像の一部を遮る位置に設置することで、撮像部の存在が対話に与える影響を抑制しつつ、利用者間の視線を一致する画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−７５１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、表示画面に表示された対話相手が複数の利用者のうち特定の利用者に視線を向けていることを知覚させる画像表示装置、画像表示プログラム及び画像表示システムを提供することにある。
【課題を解決するための手段】
【０００６】
［１］利用者の人物像が表示される外部表示手段の表示画面に対する対話相手の視線を検出して得られる視線情報を外部から受信する受信手段と、受信した前記視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する人物像生成手段と、前記人物像生成手段が生成する前記人物像を前記利用者に表示する表示手段とを有する画像表示装置。
【０００７】
［２］前記人物像生成手段は、前記視線情報に応じて、前記対話相手の視線の先の前記外部表示手段に表示される人物像に対応する利用者にとって正面視であるように見える形状を有する瞳を含む前記対話相手の人物像を生成する前記［１］に記載の画像表示装置。
【０００８】
［３］前記人物像生成手段は、前記視線情報に応じた位置に前記瞳を配置して前記人物像を生成する前記［１］又は［２］に記載の画像表示装置。
【０００９】
［４］前記表示手段に対する前記利用者の位置を検出する検出手段をさらに有し、前記人物像生成手段は、前記視線情報及び前記利用者の位置に応じて前記対話相手の人物像を生成する前記［１］〜［３］のいずれかに記載の画像表示装置。
【００１０】
［５］前記視線情報を異なる方向に変動させる視線変動手段をさらに有する前記［１］〜［４］のいずれかに記載の画像表示装置。
【００１１】
［６］前記表示部に対する前記利用者の視線を検出して利用者の視線情報を生成する視線情報生成手段と、前記利用者の視線情報を前記外部に送信する送信手段とをさらに有する前記［１］〜［５］のいずれかに記載の画像表示装置。
【００１２】
［７］コンピュータを、利用者の人物像が表示される外部表示手段の表示画面に対する対話相手の視線を検出して得られる視線情報を外部から受信する受信手段と、前記受信手段が受信した前記視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成した人物像生成手段と、前記人物像生成手段が生成する前記人物像を前記利用者に表示する表示手段として機能させるための画像表示プログラム。
【００１３】
［８］第１の画像表示装置と第２の画像表示装置とを通信可能に接続してなる画像表示システムであって、前記第１の画像表示装置は、前記第２の画像表示装置の表示手段の表示画面に対する対話相手の視線を検出して得られる対話相手の視線情報を前記第２の画像表示装置から受信する第１の受信手段と、前記第１の受信手段が受信した前記対話相手の視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する第１の人物像生成手段と、前記人物像生成手段が生成した前記対話相手の人物像を前記利用者に表示する第１の表示手段と、前記表示部に対する前記利用者の視線を検出して利用者の視線情報を生成する第１の視線情報生成手段と、前記利用者の視線情報を前記第２の画像表示装置に送信する第１の送信手段とを有し、前記第２の画像表示装置は、前記利用者の視線情報を前記第１の画像表示装置から受信する第２の受信手段と、前記第２の受信手段が受信した前記利用者の視線情報に応じた形状を有する瞳を含む前記利用者の人物像を生成する第２の人物像生成手段と、前記第２の人物像生成手段が生成した前記利用者の人物像を前記対話相手に表示する第２の表示手段と、前記対話相手の視線情報を生成する第２の視線情報生成手段と、前記対話相手の視線情報を前記第１の画像表示装置に送信する第２の送信手段とを有する画像表示システム。
【発明の効果】
【００１４】
請求項１、７又は８に係る発明によれば、表示画面に表示された対話相手が、複数の利用者のうち特定の利用者に視線を向けていることを知覚させることができる。
【００１５】
請求項２に係る発明によれば、特定の利用者に正面視であることを知覚させることができる瞳形状を生成することができる。
【００１６】
請求項３に係る発明によれば、表示画面に表示された対話相手が見ている方向を知覚させることができる。
【００１７】
請求項４に係る発明によれば、複数の利用者のうち特定の利用者に視線が向けられていることを当該特定の利用者に知覚させる瞳の形状を決定することができる。
【００１８】
請求項５に係る発明によれば、複数の利用者のうち特定の利用者以外に視線が合っていないことを知覚させることができる。
【００１９】
請求項６に係る発明によれば、表示画面に表示された利用者が複数の対話相手のうち特定の対話相手に視線を向けていることを知覚させることができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、第１の実施の形態に係る画像表示システムの構成例を示す概略図である。
【図２】図２は、画像表示装置の構成例を示すブロック図である。
【図３】図３は、人物像情報生成手段の構成の一例を示すブロック図である。
【図４】図４（ａ）及び（ｂ）は、人物位置情報を生成する動作の一例を示す概略図である。
【図５】図５は、人物視線情報を生成する動作の一例を示す概略図である。
【図６】図６（ａ）〜（ｄ）は、人物像情報生成手段の動作の一例を示す概略図である。
【図７】図７は、人物像の視線と瞳形状との関係を示す概略図である。
【図８】図８（ａ）〜（ｃ）は、人物像の表示例を示す概略図である。
【図９】図９は、第２の実施の形態に係る画像表示装置の構成例を示す概略図である。
【発明を実施するための形態】
【００２１】
［第１の実施の形態］
（画像表示システムの構成）
図１は、第１の実施の形態に係る画像表示システムの構成例を示す概略図である。
【００２２】
この画像表示システム５は、ある地点に設置され、カメラ１２Ａ及び表示部１３Ａを備える画像表示装置１Ａと、画像表示装置１Ａが設置された地点と異なる遠隔の地点に設置され、カメラ１２Ｂ及び表示部１３Ｂを備える画像表示装置１Ｂとをネットワーク３によって互いに通信可能に接続することで構成される。
【００２３】
画像表示装置１Ａのカメラ１２Ａで撮影された利用者２Ａ及び２Ｂの画像情報に基づいて、画像表示装置１Ｂは人物像４Ａ及び４Ｂを表示部１３Ｂに表示し、画像表示装置１Ｂのカメラ１２Ｂで撮影された利用者２Ｃ〜２Ｅの画像情報に基づいて、画像表示装置１Ａは、人物像４Ｃ〜４Ｅを表示部１３Ａに表示する。また、画像表示装置１Ａ及び１Ｂは、図示しないマイク及びスピーカーを備え、利用者２Ａ及び２Ｂと利用者２Ｃ〜２Ｅとの通話を可能とする。
【００２４】
画像表示装置１Ａ及び１Ｂは、情報を処理するための機能を備えたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や記憶部等の電子部品を備え、カメラ１２Ａ及び１２Ｂで撮影された画像情報を処理し、表示部１３Ａ及び１３Ｂにそれぞれ映像を表示するよう制御する情報処理装置である。なお、画像表示装置１Ａ及び１Ｂは、例えば、パーソナルコンピュータであり、その他にＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話機等を用いることもできる。
【００２５】
ネットワーク３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット等の通信網であり、有線、無線は問わない。
【００２６】
（画像表示装置の構成）
図２は、画像表示装置１Ａの構成例を示すブロック図である。なお、画像表示装置１Ｂは、画像表示装置１Ａと同様の構成を有するため説明を省略する。
【００２７】
画像表示装置１Ａは、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０Ａと、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体であって情報を記憶する記憶部１１Ａと、撮像素子及びレンズ等を備えて利用者を撮影するカメラ１２Ａと、液晶ディスプレイ等であって文字や画像を表示する表示部１３Ａと、外部のネットワーク３と通信して情報を送信及び受信する通信部１４Ａとを備える。なお、画像表示装置１Ａは、さらにキーボードやマウス等であって操作に応じた操作信号を発する操作部を備えてもよい。
【００２８】
なお、画像表示装置１Ａは、例えば、パーソナルコンピュータやＰＤＡ、携帯電話等の電子機器であるが、カメラ１２Ａや表示部１３Ａを備えないサーバ装置のようなものでもよく、その場合はネットワーク等により接続された端末装置の操作部や表示部がそれらの機能を代替する。
【００２９】
制御部１０Ａは、後述する画像表示プログラム１１０Ａを実行することで、画像受付手段１００Ａ、人物検出手段１０１Ａ、視線検出手段１０２Ａ、人物視線情報送信手段１０３Ａ、人物視線情報受信手段１０４Ａ、人物像情報生成手段１０５Ａ及び視線変動発生手段１０６Ａ等として機能する。
【００３０】
画像受付手段１００Ａは、カメラ１２Ａが撮影して出力する画像情報を受け付ける。
【００３１】
人物検出手段１０１Ａは、画像受付手段１００Ａが受け付けた画像情報から人物及びその位置を検出し、人物位置情報１１１Ａを出力する。
【００３２】
視線検出手段１０２Ａは、画像受付手段１００Ａが受け付けた画像情報から、人物検出手段１０１Ａが検出した人物の視線を検出し、人物視線情報１１２Ａを出力する。
【００３３】
人物視線情報送信手段１０３Ａは、視線検出手段１０２Ａが出力した人物視線情報１１２Ａを通信部１４Ａを介して画像表示装置１Ｂに送信する。
【００３４】
人物視線情報受信手段１０４Ａは、画像表示装置１Ｂが送信する人物視線情報１１２Ｂを通信部１４Ａを介して受信する。
【００３５】
人物像情報生成手段１０５Ａは、人物検出手段１０１Ａが出力した人物位置情報１１１Ａ及び人物視線情報受信手段１０４Ａが受信した人物視線情報１１２Ｂに基づいて人物像情報１１３Ａを生成する。
【００３６】
視線変動発生手段１０６Ａは、人物視線情報受信手段１０４Ａが受信した人物視線情報１１２Ｂに、例えば、ランダムなタイミング及びランダムな方向一時的に変動を加える。
【００３７】
記憶部１１Ａは、制御部１０Ａを上述した各手段１００Ａ〜１０６Ａとして動作させる画像表示プログラム１１０Ａ、人物検出手段１０１Ａが出力した人物位置情報１１１Ａ、視線検出手段１０２Ａが検出した人物視線情報１１２Ａ及び人物像情報生成手段１０５Ａが生成した人物像情報１１３Ａ等を記憶する。
【００３８】
図３は、人物像情報生成手段１０５Ａの構成の一例を示すブロック図である。
【００３９】
人物像情報生成手段１０５Ａは、人物像外観生成手段１０５ａ、瞳位置決定手段１０５ｂ、瞳形状決定手段１０５ｃ、目画像生成手段１０５ｄ及び画像合成手段１０５ｅ等を有する。
【００４０】
人物像外観生成手段１０５ａは、予め用意された画像等によって少なくとも目以外の人物像の外観である人物像外観を生成する。
【００４１】
瞳位置決定手段１０５ｂは、人物視線情報１１２Ｂに基づいて人物像の目に表示される瞳の位置を決定する。
【００４２】
瞳形状決定手段１０５ｃは、人物像の目に表示される瞳の形状を決定する。
【００４３】
目画像生成手段１０５ｄは、瞳位置決定手段１０５ｂが決定した瞳の位置と、瞳形状決定手段１０５ｃが決定した瞳形状とに基づいて人物像の目の画像を生成する。
【００４４】
画像合成手段１０５ｅは、人物像外観生成手段１０５ａが生成した人物像外観と、目画像生成手段１０５ｄが生成した目の画像とを合成して人物像情報１１３Ａを出力する。
【００４５】
なお、視線変動発生手段１０６Ａは、人物視線情報受信手段１０４Ａから入力される人物視線情報１１２Ｂに変動を発生させる。
【００４６】
（画像表示装置の動作）
以下に、画像表示装置１Ａの動作例を図１〜図８を参照しつつ、（１）基本動作、（２）人物位置情報生成動作、（３）人物視線情報生成動作、（４）人物像情報生成動作に分けて説明する。
【００４７】
（１）基本動作
まず、視聴者は、画像表示装置１Ａの図示しない操作部を操作して、画像表示装置１Ｂとの通信を指示する。
【００４８】
画像表示装置１Ａは、指示を受けると画像表示装置１Ｂと通信を開始する。次に、カメラ１２Ａによる撮影を実行し、画像受付手段１００Ａは、カメラ１２Ａが撮影して出力する画像情報を受け付ける。
【００４９】
（２）人物位置情報生成動作
次に、人物検出手段１０１Ａは、画像受付手段１００Ａが受け付けた画像情報から人物及びその位置を検出し、人物位置情報１１１Ａを出力する。人物の検出及び人物の位置の検出は以下に説明するように行う。
【００５０】
図４（ａ）及び（ｂ）は、人物位置情報１１１Ａを生成する動作の一例を示す概略図であり、図４（ａ）はカメラ１２Ａが撮影した画像情報、図４（ｂ）はカメラ１２Ａに対する人物位置を示す。
【００５１】
まず、人物検出手段１０１Ａは、カメラ１２Ａが撮影した画像情報１２０Ａから顔認識等の技術を用いて利用者２Ａ及び２Ｂの顔を認識する。認識された利用者２Ａ及び２Ｂの顔は、図４（ａ）に示すように、画像情報１２０Ａ中に顔認識枠Ｐ１及びＰ２によって特定され、人物検出手段１０１Ａは、顔認識枠Ｐ１及びＰ２の中心点の座標を出力する。
【００５２】
次に、人物検出手段１０１Ａは、顔認識枠Ｐ１及びＰ２の中心点の座標から、図４（ｂ）に示すように、カメラ１２Ａに対する人物位置ｐ１及びｐ２を計算し、これらｐ１及びｐ２を含む人物位置情報１１１Ａを出力する。なお、人物位置ｐ１及びｐ２の計算及び人物位置情報１１１Ａの出力動作は、予め定めた時間毎に繰り返し実行される。
【００５３】
（３）人物視線情報生成動作
次に、視線検出手段１０２Ａは、画像受付手段１００Ａが受け付けた画像情報１２０Ａから、人物検出手段１０１Ａが検出した人物の視線を検出する。具体的には、視線検出手段１０２Ａは、図４（ａ）に示す視線認識枠Ｑ１及びＱ２によって認識された利用者２Ａ及び２Ｂの目の中心点の座標と、瞳の中心点の座標とから人物視線ｓ１及びｓ２を算出する。
【００５４】
図５は、人物視線情報１１２Ａを生成する動作の一例を示す概略図である。
【００５５】
視線検出手段１０２Ａは、視線認識枠Ｑ１及びＱ２によって認識された利用者２Ａ及び２Ｂの目の中心点の座標と、瞳の中心点の座標とから、図５に示すように、利用者２Ａ及び２Ｂから表示部１３Ａの人物像４Ｃ〜４Ｅに対する人物視線ｓ１及びｓ２を計算し、これらｓ１及びｓ２を含む人物視線情報１１２Ａを出力する。
【００５６】
次に、人物視線情報送信手段１０３Ａは、視線検出手段１０２Ａが出力した人物視線情報１１２Ａを通信部１４Ａを介して画像表示装置１Ｂに送信する。
【００５７】
また、画像表示装置１Ｂについても、以上に説明した動作を実行しており、人物視線情報受信手段１０４Ａは、画像表示装置１Ｂから送信される人物視線情報１１２Ｂを通信部１４Ａを介して受信する。
【００５８】
（４）人物像情報生成動作
次に、人物像情報生成手段１０５Ａは、人物検出手段１０１Ａが出力した人物位置情報１１１Ａ及び人物視線情報受信手段１０４Ａが受信した人物視線情報１１２Ｂに基づいて人物像情報１１３Ａを生成する。以下、人物像情報生成動作について詳細に説明する。
【００５９】
図６（ａ）〜（ｄ）は、人物像情報生成手段１０５Ａの動作の一例を示す概略図である。
【００６０】
まず、人物像外観生成手段１０５ａは、図６（ａ）に示すように、目４１ｌ及び４１ｒ以外の人物像外観４１を生成する。人物像外観４１は、利用者毎に予め定められたアバター等の画像を用いる。なお、人物像外観４１は、必ずしも上半身でなくともよく、全身又は顔のみ等、目４１ｌ及び４１ｒを含めば範囲を特に限定しない。
【００６１】
次に、瞳位置決定手段１０５ｂは、利用者２Ｃ〜２Ｅの視線を示す人物視線情報１１２Ｂ及び利用者２Ａ及び２Ｂの人物位置を示す人物位置情報１１１Ａに基づいて人物像４Ｃ〜４Ｅの瞳位置４２をそれぞれ決定する。つまり、人物視線情報１１２Ｂによって利用者２Ｃ〜２Ｅがそれぞれ人物像４Ａ又は４Ｂのいずれを見ているか判断し、利用者２Ｃ〜２Ｅが見ている人物像４Ａ又は４Ｂに該当する利用者２Ａ又は２Ｂの人物位置を人物位置情報１１１Ａから取得して、人物像４Ｃ〜４Ｅが利用者２Ａ又は２Ｂの人物位置を見るように目４１ｌ及び４１ｒの瞳位置４２を決定する。
【００６２】
次に、瞳形状決定手段１０５ｃは、利用者２Ｃ〜２Ｅの視線を示す人物視線情報１１２Ｂ及び利用者２Ａ及び２Ｂの人物位置を示す人物位置情報１１１Ａに基づいて人物像４Ｃ〜４Ｅの瞳形状４３をそれぞれ決定する。瞳形状４３の決定動作を以下に説明する。なお、以下に説明するように目左右の瞳形状は厳密には異なるものとなるが、同一のものを用いてもよい。
【００６３】
図７は、人物像の視線と瞳形状との関係を示す概略図である。
【００６４】
表示部１３Ａのスクリーン面１３０Ａから仮想的に距離Ｄの位置にある人物像４Ｄ（４Ｃ、４Ｅ）の目４１０が、人物像４Ｄ（４Ｃ、４Ｅ）から見てスクリーン面１３０Ａの正面（ｘ＝０）にいる利用者２Ａを見ているとき、つまり人物視線ｓ１ａであるとき、スクリーン面１３０Ａから人物視線ｓ１ａ方向で距離Ｌａに利用者２Ａがいるとすると、利用者２Ａに視線を向けている場合の瞳形状４３ａは略真円、その外縁はｅ１ａ及びｅ２ａであり、瞳位置４２ａは目４１ｌの中心である。
【００６５】
また、目４１０が、人物像４Ｄ（４Ｃ、４Ｅ）から見て正面から角度θの左手にいる利用者２Ｂを見ているとき、つまり図面中の右側であって人物視線ｓ１ｂであるとき、スクリーン面１３０Ａのｘ＝ｘ１から人物視線ｓ１ｂ方向で距離Ｌｂに利用者２Ｂがいるとすると、瞳位置４２はｘ＝ｘ１、その外縁はｅ１ｂ及びｅ２ｂであり、瞳形状４３ｂは、ｅ２ｂ−ｘ１＜ｘ１−ｅ１ｂ、の略楕円であり、瞳位置４２ｂは図面中の目４１ｌの右側である。当該瞳形状４３ｂは、利用者２Ｂから見て真円に見えるため、利用者２Ｂは正面視の瞳形状と知覚する。
【００６６】
なお、説明のためにｘ＝ｘ１の付近に目４１ｌを示したが、実際にｘ＝ｘ１の付近に目４１ｌを表示するわけではなく、瞳形状４３ｂでｘ＝０が目４１ｌの中心となるよう表示する。また、目４１０が図面に直交する方向に正面から角度φの上方向又は下方向を見ているときについても、上記の動作を適用することにより瞳形状が縦方向に変形する。
【００６７】
次に、目画像生成手段１０５ｄは、目４１ｌ及び４１ｒの瞳位置決定手段１０５ｂが決定した瞳位置４２に瞳形状４３を配置することで目４１ｌ及び４１ｒの画像を生成する。
【００６８】
次に、画像合成手段１０５ｅは、利用者２Ｃ〜２Ｅのそれぞれについて人物像外観生成手段１０５ａと目４１ｌ及び４１ｒとを合成して人物像４０を生成して、これら人物像４０を人物像情報１１３Ａとして出力する。
【００６９】
次に、表示部１３Ａは、人物像情報生成手段１０５Ａの画像合成手段１０５ｅが出力した人物像情報１１３Ａを表示する。
【００７０】
図８（ａ）〜（ｃ）は、人物像４Ｃ〜４Ｅの表示例を示す概略図である。説明のため人物像４Ｃ〜４Ｅの顔部分のみ示す。
【００７１】
目４１ｌ及び４１ｒは、図８（ａ）に示すように、正面（ｘ＝０）を見ている場合、瞳位置４２ａが目４１ｌ及び４１ｒの中心であり、瞳形状４３ａが真円である。
【００７２】
また、目４１ｌ及び４１ｒは、図８（ｂ）に示すように、図面の右側（ｘ＝ｘｂ）を見ている場合、瞳位置４２ｂが目４１ｌ及び４１ｒの右側であり、瞳形状４３ｂが横方向に長軸を有する楕円である。
【００７３】
また、目４１ｌ及び４１ｒは、図８（ｃ）に示すように、図面の左下を見ている場合、瞳位置４２ｃが目４１ｌ及び４１ｒの左下であり、瞳形状４３ｂが左下方向に長軸を有する楕円である。
【００７４】
なお、視線変動発生手段１０６Ａは、人物視線情報受信手段１０４Ａが受信した人物視線情報１１２Ｂに、ランダムなタイミング及びランダムな方向に一時的に変動を加える。図８に示す例を用いて説明すると、図８（ａ）に示すように、人物像４Ｃ〜４Ｅの視線が正面である場合、利用者２Ａが利用者２Ａに視線を向けているように見えるだけでなく、スクリーン面１３０Ａの正面から外れた位置にいる利用者２Ｂにとっても利用者２Ｂに視線を向けているように知覚される。そのため、ランダンムなタイミングで一時的に視線を、例えば、人物視線ｓ１ｂに、つまり、図８（ｂ）に示す瞳形状４３ｂ（瞳位置４２ｂ）にする。そうすることで、利用者２Ｂは、一時的に視線が向けられていることを知覚し、そこから元の状態（図８（ａ））に戻ったときに視線が逸れたことを知覚するため、人物像４Ｃ〜４Ｅの視線が正面であっても利用者２Ｂに視線を向けているように知覚されなくなる。
【００７５】
［第２の実施の形態］
図９は、第２の実施の形態に係る画像表示装置の構成例を示す概略図である。
【００７６】
この画像表示装置１Ｃは、単独で設置され、カメラ１２Ｃ及び表示部１３Ｃを備える。画像表示装置１Ｃは、表示部１３Ｃに表示される人物像４Ｈによって、例えば、利用者２Ｉ〜２Ｋからの質問に対して、質問された利用者２Ｉ〜２Ｋに視線を合わせて予め定めた案内等の応答を自動で行う。
【００７７】
画像表示装置１Ｃは、上記案内動作を実現するため、カメラ１２Ｃで撮影された利用者２Ｉ〜２Ｋの画像情報に基づいて、人物検出手段１０１Ａにより利用者２Ｉ〜２Ｋの位置を検出し、利用者位置に位置する利用者２Ｉ〜２Ｋのいずれかに視線を合わせるため、人物像情報生成手段１０５Ａにより第１の実施の形態の動作を適用して瞳形状及び瞳位置を変更する。
【００７８】
なお、上記の動作を実現するためには、図２に示す画像受付手段１００Ａ、人物検出手段１０１Ａ、人物像情報生成手段１０５Ａを少なくとも備え、さらに、質問をいずれの利用者から受けたか判断するためのマイク及び音源方向検出部と、質問に対して案内情報を再生する再生手段とをさらに必要とする。
【００７９】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。例えば、人物像情報生成手段１０５Ａは、人物像外観４１に代えて、カメラ１２Ｂで撮影された対話相手である利用者２Ｃ〜２Ｅの画像を用いてもよい。その場合は、目４１ｌ及び４１ｒに該当する領域を検出し、その領域を目画像生成手段１０５ｄが生成した目画像で置き換える。
【００８０】
また、上記画像表示プログラム１１０ＡをＣＤ−ＲＯＭ等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、画像受付手段１００Ａ、人物検出手段１０１Ａ、視線検出手段１０２Ａ、人物視線情報送信手段１０３Ａ、人物視線情報受信手段１０４Ａ、人物像情報生成手段１０５Ａ及び視線変動発生手段１０６Ａの一部又は全部をＡＳＩＣ等のハードウェアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。
【符号の説明】
【００８１】
１Ａ、１Ｂ、１Ｃ…画像表示装置、２Ａ〜２Ｅ、２Ｉ〜２Ｋ…利用者、４…ネットワーク、４Ａ〜４Ｅ、４Ｈ…人物像、５…画像表示システム、１０Ａ…制御部、１１Ａ…記憶部、１２Ａ…カメラ、１３Ａ…表示部、１４Ａ…通信部、４０…人物像、４１…人物像外観、４１ｌ…目、４２…瞳位置、４３…瞳形状、１００Ａ…画像受付手段、１０１Ａ…人物検出手段、１０２Ａ…視線検出手段、１０３Ａ…人物視線情報送信手段、１０４Ａ…人物視線情報受信手段、１０５Ａ…人物像情報生成手段、１０５ａ…人物像外観生成手段、１０５ｂ…瞳位置決定手段、１０５ｃ…瞳形状決定手段、１０５ｄ…目画像生成手段、１０５ｅ…画像合成手段、１０６Ａ…視線変動発生手段、１１０Ａ…画像表示プログラム、１１１Ａ…人物位置情報、１１２Ａ…人物視線情報、１１２Ｂ…人物視線情報、１１３Ａ…人物像情報、１２０Ａ…画像情報、１３０Ａ…スクリーン面、４１０…目
【技術分野】
【０００１】
本発明は、画像表示装置、画像表示プログラム及び画像表示システムに関する。
【背景技術】
【０００２】
遠隔会議システムにおいて利用者間の視線を一致する技術が提案されている。
【０００３】
これに関連する技術として、特許文献１には、利用者のいる各地点において、相手の像を表示する表示部と、表示部の表示画面に対して利用者の位置を規定する位置規定手段と、当該利用者を撮像する撮像部と、撮像部を利用者と表示画面との間の所定の位置に支持するための支持機構とを有し、撮像部を、位置規定手段によって特定された利用者から表示画面までの距離、及び、利用者の視線と相手の像の視線とが一致したと判断される視差角、によって定義される視線一致領域内であって、利用者に対し相手の像の一部を遮る位置に設置することで、撮像部の存在が対話に与える影響を抑制しつつ、利用者間の視線を一致する画像表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−７５１７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明の目的は、表示画面に表示された対話相手が複数の利用者のうち特定の利用者に視線を向けていることを知覚させる画像表示装置、画像表示プログラム及び画像表示システムを提供することにある。
【課題を解決するための手段】
【０００６】
［１］利用者の人物像が表示される外部表示手段の表示画面に対する対話相手の視線を検出して得られる視線情報を外部から受信する受信手段と、受信した前記視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する人物像生成手段と、前記人物像生成手段が生成する前記人物像を前記利用者に表示する表示手段とを有する画像表示装置。
【０００７】
［２］前記人物像生成手段は、前記視線情報に応じて、前記対話相手の視線の先の前記外部表示手段に表示される人物像に対応する利用者にとって正面視であるように見える形状を有する瞳を含む前記対話相手の人物像を生成する前記［１］に記載の画像表示装置。
【０００８】
［３］前記人物像生成手段は、前記視線情報に応じた位置に前記瞳を配置して前記人物像を生成する前記［１］又は［２］に記載の画像表示装置。
【０００９】
［４］前記表示手段に対する前記利用者の位置を検出する検出手段をさらに有し、前記人物像生成手段は、前記視線情報及び前記利用者の位置に応じて前記対話相手の人物像を生成する前記［１］〜［３］のいずれかに記載の画像表示装置。
【００１０】
［５］前記視線情報を異なる方向に変動させる視線変動手段をさらに有する前記［１］〜［４］のいずれかに記載の画像表示装置。
【００１１】
［６］前記表示部に対する前記利用者の視線を検出して利用者の視線情報を生成する視線情報生成手段と、前記利用者の視線情報を前記外部に送信する送信手段とをさらに有する前記［１］〜［５］のいずれかに記載の画像表示装置。
【００１２】
［７］コンピュータを、利用者の人物像が表示される外部表示手段の表示画面に対する対話相手の視線を検出して得られる視線情報を外部から受信する受信手段と、前記受信手段が受信した前記視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成した人物像生成手段と、前記人物像生成手段が生成する前記人物像を前記利用者に表示する表示手段として機能させるための画像表示プログラム。
【００１３】
［８］第１の画像表示装置と第２の画像表示装置とを通信可能に接続してなる画像表示システムであって、前記第１の画像表示装置は、前記第２の画像表示装置の表示手段の表示画面に対する対話相手の視線を検出して得られる対話相手の視線情報を前記第２の画像表示装置から受信する第１の受信手段と、前記第１の受信手段が受信した前記対話相手の視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する第１の人物像生成手段と、前記人物像生成手段が生成した前記対話相手の人物像を前記利用者に表示する第１の表示手段と、前記表示部に対する前記利用者の視線を検出して利用者の視線情報を生成する第１の視線情報生成手段と、前記利用者の視線情報を前記第２の画像表示装置に送信する第１の送信手段とを有し、前記第２の画像表示装置は、前記利用者の視線情報を前記第１の画像表示装置から受信する第２の受信手段と、前記第２の受信手段が受信した前記利用者の視線情報に応じた形状を有する瞳を含む前記利用者の人物像を生成する第２の人物像生成手段と、前記第２の人物像生成手段が生成した前記利用者の人物像を前記対話相手に表示する第２の表示手段と、前記対話相手の視線情報を生成する第２の視線情報生成手段と、前記対話相手の視線情報を前記第１の画像表示装置に送信する第２の送信手段とを有する画像表示システム。
【発明の効果】
【００１４】
請求項１、７又は８に係る発明によれば、表示画面に表示された対話相手が、複数の利用者のうち特定の利用者に視線を向けていることを知覚させることができる。
【００１５】
請求項２に係る発明によれば、特定の利用者に正面視であることを知覚させることができる瞳形状を生成することができる。
【００１６】
請求項３に係る発明によれば、表示画面に表示された対話相手が見ている方向を知覚させることができる。
【００１７】
請求項４に係る発明によれば、複数の利用者のうち特定の利用者に視線が向けられていることを当該特定の利用者に知覚させる瞳の形状を決定することができる。
【００１８】
請求項５に係る発明によれば、複数の利用者のうち特定の利用者以外に視線が合っていないことを知覚させることができる。
【００１９】
請求項６に係る発明によれば、表示画面に表示された利用者が複数の対話相手のうち特定の対話相手に視線を向けていることを知覚させることができる。
【図面の簡単な説明】
【００２０】
【図１】図１は、第１の実施の形態に係る画像表示システムの構成例を示す概略図である。
【図２】図２は、画像表示装置の構成例を示すブロック図である。
【図３】図３は、人物像情報生成手段の構成の一例を示すブロック図である。
【図４】図４（ａ）及び（ｂ）は、人物位置情報を生成する動作の一例を示す概略図である。
【図５】図５は、人物視線情報を生成する動作の一例を示す概略図である。
【図６】図６（ａ）〜（ｄ）は、人物像情報生成手段の動作の一例を示す概略図である。
【図７】図７は、人物像の視線と瞳形状との関係を示す概略図である。
【図８】図８（ａ）〜（ｃ）は、人物像の表示例を示す概略図である。
【図９】図９は、第２の実施の形態に係る画像表示装置の構成例を示す概略図である。
【発明を実施するための形態】
【００２１】
［第１の実施の形態］
（画像表示システムの構成）
図１は、第１の実施の形態に係る画像表示システムの構成例を示す概略図である。
【００２２】
この画像表示システム５は、ある地点に設置され、カメラ１２Ａ及び表示部１３Ａを備える画像表示装置１Ａと、画像表示装置１Ａが設置された地点と異なる遠隔の地点に設置され、カメラ１２Ｂ及び表示部１３Ｂを備える画像表示装置１Ｂとをネットワーク３によって互いに通信可能に接続することで構成される。
【００２３】
画像表示装置１Ａのカメラ１２Ａで撮影された利用者２Ａ及び２Ｂの画像情報に基づいて、画像表示装置１Ｂは人物像４Ａ及び４Ｂを表示部１３Ｂに表示し、画像表示装置１Ｂのカメラ１２Ｂで撮影された利用者２Ｃ〜２Ｅの画像情報に基づいて、画像表示装置１Ａは、人物像４Ｃ〜４Ｅを表示部１３Ａに表示する。また、画像表示装置１Ａ及び１Ｂは、図示しないマイク及びスピーカーを備え、利用者２Ａ及び２Ｂと利用者２Ｃ〜２Ｅとの通話を可能とする。
【００２４】
画像表示装置１Ａ及び１Ｂは、情報を処理するための機能を備えたＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）や記憶部等の電子部品を備え、カメラ１２Ａ及び１２Ｂで撮影された画像情報を処理し、表示部１３Ａ及び１３Ｂにそれぞれ映像を表示するよう制御する情報処理装置である。なお、画像表示装置１Ａ及び１Ｂは、例えば、パーソナルコンピュータであり、その他にＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、携帯電話機等を用いることもできる。
【００２５】
ネットワーク３は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネット等の通信網であり、有線、無線は問わない。
【００２６】
（画像表示装置の構成）
図２は、画像表示装置１Ａの構成例を示すブロック図である。なお、画像表示装置１Ｂは、画像表示装置１Ａと同様の構成を有するため説明を省略する。
【００２７】
画像表示装置１Ａは、ＣＰＵ等から構成され各部を制御するとともに各種のプログラムを実行する制御部１０Ａと、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やフラッシュメモリ等の記憶媒体であって情報を記憶する記憶部１１Ａと、撮像素子及びレンズ等を備えて利用者を撮影するカメラ１２Ａと、液晶ディスプレイ等であって文字や画像を表示する表示部１３Ａと、外部のネットワーク３と通信して情報を送信及び受信する通信部１４Ａとを備える。なお、画像表示装置１Ａは、さらにキーボードやマウス等であって操作に応じた操作信号を発する操作部を備えてもよい。
【００２８】
なお、画像表示装置１Ａは、例えば、パーソナルコンピュータやＰＤＡ、携帯電話等の電子機器であるが、カメラ１２Ａや表示部１３Ａを備えないサーバ装置のようなものでもよく、その場合はネットワーク等により接続された端末装置の操作部や表示部がそれらの機能を代替する。
【００２９】
制御部１０Ａは、後述する画像表示プログラム１１０Ａを実行することで、画像受付手段１００Ａ、人物検出手段１０１Ａ、視線検出手段１０２Ａ、人物視線情報送信手段１０３Ａ、人物視線情報受信手段１０４Ａ、人物像情報生成手段１０５Ａ及び視線変動発生手段１０６Ａ等として機能する。
【００３０】
画像受付手段１００Ａは、カメラ１２Ａが撮影して出力する画像情報を受け付ける。
【００３１】
人物検出手段１０１Ａは、画像受付手段１００Ａが受け付けた画像情報から人物及びその位置を検出し、人物位置情報１１１Ａを出力する。
【００３２】
視線検出手段１０２Ａは、画像受付手段１００Ａが受け付けた画像情報から、人物検出手段１０１Ａが検出した人物の視線を検出し、人物視線情報１１２Ａを出力する。
【００３３】
人物視線情報送信手段１０３Ａは、視線検出手段１０２Ａが出力した人物視線情報１１２Ａを通信部１４Ａを介して画像表示装置１Ｂに送信する。
【００３４】
人物視線情報受信手段１０４Ａは、画像表示装置１Ｂが送信する人物視線情報１１２Ｂを通信部１４Ａを介して受信する。
【００３５】
人物像情報生成手段１０５Ａは、人物検出手段１０１Ａが出力した人物位置情報１１１Ａ及び人物視線情報受信手段１０４Ａが受信した人物視線情報１１２Ｂに基づいて人物像情報１１３Ａを生成する。
【００３６】
視線変動発生手段１０６Ａは、人物視線情報受信手段１０４Ａが受信した人物視線情報１１２Ｂに、例えば、ランダムなタイミング及びランダムな方向一時的に変動を加える。
【００３７】
記憶部１１Ａは、制御部１０Ａを上述した各手段１００Ａ〜１０６Ａとして動作させる画像表示プログラム１１０Ａ、人物検出手段１０１Ａが出力した人物位置情報１１１Ａ、視線検出手段１０２Ａが検出した人物視線情報１１２Ａ及び人物像情報生成手段１０５Ａが生成した人物像情報１１３Ａ等を記憶する。
【００３８】
図３は、人物像情報生成手段１０５Ａの構成の一例を示すブロック図である。
【００３９】
人物像情報生成手段１０５Ａは、人物像外観生成手段１０５ａ、瞳位置決定手段１０５ｂ、瞳形状決定手段１０５ｃ、目画像生成手段１０５ｄ及び画像合成手段１０５ｅ等を有する。
【００４０】
人物像外観生成手段１０５ａは、予め用意された画像等によって少なくとも目以外の人物像の外観である人物像外観を生成する。
【００４１】
瞳位置決定手段１０５ｂは、人物視線情報１１２Ｂに基づいて人物像の目に表示される瞳の位置を決定する。
【００４２】
瞳形状決定手段１０５ｃは、人物像の目に表示される瞳の形状を決定する。
【００４３】
目画像生成手段１０５ｄは、瞳位置決定手段１０５ｂが決定した瞳の位置と、瞳形状決定手段１０５ｃが決定した瞳形状とに基づいて人物像の目の画像を生成する。
【００４４】
画像合成手段１０５ｅは、人物像外観生成手段１０５ａが生成した人物像外観と、目画像生成手段１０５ｄが生成した目の画像とを合成して人物像情報１１３Ａを出力する。
【００４５】
なお、視線変動発生手段１０６Ａは、人物視線情報受信手段１０４Ａから入力される人物視線情報１１２Ｂに変動を発生させる。
【００４６】
（画像表示装置の動作）
以下に、画像表示装置１Ａの動作例を図１〜図８を参照しつつ、（１）基本動作、（２）人物位置情報生成動作、（３）人物視線情報生成動作、（４）人物像情報生成動作に分けて説明する。
【００４７】
（１）基本動作
まず、視聴者は、画像表示装置１Ａの図示しない操作部を操作して、画像表示装置１Ｂとの通信を指示する。
【００４８】
画像表示装置１Ａは、指示を受けると画像表示装置１Ｂと通信を開始する。次に、カメラ１２Ａによる撮影を実行し、画像受付手段１００Ａは、カメラ１２Ａが撮影して出力する画像情報を受け付ける。
【００４９】
（２）人物位置情報生成動作
次に、人物検出手段１０１Ａは、画像受付手段１００Ａが受け付けた画像情報から人物及びその位置を検出し、人物位置情報１１１Ａを出力する。人物の検出及び人物の位置の検出は以下に説明するように行う。
【００５０】
図４（ａ）及び（ｂ）は、人物位置情報１１１Ａを生成する動作の一例を示す概略図であり、図４（ａ）はカメラ１２Ａが撮影した画像情報、図４（ｂ）はカメラ１２Ａに対する人物位置を示す。
【００５１】
まず、人物検出手段１０１Ａは、カメラ１２Ａが撮影した画像情報１２０Ａから顔認識等の技術を用いて利用者２Ａ及び２Ｂの顔を認識する。認識された利用者２Ａ及び２Ｂの顔は、図４（ａ）に示すように、画像情報１２０Ａ中に顔認識枠Ｐ１及びＰ２によって特定され、人物検出手段１０１Ａは、顔認識枠Ｐ１及びＰ２の中心点の座標を出力する。
【００５２】
次に、人物検出手段１０１Ａは、顔認識枠Ｐ１及びＰ２の中心点の座標から、図４（ｂ）に示すように、カメラ１２Ａに対する人物位置ｐ１及びｐ２を計算し、これらｐ１及びｐ２を含む人物位置情報１１１Ａを出力する。なお、人物位置ｐ１及びｐ２の計算及び人物位置情報１１１Ａの出力動作は、予め定めた時間毎に繰り返し実行される。
【００５３】
（３）人物視線情報生成動作
次に、視線検出手段１０２Ａは、画像受付手段１００Ａが受け付けた画像情報１２０Ａから、人物検出手段１０１Ａが検出した人物の視線を検出する。具体的には、視線検出手段１０２Ａは、図４（ａ）に示す視線認識枠Ｑ１及びＱ２によって認識された利用者２Ａ及び２Ｂの目の中心点の座標と、瞳の中心点の座標とから人物視線ｓ１及びｓ２を算出する。
【００５４】
図５は、人物視線情報１１２Ａを生成する動作の一例を示す概略図である。
【００５５】
視線検出手段１０２Ａは、視線認識枠Ｑ１及びＱ２によって認識された利用者２Ａ及び２Ｂの目の中心点の座標と、瞳の中心点の座標とから、図５に示すように、利用者２Ａ及び２Ｂから表示部１３Ａの人物像４Ｃ〜４Ｅに対する人物視線ｓ１及びｓ２を計算し、これらｓ１及びｓ２を含む人物視線情報１１２Ａを出力する。
【００５６】
次に、人物視線情報送信手段１０３Ａは、視線検出手段１０２Ａが出力した人物視線情報１１２Ａを通信部１４Ａを介して画像表示装置１Ｂに送信する。
【００５７】
また、画像表示装置１Ｂについても、以上に説明した動作を実行しており、人物視線情報受信手段１０４Ａは、画像表示装置１Ｂから送信される人物視線情報１１２Ｂを通信部１４Ａを介して受信する。
【００５８】
（４）人物像情報生成動作
次に、人物像情報生成手段１０５Ａは、人物検出手段１０１Ａが出力した人物位置情報１１１Ａ及び人物視線情報受信手段１０４Ａが受信した人物視線情報１１２Ｂに基づいて人物像情報１１３Ａを生成する。以下、人物像情報生成動作について詳細に説明する。
【００５９】
図６（ａ）〜（ｄ）は、人物像情報生成手段１０５Ａの動作の一例を示す概略図である。
【００６０】
まず、人物像外観生成手段１０５ａは、図６（ａ）に示すように、目４１ｌ及び４１ｒ以外の人物像外観４１を生成する。人物像外観４１は、利用者毎に予め定められたアバター等の画像を用いる。なお、人物像外観４１は、必ずしも上半身でなくともよく、全身又は顔のみ等、目４１ｌ及び４１ｒを含めば範囲を特に限定しない。
【００６１】
次に、瞳位置決定手段１０５ｂは、利用者２Ｃ〜２Ｅの視線を示す人物視線情報１１２Ｂ及び利用者２Ａ及び２Ｂの人物位置を示す人物位置情報１１１Ａに基づいて人物像４Ｃ〜４Ｅの瞳位置４２をそれぞれ決定する。つまり、人物視線情報１１２Ｂによって利用者２Ｃ〜２Ｅがそれぞれ人物像４Ａ又は４Ｂのいずれを見ているか判断し、利用者２Ｃ〜２Ｅが見ている人物像４Ａ又は４Ｂに該当する利用者２Ａ又は２Ｂの人物位置を人物位置情報１１１Ａから取得して、人物像４Ｃ〜４Ｅが利用者２Ａ又は２Ｂの人物位置を見るように目４１ｌ及び４１ｒの瞳位置４２を決定する。
【００６２】
次に、瞳形状決定手段１０５ｃは、利用者２Ｃ〜２Ｅの視線を示す人物視線情報１１２Ｂ及び利用者２Ａ及び２Ｂの人物位置を示す人物位置情報１１１Ａに基づいて人物像４Ｃ〜４Ｅの瞳形状４３をそれぞれ決定する。瞳形状４３の決定動作を以下に説明する。なお、以下に説明するように目左右の瞳形状は厳密には異なるものとなるが、同一のものを用いてもよい。
【００６３】
図７は、人物像の視線と瞳形状との関係を示す概略図である。
【００６４】
表示部１３Ａのスクリーン面１３０Ａから仮想的に距離Ｄの位置にある人物像４Ｄ（４Ｃ、４Ｅ）の目４１０が、人物像４Ｄ（４Ｃ、４Ｅ）から見てスクリーン面１３０Ａの正面（ｘ＝０）にいる利用者２Ａを見ているとき、つまり人物視線ｓ１ａであるとき、スクリーン面１３０Ａから人物視線ｓ１ａ方向で距離Ｌａに利用者２Ａがいるとすると、利用者２Ａに視線を向けている場合の瞳形状４３ａは略真円、その外縁はｅ１ａ及びｅ２ａであり、瞳位置４２ａは目４１ｌの中心である。
【００６５】
また、目４１０が、人物像４Ｄ（４Ｃ、４Ｅ）から見て正面から角度θの左手にいる利用者２Ｂを見ているとき、つまり図面中の右側であって人物視線ｓ１ｂであるとき、スクリーン面１３０Ａのｘ＝ｘ１から人物視線ｓ１ｂ方向で距離Ｌｂに利用者２Ｂがいるとすると、瞳位置４２はｘ＝ｘ１、その外縁はｅ１ｂ及びｅ２ｂであり、瞳形状４３ｂは、ｅ２ｂ−ｘ１＜ｘ１−ｅ１ｂ、の略楕円であり、瞳位置４２ｂは図面中の目４１ｌの右側である。当該瞳形状４３ｂは、利用者２Ｂから見て真円に見えるため、利用者２Ｂは正面視の瞳形状と知覚する。
【００６６】
なお、説明のためにｘ＝ｘ１の付近に目４１ｌを示したが、実際にｘ＝ｘ１の付近に目４１ｌを表示するわけではなく、瞳形状４３ｂでｘ＝０が目４１ｌの中心となるよう表示する。また、目４１０が図面に直交する方向に正面から角度φの上方向又は下方向を見ているときについても、上記の動作を適用することにより瞳形状が縦方向に変形する。
【００６７】
次に、目画像生成手段１０５ｄは、目４１ｌ及び４１ｒの瞳位置決定手段１０５ｂが決定した瞳位置４２に瞳形状４３を配置することで目４１ｌ及び４１ｒの画像を生成する。
【００６８】
次に、画像合成手段１０５ｅは、利用者２Ｃ〜２Ｅのそれぞれについて人物像外観生成手段１０５ａと目４１ｌ及び４１ｒとを合成して人物像４０を生成して、これら人物像４０を人物像情報１１３Ａとして出力する。
【００６９】
次に、表示部１３Ａは、人物像情報生成手段１０５Ａの画像合成手段１０５ｅが出力した人物像情報１１３Ａを表示する。
【００７０】
図８（ａ）〜（ｃ）は、人物像４Ｃ〜４Ｅの表示例を示す概略図である。説明のため人物像４Ｃ〜４Ｅの顔部分のみ示す。
【００７１】
目４１ｌ及び４１ｒは、図８（ａ）に示すように、正面（ｘ＝０）を見ている場合、瞳位置４２ａが目４１ｌ及び４１ｒの中心であり、瞳形状４３ａが真円である。
【００７２】
また、目４１ｌ及び４１ｒは、図８（ｂ）に示すように、図面の右側（ｘ＝ｘｂ）を見ている場合、瞳位置４２ｂが目４１ｌ及び４１ｒの右側であり、瞳形状４３ｂが横方向に長軸を有する楕円である。
【００７３】
また、目４１ｌ及び４１ｒは、図８（ｃ）に示すように、図面の左下を見ている場合、瞳位置４２ｃが目４１ｌ及び４１ｒの左下であり、瞳形状４３ｂが左下方向に長軸を有する楕円である。
【００７４】
なお、視線変動発生手段１０６Ａは、人物視線情報受信手段１０４Ａが受信した人物視線情報１１２Ｂに、ランダムなタイミング及びランダムな方向に一時的に変動を加える。図８に示す例を用いて説明すると、図８（ａ）に示すように、人物像４Ｃ〜４Ｅの視線が正面である場合、利用者２Ａが利用者２Ａに視線を向けているように見えるだけでなく、スクリーン面１３０Ａの正面から外れた位置にいる利用者２Ｂにとっても利用者２Ｂに視線を向けているように知覚される。そのため、ランダンムなタイミングで一時的に視線を、例えば、人物視線ｓ１ｂに、つまり、図８（ｂ）に示す瞳形状４３ｂ（瞳位置４２ｂ）にする。そうすることで、利用者２Ｂは、一時的に視線が向けられていることを知覚し、そこから元の状態（図８（ａ））に戻ったときに視線が逸れたことを知覚するため、人物像４Ｃ〜４Ｅの視線が正面であっても利用者２Ｂに視線を向けているように知覚されなくなる。
【００７５】
［第２の実施の形態］
図９は、第２の実施の形態に係る画像表示装置の構成例を示す概略図である。
【００７６】
この画像表示装置１Ｃは、単独で設置され、カメラ１２Ｃ及び表示部１３Ｃを備える。画像表示装置１Ｃは、表示部１３Ｃに表示される人物像４Ｈによって、例えば、利用者２Ｉ〜２Ｋからの質問に対して、質問された利用者２Ｉ〜２Ｋに視線を合わせて予め定めた案内等の応答を自動で行う。
【００７７】
画像表示装置１Ｃは、上記案内動作を実現するため、カメラ１２Ｃで撮影された利用者２Ｉ〜２Ｋの画像情報に基づいて、人物検出手段１０１Ａにより利用者２Ｉ〜２Ｋの位置を検出し、利用者位置に位置する利用者２Ｉ〜２Ｋのいずれかに視線を合わせるため、人物像情報生成手段１０５Ａにより第１の実施の形態の動作を適用して瞳形状及び瞳位置を変更する。
【００７８】
なお、上記の動作を実現するためには、図２に示す画像受付手段１００Ａ、人物検出手段１０１Ａ、人物像情報生成手段１０５Ａを少なくとも備え、さらに、質問をいずれの利用者から受けたか判断するためのマイク及び音源方向検出部と、質問に対して案内情報を再生する再生手段とをさらに必要とする。
【００７９】
［他の実施の形態］
なお、本発明は、上記実施の形態に限定されず、本発明の要旨を逸脱しない範囲で種々な変形が可能である。例えば、人物像情報生成手段１０５Ａは、人物像外観４１に代えて、カメラ１２Ｂで撮影された対話相手である利用者２Ｃ〜２Ｅの画像を用いてもよい。その場合は、目４１ｌ及び４１ｒに該当する領域を検出し、その領域を目画像生成手段１０５ｄが生成した目画像で置き換える。
【００８０】
また、上記画像表示プログラム１１０ＡをＣＤ−ＲＯＭ等の記憶媒体に格納して提供することも可能であり、インターネット等のネットワークに接続されているサーバ装置等から装置内の記憶部にダウンロードしてもよい。また、画像受付手段１００Ａ、人物検出手段１０１Ａ、視線検出手段１０２Ａ、人物視線情報送信手段１０３Ａ、人物視線情報受信手段１０４Ａ、人物像情報生成手段１０５Ａ及び視線変動発生手段１０６Ａの一部又は全部をＡＳＩＣ等のハードウェアによって実現してもよい。なお、上記実施の形態の動作説明で示した各ステップは、順序の変更、ステップの省略、追加が可能である。
【符号の説明】
【００８１】
１Ａ、１Ｂ、１Ｃ…画像表示装置、２Ａ〜２Ｅ、２Ｉ〜２Ｋ…利用者、４…ネットワーク、４Ａ〜４Ｅ、４Ｈ…人物像、５…画像表示システム、１０Ａ…制御部、１１Ａ…記憶部、１２Ａ…カメラ、１３Ａ…表示部、１４Ａ…通信部、４０…人物像、４１…人物像外観、４１ｌ…目、４２…瞳位置、４３…瞳形状、１００Ａ…画像受付手段、１０１Ａ…人物検出手段、１０２Ａ…視線検出手段、１０３Ａ…人物視線情報送信手段、１０４Ａ…人物視線情報受信手段、１０５Ａ…人物像情報生成手段、１０５ａ…人物像外観生成手段、１０５ｂ…瞳位置決定手段、１０５ｃ…瞳形状決定手段、１０５ｄ…目画像生成手段、１０５ｅ…画像合成手段、１０６Ａ…視線変動発生手段、１１０Ａ…画像表示プログラム、１１１Ａ…人物位置情報、１１２Ａ…人物視線情報、１１２Ｂ…人物視線情報、１１３Ａ…人物像情報、１２０Ａ…画像情報、１３０Ａ…スクリーン面、４１０…目
【特許請求の範囲】
【請求項１】
利用者の人物像が表示される外部表示手段の表示画面に対する対話相手の視線を検出して得られる視線情報を外部から受信する受信手段と、
前記受信手段が受信した前記視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する人物像生成手段と、
前記人物像生成手段が生成した前記人物像を前記利用者に表示する表示手段と、
を含むことを特徴とする画像表示装置。
【請求項２】
前記人物像生成手段は、前記視線情報に応じて、前記対話相手の視線の先の前記外部表示手段に表示される人物像に対応する利用者にとって対話相手の瞳が正面視に見える形状を有する瞳を含む前記対話相手の人物像を生成する請求項１に記載の画像表示装置。
【請求項３】
前記人物像生成手段は、前記視線情報に応じた位置に前記瞳を配置して前記人物像を生成する請求項１又は２に記載の画像表示装置。
【請求項４】
前記表示手段に対する前記利用者の位置を検出する検出手段をさらに有し、
前記人物像生成手段は、前記視線情報及び前記利用者の位置に応じて前記対話相手の人物像を生成する請求項１〜３のいずれかに記載の画像表示装置。
【請求項５】
前記視線情報を異なる方向に変動させる視線変動手段をさらに有する請求項１〜４のいずれかに記載の画像表示装置。
【請求項６】
前記表示部に対する前記利用者の視線を検出して利用者の視線情報を生成する視線情報生成手段と、
前記利用者の視線情報を前記外部に送信する送信手段とをさらに有する請求項１〜５のいずれかに記載の画像表示装置。
【請求項７】
コンピュータを、
利用者の人物像が表示される外部表示手段の表示画面に対する対話相手の視線を検出して得られる視線情報を外部から受信する受信手段と、
前記受信手段が受信した前記視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する人物像生成手段と、
前記人物像生成手段が生成した前記人物像を前記利用者に表示する表示手段として機能させるための画像表示プログラム。
【請求項８】
第１の画像表示装置と第２の画像表示装置とを通信可能に接続してなる画像表示システムであって、
前記第１の画像表示装置は、前記第２の画像表示装置の表示手段の表示画面に対する対話相手の視線を検出して得られる対話相手の視線情報を前記第２の画像表示装置から受信する第１の受信手段と、前記第１の受信手段が受信した前記対話相手の視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する第１の人物像生成手段と、前記人物像生成手段が生成した前記対話相手の人物像を前記利用者に表示する第１の表示手段と、前記表示部に対する前記利用者の視線を検出して利用者の視線情報を生成する第１の視線情報生成手段と、前記利用者の視線情報を前記第２の画像表示装置に送信する第１の送信手段とを有し、
前記第２の画像表示装置は、前記利用者の視線情報を前記第１の画像表示装置から受信する第２の受信手段と、前記第２の受信手段が受信した前記利用者の視線情報に応じた形状を有する瞳を含む前記利用者の人物像を生成する第２の人物像生成手段と、前記第２の人物像生成手段が生成した前記利用者の人物像を前記対話相手に表示する第２の表示手段と、前記対話相手の視線情報を生成する第２の視線情報生成手段と、前記対話相手の視線情報を前記第１の画像表示装置に送信する第２の送信手段とを有する画像表示システム。
【請求項１】
利用者の人物像が表示される外部表示手段の表示画面に対する対話相手の視線を検出して得られる視線情報を外部から受信する受信手段と、
前記受信手段が受信した前記視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する人物像生成手段と、
前記人物像生成手段が生成した前記人物像を前記利用者に表示する表示手段と、
を含むことを特徴とする画像表示装置。
【請求項２】
前記人物像生成手段は、前記視線情報に応じて、前記対話相手の視線の先の前記外部表示手段に表示される人物像に対応する利用者にとって対話相手の瞳が正面視に見える形状を有する瞳を含む前記対話相手の人物像を生成する請求項１に記載の画像表示装置。
【請求項３】
前記人物像生成手段は、前記視線情報に応じた位置に前記瞳を配置して前記人物像を生成する請求項１又は２に記載の画像表示装置。
【請求項４】
前記表示手段に対する前記利用者の位置を検出する検出手段をさらに有し、
前記人物像生成手段は、前記視線情報及び前記利用者の位置に応じて前記対話相手の人物像を生成する請求項１〜３のいずれかに記載の画像表示装置。
【請求項５】
前記視線情報を異なる方向に変動させる視線変動手段をさらに有する請求項１〜４のいずれかに記載の画像表示装置。
【請求項６】
前記表示部に対する前記利用者の視線を検出して利用者の視線情報を生成する視線情報生成手段と、
前記利用者の視線情報を前記外部に送信する送信手段とをさらに有する請求項１〜５のいずれかに記載の画像表示装置。
【請求項７】
コンピュータを、
利用者の人物像が表示される外部表示手段の表示画面に対する対話相手の視線を検出して得られる視線情報を外部から受信する受信手段と、
前記受信手段が受信した前記視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する人物像生成手段と、
前記人物像生成手段が生成した前記人物像を前記利用者に表示する表示手段として機能させるための画像表示プログラム。
【請求項８】
第１の画像表示装置と第２の画像表示装置とを通信可能に接続してなる画像表示システムであって、
前記第１の画像表示装置は、前記第２の画像表示装置の表示手段の表示画面に対する対話相手の視線を検出して得られる対話相手の視線情報を前記第２の画像表示装置から受信する第１の受信手段と、前記第１の受信手段が受信した前記対話相手の視線情報に応じた形状を有する瞳を含む前記対話相手の人物像を生成する第１の人物像生成手段と、前記人物像生成手段が生成した前記対話相手の人物像を前記利用者に表示する第１の表示手段と、前記表示部に対する前記利用者の視線を検出して利用者の視線情報を生成する第１の視線情報生成手段と、前記利用者の視線情報を前記第２の画像表示装置に送信する第１の送信手段とを有し、
前記第２の画像表示装置は、前記利用者の視線情報を前記第１の画像表示装置から受信する第２の受信手段と、前記第２の受信手段が受信した前記利用者の視線情報に応じた形状を有する瞳を含む前記利用者の人物像を生成する第２の人物像生成手段と、前記第２の人物像生成手段が生成した前記利用者の人物像を前記対話相手に表示する第２の表示手段と、前記対話相手の視線情報を生成する第２の視線情報生成手段と、前記対話相手の視線情報を前記第１の画像表示装置に送信する第２の送信手段とを有する画像表示システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−７００８１（Ｐ２０１２−７００８１Ａ）
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願番号】特願２０１０−２１１１９７（Ｐ２０１０−２１１１９７）
【出願日】平成２２年９月２１日（２０１０．９．２１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２４年４月５日（２０１２．４．５）
【国際特許分類】
【出願日】平成２２年９月２１日（２０１０．９．２１）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]