遠隔コミュニケーションシステム及び遠隔コミュニケーション方法
【課題】観察者が被観察者の撮影された映像に向けた視線を検出し、視線情報に基づいて被観察者に観察者の存在を知らせようと働きかけることの出来る遠隔コミュニケーションシステムを提供する。
【解決手段】遠隔コミュニケーションシステム１０は、被観察者２０１を撮像する撮像装置１０１と、上記撮像装置１０１が撮像した映像を表示する表示装置１０３と、上記表示装置１０３に向けられる観察者３０１の視線を検出する視線検出部１０５と、上記視線検出部１０５が検出した視線の有無に関する情報を含む視線情報を作成する視線情報作成部１０７と、上記被観察者２０１に上記視線情報を提供する視線情報処理装置１０９と、を有する。
【解決手段】遠隔コミュニケーションシステム１０は、被観察者２０１を撮像する撮像装置１０１と、上記撮像装置１０１が撮像した映像を表示する表示装置１０３と、上記表示装置１０３に向けられる観察者３０１の視線を検出する視線検出部１０５と、上記視線検出部１０５が検出した視線の有無に関する情報を含む視線情報を作成する視線情報作成部１０７と、上記被観察者２０１に上記視線情報を提供する視線情報処理装置１０９と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔コミュニケーションシステム及び遠隔コミュニケーション方法に関する。
【背景技術】
【０００２】
映像の送受信を利用した遠隔コミュニケーションシステムにおいては、個人対個人の映像通信ばかりでなく、例えばオフィス等の室内において俯瞰映像を撮影し、遠隔先に送信するシステムが存在する。一般的に、俯瞰映像を撮影するために高所に設置されたカメラは、被撮影者の視界内に通常入らない。そのため、被撮影者は、撮影されているという事実を忘れてしまうことがあった。
【０００３】
例えば、特許文献１には、このように高所に設置されたカメラを操作中には音を鳴らすすることにより、被撮影者に撮影中であることを知らせる方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４０７８１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の方法においては、カメラが操作中であることを被観察者に通知するものである。このため、例えば、動画像を常時送信するシステムにおいて、カメラが操作されずに観察者が観察している場合、及び、観察者は居ないが自動でカメラが操作されるシステムにおいては、必ずしもカメラ操作の有無と観察者の有無とは一致せず、実際に観察者に見られているか否かは判断することが出来ないという問題があった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、観察者が被観察者の撮影された映像に向けた視線を検出し、視線情報に基づいて被観察者に観察者の存在を知らせようと働きかけることが可能な、新規かつ改良された遠隔コミュニケーションシステム及び遠隔コミュニケーション方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、被観察者を撮像する撮像装置と、前記撮像装置が撮像した映像を表示する表示装置と、前記表示装置に向けられる観察者の視線を検出する視線検出部と、前記視線検出部が検出した視線の有無に関する情報を含む視線情報を作成する視線情報作成部と、前記被観察者に前記視線情報を提供する視線情報処理装置と、を有する、遠隔コミュニケーションシステムが提供される。
【０００８】
かかる構成によれば、被観察者が映し出された表示部に対する観察者の視線を検知し、この視線の有無に従って被観察者に視線を検出したことを示し、観察者に観察されている可能性が高いことを示す視線情報を提供する。かかる遠隔コミュニケーションシステムは、観察者の視線が表示部に向けられていることに基づいて被観察者にこの情報を提供するため、実際に観察者が被観察者を見ている状態である可能性が高いことを被観察者に知らせることが可能となる。
【０００９】
また、前記視線情報処理装置は、可動部を有し、前記可動部を用いて物理移動又は物理動作を連続又は断続的に行うことにより前記視線情報を提供してもよい。
【００１０】
また、前記視線情報処理装置は、前記視線検出部が一度視線を検出した後に視線が検出できなくなると、前記物理移動又は物理動作を中止し、前記視線情報提供前の状態に戻ってもよい。
【００１１】
また、前記視線情報処理装置は、方向を示すことの出来る方向指示部を有し、前記視線情報に応じて前記方向指示部により前記撮像装置の方向を示してもよい。
【００１２】
また、前記方向指示部は、人、動物、及びキャラクターの少なくともいずれかの顔に類似した部位であってもよい。
【００１３】
また、前記視線情報作成部は、さらに視線の数を含む視線情報を作成し、前記視線情報処理装置は、前記視線の数に応じて前記視線情報の提供方法を変えてもよい。
【００１４】
また、前記視線情報は、さらに視線の数を含む情報であり、前記視線情報処理装置は、前記視線の数に応じて、前記物理移動又は物理動作の大きさを変更してもよい。
【００１５】
また、前記表示装置に表示された映像中の前記被観察者の表示サイズを取得するサイズ取得部をさらに有し、前記視線情報作成部は、前記表示サイズに応じて前記視線の有無に関する情報を修正してもよい。
【００１６】
また、前記視線情報作成部は、前記表示サイズが所定の閾値よりも小さい場合に、前記視線検出部が視線を検出した場合であっても視線が無いと判断してもよい。
【００１７】
また、前記サイズ取得部は、顔認識を用いて前記映像中の人物を特定し、前記視線情報作成部は、前記サイズ取得部が特定した人物に関する情報に基づいて特定された視線情報処理装置に対して視線情報を送信してもよい。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、被観察者を撮像するステップと、前記撮像するステップにおいて撮像された映像を表示装置に表示するステップと、前記表示装置に向けられる観察者の視線を検出するステップと、前記検出するステップにおいて検出された視線の有無に関する情報を含む視線情報を作成するステップと、前記被観察者に前記視線情報を提供するステップと、を含む、遠隔コミュニケーション方法が提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、観察者が被観察者の撮影された映像に向けた視線を検出し、視線情報に基づいて被観察者に観察者の存在を知らせようと働きかけることが出来るようになる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態に係る遠隔コミュニケーションシステムの機能構成を示すブロック図である。
【図２】第１の実施形態に係る遠隔コミュニケーションシステムの概要を示す説明図である。
【図３】第２の実施形態に係る遠隔コミュニケーションシステムの機能構成を示すブロック図である。
【図４】第２の実施形態に係る遠隔コミュニケーションシステムの概要を示す説明図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
＜第１の実施形態＞
まず、本発明の第１の実施形態に係る遠隔コミュニケーションシステムの機能構成を、それぞれの機能部の配置及び動作と共に、図１及び図２を用いて説明する。図１は、本発明の第１の実施形態に係る遠隔コミュニケーションシステムの機能構成を示すブロック図である。図２は、本発明の第１の実施形態に係る遠隔コミュニケーションシステムの概要を示す説明図である。
【００２３】
初めに、図１を参照すると、本発明の第１の実施形態に係る遠隔コミュニケーションシステム１０は、撮像装置１０１、表示装置１０３、視線センサ１１０、視線情報処理装置１０９を主に有する。撮像装置１０１及び表示装置１０３は、ネットワークを介して接続されている。また、視線センサ１１０及び視線情報処理装置１０９は、ネットワークを介して接続されている。
【００２４】
撮像装置１０１は、被観察者２０１を撮像するカメラ装置である。撮像装置１０１は、例えば、図２に示すように、被観察者２０１を含む俯瞰映像を撮像することが出来る位置、例えば部屋の天井、又は、壁の上部などに設置される。そして、撮像装置１０１は、撮像した映像を表示装置１０３に送信する（Ｓ１０１）。
【００２５】
表示装置１０３は、撮像装置１０１により撮像された映像を表示する機能を有する。表示装置１０３は、観察者３０１がその表示された映像を見ることが出来る位置に配置される。
【００２６】
視線センサ１１０は、表示装置１０３に向けられる観察者３０１の視線を検出する機能を有するセンサである。視線センサ１１０は、表示装置１０３に表示されている内容を見る観察者３０１の視線が検出できる位置に配置される。視線センサ１１０は、視線検出部１０５及び視線情報作成部１０７を主に有する。視線検出部１０５は、表示装置１０３に向けられる観察者３０１の視線を検出する（Ｓ１０２）機能を主に有する。視線検出部１０５は、例えば、顔画像解析により観察者３０１の目を認識することにより視線を検出してもよい。また、視線情報作成部１０７は、視線検出部１０５の検出情報を用いて、視線情報を作成し、視線情報処理装置１０９に送信する（Ｓ１０３）機能を有する。
【００２７】
ここで、視線情報は、例えば視線の有無に関する情報を含む。また、視線情報は、視線の数、即ち、観察者の人数を示す情報を含んでもよい。また、視線検出部１０５は、定期的又は継続的に視線を検出し、視線情報作成部１０７は、視線情報を視線情報処理装置１０９に送信し続けてもよい。この場合、視線情報処理装置１０９は、視線情報を受信しないことにより、表示装置１０３に向かう視線が存在しなくなったことを知ることが出来る。また、視線情報作成部１０７は、視線情報が変化したときに視線情報を作成し、視線情報処理装置に送信してもよい。例えば、視線を検出したとき、視線の数が変化したとき、視線が存在しなくなったときなどに視線情報を作成し、視線情報処理装置１０９に送信する。視線情報処理装置１０９は、視線が存在しなくなったことを示す視線情報を受け取るにより視線が存在しなくなったことを知ることも出来る。
【００２８】
視線情報処理装置１０９は、視線センサ１１０から受信した視線情報に応じて被観察者２０１に視線情報を提供する機能を有する。視線情報処理装置１０９は、被観察者２０１の周辺に配置される。さらに、視線情報処理装置１０９は、撮像装置１０１との直線上に障害物のない位置に配置されることが好ましい。
【００２９】
また、視線情報処理装置１０９は、視線が存在することを示す視線情報を受信した場合に、受信した視線情報を被観察者２０１に提供する。例えば、視線情報処理装置１０９は、可動部を有し、可動部を用いて視線情報に応じた物理移動又は物理動作を連続又は断続的に行うことにより視線情報を被観察者２０１に提供してもよい。視線情報処理装置１０９は、例えば、視線情報に応じて、前後往復運動、左右往復運動、往復旋回運動などの、物理移動又は物理動作を行うことにより視線情報を被観察者２０１に提供してもよい。また、視線情報処理装置１０９は、視線検出部１０５が一度視線を検出した後に視線が検出できなくなった場合に、物理移動又は物理動作を中止し、視線情報を提供する前の状態に戻ってもよい。
【００３０】
このように、視線情報処理装置１０９は、被観察者２０１の注意を引くことによって、観察者３０１が撮像装置１０１の映像を見ることにより被観察者２０１が観察されている状態である可能性が高いことを被観察者２０１に知ってもらおうと働きかける。これにより、被観察者２０１がリアルタイム又は事後的に、観察者３０１に観察されている状態である可能性が高いことに気づく可能性を高めるという効果がある。このとき、例えば、取り扱い説明書などの記載により、又は、複数回当該システムの利用経験があることにより、視線情報処理装置１０９の物理移動又は物理動作が観察者の視線を検出した情報を提供していることを意味することを、被観察者２０１が知っている場合には、被観察者２０１は、観察者３０１により観察されている可能性が高いことを知ることが出来る。
【００３１】
また、視線情報処理装置１０９は、視線情報が視線の数を含む場合において、この視線の数に応じて視線情報の提供方法を変えてもよい。具体的には、視線情報処理装置１０９は、視線の数に応じて、物理移動又は物理動作の大きさを変更してもよい。例えば、視線の数が多くなればなるほど大きな動作又は大きな移動距離で動いてもよい。
【００３２】
さらに、視線情報処理装置１０９は、方向を示すことの出来る方向指示部を有してもよい。視線情報処理装置１０９は、視線が存在することを示す視線情報を受信した場合に、視線情報に応じて、方向指示部を用いて撮像装置１０１の方向を示してもよい。また、方向を示す型式等については、例えば、方向を示していない基本状態から方向を示した状態までの一連の動作を短時間に複数回繰り返す場合や、上記一連の動作のうち方向を示した状態を数秒間維持し、上記一連の動作を複数回繰り返す場合等、多様な型式が考えられる。
【００３３】
かかる構成により、視線情報処理装置１０９は、被観察者２０１が観察されている可能性が高いという情報に加えて、撮像装置１０１の位置を示すことが出来る。被観察者２０１は、視線情報処理装置１０９が視線の検出に応じて動作していることを知っている場合には、被観察者２０１は、撮像装置１０１の位置を知ることによって、どの位置から撮影された映像によって自らが観察されているのかを知ることが出来るようになる。また、被観察者２０１が視線情報処理装置１０９が視線の検出に応じて動作していることを知らない場合であっても、被観察者２０１は、視線情報処理装置１０９の示す方向に視線が誘導され注意を向けることにより、被観察者２０１はその方向に存在する撮像装置１０１の存在・位置を知る可能性をより確実に高めることができる。その結果、被観察者２０１は、撮像装置１０１の存在と、視線情報処理装置１０９の挙動とから、もしや観察者によって観察されているのでは、と容易に・自然にさりげなく想像及び予測することができる。ここで、音声などにより視線情報を提供する場合と比べて、本実施形態に係る視線情報処理装置１０９は、周りの生活動作を邪魔することなく自然に視線情報を提供することが出来る。
【００３４】
また、例えば、視線情報処理装置１０９は、図２に示したようなロボット形状であってよい。視線情報処理装置１０９は、人、動物、及びキャラクターの少なくともいずれかの顔に類似した部位を有する。そして、この場合において、方向指示部は、この顔に類似した部位であってよい。視線情報処理装置１０９は、この顔に類似した部位の向きを部分的若しくは全体で変更することの出来る機構を有し、これにより撮像装置１０１の方向を示すことが出来る。
【００３５】
ここで、視線情報処理装置１０９は、撮像装置１０１の位置を、例えば、予め設定された視線情報処理装置１０９自身の移動中心位置情報、及び、撮像装置１０１の位置情報に基づいて、認識することが出来る。視線情報処理装置１０９は、移動中心位置情報、及び、撮像装置１０１の位置情報に基づいて、自身の位置から撮像装置１０１の位置に対する角度を計算して撮像装置１０１の方向を示すことが出来る。
【００３６】
また、他の方法としては、遠隔コミュニケーションシステム１０は、視線情報処理装置１０９の位置情報を取得する機能を有していてもよい。例えば、位置情報を取得する方法としては、例えば、音波センサ、光学センサなどの既存技術を用いる方法が挙げられる。視線情報処理装置１０９の位置情報を取得する機能は、視線情報処理装置１０９自身が有していてもよい。また、視線情報処理装置１０９の位置情報を取得する機能は、視線情報処理装置１０９の外部に有していて、視線情報処理装置１０９に通知されてもよい。視線情報処理装置１０９は、この位置情報に基づいて、撮像装置１０１の位置を認識し、撮像装置１０１の方向を示すことが出来る。
【００３７】
（効果の例）
以上、説明したように、本発明の第１の実施形態に係る遠隔コミュニケーションシステム１０によれば、表示装置１０３を実際に観察者３０１が見ている視線を検出し、視線情報に基づいて被観察者に観察されている可能性が高いという情報を提供することが出来るようになる。ここで、ロボット形状の視線情報処理装置１０９を用いて、ロボット形状の筐体自身が移動する、又は、可動部を用いて動作を繰り返すことにより、視線情報を提供する。これにより、被観察者の注意を引き寄せることが出来、被観察者が、視線情報処理装置１０９の示す視線情報に気づく可能性が高まる。
【００３８】
また、視線情報処理装置１０９は、例えばロボット形状の顔に類似した部位など、方向を指示することの出来る部位を用いて、撮像装置１０１の位置を指し示す。かかる構成により、被観察者２０１は、視線情報処理装置１０９が視線の検出に応じて動作していることを知っている場合には、被観察者２０１は、撮像装置１０１の位置を知ることによって、どの位置から撮影された映像によって自らが観察されているのかを知ることが出来るようになる。また、被観察者２０１が視線情報処理装置１０９が視線の検出に応じて動作していることを知らない場合であっても、被観察者２０１は、視線情報処理装置１０９の示す方向に視線が誘導され注意を向けることにより、被観察者２０１はその方向に存在する撮像装置１０１の存在・位置を知る可能性をより確実に高めることができる。その結果、被観察者２０１は、撮像装置１０１の存在と、視線情報処理装置１０９の挙動とから、もしや観察者によって観察されているのでは、と容易に・自然にさりげなく想像及び予測することができる。
【００３９】
＜第２の実施形態＞
次に、本発明の第２の実施形態に係る遠隔コミュニケーションシステムの機能構成を、図３及び図４を用いて説明する。図３は、本発明の第２の実施形態に係る遠隔コミュニケーションシステムの機能構成を示すブロック図である。図４は、本発明の第２の実施形態に係る遠隔コミュニケーションシステムの概要を示す説明図である。
【００４０】
尚、第２の実施形態に係る遠隔コミュニケーションシステムは、基本的な配置及び動作については、図２に示した第１の実施形態に係る遠隔コミュニケーションシステムと同様である。以下、第１の実施形態との相違点についてのみ主に説明をする。
【００４１】
まず、図３を参照すると、本発明の第２の実施形態に係る遠隔コミュニケーションシステム２０は、撮像装置１０１、表示装置１０３、サイズ取得装置１０４、視線センサ１１０、視線情報処理装置１０９を主に有する。遠隔コミュニケーションシステム２０は、第１の実施形態に係る遠隔コミュニケーションシステム１０の構成に、サイズ取得装置１０４を加えたものである。
【００４２】
サイズ取得装置１０４は、表示装置１０３に表示された映像中の被観察者２０１の表示サイズを取得する機能を有する。サイズ取得装置１０４は、撮像装置１０１が撮像した映像信号から人物を認識する。それと共に、サイズ取得装置１０４は、モニタの物理サイズ及び解像度情報から、被観察者２０１の表示サイズを算出する。
【００４３】
また、サイズ取得装置１０４は、別途のカメラ装置を用いてモニタを撮影した映像から表示サイズを取得してもよい。
【００４４】
サイズ取得装置１０４は、視線検出部１０５が表示部１０３に向けられた視線を検出すると、その時点で表示装置１０３に表示された画像中の被観察者２０１の表示サイズを算出する。サイズ取得装置１０４は、算出した表示サイズに関する情報を、視線情報作成部１０７に送信する。
【００４５】
視線情報作成部１０７は、サイズ取得装置１０４が算出した表示サイズに応じて視線の有無に関する情報を修正する。即ち、視線情報作成部１０７は、表示サイズが所定の閾値以上である場合にのみ視線が存在することを示す視線情報を視線情報処理装置１０９に送信する。つまり、視線情報作成部１０７は、表示サイズが所定の閾値よりも小さい場合には、視線検出部１０５が視線を検出した場合であっても視線が存在しないと判断する。
【００４６】
例えば、図４に示したように表示画面１０３に被観察者２０１ａ及び被観察者２０１ｂが表示されているとする。被観察者２０１ａは、顔の表情や何をしているかまで見ることのできる大きさで表示画面１０３に表示され、観察されている。しかし、例えば、被観察者２０１ｂのように小さく表示されている場合には、表示部１０３を通して見る観察者は、顔の表情までは読取ることが出来ないかもしれない。このように、表示画面１０３に映ってはいるものの、それが被観察者２０１にとって見られているということを気にする程度のものではない状況もあり得る。表示サイズの情報を用いることによって、このような場合にまで被観察者に注意を促すべきであるかどうかを遠隔コミュニケーションシステム２０の設定者が閾値により調整をすることが出来るようになる。
【００４７】
また、図４に示したように、被観察者２０１が複数人存在する場合について、説明をする。この場合において、被観察者の顔情報及び被観察者と視線情報処理装置１０９との紐付け情報は、予め記憶部（図示せず。）に記憶されているものとする。
【００４８】
サイズ取得装置１０４は、表示装置１０３に表示された画像中の人物の表示サイズを算出すると共に、顔認識機能を用いて、記憶部に記憶された顔情報と照合し、表示されたそれぞれの被観察者２０１が誰であるか特定する。そして、サイズ取得装置１０４は、表示サイズに関する情報に加えて、その人物の特定情報を視線情報作成部１０７に送信する。視線情報作成部１０７は、受信した情報に基づいて、視線情報を送信する宛先の視線情報処理装置１０９を特定する。具体的には、視線情報作成部１０７は、記憶部に記憶された被観察者２０１と視線情報処理装置１０９との紐付け情報に基づいて、視線情報の送信先である視線情報処理装置１０９を特定する。
【００４９】
これにより、被観察者２０１及び視線情報処理装置１０９が複数存在する場合であっても、視線情報を届けたい被観察者２０１に対して確実に視線情報を届けることが出来るようになる。
【００５０】
（効果の例）
以上、説明したように、本発明の第２の実施形態に係る遠隔コミュニケーションシステム２０によれば、第１の実施形態に係る遠隔コミュニケーションシステム１０と同様に、表示装置１０３を実際に観察者３０１が見ている視線を検出し、視線情報に基づいて被観察者に観察されているという情報を提供することが出来るようになる。ここで、ロボット形状の視線情報処理装置１０９を用いて、ロボット形状の筐体自身が移動する、又は、可動部を用いて動作を繰り返すことにより、視線情報を提供する。これにより、被観察者の注意を引き寄せることが出来、被観察者が、視線情報処理装置１０９の示す視線情報に気づく可能性が高まる。
【００５１】
また、視線情報処理装置１０９は、例えばロボット形状の顔に類似した部位など、方向を指示することの出来る部位を用いて、撮像装置１０１の位置を指し示す。かかる構成により、被観察者２０１は、視線情報処理装置１０９が視線の検出に応じて動作していることを知っている場合には、被観察者２０１は、撮像装置１０１の位置を知ることによって、どの位置から撮影された映像によって自らが観察されているのかを知ることが出来るようになる。また、被観察者２０１が視線情報処理装置１０９が視線の検出に応じて動作していることを知らない場合であっても、被観察者２０１は、視線情報処理装置１０９の示す方向に視線が誘導され注意を向けることにより、被観察者２０１はその方向に存在する撮像装置１０１の存在・位置を知る可能性をより確実に高めることができる。その結果、被観察者２０１は、撮像装置１０１の存在と、視線情報処理装置１０９の挙動とから、もしや観察者によって観察されているのでは、と容易に・自然にさりげなく想像及び予測することができる。
【００５２】
また、上記の効果に加えて、遠隔コミュニケーションシステム２０は、サイズ取得装置１０４によって、被観察者２０１が観察者３０１によってどの位のサイズで観察されているかを知ることが出来る。このため、例えば、閾値を用いると、閾値よりも小さいサイズである場合には、視線情報処理装置１０９が、視線が存在することを示す動作又は移動をしないようにすることが出来る。これにより、被観察者２０１は、表情や動作まで読取れる程度に大きく表示部１０３に表示されている場合のみ、自らが観察されている可能性が高いことを知ることが出来るようになる。また、本当に必要な場合にのみ視線情報処理装置が動作するため、消費エネルギーの低減を図ることも出来るようになる。
【００５３】
また、サイズ取得装置１０４が顔認識機能を有し、被観察者２０１を特定することが出来る。このため、被観察者２０１及び視線情報処理装置１０９を紐付けておくことにより、複数の被観察者２０１及び複数の視線情報処理装置１０９が存在する場合であっても、確実に特定の視線情報処理装置１０９に視線情報を送信することが出来る。
【００５４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００５５】
例えば、上記実施形態では、視線情報処理装置１０９は、可動部を用いて移動する、又は、動作を繰り替えすことにより、被観察者２０１に対して観察中であることを提供したが、本発明はかかる例に限定されない。例えば、音声により、被観察者２０１に対して観察中であることを知らせるようにしてもよい。この場合、例えば、視線の数が多くなればなるほど大きな音を出すようにしてもよい。また、例えば、視線情報処理装置１０９に表示画面を備え（図示せず。）、メッセージを表示することにより視線情報を提供してもよい。また、当然これらの組合せであってもよい。
【００５６】
また、例えば、上記実施形態では、視線情報作成部１０７は、視線センサ１１０の一機能であることとしたが、これに限られない。例えば、視線情報作成部１０７は、サイズ取得装置１０４に内蔵されてもよい。また、例えば、視線情報作成部１０７は、別途の情報処理装置に内蔵された機能であってもよい。また、例えば、視線情報作成部１０７は、視線情報処理装置１０９の一機能であってもよい。
【００５７】
また、例えば、上記実施形態では、被観察者一人に対して視線情報処理装置が１台紐付けられることとしたが、これに限られない。複数の被観察者が存在する１つのエリアに対して視線情報処理装置が１台紐付けられていてもよい。
【符号の説明】
【００５８】
１０，２０ 遠隔コミュニケーションシステム
１０１ 撮像装置
１０３ 表示装置
１０４ サイズ取得装置
１０５ 視線検出部
１０７ 視線情報作成部
１０９ 視線情報処理装置
１１０ 視線センサ
２０１ 被観察者
３０１ 観察者
【技術分野】
【０００１】
本発明は、遠隔コミュニケーションシステム及び遠隔コミュニケーション方法に関する。
【背景技術】
【０００２】
映像の送受信を利用した遠隔コミュニケーションシステムにおいては、個人対個人の映像通信ばかりでなく、例えばオフィス等の室内において俯瞰映像を撮影し、遠隔先に送信するシステムが存在する。一般的に、俯瞰映像を撮影するために高所に設置されたカメラは、被撮影者の視界内に通常入らない。そのため、被撮影者は、撮影されているという事実を忘れてしまうことがあった。
【０００３】
例えば、特許文献１には、このように高所に設置されたカメラを操作中には音を鳴らすすることにより、被撮影者に撮影中であることを知らせる方法が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００６−１４０７８１
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、特許文献１に記載の方法においては、カメラが操作中であることを被観察者に通知するものである。このため、例えば、動画像を常時送信するシステムにおいて、カメラが操作されずに観察者が観察している場合、及び、観察者は居ないが自動でカメラが操作されるシステムにおいては、必ずしもカメラ操作の有無と観察者の有無とは一致せず、実際に観察者に見られているか否かは判断することが出来ないという問題があった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、観察者が被観察者の撮影された映像に向けた視線を検出し、視線情報に基づいて被観察者に観察者の存在を知らせようと働きかけることが可能な、新規かつ改良された遠隔コミュニケーションシステム及び遠隔コミュニケーション方法を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、被観察者を撮像する撮像装置と、前記撮像装置が撮像した映像を表示する表示装置と、前記表示装置に向けられる観察者の視線を検出する視線検出部と、前記視線検出部が検出した視線の有無に関する情報を含む視線情報を作成する視線情報作成部と、前記被観察者に前記視線情報を提供する視線情報処理装置と、を有する、遠隔コミュニケーションシステムが提供される。
【０００８】
かかる構成によれば、被観察者が映し出された表示部に対する観察者の視線を検知し、この視線の有無に従って被観察者に視線を検出したことを示し、観察者に観察されている可能性が高いことを示す視線情報を提供する。かかる遠隔コミュニケーションシステムは、観察者の視線が表示部に向けられていることに基づいて被観察者にこの情報を提供するため、実際に観察者が被観察者を見ている状態である可能性が高いことを被観察者に知らせることが可能となる。
【０００９】
また、前記視線情報処理装置は、可動部を有し、前記可動部を用いて物理移動又は物理動作を連続又は断続的に行うことにより前記視線情報を提供してもよい。
【００１０】
また、前記視線情報処理装置は、前記視線検出部が一度視線を検出した後に視線が検出できなくなると、前記物理移動又は物理動作を中止し、前記視線情報提供前の状態に戻ってもよい。
【００１１】
また、前記視線情報処理装置は、方向を示すことの出来る方向指示部を有し、前記視線情報に応じて前記方向指示部により前記撮像装置の方向を示してもよい。
【００１２】
また、前記方向指示部は、人、動物、及びキャラクターの少なくともいずれかの顔に類似した部位であってもよい。
【００１３】
また、前記視線情報作成部は、さらに視線の数を含む視線情報を作成し、前記視線情報処理装置は、前記視線の数に応じて前記視線情報の提供方法を変えてもよい。
【００１４】
また、前記視線情報は、さらに視線の数を含む情報であり、前記視線情報処理装置は、前記視線の数に応じて、前記物理移動又は物理動作の大きさを変更してもよい。
【００１５】
また、前記表示装置に表示された映像中の前記被観察者の表示サイズを取得するサイズ取得部をさらに有し、前記視線情報作成部は、前記表示サイズに応じて前記視線の有無に関する情報を修正してもよい。
【００１６】
また、前記視線情報作成部は、前記表示サイズが所定の閾値よりも小さい場合に、前記視線検出部が視線を検出した場合であっても視線が無いと判断してもよい。
【００１７】
また、前記サイズ取得部は、顔認識を用いて前記映像中の人物を特定し、前記視線情報作成部は、前記サイズ取得部が特定した人物に関する情報に基づいて特定された視線情報処理装置に対して視線情報を送信してもよい。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、被観察者を撮像するステップと、前記撮像するステップにおいて撮像された映像を表示装置に表示するステップと、前記表示装置に向けられる観察者の視線を検出するステップと、前記検出するステップにおいて検出された視線の有無に関する情報を含む視線情報を作成するステップと、前記被観察者に前記視線情報を提供するステップと、を含む、遠隔コミュニケーション方法が提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、観察者が被観察者の撮影された映像に向けた視線を検出し、視線情報に基づいて被観察者に観察者の存在を知らせようと働きかけることが出来るようになる。
【図面の簡単な説明】
【００２０】
【図１】第１の実施形態に係る遠隔コミュニケーションシステムの機能構成を示すブロック図である。
【図２】第１の実施形態に係る遠隔コミュニケーションシステムの概要を示す説明図である。
【図３】第２の実施形態に係る遠隔コミュニケーションシステムの機能構成を示すブロック図である。
【図４】第２の実施形態に係る遠隔コミュニケーションシステムの概要を示す説明図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
＜第１の実施形態＞
まず、本発明の第１の実施形態に係る遠隔コミュニケーションシステムの機能構成を、それぞれの機能部の配置及び動作と共に、図１及び図２を用いて説明する。図１は、本発明の第１の実施形態に係る遠隔コミュニケーションシステムの機能構成を示すブロック図である。図２は、本発明の第１の実施形態に係る遠隔コミュニケーションシステムの概要を示す説明図である。
【００２３】
初めに、図１を参照すると、本発明の第１の実施形態に係る遠隔コミュニケーションシステム１０は、撮像装置１０１、表示装置１０３、視線センサ１１０、視線情報処理装置１０９を主に有する。撮像装置１０１及び表示装置１０３は、ネットワークを介して接続されている。また、視線センサ１１０及び視線情報処理装置１０９は、ネットワークを介して接続されている。
【００２４】
撮像装置１０１は、被観察者２０１を撮像するカメラ装置である。撮像装置１０１は、例えば、図２に示すように、被観察者２０１を含む俯瞰映像を撮像することが出来る位置、例えば部屋の天井、又は、壁の上部などに設置される。そして、撮像装置１０１は、撮像した映像を表示装置１０３に送信する（Ｓ１０１）。
【００２５】
表示装置１０３は、撮像装置１０１により撮像された映像を表示する機能を有する。表示装置１０３は、観察者３０１がその表示された映像を見ることが出来る位置に配置される。
【００２６】
視線センサ１１０は、表示装置１０３に向けられる観察者３０１の視線を検出する機能を有するセンサである。視線センサ１１０は、表示装置１０３に表示されている内容を見る観察者３０１の視線が検出できる位置に配置される。視線センサ１１０は、視線検出部１０５及び視線情報作成部１０７を主に有する。視線検出部１０５は、表示装置１０３に向けられる観察者３０１の視線を検出する（Ｓ１０２）機能を主に有する。視線検出部１０５は、例えば、顔画像解析により観察者３０１の目を認識することにより視線を検出してもよい。また、視線情報作成部１０７は、視線検出部１０５の検出情報を用いて、視線情報を作成し、視線情報処理装置１０９に送信する（Ｓ１０３）機能を有する。
【００２７】
ここで、視線情報は、例えば視線の有無に関する情報を含む。また、視線情報は、視線の数、即ち、観察者の人数を示す情報を含んでもよい。また、視線検出部１０５は、定期的又は継続的に視線を検出し、視線情報作成部１０７は、視線情報を視線情報処理装置１０９に送信し続けてもよい。この場合、視線情報処理装置１０９は、視線情報を受信しないことにより、表示装置１０３に向かう視線が存在しなくなったことを知ることが出来る。また、視線情報作成部１０７は、視線情報が変化したときに視線情報を作成し、視線情報処理装置に送信してもよい。例えば、視線を検出したとき、視線の数が変化したとき、視線が存在しなくなったときなどに視線情報を作成し、視線情報処理装置１０９に送信する。視線情報処理装置１０９は、視線が存在しなくなったことを示す視線情報を受け取るにより視線が存在しなくなったことを知ることも出来る。
【００２８】
視線情報処理装置１０９は、視線センサ１１０から受信した視線情報に応じて被観察者２０１に視線情報を提供する機能を有する。視線情報処理装置１０９は、被観察者２０１の周辺に配置される。さらに、視線情報処理装置１０９は、撮像装置１０１との直線上に障害物のない位置に配置されることが好ましい。
【００２９】
また、視線情報処理装置１０９は、視線が存在することを示す視線情報を受信した場合に、受信した視線情報を被観察者２０１に提供する。例えば、視線情報処理装置１０９は、可動部を有し、可動部を用いて視線情報に応じた物理移動又は物理動作を連続又は断続的に行うことにより視線情報を被観察者２０１に提供してもよい。視線情報処理装置１０９は、例えば、視線情報に応じて、前後往復運動、左右往復運動、往復旋回運動などの、物理移動又は物理動作を行うことにより視線情報を被観察者２０１に提供してもよい。また、視線情報処理装置１０９は、視線検出部１０５が一度視線を検出した後に視線が検出できなくなった場合に、物理移動又は物理動作を中止し、視線情報を提供する前の状態に戻ってもよい。
【００３０】
このように、視線情報処理装置１０９は、被観察者２０１の注意を引くことによって、観察者３０１が撮像装置１０１の映像を見ることにより被観察者２０１が観察されている状態である可能性が高いことを被観察者２０１に知ってもらおうと働きかける。これにより、被観察者２０１がリアルタイム又は事後的に、観察者３０１に観察されている状態である可能性が高いことに気づく可能性を高めるという効果がある。このとき、例えば、取り扱い説明書などの記載により、又は、複数回当該システムの利用経験があることにより、視線情報処理装置１０９の物理移動又は物理動作が観察者の視線を検出した情報を提供していることを意味することを、被観察者２０１が知っている場合には、被観察者２０１は、観察者３０１により観察されている可能性が高いことを知ることが出来る。
【００３１】
また、視線情報処理装置１０９は、視線情報が視線の数を含む場合において、この視線の数に応じて視線情報の提供方法を変えてもよい。具体的には、視線情報処理装置１０９は、視線の数に応じて、物理移動又は物理動作の大きさを変更してもよい。例えば、視線の数が多くなればなるほど大きな動作又は大きな移動距離で動いてもよい。
【００３２】
さらに、視線情報処理装置１０９は、方向を示すことの出来る方向指示部を有してもよい。視線情報処理装置１０９は、視線が存在することを示す視線情報を受信した場合に、視線情報に応じて、方向指示部を用いて撮像装置１０１の方向を示してもよい。また、方向を示す型式等については、例えば、方向を示していない基本状態から方向を示した状態までの一連の動作を短時間に複数回繰り返す場合や、上記一連の動作のうち方向を示した状態を数秒間維持し、上記一連の動作を複数回繰り返す場合等、多様な型式が考えられる。
【００３３】
かかる構成により、視線情報処理装置１０９は、被観察者２０１が観察されている可能性が高いという情報に加えて、撮像装置１０１の位置を示すことが出来る。被観察者２０１は、視線情報処理装置１０９が視線の検出に応じて動作していることを知っている場合には、被観察者２０１は、撮像装置１０１の位置を知ることによって、どの位置から撮影された映像によって自らが観察されているのかを知ることが出来るようになる。また、被観察者２０１が視線情報処理装置１０９が視線の検出に応じて動作していることを知らない場合であっても、被観察者２０１は、視線情報処理装置１０９の示す方向に視線が誘導され注意を向けることにより、被観察者２０１はその方向に存在する撮像装置１０１の存在・位置を知る可能性をより確実に高めることができる。その結果、被観察者２０１は、撮像装置１０１の存在と、視線情報処理装置１０９の挙動とから、もしや観察者によって観察されているのでは、と容易に・自然にさりげなく想像及び予測することができる。ここで、音声などにより視線情報を提供する場合と比べて、本実施形態に係る視線情報処理装置１０９は、周りの生活動作を邪魔することなく自然に視線情報を提供することが出来る。
【００３４】
また、例えば、視線情報処理装置１０９は、図２に示したようなロボット形状であってよい。視線情報処理装置１０９は、人、動物、及びキャラクターの少なくともいずれかの顔に類似した部位を有する。そして、この場合において、方向指示部は、この顔に類似した部位であってよい。視線情報処理装置１０９は、この顔に類似した部位の向きを部分的若しくは全体で変更することの出来る機構を有し、これにより撮像装置１０１の方向を示すことが出来る。
【００３５】
ここで、視線情報処理装置１０９は、撮像装置１０１の位置を、例えば、予め設定された視線情報処理装置１０９自身の移動中心位置情報、及び、撮像装置１０１の位置情報に基づいて、認識することが出来る。視線情報処理装置１０９は、移動中心位置情報、及び、撮像装置１０１の位置情報に基づいて、自身の位置から撮像装置１０１の位置に対する角度を計算して撮像装置１０１の方向を示すことが出来る。
【００３６】
また、他の方法としては、遠隔コミュニケーションシステム１０は、視線情報処理装置１０９の位置情報を取得する機能を有していてもよい。例えば、位置情報を取得する方法としては、例えば、音波センサ、光学センサなどの既存技術を用いる方法が挙げられる。視線情報処理装置１０９の位置情報を取得する機能は、視線情報処理装置１０９自身が有していてもよい。また、視線情報処理装置１０９の位置情報を取得する機能は、視線情報処理装置１０９の外部に有していて、視線情報処理装置１０９に通知されてもよい。視線情報処理装置１０９は、この位置情報に基づいて、撮像装置１０１の位置を認識し、撮像装置１０１の方向を示すことが出来る。
【００３７】
（効果の例）
以上、説明したように、本発明の第１の実施形態に係る遠隔コミュニケーションシステム１０によれば、表示装置１０３を実際に観察者３０１が見ている視線を検出し、視線情報に基づいて被観察者に観察されている可能性が高いという情報を提供することが出来るようになる。ここで、ロボット形状の視線情報処理装置１０９を用いて、ロボット形状の筐体自身が移動する、又は、可動部を用いて動作を繰り返すことにより、視線情報を提供する。これにより、被観察者の注意を引き寄せることが出来、被観察者が、視線情報処理装置１０９の示す視線情報に気づく可能性が高まる。
【００３８】
また、視線情報処理装置１０９は、例えばロボット形状の顔に類似した部位など、方向を指示することの出来る部位を用いて、撮像装置１０１の位置を指し示す。かかる構成により、被観察者２０１は、視線情報処理装置１０９が視線の検出に応じて動作していることを知っている場合には、被観察者２０１は、撮像装置１０１の位置を知ることによって、どの位置から撮影された映像によって自らが観察されているのかを知ることが出来るようになる。また、被観察者２０１が視線情報処理装置１０９が視線の検出に応じて動作していることを知らない場合であっても、被観察者２０１は、視線情報処理装置１０９の示す方向に視線が誘導され注意を向けることにより、被観察者２０１はその方向に存在する撮像装置１０１の存在・位置を知る可能性をより確実に高めることができる。その結果、被観察者２０１は、撮像装置１０１の存在と、視線情報処理装置１０９の挙動とから、もしや観察者によって観察されているのでは、と容易に・自然にさりげなく想像及び予測することができる。
【００３９】
＜第２の実施形態＞
次に、本発明の第２の実施形態に係る遠隔コミュニケーションシステムの機能構成を、図３及び図４を用いて説明する。図３は、本発明の第２の実施形態に係る遠隔コミュニケーションシステムの機能構成を示すブロック図である。図４は、本発明の第２の実施形態に係る遠隔コミュニケーションシステムの概要を示す説明図である。
【００４０】
尚、第２の実施形態に係る遠隔コミュニケーションシステムは、基本的な配置及び動作については、図２に示した第１の実施形態に係る遠隔コミュニケーションシステムと同様である。以下、第１の実施形態との相違点についてのみ主に説明をする。
【００４１】
まず、図３を参照すると、本発明の第２の実施形態に係る遠隔コミュニケーションシステム２０は、撮像装置１０１、表示装置１０３、サイズ取得装置１０４、視線センサ１１０、視線情報処理装置１０９を主に有する。遠隔コミュニケーションシステム２０は、第１の実施形態に係る遠隔コミュニケーションシステム１０の構成に、サイズ取得装置１０４を加えたものである。
【００４２】
サイズ取得装置１０４は、表示装置１０３に表示された映像中の被観察者２０１の表示サイズを取得する機能を有する。サイズ取得装置１０４は、撮像装置１０１が撮像した映像信号から人物を認識する。それと共に、サイズ取得装置１０４は、モニタの物理サイズ及び解像度情報から、被観察者２０１の表示サイズを算出する。
【００４３】
また、サイズ取得装置１０４は、別途のカメラ装置を用いてモニタを撮影した映像から表示サイズを取得してもよい。
【００４４】
サイズ取得装置１０４は、視線検出部１０５が表示部１０３に向けられた視線を検出すると、その時点で表示装置１０３に表示された画像中の被観察者２０１の表示サイズを算出する。サイズ取得装置１０４は、算出した表示サイズに関する情報を、視線情報作成部１０７に送信する。
【００４５】
視線情報作成部１０７は、サイズ取得装置１０４が算出した表示サイズに応じて視線の有無に関する情報を修正する。即ち、視線情報作成部１０７は、表示サイズが所定の閾値以上である場合にのみ視線が存在することを示す視線情報を視線情報処理装置１０９に送信する。つまり、視線情報作成部１０７は、表示サイズが所定の閾値よりも小さい場合には、視線検出部１０５が視線を検出した場合であっても視線が存在しないと判断する。
【００４６】
例えば、図４に示したように表示画面１０３に被観察者２０１ａ及び被観察者２０１ｂが表示されているとする。被観察者２０１ａは、顔の表情や何をしているかまで見ることのできる大きさで表示画面１０３に表示され、観察されている。しかし、例えば、被観察者２０１ｂのように小さく表示されている場合には、表示部１０３を通して見る観察者は、顔の表情までは読取ることが出来ないかもしれない。このように、表示画面１０３に映ってはいるものの、それが被観察者２０１にとって見られているということを気にする程度のものではない状況もあり得る。表示サイズの情報を用いることによって、このような場合にまで被観察者に注意を促すべきであるかどうかを遠隔コミュニケーションシステム２０の設定者が閾値により調整をすることが出来るようになる。
【００４７】
また、図４に示したように、被観察者２０１が複数人存在する場合について、説明をする。この場合において、被観察者の顔情報及び被観察者と視線情報処理装置１０９との紐付け情報は、予め記憶部（図示せず。）に記憶されているものとする。
【００４８】
サイズ取得装置１０４は、表示装置１０３に表示された画像中の人物の表示サイズを算出すると共に、顔認識機能を用いて、記憶部に記憶された顔情報と照合し、表示されたそれぞれの被観察者２０１が誰であるか特定する。そして、サイズ取得装置１０４は、表示サイズに関する情報に加えて、その人物の特定情報を視線情報作成部１０７に送信する。視線情報作成部１０７は、受信した情報に基づいて、視線情報を送信する宛先の視線情報処理装置１０９を特定する。具体的には、視線情報作成部１０７は、記憶部に記憶された被観察者２０１と視線情報処理装置１０９との紐付け情報に基づいて、視線情報の送信先である視線情報処理装置１０９を特定する。
【００４９】
これにより、被観察者２０１及び視線情報処理装置１０９が複数存在する場合であっても、視線情報を届けたい被観察者２０１に対して確実に視線情報を届けることが出来るようになる。
【００５０】
（効果の例）
以上、説明したように、本発明の第２の実施形態に係る遠隔コミュニケーションシステム２０によれば、第１の実施形態に係る遠隔コミュニケーションシステム１０と同様に、表示装置１０３を実際に観察者３０１が見ている視線を検出し、視線情報に基づいて被観察者に観察されているという情報を提供することが出来るようになる。ここで、ロボット形状の視線情報処理装置１０９を用いて、ロボット形状の筐体自身が移動する、又は、可動部を用いて動作を繰り返すことにより、視線情報を提供する。これにより、被観察者の注意を引き寄せることが出来、被観察者が、視線情報処理装置１０９の示す視線情報に気づく可能性が高まる。
【００５１】
また、視線情報処理装置１０９は、例えばロボット形状の顔に類似した部位など、方向を指示することの出来る部位を用いて、撮像装置１０１の位置を指し示す。かかる構成により、被観察者２０１は、視線情報処理装置１０９が視線の検出に応じて動作していることを知っている場合には、被観察者２０１は、撮像装置１０１の位置を知ることによって、どの位置から撮影された映像によって自らが観察されているのかを知ることが出来るようになる。また、被観察者２０１が視線情報処理装置１０９が視線の検出に応じて動作していることを知らない場合であっても、被観察者２０１は、視線情報処理装置１０９の示す方向に視線が誘導され注意を向けることにより、被観察者２０１はその方向に存在する撮像装置１０１の存在・位置を知る可能性をより確実に高めることができる。その結果、被観察者２０１は、撮像装置１０１の存在と、視線情報処理装置１０９の挙動とから、もしや観察者によって観察されているのでは、と容易に・自然にさりげなく想像及び予測することができる。
【００５２】
また、上記の効果に加えて、遠隔コミュニケーションシステム２０は、サイズ取得装置１０４によって、被観察者２０１が観察者３０１によってどの位のサイズで観察されているかを知ることが出来る。このため、例えば、閾値を用いると、閾値よりも小さいサイズである場合には、視線情報処理装置１０９が、視線が存在することを示す動作又は移動をしないようにすることが出来る。これにより、被観察者２０１は、表情や動作まで読取れる程度に大きく表示部１０３に表示されている場合のみ、自らが観察されている可能性が高いことを知ることが出来るようになる。また、本当に必要な場合にのみ視線情報処理装置が動作するため、消費エネルギーの低減を図ることも出来るようになる。
【００５３】
また、サイズ取得装置１０４が顔認識機能を有し、被観察者２０１を特定することが出来る。このため、被観察者２０１及び視線情報処理装置１０９を紐付けておくことにより、複数の被観察者２０１及び複数の視線情報処理装置１０９が存在する場合であっても、確実に特定の視線情報処理装置１０９に視線情報を送信することが出来る。
【００５４】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００５５】
例えば、上記実施形態では、視線情報処理装置１０９は、可動部を用いて移動する、又は、動作を繰り替えすことにより、被観察者２０１に対して観察中であることを提供したが、本発明はかかる例に限定されない。例えば、音声により、被観察者２０１に対して観察中であることを知らせるようにしてもよい。この場合、例えば、視線の数が多くなればなるほど大きな音を出すようにしてもよい。また、例えば、視線情報処理装置１０９に表示画面を備え（図示せず。）、メッセージを表示することにより視線情報を提供してもよい。また、当然これらの組合せであってもよい。
【００５６】
また、例えば、上記実施形態では、視線情報作成部１０７は、視線センサ１１０の一機能であることとしたが、これに限られない。例えば、視線情報作成部１０７は、サイズ取得装置１０４に内蔵されてもよい。また、例えば、視線情報作成部１０７は、別途の情報処理装置に内蔵された機能であってもよい。また、例えば、視線情報作成部１０７は、視線情報処理装置１０９の一機能であってもよい。
【００５７】
また、例えば、上記実施形態では、被観察者一人に対して視線情報処理装置が１台紐付けられることとしたが、これに限られない。複数の被観察者が存在する１つのエリアに対して視線情報処理装置が１台紐付けられていてもよい。
【符号の説明】
【００５８】
１０，２０ 遠隔コミュニケーションシステム
１０１ 撮像装置
１０３ 表示装置
１０４ サイズ取得装置
１０５ 視線検出部
１０７ 視線情報作成部
１０９ 視線情報処理装置
１１０ 視線センサ
２０１ 被観察者
３０１ 観察者
【特許請求の範囲】
【請求項１】
被観察者を撮像する撮像装置と、
前記撮像装置が撮像した映像を表示する表示装置と、
前記表示装置に向けられる観察者の視線を検出する視線検出部と、
前記視線検出部が検出した視線の有無に関する情報を含む視線情報を作成する視線情報作成部と、
前記被観察者に前記視線情報を提供する視線情報処理装置と、
を備えることを特徴とする、遠隔コミュニケーションシステム。
【請求項２】
前記視線情報処理装置は、可動部を有し、前記可動部を用いて物理移動又は物理動作を連続又は断続的に行うことにより前記視線情報を提供することを特徴とする、請求項１に記載の遠隔コミュニケーションシステム。
【請求項３】
前記視線情報処理装置は、前記視線検出部が一度視線を検出した後に視線が検出できなくなると、前記物理移動又は物理動作を中止し、前記視線情報提供前の状態に戻ることを特徴とする、請求項２に記載の遠隔コミュニケーションシステム。
【請求項４】
前記視線情報処理装置は、方向を示すことの出来る方向指示部を有し、前記視線情報に応じて前記方向指示部により前記撮像装置の方向を示すことを特徴とする、請求項１又は２のいずれかに記載の遠隔コミュニケーションシステム。
【請求項５】
前記方向指示部は、人、動物、及びキャラクターの少なくともいずれかの顔に類似した部位であることを特徴とする、請求項４に記載の遠隔コミュニケーションシステム。
【請求項６】
前記視線情報作成部は、さらに視線の数を含む視線情報を作成し、
前記視線情報処理装置は、前記視線の数に応じて前記視線情報の提供方法を変えることを特徴とする、請求項１〜５のいずれか１項に記載の遠隔コミュニケーションシステム。
【請求項７】
前記視線情報は、さらに視線の数を含む情報であり、
前記視線情報処理装置は、前記視線の数に応じて、前記物理移動又は物理動作の大きさを変更することを特徴とする、請求項２〜５のいずれか１項に記載の遠隔コミュニケーションシステム。
【請求項８】
前記表示装置に表示された映像中の前記被観察者の表示サイズを取得するサイズ取得部をさらに備え、
前記視線情報作成部は、前記表示サイズに応じて前記視線の有無に関する情報を修正することを特徴とする、請求項１〜７のいずれか１項に記載の遠隔コミュニケーションシステム。
【請求項９】
前記視線情報作成部は、前記表示サイズが所定の閾値よりも小さい場合に、前記視線検出部が視線を検出した場合であっても視線が無いと判断することを特徴とする、請求項８に記載の遠隔コミュニケーションシステム。
【請求項１０】
前記サイズ取得部は、顔認識を用いて前記映像中の人物を特定し、
前記視線情報作成部は、前記サイズ取得部が特定した人物に関する情報に基づいて特定された視線情報処理装置に対して視線情報を送信することを特徴とする、請求項８又は９のいずれかに記載の遠隔コミュニケーションシステム。
【請求項１１】
被観察者を撮像するステップと、
前記撮像するステップにおいて撮像された映像を表示装置に表示するステップと、
前記表示装置に向けられる観察者の視線を検出するステップと、
前記検出するステップにおいて検出された視線の有無に関する情報を含む視線情報を作成するステップと、
前記被観察者に前記視線情報を提供するステップと、
を含むことを特徴とする、遠隔コミュニケーション方法。
【請求項１】
被観察者を撮像する撮像装置と、
前記撮像装置が撮像した映像を表示する表示装置と、
前記表示装置に向けられる観察者の視線を検出する視線検出部と、
前記視線検出部が検出した視線の有無に関する情報を含む視線情報を作成する視線情報作成部と、
前記被観察者に前記視線情報を提供する視線情報処理装置と、
を備えることを特徴とする、遠隔コミュニケーションシステム。
【請求項２】
前記視線情報処理装置は、可動部を有し、前記可動部を用いて物理移動又は物理動作を連続又は断続的に行うことにより前記視線情報を提供することを特徴とする、請求項１に記載の遠隔コミュニケーションシステム。
【請求項３】
前記視線情報処理装置は、前記視線検出部が一度視線を検出した後に視線が検出できなくなると、前記物理移動又は物理動作を中止し、前記視線情報提供前の状態に戻ることを特徴とする、請求項２に記載の遠隔コミュニケーションシステム。
【請求項４】
前記視線情報処理装置は、方向を示すことの出来る方向指示部を有し、前記視線情報に応じて前記方向指示部により前記撮像装置の方向を示すことを特徴とする、請求項１又は２のいずれかに記載の遠隔コミュニケーションシステム。
【請求項５】
前記方向指示部は、人、動物、及びキャラクターの少なくともいずれかの顔に類似した部位であることを特徴とする、請求項４に記載の遠隔コミュニケーションシステム。
【請求項６】
前記視線情報作成部は、さらに視線の数を含む視線情報を作成し、
前記視線情報処理装置は、前記視線の数に応じて前記視線情報の提供方法を変えることを特徴とする、請求項１〜５のいずれか１項に記載の遠隔コミュニケーションシステム。
【請求項７】
前記視線情報は、さらに視線の数を含む情報であり、
前記視線情報処理装置は、前記視線の数に応じて、前記物理移動又は物理動作の大きさを変更することを特徴とする、請求項２〜５のいずれか１項に記載の遠隔コミュニケーションシステム。
【請求項８】
前記表示装置に表示された映像中の前記被観察者の表示サイズを取得するサイズ取得部をさらに備え、
前記視線情報作成部は、前記表示サイズに応じて前記視線の有無に関する情報を修正することを特徴とする、請求項１〜７のいずれか１項に記載の遠隔コミュニケーションシステム。
【請求項９】
前記視線情報作成部は、前記表示サイズが所定の閾値よりも小さい場合に、前記視線検出部が視線を検出した場合であっても視線が無いと判断することを特徴とする、請求項８に記載の遠隔コミュニケーションシステム。
【請求項１０】
前記サイズ取得部は、顔認識を用いて前記映像中の人物を特定し、
前記視線情報作成部は、前記サイズ取得部が特定した人物に関する情報に基づいて特定された視線情報処理装置に対して視線情報を送信することを特徴とする、請求項８又は９のいずれかに記載の遠隔コミュニケーションシステム。
【請求項１１】
被観察者を撮像するステップと、
前記撮像するステップにおいて撮像された映像を表示装置に表示するステップと、
前記表示装置に向けられる観察者の視線を検出するステップと、
前記検出するステップにおいて検出された視線の有無に関する情報を含む視線情報を作成するステップと、
前記被観察者に前記視線情報を提供するステップと、
を含むことを特徴とする、遠隔コミュニケーション方法。
【図１】
【図２】
【図３】
【図４】
【図２】
【図３】
【図４】
【公開番号】特開２０１１−７７６５２（Ｐ２０１１−７７６５２Ａ）
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願番号】特願２００９−２２４７１４（Ｐ２００９−２２４７１４）
【出願日】平成２１年９月２９日（２００９．９．２９）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２３年４月１４日（２０１１．４．１４）
【国際特許分類】
【出願日】平成２１年９月２９日（２００９．９．２９）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]