コミュニケーションシステム、コミュニケーション装置
【課題】ネットワークを介して遠隔地にいる人とのコミュニケーションを行う場合、相手が違和感を持つことなくコミュニケーションを行うことができるコミュニケーションシステム、コミュニケーション装置を提供する。
【解決手段】特定のコミュニケーション装置１は、表示装置１１の横幅、及び、ユーザＸと表示装置１１との距離に基づき当該ユーザＸが表示装置１１を見る視野角を他のコミュニケーション装置１’に送信する。他のコミュニケーション装置１’は、特定のコミュニケーション装置１から送信されたユーザＸの視野角と同じ角度に撮影装置１２’の画角を制御する。
【解決手段】特定のコミュニケーション装置１は、表示装置１１の横幅、及び、ユーザＸと表示装置１１との距離に基づき当該ユーザＸが表示装置１１を見る視野角を他のコミュニケーション装置１’に送信する。他のコミュニケーション装置１’は、特定のコミュニケーション装置１から送信されたユーザＸの視野角と同じ角度に撮影装置１２’の画角を制御する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を介して遠隔地にいる人とのコミュニケーションを行うコミュニケーションシステム、コミュニケーション装置に関する。
【背景技術】
【０００２】
従来、映像を介して行うコミュニケーション方法として、テレビ会議システムやテレビ電話システムなどが知られている。これらのシステムにおいて、第一視聴者（以下、ユーザＸと記す）と第二視聴者（以下、ユーザＹと記す）がコミュニケーションを行うとき、ユーザＸを撮影した映像がユーザＹ側の表示装置に表示され、ユーザＹを撮影した映像がユーザＸ側の表示装置に表示される。
【０００３】
このとき、例えばユーザＸは、表示装置に表示されるコミュニケーション相手のユーザＹを見ながらコミュニケーションを行うが、双方のユーザの表示装置に表示されたユーザの視線がずれると、ユーザはお互いに違和感を持つ。
【０００４】
そこで、違和感を解消する手段として、特許文献１には、表示装置の全面に半透鏡、及び、当該表示装置の左側及び右側に当該半透鏡からの反射光を撮影する撮影装置を備えたテレビ電話装置が開示されている。表示装置の正面にいる被写体に係る入射光は、半透鏡によって半分透過、半分反射され、この反射光は前記２つの撮影装置により撮影される。
そして、２つの撮影装置により撮影された被写体の映像を、画像処理装置によって合成し、正面から見た映像を生成する。このように合成映像を生成することにより違和感が少なくなる。
【０００５】
また、撮影映像の被写体そのものに画像処理を実行することにより通話者同士の視線を一致させて違和感のないコミュニケーションを実現する手法が、例えば、特許文献２に開示されている。特許文献２では、まず、通話前に通話者同士の視線が一致する視線一致画像を撮影して、この画像から通話者Ｘの目周辺の画像を切り取り記憶する。その後、通話が開始されると、通話時に撮影している通話者Ｘの映像から目の位置を検出し、この通話者Ｘの目周辺に前記記憶した通話者Ｘの目周辺の画像（視線一致画像）を合成する。
このようにして、通話者同士の視線一致を実現している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−３０５０４号公報
【特許文献２】特開２００５−１１７１０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示の手法は、半透鏡及び当該半透鏡からの反射光を撮影する撮影装置を表示装置の前面に設ける必要があるので、システムが大型化してしまう。さらに、半透鏡を表示装置の全面に設けているので、当該半透鏡には表示装置の表示映像に加え、撮影装置も表示されてしまうので、ユーザ（被写体）の表示装置に対する視認性が低下してしまう。
【０００８】
また、特許文献２に開示の手法は、視線一致画像を予め記憶部に記憶しておく必要が有るので、通話を行うたびに通話者の視線一致画像を撮影しなければならず、煩雑である。
また、通話相手が二人いる場合には適用することができない。
このように、非言語コミュニケーション、特に視線によるコミュニケーションを正確に行えず伝達できる情報が少なくなってしまう。
【０００９】
本発明は、かかる実情に鑑みてなされたものであり、ネットワークを介して遠隔地にいる人とのコミュニケーションを行う場合、相手が違和感を持つことなくコミュニケーションを行うことができるコミュニケーションシステム、コミュニケーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の技術手段は、ユーザを撮影する撮影装置と、表示装置を備え、当該ユーザの撮影映像データを送受信する２つ以上のコミュニケーション装置が相互にネットワークを介して接続されているコミュニケーションシステムにおいて、前記コミュニケーションシステムの特定のコミュニケーション装置は、前記表示装置の横幅を記憶するメモリと、前記ユーザと前記表示装置との距離を検知する距離検知部と、前記表示装置の横幅、及び、前記ユーザと前記表示装置との距離に基づき当該ユーザが前記表示装置を見る視野角を算出する視野角算出部と、当該算出した視野角を他のコミュニケーション装置に送信する視野角送信部を備え、前記他のコミュニケーション装置は、前記特定のコミュニケーション装置から送信された前記ユーザの視野角と同じ角度に撮影装置の画角を制御する画角制御部を備えることを特徴とするコミュニケーションシステムである。
【００１１】
第２の技術手段は、前記表示装置の横幅を記憶するメモリと、前記ユーザと前記表示装置との距離を検知する距離検知部と、前記表示装置の横幅、及び、前記ユーザと前記表示装置との距離に基づき当該ユーザが前記表示装置を見る視野角を算出する視野角算出部と、当該算出した視野角を前記他のコミュニケーション装置に送信する視野角送信部を備えたことを特徴とする第１の技術手段のコミュニケーションシステムを構成する前記特定のコミュニケーション装置である。
【００１２】
第３の技術手段は、前記特定のコミュニケーション装置から送信されたユーザの視野角と同じ角度に前記撮影装置の画角を制御する画角制御部を備えたことを特徴とする第１の技術手段のコミュニケーションシステムを構成する前記他のコミュニケーション装置である。
【００１３】
第４の技術手段は、第２の技術手段の特定のコミュニケーション装置において、ユーザを撮影する複数の撮影装置と、当該複数の撮影装置が出力する複数の映像データに基づき、前記表示装置における任意の位置から前記ユーザを仮想的に撮影したとみなす前記ユーザの映像データを生成する映像生成部とを備え、前記映像生成部は、当該複数の撮影装置が出力する複数の映像データに基づき、前記ユーザと前記表示装置との距離を検知することを特徴とするものである。
【００１４】
第５の技術手段は、第３の技術手段の他のコミュニケーション装置において、ユーザを撮影する複数の撮影装置と、当該複数の撮影装置が出力する複数の映像データに基づき、前記表示装置における任意の位置から前記ユーザを仮想的に撮影したとみなす前記ユーザの映像データを生成する映像生成部とを備え、前記映像生成部は、前記特定のコミュニケーション装置から送信されたユーザの視野角と同じ角度の撮影画角に対応する映像データを生成することを特徴とするものである。
【発明の効果】
【００１５】
本発明により、ユーザＸが、視線方向などの非言語コミュニケーションを使用したとき、ユーザＹに正確にユーザＸの意図を伝えることができ、違和感を持つことなくコミュニケーションを行うことができる。また、視線や身振り手振りを介して、正確な非言語的コミュニケーションが可能になる。
【図面の簡単な説明】
【００１６】
【図１】コミュニケーション装置の概要を説明する図である。
【図２】ユーザＸのコミュニケーション相手である２人のユーザＹ１、Ｙ２を撮影する画角を説明する図である。
【図３】ユーザＸの視線方向を説明する図である。
【図４】表示装置に表示されるユーザＸの視線方向を説明する図である。
【図５】撮像画角と視野角の一致を説明する第１の図である。
【図６】撮像画角と視野角の一致を説明する第２の図である。
【図７】本発明に係るコミュニケーション装置の機能ブロック図である。
【図８】複数の撮影装置を備えたコミュニケーション装置の概要を説明する図である。
【図９】複数の撮影装置がユーザＸを撮影した状態を説明する図である。
【図１０】撮像画角と視野角の一致を説明する第３の図である。
【図１１】本発明に係るコミュニケーション装置の他の機能ブロック図である。
【発明を実施するための形態】
【００１７】
（実施例１）
本発明に係るコミュニケーション装置の概要について図１〜図６を用いて説明する。
図１は、ユーザＸがユーザＹとコミュニケーションを行う様子を説明する図である。
１は、ユーザＸ側に設けられたコミュニケーション装置の外観を示している。
１１は、ユーザＸのコミュニケーション相手であるユーザＹ等を表示する表示装置で、例えば、動画映像を表示できる液晶ディスプレイやプラズマディスプレイ等から構成される。
【００１８】
１２は、ユーザＸを撮影する撮影装置で、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有する固体撮影デバイスと、レンズ等によって構成される動画映像が撮影できるカメラ等から構成される。撮影装置１２は、表示装置１１の上部中央に設けられ、ユーザＸは撮影装置１２の正面に位置しているとする。撮影されたユーザＸの映像は、ユーザＹ側の表示装置に表示される。
【００１９】
図中の視野角とは、ユーザＸが表示装置１１の右端を見たときの方向Ｄ１と左端を見たときの方向Ｄ２との角度を示す。
【００２０】
なお、ユーザＹも、ユーザＸのコミュニケーション装置１とネットワークを介して接続されている当該装置と同様なコミュニケーション装置を用いて、ユーザＸとコミュニケーションを行う。
【００２１】
図２は、ユーザＸのコミュニケーション相手である２人のユーザＹ１、Ｙ２を撮影画角Ａ、撮影画角Ｂで撮影した様子を示す図である。ここでは、撮影画角Ａ＞撮影画角Ｂであり、ユーザＹ１は、表示装置１１’の上部中央に設けられた撮影装置１２’の正面に位置し、ユーザＹ２は、ユーザＹ１の左横に位置しているものとする。
以下では、例えば、講義や講演など１対複数でコミュニケーションを行う場合を想定して説明する。
【００２２】
図３は、図２で説明した撮影画角Ａ又はＢでユーザＹ１、Ｙ２を撮影した場合に、ユーザＸ側の表示装置１１に表示される２人のユーザＹ１、Ｙ２を示す図で、矢印Ａ１〜Ａ４は、ユーザＸの視線の方向を示す。
【００２３】
撮影装置１２’が撮影画角ＡでユーザＹ１、Ｙ２を撮影すると、図３（Ａ）に示すようにユーザＹ１、Ｙ２が表示装置１１に表示され、撮影画角ＢでユーザＹ１、Ｙ２を撮影すると、図３（Ｂ）に示すようにユーザＹ１、Ｙ２が表示される。
【００２４】
ユーザＸが、表示装置１１に表示される撮影画角Ａで撮影されたユーザＹ１を見ても、撮影画角Ｂで撮影されたユーザＹ１を見ても、図３の矢印Ａ１、Ａ３に示すように、ユーザＹ１は、撮影装置１２’の正面に位置しているので、ユーザＸの視線の方向に違いは生じない。
【００２５】
一方、ユーザＸが表示装置１１に表示されるユーザＹ２を見る場合、撮影画角Ａで撮影された映像では、図３（Ａ）の矢印Ａ２に示すように、ユーザＸの視線の方向は表示装置１１の中央付近やや左よりとなる。また、撮影画角Ｂで撮影された映像では、図３（Ｂ）の矢印Ａ４に示すように、ユーザＸの視線の方向は表示装置１１の左端寄りとなる。
このように、コミュニケーション相手を撮影する画角によって、ユーザＸの視線方向が変化する。
【００２６】
ユーザＸの視線の方向は、ユーザＹ１、Ｙ２側の表示装置１１’に表示される。
図４（Ａ）は、表示装置１１’に表示される、図３（Ａ）に示したユーザＸの視線方向を示し、図４（Ｂ）は、表示装置１１’に表示される、図３（Ｂ）に示したユーザＸの視線方向を示している。
【００２７】
図４（Ａ）の矢印Ａ２に示す、ユーザＸの視線は、ユーザＸがユーザＹ１とユーザＹ２の間を見ているように表示される。
また、図４（Ｂ）の矢印Ａ４に示す、ユーザＸの視線は、ユーザＸがユーザＹ２の右側を見ているように表示される。
【００２８】
このように、双方のユーザを任意に撮影してコミュニケーションを行うと、撮影装置の正面に位置しないユーザを表示装置上で見ながら会話する場合、ユーザの視線方向がずれて、違和感が生じる。同様に、相手ユーザの方向を向いて身振りや手振りを介した非言語コミュニケーションを行う場合も、違和感が生じる。
【００２９】
そこで、ユーザＸの視野角と、ユーザＹ２を撮像する撮像装置１２’の画角を一致させて撮影した場合について、図５、図６により説明する。
【００３０】
図５は、ユーザＸが、表示装置１１上のユーザＹ１、Ｙ２を見ている状態の俯瞰図（ふかん図）を示し、図６は、ユーザＹ１、Ｙ２を撮影装置１２’が撮影している状態の俯瞰図を示している。
【００３１】
図５において、表示装置１１のＹ１の位置にユーザＹ１が表示され、同Ｙ２の位置にユーザＹ２が表示されているものとする。Ｗ１は、表示装置１１の横幅を示し、Ｗ２は、表示装置１１の中央Ｍ１とユーザＹ２が表示される位置との距離を示し、Ｌ１は、ユーザＸと表示装置１１との距離を示している。
【００３２】
θは、表示装置１１の中央Ｍ１とユーザＸとを結ぶ直線と、表示装置１１の左端又は右端とユーザＸとを結ぶ直線との角度を示し、この角度の２倍、つまり、２θがユーザＸの視野角になる。
Ａ５は、ユーザＸが表示装置１１に表示されるユーザＹ１に視線を向けた場合の視線方向を示し、Ａ６は、ユーザＸが同ユーザＹ２に視線を向けた場合の視線方向を示している。
θ１は、ユーザＸがユーザＹ２に視線を向けたときの視角、つまり、視線方向Ａ５、視線方向Ａ６の角度を示す。
【００３３】
図６において、表示装置１１’のＸの位置に、ユーザＸが表示されているものとする。
Ｗ３は、ユーザＹ１等に焦点を合わせたときの撮像装置１２’の撮影範囲、Ｗ４は、ユーザＹ１とユーザＹ２との距離を示し、Ｌ２は、撮影装置１２’と当該撮影装置１２’の正面に位置するユーザＹ１との距離を示し、Ａ７は、図５のＡ５に対応する、表示装置１１’に表示されるユーザＸの視線方向を示し、Ａ８は、図５のＡ６に対応する、同ユーザＸの視線方向を示している。
θ２は、視線方向Ａ７、視線方向Ａ８の角度を示す。
前述のように、撮像装置１２’の画角は、ユーザＸの視野角２θと一致している。
【００３４】
図５、図６において、
撮像装置１２’の画角２θと、ユーザＸの視野角２θとが同じであるので、
Ｗ１：Ｗ３＝Ｌ１：Ｌ２
撮影装置１２’の撮影範囲Ｗ３に対応する映像が、表示装置１１の横幅Ｗ１に対応する表示画面に表示されるので、表示画面に表示されるＹ２の位置は、Ｗ３に対するＷ４の割合と等しくなり、
Ｗ１：Ｗ３＝Ｗ２：Ｗ４
したがって、
Ｗ２：Ｗ４＝Ｌ１：Ｌ２である。
【００３５】
つまり、図５の直角三角形ＰＱＲと、図６の直角三角形Ｘ’ＹＺは相似であり、θ１（直角三角形ＰＱＲの角Ｐ）とθ２（直角三角形Ｘ’ＹＺの角Ｘ’）は等しい。
それ故、ユーザＹ２の映像をユーザＸ側の表示装置１１に表示した場合において、ユーザＸが、表示されたユーザＹ２に視線を向けると、ユーザＹ２側の表示装置１１’に、ユーザＹ２の方向に視線を向けたユーザＸの映像が表示される。
【００３６】
また、例えば、図６のＹ１’、Ｙ２’に示すように、ユーザＹ１、Ｙ２が撮像装置１２’に近づいた場合、ユーザＸ側の表示装置１１には、図５のＹ２’の位置に、ユーザＹ２が表示される。ユーザＸが、図５のＡ９に示すように、撮像装置１２’に近づいたユーザＹ２に視線を向けなおすと、撮像装置１２’の画角と、ユーザＸの視野角が等しいので、図６のＡ１０に示すように、表示装置１１’に、このユーザＹ２の方向に視線を向けなおしたユーザＸの映像が表示される。なお、ユーザＹ２が、左側又は右側に移動した場合、ユーザＸが、このユーザＹ２に視線を向けなおしても、前述と同様に、表示装置１１’に、このユーザＹ２の方向に視線を向けなおしたユーザＸの映像が表示される。
【００３７】
図７は、本発明に係るコミュニケーション装置１、１’の機能ブロック図で、特定のコミュニケーション装置１と他のコミュニケーション装置１’はネットワークＮを介して接続され、コミュニケーションシステムを構成する。なお、２つ以上のコミュニケーション装置が相互にネットワークＮを介して接続されていてもよい。
以下、特定のコミュニケーション装置を、コミュニケーション装置１と記し、他のコミュニケーション装置をコミュニケーション装置１’と記す。
【００３８】
まず、ユーザＸ側のコミュニケーション装置１について説明する。
１１は、表示装置、１２は、表示装置１１の上部中央に設けられた撮影装置、１３は、ユーザの撮影映像データや各種制御データの送受信処理を制御するデータ送受信制御部、１４は、ネットワークＮに対するインターフェイスを提供するネットワークＩ／Ｆである。
【００３９】
２１は、距離検知部で、ユーザＸと表示装置１１との距離Ｌ１を検知する。ユーザＸとの距離を検知する手段として、例えば、専用の距離測定センサを用いてもよいし、撮影装置の焦点距離から算出してもよい。また、撮影装置１２が撮影したユーザＸの映像を解析し前記映像内のユーザＸの大きさなどから算出してもよい。
【００４０】
２２は、視野角算出部で、表示装置１１の横幅、及び、距離検知部２１が検知したユーザＸと表示装置１１との距離に基づき、ユーザＸが表示装置１１を見る視野角を算出する。
以下に、ユーザＸの視野角の算出について説明する。
図５から、θ、Ｌ１、Ｗ１は、
ｔａｎθ＝（Ｗ１÷２）÷Ｌ１
となる。上式を変形すると
θ＝ｔａｎ−１｛（Ｗ１÷２）÷Ｌ１｝
の式を得る。このθを２倍すれば、ユーザＸの視野角を得る。
【００４１】
２３は、視野角算出部２２が算出した視野角を他のコミュニケーション装置１’に送信する視野角送信部である。
【００４２】
２４は、表示装置１１の横幅情報、各種制御情報を記憶するメモリ、２５は、各機能ブロックを制御する制御部である。
【００４３】
次に、ユーザＹ１側のコミュニケーション装置１’について説明する。
１１’は、表示装置、１２’は、表示装置１１’の上部中央に設けられた撮影装置、１３’は、コミュニケーション装置１が送信したユーザＸの視野角を受信する処理や、ユーザの撮影映像データや各種制御データの送受信処理を制御するデータ送受信制御部、１４’は、ネットワークＩ／Ｆである。
【００４４】
３１は、撮影装置１２’の画角を制御する画角制御部で、コミュニケーション装置１が送信したユーザＸの視野角を、データ送受信制御部１３’を介して受信し、当該視野角と同じ角度に撮影装置１２’の画角を制御する。
３２は、各種制御情報を記憶するメモリ、３３は、各機能ブロックを制御する制御部である。
【００４５】
なお、マイク、スピーカなどの音声機器については、図示を省略する。
【００４６】
以上説明したように、ユーザＸの視野角と同じ角度に撮影装置１２’の画角を制御し、撮影装置１２’が撮影したユーザＹ１、Ｙ２の映像をユーザＸ側の表示装置１１に表示した場合において、ユーザＸが表示装置１１のユーザＹ２に例えば視線を向けると、ユーザＹ１側の表示装置１１’に、ユーザＹ２の方向に視線を向けたユーザＸの映像が表示される。つまり、ユーザＸの視線や向いている方向を、ユーザＹ１、Ｙ２に正しく伝えることができるので、非言語、特に視線によるコミュニケーションが円滑になる。
【００４７】
（実施例２）
実施例１では、１つの撮影装置を備えたコミュニケーション装置について説明したが、実施例２では、複数の撮影装置を用いて撮影した映像データを合成することで、撮影装置が存在しない場所（仮想視点）から見た被写体の映像データを生成できる仮想視点映像生成部を備えたコミュニケーション装置について説明する。
【００４８】
図８は、複数の撮影装置を備えたコミュニケーション装置２を示す図で、表示装置１１の左枠中央部、上枠中央部、右枠中央部にそれぞれ撮影装置１２１、１２２、１２３が設けられている。
図９（Ａ）〜図９（Ｃ）は、撮影装置１２１、１２２、１２３がユーザＸを撮影した場合の映像を示す図である。
【００４９】
前記仮想視点映像生成部は、図９に示した映像に対してアフィン変換処理や射影変換処理を実行し、得られた映像を重ね合わせて、撮影装置が存在しない任意の視点位置からユーザＸを撮影したものとする映像を生成する。以後、任意の視点位置に仮想的に配置された撮影装置を仮想撮影装置と記す。ここでは、ユーザＸを表示装置１１の真正面方向から撮影するために、表示装置１１の中央部に図８に示す仮想撮影装置１２４を配置するものとする。
なお、この仮想視点映像生成方法については、特開２００６−１２６９６５号公報などに開示されている。
【００５０】
また、ユーザＸのコミュニケーション相手であるユーザＹのコミュニケーション装置、つまり、画角制御対象となるコミュニケーション装置にも、複数の撮影装置、及び、仮想視点映像生成部を設ける。
【００５１】
図１０は、ユーザＹ１、Ｙ２と複数の撮影装置１２１’、１２２’、１２３’が設けられた表示装置１１’を示した図である。
【００５２】
図１０に示すように、θ３に画角を設定した撮影装置１２１’、１２２’、１２３’からの映像データに基づき仮想撮影装置１２４’からユーザＹ１等を仮想的に撮影したとみなす映像を生成する。このとき、仮想撮影装置１２４’の画角を実施例１と同様に、ユーザＹ１のコミュニケーション相手であるユーザＸの視野角と同じ角度に制御する。
【００５３】
図１１は、複数の撮影装置、及び、仮想視点映像生成部を設けたコミュニケーション装置２、２’の機能ブロック図であり、図７の機能ブロックと同じ機能を備えた機能ブロックについては同じ符号を付してその説明を省略する。
【００５４】
特定のコミュニケーション装置２は、前述のように、複数の撮影装置１２１〜１２３を備えている。仮想視点映像生成部２６は、複数の撮影装置１２１〜１２３からの映像に対してアフィン変換処理や射影変換処理を実行し、得られた映像を重ね合わせて、仮想撮影装置１２４からユーザＸを撮影したものとする映像を生成する。
【００５５】
複数の撮影装置１２１〜１２３を設けることにより、当該撮影装置からの映像に基づきユーザＸの距離を検知することができる。図９に示したように、異なる位置から同一の被写体を撮影した場合、撮影された被写体の画角内位置が異なっている。この位置の異なりを利用してユーザＸと表示装置１１との距離を算出する。例えば、図９（Ａ）、（Ｂ）の映像に基づき、ユーザＸが何画素異なった位置に撮影されているかを算出する。この値に加え、撮影装置の画角、撮影装置間の距離などの既知の撮影装置に係る情報に基づき、ユーザＸと表示装置１１との距離を算出できる。
【００５６】
このように、複数の撮影装置の視差を利用して距離情報を算出し、視野角を求めると、特別な距離測定センサなどを配置せずに済むので、システムの小型化、低価格化が可能となり好適である。さらに、この方法で得られた距離情報を仮想視点映像生成部２６で使用することで、より精度の高い仮想映像を生成することができる。
【００５７】
他のコミュニケーション装置２’は、コミュニケーション装置２と同じく、複数の撮影装置１２１’〜１２３’を備えている。仮想視点映像生成部３４は、複数の撮影装置１２１’〜１２３’からの映像に基づき、仮想撮影装置１２４’がユーザＹ１等を撮影したものとする映像を生成する。
画角制御部３１は、仮想撮影装置１２４’の画角を、ユーザＹ１のコミュニケーション相手であるユーザＸの視野角と同じ角度に制御する。具体的には、仮想視点映像生成部３４は、ユーザＸの視野角と同じ角度の撮影画角に対応する映像データを生成する。
【００５８】
以上の実施例では、横方向への角度（広がり角）を説明してきたが、縦方向への角度にも本発明を適用することができる。この場合、表示装置の縦幅をメモリに記憶する。
このようにすることで、ユーザが上下方向に視線を動かしても、前述のように、ユーザの視線方向をコミュニケーション相手に正確に伝えることができ、自然で効果的なコミュニケーションが可能である。
【００５９】
以上に説明したように、本発明によれば、ユーザの向いている方向や視線を、コミュニケーション相手に正しく伝えることができるので、自然なコミュニケーションが可能である。また、視線や身振り手振りを介した非言語コミュニケーションを正確に行えるので、コミュニケーション相手に多くの情報を伝達することができる。
【符号の説明】
【００６０】
１，２…特定のコミュニケーション装置、１’，２’…他のコミュニケーション装置、１１，１１’…表示装置、１２，１２’ ，１２１〜１２３，１２１’〜１２３’…撮影装置、１２４，１２４’…仮想撮影装置、１３，１３’…データ送受信制御部、１４，１４’…ネットワークＩ／Ｆ、２１…距離検知部、２２…視野角算出部、２３…視野角送信部、２４，３２…メモリ、２５，３３…制御部、２６，３４…仮想視点映像生成部、３１…画角制御部。
【技術分野】
【０００１】
本発明は、映像を介して遠隔地にいる人とのコミュニケーションを行うコミュニケーションシステム、コミュニケーション装置に関する。
【背景技術】
【０００２】
従来、映像を介して行うコミュニケーション方法として、テレビ会議システムやテレビ電話システムなどが知られている。これらのシステムにおいて、第一視聴者（以下、ユーザＸと記す）と第二視聴者（以下、ユーザＹと記す）がコミュニケーションを行うとき、ユーザＸを撮影した映像がユーザＹ側の表示装置に表示され、ユーザＹを撮影した映像がユーザＸ側の表示装置に表示される。
【０００３】
このとき、例えばユーザＸは、表示装置に表示されるコミュニケーション相手のユーザＹを見ながらコミュニケーションを行うが、双方のユーザの表示装置に表示されたユーザの視線がずれると、ユーザはお互いに違和感を持つ。
【０００４】
そこで、違和感を解消する手段として、特許文献１には、表示装置の全面に半透鏡、及び、当該表示装置の左側及び右側に当該半透鏡からの反射光を撮影する撮影装置を備えたテレビ電話装置が開示されている。表示装置の正面にいる被写体に係る入射光は、半透鏡によって半分透過、半分反射され、この反射光は前記２つの撮影装置により撮影される。
そして、２つの撮影装置により撮影された被写体の映像を、画像処理装置によって合成し、正面から見た映像を生成する。このように合成映像を生成することにより違和感が少なくなる。
【０００５】
また、撮影映像の被写体そのものに画像処理を実行することにより通話者同士の視線を一致させて違和感のないコミュニケーションを実現する手法が、例えば、特許文献２に開示されている。特許文献２では、まず、通話前に通話者同士の視線が一致する視線一致画像を撮影して、この画像から通話者Ｘの目周辺の画像を切り取り記憶する。その後、通話が開始されると、通話時に撮影している通話者Ｘの映像から目の位置を検出し、この通話者Ｘの目周辺に前記記憶した通話者Ｘの目周辺の画像（視線一致画像）を合成する。
このようにして、通話者同士の視線一致を実現している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平５−３０５０４号公報
【特許文献２】特開２００５−１１７１０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１に開示の手法は、半透鏡及び当該半透鏡からの反射光を撮影する撮影装置を表示装置の前面に設ける必要があるので、システムが大型化してしまう。さらに、半透鏡を表示装置の全面に設けているので、当該半透鏡には表示装置の表示映像に加え、撮影装置も表示されてしまうので、ユーザ（被写体）の表示装置に対する視認性が低下してしまう。
【０００８】
また、特許文献２に開示の手法は、視線一致画像を予め記憶部に記憶しておく必要が有るので、通話を行うたびに通話者の視線一致画像を撮影しなければならず、煩雑である。
また、通話相手が二人いる場合には適用することができない。
このように、非言語コミュニケーション、特に視線によるコミュニケーションを正確に行えず伝達できる情報が少なくなってしまう。
【０００９】
本発明は、かかる実情に鑑みてなされたものであり、ネットワークを介して遠隔地にいる人とのコミュニケーションを行う場合、相手が違和感を持つことなくコミュニケーションを行うことができるコミュニケーションシステム、コミュニケーション装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
第１の技術手段は、ユーザを撮影する撮影装置と、表示装置を備え、当該ユーザの撮影映像データを送受信する２つ以上のコミュニケーション装置が相互にネットワークを介して接続されているコミュニケーションシステムにおいて、前記コミュニケーションシステムの特定のコミュニケーション装置は、前記表示装置の横幅を記憶するメモリと、前記ユーザと前記表示装置との距離を検知する距離検知部と、前記表示装置の横幅、及び、前記ユーザと前記表示装置との距離に基づき当該ユーザが前記表示装置を見る視野角を算出する視野角算出部と、当該算出した視野角を他のコミュニケーション装置に送信する視野角送信部を備え、前記他のコミュニケーション装置は、前記特定のコミュニケーション装置から送信された前記ユーザの視野角と同じ角度に撮影装置の画角を制御する画角制御部を備えることを特徴とするコミュニケーションシステムである。
【００１１】
第２の技術手段は、前記表示装置の横幅を記憶するメモリと、前記ユーザと前記表示装置との距離を検知する距離検知部と、前記表示装置の横幅、及び、前記ユーザと前記表示装置との距離に基づき当該ユーザが前記表示装置を見る視野角を算出する視野角算出部と、当該算出した視野角を前記他のコミュニケーション装置に送信する視野角送信部を備えたことを特徴とする第１の技術手段のコミュニケーションシステムを構成する前記特定のコミュニケーション装置である。
【００１２】
第３の技術手段は、前記特定のコミュニケーション装置から送信されたユーザの視野角と同じ角度に前記撮影装置の画角を制御する画角制御部を備えたことを特徴とする第１の技術手段のコミュニケーションシステムを構成する前記他のコミュニケーション装置である。
【００１３】
第４の技術手段は、第２の技術手段の特定のコミュニケーション装置において、ユーザを撮影する複数の撮影装置と、当該複数の撮影装置が出力する複数の映像データに基づき、前記表示装置における任意の位置から前記ユーザを仮想的に撮影したとみなす前記ユーザの映像データを生成する映像生成部とを備え、前記映像生成部は、当該複数の撮影装置が出力する複数の映像データに基づき、前記ユーザと前記表示装置との距離を検知することを特徴とするものである。
【００１４】
第５の技術手段は、第３の技術手段の他のコミュニケーション装置において、ユーザを撮影する複数の撮影装置と、当該複数の撮影装置が出力する複数の映像データに基づき、前記表示装置における任意の位置から前記ユーザを仮想的に撮影したとみなす前記ユーザの映像データを生成する映像生成部とを備え、前記映像生成部は、前記特定のコミュニケーション装置から送信されたユーザの視野角と同じ角度の撮影画角に対応する映像データを生成することを特徴とするものである。
【発明の効果】
【００１５】
本発明により、ユーザＸが、視線方向などの非言語コミュニケーションを使用したとき、ユーザＹに正確にユーザＸの意図を伝えることができ、違和感を持つことなくコミュニケーションを行うことができる。また、視線や身振り手振りを介して、正確な非言語的コミュニケーションが可能になる。
【図面の簡単な説明】
【００１６】
【図１】コミュニケーション装置の概要を説明する図である。
【図２】ユーザＸのコミュニケーション相手である２人のユーザＹ１、Ｙ２を撮影する画角を説明する図である。
【図３】ユーザＸの視線方向を説明する図である。
【図４】表示装置に表示されるユーザＸの視線方向を説明する図である。
【図５】撮像画角と視野角の一致を説明する第１の図である。
【図６】撮像画角と視野角の一致を説明する第２の図である。
【図７】本発明に係るコミュニケーション装置の機能ブロック図である。
【図８】複数の撮影装置を備えたコミュニケーション装置の概要を説明する図である。
【図９】複数の撮影装置がユーザＸを撮影した状態を説明する図である。
【図１０】撮像画角と視野角の一致を説明する第３の図である。
【図１１】本発明に係るコミュニケーション装置の他の機能ブロック図である。
【発明を実施するための形態】
【００１７】
（実施例１）
本発明に係るコミュニケーション装置の概要について図１〜図６を用いて説明する。
図１は、ユーザＸがユーザＹとコミュニケーションを行う様子を説明する図である。
１は、ユーザＸ側に設けられたコミュニケーション装置の外観を示している。
１１は、ユーザＸのコミュニケーション相手であるユーザＹ等を表示する表示装置で、例えば、動画映像を表示できる液晶ディスプレイやプラズマディスプレイ等から構成される。
【００１８】
１２は、ユーザＸを撮影する撮影装置で、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を有する固体撮影デバイスと、レンズ等によって構成される動画映像が撮影できるカメラ等から構成される。撮影装置１２は、表示装置１１の上部中央に設けられ、ユーザＸは撮影装置１２の正面に位置しているとする。撮影されたユーザＸの映像は、ユーザＹ側の表示装置に表示される。
【００１９】
図中の視野角とは、ユーザＸが表示装置１１の右端を見たときの方向Ｄ１と左端を見たときの方向Ｄ２との角度を示す。
【００２０】
なお、ユーザＹも、ユーザＸのコミュニケーション装置１とネットワークを介して接続されている当該装置と同様なコミュニケーション装置を用いて、ユーザＸとコミュニケーションを行う。
【００２１】
図２は、ユーザＸのコミュニケーション相手である２人のユーザＹ１、Ｙ２を撮影画角Ａ、撮影画角Ｂで撮影した様子を示す図である。ここでは、撮影画角Ａ＞撮影画角Ｂであり、ユーザＹ１は、表示装置１１’の上部中央に設けられた撮影装置１２’の正面に位置し、ユーザＹ２は、ユーザＹ１の左横に位置しているものとする。
以下では、例えば、講義や講演など１対複数でコミュニケーションを行う場合を想定して説明する。
【００２２】
図３は、図２で説明した撮影画角Ａ又はＢでユーザＹ１、Ｙ２を撮影した場合に、ユーザＸ側の表示装置１１に表示される２人のユーザＹ１、Ｙ２を示す図で、矢印Ａ１〜Ａ４は、ユーザＸの視線の方向を示す。
【００２３】
撮影装置１２’が撮影画角ＡでユーザＹ１、Ｙ２を撮影すると、図３（Ａ）に示すようにユーザＹ１、Ｙ２が表示装置１１に表示され、撮影画角ＢでユーザＹ１、Ｙ２を撮影すると、図３（Ｂ）に示すようにユーザＹ１、Ｙ２が表示される。
【００２４】
ユーザＸが、表示装置１１に表示される撮影画角Ａで撮影されたユーザＹ１を見ても、撮影画角Ｂで撮影されたユーザＹ１を見ても、図３の矢印Ａ１、Ａ３に示すように、ユーザＹ１は、撮影装置１２’の正面に位置しているので、ユーザＸの視線の方向に違いは生じない。
【００２５】
一方、ユーザＸが表示装置１１に表示されるユーザＹ２を見る場合、撮影画角Ａで撮影された映像では、図３（Ａ）の矢印Ａ２に示すように、ユーザＸの視線の方向は表示装置１１の中央付近やや左よりとなる。また、撮影画角Ｂで撮影された映像では、図３（Ｂ）の矢印Ａ４に示すように、ユーザＸの視線の方向は表示装置１１の左端寄りとなる。
このように、コミュニケーション相手を撮影する画角によって、ユーザＸの視線方向が変化する。
【００２６】
ユーザＸの視線の方向は、ユーザＹ１、Ｙ２側の表示装置１１’に表示される。
図４（Ａ）は、表示装置１１’に表示される、図３（Ａ）に示したユーザＸの視線方向を示し、図４（Ｂ）は、表示装置１１’に表示される、図３（Ｂ）に示したユーザＸの視線方向を示している。
【００２７】
図４（Ａ）の矢印Ａ２に示す、ユーザＸの視線は、ユーザＸがユーザＹ１とユーザＹ２の間を見ているように表示される。
また、図４（Ｂ）の矢印Ａ４に示す、ユーザＸの視線は、ユーザＸがユーザＹ２の右側を見ているように表示される。
【００２８】
このように、双方のユーザを任意に撮影してコミュニケーションを行うと、撮影装置の正面に位置しないユーザを表示装置上で見ながら会話する場合、ユーザの視線方向がずれて、違和感が生じる。同様に、相手ユーザの方向を向いて身振りや手振りを介した非言語コミュニケーションを行う場合も、違和感が生じる。
【００２９】
そこで、ユーザＸの視野角と、ユーザＹ２を撮像する撮像装置１２’の画角を一致させて撮影した場合について、図５、図６により説明する。
【００３０】
図５は、ユーザＸが、表示装置１１上のユーザＹ１、Ｙ２を見ている状態の俯瞰図（ふかん図）を示し、図６は、ユーザＹ１、Ｙ２を撮影装置１２’が撮影している状態の俯瞰図を示している。
【００３１】
図５において、表示装置１１のＹ１の位置にユーザＹ１が表示され、同Ｙ２の位置にユーザＹ２が表示されているものとする。Ｗ１は、表示装置１１の横幅を示し、Ｗ２は、表示装置１１の中央Ｍ１とユーザＹ２が表示される位置との距離を示し、Ｌ１は、ユーザＸと表示装置１１との距離を示している。
【００３２】
θは、表示装置１１の中央Ｍ１とユーザＸとを結ぶ直線と、表示装置１１の左端又は右端とユーザＸとを結ぶ直線との角度を示し、この角度の２倍、つまり、２θがユーザＸの視野角になる。
Ａ５は、ユーザＸが表示装置１１に表示されるユーザＹ１に視線を向けた場合の視線方向を示し、Ａ６は、ユーザＸが同ユーザＹ２に視線を向けた場合の視線方向を示している。
θ１は、ユーザＸがユーザＹ２に視線を向けたときの視角、つまり、視線方向Ａ５、視線方向Ａ６の角度を示す。
【００３３】
図６において、表示装置１１’のＸの位置に、ユーザＸが表示されているものとする。
Ｗ３は、ユーザＹ１等に焦点を合わせたときの撮像装置１２’の撮影範囲、Ｗ４は、ユーザＹ１とユーザＹ２との距離を示し、Ｌ２は、撮影装置１２’と当該撮影装置１２’の正面に位置するユーザＹ１との距離を示し、Ａ７は、図５のＡ５に対応する、表示装置１１’に表示されるユーザＸの視線方向を示し、Ａ８は、図５のＡ６に対応する、同ユーザＸの視線方向を示している。
θ２は、視線方向Ａ７、視線方向Ａ８の角度を示す。
前述のように、撮像装置１２’の画角は、ユーザＸの視野角２θと一致している。
【００３４】
図５、図６において、
撮像装置１２’の画角２θと、ユーザＸの視野角２θとが同じであるので、
Ｗ１：Ｗ３＝Ｌ１：Ｌ２
撮影装置１２’の撮影範囲Ｗ３に対応する映像が、表示装置１１の横幅Ｗ１に対応する表示画面に表示されるので、表示画面に表示されるＹ２の位置は、Ｗ３に対するＷ４の割合と等しくなり、
Ｗ１：Ｗ３＝Ｗ２：Ｗ４
したがって、
Ｗ２：Ｗ４＝Ｌ１：Ｌ２である。
【００３５】
つまり、図５の直角三角形ＰＱＲと、図６の直角三角形Ｘ’ＹＺは相似であり、θ１（直角三角形ＰＱＲの角Ｐ）とθ２（直角三角形Ｘ’ＹＺの角Ｘ’）は等しい。
それ故、ユーザＹ２の映像をユーザＸ側の表示装置１１に表示した場合において、ユーザＸが、表示されたユーザＹ２に視線を向けると、ユーザＹ２側の表示装置１１’に、ユーザＹ２の方向に視線を向けたユーザＸの映像が表示される。
【００３６】
また、例えば、図６のＹ１’、Ｙ２’に示すように、ユーザＹ１、Ｙ２が撮像装置１２’に近づいた場合、ユーザＸ側の表示装置１１には、図５のＹ２’の位置に、ユーザＹ２が表示される。ユーザＸが、図５のＡ９に示すように、撮像装置１２’に近づいたユーザＹ２に視線を向けなおすと、撮像装置１２’の画角と、ユーザＸの視野角が等しいので、図６のＡ１０に示すように、表示装置１１’に、このユーザＹ２の方向に視線を向けなおしたユーザＸの映像が表示される。なお、ユーザＹ２が、左側又は右側に移動した場合、ユーザＸが、このユーザＹ２に視線を向けなおしても、前述と同様に、表示装置１１’に、このユーザＹ２の方向に視線を向けなおしたユーザＸの映像が表示される。
【００３７】
図７は、本発明に係るコミュニケーション装置１、１’の機能ブロック図で、特定のコミュニケーション装置１と他のコミュニケーション装置１’はネットワークＮを介して接続され、コミュニケーションシステムを構成する。なお、２つ以上のコミュニケーション装置が相互にネットワークＮを介して接続されていてもよい。
以下、特定のコミュニケーション装置を、コミュニケーション装置１と記し、他のコミュニケーション装置をコミュニケーション装置１’と記す。
【００３８】
まず、ユーザＸ側のコミュニケーション装置１について説明する。
１１は、表示装置、１２は、表示装置１１の上部中央に設けられた撮影装置、１３は、ユーザの撮影映像データや各種制御データの送受信処理を制御するデータ送受信制御部、１４は、ネットワークＮに対するインターフェイスを提供するネットワークＩ／Ｆである。
【００３９】
２１は、距離検知部で、ユーザＸと表示装置１１との距離Ｌ１を検知する。ユーザＸとの距離を検知する手段として、例えば、専用の距離測定センサを用いてもよいし、撮影装置の焦点距離から算出してもよい。また、撮影装置１２が撮影したユーザＸの映像を解析し前記映像内のユーザＸの大きさなどから算出してもよい。
【００４０】
２２は、視野角算出部で、表示装置１１の横幅、及び、距離検知部２１が検知したユーザＸと表示装置１１との距離に基づき、ユーザＸが表示装置１１を見る視野角を算出する。
以下に、ユーザＸの視野角の算出について説明する。
図５から、θ、Ｌ１、Ｗ１は、
ｔａｎθ＝（Ｗ１÷２）÷Ｌ１
となる。上式を変形すると
θ＝ｔａｎ−１｛（Ｗ１÷２）÷Ｌ１｝
の式を得る。このθを２倍すれば、ユーザＸの視野角を得る。
【００４１】
２３は、視野角算出部２２が算出した視野角を他のコミュニケーション装置１’に送信する視野角送信部である。
【００４２】
２４は、表示装置１１の横幅情報、各種制御情報を記憶するメモリ、２５は、各機能ブロックを制御する制御部である。
【００４３】
次に、ユーザＹ１側のコミュニケーション装置１’について説明する。
１１’は、表示装置、１２’は、表示装置１１’の上部中央に設けられた撮影装置、１３’は、コミュニケーション装置１が送信したユーザＸの視野角を受信する処理や、ユーザの撮影映像データや各種制御データの送受信処理を制御するデータ送受信制御部、１４’は、ネットワークＩ／Ｆである。
【００４４】
３１は、撮影装置１２’の画角を制御する画角制御部で、コミュニケーション装置１が送信したユーザＸの視野角を、データ送受信制御部１３’を介して受信し、当該視野角と同じ角度に撮影装置１２’の画角を制御する。
３２は、各種制御情報を記憶するメモリ、３３は、各機能ブロックを制御する制御部である。
【００４５】
なお、マイク、スピーカなどの音声機器については、図示を省略する。
【００４６】
以上説明したように、ユーザＸの視野角と同じ角度に撮影装置１２’の画角を制御し、撮影装置１２’が撮影したユーザＹ１、Ｙ２の映像をユーザＸ側の表示装置１１に表示した場合において、ユーザＸが表示装置１１のユーザＹ２に例えば視線を向けると、ユーザＹ１側の表示装置１１’に、ユーザＹ２の方向に視線を向けたユーザＸの映像が表示される。つまり、ユーザＸの視線や向いている方向を、ユーザＹ１、Ｙ２に正しく伝えることができるので、非言語、特に視線によるコミュニケーションが円滑になる。
【００４７】
（実施例２）
実施例１では、１つの撮影装置を備えたコミュニケーション装置について説明したが、実施例２では、複数の撮影装置を用いて撮影した映像データを合成することで、撮影装置が存在しない場所（仮想視点）から見た被写体の映像データを生成できる仮想視点映像生成部を備えたコミュニケーション装置について説明する。
【００４８】
図８は、複数の撮影装置を備えたコミュニケーション装置２を示す図で、表示装置１１の左枠中央部、上枠中央部、右枠中央部にそれぞれ撮影装置１２１、１２２、１２３が設けられている。
図９（Ａ）〜図９（Ｃ）は、撮影装置１２１、１２２、１２３がユーザＸを撮影した場合の映像を示す図である。
【００４９】
前記仮想視点映像生成部は、図９に示した映像に対してアフィン変換処理や射影変換処理を実行し、得られた映像を重ね合わせて、撮影装置が存在しない任意の視点位置からユーザＸを撮影したものとする映像を生成する。以後、任意の視点位置に仮想的に配置された撮影装置を仮想撮影装置と記す。ここでは、ユーザＸを表示装置１１の真正面方向から撮影するために、表示装置１１の中央部に図８に示す仮想撮影装置１２４を配置するものとする。
なお、この仮想視点映像生成方法については、特開２００６−１２６９６５号公報などに開示されている。
【００５０】
また、ユーザＸのコミュニケーション相手であるユーザＹのコミュニケーション装置、つまり、画角制御対象となるコミュニケーション装置にも、複数の撮影装置、及び、仮想視点映像生成部を設ける。
【００５１】
図１０は、ユーザＹ１、Ｙ２と複数の撮影装置１２１’、１２２’、１２３’が設けられた表示装置１１’を示した図である。
【００５２】
図１０に示すように、θ３に画角を設定した撮影装置１２１’、１２２’、１２３’からの映像データに基づき仮想撮影装置１２４’からユーザＹ１等を仮想的に撮影したとみなす映像を生成する。このとき、仮想撮影装置１２４’の画角を実施例１と同様に、ユーザＹ１のコミュニケーション相手であるユーザＸの視野角と同じ角度に制御する。
【００５３】
図１１は、複数の撮影装置、及び、仮想視点映像生成部を設けたコミュニケーション装置２、２’の機能ブロック図であり、図７の機能ブロックと同じ機能を備えた機能ブロックについては同じ符号を付してその説明を省略する。
【００５４】
特定のコミュニケーション装置２は、前述のように、複数の撮影装置１２１〜１２３を備えている。仮想視点映像生成部２６は、複数の撮影装置１２１〜１２３からの映像に対してアフィン変換処理や射影変換処理を実行し、得られた映像を重ね合わせて、仮想撮影装置１２４からユーザＸを撮影したものとする映像を生成する。
【００５５】
複数の撮影装置１２１〜１２３を設けることにより、当該撮影装置からの映像に基づきユーザＸの距離を検知することができる。図９に示したように、異なる位置から同一の被写体を撮影した場合、撮影された被写体の画角内位置が異なっている。この位置の異なりを利用してユーザＸと表示装置１１との距離を算出する。例えば、図９（Ａ）、（Ｂ）の映像に基づき、ユーザＸが何画素異なった位置に撮影されているかを算出する。この値に加え、撮影装置の画角、撮影装置間の距離などの既知の撮影装置に係る情報に基づき、ユーザＸと表示装置１１との距離を算出できる。
【００５６】
このように、複数の撮影装置の視差を利用して距離情報を算出し、視野角を求めると、特別な距離測定センサなどを配置せずに済むので、システムの小型化、低価格化が可能となり好適である。さらに、この方法で得られた距離情報を仮想視点映像生成部２６で使用することで、より精度の高い仮想映像を生成することができる。
【００５７】
他のコミュニケーション装置２’は、コミュニケーション装置２と同じく、複数の撮影装置１２１’〜１２３’を備えている。仮想視点映像生成部３４は、複数の撮影装置１２１’〜１２３’からの映像に基づき、仮想撮影装置１２４’がユーザＹ１等を撮影したものとする映像を生成する。
画角制御部３１は、仮想撮影装置１２４’の画角を、ユーザＹ１のコミュニケーション相手であるユーザＸの視野角と同じ角度に制御する。具体的には、仮想視点映像生成部３４は、ユーザＸの視野角と同じ角度の撮影画角に対応する映像データを生成する。
【００５８】
以上の実施例では、横方向への角度（広がり角）を説明してきたが、縦方向への角度にも本発明を適用することができる。この場合、表示装置の縦幅をメモリに記憶する。
このようにすることで、ユーザが上下方向に視線を動かしても、前述のように、ユーザの視線方向をコミュニケーション相手に正確に伝えることができ、自然で効果的なコミュニケーションが可能である。
【００５９】
以上に説明したように、本発明によれば、ユーザの向いている方向や視線を、コミュニケーション相手に正しく伝えることができるので、自然なコミュニケーションが可能である。また、視線や身振り手振りを介した非言語コミュニケーションを正確に行えるので、コミュニケーション相手に多くの情報を伝達することができる。
【符号の説明】
【００６０】
１，２…特定のコミュニケーション装置、１’，２’…他のコミュニケーション装置、１１，１１’…表示装置、１２，１２’ ，１２１〜１２３，１２１’〜１２３’…撮影装置、１２４，１２４’…仮想撮影装置、１３，１３’…データ送受信制御部、１４，１４’…ネットワークＩ／Ｆ、２１…距離検知部、２２…視野角算出部、２３…視野角送信部、２４，３２…メモリ、２５，３３…制御部、２６，３４…仮想視点映像生成部、３１…画角制御部。
【特許請求の範囲】
【請求項１】
ユーザを撮影する撮影装置と、表示装置を備え、当該ユーザの撮影映像データを送受信する２つ以上のコミュニケーション装置が相互にネットワークを介して接続されているコミュニケーションシステムにおいて、
前記コミュニケーションシステムの特定のコミュニケーション装置は、前記表示装置の横幅を記憶するメモリと、前記ユーザと前記表示装置との距離を検知する距離検知部と、前記表示装置の横幅、及び、前記ユーザと前記表示装置との距離に基づき当該ユーザが前記表示装置を見る視野角を算出する視野角算出部と、当該算出した視野角を他のコミュニケーション装置に送信する視野角送信部を備え、
前記他のコミュニケーション装置は、前記特定のコミュニケーション装置から送信された前記ユーザの視野角と同じ角度に撮影装置の画角を制御する画角制御部を備えることを特徴とするコミュニケーションシステム。
【請求項２】
前記表示装置の横幅を記憶するメモリと、
前記ユーザと前記表示装置との距離を検知する距離検知部と、
前記表示装置の横幅、及び、前記ユーザと前記表示装置との距離に基づき当該ユーザが前記表示装置を見る視野角を算出する視野角算出部と、
当該算出した視野角を前記他のコミュニケーション装置に送信する視野角送信部を備えたことを特徴とする請求項１に記載のコミュニケーションシステムを構成する前記特定のコミュニケーション装置。
【請求項３】
前記特定のコミュニケーション装置から送信されたユーザの視野角と同じ角度に前記撮影装置の画角を制御する画角制御部を備えたことを特徴とする請求項１に記載のコミュニケーションシステムを構成する前記他のコミュニケーション装置。
【請求項４】
ユーザを撮影する複数の撮影装置と、
当該複数の撮影装置が出力する複数の映像データに基づき、前記表示装置における任意の位置から前記ユーザを仮想的に撮影したとみなす前記ユーザの映像データを生成する映像生成部とを備え、
前記映像生成部は、当該複数の撮影装置が出力する複数の映像データに基づき、前記ユーザと前記表示装置との距離を検知することを特徴とする請求項２に記載の特定のコミュニケーション装置。
【請求項５】
ユーザを撮影する複数の撮影装置と、
当該複数の撮影装置が出力する複数の映像データに基づき、前記表示装置における任意の位置から前記ユーザを仮想的に撮影したとみなす前記ユーザの映像データを生成する映像生成部とを備え、
前記映像生成部は、前記特定のコミュニケーション装置から送信されたユーザの視野角と同じ角度の撮影画角に対応する映像データを生成することを特徴とする請求項３に記載の他のコミュニケーション装置。
【請求項１】
ユーザを撮影する撮影装置と、表示装置を備え、当該ユーザの撮影映像データを送受信する２つ以上のコミュニケーション装置が相互にネットワークを介して接続されているコミュニケーションシステムにおいて、
前記コミュニケーションシステムの特定のコミュニケーション装置は、前記表示装置の横幅を記憶するメモリと、前記ユーザと前記表示装置との距離を検知する距離検知部と、前記表示装置の横幅、及び、前記ユーザと前記表示装置との距離に基づき当該ユーザが前記表示装置を見る視野角を算出する視野角算出部と、当該算出した視野角を他のコミュニケーション装置に送信する視野角送信部を備え、
前記他のコミュニケーション装置は、前記特定のコミュニケーション装置から送信された前記ユーザの視野角と同じ角度に撮影装置の画角を制御する画角制御部を備えることを特徴とするコミュニケーションシステム。
【請求項２】
前記表示装置の横幅を記憶するメモリと、
前記ユーザと前記表示装置との距離を検知する距離検知部と、
前記表示装置の横幅、及び、前記ユーザと前記表示装置との距離に基づき当該ユーザが前記表示装置を見る視野角を算出する視野角算出部と、
当該算出した視野角を前記他のコミュニケーション装置に送信する視野角送信部を備えたことを特徴とする請求項１に記載のコミュニケーションシステムを構成する前記特定のコミュニケーション装置。
【請求項３】
前記特定のコミュニケーション装置から送信されたユーザの視野角と同じ角度に前記撮影装置の画角を制御する画角制御部を備えたことを特徴とする請求項１に記載のコミュニケーションシステムを構成する前記他のコミュニケーション装置。
【請求項４】
ユーザを撮影する複数の撮影装置と、
当該複数の撮影装置が出力する複数の映像データに基づき、前記表示装置における任意の位置から前記ユーザを仮想的に撮影したとみなす前記ユーザの映像データを生成する映像生成部とを備え、
前記映像生成部は、当該複数の撮影装置が出力する複数の映像データに基づき、前記ユーザと前記表示装置との距離を検知することを特徴とする請求項２に記載の特定のコミュニケーション装置。
【請求項５】
ユーザを撮影する複数の撮影装置と、
当該複数の撮影装置が出力する複数の映像データに基づき、前記表示装置における任意の位置から前記ユーザを仮想的に撮影したとみなす前記ユーザの映像データを生成する映像生成部とを備え、
前記映像生成部は、前記特定のコミュニケーション装置から送信されたユーザの視野角と同じ角度の撮影画角に対応する映像データを生成することを特徴とする請求項３に記載の他のコミュニケーション装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１０−２８３５５０（Ｐ２０１０−２８３５５０Ａ）
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願番号】特願２００９−１３４６３７（Ｐ２００９−１３４６３７）
【出願日】平成２１年６月４日（２００９．６．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２２年１２月１６日（２０１０．１２．１６）
【国際特許分類】
【出願日】平成２１年６月４日（２００９．６．４）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]