遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステム
【課題】遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステムを提供すること。
【解決手段】第１のユーザの映像を受信して第２のユーザに提示するための遠隔コミュニケーション装置であって、前記第１のユーザの映像を撮像する撮像装置のズームを制御するズーム制御部と、前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定する推定部と、を備える遠隔コミュニケーション装置を構成する。
【解決手段】第１のユーザの映像を受信して第２のユーザに提示するための遠隔コミュニケーション装置であって、前記第１のユーザの映像を撮像する撮像装置のズームを制御するズーム制御部と、前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定する推定部と、を備える遠隔コミュニケーション装置を構成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステムに関する。
【背景技術】
【０００２】
近日、ユーザが遠隔地に存在する他ユーザとコミュニケーションするための遠隔コミュニケーションシステムの研究が盛んに行われている。この遠隔コミュニケーションシステムは、ユーザの音声をマイクロホンで集音し、ユーザの映像を撮像装置で撮像し、音声および映像をリアルタイムで遠隔地に送信し、遠隔地において音声及び映像を再生することにより、ユーザの様子を遠隔地に存在する他ユーザに伝えることができる。
【０００３】
また、特許文献１には、通常の会話と類似する間隔で遠隔コミュニケーションを実現するためのテレビ会議システムが記載されている。具体的には、特許文献１には、遠隔地に複数の他ユーザが存在する場合に、大きな音のする方向に会話の中心になっている他ユーザがいると捉え、この他ユーザの方向に撮像装置の方向を向けるテレビ会議システムが記載されている。このテレビ会議システムによれば、ユーザが、遠隔地に存在する複数の他ユーザのうちで会話の中心になっている他ユーザの映像を中心に視認することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−２２３５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記のテレビ会議システムでは、会話の中心になっている他ユーザの方向は音により検出できるものの、他ユーザと撮像装置との間の距離を検出することはできなかった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像装置と、撮像装置による撮像対象であるユーザとの間の距離を推定することが可能な、新規かつ改良された遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、第１のユーザの映像を受信して第２のユーザに提示するための遠隔コミュニケーション装置であって、前記第１のユーザの映像を撮像する撮像装置のズームを制御するズーム制御部と、前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定する推定部と、を備える遠隔コミュニケーション装置が提供される。
【０００８】
前記推定部は、前記撮像装置のズーム量において前記撮像装置の撮像範囲内に所定の物体を配した場合に、前記所定の物体が前記撮像装置により得られる映像中の所定範囲を占めると推定される距離を、前記撮像装置と前記第１のユーザとの間の距離として推定してもよい。
【０００９】
前記撮像装置のパン角度、チルト角度、および前記推定部により推定された前記撮像装置と前記第１のユーザとの間の距離に基づいて、前記撮像装置が設置されている座標系における前記第１のユーザの座標を取得する座標取得部をさらに備えてもよい。
【００１０】
前記遠隔コミュニケーション装置は、前記第２のユーザの音声を集音する集音部と、前記第１のユーザ付近に設置された複数のスピーカの少なくともいずれかに前記集音部により集音された音声を送信する通信制御部と、をさらに備え、前記通信制御部は、前記座標取得部により取得された前記第１のユーザと最も座標が近いスピーカに前記集音部により集音された音声を送信してもよい。
【００１１】
前記遠隔コミュニケーション装置は、前記集音部により集音された前記第２のユーザの音声の音量を検出する音声処理部をさらに備え、前記推定部は、前記撮像装置のズーム量に加え、前記音声処理部により検出された前記第２のユーザの音声の音量に基づいて前記撮像装置と前記第１のユーザとの間の距離を推定してもよい。
【００１２】
前記遠隔コミュニケーション装置は、前記撮像装置のパン角度、チルト角度、および前記推定部により推定された前記撮像装置と前記第１のユーザとの間の距離に基づいて、前記撮像装置が設置されている座標系における座標範囲を取得する座標取得部と、前記第２のユーザの音声を集音する集音部と、前記第１のユーザ付近に設置された複数のスピーカのうちで、前記座標取得部により取得された前記座標範囲に含まれるスピーカに前記集音部により集音された音声を送信する通信制御部と、をさらに備えてもよい。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、第１のユーザの映像を受信して第２のユーザに提示するステップと、前記第１のユーザの映像を撮像する撮像装置のズームを制御するステップと、前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定するステップと、を含む遠隔コミュニケーション方法が提供される。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、第１のユーザの映像を撮像する撮像装置と、前記撮像装置により撮像された映像を受信して第２のユーザに提示するための遠隔コミュニケーション装置と、を備え、前記遠隔コミュニケーション装置は、前記撮像装置のズームを制御するズーム制御部、および、前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定する推定部、を有する、遠隔コミュニケーションシステムが提供される。
【発明の効果】
【００１５】
以上説明したように本発明によれば、撮像装置と、撮像装置による撮像対象であるユーザとの間の距離を推定することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態によるテレビ会話システムの構成を示した説明図である。
【図２】本実施形態に関連する遠隔コミュニケーション装置の構成を示した機能ブロック図である。
【図３】本実施形態による遠隔コミュニケーション装置の構成を示した機能ブロック図である。
【図４】操作部の具体的な構成例を示した説明図である。
【図５】システム制御部の詳細な構成を示した説明図である。
【図６】撮像装置の画角、撮像される映像、および球の位置の関係を示した説明図である。
【図７】撮像装置の画角、撮像される映像、および球の位置の関係を示した説明図である。
【図８】撮像装置により撮像され、表示部に表示される映像の具体例を示した説明図である。
【図９】遠隔コミュニケーション装置の遠隔地における座標系の具体例を示した説明図である。
【図１０】推定距離の補正例を示した説明図である。
【図１１】推定距離の補正例を示した説明図である。
【図１２】呼びかけ範囲の具体例を示した説明図である。
【図１３】呼びかけ範囲の具体例を示した説明図である。
【図１４】本実施形態による遠隔コミュニケーション装置の動作を示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１８】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてスピーカ２４Ａ、２４Ｂおよび２４Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、スピーカ２４Ａ、２４Ｂおよび２４Ｃを特に区別する必要が無い場合には、単にスピーカ２４と称する。
【００１９】
（テレビ会話システムの概要）
まず、図１を参照し、本発明の実施形態によるテレビ会話システム１の概要を説明する。
【００２０】
図１は、本発明の実施形態によるテレビ会話システム１の構成を示した説明図である。図１に示したように、本発明の実施形態によるテレビ会話システム１は、遠隔コミュニケーション装置１０と、撮像装置２２と、スピーカ２４Ａ〜２４Ｃと、通信装置２６と、を備える。このテレビ会話システム１によれば、遠隔コミュニケーション装置１０を利用するユーザと、当該ユーザと遠隔するユーザＡ〜ユーザＤとがリアルタイムにテレビ会議を行うことができる。
【００２１】
遠隔コミュニケーション装置１０は、撮像装置２２の撮像方向（パン、チルト）やズームの制御信号を通信装置２６に送信する。また、遠隔コミュニケーション装置１０は、制御信号に従って撮像装置２２により撮像された映像を通信装置２６から受信し、受信した映像を表示する。これにより、遠隔コミュニケーション装置１０を利用するユーザは、遠隔するユーザＡ〜ユーザＤの映像を視認することができる。また、遠隔コミュニケーション装置１０は、遠隔コミュニケーション装置１０を利用するユーザの音声を通信装置２６へ送信する。
【００２２】
通信装置２６は、遠隔コミュニケーション装置１０と映像や音声を通信する。例えば、通信装置２６は、撮像装置２２により撮像された映像を遠隔コミュニケーション装置１０へ送信し、遠隔コミュニケーション装置１０から受信した音声をスピーカ２４Ａ〜２４Ｃへ出力する。
【００２３】
撮像装置２２は、遠隔コミュニケーション装置１０から送信された制御信号に従って映像を撮像する。例えば、撮像装置２２は、遠隔コミュニケーション装置１０から送信された制御信号に従って撮像方向やズーム量を調整する。
【００２４】
スピーカ２４Ａ〜２４Ｃは、通信装置２６が遠隔コミュニケーション装置１０から受信した音声が入力され、入力された音声を空気振動として出力する。これにより、ユーザＡ〜ユーザＤが、遠隔するユーザが発した音声を聞くことができる。
【００２５】
なお、図１においては省略しているが、テレビ会話システム１は、ユーザＡ〜ユーザＤの音声を集音するためのマイクロホンや、遠隔コミュニケーション装置１０により撮像された遠隔コミュニケーション装置１０を利用するユーザの映像を表示する表示装置を有してもよい。
【００２６】
（背景）
ここで、図２を参照し、本実施形態の背景として、本実施形態に関連する遠隔コミュニケーション装置３０について説明する。
【００２７】
図２は、本実施形態に関連する遠隔コミュニケーション装置３０の構成を示した機能ブロック図である。図２に示したように、遠隔コミュニケーション装置３０は、方向検出部３１０と、システム制御部３２０と、撮像装置制御部３３０と、輪郭検出部３４０と、マイクロホン制御部３５０と、を備える。
【００２８】
この遠隔コミュニケーション装置３０によれば、方向検出用マイクロホンにより集音される音声が最高音圧になる発話者の方向を方向検出部３１０が検出する。そして、撮像装置制御部３３０が、撮像装置４２の撮像方向が方向検出部３１０により検出された発話者の方向になるように撮像装置４２を制御する。同様に、マイクロホン制御部３５０が、集音用マイクロホン４６の集音方向が方向検出部３１０により検出された発話者の方向になるように集音用マイクロホン４６を制御する。
【００２９】
さらに、輪郭抽出部３４０が、撮像装置４２より撮像された映像に対して輪郭抽出処理を行い、撮像装置制御部３３０が、輪郭抽出部３４０により抽出される輪郭が所定の図形と一致するように撮像装置４２を制御する。これにより、発話者の映像が撮像装置４２により撮像される映像中の適切な位置に配置される。
【００３０】
しかし、この遠隔コミュニケーション装置３０では、発話者の方向は方向検出部３１０により検出できるものの、発話者と撮像装置４２との間の距離を検出することはできなかった。
【００３１】
そこで、上記背景の下、本実施形態による遠隔コミュニケーション装置１０を創作するに至った。本実施形態による遠隔コミュニケーション装置１０は、撮像装置２２と、撮像対象のユーザとの間の距離を推定し、さらに、撮像対象のユーザ位置に応じたスピーカ２４から音声を出力させることができる。以下、このような遠隔コミュニケーション装置１０について詳細に説明する。
【００３２】
（本実施形態による遠隔コミュニケーション装置の構成）
図３は、本実施形態による遠隔コミュニケーション装置１０の構成を示した機能ブロック図である。図３に示したように、遠隔コミュニケーション装置１０は、表示部１１０と、マイクロホン１２０と、システム制御部１３０と、撮像装置制御部１４０と、表示部１５０と、通信制御部１６０と、を備える。
【００３３】
操作部１１０は、ユーザ操作を受け付け、受け付けたユーザ操作の内容をシステム制御部１３０に出力する。操作部１１０に対するユーザ操作としては、撮像装置２２の撮像方向を指定するための操作、撮像装置２２のズーム量を指定するための操作などが挙げられる。以下、図４を参照し、このようなユーザ操作を受け付ける操作部１１０の具体的な構成例を説明する。
【００３４】
図４は、操作部１１０の具体的な構成例を示した説明図である。図４に示したように、操作部１１０は、ズーム操作部１１２と、チルト操作部１１４と、パン操作部１１６と、を有する。
【００３５】
ズーム操作部１１２は、ユーザ操作によりバーの位置が上下に移動される。ズーム操作部１１２は、バーの位置が移動されると、ズーム操作が行われたことを示す情報と、移動後のバーの位置とをシステム制御部１３０へ出力する。
【００３６】
また、チルト操作部１１４は、ユーザ操作によりバーの位置が上下に移動される。チルト操作部１１４は、バーの位置が移動されると、チルト操作が行われたことを示す情報と、移動後のバーの位置とをシステム制御部１３０へ出力する。
【００３７】
同様に、パン操作部１１６は、ユーザ操作によりバーの位置が左右に移動される。パン操作部１１６は、バーの位置が移動されると、パン操作が行われたことを示す情報と、移動後のバーの位置とをシステム制御部１３０へ出力する。
【００３８】
マイクロホン１２０は、遠隔コミュニケーション装置１０のユーザの音声が入力される集音部である。また、マイクロホン１２０は、システム制御部１３０および通信制御部１６０と接続されており、入力されたユーザの音声は、システム制御部１３０および通信制御部１６０へ出力される。
【００３９】
なお、図４には操作部１１０の一例を示したに過ぎず、操作部１１０は、タッチパネル、ボタン、スイッチ、またはダイヤルなどにより構成されてもよい。さらに、操作部１１０は、リモートコントローラがユーザ操作に基づいて発する赤外線信号用の受光部あるいは無線信号の受信部などにより構成されてもよい。
【００４０】
システム制御部１３０は、操作部１１０およびマイクロホン１２０からの入力に基づき、撮像装置制御部１４０および通信制御部１６０への出力を行う。このシステム制御部１３０の詳細な構成については図５〜図１３を参照して後述する。
【００４１】
撮像装置制御部１４０は、システム制御部１３０からの出力に従って撮像装置２２を制御する。例えば、撮像装置制御部１４０は、システム制御部１３０からズーム量、チルト角度、およびパン角度などの制御量が入力され、入力された制御量に従って撮像装置２２のパンおよびチルトなどの撮像方向や、ズームなどを制御する。すなわち、撮像装置制御部１４０は、ズーム制御部、チルト制御部、およびパン制御部としての機能を有する。撮像装置２２は、撮像装置制御部１４０による制御に基づいて映像を撮像する。
【００４２】
表示部１５０は、撮像装置２２により撮像された映像が供給され、供給された映像を遠隔コミュニケーション装置１０のユーザに対して表示する。したがって、ユーザは、撮像装置２２により撮像された映像を表示部１５０で確認しながら、操作部１１０を操作して撮像装置２２を制御することができる。なお、表示部１５０は、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置であってもよい。
【００４３】
通信制御部１６０は、システム制御部１３０からの出力に従い、マイクロホン１２０から入力される音声を、スピーカ２４Ａ〜２４Ｃの少なくともいずれかに対して送信する。具体的には、通信制御部１６０は、システム制御部１３０から出力されるアドレスを有するスピーカ２４にマイクロホン１２０から入力される音声を送信する。
【００４４】
（システム制御部）
図５は、システム制御部１３０の詳細な構成を示した説明図である。図５に示したように、システム制御部１３０は、制御量演算部１３２と、音声処理部１３４と、相対位置推定部１３６と、アドレス変換部１３８と、を備える。
【００４５】
制御量演算部１３２は、操作部１１０からの入力に応じて、撮像装置２２の制御量を演算する。具体的には、ズーム操作部１１２、チルト操作部１１４、およびパン操作部１１６の各々のバーの位置と、撮像装置２２のズーム量、チルト角度、およびパン角度との対応関係が設定されており、制御量演算部１３２は、操作部１１０からの入力を上記対応関係に従ってズーム量、チルト角度、およびパン角度などの制御量に変換する。制御量演算部１３２により得られたズーム量、チルト角度、およびパン角度などの制御量は、撮像装置制御部１４０および相対位置推定部１３６へ出力される。
【００４６】
音声処理部１３４は、マイクロホン１２０から入力される音声の音量を測定し、測定した音量を相対位置推定部１３６へ出力する。また、音声処理部１３４は、マイクロホン１２０から入力される音声が他ユーザに対する呼びかけであるか否かを判断する。
【００４７】
例えば、他ユーザに対する呼びかけが「おい、○○君」であると仮定すると、音声処理部１３４は、「おい」という音声が検出された場合に、マイクロホン１２０から入力される音声が他ユーザに対する呼びかけであると判断してもよい。また、音声処理部１３４は、マイクロホン１２０から入力される音声が他ユーザに対する呼びかけであると判断した場合、相対位置推定部１３６の処理を開始させる。
【００４８】
相対位置推定部１３６は、制御量演算部１３２から入力されるズーム量、チルト角度、およびパン角度などの制御量、および音声処理部１３４から入力される音量に基づいて、ユーザが話しかけようとしている呼びかけ相手の撮像装置２２からの相対位置を推定する。例えば、パン角度およびチルト角度により、呼びかけ相手の撮像装置２２からみた方向は定まる。しかし、パン角度およびチルト角度からでは、呼びかけ相手の撮像装置２２からの距離は定まらない。そこで、相対位置推定部１３６は、ズーム量を利用して呼びかけ相手の撮像装置２２からの距離を推定する。
【００４９】
具体的には、相対位置推定部１３６は、まず、ズーム量に基づいて画角θを求める。なお、相対位置推定部１３６は、ズーム量と画角の対応関係を示すテーブルを事前に保持しておき、このテーブルを参照することにより画角を求めてもよい。
【００５０】
次に、相対位置推定部１３６は、画角に基づいて呼びかけ相手の撮像装置２２からの距離を推定する。例えば、相対位置推定部１３６は、仮想的に直径Ｍｃｍの球が撮像装置２２の撮像範囲内に存在すると仮定し、指定された画角でこの球が画面の左右幅ａ％を占めるであろう距離を、呼びかけ相手の撮像装置２２からの距離として推定する。ここで、呼びかけ相手の撮像装置２２からの距離をＬｃｍとすると、以下の数式１が成り立つ。
【００５１】
【数１】
【００５２】
したがって、例えば球の直径Ｍを３０ｃｍ、画面幅に占める割合ａを５０％とすると、以下の数式２に従って距離Ｌを推定することができる。
【００５３】
【数２】
【００５４】
図６および図７は、撮像装置２２の画角、撮像される映像、および球の位置の関係を示した説明図である。球の画面幅に占める割合ａを５０％とすると、図６に示した画角においては、相対位置推定部１３６により推定される距離Ｌが位置（Ｂ）と撮像装置２２との距離となる。同様に、球の画面幅に占める割合ａを５０％とすると、図７に示した画角においては、相対位置推定部１３６により推定される距離Ｌが位置（Ｂ）と撮像装置２２との距離となる。
【００５５】
なお、相対位置推定部１３６は、ズーム量と距離との関係を示すテーブルを保持し、当該テーブルを参照することにより、呼びかけ相手と撮像装置２２との距離を推定してもよい。
【００５６】
また、呼びかけ相手と撮像装置２２との距離の推定方法は、上記の数式を利用する方法に限定されない。例えば、相対位置推定部１３６は、撮像装置２２により撮像される映像を解析することにより距離推定を行ってもよい。以下、図８を参照して具体的に説明する。
【００５７】
図８は、撮像装置２２により撮像され、表示部１５０に表示される映像の具体例を示した説明図である。図８に示した例で映像におけるユーザの輪郭幅はｘである。この輪郭幅ｘは、ズーム量および画角θに応じて変化する。したがって、この輪郭幅ｘが画面の左右幅に占める割合をａ％、実際のユーザの輪郭幅ｙを所定値であると仮定すると、相対位置推定部１３６は、ズーム量に対応する画角θ、撮像された映像においてユーザの輪郭幅ｘが左右幅に占める割合ａ、および実際のユーザの輪郭幅ｙに基づいて距離推定を行うことができる。例えば、相対位置推定部１３６は、以下の数式３に従って距離推定を行ってもよい。
【００５８】
【数３】
【００５９】
アドレス変換部１３８は、相対位置推定部１３６により推定された相対位置に対応するスピーカ２４を選択し、選択したスピーカ２４のアドレスを通信制御部１６０へ出力する。具体的には、アドレス変換部１３８は、撮像装置２２が設置されている遠隔地での座標系におけるスピーカ２４Ａ〜２４Ｃの空間座標、および通信用のアドレスを保持している。また、アドレス変換部１３８は、相対位置推定部１３６により推定された相対位置（パン角度、チルト角度、および撮像装置２２からの距離）から、呼びかけ相手の遠隔地での座標を取得する座標取得部としての機能も有する。
【００６０】
このため、アドレス変換部１３８は、呼びかけ相手と各スピーカ２４との空間座標における距離を算出し、呼びかけ相手に最も近いスピーカ２４を選択することが可能である。以下、図９を参照して具体的に説明する。
【００６１】
図９は、遠隔コミュニケーション装置１０の遠隔地における座標系の具体例を示した説明図である。アドレス変換部１３８は、図９に示した座標系におけるスピーカ２４Ａ〜２４Ｃの座標を保持している。また、呼びかけ相手がユーザＣである場合、アドレス変換部１３８は、図９に示したように相対位置推定部１３６により推定された相対位置に基づいてユーザＣの座標を得る。
【００６２】
さらに、アドレス変換部１３８は、ユーザＣの座標と、スピーカ２４Ａ〜２４Ｃの各々の座標間の距離を算出する。ここで、スピーカ２４Ｂの座標がユーザＣの座標に最も近いため、アドレス変換部１３８はスピーカ２４Ｂを選択し、スピーカ２４Ｂのアドレスを通信制御部１６０へ出力する。
【００６３】
なお、上記では、呼びかけ相手に最も近いスピーカ２４を選択する例を説明したが、本実施形態はかかる例に限定されない。例えば、アドレス変換部１３８は、呼びかけ相手に所定数のスピーカ２４を選択してもよい。
【００６４】
また、アドレス変換部１３８は、呼びかけ相手と各スピーカ２４との空間座標における距離に応じて各スピーカ２４の音量比率を決定してもよい。例えば、アドレス変換部１３８は、呼びかけ相手との距離が近いスピーカ２４ほど音量比率を高め、呼びかけ相手との距離が遠いスピーカ２４ほど音量比率を低めてもよい。そして、アドレス変換部１３８は、各スピーカ２４の音量比率を各スピーカ２４のアドレスと対応付けて通信制御部１６０へ出力してもよい。
【００６５】
（変形例）
上記では、呼びかけ相手と撮像装置２２との距離をズーム量に基づいて推定する例を説明したが、本実施形態はかかる例に限定されない。変形例として、相対位置推定部１３６は、ズーム量に基づいて推定した距離を、音声処理部１３４により検出された音声の音量を用いて補正してもよい。
【００６６】
例えば、音声処理部１３４により検出された音声の音量が基準値より大きい場合、より遠くのユーザに対する呼びかけであると考えられる。そこで、相対位置推定部１３６は、音声処理部１３４により検出された音声の音量が基準値より大きい場合、距離に基づいて推定した距離をより長い距離に補正してもよい。以下、図１０および図１１を参照して具体的に説明する。
【００６７】
図１０および図１１は、推定距離の補正例を示した説明図である。相対位置推定部１３６は、図１０に示したように、ズーム量に基づいて呼びかけ相手が位置（Ｂ）に存在すると推定し、かつ、音声処理部１３４により検出された音声の音量が基準値より大きい場合、呼びかけ相手の推定位置をより遠くの位置（Ｄ）に補正してもよい。
【００６８】
同様に、相対位置推定部１３６は、図１１に示したように、ズーム量に基づいて呼びかけ相手が位置（Ｃ）に存在すると推定し、かつ、音声処理部１３４により検出された音声の音量が基準値より大きい場合、呼びかけ相手の推定位置をより遠くの位置（Ａ）に補正してもよい。
【００６９】
なお、相対位置推定部１３６は、音声処理部１３４により検出された音声の音量が基準値より小さい場合、距離に基づいて推定した距離をより短い距離に補正してもよい。
【００７０】
また、相対位置推定部１３６は、呼びかけ相手の相対位置でなく、呼びかけ範囲を推定してもよい。この場合、アドレス変換部１３８は、呼びかけ範囲に含まれるスピーカ２４を選択し、当該スピーカ２４のアドレスを通信制御部１６０へ出力してもよい。以下、図１２および図１３を参照して具体的に説明する。
【００７１】
図１２および図１３は、呼びかけ範囲の具体例を示した説明図である。相対位置推定部１３６は、図１２に示したように、ズーム量に基づいて推定した位置（Ｂ）と、位置（Ｄ）との間の範囲２８を呼びかけ範囲として推定してもよい。同様に、相対位置推定部１３６は、図１３に示したように、ズーム量に基づいて推定した位置（Ｃ）と、位置（Ａ）との間の範囲２８を呼びかけ範囲として推定してもよい。
【００７２】
（遠隔コミュニケーション装置１０の動作）
以上、図３〜図１３を参照し、本実施形態による遠隔コミュニケーション装置１０の構成を説明した。続いて、図１４を参照し、本実施形態による遠隔コミュニケーション装置１０の動作を説明する。
【００７３】
図１４は、本実施形態による遠隔コミュニケーション装置１０の動作を示したフローチャートである。図１４に示したように、まず、ユーザにより、操作部１１０に対して撮像装置２２を制御するための操作が行われる（Ｓ２１０）。そして、制御量演算部１３２は、操作部１１０に対して行われたユーザ操作をズーム量、チルト角度、およびパン角度などの制御量に変換する（Ｓ２２０）。
【００７４】
さらに、撮像装置制御部１４０が、制御量演算部１３２により得られたズーム量、チルト角度、およびパン角度などの制御量に従って撮像装置２２を制御する（Ｓ２３０）。これにより、ユーザの所望する範囲の映像が撮像装置２２により撮像され、撮像された映像を表示部１５０で確認することができる。
【００７５】
続いて、遠隔する他ユーザに呼びかけるユーザ音声がマイクロホン１２０に入力されると（Ｓ２４０）、相対位置推定部１３６が、呼びかけ相手の撮像装置２２からの相対位置を推定する。具体的には、相対位置推定部１３６は、チルト角度およびパン角度に基づいて呼びかけ相手の方向を推定し、ズーム量に基づいて呼びかけ相手の撮像装置２２からの距離を推定する。
【００７６】
その後、アドレス変換部１３８が、相対位置推定部１３６により推定された相対位置に対応するスピーカ２４を選択し、選択したスピーカ２４のアドレスを通信制御部１６０へ出力する（Ｓ２６０）。具体的には、アドレス変換部１３８は、撮像装置２２が設置されている遠隔地での座標系におけるスピーカ２４Ａ〜２４Ｃの空間座標、および通信用のアドレスを保持している。また、アドレス変換部１３８は、相対位置推定部１３６により推定された相対位置から、呼びかけ相手の遠隔地での座標系を得ることができる。このため、アドレス変換部１３８は、呼びかけ相手と各スピーカ２４との空間座標における距離を算出し、呼びかけ相手に最も近いスピーカ２４を選択することが可能である。
【００７７】
そして、通信制御部１６０が、アドレス変換部１３８により選択されたスピーカ２４へユーザ音声を送信する（Ｓ２７０）。これにより、ユーザ音声を、遠隔コミュニケーション装置１０のユーザの呼びかけ相手に最も近いスピーカ２４から出力させることが可能となる。
【００７８】
（まとめ）
以上説明したように、本実施形態によれば、撮像装置２２のズーム量に基づき、呼びかけ相手と撮像装置２２との間の距離を推定することができる。さらに、本実施形態によれば、呼びかけ相手の位置に応じたスピーカからユーザ音声を出力させることが可能である。また、呼びかけ相手と撮像装置２２との間の距離を、ユーザ音声の音量に応じて補正することもできる。
【００７９】
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８０】
例えば、本明細書の遠隔コミュニケーション装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、遠隔コミュニケーション装置１０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００８１】
また、遠隔コミュニケーション装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した遠隔コミュニケーション装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【００８２】
１０ 遠隔コミュニケーション装置
２２ 撮像装置
２４ スピーカ
２６ 通信装置
１１０ 操作部
１１２ ズーム制御部
１１４ チルト制御部
１１６ パン制御部
１２０ マイクロホン
１３０ システム制御部
１３２ 制御量演算部
１３４ 音声処理部
１３６ 相対位置推定部
１３８ アドレス変換部
１４０ 撮像装置制御部
１５０ 表示部
１６０ 通信制御部
【技術分野】
【０００１】
本発明は、遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステムに関する。
【背景技術】
【０００２】
近日、ユーザが遠隔地に存在する他ユーザとコミュニケーションするための遠隔コミュニケーションシステムの研究が盛んに行われている。この遠隔コミュニケーションシステムは、ユーザの音声をマイクロホンで集音し、ユーザの映像を撮像装置で撮像し、音声および映像をリアルタイムで遠隔地に送信し、遠隔地において音声及び映像を再生することにより、ユーザの様子を遠隔地に存在する他ユーザに伝えることができる。
【０００３】
また、特許文献１には、通常の会話と類似する間隔で遠隔コミュニケーションを実現するためのテレビ会議システムが記載されている。具体的には、特許文献１には、遠隔地に複数の他ユーザが存在する場合に、大きな音のする方向に会話の中心になっている他ユーザがいると捉え、この他ユーザの方向に撮像装置の方向を向けるテレビ会議システムが記載されている。このテレビ会議システムによれば、ユーザが、遠隔地に存在する複数の他ユーザのうちで会話の中心になっている他ユーザの映像を中心に視認することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平８−２２３５５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、上記のテレビ会議システムでは、会話の中心になっている他ユーザの方向は音により検出できるものの、他ユーザと撮像装置との間の距離を検出することはできなかった。
【０００６】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、撮像装置と、撮像装置による撮像対象であるユーザとの間の距離を推定することが可能な、新規かつ改良された遠隔コミュニケーション装置、遠隔コミュニケーション方法、および遠隔コミュニケーションシステムを提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明のある観点によれば、第１のユーザの映像を受信して第２のユーザに提示するための遠隔コミュニケーション装置であって、前記第１のユーザの映像を撮像する撮像装置のズームを制御するズーム制御部と、前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定する推定部と、を備える遠隔コミュニケーション装置が提供される。
【０００８】
前記推定部は、前記撮像装置のズーム量において前記撮像装置の撮像範囲内に所定の物体を配した場合に、前記所定の物体が前記撮像装置により得られる映像中の所定範囲を占めると推定される距離を、前記撮像装置と前記第１のユーザとの間の距離として推定してもよい。
【０００９】
前記撮像装置のパン角度、チルト角度、および前記推定部により推定された前記撮像装置と前記第１のユーザとの間の距離に基づいて、前記撮像装置が設置されている座標系における前記第１のユーザの座標を取得する座標取得部をさらに備えてもよい。
【００１０】
前記遠隔コミュニケーション装置は、前記第２のユーザの音声を集音する集音部と、前記第１のユーザ付近に設置された複数のスピーカの少なくともいずれかに前記集音部により集音された音声を送信する通信制御部と、をさらに備え、前記通信制御部は、前記座標取得部により取得された前記第１のユーザと最も座標が近いスピーカに前記集音部により集音された音声を送信してもよい。
【００１１】
前記遠隔コミュニケーション装置は、前記集音部により集音された前記第２のユーザの音声の音量を検出する音声処理部をさらに備え、前記推定部は、前記撮像装置のズーム量に加え、前記音声処理部により検出された前記第２のユーザの音声の音量に基づいて前記撮像装置と前記第１のユーザとの間の距離を推定してもよい。
【００１２】
前記遠隔コミュニケーション装置は、前記撮像装置のパン角度、チルト角度、および前記推定部により推定された前記撮像装置と前記第１のユーザとの間の距離に基づいて、前記撮像装置が設置されている座標系における座標範囲を取得する座標取得部と、前記第２のユーザの音声を集音する集音部と、前記第１のユーザ付近に設置された複数のスピーカのうちで、前記座標取得部により取得された前記座標範囲に含まれるスピーカに前記集音部により集音された音声を送信する通信制御部と、をさらに備えてもよい。
【００１３】
また、上記課題を解決するために、本発明の別の観点によれば、第１のユーザの映像を受信して第２のユーザに提示するステップと、前記第１のユーザの映像を撮像する撮像装置のズームを制御するステップと、前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定するステップと、を含む遠隔コミュニケーション方法が提供される。
【００１４】
また、上記課題を解決するために、本発明の別の観点によれば、第１のユーザの映像を撮像する撮像装置と、前記撮像装置により撮像された映像を受信して第２のユーザに提示するための遠隔コミュニケーション装置と、を備え、前記遠隔コミュニケーション装置は、前記撮像装置のズームを制御するズーム制御部、および、前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定する推定部、を有する、遠隔コミュニケーションシステムが提供される。
【発明の効果】
【００１５】
以上説明したように本発明によれば、撮像装置と、撮像装置による撮像対象であるユーザとの間の距離を推定することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施形態によるテレビ会話システムの構成を示した説明図である。
【図２】本実施形態に関連する遠隔コミュニケーション装置の構成を示した機能ブロック図である。
【図３】本実施形態による遠隔コミュニケーション装置の構成を示した機能ブロック図である。
【図４】操作部の具体的な構成例を示した説明図である。
【図５】システム制御部の詳細な構成を示した説明図である。
【図６】撮像装置の画角、撮像される映像、および球の位置の関係を示した説明図である。
【図７】撮像装置の画角、撮像される映像、および球の位置の関係を示した説明図である。
【図８】撮像装置により撮像され、表示部に表示される映像の具体例を示した説明図である。
【図９】遠隔コミュニケーション装置の遠隔地における座標系の具体例を示した説明図である。
【図１０】推定距離の補正例を示した説明図である。
【図１１】推定距離の補正例を示した説明図である。
【図１２】呼びかけ範囲の具体例を示した説明図である。
【図１３】呼びかけ範囲の具体例を示した説明図である。
【図１４】本実施形態による遠隔コミュニケーション装置の動作を示したフローチャートである。
【発明を実施するための形態】
【００１７】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１８】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。例えば、実質的に同一の機能構成を有する複数の構成を、必要に応じてスピーカ２４Ａ、２４Ｂおよび２４Ｃのように区別する。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。例えば、スピーカ２４Ａ、２４Ｂおよび２４Ｃを特に区別する必要が無い場合には、単にスピーカ２４と称する。
【００１９】
（テレビ会話システムの概要）
まず、図１を参照し、本発明の実施形態によるテレビ会話システム１の概要を説明する。
【００２０】
図１は、本発明の実施形態によるテレビ会話システム１の構成を示した説明図である。図１に示したように、本発明の実施形態によるテレビ会話システム１は、遠隔コミュニケーション装置１０と、撮像装置２２と、スピーカ２４Ａ〜２４Ｃと、通信装置２６と、を備える。このテレビ会話システム１によれば、遠隔コミュニケーション装置１０を利用するユーザと、当該ユーザと遠隔するユーザＡ〜ユーザＤとがリアルタイムにテレビ会議を行うことができる。
【００２１】
遠隔コミュニケーション装置１０は、撮像装置２２の撮像方向（パン、チルト）やズームの制御信号を通信装置２６に送信する。また、遠隔コミュニケーション装置１０は、制御信号に従って撮像装置２２により撮像された映像を通信装置２６から受信し、受信した映像を表示する。これにより、遠隔コミュニケーション装置１０を利用するユーザは、遠隔するユーザＡ〜ユーザＤの映像を視認することができる。また、遠隔コミュニケーション装置１０は、遠隔コミュニケーション装置１０を利用するユーザの音声を通信装置２６へ送信する。
【００２２】
通信装置２６は、遠隔コミュニケーション装置１０と映像や音声を通信する。例えば、通信装置２６は、撮像装置２２により撮像された映像を遠隔コミュニケーション装置１０へ送信し、遠隔コミュニケーション装置１０から受信した音声をスピーカ２４Ａ〜２４Ｃへ出力する。
【００２３】
撮像装置２２は、遠隔コミュニケーション装置１０から送信された制御信号に従って映像を撮像する。例えば、撮像装置２２は、遠隔コミュニケーション装置１０から送信された制御信号に従って撮像方向やズーム量を調整する。
【００２４】
スピーカ２４Ａ〜２４Ｃは、通信装置２６が遠隔コミュニケーション装置１０から受信した音声が入力され、入力された音声を空気振動として出力する。これにより、ユーザＡ〜ユーザＤが、遠隔するユーザが発した音声を聞くことができる。
【００２５】
なお、図１においては省略しているが、テレビ会話システム１は、ユーザＡ〜ユーザＤの音声を集音するためのマイクロホンや、遠隔コミュニケーション装置１０により撮像された遠隔コミュニケーション装置１０を利用するユーザの映像を表示する表示装置を有してもよい。
【００２６】
（背景）
ここで、図２を参照し、本実施形態の背景として、本実施形態に関連する遠隔コミュニケーション装置３０について説明する。
【００２７】
図２は、本実施形態に関連する遠隔コミュニケーション装置３０の構成を示した機能ブロック図である。図２に示したように、遠隔コミュニケーション装置３０は、方向検出部３１０と、システム制御部３２０と、撮像装置制御部３３０と、輪郭検出部３４０と、マイクロホン制御部３５０と、を備える。
【００２８】
この遠隔コミュニケーション装置３０によれば、方向検出用マイクロホンにより集音される音声が最高音圧になる発話者の方向を方向検出部３１０が検出する。そして、撮像装置制御部３３０が、撮像装置４２の撮像方向が方向検出部３１０により検出された発話者の方向になるように撮像装置４２を制御する。同様に、マイクロホン制御部３５０が、集音用マイクロホン４６の集音方向が方向検出部３１０により検出された発話者の方向になるように集音用マイクロホン４６を制御する。
【００２９】
さらに、輪郭抽出部３４０が、撮像装置４２より撮像された映像に対して輪郭抽出処理を行い、撮像装置制御部３３０が、輪郭抽出部３４０により抽出される輪郭が所定の図形と一致するように撮像装置４２を制御する。これにより、発話者の映像が撮像装置４２により撮像される映像中の適切な位置に配置される。
【００３０】
しかし、この遠隔コミュニケーション装置３０では、発話者の方向は方向検出部３１０により検出できるものの、発話者と撮像装置４２との間の距離を検出することはできなかった。
【００３１】
そこで、上記背景の下、本実施形態による遠隔コミュニケーション装置１０を創作するに至った。本実施形態による遠隔コミュニケーション装置１０は、撮像装置２２と、撮像対象のユーザとの間の距離を推定し、さらに、撮像対象のユーザ位置に応じたスピーカ２４から音声を出力させることができる。以下、このような遠隔コミュニケーション装置１０について詳細に説明する。
【００３２】
（本実施形態による遠隔コミュニケーション装置の構成）
図３は、本実施形態による遠隔コミュニケーション装置１０の構成を示した機能ブロック図である。図３に示したように、遠隔コミュニケーション装置１０は、表示部１１０と、マイクロホン１２０と、システム制御部１３０と、撮像装置制御部１４０と、表示部１５０と、通信制御部１６０と、を備える。
【００３３】
操作部１１０は、ユーザ操作を受け付け、受け付けたユーザ操作の内容をシステム制御部１３０に出力する。操作部１１０に対するユーザ操作としては、撮像装置２２の撮像方向を指定するための操作、撮像装置２２のズーム量を指定するための操作などが挙げられる。以下、図４を参照し、このようなユーザ操作を受け付ける操作部１１０の具体的な構成例を説明する。
【００３４】
図４は、操作部１１０の具体的な構成例を示した説明図である。図４に示したように、操作部１１０は、ズーム操作部１１２と、チルト操作部１１４と、パン操作部１１６と、を有する。
【００３５】
ズーム操作部１１２は、ユーザ操作によりバーの位置が上下に移動される。ズーム操作部１１２は、バーの位置が移動されると、ズーム操作が行われたことを示す情報と、移動後のバーの位置とをシステム制御部１３０へ出力する。
【００３６】
また、チルト操作部１１４は、ユーザ操作によりバーの位置が上下に移動される。チルト操作部１１４は、バーの位置が移動されると、チルト操作が行われたことを示す情報と、移動後のバーの位置とをシステム制御部１３０へ出力する。
【００３７】
同様に、パン操作部１１６は、ユーザ操作によりバーの位置が左右に移動される。パン操作部１１６は、バーの位置が移動されると、パン操作が行われたことを示す情報と、移動後のバーの位置とをシステム制御部１３０へ出力する。
【００３８】
マイクロホン１２０は、遠隔コミュニケーション装置１０のユーザの音声が入力される集音部である。また、マイクロホン１２０は、システム制御部１３０および通信制御部１６０と接続されており、入力されたユーザの音声は、システム制御部１３０および通信制御部１６０へ出力される。
【００３９】
なお、図４には操作部１１０の一例を示したに過ぎず、操作部１１０は、タッチパネル、ボタン、スイッチ、またはダイヤルなどにより構成されてもよい。さらに、操作部１１０は、リモートコントローラがユーザ操作に基づいて発する赤外線信号用の受光部あるいは無線信号の受信部などにより構成されてもよい。
【００４０】
システム制御部１３０は、操作部１１０およびマイクロホン１２０からの入力に基づき、撮像装置制御部１４０および通信制御部１６０への出力を行う。このシステム制御部１３０の詳細な構成については図５〜図１３を参照して後述する。
【００４１】
撮像装置制御部１４０は、システム制御部１３０からの出力に従って撮像装置２２を制御する。例えば、撮像装置制御部１４０は、システム制御部１３０からズーム量、チルト角度、およびパン角度などの制御量が入力され、入力された制御量に従って撮像装置２２のパンおよびチルトなどの撮像方向や、ズームなどを制御する。すなわち、撮像装置制御部１４０は、ズーム制御部、チルト制御部、およびパン制御部としての機能を有する。撮像装置２２は、撮像装置制御部１４０による制御に基づいて映像を撮像する。
【００４２】
表示部１５０は、撮像装置２２により撮像された映像が供給され、供給された映像を遠隔コミュニケーション装置１０のユーザに対して表示する。したがって、ユーザは、撮像装置２２により撮像された映像を表示部１５０で確認しながら、操作部１１０を操作して撮像装置２２を制御することができる。なお、表示部１５０は、例えばＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置であってもよい。
【００４３】
通信制御部１６０は、システム制御部１３０からの出力に従い、マイクロホン１２０から入力される音声を、スピーカ２４Ａ〜２４Ｃの少なくともいずれかに対して送信する。具体的には、通信制御部１６０は、システム制御部１３０から出力されるアドレスを有するスピーカ２４にマイクロホン１２０から入力される音声を送信する。
【００４４】
（システム制御部）
図５は、システム制御部１３０の詳細な構成を示した説明図である。図５に示したように、システム制御部１３０は、制御量演算部１３２と、音声処理部１３４と、相対位置推定部１３６と、アドレス変換部１３８と、を備える。
【００４５】
制御量演算部１３２は、操作部１１０からの入力に応じて、撮像装置２２の制御量を演算する。具体的には、ズーム操作部１１２、チルト操作部１１４、およびパン操作部１１６の各々のバーの位置と、撮像装置２２のズーム量、チルト角度、およびパン角度との対応関係が設定されており、制御量演算部１３２は、操作部１１０からの入力を上記対応関係に従ってズーム量、チルト角度、およびパン角度などの制御量に変換する。制御量演算部１３２により得られたズーム量、チルト角度、およびパン角度などの制御量は、撮像装置制御部１４０および相対位置推定部１３６へ出力される。
【００４６】
音声処理部１３４は、マイクロホン１２０から入力される音声の音量を測定し、測定した音量を相対位置推定部１３６へ出力する。また、音声処理部１３４は、マイクロホン１２０から入力される音声が他ユーザに対する呼びかけであるか否かを判断する。
【００４７】
例えば、他ユーザに対する呼びかけが「おい、○○君」であると仮定すると、音声処理部１３４は、「おい」という音声が検出された場合に、マイクロホン１２０から入力される音声が他ユーザに対する呼びかけであると判断してもよい。また、音声処理部１３４は、マイクロホン１２０から入力される音声が他ユーザに対する呼びかけであると判断した場合、相対位置推定部１３６の処理を開始させる。
【００４８】
相対位置推定部１３６は、制御量演算部１３２から入力されるズーム量、チルト角度、およびパン角度などの制御量、および音声処理部１３４から入力される音量に基づいて、ユーザが話しかけようとしている呼びかけ相手の撮像装置２２からの相対位置を推定する。例えば、パン角度およびチルト角度により、呼びかけ相手の撮像装置２２からみた方向は定まる。しかし、パン角度およびチルト角度からでは、呼びかけ相手の撮像装置２２からの距離は定まらない。そこで、相対位置推定部１３６は、ズーム量を利用して呼びかけ相手の撮像装置２２からの距離を推定する。
【００４９】
具体的には、相対位置推定部１３６は、まず、ズーム量に基づいて画角θを求める。なお、相対位置推定部１３６は、ズーム量と画角の対応関係を示すテーブルを事前に保持しておき、このテーブルを参照することにより画角を求めてもよい。
【００５０】
次に、相対位置推定部１３６は、画角に基づいて呼びかけ相手の撮像装置２２からの距離を推定する。例えば、相対位置推定部１３６は、仮想的に直径Ｍｃｍの球が撮像装置２２の撮像範囲内に存在すると仮定し、指定された画角でこの球が画面の左右幅ａ％を占めるであろう距離を、呼びかけ相手の撮像装置２２からの距離として推定する。ここで、呼びかけ相手の撮像装置２２からの距離をＬｃｍとすると、以下の数式１が成り立つ。
【００５１】
【数１】
【００５２】
したがって、例えば球の直径Ｍを３０ｃｍ、画面幅に占める割合ａを５０％とすると、以下の数式２に従って距離Ｌを推定することができる。
【００５３】
【数２】
【００５４】
図６および図７は、撮像装置２２の画角、撮像される映像、および球の位置の関係を示した説明図である。球の画面幅に占める割合ａを５０％とすると、図６に示した画角においては、相対位置推定部１３６により推定される距離Ｌが位置（Ｂ）と撮像装置２２との距離となる。同様に、球の画面幅に占める割合ａを５０％とすると、図７に示した画角においては、相対位置推定部１３６により推定される距離Ｌが位置（Ｂ）と撮像装置２２との距離となる。
【００５５】
なお、相対位置推定部１３６は、ズーム量と距離との関係を示すテーブルを保持し、当該テーブルを参照することにより、呼びかけ相手と撮像装置２２との距離を推定してもよい。
【００５６】
また、呼びかけ相手と撮像装置２２との距離の推定方法は、上記の数式を利用する方法に限定されない。例えば、相対位置推定部１３６は、撮像装置２２により撮像される映像を解析することにより距離推定を行ってもよい。以下、図８を参照して具体的に説明する。
【００５７】
図８は、撮像装置２２により撮像され、表示部１５０に表示される映像の具体例を示した説明図である。図８に示した例で映像におけるユーザの輪郭幅はｘである。この輪郭幅ｘは、ズーム量および画角θに応じて変化する。したがって、この輪郭幅ｘが画面の左右幅に占める割合をａ％、実際のユーザの輪郭幅ｙを所定値であると仮定すると、相対位置推定部１３６は、ズーム量に対応する画角θ、撮像された映像においてユーザの輪郭幅ｘが左右幅に占める割合ａ、および実際のユーザの輪郭幅ｙに基づいて距離推定を行うことができる。例えば、相対位置推定部１３６は、以下の数式３に従って距離推定を行ってもよい。
【００５８】
【数３】
【００５９】
アドレス変換部１３８は、相対位置推定部１３６により推定された相対位置に対応するスピーカ２４を選択し、選択したスピーカ２４のアドレスを通信制御部１６０へ出力する。具体的には、アドレス変換部１３８は、撮像装置２２が設置されている遠隔地での座標系におけるスピーカ２４Ａ〜２４Ｃの空間座標、および通信用のアドレスを保持している。また、アドレス変換部１３８は、相対位置推定部１３６により推定された相対位置（パン角度、チルト角度、および撮像装置２２からの距離）から、呼びかけ相手の遠隔地での座標を取得する座標取得部としての機能も有する。
【００６０】
このため、アドレス変換部１３８は、呼びかけ相手と各スピーカ２４との空間座標における距離を算出し、呼びかけ相手に最も近いスピーカ２４を選択することが可能である。以下、図９を参照して具体的に説明する。
【００６１】
図９は、遠隔コミュニケーション装置１０の遠隔地における座標系の具体例を示した説明図である。アドレス変換部１３８は、図９に示した座標系におけるスピーカ２４Ａ〜２４Ｃの座標を保持している。また、呼びかけ相手がユーザＣである場合、アドレス変換部１３８は、図９に示したように相対位置推定部１３６により推定された相対位置に基づいてユーザＣの座標を得る。
【００６２】
さらに、アドレス変換部１３８は、ユーザＣの座標と、スピーカ２４Ａ〜２４Ｃの各々の座標間の距離を算出する。ここで、スピーカ２４Ｂの座標がユーザＣの座標に最も近いため、アドレス変換部１３８はスピーカ２４Ｂを選択し、スピーカ２４Ｂのアドレスを通信制御部１６０へ出力する。
【００６３】
なお、上記では、呼びかけ相手に最も近いスピーカ２４を選択する例を説明したが、本実施形態はかかる例に限定されない。例えば、アドレス変換部１３８は、呼びかけ相手に所定数のスピーカ２４を選択してもよい。
【００６４】
また、アドレス変換部１３８は、呼びかけ相手と各スピーカ２４との空間座標における距離に応じて各スピーカ２４の音量比率を決定してもよい。例えば、アドレス変換部１３８は、呼びかけ相手との距離が近いスピーカ２４ほど音量比率を高め、呼びかけ相手との距離が遠いスピーカ２４ほど音量比率を低めてもよい。そして、アドレス変換部１３８は、各スピーカ２４の音量比率を各スピーカ２４のアドレスと対応付けて通信制御部１６０へ出力してもよい。
【００６５】
（変形例）
上記では、呼びかけ相手と撮像装置２２との距離をズーム量に基づいて推定する例を説明したが、本実施形態はかかる例に限定されない。変形例として、相対位置推定部１３６は、ズーム量に基づいて推定した距離を、音声処理部１３４により検出された音声の音量を用いて補正してもよい。
【００６６】
例えば、音声処理部１３４により検出された音声の音量が基準値より大きい場合、より遠くのユーザに対する呼びかけであると考えられる。そこで、相対位置推定部１３６は、音声処理部１３４により検出された音声の音量が基準値より大きい場合、距離に基づいて推定した距離をより長い距離に補正してもよい。以下、図１０および図１１を参照して具体的に説明する。
【００６７】
図１０および図１１は、推定距離の補正例を示した説明図である。相対位置推定部１３６は、図１０に示したように、ズーム量に基づいて呼びかけ相手が位置（Ｂ）に存在すると推定し、かつ、音声処理部１３４により検出された音声の音量が基準値より大きい場合、呼びかけ相手の推定位置をより遠くの位置（Ｄ）に補正してもよい。
【００６８】
同様に、相対位置推定部１３６は、図１１に示したように、ズーム量に基づいて呼びかけ相手が位置（Ｃ）に存在すると推定し、かつ、音声処理部１３４により検出された音声の音量が基準値より大きい場合、呼びかけ相手の推定位置をより遠くの位置（Ａ）に補正してもよい。
【００６９】
なお、相対位置推定部１３６は、音声処理部１３４により検出された音声の音量が基準値より小さい場合、距離に基づいて推定した距離をより短い距離に補正してもよい。
【００７０】
また、相対位置推定部１３６は、呼びかけ相手の相対位置でなく、呼びかけ範囲を推定してもよい。この場合、アドレス変換部１３８は、呼びかけ範囲に含まれるスピーカ２４を選択し、当該スピーカ２４のアドレスを通信制御部１６０へ出力してもよい。以下、図１２および図１３を参照して具体的に説明する。
【００７１】
図１２および図１３は、呼びかけ範囲の具体例を示した説明図である。相対位置推定部１３６は、図１２に示したように、ズーム量に基づいて推定した位置（Ｂ）と、位置（Ｄ）との間の範囲２８を呼びかけ範囲として推定してもよい。同様に、相対位置推定部１３６は、図１３に示したように、ズーム量に基づいて推定した位置（Ｃ）と、位置（Ａ）との間の範囲２８を呼びかけ範囲として推定してもよい。
【００７２】
（遠隔コミュニケーション装置１０の動作）
以上、図３〜図１３を参照し、本実施形態による遠隔コミュニケーション装置１０の構成を説明した。続いて、図１４を参照し、本実施形態による遠隔コミュニケーション装置１０の動作を説明する。
【００７３】
図１４は、本実施形態による遠隔コミュニケーション装置１０の動作を示したフローチャートである。図１４に示したように、まず、ユーザにより、操作部１１０に対して撮像装置２２を制御するための操作が行われる（Ｓ２１０）。そして、制御量演算部１３２は、操作部１１０に対して行われたユーザ操作をズーム量、チルト角度、およびパン角度などの制御量に変換する（Ｓ２２０）。
【００７４】
さらに、撮像装置制御部１４０が、制御量演算部１３２により得られたズーム量、チルト角度、およびパン角度などの制御量に従って撮像装置２２を制御する（Ｓ２３０）。これにより、ユーザの所望する範囲の映像が撮像装置２２により撮像され、撮像された映像を表示部１５０で確認することができる。
【００７５】
続いて、遠隔する他ユーザに呼びかけるユーザ音声がマイクロホン１２０に入力されると（Ｓ２４０）、相対位置推定部１３６が、呼びかけ相手の撮像装置２２からの相対位置を推定する。具体的には、相対位置推定部１３６は、チルト角度およびパン角度に基づいて呼びかけ相手の方向を推定し、ズーム量に基づいて呼びかけ相手の撮像装置２２からの距離を推定する。
【００７６】
その後、アドレス変換部１３８が、相対位置推定部１３６により推定された相対位置に対応するスピーカ２４を選択し、選択したスピーカ２４のアドレスを通信制御部１６０へ出力する（Ｓ２６０）。具体的には、アドレス変換部１３８は、撮像装置２２が設置されている遠隔地での座標系におけるスピーカ２４Ａ〜２４Ｃの空間座標、および通信用のアドレスを保持している。また、アドレス変換部１３８は、相対位置推定部１３６により推定された相対位置から、呼びかけ相手の遠隔地での座標系を得ることができる。このため、アドレス変換部１３８は、呼びかけ相手と各スピーカ２４との空間座標における距離を算出し、呼びかけ相手に最も近いスピーカ２４を選択することが可能である。
【００７７】
そして、通信制御部１６０が、アドレス変換部１３８により選択されたスピーカ２４へユーザ音声を送信する（Ｓ２７０）。これにより、ユーザ音声を、遠隔コミュニケーション装置１０のユーザの呼びかけ相手に最も近いスピーカ２４から出力させることが可能となる。
【００７８】
（まとめ）
以上説明したように、本実施形態によれば、撮像装置２２のズーム量に基づき、呼びかけ相手と撮像装置２２との間の距離を推定することができる。さらに、本実施形態によれば、呼びかけ相手の位置に応じたスピーカからユーザ音声を出力させることが可能である。また、呼びかけ相手と撮像装置２２との間の距離を、ユーザ音声の音量に応じて補正することもできる。
【００７９】
なお、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００８０】
例えば、本明細書の遠隔コミュニケーション装置１０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、遠隔コミュニケーション装置１０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【００８１】
また、遠隔コミュニケーション装置１０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した遠隔コミュニケーション装置１０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。
【符号の説明】
【００８２】
１０ 遠隔コミュニケーション装置
２２ 撮像装置
２４ スピーカ
２６ 通信装置
１１０ 操作部
１１２ ズーム制御部
１１４ チルト制御部
１１６ パン制御部
１２０ マイクロホン
１３０ システム制御部
１３２ 制御量演算部
１３４ 音声処理部
１３６ 相対位置推定部
１３８ アドレス変換部
１４０ 撮像装置制御部
１５０ 表示部
１６０ 通信制御部
【特許請求の範囲】
【請求項１】
第１のユーザの映像を受信して第２のユーザに提示するための遠隔コミュニケーション装置であって：
前記第１のユーザの映像を撮像する撮像装置のズームを制御するズーム制御部と；
前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定する推定部と；
を備える、遠隔コミュニケーション装置。
【請求項２】
前記推定部は、前記撮像装置のズーム量において前記撮像装置の撮像範囲内に所定の物体を配した場合に、前記所定の物体が前記撮像装置により得られる映像中の所定範囲を占めると推定される距離を、前記撮像装置と前記第１のユーザとの間の距離として推定する、請求項１に記載の遠隔コミュニケーション装置。
【請求項３】
前記撮像装置のパン角度、チルト角度、および前記推定部により推定された前記撮像装置と前記第１のユーザとの間の距離に基づいて、前記撮像装置が設置されている座標系における前記第１のユーザの座標を取得する座標取得部をさらに備える、請求項２に記載の遠隔コミュニケーション装置。
【請求項４】
前記第２のユーザの音声を集音する集音部と；
前記第１のユーザ付近に設置された複数のスピーカの少なくともいずれかに前記集音部により集音された音声を送信する通信制御部と；
をさらに備え、
前記通信制御部は、前記座標取得部により取得された前記第１のユーザと最も座標が近いスピーカに前記集音部により集音された音声を送信する、請求項３に記載の遠隔コミュニケーション装置。
【請求項５】
前記集音部により集音された前記第２のユーザの音声の音量を検出する音声処理部をさらに備え、
前記推定部は、前記撮像装置のズーム量に加え、前記音声処理部により検出された前記第２のユーザの音声の音量に基づいて前記撮像装置と前記第１のユーザとの間の距離を推定する、請求項４に記載の遠隔コミュニケーション装置。
【請求項６】
前記撮像装置のパン角度、チルト角度、および前記推定部により推定された前記撮像装置と前記第１のユーザとの間の距離に基づいて、前記撮像装置が設置されている座標系における座標範囲を取得する座標取得部と；
前記第２のユーザの音声を集音する集音部と；
前記第１のユーザ付近に設置された複数のスピーカのうちで、前記座標取得部により取得された前記座標範囲に含まれるスピーカに前記集音部により集音された音声を送信する通信制御部と；
をさらに備える、請求項１に記載の遠隔コミュニケーション装置。
【請求項７】
第１のユーザの映像を受信して第２のユーザに提示するステップと；
前記第１のユーザの映像を撮像する撮像装置のズームを制御するステップと；
前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定するステップと；
を含む、遠隔コミュニケーション方法。
【請求項８】
第１のユーザの映像を撮像する撮像装置と；
前記撮像装置により撮像された映像を受信して第２のユーザに提示するための遠隔コミュニケーション装置と；
を備え、
前記遠隔コミュニケーション装置は、
前記撮像装置のズームを制御するズーム制御部、および、
前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定する推定部、
を有する、遠隔コミュニケーションシステム。
【請求項１】
第１のユーザの映像を受信して第２のユーザに提示するための遠隔コミュニケーション装置であって：
前記第１のユーザの映像を撮像する撮像装置のズームを制御するズーム制御部と；
前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定する推定部と；
を備える、遠隔コミュニケーション装置。
【請求項２】
前記推定部は、前記撮像装置のズーム量において前記撮像装置の撮像範囲内に所定の物体を配した場合に、前記所定の物体が前記撮像装置により得られる映像中の所定範囲を占めると推定される距離を、前記撮像装置と前記第１のユーザとの間の距離として推定する、請求項１に記載の遠隔コミュニケーション装置。
【請求項３】
前記撮像装置のパン角度、チルト角度、および前記推定部により推定された前記撮像装置と前記第１のユーザとの間の距離に基づいて、前記撮像装置が設置されている座標系における前記第１のユーザの座標を取得する座標取得部をさらに備える、請求項２に記載の遠隔コミュニケーション装置。
【請求項４】
前記第２のユーザの音声を集音する集音部と；
前記第１のユーザ付近に設置された複数のスピーカの少なくともいずれかに前記集音部により集音された音声を送信する通信制御部と；
をさらに備え、
前記通信制御部は、前記座標取得部により取得された前記第１のユーザと最も座標が近いスピーカに前記集音部により集音された音声を送信する、請求項３に記載の遠隔コミュニケーション装置。
【請求項５】
前記集音部により集音された前記第２のユーザの音声の音量を検出する音声処理部をさらに備え、
前記推定部は、前記撮像装置のズーム量に加え、前記音声処理部により検出された前記第２のユーザの音声の音量に基づいて前記撮像装置と前記第１のユーザとの間の距離を推定する、請求項４に記載の遠隔コミュニケーション装置。
【請求項６】
前記撮像装置のパン角度、チルト角度、および前記推定部により推定された前記撮像装置と前記第１のユーザとの間の距離に基づいて、前記撮像装置が設置されている座標系における座標範囲を取得する座標取得部と；
前記第２のユーザの音声を集音する集音部と；
前記第１のユーザ付近に設置された複数のスピーカのうちで、前記座標取得部により取得された前記座標範囲に含まれるスピーカに前記集音部により集音された音声を送信する通信制御部と；
をさらに備える、請求項１に記載の遠隔コミュニケーション装置。
【請求項７】
第１のユーザの映像を受信して第２のユーザに提示するステップと；
前記第１のユーザの映像を撮像する撮像装置のズームを制御するステップと；
前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定するステップと；
を含む、遠隔コミュニケーション方法。
【請求項８】
第１のユーザの映像を撮像する撮像装置と；
前記撮像装置により撮像された映像を受信して第２のユーザに提示するための遠隔コミュニケーション装置と；
を備え、
前記遠隔コミュニケーション装置は、
前記撮像装置のズームを制御するズーム制御部、および、
前記撮像装置のズーム量に基づき、前記撮像装置と前記第１のユーザとの間の距離を推定する推定部、
を有する、遠隔コミュニケーションシステム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２０１１−４４８８５（Ｐ２０１１−４４８８５Ａ）
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願番号】特願２００９−１９１３４９（Ｐ２００９−１９１３４９）
【出願日】平成２１年８月２０日（２００９．８．２０）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
【公開日】平成２３年３月３日（２０１１．３．３）
【国際特許分類】
【出願日】平成２１年８月２０日（２００９．８．２０）
【出願人】（００００００２９５）沖電気工業株式会社 (6,645)
【Ｆターム（参考）】
[ Back to top ]