通信端末、通信システム、通信方法、及び通信プログラム
【課題】撮影される画像の中心付近にユーザの像が配置された表示画像を容易に作成することができる通信端末、会議システム、通信方法、及び通信プログラムを提供する。
【解決手段】カメラから取得された正面画像１１１から、ユーザ１００の頭部が検出される。ユーザ１００の頭部の輪郭線１１２が抽出される。抽出された輪郭線１１２が内側にちょうど収まる矩形状の領域１１７が定義付けられる。矩形状の領域１１７は、会議端末のディスプレイの画面解像度に基づいて、幅又は高さが伸長され、周辺領域１１８が特定される。取得された正面画像１１１から、特定された周辺領域１１８内の部分の画像が切り出される。切り出された画像は、会議端末の正面ディスプレイに表示可能なように、拡大又は縮小され、表示画像が作成される。作成された表示画像は、会議端末に対して送信される。
【解決手段】カメラから取得された正面画像１１１から、ユーザ１００の頭部が検出される。ユーザ１００の頭部の輪郭線１１２が抽出される。抽出された輪郭線１１２が内側にちょうど収まる矩形状の領域１１７が定義付けられる。矩形状の領域１１７は、会議端末のディスプレイの画面解像度に基づいて、幅又は高さが伸長され、周辺領域１１８が特定される。取得された正面画像１１１から、特定された周辺領域１１８内の部分の画像が切り出される。切り出された画像は、会議端末の正面ディスプレイに表示可能なように、拡大又は縮小され、表示画像が作成される。作成された表示画像は、会議端末に対して送信される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数拠点間で遠隔会議を実行する通信端末、通信システム、通信方法、及び通信プログラムに関する。
【背景技術】
【０００２】
従来、複数拠点に設けられた通信端末間で遠隔会議を実行する遠隔会議システムが知られている。例えば特許文献１に記載の通信端末は、カメラが一体化したディスプレイを備えている。ユーザがこのディスプレイを正面から注視した状態で、ユーザは正面から撮影される。別の拠点の通信端末（以下、会議端末という。）のディスプレイには、ユーザの正面画像が表示される。従って遠隔会議システムのユーザは、遠隔地のユーザとの間で臨場感の高い会議を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−６５４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の会議端末の周囲を取り囲むようにユーザが着座した場合を想定する。このような場合、ディスプレイと正対しているユーザは、ディスプレイの表示内容を確実に目視できるため、遠隔地のユーザの表情などを把握できる。一方、ディスプレイと正対していないユーザは、ディスプレイの表示内容を目視困難であるか、その位置関係によっては表示内容を全く目視できないことがある。そうすると、遠隔地のユーザの表情などを把握できないことになる。
【０００５】
本発明の目的は、異なる方向を向いた複数のディスプレイを備え、特定のディスプレイと正対していないユーザも、他のディスプレイに表示される画像を目視して遠隔地のユーザの表情などを把握できる会議端末のディスプレイに表示させる画像を作成する通信端末であって、画像の中心付近にユーザの像が配置された表示画像を容易に作成することができる通信端末、通信システム、通信方法、及び通信プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の第一態様に係る通信端末は、ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び、横顔を含む第二表示画像を表示する少なくとも一つの第二表示部を備えた遠隔会議用の会議端末に対して、前記第一表示画像及び前記第二表示画像を送信する通信端末であって、制御部と、前記制御部への命令を記憶したメモリとを備え、前記命令が実行されることにより、前記ユーザの正面顔を含む領域を撮影する第一撮影部から、前記正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、前記第一取得ステップにおいて取得された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域を切り出す第一切り出しステップと、前記第一切り出しステップにおいて切り出された前記周辺領域の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部から、前記横顔を含む領域の画像である側面画像を取得する第二取得ステップと、前記第二取得ステップにおいて取得された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域の画像を切り出す第二切り出しステップと、前記第二切り出しステップにおいて切り出された前記周辺領域の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、前記第一作成ステップにおいて作成された前記第一表示画像、及び、前記第二作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する第一送信ステップとを実行する。
【０００７】
第一態様によれば、通信端末は、第一撮影部及び第二撮影部から取得した画像のうち、ユーザの頭部の画像である頭部画像を検出する。通信端末は、頭部画像が中心に配置されるように画像を切り出し、表示画像を作成する。作成された表示画像は、会議端末に送信され、会議端末の表示部に表示される。通信端末は、複数の撮影部によって撮影された其々の画像に基づいて、ユーザの頭部が中心に配置した複数の表示画像を作成することができる。よって、通信端末のユーザが第一撮影部及び第二撮影部を設置する場合において、撮影される画像の中心付近にユーザが配置されるように第一撮影部及び第二撮影部の配置を調整する作業や、ユーザがわずかに動くことによって被写体位置を調整する作業が不要となる。ユーザは、画像の中心付近に自身の像が中心に配置された表示画像を容易に得ることができる。
【０００８】
また第一態様において、前記制御部は、前記第二取得ステップにおいて前記側面画像が繰り返し取得された場合に、取得された前記側面画像のうち、前記第二切り出しステップにおいて前回切り出された前記周辺領域に対応する対応領域内の画像を切り出す第三切り出しステップと、前記第二頭部画像が全て収まっているか否かを判断する判断ステップと、前記判断ステップにおいて、前記対応領域内に前記第二頭部画像が全て収まっていないと判断された場合に、前記第三切り出しステップによる切り出しを所定時間禁止する禁止ステップと、前記判断ステップにおいて、前記対応領域内に前記第二頭部画像が全て収まっていると判断された場合に、前記第三切り出しステップにおいて切り出された前記対応画像内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第三作成ステップと、前記第三作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する第二送信ステップとを更に実行してもよい。通信端末では、複数の撮影部によって撮影された複数の画像が処理される必要があるので、通信端末の処理負荷は高くなり易い。これに対して通信端末は、ユーザの頭部の画像が、側面画像のうち対応領域内に全て収まっていない場合、画像の切り出しを所定時間禁止することができる。これによって、周辺領域の特定及び切り出し処理に要する処理負荷を軽減できるので、通信端末は、実行される他の処理を円滑に実行することができる。なお、側面画像に要求される画質は、正面画像に要求される画質よりも低いことが想定される。正面画像には、ユーザの表情や頭の動きが顕著に現れるのに対し、側面画像は、正面画像と比較して変化や動きが少ないためである。通信端末では、第一表示画像を作成する処理は禁止されず継続されるので、第一表示画像の画質は維持される。従って、切り出し処理及が所定時間禁止され、第二表示画像が所定時間更新されない場合でも、通信端末は、実行される遠隔会議の実用性を十分維持することができる。
【０００９】
また第一態様において、前記制御部は、前記第二取得ステップにおいて前記側面画像が繰り返し取得された場合に、取得された前記側面画像のうち、前記第二切り出しステップにおいて前回切り出された前記周辺領域に対応する対応領域内の画像を切り出す第三切り出しステップと、前記第三切り出しステップにおいて切り出された前記対応画像内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第三作成ステップと、前記第三作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する第二送信ステップとを更に実行してもよい。通信端末では、対応領域を繰り返し使用することで、周辺領域の特定に要する処理負荷を軽減できる。これによって通信端末は、実行される他の処理を円滑に実行することができる。なお、側面画像に要求される画質は、正面画像に要求される画質よりも低いことが想定される。正面画像には、ユーザの表情や頭の動きが顕著に現れるのに対し、側面画像は、正面画像と比較して変化や動きが少ないためである。通信端末では、第一表示画像を作成する処理は禁止されず継続されるので、第一表示画像の画質は維持される。
【００１０】
また第一態様において、前記制御部は、前記第二取得ステップを実行する場合において、複数の前記第二撮影部から複数の前記側面画像を取得し、前記判断ステップを実行する場合において、前記第二取得ステップにおいて前記複数の側面画像が繰り返し取得された場合に、取得された其々の前記側面画像の前記対応領域内に、前記第二頭部画像が全て収まっているか否かを判断し、前記判断ステップにおいて、前記複数の側面画像のうち何れかの前記側面画像の前記対応領域内に、前記第二頭部画像が全て収まっていないと判断された場合に、前記第二頭部画像が全て収まっていると判断された他の前記側面画像に基づいて前記第二作成ステップにおいて作成された前記第二表示画像の鏡像を作成する第四作成ステップと、前記第四作成ステップにおいて作成された前記鏡像画像を、前記会議端末に対して送信する第三送信ステップとを更に実行してもよい。通信端末は、ユーザの頭部が一の側面画像の対応領域内に全て収まっていない場合、頭部が全て収まっている他の側面画像に基づいて作成された第二表示画像から鏡像画像を作成する。通信端末は、頭部が収まっていないと判断された側面画像に基づく第二表示画像の代わりに、作成した鏡像画像を会議端末に対して送信する。通信装置は、一方の側面画像から、違和感のない他方の側面画像を作成することができる。作成された画像が会議端末の表示部に表示された場合、画像は頻繁に更新されるので、動きは滑らかになる。また、一方の側面画像から第二表示画像を作成する処理を禁止することで、通信端末は、画像処理に要する処理負荷を軽減することができる。
【００１１】
本発明の第二態様に係る通信システムは、前記ユーザの正面顔を含む領域を撮影する第一撮影部、及び、前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部を備えた通信端末と、前記ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び前記ユーザの横顔を含む第二表示画像を表示する第二表示部を備え、前記通信端末と通信を行う会議端末とを備えた通信システムであって、前記通信端末は、制御部と、前記制御部への命令を記憶したメモリとを備え、前記命令が実行されることにより、前記第一撮影部において撮影された、前記ユーザの正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、前記第二撮影部において撮影された、前記ユーザの横顔を含む領域の画像である側面画像を取得する第二取得ステップと、前記第一取得ステップにおいて取得された前記正面画像、及び、前記第二取得ステップにおいて取得された前記側面画像を、前記会議端末に対して送信する送信ステップとを実行し、前記会議端末は、制御部と、前記制御部への命令を記憶したメモリとを備え、前記命令が実行されることにより、前記正面画像、及び前記側面画像を前記通信端末から受信する受信ステップと、前記受信ステップにおいて受信された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域を切り出す第一切り出しステップと、前記第一切り出しステップにおいて切り出された前記周辺領域の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、前記受信ステップにおいて受信された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域の画像を切り出す第二切り出しステップと、前記第二切り出しステップにおいて切り出された前記周辺領域の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、前記第一作成ステップにおいて作成された前記第一表示画像を前記第一表示部に表示し、前記第二作成ステップにおいて作成された前記第二表示画像を前記第二表示部に表示する表示ステップとを実行する。
【００１２】
第二態様によれば、会議端末は、通信端末において取得された画像を受信し、受信した画像のうち、ユーザの頭部の画像である頭部画像を検出する。会議端末は、頭部画像が中心に配置されるように画像を切り出し、表示画像を作成する。作成された表示画像は、表示部に表示される。会議端末は、通信端末においてユーザが複数の撮影部によって撮影された場合でも、撮影された其々の画像に基づいて、ユーザの頭部が中心に配置した複数の表示画像を作成することができる。よって、通信端末のユーザが第一撮影部及び第二撮影部を設置する場合において、撮影される画像の中心付近にユーザが配置されるように第一撮影部及び第二撮影部の配置を調整する作業や、ユーザがわずかに動くことによって被写体位置を調整する作業が不要となる。ユーザは、画像の中心付近に自身の像が中心に配置された表示画像を容易に得ることができる。
【００１３】
本発明の第三態様に係る通信方法は、ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び、横顔を含む第二表示画像を表示する少なくとも一つの第二表示部を備えた遠隔会議用の会議端末に対して、前記第一表示画像及び前記第二表示画像を送信する通信方法であって、前記ユーザの正面顔を含む領域を撮影する第一撮影部から、前記正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、前記第一取得ステップにおいて取得された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域を切り出す第一切り出しステップと、前記第一切り出しステップにおいて切り出された前記周辺領域の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部から、前記横顔を含む領域の画像である側面画像を取得する第二取得ステップと、前記第二取得ステップにおいて取得された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域の画像を切り出す第二切り出しステップと、前記第二切り出しステップにおいて切り出された前記周辺領域の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、前記第一作成ステップにおいて作成された前記第一表示画像、及び、前記第二作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する送信ステップとを備えている。
【００１４】
第三態様に係る通信方法では、第一撮影部及び第二撮影部から取得された画像のうち、ユーザの頭部の画像である頭部画像が検出される。頭部画像が中心に配置されるように画像が切り出され、表示画像が作成される。作成された表示画像は、会議端末に送信され、会議端末の表示部に表示される。ユーザが複数の撮影部によって撮影された場合でも、ユーザの頭部が中心に配置した複数の画像が其々の画像に基づいて作成され、会議端末が備える複数の表示部に表示される。よって、通信端末のユーザが第一撮影部及び第二撮影部を設置する場合において、撮影される画像の中心付近にユーザが配置されるように第一撮影部及び第二撮影部の配置を調整する作業や、ユーザがわずかに動くことによって被写体位置を調整する作業が不要となる。ユーザは、画像の中心付近に自身の像が中心に配置された表示画像を容易に得ることができる。
【００１５】
本発明の第四態様に係る通信プログラムは、ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び、横顔を含む第二表示画像を表示する少なくとも一つの第二表示部を備えた遠隔会議用の会議端末に対して、前記第一表示画像及び前記第二表示画像を送信するための通信プログラムであって、前記ユーザの正面顔を含む領域を撮影する第一撮影部から、前記正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、前記第一取得ステップにおいて取得された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域を切り出す第一切り出しステップと、前記第一切り出しステップにおいて切り出された前記周辺領域の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部から、前記横顔を含む領域の画像である側面画像を取得する第二取得ステップと、前記第二取得ステップにおいて取得された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域の画像を切り出す第二切り出しステップと、前記第二切り出しステップにおいて切り出された前記周辺領域の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、前記第一作成ステップにおいて作成された前記第一表示画像、及び、前記第二作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する送信ステップとをコンピュータに実行させるためのものである。
【００１６】
第四態様に係る通信プログラムに基づいてコンピュータが駆動することにより、第一撮影部及び第二撮影部から取得された画像のうち、ユーザの頭部の画像である頭部画像が検出される。頭部画像が中心に配置されるように画像が切り出され、表示画像が作成される。作成された表示画像は、会議端末に送信され、会議端末の表示部に表示される。ユーザが複数の撮影部によって撮影された場合でも、ユーザの頭部が中心に配置した複数の画像が其々の画像に基づいて作成され、会議端末が備える複数の表示部に表示される。よって、通信端末のユーザが第一撮影部及び第二撮影部を設置する場合において、撮影される画像の中心付近にユーザが配置されるように第一撮影部及び第二撮影部の配置を調整する作業や、ユーザがわずかに動くことによって被写体位置を調整する作業が不要となる。ユーザは、画像の中心付近に自身の像が中心に配置された表示画像を容易に得ることができる。
【図面の簡単な説明】
【００１７】
【図１】テレビ会議システム１の全体構成を示す図である。
【図２】会議端末５の斜視図である。
【図３】正面画像１１１から正面表示画像を抽出する処理を説明するための図である。
【図４】画像１１９を示す図である。
【図５】正面画像１２１から正面表示画像を抽出する処理を説明するための図である。
【図６】右面画像１３１から左面表示画像を抽出する処理を説明するための図である。
【図７】画像１３９を示す図である。
【図８】右面画像１４１から左面表示画像を抽出する処理を説明するための図である。
【図９】右面画像１５１から左面表示画像を抽出する処理を説明するための図である。
【図１０】通信端末３の電気的構成を示すブロック図である。
【図１１】会議端末５の電気的構成を示すブロック図である。
【図１２】メイン処理を示すフローチャートである。
【図１３】割り込み処理を示すフローチャートである。
【図１４】正面画像処理を示すフローチャートである。
【図１５】右面画像処理を示すフローチャートである。
【図１６】画像編集処理を示すフローチャートである。
【図１７】第一変形例における割込み処理を示すフローチャートである。
【図１８】第二変形例における割り込み処理を示すフローチャートである。
【図１９】第二変形例における受信処理を示すフローチャートである。
【図２０】第三変形例における右面画像処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態に係る通信端末３について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００１９】
図１を参照して、テレビ会議システム１の全体構成について説明する。テレビ会議システム１では、ユーザが存在する複数の拠点に其々設けられた端末が、ネットワーク２を介して接続されている。本実施形態では、会議が開催されている拠点（以下、会議拠点という。）に設置されている会議端末５と、会議拠点とは異なる拠点（以下、遠隔拠点という。）に設置されている通信端末３との間で、テレビ会議が実行される場合を例示する。
【００２０】
テレビ会議システム１では、通信端末３と会議端末５との間でテレビ会議が開始されると、通信端末３及び会議端末５で其々取得された画像及び音声は、ネットワーク２を介して互いに送受信される。通信端末３では、会議端末５で取得された画像及び音声（つまり、会議拠点に存在するユーザの画像及び音声）が出力される。会議端末５では、通信端末３で取得された画像及び音声（つまり、遠隔拠点に存在するユーザの画像及び音声）が出力される。このように、通信端末３及び会議端末５では、其々相手方の拠点に存在するユーザの画像及び音声がリアルタイムに出力されてテレビ会議が進行する。
【００２１】
通信端末３は、汎用のＰＣである。通信端末３には、複数のカメラ（前側カメラ４６、右側カメラ４７、左側カメラ４８）が接続されている。前側カメラ４６は、遠隔拠点のユーザの前側に配置されている。前側カメラ４６は、ユーザの正面顔を含む領域を撮影する。右側カメラ４７は、遠隔拠点のユーザの右側に配置されている。右側カメラ４７は、ユーザの右横顔を含む領域を撮影する。左側カメラ４８は、遠隔拠点のユーザの左側に配置されている。左側カメラ４８は、ユーザの左横顔を含む領域を撮影する。前側カメラ４６、右側カメラ４７、及び左側カメラ４８は、撮影した画像のデータをネットワーク２へリアルタイムに出力可能な、小型・軽量の汎用カメラ（ＷＥＢカメラなど）である。
【００２２】
図２を参照して、会議端末５の物理的構造について説明する。以下の説明では、図２の右下方向、左上方向、左下方向、右上方向を、会議端末５の前側、後側、右側、左側とする。会議端末５は、テレビ会議を実行するために必要なデバイスが格納された筐体７０を備えている。筐体７０は、筐体上部７１、連結部（図示外）、筐体下部７３からなる。
【００２３】
筐体上部７１は、平面視で正方形状であり、上下方向を長手方向とする箱状体（つまり、縦長直方体状）である。筐体上部７１の前面、右面、及び左面には、其々、前面枠７４、右面枠７５、及び左面枠７６が設けられている。前面枠７４には正面ディスプレイ６１が固定されている。右面枠７５には右面ディスプレイ６２が固定されている。左面枠７６には左面ディスプレイ６３（図１１参照）が固定されている。つまり、筐体上部７１は、その前面及び左右両面の三面にディスプレイを備えている。
【００２４】
前面枠７４には、正面ディスプレイ６１に重畳したタッチパネル５７が固定されている。ユーザは、正面ディスプレイ６１に表示されるメニューやアイコン等を指で触れることで、会議端末５の操作を行うことができる。
【００２５】
前面枠７４の上枠部分における略中央位置には、カメラ６７が設けられている。カメラ６７は正面ディスプレイ６１と同一面に設けられている。従って、正面ディスプレイ６１が画像表示する方向と同一方向（つまり、筐体上部７１の前方）が、カメラ６７によって撮影される。右面枠７５の上枠部分における略中央位置には、右側マイク６４が設けられている。左面枠７６の上枠部分における略中央位置には、左側マイク６５（図１１参照）が設けられている。右側マイク６４及び左側マイク６５は、筐体上部７１の両側面に設けられた一対のバイノーラルマイクである。これによって、会議端末５の周辺で発生した音声は、筐体上部７１の両側面からバイノーラル方式で集音される。
【００２６】
筐体下部７３は、筐体上部７１を下側から支える支持台として機能する。図示しない連結部は、筐体上部７１と筐体下部７３とを連結している。筐体下部７３の前面側に、音声を出力可能なスピーカ６６が設けられている。
【００２７】
通信端末３は、複数のカメラ（前側カメラ４６、右側カメラ４７、及び左側カメラ４８）において撮影された画像を取得する。以下、前側カメラ４６において撮影された画像を、正面画像ともいう。右側カメラ４７において撮影された画像を、右面画像ともいう。左側カメラ４８において撮影された画像を、左面画像ともいう。右面画像及び左面画像を総称し、側面画像ともいう。通信端末３は、取得した其々の画像に基づいて、会議端末５のディスプレイに表示させるための画像を作成する。以下、会議端末５のディスプレイに表示させる画像を、表示画像ともいう。作成された表示画像は、ネットワーク２を介して会議端末５に対して送信され、会議端末５において受信される。正面画像に基づいて作成された表示画像は、正面ディスプレイ６１に表示される。右面画像に基づいて作成された表示画像は、右面ディスプレイ６２に表示される。左面画像に基づいて作成された表示画像は、左面ディスプレイ６３に表示される。
【００２８】
会議拠点では、正面ディスプレイ６１と正対していないユーザも、右面ディスプレイ６２または左面ディスプレイ６３に表示される画像を目視して、遠隔拠点のユーザの表情などを把握することができるので、テレビ会議の臨場感を向上させることができる。また会議端末５では、遠隔地のユーザを三方から撮影した画像が、その撮影方向に対応して三面表示される。このような三面表示によって筐体上部７１を遠隔拠点のユーザの頭部に見せかけることで、会議端末５を擬人化することができる。その結果、遠隔拠点のユーザが会議拠点にあたかも存在しているかのような印象を与えて、テレビ会議での存在感を高めることができる。
【００２９】
正面画像に基づいて表示画像が作成される場合の方法について、図３から図５を参照して説明する。図３に示すように、前側カメラ４６において、ユーザ１００の正面顔を含む撮影領域１１５が撮影されたとする。通信端末３において、撮影領域１１５内の正面画像１１１が取得される。取得された正面画像１１１のうち、ユーザ１００の頭部の画像が検出される。なお、頭部の画像の検出は、周知の様々な方法を用いることができる。例えばＯｐｅｎＣＶライブラリを使用することによって、ユーザ１００の頭部の画像を検出することができる。
【００３０】
ユーザ１００の頭部の画像が検出された後、頭部の輪郭線１１２が抽出される。抽出された輪郭線１１２が内側にちょうど収まる矩形状の領域１１７が定義付けられる。定義付けられた領域１１７内の画像１１３には、ユーザ１００の頭部が中心に含まれている。なお、頭部の輪郭線１１２の抽出、及び領域１１７の定義付けは、周知の様々な方法を用いることができる。例えばＯｐｅｎＣＶライブラリに実装された機能を使用することによって、頭部の輪郭線の抽出、及び、矩形状の領域の定義付けを行うことができる。
【００３１】
会議端末５の正面ディスプレイ６１の画面解像度が取得される。定義付けられた矩形状の領域１１７は、取得された画面解像度に基づいて幅又は高さが伸張され、領域１１８が求められる。例えば、正面ディスプレイ６１の画面解像度が６００×８００（幅×高さ）であって、領域１１７における幅と高さとの比が１：１であった場合、領域１１７の高さは４／３（＝８００／６００）倍に伸長される。上述のようにして求められた領域１１８を、以下周辺領域１１８ともいう。周辺領域１１８内の正面画像１１１が切り出され、図４に示すように、画像１１９が得られる。画像１１９には、ユーザ１００の頭部の画像が中心に大きく配置されている。
【００３２】
得られた画像１１９は、会議端末５の正面ディスプレイ６１に表示可能なように、拡大又は縮小され、表示画像が作成される。表示画像は、通信端末３から会議端末５に対して送信され、会議端末５の正面ディスプレイ６１に表示される。以下、正面画像に基づいて上述のように作成された表示画像を、正面表示画像ともいう。
【００３３】
以上のようにして通信端末３は、ユーザ１００の頭部が中心に大きく配置した正面表示画像を作成することができる。正面ディスプレイ６１には、ユーザ１００の頭部が中心に大きく表示される。従って会議端末５のユーザは、遠隔拠点にいるユーザ１００の正面の様子を良好に把握できる。通信端末３と会議端末５との間で実行されるテレビ会議は円滑に進行する。
【００３４】
上述した正面表示画像の作成処理は、テレビ会議が行われている間、繰り返し継続して実行される。例えば図５に示すように、ユーザ１００が図の左側に移動し、撮影領域１１５内におけるユーザ１００の位置が変化したとする。このような場合も前述と同様に、撮影領域１１５内の正面画像１２１のうち、ユーザ１００の頭部の画像が検出される。検出された頭部の輪郭線１２２が内側にちょうど収まる矩形状の領域１２７が定義付けられる。定義付けられた領域１２７は、正面ディスプレイ６１の画面解像度に基づいて修正され、周辺領域１２８が求められる。求められた周辺領域１２８内の正面画像１２１が切り出される。結果、ユーザ１００の頭部の中心に大きく配置された正面表示画像１２９が作成される。
【００３５】
以上のように、正面画像１２１内におけるユーザ１００の頭部の位置が、撮影領域１１５の中心にない場合でも、通信端末３は、ユーザ１００の頭部が中心に大きく配置される正面表示画像１２９を作成することができる。ユーザ１００の動きに追従して頭部の画像が検出されるので、ユーザ１００が移動した場合でも、会議端末５のユーザは、遠隔拠点にいるユーザ１００の様子を常に良好に把握することができる。
【００３６】
右面画像に基づいて表示画像が作成される場合の方法について、図６から図９を参照して説明する。なお、左面画像に基づいて表示画像が作成される場合の方法は、右面画像に基づいて表示画像が作成される場合の方法と同一であるので、以下では説明を省略している。
【００３７】
図６に示すように、右側カメラ４７において、ユーザ１００の横顔を含む撮影領域１３５が撮影されたとする。通信端末３において、撮影領域１３５内の右面画像１３１が取得される。取得された右面画像１３１のうち、ユーザ１００の頭部の画像が検出され、頭部の輪郭線１３２が抽出される。抽出された輪郭線１３２が内側にちょうど収まる矩形状の領域１３７が定義付けられる。定義付けられた領域１３７内の画像１３３には、ユーザ１００の頭部が中心に含まれている。
【００３８】
会議端末５の右面ディスプレイ６２の画面解像度が取得される。取得された画面解像度によって、領域１３７の幅又は高さが伸張され、周辺領域１３８が求められる。周辺領域１３８内の右面画像１３１が切り出され、図７に示すように、画像１３９が得られる。画像１３９には、ユーザ１００の頭部が中心に大きく配置されている。画像１３９は、会議端末５の右面ディスプレイ６２に表示可能なように拡大又は縮小され、表示画像が作成される。表示画像は、通信端末３から会議端末５に対して送信され、会議端末５の右面ディスプレイ６２に表示される。以下、右面画像に基づいて上述のように作成された表示画像を、右面表示画像ともいう。上述と同様の方法で、左面画像に基づいて作成された表示画像を、左面表示画像という。以上までの処理は、正面画像に基づいて正面表示画像が作成さる場合の方法と同一である。
【００３９】
以上のように通信端末３は、ユーザ１００の頭部が中心に大きく配置した右面表示画像を作成することができる。右面ディスプレイ６２には、ユーザ１００の頭部が中心に大きく配置される。従って会議端末５のユーザは、遠隔拠点にいるユーザ１００の側面の様子を良好に把握することができる。通信端末３と会議端末５との間で実行されるテレビ会議は円滑に進行する。
【００４０】
またユーザ１００は、前側カメラ４６、右側カメラ４７、及び左側カメラ４８の設置を容易に行うことができる。理由は以下のとおりである。テレビ会議時において遠隔拠点の様子を良好に把握するためには、会議端末５のディスプレイの中心付近にユーザ１００の頭部が配置されることが好ましい。従って通信端末３のユーザは、撮影画像の中心付近にユーザ１００の頭部が配置されるように、其々のカメラの設置場所及びその向きを調整する作業が必要となる。ここで、其々のカメラは異なる方向を向いているので、全ての撮影画像の中心付近にユーザ１００の頭部が配置されるように、其々のカメラの設置場所及びその向きを調整することは非常に手間がかかる。
【００４１】
これに対して通信端末３は、ユーザ１００の頭部を自動的に検出し、頭部が中心に大きく配置される表示画像を自動的に作成することができる。ユーザ１００は、前側カメラ４６、右側カメラ４７、及び左側カメラ４８の設置場所及び向きの調整を厳密に行う必要がなくなる。従って、前側カメラ４６、右側カメラ４７、及び左側カメラ４８の設置作業は非常に容易となる。
【００４２】
図８及び図９に示すように、ユーザ１００が移動し、撮影領域１３５内におけるユーザ１００の位置が、図の右側に変化したとする。この場合、前述した正面表示画像の作成方法とは異なる方法が実行される。画像１３９（図７参照）が右面画像１３１（図６参照）から切り出される場合に用いられた周辺領域１３８と同一の位置及び大きさの領域が、新たに取得された右面画像１４１上に配置される。以下、この領域を、対応領域１４０ともいう。ユーザ１００の頭部の画像が対応領域１４０内に収まっているかが判断される。図８のように、ユーザ１００の頭部の移動量が比較的小さく、対応領域１４０内にユーザ１００の頭部の画像が収まっている場合、対応領域１４０がそのまま用いられ、右面画像１４１から画像１４３が切り出される。切り出された画像１４３のうちユーザ１００の頭部は、中心よりもやや右に配置している。切り出された画像１４３は、右面ディスプレイ６２に表示可能なように拡大又は縮小された後、会議端末５に対して送信され、会議端末５の右面ディスプレイ６２に表示される。
【００４３】
以上のように通信端末３は、周辺領域１３８に対応する対応領域１４０をそのまま繰り返し使用し、新たに取得された右面画像１４１から画像を切り出すことができる。この場合通信端末３では、頭部の輪郭線の抽出、及び、該輪郭線が収まる領域の定義付けの処理が不要となる。通信端末３では、複数のカメラによって撮影された複数の画像の処理が並行して実行されるので、処理負荷は常時高い状態にある。これに対して通信端末３は、上述のように処理量を減らすことで処理負荷を抑制できるので、各処理を遅滞なくスムーズに実行できる。
【００４４】
一方、例えば図９に示すように、ユーザ１００の移動量が大きく、ユーザ１００の頭部が対応領域１４０内に収まらなかったとする。この場合通信端末３は、対応領域１４０内の画像を右面画像１５１から切り出す処理を所定時間（例えば１秒間）停止する。所定時間経過後、通信端末３は、右面画像１５１からユーザ１００の頭部の画像を新たに検出し、周辺領域を求めて右面表示画像を作成する処理を再開する。
【００４５】
以上のように通信端末３は、ユーザ１００の頭部が対応領域１４０内に収まっていない場合、画像の切り出しを所定時間停止することができる。これによって、切り出し処理に要する処理負荷は軽減されるので、通信端末３は他の処理を遅滞なくスムーズに実行することができる。ここで、画像の切り出し処理が所定時間停止されることによって、右面表示画像の更新頻度が少なくなり、動きが若干ぎこちなくなることが想定される。しかしながら、テレビ会議において右面表示画像に求められる画質は、正面表示画像に求められる画質よりも低いことが想定される。正面表示画像には、ユーザの表情や頭の動きが顕著に現れるのに対し、右面表示画像は、正面画像と比較して変化や動きが少ないためである。通信端末３では、右面表示画像の更新頻度が少なくなった場合でも、正面表示画像の更新頻度は維持されるので、正面表示画像の画質は維持される。従って、通信端末３は、実行されるテレビ会議の実用性を維持することができる。
【００４６】
図１０を参照して、通信端末３の電気的構成について説明する。通信端末３は、通信端末３の制御を司るＣＰＵ３０を備えている。ＲＯＭ３１、及びＲＡＭ３２は、ＣＰＵ３０に接続している。ＨＤＤ３３、ビデオコントローラ３４、オーディオコントローラ３５、通信装置３６、キーボード４１、マウス４２、前側カメラ４６、右側カメラ４７、及び左側カメラ４８は、Ｉ／Ｏインタフェイス４０を介してＣＰＵ３０と接続している。ディスプレイ４３はビデオコントローラ３４と接続している。マイク４４、及びスピーカ４５は、オーディオコントローラ３５と接続している。
【００４７】
ＨＤＤ３３は、大容量のハードディスクドライブである。ＨＤＤ３３には、テレビ会議を実行するための各種データ（例えば、通信端末３で取得された画像や音声のデータ、会議端末５から受信した画像や音声のデータ）、ＣＰＵ３０において実行される各種プログラム等が記憶されている。通信装置３６は、ネットワーク２を介してデータの送受信を行うコントローラである。
【００４８】
図１１を参照して、会議端末５の電気的構成について説明する。会議端末５は、会議端末５の制御を司るＣＰＵ５０を備えている。ＲＯＭ５１、及びＲＡＭ５２は、ＣＰＵ５０に接続している。ＨＤＤ５３、ビデオコントローラ５４、オーディオコントローラ５５、通信装置５６、タッチパネル５７、及びカメラ６７は、Ｉ／Ｏインタフェイス６０を介してＣＰＵ５０と接続している。正面ディスプレイ６１、右面ディスプレイ６２、及び左面ディスプレイ６３は、ビデオコントローラ５４と接続している。右側マイク６４、左側マイク６５、及びスピーカ６６は、オーディオコントローラ５５と接続している。
【００４９】
ＨＤＤ５３は、大容量のハードディスクドライブである。ＨＤＤ５３には、テレビ会議を実行するための各種データ（例えば、会議端末５で取得された画像や音声のデータ、通信端末３から受信した画像や音声のデータ）、ＣＰＵ５０において実行される各種プログラム等が記憶されている。通信装置５６は、ネットワーク２を介してデータの送受信を行うコントローラである。
【００５０】
図１２から図１６を参照し、通信端末３のＣＰＵ３０において実行されるメイン処理、及び割り込み処理について説明する。メイン処理は、テレビ会議のアプリケーションを開始する指示が、キーボード４１又はマウス４２を介してユーザによってなされた場合に、ＣＰＵ３０において起動され実行される。割り込み処理は、メイン処理中で起動が許可された場合に、所定の周期で繰り返し起動され実行される定周期割込みである。
【００５１】
図１２を参照し、メイン処理について説明する。会議参加要求が会議サーバ（図示外）に送信される（Ｓ１）。会議参加要求は、テレビ会議システム１で実行されるテレビ会議への参加を要求するコマンドである。会議サーバは、ネットワーク２を介して会議参加要求を受信した場合、会議参加要求に含まれる認証情報に基づいてユーザ認証を行う。ユーザ認証が成功した場合、参加許可を要求元の通信端末３に返信する。ユーザ認証が失敗した場合、参加拒否を要求元の通信端末３に返信する。
【００５２】
会議参加要求が送信された後、参加許可を取得したか否かが判断される（Ｓ３）。会議サーバから参加拒否を受信した場合、参加許可を取得していないと判断される（Ｓ３：ＮＯ）。この場合、テレビ会議は開始されることなく、メイン処理は終了する。会議サーバから参加許可を受信した場合、参加許可を取得したと判断される（Ｓ３：ＹＥＳ）。この場合、割り込み処理（図１３参照）が起動される（Ｓ５）。割込み処理では、カメラにおいて撮影された画像が取得される。取得された画像に基づいて表示画像が作成され、会議端末５に対して送信される。割込み処理の詳細は後述する。
【００５３】
テレビ会議を終了させる旨の指示が、キーボード４１又はマウス４２を介してユーザによって入力されたか否かが判断される（Ｓ７）。テレビ会議を終了させる旨の指示が入力された場合（Ｓ７：ＹＥＳ）、Ｓ５で起動された割込み処理が終了され（Ｓ９）、メイン処理は終了する。テレビ会議を終了させる指示が入力されていない場合（Ｓ７：ＮＯ）、処理はＳ７に戻り、テレビ会議は継続する。
【００５４】
なお上述では、ネットワーク２に接続する会議サーバに参加許可を送信することによって、テレビ会議への参加を要求していたが、本発明はこれに限定されない。通信端末３は、会議端末５に対して参加許可を送信してもよい。会議端末５において認証処理が実行され、通信端末３をテレビ会議に参加させるか否かが判断されてもよい。
【００５５】
図１３を参照し、割込み処理について説明する。前側カメラ４６から正面画像が取得される（Ｓ１１）。右側カメラ４７から右面画像が取得される（Ｓ１３）。左側カメラ４８から左面画像が取得される（Ｓ１３）。Ｓ１１で取得された正面画像に基づいて正面表示画像を作成する処理（正面画像処理、図１４参照）が実行される（Ｓ１５）。正面画像処理の詳細は後述する。Ｓ１３で取得された右面画像に基づいて右面表示画像を作成する処理（右面画像処理、図１５参照）が実行される（Ｓ１７）。右面画像処理の詳細は後述する。Ｓ１３で取得された左面画像に基づいて左面表示画像を作成する処理（左面画像処理）が実行される（Ｓ１９）。左面画像処理は、右面画像処理（図１５参照）と同一である。
【００５６】
所定フレーム数（例えば、１フレーム）分の正面表示画像、右面表示画像、及び左面表示画像が、正面画像処理（Ｓ１５参照）、右面画像処理（Ｓ１７参照）、及び左面画像処理（Ｓ１９参照）において作成されたか否かが判断される（Ｓ２１）。所定フレーム数分の表示画像が作成された場合（Ｓ２１：ＹＥＳ）、各表示画像に、撮影元カメラを示す識別タグが付与される（Ｓ２３）。識別タグが付与された表示画像は、公知のデータ圧縮が実行された後、転送用にパケット化され、映像パケットが作成される（Ｓ２５）。映像パケットは、会議端末５へ送信される（Ｓ２７）。割込み処理は終了する。一方、Ｓ２１において所定フレーム数分の表示画像が作成されていないと判断された場合（Ｓ２１：ＮＯ）、割込み処理は終了する。
【００５７】
Ｓ５（図１２参照）で起動された割込み処理がＳ９（図１２参照）で終了されるまで、所定フレーム数分の表示画像が作成される毎に、映像パケットが会議端末５へ送信される。具体的には、テレビ会議の実行中は、遠隔拠点を映し出した表示画像を含む映像パケットが会議端末５へ送信される。映像パケットには、ユーザの頭部正面を含む正面表示画像、ユーザの頭部右側面を含む右面表示画像、及び、ユーザの頭部左側面を含む左面表示画像が含まれる。
【００５８】
通信端末３から送信された映像パケットは、会議端末５において受信される。会議端末５では、受信されたパケットから圧縮済みの表示画像が取り出される。この表示画像について公知の解凍処理が実行される。解凍された表示画像に付与されている識別タグが特定される。識別タグ「前側カメラ」が付与されている正面表示画像は、正面ディスプレイ６１に表示される。識別タグ「右側カメラ」が付与されている右面表示画像は、右面ディスプレイ６２に表示される。識別タグ「左側カメラ」が付与されている左面表示画像は、左面ディスプレイ６３に表示される。これによって会議端末５は、通信端末３から映像パケットが受信される毎に、３つのディスプレイに選択的に表示画像を表示することができる。会議拠点のユーザは、各ディスプレイに映し出される表示画像によって、遠隔拠点のユーザの顔等を見ることができる。
【００５９】
図１４を参照し、正面画像処理について説明する。Ｓ１１（図１３参照）で前側カメラ４６から取得された正面画像から、ユーザの頭部の画像の検出が試みられる（Ｓ３１）。ユーザの頭部の画像が検出できなかった場合（Ｓ３３：ＮＯ）、ユーザの頭部の画像が正面画像内に含まれていない可能性がある。この場合、正面表示画像を作成することができないので、正面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。一方、ユーザの頭部の画像が検出された場合（Ｓ３３：ＹＥＳ）、正面画像に基づいて正面表示画像を作成する処理（画像編集処理（図１６参照））が実行される（Ｓ３５）。正面表示画像が作成されて画像編集処理が終了した後、処理は割り込み処理（図１３参照）に戻る。作成された正面表示画像は、割り込み処理（図１３参照）において映像パケットに格納され、会議端末５に対して送信される。
【００６０】
図１６を参照し、画像編集処理について説明する。Ｓ３１（図１４参照）で検出されたユーザの頭部の輪郭線（輪郭線１１２、図３参照）が抽出される（Ｓ６１）。抽出された輪郭線が内側にちょうど収まる矩形状の領域（領域１１７、図３参照）が特定される（Ｓ６３）。会議端末５の正面ディスプレイ６１の画面解像度が取得される（Ｓ６５）。なお画面解像度は、予めＨＤＤ３３に記憶された正面ディスプレイ６１の画面解像度が読み出されることで取得される。矩形状の領域は、Ｓ６５で取得された画面解像度に基づいて、幅又は高さが伸長される。これによって、周辺領域（周辺領域１１８、図３参照）が特定される（Ｓ６７）。Ｓ１１（図１３参照）で取得された正面画像から、特定された周辺領域内の部分の画像（画像１１９、図４参照）が切り出される（Ｓ６９）。切り出された画像は、会議端末５の正面ディスプレイ６１に表示可能なように、拡大又は縮小される（Ｓ７１）。以上の手順を経て、正面表示画像が作成される。作成された正面表示画像では、ユーザの頭部が中心に大きく配置されている。処理は、正面画像処理（図１４参照）に戻る。
【００６１】
上述した処理は、割り込み処理（図１３参照）が所定周期で起動される度に実行される。従って例えば、Ｓ１１で取得された正面画像中のユーザの位置が変化しても（図５参照）、変化後のユーザの頭部の画像が検出され、検出された頭部が中心に大きく配置された正面表示画像が作成される。このため、会議端末５の正面ディスプレイ６１には、ユーザの頭部が常に中心に大きく表示される。従って会議端末５のユーザは、遠隔拠点にいるユーザの正面の様子を常に良好に把握できる。これによって、テレビ会議は円滑に進行する。
【００６２】
図１５を参照し、右面画像処理について説明する。右面画像処理では、ＲＡＭ３２に記憶されたフラグが使用される。フラグは、Ｓ１３（図１３参照）において右側カメラ４７から取得された右面画像から右面表示画像を作成する処理が許可されているか否かを示す。フラグは、メイン処理のＳ５（図１２参照）で割込み処理が起動された場合に０が格納される。
【００６３】
フラグに１が格納されているかが判断される（Ｓ４１）。フラグに０が格納されている場合（Ｓ４１：ＮＯ）、Ｓ１３（図１３参照）において右側カメラ４７から取得された右面画像から、ユーザの頭部の画像の検出が試みられる（Ｓ４３）。ユーザの頭部の画像が検出できた場合（Ｓ４５：ＹＥＳ）、右面表示画像を作成する場合に右面画像から画像を切り出す周辺領域（周辺領域１３８、図６参照）が既に特定されているかが判断される（Ｓ４７）。周辺領域が未だ特定されていないと判断された場合（Ｓ４７：ＮＯ）、周辺領域を特定して右面表示画像を作成する処理（画像編集処理（図１６参照））が実行される（Ｓ５５）。
【００６４】
図１６を参照し、画像編集処理について説明する。Ｓ４３（図１５参照）で検出されたユーザの頭部の輪郭線（輪郭線１３２、図６参照）が抽出される（Ｓ６１）。抽出された輪郭線が内側にちょうど収まる矩形状の領域（領域１３７、図６参照）が定義付けられる。会議端末５の右面ディスプレイ６２の画面解像度が取得される（Ｓ６５）。取得された画面解像度に基づいて、矩形状の領域の幅又は高さが伸長され、周辺領域（周辺領域１３８、図６参照）が特定される（Ｓ６７）。Ｓ１３（図１３参照）で取得された右面画像から、特定された周辺領域内の部分の画像（画像１３９、図７参照）が切り出される（Ｓ６９）。切り出された画像は、会議端末５の右面ディスプレイ６２に表示可能なように、拡大又は縮小される（Ｓ７１）。以上の手順を経て、右面表示画像が作成される。作成された右面表示画像では、ユーザの頭部が中心に大きく配置されている。従って会議端末５のユーザは、遠隔拠点にいるユーザの右面の様子を常に良好に把握できる。処理は、右面画像処理（図１５参照）に戻る。図１５に示すように、画像編集処理（Ｓ５５）の終了後、右面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。作成された右面表示画像は、割り込み処理（図１３参照）において映像パケットに格納され、会議端末５に対して送信される。
【００６５】
一方、Ｓ４７で、周辺領域が既に特定されていると判断された場合（Ｓ４７：ＹＥＳ）、Ｓ１３（図１３参照）において取得された右面画像上に、既に特定されている周辺領域と同一の位置及び大きさの領域が、対応領域（対応領域１４０、図８、９参照）として配置される。配置された対応領域内に、ユーザの頭部の画像が収まっているかが判断される（Ｓ４９）。ユーザの頭部の画像が対応領域内に収まっていない（図９参照）と判断された場合（Ｓ４７：ＮＯ）、右面表示画像の作成処理を１秒間禁止するために、フラグに１が格納される（Ｓ５３）。右面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。
【００６６】
一方、ユーザの頭部の画像が対応領域内に収まっている（図８参照）と判断された場合（Ｓ４９：ＹＥＳ）、右面画像のうち対応領域内の部分の画像（画像１４３、図８参照）が切り出される（Ｓ５１）。切り出された画像は、会議端末５の右面ディスプレイ６２に表示可能なように拡大又は縮小され（Ｓ５２）、右面表示画像が作成される。右面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。作成された右面表示画像は、割り込み処理（図１３参照）において映像パケットに格納され、会議端末５に対して送信される。
【００６７】
以上のように、周辺領域に対応する対応領域がそのまま繰り返し使用されて右面画像から画像が切り出され、右面表示画像が作成される。対応領域が繰り返し使用されることで、頭部の輪郭線の抽出（Ｓ６１、図１６参照）、矩形領域の特定（Ｓ６３、図１６参照）、及び、周辺領域の特定（Ｓ６７、図１６参照）が不要となる。従って、通信端末３の処理負荷は大幅に軽減され、他の各処理は遅滞なくスムーズに実行される。
【００６８】
Ｓ５３でフラグに１が格納された状態で右面画像処理が開始され、Ｓ４１で判断がされた場合（Ｓ４１：ＹＥＳ）、又は、Ｓ４５で頭部が検出されなかったと判断された場合（Ｓ４５：ＮＯ）、Ｓ５３でフラグに１が格納されてからの経過時間が監視される。フラグに１が格納されてからの経過時間が未だ１秒間経過していない場合（Ｓ５７：ＮＯ）、右面表示画像の作成処理は未だ禁止された状態にある。右面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。これによって、右面表示画像を作成する場合に要する処理負荷は軽減される。なおこの場合、右面表示画像は作成されないので、右面表示画像は会議端末５に対して送信されない。従って、会議端末５の右面ディスプレイ６２に表示された右面表示画像は更新されない。
【００６９】
Ｓ５３でフラグに１が格納されてからの経過時間が１秒間以上経過した場合（Ｓ５７：ＹＥＳ）、Ｓ１３で右側カメラ４７から取得された右面画像から、ユーザの頭部の画像の検出が試みられる（Ｓ５９）。ユーザの頭部の画像が検出できなかった場合（Ｓ６１：ＮＯ）、ユーザの頭部の画像が右面画像内に含まれていない可能性がある。この場合、右面表示画像を作成することができないので、右面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。一方、ユーザの頭部の画像が検出された場合（Ｓ６１：ＹＥＳ）、右面表示画像の作成を再開させるために、フラグに０が格納される（Ｓ６３）。右面画像に基づいて右面表示画像を作成する処理（画像編集処理（図１６参照））が実行される（Ｓ６５）。Ｓ６５での処理は、Ｓ５５での処理と同一であるので、説明は省略する。画像編集処理によって右面表示画像が作成された後、処理は割り込み処理（図１３参照）に戻る。作成された右面表示画像は、割り込み処理（図１３参照）において映像パケットに格納され、会議端末５に対して送信される。
【００７０】
以上説明したように、通信端末３は、カメラによって撮影された画像からユーザの頭部の画像を検出する。通信端末３は、頭部が中心に配置されるように画像を切り出し、表示画像を作成する。作成された表示画像は、会議端末５に送信される。会議端末５のディスプレイには、ユーザの頭部が中心に大きく表示される。従って会議端末５のユーザは、遠隔拠点にいるユーザの側面の様子を良好に把握することができる。また遠隔拠点のユーザは、カメラによって撮影される画像の中心にユーザの頭部が配置されるように複数のカメラの設置位置を厳密に調整しなくても、ユーザの頭部が中心に大きく配置された表示画像を常に得ることができる。遠隔拠点のユーザは、複数のカメラの設置を容易に行うことができる。
【００７１】
通信端末３は、複数のカメラによって撮影された複数の画像を処理する必要がある。このため、通信端末３の処理負荷は高くなり易い。これに対して通信端末３は、対応領域内にユーザの頭部の画像が収まっている場合、該対応領域を繰り返して使用することで、表示画像の作成処理に要する工程を大幅に削減することができる。また、側面画像のうち対応領域内にユーザの頭部が収まっていない場合、画像の切り出しを所定時間禁止することで、処理負荷を大幅に軽減することができる。これによって通信端末３は、他の処理を遅滞なくスムーズに行うことができる。また通信端末３では、正面表示画像の作成は継続して繰り返し実行され、画質は維持される。従って通信端末３は、側面画像からの画像の切り出しを所定時間禁止した場合でも、テレビ会議の実用性を維持することができる。
【００７２】
なお本発明は上述の実施形態に限定されず、種々の変更が可能である。以下、本発明の第一変形例について説明する。第一変形例では、右面表示画像又は左面表示画像の鏡像画像が作成される。鏡像画像は、表示画像の左右を反転させた画像である。右面表示画像から鏡像画像が作成された場合、作成された鏡像画像は、左面表示画像の代わりに用いられる。左面表示画像から鏡像画像が作成された場合、作成された鏡像画像は、右面表示画像の代わりに用いられる。これによって、右面表示画像又は左面表示画像のうちいずれか一方の作成が禁止されている場合でも、表示画像を継続して更新することができる。以下詳説する。
【００７３】
図１７を参照し、本発明の第一変形例における割り込み処理について説明する。第一変形例におけるメイン処理は、上述した実施形態と同一（図１２参照）であるので、説明を省略する。又、第一変形例における割り込み処理のうち、上述した実施形態の割り込み処理（図１３参照）と同一の処理については、同一符号を付し、説明を省略又は簡略化している。
【００７４】
前側カメラ４６、右側カメラ４７、及び左側カメラ４８から、其々、正面画像、右面画像、及び左面画像が取得される（Ｓ１１、Ｓ１３）。Ｓ１１で取得された正面画像に基づいて、正面表示画像が作成される（Ｓ１５）。Ｓ１３で取得された右面画像及び左面画像に基づいて、右面表示画像及び左面表示画像が作成される（Ｓ１７、Ｓ１９）。
【００７５】
右面表示画像及び左面表示画像のうち少なくともいずれかの作成が禁止されており（Ｓ５７：ＮＯ、図１５参照）、少なくともいずれかの表示画像が作成されなかったかが判断される（Ｓ８１）。右面表示画像及び左面表示画像の両方が作成されている場合（Ｓ８１：ＮＯ）、鏡像画像の作成を行う必要はないので、処理はＳ２１に進む。
【００７６】
右面表示画像及び左面表示画像のうち少なくともいずれかが作成されなかった場合（Ｓ８１：ＹＥＳ）、少なくとも一方の表示画像が作成されたかが判断される（Ｓ８３）。右面表示画像及び左面表示画像が両方とも作成されなかった場合（Ｓ８３：ＮＯ）、鏡像画像を作成することができないので、処理はＳ２１に進む。右面表示画像及び左面表示画像のうち少なくとも一方の表示画像が作成されている場合（Ｓ８３：ＹＥＳ）、作成された側の表示画像に基づいて鏡像画像が作成される（Ｓ８５）。作成された鏡像画像は、作成が禁止されている表示画像の代わりに用いられる。処理はＳ２１に進む。
【００７７】
所定フレーム数（例えば、１フレーム）分の正面表示画像、右面表示画像、及び左面表示画像が作成されたか否かが判断される（Ｓ２１）。所定フレーム数分の表示画像が作成された場合（Ｓ２１：ＹＥＳ）、各表示画像に撮影元カメラを示す識別タグが付与され（Ｓ２３）、映像パケットが作成される（Ｓ２５）。映像パケットは、会議端末５へ送信される（Ｓ２７）。割込みは終了する。
【００７８】
通信端末３から送信された映像パケットは、会議端末５において受信され、ディスプレイに表示される。鏡像画像が作成された場合、右面ディスプレイ６２及び左面ディスプレイ６３には、鏡像関係にある表示画像が其々表示される。遠隔拠点において、右側カメラ４７及び左側カメラ４８の設置位置の関係は、ユーザを挟んで対称関係にある。従って、一方のカメラにおいて撮影された画像の鏡像画像は、他方のカメラにおいて撮影された画像と類似する。従って、鏡像関係にある表示画像が会議端末５の右面ディスプレイ６２及び左面ディスプレイ６３に其々表示された場合でも違和感はない。従って通信端末３は、一方の側面画像に基づいて表示画像を作成することができない場合に、他方の側面画像に基づいて作成した表示画像から鏡像画像を作成し、作成されなかった表示画像の代わりに用いる。これによって通信端末３は、側面画像から表示画像を作成する処理を半減させて処理負荷を軽減させることができる。又通信端末３は、一方の側面画像に基づいて表示画像を作成することができない場合でも、鏡像画像を代わりに用いることで、会議端末５のディスプレイに表示される画像の更新頻度を高く維持できる。これによって、動きがなめらかな表示画像を会議端末５のディスプレイに表示させることができる。
【００７９】
本発明の第二変形例について、図１８及び図１９を参照して説明する。第二変形例では、通信端末３は、前側カメラ４６から取得した正面画像、及び、右側カメラ４７及び左側カメラ４８から取得した側面画像を、そのまま会議端末５に送信する。会議端末５は、正面画像及び側面画像を受信する。会議端末５は、受信した正面画像及び側面画像から表示画像を作成し、正面ディスプレイ６１，右面ディスプレイ６２、及び左面ディスプレイ６３に其々表示する。通信端末３のＣＰＵ３０において実行されるメイン処理は、上述した実施形態と同一である（図１２参照）。図１８で示される割り込み処理が、メイン処理内で起動されて実行される。会議端末５のＣＰＵ５０において、図１９で示される受信処理が実行される。受信処理は、テレビ会議のアプリケーションを開始する指示が、タッチパネル５７を介してユーザによってなされた場合に、ＣＰＵ５０において起動され実行される。上述した実施形態と同一の処理については、同一符号を付し、説明を省略又は簡略している。
【００８０】
図１８を参照し、第二変形例における割り込み処理について説明する。上述した実施形態における割込み処理（図１３参照）と異なる点は、正面画像処理（Ｓ１５、図１３参照）、右面画像処理（Ｓ１７、図１３参照）、及び左面画像処理（Ｓ１９、図１３参照）が、割り込み処理中で行われない点である。前側カメラ４６、右側カメラ４７、及び左側カメラ４８から、其々、正面画像、右面画像、及び左面画像が取得される（Ｓ１１、Ｓ１３）。所定フレーム数（例えば、１フレーム）分の正面画像、右面画像、及び左面画像が取得されたか否かが判断される（Ｓ２１）。所定フレーム数分の画像が取得された場合（Ｓ２１：ＹＥＳ）撮影元カメラを示す識別タグが各画像に付与され（Ｓ２３）、映像パケットが作成される（Ｓ２５）。映像パケットは、会議端末５へ送信される（Ｓ２７）。割込み処理は終了する。
【００８１】
図１９を参照し、第二変形例における受信処理について説明する。会議参加要求が会議サーバ（図示外）に送信される（Ｓ１０１）。会議参加要求が送信された後、参加許可を取得したか否かが判断される（Ｓ１０３）。会議サーバから参加拒否を受信した場合、参加許可を取得していないと判断される（Ｓ１０３：ＮＯ）。この場合、テレビ会議は開始されることなく、受信処理は終了する。会議サーバから参加許可を受信した場合、参加許可を取得したと判断される（Ｓ１０３：ＹＥＳ）。この場合、通信端末３から送信された映像パケットが受信される（Ｓ１０７）。受信された映像パケットから、正面画像、右面画像、及び左面画像が取得される。
【００８２】
取得された正面画像に基づいて正面表示画像を作成する処理（正面画像処理、図１４参照）が実行される（Ｓ１０９）。取得された右面画像に基づいて右面表示画像を作成する処理（右面画像処理、図１５参照）が実行される（Ｓ１１１）。取得された左面画像に基づいて左面表示画像を作成する処理（左面画像処理）が実行される（Ｓ１１３）。正面画像処理、右面画像処理、及び左面画像処理は、上述した実施形態と同一である。作成された正面表示画像、右面表示画像、及び左面表示画像は、正面ディスプレイ６１、右面ディスプレイ６２、及び左面ディスプレイ６３に其々表示される（Ｓ１１５）。
【００８３】
テレビ会議を終了させる旨の指示が、タッチパネル５７を介してユーザによって入力されたか否かが判断される（Ｓ１１７）。テレビ会議を終了させる旨の指示が入力された場合（Ｓ１１７：ＹＥＳ）、受信処理は終了する。テレビ会議を終了させる指示が入力されていない場合（Ｓ１１７：ＮＯ）、処理はＳ１０７に戻り、テレビ会議は継続する。
【００８４】
以上説明したように、第三変形例では、通信端末３はカメラから取得した画像をそのまま会議端末５に対して送信する。会議端末５は、受信した画像に基づいて表示画像を作成し、ディスプレイに表示する。これによって、通信端末３における処理負荷を大幅に軽減することができるので、通信端末３として処理能力の小さい汎用ＰＣ等が使用された場合でも、通信端末３は円滑にテレビ会議を実行することができる。会議端末５は、ディスプレイの状態に合わせて表示画像を作成することができるので、ディスプレイの大きさや向きが変更された場合でも、変更後のディスプレイの画面解像度に応じた表示画像を作成し、ディスプレイに表示させることができる。
【００８５】
本発明の第三変形例について説明する。第三変形例では、上述した実施形態とは異なり、側面画像のうち対応領域内にユーザの頭部の画像が収まっていない場合でも、側面画像からの画像の切り出しが継続して行われ、会議端末５に対して表示画像が送信される。これによって通信端末３は、処理負荷を抑制しつつ、側面画像の更新頻度を高くして画質を維持することができる。以下詳説する。
【００８６】
図２０を参照し、本発明の第三変形例における右面画像処理について説明する。第三変形例におけるメイン処理は、上述した実施形態と同一（図１２参照）である。第三変形例における割り込み処理では、上述した実施形態における割り込み処理（図１３参照）から、図２０に示す右面画像処理が呼び出される。左面画像処理は、図２０に示す右面画像処理と同一である。上述した実施形態と重複する部分については、同一符号を付し、説明を省略している。
【００８７】
図２０の右面画像処理が図１５の右面画像処理と異なる点は、Ｓ１２１とＳ１２３である。ユーザの頭部の画像が対応領域内に収まっていないと判断され（Ｓ４９：ＮＯ）、フラグに１が格納されたとする（Ｓ５３）。この場合、フラグに１が格納されてからの経過時間が未だ１秒間経過していない場合でも（Ｓ５７：ＮＯ）、右面画像のうち対応領域内の部分の画像が切り出される（Ｓ１２１）。切り出された画像に含まれるユーザの頭部の画像は、少なくとも一部分が欠けた状態になっている。切り出された画像は、会議端末５の右面ディスプレイ６２に表示可能なように拡大又は縮小され（Ｓ１２３）、右面表示画像が作成される。右面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。なお、作成された右面表示画像は、割り込み処理（図１３参照）において映像パケットに格納され、会議端末５に対して送信される。
【００８８】
以上説明したように、通信端末３は、対応領域内にユーザの頭部が全て収まっていない場合でも、対応領域内の画像を切り出すことによって、側面画像から表示画像を作成することができる。表示画像は頻繁に更新されることになるので、動きの滑らかな表示画像を作成することができる。また、ユーザの頭部が対応領域にすべて収まっていない場合でも画像の切り出しが禁止されないので、頭部が少しだけ対応領域からはみ出してしまっているような場合に画像の切り出しが禁止されてしまうことを防止できる。なお、画像を切り出す場合には、対応領域が繰返し使用されるので、頭部の輪郭線の抽出（Ｓ６１、図１６参照）、矩形領域の特定（Ｓ６３、図１６参照）、及び、周辺領域の特定（Ｓ６７、図１６参照）が不要となる。従って、通信端末３の処理負荷は大幅に軽減され、他の各処理は遅滞なくスムーズに実行される。
【００８９】
なお、Ｓ１１の処理が本発明の「第一取得ステップ」に相当する。Ｓ３１の処理が本発明の「第一検出ステップ」に相当する。Ｓ６９の処理が本発明の「第一切り出しステップ」「第二切り出しステップ」に相当する。Ｓ７１の処理が本発明の「第一作成ステップ」「第二作成ステップ」に相当する。Ｓ１３の処理が本発明の「第二取得ステップ」に相当する。Ｓ４３の処理が本発明の「第二検出ステップ」に相当する。Ｓ２７の処理が本発明の「送信ステップ」「第一送信ステップ」「第二送信ステップ」「第三送信ステップ」に相当する。Ｓ５１の処理が本発明の「第三切り出しステップ」に相当する。Ｓ５７の処理が本発明の「禁止ステップ」に相当する。Ｓ５２、及びＳ１２３の処理が本発明の「第三作成ステップ」に相当する。Ｓ８５の処理が本発明の「第四作成ステップ」に相当する。Ｓ１０７の処理が本発明の「受信ステップ」に相当する。Ｓ１１５の処理が本発明の「表示ステップ」に相当する。
【００９０】
上述では、通信端末３に３つのカメラが接続されていたが、カメラの数は２つであってもよいし、４つ以上であってもよい。また、光学系（ミラーやレンズ）を切り替えることによってユーザの正面顔と横顔との両方を撮影することができる一つのカメラが接続されていてもよい。上述では、カメラによって撮影された画像からユーザの頭部の画像を含む周辺領域が切り出されることによって、表示画像が作成されていた。本発明はこれに限定されない。例えば、ユーザの頭部の画像が輪郭線によって切り出されることで、表示画像が作成されてもよい。また、ユーザの頭部の画像が輪郭線によって切り出された場合、予め準備された背景の画像や被服の画像に、切り出された頭部の画像を重ねて表示させてもよい。これによってユーザは、背景の様子や被服を気にせずにテレビ会議に参加することができる。
【００９１】
周辺領域の大きさを画一的に定め、ユーザの頭部の位置に応じて、画像に対する周辺領域の位置のみを移動させてもよい。これによって、ユーザの頭部の中心位置のみの検出によって表示画像を作成することができるので、ユーザの頭部の輪郭線の検出が不要となる。従って通信端末３の処理負荷を軽減することができる。
【００９２】
通信端末３は、側面画像に基づいて表示画像を作成できなかった場合、作成された表示画像のうち最も新しい表示画像を、繰り返し会議端末５に対して送信してもよい。
【００９３】
会議端末５は、正面ディスプレイ６１、右面ディスプレイ６２、及び左面ディスプレイ６３の画面解像度を、周期的に通信端末３に通知してもよい。通信端末３は、会議端末５から通知された画面解像度に基づいて、表示画像を作成してもよい。
【００９４】
正面カメラ４６、右面カメラ４７、及び左面カメラ４８は、ユーザの頭部が撮影領域内に収まらなくなった場合に、頭部の方向に撮影方向を向ける追尾機能を備えていてもよい。これによって、ユーザの頭部の位置が大きく変化した場合も、撮影領域内にユーザの頭部が確実に収まるので、常にユーザの頭部を会議端末５のディスプレイに表示させることができる。
【００９５】
上述では、通信システム１内に一つの通信端末３が含まれていたが、本発明はこれに限定されない。通信システム１内の通信端末３の数は２以上であってもよい。会議端末５は、複数の通信端末３から受信した画像を順次切り替え、複数のディスプレイに表示してもよい。
【００９６】
上述では、会議端末５はユーザの正面顔及び横顔を表示する３つのディスプレイ（正面ディスプレイ６１、右面ディスプレイ６２、及び左面ディスプレイ６３）を備えていたが、本発明はこれに限定されない。例えば、ユーザの正面顔及び横顔を同時に表示することができる一つのディスプレイを備えていてもよい。また該ディスプレイは、例えば湾曲した円筒形状のディスプレイであってもよいし、複数の方向から異なる映像を見ることが可能な三次元ディスプレイであってもよい。
【符号の説明】
【００９７】
１ テレビ会議システム
３ 通信端末
５ 会議端末
２０、５０ ＣＰＵ
４６ 前側カメラ
４７ 右側カメラ
４８ 左側カメラ
６１ 正面ディスプレイ
６２ 右面ディスプレイ
６３ 左面ディスプレイ
【技術分野】
【０００１】
本発明は、複数拠点間で遠隔会議を実行する通信端末、通信システム、通信方法、及び通信プログラムに関する。
【背景技術】
【０００２】
従来、複数拠点に設けられた通信端末間で遠隔会議を実行する遠隔会議システムが知られている。例えば特許文献１に記載の通信端末は、カメラが一体化したディスプレイを備えている。ユーザがこのディスプレイを正面から注視した状態で、ユーザは正面から撮影される。別の拠点の通信端末（以下、会議端末という。）のディスプレイには、ユーザの正面画像が表示される。従って遠隔会議システムのユーザは、遠隔地のユーザとの間で臨場感の高い会議を行うことができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−６５４９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の会議端末の周囲を取り囲むようにユーザが着座した場合を想定する。このような場合、ディスプレイと正対しているユーザは、ディスプレイの表示内容を確実に目視できるため、遠隔地のユーザの表情などを把握できる。一方、ディスプレイと正対していないユーザは、ディスプレイの表示内容を目視困難であるか、その位置関係によっては表示内容を全く目視できないことがある。そうすると、遠隔地のユーザの表情などを把握できないことになる。
【０００５】
本発明の目的は、異なる方向を向いた複数のディスプレイを備え、特定のディスプレイと正対していないユーザも、他のディスプレイに表示される画像を目視して遠隔地のユーザの表情などを把握できる会議端末のディスプレイに表示させる画像を作成する通信端末であって、画像の中心付近にユーザの像が配置された表示画像を容易に作成することができる通信端末、通信システム、通信方法、及び通信プログラムを提供することにある。
【課題を解決するための手段】
【０００６】
本発明の第一態様に係る通信端末は、ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び、横顔を含む第二表示画像を表示する少なくとも一つの第二表示部を備えた遠隔会議用の会議端末に対して、前記第一表示画像及び前記第二表示画像を送信する通信端末であって、制御部と、前記制御部への命令を記憶したメモリとを備え、前記命令が実行されることにより、前記ユーザの正面顔を含む領域を撮影する第一撮影部から、前記正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、前記第一取得ステップにおいて取得された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域を切り出す第一切り出しステップと、前記第一切り出しステップにおいて切り出された前記周辺領域の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部から、前記横顔を含む領域の画像である側面画像を取得する第二取得ステップと、前記第二取得ステップにおいて取得された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域の画像を切り出す第二切り出しステップと、前記第二切り出しステップにおいて切り出された前記周辺領域の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、前記第一作成ステップにおいて作成された前記第一表示画像、及び、前記第二作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する第一送信ステップとを実行する。
【０００７】
第一態様によれば、通信端末は、第一撮影部及び第二撮影部から取得した画像のうち、ユーザの頭部の画像である頭部画像を検出する。通信端末は、頭部画像が中心に配置されるように画像を切り出し、表示画像を作成する。作成された表示画像は、会議端末に送信され、会議端末の表示部に表示される。通信端末は、複数の撮影部によって撮影された其々の画像に基づいて、ユーザの頭部が中心に配置した複数の表示画像を作成することができる。よって、通信端末のユーザが第一撮影部及び第二撮影部を設置する場合において、撮影される画像の中心付近にユーザが配置されるように第一撮影部及び第二撮影部の配置を調整する作業や、ユーザがわずかに動くことによって被写体位置を調整する作業が不要となる。ユーザは、画像の中心付近に自身の像が中心に配置された表示画像を容易に得ることができる。
【０００８】
また第一態様において、前記制御部は、前記第二取得ステップにおいて前記側面画像が繰り返し取得された場合に、取得された前記側面画像のうち、前記第二切り出しステップにおいて前回切り出された前記周辺領域に対応する対応領域内の画像を切り出す第三切り出しステップと、前記第二頭部画像が全て収まっているか否かを判断する判断ステップと、前記判断ステップにおいて、前記対応領域内に前記第二頭部画像が全て収まっていないと判断された場合に、前記第三切り出しステップによる切り出しを所定時間禁止する禁止ステップと、前記判断ステップにおいて、前記対応領域内に前記第二頭部画像が全て収まっていると判断された場合に、前記第三切り出しステップにおいて切り出された前記対応画像内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第三作成ステップと、前記第三作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する第二送信ステップとを更に実行してもよい。通信端末では、複数の撮影部によって撮影された複数の画像が処理される必要があるので、通信端末の処理負荷は高くなり易い。これに対して通信端末は、ユーザの頭部の画像が、側面画像のうち対応領域内に全て収まっていない場合、画像の切り出しを所定時間禁止することができる。これによって、周辺領域の特定及び切り出し処理に要する処理負荷を軽減できるので、通信端末は、実行される他の処理を円滑に実行することができる。なお、側面画像に要求される画質は、正面画像に要求される画質よりも低いことが想定される。正面画像には、ユーザの表情や頭の動きが顕著に現れるのに対し、側面画像は、正面画像と比較して変化や動きが少ないためである。通信端末では、第一表示画像を作成する処理は禁止されず継続されるので、第一表示画像の画質は維持される。従って、切り出し処理及が所定時間禁止され、第二表示画像が所定時間更新されない場合でも、通信端末は、実行される遠隔会議の実用性を十分維持することができる。
【０００９】
また第一態様において、前記制御部は、前記第二取得ステップにおいて前記側面画像が繰り返し取得された場合に、取得された前記側面画像のうち、前記第二切り出しステップにおいて前回切り出された前記周辺領域に対応する対応領域内の画像を切り出す第三切り出しステップと、前記第三切り出しステップにおいて切り出された前記対応画像内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第三作成ステップと、前記第三作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する第二送信ステップとを更に実行してもよい。通信端末では、対応領域を繰り返し使用することで、周辺領域の特定に要する処理負荷を軽減できる。これによって通信端末は、実行される他の処理を円滑に実行することができる。なお、側面画像に要求される画質は、正面画像に要求される画質よりも低いことが想定される。正面画像には、ユーザの表情や頭の動きが顕著に現れるのに対し、側面画像は、正面画像と比較して変化や動きが少ないためである。通信端末では、第一表示画像を作成する処理は禁止されず継続されるので、第一表示画像の画質は維持される。
【００１０】
また第一態様において、前記制御部は、前記第二取得ステップを実行する場合において、複数の前記第二撮影部から複数の前記側面画像を取得し、前記判断ステップを実行する場合において、前記第二取得ステップにおいて前記複数の側面画像が繰り返し取得された場合に、取得された其々の前記側面画像の前記対応領域内に、前記第二頭部画像が全て収まっているか否かを判断し、前記判断ステップにおいて、前記複数の側面画像のうち何れかの前記側面画像の前記対応領域内に、前記第二頭部画像が全て収まっていないと判断された場合に、前記第二頭部画像が全て収まっていると判断された他の前記側面画像に基づいて前記第二作成ステップにおいて作成された前記第二表示画像の鏡像を作成する第四作成ステップと、前記第四作成ステップにおいて作成された前記鏡像画像を、前記会議端末に対して送信する第三送信ステップとを更に実行してもよい。通信端末は、ユーザの頭部が一の側面画像の対応領域内に全て収まっていない場合、頭部が全て収まっている他の側面画像に基づいて作成された第二表示画像から鏡像画像を作成する。通信端末は、頭部が収まっていないと判断された側面画像に基づく第二表示画像の代わりに、作成した鏡像画像を会議端末に対して送信する。通信装置は、一方の側面画像から、違和感のない他方の側面画像を作成することができる。作成された画像が会議端末の表示部に表示された場合、画像は頻繁に更新されるので、動きは滑らかになる。また、一方の側面画像から第二表示画像を作成する処理を禁止することで、通信端末は、画像処理に要する処理負荷を軽減することができる。
【００１１】
本発明の第二態様に係る通信システムは、前記ユーザの正面顔を含む領域を撮影する第一撮影部、及び、前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部を備えた通信端末と、前記ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び前記ユーザの横顔を含む第二表示画像を表示する第二表示部を備え、前記通信端末と通信を行う会議端末とを備えた通信システムであって、前記通信端末は、制御部と、前記制御部への命令を記憶したメモリとを備え、前記命令が実行されることにより、前記第一撮影部において撮影された、前記ユーザの正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、前記第二撮影部において撮影された、前記ユーザの横顔を含む領域の画像である側面画像を取得する第二取得ステップと、前記第一取得ステップにおいて取得された前記正面画像、及び、前記第二取得ステップにおいて取得された前記側面画像を、前記会議端末に対して送信する送信ステップとを実行し、前記会議端末は、制御部と、前記制御部への命令を記憶したメモリとを備え、前記命令が実行されることにより、前記正面画像、及び前記側面画像を前記通信端末から受信する受信ステップと、前記受信ステップにおいて受信された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域を切り出す第一切り出しステップと、前記第一切り出しステップにおいて切り出された前記周辺領域の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、前記受信ステップにおいて受信された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域の画像を切り出す第二切り出しステップと、前記第二切り出しステップにおいて切り出された前記周辺領域の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、前記第一作成ステップにおいて作成された前記第一表示画像を前記第一表示部に表示し、前記第二作成ステップにおいて作成された前記第二表示画像を前記第二表示部に表示する表示ステップとを実行する。
【００１２】
第二態様によれば、会議端末は、通信端末において取得された画像を受信し、受信した画像のうち、ユーザの頭部の画像である頭部画像を検出する。会議端末は、頭部画像が中心に配置されるように画像を切り出し、表示画像を作成する。作成された表示画像は、表示部に表示される。会議端末は、通信端末においてユーザが複数の撮影部によって撮影された場合でも、撮影された其々の画像に基づいて、ユーザの頭部が中心に配置した複数の表示画像を作成することができる。よって、通信端末のユーザが第一撮影部及び第二撮影部を設置する場合において、撮影される画像の中心付近にユーザが配置されるように第一撮影部及び第二撮影部の配置を調整する作業や、ユーザがわずかに動くことによって被写体位置を調整する作業が不要となる。ユーザは、画像の中心付近に自身の像が中心に配置された表示画像を容易に得ることができる。
【００１３】
本発明の第三態様に係る通信方法は、ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び、横顔を含む第二表示画像を表示する少なくとも一つの第二表示部を備えた遠隔会議用の会議端末に対して、前記第一表示画像及び前記第二表示画像を送信する通信方法であって、前記ユーザの正面顔を含む領域を撮影する第一撮影部から、前記正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、前記第一取得ステップにおいて取得された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域を切り出す第一切り出しステップと、前記第一切り出しステップにおいて切り出された前記周辺領域の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部から、前記横顔を含む領域の画像である側面画像を取得する第二取得ステップと、前記第二取得ステップにおいて取得された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域の画像を切り出す第二切り出しステップと、前記第二切り出しステップにおいて切り出された前記周辺領域の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、前記第一作成ステップにおいて作成された前記第一表示画像、及び、前記第二作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する送信ステップとを備えている。
【００１４】
第三態様に係る通信方法では、第一撮影部及び第二撮影部から取得された画像のうち、ユーザの頭部の画像である頭部画像が検出される。頭部画像が中心に配置されるように画像が切り出され、表示画像が作成される。作成された表示画像は、会議端末に送信され、会議端末の表示部に表示される。ユーザが複数の撮影部によって撮影された場合でも、ユーザの頭部が中心に配置した複数の画像が其々の画像に基づいて作成され、会議端末が備える複数の表示部に表示される。よって、通信端末のユーザが第一撮影部及び第二撮影部を設置する場合において、撮影される画像の中心付近にユーザが配置されるように第一撮影部及び第二撮影部の配置を調整する作業や、ユーザがわずかに動くことによって被写体位置を調整する作業が不要となる。ユーザは、画像の中心付近に自身の像が中心に配置された表示画像を容易に得ることができる。
【００１５】
本発明の第四態様に係る通信プログラムは、ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び、横顔を含む第二表示画像を表示する少なくとも一つの第二表示部を備えた遠隔会議用の会議端末に対して、前記第一表示画像及び前記第二表示画像を送信するための通信プログラムであって、前記ユーザの正面顔を含む領域を撮影する第一撮影部から、前記正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、前記第一取得ステップにおいて取得された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域を切り出す第一切り出しステップと、前記第一切り出しステップにおいて切り出された前記周辺領域の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部から、前記横顔を含む領域の画像である側面画像を取得する第二取得ステップと、前記第二取得ステップにおいて取得された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域の画像を切り出す第二切り出しステップと、前記第二切り出しステップにおいて切り出された前記周辺領域の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、前記第一作成ステップにおいて作成された前記第一表示画像、及び、前記第二作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する送信ステップとをコンピュータに実行させるためのものである。
【００１６】
第四態様に係る通信プログラムに基づいてコンピュータが駆動することにより、第一撮影部及び第二撮影部から取得された画像のうち、ユーザの頭部の画像である頭部画像が検出される。頭部画像が中心に配置されるように画像が切り出され、表示画像が作成される。作成された表示画像は、会議端末に送信され、会議端末の表示部に表示される。ユーザが複数の撮影部によって撮影された場合でも、ユーザの頭部が中心に配置した複数の画像が其々の画像に基づいて作成され、会議端末が備える複数の表示部に表示される。よって、通信端末のユーザが第一撮影部及び第二撮影部を設置する場合において、撮影される画像の中心付近にユーザが配置されるように第一撮影部及び第二撮影部の配置を調整する作業や、ユーザがわずかに動くことによって被写体位置を調整する作業が不要となる。ユーザは、画像の中心付近に自身の像が中心に配置された表示画像を容易に得ることができる。
【図面の簡単な説明】
【００１７】
【図１】テレビ会議システム１の全体構成を示す図である。
【図２】会議端末５の斜視図である。
【図３】正面画像１１１から正面表示画像を抽出する処理を説明するための図である。
【図４】画像１１９を示す図である。
【図５】正面画像１２１から正面表示画像を抽出する処理を説明するための図である。
【図６】右面画像１３１から左面表示画像を抽出する処理を説明するための図である。
【図７】画像１３９を示す図である。
【図８】右面画像１４１から左面表示画像を抽出する処理を説明するための図である。
【図９】右面画像１５１から左面表示画像を抽出する処理を説明するための図である。
【図１０】通信端末３の電気的構成を示すブロック図である。
【図１１】会議端末５の電気的構成を示すブロック図である。
【図１２】メイン処理を示すフローチャートである。
【図１３】割り込み処理を示すフローチャートである。
【図１４】正面画像処理を示すフローチャートである。
【図１５】右面画像処理を示すフローチャートである。
【図１６】画像編集処理を示すフローチャートである。
【図１７】第一変形例における割込み処理を示すフローチャートである。
【図１８】第二変形例における割り込み処理を示すフローチャートである。
【図１９】第二変形例における受信処理を示すフローチャートである。
【図２０】第三変形例における右面画像処理を示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の一実施形態に係る通信端末３について、図面を参照して説明する。参照する図面は、本発明が採用し得る技術的特徴を説明するために用いられるものである。図面に記載されている装置の構成、各種処理のフローチャート等は、それのみに限定する趣旨ではなく、単なる説明例である。
【００１９】
図１を参照して、テレビ会議システム１の全体構成について説明する。テレビ会議システム１では、ユーザが存在する複数の拠点に其々設けられた端末が、ネットワーク２を介して接続されている。本実施形態では、会議が開催されている拠点（以下、会議拠点という。）に設置されている会議端末５と、会議拠点とは異なる拠点（以下、遠隔拠点という。）に設置されている通信端末３との間で、テレビ会議が実行される場合を例示する。
【００２０】
テレビ会議システム１では、通信端末３と会議端末５との間でテレビ会議が開始されると、通信端末３及び会議端末５で其々取得された画像及び音声は、ネットワーク２を介して互いに送受信される。通信端末３では、会議端末５で取得された画像及び音声（つまり、会議拠点に存在するユーザの画像及び音声）が出力される。会議端末５では、通信端末３で取得された画像及び音声（つまり、遠隔拠点に存在するユーザの画像及び音声）が出力される。このように、通信端末３及び会議端末５では、其々相手方の拠点に存在するユーザの画像及び音声がリアルタイムに出力されてテレビ会議が進行する。
【００２１】
通信端末３は、汎用のＰＣである。通信端末３には、複数のカメラ（前側カメラ４６、右側カメラ４７、左側カメラ４８）が接続されている。前側カメラ４６は、遠隔拠点のユーザの前側に配置されている。前側カメラ４６は、ユーザの正面顔を含む領域を撮影する。右側カメラ４７は、遠隔拠点のユーザの右側に配置されている。右側カメラ４７は、ユーザの右横顔を含む領域を撮影する。左側カメラ４８は、遠隔拠点のユーザの左側に配置されている。左側カメラ４８は、ユーザの左横顔を含む領域を撮影する。前側カメラ４６、右側カメラ４７、及び左側カメラ４８は、撮影した画像のデータをネットワーク２へリアルタイムに出力可能な、小型・軽量の汎用カメラ（ＷＥＢカメラなど）である。
【００２２】
図２を参照して、会議端末５の物理的構造について説明する。以下の説明では、図２の右下方向、左上方向、左下方向、右上方向を、会議端末５の前側、後側、右側、左側とする。会議端末５は、テレビ会議を実行するために必要なデバイスが格納された筐体７０を備えている。筐体７０は、筐体上部７１、連結部（図示外）、筐体下部７３からなる。
【００２３】
筐体上部７１は、平面視で正方形状であり、上下方向を長手方向とする箱状体（つまり、縦長直方体状）である。筐体上部７１の前面、右面、及び左面には、其々、前面枠７４、右面枠７５、及び左面枠７６が設けられている。前面枠７４には正面ディスプレイ６１が固定されている。右面枠７５には右面ディスプレイ６２が固定されている。左面枠７６には左面ディスプレイ６３（図１１参照）が固定されている。つまり、筐体上部７１は、その前面及び左右両面の三面にディスプレイを備えている。
【００２４】
前面枠７４には、正面ディスプレイ６１に重畳したタッチパネル５７が固定されている。ユーザは、正面ディスプレイ６１に表示されるメニューやアイコン等を指で触れることで、会議端末５の操作を行うことができる。
【００２５】
前面枠７４の上枠部分における略中央位置には、カメラ６７が設けられている。カメラ６７は正面ディスプレイ６１と同一面に設けられている。従って、正面ディスプレイ６１が画像表示する方向と同一方向（つまり、筐体上部７１の前方）が、カメラ６７によって撮影される。右面枠７５の上枠部分における略中央位置には、右側マイク６４が設けられている。左面枠７６の上枠部分における略中央位置には、左側マイク６５（図１１参照）が設けられている。右側マイク６４及び左側マイク６５は、筐体上部７１の両側面に設けられた一対のバイノーラルマイクである。これによって、会議端末５の周辺で発生した音声は、筐体上部７１の両側面からバイノーラル方式で集音される。
【００２６】
筐体下部７３は、筐体上部７１を下側から支える支持台として機能する。図示しない連結部は、筐体上部７１と筐体下部７３とを連結している。筐体下部７３の前面側に、音声を出力可能なスピーカ６６が設けられている。
【００２７】
通信端末３は、複数のカメラ（前側カメラ４６、右側カメラ４７、及び左側カメラ４８）において撮影された画像を取得する。以下、前側カメラ４６において撮影された画像を、正面画像ともいう。右側カメラ４７において撮影された画像を、右面画像ともいう。左側カメラ４８において撮影された画像を、左面画像ともいう。右面画像及び左面画像を総称し、側面画像ともいう。通信端末３は、取得した其々の画像に基づいて、会議端末５のディスプレイに表示させるための画像を作成する。以下、会議端末５のディスプレイに表示させる画像を、表示画像ともいう。作成された表示画像は、ネットワーク２を介して会議端末５に対して送信され、会議端末５において受信される。正面画像に基づいて作成された表示画像は、正面ディスプレイ６１に表示される。右面画像に基づいて作成された表示画像は、右面ディスプレイ６２に表示される。左面画像に基づいて作成された表示画像は、左面ディスプレイ６３に表示される。
【００２８】
会議拠点では、正面ディスプレイ６１と正対していないユーザも、右面ディスプレイ６２または左面ディスプレイ６３に表示される画像を目視して、遠隔拠点のユーザの表情などを把握することができるので、テレビ会議の臨場感を向上させることができる。また会議端末５では、遠隔地のユーザを三方から撮影した画像が、その撮影方向に対応して三面表示される。このような三面表示によって筐体上部７１を遠隔拠点のユーザの頭部に見せかけることで、会議端末５を擬人化することができる。その結果、遠隔拠点のユーザが会議拠点にあたかも存在しているかのような印象を与えて、テレビ会議での存在感を高めることができる。
【００２９】
正面画像に基づいて表示画像が作成される場合の方法について、図３から図５を参照して説明する。図３に示すように、前側カメラ４６において、ユーザ１００の正面顔を含む撮影領域１１５が撮影されたとする。通信端末３において、撮影領域１１５内の正面画像１１１が取得される。取得された正面画像１１１のうち、ユーザ１００の頭部の画像が検出される。なお、頭部の画像の検出は、周知の様々な方法を用いることができる。例えばＯｐｅｎＣＶライブラリを使用することによって、ユーザ１００の頭部の画像を検出することができる。
【００３０】
ユーザ１００の頭部の画像が検出された後、頭部の輪郭線１１２が抽出される。抽出された輪郭線１１２が内側にちょうど収まる矩形状の領域１１７が定義付けられる。定義付けられた領域１１７内の画像１１３には、ユーザ１００の頭部が中心に含まれている。なお、頭部の輪郭線１１２の抽出、及び領域１１７の定義付けは、周知の様々な方法を用いることができる。例えばＯｐｅｎＣＶライブラリに実装された機能を使用することによって、頭部の輪郭線の抽出、及び、矩形状の領域の定義付けを行うことができる。
【００３１】
会議端末５の正面ディスプレイ６１の画面解像度が取得される。定義付けられた矩形状の領域１１７は、取得された画面解像度に基づいて幅又は高さが伸張され、領域１１８が求められる。例えば、正面ディスプレイ６１の画面解像度が６００×８００（幅×高さ）であって、領域１１７における幅と高さとの比が１：１であった場合、領域１１７の高さは４／３（＝８００／６００）倍に伸長される。上述のようにして求められた領域１１８を、以下周辺領域１１８ともいう。周辺領域１１８内の正面画像１１１が切り出され、図４に示すように、画像１１９が得られる。画像１１９には、ユーザ１００の頭部の画像が中心に大きく配置されている。
【００３２】
得られた画像１１９は、会議端末５の正面ディスプレイ６１に表示可能なように、拡大又は縮小され、表示画像が作成される。表示画像は、通信端末３から会議端末５に対して送信され、会議端末５の正面ディスプレイ６１に表示される。以下、正面画像に基づいて上述のように作成された表示画像を、正面表示画像ともいう。
【００３３】
以上のようにして通信端末３は、ユーザ１００の頭部が中心に大きく配置した正面表示画像を作成することができる。正面ディスプレイ６１には、ユーザ１００の頭部が中心に大きく表示される。従って会議端末５のユーザは、遠隔拠点にいるユーザ１００の正面の様子を良好に把握できる。通信端末３と会議端末５との間で実行されるテレビ会議は円滑に進行する。
【００３４】
上述した正面表示画像の作成処理は、テレビ会議が行われている間、繰り返し継続して実行される。例えば図５に示すように、ユーザ１００が図の左側に移動し、撮影領域１１５内におけるユーザ１００の位置が変化したとする。このような場合も前述と同様に、撮影領域１１５内の正面画像１２１のうち、ユーザ１００の頭部の画像が検出される。検出された頭部の輪郭線１２２が内側にちょうど収まる矩形状の領域１２７が定義付けられる。定義付けられた領域１２７は、正面ディスプレイ６１の画面解像度に基づいて修正され、周辺領域１２８が求められる。求められた周辺領域１２８内の正面画像１２１が切り出される。結果、ユーザ１００の頭部の中心に大きく配置された正面表示画像１２９が作成される。
【００３５】
以上のように、正面画像１２１内におけるユーザ１００の頭部の位置が、撮影領域１１５の中心にない場合でも、通信端末３は、ユーザ１００の頭部が中心に大きく配置される正面表示画像１２９を作成することができる。ユーザ１００の動きに追従して頭部の画像が検出されるので、ユーザ１００が移動した場合でも、会議端末５のユーザは、遠隔拠点にいるユーザ１００の様子を常に良好に把握することができる。
【００３６】
右面画像に基づいて表示画像が作成される場合の方法について、図６から図９を参照して説明する。なお、左面画像に基づいて表示画像が作成される場合の方法は、右面画像に基づいて表示画像が作成される場合の方法と同一であるので、以下では説明を省略している。
【００３７】
図６に示すように、右側カメラ４７において、ユーザ１００の横顔を含む撮影領域１３５が撮影されたとする。通信端末３において、撮影領域１３５内の右面画像１３１が取得される。取得された右面画像１３１のうち、ユーザ１００の頭部の画像が検出され、頭部の輪郭線１３２が抽出される。抽出された輪郭線１３２が内側にちょうど収まる矩形状の領域１３７が定義付けられる。定義付けられた領域１３７内の画像１３３には、ユーザ１００の頭部が中心に含まれている。
【００３８】
会議端末５の右面ディスプレイ６２の画面解像度が取得される。取得された画面解像度によって、領域１３７の幅又は高さが伸張され、周辺領域１３８が求められる。周辺領域１３８内の右面画像１３１が切り出され、図７に示すように、画像１３９が得られる。画像１３９には、ユーザ１００の頭部が中心に大きく配置されている。画像１３９は、会議端末５の右面ディスプレイ６２に表示可能なように拡大又は縮小され、表示画像が作成される。表示画像は、通信端末３から会議端末５に対して送信され、会議端末５の右面ディスプレイ６２に表示される。以下、右面画像に基づいて上述のように作成された表示画像を、右面表示画像ともいう。上述と同様の方法で、左面画像に基づいて作成された表示画像を、左面表示画像という。以上までの処理は、正面画像に基づいて正面表示画像が作成さる場合の方法と同一である。
【００３９】
以上のように通信端末３は、ユーザ１００の頭部が中心に大きく配置した右面表示画像を作成することができる。右面ディスプレイ６２には、ユーザ１００の頭部が中心に大きく配置される。従って会議端末５のユーザは、遠隔拠点にいるユーザ１００の側面の様子を良好に把握することができる。通信端末３と会議端末５との間で実行されるテレビ会議は円滑に進行する。
【００４０】
またユーザ１００は、前側カメラ４６、右側カメラ４７、及び左側カメラ４８の設置を容易に行うことができる。理由は以下のとおりである。テレビ会議時において遠隔拠点の様子を良好に把握するためには、会議端末５のディスプレイの中心付近にユーザ１００の頭部が配置されることが好ましい。従って通信端末３のユーザは、撮影画像の中心付近にユーザ１００の頭部が配置されるように、其々のカメラの設置場所及びその向きを調整する作業が必要となる。ここで、其々のカメラは異なる方向を向いているので、全ての撮影画像の中心付近にユーザ１００の頭部が配置されるように、其々のカメラの設置場所及びその向きを調整することは非常に手間がかかる。
【００４１】
これに対して通信端末３は、ユーザ１００の頭部を自動的に検出し、頭部が中心に大きく配置される表示画像を自動的に作成することができる。ユーザ１００は、前側カメラ４６、右側カメラ４７、及び左側カメラ４８の設置場所及び向きの調整を厳密に行う必要がなくなる。従って、前側カメラ４６、右側カメラ４７、及び左側カメラ４８の設置作業は非常に容易となる。
【００４２】
図８及び図９に示すように、ユーザ１００が移動し、撮影領域１３５内におけるユーザ１００の位置が、図の右側に変化したとする。この場合、前述した正面表示画像の作成方法とは異なる方法が実行される。画像１３９（図７参照）が右面画像１３１（図６参照）から切り出される場合に用いられた周辺領域１３８と同一の位置及び大きさの領域が、新たに取得された右面画像１４１上に配置される。以下、この領域を、対応領域１４０ともいう。ユーザ１００の頭部の画像が対応領域１４０内に収まっているかが判断される。図８のように、ユーザ１００の頭部の移動量が比較的小さく、対応領域１４０内にユーザ１００の頭部の画像が収まっている場合、対応領域１４０がそのまま用いられ、右面画像１４１から画像１４３が切り出される。切り出された画像１４３のうちユーザ１００の頭部は、中心よりもやや右に配置している。切り出された画像１４３は、右面ディスプレイ６２に表示可能なように拡大又は縮小された後、会議端末５に対して送信され、会議端末５の右面ディスプレイ６２に表示される。
【００４３】
以上のように通信端末３は、周辺領域１３８に対応する対応領域１４０をそのまま繰り返し使用し、新たに取得された右面画像１４１から画像を切り出すことができる。この場合通信端末３では、頭部の輪郭線の抽出、及び、該輪郭線が収まる領域の定義付けの処理が不要となる。通信端末３では、複数のカメラによって撮影された複数の画像の処理が並行して実行されるので、処理負荷は常時高い状態にある。これに対して通信端末３は、上述のように処理量を減らすことで処理負荷を抑制できるので、各処理を遅滞なくスムーズに実行できる。
【００４４】
一方、例えば図９に示すように、ユーザ１００の移動量が大きく、ユーザ１００の頭部が対応領域１４０内に収まらなかったとする。この場合通信端末３は、対応領域１４０内の画像を右面画像１５１から切り出す処理を所定時間（例えば１秒間）停止する。所定時間経過後、通信端末３は、右面画像１５１からユーザ１００の頭部の画像を新たに検出し、周辺領域を求めて右面表示画像を作成する処理を再開する。
【００４５】
以上のように通信端末３は、ユーザ１００の頭部が対応領域１４０内に収まっていない場合、画像の切り出しを所定時間停止することができる。これによって、切り出し処理に要する処理負荷は軽減されるので、通信端末３は他の処理を遅滞なくスムーズに実行することができる。ここで、画像の切り出し処理が所定時間停止されることによって、右面表示画像の更新頻度が少なくなり、動きが若干ぎこちなくなることが想定される。しかしながら、テレビ会議において右面表示画像に求められる画質は、正面表示画像に求められる画質よりも低いことが想定される。正面表示画像には、ユーザの表情や頭の動きが顕著に現れるのに対し、右面表示画像は、正面画像と比較して変化や動きが少ないためである。通信端末３では、右面表示画像の更新頻度が少なくなった場合でも、正面表示画像の更新頻度は維持されるので、正面表示画像の画質は維持される。従って、通信端末３は、実行されるテレビ会議の実用性を維持することができる。
【００４６】
図１０を参照して、通信端末３の電気的構成について説明する。通信端末３は、通信端末３の制御を司るＣＰＵ３０を備えている。ＲＯＭ３１、及びＲＡＭ３２は、ＣＰＵ３０に接続している。ＨＤＤ３３、ビデオコントローラ３４、オーディオコントローラ３５、通信装置３６、キーボード４１、マウス４２、前側カメラ４６、右側カメラ４７、及び左側カメラ４８は、Ｉ／Ｏインタフェイス４０を介してＣＰＵ３０と接続している。ディスプレイ４３はビデオコントローラ３４と接続している。マイク４４、及びスピーカ４５は、オーディオコントローラ３５と接続している。
【００４７】
ＨＤＤ３３は、大容量のハードディスクドライブである。ＨＤＤ３３には、テレビ会議を実行するための各種データ（例えば、通信端末３で取得された画像や音声のデータ、会議端末５から受信した画像や音声のデータ）、ＣＰＵ３０において実行される各種プログラム等が記憶されている。通信装置３６は、ネットワーク２を介してデータの送受信を行うコントローラである。
【００４８】
図１１を参照して、会議端末５の電気的構成について説明する。会議端末５は、会議端末５の制御を司るＣＰＵ５０を備えている。ＲＯＭ５１、及びＲＡＭ５２は、ＣＰＵ５０に接続している。ＨＤＤ５３、ビデオコントローラ５４、オーディオコントローラ５５、通信装置５６、タッチパネル５７、及びカメラ６７は、Ｉ／Ｏインタフェイス６０を介してＣＰＵ５０と接続している。正面ディスプレイ６１、右面ディスプレイ６２、及び左面ディスプレイ６３は、ビデオコントローラ５４と接続している。右側マイク６４、左側マイク６５、及びスピーカ６６は、オーディオコントローラ５５と接続している。
【００４９】
ＨＤＤ５３は、大容量のハードディスクドライブである。ＨＤＤ５３には、テレビ会議を実行するための各種データ（例えば、会議端末５で取得された画像や音声のデータ、通信端末３から受信した画像や音声のデータ）、ＣＰＵ５０において実行される各種プログラム等が記憶されている。通信装置５６は、ネットワーク２を介してデータの送受信を行うコントローラである。
【００５０】
図１２から図１６を参照し、通信端末３のＣＰＵ３０において実行されるメイン処理、及び割り込み処理について説明する。メイン処理は、テレビ会議のアプリケーションを開始する指示が、キーボード４１又はマウス４２を介してユーザによってなされた場合に、ＣＰＵ３０において起動され実行される。割り込み処理は、メイン処理中で起動が許可された場合に、所定の周期で繰り返し起動され実行される定周期割込みである。
【００５１】
図１２を参照し、メイン処理について説明する。会議参加要求が会議サーバ（図示外）に送信される（Ｓ１）。会議参加要求は、テレビ会議システム１で実行されるテレビ会議への参加を要求するコマンドである。会議サーバは、ネットワーク２を介して会議参加要求を受信した場合、会議参加要求に含まれる認証情報に基づいてユーザ認証を行う。ユーザ認証が成功した場合、参加許可を要求元の通信端末３に返信する。ユーザ認証が失敗した場合、参加拒否を要求元の通信端末３に返信する。
【００５２】
会議参加要求が送信された後、参加許可を取得したか否かが判断される（Ｓ３）。会議サーバから参加拒否を受信した場合、参加許可を取得していないと判断される（Ｓ３：ＮＯ）。この場合、テレビ会議は開始されることなく、メイン処理は終了する。会議サーバから参加許可を受信した場合、参加許可を取得したと判断される（Ｓ３：ＹＥＳ）。この場合、割り込み処理（図１３参照）が起動される（Ｓ５）。割込み処理では、カメラにおいて撮影された画像が取得される。取得された画像に基づいて表示画像が作成され、会議端末５に対して送信される。割込み処理の詳細は後述する。
【００５３】
テレビ会議を終了させる旨の指示が、キーボード４１又はマウス４２を介してユーザによって入力されたか否かが判断される（Ｓ７）。テレビ会議を終了させる旨の指示が入力された場合（Ｓ７：ＹＥＳ）、Ｓ５で起動された割込み処理が終了され（Ｓ９）、メイン処理は終了する。テレビ会議を終了させる指示が入力されていない場合（Ｓ７：ＮＯ）、処理はＳ７に戻り、テレビ会議は継続する。
【００５４】
なお上述では、ネットワーク２に接続する会議サーバに参加許可を送信することによって、テレビ会議への参加を要求していたが、本発明はこれに限定されない。通信端末３は、会議端末５に対して参加許可を送信してもよい。会議端末５において認証処理が実行され、通信端末３をテレビ会議に参加させるか否かが判断されてもよい。
【００５５】
図１３を参照し、割込み処理について説明する。前側カメラ４６から正面画像が取得される（Ｓ１１）。右側カメラ４７から右面画像が取得される（Ｓ１３）。左側カメラ４８から左面画像が取得される（Ｓ１３）。Ｓ１１で取得された正面画像に基づいて正面表示画像を作成する処理（正面画像処理、図１４参照）が実行される（Ｓ１５）。正面画像処理の詳細は後述する。Ｓ１３で取得された右面画像に基づいて右面表示画像を作成する処理（右面画像処理、図１５参照）が実行される（Ｓ１７）。右面画像処理の詳細は後述する。Ｓ１３で取得された左面画像に基づいて左面表示画像を作成する処理（左面画像処理）が実行される（Ｓ１９）。左面画像処理は、右面画像処理（図１５参照）と同一である。
【００５６】
所定フレーム数（例えば、１フレーム）分の正面表示画像、右面表示画像、及び左面表示画像が、正面画像処理（Ｓ１５参照）、右面画像処理（Ｓ１７参照）、及び左面画像処理（Ｓ１９参照）において作成されたか否かが判断される（Ｓ２１）。所定フレーム数分の表示画像が作成された場合（Ｓ２１：ＹＥＳ）、各表示画像に、撮影元カメラを示す識別タグが付与される（Ｓ２３）。識別タグが付与された表示画像は、公知のデータ圧縮が実行された後、転送用にパケット化され、映像パケットが作成される（Ｓ２５）。映像パケットは、会議端末５へ送信される（Ｓ２７）。割込み処理は終了する。一方、Ｓ２１において所定フレーム数分の表示画像が作成されていないと判断された場合（Ｓ２１：ＮＯ）、割込み処理は終了する。
【００５７】
Ｓ５（図１２参照）で起動された割込み処理がＳ９（図１２参照）で終了されるまで、所定フレーム数分の表示画像が作成される毎に、映像パケットが会議端末５へ送信される。具体的には、テレビ会議の実行中は、遠隔拠点を映し出した表示画像を含む映像パケットが会議端末５へ送信される。映像パケットには、ユーザの頭部正面を含む正面表示画像、ユーザの頭部右側面を含む右面表示画像、及び、ユーザの頭部左側面を含む左面表示画像が含まれる。
【００５８】
通信端末３から送信された映像パケットは、会議端末５において受信される。会議端末５では、受信されたパケットから圧縮済みの表示画像が取り出される。この表示画像について公知の解凍処理が実行される。解凍された表示画像に付与されている識別タグが特定される。識別タグ「前側カメラ」が付与されている正面表示画像は、正面ディスプレイ６１に表示される。識別タグ「右側カメラ」が付与されている右面表示画像は、右面ディスプレイ６２に表示される。識別タグ「左側カメラ」が付与されている左面表示画像は、左面ディスプレイ６３に表示される。これによって会議端末５は、通信端末３から映像パケットが受信される毎に、３つのディスプレイに選択的に表示画像を表示することができる。会議拠点のユーザは、各ディスプレイに映し出される表示画像によって、遠隔拠点のユーザの顔等を見ることができる。
【００５９】
図１４を参照し、正面画像処理について説明する。Ｓ１１（図１３参照）で前側カメラ４６から取得された正面画像から、ユーザの頭部の画像の検出が試みられる（Ｓ３１）。ユーザの頭部の画像が検出できなかった場合（Ｓ３３：ＮＯ）、ユーザの頭部の画像が正面画像内に含まれていない可能性がある。この場合、正面表示画像を作成することができないので、正面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。一方、ユーザの頭部の画像が検出された場合（Ｓ３３：ＹＥＳ）、正面画像に基づいて正面表示画像を作成する処理（画像編集処理（図１６参照））が実行される（Ｓ３５）。正面表示画像が作成されて画像編集処理が終了した後、処理は割り込み処理（図１３参照）に戻る。作成された正面表示画像は、割り込み処理（図１３参照）において映像パケットに格納され、会議端末５に対して送信される。
【００６０】
図１６を参照し、画像編集処理について説明する。Ｓ３１（図１４参照）で検出されたユーザの頭部の輪郭線（輪郭線１１２、図３参照）が抽出される（Ｓ６１）。抽出された輪郭線が内側にちょうど収まる矩形状の領域（領域１１７、図３参照）が特定される（Ｓ６３）。会議端末５の正面ディスプレイ６１の画面解像度が取得される（Ｓ６５）。なお画面解像度は、予めＨＤＤ３３に記憶された正面ディスプレイ６１の画面解像度が読み出されることで取得される。矩形状の領域は、Ｓ６５で取得された画面解像度に基づいて、幅又は高さが伸長される。これによって、周辺領域（周辺領域１１８、図３参照）が特定される（Ｓ６７）。Ｓ１１（図１３参照）で取得された正面画像から、特定された周辺領域内の部分の画像（画像１１９、図４参照）が切り出される（Ｓ６９）。切り出された画像は、会議端末５の正面ディスプレイ６１に表示可能なように、拡大又は縮小される（Ｓ７１）。以上の手順を経て、正面表示画像が作成される。作成された正面表示画像では、ユーザの頭部が中心に大きく配置されている。処理は、正面画像処理（図１４参照）に戻る。
【００６１】
上述した処理は、割り込み処理（図１３参照）が所定周期で起動される度に実行される。従って例えば、Ｓ１１で取得された正面画像中のユーザの位置が変化しても（図５参照）、変化後のユーザの頭部の画像が検出され、検出された頭部が中心に大きく配置された正面表示画像が作成される。このため、会議端末５の正面ディスプレイ６１には、ユーザの頭部が常に中心に大きく表示される。従って会議端末５のユーザは、遠隔拠点にいるユーザの正面の様子を常に良好に把握できる。これによって、テレビ会議は円滑に進行する。
【００６２】
図１５を参照し、右面画像処理について説明する。右面画像処理では、ＲＡＭ３２に記憶されたフラグが使用される。フラグは、Ｓ１３（図１３参照）において右側カメラ４７から取得された右面画像から右面表示画像を作成する処理が許可されているか否かを示す。フラグは、メイン処理のＳ５（図１２参照）で割込み処理が起動された場合に０が格納される。
【００６３】
フラグに１が格納されているかが判断される（Ｓ４１）。フラグに０が格納されている場合（Ｓ４１：ＮＯ）、Ｓ１３（図１３参照）において右側カメラ４７から取得された右面画像から、ユーザの頭部の画像の検出が試みられる（Ｓ４３）。ユーザの頭部の画像が検出できた場合（Ｓ４５：ＹＥＳ）、右面表示画像を作成する場合に右面画像から画像を切り出す周辺領域（周辺領域１３８、図６参照）が既に特定されているかが判断される（Ｓ４７）。周辺領域が未だ特定されていないと判断された場合（Ｓ４７：ＮＯ）、周辺領域を特定して右面表示画像を作成する処理（画像編集処理（図１６参照））が実行される（Ｓ５５）。
【００６４】
図１６を参照し、画像編集処理について説明する。Ｓ４３（図１５参照）で検出されたユーザの頭部の輪郭線（輪郭線１３２、図６参照）が抽出される（Ｓ６１）。抽出された輪郭線が内側にちょうど収まる矩形状の領域（領域１３７、図６参照）が定義付けられる。会議端末５の右面ディスプレイ６２の画面解像度が取得される（Ｓ６５）。取得された画面解像度に基づいて、矩形状の領域の幅又は高さが伸長され、周辺領域（周辺領域１３８、図６参照）が特定される（Ｓ６７）。Ｓ１３（図１３参照）で取得された右面画像から、特定された周辺領域内の部分の画像（画像１３９、図７参照）が切り出される（Ｓ６９）。切り出された画像は、会議端末５の右面ディスプレイ６２に表示可能なように、拡大又は縮小される（Ｓ７１）。以上の手順を経て、右面表示画像が作成される。作成された右面表示画像では、ユーザの頭部が中心に大きく配置されている。従って会議端末５のユーザは、遠隔拠点にいるユーザの右面の様子を常に良好に把握できる。処理は、右面画像処理（図１５参照）に戻る。図１５に示すように、画像編集処理（Ｓ５５）の終了後、右面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。作成された右面表示画像は、割り込み処理（図１３参照）において映像パケットに格納され、会議端末５に対して送信される。
【００６５】
一方、Ｓ４７で、周辺領域が既に特定されていると判断された場合（Ｓ４７：ＹＥＳ）、Ｓ１３（図１３参照）において取得された右面画像上に、既に特定されている周辺領域と同一の位置及び大きさの領域が、対応領域（対応領域１４０、図８、９参照）として配置される。配置された対応領域内に、ユーザの頭部の画像が収まっているかが判断される（Ｓ４９）。ユーザの頭部の画像が対応領域内に収まっていない（図９参照）と判断された場合（Ｓ４７：ＮＯ）、右面表示画像の作成処理を１秒間禁止するために、フラグに１が格納される（Ｓ５３）。右面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。
【００６６】
一方、ユーザの頭部の画像が対応領域内に収まっている（図８参照）と判断された場合（Ｓ４９：ＹＥＳ）、右面画像のうち対応領域内の部分の画像（画像１４３、図８参照）が切り出される（Ｓ５１）。切り出された画像は、会議端末５の右面ディスプレイ６２に表示可能なように拡大又は縮小され（Ｓ５２）、右面表示画像が作成される。右面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。作成された右面表示画像は、割り込み処理（図１３参照）において映像パケットに格納され、会議端末５に対して送信される。
【００６７】
以上のように、周辺領域に対応する対応領域がそのまま繰り返し使用されて右面画像から画像が切り出され、右面表示画像が作成される。対応領域が繰り返し使用されることで、頭部の輪郭線の抽出（Ｓ６１、図１６参照）、矩形領域の特定（Ｓ６３、図１６参照）、及び、周辺領域の特定（Ｓ６７、図１６参照）が不要となる。従って、通信端末３の処理負荷は大幅に軽減され、他の各処理は遅滞なくスムーズに実行される。
【００６８】
Ｓ５３でフラグに１が格納された状態で右面画像処理が開始され、Ｓ４１で判断がされた場合（Ｓ４１：ＹＥＳ）、又は、Ｓ４５で頭部が検出されなかったと判断された場合（Ｓ４５：ＮＯ）、Ｓ５３でフラグに１が格納されてからの経過時間が監視される。フラグに１が格納されてからの経過時間が未だ１秒間経過していない場合（Ｓ５７：ＮＯ）、右面表示画像の作成処理は未だ禁止された状態にある。右面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。これによって、右面表示画像を作成する場合に要する処理負荷は軽減される。なおこの場合、右面表示画像は作成されないので、右面表示画像は会議端末５に対して送信されない。従って、会議端末５の右面ディスプレイ６２に表示された右面表示画像は更新されない。
【００６９】
Ｓ５３でフラグに１が格納されてからの経過時間が１秒間以上経過した場合（Ｓ５７：ＹＥＳ）、Ｓ１３で右側カメラ４７から取得された右面画像から、ユーザの頭部の画像の検出が試みられる（Ｓ５９）。ユーザの頭部の画像が検出できなかった場合（Ｓ６１：ＮＯ）、ユーザの頭部の画像が右面画像内に含まれていない可能性がある。この場合、右面表示画像を作成することができないので、右面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。一方、ユーザの頭部の画像が検出された場合（Ｓ６１：ＹＥＳ）、右面表示画像の作成を再開させるために、フラグに０が格納される（Ｓ６３）。右面画像に基づいて右面表示画像を作成する処理（画像編集処理（図１６参照））が実行される（Ｓ６５）。Ｓ６５での処理は、Ｓ５５での処理と同一であるので、説明は省略する。画像編集処理によって右面表示画像が作成された後、処理は割り込み処理（図１３参照）に戻る。作成された右面表示画像は、割り込み処理（図１３参照）において映像パケットに格納され、会議端末５に対して送信される。
【００７０】
以上説明したように、通信端末３は、カメラによって撮影された画像からユーザの頭部の画像を検出する。通信端末３は、頭部が中心に配置されるように画像を切り出し、表示画像を作成する。作成された表示画像は、会議端末５に送信される。会議端末５のディスプレイには、ユーザの頭部が中心に大きく表示される。従って会議端末５のユーザは、遠隔拠点にいるユーザの側面の様子を良好に把握することができる。また遠隔拠点のユーザは、カメラによって撮影される画像の中心にユーザの頭部が配置されるように複数のカメラの設置位置を厳密に調整しなくても、ユーザの頭部が中心に大きく配置された表示画像を常に得ることができる。遠隔拠点のユーザは、複数のカメラの設置を容易に行うことができる。
【００７１】
通信端末３は、複数のカメラによって撮影された複数の画像を処理する必要がある。このため、通信端末３の処理負荷は高くなり易い。これに対して通信端末３は、対応領域内にユーザの頭部の画像が収まっている場合、該対応領域を繰り返して使用することで、表示画像の作成処理に要する工程を大幅に削減することができる。また、側面画像のうち対応領域内にユーザの頭部が収まっていない場合、画像の切り出しを所定時間禁止することで、処理負荷を大幅に軽減することができる。これによって通信端末３は、他の処理を遅滞なくスムーズに行うことができる。また通信端末３では、正面表示画像の作成は継続して繰り返し実行され、画質は維持される。従って通信端末３は、側面画像からの画像の切り出しを所定時間禁止した場合でも、テレビ会議の実用性を維持することができる。
【００７２】
なお本発明は上述の実施形態に限定されず、種々の変更が可能である。以下、本発明の第一変形例について説明する。第一変形例では、右面表示画像又は左面表示画像の鏡像画像が作成される。鏡像画像は、表示画像の左右を反転させた画像である。右面表示画像から鏡像画像が作成された場合、作成された鏡像画像は、左面表示画像の代わりに用いられる。左面表示画像から鏡像画像が作成された場合、作成された鏡像画像は、右面表示画像の代わりに用いられる。これによって、右面表示画像又は左面表示画像のうちいずれか一方の作成が禁止されている場合でも、表示画像を継続して更新することができる。以下詳説する。
【００７３】
図１７を参照し、本発明の第一変形例における割り込み処理について説明する。第一変形例におけるメイン処理は、上述した実施形態と同一（図１２参照）であるので、説明を省略する。又、第一変形例における割り込み処理のうち、上述した実施形態の割り込み処理（図１３参照）と同一の処理については、同一符号を付し、説明を省略又は簡略化している。
【００７４】
前側カメラ４６、右側カメラ４７、及び左側カメラ４８から、其々、正面画像、右面画像、及び左面画像が取得される（Ｓ１１、Ｓ１３）。Ｓ１１で取得された正面画像に基づいて、正面表示画像が作成される（Ｓ１５）。Ｓ１３で取得された右面画像及び左面画像に基づいて、右面表示画像及び左面表示画像が作成される（Ｓ１７、Ｓ１９）。
【００７５】
右面表示画像及び左面表示画像のうち少なくともいずれかの作成が禁止されており（Ｓ５７：ＮＯ、図１５参照）、少なくともいずれかの表示画像が作成されなかったかが判断される（Ｓ８１）。右面表示画像及び左面表示画像の両方が作成されている場合（Ｓ８１：ＮＯ）、鏡像画像の作成を行う必要はないので、処理はＳ２１に進む。
【００７６】
右面表示画像及び左面表示画像のうち少なくともいずれかが作成されなかった場合（Ｓ８１：ＹＥＳ）、少なくとも一方の表示画像が作成されたかが判断される（Ｓ８３）。右面表示画像及び左面表示画像が両方とも作成されなかった場合（Ｓ８３：ＮＯ）、鏡像画像を作成することができないので、処理はＳ２１に進む。右面表示画像及び左面表示画像のうち少なくとも一方の表示画像が作成されている場合（Ｓ８３：ＹＥＳ）、作成された側の表示画像に基づいて鏡像画像が作成される（Ｓ８５）。作成された鏡像画像は、作成が禁止されている表示画像の代わりに用いられる。処理はＳ２１に進む。
【００７７】
所定フレーム数（例えば、１フレーム）分の正面表示画像、右面表示画像、及び左面表示画像が作成されたか否かが判断される（Ｓ２１）。所定フレーム数分の表示画像が作成された場合（Ｓ２１：ＹＥＳ）、各表示画像に撮影元カメラを示す識別タグが付与され（Ｓ２３）、映像パケットが作成される（Ｓ２５）。映像パケットは、会議端末５へ送信される（Ｓ２７）。割込みは終了する。
【００７８】
通信端末３から送信された映像パケットは、会議端末５において受信され、ディスプレイに表示される。鏡像画像が作成された場合、右面ディスプレイ６２及び左面ディスプレイ６３には、鏡像関係にある表示画像が其々表示される。遠隔拠点において、右側カメラ４７及び左側カメラ４８の設置位置の関係は、ユーザを挟んで対称関係にある。従って、一方のカメラにおいて撮影された画像の鏡像画像は、他方のカメラにおいて撮影された画像と類似する。従って、鏡像関係にある表示画像が会議端末５の右面ディスプレイ６２及び左面ディスプレイ６３に其々表示された場合でも違和感はない。従って通信端末３は、一方の側面画像に基づいて表示画像を作成することができない場合に、他方の側面画像に基づいて作成した表示画像から鏡像画像を作成し、作成されなかった表示画像の代わりに用いる。これによって通信端末３は、側面画像から表示画像を作成する処理を半減させて処理負荷を軽減させることができる。又通信端末３は、一方の側面画像に基づいて表示画像を作成することができない場合でも、鏡像画像を代わりに用いることで、会議端末５のディスプレイに表示される画像の更新頻度を高く維持できる。これによって、動きがなめらかな表示画像を会議端末５のディスプレイに表示させることができる。
【００７９】
本発明の第二変形例について、図１８及び図１９を参照して説明する。第二変形例では、通信端末３は、前側カメラ４６から取得した正面画像、及び、右側カメラ４７及び左側カメラ４８から取得した側面画像を、そのまま会議端末５に送信する。会議端末５は、正面画像及び側面画像を受信する。会議端末５は、受信した正面画像及び側面画像から表示画像を作成し、正面ディスプレイ６１，右面ディスプレイ６２、及び左面ディスプレイ６３に其々表示する。通信端末３のＣＰＵ３０において実行されるメイン処理は、上述した実施形態と同一である（図１２参照）。図１８で示される割り込み処理が、メイン処理内で起動されて実行される。会議端末５のＣＰＵ５０において、図１９で示される受信処理が実行される。受信処理は、テレビ会議のアプリケーションを開始する指示が、タッチパネル５７を介してユーザによってなされた場合に、ＣＰＵ５０において起動され実行される。上述した実施形態と同一の処理については、同一符号を付し、説明を省略又は簡略している。
【００８０】
図１８を参照し、第二変形例における割り込み処理について説明する。上述した実施形態における割込み処理（図１３参照）と異なる点は、正面画像処理（Ｓ１５、図１３参照）、右面画像処理（Ｓ１７、図１３参照）、及び左面画像処理（Ｓ１９、図１３参照）が、割り込み処理中で行われない点である。前側カメラ４６、右側カメラ４７、及び左側カメラ４８から、其々、正面画像、右面画像、及び左面画像が取得される（Ｓ１１、Ｓ１３）。所定フレーム数（例えば、１フレーム）分の正面画像、右面画像、及び左面画像が取得されたか否かが判断される（Ｓ２１）。所定フレーム数分の画像が取得された場合（Ｓ２１：ＹＥＳ）撮影元カメラを示す識別タグが各画像に付与され（Ｓ２３）、映像パケットが作成される（Ｓ２５）。映像パケットは、会議端末５へ送信される（Ｓ２７）。割込み処理は終了する。
【００８１】
図１９を参照し、第二変形例における受信処理について説明する。会議参加要求が会議サーバ（図示外）に送信される（Ｓ１０１）。会議参加要求が送信された後、参加許可を取得したか否かが判断される（Ｓ１０３）。会議サーバから参加拒否を受信した場合、参加許可を取得していないと判断される（Ｓ１０３：ＮＯ）。この場合、テレビ会議は開始されることなく、受信処理は終了する。会議サーバから参加許可を受信した場合、参加許可を取得したと判断される（Ｓ１０３：ＹＥＳ）。この場合、通信端末３から送信された映像パケットが受信される（Ｓ１０７）。受信された映像パケットから、正面画像、右面画像、及び左面画像が取得される。
【００８２】
取得された正面画像に基づいて正面表示画像を作成する処理（正面画像処理、図１４参照）が実行される（Ｓ１０９）。取得された右面画像に基づいて右面表示画像を作成する処理（右面画像処理、図１５参照）が実行される（Ｓ１１１）。取得された左面画像に基づいて左面表示画像を作成する処理（左面画像処理）が実行される（Ｓ１１３）。正面画像処理、右面画像処理、及び左面画像処理は、上述した実施形態と同一である。作成された正面表示画像、右面表示画像、及び左面表示画像は、正面ディスプレイ６１、右面ディスプレイ６２、及び左面ディスプレイ６３に其々表示される（Ｓ１１５）。
【００８３】
テレビ会議を終了させる旨の指示が、タッチパネル５７を介してユーザによって入力されたか否かが判断される（Ｓ１１７）。テレビ会議を終了させる旨の指示が入力された場合（Ｓ１１７：ＹＥＳ）、受信処理は終了する。テレビ会議を終了させる指示が入力されていない場合（Ｓ１１７：ＮＯ）、処理はＳ１０７に戻り、テレビ会議は継続する。
【００８４】
以上説明したように、第三変形例では、通信端末３はカメラから取得した画像をそのまま会議端末５に対して送信する。会議端末５は、受信した画像に基づいて表示画像を作成し、ディスプレイに表示する。これによって、通信端末３における処理負荷を大幅に軽減することができるので、通信端末３として処理能力の小さい汎用ＰＣ等が使用された場合でも、通信端末３は円滑にテレビ会議を実行することができる。会議端末５は、ディスプレイの状態に合わせて表示画像を作成することができるので、ディスプレイの大きさや向きが変更された場合でも、変更後のディスプレイの画面解像度に応じた表示画像を作成し、ディスプレイに表示させることができる。
【００８５】
本発明の第三変形例について説明する。第三変形例では、上述した実施形態とは異なり、側面画像のうち対応領域内にユーザの頭部の画像が収まっていない場合でも、側面画像からの画像の切り出しが継続して行われ、会議端末５に対して表示画像が送信される。これによって通信端末３は、処理負荷を抑制しつつ、側面画像の更新頻度を高くして画質を維持することができる。以下詳説する。
【００８６】
図２０を参照し、本発明の第三変形例における右面画像処理について説明する。第三変形例におけるメイン処理は、上述した実施形態と同一（図１２参照）である。第三変形例における割り込み処理では、上述した実施形態における割り込み処理（図１３参照）から、図２０に示す右面画像処理が呼び出される。左面画像処理は、図２０に示す右面画像処理と同一である。上述した実施形態と重複する部分については、同一符号を付し、説明を省略している。
【００８７】
図２０の右面画像処理が図１５の右面画像処理と異なる点は、Ｓ１２１とＳ１２３である。ユーザの頭部の画像が対応領域内に収まっていないと判断され（Ｓ４９：ＮＯ）、フラグに１が格納されたとする（Ｓ５３）。この場合、フラグに１が格納されてからの経過時間が未だ１秒間経過していない場合でも（Ｓ５７：ＮＯ）、右面画像のうち対応領域内の部分の画像が切り出される（Ｓ１２１）。切り出された画像に含まれるユーザの頭部の画像は、少なくとも一部分が欠けた状態になっている。切り出された画像は、会議端末５の右面ディスプレイ６２に表示可能なように拡大又は縮小され（Ｓ１２３）、右面表示画像が作成される。右面画像処理は終了し、処理は割り込み処理（図１３参照）に戻る。なお、作成された右面表示画像は、割り込み処理（図１３参照）において映像パケットに格納され、会議端末５に対して送信される。
【００８８】
以上説明したように、通信端末３は、対応領域内にユーザの頭部が全て収まっていない場合でも、対応領域内の画像を切り出すことによって、側面画像から表示画像を作成することができる。表示画像は頻繁に更新されることになるので、動きの滑らかな表示画像を作成することができる。また、ユーザの頭部が対応領域にすべて収まっていない場合でも画像の切り出しが禁止されないので、頭部が少しだけ対応領域からはみ出してしまっているような場合に画像の切り出しが禁止されてしまうことを防止できる。なお、画像を切り出す場合には、対応領域が繰返し使用されるので、頭部の輪郭線の抽出（Ｓ６１、図１６参照）、矩形領域の特定（Ｓ６３、図１６参照）、及び、周辺領域の特定（Ｓ６７、図１６参照）が不要となる。従って、通信端末３の処理負荷は大幅に軽減され、他の各処理は遅滞なくスムーズに実行される。
【００８９】
なお、Ｓ１１の処理が本発明の「第一取得ステップ」に相当する。Ｓ３１の処理が本発明の「第一検出ステップ」に相当する。Ｓ６９の処理が本発明の「第一切り出しステップ」「第二切り出しステップ」に相当する。Ｓ７１の処理が本発明の「第一作成ステップ」「第二作成ステップ」に相当する。Ｓ１３の処理が本発明の「第二取得ステップ」に相当する。Ｓ４３の処理が本発明の「第二検出ステップ」に相当する。Ｓ２７の処理が本発明の「送信ステップ」「第一送信ステップ」「第二送信ステップ」「第三送信ステップ」に相当する。Ｓ５１の処理が本発明の「第三切り出しステップ」に相当する。Ｓ５７の処理が本発明の「禁止ステップ」に相当する。Ｓ５２、及びＳ１２３の処理が本発明の「第三作成ステップ」に相当する。Ｓ８５の処理が本発明の「第四作成ステップ」に相当する。Ｓ１０７の処理が本発明の「受信ステップ」に相当する。Ｓ１１５の処理が本発明の「表示ステップ」に相当する。
【００９０】
上述では、通信端末３に３つのカメラが接続されていたが、カメラの数は２つであってもよいし、４つ以上であってもよい。また、光学系（ミラーやレンズ）を切り替えることによってユーザの正面顔と横顔との両方を撮影することができる一つのカメラが接続されていてもよい。上述では、カメラによって撮影された画像からユーザの頭部の画像を含む周辺領域が切り出されることによって、表示画像が作成されていた。本発明はこれに限定されない。例えば、ユーザの頭部の画像が輪郭線によって切り出されることで、表示画像が作成されてもよい。また、ユーザの頭部の画像が輪郭線によって切り出された場合、予め準備された背景の画像や被服の画像に、切り出された頭部の画像を重ねて表示させてもよい。これによってユーザは、背景の様子や被服を気にせずにテレビ会議に参加することができる。
【００９１】
周辺領域の大きさを画一的に定め、ユーザの頭部の位置に応じて、画像に対する周辺領域の位置のみを移動させてもよい。これによって、ユーザの頭部の中心位置のみの検出によって表示画像を作成することができるので、ユーザの頭部の輪郭線の検出が不要となる。従って通信端末３の処理負荷を軽減することができる。
【００９２】
通信端末３は、側面画像に基づいて表示画像を作成できなかった場合、作成された表示画像のうち最も新しい表示画像を、繰り返し会議端末５に対して送信してもよい。
【００９３】
会議端末５は、正面ディスプレイ６１、右面ディスプレイ６２、及び左面ディスプレイ６３の画面解像度を、周期的に通信端末３に通知してもよい。通信端末３は、会議端末５から通知された画面解像度に基づいて、表示画像を作成してもよい。
【００９４】
正面カメラ４６、右面カメラ４７、及び左面カメラ４８は、ユーザの頭部が撮影領域内に収まらなくなった場合に、頭部の方向に撮影方向を向ける追尾機能を備えていてもよい。これによって、ユーザの頭部の位置が大きく変化した場合も、撮影領域内にユーザの頭部が確実に収まるので、常にユーザの頭部を会議端末５のディスプレイに表示させることができる。
【００９５】
上述では、通信システム１内に一つの通信端末３が含まれていたが、本発明はこれに限定されない。通信システム１内の通信端末３の数は２以上であってもよい。会議端末５は、複数の通信端末３から受信した画像を順次切り替え、複数のディスプレイに表示してもよい。
【００９６】
上述では、会議端末５はユーザの正面顔及び横顔を表示する３つのディスプレイ（正面ディスプレイ６１、右面ディスプレイ６２、及び左面ディスプレイ６３）を備えていたが、本発明はこれに限定されない。例えば、ユーザの正面顔及び横顔を同時に表示することができる一つのディスプレイを備えていてもよい。また該ディスプレイは、例えば湾曲した円筒形状のディスプレイであってもよいし、複数の方向から異なる映像を見ることが可能な三次元ディスプレイであってもよい。
【符号の説明】
【００９７】
１ テレビ会議システム
３ 通信端末
５ 会議端末
２０、５０ ＣＰＵ
４６ 前側カメラ
４７ 右側カメラ
４８ 左側カメラ
６１ 正面ディスプレイ
６２ 右面ディスプレイ
６３ 左面ディスプレイ
【特許請求の範囲】
【請求項１】
ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び、横顔を含む第二表示画像を表示する少なくとも一つの第二表示部を備えた遠隔会議用の会議端末に対して、前記第一表示画像及び前記第二表示画像を送信する通信端末であって、
制御部と、前記制御部への命令を記憶したメモリとを備え、前記命令が実行されることにより、
前記ユーザの正面顔を含む領域を撮影する第一撮影部から、前記正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、
前記第一取得ステップにおいて取得された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、
前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域内の画像を切り出す第一切り出しステップと、
前記第一切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、
前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部から、前記横顔を含む領域の画像である側面画像を取得する第二取得ステップと、
前記第二取得ステップにおいて取得された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、
前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域内の画像を切り出す第二切り出しステップと、
前記第二切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、
前記第一作成ステップにおいて作成された前記第一表示画像、及び、前記第二作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する第一送信ステップと
を実行することを特徴とする通信端末。
【請求項２】
前記制御部は、
前記第二取得ステップにおいて前記側面画像が繰り返し取得された場合に、取得された前記側面画像のうち、前記第二切り出しステップにおいて前回切り出された前記周辺領域に対応する対応領域内の画像を切り出す第三切り出しステップと、
前記第三切り出しステップにおいて切り出された前記対応領域内の画像に、前記第二頭部画像が全て収まっているか否かを判断する判断ステップと、
前記判断ステップにおいて、前記対応領域内に前記第二頭部画像が全て収まっていないと判断された場合に、前記第三切り出しステップによる切り出しを所定時間禁止する禁止ステップと、
前記判断ステップにおいて、前記対応領域内に前記第二頭部画像が全て収まっていると判断された場合に、前記第三切り出しステップにおいて切り出された前記対応画像内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第三作成ステップと、
前記第三作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する第二送信ステップと
を更に実行することを特徴とする請求項１に記載の通信端末。
【請求項３】
前記制御部は、
前記第二取得ステップにおいて前記側面画像が繰り返し取得された場合に、取得された前記側面画像のうち、前記第二切り出しステップにおいて前回切り出された前記周辺領域に対応する対応領域内の画像を切り出す第三切り出しステップと、
前記第三切り出しステップにおいて切り出された前記対応画像内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第三作成ステップと、
前記第三作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する第二送信ステップと
を更に実行することを特徴とする請求項１に記載の通信端末。
【請求項４】
前記制御部は、
前記第二取得ステップを実行する場合において、複数の前記第二撮影部から複数の前記側面画像を取得し、
前記判断ステップを実行する場合において、
前記第二取得ステップにおいて前記複数の側面画像が繰り返し取得された場合に、取得された其々の前記側面画像の前記対応領域内に、前記第二頭部画像が全て収まっているか否かを判断し、
前記判断ステップにおいて、前記複数の側面画像のうち何れかの前記側面画像の前記対応領域内に、前記第二頭部画像が全て収まっていないと判断された場合に、前記第二頭部画像が全て収まっていると判断された他の前記側面画像に基づいて前記第二作成ステップにおいて作成された前記第二表示画像の鏡像画像を作成する第四作成ステップと、
前記第四作成ステップにおいて作成された前記鏡像画像を、前記会議端末に対して送信する第三送信ステップと
を更に実行することを特徴とする請求項２に記載の通信端末。
【請求項５】
ユーザの正面顔を含む領域を撮影する第一撮影部、及び、前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部を備えた通信端末と、前記ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び前記ユーザの横顔を含む第二表示画像を表示する第二表示部を備え、前記通信端末と通信を行う会議端末とを備えた通信システムであって、
前記通信端末は、
制御部と、前記制御部への命令を記憶したメモリとを備え、前記命令が実行されることにより、
前記第一撮影部において撮影された、前記ユーザの正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、
前記第二撮影部において撮影された、前記ユーザの横顔を含む領域の画像である側面画像を取得する第二取得ステップと、
前記第一取得ステップにおいて取得された前記正面画像、及び、前記第二取得ステップにおいて取得された前記側面画像を、前記会議端末に対して送信する送信ステップと
を実行し、
前記会議端末は、
制御部と、前記制御部への命令を記憶したメモリとを備え、前記命令が実行されることにより、
前記正面画像、及び前記側面画像を前記通信端末から受信する受信ステップと、
前記受信ステップにおいて受信された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、
前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域内の画像を切り出す第一切り出しステップと、
前記第一切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、
前記受信ステップにおいて受信された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、
前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域内の画像を切り出す第二切り出しステップと、
前記第二切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、
前記第一作成ステップにおいて作成された前記第一表示画像を前記第一表示部に表示し、前記第二作成ステップにおいて作成された前記第二表示画像を前記第二表示部に表示する表示ステップと
を実行することを特徴とする通信システム。
【請求項６】
ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び、横顔を含む第二表示画像を表示する少なくとも一つの第二表示部を備えた遠隔会議用の会議端末に対して、前記第一表示画像及び前記第二表示画像を送信する通信方法であって、
前記ユーザの正面顔を含む領域を撮影する第一撮影部から、前記正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、
前記第一取得ステップにおいて取得された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、
前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域内の画像を切り出す第一切り出しステップと、
前記第一切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、
前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部から、前記横顔を含む領域の画像である側面画像を取得する第二取得ステップと、
前記第二取得ステップにおいて取得された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、
前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域内の画像を切り出す第二切り出しステップと、
前記第二切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、
前記第一作成ステップにおいて作成された前記第一表示画像、及び、前記第二作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する送信ステップと
を備えたことを特徴とする通信方法。
【請求項７】
ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び、横顔を含む第二表示画像を表示する少なくとも一つの第二表示部を備えた遠隔会議用の会議端末に対して、前記第一表示画像及び前記第二表示画像を送信するための通信プログラムであって、
前記ユーザの正面顔を含む領域を撮影する第一撮影部から、前記正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、
前記第一取得ステップにおいて取得された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、
前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域内の画像を切り出す第一切り出しステップと、
前記第一切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、
前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部から、前記横顔を含む領域の画像である側面画像を取得する第二取得ステップと、
前記第二取得ステップにおいて取得された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、
前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域内の画像を切り出す第二切り出しステップと、
前記第二切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、
前記第一作成ステップにおいて作成された前記第一表示画像、及び、前記第二作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する送信ステップと
をコンピュータに実行させるための通信プログラム。
【請求項１】
ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び、横顔を含む第二表示画像を表示する少なくとも一つの第二表示部を備えた遠隔会議用の会議端末に対して、前記第一表示画像及び前記第二表示画像を送信する通信端末であって、
制御部と、前記制御部への命令を記憶したメモリとを備え、前記命令が実行されることにより、
前記ユーザの正面顔を含む領域を撮影する第一撮影部から、前記正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、
前記第一取得ステップにおいて取得された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、
前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域内の画像を切り出す第一切り出しステップと、
前記第一切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、
前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部から、前記横顔を含む領域の画像である側面画像を取得する第二取得ステップと、
前記第二取得ステップにおいて取得された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、
前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域内の画像を切り出す第二切り出しステップと、
前記第二切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、
前記第一作成ステップにおいて作成された前記第一表示画像、及び、前記第二作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する第一送信ステップと
を実行することを特徴とする通信端末。
【請求項２】
前記制御部は、
前記第二取得ステップにおいて前記側面画像が繰り返し取得された場合に、取得された前記側面画像のうち、前記第二切り出しステップにおいて前回切り出された前記周辺領域に対応する対応領域内の画像を切り出す第三切り出しステップと、
前記第三切り出しステップにおいて切り出された前記対応領域内の画像に、前記第二頭部画像が全て収まっているか否かを判断する判断ステップと、
前記判断ステップにおいて、前記対応領域内に前記第二頭部画像が全て収まっていないと判断された場合に、前記第三切り出しステップによる切り出しを所定時間禁止する禁止ステップと、
前記判断ステップにおいて、前記対応領域内に前記第二頭部画像が全て収まっていると判断された場合に、前記第三切り出しステップにおいて切り出された前記対応画像内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第三作成ステップと、
前記第三作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する第二送信ステップと
を更に実行することを特徴とする請求項１に記載の通信端末。
【請求項３】
前記制御部は、
前記第二取得ステップにおいて前記側面画像が繰り返し取得された場合に、取得された前記側面画像のうち、前記第二切り出しステップにおいて前回切り出された前記周辺領域に対応する対応領域内の画像を切り出す第三切り出しステップと、
前記第三切り出しステップにおいて切り出された前記対応画像内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第三作成ステップと、
前記第三作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する第二送信ステップと
を更に実行することを特徴とする請求項１に記載の通信端末。
【請求項４】
前記制御部は、
前記第二取得ステップを実行する場合において、複数の前記第二撮影部から複数の前記側面画像を取得し、
前記判断ステップを実行する場合において、
前記第二取得ステップにおいて前記複数の側面画像が繰り返し取得された場合に、取得された其々の前記側面画像の前記対応領域内に、前記第二頭部画像が全て収まっているか否かを判断し、
前記判断ステップにおいて、前記複数の側面画像のうち何れかの前記側面画像の前記対応領域内に、前記第二頭部画像が全て収まっていないと判断された場合に、前記第二頭部画像が全て収まっていると判断された他の前記側面画像に基づいて前記第二作成ステップにおいて作成された前記第二表示画像の鏡像画像を作成する第四作成ステップと、
前記第四作成ステップにおいて作成された前記鏡像画像を、前記会議端末に対して送信する第三送信ステップと
を更に実行することを特徴とする請求項２に記載の通信端末。
【請求項５】
ユーザの正面顔を含む領域を撮影する第一撮影部、及び、前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部を備えた通信端末と、前記ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び前記ユーザの横顔を含む第二表示画像を表示する第二表示部を備え、前記通信端末と通信を行う会議端末とを備えた通信システムであって、
前記通信端末は、
制御部と、前記制御部への命令を記憶したメモリとを備え、前記命令が実行されることにより、
前記第一撮影部において撮影された、前記ユーザの正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、
前記第二撮影部において撮影された、前記ユーザの横顔を含む領域の画像である側面画像を取得する第二取得ステップと、
前記第一取得ステップにおいて取得された前記正面画像、及び、前記第二取得ステップにおいて取得された前記側面画像を、前記会議端末に対して送信する送信ステップと
を実行し、
前記会議端末は、
制御部と、前記制御部への命令を記憶したメモリとを備え、前記命令が実行されることにより、
前記正面画像、及び前記側面画像を前記通信端末から受信する受信ステップと、
前記受信ステップにおいて受信された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、
前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域内の画像を切り出す第一切り出しステップと、
前記第一切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、
前記受信ステップにおいて受信された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、
前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域内の画像を切り出す第二切り出しステップと、
前記第二切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、
前記第一作成ステップにおいて作成された前記第一表示画像を前記第一表示部に表示し、前記第二作成ステップにおいて作成された前記第二表示画像を前記第二表示部に表示する表示ステップと
を実行することを特徴とする通信システム。
【請求項６】
ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び、横顔を含む第二表示画像を表示する少なくとも一つの第二表示部を備えた遠隔会議用の会議端末に対して、前記第一表示画像及び前記第二表示画像を送信する通信方法であって、
前記ユーザの正面顔を含む領域を撮影する第一撮影部から、前記正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、
前記第一取得ステップにおいて取得された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、
前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域内の画像を切り出す第一切り出しステップと、
前記第一切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、
前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部から、前記横顔を含む領域の画像である側面画像を取得する第二取得ステップと、
前記第二取得ステップにおいて取得された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、
前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域内の画像を切り出す第二切り出しステップと、
前記第二切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、
前記第一作成ステップにおいて作成された前記第一表示画像、及び、前記第二作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する送信ステップと
を備えたことを特徴とする通信方法。
【請求項７】
ユーザの正面顔を含む第一表示画像を表示する第一表示部、及び、横顔を含む第二表示画像を表示する少なくとも一つの第二表示部を備えた遠隔会議用の会議端末に対して、前記第一表示画像及び前記第二表示画像を送信するための通信プログラムであって、
前記ユーザの正面顔を含む領域を撮影する第一撮影部から、前記正面顔を含む領域の画像である正面画像を取得する第一取得ステップと、
前記第一取得ステップにおいて取得された前記正面画像から、前記ユーザの頭部の画像である第一頭部画像を検出する第一検出ステップと、
前記正面画像のうち、前記第一検出ステップにおいて検出された前記第一頭部画像を中心とした周辺領域内の画像を切り出す第一切り出しステップと、
前記第一切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第一表示部の画面解像度に対応する大きさに変換することで、前記第一表示画像を作成する第一作成ステップと、
前記ユーザの横顔を含む領域を撮影する少なくとも一つの第二撮影部から、前記横顔を含む領域の画像である側面画像を取得する第二取得ステップと、
前記第二取得ステップにおいて取得された前記側面画像から、前記ユーザの頭部の画像である第二頭部画像を検出する第二検出ステップと、
前記側面画像のうち、前記第二検出ステップにおいて検出された前記第二頭部画像を中心とした周辺領域内の画像を切り出す第二切り出しステップと、
前記第二切り出しステップにおいて切り出された前記周辺領域内の画像を、前記第二表示部の画面解像度に対応する大きさに変換することで、前記第二表示画像を作成する第二作成ステップと、
前記第一作成ステップにおいて作成された前記第一表示画像、及び、前記第二作成ステップにおいて作成された前記第二表示画像を、前記会議端末に対して送信する送信ステップと
をコンピュータに実行させるための通信プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【公開番号】特開２０１２−１６９９４９（Ｐ２０１２−１６９９４９Ａ）
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願番号】特願２０１１−３０３７７（Ｐ２０１１−３０３７７）
【出願日】平成２３年２月１６日（２０１１．２．１６）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【出願人】（５０４１３９６６２）国立大学法人名古屋大学 (996)
【Ｆターム（参考）】
【公開日】平成２４年９月６日（２０１２．９．６）
【国際特許分類】
【出願日】平成２３年２月１６日（２０１１．２．１６）
【出願人】（０００００５２６７）ブラザー工業株式会社 (13,856)
【出願人】（５０４１３９６６２）国立大学法人名古屋大学 (996)
【Ｆターム（参考）】
[ Back to top ]