撮影装置及びこれを用いた遠隔コミュニケーションシステム
【課題】安価・小型な構成で参加者同士が目線を合わせて円滑な対話をすることができ、且つ参加者を表示する表示装置を自由に選択することが可能な撮影装置、及びこれを用いた遠隔コミュニケーションシステムを提供する。
【解決手段】自局側参加者を撮影するカメラ５と表示装置１３に映し出される他局側参加者を撮影するカメラ６とが一体に構成されるカメラ本体１と、カメラ本体１の撮影方向及び高さを調節可能に該カメラ本体１を支持する支持部材２（係止部材４）と、カメラ本体１の撮影方向及び高さを変えるべく支持部材２を駆動する駆動部と、カメラ５，６で撮影された映像から参加者の顔を検出する顔検出処理部と、顔検出処理部からの検出結果を参照してカメラ５，６の双方で参加者の顔を撮影するべく駆動部を駆動させ、カメラ本体１の位置決めを行うための制御を行う位置制御部とを備える。
【解決手段】自局側参加者を撮影するカメラ５と表示装置１３に映し出される他局側参加者を撮影するカメラ６とが一体に構成されるカメラ本体１と、カメラ本体１の撮影方向及び高さを調節可能に該カメラ本体１を支持する支持部材２（係止部材４）と、カメラ本体１の撮影方向及び高さを変えるべく支持部材２を駆動する駆動部と、カメラ５，６で撮影された映像から参加者の顔を検出する顔検出処理部と、顔検出処理部からの検出結果を参照してカメラ５，６の双方で参加者の顔を撮影するべく駆動部を駆動させ、カメラ本体１の位置決めを行うための制御を行う位置制御部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔地にいながらも相手と画像及び音声のやり取りを行って円滑な対話をすることが可能な撮影装置及びこれを用いた遠隔コミニュケーションシステムに関するものである。
【背景技術】
【０００２】
近年、映像処理技術や通信技術の発達により、テレビ会議やＷＥＢ会議、テレビ電話等の遠隔地にいながらも相手と画像や音声のやり取りを行う遠隔コミュニケーションシステムが実用に供されるようになってきている。今後特にビジネスの分野においては、職場・勤務時間帯の分散、テレワークの普及等のワークスタイルの変遷等に伴い、円滑な遠隔コミュニケーションの重要性はますます高まることが必至である。遠隔コミュニケーションシステムで対面対話と同様に円滑な対話を行うためには、参加者同士が目線を合わせて自然な状態で対話できることが重要な要素となっている。
【０００３】
参加者間の目線一致を実現するものとしては、一方の参加者と遠隔地にある他方の参加者を表示する表示装置との間にハーフミラーを介在させるテレビ会議システムが知られている。本構成では、一方の参加者はハーフミラーを介して表示装置に表示される他方の参加者の像を見る。そして、一方の参加者の姿は、ハーフミラーに反射されて撮影装置により撮影される。撮影装置で撮影され他方の参加者に送信される映像は、一方の参加者が他方の参加者の方向に向いている姿である。したがって、参加者同士の目線を一致させた遠隔コミュニケーションが可能となる。
【０００４】
また、特許文献１には、撮影装置で撮影された映像から参加者が目線を一致させた状態となる画像を合成する技術が提案されている。他にも、音声から身体動作を生成するキャラクタを表示させ、参加者が互いにキャラクタを見ながら対話することによる目線を一致させる技術等、様々なものが提案されている。
【０００５】
特許文献２には、テレビジョン受像機等の表示装置の上部に取り付ける撮影装置が提案されている。この撮影装置は、表示装置の上部に係止される係止部材から表示装置の表示画面に沿って下方に垂下された支持部材の下端部にカメラ本体を取り付けている。この撮影装置では、表示画面を見ている参加者の目線上にカメラ本体を配置することにより、参加者同士が目線を合わせて対話することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ハーフミラー等の光学部品を使用する構成は、大がかりで高価な専用の表示装置が必要となり、装置全体が大きな容積を持ってしまうという問題点を有していた。また、表示装置に合成映像やキャラクタを表示するためには、これを実行するための処理部を有する専用の表示装置が必要となる。また、特許文献２に記載の撮影装置は、プロジェクター等により投影されるスクリーン等の表示面に対して利用することができず、参加者を表示する表示装置が限定されてしまう。
【０００７】
本発明は以上の問題点に鑑みなされたものである。その目的は、安価・小型な構成で参加者同士が目線を合わせて円滑な対話をすることができ、且つ参加者を表示する表示装置を自由に選択することが可能な撮影装置、及びこれを用いた遠隔コミュニケーションシステムを提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１の発明は、遠隔コミュニケーションに参加している自局側参加者と、他局側で撮影された映像が表示される表示面との間に設置され、自局側参加者を撮影して他局側に映像を送信する撮影装置において、自局側被写体を撮影する自局側撮影部と該表示面に映し出される他局側被写体を撮影する他局側撮影部とが一体に構成される撮影装置本体と、該撮影装置本体の撮影方向及び高さを調節可能に該撮影装置本体を支持する支持機構と、該撮影装置本体の撮影方向及び高さを変えるべく該支持機構を駆動する駆動手段と、該自局側撮影部及び該他局側撮影部で撮影された映像から参加者の顔を検出する顔検出手段と、該顔検出手段からの検出結果を参照して該自局側撮影部及び該背面撮影部の双方で参加者の顔を撮影するべく該駆動手段を駆動させ、該撮影装置本体の位置決めを行うための制御を行う位置制御手段とを備えることを特徴とするものである。
請求項２の発明は、遠隔地にある参加者間で画像・音声情報のやり取りを行う遠隔コミュニケーションシステムにおいて、上記参加者を撮影する撮影装置として、請求項１の撮影装置を用いることを特徴とするものである。
本発明において、撮影装置本体の自局側撮影部で撮影された自局側参加者の映像は、他局側に送信されて他局側に設置された表示面に表示されることになる。一方、自局側参加者は、他局側撮影装置で撮影された映像が表示される表示面上の他局側参加者を見ながら対話する。このとき、顔検出手段は、自局側撮影部で撮影された映像から自局側参加者の顔を検出し、他局側撮影部で撮影された映像から他局側参加者の顔を検出する。そして、位置制御手段は、自局側撮影部と他局側撮影部の双方で顔を検出できるように、駆動手段を駆動させ、撮影部の撮影方向及び高さを調整する。その結果、撮影装置本体が、自局側参加者の顔と表示面上に表示される他局側参加者の顔とを結んだ目線上に略位置することになり、参加者同士は目線を一致させた状態で円滑な対話をすることが可能である。また、本発明において、撮影装置本体には、ＣＣＤカメラ等の撮影部以外にハーフミラー等のような光学部品等を搭載する必要がなく、小型な装置構成が可能である。そして、この撮影装置を用いる遠隔コミュニケーションのシステムの利用にあたっては、表示装置の種類を選ばないため、従来既存の表示装置を用いることができ、新たな設備費用が少なくてすむ。
【発明の効果】
【０００９】
本発明は、安価・小型な構成で参加者同士が目線を合わせて円滑な対話をすることができ、且つ参加者を表示する表示装置を自由に選択することが可能な撮影装置、及びこれを用いた遠隔コミュニケーションシステムを提供できるという優れた効果がある。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る撮影装置の全体構成を説明する斜視図。
【図２】同撮影装置の動作を説明する斜視図。
【図３】同撮影装置のカメラ本体のハードウエア構成について説明する透視斜視図。
【図４】同撮影装置の位置決め処理工程を説明するフローチャート。
【図５】同撮影装置の位置決め処理工程を説明する模式図。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した撮影装置及びこれを用いた遠隔コミュニケーションシステムの実施形態について説明する。図１は、撮影装置の全体構成を説明する斜視図である。図１に示すように、撮影装置１０は、撮影装置本体たるカメラ本体１と、カメラ本体１を支持する支持機構として、カメラ本体１の高さ及び撮影方向を調整可能に支持する支持部材２と、支持部材２を係止するとともに任意の設置場所に載置可能な載置台３、カメラ本体１と支持部材２と係止する係止部材４を備えている。載置台３は、主に机上に置かれることを想定した形状で、設置した際に撮影装置１０を安定させることが可能な機構を持つ。この機構とは、単純に撮影装置１０を安定させるためにある程度の重量を載置台３に搭載する方法や、何らかの係止部材を用いて別部材に固定する方法などでもよい。
【００１２】
上記撮影装置１０は、カメラ本体１の高さ及び撮影方向を変えるべく、支持部材２、係止部材４、若しくは載置台３を駆動する駆動手段を備えている。図２（ａ）（ｂ）（ｃ）は、撮影装置の動作を説明する斜視図である。図２に示すように、カメラ本体１の高さ及び撮影方向を変えるべく駆動する駆動手段としては、例えば、支持部材２や載置台３の内部にモーター等の駆動部を搭載し、該駆動部によって支持部材２を伸長させ、カメラ本体１と載置台３との距離を自動で調節する機構が挙げられる。また、例えば、図３に示すように、カメラ本体１にモーター等の駆動部７を搭載し、駆動部７をカメラ本体１と支持部材２とを係止する係止部材４に接続し、駆動部７の動力によってカメラ本体１の角度（撮影方向）を調節する等である。カメラ本体１を上下させるための駆動部と、カメラ本体１の角度を調節する駆動部は、同時に動作することが望ましい。
【００１３】
次に、カメラ本体１の構成について説明する。図３は、カメラ本体のハードウエア構成について説明する透視斜視図である。図３（ａ）に示すように、カメラ本体１は、図中右側に配設される略直方体状のカメラ筐体１ａと、図中左側に配設され、カメラ筐体１ａよりも体積の小さい略直方体状のカメラ筐体１ｂとから構成される。カメラ筐体１ａは、図中右方向であって、自局側参加者の映像を撮影する自局側撮影部たるカメラ５を具備する。カメラ筐体１ｂは、図中左方向であって、他局側参加者が表示されている表示装置の表示面の映像を撮影する他局側撮影部たるカメラ６を備える。また、このカメラ本体１は、カメラ本体１の角度を変更させることが可能な駆動部７、カメラ５若しくはカメラ６からの信号を伝達する配線部８、配線部８から入力される信号を受け取りカメラ本体１を制御する制御部９等を備える。カメラ５及びカメラ６は、各カメラが撮影した映像を、配線部８を通して制御部９に送信する。制御部９は、映像を受信する受信部、顔検出等の映像の処理を行う顔検出手段たる顔検出処理部、カメラ本体１の位置決めを行うための位置制御手段たる位置制御部を備えている。
【００１４】
上記制御部９の顔検出処理部が行う顔検出処理は、カメラ５及びカメラ６が撮影した映像を輝度データ、色相データ、クロマデータに変換し、輝度データに基づく肌色領域における垂直方向の輝度変化と、３属性データに基づく肌色画素の空間的な画素分布とを基に、人物の顔領域を検出するものがある（特許第３５６１９８５号公報（段落番号〔００３８〕?〔００５８〕、図１）参照）。また、撮像された画像から肌色領域と目、口などの顔の特徴点を検出し、その特徴点の位置から肌色領域が人物の顔であるかを判定するものがある（特開２００４?５３８４号公報（段落番号〔００１８〕?〔００１９〕、図１）参照）。さらに、特に色の情報を利用しない手法として、撮像された画像の輝度データを用いて顔のテンプレート画像とのマッチング処理を行い、それらの相関値が充分高い場合に顔であると判定するものがある（特開２００３?２７１９３３号公報（段落番号〔００４６〕?〔００５５〕、図６）参照）。
【００１５】
上制御部９の位置制御部が行う位置制御は、カメラ５及びカメラ６の双方で顔を撮影できるように、カメラ本体１を上下に移動させたり、角度（撮影方向）を変えたりしてカメラ本体１の位置決めを行うための制御である。図４は、撮影装置の位置決め処理工程を説明するフローチャートである。例えば、この位置決め処理部は、図４に示すように、撮影装置の動作が開始されると（ステップＳ１）、カメラ本体１に内蔵されている、カメラ本体１の角度を変更させることが可能な駆動部７を駆動させる。同時に、カメラ５及びカメラ６は撮影した映像を、配線部８を通じて制御部９に送信する。制御部９は、カメラ５及びカメラ６から配線部８を通じて送信された映像を受信する。制御部９の顔検出処理部は、配線部８を通じて送信された映像を受信し、顔認識第一処理を実行し、カメラ５若しくはカメラ６の撮影した映像の少なくとも一方に参加者の顔が映っているかどうかを検出する（ステップＳ２）。カメラ５若しくはカメラ６が撮影した映像のうち、どちらからも参加者の顔が検出されなかった場合（ステップＳ２でｎｏ）、さらに駆動部７が駆動し、カメラ本体１の角度を変更させ、カメラ５及びカメラ６の撮影箇所を変更する（ステップＳ３）。そして、カメラ５及びカメラ６は撮影した映像を、再度配線部８を通じて制御部９に送信する。制御部９の顔検出処理部は、配線部８を通じて送信された映像を受信し、再度顔認識第一処理を実行し、カメラ５若しくはカメラ６の撮影した映像の少なくとも一方に参加者の顔が映っているかどうかを検出する（ステップＳ２）。以後、カメラ５若しくはカメラ６の撮影した映像の少なくても一方に参加者の顔が映っていることが検出されるまで同様の動作を繰り返す（ステップ１〜ステップ３）。
【００１６】
カメラ５若しくはカメラ６が撮影した映像の少なくても一方に参加者の顔が映っていることが検出された場合（以下、カメラ５で自局側参加者の顔が検出されたとして説明する）（ステップ２でｙｅｓ）、制御部９の顔検出処理部は配線部８を通じて送信された映像を受信し、顔認識第二処理を実行し、他方のカメラ６が撮影した映像からも他局側参加者の顔が映っていることが検出されるか確認する（ステップ４）。カメラ５が撮影した映像から自局側参加者の顔が映っているのみであることが検出された場合は（ステップＳ４でｎｏ）、制御部９は、自局側参加者の顔が映っていることが検出された映像を送信しているカメラ５の撮影箇所を固定した状態で、駆動部７及び係止部材４を通じて、支持部材２及び載置台３の内部に搭載された、カメラ本体１を上下させるための支持部材２を動作させる（ステップＳ５）。そして、カメラ５及びカメラ６は撮影した映像を、再度配線部８を通じて制御部９に送信する。制御部９の顔検出処理部は、配線部８を通じて送信された映像を受信し、再度顔認識第二処理を実行し、カメラ６が撮影した映像からも他局側参加者の顔が映っていることが検出されるか確認する（ステップＳ４）。以後、カメラ５及びカメラ６が撮影した映像の双方に参加者の顔が映っていることが検出されるまで前述作業を繰り返す（ステップＳ４、Ｓ５）。カメラ５及びカメラ６が撮影した映像の、双方に参加者の顔が映っていることが検出された場合（ステップＳ４でｙｅｓ）、制御部９の位置制御部はカメラ本体１を上下させるための支持機構及びカメラ本体１の角度を変更するための駆動部７を停止させる（ステップ６）。以上で基本動作を完了する（ステップ７）
【００１７】
次に、会議中に参加者が一時退席するなどして、カメラ５若しくはカメラ６が撮影した映像の、一方からのみ参加者の顔が映っていることが検出されなくなった場合について述べる。基本動作完了後、カメラ５若しくはカメラ６が撮影した映像の、一方からのみ参加者の顔が映っていることが検出されなくなった場合、撮影装置１０は、現状の状態を維持する。その際、制御部９の顔検出処理部は、一定の間隔でステップ２の顔認識第一処理及びステップ４の顔認識第二処理を継続的に行う。参加者が戻ってくるなどして、カメラ５若しくはカメラ６が撮影した映像の双方に参加者の顔が映っていることが検出された場合、再度、適正な位置に参加者の顔が映っていることが検出されるまで、位置制御部がカメラ本体１の微調整を行う。参加者の配置が大きく変わる場合は、自局側参加者が撮影装置１０を再度起動し、動作開始から改めて処理を行う。
【００１８】
次に、上記構成の撮影装置１０を設置して遠隔コミュニケーションを行う場合について具体的に説明する。図５はである。図５（ａ）に示すように、まず、遠隔コミュニケーションを行うための環境に撮影装置１０を会議机１１に設置する。その際、例えば他局側参加者を表示する表示装置１３と、会議机１１を挟んで着席する自局側参加者１２との間に撮影装置１０を設置する。表示装置１３において他局側参加者の顔１４の位置を図示した位置と仮定すると、自局側参加者１２の目線は点線Ａの通りとなる。なお、図５では、自局側参加者１２、表示装置１３、撮影装置１０、会議机１１のみ図示しているが、これ以外に自局側参加者の音声を取得する音声モニタ装置や、他局側で取得された音声を出力する音声出力装置、自局側参加者と他局側参加者との間で画像情報及び音声情報の送受信を可能にする通信装置も設置されている。
【００１９】
撮影装置１０を設置完了後これを起動する。撮影装置１０が起動すると、最初にカメラ本体１に内蔵されているカメラ５，６、駆動部７が駆動し、カメラ５及びカメラ６は撮影した映像を配線部８を通じて制御部９に送信する。制御部９は、カメラ５及びカメラ６から配線部８を通じて送信された映像を受信する。制御部９は、配線部８を通じて送信された映像を受信し、顔認識第一処理を実行し、カメラ５若しくはカメラ６の撮影した映像の少なくとも一方に参加者の顔が映っているかどうかを検出する。図５（ａ）に示す場合、動作開始時にはカメラ５及びカメラ６の撮影した映像の双方からも参加者の顔が映っていることを検出できない。よって、制御部９は駆動部７を駆動させ、カメラ本体１の角度を変更し、再度カメラ５及びカメラ６から配線部８を通じて送信された映像を受信する。駆動部７を駆動させることにより、カメラ本体１の角度を変更し、制御部９（顔検出処理部）において、カメラ５若しくはカメラ６が撮影した映像の少なくても一方に参加者の顔が映っていることが検出された場合、他方のカメラが撮影した映像からも参加者の顔が映っていることが検出されるか確認する。図５（ｂ）に示す場合、制御部９はカメラ５の撮影範囲Ｂで自局側参加者１２の顔を検出することができる。しかし、自局側参加者の顔を検出した時点では、他方のカメラ６の撮影範囲Ｃからは他局側参加者の顔を検出することができない。
【００２０】
カメラ５若しくはカメラ６が撮影した映像の、一方からのみ参加者の顔が映っていることが検出された場合は、制御部９（位置制御部）は、参加者の顔が映っていることが検出された映像を送信しているカメラの撮影箇所を固定する。そして、制御部９は、この状態で、駆動部７及び係止部材４を通じて、支持部材２若しくは載置台３の内部に搭載された、支持部材２を上下させるための支持機構を動作させる。図５（ｃ）に示す場合、自局側参加者１２の顔を検出しているが他局側参加者の顔１４は検出できていない。よって、制御部９は支持部材２若しくは載置台３の内部に搭載された、支持部材２を上下させるための支持機構を動作させ、支持部材２を伸長する。同時に、カメラ本体１の角度を変更させることが可能な駆動部７を駆動し、支持部材２が伸長した場合にもカメラ５若しくはカメラ６が撮影した映像内に自局側参加者が納まるようにカメラ本体１の角度を調節する。
【００２１】
制御部９は、支持部材２若しくは載置台３の内部に搭載された、支持部材２を上下させるための駆動部を駆動し、カメラ５及びカメラ６が撮影した映像の、双方に参加者の顔が映っていることが検出された場合、支持部材２の動作及びカメラ本体１の角度の変更を停止させる。図５（ｄ）に示す場合のように、自局側参加者の目線Ａ上にカメラ本体３が移動した際に、カメラ５及びカメラ６が撮影した映像の双方に参加者の顔が映っていることが検出されると、制御部９によって支持部材２の動作及びカメラ本体１の角度の変更が停止する。以上で動作が完了となる。
【００２２】
図５（ｄ）に示すように、点線Ａ上にカメラ本体１が設置されている場合、他局側参加者は自局側参加者と目線の一致した映像が得られ、臨場感のある遠隔コミュニケーションが可能となる。また、上記撮影装置１０による遠隔コミニュケーションシステムでは、表示装置の種類を選ばないため、従来既存の表示装置を用いることができ、新たな設備費用が少なくてすむ。
【００２３】
なお、本実施形態に係るカメラ本体１は、カメラ筐体１ａとカメラ筐体１ｂとが、図３（ｂ）に示すように手動又は自動で図中左右に動かすことが可能な機構を介して接続されている。カメラ筐体１ａとカメラ筐体１ｂとが一体に構成され、カメラ５，６で撮影した映像の双方に参加者の顔が検出されるようにすることで、参加者同士の目線を一致させることができるが、使用者の環境によって任意にカメラ６の方向を手動又は自動で調節可能な構成となっている。例えば、本実施形態に係る撮影装置１０は、カメラ本体１が４ｃｍ（幅）×１．５ｃｍ（高さ）×４ｃｍ（奥行）程度の大きさのものであるが、点線Ａ上にカメラ本体１が設置されていることにより、自局側参加者がカメラ本体１の存在が邪魔であると感じる場合がある。そのような場合には、カメラ筐体１ａ及びカメラ筐体１ｂを操作し、カメラ６の角度を図３（ｂ）のように変更することができ、その上で最大限目線を一致させたコミュニケーションを行うことも可能である。
【００２４】
また、本実施形態に係る撮影装置１０は、カメラ本体１を支持部材２の上部に取り付けた構成であるが、これに限定されるものではなく、本発明に係る撮影装置は、例えばカメラ本体を天井部から下方に垂下された支持部材の下端部に取り付けた構成であってもよい。
【００２５】
以上、本実施形態に係る撮影装置１０によれば、カメラ本体１の自局側撮影部たるカメラ５で撮影された自局側参加者の映像は、他局側に送信されて他局側に設置された表示装置の表示面に表示されることになる。一方、自局側参加者１２は、他局側撮影装置で撮影された映像が表示される表示装置１３の表示面上の他局側参加者を見ながら対話する。このとき、制御部９において、顔検出処理部は、カメラ５で撮影された映像から自局側参加者１２の顔を検出し、カメラ６で撮影された映像から他局側参加者の顔１４を検出する。そして、位置制御部は、カメラ５とカメラ６の双方で顔を検出できるように、駆動部を駆動させ、カメラ５、６の撮影方向及び高さを調整する。その結果、カメラ本体１が、自局側参加者１２の顔と表示装置１３の表示面上に表示される他局側参加者の顔１４とを結んだ目線Ａ上に略位置することになり、参加者同士は目線を一致させた状態で円滑な対話をすることが可能である。また、本発明において、カメラ本体１には、ＣＣＤカメラ等の撮影部以外にハーフミラー等のような光学部品等を搭載する必要がなく、小型な装置構成が可能である。そして、この撮影装置１０を用いる遠隔コミュニケーションのシステムの利用にあたっては、表示装置の種類を選ばないため、従来既存の表示装置を用いることができ、新たな設備費用が少なくてすむ。
【符号の説明】
【００２６】
１ カメラ本体
２ 支持部材
３ 載置台
４ 係止部材
５ カメラ
６ カメラ
７ 駆動部
８ 配線部
９ 制御部
１０ 撮影装置
【先行技術文献】
【特許文献】
【００２７】
【特許文献１】特開２００５-２１８１０３号号公報
【特許文献２】特許３９４５５８４号公報
【技術分野】
【０００１】
本発明は、遠隔地にいながらも相手と画像及び音声のやり取りを行って円滑な対話をすることが可能な撮影装置及びこれを用いた遠隔コミニュケーションシステムに関するものである。
【背景技術】
【０００２】
近年、映像処理技術や通信技術の発達により、テレビ会議やＷＥＢ会議、テレビ電話等の遠隔地にいながらも相手と画像や音声のやり取りを行う遠隔コミュニケーションシステムが実用に供されるようになってきている。今後特にビジネスの分野においては、職場・勤務時間帯の分散、テレワークの普及等のワークスタイルの変遷等に伴い、円滑な遠隔コミュニケーションの重要性はますます高まることが必至である。遠隔コミュニケーションシステムで対面対話と同様に円滑な対話を行うためには、参加者同士が目線を合わせて自然な状態で対話できることが重要な要素となっている。
【０００３】
参加者間の目線一致を実現するものとしては、一方の参加者と遠隔地にある他方の参加者を表示する表示装置との間にハーフミラーを介在させるテレビ会議システムが知られている。本構成では、一方の参加者はハーフミラーを介して表示装置に表示される他方の参加者の像を見る。そして、一方の参加者の姿は、ハーフミラーに反射されて撮影装置により撮影される。撮影装置で撮影され他方の参加者に送信される映像は、一方の参加者が他方の参加者の方向に向いている姿である。したがって、参加者同士の目線を一致させた遠隔コミュニケーションが可能となる。
【０００４】
また、特許文献１には、撮影装置で撮影された映像から参加者が目線を一致させた状態となる画像を合成する技術が提案されている。他にも、音声から身体動作を生成するキャラクタを表示させ、参加者が互いにキャラクタを見ながら対話することによる目線を一致させる技術等、様々なものが提案されている。
【０００５】
特許文献２には、テレビジョン受像機等の表示装置の上部に取り付ける撮影装置が提案されている。この撮影装置は、表示装置の上部に係止される係止部材から表示装置の表示画面に沿って下方に垂下された支持部材の下端部にカメラ本体を取り付けている。この撮影装置では、表示画面を見ている参加者の目線上にカメラ本体を配置することにより、参加者同士が目線を合わせて対話することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ハーフミラー等の光学部品を使用する構成は、大がかりで高価な専用の表示装置が必要となり、装置全体が大きな容積を持ってしまうという問題点を有していた。また、表示装置に合成映像やキャラクタを表示するためには、これを実行するための処理部を有する専用の表示装置が必要となる。また、特許文献２に記載の撮影装置は、プロジェクター等により投影されるスクリーン等の表示面に対して利用することができず、参加者を表示する表示装置が限定されてしまう。
【０００７】
本発明は以上の問題点に鑑みなされたものである。その目的は、安価・小型な構成で参加者同士が目線を合わせて円滑な対話をすることができ、且つ参加者を表示する表示装置を自由に選択することが可能な撮影装置、及びこれを用いた遠隔コミュニケーションシステムを提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するため、請求項１の発明は、遠隔コミュニケーションに参加している自局側参加者と、他局側で撮影された映像が表示される表示面との間に設置され、自局側参加者を撮影して他局側に映像を送信する撮影装置において、自局側被写体を撮影する自局側撮影部と該表示面に映し出される他局側被写体を撮影する他局側撮影部とが一体に構成される撮影装置本体と、該撮影装置本体の撮影方向及び高さを調節可能に該撮影装置本体を支持する支持機構と、該撮影装置本体の撮影方向及び高さを変えるべく該支持機構を駆動する駆動手段と、該自局側撮影部及び該他局側撮影部で撮影された映像から参加者の顔を検出する顔検出手段と、該顔検出手段からの検出結果を参照して該自局側撮影部及び該背面撮影部の双方で参加者の顔を撮影するべく該駆動手段を駆動させ、該撮影装置本体の位置決めを行うための制御を行う位置制御手段とを備えることを特徴とするものである。
請求項２の発明は、遠隔地にある参加者間で画像・音声情報のやり取りを行う遠隔コミュニケーションシステムにおいて、上記参加者を撮影する撮影装置として、請求項１の撮影装置を用いることを特徴とするものである。
本発明において、撮影装置本体の自局側撮影部で撮影された自局側参加者の映像は、他局側に送信されて他局側に設置された表示面に表示されることになる。一方、自局側参加者は、他局側撮影装置で撮影された映像が表示される表示面上の他局側参加者を見ながら対話する。このとき、顔検出手段は、自局側撮影部で撮影された映像から自局側参加者の顔を検出し、他局側撮影部で撮影された映像から他局側参加者の顔を検出する。そして、位置制御手段は、自局側撮影部と他局側撮影部の双方で顔を検出できるように、駆動手段を駆動させ、撮影部の撮影方向及び高さを調整する。その結果、撮影装置本体が、自局側参加者の顔と表示面上に表示される他局側参加者の顔とを結んだ目線上に略位置することになり、参加者同士は目線を一致させた状態で円滑な対話をすることが可能である。また、本発明において、撮影装置本体には、ＣＣＤカメラ等の撮影部以外にハーフミラー等のような光学部品等を搭載する必要がなく、小型な装置構成が可能である。そして、この撮影装置を用いる遠隔コミュニケーションのシステムの利用にあたっては、表示装置の種類を選ばないため、従来既存の表示装置を用いることができ、新たな設備費用が少なくてすむ。
【発明の効果】
【０００９】
本発明は、安価・小型な構成で参加者同士が目線を合わせて円滑な対話をすることができ、且つ参加者を表示する表示装置を自由に選択することが可能な撮影装置、及びこれを用いた遠隔コミュニケーションシステムを提供できるという優れた効果がある。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る撮影装置の全体構成を説明する斜視図。
【図２】同撮影装置の動作を説明する斜視図。
【図３】同撮影装置のカメラ本体のハードウエア構成について説明する透視斜視図。
【図４】同撮影装置の位置決め処理工程を説明するフローチャート。
【図５】同撮影装置の位置決め処理工程を説明する模式図。
【発明を実施するための形態】
【００１１】
以下、本発明を適用した撮影装置及びこれを用いた遠隔コミュニケーションシステムの実施形態について説明する。図１は、撮影装置の全体構成を説明する斜視図である。図１に示すように、撮影装置１０は、撮影装置本体たるカメラ本体１と、カメラ本体１を支持する支持機構として、カメラ本体１の高さ及び撮影方向を調整可能に支持する支持部材２と、支持部材２を係止するとともに任意の設置場所に載置可能な載置台３、カメラ本体１と支持部材２と係止する係止部材４を備えている。載置台３は、主に机上に置かれることを想定した形状で、設置した際に撮影装置１０を安定させることが可能な機構を持つ。この機構とは、単純に撮影装置１０を安定させるためにある程度の重量を載置台３に搭載する方法や、何らかの係止部材を用いて別部材に固定する方法などでもよい。
【００１２】
上記撮影装置１０は、カメラ本体１の高さ及び撮影方向を変えるべく、支持部材２、係止部材４、若しくは載置台３を駆動する駆動手段を備えている。図２（ａ）（ｂ）（ｃ）は、撮影装置の動作を説明する斜視図である。図２に示すように、カメラ本体１の高さ及び撮影方向を変えるべく駆動する駆動手段としては、例えば、支持部材２や載置台３の内部にモーター等の駆動部を搭載し、該駆動部によって支持部材２を伸長させ、カメラ本体１と載置台３との距離を自動で調節する機構が挙げられる。また、例えば、図３に示すように、カメラ本体１にモーター等の駆動部７を搭載し、駆動部７をカメラ本体１と支持部材２とを係止する係止部材４に接続し、駆動部７の動力によってカメラ本体１の角度（撮影方向）を調節する等である。カメラ本体１を上下させるための駆動部と、カメラ本体１の角度を調節する駆動部は、同時に動作することが望ましい。
【００１３】
次に、カメラ本体１の構成について説明する。図３は、カメラ本体のハードウエア構成について説明する透視斜視図である。図３（ａ）に示すように、カメラ本体１は、図中右側に配設される略直方体状のカメラ筐体１ａと、図中左側に配設され、カメラ筐体１ａよりも体積の小さい略直方体状のカメラ筐体１ｂとから構成される。カメラ筐体１ａは、図中右方向であって、自局側参加者の映像を撮影する自局側撮影部たるカメラ５を具備する。カメラ筐体１ｂは、図中左方向であって、他局側参加者が表示されている表示装置の表示面の映像を撮影する他局側撮影部たるカメラ６を備える。また、このカメラ本体１は、カメラ本体１の角度を変更させることが可能な駆動部７、カメラ５若しくはカメラ６からの信号を伝達する配線部８、配線部８から入力される信号を受け取りカメラ本体１を制御する制御部９等を備える。カメラ５及びカメラ６は、各カメラが撮影した映像を、配線部８を通して制御部９に送信する。制御部９は、映像を受信する受信部、顔検出等の映像の処理を行う顔検出手段たる顔検出処理部、カメラ本体１の位置決めを行うための位置制御手段たる位置制御部を備えている。
【００１４】
上記制御部９の顔検出処理部が行う顔検出処理は、カメラ５及びカメラ６が撮影した映像を輝度データ、色相データ、クロマデータに変換し、輝度データに基づく肌色領域における垂直方向の輝度変化と、３属性データに基づく肌色画素の空間的な画素分布とを基に、人物の顔領域を検出するものがある（特許第３５６１９８５号公報（段落番号〔００３８〕?〔００５８〕、図１）参照）。また、撮像された画像から肌色領域と目、口などの顔の特徴点を検出し、その特徴点の位置から肌色領域が人物の顔であるかを判定するものがある（特開２００４?５３８４号公報（段落番号〔００１８〕?〔００１９〕、図１）参照）。さらに、特に色の情報を利用しない手法として、撮像された画像の輝度データを用いて顔のテンプレート画像とのマッチング処理を行い、それらの相関値が充分高い場合に顔であると判定するものがある（特開２００３?２７１９３３号公報（段落番号〔００４６〕?〔００５５〕、図６）参照）。
【００１５】
上制御部９の位置制御部が行う位置制御は、カメラ５及びカメラ６の双方で顔を撮影できるように、カメラ本体１を上下に移動させたり、角度（撮影方向）を変えたりしてカメラ本体１の位置決めを行うための制御である。図４は、撮影装置の位置決め処理工程を説明するフローチャートである。例えば、この位置決め処理部は、図４に示すように、撮影装置の動作が開始されると（ステップＳ１）、カメラ本体１に内蔵されている、カメラ本体１の角度を変更させることが可能な駆動部７を駆動させる。同時に、カメラ５及びカメラ６は撮影した映像を、配線部８を通じて制御部９に送信する。制御部９は、カメラ５及びカメラ６から配線部８を通じて送信された映像を受信する。制御部９の顔検出処理部は、配線部８を通じて送信された映像を受信し、顔認識第一処理を実行し、カメラ５若しくはカメラ６の撮影した映像の少なくとも一方に参加者の顔が映っているかどうかを検出する（ステップＳ２）。カメラ５若しくはカメラ６が撮影した映像のうち、どちらからも参加者の顔が検出されなかった場合（ステップＳ２でｎｏ）、さらに駆動部７が駆動し、カメラ本体１の角度を変更させ、カメラ５及びカメラ６の撮影箇所を変更する（ステップＳ３）。そして、カメラ５及びカメラ６は撮影した映像を、再度配線部８を通じて制御部９に送信する。制御部９の顔検出処理部は、配線部８を通じて送信された映像を受信し、再度顔認識第一処理を実行し、カメラ５若しくはカメラ６の撮影した映像の少なくとも一方に参加者の顔が映っているかどうかを検出する（ステップＳ２）。以後、カメラ５若しくはカメラ６の撮影した映像の少なくても一方に参加者の顔が映っていることが検出されるまで同様の動作を繰り返す（ステップ１〜ステップ３）。
【００１６】
カメラ５若しくはカメラ６が撮影した映像の少なくても一方に参加者の顔が映っていることが検出された場合（以下、カメラ５で自局側参加者の顔が検出されたとして説明する）（ステップ２でｙｅｓ）、制御部９の顔検出処理部は配線部８を通じて送信された映像を受信し、顔認識第二処理を実行し、他方のカメラ６が撮影した映像からも他局側参加者の顔が映っていることが検出されるか確認する（ステップ４）。カメラ５が撮影した映像から自局側参加者の顔が映っているのみであることが検出された場合は（ステップＳ４でｎｏ）、制御部９は、自局側参加者の顔が映っていることが検出された映像を送信しているカメラ５の撮影箇所を固定した状態で、駆動部７及び係止部材４を通じて、支持部材２及び載置台３の内部に搭載された、カメラ本体１を上下させるための支持部材２を動作させる（ステップＳ５）。そして、カメラ５及びカメラ６は撮影した映像を、再度配線部８を通じて制御部９に送信する。制御部９の顔検出処理部は、配線部８を通じて送信された映像を受信し、再度顔認識第二処理を実行し、カメラ６が撮影した映像からも他局側参加者の顔が映っていることが検出されるか確認する（ステップＳ４）。以後、カメラ５及びカメラ６が撮影した映像の双方に参加者の顔が映っていることが検出されるまで前述作業を繰り返す（ステップＳ４、Ｓ５）。カメラ５及びカメラ６が撮影した映像の、双方に参加者の顔が映っていることが検出された場合（ステップＳ４でｙｅｓ）、制御部９の位置制御部はカメラ本体１を上下させるための支持機構及びカメラ本体１の角度を変更するための駆動部７を停止させる（ステップ６）。以上で基本動作を完了する（ステップ７）
【００１７】
次に、会議中に参加者が一時退席するなどして、カメラ５若しくはカメラ６が撮影した映像の、一方からのみ参加者の顔が映っていることが検出されなくなった場合について述べる。基本動作完了後、カメラ５若しくはカメラ６が撮影した映像の、一方からのみ参加者の顔が映っていることが検出されなくなった場合、撮影装置１０は、現状の状態を維持する。その際、制御部９の顔検出処理部は、一定の間隔でステップ２の顔認識第一処理及びステップ４の顔認識第二処理を継続的に行う。参加者が戻ってくるなどして、カメラ５若しくはカメラ６が撮影した映像の双方に参加者の顔が映っていることが検出された場合、再度、適正な位置に参加者の顔が映っていることが検出されるまで、位置制御部がカメラ本体１の微調整を行う。参加者の配置が大きく変わる場合は、自局側参加者が撮影装置１０を再度起動し、動作開始から改めて処理を行う。
【００１８】
次に、上記構成の撮影装置１０を設置して遠隔コミュニケーションを行う場合について具体的に説明する。図５はである。図５（ａ）に示すように、まず、遠隔コミュニケーションを行うための環境に撮影装置１０を会議机１１に設置する。その際、例えば他局側参加者を表示する表示装置１３と、会議机１１を挟んで着席する自局側参加者１２との間に撮影装置１０を設置する。表示装置１３において他局側参加者の顔１４の位置を図示した位置と仮定すると、自局側参加者１２の目線は点線Ａの通りとなる。なお、図５では、自局側参加者１２、表示装置１３、撮影装置１０、会議机１１のみ図示しているが、これ以外に自局側参加者の音声を取得する音声モニタ装置や、他局側で取得された音声を出力する音声出力装置、自局側参加者と他局側参加者との間で画像情報及び音声情報の送受信を可能にする通信装置も設置されている。
【００１９】
撮影装置１０を設置完了後これを起動する。撮影装置１０が起動すると、最初にカメラ本体１に内蔵されているカメラ５，６、駆動部７が駆動し、カメラ５及びカメラ６は撮影した映像を配線部８を通じて制御部９に送信する。制御部９は、カメラ５及びカメラ６から配線部８を通じて送信された映像を受信する。制御部９は、配線部８を通じて送信された映像を受信し、顔認識第一処理を実行し、カメラ５若しくはカメラ６の撮影した映像の少なくとも一方に参加者の顔が映っているかどうかを検出する。図５（ａ）に示す場合、動作開始時にはカメラ５及びカメラ６の撮影した映像の双方からも参加者の顔が映っていることを検出できない。よって、制御部９は駆動部７を駆動させ、カメラ本体１の角度を変更し、再度カメラ５及びカメラ６から配線部８を通じて送信された映像を受信する。駆動部７を駆動させることにより、カメラ本体１の角度を変更し、制御部９（顔検出処理部）において、カメラ５若しくはカメラ６が撮影した映像の少なくても一方に参加者の顔が映っていることが検出された場合、他方のカメラが撮影した映像からも参加者の顔が映っていることが検出されるか確認する。図５（ｂ）に示す場合、制御部９はカメラ５の撮影範囲Ｂで自局側参加者１２の顔を検出することができる。しかし、自局側参加者の顔を検出した時点では、他方のカメラ６の撮影範囲Ｃからは他局側参加者の顔を検出することができない。
【００２０】
カメラ５若しくはカメラ６が撮影した映像の、一方からのみ参加者の顔が映っていることが検出された場合は、制御部９（位置制御部）は、参加者の顔が映っていることが検出された映像を送信しているカメラの撮影箇所を固定する。そして、制御部９は、この状態で、駆動部７及び係止部材４を通じて、支持部材２若しくは載置台３の内部に搭載された、支持部材２を上下させるための支持機構を動作させる。図５（ｃ）に示す場合、自局側参加者１２の顔を検出しているが他局側参加者の顔１４は検出できていない。よって、制御部９は支持部材２若しくは載置台３の内部に搭載された、支持部材２を上下させるための支持機構を動作させ、支持部材２を伸長する。同時に、カメラ本体１の角度を変更させることが可能な駆動部７を駆動し、支持部材２が伸長した場合にもカメラ５若しくはカメラ６が撮影した映像内に自局側参加者が納まるようにカメラ本体１の角度を調節する。
【００２１】
制御部９は、支持部材２若しくは載置台３の内部に搭載された、支持部材２を上下させるための駆動部を駆動し、カメラ５及びカメラ６が撮影した映像の、双方に参加者の顔が映っていることが検出された場合、支持部材２の動作及びカメラ本体１の角度の変更を停止させる。図５（ｄ）に示す場合のように、自局側参加者の目線Ａ上にカメラ本体３が移動した際に、カメラ５及びカメラ６が撮影した映像の双方に参加者の顔が映っていることが検出されると、制御部９によって支持部材２の動作及びカメラ本体１の角度の変更が停止する。以上で動作が完了となる。
【００２２】
図５（ｄ）に示すように、点線Ａ上にカメラ本体１が設置されている場合、他局側参加者は自局側参加者と目線の一致した映像が得られ、臨場感のある遠隔コミュニケーションが可能となる。また、上記撮影装置１０による遠隔コミニュケーションシステムでは、表示装置の種類を選ばないため、従来既存の表示装置を用いることができ、新たな設備費用が少なくてすむ。
【００２３】
なお、本実施形態に係るカメラ本体１は、カメラ筐体１ａとカメラ筐体１ｂとが、図３（ｂ）に示すように手動又は自動で図中左右に動かすことが可能な機構を介して接続されている。カメラ筐体１ａとカメラ筐体１ｂとが一体に構成され、カメラ５，６で撮影した映像の双方に参加者の顔が検出されるようにすることで、参加者同士の目線を一致させることができるが、使用者の環境によって任意にカメラ６の方向を手動又は自動で調節可能な構成となっている。例えば、本実施形態に係る撮影装置１０は、カメラ本体１が４ｃｍ（幅）×１．５ｃｍ（高さ）×４ｃｍ（奥行）程度の大きさのものであるが、点線Ａ上にカメラ本体１が設置されていることにより、自局側参加者がカメラ本体１の存在が邪魔であると感じる場合がある。そのような場合には、カメラ筐体１ａ及びカメラ筐体１ｂを操作し、カメラ６の角度を図３（ｂ）のように変更することができ、その上で最大限目線を一致させたコミュニケーションを行うことも可能である。
【００２４】
また、本実施形態に係る撮影装置１０は、カメラ本体１を支持部材２の上部に取り付けた構成であるが、これに限定されるものではなく、本発明に係る撮影装置は、例えばカメラ本体を天井部から下方に垂下された支持部材の下端部に取り付けた構成であってもよい。
【００２５】
以上、本実施形態に係る撮影装置１０によれば、カメラ本体１の自局側撮影部たるカメラ５で撮影された自局側参加者の映像は、他局側に送信されて他局側に設置された表示装置の表示面に表示されることになる。一方、自局側参加者１２は、他局側撮影装置で撮影された映像が表示される表示装置１３の表示面上の他局側参加者を見ながら対話する。このとき、制御部９において、顔検出処理部は、カメラ５で撮影された映像から自局側参加者１２の顔を検出し、カメラ６で撮影された映像から他局側参加者の顔１４を検出する。そして、位置制御部は、カメラ５とカメラ６の双方で顔を検出できるように、駆動部を駆動させ、カメラ５、６の撮影方向及び高さを調整する。その結果、カメラ本体１が、自局側参加者１２の顔と表示装置１３の表示面上に表示される他局側参加者の顔１４とを結んだ目線Ａ上に略位置することになり、参加者同士は目線を一致させた状態で円滑な対話をすることが可能である。また、本発明において、カメラ本体１には、ＣＣＤカメラ等の撮影部以外にハーフミラー等のような光学部品等を搭載する必要がなく、小型な装置構成が可能である。そして、この撮影装置１０を用いる遠隔コミュニケーションのシステムの利用にあたっては、表示装置の種類を選ばないため、従来既存の表示装置を用いることができ、新たな設備費用が少なくてすむ。
【符号の説明】
【００２６】
１ カメラ本体
２ 支持部材
３ 載置台
４ 係止部材
５ カメラ
６ カメラ
７ 駆動部
８ 配線部
９ 制御部
１０ 撮影装置
【先行技術文献】
【特許文献】
【００２７】
【特許文献１】特開２００５-２１８１０３号号公報
【特許文献２】特許３９４５５８４号公報
【特許請求の範囲】
【請求項１】
遠隔コミュニケーションに参加している自局側参加者と、他局側で撮影された映像が表示される表示面との間に設置され、自局側参加者を撮影して他局側に映像を送信する撮影装置において、
自局側被写体を撮影する自局側撮影部と該表示面に映し出される他局側被写体を撮影する他局側撮影部とが一体に構成される撮影装置本体と、
該撮影装置本体の撮影方向及び高さを調節可能に該撮影装置本体を支持する支持機構と、
該撮影装置本体の撮影方向及び高さを変えるべく該支持機構を駆動する駆動手段と、
該自局側撮影部及び該他局側撮影部で撮影された映像から参加者の顔を検出する顔検出手段と、
該顔検出手段からの検出結果を参照して該自局側撮影部及び該他局側撮影部の双方で参加者の顔を撮影するべく該駆動手段を駆動させ、該撮影装置本体の位置決めを行うための制御を行う位置制御手段とを備えることを特徴とする撮影装置。
【請求項２】
遠隔地にある参加者間で画像・音声情報のやり取りを行う遠隔コミュニケーションシステムにおいて、
上記参加者を撮影する撮影装置として、請求項１の撮影装置を用いることを特徴とする。
【請求項１】
遠隔コミュニケーションに参加している自局側参加者と、他局側で撮影された映像が表示される表示面との間に設置され、自局側参加者を撮影して他局側に映像を送信する撮影装置において、
自局側被写体を撮影する自局側撮影部と該表示面に映し出される他局側被写体を撮影する他局側撮影部とが一体に構成される撮影装置本体と、
該撮影装置本体の撮影方向及び高さを調節可能に該撮影装置本体を支持する支持機構と、
該撮影装置本体の撮影方向及び高さを変えるべく該支持機構を駆動する駆動手段と、
該自局側撮影部及び該他局側撮影部で撮影された映像から参加者の顔を検出する顔検出手段と、
該顔検出手段からの検出結果を参照して該自局側撮影部及び該他局側撮影部の双方で参加者の顔を撮影するべく該駆動手段を駆動させ、該撮影装置本体の位置決めを行うための制御を行う位置制御手段とを備えることを特徴とする撮影装置。
【請求項２】
遠隔地にある参加者間で画像・音声情報のやり取りを行う遠隔コミュニケーションシステムにおいて、
上記参加者を撮影する撮影装置として、請求項１の撮影装置を用いることを特徴とする。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１００５９（Ｐ２０１２−１００５９Ａ）
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願番号】特願２０１０−１４３５８７（Ｐ２０１０−１４３５８７）
【出願日】平成２２年６月２４日（２０１０．６．２４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年１月１２日（２０１２．１．１２）
【国際特許分類】
【出願日】平成２２年６月２４日（２０１０．６．２４）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]