遠隔会議支援システム及びプログラム
【課題】遠隔会議を円滑に行えるようにする。
【解決手段】位置特定部（２０）は、会議室のステレオカメラが撮像した撮像画像、に写っているプレゼンターの画像が占める領域内の各位置に写っている物体の位置を特定し、射影位置算出部（２２）は、位置特定部（２０）により特定された各位置を、当該会議室のスクリーンに対応する領域たる射影面領域に射影したときの射影位置を算出し、手先位置算出部（２４）は、当該会議室の複数のカメラにより撮像された撮像画像に基づいて、プレゼンターの前腕部の領域である手先領域、の位置を射影面領域に射影したときの射影位置たる手先位置を算出し、プレゼンター表示部（２８）及びマーカ表示部（３０）は、他の会議室のスクリーンに、プレゼンターを示す画像を射影位置算出部（２２）が算出した射影位置に基づいて表示させ、手先位置に対応する位置にマーカ画像を表示させる。
【解決手段】位置特定部（２０）は、会議室のステレオカメラが撮像した撮像画像、に写っているプレゼンターの画像が占める領域内の各位置に写っている物体の位置を特定し、射影位置算出部（２２）は、位置特定部（２０）により特定された各位置を、当該会議室のスクリーンに対応する領域たる射影面領域に射影したときの射影位置を算出し、手先位置算出部（２４）は、当該会議室の複数のカメラにより撮像された撮像画像に基づいて、プレゼンターの前腕部の領域である手先領域、の位置を射影面領域に射影したときの射影位置たる手先位置を算出し、プレゼンター表示部（２８）及びマーカ表示部（３０）は、他の会議室のスクリーンに、プレゼンターを示す画像を射影位置算出部（２２）が算出した射影位置に基づいて表示させ、手先位置に対応する位置にマーカ画像を表示させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、遠隔会議支援システム及びプログラムに関する。
【背景技術】
【０００２】
下記特許文献１には、スクリーンの手前の手の位置を取得し、遠隔地のスクリーンに手の映像を表示すること、が記載されている。なお、手の映像は、取得された位置と同位置に表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０４１８８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、第１の拠点の撮像手段が撮像した画像に基づいて当該画像に写っている人物の画像を第２拠点の表示面領域に表示させる場合において、表示面領域に当該人物の所期の部位の画像が表示されない場合であっても、遠隔会議を円滑に行えるようにすることである。
【課題を解決するための手段】
【０００５】
上記課題を解決するための請求項１の発明は、第１拠点に設置されている第１撮像手段により撮像された撮像画像、に写っている人物の画像が占める人物領域内の各位置に写っている物体の３次元空間内の位置を特定する空間位置特定手段と、前記空間位置特定手段により特定された各位置を、前記第１拠点内の領域であって会議資料の画像が表示される面領域である第１表示面領域、に対応する前記３次元空間内の領域である射影面領域に射影したときの射影位置を算出する射影位置算出手段と、前記第１拠点に設置されている複数の第２撮像手段により撮像された撮像画像に基づいて、前記人物の予め定められた部位に対応する前記３次元空間内の３次元領域である手先領域、の位置を前記射影面領域に射影したときの射影位置である手先位置を算出する算出手段と、前記第１拠点とは異なる第２拠点内の領域であって前記会議資料の画像が表示される面領域である第２表示面領域に、前記人物を示す画像を前記射影位置算出手段により算出された射影位置に基づいて表示させるとともに、前記手先位置に対応する位置に案内画像を表示させる表示手段と、を含む遠隔会議支援システムである。
【０００６】
また、請求項２の発明は、請求項１の発明において、前記表示手段は、前記手先位置が前記射影位置算出手段により算出された射影位置の集合である射影領域に含まれない場合に、前記案内画像を表示させることを特徴とする。
【０００７】
また、請求項３の発明は、請求項１又は２の発明において、前記表示手段は、前記手先領域を前記射影面領域に射影したときの射影領域が前記射影位置算出手段により算出された射影位置の集合である射影領域に含まれる度合いに応じた透明度で、前記案内画像を表示させることを特徴とする。
【０００８】
上記課題を解決するための請求項４の発明は、第１拠点に設置されている第１撮像手段により撮像された撮像画像、に写っている人物の画像が占める人物領域内の各位置に写っている物体の３次元空間内の位置を特定する空間位置特定手段、前記空間位置特定手段により特定された各位置を、前記第１拠点内の領域であって会議資料の画像が表示される面領域である第１表示面領域、に対応する前記３次元空間内の領域である射影面領域に射影したときの射影位置を算出する射影位置算出手段、前記第１拠点に設置されている複数の第２撮像手段により撮像された撮像画像に基づいて、前記人物の予め定められた部位に対応する前記３次元空間内の３次元領域である手先領域、の位置を前記射影面領域に射影したときの射影位置である手先位置を算出する算出手段、及び前記第１拠点とは異なる第２拠点内の領域であって前記会議資料の画像が表示される面領域である第２表示面領域に、前記人物を示す画像を前記射影位置算出手段により算出された射影位置に基づいて表示させるとともに、前記手先位置に対応する位置に案内画像を表示させる手段、としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【０００９】
請求項１及び４の発明によれば、第１の拠点の撮像手段が撮像した画像に基づいて当該画像に写っている人物の画像を第２拠点の表示面領域に表示させる場合において、表示面領域に当該人物の所期の部位の画像が表示されない場合であっても、遠隔会議を円滑に行えるようになる。
【００１０】
また、請求項２の発明によれば、案内画像が常に表示されるようにしなくても、遠隔会議を円滑に行えるようになる。
【００１１】
また、請求項３の発明によれば、会議資料画像に対して案内画像が目立ち過ぎないようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】会議室（拠点）を例示する図である。
【図２】情報処理装置の構成を例示する図である。
【図３Ａ】会議資料画像を例示する図である。
【図３Ｂ】スクリーンに表示される画像を例示する図である。
【図４】遠隔会議システムで実現される機能群を示す機能ブロック図である。
【図５】差分画像を例示する図である。
【図６】第１撮像画像を例示する図である。
【図７】第２撮像画像を例示する図である。
【図８】手先領域を例示する図である。
【図９】シリンダー領域を例示する図である。
【図１０】マーカ画像を例示する図である。
【図１１】スクリーンにプレゼンターの前腕部が映らない場合を例示する図である。
【図１２】マーカ画像を例示する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態の例について図面に基づき詳細に説明する。
【００１４】
［会議室］
図１は、遠隔会議が行われる会議室（拠点）を例示する図である。同図に示す会議室は複数設けられる。各会議室には、情報処理装置２が備えられている。また、各会議室には、スクリーン４が備えられている。スクリーン４は、会議室の壁３に設置されている。
【００１５】
点Ｏはスクリーン４の中心を示している。会議室内の３次元空間における位置は、点Ｏを原点とするワールド座標（Ｘ，Ｙ，Ｚ）によって表される。なお、スクリーン４（壁３）の法線方向がＺ軸プラス方向であり、水平方向がＸ軸方向であり、垂直方向がＹ軸方向である。
【００１６】
また、各会議室には、プロジェクタ６がスクリーン４の正面に備えられている。プロジェクタ６はスクリーン４に画像を投影する。具体的には、プロジェクタ６は情報処理装置２に接続されており、情報処理装置２から入力される会議資料画像（図３Ａ参照）をスクリーン４に投影する。なお、各会議室で共通の会議資料画像がスクリーン４に投影される。
【００１７】
また、各会議室には、カメラ８ａ（第２撮像手段）が備えられている。カメラ８ａは、壁３に配置され、情報処理装置２と接続されている。カメラ８ａは、その視線方向がＹ軸マイナス方向となり、且つ、その光軸が点Ｏを通るように配置されている。カメラ８ａの意義については後述する。
【００１８】
また、各会議室には、カメラ８ｂ（第２撮像手段）が備えられている。カメラ８ｂは、壁３に配置され、情報処理装置２と接続されている。カメラ８ｂは、その視線方向がＸ軸プラス方向となり、且つ、その光軸が点Ｏを通るように配置されている。カメラ８ｂの意義についても後述する。
【００１９】
また、各会議室には、ステレオカメラ１０（第１撮像手段）が備えられている。ステレオカメラ１０は、情報処理装置２と接続され、その視界にスクリーン４が入るように設置されている。本実施形態の場合、ステレオカメラ１０は、その光軸が点Ｏを通るように設置されている。なお、ステレオカメラ１０の設置位置は、各会議室で同じであってもよいし、同じでなくてもよい。通常、ステレオカメラ１０の設置位置は、各会議室で異なる。
【００２０】
［情報処理装置］
図２は、情報処理装置２の構成を例示する図である。同図に示すように、情報処理装置２は、制御部１２を備える。制御部１２は、後述する記憶部１４に格納されるプログラムに従って各種情報処理を実行する。また、情報処理装置２は、記憶部１４を備える。記憶部１４には上記プログラムが格納される。また、記憶部１４には、情報処理の過程で必要となる各種データが格納される。また、記憶部１４には、上記会議資料画像が予め格納される。なお、上記プログラムは、ＤＶＤ（登録商標）−ＲＯＭ等のコンピュータ読取可能な情報記憶媒体から読み出されて記憶部１４に格納されてもよいし、ネットワーク等の通信網から供給されて記憶部１４に格納されてもよい。
【００２１】
また、情報処理装置２は、情報処理装置２と、ステレオカメラ１０、カメラ８ａ、カメラ８ｂ、及びプロジェクタ６の各々と、を接続するための出入力インタフェース１６を備える。出入力インタフェース１０を介して、ステレオカメラ１０、カメラ８ａ、及びカメラ８ｂのそれぞれにより撮像された画像が情報処理装置２に入力される。また、出入力インタフェース１０を介して、会議資料画像がプロジェクタ６に入力される。また、情報処理装置２は、情報処理装置２をネットワークに接続するためのネットワークインタフェース１８を備える。
【００２２】
以上のように情報処理装置２はネットワークに接続されている。各情報処理装置２は、他の会議室の情報処理装置２とデータ授受可能である。
【００２３】
［会議資料画像］
上述のように、各会議室で共通の会議資料画像がスクリーン４に投影される。図３Ａに会議資料画像を例示した。なお、会議資料画像内の位置は、会議資料画像の中心を原点とするスクリーン座標（Ｘα，Ｙα）によって表される。
【００２４】
［遠隔会議］
各会議室にいる会議参加者は、共通の会議資料画像を見ながら、他の会議室にいる会議参加者と遠隔会議を行う。遠隔会議中、情報処理装置２は、ステレオカメラ１０により撮像された撮像画像から、撮像画像に写っているプレゼンター１１（図１参照）のスクリーン４に対する相対位置を割り出し、それを他の会議室の情報処理装置２に配信するようになっている。こうすることにより、ある会議室においてプレゼンテーションを行っているプレゼンター１１を示す画像が、他の会議室のスクリーン４に表示されるようになっている（図３Ｂ参照）。図３Ｂに、他の会議室のスクリーン４に表示される画像を例示した。
【００２５】
［機能ブロック］
図４は、ある会議室（以下、会議室Ａ）の情報処理装置２（以下、情報処理装置２ａ）と、他の会議室（以下、会議室Ｂ）の情報処理装置２（以下、情報処理装置２ｂ）と、において実現される機能群のうち発明に関係するものを示す機能ブロック図である。情報処理装置２ａと情報処理装置２ｂとを含むシステムが遠隔会議支援システムに相当する。
【００２６】
同図に示すように、情報処理装置２ａでは、位置特定部２０、射影位置算出部２２、及び手先位置算出部２４が実現される。これらの機能は、情報処理装置２ａが、上記プログラムに従って動作することにより実現される。また、情報処理装置２ｂでは、会議資料表示部２６、プレゼンター表示部２８、及びマーカ表示部３０が実現される。これらの機能は、情報処理装置２ｂが、上記プログラムに従って動作することにより実現される。
【００２７】
以下、会議室Ｂのスクリーン４にプレゼンター１１を示す画像が表示されるようにするための、位置特定部２０、射影位置算出部２２、及びプレゼンター表示部２８の機能について説明する。
【００２８】
［位置特定部］
位置特定部２０は、空間位置特定手段に相当する。位置特定部２０は、会議室Ａに設置されているステレオカメラ１０により撮像された撮像画像に含まれるプレゼンター領域、の各位置に写っている物体の会議室Ａ内の位置を示すワールド座標（Ｘ，Ｙ，Ｚ）である第１ワールド座標値（Ｘ１，Ｙ１，Ｚ１）を特定する。なお、プレゼンター領域とは、撮像画像に写っているプレゼンター１１の画像が占める領域である。
【００２９】
そして、位置特定部２０は、撮像画像からデプスマップ画像を生成し、このデプスマップ画像と、記憶部１４に予め記憶される基準デプスマップ画像と、の差分デプスマップ画像に基づいて、プレゼンター領域を示す座標値を特定する。さらに、プレゼンター領域の各位置に写っている物体の会議室Ａ内の位置を示す第１ワールド座標値（Ｘ１，Ｙ１，Ｚ１）を取得する。なお、基準デプスマップ画像は、事前にプレゼンタ―のいない状態における撮影画像より生成されたデプスマップ画像である。
【００３０】
図５は、差分デブスマップ画像を例示する図である。ハッチングされた領域がプレゼンター領域を示している。差分デプスマップ画像内の位置は、差分デプスマップ画像の中心を原点とするスクリーン座標（ＸＡ，ＹＡ）のスクリーン座標値によって表される。なお、差分デプスマップ画像の中心にはスクリーン４の中心点Ｏが写っている。
【００３１】
具体的には、位置特定部２０は、まず、両デプスマップ画像に基づいて、プレゼンター領域内の各位置に写っている物体のステレオカメラ１０からの距離ｄを特定する。そして、位置特定部２０は、プレゼンター領域内の位置に写っている物体のステレオカメラ１０からの位置ｄに基づいて、当該物体の会議室Ａ内の位置を表す視点座標（Ｘｓ，Ｙｓ、Ｚｓ）を算出する。ここで、視点座標とは、ステレオカメラ１０の位置を原点とし、その視線方向をＺｓ軸プラス方向とする視点座標系の座標である。例えば、スクリーン座標（ＸＡ，ＹＡ）が（Ｘａ，Ｙａ）であるプレゼンター領域内の位置Ｐ（図５参照）に写っている物体のステレオカメラ１０からの距離ｄがｄ１である場合、この物体の視点座標（Ｘｓ，Ｙｓ，Ｚｓ）は、（Ｘａ，Ｙａ，ｄ１）となる。
【００３２】
そして、位置特定部２０は、両デプスマップ画像に基づいて、スクリーン４の中心Ｏのステレオカメラ１０からの距離Ｄを算出し、視点座標に対して距離Ｄに基づく座標変換処理を行って、第１ワールド座標値（Ｘ１，Ｙ１，Ｚ１）を算出する。なお、位置特定部２０は、この第１ワールド座標値に基づいて、この第１ワールド座標値に位置する物体の像に関する像情報（Ｘ１，Ｙ１，Ｚ１，Ｃ）を生成する。ここで、「Ｃ」は、（Ｘ１，Ｙ１，Ｚ１）に位置する物体の上記撮像画像における画素値である。
【００３３】
こうして、プレゼンター領域内の各位置について、上記像情報が生成される。
【００３４】
［射影位置算出部］
射影位置算出部２２は、射影位置算出手段に相当する。射影位置算出部２２は、位置特定部２０により特定された各位置を、会議室Ａのスクリーン４（第１表示面領域）に対応する会議室Ａ内の領域である射影面領域に直交射影したときの射影位置を算出する。ここでは、射影面領域とは、スクリーン４が会議室Ａにて占めている領域である。
【００３５】
すなわち、射影位置算出部２２は、位置特定部２０により算出された各第１ワールド座標値（Ｘ１，Ｙ１，Ｚ１）の示す位置を射影面領域に直交射影したときの射影位置を示すスクリーン座標（Ｘα、Ｙα）である第１スクリーン座標値（Ｘβ、Ｙβ）を算出する。
【００３６】
本実施形態の場合、射影位置算出部２２は、一つ一つの像情報（Ｘ１、Ｙ１、Ｚ１、Ｃ）から投影像情報（Ｘβ、Ｙβ、Ｃ１）を生成する。具体的には、射影位置算出部２２は、（Ｘ１，Ｙ１，Ｃ）を算出する。Ｘ１が「Ｘβ」となり、Ｙ１が「Ｙβ」となり、Ｃが「Ｃ１」となる。
【００３７】
こうして、投影像情報を生成すると、射影位置算出部２２は、生成した投影像情報に基づいて、投影像情報により表される投影像、すなわちプレゼンター１１を示す画像を、会議室Ｂのスクリーン４（第２表示面領域）に表示させる。すなわち、射影位置算出部２２は、生成した投影像情報を、情報処理装置２ｂに送信する。
【００３８】
［会議資料表示部］
会議資料表示部２６は、記憶部１４に記憶される会議資料画像を読み出し、会議室Ｂのスクリーン４に表示させる。具体的には、会議資料表示部２６は、会議資料画像をプロジェクタ６に投影させる。
【００３９】
［プレゼンター表示部］
プレゼンター表示部２８（表示手段）は、情報処理装置２ａから送信された投影像情報を受信する。そして、プレゼンター表示部２８は、会議室Ｂのスクリーン４に、投影像情報（Ｘβ、Ｙβ、Ｃ１）に基づいて、投影像情報（Ｘβ、Ｙβ、Ｃ１）により表される投影像、すなわちプレゼンター１１を示す画像を表示させる。例えば、プレゼンター表示部２８は、会議資料表示部２６により読み出だされた会議資料画像の、スクリーン座標値（Ｘβ、Ｙβ）で表される位置の画素値を「Ｃ１」に更新する。
【００４０】
［手先位置算出部、マーカ表示部］
ところで、ステレオカメラ１０により撮像された撮像画像にプレゼンター１１の前腕部（部位）が写っていれば、投影像情報により表される投影像にプレゼンター１１の前腕部が含まれる。そのため、ステレオカメラ１０により撮像された撮像画像にプレゼンター１１の前腕部（特に手）が写っていれば、会議室Ｂのスクリーン４にプレゼンター１１の前腕部が映し出されることになるため、会議室Ｂにいる会議参加者にとってプレゼンター１１がどこを指し示しているのか把握するのは容易である。
【００４１】
しかしながら、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っていない場合、投影像情報により表される投影像にプレゼンター１１の前腕部が含まれなくなるため、会議室Ｂのスクリーン４にプレゼンター１１の前腕部が映し出されなくなる。そのため、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っていない場合、会議室Ｂにいる会議参加者にとってプレゼンター１１がどこを指し示しているのか把握するのは困難となり、遠隔会議を円滑に行えなくなる。
【００４２】
この点、手先位置算出部２４及びマーカ表示部３０の機能により、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っていない場合でも、会議室Ｂにいる会議参加者にとってプレゼンター１１がどこを指し示しているのか把握するのが容易になるよう図られている。以下、この点について説明する。
【００４３】
［手先位置算出部］
手先位置算出部２４は、手先位置算出手段に相当する。手先位置算出部２４は、会議室Ａに設置されたカメラ８ａ及びカメラ８ｂのそれぞれにより撮像された撮像画像に基づいて、プレゼンター１１の前腕部に対応する会議室Ａ内の３次元領域である手先領域を求める。そして、手先位置算出部２４は、手先領域の位置を上記射影面領域に直交射影したときの射影位置である手先位置を算出する。なお、手先領域とは、プレゼンター１１の前腕部が占める領域である。
【００４４】
すなわち、手先位置算出部２４は、まず、手先領域を特定する。具体的には、手先位置算出部２４は、手先領域を特定するために、まず、カメラ８ａにより撮像された第１撮像画像と、カメラ８ｂにより撮像された第２撮像画像と、に基づいて、プレゼンター１１に対応する会議室Ａ内の領域であるシルエット領域を特定する。なお、シルエット領域とは、プレゼンター１１が占める領域である。シルエット領域は、ボクセルマップとも呼ばれる。
【００４５】
具体的には、手先位置算出部２４は、記憶部１４に予め格納される第１比較対象画像と第２比較対象画像とを読み出す。ここで、第１比較対象画像とは、遠隔会議の開始前にカメラ８ａが撮像した画像であり、第２比較対象画像とは、遠隔会議の開始前にカメラ８ｂが撮像した画像である。第１比較対象画像及び第２比較対象画像のいずれにもプレゼンター１１は写っていない。
【００４６】
そして、手先位置算出部２４は、第１比較対象画像と第１撮像画像との差分画像を生成し、差分画像に基づいて、第１撮像画像のうちでプレゼンター１１の画像が占めている領域である第１シルエット領域を特定する。図６に第１撮像画像を例示した。ハッチングされた領域が第１シルエット領域を示している。なお、第１撮像画像内の位置は、第１撮像画像の上辺の中点を原点とするスクリーン座標（Ｘ，Ｚ）により表される。
【００４７】
また、手先位置算出部２４は、第２比較対象画像と第２撮像画像との差分画像を生成し、差分画像に基づいて、第２撮像画像のうちでプレゼンター１１の画像が占めている領域である第２シルエット領域を特定する。図７に第２撮像画像を例示した。ハッチングされた領域が第２シルエット領域を示している。なお、第２撮像画像内の位置は、第２撮像画像の左辺の中点を原点とするスクリーン座標（Ｙ，Ｚ）により表される。
【００４８】
そして、手先位置算出部２４は、第１シルエット領域に含まれる各位置のスクリーン座標（Ｘ，Ｚ）と、第２シルエット領域に含まれる各位置のスクリーン座標（Ｙ，Ｚ）と、に基づいてシルエット領域を特定する。すなわち、手先位置算出部２４は、第１シルエット領域のスクリーン座標（Ｘ，Ｚ）により示される会議室Ａ内の領域と、第２シルエット領域のスクリーン座標（Ｙ，Ｚ）により示される会議室Ａ内の領域と、のいずれにも属している位置の集合を、シルエット領域として特定する。
【００４９】
こうしてシルエット領域を特定すると、手先位置算出部２４は、このシルエット領域に基づいて手先領域を特定する。具体的には、手先位置算出部２４は、シルエット領域のうちスクリーン４からの距離が距離Ｌ（図６参照）以下である部分を手先領域として特定する。図８に手先領域を例示した。ハッチングされた領域が手先領域を示している。
【００５０】
こうして手先領域を特定すると、手先位置算出部２４は、手先領域の位置Ｑを示すワールド座標（Ｘ，Ｙ，Ｚ）である第２ワールド座標値（Ｘ２，Ｙ２，Ｚ２）を算出する。具体的には、手先位置算出部２４は、手先領域に外接する円柱状のシリンダー領域を特定し、シリンダー領域の先端の円の中点のワールド座標を、手先領域の位置Ｑの第２ワールド座標値（Ｘ２，Ｙ２，Ｚ２）として算出する。図９にシリンダー領域を例示した。なお、ハッチングされた領域は手先領域を示している。
【００５１】
そして、手先位置算出部２４は、位置Ｑの第２ワールド座標値（Ｘ２，Ｙ２，Ｚ２）に基づいて手先位置を示すスクリーン座標（Ｘα、Ｙα）である第２スクリーン座標値（Ｘγ、Ｙγ）を算出する。具体的には、手先位置算出部２４は、スクリーン座標値（Ｘ２，Ｙ２）を第２スクリーン座標値として算出する。Ｘ２が「Ｘγ」の値となり、Ｙ２が「Ｙγ」となる。そして、手先位置算出部２４は、第２スクリーン座標値（Ｘγ，Ｙγ）に対応する会議室Ｂのスクリーン４上の位置にマーカ画像３２（図１０参照）を表示させる。すなわち、手先位置算出部２４は、第２スクリーン座標値（Ｘγ、Ｙγ）を情報処理装置２ｂに送信する。
【００５２】
［マーカ表示部］
マーカ表示部３０（表示手段）は、情報処理装置２ａから送信された第２スクリーン座標値を受信する。そして、マーカ表示部３０は、第２スクリーン座標値（Ｘγ，Ｙγ）に対応するスクリーン４上の位置にマーカ画像３２を表示させる。例えば、マーカ表示部３０は、会議資料表示部２６により読み出された会議資料画像の、第２スクリーン座標値（Ｘγ，Ｙγ）で表される位置Ｒにマーカ画像３２を重畳する。図１０にマーカ画像３２を例示した。マーカ画像３２により、プレゼンター１１がどこを指し示しているのか把握することが会議室Ｂにいる会議参加者にとって容易になる。
【００５３】
なお、マーカ表示部３０は、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っていない場合、すなわち、投影像情報により表される投影像にプレゼンター１１の前腕部が含まれない場合に、マーカ画像３２を表示させ、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っている場合に、マーカ画像３２を表示させないようにしてもよい。例えば、マーカ表示部３０は、各投影像情報が示す各射影位置（Ｘβ，Ｙβ）の集合である射影領域（以下、第１射影領域）に、第２スクリーン座標値（Ｘγ，Ｙγ）により表される手先位置が含まれるか否かを判定し、上記第１射影領域に手先位置が含まれていない場合に、マーカ画像３２を表示させればよい。
【００５４】
なお、本発明の実施形態は上記実施形態だけに限らない。
【００５５】
例えば、マーカ表示部３０は、上記手先領域を上記射影面領域に直交射影したときの射影領域（以下、第２射影領域）が上記第１射影領域に含まれる度合いに応じた透明度で、マーカ画像３２を表示させてもよい。
【００５６】
第２射影領域が第１射影領域に含まれる度合いに応じた透明度でマーカ画像３２を表示する方法の例としては以下の方法がある。すなわち、情報処理装置２ａの制御部１２が、第２射影領域を特定し、第２射影領域の面積に対する、第２射影領域と第１射影領域とが重なっている領域の面積の割合を算出する。そして、情報処理装置２ａの制御部１２が、記憶部１４に予め記憶される透明度制御データを読み出す。ここで、透明度制御データは、算出された割合に関する条件と、マーカ画像３２の透明度の候補と、を関連づけてテーブルである。なお、透明度制御データは、算出された割合が大きくなるほど透明度が大きくなるように設定されている。そして、情報処理装置２ａの制御部１２が、算出した割合が満足する条件に関連づけられた透明度を、情報処理装置２ａに送信する。
【００５７】
そして、マーカ表示部３０が、第１射影領域に手先位置が含まれない場合に、情報処理装置２ａから受信した透明度でマーカ画像３２を表示させることとなる。
【００５８】
また、例えば、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っていても、会議室Ｂのスクリーン４にプレゼンター１１の前腕部が映らない場合がある。例えば、図１１に示すように、プレゼンター１１がスクリーン４に対向している場合、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまう。
【００５９】
そこで、マーカ表示部３０は、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っていない場合だけでなく、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまう場合にも、図１２に示すようにマーカ画像３２を表示させるようにしてよい。
【００６０】
プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまう場合にも、マーカ画像３２を表示する方法の例としては以下の方法がある。すなわち、手先位置算出部２４が、手先位置を算出するだけでなく、シルエット領域のうちスクリーン４からの距離が距離Ｌ（図６参照）より大きい部分を胴体領域として特定し、胴体領域を上記射影面領域に直交射影したときの射影領域（以下、第３射影領域）を特定する。そして、手先位置算出部２４が、手先位置だけでなく第３射影領域の座標値も情報処理装置２ａに送信する。
【００６１】
そして、マーカ表示部３０が、手先位置が上記第１射影領域に含まれているか否かだけでなく、手先位置が上記第３射影領域に含まれているか否か（すなわち、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまうか否か）も判定し、手先位置が上記第１射影領域に含まれていない場合、又は手先位置が上記第３射影領域に含まれている場合、マーカ画像３２を表示させることとなる。
【００６２】
なお、マーカ表示部３０は、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまうか否か判定するために、シルエット領域内に位置（Ｘγ，Ｙγ、Ｚｍ（Ｚｍ＞Ｌ））が含まれるか否かを判定してもよい。シルエット領域内に位置（Ｘγ，Ｙγ、Ｚｍ）が含まれる場合が、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまう場合に相当する。
【００６３】
また、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまうか否か判定を、情報処理装置２ａが行ってもよい。この場合、情報処理装置２ａは、位置特定部２０によって生成された像情報（Ｘ１，Ｙ１，Ｚ１，Ｃ）のうちに、「Ｘ１」の値と「Ｙ１」の値とがそれぞれ「Ｘγ」の値、「Ｙγ」の値と一致し、且つ「Ｚ１」の値が「Ｌ」より大きい像情報（以下、注目像情報）が存在するか否かを判定し、判定結果を情報処理装置２ｂに送信する。位置特定部２０によって生成された像情報（Ｘ１，Ｙ１，Ｚ１，Ｃ）のうちに注目像情報が存在する場合が、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまう場合に相当する。この判定結果に基づき、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまうか否かを、マーカ表示部３０が判定することとなる。
【符号の説明】
【００６４】
２，２ａ，２ｂ 情報処理装置、４ スクリーン、６ プロジェクタ、８ａ，８ｂ カメラ、１０ ステレオカメラ、１１ プレゼンター、１２ 制御部、１４ 記憶部、１６ 出入力インタフェース、１８ ネットワークインタフェース、２０ 位置特定部、２２ 射影位置算出部、２４ 手先位置算出部、２６ 会議資料表示部、２８ プレゼンター表示部、３０ マーカ表示部、３２ マーカ画像。
【技術分野】
【０００１】
本発明は、遠隔会議支援システム及びプログラムに関する。
【背景技術】
【０００２】
下記特許文献１には、スクリーンの手前の手の位置を取得し、遠隔地のスクリーンに手の映像を表示すること、が記載されている。なお、手の映像は、取得された位置と同位置に表示される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−０４１８８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、第１の拠点の撮像手段が撮像した画像に基づいて当該画像に写っている人物の画像を第２拠点の表示面領域に表示させる場合において、表示面領域に当該人物の所期の部位の画像が表示されない場合であっても、遠隔会議を円滑に行えるようにすることである。
【課題を解決するための手段】
【０００５】
上記課題を解決するための請求項１の発明は、第１拠点に設置されている第１撮像手段により撮像された撮像画像、に写っている人物の画像が占める人物領域内の各位置に写っている物体の３次元空間内の位置を特定する空間位置特定手段と、前記空間位置特定手段により特定された各位置を、前記第１拠点内の領域であって会議資料の画像が表示される面領域である第１表示面領域、に対応する前記３次元空間内の領域である射影面領域に射影したときの射影位置を算出する射影位置算出手段と、前記第１拠点に設置されている複数の第２撮像手段により撮像された撮像画像に基づいて、前記人物の予め定められた部位に対応する前記３次元空間内の３次元領域である手先領域、の位置を前記射影面領域に射影したときの射影位置である手先位置を算出する算出手段と、前記第１拠点とは異なる第２拠点内の領域であって前記会議資料の画像が表示される面領域である第２表示面領域に、前記人物を示す画像を前記射影位置算出手段により算出された射影位置に基づいて表示させるとともに、前記手先位置に対応する位置に案内画像を表示させる表示手段と、を含む遠隔会議支援システムである。
【０００６】
また、請求項２の発明は、請求項１の発明において、前記表示手段は、前記手先位置が前記射影位置算出手段により算出された射影位置の集合である射影領域に含まれない場合に、前記案内画像を表示させることを特徴とする。
【０００７】
また、請求項３の発明は、請求項１又は２の発明において、前記表示手段は、前記手先領域を前記射影面領域に射影したときの射影領域が前記射影位置算出手段により算出された射影位置の集合である射影領域に含まれる度合いに応じた透明度で、前記案内画像を表示させることを特徴とする。
【０００８】
上記課題を解決するための請求項４の発明は、第１拠点に設置されている第１撮像手段により撮像された撮像画像、に写っている人物の画像が占める人物領域内の各位置に写っている物体の３次元空間内の位置を特定する空間位置特定手段、前記空間位置特定手段により特定された各位置を、前記第１拠点内の領域であって会議資料の画像が表示される面領域である第１表示面領域、に対応する前記３次元空間内の領域である射影面領域に射影したときの射影位置を算出する射影位置算出手段、前記第１拠点に設置されている複数の第２撮像手段により撮像された撮像画像に基づいて、前記人物の予め定められた部位に対応する前記３次元空間内の３次元領域である手先領域、の位置を前記射影面領域に射影したときの射影位置である手先位置を算出する算出手段、及び前記第１拠点とは異なる第２拠点内の領域であって前記会議資料の画像が表示される面領域である第２表示面領域に、前記人物を示す画像を前記射影位置算出手段により算出された射影位置に基づいて表示させるとともに、前記手先位置に対応する位置に案内画像を表示させる手段、としてコンピュータを機能させるためのプログラムである。
【発明の効果】
【０００９】
請求項１及び４の発明によれば、第１の拠点の撮像手段が撮像した画像に基づいて当該画像に写っている人物の画像を第２拠点の表示面領域に表示させる場合において、表示面領域に当該人物の所期の部位の画像が表示されない場合であっても、遠隔会議を円滑に行えるようになる。
【００１０】
また、請求項２の発明によれば、案内画像が常に表示されるようにしなくても、遠隔会議を円滑に行えるようになる。
【００１１】
また、請求項３の発明によれば、会議資料画像に対して案内画像が目立ち過ぎないようにすることができる。
【図面の簡単な説明】
【００１２】
【図１】会議室（拠点）を例示する図である。
【図２】情報処理装置の構成を例示する図である。
【図３Ａ】会議資料画像を例示する図である。
【図３Ｂ】スクリーンに表示される画像を例示する図である。
【図４】遠隔会議システムで実現される機能群を示す機能ブロック図である。
【図５】差分画像を例示する図である。
【図６】第１撮像画像を例示する図である。
【図７】第２撮像画像を例示する図である。
【図８】手先領域を例示する図である。
【図９】シリンダー領域を例示する図である。
【図１０】マーカ画像を例示する図である。
【図１１】スクリーンにプレゼンターの前腕部が映らない場合を例示する図である。
【図１２】マーカ画像を例示する図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態の例について図面に基づき詳細に説明する。
【００１４】
［会議室］
図１は、遠隔会議が行われる会議室（拠点）を例示する図である。同図に示す会議室は複数設けられる。各会議室には、情報処理装置２が備えられている。また、各会議室には、スクリーン４が備えられている。スクリーン４は、会議室の壁３に設置されている。
【００１５】
点Ｏはスクリーン４の中心を示している。会議室内の３次元空間における位置は、点Ｏを原点とするワールド座標（Ｘ，Ｙ，Ｚ）によって表される。なお、スクリーン４（壁３）の法線方向がＺ軸プラス方向であり、水平方向がＸ軸方向であり、垂直方向がＹ軸方向である。
【００１６】
また、各会議室には、プロジェクタ６がスクリーン４の正面に備えられている。プロジェクタ６はスクリーン４に画像を投影する。具体的には、プロジェクタ６は情報処理装置２に接続されており、情報処理装置２から入力される会議資料画像（図３Ａ参照）をスクリーン４に投影する。なお、各会議室で共通の会議資料画像がスクリーン４に投影される。
【００１７】
また、各会議室には、カメラ８ａ（第２撮像手段）が備えられている。カメラ８ａは、壁３に配置され、情報処理装置２と接続されている。カメラ８ａは、その視線方向がＹ軸マイナス方向となり、且つ、その光軸が点Ｏを通るように配置されている。カメラ８ａの意義については後述する。
【００１８】
また、各会議室には、カメラ８ｂ（第２撮像手段）が備えられている。カメラ８ｂは、壁３に配置され、情報処理装置２と接続されている。カメラ８ｂは、その視線方向がＸ軸プラス方向となり、且つ、その光軸が点Ｏを通るように配置されている。カメラ８ｂの意義についても後述する。
【００１９】
また、各会議室には、ステレオカメラ１０（第１撮像手段）が備えられている。ステレオカメラ１０は、情報処理装置２と接続され、その視界にスクリーン４が入るように設置されている。本実施形態の場合、ステレオカメラ１０は、その光軸が点Ｏを通るように設置されている。なお、ステレオカメラ１０の設置位置は、各会議室で同じであってもよいし、同じでなくてもよい。通常、ステレオカメラ１０の設置位置は、各会議室で異なる。
【００２０】
［情報処理装置］
図２は、情報処理装置２の構成を例示する図である。同図に示すように、情報処理装置２は、制御部１２を備える。制御部１２は、後述する記憶部１４に格納されるプログラムに従って各種情報処理を実行する。また、情報処理装置２は、記憶部１４を備える。記憶部１４には上記プログラムが格納される。また、記憶部１４には、情報処理の過程で必要となる各種データが格納される。また、記憶部１４には、上記会議資料画像が予め格納される。なお、上記プログラムは、ＤＶＤ（登録商標）−ＲＯＭ等のコンピュータ読取可能な情報記憶媒体から読み出されて記憶部１４に格納されてもよいし、ネットワーク等の通信網から供給されて記憶部１４に格納されてもよい。
【００２１】
また、情報処理装置２は、情報処理装置２と、ステレオカメラ１０、カメラ８ａ、カメラ８ｂ、及びプロジェクタ６の各々と、を接続するための出入力インタフェース１６を備える。出入力インタフェース１０を介して、ステレオカメラ１０、カメラ８ａ、及びカメラ８ｂのそれぞれにより撮像された画像が情報処理装置２に入力される。また、出入力インタフェース１０を介して、会議資料画像がプロジェクタ６に入力される。また、情報処理装置２は、情報処理装置２をネットワークに接続するためのネットワークインタフェース１８を備える。
【００２２】
以上のように情報処理装置２はネットワークに接続されている。各情報処理装置２は、他の会議室の情報処理装置２とデータ授受可能である。
【００２３】
［会議資料画像］
上述のように、各会議室で共通の会議資料画像がスクリーン４に投影される。図３Ａに会議資料画像を例示した。なお、会議資料画像内の位置は、会議資料画像の中心を原点とするスクリーン座標（Ｘα，Ｙα）によって表される。
【００２４】
［遠隔会議］
各会議室にいる会議参加者は、共通の会議資料画像を見ながら、他の会議室にいる会議参加者と遠隔会議を行う。遠隔会議中、情報処理装置２は、ステレオカメラ１０により撮像された撮像画像から、撮像画像に写っているプレゼンター１１（図１参照）のスクリーン４に対する相対位置を割り出し、それを他の会議室の情報処理装置２に配信するようになっている。こうすることにより、ある会議室においてプレゼンテーションを行っているプレゼンター１１を示す画像が、他の会議室のスクリーン４に表示されるようになっている（図３Ｂ参照）。図３Ｂに、他の会議室のスクリーン４に表示される画像を例示した。
【００２５】
［機能ブロック］
図４は、ある会議室（以下、会議室Ａ）の情報処理装置２（以下、情報処理装置２ａ）と、他の会議室（以下、会議室Ｂ）の情報処理装置２（以下、情報処理装置２ｂ）と、において実現される機能群のうち発明に関係するものを示す機能ブロック図である。情報処理装置２ａと情報処理装置２ｂとを含むシステムが遠隔会議支援システムに相当する。
【００２６】
同図に示すように、情報処理装置２ａでは、位置特定部２０、射影位置算出部２２、及び手先位置算出部２４が実現される。これらの機能は、情報処理装置２ａが、上記プログラムに従って動作することにより実現される。また、情報処理装置２ｂでは、会議資料表示部２６、プレゼンター表示部２８、及びマーカ表示部３０が実現される。これらの機能は、情報処理装置２ｂが、上記プログラムに従って動作することにより実現される。
【００２７】
以下、会議室Ｂのスクリーン４にプレゼンター１１を示す画像が表示されるようにするための、位置特定部２０、射影位置算出部２２、及びプレゼンター表示部２８の機能について説明する。
【００２８】
［位置特定部］
位置特定部２０は、空間位置特定手段に相当する。位置特定部２０は、会議室Ａに設置されているステレオカメラ１０により撮像された撮像画像に含まれるプレゼンター領域、の各位置に写っている物体の会議室Ａ内の位置を示すワールド座標（Ｘ，Ｙ，Ｚ）である第１ワールド座標値（Ｘ１，Ｙ１，Ｚ１）を特定する。なお、プレゼンター領域とは、撮像画像に写っているプレゼンター１１の画像が占める領域である。
【００２９】
そして、位置特定部２０は、撮像画像からデプスマップ画像を生成し、このデプスマップ画像と、記憶部１４に予め記憶される基準デプスマップ画像と、の差分デプスマップ画像に基づいて、プレゼンター領域を示す座標値を特定する。さらに、プレゼンター領域の各位置に写っている物体の会議室Ａ内の位置を示す第１ワールド座標値（Ｘ１，Ｙ１，Ｚ１）を取得する。なお、基準デプスマップ画像は、事前にプレゼンタ―のいない状態における撮影画像より生成されたデプスマップ画像である。
【００３０】
図５は、差分デブスマップ画像を例示する図である。ハッチングされた領域がプレゼンター領域を示している。差分デプスマップ画像内の位置は、差分デプスマップ画像の中心を原点とするスクリーン座標（ＸＡ，ＹＡ）のスクリーン座標値によって表される。なお、差分デプスマップ画像の中心にはスクリーン４の中心点Ｏが写っている。
【００３１】
具体的には、位置特定部２０は、まず、両デプスマップ画像に基づいて、プレゼンター領域内の各位置に写っている物体のステレオカメラ１０からの距離ｄを特定する。そして、位置特定部２０は、プレゼンター領域内の位置に写っている物体のステレオカメラ１０からの位置ｄに基づいて、当該物体の会議室Ａ内の位置を表す視点座標（Ｘｓ，Ｙｓ、Ｚｓ）を算出する。ここで、視点座標とは、ステレオカメラ１０の位置を原点とし、その視線方向をＺｓ軸プラス方向とする視点座標系の座標である。例えば、スクリーン座標（ＸＡ，ＹＡ）が（Ｘａ，Ｙａ）であるプレゼンター領域内の位置Ｐ（図５参照）に写っている物体のステレオカメラ１０からの距離ｄがｄ１である場合、この物体の視点座標（Ｘｓ，Ｙｓ，Ｚｓ）は、（Ｘａ，Ｙａ，ｄ１）となる。
【００３２】
そして、位置特定部２０は、両デプスマップ画像に基づいて、スクリーン４の中心Ｏのステレオカメラ１０からの距離Ｄを算出し、視点座標に対して距離Ｄに基づく座標変換処理を行って、第１ワールド座標値（Ｘ１，Ｙ１，Ｚ１）を算出する。なお、位置特定部２０は、この第１ワールド座標値に基づいて、この第１ワールド座標値に位置する物体の像に関する像情報（Ｘ１，Ｙ１，Ｚ１，Ｃ）を生成する。ここで、「Ｃ」は、（Ｘ１，Ｙ１，Ｚ１）に位置する物体の上記撮像画像における画素値である。
【００３３】
こうして、プレゼンター領域内の各位置について、上記像情報が生成される。
【００３４】
［射影位置算出部］
射影位置算出部２２は、射影位置算出手段に相当する。射影位置算出部２２は、位置特定部２０により特定された各位置を、会議室Ａのスクリーン４（第１表示面領域）に対応する会議室Ａ内の領域である射影面領域に直交射影したときの射影位置を算出する。ここでは、射影面領域とは、スクリーン４が会議室Ａにて占めている領域である。
【００３５】
すなわち、射影位置算出部２２は、位置特定部２０により算出された各第１ワールド座標値（Ｘ１，Ｙ１，Ｚ１）の示す位置を射影面領域に直交射影したときの射影位置を示すスクリーン座標（Ｘα、Ｙα）である第１スクリーン座標値（Ｘβ、Ｙβ）を算出する。
【００３６】
本実施形態の場合、射影位置算出部２２は、一つ一つの像情報（Ｘ１、Ｙ１、Ｚ１、Ｃ）から投影像情報（Ｘβ、Ｙβ、Ｃ１）を生成する。具体的には、射影位置算出部２２は、（Ｘ１，Ｙ１，Ｃ）を算出する。Ｘ１が「Ｘβ」となり、Ｙ１が「Ｙβ」となり、Ｃが「Ｃ１」となる。
【００３７】
こうして、投影像情報を生成すると、射影位置算出部２２は、生成した投影像情報に基づいて、投影像情報により表される投影像、すなわちプレゼンター１１を示す画像を、会議室Ｂのスクリーン４（第２表示面領域）に表示させる。すなわち、射影位置算出部２２は、生成した投影像情報を、情報処理装置２ｂに送信する。
【００３８】
［会議資料表示部］
会議資料表示部２６は、記憶部１４に記憶される会議資料画像を読み出し、会議室Ｂのスクリーン４に表示させる。具体的には、会議資料表示部２６は、会議資料画像をプロジェクタ６に投影させる。
【００３９】
［プレゼンター表示部］
プレゼンター表示部２８（表示手段）は、情報処理装置２ａから送信された投影像情報を受信する。そして、プレゼンター表示部２８は、会議室Ｂのスクリーン４に、投影像情報（Ｘβ、Ｙβ、Ｃ１）に基づいて、投影像情報（Ｘβ、Ｙβ、Ｃ１）により表される投影像、すなわちプレゼンター１１を示す画像を表示させる。例えば、プレゼンター表示部２８は、会議資料表示部２６により読み出だされた会議資料画像の、スクリーン座標値（Ｘβ、Ｙβ）で表される位置の画素値を「Ｃ１」に更新する。
【００４０】
［手先位置算出部、マーカ表示部］
ところで、ステレオカメラ１０により撮像された撮像画像にプレゼンター１１の前腕部（部位）が写っていれば、投影像情報により表される投影像にプレゼンター１１の前腕部が含まれる。そのため、ステレオカメラ１０により撮像された撮像画像にプレゼンター１１の前腕部（特に手）が写っていれば、会議室Ｂのスクリーン４にプレゼンター１１の前腕部が映し出されることになるため、会議室Ｂにいる会議参加者にとってプレゼンター１１がどこを指し示しているのか把握するのは容易である。
【００４１】
しかしながら、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っていない場合、投影像情報により表される投影像にプレゼンター１１の前腕部が含まれなくなるため、会議室Ｂのスクリーン４にプレゼンター１１の前腕部が映し出されなくなる。そのため、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っていない場合、会議室Ｂにいる会議参加者にとってプレゼンター１１がどこを指し示しているのか把握するのは困難となり、遠隔会議を円滑に行えなくなる。
【００４２】
この点、手先位置算出部２４及びマーカ表示部３０の機能により、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っていない場合でも、会議室Ｂにいる会議参加者にとってプレゼンター１１がどこを指し示しているのか把握するのが容易になるよう図られている。以下、この点について説明する。
【００４３】
［手先位置算出部］
手先位置算出部２４は、手先位置算出手段に相当する。手先位置算出部２４は、会議室Ａに設置されたカメラ８ａ及びカメラ８ｂのそれぞれにより撮像された撮像画像に基づいて、プレゼンター１１の前腕部に対応する会議室Ａ内の３次元領域である手先領域を求める。そして、手先位置算出部２４は、手先領域の位置を上記射影面領域に直交射影したときの射影位置である手先位置を算出する。なお、手先領域とは、プレゼンター１１の前腕部が占める領域である。
【００４４】
すなわち、手先位置算出部２４は、まず、手先領域を特定する。具体的には、手先位置算出部２４は、手先領域を特定するために、まず、カメラ８ａにより撮像された第１撮像画像と、カメラ８ｂにより撮像された第２撮像画像と、に基づいて、プレゼンター１１に対応する会議室Ａ内の領域であるシルエット領域を特定する。なお、シルエット領域とは、プレゼンター１１が占める領域である。シルエット領域は、ボクセルマップとも呼ばれる。
【００４５】
具体的には、手先位置算出部２４は、記憶部１４に予め格納される第１比較対象画像と第２比較対象画像とを読み出す。ここで、第１比較対象画像とは、遠隔会議の開始前にカメラ８ａが撮像した画像であり、第２比較対象画像とは、遠隔会議の開始前にカメラ８ｂが撮像した画像である。第１比較対象画像及び第２比較対象画像のいずれにもプレゼンター１１は写っていない。
【００４６】
そして、手先位置算出部２４は、第１比較対象画像と第１撮像画像との差分画像を生成し、差分画像に基づいて、第１撮像画像のうちでプレゼンター１１の画像が占めている領域である第１シルエット領域を特定する。図６に第１撮像画像を例示した。ハッチングされた領域が第１シルエット領域を示している。なお、第１撮像画像内の位置は、第１撮像画像の上辺の中点を原点とするスクリーン座標（Ｘ，Ｚ）により表される。
【００４７】
また、手先位置算出部２４は、第２比較対象画像と第２撮像画像との差分画像を生成し、差分画像に基づいて、第２撮像画像のうちでプレゼンター１１の画像が占めている領域である第２シルエット領域を特定する。図７に第２撮像画像を例示した。ハッチングされた領域が第２シルエット領域を示している。なお、第２撮像画像内の位置は、第２撮像画像の左辺の中点を原点とするスクリーン座標（Ｙ，Ｚ）により表される。
【００４８】
そして、手先位置算出部２４は、第１シルエット領域に含まれる各位置のスクリーン座標（Ｘ，Ｚ）と、第２シルエット領域に含まれる各位置のスクリーン座標（Ｙ，Ｚ）と、に基づいてシルエット領域を特定する。すなわち、手先位置算出部２４は、第１シルエット領域のスクリーン座標（Ｘ，Ｚ）により示される会議室Ａ内の領域と、第２シルエット領域のスクリーン座標（Ｙ，Ｚ）により示される会議室Ａ内の領域と、のいずれにも属している位置の集合を、シルエット領域として特定する。
【００４９】
こうしてシルエット領域を特定すると、手先位置算出部２４は、このシルエット領域に基づいて手先領域を特定する。具体的には、手先位置算出部２４は、シルエット領域のうちスクリーン４からの距離が距離Ｌ（図６参照）以下である部分を手先領域として特定する。図８に手先領域を例示した。ハッチングされた領域が手先領域を示している。
【００５０】
こうして手先領域を特定すると、手先位置算出部２４は、手先領域の位置Ｑを示すワールド座標（Ｘ，Ｙ，Ｚ）である第２ワールド座標値（Ｘ２，Ｙ２，Ｚ２）を算出する。具体的には、手先位置算出部２４は、手先領域に外接する円柱状のシリンダー領域を特定し、シリンダー領域の先端の円の中点のワールド座標を、手先領域の位置Ｑの第２ワールド座標値（Ｘ２，Ｙ２，Ｚ２）として算出する。図９にシリンダー領域を例示した。なお、ハッチングされた領域は手先領域を示している。
【００５１】
そして、手先位置算出部２４は、位置Ｑの第２ワールド座標値（Ｘ２，Ｙ２，Ｚ２）に基づいて手先位置を示すスクリーン座標（Ｘα、Ｙα）である第２スクリーン座標値（Ｘγ、Ｙγ）を算出する。具体的には、手先位置算出部２４は、スクリーン座標値（Ｘ２，Ｙ２）を第２スクリーン座標値として算出する。Ｘ２が「Ｘγ」の値となり、Ｙ２が「Ｙγ」となる。そして、手先位置算出部２４は、第２スクリーン座標値（Ｘγ，Ｙγ）に対応する会議室Ｂのスクリーン４上の位置にマーカ画像３２（図１０参照）を表示させる。すなわち、手先位置算出部２４は、第２スクリーン座標値（Ｘγ、Ｙγ）を情報処理装置２ｂに送信する。
【００５２】
［マーカ表示部］
マーカ表示部３０（表示手段）は、情報処理装置２ａから送信された第２スクリーン座標値を受信する。そして、マーカ表示部３０は、第２スクリーン座標値（Ｘγ，Ｙγ）に対応するスクリーン４上の位置にマーカ画像３２を表示させる。例えば、マーカ表示部３０は、会議資料表示部２６により読み出された会議資料画像の、第２スクリーン座標値（Ｘγ，Ｙγ）で表される位置Ｒにマーカ画像３２を重畳する。図１０にマーカ画像３２を例示した。マーカ画像３２により、プレゼンター１１がどこを指し示しているのか把握することが会議室Ｂにいる会議参加者にとって容易になる。
【００５３】
なお、マーカ表示部３０は、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っていない場合、すなわち、投影像情報により表される投影像にプレゼンター１１の前腕部が含まれない場合に、マーカ画像３２を表示させ、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っている場合に、マーカ画像３２を表示させないようにしてもよい。例えば、マーカ表示部３０は、各投影像情報が示す各射影位置（Ｘβ，Ｙβ）の集合である射影領域（以下、第１射影領域）に、第２スクリーン座標値（Ｘγ，Ｙγ）により表される手先位置が含まれるか否かを判定し、上記第１射影領域に手先位置が含まれていない場合に、マーカ画像３２を表示させればよい。
【００５４】
なお、本発明の実施形態は上記実施形態だけに限らない。
【００５５】
例えば、マーカ表示部３０は、上記手先領域を上記射影面領域に直交射影したときの射影領域（以下、第２射影領域）が上記第１射影領域に含まれる度合いに応じた透明度で、マーカ画像３２を表示させてもよい。
【００５６】
第２射影領域が第１射影領域に含まれる度合いに応じた透明度でマーカ画像３２を表示する方法の例としては以下の方法がある。すなわち、情報処理装置２ａの制御部１２が、第２射影領域を特定し、第２射影領域の面積に対する、第２射影領域と第１射影領域とが重なっている領域の面積の割合を算出する。そして、情報処理装置２ａの制御部１２が、記憶部１４に予め記憶される透明度制御データを読み出す。ここで、透明度制御データは、算出された割合に関する条件と、マーカ画像３２の透明度の候補と、を関連づけてテーブルである。なお、透明度制御データは、算出された割合が大きくなるほど透明度が大きくなるように設定されている。そして、情報処理装置２ａの制御部１２が、算出した割合が満足する条件に関連づけられた透明度を、情報処理装置２ａに送信する。
【００５７】
そして、マーカ表示部３０が、第１射影領域に手先位置が含まれない場合に、情報処理装置２ａから受信した透明度でマーカ画像３２を表示させることとなる。
【００５８】
また、例えば、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っていても、会議室Ｂのスクリーン４にプレゼンター１１の前腕部が映らない場合がある。例えば、図１１に示すように、プレゼンター１１がスクリーン４に対向している場合、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまう。
【００５９】
そこで、マーカ表示部３０は、ステレオカメラ１０に撮像された撮像画像にプレゼンター１１の前腕部が写っていない場合だけでなく、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまう場合にも、図１２に示すようにマーカ画像３２を表示させるようにしてよい。
【００６０】
プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまう場合にも、マーカ画像３２を表示する方法の例としては以下の方法がある。すなわち、手先位置算出部２４が、手先位置を算出するだけでなく、シルエット領域のうちスクリーン４からの距離が距離Ｌ（図６参照）より大きい部分を胴体領域として特定し、胴体領域を上記射影面領域に直交射影したときの射影領域（以下、第３射影領域）を特定する。そして、手先位置算出部２４が、手先位置だけでなく第３射影領域の座標値も情報処理装置２ａに送信する。
【００６１】
そして、マーカ表示部３０が、手先位置が上記第１射影領域に含まれているか否かだけでなく、手先位置が上記第３射影領域に含まれているか否か（すなわち、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまうか否か）も判定し、手先位置が上記第１射影領域に含まれていない場合、又は手先位置が上記第３射影領域に含まれている場合、マーカ画像３２を表示させることとなる。
【００６２】
なお、マーカ表示部３０は、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまうか否か判定するために、シルエット領域内に位置（Ｘγ，Ｙγ、Ｚｍ（Ｚｍ＞Ｌ））が含まれるか否かを判定してもよい。シルエット領域内に位置（Ｘγ，Ｙγ、Ｚｍ）が含まれる場合が、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまう場合に相当する。
【００６３】
また、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまうか否か判定を、情報処理装置２ａが行ってもよい。この場合、情報処理装置２ａは、位置特定部２０によって生成された像情報（Ｘ１，Ｙ１，Ｚ１，Ｃ）のうちに、「Ｘ１」の値と「Ｙ１」の値とがそれぞれ「Ｘγ」の値、「Ｙγ」の値と一致し、且つ「Ｚ１」の値が「Ｌ」より大きい像情報（以下、注目像情報）が存在するか否かを判定し、判定結果を情報処理装置２ｂに送信する。位置特定部２０によって生成された像情報（Ｘ１，Ｙ１，Ｚ１，Ｃ）のうちに注目像情報が存在する場合が、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまう場合に相当する。この判定結果に基づき、プレゼンター１１の前腕部の像がプレゼンター１１の胴体の像によって隠れてしまうか否かを、マーカ表示部３０が判定することとなる。
【符号の説明】
【００６４】
２，２ａ，２ｂ 情報処理装置、４ スクリーン、６ プロジェクタ、８ａ，８ｂ カメラ、１０ ステレオカメラ、１１ プレゼンター、１２ 制御部、１４ 記憶部、１６ 出入力インタフェース、１８ ネットワークインタフェース、２０ 位置特定部、２２ 射影位置算出部、２４ 手先位置算出部、２６ 会議資料表示部、２８ プレゼンター表示部、３０ マーカ表示部、３２ マーカ画像。
【特許請求の範囲】
【請求項１】
第１拠点に設置されている第１撮像手段により撮像された撮像画像、に写っている人物の画像が占める人物領域内の各位置に写っている物体の３次元空間内の位置を特定する空間位置特定手段と、
前記空間位置特定手段により特定された各位置を、前記第１拠点内の領域であって会議資料の画像が表示される面領域である第１表示面領域、に対応する前記３次元空間内の領域である射影面領域に射影したときの射影位置を算出する射影位置算出手段と、
前記第１拠点に設置されている複数の第２撮像手段により撮像された撮像画像に基づいて、前記人物の予め定められた部位に対応する前記３次元空間内の３次元領域である手先領域、の位置を前記射影面領域に射影したときの射影位置である手先位置を算出する算出手段と、
前記第１拠点とは異なる第２拠点内の領域であって前記会議資料の画像が表示される面領域である第２表示面領域に、前記人物を示す画像を前記射影位置算出手段により算出された射影位置に基づいて表示させるとともに、前記手先位置に対応する位置に案内画像を表示させる表示手段と、
を含む遠隔会議支援システム。
【請求項２】
前記表示手段は、
前記手先位置が前記射影位置算出手段により算出された射影位置の集合である射影領域に含まれない場合に、前記案内画像を表示させること、
を特徴とする請求項１に記載の遠隔会議支援システム。
【請求項３】
前記表示手段は、
前記手先領域を前記射影面領域に射影したときの射影領域が前記射影位置算出手段により算出された射影位置の集合である射影領域に含まれる度合いに応じた透明度で、前記案内画像を表示させること、
を特徴とする請求項１又は２に記載の遠隔会議支援システム。
【請求項４】
第１拠点に設置されている第１撮像手段により撮像された撮像画像、に写っている人物の画像が占める人物領域内の各位置に写っている物体の３次元空間内の位置を特定する空間位置特定手段、
前記空間位置特定手段により特定された各位置を、前記第１拠点内の領域であって会議資料の画像が表示される面領域である第１表示面領域、に対応する前記３次元空間内の領域である射影面領域に射影したときの射影位置を算出する射影位置算出手段、
前記第１拠点に設置されている複数の第２撮像手段により撮像された撮像画像に基づいて、前記人物の予め定められた部位に対応する前記３次元空間内の３次元領域である手先領域、の位置を前記射影面領域に射影したときの射影位置である手先位置を算出する算出手段、及び
前記第１拠点とは異なる第２拠点内の領域であって前記会議資料の画像が表示される面領域である第２表示面領域に、前記人物を示す画像を前記射影位置算出手段により算出された射影位置に基づいて表示させるとともに、前記手先位置に対応する位置に案内画像を表示させる手段、
としてコンピュータを機能させるためのプログラム。
【請求項１】
第１拠点に設置されている第１撮像手段により撮像された撮像画像、に写っている人物の画像が占める人物領域内の各位置に写っている物体の３次元空間内の位置を特定する空間位置特定手段と、
前記空間位置特定手段により特定された各位置を、前記第１拠点内の領域であって会議資料の画像が表示される面領域である第１表示面領域、に対応する前記３次元空間内の領域である射影面領域に射影したときの射影位置を算出する射影位置算出手段と、
前記第１拠点に設置されている複数の第２撮像手段により撮像された撮像画像に基づいて、前記人物の予め定められた部位に対応する前記３次元空間内の３次元領域である手先領域、の位置を前記射影面領域に射影したときの射影位置である手先位置を算出する算出手段と、
前記第１拠点とは異なる第２拠点内の領域であって前記会議資料の画像が表示される面領域である第２表示面領域に、前記人物を示す画像を前記射影位置算出手段により算出された射影位置に基づいて表示させるとともに、前記手先位置に対応する位置に案内画像を表示させる表示手段と、
を含む遠隔会議支援システム。
【請求項２】
前記表示手段は、
前記手先位置が前記射影位置算出手段により算出された射影位置の集合である射影領域に含まれない場合に、前記案内画像を表示させること、
を特徴とする請求項１に記載の遠隔会議支援システム。
【請求項３】
前記表示手段は、
前記手先領域を前記射影面領域に射影したときの射影領域が前記射影位置算出手段により算出された射影位置の集合である射影領域に含まれる度合いに応じた透明度で、前記案内画像を表示させること、
を特徴とする請求項１又は２に記載の遠隔会議支援システム。
【請求項４】
第１拠点に設置されている第１撮像手段により撮像された撮像画像、に写っている人物の画像が占める人物領域内の各位置に写っている物体の３次元空間内の位置を特定する空間位置特定手段、
前記空間位置特定手段により特定された各位置を、前記第１拠点内の領域であって会議資料の画像が表示される面領域である第１表示面領域、に対応する前記３次元空間内の領域である射影面領域に射影したときの射影位置を算出する射影位置算出手段、
前記第１拠点に設置されている複数の第２撮像手段により撮像された撮像画像に基づいて、前記人物の予め定められた部位に対応する前記３次元空間内の３次元領域である手先領域、の位置を前記射影面領域に射影したときの射影位置である手先位置を算出する算出手段、及び
前記第１拠点とは異なる第２拠点内の領域であって前記会議資料の画像が表示される面領域である第２表示面領域に、前記人物を示す画像を前記射影位置算出手段により算出された射影位置に基づいて表示させるとともに、前記手先位置に対応する位置に案内画像を表示させる手段、
としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３Ａ】
【図３Ｂ】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１３−２６７０６（Ｐ２０１３−２６７０６Ａ）
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願番号】特願２０１１−１５７７１５（Ｐ２０１１−１５７７１５）
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２５年２月４日（２０１３．２．４）
【国際特許分類】
【出願日】平成２３年７月１９日（２０１１．７．１９）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]