説明

直接的なアイコンタクトを増進するビデオ会議ユニット

【課題】近位端及び遠位端の参加者の間の直接的なアイコンタクトの知覚を増進できる卓上型のビデオ会議エンドポイントを提供する。
【解決手段】参加者間の直接的なアイコンタクトを増進するデスクトップのビデオ会議エンドポイントは透過的なディスプレイ装置と、該ディスプレイ装置の後ろ側に配置され、該ディスプレイ装置の前面に位置する参加者を撮影するためのカメラを具備する。ディスプレイ装置は表示状態と非表示状態とを交互に繰り返す。カメラは、ディスプレイ装置が非表示状態のときにのみ、近位端の参加者の画像を撮影するように制御される。カメラは、ディスプレイ装置上の遠位端の参加者の瞳の画像が表示される位置の後ろ側に配置される。カメラによって撮影された画像は、遠位端の参加者に向けて表示されたとき、近位端の参加者が遠位端の参加者に直接的なアイコンタクトをしているかのような知覚的印象を与えることができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、大略、通信システムに関し、特に、ビデオ会議ユニットに関する。
【背景技術】
【0002】
図1A,1Bは、ビデオ会議ユニット101におけるカメラとディスプレイスクリーンとの配置の一例を示す。図1Aは、遠位端の参加者の画像103を表示しているディスプレイスクリーン102の正面図である。カメラ104は、近位端の参加者105の画像を撮影するためにディスプレイスクリーン102の頂部に置かれる。典型的には、通信中に、近位端の参加者105はディスプレイスクリーン102に表示された遠位端の参加者の瞳を見つめるであろう。ディスプレイスクリーン102上に遠位端の参加者の瞳が現れる正確な位置は変化するであろうが、一般的には、ディスプレイスクリーン102の高さの半分より上及び2/3より下のいずれかの位置に現れるであろう。しかし、カメラ104はディスプレイスクリーン102の頂部に置かれている。よって、カメラ104によって撮影された近位端の参加者105の画像は、あたかも該近位端の参加者105が下を向いているように見えるであろう。その結果、遠位端の参加者は、彼らから瞳をそらして不本意に下を向いている近位端の参加者の画像を見ることになる。もし遠位端のビデオ会議ユニットが図1Aにおける近位端のビデオ会議ユニットと同じような設定であれば、遠位端のカメラによって撮影される遠位端の参加者の画像も同様の下向きの特徴を持つことになる。そのような場合、近位端と遠位端の両方の参加者が、他方の画像の瞳を直接に見つめる(アイコンタクトする)ことができない。当然、それは望ましくない。
【0003】
下向きに見られる現象は、近位端のカメラによって撮られる近位端の参加者の瞳の位置に対して、遠位端の参加者の瞳がディスプレイスクリーン102上に表示される位置のなす角度αが増すほど、悪化することに注意されたい。この角度αは2つの距離の関数である。1つは(i)近位端の参加者とディスプレイスクリーン102との間の水平距離、もう1つは(ii)カメラと遠位端の参加者の瞳が表示されるディスプレイスクリーン102上の位置との間の(垂直方向における)知覚される距離である。角度αは前記水平距離に反比例する。つまり、角度αは、近位端の参加者とディスプレイスクリーンとの間の距離が増すほど、減少する。更に、角度αは、前記知覚される距離に直接的に比例する。つまり、角度αは、カメラと遠位端の参加者の瞳が表示されるディスプレイスクリーン上の位置との間の知覚される距離が増すほど、増加する。なお、当業者にとっては、角度αの減少に伴い、直接的なアイコンタクトの不足が減少されることが理解されよう。典型的には、角度αの値が5度以下であれば、アイコンタクトの明らかな不足が感知できないレベルにまで表現されるのに十分である。
【0004】
アイコンタクトの明らかな不足の上述した問題を解決する従来の技術には、種々の解決策があった。図2A及び2Bは解決策の一例を示す。この方法では、カメラ104は、ディスプレイスクリーン102前面の、ディスプレイスクリーン102上に遠位端の参加者の瞳が現れる位置に近接する位置に置かれる。その結果、角度αが直接的に比例する知覚される距離が減少するので、角度αが減少する。従って、近位端の参加者105の画像が遠位端で表示されたとき、近位端の参加者が遠位端の参加者と直接的にアイコンタクトをしているかのように見える。しかし、図2A及び2Bに示す解決方法は、ディスプレイスクリーン102への近位端の参加者105の視野を遮るという欠点を持つ。図2Aから分かるように、カメラ104及びカメラ支持具106は、遠位端の参加者の画像の見え方を妨げている。カメラ104及びカメラ支持具106は、近位端の参加者にとって極めてわずらわしい。
【0005】
別の解決方法が図3に示されており、その方法では、テレプロンプター(商標)型のディスプレイとカメラの構成が角度αを最小化する。ディスプレイスクリーン102が水平に置かれ、その上側に、ディスプレイスクリーン102と略同じ幅の半透鏡107が、ディスプレイスクリーン102上に表示された画像が半透鏡107に反射して近位端の参加者に見えるような配置で、置かれている。カメラ104は半透鏡107の後ろに置かれて、カメラ104には近位端の参加者が見えるが、近位端の参加者にはカメラ104が見えないようになる。カメラ104は、近位端の参加者105が見る半透鏡107上の遠位端の参加者の瞳が現れると予期される高さに置かれる。したがって、角度αが最小になり、カメラ104によって撮影された画像においては、遠位端の参加者に表示されたときに、近位端の参加者が遠位端の参加者と直接的にアイコンタクトをしているかのように見えるようになる。しかし、ディスプレイ102の水平な配置及び角度を付けた半透鏡107では、著しくより多くの場所を占めてしまう。その結果、かかる構成は、卓上型のビデオ会議ユニットに不向きである。
【発明の概要】
【0006】
本発明は、近位端及び遠位端の参加者の間の直接的なアイコンタクトの知覚を増進できる卓上型のビデオ会議エンドポイントを提供することを目的とする。この目的の達成のために、本発明に係るビデオ会議エンドポイントは、透過型ディスプレイ装置と、該ディスプレイ装置の後ろに置かれたカメラとを備える。前記カメラは、ディスプレイ装置の後ろの、遠位端の参加者の瞳の画像が表示されると予期される位置に、配置される。典型的には、近位端の参加者は、ディスプレイ上の、遠位端の参加者の瞳の画像が表示される位置を見ながら通信する。この位置の後ろ側のカメラのために、該カメラにより撮影された画像は、カメラを直接的に見る近位端の参加者を含む。前記撮影された画像が遠位端の参加者に表示されたとき、遠位端の参加者は、近位端の参加者が遠位端の参加者と直接的なアイコンタクトをしていることを知覚できる。
【0007】
透過型ディスプレイ装置は、ガラス又はプラスチック等の透過型基体上の有機発光ダイオード(OLED)ピクセルマトリックスを備える。かかるディスプレイ装置は、光が当該ディスプレイ装置を通過させることを可能とする。前記ディスプレイ装置に接続された制御ユニットは、該ディスプレイ装置が表示状態と非表示状態とを交互に繰り返すように制御する。前記表示状態では、ディスプレイ装置は画像を表示できる。表示される画像は、例えば、遠位端から受信した画像フレームである。前記非表示状態では、ディスプレイ装置はいかなる画像の表示も停止する。その結果、ディスプレイ装置が透過的になる。制御ユニットは、ディスプレイ装置が非表示状態の間に、ディスプレイ装置を通して近位端の参加者の画像を撮影するようにカメラを制御する。ディスプレイ装置が画像を表示していないので、カメラは何らの妨害物無しに近位端の参加者の画像を撮影できる。カメラは、当該カメラに当たる環境光を防ぐエンクロージャ内に収容される。これにより、カメラが近位端の参加者に知覚されないようにできる。
【0008】
カメラは、シャッターの開閉によって、画像を撮影するか又は撮影しないかを制御される。前記シャッターは、前記ディスプレイ装置の非表示状態の間にのみ開く。ただし、該シャッターは、幾度かの非表示状態の間にのみ開くように制御され得る。非表示状態の間にカメラがシャッターを開くかどうかは、撮影フレームレートや露出時間等、種々の要因に依存する。
【0009】
前記ビデオ会議エンドポイントは、ディスプレイスクリーン上の遠位端の参加者の瞳の画像が表示される位置の後ろに、カメラを自動的に位置させるカメラ位置決め機構を含む。顔面検出モジュールは、受信した画像フレーム上の瞳の画像の位置を決定できる。カメラ位置コントローラは、前記顔面検出モジュールから受信した画素情報に基づいて、瞳の画像の物理的位置を決定する。カメラは、当該カメラをディスプレイ装置の後ろ側で水平方向及び垂直方向の両方向に移動できる位置決め機構に取り付けられる。カメラ位置コントローラは、カメラがディスプレイ装置上に表示されている瞳の画像の後ろ側に位置されるように、位置決め機構を制御できる。カメラ位置コントローラは、ディスプレイ装置上の瞳の画像の位置の変化を追跡して、それに応じてカメラの位置を変更できる。
【0010】
この発明の代表的な実施例は、以下の説明を読むこと、及び、添付図面を参照することにより、より容易に理解されるだろう。
【図面の簡単な説明】
【0011】
【図1A】従来技術で周知の、カメラがディスプレイスクリーンの頂部に置かれたビデオ会議エンドポイントを示す図。
【図1B】従来技術で周知の、カメラがディスプレイスクリーンの頂部に置かれたビデオ会議エンドポイントを示す図。
【0012】
【図2A】従来技術で周知の、カメラがディスプレイスクリーンの前面に置かれたビデオ会議エンドポイントを示す図。
【図2B】従来技術で周知の、カメラがディスプレイスクリーンの前面に置かれたビデオ会議エンドポイントを示す図。
【0013】
【図3】従来技術で周知の、テレプロンプター型ビデオ会議エンドポイントを示す図。
【0014】
【図4】カメラが透過的ディスプレイ装置の後ろ側に置かれたビデオ会議エンドポイントの一例を示す図。
【0015】
【図5A】ディスプレイ装置の表示状態を示す図。
【図5B】ディスプレイ装置の非表示状態を示す図。
【0016】
【図6】ディスプレイ装置とカメラのためのタイミング図の一例を示す図。
【0017】
【図7】前記タイミング図に示す時間の値の一例のリスト。
【0018】
【図8】ディスプレイ装置とカメラに接続された制御ユニットによって実行される処理ステップの一例のフローチャート。
【0019】
【図9A】可動式カメラ機構の一例の説明図。
【図9B】可動式カメラ機構の一例のブロック図。
【図9C】可動式カメラ機構の一例のフローチャート。
【0020】
【図10】ビデオ会議エンドポイントの電気的構造図の一例を示す図。
【発明を実施するための形態】
【0021】
図4は、カメラがディスプレイ装置の後ろに配置され得るビデオ会議ユニット200の一例を示す。カメラ204は、ディスプレイ装置202の一方の側であって、近位端の参加者105に対面する側とは反対側に配置される。ディスプレイ装置202は、参加者105にフレームを表示せず、且つ、ディスプレイ装置202の参加者側からディスプレイ装置202のカメラ側に光を通過させ得る状態になることができる。この状態の間は、近位端の参加者105及び彼又は彼女の周囲の画像を撮影できるように、カメラ204のシャッターが開かれる。ディスプレイ装置202は、また、参加者105にフレームを表示する状態になることができる。この状態の間は、何の画像も撮影しないように、カメラ204のシャッターが閉じられる。ディスプレイ装置202は、所望のフレームレートで、当該ディスプレイ装置202がビデオフレームを表示すること、及び、カメラ204がビデオフレームを撮影することのいずれにとっても十分な速さで、これら2つの状態を遷移させる。
【0022】
カメラ204は、ディスプレイ装置202上で遠位端の参加者の顔又は瞳が現れると予期される位置のちょうど後ろに置かれる。その結果、近位端の参加者105に対する角度αが極めて小さくなる。したがって、カメラ204によって撮影される近位端の参加者105の画像は、遠位端で表示されたときに、近位端の参加者が遠位端の参加者と直接的にアイコンタクトをしているかのように見えるものとなる。カメラ204は、角度αが5度以下になるように配置され得る。
【0023】
カメラ204は、また、図4に示す通り、エンクロージャ210内に収容される。ディスプレイ装置202の後ろに置かれたカメラ204がローカルの参加者105に知覚されないことが望ましい。エンクロージャ210は、カメラ204に当たる光の量を極小化し得る。エンクロージャ210の内表面は無反射コーティング及び無反射色(例えば無光沢の黒)を持ち得る。更にはカメラ204も、自身の知覚され易さを減少させるために、無反射コーティング及び無反射色(例えば無光沢の黒)で被覆されてよい。カメラ204は、スクリーンのすぐ後ろに置かれて、ローカルの参加者105及び彼又は彼女の周囲の広い視野を可能にする。ディスプレイ装置202とエンクロージャ210とを共にローカルの参加者の前面の卓上に置くことができるように、ディスプレイ装置202及びエンクロージャ210の厚さをできる限り小さくすることが好ましい。1インチの何分の1かの厚さで入手可能な典型的な市販のディスプレイスクリーンと、1〜2インチの厚さの部品の形で入手可能である高精細度デジタルカメラとを用いることで、図4に示すエンドポイントの厚さは2〜3インチ以下にできる。
【0024】
有機発光ダイオード(OLED)、液晶ディスプレイ(LCD)等、種々のディスプレイ装置を、ディスプレイ装置202として使用できる。当業者は、OLED又はLCDディスプレイが透明又は半透明のガラス又はプラスチックのシート材で製造できることを理解できるだろう。これにより、OLEDディスプレイを実質的に透明にし、同時に、実質的に透明な基板上に画像を表示できる。
【0025】
図5A及び5Bは、ディプレイ装置及びカメラの2つの状態を示す。図5Aにおいて、ディスプレイ装置202は、表示状態であり、遠位端の参加者の画像(シェーディングで示す)を表示できる。この状態では、カメラ204は、ディスプレイ装置202に表示される画像を撮影しないように、そのシャッターを閉じる。カメラ204がローカルの参加者105に知覚されないことを示すため、当該カメラ204が点線で描かれていることに注意されたい。図5Bにおいて、ディスプレイ装置202は、何らの画像も表示しない非表示状態又は透過的状態になっている。その結果、カメラ204は、透過的なディスプレイ装置202の後ろ側からローカルの参加者205をはっきりと見られる状態となる。カメラのシャッターは、ディスプレイ装置202が遠位端の参加者の画像のフレームを表示する前に再び閉じられる。典型的には、ディスプレイ装置202とカメラ204は、図5Aと5Bに示す2つのシナリオを交互に繰り返す。
【0026】
変形例として、透過的状態のときに、ディスプレイ装置の一部だけが透過的になるように構成されてよい。透過的になるディスプレイ装置の一部分は、カメラ204の位置に対応する。カメラ204がディスプレイ装置202のすぐ後ろに置かれるので、カメラ204が近位端の参加者105及び彼又は彼女の周囲の画像を撮影できるようにすることのために、ディスプレイ装置全体が透過的である必要はない。一例として、カメラ204の前面におけるディスプレイ装置202の一部の長方形、円形又は正方形等の任意の部分(領域)が選択され得る。選択された部分(領域)に対応する複数の画素(複数の画素の部分集合)は、ディスプレイ装置202の後ろにカメラをセットアップするときに、特定される。特定された複数の画素の位置は、ディスプレイ装置202のメモリに保存されるか、又は、リフレッシュサイクル毎に制御ユニットによって供給される。
【0027】
図6は、タイミング図300を用いて、ディスプレイ装置及びカメラの制御の一例を説明する。一番上の軸線は、ディスプレイ装置202によって表示される遠位端のビデオのリフレッシュタイミング301を示す。ディスプレイ装置202のリフレッシュレートTrefは、入力されるビデオの撮影レートと同じ値にできる。例えば、入力ビデオが24フレーム毎秒(fps)とすると、ディスプレイ装置202のリフレッシュレートは、各サイクルに1つの画像フレームが表示されるように24Hzに設定できる。ディスプレイ装置のリフレッシュレートが入力ビデオのフレームレートから独立していてもよい。例えば、いくつかのディスプレイ装置は、それらのリフレッシュレートを60Hzの一定値に設定される。そのような場合、1つの画像フレームは、1以上の複数サイクルで表示されることになる。
【0028】
タイミング図300の一部分302は、ディスプレイ装置202に1つのフレームを表示すること、及び、それに続いてディスプレイ装置202からフレームを取り去ってディスプレイ装置202を透過的にすることに必要とされる時間長Tdisを示す。Tdisは、入力ラグ、画素レスポンス時間、画素応答時間など、種々のレイテンシ要素に依存する。入力ラグは、メモリから画素へ画素データを伝送する電子部品のレイテンシに依存する。OLEDディスプレイの典型的な画素応答時間は、1ミリ秒であり、また、LCDディスプレイの典型的な画素応答時間は、2〜4ミリ秒である。1リフレッシュサイクル内のTdis以外の全ての時間において、ディスプレイ装置202が透過的であると想定できる。言い換えれば、ディスプレイ装置202はTdis後に透過的状態になる。
【0029】
部分303は、ローカルの参加者の画像を撮影するために、カメラのシャッターがリフレッシュサイクル内で潜在的に開けておくことができる時間長を示す。Tcamは、リフレッシュサイクル内でディスプレイ装置202が透過的になっているときに、カメラがローカルの参加者の画像を撮影するためにシャッターを開く期間を提供する。Tcamが、カメラ204のシャッター時間を規定する必要はないことに注意されたい。言い換えれば、各リフレッシュサイクルの各Tcam期間内にシャッターが開かれる必要はない。一例として、カメラ204は、ディスプレイのリフレッシュレートとは異なる撮影フレームレートを持つ。例えば、カメラ204の撮影フレームレートが24fpsであり、且つ、ディスプレイ装置のリフレッシュレートが50Hzであるとすると、カメラのシャッターは、1秒あたり50リフレッシュサイクルのうち24サイクル分のTcam期間だけ開く。すなわち、ディスプレイ装置202は表示状態と非表示状態を交互に繰り返すが、カメラ204は、必ずしも全ての非表示状態において画像の撮影を行う必要はなく、該ディスプレイ装置202の前記交互に起こる非表示状態の部分集合において画像の撮影を止める/もしくは画像を撮影するようにしてよい。更に、シャッター時間は、カメラセンサ速度と、カメラセンサに届く光量又は露出時間との関数であってもよい。例えば、カメラがフレーム毎に1/100秒間シャッターを開けておく必要がある場合には、カメラのシャッターは、許容可能なTcam期間のうち10ミリ秒しか開けない。仮にTcamが要求された露出時間よりも短い場合、シャッターは、1つのフレームを撮影するために、複数のTcam期間にわたり開く。幾つかの場合、Tcamがとても短く(例えば高いリフレッシュレートであるため)、カメラが要求された露出時間にて要求されたフレーム毎秒の撮影をできないならば、制御ユニットは、ローカルの参加者に対するインジケータを供給する。ローカルの参加者は、露出時間を減らすように、その場の照明を増やすだろう。変形例として、制御ユニットは、追加照明を点灯するための指示を室内照明制御ユニットに自動的に送信してもよい。
【0030】
図7は、図6で上述した複数の時間の値の幾つかの例を示すリストである。例えば、ディスプレイ装置202のリフレッシュレートが24Hzとすると、Trefの期間は41.67ミリ秒(ms)となる。Tdisは2ミリ秒であるが、個々のディスプレイ毎に適切な任意の値を利用してもよい。Tcam=Tref−Tdisであるから、Tcamは39.67ミリ秒になる。したがって、カメラのシャッターは、リフレッシュサイクル中の39.67ミリ秒の間、開き得る。明からな通り、リフレッシュサイクルを増すにつれて、Tcam期間が減少する。例えば、リフレッシュサイクル25Hz,60Hz及び85Hzに対応するTcam期間は、それぞれ、38ミリ秒、14.67ミリ秒、9.67ミリ秒となる。
【0031】
図8は、制御ユニット(図10に示す)の動作の一例のフローチャートを示す。ステップ401において、制御ユニットはディスプレイ装置を表示状態に設定する。上述した通り、表示状態において、ディスプレイ装置202はローカルの参加者105へ向けて1つの画像フレームを表示できる。ステップ402及び403において、制御ユニットは2つのタイマーを開始する。1つはリフレッシュサイクルTrefに関するタイマーであり、もう1つは表示時間Tdisに関するタイマーである。ディスプレイ装置202の時間Tdisが、1つの画像フレームを表示すること、及び、後に続く透過的状態に入ることに使用されることに注意されたい。制御ユニットは、ステップ404において、時間Tdisが経過するのを待つ。その後、ステップ405において、制御ユニットはディスプレイ装置を透過的状態に設定する。
【0032】
ステップ406において、制御ユニットはシャッター期間を開始する。この時に、制御ユニットは、カメラ204に、必要に応じて、シャッターを開けるよう指示する信号を送る。カメラ204は、シャッターが開かれているべき時間長を決定できる。上述した通り、カメラ204がシャッターを開くかどうか、また、開く場合にはどの位の長さで開いておくかは、例えば撮影フレームレートや露出時間など、種々の要因に依存する。
【0033】
ステップ407において、制御ユニットは次のリフレッシュサイクルが到達するのを待つ。時間Trefが経過したら、制御ユニットは、カメラ204に、シャッターを閉じるよう指示する信号を送る(ステップ408)。その後、制御ユニットは、次のリフレッシュサイクルが開始するステップ401に戻る。
【0034】
図4のビデオ会議ユニット200を再び参照すると、カメラ204は、ディスプレイ装置202上で遠位端の参加者の顔又は瞳の画像が現れる位置のちょうど後ろに配置される。一実施例において、ビデオ会議ユニット200は、ディスプレイ装置202上で遠位端の参加者の顔又は瞳の画像が現れるおおよその位置を特定する機構を備える。更に、ディスプレイ装置202の後ろ側のカメラ204の位置は、前記特定されたおおよその位置を追跡するように制御可能な方法で調整される。したがって、ビデオ会議の進行中に遠位端の参加者の顔又は瞳の画像の位置が変化したときに、ディスプレイ装置202の後ろ側のカメラ204の位置も同じく変化させることができる。
【0035】
図9Aは、可動式カメラ機構を備えたビデオ会議ユニット200の一例を説明する。カメラ204は、カメラ204の垂直方向の変位を提供できる伸縮自在のアーム602に取り付けられる。伸縮自在のアーム602自身は、水平方向の変位を提供できるレール604に取り付けられる。伸縮自在のアーム602の垂直方向及びレール604の水平方向の移動は、ギヤやベルトなどに加えて、DCモーター、ステッピングモーターなどのモーターを用いて作動される。カメラ204を水平方向及び/又は垂直方向に動かすための制御信号は、カメラ位置コントローラ611(図9B)により供給される。
【0036】
顔検出モジュール610(図9B)は1つの画像内の顔と瞳の位置を検出できる。例えば、1つやり方として、顔検出モジュール610は、受信した遠位端のビデオの各フレーム内から顔を検出するアルゴリズムを使用できる。顔検出アルゴリズムは、1つの入力画像内から顔の位置を特定できる。典型的には、顔検出システムは、例えば顔か顔でないかなどの特徴に関連付けた入力パターンを部類するように(例えばニューラルネットワークなどの機械学習法を用いて)予め学習させた複数の分類子のセットを含む。固定サイズのウィンドウは、1つの画像内の全ての位置を走査でき、顔の存在を調べるための分類子を通過させた画像パターンを抽出できる。同様に、顔検出アルゴリズムは、顔内の瞳を検出するために予め学習させた複数の分類子のセットを用いて、顔内の瞳を検出することもできる。顔及び/又は瞳が認識されたら、顔及び/又は瞳が存在する画像内の領域は、顔を追跡する移動のために監視される。遠位端の参加者の検出された顔及び/又は瞳に関連付けられた画素の位置は特定されて、カメラ位置コントローラ611に供給される。
【0037】
カメラ位置コントローラ611は、顔/瞳の位置を、画素位置を表す表現からディスプレイ装置202の後ろ側の物理的位置を表す表現に、変換する。変換用の値は、予め較正されて、メモリ内に探索テーブルとして保存される。例えば、ディスプレイスクリーン上の任意の画素位置を、水平及び/又は垂直座標位置に対応付けできる。カメラ位置コントローラ611は、画素値毎の前記対応付けをメモリに保存できる。変形例として、カメラ位置コントローラ611は、1つの画素値の対応付けだけをメモリに保存しておき、他の画素値の対応付けを、該保存された画素値からのオフセット及びディスプレイ装置202の寸法に基づいて算出する。顔検出モジュール610及びカメラ位置コントローラ611は、ビデオ会議ユニット502の一部であり、図10に示されている。変形例として、カメラ位置コントローラ611は、図10に示す通り、カメラコントローラ554内に存在していてもよい。
【0038】
水平及び垂直変位値が決定されたら、位置コントローラ611はカメラ204の位置を変更するための水平及び垂直機構を制御する。一例として、ブロック612は、典型的な伸縮自在のアーム602及びレール604を制御するために用いるモーターを示す。
【0039】
図9Cは、カメラ204による顔/瞳の追跡する制御のためのフローチャートの一例を示す。ステップ620において、カメラ位置コントローラ611は、顔検出モジュール610から、画像フレーム上に現れた顔/瞳の画素位置を受信する。ステップ621において、位置コントローラ611は画素値を物理的位置に変換する。そして、カメラ位置コントローラ611は、ステップ622において、顔/瞳の物理的位置とカメラ204の現在の物理的位置を比較する。その後、ステップ623において、カメラ位置コントローラは、2つの物理的位置の違いが最小になるように、カメラ204を水平及び/又は垂直方向に移動する。当該コントローラは、顔/瞳及びカメラ204の物理的位置を、連続的に又は例えば30秒毎などの所定間隔で追跡できる。
【0040】
図10の説明に移り、制御ユニット503に接続されたカメラ204及びディスプレイ装置202のブロック図の一例を説明する。制御ユニット503は、ビデオ会議ユニット502の一部であるか、又は、独立したモジュールであり、プロセッサ、ビデオモジュール、ネットワークインターフェース等々の、その他のビデオ会議モジュール504と通信可能に接続される。制御ユニット503は、マイクロコントローラ、マイクロプロセッサ、特定用途向け集積回路(ASIC)、ソフトウェア、ファームウェアなどを用いて実装される。制御ユニット503がRAM、ROM、フラッシュメモリなど、揮発性及び/又は不揮発性のメモリを含んでよいことは理解されよう。
【0041】
ディスプレイ装置202は、コモンドライバ506及びセグメントドライバ507により駆動される画素マトリックス505を含む。画素マトリックス505は、OLED、LCD、LEDなど種々の表示技術を適用できる。ドライバ506及び507は、画素マトリックス505の技術に基づいて変わる。コモンドライバ506は、画素マトリックス505上の複数列のいずれをアクティブ化することにも使用でき、他方、セグメントドライバ507は、画素マトリックス505上の複数行のいずれをアクティブ化することにも使用できる。コモンドライバ506及びセグメントドライバ507からのアクティブ化信号を組み合わせることで、画素マトリックス505上の任意の画素がアクティブ化される。ドライバ506及び507は、また、画素マトリックス505内の各画素による発光の色と強さも制御できる。ディスプレイコントローラ508は、コモンドライバとセグメントドライバ507に対して、画素位置及び点灯データを含む信号を供給する。ディスプレイコントローラ508は、画素アドレス及び点灯データをディスプレイRAM509から受信でき、このディスプレイRAM509はエンドポイント502からデータを順次受信できる。
【0042】
ディスプレイコントローラ508は、また、表示状態タイミングを含む複数の信号を制御ユニット503から受信できる。例えば、ディスプレイコントローラは、ディスプレイ装置を表示状態にするよう当該ディスプレイコントローラ508に指示する1つの信号を、制御ユニット503から受信できる。上述した通り、この状態において、ディスプレイ装置202は1つの画像を表示できる。ディスプレイコントローラ508は、ディスプレイ装置を透過的状態にするよう当該ディスプレイコントローラ508に指示する別の信号を、制御ユニット503から受信できる。この信号を受信すると、ディスプレイコントローラ508は、画素マトリックス505内の全て又は幾つかの画素を非点灯にするか又はリセットするように、コモンドライバ506及びセグメントドライバ507を制御する。ディスプレイ装置202を透過的状態にする実際の方法は、使用されたディスプレイ技術に基づいて変わる。例えば、OLED画素の場合、ディスプレイコントローラ508は、コモンドライバ506の1以上の電流源を無効にする。OLED画素は電流駆動されているので、電流を無効にすることで、対応する画素の点灯を停止させることができる。ディスプレイコントローラ508は、また、制御ユニット503からクロック同期信号を受信できる。
【0043】
カメラ204はローカルの参加者の画像を撮影するためのCCDセンサ550を含む。カメラコントローラ554は、シャッター開/閉信号を含む複数の信号を受信するために、制御ユニット503と通信する。カメラ204は、機械式シャッター555又はCCD550内の電子式シャッターを使うことができる。カメラコントローラ554は、サンプルホールドモジュール551、AD変換器552、エンコーダ553等、カメラ以外のモジュールも制御できる。当業者は、カメラ204が、図示のデジタルカメラに代えて、フィルムカメラであってもよいことを理解するだろう。
【0044】
上述した詳細な説明は実施例であり、制限するものではない。当業者であれば、以上の説明を再検討したときに、多数の他の実施形態が明らかであろう。本発明の範囲は、したがって、上述した詳細な説明を参照して決定されるのではなく、添付の特許請求の範囲及びそれら等価物の全範囲を参照して決定されるべきである。
【符号の説明】
【0045】
101 ビデオ会議ユニット、102 ディスプレイスクリーン、103 画像、104 カメラ、105 参加者、106 カメラ支持具、107 半透鏡、200 ビデオ会議ユニット、202 ディスプレイ装置、204 カメラ、205 参加者、210 エンクロージャ、300 タイミング図、502 ビデオ会議ユニット、502 エンドポイント、503 制御ユニット、504 ビデオ会議モジュール、505 画素マトリックス、506 コモンドライバ、507 セグメントドライバ、508 ディスプレイコントローラ、509 ディスプレイRAM、550 センサ、551 サンプルホールドモジュール、552 AD変換器、553 エンコーダ、554 カメラコントローラ、555 機械式シャッター、602 アーム、604 レール、610 顔検出モジュール(顔/瞳検出モジュール)、611 カメラ位置コントローラ、612 水平方向及び垂直方向モーター

【特許請求の範囲】
【請求項1】
実質的に透過的なディスプレイ装置と、
前記ディスプレイ装置上で遠位端の参加者の瞳の画像が表示される位置の実質的に後ろ側に配置されるカメラと、
前記ディスプレイ装置及び前記カメラに通信可能に接続された制御ユニットであって、非表示状態になるように該ディスプレイ装置を制御し、且つ、該ディスプレイ装置が非表示状態のときにのみ画像を撮影するように該カメラを制御する制御ユニット
を具備することを特徴とする卓上型のビデオ会議エンドポイント。
【請求項2】
前記制御ユニットは、表示状態になるように前記ディスプレイ装置を制御し、且つ、該ディスプレイ装置が少なくとも表示状態のときに画像の撮影を止めるように前記カメラを制御することを特徴とする請求項1に記載のビデオ会議エンドポイント。
【請求項3】
前記ディスプレイ装置は前記表示状態及び前記非表示状態を交互に繰り返すことを特徴とする請求項2に記載のビデオ会議エンドポイント。
【請求項4】
前記非表示状態のときは、前記ディスプレイ装置の全ての画素が非アクティブ化されることを特徴とする請求項1に記載のビデオ会議エンドポイント。
【請求項5】
前記カメラの前面に位置する複数の画素の部分集合が非アクティブ化されることを特徴とする請求項1に記載のビデオ会議エンドポイント。
【請求項6】
前記カメラは、前記ディスプレイ装置の前記交互に起こる非表示状態の部分集合において、画像の撮影を止めることを特徴とする請求項3に記載のビデオ会議エンドポイント。
【請求項7】
前記カメラが、複数の非表示状態にわたり画像フレームを撮影することを特徴とする請求項3に記載のビデオ会議エンドポイント。
【請求項8】
前記ディスプレイ装置は、表示されるビデオのフレームレートと等しいレートで交互に繰り返すことを特徴とする請求項3に記載のビデオ会議エンドポイント。
【請求項9】
前記カメラは、当該カメラと前記遠位端の参加者の瞳の画像が表示される位置との間の角度が5度より小さくなるように配置されることを特徴とする請求項3に記載のビデオ会議エンドポイント。
【請求項10】
前記ディスプレイ装置が有機発光ダイオードを備えることを特徴とする請求項1に記載のビデオ会議エンドポイント。
【請求項11】
前記ディスプレイ装置上において前記遠位端の参加者の瞳の画像が表示される位置の後ろ側に前記カメラを自動的に位置させるカメラ位置決め機構を更に備えることを特徴とする請求項1に記載のビデオ会議エンドポイント。
【請求項12】
前記カメラを収容するエンクロージャであって、環境光が該カメラに当たることを実質的に防ぐ前記エンクロージャを更に備えることを特徴とする請求項1に記載のビデオ会議エンドポイント。
【請求項13】
実質的に透過的なディスプレイ装置と、前記ディスプレイ装置の後ろ側に配置されるカメラとを具備する卓上型のビデオ会議エンドポイントを使用するビデオ会議方法であって、
前記ディスプレイ装置が表示状態及び非表示状態を交互に繰り返すことと、
前記ディスプレイ装置が前記非表示状態のときにのみ、前記カメラにより画像を撮影することを含むビデオ会議方法において、
前記カメラが前記ディスプレイ装置上で遠位端の参加者の瞳の画像が表示される位置の実質的に後ろ側に配置されることを特徴するビデオ会議方法。
【請求項14】
前記非表示状態のときは前記ディスプレイ装置の全ての画素を非アクティブ化することを更に含むことを特徴とする請求項13に記載のビデオ会議方法。
【請求項15】
前記カメラの前面に位置する複数の画素の部分集合を非アクティブ化することを更に含むことを特徴とする請求項13に記載のビデオ会議方法。
【請求項16】
前記撮影は、前記交互に起こる非表示状態の部分集合において実行されることを特徴とする請求項13に記載のビデオ会議方法。
【請求項17】
前記画像の撮影は、複数の非表示状態にわたり画像フレームを撮影することを含むことを特徴とする請求項13に記載のビデオ会議方法。
【請求項18】
前記交互に繰り返すことは、表示されるビデオのフレームレートと等しいレートで実行されることを特徴とする請求項13に記載のビデオ会議方法。
【請求項19】
前記カメラが、当該カメラと前記遠位端の参加者の瞳の画像が表示される位置との間の角度が5度より小さくなるように配置されることを特徴とする請求項13に記載のビデオ会議方法。
【請求項20】
前記ディスプレイ装置上で前記遠位端の参加者の瞳の画像が表示される位置の後ろ側に前記カメラを自動的に位置させることを更に含むことを特徴とする請求項13に記載のビデオ会議方法。
【請求項21】
前記ディスプレイ装置上で前記遠位端の参加者の瞳の画像が表示される位置の変化を検出すること、及び、該位置の変化に比例する前記カメラの位置の変更を行うことを更に含むことを特徴とする請求項20に記載のビデオ会議方法。

【図1A】
image rotate

【図1B】
image rotate

【図2A】
image rotate

【図2B】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5A】
image rotate

【図5B】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9A】
image rotate

【図9B】
image rotate

【図9C】
image rotate

【図10】
image rotate