視野方向の動きを制御する方法及び装置、ビデオ会議システム、端末、並びに、この方法を実装するプログラム
本発明は、ビデオ会議モバイル端末に取り付けられたカメラの視野方向の動きを制御する方法に関するものであり、この方法は、（ａ）モバイル端末と一体である少なくとも２つの互いに離隔したマイクロフォンにより、モバイル端末のユーザーから発せられた少なくとも１つの共通音響を録音する段階（７２）と、（ｂ）ユーザーの口が位置している方向をそれぞれのマイクロフォンの録音に基づいて確定する段階（７４）と、（ｃ）段階（ｂ）において確定された方向に基づいて視野方向の動きを制御する段階（７６）と、を含んでいる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視野方向の動きを制御する方法及び装置、ビデオ会議システム、端末、並びに、この方法を実装するプログラムに関するものである。
【背景技術】
【０００２】
モバイルビデオ会議端末に取り付けられたビデオカメラの視野方向の動きを制御する方法は、存在している。例えば、１つの既存の方法は、ビデオカメラによってキャプチャされた画像内のターゲットエリアの位置を判定した後に、このように判定された位置の関数としてビデオカメラの視野方向の動きを制御することにより、ターゲットエリアを視野方向が追跡するようにしており、ターゲットエリアは、通常は、モバイルビデオ会議端末のユーザーの顔面である。この場合には、ユーザーの顔面が常に画像の中央に位置している。
【０００３】
しかしながら、モバイル端末又はユーザーが突然に動いた場合には、ターゲットエリアがキャプチャされた画像のフレームを逸脱する可能性がある。この結果、視野方向の動きの制御が、もはや不可能となる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、視野方向の動きを制御する別の方法を提案し、視野方向をユーザーの顔面に向かって自動的に方向付けできるようにすることにより、この欠点を改善することを目的としている。
【課題を解決するための手段】
【０００５】
従って、本発明は、前述の種類の制御方法を有しており、この方法は、（ａ）三次元的に互いに離隔しており、且つ、モバイル端末のユーザーから発せられた音響をピックアップするべくモバイル端末に装着された少なくとも２つのマイクロフォンを使用する段階と、（ｂ）マイクロフォンからの信号に応答し、ユーザーの口が位置している方向を確定する段階と、（ｃ）段階（ｂ）において確定された方向の関数として視野方向の動きを制御する段階と、を有している。
【０００６】
前述の制御方法は、キャプチャされた画像の分析を必要とはしておらず、且つ、モバイル端末及びユーザーが互いに迅速に動いている場合にも機能可能である。
【０００７】
前述の制御方法の実装は、（ｄ）段階（ａ）においてマイクロフォンによってピックアップされた音響をモバイル端末の命令指示と関連付けられた自然言語における予め定義された表現と比較する段階と、（ｅ）ピックアップ及び比較された音響が、予め定義された表現に対応している場合に、その予め定義された表現と関連付けられているそれぞれの命令指示を実行する段階と、（ｆ）ビデオカメラによってキャプチャされた画像内のターゲットエリアの位置を判定する段階と、（ｇ）ターゲットエリアが、カメラによってキャプチャされた画像の中央に向かって動くように、段階（ｆ）において判定された位置の関数として視野方向の動きを制御する段階と、という特徴の中の１つ又は複数のものを具備可能であり、段階（ａ）〜（ｃ）は、段階（ｆ）においてターゲットの位置を判定できない場合に、自動的に実行され、段階（ｃ）又は（ｇ）は、視野方向を形成している光学軸を具備したビデオカメラのレンズを動かすモーターを制御しており、段階（ｃ）又は（ｇ）は、ビデオカメラの１つ又は複数の固定レンズによってキャプチャされた画像のみを選択することにより、視野方向と一致する光学軸を具備したビデオカメラレンズによってキャプチャされるものに対応した画像を取得している。
【０００８】
この制御方法のこれらの実装は、次のような利点を具備している。
【０００９】
マイクロフォンによってピックアップされた同一の音響を使用して視野方向の動き及び端末のその他の機能を制御することにより、ユーザーは、同一の音声表現を使用して２つの異なるタスクの実行をトリガ可能であり、これにより、端末の使用法が容易になっている。
【００１０】
モバイル端末のユーザーから発せられた音響の関数としてビデオカメラの視野方向の動きを制御することにより、ターゲットエリアの追跡に基づいた別の制御方法の機能上の問題点が軽減されている。
【００１１】
又、本発明は、モバイルビデオ会議端末に取り付けられたビデオカメラの視野方向の動きを制御する制御装置をも有している。この制御装置は、空間的に互いに離隔しており、且つ、モバイル端末のユーザーから発せられた音響をピックアップするべくモバイル端末に装着された少なくとも２つのマイクロフォンと、マイクロフォンからの信号に応答し、ユーザーの口が位置している方向を確定するモジュールと、マイクロフォンからの信号に応答してユーザーの口が位置している方向を確定するモジュールによって確定された方向の関数として視野方向の動きを制御するモジュールと、を含んでいる。
【００１２】
前述の制御装置の実施例は、マイクロフォンによってピックアップされた音響をモバイル端末の命令指示と関連付けられた自然言語における予め定義された表現と比較し、且つ、ピックアップされた音響がその予め定義された表現に対応している場合に、予め定義された表現と関連付けられている命令指示のモバイル端末による実行をトリガする音声認識モジュールという特徴を具備可能である。
【００１３】
本発明は、ビデオ会議システムを更に有しており、このシステムは、伝送ネットワークを介してビデオ会議データ情報を交換するべく適合され、且つ、制御下において移動可能である視野方向を具備した少なくとも１つのビデオカメラをそれぞれが具備している第１及び第２モバイルビデオ会議端末を含んでおり、このシステムは、第１及び第２端末のビデオカメラの中の１つのものの視野方向の動きを制御する装置を含んでいる。
【００１４】
本発明は、前述の制御装置を具備したモバイルビデオ会議端末を更に有している。
【００１５】
本発明は、前述の制御方法を実装するコンピュータプログラムを更に有している。
【００１６】
本発明については、一例として付与されているに過ぎない以下の説明、並びに、添付の図面を参照することにより、更に理解することができよう。
【発明を実施するための最良の形態】
【００１７】
図１は、情報伝送ネットワーク８を介して２つのモバイルビデオ会議端末４及び６をリンクしているビデオ会議システム２を表している。
【００１８】
ネットワーク８は、例えば、ＧＳＭ（Ｇｌｏｂａｌ・Ｓｙｓｔｅｍ・ｆｏｒ・Ｍｏｂｉｌｅ・Ｃｏｍｍｕｎｉｃａｔｉｏ）、ＧＰＲＳ（Ｇｅｎｅｒａｌ・Ｐａｃｋｅｔ・Ｒａｄｉｏ・Ｓｅｒｖｉｃｅｓ）、ＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ・Ｍｏｂｉｌｅ・Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ・Ｓｙｓｔｅｍ）ネットワーク、又はＷｉＦｉネットワーク（無線ローカルネットワーク）である。
【００１９】
説明を簡単にするべく、端末４及び６は、同一であるものと見なすと共に、端末４について詳細に説明することとする。
【００２０】
端末４は、ネットワーク８を介して端末６とビデオ会議データを交換している。この場合には、端末４は、タッチスクリーン１０及びアンテナ１２を具備した携帯電話機である。
【００２１】
尚、本明細書においては、本発明について理解するのに必要な端末４の要素についてのみ、詳述することとする。
【００２２】
端末４は、端末４のユーザーの顔面をキャプチャするための２つのビデオカメラ１４及び１６を具備している。ビデオカメラ１４、１６は、個別のレンズ１８及び２０を有している。レンズ１８及び２０の光学軸は、ビデオカメラ１４及び１６の個々の視野方向２２及び２４を形成している。
【００２３】
レンズ１８、２０は、視野方向２２、２４を移動させるべく、２つの直交軸２６及び２８を中心として回転可能である。軸２６及び２８は、端末４との関係において固定されている。
【００２４】
レンズ１８、２０は、個別のモーター３０及び３２によって軸２６を中心として回転する。
【００２５】
ビデオカメラ１４及び１６、並びに、モーター３０及び３２は、軸２８を中心として回転する梁３４に取り付けられている。
【００２６】
端末４は、軸２８を中心として梁３４を回転させるモーター３６を含んでいる。
【００２７】
レンズ１８、２９の動きは、それぞれのレンズがもう１つのレンズの視点から空間的に離隔した視点から同一の物体をキャプチャし、これにより、キャプチャした２つの画像から三次元画像を構築できるように、制御されている。
【００２８】
又、端末４は、視野方向２２及び２４の動きを制御する装置をも含んでいる。この制御装置は、具体的には、それぞれのビデオカメラによってキャプチャされた画像内のターゲットエリアの位置を判定するモジュール４２と、モジュール４２によって判定された位置の関数として視野方向２２及び２４の動きを制御するモジュール４４と、空間的に互いに離隔しており、且つ、端末４のユーザーの音声をピックアップするべくそれぞれが適合されたマイクロフォンのペア４４、４５と、マイクロフォン４４、４５からの信号に応答し、端末４のユーザーの口が位置している方向を確定するモジュール４８と、視野方向２２及び２４の動きを制御することにより、これらをモジュール４８によって確定された方向にアライメントさせるモジュール５０と、を含んでいる。
【００２９】
又、端末４は、マイクロフォン４４、４５によってピックアップされた音響を自然言語における予め録音された表現と比較すると共に、端末４及び６のいずれか又は両方による命令指示の実行を自動的にトリガする音声認識モジュール５４をも具備している。
【００３０】
更に正確には、モジュール５４は、マイクロフォン４４及び４５によってピックアップされた音響内において「ｈｅｌｌｏ」という予め定義された表現を認識するかどうかを自動的にピックアップするべく適合されている。又、モジュール５４は、マイクロフォン４４及び４５によってピックアップされた音響内において「ｃａｌｌ」などの別の予め定義された表現をモジュール５４が認識した場合に、予め選択された電話番号のダイヤリングを自動的にトリガするべく適合されている。
【００３１】
モジュール４２、４４、４８、及び５０は、視野方向２２及び２４の動きを制御するモーター３０、３２、及び３６用の制御ユニット５６内において１つにグループ化されている。
【００３２】
制御ユニット５６及びモジュール５４は、端末４の電子コンピュータ５８内において実装されている。コンピュータ５８は、図２の方法を実装するコード命令を含むコンピュータプログラムを実行するべく適合されたプログラム可能なコンピュータである。コンピュータプログラムは、例えば、コンピュータ５８に接続されているメモリ６０内に保存されている。又、メモリ６０は、モジュール５４によって認識可能な自然言語における予め定義された表現と、予め定義された表現のそれぞれと関連付けられている端末４又は６の命令指示と、を収容する辞書６２をも保持している。
【００３３】
最後に、端末４の制御装置は、端末４のユーザーが操作可能であるボタン６６を含んでいる。このボタン６６は、コンピュータ５８に接続されており、且つ、端末６のモジュール４８及び５０の手動による起動のための命令を端末６に送信するべく使用されている。
【００３４】
以下、図２の方法を参照し、具体的に端末４を参照することにより、システム２の動作について説明することとする。
【００３５】
プロセスの開始時点においては、段階６８において、端末４のユーザーが、電話番号を入力又は選択した後に、「ｃａｌｌ」と発話している。
【００３６】
次いで、端末は、視野方向２２、２４を音声に向かって方向付ける段階７０に自動的に進行している。
【００３７】
段階７０の開始時点においては、段階７２において、マイクロフォン４４及び４５が、端末４のユーザーから発せられた音響をピックアップしている。この場合には、これらの音響は、「ｃａｌｌ」という表現に対応している。
【００３８】
次いで、段階７４において、モジュール４８が、段階７２においてピックアップされた音響からユーザーの口が位置している方向を確定している。これは、ユーザーの口の位置の関数としてユーザーから発せられた音響がマイクロフォン４４及び４５に伝播するのに同一の時間を所要しないように、マイクロフォン４４及び４５が空間的に互いに離隔しているために、可能であり、この結果、ユーザーの口が位置している方向を確定可能である。
【００３９】
方向の確定が完了したら、段階７６において、モジュール５０が、モーター３０、３２、及び３６を制御することにより、予め確定された方向とアライメントした位置に対して視野方向２２、２４を移動させており、この結果、レンズ１８、２０が、ユーザーの口と対向することになる。
【００４０】
従って、段階７０は、まず、視野方向２２及び２４を端末４のユーザーの顔面に向かって方向付けしている。
【００４１】
段階７０と並行し、端末４は、段階７２においてピックアップした同一の音響からの命令指示の音声認識段階７８をも同時に実行している。
【００４２】
段階７８の開始時点においては、動作８０において、音声認識モジュール５４が、マイクロフォン４４及び４５によってピックアップされた音響を辞書６２内に収容されている表現と比較している。
【００４３】
ピックアップされた音響が辞書６２内の表現の中の１つに対応している場合には、モジュール５４は、動作８２において、認識された予め定義された表現と関連付けられている命令指示の実行をトリガする。この場合には、例えば、「ｃａｌｌ」という表現が認識されており、従って、動作８２においては、端末４は、段階６８において入力又は選択された番号を自動的にダイヤルしている。
【００４４】
以下、この説明においては、段階６８において入力又は選択された番号が端末６のものであると仮定することとする。
【００４５】
従って、段階７８の後には、端末６のベルが鳴ることになる。
【００４６】
ピックアップするべく、端末６のユーザーは、段階８４において、「ｈｅｌｌｏ」と発話している。
【００４７】
次いで、端末６は、そのビデオカメラの視野方向を音声に向かって方向付けする段階８６と、命令指示の音声認識段階８８と、を並行して実行している。
【００４８】
段階８６及び段階８８は、例えば、それぞれ、段階７０及び段階７９と同一である。但し、辞書６２内に保存されている「ｈｅｌｌｏ」という表現は、端末が回線を占有（ピックアップ）できるようにする命令指示と関連付けられていることに留意されたい。従って、段階８８及び段階８６の結果とし、端末６の視野方向は、この端末のユーザーの顔面に向かって方向付けされ、且つ、端末６は、ラインを占有している。
【００４９】
段階７０及び段階７８の後に、段階９０においては、キャプチャしたターゲットエリアを追跡することにより、視野方向２２、２４の向きを制御している。
【００５０】
デフォルトとして、ターゲットエリアは顔面に対応している。但し、段階９２において、端末６のユーザーは、電話機のタッチスクリーンに触れることにより、別のターゲットエリアを選択することも可能である。この結果、このようにして選択されたターゲットエリアの特性が端末４に送信され、端末４は、デフォルトで保存されているものの代わりに、これらを使用することになる。
【００５１】
段階９４において、このターゲットエリアの位置をモジュール４２によって自動的に判定している。
【００５２】
次いで、段階９６において、モジュール４４は、このように判定された位置の関数としてモーター３０、３２、及び３６を制御することにより、ターゲットエリアの中央を通過するように視野方向２２及び２４を移動させている。
【００５３】
段階９４及び９６は、ビデオカメラ１４及び１６によってキャプチャされた画像の中心に端末４のユーザーの顔面を維持するべく継続的に反復される。
【００５４】
ターゲットエリアの位置の判定に使用される画像処理は低速である。従って、ユーザーが端末を突然に移動させたり、或いは、ユーザー又はユーザーの顔面が突然に動いた場合には、ターゲットエリアが、ビデオカメラ１４及び１６によってキャプチャされた画像のフレームから逸脱する可能性があり、この結果、段階９４は不可能となる。このため、端末４は、例えば、段階７０に自動的に戻ることになる。
【００５５】
ターゲットエリアが、キャプチャされた画像内に再度位置すると、即座に、本方法は、段階９０に自動的に戻ることになる。
【００５６】
又、ターゲットエリアが、キャプチャされた画像のフレームから逸脱した場合には、端末６のユーザーは、段階９８において、端末のボタン６６を押下することにより、端末４の視野方向を音声に向かって方向付けする段階７０を再起動することも可能である。
【００５７】
図３は、別のビデオ会議システム１２０を示している。このシステム１２０は、ビデオカメラ１４、１６、梁３４、及びモーター３０、３２、及び３６が、複数のレンズを有する単一のビデオカメラ１２２によって置換されていることを除いて、システム２と同一である。
【００５８】
図２を参照して既に説明済みである図３の要素には、同一の参照符号を付与している。
【００５９】
ビデオカメラ１２２は、例えば、空間的に異なる方向に方向付けされた視野方向に対応する９つのレンズ１２４を具備している。図３においては、９つのレンズ１２４の中の７つのみが可視状態となっている。これらのレンズ１２４は、固定されており、且つ、端末４の本体との関係において移動可能ではない。
【００６０】
端末４のその他の要素は、それぞれ、モジュール１３０及び１３２によって置換されているモジュール４４及び５０を除いて、図１との関連において説明したものと同一である。これらのモジュール１３０及び１３２は、ビデオカメラ１２２の視野方向を移動させる段階が、必要な視野方向に最も近接した１つ又は複数のレンズ１２４を選択した後に、選択されたレンズによってキャプチャされた画像を合成することにより、必要な視野方向を使用してキャプチャされた画像と同一の画像を構築する段階を有しているという点において、それぞれ、モジュール４４及び５０と異なっている。従って、図３の実施例においては、レンズの機械的な移動を伴うことなしに、ビデオカメラの視野方向の移動が得られている。
【００６１】
システム２及び１２０の多数のその他の実施例が可能である。例えば、視野方向２２及び２６の動きを制御するための本装置のモジュール４２、４４、４８、５０、及び５４をリモート端末内に、即ち、端末６内に実装することにより、これらの視野方向の動きを遠隔制御するようにする。端末４内に保持することを要するのは、マイクロフォン４４、４５のみである。この結果、マイクロフォン４４、４５によってピックアップされた信号が、ネットワーク８を介して、対応するモジュールに送信される。
【００６２】
三次元画像を構築する必要がない場合には、ビデオカメラ１４又は１６のいずれかを除去することにより、端末４を単純化可能である。
【００６３】
システム１２０の端末４内において、レンズ１２４の数が非常に大きく、且つ、実質的にすべての可能な視野方向を十分な精度でカバーしている場合には、視野方向を移動させる段階は、必要な視野方向に最も近接したその光学軸を具備したレンズを選択する段階のみを有している。
【００６４】
以上においては、ビデオ会議が２つの端末間においてのみ実現される特定の状況において、システム２及び１２０について説明した。しかしながら、ビデオ会議は、この代わりに、２つを上回る数の端末間において実現することも可能である。
【００６５】
音声に応答して視野方向を移動させる段階は、本明細書に記述されている視野方向の移動を制御するもう１つの手段とは無関係に実装可能である。例えば、段階９０を除去すると共に段階７０を複数回にわたって反復することにより、ユーザーの顔面に向かって方向付けされた視野方向を維持可能である。
【図面の簡単な説明】
【００６６】
【図１】ビデオ会議システムの概略図である。
【図２】図１のシステム内において使用されるビデオ会議方法のフローチャートである。
【図３】ビデオ会議システムの別の実施例の概略図である。
【技術分野】
【０００１】
本発明は、視野方向の動きを制御する方法及び装置、ビデオ会議システム、端末、並びに、この方法を実装するプログラムに関するものである。
【背景技術】
【０００２】
モバイルビデオ会議端末に取り付けられたビデオカメラの視野方向の動きを制御する方法は、存在している。例えば、１つの既存の方法は、ビデオカメラによってキャプチャされた画像内のターゲットエリアの位置を判定した後に、このように判定された位置の関数としてビデオカメラの視野方向の動きを制御することにより、ターゲットエリアを視野方向が追跡するようにしており、ターゲットエリアは、通常は、モバイルビデオ会議端末のユーザーの顔面である。この場合には、ユーザーの顔面が常に画像の中央に位置している。
【０００３】
しかしながら、モバイル端末又はユーザーが突然に動いた場合には、ターゲットエリアがキャプチャされた画像のフレームを逸脱する可能性がある。この結果、視野方向の動きの制御が、もはや不可能となる。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、視野方向の動きを制御する別の方法を提案し、視野方向をユーザーの顔面に向かって自動的に方向付けできるようにすることにより、この欠点を改善することを目的としている。
【課題を解決するための手段】
【０００５】
従って、本発明は、前述の種類の制御方法を有しており、この方法は、（ａ）三次元的に互いに離隔しており、且つ、モバイル端末のユーザーから発せられた音響をピックアップするべくモバイル端末に装着された少なくとも２つのマイクロフォンを使用する段階と、（ｂ）マイクロフォンからの信号に応答し、ユーザーの口が位置している方向を確定する段階と、（ｃ）段階（ｂ）において確定された方向の関数として視野方向の動きを制御する段階と、を有している。
【０００６】
前述の制御方法は、キャプチャされた画像の分析を必要とはしておらず、且つ、モバイル端末及びユーザーが互いに迅速に動いている場合にも機能可能である。
【０００７】
前述の制御方法の実装は、（ｄ）段階（ａ）においてマイクロフォンによってピックアップされた音響をモバイル端末の命令指示と関連付けられた自然言語における予め定義された表現と比較する段階と、（ｅ）ピックアップ及び比較された音響が、予め定義された表現に対応している場合に、その予め定義された表現と関連付けられているそれぞれの命令指示を実行する段階と、（ｆ）ビデオカメラによってキャプチャされた画像内のターゲットエリアの位置を判定する段階と、（ｇ）ターゲットエリアが、カメラによってキャプチャされた画像の中央に向かって動くように、段階（ｆ）において判定された位置の関数として視野方向の動きを制御する段階と、という特徴の中の１つ又は複数のものを具備可能であり、段階（ａ）〜（ｃ）は、段階（ｆ）においてターゲットの位置を判定できない場合に、自動的に実行され、段階（ｃ）又は（ｇ）は、視野方向を形成している光学軸を具備したビデオカメラのレンズを動かすモーターを制御しており、段階（ｃ）又は（ｇ）は、ビデオカメラの１つ又は複数の固定レンズによってキャプチャされた画像のみを選択することにより、視野方向と一致する光学軸を具備したビデオカメラレンズによってキャプチャされるものに対応した画像を取得している。
【０００８】
この制御方法のこれらの実装は、次のような利点を具備している。
【０００９】
マイクロフォンによってピックアップされた同一の音響を使用して視野方向の動き及び端末のその他の機能を制御することにより、ユーザーは、同一の音声表現を使用して２つの異なるタスクの実行をトリガ可能であり、これにより、端末の使用法が容易になっている。
【００１０】
モバイル端末のユーザーから発せられた音響の関数としてビデオカメラの視野方向の動きを制御することにより、ターゲットエリアの追跡に基づいた別の制御方法の機能上の問題点が軽減されている。
【００１１】
又、本発明は、モバイルビデオ会議端末に取り付けられたビデオカメラの視野方向の動きを制御する制御装置をも有している。この制御装置は、空間的に互いに離隔しており、且つ、モバイル端末のユーザーから発せられた音響をピックアップするべくモバイル端末に装着された少なくとも２つのマイクロフォンと、マイクロフォンからの信号に応答し、ユーザーの口が位置している方向を確定するモジュールと、マイクロフォンからの信号に応答してユーザーの口が位置している方向を確定するモジュールによって確定された方向の関数として視野方向の動きを制御するモジュールと、を含んでいる。
【００１２】
前述の制御装置の実施例は、マイクロフォンによってピックアップされた音響をモバイル端末の命令指示と関連付けられた自然言語における予め定義された表現と比較し、且つ、ピックアップされた音響がその予め定義された表現に対応している場合に、予め定義された表現と関連付けられている命令指示のモバイル端末による実行をトリガする音声認識モジュールという特徴を具備可能である。
【００１３】
本発明は、ビデオ会議システムを更に有しており、このシステムは、伝送ネットワークを介してビデオ会議データ情報を交換するべく適合され、且つ、制御下において移動可能である視野方向を具備した少なくとも１つのビデオカメラをそれぞれが具備している第１及び第２モバイルビデオ会議端末を含んでおり、このシステムは、第１及び第２端末のビデオカメラの中の１つのものの視野方向の動きを制御する装置を含んでいる。
【００１４】
本発明は、前述の制御装置を具備したモバイルビデオ会議端末を更に有している。
【００１５】
本発明は、前述の制御方法を実装するコンピュータプログラムを更に有している。
【００１６】
本発明については、一例として付与されているに過ぎない以下の説明、並びに、添付の図面を参照することにより、更に理解することができよう。
【発明を実施するための最良の形態】
【００１７】
図１は、情報伝送ネットワーク８を介して２つのモバイルビデオ会議端末４及び６をリンクしているビデオ会議システム２を表している。
【００１８】
ネットワーク８は、例えば、ＧＳＭ（Ｇｌｏｂａｌ・Ｓｙｓｔｅｍ・ｆｏｒ・Ｍｏｂｉｌｅ・Ｃｏｍｍｕｎｉｃａｔｉｏ）、ＧＰＲＳ（Ｇｅｎｅｒａｌ・Ｐａｃｋｅｔ・Ｒａｄｉｏ・Ｓｅｒｖｉｃｅｓ）、ＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ・Ｍｏｂｉｌｅ・Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ・Ｓｙｓｔｅｍ）ネットワーク、又はＷｉＦｉネットワーク（無線ローカルネットワーク）である。
【００１９】
説明を簡単にするべく、端末４及び６は、同一であるものと見なすと共に、端末４について詳細に説明することとする。
【００２０】
端末４は、ネットワーク８を介して端末６とビデオ会議データを交換している。この場合には、端末４は、タッチスクリーン１０及びアンテナ１２を具備した携帯電話機である。
【００２１】
尚、本明細書においては、本発明について理解するのに必要な端末４の要素についてのみ、詳述することとする。
【００２２】
端末４は、端末４のユーザーの顔面をキャプチャするための２つのビデオカメラ１４及び１６を具備している。ビデオカメラ１４、１６は、個別のレンズ１８及び２０を有している。レンズ１８及び２０の光学軸は、ビデオカメラ１４及び１６の個々の視野方向２２及び２４を形成している。
【００２３】
レンズ１８、２０は、視野方向２２、２４を移動させるべく、２つの直交軸２６及び２８を中心として回転可能である。軸２６及び２８は、端末４との関係において固定されている。
【００２４】
レンズ１８、２０は、個別のモーター３０及び３２によって軸２６を中心として回転する。
【００２５】
ビデオカメラ１４及び１６、並びに、モーター３０及び３２は、軸２８を中心として回転する梁３４に取り付けられている。
【００２６】
端末４は、軸２８を中心として梁３４を回転させるモーター３６を含んでいる。
【００２７】
レンズ１８、２９の動きは、それぞれのレンズがもう１つのレンズの視点から空間的に離隔した視点から同一の物体をキャプチャし、これにより、キャプチャした２つの画像から三次元画像を構築できるように、制御されている。
【００２８】
又、端末４は、視野方向２２及び２４の動きを制御する装置をも含んでいる。この制御装置は、具体的には、それぞれのビデオカメラによってキャプチャされた画像内のターゲットエリアの位置を判定するモジュール４２と、モジュール４２によって判定された位置の関数として視野方向２２及び２４の動きを制御するモジュール４４と、空間的に互いに離隔しており、且つ、端末４のユーザーの音声をピックアップするべくそれぞれが適合されたマイクロフォンのペア４４、４５と、マイクロフォン４４、４５からの信号に応答し、端末４のユーザーの口が位置している方向を確定するモジュール４８と、視野方向２２及び２４の動きを制御することにより、これらをモジュール４８によって確定された方向にアライメントさせるモジュール５０と、を含んでいる。
【００２９】
又、端末４は、マイクロフォン４４、４５によってピックアップされた音響を自然言語における予め録音された表現と比較すると共に、端末４及び６のいずれか又は両方による命令指示の実行を自動的にトリガする音声認識モジュール５４をも具備している。
【００３０】
更に正確には、モジュール５４は、マイクロフォン４４及び４５によってピックアップされた音響内において「ｈｅｌｌｏ」という予め定義された表現を認識するかどうかを自動的にピックアップするべく適合されている。又、モジュール５４は、マイクロフォン４４及び４５によってピックアップされた音響内において「ｃａｌｌ」などの別の予め定義された表現をモジュール５４が認識した場合に、予め選択された電話番号のダイヤリングを自動的にトリガするべく適合されている。
【００３１】
モジュール４２、４４、４８、及び５０は、視野方向２２及び２４の動きを制御するモーター３０、３２、及び３６用の制御ユニット５６内において１つにグループ化されている。
【００３２】
制御ユニット５６及びモジュール５４は、端末４の電子コンピュータ５８内において実装されている。コンピュータ５８は、図２の方法を実装するコード命令を含むコンピュータプログラムを実行するべく適合されたプログラム可能なコンピュータである。コンピュータプログラムは、例えば、コンピュータ５８に接続されているメモリ６０内に保存されている。又、メモリ６０は、モジュール５４によって認識可能な自然言語における予め定義された表現と、予め定義された表現のそれぞれと関連付けられている端末４又は６の命令指示と、を収容する辞書６２をも保持している。
【００３３】
最後に、端末４の制御装置は、端末４のユーザーが操作可能であるボタン６６を含んでいる。このボタン６６は、コンピュータ５８に接続されており、且つ、端末６のモジュール４８及び５０の手動による起動のための命令を端末６に送信するべく使用されている。
【００３４】
以下、図２の方法を参照し、具体的に端末４を参照することにより、システム２の動作について説明することとする。
【００３５】
プロセスの開始時点においては、段階６８において、端末４のユーザーが、電話番号を入力又は選択した後に、「ｃａｌｌ」と発話している。
【００３６】
次いで、端末は、視野方向２２、２４を音声に向かって方向付ける段階７０に自動的に進行している。
【００３７】
段階７０の開始時点においては、段階７２において、マイクロフォン４４及び４５が、端末４のユーザーから発せられた音響をピックアップしている。この場合には、これらの音響は、「ｃａｌｌ」という表現に対応している。
【００３８】
次いで、段階７４において、モジュール４８が、段階７２においてピックアップされた音響からユーザーの口が位置している方向を確定している。これは、ユーザーの口の位置の関数としてユーザーから発せられた音響がマイクロフォン４４及び４５に伝播するのに同一の時間を所要しないように、マイクロフォン４４及び４５が空間的に互いに離隔しているために、可能であり、この結果、ユーザーの口が位置している方向を確定可能である。
【００３９】
方向の確定が完了したら、段階７６において、モジュール５０が、モーター３０、３２、及び３６を制御することにより、予め確定された方向とアライメントした位置に対して視野方向２２、２４を移動させており、この結果、レンズ１８、２０が、ユーザーの口と対向することになる。
【００４０】
従って、段階７０は、まず、視野方向２２及び２４を端末４のユーザーの顔面に向かって方向付けしている。
【００４１】
段階７０と並行し、端末４は、段階７２においてピックアップした同一の音響からの命令指示の音声認識段階７８をも同時に実行している。
【００４２】
段階７８の開始時点においては、動作８０において、音声認識モジュール５４が、マイクロフォン４４及び４５によってピックアップされた音響を辞書６２内に収容されている表現と比較している。
【００４３】
ピックアップされた音響が辞書６２内の表現の中の１つに対応している場合には、モジュール５４は、動作８２において、認識された予め定義された表現と関連付けられている命令指示の実行をトリガする。この場合には、例えば、「ｃａｌｌ」という表現が認識されており、従って、動作８２においては、端末４は、段階６８において入力又は選択された番号を自動的にダイヤルしている。
【００４４】
以下、この説明においては、段階６８において入力又は選択された番号が端末６のものであると仮定することとする。
【００４５】
従って、段階７８の後には、端末６のベルが鳴ることになる。
【００４６】
ピックアップするべく、端末６のユーザーは、段階８４において、「ｈｅｌｌｏ」と発話している。
【００４７】
次いで、端末６は、そのビデオカメラの視野方向を音声に向かって方向付けする段階８６と、命令指示の音声認識段階８８と、を並行して実行している。
【００４８】
段階８６及び段階８８は、例えば、それぞれ、段階７０及び段階７９と同一である。但し、辞書６２内に保存されている「ｈｅｌｌｏ」という表現は、端末が回線を占有（ピックアップ）できるようにする命令指示と関連付けられていることに留意されたい。従って、段階８８及び段階８６の結果とし、端末６の視野方向は、この端末のユーザーの顔面に向かって方向付けされ、且つ、端末６は、ラインを占有している。
【００４９】
段階７０及び段階７８の後に、段階９０においては、キャプチャしたターゲットエリアを追跡することにより、視野方向２２、２４の向きを制御している。
【００５０】
デフォルトとして、ターゲットエリアは顔面に対応している。但し、段階９２において、端末６のユーザーは、電話機のタッチスクリーンに触れることにより、別のターゲットエリアを選択することも可能である。この結果、このようにして選択されたターゲットエリアの特性が端末４に送信され、端末４は、デフォルトで保存されているものの代わりに、これらを使用することになる。
【００５１】
段階９４において、このターゲットエリアの位置をモジュール４２によって自動的に判定している。
【００５２】
次いで、段階９６において、モジュール４４は、このように判定された位置の関数としてモーター３０、３２、及び３６を制御することにより、ターゲットエリアの中央を通過するように視野方向２２及び２４を移動させている。
【００５３】
段階９４及び９６は、ビデオカメラ１４及び１６によってキャプチャされた画像の中心に端末４のユーザーの顔面を維持するべく継続的に反復される。
【００５４】
ターゲットエリアの位置の判定に使用される画像処理は低速である。従って、ユーザーが端末を突然に移動させたり、或いは、ユーザー又はユーザーの顔面が突然に動いた場合には、ターゲットエリアが、ビデオカメラ１４及び１６によってキャプチャされた画像のフレームから逸脱する可能性があり、この結果、段階９４は不可能となる。このため、端末４は、例えば、段階７０に自動的に戻ることになる。
【００５５】
ターゲットエリアが、キャプチャされた画像内に再度位置すると、即座に、本方法は、段階９０に自動的に戻ることになる。
【００５６】
又、ターゲットエリアが、キャプチャされた画像のフレームから逸脱した場合には、端末６のユーザーは、段階９８において、端末のボタン６６を押下することにより、端末４の視野方向を音声に向かって方向付けする段階７０を再起動することも可能である。
【００５７】
図３は、別のビデオ会議システム１２０を示している。このシステム１２０は、ビデオカメラ１４、１６、梁３４、及びモーター３０、３２、及び３６が、複数のレンズを有する単一のビデオカメラ１２２によって置換されていることを除いて、システム２と同一である。
【００５８】
図２を参照して既に説明済みである図３の要素には、同一の参照符号を付与している。
【００５９】
ビデオカメラ１２２は、例えば、空間的に異なる方向に方向付けされた視野方向に対応する９つのレンズ１２４を具備している。図３においては、９つのレンズ１２４の中の７つのみが可視状態となっている。これらのレンズ１２４は、固定されており、且つ、端末４の本体との関係において移動可能ではない。
【００６０】
端末４のその他の要素は、それぞれ、モジュール１３０及び１３２によって置換されているモジュール４４及び５０を除いて、図１との関連において説明したものと同一である。これらのモジュール１３０及び１３２は、ビデオカメラ１２２の視野方向を移動させる段階が、必要な視野方向に最も近接した１つ又は複数のレンズ１２４を選択した後に、選択されたレンズによってキャプチャされた画像を合成することにより、必要な視野方向を使用してキャプチャされた画像と同一の画像を構築する段階を有しているという点において、それぞれ、モジュール４４及び５０と異なっている。従って、図３の実施例においては、レンズの機械的な移動を伴うことなしに、ビデオカメラの視野方向の移動が得られている。
【００６１】
システム２及び１２０の多数のその他の実施例が可能である。例えば、視野方向２２及び２６の動きを制御するための本装置のモジュール４２、４４、４８、５０、及び５４をリモート端末内に、即ち、端末６内に実装することにより、これらの視野方向の動きを遠隔制御するようにする。端末４内に保持することを要するのは、マイクロフォン４４、４５のみである。この結果、マイクロフォン４４、４５によってピックアップされた信号が、ネットワーク８を介して、対応するモジュールに送信される。
【００６２】
三次元画像を構築する必要がない場合には、ビデオカメラ１４又は１６のいずれかを除去することにより、端末４を単純化可能である。
【００６３】
システム１２０の端末４内において、レンズ１２４の数が非常に大きく、且つ、実質的にすべての可能な視野方向を十分な精度でカバーしている場合には、視野方向を移動させる段階は、必要な視野方向に最も近接したその光学軸を具備したレンズを選択する段階のみを有している。
【００６４】
以上においては、ビデオ会議が２つの端末間においてのみ実現される特定の状況において、システム２及び１２０について説明した。しかしながら、ビデオ会議は、この代わりに、２つを上回る数の端末間において実現することも可能である。
【００６５】
音声に応答して視野方向を移動させる段階は、本明細書に記述されている視野方向の移動を制御するもう１つの手段とは無関係に実装可能である。例えば、段階９０を除去すると共に段階７０を複数回にわたって反復することにより、ユーザーの顔面に向かって方向付けされた視野方向を維持可能である。
【図面の簡単な説明】
【００６６】
【図１】ビデオ会議システムの概略図である。
【図２】図１のシステム内において使用されるビデオ会議方法のフローチャートである。
【図３】ビデオ会議システムの別の実施例の概略図である。
【特許請求の範囲】
【請求項１】
モバイルビデオ会議端末に取り付けられたビデオカメラの視野方向の動きを制御する方法において、
（ａ）三次元的に互いに離隔しており、且つ、前記モバイル端末のユーザーから発せられた音響をピックアップするべく前記モバイル端末に装着された少なくとも２つのマイクロフォンを使用する段階（７２）と、
（ｂ）前記マイクロフォンからの信号に応答し、前記ユーザーの口が位置している方向を確定する段階（７４）と、
（ｃ）段階（ｂ）において確定された前記方向の関数として前記視野方向の動きを制御する段階（７６）と、
を有することを特徴とする方法。
【請求項２】
（ｄ）段階（ａ）において前記マイクロフォンによってピックアップされた音響を前記モバイル端末の命令指示と関連付けられた自然言語における予め定義された表現と比較する段階（８０）と、
（ｅ）前記ピックアップ及び比較された音響が、予め定義された表現に対応している場合に、前記予め定義された表現と関連付けられたそれぞれの命令指示を実行する段階（８２）と、
を含むことを特徴とする、請求項１記載の方法。
【請求項３】
（ｆ）前記ビデオカメラによってキャプチャされた画像内のターゲットエリアの位置を判定する段階（８２）と、
（ｇ）前記ターゲットエリアが、前記カメラによってキャプチャされた前記画像の中央に向かって移動するように、段階（ｆ）において判定された前記位置の関数として前記視野方向の動きを制御する段階（８４）と、
を含んでおり、
前記ターゲットエリアの前記位置を段階（ｆ）において判定できない場合に、段階（ａ）〜（ｃ）を自動的に実行することを特徴とする、請求項１または２に記載の方法。
【請求項４】
段階（ｃ）又は（ｇ）は、前記視野方向を形成する光学軸を具備した前記ビデオカメラのレンズを移動させるモーターを制御していることを特徴とする、請求項１乃至３の何れか１項に記載の方法。
【請求項５】
段階（ｃ）又は（ｇ）は、前記ビデオカメラの１つ又は複数の固定レンズによってキャプチャされた画像のみを選択することにより、前記視野方向と一致した光学軸を具備したビデオカメラレンズによってキャプチャされるものに対応した画像を取得することを特徴とする、請求項１乃至３の何れか１項に記載の方法。
【請求項６】
モバイルビデオ会議端末に取り付けられたビデオカメラ（１４、１６；１２２）の視野方向の動きを制御する装置において、
空間的に互いに離隔しており、且つ、前記モバイル端末のユーザーから発せられた音響をピックアップするべく前記モバイル端末に装着された少なくとも２つのマイクロフォン（４４、４５）と、
前記マイクロフォンからの信号に応答し、前記ユーザーの口が位置している方向を確定するモジュール（４８）と、
前記マイクロフォンからの前記信号に応答して前記ユーザーの口が位置している方向を確定する、前記モジュールによって確定された前記方向の関数として前記視野方向の動きを制御するモジュール（５０）と、
を含むことを特徴とする装置。
【請求項７】
前記マイクロフォンによってピックアップされた音響を前記モバイル端末の命令指示と関連付けられた自然言語における予め定義された表現と比較し、且つ、前記ピックアップ及び比較された音響が前記予め定義された表現に対応している場合に、予め定義された表現と関連付けられた前記命令指示の前記モバイル端末による実行をトリガする音声認識モジュール（５４）を含むことを特徴とする、請求項６記載の装置。
【請求項８】
ビデオ会議データ情報を伝送ネットワーク（８）を介して交換するべく適合されており、且つ、制御下において移動可能である視野方向を具備した少なくとも１つのビデオカメラをそれぞれが具備している第１及び第２モバイルビデオ会議端末（４、６）を含むビデオ会議システムにおいて、
前記第１又は第２端末の前記ビデオカメラの中の１つのものの前記視野方向の動きを制御するために、請求項６又は請求項７記載の装置を含んでいることを特徴とする、システム。
【請求項９】
視野方向の動きを制御する請求項６又は請求項７記載の装置を具備することを特徴とするモバイルビデオ会議端末。
【請求項１０】
命令が電子コンピュータによって実行された際に請求項１乃至５の何れか１項に記載の制御方法を実行する前記命令を含んでいることを特徴とする、コンピュータプログラム。
【請求項１】
モバイルビデオ会議端末に取り付けられたビデオカメラの視野方向の動きを制御する方法において、
（ａ）三次元的に互いに離隔しており、且つ、前記モバイル端末のユーザーから発せられた音響をピックアップするべく前記モバイル端末に装着された少なくとも２つのマイクロフォンを使用する段階（７２）と、
（ｂ）前記マイクロフォンからの信号に応答し、前記ユーザーの口が位置している方向を確定する段階（７４）と、
（ｃ）段階（ｂ）において確定された前記方向の関数として前記視野方向の動きを制御する段階（７６）と、
を有することを特徴とする方法。
【請求項２】
（ｄ）段階（ａ）において前記マイクロフォンによってピックアップされた音響を前記モバイル端末の命令指示と関連付けられた自然言語における予め定義された表現と比較する段階（８０）と、
（ｅ）前記ピックアップ及び比較された音響が、予め定義された表現に対応している場合に、前記予め定義された表現と関連付けられたそれぞれの命令指示を実行する段階（８２）と、
を含むことを特徴とする、請求項１記載の方法。
【請求項３】
（ｆ）前記ビデオカメラによってキャプチャされた画像内のターゲットエリアの位置を判定する段階（８２）と、
（ｇ）前記ターゲットエリアが、前記カメラによってキャプチャされた前記画像の中央に向かって移動するように、段階（ｆ）において判定された前記位置の関数として前記視野方向の動きを制御する段階（８４）と、
を含んでおり、
前記ターゲットエリアの前記位置を段階（ｆ）において判定できない場合に、段階（ａ）〜（ｃ）を自動的に実行することを特徴とする、請求項１または２に記載の方法。
【請求項４】
段階（ｃ）又は（ｇ）は、前記視野方向を形成する光学軸を具備した前記ビデオカメラのレンズを移動させるモーターを制御していることを特徴とする、請求項１乃至３の何れか１項に記載の方法。
【請求項５】
段階（ｃ）又は（ｇ）は、前記ビデオカメラの１つ又は複数の固定レンズによってキャプチャされた画像のみを選択することにより、前記視野方向と一致した光学軸を具備したビデオカメラレンズによってキャプチャされるものに対応した画像を取得することを特徴とする、請求項１乃至３の何れか１項に記載の方法。
【請求項６】
モバイルビデオ会議端末に取り付けられたビデオカメラ（１４、１６；１２２）の視野方向の動きを制御する装置において、
空間的に互いに離隔しており、且つ、前記モバイル端末のユーザーから発せられた音響をピックアップするべく前記モバイル端末に装着された少なくとも２つのマイクロフォン（４４、４５）と、
前記マイクロフォンからの信号に応答し、前記ユーザーの口が位置している方向を確定するモジュール（４８）と、
前記マイクロフォンからの前記信号に応答して前記ユーザーの口が位置している方向を確定する、前記モジュールによって確定された前記方向の関数として前記視野方向の動きを制御するモジュール（５０）と、
を含むことを特徴とする装置。
【請求項７】
前記マイクロフォンによってピックアップされた音響を前記モバイル端末の命令指示と関連付けられた自然言語における予め定義された表現と比較し、且つ、前記ピックアップ及び比較された音響が前記予め定義された表現に対応している場合に、予め定義された表現と関連付けられた前記命令指示の前記モバイル端末による実行をトリガする音声認識モジュール（５４）を含むことを特徴とする、請求項６記載の装置。
【請求項８】
ビデオ会議データ情報を伝送ネットワーク（８）を介して交換するべく適合されており、且つ、制御下において移動可能である視野方向を具備した少なくとも１つのビデオカメラをそれぞれが具備している第１及び第２モバイルビデオ会議端末（４、６）を含むビデオ会議システムにおいて、
前記第１又は第２端末の前記ビデオカメラの中の１つのものの前記視野方向の動きを制御するために、請求項６又は請求項７記載の装置を含んでいることを特徴とする、システム。
【請求項９】
視野方向の動きを制御する請求項６又は請求項７記載の装置を具備することを特徴とするモバイルビデオ会議端末。
【請求項１０】
命令が電子コンピュータによって実行された際に請求項１乃至５の何れか１項に記載の制御方法を実行する前記命令を含んでいることを特徴とする、コンピュータプログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公表番号】特表２００８−５４３１９６（Ｐ２００８−５４３１９６Ａ）
【公表日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願番号】特願２００８−５１４１４９（Ｐ２００８−５１４１４９）
【出願日】平成１８年６月２日（２００６．６．２）
【国際出願番号】ＰＣＴ／ＦＲ２００６／００１２５７
【国際公開番号】ＷＯ２００６／１２９０２３
【国際公開日】平成１８年１２月７日（２００６．１２．７）
【出願人】（５９１０３４１５４）フランス テレコム (290)
【Ｆターム（参考）】
【公表日】平成２０年１１月２７日（２００８．１１．２７）
【国際特許分類】
【出願日】平成１８年６月２日（２００６．６．２）
【国際出願番号】ＰＣＴ／ＦＲ２００６／００１２５７
【国際公開番号】ＷＯ２００６／１２９０２３
【国際公開日】平成１８年１２月７日（２００６．１２．７）
【出願人】（５９１０３４１５４）フランス テレコム (290)
【Ｆターム（参考）】
[ Back to top ]