通信端末装置、映像・音声処理方法
【課題】テレビ会議システムなどの通信コミュニケーションの開始に関して、ユーザにとって便宜が図られるようにすることを目的とする。
【解決手段】相手側テレビ会議端末装置からの発信に応じた着信と、映像・音声送受信のための交渉処理を完了した後において、相手側から送信されてくる映像を表示出力させずに、これ以外の映像及び／又は音声を出力させる保留期間を設け、この保留期間終了後において、映像・音声送受信により得られる相手側テレビ会議端末装置側からの映像信号を画像として表示出力させる。
【解決手段】相手側テレビ会議端末装置からの発信に応じた着信と、映像・音声送受信のための交渉処理を完了した後において、相手側から送信されてくる映像を表示出力させずに、これ以外の映像及び／又は音声を出力させる保留期間を設け、この保留期間終了後において、映像・音声送受信により得られる相手側テレビ会議端末装置側からの映像信号を画像として表示出力させる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばテレビ会議システムなどを構成するものとして、映像・音声を送受信することのできる通信端末装置と、この通信端末装置において映像・音声の通信、再生出力などに関する処理を行う映像・音声処理方法とに関する。
【背景技術】
【０００２】
テレビ会議システムにおいては、互いに離れた会議場などの場所ごとにテレビ会議システム対応の端末装置を設け、さらにこの端末装置に撮像装置及びディスプレイ装置を接続する。そして、１つの近端としての或る会議場においては、例えばその会議場に居る会議参加者などを撮像装置により撮像して得た撮像画像を端末装置経由で、遠端となる他の会議場の端末装置に対して送信する。遠端側の端末装置は、近端側から送信されてきた撮像画像を受信し、これを自身に接続されているディスプレイに表示させる。
また、端末装置には、マイクロフォンとスピーカも接続され、近端側のマイクロフォンにより収音して得られる近端話者の音声信号を、端末装置経由で遠端側に送信する。遠端側の端末装置では、受信した音声信号をスピーカから出力する。
これにより、テレビ会議システムによっては、通信相手の会議場の様子をディスプレイ装置に表示させながら会話を行うようにして、会議を進行させていくことができる。
【０００３】
このようなテレビ会議システムにおいて端末装置同士を接続するのにあたっては、或る１つの端末装置から、他の端末装置に対して発呼を行い、他の端末装置が着呼により応答する。この後、例えば互いの端末装置間における通信のパラメータについての交渉処理などが行われた後、接続が確立される。このように接続が確立されて以降、撮像画像の映像信号や収音音声の音声信号を送受信することが可能となり、互いに遠端側の端末装置側にて撮像、収音された画像・音声を再生出力させて視聴することができる。つまり、接続が確立されたタイミングから、会議、即ち相互に離れた場所間でのコミュニケーションを実質的に開始させていくことができる。
【０００４】
【特許文献１】特開平７−１７０５０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本願発明は、例えば上記したようなテレビ会議システムなどを構成する端末を利用したコミュニケーションの開始に関して、ユーザにとって便宜が図られるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
そこで本発明は上記した課題を考慮して通信端末装置として次のように構成する。
つまり、他の通信端末装置と通信を行う通信手段と、この通信手段を利用して発着信に対応する所定の発着信対応処理を実行する発着信対応処理実行手段と、発着信対応処理が実行された後において、他の通信端末装置との映像信号及び／又は音声信号の送受信のための映像・音声通信処理に必要とされる準備処理を、他の通信端末装置との間での所定の手順に従った通信により実行する準備処理実行手段と、準備処理が実行された後において映像・音声通信処理を実行させる映像・音声通信制御手段と、映像・音声通信処理により他の通信端末装置から送信される映像信号及び／又は音声信号を受信して、映像信号については画像として、音声信号については音声として再生出力させる再生出力手段と、発着信対応処理を実行したとされるタイミングに応じた所定の時点から、再生出力手段により画像及び／又は音声の再生出力が開始されるものとするタイミングに応じた所定の時点までの待機期間が、発着信対応処理、準備処理、映像・音声通信処理のシーケンスを通常に実行させた場合よりも所定時間だけ延長されるようにして、待機期間内において保留期間を設定する保留期間設定手段とを備えることとした。
【０００７】
上記構成による通信端末装置は、発着信対応処理、準備処理を経て映像・音声通信処理を開始するようにされ、映像・音声通信処理により受信して得られる映像信号及び／又は音声信号を再生出力することができるようになっている。そのうえで、発着信対応処理を実行したとされるタイミングから、映像・音声通信処理により受信して得られる映像信号及び／又は音声信号の再生出力を開始するまでのタイミングに対応する待機期間内において保留期間を設定することで、この待機期間を強制的に延長するようにされる。
【発明の効果】
【０００８】
上記のようにして、待機期間が延長されることによっては、他の通信端末装置から送信されてきた映像及び／又は音声の再生出力を開始するタイミングが遅延されることになる。これにより、例えば通信端末装置を利用して、他の通信端末装置側にいる者とコミュニケーションを行おうとしているユーザにとっては、発着信があってから、保留期間に対応する時間だけ待って、他の通信端末装置側との実質的なコミュニケーションを開始することができる。
【発明を実施するための最良の形態】
【０００９】
本願発明を実施するための最良の形態（以下、実施の形態という）としては、テレビジョン会議システム(テレビ会議システム)において備えられる端末装置（テレビ会議端末装置）に本願発明を適用する。
テレビ会議システムは、場所の異なる会議場ごとに通信端末であるテレビ会議端末装置を設置し、このテレビ会議端末装置から、撮像装置により撮影した画像と、マイクロフォンにより収音した音声を他のテレビ会議端末装置に送信させると共に、他のテレビ会議端末装置から送信されてきた画像と音声を受信して、それぞれ、ディスプレイ装置、スピーカから出力させるように構成される。つまり、テレビ会議システムでは、画像を相互に送受信する映像送受信系と、音声を相互に送受信する音声送受信系とを備える。
【００１０】
図１は、テレビ会議システムの構成例を示している。
この場合には、互いに離れた２つの場所Ａ、場所Ｂが会議場とされており、これらの場所Ａ，Ｂのそれぞれにおいて、テレビ会議端末装置１−１、１−２が設置される。これらのテレビ会議端末装置１−１、１−２は、所定の通信方式に対応する通信回線により接続されて、相互通信が可能なようにされている。
また、場所Ａにおいては、テレビ会議端末装置１−１とともに、撮像装置２−１、雲台３−１、ディスプレイ装置４−１、スピーカ６−１、マイクロフォン７−１が備えられる。
撮像装置２−１は、画角調整のためのズーム機構を備え、雲台３−１に取り付けられている。雲台３−１は、パン機構とチルト機構を備えることで、取り付けられた撮像装置の撮像方向（撮像視野）を、所定角度範囲で上下方向及び左右方向に変更することが可能とされている。
また、リモートコントローラ５−１は、テレビ会議端末装置１−１の動作をユーザが遠隔操作するために設けられる。
スピーカ６−１からは、後述するようにして、例えば遠端側のテレビ会議端末装置１−２から送信されてくる音声信号を音声として再生出力させることができる。
マイクロフォン７−１は音声を収音する。この収音によって得られる音声信号は、テレビ会議端末装置１−１により、例えば遠端側のテレビ会議端末装置１−２に対して送信することができる。
同様にして、場所Ｂにおいては、テレビ会議端末装置１−２とともに、撮像装置２−２、雲台３−２、ディスプレイ装置４−２、スピーカ６−２、マイクロフォン７−２が備えられる。
【００１１】
なお、以降の説明において、テレビ会議端末装置、撮像装置、雲台、ディスプレイ装置、リモートコントローラ、スピーカ、マイクロフォンなどについて、特に離れた場所にある同一のものを区別する必要のない場合には、テレビ会議端末装置１、撮像装置２、雲台３、ディスプレイ装置４、リモートコントローラ５、スピーカ６、マイクロフォン７などのようにして表記する。
【００１２】
この図に示されるテレビ会議システムとしての基本的動作は、例えば次のようになる。
先ず、場所Ａにおいて、撮像装置２−１により撮像して得られた映像信号は、テレビ会議端末装置１−１に入力される。テレビ会議端末装置１−１は、入力された映像信号を、通信回線を経由してテレビ会議端末装置１−２に対して送信する。テレビ会議端末装置１−２は、送信されてきた映像信号を受信し、ディスプレイ装置４−１により画像として再生出力させる。
また、同様にして、場所Ｂ内の撮像装置２−２により撮像して得られた映像信号は、テレビ会議端末装置１−２によりテレビ会議端末装置１−１に送信される。テレビ会議端末装置１−１では、受信した映像信号を、ディスプレイ装置４−１から出力させる。このときディスプレイ装置には、遠端側となる場所Ｂの撮像装置２−２により撮像された撮像画像として、例えば動画が表示される。
【００１３】
また、場所Ａのマイクロフォン７−１により収音して得られた音声信号は、テレビ会議端末装置１−１から場所Ｂのテレビ会議端末装置１−２に対して通信回線経由で送信する。テレビ会議端末装置１−２では、この送信されてくる音声信号を受信して、スピーカ６−２から音声として再生出力する。同様に、場所Ｂのマイクロフォン７−２により収音されてテレビ会議端末装置１−２により送信された音声信号は、場所Ａのテレビ会議端末装置１−１により受信され、スピーカ６−１から音声として再生出力される。
【００１４】
上記のようにして、テレビ会議システムの映像送受信系及び音声送受信系では、それぞれ、映像、音声の双方向通信を行うものであり、これにより、例えば或る１つの場所にいる会議参加者は、ディスプレイ装置４にて表示される他の場所の会議場の様子を見て、視覚的に把握することができる。また、例えば或る１つの場所にいる会議参加者は、他の場所の会議場にいる会議参加者の発言した音声を、スピーカ６から聴くことができる。このようにして、離れた場所にいる会議参加者同士がコミュニケーションをとって、例えば会議を進行させていくことができる。
【００１５】
図２は、１つの場所において備えられるテレビ会議システムを、テレビ会議端末装置１の内部構成例とともに示している。なお、図１との対応では、テレビ会議端末装置１−１、１−２は、この図２に示す構成を共通に有するものとして考えればよい。
【００１６】
この場合の撮像装置２においては、撮像のための光学系と、撮像光を利用して映像信号を生成する信号処理部とを備えるものとされる。撮像装置２から出力される映像信号（撮像映像信号）は、テレビ会議端末装置１における映像信号処理／表示制御部１１に対して入力される。
また、撮像装置２の光学系に対応しては、ズームレンズの位置を移動させて画角を変更するための機構を有して成る、ズーム機構部２ａを備える。
また、雲台３は、取り付けられた撮像装置２の撮像視野を左右に変更するための機構であるパン機構部３ａと、上記撮像視野を上下に変更するための機構であるチルト機構部３ｂとを有して成る。
【００１７】
映像信号処理／表示制御部１１は、入力される映像信号について必要に応じて所定の信号処理を実行するとともに、ディスプレイ装置４に対して画像を表示させるための表示制御を実行する。
【００１８】
例えば、映像信号処理／表示制御部１１は、撮像装置２から入力される撮像映像信号について必要に応じて所要の信号処理を施したうえでで、映像エンコーダ１２に転送する。
【００１９】
映像エンコーダ１２は、入力される映像信号について所定方式による画像圧縮符号化処理を実行して、通信部１４に対して転送する。通信部１４は、制御部１８の制御に応じて、映像エンコーダ１２から転送されてくる圧縮画像データについて、所定の通信方式に従って、通信回線経由で、他のテレビ会議端末装置に対して送信する。
【００２０】
また、他のテレビ会議端末装置から送信されてきた圧縮画像データは、通信部１４にて受信されて、映像デコーダ１３に転送される。
映像デコーダ１３は、入力されてくる圧縮画像データについて、画像圧縮符号化に対する復調（デコード）処理を実行して所定形式の映像信号を得る。このようにして得た映像信号を映像信号処理／表示制御部１１に転送する。
【００２１】
映像信号処理／表示制御部１１は、例えば上記のようにして映像デコーダ１３から転送される映像信号の画像がディスプレイ装置４にて表示されるようにするための表示制御を実行することができる。これにより、他の会議場において撮影された画像が、ディスプレイ装置４にて表示されることになる。
また、映像信号処理／表示制御部１１は、撮像装置２による撮像に基づいて得られる上記撮像映像信号について、ディスプレイ装置４にて所定の態様により表示されるようにして表示制御を実行することも可能とされている。
さらに、映像信号処理／表示制御部１１は、制御部１８の制御に応じて、各種の操作画像をディスプレイ装置４により表示させるための画像生成処理、表示制御処理を実行可能とされている。
なお、映像信号処理／表示制御部１１は、その一部、あるいは全ての機能をＤＳＰ(Digital Signal Processor)により構成することができる。
【００２２】
また、マイクロフォン７により収音して得られた収音音声信号は、Ａ／Ｄコンバータ２３により例えばＰＣＭ(Pulse Code Modulation)形式のデジタル音声信号に変換されて音声信号処理部２１に入力される。
音声信号処理部２１は、入力される音声信号について、例えばデジタル信号処理による所要の音声信号処理を施す部位とされる。例えば上記Ａ／Ｄコンバータ２３から入力されるデジタル音声信号については、音声信号処理部２１は、必要に応じて所定の信号処理を施したうえで、音声エンコーダ１３に転送することができる。音声エンコーダ１３は、入力されるＰＣＭ形式の音声信号について、所定方式による音声圧縮符号化を行い、通信部１４に出力する。通信部１４は、制御部１８の制御に応じて、音声エンコーダ２４から転送されてくる圧縮音声信号データについて、通信回線１０１経由で、接続先の通信端末装置に対して送信する。このようにして近端側の話者音声を、接続先（遠端側）の通信端末装置に対して送信することができる。
【００２３】
また、接続先の通信端末装置から送信されてきた圧縮音声信号データは、通信部１４にて受信され、音声デコーダ２５に対して転送される。音声デコーダ２５では、入力されてくる圧縮音声信号データについて、音声圧縮符号化に対する復調（デコード）処理を実行してＰＣＭ形式の音声信号を得て、音声信号処理部２１に対して転送する。
【００２４】
音声信号処理部２１は、音声デコーダ２５から転送されてくるデジタル音声信号について必要に応じた信号処理を施した上で、Ｄ／Ａコンバータ２２に転送することができる。
Ｄ／Ａコンバータ２２は、入力されるデジタル音声信号をアナログ信号に変換して出力する。このようにして出力された音声信号は、例えば実際においては増幅などを経てスピーカ６に出力される。これにより、スピーカ６からは、接続先の通信端末装置から送信されてきた話者音声が再生出力される。
【００２５】
なお、上記これまでの説明から分かるように、テレビ会議端システムにおける音声送受信系としては拡声通話系といわれるものとなるが、このような拡声通話系をそのまま使用したのでは、エコー、ハウリングなどの現象を生じることが知られている。つまり、スピーカ６から空間に放出された音は、直接音及び間接音としての空間伝搬経路（エコーパス）を経て、マイクロフォン７に到達する。つまり、接続先の通信端末装置から送信されスピーカ６から放出された相手側話者の声がマイクロフォン２にて収音され、再び、接続先の通信端末装置に送信される。また、接続先の通信端末装置側においてもにおいても、さらにスピーカから放出された音がマイクロフォンで収音されて、こちらの通信端末装置に送信されてくる。即ち、拡声通話系では、一度空間に放出された音が、通信端末装置間で循環するようにして送受信される。これにより、スピーカから放出される音には、自分が今話している声が、或る遅延時間をもってこだまのようにして聴こえるものが含まれることになる。これがエコーであり、ループゲインが１を越えればハウリングとなる。
音声信号処理部２１としては、例えば適応処理などにより上記のエコーをキャンセルするための信号処理を実行させるように構成できる。
また、音声信号処理部２１についても、その一部、あるいは全ての機能をＤＳＰにより構成することができる。
【００２６】
また、このテレビ会議端末装置１は、撮像装置２の撮像視野を可変制御する機能を有するものとされている。ここでの撮像視野の可変は、パン制御、チルト制御、ズーム制御の組み合わせによるものとする。パン制御、チルト制御は、撮像装置の撮像方向（撮像視野）をそれぞれ左右方向、上下方向に可変する制御で、ズーム制御は、撮像装置の画角を変更する制御である。これに対応して、テレビ会議端末装置１は、ＰＴＺ（ＰＴＺ:Pan(Panning),Tilt(Tilting),Zoom(Zooming)）駆動制御部１５を備える。
【００２７】
ＰＴＺ駆動制御部１５は、図示するようにして、パン／チルト駆動制御部１６とズーム駆動制御部１７とを備える。
パン／チルト駆動制御部１６は、制御部１８からのパン方向における移動量の指示情報に応じて、雲台３が備えるとされるパン機構部３ａにおけるパンモータを駆動するための駆動信号を生成して出力する。同様に、制御部１８からのチルト方向における移動量の指示情報に応じて、雲台３が備えるとされるチルト機構部３ｂにおけるチルトモータを駆動するための駆動信号を生成して出力する。これにより、撮像装置２の撮像視野として、左右方向（パン方向）と上下方向（チルト方向）の撮像方向を変更する制御が可能とされる。
また、ズーム駆動制御部１７は、制御部１９からの画角変更量の指示情報に応じて、撮像装置２の光学系において備えられるズーム機構部２ａにおけるズームモータを駆動するための駆動信号を生成して出力する。これにより、撮像視野として、画角を変更する制御が可能になる。
【００２８】
制御部１８は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどを有して成るマイクロコンピュータなどにより構成されるもので、テレビ会議端末装置１についての全体制御を実行する。
【００２９】
記憶部１９は、例えば不揮発性の記憶デバイスから成るもので、制御部１８が必要な各種のプログラム、データなどを記憶する。本実施の形態に対応しては、必要に応じて、保留期間用データ１９ａを記憶させるようにして構成することになる。
【００３０】
リモートコントローラ５は、テレビ会議端末装置１の動作についての各種の操作をユーザが行うための所要の操作子を備え、これらの操作子に対する操作に応じて、赤外線、あるいは電波などによりコマンド信号を送信する。このコマンド信号は、受信部２０にて受信復調されることで操作情報信号に変換されて制御部１８に入力される。制御部１８は、入力される操作情報信号に応答して所要の制御、処理を実行する。
【００３１】
図３は、上記構成によるテレビ会議端末装置１により実現できる、映像・音声送受信のための通信を開始させるまでの手順例を示している。なお、この場合においてテレビ会議端末装置１同士が通信を開始するのにあたっては、先ず、双方の間で発着信が行われることを前提とする。また、この発着信にあたって、着信は自動的に行われるものとする（自動着信）。また、図１との対応に準じて、発信を行う側のテレビ会議端末装置１については発信側テレビ会議端末装置１−１と表記し、着信が行われる側のテレビ会議端末装置１については着信側テレビ会議端末装置１−２とも表記する。
【００３２】
先ず、リモートコントローラ５−１に対して、例えば通信相手を指定しての通信開始を指示する操作が行われたとすると、この操作に応じて、発信側テレビ会議端末装置１−１は、ステップＳ１０１により発信処理を実行する。つまり、指定された通信相手となる着信側テレビ会議端末装置１−２に対して、発信信号を送信する。
【００３３】
この発信信号の送信に応じては、着信側テレビ会議端末装置１−２がステップＳ２０２により着信処理を実行する。つまり、送信されてきた発信信号を受信したことに基づき、着信を検知する。そして、着信側テレビ会議端末装置１−２は、上記ステップＳ２０１による着信処理に続き、ステップＳ２０２により着信応答としての信号（着信応答信号）を送信する。なお、上記ステップＳ２０２、Ｓ２０３は、着信処理といえるものであるが、ここでは、自動着信が設定されているものとする。従って、ステップＳ２０２の着信応答信号の送信は、ステップＳ２０１により着信を検知したことに応じて、直ちに実行するようにされる。
上記ステップＳ２０２により送信された着信応答信号は、発信側テレビ会議端末装置１−１により、ステップＳ０１０２にて受信する。
【００３４】
上記ステップＳ１０１、Ｓ２０１、Ｓ２０２、Ｓ１０２により、発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２のそれぞれが、発着信に対応した処理（発着信対応処理）を実行した後は、発信側テレビ会議端末装置１−１のステップＳ１０３、及び着信側テレビ会議端末装置１−２のステップＳ２０３として示すようにネゴシエーションを実行する。このネゴシエーションは、例えば相互で正常に、映像信号及び音声信号（映像・音声信号）を送受信できる通信環境をはじめとして、必要な設定について、交渉により取り決めを行う処理となる。このネゴシエーションによって、例えば通信プロトコル、通信速度などが設定される。
発信側テレビ会議端末装置１−１のステップＳ１０４、及び着信側テレビ会議端末装置１−２のステップＳ２０４によりネゴシエーションの完了が確認されると、発信側テレビ会議端末装置１−１及び着信側テレビ会議端末装置１−２は、それぞれ、ステップＳ１０５、Ｓ２０５により映像・音声送受信オープン処理を実行させる。この処理は、例えば適宜必要に応じて発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２とで通信を行いながら、上記ネゴシエーションにより取り決められた通信環境などについての設定を実行するものとなる。
【００３５】
そして、発信側テレビ会議端末装置１−１のステップＳ１０６、及び着信側テレビ会議端末装置１−２のステップＳ２０６により、映像・音声送受信オープン処理の完了を確認すると、以降においては、発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２との間で、映像信号及び音声信号の相互送受信（映像・音声送受信）が可能となる。この図では、上記ステップＳ１０６、Ｓ２０６により映像・音声送受信オープン処理を完了させたタイミングで、現に、映像・音声送受信を開始させているものとする。
【００３６】
ここで、着信側テレビ会議端末装置１−２にて、既に、受信した映像・音声信号をディスプレイ装置４−２及びスピーカ６−２から出力できるように内部動作の設定が行われているものとする。この場合、ステップＳ２０６の処理に続くタイミングで、ディスプレイ装置４−２においては、発信側テレビ会議端末装置１−１側の撮像装置２−１により撮像して得られた撮像画像の表示が開始され、スピーカ６−２からは、発信側テレビ会議端末装置１−１側のマイクロフォン７−１により収音して得られた音声の再生出力が行われることになる。つまり、着信側テレビ会議端末装置１−１において、発信側テレビ会議端末装置１−１側にて得た撮像画像及び収音音声の再生出力が開始される。
また、同様にして、発信側テレビ会議端末装置１−１においても、ステップＳ１０６の処理を実行した後は、ディスプレイ装置４−１及びスピーカ６−１から、着信側テレビ会議端末装置１−２の側にて得た撮像画像及び収音音声の再生出力が開始される。
【００３７】
上記図３に示す手順のシーケンスについて、先ず、ステップＳ１０１の発信処理に応じた、Ｓ２０１による着信処理が実行されてから、ステップＳ２０５、Ｓ２０６に対応して映像・音声送受信オープン処理が完了するまでの期間は、映像・音声送受信のための通信を確立するまでの準備期間としてみることができるので、接続準備期間Ｔ１ということにする。
また、図３の場合においてステップＳ２０５、Ｓ２０６が実行されて以降の期間は、上記したように、通信相手側にて得られた撮像画像・音声が再生出力され、また、このような撮像画像・音声の再生出力が、テレビ会議システムにおける通常時の映像・音声再生出力の態様となることに因み、通常画像・音声出力期間Ｔ２ということにする。この通常画像・音声出力期間Ｔ２に
【００３８】
ところで、以前においては、ネゴシエーションなどの処理に比較的多くの時間が必要とされる場合がほとんどであったために、接続準備期間Ｔ１も相応に長い時間となっていた。これは、例えば着信側テレビ会議端末装置１−２側の会議参加者（ユーザ）から見れば、ステップＳ２０１の着信処理に応じた着信音が得られてから、通常画像・音声出力期間Ｔ２に至って、相手側とのコミュニケーションが可能になるまでにも、相応の時間がかかるということになる。しかし、会議参加者等はこのことを承知しているので、むしろ、この接続準備期間Ｔ１が或る程度長いことを利用して、その間において、軽く身支度を調えたり、書類を揃えたり、気持ちの切り換えをするなどして、会議（コミュニケーション）に臨む準備をすることができていた。
【００３９】
ところが、現状においては、例えば通信速度の高速化であるとか、ネゴシエーション処理のシーケンスの工夫などにより、ネゴシエーションなどの処理に要する時間が相当に短縮されるようになってきており、これに応じて、接続準備期間Ｔ１も短縮されてきている傾向にある。一例であるが、接続準備期間Ｔ１としての実際の時間長は、以前は数秒を要していたものが、現状では、１秒程度にまで短縮されている。接続準備期間Ｔ１が短縮されれば、それだけ通常画像・音声出力期間は早く到来する。つまり、現在では、発着信があってから、相手側の撮像画像及び収音音声が再生出力開始されてコミュニケーションが可能となるまでの待機時間が非常に短縮されている傾向にある。
このために、会議参加者にとっては上記の会議に臨む準備をする時間的余裕が無いという状況が生じてきている。この問題は、特に着信側のほうが大きい。通常、発信側のテレビ会議端末装置１に発信動作を実行させるためには、同じ発信側の会議参加者（ユーザ）がそのための操作を行うので、発信側の会議参加者は、発信操作が行われるときには既に準備ができている状態とすることができる。これに対して着信側の会議参加者は、発信に応じた着信が何時あるのか予期できない。そして、着信があれば、すぐさま相手側の撮像画像が表示されてしまうために、どうしてもとまどいがちになってしまう。
そこで、本実施の形態は、上記の問題を解決するものとして、以降説明するようにしてテレビ会議端末装置１を構成する。なお、以降においては、第１〜第５の実施の形態を挙げるが、図１及び図２に示したテレビ会議システム、及びテレビ会議端末装置１の構成自体は、各実施の形態で共通となる。
【００４０】
第１の実施の形態としては、着信側として動作するテレビ会議端末装置１−２が実行する手順が対応するものとなる。
図４は、第１の実施の形態に対応する、発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２との間での、発着信対応処理から映像・音声送受信が開始されるまでの手順（以降、映像・音声通信確立手順ともいうことにする）の一例を示している。
【００４１】
この図において、接続準備期間Ｔ１において発信側テレビ会議端末装置１−１及び着信側テレビ会議端末装置１−２がそれぞれ実行する、ステップＳ１０１〜Ｓ１０６、及びＳ２０１〜Ｓ２０６までの手順は、図３と同様であることから、ここでの説明は省略する。
【００４２】
この場合においても、ステップＳ１０６、Ｓ２０６により映像・音声送受信オープン処理が完了したとされる以降においては、発信側テレビ会議端末装置１−２と着信側テレビ会議端末装置１−２は、相互に映像・音声送受信を実行することが可能なようにして通信接続が確立されている状態にある。
【００４３】
そのうえで、第１の実施の形態においては、着信側テレビ会議端末装置１−２側において、ステップＳ２０６に続けて、ステップＳ２０７により、タイマ２０による計時を開始させる（タイマスタート）。タイマ２０は、図２に示すようにして制御部１８が有する時計機能を利用して、制御部１８内において得られる機能部位となる。また、このタイマ２０に対しては、図において示される保留期間Ｔ１−１としての実時間長に対応するタイマ時間を設定する。
【００４４】
また、着信側テレビ会議端末装置１−２は、上記ステップＳ２０７によるタイマスタートとともに、ステップＳ２０８により、発信側テレビ会議端末装置１−１に対しては、映像・音声信号のうちで、映像信号の送信については停止させ、この結果、音声信号のみが送信される送信動作を設定する。
【００４５】
また、接続準備期間Ｔ１を終了した後は、発信側テレビ会議端末装置１−１から映像・音声信号が送信されてくる。着信側テレビ会議端末装置１−２は、接続準備期間Ｔ１を経過したことで映像・音声送受信の通信が確立されている状態にあるので、通常であれば、この映像・音声信号を受信して画像・音声として再生出力させることになる。しかし、ステップＳ２０９により、受信映像・音声信号のうち、映像信号を画像として表示出力（再生出力）させるための処理を停止させ、結果として、受信した音声信号の音声のほうのみがスピーカ６−２から再生出力されるようにする。
なお、上記ステップＳ２０７、ステップＳ２０８、ステップＳ２０９の手順は、例えば人の感覚からすれば、ほとんど同時に実行されるものとしてみることができるので、これらの手順を実行する順序が入れ替わるようにされても、実質的に特に問題はない。
【００４６】
そして、上記ステップＳ２０９までの手順を実行した後においては、ステップＳ２１０により、先のステップＳ２０７にてスタートさせたタイマ２０が計時するタイマ時間が経過するのを待機し、タイマ時間が経過すると、ステップＳ２１１の手順に進む。
【００４７】
ステップＳ２１１においては、先のステップＳ２０８において停止させた映像信号の送信を開始させる。この結果、以降において、発信側テレビ会議端末装置１−１に対して映像・音声信号をともに送信することになる。
また、ステップＳ２１２により、先のステップＳ２０９により停止させていた、受信映像信号の再生出力を開始させる。
なお、上記ステップＳ２１１及びステップＳ２１２の手順も、例えば人の感覚からすれば、ほとんど同時に実行されるものとしてみることができるので、これらの手順を実行する順序が入れ替わるようにされてもよい。
【００４８】
上記の処理手順によると、接続準備期間Ｔ１の後において、発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２との間で通常に、通信相手側の撮像画像、及び収音音声の双方の再生出力が開始されるタイミング、即ち、通常画像・音声出力期間が開始されて会議（コミュニケーション）が可能になるタイミングは、ステップＳ２１０によりタイマ時間が経過し、ステップＳ２１１、Ｓ２１２が実行されるタイミングであるとしてみることができる。
そして、この接続準備期間Ｔ１と通常画像・音声出力期間Ｔ２との間には、タイマ２０のタイマ時間に対応して、接続が確立していながら通常画像・音声の出力が強制的に停止される期間が挿入されることになるが、これが保留期間Ｔ１−１となる。
【００４９】
保留期間Ｔ１−１においては、ステップＳＳ２０９が実行されていることに応じて、着信側テレビ会議端末装置１−２においては、通信相手である発信側テレビ会議端末装置１−１側の撮像画像は表示されず、収音音声のみが音声として再生出力されることになる。
つまり、着信側テレビ会議端末装置１−２においては、着信に応じて接続準備期間Ｔ１が開始されてから保留期間Ｔ１−１が終了するまでの期間、相手側の撮像画像が表示されない。
これにより、接続準備期間Ｔ１が非常に短い時間長であるとしても、タイマ２０のタイマ時間の設定により、着信してから相手側の撮像画像が表示されるまでの期間（待機期間）について、会議参加者が準備を整えられるだけの充分に余裕のある時間長を設定できることになる。これにより、着信側テレビ会議端末装置１−２側の会議参加者は、以前と同様の感覚で、着信があってから準備を整え、それから会議を始めることが可能になる。
【００５０】
また、保留期間Ｔ１−１においては、ステップＳ２０８が実行されることで、通信相手である発信側テレビ会議端末装置１−１においては、着信側テレビ会議端末装置１−２側にて得た撮像画像も表示出力されないことになる。
これにより、発信側テレビ会議端末装置１−１側の会議参加者に、例えば着信側テレビ会議端末装置１−２側の会議参加者等が保留期間Ｔ１−１において準備をしている様子を見られることが無くなり、いわゆるプライバシー保護が図られる。
【００５１】
また、この場合においては、収音音声については、保留期間Ｔ１−１において、既に相互に送受信を行って再生出力させるようにしている。つまり、音声での相互のコミュニケーションは可能となっている。このように音声のみによるコミュニケーションが可能であるとしても、依然として相手側の撮像画像は表示されないから、着信側テレビ会議端末装置１−２の会議参加者に、会議の準備をする充分な余裕を与えることができると考えられる。また、プライバシー保護の点でも、撮像画像が通信相手側にて見えないようにすれば、ほぼその目的は果たされる。
また、本実施の形態の保留期間Ｔ１−１は、以前の比較的長時間の接続準備期間Ｔ１を強制的に作り出すものとしてみることができるのであるが、例えば保留期間Ｔ１−１において映像・音声の両者を再生出力させないものとすると、最近の接続準備期間Ｔ１が短いテレビ会議端末装置を使い慣れているユーザは、逆に、通信とかなんらかのトラブルが起きたと勘違いする場合もある。音声だけでも相互に再生出力できるようにしていれば、上記のような勘違いは解消できる。
もちろん、使用環境によって、収音音声も送受信させることが好ましくない、あるいは、収音音声が再生出力されなくとも、上記のような勘違いを生む可能性が無いような状況であれば、収音音声についても撮像画像と同じく相手側にて再生出力されないようなステップＳ２０７、Ｓ２０８の処理として、収音音声の再生出力も行われない結果が得られるようにしてよい。
【００５２】
次に、第２の実施の形態について説明する。図５は、第２の実施の形態の映像・音声通信確立手順の一例を示している。
この図において、接続準備期間Ｔ１において発信側テレビ会議端末装置１−１が実行するステップＳ１０１〜Ｓ１０６の手順は図４と同様となる。また、同じ接続準備期間Ｔ１において着信側テレビ会議端末装置１−２が実行するステップＳ３０１〜Ｓ３０６は、図４のステップＳ２０１〜Ｓ２０６と同様となる。
【００５３】
この場合の着信側テレビ会議端末装置１−２も、ステップＳ３０６に続けて、ステップＳ３０７によりタイマ２０を起動させる。このタイマスタートに応じたタイミングにより、保留期間Ｔ１−１が開始される。
次に、着信側テレビ会議端末装置１−２は、ステップＳ３０８により、発信側テレビ会議端末装置１−１に対する映像信号の送信動作を停止させ、音声信号のほうのみが送信できる動作状態とする。また、ステップＳ３０９により、受信映像・音声信号のうち、映像信号の再生出力については停止させ、受信した音声信号のみが再生出力されるようにする。
【００５４】
本実施の形態のテレビ会議端末装置１は、図２に示すようにして、記憶部１９において保留期間用データ１９ａを記憶している。この保留期間用データ１９ａは、保留期間に対応して再生出力すべき、所定の再生内容を有する音声信号データ、あるいは静止画若しくは動画による画像データとされる。第２の実施の形態に応じては、保留期間用データ１９ａは、所定の再生内容を有する音声信号データとなる。これを、ここでは保留期間用音声データ（保留期間用音声信号データ）ともいうことにする。
【００５５】
そして、着信側テレビ会議端末装置１−２は、保留期間Ｔ１−１において、ステップＳ３１０により記憶部１９から保留期間用音声データとしての保留期間用データ１９ａを読み出し、ステップＳ３１１により、発信側テレビ会議端末装置１−１に対して送信すべき音声信号（送信音声）として、収音音声信号ではなく、この読み出した保留期間用音声データが送信されるようにして制御を実行する。
【００５６】
そして、ステップＳ３１２によりタイマ時間が経過したことが判別されると、ステップＳ３１３により、ステップＳ２１１と同様に映像信号の送信を開始させるとともに、ステップＳ３１４により、これまで実行していたとする保留期間用音声データの送信を停止させ、これに代えて、収音音声信号が送信されるようにして制御を実行する。また、ステップＳ３１５においては、これまで停止させていた、受信映像信号の再生出力を開始させる。
このようにして、タイマ２０のタイマ時間が経過したとするタイミングに応じて、ステップＳ３１３〜Ｓ３１５の手順を実行することで、この処理の実行タイミング以降において、通常に相手側から送信されてくる撮像画像、収音音声を相互に再生出力する、画像・音声出力期間Ｔ２が開始されるものとして見ることができる。
【００５７】
このような着信側テレビ会議端末装置１−２の動作によると、先ずは、保留期間Ｔ１−１においては、第１の実施の形態と同様にして、着信側テレビ会議端末装置１−２側では、発信側テレビ会議端末装置１−１側の撮像画像が表示されることがなく、収音音声のみが再生出力される。また、発信側テレビ会議端末装置１−１側においても、着信側テレビ会議端末装置１−２側の撮像画像は表示されない。
【００５８】
ただし、第２の実施の形態の保留期間Ｔ１−１においては、ステップＳ３１０、Ｓ３１１が実行されることに応じて、発信側テレビ会議端末装置１−１において再生出力される音声は、着信側テレビ会議端末装置１−２側にて収音した収音音声ではなく、保留期間用音声データの音声となる。
なお、この保留期間用データの音声は、例えば音楽のようなものであるとか、人の声によるアナウンスなどを考えることができる。
【００５９】
上記のようにして保留期間Ｔ１−１において、保留期間用音声データの音声が発信側テレビ会議端末装置１−１にて再生出力されるようにすることで、例えば、その間は、発信側テレビ会議端末装置１−１側の会議参加者に対して、着信側テレビ会議端末装置１−２側の会議参加者の声が聞こえることがなく、プライバシー保護は、より強固なものとすることができる。
【００６０】
また、テレビ会議システムは、いわゆる会議のほかにも、多様な形態のコミュニケーションに用いられる。例えば、企業担当者と顧客との間での商談などのようなものにも用いられる。
例えば、このような商談などのシステムにも、第２の実施の形態は有効に適用できる。例えば、保留期間用音声データとして、企業案内、商品案内、注意事項などのアナウンスの音声内容を有するものを用意しておけば、顧客側のテレビ会議端末装置１−１から発信が行われたことに応じては、上記の案内、注意事項などのアナウンス音声を、顧客に聴いてもらうことができる。
【００６１】
図６は、第３の実施の形態に対応する、映像・音声通信確立手順の一例を示している。
この図においても、接続準備期間Ｔ１において発信側テレビ会議端末装置１−１が実行するステップＳ１０１〜Ｓ１０６の手順は図４と同様となる。また、同じ接続準備期間Ｔ１において着信側テレビ会議端末装置１−２が実行するステップＳ４０１〜Ｓ４０６も、図４のステップＳ２０１〜Ｓ２０６と同様となる。
【００６２】
この場合の着信側テレビ会議端末装置１−２は、ステップＳ４０６に続けて、先ず、ステップＳ４０７によりタイマ２０を起動させ、保留期間Ｔ１−１を開始させる。
次のステップＳ４０８によっては、撮像装置２−２により撮像して得られた撮像画像の映像信号を発信側テレビ会議端末装置１−１に対して送信する動作を停止させることで、この段階では、収音音声のみが送信される動作を設定することとしている。ステップＳ４０９においては、受信映像・音声信号のうち、映像信号の再生出力については停止させ、受信した音声信号のみが再生出力されるようにする。
【００６３】
ここで第３の実施の形態にあっては、保留期間用データ１９ａとして、画像データを利用するものとする。ここでは、画像データとしての保留期間用データ１９ａを、保留期間用画像データということにする。
そして、着信側テレビ会議端末装置１−２は、保留期間Ｔ１−１において、ステップＳ４１０により、記憶部１９に対して上記保留期間用画像データの読み出しを実行する。次に、ステップＳ４１１により、この保留期間用画像データに基づいて保留期間用画像としての映像信号を生成する。
【００６４】
続いて、着信側テレビ会議端末装置１−２は、先ず、ステップＳ４１２により、上記保留期間用画像データの映像信号を利用して、自身に接続されたディスプレイ装置４−２にて保留期間用画像が表示されるようにするための表示制御を実行する。
また、これとともにステップＳ４１３により、保留期間用画像の映像信号を発信側テレビ会議端末装置１−１に対して送信する。
【００６５】
そのうえで、ステップＳ４１４にてタイマ時間が経過するのを待機し、タイマ時間が経過したとされると、ステップＳ４１５〜Ｓ４１７の手順を実行する。
ステップＳ４１５は、これまでの発信側テレビ会議端末装置１−１に対する保留期間用画像データの映像信号の送信を停止させ、これに代えて、撮像画像の映像信号を送信する動作となるようにして制御を実行する。
ステップＳ４１６によっては、これまでのディスプレイ装置４−２に対する保留期間用画像データの画像の表示出力を停止させ、ステップＳ４１７により、受信映像信号の表示出力が開始されるように制御する。
【００６６】
上記の構成では、ステップＳ４１３により、保留期間Ｔ１−１において、発信側テレビ会議端末装置１−１側にて保留期間用画像がディスプレイ装置４−１に表示される。これにより、例えば保留期間Ｔ１−１において、発信側テレビ会議端末装置１−１側では、撮像画像以外で、例えば会議参加者にとって有意な内容の画像を表示させることが可能になるものであって、例えば特に有意な画像を表示させない場合と比較すれば、保留期間Ｔ１−１を有効に活用していることになる。
【００６７】
また、この場合においては、ステップＳ４１２により、同様にして、着信側テレビ会議端末装置１−２側でも、保留期間用画像データの画像をディスプレイ装置４−２に表示させることとしており、着信側においても、保留期間Ｔ１−１の有効活用を図ることとしている。
【００６８】
上記図６に対応して、発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２において表示される保留期間用画像の表示態様例を、図７に示す。
例えば図７（ａ）は、ディスプレイ装置４−１、４−２の表示画面部４０に表示される保留期間用画像の態様例として、表示開始時に対応するものとされる画像内容を示している。この図においては、例えば「ただいまスタンバイ中」（ここでのスタンバイは保留と同義で用いられている）などのようにして文字画像が示されていることで、現在、会議用の画像（撮像画像）が表示開始されるのを（通常画像・音声出力期間Ｔ２が開始されるのを）待機している状態であることが会議参加者に告知されるようになっている。
また、この場合においては、画像の右下に設定した残り時間表示領域４１に示されるようにして、会議用の画像（撮像画像）が表示開始されるまでの残り時間を示すこととしている。この残り時間表示領域４１にて表示される残り時間（ここでは秒単位となっている）を示す数字は、これ以降、ほぼ１秒が経過するごとに小さくなるようにして変化して表示され、例えば図７（ａ）の保留期間用画像の表示開始時から、４秒程度が経過した時点では、残り時間表示領域４１においては、図７（ｂ）に示すような表示内容に変化していることになる。
そして、例えばこの後、ほぼ１秒が経過して、これとともに、通常画像・音声出力期間Ｔ２に至ったとされると、図７（ｃ）に示すようにして、例えば、通信相手側の撮像画像が表示される。
【００６９】
なお、残り時間表示領域４１を表示させる構成として、１つには、残り時間表示領域４１における残り時間を示す数字が時間経過に従って変化するようにして作られた動画に対応する保留期間用画像データを記憶させておき、この保留期間用画像データの映像信号を表示に利用するとが考えられる。また、保留期間用画像データとしては、静止画若しくは、残り時間表示領域４１以外の部分が動く動画としての画像データを記憶させておくこととして、映像信号処理／表示制御部１１が有する、いわゆるオンスクリーンディスプレイ機能により、残り時間表示領域４１に対応する画像データを生成することとしたうえで、この画像データを保留期間用画像データに重畳した映像信号を表示に利用する、という構成も考えられる。
【００７０】
また、上記図７に示した保留期間用画像の態様は一例であり、例えばより娯楽性のあるものであるとか、なんらかの有用な情報を提供するものなど、多様に考えられる。また、静止画を表示させてもよいし、時間経過に応じて変化する動画像を表示させるようにして構成してもよい。
【００７１】
また、発信側テレビ会議端末装置１−１と、着信側テレビ会議端末装置１−２に表示させる保留期間用画像は、それぞれが異なる内容のものとされてよい。このためには、保留期間用画像データについて、発信側に対応するものと着信側に対応するものとで２種類を用意しておき、ステップＳ４１０、Ｓ４１１により、これらの２種類の保留期間用画像データを読み出して、それぞれ映像信号を生成する。そして、ステップＳ４１２による保留期間用画像表示には、着信側の映像信号を利用し、ステップＳ４１３によっては、発信側の映像信号を送信すればよい。
【００７２】
また、保留期間用画像は、発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２のいずれか一方のみの側で表示されるようにしてもよい。このためには、ステップＳ４１２とステップＳ４１３のいずれか一方の手順を省略すればよい。
【００７３】
また、このような保留期間用画像の表示も、会議だけではなく、企業、顧客との間でのコミュニケーションにテレビ会議システムを利用する際に有用となるものである。例えば、顧客側が使用するテレビ会議端末装置からの発信を受けて、企業側が使用するテレビ会議端末装置が、着信に応じて上記の処理を実行することとすれば、顧客側のディスプレイ装置に対して、先に述べた案内や、注意事項を、画像として表示させるということができるからである。
【００７４】
図８は、第４の実施の形態に対応する映像・音声通信確立手順の一例を示している。
この図において、接続準備期間Ｔ１において発信側テレビ会議端末装置１−１が実行するステップＳ１０１〜Ｓ１０６の手順は図４と同様となる。また、同じ接続準備期間Ｔ１において着信側テレビ会議端末装置１−２が実行するステップＳ５０１〜Ｓ５０６も、図４のステップＳ２０１〜Ｓ２０６と同様となる。
【００７５】
この場合の着信側テレビ会議端末装置１−２も、ステップＳ５０６に続けて、先ず、ステップＳ５０７によりタイマ２０を起動させることで、接続準備期間Ｔ１に続けて保留期間Ｔ１−１を設定することになる。
続くステップＳ５０８〜Ｓ５１２は、先の第３の実施の形態に対応する図６におけるステップＳ４０８〜Ｓ４０７と同様であり、これにより、着信側テレビ会議端末装置１−２側においては保留期間用画像の表示が開始され、発信側テレビ会議端末装置１−１側からの収音音声の再生出力が開始される。また、ここまでの段階においては、着信側テレビ会議端末装置１−２は、発信側テレビ会議端末装置１−１に対して、収音音声の音声信号のみを送信している状態にあるものとされる。
【００７６】
そして、ステップＳ５１３によっては、ステップＳ４１３のようにして発信側テレビ会議端末装置１−１に対して保留期間用画像の映像信号を送信することに代えて、保留期間用画像の表示を要求するコマンドを発信側テレビ会議端末装置１−１に対して送信する。
【００７７】
第４の実施の形態に対応しては、発信側テレビ会議端末装置１−１も、記憶部１９において保留期間用データ１９ａとして、保留期間用画像データとしてのデータ内容を有するようにされる。
そして、上記ステップＳ５１３に対応して送信されてくる保留期間用画像表示要求の受信したことに応じては、ステップＳ１０７により、記憶部１９から保留期間用画像データの読み出しを行って、ステップＳ１０８により、この保留期間用画像データを利用して保留期間用画像用の映像信号を生成する。そして、この映像信号により、ディスプレイ装置４−１にて保留期間用画像の表示出力を実行させる。
【００７８】
着信側テレビ会議端末装置１−２は、上記ステップＳ５１３までの手順を実行すると、ステップＳ５１４にてタイマ時間が経過するのを待機し、タイマ時間が経過したとされると、ステップＳ５１５〜Ｓ５１８の手順を実行する。
ステップＳ５１５では、発信側テレビ会議端末装置１−１に対して、保留期間用画像の表示停止を要求するコマンドを送信する。発信側テレビ会議端末装置１−１は、この要求の受信に応答して、ステップＳ１０９により、これまでの保留期間用画像の表示出力を停止させる。
ステップＳ５１６では、これまで停止させていた撮像画像の映像信号の送信動作が開始されるようにして制御を実行する。これにより、以降は、撮像画像の映像信号及び収音音声の音声威信号が発信側テレビ会議端末装置１−１に対して送信される。
ステップＳ５１７によっては、これまでのディスプレイ装置４−２に対する保留期間用画像データの画像の表示出力を停止させ、ステップＳ５１８により、受信映像信号の表示出力が開始されるように制御する。
【００７９】
図９は、第５の実施の形態に対応する映像・音声通信確立手順の一例を示している。
この図において、接続準備期間Ｔ１において発信側テレビ会議端末装置１−１が実行するステップＳ１０１〜Ｓ１０６の手順は図４と同様となるが、着信側テレビ会議端末装置１−２にて、次のような手順を接続準備期間Ｔ１において実行することで、着信が得られてから通常画像・音声出力期間Ｔ２が開始されるまでの待機期間としての時間が、図３の場合よりも延長されるようにする。
【００８０】
着信側テレビ会議端末装置１−２は、ステップＳ２０１による着信処理として、これまでの実施の形態と同様にして、発信側テレビ会議端末装置１−１からの発信信号を受信検知すると、ステップＳ２０２の応答信号の送信を即座に実行するのではなく、ステップＳ２０１−１、Ｓ２０−２として示すように、所定のタイマ時間が設定されたタイマ２０の計時をスタートさせて、このタイマ２０のタイマ時間が経過するのを待機するという手順を挿入する。そして、タイマ時間が経過したのであれば、ステップＳ２０２により応答信号を送信し、以降、例えば図３などと同様にして、ステップＳ２０３〜ステップＳ２０６までの手順を実行し、以降は、通常画像・音声出力期間Ｔ２として、撮像画像の映像信号及び収音音声の音声信号を送受信して、受信映像・音声信号を再生出力する動作を開始させる。
【００８１】
このような手順によっては、接続準備期間Ｔ１において、着信処理が実行されてから、これに応じた応答信号の送信が実行されるまでの間に、タイマ２０に設定されたタイマ時間に相当する遅延が生じることになる。つまり、図９に示す応答遅延期間Ｔ１１が生じることになる。この結果、これまでの実施の形態と同様にして、着信が得られてから通常画像・音声出力期間Ｔ２が開始されるまでの待機期間としての時間が延長される。
【００８２】
なお、上記図９に示した第５の実施の形態の変形例としては、ステップＳ２０１による着信処理の実行タイミング以降から通常画像・音声出力期間Ｔ２が開始されるまでの期間内において、同じ着信側テレビ会議端末装置１−２の側にて、自身の記憶部１９に記憶している保留期間用データ１９ａを利用しての保留期間用音声、保留期間用画像などを再生出力させることが考えられる。
【００８３】
また、第２〜第４の実施の形態においては、保留期間用データ１９ａとして、保留期間用音声データと保留期間用画像データのいずれか一方のみを再生出力するものとされているが、これらの実施の形態の組み合わせにより、保留期間用音声データと保留期間用画像データとを同時に再生出力することで、いわゆる音声付き動画が再生出力されるように構成してよい。
【００８４】
また、これまでの実施の形態の説明では、テレビ会議システムにおいて２つのテレビ会議端末装置１−１、１−２が一対一の関係で通信をする場合を示したが、これは、テレビ会議システムとして最もシンプルな形態を例に挙げることで、説明が簡単なものとなることを配慮したものである。実際においては、３以上の音声通信端末装置によりテレビ会議システムを構築して、一対多の通信を行うようにすることも考えられるが、このようなシステム構成においても、本願発明に基づいた構成は、個々の音声通信端末装置に対して適用可能である。
【図面の簡単な説明】
【００８５】
【図１】本発明の実施の形態に対応するテレビ会議システムの構成例を示す図である。
【図２】本実施の形態のテレビ会議端末装置の内部構成例を、これと接続される撮像装置、ディスプレイ装置等と共に示す図である。
【図３】実施の形態のテレビ会議システムの構成の下で実現できる、映像・音声通信確立手順例を示すフローチャートである。
【図４】第１の実施の形態に対応する映像・音声通信確立手順例を示すフローチャートである。
【図５】第２の実施の形態に対応する映像・音声通信確立手順例を示すフローチャートである。
【図６】第３の実施の形態に対応する映像・音声通信確立手順例を示すフローチャートである。
【図７】第３の実施の形態に対応する保留期間用画像の表示態様例を示す図である。
【図８】第４の実施の形態に対応する映像・音声通信確立手順例を示すフローチャートである。
【図９】第５の実施の形態に対応する映像・音声通信確立手順例を示すフローチャートである。
【符号の説明】
【００８６】
１（１−１、１−２） テレビ会議端末装置、２（２−１、２−２） 撮像装置、２ａ ズーム機構部、３ａ パン機構部、３ｂ チルト機構部、４（４−１、４−２） ディスプレイ装置、５（５−１、５−２） リモートコントローラ、１１ 映像信号処理／表示制御部、１２ エンコーダ、１３ デコーダ、１４ 通信部、１５ ＰＴＺ駆動制御部、１６ パン／チルト駆動制御部、１７ ズーム駆動制御部、１８ 制御部、１９ 記憶部、１９ａ 保留期間用データ、２０ タイマ、２１ 音声信号処理部、２４ 音声エンコーダ、２５ 音声デコーダ、４０ 表示画面部、４１ 残り時間表示領域
【技術分野】
【０００１】
本発明は、例えばテレビ会議システムなどを構成するものとして、映像・音声を送受信することのできる通信端末装置と、この通信端末装置において映像・音声の通信、再生出力などに関する処理を行う映像・音声処理方法とに関する。
【背景技術】
【０００２】
テレビ会議システムにおいては、互いに離れた会議場などの場所ごとにテレビ会議システム対応の端末装置を設け、さらにこの端末装置に撮像装置及びディスプレイ装置を接続する。そして、１つの近端としての或る会議場においては、例えばその会議場に居る会議参加者などを撮像装置により撮像して得た撮像画像を端末装置経由で、遠端となる他の会議場の端末装置に対して送信する。遠端側の端末装置は、近端側から送信されてきた撮像画像を受信し、これを自身に接続されているディスプレイに表示させる。
また、端末装置には、マイクロフォンとスピーカも接続され、近端側のマイクロフォンにより収音して得られる近端話者の音声信号を、端末装置経由で遠端側に送信する。遠端側の端末装置では、受信した音声信号をスピーカから出力する。
これにより、テレビ会議システムによっては、通信相手の会議場の様子をディスプレイ装置に表示させながら会話を行うようにして、会議を進行させていくことができる。
【０００３】
このようなテレビ会議システムにおいて端末装置同士を接続するのにあたっては、或る１つの端末装置から、他の端末装置に対して発呼を行い、他の端末装置が着呼により応答する。この後、例えば互いの端末装置間における通信のパラメータについての交渉処理などが行われた後、接続が確立される。このように接続が確立されて以降、撮像画像の映像信号や収音音声の音声信号を送受信することが可能となり、互いに遠端側の端末装置側にて撮像、収音された画像・音声を再生出力させて視聴することができる。つまり、接続が確立されたタイミングから、会議、即ち相互に離れた場所間でのコミュニケーションを実質的に開始させていくことができる。
【０００４】
【特許文献１】特開平７−１７０５０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本願発明は、例えば上記したようなテレビ会議システムなどを構成する端末を利用したコミュニケーションの開始に関して、ユーザにとって便宜が図られるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
そこで本発明は上記した課題を考慮して通信端末装置として次のように構成する。
つまり、他の通信端末装置と通信を行う通信手段と、この通信手段を利用して発着信に対応する所定の発着信対応処理を実行する発着信対応処理実行手段と、発着信対応処理が実行された後において、他の通信端末装置との映像信号及び／又は音声信号の送受信のための映像・音声通信処理に必要とされる準備処理を、他の通信端末装置との間での所定の手順に従った通信により実行する準備処理実行手段と、準備処理が実行された後において映像・音声通信処理を実行させる映像・音声通信制御手段と、映像・音声通信処理により他の通信端末装置から送信される映像信号及び／又は音声信号を受信して、映像信号については画像として、音声信号については音声として再生出力させる再生出力手段と、発着信対応処理を実行したとされるタイミングに応じた所定の時点から、再生出力手段により画像及び／又は音声の再生出力が開始されるものとするタイミングに応じた所定の時点までの待機期間が、発着信対応処理、準備処理、映像・音声通信処理のシーケンスを通常に実行させた場合よりも所定時間だけ延長されるようにして、待機期間内において保留期間を設定する保留期間設定手段とを備えることとした。
【０００７】
上記構成による通信端末装置は、発着信対応処理、準備処理を経て映像・音声通信処理を開始するようにされ、映像・音声通信処理により受信して得られる映像信号及び／又は音声信号を再生出力することができるようになっている。そのうえで、発着信対応処理を実行したとされるタイミングから、映像・音声通信処理により受信して得られる映像信号及び／又は音声信号の再生出力を開始するまでのタイミングに対応する待機期間内において保留期間を設定することで、この待機期間を強制的に延長するようにされる。
【発明の効果】
【０００８】
上記のようにして、待機期間が延長されることによっては、他の通信端末装置から送信されてきた映像及び／又は音声の再生出力を開始するタイミングが遅延されることになる。これにより、例えば通信端末装置を利用して、他の通信端末装置側にいる者とコミュニケーションを行おうとしているユーザにとっては、発着信があってから、保留期間に対応する時間だけ待って、他の通信端末装置側との実質的なコミュニケーションを開始することができる。
【発明を実施するための最良の形態】
【０００９】
本願発明を実施するための最良の形態（以下、実施の形態という）としては、テレビジョン会議システム(テレビ会議システム)において備えられる端末装置（テレビ会議端末装置）に本願発明を適用する。
テレビ会議システムは、場所の異なる会議場ごとに通信端末であるテレビ会議端末装置を設置し、このテレビ会議端末装置から、撮像装置により撮影した画像と、マイクロフォンにより収音した音声を他のテレビ会議端末装置に送信させると共に、他のテレビ会議端末装置から送信されてきた画像と音声を受信して、それぞれ、ディスプレイ装置、スピーカから出力させるように構成される。つまり、テレビ会議システムでは、画像を相互に送受信する映像送受信系と、音声を相互に送受信する音声送受信系とを備える。
【００１０】
図１は、テレビ会議システムの構成例を示している。
この場合には、互いに離れた２つの場所Ａ、場所Ｂが会議場とされており、これらの場所Ａ，Ｂのそれぞれにおいて、テレビ会議端末装置１−１、１−２が設置される。これらのテレビ会議端末装置１−１、１−２は、所定の通信方式に対応する通信回線により接続されて、相互通信が可能なようにされている。
また、場所Ａにおいては、テレビ会議端末装置１−１とともに、撮像装置２−１、雲台３−１、ディスプレイ装置４−１、スピーカ６−１、マイクロフォン７−１が備えられる。
撮像装置２−１は、画角調整のためのズーム機構を備え、雲台３−１に取り付けられている。雲台３−１は、パン機構とチルト機構を備えることで、取り付けられた撮像装置の撮像方向（撮像視野）を、所定角度範囲で上下方向及び左右方向に変更することが可能とされている。
また、リモートコントローラ５−１は、テレビ会議端末装置１−１の動作をユーザが遠隔操作するために設けられる。
スピーカ６−１からは、後述するようにして、例えば遠端側のテレビ会議端末装置１−２から送信されてくる音声信号を音声として再生出力させることができる。
マイクロフォン７−１は音声を収音する。この収音によって得られる音声信号は、テレビ会議端末装置１−１により、例えば遠端側のテレビ会議端末装置１−２に対して送信することができる。
同様にして、場所Ｂにおいては、テレビ会議端末装置１−２とともに、撮像装置２−２、雲台３−２、ディスプレイ装置４−２、スピーカ６−２、マイクロフォン７−２が備えられる。
【００１１】
なお、以降の説明において、テレビ会議端末装置、撮像装置、雲台、ディスプレイ装置、リモートコントローラ、スピーカ、マイクロフォンなどについて、特に離れた場所にある同一のものを区別する必要のない場合には、テレビ会議端末装置１、撮像装置２、雲台３、ディスプレイ装置４、リモートコントローラ５、スピーカ６、マイクロフォン７などのようにして表記する。
【００１２】
この図に示されるテレビ会議システムとしての基本的動作は、例えば次のようになる。
先ず、場所Ａにおいて、撮像装置２−１により撮像して得られた映像信号は、テレビ会議端末装置１−１に入力される。テレビ会議端末装置１−１は、入力された映像信号を、通信回線を経由してテレビ会議端末装置１−２に対して送信する。テレビ会議端末装置１−２は、送信されてきた映像信号を受信し、ディスプレイ装置４−１により画像として再生出力させる。
また、同様にして、場所Ｂ内の撮像装置２−２により撮像して得られた映像信号は、テレビ会議端末装置１−２によりテレビ会議端末装置１−１に送信される。テレビ会議端末装置１−１では、受信した映像信号を、ディスプレイ装置４−１から出力させる。このときディスプレイ装置には、遠端側となる場所Ｂの撮像装置２−２により撮像された撮像画像として、例えば動画が表示される。
【００１３】
また、場所Ａのマイクロフォン７−１により収音して得られた音声信号は、テレビ会議端末装置１−１から場所Ｂのテレビ会議端末装置１−２に対して通信回線経由で送信する。テレビ会議端末装置１−２では、この送信されてくる音声信号を受信して、スピーカ６−２から音声として再生出力する。同様に、場所Ｂのマイクロフォン７−２により収音されてテレビ会議端末装置１−２により送信された音声信号は、場所Ａのテレビ会議端末装置１−１により受信され、スピーカ６−１から音声として再生出力される。
【００１４】
上記のようにして、テレビ会議システムの映像送受信系及び音声送受信系では、それぞれ、映像、音声の双方向通信を行うものであり、これにより、例えば或る１つの場所にいる会議参加者は、ディスプレイ装置４にて表示される他の場所の会議場の様子を見て、視覚的に把握することができる。また、例えば或る１つの場所にいる会議参加者は、他の場所の会議場にいる会議参加者の発言した音声を、スピーカ６から聴くことができる。このようにして、離れた場所にいる会議参加者同士がコミュニケーションをとって、例えば会議を進行させていくことができる。
【００１５】
図２は、１つの場所において備えられるテレビ会議システムを、テレビ会議端末装置１の内部構成例とともに示している。なお、図１との対応では、テレビ会議端末装置１−１、１−２は、この図２に示す構成を共通に有するものとして考えればよい。
【００１６】
この場合の撮像装置２においては、撮像のための光学系と、撮像光を利用して映像信号を生成する信号処理部とを備えるものとされる。撮像装置２から出力される映像信号（撮像映像信号）は、テレビ会議端末装置１における映像信号処理／表示制御部１１に対して入力される。
また、撮像装置２の光学系に対応しては、ズームレンズの位置を移動させて画角を変更するための機構を有して成る、ズーム機構部２ａを備える。
また、雲台３は、取り付けられた撮像装置２の撮像視野を左右に変更するための機構であるパン機構部３ａと、上記撮像視野を上下に変更するための機構であるチルト機構部３ｂとを有して成る。
【００１７】
映像信号処理／表示制御部１１は、入力される映像信号について必要に応じて所定の信号処理を実行するとともに、ディスプレイ装置４に対して画像を表示させるための表示制御を実行する。
【００１８】
例えば、映像信号処理／表示制御部１１は、撮像装置２から入力される撮像映像信号について必要に応じて所要の信号処理を施したうえでで、映像エンコーダ１２に転送する。
【００１９】
映像エンコーダ１２は、入力される映像信号について所定方式による画像圧縮符号化処理を実行して、通信部１４に対して転送する。通信部１４は、制御部１８の制御に応じて、映像エンコーダ１２から転送されてくる圧縮画像データについて、所定の通信方式に従って、通信回線経由で、他のテレビ会議端末装置に対して送信する。
【００２０】
また、他のテレビ会議端末装置から送信されてきた圧縮画像データは、通信部１４にて受信されて、映像デコーダ１３に転送される。
映像デコーダ１３は、入力されてくる圧縮画像データについて、画像圧縮符号化に対する復調（デコード）処理を実行して所定形式の映像信号を得る。このようにして得た映像信号を映像信号処理／表示制御部１１に転送する。
【００２１】
映像信号処理／表示制御部１１は、例えば上記のようにして映像デコーダ１３から転送される映像信号の画像がディスプレイ装置４にて表示されるようにするための表示制御を実行することができる。これにより、他の会議場において撮影された画像が、ディスプレイ装置４にて表示されることになる。
また、映像信号処理／表示制御部１１は、撮像装置２による撮像に基づいて得られる上記撮像映像信号について、ディスプレイ装置４にて所定の態様により表示されるようにして表示制御を実行することも可能とされている。
さらに、映像信号処理／表示制御部１１は、制御部１８の制御に応じて、各種の操作画像をディスプレイ装置４により表示させるための画像生成処理、表示制御処理を実行可能とされている。
なお、映像信号処理／表示制御部１１は、その一部、あるいは全ての機能をＤＳＰ(Digital Signal Processor)により構成することができる。
【００２２】
また、マイクロフォン７により収音して得られた収音音声信号は、Ａ／Ｄコンバータ２３により例えばＰＣＭ(Pulse Code Modulation)形式のデジタル音声信号に変換されて音声信号処理部２１に入力される。
音声信号処理部２１は、入力される音声信号について、例えばデジタル信号処理による所要の音声信号処理を施す部位とされる。例えば上記Ａ／Ｄコンバータ２３から入力されるデジタル音声信号については、音声信号処理部２１は、必要に応じて所定の信号処理を施したうえで、音声エンコーダ１３に転送することができる。音声エンコーダ１３は、入力されるＰＣＭ形式の音声信号について、所定方式による音声圧縮符号化を行い、通信部１４に出力する。通信部１４は、制御部１８の制御に応じて、音声エンコーダ２４から転送されてくる圧縮音声信号データについて、通信回線１０１経由で、接続先の通信端末装置に対して送信する。このようにして近端側の話者音声を、接続先（遠端側）の通信端末装置に対して送信することができる。
【００２３】
また、接続先の通信端末装置から送信されてきた圧縮音声信号データは、通信部１４にて受信され、音声デコーダ２５に対して転送される。音声デコーダ２５では、入力されてくる圧縮音声信号データについて、音声圧縮符号化に対する復調（デコード）処理を実行してＰＣＭ形式の音声信号を得て、音声信号処理部２１に対して転送する。
【００２４】
音声信号処理部２１は、音声デコーダ２５から転送されてくるデジタル音声信号について必要に応じた信号処理を施した上で、Ｄ／Ａコンバータ２２に転送することができる。
Ｄ／Ａコンバータ２２は、入力されるデジタル音声信号をアナログ信号に変換して出力する。このようにして出力された音声信号は、例えば実際においては増幅などを経てスピーカ６に出力される。これにより、スピーカ６からは、接続先の通信端末装置から送信されてきた話者音声が再生出力される。
【００２５】
なお、上記これまでの説明から分かるように、テレビ会議端システムにおける音声送受信系としては拡声通話系といわれるものとなるが、このような拡声通話系をそのまま使用したのでは、エコー、ハウリングなどの現象を生じることが知られている。つまり、スピーカ６から空間に放出された音は、直接音及び間接音としての空間伝搬経路（エコーパス）を経て、マイクロフォン７に到達する。つまり、接続先の通信端末装置から送信されスピーカ６から放出された相手側話者の声がマイクロフォン２にて収音され、再び、接続先の通信端末装置に送信される。また、接続先の通信端末装置側においてもにおいても、さらにスピーカから放出された音がマイクロフォンで収音されて、こちらの通信端末装置に送信されてくる。即ち、拡声通話系では、一度空間に放出された音が、通信端末装置間で循環するようにして送受信される。これにより、スピーカから放出される音には、自分が今話している声が、或る遅延時間をもってこだまのようにして聴こえるものが含まれることになる。これがエコーであり、ループゲインが１を越えればハウリングとなる。
音声信号処理部２１としては、例えば適応処理などにより上記のエコーをキャンセルするための信号処理を実行させるように構成できる。
また、音声信号処理部２１についても、その一部、あるいは全ての機能をＤＳＰにより構成することができる。
【００２６】
また、このテレビ会議端末装置１は、撮像装置２の撮像視野を可変制御する機能を有するものとされている。ここでの撮像視野の可変は、パン制御、チルト制御、ズーム制御の組み合わせによるものとする。パン制御、チルト制御は、撮像装置の撮像方向（撮像視野）をそれぞれ左右方向、上下方向に可変する制御で、ズーム制御は、撮像装置の画角を変更する制御である。これに対応して、テレビ会議端末装置１は、ＰＴＺ（ＰＴＺ:Pan(Panning),Tilt(Tilting),Zoom(Zooming)）駆動制御部１５を備える。
【００２７】
ＰＴＺ駆動制御部１５は、図示するようにして、パン／チルト駆動制御部１６とズーム駆動制御部１７とを備える。
パン／チルト駆動制御部１６は、制御部１８からのパン方向における移動量の指示情報に応じて、雲台３が備えるとされるパン機構部３ａにおけるパンモータを駆動するための駆動信号を生成して出力する。同様に、制御部１８からのチルト方向における移動量の指示情報に応じて、雲台３が備えるとされるチルト機構部３ｂにおけるチルトモータを駆動するための駆動信号を生成して出力する。これにより、撮像装置２の撮像視野として、左右方向（パン方向）と上下方向（チルト方向）の撮像方向を変更する制御が可能とされる。
また、ズーム駆動制御部１７は、制御部１９からの画角変更量の指示情報に応じて、撮像装置２の光学系において備えられるズーム機構部２ａにおけるズームモータを駆動するための駆動信号を生成して出力する。これにより、撮像視野として、画角を変更する制御が可能になる。
【００２８】
制御部１８は、例えばＣＰＵ、ＲＯＭ、ＲＡＭなどを有して成るマイクロコンピュータなどにより構成されるもので、テレビ会議端末装置１についての全体制御を実行する。
【００２９】
記憶部１９は、例えば不揮発性の記憶デバイスから成るもので、制御部１８が必要な各種のプログラム、データなどを記憶する。本実施の形態に対応しては、必要に応じて、保留期間用データ１９ａを記憶させるようにして構成することになる。
【００３０】
リモートコントローラ５は、テレビ会議端末装置１の動作についての各種の操作をユーザが行うための所要の操作子を備え、これらの操作子に対する操作に応じて、赤外線、あるいは電波などによりコマンド信号を送信する。このコマンド信号は、受信部２０にて受信復調されることで操作情報信号に変換されて制御部１８に入力される。制御部１８は、入力される操作情報信号に応答して所要の制御、処理を実行する。
【００３１】
図３は、上記構成によるテレビ会議端末装置１により実現できる、映像・音声送受信のための通信を開始させるまでの手順例を示している。なお、この場合においてテレビ会議端末装置１同士が通信を開始するのにあたっては、先ず、双方の間で発着信が行われることを前提とする。また、この発着信にあたって、着信は自動的に行われるものとする（自動着信）。また、図１との対応に準じて、発信を行う側のテレビ会議端末装置１については発信側テレビ会議端末装置１−１と表記し、着信が行われる側のテレビ会議端末装置１については着信側テレビ会議端末装置１−２とも表記する。
【００３２】
先ず、リモートコントローラ５−１に対して、例えば通信相手を指定しての通信開始を指示する操作が行われたとすると、この操作に応じて、発信側テレビ会議端末装置１−１は、ステップＳ１０１により発信処理を実行する。つまり、指定された通信相手となる着信側テレビ会議端末装置１−２に対して、発信信号を送信する。
【００３３】
この発信信号の送信に応じては、着信側テレビ会議端末装置１−２がステップＳ２０２により着信処理を実行する。つまり、送信されてきた発信信号を受信したことに基づき、着信を検知する。そして、着信側テレビ会議端末装置１−２は、上記ステップＳ２０１による着信処理に続き、ステップＳ２０２により着信応答としての信号（着信応答信号）を送信する。なお、上記ステップＳ２０２、Ｓ２０３は、着信処理といえるものであるが、ここでは、自動着信が設定されているものとする。従って、ステップＳ２０２の着信応答信号の送信は、ステップＳ２０１により着信を検知したことに応じて、直ちに実行するようにされる。
上記ステップＳ２０２により送信された着信応答信号は、発信側テレビ会議端末装置１−１により、ステップＳ０１０２にて受信する。
【００３４】
上記ステップＳ１０１、Ｓ２０１、Ｓ２０２、Ｓ１０２により、発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２のそれぞれが、発着信に対応した処理（発着信対応処理）を実行した後は、発信側テレビ会議端末装置１−１のステップＳ１０３、及び着信側テレビ会議端末装置１−２のステップＳ２０３として示すようにネゴシエーションを実行する。このネゴシエーションは、例えば相互で正常に、映像信号及び音声信号（映像・音声信号）を送受信できる通信環境をはじめとして、必要な設定について、交渉により取り決めを行う処理となる。このネゴシエーションによって、例えば通信プロトコル、通信速度などが設定される。
発信側テレビ会議端末装置１−１のステップＳ１０４、及び着信側テレビ会議端末装置１−２のステップＳ２０４によりネゴシエーションの完了が確認されると、発信側テレビ会議端末装置１−１及び着信側テレビ会議端末装置１−２は、それぞれ、ステップＳ１０５、Ｓ２０５により映像・音声送受信オープン処理を実行させる。この処理は、例えば適宜必要に応じて発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２とで通信を行いながら、上記ネゴシエーションにより取り決められた通信環境などについての設定を実行するものとなる。
【００３５】
そして、発信側テレビ会議端末装置１−１のステップＳ１０６、及び着信側テレビ会議端末装置１−２のステップＳ２０６により、映像・音声送受信オープン処理の完了を確認すると、以降においては、発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２との間で、映像信号及び音声信号の相互送受信（映像・音声送受信）が可能となる。この図では、上記ステップＳ１０６、Ｓ２０６により映像・音声送受信オープン処理を完了させたタイミングで、現に、映像・音声送受信を開始させているものとする。
【００３６】
ここで、着信側テレビ会議端末装置１−２にて、既に、受信した映像・音声信号をディスプレイ装置４−２及びスピーカ６−２から出力できるように内部動作の設定が行われているものとする。この場合、ステップＳ２０６の処理に続くタイミングで、ディスプレイ装置４−２においては、発信側テレビ会議端末装置１−１側の撮像装置２−１により撮像して得られた撮像画像の表示が開始され、スピーカ６−２からは、発信側テレビ会議端末装置１−１側のマイクロフォン７−１により収音して得られた音声の再生出力が行われることになる。つまり、着信側テレビ会議端末装置１−１において、発信側テレビ会議端末装置１−１側にて得た撮像画像及び収音音声の再生出力が開始される。
また、同様にして、発信側テレビ会議端末装置１−１においても、ステップＳ１０６の処理を実行した後は、ディスプレイ装置４−１及びスピーカ６−１から、着信側テレビ会議端末装置１−２の側にて得た撮像画像及び収音音声の再生出力が開始される。
【００３７】
上記図３に示す手順のシーケンスについて、先ず、ステップＳ１０１の発信処理に応じた、Ｓ２０１による着信処理が実行されてから、ステップＳ２０５、Ｓ２０６に対応して映像・音声送受信オープン処理が完了するまでの期間は、映像・音声送受信のための通信を確立するまでの準備期間としてみることができるので、接続準備期間Ｔ１ということにする。
また、図３の場合においてステップＳ２０５、Ｓ２０６が実行されて以降の期間は、上記したように、通信相手側にて得られた撮像画像・音声が再生出力され、また、このような撮像画像・音声の再生出力が、テレビ会議システムにおける通常時の映像・音声再生出力の態様となることに因み、通常画像・音声出力期間Ｔ２ということにする。この通常画像・音声出力期間Ｔ２に
【００３８】
ところで、以前においては、ネゴシエーションなどの処理に比較的多くの時間が必要とされる場合がほとんどであったために、接続準備期間Ｔ１も相応に長い時間となっていた。これは、例えば着信側テレビ会議端末装置１−２側の会議参加者（ユーザ）から見れば、ステップＳ２０１の着信処理に応じた着信音が得られてから、通常画像・音声出力期間Ｔ２に至って、相手側とのコミュニケーションが可能になるまでにも、相応の時間がかかるということになる。しかし、会議参加者等はこのことを承知しているので、むしろ、この接続準備期間Ｔ１が或る程度長いことを利用して、その間において、軽く身支度を調えたり、書類を揃えたり、気持ちの切り換えをするなどして、会議（コミュニケーション）に臨む準備をすることができていた。
【００３９】
ところが、現状においては、例えば通信速度の高速化であるとか、ネゴシエーション処理のシーケンスの工夫などにより、ネゴシエーションなどの処理に要する時間が相当に短縮されるようになってきており、これに応じて、接続準備期間Ｔ１も短縮されてきている傾向にある。一例であるが、接続準備期間Ｔ１としての実際の時間長は、以前は数秒を要していたものが、現状では、１秒程度にまで短縮されている。接続準備期間Ｔ１が短縮されれば、それだけ通常画像・音声出力期間は早く到来する。つまり、現在では、発着信があってから、相手側の撮像画像及び収音音声が再生出力開始されてコミュニケーションが可能となるまでの待機時間が非常に短縮されている傾向にある。
このために、会議参加者にとっては上記の会議に臨む準備をする時間的余裕が無いという状況が生じてきている。この問題は、特に着信側のほうが大きい。通常、発信側のテレビ会議端末装置１に発信動作を実行させるためには、同じ発信側の会議参加者（ユーザ）がそのための操作を行うので、発信側の会議参加者は、発信操作が行われるときには既に準備ができている状態とすることができる。これに対して着信側の会議参加者は、発信に応じた着信が何時あるのか予期できない。そして、着信があれば、すぐさま相手側の撮像画像が表示されてしまうために、どうしてもとまどいがちになってしまう。
そこで、本実施の形態は、上記の問題を解決するものとして、以降説明するようにしてテレビ会議端末装置１を構成する。なお、以降においては、第１〜第５の実施の形態を挙げるが、図１及び図２に示したテレビ会議システム、及びテレビ会議端末装置１の構成自体は、各実施の形態で共通となる。
【００４０】
第１の実施の形態としては、着信側として動作するテレビ会議端末装置１−２が実行する手順が対応するものとなる。
図４は、第１の実施の形態に対応する、発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２との間での、発着信対応処理から映像・音声送受信が開始されるまでの手順（以降、映像・音声通信確立手順ともいうことにする）の一例を示している。
【００４１】
この図において、接続準備期間Ｔ１において発信側テレビ会議端末装置１−１及び着信側テレビ会議端末装置１−２がそれぞれ実行する、ステップＳ１０１〜Ｓ１０６、及びＳ２０１〜Ｓ２０６までの手順は、図３と同様であることから、ここでの説明は省略する。
【００４２】
この場合においても、ステップＳ１０６、Ｓ２０６により映像・音声送受信オープン処理が完了したとされる以降においては、発信側テレビ会議端末装置１−２と着信側テレビ会議端末装置１−２は、相互に映像・音声送受信を実行することが可能なようにして通信接続が確立されている状態にある。
【００４３】
そのうえで、第１の実施の形態においては、着信側テレビ会議端末装置１−２側において、ステップＳ２０６に続けて、ステップＳ２０７により、タイマ２０による計時を開始させる（タイマスタート）。タイマ２０は、図２に示すようにして制御部１８が有する時計機能を利用して、制御部１８内において得られる機能部位となる。また、このタイマ２０に対しては、図において示される保留期間Ｔ１−１としての実時間長に対応するタイマ時間を設定する。
【００４４】
また、着信側テレビ会議端末装置１−２は、上記ステップＳ２０７によるタイマスタートとともに、ステップＳ２０８により、発信側テレビ会議端末装置１−１に対しては、映像・音声信号のうちで、映像信号の送信については停止させ、この結果、音声信号のみが送信される送信動作を設定する。
【００４５】
また、接続準備期間Ｔ１を終了した後は、発信側テレビ会議端末装置１−１から映像・音声信号が送信されてくる。着信側テレビ会議端末装置１−２は、接続準備期間Ｔ１を経過したことで映像・音声送受信の通信が確立されている状態にあるので、通常であれば、この映像・音声信号を受信して画像・音声として再生出力させることになる。しかし、ステップＳ２０９により、受信映像・音声信号のうち、映像信号を画像として表示出力（再生出力）させるための処理を停止させ、結果として、受信した音声信号の音声のほうのみがスピーカ６−２から再生出力されるようにする。
なお、上記ステップＳ２０７、ステップＳ２０８、ステップＳ２０９の手順は、例えば人の感覚からすれば、ほとんど同時に実行されるものとしてみることができるので、これらの手順を実行する順序が入れ替わるようにされても、実質的に特に問題はない。
【００４６】
そして、上記ステップＳ２０９までの手順を実行した後においては、ステップＳ２１０により、先のステップＳ２０７にてスタートさせたタイマ２０が計時するタイマ時間が経過するのを待機し、タイマ時間が経過すると、ステップＳ２１１の手順に進む。
【００４７】
ステップＳ２１１においては、先のステップＳ２０８において停止させた映像信号の送信を開始させる。この結果、以降において、発信側テレビ会議端末装置１−１に対して映像・音声信号をともに送信することになる。
また、ステップＳ２１２により、先のステップＳ２０９により停止させていた、受信映像信号の再生出力を開始させる。
なお、上記ステップＳ２１１及びステップＳ２１２の手順も、例えば人の感覚からすれば、ほとんど同時に実行されるものとしてみることができるので、これらの手順を実行する順序が入れ替わるようにされてもよい。
【００４８】
上記の処理手順によると、接続準備期間Ｔ１の後において、発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２との間で通常に、通信相手側の撮像画像、及び収音音声の双方の再生出力が開始されるタイミング、即ち、通常画像・音声出力期間が開始されて会議（コミュニケーション）が可能になるタイミングは、ステップＳ２１０によりタイマ時間が経過し、ステップＳ２１１、Ｓ２１２が実行されるタイミングであるとしてみることができる。
そして、この接続準備期間Ｔ１と通常画像・音声出力期間Ｔ２との間には、タイマ２０のタイマ時間に対応して、接続が確立していながら通常画像・音声の出力が強制的に停止される期間が挿入されることになるが、これが保留期間Ｔ１−１となる。
【００４９】
保留期間Ｔ１−１においては、ステップＳＳ２０９が実行されていることに応じて、着信側テレビ会議端末装置１−２においては、通信相手である発信側テレビ会議端末装置１−１側の撮像画像は表示されず、収音音声のみが音声として再生出力されることになる。
つまり、着信側テレビ会議端末装置１−２においては、着信に応じて接続準備期間Ｔ１が開始されてから保留期間Ｔ１−１が終了するまでの期間、相手側の撮像画像が表示されない。
これにより、接続準備期間Ｔ１が非常に短い時間長であるとしても、タイマ２０のタイマ時間の設定により、着信してから相手側の撮像画像が表示されるまでの期間（待機期間）について、会議参加者が準備を整えられるだけの充分に余裕のある時間長を設定できることになる。これにより、着信側テレビ会議端末装置１−２側の会議参加者は、以前と同様の感覚で、着信があってから準備を整え、それから会議を始めることが可能になる。
【００５０】
また、保留期間Ｔ１−１においては、ステップＳ２０８が実行されることで、通信相手である発信側テレビ会議端末装置１−１においては、着信側テレビ会議端末装置１−２側にて得た撮像画像も表示出力されないことになる。
これにより、発信側テレビ会議端末装置１−１側の会議参加者に、例えば着信側テレビ会議端末装置１−２側の会議参加者等が保留期間Ｔ１−１において準備をしている様子を見られることが無くなり、いわゆるプライバシー保護が図られる。
【００５１】
また、この場合においては、収音音声については、保留期間Ｔ１−１において、既に相互に送受信を行って再生出力させるようにしている。つまり、音声での相互のコミュニケーションは可能となっている。このように音声のみによるコミュニケーションが可能であるとしても、依然として相手側の撮像画像は表示されないから、着信側テレビ会議端末装置１−２の会議参加者に、会議の準備をする充分な余裕を与えることができると考えられる。また、プライバシー保護の点でも、撮像画像が通信相手側にて見えないようにすれば、ほぼその目的は果たされる。
また、本実施の形態の保留期間Ｔ１−１は、以前の比較的長時間の接続準備期間Ｔ１を強制的に作り出すものとしてみることができるのであるが、例えば保留期間Ｔ１−１において映像・音声の両者を再生出力させないものとすると、最近の接続準備期間Ｔ１が短いテレビ会議端末装置を使い慣れているユーザは、逆に、通信とかなんらかのトラブルが起きたと勘違いする場合もある。音声だけでも相互に再生出力できるようにしていれば、上記のような勘違いは解消できる。
もちろん、使用環境によって、収音音声も送受信させることが好ましくない、あるいは、収音音声が再生出力されなくとも、上記のような勘違いを生む可能性が無いような状況であれば、収音音声についても撮像画像と同じく相手側にて再生出力されないようなステップＳ２０７、Ｓ２０８の処理として、収音音声の再生出力も行われない結果が得られるようにしてよい。
【００５２】
次に、第２の実施の形態について説明する。図５は、第２の実施の形態の映像・音声通信確立手順の一例を示している。
この図において、接続準備期間Ｔ１において発信側テレビ会議端末装置１−１が実行するステップＳ１０１〜Ｓ１０６の手順は図４と同様となる。また、同じ接続準備期間Ｔ１において着信側テレビ会議端末装置１−２が実行するステップＳ３０１〜Ｓ３０６は、図４のステップＳ２０１〜Ｓ２０６と同様となる。
【００５３】
この場合の着信側テレビ会議端末装置１−２も、ステップＳ３０６に続けて、ステップＳ３０７によりタイマ２０を起動させる。このタイマスタートに応じたタイミングにより、保留期間Ｔ１−１が開始される。
次に、着信側テレビ会議端末装置１−２は、ステップＳ３０８により、発信側テレビ会議端末装置１−１に対する映像信号の送信動作を停止させ、音声信号のほうのみが送信できる動作状態とする。また、ステップＳ３０９により、受信映像・音声信号のうち、映像信号の再生出力については停止させ、受信した音声信号のみが再生出力されるようにする。
【００５４】
本実施の形態のテレビ会議端末装置１は、図２に示すようにして、記憶部１９において保留期間用データ１９ａを記憶している。この保留期間用データ１９ａは、保留期間に対応して再生出力すべき、所定の再生内容を有する音声信号データ、あるいは静止画若しくは動画による画像データとされる。第２の実施の形態に応じては、保留期間用データ１９ａは、所定の再生内容を有する音声信号データとなる。これを、ここでは保留期間用音声データ（保留期間用音声信号データ）ともいうことにする。
【００５５】
そして、着信側テレビ会議端末装置１−２は、保留期間Ｔ１−１において、ステップＳ３１０により記憶部１９から保留期間用音声データとしての保留期間用データ１９ａを読み出し、ステップＳ３１１により、発信側テレビ会議端末装置１−１に対して送信すべき音声信号（送信音声）として、収音音声信号ではなく、この読み出した保留期間用音声データが送信されるようにして制御を実行する。
【００５６】
そして、ステップＳ３１２によりタイマ時間が経過したことが判別されると、ステップＳ３１３により、ステップＳ２１１と同様に映像信号の送信を開始させるとともに、ステップＳ３１４により、これまで実行していたとする保留期間用音声データの送信を停止させ、これに代えて、収音音声信号が送信されるようにして制御を実行する。また、ステップＳ３１５においては、これまで停止させていた、受信映像信号の再生出力を開始させる。
このようにして、タイマ２０のタイマ時間が経過したとするタイミングに応じて、ステップＳ３１３〜Ｓ３１５の手順を実行することで、この処理の実行タイミング以降において、通常に相手側から送信されてくる撮像画像、収音音声を相互に再生出力する、画像・音声出力期間Ｔ２が開始されるものとして見ることができる。
【００５７】
このような着信側テレビ会議端末装置１−２の動作によると、先ずは、保留期間Ｔ１−１においては、第１の実施の形態と同様にして、着信側テレビ会議端末装置１−２側では、発信側テレビ会議端末装置１−１側の撮像画像が表示されることがなく、収音音声のみが再生出力される。また、発信側テレビ会議端末装置１−１側においても、着信側テレビ会議端末装置１−２側の撮像画像は表示されない。
【００５８】
ただし、第２の実施の形態の保留期間Ｔ１−１においては、ステップＳ３１０、Ｓ３１１が実行されることに応じて、発信側テレビ会議端末装置１−１において再生出力される音声は、着信側テレビ会議端末装置１−２側にて収音した収音音声ではなく、保留期間用音声データの音声となる。
なお、この保留期間用データの音声は、例えば音楽のようなものであるとか、人の声によるアナウンスなどを考えることができる。
【００５９】
上記のようにして保留期間Ｔ１−１において、保留期間用音声データの音声が発信側テレビ会議端末装置１−１にて再生出力されるようにすることで、例えば、その間は、発信側テレビ会議端末装置１−１側の会議参加者に対して、着信側テレビ会議端末装置１−２側の会議参加者の声が聞こえることがなく、プライバシー保護は、より強固なものとすることができる。
【００６０】
また、テレビ会議システムは、いわゆる会議のほかにも、多様な形態のコミュニケーションに用いられる。例えば、企業担当者と顧客との間での商談などのようなものにも用いられる。
例えば、このような商談などのシステムにも、第２の実施の形態は有効に適用できる。例えば、保留期間用音声データとして、企業案内、商品案内、注意事項などのアナウンスの音声内容を有するものを用意しておけば、顧客側のテレビ会議端末装置１−１から発信が行われたことに応じては、上記の案内、注意事項などのアナウンス音声を、顧客に聴いてもらうことができる。
【００６１】
図６は、第３の実施の形態に対応する、映像・音声通信確立手順の一例を示している。
この図においても、接続準備期間Ｔ１において発信側テレビ会議端末装置１−１が実行するステップＳ１０１〜Ｓ１０６の手順は図４と同様となる。また、同じ接続準備期間Ｔ１において着信側テレビ会議端末装置１−２が実行するステップＳ４０１〜Ｓ４０６も、図４のステップＳ２０１〜Ｓ２０６と同様となる。
【００６２】
この場合の着信側テレビ会議端末装置１−２は、ステップＳ４０６に続けて、先ず、ステップＳ４０７によりタイマ２０を起動させ、保留期間Ｔ１−１を開始させる。
次のステップＳ４０８によっては、撮像装置２−２により撮像して得られた撮像画像の映像信号を発信側テレビ会議端末装置１−１に対して送信する動作を停止させることで、この段階では、収音音声のみが送信される動作を設定することとしている。ステップＳ４０９においては、受信映像・音声信号のうち、映像信号の再生出力については停止させ、受信した音声信号のみが再生出力されるようにする。
【００６３】
ここで第３の実施の形態にあっては、保留期間用データ１９ａとして、画像データを利用するものとする。ここでは、画像データとしての保留期間用データ１９ａを、保留期間用画像データということにする。
そして、着信側テレビ会議端末装置１−２は、保留期間Ｔ１−１において、ステップＳ４１０により、記憶部１９に対して上記保留期間用画像データの読み出しを実行する。次に、ステップＳ４１１により、この保留期間用画像データに基づいて保留期間用画像としての映像信号を生成する。
【００６４】
続いて、着信側テレビ会議端末装置１−２は、先ず、ステップＳ４１２により、上記保留期間用画像データの映像信号を利用して、自身に接続されたディスプレイ装置４−２にて保留期間用画像が表示されるようにするための表示制御を実行する。
また、これとともにステップＳ４１３により、保留期間用画像の映像信号を発信側テレビ会議端末装置１−１に対して送信する。
【００６５】
そのうえで、ステップＳ４１４にてタイマ時間が経過するのを待機し、タイマ時間が経過したとされると、ステップＳ４１５〜Ｓ４１７の手順を実行する。
ステップＳ４１５は、これまでの発信側テレビ会議端末装置１−１に対する保留期間用画像データの映像信号の送信を停止させ、これに代えて、撮像画像の映像信号を送信する動作となるようにして制御を実行する。
ステップＳ４１６によっては、これまでのディスプレイ装置４−２に対する保留期間用画像データの画像の表示出力を停止させ、ステップＳ４１７により、受信映像信号の表示出力が開始されるように制御する。
【００６６】
上記の構成では、ステップＳ４１３により、保留期間Ｔ１−１において、発信側テレビ会議端末装置１−１側にて保留期間用画像がディスプレイ装置４−１に表示される。これにより、例えば保留期間Ｔ１−１において、発信側テレビ会議端末装置１−１側では、撮像画像以外で、例えば会議参加者にとって有意な内容の画像を表示させることが可能になるものであって、例えば特に有意な画像を表示させない場合と比較すれば、保留期間Ｔ１−１を有効に活用していることになる。
【００６７】
また、この場合においては、ステップＳ４１２により、同様にして、着信側テレビ会議端末装置１−２側でも、保留期間用画像データの画像をディスプレイ装置４−２に表示させることとしており、着信側においても、保留期間Ｔ１−１の有効活用を図ることとしている。
【００６８】
上記図６に対応して、発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２において表示される保留期間用画像の表示態様例を、図７に示す。
例えば図７（ａ）は、ディスプレイ装置４−１、４−２の表示画面部４０に表示される保留期間用画像の態様例として、表示開始時に対応するものとされる画像内容を示している。この図においては、例えば「ただいまスタンバイ中」（ここでのスタンバイは保留と同義で用いられている）などのようにして文字画像が示されていることで、現在、会議用の画像（撮像画像）が表示開始されるのを（通常画像・音声出力期間Ｔ２が開始されるのを）待機している状態であることが会議参加者に告知されるようになっている。
また、この場合においては、画像の右下に設定した残り時間表示領域４１に示されるようにして、会議用の画像（撮像画像）が表示開始されるまでの残り時間を示すこととしている。この残り時間表示領域４１にて表示される残り時間（ここでは秒単位となっている）を示す数字は、これ以降、ほぼ１秒が経過するごとに小さくなるようにして変化して表示され、例えば図７（ａ）の保留期間用画像の表示開始時から、４秒程度が経過した時点では、残り時間表示領域４１においては、図７（ｂ）に示すような表示内容に変化していることになる。
そして、例えばこの後、ほぼ１秒が経過して、これとともに、通常画像・音声出力期間Ｔ２に至ったとされると、図７（ｃ）に示すようにして、例えば、通信相手側の撮像画像が表示される。
【００６９】
なお、残り時間表示領域４１を表示させる構成として、１つには、残り時間表示領域４１における残り時間を示す数字が時間経過に従って変化するようにして作られた動画に対応する保留期間用画像データを記憶させておき、この保留期間用画像データの映像信号を表示に利用するとが考えられる。また、保留期間用画像データとしては、静止画若しくは、残り時間表示領域４１以外の部分が動く動画としての画像データを記憶させておくこととして、映像信号処理／表示制御部１１が有する、いわゆるオンスクリーンディスプレイ機能により、残り時間表示領域４１に対応する画像データを生成することとしたうえで、この画像データを保留期間用画像データに重畳した映像信号を表示に利用する、という構成も考えられる。
【００７０】
また、上記図７に示した保留期間用画像の態様は一例であり、例えばより娯楽性のあるものであるとか、なんらかの有用な情報を提供するものなど、多様に考えられる。また、静止画を表示させてもよいし、時間経過に応じて変化する動画像を表示させるようにして構成してもよい。
【００７１】
また、発信側テレビ会議端末装置１−１と、着信側テレビ会議端末装置１−２に表示させる保留期間用画像は、それぞれが異なる内容のものとされてよい。このためには、保留期間用画像データについて、発信側に対応するものと着信側に対応するものとで２種類を用意しておき、ステップＳ４１０、Ｓ４１１により、これらの２種類の保留期間用画像データを読み出して、それぞれ映像信号を生成する。そして、ステップＳ４１２による保留期間用画像表示には、着信側の映像信号を利用し、ステップＳ４１３によっては、発信側の映像信号を送信すればよい。
【００７２】
また、保留期間用画像は、発信側テレビ会議端末装置１−１と着信側テレビ会議端末装置１−２のいずれか一方のみの側で表示されるようにしてもよい。このためには、ステップＳ４１２とステップＳ４１３のいずれか一方の手順を省略すればよい。
【００７３】
また、このような保留期間用画像の表示も、会議だけではなく、企業、顧客との間でのコミュニケーションにテレビ会議システムを利用する際に有用となるものである。例えば、顧客側が使用するテレビ会議端末装置からの発信を受けて、企業側が使用するテレビ会議端末装置が、着信に応じて上記の処理を実行することとすれば、顧客側のディスプレイ装置に対して、先に述べた案内や、注意事項を、画像として表示させるということができるからである。
【００７４】
図８は、第４の実施の形態に対応する映像・音声通信確立手順の一例を示している。
この図において、接続準備期間Ｔ１において発信側テレビ会議端末装置１−１が実行するステップＳ１０１〜Ｓ１０６の手順は図４と同様となる。また、同じ接続準備期間Ｔ１において着信側テレビ会議端末装置１−２が実行するステップＳ５０１〜Ｓ５０６も、図４のステップＳ２０１〜Ｓ２０６と同様となる。
【００７５】
この場合の着信側テレビ会議端末装置１−２も、ステップＳ５０６に続けて、先ず、ステップＳ５０７によりタイマ２０を起動させることで、接続準備期間Ｔ１に続けて保留期間Ｔ１−１を設定することになる。
続くステップＳ５０８〜Ｓ５１２は、先の第３の実施の形態に対応する図６におけるステップＳ４０８〜Ｓ４０７と同様であり、これにより、着信側テレビ会議端末装置１−２側においては保留期間用画像の表示が開始され、発信側テレビ会議端末装置１−１側からの収音音声の再生出力が開始される。また、ここまでの段階においては、着信側テレビ会議端末装置１−２は、発信側テレビ会議端末装置１−１に対して、収音音声の音声信号のみを送信している状態にあるものとされる。
【００７６】
そして、ステップＳ５１３によっては、ステップＳ４１３のようにして発信側テレビ会議端末装置１−１に対して保留期間用画像の映像信号を送信することに代えて、保留期間用画像の表示を要求するコマンドを発信側テレビ会議端末装置１−１に対して送信する。
【００７７】
第４の実施の形態に対応しては、発信側テレビ会議端末装置１−１も、記憶部１９において保留期間用データ１９ａとして、保留期間用画像データとしてのデータ内容を有するようにされる。
そして、上記ステップＳ５１３に対応して送信されてくる保留期間用画像表示要求の受信したことに応じては、ステップＳ１０７により、記憶部１９から保留期間用画像データの読み出しを行って、ステップＳ１０８により、この保留期間用画像データを利用して保留期間用画像用の映像信号を生成する。そして、この映像信号により、ディスプレイ装置４−１にて保留期間用画像の表示出力を実行させる。
【００７８】
着信側テレビ会議端末装置１−２は、上記ステップＳ５１３までの手順を実行すると、ステップＳ５１４にてタイマ時間が経過するのを待機し、タイマ時間が経過したとされると、ステップＳ５１５〜Ｓ５１８の手順を実行する。
ステップＳ５１５では、発信側テレビ会議端末装置１−１に対して、保留期間用画像の表示停止を要求するコマンドを送信する。発信側テレビ会議端末装置１−１は、この要求の受信に応答して、ステップＳ１０９により、これまでの保留期間用画像の表示出力を停止させる。
ステップＳ５１６では、これまで停止させていた撮像画像の映像信号の送信動作が開始されるようにして制御を実行する。これにより、以降は、撮像画像の映像信号及び収音音声の音声威信号が発信側テレビ会議端末装置１−１に対して送信される。
ステップＳ５１７によっては、これまでのディスプレイ装置４−２に対する保留期間用画像データの画像の表示出力を停止させ、ステップＳ５１８により、受信映像信号の表示出力が開始されるように制御する。
【００７９】
図９は、第５の実施の形態に対応する映像・音声通信確立手順の一例を示している。
この図において、接続準備期間Ｔ１において発信側テレビ会議端末装置１−１が実行するステップＳ１０１〜Ｓ１０６の手順は図４と同様となるが、着信側テレビ会議端末装置１−２にて、次のような手順を接続準備期間Ｔ１において実行することで、着信が得られてから通常画像・音声出力期間Ｔ２が開始されるまでの待機期間としての時間が、図３の場合よりも延長されるようにする。
【００８０】
着信側テレビ会議端末装置１−２は、ステップＳ２０１による着信処理として、これまでの実施の形態と同様にして、発信側テレビ会議端末装置１−１からの発信信号を受信検知すると、ステップＳ２０２の応答信号の送信を即座に実行するのではなく、ステップＳ２０１−１、Ｓ２０−２として示すように、所定のタイマ時間が設定されたタイマ２０の計時をスタートさせて、このタイマ２０のタイマ時間が経過するのを待機するという手順を挿入する。そして、タイマ時間が経過したのであれば、ステップＳ２０２により応答信号を送信し、以降、例えば図３などと同様にして、ステップＳ２０３〜ステップＳ２０６までの手順を実行し、以降は、通常画像・音声出力期間Ｔ２として、撮像画像の映像信号及び収音音声の音声信号を送受信して、受信映像・音声信号を再生出力する動作を開始させる。
【００８１】
このような手順によっては、接続準備期間Ｔ１において、着信処理が実行されてから、これに応じた応答信号の送信が実行されるまでの間に、タイマ２０に設定されたタイマ時間に相当する遅延が生じることになる。つまり、図９に示す応答遅延期間Ｔ１１が生じることになる。この結果、これまでの実施の形態と同様にして、着信が得られてから通常画像・音声出力期間Ｔ２が開始されるまでの待機期間としての時間が延長される。
【００８２】
なお、上記図９に示した第５の実施の形態の変形例としては、ステップＳ２０１による着信処理の実行タイミング以降から通常画像・音声出力期間Ｔ２が開始されるまでの期間内において、同じ着信側テレビ会議端末装置１−２の側にて、自身の記憶部１９に記憶している保留期間用データ１９ａを利用しての保留期間用音声、保留期間用画像などを再生出力させることが考えられる。
【００８３】
また、第２〜第４の実施の形態においては、保留期間用データ１９ａとして、保留期間用音声データと保留期間用画像データのいずれか一方のみを再生出力するものとされているが、これらの実施の形態の組み合わせにより、保留期間用音声データと保留期間用画像データとを同時に再生出力することで、いわゆる音声付き動画が再生出力されるように構成してよい。
【００８４】
また、これまでの実施の形態の説明では、テレビ会議システムにおいて２つのテレビ会議端末装置１−１、１−２が一対一の関係で通信をする場合を示したが、これは、テレビ会議システムとして最もシンプルな形態を例に挙げることで、説明が簡単なものとなることを配慮したものである。実際においては、３以上の音声通信端末装置によりテレビ会議システムを構築して、一対多の通信を行うようにすることも考えられるが、このようなシステム構成においても、本願発明に基づいた構成は、個々の音声通信端末装置に対して適用可能である。
【図面の簡単な説明】
【００８５】
【図１】本発明の実施の形態に対応するテレビ会議システムの構成例を示す図である。
【図２】本実施の形態のテレビ会議端末装置の内部構成例を、これと接続される撮像装置、ディスプレイ装置等と共に示す図である。
【図３】実施の形態のテレビ会議システムの構成の下で実現できる、映像・音声通信確立手順例を示すフローチャートである。
【図４】第１の実施の形態に対応する映像・音声通信確立手順例を示すフローチャートである。
【図５】第２の実施の形態に対応する映像・音声通信確立手順例を示すフローチャートである。
【図６】第３の実施の形態に対応する映像・音声通信確立手順例を示すフローチャートである。
【図７】第３の実施の形態に対応する保留期間用画像の表示態様例を示す図である。
【図８】第４の実施の形態に対応する映像・音声通信確立手順例を示すフローチャートである。
【図９】第５の実施の形態に対応する映像・音声通信確立手順例を示すフローチャートである。
【符号の説明】
【００８６】
１（１−１、１−２） テレビ会議端末装置、２（２−１、２−２） 撮像装置、２ａ ズーム機構部、３ａ パン機構部、３ｂ チルト機構部、４（４−１、４−２） ディスプレイ装置、５（５−１、５−２） リモートコントローラ、１１ 映像信号処理／表示制御部、１２ エンコーダ、１３ デコーダ、１４ 通信部、１５ ＰＴＺ駆動制御部、１６ パン／チルト駆動制御部、１７ ズーム駆動制御部、１８ 制御部、１９ 記憶部、１９ａ 保留期間用データ、２０ タイマ、２１ 音声信号処理部、２４ 音声エンコーダ、２５ 音声デコーダ、４０ 表示画面部、４１ 残り時間表示領域
【特許請求の範囲】
【請求項１】
他の通信端末装置と通信を行う通信手段と、
上記通信手段を利用して発着信に対応する所定の発着信対応処理を実行する発着信対応処理実行手段と、
上記発着信対応処理が実行された後において、上記他の通信端末装置との映像信号及び／又は音声信号の送受信のための映像・音声通信処理に必要とされる準備処理を、上記他の通信端末装置との間での所定の手順に従った通信により実行する、準備処理実行手段と、
上記準備処理が実行された後において、上記映像・音声通信処理を実行させる映像・音声通信制御手段と、
上記映像・音声通信処理により上記他の通信端末装置から送信される映像信号及び／又は音声信号を受信して、映像信号については画像として、音声信号については音声として再生出力させる再生出力手段と、
上記発着信対応処理を実行したとされるタイミングに応じた所定の時点から、上記再生出力手段により画像及び／又は音声の再生出力が開始されるものとするタイミングに応じた所定の時点までの待機期間が、上記発着信対応処理、上記準備処理、上記映像・音声通信処理のシーケンスを通常に実行させた場合よりも所定時間だけ延長されるようにして、上記待機期間内において保留期間を設定する保留期間設定手段と、
を備えることを特徴とする通信端末装置。
【請求項２】
上記保留期間において、所定の画内容を有する保留期間用画像が再生出力されるようにして制御する保留期間対応画像再生出力手段をさらに備える、
ことを特徴とする請求項１に記載の通信端末装置。
【請求項３】
上記保留期間対応画像再生出力手段は、時間経過に応じて保留期間が終了するまでの残り時間が所定の態様により示される画内容を有する上記保留期間用画像が表示出力されるようにして制御する、
ことを特徴とする請求項２に記載の通信端末装置。
【請求項４】
上記保留期間が上記映像・音声通信処理の実行可能期間内に設定される場合に、この保留期間において、所定の画内容を有する画像の映像信号を、上記映像・音声通信制御手段により、上記他の通信端末装置に対して送信させる映像送信制御手段をさらに備える、
ことを特徴とする請求項１に記載の通信端末装置。
【請求項５】
上記通信手段による通信を利用して、上記保留期間において、所定の画内容を有する画像が上記他の通信端末装置側にて表示出力されるようにするための制御を実行する画像表示制御手段をさらに備える、
ことを特徴とする請求項１に記載の通信端末装置。
【請求項６】
上記保留期間が、上記映像・音声通信処理の実行可能期間内に設定される場合に、この保留期間において、所定の音声内容を有する音声信号データである保留期間用音声信号データを基にして得られる音声信号を、上記映像・音声通信手制御手段により、上記他の通信端末装置に対して送信させる映像送信制御手段をさらに備える、
ことを特徴とする請求項１に記載の通信端末装置。
【請求項７】
上記保留期間が、上記映像・音声通信処理の実行可能期間内に設定される場合に、この保留期間において、上記所定の使用目的に応じて他の通信端末装置に対して送信すべき映像信号と音声信号のうち、音声信号のみを上記映像・音声通信手制御手段により送信させる音声送信制御手段をさらに備える、
ことを特徴とする請求項１に記載の通信端末装置。
【請求項８】
上記発着信対応処理実行手段は、
上記発着信対応処理として、着信応答を、発信元となる他の通信端末装置に対して送信する着信応答処理を実行するものとされ、
上記する保留期間設定手段は、上記発信の受信に応答して上記着信応答処理を開始するタイミングを遅延させた応答遅延期間を形成することで、この応答遅延期間を保留期間として設定するようにされている、
ことを特徴とする請求項１に記載の通信端末装置。
【請求項９】
他の通信端末装置と通信を実行する通信実行手順と、
上記通信実行手順を利用して発着信に対応する所定の発着信対応処理を実行する発着信対応処理実行手順と、
上記発着信対応処理が実行された後において、上記他の通信端末装置との映像信号及び／又は音声信号の送受信のための映像・音声通信処理に必要とされる準備処理を、上記他の通信端末装置との間での所定の手順に従った通信により実行する準備処理実行手順と、
上記準備処理が実行された後において、上記映像・音声通信処理を実行させる映像・音声通信制御手順と、
上記映像・音声通信処理により上記他の通信端末装置から送信される映像信号及び／又は音声信号を受信して、映像信号については画像として、音声信号については音声として再生出力させる再生出力手順と、
上記発着信対応処理を実行したとされるタイミングに応じた所定の時点から、上記再生出力手順により画像及び／又は音声の再生出力が開始されるものとするタイミングに応じた所定の時点までの待機期間が、上記発着信対応処理、上記準備処理、上記映像・音声通信処理のシーケンスを通常に実行させた場合よりも所定時間だけ延長されるようにして、上記待機期間内において保留期間を設定する保留期間設定手順と、
を実行することを特徴とする映像・音声処理方法。
【請求項１】
他の通信端末装置と通信を行う通信手段と、
上記通信手段を利用して発着信に対応する所定の発着信対応処理を実行する発着信対応処理実行手段と、
上記発着信対応処理が実行された後において、上記他の通信端末装置との映像信号及び／又は音声信号の送受信のための映像・音声通信処理に必要とされる準備処理を、上記他の通信端末装置との間での所定の手順に従った通信により実行する、準備処理実行手段と、
上記準備処理が実行された後において、上記映像・音声通信処理を実行させる映像・音声通信制御手段と、
上記映像・音声通信処理により上記他の通信端末装置から送信される映像信号及び／又は音声信号を受信して、映像信号については画像として、音声信号については音声として再生出力させる再生出力手段と、
上記発着信対応処理を実行したとされるタイミングに応じた所定の時点から、上記再生出力手段により画像及び／又は音声の再生出力が開始されるものとするタイミングに応じた所定の時点までの待機期間が、上記発着信対応処理、上記準備処理、上記映像・音声通信処理のシーケンスを通常に実行させた場合よりも所定時間だけ延長されるようにして、上記待機期間内において保留期間を設定する保留期間設定手段と、
を備えることを特徴とする通信端末装置。
【請求項２】
上記保留期間において、所定の画内容を有する保留期間用画像が再生出力されるようにして制御する保留期間対応画像再生出力手段をさらに備える、
ことを特徴とする請求項１に記載の通信端末装置。
【請求項３】
上記保留期間対応画像再生出力手段は、時間経過に応じて保留期間が終了するまでの残り時間が所定の態様により示される画内容を有する上記保留期間用画像が表示出力されるようにして制御する、
ことを特徴とする請求項２に記載の通信端末装置。
【請求項４】
上記保留期間が上記映像・音声通信処理の実行可能期間内に設定される場合に、この保留期間において、所定の画内容を有する画像の映像信号を、上記映像・音声通信制御手段により、上記他の通信端末装置に対して送信させる映像送信制御手段をさらに備える、
ことを特徴とする請求項１に記載の通信端末装置。
【請求項５】
上記通信手段による通信を利用して、上記保留期間において、所定の画内容を有する画像が上記他の通信端末装置側にて表示出力されるようにするための制御を実行する画像表示制御手段をさらに備える、
ことを特徴とする請求項１に記載の通信端末装置。
【請求項６】
上記保留期間が、上記映像・音声通信処理の実行可能期間内に設定される場合に、この保留期間において、所定の音声内容を有する音声信号データである保留期間用音声信号データを基にして得られる音声信号を、上記映像・音声通信手制御手段により、上記他の通信端末装置に対して送信させる映像送信制御手段をさらに備える、
ことを特徴とする請求項１に記載の通信端末装置。
【請求項７】
上記保留期間が、上記映像・音声通信処理の実行可能期間内に設定される場合に、この保留期間において、上記所定の使用目的に応じて他の通信端末装置に対して送信すべき映像信号と音声信号のうち、音声信号のみを上記映像・音声通信手制御手段により送信させる音声送信制御手段をさらに備える、
ことを特徴とする請求項１に記載の通信端末装置。
【請求項８】
上記発着信対応処理実行手段は、
上記発着信対応処理として、着信応答を、発信元となる他の通信端末装置に対して送信する着信応答処理を実行するものとされ、
上記する保留期間設定手段は、上記発信の受信に応答して上記着信応答処理を開始するタイミングを遅延させた応答遅延期間を形成することで、この応答遅延期間を保留期間として設定するようにされている、
ことを特徴とする請求項１に記載の通信端末装置。
【請求項９】
他の通信端末装置と通信を実行する通信実行手順と、
上記通信実行手順を利用して発着信に対応する所定の発着信対応処理を実行する発着信対応処理実行手順と、
上記発着信対応処理が実行された後において、上記他の通信端末装置との映像信号及び／又は音声信号の送受信のための映像・音声通信処理に必要とされる準備処理を、上記他の通信端末装置との間での所定の手順に従った通信により実行する準備処理実行手順と、
上記準備処理が実行された後において、上記映像・音声通信処理を実行させる映像・音声通信制御手順と、
上記映像・音声通信処理により上記他の通信端末装置から送信される映像信号及び／又は音声信号を受信して、映像信号については画像として、音声信号については音声として再生出力させる再生出力手順と、
上記発着信対応処理を実行したとされるタイミングに応じた所定の時点から、上記再生出力手順により画像及び／又は音声の再生出力が開始されるものとするタイミングに応じた所定の時点までの待機期間が、上記発着信対応処理、上記準備処理、上記映像・音声通信処理のシーケンスを通常に実行させた場合よりも所定時間だけ延長されるようにして、上記待機期間内において保留期間を設定する保留期間設定手順と、
を実行することを特徴とする映像・音声処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００９−１８２４２８（Ｐ２００９−１８２４２８Ａ）
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願番号】特願２００８−１７８５６（Ｐ２００８−１７８５６）
【出願日】平成２０年１月２９日（２００８．１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２１年８月１３日（２００９．８．１３）
【国際特許分類】
【出願日】平成２０年１月２９日（２００８．１．２９）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]