遠隔コミュニケーションにおける映像表示方法
【課題】２つのクライアント端末夫々に表示されるコミュニケーション用画面において、同じ空間を共有し、直接向かい合ってコミュニケーションを行なっている感覚を捉えることができるようにする。
【解決手段】自分側のクライアント端末のコミュニケーション用画面２０では、相手側のクライアント端末から送られてきた相手映像２１が、奥側となるようにして、手前側を向いて表示され、この相手映像２１にテーブル映像２５を介して対向するように、向う側（即ち、相手映像２１側に向いて）に表示される。また、自分映像２２は、相手映像２１に対して大きめに、かつ、向う側を向いているように、その輪郭だけが表示される。そして、相手映像２１側に、この相手映像２１に触れることが可能なように、自分の手形カーソル２３が表示され、また、自分映像２２側に、この自分映像２２に触れることが可能なように、相手側の手形カーソルが表示される。
【解決手段】自分側のクライアント端末のコミュニケーション用画面２０では、相手側のクライアント端末から送られてきた相手映像２１が、奥側となるようにして、手前側を向いて表示され、この相手映像２１にテーブル映像２５を介して対向するように、向う側（即ち、相手映像２１側に向いて）に表示される。また、自分映像２２は、相手映像２１に対して大きめに、かつ、向う側を向いているように、その輪郭だけが表示される。そして、相手映像２１側に、この相手映像２１に触れることが可能なように、自分の手形カーソル２３が表示され、また、自分映像２２側に、この自分映像２２に触れることが可能なように、相手側の手形カーソルが表示される。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークなどを介して相手側と会話ができるようにした遠隔コミュニケーションにおける映像表示方法に係り、特に、テレビ電話システムのように、相手側の映像を表示して会話ができるようにした遠隔コミュニケーションにおける映像表示方法に関する。
【背景技術】
【０００２】
ネットワークを介して、相手と会話する遠隔地コミュニケーションにおける映像表示方法の一例として、相手との相談ができるようにした相談システムが知られている（例えば、特許文献１参照）。
【０００３】
このシステムは、相談する側の端末（相談者端末）と相談を受ける側の端末（相談員端末）とがネットワークを介して接続され、これら相談者端末と相談員端末とにタッチパネルを備えたディスプレイとビデオカメラが設けられている。夫々の端末では、それを操作するユーザ（相談者端末では、相談者、相談員端末では、相談員）の顔の部分をビデオカメラで撮像し、その動画映像を自己の端末に供給するとともに、ネットワークを介して相手側の端末に送信する。これにより、相談者端末のディスプレイには、夫々枠部を有する相談者側のポインタと相談員側のポインタとが表示され、この相談者側のポインタの枠部内に相談者の顔の部分の動画が表示され、相談員側のポインタの枠部内に相談員端末から供給される相談員の顔の部分の動画が表示される。相談員端末でのディスプレイでも、同様にして、相談者の顔の部分の動画が表示されたポインタと相談員の顔の部分の動画が表示されたポインタとが表示される。
【０００４】
相談者が自己の相談者端末のディスプレイで相談者側のポインタを指先でタッチして移動させると、この相談者側のポインタが移動するとともに、相談員端末でのディスプレイにおいても、相談者側のポインタが同時に同じ方向に同じ速度で移動する。同様に、相談員が自己の相談員端末のディスプレイで相談員側のポインタを指先でタッチして移動させると、この相談員側のポインタが移動するとともに、相談者端末でのディスプレイにおいても、相談員側のポインタが同時に同じ方向に同じ速度で移動する。
【０００５】
また、相談員端末で相談員側のポインタにタッチして移動させ、この相談員側のポインタで相談者側のポインタを押す操作をすることにより、相談者端末のディスプレイで相談者側のポインタを移動させることができる。
【０００６】
さらに、相談員端末でマウスの右ボタンをクリックすると、相談者端末と相談員端末とでのディスプレイの相談員側のポインタに手の形のポインタが表われ、相談員端末での捜査員の操作により、相談者端末と相談員端末とでのディスプレイにおいて、この手形のポインタで相談者側のポインタを掴むようにすることができ、相談員側のポインタで相談者側のポインタを引っ張って移動させることができるようにする。
【０００７】
このように、特許文献１に記載の技術では、夫々の端末のディスプレイでメニュー画面を表示し、相談員が、相談員側のポインタにより、相談者側のポインタを所定のメニューの位置に移動させることができようにするものである。
【特許文献１】特開２００２ー１５１４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、ネットワークを介して通信可能に接続された２つの端末間で会話などを行なうテレビ電話システムにおいても、図１４に示すように、夫々の端末のディスプレイ１００の表示画面１０１に正面を向いた（即ち、この表示画面１００を見ているユーザ側を向いた）相手側の上半身の動画像（以下、相手映像という）１０２を表示するとともに、この表示画面１０１内の隅部、例えば、左下角部に自分映像表示エリア１０３を設け、この自分映像表示エリア１０３にビデオカメラ１０５で撮像したユーザの正面を向いた上半身の動画像（以下、自分映像という）１０４を表示するものである。
【０００９】
このように、夫々側の端末のディスプレイ１００で相手映像とともに、自分映像も同時に表示することにより、自分がどのような状態で相手と会話しているかを確認することができる。
【００１０】
ところで、このように会話を行なうテレビ電話システムのような遠隔コミュニケーションにおける映像表示方法によると、相手側の端末のディスプレイ１００の表示画面１０１に自分の上半身の動画像１０３が表示され、相手の顔の部分の自分映像１０４が表示されているものであるから、例えば、親子でかかるテレビ電話システムわ用いてコミュニケーションを行なう場合、話しの成り行きによっては、親が子供の頭を撫でてやりたい場合もあるし、特に、子供としては、撫でて貰いたい場合もある。
【００１１】
しかしながら、親が、相手、即ち、子供の頭などを撫でるために、自分側の端末のディスプレイ１００の表示画面１０１に表示されているこの子供の動画像１０２の顔に触る動作を行なっても、子供側の端末のディスプレイ１００の表示画面１０１では、親の動画像１０４が動いたことが表示されて親が動いたことを認識できるとしても、自分映像表示エリア１０３に表示されるこの子供自身の自分映像１０４とは関係のない動きであり、子供は、親のその動きを理解できないことになる。
【００１２】
ところで、上記特許文献１に記載の技術では、相手側の画像にポインタが付加され、このポインタが自分映像に作用することにより、自分映像がその影響を受けて移動することができるようにしたものである。しかし、ポインタが作用させるためには、このポインタが自分映像に当接するように、相手映像を移動させることが必要であるものであって、これに対し、図１４に示すような遠隔コミュニケーションを行なうための端末でのディスプレイ１００では、相手映像１０２が表示画面１０１全体に表示されるものである。このため、この相手映像１０２をこの表示画面１０１上で動かすということは全く意味のないことである。
【００１３】
このことからして、上記特許文献１に記載の技術は、図１４に示すような遠隔コミュニケーションシステムには適用することができない。
【００１４】
また、相手方との会話をするためのシステムに用いる端末では、図１４に示すように、この端末を用いて会話を行なうユーザ（即ち、自分自身）を撮像するビデオカメラ１０５が、ディスプレイ１００において、表示画面１０１の上方に設置されており、通常、ユーザはその顔を表示画面１０１に対向させて使用するものであるから、このビデオカメラ１０５はその視線が下向きに設定され、ユーザを上側が見下ろすように撮像する。
【００１５】
このため、端末のディスプレイ１００では、表示画面１０１に表示される相手映像１０２でも、また、自分映像表示エリア１０３で表示される自分映像１０４も、常に顔が下を向き、視線（見る方向）が下向きとなっている。
【００１６】
以上のように、従来のテレビ電話システムでの端末では、例えば、頭を撫でるといったような相手側の体に触るような状態を表わす画像を相手側の端末のディスプレイの表示画面で表示させることができないし、また、相手側の顔は常に下を向いたように表示されることから、自分が相手と同じ空間を共有し、向かい合って話し合っているという感じをとらえることができなかった。
【００１７】
本発明の目的は、かかる問題を解消し、同じ空間を共有し、直接向かい合ってコミュニケーションを行なっている感覚を捉えることができるようにした遠隔コミュニケーションにおける映像表示方法を提供することにある。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明は、２つのクライアント端末間で夫々のビデオカメラで撮像したユーザの映像を互いに送信し、夫々のクライアント端末で相手側のクライアント端末から送信された相手ユーザの映像を相手映像とし、自分側のクライアント端末のビデオカメラで撮像した自分の映像を自分映像とし、コミュニケーション用画面で相手映像と自分映像とを表示して、コミュニケーションを行なうようにした遠隔コミュニケーションにおける映像表示方法であって、コミュニケーション用画面では、相手映像と自分映像とを、所定の中間映像領域を挟んで、互いに向かい合った状態で表示し、自分映像はその左右反転した状態での輪郭で表わし、相手映像はコミュニケーション用画面を見ているユーザ側を向いた状態で表示し、クライアント端末での操作手段によって移動及び相手映像への作用を可能とする自分映像に属する手形状の第１のカーソルと、相手側のクライアント端末での操作手段によって移動及び自分映像への作用を可能とする相手映像に属する手形状の第２のカーソルを表示することを特徴とするものである。
【００１９】
また、本発明は、相手映像に対して自分映像の表示倍率を大きくし、自分映像を相手映像よりも大きく表示することを特徴とするものである。
【００２０】
また、本発明は、自分映像に対する第１のカーソルの移動範囲が、相手映像を含む第１の所定領域と中間映像領域との範囲内であり、相手映像に対する第２のカーソルの移動範囲が、相手映像を含む第１の所定領域と中間映像領域との範囲内であることを特徴とするものである。
【００２１】
また、本発明は、クライアント端末では、第１のカーソルと相手映像との重なり状態を識別し、重なり状態に応じて形状及び相手映像に対する作用を異ならせることを特徴とするものである。
【００２２】
また、本発明は、第１のカーソルに、人差指の指先部に第１の作用点を、手の平部に第２の作用点を夫々設け、識別される相手映像との重なり状態は、第１，第２の作用点の相手映像との重なり状態に応じて異なることを特徴とするものである。
【００２３】
また、本発明は、第１，第２のカーソルが、中間映像領域において、接した状態になると、重なり合った状態もしくは握り合った状態で表示されることを特徴とするものである。
【００２４】
また、本発明は、コミュニケーション画面でのビューアングルを変更可能としたことを特徴とするものである。
【００２５】
また、本発明は、自分映像の向きを反転可能とし、自分映像を相手映像とは反対の向きとしたときには、自分映像はビデオカメラが撮像した映像であることを特徴とするものである。
【発明の効果】
【００２６】
本発明によると、自分映像と相手映像とが所定の間隔を置いて対向したコミュニケーション用画面を三次元的に表示するものであるから、相手とコミュニケーションするユーザは、相手と向かい合っているような自然な位置関係で空間を共有でき、相手が自分を見ているような間隔でコミュニケーションをすることが可能となる。
【００２７】
また、手の形状をしたカーソルを自分映像と相手映像とに設け、これらを移動操作可能にしているので、相手に触れることができるような感覚でコミュニケーションを行なうことができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施形態を図面を用いて説明する。
【００２９】
図１は本発明による遠隔コミュニケーションにおける映像表示方法を実行するネットワークシステムを示すシステム構成図であって、１ａ，１ｂはクライアント端末、２ａ，２ｂはＣＰＵ（中央処理ユニット）、３ａ，３ｂはビデオカメラ、４ａ，４ｂはディスプレイ、５ａ，５ｂはポインティングデバイス、６ａ，６ｂは記憶装置、７ａ，７ｂはネットワークＩ／Ｆ（インターフェイス）、８はサーバ、９はＣＰＵ、１０は記憶装置、１１はネットワークＩ／Ｆ、１２はネットワークである。
【００３０】
同図において、クライアント端末１ａは、そのネットワークＩ／Ｆ７ａとサーバ８でのネットワークＩ／Ｆ１１により、ネットワーク１２を介してサーバ８と通信可能に接続されている。クライアント端末１ｂも同様であり、これにより、クライアント端末１ａ，１ｂがサーバ８を介して相互にコミュニケーションのための通信を行なうことができる。
【００３１】
クライアント端末１ａ，１ｂは同様の構成をなしている。ここでは、クライアント端末１ａをユーザＡ側のクライアント端末とし、クライアント端末１ｂをユーザＢ側のクライアント端末として、その構成をユーザＡ側のクライアント端末１ａを例に説明する。但し、クライアント端末１ｂも、クライアント端末１ａと同じ構成をなしている。
【００３２】
クライアント端末１ａには、映像を表示するディスプレイ４ａと、このディスプレイ４ａの表示画面で、クライアント端末１ｂの相手側とコミュニケーションを行なうために、映像表示を制御するためのマウスなどのポインティングデバイス５ａと、プログラムや各種のデータが記憶された記憶装置６ａと、ディスプレイ４ａやポインティングデバイス５ａを用いて相手側（即ち、この場合には、クライアント端末１ｂ）とコミュニケーションを行なう際に自分であるユーザＡを撮像するビデオカメラ３ａと、記憶装置６ａに記憶されているプログラムを実行し、ポインティングデバイス５ａのユーザＡによる操作などに伴って、ビデオカメラ３ａやディスプレイ４ａ，記憶装置６ａなどの各部を制御するＣＰＵ２ａとを備えている。
【００３３】
ＣＰＵ２ａは、記憶装置６ａに記憶されている各種のデータをディスプレイ４ａでの映像表示のために処理し、また、ビデオカメラ３ａがユーザＡを自分として撮像して得られる動画像信号（以下、ユーザＡの映像信号という）を処理し、ディスプレイ４ａに供給して表示させる制御を行なうとともに、ネットワークＩ／Ｆ７ａを制御することにより、ネットワーク１２ａ及びサーバ８を介して、相手（即ち、ユーザＢ）側のクライアント端末１ｂに送信する。また、相手側のクライアント端末１ｂのビデオカメラ３ｂでユーザＢを撮像して得られた動画像信号（以下、ユーザＢの映像信号という）をネットワークＩ／Ｆ７ａで受信し、これを処理してディスプレイ４ａで表示させる制御をする。
【００３４】
また、サーバ８は、プログラムなどのデータを格納した記憶装置１０とネットワークＩ／Ｆ１１とこれらを制御するＣＰＵ９などを備えており、このＣＰＵ９の制御のもとに、ネットワークＩ／Ｆ１１を用いてクライアント端末１ａ，１ｂとの通信ができるようにしている。
【００３５】
かかる構成により、クライアント端末１ａ，１ｂ間でサーバ８を介した遠隔コミュニケーションを行なうことができる。かかるコミュニケーションを行なう場合には、ユーザＡ側のクライアント端末１ａでは、ビデオカメラ３ａから得られるユーザＡの映像信号は、ＣＰＵ２ａで映像処理された後、ディスプレイ４ａでに供給されてユーザＡの映像が、自分の映像として、表示されるとともに、ネットワークＩ／Ｆ７ａにより、サーバ８を介して相手側、即ち、ユーザＢ側のクライアント端末１ｂに送信される。このクライアント端末１ｂでは、ネットワークＩ／Ｆ７ｂによってユーザＡの映像信号が受信され、ＣＰＵ２ｂで映像処理された後、ディスプレイ４ｂに供給されてユーザＡの動画像が、相手側の映像として、表示される。
【００３６】
また、同様にして、ユーザＢ側のクライアント端末１ｂでは、ビデオカメラ３ｂから得られるユーザＢの映像信号が、ＣＰＵ２ｂで映像処理された後、ディスプレイ４ｂに供給されてユーザＢの映像が、自分の映像として、表示されるとともに、ネットワークＩ／Ｆ７ｂにより、サーバ８を介して相手側、即ち、ユーザＡ側のクライアント端末１ａに供給される。このクライアント端末１ａでは、ネットワークＩ／Ｆ７ａによってユーザＢの映像信号が受信され、ＣＰＵ２ａで映像処理された後、ディスプレイ４ａに供給されてユーザＢの動画像が、相手側の映像として、表示される。
【００３７】
次に、かかるネットワークシステムを用いた本発明による遠隔コミュニケーションにおける映像表示方法の一実施形態について説明する。
【００３８】
図２は図１におけるユーザＡの自分側のクライアント端末１ａのディスプレイ４ａに表示されるコミュニケーション用画面の一具体例を示す図であって、２０はコミュニケーション用画面、２１は相手映像、２２は自分映像、２３は自分の手形カーソル、２４は相手の手形カーソル、２５はテーブルの映像（以下、テーブル映像という）である。なお、ユーザＢ側のクライアント端末１ｂについても、その表示映像は同様である。
【００３９】
同図において、ユーザＡ側のクライアント端末１ａ（図１）とユーザＢ側のクライアント端末１ｂ（図１）との間でコミュニケーションを行なうとき、ユーザＡ側のクライアント端末１ａのディスプレイ４ａ（図１）の表示画面に、ユーザＢの映像である相手映像２１とユーザＡの映像である自分映像２２とがテーブル映像２５を挟んで、三次元的な位置関係となるように、表示されるコミュニケーション用画面２０が表示される。即ち、このコミュニケーション用画面２０では、相手映像２１がテーブル映像２５の向う側に手前側（この表示画面２０を見ている自分側）を向いて表示され、自分映像２２がテーブル映像の手前側に相手映像２１側に向いて表示される。また、コミュニケーション用画面２０には、ユーザＡの片方の手を表わす自分映像２２の手形状のカーソル、即ち、自分の手形カーソル２３が向う側（相手映像２１側）を向いて、また、ユーザＢの片方の手を表わす相手映像２１の手形状のカーソル、即ち、相手の手形カーソル２４が手前側（自分映像側２２）を向いて夫々表示されている。
【００４０】
なお、ユーザＡ側のクライアント端末１ａとユーザＢ側のクライアント端末１ｂ（図１）との記憶装置６ａ，６ｂには夫々、自分と相手との手形カーソルの画像データが格納されている。そして、例えば、ユーザＡ側のクライアント端末１ａで、ＣＰＵ２ａにより、表示のために、記憶装置６ａから手形カーソルの画像データが自分、即ち、ユーザＡの手形カーソルとして読み出されると、これが自分の手形カーソル２３としてコミュニケーション用画面２０に表示されるとともに、この読み出された手形カーソルの識別データが相手であるユーザＢのクライアント端末１ｂに送信され、このクライアント端末１ｂでは、この識別データに該当する手形カーソルの画像データが記憶装置６ｂから読み出され、相手（この場合、ユーザＡ）の手形カーソルとして、コミュニケーション用画面に表示されることになる。また、ユーザＢ側のクライアント端末１ｂで、ＣＰＵ２ｂにより、表示のために、記憶装置６ｂから手形カーソルの画像データが自分、即ち、ユーザＢの手形カーソルとして読み出されると、これが自分の手形カーソルとしてコミュニケーション用画面に表示されるとともに、その識別データが相手であるユーザＡのクライアント端末１ａに送信され、このクライアント端末１ａでは、この識別データに該当する手形カーソルの画像データが記憶装置６ａから読み出され、相手（この場合、ユーザＢ）の手形カーソル２４として、コミュニケーション用画面２０に表示されることになる。
【００４１】
これにより、クライアント端末１ａ，１ｂの一方で表示される自分の手形カーソルと他方のクライアント端末で表示される相手の手形カーソルとは、同じユーザに対する手形カーソルであるが、これらは、互いに左右反転で、かつ逆向きの関係で表示されることになる。
【００４２】
ここで、相手映像２１は、ユーザＢ（ユーザＡに対して相手）側のクライアント端末１ｂのビデオカメラ３ｂでユーザＢが正面から撮像されたものであって、ユーザＢの映像の上半身部分を第１の表示倍率で表示されるものである。これに対し、自分映像２２は、ユーザＡ（ユーザＡに対して自分）側のクライアント端末１ａのビデオカメラ３ａでユーザＡが正面から撮像されたものであるが、その撮像された映像の上半身の部分を抽出して左右反転し（即ち、自分とは反対側を向いた状態にし）、さらに、その輪郭部だけを抽出して、その輪郭部の内部を透明、もしくは所定の色で薄く塗りつぶし（例えば、黒色で薄く均一に塗りつぶし）、半透明状態として透けて見えるようにしたシルエット状の映像であり、相手映像２１よりも大きな第２の表示倍率で表示されるものである。従って、クライアント端末１ｂ側でユーザＢが動くと、これに応じて相手映像２１も動き、ユーザＡが動くと、これに応じて自分映像２２も動くことになる。
【００４３】
このように、相手映像２１の表示の表示倍率（＝第１の表示倍率）に対して、自分映像２２の表示の表示倍率（＝第２の表示倍率）を大きくし、相手映像２１に対して自分映像２２を大きく表示することにより、そして、さらに、相手映像２１，自分映像２２間のテーブル映像２５を、奥行き方向に幅が次第に狭くなるようにして、奥行きを持たせて表示することにより、相手（ユーザＢ）が奥の方に、自分（ユーザＡ）が手前の方に、これが互いに向かい合っているようにして表示されることになる。
【００４４】
なお、このような相手映像２１や自分映像２２の表示の表示倍率の設定処理や自分映像２２の作成処理はＣＰＵ２ａによって行なわれ、また、テーブル映像２５のデータは記憶部６ａに保存されており、ＣＰＵ２ａの処理によって合成処理される。
【００４５】
また、自分の手形カーソル２３は、自分の、即ち、この場合、ユーザＡ側のクライアント端末１ａでのポインティングデバイス５ａ（図１）の操作に応じて移動し、その移動可能範囲は、相手映像２１を含むその近傍範囲内とテーブル映像２５のエリア内である。
【００４６】
このユーザＡ側のクライアント端末１ａでの自分の手形カーソル２３は、相手側、即ち、ユーザＢ側のクライアント端末１ｂでのディスプレイ４ｂで表示されるコミュニケーション用画面での相手の手形カーソル２４に対応し、また、ユーザＢ側のクライアント端末１ｂでの自分の手形カーソル２３は、ユーザＡ側のクライアント端末１ａでの相手の手形カーソル２４に対応する。これ故、ユーザＡ側のクライアント端末１ａでの自分の手形カーソル２３の相手映像２１に対する動きは、ユーザＢ側のクライアント端末１ｂでの相手の手形カーソル２４の自分映像２２に対する同じ動きとなり、また、ユーザＢ側のクライアント端末１ｂでの自分の手形カーソル２３の相手映像２１に対する動きは、ユーザＡ側のクライアント端末１ａでの相手の手形カーソル２４の自分映像２２に対する同じ動きとなる。従って、ユーザＡ側のクライアント端末１ａ，ユーザＢ側のクライアント端末１ｂでの自分映像２２やテーブル映像２５に対する相手の手形カーソル２４の動き可能範囲は、ユーザＢ側のクライアント端末１ｂ，ユーザＡ側のクライアント端末１ａでの相手映像２１やテーブル映像に対する自分の手形カーソル２３の動き可能範囲と等しいことになる。
【００４７】
ここで、自分の手形カーソル２３は、自分（ユーザＡ）側のクライアント端末１ａでのマウスなどのポインティングデバイス５ａの操作により、その操作に応じた位置をＣＰＵ２ａで設定し、コミュニケーション画面２０でのこの設定位置に対応する位置に表示する。また、ＣＰＵ２ａは、相手（ユーザＢ）側のクライアント端末１ｂ（図１）にビデオカメラ３ａで撮像した自分映像を送信するが、これとともに、ＣＰＵ２ａによる自分の手形カーソル２３の設定位置の情報も同時に相手（ユーザＢ）側のクライアント端末１ｂに送信する。そこで、自分（ユーザＡ）側のクライアント端末１ａでは、相手（ユーザＢ）側のクライアント端末１ｂからそのビデオカメラ３ｂで撮像された相手映像が受信されるが、これとともに、この相手映像（なお、相手（ユーザＢ）側のクライアント端末１ｂからみれば、自分映像となる）に対する手形カーソル（なお、相手（ユーザＢ）側のクライアント端末１ｂからみれば、自分の手形カーソル）のＣＰＵ２ｂによる設定位置の情報も受信することになり、ＣＰＵ２ａは、受信したこの設定位置の情報に該当するコミュニケーション用画面２０での位置に相手の手形カーソル２４を表示する。この相手の手形カーソル２４は、相手（ユーザＢ）側のクライアント端末１ｂのポインティングデバイス５ｂの操作に応じて設定位置の情報が変化すると、これを取得したＣＰＵ２ａがその変化を認識して位置制御することにより、その位置が変化することになる。クライアント端末１ａ，１ｂのコミュニケーション用画面に表示される該当する２つの手形カーソルの移動方向は、当然画面から見て互いに逆方向である。
【００４８】
ここで、自分の手形カーソル２３と相手の手形カーソル２４も、これらに該当する画像データが記憶装置６ａに格納されており、ＣＰＵ２ａがこれを読み出してコミュニケーション用画面２０での夫々の設定位置に対応した位置に表示させるものである。
【００４９】
なお、クライアント端末１ａ，１ｂにおいて、自分の手形カーソル２３に対する相手の手形カーソル２４の大きさは、相手映像２１の表示倍率（＝第１の表示倍率）に対する自分映像２２の表示倍率（＝第２の表示倍率）の比率倍に設定されており、自分の手形カーソル２３に対して、相手の手形カーソル２４を大きく表示される。これは、相手の手形カーソル２４が、三次元空間において、自分映像２２の近く（即ち、手前側）にあることを示しているものである。
【００５０】
図３は自分の手形カーソル２３と相手の手形カーソル２４との移動可能範囲を示す図であって、２６は相手映像撮像エリア、２７は自分映像撮像エリアであり、図２に対応する部分には同一符号をつけて重複する説明を省略する。
【００５１】
図３（ａ）は相手側のクライアント端末１ｂのビデオカメラ３ｂの撮像エリア（即ち、相手映像撮像エリア２６）とテーブル映像２５のエリアと自分側のクライアント端末１ａのビデオカメラ３ａの撮像エリア（即ち、自分映像撮像エリア２７）とを三次元空間内で示すものであって、テーブル映像２５のエリアが水平なエリアであるのに対し、相手映像撮像エリア２６と自分映像撮像エリア２７とがテーブル映像２５のエリアの両側に位置する垂直な平面エリアとなっている。相手映像撮像エリア２６に相手映像２１（図２）が表示され、自分映像撮像エリア２７に自分映像２２（図２）が表示される。
【００５２】
自分の手形カーソル２３（図２）は、斜線ハッチングして示す相手映像撮像エリア２６とテーブル映像２５のエリアとの合成エリア内で移動可能であって、これらエリアの外側に出ることができない。また、相手の手形カーソル２４（図２）は、白抜きで示す自分映像撮像エリア２７とテーブル映像２５のエリアとの合成エリア内で移動可能であって、これらエリアの外側に出ることができない。
【００５３】
図３（ｂ）はユーザＡ側のクライアント端末でのコミュニケーション用画面２０内での相手の手形カーソル２４の移動範囲を示すものであって、斜線ハッチングして示す自分映像撮像エリア２７とテーブル映像２５のエリアとの合成エリア内で移動可能である。また、図３（ｃ）はこのコミュニケーション用画面２０内での自分の手形カーソル２３の移動範囲を示すものであって、斜線ハッチングして示す相手映像撮像エリア２６とテーブル映像２５のエリアとの合成エリア内で移動可能である。
【００５４】
ここで、クライアント端末１ａ，１ｂにおいて、ディスプレイ４ａ，４ｂで表示されるコミュニケーション用画面２０では、相手映像２１の眼で見る方向、即ち、視線が自分映像２２の方向となるように、相手映像２１と自分映像２２との表示位置関係が設定される。これを、図４により、説明する。なお、図４は図２における表示画面での相手映像と自分映像との配置関係の説明図であって、２８はユーザ，２９はビデオカメラ３の視線、３０はユーザ２８の視線、３１はユーザ２８の映像、３１ａは眼、３２は相手の視線、３３は相手の映像であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
【００５５】
図４（ａ）に示すように、ユーザ２８（即ち、自分）は、コミュニケーションをする場合には、ディスプレイ４（即ち、ディスプレイ４ａ，４ｂ）で表示されるコミュニケーション用画面２０を見ており、このとき、ビデオカメラ３（即ち、ビデオカメラ３ａ，３ｂ）はこのディスプレイ４の表示画面の上方から下向きにユーザ２８を撮像する。即ち、ビデオカメラ３の視線２９は、ユーザ２８の方向に、下向きとなっている。ユーザ２８の表示画面の方向の視線２８とビデオカメラ３の視線３０との間に角度αが生ずることになり、このビデオカメラ３が撮像した映像を相手側のクライアント端末のディスプレイ４のコミュニケーション用画面２０に表示すると、図４（ｂ）に示すように、ユーザ２８の映像３１では、その眼３１ａの視線が上記の角度α分下方を向いて、その眼３１ａが下方を見ているように見える。このため、従来のテレビ電話システムでの相手側のクライアント端末のディスプレイに表示されるコミュニケーション用画面では、このコミュニケーション用画面を見る相手側には、ユーザ２８が自分を見ていないように見える。
【００５６】
この実施形態での相手側画面内の仮想空間を横から見た位置関係を図４（ｃ）で説明すると、相手の視線３２が下向きであって、相手がユーザ２８を見下ろすように見ているのと同じ状態であり、このときのユーザ２８の視線２８は、相手の視線３２に対して、下向きに角度αの方向である。そこで、このユーザ２８の視線３０の方向に相手３３を位置付けるようにすることにより、相手はユーザ２８が見る方向に存在することになる。
【００５７】
この実施形態は、このことに基づいて、図２に示すように、ディスプレイ４に表示されるコミュニケーション用画面２０において、自分映像２２を相手映像２１に対向するように表示し、このように対向した状態で両者のコミュニケーションが行なわれているようにするものである。
【００５８】
図５は図２に示すコミュニケーション用画面２０を構成する要素を示す図であって、３４は背景画面であり、図２に対応する部分には同一符号をつけて重複する説明を省略する。なお、ここでは、図２でのユーザＡ側のクライアント端末１ａを自分側とし、ユーザＢ側のクライアント端末１ｂを相手側として、自分側のクライアント端末１ａについて説明する。但し、以下の説明は、自分側，相手側を逆にした場合も、同様である。
【００５９】
図２に示すコミュニケーション用画面２０は、図５（ａ）に示す相手側のクライアント端末１ｂのビデオカメラ３ｂ（図１）の撮像エリアに対する相手映像撮像エリア２６の映像と、図５（ｂ）に示す自分の手形カーソル２３と、図５（ｃ）に示すテーブル映像２５と、図５（ｄ）に示す相手の手形カーソル２４と、図５（ｅ）に示す自分側のクライアント端末１ａのビデオカメラ３ａの撮像エリアに対する自分映像撮像エリア２７の映像とが合成されたものである。
【００６０】
ここで、相手映像撮像エリア２６の映像は、相手側のクライアント端末１ｂから送信されたものであって、ＣＰＵ２ａ（図１）により、上記の第１の表示倍率で映像の大きさの設定処理がなされるとともに、相手映像２１を含む所定の大きさのエリアに加工処理されたものであり、また、自分映像撮像エリア２７の映像は、ＣＰＵ２ａにより、上記の第２の表示倍率で映像の大きさの設定処理されるとともに、自分側のクライアント端末１ａのビデオカメラ３ａの撮像エリアの映像を所定の大きさのエリアに加工処理されたものである。これら加工に際して、相手映像撮像エリア２６は第１の表示倍率に応じた大きさとし、自分映像撮像エリア２７は第２の表示倍率に応じた大きさとしており、従って、自分映像撮像エリア２７は、相手映像撮像エリア２６によりも、ほぼ（第２の表示倍率／第１の表示倍率）倍大きいものとなっている。また、自分側のクライアント端末１ａのビデオカメラ３ａで撮像された映像は、上記のように、左右反転され、さらに、自分の映像の輪郭のみが抽出され、さらには、場合によって、輪郭内を半透明状に黒色を含む色付けする処理がなされる。
【００６１】
また、自分の手形カーソル２３とテーブル映像２５と相手の手形カーソル２４とは、それらの映像データがクライアント端末１ａの記憶装置６ａに格納されており、ＣＰＵ２ａがこれらの映像データを記憶装置６ａ（図１）から読み取り、コミュニケーション用画面２０の作成に使用する。
【００６２】
このコミュニケーション用画面２０を作成するに際しては、図５（ａ）に示すように、所定の背景画面３４の上辺中央部の固定した場所で、相手側のビデオカメラ３の相手映像撮像エリア２６に等しい大きさ，形状のエリアを切り抜いて、この切り抜かれたエリアにこの相手映像撮像エリア２６を嵌め込む合成処理を行ない、次いで、同様の手法により、図５（ｃ）に示すテーブル映像２５を、背景画面３４に嵌め込まれた相手映像撮像エリア２６から背景画面３４の下辺にわたるエリアに嵌め込む合成処理を行ない、次いで、相手映像撮像エリア２６とテーブル映像２５とが嵌め込まれた画面に、図５（ｂ）に示す自分の手形カーソル２３と図５（ｄ）に示す相手の手形カーソル２４とを重ねる合成処理を行なう。そして、輪郭からなる自分映像２２をさらに重ねる合成処理を行なう。
【００６３】
このようにして、図２に示すコミュニケーション用画面２０が形成されるが、図３で説明したように、自分の手形カーソル２３は相手映像２１を含む相手映像撮像エリア２６とテーブル映像２５とのエリア内で移動可能であって、かかるエリア外に出ることができず、また、相手の手形カーソル２４は自分映像２２を含む自分映像撮像エリア２７とテーブル映像２５とのエリア内で移動可能であって、かかるエリア外に出ることができない。このような自分の手形カーソル２３や相手の手形カーソル２４の移動可能なエリアは、ＣＰＵ２ａにより、撮像エリア３３，３４やテーブル映像２５のエリアをもとに規制されるものである。
【００６４】
なお、自分の手形カーソル２３の移動は、自分側のクライアント端末１ａでのポインティングデバイス５ａをユーザＡが操作することによって行なわれ、後述するように、相手映像２１に触れるように動作させるものであって、自分、即ち、ユーザＡの手の機能を持たせたものである。このため、自分の手形カーソル２３は、通常、相手映像２１の近くにあるように表示される。これに対し、相手の手形カーソル２４の移動は、相手側のクライアント端末１ｂでのポインティングデバイス５ｂをユーザＢが操作することによって行なわれ、後述するように、自分映像２２に触れるように動作させるものであって、相手、即ち、ユーザＢの手の機能を持たせたものである。このため、相手の手形カーソル２４は、通常、自分映像２２の近くにあるように表示される。このことからして、自分の手形カーソル２３は三次元空間的に表わされるコミュニケーション用画面２０での奥の方に存在することになり、このため、小さく表示され、また、相手の手形カーソル２４はこのコミュニケーション用画面２０での手前側に存在することになり、このため、大きく表示される。
【００６５】
図６はコミュニケーションを行なうユーザＡ側のクライアント１ａとユーザＢ側のクライアント端末１ｂでのコミュニケーション用画面の関係を示す図であって、２０ａ，２０ｂはコミュニケーション用画面、２１ａ，２２ｂはユーザＢの映像、２２ａ，２１ｂはユーザＡの映像、２３ａ，２４ｂはユーザＡの手形カーソル、２４ａ，２３ｂはユーザＢの手形カーソル、２５ａ，２５ｂはテーブル映像、３５ａ，３５ｂは「触る」マークである。
【００６６】
図６（ａ）はユーザＡ側のクライアント端末１ａでのコミュニケーション用画面２０ａを、図６（ｂ）は同じ時点でのこのコミュニケーション用画面２０ａに対するユーザＢ側のクライアント端末１ｂでのコミュニケーション用画面２０ｂを夫々示すものである。
【００６７】
図６（ａ）に示すユーザＡ側のクライアント端末１ａでのコミュニケーション用画面２０ａにおいて、ユーザＡの映像が自分映像２２ａ、ユーザＡの手形カーソルを自分の手形カーソル２３ａとすると、図６（ｂ）に示すユーザＢ側のクライアント端末１ｂでのコミュニケーション用画面２０ｂでは、ユーザＡの映像が相手映像２１ｂ、ユーザＡの手形カーソルが相手の手形カーソル２４ｂとなる。同様に、コミュニケーション用画面２０ａにおいて、ユーザＢの映像が相手映像２１ａ、ユーザＢの手形カーソルを相手の手形カーソル２４ａとすると、図６（ｂ）に示すコミュニケーション用画面２０ｂでは、ユーザＢの映像が自分映像２２ｂ、ユーザＢの手形カーソルが自分の手形カーソル２３ｂとなる。
【００６８】
そこで、いま、ユーザＡ側のクライアント端末１ａでのコミュニケーション用画面２０ａにおいて、ポインティングデバイス５ａを操作することにより、ユーザＡが自分の手形カーソル２３ａをユーザＢである相手映像２１ａに触れさせるようにすると、ユーザＢ側のクライアント端末１ｂでのコミュニケーション用画面２０ｂでは、ユーザＡの手形カーソルである相手の手形カーソル２４ｂがユーザＢの映像である自分映像２２ｂに触れる状態となる。
【００６９】
同様にして、ユーザＢ側のクライアント端末１ｂでのコミュニケーション用画面２０ｂにおいて、ポインティングデバイス５ｂを操作することにより、ユーザＢが自分の手形カーソル２３ｂを移動させると、ユーザＡ側のクライアント端末１ａでのコミュニケーション用画面２０ａでは、ユーザＢの手形カーソルである相手の手形カーソル２４ａが、コミュニケーション用画面２０ｂでの自分の手形カーソル２３ｂの移動方向とは逆方向に、コミュニケーション用画面２０ａ，２０ｂでの表示の倍率に応じた移動量だけ移動することになる。
【００７０】
このように、夫々のクライアント端末で表示されるコミュニケーション用画面２０では、自分の手形カーソル２３が自分側のクライアント端末でのポインティングデバイス５のユーザ操作により、移動などの制御をすることができるし、相手の手形カーソル２４は、相手側のクライアント端末でのポインティングデバイス５のユーザ操作により、移動などの制御が行なわれる。
【００７１】
ここで、図６（ａ）は、ユーザＡ側のクライアント端末１ａにおいて、コミュニケーション用画面２０ａで自分の手形カーソル２３の指先が相手映像２１ａの顔の部分に触るように、このユーザＡがポインティングデバイス５ａを所定操作した場合を示すものであり、この指先で触った部分には、丸印のマーク、即ち、「触る」マーク３５ａが表示される。これに対し、ユーザＢ側のクライアント端末１ｂのディスプレイ４ａに表示されるコミュニケーション用画面２０ｂでは、図６（ｂ）に示すように、相手の手形カーソル２４ｂの指先は、自分映像２２ｂでの、コミュニケーション用画面２０ａで相手映像２１ａにおける自分の手形カーソル２３ｂが触れる位置に対応した位置に表示され、これとともに、相手の手形カーソル２４ｂの指先が自分映像２２ｂに触れているものとして、その触れている位置に上記と同様の丸印のマーク、即ち、「触る」マーク３５ｂが表示されることになる。この場合、自分映像２２ｂの表示倍率は同じユーザの相手映像２１ａの表示倍率よりも大きいので、これら表示倍率に応じて、「触る」マーク３５ｂは「触る」マーク３５ａよりも大きく表示される。手形カーソル２４ａ，２３ｂが触った場合も、同様である。
【００７２】
後述するように、ユーザはその手形カーソル２３を種々に操作することができるが、ユーザＡは、コミュニケーション用画面２０ａにおいて、自分の手形カーソル２３ａを操作することにより、相手映像２１ａに対して所望とする操作をすることができるし、また、相手（この場合、ユーザＢ）がそのクライアント端末１ｂで表示されるコミュニケーション用画面２０ｂでの自分の手形カーソル２３ｂを操作した結果も知ることができる。ユーザＢも、そのクライアント端末１ｂで表示されるコミュニケーション用画面２０ｂにおいて、同様の操作を行なうことができるし、また、ユーザＡによる手形カーソル２３ａの操作の結果も知ることができる。
【００７３】
図７はクライアント端末１ａ，１ｂにおけるコミュニケーション用画面で表示される手形カーソル、特に、自分の手形カーソル２３の状態の具体例を示す図であって、２６Ｕは相手映像撮像エリア２６の上半部、２６Ｄは同じく下半部、３６ａ，３６ｂは作用点、３７は自分の手形カーソル２３の人差指部、３８は同じく手の平部であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
【００７４】
図７（ａ）において、自分の手形カーソル２３には、その人差指部３７の指先部に作用点３７が設定され、また、その手の平部３８に作用点３６ｂが設定されている。
【００７５】
自分の手形カーソル２３、厳密には、その作用点３６ａ，３６ｂの相手映像撮像エリア２６での状態としては、図７（ｂ）に示すように、自分の手形カーソル２３の作用点３６ａ，３６ｂがともに相手映像撮像エリア２６内の相手映像２１のエリア外に存在する状態（イ）と、自分の手形カーソル２３の手の平部での作用点３６ｂが相手映像撮像エリア２６の上半部２６Ｕ内での相手映像２１のエリア内に存在し、指先の作用点３６ａが相手映像２１のエリア外に存在する状態（ロ）と、この作用点３６ｂがその下半部２６Ｄ内での相手映像２１のエリア内に存在し、作用点３６ａが相手映像２１のエリア外に存在状態（ハ）と、自分の手形カーソル２３の作用点３６ａ，３６ｂがともに相手映像２１のエリア内に存在する状態（イ）とがあり、自分の手形カーソル２３にその状態（イ）〜（ニ）に応じた機能を持たせることができる。
【００７６】
なお、作用点３６ａ，３６ｂがともに相手映像２１のエリア内に存在する状態（イ）では、自分の手形カーソル２３は、図７（ｃ）に示すように、物を指差すように、人差指部３７だけを伸ばした状態になる。自分の手形カーソル２３は、少なくとも作用点３６ａが相手映像２１のエリア内に存在しない状態（イ）〜（ハ）では、手が開いた状態にあるが、作用点３６ａ，３６ｂがともに相手映像２１のエリア内に存在する状態（ニ）になると、図７（ｃ）に示す状態となる。このような状態の変化は、予め記憶部６ａ，６ｂ（図１）に自分の手形カーソル２３の状態に応じた形状のデータが格納されており、ＣＰＵ２ａ，２ｂ（図１）が自分の手形カーソル２３のコミュニケーション用画面２０での位置を監視しており、その位置に応じた自分の手形カーソル２３の形状のデータを記憶装置６ａ，６ｂから読み出し、その位置に表示するようにする。
【００７７】
図８は自分の手形カーソル２３の図７に示す状態に応じた機能の具体例を示す図であって、３５ｃは「触れる」マーク、３５ｄは「掴む」マーク、３５ｅは「叩く」マークであり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。なお、この具体例は、図１でのユーザＡのクライアント端末１ａについて説明するが、ユーザＢのクライアント端末１ｂについても、同様である。
【００７８】
図８（ａ）は図７（ｂ）に示す状態（ニ）のときの自分の手形カーソル２３の機能を示すものであり、ユーザＡの指先が相手（ユーザＢ）に触ったような機能を持たせるものである。
【００７９】
いま、ポインティングデバイス５ａ（図１）を操作して、例えば、図７（ｂ）での状態（イ）から自分の手形カーソル２３を移動させ、同じく状態（ニ）にすると、図８（ａ），（１）に示すように、自分の手形カーソル２３は図７（ｃ）に示すものを指差した状態となる。即ち、自分の手形カーソル２３の人差指が相手映像２３を指差した状態となる。
【００８０】
かかる状態でポインティングデバイス５ａでクリック操作されると、図８（ａ），（２）に示すように、自分の手形カーソル２３の人差指が相手映像２１に触った状態となり、図６（ａ）で説明したように、相手映像２１のこの指先が触った所に「触れる」マーク３５ａが表示される。そして、ポインティングデバイス５ａでドラッグ操作されると、図８（ａ），（３）に示すように、自分の手形カーソル２３の指先が移動し、この指先とともに、この「触れる」マーク３５ａも移動する。
【００８１】
このように自分の手形カーソル２３を操作することにより、ユーザＡがその指先でユーザＢに触り、この指先でユーザＢを撫でるような動作を行なわせることができる。
【００８２】
図８（ｂ）は図７（ｂ）に示す状態（ロ）のときの自分の手形カーソル２３の機能を示すものであり、ユーザＡが相手（ユーザＢ）の頭を手の平部で撫でるような機能を持たせるものである。
【００８３】
いま、ポインティングデバイス５ａ（図１）を操作して、例えば、図７（ｂ）での状態（イ）から相手映像撮像エリア２６の上半部２６Ｕ（図７（ｂ））内を自分の手形カーソル２３を移動させ、図８（ｂ），（１）に示すように、相手映像２１の頭の位置に位置付け、かかる状態でポインティングデバイス５ａでクリック操作されると、図８（ｂ），（２）に示すように、自分の手形カーソル２３が相手映像２１の頭部に触った状態となり、相手映像２１の頭の自分の手形カーソル２３が触った所に「触れる」マーク３５ｃが表示される。これにより、ユーザＡは相手映像２１の頭の自分の手形カーソル２３が触ったことを認識できる。そして、ポインティングデバイス５ａでドラッグ操作されると、図８（ｂ），（３）に示すように、自分の手形カーソル２３がこの頭に沿って移動し、この自分の手形カーソル２３とともに、この「触れる」マーク３５ｃも移動する。
【００８４】
このように自分の手形カーソル２３を操作することにより、ユーザＡがその手でユーザＢの頭に触り、この手でユーザＢの頭を撫でるような動作を行なわせることができる。
【００８５】
図８（ｃ）は図７（ｂ）に示す状態（ハ）のときの自分の手形カーソル２３の機能を示すものであり、ユーザＡが相手（ユーザＢ）の肩を掴むような機能を持たせるものである。
【００８６】
いま、ポインティングデバイス５ａ（図１）を操作して、例えば、図７（ｂ）での状態（イ）から相手映像撮像エリア２６の下半部２６Ｄ（図７（ｂ））内を自分の手形カーソル２３を移動させ、図８（ｃ），（１）に示すように、相手映像２１の肩の位置に位置付け、かかる状態でポインティングデバイス５ａでクリック操作されると、図８（ｃ），（２）に示すように、自分の手形カーソル２３が相手映像２１の肩部に掴んだ状態となり、相手映像２１の肩部の自分の手形カーソル２３が掴んだ所に「掴む」マーク３５ｄが表示される。これにより、ユーザＡは相手映像２１の肩部を自分の手形カーソル２３で掴んだことを認識できる。そして、ポインティングデバイス５ａでドラッグ操作されると、図８（ｃ），（３）に示すように、自分の手形カーソル２３がこの肩部に沿って移動し、この自分の手形カーソル２３とともに、この「掴む」マーク３５ｄも移動する。
【００８７】
このように自分の手形カーソル２３を操作することにより、ユーザＡがその手でユーザＢの肩に掴み、この手でユーザＢの肩を撫でるような動作を行なわせることができる。
【００８８】
図８（ｄ）はユーザＡが相手（ユーザＢ）を平手で叩くような機能を持たせるものである。
【００８９】
いま、ポインティングデバイス５ａ（図１）を操作して、例えば、図７（ｂ）での状態（イ）と同様の図８（ｄ），（１）に示す状態で、ポインティングデバイス５ａでクリック操作されると、図８（ｄ），（２）に示すように、自分の手形カーソル２３の手の平部が相手映像２１側に向いた状態に表示される。この状態の自分の手形カーソル２３のデータも記憶装置６ａに格納さており、ＣＰＵ２ａがポインティングデバイス５ａでのクリック操作に伴ってこのデータを読み取り、切り替え表示させる。そして、かかる状態でポインティングデバイス５ａで相手映像２１へのドラッグ操作（例えば、水平方向へのドラッグ操作）がなされると、これによって自分の手形カーソル２３がその方向に移動し、図８（ｄ），（３）に示すように、相手映像２１に突き当たる状態となる。これとともに、相手映像２１の自分の手形カーソル２３が突き当たったところに「叩く」マーク３５ｅが表示される。
【００９０】
このように自分の手形カーソル２３を操作することにより、ユーザＡがその手でユーザＢを叩くような動作を行なわせることができる。
【００９１】
このように、この実施形態では、ポインティングデバイス５ａの操作により、相手映像２１を自分の手形カーソル２３で触ったり、撫でたり、掴んだり、叩いたりすることができ、相手のクライアント端末、即ち、ユーザＢのクライアント端末１ｂでは、自分映像２２に対し、相手の手形カーソル２４が触ったり、撫でたり、掴んだり、叩いたりする動作を行なうことになる。
【００９２】
なお、図８（ａ）〜（ｄ）に示す手形カーソル夫々の画像データが自分（ユーザＡ）のクライアント端末１ａの記憶装置６ａに格納されているが、また、これらの同じ画像データが相手（ユーザＢ）のクライアント端末の記憶装置６ｂにも、クライアント端末１ａの記憶装置６ａに格納されている手形カーソルと、例えば、識別データなどにより、互いに関連付けて格納されている。そして、クライアント端末１ａで記憶装置６ａから所定の形状の手形カーソルが記憶装置６ａから読み出されて、自分の手形カーソルとして、表示されるときには、この読み出された手形カーソルが読み出されたことを、例えば、この識別データによってクライアント端末１ｂに通知され、この通知を取得したクライアント端末１ｂでも、記憶装置６ｂからこの通知に該当する同じ形状の手形カーソルが読み出され、相手の手形カーソルとして、表示される。クライアント端末１ｂで自分の手形カーソルを選択して表示する場合も、クライアント端末１ａでは、これと同じ手形カーソルを、相手の手形カーソルとして、読み出して表示する。
【００９３】
また、「触れる」マーク３５ｃや「掴む」マーク３５ｄ，「叩く」マーク３５ｅも、そのデータが記憶装置６ａ，６ｂ（図１）に格納されており、ポインティングデバイス５ａ，５ｂの操作により、ＣＰＵ２ａ，２ｂが所定のマークを読み出し、表示させる。
【００９４】
図９は手形カーソル２３，２４のテーブル映像２５のエリア内の動作や状態の一具体例を示す図であって、前出部面に対応する部分には同一符号をつけて重複する説明を省略する。
【００９５】
自分の手形カーソル２３と相手の手形カーソル２４は夫々、図１での自分（ユーザＡ）側のクライアント端末１ａのポインティングデバイス５ａ，相手（ユーザＢ）側のクライアント端末１ｂのポインティングデバイス５ｂの操作により、テーブル映像２５のエリア内を移動することができ、両者が離れている場合には、図９（ａ）に示すように、手が開いた状態で移動する。
【００９６】
以下、クライアント端末１ａ側について説明すると、この移動によって、自分の手形カーソル２３と相手の手形カーソル２４とのテーブル映像２５のエリア内での位置が同じとなり、互いに接する状態となると、図９（ｂ）に示すように、速度が速かった方の手形カーソルが速度が遅かった方の手形カーソル上に被さるようになってこの手が手カーソルを握り締めた状態となる。ここでは、自分の手形カーソル２３が相手の手形カーソル２４に覆い被さった状態で重なったとなっているものとしている。
【００９７】
このように、２つの手形カーソルが重なった状態の画像データもクライアント端末１ａ，１ｂの記憶装置６ａ，６ｂに格納されており、２つの手形カーソルが接近して接する状態になると、ＣＰＵ２ａ，２ｂがこれを認識し、記憶部６ａからこの画像データを読み出して、これまでの２つの手形カーソル２３，２４に変わって、かかる画像データによる手形カーソルをテーブル映像２５上に表示させる。
【００９８】
このとき、ポインティングデバイス５ｂの操作を停止すると、あるいは、これら手形カーソル２３，２４が互いに同じ速度で（ポインティングデバイス５ａ，５ｂを同じ速度で）互いを押す方向に移動操作すると、これら手形カーソル２３，２４が重なった状態で停止しており、また、これら手形カーソル２３，２４が離れる方向にポインティングデバイス５ｂで操作がなされると、これらは離れて図９（ａ）に示す状態に戻るし、これらの手形カーソルの移動方向が互いに反対方向以外の方向であるときには、これに方向のベクトル和となる方向にベクトル和の速度で、重なった状態のまま移動する。
【００９９】
また、図９（ｂ）に示す状態でクライアント端末１ａ，１ｂのいずれかのポインティングデバイス５ａまたは５ｂでクリック操作がなされると、図９（ｃ）に示すように、自分の手形カーソル２３と相手の手形カーソル２４とが握り合った状態となり、図９（ｂ）に示す重なり合った状態と同様に、停止、または、移動する。
【０１００】
このように、２つの手形カーソルが握り合った状態の画像データもクライアント端末１ａ，１ｂの記憶装置６ａ，６ｂに格納されており、図９（ｂ）に示す状態でクリック操作がなされると、ＣＰＵ２ａ，２ｂがこれを認識し、記憶部６ａからこの画像データを読み出して、これまでの図９（ｂ）に示す手形カーソルの映像に代えて、かかる画像データによる握り合った手形カーソルの映像をテーブル映像２５上に表示させる。
【０１０１】
このようにして、テーブル映像２５のエリアにおいても、自分の手形カーソル２３と相手の手形カーソル２４とを移動操作することができ、自分の手を相手の手に重ねたり、相手の手を握ったりするようなことを行なうことができる。
【０１０２】
図１０はポインティングデバイス５ａの操作に伴うＣＰＵ２ａによる自分の手形カーソル２３の以上の動作の流れを示すフローチャートである。ここでは、自分（ユーザＡ）側のクライアント端末１ａのポインティングデバイス５ａの操作による自分の手形カーソル２３の動作について説明するが、相手（ユーザＢ）側のクライアント端末１ｂのポインティングデバイス５ｂの操作による相手の手形カーソル２４の動作も同様である。
【０１０３】
同図において、自分の手形カーソル２３の一部でも、相手映像２１の撮像エリア２６内にあるか否かを判定する（ステップ１００）。この撮像エリア２６内にあって（ステップ１００の“Ｙｅｓ”）、この自分の手形カーソル２３の手の平部３８の作用点３６ｂ（図７（ａ））が相手映像２１の輪郭内にあり（ステップ１０１の“Ｙｅｓ”）、かつこの自分の手形カーソル２３の人差指部３７の先端の作用点３６ａも相手映像２１の輪郭内にあるときには（ステップ１０２の“Ｙｅｓ”）、自分の手形カーソル２３は、図８（ａ）に示すように、相手映像２１に触る形状に変形表示される（ステップ１０３）。
【０１０４】
また、自分の手形カーソル２３の一部が相手映像２１の撮像エリア２６内にあるが（ステップ１００の“Ｙｅｓ”）、この自分の手形カーソル２３の手の平部３８の作用点３６ｂ（図７（ａ））が相手映像２１の輪郭外にある場合には（ステップ１０１の“Ｎｏ”）、自分の手形カーソル２３は、図８（ｄ）の（１）に示すように、手が開いた状態に表示される（ステップ１０４）。なお、自分の手形カーソル２３がこのステップ１０４の状態にあるときに、自分のクライアント端末１ａ（図１）のポインティングデバイス５ａでクリック，ドラッグ操作があると、図８（ｄ），（１），（２）に示すように、自分の手形カーソル２３が相手映像２１に対して叩く動作が行なわれる。
【０１０５】
さらに、自分の手形カーソル２３の一部が相手映像２１の撮像エリア２６内にあり（ステップ１００の“Ｙｅｓ”）、この自分の手形カーソル２３の手の平部３８の作用点３６ｂ（図７（ａ））が相手映像２１の輪郭内にあるが（ステップ１０１の“Ｙｅｓ”）、この自分の手形カーソル２３の人差指部３７の先端の作用点３６ａが相手映像２１の輪郭外にあるときには（ステップ１０２の“Ｎｏ”）、この自分の手形カーソル２３の手の平部３８の作用点３６ｂ（図７（ａ））が相手映像２１の撮像エリア２６の上半部２６Ｕにあるとき（ステップ１０５の“Ｎｏ”）、図８（ｂ）に示すように、自分のクライアント端末１ａのポインティングデバイス５ａでのクリック，ドラッグ操作により、撫でる形状に変形されて撫でる動作を行なわせることができるが（ステップ１０６）、この自分の手形カーソル２３の手の平部３８の作用点３６ｂ（図７（ａ））が相手映像２１の撮像エリア２６の下半部２６Ｄにあるとき（ステップ１０２の“Ｙｅｓ”）、図８（ｃ）に示すように、自分のクライアント端末１ａのポインティングデバイス５ａでのクリック，ドラッグ操作により、掴む形状に変形されて掴む動作を行なわせることができる（ステップ１０７）。
【０１０６】
一方、自分の手形カーソル２３全体が相手映像２１の撮像エリア２６内にないときには（ステップ１００の“Ｎｏ”）、自分の手形カーソル２３がテーブル映像２５のエリア内にあるものとして、相手の手形カーソル２４と重なっていないときには（ステップ１０８の“Ｎｏ”）、図９（ａ）に示すように、自分の手形カーソル２３がテーブル上に置かれて開いた状態にある（ステップ１０９）。また、相手の手形カーソル２４と重なっているときには（ステップ１０８の“Ｙｅｓ”）、自分のクライアント端末１ａのポインティングデバイス５ａと相手のクライアント端末１ｂのポインティングデバイス５ｂとのいずれかで、クリック操作がなされたとき（ステップ１１０の“Ｎｏ”）、図９（ｃ）に示すように、これら手形カーソル２３，２４が握り合った状態となる（ステップ１１１）。さらに、相手の手形カーソル２４と重なっており（ステップ１０８の“Ｙｅｓ”）、自分のクライアント端末１ａのポインティングデバイス５ａと相手のクライアント端末１ｂのポインティングデバイス５ｂとのいずれかでも、クリック操作がなされないときには（ステップ１１０の“Ｙｅｓ”）、これら手形カーソル２３，２４が重なるときに相手の手形カーソル２４が自分の手形カーソル２３よりも速い速度で移動していたとき（ステップ１１２の“Ｎｏ”）、図９（ｂ）に示すように、相手の手形カーソル２４の上に自分の手形カーソル２３が重なった状態となり（ステップ１１３）、逆に相手の手形カーソル２４方が速かった場合には（ステップ１１２の“Ｙｅｓ”）、相手の手形カーソル２４が自分の手形カーソル２３の上に重なった状態となる（ステップ１１４）。
【０１０７】
図１１は図８（ａ）に示す状態でポインティングデバイス５ａの移動操作による自分の手形カーソル２３の移動量の一具体例を示す図であって、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
【０１０８】
図８（ａ），（１）に示す自分の手形カーソル２３が相手映像２１に触れていないときと、図８（ａ），（２）に示す自分の手形カーソル２３が相手映像２１に触れているときとでは、ポインティングデバイス５ａによる移動操作に対し、それらの移動量を異ならせるようにする。
【０１０９】
図１１（ａ）は、図８（ａ），（１）に示すように、自分の手形カーソル２３が相手映像２１に触れていない状態を、図１１（ｂ）は、図８（ａ），（２）に示すように、自分の手形カーソル２３が相手映像２１に触れていない状態を示すものである。
【０１１０】
図１１（ａ）に示す状態では、ポインティングデバイス５ａ（例えば、マウス）を移動操作し、移動量ｄだけ移動させたとき、自分の手形カーソル２３の移動距離をｄ1とすると、図１１（ｂ）に示す状態で、ポインティングデバイス５ａを移動操作し、上記と同じ移動量ｄだけ移動させたときには、自分の手形カーソル２３の移動距離はｄ2であり、ｄ2＜ｄ1となるようにする。
【０１１１】
このように、この具体例では、ポインティングデバイス５ａの同じ移動量の移動操作に対し、自分の手形カーソル２３が相手映像２１に触れているときには、触れていないときよりも、移動量を少なくするものであり、従って、自分の手形カーソル２３が相手映像２１に触れているときには、触れていないときよりも、移動速度を小さくするものである。これは、自分の手形カーソル２３が相手映像２１に触れているときには、この手形カーソル２３の相手映像２３に触っている指先と相手映像２３の触られている部分との間に摩擦力が生じ、これにより、相手映像２１に触れているときの自分の手形カーソル２３の移動速度が遅くなることを示すものである。
【０１１２】
図１２は自分映像２２と相手映像２１との状態の関係を変化できるようにした方法の一具体例を示す図であって、２２’は自分映像であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
【０１１３】
図１２（ａ）は相手映像２１と自分映像２２とがテーブル映像２５を対向した１つの状態を示すものであり、ポインティングデバイス５ａとしてのマウスのマウスホイールを回転操作することにより、図１２（ｂ）に示すように、ヒューアングルを変更させることができる。
【０１１４】
ここで、図１２（ｂ）に示す状態は、ディスプレイ４ａ（図１）の表示画面を見るユーザＡの視点を下方に移動させた場合のコミュニケーション用画面２０を示すものであって、相手映像２１では、その視線が、図１２（ａ）に示す状態に比べ、持ち上がり、正面を見ているような自然に見ている状態となり、また、自分映像２２’は上の方に移動して、相手映像２１との重なりの度合いが変化する。また、テーブル映像２５の縦幅も変化する。
【０１１５】
ここで、図１２（ｂ）での自分映像２２’については、上記のように、自分側のクライアント端末１ａ（図１）において、そのＣＰＵ２ａがビデオカメラ３ａの撮像エリアの一部を抽出し、自分映像撮像エリア２７（例えば、図５（ｅ））として、ディスプレイ５ａで表示されるコミュニケーション用画像２０に嵌め込んで表示させるものであるが、ポインティングデバイス５ａとしてのマウスのマウスホイールを回転操作することにより、ＣＰＵ２ａがこの抽出した自分映像撮像エリア２７のコミュニケーション用画像２０での嵌め込み位置を上昇させたものである。従って、図１２（ｂ）に示す状態でマウスのマウスホイールを逆方向に回転操作すると、図１２（ａ）に示す状態に変化することになる。
【０１１６】
ところで、例えば、使用するディスプレイやその設置環境に応じて、図１２（ａ）に示すように、相手映像２１の視線が大きく下向きになったり、図１２（ｂ）に示すように、下向きが小さくなったりする。ディスプレイが大きかったり、ユーザが低い位置から画面を見ている場合には、図１２（ａ）のようになるし、その逆の場合には、図１２（ｂ）のようになる。
【０１１７】
この具体例では、図１２（ａ）に示すように、相手映像２１の視線が大きく下向きの場合には、相手映像２１を下方に移動させることにより、相手映像２１の視線を自分映像２２の方に合わせることができ、また、図１２（ｂ）に示すように、相手映像２１の視線が小さく下向きの場合には、相手映像２１を上方に移動させることにより、やはり相手映像２１の視線を自分映像２２の方に合わせることができるものである。
【０１１８】
図１３は図１におけるクライアント端末１ａ，１ｂのディスプレイ４ａ，４ｂに表示されるコミュニケーション用画面での自分映像２２の表示状態の変更の一具体例を示す図であって、２１ｂ’は相手映像、２２ａ’は自分映像であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
【０１１９】
いま、図１３（ａ），（イ）に示すように、自分（ユーザＡ）側のクライアント端末１ａ（図１）のディスプレイ４ａでコミュニケーション用画像２０が表示されている状態にあるものとする。かかる表示状態で、ポインティングデバイス５ａ（図１）としてのマウスで右ボタンを押下する操作がなされると、図１３（ａ），（ロ）に示すように、自分映像２２ａが半回転し、相手映像２１ａとは反対側（即ち、このコミュニケーション用画面２０を見ているユーザＡ側）を向いた状態の自分映像２２ａ’となる。そして、この自分映像２２ａ’は、その輪郭で表わされるのではなく、ビデオカメラ３ａ（図１）が撮像したそのものの映像として表示されることになる。従って、ユーザＡは、この自分映像２２ａ’から、自分が相手（ユーザＢ）によってどのように見られているかを確認することができる。なお、この図１３（ａ），（ロ）に示す表示状態では、自分映像２２ａ’が相手映像２１ａとは反対側を向いていることから、自分の手形カーソル２３ａは表示されない。
【０１２０】
一方、相手（ユーザＢ）側のクライアント端末１ｂ（図１）のディスプレイ４ｂに表示されるコミュニケーション用画面では、図１３（ａ），（イ）に示す自分側のコミュニケーション用画面に対し、図１３（ｂ），（イ）に示すように、ユーザＡである相手映像２１ｂはユーザＢである自分映像２２ｂの方、従って、このコミュニケーション用画面を見ているユーザＢ側を向いているが、ユーザＡ側のクライアント端末１ａ側でコミュニケーション用画面が、上記のように、図１３（ａ），（イ）に示す状態から図１３（ａ），（ロ）に示す状態に変更すると、ユーザＢ側のクライアント端末１ｂのディスプレイ４ｂで表示されるコミュニケーション用画面では、図１３（ｂ），（ロ）に示す表示状態となり、ユーザＡを表わす相手映像２１ｂがこれまでとは反対向きの状態の相手映像２１ｂ’となる。但し、この相手映像２１ｂ’はその輪郭だけで表わされるものであり、これとともに、図１３（ａ），（ロ）に示すコミュニケーション用画面２０と同様のことから、相手の手形カーソル２４ｂは表示されなくなる。
【０１２１】
以上のことは、ユーザＢ側のクライアント端末１ｂで同様の操作がなされた場合も、同様である。
【０１２２】
このようにして、コミュニケーション用画面を見るユーザは、通常は自分を輪郭の映像で認識するが、ポインティングデバイスの簡単な操作により、自分自身の映像をそのままの状態で見ることができ、例えば、コミュニケーションを始めるときや相手から自分の様子を指摘されたときなど、自分の様子を確認することができるし、自分が相手にどのように見られているかを確認することができる。
【図面の簡単な説明】
【０１２３】
【図１】図１は本発明による遠隔コミュニケーションにおける映像表示方法を実行するネットワークシステムを示すシステム構成図である。
【図２】本発明による遠隔コミュニケーションにおける映像表示方法の一実施形態での図１におけるクライアント端末のディスプレイに表示されるコミュニケーション用画面の一具体例を示す図である。
【図３】図２に示すコミュニケーション用画面での各手形カーソルとの移動可能範囲を示す図である。
【図４】図２に示すコミュニケーション用画面での相手映像と自分映像との配置関係を説明するための図である。
【図５】図２に示すコミュニケーション用画面を構成する要素を示す図である。
【図６】図１に示す夫々のクライアント端末で表示されるコミュニケーション用画面での映像の関係を示す図である。
【図７】図１におけるクライアント端末でのコミュニケーション用画面で表示される相手映像に対する自分の手形カーソルとその状態の具体例を示す図である。
【図８】図２に示すコミュニケーション用画面での自分の手形カーソルの機能の具体例を示す図である。
【図９】図２に示すコミュニケーション用画面での自分の手形カーソルの機能の他の具体例を示す図である。
【図１０】図１に示すクライアント端末でのポインティングデバイスの操作に伴う手形カーソルの動作の流れを示すフローチャートである。
【図１１】図２に示すコミュニケーション用画面での自分の手形カーソルの機能のさらに他の具体例を示す図である。
【図１２】自分映像と相手映像との状態の関係を変化できるようにした方法の一具体例を示す図である。
【図１３】図１におけるクライアント端末のディスプレイに表示されるコミュニケーション用画面での自分映像の表示状態の変更の一具体例を示す図である。
【図１４】テレビ電話システムでの端末での従来の画面表示の一例を示す図である。
【符号の説明】
【０１２４】
１ａ，１ｂ クライアント端末
２ａ，２ｂ ＣＰＵ
３，３ａ，３ｂ ビデオカメラ
４，４ａ，４ｂ ディスプレイ
５ａ，５ｂ ポインティングデバイス
６ａ，６ｂ 記憶装置
７ａ，７ｂ ネットワークＩ／Ｆ
８ サーバ
９ ＣＰＵ
１０ 記憶装置
１１ ネットワークＩ／Ｆ
１２ ネットワーク
２０，２０ａ，２０ｂ コミュニケーション用画面
２１ 相手映像
２１ａ ユーザＢの映像
２１ｂ ユーザＡの映像
２１ｂ’ 相手映像
２２，２２’ 自分映像
２２ａ，２２ａ’ ユーザＡの映像
２２ｂ ユーザＢの映像
２３ 自分の手形カーソル
２３ａ ユーザＡの手形カーソル
２３ｂ ユーザＢの手形カーソル
２４ 相手の手形カーソル
２４ａ ユーザＢの手形カーソル
２４ｂ ユーザＡの手形カーソル
２５，２５ａ，２５ｂ テーブル映像
２６ 相手映像撮像エリア
２６Ｕ 相手映像撮像エリア２６の上半部
２６Ｄ 相手映像撮像エリア２６の下半部
２７ 自分映像撮像エリア
２８ ユーザ，２９ ビデオカメラ３の視線
３０ ユーザ２８の視線
３１ ユーザ２８の映像
３１ａ 眼
３２ 相手の視線
３３ 相手の映像
３４ 背景画面
３５ａ，３５ｂ，３５ｃ 「触る」マーク
３５ｄ 「掴む」マーク
３５ｅ 「叩く」マーク
３６ａ，３６ｂ 作用点
３７ 自分の手形カーソル２３の人差指部
３８ 自分の手形カーソル２３の手の平部
【技術分野】
【０００１】
本発明は、ネットワークなどを介して相手側と会話ができるようにした遠隔コミュニケーションにおける映像表示方法に係り、特に、テレビ電話システムのように、相手側の映像を表示して会話ができるようにした遠隔コミュニケーションにおける映像表示方法に関する。
【背景技術】
【０００２】
ネットワークを介して、相手と会話する遠隔地コミュニケーションにおける映像表示方法の一例として、相手との相談ができるようにした相談システムが知られている（例えば、特許文献１参照）。
【０００３】
このシステムは、相談する側の端末（相談者端末）と相談を受ける側の端末（相談員端末）とがネットワークを介して接続され、これら相談者端末と相談員端末とにタッチパネルを備えたディスプレイとビデオカメラが設けられている。夫々の端末では、それを操作するユーザ（相談者端末では、相談者、相談員端末では、相談員）の顔の部分をビデオカメラで撮像し、その動画映像を自己の端末に供給するとともに、ネットワークを介して相手側の端末に送信する。これにより、相談者端末のディスプレイには、夫々枠部を有する相談者側のポインタと相談員側のポインタとが表示され、この相談者側のポインタの枠部内に相談者の顔の部分の動画が表示され、相談員側のポインタの枠部内に相談員端末から供給される相談員の顔の部分の動画が表示される。相談員端末でのディスプレイでも、同様にして、相談者の顔の部分の動画が表示されたポインタと相談員の顔の部分の動画が表示されたポインタとが表示される。
【０００４】
相談者が自己の相談者端末のディスプレイで相談者側のポインタを指先でタッチして移動させると、この相談者側のポインタが移動するとともに、相談員端末でのディスプレイにおいても、相談者側のポインタが同時に同じ方向に同じ速度で移動する。同様に、相談員が自己の相談員端末のディスプレイで相談員側のポインタを指先でタッチして移動させると、この相談員側のポインタが移動するとともに、相談者端末でのディスプレイにおいても、相談員側のポインタが同時に同じ方向に同じ速度で移動する。
【０００５】
また、相談員端末で相談員側のポインタにタッチして移動させ、この相談員側のポインタで相談者側のポインタを押す操作をすることにより、相談者端末のディスプレイで相談者側のポインタを移動させることができる。
【０００６】
さらに、相談員端末でマウスの右ボタンをクリックすると、相談者端末と相談員端末とでのディスプレイの相談員側のポインタに手の形のポインタが表われ、相談員端末での捜査員の操作により、相談者端末と相談員端末とでのディスプレイにおいて、この手形のポインタで相談者側のポインタを掴むようにすることができ、相談員側のポインタで相談者側のポインタを引っ張って移動させることができるようにする。
【０００７】
このように、特許文献１に記載の技術では、夫々の端末のディスプレイでメニュー画面を表示し、相談員が、相談員側のポインタにより、相談者側のポインタを所定のメニューの位置に移動させることができようにするものである。
【特許文献１】特開２００２ー１５１４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ところで、ネットワークを介して通信可能に接続された２つの端末間で会話などを行なうテレビ電話システムにおいても、図１４に示すように、夫々の端末のディスプレイ１００の表示画面１０１に正面を向いた（即ち、この表示画面１００を見ているユーザ側を向いた）相手側の上半身の動画像（以下、相手映像という）１０２を表示するとともに、この表示画面１０１内の隅部、例えば、左下角部に自分映像表示エリア１０３を設け、この自分映像表示エリア１０３にビデオカメラ１０５で撮像したユーザの正面を向いた上半身の動画像（以下、自分映像という）１０４を表示するものである。
【０００９】
このように、夫々側の端末のディスプレイ１００で相手映像とともに、自分映像も同時に表示することにより、自分がどのような状態で相手と会話しているかを確認することができる。
【００１０】
ところで、このように会話を行なうテレビ電話システムのような遠隔コミュニケーションにおける映像表示方法によると、相手側の端末のディスプレイ１００の表示画面１０１に自分の上半身の動画像１０３が表示され、相手の顔の部分の自分映像１０４が表示されているものであるから、例えば、親子でかかるテレビ電話システムわ用いてコミュニケーションを行なう場合、話しの成り行きによっては、親が子供の頭を撫でてやりたい場合もあるし、特に、子供としては、撫でて貰いたい場合もある。
【００１１】
しかしながら、親が、相手、即ち、子供の頭などを撫でるために、自分側の端末のディスプレイ１００の表示画面１０１に表示されているこの子供の動画像１０２の顔に触る動作を行なっても、子供側の端末のディスプレイ１００の表示画面１０１では、親の動画像１０４が動いたことが表示されて親が動いたことを認識できるとしても、自分映像表示エリア１０３に表示されるこの子供自身の自分映像１０４とは関係のない動きであり、子供は、親のその動きを理解できないことになる。
【００１２】
ところで、上記特許文献１に記載の技術では、相手側の画像にポインタが付加され、このポインタが自分映像に作用することにより、自分映像がその影響を受けて移動することができるようにしたものである。しかし、ポインタが作用させるためには、このポインタが自分映像に当接するように、相手映像を移動させることが必要であるものであって、これに対し、図１４に示すような遠隔コミュニケーションを行なうための端末でのディスプレイ１００では、相手映像１０２が表示画面１０１全体に表示されるものである。このため、この相手映像１０２をこの表示画面１０１上で動かすということは全く意味のないことである。
【００１３】
このことからして、上記特許文献１に記載の技術は、図１４に示すような遠隔コミュニケーションシステムには適用することができない。
【００１４】
また、相手方との会話をするためのシステムに用いる端末では、図１４に示すように、この端末を用いて会話を行なうユーザ（即ち、自分自身）を撮像するビデオカメラ１０５が、ディスプレイ１００において、表示画面１０１の上方に設置されており、通常、ユーザはその顔を表示画面１０１に対向させて使用するものであるから、このビデオカメラ１０５はその視線が下向きに設定され、ユーザを上側が見下ろすように撮像する。
【００１５】
このため、端末のディスプレイ１００では、表示画面１０１に表示される相手映像１０２でも、また、自分映像表示エリア１０３で表示される自分映像１０４も、常に顔が下を向き、視線（見る方向）が下向きとなっている。
【００１６】
以上のように、従来のテレビ電話システムでの端末では、例えば、頭を撫でるといったような相手側の体に触るような状態を表わす画像を相手側の端末のディスプレイの表示画面で表示させることができないし、また、相手側の顔は常に下を向いたように表示されることから、自分が相手と同じ空間を共有し、向かい合って話し合っているという感じをとらえることができなかった。
【００１７】
本発明の目的は、かかる問題を解消し、同じ空間を共有し、直接向かい合ってコミュニケーションを行なっている感覚を捉えることができるようにした遠隔コミュニケーションにおける映像表示方法を提供することにある。
【課題を解決するための手段】
【００１８】
上記目的を達成するために、本発明は、２つのクライアント端末間で夫々のビデオカメラで撮像したユーザの映像を互いに送信し、夫々のクライアント端末で相手側のクライアント端末から送信された相手ユーザの映像を相手映像とし、自分側のクライアント端末のビデオカメラで撮像した自分の映像を自分映像とし、コミュニケーション用画面で相手映像と自分映像とを表示して、コミュニケーションを行なうようにした遠隔コミュニケーションにおける映像表示方法であって、コミュニケーション用画面では、相手映像と自分映像とを、所定の中間映像領域を挟んで、互いに向かい合った状態で表示し、自分映像はその左右反転した状態での輪郭で表わし、相手映像はコミュニケーション用画面を見ているユーザ側を向いた状態で表示し、クライアント端末での操作手段によって移動及び相手映像への作用を可能とする自分映像に属する手形状の第１のカーソルと、相手側のクライアント端末での操作手段によって移動及び自分映像への作用を可能とする相手映像に属する手形状の第２のカーソルを表示することを特徴とするものである。
【００１９】
また、本発明は、相手映像に対して自分映像の表示倍率を大きくし、自分映像を相手映像よりも大きく表示することを特徴とするものである。
【００２０】
また、本発明は、自分映像に対する第１のカーソルの移動範囲が、相手映像を含む第１の所定領域と中間映像領域との範囲内であり、相手映像に対する第２のカーソルの移動範囲が、相手映像を含む第１の所定領域と中間映像領域との範囲内であることを特徴とするものである。
【００２１】
また、本発明は、クライアント端末では、第１のカーソルと相手映像との重なり状態を識別し、重なり状態に応じて形状及び相手映像に対する作用を異ならせることを特徴とするものである。
【００２２】
また、本発明は、第１のカーソルに、人差指の指先部に第１の作用点を、手の平部に第２の作用点を夫々設け、識別される相手映像との重なり状態は、第１，第２の作用点の相手映像との重なり状態に応じて異なることを特徴とするものである。
【００２３】
また、本発明は、第１，第２のカーソルが、中間映像領域において、接した状態になると、重なり合った状態もしくは握り合った状態で表示されることを特徴とするものである。
【００２４】
また、本発明は、コミュニケーション画面でのビューアングルを変更可能としたことを特徴とするものである。
【００２５】
また、本発明は、自分映像の向きを反転可能とし、自分映像を相手映像とは反対の向きとしたときには、自分映像はビデオカメラが撮像した映像であることを特徴とするものである。
【発明の効果】
【００２６】
本発明によると、自分映像と相手映像とが所定の間隔を置いて対向したコミュニケーション用画面を三次元的に表示するものであるから、相手とコミュニケーションするユーザは、相手と向かい合っているような自然な位置関係で空間を共有でき、相手が自分を見ているような間隔でコミュニケーションをすることが可能となる。
【００２７】
また、手の形状をしたカーソルを自分映像と相手映像とに設け、これらを移動操作可能にしているので、相手に触れることができるような感覚でコミュニケーションを行なうことができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施形態を図面を用いて説明する。
【００２９】
図１は本発明による遠隔コミュニケーションにおける映像表示方法を実行するネットワークシステムを示すシステム構成図であって、１ａ，１ｂはクライアント端末、２ａ，２ｂはＣＰＵ（中央処理ユニット）、３ａ，３ｂはビデオカメラ、４ａ，４ｂはディスプレイ、５ａ，５ｂはポインティングデバイス、６ａ，６ｂは記憶装置、７ａ，７ｂはネットワークＩ／Ｆ（インターフェイス）、８はサーバ、９はＣＰＵ、１０は記憶装置、１１はネットワークＩ／Ｆ、１２はネットワークである。
【００３０】
同図において、クライアント端末１ａは、そのネットワークＩ／Ｆ７ａとサーバ８でのネットワークＩ／Ｆ１１により、ネットワーク１２を介してサーバ８と通信可能に接続されている。クライアント端末１ｂも同様であり、これにより、クライアント端末１ａ，１ｂがサーバ８を介して相互にコミュニケーションのための通信を行なうことができる。
【００３１】
クライアント端末１ａ，１ｂは同様の構成をなしている。ここでは、クライアント端末１ａをユーザＡ側のクライアント端末とし、クライアント端末１ｂをユーザＢ側のクライアント端末として、その構成をユーザＡ側のクライアント端末１ａを例に説明する。但し、クライアント端末１ｂも、クライアント端末１ａと同じ構成をなしている。
【００３２】
クライアント端末１ａには、映像を表示するディスプレイ４ａと、このディスプレイ４ａの表示画面で、クライアント端末１ｂの相手側とコミュニケーションを行なうために、映像表示を制御するためのマウスなどのポインティングデバイス５ａと、プログラムや各種のデータが記憶された記憶装置６ａと、ディスプレイ４ａやポインティングデバイス５ａを用いて相手側（即ち、この場合には、クライアント端末１ｂ）とコミュニケーションを行なう際に自分であるユーザＡを撮像するビデオカメラ３ａと、記憶装置６ａに記憶されているプログラムを実行し、ポインティングデバイス５ａのユーザＡによる操作などに伴って、ビデオカメラ３ａやディスプレイ４ａ，記憶装置６ａなどの各部を制御するＣＰＵ２ａとを備えている。
【００３３】
ＣＰＵ２ａは、記憶装置６ａに記憶されている各種のデータをディスプレイ４ａでの映像表示のために処理し、また、ビデオカメラ３ａがユーザＡを自分として撮像して得られる動画像信号（以下、ユーザＡの映像信号という）を処理し、ディスプレイ４ａに供給して表示させる制御を行なうとともに、ネットワークＩ／Ｆ７ａを制御することにより、ネットワーク１２ａ及びサーバ８を介して、相手（即ち、ユーザＢ）側のクライアント端末１ｂに送信する。また、相手側のクライアント端末１ｂのビデオカメラ３ｂでユーザＢを撮像して得られた動画像信号（以下、ユーザＢの映像信号という）をネットワークＩ／Ｆ７ａで受信し、これを処理してディスプレイ４ａで表示させる制御をする。
【００３４】
また、サーバ８は、プログラムなどのデータを格納した記憶装置１０とネットワークＩ／Ｆ１１とこれらを制御するＣＰＵ９などを備えており、このＣＰＵ９の制御のもとに、ネットワークＩ／Ｆ１１を用いてクライアント端末１ａ，１ｂとの通信ができるようにしている。
【００３５】
かかる構成により、クライアント端末１ａ，１ｂ間でサーバ８を介した遠隔コミュニケーションを行なうことができる。かかるコミュニケーションを行なう場合には、ユーザＡ側のクライアント端末１ａでは、ビデオカメラ３ａから得られるユーザＡの映像信号は、ＣＰＵ２ａで映像処理された後、ディスプレイ４ａでに供給されてユーザＡの映像が、自分の映像として、表示されるとともに、ネットワークＩ／Ｆ７ａにより、サーバ８を介して相手側、即ち、ユーザＢ側のクライアント端末１ｂに送信される。このクライアント端末１ｂでは、ネットワークＩ／Ｆ７ｂによってユーザＡの映像信号が受信され、ＣＰＵ２ｂで映像処理された後、ディスプレイ４ｂに供給されてユーザＡの動画像が、相手側の映像として、表示される。
【００３６】
また、同様にして、ユーザＢ側のクライアント端末１ｂでは、ビデオカメラ３ｂから得られるユーザＢの映像信号が、ＣＰＵ２ｂで映像処理された後、ディスプレイ４ｂに供給されてユーザＢの映像が、自分の映像として、表示されるとともに、ネットワークＩ／Ｆ７ｂにより、サーバ８を介して相手側、即ち、ユーザＡ側のクライアント端末１ａに供給される。このクライアント端末１ａでは、ネットワークＩ／Ｆ７ａによってユーザＢの映像信号が受信され、ＣＰＵ２ａで映像処理された後、ディスプレイ４ａに供給されてユーザＢの動画像が、相手側の映像として、表示される。
【００３７】
次に、かかるネットワークシステムを用いた本発明による遠隔コミュニケーションにおける映像表示方法の一実施形態について説明する。
【００３８】
図２は図１におけるユーザＡの自分側のクライアント端末１ａのディスプレイ４ａに表示されるコミュニケーション用画面の一具体例を示す図であって、２０はコミュニケーション用画面、２１は相手映像、２２は自分映像、２３は自分の手形カーソル、２４は相手の手形カーソル、２５はテーブルの映像（以下、テーブル映像という）である。なお、ユーザＢ側のクライアント端末１ｂについても、その表示映像は同様である。
【００３９】
同図において、ユーザＡ側のクライアント端末１ａ（図１）とユーザＢ側のクライアント端末１ｂ（図１）との間でコミュニケーションを行なうとき、ユーザＡ側のクライアント端末１ａのディスプレイ４ａ（図１）の表示画面に、ユーザＢの映像である相手映像２１とユーザＡの映像である自分映像２２とがテーブル映像２５を挟んで、三次元的な位置関係となるように、表示されるコミュニケーション用画面２０が表示される。即ち、このコミュニケーション用画面２０では、相手映像２１がテーブル映像２５の向う側に手前側（この表示画面２０を見ている自分側）を向いて表示され、自分映像２２がテーブル映像の手前側に相手映像２１側に向いて表示される。また、コミュニケーション用画面２０には、ユーザＡの片方の手を表わす自分映像２２の手形状のカーソル、即ち、自分の手形カーソル２３が向う側（相手映像２１側）を向いて、また、ユーザＢの片方の手を表わす相手映像２１の手形状のカーソル、即ち、相手の手形カーソル２４が手前側（自分映像側２２）を向いて夫々表示されている。
【００４０】
なお、ユーザＡ側のクライアント端末１ａとユーザＢ側のクライアント端末１ｂ（図１）との記憶装置６ａ，６ｂには夫々、自分と相手との手形カーソルの画像データが格納されている。そして、例えば、ユーザＡ側のクライアント端末１ａで、ＣＰＵ２ａにより、表示のために、記憶装置６ａから手形カーソルの画像データが自分、即ち、ユーザＡの手形カーソルとして読み出されると、これが自分の手形カーソル２３としてコミュニケーション用画面２０に表示されるとともに、この読み出された手形カーソルの識別データが相手であるユーザＢのクライアント端末１ｂに送信され、このクライアント端末１ｂでは、この識別データに該当する手形カーソルの画像データが記憶装置６ｂから読み出され、相手（この場合、ユーザＡ）の手形カーソルとして、コミュニケーション用画面に表示されることになる。また、ユーザＢ側のクライアント端末１ｂで、ＣＰＵ２ｂにより、表示のために、記憶装置６ｂから手形カーソルの画像データが自分、即ち、ユーザＢの手形カーソルとして読み出されると、これが自分の手形カーソルとしてコミュニケーション用画面に表示されるとともに、その識別データが相手であるユーザＡのクライアント端末１ａに送信され、このクライアント端末１ａでは、この識別データに該当する手形カーソルの画像データが記憶装置６ａから読み出され、相手（この場合、ユーザＢ）の手形カーソル２４として、コミュニケーション用画面２０に表示されることになる。
【００４１】
これにより、クライアント端末１ａ，１ｂの一方で表示される自分の手形カーソルと他方のクライアント端末で表示される相手の手形カーソルとは、同じユーザに対する手形カーソルであるが、これらは、互いに左右反転で、かつ逆向きの関係で表示されることになる。
【００４２】
ここで、相手映像２１は、ユーザＢ（ユーザＡに対して相手）側のクライアント端末１ｂのビデオカメラ３ｂでユーザＢが正面から撮像されたものであって、ユーザＢの映像の上半身部分を第１の表示倍率で表示されるものである。これに対し、自分映像２２は、ユーザＡ（ユーザＡに対して自分）側のクライアント端末１ａのビデオカメラ３ａでユーザＡが正面から撮像されたものであるが、その撮像された映像の上半身の部分を抽出して左右反転し（即ち、自分とは反対側を向いた状態にし）、さらに、その輪郭部だけを抽出して、その輪郭部の内部を透明、もしくは所定の色で薄く塗りつぶし（例えば、黒色で薄く均一に塗りつぶし）、半透明状態として透けて見えるようにしたシルエット状の映像であり、相手映像２１よりも大きな第２の表示倍率で表示されるものである。従って、クライアント端末１ｂ側でユーザＢが動くと、これに応じて相手映像２１も動き、ユーザＡが動くと、これに応じて自分映像２２も動くことになる。
【００４３】
このように、相手映像２１の表示の表示倍率（＝第１の表示倍率）に対して、自分映像２２の表示の表示倍率（＝第２の表示倍率）を大きくし、相手映像２１に対して自分映像２２を大きく表示することにより、そして、さらに、相手映像２１，自分映像２２間のテーブル映像２５を、奥行き方向に幅が次第に狭くなるようにして、奥行きを持たせて表示することにより、相手（ユーザＢ）が奥の方に、自分（ユーザＡ）が手前の方に、これが互いに向かい合っているようにして表示されることになる。
【００４４】
なお、このような相手映像２１や自分映像２２の表示の表示倍率の設定処理や自分映像２２の作成処理はＣＰＵ２ａによって行なわれ、また、テーブル映像２５のデータは記憶部６ａに保存されており、ＣＰＵ２ａの処理によって合成処理される。
【００４５】
また、自分の手形カーソル２３は、自分の、即ち、この場合、ユーザＡ側のクライアント端末１ａでのポインティングデバイス５ａ（図１）の操作に応じて移動し、その移動可能範囲は、相手映像２１を含むその近傍範囲内とテーブル映像２５のエリア内である。
【００４６】
このユーザＡ側のクライアント端末１ａでの自分の手形カーソル２３は、相手側、即ち、ユーザＢ側のクライアント端末１ｂでのディスプレイ４ｂで表示されるコミュニケーション用画面での相手の手形カーソル２４に対応し、また、ユーザＢ側のクライアント端末１ｂでの自分の手形カーソル２３は、ユーザＡ側のクライアント端末１ａでの相手の手形カーソル２４に対応する。これ故、ユーザＡ側のクライアント端末１ａでの自分の手形カーソル２３の相手映像２１に対する動きは、ユーザＢ側のクライアント端末１ｂでの相手の手形カーソル２４の自分映像２２に対する同じ動きとなり、また、ユーザＢ側のクライアント端末１ｂでの自分の手形カーソル２３の相手映像２１に対する動きは、ユーザＡ側のクライアント端末１ａでの相手の手形カーソル２４の自分映像２２に対する同じ動きとなる。従って、ユーザＡ側のクライアント端末１ａ，ユーザＢ側のクライアント端末１ｂでの自分映像２２やテーブル映像２５に対する相手の手形カーソル２４の動き可能範囲は、ユーザＢ側のクライアント端末１ｂ，ユーザＡ側のクライアント端末１ａでの相手映像２１やテーブル映像に対する自分の手形カーソル２３の動き可能範囲と等しいことになる。
【００４７】
ここで、自分の手形カーソル２３は、自分（ユーザＡ）側のクライアント端末１ａでのマウスなどのポインティングデバイス５ａの操作により、その操作に応じた位置をＣＰＵ２ａで設定し、コミュニケーション画面２０でのこの設定位置に対応する位置に表示する。また、ＣＰＵ２ａは、相手（ユーザＢ）側のクライアント端末１ｂ（図１）にビデオカメラ３ａで撮像した自分映像を送信するが、これとともに、ＣＰＵ２ａによる自分の手形カーソル２３の設定位置の情報も同時に相手（ユーザＢ）側のクライアント端末１ｂに送信する。そこで、自分（ユーザＡ）側のクライアント端末１ａでは、相手（ユーザＢ）側のクライアント端末１ｂからそのビデオカメラ３ｂで撮像された相手映像が受信されるが、これとともに、この相手映像（なお、相手（ユーザＢ）側のクライアント端末１ｂからみれば、自分映像となる）に対する手形カーソル（なお、相手（ユーザＢ）側のクライアント端末１ｂからみれば、自分の手形カーソル）のＣＰＵ２ｂによる設定位置の情報も受信することになり、ＣＰＵ２ａは、受信したこの設定位置の情報に該当するコミュニケーション用画面２０での位置に相手の手形カーソル２４を表示する。この相手の手形カーソル２４は、相手（ユーザＢ）側のクライアント端末１ｂのポインティングデバイス５ｂの操作に応じて設定位置の情報が変化すると、これを取得したＣＰＵ２ａがその変化を認識して位置制御することにより、その位置が変化することになる。クライアント端末１ａ，１ｂのコミュニケーション用画面に表示される該当する２つの手形カーソルの移動方向は、当然画面から見て互いに逆方向である。
【００４８】
ここで、自分の手形カーソル２３と相手の手形カーソル２４も、これらに該当する画像データが記憶装置６ａに格納されており、ＣＰＵ２ａがこれを読み出してコミュニケーション用画面２０での夫々の設定位置に対応した位置に表示させるものである。
【００４９】
なお、クライアント端末１ａ，１ｂにおいて、自分の手形カーソル２３に対する相手の手形カーソル２４の大きさは、相手映像２１の表示倍率（＝第１の表示倍率）に対する自分映像２２の表示倍率（＝第２の表示倍率）の比率倍に設定されており、自分の手形カーソル２３に対して、相手の手形カーソル２４を大きく表示される。これは、相手の手形カーソル２４が、三次元空間において、自分映像２２の近く（即ち、手前側）にあることを示しているものである。
【００５０】
図３は自分の手形カーソル２３と相手の手形カーソル２４との移動可能範囲を示す図であって、２６は相手映像撮像エリア、２７は自分映像撮像エリアであり、図２に対応する部分には同一符号をつけて重複する説明を省略する。
【００５１】
図３（ａ）は相手側のクライアント端末１ｂのビデオカメラ３ｂの撮像エリア（即ち、相手映像撮像エリア２６）とテーブル映像２５のエリアと自分側のクライアント端末１ａのビデオカメラ３ａの撮像エリア（即ち、自分映像撮像エリア２７）とを三次元空間内で示すものであって、テーブル映像２５のエリアが水平なエリアであるのに対し、相手映像撮像エリア２６と自分映像撮像エリア２７とがテーブル映像２５のエリアの両側に位置する垂直な平面エリアとなっている。相手映像撮像エリア２６に相手映像２１（図２）が表示され、自分映像撮像エリア２７に自分映像２２（図２）が表示される。
【００５２】
自分の手形カーソル２３（図２）は、斜線ハッチングして示す相手映像撮像エリア２６とテーブル映像２５のエリアとの合成エリア内で移動可能であって、これらエリアの外側に出ることができない。また、相手の手形カーソル２４（図２）は、白抜きで示す自分映像撮像エリア２７とテーブル映像２５のエリアとの合成エリア内で移動可能であって、これらエリアの外側に出ることができない。
【００５３】
図３（ｂ）はユーザＡ側のクライアント端末でのコミュニケーション用画面２０内での相手の手形カーソル２４の移動範囲を示すものであって、斜線ハッチングして示す自分映像撮像エリア２７とテーブル映像２５のエリアとの合成エリア内で移動可能である。また、図３（ｃ）はこのコミュニケーション用画面２０内での自分の手形カーソル２３の移動範囲を示すものであって、斜線ハッチングして示す相手映像撮像エリア２６とテーブル映像２５のエリアとの合成エリア内で移動可能である。
【００５４】
ここで、クライアント端末１ａ，１ｂにおいて、ディスプレイ４ａ，４ｂで表示されるコミュニケーション用画面２０では、相手映像２１の眼で見る方向、即ち、視線が自分映像２２の方向となるように、相手映像２１と自分映像２２との表示位置関係が設定される。これを、図４により、説明する。なお、図４は図２における表示画面での相手映像と自分映像との配置関係の説明図であって、２８はユーザ，２９はビデオカメラ３の視線、３０はユーザ２８の視線、３１はユーザ２８の映像、３１ａは眼、３２は相手の視線、３３は相手の映像であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
【００５５】
図４（ａ）に示すように、ユーザ２８（即ち、自分）は、コミュニケーションをする場合には、ディスプレイ４（即ち、ディスプレイ４ａ，４ｂ）で表示されるコミュニケーション用画面２０を見ており、このとき、ビデオカメラ３（即ち、ビデオカメラ３ａ，３ｂ）はこのディスプレイ４の表示画面の上方から下向きにユーザ２８を撮像する。即ち、ビデオカメラ３の視線２９は、ユーザ２８の方向に、下向きとなっている。ユーザ２８の表示画面の方向の視線２８とビデオカメラ３の視線３０との間に角度αが生ずることになり、このビデオカメラ３が撮像した映像を相手側のクライアント端末のディスプレイ４のコミュニケーション用画面２０に表示すると、図４（ｂ）に示すように、ユーザ２８の映像３１では、その眼３１ａの視線が上記の角度α分下方を向いて、その眼３１ａが下方を見ているように見える。このため、従来のテレビ電話システムでの相手側のクライアント端末のディスプレイに表示されるコミュニケーション用画面では、このコミュニケーション用画面を見る相手側には、ユーザ２８が自分を見ていないように見える。
【００５６】
この実施形態での相手側画面内の仮想空間を横から見た位置関係を図４（ｃ）で説明すると、相手の視線３２が下向きであって、相手がユーザ２８を見下ろすように見ているのと同じ状態であり、このときのユーザ２８の視線２８は、相手の視線３２に対して、下向きに角度αの方向である。そこで、このユーザ２８の視線３０の方向に相手３３を位置付けるようにすることにより、相手はユーザ２８が見る方向に存在することになる。
【００５７】
この実施形態は、このことに基づいて、図２に示すように、ディスプレイ４に表示されるコミュニケーション用画面２０において、自分映像２２を相手映像２１に対向するように表示し、このように対向した状態で両者のコミュニケーションが行なわれているようにするものである。
【００５８】
図５は図２に示すコミュニケーション用画面２０を構成する要素を示す図であって、３４は背景画面であり、図２に対応する部分には同一符号をつけて重複する説明を省略する。なお、ここでは、図２でのユーザＡ側のクライアント端末１ａを自分側とし、ユーザＢ側のクライアント端末１ｂを相手側として、自分側のクライアント端末１ａについて説明する。但し、以下の説明は、自分側，相手側を逆にした場合も、同様である。
【００５９】
図２に示すコミュニケーション用画面２０は、図５（ａ）に示す相手側のクライアント端末１ｂのビデオカメラ３ｂ（図１）の撮像エリアに対する相手映像撮像エリア２６の映像と、図５（ｂ）に示す自分の手形カーソル２３と、図５（ｃ）に示すテーブル映像２５と、図５（ｄ）に示す相手の手形カーソル２４と、図５（ｅ）に示す自分側のクライアント端末１ａのビデオカメラ３ａの撮像エリアに対する自分映像撮像エリア２７の映像とが合成されたものである。
【００６０】
ここで、相手映像撮像エリア２６の映像は、相手側のクライアント端末１ｂから送信されたものであって、ＣＰＵ２ａ（図１）により、上記の第１の表示倍率で映像の大きさの設定処理がなされるとともに、相手映像２１を含む所定の大きさのエリアに加工処理されたものであり、また、自分映像撮像エリア２７の映像は、ＣＰＵ２ａにより、上記の第２の表示倍率で映像の大きさの設定処理されるとともに、自分側のクライアント端末１ａのビデオカメラ３ａの撮像エリアの映像を所定の大きさのエリアに加工処理されたものである。これら加工に際して、相手映像撮像エリア２６は第１の表示倍率に応じた大きさとし、自分映像撮像エリア２７は第２の表示倍率に応じた大きさとしており、従って、自分映像撮像エリア２７は、相手映像撮像エリア２６によりも、ほぼ（第２の表示倍率／第１の表示倍率）倍大きいものとなっている。また、自分側のクライアント端末１ａのビデオカメラ３ａで撮像された映像は、上記のように、左右反転され、さらに、自分の映像の輪郭のみが抽出され、さらには、場合によって、輪郭内を半透明状に黒色を含む色付けする処理がなされる。
【００６１】
また、自分の手形カーソル２３とテーブル映像２５と相手の手形カーソル２４とは、それらの映像データがクライアント端末１ａの記憶装置６ａに格納されており、ＣＰＵ２ａがこれらの映像データを記憶装置６ａ（図１）から読み取り、コミュニケーション用画面２０の作成に使用する。
【００６２】
このコミュニケーション用画面２０を作成するに際しては、図５（ａ）に示すように、所定の背景画面３４の上辺中央部の固定した場所で、相手側のビデオカメラ３の相手映像撮像エリア２６に等しい大きさ，形状のエリアを切り抜いて、この切り抜かれたエリアにこの相手映像撮像エリア２６を嵌め込む合成処理を行ない、次いで、同様の手法により、図５（ｃ）に示すテーブル映像２５を、背景画面３４に嵌め込まれた相手映像撮像エリア２６から背景画面３４の下辺にわたるエリアに嵌め込む合成処理を行ない、次いで、相手映像撮像エリア２６とテーブル映像２５とが嵌め込まれた画面に、図５（ｂ）に示す自分の手形カーソル２３と図５（ｄ）に示す相手の手形カーソル２４とを重ねる合成処理を行なう。そして、輪郭からなる自分映像２２をさらに重ねる合成処理を行なう。
【００６３】
このようにして、図２に示すコミュニケーション用画面２０が形成されるが、図３で説明したように、自分の手形カーソル２３は相手映像２１を含む相手映像撮像エリア２６とテーブル映像２５とのエリア内で移動可能であって、かかるエリア外に出ることができず、また、相手の手形カーソル２４は自分映像２２を含む自分映像撮像エリア２７とテーブル映像２５とのエリア内で移動可能であって、かかるエリア外に出ることができない。このような自分の手形カーソル２３や相手の手形カーソル２４の移動可能なエリアは、ＣＰＵ２ａにより、撮像エリア３３，３４やテーブル映像２５のエリアをもとに規制されるものである。
【００６４】
なお、自分の手形カーソル２３の移動は、自分側のクライアント端末１ａでのポインティングデバイス５ａをユーザＡが操作することによって行なわれ、後述するように、相手映像２１に触れるように動作させるものであって、自分、即ち、ユーザＡの手の機能を持たせたものである。このため、自分の手形カーソル２３は、通常、相手映像２１の近くにあるように表示される。これに対し、相手の手形カーソル２４の移動は、相手側のクライアント端末１ｂでのポインティングデバイス５ｂをユーザＢが操作することによって行なわれ、後述するように、自分映像２２に触れるように動作させるものであって、相手、即ち、ユーザＢの手の機能を持たせたものである。このため、相手の手形カーソル２４は、通常、自分映像２２の近くにあるように表示される。このことからして、自分の手形カーソル２３は三次元空間的に表わされるコミュニケーション用画面２０での奥の方に存在することになり、このため、小さく表示され、また、相手の手形カーソル２４はこのコミュニケーション用画面２０での手前側に存在することになり、このため、大きく表示される。
【００６５】
図６はコミュニケーションを行なうユーザＡ側のクライアント１ａとユーザＢ側のクライアント端末１ｂでのコミュニケーション用画面の関係を示す図であって、２０ａ，２０ｂはコミュニケーション用画面、２１ａ，２２ｂはユーザＢの映像、２２ａ，２１ｂはユーザＡの映像、２３ａ，２４ｂはユーザＡの手形カーソル、２４ａ，２３ｂはユーザＢの手形カーソル、２５ａ，２５ｂはテーブル映像、３５ａ，３５ｂは「触る」マークである。
【００６６】
図６（ａ）はユーザＡ側のクライアント端末１ａでのコミュニケーション用画面２０ａを、図６（ｂ）は同じ時点でのこのコミュニケーション用画面２０ａに対するユーザＢ側のクライアント端末１ｂでのコミュニケーション用画面２０ｂを夫々示すものである。
【００６７】
図６（ａ）に示すユーザＡ側のクライアント端末１ａでのコミュニケーション用画面２０ａにおいて、ユーザＡの映像が自分映像２２ａ、ユーザＡの手形カーソルを自分の手形カーソル２３ａとすると、図６（ｂ）に示すユーザＢ側のクライアント端末１ｂでのコミュニケーション用画面２０ｂでは、ユーザＡの映像が相手映像２１ｂ、ユーザＡの手形カーソルが相手の手形カーソル２４ｂとなる。同様に、コミュニケーション用画面２０ａにおいて、ユーザＢの映像が相手映像２１ａ、ユーザＢの手形カーソルを相手の手形カーソル２４ａとすると、図６（ｂ）に示すコミュニケーション用画面２０ｂでは、ユーザＢの映像が自分映像２２ｂ、ユーザＢの手形カーソルが自分の手形カーソル２３ｂとなる。
【００６８】
そこで、いま、ユーザＡ側のクライアント端末１ａでのコミュニケーション用画面２０ａにおいて、ポインティングデバイス５ａを操作することにより、ユーザＡが自分の手形カーソル２３ａをユーザＢである相手映像２１ａに触れさせるようにすると、ユーザＢ側のクライアント端末１ｂでのコミュニケーション用画面２０ｂでは、ユーザＡの手形カーソルである相手の手形カーソル２４ｂがユーザＢの映像である自分映像２２ｂに触れる状態となる。
【００６９】
同様にして、ユーザＢ側のクライアント端末１ｂでのコミュニケーション用画面２０ｂにおいて、ポインティングデバイス５ｂを操作することにより、ユーザＢが自分の手形カーソル２３ｂを移動させると、ユーザＡ側のクライアント端末１ａでのコミュニケーション用画面２０ａでは、ユーザＢの手形カーソルである相手の手形カーソル２４ａが、コミュニケーション用画面２０ｂでの自分の手形カーソル２３ｂの移動方向とは逆方向に、コミュニケーション用画面２０ａ，２０ｂでの表示の倍率に応じた移動量だけ移動することになる。
【００７０】
このように、夫々のクライアント端末で表示されるコミュニケーション用画面２０では、自分の手形カーソル２３が自分側のクライアント端末でのポインティングデバイス５のユーザ操作により、移動などの制御をすることができるし、相手の手形カーソル２４は、相手側のクライアント端末でのポインティングデバイス５のユーザ操作により、移動などの制御が行なわれる。
【００７１】
ここで、図６（ａ）は、ユーザＡ側のクライアント端末１ａにおいて、コミュニケーション用画面２０ａで自分の手形カーソル２３の指先が相手映像２１ａの顔の部分に触るように、このユーザＡがポインティングデバイス５ａを所定操作した場合を示すものであり、この指先で触った部分には、丸印のマーク、即ち、「触る」マーク３５ａが表示される。これに対し、ユーザＢ側のクライアント端末１ｂのディスプレイ４ａに表示されるコミュニケーション用画面２０ｂでは、図６（ｂ）に示すように、相手の手形カーソル２４ｂの指先は、自分映像２２ｂでの、コミュニケーション用画面２０ａで相手映像２１ａにおける自分の手形カーソル２３ｂが触れる位置に対応した位置に表示され、これとともに、相手の手形カーソル２４ｂの指先が自分映像２２ｂに触れているものとして、その触れている位置に上記と同様の丸印のマーク、即ち、「触る」マーク３５ｂが表示されることになる。この場合、自分映像２２ｂの表示倍率は同じユーザの相手映像２１ａの表示倍率よりも大きいので、これら表示倍率に応じて、「触る」マーク３５ｂは「触る」マーク３５ａよりも大きく表示される。手形カーソル２４ａ，２３ｂが触った場合も、同様である。
【００７２】
後述するように、ユーザはその手形カーソル２３を種々に操作することができるが、ユーザＡは、コミュニケーション用画面２０ａにおいて、自分の手形カーソル２３ａを操作することにより、相手映像２１ａに対して所望とする操作をすることができるし、また、相手（この場合、ユーザＢ）がそのクライアント端末１ｂで表示されるコミュニケーション用画面２０ｂでの自分の手形カーソル２３ｂを操作した結果も知ることができる。ユーザＢも、そのクライアント端末１ｂで表示されるコミュニケーション用画面２０ｂにおいて、同様の操作を行なうことができるし、また、ユーザＡによる手形カーソル２３ａの操作の結果も知ることができる。
【００７３】
図７はクライアント端末１ａ，１ｂにおけるコミュニケーション用画面で表示される手形カーソル、特に、自分の手形カーソル２３の状態の具体例を示す図であって、２６Ｕは相手映像撮像エリア２６の上半部、２６Ｄは同じく下半部、３６ａ，３６ｂは作用点、３７は自分の手形カーソル２３の人差指部、３８は同じく手の平部であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
【００７４】
図７（ａ）において、自分の手形カーソル２３には、その人差指部３７の指先部に作用点３７が設定され、また、その手の平部３８に作用点３６ｂが設定されている。
【００７５】
自分の手形カーソル２３、厳密には、その作用点３６ａ，３６ｂの相手映像撮像エリア２６での状態としては、図７（ｂ）に示すように、自分の手形カーソル２３の作用点３６ａ，３６ｂがともに相手映像撮像エリア２６内の相手映像２１のエリア外に存在する状態（イ）と、自分の手形カーソル２３の手の平部での作用点３６ｂが相手映像撮像エリア２６の上半部２６Ｕ内での相手映像２１のエリア内に存在し、指先の作用点３６ａが相手映像２１のエリア外に存在する状態（ロ）と、この作用点３６ｂがその下半部２６Ｄ内での相手映像２１のエリア内に存在し、作用点３６ａが相手映像２１のエリア外に存在状態（ハ）と、自分の手形カーソル２３の作用点３６ａ，３６ｂがともに相手映像２１のエリア内に存在する状態（イ）とがあり、自分の手形カーソル２３にその状態（イ）〜（ニ）に応じた機能を持たせることができる。
【００７６】
なお、作用点３６ａ，３６ｂがともに相手映像２１のエリア内に存在する状態（イ）では、自分の手形カーソル２３は、図７（ｃ）に示すように、物を指差すように、人差指部３７だけを伸ばした状態になる。自分の手形カーソル２３は、少なくとも作用点３６ａが相手映像２１のエリア内に存在しない状態（イ）〜（ハ）では、手が開いた状態にあるが、作用点３６ａ，３６ｂがともに相手映像２１のエリア内に存在する状態（ニ）になると、図７（ｃ）に示す状態となる。このような状態の変化は、予め記憶部６ａ，６ｂ（図１）に自分の手形カーソル２３の状態に応じた形状のデータが格納されており、ＣＰＵ２ａ，２ｂ（図１）が自分の手形カーソル２３のコミュニケーション用画面２０での位置を監視しており、その位置に応じた自分の手形カーソル２３の形状のデータを記憶装置６ａ，６ｂから読み出し、その位置に表示するようにする。
【００７７】
図８は自分の手形カーソル２３の図７に示す状態に応じた機能の具体例を示す図であって、３５ｃは「触れる」マーク、３５ｄは「掴む」マーク、３５ｅは「叩く」マークであり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。なお、この具体例は、図１でのユーザＡのクライアント端末１ａについて説明するが、ユーザＢのクライアント端末１ｂについても、同様である。
【００７８】
図８（ａ）は図７（ｂ）に示す状態（ニ）のときの自分の手形カーソル２３の機能を示すものであり、ユーザＡの指先が相手（ユーザＢ）に触ったような機能を持たせるものである。
【００７９】
いま、ポインティングデバイス５ａ（図１）を操作して、例えば、図７（ｂ）での状態（イ）から自分の手形カーソル２３を移動させ、同じく状態（ニ）にすると、図８（ａ），（１）に示すように、自分の手形カーソル２３は図７（ｃ）に示すものを指差した状態となる。即ち、自分の手形カーソル２３の人差指が相手映像２３を指差した状態となる。
【００８０】
かかる状態でポインティングデバイス５ａでクリック操作されると、図８（ａ），（２）に示すように、自分の手形カーソル２３の人差指が相手映像２１に触った状態となり、図６（ａ）で説明したように、相手映像２１のこの指先が触った所に「触れる」マーク３５ａが表示される。そして、ポインティングデバイス５ａでドラッグ操作されると、図８（ａ），（３）に示すように、自分の手形カーソル２３の指先が移動し、この指先とともに、この「触れる」マーク３５ａも移動する。
【００８１】
このように自分の手形カーソル２３を操作することにより、ユーザＡがその指先でユーザＢに触り、この指先でユーザＢを撫でるような動作を行なわせることができる。
【００８２】
図８（ｂ）は図７（ｂ）に示す状態（ロ）のときの自分の手形カーソル２３の機能を示すものであり、ユーザＡが相手（ユーザＢ）の頭を手の平部で撫でるような機能を持たせるものである。
【００８３】
いま、ポインティングデバイス５ａ（図１）を操作して、例えば、図７（ｂ）での状態（イ）から相手映像撮像エリア２６の上半部２６Ｕ（図７（ｂ））内を自分の手形カーソル２３を移動させ、図８（ｂ），（１）に示すように、相手映像２１の頭の位置に位置付け、かかる状態でポインティングデバイス５ａでクリック操作されると、図８（ｂ），（２）に示すように、自分の手形カーソル２３が相手映像２１の頭部に触った状態となり、相手映像２１の頭の自分の手形カーソル２３が触った所に「触れる」マーク３５ｃが表示される。これにより、ユーザＡは相手映像２１の頭の自分の手形カーソル２３が触ったことを認識できる。そして、ポインティングデバイス５ａでドラッグ操作されると、図８（ｂ），（３）に示すように、自分の手形カーソル２３がこの頭に沿って移動し、この自分の手形カーソル２３とともに、この「触れる」マーク３５ｃも移動する。
【００８４】
このように自分の手形カーソル２３を操作することにより、ユーザＡがその手でユーザＢの頭に触り、この手でユーザＢの頭を撫でるような動作を行なわせることができる。
【００８５】
図８（ｃ）は図７（ｂ）に示す状態（ハ）のときの自分の手形カーソル２３の機能を示すものであり、ユーザＡが相手（ユーザＢ）の肩を掴むような機能を持たせるものである。
【００８６】
いま、ポインティングデバイス５ａ（図１）を操作して、例えば、図７（ｂ）での状態（イ）から相手映像撮像エリア２６の下半部２６Ｄ（図７（ｂ））内を自分の手形カーソル２３を移動させ、図８（ｃ），（１）に示すように、相手映像２１の肩の位置に位置付け、かかる状態でポインティングデバイス５ａでクリック操作されると、図８（ｃ），（２）に示すように、自分の手形カーソル２３が相手映像２１の肩部に掴んだ状態となり、相手映像２１の肩部の自分の手形カーソル２３が掴んだ所に「掴む」マーク３５ｄが表示される。これにより、ユーザＡは相手映像２１の肩部を自分の手形カーソル２３で掴んだことを認識できる。そして、ポインティングデバイス５ａでドラッグ操作されると、図８（ｃ），（３）に示すように、自分の手形カーソル２３がこの肩部に沿って移動し、この自分の手形カーソル２３とともに、この「掴む」マーク３５ｄも移動する。
【００８７】
このように自分の手形カーソル２３を操作することにより、ユーザＡがその手でユーザＢの肩に掴み、この手でユーザＢの肩を撫でるような動作を行なわせることができる。
【００８８】
図８（ｄ）はユーザＡが相手（ユーザＢ）を平手で叩くような機能を持たせるものである。
【００８９】
いま、ポインティングデバイス５ａ（図１）を操作して、例えば、図７（ｂ）での状態（イ）と同様の図８（ｄ），（１）に示す状態で、ポインティングデバイス５ａでクリック操作されると、図８（ｄ），（２）に示すように、自分の手形カーソル２３の手の平部が相手映像２１側に向いた状態に表示される。この状態の自分の手形カーソル２３のデータも記憶装置６ａに格納さており、ＣＰＵ２ａがポインティングデバイス５ａでのクリック操作に伴ってこのデータを読み取り、切り替え表示させる。そして、かかる状態でポインティングデバイス５ａで相手映像２１へのドラッグ操作（例えば、水平方向へのドラッグ操作）がなされると、これによって自分の手形カーソル２３がその方向に移動し、図８（ｄ），（３）に示すように、相手映像２１に突き当たる状態となる。これとともに、相手映像２１の自分の手形カーソル２３が突き当たったところに「叩く」マーク３５ｅが表示される。
【００９０】
このように自分の手形カーソル２３を操作することにより、ユーザＡがその手でユーザＢを叩くような動作を行なわせることができる。
【００９１】
このように、この実施形態では、ポインティングデバイス５ａの操作により、相手映像２１を自分の手形カーソル２３で触ったり、撫でたり、掴んだり、叩いたりすることができ、相手のクライアント端末、即ち、ユーザＢのクライアント端末１ｂでは、自分映像２２に対し、相手の手形カーソル２４が触ったり、撫でたり、掴んだり、叩いたりする動作を行なうことになる。
【００９２】
なお、図８（ａ）〜（ｄ）に示す手形カーソル夫々の画像データが自分（ユーザＡ）のクライアント端末１ａの記憶装置６ａに格納されているが、また、これらの同じ画像データが相手（ユーザＢ）のクライアント端末の記憶装置６ｂにも、クライアント端末１ａの記憶装置６ａに格納されている手形カーソルと、例えば、識別データなどにより、互いに関連付けて格納されている。そして、クライアント端末１ａで記憶装置６ａから所定の形状の手形カーソルが記憶装置６ａから読み出されて、自分の手形カーソルとして、表示されるときには、この読み出された手形カーソルが読み出されたことを、例えば、この識別データによってクライアント端末１ｂに通知され、この通知を取得したクライアント端末１ｂでも、記憶装置６ｂからこの通知に該当する同じ形状の手形カーソルが読み出され、相手の手形カーソルとして、表示される。クライアント端末１ｂで自分の手形カーソルを選択して表示する場合も、クライアント端末１ａでは、これと同じ手形カーソルを、相手の手形カーソルとして、読み出して表示する。
【００９３】
また、「触れる」マーク３５ｃや「掴む」マーク３５ｄ，「叩く」マーク３５ｅも、そのデータが記憶装置６ａ，６ｂ（図１）に格納されており、ポインティングデバイス５ａ，５ｂの操作により、ＣＰＵ２ａ，２ｂが所定のマークを読み出し、表示させる。
【００９４】
図９は手形カーソル２３，２４のテーブル映像２５のエリア内の動作や状態の一具体例を示す図であって、前出部面に対応する部分には同一符号をつけて重複する説明を省略する。
【００９５】
自分の手形カーソル２３と相手の手形カーソル２４は夫々、図１での自分（ユーザＡ）側のクライアント端末１ａのポインティングデバイス５ａ，相手（ユーザＢ）側のクライアント端末１ｂのポインティングデバイス５ｂの操作により、テーブル映像２５のエリア内を移動することができ、両者が離れている場合には、図９（ａ）に示すように、手が開いた状態で移動する。
【００９６】
以下、クライアント端末１ａ側について説明すると、この移動によって、自分の手形カーソル２３と相手の手形カーソル２４とのテーブル映像２５のエリア内での位置が同じとなり、互いに接する状態となると、図９（ｂ）に示すように、速度が速かった方の手形カーソルが速度が遅かった方の手形カーソル上に被さるようになってこの手が手カーソルを握り締めた状態となる。ここでは、自分の手形カーソル２３が相手の手形カーソル２４に覆い被さった状態で重なったとなっているものとしている。
【００９７】
このように、２つの手形カーソルが重なった状態の画像データもクライアント端末１ａ，１ｂの記憶装置６ａ，６ｂに格納されており、２つの手形カーソルが接近して接する状態になると、ＣＰＵ２ａ，２ｂがこれを認識し、記憶部６ａからこの画像データを読み出して、これまでの２つの手形カーソル２３，２４に変わって、かかる画像データによる手形カーソルをテーブル映像２５上に表示させる。
【００９８】
このとき、ポインティングデバイス５ｂの操作を停止すると、あるいは、これら手形カーソル２３，２４が互いに同じ速度で（ポインティングデバイス５ａ，５ｂを同じ速度で）互いを押す方向に移動操作すると、これら手形カーソル２３，２４が重なった状態で停止しており、また、これら手形カーソル２３，２４が離れる方向にポインティングデバイス５ｂで操作がなされると、これらは離れて図９（ａ）に示す状態に戻るし、これらの手形カーソルの移動方向が互いに反対方向以外の方向であるときには、これに方向のベクトル和となる方向にベクトル和の速度で、重なった状態のまま移動する。
【００９９】
また、図９（ｂ）に示す状態でクライアント端末１ａ，１ｂのいずれかのポインティングデバイス５ａまたは５ｂでクリック操作がなされると、図９（ｃ）に示すように、自分の手形カーソル２３と相手の手形カーソル２４とが握り合った状態となり、図９（ｂ）に示す重なり合った状態と同様に、停止、または、移動する。
【０１００】
このように、２つの手形カーソルが握り合った状態の画像データもクライアント端末１ａ，１ｂの記憶装置６ａ，６ｂに格納されており、図９（ｂ）に示す状態でクリック操作がなされると、ＣＰＵ２ａ，２ｂがこれを認識し、記憶部６ａからこの画像データを読み出して、これまでの図９（ｂ）に示す手形カーソルの映像に代えて、かかる画像データによる握り合った手形カーソルの映像をテーブル映像２５上に表示させる。
【０１０１】
このようにして、テーブル映像２５のエリアにおいても、自分の手形カーソル２３と相手の手形カーソル２４とを移動操作することができ、自分の手を相手の手に重ねたり、相手の手を握ったりするようなことを行なうことができる。
【０１０２】
図１０はポインティングデバイス５ａの操作に伴うＣＰＵ２ａによる自分の手形カーソル２３の以上の動作の流れを示すフローチャートである。ここでは、自分（ユーザＡ）側のクライアント端末１ａのポインティングデバイス５ａの操作による自分の手形カーソル２３の動作について説明するが、相手（ユーザＢ）側のクライアント端末１ｂのポインティングデバイス５ｂの操作による相手の手形カーソル２４の動作も同様である。
【０１０３】
同図において、自分の手形カーソル２３の一部でも、相手映像２１の撮像エリア２６内にあるか否かを判定する（ステップ１００）。この撮像エリア２６内にあって（ステップ１００の“Ｙｅｓ”）、この自分の手形カーソル２３の手の平部３８の作用点３６ｂ（図７（ａ））が相手映像２１の輪郭内にあり（ステップ１０１の“Ｙｅｓ”）、かつこの自分の手形カーソル２３の人差指部３７の先端の作用点３６ａも相手映像２１の輪郭内にあるときには（ステップ１０２の“Ｙｅｓ”）、自分の手形カーソル２３は、図８（ａ）に示すように、相手映像２１に触る形状に変形表示される（ステップ１０３）。
【０１０４】
また、自分の手形カーソル２３の一部が相手映像２１の撮像エリア２６内にあるが（ステップ１００の“Ｙｅｓ”）、この自分の手形カーソル２３の手の平部３８の作用点３６ｂ（図７（ａ））が相手映像２１の輪郭外にある場合には（ステップ１０１の“Ｎｏ”）、自分の手形カーソル２３は、図８（ｄ）の（１）に示すように、手が開いた状態に表示される（ステップ１０４）。なお、自分の手形カーソル２３がこのステップ１０４の状態にあるときに、自分のクライアント端末１ａ（図１）のポインティングデバイス５ａでクリック，ドラッグ操作があると、図８（ｄ），（１），（２）に示すように、自分の手形カーソル２３が相手映像２１に対して叩く動作が行なわれる。
【０１０５】
さらに、自分の手形カーソル２３の一部が相手映像２１の撮像エリア２６内にあり（ステップ１００の“Ｙｅｓ”）、この自分の手形カーソル２３の手の平部３８の作用点３６ｂ（図７（ａ））が相手映像２１の輪郭内にあるが（ステップ１０１の“Ｙｅｓ”）、この自分の手形カーソル２３の人差指部３７の先端の作用点３６ａが相手映像２１の輪郭外にあるときには（ステップ１０２の“Ｎｏ”）、この自分の手形カーソル２３の手の平部３８の作用点３６ｂ（図７（ａ））が相手映像２１の撮像エリア２６の上半部２６Ｕにあるとき（ステップ１０５の“Ｎｏ”）、図８（ｂ）に示すように、自分のクライアント端末１ａのポインティングデバイス５ａでのクリック，ドラッグ操作により、撫でる形状に変形されて撫でる動作を行なわせることができるが（ステップ１０６）、この自分の手形カーソル２３の手の平部３８の作用点３６ｂ（図７（ａ））が相手映像２１の撮像エリア２６の下半部２６Ｄにあるとき（ステップ１０２の“Ｙｅｓ”）、図８（ｃ）に示すように、自分のクライアント端末１ａのポインティングデバイス５ａでのクリック，ドラッグ操作により、掴む形状に変形されて掴む動作を行なわせることができる（ステップ１０７）。
【０１０６】
一方、自分の手形カーソル２３全体が相手映像２１の撮像エリア２６内にないときには（ステップ１００の“Ｎｏ”）、自分の手形カーソル２３がテーブル映像２５のエリア内にあるものとして、相手の手形カーソル２４と重なっていないときには（ステップ１０８の“Ｎｏ”）、図９（ａ）に示すように、自分の手形カーソル２３がテーブル上に置かれて開いた状態にある（ステップ１０９）。また、相手の手形カーソル２４と重なっているときには（ステップ１０８の“Ｙｅｓ”）、自分のクライアント端末１ａのポインティングデバイス５ａと相手のクライアント端末１ｂのポインティングデバイス５ｂとのいずれかで、クリック操作がなされたとき（ステップ１１０の“Ｎｏ”）、図９（ｃ）に示すように、これら手形カーソル２３，２４が握り合った状態となる（ステップ１１１）。さらに、相手の手形カーソル２４と重なっており（ステップ１０８の“Ｙｅｓ”）、自分のクライアント端末１ａのポインティングデバイス５ａと相手のクライアント端末１ｂのポインティングデバイス５ｂとのいずれかでも、クリック操作がなされないときには（ステップ１１０の“Ｙｅｓ”）、これら手形カーソル２３，２４が重なるときに相手の手形カーソル２４が自分の手形カーソル２３よりも速い速度で移動していたとき（ステップ１１２の“Ｎｏ”）、図９（ｂ）に示すように、相手の手形カーソル２４の上に自分の手形カーソル２３が重なった状態となり（ステップ１１３）、逆に相手の手形カーソル２４方が速かった場合には（ステップ１１２の“Ｙｅｓ”）、相手の手形カーソル２４が自分の手形カーソル２３の上に重なった状態となる（ステップ１１４）。
【０１０７】
図１１は図８（ａ）に示す状態でポインティングデバイス５ａの移動操作による自分の手形カーソル２３の移動量の一具体例を示す図であって、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
【０１０８】
図８（ａ），（１）に示す自分の手形カーソル２３が相手映像２１に触れていないときと、図８（ａ），（２）に示す自分の手形カーソル２３が相手映像２１に触れているときとでは、ポインティングデバイス５ａによる移動操作に対し、それらの移動量を異ならせるようにする。
【０１０９】
図１１（ａ）は、図８（ａ），（１）に示すように、自分の手形カーソル２３が相手映像２１に触れていない状態を、図１１（ｂ）は、図８（ａ），（２）に示すように、自分の手形カーソル２３が相手映像２１に触れていない状態を示すものである。
【０１１０】
図１１（ａ）に示す状態では、ポインティングデバイス５ａ（例えば、マウス）を移動操作し、移動量ｄだけ移動させたとき、自分の手形カーソル２３の移動距離をｄ1とすると、図１１（ｂ）に示す状態で、ポインティングデバイス５ａを移動操作し、上記と同じ移動量ｄだけ移動させたときには、自分の手形カーソル２３の移動距離はｄ2であり、ｄ2＜ｄ1となるようにする。
【０１１１】
このように、この具体例では、ポインティングデバイス５ａの同じ移動量の移動操作に対し、自分の手形カーソル２３が相手映像２１に触れているときには、触れていないときよりも、移動量を少なくするものであり、従って、自分の手形カーソル２３が相手映像２１に触れているときには、触れていないときよりも、移動速度を小さくするものである。これは、自分の手形カーソル２３が相手映像２１に触れているときには、この手形カーソル２３の相手映像２３に触っている指先と相手映像２３の触られている部分との間に摩擦力が生じ、これにより、相手映像２１に触れているときの自分の手形カーソル２３の移動速度が遅くなることを示すものである。
【０１１２】
図１２は自分映像２２と相手映像２１との状態の関係を変化できるようにした方法の一具体例を示す図であって、２２’は自分映像であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
【０１１３】
図１２（ａ）は相手映像２１と自分映像２２とがテーブル映像２５を対向した１つの状態を示すものであり、ポインティングデバイス５ａとしてのマウスのマウスホイールを回転操作することにより、図１２（ｂ）に示すように、ヒューアングルを変更させることができる。
【０１１４】
ここで、図１２（ｂ）に示す状態は、ディスプレイ４ａ（図１）の表示画面を見るユーザＡの視点を下方に移動させた場合のコミュニケーション用画面２０を示すものであって、相手映像２１では、その視線が、図１２（ａ）に示す状態に比べ、持ち上がり、正面を見ているような自然に見ている状態となり、また、自分映像２２’は上の方に移動して、相手映像２１との重なりの度合いが変化する。また、テーブル映像２５の縦幅も変化する。
【０１１５】
ここで、図１２（ｂ）での自分映像２２’については、上記のように、自分側のクライアント端末１ａ（図１）において、そのＣＰＵ２ａがビデオカメラ３ａの撮像エリアの一部を抽出し、自分映像撮像エリア２７（例えば、図５（ｅ））として、ディスプレイ５ａで表示されるコミュニケーション用画像２０に嵌め込んで表示させるものであるが、ポインティングデバイス５ａとしてのマウスのマウスホイールを回転操作することにより、ＣＰＵ２ａがこの抽出した自分映像撮像エリア２７のコミュニケーション用画像２０での嵌め込み位置を上昇させたものである。従って、図１２（ｂ）に示す状態でマウスのマウスホイールを逆方向に回転操作すると、図１２（ａ）に示す状態に変化することになる。
【０１１６】
ところで、例えば、使用するディスプレイやその設置環境に応じて、図１２（ａ）に示すように、相手映像２１の視線が大きく下向きになったり、図１２（ｂ）に示すように、下向きが小さくなったりする。ディスプレイが大きかったり、ユーザが低い位置から画面を見ている場合には、図１２（ａ）のようになるし、その逆の場合には、図１２（ｂ）のようになる。
【０１１７】
この具体例では、図１２（ａ）に示すように、相手映像２１の視線が大きく下向きの場合には、相手映像２１を下方に移動させることにより、相手映像２１の視線を自分映像２２の方に合わせることができ、また、図１２（ｂ）に示すように、相手映像２１の視線が小さく下向きの場合には、相手映像２１を上方に移動させることにより、やはり相手映像２１の視線を自分映像２２の方に合わせることができるものである。
【０１１８】
図１３は図１におけるクライアント端末１ａ，１ｂのディスプレイ４ａ，４ｂに表示されるコミュニケーション用画面での自分映像２２の表示状態の変更の一具体例を示す図であって、２１ｂ’は相手映像、２２ａ’は自分映像であり、前出図面に対応する部分には同一符号をつけて重複する説明を省略する。
【０１１９】
いま、図１３（ａ），（イ）に示すように、自分（ユーザＡ）側のクライアント端末１ａ（図１）のディスプレイ４ａでコミュニケーション用画像２０が表示されている状態にあるものとする。かかる表示状態で、ポインティングデバイス５ａ（図１）としてのマウスで右ボタンを押下する操作がなされると、図１３（ａ），（ロ）に示すように、自分映像２２ａが半回転し、相手映像２１ａとは反対側（即ち、このコミュニケーション用画面２０を見ているユーザＡ側）を向いた状態の自分映像２２ａ’となる。そして、この自分映像２２ａ’は、その輪郭で表わされるのではなく、ビデオカメラ３ａ（図１）が撮像したそのものの映像として表示されることになる。従って、ユーザＡは、この自分映像２２ａ’から、自分が相手（ユーザＢ）によってどのように見られているかを確認することができる。なお、この図１３（ａ），（ロ）に示す表示状態では、自分映像２２ａ’が相手映像２１ａとは反対側を向いていることから、自分の手形カーソル２３ａは表示されない。
【０１２０】
一方、相手（ユーザＢ）側のクライアント端末１ｂ（図１）のディスプレイ４ｂに表示されるコミュニケーション用画面では、図１３（ａ），（イ）に示す自分側のコミュニケーション用画面に対し、図１３（ｂ），（イ）に示すように、ユーザＡである相手映像２１ｂはユーザＢである自分映像２２ｂの方、従って、このコミュニケーション用画面を見ているユーザＢ側を向いているが、ユーザＡ側のクライアント端末１ａ側でコミュニケーション用画面が、上記のように、図１３（ａ），（イ）に示す状態から図１３（ａ），（ロ）に示す状態に変更すると、ユーザＢ側のクライアント端末１ｂのディスプレイ４ｂで表示されるコミュニケーション用画面では、図１３（ｂ），（ロ）に示す表示状態となり、ユーザＡを表わす相手映像２１ｂがこれまでとは反対向きの状態の相手映像２１ｂ’となる。但し、この相手映像２１ｂ’はその輪郭だけで表わされるものであり、これとともに、図１３（ａ），（ロ）に示すコミュニケーション用画面２０と同様のことから、相手の手形カーソル２４ｂは表示されなくなる。
【０１２１】
以上のことは、ユーザＢ側のクライアント端末１ｂで同様の操作がなされた場合も、同様である。
【０１２２】
このようにして、コミュニケーション用画面を見るユーザは、通常は自分を輪郭の映像で認識するが、ポインティングデバイスの簡単な操作により、自分自身の映像をそのままの状態で見ることができ、例えば、コミュニケーションを始めるときや相手から自分の様子を指摘されたときなど、自分の様子を確認することができるし、自分が相手にどのように見られているかを確認することができる。
【図面の簡単な説明】
【０１２３】
【図１】図１は本発明による遠隔コミュニケーションにおける映像表示方法を実行するネットワークシステムを示すシステム構成図である。
【図２】本発明による遠隔コミュニケーションにおける映像表示方法の一実施形態での図１におけるクライアント端末のディスプレイに表示されるコミュニケーション用画面の一具体例を示す図である。
【図３】図２に示すコミュニケーション用画面での各手形カーソルとの移動可能範囲を示す図である。
【図４】図２に示すコミュニケーション用画面での相手映像と自分映像との配置関係を説明するための図である。
【図５】図２に示すコミュニケーション用画面を構成する要素を示す図である。
【図６】図１に示す夫々のクライアント端末で表示されるコミュニケーション用画面での映像の関係を示す図である。
【図７】図１におけるクライアント端末でのコミュニケーション用画面で表示される相手映像に対する自分の手形カーソルとその状態の具体例を示す図である。
【図８】図２に示すコミュニケーション用画面での自分の手形カーソルの機能の具体例を示す図である。
【図９】図２に示すコミュニケーション用画面での自分の手形カーソルの機能の他の具体例を示す図である。
【図１０】図１に示すクライアント端末でのポインティングデバイスの操作に伴う手形カーソルの動作の流れを示すフローチャートである。
【図１１】図２に示すコミュニケーション用画面での自分の手形カーソルの機能のさらに他の具体例を示す図である。
【図１２】自分映像と相手映像との状態の関係を変化できるようにした方法の一具体例を示す図である。
【図１３】図１におけるクライアント端末のディスプレイに表示されるコミュニケーション用画面での自分映像の表示状態の変更の一具体例を示す図である。
【図１４】テレビ電話システムでの端末での従来の画面表示の一例を示す図である。
【符号の説明】
【０１２４】
１ａ，１ｂ クライアント端末
２ａ，２ｂ ＣＰＵ
３，３ａ，３ｂ ビデオカメラ
４，４ａ，４ｂ ディスプレイ
５ａ，５ｂ ポインティングデバイス
６ａ，６ｂ 記憶装置
７ａ，７ｂ ネットワークＩ／Ｆ
８ サーバ
９ ＣＰＵ
１０ 記憶装置
１１ ネットワークＩ／Ｆ
１２ ネットワーク
２０，２０ａ，２０ｂ コミュニケーション用画面
２１ 相手映像
２１ａ ユーザＢの映像
２１ｂ ユーザＡの映像
２１ｂ’ 相手映像
２２，２２’ 自分映像
２２ａ，２２ａ’ ユーザＡの映像
２２ｂ ユーザＢの映像
２３ 自分の手形カーソル
２３ａ ユーザＡの手形カーソル
２３ｂ ユーザＢの手形カーソル
２４ 相手の手形カーソル
２４ａ ユーザＢの手形カーソル
２４ｂ ユーザＡの手形カーソル
２５，２５ａ，２５ｂ テーブル映像
２６ 相手映像撮像エリア
２６Ｕ 相手映像撮像エリア２６の上半部
２６Ｄ 相手映像撮像エリア２６の下半部
２７ 自分映像撮像エリア
２８ ユーザ，２９ ビデオカメラ３の視線
３０ ユーザ２８の視線
３１ ユーザ２８の映像
３１ａ 眼
３２ 相手の視線
３３ 相手の映像
３４ 背景画面
３５ａ，３５ｂ，３５ｃ 「触る」マーク
３５ｄ 「掴む」マーク
３５ｅ 「叩く」マーク
３６ａ，３６ｂ 作用点
３７ 自分の手形カーソル２３の人差指部
３８ 自分の手形カーソル２３の手の平部
【特許請求の範囲】
【請求項１】
２つのクライアント端末間で夫々のビデオカメラで撮像したユーザの映像を互いに送信し、夫々の該クライアント端末で相手側の該クライアント端末から送信された相手ユーザの映像を相手映像とし、自分側の該クライアント端末のビデオカメラで撮像した自分の映像を自分映像とし、コミュニケーション用画面で該相手映像と該自分映像とを表示して、コミュニケーションを行なうようにした遠隔コミュニケーションにおける映像表示方法において、
該コミュニケーション用画面では、
該相手映像と該自分映像とを、所定の中間映像領域を挟んで、互いに向かい合った状態で表示し、
該自分映像はその左右反転した状態での輪郭で表わし、該相手映像は該コミュニケーション用画面を見ているユーザ側を向いた状態で表示し、
該クライアント端末での操作手段によって移動及び該相手映像への作用を可能とする該自分映像に属する手形状の第１のカーソルと、相手側の該クライアント端末での操作手段によって移動及び該自分映像への作用を可能とする該相手映像に属する手形状の第２のカーソルを表示する
ことを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項２】
請求項１において、
前記相手映像に対して前記自分映像の表示倍率を大きくし、前記自分映像を前記相手映像よりも大きく表示することを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項３】
請求項１または２において、
前記自分映像に対する前記第１のカーソルの移動範囲は、前記相手映像を含む第１の所定領域と前記中間映像領域との範囲内であり、前記相手映像に対する前記第２のカーソルの移動範囲は、前記相手映像を含む第１の所定領域と前記中間映像領域との範囲内であることを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項４】
請求項１，２または３において、
前記クライアント端末では、前記第１のカーソルと前記相手映像との重なり状態を識別し、該重なり状態に応じて形状及び前記相手映像に対する作用を異ならせることを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項５】
請求項４において、
前記第１のカーソルに、人差指の指先部に第１の作用点を、手の平部に第２の作用点を夫々設け、
識別される前記相手映像との重なり状態は、該第１，第２の作用点の前記相手映像との重なり状態に応じて異なることを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項６】
請求項１〜５のいずれか１つにおいて、
前記第１，第２のカーソルが、前記中間映像領域において、接した状態になると、重なり合った状態もしくは握り合った状態で表示されることを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項７】
請求項１〜６のいずれか１つにおいて、
前記コミュニケーション画面でのビューアングルを変更可能としたことを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項８】
請求項１〜７のいずれか１つにおいて、
前記自分映像の向きを反転可能とし、
前記自分映像を前記相手映像とは反対の向きとしたときには、前記自分映像は前記ビデオカメラが撮像した映像であることを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項１】
２つのクライアント端末間で夫々のビデオカメラで撮像したユーザの映像を互いに送信し、夫々の該クライアント端末で相手側の該クライアント端末から送信された相手ユーザの映像を相手映像とし、自分側の該クライアント端末のビデオカメラで撮像した自分の映像を自分映像とし、コミュニケーション用画面で該相手映像と該自分映像とを表示して、コミュニケーションを行なうようにした遠隔コミュニケーションにおける映像表示方法において、
該コミュニケーション用画面では、
該相手映像と該自分映像とを、所定の中間映像領域を挟んで、互いに向かい合った状態で表示し、
該自分映像はその左右反転した状態での輪郭で表わし、該相手映像は該コミュニケーション用画面を見ているユーザ側を向いた状態で表示し、
該クライアント端末での操作手段によって移動及び該相手映像への作用を可能とする該自分映像に属する手形状の第１のカーソルと、相手側の該クライアント端末での操作手段によって移動及び該自分映像への作用を可能とする該相手映像に属する手形状の第２のカーソルを表示する
ことを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項２】
請求項１において、
前記相手映像に対して前記自分映像の表示倍率を大きくし、前記自分映像を前記相手映像よりも大きく表示することを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項３】
請求項１または２において、
前記自分映像に対する前記第１のカーソルの移動範囲は、前記相手映像を含む第１の所定領域と前記中間映像領域との範囲内であり、前記相手映像に対する前記第２のカーソルの移動範囲は、前記相手映像を含む第１の所定領域と前記中間映像領域との範囲内であることを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項４】
請求項１，２または３において、
前記クライアント端末では、前記第１のカーソルと前記相手映像との重なり状態を識別し、該重なり状態に応じて形状及び前記相手映像に対する作用を異ならせることを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項５】
請求項４において、
前記第１のカーソルに、人差指の指先部に第１の作用点を、手の平部に第２の作用点を夫々設け、
識別される前記相手映像との重なり状態は、該第１，第２の作用点の前記相手映像との重なり状態に応じて異なることを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項６】
請求項１〜５のいずれか１つにおいて、
前記第１，第２のカーソルが、前記中間映像領域において、接した状態になると、重なり合った状態もしくは握り合った状態で表示されることを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項７】
請求項１〜６のいずれか１つにおいて、
前記コミュニケーション画面でのビューアングルを変更可能としたことを特徴とする遠隔コミュニケーションにおける映像表示方法。
【請求項８】
請求項１〜７のいずれか１つにおいて、
前記自分映像の向きを反転可能とし、
前記自分映像を前記相手映像とは反対の向きとしたときには、前記自分映像は前記ビデオカメラが撮像した映像であることを特徴とする遠隔コミュニケーションにおける映像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【公開番号】特開２００９−２１８７９２（Ｐ２００９−２１８７９２Ａ）
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願番号】特願２００８−５９５４７（Ｐ２００８−５９５４７）
【出願日】平成２０年３月１０日（２００８．３．１０）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
【公開日】平成２１年９月２４日（２００９．９．２４）
【国際特許分類】
【出願日】平成２０年３月１０日（２００８．３．１０）
【出願人】（０００００５１０８）株式会社日立製作所 (27,607)
【Ｆターム（参考）】
[ Back to top ]