テレビ電話端末装置
【課題】テレビ電話システムに用いるテレビ電話端末装置において、表示画面サイズが限られていても、高精細カメラで撮影した高精細動画像を有効に活用した映像表示を行えるテレビ電話端末装置を提供する。
【解決手段】テレビ電話開始時に、互いのテレビ電話端末装置が備える表示装置の表示可能サイズをそれぞれ交換し、自端末装置のカメラ撮影サイズが相手端末の表示可能サイズより大きいと判断した場合に、ピックアップモードの切替えを可能にし、ピックアップ領域の座標情報等を相手端末装置に送信する。このピックアップ領域の座標情報等を受信した相手端末装置は、ピックアップ表示モードに切替え、画面表示をピックアップ領域に切り替えるとともに、ピックアップ表示に切り替えたことをユーザに知らせるメッセージを表示装置に表示し、ピックアップ表示モードに切替えた旨を通知する。
【解決手段】テレビ電話開始時に、互いのテレビ電話端末装置が備える表示装置の表示可能サイズをそれぞれ交換し、自端末装置のカメラ撮影サイズが相手端末の表示可能サイズより大きいと判断した場合に、ピックアップモードの切替えを可能にし、ピックアップ領域の座標情報等を相手端末装置に送信する。このピックアップ領域の座標情報等を受信した相手端末装置は、ピックアップ表示モードに切替え、画面表示をピックアップ領域に切り替えるとともに、ピックアップ表示に切り替えたことをユーザに知らせるメッセージを表示装置に表示し、ピックアップ表示モードに切替えた旨を通知する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像・音声信号の送受信を行うテレビ電話端末装置に関し、特に、相手テレビ電話端末装置からの性能情報に応じて相手端末の表示装置に適した映像表示が可能なテレビ電話端末装置に関する。
【背景技術】
【０００２】
近年、通信ネットワークの高速化や、映像や音声の符号化技術の進化に伴って、テレビ電話システムの普及が進みつつある。これらのテレビ電話システムでは、ＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）やＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）などの標準プロトコルが採用されており、テレビ電話端末装置として、テレビ電話専用機器だけでなく、例えば、パーソナルコンピュータや携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）をはじめとする様々な機器を選択・使用することができるようになっている。
【０００３】
また、上記テレビ電話システムでは、テレビ電話開始時にそれぞれの端末装置が有する復号可能な映像、音声の符号化方式や映像の表示サイズなどの性能諸元情報を相手端末装置に通知し、通知を受けた端末装置は、これらの性能諸元情報に基づいて、撮影画像の拡大・縮小や映像・音声の符号化を行い、相手端末装置に送信するのが一般的となっている（例えば、下記、特許文献１参照）。
【特許文献１】特開２００３―３４８５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記テレビ電話端末装置の中には、高精細カメラや高精細表示が可能なディスプレイ装置を利用して、鮮明な画像でテレビ電話を行えるテレビ電話端末装置も出現してはいるが、例えば、携帯電話やＰＤＡ等の表示装置では、高精細カメラを搭載してはいるものの、携帯性の観点から小型化されており、その結果として、表示装置は、画面サイズに適した表示サイズが選ばれている。特に、このような高精細カメラ及び表示サイズが小さい表示装置を備えたテレビ電話端末装置を利用した場合、現状のテレビ電話システムでは、高精細映像を有効に活用することができないという問題がある。すなわち、高精細カメラにより撮影した撮影画像を表示サイズが小さい表示装置の表示画面サイズに収まるように撮影画像を単に縮小して表示することになり、高精細さを活かした映像表現を行うことができなくなるという問題点が発生する。
【０００５】
そこで、本発明は、斯かる実情に鑑み、少なくとも２つのテレビ電話端末装置間で映像・音声を送受信するテレビ電話システムにおいて、高精細カメラで撮影した動画像を相手のテレビ電話端末装置の表示装置の表示画面の表示サイズが小さいものであっても、高精細さを有効に活用した映像表示を行えるテレビ電話端末装置を提供しようとするものである。
【課題を解決するための手段】
【０００６】
上記のような問題点を解決するために、本発明に係るテレビ電話端末装置は、以下のような構成とし、特徴を有する。
【０００７】
本発明に係るテレビ電話端末装置は、少なくとも２つのテレビ電話端末装置間で、映像・音声を送受信し、テレビ電話開始時にそれぞれのテレビ電話端末装置が有する性能情報を相互に交換し合うテレビ電話システムのテレビ電話端末装置において、外部の映像を入力する映像入力部と、入力した映像から表示するための映像データを生成する表示制御部と、前記表示制御部によって生成された前記映像データを表示する表示装置と、相手端末装置より送信される該相手端末装置の表示装置のサイズを表す矩形領域の座標位置を含む情報の抽出・変更を行う矩形情報処理部と、を備え、前記表示制御部は、相手端末装置より送信される前記表示装置の表示サイズと前記映像入力部の撮像サイズとを比較し、該撮像サイズが前記表示サイズより大きいと判断した場合に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置に通知するように制御するとともに、該相手端末装置から高サイズ表示開始を行った旨の通知を受信した場合に、該相手端末装置から送信される映像を表示する代わりに、前記映像入力部により入力した映像を前記表示装置の表示サイズに縮小した映像及び前記矩形領域の位置を示す表示枠及び高サイズ表示開始メッセージを該映像に重畳して前記表示装置に表示するようにしたことを特徴とする。
【０００８】
また、本発明に係るテレビ電話端末装置において、高サイズ表示開始を行った旨の通知を受信した後に、前記矩形情報処理部を介して変更された前記矩形領域の座標値に基づき、前記映像入力部の映像を前記表示装置の表示サイズに縮小した映像内で前記矩形領域を任意の位置に移動し、前記相手端末装置に該矩形領域の座標値を送信し、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記表示枠を移動するようにしたことを特徴とする。
【０００９】
また、本発明に係るテレビ電話端末装置において、前記表示制御部は、高サイズ表示開始を行った旨の通知を受信した後に、前記矩形情報処理部を介して、前記映像入力部の映像を前記表示装置の表示サイズに縮小した映像内で前記矩形領域を任意の位置に移動し、前記相手端末装置に該矩形領域の座標値を送信して、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記表示枠を移動するようにしたことを特徴とする。
【００１０】
また、本発明に係るテレビ電話端末装置において、前記表示制御部は、逆に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置から通知を受けた後に、前記矩形領域を任意の位置に移動させるための前記相手端末装置に該矩形領域の座標値を送信して、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記矩形領域を移動するようにしたことを特徴とする。
【発明の効果】
【００１１】
上記のように構成された本発明のテレビ電話端末装置によれば、以下に示す優れた効果を奏し得る。
【００１２】
本発明のテレビ電話端末装置によれば、表示装置の表示可能な最大サイズが、撮像する高精細カメラの撮像サイズより小さい場合であっても、高精細さを活かした映像表示が可能であり、映像に映し出されている画像情報の識別が容易となる。
【００１３】
また、本発明のテレビ電話端末装置によれば、撮像した映像の内、どの矩形領域を表示しているかの座標値等の情報を相手端末装置から通知を受け、その矩形領域を表す表示枠を生成することにより、視覚的に確認することができ、この領域を移動する場合等の操作の正確性を高めることができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明に係るテレビ電話端末装置の一実施形態について図面を参照して説明する。
【００１５】
図１〜図１３は、本発明に係るテレビ電話端末装置の本実施形態の一例であって、図中、図と同一の符号を付した部分は同一物を表わすものとする。
【００１６】
まず、本発明に係るテレビ電話端末装置の詳細構成及び動作を説明する前に、本実施形態に係るテレビ電話端末装置の特徴点である「高サイズ表示モード」について簡単に説明する。
【００１７】
図１は、本実施形態におけるテレビ電話端末装置を用いたテレビ電話システム概要図である。
【００１８】
図１では、代表するテレビ電話端末装置Ａ、Ｂ、Ｃが、インターネット等の通信ネットワーク１０を介して接続した構成例を示している。このように接続された複数のテレビ電話端末装置から構成されるテレビ電話システムにおいて、例えば、テレビ電話端末装置Ａ、Ｂは、使用するテレビ電話用プロトコルに従って、互いの通信接続を確立した後、両者の端末装置が撮影した映像および集音した音声を互いの端末装置に送出することにより、テレビ電話が開始される。
【００１９】
ここで、上述したように、テレビ電話端末装置Ａ及びテレビ電話端末装置Ｂの符号化処理方式や撮影・表示処理能力等が異なる場合が多く、それぞれの端末装置が適切な処理を行うために、通信接続の確立後、互いの処理方式や処理能力を交換することが通常行われている。特に、テレビ電話端末装置Ａ、Ｂに搭載されているカメラが高精細カメラであって、テレビ電話端末装置Ａ、Ｂの表示装置の表示サイズが互いに相手の端末装置に搭載している高精細カメラの撮像サイズに対応していなく、高精細カメラの撮像サイズに比較して、表示可能サイズが小さい場合には、このままでは、テレビ電話端末装置Ａ、Ｂの表示装置の性能に合わせて、単に画像情報を縮小して伝送（以下、低サイズ表示モードという）せざるを得なく、高精細さを活かした映像表示を行うように動作（以下、高サイズ表示モードという）させることはできない。
【００２０】
そこで、本実施形態に係るテレビ電話端末装置Ａは、高精細カメラによって撮影した全体画像の中から、テレビ電話端末装置Ｂの表示装置の表示領域と同サイズの領域を任意の座標位置で指定することができるようにし、その指定領域の座標情報等を含む情報をテレビ電話端末装置Ｂに伝送し、テレビ電話端末装置Ｂにおいて、上記情報に基づいて、低サイズ表示モードから高サイズ表示モードに切り替えて、高サイズの映像を表示させるとともに、テレビ電話端末装置Ｂから高サイズ表示モードに切り替えた旨の情報を受け取るようにする。
【００２１】
これにより、テレビ電話端末装置Ｂにおいて、テレビ電話端末装置Ａによって撮影した映像と同じ高精細の映像を表示させることができるとともに、テレビ電話端末装置Ｂで高解像表示が行われていることを確認することができ、後述する任意の位置への領域移動操作を行う際の操作の利便性及び正確性の向上を図ることを可能にしている。
【００２２】
次に、上記高サイズ表示モードによる映像表示動作を行う本発明に係るテレビ電話端末装置の構成及び動作について説明する。
【００２３】
図２は、テレビ電話端末装置の構成を示すブロック図である。
【００２４】
テレビ電話端末装置２０は、外部の映像を撮像するための高精細カメラ（映像入力部）２１と、ユーザの音声や周囲の音声を集音するためのマイク２２と、相手端末装置の表示装置に表示する矩形領域のサイズ、座標等のパラメータ情報をユーザが指定できるようにするためのキー入力装置２３と、高精細カメラ２１によって撮像された画像データを圧縮する映像符号化部２４と、マイク２２によって集音された音声データを圧縮する音声符号化部２５と、相手端末装置より送信される矩形領域の座標値情報等の抽出・変更を行う矩形情報処理部２６と、符号化された画像データや音声データならびに矩形領域に関する情報をパケット化する送信処理部２７と、パケットの送受信を行う送受信部２８と、相手端末から受信したパケットを映像データや音声データならびに矩形領域の情報等に分離する受信処理部２９と、受信した矩形情報処理部２６によって得られた矩形領域の情報に基づいて符号化された映像データを復号化する映像復号化部３０と、受信した符号化された音声データを復号化する音声復号化部３１と、映像復号化部３０によって復号化された映像データまたは高精細カメラ２１によって撮像された映像データに矩形情報処理部２６によって得られた矩形領域の情報を反映させた映像データを生成する表示制御部３２と、表示制御部３２によって生成された映像データを表示する表示装置３３と、復号化された音声データを再生するスピーカ３４と、テレビ電話プロトコルを含めた装置全体の制御を司る統括制御部３５と、を備えて構成される。
【００２５】
なお、本実施形態のテレビ電話端末装置２０として、携帯電話端末を想定しているため、高精細カメラ２１の撮像サイズを１９２０×１０８０ｐｉｘｅｌ、表示装置３３の表示サイズを８００×４８０ｐｉｘｅｌとして以下説明するが、これらのサイズに限定されるものではない。
【００２６】
図３は、上記テレビ電話端末装置２０において、テレビ電話回線の回線接続からテレビ電話開始までの処理動作を示すフロー図である。
【００２７】
図３に示すように、テレビ電話を開始する際にあたり、まず、統括制御部３５は、テレビ電話回線の確立を行うために、相手の端末装置に対して、テレビ電話発呼を行う（ステップＳ１００）。発呼を行った後、相手の端末装置からの応答を待ち、応答確認処理を行って（ステップＳ１１０）、テレビ電話回線の接続が完了する。
【００２８】
続いて、上述したように、端末装置の互いの処理方式や処理能力諸元の交換を行う（ステップＳ１２０）。ステップＳ１２０の処理能力諸元交換処理では、図４に示すように、利用可能な画像・音声の送信側符号化方式を表す識別子４０、撮影画像の撮像サイズ４１、および、受信可能な画像のサイズ４３といった情報を交換する他、表示装置で表示可能な画像サイズの最大値４４についても交換する。そして、相手端末装置の表示装置の最大表示サイズが高精細カメラ２１の撮像サイズよりも小さいか否かを判断する処理を行い（ステップＳ１３０）、小さいと判断すると（ステップＳ１３０；Ｙｅｓ）、高サイズ表示モード（以下、ピックアップモードという）への切替えを有効にして（ステップＳ１４０）、テレビ電話の開始処理を行う（ステップＳ１５０）。このテレビ電話の開始処理において、ピックアップモードの利用が可能となり、必要に応じて、実際の高サイズ表示（以下、ピックアップ表示という）が行われる。
【００２９】
一方、大きいと判断した場合には（ステップＳ１３０；Ｎｏ）、そのままテレビ電話の開始処理を行う（ステップＳ１５０）。この場合には、カメラ撮像サイズのまま又は表示装置の表示サイズに拡大して表示する。
【００３０】
次に、テレビ電話端末装置２０によるピックアップ表示開始の指示及び開始後の動作フローについて、図５、６及び８を用いて説明する。
【００３１】
図５は、ピックアップモード有効期間中におけるテレビ電話端末装置Ａ及びテレビ電話端末装置Ｂの画面の構成例を示す図である。
【００３２】
（ａ）は、テレビ電話端末装置Ｂの高精細カメラによって撮像された画像及びピックアップモード有効期間中に生成されるピックアップ領域表示枠を示す図であり、（ｂ）は、テレビ電話端末装置Ｂにおけるテレビ電話端末装置Ａからの受信画像を示す図である。また、（ｃ）は、ピックアップ表示開始指示時におけるテレビ電話端末装置Ｂの表示装置に表示する縮小画面を示す図である。さらに、（ｄ）は、テレビ電話端末装置Ｂのピックアップ表示した画面を示す図である。
【００３３】
なお、（ｂ）に示すように、本実施形態では、テレビ電話端末装置Ｂでは、テレビ電話端末装置Ａにより撮影される高撮像サイズの画像自体を受信するものとしているが、伝送効率の点から、（ｃ）、（ｄ）に示す縮小表示画面及びピックアップ表示画面の作成は、テレビ電話端末装置Ａ側で作成し、テレビ電話端末装置Ｂに送信するようにしてもよい。
【００３４】
図６は、テレビ電話端末装置Ａ、Ｂ間のピックアップ表示の実施シーケンスを示す図である。（ａ）は、ピックアップ表示開始シーケンスを示す図であり、（ｂ）は、テレビ電話端末装置Ａからピックアップ領域の移動開始指示を行う場合のシーケンスを示す図である。また、（ｃ）は、テレビ電話端末装置Ｂからピックアップ領域の移動開始指示を行う場合のシーケンスを示す図である。
なお、これらのピックアップ指示は、図７に示すデータ構造に含まれるメッセージをテレビ電話送信端末Ａ、Ｂ間で送受信することにより行われる。
また、図８は、ピックアップモード開始時の処理の流れを示すフロー図である。図８の（ａ）は、ピックアップモードの開始を指示するテレビ電話送受信端末Ａの処理の流れを、（ｂ）は、ピックアップモード指示を受けるテレビ電話送受信端末Ｂの処理の流れを示すフロー図である。
【００３５】
［ピックアップ表示開始の説明］
まず、図６（ａ）に示すピックアップ表示開始シーケンス（ステップＳ５１０〜Ｓ５３０）、図８（ステップＳ８００〜Ｓ８４０；ステップＳ８５０〜Ｓ９１０）について説明する。
ピックアップモードへの切替えが有効（図３に示すフローのステップＳ１４０の処理）となったテレビ電話端末装置Ａ、Ｂ（Ｂにおいても、ピックアップモードへの切替えが有効の状態にある）において、テレビ電話が開始されると、図５（ａ）に示すように、通常、表示装置３３には、相手端末装置Ｂの高精細カメラによって撮影される映像及びピックアップ領域を表す矩形表示（ピックアップ領域表示枠５０）が出現する。この状態で、テレビ電話端末装置ＡのユーザＡがキー入力装置２３のピックアップ表示開始指示キーを操作することにより、矩形情報処理部２６、統括制御部３５を介して、ピックアップ表示開始指示が表示制御部３２に伝達されると同時に、テレビ電話端末装置Ｂに対して送信される。そして、表示装置３３には、自身の高精細カメラによって撮影される映像及びピックアップ領域を表すピックアップ領域表示枠５０の表示に切り替える。
一方、図５（ｃ）に示すように、相手端末装置Ｂの表示制御部３２は、自身の表示装置のサイズに合わせた縮小映像を生成する。相手端末装置Ｂの表示装置には、この縮小映像を表示するとともに、この縮小映像上に相手端末装置の表示サイズと同一のピックアップ領域表示枠５０を表示（図５（ｃ）には、図示していない）し、選択している領域をユーザＢに分かるようにする。そして、表示されたピックアップ領域表示枠５０はユーザＡによる上記操作により表示領域内で移動することができ、表示画面中からピックアップしたい矩形領域を選択することができる。ここで、ピックアップ領域表示枠５０の初期座標値としては、例えば、画面の中心位置とする。
【００３６】
また、ピックアップ領域の座標位置を指示する場合の選択方法としては、例えば、十字キーを備えるキー入力装置によって、撮影画像の左上端の画素を基準とする座標系において、十字キーでピックアップ領域表示枠５０の左上端の座標を指定する、といった方法がある。
ピックアップ領域の選択が完了すると、前記選択された座標が図７に示すメッセージに含められ、テレビ電話の通信相手であるテレビ電話送受信端末Ｂに送信される。メッセージを送信したテレビ電話送受信端末Ａは、テレビ電話送受信端末Ｂからの応答を待つ。一方、ピックアップ座標を含むメッセージを受信したテレビ電話送受信端末Ｂは、現在表示している画像上に、ピックアップ指示を受信した旨を表すポップアップ表示（ポップアップ文字（Ｐ））５１を生成する。ポップアップ表示中、キー入力装置において、例えば、決定キーを押下することにより、受信メッセージからピックアップ矩形の左上座標を取得し、受信画像のピックアップ矩形領域を求め、受信画像を縮小して表示していた画面から受信画像を縮小せず、図５（ｄ）に示すように、原寸を維持したまま一部分の画像を切り出したピックアップ画面表示に切り替えることができる。
【００３７】
ピックアップ表示を開始したテレビ電話送受信端末Ｂは、テレビ電話送受信端末Ａに対して、ピックアップ表示を開始した旨を通知するためのメッセージを送信する。ピックアップ表示の開始メッセージを受け取ったテレビ電話送受信端末Ａの画面表示には、相手端末であるテレビ電話送受信端末Ｂがピックアップ表示中であることを表すためのポップアップが表示される。このポップアップ表示はテレビ電話送受信端末Ｂがピックアップ表示を終了するまで表示し続ける。
なお、ここでは相手端末がピックアップ表示中であることを示すためにポップアップ表示を行うとしているが、ユーザに通知する手段としてはこの手段に限定されるものではなく、この他の視覚的な通知手段、または、音声等による聴覚的手段、端末の振動といった触覚的手段などを用いても良い。
【００３８】
また、テレビ電話端末装置Ａからのピックアップ表示開始指示後、テレビ電話端末装置Ａ、Ｂ間のテレビ電話回線の接続が解消されるまで、テレビ電話端末装置Ｂは、ピックアップ表示開始・終了の指示をテレビ電話端末装置Ａに対して通知することができる。
【００３９】
さらに、このポップアップ文字（Ｐ）５１が表示された期間中であっても、テレビ電話端末装置Ａの表示装置３３には、図５（ｃ）に示す自分自身の高精細カメラ２１の映像からテレビ電話端末装置Ｂのカメラにより撮影される映像に切り替えて、いつでも相手端末装置Ｂにより撮影された映像を表示することができる。
【００４０】
［テレビ電話端末装置Ａからの指示に基づくピックアップ領域の移動についての説明］
続いて、ピックアップ表示中において、高精細画像を撮影しているテレビ電話端末装置Ａからの指示に基づいてピックアップ領域の移動開始を行う場合のシーケンス処理について、図８、図９を用いて説明する。
ここで、ピックアップ領域移動の画面表示の様子を図９に、処理の流れを図１０に示す。なお、図１０の（ａ）（ステップＳ１０００〜Ｓ１０４０）は、ピックアップ表示を指示するテレビ電話送受信端末Ａの処理の流れを、（ｂ）（ステップＳ１１００〜Ｓ１１５０）は、ピックアップ表示の指示を受けるテレビ電話送受信端末Ｂの処理の流れを示している。
【００４１】
ピックアップ表示中、高精細画像を撮影しているテレビ電話送受信端末Ａにおいて、キー入力装置において、例えば十字キーの操作により、ピックアップ領域を移動することができる。
十字キー操作と決定キーにより、図９（ａ）に示すように、ピックアップ領域が矢印５２の方向に移動し、ピックアップ矩形領域の再指定が行われると、再指定された位置の矩形領域の座標を取得し、図７に示すメッセージに含められ、ピックアップ位置更新メッセージとして、相手端末であるテレビ電話送受信端末Ｂに送信される。メッセージを受信したテレビ電話送受信端末Ｂでは、図９（ｂ）に示すように、ピックアップ矩形領域の更新メッセージを受信した旨を通知するためのポップアップ（ポップアップ文字（Ｍ））５３が表示される。ポップアップ表示中に、キー入力装置において、例えば、決定キーを押下することにより、ピックアップ表示位置の更新を行うことができる。テレビ電話送受信端末Ｂにおいて、決定キーなどによりピックアップ表示位置の更新を選択すると、受信メッセージから新たなピックアップ矩形領域の左上座標を取得してピックアップ領域を更新し、表示画面に反映する。ピックアップ表示位置の更新が完了すると、ピックアップ表示位置を更新したことをテレビ電話送受信端末Ａに通知するためにメッセージを送信する。メッセージを受信したテレビ電話送受信端末Ａでは、表示画面上のピックアップ領域矩形を強調表示することなどにより、更新が反映されたことをユーザＡに通知する。
【００４２】
［テレビ電話端末装置Ｂからの指示に基づくピックアップ領域の移動の説明］
また、ピックアップ領域の移動指示は、テレビ電話送受信端末Ｂから行うことも可能である。テレビ電話送受信端末Ｂにおいて、ピックアップ表示中に、例えば、キー入力装置において十字キーを操作することにより、表示画面の位置を移動することができる。その際の画面表示を図１１に、処理の流れを図１２に示す。なお、図１２の（ａ）（ステップＳ１２１０〜Ｓ１２９０）は、ピックアップ表示を指示しているテレビ電話送受信端末Ａの処理の流れを、（ｂ）（ステップＳ１２５０〜Ｓ１２９０）は、ピックアップ表示の指示を受け、ピックアップ表示位置を操作するテレビ電話送受信端末Ｂの処理の流れを示している。
【００４３】
テレビ電話送受信端末Ｂにおいて、ユーザの十字キー操作が行われると、その操作によって発生したピックアップ矩形領域の移動における移動量を求め、その移動量からピックアップ矩形領域を算出し、テレビ電話送受信端末Ｂ上での表示が更新される。表示の更新後は、前記ピックアップ矩形領域の移動量を、図７に示すメッセージに含め、テレビ電話送受信端末Ａにメッセージを送信する。メッセージを受信したテレビ電話送受信端末Ａでは、メッセージから移動量を取得し、テレビ電話送受信端末Ｂにおいて表示されている位置を算出し、図１３に示すように、撮影画面上にテレビ電話送受信端末Ｂが視聴している領域を表すピックアップ矩形を表示する。その表示に従って、テレビ電話送受信端末Ａではテレビ電話送受信端末Ａ上で指定されたピックアップ矩形を、テレビ電話送受信端末Ｂの視聴領域を表すピックアップ矩形に前述の移動指示手段により、あわせることができる。
【００４４】
尚、本発明のテレビ電話端末装置は、上記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００４５】
【図１】本実施形態に係るテレビ電話端末装置を用いたテレビ電話システム概要図である。
【図２】本実施形態に係るテレビ電話端末装置の構成を示すブロック図である。
【図３】本実施形態に係るテレビ電話端末装置におけるテレビ電話の回線接続からテレビ電話の開始までの処理の流れを示すフロー図である。
【図４】本発明のテレビ電話送受信端末において、テレビ電話送受信端末間で能力諸元を交換するためのメッセージに含められるデータの構造を示す図である。
【図５】ピックアップモード有効期間中におけるテレビ電話端末装置Ａ及びテレビ電話端末装置Ｂの画面の構成例を示す図である。
【図６】テレビ電話端末装置Ａ、Ｂ間のピックアップ表示の実施シーケンスを示す図である。
【図７】本発明のテレビ電話送受信端末において、ピックアップモードの開始、ピックアップ領域の移動などを行う際に交換されるメッセージに含められるデータの構造を示すデータ構造図である。
【図８】ピックアップモード開始時の処理の流れを示すフロー図である。（ａ）は、ピックアップモードの開始を指示するテレビ電話送受信端末Ａの処理の流れを、（ｂ）は、ピックアップモード指示を受けるテレビ電話送受信端末Ｂの処理の流れを示すフロー図である。
【図９】ピックアップ領域移動の画面表示の様子を示す説明図である。
【図１０】本発明のテレビ電話送受信端末において、ピックアップ領域の移動における、ピックアップの指示を行った側（Ａ）からのピックアップ位置の更新指示とピックアップの指示受けている側（Ｂ）の更新動作に係るデータの処理の流れ図である。
【図１１】ピックアップ表示しているテレビ電話端末装置からピックアップ領域の移動開始を行う場合のピックアップ領域の移動を示すフロー図である。
【図１２】ピックアップ領域の移動における、ピックアップの指示を行ったテレビ電話送受信端末Ａに対しピックアップの指示受けているテレビ電話送受信端末Ｂからのピックアップ領域の移動動作に係るデータの処理の流れ図である。
【図１３】ピックアップ表示の移動があった際の撮影画像受信側のテレビ電話送受信端末における表示画面変化の概要図である。
【符号の説明】
【００４６】
１０ 通信ネットワーク
２０ テレビ電話端末装置
２１ 高精細カメラ
２２ マイク
２３ キー入力装置
２４ 映像符号化部
２５ 音声符号化部
２６ 矩形情報処理部
２７ 送信処理部
２８ 送受信部
２９ 受信処理部
３０ 映像復号化部
３１ 音声復号化部
３２ 表示制御部
３３ 表示装置
３４ スピーカ
３５ 統括制御部
４０ 送信側符号化方式を表す識別子
４１ 撮影画像の撮像サイズ
４３ 受信可能な画像のサイズ
４３ 表示可能な画像サイズの最大値
５０ ピックアップ領域表示枠
５１ ポップアップ文字（Ｐ）
５２ 矢印
５３ ポップアップ文字（Ｍ）
【技術分野】
【０００１】
本発明は、映像・音声信号の送受信を行うテレビ電話端末装置に関し、特に、相手テレビ電話端末装置からの性能情報に応じて相手端末の表示装置に適した映像表示が可能なテレビ電話端末装置に関する。
【背景技術】
【０００２】
近年、通信ネットワークの高速化や、映像や音声の符号化技術の進化に伴って、テレビ電話システムの普及が進みつつある。これらのテレビ電話システムでは、ＳＩＰ（Ｓｅｓｓｉｏｎ Ｉｎｉｔｉａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）やＲＴＰ（Ｒｅａｌ−ｔｉｍｅ Ｔｒａｎｓｐｏｒｔａｔｉｏｎ Ｐｒｏｔｏｃｏｌ）などの標準プロトコルが採用されており、テレビ電話端末装置として、テレビ電話専用機器だけでなく、例えば、パーソナルコンピュータや携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）をはじめとする様々な機器を選択・使用することができるようになっている。
【０００３】
また、上記テレビ電話システムでは、テレビ電話開始時にそれぞれの端末装置が有する復号可能な映像、音声の符号化方式や映像の表示サイズなどの性能諸元情報を相手端末装置に通知し、通知を受けた端末装置は、これらの性能諸元情報に基づいて、撮影画像の拡大・縮小や映像・音声の符号化を行い、相手端末装置に送信するのが一般的となっている（例えば、下記、特許文献１参照）。
【特許文献１】特開２００３―３４８５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記テレビ電話端末装置の中には、高精細カメラや高精細表示が可能なディスプレイ装置を利用して、鮮明な画像でテレビ電話を行えるテレビ電話端末装置も出現してはいるが、例えば、携帯電話やＰＤＡ等の表示装置では、高精細カメラを搭載してはいるものの、携帯性の観点から小型化されており、その結果として、表示装置は、画面サイズに適した表示サイズが選ばれている。特に、このような高精細カメラ及び表示サイズが小さい表示装置を備えたテレビ電話端末装置を利用した場合、現状のテレビ電話システムでは、高精細映像を有効に活用することができないという問題がある。すなわち、高精細カメラにより撮影した撮影画像を表示サイズが小さい表示装置の表示画面サイズに収まるように撮影画像を単に縮小して表示することになり、高精細さを活かした映像表現を行うことができなくなるという問題点が発生する。
【０００５】
そこで、本発明は、斯かる実情に鑑み、少なくとも２つのテレビ電話端末装置間で映像・音声を送受信するテレビ電話システムにおいて、高精細カメラで撮影した動画像を相手のテレビ電話端末装置の表示装置の表示画面の表示サイズが小さいものであっても、高精細さを有効に活用した映像表示を行えるテレビ電話端末装置を提供しようとするものである。
【課題を解決するための手段】
【０００６】
上記のような問題点を解決するために、本発明に係るテレビ電話端末装置は、以下のような構成とし、特徴を有する。
【０００７】
本発明に係るテレビ電話端末装置は、少なくとも２つのテレビ電話端末装置間で、映像・音声を送受信し、テレビ電話開始時にそれぞれのテレビ電話端末装置が有する性能情報を相互に交換し合うテレビ電話システムのテレビ電話端末装置において、外部の映像を入力する映像入力部と、入力した映像から表示するための映像データを生成する表示制御部と、前記表示制御部によって生成された前記映像データを表示する表示装置と、相手端末装置より送信される該相手端末装置の表示装置のサイズを表す矩形領域の座標位置を含む情報の抽出・変更を行う矩形情報処理部と、を備え、前記表示制御部は、相手端末装置より送信される前記表示装置の表示サイズと前記映像入力部の撮像サイズとを比較し、該撮像サイズが前記表示サイズより大きいと判断した場合に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置に通知するように制御するとともに、該相手端末装置から高サイズ表示開始を行った旨の通知を受信した場合に、該相手端末装置から送信される映像を表示する代わりに、前記映像入力部により入力した映像を前記表示装置の表示サイズに縮小した映像及び前記矩形領域の位置を示す表示枠及び高サイズ表示開始メッセージを該映像に重畳して前記表示装置に表示するようにしたことを特徴とする。
【０００８】
また、本発明に係るテレビ電話端末装置において、高サイズ表示開始を行った旨の通知を受信した後に、前記矩形情報処理部を介して変更された前記矩形領域の座標値に基づき、前記映像入力部の映像を前記表示装置の表示サイズに縮小した映像内で前記矩形領域を任意の位置に移動し、前記相手端末装置に該矩形領域の座標値を送信し、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記表示枠を移動するようにしたことを特徴とする。
【０００９】
また、本発明に係るテレビ電話端末装置において、前記表示制御部は、高サイズ表示開始を行った旨の通知を受信した後に、前記矩形情報処理部を介して、前記映像入力部の映像を前記表示装置の表示サイズに縮小した映像内で前記矩形領域を任意の位置に移動し、前記相手端末装置に該矩形領域の座標値を送信して、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記表示枠を移動するようにしたことを特徴とする。
【００１０】
また、本発明に係るテレビ電話端末装置において、前記表示制御部は、逆に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置から通知を受けた後に、前記矩形領域を任意の位置に移動させるための前記相手端末装置に該矩形領域の座標値を送信して、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記矩形領域を移動するようにしたことを特徴とする。
【発明の効果】
【００１１】
上記のように構成された本発明のテレビ電話端末装置によれば、以下に示す優れた効果を奏し得る。
【００１２】
本発明のテレビ電話端末装置によれば、表示装置の表示可能な最大サイズが、撮像する高精細カメラの撮像サイズより小さい場合であっても、高精細さを活かした映像表示が可能であり、映像に映し出されている画像情報の識別が容易となる。
【００１３】
また、本発明のテレビ電話端末装置によれば、撮像した映像の内、どの矩形領域を表示しているかの座標値等の情報を相手端末装置から通知を受け、その矩形領域を表す表示枠を生成することにより、視覚的に確認することができ、この領域を移動する場合等の操作の正確性を高めることができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明に係るテレビ電話端末装置の一実施形態について図面を参照して説明する。
【００１５】
図１〜図１３は、本発明に係るテレビ電話端末装置の本実施形態の一例であって、図中、図と同一の符号を付した部分は同一物を表わすものとする。
【００１６】
まず、本発明に係るテレビ電話端末装置の詳細構成及び動作を説明する前に、本実施形態に係るテレビ電話端末装置の特徴点である「高サイズ表示モード」について簡単に説明する。
【００１７】
図１は、本実施形態におけるテレビ電話端末装置を用いたテレビ電話システム概要図である。
【００１８】
図１では、代表するテレビ電話端末装置Ａ、Ｂ、Ｃが、インターネット等の通信ネットワーク１０を介して接続した構成例を示している。このように接続された複数のテレビ電話端末装置から構成されるテレビ電話システムにおいて、例えば、テレビ電話端末装置Ａ、Ｂは、使用するテレビ電話用プロトコルに従って、互いの通信接続を確立した後、両者の端末装置が撮影した映像および集音した音声を互いの端末装置に送出することにより、テレビ電話が開始される。
【００１９】
ここで、上述したように、テレビ電話端末装置Ａ及びテレビ電話端末装置Ｂの符号化処理方式や撮影・表示処理能力等が異なる場合が多く、それぞれの端末装置が適切な処理を行うために、通信接続の確立後、互いの処理方式や処理能力を交換することが通常行われている。特に、テレビ電話端末装置Ａ、Ｂに搭載されているカメラが高精細カメラであって、テレビ電話端末装置Ａ、Ｂの表示装置の表示サイズが互いに相手の端末装置に搭載している高精細カメラの撮像サイズに対応していなく、高精細カメラの撮像サイズに比較して、表示可能サイズが小さい場合には、このままでは、テレビ電話端末装置Ａ、Ｂの表示装置の性能に合わせて、単に画像情報を縮小して伝送（以下、低サイズ表示モードという）せざるを得なく、高精細さを活かした映像表示を行うように動作（以下、高サイズ表示モードという）させることはできない。
【００２０】
そこで、本実施形態に係るテレビ電話端末装置Ａは、高精細カメラによって撮影した全体画像の中から、テレビ電話端末装置Ｂの表示装置の表示領域と同サイズの領域を任意の座標位置で指定することができるようにし、その指定領域の座標情報等を含む情報をテレビ電話端末装置Ｂに伝送し、テレビ電話端末装置Ｂにおいて、上記情報に基づいて、低サイズ表示モードから高サイズ表示モードに切り替えて、高サイズの映像を表示させるとともに、テレビ電話端末装置Ｂから高サイズ表示モードに切り替えた旨の情報を受け取るようにする。
【００２１】
これにより、テレビ電話端末装置Ｂにおいて、テレビ電話端末装置Ａによって撮影した映像と同じ高精細の映像を表示させることができるとともに、テレビ電話端末装置Ｂで高解像表示が行われていることを確認することができ、後述する任意の位置への領域移動操作を行う際の操作の利便性及び正確性の向上を図ることを可能にしている。
【００２２】
次に、上記高サイズ表示モードによる映像表示動作を行う本発明に係るテレビ電話端末装置の構成及び動作について説明する。
【００２３】
図２は、テレビ電話端末装置の構成を示すブロック図である。
【００２４】
テレビ電話端末装置２０は、外部の映像を撮像するための高精細カメラ（映像入力部）２１と、ユーザの音声や周囲の音声を集音するためのマイク２２と、相手端末装置の表示装置に表示する矩形領域のサイズ、座標等のパラメータ情報をユーザが指定できるようにするためのキー入力装置２３と、高精細カメラ２１によって撮像された画像データを圧縮する映像符号化部２４と、マイク２２によって集音された音声データを圧縮する音声符号化部２５と、相手端末装置より送信される矩形領域の座標値情報等の抽出・変更を行う矩形情報処理部２６と、符号化された画像データや音声データならびに矩形領域に関する情報をパケット化する送信処理部２７と、パケットの送受信を行う送受信部２８と、相手端末から受信したパケットを映像データや音声データならびに矩形領域の情報等に分離する受信処理部２９と、受信した矩形情報処理部２６によって得られた矩形領域の情報に基づいて符号化された映像データを復号化する映像復号化部３０と、受信した符号化された音声データを復号化する音声復号化部３１と、映像復号化部３０によって復号化された映像データまたは高精細カメラ２１によって撮像された映像データに矩形情報処理部２６によって得られた矩形領域の情報を反映させた映像データを生成する表示制御部３２と、表示制御部３２によって生成された映像データを表示する表示装置３３と、復号化された音声データを再生するスピーカ３４と、テレビ電話プロトコルを含めた装置全体の制御を司る統括制御部３５と、を備えて構成される。
【００２５】
なお、本実施形態のテレビ電話端末装置２０として、携帯電話端末を想定しているため、高精細カメラ２１の撮像サイズを１９２０×１０８０ｐｉｘｅｌ、表示装置３３の表示サイズを８００×４８０ｐｉｘｅｌとして以下説明するが、これらのサイズに限定されるものではない。
【００２６】
図３は、上記テレビ電話端末装置２０において、テレビ電話回線の回線接続からテレビ電話開始までの処理動作を示すフロー図である。
【００２７】
図３に示すように、テレビ電話を開始する際にあたり、まず、統括制御部３５は、テレビ電話回線の確立を行うために、相手の端末装置に対して、テレビ電話発呼を行う（ステップＳ１００）。発呼を行った後、相手の端末装置からの応答を待ち、応答確認処理を行って（ステップＳ１１０）、テレビ電話回線の接続が完了する。
【００２８】
続いて、上述したように、端末装置の互いの処理方式や処理能力諸元の交換を行う（ステップＳ１２０）。ステップＳ１２０の処理能力諸元交換処理では、図４に示すように、利用可能な画像・音声の送信側符号化方式を表す識別子４０、撮影画像の撮像サイズ４１、および、受信可能な画像のサイズ４３といった情報を交換する他、表示装置で表示可能な画像サイズの最大値４４についても交換する。そして、相手端末装置の表示装置の最大表示サイズが高精細カメラ２１の撮像サイズよりも小さいか否かを判断する処理を行い（ステップＳ１３０）、小さいと判断すると（ステップＳ１３０；Ｙｅｓ）、高サイズ表示モード（以下、ピックアップモードという）への切替えを有効にして（ステップＳ１４０）、テレビ電話の開始処理を行う（ステップＳ１５０）。このテレビ電話の開始処理において、ピックアップモードの利用が可能となり、必要に応じて、実際の高サイズ表示（以下、ピックアップ表示という）が行われる。
【００２９】
一方、大きいと判断した場合には（ステップＳ１３０；Ｎｏ）、そのままテレビ電話の開始処理を行う（ステップＳ１５０）。この場合には、カメラ撮像サイズのまま又は表示装置の表示サイズに拡大して表示する。
【００３０】
次に、テレビ電話端末装置２０によるピックアップ表示開始の指示及び開始後の動作フローについて、図５、６及び８を用いて説明する。
【００３１】
図５は、ピックアップモード有効期間中におけるテレビ電話端末装置Ａ及びテレビ電話端末装置Ｂの画面の構成例を示す図である。
【００３２】
（ａ）は、テレビ電話端末装置Ｂの高精細カメラによって撮像された画像及びピックアップモード有効期間中に生成されるピックアップ領域表示枠を示す図であり、（ｂ）は、テレビ電話端末装置Ｂにおけるテレビ電話端末装置Ａからの受信画像を示す図である。また、（ｃ）は、ピックアップ表示開始指示時におけるテレビ電話端末装置Ｂの表示装置に表示する縮小画面を示す図である。さらに、（ｄ）は、テレビ電話端末装置Ｂのピックアップ表示した画面を示す図である。
【００３３】
なお、（ｂ）に示すように、本実施形態では、テレビ電話端末装置Ｂでは、テレビ電話端末装置Ａにより撮影される高撮像サイズの画像自体を受信するものとしているが、伝送効率の点から、（ｃ）、（ｄ）に示す縮小表示画面及びピックアップ表示画面の作成は、テレビ電話端末装置Ａ側で作成し、テレビ電話端末装置Ｂに送信するようにしてもよい。
【００３４】
図６は、テレビ電話端末装置Ａ、Ｂ間のピックアップ表示の実施シーケンスを示す図である。（ａ）は、ピックアップ表示開始シーケンスを示す図であり、（ｂ）は、テレビ電話端末装置Ａからピックアップ領域の移動開始指示を行う場合のシーケンスを示す図である。また、（ｃ）は、テレビ電話端末装置Ｂからピックアップ領域の移動開始指示を行う場合のシーケンスを示す図である。
なお、これらのピックアップ指示は、図７に示すデータ構造に含まれるメッセージをテレビ電話送信端末Ａ、Ｂ間で送受信することにより行われる。
また、図８は、ピックアップモード開始時の処理の流れを示すフロー図である。図８の（ａ）は、ピックアップモードの開始を指示するテレビ電話送受信端末Ａの処理の流れを、（ｂ）は、ピックアップモード指示を受けるテレビ電話送受信端末Ｂの処理の流れを示すフロー図である。
【００３５】
［ピックアップ表示開始の説明］
まず、図６（ａ）に示すピックアップ表示開始シーケンス（ステップＳ５１０〜Ｓ５３０）、図８（ステップＳ８００〜Ｓ８４０；ステップＳ８５０〜Ｓ９１０）について説明する。
ピックアップモードへの切替えが有効（図３に示すフローのステップＳ１４０の処理）となったテレビ電話端末装置Ａ、Ｂ（Ｂにおいても、ピックアップモードへの切替えが有効の状態にある）において、テレビ電話が開始されると、図５（ａ）に示すように、通常、表示装置３３には、相手端末装置Ｂの高精細カメラによって撮影される映像及びピックアップ領域を表す矩形表示（ピックアップ領域表示枠５０）が出現する。この状態で、テレビ電話端末装置ＡのユーザＡがキー入力装置２３のピックアップ表示開始指示キーを操作することにより、矩形情報処理部２６、統括制御部３５を介して、ピックアップ表示開始指示が表示制御部３２に伝達されると同時に、テレビ電話端末装置Ｂに対して送信される。そして、表示装置３３には、自身の高精細カメラによって撮影される映像及びピックアップ領域を表すピックアップ領域表示枠５０の表示に切り替える。
一方、図５（ｃ）に示すように、相手端末装置Ｂの表示制御部３２は、自身の表示装置のサイズに合わせた縮小映像を生成する。相手端末装置Ｂの表示装置には、この縮小映像を表示するとともに、この縮小映像上に相手端末装置の表示サイズと同一のピックアップ領域表示枠５０を表示（図５（ｃ）には、図示していない）し、選択している領域をユーザＢに分かるようにする。そして、表示されたピックアップ領域表示枠５０はユーザＡによる上記操作により表示領域内で移動することができ、表示画面中からピックアップしたい矩形領域を選択することができる。ここで、ピックアップ領域表示枠５０の初期座標値としては、例えば、画面の中心位置とする。
【００３６】
また、ピックアップ領域の座標位置を指示する場合の選択方法としては、例えば、十字キーを備えるキー入力装置によって、撮影画像の左上端の画素を基準とする座標系において、十字キーでピックアップ領域表示枠５０の左上端の座標を指定する、といった方法がある。
ピックアップ領域の選択が完了すると、前記選択された座標が図７に示すメッセージに含められ、テレビ電話の通信相手であるテレビ電話送受信端末Ｂに送信される。メッセージを送信したテレビ電話送受信端末Ａは、テレビ電話送受信端末Ｂからの応答を待つ。一方、ピックアップ座標を含むメッセージを受信したテレビ電話送受信端末Ｂは、現在表示している画像上に、ピックアップ指示を受信した旨を表すポップアップ表示（ポップアップ文字（Ｐ））５１を生成する。ポップアップ表示中、キー入力装置において、例えば、決定キーを押下することにより、受信メッセージからピックアップ矩形の左上座標を取得し、受信画像のピックアップ矩形領域を求め、受信画像を縮小して表示していた画面から受信画像を縮小せず、図５（ｄ）に示すように、原寸を維持したまま一部分の画像を切り出したピックアップ画面表示に切り替えることができる。
【００３７】
ピックアップ表示を開始したテレビ電話送受信端末Ｂは、テレビ電話送受信端末Ａに対して、ピックアップ表示を開始した旨を通知するためのメッセージを送信する。ピックアップ表示の開始メッセージを受け取ったテレビ電話送受信端末Ａの画面表示には、相手端末であるテレビ電話送受信端末Ｂがピックアップ表示中であることを表すためのポップアップが表示される。このポップアップ表示はテレビ電話送受信端末Ｂがピックアップ表示を終了するまで表示し続ける。
なお、ここでは相手端末がピックアップ表示中であることを示すためにポップアップ表示を行うとしているが、ユーザに通知する手段としてはこの手段に限定されるものではなく、この他の視覚的な通知手段、または、音声等による聴覚的手段、端末の振動といった触覚的手段などを用いても良い。
【００３８】
また、テレビ電話端末装置Ａからのピックアップ表示開始指示後、テレビ電話端末装置Ａ、Ｂ間のテレビ電話回線の接続が解消されるまで、テレビ電話端末装置Ｂは、ピックアップ表示開始・終了の指示をテレビ電話端末装置Ａに対して通知することができる。
【００３９】
さらに、このポップアップ文字（Ｐ）５１が表示された期間中であっても、テレビ電話端末装置Ａの表示装置３３には、図５（ｃ）に示す自分自身の高精細カメラ２１の映像からテレビ電話端末装置Ｂのカメラにより撮影される映像に切り替えて、いつでも相手端末装置Ｂにより撮影された映像を表示することができる。
【００４０】
［テレビ電話端末装置Ａからの指示に基づくピックアップ領域の移動についての説明］
続いて、ピックアップ表示中において、高精細画像を撮影しているテレビ電話端末装置Ａからの指示に基づいてピックアップ領域の移動開始を行う場合のシーケンス処理について、図８、図９を用いて説明する。
ここで、ピックアップ領域移動の画面表示の様子を図９に、処理の流れを図１０に示す。なお、図１０の（ａ）（ステップＳ１０００〜Ｓ１０４０）は、ピックアップ表示を指示するテレビ電話送受信端末Ａの処理の流れを、（ｂ）（ステップＳ１１００〜Ｓ１１５０）は、ピックアップ表示の指示を受けるテレビ電話送受信端末Ｂの処理の流れを示している。
【００４１】
ピックアップ表示中、高精細画像を撮影しているテレビ電話送受信端末Ａにおいて、キー入力装置において、例えば十字キーの操作により、ピックアップ領域を移動することができる。
十字キー操作と決定キーにより、図９（ａ）に示すように、ピックアップ領域が矢印５２の方向に移動し、ピックアップ矩形領域の再指定が行われると、再指定された位置の矩形領域の座標を取得し、図７に示すメッセージに含められ、ピックアップ位置更新メッセージとして、相手端末であるテレビ電話送受信端末Ｂに送信される。メッセージを受信したテレビ電話送受信端末Ｂでは、図９（ｂ）に示すように、ピックアップ矩形領域の更新メッセージを受信した旨を通知するためのポップアップ（ポップアップ文字（Ｍ））５３が表示される。ポップアップ表示中に、キー入力装置において、例えば、決定キーを押下することにより、ピックアップ表示位置の更新を行うことができる。テレビ電話送受信端末Ｂにおいて、決定キーなどによりピックアップ表示位置の更新を選択すると、受信メッセージから新たなピックアップ矩形領域の左上座標を取得してピックアップ領域を更新し、表示画面に反映する。ピックアップ表示位置の更新が完了すると、ピックアップ表示位置を更新したことをテレビ電話送受信端末Ａに通知するためにメッセージを送信する。メッセージを受信したテレビ電話送受信端末Ａでは、表示画面上のピックアップ領域矩形を強調表示することなどにより、更新が反映されたことをユーザＡに通知する。
【００４２】
［テレビ電話端末装置Ｂからの指示に基づくピックアップ領域の移動の説明］
また、ピックアップ領域の移動指示は、テレビ電話送受信端末Ｂから行うことも可能である。テレビ電話送受信端末Ｂにおいて、ピックアップ表示中に、例えば、キー入力装置において十字キーを操作することにより、表示画面の位置を移動することができる。その際の画面表示を図１１に、処理の流れを図１２に示す。なお、図１２の（ａ）（ステップＳ１２１０〜Ｓ１２９０）は、ピックアップ表示を指示しているテレビ電話送受信端末Ａの処理の流れを、（ｂ）（ステップＳ１２５０〜Ｓ１２９０）は、ピックアップ表示の指示を受け、ピックアップ表示位置を操作するテレビ電話送受信端末Ｂの処理の流れを示している。
【００４３】
テレビ電話送受信端末Ｂにおいて、ユーザの十字キー操作が行われると、その操作によって発生したピックアップ矩形領域の移動における移動量を求め、その移動量からピックアップ矩形領域を算出し、テレビ電話送受信端末Ｂ上での表示が更新される。表示の更新後は、前記ピックアップ矩形領域の移動量を、図７に示すメッセージに含め、テレビ電話送受信端末Ａにメッセージを送信する。メッセージを受信したテレビ電話送受信端末Ａでは、メッセージから移動量を取得し、テレビ電話送受信端末Ｂにおいて表示されている位置を算出し、図１３に示すように、撮影画面上にテレビ電話送受信端末Ｂが視聴している領域を表すピックアップ矩形を表示する。その表示に従って、テレビ電話送受信端末Ａではテレビ電話送受信端末Ａ上で指定されたピックアップ矩形を、テレビ電話送受信端末Ｂの視聴領域を表すピックアップ矩形に前述の移動指示手段により、あわせることができる。
【００４４】
尚、本発明のテレビ電話端末装置は、上記した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
【図面の簡単な説明】
【００４５】
【図１】本実施形態に係るテレビ電話端末装置を用いたテレビ電話システム概要図である。
【図２】本実施形態に係るテレビ電話端末装置の構成を示すブロック図である。
【図３】本実施形態に係るテレビ電話端末装置におけるテレビ電話の回線接続からテレビ電話の開始までの処理の流れを示すフロー図である。
【図４】本発明のテレビ電話送受信端末において、テレビ電話送受信端末間で能力諸元を交換するためのメッセージに含められるデータの構造を示す図である。
【図５】ピックアップモード有効期間中におけるテレビ電話端末装置Ａ及びテレビ電話端末装置Ｂの画面の構成例を示す図である。
【図６】テレビ電話端末装置Ａ、Ｂ間のピックアップ表示の実施シーケンスを示す図である。
【図７】本発明のテレビ電話送受信端末において、ピックアップモードの開始、ピックアップ領域の移動などを行う際に交換されるメッセージに含められるデータの構造を示すデータ構造図である。
【図８】ピックアップモード開始時の処理の流れを示すフロー図である。（ａ）は、ピックアップモードの開始を指示するテレビ電話送受信端末Ａの処理の流れを、（ｂ）は、ピックアップモード指示を受けるテレビ電話送受信端末Ｂの処理の流れを示すフロー図である。
【図９】ピックアップ領域移動の画面表示の様子を示す説明図である。
【図１０】本発明のテレビ電話送受信端末において、ピックアップ領域の移動における、ピックアップの指示を行った側（Ａ）からのピックアップ位置の更新指示とピックアップの指示受けている側（Ｂ）の更新動作に係るデータの処理の流れ図である。
【図１１】ピックアップ表示しているテレビ電話端末装置からピックアップ領域の移動開始を行う場合のピックアップ領域の移動を示すフロー図である。
【図１２】ピックアップ領域の移動における、ピックアップの指示を行ったテレビ電話送受信端末Ａに対しピックアップの指示受けているテレビ電話送受信端末Ｂからのピックアップ領域の移動動作に係るデータの処理の流れ図である。
【図１３】ピックアップ表示の移動があった際の撮影画像受信側のテレビ電話送受信端末における表示画面変化の概要図である。
【符号の説明】
【００４６】
１０ 通信ネットワーク
２０ テレビ電話端末装置
２１ 高精細カメラ
２２ マイク
２３ キー入力装置
２４ 映像符号化部
２５ 音声符号化部
２６ 矩形情報処理部
２７ 送信処理部
２８ 送受信部
２９ 受信処理部
３０ 映像復号化部
３１ 音声復号化部
３２ 表示制御部
３３ 表示装置
３４ スピーカ
３５ 統括制御部
４０ 送信側符号化方式を表す識別子
４１ 撮影画像の撮像サイズ
４３ 受信可能な画像のサイズ
４３ 表示可能な画像サイズの最大値
５０ ピックアップ領域表示枠
５１ ポップアップ文字（Ｐ）
５２ 矢印
５３ ポップアップ文字（Ｍ）
【特許請求の範囲】
【請求項１】
少なくとも２つのテレビ電話端末装置間で、映像・音声を送受信し、テレビ電話開始時にそれぞれのテレビ電話端末装置が有する性能情報を相互に交換し合うテレビ電話システムのテレビ電話端末装置において、
外部の映像を入力する映像入力部と、入力した映像から表示するための映像データを生成する表示制御部と、前記表示制御部によって生成された前記映像データを表示する表示装置と、相手端末装置より送信される該相手端末装置の表示装置のサイズを表す矩形領域の座標位置を含む情報の抽出・変更を行う矩形情報処理部と、を備え、
前記表示制御部は、相手端末装置より送信される前記表示装置の表示サイズと前記映像入力部の撮像サイズとを比較し、該撮像サイズが前記表示サイズより大きいと判断した場合に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置に通知するように制御するとともに、該相手端末装置から高サイズ表示開始を行った旨の通知を受信した場合に、該相手端末装置から送信される映像を表示する代わりに、前記映像入力部により入力した映像を前記表示装置の表示サイズに縮小した映像及び前記矩形領域の位置を示す表示枠及び高サイズ表示開始メッセージを該映像に重畳して前記表示装置に表示するようにしたことを特徴とするテレビ電話端末装置。
【請求項２】
前記表示制御部は、逆に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置から通知を受けた場合に、該相手端末装置から送信される前記映像を縮小して受信映像全体を表示するモードから前記矩形領域を表示するモードに切り替えるとともに、高サイズ表示開始を行った旨の通知を該相手端末装置に送信するように制御することを特徴とする請求項１に記載のテレビ電話端末装置。
【請求項３】
前記表示制御部は、高サイズ表示開始を行った旨の通知を受信した後に、前記矩形情報処理部を介して変更された前記矩形領域の座標値に基づき、前記映像入力部の映像を前記表示装置の表示サイズに縮小した映像内で前記矩形領域を任意の位置に移動し、前記相手端末装置に該矩形領域の座標値を送信し、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記表示枠を移動するようにしたことを特徴とする請求項１に記載のテレビ電話端末装置。
【請求項４】
前記表示制御部は、逆に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置から通知を受けた後に、前記矩形領域を任意の位置に移動させるための前記相手端末装置に該矩形領域の座標値を送信して、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記矩形領域を移動するようにしたことを特徴とする請求項２に記載のテレビ電話端末装置。
【請求項１】
少なくとも２つのテレビ電話端末装置間で、映像・音声を送受信し、テレビ電話開始時にそれぞれのテレビ電話端末装置が有する性能情報を相互に交換し合うテレビ電話システムのテレビ電話端末装置において、
外部の映像を入力する映像入力部と、入力した映像から表示するための映像データを生成する表示制御部と、前記表示制御部によって生成された前記映像データを表示する表示装置と、相手端末装置より送信される該相手端末装置の表示装置のサイズを表す矩形領域の座標位置を含む情報の抽出・変更を行う矩形情報処理部と、を備え、
前記表示制御部は、相手端末装置より送信される前記表示装置の表示サイズと前記映像入力部の撮像サイズとを比較し、該撮像サイズが前記表示サイズより大きいと判断した場合に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置に通知するように制御するとともに、該相手端末装置から高サイズ表示開始を行った旨の通知を受信した場合に、該相手端末装置から送信される映像を表示する代わりに、前記映像入力部により入力した映像を前記表示装置の表示サイズに縮小した映像及び前記矩形領域の位置を示す表示枠及び高サイズ表示開始メッセージを該映像に重畳して前記表示装置に表示するようにしたことを特徴とするテレビ電話端末装置。
【請求項２】
前記表示制御部は、逆に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置から通知を受けた場合に、該相手端末装置から送信される前記映像を縮小して受信映像全体を表示するモードから前記矩形領域を表示するモードに切り替えるとともに、高サイズ表示開始を行った旨の通知を該相手端末装置に送信するように制御することを特徴とする請求項１に記載のテレビ電話端末装置。
【請求項３】
前記表示制御部は、高サイズ表示開始を行った旨の通知を受信した後に、前記矩形情報処理部を介して変更された前記矩形領域の座標値に基づき、前記映像入力部の映像を前記表示装置の表示サイズに縮小した映像内で前記矩形領域を任意の位置に移動し、前記相手端末装置に該矩形領域の座標値を送信し、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記表示枠を移動するようにしたことを特徴とする請求項１に記載のテレビ電話端末装置。
【請求項４】
前記表示制御部は、逆に、高サイズ表示モードへの切替え及び高サイズ表示開始指示を相手端末装置から通知を受けた後に、前記矩形領域を任意の位置に移動させるための前記相手端末装置に該矩形領域の座標値を送信して、該相手端末装置から移動表示開始を行った旨の通知を受信した場合に、移動表示開始メッセージを表示するとともに、前記矩形領域を移動するようにしたことを特徴とする請求項２に記載のテレビ電話端末装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２００９−１７１２７２（Ｐ２００９−１７１２７２Ａ）
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願番号】特願２００８−７６０９（Ｐ２００８−７６０９）
【出願日】平成２０年１月１７日（２００８．１．１７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２１年７月３０日（２００９．７．３０）
【国際特許分類】
【出願日】平成２０年１月１７日（２００８．１．１７）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]