画像伝送方法
【課題】 双方向対話における補助情報として、画像データなどの視覚データをより効果的に提供していくための画像伝送方法を提供する。
【解決手段】 第１端末装置(1A)の利用者(3A)により表示画面(8A)上で設定された１又は複数の画像取込フレーム(801A)の該表示画面(8A)上の相対位置をモニタしながら、該画像取込フレーム(801A)で囲まれた該表示画面(8A)の一部であるフレーム画像を所定のタイミングごとに切り取り、フレーム画像が切り取られるごとに該フレーム画像を第２端末装置(1B)に送信する。
【解決手段】 第１端末装置(1A)の利用者(3A)により表示画面(8A)上で設定された１又は複数の画像取込フレーム(801A)の該表示画面(8A)上の相対位置をモニタしながら、該画像取込フレーム(801A)で囲まれた該表示画面(8A)の一部であるフレーム画像を所定のタイミングごとに切り取り、フレーム画像が切り取られるごとに該フレーム画像を第２端末装置(1B)に送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、通信ケーブルを介して直接接続されたりネットワークを介して接続された端末装置間での双方向対話の補助データとして利用される視覚データの加工技術等に関するものである
【背景技術】
【０００２】
近年、遠隔地の対話者間で互いに相手側対話者の映像を互いに視線一致した状態でモニタに表示しながらテレビ会議やカウンセリング等の親密な対話を実現する双方向対話型システムが提案されている。この視線一致技術には種々の技術が提案されており、相手側対話者像が表示されるモニタの所定位置にＣＣＤカメラのような撮像デバイスを配置することにより視線一致を実現している（特許文献１参照）。
【０００３】
一方、上述のような双方向対話型システムは、一対一対話において資料等の補助資料の利用には必ずしも適しているとは言えず、広範囲の分野での双方向対話の適用には至っていない。また、一対一対話では未だにＩＰ電話などによる双方向対話が主流であり、テキストなどの静止画像、動画像等の視覚データは共通の対話補助データとしての利用に留まっているのが現状である。
【特許文献１】特許第３０７４６７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
発明者らは、従来の双方向型対話システムについて検討した結果、以下のような課題を発見した。すなわち、パーソナルコンピュータ（ＰＣ）の普及により一般的な職場環境下では、各人の机上に1台以上のＰＣの設置が実現されているにも関わらず、現実には、電話による音声対話が中心であり、ＰＣを利用した画像伝送を併用した電話会議（ＩＰ電話など）の活用例は十分に普及しているとは言えない。
【０００５】
また、上述のような環境下において、対話者間で共通の資料を参照しながらの双方向対話が行われると、勢い双方向対話の効率が低下してしまう。これは、リアルタイムの双方向画像伝送ができないことに起因している。例えば、資料を事前に一方の対話者から相手対話者にメール送信することはできるが、実際の対話では、資料のどのページ、更にはどの位置を指摘しているのかを、対話者自身が口頭で相手対話者に伝える必要があり、双方向対話におけるこのネゴシエーションによる遅延は対話自体の効率性を著しく低下させてしまう。一方で、資料が送られてきた相手対話者は、誤り無くその指定された資料を開けなくてはならない。また、相手対話者がその資料を正しく開けたか否かも、実はメール送信者である対話者自身にも判らないという課題があった。
【０００６】
この発明は上述のような課題を解決するためになされたものであり、音声を中心とした双方向対話の他、音声データとともに対話者の顔画像を含む画像データの送受信も同時に行われるテレビ電話サービス、テレビ会議システム等の双方対話における補助情報として、静止画像や動画像などの画像データに代表される視覚データをより効果的に提供していくための画像伝送方法、該画像伝送方法を実行するためのコンピュータプログラム、及び該コンピュータプログラムが記録された記録媒体を提供することを目的としている。
【課題を解決するための手段】
【０００７】
この発明に係る画像伝送方法は、ＬＡＮケーブルなどの通信ケーブル、電話回線網やインターネットなどのネットワークなど所定の伝送手段を介して直接又は間接的に接続されることにより互いに対話可能な状態に設定された第１端末装置から第２端末装置に対して、該第１端末装置から該第１端末装置の表示画面の一部を選択的に送信する画像伝送方法に関する。これら第1及び第2端末装置間の接続形態としては、通信ケーブルを会して直接接続された１対１接続（Peer-to-peer接続）、サーバを介した１対1接続、サーバを介して第1端末装置と複数の第2端末装置が接続された１対多接続などがあり、当該画像伝送方法は、音声を中心とした双方向対話の他、音声データとともに対話者の顔画像を含む映像データの送受信も同時に行われるテレビ電話サービス、テレビ会議システム等の双方向対話における補助情報として、静止画像や動画像などの画像データに代表される資料データをより効果的に提供する。ここで、表示画面とは、各端末装置に備えられた表示装置のモニタ画面上の、該端末装置の利用者自身（端末装置を利用する対話者自身）が視覚的に認知している表示データ自体を意味する。また、表示画面の一部とは、このモニタ画面上に同時表示されているPowerPoint（マイクロソフト社の登録商標）、表計算ソフト（例えば“Excel”など）、ワープロソフト（例えば“Word”など）、ブラウザなどのアプリケーションソフトにより生成される資料データ（テキスト、写真、映像等）などで構成された、端末装置の利用者自身が視覚的に認知している表示データの一部を意味している。
【０００８】
この発明に係る画像伝送方法は、第１端末装置から第２端末装置への画像伝送において、まず第１端末装置の利用者自身が視覚的に認知している表示画面の一部を切り出すステップと、この切り出された表示画面の一部を第２端末装置に送信する伝送ステップとを備える。
【０００９】
上記切り出しステップでは、第１端末装置の利用者により表示画面上で設定された１又は複数の画像取込フレームの該表示画面上の相対位置をモニタしながら、該画像取込フレームで囲まれた該表示画面の一部であるフレーム画像を所定のタイミングごとに切り取っていく。また、伝送ステップでは、切り取られたフレーム画像を第２端末装置に送信する。なお、必ずしもフレーム画像の切り出しごとに送信しなくてもよい。
【００１０】
なお、フレーム画像が切り取られるタイミングは、１秒間に１回〜数回程度の一定時間ごととするタイミング、フレーム画像の変化が検知されるなど任意の条件を満たすタイミング、及び、ウィンドサイズを変更する場合など利用者自身のマウス操作やキー入力などによる制御信号の発生タイミングのいずれであってもよい。また、利用者自身によって送信指示（手動送信）されるタイミングであってもよい。特に、表示画面上に複数の画像取込フレームが設定された場合におけるフレーム画像の伝送では、伝送容量等のリソース性能を有効利用するため、予め決められた条件（例えば、画像取込フレーム内での表示変化の検出など）を満たすタイミングや利用者による制御信号の発生タイミングで切り取られたフレーム画像の伝送を行うのが好ましい。
【００１１】
上述のように、対話者像や音声の送受信を中心とした双方向対話において、端末装置の利用者である対話者同士が資料を単に共有するのではなく、対話者自身が相手対話者に注目させたい部位を視覚データとして効率的に伝送することができるため、綿密かつスムースな対話進行が可能になる。すなわち、上述のような構成により、対話者同士による資料共有化のためのネゴシエーションの、双方向対話全体に占める時間比率を著しく低減することが可能になる。また、対話者自身は、共有化された資料の特定部位だけに焦点を絞って相手対話者にプレゼンテーションできる点や、送信前に予め対話者自身が伝送すべき部分を確認できる点などからも、効率的な双方向対話が可能になる。
【００１２】
なお、上記画像取込フレームのサイズ及び表示画面上における設定位置については、第１端末装置の利用者自身が任意に設定可能である。ところが、この画像取込フレームが大きく設定されると、フレーム画像の圧縮などに処理負荷（時間及びリソース負荷）が大きくなるため、予め一定サイズ以上の画像取込フレームが設定された場合には、取込対象であるフレーム画像を複数の領域に分割し、これら分割された領域ごとに画像処理（画像伝送の前処理としての画像縮小や圧縮など）が行われるのが好ましい。この場合、ＪＰＥＧ２０００のタイリング技術が有効である。ＪＰＥＧ２０００では、分割された領域（タイル）それぞれが処理単位となるため、タイルごとに伝送の有無を決定したり、個別に圧縮率を設定することができ、より柔軟な画像処理が可能になる。
【００１３】
この発明に係る画像伝送方法では、表示画面上に設定された画像取込フレーム内における表示変化が検知されるごとに（動き検知）、該画像取込フレームで規定された表示画面の一部であるフレーム画像を第２端末装置へ送信するのが好ましい。
【００１４】
双方向対話中であれば、１秒間に１回〜数回程度のデータ送信を行うことにより、リアルタイムで指摘箇所のフレーム画像を送信することもできる。しかしながら、上述のようなアプリケーションソフトにより生成される表示データは、一旦画像取込フレームの位置が固定されると該画像取込フレームで規定されるフレーム画像の表示変化は生じ難い。このような状況でも一定時間ごとにフレーム画像を送信していたのでは通信リソースを有効利用しているとは言い難い。一方で、時間経過とともに部分的な変化（例えば、カーソルの移動や文字の追加表示など）も生じることから、画像取込フレーム内に表示変化が生じた時にフレーム画像を送信すれば、より通信リソースの有効利用が可能になる。なお、上述のように、１つのフレーム画像が複数の領域に分割される場合には、これら複数の領域のうち動き検知された領域のみを第２端末装置に送信すれることで、より効率的な画像伝送が可能になる。
【００１５】
ここで、この発明に係る画像伝送方法で取り扱われるフレーム画像は、静止画像や動画像が含まれる。動画像には、所定の撮像装置などにより取り込まれた対話者の顔画像などの映像データの他、上記アプリケーションソフトなどにより生成された表示データ、静止画像と映像の組み合わせなども含まれる。また、上記アプリケーションソフトなどにより生成されたデータファイルは、一旦画像データに変換された後に圧縮等の処理が施される。
【００１６】
上述の動き検知によって検知されるべきフレーム画像の表示変化は、第１端末装置の表示画面対話者自身が設定した画像取込フレームで規定されるフレーム画像自体の表示変化の他、表示画面内における画像取込フレームの設定変更にともなう表示変化も含まれる。この画像取込フレームの設定変更には、フレームサイズの変更やフレームの移動（カーソル等によって対話者自身がフレームを移動させる場合）が含まれる。
【００１７】
この発明に係る画像伝送方法において、第１及び第２端末装置間での総伝送量が一定又は所定値以下になるよう切り取られたフレーム画像の伝送品質や画像サイズは逐次変更されるのが好ましい。例えば、テレビ電話サービスやテレビ会議システムなどのように対話者の顔画像及び音声の各データの送受信が行われるシステムにおいては、これら顔画像及び音声も含んだデータ全体として伝送量が制御される。通常、端末装置における処理負荷（ＣＰＵ負荷）、伝送路容量等の画像処理、伝送能力はモニタ可能である。また、複数の画像取込フレームが設定された場合には、双方向対話中に複数のフレーム画像が並行して伝送されることになる。このような場合、或る画像伝送処理の伝送負荷だけが大きくなると他の画像伝送処理に影響を与えてしまう一方、他の画像伝送処理が行われていない場合にはより伝送負荷を大きくすることで通信リソースのより効率的な利用も可能になる。ここで、フレーム画像の伝送品質は、例えばフレーム画像の伝送レートを変更したり、該フレーム画像の圧縮率を変更することにより調整される。なお、フレーム画像が複数の領域に分割されている場合、ＪＰＥＧ２０００を利用することにより分割領域ごとに圧縮率の変更も可能である。
【００１８】
この発明に係る画像伝送方法は、第１及び第２端末装置の少なくともいずれかにおいて、切り取られたフレーム画像を、該フレーム画像が伝送されるごとに順次記録していくのが好ましい。このように逐次記録されたデータは当該双方向対話の記録データとなる。
【００１９】
なお、上述のような画像伝送方法は、コンピュータ等で実行されるプログラムであってもよく、この場合、当該プログラムは、有線、無線を問わずネットワークを介して配信されてもよく、また、ＣＤ、ＤＶＤ、フラッシュメモリ等の記録媒体に格納されていてもよい。
【発明の効果】
【００２０】
この発明によれば、双方向対話における補助情報として、静止画像や動画像などの画像データに代表される視覚データをより効果的に提供することが可能になり、綿密かつスムースな対話進行が可能になる。
【発明を実施するための最良の形態】
【００２１】
以下、この発明に係る画像伝送方法の各実施形態を、図１〜図７を用いて詳細に説明する。なお、図面の説明において、同一要素、同一部位には同一符号を付して重複する説明を省略する。
【００２２】
図１は、この発明に係る画像伝送方法が適用可能なネットワークシステムの概略構成を示す図である。なお、図１では、第１端末装置１Ａと第２端末装置１Ｂとがネットワーク２を介して接続されているが、ＬＡＮケーブルなどの通信ケーブルによりこれら端末装置１Ａ、１Ｂ間が直接接続されてもよい。また、インターネットと既存の電話回線など、複数種類のネットワークが併用されてもよい。これら端末装置１Ａ、１Bの接続形態としては、図１に示されたようなサーバを介した１対１接続の他、通信ケーブルを介して直接接続された１対１接続（peer-to-peer接続）や、サーバを介して１台の端末装置（例えば端末装置１Ａに相当）と複数台の端末装置（それぞれが端末装置１Ｂに相当）が接続された、講義形式が実現可能な１対多接続などがある。
【００２３】
この図１において、伝送手段としてのネットワーク２には、それぞれノード２ａ、２ｂを介して端末装置１Ａ、１Ｂが接続されており、これら端末装置１Ａ、１Ｂ間での双方向対話が可能になっている。例えば、端末装置１Ａは、一般的に、通信制御機能等、主要な情報処理機能を実行するＰＣ本体１００Ａと、表示装置２００Ａを備えている。同様に、端末装置１Ｂも、ＰＣ本体１００Ｂと、表示装置２００Ｂを備える。
【００２４】
この発明に係る画像伝送方法は、上述のような伝送手段（図１の場合、ネットワーク２）を介して直接又は間接的に接続されることにより互いに対話可能な状態に設定された端末装置１Ａから第２端末装置１Ｂに対して、該端末装置１Ａから該第１端末装置１Ａの表示画面の一部を選択的に端末装置１Ｂに送信する画像伝送方法である。
【００２５】
図２は、この発明に係る画像伝送方法を実行可能な端末装置の構成を示すブロック図である。この端末装置１Ａ（１Ｂ）は、モニタ等の表示装置２００Ａ（２００Ｂ）と、映像処理を行うＰＣ本体１００Ａ（１００Ｂ）と、外部記録装置７００と、マウス等のポインティングデバイス４００と、キーボード５００と、マイク６００と、スピーカー３００とを備える。なお、端末装置１Ｂについても同様の構造を有するため、以下、端末装置１Ａについてのみ説明する。
【００２６】
ＰＣ本体１００Ａは、ネットワーク２を介して相手対話者からの音声データや画像データ（符号化データ）の送受信を行うためのデータ入出力部１１０（図中、Ｉ／Ｏ）と、この発明に係る画像伝送方法を実行する制御部１２０と、送受信される画像データを格納しておくためのデータベース１３０（図中、Ｄ／Ｂ）と、表示装置２００Ａへ制御部１２０の指示に従って所定のパターンを表示させるための、ＶＲＡＭ１４１を有する描画部１４０と、マウス等のポインティングデバイス４００からの位置情報の取り込みや外部記録装置７００とのデータ授受を可能にするデータ入出力部１５０（図中、Ｉ／Ｏ）と、相手対話者の音声が出力されるスピーカー３００を制御するための音源コントローラ１６０とを備える。
【００２７】
なお、外部記録装置７００は、例えば磁気テープ、ＣＤ、光ディスク、ハードディスク、ＤＶＤ、フラッシュメモリ等を含み、この発明に係る画像伝送方法を実行するコンピュータプログラムや相手側対話者からの送信データなどが格納される。
【００２８】
この発明に係る画像伝送方法は、上述のような構造を有する端末装置１Ａが設置されたＡ地点と、端末装置１Ｂが設置されたＢ地点との間で実行される双方向対話に特に有効である。このような双方向対話の実施形態には、図３に示されたような種々の形態がある。
【００２９】
例えば、図３（ａ）に示された実施形態では、双方向対話としてＩＰ電話サービス（テレビ電話サービスやテレビ会議システムなど、対話者の顔画像とともに音声データの送受信を行う双方向対話であってもよい）などを提供しているネットワークをそのまま利用して視覚データを送信している。すなわち、Ａ地点に居る対話者３Ａの音声データがマイク６００Ａを介してＰＣ本体１００Ａに取り込まれ、このＰＣ本体１００Ａからネットワーク２を介してＢ地点に設置された端末装置１ＢのＰＣ本体１００Ｂに伝送される。ＰＣ本体１００Ｂに取り込まれた音声データはスピーカ３００Ｂから相手対話者３Ｂに出力される。逆に、Ｂ地点に居る対話者３Ｂの音声データはマイク６００Ｂを介してＰＣ本体１００Ｂに取り込まれ、このＰＣ本体１００Ｂからネットワーク２を介してＡ地点に設置された端末装置１ＡのＰＣ本体１００Ａに伝送される。ＰＣ本体１００Ａに取り込まれた音声データはスピーカ３００Ａから対話者３Ａに出力される。
【００３０】
このとき、対話者３Ａは、表示装置２００Ａの表示画面の一部を指定し、双方向対話の補助資料データとして画像データをネットワーク２を介してＢ地点の端末装置１Ｂに送信している。Ｂ地点の端末装置１Ｂでは、端末装置１Ａから送信されてきた画像データを表示装置２００Ｂの表示画面上に設定された表示ウィンド内に表示する。
【００３１】
なお、上述の図３（ａ）に示された実施形態では、音声データとともに対話補助データである画像データもネットワーク２を介して伝送される。しかしながら、現実の双方向対話では、上述のようなネットワークを介して音声データの送受信を行うＩＰ電話サービスの他、既存の電話回線網２０を利用した従来型の双方向対話も広く行われている。この場合、図３（ｂ）に示されたように、音声による双方向対話は既存の電話網を利用する一方、この双方向対話と並行してネットワーク２を介した視覚データの送受信を行うことも可能である。
【００３２】
この発明に係る画像伝送方法は、端末装置１Ａから端末装置１Ｂへの画像伝送において、まず端末装置１Ａの利用者自身が視覚的に認知している表示画面の一部を切り出すステップと、この切り出された表示画面の一部を端末装置１Ｂに送信する伝送ステップとを備える。
【００３３】
具体的には、図４（ａ）に示されたように、端末装置１Ａにおける表示装置２００Ａの表示画面８Ａ上にて対話者３Ａがカーソル８０Ａを利用して画像取込フレーム８０１Ａを設定する。一方、相手対話者３Ｂは、端末装置１Ｂにおける表示装置２００Ｂの表示画面８Ｂ上にて端末装置１Ａから送信されてくるフレーム画像（静止画像、動画像のいずれでもよい）を表示するウィンド８０１Ｂをカーソル８０Ｂの操作により設定する。
【００３４】
このとき、表示画面８Ａは、端末装置１Ａを利用している対話者３Ａ自身が視覚的に認知している表示データ自体を意味する。この表示画面８Ａ上には、PowerPoint（マイクロソフト社の登録商標）、表計算ソフト（例えば“Excel”など）、ワープロソフト（例えば“Word”など）、ブラウザなどのアプリケーションソフトにより生成される資料データ（テキスト、写真、映像等）などが同時表示されており、図４（ｂ）では、表示画面８Ａ上に資料の静止画像データ９Ａと、動画像データ９Ｂが同時表示されている。フレーム画像の切り出しステップでは、対話者３Ａにより画像取込フレーム８０１Ａが図４（ｂ）で示された位置に設置されたとすると、この画像取込フレーム８０１Ａで規定されるフレーム画像に対し、所定の画像処理（品質制御）が行われる。さらに、伝送ステップにおいて相手対話者３Ｂの端末装置１Ｂに切り取られたフレーム画像が送信されると、該端末装置１Ｂにおいて表示制御が行われる。具体的には、端末装置１Ｂにおいて、送信されたフレーム画像は、予め相手対話者３Ｂによって設定された表示ウィンド８０１Ｂ内に表示できるよう、復号化した後に拡大あるいは縮小などの処理を施して表示画面８Ｂ上の表示ウィンド８０１Ｂ内に表示される。
【００３５】
なお、画像取込フレーム８０１Ａのサイズ及び表示画面８Ａ上における設定位置については、上述のように端末装置１Ａを利用する対話者３Ａ自身が任意に設定する。ところが、この画像取込フレーム８０１Ａが大きく設定されると、フレーム画像の圧縮などに処理負荷（時間及びリソース負荷）が大きくなるため、予め一定サイズ以上の画像取込フレーム８０１Ａが設定された場合には、取込対象であるフレーム画像を複数の領域に分割し、これら分割された領域ごとに画像処理（画像伝送の前処理としての画像縮小や圧縮など）が行われるのが好ましい。この場合、ＪＰＥＧ２０００のタイリング技術が有効である。ＪＰＥＧ２０００では、分割された領域（タイル）それぞれが処理単位となるため、タイルごとに伝送の有無を決定したり、個別に圧縮率を設定することができ、より柔軟な画像処理が可能になる。
【００３６】
また、フレーム画像が切り取られるタイミングは、１秒間に数回程度の一定時間ごととするタイミング、フレーム画像の変化が検知されるなど任意の条件を満たすタイミング、及び、ウィンドサイズを変更するなど対話者３Ａ自身によるマウス４００Ａの操作やキーボード５００からの入力で発生する制御信号の発生タイミングのいずれであってもよい。さらには、対話者３Ａ自身によって送信指示（手動送信）されるタイミングであってもよい。表示画面８Ａ上に複数の画像取込フレーム８０１Ａが設定された場合におけるフレーム画像の伝送では、伝送容量等のリソース性能を有効利用するため、予め決められた条件（例えば、画像取込フレーム内での表示変化の検出など）を満たすタイミングや利用者３Ａによる制御信号の発生タイミングで切り取られたフレーム画像の伝送を行ってもよい。
【００３７】
特に、動き検知によって検知されるべきフレーム画像の表示変化は、端末装置１Ａの表示画面８Ａ上において対話者３Ａ自身が設定した画像取込フレーム８０１Ａで規定されるフレーム画像自体の表示変化の他、表示画面８Ａ内における画像取込フレーム８０１Ａの設定変更に伴う表示変化も含まれる。この画像取込フレーム８０１Ａの設定変更には、フレームサイズの変更やフレームの移動（カーソル等によって対話者自身がフレームを移動させる場合）が含まれる。図４（ｃ）及び４（ｄ）は、対話者３Ａ自身がカーソル８０Ａを操作することにより画像取込フレーム８０１Ａを移動させたときの状態を示す。
【００３８】
すなわち、図４（ｃ）に示されたように、対話者３Ａが表示画面８Ａ上における画像取込フレーム８０１Ａの位置を移動させることにより、端末装置１Ｂにおける表示画面８Ｂ上に設定された表示ウィンド８０１Ｂ内には、画像取込フレーム８０１Ａの移動に伴って逐次伝送されたフレーム画像が表示される（動き検知のタイミングに一致したタイミングで表示される）。さらに、図４（ｄ）に示されたように、対話者３Ａが表示画面８Ａ上における画像取込フレーム８０１Ａの位置を動画像９Ｂの表示位置まで移動させると、端末装置１Ｂにおける表示画面８Ｂ上に設定された表示ウィンド８０１Ｂ内には、画像取込フレーム８０１Ａ内に表示されている動画像９Ｂの一部が表示される。
【００３９】
このような双方向対話において、対話者３Ａ、３Ｂ同士が資料を単に共有するのではなく、対話者３Ａ自身が相手対話者３Ｂに注目させたい部位を視覚データとして効率的に伝送することができるため、綿密かつスムースな対話進行が可能になる。すなわち、上述のような構成により、対話者３Ａ、３Ｂ同士による資料共有化のためのネゴシエーションの、双方向対話全体に占める時間比率を著しく低減することが可能になる。また、対話者自身は、共有化された資料の特定部位だけに焦点を絞って相手対話者にプレゼンテーションできる点や、送信前に予め対話者自身が伝送すべき部分を確認できる点などからも、効率的な双方向対話が可能になる。
【００４０】
次に、この発明に係る画像伝送方法を、フレーム画像の送信を上述の動き検知タイミングで行う場合を例に説明する。図５は、画像データの送信側端末における画像伝送手順（この発明に係る画像伝送方法）を説明するためのフローチャートである。
【００４１】
まず、図４（ａ）に示されたように、端末装置１ａを利用する対話者３Ａ自身が表示画面８Ａ上に画像取込フレーム８０１Ａをカーソル操作により設定する（ステップＳＴ１０）。
【００４２】
画像取込フレーム８０１Ａが設定されると、このフレーム８０１Ａで規定されるフレーム画像が１秒間に数回のタイミングで取り込まれ（ステップＳＴ２０）、動き検知が行われる（ステップＳＴ３０）。なお、取り込まれるフレーム画像は、端末装置１Ａにおける描画部１４０のＶＲＡＭ１４１に格納されているビットマップデータである。
【００４３】
具体的に、この動き検知は、図６に示されたように行われる。双方向対話中であれば、１秒間に１回〜数回程度のデータ送信を行うことにより、リアルタイムで指摘箇所のフレーム画像を送信することもできる。しかしながら、上述のようなアプリケーションソフトにより生成される表示データは、一旦画像取込フレーム８０１Ａの位置が固定されると該画像取込フレーム８０１Ａで規定されるフレーム画像の表示変化は生じ難い。このような状況でも一定時間ごとにフレーム画像を送信していたのでは通信リソースを有効利用しているとは言い難い。一方で、時間経過とともに部分的な変化（例えば、カーソルの移動や文字の追加表示など）も生じることから、画像取込フレーム８０１Ａ内に表示変化が生じた時にフレーム画像を送信すれば、より通信リソースの有効利用が可能になる。なお、上述のように、１つのフレーム画像が複数の領域に分割される場合には、これら複数の画像ごとに動き検知を行い、動き検知された領域のみを第２端末装置に送信することで、より効率的な画像伝送が可能になる。すなわち、変化検出時のみ、変化領域のみの効率的な画像伝送が可能になる。
【００４４】
なお、図６（ａ）には、時間ｔ１、ｔ２（＝ｔ１＋Δｔ）でそれぞれ取り込まれた前フレーム画像ｔ１と、後フレーム画像ｔ２同士を比較する様子が示されている。具体的な比較では、前フレーム画像ｔ１内の予め指定された画素の輝度値ａ１、ａ２、ａ３、ａ４、ａ５、ａ６と、後フレーム画像ｔ２内の対応する画素の輝度値ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６を求め、これら対応する画素同士の差を合計することで動き量を算出する。すなわち、フレーム画像内の動き量は、以下の式で表される。
｜ａ１−ｂ１｜＋｜ａ２−ｂ２｜＋｜ａ３−ｂ３｜
＋｜ａ４−ｂ４｜＋｜ａ５−ｂ５｜＋｜ａ６−ｂ６｜
【００４５】
以上の式で算出された動き量が所定の閾値を超えている場合に、画像取込フレーム８０１Ａ内に表示変化が生じたと判断される。ここで、画像取込フレーム８０１Ａにより規定されるフレーム画像が複数の領域（ＪＰＥＧ２０００におけるタイルに相当）に分割されている場合、この動き検知は各タイルごとに行われ、また、輝度値を比較するための画素数は、タイルごとに異なっていてもよい。
【００４６】
図６（ｂ）は、上述の動き検知動作を含む符号化処理を概念的に示すブロック図である。この図６（ｂ）に示されたように、処理対象である後フレーム画像ｔ２について、比較対象である前フレーム画像ｔ１を利用した動き検知が行われ、この検知結果に基づいて、伝送ステップが行われる。この伝送ステップでは、送信されるフレーム画像が、通信リソースや通信環境を考慮して所定の圧縮率で符号化された後に送信される。
【００４７】
上述のステップＳＴ３０における動き検知によって画像取込フレーム８０１Ａ内での表示変化が検知された場合、さらに送信されるべきフレーム画像の伝送品質や画像サイズが決定される（ステップＳＴ４０）。このステップＳＴ４０における伝送品質は、通信状況等の環境条件によって決定される。すなわち、送信側である端末装置１Ａと受信側である端末装置１Ｂ間での総伝送量が一定又は一定値以下になるよう切り取られたフレーム画像の伝送品質や画像サイズは逐次変更される。例えば、テレビ電話サービスやテレビ会議システムなどのように対話者の顔画像及び音声の各データの送受信が行われるシステムにおいては、制御部１２０がこれら顔画像及び音声も含んだデータ全体として伝送量を制御する。通常、端末装置１Ａにおける処理負荷（ＣＰＵ負荷）、伝送路容量等の画像処理、伝送能力はモニタ可能である。また、端末装置１Ａの表示画面８Ａ上にて複数の画像取込フレーム８０１Ａが設定された場合には、双方向対話中に複数の画像データが並行して伝送される。このような場合、当該画像伝送方法による伝送負荷だけが大きくなると他の画像伝送に影響を与えてしまう一方、他の処理が行われていない場合にはより伝送負荷を大きくすることで通信リソースのより効率的な利用も可能になる。そこで、この発明に係る画像伝送方法では、フレーム画像ごとのの伝送レートの変更（例えば、資料用の視覚データが伝送されている１〜２秒程度の間、対話者の顔画像伝送が停止されたとしても対話への影響は大きくない）、該フレーム画像の圧縮率の変更、更には画像サイズの変更を行うことにより、伝送品質の調整が行われる。なお、フレーム画像が複数の領域に分割されている場合、ＪＰＥＧ２０００を利用することにより分割領域ごとに圧縮率の変更も可能である。
【００４８】
以上のように決定された伝送品質となるよう、切り取られたフレーム画像又は複数に分割された領域に対して符号化が行われ（ステップＳＴ５０）、この符号化データが相手側対話者３Ｂの端末装置１Ｂへ順次送信される（ステップＳＴ６０）。ところで、資料の画像圧縮データの伝送では、画面全体を送信しようとすると一度に連続送信するパケット数が著しく多くなってしまう。そこで、ＡＤＳＬなど、ネットワーク上のパケット受信状況をモニタし、状況に応じて一定の間隔を開けてパケット送信するなどの非連続型の送信制御が有効になる（例えば、１０パケット連続送信した後に２０ｍｓｅｃ間隔を開け、再度１０パケットを送信していく）。例えば、大きい資料であれば、この資料を一旦分割しこれら分割単位ごとに送信を行い、受信されたこれら分割単位を受信側で組み立てることになるが、これら分割単位の圧縮データの送信を、連続送信ではなく、一定の間隔を開けて送信していくのが好ましい。なお、上述の各ステップを経て送信されるデータは、端末装置１ＡにおけるＤ／Ｂ１３０にも順次格納される。このように逐次記録されたデータは当該双方向対話の記録データとなる。また、図５に示された画像伝送手順の中断又は中止は、対話者３Ａがマウス操作やキーボード入力することにより割り込み処理される。
【００４９】
一方、相手対話者３Ｂの端末装置では、図７に示されたように、まず、双方向対話の開始に先だって、端末装置１Ｂにおける表示画面８Ｂ上に相手対話者３Ｂにより表示ウィンド８０１Ｂが設定されており（ステップＳＴ１００）、端末装置１Ｂは、端末装置１Ａからの符号化データの受信待機状態となっている（ステップＳＴ１１０）。
【００５０】
端末装置１Ａからの符号化データが到達すると、端末装置１Ｂでは制御部により復号化が行われ（ステップＳＴ１２０）、該制御部１２０が表示ウィンド８０１Ｂの情報（例えば、表示ウィンド８０１Ｂのサイズ）に基づいて拡大／縮小処理により得られた描画データをVＲＡM１４１に書き込んでいく（ステップＳＴ１３０）。この図７に示された表示動作においても、その中断又は中止は、対話者３Ｂがマウス操作やキーボード入力することにより割り込み処理される。
【００５１】
この相手対話者３Ｂの端末装置１Ｂにおいて、以上のようにＶＲＡＭ１４１へ書き込まれた描画データが、描画部１４０により表示画面８Ｂ上に表示ウィンド８０１Ｂ内に表示される。
【００５２】
なお、上述の構成では、端末装置１Ｂ側で表示ウィンド８０１Ｂのサイズ設定は、相手対話者３Ｂにより行われるため、端末装置１Ａ側の対話者３Ａと端末装置１Ｂ側の対話者３Ｂが相似形のフレーム画像を見ているとは限らない。そこで、この発明は、両者の見ているフレーム画像が相似形になるように修正する機能や、両者の見ているフレーム画像の解像度を一致させる機能（ウィンドサイズ及びウィンド形状の修正機能）を備えてもよい。また、端末装置１Ａ、１Ｂ間で同じ解像度のフレーム画像を表示させる場合、端末装置１Ｂ側で設定されたウィンドサイズでは表示しきれない可能性もある。この場合、この発明は、端末装置１Ｂ側で送信されたフレーム画像と相似形である縮小フレーム画像を表示させる機能を備えてもよい。この際、端末装置１Ｂ側は、縮小表示されている旨を示すアラーム発生や縮小率（あるいは拡大率）を表示する機能を含んでもよい。
【図面の簡単な説明】
【００５３】
【図１】この発明に係る画像伝送方法が適用可能なネットワークシステムの概略構成を示す図である。
【図２】この発明に係る画像伝送方法を実行可能な端末装置の構成を示すブロック図である。
【図３】この発明に係る画像伝送方法を利用した双方向対話の実施形態を説明するための図である。
【図４】この発明に係る画像伝送方法を概念的に説明するための図である。
【図５】画像データの送信側端末における画像伝送手順（この発明に係る画像伝送方法）を説明するためのフローチャートである。
【図６】この発明に係る画像伝送方法における動き検知動作の一例を説明するための図である。
【図７】この発明に係る画像伝送方法により伝送された画像データの表示動作を説明するための図である。
【符号の説明】
【００５４】
１Ａ、１Ｂ…端末装置、２…ネットワーク、２ａ、２ｂ…ノード、８Ａ、８Ｂ…表示画面（モニタ画面）、１００Ａ、１００Ｂ…ＰＣ本体、２００Ａ、２００Ｂ…ディスプレイ、８０１Ａ…画像取込フレーム、８０１Ｂ…表示ウィンド。
【技術分野】
【０００１】
この発明は、通信ケーブルを介して直接接続されたりネットワークを介して接続された端末装置間での双方向対話の補助データとして利用される視覚データの加工技術等に関するものである
【背景技術】
【０００２】
近年、遠隔地の対話者間で互いに相手側対話者の映像を互いに視線一致した状態でモニタに表示しながらテレビ会議やカウンセリング等の親密な対話を実現する双方向対話型システムが提案されている。この視線一致技術には種々の技術が提案されており、相手側対話者像が表示されるモニタの所定位置にＣＣＤカメラのような撮像デバイスを配置することにより視線一致を実現している（特許文献１参照）。
【０００３】
一方、上述のような双方向対話型システムは、一対一対話において資料等の補助資料の利用には必ずしも適しているとは言えず、広範囲の分野での双方向対話の適用には至っていない。また、一対一対話では未だにＩＰ電話などによる双方向対話が主流であり、テキストなどの静止画像、動画像等の視覚データは共通の対話補助データとしての利用に留まっているのが現状である。
【特許文献１】特許第３０７４６７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
発明者らは、従来の双方向型対話システムについて検討した結果、以下のような課題を発見した。すなわち、パーソナルコンピュータ（ＰＣ）の普及により一般的な職場環境下では、各人の机上に1台以上のＰＣの設置が実現されているにも関わらず、現実には、電話による音声対話が中心であり、ＰＣを利用した画像伝送を併用した電話会議（ＩＰ電話など）の活用例は十分に普及しているとは言えない。
【０００５】
また、上述のような環境下において、対話者間で共通の資料を参照しながらの双方向対話が行われると、勢い双方向対話の効率が低下してしまう。これは、リアルタイムの双方向画像伝送ができないことに起因している。例えば、資料を事前に一方の対話者から相手対話者にメール送信することはできるが、実際の対話では、資料のどのページ、更にはどの位置を指摘しているのかを、対話者自身が口頭で相手対話者に伝える必要があり、双方向対話におけるこのネゴシエーションによる遅延は対話自体の効率性を著しく低下させてしまう。一方で、資料が送られてきた相手対話者は、誤り無くその指定された資料を開けなくてはならない。また、相手対話者がその資料を正しく開けたか否かも、実はメール送信者である対話者自身にも判らないという課題があった。
【０００６】
この発明は上述のような課題を解決するためになされたものであり、音声を中心とした双方向対話の他、音声データとともに対話者の顔画像を含む画像データの送受信も同時に行われるテレビ電話サービス、テレビ会議システム等の双方対話における補助情報として、静止画像や動画像などの画像データに代表される視覚データをより効果的に提供していくための画像伝送方法、該画像伝送方法を実行するためのコンピュータプログラム、及び該コンピュータプログラムが記録された記録媒体を提供することを目的としている。
【課題を解決するための手段】
【０００７】
この発明に係る画像伝送方法は、ＬＡＮケーブルなどの通信ケーブル、電話回線網やインターネットなどのネットワークなど所定の伝送手段を介して直接又は間接的に接続されることにより互いに対話可能な状態に設定された第１端末装置から第２端末装置に対して、該第１端末装置から該第１端末装置の表示画面の一部を選択的に送信する画像伝送方法に関する。これら第1及び第2端末装置間の接続形態としては、通信ケーブルを会して直接接続された１対１接続（Peer-to-peer接続）、サーバを介した１対1接続、サーバを介して第1端末装置と複数の第2端末装置が接続された１対多接続などがあり、当該画像伝送方法は、音声を中心とした双方向対話の他、音声データとともに対話者の顔画像を含む映像データの送受信も同時に行われるテレビ電話サービス、テレビ会議システム等の双方向対話における補助情報として、静止画像や動画像などの画像データに代表される資料データをより効果的に提供する。ここで、表示画面とは、各端末装置に備えられた表示装置のモニタ画面上の、該端末装置の利用者自身（端末装置を利用する対話者自身）が視覚的に認知している表示データ自体を意味する。また、表示画面の一部とは、このモニタ画面上に同時表示されているPowerPoint（マイクロソフト社の登録商標）、表計算ソフト（例えば“Excel”など）、ワープロソフト（例えば“Word”など）、ブラウザなどのアプリケーションソフトにより生成される資料データ（テキスト、写真、映像等）などで構成された、端末装置の利用者自身が視覚的に認知している表示データの一部を意味している。
【０００８】
この発明に係る画像伝送方法は、第１端末装置から第２端末装置への画像伝送において、まず第１端末装置の利用者自身が視覚的に認知している表示画面の一部を切り出すステップと、この切り出された表示画面の一部を第２端末装置に送信する伝送ステップとを備える。
【０００９】
上記切り出しステップでは、第１端末装置の利用者により表示画面上で設定された１又は複数の画像取込フレームの該表示画面上の相対位置をモニタしながら、該画像取込フレームで囲まれた該表示画面の一部であるフレーム画像を所定のタイミングごとに切り取っていく。また、伝送ステップでは、切り取られたフレーム画像を第２端末装置に送信する。なお、必ずしもフレーム画像の切り出しごとに送信しなくてもよい。
【００１０】
なお、フレーム画像が切り取られるタイミングは、１秒間に１回〜数回程度の一定時間ごととするタイミング、フレーム画像の変化が検知されるなど任意の条件を満たすタイミング、及び、ウィンドサイズを変更する場合など利用者自身のマウス操作やキー入力などによる制御信号の発生タイミングのいずれであってもよい。また、利用者自身によって送信指示（手動送信）されるタイミングであってもよい。特に、表示画面上に複数の画像取込フレームが設定された場合におけるフレーム画像の伝送では、伝送容量等のリソース性能を有効利用するため、予め決められた条件（例えば、画像取込フレーム内での表示変化の検出など）を満たすタイミングや利用者による制御信号の発生タイミングで切り取られたフレーム画像の伝送を行うのが好ましい。
【００１１】
上述のように、対話者像や音声の送受信を中心とした双方向対話において、端末装置の利用者である対話者同士が資料を単に共有するのではなく、対話者自身が相手対話者に注目させたい部位を視覚データとして効率的に伝送することができるため、綿密かつスムースな対話進行が可能になる。すなわち、上述のような構成により、対話者同士による資料共有化のためのネゴシエーションの、双方向対話全体に占める時間比率を著しく低減することが可能になる。また、対話者自身は、共有化された資料の特定部位だけに焦点を絞って相手対話者にプレゼンテーションできる点や、送信前に予め対話者自身が伝送すべき部分を確認できる点などからも、効率的な双方向対話が可能になる。
【００１２】
なお、上記画像取込フレームのサイズ及び表示画面上における設定位置については、第１端末装置の利用者自身が任意に設定可能である。ところが、この画像取込フレームが大きく設定されると、フレーム画像の圧縮などに処理負荷（時間及びリソース負荷）が大きくなるため、予め一定サイズ以上の画像取込フレームが設定された場合には、取込対象であるフレーム画像を複数の領域に分割し、これら分割された領域ごとに画像処理（画像伝送の前処理としての画像縮小や圧縮など）が行われるのが好ましい。この場合、ＪＰＥＧ２０００のタイリング技術が有効である。ＪＰＥＧ２０００では、分割された領域（タイル）それぞれが処理単位となるため、タイルごとに伝送の有無を決定したり、個別に圧縮率を設定することができ、より柔軟な画像処理が可能になる。
【００１３】
この発明に係る画像伝送方法では、表示画面上に設定された画像取込フレーム内における表示変化が検知されるごとに（動き検知）、該画像取込フレームで規定された表示画面の一部であるフレーム画像を第２端末装置へ送信するのが好ましい。
【００１４】
双方向対話中であれば、１秒間に１回〜数回程度のデータ送信を行うことにより、リアルタイムで指摘箇所のフレーム画像を送信することもできる。しかしながら、上述のようなアプリケーションソフトにより生成される表示データは、一旦画像取込フレームの位置が固定されると該画像取込フレームで規定されるフレーム画像の表示変化は生じ難い。このような状況でも一定時間ごとにフレーム画像を送信していたのでは通信リソースを有効利用しているとは言い難い。一方で、時間経過とともに部分的な変化（例えば、カーソルの移動や文字の追加表示など）も生じることから、画像取込フレーム内に表示変化が生じた時にフレーム画像を送信すれば、より通信リソースの有効利用が可能になる。なお、上述のように、１つのフレーム画像が複数の領域に分割される場合には、これら複数の領域のうち動き検知された領域のみを第２端末装置に送信すれることで、より効率的な画像伝送が可能になる。
【００１５】
ここで、この発明に係る画像伝送方法で取り扱われるフレーム画像は、静止画像や動画像が含まれる。動画像には、所定の撮像装置などにより取り込まれた対話者の顔画像などの映像データの他、上記アプリケーションソフトなどにより生成された表示データ、静止画像と映像の組み合わせなども含まれる。また、上記アプリケーションソフトなどにより生成されたデータファイルは、一旦画像データに変換された後に圧縮等の処理が施される。
【００１６】
上述の動き検知によって検知されるべきフレーム画像の表示変化は、第１端末装置の表示画面対話者自身が設定した画像取込フレームで規定されるフレーム画像自体の表示変化の他、表示画面内における画像取込フレームの設定変更にともなう表示変化も含まれる。この画像取込フレームの設定変更には、フレームサイズの変更やフレームの移動（カーソル等によって対話者自身がフレームを移動させる場合）が含まれる。
【００１７】
この発明に係る画像伝送方法において、第１及び第２端末装置間での総伝送量が一定又は所定値以下になるよう切り取られたフレーム画像の伝送品質や画像サイズは逐次変更されるのが好ましい。例えば、テレビ電話サービスやテレビ会議システムなどのように対話者の顔画像及び音声の各データの送受信が行われるシステムにおいては、これら顔画像及び音声も含んだデータ全体として伝送量が制御される。通常、端末装置における処理負荷（ＣＰＵ負荷）、伝送路容量等の画像処理、伝送能力はモニタ可能である。また、複数の画像取込フレームが設定された場合には、双方向対話中に複数のフレーム画像が並行して伝送されることになる。このような場合、或る画像伝送処理の伝送負荷だけが大きくなると他の画像伝送処理に影響を与えてしまう一方、他の画像伝送処理が行われていない場合にはより伝送負荷を大きくすることで通信リソースのより効率的な利用も可能になる。ここで、フレーム画像の伝送品質は、例えばフレーム画像の伝送レートを変更したり、該フレーム画像の圧縮率を変更することにより調整される。なお、フレーム画像が複数の領域に分割されている場合、ＪＰＥＧ２０００を利用することにより分割領域ごとに圧縮率の変更も可能である。
【００１８】
この発明に係る画像伝送方法は、第１及び第２端末装置の少なくともいずれかにおいて、切り取られたフレーム画像を、該フレーム画像が伝送されるごとに順次記録していくのが好ましい。このように逐次記録されたデータは当該双方向対話の記録データとなる。
【００１９】
なお、上述のような画像伝送方法は、コンピュータ等で実行されるプログラムであってもよく、この場合、当該プログラムは、有線、無線を問わずネットワークを介して配信されてもよく、また、ＣＤ、ＤＶＤ、フラッシュメモリ等の記録媒体に格納されていてもよい。
【発明の効果】
【００２０】
この発明によれば、双方向対話における補助情報として、静止画像や動画像などの画像データに代表される視覚データをより効果的に提供することが可能になり、綿密かつスムースな対話進行が可能になる。
【発明を実施するための最良の形態】
【００２１】
以下、この発明に係る画像伝送方法の各実施形態を、図１〜図７を用いて詳細に説明する。なお、図面の説明において、同一要素、同一部位には同一符号を付して重複する説明を省略する。
【００２２】
図１は、この発明に係る画像伝送方法が適用可能なネットワークシステムの概略構成を示す図である。なお、図１では、第１端末装置１Ａと第２端末装置１Ｂとがネットワーク２を介して接続されているが、ＬＡＮケーブルなどの通信ケーブルによりこれら端末装置１Ａ、１Ｂ間が直接接続されてもよい。また、インターネットと既存の電話回線など、複数種類のネットワークが併用されてもよい。これら端末装置１Ａ、１Bの接続形態としては、図１に示されたようなサーバを介した１対１接続の他、通信ケーブルを介して直接接続された１対１接続（peer-to-peer接続）や、サーバを介して１台の端末装置（例えば端末装置１Ａに相当）と複数台の端末装置（それぞれが端末装置１Ｂに相当）が接続された、講義形式が実現可能な１対多接続などがある。
【００２３】
この図１において、伝送手段としてのネットワーク２には、それぞれノード２ａ、２ｂを介して端末装置１Ａ、１Ｂが接続されており、これら端末装置１Ａ、１Ｂ間での双方向対話が可能になっている。例えば、端末装置１Ａは、一般的に、通信制御機能等、主要な情報処理機能を実行するＰＣ本体１００Ａと、表示装置２００Ａを備えている。同様に、端末装置１Ｂも、ＰＣ本体１００Ｂと、表示装置２００Ｂを備える。
【００２４】
この発明に係る画像伝送方法は、上述のような伝送手段（図１の場合、ネットワーク２）を介して直接又は間接的に接続されることにより互いに対話可能な状態に設定された端末装置１Ａから第２端末装置１Ｂに対して、該端末装置１Ａから該第１端末装置１Ａの表示画面の一部を選択的に端末装置１Ｂに送信する画像伝送方法である。
【００２５】
図２は、この発明に係る画像伝送方法を実行可能な端末装置の構成を示すブロック図である。この端末装置１Ａ（１Ｂ）は、モニタ等の表示装置２００Ａ（２００Ｂ）と、映像処理を行うＰＣ本体１００Ａ（１００Ｂ）と、外部記録装置７００と、マウス等のポインティングデバイス４００と、キーボード５００と、マイク６００と、スピーカー３００とを備える。なお、端末装置１Ｂについても同様の構造を有するため、以下、端末装置１Ａについてのみ説明する。
【００２６】
ＰＣ本体１００Ａは、ネットワーク２を介して相手対話者からの音声データや画像データ（符号化データ）の送受信を行うためのデータ入出力部１１０（図中、Ｉ／Ｏ）と、この発明に係る画像伝送方法を実行する制御部１２０と、送受信される画像データを格納しておくためのデータベース１３０（図中、Ｄ／Ｂ）と、表示装置２００Ａへ制御部１２０の指示に従って所定のパターンを表示させるための、ＶＲＡＭ１４１を有する描画部１４０と、マウス等のポインティングデバイス４００からの位置情報の取り込みや外部記録装置７００とのデータ授受を可能にするデータ入出力部１５０（図中、Ｉ／Ｏ）と、相手対話者の音声が出力されるスピーカー３００を制御するための音源コントローラ１６０とを備える。
【００２７】
なお、外部記録装置７００は、例えば磁気テープ、ＣＤ、光ディスク、ハードディスク、ＤＶＤ、フラッシュメモリ等を含み、この発明に係る画像伝送方法を実行するコンピュータプログラムや相手側対話者からの送信データなどが格納される。
【００２８】
この発明に係る画像伝送方法は、上述のような構造を有する端末装置１Ａが設置されたＡ地点と、端末装置１Ｂが設置されたＢ地点との間で実行される双方向対話に特に有効である。このような双方向対話の実施形態には、図３に示されたような種々の形態がある。
【００２９】
例えば、図３（ａ）に示された実施形態では、双方向対話としてＩＰ電話サービス（テレビ電話サービスやテレビ会議システムなど、対話者の顔画像とともに音声データの送受信を行う双方向対話であってもよい）などを提供しているネットワークをそのまま利用して視覚データを送信している。すなわち、Ａ地点に居る対話者３Ａの音声データがマイク６００Ａを介してＰＣ本体１００Ａに取り込まれ、このＰＣ本体１００Ａからネットワーク２を介してＢ地点に設置された端末装置１ＢのＰＣ本体１００Ｂに伝送される。ＰＣ本体１００Ｂに取り込まれた音声データはスピーカ３００Ｂから相手対話者３Ｂに出力される。逆に、Ｂ地点に居る対話者３Ｂの音声データはマイク６００Ｂを介してＰＣ本体１００Ｂに取り込まれ、このＰＣ本体１００Ｂからネットワーク２を介してＡ地点に設置された端末装置１ＡのＰＣ本体１００Ａに伝送される。ＰＣ本体１００Ａに取り込まれた音声データはスピーカ３００Ａから対話者３Ａに出力される。
【００３０】
このとき、対話者３Ａは、表示装置２００Ａの表示画面の一部を指定し、双方向対話の補助資料データとして画像データをネットワーク２を介してＢ地点の端末装置１Ｂに送信している。Ｂ地点の端末装置１Ｂでは、端末装置１Ａから送信されてきた画像データを表示装置２００Ｂの表示画面上に設定された表示ウィンド内に表示する。
【００３１】
なお、上述の図３（ａ）に示された実施形態では、音声データとともに対話補助データである画像データもネットワーク２を介して伝送される。しかしながら、現実の双方向対話では、上述のようなネットワークを介して音声データの送受信を行うＩＰ電話サービスの他、既存の電話回線網２０を利用した従来型の双方向対話も広く行われている。この場合、図３（ｂ）に示されたように、音声による双方向対話は既存の電話網を利用する一方、この双方向対話と並行してネットワーク２を介した視覚データの送受信を行うことも可能である。
【００３２】
この発明に係る画像伝送方法は、端末装置１Ａから端末装置１Ｂへの画像伝送において、まず端末装置１Ａの利用者自身が視覚的に認知している表示画面の一部を切り出すステップと、この切り出された表示画面の一部を端末装置１Ｂに送信する伝送ステップとを備える。
【００３３】
具体的には、図４（ａ）に示されたように、端末装置１Ａにおける表示装置２００Ａの表示画面８Ａ上にて対話者３Ａがカーソル８０Ａを利用して画像取込フレーム８０１Ａを設定する。一方、相手対話者３Ｂは、端末装置１Ｂにおける表示装置２００Ｂの表示画面８Ｂ上にて端末装置１Ａから送信されてくるフレーム画像（静止画像、動画像のいずれでもよい）を表示するウィンド８０１Ｂをカーソル８０Ｂの操作により設定する。
【００３４】
このとき、表示画面８Ａは、端末装置１Ａを利用している対話者３Ａ自身が視覚的に認知している表示データ自体を意味する。この表示画面８Ａ上には、PowerPoint（マイクロソフト社の登録商標）、表計算ソフト（例えば“Excel”など）、ワープロソフト（例えば“Word”など）、ブラウザなどのアプリケーションソフトにより生成される資料データ（テキスト、写真、映像等）などが同時表示されており、図４（ｂ）では、表示画面８Ａ上に資料の静止画像データ９Ａと、動画像データ９Ｂが同時表示されている。フレーム画像の切り出しステップでは、対話者３Ａにより画像取込フレーム８０１Ａが図４（ｂ）で示された位置に設置されたとすると、この画像取込フレーム８０１Ａで規定されるフレーム画像に対し、所定の画像処理（品質制御）が行われる。さらに、伝送ステップにおいて相手対話者３Ｂの端末装置１Ｂに切り取られたフレーム画像が送信されると、該端末装置１Ｂにおいて表示制御が行われる。具体的には、端末装置１Ｂにおいて、送信されたフレーム画像は、予め相手対話者３Ｂによって設定された表示ウィンド８０１Ｂ内に表示できるよう、復号化した後に拡大あるいは縮小などの処理を施して表示画面８Ｂ上の表示ウィンド８０１Ｂ内に表示される。
【００３５】
なお、画像取込フレーム８０１Ａのサイズ及び表示画面８Ａ上における設定位置については、上述のように端末装置１Ａを利用する対話者３Ａ自身が任意に設定する。ところが、この画像取込フレーム８０１Ａが大きく設定されると、フレーム画像の圧縮などに処理負荷（時間及びリソース負荷）が大きくなるため、予め一定サイズ以上の画像取込フレーム８０１Ａが設定された場合には、取込対象であるフレーム画像を複数の領域に分割し、これら分割された領域ごとに画像処理（画像伝送の前処理としての画像縮小や圧縮など）が行われるのが好ましい。この場合、ＪＰＥＧ２０００のタイリング技術が有効である。ＪＰＥＧ２０００では、分割された領域（タイル）それぞれが処理単位となるため、タイルごとに伝送の有無を決定したり、個別に圧縮率を設定することができ、より柔軟な画像処理が可能になる。
【００３６】
また、フレーム画像が切り取られるタイミングは、１秒間に数回程度の一定時間ごととするタイミング、フレーム画像の変化が検知されるなど任意の条件を満たすタイミング、及び、ウィンドサイズを変更するなど対話者３Ａ自身によるマウス４００Ａの操作やキーボード５００からの入力で発生する制御信号の発生タイミングのいずれであってもよい。さらには、対話者３Ａ自身によって送信指示（手動送信）されるタイミングであってもよい。表示画面８Ａ上に複数の画像取込フレーム８０１Ａが設定された場合におけるフレーム画像の伝送では、伝送容量等のリソース性能を有効利用するため、予め決められた条件（例えば、画像取込フレーム内での表示変化の検出など）を満たすタイミングや利用者３Ａによる制御信号の発生タイミングで切り取られたフレーム画像の伝送を行ってもよい。
【００３７】
特に、動き検知によって検知されるべきフレーム画像の表示変化は、端末装置１Ａの表示画面８Ａ上において対話者３Ａ自身が設定した画像取込フレーム８０１Ａで規定されるフレーム画像自体の表示変化の他、表示画面８Ａ内における画像取込フレーム８０１Ａの設定変更に伴う表示変化も含まれる。この画像取込フレーム８０１Ａの設定変更には、フレームサイズの変更やフレームの移動（カーソル等によって対話者自身がフレームを移動させる場合）が含まれる。図４（ｃ）及び４（ｄ）は、対話者３Ａ自身がカーソル８０Ａを操作することにより画像取込フレーム８０１Ａを移動させたときの状態を示す。
【００３８】
すなわち、図４（ｃ）に示されたように、対話者３Ａが表示画面８Ａ上における画像取込フレーム８０１Ａの位置を移動させることにより、端末装置１Ｂにおける表示画面８Ｂ上に設定された表示ウィンド８０１Ｂ内には、画像取込フレーム８０１Ａの移動に伴って逐次伝送されたフレーム画像が表示される（動き検知のタイミングに一致したタイミングで表示される）。さらに、図４（ｄ）に示されたように、対話者３Ａが表示画面８Ａ上における画像取込フレーム８０１Ａの位置を動画像９Ｂの表示位置まで移動させると、端末装置１Ｂにおける表示画面８Ｂ上に設定された表示ウィンド８０１Ｂ内には、画像取込フレーム８０１Ａ内に表示されている動画像９Ｂの一部が表示される。
【００３９】
このような双方向対話において、対話者３Ａ、３Ｂ同士が資料を単に共有するのではなく、対話者３Ａ自身が相手対話者３Ｂに注目させたい部位を視覚データとして効率的に伝送することができるため、綿密かつスムースな対話進行が可能になる。すなわち、上述のような構成により、対話者３Ａ、３Ｂ同士による資料共有化のためのネゴシエーションの、双方向対話全体に占める時間比率を著しく低減することが可能になる。また、対話者自身は、共有化された資料の特定部位だけに焦点を絞って相手対話者にプレゼンテーションできる点や、送信前に予め対話者自身が伝送すべき部分を確認できる点などからも、効率的な双方向対話が可能になる。
【００４０】
次に、この発明に係る画像伝送方法を、フレーム画像の送信を上述の動き検知タイミングで行う場合を例に説明する。図５は、画像データの送信側端末における画像伝送手順（この発明に係る画像伝送方法）を説明するためのフローチャートである。
【００４１】
まず、図４（ａ）に示されたように、端末装置１ａを利用する対話者３Ａ自身が表示画面８Ａ上に画像取込フレーム８０１Ａをカーソル操作により設定する（ステップＳＴ１０）。
【００４２】
画像取込フレーム８０１Ａが設定されると、このフレーム８０１Ａで規定されるフレーム画像が１秒間に数回のタイミングで取り込まれ（ステップＳＴ２０）、動き検知が行われる（ステップＳＴ３０）。なお、取り込まれるフレーム画像は、端末装置１Ａにおける描画部１４０のＶＲＡＭ１４１に格納されているビットマップデータである。
【００４３】
具体的に、この動き検知は、図６に示されたように行われる。双方向対話中であれば、１秒間に１回〜数回程度のデータ送信を行うことにより、リアルタイムで指摘箇所のフレーム画像を送信することもできる。しかしながら、上述のようなアプリケーションソフトにより生成される表示データは、一旦画像取込フレーム８０１Ａの位置が固定されると該画像取込フレーム８０１Ａで規定されるフレーム画像の表示変化は生じ難い。このような状況でも一定時間ごとにフレーム画像を送信していたのでは通信リソースを有効利用しているとは言い難い。一方で、時間経過とともに部分的な変化（例えば、カーソルの移動や文字の追加表示など）も生じることから、画像取込フレーム８０１Ａ内に表示変化が生じた時にフレーム画像を送信すれば、より通信リソースの有効利用が可能になる。なお、上述のように、１つのフレーム画像が複数の領域に分割される場合には、これら複数の画像ごとに動き検知を行い、動き検知された領域のみを第２端末装置に送信することで、より効率的な画像伝送が可能になる。すなわち、変化検出時のみ、変化領域のみの効率的な画像伝送が可能になる。
【００４４】
なお、図６（ａ）には、時間ｔ１、ｔ２（＝ｔ１＋Δｔ）でそれぞれ取り込まれた前フレーム画像ｔ１と、後フレーム画像ｔ２同士を比較する様子が示されている。具体的な比較では、前フレーム画像ｔ１内の予め指定された画素の輝度値ａ１、ａ２、ａ３、ａ４、ａ５、ａ６と、後フレーム画像ｔ２内の対応する画素の輝度値ｂ１、ｂ２、ｂ３、ｂ４、ｂ５、ｂ６を求め、これら対応する画素同士の差を合計することで動き量を算出する。すなわち、フレーム画像内の動き量は、以下の式で表される。
｜ａ１−ｂ１｜＋｜ａ２−ｂ２｜＋｜ａ３−ｂ３｜
＋｜ａ４−ｂ４｜＋｜ａ５−ｂ５｜＋｜ａ６−ｂ６｜
【００４５】
以上の式で算出された動き量が所定の閾値を超えている場合に、画像取込フレーム８０１Ａ内に表示変化が生じたと判断される。ここで、画像取込フレーム８０１Ａにより規定されるフレーム画像が複数の領域（ＪＰＥＧ２０００におけるタイルに相当）に分割されている場合、この動き検知は各タイルごとに行われ、また、輝度値を比較するための画素数は、タイルごとに異なっていてもよい。
【００４６】
図６（ｂ）は、上述の動き検知動作を含む符号化処理を概念的に示すブロック図である。この図６（ｂ）に示されたように、処理対象である後フレーム画像ｔ２について、比較対象である前フレーム画像ｔ１を利用した動き検知が行われ、この検知結果に基づいて、伝送ステップが行われる。この伝送ステップでは、送信されるフレーム画像が、通信リソースや通信環境を考慮して所定の圧縮率で符号化された後に送信される。
【００４７】
上述のステップＳＴ３０における動き検知によって画像取込フレーム８０１Ａ内での表示変化が検知された場合、さらに送信されるべきフレーム画像の伝送品質や画像サイズが決定される（ステップＳＴ４０）。このステップＳＴ４０における伝送品質は、通信状況等の環境条件によって決定される。すなわち、送信側である端末装置１Ａと受信側である端末装置１Ｂ間での総伝送量が一定又は一定値以下になるよう切り取られたフレーム画像の伝送品質や画像サイズは逐次変更される。例えば、テレビ電話サービスやテレビ会議システムなどのように対話者の顔画像及び音声の各データの送受信が行われるシステムにおいては、制御部１２０がこれら顔画像及び音声も含んだデータ全体として伝送量を制御する。通常、端末装置１Ａにおける処理負荷（ＣＰＵ負荷）、伝送路容量等の画像処理、伝送能力はモニタ可能である。また、端末装置１Ａの表示画面８Ａ上にて複数の画像取込フレーム８０１Ａが設定された場合には、双方向対話中に複数の画像データが並行して伝送される。このような場合、当該画像伝送方法による伝送負荷だけが大きくなると他の画像伝送に影響を与えてしまう一方、他の処理が行われていない場合にはより伝送負荷を大きくすることで通信リソースのより効率的な利用も可能になる。そこで、この発明に係る画像伝送方法では、フレーム画像ごとのの伝送レートの変更（例えば、資料用の視覚データが伝送されている１〜２秒程度の間、対話者の顔画像伝送が停止されたとしても対話への影響は大きくない）、該フレーム画像の圧縮率の変更、更には画像サイズの変更を行うことにより、伝送品質の調整が行われる。なお、フレーム画像が複数の領域に分割されている場合、ＪＰＥＧ２０００を利用することにより分割領域ごとに圧縮率の変更も可能である。
【００４８】
以上のように決定された伝送品質となるよう、切り取られたフレーム画像又は複数に分割された領域に対して符号化が行われ（ステップＳＴ５０）、この符号化データが相手側対話者３Ｂの端末装置１Ｂへ順次送信される（ステップＳＴ６０）。ところで、資料の画像圧縮データの伝送では、画面全体を送信しようとすると一度に連続送信するパケット数が著しく多くなってしまう。そこで、ＡＤＳＬなど、ネットワーク上のパケット受信状況をモニタし、状況に応じて一定の間隔を開けてパケット送信するなどの非連続型の送信制御が有効になる（例えば、１０パケット連続送信した後に２０ｍｓｅｃ間隔を開け、再度１０パケットを送信していく）。例えば、大きい資料であれば、この資料を一旦分割しこれら分割単位ごとに送信を行い、受信されたこれら分割単位を受信側で組み立てることになるが、これら分割単位の圧縮データの送信を、連続送信ではなく、一定の間隔を開けて送信していくのが好ましい。なお、上述の各ステップを経て送信されるデータは、端末装置１ＡにおけるＤ／Ｂ１３０にも順次格納される。このように逐次記録されたデータは当該双方向対話の記録データとなる。また、図５に示された画像伝送手順の中断又は中止は、対話者３Ａがマウス操作やキーボード入力することにより割り込み処理される。
【００４９】
一方、相手対話者３Ｂの端末装置では、図７に示されたように、まず、双方向対話の開始に先だって、端末装置１Ｂにおける表示画面８Ｂ上に相手対話者３Ｂにより表示ウィンド８０１Ｂが設定されており（ステップＳＴ１００）、端末装置１Ｂは、端末装置１Ａからの符号化データの受信待機状態となっている（ステップＳＴ１１０）。
【００５０】
端末装置１Ａからの符号化データが到達すると、端末装置１Ｂでは制御部により復号化が行われ（ステップＳＴ１２０）、該制御部１２０が表示ウィンド８０１Ｂの情報（例えば、表示ウィンド８０１Ｂのサイズ）に基づいて拡大／縮小処理により得られた描画データをVＲＡM１４１に書き込んでいく（ステップＳＴ１３０）。この図７に示された表示動作においても、その中断又は中止は、対話者３Ｂがマウス操作やキーボード入力することにより割り込み処理される。
【００５１】
この相手対話者３Ｂの端末装置１Ｂにおいて、以上のようにＶＲＡＭ１４１へ書き込まれた描画データが、描画部１４０により表示画面８Ｂ上に表示ウィンド８０１Ｂ内に表示される。
【００５２】
なお、上述の構成では、端末装置１Ｂ側で表示ウィンド８０１Ｂのサイズ設定は、相手対話者３Ｂにより行われるため、端末装置１Ａ側の対話者３Ａと端末装置１Ｂ側の対話者３Ｂが相似形のフレーム画像を見ているとは限らない。そこで、この発明は、両者の見ているフレーム画像が相似形になるように修正する機能や、両者の見ているフレーム画像の解像度を一致させる機能（ウィンドサイズ及びウィンド形状の修正機能）を備えてもよい。また、端末装置１Ａ、１Ｂ間で同じ解像度のフレーム画像を表示させる場合、端末装置１Ｂ側で設定されたウィンドサイズでは表示しきれない可能性もある。この場合、この発明は、端末装置１Ｂ側で送信されたフレーム画像と相似形である縮小フレーム画像を表示させる機能を備えてもよい。この際、端末装置１Ｂ側は、縮小表示されている旨を示すアラーム発生や縮小率（あるいは拡大率）を表示する機能を含んでもよい。
【図面の簡単な説明】
【００５３】
【図１】この発明に係る画像伝送方法が適用可能なネットワークシステムの概略構成を示す図である。
【図２】この発明に係る画像伝送方法を実行可能な端末装置の構成を示すブロック図である。
【図３】この発明に係る画像伝送方法を利用した双方向対話の実施形態を説明するための図である。
【図４】この発明に係る画像伝送方法を概念的に説明するための図である。
【図５】画像データの送信側端末における画像伝送手順（この発明に係る画像伝送方法）を説明するためのフローチャートである。
【図６】この発明に係る画像伝送方法における動き検知動作の一例を説明するための図である。
【図７】この発明に係る画像伝送方法により伝送された画像データの表示動作を説明するための図である。
【符号の説明】
【００５４】
１Ａ、１Ｂ…端末装置、２…ネットワーク、２ａ、２ｂ…ノード、８Ａ、８Ｂ…表示画面（モニタ画面）、１００Ａ、１００Ｂ…ＰＣ本体、２００Ａ、２００Ｂ…ディスプレイ、８０１Ａ…画像取込フレーム、８０１Ｂ…表示ウィンド。
【特許請求の範囲】
【請求項１】
所定の伝送手段を介して互いに対話可能な状態に設定された第１端末装置から第２端末装置に対して、該第１端末装置から該第１端末装置の表示画面の一部を選択的に送信する画像伝送方法であって、
前記第１端末装置において、該第１端末装置の利用者により表示画面上で設定された１又は複数の画像取込フレームの該表示画面上の相対位置をモニタしながら、該画像取込フレームで囲まれた該表示画面の一部であるフレーム画像を所定のタイミングごとに切り取り、
切り取られた前記フレーム画像を前記第２端末装置に送信する画像伝送方法。
【請求項２】
前記画像取込フレームで規定されるフレーム画像は、それぞれが処理単位となる複数の領域に分割されることを特徴とする請求項１記載の画像伝送方法。
【請求項３】
前記表示画面上に設定された画像取込フレーム内における表示変化が検知されるごとに、該画像取込フレームで規定された前記表示画面の一部であるフレーム画像を前記第２端末装置へ送信することを特長とする請求項１又は２記載の画像伝送方法。
【請求項４】
分割された前記複数の領域のうち表示変化が検知された領域を前記第２端末装置へ送信することを特長とする請求項２記載の画像伝送方法。
【請求項５】
前記画像取込フレーム内における表示変化には、前記表示画面内における前記画像取込フレームの設定変更にともなう表示変化が含まれることを特徴とする請求項３又は４記載の画像伝送方法。
【請求項６】
前記第１及び第２端末装置間での総伝送量が一定又は所定値以下になるよう切り取られた前記フレーム画像全体又は分割された領域ごとに伝送品質又は画像サイズを逐次変更することを特徴とする請求項１〜５のいずれか一項記載の画像伝送方法。
【請求項７】
前記第１及び第２端末装置の少なくともいずれかにおいて、切り取られた前記フレーム画像を、該フレーム画像が伝送されるごとに順次記録していくことを特徴とする請求項１〜６のいずれか一項記載の画像伝送方法。
【請求項８】
コンピュータにより請求項１〜７のいずれか一項記載の画像伝送方法を実行するコンピュータプログラム。
【請求項９】
コンピュータにより請求項１〜７のいずれか一項記載の画像伝送方法を実行するコンピュータプログラムが記録された記録媒体。
【請求項１】
所定の伝送手段を介して互いに対話可能な状態に設定された第１端末装置から第２端末装置に対して、該第１端末装置から該第１端末装置の表示画面の一部を選択的に送信する画像伝送方法であって、
前記第１端末装置において、該第１端末装置の利用者により表示画面上で設定された１又は複数の画像取込フレームの該表示画面上の相対位置をモニタしながら、該画像取込フレームで囲まれた該表示画面の一部であるフレーム画像を所定のタイミングごとに切り取り、
切り取られた前記フレーム画像を前記第２端末装置に送信する画像伝送方法。
【請求項２】
前記画像取込フレームで規定されるフレーム画像は、それぞれが処理単位となる複数の領域に分割されることを特徴とする請求項１記載の画像伝送方法。
【請求項３】
前記表示画面上に設定された画像取込フレーム内における表示変化が検知されるごとに、該画像取込フレームで規定された前記表示画面の一部であるフレーム画像を前記第２端末装置へ送信することを特長とする請求項１又は２記載の画像伝送方法。
【請求項４】
分割された前記複数の領域のうち表示変化が検知された領域を前記第２端末装置へ送信することを特長とする請求項２記載の画像伝送方法。
【請求項５】
前記画像取込フレーム内における表示変化には、前記表示画面内における前記画像取込フレームの設定変更にともなう表示変化が含まれることを特徴とする請求項３又は４記載の画像伝送方法。
【請求項６】
前記第１及び第２端末装置間での総伝送量が一定又は所定値以下になるよう切り取られた前記フレーム画像全体又は分割された領域ごとに伝送品質又は画像サイズを逐次変更することを特徴とする請求項１〜５のいずれか一項記載の画像伝送方法。
【請求項７】
前記第１及び第２端末装置の少なくともいずれかにおいて、切り取られた前記フレーム画像を、該フレーム画像が伝送されるごとに順次記録していくことを特徴とする請求項１〜６のいずれか一項記載の画像伝送方法。
【請求項８】
コンピュータにより請求項１〜７のいずれか一項記載の画像伝送方法を実行するコンピュータプログラム。
【請求項９】
コンピュータにより請求項１〜７のいずれか一項記載の画像伝送方法を実行するコンピュータプログラムが記録された記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００７−１３８０１（Ｐ２００７−１３８０１Ａ）
【公開日】平成１９年１月１８日（２００７．１．１８）
【国際特許分類】
【出願番号】特願２００５−１９４２３６（Ｐ２００５−１９４２３６）
【出願日】平成１７年７月１日（２００５．７．１）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【出願人】（３０５０２７４０１）公立大学法人首都大学東京 (385)
【Ｆターム（参考）】
【公開日】平成１９年１月１８日（２００７．１．１８）
【国際特許分類】
【出願日】平成１７年７月１日（２００５．７．１）
【出願人】（０００００２１３０）住友電気工業株式会社 (12,747)
【出願人】（３０５０２７４０１）公立大学法人首都大学東京 (385)
【Ｆターム（参考）】
[ Back to top ]