説明

画面共有処理装置、画面共有方法及びコンピュータプログラム

【課題】画面を共有する際に要求される即時性と共有画面の品質とを両立する。
【解決手段】発表者側PC110の制御部111は、画面共有処理を実行する。当該処理においては、発表者側表示装置120の表示画面121において画面更新が継続してなされているか否かが判別される。画面更新が継続している期間中は、発表者側表示装置120の表示画面121に表示されたオリジナル画像ORGよりも解像度の低い高速表示用画像HSに対応した高速表示用データPIChsが生成され、参加者側PC210に送信されることによって、参加者側表示装置220に高速表示用画像HSが表示される。一方、表示画面121が安定した旨が判別された場合、高画質表示用データPIChcが生成及び送信されることによって、高速表示用画像HSに替わってオリジナル画像ORGと同等の画質を備えた高画質表示用画像HCが表示される。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、例えば複数の拠点で表示画面を共有する場合等に適用可能な画面共有処理装置、画面共有方法及びコンピュータプログラムの技術分野に関する。
【背景技術】
【0002】
画像の伝送を伴う点でこの種の技術分野と関係するものとして、カーナビゲーションシステムおいて画像を適切に伝送するものが提案されている(例えば、特許文献1参照)。特許文献1に開示された画像データ供給装置(以下、「従来の技術」と称する)によれば、視聴者の視覚特性を考慮した場合の優先すべき点が異なることに着目し、スクロール再生時にはフレーム内圧縮により、また非スクロール再生時にはフレーム間圧縮により夫々伝送データ量を低減することによって、所定の通信帯域内での適切な伝送を行うことが可能であるとされている。
【0003】
【特許文献1】特開2000−232645号公報
【発明の開示】
【発明が解決しようとする課題】
【0004】
画面を共有したデータ会議等においては、共有される画面が、例えば上述したナビゲーション用の地図画像に対応する画面の如く予め定まっておらず多岐にわたる。従って、共有される画面に対しユーザ側でなされる行為も多岐にわたり、単にスクロールに限定されない各種の画面更新が定期又は不定期の別を問わず行われ得る。従って、スクロール再生に特化した従来の技術では、画像の圧縮が必ずしも適切に行われず、伝送帯域の不足による表示レスポンスの遅延が顕在化しかねない。
【0005】
一方で、例えばネットワークを介し、例えば遠隔地等に設置された表示装置や制御機器をリモートコントロール(遠隔操作)して例えばデータ会議等を行うに際し、ネットワークの伝送帯域が不足している場合、スクロール画像であれ非スクロール画像であれ何らかの圧縮を行う旨の従来の技術を適用して通信速度の確保を図ることも考えられるが、この場合、共有される画面の品質は、共有元の画面に対し低下したままとなるから、共有される画面の品質低下が顕在化しかねない。
【0006】
即ち、従来の技術では、画面を共有する際に要求される即時性と共有すべき画面の品質とを両立することが困難であるという技術的な問題点がある。
【0007】
本発明は、上述した問題点に鑑みてなされたものであり、画面を共有する際に要求される即時性と共有される画面の品質とを両立し得る画面共有処理装置、画面共有方法及びコンピュータプログラムを提供することを課題とする。
【課題を解決するための手段】
【0008】
上述した課題を解決するため、請求項1の画面共有処理装置は、ネットワークを介して順次供給される画像データに基づいて第1表示手段に順次画像を表示させることが可能な端末装置と共に前記ネットワークに収容され、前記第1表示手段、前記端末装置及び第2表示手段と共に画面共有システムを構成可能な画面共有処理装置であって、所定の入力に応じて共有対象となる共有対象画像が表示されるように前記第2表示手段を制御する表示制御手段と、前記共有対象画像を複数の仮想セルに分割する分割手段と、前記分割された複数の仮想セルの各々について更新されたか否かを判別する判別手段と、前記各々について、連続して更新されていない回数又は時間を特定する特定手段と、前記表示された共有対象画像に対応する共有画像を前記第1表示手段に表示させるための、データサイズの異なる複数の共有画像データとして、前記各々について、第1共有画像データ及び該第1共有画像データと較べて前記データサイズが小さい第2共有画像データを生成する生成手段と、前記端末装置に対し前記ネットワークを介して(1)前記各々について前記画像データとして前記第2共有画像データを前記第1共有画像データに先んじて供給し、(2)前記各々のうち更新されたと判別された仮想セルについて前記画像データとして前記第2共有画像データを供給すると共に、(3)前記各々のうち、更新されていないと判別され、且つ前記特定された回数又は時間が所定値に達した仮想セルについて前記画像データとして前記第1共有画像データを供給する供給手段とを具備することを特徴とする。
【0009】
上述した課題を解決するため、請求項5の画面共有方法は、ネットワークを介して順次供給される画像データに基づいて第1表示手段に順次画像を表示させることが可能な端末装置と共に前記ネットワークに収容され、前記第1表示手段、前記端末装置及び第2表示手段と共に画面共有システムを構成可能な画面共有処理装置における画面共有方法であって、所定の入力に応じて共有対象となる共有対象画像が表示されるように前記第2表示手段を制御する表示制御工程と、前記共有対象画像を複数の仮想セルに分割する分割工程と、前記分割された複数の仮想セルの各々について更新されたか否かを判別する判別工程と、前記各々について、連続して更新されていない回数又は時間を特定する特定工程と、前記表示された共有対象画像に対応する共有画像を前記第1表示手段に表示させるための、データサイズの異なる複数の共有画像データとして、前記各々について、第1共有画像データ及び該第1共有画像データと較べて前記データサイズが小さい第2共有画像データを生成する生成工程と、前記端末装置に対し前記ネットワークを介して前記各々について前記画像データとして前記第2共有画像データを前記第1共有画像データに先んじて供給する第1供給工程と、前記端末装置に対し前記ネットワークを介して前記各々のうち更新されたと判別された仮想セルについて前記画像データとして前記第2共有画像データを供給する第2供給工程と、前記端末装置に対し前記ネットワークを介して、前記各々のうち、更新されていないと判別され、且つ前記特定された回数又は時間が所定値に達した仮想セルについて前記画像データとして前記第1共有画像データを供給する第3供給工程とを具備することを特徴とする。
【0010】
上述した課題を解決するため、請求項6に記載のコンピュータプログラムは、コンピュータシステムを請求項1から4のいずれか一項に記載の画面共有処理装置として機能させることを特徴とする。
【図面の簡単な説明】
【0011】
【図1】本発明の第1実施例に係る画面共有システムの構成を概念的に表してなる概略構成図である。
【図2】図1の画面共有システムにおける発表者側PCの構成を概念的に表してなるブロック図である。
【図3】図1の画面共有システムにおける参加者側PCの構成を概念的に表してなるブロック図である。
【図4】制御部により実行される画面共有処理のフローチャートである。
【図5】拠点間における画面共有に係るタイミングチャートである。
【図6】本発明の第2実施例に係る画面共有処理のフローチャートである。
【図7】第2実施例に係る高画質表示スレッドのフローチャートである。
【図8】本発明の第3実施例に係る画面共有処理のフローチャートである。
【図9】第3実施例に係る高画質表示スレッドのフローチャートである。
【図10】本発明の第4実施例に係る画面共有処理のフローチャートである。
【図11】第4実施例に係るオリジナル画像の模式図である。
【図12】図10の画面共有処理において実行されるセル属性設定処理のフローチャートである。
【図13】図10の画面共有処理において実行される画像データ処理のフローチャートである。
【発明を実施するための形態】
【0012】
<画面共有処理装置の実施形態>
本発明の画面共有処理装置に係る実施形態は、ネットワークを介して順次供給される画像データに基づいて第1表示手段に順次画像を表示させることが可能な端末装置と共に前記ネットワークに収容され、前記第1表示手段、前記端末装置及び第2表示手段と共に画面共有システムを構成可能な画面共有処理装置であって、所定の入力に応じて共有対象となる共有対象画像が表示されるように前記第2表示手段を制御する表示制御手段と、前記共有対象画像を複数の仮想セルに分割する分割手段と、前記分割された複数の仮想セルの各々について更新されたか否かを判別する判別手段と、前記各々について、連続して更新されていない回数又は時間を特定する特定手段と、前記表示された共有対象画像に対応する共有画像を前記第1表示手段に表示させるための、データサイズの異なる複数の共有画像データとして、前記各々について、第1共有画像データ及び該第1共有画像データと較べて前記データサイズが小さい第2共有画像データを生成する生成手段と、前記端末装置に対し前記ネットワークを介して(1)前記各々について前記画像データとして前記第2共有画像データを前記第1共有画像データに先んじて供給し、(2)前記各々のうち更新されたと判別された仮想セルについて前記画像データとして前記第2共有画像データを供給すると共に、(3)前記各々のうち、更新されていないと判別され、且つ前記特定された回数又は時間が所定値に達した仮想セルについて前記画像データとして前記第1共有画像データを供給する供給手段とを具備する。
【0013】
本実施形態における「ネットワーク」とは、WAN(Wide Area Network)網又はLAN(Local Area Network)網等の比較的限定された通信網を含み、更にはこれらWAN網又はLAN網を介して、或いは電話回線、ADSL(Asymmetric Digital Subscriber Line)又は光ファイバーケーブル等を介して適宜に接続されるインターネット等の広域通信網を包括する概念である。尚、ネットワークに収容された、端末装置及び画面共有処理装置相互間における各種情報、データ、又はデータファイル等の授受形態は、例えば何らかのサーバ装置を介したものであってもよいし、例えばP2P(Peer To Peer)等サーバ装置を介さないものであってもよい。尚、端末装置及び画面共有処理装置は、ハードウェア構成に関して言えば相互に同等であってもよく、例えばいずれもパーソナルコンピュータやワークステーション等の各種コンピュータシステムとして構築されていてもよい。
【0014】
本実施形態に係る画面共有処理装置は、端末装置並びに第1及び第2表示手段と共に、画面共有システムを構築しており、第1表示手段は、端末装置と一体に構成されるにせよ別体に構成されるにせよ、好適な一形態として、この画面共有システムを利用してなされる各種イベントの一拠点に設置される。同様に、第2表示手段は、画面共有処理装置と一体に構成されるにせよ別体に構成されるにせよ、好適な一形態として、この画面共有システムを利用してなされる各種イベントの他の拠点に設置される。
【0015】
補足すると、ここで述べられる「画面共有システム」とは、複数の拠点間で異なる表示手段を介して表示画面を視覚的に共有しつつ進行させることが可能な各種のイベント、例えば、各種会議、打ち合わせ、講義、講演、討論、会合、発表会或いはプレゼンテーション等における画面共有に適用可能なシステムを包括するものである。
【0016】
この際、複数の拠点における表示手段の制御態様は、各種態様を採ることが可能であり、例えば、一の拠点における制御装置等から、他の拠点における表示手段又は当該表示手段を制御可能な各種制御装置等に対し、ネットワークを介して適宜画面表示制御用のコマンドや制御信号を供給すること等によって、一の拠点から他の拠点の表示手段をリモートコントロール(遠隔制御)してもよいし、一の拠点と他の拠点との間で、各々表示手段を制御可能なコンピュータシステム等を介して共通のアプリケーションを起動し、例えば共有すべき画面(或いは、画面に関する画像データ)の送り手側と受け手側とを適宜設定して、当該送り手側から適宜共有すべき画面或いは画像データを供給することにより、アプリケーションプログラムの機能の少なくとも一部として、この種の画面共有を実現してもよい。
【0017】
また、「拠点」とは、好適な一形態として、これら各種イベントの参加者又は参加グループの居る位置又は場所等を指し、拠点各々は、好適な一形態として、例えば画面共有を必要とする程度に相互に離間した遠隔地同士であってもよいし、近接地同士であってもよい。
【0018】
本実施形態によれば、その動作時には、例えばCPU(Central Processing Unit)若しくはMPU(Micro Processing Unit)等の各種処理ユニット、各種プロセッサ、コントローラ又は各種機能モジュール等の各種形態を採り得る、或いはそれらとは全く異なる物理的、機械的、機構的又は電気的構成を採り得る表示制御手段により、所定の入力に応じて共有対象画像が表示されるように第2表示手段が制御される。
【0019】
本実施形態における「所定の入力」とは、例えば画面共有処理装置の所有者又は使用者等が、或いは端末装置の所有者又は使用者等が、例えばマウス、キーボード、タッチペン、トラックボール、タッチパッド、スクロールボタン又はタッチパネル装置等の形態を採り得る各種入力手段等を介して行う各種入力操作及びそれらに伴い生成又は供給される各種駆動信号、制御信号又は制御情報等を包括する広い概念である。従って、所定の入力に係る個別具体的な態様は、本実施形態の本質部分とは無関係であり、例えば、所定の入力とは、画面共有を行うための然るべきアプリケーションソフトウェアの起動、当該起動に引き続く各種設定、選択、指示、指定或いはコマンド送信等を適宜に含んでもよい。
【0020】
この種の入力に応じて第2表示手段には共有対象画像が表示される。共有対象画像とは、複数拠点間で共有されるべき画像(即ち、共有すべき画面を構成する画像)であり、且つ基準となる表示品質を有する画像である。共有対象画像は、第2表示手段の表示画面全体を表す画像であってもよいし、その一部を表す画像であってもよく、その場合、例えば表示画面上に展開される各種ウィンドウ、或いは各種アイコン又は各種文字情報等各種の画像を含むものであってもよい。
【0021】
ここで、本実施形態に係る画面共有処理装置により複数拠点間での共有が図られる共有対象は、あくまで画面のイメージであるから、共有対象画像が各種アプリケーションソフトウェア上でデータファイルを展開することにより得られる性質のものであるにせよ、端末装置に対してこの種の比較的データサイズの小さいデータファイルが供給されることはなく、共有対象画像に対応する画像を第1表示手段に表示させることにより端末装置側の拠点と表示画面の共有を行おうと試みる場合、ネットワークを介して、この共有対象画像に対応する画像データを供給(即ち、送信或いは伝送と表現されてもよい)する必要がある。
【0022】
この際、端末装置では、ネットワークを介して順次供給される画像データに基づいて第1表示手段に順次画像を表示させることが可能であるから、第1表示手段には、理想的には、共有対象画像に対応する共有画像(解像度及び色設定等各種の画質制御態様に応じて、その画質は必ずしも共有対象画像と一致せずともよい)が順次表示され得る。
【0023】
ところが、画像データの供給に供されるネットワークの容量(例えば、伝送帯域幅或いはデータ伝送速度等)は、インフラの整備の度合いに応じて、各種の態様が存在しており、例えば画像データの供給に供される伝送帯域の帯域幅が相対的に広いといった意味での広帯域ネットワークと、当該帯域幅が相対的に狭いといった意味での狭帯域ネットワークとでは、同一の画像データの供給完了までに要する伝送時間が変化するのは自明であり、何らの対策も講じられることがなければ、ネットワークの容量に応じて、画面共有によって得られる効果に多大な差が生じ得る。
【0024】
例えば、画面共有処理装置を、拠点相互間で共有画像の表示タイミングに時系列上の整合性、言い換えれば即時性(追従性)が要求される場面に適用しようとした場合、端末装置側の拠点における共有画像の表示が遅延することによって、上述した各種イベントの円滑な進行が著しく妨げられかねない。一方で、上述した各種イベントには、共有画像の表示品質が重要視されるものもあり(例えば、デザイン性が重要となる各種新製品に関する会議やプレゼンテーション等)、上述した不具合を回避するために、伝送すべきデータのデータサイズを著しく減じれば、端末装置側の拠点における共有画像の表示品質が著しく低下して、画面共有下でなすべき会議やプレゼンテーションの意義自体が損なわれかねない。
【0025】
そこで、本実施形態に係る画面共有処理装置によれば、以下の如くにして画面を共有する際に要求される即時性と共有される画面の品質との両立が図られる。即ち、本実施形態に係る画面共有処理装置によれば、その動作時には、例えばCPU若しくはMPU等の各種処理ユニット、各種プロセッサ、コントローラ又は各種機能モジュール等の各種形態を採り得る、或いはそれらとは全く異なる物理的、機械的、機構的又は電気的構成を採り得る生成手段により、共有対象画像に対応する共有画像を第1表示手段に表示させるための複数の共有画像データが生成される。
【0026】
ここで、生成手段は、これら複数の共有画像データとして、第1共有画像データと、第1共有画像データよりもデータサイズが小さい(即ち、好適な一形態としては何らかの形で圧縮等のデータ量低減処理が施された)第2共有画像データを生成する。即ち、第1共有画像データのデータサイズが相対的に大、第2共有画像データのデータサイズが相対的に小である。この際、これら複数の共有画像データのうちデータサイズが最大なるものが、共有対象画像そのものに対応する(即ち、第2表示手段の表示画面と第1表示手段の表示画面とを整合させる旨に相当する)必要はなく、共有対象画像よりも高品質(例えば、高解像度)な画像に対応していてもよいし、共有対象画像よりも低品質(例えば、低解像度)な画像に対応していてもよい。また、生成される共有対象画像データの数量は、必ずしも二個に限定されない。
【0027】
尚、第2共有画像データの生成態様は、第1共有画像データよりもデータサイズが小さい限りにおいて如何様にも限定されず、例えば、JPEG或いはMPEG等の各種非可逆的なデータ圧縮手法が採用されてもよいし、例えば減色処理等を施すことによりデータサイズの縮減が図られてもよい。尚、好適な一形態としては、これら二種類の共有画像データが生成されれば十分であるが、生成手段は、必ずしもこれら二種類の共有画像データのみを生成せずともよい。
【0028】
生成手段により複数の共有画像データが生成されると、例えばCPU若しくはMPU等の各種処理ユニット、各種プロセッサ、コントローラ又は各種機能モジュール等の各種形態を採り得る、或いはそれらとは全く異なる物理的、機械的、機構的又は電気的構成を採り得る供給手段により、これら生成された共有画像データが、ネットワークを介して端末装置に供給される。この際、供給手段は、当該データサイズの小さい順に共有画像データを供給する。即ち、第2共有画像データが第1共有画像データに先んじて供給される。従って、端末装置においては、相対的にデータサイズの大きい第1共有画像データに先んじて、相対的にデータサイズの小さい第2共有画像データが取得される。
【0029】
端末装置では、先に述べたように、ネットワークを介して順次供給される画像データ(即ち、共有画像データがこれに該当する)に基づいて第1表示手段に順次画像を表示させることが可能であり、結果的に、第1表示手段には、少なくとも初期段階として相対的に低品質の共有画像が表示されることとなる。
【0030】
この際、この低品質な共有画像に対応する第2共有画像データは、データサイズが相対的に小さいから、画面共有処理装置が共有対象画像を共有すべく共有画像データの供給を開始してから実際にこの相対的にみて低品質の共有画像が第1表示手段に表示されるまでに生じる時間遅延は可及的に最小化され、表示レスポンスの向上が図られる。
【0031】
一方、本発明に係る画面共有処理装置によれば、このような低品質の共有画像に対応する第2共有画像データの供給に追従する形で、高品質の共有画像(例えば、共有対象画像と同品質の表示画面を構成し得る画像)に対応する第1共有画像データの供給がなされる。従って、当該データはネットワーク容量及び共有画像データの絶対的なデータサイズに応じた時間遅延を経るにせよ、いずれは端末装置に取得される。即ち、この高品質の共有画像に対応する第1共有画像データの取得が完了した段階で、或いは取得が進行する過程で随時、第1表示手段の表示画面には、この高品質な共有画像が順次表示されることとなる。
【0032】
このように、本実施形態に係る画面共有処理装置によれば、データサイズの異なる複数の共有画像データが生成され、データサイズの小さい順に供給されることによって、第1表示手段における共有画像の表示に係る即時性(追従性)が担保されると共に、定常的には、第1表示手段にデータサイズの大きい共有画像データに基づいた高品質の共有画像を表示させることができるため、即時性の担保に際し共有画像の表示品質が阻害されることがない。即ち、画面を共有する際に要求される即時性と共有される画面の品質とを両立することが可能となるのである。
【0033】
ここで特に、本発明に係る画面共有処理装置によれば、例えばCPU若しくはMPU等の各種処理ユニット、各種プロセッサ、コントローラ又は各種機能モジュール等の各種形態を採り得る、或いはそれらとは全く異なる物理的、機械的、機構的又は電気的構成を採り得る分割手段により共有対象画像が複数の仮想セルに分割される。
【0034】
また、例えばCPU若しくはMPU等の各種処理ユニット、各種プロセッサ、コントローラ又は各種機能モジュール等の各種形態を採り得る、或いはそれらとは全く異なる物理的、機械的、機構的又は電気的構成を採り得る判別手段により、この複数の仮想セルの各々について、更新されているか否かが判別される。
【0035】
仮想セルの各々が更新されているか否かは、例えば何らかの指標値と判断基準値との比較等に基づいて判別されてもよいし、その都度予め実験的に、経験的に、理論的に又はシミュレーション等に基づいて表示品質よりも共有対象画像に対する整合性が要求されている旨を実践上不足無く推定し得るように設定されてなる各種のアルゴリズムに従って個別具体的に判別されてもよい。
【0036】
そして、供給手段は、上述した第1共有画像データに先んじた第2共有画像データの供給に加えて、更新されたと判別された仮想セルについてはデータサイズの小さい第2共有画像データを、また更新されていない回数又は時間が所定値に達した仮想セルについては相対的に高品質な共有画像に対応する第1共有画像データを供給する構成となっている。
【0037】
従って、例えば、マウスカーソルが点滅している、或いはタスクバーの時計アイコンに相当する部分のみが動いている等、共有対象画像の一部が更新されているに過ぎない状況において、第1表示手段に表示される共有画像全体が第2共有画像データに基づいた低画質画像となることを回避しつつ、継続的に更新されている仮想セルについては、第2共有画像データに基づいた高速表示が可能となるため実践上極めて有益である。
【0038】
尚、別の観点から言えば、本発明に係る画面共有処理装置によれば、仮想セルが継続して更新されている場合には、第1共有画像データの供給が禁止される。このため、共有画像の画質の低下を実質的に顕在化させない範囲で、共有画像と共有対象画像との整合を可及的に図ることが可能となり実践上有益である。
【0039】
尚、「継続して更新される」とは、例えば、動画が表示されている場合や、スライドショー機能等における自動再生がなされている場合等を含む概念であり、定性的には、共有画像を実際に視認するユーザ(端末装置側のユーザ)が、共有画像の表示品質よりも共有対象画像との整合性(言い換えれば、共有画像を表示する際の即時性又は追従性)を要求する場合を含み得る。
【0040】
本発明の画面共有処理装置に係る実施形態の一の態様では、前記ネットワークを介し、前記端末装置において前記共有画像を更新すべくなされた端末側入力に対応する制御情報を取得する取得手段を更に具備し、前記表示制御手段は、前記取得された制御情報に基づいて前記共有対象画像を更新する。
【0041】
この態様によれば、例えばCPU若しくはMPU等の各種処理ユニット、各種プロセッサ、コントローラ又は各種機能モジュール等の各種形態を採り得る、或いはそれらとは全く異なる物理的、機械的、機構的又は電気的構成を採り得る取得手段により、端末側入力に対応する制御情報が取得される。この端末側入力は、第1表示手段に表示された共有画像を更新すべくなされる、例えばポインタによる該当箇所の指示、又は文字、記号、数字、線若しくは絵等の記入等に関する入力であり、制御情報には、端末側入力の種類及び共有画像若しくは共有対象画像上の位置等に関する情報が含まれてもよい。
【0042】
この態様によれば、表示制御手段は、上述した所定の入力に応じて適宜共有対象画像を更新することに加え、この取得された制御情報に基づいて共有対象画像を適宜更新する。この共有対象画像の更新に伴い、共有画像データが新たに生成され、供給手段により端末装置に供給されるため、第1表示手段に表示される共有画像は、あたかも端末側入力がダイレクトに共有画像に反映されたかのように更新される。即ち、この態様によれば、共有対象画像に対応する共有画像を単に画像として表示しているに過ぎない(即ち、表示画面の視覚的な整合がなされているに過ぎない)端末装置側において、画面共有システムを利用した各種イベントへの積極的な参加を促すことが可能となり、各種イベント双方向性が格段に向上し得る旨の実践上の高い利益が提供される。また、このように、各種イベントの双方向性が向上する程、ネットワーク容量が当該イベントの進行に与える影響は大きくなるから、本実施形態がより効果的に機能し得る。
【0043】
本発明の画面共有処理装置に係る実施形態の他の態様では、前記生成手段は、前記共有対象画像のうち前回から更新された部分を含む少なくとも一部について前記複数の共有画像データを生成する。
【0044】
この態様によれば、共有対象画像のうち前回から更新された部分を含む少なくとも一部について共有画像データが生成され、端末装置に供給される。即ち、この態様によれば、「差分領域送信」等と称される公知のデータ伝送態様が実現され、共有画像データの元々のデータサイズを縮減することが可能となる。
【0045】
従って、ネットワーク容量に対するロバスト性を向上させることが可能となり、各種イベントを一層円滑に進行させることが可能となる。尚、この種の差分領域送信により共有対象画像のデータサイズを縮減することが可能であることに鑑みれば、異なるアプローチとして、生成手段により生成される共有画像データのうち、データサイズの小さい方の共有画像データのデータサイズを幾らかなり大きくする(即ち、共有対象画像に対する低品質側の共有画像の品質低下の度合いを軽減する)ことも可能である。
【0046】
本発明の画面共有処理装置に係る実施形態の一の態様では、前記供給手段は、前記各々について、前記端末装置に対し前記第1共有画像データが供給されている期間において前記共有対象画像が更新された場合に、前記端末装置に対し前記第1共有画像データに替えて前記更新された共有対象画像に対応する前記第2共有画像データを供給する。
【0047】
共有対象画像は、第2表示手段に表示される、例えば各種アプリケーションソフトウェアの画面等に相当する画像であり、またデータ会議等において会議の進行役を担う側の画像であるから、一定又は不定を問わず、頻繁に更新される(即ち、「所定の入力」或いは「端末側入力」が頻繁に生じる)可能性が高い。ここで、共有対象画像がその規模の大小を問わず更新された場合(例えば、プレゼンテーション用のアプリケーションソフトウェア等におけるスライドショー機能において、表示ページが切り替えられた場合等)、画面の共有先となる第1表示手段側では、速やかに係る更新に追従する必要があるが、その時点で相対的にデータサイズが大きい第1共有画像データがネットワークを介して伝送中である場合、何らの対策も講じられることがなければ、係る第1共有画像データの供給終了後に、更新された共有対象画像に対応する共有画像を表示させるための第2共有画像データの供給を開始せざるを得ない。この場合、共有対象画像の更新に共有画像の更新が追従し難くなり、また比較的長時間をかけて供給した第1共有画像データは、場合によっては無駄となる。
【0048】
この態様によれば、仮想セルの各々について、第1共有画像データが供給されている期間において共有対象画像が更新された場合には、実行中の第1共有画像データの供給は停止され、新たに更新された共有対象画像に対応する第2共有画像データの供給が開始される。このため、画面を共有する際の即時性が担保され好適である。
<画面共有方法の実施形態>
本発明の画面共有方法に係る実施形態は、ネットワークを介して順次供給される画像データに基づいて第1表示手段に順次画像を表示させることが可能な端末装置と共に前記ネットワークに収容され、前記第1表示手段、前記端末装置及び第2表示手段と共に画面共有システムを構成可能な画面共有処理装置における画面共有方法であって、
所定の入力に応じて共有対象となる共有対象画像が表示されるように前記第2表示手段を制御する表示制御工程と、前記共有対象画像を複数の仮想セルに分割する分割工程と、前記分割された複数の仮想セルの各々について更新されたか否かを判別する判別工程と、前記各々について、連続して更新されていない回数又は時間を計測する計測工程と、前記表示された共有対象画像に対応する共有画像を前記第1表示手段に表示させるための、データサイズの異なる複数の共有画像データとして、前記各々について、第1共有画像データ及び該第1共有画像データと較べて前記データサイズが小さい第2共有画像データを生成する生成工程と、前記端末装置に対し前記ネットワークを介して前記各々について前記画像データとして前記第2共有画像データを前記第1共有画像データに先んじて供給する第1供給工程と、前記端末装置に対し前記ネットワークを介して前記各々のうち更新されたと判別された仮想セルについて前記画像データとして前記第2共有画像データを供給する第2供給工程と、前記端末装置に対し前記ネットワークを介して、前記各々のうち、更新されていないと判別され、且つ前記取得された回数又は時間が所定値に達した仮想セルについて前記画像データとして前記第1共有画像データを供給する第3供給工程とを具備する。
【0049】
本発明の画面共有方法に係る実施形態によれば、上述した本発明の画面共有処理装置における各手段と同等の各工程における作用により、画面を共有する際に要求される即時性と共有される画面の品質とを両立することが可能である。
<コンピュータプログラムの実施形態>
本発明のコンピュータプログラムに係る実施形態は、コンピュータシステムを上記いずれかの画面共有処理装置として機能させる。
【0050】
本発明のコンピュータプログラムに係る実施形態によれば、当該コンピュータプログラムを格納するROM、CD−ROM、DVD−ROM、ハードディスク等の記録媒体或いはUSB(Universal Serial Bus)メモリ等コンピュータシステムに着脱可能な固体型記憶装置から、当該コンピュータプログラムをコンピュータシステムに読み込んで実行させれば、或いは、当該コンピュータプログラムを、例えば、通信手段等を介してコンピュータシステムにダウンロードさせた後に実行させれば、上述した本発明の画面共有処理装置に係る実施形態を比較的簡単に実現できる。
【0051】
尚、上述した本発明の画面共有処理装置に係る実施形態における各種態様に対応して、本発明のコンピュータプログラムに係る実施形態も各種態様を採ることが可能である。
【0052】
以上説明したように、本発明の画面共有処理装置に係る実施形態によれば、表示制御手
段、生成手段、分割手段、判別手段、特定手段及び供給手段を備えるので、画面を共有する際に要求される即時性と共有される画面の品質とを両立することが可能である。
【0053】
以上説明したように、本発明の画面共有方法に係る実施形態によれば、表示制御工程、生成工程、分割工程、判別工程、特定工程、第1供給工程、第2供給工程及び第3供給工程を備えるので、画面を共有する際に要求される即時性と共有される画面の品質とを両立することが可能である。
【0054】
以上説明したように、本発明のコンピュータプログラムに係る実施形態によれば、上記いずれかの画面共有処理装置を比較的簡単に実現できる。
【0055】
本発明のこのような作用及び他の利得は次に説明する実施例から明らかにされる。
【実施例】
【0056】
以下、適宜図面を参照して、本発明の好適な実施例について説明する。
【0057】
<第1実施例>
<実施例の構成>
始めに、図1を参照し、本発明の第1実施例に係る画面共有システム10の構成について説明する。ここに、図1は、画面共有システム10の構成を概念的に表してなる概略構成図である。
【0058】
図1において、画面共有システム10は、相互に離れた会議室たる拠点A及び拠点Bを繋ぐLAN網たるネットワーク11に収容された、発表者側システム100及び参加者側システム200を含んで構成され、発表者側システム100を管轄下に置く、拠点Aの発表者12A(単数であっても複数であっても構わない)と、参加者側システム200を管轄下に置く、拠点Bの参加者12B(単数であっても複数であっても構わない)との間で、表示画面を相互に且つ視覚的に共有しつつデータ会議を行うことが可能に構成されたシステムである。
【0059】
発表者側システム100は、発表者側PC110及び発表者側表示装置120を備える。
【0060】
発表者側PC110は、発表者側システム100の動作を制御する制御装置であり、本発明に係る「画面共有処理装置」の一例である。発表者側PC110の詳細な構成については後述する。
【0061】
発表者側表示装置120は、画像を表示するための表示画面121を有するディスプレイ装置であり、本発明に係る「第2表示手段」の一例である。発表者側表示装置120は、発表者側PC110と電気的に接続された状態にあり、発表者側PC110により表示画面121の表示内容が制御される構成となっている。尚、発表者側表示装置120としては、例えばプラズマディスプレイ装置、CRTディスプレイ装置、又は液晶ディスプレイ装置等各種のディスプレイ装置が適用可能である。
【0062】
参加者側システム200は、参加者側PC210及び参加者側表示装置220を備える。
【0063】
参加者側PC210は、参加者側システム200の動作を制御する制御装置であり、本発明に係る「端末装置」の一例である。参加者側PC210の詳細な構成については後述する。
【0064】
参加者側表示装置220は、画像を表示するための表示画面221を有するディスプレイ装置であり、本発明に係る「第1表示手段」の一例である。参加者側表示装置220は、参加者側PC210と電気的に接続された状態にあり、参加者側PC210により表示画面221の表示内容が制御される構成となっている。尚、参加者側表示装置220としては、例えばプラズマディスプレイ装置、CRTディスプレイ装置、又は液晶ディスプレイ装置等各種のディスプレイ装置が適用可能である。
【0065】
次に、図2を参照し、発表者側PC110の詳細な構成について説明する。ここに、図2は、発表者側PC110の構成を概念的に表してなるブロック図である。尚、同図において図1と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【0066】
図2において、発表者側PC110は、制御部111、通信部112、表示制御部113、画像データ生成部114及び入力部115を備える。
【0067】
制御部111は、演算処理装置としてのCPU並びにROM(Read Only Memory)、RAM(Random Access Memory)及びHDD(Hard Disk Drive)等の各種記憶手段を備え、発表者側PC110の動作全体を制御することが可能に構成された制御ユニットである。制御部111のHDDには、予め後述する画面共有処理を実行するための画面共有アプリケーション及び当該画面供給アプリケーションの支配下で起動可能な、プレゼンテーション用ソフトウェア等の各種汎用アプリケーションが格納されている。この画面共有アプリケーションは、制御部111のCPUにより実行される、本発明に係る「コンピュータプログラム」の一例である。
【0068】
通信部112は、例えばLANケーブルや所定の無線通信帯域を有する無線通信ユニットを介してネットワーク11と電気的に接続された通信インターフェイスである。
【0069】
表示制御部113は、発表者側表示装置120に表示する画像に関する表示用データを生成すると共に、該生成された表示用データに従って表示画面121に画像を表示させることが可能に構成された画像処理装置である。表示制御部113は、制御部111と電気的に接続されており、制御部111によりその動作が上位に制御される構成となっている。
【0070】
画像データ生成部114は、画像データの圧縮機能を備え、当該データ圧縮機能によるデータサイズの圧縮処理を適宜行いつつ画面共有処理の実行過程において参加者側PC210に適宜送信される各種画像データを生成することが可能に構成されたデータ処理ユニットである。画像データ生成部114は、制御部111と電気的に接続されており、制御部111によりその動作が上位に制御される構成となっている。
【0071】
入力部115は、キーボード、マウス及びタッチペン等を含み、発表者12Aによる適宜の操作が可能に構成された入力デバイスである。入力部115は、図示せぬ入力インターフェイスを介して制御部111と電気的に接続されており、入力部115を介してなされる入力は、本発明に係る「入力」の一例として、制御部111によりリアルタイムに把握される構成となっている。
【0072】
次に、図3を参照し、参加者側PC210の詳細な構成について説明する。ここに、図3は、参加者側PC210の構成を概念的に表してなるブロック図である。尚、同図において図2と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【0073】
図3において、参加者側PC210は、制御部211、通信部212、表示制御部213及び入力部214を備える。
【0074】
制御部211は、演算処理装置としてのCPU並びにROM、RAM及びHDD等の記憶手段を備え、参加者側PC210の動作全体を制御することが可能に構成された制御ユニットである。制御部211のHDDには、予め後述する画面共有処理を実行するための画面共有アプリケーションが格納されている。このデータ会議アプリケーションは、制御部211のCPUによって実行される構成となっている。
【0075】
通信部212は、例えばLANケーブルや所定の無線通信帯域を有する無線通信ユニットを介してネットワーク11と電気的に接続された通信インターフェイスである。
【0076】
表示制御部213は、参加者側表示装置220に表示する画像に係る表示用データを生成すると共に、該生成された表示用データに従って表示画面221に画像を表示させることが可能に構成された画像処理装置である。表示制御部213は、制御部211と電気的に接続されており、制御部211によりその動作が上位に制御される構成となっている。
【0077】
入力部214は、キーボード、マウス及びタッチペン等を含み、参加者12Bによる適宜の操作が可能に構成された入力デバイスである。尚、入力部215は、図示せぬ入力インターフェイスを介して制御部211と電気的に接続されており、入力部215を介した入力内容は、本発明に係る「端末側入力」の一例として、制御部211によりリアルタイムに把握される構成となっている。
【0078】
尚、本実施例では、発表者側PC110と参加者側PC210とは、各々に備わる通信部112及び212により、ネットワーク11を介して直接データ及び情報の送受が可能に構成されている。但し、このような構成は一例であり、例えば、発表者側PC110と参加者側PC210とは、ネットワーク11に備わる各種サーバ装置等を介してデータ及び情報の送受が可能に構成されていてもよい。
【0079】
<実施例の動作>
次に、図4を参照し、本実施例の動作として、発表者側PC110の制御部111により実行される画面共有処理の詳細について説明する。ここに、図4は、画面共有処理のフローチャートである。尚、拠点Aと拠点Bとの間で画面の共有がなされるに際しては、予め発表者側PC110及び参加者側PC210各々において、制御部により先に述べた画面共有アプリケーションが選択的に実行され、ネットワーク11との接続処理や、拠点間での相互認証処理等を含む画面共有に関する初期設定処理がなされるが、この種の初期設定処理の詳細は、本発明の本旨とは関係が薄いため、説明の煩雑化を防ぐ目的からここではその説明を省略することとする。
【0080】
また、図4の画面共有処理の開始時点においては、発表者側PC110において、先に述べたプレゼンテーション用ソフトウェアが起動され、然るべきアプリケーション画面が表示画面121に表示されているものとする。この表示画面121に表示された画像(例えば、アプリケーション画面が表示画面121全体に表示されている場合には例えば各種作業ウィンドウ等を含むアプリケーション画面であり、表示画面121の一部に当該アプリケーション画面が表示されている場合には、アプリケーション画面に加えてデスクトップ背景画面、タスクバー及び各種アイコン等を適宜に含み得る)は、本発明に係る「共有対象画像」の一例である。
【0081】
図4において、制御部111は、表示画面121の更新(以下、適宜「画面更新」と略称することとする)が生じたか否かを判別する(ステップS101)。
【0082】
ここで、「画面更新」とは、例えば、入力部115を介して発表者12Aにより適宜になされる、アプリケーションに関する各種機能操作等により生じる表示内容の変化等を指し、例えば、プレゼンテーションに供すべき画像の切り替え、ポイントとなる部分を強調するための各種視覚情報の書き込み、議事録やメモに類する各種文字情報の入力、ウィンドウサイズの変更、新規画像の追加及び画像の拡大又は縮小、或いはプレゼンテーション機能とは無関係な、例えばデスクトップ上のアイコンの移動又は各種ポインティングデバイスにおけるポインタの位置変更等、各種の態様を採り得る。言い換えれば、本実施例では、前回表示画面121に表示された画像に対し全く何らの変化も生じていない画像が表示される以外は、全て画面更新がなされた状態として扱われる。
【0083】
尚、補足すると、画面更新は、必ずしも入力部115を介してなされる入力のみにより生じるとは限らない。本実施例に係る画面共有処理では、共有すべき画像の供給を受ける参加者側PC210には、画像を直接加工する権利は付与されず、例えば拠点Bにおいて参加者12Bにより入力部214を介して表示画面221上になされる、例えば、ポインタによる位置の指示、文字情報の書き込み、各種記号や線の書き込み等の操作は、入力部214からそれらの種類や位置情報を解析した制御部211が、通信部212を介して参加者側の入力情報(即ち、本発明に係る「制御情報」の一例)として発表者側PC110に送信する構成となっている。
【0084】
発表者側PC110では、通信部112を介して係る入力情報を取得すると共に、その内容を解析し、表示制御部113を制御して然るべき画像を表示画面121上に表示させる。その結果、例えば表示画面121上でポインタの指示位置が変化する、文字情報や記号情報が書き込まれる等の画面更新がなされる。このような参加者側の操作に端を発した画面更新もまた、画面更新の一態様である。
【0085】
画面更新が生じている旨が判別された場合(ステップS101:YES)、制御部111は、画像データ生成部114を制御して、高速表示用データPIChsを生成する(ステップS102)。
【0086】
ここで、「高速表示用データ」とは、表示画面121の表示内容を画像として表示するための画像データであって、特に、解像度を表示画面121に相当する画像(即ち、本発明に係る「共有対象画像」の一例であり、以下、適宜「オリジナル画像ORG」と称する)の解像度と較べて低下させた、少なくともオリジナル画像ORGと較べてデータサイズの小さい、本発明に係る「第2共有画像データ」の一例たる画像データである。
【0087】
この高速表示用データPIChs生成の際には、例えばJPEGやMPEG等の規格に準じた非可逆圧縮に類する(即ち、必ずしも何らかの規格に準じる必要はない)各種のデータ圧縮手法が採用され、画像の解像度が所望の値まで低下させられる。この際、データ圧縮の度合いは、予め単一の固定値であってもよいし、複数の選択肢の中から選択的に決定された値であってもよいし、発表者12Aの意思を反映した可変な値であってもよい。高速表示用データPIChsが生成されると、制御部111は、通信部112を制御し、ネットワーク11を介して、生成された高速表示用データPIChsを参加者側PC210に送信する(ステップS103)。
【0088】
一方、画面更新が生じていない旨が判別された場合(ステップS101:NO)、制御部111は、画面更新が生じていない旨が連続して判別された回数(以下、適宜「連続更新無し回数」と称する)が基準値たる「N」であるか否か(即ち、N回連続して画面更新が生じていない旨が判別されたか否か)を判別する(ステップS104)。連続更新無し回数がNでない場合(ステップS104:NO)、制御部111は、処理をステップS101に戻し一連の処理を繰り返すと共に、連続更新無し回数がNである場合(ステップS104:YES)、画像データ生成部114を制御して、高画質表示用データPIChcを生成する(ステップS105)。尚、本実施例では、連続更新無し回数がN回であるか否かを判断基準としているが、連続更新無し回数は、制御部111の動作クロックが概ね一定とみなし得る点に鑑みれば、時間概念に置換することも容易にして可能であり、例えば画面更新が生じていない時間(以下、適宜「連続更新無し回数」と称する)がX秒(好適な一形態としては、N回に対応する時間)であるか否かを判断基準としてもよい。或いは、当該動作クロックが一定でないにせよ(即ち、連続更新無し回数と連続更新無し時間とが一義的でないにせよ)、絶対的な経過時間もまた有意な判断基準となり得るので、連続更新無し時間が判断基準とされることに実践上の問題は生じない。
【0089】
ここで、「高画質表示用データ」とは、表示画面121の表示内容を画像として表示するための画像データであって、特に、先に述べたオリジナル画像ORGと同等の解像度(参加者側PC210及び参加者側表示装置220の構成及び仕様に応じて定められてよく、必ずしもオリジナル画像と同一の解像度でなくてよい)を有する、少なくとも高速表示用データPIChsと較べてデータサイズの大きい、本発明に係る「第1共有画像データ」の一例たる画像データである。
【0090】
この高画質表示用データPIChcが生成される際には、データの圧縮は行われないか、行われたとして好適な一形態としてはJPEGやMPEG等非可逆圧縮のデータ圧縮手法は採用されず、可逆的なデータ圧縮手法が採用される。或いは、例えば画質の低下が、例えば予め実験的に、経験的に、理論的に又はシミュレーション等に基づいて人間の視覚上有意な差異が生じない旨が確定している或いはそのような判断を下し得る範囲内に収まるような範囲で非可逆的なデータ圧縮手法が採用されてもよい。
【0091】
高画質表示用データPIChcが生成されると、制御部111は、通信部112を制御し、ネットワーク11を介して、生成された高画質表示用データPIChcを参加者側PC210に送信する(ステップS106)。ステップS103において高速表示用データPIChsが送信されるか、或いはステップS106において高画質表示用データPIChcが送信されると、処理はステップS101に戻され、一連の処理が繰り返される。画面共有処理は、以上の如くにして繰り返し実行される。
【0092】
ここで、参加者側PC210の動作を説明すると、制御部211は、画面共有処理の実行時には基本的に、通信部212を制御し、ネットワーク11を介して発表者側PC110から送信されてくる画像データを取得すると共に、取得された画像データを表示制御部213に受け渡して表示用のデータに加工して参加者側表示装置220の表示画面221に画像を表示させる旨の一連の処理を繰り返し実行している。この際、送信されてくる画像データが高速表示用データPIChsであれば、表示画面221に表示される画像は、オリジナル画像ORGに対し解像度が低下した低画質の高速表示用画像HSであり、送信されてくる画像データが高画質表示用データPIChcであれば、表示画面221に表示される画像は、オリジナル画像ORGと同等の解像度を有する高画質の高画質表示用画像HCとなる。尚、いずれも本発明に係る「共有画像」の一例である。
【0093】
ここで、図5を参照し、本実施例の効果について説明する。ここに、図5は、拠点A及び拠点Bにおける画面共有に係るタイミングチャートである。尚、同図において、図4と重複する箇所には、同一の符号を付してその説明を適宜省略することとする。
【0094】
図5において、時刻T0において、拠点Aにオリジナル画像ORGが表示され、画面更新がなされたとすると、データ生成に要する時間を便宜的に無視すれば、時刻T0において、高速表示用データPIChsの送信が開始される。この高速表示用データPIChsは、相対的にみればデータサイズが小さい画像データであるから、ネットワーク11におけるデータ伝送用の帯域(即ち、一義的にデータ伝送速度)が一定であるものとして、データ伝送に要する伝送時間は、図示ΔThsである。
【0095】
従って、拠点Bにおいては、時刻T0から図示伝送時間ΔThsが経過した時刻T1において、高速表示用画像HSの表示が開始される。但し、高速表示用画像HSは、解像度がオリジナル画像ORGに対し低下せしめられた非可逆圧縮画像であり、画質の点では図示するように粗い画像である。
【0096】
一方、時刻T1において高速表示用データPIChsの伝送が完了すると、即座に高画質表示用データPIChcの送信が開始される。この高画質表示用データPIChcは、相対的にデータサイズが大きい画像データであるから、ネットワーク11におけるデータ伝送用の帯域(即ち、一義的にデータ伝送速度)が一定であるものとして、データ伝送に要する伝送時間は、図示ΔThc(ΔThc>ΔThs)である。
【0097】
従って、拠点Bにおいては、時刻T1から図示伝送時間ΔThcが経過した時刻T2において、高画質表示用画像HCの表示が開始され、高速表示用画像HSがこの高画質表示用画像HCに切り替わる。この際、高画質表示用画像HCは、解像度がオリジナル画像ORGと同等な、非圧縮画像或いは可逆圧縮画像であり、画質の点では図示するようにオリジナル画像ORGと遜色ない画像である。
【0098】
このように、本実施例に係る画面共有処理によれば、高速表示用データPIChsの送信を高画質表示用データPIChcの送信に先んじて実行することによって、拠点Aにおいて画面更新がなされてから拠点Bの表示画面221がそれに追従する形で更新されるまでに要する時間を可及的に短縮化することが可能である。
【0099】
ここで特に、高画質表示用データPIChcの送信を、高速表示用データPIChsの送信に先んじて行えば、拠点Bの表示画面が更新されない遅延時間は、高画質表示用データPIChcの伝送時間ΔThcに相当する時間となり、本実施例と較べて明らかに長大化する。このため、画面共有処理がデータ会議に使用されるにせよ他の用途に適用されるにせよ、画面共有に際しての即時性の低下が悪影響を及ぼすことが回避され難い。
【0100】
加えて、本実施例では、高速表示用データPIChsの送信が完了すれば、即座に高画質表示用データPIChcの送信が開始されるから、相応の時間経過の後には、拠点Bの表示画面221が、オリジナル画像ORGと同等の高画質表示用画像HGに更新される。即ち、単に即時性のみを追及して画像データのデータサイズを縮減するのみと較べれば、表示画面221に表示される画像が、定常的には高画質表示用画像HCに収束する点において、画質の面で明らかに有利に構成される。
【0101】
更に補足すれば、本実施例では、画面更新が生じていない旨が判別された時点で即座に高画質表示用データPIChcが送信される訳ではなく、連続更新無し回数と基準値(ここではN)との比較により、発表者側表示装置120の表示画面121が真に安定した旨の判断を下し得る時点で、高画質表示用データPIChcが送信される。このため、オリジナル画像ORGが連続的に更新される、例えばスライドショー表示やアニメーション表示の実行時等において、高画質表示用データPIChcのデータサイズに起因する表示品質の著しい低下(即ち、表示画面121上でオリジナル画像ORGが更新されても表示画面221上の共有画像が追従しない、或いはスライドショーやアニメーションの連続性が著しく低下する等の不具合)が抑制される。
【0102】
従って、本実施例によれば、画面共有を行うに際して、即時性の担保と共有画面の品質低下抑制という相互にトレードオフにある課題を好適に解決し、好適な画面共有を実現することが可能となるのである。
【0103】
<第2実施例>
次に、図6を参照し、本発明の第2実施例に係る画面共有処理について説明する。ここに、図6は、第2実施例に係る画面共有処理のフローチャートである。尚、同図において、図4と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【0104】
図6において、連続更新無し回数がNに達した場合(ステップS104:YES)、制御部111は、高画質表示スレッドを開始する(ステップS204)。
【0105】
ここで、図7を参照し、高画質表示スレッドについて説明する。ここに、図7は、高画質表示スレッドのフローチャートである。尚、同図において、図4と重複する箇所には同一の符号を付してその説明を適宜省略することとする。尚、補足すると、高画質表示スレッドは、画面共有処理と並列に実行される処理である。
【0106】
図7において、制御部111は、高画質表示用データPIChcを生成し(ステップS105)、通信部112を制御して生成された高画質表示用データPIChcを送信する(ステップS106)。高画質表示用データPIChcの送信が終了すると、高画質表示スレッドは終了する。
【0107】
図6に戻り、ステップS101に係る処理において、画面更新が生じている旨が判別された場合(ステップS101:YES)、制御部111は、高速表示用データPIChsの送信中でないか否かを判別する(ステップS201)。高速表示用データPIChsの送信中である場合(ステップS201:NO)、制御部111は、処理をステップS101に戻し、一連の処理を繰り返す。
【0108】
高速表示用データPIChsの送信中でない場合(ステップS201:YES)、制御部111は更に、高画質表示用データPIChcの送信中であるか否かを判別する(ステップS202)。高画質表示用データPIChcの送信中である旨が判別された場合(ステップS202:YES)、制御部111は、上述した高画質表示スレッドを強制的に終了する(ステップS203)。
【0109】
高画質表示スレッドを強制的に終了させるか、或いはステップS202において高画質表示用データPIChcの送信中でない旨が判別された場合(ステップS202:NO)(即ち、この場合、画面更新が生じている状況において、高速表示用データPIChsも高画質表示用データPIChcも送信されていない場合に相当する)、制御部111は、高速表示用データPIChsを生成し(ステップS102)、参加者側PC210に送信する(ステップS103)。
【0110】
以上説明したように、本実施例では、高画質表示用データPIChcが、画面共有処理と並列的に実行される高画質表示スレッドにより、言わば画面共有処理から独立して実行されており、画面更新が生じた段階で高画質表示用データPIChcの送信中である場合(言い換えれば、高画質表示スレッドの実行中である場合)、速やかに高画質表示スレッドの実行が停止され、更新された表示画面121の内容に対応するオリジナル画像ORGが共有対象画像に設定され、高速表示用データPIChsの生成及び送信による、即時性の担保が図られる。
【0111】
このため、本実施例によれば、表示画面121が安定した(即ち、更新が頻繁に生じていない)旨の判別を経て高画質表示スレッドが開始されてから高画質表示スレッドが正常に終了する(即ち、高画質表示用データPIChcの送信が完了する)までの期間(即ち、上述した伝送時間ΔThcに相当する期間)において画面更新が生じた場合(連続更新無し回数がNに達したところで、基本的に画面更新は任意のタイミングでなされ得るため、この種の事態が発生する可能性は、必ずしも無視し得る程度に低くない)に、高画質表示用データPIChcの送信終了まで係る画面更新に対応する高速表示用データPIChsの送信を待機せざるを得ないことに起因する即時性の低下が好適に防止される。
【0112】
<第3実施例>
次に、図8を参照し、本発明の第3実施例に係る画面共有処理について説明する。ここ
に、図8は、第3実施例に係る画面共有処理のフローチャートである。尚、同図において
、図6と重複する箇所には、同一の符号を付してその説明を適宜省略することとする。
【0113】
図8において、ステップS103に係る処理により高速表示用データPIChsが送信されると、制御部111は、画像更新ブロック配列フラグFg_blcを設定する(ステップS401)。
【0114】
ここで、本実施例では、参加者側PC210に対する画像データの送信に際し、所謂差分領域送信が適用されている。差分領域送信とは、画面更新後の共有対象画像(例えば、オリジナル画像ORG)のうち、前回表示された共有対象画像に対し変更が生じた領域を少なくとも含む(必ずしもそのような領域のみでなくてもよい)一部を送信するデータ伝送態様であり、画面更新の生じる毎に全画面分の画像データ(共有画像データ)を送信する場合と較べて、データサイズを顕著に縮減する(例えば、差分領域が全画像の半分の領域であれば、単純計算としてデータサイズを約半分にする)ことが可能となる。
【0115】
このような差分領域送信の一態様として、本実施例では更に、ブロック送信が実現されている。ブロック送信とは、即ち、共有画像データを所定のブロック単位で送信する手法であり、送信が完了したブロックに対応する画像(即ち、共有画像の一部)が順次表示画面221上に反映されるため、全画面分の画像データの送信が完了した時点で表示画面上に反映される場合と較べて、画面共有に際してのフレキシビリティに優れている。
【0116】
ここで、このようなブロック送信が適用されている状況に鑑みれば、図8におけるステップS203に係る処理で高画質表示スレッドが強制終了されても、場合によってはその時点で既に高画質表示用データPIChcの送信が終了しているブロックが存在する可能性がある。また、差分領域送信が適用されている状況に鑑みれば、画面更新が生じた際に、必ずしもオリジナル画像ORGの全領域を高速表示用画像HSに切り替える必要が生じる訳ではなく、画面共有処理が十分に進行した後の状態としては、参加者側表示装置220の表示画面221上に展開される共有画像は、高画質表示用画像HCと高速表示用画像HSとが混在したものとなり得る。
【0117】
図8のステップS401に係る画像更新ブロック配列フラグFg_blcとは、高画質表示用データPIChcを送信すべきブロックの配列を規定するフラグであり、画面更新を反映して選択的に送信される差分領域に対応する高速表示用データPIChsに基づいて高速表示用画像HSが表示されているブロック、及び差分領域に該当しなくても、過去に高画質表示スレッドが強制終了されたことにより未だ高画質表示用画像HCに切り替えられていなブロックの配列を規定するフラグとして、高速表示用データPIChsの送信時に制御部111により随時更新される。
【0118】
次に、図9を参照し、第3実施例に係る高画質表示用スレッドの詳細について説明する。ここに、図9は、第3実施例に係る高画質表示スレッドのフローチャートである。尚、同図において、図7と重複する箇所には同一の符号を付してその説明を適宜省略することとする。
【0119】
図9において、制御部111は、先に設定された、画像更新ブロック配列フラグFg_blcに基づいてオリジナル画像ORG(即ち、画面更新後の共有対象画像)の全領域に対する更新領域を算出する(ステップS501)。更新領域を算出すると、この算出された更新領域に該当するブロックについて高画質表示用データPIChcが生成され(ステップS105)、ネットワーク11を介して送信される(ステップS502)。高画質表示用データPIChcの送信が終了すると、画像更新ブロック配列フラグFg_blcはクリアされ(ステップS502)、高画質表示スレッドが終了する。
【0120】
このように、第3実施例では、差分領域送信及びブロック送信が実行されることにより、画像データの伝送に比較的長時間を要する高画質表示用データPIChcを、実践上何らの問題も顕在化させることなく効率的に送信することが可能となる。このため、拠点相互間の画面共有が、より迅速に且つ円滑に実現される。また、差分領域送信の適用により、ネットワーク11の伝送帯域に対する画面共有のロバスト性が相対的に向上する。
【0121】
<第4実施例>
次に、本発明の第4実施例について説明する。始めに、図10を参照し、第4実施例に係る画面共有処理の詳細について説明する。ここに、図10は、画面共有処理のフローチャートである。
【0122】
図10において、制御部111は、セル属性設定処理を実行し(ステップS600)、続いて画像データ処理を実行する(ステップS700)。画面共有処理は、この二つの処理が繰り返し実行されることにより進行する。ここで、図11を参照し、本実施例に特有の概念であるセルの詳細について説明する。ここに、図11は、オリジナル画像ORGの模式図である。
【0123】
図11において、オリジナル画像ORGは、縦軸及び横軸が夫々256分割されており、図中左上隅に相当するセルCL1から右下隅に相当するセルCL65536までの合計65536個のセルに仮想的に分割されている。個々のセルは、例えば16×16=256ドットの微小領域であり、本実施例における画像更新の最小単位として扱われる。尚、オリジナル画像ORGの分割態様は、ここに例示するものに限定されない。
【0124】
図10のステップS600に係るセル属性設定処理とは、これら個々のセルCLi(iはセル識別子であり、本実施例では65536以下の自然数である)の属性を設定する処理である。補足すると、本実施例に係る「属性」とは、高画質表示用画像HCを表示するか、高速表示用画像HSを表示するかといった画質(解像度)の属性と、参加者側PC210に対しこれらいずれかに関する画像データを送信すべきか否かといった送信要否に係る属性とを含むものである。
【0125】
より具体的に言えば、個々のセルの属性は、高画質表示フラグFg_hc及び高速表示フラグFg_hsの二種類の属性フラグにより規定される。高画質表示フラグFg_hcは、「1」なる値を採る場合に高画質表示用データPIChcを送信すべき旨が、「0」なる値を採る場合に高画質表示用データPIC_hcを送信すべきでない旨が、夫々規定されるフラグであり、高速表示フラグFg_hsは、「1」なる値を採る場合に高速表示用データPIChsを送信すべき旨が、「0」なる値を採る場合に高速表示用データPIC_hsを送信すべきでない旨が、夫々規定されるフラグである。
【0126】
ここで、図12を参照し、セル属性設定処理の詳細について説明する。ここに、図12は、セル属性設定処理のフローチャートである。
【0127】
図12において、制御部111は、セルカウンタiを初期値である「1」に設定する(ステップS601)。ここで、セルカウンタiとは即ち、上述したセル識別子を特定するためのカウンタであり、セルカウンタiの数値は、そのままセル識別子として扱われる。
【0128】
セルカウンタiを初期化すると、制御部111は、セルCLiが更新されていないか否かを判別する(ステップS602)。セルCLiが更新されている場合(ステップS602:NO)、制御部111は、更新カウンタjを初期値nに設定し、更新カウンタjを初期化する(ステップS604)。
【0129】
ここで、更新カウンタjとは、各セルの更新状態を規定するフラグであり、概略的には、更新されていない旨が判別される毎に、初期値nからディクリメントされるフラグである。初期値nの値は、適合値であり、例えば、上記各種実施例における連続更新無し回数の基準値Nと同等であってもよい。制御部111は、更新カウンタjを初期化すると、先に述べた属性フラグの一である高速表示フラグFg_hsを「1」に設定する(ステップS608)。
【0130】
一方、セルCLiが更新されていない場合(ステップS602:YES)、制御部111は、更新カウンタjを「1」だけディクリメントする(ステップS603)。更新カウンタjをディクリメントすると、制御部111は、更新カウンタjが「0」であるか否かを判別する(ステップS605)。更新カウンタjが「0」でない場合(ステップS605:NO)、制御部111は、高速表示フラグFg_hs及び高画質表示フラグFg_hcの二種類の属性フラグを共に「0」に設定する(ステップS607)。即ち、この場合、セルCLiは、共有画像に関する画像データの送信対象から除外される。また、更新カウンタjが「0」である場合(ステップS605:YES)、制御部111は、高画質表示フラグFg_hcを「1」に設定する(ステップS606)
ステップS606、S607及びS608のいずれか一が実行されると、処理はステップS609に移行し、セルカウンタiが「1」インクリメントされ、属性フラグの設定対象となるセルが、現時点の選択されているセルと隣接するセルに切り替えられる。
【0131】
また、この際、セルカウンタiが全セル数、即ち「65536」であるか否かが判別される(ステップS610)。セルカウンタiが「65536」でない場合(ステップS610:NO)、言い換えれば、未だ全セルに対しステップS602からステップS606、S607又はS608に至る処理過程が実行されていない場合、処理はステップS602に戻され、一連の処理が繰り返される。このようにして全てのセルについて属性フラグの設定がなされると、セルカウンタiはセル数、即ち「65536」となり、ステップS610に係る分岐が「YES」となり、セル属性設定処理が終了する。
【0132】
このように、セル属性設定処理によれば、オリジナル画像ORGに対し設定されるセル各々について、セルの更新(即ち、画面更新と同様の概念である)時において一回だけ高速表示フラグFg_hsが「1」となり、セルの更新がn回連続してなされなかった場合に一回だけ高画質表示フラグFg_hcが「1」となる。それ以外の場合については、属性フラグはいずれも「0」に設定される。
【0133】
次に、図13を参照し、画像データ処理の詳細について説明する。ここに、図13は、画像データ処理のフローチャートである。
【0134】
図13において、制御部111は、高速表示セルが存在するか否かを判別する(ステップS701)。高速表示セルとは、高速表示フラグFg_hsが「1」に設定されたセルである。高速表示セルが存在しない場合(ステップS701:NO)、処理はステップS705に移行する。
【0135】
一方、高速表示セルが存在する場合(ステップS701:YES)、制御部111は、オリジナル画像ORGの分割及び圧縮を実行する(ステップS702)。
【0136】
ここで、オリジナル画像ORGの分割及び圧縮とは、高速表示セルを可能な限り(物理的に可能であるか否かというよりは、実践的にみて制御上の負荷軽減等の優位性が生じ得る限り、といった意味に近い)集約し(即ち、圧縮し)、係る集約した高速表示セルの集合体を一単位としてオリジナル画像ORGを分割することを意味する。
【0137】
但し、このような処理は、セルを単位として画像データの送信を行う際の制御上の負荷軽減を目的としたものであり、無論一例に過ぎず、例えば個々のセルを単位として画像データの送信を実行するように制御プロセスが構築されている場合には、必ずしも必要ではない。
【0138】
オリジナル画像ORGの分割及び圧縮が終了すると、制御部111は、係る分割及び圧縮の結果として生じた領域毎に高速表示用データPIChsを生成し(ステップS703)、通信部112を制御することによりネットワーク11を介して係る生成された高速表示用データPIChsを参加者側PC210に送信する(ステップS704)。
【0139】
ステップS701において高速表示セルが存在しない旨が判別されたか、或いはステップS704において高速表示用データPIChsが送信された場合、制御部111は、高画質表示セルが存在するか否かを判別する(ステップS705)。高画質表示セルとは、高画質表示フラグFg_hcが「1」に設定されたセルである。高画質表示セルが存在する場合(ステップS705:YES)、制御部111は、高速表示セルの場合と同様に、オリジナル画像ORGの分割及び圧縮を実行する(ステップS706)。
【0140】
オリジナル画像ORGの分割及び圧縮が終了すると、制御部111は、係る分割及び圧縮の結果として生じた領域毎に高画質表示用データPIChcを生成し(ステップS707)、通信部112を制御することによりネットワーク11を介して係る生成された高画質表示用データPIChcを参加者側PC210に送信する(ステップS708)。
【0141】
ステップS708に係る処理が実行されるか、或いはステップS705において高画質表示セルが存在しない旨の判別がなされた場合(ステップS705:NO)、画像データ処理は終了する。
【0142】
本実施例によれば、このようにして属性フラグ設定処理及び画像データ処理が繰り返し実行されることにより、参加者側表示装置210の表示画面211に表示される共有画像を可及的に高画質表示用画像HCに維持しつつ、更新が生じたセルについては速やかに高速表示用画像HSを表示させることによって即時性を担保するといった、実践上極めて高い利益が提供される。
【0143】
例えば、オリジナル画像ORGのうち、極小領域のみが継続的に更新されている場合(例えば、オリジナル画像自体は静止画として安定しているにもかかわらず、オリジナル画像とは別の位置においてカーソルが絶えず点滅している場合等)、このようなセルの概念を導入しないと、単にオリジナル画像ORGが更新されている旨の判別がなされることによって、オリジナル画像ORG全体が高速表示用画像HSに切り替わり、本来静止画である部分についても低画質の高速表示用画像HSが表示され得る。この場合、画面を共有する拠点Bの参加者12Bの感覚から言えば、無用に共有画像の画質が低下している旨の違和感を覚え得る。
【0144】
その点、本実施例或いはそれに類する処理を適用することにより、高速表示用画像HSの表示領域を、例えば係る極小領域に対応する部分に留めることができ、係る極小領域に対応する共有画像の更新に際した即時性を担保するために他の大部分の領域における画質の低下が生じるといった、実践上好ましくない事態の発生が好適に防止されるのである。
【0145】
本発明は、上述した実施例に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画面共有処理装置、画面共有方法及びコンピュータプログラムもまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【0146】
10…画面共有システム、11…ネットワーク、12A…発表者、12B…参加者、100…発表者側システム、110…発表者側PC、111…制御部、112…通信部、113…表示制御部、114…画像データ生成部、115…入力部、120…発表者側表示装置、121…表示画面、200…参加者側システム、210…参加者側PC、211…制御部、212…通信部、213…表示制御部、215…入力部、220…参加者側表示装置、221…表示画面。

【特許請求の範囲】
【請求項1】
ネットワークを介して順次供給される画像データに基づいて第1表示手段に順次画像を表示させることが可能な端末装置と共に前記ネットワークに収容され、前記第1表示手段、前記端末装置及び第2表示手段と共に画面共有システムを構成可能な画面共有処理装置であって、
所定の入力に応じて共有対象となる共有対象画像が表示されるように前記第2表示手段を制御する表示制御手段と、
前記共有対象画像を複数の仮想セルに分割する分割手段と、
前記分割された複数の仮想セルの各々について更新されたか否かを判別する判別手段と、
前記各々について、連続して更新されていない回数又は時間を特定する特定手段と、
前記表示された共有対象画像に対応する共有画像を前記第1表示手段に表示させるための、データサイズの異なる複数の共有画像データとして、前記各々について、第1共有画像データ及び該第1共有画像データと較べて前記データサイズが小さい第2共有画像データを生成する生成手段と、
前記端末装置に対し前記ネットワークを介して(1)前記各々について前記画像データとして前記第2共有画像データを前記第1共有画像データに先んじて供給し、(2)前記各々のうち更新されたと判別された仮想セルについて前記画像データとして前記第2共有画像データを供給すると共に、(3)前記各々のうち、更新されていないと判別され、且つ前記特定された回数又は時間が所定値に達した仮想セルについて前記画像データとして前記第1共有画像データを供給する供給手段と
を具備することを特徴とする画面共有処理装置。
【請求項2】
前記ネットワークを介し、前記端末装置において前記共有画像を更新すべくなされた端末側入力に対応する制御情報を取得する取得手段を更に具備し、
前記表示制御手段は、前記取得された制御情報に基づいて前記共有対象画像を更新する
ことを特徴とする請求項1に記載の画面共有処理装置
【請求項3】
前記生成手段は、前記共有対象画像のうち前回から更新された部分を含む少なくとも一部について前記複数の共有画像データを生成する
ことを特徴とする請求項1又は2に記載の画面共有処理装置。
【請求項4】
前記供給手段は、前記各々について、前記端末装置に対し前記第1共有画像データが供給されている期間において前記共有対象画像が更新された場合に、前記端末装置に対し前記第1共有画像データに替えて前記更新された共有対象画像に対応する前記第2共有画像データを供給する
ことを特徴とする請求項1から3のいずれか一項に記載の画面共有処理装置。
【請求項5】
ネットワークを介して順次供給される画像データに基づいて第1表示手段に順次画像を表示させることが可能な端末装置と共に前記ネットワークに収容され、前記第1表示手段、前記端末装置及び第2表示手段と共に画面共有システムを構成可能な画面共有処理装置における画面共有方法であって、
所定の入力に応じて共有対象となる共有対象画像が表示されるように前記第2表示手段を制御する表示制御工程と、
前記共有対象画像を複数の仮想セルに分割する分割工程と、
前記分割された複数の仮想セルの各々について更新されたか否かを判別する判別工程と、
前記各々について、連続して更新されていない回数又は時間を計測する計測工程と、
前記表示された共有対象画像に対応する共有画像を前記第1表示手段に表示させるための、データサイズの異なる複数の共有画像データとして、前記各々について、第1共有画像データ及び該第1共有画像データと較べて前記データサイズが小さい第2共有画像データを生成する生成工程と、
前記端末装置に対し前記ネットワークを介して前記各々について前記画像データとして前記第2共有画像データを前記第1共有画像データに先んじて供給する第1供給工程と、
前記端末装置に対し前記ネットワークを介して前記各々のうち更新されたと判別された仮想セルについて前記画像データとして前記第2共有画像データを供給する第2供給工程と、
前記端末装置に対し前記ネットワークを介して、前記各々のうち、更新されていないと判別され、且つ前記取得された回数又は時間が所定値に達した仮想セルについて前記画像データとして前記第1共有画像データを供給する第3供給工程と
を具備することを特徴とする画面共有方法。
【請求項6】
コンピュータシステムを請求項1から4のいずれか一項に記載の画面共有処理装置とし
て機能させることを特徴とするコンピュータプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate


【公開番号】特開2013−8384(P2013−8384A)
【公開日】平成25年1月10日(2013.1.10)
【国際特許分類】
【出願番号】特願2012−183849(P2012−183849)
【出願日】平成24年8月23日(2012.8.23)
【分割の表示】特願2008−44738(P2008−44738)の分割
【原出願日】平成20年2月26日(2008.2.26)
【出願人】(000005016)パイオニア株式会社 (3,620)
【出願人】(505440789)パイオニアソリューションズ株式会社 (33)
【Fターム(参考)】