データ処理装置およびデータ処理方法
【課題】 第１の表示部と第２の表示部で共に表示するＧＵＩの各構成要素を、各表示部の操作者に違和感なく表示させる。
【解決手段】 第１の表示部で第１のＧＵＩを表示するとともに、第２の表示部で前記第１のＧＵＩに相当する内容を示す第２のＧＵＩを表示することにより、前記第１および第２の表示部の間でテレビ会議を行うために、前記第１および第２のＧＵＩを表すデータを処理するデータ処理装置であって、第１のＧＵＩの各構成要素について、該ＧＵＩにおける相対位置を左右で反転させる第１の種類の構成要素と、前記相対位置を左右で反転させない第２の種類の構成要素とを特定する特定手段と、第２のＧＵＩとして、前記第１の種類の構成要素を左右で反転させた構成要素と、前記第２の種類の構成要素とからなるＧＵＩを作成するＧＵＩ作成手段とを備える。
【解決手段】 第１の表示部で第１のＧＵＩを表示するとともに、第２の表示部で前記第１のＧＵＩに相当する内容を示す第２のＧＵＩを表示することにより、前記第１および第２の表示部の間でテレビ会議を行うために、前記第１および第２のＧＵＩを表すデータを処理するデータ処理装置であって、第１のＧＵＩの各構成要素について、該ＧＵＩにおける相対位置を左右で反転させる第１の種類の構成要素と、前記相対位置を左右で反転させない第２の種類の構成要素とを特定する特定手段と、第２のＧＵＩとして、前記第１の種類の構成要素を左右で反転させた構成要素と、前記第２の種類の構成要素とからなるＧＵＩを作成するＧＵＩ作成手段とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ会議等などの双方向画像通信システムにおいてグラフィカルユーザーインターフェイスを用いる技術に関する。
【背景技術】
【０００２】
従来、複数地点にタッチパネルディスプレイを配置し、その間で双方向画像通信および双方向音声通信を行うことにより会議を行うテレビ会議システムなどが知られている。また、このようなシステムにおいて、それぞれの地点のタッチパネルディスプレイに、まったく同じＧＵＩを表示させ、各地点の操作者（会議参加者）がそのＧＵＩを見ながら会話をすることなども可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１２２７６７号公報
【特許文献２】特開平８−２０５１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記テレビ会議システムなどでは、一般的に、各操作者（会議参加者）は、向かい合った状態で会議をする。従って、各参加者の目前にあるディスプレイは、相手の操作者（会議参加者）が見える“窓”とも言える。このような状況において、“窓”であるディスプレイ上において、その表から見ても裏から見ても全く同じＧＵＩを表示してしまうと不自然である。
【０００５】
この不自然な状態を解消するための一例を図７に示す。ここでは図７（ａ）に示す映像送受信装置Ａと、図７（ｂ）に示す映像送受信装置Ｂとがテレビ会議をしているものとする。また、図７（ａ）と図７（ｂ）には、タッチパネルディスプレイ７００、７０８が設置されており、それぞれに実質的に同じ内容のＧＵＩが表示されている。なお、これらＧＵＩのそれぞれは、アイコンＡ〜Ｃとドキュメントの４つの構成要素から構成されているものとする。
【０００６】
図７（ａ）では、タッチパネル７００上でドキュメント７０４（後述する電子データ）が編集されている。ここでは、ユーザーＡ７０２は、タッチパネル７００における右側の表示位置に存在するＧＵＩ（アイコンＡ７０５、アイコンＢ７０６、アイコンＣ７０７、ドキュメント７０４）を操作、編集していることになる。そして、その動きはカメラ７０１を介して、図７（ｂ）に示す映像送受信装置Ｂ（タッチパネル７０８）に表示される。このとき、ユーザーＢ７１１から見たユーザーＡ７０２の動きによれば、タッチパネル７０８の左側の表示位置に存在するＧＵＩを操作しているように見えるであろう。従って、この解消例においては、図７（ｂ）のタッチパネル７０８における“左側”に同一のＧＵＩ（アイコンＡ７１４、アイコンＢ７１３、アイコンＣ７１２、ドキュメント７１５）を表示することにより、ユーザーＡの動きとＧＵＩの位置が一致することになる。
【０００７】
しかしながら、上記例では、ＧＵＩの各構成要素の位置が考慮されておらず、「ユーザーＡがアイコンＡ７０５を編集している状態」は、タッチパネル７０８を介してユーザーＢから見ると「ユーザーＡがアイコンＣ７１２を編集している」と誤解される恐れがある。
【０００８】
本発明は上記従来例に鑑みて成されたものであり、第１の表示部と第２の表示部で共に表示するＧＵＩの各構成要素を、各表示部の操作者に違和感なく表示させることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、例えば、第１の表示部で第１のＧＵＩを表示するとともに、第２の表示部で前記第１のＧＵＩに相当する内容を示す第２のＧＵＩを表示することにより、前記第１および第２の表示部の間でテレビ会議を行うために、前記第１および第２のＧＵＩを表すデータを処理するデータ処理装置であって、第１のＧＵＩの各構成要素について、該ＧＵＩにおける相対位置を左右で反転させる第１の種類の構成要素と、前記相対位置を左右で反転させない第２の種類の構成要素とを特定する特定手段と、第２のＧＵＩとして、前記第１の種類の構成要素を左右で反転させた構成要素と、前記第２の種類の構成要素とからなるＧＵＩを作成するＧＵＩ作成手段とを備える。
【発明の効果】
【００１０】
本発明によれば、第１の表示部と第２の表示部で共に表示するＧＵＩの各構成要素を、各表示部の操作者に違和感なく表示できる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に適用可能なシステムの一例。
【図２】ＧＵＩ作成装置およびその周辺機器の機能構成図。
【図３】映像送受信装置およびその周辺機器の機能構成図。
【図４】ＧＵＩ作成装置の処理手順を説明するフローチャート。
【図５】ＧＵＩ作成装置による左右反転処理を説明するフローチャート。
【図６】映像送受信装置の処理手順を説明するフローチャート。
【図７】映像送受信装置が表示するＧＵＩを説明する図。
【図８】映像送受信装置が表示するＧＵＩを説明する図。
【図９】ＧＵＩの一例を説明する図。
【図１０】ＧＵＩの各種属性の一例を説明する図。
【図１１】ＧＵＩ作成装置により左右反転されたＧＵＩを示す図。
【図１２】ＧＵＩ作成装置を組み込んだアプリケーションの概観図。
【図１３】左右反転できないＧＵＩを操作する例を示す図。
【図１４】左右反転できないＧＵＩを表示する方法を説明する図。
【図１５】ＧＵＩの透過／非透過を決定する際のテーブルを示す図。
【図１６】映像送受信装置およびその周辺機器の機能構成図。
【発明を実施するための形態】
【００１２】
［実施形態１］
図１は、本発明に適用可能な画像処理システムを示したものである。データ処理装置の１つであるＧＵＩ作成装置２００は、映像送受信装置Ａ３００や映像送受信装置Ｂ３５０で利用するＧＵＩデータ（グラフィカルユーザーインターフェイスデータ）を作成する。ＧＵＩデータ格納装置１０１は、上記映像送受信装置Ａ３００で利用するＧＵＩデータ１０２、映像送受信装置Ｂ３５０で利用するＧＵＩデータ１０３を格納する。映像送受信装置Ａ３００は、ＧＵＩデータ格納装置１０１に格納されたＧＵＩデータ１０２をダウンロードすることにより、これに基づいたＧＵＩを、装置内のタッチパネルディスプレイ上に表示する。これに同じく、映像送受信装置Ｂ３５０は、ＧＵＩデータ格納装置１０１に格納されたＧＵＩデータ１０３をダウンロードすることにより、これに基づいたＧＵＩを、装置内のタッチパネルディスプレイ上に表示する。なお、装置Ａと装置Ｂは、それぞれ図７におけるタッチパネル７００と７０８に相当している。そして、これらのダウンロードおよびＧＵＩの表示は、装置Ａと装置Ｂの間で行われる公知のテレビ会議動作に付随して実行される。また、各ＧＵＩの表示位置は、図７（ａ）および（ｂ）を参照して説明したものと同様に、装置Ａと装置Ｂの各表示部において、左右が反転した位置にそれぞれのＧＵＩが表示されるものとする。本実施形態では、図７（ａ）に示したＧＵＩに対して、図８に示すようなＧＵＩを構成する。即ち、画面上のＧＵＩの位置だけでなく、ＧＵＩ内部における各構成要素（アイコン等）の位置までを調整するものであり、これにより、ＧＵＩ全体の位置関係だけでなく、ＧＵＩを構成する各構成要素の位置関係をも考慮した、適切なＧＵＩの表示を行わせる。以下では、ＧＵＩを構成する各構成要素の位置関係までを考慮したデータ処理装置について説明する。
【００１３】
＜ＧＵＩ作成装置２００の動作＞
図２は、ＧＵＩ作成装置２００の機能構成図である。なお、このＧＵＩ作成装置２００は、ＣＰＵやＲＯＭ、ＲＡＭを備えたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などで実現でき、その各種機能は、上記ＲＯＭやＲＡＭに記憶されるソフトウェアのアプリケーション１２０１として実行できる。
【００１４】
図４、図５は、このＧＵＩ作成装置２００の動作手順を示すフローチャートである。
【００１５】
図１２（ａ）は、ＧＵＩ作成装置２００を組み込んだアプリケーションの概観図である。
【００１６】
以下、上記各図面を用いてＧＵＩ作成装置２００の動作について説明する。このアプリケーション１２０１には、アプリケーションに対する操作を指示する操作ボタン１２０４と、ＧＵＩを編集するためのＧＵＩ編集エリア１２０２と、利用可能なＧＵＩがストックされたＧＵＩパレット１２０３とから構成される。ＧＵＩ作成装置２００（アプリケーション１２０１）が起動すると、以下のフローチャートが実行される。
【００１７】
ステップＳ４０１では、ＧＵＩ作成装置２００における操作情報取り込み部２０４によって、ユーザーが行った操作を示す情報（操作情報）を取得する。この操作情報は、ユーザーがマウス２０１やキーボード２０２を介して行った操作に関する情報である。
【００１８】
ステップＳ４０２では、操作情報がＧＵＩの新規作成であった場合に、ステップＳ４０６に進む。ステップＳ４０６では、新規ＧＵＩデータ作成部２０３によって、ＧＵＩデータの新規作成が行われる。例えば、アプリケーション１２０１上の「Ｎｅｗ」ボタンが押された場合には、新しいＧＵＩを定義したファイルを新規に作成する。
【００１９】
ステップＳ４０３では、取り込まれたユーザー操作が既存ＧＵＩの「Ｌｏａｄ」であった場合に、ステップＳ４０７に進む。ステップＳ４０７では、ＧＵＩデータ読み込み部２０７によって、ＧＵＩデータ格納装置１０１に格納されたＧＵＩデータを読み込む。これにより、前回中断したＧＵＩ作成処理を再開できる。例えば、アプリケーション１２０１上の「Ｌｏａｄ」ボタンが押された場合に、上記再開の処理が行われる。
【００２０】
ステップＳ４０４では、操作情報がＧＵＩの「Ｓａｖｅ」を表していた場合に、ステップＳ５００に進む。ステップＳ５００では、ＧＵＩ反転部２０６によって、編集されたＧＵＩから後述する左右反転処理が施されたＧＵＩを生成する。そして、ステップＳ４０８において、上記編集されたＧＵＩを表すデータと、左右反転処理が施されたＧＵＩを表すデータとが、ＧＵＩデータ書き込み部２０５によって、装置外部のＧＵＩデータ格納装置１０１に格納される。例えば、アプリケーション１２０１上の「Ｓａｖｅ」ボタンが押された場合に上記処理が行われる。なお、ＧＵＩの反転処理の詳細については後述する。
【００２１】
ステップＳ４０５では、ユーザー操作が上記「新規作成」、「Ｌｏａｄ」、「Ｓａｖｅ」以外の該当する操作に対応する処理を実行する。例えば、ＧＵＩの編集操作などがこれに相当する。例えば、ＧＵＩを作成する開発者は、ＧＵＩパレットから、所望のＧＵＩをＧＵＩ編集エリアにドラッグ＆ドロップすることで配置、編集することができる。そこに配置できるＧＵＩの候補としては、「ボタン」、「チェックボックス」、背景画像等に用いる「ビットマップ部品」等が存在する。ＧＵＩ編集エリア１２０２では、そこに配置されたＧＵＩ部品の位置や大きさといった各種プロパティの変更を、ＧＵＩ編集エリアの中で行うことができる。また、配置したボタンのラベル（ボタン上に表示する「ＯＫ」等の文字列）を変更したり、ボタンの色を変更することができる。
【００２２】
図５は、ＧＵＩ作成装置が行うＧＵＩの左右反転処理の手順を示すフローチャートである。ここに示す手順により、あるＧＵＩに対してその内部の構成要素の位置関係が左右で反転されたＧＵＩが生成される。ここでは、図９（ａ）に示したＧＵＩに対して左右反転処理を施す例をあげながら説明する。図９（ａ）に示すように、いくつかの要素で構成されたＧＵＩは、木構造で表現することが可能である。図９（ｂ）は、図９（ａ）のＧＵＩを構成する構成要素を木構造で表現したものである。たとえば、図９（ａ）のＧＵＩを構成する構成要素の１つであるチェックボタンリスト９０２に着目する。このチェックボタンリスト９０２の構成要素としては、チェックボックス１（９０６）、チェックボックス２（９０７）、チェックボックス３（９０８）、および、これらの背景に相当するチェックボタンリスト背景９０９が存在する。このように１つのＧＵＩを階層化して作成しておくことにより、個々の構成要素を再利用することが可能になる。例えば、ＧＵＩ９０１とは別の新たなＧＵＩを構成したい場合には、チェックリスト９０２およびその各構成要素からなるツリーを、上記新たなＧＵＩの一部として含ませれば良いであろう。図５に示す処理は、最初、メインのＧＵＩに対して実行される。そこで、そのＧＵＩを構成する構成要素が１つでも在る場合には、各構成要素についても後述するステップＳ５０２のサブルーチンにおいて同等の処理が実行される。従って、図９（ｂ）に示すように、メインのＧＵＩ９０１を構成する各構成要素（９０２、９０３、９０４、９０５）についても同等の処理が実行される。更には、構成要素の１つであるチェックボタンリスト９０２を構成する各構成要素（９０６、９０７、９０８、９０８）についても同等の処理が実行される。
【００２３】
ステップＳ５０１では、入力されたＧＵＩあるいはその構成要素が、更に、それを構成する構成要素を持っているか否かを特定する。以下では、ステップＳ５０１の判断対象となる部品を「親」と見なし、それを構成する各構成要素を「子供」と呼ぶことにする。例えば、上述したＧＵＩに相当する「文字スタイル変更パネル９００」について、ステップＳ５０１の判断処理を行う場合には、その「子供」として構成要素（９０２、９０３、９０４、９０５）を持つので、ステップＳ５０２に進む。
【００２４】
ステップＳ５０２では、前段のステップＳ５０１において「子供」と見なされた各構成要素（例えば、構成要素９０２、９０３、９０４、９０５）のそれぞれを処理の対象として、別途、ステップＳ５０１からの手順を実行する。即ち、ステップＳ５０２の内部処理（サブルーチン）においては、「子供」であった構成要素９０２、９０３、９０４、９０５は、別途、「親」としてステップＳ５０１からの手順が実行される。ステップＳ５０２において、各「子供」および、この「子供」の「子供」などに対する、現在の階層よりも低い階層の全てのサブルーチンが終った後、ステップＳ５０３に進む。
【００２５】
ステップＳ５０３では、現在の処理手順の階層における「子供」に相当する各構成要素について、互いの相対的な位置関係が左右で反転する。言い換えれば、各構成要素について、ＧＵＩ全体における位置関係を左右で反転させる。ここでの一例として、ステップＳ５０１において、文字スタイル変更パネル９０１を処理対象としている場合の階層について考える。この場合のステップＳ５０３の処理対象は、上記パネル９０１の「子供」に相当する構成要素９０２、９０３、９０４、９０５の４つである。具体的には、これら構成要素９０２、９０３、９０４、９０５の左右の位置関係を反転させることになるが、この場合には、ボタン９０３とボタン９０４の左右の位置が入れ替わる。ステップＳ５０３の別の一例として、ステップＳ５０１において、構成要素９０２を処理対象としている場合の階層について考える。この場合のステップＳ５０３の処理対象は、上記構成要素９０２の「子供」に相当する構成要素９０６、９０７、９０８、９０８の４つである。具体的には、これら構成要素９０６、９０７、９０８、９０８の左右の位置関係を反転させることになるが、この場合には、チェックボックス９０６、９０７、９０８の３つの左右の位置関係が入れ替わる。
【００２６】
ステップＳ５０４では、ステップＳ５０１で処理対象としているＧＵＩまたはその構成要素がアートワークを持つかどうかを特定する。ここで、「アートワークを持つ」という意味は、そのＧＵＩまたは構成要素そのものが、それを構成する各構成要素とは別に、見た目として表現するべき視覚的情報を持っているという意味である。一般的に、ボタン９０３などの「子供」を持たない構成要素は、何らかのアートワークを持っている。逆に、構成要素９０２のように、「子供」を持つ構成要素は、それ自体はアートワークを持たない。アートワークを持つ構成要素は、その構成要素自体の左右の位置関係を反転してしまうと、本来の視覚的情報を失ってしまう。従って、本実施形態では、ステップＳ５０４で判断対象となる構成要素について、それがアートワークを持つ場合にはステップＳ５０５に進み、アートワークを持たない場合には現在対象としている構成要素への処理を終了する。本実施形態では、各構成要素がアートワークを持つかどうかを、図１０に示すようなテーブルを装置内に記憶しておくことによって、いつでもその属性を判定できるものとする。そして、このテーブルは、ＧＵＩの編集者などにより適宜変更できる。
【００２７】
ステップＳ５０５では、現在判断対象となっている構成要素について、そのアートワークが左右の反転が可能であるか否かを判断し、もし左右反転が可能であればステップＳ５０６に進み、もし不可能であれば、現在対象としている構成要素への処理を終了する。
【００２８】
ステップＳ５０６では、左右反転が可能なアートワークを持つ構成要素について、その左右の位置関係が反転するように変更する。例えば、パネル背景に相当する構成要素９０５などは、この処理が可能である。例えば、このようなパネル背景では、単純なグラデーションにより背景色が塗られただけのアートワークを持つ。このような場合には、左右反転を行っても問題がないであろう。
【００２９】
図１１は、図９（ａ）に示したＧＵＩ９０１、即ち、文字スタイル変更パネルを、上記図５の手順に沿って左右反転処理した結果である。その結果であるＧＵＩ１１００は、ＧＵＩ９０１と比較すると、「ＯＫ」ボタンと「キャンセル」ボタンの位置関係が左右で反転している。更には、３つのチェックボックス９０６〜９０８の位置関係も左右で反転している。
【００３０】
以上の処理により、ステップＳ４０４において「Ｓａｖｅ」の指示がされた場合には、編集されたＧＵＩそのもの（ＧＵＩ９０１）を表すデータと、上記反転処理されたＧＵＩ（ＧＵＩ１１００）を表すデータの２種類が、ＧＵＩデータ格納装置１０１に格納できる。そして、映像送受信装置Ａおよび映像送受信装置Ｂとの間でテレビ会議が行われるような場合には、一方の装置でＧＵＩ９０１を表示し、他方の装置でＧＵＩ１１００を表示することにより、双方向の画像通信を行う。これにより、上記２つの装置のそれぞれのユーザーが、互いに違和感のない画面表示を行うことができる。なお、ここで格納されるＧＵＩのデータ形式としては、例えば、ＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）やＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）といった既存のフォーマットを利用すれば良い。
【００３１】
＜映像送受信装置の動作＞
図３は、上述した各映像送受信装置の機能構成図である。ここでは、映像送受信装置Ａとして説明するが、映像送受信装置Ｂも同様の機能構成図によって説明できる。この映像送受信装置は、テレビ会議システムにおいて、それぞれの地点に置かれる端末に相当する。この装置は、基本的な機能として、映像を送信する映像送信部３０８、映像を受信する映像受信部３０４を備え、これらが種々のネットワークを介して他の映像送受信装置と通信することによってテレビ会議を実行できる。また、ディスプレイに相当する映像表示部３０２を有し、装置表面に備えるタッチパネル３０１と共同してタッチパネルディスプレイとして利用可能である。また、映像表示部３０２は、後述する受信映像表示部３０３、電子データ表示部３０５、ＧＵＩ表示部３０６から供給される各種データを画像として合成して表示する。映像受信部３０４は、外部の映像送受信装置から、テレビ会議で利用するための種々の情報を受信する。映像送信部３０８は、自装置が保有する各種情報をテレビ会議を行うにあたって外部の映像送受信装置に送信する。ＧＵＩデータ取り込み部３０７は、上述したＧＵＩデータ格納装置から、自装置の映像表示部に表示するべきＧＵＩを表すＧＵＩデータを受信する。
【００３２】
図６は、１つの映像送受信装置が実行する処理手順を示すフローチャートである。ステップＳ６００では、テレビ会議を行う相手の映像送受信装置との通信を確立する。ステップＳ６０１では、自分の装置の識別情報を取得する。例えば、テレビ会議を行う相手の映像送受信装置とネゴシエーションを行い、それぞれの装置の識別情報を共有する。ステップＳ６０２では、映像送受信装置が利用する、ＧＵＩデータ格納装置１０１に格納されたＧＵＩデータの読み込みを行う。このＧＵＩデータの読み込みは、ＧＵＩデータ取り込み部３０７によって、ＧＵＩデータ格納装置１０１にアクセスすることによって行われる。例えば、自分の装置が、映像送受信装置Ａである場合には、ＧＵＩデータ取り込み部３０７によって、映像送受信装置Ａ用ＧＵＩデータ１０２を読み込む。ここでは、映像送受信装置Ａ用のＧＵＩデータと映像送受信装置Ｂ用のＧＵＩデータは、上述したＧＵＩ９０１とＧＵＩ１１００の関係である。ステップＳ６０３では、ユーザー操作により、機器への終了指示がなされたかどうかを判定する。もし、ユーザーがリモコン操作などで「終了」を指示した場合、映像送受信装置は動作を終了する。もし「終了」の指示が行われていない場合には、ステップＳ６０４に進む。ステップＳ６０４では、映像受信部３０４によって、通信相手である映像送受信装置からの映像を受信する。ここで受信した映像は、自分の装置における受信映像表示部３０３に送られる。ステップＳ６０５では、上述した編集中のドキュメント７０４などに代表される電子データの状態を取得する。ここでは、テレビ会議の参加者同士が共同して編集している電子データが、現在どのような編集結果になっているかを表す情報を取得する。ここで取得された電子データは、電子データ表示部３０５に送られる。ステップＳ６０６では、ＧＵＩの状態を取得する。ここでは、上記電子データ同様に、ディスプレイに表示中のＧＵＩに対して、テレビ会議の参加者がどのような操作を行っているかを取得する。ここで取得されたＧＵＩの状態情報は、ＧＵＩ表示部３０６に送られる。ステップＳ６０７では、ディスプレイに表示する画像を作成する。ここでは、受信映像表示部３０３、電子データ表示部３０５、ＧＵＩ表示部３０６が取得した現時点の情報（相手の映像、編集中の電子データ、操作中のＧＵＩなどが如何なるものかを示す情報）を利用し、ディスプレイに表示する画像を作成する。例えば、テレビ会議の相手から受信した最新映像と、受信済みの最新の電子データと、最新のＧＵＩとを合成した画像を作成する。ステップＳ６０８では、ステップ６０７で作成された表示用の画像が映像表示部３０２に送られ、そこで表示される。ステップＳ６０９では、テレビ会議の各参加者がＧＵＩへの操作が行われたかどうかを判定する。ＧＵＩの操作が行われた場合にはステップＳ６１０に進み、ＧＵＩの操作が行われない場合にはステップＳ６０３に戻る。ステップＳ６１０では、会議参加者により行われたＧＵＩの操作に対応する処理を行う。例えば、ディスプレイ（映像表示部３０２）に表示されている編集中のドキュメント（電子データ）を、拡大して表示させる指示を、会議参加者がＧＵＩを介して操作した場合には、そのドキュメントを拡大する処理を行う。以上の処理の結果は、次のディスプレイへ表示する画像を更新する際に反映されることになる。なお、更新前後の表示画像同士の差異を出来るだけ小さくするために、ステップＳ６０４からステップＳ６１０までの処理は、短い周期で繰り返されることが望ましい。
【００３３】
以上によれば、上述したような映像送受信装置ＡとＢとの間で、各装置に向かう会議参加者が、自装置に表示されるＧＵＩと会議相手の位置関係に違和感を感じることなく、テレビ会議を行うことができる。
【００３４】
［変形例］
なお、上記実施形態１では、ＧＵＩ作成装置２００において映像送受信装置Ａ用のＧＵＩ（例えばＧＵＩ９０１）を編集し、ＳＡＶＥした直後に、図５の手順に従って、自動的に映像送受信装置Ｂ用のＧＵＩ（例えばＧＵＩ１１００）を作成していた。しかしながら、図５の左右反転処理の結果を、確認できるようにしても良い。例えば、上述した図１２（ａ）において、編集者が「Ｐｒｅｖｉｅｗ」ボタンを押下した場合には、図１２（ｂ）のプレビューア１２０５のように、映像送受信装置Ａ用のＧＵＩと映像送受信装置Ｂ用のＧＵＩを並べて表示し、確認できるようにしても良い。この機能を備えることによって、左右反転処理の結果が編集者の意図に合ったものであるかを予め確認できる。
【００３５】
また、以上の実施形態は、アニメーションを行うＧＵＩに対しても適用できる。一般的にアニメーションを行うＧＵＩは、ＳＶＧ等のベクタ形式のフォーマットで表現される。このようなフォーマットでは、移動や回転のアニメーションは起点および終点の座標で定義されることで表現される。よって、ステップＳ５０３における「子供」の構成要素の配置を左右で反転する処理で、対象となる構成要素がアニメーションを処理する場合には、その起点や終点のＧＵＩにおける相対位置を左右で反転するようにしても良い。これにより、例えば、映像送受信装置Ａ側でアイコンが右から左に移動する場合には、映像送受信装置Ｂ側で上記アイコンが左から右に移動する。これにより、映像中の会議参加者と自分とが、その移動するアイコンを追う視線が一致するので、違和感が無くなる。
【００３６】
また、上記ステップＳ５０４〜Ｓ５０６などで説明したアートワークを持つ構成要素の存在を考慮して、更に以下のような工夫をしても良い。図１３（ａ）は、映像送受信装置Ａ側のタッチパネル１３０１でユーザーＡ１３０２がＧＵＩ１３０３を操作している様子である。このＧＵＩ１３０３には、スライダという構成要素１３０４を含んでいる。一般的なスライダは、左に移動するとだんだん値が小さくなり、右に移動するとだんだん値が大きくなる。従って、このスライダ１３０４のアートワークは左右方向についての意味があり、左右を反転してしまうと相手の会議参加者（閲覧者）が混乱するであろう。よって、スライダ１３０４のような構成要素は、左右の反転を行わない。図１３（ｂ）において、ＧＵＩ１３０６は、ＧＵＩ１３０３に左右反転処理を施した結果である。図８で説明したものと同様の考え方により、ＧＵＩ全体における「ＯＫ」ボタンの位置は、左右で反転していることが理解できるだろう。これに対して、上述した性格を持つ「スライダ」である構成要素１３０７については、左右反転処理は施されていない。しかしながら、ここで１つの違和感が発生する心配がある。それは、図１３（ｂ）におけるユーザーＡ１３０８と、スライダである構成要素１３０７のつまみ（タッチして数値を移動操作する対象のマーク）との距離が、図１３（ａ）のそれと比べ、遠い距離関係にある点である。この違和感を解消するため、以下のような工夫をすると良い。即ち、もし、ステップＳ５０５において、構成要素の左右反転処理が不可能であると特定した場合には、その構成要素の透過率を下げる。このように、ある構成要素の透過率を上下させる基準としては、図１５に示すようなテーブル１５０１を装置内に保持しておくことが好ましい。このテーブル１５０１では、「透過させるか、透過させないか」で例示しているが、「透過率を高くするか、低くするか」に置き換えても良い。このテーブル１５０１を適宜参照することによって、各構成要素の透過率を制御することができる。
【００３７】
図１４に、上記工夫を行った場合の一例を示す。映像送受信装置Ｂ側のタッチパネル１４０１に表示される「左右反転処理ができない構成要素（スライダ１４０２）」については、透過を行わない。よって、この構成要素を非透過画像（領域１４０３）として表示する。これによって、構成要素１４０２に相当するスライダ（つまみ）をユーザーＡ１４０４が操作している場合であっても、そのユーザーＡ１４０４の手元が隠れて見えない。即ち、ユーザーＡ１４０４の手が上記スライダのつまみに届いていないにもかかわらず、その「つまみに手が届いていない」という状況が隠され、これを閲覧している装置Ｂの会議参加者には違和感が生じないという効果がある。
【００３８】
なお、以上では、映像送受信装置とは別のＧＵＩ作成装置２００がＧＵＩの左右反転処理を実行する場合を説明したが、ＧＵＩを画像を表示する映像送受信装置のほうで、必要に応じて上述した左右反転処理を行う場合でも、上述の実施形態と同様の効果を奏する。図１６に、この変形例を簡単に示す。図１６に示す映像送受信装置Ａ３００は、上述した図２におけるＧＵＩ反転部２０６を備える。これによって、ＧＵＩデータ格納装置１０１に格納している１種類のＧＵＩデータから、必要に応じて、左右反転処理が施されたＧＵＩを作成することが可能になる。そして、映像送受信装置Ａ３００は、映像送受信装置Ｂとの間でネゴシエーションすることにより、一方の装置がオリジナルのＧＵＩを表示し、他方が左右反転処理されたＧＵＩを表示すれば良い。もし、装置Ａが左右反転処理されたＧＵＩを表示する場合には、ＧＵＩ反転部２０６にて左右反転されたＧＵＩを、その反転部を備える装置Ａがそのまま表示すれば良い。一方で、もし、装置Ｂが反転されたＧＵＩを表示する場合には、反転部２０６で反転された上記ＧＵＩを装置Ａから装置Ｂに送信すれば良い。ただし、装置Ａおよび装置Ｂの両方が、上記ＧＵＩ反転部２０６を備えていれば、互いの装置間で、左右反転処理されたＧＵＩを表す全てのデータを送信する手間は省略できるであろう。以上のように、テレビ会議を行う少なくとも一方の映像送受信装置が、上述した左右反転処理の機能を内蔵することにより、ＧＵＩデータ格納装置１０１に１種類のＧＵＩデータを格納しておけば良くなる。即ち、ＧＵＩデータ格納装置１０１に必要とされるメモリ容量が少なくて済む。
【００３９】
なお、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。
【技術分野】
【０００１】
本発明は、テレビ会議等などの双方向画像通信システムにおいてグラフィカルユーザーインターフェイスを用いる技術に関する。
【背景技術】
【０００２】
従来、複数地点にタッチパネルディスプレイを配置し、その間で双方向画像通信および双方向音声通信を行うことにより会議を行うテレビ会議システムなどが知られている。また、このようなシステムにおいて、それぞれの地点のタッチパネルディスプレイに、まったく同じＧＵＩを表示させ、各地点の操作者（会議参加者）がそのＧＵＩを見ながら会話をすることなども可能である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０００−１２２７６７号公報
【特許文献２】特開平８−２０５１１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記テレビ会議システムなどでは、一般的に、各操作者（会議参加者）は、向かい合った状態で会議をする。従って、各参加者の目前にあるディスプレイは、相手の操作者（会議参加者）が見える“窓”とも言える。このような状況において、“窓”であるディスプレイ上において、その表から見ても裏から見ても全く同じＧＵＩを表示してしまうと不自然である。
【０００５】
この不自然な状態を解消するための一例を図７に示す。ここでは図７（ａ）に示す映像送受信装置Ａと、図７（ｂ）に示す映像送受信装置Ｂとがテレビ会議をしているものとする。また、図７（ａ）と図７（ｂ）には、タッチパネルディスプレイ７００、７０８が設置されており、それぞれに実質的に同じ内容のＧＵＩが表示されている。なお、これらＧＵＩのそれぞれは、アイコンＡ〜Ｃとドキュメントの４つの構成要素から構成されているものとする。
【０００６】
図７（ａ）では、タッチパネル７００上でドキュメント７０４（後述する電子データ）が編集されている。ここでは、ユーザーＡ７０２は、タッチパネル７００における右側の表示位置に存在するＧＵＩ（アイコンＡ７０５、アイコンＢ７０６、アイコンＣ７０７、ドキュメント７０４）を操作、編集していることになる。そして、その動きはカメラ７０１を介して、図７（ｂ）に示す映像送受信装置Ｂ（タッチパネル７０８）に表示される。このとき、ユーザーＢ７１１から見たユーザーＡ７０２の動きによれば、タッチパネル７０８の左側の表示位置に存在するＧＵＩを操作しているように見えるであろう。従って、この解消例においては、図７（ｂ）のタッチパネル７０８における“左側”に同一のＧＵＩ（アイコンＡ７１４、アイコンＢ７１３、アイコンＣ７１２、ドキュメント７１５）を表示することにより、ユーザーＡの動きとＧＵＩの位置が一致することになる。
【０００７】
しかしながら、上記例では、ＧＵＩの各構成要素の位置が考慮されておらず、「ユーザーＡがアイコンＡ７０５を編集している状態」は、タッチパネル７０８を介してユーザーＢから見ると「ユーザーＡがアイコンＣ７１２を編集している」と誤解される恐れがある。
【０００８】
本発明は上記従来例に鑑みて成されたものであり、第１の表示部と第２の表示部で共に表示するＧＵＩの各構成要素を、各表示部の操作者に違和感なく表示させることを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、例えば、第１の表示部で第１のＧＵＩを表示するとともに、第２の表示部で前記第１のＧＵＩに相当する内容を示す第２のＧＵＩを表示することにより、前記第１および第２の表示部の間でテレビ会議を行うために、前記第１および第２のＧＵＩを表すデータを処理するデータ処理装置であって、第１のＧＵＩの各構成要素について、該ＧＵＩにおける相対位置を左右で反転させる第１の種類の構成要素と、前記相対位置を左右で反転させない第２の種類の構成要素とを特定する特定手段と、第２のＧＵＩとして、前記第１の種類の構成要素を左右で反転させた構成要素と、前記第２の種類の構成要素とからなるＧＵＩを作成するＧＵＩ作成手段とを備える。
【発明の効果】
【００１０】
本発明によれば、第１の表示部と第２の表示部で共に表示するＧＵＩの各構成要素を、各表示部の操作者に違和感なく表示できる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に適用可能なシステムの一例。
【図２】ＧＵＩ作成装置およびその周辺機器の機能構成図。
【図３】映像送受信装置およびその周辺機器の機能構成図。
【図４】ＧＵＩ作成装置の処理手順を説明するフローチャート。
【図５】ＧＵＩ作成装置による左右反転処理を説明するフローチャート。
【図６】映像送受信装置の処理手順を説明するフローチャート。
【図７】映像送受信装置が表示するＧＵＩを説明する図。
【図８】映像送受信装置が表示するＧＵＩを説明する図。
【図９】ＧＵＩの一例を説明する図。
【図１０】ＧＵＩの各種属性の一例を説明する図。
【図１１】ＧＵＩ作成装置により左右反転されたＧＵＩを示す図。
【図１２】ＧＵＩ作成装置を組み込んだアプリケーションの概観図。
【図１３】左右反転できないＧＵＩを操作する例を示す図。
【図１４】左右反転できないＧＵＩを表示する方法を説明する図。
【図１５】ＧＵＩの透過／非透過を決定する際のテーブルを示す図。
【図１６】映像送受信装置およびその周辺機器の機能構成図。
【発明を実施するための形態】
【００１２】
［実施形態１］
図１は、本発明に適用可能な画像処理システムを示したものである。データ処理装置の１つであるＧＵＩ作成装置２００は、映像送受信装置Ａ３００や映像送受信装置Ｂ３５０で利用するＧＵＩデータ（グラフィカルユーザーインターフェイスデータ）を作成する。ＧＵＩデータ格納装置１０１は、上記映像送受信装置Ａ３００で利用するＧＵＩデータ１０２、映像送受信装置Ｂ３５０で利用するＧＵＩデータ１０３を格納する。映像送受信装置Ａ３００は、ＧＵＩデータ格納装置１０１に格納されたＧＵＩデータ１０２をダウンロードすることにより、これに基づいたＧＵＩを、装置内のタッチパネルディスプレイ上に表示する。これに同じく、映像送受信装置Ｂ３５０は、ＧＵＩデータ格納装置１０１に格納されたＧＵＩデータ１０３をダウンロードすることにより、これに基づいたＧＵＩを、装置内のタッチパネルディスプレイ上に表示する。なお、装置Ａと装置Ｂは、それぞれ図７におけるタッチパネル７００と７０８に相当している。そして、これらのダウンロードおよびＧＵＩの表示は、装置Ａと装置Ｂの間で行われる公知のテレビ会議動作に付随して実行される。また、各ＧＵＩの表示位置は、図７（ａ）および（ｂ）を参照して説明したものと同様に、装置Ａと装置Ｂの各表示部において、左右が反転した位置にそれぞれのＧＵＩが表示されるものとする。本実施形態では、図７（ａ）に示したＧＵＩに対して、図８に示すようなＧＵＩを構成する。即ち、画面上のＧＵＩの位置だけでなく、ＧＵＩ内部における各構成要素（アイコン等）の位置までを調整するものであり、これにより、ＧＵＩ全体の位置関係だけでなく、ＧＵＩを構成する各構成要素の位置関係をも考慮した、適切なＧＵＩの表示を行わせる。以下では、ＧＵＩを構成する各構成要素の位置関係までを考慮したデータ処理装置について説明する。
【００１３】
＜ＧＵＩ作成装置２００の動作＞
図２は、ＧＵＩ作成装置２００の機能構成図である。なお、このＧＵＩ作成装置２００は、ＣＰＵやＲＯＭ、ＲＡＭを備えたＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などで実現でき、その各種機能は、上記ＲＯＭやＲＡＭに記憶されるソフトウェアのアプリケーション１２０１として実行できる。
【００１４】
図４、図５は、このＧＵＩ作成装置２００の動作手順を示すフローチャートである。
【００１５】
図１２（ａ）は、ＧＵＩ作成装置２００を組み込んだアプリケーションの概観図である。
【００１６】
以下、上記各図面を用いてＧＵＩ作成装置２００の動作について説明する。このアプリケーション１２０１には、アプリケーションに対する操作を指示する操作ボタン１２０４と、ＧＵＩを編集するためのＧＵＩ編集エリア１２０２と、利用可能なＧＵＩがストックされたＧＵＩパレット１２０３とから構成される。ＧＵＩ作成装置２００（アプリケーション１２０１）が起動すると、以下のフローチャートが実行される。
【００１７】
ステップＳ４０１では、ＧＵＩ作成装置２００における操作情報取り込み部２０４によって、ユーザーが行った操作を示す情報（操作情報）を取得する。この操作情報は、ユーザーがマウス２０１やキーボード２０２を介して行った操作に関する情報である。
【００１８】
ステップＳ４０２では、操作情報がＧＵＩの新規作成であった場合に、ステップＳ４０６に進む。ステップＳ４０６では、新規ＧＵＩデータ作成部２０３によって、ＧＵＩデータの新規作成が行われる。例えば、アプリケーション１２０１上の「Ｎｅｗ」ボタンが押された場合には、新しいＧＵＩを定義したファイルを新規に作成する。
【００１９】
ステップＳ４０３では、取り込まれたユーザー操作が既存ＧＵＩの「Ｌｏａｄ」であった場合に、ステップＳ４０７に進む。ステップＳ４０７では、ＧＵＩデータ読み込み部２０７によって、ＧＵＩデータ格納装置１０１に格納されたＧＵＩデータを読み込む。これにより、前回中断したＧＵＩ作成処理を再開できる。例えば、アプリケーション１２０１上の「Ｌｏａｄ」ボタンが押された場合に、上記再開の処理が行われる。
【００２０】
ステップＳ４０４では、操作情報がＧＵＩの「Ｓａｖｅ」を表していた場合に、ステップＳ５００に進む。ステップＳ５００では、ＧＵＩ反転部２０６によって、編集されたＧＵＩから後述する左右反転処理が施されたＧＵＩを生成する。そして、ステップＳ４０８において、上記編集されたＧＵＩを表すデータと、左右反転処理が施されたＧＵＩを表すデータとが、ＧＵＩデータ書き込み部２０５によって、装置外部のＧＵＩデータ格納装置１０１に格納される。例えば、アプリケーション１２０１上の「Ｓａｖｅ」ボタンが押された場合に上記処理が行われる。なお、ＧＵＩの反転処理の詳細については後述する。
【００２１】
ステップＳ４０５では、ユーザー操作が上記「新規作成」、「Ｌｏａｄ」、「Ｓａｖｅ」以外の該当する操作に対応する処理を実行する。例えば、ＧＵＩの編集操作などがこれに相当する。例えば、ＧＵＩを作成する開発者は、ＧＵＩパレットから、所望のＧＵＩをＧＵＩ編集エリアにドラッグ＆ドロップすることで配置、編集することができる。そこに配置できるＧＵＩの候補としては、「ボタン」、「チェックボックス」、背景画像等に用いる「ビットマップ部品」等が存在する。ＧＵＩ編集エリア１２０２では、そこに配置されたＧＵＩ部品の位置や大きさといった各種プロパティの変更を、ＧＵＩ編集エリアの中で行うことができる。また、配置したボタンのラベル（ボタン上に表示する「ＯＫ」等の文字列）を変更したり、ボタンの色を変更することができる。
【００２２】
図５は、ＧＵＩ作成装置が行うＧＵＩの左右反転処理の手順を示すフローチャートである。ここに示す手順により、あるＧＵＩに対してその内部の構成要素の位置関係が左右で反転されたＧＵＩが生成される。ここでは、図９（ａ）に示したＧＵＩに対して左右反転処理を施す例をあげながら説明する。図９（ａ）に示すように、いくつかの要素で構成されたＧＵＩは、木構造で表現することが可能である。図９（ｂ）は、図９（ａ）のＧＵＩを構成する構成要素を木構造で表現したものである。たとえば、図９（ａ）のＧＵＩを構成する構成要素の１つであるチェックボタンリスト９０２に着目する。このチェックボタンリスト９０２の構成要素としては、チェックボックス１（９０６）、チェックボックス２（９０７）、チェックボックス３（９０８）、および、これらの背景に相当するチェックボタンリスト背景９０９が存在する。このように１つのＧＵＩを階層化して作成しておくことにより、個々の構成要素を再利用することが可能になる。例えば、ＧＵＩ９０１とは別の新たなＧＵＩを構成したい場合には、チェックリスト９０２およびその各構成要素からなるツリーを、上記新たなＧＵＩの一部として含ませれば良いであろう。図５に示す処理は、最初、メインのＧＵＩに対して実行される。そこで、そのＧＵＩを構成する構成要素が１つでも在る場合には、各構成要素についても後述するステップＳ５０２のサブルーチンにおいて同等の処理が実行される。従って、図９（ｂ）に示すように、メインのＧＵＩ９０１を構成する各構成要素（９０２、９０３、９０４、９０５）についても同等の処理が実行される。更には、構成要素の１つであるチェックボタンリスト９０２を構成する各構成要素（９０６、９０７、９０８、９０８）についても同等の処理が実行される。
【００２３】
ステップＳ５０１では、入力されたＧＵＩあるいはその構成要素が、更に、それを構成する構成要素を持っているか否かを特定する。以下では、ステップＳ５０１の判断対象となる部品を「親」と見なし、それを構成する各構成要素を「子供」と呼ぶことにする。例えば、上述したＧＵＩに相当する「文字スタイル変更パネル９００」について、ステップＳ５０１の判断処理を行う場合には、その「子供」として構成要素（９０２、９０３、９０４、９０５）を持つので、ステップＳ５０２に進む。
【００２４】
ステップＳ５０２では、前段のステップＳ５０１において「子供」と見なされた各構成要素（例えば、構成要素９０２、９０３、９０４、９０５）のそれぞれを処理の対象として、別途、ステップＳ５０１からの手順を実行する。即ち、ステップＳ５０２の内部処理（サブルーチン）においては、「子供」であった構成要素９０２、９０３、９０４、９０５は、別途、「親」としてステップＳ５０１からの手順が実行される。ステップＳ５０２において、各「子供」および、この「子供」の「子供」などに対する、現在の階層よりも低い階層の全てのサブルーチンが終った後、ステップＳ５０３に進む。
【００２５】
ステップＳ５０３では、現在の処理手順の階層における「子供」に相当する各構成要素について、互いの相対的な位置関係が左右で反転する。言い換えれば、各構成要素について、ＧＵＩ全体における位置関係を左右で反転させる。ここでの一例として、ステップＳ５０１において、文字スタイル変更パネル９０１を処理対象としている場合の階層について考える。この場合のステップＳ５０３の処理対象は、上記パネル９０１の「子供」に相当する構成要素９０２、９０３、９０４、９０５の４つである。具体的には、これら構成要素９０２、９０３、９０４、９０５の左右の位置関係を反転させることになるが、この場合には、ボタン９０３とボタン９０４の左右の位置が入れ替わる。ステップＳ５０３の別の一例として、ステップＳ５０１において、構成要素９０２を処理対象としている場合の階層について考える。この場合のステップＳ５０３の処理対象は、上記構成要素９０２の「子供」に相当する構成要素９０６、９０７、９０８、９０８の４つである。具体的には、これら構成要素９０６、９０７、９０８、９０８の左右の位置関係を反転させることになるが、この場合には、チェックボックス９０６、９０７、９０８の３つの左右の位置関係が入れ替わる。
【００２６】
ステップＳ５０４では、ステップＳ５０１で処理対象としているＧＵＩまたはその構成要素がアートワークを持つかどうかを特定する。ここで、「アートワークを持つ」という意味は、そのＧＵＩまたは構成要素そのものが、それを構成する各構成要素とは別に、見た目として表現するべき視覚的情報を持っているという意味である。一般的に、ボタン９０３などの「子供」を持たない構成要素は、何らかのアートワークを持っている。逆に、構成要素９０２のように、「子供」を持つ構成要素は、それ自体はアートワークを持たない。アートワークを持つ構成要素は、その構成要素自体の左右の位置関係を反転してしまうと、本来の視覚的情報を失ってしまう。従って、本実施形態では、ステップＳ５０４で判断対象となる構成要素について、それがアートワークを持つ場合にはステップＳ５０５に進み、アートワークを持たない場合には現在対象としている構成要素への処理を終了する。本実施形態では、各構成要素がアートワークを持つかどうかを、図１０に示すようなテーブルを装置内に記憶しておくことによって、いつでもその属性を判定できるものとする。そして、このテーブルは、ＧＵＩの編集者などにより適宜変更できる。
【００２７】
ステップＳ５０５では、現在判断対象となっている構成要素について、そのアートワークが左右の反転が可能であるか否かを判断し、もし左右反転が可能であればステップＳ５０６に進み、もし不可能であれば、現在対象としている構成要素への処理を終了する。
【００２８】
ステップＳ５０６では、左右反転が可能なアートワークを持つ構成要素について、その左右の位置関係が反転するように変更する。例えば、パネル背景に相当する構成要素９０５などは、この処理が可能である。例えば、このようなパネル背景では、単純なグラデーションにより背景色が塗られただけのアートワークを持つ。このような場合には、左右反転を行っても問題がないであろう。
【００２９】
図１１は、図９（ａ）に示したＧＵＩ９０１、即ち、文字スタイル変更パネルを、上記図５の手順に沿って左右反転処理した結果である。その結果であるＧＵＩ１１００は、ＧＵＩ９０１と比較すると、「ＯＫ」ボタンと「キャンセル」ボタンの位置関係が左右で反転している。更には、３つのチェックボックス９０６〜９０８の位置関係も左右で反転している。
【００３０】
以上の処理により、ステップＳ４０４において「Ｓａｖｅ」の指示がされた場合には、編集されたＧＵＩそのもの（ＧＵＩ９０１）を表すデータと、上記反転処理されたＧＵＩ（ＧＵＩ１１００）を表すデータの２種類が、ＧＵＩデータ格納装置１０１に格納できる。そして、映像送受信装置Ａおよび映像送受信装置Ｂとの間でテレビ会議が行われるような場合には、一方の装置でＧＵＩ９０１を表示し、他方の装置でＧＵＩ１１００を表示することにより、双方向の画像通信を行う。これにより、上記２つの装置のそれぞれのユーザーが、互いに違和感のない画面表示を行うことができる。なお、ここで格納されるＧＵＩのデータ形式としては、例えば、ＳＶＧ（Ｓｃａｌａｂｌｅ Ｖｅｃｔｏｒ Ｇｒａｐｈｉｃｓ）やＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）といった既存のフォーマットを利用すれば良い。
【００３１】
＜映像送受信装置の動作＞
図３は、上述した各映像送受信装置の機能構成図である。ここでは、映像送受信装置Ａとして説明するが、映像送受信装置Ｂも同様の機能構成図によって説明できる。この映像送受信装置は、テレビ会議システムにおいて、それぞれの地点に置かれる端末に相当する。この装置は、基本的な機能として、映像を送信する映像送信部３０８、映像を受信する映像受信部３０４を備え、これらが種々のネットワークを介して他の映像送受信装置と通信することによってテレビ会議を実行できる。また、ディスプレイに相当する映像表示部３０２を有し、装置表面に備えるタッチパネル３０１と共同してタッチパネルディスプレイとして利用可能である。また、映像表示部３０２は、後述する受信映像表示部３０３、電子データ表示部３０５、ＧＵＩ表示部３０６から供給される各種データを画像として合成して表示する。映像受信部３０４は、外部の映像送受信装置から、テレビ会議で利用するための種々の情報を受信する。映像送信部３０８は、自装置が保有する各種情報をテレビ会議を行うにあたって外部の映像送受信装置に送信する。ＧＵＩデータ取り込み部３０７は、上述したＧＵＩデータ格納装置から、自装置の映像表示部に表示するべきＧＵＩを表すＧＵＩデータを受信する。
【００３２】
図６は、１つの映像送受信装置が実行する処理手順を示すフローチャートである。ステップＳ６００では、テレビ会議を行う相手の映像送受信装置との通信を確立する。ステップＳ６０１では、自分の装置の識別情報を取得する。例えば、テレビ会議を行う相手の映像送受信装置とネゴシエーションを行い、それぞれの装置の識別情報を共有する。ステップＳ６０２では、映像送受信装置が利用する、ＧＵＩデータ格納装置１０１に格納されたＧＵＩデータの読み込みを行う。このＧＵＩデータの読み込みは、ＧＵＩデータ取り込み部３０７によって、ＧＵＩデータ格納装置１０１にアクセスすることによって行われる。例えば、自分の装置が、映像送受信装置Ａである場合には、ＧＵＩデータ取り込み部３０７によって、映像送受信装置Ａ用ＧＵＩデータ１０２を読み込む。ここでは、映像送受信装置Ａ用のＧＵＩデータと映像送受信装置Ｂ用のＧＵＩデータは、上述したＧＵＩ９０１とＧＵＩ１１００の関係である。ステップＳ６０３では、ユーザー操作により、機器への終了指示がなされたかどうかを判定する。もし、ユーザーがリモコン操作などで「終了」を指示した場合、映像送受信装置は動作を終了する。もし「終了」の指示が行われていない場合には、ステップＳ６０４に進む。ステップＳ６０４では、映像受信部３０４によって、通信相手である映像送受信装置からの映像を受信する。ここで受信した映像は、自分の装置における受信映像表示部３０３に送られる。ステップＳ６０５では、上述した編集中のドキュメント７０４などに代表される電子データの状態を取得する。ここでは、テレビ会議の参加者同士が共同して編集している電子データが、現在どのような編集結果になっているかを表す情報を取得する。ここで取得された電子データは、電子データ表示部３０５に送られる。ステップＳ６０６では、ＧＵＩの状態を取得する。ここでは、上記電子データ同様に、ディスプレイに表示中のＧＵＩに対して、テレビ会議の参加者がどのような操作を行っているかを取得する。ここで取得されたＧＵＩの状態情報は、ＧＵＩ表示部３０６に送られる。ステップＳ６０７では、ディスプレイに表示する画像を作成する。ここでは、受信映像表示部３０３、電子データ表示部３０５、ＧＵＩ表示部３０６が取得した現時点の情報（相手の映像、編集中の電子データ、操作中のＧＵＩなどが如何なるものかを示す情報）を利用し、ディスプレイに表示する画像を作成する。例えば、テレビ会議の相手から受信した最新映像と、受信済みの最新の電子データと、最新のＧＵＩとを合成した画像を作成する。ステップＳ６０８では、ステップ６０７で作成された表示用の画像が映像表示部３０２に送られ、そこで表示される。ステップＳ６０９では、テレビ会議の各参加者がＧＵＩへの操作が行われたかどうかを判定する。ＧＵＩの操作が行われた場合にはステップＳ６１０に進み、ＧＵＩの操作が行われない場合にはステップＳ６０３に戻る。ステップＳ６１０では、会議参加者により行われたＧＵＩの操作に対応する処理を行う。例えば、ディスプレイ（映像表示部３０２）に表示されている編集中のドキュメント（電子データ）を、拡大して表示させる指示を、会議参加者がＧＵＩを介して操作した場合には、そのドキュメントを拡大する処理を行う。以上の処理の結果は、次のディスプレイへ表示する画像を更新する際に反映されることになる。なお、更新前後の表示画像同士の差異を出来るだけ小さくするために、ステップＳ６０４からステップＳ６１０までの処理は、短い周期で繰り返されることが望ましい。
【００３３】
以上によれば、上述したような映像送受信装置ＡとＢとの間で、各装置に向かう会議参加者が、自装置に表示されるＧＵＩと会議相手の位置関係に違和感を感じることなく、テレビ会議を行うことができる。
【００３４】
［変形例］
なお、上記実施形態１では、ＧＵＩ作成装置２００において映像送受信装置Ａ用のＧＵＩ（例えばＧＵＩ９０１）を編集し、ＳＡＶＥした直後に、図５の手順に従って、自動的に映像送受信装置Ｂ用のＧＵＩ（例えばＧＵＩ１１００）を作成していた。しかしながら、図５の左右反転処理の結果を、確認できるようにしても良い。例えば、上述した図１２（ａ）において、編集者が「Ｐｒｅｖｉｅｗ」ボタンを押下した場合には、図１２（ｂ）のプレビューア１２０５のように、映像送受信装置Ａ用のＧＵＩと映像送受信装置Ｂ用のＧＵＩを並べて表示し、確認できるようにしても良い。この機能を備えることによって、左右反転処理の結果が編集者の意図に合ったものであるかを予め確認できる。
【００３５】
また、以上の実施形態は、アニメーションを行うＧＵＩに対しても適用できる。一般的にアニメーションを行うＧＵＩは、ＳＶＧ等のベクタ形式のフォーマットで表現される。このようなフォーマットでは、移動や回転のアニメーションは起点および終点の座標で定義されることで表現される。よって、ステップＳ５０３における「子供」の構成要素の配置を左右で反転する処理で、対象となる構成要素がアニメーションを処理する場合には、その起点や終点のＧＵＩにおける相対位置を左右で反転するようにしても良い。これにより、例えば、映像送受信装置Ａ側でアイコンが右から左に移動する場合には、映像送受信装置Ｂ側で上記アイコンが左から右に移動する。これにより、映像中の会議参加者と自分とが、その移動するアイコンを追う視線が一致するので、違和感が無くなる。
【００３６】
また、上記ステップＳ５０４〜Ｓ５０６などで説明したアートワークを持つ構成要素の存在を考慮して、更に以下のような工夫をしても良い。図１３（ａ）は、映像送受信装置Ａ側のタッチパネル１３０１でユーザーＡ１３０２がＧＵＩ１３０３を操作している様子である。このＧＵＩ１３０３には、スライダという構成要素１３０４を含んでいる。一般的なスライダは、左に移動するとだんだん値が小さくなり、右に移動するとだんだん値が大きくなる。従って、このスライダ１３０４のアートワークは左右方向についての意味があり、左右を反転してしまうと相手の会議参加者（閲覧者）が混乱するであろう。よって、スライダ１３０４のような構成要素は、左右の反転を行わない。図１３（ｂ）において、ＧＵＩ１３０６は、ＧＵＩ１３０３に左右反転処理を施した結果である。図８で説明したものと同様の考え方により、ＧＵＩ全体における「ＯＫ」ボタンの位置は、左右で反転していることが理解できるだろう。これに対して、上述した性格を持つ「スライダ」である構成要素１３０７については、左右反転処理は施されていない。しかしながら、ここで１つの違和感が発生する心配がある。それは、図１３（ｂ）におけるユーザーＡ１３０８と、スライダである構成要素１３０７のつまみ（タッチして数値を移動操作する対象のマーク）との距離が、図１３（ａ）のそれと比べ、遠い距離関係にある点である。この違和感を解消するため、以下のような工夫をすると良い。即ち、もし、ステップＳ５０５において、構成要素の左右反転処理が不可能であると特定した場合には、その構成要素の透過率を下げる。このように、ある構成要素の透過率を上下させる基準としては、図１５に示すようなテーブル１５０１を装置内に保持しておくことが好ましい。このテーブル１５０１では、「透過させるか、透過させないか」で例示しているが、「透過率を高くするか、低くするか」に置き換えても良い。このテーブル１５０１を適宜参照することによって、各構成要素の透過率を制御することができる。
【００３７】
図１４に、上記工夫を行った場合の一例を示す。映像送受信装置Ｂ側のタッチパネル１４０１に表示される「左右反転処理ができない構成要素（スライダ１４０２）」については、透過を行わない。よって、この構成要素を非透過画像（領域１４０３）として表示する。これによって、構成要素１４０２に相当するスライダ（つまみ）をユーザーＡ１４０４が操作している場合であっても、そのユーザーＡ１４０４の手元が隠れて見えない。即ち、ユーザーＡ１４０４の手が上記スライダのつまみに届いていないにもかかわらず、その「つまみに手が届いていない」という状況が隠され、これを閲覧している装置Ｂの会議参加者には違和感が生じないという効果がある。
【００３８】
なお、以上では、映像送受信装置とは別のＧＵＩ作成装置２００がＧＵＩの左右反転処理を実行する場合を説明したが、ＧＵＩを画像を表示する映像送受信装置のほうで、必要に応じて上述した左右反転処理を行う場合でも、上述の実施形態と同様の効果を奏する。図１６に、この変形例を簡単に示す。図１６に示す映像送受信装置Ａ３００は、上述した図２におけるＧＵＩ反転部２０６を備える。これによって、ＧＵＩデータ格納装置１０１に格納している１種類のＧＵＩデータから、必要に応じて、左右反転処理が施されたＧＵＩを作成することが可能になる。そして、映像送受信装置Ａ３００は、映像送受信装置Ｂとの間でネゴシエーションすることにより、一方の装置がオリジナルのＧＵＩを表示し、他方が左右反転処理されたＧＵＩを表示すれば良い。もし、装置Ａが左右反転処理されたＧＵＩを表示する場合には、ＧＵＩ反転部２０６にて左右反転されたＧＵＩを、その反転部を備える装置Ａがそのまま表示すれば良い。一方で、もし、装置Ｂが反転されたＧＵＩを表示する場合には、反転部２０６で反転された上記ＧＵＩを装置Ａから装置Ｂに送信すれば良い。ただし、装置Ａおよび装置Ｂの両方が、上記ＧＵＩ反転部２０６を備えていれば、互いの装置間で、左右反転処理されたＧＵＩを表す全てのデータを送信する手間は省略できるであろう。以上のように、テレビ会議を行う少なくとも一方の映像送受信装置が、上述した左右反転処理の機能を内蔵することにより、ＧＵＩデータ格納装置１０１に１種類のＧＵＩデータを格納しておけば良くなる。即ち、ＧＵＩデータ格納装置１０１に必要とされるメモリ容量が少なくて済む。
【００３９】
なお、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。
【特許請求の範囲】
【請求項１】
第１の表示部で第１のＧＵＩを表示するとともに、第２の表示部で前記第１のＧＵＩに相当する内容を示す第２のＧＵＩを表示することにより、前記第１および第２の表示部の間でテレビ会議を行うために、前記第１および第２のＧＵＩを表すデータを処理するデータ処理装置であって、
第１のＧＵＩの各構成要素について、該ＧＵＩにおける相対位置を左右で反転させる第１の種類の構成要素と、前記相対位置を左右で反転させない第２の種類の構成要素とを特定する特定手段と、
第２のＧＵＩとして、前記第１の種類の構成要素を左右で反転させた構成要素と、前記第２の種類の構成要素とからなるＧＵＩを作成するＧＵＩ作成手段と、
を備えることを特徴とするデータ処理装置。
【請求項２】
前記第１の表示部を内部に備え、前記第２の表示部との間でテレビ会議を行うことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記第２の表示部を内部に備え、前記第１の表示部との間でテレビ会議を行うことを特徴とする請求項１に記載のデータ処理装置。
【請求項４】
前記ＧＵＩ作成手段は、前記第１の種類の構成要素として、起点および終点が定義されたアニメーションを処理する場合には、前記起点および終点のＧＵＩにおける相対位置を左右で反転することを特徴とする請求項１に記載のデータ処理装置。
【請求項５】
前記ＧＵＩ作成手段は、前記第１の種類の構成要素を透過画像とし、前記第２の種類の構成要素を非透過画像とすることにより、ＧＵＩを作成することを特徴とする請求項１に記載のデータ処理装置。
【請求項６】
前記第１の表示部における前記第１のＧＵＩの表示位置と、前記第２の表示部における前記第２のＧＵＩを表示位置は、左右が反転した位置関係となっていることを特徴とする請求項１に記載のデータ処理装置。
【請求項７】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至６のいずれか１項に記載のデータ処理装置として機能させるコンピュータプログラム。
【請求項８】
請求項７に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項９】
第１の表示部で第１のＧＵＩを表示するとともに、第２の表示部で前記第１のＧＵＩに相当する内容を示す第２のＧＵＩを表示することにより、前記第１および第２の表示部の間でテレビ会議を行うために、前記第１および第２のＧＵＩを表すデータを処理するデータ処理方法であって、
特定手段によって、第１のＧＵＩの各構成要素について、該ＧＵＩにおける相対位置を左右で反転させる第１の種類の構成要素と、前記相対位置を左右で反転させない第２の種類の構成要素とを特定する特定工程と、
ＧＵＩ作成手段によって、第２のＧＵＩとして、前記第１の種類の構成要素を左右で反転させた構成要素と、前記第２の種類の構成要素とからなるＧＵＩを作成するＧＵＩ作成工程と、
を備えることを特徴とするデータ処理方法。
【請求項１】
第１の表示部で第１のＧＵＩを表示するとともに、第２の表示部で前記第１のＧＵＩに相当する内容を示す第２のＧＵＩを表示することにより、前記第１および第２の表示部の間でテレビ会議を行うために、前記第１および第２のＧＵＩを表すデータを処理するデータ処理装置であって、
第１のＧＵＩの各構成要素について、該ＧＵＩにおける相対位置を左右で反転させる第１の種類の構成要素と、前記相対位置を左右で反転させない第２の種類の構成要素とを特定する特定手段と、
第２のＧＵＩとして、前記第１の種類の構成要素を左右で反転させた構成要素と、前記第２の種類の構成要素とからなるＧＵＩを作成するＧＵＩ作成手段と、
を備えることを特徴とするデータ処理装置。
【請求項２】
前記第１の表示部を内部に備え、前記第２の表示部との間でテレビ会議を行うことを特徴とする請求項１に記載のデータ処理装置。
【請求項３】
前記第２の表示部を内部に備え、前記第１の表示部との間でテレビ会議を行うことを特徴とする請求項１に記載のデータ処理装置。
【請求項４】
前記ＧＵＩ作成手段は、前記第１の種類の構成要素として、起点および終点が定義されたアニメーションを処理する場合には、前記起点および終点のＧＵＩにおける相対位置を左右で反転することを特徴とする請求項１に記載のデータ処理装置。
【請求項５】
前記ＧＵＩ作成手段は、前記第１の種類の構成要素を透過画像とし、前記第２の種類の構成要素を非透過画像とすることにより、ＧＵＩを作成することを特徴とする請求項１に記載のデータ処理装置。
【請求項６】
前記第１の表示部における前記第１のＧＵＩの表示位置と、前記第２の表示部における前記第２のＧＵＩを表示位置は、左右が反転した位置関係となっていることを特徴とする請求項１に記載のデータ処理装置。
【請求項７】
コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至６のいずれか１項に記載のデータ処理装置として機能させるコンピュータプログラム。
【請求項８】
請求項７に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
【請求項９】
第１の表示部で第１のＧＵＩを表示するとともに、第２の表示部で前記第１のＧＵＩに相当する内容を示す第２のＧＵＩを表示することにより、前記第１および第２の表示部の間でテレビ会議を行うために、前記第１および第２のＧＵＩを表すデータを処理するデータ処理方法であって、
特定手段によって、第１のＧＵＩの各構成要素について、該ＧＵＩにおける相対位置を左右で反転させる第１の種類の構成要素と、前記相対位置を左右で反転させない第２の種類の構成要素とを特定する特定工程と、
ＧＵＩ作成手段によって、第２のＧＵＩとして、前記第１の種類の構成要素を左右で反転させた構成要素と、前記第２の種類の構成要素とからなるＧＵＩを作成するＧＵＩ作成工程と、
を備えることを特徴とするデータ処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１１−２５３３６７（Ｐ２０１１−２５３３６７Ａ）
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願番号】特願２０１０−１２７０７１（Ｐ２０１０−１２７０７１）
【出願日】平成２２年６月２日（２０１０．６．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２３年１２月１５日（２０１１．１２．１５）
【国際特許分類】
【出願日】平成２２年６月２日（２０１０．６．２）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]