端末装置、プログラムおよびリモート操作システム
【課題】ＭＦＰ側を変更することなく、かつ、表示能力に応じたリモート操作を可能にできる端末装置、プログラムおよびリモート操作システムを提供する。
【解決手段】端末装置は、表示部と、画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段と、画像を複数表示できるとの判断に応答して、操作パネルにおける表示内容を切り替えるための切替指令を画像形成装置へ与えるとともに、当該切替信号に応答して画像形成装置から出力される第１の画像データとは異なる第２の画像データを取得する切替手段と、第１および第２の画像データを表示部に表示する表示制御手段とを含む。
【解決手段】端末装置は、表示部と、画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段と、画像を複数表示できるとの判断に応答して、操作パネルにおける表示内容を切り替えるための切替指令を画像形成装置へ与えるとともに、当該切替信号に応答して画像形成装置から出力される第１の画像データとは異なる第２の画像データを取得する切替手段と、第１および第２の画像データを表示部に表示する表示制御手段とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置をリモート操作可能な端末装置、その端末装置に向けられたプログラム、およびそのリモート操作システムに関する。
【背景技術】
【０００２】
従来から、各種装置をリモート操作するような技術が提案されている。近年の情報通信技術（ＩＣＴ：Information and Communication Technology）の進歩や各種表示デバイスの進歩などに伴って、このようなリモート操作を実現する形態が種々提案されている。
【０００３】
例えば、特開２０１０−０１６７３４号公報（特許文献１）には、複数画面を同時表示している場合に、各画面に対する操作を簡単に行うことができる構成が開示されている。より具体的には、特許文献１に記載の発明は表示装置のリモートコントローラに向けられている。そして、表示装置（１）が表示部（１３）に表示する実画面に対応する仮想画面の情報をリモートコントローラ（２）に送信する。リモートコントローラ（２）の表示部（２２）は、複数の画面を含む実画面に対応する仮想画面を表示する。表示部（２２）の表示面上にはタッチパネル（２２Ａ）が設けられており、表示部（２２）は、ユーザーによって仮想画面のアイコン画面が変更された場合、変更後の仮想画面の情報を表示装置（１）に送信する。表示装置（１）は、仮想画面に同期して実画面の表示を変更する。
【０００４】
このようなリモート操作の対象となる装置は、特許文献１に記載されるようなテレビジョン装置だけではなく、各種の事務機器も含まれ得る。このような一例として、複合機（ＭＦＰ：Multi-Function Peripheral）に対するリモート操作を行なうような形態も考えられている。
【０００５】
このようなリモート操作を行なうためのデバイスとして、専用の端末装置を用意することも考えられるが、将来的には、携帯電話やスマートフォンなどの各ユーザーが所有する携帯型の装置をリモート装置としても使用することが好ましい。すなわち、各ユーザーが所有する携帯デバイスを用いて、ＭＦＰに搭載される操作パネルを代替するような形態が想定されている。
【０００６】
このようなリモート操作の形態を想定した場合、ＭＦＰ側の改造や変更などを最小限にするために、ＭＦＰの内部で生成されて操作パネル上に表示される内容（画像データ）を、ネットワークなどを介してそのまま携帯デバイスへ転送し、当該携帯デバイス上で表示するような方法が好ましい。このような方法を採用することで、ＭＦＰ本体側の改造や変更の量を最小限にでき、かつ、ユーザーから見れば、いつも使用する操作画面をそのまま使用できるというメリットもある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−０１６７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したような携帯電話やスマートフォンなどの携帯デバイスのディスプレイは、技術の進歩に伴って、どんどん高精細化されてきており、ＭＦＰに搭載されている操作パネルの画面サイズ（ビクセル数）を超えるものもある。そのため、操作パネルに表示される内容をそのまま携帯デバイスのディスプレイに表示した場合には、携帯デバイスのディスプレイの能力を十分には生かせていないことになる。
【０００９】
携帯デバイスを用いることで、操作パネルに表示される画面内容を複数同時に表示するようなニーズも存在する。例えば、何らかの操作画面と対応するヘルプ画面とを同一のディスプレイ上にあわせて表示したいといったニーズがある。このような表示によって、よりユーザーの操作性を高めることができる。
【００１０】
一方で、上述のような、ＭＦＰの内部で生成されて操作パネル上に表示される内容（画像データ）をそのまま携帯デバイスへ転送するという方式では、複数の画面内容を表示させるために何らかの新たな仕組みを設ける必要がある。すなわち、一般的には、操作パネルには同時に１つの画面が表示されるように設計されているため、この構成を変更するためにはＭＦＰの設計を変更する必要がある。しかしながら、このような複数の画面内容を表示することは、操作パネルにおける表示としては本来的に不要なものである。
【００１１】
また、いくつかの携帯デバイスでは、そのディスプレイの能力がそれほど高くないものもあり、このような携帯デバイスでは、操作パネルにおける表示内容をそのまま出力することが相応しい場合もある。
【００１２】
そこで、本願発明はこのような課題を解決するためになされたものであり、その目的は、ＭＦＰ側を変更することなく、かつ、表示能力に応じたリモート操作を可能にできる端末装置、プログラムおよびリモート操作システムを提供することである。
【課題を解決するための手段】
【００１３】
本発明のある局面に従えば、操作パネルを有する画像形成装置をリモート操作可能な端末装置を提供する。画像形成装置は、操作パネルにおける表示内容を示す画像データを端末装置へ出力するように構成されている。端末装置は、表示部と、画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段と、画像を複数表示できるとの判断に応答して、操作パネルにおける表示内容を切り替えるための切替指令を画像形成装置へ与えるとともに、当該切替信号に応答して画像形成装置から出力される第１の画像データとは異なる第２の画像データを取得する切替手段と、第１および第２の画像データを表示部に表示する表示制御手段とを含む。
【００１４】
好ましくは、表示制御手段は、第１の画像データを第１の表示領域に表示し、かつ、第２の画像データを第２の表示領域に表示するとともに、第１または第２の画像データを新たに取得するまで第１または第２の表示領域における表示内容を保持する。
【００１５】
さらに好ましくは、端末装置は、第１または第２の表示領域に対するユーザー操作に応答して、対応する操作指令を画像形成装置へ与える操作手段をさらに含む。
【００１６】
さらに好ましくは、操作指令は、ユーザー操作の対象となった表示領域に対応した表示内容を操作パネルに表示させるための指令を含む。
【００１７】
好ましくは、表示制御手段は、画像を複数表示できない場合であっても、第２の画像データを取得するとともに、第１の画像データの上に当該第２の画像データを重ねて表示する。
【００１８】
好ましくは、表示制御手段は、第１の画像データと第２の画像データとを関連付けて格納するとともに、第１の画像データの表示が指示された場合、関連付けられた第２の画像データが格納されていれば、画像形成装置から第２の画像データを新たに取得することなく、格納されている第２の画像データを表示する。
【００１９】
本発明の別の局面に従えば、操作パネルを有する画像形成装置をリモート操作するためのプログラムを提供する。プログラムは、表示部を有するコンピュータを、画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段として機能させる。画像形成装置は、操作パネルにおける表示内容を示す画像データをコンピュータへ出力するように構成されている。さらに、プログラムは、画像を複数表示できるとの判断に応答して、操作パネルにおける表示内容を切り替えるための切替指令を画像形成装置へ与えるとともに、当該切替信号に応答して画像形成装置から出力される第１の画像データとは異なる第２の画像データを取得する切替手段と、第１および第２の画像データを表示部に表示する表示制御手段として機能させる。
【００２０】
本発明のさらに別の局面に従うリモート操作システムは、操作パネルを有する画像形成装置と、画像形成装置をリモート操作可能な端末装置とを含む。画像形成装置は、操作パネルにおける表示内容を示す画像データを端末装置へ出力するように構成されている。端末装置は、表示部と、画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段と、画像を複数表示できるとの判断に応答して、操作パネルにおける表示内容を切り替えるための切替指令を画像形成装置へ与えるとともに、当該切替信号に応答して画像形成装置から出力される第１の画像データとは異なる第２の画像データを取得する切替手段と、第１および第２の画像データを表示部に表示する表示制御手段とを含む。
【発明の効果】
【００２１】
本発明によれば、ＭＦＰ側を変更することなく、かつ、表示能力に応じたリモート操作を可能にできる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態に従う端末装置を含む全体構成を示す模式図である。
【図２】本発明の実施の形態に従う端末装置によって操作されるＭＦＰの構成を示す模式図である。
【図３】本発明の実施の形態に従う端末装置の構成を示す模式図である。
【図４】本発明の実施の形態に従う端末装置によって操作されるＭＦＰの操作パネルの外観図である。
【図５】本発明の実施の形態に従う端末装置によって操作されるＭＦＰの内部的なデータの遣り取りを説明するための模式図である。
【図６】本発明の実施の形態に従う端末装置において提供されるユーザーインターフェイス（複数画面同時表示モード）の一例を示す図である。
【図７】本発明の実施の形態に従う端末装置において提供されるユーザーインターフェイス（ポップアップ表示モード）の一例を示す図である。
【図８】本発明の実施の形態に従う端末装置における全体処理手順を示すフローチャートである。
【図９】本発明の実施の形態に従う端末装置が提供するユーザーインターフェイス画面における更新例を示す図である。
【図１０】本発明の実施の形態に従う端末装置が提供するユーザーインターフェイス画面における更新例を示す図である。
【図１１】本発明の実施の形態に従う端末装置が複数画面同時表示モードで動作する場合の初期手順を示すシーケンス図である。
【図１２】本発明の実施の形態に従う端末装置が複数画面同時表示モードで動作する場合の操作／画面更新手順を示すシーケンス図である。
【図１３】本発明の実施の形態に従う端末装置がポップアップ表示モードで動作している場合にユーザーがポップアップ表示を指示した場合の手順を示すシーケンス図である。
【図１４】本発明の実施の形態に従う端末装置においてユーザーがサブ表示領域に表示されるヘルプ画面を操作した場合の手順を示すシーケンス図である。
【図１５】本発明の実施の形態の変形例に従う操作画面とヘルプ画面との対応付けについて説明するための図である。
【図１６】本発明の実施の形態の変形例に従う端末装置における全体処理手順の要部を示すフローチャートである。
【発明を実施するための形態】
【００２３】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００２４】
＜Ａ．全体構成＞
まず、本発明の実施の形態に従う端末装置を含む全体構成について説明する。
【００２５】
図１は、本発明の実施の形態に従う端末装置を含む全体構成を示す模式図である。図１を参照して、ネットワークＮＷに接続された複合機（ＭＦＰ：Multi-Function Peripheral）が配置されているとする。このネットワークＮＷには、無線通信（典型的には、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）など）を介して端末装置２とデータを遣り取りするための無線中継器３が接続されているとする。
【００２６】
ＭＦＰ１には、各種の操作を行なうための操作パネル１１０が設けられており、ユーザーは、この操作パネル１１０を操作することで、各種の指令をＭＦＰ１１０へ与える。
【００２７】
端末装置２は、典型的には、ユーザーが所有する携帯電話やスマートフォンである。ユーザーは、自己の所有する端末装置２を操作して、ＭＦＰ１に対する操作を行なう。すなわち、後述するように、端末装置２の各々には、操作パネル１１０において表示される操作画面が当該端末装置２に適して表示態様で表示される。そして、ユーザーは、ＭＦＰ１の操作パネル１１０を操作するのと同様の操作方法で、ＭＦＰ１に対して各種指令を与える。
【００２８】
これにより、ユーザーは、ＭＦＰ１から離れた位置で、ＭＦＰ１を操作することができる。
【００２９】
＜Ｂ．ＭＦＰ１の構成＞
次に、図１に示すＭＦＰ１の構成について説明する。図２は、本発明の実施の形態に従う端末装置２によって操作されるＭＦＰ１の構成を示す模式図である。
【００３０】
図２を参照して、ＭＦＰ１は、プロセッサー１００と、主メモリ１０２と、スキャナー１０４と、プリントエンジン１０６と、ネットワークインターフェイス（Ｉ／Ｆ）１０８と、操作パネル１１０と、不揮発メモリ１１２とを含む。
【００３１】
プロセッサー１００は、代表的にＣＰＵ（Central Processing Unit）などの演算装置を含んで構成され、予め格納されたプログラムを実行することで本実施の形態に従う処理を実現する。より具体的には、プロセッサー１００上では、プログラムを実行することで、表示操作ロジック１２０が生成され、後述するような処理を提供する。
【００３２】
主メモリ１０２は、代表的にＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、プロセッサー１００で実行されるプログラムやプログラムの実行に必要なデータなどを保持する。
【００３３】
不揮発メモリ１１２は、代表的にハードディスク装置やフラッシュメモリなどの記憶装置からなり、操作パネル１１０に表示される操作画面およびそれに付随する属性情報や、ユーザーが設定するカスタマイズ情報などを格納する。
【００３４】
ネットワークインターフェイス１０８は、代表的に、ネットワークＮＷを介して端末装置２（図１）などとの間でデータを送受信するための通信部であり、例えば、ＬＡＮアダプタおよびそれを制御するドライバソフトなどを含む。プリントエンジン１０６は、プリント処理を行なうための部位であり、プリント処理に係るハードウェア構成に加えて、各部の作動を制御するための制御装置をも含む。
【００３５】
操作パネル１１０は、ユーザーからの操作を受け付けるとともに、各種情報をユーザーに提示するマンマシンインターフェイスである。より具体的には、操作パネル１１０は、タッチパネル（ディスプレイおよび感圧部）や各種操作キーを含む。
【００３６】
＜Ｃ．端末装置２の構成＞
次に、図１に示す端末装置２の構成について説明する。図３は、本発明の実施の形態に従う端末装置２の構成を示す模式図である。
【００３７】
図３を参照して、端末装置２は、コンピュータであり、ＣＰＵ２００と、主メモリ２０２と、不揮発性メモリ２０４と、入力部２０６と、タッチパネル２０８と、ネットワークインターフェイス２１０と、無線通信部２１２と、音声入力部２１４とを含む。これらの各コンポーネントは、バス２１６を介して互いに接続されている。
【００３８】
ＣＰＵ２００は、オペレーティングシステムを含む各種プログラムを実行する。端末装置２は、汎用的なオペレーティングシステムの下で動作するように構成されてもよい。主メモリ２０２は、ＣＰＵ２００がプログラムを実行するためのワーキングメモリとして機能し、実行用に展開されたプログラムや実行に必要な各種変数などを一時的に保持する。不揮発メモリ２０４は、典型的には、ハードディスクやフラッシュメモリＣＰＵ２００で実行されるプログラムなどを格納する。
【００３９】
入力部２０６は、端末装置２の表面に配置されたキー群などからなり、ユーザーの操作を受け付ける。表示部であるタッチパネル２０８は、ＣＰＵ２００からの指令に従って、ユーザーに提示すべき各種情報を表示するとともに、ユーザー操作に応答した指令をＣＰＵ２００へ出力する。
【００４０】
ネットワークインターフェイス２１０は、無線中継器３（図１）を介して、ＭＦＰ１を含む各種機器とデータを遣り取りする。無線通信部２１２は、公衆回線を利用して、広域通信を行なうための送受信回路を含む。
【００４１】
音声出力部２１４は、典型的にはスピーカーなどであり、各種の音声情報をユーザーへ提供する。
【００４２】
典型的には、ＣＰＵ２００がプログラムを実行することで表示操作モジュール２２０が動的に生成され、後述するような、操作パネル１１０を有する画像形成装置１をリモート操作するための機能を提供する。このような表示操作モジュール２２０を提供するためのプログラムは、予め不揮発メモリ２０４にインストールされている場合もあるが、事後的に各種の方法を用いてインストールしてもよい。
【００４３】
例えば、プログラムを格納したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やフラッシュメモリなどの記憶媒体を介して端末装置２にインストールする方法や、ネットワークを介して端末装置２へ配信する方法などが考えられる。
【００４４】
さらに、ＭＦＰ１から端末装置２に対して、リモート操作を実現するためのプログラムをダウンロードするようにしてもよい。この場合、ＭＦＰ１の機種に応じた各種プログラムを端末装置２へ提供することができ、機種依存の処理についてもより容易に対応が可能となる。
【００４５】
なお、端末装置２は、汎用のアーキテクチャーを用いたパーソナルコンピューターとして実現してもよい。
【００４６】
＜Ｄ．操作パネル１１０および内部的なデータの遣り取り＞
次に、ＭＦＰ１の操作パネル１１０の概要および本実施の形態に従う端末装置２とのデータの遣り取りについて説明する。
【００４７】
図４は、本発明の実施の形態に従う端末装置２によって操作されるＭＦＰ１の操作パネル１１０の外観図である。図４を参照して、操作パネル１１０は、表示部および操作部としてのタッチパネルがほぼ中央に設けられており、その両側に、操作部としてキー群が設けられている。このタッチパネルには、ＭＦＰ１を操作するための操作画面が表示される。ＭＦＰ１の操作パネル１１０では、常に１つの操作画面が表示されるようになっている。この操作画面では、各種情報が表示されるとともに、ユーザーがタッチ操作できるように、操作オブジェクト（アイコン）が配置されている。ユーザーがいずれかの操作オブジェクトをタッチすると、対応する指令が内部的に発行されて、別の操作画面への遷移や各種設定操作が行なわれる。
【００４８】
ＭＦＰ１は、操作パネル１１０における表示内容を示す画像データをそのまま端末装置２へ出力するように構成されている。また、ＭＦＰ１は、端末装置２からの指令を受け付けるようにも構成されている。
【００４９】
図５は、本発明の実施の形態に従う端末装置２によって操作されるＭＦＰ１の内部的なデータの遣り取りを説明するための模式図である。図５を参照して、表示操作ロジック１２０（図２）は、主メモリ１０２に格納されている操作画面のデータを参照して、画像データを操作パネル１１０のタッチパネル（ディスプレイ１１０ａ）へ出力する。また、表示操作ロジック１２０は、操作パネル１１０のタッチパネル（感圧部１１０ｂまたはキー群１１０ｃ）に対するユーザー操作に応答して、対応する操作指令を受け付ける。表示操作ロジック１２０は、操作指令に従って、操作パネル１１０に表示する操作画面を適宜更新し、あるいは、操作指令に従って各種の内部コマンドを発行する。
【００５０】
表示操作ロジック１２０から操作パネル１１０へ出力される画像データは、並列的に端末装置２へ出力される。すなわち、表示操作ロジック１２０は、同一の画像データを操作パネル１１０および端末装置２へ出力することが可能となっている。なお、操作表示ロジック１２０から端末装置２への画像データの伝送は、ネットワークインターフェイス１０８（図２）を介して行なわれる。
【００５１】
また、操作パネル１１０から表示操作ロジック１２０への操作指令の伝送経路に対して、端末装置２からの操作指令を（論理的に）重畳することが可能となっている。すなわち、表示操作ロジック１２０は、ユーザーが操作パネル１１０を操作することで発行される操作指令に加えて、ユーザーが端末装置２を操作することで発行される操作指令をその区別なく受け付ける。そのため、端末装置２は、操作パネル１１０が発行する内部コマンドをエミュレートすることで、ユーザーが操作パネル１１０を操作した場合に発行される操作指令と同様の操作指令を発行することができる。
【００５２】
＜Ｅ．端末装置２が提供するユーザーインターフェイス＞
次に、本実施の形態に従う端末装置２において提供されるユーザーインターフェイスについて例示する。
【００５３】
図６は、本発明の実施の形態に従う端末装置２において提供されるユーザーインターフェイス（複数画面同時表示モード）の一例を示す図である。図７は、本発明の実施の形態に従う端末装置２において提供されるユーザーインターフェイス（ポップアップ表示モード）の一例を示す図である。
【００５４】
図６および図７には、操作パネル１１０に表示される操作画面の複数を端末装置２に表示する例を示す。このような複数の操作画面を表示する場合の典型例としては、何らかの操作を行なうための画面と当該画面における操作を支援するためのヘルプ画面とを表示する場合が考えられる。
【００５５】
より具体的には、図６および図７には、原稿の背景（白地部分）を選択した色で着色した上でプリント処理を行なう機能に関する操作画面と、当該操作画面に対応するヘルプ画面とを同時に表示する例を示す。
【００５６】
図６には、これらの複数の画面をそれぞれ異なるメイン表示領域３１０Ａおよびサブ表示領域３２０Ａに互いに重ねることなく並べて表示する態様の例を示す。すなわち、図６に示す複数画面同時表示モードにおいては、メイン表示領域３１０Ａに操作パネル１１０の操作画面、サブ表示領域３２０Ａにヘルプ画面が常に表示される。また、メイン表示領域３１０Ａの操作画面をユーザーが操作して別の操作画面が遷移すると、サブ表示領域
２０Ａのヘルプ両面もその遷移先の操作画面と同期して遷移する。
【００５７】
一方、図７には、これらの複数の画面をそれぞれ異なるメイン表示領域３１０Ｂおよびサブ表示領域３２０Ｂに表示するが、メイン表示領域３１０Ｂとサブ表示領域３２０Ｂとは互いに重ねて表示する態様の例を示す。すなわち、図７に示すポップアップ表示モードにおいては、通常は操作パネル１１０の操作画面のみが表示されており、ユーザーが所定の操作を行なうことでヘルプ画面が呼び出されると、メイン表示領域３１０Ｂ内の操作画面上にオーバーレイ表示される形態でポップアップウィンドウとしてヘルプ両面が表示される。
【００５８】
このように、端末装置２の表示手段であるタッチパネル２０８は、操作パネルにおける表示内容を示す画像データ（操作画面）を第１の表示領域（表示領域３１０Ａまたは３１０Ｂ）に表示し、かつ、操作パネルにおける別の表示内容を示す画像データ（ヘルプ画面）を第２の表示領域（表示領域３２０Ａまたは３２０Ｂ）に表示する。
【００５９】
図６および図７に示すそれぞれ異なる表示態様は、ユーザーが任意に選択することができる。但し、複数画面同時表示モードにおいては、タッチパネル２０８の画像サイズ（解像度）と操作パネル１１０で表示される画像データの大きさ（解像度）との関係によっては、適切な表示を行なうことができない場合がある。例えば、図６に示す例では、操作パネル１１０において表示される画像サイズより端末装置２のタッチパネル２０８の解像度が十分に大きいので、複数の（３つ以上であってもよい）表示領域を互いに重ならないように配置することが可能である。これに対して、図７に示すように操作パネル１１０において表示される画像サイズに比較して端末装置２のタッチパネル２０８の解像度が十分には大きくない場合には、複数の表示領域を重ならないように配置することが難しい。あるいは、複数の表示領域を違いに重ならないように配置した場合には、リサイズの結果、文字が小さくなり過ぎて内容を視認することが難しくなる場合もある。このような場合には、単一の操作画面のみを表示する態様、あるいは、図７に示すようなポップアップ表示が好ましい。
【００６０】
そこで、本実施の形態に従う端末装置２は、ＭＦＰ１の操作パネル１１０から出力されるいずれかの画像データに基づいて表示態様を決定し、この決定された表示態様で、受信した画像データをタッチパネル２０８に表示する。
【００６１】
以下の説明では、図６および図７に示すように、複数画面同時表示モードおよびポップアップ表示モードを選択可能な例について説明するが、これ以外の表示モードを採用してもよいし、さらに別のモードを追加してもよい。
【００６２】
＜Ｆ．処理手順＞
（ｆ１：全体処理手順）
まず、本実施の形態に従う端末装置２における全体処理手順について説明する。図８は、本発明の実施の形態に従う端末装置２における全体処理手順を示すフローチャートである。図８に示す各ステップは、典型的には、ＣＰＵ２００がプログラムを実行することで実現される。すなわち、表示操作モジュール２２０が提供する機能であるともいえる。
【００６３】
図８を参照して、ユーザーが端末装置２を操作して本実施の形態に従うリモート操作に係るプログラムを起動すると、以下の処理が開示される。まず、端末装置２は、ネットワークインターフェイス２１０（図３）を有効化し、ＭＦＰ１と接続を試みる（ステップＳ２）。そして、端末装置２は、ＭＦＰ１と接続されたか否かを判断する（ステップＳ４）。ＭＦＰ１と接続されていない場合（ステップＳ４においてＮＯの場合）には、ステップＳ２以下の処理が繰り返される。
【００６４】
ＭＦＰ１と接続された場合（ステップＳ４においてＹＥＳの場合）には、端末装置２は、ＭＦＰ１からその時点での操作パネル１１０における表示内容を示す画像データを取得する（ステップＳ６）。
【００６５】
続いて、端末装置２は、ユーザーから、複数画面同時表示モードおよびポップアップ表示モードの選択を受け付ける（ステップＳ８）。複数画面同時表示モードが選択された場合（ステップＳ８において「複数画面同時表示モード」の場合）には、ステップＳ１０以下の処理が実行される。これに対して、ポップアップ表示モードが選択された場合（ステップＳ８において「ポップアップ表示モード」の場合）には、ステップＳ３０以下の処理が実行される。
【００６６】
複数画面同時表示モードが選択された場合には、端末装置２は、取得した画像データの属性に基づいて、表示モードを決定する。すなわち、端末装置２のＣＰＵ２００（表示操作モジュール２２０）は、画像形成装置１から出力される画像データ（操作画面）に基づいて、タッチパネル２０８上に画像を複数表示できるか否かを判断する。より具体的には、端末装置２は、取得した画像データの画素サイズが所定値以下であるか否かを判断する（ステップＳ１０）。
【００６７】
取得した画像データの画素サイズが所定値以下である場合（ステップＳ１０においてＹＥＳの場合）には、端末装置２は、複数画面同時表示モードを実行可能であると判断し、複数画面モードを選択する（ステップＳ１２）。そして、端末装置２は、取得した画像データをメイン表示領域に表示する（ステップＳ１４）。
【００６８】
続いて、端末装置２は、操作パネル１１０の表示内容を当該時点の表示内容に関連付けられた新たなものに切り替えるための操作指示をＭＦＰ１へ送信する（ステップＳ１６）。続いて、端末装置２は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容を示す画像データを取得する（ステップＳ１８）。そして、端末装置２は、取得した画像データをサブ表示領域に表示する（ステップＳ２０）。
【００６９】
このように、端末装置２のＣＰＵ２００（表示操作モジュール２２０）は、タッチパネル２０８上に画像を複数表示できるとの判断に応答して、操作パネル１１０における表示内容を切り替えるための切替指令を画像形成装置１へ与えるとともに、当該切替信号に応答して画像形成装置１から出力される画像データとは異なる画像データ（ヘルプ画面）を取得する。そして、端末装置２のＣＰＵ２００（表示操作モジュール２２０）は、取得した２つの画像データ（操作画面およびヘルプ画面）をタッチパネル２０８に表示する。
【００７０】
これに対して、取得した画像データの画素サイズが所定値より大きい場合（ステップＳ１０においてＮＯの場合）には、端末装置２は、複数の操作画面を同時に表示できないと判断し、単一画面モードを選択する（ステップＳ２２）。そして、端末装置２は、取得した画像データを全体表示する（ステップＳ２４）。
【００７１】
続いて、ユーザーが画面の更新を要求したか否かを判断する（ステップＳ２６）。ユーザーが画面の更新を要求していない場合（ステップＳ２６においてＮＯの場合）には、ステップＳ２６の処理が繰り返される。
【００７２】
これに対して、ユーザーが画面の更新を要求した場合（ステップＳ２６においてＹＥＳの場合）には、端末装置２は、画面更新処理を実行する（ステップＳ２８）。この画面更新処理は、選択されたモード（単一画面モードまたは複数画面モード）に応じた処理を実行する。そして、ユーザーが終了を指示するまで、ステップＳ２６の処理が繰り返される。
【００７３】
ポップアップ表示モードが選択された場合には、端末装置２は、取得した画像データをメイン表示領域に表示する（ステップＳ３０）。続いて、端末装置２は、ユーザーがポップアップの表示を要求したか否かを判断する（ステップＳ３２）。
【００７４】
ユーザーがポップアップの表示を要求した場合（ステップＳ３２においてＹＥＳの場合）には、端末装置２は、ポップアップの表示処理を実行する（ステップＳ３４）。これに対して、ユーザーがポップアップの表示を要求していない場合（ステップＳ３２においてＮＯの場合）には、ステップＳ３４の処理がスキップされる。
【００７５】
続いて、ユーザーが画面の更新を要求したか否かを判断する（ステップＳ３６）。
ユーザーが画面の更新を要求した場合（ステップＳ３６においてＮＯの場合）には、端末装置２は、画面更新処理を実行する（ステップＳ３８）。これに対して、ユーザーが画面の更新を要求していない場合（ステップＳ３６においてＮＯの場合）には、ステップＳ３８の処理がスキップされる。
【００７６】
そして、ユーザーが終了を指示するまで、ステップＳ３６の処理が繰り返される。
なお、ステップＳ２６およびＳ２８の繰り返し処理、ならびに、ステップＳ３６およびＳ３８の繰り返し処理において、ユーザーが何らかの操作をした場合には、対応する操作指令がＭＦＰ１へ送信される。
【００７７】
上述のように、複数画面同時表示モードにおいて、ＭＦＰ１から取得した画像データの画素サイズをチェックする際の画素サイズと比較される所定値（しきい値）は、各種の要素を考慮して決定される。すなわち、端末装置２では、画像データをスケーリングして表示可能であるため、複数画面モードまたは単一画面モードの選択を行なうためのしきい値を単純に端末装置のディスプレイサイズとする必要はない。むしろ、ユーザーにとって見やすいサイズ、あるいは、操作しやすいサイズという要素を考慮して、しきい値である所定値が決定される。
【００７８】
（ｆ２：画面更新例）
次に、図８における画面更新処理の一例について説明する。
【００７９】
図９および図１０は、本発明の実施の形態に従う端末装置２が提供するユーザーインターフェイス画面における更新例を示す図である。
【００８０】
図９および図１０を参照して、例えば、ＭＦＰ１でのプリント動作を設定するための操作画面（メイン表示領域３１０Ａ）において、ジョブ表示を指示するためのボタン３１２と、設定内容を指示するためのボタン３１４とが含まれる例を示す。
【００８１】
ボタン３１２がアクティブな状態（図９）において、ユーザーが端末装置２を操作して、ボタン３１４を選択すると、図１０に示すように、操作パネル１１０においてボタン３１４が選択された場合と同様に、現在の設定内容を表示する（符号３１６）画面に遷移する。
【００８２】
このような操作は、サブ表示領域３２０Ｂのヘルプ画面に含まれるボタン３２２などに対しても同様である。
【００８３】
このように、本実施の形態に従う端末装置２では、ユーザーがタッチパネル２０８を操作すると、それをＭＦＰ１の操作パネル１１０で操作したのと同様の指示を発行し、その指示によって更新された画面の内容を端末装置２上に表示する。
【００８４】
（ｆ３：複数画面同時表示モードにおける初期手順）
次に、複数画面同時表示モードにおける初期手順について説明する。
【００８５】
図１１は、本発明の実施の形態に従う端末装置２が複数画面同時表示モードで動作する場合の初期手順を示すシーケンス図である。なお、図１１には、複数画面モードの表示が可能な場合の手順例を示すが、複数画面モードの表示が不可能であり、単一画面モードの表示のみが可能な場合であっても、実質的には同一の処理が実行される。また、ポップアップ表示モードの初期手順についても、実質的には、単一画面モードの表示のみが可能な場合と同様である。
【００８６】
また、図１１には、典型的な使用形態として、操作画面と対応するヘルプ画面とを同一のディスプレイ上にあわせて表示するような場合を考える。
【００８７】
図１１を参照して、ユーザーが本実施の形態に従うリモート操作に係るプログラムを起動すると、端末装置２のＣＰＵ２００は、ＭＦＰ１と接続処理を開始する（シーケンスＳＱ１００）。接続処理が完了すると、端末装置２ＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における表示内容（操作画面）を示す画像データを取得する（シーケンスＳＱ１０２）とともに、取得した画像データをキャッシュする（シーケンスＳＱ１０４）。
【００８８】
続いて、端末装置２のＣＰＵ２００は、画像データの画素サイズをチェックする（シーケンスＳＱ１０６）。この例では、画像データの画素サイズが所定値以下であり、複数画面モードが実行可能である判断されたとする。すると、端末装置２のＣＰＵ２００は、タッチパネル２０８上に、複数画面モードをするためのメイン表示領域およびサブ表示領域を形成する（シーケンスＳＱ１０８）。さらに、端末装置２のＣＰＵ２００は、取得した画像データ（操作画面）をタッチパネル２０８上のメイン表示領域に表示する（シーケンスＳＱ１１０）。
【００８９】
続いて、端末装置２のＣＰＵ２００は、「ヘルプ画面」の表示を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ１１２）。ＭＦＰ１は、「ヘルプ画面」の表示を指示する操作指令に応答して、操作パネル１１０における表示内容を操作画面からヘルプ画面へ切り替える（シーケンスＳＱ１１４）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容（ヘルプ画面）を示す画像データを取得する（シーケンスＳＱ１１６）とともに、取得した画像データをキャッシュする（ステップＳ１１８）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（ヘルプ画面）をタッチパネル２０８上のサブ表示領域に表示する（シーケンスＳＱ１２０）。
【００９０】
続いて、端末装置２のＣＰＵ２００は、「前の画面に戻る」を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ１２２）。ＭＦＰ１は、「前の画面に戻る」を指示する操作指令に応答して、操作パネル１１０における表示内容をヘルプ画面から操作画面へ切り替える（シーケンスＳＱ１２４）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における元に戻った後の表示内容（操作画面）を示す画像データを取得する（シーケンスＳＱ１２６）とともに、取得した画像データをキャッシュする（ステップＳ１２８）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（操作画面）をタッチパネル２０８上のメイン表示領域に表示する（シーケンスＳＱ１３０）。すなわち、端末装置２のＣＰＵ２００は、メイン表示領域の表示を更新する。
【００９１】
また、上述したように、端末装置２のＣＰＵ２００は、操作画面の画像データをメイン表示領域に表示し、かつ、ヘルプ画面の画像データをサブ表示領域に表示するとともに、いずれかの画像データを新たに取得するまでメイン表示領域およびサブ表示領域における表示内容を保持する。
【００９２】
（ｆ４：複数画面同時表示モードにおける操作／画面更新）
次に、複数画面同時表示モードにおいて複数の画面（操作画面およびヘルプ画面）が表示されている状態で、ユーザーがタッチパネル２０８を操作した場合の操作手順および画面更新手順について説明する。
【００９３】
図１２は、本発明の実施の形態に従う端末装置２が複数画面同時表示モードで動作する場合の操作／画面更新手順を示すシーケンス図である。なお、図１２には、複数画面モードにおける手順例を示すが、単一画面モードであっても、実質的には同一の処理が実行される。
【００９４】
図１２を参照して、ユーザーがタッチパネル２０８上のいずれかの位置にタッチすると（シーケンスＳＱ２００）、当該タッチした位置の情報が端末装置２のＣＰＵ２００へ送信される（シーケンスＳＱ２０２）。端末装置２のＣＰＵ２００は、ユーザーがタッチした位置を、表示されているメイン表示領域の表示位置および大きさとの関係に基づいて、操作画面のうちいずれの位置にタッチされたかを示す操作座標位置へ変換する（シーケンスＳＱ２０４）。端末装置２のＣＰＵ２００は、操作座標位置をＭＦＰ１へ送信する（シーケンスＳＱ２０６）。ＭＦＰ１は、端末装置２から操作座標位置を受信すると、対応する設定処理などを実行するとともに、当該処理に応じて操作パネル１１０における表示内容を更新する（シーケンスＳＱ２０８）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容（更新後の操作画面）を示す画像データを取得する（シーケンスＳＱ２１０）とともに、取得した画像データをキャッシュする（ステップＳ２１２）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（更新後の操作画面）をタッチパネル２０８上のメイン表示領域に表示する（シーケンスＳＱ２１４）。
【００９５】
続いて、端末装置２のＣＰＵ２００は、「ヘルプ画面」の表示を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ２１６）。ＭＦＰ１は、「ヘルプ画面」の表示を指示する操作指令に応答して、操作パネル１１０における表示内容を操作画面からヘルプ画面へ切り替える（シーケンスＳＱ２１８）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容（ヘルプ画面）を示す画像データを取得する（シーケンスＳＱ２２０）とともに、取得した画像データをキャッシュする（ステップＳ２２２）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（ヘルプ画面）をタッチパネル２０８上のサブ表示領域に表示する（シーケンスＳＱ２２４）。
【００９６】
続いて、端末装置２のＣＰＵ２００は、「前の画面に戻る」を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ２２６）。ＭＦＰ１は、「前の画面に戻る」を指示する操作指令に応答して、操作パネル１１０における表示内容をヘルプ画面から操作画面へ切り替える（シーケンスＳＱ２２８）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における元に戻った後の表示内容（操作画面）を示す画像データを取得する（シーケンスＳＱ２３０）とともに、取得した画像データをキャッシュする（ステップＳ２３２）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（操作画面）をタッチパネル２０８上のメイン表示領域に表示する（シーケンスＳＱ２３４）。すなわち、端末装置２のＣＰＵ２００は、メイン表示領域の表示を更新する。
【００９７】
このように、端末装置２のＣＰＵ２００は、メイン表示領域に対するユーザー操作に応答して、対応する操作指令を画像形成装置１へ与える。また、この操作指令は、ユーザー操作の対象となった表示領域に対応した表示内容を操作パネル１１０に表示させるための指令を含む。
【００９８】
（ｆ５：ポップアップ表示モードにおけるポップアップの表示手順）
次に、ポップアップ表示モードにおいて複数の画面（操作画面およびヘルプ画面）が表示されている状態で、ユーザーがポップアップ表示を指示した場合の表示手順について説明する。
【００９９】
図１３は、本発明の実施の形態に従う端末装置２がポップアップ表示モードで動作している場合にユーザーがポップアップ表示を指示した場合の手順を示すシーケンス図である。
【０１００】
図１３を参照して、ユーザーがタッチパネル２０８にタッチして、ポップアップ表示を要求すると（シーケンスＳＱ３００）、当該ポップアップ表示の要求が端末装置２のＣＰＵ２００へ送信される（シーケンスＳＱ３０２）。続いて、端末装置２のＣＰＵ２００は、「ヘルプ画面」の表示を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ３０４）。ＭＦＰ１は、「ヘルプ画面」の表示を指示する操作指令に応答して、操作パネル１１０における表示内容を操作画面からヘルプ画面へ切り替える（シーケンスＳＱ３０６）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容（ヘルプ画面）を示す画像データを取得する（シーケンスＳＱ３０８）とともに、取得した画像データをキャッシュする（ステップＳ３１０）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（ヘルプ画面）をタッチパネル２０８上のサブ表示領域に表示する（シーケンスＳＱ３１２）。このサブ表示領域は、ポップアップウィンドウ形態として表示され、メイン表示領域にオーバーレイ表示される。
【０１０１】
続いて、端末装置２のＣＰＵ２００は、「前の画面に戻る」を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ３１４）。ＭＦＰ１は、「前の画面に戻る」を指示する操作指令に応答して、操作パネル１１０における表示内容をヘルプ画面から操作画面へ切り替える（シーケンスＳＱ３１６）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における元に戻った後の表示内容（操作画面）を示す画像データを取得する（シーケンスＳＱ３１８）とともに、取得した画像データをキャッシュする（ステップＳ３２０）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（操作画面）をタッチパネル２０８上のメイン表示領域に表示する（シーケンスＳＱ３２２）。すなわち、端末装置２のＣＰＵ２００は、メイン表示領域の表示を更新する。
【０１０２】
このように、端末装置２のＣＰＵ２００は、画像を複数表示できない場合であっても、ヘルプ画面に対応する画像データを取得するとともに、操作画面上に当該ヘルプ画面を重ねて表示する。
【０１０３】
（ｆ６：サブ表示領域に対する操作の表示手順）
次に、複数画面同時表示モードまたはポップアップ表示モードにおいて、ユーザーがサブ表示領域に表示されるヘルプ画面に対して操作した場合の処理手順について説明する。
【０１０４】
図１４は、本発明の実施の形態に従う端末装置２においてユーザーがサブ表示領域に表示されるヘルプ画面を操作した場合の手順を示すシーケンス図である。なお、図１４に示すシーケンス図は、複数画面同時表示モードにおいて、メイン表示領域と並んでサブ表示領域が表示される場合にも適用できるし、ポップアップ表示モードにおいて、メイン表示領域にサブ表示領域がオーバーレイ表示される場合にも適用できる。
【０１０５】
図１４を参照して、ユーザーがタッチパネル２０８上に表示されるサブ表示領域のいずれかの位置にタッチすると（シーケンスＳＱ４００）、当該タッチした位置の情報が端末装置２のＣＰＵ２００へ送信される（シーケンスＳＱ４０２）。端末装置２のＣＰＵ２００は、ユーザーがタッチした位置がサブ表示領域であると判断し、「ヘルプ画面」の表示を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ４０４）。ＭＦＰ１は、「ヘルプ画面」の表示を指示する操作指令に応答して、操作パネル１１０における表示内容を操作画面からヘルプ画面へ切り替える（シーケンスＳＱ４０６）。この処理は、ＭＦＰ１の操作パネル１１０においてどのような操作画面が表示されているのかが不定であるため、操作パネル１１０にヘルプ画面を表示させることを確実化するための処理である。
【０１０６】
続いて、端末装置２のＣＰＵ２００は、ユーザーがタッチした位置を、表示されているサブ表示領域の表示位置および大きさとの関係に基づいて、ヘルプ画面のうちいずれの位置にタッチされたかを示す操作座標位置へ変換する（シーケンスＳＱ４０８）。端末装置２のＣＰＵ２００は、操作座標位置をＭＦＰ１へ送信する（シーケンスＳＱ４１０）。ＭＦＰ１は、端末装置２から操作座標位置を受信すると、当該操作座標位置に応じて操作パネル１１０における表示内容を更新する（シーケンスＳＱ４１２）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容（新たなヘルプ画面）を示す画像データを取得する（シーケンスＳＱ４１４）とともに、取得した画像データをキャッシュする（ステップＳ４１６）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（新たなヘルプ画面）をタッチパネル２０８上のサブ表示領域に表示する（シーケンスＳＱ４１８）。
【０１０７】
さらに続いて、ユーザーがタッチパネル２０８上に表示されるサブ表示領域のいずれかの位置にタッチすると（シーケンスＳＱ４２０）、当該タッチした位置の情報が端末装置２のＣＰＵ２００へ送信される（シーケンスＳＱ４２２）。端末装置２のＣＰＵ２００は、ユーザーがタッチした位置がサブ表示領域であると判断し、上述のシーケンスＳＱ４０８〜ＳＱ４１８と同様の処理が繰り返される。
【０１０８】
その後、ユーザーがタッチパネル２０８上に表示されるメイン表示領域のいずれかの位置にタッチすると（シーケンスＳＱ４３０）、当該タッチした位置の情報が端末装置２のＣＰＵ２００へ送信される（シーケンスＳＱ４３２）。端末装置２のＣＰＵ２００は、ユーザーがタッチした位置がメイン表示領域であると判断し、「操作画面に戻る」を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ４３４）。ＭＦＰ１は、「操作画面に戻る」を指示する操作指令に応答して、操作パネル１１０における表示内容をヘルプ画面から操作画面へ切り替える（シーケンスＳＱ４３６）。
【０１０９】
続いて、端末装置２のＣＰＵ２００は、ユーザーがタッチした位置を、表示されているメイン表示領域の表示位置および大きさとの関係に基づいて、ヘルプ画面のうちいずれの位置にタッチされたかを示す操作座標位置へ変換する（シーケンスＳＱ４３８）。端末装置２のＣＰＵ２００は、操作座標位置をＭＦＰ１へ送信する（シーケンスＳＱ４４０）。ＭＦＰ１は、端末装置２から操作座標位置を受信すると、対応する設定処理などを実行するとともに、当該処理に応じて操作パネル１１０における表示内容を更新する（シーケンスＳＱ４４２）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容（更新後の操作画面）を示す画像データを取得する（シーケンスＳＱ４４４）とともに、取得した画像データをキャッシュする（ステップＳ４４６）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（更新後の操作画面）をタッチパネル２０８上のメイン表示領域に表示する（シーケンスＳＱ４４８）。
【０１１０】
このように、端末装置２のＣＰＵ２００は、サブ表示領域に対するユーザー操作に応答して、対応する操作指令を画像形成装置１へ与える。また、この操作指令は、ユーザー操作の対象となった表示領域に対応した表示内容を操作パネル１１０に表示させるための指令を含む。
【０１１１】
＜Ｇ．変形例＞
上述の実施の形態においては、ユーザーによる端末装置２への操作をＭＦＰ１へ常に送信する形態について例示した。これに対して、ＭＦＰ１が提供する操作画面およびヘルプ画面に参照情報（メタ情報）が付加されている場合には、メタ情報をあわせて保持しておくことで、画面遷移の処理をより簡素化・短縮化できる。
【０１１２】
すなわち、端末装置２のＣＰＵ２００は、操作画面を示す画像データとヘルプ画面を示す画像データとを関連付けて格納するとともに、操作画面の表示が指示された場合、関連付けられたヘルプ画面が格納されていれば、画像形成装置１から第２のヘルプ画面を示す画像データを新たに取得することなく、格納されている操作画面の画像データを表示する。
【０１１３】
図１５は、本発明の実施の形態の変形例に従う操作画面とヘルプ画面との対応付けについて説明するための図である。図１５を参照して、例えば、各操作画面を提供するための情報（データ）として、画像データに加えて、参照先のヘルプ画面を指定するための情報（例えば、ヘルプ画面ＩＤ）が付加されているものとする。
【０１１４】
ＭＦＰ１は、このようなメタ情報についても端末装置２へ出力する。端末装置２は、ＭＦＰ１から出力された画像データおよび対応するメタ情報によって指定されるヘルプ画面を関連付けて保持する。このような操作画面とヘルプ画面とを関連付けて保持しておくことで、ある操作画面から別の操作画面へ遷移した場合であっても、当該遷移先の操作画面に対応付けられたヘルプ画面が既に保持されていれば、当該ヘルプ画面を新たに取得することなく、保持されているヘルプ画面を読み出して利用することで、処理時間を短縮化することができる。
【０１１５】
以下このような処理を実現するための手順について説明する。
図１６は、本発明の実施の形態の変形例に従う端末装置２における全体処理手順の要部を示すフローチャートである。
【０１１６】
図１６を参照して、端末装置２のＣＰＵ２００は、ユーザーがタッチパネル２０８上に表示されるメイン表示領域のいずれかの位置にタッチしたか否かを判断する（ステップＳ１００）。ユーザーがタッチパネル２０８上に表示されるメイン表示領域のいずれかの位置にタッチした場合（ステップＳ１００においてＹＥＳの場合）には、ＭＦＰ１から操作パネル１１０に表示されている操作画面を示す画像データおよびそれに含まれるメタデータを取得する（ステップＳ１０２）。そして、端末装置２のＣＰＵ２００は、取得した画像データをタッチパネル２０８上のメイン表示領域に表示する（ステップＳ１０４）。
【０１１７】
ユーザーがタッチパネル２０８上に表示されるメイン表示領域のいずれかの位置にもタッチしていない場合（ステップＳ１００においてＮＯの場合）には、ステップＳ１０２およびＳ１０４の処理はスキップされる。
【０１１８】
端末装置２のＣＰＵ２００は、ユーザーがタッチパネル２０８上に表示されるサブ表示領域のいずれかの位置にタッチしたか否かを判断する（ステップＳ１０６）。ユーザーがタッチパネル２０８上に表示されるサブ表示領域のいずれかの位置にタッチした場合（ステップＳ１０６においてＹＥＳの場合）には、端末装置２のＣＰＵ２００は、対応するメタデータによって指定されたヘルプ画面が既に格納されているか否かを判断する（ステップＳ１０８）。
【０１１９】
対応するメタデータによって指定されたヘルプ画面が既に格納されていない場合（シーケンスＳＱ１０８においてＮＯの場合）には、端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０にヘルプ画面を表示させるとともに、表示されたヘルプ画面を示す画像データを取得する（ステップＳ１１０）。そして、端末装置２のＣＰＵ２００は、取得した画像データをタッチパネル２０８上のサブ表示領域に表示する（ステップＳ１１２）。
【０１２０】
対応するメタデータによって指定されたヘルプ画面が既に格納されている場合（シーケンスＳＱ１０８においてＹＥＳの場合）には、端末装置２のＣＰＵ２００は、格納されている対応するヘルプ画面を示す画像データを読み出し（ステップＳ１２０）。そして、端末装置２のＣＰＵ２００は、読み出した画像データをタッチパネル２０８上のサブ表示領域に表示する（ステップＳ１２２）。
【０１２１】
ユーザーがタッチパネル２０８上に表示されるサブ表示領域のいずれかの位置にもタッチしていない場合（ステップＳ１０６においてＮＯの場合）には、ステップＳ１０８，Ｓ１１０，Ｓ１１２，Ｓ１２０，Ｓ１２２の処理はスキップされる。
【０１２２】
この処理は、ユーザーが終了を指示するまで（ステップＳ１２４）繰り返される。
＜Ｈ．利点＞
本実施の形態においては、複数画面同時表示モードが選択されている場合に、タッチパネル２０８の画像サイズ（解像度）と操作パネル１１０で表示される画像データの大きさ（解像度）との関係に基づいて、単一画面モードまたは複数画面モードが決定される。そして、決定されたモードに従って、操作画面またはヘルプ画面が自動的に適切な形態で表示される。
【０１２３】
このように、本実施の形態によれば、ＭＦＰ１側での処理を変更することなく、端末装置２側でＭＦＰ１をリモート操作することができる。このように、ＭＦＰ１側での変更が必要ないため、従来のように、単一画面モードにしか対応できない端末装置２が混在している場合であっても、操作上の問題は生じない。
【０１２４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１２５】
１ ＭＦＰ、２ 端末装置、３ 無線中継器、ＮＷ ネットワーク。
【技術分野】
【０００１】
本発明は、画像形成装置をリモート操作可能な端末装置、その端末装置に向けられたプログラム、およびそのリモート操作システムに関する。
【背景技術】
【０００２】
従来から、各種装置をリモート操作するような技術が提案されている。近年の情報通信技術（ＩＣＴ：Information and Communication Technology）の進歩や各種表示デバイスの進歩などに伴って、このようなリモート操作を実現する形態が種々提案されている。
【０００３】
例えば、特開２０１０−０１６７３４号公報（特許文献１）には、複数画面を同時表示している場合に、各画面に対する操作を簡単に行うことができる構成が開示されている。より具体的には、特許文献１に記載の発明は表示装置のリモートコントローラに向けられている。そして、表示装置（１）が表示部（１３）に表示する実画面に対応する仮想画面の情報をリモートコントローラ（２）に送信する。リモートコントローラ（２）の表示部（２２）は、複数の画面を含む実画面に対応する仮想画面を表示する。表示部（２２）の表示面上にはタッチパネル（２２Ａ）が設けられており、表示部（２２）は、ユーザーによって仮想画面のアイコン画面が変更された場合、変更後の仮想画面の情報を表示装置（１）に送信する。表示装置（１）は、仮想画面に同期して実画面の表示を変更する。
【０００４】
このようなリモート操作の対象となる装置は、特許文献１に記載されるようなテレビジョン装置だけではなく、各種の事務機器も含まれ得る。このような一例として、複合機（ＭＦＰ：Multi-Function Peripheral）に対するリモート操作を行なうような形態も考えられている。
【０００５】
このようなリモート操作を行なうためのデバイスとして、専用の端末装置を用意することも考えられるが、将来的には、携帯電話やスマートフォンなどの各ユーザーが所有する携帯型の装置をリモート装置としても使用することが好ましい。すなわち、各ユーザーが所有する携帯デバイスを用いて、ＭＦＰに搭載される操作パネルを代替するような形態が想定されている。
【０００６】
このようなリモート操作の形態を想定した場合、ＭＦＰ側の改造や変更などを最小限にするために、ＭＦＰの内部で生成されて操作パネル上に表示される内容（画像データ）を、ネットワークなどを介してそのまま携帯デバイスへ転送し、当該携帯デバイス上で表示するような方法が好ましい。このような方法を採用することで、ＭＦＰ本体側の改造や変更の量を最小限にでき、かつ、ユーザーから見れば、いつも使用する操作画面をそのまま使用できるというメリットもある。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−０１６７３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
上述したような携帯電話やスマートフォンなどの携帯デバイスのディスプレイは、技術の進歩に伴って、どんどん高精細化されてきており、ＭＦＰに搭載されている操作パネルの画面サイズ（ビクセル数）を超えるものもある。そのため、操作パネルに表示される内容をそのまま携帯デバイスのディスプレイに表示した場合には、携帯デバイスのディスプレイの能力を十分には生かせていないことになる。
【０００９】
携帯デバイスを用いることで、操作パネルに表示される画面内容を複数同時に表示するようなニーズも存在する。例えば、何らかの操作画面と対応するヘルプ画面とを同一のディスプレイ上にあわせて表示したいといったニーズがある。このような表示によって、よりユーザーの操作性を高めることができる。
【００１０】
一方で、上述のような、ＭＦＰの内部で生成されて操作パネル上に表示される内容（画像データ）をそのまま携帯デバイスへ転送するという方式では、複数の画面内容を表示させるために何らかの新たな仕組みを設ける必要がある。すなわち、一般的には、操作パネルには同時に１つの画面が表示されるように設計されているため、この構成を変更するためにはＭＦＰの設計を変更する必要がある。しかしながら、このような複数の画面内容を表示することは、操作パネルにおける表示としては本来的に不要なものである。
【００１１】
また、いくつかの携帯デバイスでは、そのディスプレイの能力がそれほど高くないものもあり、このような携帯デバイスでは、操作パネルにおける表示内容をそのまま出力することが相応しい場合もある。
【００１２】
そこで、本願発明はこのような課題を解決するためになされたものであり、その目的は、ＭＦＰ側を変更することなく、かつ、表示能力に応じたリモート操作を可能にできる端末装置、プログラムおよびリモート操作システムを提供することである。
【課題を解決するための手段】
【００１３】
本発明のある局面に従えば、操作パネルを有する画像形成装置をリモート操作可能な端末装置を提供する。画像形成装置は、操作パネルにおける表示内容を示す画像データを端末装置へ出力するように構成されている。端末装置は、表示部と、画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段と、画像を複数表示できるとの判断に応答して、操作パネルにおける表示内容を切り替えるための切替指令を画像形成装置へ与えるとともに、当該切替信号に応答して画像形成装置から出力される第１の画像データとは異なる第２の画像データを取得する切替手段と、第１および第２の画像データを表示部に表示する表示制御手段とを含む。
【００１４】
好ましくは、表示制御手段は、第１の画像データを第１の表示領域に表示し、かつ、第２の画像データを第２の表示領域に表示するとともに、第１または第２の画像データを新たに取得するまで第１または第２の表示領域における表示内容を保持する。
【００１５】
さらに好ましくは、端末装置は、第１または第２の表示領域に対するユーザー操作に応答して、対応する操作指令を画像形成装置へ与える操作手段をさらに含む。
【００１６】
さらに好ましくは、操作指令は、ユーザー操作の対象となった表示領域に対応した表示内容を操作パネルに表示させるための指令を含む。
【００１７】
好ましくは、表示制御手段は、画像を複数表示できない場合であっても、第２の画像データを取得するとともに、第１の画像データの上に当該第２の画像データを重ねて表示する。
【００１８】
好ましくは、表示制御手段は、第１の画像データと第２の画像データとを関連付けて格納するとともに、第１の画像データの表示が指示された場合、関連付けられた第２の画像データが格納されていれば、画像形成装置から第２の画像データを新たに取得することなく、格納されている第２の画像データを表示する。
【００１９】
本発明の別の局面に従えば、操作パネルを有する画像形成装置をリモート操作するためのプログラムを提供する。プログラムは、表示部を有するコンピュータを、画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段として機能させる。画像形成装置は、操作パネルにおける表示内容を示す画像データをコンピュータへ出力するように構成されている。さらに、プログラムは、画像を複数表示できるとの判断に応答して、操作パネルにおける表示内容を切り替えるための切替指令を画像形成装置へ与えるとともに、当該切替信号に応答して画像形成装置から出力される第１の画像データとは異なる第２の画像データを取得する切替手段と、第１および第２の画像データを表示部に表示する表示制御手段として機能させる。
【００２０】
本発明のさらに別の局面に従うリモート操作システムは、操作パネルを有する画像形成装置と、画像形成装置をリモート操作可能な端末装置とを含む。画像形成装置は、操作パネルにおける表示内容を示す画像データを端末装置へ出力するように構成されている。端末装置は、表示部と、画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段と、画像を複数表示できるとの判断に応答して、操作パネルにおける表示内容を切り替えるための切替指令を画像形成装置へ与えるとともに、当該切替信号に応答して画像形成装置から出力される第１の画像データとは異なる第２の画像データを取得する切替手段と、第１および第２の画像データを表示部に表示する表示制御手段とを含む。
【発明の効果】
【００２１】
本発明によれば、ＭＦＰ側を変更することなく、かつ、表示能力に応じたリモート操作を可能にできる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態に従う端末装置を含む全体構成を示す模式図である。
【図２】本発明の実施の形態に従う端末装置によって操作されるＭＦＰの構成を示す模式図である。
【図３】本発明の実施の形態に従う端末装置の構成を示す模式図である。
【図４】本発明の実施の形態に従う端末装置によって操作されるＭＦＰの操作パネルの外観図である。
【図５】本発明の実施の形態に従う端末装置によって操作されるＭＦＰの内部的なデータの遣り取りを説明するための模式図である。
【図６】本発明の実施の形態に従う端末装置において提供されるユーザーインターフェイス（複数画面同時表示モード）の一例を示す図である。
【図７】本発明の実施の形態に従う端末装置において提供されるユーザーインターフェイス（ポップアップ表示モード）の一例を示す図である。
【図８】本発明の実施の形態に従う端末装置における全体処理手順を示すフローチャートである。
【図９】本発明の実施の形態に従う端末装置が提供するユーザーインターフェイス画面における更新例を示す図である。
【図１０】本発明の実施の形態に従う端末装置が提供するユーザーインターフェイス画面における更新例を示す図である。
【図１１】本発明の実施の形態に従う端末装置が複数画面同時表示モードで動作する場合の初期手順を示すシーケンス図である。
【図１２】本発明の実施の形態に従う端末装置が複数画面同時表示モードで動作する場合の操作／画面更新手順を示すシーケンス図である。
【図１３】本発明の実施の形態に従う端末装置がポップアップ表示モードで動作している場合にユーザーがポップアップ表示を指示した場合の手順を示すシーケンス図である。
【図１４】本発明の実施の形態に従う端末装置においてユーザーがサブ表示領域に表示されるヘルプ画面を操作した場合の手順を示すシーケンス図である。
【図１５】本発明の実施の形態の変形例に従う操作画面とヘルプ画面との対応付けについて説明するための図である。
【図１６】本発明の実施の形態の変形例に従う端末装置における全体処理手順の要部を示すフローチャートである。
【発明を実施するための形態】
【００２３】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【００２４】
＜Ａ．全体構成＞
まず、本発明の実施の形態に従う端末装置を含む全体構成について説明する。
【００２５】
図１は、本発明の実施の形態に従う端末装置を含む全体構成を示す模式図である。図１を参照して、ネットワークＮＷに接続された複合機（ＭＦＰ：Multi-Function Peripheral）が配置されているとする。このネットワークＮＷには、無線通信（典型的には、無線ＬＡＮやＢｌｕｅｔｏｏｔｈ（登録商標）など）を介して端末装置２とデータを遣り取りするための無線中継器３が接続されているとする。
【００２６】
ＭＦＰ１には、各種の操作を行なうための操作パネル１１０が設けられており、ユーザーは、この操作パネル１１０を操作することで、各種の指令をＭＦＰ１１０へ与える。
【００２７】
端末装置２は、典型的には、ユーザーが所有する携帯電話やスマートフォンである。ユーザーは、自己の所有する端末装置２を操作して、ＭＦＰ１に対する操作を行なう。すなわち、後述するように、端末装置２の各々には、操作パネル１１０において表示される操作画面が当該端末装置２に適して表示態様で表示される。そして、ユーザーは、ＭＦＰ１の操作パネル１１０を操作するのと同様の操作方法で、ＭＦＰ１に対して各種指令を与える。
【００２８】
これにより、ユーザーは、ＭＦＰ１から離れた位置で、ＭＦＰ１を操作することができる。
【００２９】
＜Ｂ．ＭＦＰ１の構成＞
次に、図１に示すＭＦＰ１の構成について説明する。図２は、本発明の実施の形態に従う端末装置２によって操作されるＭＦＰ１の構成を示す模式図である。
【００３０】
図２を参照して、ＭＦＰ１は、プロセッサー１００と、主メモリ１０２と、スキャナー１０４と、プリントエンジン１０６と、ネットワークインターフェイス（Ｉ／Ｆ）１０８と、操作パネル１１０と、不揮発メモリ１１２とを含む。
【００３１】
プロセッサー１００は、代表的にＣＰＵ（Central Processing Unit）などの演算装置を含んで構成され、予め格納されたプログラムを実行することで本実施の形態に従う処理を実現する。より具体的には、プロセッサー１００上では、プログラムを実行することで、表示操作ロジック１２０が生成され、後述するような処理を提供する。
【００３２】
主メモリ１０２は、代表的にＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置であり、プロセッサー１００で実行されるプログラムやプログラムの実行に必要なデータなどを保持する。
【００３３】
不揮発メモリ１１２は、代表的にハードディスク装置やフラッシュメモリなどの記憶装置からなり、操作パネル１１０に表示される操作画面およびそれに付随する属性情報や、ユーザーが設定するカスタマイズ情報などを格納する。
【００３４】
ネットワークインターフェイス１０８は、代表的に、ネットワークＮＷを介して端末装置２（図１）などとの間でデータを送受信するための通信部であり、例えば、ＬＡＮアダプタおよびそれを制御するドライバソフトなどを含む。プリントエンジン１０６は、プリント処理を行なうための部位であり、プリント処理に係るハードウェア構成に加えて、各部の作動を制御するための制御装置をも含む。
【００３５】
操作パネル１１０は、ユーザーからの操作を受け付けるとともに、各種情報をユーザーに提示するマンマシンインターフェイスである。より具体的には、操作パネル１１０は、タッチパネル（ディスプレイおよび感圧部）や各種操作キーを含む。
【００３６】
＜Ｃ．端末装置２の構成＞
次に、図１に示す端末装置２の構成について説明する。図３は、本発明の実施の形態に従う端末装置２の構成を示す模式図である。
【００３７】
図３を参照して、端末装置２は、コンピュータであり、ＣＰＵ２００と、主メモリ２０２と、不揮発性メモリ２０４と、入力部２０６と、タッチパネル２０８と、ネットワークインターフェイス２１０と、無線通信部２１２と、音声入力部２１４とを含む。これらの各コンポーネントは、バス２１６を介して互いに接続されている。
【００３８】
ＣＰＵ２００は、オペレーティングシステムを含む各種プログラムを実行する。端末装置２は、汎用的なオペレーティングシステムの下で動作するように構成されてもよい。主メモリ２０２は、ＣＰＵ２００がプログラムを実行するためのワーキングメモリとして機能し、実行用に展開されたプログラムや実行に必要な各種変数などを一時的に保持する。不揮発メモリ２０４は、典型的には、ハードディスクやフラッシュメモリＣＰＵ２００で実行されるプログラムなどを格納する。
【００３９】
入力部２０６は、端末装置２の表面に配置されたキー群などからなり、ユーザーの操作を受け付ける。表示部であるタッチパネル２０８は、ＣＰＵ２００からの指令に従って、ユーザーに提示すべき各種情報を表示するとともに、ユーザー操作に応答した指令をＣＰＵ２００へ出力する。
【００４０】
ネットワークインターフェイス２１０は、無線中継器３（図１）を介して、ＭＦＰ１を含む各種機器とデータを遣り取りする。無線通信部２１２は、公衆回線を利用して、広域通信を行なうための送受信回路を含む。
【００４１】
音声出力部２１４は、典型的にはスピーカーなどであり、各種の音声情報をユーザーへ提供する。
【００４２】
典型的には、ＣＰＵ２００がプログラムを実行することで表示操作モジュール２２０が動的に生成され、後述するような、操作パネル１１０を有する画像形成装置１をリモート操作するための機能を提供する。このような表示操作モジュール２２０を提供するためのプログラムは、予め不揮発メモリ２０４にインストールされている場合もあるが、事後的に各種の方法を用いてインストールしてもよい。
【００４３】
例えば、プログラムを格納したＣＤ−ＲＯＭ（Compact Disk-Read Only Memory）やフラッシュメモリなどの記憶媒体を介して端末装置２にインストールする方法や、ネットワークを介して端末装置２へ配信する方法などが考えられる。
【００４４】
さらに、ＭＦＰ１から端末装置２に対して、リモート操作を実現するためのプログラムをダウンロードするようにしてもよい。この場合、ＭＦＰ１の機種に応じた各種プログラムを端末装置２へ提供することができ、機種依存の処理についてもより容易に対応が可能となる。
【００４５】
なお、端末装置２は、汎用のアーキテクチャーを用いたパーソナルコンピューターとして実現してもよい。
【００４６】
＜Ｄ．操作パネル１１０および内部的なデータの遣り取り＞
次に、ＭＦＰ１の操作パネル１１０の概要および本実施の形態に従う端末装置２とのデータの遣り取りについて説明する。
【００４７】
図４は、本発明の実施の形態に従う端末装置２によって操作されるＭＦＰ１の操作パネル１１０の外観図である。図４を参照して、操作パネル１１０は、表示部および操作部としてのタッチパネルがほぼ中央に設けられており、その両側に、操作部としてキー群が設けられている。このタッチパネルには、ＭＦＰ１を操作するための操作画面が表示される。ＭＦＰ１の操作パネル１１０では、常に１つの操作画面が表示されるようになっている。この操作画面では、各種情報が表示されるとともに、ユーザーがタッチ操作できるように、操作オブジェクト（アイコン）が配置されている。ユーザーがいずれかの操作オブジェクトをタッチすると、対応する指令が内部的に発行されて、別の操作画面への遷移や各種設定操作が行なわれる。
【００４８】
ＭＦＰ１は、操作パネル１１０における表示内容を示す画像データをそのまま端末装置２へ出力するように構成されている。また、ＭＦＰ１は、端末装置２からの指令を受け付けるようにも構成されている。
【００４９】
図５は、本発明の実施の形態に従う端末装置２によって操作されるＭＦＰ１の内部的なデータの遣り取りを説明するための模式図である。図５を参照して、表示操作ロジック１２０（図２）は、主メモリ１０２に格納されている操作画面のデータを参照して、画像データを操作パネル１１０のタッチパネル（ディスプレイ１１０ａ）へ出力する。また、表示操作ロジック１２０は、操作パネル１１０のタッチパネル（感圧部１１０ｂまたはキー群１１０ｃ）に対するユーザー操作に応答して、対応する操作指令を受け付ける。表示操作ロジック１２０は、操作指令に従って、操作パネル１１０に表示する操作画面を適宜更新し、あるいは、操作指令に従って各種の内部コマンドを発行する。
【００５０】
表示操作ロジック１２０から操作パネル１１０へ出力される画像データは、並列的に端末装置２へ出力される。すなわち、表示操作ロジック１２０は、同一の画像データを操作パネル１１０および端末装置２へ出力することが可能となっている。なお、操作表示ロジック１２０から端末装置２への画像データの伝送は、ネットワークインターフェイス１０８（図２）を介して行なわれる。
【００５１】
また、操作パネル１１０から表示操作ロジック１２０への操作指令の伝送経路に対して、端末装置２からの操作指令を（論理的に）重畳することが可能となっている。すなわち、表示操作ロジック１２０は、ユーザーが操作パネル１１０を操作することで発行される操作指令に加えて、ユーザーが端末装置２を操作することで発行される操作指令をその区別なく受け付ける。そのため、端末装置２は、操作パネル１１０が発行する内部コマンドをエミュレートすることで、ユーザーが操作パネル１１０を操作した場合に発行される操作指令と同様の操作指令を発行することができる。
【００５２】
＜Ｅ．端末装置２が提供するユーザーインターフェイス＞
次に、本実施の形態に従う端末装置２において提供されるユーザーインターフェイスについて例示する。
【００５３】
図６は、本発明の実施の形態に従う端末装置２において提供されるユーザーインターフェイス（複数画面同時表示モード）の一例を示す図である。図７は、本発明の実施の形態に従う端末装置２において提供されるユーザーインターフェイス（ポップアップ表示モード）の一例を示す図である。
【００５４】
図６および図７には、操作パネル１１０に表示される操作画面の複数を端末装置２に表示する例を示す。このような複数の操作画面を表示する場合の典型例としては、何らかの操作を行なうための画面と当該画面における操作を支援するためのヘルプ画面とを表示する場合が考えられる。
【００５５】
より具体的には、図６および図７には、原稿の背景（白地部分）を選択した色で着色した上でプリント処理を行なう機能に関する操作画面と、当該操作画面に対応するヘルプ画面とを同時に表示する例を示す。
【００５６】
図６には、これらの複数の画面をそれぞれ異なるメイン表示領域３１０Ａおよびサブ表示領域３２０Ａに互いに重ねることなく並べて表示する態様の例を示す。すなわち、図６に示す複数画面同時表示モードにおいては、メイン表示領域３１０Ａに操作パネル１１０の操作画面、サブ表示領域３２０Ａにヘルプ画面が常に表示される。また、メイン表示領域３１０Ａの操作画面をユーザーが操作して別の操作画面が遷移すると、サブ表示領域
２０Ａのヘルプ両面もその遷移先の操作画面と同期して遷移する。
【００５７】
一方、図７には、これらの複数の画面をそれぞれ異なるメイン表示領域３１０Ｂおよびサブ表示領域３２０Ｂに表示するが、メイン表示領域３１０Ｂとサブ表示領域３２０Ｂとは互いに重ねて表示する態様の例を示す。すなわち、図７に示すポップアップ表示モードにおいては、通常は操作パネル１１０の操作画面のみが表示されており、ユーザーが所定の操作を行なうことでヘルプ画面が呼び出されると、メイン表示領域３１０Ｂ内の操作画面上にオーバーレイ表示される形態でポップアップウィンドウとしてヘルプ両面が表示される。
【００５８】
このように、端末装置２の表示手段であるタッチパネル２０８は、操作パネルにおける表示内容を示す画像データ（操作画面）を第１の表示領域（表示領域３１０Ａまたは３１０Ｂ）に表示し、かつ、操作パネルにおける別の表示内容を示す画像データ（ヘルプ画面）を第２の表示領域（表示領域３２０Ａまたは３２０Ｂ）に表示する。
【００５９】
図６および図７に示すそれぞれ異なる表示態様は、ユーザーが任意に選択することができる。但し、複数画面同時表示モードにおいては、タッチパネル２０８の画像サイズ（解像度）と操作パネル１１０で表示される画像データの大きさ（解像度）との関係によっては、適切な表示を行なうことができない場合がある。例えば、図６に示す例では、操作パネル１１０において表示される画像サイズより端末装置２のタッチパネル２０８の解像度が十分に大きいので、複数の（３つ以上であってもよい）表示領域を互いに重ならないように配置することが可能である。これに対して、図７に示すように操作パネル１１０において表示される画像サイズに比較して端末装置２のタッチパネル２０８の解像度が十分には大きくない場合には、複数の表示領域を重ならないように配置することが難しい。あるいは、複数の表示領域を違いに重ならないように配置した場合には、リサイズの結果、文字が小さくなり過ぎて内容を視認することが難しくなる場合もある。このような場合には、単一の操作画面のみを表示する態様、あるいは、図７に示すようなポップアップ表示が好ましい。
【００６０】
そこで、本実施の形態に従う端末装置２は、ＭＦＰ１の操作パネル１１０から出力されるいずれかの画像データに基づいて表示態様を決定し、この決定された表示態様で、受信した画像データをタッチパネル２０８に表示する。
【００６１】
以下の説明では、図６および図７に示すように、複数画面同時表示モードおよびポップアップ表示モードを選択可能な例について説明するが、これ以外の表示モードを採用してもよいし、さらに別のモードを追加してもよい。
【００６２】
＜Ｆ．処理手順＞
（ｆ１：全体処理手順）
まず、本実施の形態に従う端末装置２における全体処理手順について説明する。図８は、本発明の実施の形態に従う端末装置２における全体処理手順を示すフローチャートである。図８に示す各ステップは、典型的には、ＣＰＵ２００がプログラムを実行することで実現される。すなわち、表示操作モジュール２２０が提供する機能であるともいえる。
【００６３】
図８を参照して、ユーザーが端末装置２を操作して本実施の形態に従うリモート操作に係るプログラムを起動すると、以下の処理が開示される。まず、端末装置２は、ネットワークインターフェイス２１０（図３）を有効化し、ＭＦＰ１と接続を試みる（ステップＳ２）。そして、端末装置２は、ＭＦＰ１と接続されたか否かを判断する（ステップＳ４）。ＭＦＰ１と接続されていない場合（ステップＳ４においてＮＯの場合）には、ステップＳ２以下の処理が繰り返される。
【００６４】
ＭＦＰ１と接続された場合（ステップＳ４においてＹＥＳの場合）には、端末装置２は、ＭＦＰ１からその時点での操作パネル１１０における表示内容を示す画像データを取得する（ステップＳ６）。
【００６５】
続いて、端末装置２は、ユーザーから、複数画面同時表示モードおよびポップアップ表示モードの選択を受け付ける（ステップＳ８）。複数画面同時表示モードが選択された場合（ステップＳ８において「複数画面同時表示モード」の場合）には、ステップＳ１０以下の処理が実行される。これに対して、ポップアップ表示モードが選択された場合（ステップＳ８において「ポップアップ表示モード」の場合）には、ステップＳ３０以下の処理が実行される。
【００６６】
複数画面同時表示モードが選択された場合には、端末装置２は、取得した画像データの属性に基づいて、表示モードを決定する。すなわち、端末装置２のＣＰＵ２００（表示操作モジュール２２０）は、画像形成装置１から出力される画像データ（操作画面）に基づいて、タッチパネル２０８上に画像を複数表示できるか否かを判断する。より具体的には、端末装置２は、取得した画像データの画素サイズが所定値以下であるか否かを判断する（ステップＳ１０）。
【００６７】
取得した画像データの画素サイズが所定値以下である場合（ステップＳ１０においてＹＥＳの場合）には、端末装置２は、複数画面同時表示モードを実行可能であると判断し、複数画面モードを選択する（ステップＳ１２）。そして、端末装置２は、取得した画像データをメイン表示領域に表示する（ステップＳ１４）。
【００６８】
続いて、端末装置２は、操作パネル１１０の表示内容を当該時点の表示内容に関連付けられた新たなものに切り替えるための操作指示をＭＦＰ１へ送信する（ステップＳ１６）。続いて、端末装置２は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容を示す画像データを取得する（ステップＳ１８）。そして、端末装置２は、取得した画像データをサブ表示領域に表示する（ステップＳ２０）。
【００６９】
このように、端末装置２のＣＰＵ２００（表示操作モジュール２２０）は、タッチパネル２０８上に画像を複数表示できるとの判断に応答して、操作パネル１１０における表示内容を切り替えるための切替指令を画像形成装置１へ与えるとともに、当該切替信号に応答して画像形成装置１から出力される画像データとは異なる画像データ（ヘルプ画面）を取得する。そして、端末装置２のＣＰＵ２００（表示操作モジュール２２０）は、取得した２つの画像データ（操作画面およびヘルプ画面）をタッチパネル２０８に表示する。
【００７０】
これに対して、取得した画像データの画素サイズが所定値より大きい場合（ステップＳ１０においてＮＯの場合）には、端末装置２は、複数の操作画面を同時に表示できないと判断し、単一画面モードを選択する（ステップＳ２２）。そして、端末装置２は、取得した画像データを全体表示する（ステップＳ２４）。
【００７１】
続いて、ユーザーが画面の更新を要求したか否かを判断する（ステップＳ２６）。ユーザーが画面の更新を要求していない場合（ステップＳ２６においてＮＯの場合）には、ステップＳ２６の処理が繰り返される。
【００７２】
これに対して、ユーザーが画面の更新を要求した場合（ステップＳ２６においてＹＥＳの場合）には、端末装置２は、画面更新処理を実行する（ステップＳ２８）。この画面更新処理は、選択されたモード（単一画面モードまたは複数画面モード）に応じた処理を実行する。そして、ユーザーが終了を指示するまで、ステップＳ２６の処理が繰り返される。
【００７３】
ポップアップ表示モードが選択された場合には、端末装置２は、取得した画像データをメイン表示領域に表示する（ステップＳ３０）。続いて、端末装置２は、ユーザーがポップアップの表示を要求したか否かを判断する（ステップＳ３２）。
【００７４】
ユーザーがポップアップの表示を要求した場合（ステップＳ３２においてＹＥＳの場合）には、端末装置２は、ポップアップの表示処理を実行する（ステップＳ３４）。これに対して、ユーザーがポップアップの表示を要求していない場合（ステップＳ３２においてＮＯの場合）には、ステップＳ３４の処理がスキップされる。
【００７５】
続いて、ユーザーが画面の更新を要求したか否かを判断する（ステップＳ３６）。
ユーザーが画面の更新を要求した場合（ステップＳ３６においてＮＯの場合）には、端末装置２は、画面更新処理を実行する（ステップＳ３８）。これに対して、ユーザーが画面の更新を要求していない場合（ステップＳ３６においてＮＯの場合）には、ステップＳ３８の処理がスキップされる。
【００７６】
そして、ユーザーが終了を指示するまで、ステップＳ３６の処理が繰り返される。
なお、ステップＳ２６およびＳ２８の繰り返し処理、ならびに、ステップＳ３６およびＳ３８の繰り返し処理において、ユーザーが何らかの操作をした場合には、対応する操作指令がＭＦＰ１へ送信される。
【００７７】
上述のように、複数画面同時表示モードにおいて、ＭＦＰ１から取得した画像データの画素サイズをチェックする際の画素サイズと比較される所定値（しきい値）は、各種の要素を考慮して決定される。すなわち、端末装置２では、画像データをスケーリングして表示可能であるため、複数画面モードまたは単一画面モードの選択を行なうためのしきい値を単純に端末装置のディスプレイサイズとする必要はない。むしろ、ユーザーにとって見やすいサイズ、あるいは、操作しやすいサイズという要素を考慮して、しきい値である所定値が決定される。
【００７８】
（ｆ２：画面更新例）
次に、図８における画面更新処理の一例について説明する。
【００７９】
図９および図１０は、本発明の実施の形態に従う端末装置２が提供するユーザーインターフェイス画面における更新例を示す図である。
【００８０】
図９および図１０を参照して、例えば、ＭＦＰ１でのプリント動作を設定するための操作画面（メイン表示領域３１０Ａ）において、ジョブ表示を指示するためのボタン３１２と、設定内容を指示するためのボタン３１４とが含まれる例を示す。
【００８１】
ボタン３１２がアクティブな状態（図９）において、ユーザーが端末装置２を操作して、ボタン３１４を選択すると、図１０に示すように、操作パネル１１０においてボタン３１４が選択された場合と同様に、現在の設定内容を表示する（符号３１６）画面に遷移する。
【００８２】
このような操作は、サブ表示領域３２０Ｂのヘルプ画面に含まれるボタン３２２などに対しても同様である。
【００８３】
このように、本実施の形態に従う端末装置２では、ユーザーがタッチパネル２０８を操作すると、それをＭＦＰ１の操作パネル１１０で操作したのと同様の指示を発行し、その指示によって更新された画面の内容を端末装置２上に表示する。
【００８４】
（ｆ３：複数画面同時表示モードにおける初期手順）
次に、複数画面同時表示モードにおける初期手順について説明する。
【００８５】
図１１は、本発明の実施の形態に従う端末装置２が複数画面同時表示モードで動作する場合の初期手順を示すシーケンス図である。なお、図１１には、複数画面モードの表示が可能な場合の手順例を示すが、複数画面モードの表示が不可能であり、単一画面モードの表示のみが可能な場合であっても、実質的には同一の処理が実行される。また、ポップアップ表示モードの初期手順についても、実質的には、単一画面モードの表示のみが可能な場合と同様である。
【００８６】
また、図１１には、典型的な使用形態として、操作画面と対応するヘルプ画面とを同一のディスプレイ上にあわせて表示するような場合を考える。
【００８７】
図１１を参照して、ユーザーが本実施の形態に従うリモート操作に係るプログラムを起動すると、端末装置２のＣＰＵ２００は、ＭＦＰ１と接続処理を開始する（シーケンスＳＱ１００）。接続処理が完了すると、端末装置２ＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における表示内容（操作画面）を示す画像データを取得する（シーケンスＳＱ１０２）とともに、取得した画像データをキャッシュする（シーケンスＳＱ１０４）。
【００８８】
続いて、端末装置２のＣＰＵ２００は、画像データの画素サイズをチェックする（シーケンスＳＱ１０６）。この例では、画像データの画素サイズが所定値以下であり、複数画面モードが実行可能である判断されたとする。すると、端末装置２のＣＰＵ２００は、タッチパネル２０８上に、複数画面モードをするためのメイン表示領域およびサブ表示領域を形成する（シーケンスＳＱ１０８）。さらに、端末装置２のＣＰＵ２００は、取得した画像データ（操作画面）をタッチパネル２０８上のメイン表示領域に表示する（シーケンスＳＱ１１０）。
【００８９】
続いて、端末装置２のＣＰＵ２００は、「ヘルプ画面」の表示を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ１１２）。ＭＦＰ１は、「ヘルプ画面」の表示を指示する操作指令に応答して、操作パネル１１０における表示内容を操作画面からヘルプ画面へ切り替える（シーケンスＳＱ１１４）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容（ヘルプ画面）を示す画像データを取得する（シーケンスＳＱ１１６）とともに、取得した画像データをキャッシュする（ステップＳ１１８）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（ヘルプ画面）をタッチパネル２０８上のサブ表示領域に表示する（シーケンスＳＱ１２０）。
【００９０】
続いて、端末装置２のＣＰＵ２００は、「前の画面に戻る」を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ１２２）。ＭＦＰ１は、「前の画面に戻る」を指示する操作指令に応答して、操作パネル１１０における表示内容をヘルプ画面から操作画面へ切り替える（シーケンスＳＱ１２４）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における元に戻った後の表示内容（操作画面）を示す画像データを取得する（シーケンスＳＱ１２６）とともに、取得した画像データをキャッシュする（ステップＳ１２８）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（操作画面）をタッチパネル２０８上のメイン表示領域に表示する（シーケンスＳＱ１３０）。すなわち、端末装置２のＣＰＵ２００は、メイン表示領域の表示を更新する。
【００９１】
また、上述したように、端末装置２のＣＰＵ２００は、操作画面の画像データをメイン表示領域に表示し、かつ、ヘルプ画面の画像データをサブ表示領域に表示するとともに、いずれかの画像データを新たに取得するまでメイン表示領域およびサブ表示領域における表示内容を保持する。
【００９２】
（ｆ４：複数画面同時表示モードにおける操作／画面更新）
次に、複数画面同時表示モードにおいて複数の画面（操作画面およびヘルプ画面）が表示されている状態で、ユーザーがタッチパネル２０８を操作した場合の操作手順および画面更新手順について説明する。
【００９３】
図１２は、本発明の実施の形態に従う端末装置２が複数画面同時表示モードで動作する場合の操作／画面更新手順を示すシーケンス図である。なお、図１２には、複数画面モードにおける手順例を示すが、単一画面モードであっても、実質的には同一の処理が実行される。
【００９４】
図１２を参照して、ユーザーがタッチパネル２０８上のいずれかの位置にタッチすると（シーケンスＳＱ２００）、当該タッチした位置の情報が端末装置２のＣＰＵ２００へ送信される（シーケンスＳＱ２０２）。端末装置２のＣＰＵ２００は、ユーザーがタッチした位置を、表示されているメイン表示領域の表示位置および大きさとの関係に基づいて、操作画面のうちいずれの位置にタッチされたかを示す操作座標位置へ変換する（シーケンスＳＱ２０４）。端末装置２のＣＰＵ２００は、操作座標位置をＭＦＰ１へ送信する（シーケンスＳＱ２０６）。ＭＦＰ１は、端末装置２から操作座標位置を受信すると、対応する設定処理などを実行するとともに、当該処理に応じて操作パネル１１０における表示内容を更新する（シーケンスＳＱ２０８）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容（更新後の操作画面）を示す画像データを取得する（シーケンスＳＱ２１０）とともに、取得した画像データをキャッシュする（ステップＳ２１２）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（更新後の操作画面）をタッチパネル２０８上のメイン表示領域に表示する（シーケンスＳＱ２１４）。
【００９５】
続いて、端末装置２のＣＰＵ２００は、「ヘルプ画面」の表示を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ２１６）。ＭＦＰ１は、「ヘルプ画面」の表示を指示する操作指令に応答して、操作パネル１１０における表示内容を操作画面からヘルプ画面へ切り替える（シーケンスＳＱ２１８）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容（ヘルプ画面）を示す画像データを取得する（シーケンスＳＱ２２０）とともに、取得した画像データをキャッシュする（ステップＳ２２２）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（ヘルプ画面）をタッチパネル２０８上のサブ表示領域に表示する（シーケンスＳＱ２２４）。
【００９６】
続いて、端末装置２のＣＰＵ２００は、「前の画面に戻る」を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ２２６）。ＭＦＰ１は、「前の画面に戻る」を指示する操作指令に応答して、操作パネル１１０における表示内容をヘルプ画面から操作画面へ切り替える（シーケンスＳＱ２２８）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における元に戻った後の表示内容（操作画面）を示す画像データを取得する（シーケンスＳＱ２３０）とともに、取得した画像データをキャッシュする（ステップＳ２３２）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（操作画面）をタッチパネル２０８上のメイン表示領域に表示する（シーケンスＳＱ２３４）。すなわち、端末装置２のＣＰＵ２００は、メイン表示領域の表示を更新する。
【００９７】
このように、端末装置２のＣＰＵ２００は、メイン表示領域に対するユーザー操作に応答して、対応する操作指令を画像形成装置１へ与える。また、この操作指令は、ユーザー操作の対象となった表示領域に対応した表示内容を操作パネル１１０に表示させるための指令を含む。
【００９８】
（ｆ５：ポップアップ表示モードにおけるポップアップの表示手順）
次に、ポップアップ表示モードにおいて複数の画面（操作画面およびヘルプ画面）が表示されている状態で、ユーザーがポップアップ表示を指示した場合の表示手順について説明する。
【００９９】
図１３は、本発明の実施の形態に従う端末装置２がポップアップ表示モードで動作している場合にユーザーがポップアップ表示を指示した場合の手順を示すシーケンス図である。
【０１００】
図１３を参照して、ユーザーがタッチパネル２０８にタッチして、ポップアップ表示を要求すると（シーケンスＳＱ３００）、当該ポップアップ表示の要求が端末装置２のＣＰＵ２００へ送信される（シーケンスＳＱ３０２）。続いて、端末装置２のＣＰＵ２００は、「ヘルプ画面」の表示を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ３０４）。ＭＦＰ１は、「ヘルプ画面」の表示を指示する操作指令に応答して、操作パネル１１０における表示内容を操作画面からヘルプ画面へ切り替える（シーケンスＳＱ３０６）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容（ヘルプ画面）を示す画像データを取得する（シーケンスＳＱ３０８）とともに、取得した画像データをキャッシュする（ステップＳ３１０）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（ヘルプ画面）をタッチパネル２０８上のサブ表示領域に表示する（シーケンスＳＱ３１２）。このサブ表示領域は、ポップアップウィンドウ形態として表示され、メイン表示領域にオーバーレイ表示される。
【０１０１】
続いて、端末装置２のＣＰＵ２００は、「前の画面に戻る」を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ３１４）。ＭＦＰ１は、「前の画面に戻る」を指示する操作指令に応答して、操作パネル１１０における表示内容をヘルプ画面から操作画面へ切り替える（シーケンスＳＱ３１６）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における元に戻った後の表示内容（操作画面）を示す画像データを取得する（シーケンスＳＱ３１８）とともに、取得した画像データをキャッシュする（ステップＳ３２０）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（操作画面）をタッチパネル２０８上のメイン表示領域に表示する（シーケンスＳＱ３２２）。すなわち、端末装置２のＣＰＵ２００は、メイン表示領域の表示を更新する。
【０１０２】
このように、端末装置２のＣＰＵ２００は、画像を複数表示できない場合であっても、ヘルプ画面に対応する画像データを取得するとともに、操作画面上に当該ヘルプ画面を重ねて表示する。
【０１０３】
（ｆ６：サブ表示領域に対する操作の表示手順）
次に、複数画面同時表示モードまたはポップアップ表示モードにおいて、ユーザーがサブ表示領域に表示されるヘルプ画面に対して操作した場合の処理手順について説明する。
【０１０４】
図１４は、本発明の実施の形態に従う端末装置２においてユーザーがサブ表示領域に表示されるヘルプ画面を操作した場合の手順を示すシーケンス図である。なお、図１４に示すシーケンス図は、複数画面同時表示モードにおいて、メイン表示領域と並んでサブ表示領域が表示される場合にも適用できるし、ポップアップ表示モードにおいて、メイン表示領域にサブ表示領域がオーバーレイ表示される場合にも適用できる。
【０１０５】
図１４を参照して、ユーザーがタッチパネル２０８上に表示されるサブ表示領域のいずれかの位置にタッチすると（シーケンスＳＱ４００）、当該タッチした位置の情報が端末装置２のＣＰＵ２００へ送信される（シーケンスＳＱ４０２）。端末装置２のＣＰＵ２００は、ユーザーがタッチした位置がサブ表示領域であると判断し、「ヘルプ画面」の表示を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ４０４）。ＭＦＰ１は、「ヘルプ画面」の表示を指示する操作指令に応答して、操作パネル１１０における表示内容を操作画面からヘルプ画面へ切り替える（シーケンスＳＱ４０６）。この処理は、ＭＦＰ１の操作パネル１１０においてどのような操作画面が表示されているのかが不定であるため、操作パネル１１０にヘルプ画面を表示させることを確実化するための処理である。
【０１０６】
続いて、端末装置２のＣＰＵ２００は、ユーザーがタッチした位置を、表示されているサブ表示領域の表示位置および大きさとの関係に基づいて、ヘルプ画面のうちいずれの位置にタッチされたかを示す操作座標位置へ変換する（シーケンスＳＱ４０８）。端末装置２のＣＰＵ２００は、操作座標位置をＭＦＰ１へ送信する（シーケンスＳＱ４１０）。ＭＦＰ１は、端末装置２から操作座標位置を受信すると、当該操作座標位置に応じて操作パネル１１０における表示内容を更新する（シーケンスＳＱ４１２）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容（新たなヘルプ画面）を示す画像データを取得する（シーケンスＳＱ４１４）とともに、取得した画像データをキャッシュする（ステップＳ４１６）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（新たなヘルプ画面）をタッチパネル２０８上のサブ表示領域に表示する（シーケンスＳＱ４１８）。
【０１０７】
さらに続いて、ユーザーがタッチパネル２０８上に表示されるサブ表示領域のいずれかの位置にタッチすると（シーケンスＳＱ４２０）、当該タッチした位置の情報が端末装置２のＣＰＵ２００へ送信される（シーケンスＳＱ４２２）。端末装置２のＣＰＵ２００は、ユーザーがタッチした位置がサブ表示領域であると判断し、上述のシーケンスＳＱ４０８〜ＳＱ４１８と同様の処理が繰り返される。
【０１０８】
その後、ユーザーがタッチパネル２０８上に表示されるメイン表示領域のいずれかの位置にタッチすると（シーケンスＳＱ４３０）、当該タッチした位置の情報が端末装置２のＣＰＵ２００へ送信される（シーケンスＳＱ４３２）。端末装置２のＣＰＵ２００は、ユーザーがタッチした位置がメイン表示領域であると判断し、「操作画面に戻る」を指示する操作指令をＭＦＰ１へ送信する（シーケンスＳＱ４３４）。ＭＦＰ１は、「操作画面に戻る」を指示する操作指令に応答して、操作パネル１１０における表示内容をヘルプ画面から操作画面へ切り替える（シーケンスＳＱ４３６）。
【０１０９】
続いて、端末装置２のＣＰＵ２００は、ユーザーがタッチした位置を、表示されているメイン表示領域の表示位置および大きさとの関係に基づいて、ヘルプ画面のうちいずれの位置にタッチされたかを示す操作座標位置へ変換する（シーケンスＳＱ４３８）。端末装置２のＣＰＵ２００は、操作座標位置をＭＦＰ１へ送信する（シーケンスＳＱ４４０）。ＭＦＰ１は、端末装置２から操作座標位置を受信すると、対応する設定処理などを実行するとともに、当該処理に応じて操作パネル１１０における表示内容を更新する（シーケンスＳＱ４４２）。端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０における切り替え後の表示内容（更新後の操作画面）を示す画像データを取得する（シーケンスＳＱ４４４）とともに、取得した画像データをキャッシュする（ステップＳ４４６）。続いて、端末装置２のＣＰＵ２００は、取得した画像データ（更新後の操作画面）をタッチパネル２０８上のメイン表示領域に表示する（シーケンスＳＱ４４８）。
【０１１０】
このように、端末装置２のＣＰＵ２００は、サブ表示領域に対するユーザー操作に応答して、対応する操作指令を画像形成装置１へ与える。また、この操作指令は、ユーザー操作の対象となった表示領域に対応した表示内容を操作パネル１１０に表示させるための指令を含む。
【０１１１】
＜Ｇ．変形例＞
上述の実施の形態においては、ユーザーによる端末装置２への操作をＭＦＰ１へ常に送信する形態について例示した。これに対して、ＭＦＰ１が提供する操作画面およびヘルプ画面に参照情報（メタ情報）が付加されている場合には、メタ情報をあわせて保持しておくことで、画面遷移の処理をより簡素化・短縮化できる。
【０１１２】
すなわち、端末装置２のＣＰＵ２００は、操作画面を示す画像データとヘルプ画面を示す画像データとを関連付けて格納するとともに、操作画面の表示が指示された場合、関連付けられたヘルプ画面が格納されていれば、画像形成装置１から第２のヘルプ画面を示す画像データを新たに取得することなく、格納されている操作画面の画像データを表示する。
【０１１３】
図１５は、本発明の実施の形態の変形例に従う操作画面とヘルプ画面との対応付けについて説明するための図である。図１５を参照して、例えば、各操作画面を提供するための情報（データ）として、画像データに加えて、参照先のヘルプ画面を指定するための情報（例えば、ヘルプ画面ＩＤ）が付加されているものとする。
【０１１４】
ＭＦＰ１は、このようなメタ情報についても端末装置２へ出力する。端末装置２は、ＭＦＰ１から出力された画像データおよび対応するメタ情報によって指定されるヘルプ画面を関連付けて保持する。このような操作画面とヘルプ画面とを関連付けて保持しておくことで、ある操作画面から別の操作画面へ遷移した場合であっても、当該遷移先の操作画面に対応付けられたヘルプ画面が既に保持されていれば、当該ヘルプ画面を新たに取得することなく、保持されているヘルプ画面を読み出して利用することで、処理時間を短縮化することができる。
【０１１５】
以下このような処理を実現するための手順について説明する。
図１６は、本発明の実施の形態の変形例に従う端末装置２における全体処理手順の要部を示すフローチャートである。
【０１１６】
図１６を参照して、端末装置２のＣＰＵ２００は、ユーザーがタッチパネル２０８上に表示されるメイン表示領域のいずれかの位置にタッチしたか否かを判断する（ステップＳ１００）。ユーザーがタッチパネル２０８上に表示されるメイン表示領域のいずれかの位置にタッチした場合（ステップＳ１００においてＹＥＳの場合）には、ＭＦＰ１から操作パネル１１０に表示されている操作画面を示す画像データおよびそれに含まれるメタデータを取得する（ステップＳ１０２）。そして、端末装置２のＣＰＵ２００は、取得した画像データをタッチパネル２０８上のメイン表示領域に表示する（ステップＳ１０４）。
【０１１７】
ユーザーがタッチパネル２０８上に表示されるメイン表示領域のいずれかの位置にもタッチしていない場合（ステップＳ１００においてＮＯの場合）には、ステップＳ１０２およびＳ１０４の処理はスキップされる。
【０１１８】
端末装置２のＣＰＵ２００は、ユーザーがタッチパネル２０８上に表示されるサブ表示領域のいずれかの位置にタッチしたか否かを判断する（ステップＳ１０６）。ユーザーがタッチパネル２０８上に表示されるサブ表示領域のいずれかの位置にタッチした場合（ステップＳ１０６においてＹＥＳの場合）には、端末装置２のＣＰＵ２００は、対応するメタデータによって指定されたヘルプ画面が既に格納されているか否かを判断する（ステップＳ１０８）。
【０１１９】
対応するメタデータによって指定されたヘルプ画面が既に格納されていない場合（シーケンスＳＱ１０８においてＮＯの場合）には、端末装置２のＣＰＵ２００は、ＭＦＰ１から操作パネル１１０にヘルプ画面を表示させるとともに、表示されたヘルプ画面を示す画像データを取得する（ステップＳ１１０）。そして、端末装置２のＣＰＵ２００は、取得した画像データをタッチパネル２０８上のサブ表示領域に表示する（ステップＳ１１２）。
【０１２０】
対応するメタデータによって指定されたヘルプ画面が既に格納されている場合（シーケンスＳＱ１０８においてＹＥＳの場合）には、端末装置２のＣＰＵ２００は、格納されている対応するヘルプ画面を示す画像データを読み出し（ステップＳ１２０）。そして、端末装置２のＣＰＵ２００は、読み出した画像データをタッチパネル２０８上のサブ表示領域に表示する（ステップＳ１２２）。
【０１２１】
ユーザーがタッチパネル２０８上に表示されるサブ表示領域のいずれかの位置にもタッチしていない場合（ステップＳ１０６においてＮＯの場合）には、ステップＳ１０８，Ｓ１１０，Ｓ１１２，Ｓ１２０，Ｓ１２２の処理はスキップされる。
【０１２２】
この処理は、ユーザーが終了を指示するまで（ステップＳ１２４）繰り返される。
＜Ｈ．利点＞
本実施の形態においては、複数画面同時表示モードが選択されている場合に、タッチパネル２０８の画像サイズ（解像度）と操作パネル１１０で表示される画像データの大きさ（解像度）との関係に基づいて、単一画面モードまたは複数画面モードが決定される。そして、決定されたモードに従って、操作画面またはヘルプ画面が自動的に適切な形態で表示される。
【０１２３】
このように、本実施の形態によれば、ＭＦＰ１側での処理を変更することなく、端末装置２側でＭＦＰ１をリモート操作することができる。このように、ＭＦＰ１側での変更が必要ないため、従来のように、単一画面モードにしか対応できない端末装置２が混在している場合であっても、操作上の問題は生じない。
【０１２４】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は、上記した説明ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１２５】
１ ＭＦＰ、２ 端末装置、３ 無線中継器、ＮＷ ネットワーク。
【特許請求の範囲】
【請求項１】
操作パネルを有する画像形成装置をリモート操作可能な端末装置であって、前記画像形成装置は、前記操作パネルにおける表示内容を示す画像データを前記端末装置へ出力するように構成されており、前記端末装置は、
表示部と、
前記画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段と、
画像を複数表示できるとの判断に応答して、前記操作パネルにおける表示内容を切り替えるための切替指令を前記画像形成装置へ与えるとともに、当該切替信号に応答して前記画像形成装置から出力される前記第１の画像データとは異なる第２の画像データを取得する切替手段と、
前記第１および第２の画像データを前記表示部に表示する表示制御手段とを含む、端末装置。
【請求項２】
前記表示制御手段は、前記第１の画像データを第１の表示領域に表示し、かつ、前記第２の画像データを第２の表示領域に表示するとともに、前記第１または第２の画像データを新たに取得するまで前記第１または第２の表示領域における表示内容を保持する、請求項１に記載の端末装置。
【請求項３】
前記第１または第２の表示領域に対するユーザー操作に応答して、対応する操作指令を前記画像形成装置へ与える操作手段をさらに備える、請求項２に記載の端末装置。
【請求項４】
前記操作指令は、ユーザー操作の対象となった表示領域に対応した表示内容を前記操作パネルに表示させるための指令を含む、請求項３に記載の端末装置。
【請求項５】
前記表示制御手段は、画像を複数表示できない場合であっても、前記第２の画像データを取得するとともに、前記第１の画像データの上に当該第２の画像データを重ねて表示する、請求項１〜４のいずれか１項に記載の端末装置。
【請求項６】
前記表示制御手段は、前記第１の画像データと前記第２の画像データとを関連付けて格納するとともに、前記第１の画像データの表示が指示された場合、関連付けられた第２の画像データが格納されていれば、前記画像形成装置から第２の画像データを新たに取得することなく、格納されている第２の画像データを表示する、請求項１〜５のいずれか１項に記載の端末装置。
【請求項７】
操作パネルを有する画像形成装置をリモート操作するためのプログラムであって、前記プログラムは、表示部を有するコンピュータを、
前記画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段として機能させ、前記画像形成装置は、前記操作パネルにおける表示内容を示す画像データを前記コンピュータへ出力するように構成されており、さらに、
画像を複数表示できるとの判断に応答して、前記操作パネルにおける表示内容を切り替えるための切替指令を前記画像形成装置へ与えるとともに、当該切替信号に応答して前記画像形成装置から出力される前記第１の画像データとは異なる第２の画像データを取得する切替手段と、
前記第１および第２の画像データを前記表示部に表示する表示制御手段として機能させる、プログラム。
【請求項８】
リモート操作システムであって、
操作パネルを有する画像形成装置と、
前記画像形成装置をリモート操作可能な端末装置とを備え、
前記画像形成装置は、前記操作パネルにおける表示内容を示す画像データを前記端末装置へ出力するように構成されており、
前記端末装置は、
表示部と、
前記画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段と、
画像を複数表示できるとの判断に応答して、前記操作パネルにおける表示内容を切り替えるための切替指令を前記画像形成装置へ与えるとともに、当該切替信号に応答して前記画像形成装置から出力される前記第１の画像データとは異なる第２の画像データを取得する切替手段と、
前記第１および第２の画像データを前記表示部に表示する表示制御手段とを含む、リモート操作システム。
【請求項１】
操作パネルを有する画像形成装置をリモート操作可能な端末装置であって、前記画像形成装置は、前記操作パネルにおける表示内容を示す画像データを前記端末装置へ出力するように構成されており、前記端末装置は、
表示部と、
前記画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段と、
画像を複数表示できるとの判断に応答して、前記操作パネルにおける表示内容を切り替えるための切替指令を前記画像形成装置へ与えるとともに、当該切替信号に応答して前記画像形成装置から出力される前記第１の画像データとは異なる第２の画像データを取得する切替手段と、
前記第１および第２の画像データを前記表示部に表示する表示制御手段とを含む、端末装置。
【請求項２】
前記表示制御手段は、前記第１の画像データを第１の表示領域に表示し、かつ、前記第２の画像データを第２の表示領域に表示するとともに、前記第１または第２の画像データを新たに取得するまで前記第１または第２の表示領域における表示内容を保持する、請求項１に記載の端末装置。
【請求項３】
前記第１または第２の表示領域に対するユーザー操作に応答して、対応する操作指令を前記画像形成装置へ与える操作手段をさらに備える、請求項２に記載の端末装置。
【請求項４】
前記操作指令は、ユーザー操作の対象となった表示領域に対応した表示内容を前記操作パネルに表示させるための指令を含む、請求項３に記載の端末装置。
【請求項５】
前記表示制御手段は、画像を複数表示できない場合であっても、前記第２の画像データを取得するとともに、前記第１の画像データの上に当該第２の画像データを重ねて表示する、請求項１〜４のいずれか１項に記載の端末装置。
【請求項６】
前記表示制御手段は、前記第１の画像データと前記第２の画像データとを関連付けて格納するとともに、前記第１の画像データの表示が指示された場合、関連付けられた第２の画像データが格納されていれば、前記画像形成装置から第２の画像データを新たに取得することなく、格納されている第２の画像データを表示する、請求項１〜５のいずれか１項に記載の端末装置。
【請求項７】
操作パネルを有する画像形成装置をリモート操作するためのプログラムであって、前記プログラムは、表示部を有するコンピュータを、
前記画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段として機能させ、前記画像形成装置は、前記操作パネルにおける表示内容を示す画像データを前記コンピュータへ出力するように構成されており、さらに、
画像を複数表示できるとの判断に応答して、前記操作パネルにおける表示内容を切り替えるための切替指令を前記画像形成装置へ与えるとともに、当該切替信号に応答して前記画像形成装置から出力される前記第１の画像データとは異なる第２の画像データを取得する切替手段と、
前記第１および第２の画像データを前記表示部に表示する表示制御手段として機能させる、プログラム。
【請求項８】
リモート操作システムであって、
操作パネルを有する画像形成装置と、
前記画像形成装置をリモート操作可能な端末装置とを備え、
前記画像形成装置は、前記操作パネルにおける表示内容を示す画像データを前記端末装置へ出力するように構成されており、
前記端末装置は、
表示部と、
前記画像形成装置から出力される第１の画像データに基づいて画像を複数表示できるか否かを判断する複数表示可否判断手段と、
画像を複数表示できるとの判断に応答して、前記操作パネルにおける表示内容を切り替えるための切替指令を前記画像形成装置へ与えるとともに、当該切替信号に応答して前記画像形成装置から出力される前記第１の画像データとは異なる第２の画像データを取得する切替手段と、
前記第１および第２の画像データを前記表示部に表示する表示制御手段とを含む、リモート操作システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【公開番号】特開２０１３−８２７９（Ｐ２０１３−８２７９Ａ）
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願番号】特願２０１１−１４１６８２（Ｐ２０１１−１４１６８２）
【出願日】平成２３年６月２７日（２０１１．６．２７）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２５年１月１０日（２０１３．１．１０）
【国際特許分類】
【出願日】平成２３年６月２７日（２０１１．６．２７）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]