画像処理装置および画像処理装置を遠隔制御するリモートアクセス装置の制御方法
【課題】 WWWブラウザで閲覧・制御する仕組みは、WWWブラウザ専用の画面作成が必要になる点や、不特定多数のクライアントからアクセスが可能になるなどセキュリティを確保できないという問題があった。また、VNCなどのアプリケーションにおいては、リモートで操作する内容が、サーバとクライアントの双方で同時表示されるため、リモート操作中に画面が盗み見されるという問題があった。
【解決手段】 VNCサーバ(MFP)とVNCビューア(遠隔操作しているPC)とを組み合わせて、MFPの遠隔操作を可能としたシステムにおいて、遠隔操作により入力されたユーザIDやパスワード等のセキュリティ情報がローカルUI(機器の操作パネル)上に表示しないようにする。
【解決手段】 VNCサーバ(MFP)とVNCビューア(遠隔操作しているPC)とを組み合わせて、MFPの遠隔操作を可能としたシステムにおいて、遠隔操作により入力されたユーザIDやパスワード等のセキュリティ情報がローカルUI(機器の操作パネル)上に表示しないようにする。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置と該画像処理装置を遠隔制御するリモートアクセス装置間の制御技術に関するものである。
【背景技術】
【0002】
従来、画像処理装置を遠隔操作する方法としては、ネットワークに接続されたパーソナルコンピュータ等の情報処理装置から、画像処理装置内部に格納するHTMLなどで記載された情報をWWWブラウザを用いて閲覧・制御する方式があった。
【0003】
また、RFB(remote framebuffer (AT&Tで開発され公知))プロトコルや、VNC(Virtual Network Computing(AT&Tで開発され公知))アプリケーションなどを用いて、遠隔地に設置された機器の操作画面を、手元の機器の画面上で操作する方式も提案されている。
【0004】
これらは、サーバ側の装置で表示画面データをビットマップ化してクライアントへ送付。クライアント側は表示画面データを受け取り、クライアント側である装置の画面上に表示しキーボードやマウスなどの操作情報を、サーバに送信してサーバ側の装置を遠隔操作する機能を有している。
【0005】
従来例としては、例えば特許文献1をあげることが出来る。
【特許文献1】特開平8−237710号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、WWWブラウザで閲覧・制御する仕組みは、WWWブラウザ専用の画面作成が必要になる点や、不特定多数のクライアントからアクセスが可能になるなどセキュリティを確保できないという問題があった。
【0007】
また、VNCなどのアプリケーションにおいては、リモートで操作する内容が、サーバとクライアントの双方で同時表示されるため、リモート操作中に画面が盗み見されるという問題があった。
【0008】
本発明の目的は、上記の従来技術の有する問題点を解決するためになされたもので、画像処理装置と該画像処理装置を遠隔制御するリモートアクセス装置とのやりとりにおいて、比較的廉価でセキュリティを高め得る手段を提供することにある。
【課題を解決するための手段】
【0009】
本発明に係る第1の発明は、画像データに掛かる各種処理を行う画像処理装置と該画像処理装置を遠隔制御するリモートアクセス装置とをネットワークを介して接続するサーバ・クライアントシステムにおいて、前記画像処理装置は、各種処理に掛かる情報を画面表示する表示部と、それに共する入力部とから成る操作手段を備え、前記画像処理装置は、表示部に表示する画面データをネットワークを介して接続する他の前記リモートアクセス装置に、表示用の画面データを転送するVNC制御手段を有し、また、前記リモートアクセス装置においては、前記画像処理装置のVNC制御手段から送信される画面データを受信し、前記リモートアクセス装置の有する操作部の画面へ前記画像処理装置の操作画面とほぼ同一に画面表示すると共に、該画面に対して行われる各種操作を前記画像処理装置に伝えるリモートVNC制御手段とを有することを特徴とする。
【0010】
また、本発明に係る第2の発明は、前記画像処理装置は、前記表示部に表示する画面データ毎に、その画面ビットマップを一意に識別可能なIDを割り振り、各画面毎に表示項目の中にユーザIDやパスワードといったセキュリティ情報の存在有無を示す情報を格納する画面情報記憶手段とを有することを特徴とする。
【0011】
また、本発明に係る第3の発明は、前記画像処理装置のVNC制御手段において、該画像処理装置の表示手段が表示する画面データとは別に、リモートアクセス専用の画面情報を構築するVNC表示用ワークメモリ手段を有することを特徴とする。
【0012】
また、本発明に係る第4の発明は、前記画像処理装置は、前記リモートアクセス装置の個々を識別し、各リモートアクセス装置毎の操作履歴を有することを特徴とする。
【発明の効果】
【0013】
以上説明したように、本発明に係る第1〜第4の発明によれば、遠隔地でのリモートアクセスが可能になると共に、通常の画面データを展開するメモリとは別に、リモートアクセスおよびセキュリティ情報を含む画面データを専用に展開するメモリ情報を有することが可能となる。
【0014】
これにより、リモートアクセス時に、ローカル画面の盗み見によるセキュリティ情報の漏洩をガードすることが可能になると共に、複数の画面メモリを持たせることで、リモートアクセスを複数同時に処理することも可能になる。
【0015】
また、リモートアクセス時の操作履歴を有することで、画面メモリが1つしかない場合などは、その操作履歴を復元することで、他のリモートクライアントのアクセス内容に容易に切り替えがきるなど、小メモリで複数の同時アクセスを処理することが可能になる。
【発明を実施するための最良の形態】
【0016】
以下、本発明の実施形態について図面を用いて詳細に説明する。
【0017】
図1は、本発明の基本構成を示す図である。
【0018】
図1において、100はVNCサーバである画像処理装置(図2に示す1000 画像処理装置に相当)であり、300のVNCクライアント(図2に示す1003、1005、1007のリモートアクセス装置に相当)との間で各種情報を、200の通信回線を介してやりとり(通信接続)する構成となっている。
【0019】
画像処理装置100の内部は、操作部100、表示部102、表示メモリ103、記憶部104、画像情報記憶部105、スキャナ制御部107、プリンタ制御部108、通信部109、VNC制御部110、VNC操作履歴記憶部111、VNC表示ワークメモリ112とが、IOバス106を介して接続する構成となっている。
【0020】
101は、操作部であり、キーボードやマウスなどの入力装置を備えている。
【0021】
102は、表示部であり、CRTや液晶ディスプレイなどの表示装置を備えている。
【0022】
103は、表示メモリであり、表示部102に表示する画面ビットマップデータを展開するためのビデオイメージメモリ(以下、VRAMと称す)である。なお、本表示メモリ103に展開される画像データは、画像情報記憶部105に保持されているものとした。
【0023】
104は、記憶部であり、RAMなどの揮発記憶装置、ROMやHDDなどの不揮発性記憶装置などにより構成される。
【0024】
105は、画面記憶部であり、図3および図4に後述する画面データを保持する部分であり、記憶部104中に格納されるものとした。
【0025】
106は、IOバスであり、機器内部の全体制御を司る部分である。
【0026】
107は、スキャナ制御部であり、本実施例では、CCDイメージセンサーなどを用いて、原稿読み取り台などに置かれた紙を光学的に読み取る部分とした。
【0027】
108は、プリンタ制御部であり、本実施例では、レーザ光を用いた電子写真方式の出力ユニットを用いて、給紙装置から引き込んだ紙に現像ユニットなどを介して描画し、排紙ユニットを経て機外に排出する部分とした。
【0028】
109は、通信部であり、LAN200を介してVNCクライアント(図2に示す1003、1005、1007のリモートアクセス装置に相当)と、本発明に掛かるRFBプロトコルなどを用いて通信し、1対1もしくは1対多の構成によるリモートアクセスを可能にする部分である。
【0029】
110は、VNC制御部であり、VNC (AT&Tで開発され公知)などのコンピュータ技術を用いて、1対1もしくは1対多での画面共有、遠隔制御を実現する部分である。
【0030】
111は、VNC操作履歴記憶部であり、VNC制御部110を介して接続するVNCクライアント(図2に示す1003、1005、1007のリモートアクセス装置に相当)で行われた操作内容を、VNCのクライアント別、もしくはVNCのユーザ毎に記憶する部分である。
【0031】
112は、VNC表示用ワークメモリであり、表示部102に表示するための表示メモリ103とは別に、VNC制御部110を介して接続するVNCクライアント(図2に示す1003、1005、1007のリモートアクセス装置に相当)用の画面ビットマップデータを展開するVRAMである。
【0032】
通信回線200は、インターネット/イントラネットといった汎用ネットワークを用いる。
【0033】
リモートアクセス装置300は、通信部301、操作部303、表示部304、表示メモリ305、記憶部306、VNC制御部307とが、IOバス302を介して接続する構成となっている。
【0034】
301は、通信部であり、LAN200を介してVNCサーバ(図2に示す1000の画像処理装置に相当)との間で、本発明に掛かるRFBプロトコルなどを用いて通信し、1対1もしくは1対多の構成によるリモートアクセスを可能にする部分である。
【0035】
302は、IOバスであり、機器内部の全体制御を司る部分である。
【0036】
303は、操作部であり、キーボードやマウスなどの入力装置を備えている。
【0037】
304は、表示部であり、CRTや液晶ディスプレイなどの表示装置を備えている。
【0038】
305は、表示メモリであり、表示部303に表示する画面ビットマップデータを展開するためのVRAMである。
【0039】
306は、記憶部であり、RAMなどの揮発記憶装置、ROMやHDDなどの不揮発性記憶装置などにより構成される。
【0040】
307は、VNC制御部であり、VNC (AT&Tで開発され公知)などのコンピュータ技術を用いて、1対1もしくは1対多での画面共有、遠隔制御を実現する部分である。
【0041】
図2は、本発明のシステム構成を示す図である。
【0042】
図中、VNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)に、VNCビューワであるリモートアクセス装置(図1に示す300のリモートアクセス装置に相当)が3台接続された例を示す。なお、VNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)と、VNCビューワであるリモートアクセス装置103、105、107(図1に示す300のリモートアクセス装置に相当)とは、インターネット/イントラネットなどの通信回線1002(図1に示す通信回線200に相当)を介して接続する構成とした。
【0043】
また、VNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)と、VNCビューワであるリモートアクセス装置(図1に示す300のリモートアクセス装置に相当)との間での画面制御は、以下の手順で行うものとした。まず、各リモートアクセス装置103、105、107が、通信回線1002(図1に示す通信回線200に相当)を介して、VNCサーバである画像処理装置1000に対して、画像処理装置1000の表示部(図1に示す100の画像処理装置の表示部102に相当)が表示する画面データ1001の取得要求を、1100、1101、1102で行う。
【0044】
次に、1100、1101、1102からされた画面データ1001の取得要求に対して、VNCサーバである画像処理装置1000は、1200、1201、1202で、各リモートアクセス装置103、105、107へ画面データ1001を送出する。
【0045】
次に、各リモートアクセス装置103、105、107は、1200、1201、1202により送られてきた画面データを、それぞれの表示部(図1に示す300のリモートアクセス装置の表示部304に相当)である1004、1006、1008に表示する。
【0046】
より具体的に説明すると、VNCビューワ1003は、1100で、VNCサーバである画像処理装置1000へ画面の取得要求を行う。この要求を受け取った画像処理装置1000は、表示部に表示した画像データ1001を1200で送出する。次に、VNCビューワ1003は、1200で送られる画像データを受信し、1003の表示部(図1に示す300のリモートアクセス装置の表示部304に相当)に画像データ1004として表示するのである。
【0047】
なお、本実施例では、VNCサーバとVNCクライアントとを別々の機器構成としたが、同一の機器構成による実現も可能である。また、接続台数も特に制限するものではない。
【0048】
図3は、VNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)の画像情報記憶部105の構成を示す図である。
【0049】
画像情報記憶部105の内部は、画面管理情報2000、画面リストカウンタ2001、画面情報2002から構成される。
【0050】
図中2000は、画面管理情報を示し、VNCサーバである画像処理装置1000の機種名や起動直後に表示する初期画面の識別子などを有するものとした。なお、画面管理情報2000に機種名を保持することで、本画面情報とVNCサーバである画像処理装置1000との対応が正しいことを確認できる構成とした。
【0051】
2001は、画面リストカウンタであり、画面情報2002中格納された画面の数を保持する。
【0052】
2002は、画面情報であり、画面リストカウンタ2001で示すカウント分の画面情報を格納する。画面情報の詳細は、図4で後述するが、画面識別子2100、2200、2300と、セキュリティ情報2101、2201、2301と、画面ビットマップ情報2102、2202、2302と、操作ボタン情報2103、2203、2303と、表示情報2104、2204、2304とで構成するものとした。
【0053】
また、画像ビットマップ情報2102、2202、2302は、画像ビットマップ2105、2205、2305とをそれぞれ管理するものとした。
【0054】
図4は、VNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)の画像情報記憶部105が管理する画面毎の情報の詳細を示す図である。
【0055】
図中3000は画面識別子(図3の画面識別子2100、2200、2300に相当)であり、各画面を一意に識別できるユニークなIDを有する。
【0056】
3001は、画面中に、ユーザIDやパスワードといったセキュリティ情報に関連する入出力フィールドの存在有無を示す情報であり、セキュリティ情報が存在する場合に、本情報の値をONする構成とした。
【0057】
3100は、画面ビットマップ情報であり、図中に示したようなビットマップ画像を格納する領域である。
【0058】
3200は、操作ボタン情報であり、画面に配置したボタン位置3201と、該ボタンを操作した際の動作を示す処理内容3202とで構成するものとした。
【0059】
なお、ボタンの位置情報3201は、画面ビットマップ情報3100の画面に設けられた各ボタン位置の区域を示す情報であり、各ボタンの区域は、画面の左上の頂点を原点(X座標とY座標ともに、0)としてX座標とY座標とにより示す構成とした。また、処理内容3202は、ボタン位置情報3201が示すボタンが操作された場合の動作を示しており、例えば、ボタンを反転表示するなどの動作内容を示すものとした。
【0060】
3300は、表示情報であり、機器の状態やボタン操作などによる処理結果を表示する位置情報3301と、その表示内容3302とで構成するものとした。
【0061】
位置情報3301は、画面の左上の頂点を原点(X座標とY座標ともに、0)としてX座標とY座標とにより示し、位置情報3301の区域に表示する内容を3302で示す構成とした。
【0062】
図5は、VNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)とVNCビューワであるリモートアクセス装置(図1に示す300のリモートアクセス装置に相当)との間でやり取りする情報のシーケンスを示す図である。
【0063】
なお、本発明では、VNCサーバ4000(図1に示す100の画像処理装置に相当)とVNCビューワ4001(図1に示す300のリモートアクセス装置に相当)とは、インターネット/イントラネットなどの通信回線1002(図1に示す通信回線200に相当)を介して接続する構成とし、通信回線1002上での情報制御は、RFB(remote framebuffer (AT&Tで開発され公知))プロトコルにより行いものとした。
【0064】
図中、4002で、VNCサーバ4000とVNCビューワ4001との間で、RFBプロトコル上の初期化処理を行うことを示している。
【0065】
次に、4003で、VNCビューワ4001から、VNCサーバ4000へ画面の転送要求(図2の1100、1101、1102にて行われる画面データの取得要求に相当)を行う。
【0066】
次に、4004で、VNCサーバ4000がVNCビューワ4001へ画面データの転送(図2の1200、1201、1202にて行われる画面データ転送に相当)を行う。
【0067】
次に、4005で、VNCビューワ4001に対して行われる操作のうち、4004にて取得した画面データへの操作内容をVNCサーバ4000に通知する。このとき通知する情報としては、マウスやキーボード操作の内容であるが、詳細は公知であるので省略する。
【0068】
次に、4006で、4005で行われた操作内容をVNCサーバは受け取り、表示する画面(図1の表示メモリ103もしくは、VNC表示用ワークメモリ112で操作される画面に相当)に対して、4005で指示された内容を反映し、画面更新する必要があれば、その内容をVNCビューワ4001へ転送する。
【0069】
次に、4007で、処理の完了を示すセッションを切断する。
【0070】
なお、本実施例では、VNCサーバとVNCビューワの同時接続を特に禁止しない構成としたが、常に1対1の接続に制限する方式を用いても良い。
【0071】
図6は、図5のVNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)とVNCビューワであるリモートアクセス装置(図1に示す300のリモートアクセス装置に相当)間で行われる初期化処理4002の詳細を示す図である。
【0072】
なお、本発明では、VNCサーバ4000(図1に示す100の画像処理装置に相当)とVNCビューワ4001(図1に示す300のリモートアクセス装置に相当)とは、インターネット/イントラネットなどの通信回線1002(図1に示す通信回線200に相当)を介して接続する構成とし、通信回線1002上での情報制御は、RFB(remote framebuffer (AT&Tで開発され公知))プロトコルにより行いものとした。
【0073】
まず、5002で、VNCサーバからVNCビューワへ、使用するRFBプロトコルのバージョン番号を送信する。なお、5002に先立ち5001のVNCビューワからVNCサーバへ、TCP/IPプロトコル上のポートへアクセスが行われるが、その処理方法等は公知であるので省略する。
【0074】
次に、5003で、VNCビューワからVNCサーバへ、使用するRFBプロトコルのバージョン番号を送信する。
【0075】
次に、5004にて、VNCサーバが、5003で通知されたRFBプロトコルのバージョン番号を処理可能か否かを判断する。ここで、判断可能であったならば、5006で認証要求をVNCビューワへ送信する。
【0076】
一方、5004で、RFBプロトコルのバージョン番号を処理できないと判断したならば、5005にて、インターネット/イントラネットなどの通信回線1002を介してやり取りするデータセッションを切断する。
【0077】
次に、5007で、VNCビューワからVNCサーバへ、VNCを用いてリモートアクセスするユーザの認証情報を送信する。
【0078】
次に、5008にて、VNCサーバが、5007で受け取った認証情報が正しいか否かを確認する。ここで、正しいユーザと認証したならば、5010で、認証が正しく行われた旨をVNCビューワに送信する。
【0079】
一方、5008で、ユーザ認証が不可であった場合、通信回線1002を介してやり取りするデータセッションを切断する。
【0080】
次に、5011で、5010からの認証正常終了を受信したVNCビューワは、VNCサーバに対して、VNCの準備が完了した旨を送信する。
【0081】
次に、5012で、VNCサーバからVNCビューワへVNCに必要な画面情報などの転送を行った後、VNCの初期化処理を完了する。
【0082】
図7は、VNCサーバである画像処理装置100のVNC操作履歴記憶部111の構成の概略を示す図である。
【0083】
図中、ユーザ識別情報6000(図6の5007でVNCビューワからVNCサーバに送信される情報に相当)は、複数の画面識別情報6001(図3の画面識別子2100、2200、2300に相当)を有する。
【0084】
また、画面識別情報6001は、複数の操作履歴6002(図5の4005でVNCビューワからVNCサーバに送信される情報に相当)を有することを示すものである。詳細を図8に後述する。
【0085】
図8は、VNCサーバである画像処理装置100のVNC操作履歴記憶部111の構成の詳細を示す図である。
【0086】
図中、7000は、ユーザ識別情報(図7のユーザ識別情報6000に相当)を示し、VNCによるリモート操作者を一意に識別できる情報を有するものとした。なお、ユーザ識別情報の詳細については、RFBプロトコル等で公知であるので省略する。
【0087】
7001は、画面カウンタであり、最新の操作画面7002からチェーンされる画面の数をカウントするものとした。図中7011までチェーンされているとすると、本値にはトータルの画面数である3が格納される。
【0088】
7002は、最新の操作履歴を格納する情報をチェーンするポインタである。なお、本実施例での操作履歴は、前操作画面情報である7003、7007、7011と、画面識別子7004、7008、7012と、操作履歴のカウンタ7005、7009、7013と、操作履歴7006、7010、7014とで構成するものとした。
【0089】
次に、操作履歴の内部を説明する。
【0090】
7003は、直前に使用していた画面の操作履歴を指し示すための情報をチェーンするポインタである。本実施例では、“最新の操作履歴”7002が“直前に使用していた履歴”7003を指し、“直前に使用していた履歴”7003は、“直前に使用していた履歴−1”7007を指し示す構成とした。
【0091】
7004は、使用中の画面を示す画面識別子(図3の画面識別子2100、2200、2300に相当)である
7005は、操作履歴のカウンタであり、使用中の画面7004で示す画面上で行われた操作回数を記憶する構成とした。
【0092】
7006は、操作履歴(図5の4005でVNCビューワからVNCサーバに送信される情報に相当)で、VNCビューワ4001上で行われたマウスやキーボード操作の内容を格納する構成とした。
【0093】
図9は、RFBプロトコルを用いたリモートアクセス可能なシステムにおいて、VNCサーバとVNCビューワとの間で行われるリモート操作の処理フローを示す図である。
【0094】
まず、VNCビューワ8000の処理ステップを説明する。
【0095】
8001で、ユーザ操作にVNC開始要求がされるのを待つ。ここで、VNC要求であったならば、8003に進む。一方、VNC要求でなかった場合は、8002に進み、その他の処理を行った後、8001に戻る。
【0096】
次に、8003でVNCの初期化処理(図5の初期化処理4002に相当。処理の詳細は、後述する。)を行う。なお、この初期化処理の過程で、VNCサーバー8200に対してVNC要求8100を送信する。
【0097】
次に、8004で、VNCの初期化が正常終了したか否かを確認する。VNCの初期化処理の詳細は、後述する。
【0098】
8004で、初期化が正常終了したならば8005に進む。一方、8004で初期化に失敗した場合は、本処理を終了する。
【0099】
次に、8005で、VNC処理により表示するリモート操作画面(図1の表示部304で表示する画面データに相当)に対して、ユーザ操作(図1の操作部303で行われる操作内容に相当)が行われたか否かを確認する。
【0100】
次に、8006で、8005の操作内容がVNCの終了操作か否かを確認する。VNCの終了操作であったならば、VNCのセッションを切断した後に本処理を終了する。一方、VNCの終了処理でなかったならば、8007に進む。
【0101】
8007では、ユーザが行った操作8101(図5の操作イベント通知4005に相当)を、通信回線(図1に示す通信回線200に相当)を介してVNCサーバー8200に送信する。
【0102】
次に、8008で、8007で処理した内容に対する画面更新要求8102(図5の画面データの更新要求4003に相当)を、通信回線(図1に示す通信回線200に相当)を介してVNCサーバー8200に送信する。
【0103】
次に、8009で、VNCサーバー8200から画面更新データ8103(図5の画面データ転送4003および4006に相当)が送られてきたか否かを確認する。ここで、画面更新の指示がされたならば、8010に進み、VNCビューワの画面を画面更新データ8103(図5の画面データ転送4006に相当)の内容で更新した後、再度ユーザ操作を待つために8005へ戻る。
【0104】
次に、VNCサーバー8200の処理について説明する。
【0105】
8201にて、VNCビューワ8000上でVNC開始操作が行われたか否かを判断する。なお本ステップで行う判断条件の詳細は、図5で説明済みなため省略する。
【0106】
次に、8201でVNC要求がされたと判断したならば、ステップ8202に進み、VNCの初期化処理(図5の初期化処理4002に相当。処理の詳細は、後述する)を行う。
【0107】
次にステップ8204で、8202で行うVNC初期化処理が正常終了したか否かを確認する。ここで、VNCの初期化が正常終了したならば、ステップ8205に進む。一方VNCの初期化に失敗したと判断したならば、再度VNCの接続要求を待つため、8201へ制御を戻す。
【0108】
次に、8205で、VNCビューワ8000で操作された内容8101(図5の操作イベント通知4005に相当)が、通信回線(図1に示す通信回線200に相当)を介して送信されたか否かを確認する。ここで、ユーザ操作8101を受け取ったと判断した場合は、8206に進み、ユーザ操作8101の内容を、操作履歴(図8の操作履歴7006)に書き込む。
【0109】
次に、8208にて、8206で書き込んだ操作履歴情報の中から、画面識別子(図8の使用中の画面識別子7004)を特定し、VNCサーバーの表示部(図1に示す表示メモリ103に相当)に表示している画面の識別子(図3の画面識別子に相当)とが同一か否かを判断する。
【0110】
8208にて、VNCサーバーの表示部で表示している画面が8206で処理した操作履歴画面と異なる場合は、VNC専用の表示メモリ(図1に示すVNC表示用ワークメモリ112に相当)で処理しているものとして8209に進む。
【0111】
一方、VNCサーバーの表示部で表示している画面が8206で処理した画面とが等しい場合は、8210に進み、VNCサーバーの表示部(図1に示す表示メモリ103に相当)にユーザ操作8101の内容を反映する。
【0112】
次に、8209で、VNC専用の表示メモリ(図1に示すVNC表示用ワークメモリ112に相当)に、ユーザ操作8101の内容を反映する。
【0113】
次に、8211で、8209および8210で、ユーザ操作8101を反映した結果が、別画面に遷移するか否かを判断する。ここで、画面遷移があると判断した場合は、8212に進み、遷移画面用に新規履歴を作成し、最新の操作履歴7002と遷移直前に使用していた履歴7003の繋ぎ替えを行う。
【0114】
次に、8213で、8211で画面遷移が必要と判断した画面のセキュリティ情報(図4のセキュリティ情報3001に相当)から、画面内部にセキュリティ情報が存在するか否かを判断する。ここで、セキュリティ情報が存在すると判断した場合は、8214に進み、VNC専用の表示メモリ(図1に示すVNC表示用ワークメモリ112に相当)に画面を展開する。一方、8213でセキュリティ情報が存在しないと判断したならば、ステップ8215に進み、VNCサーバーの表示部(図1に示す表示メモリ103に相当)に状態遷移後の画面を描画する。
【0115】
次に、8216で、VNCビューワ8000から画面更新要求8102(図5の画面データの更新要求4003に相当)が送られているか否かを確認する。ここで、画面更新要求8102が送信されていたならば、8217にて画面更新データである画面更新データ8103(図5の画面データ転送4003および4006に相当)をVNCビューワ8000に送信する。
【0116】
図10は、RFBプロトコルを用いたVNCサーバとVNCビューワ間で行われる初期化処理(図6に示した初期化処理に相当)のフローを示す図である。
【0117】
まず、VNCビューワ9000は、9001で、プロトコルバージョン9100(図6のプロトコルバージョン5002に相当)がVNCサーバ9200から送信されるのを待つ。
【0118】
次に、9002にてVNCビューワ9000は、VNCサーバ9200から通知されたプロトコルバージョン9100が、処理可能なバージョンか否かを確認する。ここで処理可能と判断した場合は、9003に進み、VNCビューワ9000の持つプロトコルバージョン9101(図6のプロトコルバージョン5003に相当)を、VNCサーバ9200に送信する。
【0119】
次に、9202にてVNCサーバ9200は、ロトコルバージョン9101が処理可能か否かを確認する。ここで処理が可能と判断した場合は、9203にて認証要求9102(図6のプロトコルバージョン5006に相当)をVNCビューワ9000へ送信する。
【0120】
次に、9004にてVNCビューワ9000は、認証要求9102を受信したか否かを確認する。ここで認証要求9102を受信したと判断したならば、9005に進み、認証情報9103(図6のプロトコルバージョン5007に相当)をVNCサーバ9200へ送信する。
【0121】
次に、9204にてVNCサーバ9200は、認証情報9103を受信したか否かを確認する。ここで、認証情報を受信したと判断したならば、9205に進み、認証情報9103の内容を確認する。
【0122】
次に、9206にてVNCサーバ9200は、9205で認証処理した結果が正しいか否かを確認する(図6の認証判断5008に相当)。ここで、正しく認証処理ができたと判断した場合は、認証成功9104(図6の認証判断5010に相当)をVNCビューワ9000に送信する。
【0123】
次に、9006にてVNCビューワ9000は、認証成功9104を受け取ったか否かを確認する。ここで認証成功と判断した場合は、9007に進み、VNCビューワ9000の操作部(図1の操作部303に相当)および表示部(図1の操作部304に相当)を用いて前回のリモートアクセスの継続か否かを確認する。なお、継続か否かは、各ユーザの操作履歴(図8の操作履歴に相当)が存在するか否かにより判断するものとした。
【0124】
次に、9007にてVNCビューワ9000は、処理のリモートアクセス処理の継続および新規接続か否かを判断した後、継続および新規を示す情報をクライアント初期化メッセージ9105(図6のクライアント初期化メッセージ5011に相当)に乗せて、VNCサーバ9200へ送信する。
【0125】
次に、9208にてVNCサーバ9200は、クライアント初期化メッセージ9105が送られてきたか否かを判断する。ここで受け取ったと判断した場合は、9202にてサーバー初期化メッセージ9106(図6のクライアント初期化メッセージ5011に相当)を、VNCビューワ9000に送信する。
【0126】
次に、9010にてVNCビューワ9000は、サーバー初期化メッセージ9106の受け取りを待つ。ここで、受け取り終えたと判断した場合は、9011に進む。
【0127】
一方、9210にてVNCサーバ9200は、クライアント初期化メッセージ9105に付加された画面情報がVNCビューワ9000で現在表示中の画面(図1に示す表示メモリ103に相当)と異なると判断した場合、9211に進み、VNC用の描画メモリ(図1に示すVNC表示用ワークメモリ112に相当)に画面データを描画した後、画面データ9107(図5の画面データ転送4004に相当)にてVNCビューワ9000に送信する。
【0128】
一方、9011にてVNCビューワ9000は、画面データ9107が送信されたか否かを確認する。ここで受信済みと判断したならば9012に進み、VNCビューワ9000の表示メモリ305に書き込んだ後、表示部304に描画処理する。
【0129】
なお、VNCサーバ9200は、9212および9213で画像データ9107をVNCビューワ9000に送信した後、9214に進み、操作履歴(図8の操作履歴に相当)の更新を行うものとした。
【図面の簡単な説明】
【0130】
【図1】本発明の第1実施形態を示すサーバ・クライアントシステムの一例を示す図である。
【図2】図1に示したサーバ・クライアントシステムのシステム構成の例を示す図である。
【図3】図1に示したVNCサーバである画像処理装置の画面構成の概略を示す図である。
【図4】図1に示したVNCサーバである画像処理装置の画面構成の詳細を示す図である。
【図5】図1に示したサーバ・クライアントシステムのRFBプロトコルの概略を示す図である。
【図6】図1に示したサーバ・クライアントシステムで用いるRFBプロトコル上の初期化シーケンスを示す図である。
【図7】図1に示したサーバ・クライアントシステムで用いる操作履歴の概略を示す図である。
【図8】図1に示したサーバ・クライアントシステムで用いる操作履歴の詳細を示す図である。
【図9】本発明に係るサーバ・クライアントシステムのRFBプロトコル上の制御処理フローを示す図である。
【図10】本発明に係るサーバ・クライアントシステムのRFBプロトコル上の初期化処理フローを示す図である。
【技術分野】
【0001】
本発明は、画像処理装置と該画像処理装置を遠隔制御するリモートアクセス装置間の制御技術に関するものである。
【背景技術】
【0002】
従来、画像処理装置を遠隔操作する方法としては、ネットワークに接続されたパーソナルコンピュータ等の情報処理装置から、画像処理装置内部に格納するHTMLなどで記載された情報をWWWブラウザを用いて閲覧・制御する方式があった。
【0003】
また、RFB(remote framebuffer (AT&Tで開発され公知))プロトコルや、VNC(Virtual Network Computing(AT&Tで開発され公知))アプリケーションなどを用いて、遠隔地に設置された機器の操作画面を、手元の機器の画面上で操作する方式も提案されている。
【0004】
これらは、サーバ側の装置で表示画面データをビットマップ化してクライアントへ送付。クライアント側は表示画面データを受け取り、クライアント側である装置の画面上に表示しキーボードやマウスなどの操作情報を、サーバに送信してサーバ側の装置を遠隔操作する機能を有している。
【0005】
従来例としては、例えば特許文献1をあげることが出来る。
【特許文献1】特開平8−237710号公報
【発明の開示】
【発明が解決しようとする課題】
【0006】
しかしながら、WWWブラウザで閲覧・制御する仕組みは、WWWブラウザ専用の画面作成が必要になる点や、不特定多数のクライアントからアクセスが可能になるなどセキュリティを確保できないという問題があった。
【0007】
また、VNCなどのアプリケーションにおいては、リモートで操作する内容が、サーバとクライアントの双方で同時表示されるため、リモート操作中に画面が盗み見されるという問題があった。
【0008】
本発明の目的は、上記の従来技術の有する問題点を解決するためになされたもので、画像処理装置と該画像処理装置を遠隔制御するリモートアクセス装置とのやりとりにおいて、比較的廉価でセキュリティを高め得る手段を提供することにある。
【課題を解決するための手段】
【0009】
本発明に係る第1の発明は、画像データに掛かる各種処理を行う画像処理装置と該画像処理装置を遠隔制御するリモートアクセス装置とをネットワークを介して接続するサーバ・クライアントシステムにおいて、前記画像処理装置は、各種処理に掛かる情報を画面表示する表示部と、それに共する入力部とから成る操作手段を備え、前記画像処理装置は、表示部に表示する画面データをネットワークを介して接続する他の前記リモートアクセス装置に、表示用の画面データを転送するVNC制御手段を有し、また、前記リモートアクセス装置においては、前記画像処理装置のVNC制御手段から送信される画面データを受信し、前記リモートアクセス装置の有する操作部の画面へ前記画像処理装置の操作画面とほぼ同一に画面表示すると共に、該画面に対して行われる各種操作を前記画像処理装置に伝えるリモートVNC制御手段とを有することを特徴とする。
【0010】
また、本発明に係る第2の発明は、前記画像処理装置は、前記表示部に表示する画面データ毎に、その画面ビットマップを一意に識別可能なIDを割り振り、各画面毎に表示項目の中にユーザIDやパスワードといったセキュリティ情報の存在有無を示す情報を格納する画面情報記憶手段とを有することを特徴とする。
【0011】
また、本発明に係る第3の発明は、前記画像処理装置のVNC制御手段において、該画像処理装置の表示手段が表示する画面データとは別に、リモートアクセス専用の画面情報を構築するVNC表示用ワークメモリ手段を有することを特徴とする。
【0012】
また、本発明に係る第4の発明は、前記画像処理装置は、前記リモートアクセス装置の個々を識別し、各リモートアクセス装置毎の操作履歴を有することを特徴とする。
【発明の効果】
【0013】
以上説明したように、本発明に係る第1〜第4の発明によれば、遠隔地でのリモートアクセスが可能になると共に、通常の画面データを展開するメモリとは別に、リモートアクセスおよびセキュリティ情報を含む画面データを専用に展開するメモリ情報を有することが可能となる。
【0014】
これにより、リモートアクセス時に、ローカル画面の盗み見によるセキュリティ情報の漏洩をガードすることが可能になると共に、複数の画面メモリを持たせることで、リモートアクセスを複数同時に処理することも可能になる。
【0015】
また、リモートアクセス時の操作履歴を有することで、画面メモリが1つしかない場合などは、その操作履歴を復元することで、他のリモートクライアントのアクセス内容に容易に切り替えがきるなど、小メモリで複数の同時アクセスを処理することが可能になる。
【発明を実施するための最良の形態】
【0016】
以下、本発明の実施形態について図面を用いて詳細に説明する。
【0017】
図1は、本発明の基本構成を示す図である。
【0018】
図1において、100はVNCサーバである画像処理装置(図2に示す1000 画像処理装置に相当)であり、300のVNCクライアント(図2に示す1003、1005、1007のリモートアクセス装置に相当)との間で各種情報を、200の通信回線を介してやりとり(通信接続)する構成となっている。
【0019】
画像処理装置100の内部は、操作部100、表示部102、表示メモリ103、記憶部104、画像情報記憶部105、スキャナ制御部107、プリンタ制御部108、通信部109、VNC制御部110、VNC操作履歴記憶部111、VNC表示ワークメモリ112とが、IOバス106を介して接続する構成となっている。
【0020】
101は、操作部であり、キーボードやマウスなどの入力装置を備えている。
【0021】
102は、表示部であり、CRTや液晶ディスプレイなどの表示装置を備えている。
【0022】
103は、表示メモリであり、表示部102に表示する画面ビットマップデータを展開するためのビデオイメージメモリ(以下、VRAMと称す)である。なお、本表示メモリ103に展開される画像データは、画像情報記憶部105に保持されているものとした。
【0023】
104は、記憶部であり、RAMなどの揮発記憶装置、ROMやHDDなどの不揮発性記憶装置などにより構成される。
【0024】
105は、画面記憶部であり、図3および図4に後述する画面データを保持する部分であり、記憶部104中に格納されるものとした。
【0025】
106は、IOバスであり、機器内部の全体制御を司る部分である。
【0026】
107は、スキャナ制御部であり、本実施例では、CCDイメージセンサーなどを用いて、原稿読み取り台などに置かれた紙を光学的に読み取る部分とした。
【0027】
108は、プリンタ制御部であり、本実施例では、レーザ光を用いた電子写真方式の出力ユニットを用いて、給紙装置から引き込んだ紙に現像ユニットなどを介して描画し、排紙ユニットを経て機外に排出する部分とした。
【0028】
109は、通信部であり、LAN200を介してVNCクライアント(図2に示す1003、1005、1007のリモートアクセス装置に相当)と、本発明に掛かるRFBプロトコルなどを用いて通信し、1対1もしくは1対多の構成によるリモートアクセスを可能にする部分である。
【0029】
110は、VNC制御部であり、VNC (AT&Tで開発され公知)などのコンピュータ技術を用いて、1対1もしくは1対多での画面共有、遠隔制御を実現する部分である。
【0030】
111は、VNC操作履歴記憶部であり、VNC制御部110を介して接続するVNCクライアント(図2に示す1003、1005、1007のリモートアクセス装置に相当)で行われた操作内容を、VNCのクライアント別、もしくはVNCのユーザ毎に記憶する部分である。
【0031】
112は、VNC表示用ワークメモリであり、表示部102に表示するための表示メモリ103とは別に、VNC制御部110を介して接続するVNCクライアント(図2に示す1003、1005、1007のリモートアクセス装置に相当)用の画面ビットマップデータを展開するVRAMである。
【0032】
通信回線200は、インターネット/イントラネットといった汎用ネットワークを用いる。
【0033】
リモートアクセス装置300は、通信部301、操作部303、表示部304、表示メモリ305、記憶部306、VNC制御部307とが、IOバス302を介して接続する構成となっている。
【0034】
301は、通信部であり、LAN200を介してVNCサーバ(図2に示す1000の画像処理装置に相当)との間で、本発明に掛かるRFBプロトコルなどを用いて通信し、1対1もしくは1対多の構成によるリモートアクセスを可能にする部分である。
【0035】
302は、IOバスであり、機器内部の全体制御を司る部分である。
【0036】
303は、操作部であり、キーボードやマウスなどの入力装置を備えている。
【0037】
304は、表示部であり、CRTや液晶ディスプレイなどの表示装置を備えている。
【0038】
305は、表示メモリであり、表示部303に表示する画面ビットマップデータを展開するためのVRAMである。
【0039】
306は、記憶部であり、RAMなどの揮発記憶装置、ROMやHDDなどの不揮発性記憶装置などにより構成される。
【0040】
307は、VNC制御部であり、VNC (AT&Tで開発され公知)などのコンピュータ技術を用いて、1対1もしくは1対多での画面共有、遠隔制御を実現する部分である。
【0041】
図2は、本発明のシステム構成を示す図である。
【0042】
図中、VNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)に、VNCビューワであるリモートアクセス装置(図1に示す300のリモートアクセス装置に相当)が3台接続された例を示す。なお、VNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)と、VNCビューワであるリモートアクセス装置103、105、107(図1に示す300のリモートアクセス装置に相当)とは、インターネット/イントラネットなどの通信回線1002(図1に示す通信回線200に相当)を介して接続する構成とした。
【0043】
また、VNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)と、VNCビューワであるリモートアクセス装置(図1に示す300のリモートアクセス装置に相当)との間での画面制御は、以下の手順で行うものとした。まず、各リモートアクセス装置103、105、107が、通信回線1002(図1に示す通信回線200に相当)を介して、VNCサーバである画像処理装置1000に対して、画像処理装置1000の表示部(図1に示す100の画像処理装置の表示部102に相当)が表示する画面データ1001の取得要求を、1100、1101、1102で行う。
【0044】
次に、1100、1101、1102からされた画面データ1001の取得要求に対して、VNCサーバである画像処理装置1000は、1200、1201、1202で、各リモートアクセス装置103、105、107へ画面データ1001を送出する。
【0045】
次に、各リモートアクセス装置103、105、107は、1200、1201、1202により送られてきた画面データを、それぞれの表示部(図1に示す300のリモートアクセス装置の表示部304に相当)である1004、1006、1008に表示する。
【0046】
より具体的に説明すると、VNCビューワ1003は、1100で、VNCサーバである画像処理装置1000へ画面の取得要求を行う。この要求を受け取った画像処理装置1000は、表示部に表示した画像データ1001を1200で送出する。次に、VNCビューワ1003は、1200で送られる画像データを受信し、1003の表示部(図1に示す300のリモートアクセス装置の表示部304に相当)に画像データ1004として表示するのである。
【0047】
なお、本実施例では、VNCサーバとVNCクライアントとを別々の機器構成としたが、同一の機器構成による実現も可能である。また、接続台数も特に制限するものではない。
【0048】
図3は、VNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)の画像情報記憶部105の構成を示す図である。
【0049】
画像情報記憶部105の内部は、画面管理情報2000、画面リストカウンタ2001、画面情報2002から構成される。
【0050】
図中2000は、画面管理情報を示し、VNCサーバである画像処理装置1000の機種名や起動直後に表示する初期画面の識別子などを有するものとした。なお、画面管理情報2000に機種名を保持することで、本画面情報とVNCサーバである画像処理装置1000との対応が正しいことを確認できる構成とした。
【0051】
2001は、画面リストカウンタであり、画面情報2002中格納された画面の数を保持する。
【0052】
2002は、画面情報であり、画面リストカウンタ2001で示すカウント分の画面情報を格納する。画面情報の詳細は、図4で後述するが、画面識別子2100、2200、2300と、セキュリティ情報2101、2201、2301と、画面ビットマップ情報2102、2202、2302と、操作ボタン情報2103、2203、2303と、表示情報2104、2204、2304とで構成するものとした。
【0053】
また、画像ビットマップ情報2102、2202、2302は、画像ビットマップ2105、2205、2305とをそれぞれ管理するものとした。
【0054】
図4は、VNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)の画像情報記憶部105が管理する画面毎の情報の詳細を示す図である。
【0055】
図中3000は画面識別子(図3の画面識別子2100、2200、2300に相当)であり、各画面を一意に識別できるユニークなIDを有する。
【0056】
3001は、画面中に、ユーザIDやパスワードといったセキュリティ情報に関連する入出力フィールドの存在有無を示す情報であり、セキュリティ情報が存在する場合に、本情報の値をONする構成とした。
【0057】
3100は、画面ビットマップ情報であり、図中に示したようなビットマップ画像を格納する領域である。
【0058】
3200は、操作ボタン情報であり、画面に配置したボタン位置3201と、該ボタンを操作した際の動作を示す処理内容3202とで構成するものとした。
【0059】
なお、ボタンの位置情報3201は、画面ビットマップ情報3100の画面に設けられた各ボタン位置の区域を示す情報であり、各ボタンの区域は、画面の左上の頂点を原点(X座標とY座標ともに、0)としてX座標とY座標とにより示す構成とした。また、処理内容3202は、ボタン位置情報3201が示すボタンが操作された場合の動作を示しており、例えば、ボタンを反転表示するなどの動作内容を示すものとした。
【0060】
3300は、表示情報であり、機器の状態やボタン操作などによる処理結果を表示する位置情報3301と、その表示内容3302とで構成するものとした。
【0061】
位置情報3301は、画面の左上の頂点を原点(X座標とY座標ともに、0)としてX座標とY座標とにより示し、位置情報3301の区域に表示する内容を3302で示す構成とした。
【0062】
図5は、VNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)とVNCビューワであるリモートアクセス装置(図1に示す300のリモートアクセス装置に相当)との間でやり取りする情報のシーケンスを示す図である。
【0063】
なお、本発明では、VNCサーバ4000(図1に示す100の画像処理装置に相当)とVNCビューワ4001(図1に示す300のリモートアクセス装置に相当)とは、インターネット/イントラネットなどの通信回線1002(図1に示す通信回線200に相当)を介して接続する構成とし、通信回線1002上での情報制御は、RFB(remote framebuffer (AT&Tで開発され公知))プロトコルにより行いものとした。
【0064】
図中、4002で、VNCサーバ4000とVNCビューワ4001との間で、RFBプロトコル上の初期化処理を行うことを示している。
【0065】
次に、4003で、VNCビューワ4001から、VNCサーバ4000へ画面の転送要求(図2の1100、1101、1102にて行われる画面データの取得要求に相当)を行う。
【0066】
次に、4004で、VNCサーバ4000がVNCビューワ4001へ画面データの転送(図2の1200、1201、1202にて行われる画面データ転送に相当)を行う。
【0067】
次に、4005で、VNCビューワ4001に対して行われる操作のうち、4004にて取得した画面データへの操作内容をVNCサーバ4000に通知する。このとき通知する情報としては、マウスやキーボード操作の内容であるが、詳細は公知であるので省略する。
【0068】
次に、4006で、4005で行われた操作内容をVNCサーバは受け取り、表示する画面(図1の表示メモリ103もしくは、VNC表示用ワークメモリ112で操作される画面に相当)に対して、4005で指示された内容を反映し、画面更新する必要があれば、その内容をVNCビューワ4001へ転送する。
【0069】
次に、4007で、処理の完了を示すセッションを切断する。
【0070】
なお、本実施例では、VNCサーバとVNCビューワの同時接続を特に禁止しない構成としたが、常に1対1の接続に制限する方式を用いても良い。
【0071】
図6は、図5のVNCサーバである画像処理装置1000(図1に示す100の画像処理装置に相当)とVNCビューワであるリモートアクセス装置(図1に示す300のリモートアクセス装置に相当)間で行われる初期化処理4002の詳細を示す図である。
【0072】
なお、本発明では、VNCサーバ4000(図1に示す100の画像処理装置に相当)とVNCビューワ4001(図1に示す300のリモートアクセス装置に相当)とは、インターネット/イントラネットなどの通信回線1002(図1に示す通信回線200に相当)を介して接続する構成とし、通信回線1002上での情報制御は、RFB(remote framebuffer (AT&Tで開発され公知))プロトコルにより行いものとした。
【0073】
まず、5002で、VNCサーバからVNCビューワへ、使用するRFBプロトコルのバージョン番号を送信する。なお、5002に先立ち5001のVNCビューワからVNCサーバへ、TCP/IPプロトコル上のポートへアクセスが行われるが、その処理方法等は公知であるので省略する。
【0074】
次に、5003で、VNCビューワからVNCサーバへ、使用するRFBプロトコルのバージョン番号を送信する。
【0075】
次に、5004にて、VNCサーバが、5003で通知されたRFBプロトコルのバージョン番号を処理可能か否かを判断する。ここで、判断可能であったならば、5006で認証要求をVNCビューワへ送信する。
【0076】
一方、5004で、RFBプロトコルのバージョン番号を処理できないと判断したならば、5005にて、インターネット/イントラネットなどの通信回線1002を介してやり取りするデータセッションを切断する。
【0077】
次に、5007で、VNCビューワからVNCサーバへ、VNCを用いてリモートアクセスするユーザの認証情報を送信する。
【0078】
次に、5008にて、VNCサーバが、5007で受け取った認証情報が正しいか否かを確認する。ここで、正しいユーザと認証したならば、5010で、認証が正しく行われた旨をVNCビューワに送信する。
【0079】
一方、5008で、ユーザ認証が不可であった場合、通信回線1002を介してやり取りするデータセッションを切断する。
【0080】
次に、5011で、5010からの認証正常終了を受信したVNCビューワは、VNCサーバに対して、VNCの準備が完了した旨を送信する。
【0081】
次に、5012で、VNCサーバからVNCビューワへVNCに必要な画面情報などの転送を行った後、VNCの初期化処理を完了する。
【0082】
図7は、VNCサーバである画像処理装置100のVNC操作履歴記憶部111の構成の概略を示す図である。
【0083】
図中、ユーザ識別情報6000(図6の5007でVNCビューワからVNCサーバに送信される情報に相当)は、複数の画面識別情報6001(図3の画面識別子2100、2200、2300に相当)を有する。
【0084】
また、画面識別情報6001は、複数の操作履歴6002(図5の4005でVNCビューワからVNCサーバに送信される情報に相当)を有することを示すものである。詳細を図8に後述する。
【0085】
図8は、VNCサーバである画像処理装置100のVNC操作履歴記憶部111の構成の詳細を示す図である。
【0086】
図中、7000は、ユーザ識別情報(図7のユーザ識別情報6000に相当)を示し、VNCによるリモート操作者を一意に識別できる情報を有するものとした。なお、ユーザ識別情報の詳細については、RFBプロトコル等で公知であるので省略する。
【0087】
7001は、画面カウンタであり、最新の操作画面7002からチェーンされる画面の数をカウントするものとした。図中7011までチェーンされているとすると、本値にはトータルの画面数である3が格納される。
【0088】
7002は、最新の操作履歴を格納する情報をチェーンするポインタである。なお、本実施例での操作履歴は、前操作画面情報である7003、7007、7011と、画面識別子7004、7008、7012と、操作履歴のカウンタ7005、7009、7013と、操作履歴7006、7010、7014とで構成するものとした。
【0089】
次に、操作履歴の内部を説明する。
【0090】
7003は、直前に使用していた画面の操作履歴を指し示すための情報をチェーンするポインタである。本実施例では、“最新の操作履歴”7002が“直前に使用していた履歴”7003を指し、“直前に使用していた履歴”7003は、“直前に使用していた履歴−1”7007を指し示す構成とした。
【0091】
7004は、使用中の画面を示す画面識別子(図3の画面識別子2100、2200、2300に相当)である
7005は、操作履歴のカウンタであり、使用中の画面7004で示す画面上で行われた操作回数を記憶する構成とした。
【0092】
7006は、操作履歴(図5の4005でVNCビューワからVNCサーバに送信される情報に相当)で、VNCビューワ4001上で行われたマウスやキーボード操作の内容を格納する構成とした。
【0093】
図9は、RFBプロトコルを用いたリモートアクセス可能なシステムにおいて、VNCサーバとVNCビューワとの間で行われるリモート操作の処理フローを示す図である。
【0094】
まず、VNCビューワ8000の処理ステップを説明する。
【0095】
8001で、ユーザ操作にVNC開始要求がされるのを待つ。ここで、VNC要求であったならば、8003に進む。一方、VNC要求でなかった場合は、8002に進み、その他の処理を行った後、8001に戻る。
【0096】
次に、8003でVNCの初期化処理(図5の初期化処理4002に相当。処理の詳細は、後述する。)を行う。なお、この初期化処理の過程で、VNCサーバー8200に対してVNC要求8100を送信する。
【0097】
次に、8004で、VNCの初期化が正常終了したか否かを確認する。VNCの初期化処理の詳細は、後述する。
【0098】
8004で、初期化が正常終了したならば8005に進む。一方、8004で初期化に失敗した場合は、本処理を終了する。
【0099】
次に、8005で、VNC処理により表示するリモート操作画面(図1の表示部304で表示する画面データに相当)に対して、ユーザ操作(図1の操作部303で行われる操作内容に相当)が行われたか否かを確認する。
【0100】
次に、8006で、8005の操作内容がVNCの終了操作か否かを確認する。VNCの終了操作であったならば、VNCのセッションを切断した後に本処理を終了する。一方、VNCの終了処理でなかったならば、8007に進む。
【0101】
8007では、ユーザが行った操作8101(図5の操作イベント通知4005に相当)を、通信回線(図1に示す通信回線200に相当)を介してVNCサーバー8200に送信する。
【0102】
次に、8008で、8007で処理した内容に対する画面更新要求8102(図5の画面データの更新要求4003に相当)を、通信回線(図1に示す通信回線200に相当)を介してVNCサーバー8200に送信する。
【0103】
次に、8009で、VNCサーバー8200から画面更新データ8103(図5の画面データ転送4003および4006に相当)が送られてきたか否かを確認する。ここで、画面更新の指示がされたならば、8010に進み、VNCビューワの画面を画面更新データ8103(図5の画面データ転送4006に相当)の内容で更新した後、再度ユーザ操作を待つために8005へ戻る。
【0104】
次に、VNCサーバー8200の処理について説明する。
【0105】
8201にて、VNCビューワ8000上でVNC開始操作が行われたか否かを判断する。なお本ステップで行う判断条件の詳細は、図5で説明済みなため省略する。
【0106】
次に、8201でVNC要求がされたと判断したならば、ステップ8202に進み、VNCの初期化処理(図5の初期化処理4002に相当。処理の詳細は、後述する)を行う。
【0107】
次にステップ8204で、8202で行うVNC初期化処理が正常終了したか否かを確認する。ここで、VNCの初期化が正常終了したならば、ステップ8205に進む。一方VNCの初期化に失敗したと判断したならば、再度VNCの接続要求を待つため、8201へ制御を戻す。
【0108】
次に、8205で、VNCビューワ8000で操作された内容8101(図5の操作イベント通知4005に相当)が、通信回線(図1に示す通信回線200に相当)を介して送信されたか否かを確認する。ここで、ユーザ操作8101を受け取ったと判断した場合は、8206に進み、ユーザ操作8101の内容を、操作履歴(図8の操作履歴7006)に書き込む。
【0109】
次に、8208にて、8206で書き込んだ操作履歴情報の中から、画面識別子(図8の使用中の画面識別子7004)を特定し、VNCサーバーの表示部(図1に示す表示メモリ103に相当)に表示している画面の識別子(図3の画面識別子に相当)とが同一か否かを判断する。
【0110】
8208にて、VNCサーバーの表示部で表示している画面が8206で処理した操作履歴画面と異なる場合は、VNC専用の表示メモリ(図1に示すVNC表示用ワークメモリ112に相当)で処理しているものとして8209に進む。
【0111】
一方、VNCサーバーの表示部で表示している画面が8206で処理した画面とが等しい場合は、8210に進み、VNCサーバーの表示部(図1に示す表示メモリ103に相当)にユーザ操作8101の内容を反映する。
【0112】
次に、8209で、VNC専用の表示メモリ(図1に示すVNC表示用ワークメモリ112に相当)に、ユーザ操作8101の内容を反映する。
【0113】
次に、8211で、8209および8210で、ユーザ操作8101を反映した結果が、別画面に遷移するか否かを判断する。ここで、画面遷移があると判断した場合は、8212に進み、遷移画面用に新規履歴を作成し、最新の操作履歴7002と遷移直前に使用していた履歴7003の繋ぎ替えを行う。
【0114】
次に、8213で、8211で画面遷移が必要と判断した画面のセキュリティ情報(図4のセキュリティ情報3001に相当)から、画面内部にセキュリティ情報が存在するか否かを判断する。ここで、セキュリティ情報が存在すると判断した場合は、8214に進み、VNC専用の表示メモリ(図1に示すVNC表示用ワークメモリ112に相当)に画面を展開する。一方、8213でセキュリティ情報が存在しないと判断したならば、ステップ8215に進み、VNCサーバーの表示部(図1に示す表示メモリ103に相当)に状態遷移後の画面を描画する。
【0115】
次に、8216で、VNCビューワ8000から画面更新要求8102(図5の画面データの更新要求4003に相当)が送られているか否かを確認する。ここで、画面更新要求8102が送信されていたならば、8217にて画面更新データである画面更新データ8103(図5の画面データ転送4003および4006に相当)をVNCビューワ8000に送信する。
【0116】
図10は、RFBプロトコルを用いたVNCサーバとVNCビューワ間で行われる初期化処理(図6に示した初期化処理に相当)のフローを示す図である。
【0117】
まず、VNCビューワ9000は、9001で、プロトコルバージョン9100(図6のプロトコルバージョン5002に相当)がVNCサーバ9200から送信されるのを待つ。
【0118】
次に、9002にてVNCビューワ9000は、VNCサーバ9200から通知されたプロトコルバージョン9100が、処理可能なバージョンか否かを確認する。ここで処理可能と判断した場合は、9003に進み、VNCビューワ9000の持つプロトコルバージョン9101(図6のプロトコルバージョン5003に相当)を、VNCサーバ9200に送信する。
【0119】
次に、9202にてVNCサーバ9200は、ロトコルバージョン9101が処理可能か否かを確認する。ここで処理が可能と判断した場合は、9203にて認証要求9102(図6のプロトコルバージョン5006に相当)をVNCビューワ9000へ送信する。
【0120】
次に、9004にてVNCビューワ9000は、認証要求9102を受信したか否かを確認する。ここで認証要求9102を受信したと判断したならば、9005に進み、認証情報9103(図6のプロトコルバージョン5007に相当)をVNCサーバ9200へ送信する。
【0121】
次に、9204にてVNCサーバ9200は、認証情報9103を受信したか否かを確認する。ここで、認証情報を受信したと判断したならば、9205に進み、認証情報9103の内容を確認する。
【0122】
次に、9206にてVNCサーバ9200は、9205で認証処理した結果が正しいか否かを確認する(図6の認証判断5008に相当)。ここで、正しく認証処理ができたと判断した場合は、認証成功9104(図6の認証判断5010に相当)をVNCビューワ9000に送信する。
【0123】
次に、9006にてVNCビューワ9000は、認証成功9104を受け取ったか否かを確認する。ここで認証成功と判断した場合は、9007に進み、VNCビューワ9000の操作部(図1の操作部303に相当)および表示部(図1の操作部304に相当)を用いて前回のリモートアクセスの継続か否かを確認する。なお、継続か否かは、各ユーザの操作履歴(図8の操作履歴に相当)が存在するか否かにより判断するものとした。
【0124】
次に、9007にてVNCビューワ9000は、処理のリモートアクセス処理の継続および新規接続か否かを判断した後、継続および新規を示す情報をクライアント初期化メッセージ9105(図6のクライアント初期化メッセージ5011に相当)に乗せて、VNCサーバ9200へ送信する。
【0125】
次に、9208にてVNCサーバ9200は、クライアント初期化メッセージ9105が送られてきたか否かを判断する。ここで受け取ったと判断した場合は、9202にてサーバー初期化メッセージ9106(図6のクライアント初期化メッセージ5011に相当)を、VNCビューワ9000に送信する。
【0126】
次に、9010にてVNCビューワ9000は、サーバー初期化メッセージ9106の受け取りを待つ。ここで、受け取り終えたと判断した場合は、9011に進む。
【0127】
一方、9210にてVNCサーバ9200は、クライアント初期化メッセージ9105に付加された画面情報がVNCビューワ9000で現在表示中の画面(図1に示す表示メモリ103に相当)と異なると判断した場合、9211に進み、VNC用の描画メモリ(図1に示すVNC表示用ワークメモリ112に相当)に画面データを描画した後、画面データ9107(図5の画面データ転送4004に相当)にてVNCビューワ9000に送信する。
【0128】
一方、9011にてVNCビューワ9000は、画面データ9107が送信されたか否かを確認する。ここで受信済みと判断したならば9012に進み、VNCビューワ9000の表示メモリ305に書き込んだ後、表示部304に描画処理する。
【0129】
なお、VNCサーバ9200は、9212および9213で画像データ9107をVNCビューワ9000に送信した後、9214に進み、操作履歴(図8の操作履歴に相当)の更新を行うものとした。
【図面の簡単な説明】
【0130】
【図1】本発明の第1実施形態を示すサーバ・クライアントシステムの一例を示す図である。
【図2】図1に示したサーバ・クライアントシステムのシステム構成の例を示す図である。
【図3】図1に示したVNCサーバである画像処理装置の画面構成の概略を示す図である。
【図4】図1に示したVNCサーバである画像処理装置の画面構成の詳細を示す図である。
【図5】図1に示したサーバ・クライアントシステムのRFBプロトコルの概略を示す図である。
【図6】図1に示したサーバ・クライアントシステムで用いるRFBプロトコル上の初期化シーケンスを示す図である。
【図7】図1に示したサーバ・クライアントシステムで用いる操作履歴の概略を示す図である。
【図8】図1に示したサーバ・クライアントシステムで用いる操作履歴の詳細を示す図である。
【図9】本発明に係るサーバ・クライアントシステムのRFBプロトコル上の制御処理フローを示す図である。
【図10】本発明に係るサーバ・クライアントシステムのRFBプロトコル上の初期化処理フローを示す図である。
【特許請求の範囲】
【請求項1】
画像データに掛かる各種処理を行う画像処理装置と、該画像処理装置を遠隔制御するリモートアクセス装置とを、ネットワークを介して接続するサーバ・クライアントシステムにおいて、
前記画像処理装置は、各種処理に掛かる情報を画面表示する表示部と、それに共する入力部とから成る操作手段を備え、
前記画像処理装置は、表示部に表示する画面データを、ネットワークを介して接続する他の前記リモートアクセス装置に、表示用の画面データとして転送するVNC制御手段を有し、
また、前記リモートアクセス装置においては、前記画像処理装置のVNC制御手段から送信される画面データを受信し、前記リモートアクセス装置の有する操作部の画面へ前記画像処理装置の操作画面とほぼ同一に画面表示すると共に、該画面に対して行われる各種操作を前記画像処理装置に伝えるリモートVNC制御手段と
を有することを特徴とするサーバ・クライアントシステム
【請求項2】
前記画像処理装置は、前記表示部に表示する画面データ毎に、その画面ビットマップを一意に識別可能なIDを割り振り、各画面毎に表示項目の中にユーザIDやパスワードといったセキュリティ情報の存在有無を示す情報を格納する画面情報記憶手段
を有することを特徴とする請求項1に記載のサーバ・クライアントシステム
【請求項3】
前記画像処理装置のVNC制御手段において、該画像処理装置の表示手段が表示する画面データとは別に、リモートアクセス専用の画面情報を構築できるようにしたVNC表示用ワークメモリ手段
を有することを特徴とする請求項1〜請求項2に記載のサーバ・クライアントシステム。
【請求項4】
前記画像処理装置は、前記リモートアクセス装置の個々を識別し、各リモートアクセス装置毎の操作履歴保持する操作履歴記憶手段
を有することを特徴とする請求項1〜請求項3に記載のサーバ・クライアントシステム。
【請求項1】
画像データに掛かる各種処理を行う画像処理装置と、該画像処理装置を遠隔制御するリモートアクセス装置とを、ネットワークを介して接続するサーバ・クライアントシステムにおいて、
前記画像処理装置は、各種処理に掛かる情報を画面表示する表示部と、それに共する入力部とから成る操作手段を備え、
前記画像処理装置は、表示部に表示する画面データを、ネットワークを介して接続する他の前記リモートアクセス装置に、表示用の画面データとして転送するVNC制御手段を有し、
また、前記リモートアクセス装置においては、前記画像処理装置のVNC制御手段から送信される画面データを受信し、前記リモートアクセス装置の有する操作部の画面へ前記画像処理装置の操作画面とほぼ同一に画面表示すると共に、該画面に対して行われる各種操作を前記画像処理装置に伝えるリモートVNC制御手段と
を有することを特徴とするサーバ・クライアントシステム
【請求項2】
前記画像処理装置は、前記表示部に表示する画面データ毎に、その画面ビットマップを一意に識別可能なIDを割り振り、各画面毎に表示項目の中にユーザIDやパスワードといったセキュリティ情報の存在有無を示す情報を格納する画面情報記憶手段
を有することを特徴とする請求項1に記載のサーバ・クライアントシステム
【請求項3】
前記画像処理装置のVNC制御手段において、該画像処理装置の表示手段が表示する画面データとは別に、リモートアクセス専用の画面情報を構築できるようにしたVNC表示用ワークメモリ手段
を有することを特徴とする請求項1〜請求項2に記載のサーバ・クライアントシステム。
【請求項4】
前記画像処理装置は、前記リモートアクセス装置の個々を識別し、各リモートアクセス装置毎の操作履歴保持する操作履歴記憶手段
を有することを特徴とする請求項1〜請求項3に記載のサーバ・クライアントシステム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【公開番号】特開2007−115039(P2007−115039A)
【公開日】平成19年5月10日(2007.5.10)
【国際特許分類】
【出願番号】特願2005−306020(P2005−306020)
【出願日】平成17年10月20日(2005.10.20)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
【公開日】平成19年5月10日(2007.5.10)
【国際特許分類】
【出願日】平成17年10月20日(2005.10.20)
【出願人】(000001007)キヤノン株式会社 (59,756)
【Fターム(参考)】
[ Back to top ]