画像処理装置、連携方法および連携プログラム
【課題】 携帯情報装置と自装置とで連携した処理を実行させる操作を容易にすること。
【解決手段】 画像処理装置は、携帯情報装置を遠隔操作するクライアントとして機能するクライアント部５３と、自装置操作画面と携帯情報装置を遠隔操作するための遠隔操作画面とを同時に表示する表示制御部５５と、画面情報を携帯情報装置から受信する画面情報受信部６５と、遠隔操作画面が表示される領域内で自装置操作を検出する自装置操作検出部７９と、画面情報に基づいて、自装置操作の位置に対応するデータ識別情報を決定するデータ決定部６７と、自装置操作画面が表示される領域内で操作位置を検出する操作位置検出部８３と、データ識別情報で識別されるデータに対し、自装置操作画面において操作位置に対応して予め定められた処理を実行する処理実行部５９と、を備える。
【解決手段】 画像処理装置は、携帯情報装置を遠隔操作するクライアントとして機能するクライアント部５３と、自装置操作画面と携帯情報装置を遠隔操作するための遠隔操作画面とを同時に表示する表示制御部５５と、画面情報を携帯情報装置から受信する画面情報受信部６５と、遠隔操作画面が表示される領域内で自装置操作を検出する自装置操作検出部７９と、画面情報に基づいて、自装置操作の位置に対応するデータ識別情報を決定するデータ決定部６７と、自装置操作画面が表示される領域内で操作位置を検出する操作位置検出部８３と、データ識別情報で識別されるデータに対し、自装置操作画面において操作位置に対応して予め定められた処理を実行する処理実行部５９と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置、連携方法および連携プログラムに関し、特に、携帯情報装置と連携して処理を実行する画像処理装置、その画像処理装置で実行される連携方法および連携プログラムに関する。
【背景技術】
【０００２】
近年、電子ペーパー等のＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔs）またはスマートホン等の携帯情報装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり、編集したりできる。さらに、携帯情報装置に記憶された文書を複合機（以下「ＭＦＰ」という）等の画像処理装置に送信し、画像処理装置で印刷または記憶等の処理を実行させることができる。しかしながら、携帯情報装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。
【０００３】
一方、特開２００５−１２９０６８号公報には、コンテンツの配信先を探して、コンテンツの伝送を開始するコンピューティングデバイスが記載されている。しかしながら、コンテンツを伝送した先の装置においては、コンテンツを表示することはできるが、伝送先の装置からコンテンツを選択することはできないといった問題がある。
【特許文献１】特開２００５−１２９０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の一つは、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にした画像処理装置を提供することである。
【０００５】
この発明の他の目的は、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にした連携方法を提供することである。
【０００６】
この発明のさらに他の目的は、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にした連携プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上述した目的を達成するためにこの発明のある局面によれば、画像処理装置は、携帯情報装置と通信する通信手段と、画像を表示する表示手段と、遠隔操作されるサーバーとして機能する携帯情報装置と通信手段を介して通信し、携帯情報装置を遠隔操作するクライアントとして機能するクライアント手段と、携帯情報装置を遠隔操作する場合、自装置を操作するための自装置操作画面と、クライアント手段により携帯情報装置から受信され、携帯情報装置を遠隔操作するための遠隔操作画面とを、表示手段に同時に表示する表示制御手段と、遠隔操作画面の１部の領域の位置を示す位置情報と、該位置情報に関連付けられたデータを識別するためのデータ識別情報とを含む画面情報を、携帯情報装置から通信手段を介して受信する画面情報受信手段と、表示手段の表示面中でユーザーにより指示された位置を検出する位置検出手段と、位置検出手段により遠隔操作画面が表示される領域内の位置が検出される場合、自装置に対する自装置操作を検出する自装置操作検出手段と、位置検出手段により遠隔操作画面が表示される領域内の位置が検出され、かつ、自装置操作検出手段によって自装置操作が検出されない場合に、検出された位置をクライアント手段に出力する遠隔操作受付手段と、自装置操作検出手段により自装置操作が検出される場合、受信された画面情報に基づいて、検出された位置に対応するデータ識別情報を決定するデータ決定手段と、位置検出手段により自装置操作画面が表示される領域内で検出された位置を操作位置として検出する操作位置検出手段と、決定されたデータ識別情報で識別されるデータに対して、自装置操作画面において操作位置に対応して予め定められた処理を実行する処理実行手段と、を備える。
【０００８】
この局面に従えば、１つの表示手段に自装置操作画面と遠隔操作画面とを同時に表示するので、自装置と携帯情報装置に対する操作を１つの表示面を見ながらすることができ、操作が容易となる。また、画面情報を携帯情報装置から受信しておき、画面情報に基づいて、遠隔操作画面が表示される領域内でユーザーにより指示された位置に対応するデータ識別情報を決定し、決定されたデータ識別情報で識別されるデータに対して自装置操作画面においてユーザーにより指示された操作位置に対応して予め定められた処理が実行される。このため、携帯情報装置に記憶されているデータに対して自装置で処理する操作を、容易にすることができる。その結果、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にした画像処理装置を提供することができる。
【０００９】
好ましくは、画面情報は、遠隔操作画面の１部の領域に対応する指示画像をさらに含み、自装置操作検出手段により自装置操作が検出される場合、受信された画面情報に基づいて、検出された位置に対応する指示画像を決定する指示画像決定手段と、指示画像が決定される場合、決定された指示画像を移動可能に表示手段に表示する指示画像表示手段と、をさらに備え、操作位置検出手段は、位置検出手段により検出される位置に基づいて、指示画像が移動した後の位置を操作位置として検出する。
【００１０】
この局面に従えば、遠隔操作画面が表示される領域内がユーザーにより指示され、自装置操作が検出される場合、遠隔操作画面の１部の領域に対応する指示画像を含む画面情報に基づいて、検出された位置に対応する指示画像が決定され、移動可能に表示され、指示画像が移動した後の位置が操作位置として検出される。指示画像を移動可能に表示されるので、携帯情報装置に記憶されているデータが処理対象に選択されていることをユーザーに通知することができる。また、ユーザーは、移動可能に表示される指示画像を見ながら操作位置を決めることができるので、ユーザーが入力する操作を視覚で通知することができる。
【００１１】
好ましくは、データ決定手段によりデータ識別情報が決定されることに応じて、決定されたデータ識別情報で識別されるデータを携帯情報装置から取得する個別取得手段を、さらに備える。
【００１２】
この局面に従えば、データ識別情報が決定されることに応じて、データが携帯情報装置から取得されるので、携帯情報装置から処理対象となるデータを、処理が実行される前に取得することができる。
【００１３】
好ましくは、画面情報受信手段により画面情報が受信されることに応じて、画面情報に含まれるデータ識別情報で識別されるデータを、表示制御手段により遠隔操作画面が表示される前に、携帯情報装置から取得する事前取得手段を、さらに備える。
【００１４】
この局面に従えば、画面情報に含まれるデータ識別情報で識別されるデータを、遠隔操作画面が表示される前に携帯情報装置から取得するので、遠隔操作画面が表示される領域内で自装置操作が検出される前に取得することができ、自装置操作画面内で自装置操作が検出されてから処理を実行するまでの時間を短くすることができる。
【００１５】
好ましくは、クライアント手段が携帯情報装置と通信しなくなることに応じて、事前取得手段により取得されたデータを消去する消去手段を、さらに備える。
【００１６】
この局面に従えば、携帯情報装置と通信しなくなることに応じて、携帯情報装置から取得されたデータを消去するので、携帯情報装置から取得されたデータのセキュリティを向上させることができる。
【００１７】
この発明の他の局面によれば、連携方法は、画像処理装置で実行される連携方法であって、画像処理装置は、携帯情報装置と通信する通信手段と、画像を表示する表示手段と、遠隔操作されるサーバーとして機能する携帯情報装置と通信手段を介して通信し、携帯情報装置を遠隔操作するクライアントとして機能するクライアント手段と、を備えており、携帯情報装置を遠隔操作する場合、自装置を操作するための自装置操作画面と、クライアント手段により携帯情報装置から受信され、携帯情報装置を遠隔操作するための遠隔操作画面とを、表示手段に同時に表示するステップと、遠隔操作画面の１部の領域の位置を示す位置情報と、該位置情報に関連付けられたデータを識別するためのデータ識別情報とを含む画面情報を、携帯情報装置から通信手段を介して受信するステップと、表示手段の表示面中でユーザーにより指示された位置を検出する位置検出ステップと、位置検出手段により遠隔操作画面が表示される領域内の位置が検出される場合、自装置に対する自装置操作を検出する自装置操作検出ステップと、位置検出ステップにおいて遠隔操作画面が表示される領域内の位置が検出され、自装置操作検出ステップにおいて自装置操作が検出されない場合に、検出された位置をクライアント手段に出力するステップと、自装置操作検出ステップにおいて自装置操作が検出される場合、受信された画面情報に基づいて、検出された位置に対応するデータ識別情報を決定するデータ決定ステップと、位置検出ステップにおいて自装置操作画面が表示される領域内で検出された位置を操作位置として検出する操作位置検出ステップと、決定されたデータ識別情報で識別されるデータに対して、自装置操作画面において操作位置に対応して予め定められた処理を実行するステップと、を含む。
【００１８】
この局面に従えば、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にした連携方法を提供することができる。
【００１９】
この発明のさらに他の局面によれば、連携プログラムは、画像処理装置を制御するコンピューターで実行される連携プログラムであって、画像処理装置は、携帯情報装置と通信する通信手段と、画像を表示する表示手段と、遠隔操作されるサーバーとして機能する携帯情報装置と通信手段を介して通信し、携帯情報装置を遠隔操作するクライアントとして機能するクライアント手段と、を備えており、携帯情報装置を遠隔操作する場合、自装置を操作するための自装置操作画面と、クライアント手段により携帯情報装置から受信され、携帯情報装置を遠隔操作するための遠隔操作画面とを、表示手段に同時に表示するステップと、遠隔操作画面の１部の領域の位置を示す位置情報と、該位置情報に関連付けられたデータを識別するためのデータ識別情報とを含む画面情報を、携帯情報装置から通信手段を介して受信するステップと、表示手段の表示面中でユーザーにより指示された位置を検出する位置検出ステップと、位置検出手段により遠隔操作画面が表示される領域内の位置が検出される場合、自装置に対する自装置操作を検出する自装置操作検出ステップと、位置検出ステップにおいて遠隔操作画面が表示される領域内の位置が検出され、自装置操作検出ステップにおいて自装置操作が検出されない場合に、検出された位置をクライアント手段に出力するステップと、自装置操作検出ステップにおいて自装置操作が検出される場合、受信された画面情報に基づいて、検出された位置に対応するデータ識別情報を決定するデータ決定ステップと、位置検出ステップにおいて自装置操作画面が表示される領域内で検出された位置を操作位置として検出する操作位置検出ステップと、決定されたデータ識別情報で識別されるデータに対して、自装置操作画面において操作位置に対応して予め定められた処理を実行するステップと、をコンピューターに実行させる。
【００２０】
この局面に従えば、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にした連携プログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態における画像処理システムの全体概要を示す図である。
【図２】ＭＦＰのハードウエア構成の概要を示すブロック図である。
【図３】操作パネルの一例を示す平面図である。
【図４】携帯情報装置のハードウエア構成の概要を示すブロック図である。
【図５】ＭＦＰが備えるＣＰＵが有する機能の一例を示す図である。
【図６】連携操作の一例を示す図である。
【図７】連携処理の流れの一例を示すフローチャートである。
【図８】遠隔操作受付処理の流れの一例を示すフローチャートである。
【図９】変形例におけるＭＦＰが備えるＣＰＵが有する機能の一例を示す図である。
【図１０】変形例における連携処理の流れの一例を示すフローチャートである。
【図１１】変形例における遠隔操作受付処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００２３】
図１は、本発明の実施の形態における画像処理システムの全体概要を示す図である。図１を参照して、画像処理システム１は、それぞれがネットワーク３に接続されたＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００，１００Ａ，１００Ｂと、携帯情報装置２００と、無線局５と、を含む。
【００２４】
なお、図ではネットワーク３に、画像処理装置として３台のＭＦＰ１００，１００Ａ，１００Ｂが接続される例を示しているが、ＭＦＰの数はこれに限定されるものではなく、１台以上であればよい。また、ＭＦＰ１００，１００Ａ，１００Ｂに代えて、画像を処理する機能を備えた装置であれば、例えば、コンピューター、ファクシミリ、プリンタ等であってもよい。
【００２５】
ネットワーク３は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。またネットワーク３は、ＬＡＮに限らず、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ）を用いたネットワーク等であってもよい。さらに、ネットワーク３は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）に接続されている。このため、ＭＦＰ１００，１００Ａ，１００Ｃは、ネットワーク３を介して互いに通信可能である。
【００２６】
携帯情報装置２００は、電子ペーパー等、または、スマートホンなどの通信機能を備えたＰＤＡである。ここでは、携帯情報装置２００を、スマートホンとする場合を例に説明する。携帯情報装置２００は、携帯電話用基地局と無線で通信することにより携帯電話網に接続し、通話が可能である。また、携帯情報装置２００は、無線ＬＡＮ機能を備えている。
【００２７】
ネットワーク３には無線局５がさらに接続される。無線局５は、ネットワーク３の中継装置であり、無線ＬＡＮ通信機能を備えた携帯情報装置２００と通信して、携帯情報装置２００をネットワーク３に接続する。このため、携帯情報装置２００は、ネットワーク３に接続された、ＭＦＰ１００，１００Ａ，１００Ｂとデータの送受信が可能である。
【００２８】
本実施の形態における画像処理システム１においては、携帯情報装置２００と、ＭＦＰ１００，１００Ａ，１００Ｂのいずれかとが通信し、データが送受信される。データを送受信するプロトコルは、特に限定されることはなく、任意のプロトコルを用いることが可能である。携帯情報装置２００は、それに記憶されたデータを、ＭＦＰ１００，１００Ａ，１００Ｂのいずれかに送信し、ＭＦＰ１００，１００Ａ，１００Ｂのいずれかにデータを保存、表示、送信または画像形成等の処理をさせることができる。携帯情報装置２００が記憶するデータは、ネットワーク３に接続されたコンピューター等からダウンロードしたアプリケーションデータであってもよいし、携帯情報装置２００にインターネットブラウザプログラムがインストールされている場合には、インターネットに接続されたサーバーからダウンロードしたデータであってもよい。データは、マークアップ言語で記述されたＷｅｂデータを含む。
【００２９】
以下の説明では、携帯情報装置２００が、ＭＦＰ１００と通信する場合を例に説明する。携帯情報装置２００とＭＦＰ１００とが通信する場合、携帯情報装置２００がサーバーとして機能し、ＭＦＰ１００がクライアントとして機能する。この場合、ＭＦＰ１００の操作パネルには、携帯情報装置２００を遠隔操作するための操作画面と、ＭＦＰ１００を操作するための操作画面とが同時に表示される。以下、ＭＦＰ１００の操作パネルに表示される操作画面であって、携帯情報装置２００を遠隔操作するための操作画面を遠隔操作画面といい、ＭＦＰ１００を操作するための操作画面を自装置操作画面という。
【００３０】
ＭＦＰ１００，１００Ａ，１００Ｂは、ハードウエア構成は同じであってもよく異なっていてもよいが、少なくとも画像データに基づいて紙などの用紙に画像を形成するための画像形成部を備えている。ＭＦＰ１００，１００Ａ，１００Ｂ各々が有するハードウエア構成は同じではない場合があるが、ここではＭＦＰ１００が、他のＭＦＰ１００Ａ，１００Ｂの少なくとも１つが有する構成を有しているとし、特に言及しない限りＭＦＰ１００を例に説明する。
【００３１】
図２は、ＭＦＰのハードウエア構成の概要を示すブロック図である。図２を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、ユーザーインターフェースとしての操作パネル１６０とを含む。
【００３２】
メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）１１５と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１６と、ファクシミリ部１１７と、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１９Ａが装着される外部記憶装置１１９と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。
【００３３】
ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。
【００３４】
操作パネル１６０は、ＭＦＰ１００の上面に設けられる。図３は、操作パネルの一例を示す平面図である。図３を参照して、操作パネル１６０は、表示部１６１と操作部１６３とを含む。表示部１６１は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６３は、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６３は、表示部１６１の表示面の位置を検出するタッチパネル１６５をさらに含む。タッチパネル１６５は、表示部１６１の上面または下面に設けられ、ユーザーにより指示された位置の座標をＣＰＵ１１１に出力する。
【００３５】
図２に戻って、通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク３に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介してネットワーク３に接続された他のＭＦＰ１００Ａ，１００Ｂまたは無線局５との間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク３を介してインターネットに接続されたコンピューターと通信が可能である。
【００３６】
ファクシミリ部１１７は、公衆交換電話網（ＰＳＴＮ）に接続され、ファクシミリデータを送受信する。ファクシミリ部１１７は、原稿読取部１３０により読み取られた画像データまたはＨＤＤ１１６に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。また、ファクシミリ部１１７は、受信されたファクシミリデータをＨＤＤ１１６に記憶するか、画像形成部１４０にファクシミリデータの画像を用紙に形成させる。
【００３７】
外部記憶装置１１９は、ＣＤ−ＲＯＭ１１９Ａが装着される。ＣＰＵ１１１は、外部記憶装置１１９を介してＣＤ−ＲＯＭ１１９Ａにアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１９に装着されたＣＤ−ＲＯＭ１１９Ａに記録されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムは、ＣＤ−ＲＯＭ１１９Ａに記録されたプログラムに限られず、ＨＤＤ１１６に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ネットワークに接続された他のコンピューターが、ＭＦＰ１００のＨＤＤ１１６に記憶されたプログラムを書き換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、ネットワークに接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１６に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００３８】
図４は、携帯情報装置のハードウエア構成の概要を示すブロック図である。図４を参照して、携帯情報装置２００は、携帯情報装置２００の全体を制御するためのＣＰＵ２１１と、カメラ２１２と、データを不揮発的に記憶するフラッシュメモリ２１３と、通話部２１５と、通話部２１５と接続された無線通信部２１４と、情報を表示する表示部２１６と、ユーザーの操作の入力を受け付ける操作部２１７と、無線ＬＡＮインターフェース（Ｉ／Ｆ）２１８と、を含む。
【００３９】
無線通信部２１４は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２１４は、携帯情報装置２００を電話通信網に接続し、通話部２１５を用いた通話を可能とする。無線通信部２１４は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部２１５に出力する。また、無線通信部２１４は、通話部２１５から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２１５は、マイクおよびスピーカを備え、無線通信部２１４から入力される音声をスピーカから出力し、マイクから入力される音声を無線通信部２１４に出力する。さらに、無線通信部２１４は、ＣＰＵ２１１により制御され、携帯電話用基地局を介してデータを送受信し、例えば、携帯情報装置２００をインターネットに接続する。
【００４０】
カメラ２１２は、レンズおよびＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー等の光電変換素子を備え、レンズで集光した光をＣＭＯＳセンサーに結像し、ＣＭＯＳセンサーは受光した光を光電変換して画像データをＣＰＵ２０１に出力する。
【００４１】
表示部２１６は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、ユーザーに対する指示メニューや，外部から受信されたデータ等を表示する。操作部２１７は、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。
【００４２】
また、操作部２１７は、タッチパネル２１７Ａを含む。タッチパネル２１７Ａは、表示部２１６の表示面中でユーザーにより指示された位置を検出する。タッチパネル２１７Ａは、表示部２１６の上面または下面に設けられ、ユーザーにより指示された位置の座標をＣＰＵ２１１に出力する。タッチパネル２１７Ａは、マルチタッチスクリーンパネルであり、同時に複数の位置がユーザーにより指示される場合、ユーザーにより指示された複数の位置にそれぞれ対応する複数の座標をＣＰＵ２１１に出力する。タッチパネル２１７Ａは、表示部２１６の表示面と同じまたはそれ以上のサイズであるのが好ましい。タッチパネル２１７Ａは、表示部２１６に重畳して設けられるので、タッチパネル２１７Ａは、ユーザーが表示部２１６の表示面を指示すれば、表示部２１６の表示面中でユーザーが指示した１以上の位置にそれぞれ対応する１以上の座標をＣＰＵ２１１に出力する。タッチパネル２１７Ａは、例えば、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式を用いることができ、その方式は限定されない。
【００４３】
無線ＬＡＮＩ／Ｆ２１８は、無線局５と通信し、携帯情報装置２００をネットワーク３に接続するためのインターフェースである。携帯情報装置２００は、無線ＬＡＮＩ／Ｆ２１８を介してＭＦＰ１００，１００Ａ、１００Ｂと通信することができ、データの送受信が可能である。
【００４４】
図５は、ＭＦＰが備えるＣＰＵが有する機能の一例を示す図である。図５に示す機能は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＥＥＰＲＯＭ１１５、ＨＤＤ１６６またはＣＤ−ＲＯＭ１１９Ａに記憶された連携プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。図５を参照して、ＣＰＵ１１１は、操作を受け付ける操作受付部５１と、クライアントとして機能するクライアント部５３と、表示部１６１を制御する表示制御部５５と、指示画像決定部５７と、処理決定部５９と、操作画面を決定する操作画面決定部６１と、処理を実行する処理実行部６３と、画面情報受信部６５と、データ決定部６７と、個別取得部６９と、を含む。
【００４５】
操作画面決定部６１は、ＭＦＰ１００を操作するための操作画面であって、表示部１６１に表示するための自装置操作画面を決定する。操作画面決定部６１は、後述する自装置操作受付部８５により受け付けられるユーザーによる操作に従って、自装置操作画面を決定する。操作画面決定部６１は、決定した自装置操作画面を表示制御部５５および処理決定部５９に出力する。
【００４６】
クライアント部５３は、後述する連携指示受付部７１から起動指示が入力されることに応じて起動し、通信Ｉ／Ｆ部１１２を介して、サーバーとして機能する携帯情報装置２００と通信し、携帯情報装置２００を遠隔操作するクライアントとして機能する。具体的には、クライアント部５３は、ユーザーが携帯情報装置２００を遠隔操作するための遠隔操作画面を携帯情報装置２００から受信し、受信された遠隔操作画面を、表示制御部５５に出力する。
【００４７】
表示制御部５５は、表示部１６１を制御し、表示部１６１に画像を表示させる。表示制御部５５は、遠隔操作画面表示部９１と、指示画像表示部９３と、自装置操作画面表示部９５と、を含む。遠隔操作画面表示部９１は、クライアント部５３から入力される遠隔操作画面を表示部１６１に表示させる。このため、ＭＦＰ１００を操作するユーザーは、表示部１６１に表示された遠隔操作画面を見て、携帯情報装置２００を遠隔操作することができる。
【００４８】
クライアント部５３は、後述する遠隔操作受付部７７から遠隔操作画面中の位置を示す位置情報が入力される。遠隔操作受付部７７の詳細は後述するが、ユーザーが遠隔操作画面中を指でタッチするなどすれば、遠隔操作受付部７７は、タッチパネル１６５から入力される位置情報に基づいて、遠隔操作画面中の位置を示す位置情報を、クライアント部５３に出力する。クライアント部５３は、遠隔操作受付部７７から入力される位置情報を、通信Ｉ／Ｆ１１２を介して携帯情報装置２００に送信する。
【００４９】
自装置操作画面表示部９５は、操作画面決定部から入力される自装置操作画面を、表示部１６１に表示させる。遠隔操作画面表示部９１により遠隔操作画面が表示される場合、自装置操作画面表示部９５は、自装置操作画面を遠隔操作画面と並べて配置する。このため、遠隔操作画面表示部９１により遠隔操作画面が表示される場合、換言すれば、ＭＦＰ１００がクライアントとして機能する場合、表示部１６１に自装置操作画面と遠隔操作画面とが同時に表示されるので、ＭＦＰ１００のユーザーは、表示部１６１を見ながら、ＭＦＰ１００を操作することができるとともに、携帯情報装置２００を遠隔操作することができる。
【００５０】
表示制御部５５は、表示情報を操作受付部５１に出力する。表示情報は、表示部１６１に自装置操作画面のみを表示している場合には、自装置操作画面を識別するための操作画面識別情報と、自装置操作画面の表示部１６１の表示面中の位置を示す位置情報とを含む。また、表示情報は、表示部１６１に自装置操作画面および遠隔操作画面を表示している場合には、自装置操作画面を識別するための操作画面識別情報と、自装置操作画面の表示部１６１の表示面中の位置を示す位置情報とに加えて、遠隔操作画面の表示部１６１の表示面中の位置を示す位置情報とを含む。
【００５１】
操作受付部５１は、表示制御部５５から表示情報が入力され、ユーザーにより入力される操作を受け付ける。ユーザーにより入力される操作は、自装置に対する操作である自装置操作と、携帯情報装置に対する操作である遠隔操作とを含む。操作受付部５１は、連携指示受付部７１と、表示部１６１の表示面中でユーザーにより指示された位置を検出する位置検出部７３と、検出された位置に基づいて自装置操作画面と遠隔操作画面とのいずれが指示されたかを判定する判定部７５と、遠隔操作受付部７７と、自装置操作検出部７９と、移動操作検出部８１と、操作位置検出部８３と、自装置操作受付部８５と、を含む。
【００５２】
連携指示受付部７１は、ユーザーが入力する連携指示を受け付ける。例えば、表示部１６１に連携設定画面を表示し、ユーザーが操作部１６３に入力する連携指示を受け付ける。連携設定画面は、連携相手の装置を選択するための画面である。ここでは、携帯情報装置２００を連携相手の装置として選択可能な連携設定画面を表示する。連携相手の装置は、予めＭＦＰ１００に登録されている。連携指示は、連携設定画面において、ユーザーにより指定された連携の相手となる装置、ここでは携帯情報装置２００を識別するための装置識別情報を含む。連携指示受付部７１は、連携指示を受け付けると、クライアント部５３に起動指示を出力するとともに、画面情報受信部６５に画面情報受信指示を出力する。起動指示および画面情報受信指示は、連携相手の装置、ここでは携帯情報装置２００の装置識別情報を含む。
【００５３】
なお、ユーザーが、携帯情報装置２００を操作して、携帯情報装置２００から連携指示をＭＦＰ１００に送信するようにしてもよい。この場合、ユーザーは、携帯情報装置２００に連携相手の装置として、ＭＦＰ１００を指定すれば、ＭＦＰ１００に対して連携要求を送信する。連携指示受付部７１は、通信Ｉ／Ｆ１１２が連携要求を受信すると、ＭＦＰ１００から連携指示を受け付ける。連携指示受付部７１は、連携要求を送信してきたＭＦＰ１００を、連携相手として特定する。
【００５４】
画面情報受信部６５は、連携指示受付部７１から画面情報受信指示が入力され、画面情報受信指示に含まれる装置識別情報で識別される携帯情報装置２００から画面情報を受信する。連携指示受付部７１は、画面情報受信指示を出力する場合、クライアント部５３に起動指示を出力する。上述したようにクライアント部５３は、連携指示受付部７１から起動指示が入力されることに応じて起動し、通信Ｉ／Ｆ部１１２を介して、サーバーとして機能する携帯情報装置２００と通信する。携帯情報装置２００は、サーバーとして機能する場合、遠隔操作画面を送信するが、遠隔操作画面を送信する前にその遠隔操作画面に関する画面情報を送信する。画面情報受信部６５は、通信Ｉ／Ｆ部１１２を制御して、携帯情報装置２００が送信する画面情報を受信する。画面情報受信部６５は、画面情報を受信することに応じて、受信された画面情報を指示画像決定部５７およびデータ決定部６７に出力する。
【００５５】
携帯情報装置２００は、遠隔操作画面ごとに画面情報を送信する。具体的には、携帯情報装置は、遠隔操作画面を別の遠隔操作画面に切り換える場合、別の遠隔操作画面を送信する前に、別の遠隔操作画面に関する画面情報を送信する。したがって、画面情報受信部６５は、携帯情報装置２００が遠隔操作画面を切り換えるごとに、切り換え後の遠隔操作画面に対応する画面情報を受信する。
【００５６】
画面情報は、それに対応する遠隔操作画面に含まれる指示画像と、その指示画像の遠隔操作画面における位置を示す位置情報と、指示画像に関連付けられたデータを識別するためのデータ識別情報と、を含む。画面情報は、遠隔操作画面が複数の指示画像を含む場合、複数の指示画像ごとに、位置情報とデータ識別情報とを関連付ける。指示画像は、遠隔操作画面の１部の領域である。位置情報は、遠隔操作画面中で指示画像に対応する１部の領域の位置を示す。指示画像にデータ識別情報が関連付けられているので、データ識別情報は、指示画像の位置情報に関連付けられている。指示画像は、データ識別情報で識別されるデータに対応する画像であり、例えば、アイコンである。また、指示画像は、データを縮小した画像であってもよい。
【００５７】
位置検出部７３は、タッチパネル１６５と接続され、タッチパネル１６５から表示部１６１の表示面中でユーザーにより指示された位置の座標値が入力される。位置検出部７３は、タッチパネル１６５から入力される座標値を、判定部７５および移動操作検出部８１に出力する。
【００５８】
判定部７５は、表示制御部５５から入力される表示情報に基づいて、位置検出部７３から入力される座標値の示す位置が、自装置操作画面および遠隔操作画面のいずれに属するかを検出する。判定部７５は、位置検出部７３から入力される座標値が示す位置が自装置操作画面に属する場合は、位置検出部７３から入力される座標値を含む位置情報を操作位置検出部８３に出力する。また、判定部７５は、位置検出部７３から入力される座標値が示す位置が遠隔操作画面に属する場合は、位置検出部７３から入力される座標値を含む位置情報を自装置操作検出部７９に出力する。
【００５９】
自装置操作検出部７９は、判定部７５から所定時間Ｔ１以上継続して同じ位置情報が入力される場合に自装置操作を検出する。また、判定部７５から同じ位置情報が所定時間以下入力される場合に自装置操作を検出するようにしてもよい。さらに、操作部１６３が備える予め定められたキーが指示される間に、位置検出部７３から座標値が入力される場合に、自装置操作を検出するようにしてもよい。自装置操作検出部７９は、自装置操作を検出する場合、表示制御部５５から入力される表示情報に基づいて、判定部７５から入力される位置情報に含まれる座標値を遠隔操作画面中の位置を示す座標値に変換し、変換後の座標値を含む位置情報を指示画像決定部５７およびデータ決定部６７に出力するとともに、判定部７５から入力される位置情報を移動操作検出部８１に出力する。自装置操作検出部７９が自装置操作を検出する場合に判定部７５から入力される位置情報で定まる位置を、ドラッグ位置ともいう。
【００６０】
自装置操作検出部７９は、自装置操作を検出しない場合、判定部７５から入力される位置情報を遠隔操作受付部７７に出力する。遠隔操作受付部７７は、表示制御部５５から入力される表示情報に基づいて、自装置操作検出部７９から入力される位置情報に含まれる座標値を遠隔操作画面中の位置を示す座標値に変換し、変換後の座標値をクライアント部５３に出力する。
【００６１】
移動操作検出部８１は、自装置操作検出部７９から位置情報が入力された後に、位置検出部７３から座標値が入力される間、移動操作を受け付ける。移動操作検出部８１は、移動操作を受け付けている間、位置検出部７３から入力される座標値を指示画像表示部９３に出力するとともに、検出許可信号を操作位置検出部８３に出力する。
【００６２】
指示画像決定部５７は、画面情報受信部６５から画面情報が入力される。指示画像決定部５７は、自装置操作検出部７９から位置情報が入力されることに応じて、画面情報に基づいて位置情報で特定される指示画像を決定する。画面情報に含まれる１以上の指示画像のうち、自装置操作検出部７９から入力される位置情報に含まれる座標値によって特定される遠隔操作画面中の位置と関連付けられた指示画像を決定する。指示画像決定部５７は、決定された指示画像を指示画像表示部９３に出力する。
【００６３】
指示画像表示部９３は、指示画像決定部５７から入力される指示画像を、表示部１６１に表示する。表示部１６１の表示面において、移動操作検出部８１から入力される座標値で定まる位置に、指示画像を表示する。このため、ユーザーが、表示部１６１に表示された遠隔操作画面に含まれる１以上の指示画像のいずれかを、指で所定時間以上指示すれば、その指示画像が移動可能に表示される。いわゆる、ドラッグ操作が可能になる。さらに、ユーザーが指示画像をドラッグした状態で、指を表示面上を移動させると、指の移動に伴って指示画像が表示面中で移動する。移動操作検出部８１は、自装置操作検出部７９において、自装置操作が検出されてから、位置検出部７３から座標値が入力されている間、移動操作を検出する。自装置操作検出部７９において自装置操作が検出されるのは、ユーザーが遠隔操作画面中の指示画像を指示した場合である。このため、ユーザーは、遠隔操作画面中の指示画像を、遠隔操作画面から自装置操作画面に移動させる操作を入力することができる。遠隔操作画面と、自装置操作画面は、同じ表示部１６１に表示されているので、遠隔操作画面と自装置操作画面との間に、物理的な凹凸は存在しない。このため、指示画像を移動させる操作を容易にすることができる。
【００６４】
操作位置検出部８３は、位置検出部７３により検出された座標値を含む位置情報が入力され、移動操作検出部８１から検出許可信号が入力される。操作位置検出部８３は、移動操作検出部８１から検出許可信号が入力されていない状態で、位置検出部７３から位置情報が入力される場合、表示制御部５５から入力される表示情報に基づいて、位置情報に含まれる座標値を自装置操作画面中の位置を示す座標値に変換し、変換後の座標値を含む位置情報を自装置操作受付部８５に出力する。
【００６５】
操作位置検出部８３は、移動操作検出部８１から検出許可信号が入力されている状態で、位置検出部７３により検出された座標値を含む位置情報が入力される場合、移動操作検出部８１から検出許可信号が入力されなくなった時点で、その直前に位置検出部７３により検出された座標値を含む位置情報で定まる位置を操作位置に決定する。操作位置は、ドロップ位置ともいう。そして、操作位置検出部８３は、表示制御部５５から入力される表示情報に基づいて、特定された位置情報に含まれる座標値を自装置操作画面中の位置を示す座標値に変換し、変換後の座標値を含む位置情報を処理決定部５９に出力する。移動操作検出部８１から検出許可信号が入力されている状態から、位置検出部７３から位置情報が入力されなくなる状態に変化する時点は、ユーザーが、指示画像をドラッグしながら自装置操作画面内まで移動させた後に、表示部１６１の表示面から指を離した時点である。いわゆるユーザーによるドロップ操作である。
【００６６】
処理決定部５９は、操作位置検出部８３から位置情報が入力されることに応じて、操作画面決定部６１から入力される自装置操作画面と、位置情報に含まれる座標値とに基づいて、処理を決定する。具体的には、自装置操作画面において、位置情報に含まれる座標値の位置に対応付けられた処理を決定する。処理決定部５９は、決定された処理の実行を指示するコマンドを処理実行部６３に出力する。
【００６７】
例えば、自装置操作画面が、画像を形成する処理、データを記憶する処理、データを外部に送信する処理それぞれが割り当てられたボタンを含む場合について説明する。処理決定部５９は、位置情報に含まれる座標値が、自装置操作画面中で画像を形成する処理が割り当てられたボタン内の位置を特定する場合は画像を形成する処理を特定する。また、処理決定部５９は、位置情報に含まれる座標値が、自装置操作画面中でデータを記憶する処理が割り当てられたボタン内の位置を特定する場合はデータを記憶する処理を特定する。さらに、処理決定部５９は、位置情報に含まれる座標値が、自装置操作画面中でデータを外部に送信する処理が割り当てられたボタン内の位置を特定する場合はデータを外部に送信する処理を特定する。
【００６８】
データ決定部６７は、画面情報受信部６５から画面情報が入力される。データ決定部６７は、自装置操作検出部７９から位置情報が入力されることに応じて、画面情報に基づいて位置情報で特定されるデータ識別情報を決定する。画面情報に含まれる１以上のデータ識別情報のうち、自装置操作検出部７９から入力される位置情報に含まれる座標値によって特定される遠隔操作画面中の位置と関連付けられたデータ識別情報を決定する。データ決定部６７は、決定されたデータ識別情報を個別取得部６９に出力する。
【００６９】
個別取得部６９は、データ決定部６７から入力されるデータ識別情報で特定されるデータを取得する。具体的には、個別取得部６９は、通信Ｉ／Ｆ部１１２を制御して、携帯情報装置２００にデータの送信を要求し、携帯情報装置２００が返信するデータを受信する。個別取得部６９が、データを取得するタイミングは、限定するものではないが、自装置操作検出部７９により自装置操作が検出された時点、換言すれば、ユーザーが遠隔操作画面中の指示画像をドラッグした時点が好ましい。また、操作位置検出部８３により操作位置が検出された時点、換言すれば、ユーザーが指示画像を自装置操作画面にドロップした時点としてもよい。個別取得部６９は、携帯情報装置２００から取得されたデータを、処理実行部６３に出力する。
【００７０】
処理実行部６３は、処理決定部５９から入力されるコマンドで特定される処理を、個別取得部６９から入力されるデータを処理対象として、実行する。なお、処理実行部６３は、処理決定部５９からコマンドが入力された後に、自装置操作受付部８５から、コマンドに対応する処理を実行するためのパラメータが入力される場合には、そのパラメータの入力を待って、コマンドに対応する処理をパラメータに従って実行する。パラメータは、例えば、画像を形成する処理に対する印刷枚数、用紙サイズ、拡大率または縮小率であり、データを送信する処理であれば送信方法、送信先を特定する電話番号、電子メールアドレスであり、データを記憶する処理であればデータを記憶する位置である。
【００７１】
図６は、連携操作の一例を示す図である。図６を参照して、表示部１６１の表示面３０１に、自装置操作画面３１１と、携帯情報装置２００の外観を示す画像３２１とを含む。画像３２１は、携帯情報装置２００を操作するための遠隔操作画面３２３を含む。自装置操作画面３１１は、保存の文字が表されたボタン３１３と、送信の文字が表されたボタン３１５と、印刷の文字が表されたボタン３１７と、を含む。ボタン３１３にはデータを記憶する処理が割り当てられ、ボタン３１５にはデータを送信する処理が割り当てられ、ボタン３１７にはデータの画像を形成する処理が割り当てられている。
【００７２】
遠隔操作画面３２３は、指示画像３２５を含む。指示画像３２５は、携帯情報装置２００に記憶されたデータと関連付けられたアイコンである。ユーザーが指３３１で、指示画像３２５をドラッグして、矢印３３３で示す軌道で指示画像３２５を移動させる様子を示している。この場合、指示画像３２５がボタン３１３でドロップされるので、指示画像３２５に関連付けられたデータを記憶する処理が実行される。
【００７３】
図７は、連携処理の流れの一例を示すフローチャートである。連携処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＥＥＰＲＯＭ１１５、ＨＤＤ１６６またはＣＤ−ＲＯＭ１１９Ａに記憶された連携プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図７を参照して、ＣＰＵ１１１は、連携指示を受け付けたか否かを判断する（ステップＳ０１）。操作部１６３が備えるキーであって、連携指示が予め割り当てられたキーがユーザーにより指示されると連携指示を受け付ける。連携指示を受け付けるまで待機状態となり、連携指示を受け付けたならば処理をステップＳ０２に進める。
【００７４】
ステップＳ０２においては、携帯情報装置２００と連携可能か否かを判断する。連携する相手の装置として携帯情報装置２００のネットワークアドレスを予め記憶しており、そのネットワークアドレスを用いて、携帯情報装置２００に連携可能か否かを問い合わせるための連携依頼を送信し、許可信号の返信があれば連携可能と判断する。連携可能ならば処理をステップＳ０３に進めるが、そうでなければ処理を終了する。
【００７５】
なお、連携可能な複数の携帯情報装置のネットワークアドレスを予め記憶しておき、複数の携帯情報装置ぞれぞれの装置識別情報をリスト表示し、ユーザーにより選択された装置識別情報の携帯情報装置と通信可能か否かを判断するようにしてもよい。また、ブロードキャストで問い合わせ信号を送信する等して通信可能な携帯情報装置を検索し、検索により検出された通信可能な１以上の携帯情報装置の装置識別情報をリスト表示し、ユーザーにより選択された装置識別情報の携帯情報装置を連携可能な装置として特定するようにしてもよい。
【００７６】
ステップＳ０３においては、クライアントタスクを起動する。具体的には、ＲＯＭ１１３、ＥＥＰＲＯＭ１１５、ＨＤＤ１６６またはＣＤ−ＲＯＭ１１９Ａに記憶されたクライアントプログラムを実行する。この際、サーバーとなる携帯情報装置２００のネットワークアドレス、例えばＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスとを、クライアントタスクに引数として渡す。この段階で、クライアントタスクが、携帯情報装置２００から遠隔操作画面を受信する。
【００７７】
次のステップＳ０４においては、自装置操作画面と遠隔操作画面それぞれの表示領域を決定する。表示部１６１の表示面における表示領域を決定する。自装置操作画面は、ＭＦＰ１００を操作するための操作画面である。遠隔操作画面は、クライアントタスクが携帯情報装置２００から受信する操作画面であって、携帯情報装置２００を遠隔操作するための操作画面である。ステップＳ０５においては、ステップＳ０４において自装置操作画面のために決定された表示領域を、自装置操作画面を表示するための領域として設定する。ステップＳ０６においては、ステップＳ０４において遠隔操作画面のために決定された表示領域を、ステップＳ０３において起動されたクライアントタスクが出力する遠隔操作画面を表示するための領域として設定する。
【００７８】
ステップＳ０７においては、携帯情報装置２００から画面情報を受信したか否かを判断する。画面情報を受信したならば処理をステップＳ０８に進めるが、そうでなければステップＳ０８をスキップして処理をステップＳ０９に進める。ステップＳ０８においては、受信された画面情報をＲＡＭ１１４に記憶し、処理をステップＳ０９に進める。
【００７９】
ステップＳ０９においては、指示位置を検出したか否かを判断する。タッチパネル１６５から表示部１６１の表示面中でユーザーにより指示された位置の座標値が入力されると、座標値で特定される位置を指示位置として検出する。指示位置を検出したならば処理をステップＳ１０に進めるが、そうでなければ処理をステップＳ０７に戻す。
【００８０】
ステップＳ１０においては、連携終了指示を受け付けたか否かを判断する。指示位置が、連携処理の終了する指示が割り当てられたキーの領域の場合、連携終了指示を受け付ける。連携終了指示を受け付けたならば処理をステップＳ１１に進めるが、そうでなければ処理をステップＳ１３に進める。ステップＳ１１においては、クライアントである携帯情報装置２００に連携終了を通知し、処理をステップＳ１２に進める。具体的には、通信Ｉ／Ｆ部１１２を介して、携帯情報装置２００に連携終了信号を送信する。携帯情報装置は、クライアントであるＭＦＰ１００から連携終了信号を受信すると、サーバーとしての機能を終了し、以後、遠隔操作画面の送信を停止する。ステップＳ１２においては、自装置操作画面の表示領域を、表示部１６１の表示面の全領域に設定し、処理を終了する。
【００８１】
一方、ステップＳ１３においては、指示位置が自装置操作画面の表示領域か否かを判断する。自装置操作画面の表示領域は、ステップＳ０５において設定され、表示部１６１の表示面中の領域である。指示位置が自装置操作画面の表示領域内ならば処理をステップＳ１４に進めるが、そうでなければ処理をステップＳ１５に進める。ステップＳ１４においては、指示位置に対応する操作を受け付け、処理をステップＳ０７に戻す。
【００８２】
ステップＳ１５においては、指示位置が遠隔操作画面の表示領域か否かを判断する。遠隔操作画面の表示領域は、ステップＳ０６において設定され、表示部１６１の表示面中の領域である。指示位置が遠隔操作画面の表示領域内ならば処理をステップＳ１６に進めるが、そうでなければ処理をステップＳ０７に戻す。ステップＳ１６においては、遠隔操作受付処理を実行し、処理をステップＳ０７に戻す。
【００８３】
図８は、遠隔操作受付処理の流れの一例を示すフローチャートである。図８を参照して、ＣＰＵは、ドラッグ操作を受け付けたか否かを判断する（ステップＳ０１）。指示位置を検出する指示時間がしきい値Ｔ１以上ならばドラッグ操作と判断し、処理をステップＳ２２に進めるが、そうでなければ処理をステップＳ３３に進める。ステップＳ３３においては、指示位置をクライアントタスクに出力し、処理を連携処理に戻す。クライアントタスクにおいては、指示位置を指示する操作を、サーバーである携帯情報装置２００に送信する。このため、携帯情報装置２００においては、遠隔操作画面の指示位置が指示されたことを検出し、遠隔操作を受け付け、対応する処理を実行する。
【００８４】
ステップＳ２２においては、図７のステップＳ０９において検出された指示位置と、ステップＳ０７において受信された画面情報とに基づいて、データを決定する。具体的には、画面情報に含まれる１以上のデータ識別情報のうち、指示位置によって特定される遠隔操作画面中の位置と関連付けられたデータ識別情報を決定する。
【００８５】
次のステップＳ２３においては、決定されたデータを取得する。具体的には、通信Ｉ／Ｆ部１１２を制御して、携帯情報装置２００に、ステップＳ２２において決定されたデータ識別情報のデータの送信を要求し、携帯情報装置２００が返信するデータを受信する。
【００８６】
次に、指示画像を特定する（ステップＳ２４）。具体的には、画面情報に含まれる１以上の指示画像のうち、指示位置によって特定される遠隔操作画面中の位置と関連付けられた指示画像を決定する。そして、決定された指示画像を、表示部１６１の表示面において指示位置に表示する（ステップＳ２５）。
【００８７】
次のステップＳ２６においては、指示位置の移動を検出したか否かを判断する。タッチパネル１６５から入力される座標値が変化したならば指示位置の移動を検出する。指示位置の移動を検出したならば処理をステップＳ２７に進めるが、そうでなければステップＳ２７をスキップして処理をステップＳ２８に進める。ステップＳ２７においては、指示画像を移動させ、処理をステップＳ２８に進める。表示部１６１の表示面において移動後の指示位置に指示画像を表示する。
【００８８】
ステップＳ２８においては、ドロップ操作を検出したか否かを判断する。タッチパネル１６５から入力されていた座標値が、入力されなくなると、ドロップ操作を検出する。ドロップ操作を検出したならば、最後に入力された座標値を操作位置としてＲＡＭに記憶し、処理をステップＳ２９に進めるが、そうでなければ処理をステップＳ２６に戻す。
【００８９】
ステップＳ２９においては、操作位置が自装置操作画面の表示領域か否かを判断する。自装置操作画面の表示領域は、図７のステップＳ０５において設定され、表示部１６１の表示面中の領域である。指示位置が自装置操作画面の表示領域内ならば処理をステップＳ３０に進めるが、そうでなければ処理をステップＳ３２に進める。
【００９０】
ステップＳ３０においては、処理を決定する。自装置操作画面において、操作位置に対応付けられた処理を決定する。そして、決定された処理をステップＳ２３において取得されたデータを処理対象として実行し、処理をステップＳ３２に進める。ステップＳ３２においては、指示画像の表示を終了し、処理を連携処理に戻す。
【００９１】
例えば、自装置操作画面が、画像を形成する処理、データを記憶する処理、データを外部に送信する処理それぞれが割り当てられたボタンを含む場合、操作位置が自装置操作画面中で画像を形成する処理が割り当てられたボタン内ならば画像を形成する処理を実行し、操作位置が自装置操作画面中でデータを記憶する処理が割り当てられたボタン内ならばデータを記憶する処理を実行し、操作位置が自装置操作画面中でデータを外部に送信する処理が割り当てられたボタン内ならばデータを外部に送信する処理を実行する。
【００９２】
以上説明したように本実施の形態におけるＭＦＰ１００は、自装置を操作するための自装置操作画面と、携帯情報装置２００を遠隔操作するための遠隔操作画面とを表示部１６１に同時に表示するので、自装置と携帯情報装置２００に対する操作を１つの表示面を見ながらすることができ、操作が容易となる。また、画面情報を携帯情報装置２００から受信しておき、画面情報に基づいて、遠隔操作画面が表示される領域内でユーザーにより指示された指示位置に対応するデータ識別情報を決定し、決定されたデータ識別情報で識別されるデータに対して自装置操作画面においてユーザーにより指示された操作位置に対応して予め定められた処理を実行する。このため、携帯情報装置に記憶されているデータに対して自装置で処理を実行させる操作を、容易にすることができる。その結果、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にすることができる。
【００９３】
また、遠隔操作画面が表示される領域内がユーザーにより指示され、自装置操作を検出する場合、画面情報に基づいて、自装置操作によって特定される位置に対応する指示画像を決定し、指示画像を移動可能に表示するので、データを処理対象に指定するドラッグ操作を、ユーザーは視覚で認識することができる。また、指示画像が移動した後の位置が操作位置として検出するので、ユーザーは、移動可能に表示される指示画像を見ながら操作位置を決めることができる。さらに、処理対象に指定されたデータに対する処理を決定するドラッグ操作を、ユーザーは視覚で認識することができる。
【００９４】
また、自装置操作によって特定される位置に対応する指示画像を決定し、指示画像に対応するデータ識別情報が決定されることに応じて、決定されたデータ識別情報で識別されるデータを携帯情報装置２００から取得する。このため、携帯情報装置２００から処理対象となるデータを、処理が実行される前に取得することができる。処理対象となるデータのみを携帯情報装置から受信するので、携帯情報装置２００との間の通信量を少なくすることができる。
【００９５】
＜変形例＞
上述した実施の形態においては、クライアントとして機能するＭＦＰ１００は、サーバーとして機能する携帯情報装置２００から受信される遠隔操作画面中の指示画像がドラッグされた時点、または、ドロップされた時点で、データを取得するようにした。変形例におけるＭＦＰ１００は、サーバーとして機能する携帯情報装置２００から遠隔操作画面を受信するごとに、その遠隔操作画面に関連付けられた１以上のデータすべてを、遠隔操作画面を受信する前に受信するようにしたものである。以下、上述したＭＦＰ１００と異なる点を主に説明する。
【００９６】
図９は、変形例におけるＭＦＰが備えるＣＰＵが有する機能の一例を示す図である。図９を参照して、図５に示した機能と異なる点は、個別取得部６９が削除された点、事前取得部９７、消去部９８およびデータ読出部９９が追加された点である。その他の機能は、図５に示した機能と同じなので、ここでは、説明を繰り返さない。
【００９７】
事前取得部９７は、画面情報受信部６５から画面情報が入力される。変形例における携帯情報装置２００は、サーバーとして機能する場合、遠隔操作画面を送信する前に、その遠隔操作画面に対応する画面情報を送信する。事前取得部９７は、画面情報受信部６５から画面情報が入力されることに応じて、画面情報に含まれる１以上のデータ識別情報でそれぞれ特定されるデータのすべてを、携帯情報装置２００から取得し、取得された１以上のデータを、対応するデータ識別情報と関連付けた関連データ１１５Ａとして、ＥＥＰＲＯＭ１１５に記憶する。
【００９８】
データ読出部９９は、データ決定部６７からデータ識別情報が入力される。データ読出部９９は、ＥＥＰＲＯＭ１１５に記憶されている関連データ１１５Ａのうちからデータ決定部６７から入力されるデータ識別情報で特定される関連データ１１５Ａを読み出し、読み出された関連データを処理実行部６３に出力する。
【００９９】
処理実行部６３は、処理決定部５９から入力されるコマンドで特定される処理を、データ読出部９９から入力される関連データ１１５Ａを処理対象として実行する。
【０１００】
消去部９８は、クライアント部５３が起動を停止する場合、換言すれば、サーバーとして機能する携帯情報装置２００との通信を終了した場合に、ＥＥＰＲＯＭ１１５に記憶されている関連データ１１５Ａを消去する。このため、ＥＥＰＲＯＭ１１５に関連データ１１５Ａが記憶された状態が維持されるのを防止して、関連データ１１５Ａに対するセキュリティを向上させることができる。また、記憶資源を有効に利用することができる。
【０１０１】
図１０は、変形例における連携処理の流れの一例を示すフローチャートである。図１０を参照して、図７に示した連携処理と異なる点は、ステップＳ０８とステップＳ０９との間にステップＳ４１およびステップＳ４２が追加された点、ステップＳ１２の後にステップＳ４３が追加された点、ステップＳ１６における遠隔操作受付処理が変更された点である。その他の処理は図７に示した連携処理と同じなので、ここでは異なる点を主に説明する。
【０１０２】
ステップＳ０７においては、画面情報を受信した場合に処理をステップＳ０８に進め、画面情報を受信しない場合は処理をステップＳ０９に進める。ステップＳ０８においては、受信された画面情報をＲＡＭ１１４に記憶し、処理をステップＳ４１に進める。
【０１０３】
ステップＳ４１においては、関連データを取得する。具体的には、通信Ｉ／Ｆ部１１２を制御して、携帯情報装置２００に、ステップＳ０７において受信された画面情報に含まれる１以上のデータ識別情報それぞれで特定される関連データのすべての送信を要求し、携帯情報装置２００が返信する関連データを受信する。次のステップＳ４２においては、受信された関連データをＥＥＰＲＯＭ１１５に記憶し、処理をステップＳ０９に進める。
【０１０４】
ステップＳ４３においては、ステップＳ４２においてＥＥＰＲＯＭ１１５に記憶された関連データ１１５Ａを消去し、処理を終了する。
【０１０５】
図１１は、変形例における遠隔操作受付処理の流れの一例を示すフローチャートである。図１１を参照して、図８に示した遠隔操作受付処理と異なる点は、ステップＳ２３に代えてステップＳ２３Ａが実行される点である。その他の処理は図８に示した遠隔操作受付処理と同じなので、ここでは説明を繰り返さない。
【０１０６】
ステップＳ２３Ａにおいては、ステップＳ２２において決定されたデータ識別情報で識別される関連データを、ＥＥＰＲＯＭ１１５から読み出し、処理をステップＳ２４に進める。関連データは、ステップＳ３１において処理を実行する際の、処理対象となる。
【０１０７】
変形例におけるＭＦＰ１００は、サーバーとして機能する携帯情報装置２００から遠隔操作画面を受信するごとに、その遠隔操作画面に関連付けられた１以上のデータすべてを、遠隔操作画面を受信する前に受信する。このため、ユーザーによりドロップ操作が検出されてから処理対象となる関連データ１１５ＡをＥＥＰＲＯＭ１１５から読み出せばよいので、処理を実行するまでの時間を短くすることができる。
【０１０８】
また、携帯情報装置２００と通信が終了し、クライアントとして機能しなくなると、携帯情報装置２００から取得され、ＥＥＰＲＯＭ１１５に記憶された関連データ１１５Ａを消去するので、携帯情報装置２００から取得された関連データのセキュリティを向上させることができる。
【０１０９】
なお、上述した実施の形態においては、画像処理システム１について説明したが、図７および図８に示した連携処理、または図１０および図１１に示した連携処理をＭＦＰ１００，１００Ａ、１００Ｂそれぞれに実行させる画像形成方法、または、その連携処理をＭＦＰ１００，１００Ａ、１００Ｂそれぞれが備えるＣＰＵ１１１に実行させる連携プログラムとして発明を捉えることができるのは言うまでもない。
【０１１０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
＜付記＞
（１） 前記画面情報は、前記遠隔操作画面の１部の領域に対応する指示画像をさらに含み、
前記自装置操作検出ステップにおいて前記自装置操作が検出される場合、前記受信された画面情報に基づいて、前記検出された位置に対応する指示画像を決定する指示画像決定ステップと、
前記指示画像が決定される場合、前記決定された指示画像を移動可能に前記表示手段に表示する指示画像表示手段ステップと、をさらに含む、
前記操作位置検出ステップは、前記位置検出ステップにおいて検出される位置に基づいて、前記指示画像が移動した後の位置を操作位置として検出するステップを含む、請求項６に記載の連携方法。
（２） 前記画面情報受信ステップにおいて前記画面情報が受信されることに応じて、前記画面情報に含まれるデータ識別情報で識別されるデータを、前記表示制御ステップにおいて前記遠隔操作画面が表示される前に、前記携帯情報装置から取得する事前取得ステップを、さらに含む請求項６または（１）に記載の連携方法。
（３） 前記クライアント手段が前記携帯情報装置と通信しなくなることに応じて、前記事前取得ステップにおいて取得されたデータを消去する消去ステップを、さらに含む（２）に記載の連携方法。
（４） 前記データ決定ステップにおいて前記データ識別情報が決定されることに応じて、前記決定されたデータ識別情報で識別されるデータを前記携帯情報装置から取得する個別取得ステップをさらに含む、請求項６または（２）に記載の連携方法。
【符号の説明】
【０１１１】
１ 画像処理システム、１００，１００Ａ，１００Ｂ ＭＦＰ、２００ 携帯情報装置、３ ネットワーク、５ 無線局、５１ 操作受付部、５３ クライアント部、５５ 表示制御部、５７ 指示画像決定部、５９ 処理決定部、６１ 操作画面決定部、６３ 処理実行部、６５ 画面情報受信部、６７ データ決定部、６９ 個別取得部、７１ 連携指示受付部、７３ 位置検出部、７５ 判定部、７７ 遠隔操作受付部、７９ 自装置操作検出部、８１ 移動操作検出部、８３ 操作位置検出部、８５ 自装置操作受付部、９１ 遠隔操作画面表示部、９３ 指示画像表示部、９５ 自装置操作画面表示部、９７ 事前取得部、９８ 消去部、９９ データ読出部、１１０ メイン回路、１１１ ＣＰＵ、１１２ 通信Ｉ／Ｆ部、１１３ ＲＯＭ、１１４ ＲＡＭ、１１５ ＥＥＰＲＯＭ、１１５Ａ 関連データ、１１６ ＨＤＤ、１１７ ファクシミリ部、１１９ 外部記憶装置、１２０ 自動原稿搬送装置、１３０ 原稿読取部、１４０ 画像形成部、１５０ 給紙部、１６０ 操作パネル、１６１ 表示部、１６３ 操作部、１６５ タッチパネル、２００ 携帯情報装置、２１１ ＣＰＵ、２１２ カメラ、２１３ フラッシュメモリ、２１４ 無線通信部、２１５ 通話部、２１６ 表示部、２１７ 操作部、２１７Ａ タッチパネル、２１８ 無線ＬＡＮＩ／Ｆ。
【技術分野】
【０００１】
この発明は、画像処理装置、連携方法および連携プログラムに関し、特に、携帯情報装置と連携して処理を実行する画像処理装置、その画像処理装置で実行される連携方法および連携プログラムに関する。
【背景技術】
【０００２】
近年、電子ペーパー等のＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔs）またはスマートホン等の携帯情報装置は、電子化された文書を記憶可能であり、時と場所を選ばず、文書を閲覧したり、編集したりできる。さらに、携帯情報装置に記憶された文書を複合機（以下「ＭＦＰ」という）等の画像処理装置に送信し、画像処理装置で印刷または記憶等の処理を実行させることができる。しかしながら、携帯情報装置と画像処理装置とを、それぞれ別個に操作する必要があり、操作が煩雑になるといった問題がある。
【０００３】
一方、特開２００５−１２９０６８号公報には、コンテンツの配信先を探して、コンテンツの伝送を開始するコンピューティングデバイスが記載されている。しかしながら、コンテンツを伝送した先の装置においては、コンテンツを表示することはできるが、伝送先の装置からコンテンツを選択することはできないといった問題がある。
【特許文献１】特開２００５−１２９０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この発明は上述した問題点を解決するためになされたもので、この発明の目的の一つは、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にした画像処理装置を提供することである。
【０００５】
この発明の他の目的は、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にした連携方法を提供することである。
【０００６】
この発明のさらに他の目的は、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にした連携プログラムを提供することである。
【課題を解決するための手段】
【０００７】
上述した目的を達成するためにこの発明のある局面によれば、画像処理装置は、携帯情報装置と通信する通信手段と、画像を表示する表示手段と、遠隔操作されるサーバーとして機能する携帯情報装置と通信手段を介して通信し、携帯情報装置を遠隔操作するクライアントとして機能するクライアント手段と、携帯情報装置を遠隔操作する場合、自装置を操作するための自装置操作画面と、クライアント手段により携帯情報装置から受信され、携帯情報装置を遠隔操作するための遠隔操作画面とを、表示手段に同時に表示する表示制御手段と、遠隔操作画面の１部の領域の位置を示す位置情報と、該位置情報に関連付けられたデータを識別するためのデータ識別情報とを含む画面情報を、携帯情報装置から通信手段を介して受信する画面情報受信手段と、表示手段の表示面中でユーザーにより指示された位置を検出する位置検出手段と、位置検出手段により遠隔操作画面が表示される領域内の位置が検出される場合、自装置に対する自装置操作を検出する自装置操作検出手段と、位置検出手段により遠隔操作画面が表示される領域内の位置が検出され、かつ、自装置操作検出手段によって自装置操作が検出されない場合に、検出された位置をクライアント手段に出力する遠隔操作受付手段と、自装置操作検出手段により自装置操作が検出される場合、受信された画面情報に基づいて、検出された位置に対応するデータ識別情報を決定するデータ決定手段と、位置検出手段により自装置操作画面が表示される領域内で検出された位置を操作位置として検出する操作位置検出手段と、決定されたデータ識別情報で識別されるデータに対して、自装置操作画面において操作位置に対応して予め定められた処理を実行する処理実行手段と、を備える。
【０００８】
この局面に従えば、１つの表示手段に自装置操作画面と遠隔操作画面とを同時に表示するので、自装置と携帯情報装置に対する操作を１つの表示面を見ながらすることができ、操作が容易となる。また、画面情報を携帯情報装置から受信しておき、画面情報に基づいて、遠隔操作画面が表示される領域内でユーザーにより指示された位置に対応するデータ識別情報を決定し、決定されたデータ識別情報で識別されるデータに対して自装置操作画面においてユーザーにより指示された操作位置に対応して予め定められた処理が実行される。このため、携帯情報装置に記憶されているデータに対して自装置で処理する操作を、容易にすることができる。その結果、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にした画像処理装置を提供することができる。
【０００９】
好ましくは、画面情報は、遠隔操作画面の１部の領域に対応する指示画像をさらに含み、自装置操作検出手段により自装置操作が検出される場合、受信された画面情報に基づいて、検出された位置に対応する指示画像を決定する指示画像決定手段と、指示画像が決定される場合、決定された指示画像を移動可能に表示手段に表示する指示画像表示手段と、をさらに備え、操作位置検出手段は、位置検出手段により検出される位置に基づいて、指示画像が移動した後の位置を操作位置として検出する。
【００１０】
この局面に従えば、遠隔操作画面が表示される領域内がユーザーにより指示され、自装置操作が検出される場合、遠隔操作画面の１部の領域に対応する指示画像を含む画面情報に基づいて、検出された位置に対応する指示画像が決定され、移動可能に表示され、指示画像が移動した後の位置が操作位置として検出される。指示画像を移動可能に表示されるので、携帯情報装置に記憶されているデータが処理対象に選択されていることをユーザーに通知することができる。また、ユーザーは、移動可能に表示される指示画像を見ながら操作位置を決めることができるので、ユーザーが入力する操作を視覚で通知することができる。
【００１１】
好ましくは、データ決定手段によりデータ識別情報が決定されることに応じて、決定されたデータ識別情報で識別されるデータを携帯情報装置から取得する個別取得手段を、さらに備える。
【００１２】
この局面に従えば、データ識別情報が決定されることに応じて、データが携帯情報装置から取得されるので、携帯情報装置から処理対象となるデータを、処理が実行される前に取得することができる。
【００１３】
好ましくは、画面情報受信手段により画面情報が受信されることに応じて、画面情報に含まれるデータ識別情報で識別されるデータを、表示制御手段により遠隔操作画面が表示される前に、携帯情報装置から取得する事前取得手段を、さらに備える。
【００１４】
この局面に従えば、画面情報に含まれるデータ識別情報で識別されるデータを、遠隔操作画面が表示される前に携帯情報装置から取得するので、遠隔操作画面が表示される領域内で自装置操作が検出される前に取得することができ、自装置操作画面内で自装置操作が検出されてから処理を実行するまでの時間を短くすることができる。
【００１５】
好ましくは、クライアント手段が携帯情報装置と通信しなくなることに応じて、事前取得手段により取得されたデータを消去する消去手段を、さらに備える。
【００１６】
この局面に従えば、携帯情報装置と通信しなくなることに応じて、携帯情報装置から取得されたデータを消去するので、携帯情報装置から取得されたデータのセキュリティを向上させることができる。
【００１７】
この発明の他の局面によれば、連携方法は、画像処理装置で実行される連携方法であって、画像処理装置は、携帯情報装置と通信する通信手段と、画像を表示する表示手段と、遠隔操作されるサーバーとして機能する携帯情報装置と通信手段を介して通信し、携帯情報装置を遠隔操作するクライアントとして機能するクライアント手段と、を備えており、携帯情報装置を遠隔操作する場合、自装置を操作するための自装置操作画面と、クライアント手段により携帯情報装置から受信され、携帯情報装置を遠隔操作するための遠隔操作画面とを、表示手段に同時に表示するステップと、遠隔操作画面の１部の領域の位置を示す位置情報と、該位置情報に関連付けられたデータを識別するためのデータ識別情報とを含む画面情報を、携帯情報装置から通信手段を介して受信するステップと、表示手段の表示面中でユーザーにより指示された位置を検出する位置検出ステップと、位置検出手段により遠隔操作画面が表示される領域内の位置が検出される場合、自装置に対する自装置操作を検出する自装置操作検出ステップと、位置検出ステップにおいて遠隔操作画面が表示される領域内の位置が検出され、自装置操作検出ステップにおいて自装置操作が検出されない場合に、検出された位置をクライアント手段に出力するステップと、自装置操作検出ステップにおいて自装置操作が検出される場合、受信された画面情報に基づいて、検出された位置に対応するデータ識別情報を決定するデータ決定ステップと、位置検出ステップにおいて自装置操作画面が表示される領域内で検出された位置を操作位置として検出する操作位置検出ステップと、決定されたデータ識別情報で識別されるデータに対して、自装置操作画面において操作位置に対応して予め定められた処理を実行するステップと、を含む。
【００１８】
この局面に従えば、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にした連携方法を提供することができる。
【００１９】
この発明のさらに他の局面によれば、連携プログラムは、画像処理装置を制御するコンピューターで実行される連携プログラムであって、画像処理装置は、携帯情報装置と通信する通信手段と、画像を表示する表示手段と、遠隔操作されるサーバーとして機能する携帯情報装置と通信手段を介して通信し、携帯情報装置を遠隔操作するクライアントとして機能するクライアント手段と、を備えており、携帯情報装置を遠隔操作する場合、自装置を操作するための自装置操作画面と、クライアント手段により携帯情報装置から受信され、携帯情報装置を遠隔操作するための遠隔操作画面とを、表示手段に同時に表示するステップと、遠隔操作画面の１部の領域の位置を示す位置情報と、該位置情報に関連付けられたデータを識別するためのデータ識別情報とを含む画面情報を、携帯情報装置から通信手段を介して受信するステップと、表示手段の表示面中でユーザーにより指示された位置を検出する位置検出ステップと、位置検出手段により遠隔操作画面が表示される領域内の位置が検出される場合、自装置に対する自装置操作を検出する自装置操作検出ステップと、位置検出ステップにおいて遠隔操作画面が表示される領域内の位置が検出され、自装置操作検出ステップにおいて自装置操作が検出されない場合に、検出された位置をクライアント手段に出力するステップと、自装置操作検出ステップにおいて自装置操作が検出される場合、受信された画面情報に基づいて、検出された位置に対応するデータ識別情報を決定するデータ決定ステップと、位置検出ステップにおいて自装置操作画面が表示される領域内で検出された位置を操作位置として検出する操作位置検出ステップと、決定されたデータ識別情報で識別されるデータに対して、自装置操作画面において操作位置に対応して予め定められた処理を実行するステップと、をコンピューターに実行させる。
【００２０】
この局面に従えば、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にした連携プログラムを提供することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態における画像処理システムの全体概要を示す図である。
【図２】ＭＦＰのハードウエア構成の概要を示すブロック図である。
【図３】操作パネルの一例を示す平面図である。
【図４】携帯情報装置のハードウエア構成の概要を示すブロック図である。
【図５】ＭＦＰが備えるＣＰＵが有する機能の一例を示す図である。
【図６】連携操作の一例を示す図である。
【図７】連携処理の流れの一例を示すフローチャートである。
【図８】遠隔操作受付処理の流れの一例を示すフローチャートである。
【図９】変形例におけるＭＦＰが備えるＣＰＵが有する機能の一例を示す図である。
【図１０】変形例における連携処理の流れの一例を示すフローチャートである。
【図１１】変形例における遠隔操作受付処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００２２】
以下、本発明の実施の形態について図面を参照して説明する。以下の説明では同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがってそれらについての詳細な説明は繰り返さない。
【００２３】
図１は、本発明の実施の形態における画像処理システムの全体概要を示す図である。図１を参照して、画像処理システム１は、それぞれがネットワーク３に接続されたＭＦＰ（Ｍｕｌｔｉ Ｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）１００，１００Ａ，１００Ｂと、携帯情報装置２００と、無線局５と、を含む。
【００２４】
なお、図ではネットワーク３に、画像処理装置として３台のＭＦＰ１００，１００Ａ，１００Ｂが接続される例を示しているが、ＭＦＰの数はこれに限定されるものではなく、１台以上であればよい。また、ＭＦＰ１００，１００Ａ，１００Ｂに代えて、画像を処理する機能を備えた装置であれば、例えば、コンピューター、ファクシミリ、プリンタ等であってもよい。
【００２５】
ネットワーク３は、ローカルエリアネットワーク（ＬＡＮ）であり、接続形態は有線または無線を問わない。またネットワーク３は、ＬＡＮに限らず、公衆交換電話網（Ｐｕｂｌｉｃ Ｓｗｉｔｃｈｅｄ Ｔｅｌｅｐｈｏｎｅ Ｎｅｔｗｏｒｋｓ）を用いたネットワーク等であってもよい。さらに、ネットワーク３は、インターネットなどのワイドエリアネットワーク（ＷＡＮ）に接続されている。このため、ＭＦＰ１００，１００Ａ，１００Ｃは、ネットワーク３を介して互いに通信可能である。
【００２６】
携帯情報装置２００は、電子ペーパー等、または、スマートホンなどの通信機能を備えたＰＤＡである。ここでは、携帯情報装置２００を、スマートホンとする場合を例に説明する。携帯情報装置２００は、携帯電話用基地局と無線で通信することにより携帯電話網に接続し、通話が可能である。また、携帯情報装置２００は、無線ＬＡＮ機能を備えている。
【００２７】
ネットワーク３には無線局５がさらに接続される。無線局５は、ネットワーク３の中継装置であり、無線ＬＡＮ通信機能を備えた携帯情報装置２００と通信して、携帯情報装置２００をネットワーク３に接続する。このため、携帯情報装置２００は、ネットワーク３に接続された、ＭＦＰ１００，１００Ａ，１００Ｂとデータの送受信が可能である。
【００２８】
本実施の形態における画像処理システム１においては、携帯情報装置２００と、ＭＦＰ１００，１００Ａ，１００Ｂのいずれかとが通信し、データが送受信される。データを送受信するプロトコルは、特に限定されることはなく、任意のプロトコルを用いることが可能である。携帯情報装置２００は、それに記憶されたデータを、ＭＦＰ１００，１００Ａ，１００Ｂのいずれかに送信し、ＭＦＰ１００，１００Ａ，１００Ｂのいずれかにデータを保存、表示、送信または画像形成等の処理をさせることができる。携帯情報装置２００が記憶するデータは、ネットワーク３に接続されたコンピューター等からダウンロードしたアプリケーションデータであってもよいし、携帯情報装置２００にインターネットブラウザプログラムがインストールされている場合には、インターネットに接続されたサーバーからダウンロードしたデータであってもよい。データは、マークアップ言語で記述されたＷｅｂデータを含む。
【００２９】
以下の説明では、携帯情報装置２００が、ＭＦＰ１００と通信する場合を例に説明する。携帯情報装置２００とＭＦＰ１００とが通信する場合、携帯情報装置２００がサーバーとして機能し、ＭＦＰ１００がクライアントとして機能する。この場合、ＭＦＰ１００の操作パネルには、携帯情報装置２００を遠隔操作するための操作画面と、ＭＦＰ１００を操作するための操作画面とが同時に表示される。以下、ＭＦＰ１００の操作パネルに表示される操作画面であって、携帯情報装置２００を遠隔操作するための操作画面を遠隔操作画面といい、ＭＦＰ１００を操作するための操作画面を自装置操作画面という。
【００３０】
ＭＦＰ１００，１００Ａ，１００Ｂは、ハードウエア構成は同じであってもよく異なっていてもよいが、少なくとも画像データに基づいて紙などの用紙に画像を形成するための画像形成部を備えている。ＭＦＰ１００，１００Ａ，１００Ｂ各々が有するハードウエア構成は同じではない場合があるが、ここではＭＦＰ１００が、他のＭＦＰ１００Ａ，１００Ｂの少なくとも１つが有する構成を有しているとし、特に言及しない限りＭＦＰ１００を例に説明する。
【００３１】
図２は、ＭＦＰのハードウエア構成の概要を示すブロック図である。図２を参照して、ＭＦＰ１００は、メイン回路１１０と、原稿を読み取るための原稿読取部１３０と、原稿を原稿読取部１３０に搬送するための自動原稿搬送装置１２０と、原稿読取部１３０が原稿を読み取って出力する画像データに基づいて用紙等に画像を形成するための画像形成部１４０と、画像形成部１４０に用紙を供給するための給紙部１５０と、ユーザーインターフェースとしての操作パネル１６０とを含む。
【００３２】
メイン回路１１０は、ＣＰＵ１１１と、通信インターフェース（Ｉ／Ｆ）部１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｏｎｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）１１５と、大容量記憶装置としてのハードディスクドライブ（ＨＤＤ）１１６と、ファクシミリ部１１７と、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１１９Ａが装着される外部記憶装置１１９と、を含む。ＣＰＵ１１１は、自動原稿搬送装置１２０、原稿読取部１３０、画像形成部１４０、給紙部１５０および操作パネル１６０と接続され、ＭＦＰ１００の全体を制御する。
【００３３】
ＲＯＭ１１３は、ＣＰＵ１１１が実行するプログラム、またはそのプログラムを実行するために必要なデータを記憶する。ＲＡＭ１１４は、ＣＰＵ１１１がプログラムを実行する際の作業領域として用いられる。また、ＲＡＭ１１４は、原稿読取部１３０から連続的に送られてくる読取データ（画像データ）を一時的に記憶する。
【００３４】
操作パネル１６０は、ＭＦＰ１００の上面に設けられる。図３は、操作パネルの一例を示す平面図である。図３を参照して、操作パネル１６０は、表示部１６１と操作部１６３とを含む。表示部１６１は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙ）等の表示装置であり、ユーザーに対する指示メニューや取得した画像データに関する情報等を表示する。操作部１６３は、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。操作部１６３は、表示部１６１の表示面の位置を検出するタッチパネル１６５をさらに含む。タッチパネル１６５は、表示部１６１の上面または下面に設けられ、ユーザーにより指示された位置の座標をＣＰＵ１１１に出力する。
【００３５】
図２に戻って、通信Ｉ／Ｆ部１１２は、ＭＦＰ１００をネットワーク３に接続するためのインターフェースである。ＣＰＵ１１１は、通信Ｉ／Ｆ部１１２を介してネットワーク３に接続された他のＭＦＰ１００Ａ，１００Ｂまたは無線局５との間で通信し、データを送受信する。また、通信Ｉ／Ｆ部１１２は、ネットワーク３を介してインターネットに接続されたコンピューターと通信が可能である。
【００３６】
ファクシミリ部１１７は、公衆交換電話網（ＰＳＴＮ）に接続され、ファクシミリデータを送受信する。ファクシミリ部１１７は、原稿読取部１３０により読み取られた画像データまたはＨＤＤ１１６に記憶されたデータをファクシミリデータに変換して、ＰＳＴＮに接続されたファクシミリ装置に送信する。また、ファクシミリ部１１７は、受信されたファクシミリデータをＨＤＤ１１６に記憶するか、画像形成部１４０にファクシミリデータの画像を用紙に形成させる。
【００３７】
外部記憶装置１１９は、ＣＤ−ＲＯＭ１１９Ａが装着される。ＣＰＵ１１１は、外部記憶装置１１９を介してＣＤ−ＲＯＭ１１９Ａにアクセス可能である。ＣＰＵ１１１は、外部記憶装置１１９に装着されたＣＤ−ＲＯＭ１１９Ａに記録されたプログラムをＲＡＭ１１４にロードして実行する。なお、ＣＰＵ１１１が実行するプログラムは、ＣＤ−ＲＯＭ１１９Ａに記録されたプログラムに限られず、ＨＤＤ１１６に記憶されたプログラムをＲＡＭ１１４にロードして実行するようにしてもよい。この場合、ネットワークに接続された他のコンピューターが、ＭＦＰ１００のＨＤＤ１１６に記憶されたプログラムを書き換える、または、新たなプログラムを追加して書き込むようにしてもよい。さらに、ＭＦＰ１００が、ネットワークに接続された他のコンピューターからプログラムをダウンロードして、そのプログラムをＨＤＤ１１６に記憶するようにしてもよい。ここでいうプログラムは、ＣＰＵ１１１が直接実行可能なプログラムだけでなく、ソースプログラム、圧縮処理されたプログラム、暗号化されたプログラム等を含む。
【００３８】
図４は、携帯情報装置のハードウエア構成の概要を示すブロック図である。図４を参照して、携帯情報装置２００は、携帯情報装置２００の全体を制御するためのＣＰＵ２１１と、カメラ２１２と、データを不揮発的に記憶するフラッシュメモリ２１３と、通話部２１５と、通話部２１５と接続された無線通信部２１４と、情報を表示する表示部２１６と、ユーザーの操作の入力を受け付ける操作部２１７と、無線ＬＡＮインターフェース（Ｉ／Ｆ）２１８と、を含む。
【００３９】
無線通信部２１４は、電話通信網に接続された携帯電話用基地局と無線通信する。無線通信部２１４は、携帯情報装置２００を電話通信網に接続し、通話部２１５を用いた通話を可能とする。無線通信部２１４は、携帯電話用基地局から受信した無線信号を復調した音声信号を復号して通話部２１５に出力する。また、無線通信部２１４は、通話部２１５から入力される音声を符号化し、携帯電話用基地局に送信する。通話部２１５は、マイクおよびスピーカを備え、無線通信部２１４から入力される音声をスピーカから出力し、マイクから入力される音声を無線通信部２１４に出力する。さらに、無線通信部２１４は、ＣＰＵ２１１により制御され、携帯電話用基地局を介してデータを送受信し、例えば、携帯情報装置２００をインターネットに接続する。
【００４０】
カメラ２１２は、レンズおよびＣＭＯＳ(Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサー等の光電変換素子を備え、レンズで集光した光をＣＭＯＳセンサーに結像し、ＣＭＯＳセンサーは受光した光を光電変換して画像データをＣＰＵ２０１に出力する。
【００４１】
表示部２１６は、液晶表示装置（ＬＣＤ）、有機ＥＬＤ等の表示装置であり、ユーザーに対する指示メニューや，外部から受信されたデータ等を表示する。操作部２１７は、複数のキーを備え、キーに対応するユーザーの操作による各種の指示、文字、数字などのデータの入力を受け付ける。
【００４２】
また、操作部２１７は、タッチパネル２１７Ａを含む。タッチパネル２１７Ａは、表示部２１６の表示面中でユーザーにより指示された位置を検出する。タッチパネル２１７Ａは、表示部２１６の上面または下面に設けられ、ユーザーにより指示された位置の座標をＣＰＵ２１１に出力する。タッチパネル２１７Ａは、マルチタッチスクリーンパネルであり、同時に複数の位置がユーザーにより指示される場合、ユーザーにより指示された複数の位置にそれぞれ対応する複数の座標をＣＰＵ２１１に出力する。タッチパネル２１７Ａは、表示部２１６の表示面と同じまたはそれ以上のサイズであるのが好ましい。タッチパネル２１７Ａは、表示部２１６に重畳して設けられるので、タッチパネル２１７Ａは、ユーザーが表示部２１６の表示面を指示すれば、表示部２１６の表示面中でユーザーが指示した１以上の位置にそれぞれ対応する１以上の座標をＣＰＵ２１１に出力する。タッチパネル２１７Ａは、例えば、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式を用いることができ、その方式は限定されない。
【００４３】
無線ＬＡＮＩ／Ｆ２１８は、無線局５と通信し、携帯情報装置２００をネットワーク３に接続するためのインターフェースである。携帯情報装置２００は、無線ＬＡＮＩ／Ｆ２１８を介してＭＦＰ１００，１００Ａ、１００Ｂと通信することができ、データの送受信が可能である。
【００４４】
図５は、ＭＦＰが備えるＣＰＵが有する機能の一例を示す図である。図５に示す機能は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＥＥＰＲＯＭ１１５、ＨＤＤ１６６またはＣＤ−ＲＯＭ１１９Ａに記憶された連携プログラムを実行することにより、ＣＰＵ１１１に形成される機能である。図５を参照して、ＣＰＵ１１１は、操作を受け付ける操作受付部５１と、クライアントとして機能するクライアント部５３と、表示部１６１を制御する表示制御部５５と、指示画像決定部５７と、処理決定部５９と、操作画面を決定する操作画面決定部６１と、処理を実行する処理実行部６３と、画面情報受信部６５と、データ決定部６７と、個別取得部６９と、を含む。
【００４５】
操作画面決定部６１は、ＭＦＰ１００を操作するための操作画面であって、表示部１６１に表示するための自装置操作画面を決定する。操作画面決定部６１は、後述する自装置操作受付部８５により受け付けられるユーザーによる操作に従って、自装置操作画面を決定する。操作画面決定部６１は、決定した自装置操作画面を表示制御部５５および処理決定部５９に出力する。
【００４６】
クライアント部５３は、後述する連携指示受付部７１から起動指示が入力されることに応じて起動し、通信Ｉ／Ｆ部１１２を介して、サーバーとして機能する携帯情報装置２００と通信し、携帯情報装置２００を遠隔操作するクライアントとして機能する。具体的には、クライアント部５３は、ユーザーが携帯情報装置２００を遠隔操作するための遠隔操作画面を携帯情報装置２００から受信し、受信された遠隔操作画面を、表示制御部５５に出力する。
【００４７】
表示制御部５５は、表示部１６１を制御し、表示部１６１に画像を表示させる。表示制御部５５は、遠隔操作画面表示部９１と、指示画像表示部９３と、自装置操作画面表示部９５と、を含む。遠隔操作画面表示部９１は、クライアント部５３から入力される遠隔操作画面を表示部１６１に表示させる。このため、ＭＦＰ１００を操作するユーザーは、表示部１６１に表示された遠隔操作画面を見て、携帯情報装置２００を遠隔操作することができる。
【００４８】
クライアント部５３は、後述する遠隔操作受付部７７から遠隔操作画面中の位置を示す位置情報が入力される。遠隔操作受付部７７の詳細は後述するが、ユーザーが遠隔操作画面中を指でタッチするなどすれば、遠隔操作受付部７７は、タッチパネル１６５から入力される位置情報に基づいて、遠隔操作画面中の位置を示す位置情報を、クライアント部５３に出力する。クライアント部５３は、遠隔操作受付部７７から入力される位置情報を、通信Ｉ／Ｆ１１２を介して携帯情報装置２００に送信する。
【００４９】
自装置操作画面表示部９５は、操作画面決定部から入力される自装置操作画面を、表示部１６１に表示させる。遠隔操作画面表示部９１により遠隔操作画面が表示される場合、自装置操作画面表示部９５は、自装置操作画面を遠隔操作画面と並べて配置する。このため、遠隔操作画面表示部９１により遠隔操作画面が表示される場合、換言すれば、ＭＦＰ１００がクライアントとして機能する場合、表示部１６１に自装置操作画面と遠隔操作画面とが同時に表示されるので、ＭＦＰ１００のユーザーは、表示部１６１を見ながら、ＭＦＰ１００を操作することができるとともに、携帯情報装置２００を遠隔操作することができる。
【００５０】
表示制御部５５は、表示情報を操作受付部５１に出力する。表示情報は、表示部１６１に自装置操作画面のみを表示している場合には、自装置操作画面を識別するための操作画面識別情報と、自装置操作画面の表示部１６１の表示面中の位置を示す位置情報とを含む。また、表示情報は、表示部１６１に自装置操作画面および遠隔操作画面を表示している場合には、自装置操作画面を識別するための操作画面識別情報と、自装置操作画面の表示部１６１の表示面中の位置を示す位置情報とに加えて、遠隔操作画面の表示部１６１の表示面中の位置を示す位置情報とを含む。
【００５１】
操作受付部５１は、表示制御部５５から表示情報が入力され、ユーザーにより入力される操作を受け付ける。ユーザーにより入力される操作は、自装置に対する操作である自装置操作と、携帯情報装置に対する操作である遠隔操作とを含む。操作受付部５１は、連携指示受付部７１と、表示部１６１の表示面中でユーザーにより指示された位置を検出する位置検出部７３と、検出された位置に基づいて自装置操作画面と遠隔操作画面とのいずれが指示されたかを判定する判定部７５と、遠隔操作受付部７７と、自装置操作検出部７９と、移動操作検出部８１と、操作位置検出部８３と、自装置操作受付部８５と、を含む。
【００５２】
連携指示受付部７１は、ユーザーが入力する連携指示を受け付ける。例えば、表示部１６１に連携設定画面を表示し、ユーザーが操作部１６３に入力する連携指示を受け付ける。連携設定画面は、連携相手の装置を選択するための画面である。ここでは、携帯情報装置２００を連携相手の装置として選択可能な連携設定画面を表示する。連携相手の装置は、予めＭＦＰ１００に登録されている。連携指示は、連携設定画面において、ユーザーにより指定された連携の相手となる装置、ここでは携帯情報装置２００を識別するための装置識別情報を含む。連携指示受付部７１は、連携指示を受け付けると、クライアント部５３に起動指示を出力するとともに、画面情報受信部６５に画面情報受信指示を出力する。起動指示および画面情報受信指示は、連携相手の装置、ここでは携帯情報装置２００の装置識別情報を含む。
【００５３】
なお、ユーザーが、携帯情報装置２００を操作して、携帯情報装置２００から連携指示をＭＦＰ１００に送信するようにしてもよい。この場合、ユーザーは、携帯情報装置２００に連携相手の装置として、ＭＦＰ１００を指定すれば、ＭＦＰ１００に対して連携要求を送信する。連携指示受付部７１は、通信Ｉ／Ｆ１１２が連携要求を受信すると、ＭＦＰ１００から連携指示を受け付ける。連携指示受付部７１は、連携要求を送信してきたＭＦＰ１００を、連携相手として特定する。
【００５４】
画面情報受信部６５は、連携指示受付部７１から画面情報受信指示が入力され、画面情報受信指示に含まれる装置識別情報で識別される携帯情報装置２００から画面情報を受信する。連携指示受付部７１は、画面情報受信指示を出力する場合、クライアント部５３に起動指示を出力する。上述したようにクライアント部５３は、連携指示受付部７１から起動指示が入力されることに応じて起動し、通信Ｉ／Ｆ部１１２を介して、サーバーとして機能する携帯情報装置２００と通信する。携帯情報装置２００は、サーバーとして機能する場合、遠隔操作画面を送信するが、遠隔操作画面を送信する前にその遠隔操作画面に関する画面情報を送信する。画面情報受信部６５は、通信Ｉ／Ｆ部１１２を制御して、携帯情報装置２００が送信する画面情報を受信する。画面情報受信部６５は、画面情報を受信することに応じて、受信された画面情報を指示画像決定部５７およびデータ決定部６７に出力する。
【００５５】
携帯情報装置２００は、遠隔操作画面ごとに画面情報を送信する。具体的には、携帯情報装置は、遠隔操作画面を別の遠隔操作画面に切り換える場合、別の遠隔操作画面を送信する前に、別の遠隔操作画面に関する画面情報を送信する。したがって、画面情報受信部６５は、携帯情報装置２００が遠隔操作画面を切り換えるごとに、切り換え後の遠隔操作画面に対応する画面情報を受信する。
【００５６】
画面情報は、それに対応する遠隔操作画面に含まれる指示画像と、その指示画像の遠隔操作画面における位置を示す位置情報と、指示画像に関連付けられたデータを識別するためのデータ識別情報と、を含む。画面情報は、遠隔操作画面が複数の指示画像を含む場合、複数の指示画像ごとに、位置情報とデータ識別情報とを関連付ける。指示画像は、遠隔操作画面の１部の領域である。位置情報は、遠隔操作画面中で指示画像に対応する１部の領域の位置を示す。指示画像にデータ識別情報が関連付けられているので、データ識別情報は、指示画像の位置情報に関連付けられている。指示画像は、データ識別情報で識別されるデータに対応する画像であり、例えば、アイコンである。また、指示画像は、データを縮小した画像であってもよい。
【００５７】
位置検出部７３は、タッチパネル１６５と接続され、タッチパネル１６５から表示部１６１の表示面中でユーザーにより指示された位置の座標値が入力される。位置検出部７３は、タッチパネル１６５から入力される座標値を、判定部７５および移動操作検出部８１に出力する。
【００５８】
判定部７５は、表示制御部５５から入力される表示情報に基づいて、位置検出部７３から入力される座標値の示す位置が、自装置操作画面および遠隔操作画面のいずれに属するかを検出する。判定部７５は、位置検出部７３から入力される座標値が示す位置が自装置操作画面に属する場合は、位置検出部７３から入力される座標値を含む位置情報を操作位置検出部８３に出力する。また、判定部７５は、位置検出部７３から入力される座標値が示す位置が遠隔操作画面に属する場合は、位置検出部７３から入力される座標値を含む位置情報を自装置操作検出部７９に出力する。
【００５９】
自装置操作検出部７９は、判定部７５から所定時間Ｔ１以上継続して同じ位置情報が入力される場合に自装置操作を検出する。また、判定部７５から同じ位置情報が所定時間以下入力される場合に自装置操作を検出するようにしてもよい。さらに、操作部１６３が備える予め定められたキーが指示される間に、位置検出部７３から座標値が入力される場合に、自装置操作を検出するようにしてもよい。自装置操作検出部７９は、自装置操作を検出する場合、表示制御部５５から入力される表示情報に基づいて、判定部７５から入力される位置情報に含まれる座標値を遠隔操作画面中の位置を示す座標値に変換し、変換後の座標値を含む位置情報を指示画像決定部５７およびデータ決定部６７に出力するとともに、判定部７５から入力される位置情報を移動操作検出部８１に出力する。自装置操作検出部７９が自装置操作を検出する場合に判定部７５から入力される位置情報で定まる位置を、ドラッグ位置ともいう。
【００６０】
自装置操作検出部７９は、自装置操作を検出しない場合、判定部７５から入力される位置情報を遠隔操作受付部７７に出力する。遠隔操作受付部７７は、表示制御部５５から入力される表示情報に基づいて、自装置操作検出部７９から入力される位置情報に含まれる座標値を遠隔操作画面中の位置を示す座標値に変換し、変換後の座標値をクライアント部５３に出力する。
【００６１】
移動操作検出部８１は、自装置操作検出部７９から位置情報が入力された後に、位置検出部７３から座標値が入力される間、移動操作を受け付ける。移動操作検出部８１は、移動操作を受け付けている間、位置検出部７３から入力される座標値を指示画像表示部９３に出力するとともに、検出許可信号を操作位置検出部８３に出力する。
【００６２】
指示画像決定部５７は、画面情報受信部６５から画面情報が入力される。指示画像決定部５７は、自装置操作検出部７９から位置情報が入力されることに応じて、画面情報に基づいて位置情報で特定される指示画像を決定する。画面情報に含まれる１以上の指示画像のうち、自装置操作検出部７９から入力される位置情報に含まれる座標値によって特定される遠隔操作画面中の位置と関連付けられた指示画像を決定する。指示画像決定部５７は、決定された指示画像を指示画像表示部９３に出力する。
【００６３】
指示画像表示部９３は、指示画像決定部５７から入力される指示画像を、表示部１６１に表示する。表示部１６１の表示面において、移動操作検出部８１から入力される座標値で定まる位置に、指示画像を表示する。このため、ユーザーが、表示部１６１に表示された遠隔操作画面に含まれる１以上の指示画像のいずれかを、指で所定時間以上指示すれば、その指示画像が移動可能に表示される。いわゆる、ドラッグ操作が可能になる。さらに、ユーザーが指示画像をドラッグした状態で、指を表示面上を移動させると、指の移動に伴って指示画像が表示面中で移動する。移動操作検出部８１は、自装置操作検出部７９において、自装置操作が検出されてから、位置検出部７３から座標値が入力されている間、移動操作を検出する。自装置操作検出部７９において自装置操作が検出されるのは、ユーザーが遠隔操作画面中の指示画像を指示した場合である。このため、ユーザーは、遠隔操作画面中の指示画像を、遠隔操作画面から自装置操作画面に移動させる操作を入力することができる。遠隔操作画面と、自装置操作画面は、同じ表示部１６１に表示されているので、遠隔操作画面と自装置操作画面との間に、物理的な凹凸は存在しない。このため、指示画像を移動させる操作を容易にすることができる。
【００６４】
操作位置検出部８３は、位置検出部７３により検出された座標値を含む位置情報が入力され、移動操作検出部８１から検出許可信号が入力される。操作位置検出部８３は、移動操作検出部８１から検出許可信号が入力されていない状態で、位置検出部７３から位置情報が入力される場合、表示制御部５５から入力される表示情報に基づいて、位置情報に含まれる座標値を自装置操作画面中の位置を示す座標値に変換し、変換後の座標値を含む位置情報を自装置操作受付部８５に出力する。
【００６５】
操作位置検出部８３は、移動操作検出部８１から検出許可信号が入力されている状態で、位置検出部７３により検出された座標値を含む位置情報が入力される場合、移動操作検出部８１から検出許可信号が入力されなくなった時点で、その直前に位置検出部７３により検出された座標値を含む位置情報で定まる位置を操作位置に決定する。操作位置は、ドロップ位置ともいう。そして、操作位置検出部８３は、表示制御部５５から入力される表示情報に基づいて、特定された位置情報に含まれる座標値を自装置操作画面中の位置を示す座標値に変換し、変換後の座標値を含む位置情報を処理決定部５９に出力する。移動操作検出部８１から検出許可信号が入力されている状態から、位置検出部７３から位置情報が入力されなくなる状態に変化する時点は、ユーザーが、指示画像をドラッグしながら自装置操作画面内まで移動させた後に、表示部１６１の表示面から指を離した時点である。いわゆるユーザーによるドロップ操作である。
【００６６】
処理決定部５９は、操作位置検出部８３から位置情報が入力されることに応じて、操作画面決定部６１から入力される自装置操作画面と、位置情報に含まれる座標値とに基づいて、処理を決定する。具体的には、自装置操作画面において、位置情報に含まれる座標値の位置に対応付けられた処理を決定する。処理決定部５９は、決定された処理の実行を指示するコマンドを処理実行部６３に出力する。
【００６７】
例えば、自装置操作画面が、画像を形成する処理、データを記憶する処理、データを外部に送信する処理それぞれが割り当てられたボタンを含む場合について説明する。処理決定部５９は、位置情報に含まれる座標値が、自装置操作画面中で画像を形成する処理が割り当てられたボタン内の位置を特定する場合は画像を形成する処理を特定する。また、処理決定部５９は、位置情報に含まれる座標値が、自装置操作画面中でデータを記憶する処理が割り当てられたボタン内の位置を特定する場合はデータを記憶する処理を特定する。さらに、処理決定部５９は、位置情報に含まれる座標値が、自装置操作画面中でデータを外部に送信する処理が割り当てられたボタン内の位置を特定する場合はデータを外部に送信する処理を特定する。
【００６８】
データ決定部６７は、画面情報受信部６５から画面情報が入力される。データ決定部６７は、自装置操作検出部７９から位置情報が入力されることに応じて、画面情報に基づいて位置情報で特定されるデータ識別情報を決定する。画面情報に含まれる１以上のデータ識別情報のうち、自装置操作検出部７９から入力される位置情報に含まれる座標値によって特定される遠隔操作画面中の位置と関連付けられたデータ識別情報を決定する。データ決定部６７は、決定されたデータ識別情報を個別取得部６９に出力する。
【００６９】
個別取得部６９は、データ決定部６７から入力されるデータ識別情報で特定されるデータを取得する。具体的には、個別取得部６９は、通信Ｉ／Ｆ部１１２を制御して、携帯情報装置２００にデータの送信を要求し、携帯情報装置２００が返信するデータを受信する。個別取得部６９が、データを取得するタイミングは、限定するものではないが、自装置操作検出部７９により自装置操作が検出された時点、換言すれば、ユーザーが遠隔操作画面中の指示画像をドラッグした時点が好ましい。また、操作位置検出部８３により操作位置が検出された時点、換言すれば、ユーザーが指示画像を自装置操作画面にドロップした時点としてもよい。個別取得部６９は、携帯情報装置２００から取得されたデータを、処理実行部６３に出力する。
【００７０】
処理実行部６３は、処理決定部５９から入力されるコマンドで特定される処理を、個別取得部６９から入力されるデータを処理対象として、実行する。なお、処理実行部６３は、処理決定部５９からコマンドが入力された後に、自装置操作受付部８５から、コマンドに対応する処理を実行するためのパラメータが入力される場合には、そのパラメータの入力を待って、コマンドに対応する処理をパラメータに従って実行する。パラメータは、例えば、画像を形成する処理に対する印刷枚数、用紙サイズ、拡大率または縮小率であり、データを送信する処理であれば送信方法、送信先を特定する電話番号、電子メールアドレスであり、データを記憶する処理であればデータを記憶する位置である。
【００７１】
図６は、連携操作の一例を示す図である。図６を参照して、表示部１６１の表示面３０１に、自装置操作画面３１１と、携帯情報装置２００の外観を示す画像３２１とを含む。画像３２１は、携帯情報装置２００を操作するための遠隔操作画面３２３を含む。自装置操作画面３１１は、保存の文字が表されたボタン３１３と、送信の文字が表されたボタン３１５と、印刷の文字が表されたボタン３１７と、を含む。ボタン３１３にはデータを記憶する処理が割り当てられ、ボタン３１５にはデータを送信する処理が割り当てられ、ボタン３１７にはデータの画像を形成する処理が割り当てられている。
【００７２】
遠隔操作画面３２３は、指示画像３２５を含む。指示画像３２５は、携帯情報装置２００に記憶されたデータと関連付けられたアイコンである。ユーザーが指３３１で、指示画像３２５をドラッグして、矢印３３３で示す軌道で指示画像３２５を移動させる様子を示している。この場合、指示画像３２５がボタン３１３でドロップされるので、指示画像３２５に関連付けられたデータを記憶する処理が実行される。
【００７３】
図７は、連携処理の流れの一例を示すフローチャートである。連携処理は、ＭＦＰ１００が備えるＣＰＵ１１１が、ＲＯＭ１１３、ＥＥＰＲＯＭ１１５、ＨＤＤ１６６またはＣＤ−ＲＯＭ１１９Ａに記憶された連携プログラムを実行することにより、ＣＰＵ１１１により実行される処理である。図７を参照して、ＣＰＵ１１１は、連携指示を受け付けたか否かを判断する（ステップＳ０１）。操作部１６３が備えるキーであって、連携指示が予め割り当てられたキーがユーザーにより指示されると連携指示を受け付ける。連携指示を受け付けるまで待機状態となり、連携指示を受け付けたならば処理をステップＳ０２に進める。
【００７４】
ステップＳ０２においては、携帯情報装置２００と連携可能か否かを判断する。連携する相手の装置として携帯情報装置２００のネットワークアドレスを予め記憶しており、そのネットワークアドレスを用いて、携帯情報装置２００に連携可能か否かを問い合わせるための連携依頼を送信し、許可信号の返信があれば連携可能と判断する。連携可能ならば処理をステップＳ０３に進めるが、そうでなければ処理を終了する。
【００７５】
なお、連携可能な複数の携帯情報装置のネットワークアドレスを予め記憶しておき、複数の携帯情報装置ぞれぞれの装置識別情報をリスト表示し、ユーザーにより選択された装置識別情報の携帯情報装置と通信可能か否かを判断するようにしてもよい。また、ブロードキャストで問い合わせ信号を送信する等して通信可能な携帯情報装置を検索し、検索により検出された通信可能な１以上の携帯情報装置の装置識別情報をリスト表示し、ユーザーにより選択された装置識別情報の携帯情報装置を連携可能な装置として特定するようにしてもよい。
【００７６】
ステップＳ０３においては、クライアントタスクを起動する。具体的には、ＲＯＭ１１３、ＥＥＰＲＯＭ１１５、ＨＤＤ１６６またはＣＤ−ＲＯＭ１１９Ａに記憶されたクライアントプログラムを実行する。この際、サーバーとなる携帯情報装置２００のネットワークアドレス、例えばＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）アドレスとを、クライアントタスクに引数として渡す。この段階で、クライアントタスクが、携帯情報装置２００から遠隔操作画面を受信する。
【００７７】
次のステップＳ０４においては、自装置操作画面と遠隔操作画面それぞれの表示領域を決定する。表示部１６１の表示面における表示領域を決定する。自装置操作画面は、ＭＦＰ１００を操作するための操作画面である。遠隔操作画面は、クライアントタスクが携帯情報装置２００から受信する操作画面であって、携帯情報装置２００を遠隔操作するための操作画面である。ステップＳ０５においては、ステップＳ０４において自装置操作画面のために決定された表示領域を、自装置操作画面を表示するための領域として設定する。ステップＳ０６においては、ステップＳ０４において遠隔操作画面のために決定された表示領域を、ステップＳ０３において起動されたクライアントタスクが出力する遠隔操作画面を表示するための領域として設定する。
【００７８】
ステップＳ０７においては、携帯情報装置２００から画面情報を受信したか否かを判断する。画面情報を受信したならば処理をステップＳ０８に進めるが、そうでなければステップＳ０８をスキップして処理をステップＳ０９に進める。ステップＳ０８においては、受信された画面情報をＲＡＭ１１４に記憶し、処理をステップＳ０９に進める。
【００７９】
ステップＳ０９においては、指示位置を検出したか否かを判断する。タッチパネル１６５から表示部１６１の表示面中でユーザーにより指示された位置の座標値が入力されると、座標値で特定される位置を指示位置として検出する。指示位置を検出したならば処理をステップＳ１０に進めるが、そうでなければ処理をステップＳ０７に戻す。
【００８０】
ステップＳ１０においては、連携終了指示を受け付けたか否かを判断する。指示位置が、連携処理の終了する指示が割り当てられたキーの領域の場合、連携終了指示を受け付ける。連携終了指示を受け付けたならば処理をステップＳ１１に進めるが、そうでなければ処理をステップＳ１３に進める。ステップＳ１１においては、クライアントである携帯情報装置２００に連携終了を通知し、処理をステップＳ１２に進める。具体的には、通信Ｉ／Ｆ部１１２を介して、携帯情報装置２００に連携終了信号を送信する。携帯情報装置は、クライアントであるＭＦＰ１００から連携終了信号を受信すると、サーバーとしての機能を終了し、以後、遠隔操作画面の送信を停止する。ステップＳ１２においては、自装置操作画面の表示領域を、表示部１６１の表示面の全領域に設定し、処理を終了する。
【００８１】
一方、ステップＳ１３においては、指示位置が自装置操作画面の表示領域か否かを判断する。自装置操作画面の表示領域は、ステップＳ０５において設定され、表示部１６１の表示面中の領域である。指示位置が自装置操作画面の表示領域内ならば処理をステップＳ１４に進めるが、そうでなければ処理をステップＳ１５に進める。ステップＳ１４においては、指示位置に対応する操作を受け付け、処理をステップＳ０７に戻す。
【００８２】
ステップＳ１５においては、指示位置が遠隔操作画面の表示領域か否かを判断する。遠隔操作画面の表示領域は、ステップＳ０６において設定され、表示部１６１の表示面中の領域である。指示位置が遠隔操作画面の表示領域内ならば処理をステップＳ１６に進めるが、そうでなければ処理をステップＳ０７に戻す。ステップＳ１６においては、遠隔操作受付処理を実行し、処理をステップＳ０７に戻す。
【００８３】
図８は、遠隔操作受付処理の流れの一例を示すフローチャートである。図８を参照して、ＣＰＵは、ドラッグ操作を受け付けたか否かを判断する（ステップＳ０１）。指示位置を検出する指示時間がしきい値Ｔ１以上ならばドラッグ操作と判断し、処理をステップＳ２２に進めるが、そうでなければ処理をステップＳ３３に進める。ステップＳ３３においては、指示位置をクライアントタスクに出力し、処理を連携処理に戻す。クライアントタスクにおいては、指示位置を指示する操作を、サーバーである携帯情報装置２００に送信する。このため、携帯情報装置２００においては、遠隔操作画面の指示位置が指示されたことを検出し、遠隔操作を受け付け、対応する処理を実行する。
【００８４】
ステップＳ２２においては、図７のステップＳ０９において検出された指示位置と、ステップＳ０７において受信された画面情報とに基づいて、データを決定する。具体的には、画面情報に含まれる１以上のデータ識別情報のうち、指示位置によって特定される遠隔操作画面中の位置と関連付けられたデータ識別情報を決定する。
【００８５】
次のステップＳ２３においては、決定されたデータを取得する。具体的には、通信Ｉ／Ｆ部１１２を制御して、携帯情報装置２００に、ステップＳ２２において決定されたデータ識別情報のデータの送信を要求し、携帯情報装置２００が返信するデータを受信する。
【００８６】
次に、指示画像を特定する（ステップＳ２４）。具体的には、画面情報に含まれる１以上の指示画像のうち、指示位置によって特定される遠隔操作画面中の位置と関連付けられた指示画像を決定する。そして、決定された指示画像を、表示部１６１の表示面において指示位置に表示する（ステップＳ２５）。
【００８７】
次のステップＳ２６においては、指示位置の移動を検出したか否かを判断する。タッチパネル１６５から入力される座標値が変化したならば指示位置の移動を検出する。指示位置の移動を検出したならば処理をステップＳ２７に進めるが、そうでなければステップＳ２７をスキップして処理をステップＳ２８に進める。ステップＳ２７においては、指示画像を移動させ、処理をステップＳ２８に進める。表示部１６１の表示面において移動後の指示位置に指示画像を表示する。
【００８８】
ステップＳ２８においては、ドロップ操作を検出したか否かを判断する。タッチパネル１６５から入力されていた座標値が、入力されなくなると、ドロップ操作を検出する。ドロップ操作を検出したならば、最後に入力された座標値を操作位置としてＲＡＭに記憶し、処理をステップＳ２９に進めるが、そうでなければ処理をステップＳ２６に戻す。
【００８９】
ステップＳ２９においては、操作位置が自装置操作画面の表示領域か否かを判断する。自装置操作画面の表示領域は、図７のステップＳ０５において設定され、表示部１６１の表示面中の領域である。指示位置が自装置操作画面の表示領域内ならば処理をステップＳ３０に進めるが、そうでなければ処理をステップＳ３２に進める。
【００９０】
ステップＳ３０においては、処理を決定する。自装置操作画面において、操作位置に対応付けられた処理を決定する。そして、決定された処理をステップＳ２３において取得されたデータを処理対象として実行し、処理をステップＳ３２に進める。ステップＳ３２においては、指示画像の表示を終了し、処理を連携処理に戻す。
【００９１】
例えば、自装置操作画面が、画像を形成する処理、データを記憶する処理、データを外部に送信する処理それぞれが割り当てられたボタンを含む場合、操作位置が自装置操作画面中で画像を形成する処理が割り当てられたボタン内ならば画像を形成する処理を実行し、操作位置が自装置操作画面中でデータを記憶する処理が割り当てられたボタン内ならばデータを記憶する処理を実行し、操作位置が自装置操作画面中でデータを外部に送信する処理が割り当てられたボタン内ならばデータを外部に送信する処理を実行する。
【００９２】
以上説明したように本実施の形態におけるＭＦＰ１００は、自装置を操作するための自装置操作画面と、携帯情報装置２００を遠隔操作するための遠隔操作画面とを表示部１６１に同時に表示するので、自装置と携帯情報装置２００に対する操作を１つの表示面を見ながらすることができ、操作が容易となる。また、画面情報を携帯情報装置２００から受信しておき、画面情報に基づいて、遠隔操作画面が表示される領域内でユーザーにより指示された指示位置に対応するデータ識別情報を決定し、決定されたデータ識別情報で識別されるデータに対して自装置操作画面においてユーザーにより指示された操作位置に対応して予め定められた処理を実行する。このため、携帯情報装置に記憶されているデータに対して自装置で処理を実行させる操作を、容易にすることができる。その結果、携帯情報装置と自装置とで連携した処理を実行させる操作を容易にすることができる。
【００９３】
また、遠隔操作画面が表示される領域内がユーザーにより指示され、自装置操作を検出する場合、画面情報に基づいて、自装置操作によって特定される位置に対応する指示画像を決定し、指示画像を移動可能に表示するので、データを処理対象に指定するドラッグ操作を、ユーザーは視覚で認識することができる。また、指示画像が移動した後の位置が操作位置として検出するので、ユーザーは、移動可能に表示される指示画像を見ながら操作位置を決めることができる。さらに、処理対象に指定されたデータに対する処理を決定するドラッグ操作を、ユーザーは視覚で認識することができる。
【００９４】
また、自装置操作によって特定される位置に対応する指示画像を決定し、指示画像に対応するデータ識別情報が決定されることに応じて、決定されたデータ識別情報で識別されるデータを携帯情報装置２００から取得する。このため、携帯情報装置２００から処理対象となるデータを、処理が実行される前に取得することができる。処理対象となるデータのみを携帯情報装置から受信するので、携帯情報装置２００との間の通信量を少なくすることができる。
【００９５】
＜変形例＞
上述した実施の形態においては、クライアントとして機能するＭＦＰ１００は、サーバーとして機能する携帯情報装置２００から受信される遠隔操作画面中の指示画像がドラッグされた時点、または、ドロップされた時点で、データを取得するようにした。変形例におけるＭＦＰ１００は、サーバーとして機能する携帯情報装置２００から遠隔操作画面を受信するごとに、その遠隔操作画面に関連付けられた１以上のデータすべてを、遠隔操作画面を受信する前に受信するようにしたものである。以下、上述したＭＦＰ１００と異なる点を主に説明する。
【００９６】
図９は、変形例におけるＭＦＰが備えるＣＰＵが有する機能の一例を示す図である。図９を参照して、図５に示した機能と異なる点は、個別取得部６９が削除された点、事前取得部９７、消去部９８およびデータ読出部９９が追加された点である。その他の機能は、図５に示した機能と同じなので、ここでは、説明を繰り返さない。
【００９７】
事前取得部９７は、画面情報受信部６５から画面情報が入力される。変形例における携帯情報装置２００は、サーバーとして機能する場合、遠隔操作画面を送信する前に、その遠隔操作画面に対応する画面情報を送信する。事前取得部９７は、画面情報受信部６５から画面情報が入力されることに応じて、画面情報に含まれる１以上のデータ識別情報でそれぞれ特定されるデータのすべてを、携帯情報装置２００から取得し、取得された１以上のデータを、対応するデータ識別情報と関連付けた関連データ１１５Ａとして、ＥＥＰＲＯＭ１１５に記憶する。
【００９８】
データ読出部９９は、データ決定部６７からデータ識別情報が入力される。データ読出部９９は、ＥＥＰＲＯＭ１１５に記憶されている関連データ１１５Ａのうちからデータ決定部６７から入力されるデータ識別情報で特定される関連データ１１５Ａを読み出し、読み出された関連データを処理実行部６３に出力する。
【００９９】
処理実行部６３は、処理決定部５９から入力されるコマンドで特定される処理を、データ読出部９９から入力される関連データ１１５Ａを処理対象として実行する。
【０１００】
消去部９８は、クライアント部５３が起動を停止する場合、換言すれば、サーバーとして機能する携帯情報装置２００との通信を終了した場合に、ＥＥＰＲＯＭ１１５に記憶されている関連データ１１５Ａを消去する。このため、ＥＥＰＲＯＭ１１５に関連データ１１５Ａが記憶された状態が維持されるのを防止して、関連データ１１５Ａに対するセキュリティを向上させることができる。また、記憶資源を有効に利用することができる。
【０１０１】
図１０は、変形例における連携処理の流れの一例を示すフローチャートである。図１０を参照して、図７に示した連携処理と異なる点は、ステップＳ０８とステップＳ０９との間にステップＳ４１およびステップＳ４２が追加された点、ステップＳ１２の後にステップＳ４３が追加された点、ステップＳ１６における遠隔操作受付処理が変更された点である。その他の処理は図７に示した連携処理と同じなので、ここでは異なる点を主に説明する。
【０１０２】
ステップＳ０７においては、画面情報を受信した場合に処理をステップＳ０８に進め、画面情報を受信しない場合は処理をステップＳ０９に進める。ステップＳ０８においては、受信された画面情報をＲＡＭ１１４に記憶し、処理をステップＳ４１に進める。
【０１０３】
ステップＳ４１においては、関連データを取得する。具体的には、通信Ｉ／Ｆ部１１２を制御して、携帯情報装置２００に、ステップＳ０７において受信された画面情報に含まれる１以上のデータ識別情報それぞれで特定される関連データのすべての送信を要求し、携帯情報装置２００が返信する関連データを受信する。次のステップＳ４２においては、受信された関連データをＥＥＰＲＯＭ１１５に記憶し、処理をステップＳ０９に進める。
【０１０４】
ステップＳ４３においては、ステップＳ４２においてＥＥＰＲＯＭ１１５に記憶された関連データ１１５Ａを消去し、処理を終了する。
【０１０５】
図１１は、変形例における遠隔操作受付処理の流れの一例を示すフローチャートである。図１１を参照して、図８に示した遠隔操作受付処理と異なる点は、ステップＳ２３に代えてステップＳ２３Ａが実行される点である。その他の処理は図８に示した遠隔操作受付処理と同じなので、ここでは説明を繰り返さない。
【０１０６】
ステップＳ２３Ａにおいては、ステップＳ２２において決定されたデータ識別情報で識別される関連データを、ＥＥＰＲＯＭ１１５から読み出し、処理をステップＳ２４に進める。関連データは、ステップＳ３１において処理を実行する際の、処理対象となる。
【０１０７】
変形例におけるＭＦＰ１００は、サーバーとして機能する携帯情報装置２００から遠隔操作画面を受信するごとに、その遠隔操作画面に関連付けられた１以上のデータすべてを、遠隔操作画面を受信する前に受信する。このため、ユーザーによりドロップ操作が検出されてから処理対象となる関連データ１１５ＡをＥＥＰＲＯＭ１１５から読み出せばよいので、処理を実行するまでの時間を短くすることができる。
【０１０８】
また、携帯情報装置２００と通信が終了し、クライアントとして機能しなくなると、携帯情報装置２００から取得され、ＥＥＰＲＯＭ１１５に記憶された関連データ１１５Ａを消去するので、携帯情報装置２００から取得された関連データのセキュリティを向上させることができる。
【０１０９】
なお、上述した実施の形態においては、画像処理システム１について説明したが、図７および図８に示した連携処理、または図１０および図１１に示した連携処理をＭＦＰ１００，１００Ａ、１００Ｂそれぞれに実行させる画像形成方法、または、その連携処理をＭＦＰ１００，１００Ａ、１００Ｂそれぞれが備えるＣＰＵ１１１に実行させる連携プログラムとして発明を捉えることができるのは言うまでもない。
【０１１０】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
＜付記＞
（１） 前記画面情報は、前記遠隔操作画面の１部の領域に対応する指示画像をさらに含み、
前記自装置操作検出ステップにおいて前記自装置操作が検出される場合、前記受信された画面情報に基づいて、前記検出された位置に対応する指示画像を決定する指示画像決定ステップと、
前記指示画像が決定される場合、前記決定された指示画像を移動可能に前記表示手段に表示する指示画像表示手段ステップと、をさらに含む、
前記操作位置検出ステップは、前記位置検出ステップにおいて検出される位置に基づいて、前記指示画像が移動した後の位置を操作位置として検出するステップを含む、請求項６に記載の連携方法。
（２） 前記画面情報受信ステップにおいて前記画面情報が受信されることに応じて、前記画面情報に含まれるデータ識別情報で識別されるデータを、前記表示制御ステップにおいて前記遠隔操作画面が表示される前に、前記携帯情報装置から取得する事前取得ステップを、さらに含む請求項６または（１）に記載の連携方法。
（３） 前記クライアント手段が前記携帯情報装置と通信しなくなることに応じて、前記事前取得ステップにおいて取得されたデータを消去する消去ステップを、さらに含む（２）に記載の連携方法。
（４） 前記データ決定ステップにおいて前記データ識別情報が決定されることに応じて、前記決定されたデータ識別情報で識別されるデータを前記携帯情報装置から取得する個別取得ステップをさらに含む、請求項６または（２）に記載の連携方法。
【符号の説明】
【０１１１】
１ 画像処理システム、１００，１００Ａ，１００Ｂ ＭＦＰ、２００ 携帯情報装置、３ ネットワーク、５ 無線局、５１ 操作受付部、５３ クライアント部、５５ 表示制御部、５７ 指示画像決定部、５９ 処理決定部、６１ 操作画面決定部、６３ 処理実行部、６５ 画面情報受信部、６７ データ決定部、６９ 個別取得部、７１ 連携指示受付部、７３ 位置検出部、７５ 判定部、７７ 遠隔操作受付部、７９ 自装置操作検出部、８１ 移動操作検出部、８３ 操作位置検出部、８５ 自装置操作受付部、９１ 遠隔操作画面表示部、９３ 指示画像表示部、９５ 自装置操作画面表示部、９７ 事前取得部、９８ 消去部、９９ データ読出部、１１０ メイン回路、１１１ ＣＰＵ、１１２ 通信Ｉ／Ｆ部、１１３ ＲＯＭ、１１４ ＲＡＭ、１１５ ＥＥＰＲＯＭ、１１５Ａ 関連データ、１１６ ＨＤＤ、１１７ ファクシミリ部、１１９ 外部記憶装置、１２０ 自動原稿搬送装置、１３０ 原稿読取部、１４０ 画像形成部、１５０ 給紙部、１６０ 操作パネル、１６１ 表示部、１６３ 操作部、１６５ タッチパネル、２００ 携帯情報装置、２１１ ＣＰＵ、２１２ カメラ、２１３ フラッシュメモリ、２１４ 無線通信部、２１５ 通話部、２１６ 表示部、２１７ 操作部、２１７Ａ タッチパネル、２１８ 無線ＬＡＮＩ／Ｆ。
【特許請求の範囲】
【請求項１】
携帯情報装置と通信する通信手段と、
画像を表示する表示手段と、
遠隔操作されるサーバーとして機能する携帯情報装置と前記通信手段を介して通信し、前記携帯情報装置を遠隔操作するクライアントとして機能するクライアント手段と、
前記携帯情報装置を遠隔操作する場合、自装置を操作するための自装置操作画面と、前記クライアント手段により前記携帯情報装置から受信され、前記携帯情報装置を遠隔操作するための遠隔操作画面とを、前記表示手段に同時に表示する表示制御手段と、
前記遠隔操作画面の１部の領域の位置を示す位置情報と、該位置情報に関連付けられたデータを識別するためのデータ識別情報とを含む画面情報を、前記携帯情報装置から前記通信手段を介して受信する画面情報受信手段と、
前記表示手段の表示面中でユーザーにより指示された位置を検出する位置検出手段と、
前記位置検出手段により前記遠隔操作画面が表示される領域内の位置が検出される場合、自装置に対する自装置操作を検出する自装置操作検出手段と、
前記位置検出手段により前記遠隔操作画面が表示される領域内の位置が検出され、かつ、前記自装置操作検出手段によって前記自装置操作が検出されない場合に、前記検出された位置を前記クライアント手段に出力する遠隔操作受付手段と、
前記自装置操作検出手段により前記自装置操作が検出される場合、前記受信された画面情報に基づいて、前記検出された位置に対応するデータ識別情報を決定するデータ決定手段と、
前記位置検出手段により前記自装置操作画面が表示される領域内で検出された位置を操作位置として検出する操作位置検出手段と、
前記決定されたデータ識別情報で識別されるデータに対して、前記自装置操作画面において前記操作位置に対応して予め定められた処理を実行する処理実行手段と、を備えた画像処理装置。
【請求項２】
前記画面情報は、前記遠隔操作画面の１部の領域に対応する指示画像をさらに含み、
前記自装置操作検出手段により前記自装置操作が検出される場合、前記受信された画面情報に基づいて、前記検出された位置に対応する指示画像を決定する指示画像決定手段と、
前記指示画像が決定される場合、前記決定された指示画像を移動可能に前記表示手段に表示する指示画像表示手段と、をさらに備え、
前記操作位置検出手段は、前記位置検出手段により検出される位置に基づいて、前記指示画像が移動した後の位置を操作位置として検出する、請求項１に記載の画像処理装置。
【請求項３】
前記データ決定手段により前記データ識別情報が決定されることに応じて、前記決定されたデータ識別情報で識別されるデータを前記携帯情報装置から取得する個別取得手段を、さらに備えた請求項１または２に記載の画像処理装置。
【請求項４】
前記画面情報受信手段により前記画面情報が受信されることに応じて、前記画面情報に含まれるデータ識別情報で識別されるデータを、前記表示制御手段により前記遠隔操作画面が表示される前に、前記携帯情報装置から取得する事前取得手段を、さらに備えた請求項１または２に記載の画像処理装置。
【請求項５】
前記クライアント手段が前記携帯情報装置と通信しなくなることに応じて、前記事前取得手段により取得されたデータを消去する消去手段を、さらに備えた請求項４に記載の画像処理装置。
【請求項６】
画像処理装置で実行される連携方法であって、
前記画像処理装置は、
携帯情報装置と通信する通信手段と、
画像を表示する表示手段と、
遠隔操作されるサーバーとして機能する携帯情報装置と前記通信手段を介して通信し、前記携帯情報装置を遠隔操作するクライアントとして機能するクライアント手段と、を備えており、
前記携帯情報装置を遠隔操作する場合、自装置を操作するための自装置操作画面と、前記クライアント手段により前記携帯情報装置から受信され、前記携帯情報装置を遠隔操作するための遠隔操作画面とを、前記表示手段に同時に表示するステップと、
前記遠隔操作画面の１部の領域の位置を示す位置情報と、該位置情報に関連付けられたデータを識別するためのデータ識別情報とを含む画面情報を、前記携帯情報装置から前記通信手段を介して受信するステップと、
前記表示手段の表示面中でユーザーにより指示された位置を検出する位置検出ステップと、
前記位置検出手段により前記遠隔操作画面が表示される領域内の位置が検出される場合、自装置に対する自装置操作を検出する自装置操作検出ステップと、
前記位置検出ステップにおいて前記遠隔操作画面が表示される領域内の位置が検出され、前記自装置操作検出ステップにおいて前記自装置操作が検出されない場合に、前記検出された位置を前記クライアント手段に出力するステップと、
前記自装置操作検出ステップにおいて前記自装置操作が検出される場合、前記受信された画面情報に基づいて、前記検出された位置に対応するデータ識別情報を決定するデータ決定ステップと、
前記位置検出ステップにおいて前記自装置操作画面が表示される領域内で検出された位置を操作位置として検出する操作位置検出ステップと、
前記決定されたデータ識別情報で識別されるデータに対して、前記自装置操作画面において前記操作位置に対応して予め定められた処理を実行するステップと、を含む連携方法。
【請求項７】
画像処理装置を制御するコンピューターで実行される連携プログラムであって、
前記画像処理装置は、
携帯情報装置と通信する通信手段と、
画像を表示する表示手段と、
遠隔操作されるサーバーとして機能する携帯情報装置と前記通信手段を介して通信し、前記携帯情報装置を遠隔操作するクライアントとして機能するクライアント手段と、を備えており、
前記携帯情報装置を遠隔操作する場合、自装置を操作するための自装置操作画面と、前記クライアント手段により前記携帯情報装置から受信され、前記携帯情報装置を遠隔操作するための遠隔操作画面とを、前記表示手段に同時に表示するステップと、
前記遠隔操作画面の１部の領域の位置を示す位置情報と、該位置情報に関連付けられたデータを識別するためのデータ識別情報とを含む画面情報を、前記携帯情報装置から前記通信手段を介して受信するステップと、
前記表示手段の表示面中でユーザーにより指示された位置を検出する位置検出ステップと、
前記位置検出手段により前記遠隔操作画面が表示される領域内の位置が検出される場合、自装置に対する自装置操作を検出する自装置操作検出ステップと、
前記位置検出ステップにおいて前記遠隔操作画面が表示される領域内の位置が検出され、前記自装置操作検出ステップにおいて前記自装置操作が検出されない場合に、前記検出された位置を前記クライアント手段に出力するステップと、
前記自装置操作検出ステップにおいて前記自装置操作が検出される場合、前記受信された画面情報に基づいて、前記検出された位置に対応するデータ識別情報を決定するデータ決定ステップと、
前記位置検出ステップにおいて前記自装置操作画面が表示される領域内で検出された位置を操作位置として検出する操作位置検出ステップと、
前記決定されたデータ識別情報で識別されるデータに対して、前記自装置操作画面において前記操作位置に対応して予め定められた処理を実行するステップと、を前記コンピューターに実行させる連携プログラム。
【請求項１】
携帯情報装置と通信する通信手段と、
画像を表示する表示手段と、
遠隔操作されるサーバーとして機能する携帯情報装置と前記通信手段を介して通信し、前記携帯情報装置を遠隔操作するクライアントとして機能するクライアント手段と、
前記携帯情報装置を遠隔操作する場合、自装置を操作するための自装置操作画面と、前記クライアント手段により前記携帯情報装置から受信され、前記携帯情報装置を遠隔操作するための遠隔操作画面とを、前記表示手段に同時に表示する表示制御手段と、
前記遠隔操作画面の１部の領域の位置を示す位置情報と、該位置情報に関連付けられたデータを識別するためのデータ識別情報とを含む画面情報を、前記携帯情報装置から前記通信手段を介して受信する画面情報受信手段と、
前記表示手段の表示面中でユーザーにより指示された位置を検出する位置検出手段と、
前記位置検出手段により前記遠隔操作画面が表示される領域内の位置が検出される場合、自装置に対する自装置操作を検出する自装置操作検出手段と、
前記位置検出手段により前記遠隔操作画面が表示される領域内の位置が検出され、かつ、前記自装置操作検出手段によって前記自装置操作が検出されない場合に、前記検出された位置を前記クライアント手段に出力する遠隔操作受付手段と、
前記自装置操作検出手段により前記自装置操作が検出される場合、前記受信された画面情報に基づいて、前記検出された位置に対応するデータ識別情報を決定するデータ決定手段と、
前記位置検出手段により前記自装置操作画面が表示される領域内で検出された位置を操作位置として検出する操作位置検出手段と、
前記決定されたデータ識別情報で識別されるデータに対して、前記自装置操作画面において前記操作位置に対応して予め定められた処理を実行する処理実行手段と、を備えた画像処理装置。
【請求項２】
前記画面情報は、前記遠隔操作画面の１部の領域に対応する指示画像をさらに含み、
前記自装置操作検出手段により前記自装置操作が検出される場合、前記受信された画面情報に基づいて、前記検出された位置に対応する指示画像を決定する指示画像決定手段と、
前記指示画像が決定される場合、前記決定された指示画像を移動可能に前記表示手段に表示する指示画像表示手段と、をさらに備え、
前記操作位置検出手段は、前記位置検出手段により検出される位置に基づいて、前記指示画像が移動した後の位置を操作位置として検出する、請求項１に記載の画像処理装置。
【請求項３】
前記データ決定手段により前記データ識別情報が決定されることに応じて、前記決定されたデータ識別情報で識別されるデータを前記携帯情報装置から取得する個別取得手段を、さらに備えた請求項１または２に記載の画像処理装置。
【請求項４】
前記画面情報受信手段により前記画面情報が受信されることに応じて、前記画面情報に含まれるデータ識別情報で識別されるデータを、前記表示制御手段により前記遠隔操作画面が表示される前に、前記携帯情報装置から取得する事前取得手段を、さらに備えた請求項１または２に記載の画像処理装置。
【請求項５】
前記クライアント手段が前記携帯情報装置と通信しなくなることに応じて、前記事前取得手段により取得されたデータを消去する消去手段を、さらに備えた請求項４に記載の画像処理装置。
【請求項６】
画像処理装置で実行される連携方法であって、
前記画像処理装置は、
携帯情報装置と通信する通信手段と、
画像を表示する表示手段と、
遠隔操作されるサーバーとして機能する携帯情報装置と前記通信手段を介して通信し、前記携帯情報装置を遠隔操作するクライアントとして機能するクライアント手段と、を備えており、
前記携帯情報装置を遠隔操作する場合、自装置を操作するための自装置操作画面と、前記クライアント手段により前記携帯情報装置から受信され、前記携帯情報装置を遠隔操作するための遠隔操作画面とを、前記表示手段に同時に表示するステップと、
前記遠隔操作画面の１部の領域の位置を示す位置情報と、該位置情報に関連付けられたデータを識別するためのデータ識別情報とを含む画面情報を、前記携帯情報装置から前記通信手段を介して受信するステップと、
前記表示手段の表示面中でユーザーにより指示された位置を検出する位置検出ステップと、
前記位置検出手段により前記遠隔操作画面が表示される領域内の位置が検出される場合、自装置に対する自装置操作を検出する自装置操作検出ステップと、
前記位置検出ステップにおいて前記遠隔操作画面が表示される領域内の位置が検出され、前記自装置操作検出ステップにおいて前記自装置操作が検出されない場合に、前記検出された位置を前記クライアント手段に出力するステップと、
前記自装置操作検出ステップにおいて前記自装置操作が検出される場合、前記受信された画面情報に基づいて、前記検出された位置に対応するデータ識別情報を決定するデータ決定ステップと、
前記位置検出ステップにおいて前記自装置操作画面が表示される領域内で検出された位置を操作位置として検出する操作位置検出ステップと、
前記決定されたデータ識別情報で識別されるデータに対して、前記自装置操作画面において前記操作位置に対応して予め定められた処理を実行するステップと、を含む連携方法。
【請求項７】
画像処理装置を制御するコンピューターで実行される連携プログラムであって、
前記画像処理装置は、
携帯情報装置と通信する通信手段と、
画像を表示する表示手段と、
遠隔操作されるサーバーとして機能する携帯情報装置と前記通信手段を介して通信し、前記携帯情報装置を遠隔操作するクライアントとして機能するクライアント手段と、を備えており、
前記携帯情報装置を遠隔操作する場合、自装置を操作するための自装置操作画面と、前記クライアント手段により前記携帯情報装置から受信され、前記携帯情報装置を遠隔操作するための遠隔操作画面とを、前記表示手段に同時に表示するステップと、
前記遠隔操作画面の１部の領域の位置を示す位置情報と、該位置情報に関連付けられたデータを識別するためのデータ識別情報とを含む画面情報を、前記携帯情報装置から前記通信手段を介して受信するステップと、
前記表示手段の表示面中でユーザーにより指示された位置を検出する位置検出ステップと、
前記位置検出手段により前記遠隔操作画面が表示される領域内の位置が検出される場合、自装置に対する自装置操作を検出する自装置操作検出ステップと、
前記位置検出ステップにおいて前記遠隔操作画面が表示される領域内の位置が検出され、前記自装置操作検出ステップにおいて前記自装置操作が検出されない場合に、前記検出された位置を前記クライアント手段に出力するステップと、
前記自装置操作検出ステップにおいて前記自装置操作が検出される場合、前記受信された画面情報に基づいて、前記検出された位置に対応するデータ識別情報を決定するデータ決定ステップと、
前記位置検出ステップにおいて前記自装置操作画面が表示される領域内で検出された位置を操作位置として検出する操作位置検出ステップと、
前記決定されたデータ識別情報で識別されるデータに対して、前記自装置操作画面において前記操作位置に対応して予め定められた処理を実行するステップと、を前記コンピューターに実行させる連携プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−８０３７７（Ｐ２０１３−８０３７７Ａ）
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願番号】特願２０１１−２２００１０（Ｐ２０１１−２２００１０）
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２５年５月２日（２０１３．５．２）
【国際特許分類】
【出願日】平成２３年１０月４日（２０１１．１０．４）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]