携帯端末及び処理装置の操作方法
【課題】画像形成装置などの処理装置を直感的に操作することができる携帯端末及び処理装置の操作方法の提供。
【解決手段】表示部を備える携帯端末であって、自端末の位置を特定する位置特定部と、自端末の方向を特定する方向特定部と、予め記憶した１又は複数の処理装置の位置情報に基づいて、自端末から所定の距離範囲内、かつ、自端末の特定の方向に存在する所定の処理装置を特定し、当該所定の処理装置を遠隔操作するための操作画面を前記表示部に表示させる制御部と、を備えるものであり、更に、自端末の前記特定の方向を撮像する撮像部を備え、前記制御部は、前記撮像部が撮像した映像に、前記操作画面を合成する。
【解決手段】表示部を備える携帯端末であって、自端末の位置を特定する位置特定部と、自端末の方向を特定する方向特定部と、予め記憶した１又は複数の処理装置の位置情報に基づいて、自端末から所定の距離範囲内、かつ、自端末の特定の方向に存在する所定の処理装置を特定し、当該所定の処理装置を遠隔操作するための操作画面を前記表示部に表示させる制御部と、を備えるものであり、更に、自端末の前記特定の方向を撮像する撮像部を備え、前記制御部は、前記撮像部が撮像した映像に、前記操作画面を合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末及び処理装置の操作方法に関し、特に、位置及び方向を特定する機能を備えた携帯端末及び当該携帯端末を用いた処理装置の操作方法に関する。
【背景技術】
【０００２】
コピー機能やプリント機能、スキャン機能などを備えた画像形成装置（ＭＦＰ：Multi Function Peripheral）が普及しており、会社等では、複数の画像形成装置をネットワークに接続して、ユーザが選択した画像形成装置から印刷物を出力している。
【０００３】
このようなシステムにおいて、ユーザが処理を行う画像形成装置が他のユーザに使用されている場合には、他のユーザのジョブが終了するまで処理が待たされることになる。そのため、どの画像形成装置がジョブの処理中であるかを確認する必要があるが、従来は、ユーザが画像形成装置のパネルが見える場所まで移動してパネルの表示を確認しなければならず、また、画像形成装置の機能を選択したり、処理を行うファイルを選択したり、処理の条件を設定したりするためには、ユーザが画像形成装置に赴いてパネルを操作しなければならなかった。
【０００４】
このような煩雑さを解消する方法として、PageScope WebConnectionのようにＷＥＢブラウザを使用してリモートで画像形成装置の状態確認や操作を行う方法もあるが、この方法では、接続ＵＲＬ（Uniform Resource Locator）として画像形成装置のＩＰ（Internet Protocol）アドレスが必要であり、複数の画像形成装置の状態を一度に知りたい場合などは、一つ一つの画像形成装置にアクセスして見て回る必要があり、簡便に画像形成装置の状態確認や操作を行うことができない。
【０００５】
また、別の方法として、下記特許文献１では、サーバ装置と無線を介して通信可能な携帯端末装置から送信されたデータに基づいて画像形成装置により画像を形成する画像形成処理システムであって、前記サーバ装置は、前記携帯端末装置からの要求に応じて、当該携帯端末装置の近辺に存在するネットワーク上の画像形成装置を検索する検索手段と、前記検索手段により見つけられた画像形成装置の所在位置を示した地図画像を表示するための前記携帯端末により閲覧可能なデータを生成する生成手段と、前記生成手段により生成されたデータを識別するための識別情報を前記携帯端末に対して通知する通知手段と、前記識別情報が示すデータへのアクセス要求に対応して、前記生成手段により生成されたデータを前記携帯端末装置に向けて送信する送信手段とを有し、前記地図画像の中で示されている画像形成装置の中から前記携帯端末装置において指定された画像形成装置により画像が形成される画像形成処理システムを開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２３４２１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１の方法は、携帯端末に画像形成装置の所在位置を示した地図画像を表示する方法であり、データを送信する携帯端末とその周囲の画像形成装置との位置関係を把握することは可能であるが、この方法では、携帯端末と画像形成装置の位置関係を２次元の地図上で把握しなければならないため、画像形成装置がどの方向にあるのかが分かりづらく、また、地図上に表示できる情報に限定されるため、画像形成装置の状態確認や操作を行いにくいという問題もあった。
【０００８】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、画像形成装置などの処理装置を直感的に操作することができる携帯端末及び処理装置の操作方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、表示部を備える携帯端末であって、自端末の位置を特定する位置特定部と、自端末の方向を特定する方向特定部と、予め記憶した１又は複数の処理装置の位置情報に基づいて、自端末から所定の距離範囲内、かつ、自端末の特定の方向に存在する所定の処理装置を特定し、当該所定の処理装置を遠隔操作するための操作画面を前記表示部に表示させる制御部と、を備えるものである。
【００１０】
また、本発明は、表示部を備える携帯端末と、１又は複数の処理装置と、サーバと、が通信ネットワークで接続されたシステムにおける前記処理装置の操作方法であって、前記サーバに、前記１又は複数の処理装置の位置情報を記述した装置管理テーブルを記憶する第１ステップと、前記携帯端末が、自端末の位置を特定し、前記サーバに自端末の位置情報を通知し、前記サーバが、前記装置管理テーブルを参照して、前記携帯端末から所定の距離範囲内に存在する処理装置を特定して前記携帯端末に通知し、前記携帯端末が、自端末の方向を特定し、前記所定の距離範囲内に存在する処理装置の中から、自端末の特定の方向に存在する所定の処理装置を特定する第２ステップと、前記携帯端末が、前記所定の処理装置を遠隔操作するための操作画面を前記表示部に表示する第３ステップと、を実行するものである。
【００１１】
また、本発明は、表示部を備える携帯端末と、１又は複数の処理装置と、サーバと、が通信ネットワークで接続されたシステムにおける前記処理装置の操作方法であって、前記サーバに、前記１又は複数の処理装置の位置情報を記述した装置管理テーブルを記憶する第１ステップと、前記携帯端末が、自端末の位置及び方向を特定し、前記サーバに自端末の位置情報及び方向情報を通知し、前記サーバが、前記装置管理テーブルを参照して、前記携帯端末から所定の距離範囲内、かつ、前記携帯端末の特定の方向に存在する所定の処理装置を特定して前記携帯端末に通知する第２ステップと、前記携帯端末が、前記所定の処理装置を遠隔操作するための操作画面を前記表示部に表示する第３ステップと、を実行するものである。
【００１２】
また、本発明は、表示部を備える携帯端末と、１又は複数の処理装置と、が通信ネットワークで接続されたシステムにおける前記処理装置の操作方法であって、前記携帯端末が、前記１又は複数の処理装置の位置情報を記述した装置管理テーブルを記憶する第１ステップと、自端末の位置及び方向を特定し、前記装置管理テーブルを参照して、自端末から所定の距離範囲内、かつ、自端末の特定の方向に存在する所定の処理装置を特定する第２ステップと、前記所定の処理装置を遠隔操作するための操作画面を前記表示部に表示する第３ステップと、を実行するものである。
【発明の効果】
【００１３】
本発明の携帯端末及び処理装置の操作方法によれば、画像形成装置などの処理装置を直感的に操作することができる。
【００１４】
その理由は、携帯端末の表示部には、携帯端末の周囲、かつ、携帯端末の特定の方向に存在する処理装置に対して、機能を選択したり、ファイルを選択したり、処理条件を設定したりするための操作画面が表示され、その操作画面で処理装置を遠隔操作することができるからである。
【００１５】
これにより、ユーザは処理装置の前まで行く必要がなくなり、また、壁の向こう側など物理的に見えない位置に配置された処理装置も操作することができる。また、処理装置のＩＰアドレスやＵＲＬが分からなくても操作が可能になり、操作性を格段に向上させることができる。
【００１６】
また、携帯端末の画面上で処理装置を操作することができるため、処理装置のパネルで操作する場合のように、機密文書やパスワード等を横から覗き見られるといったリスクを軽減することもできる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施例に係る制御システムの構成例を示す図である。
【図２】本発明の第１の実施例に係るＡＲサーバの構成を示すブロック図である。
【図３】本発明の第１の実施例に係る携帯端末の構成を示すブロック図である。
【図４】本発明の第１の実施例に係る画像形成装置の構成を示すブロック図である。
【図５】本発明の第１の実施例に係る携帯端末でのＡＲ（拡張現実）アプリケーションのイメージを示す図である。
【図６】本発明の第１の実施例に係る携帯端末に表示される画面（ステータス表示画面）の一例を示す図である。
【図７】本発明の第１の実施例に係る携帯端末に表示される画面（操作画面）の一例を示す図である。
【図８】本発明の第１の実施例に係る携帯端末に表示される画面（操作画面）の他の例を示す図である。
【図９】本発明の第１の実施例に係る携帯端末に表示される画面（操作画面）の他の例を示す図である。
【図１０】本発明の第１の実施例に係る制御システムの動作を示すシーケンス図である。
【図１１】本発明の第１の実施例に係る画像形成装置の遠隔操作方法を示すフローチャート図である。
【図１２】本発明の第１の実施例に係るＡＲサーバに記憶される装置管理テーブルの一例である。
【図１３】電界強度からの位置を特定する方法を示すイメージ図である。
【図１４】ステータス情報を合成する位置を算出する方法を示す図である。
【図１５】本発明の第２の実施例に係る携帯端末でのＡＲ（拡張現実）アプリケーションのイメージを示す図である。
【図１６】本発明の第２の実施例に係る携帯端末に表示される画面（操作画面）の一例を示す図である。
【図１７】本発明の第２の実施例に係る携帯端末に表示される画面（操作画面）の他の例を示す図である。
【図１８】本発明の第２の実施例に係る携帯端末に表示される画面（操作画面）の他の例を示す図である。
【図１９】本発明の第２の実施例に係る携帯端末に表示される画面（操作画面）の他の例を示す図である。
【図２０】本発明の第２の実施例に係るＡＲサーバに記憶されるデータ管理テーブルの一例である。
【図２１】本発明の第２の実施例に係る制御システムの動作を示すシーケンス図である。
【発明を実施するための形態】
【００１８】
背景技術で示したように、会社等のように複数の画像形成装置がネットワークに接続されているシステムでは、適切な場所に設置された画像形成装置を容易に操作できるようにすることが求められており、地図上に画像形成装置を表示する方法が提案されている。しかしながら、この方法では表示する情報が限定され、また、２次元の地図に表示される画像形成装置が実際にどこにあるのかが分かりづらいという問題がある。
【００１９】
そこで、本発明の一実施の形態では、携帯端末の周囲の画像形成装置などの処理装置の内、携帯端末の特定の方向（カメラの画角）に存在する処理装置を特定し、カメラで撮像したライブビュー映像に、特定した処理装置を操作するための操作画面を合成して表示して、直感的に処理装置を遠隔操作できるようにする。
【００２０】
なお、セカイカメラのように、利用者が位置データと紐づけてアップロードした情報をスマートフォンのカメラを通した映像に合成して表示する拡張現実技術は存在するが、本発明のように、処理装置の状態をリアルタイムに表示したり、処理装置の操作を行ったりするものは存在しない。
【実施例１】
【００２１】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る携帯端末及び処理装置の操作方法について、図１乃至図１４を参照して説明する。図１は、本実施例の制御システムの構成例を示す図であり、図２乃至図４は、各々、ＡＲサーバ、携帯端末、画像形成装置の構成を示すブロック図である。また、図５は、携帯端末での拡張現実アプリケーションのイメージを示す図であり、図６乃至図９は、携帯端末に表示される画面の一例を示す図である。また、図１０は、本実施例の制御システムの動作を示すシーケンス図であり、図１１は、本実施例の画像形成装置の遠隔操作方法を示すフローチャート図である。また、図１２は、ＡＲサーバに記憶される装置管理テーブルの一例、図１３は、電界強度からの携帯端末の位置を特定する方法を示すイメージ図であり、図１４は、ステータス情報を合成する位置を算出する方法を示す図である。
【００２２】
図１に示すように、本実施例の制御システム１０は、拡張現実（ＡＲ：augmented reality）サーバ２０と、スマートフォンや携帯電話機、ＰＤＡ（Personal Digital Assistants）などの携帯端末３０と、携帯端末３０により遠隔操作される処理装置（本実施例では、ＭＦＰなどの画像形成装置４０とする。）とで構成され、これらは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などのネットワークに接続（携帯端末３０は、無線ルータや無線基地局を介してネットワークに接続）されている。以下、各装置の構成について詳細に説明する。
【００２３】
［ＡＲサーバ］
図２に示すように、ＡＲサーバ２０は、制御部２１、記憶部２２、通信Ｉ／Ｆ部２３などで構成される。
【００２４】
制御部２１は、ＣＰＵ（Central Processing Unit）とＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリとで構成され、ＡＲサーバ２０全体を制御する。また、制御部２１は、画像形成装置４０から当該装置の状態を示す情報（ステータス情報と呼ぶ。）及び当該装置で実行可能な機能や設定可能な条件などの情報（機能情報と呼ぶ。）を取得すると共に、携帯端末３０から位置情報を取得し、携帯端末３０の周囲（携帯端末３０から所定の距離範囲内）に存在する画像形成装置４０を特定して、その画像形成装置４０のリスト（周辺ＭＦＰリストと呼ぶ。）やステータス情報及び機能情報（これらを総称して装置情報と呼ぶ。）などを携帯端末３０に送信する装置情報処理部２１ａと、携帯端末３０から指示情報を取得し、その指示情報に従って画像形成装置４０に指示された機能を実行させる装置制御部２１ｂとしても機能する。
【００２５】
記憶部２２は、ＨＤＤ（Hard Disk Drive）などで構成され、後述する装置管理テーブル、各画像形成装置４０に対するユーザの操作権限、ＰＣＬ（Printer Control Language）やＰＳ（Post Script）などのＰＤＬ（Page Description Language）で記述した実データなどを保存する。
【００２６】
通信Ｉ／Ｆ部２３は、ＮＩＣ（Network Interface Card）やモデムなどのインターフェースであり、イーサネット（登録商標）などの規格に基づいて、携帯端末３０や画像形成装置４０との通信を行う。
【００２７】
［携帯端末］
図３に示すように、携帯端末３０は、制御部３１、記憶部３２、通信Ｉ／Ｆ部３３、表示部３４、操作部３５、位置特定部３６、方向特定部３７、撮像部３８などで構成される。
【００２８】
制御部３１は、ＣＰＵとＲＡＭやＲＯＭなどのメモリとで構成され、携帯端末３０全体を制御する。また、制御部３１は、ＡＲサーバ２０に自端末の位置情報を送信し、ＡＲサーバ２０から自端末の周囲の画像形成装置４０の周辺ＭＦＰリストを取得すると共に、画像形成装置４０の装置情報（ステータス情報及び機能情報）を取得する装置情報取得部３１ａと、周辺ＭＦＰリストの中から遠隔操作を行う画像形成装置４０を特定すると共に、ステータス情報を表示部３４に表示（若しくは撮像画面に合成）して画像形成装置４０の状態を確認できるようにし、機能情報に基づいて作成した操作画面を表示部３４に表示（若しくは撮像画面に合成）し、画像形成装置４０を遠隔操作できるようにする装置管理部３１ｂとしても機能する。なお、上記装置情報取得部３１ａや装置管理部３１ｂとしての機能はハードウェアとして実現してもよいし、制御部３１を装置情報取得部３１ａや装置管理部３１ｂとして機能させるプログラム（ＡＲアプリケーションと呼ぶ。）として実現してもよい。
【００２９】
記憶部３２は、ＨＤＤなどで構成され、ＡＲサーバ２０から取得した周辺ＭＦＰリストや装置情報、画像形成装置４０に処理させる電子データなどを保存する。
【００３０】
通信Ｉ／Ｆ部３３は、ＮＩＣやモデムなどのインターフェースであり、無線ルータや無線基地局を介してネットワークに接続し、ＡＲサーバ２０や画像形成装置４０との通信を行う。
【００３１】
表示部３４は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイなどであり、ステータス情報に基づく画面（後述するステータス表示画面）や機能情報に基づく画面（後述する操作画面）などを表示する。
【００３２】
操作部３５は、ハードキーや表示部３４上のタッチパネルであり、表示されているステータス表示画面や操作画面に対する操作を受け付け、画像形成装置４０に対する各種指示を可能にする。
【００３３】
位置特定部３６は、ＧＰＳ（Global Positioning System）を使用して自端末の位置（座標）を特定する。また、方向特定部３７は、ジャイロと加速度センサを組み合わせた自立測位技術を用いて、自端末の方向を特定する。なお、位置が特定されている画像形成装置４０が電磁波（無線ＬＡＮやWi-Fi（Wireless Fidelity）、Bluetoothなどの規格で定められる電波）を発信しており、携帯端末３０が、その電磁波を受信可能な場合は、図１３に示すように、携帯端末３０が複数（好ましくは３以上）の画像形成装置４０から発信される電磁波の電界強度を測定し、その電界強度の値に基づいて、複数の画像形成装置４０に対する自端末の位置（座標）や方向を特定してもよい。また、撮像部３８で撮像した画像を解析し、色や形状、模様等を画像認識して画像形成装置４０を特定し、その画像形成装置の位置から自端末の位置や方向を特定してもよい。また、画像形成装置４０に貼り付けたＱＲコードのようなバーコード等を画像認識したり、ＲＦＩＤ（Radio Frequency Identification）等のタグを認識して画像形成装置４０を特定し、その画像形成装置の位置から自端末の位置や方向を特定してもよい。
【００３４】
撮像部３８は、ＣＣＤ（Charge Coupled Devices）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどであり、画像形成装置４０などを撮像してライブビュー映像を取得する。
【００３５】
なお、図３では、携帯端末３０に撮像部３８を設けているが、撮像部３８で撮像したライブビュー映像にステータス表示画面や操作画面を合成する必要がない場合は、撮像部３８を省略することもできる。
【００３６】
［画像形成装置］
図４に示すように、画像形成装置４０は、制御部４１、記憶部４２、通信Ｉ／Ｆ部４３、表示部４４、操作部４５、スキャナ部４６、印刷部４７などで構成される。
【００３７】
制御部４１は、ＣＰＵとＲＡＭやＲＯＭなどのメモリとで構成され、画像形成装置４０全体を制御する。また、制御部４１は、ＰＣＬやＰＤＬで記述した実データを解析するデータ解析部、解析結果に基づいて実データをラスタライズ（ビットマップ展開）してイメージデータを生成する画像処理部としても機能する。
【００３８】
記憶部４２は、ＨＤＤなどで構成され、実データやイメージデータ、各種設定情報などを保存する。
【００３９】
通信Ｉ／Ｆ部４３は、ＮＩＣやモデムなどのインターフェースであり、イーサネット（登録商標）などの規格に基づいて、ＡＲサーバ２０や携帯端末３０との通信を行う。
【００４０】
表示部４４は、ＬＣＤや有機ＥＬディスプレイなどであり、コピーやスキャン、印刷、ＦＡＸなどの機能を実現するための各種画面を表示する。
【００４１】
操作部４５は、ハードキーや表示部４４上のタッチパネルであり、コピーやスキャン、印刷、ＦＡＸなどの機能に対する各種指示を行う。
【００４２】
スキャナ部４６は、原稿台上の原稿用紙から画像データを光学的に読み取る部分であり、原稿を走査する光源と、原稿で反射された光を電気信号に変換するＣＣＤ等のイメージセンサと、電気信号をＡ／Ｄ変換するＡ／Ｄ変換器等により構成される。
【００４３】
印刷部４７は、イメージデータを用紙に転写する。具体的には、帯電装置により帯電された感光体ドラムに露光装置から画像に応じた光を照射して静電潜像を形成し、現像装置で帯電したトナーを付着させて現像し、そのトナー像を転写ベルトに１次転写し、転写ベルトから紙媒体に２次転写し、更に定着装置で紙媒体にトナー像を定着させる処理を行う。また、必要に応じて、折りや製本、ステープルなどの処理を行う。
【００４４】
なお、本実施例では、ＡＲサーバ２０の制御部２１が携帯端末３０の周囲の画像形成装置４０を特定する構成とするが、画像形成装置４０の位置情報を携帯端末３０に記憶しておき、携帯端末３０の制御部３１が、自端末の周囲かつ特定の方向に存在する画像形成装置４０を特定する構成としてもよい。また、本実施例では、ＡＲサーバ２０が画像形成装置４０からステータス情報や機能情報を取得する構成とするが、携帯端末３０が画像形成装置４０から直接これらの情報を取得する構成としてもよい。また、本実施例では、ＡＲサーバ２０が画像形成装置４０に処理を指示する構成とするが、携帯端末３０が画像形成装置４０に直接、処理を指示する構成としてもよい。このように、携帯端末３０にＡＲサーバ２０の制御部２１の機能を備えている場合は、ＡＲサーバ２０を省略することもできる。また、本実施例では、画像形成装置４０を制御する構成とするが、コンピュータ装置など、携帯端末３０で遠隔操作が可能な任意の装置を同様に制御することができる。
【００４５】
次に、上記構成の制御システム１０の基本動作について、図１０のシーケンス図を参照して説明する。なお、以下の説明において、各画像形成装置４０に関する情報（ネットワーク上の登録名称や製品名、ＩＰアドレス、接続ポート、ＳＳＬ（Secure Socket Layer）通信の可否など）と各画像形成装置４０の位置情報（緯度、経度、高度など）は、図１２に示す装置管理テーブルとして予めＡＲサーバ２０の記憶部２２などに記憶されているものとする。この装置管理テーブルの位置情報はユーザが登録してもよいし、画像形成装置４０にＧＰＳ等の位置特定機能が搭載されている場合は、画像形成装置４０から送信される位置情報を使用して登録してもよいし、画像形成装置４０の近傍に携帯端末３０を持って行き、携帯端末３０から送信される位置情報を使用して登録してもよい。
【００４６】
ＡＲサーバ２０は、ネットワークに接続されている画像形成装置４０に定期的にアクセス（若しくは、画像形成装置４０側が定期的にＡＲサーバ２０にアクセス）して、各画像形成装置４０の装置情報（ステータス情報及び機能情報）を取得し、記憶部２２等に記憶する。なお、アクセス間隔は任意であるが、画像形成装置４０の状態は時々刻々変化するため、携帯端末３０がＡＲアプリケーションを起動した後は、アクセス間隔を短くすることが望ましい。また、ここではステータス情報及び機能情報を定期的に取得する構成とするが、機能情報が変化しない場合は、予め機能情報を取得しておき、ステータス情報のみを定期的に取得する構成としてもよい。
【００４７】
次に、ユーザが携帯端末３０の操作部３５を操作してＡＲアプリケーションの起動を指示すると、制御部３１は、ＡＲアプリケーションを起動し、表示部３４にログイン画面を表示する。そして、ユーザがＩＤやパスワードを入力し、ログインボタンを押下すると、制御部３１は、ＡＲサーバ２０にログインを通知し、ＡＲサーバ２０は認証処理を行い、その結果を携帯端末３０に通知する。認証結果がＯＫの場合は、制御部３１は、撮像部３８を起動して撮像を開始し、ライブビュー映像を表示部３４に表示する。
【００４８】
次に、携帯端末３０の位置特定部３６は、自端末の位置を特定し、装置情報取得部３１ａは、特定した位置情報をＡＲサーバ２０に送信する。例えば、画像形成装置４０が発信する電磁波の電界強度を用いて位置を特定する場合において、図１３に示すように、装置Ａ、Ｂ、Ｃの３つの画像形成装置４０が各々、図の同心円で示す領域に電界強度１〜３で電磁波を発信しており、装置Ａの電界強度が「１」、装置Ｂ及び装置Ｃの電界強度が「２」の場合は、携帯端末３０は図の網掛け領域に存在することから、各画像形成装置４０の位置（座標）に基づいて、自端末の位置（座標）を特定する。
【００４９】
ＡＲサーバ２０の装置情報処理部２１ａは、携帯端末３０から位置情報を取得すると、予め記憶部２２などに記憶した装置管理テーブルを参照して、携帯端末３０の周囲（携帯端末３０からの距離が所定範囲内）に存在する画像形成装置４０を抽出し、抽出した画像形成装置４０のリスト（周辺ＭＦＰリスト）及びその画像形成装置４０のステータス情報を携帯端末３０に送信する。携帯端末３０の装置情報取得部３１ａは、受信した周辺ＭＦＰリスト及びステータス情報を記憶部３２などに記憶する。
【００５０】
次に、携帯端末３０の位置特定部３６及び方向特定部３７は、自端末の位置及び方向を特定し、装置管理部３１ｂは、周辺ＭＦＰリストの画像形成装置４０の内、携帯端末３０の周囲かつ特定の方向に存在する画像形成装置４０を特定する。なお、ここでは、ＡＲサーバ２０から周辺ＭＦＰリストを取得し、その中から自端末の周囲かつ特定の方向に存在する画像形成装置４０を特定する構成とするが、ＡＲサーバ２０に自端末の位置情報及び方向情報を送信し、ＡＲサーバ２０が携帯端末３０の周囲かつ特定の方向に存在する画像形成装置４０を特定してもよい。また、ここでは周辺ＭＦＰリストを取得した後に、再度、位置特定部３６を用いて自端末の位置を特定しているが、携帯端末３０の位置を動かさない（方向のみを回転させる）場合は、方向特定部３７を用いて自端末の方向のみを特定すればよい。
【００５１】
そして、装置管理部３１ｂは、自端末の位置及び方向と画像形成装置４０の位置情報と撮像部３８の画角などに基づいて、特定した画像形成装置４０のライブビュー映像上の位置を算出し、その位置に当該画像形成装置４０のステータス情報を表示させる。そして、携帯端末３０の方向が変化して、その画像形成装置４０が特定の方向から外れたらステータス情報の表示を消去し、新たな画像形成装置４０が特定の方向に入ったら、その画像形成装置４０のステータス情報を表示する動作を繰り返す。すなわち、携帯端末３０を３６０度回転させると、特定の方向に存在する画像形成装置４０のステータス情報が順次表示されることになる。
【００５２】
このステータス情報の表示形態は特に限定されず、ステータス情報を単独で表示してもよいし、撮像部３８で画像形成装置４０を撮像している場合は、その画像形成装置４０のライブビュー映像上にステータス情報を合成して表示してもよい。図５は、携帯端末３０で周辺を撮像している様子を示す図であり、表示部３４に撮像部３８で撮像しているライブビュー映像が表示されると共に、必要に応じて、ネットワークに接続されている画像形成装置４０の配置や携帯端末３０の周辺の範囲を図示した枠などが表示される。また、図６は、画像形成装置４０を撮像している時の携帯端末３０の表示部３４を拡大した図（主要構成のみ）であり、撮像部３８で撮像している画像形成装置４０の画像には、ステータス情報（当該画像形成装置４０がジョブ待ちの状態であることを示す「待機中」の文字やジョブの実行中であることを示す「印刷中」の文字など）を枠で囲んだ画面（ステータス表示画面と呼ぶ。）が合成される。このように、画像形成装置４０のライブビュー映像にステータス情報を合成して表示することにより、画像形成装置４０の状態を直感的に把握することができる。
【００５３】
なお、ステータス情報は上記に限らず、残ジョブ数やジョブ終了予測時時刻等を表示したり、ジョブを登録したユーザ情報等の詳細情報を表示したりしてもよい。また、エラー状態やエラーからのリカバリ方法や操作手順を示すガイダンスなどを表示してもよい。また、上記ステータス情報の表示に際して、画像形成装置４０と携帯端末３０の距離により、遠近法に従ってステータス情報の表示サイズを変えたり、装置の状態や残ジョブ数によって、表示の色、透明度、大きさ、アニメーション効果等を変えたり、ユーザ権限やシステム設定等によって表示する項目を変えたりしてもよい。また、デバイス毎にステータスを表示するのではなく、ジョブ毎にステータスを表示して、ジョブ実行中止、削除、再実行等のジョブ制御が行えるようにしてもよい。
【００５４】
また、図６の構成の表示形態において、ステータス情報が画像形成装置４０の画像上に表示されるようにするためには、ステータス情報の配置位置のｘ座標と画面上の画像形成装置４０の中心のｘ座標とが一致するようにすればよい。この画像形成装置４０のｘ座標は、図１４（ａ）に示すように、携帯端末３０の画面表示サイズ（Ｘ方向のサイズ）をｗｋし、図１４（ｂ）に示すように、携帯端末３０の特定方向（ここでは上方向）を基準方向とした場合の時計回りの画像形成装置４０の向きをαｍ、カメラの水平方向への画角（正確には表示可能な範囲の撮影範囲角度）をαｒ、基準方向からの携帯端末３０の向き（カメラの撮像範囲角度（αｒ）の中心）をαｃとすると、
ｘ＝ｗｋ×（αｍ−（αｃ−αｒ／２））／αｒ
となる。
【００５５】
また、図１４（ｃ）に示すように、上記αｍは、携帯端末３０の座標を（ｘｋ、ｙｋ）とし、画像形成装置４０の座標を（ｘｍ、ｙｍ）とすると、
αｍ＝１８０−（ｔａｎ−１（（ｙｍ−ｙｋ）／（ｘｍ−ｘｋ））×（３６０／２π））
となる。
【００５６】
従って、上記式に従ってｘを求め、ステータス情報の表示位置のｘ座標をこの値に設定すれば、画像形成装置４０の画像の中心にステータス情報を合成することができる。
【００５７】
ここで、ステータス情報により画像形成装置４０が待機中であることが分かれば、その画像形成装置４０を用いた処理が可能であることから、以下の手順に従って画像形成装置４０を遠隔操作できるようにする。
【００５８】
具体的には、ユーザが所定の操作（例えば、ステータス表示画面の領域をタッチしたり、携帯端末３０の特定の操作ボタンを押下したり、画像形成装置４０の操作パネルに相当する位置を押下する等の操作）を行うと、携帯端末３０の制御部３１は、必要に応じて、ＡＲサーバ２０にログインユーザの操作権限を確認する。ＡＲサーバ２０の操作部２１は、ログインユーザの操作権限を記憶部２２などから取得し、携帯端末３０に送信する。
【００５９】
次に、携帯端末３０の装置管理部３１ｂは、ＡＲサーバ２０から、その画像形成装置４０の機能情報を取得し、機能情報及び必要に応じてユーザ権限に応じた操作画面を作成し、表示部３４に表示する。例えば、図７に示すように、ライブビュー映像上に、ログインユーザがその画像形成装置４０に対して実行可能な機能（ここでは、コピー、スキャン、プリント、Ｆａｘ、ＭＦＰ管理）を指示する操作画面（この場合は機能選択画面）を合成し、画像形成装置４０を遠隔操作できるようにする。
【００６０】
上記機能選択画面の構成は任意であり、例えば、画像形成装置４０の表示部４４に表示される操作画面と同じ構成としてもよいし、画像形成装置４０に備える全ての機能を表示し、ログインユーザが実行できない機能は選択できないように（例えば、グレー表示）してもよい。また、ここでは、遠隔操作を行う画像形成装置４０のライブビュー映像に機能選択画面を合成しているが、ステータス表示画面の領域をタッチするなどの操作によって画像形成装置４０を特定した後は、画像形成装置４０のライブビュー映像と機能選択画面とは必ずしも対応させて表示する必要はないため、機能選択画面のみを表示してもよいし、任意のライブビュー映像（例えば、当該画像形成装置４０を撮像していないライブビュー映像）に機能選択画面を合成してもよい。
【００６１】
そして、ユーザが操作画面（機能選択画面）で所定の機能（ここではプリント機能）を選択すると、携帯端末３０の装置管理部３１ｂは、ファイルの保存場所の一覧（例えば、ＡＲサーバ２０と携帯端末３０と画像形成装置４０）を表示し、その中から所望の保存場所（例えば、携帯端末３０の記憶部３２）を選択すると、その保存場所に予め記憶されたファイルの一覧を取得し、ファイルを選択するための操作画面を作成して表示部３４に表示する。例えば、図８に示すように、ライブビュー映像上に、ファイル名とファイルの属性を記述した操作画面（この場合はファイル選択画面）を合成し、画像形成装置４０にプリントさせるファイルの選択を遠隔操作できるようにする。
【００６２】
上記ファイル選択画面の構成も任意であり、例えば、記憶部に記憶された全てのファイルを表示してもよいし、所定の属性のファイルのみを表示してもよいし、ログインユーザが作成したファイルやログインユーザが使用する権限を有するファイルのみを表示してもよい。また、ここでも、遠隔操作を行う画像形成装置４０のライブビュー映像にファイル選択画面を合成しているが、画像形成装置４０を特定した後は、ライブビュー映像とファイル選択画面とは必ずしも対応させて表示する必要はないため、ファイル選択画面のみを表示してもよいし、任意のライブビュー映像にファイル選択画面を合成してもよい。
【００６３】
次に、ユーザが操作画面（ファイル選択画面）でファイルを選択すると、携帯端末３０の装置管理部３１ｂは、機能情報に応じた操作画面を作成し、表示部３４に表示する。例えば、図９に示すように、ライブビュー映像上に、選択した機能に対する条件（ここでは、部数やカラー、用紙サイズ、ページ指定など）を設定する操作画面（この場合は条件設定画面）を合成し、選択した機能に対する条件設定を遠隔操作できるようにする。
【００６４】
上記条件設定画面の構成も任意であり、例えば、画像形成装置４０の表示部４４に表示される操作画面と同じ構成としてもよいし、選択した機能に対して設定可能な全ての条件を表示し、ログインユーザが設定できない項目はグレー表示してもよい。また、ここでも、遠隔操作を行う画像形成装置４０のライブビュー映像に条件設定画面を合成しているが、画像形成装置４０を特定した後は、ライブビュー映像と条件設定画面とは必ずしも対応させて表示する必要はないため、条件設定画面のみを表示してもよいし、任意のライブビュー映像に条件設定画面を合成してもよい。
【００６５】
そして、条件設定画面でプリント条件を設定した後、ＯＫボタンを押下すると、携帯端末３０の装置管理部３１ｂは、選択されたファイル、選択された機能及び設定情報をＡＲサーバ２０に送信する。具体的には、機能選択画面やファイル選択画面、条件設定画面の表示部３４上の位置を予め記憶しておき、ユーザが画面上でタッチした位置に対応する機能、ファイル、条件を特定して指示情報を作成し、その指示情報をＡＲサーバ２０に送信する。ＡＲサーバ２０では、選択されたファイルからＰＣＬファイルを生成して画像形成装置４０に転送し、画像形成装置４０は、ＰＣＬファイルに基づいて印刷処理を実行する。また、携帯端末３０の装置管理部３１ｂは、ＰＣＬファイルが画像形成装置４０に転送されたら、印刷受付完了画面を表示部３４に表示する。
【００６６】
その後、ユーザがＡＲアプリケーションの終了を指示すると、携帯端末３０の制御部３１は、ＡＲサーバ２０のログアウトを通知し、ＡＲサーバ２０は、ログアウト処理を実行すると共に、制御対象となる画像形成装置４０の装置情報取得間隔を元に戻し、携帯端末３０の制御部３１は、ＡＲアプリケーションを終了する。
【００６７】
なお、上記説明では、ステータス表示画面を表示した後、操作画面（機能選択画面やファイル選択画面、条件設定画面など）を表示する構成としたが、ステータス表示画面の表示は省略することもできる。その場合は、撮像部３８で画像形成装置４０を撮像したら、自動的に機能選択画面を表示したり、撮像部３８で画像形成装置４０を撮像した状態で所定の操作を行ったら、機能選択画面を表示したりする。また、携帯端末３０の方向が変化して、その画像形成装置４０が特定の方向から外れたら機能選択画面の表示を消去し、新たな画像形成装置４０が特定の方向に入ったら、その画像形成装置４０の機能選択画面を表示する動作を繰り返す。
【００６８】
また、上記説明では、操作画面として、機能選択画面、ファイル選択画面、条件設定画面の３つの画面が表示される構成としたが、画像形成装置４０を操作するための画面が１つ以上、表示されればよい。例えば、コピーの場合はファイル選択画面を省略することができるし、スキャンの場合はファイル選択画面に代えてスキャン画像の保存先を指定する画面を表示することができる。
【００６９】
次に、携帯端末３０に表示される画面を用いて画像形成装置４０を遠隔操作する方法について、図１１のフローチャート図を参照して詳細に説明する。なお、図１１の実線の枠は携帯端末３０の動作を示し、破線の枠はＡＲサーバ２０若しくは画像形成装置４０の動作を示している。
【００７０】
まず、携帯端末３０の表示部３４に表示されているライブビュー映像に画像形成装置４０のステータス情報を合成して表示する。そして、ユーザがステータス情報の表示領域（ステータス表示画面）を押下すると（Ｓ１０１）、携帯端末３０の装置情報取得部３１ａは、ＡＲサーバ２０にアクセスして、ＡＲサーバ２０からログインユーザの操作権限（コピー、プリント、スキャン、Ｆａｘ送信、管理機能等の機能毎の操作権限）を取得する（Ｓ１０２）。なお、この操作権限は、利用回数や利用時間帯等の制限を付加してもよいし、画像形成装置４０毎に設定できるようにしてもよい。
【００７１】
次に、携帯端末３０の装置情報取得部３１ａは、ＡＲサーバ２０から、その画像形成装置４０の機能情報（各機能の実行可否、各機能の設定可能値など）を取得し（Ｓ１０３）、装置管理部３１ｂは、ログインユーザの操作権限及び画像形成装置４０の機能情報に応じて、表示部３４に、図７に示すような機能選択画面を表示させる（Ｓ１０４）。なお、各機能の設定可能値とは、例えば、印刷機能におけるカラー、n in 1、両面、パンチ・ステープル等の可否、スキャン機能におけるカラー、解像度等可否、コピー機能におけるカラー、n in 1、両面、パンチ・ステープル等の可否、Ｆａｘ送信機能におけるＦａｘ送信可否などである。
【００７２】
そして、装置管理部３１ｂは、機能選択画面のどの機能が押下されたかを判断し（Ｓ１０５）、押下された機能に応じた処理を実行する。ここでは、コピーとスキャンとプリントの各機能が選択された場合について例示する。
【００７３】
まず、機能選択画面でコピーのボタンが押下された場合は、装置管理部３１ｂは、画像形成装置４０の機能情報に基づいて、表示部３４にコピー設定選択画面を表示させる（Ｓ１０６）。そして、ユーザがコピー設定を選択し（Ｓ１０７）、スタートボタンを押下したら（Ｓ１０８）、装置管理部３１ｂは、コピー設定情報をＡＲサーバ２０に送信し（Ｓ１０９）、ＡＲサーバ２０は、そのコピー設定情報に従って画像形成装置４０にコピーの実行を指示し（Ｓ１１０）、画像形成装置４０は、コピーを実行する（Ｓ１１１）。なお、ここでは携帯端末３０からＡＲサーバ２０にコピー設定情報を送信し、ＡＲサーバ２０が画像形成装置４０にコピーの実行を指示する構成としているが、携帯端末３０が画像形成装置４０と通信する機能を搭載している場合は、ＡＲサーバ２０を介することなく、携帯端末３０から直接、画像形成装置４０にコピーの実行を指示してもよい。
【００７４】
また、機能選択画面でスキャンのボタンが押下された場合は、装置管理部３１ｂは、画像形成装置４０の機能情報に基づいて、表示部３４にスキャン設定選択画面を表示させる（Ｓ１１２）。そして、ユーザがスキャン設定を選択したら（Ｓ１１３）、装置管理部３１ｂは、表示部３４にスキャンファイル保存先選択画面を表示させる（Ｓ１１４）。このスキャンファイル保存先選択画面でユーザが保存先を選択し（Ｓ１１５）、スタートボタンを押下したら（Ｓ１１６）、装置管理部３１ｂは、スキャン設定情報及び保存先情報をＡＲサーバ２０に送信し（Ｓ１１７）、ＡＲサーバ２０は、そのスキャン設定情報及び保存先情報に従って画像形成装置４０にリモートスキャンの実行を指示し（Ｓ１１８）、画像形成装置４０は、スキャンを実行する（Ｓ１１９）。なお、上記と同様に、携帯端末３０が画像形成装置４０と通信する機能を搭載している場合は、ＡＲサーバ２０を介することなく、携帯端末３０から直接、画像形成装置４０にリモートスキャンの実行を指示してもよい。
【００７５】
保存先のストレージが携帯端末３０の場合は、ＡＲサーバ２０は画像形成装置４０からスキャンデータを取得し（Ｓ１２１）、携帯端末３０は、ＡＲサーバ２０からスキャンデータを取得し（Ｓ１２２）、取得したスキャンデータを保存する（Ｓ１２３）。保存先のストレージが共有サーバの場合は、ＡＲサーバ２０は画像形成装置４０からスキャンデータを取得し（Ｓ１２４）、そのスキャンデータを共有サーバに転送する（Ｓ１２５）。保存先のストレージが画像形成装置４０の記憶部４２の場合は、スキャンデータを記憶部４２に保存する（Ｓ１２６）。
【００７６】
また、機能選択画面でプリントのボタンが押下された場合は、装置管理部３１ｂは、表示部３４にファイル選択画面を表示させる（Ｓ１２７）。そして、ユーザがファイルを選択したら（Ｓ１２８）、装置管理部３１ｂは、画像形成装置４０の機能情報に基づいて、表示部３４に印刷設定選択画面を表示させる（Ｓ１２９）。そして、ユーザが印刷設定を選択したら（Ｓ１３０）、装置管理部３１ｂは、選択ファイルの保存場所を判断し（Ｓ１３１）、携帯端末３０に保存されている場合は、印刷設定情報及び選択ファイルの実データをＡＲサーバ２０に送信する（Ｓ１３２）。また、共有サーバに保存されている場合は、装置管理部３１ｂは、印刷設定情報及び選択ファイルのパス情報をＡＲサーバ２０に送信し（Ｓ１３３）、ＡＲサーバ２０は、そのパス情報に従って共有サーバからファイルを取得する（Ｓ１３４）。その後、ＡＲサーバ２０は、ＰＣＬファイルを作成して（Ｓ１３５）、画像形成装置４０に転送し（Ｓ１３６）、画像形成装置４０は、印刷を実行する（Ｓ１３７）。
【００７７】
このように、携帯端末３０は、画像形成装置４０のライブビュー映像にその画像形成装置４０のステータス情報を合成して表示した後、機能選択画面やファイル選択画面、印刷設定画面等の操作画面を表示（好ましくはライブビュー映像に操作画面を合成して表示）し、その操作画面で画像形成装置４０を遠隔操作できるようにするため、画像形成装置４０を直感的に操作することができ、ユーザの利便性を格段に向上させることができる。
【実施例２】
【００７８】
次に、本発明の第２の実施例に係る携帯端末及び処理装置の操作方法について、図１５乃至図２１を参照して説明する。図１５は、携帯端末での拡張現実アプリケーションのイメージを示す図であり、図１６乃至図１９は、携帯端末の表示画面の一例である。また、図２０は、本実施例の制御システムの動作を示すシーケンス図であり、図２１は、ＡＲサーバに記憶されるデータ管理テーブルの一例である。
【００７９】
前記した第１の実施例では、ファイル選択画面を表示してファイルの選択を行う構成としたが、処理装置で処理可能な電子データ（文書データや画像データ、音楽データなど）を保存する際、電子データに位置情報を関連付けることもできる。そこで、本実施例では、撮像部３８が撮像している位置に関連付けて登録された電子データを特定する情報（例えば、データアイコン）をライブビュー映像に合成し、操作画面とデータアイコンを利用して、より直感的に画像形成装置４０を遠隔操作できるようにする。
【００８０】
具体的には、図２１に示すように、電子データに関する情報（ファイル又はフォルダの種別、ファイル又はフォルダの名称、拡張子など）と、電子データの保存先に関する情報（サーバ名、ファイルパス、プロトコル、ポート番号など）と、電子データの登録位置（当該電子データを記憶する装置の実在位置でもよいし、任意の空間上の位置でもよい。）に関する情報（緯度、経度、高度など）と、を記述したデータ管理テーブルを作成し、そのデータ管理テーブルをＡＲサーバ２０の記憶部２２などに記憶しておく。
【００８１】
そして、ＡＲサーバ２０の装置情報処理部２１ａは、携帯端末３０から位置情報を取得し、このデータ管理テーブルを参照して、携帯端末３０の周囲（携帯端末３０から所定の距離範囲内）に存在する電子データを特定して、その電子データのリスト（周辺データリストと呼ぶ。）を携帯端末３０に送信する制御を行い、装置制御部２１ｂは、携帯端末３０から電子データに対する指示情報を取得し、その指示情報に従って画像形成装置４０に指示された機能を実行させる制御を行う。
【００８２】
また、携帯端末３０の装置情報取得部３１ａは、ＡＲサーバ２０に自端末の位置情報を送信し、ＡＲサーバ２０から自端末の周囲の電子データのリスト（周辺データリスト）を取得する制御を行い、装置管理部３１ｂは、電子データを特定する情報（データアイコンなど）をライブビュー映像に合成し、その電子データを適切な画像形成装置４０で処理できるようにする。
【００８３】
なお、本実施例では、ＡＲサーバ２０の制御部２１が携帯端末３０の周囲の電子データを特定する構成とするが、電子データの位置情報を携帯端末３０に記憶しておき、携帯端末３０の制御部３１が、自端末の周囲かつ特定の方向に存在する電子データを特定する構成としてもよく、携帯端末３０にＡＲサーバ２０の制御部２１の機能を備えている場合は、ＡＲサーバ２０を省略することもできる。
【００８４】
以下、上記構成の制御システム１０の動作について、図２０のシーケンス図を参照して説明する。なお、以下の説明において、ＡＲサーバ２０の記憶部２２などには、図１２に示す装置管理テーブルと、図２１に示すデータ管理テーブルが予め登録されているものとする。
【００８５】
ＡＲサーバ２０は、ネットワークに接続されている画像形成装置４０に定期的にアクセス（若しくは、画像形成装置４０側が定期的にＡＲサーバ２０にアクセス）して、各画像形成装置４０の装置情報（ステータス情報及び機能情報）を取得する。なお、アクセス間隔は任意であるが、画像形成装置４０の状態は時々刻々変化するため、携帯端末３０がＡＲアプリケーションを起動した後は、アクセス間隔を短くすることが望ましい。また、ここではステータス情報及び機能情報を定期的に取得する構成とするが、機能情報が変化しない場合は、予め機能情報を取得しておき、ステータス情報のみを定期的に取得する構成としてもよい。
【００８６】
次に、ユーザが携帯端末３０の操作部３５を操作してＡＲアプリケーションの起動を指示すると、制御部３１は、ＡＲアプリケーションを起動し、表示部３４にログイン画面を表示する。そして、ユーザがＩＤやパスワードを入力し、ログインボタンを押下すると、制御部３１は、ＡＲサーバ２０にログインを通知し、ＡＲサーバ２０は認証処理を行い、その結果を携帯端末３０に通知する。認証結果がＯＫの場合は、制御部３１は、撮像部３８を起動して撮像を開始し、ライブビュー映像を表示部３４に表示する。
【００８７】
次に、携帯端末３０の位置特定部３６は、自端末の位置を特定し、装置情報取得部３１ａは、特定した位置情報をＡＲサーバ２０に送信する。
【００８８】
ＡＲサーバ２０の装置情報処理部２１ａは、携帯端末３０から位置情報を取得すると、予め記憶部２２などに記憶した装置管理テーブルを参照して、携帯端末３０の周囲（携帯端末３０からの距離が所定範囲内）に存在する画像形成装置４０を抽出し、抽出した画像形成装置４０のリスト（周辺ＭＦＰリスト）及びその画像形成装置４０のステータス情報を携帯端末３０に送信する。携帯端末３０の装置情報取得部３１ａは、受信した周辺ＭＦＰリスト及びステータス情報を記憶部３２などに記憶する。
【００８９】
また、ＡＲサーバ２０は、予め記憶したデータ管理テーブルを参照して、携帯端末３０の周囲（携帯端末３０からの距離が所定範囲内）に存在する電子データを抽出し、抽出した電子データのリスト（周辺データリスト）を携帯端末３０に送信する。携帯端末３０の装置情報取得部３１ａは、受信した周辺データリストを記憶部３２などに記憶する。
【００９０】
次に、携帯端末３０の位置特定部３６及び方向特定部３７は、自端末の位置及び方向を特定し、装置管理部３１ｂは、周辺ＭＦＰリストの画像形成装置４０の内、携帯端末３０の周囲かつ特定の方向に存在する画像形成装置４０を特定する。そして、装置管理部３１ｂは、自端末の位置及び方向と画像形成装置４０の位置情報と撮像部３８の画角などに基づいて、特定した画像形成装置４０のライブビュー映像上の位置を算出し、その位置に当該画像形成装置４０のステータス情報を表示させる。
【００９１】
また、携帯端末３０の装置管理部３１ｂは、周辺データリストの電子データの内、携帯端末３０の周囲かつ特定の方向に存在する電子データを特定する。そして、装置管理部３１ｂは、自端末の位置及び方向と電子データの位置情報と撮像部３８の画角などに基づいて、特定した電子データのライブビュー映像上の位置を算出し、その位置に当該電子データを特定するデータアイコンなどを表示させる。
【００９２】
そして、携帯端末３０の方向が変化して、その画像形成装置４０や電子データが特定の方向から外れたらステータス情報やデータアイコンの表示を消去し、新たな画像形成装置４０や電子データが特定の方向に入ったら、その画像形成装置４０のステータス情報やデータアイコンを表示する動作を繰り返す。
【００９３】
このステータス情報やデータアイコンの表示形態は特に限定されず、ステータス情報やデータアイコンを単独で表示してもよいし、ライブビュー映像に合成して表示してもよい。図１５は、携帯端末３０で周辺を撮像している様子を示す図であり、撮像部３８で撮像しているライブビュー映像にはデータアイコンが合成されている。なお、データアイコンの表示に際して、電子データと携帯端末３０の距離により、遠近法に従ってデータアイコンの表示サイズ、表示の色、透明度、大きさ、アニメーション効果等を変えてもよい。
【００９４】
そして、ユーザが所望のデータアイコンを押下するなどによって電子データを選択すると、携帯端末３０の装置管理部３１ｂは、その電子データを処理可能な画像形成装置４０を抽出し、電子データを選択した状態でユーザが所望の方向の画像形成装置４０を撮像すると、位置特定部３６及び方向特定部３７は、自端末の位置及び方向を特定し、装置管理部３１ｂは、撮像した画像形成装置４０のライブビュー映像上の位置を特定し、その位置に当該画像形成装置４０を遠隔操作するための操作画面を合成する。
【００９５】
図１６は、操作画面（ここでは機能指示画面）の一例であり、データアイコンを機能実行画面の枠内にドラッグすることにより、機能指示画面で指示された機能に使用する電子データが選択される。また、図１７は、機能指示画面の他の例であり、選択された電子データに対して、撮像している画像形成装置４０がプリントとＦＡＸが可能な場合は、２つの機能指示画面を表示し、データアイコンをいずれかの機能指示画面の枠内にドラッグすることにより、プリント又はＦＡＸに使用する電子データが選択される。
【００９６】
なお、機能指示画面の構成は任意であり、例えば、第１の実施例と同様に、携帯端末３０にログインしたユーザの使用権限に応じて、画像形成装置４０に実行させる機能を制限してもよい。また、ここでは、電子データを選択した後、携帯端末３０の位置や向きを変えて画像形成装置４０を選択する構成としたが、例えば、画像形成装置４０を撮像しているライブビュー映像に機能指示画面を合成し、その機能指示画面を選択した後、携帯端末３０の位置や向きを変えて電子データを選択するようにしてもよい。また、ここでは、データアイコンを操作画面（機能指示画面）上にドラッグする構成としたが、機能指示画面を表示させた状態でデータアイコンをダブルクリックする構成としてもよいし、操作画面（機能指示画面）をデータアイコン上にドラッグする構成としてもよい。
【００９７】
そして、機能指示画面で処理を指示（ＯＫボタンを押下）すると、携帯端末３０の装置管理部３１ｂは、選択された電子データを用いた処理を指示する指示情報をＡＲサーバ２０に送信し、ＡＲサーバ２０では、データアイコンに対応する実データを取得し、実データからＰＣＬファイルを生成して画像形成装置４０に転送し、画像形成装置４０は、ＰＣＬファイルに基づいて処理を実行する。
【００９８】
その後、ユーザがＡＲアプリケーションの終了を指示すると、携帯端末３０の制御部３１は、ＡＲサーバ２０のログアウトを通知し、ＡＲサーバ２０は、ログアウト処理を実行すると共に、制御対象となる画像形成装置４０の装置情報取得間隔を元に戻し、携帯端末３０の制御部３１は、ＡＲアプリケーションを終了する。
【００９９】
なお、上記説明では、操作画面として、機能指示画面を例示したが、第１の実施例と同様に、処理条件を設定する画面などを表示してもよいし、操作画面を表示する前に、ステータス表示画面を表示してもよい。また、上記実施例では、予め位置が登録された電子データを用いて処理を行ったが、例えば、図１８に示すように、撮像部３８で撮像している処理装置に記憶されているフォルダを表示し、フォルダやそのフォルダに格納されている電子データを選択した後、携帯端末３０の位置や向きを変えて画像形成装置４０を選択するようにしてもよい。
【０１００】
このように、携帯端末３０は、データアイコンが合成されたライブビュー映像に、機能指示画面等の操作画面を表示（好ましくはライブビュー映像に操作画面を合成して表示）し、その操作画面で画像形成装置４０を遠隔操作できるようにするため、画像形成装置４０を直感的に操作することができ、ユーザの利便性を格段に向上させることができる。
【０１０１】
なお、本発明は上記実施例の記載に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。
【０１０２】
例えば、上記第２の実施例では、画像形成装置４０を撮像すると操作画面が表示されるようにしたが、図１９に示すように、電子データを選択すると、その電子データの周辺の画像形成装置４０を一覧表示する装置選択画面を表示して、その中から選択した画像形成装置４０で処理が実行されるようにしてもよい。
【０１０３】
また、上記各実施例では、画像形成装置４０を遠隔操作する場合について記載したが、コンピュータ装置、プロジェクタ、テレビモニタ、共有サーバ、他の携帯端末など、電子データを処理可能な任意の装置に対しても同様に適用することができる。例えば、プロジェクタやテレビモニタに画像データや文書データのデータアイコンをドラッグすることで映像を表示したり、コンピュータ装置にデータアイコンをドラッグすることで電子データの転送、メール送信、楽曲演奏などの操作を行うようにしてもよい。
【産業上の利用可能性】
【０１０４】
本発明は、携帯端末及び当該携帯端末を用いて処理装置を遠隔操作する方法に利用可能である。
【符号の説明】
【０１０５】
１０ 制御システム
２０ ＡＲサーバ
２１ 制御部
２１ａ 装置情報処理部
２１ｂ 装置制御部
２２ 記憶部
２３ 通信Ｉ／Ｆ部
３０ 携帯端末
３１ 制御部
３１ａ 装置情報取得部
３１ｂ 装置管理部
３２ 記憶部
３３ 通信Ｉ／Ｆ部
３４ 表示部
３５ 操作部
３６ 位置特定部
３７ 方向特定部
３８ 撮像部
４０ 画像形成装置
４１ａ データ解析部
４１ｂ 画像処理部
４２ 記憶部
４３ 通信Ｉ／Ｆ部
４４ 表示部
４５ 操作部
４６ スキャナ部
４７ 印刷部
【技術分野】
【０００１】
本発明は、携帯端末及び処理装置の操作方法に関し、特に、位置及び方向を特定する機能を備えた携帯端末及び当該携帯端末を用いた処理装置の操作方法に関する。
【背景技術】
【０００２】
コピー機能やプリント機能、スキャン機能などを備えた画像形成装置（ＭＦＰ：Multi Function Peripheral）が普及しており、会社等では、複数の画像形成装置をネットワークに接続して、ユーザが選択した画像形成装置から印刷物を出力している。
【０００３】
このようなシステムにおいて、ユーザが処理を行う画像形成装置が他のユーザに使用されている場合には、他のユーザのジョブが終了するまで処理が待たされることになる。そのため、どの画像形成装置がジョブの処理中であるかを確認する必要があるが、従来は、ユーザが画像形成装置のパネルが見える場所まで移動してパネルの表示を確認しなければならず、また、画像形成装置の機能を選択したり、処理を行うファイルを選択したり、処理の条件を設定したりするためには、ユーザが画像形成装置に赴いてパネルを操作しなければならなかった。
【０００４】
このような煩雑さを解消する方法として、PageScope WebConnectionのようにＷＥＢブラウザを使用してリモートで画像形成装置の状態確認や操作を行う方法もあるが、この方法では、接続ＵＲＬ（Uniform Resource Locator）として画像形成装置のＩＰ（Internet Protocol）アドレスが必要であり、複数の画像形成装置の状態を一度に知りたい場合などは、一つ一つの画像形成装置にアクセスして見て回る必要があり、簡便に画像形成装置の状態確認や操作を行うことができない。
【０００５】
また、別の方法として、下記特許文献１では、サーバ装置と無線を介して通信可能な携帯端末装置から送信されたデータに基づいて画像形成装置により画像を形成する画像形成処理システムであって、前記サーバ装置は、前記携帯端末装置からの要求に応じて、当該携帯端末装置の近辺に存在するネットワーク上の画像形成装置を検索する検索手段と、前記検索手段により見つけられた画像形成装置の所在位置を示した地図画像を表示するための前記携帯端末により閲覧可能なデータを生成する生成手段と、前記生成手段により生成されたデータを識別するための識別情報を前記携帯端末に対して通知する通知手段と、前記識別情報が示すデータへのアクセス要求に対応して、前記生成手段により生成されたデータを前記携帯端末装置に向けて送信する送信手段とを有し、前記地図画像の中で示されている画像形成装置の中から前記携帯端末装置において指定された画像形成装置により画像が形成される画像形成処理システムを開示している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−２３４２１８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１の方法は、携帯端末に画像形成装置の所在位置を示した地図画像を表示する方法であり、データを送信する携帯端末とその周囲の画像形成装置との位置関係を把握することは可能であるが、この方法では、携帯端末と画像形成装置の位置関係を２次元の地図上で把握しなければならないため、画像形成装置がどの方向にあるのかが分かりづらく、また、地図上に表示できる情報に限定されるため、画像形成装置の状態確認や操作を行いにくいという問題もあった。
【０００８】
本発明は、上記問題点に鑑みてなされたものであって、その主たる目的は、画像形成装置などの処理装置を直感的に操作することができる携帯端末及び処理装置の操作方法を提供することにある。
【課題を解決するための手段】
【０００９】
上記目的を達成するため、本発明は、表示部を備える携帯端末であって、自端末の位置を特定する位置特定部と、自端末の方向を特定する方向特定部と、予め記憶した１又は複数の処理装置の位置情報に基づいて、自端末から所定の距離範囲内、かつ、自端末の特定の方向に存在する所定の処理装置を特定し、当該所定の処理装置を遠隔操作するための操作画面を前記表示部に表示させる制御部と、を備えるものである。
【００１０】
また、本発明は、表示部を備える携帯端末と、１又は複数の処理装置と、サーバと、が通信ネットワークで接続されたシステムにおける前記処理装置の操作方法であって、前記サーバに、前記１又は複数の処理装置の位置情報を記述した装置管理テーブルを記憶する第１ステップと、前記携帯端末が、自端末の位置を特定し、前記サーバに自端末の位置情報を通知し、前記サーバが、前記装置管理テーブルを参照して、前記携帯端末から所定の距離範囲内に存在する処理装置を特定して前記携帯端末に通知し、前記携帯端末が、自端末の方向を特定し、前記所定の距離範囲内に存在する処理装置の中から、自端末の特定の方向に存在する所定の処理装置を特定する第２ステップと、前記携帯端末が、前記所定の処理装置を遠隔操作するための操作画面を前記表示部に表示する第３ステップと、を実行するものである。
【００１１】
また、本発明は、表示部を備える携帯端末と、１又は複数の処理装置と、サーバと、が通信ネットワークで接続されたシステムにおける前記処理装置の操作方法であって、前記サーバに、前記１又は複数の処理装置の位置情報を記述した装置管理テーブルを記憶する第１ステップと、前記携帯端末が、自端末の位置及び方向を特定し、前記サーバに自端末の位置情報及び方向情報を通知し、前記サーバが、前記装置管理テーブルを参照して、前記携帯端末から所定の距離範囲内、かつ、前記携帯端末の特定の方向に存在する所定の処理装置を特定して前記携帯端末に通知する第２ステップと、前記携帯端末が、前記所定の処理装置を遠隔操作するための操作画面を前記表示部に表示する第３ステップと、を実行するものである。
【００１２】
また、本発明は、表示部を備える携帯端末と、１又は複数の処理装置と、が通信ネットワークで接続されたシステムにおける前記処理装置の操作方法であって、前記携帯端末が、前記１又は複数の処理装置の位置情報を記述した装置管理テーブルを記憶する第１ステップと、自端末の位置及び方向を特定し、前記装置管理テーブルを参照して、自端末から所定の距離範囲内、かつ、自端末の特定の方向に存在する所定の処理装置を特定する第２ステップと、前記所定の処理装置を遠隔操作するための操作画面を前記表示部に表示する第３ステップと、を実行するものである。
【発明の効果】
【００１３】
本発明の携帯端末及び処理装置の操作方法によれば、画像形成装置などの処理装置を直感的に操作することができる。
【００１４】
その理由は、携帯端末の表示部には、携帯端末の周囲、かつ、携帯端末の特定の方向に存在する処理装置に対して、機能を選択したり、ファイルを選択したり、処理条件を設定したりするための操作画面が表示され、その操作画面で処理装置を遠隔操作することができるからである。
【００１５】
これにより、ユーザは処理装置の前まで行く必要がなくなり、また、壁の向こう側など物理的に見えない位置に配置された処理装置も操作することができる。また、処理装置のＩＰアドレスやＵＲＬが分からなくても操作が可能になり、操作性を格段に向上させることができる。
【００１６】
また、携帯端末の画面上で処理装置を操作することができるため、処理装置のパネルで操作する場合のように、機密文書やパスワード等を横から覗き見られるといったリスクを軽減することもできる。
【図面の簡単な説明】
【００１７】
【図１】本発明の第１の実施例に係る制御システムの構成例を示す図である。
【図２】本発明の第１の実施例に係るＡＲサーバの構成を示すブロック図である。
【図３】本発明の第１の実施例に係る携帯端末の構成を示すブロック図である。
【図４】本発明の第１の実施例に係る画像形成装置の構成を示すブロック図である。
【図５】本発明の第１の実施例に係る携帯端末でのＡＲ（拡張現実）アプリケーションのイメージを示す図である。
【図６】本発明の第１の実施例に係る携帯端末に表示される画面（ステータス表示画面）の一例を示す図である。
【図７】本発明の第１の実施例に係る携帯端末に表示される画面（操作画面）の一例を示す図である。
【図８】本発明の第１の実施例に係る携帯端末に表示される画面（操作画面）の他の例を示す図である。
【図９】本発明の第１の実施例に係る携帯端末に表示される画面（操作画面）の他の例を示す図である。
【図１０】本発明の第１の実施例に係る制御システムの動作を示すシーケンス図である。
【図１１】本発明の第１の実施例に係る画像形成装置の遠隔操作方法を示すフローチャート図である。
【図１２】本発明の第１の実施例に係るＡＲサーバに記憶される装置管理テーブルの一例である。
【図１３】電界強度からの位置を特定する方法を示すイメージ図である。
【図１４】ステータス情報を合成する位置を算出する方法を示す図である。
【図１５】本発明の第２の実施例に係る携帯端末でのＡＲ（拡張現実）アプリケーションのイメージを示す図である。
【図１６】本発明の第２の実施例に係る携帯端末に表示される画面（操作画面）の一例を示す図である。
【図１７】本発明の第２の実施例に係る携帯端末に表示される画面（操作画面）の他の例を示す図である。
【図１８】本発明の第２の実施例に係る携帯端末に表示される画面（操作画面）の他の例を示す図である。
【図１９】本発明の第２の実施例に係る携帯端末に表示される画面（操作画面）の他の例を示す図である。
【図２０】本発明の第２の実施例に係るＡＲサーバに記憶されるデータ管理テーブルの一例である。
【図２１】本発明の第２の実施例に係る制御システムの動作を示すシーケンス図である。
【発明を実施するための形態】
【００１８】
背景技術で示したように、会社等のように複数の画像形成装置がネットワークに接続されているシステムでは、適切な場所に設置された画像形成装置を容易に操作できるようにすることが求められており、地図上に画像形成装置を表示する方法が提案されている。しかしながら、この方法では表示する情報が限定され、また、２次元の地図に表示される画像形成装置が実際にどこにあるのかが分かりづらいという問題がある。
【００１９】
そこで、本発明の一実施の形態では、携帯端末の周囲の画像形成装置などの処理装置の内、携帯端末の特定の方向（カメラの画角）に存在する処理装置を特定し、カメラで撮像したライブビュー映像に、特定した処理装置を操作するための操作画面を合成して表示して、直感的に処理装置を遠隔操作できるようにする。
【００２０】
なお、セカイカメラのように、利用者が位置データと紐づけてアップロードした情報をスマートフォンのカメラを通した映像に合成して表示する拡張現実技術は存在するが、本発明のように、処理装置の状態をリアルタイムに表示したり、処理装置の操作を行ったりするものは存在しない。
【実施例１】
【００２１】
上記した本発明の実施の形態についてさらに詳細に説明すべく、本発明の第１の実施例に係る携帯端末及び処理装置の操作方法について、図１乃至図１４を参照して説明する。図１は、本実施例の制御システムの構成例を示す図であり、図２乃至図４は、各々、ＡＲサーバ、携帯端末、画像形成装置の構成を示すブロック図である。また、図５は、携帯端末での拡張現実アプリケーションのイメージを示す図であり、図６乃至図９は、携帯端末に表示される画面の一例を示す図である。また、図１０は、本実施例の制御システムの動作を示すシーケンス図であり、図１１は、本実施例の画像形成装置の遠隔操作方法を示すフローチャート図である。また、図１２は、ＡＲサーバに記憶される装置管理テーブルの一例、図１３は、電界強度からの携帯端末の位置を特定する方法を示すイメージ図であり、図１４は、ステータス情報を合成する位置を算出する方法を示す図である。
【００２２】
図１に示すように、本実施例の制御システム１０は、拡張現実（ＡＲ：augmented reality）サーバ２０と、スマートフォンや携帯電話機、ＰＤＡ（Personal Digital Assistants）などの携帯端末３０と、携帯端末３０により遠隔操作される処理装置（本実施例では、ＭＦＰなどの画像形成装置４０とする。）とで構成され、これらは、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などのネットワークに接続（携帯端末３０は、無線ルータや無線基地局を介してネットワークに接続）されている。以下、各装置の構成について詳細に説明する。
【００２３】
［ＡＲサーバ］
図２に示すように、ＡＲサーバ２０は、制御部２１、記憶部２２、通信Ｉ／Ｆ部２３などで構成される。
【００２４】
制御部２１は、ＣＰＵ（Central Processing Unit）とＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリとで構成され、ＡＲサーバ２０全体を制御する。また、制御部２１は、画像形成装置４０から当該装置の状態を示す情報（ステータス情報と呼ぶ。）及び当該装置で実行可能な機能や設定可能な条件などの情報（機能情報と呼ぶ。）を取得すると共に、携帯端末３０から位置情報を取得し、携帯端末３０の周囲（携帯端末３０から所定の距離範囲内）に存在する画像形成装置４０を特定して、その画像形成装置４０のリスト（周辺ＭＦＰリストと呼ぶ。）やステータス情報及び機能情報（これらを総称して装置情報と呼ぶ。）などを携帯端末３０に送信する装置情報処理部２１ａと、携帯端末３０から指示情報を取得し、その指示情報に従って画像形成装置４０に指示された機能を実行させる装置制御部２１ｂとしても機能する。
【００２５】
記憶部２２は、ＨＤＤ（Hard Disk Drive）などで構成され、後述する装置管理テーブル、各画像形成装置４０に対するユーザの操作権限、ＰＣＬ（Printer Control Language）やＰＳ（Post Script）などのＰＤＬ（Page Description Language）で記述した実データなどを保存する。
【００２６】
通信Ｉ／Ｆ部２３は、ＮＩＣ（Network Interface Card）やモデムなどのインターフェースであり、イーサネット（登録商標）などの規格に基づいて、携帯端末３０や画像形成装置４０との通信を行う。
【００２７】
［携帯端末］
図３に示すように、携帯端末３０は、制御部３１、記憶部３２、通信Ｉ／Ｆ部３３、表示部３４、操作部３５、位置特定部３６、方向特定部３７、撮像部３８などで構成される。
【００２８】
制御部３１は、ＣＰＵとＲＡＭやＲＯＭなどのメモリとで構成され、携帯端末３０全体を制御する。また、制御部３１は、ＡＲサーバ２０に自端末の位置情報を送信し、ＡＲサーバ２０から自端末の周囲の画像形成装置４０の周辺ＭＦＰリストを取得すると共に、画像形成装置４０の装置情報（ステータス情報及び機能情報）を取得する装置情報取得部３１ａと、周辺ＭＦＰリストの中から遠隔操作を行う画像形成装置４０を特定すると共に、ステータス情報を表示部３４に表示（若しくは撮像画面に合成）して画像形成装置４０の状態を確認できるようにし、機能情報に基づいて作成した操作画面を表示部３４に表示（若しくは撮像画面に合成）し、画像形成装置４０を遠隔操作できるようにする装置管理部３１ｂとしても機能する。なお、上記装置情報取得部３１ａや装置管理部３１ｂとしての機能はハードウェアとして実現してもよいし、制御部３１を装置情報取得部３１ａや装置管理部３１ｂとして機能させるプログラム（ＡＲアプリケーションと呼ぶ。）として実現してもよい。
【００２９】
記憶部３２は、ＨＤＤなどで構成され、ＡＲサーバ２０から取得した周辺ＭＦＰリストや装置情報、画像形成装置４０に処理させる電子データなどを保存する。
【００３０】
通信Ｉ／Ｆ部３３は、ＮＩＣやモデムなどのインターフェースであり、無線ルータや無線基地局を介してネットワークに接続し、ＡＲサーバ２０や画像形成装置４０との通信を行う。
【００３１】
表示部３４は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（electroluminescence）ディスプレイなどであり、ステータス情報に基づく画面（後述するステータス表示画面）や機能情報に基づく画面（後述する操作画面）などを表示する。
【００３２】
操作部３５は、ハードキーや表示部３４上のタッチパネルであり、表示されているステータス表示画面や操作画面に対する操作を受け付け、画像形成装置４０に対する各種指示を可能にする。
【００３３】
位置特定部３６は、ＧＰＳ（Global Positioning System）を使用して自端末の位置（座標）を特定する。また、方向特定部３７は、ジャイロと加速度センサを組み合わせた自立測位技術を用いて、自端末の方向を特定する。なお、位置が特定されている画像形成装置４０が電磁波（無線ＬＡＮやWi-Fi（Wireless Fidelity）、Bluetoothなどの規格で定められる電波）を発信しており、携帯端末３０が、その電磁波を受信可能な場合は、図１３に示すように、携帯端末３０が複数（好ましくは３以上）の画像形成装置４０から発信される電磁波の電界強度を測定し、その電界強度の値に基づいて、複数の画像形成装置４０に対する自端末の位置（座標）や方向を特定してもよい。また、撮像部３８で撮像した画像を解析し、色や形状、模様等を画像認識して画像形成装置４０を特定し、その画像形成装置の位置から自端末の位置や方向を特定してもよい。また、画像形成装置４０に貼り付けたＱＲコードのようなバーコード等を画像認識したり、ＲＦＩＤ（Radio Frequency Identification）等のタグを認識して画像形成装置４０を特定し、その画像形成装置の位置から自端末の位置や方向を特定してもよい。
【００３４】
撮像部３８は、ＣＣＤ（Charge Coupled Devices）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラなどであり、画像形成装置４０などを撮像してライブビュー映像を取得する。
【００３５】
なお、図３では、携帯端末３０に撮像部３８を設けているが、撮像部３８で撮像したライブビュー映像にステータス表示画面や操作画面を合成する必要がない場合は、撮像部３８を省略することもできる。
【００３６】
［画像形成装置］
図４に示すように、画像形成装置４０は、制御部４１、記憶部４２、通信Ｉ／Ｆ部４３、表示部４４、操作部４５、スキャナ部４６、印刷部４７などで構成される。
【００３７】
制御部４１は、ＣＰＵとＲＡＭやＲＯＭなどのメモリとで構成され、画像形成装置４０全体を制御する。また、制御部４１は、ＰＣＬやＰＤＬで記述した実データを解析するデータ解析部、解析結果に基づいて実データをラスタライズ（ビットマップ展開）してイメージデータを生成する画像処理部としても機能する。
【００３８】
記憶部４２は、ＨＤＤなどで構成され、実データやイメージデータ、各種設定情報などを保存する。
【００３９】
通信Ｉ／Ｆ部４３は、ＮＩＣやモデムなどのインターフェースであり、イーサネット（登録商標）などの規格に基づいて、ＡＲサーバ２０や携帯端末３０との通信を行う。
【００４０】
表示部４４は、ＬＣＤや有機ＥＬディスプレイなどであり、コピーやスキャン、印刷、ＦＡＸなどの機能を実現するための各種画面を表示する。
【００４１】
操作部４５は、ハードキーや表示部４４上のタッチパネルであり、コピーやスキャン、印刷、ＦＡＸなどの機能に対する各種指示を行う。
【００４２】
スキャナ部４６は、原稿台上の原稿用紙から画像データを光学的に読み取る部分であり、原稿を走査する光源と、原稿で反射された光を電気信号に変換するＣＣＤ等のイメージセンサと、電気信号をＡ／Ｄ変換するＡ／Ｄ変換器等により構成される。
【００４３】
印刷部４７は、イメージデータを用紙に転写する。具体的には、帯電装置により帯電された感光体ドラムに露光装置から画像に応じた光を照射して静電潜像を形成し、現像装置で帯電したトナーを付着させて現像し、そのトナー像を転写ベルトに１次転写し、転写ベルトから紙媒体に２次転写し、更に定着装置で紙媒体にトナー像を定着させる処理を行う。また、必要に応じて、折りや製本、ステープルなどの処理を行う。
【００４４】
なお、本実施例では、ＡＲサーバ２０の制御部２１が携帯端末３０の周囲の画像形成装置４０を特定する構成とするが、画像形成装置４０の位置情報を携帯端末３０に記憶しておき、携帯端末３０の制御部３１が、自端末の周囲かつ特定の方向に存在する画像形成装置４０を特定する構成としてもよい。また、本実施例では、ＡＲサーバ２０が画像形成装置４０からステータス情報や機能情報を取得する構成とするが、携帯端末３０が画像形成装置４０から直接これらの情報を取得する構成としてもよい。また、本実施例では、ＡＲサーバ２０が画像形成装置４０に処理を指示する構成とするが、携帯端末３０が画像形成装置４０に直接、処理を指示する構成としてもよい。このように、携帯端末３０にＡＲサーバ２０の制御部２１の機能を備えている場合は、ＡＲサーバ２０を省略することもできる。また、本実施例では、画像形成装置４０を制御する構成とするが、コンピュータ装置など、携帯端末３０で遠隔操作が可能な任意の装置を同様に制御することができる。
【００４５】
次に、上記構成の制御システム１０の基本動作について、図１０のシーケンス図を参照して説明する。なお、以下の説明において、各画像形成装置４０に関する情報（ネットワーク上の登録名称や製品名、ＩＰアドレス、接続ポート、ＳＳＬ（Secure Socket Layer）通信の可否など）と各画像形成装置４０の位置情報（緯度、経度、高度など）は、図１２に示す装置管理テーブルとして予めＡＲサーバ２０の記憶部２２などに記憶されているものとする。この装置管理テーブルの位置情報はユーザが登録してもよいし、画像形成装置４０にＧＰＳ等の位置特定機能が搭載されている場合は、画像形成装置４０から送信される位置情報を使用して登録してもよいし、画像形成装置４０の近傍に携帯端末３０を持って行き、携帯端末３０から送信される位置情報を使用して登録してもよい。
【００４６】
ＡＲサーバ２０は、ネットワークに接続されている画像形成装置４０に定期的にアクセス（若しくは、画像形成装置４０側が定期的にＡＲサーバ２０にアクセス）して、各画像形成装置４０の装置情報（ステータス情報及び機能情報）を取得し、記憶部２２等に記憶する。なお、アクセス間隔は任意であるが、画像形成装置４０の状態は時々刻々変化するため、携帯端末３０がＡＲアプリケーションを起動した後は、アクセス間隔を短くすることが望ましい。また、ここではステータス情報及び機能情報を定期的に取得する構成とするが、機能情報が変化しない場合は、予め機能情報を取得しておき、ステータス情報のみを定期的に取得する構成としてもよい。
【００４７】
次に、ユーザが携帯端末３０の操作部３５を操作してＡＲアプリケーションの起動を指示すると、制御部３１は、ＡＲアプリケーションを起動し、表示部３４にログイン画面を表示する。そして、ユーザがＩＤやパスワードを入力し、ログインボタンを押下すると、制御部３１は、ＡＲサーバ２０にログインを通知し、ＡＲサーバ２０は認証処理を行い、その結果を携帯端末３０に通知する。認証結果がＯＫの場合は、制御部３１は、撮像部３８を起動して撮像を開始し、ライブビュー映像を表示部３４に表示する。
【００４８】
次に、携帯端末３０の位置特定部３６は、自端末の位置を特定し、装置情報取得部３１ａは、特定した位置情報をＡＲサーバ２０に送信する。例えば、画像形成装置４０が発信する電磁波の電界強度を用いて位置を特定する場合において、図１３に示すように、装置Ａ、Ｂ、Ｃの３つの画像形成装置４０が各々、図の同心円で示す領域に電界強度１〜３で電磁波を発信しており、装置Ａの電界強度が「１」、装置Ｂ及び装置Ｃの電界強度が「２」の場合は、携帯端末３０は図の網掛け領域に存在することから、各画像形成装置４０の位置（座標）に基づいて、自端末の位置（座標）を特定する。
【００４９】
ＡＲサーバ２０の装置情報処理部２１ａは、携帯端末３０から位置情報を取得すると、予め記憶部２２などに記憶した装置管理テーブルを参照して、携帯端末３０の周囲（携帯端末３０からの距離が所定範囲内）に存在する画像形成装置４０を抽出し、抽出した画像形成装置４０のリスト（周辺ＭＦＰリスト）及びその画像形成装置４０のステータス情報を携帯端末３０に送信する。携帯端末３０の装置情報取得部３１ａは、受信した周辺ＭＦＰリスト及びステータス情報を記憶部３２などに記憶する。
【００５０】
次に、携帯端末３０の位置特定部３６及び方向特定部３７は、自端末の位置及び方向を特定し、装置管理部３１ｂは、周辺ＭＦＰリストの画像形成装置４０の内、携帯端末３０の周囲かつ特定の方向に存在する画像形成装置４０を特定する。なお、ここでは、ＡＲサーバ２０から周辺ＭＦＰリストを取得し、その中から自端末の周囲かつ特定の方向に存在する画像形成装置４０を特定する構成とするが、ＡＲサーバ２０に自端末の位置情報及び方向情報を送信し、ＡＲサーバ２０が携帯端末３０の周囲かつ特定の方向に存在する画像形成装置４０を特定してもよい。また、ここでは周辺ＭＦＰリストを取得した後に、再度、位置特定部３６を用いて自端末の位置を特定しているが、携帯端末３０の位置を動かさない（方向のみを回転させる）場合は、方向特定部３７を用いて自端末の方向のみを特定すればよい。
【００５１】
そして、装置管理部３１ｂは、自端末の位置及び方向と画像形成装置４０の位置情報と撮像部３８の画角などに基づいて、特定した画像形成装置４０のライブビュー映像上の位置を算出し、その位置に当該画像形成装置４０のステータス情報を表示させる。そして、携帯端末３０の方向が変化して、その画像形成装置４０が特定の方向から外れたらステータス情報の表示を消去し、新たな画像形成装置４０が特定の方向に入ったら、その画像形成装置４０のステータス情報を表示する動作を繰り返す。すなわち、携帯端末３０を３６０度回転させると、特定の方向に存在する画像形成装置４０のステータス情報が順次表示されることになる。
【００５２】
このステータス情報の表示形態は特に限定されず、ステータス情報を単独で表示してもよいし、撮像部３８で画像形成装置４０を撮像している場合は、その画像形成装置４０のライブビュー映像上にステータス情報を合成して表示してもよい。図５は、携帯端末３０で周辺を撮像している様子を示す図であり、表示部３４に撮像部３８で撮像しているライブビュー映像が表示されると共に、必要に応じて、ネットワークに接続されている画像形成装置４０の配置や携帯端末３０の周辺の範囲を図示した枠などが表示される。また、図６は、画像形成装置４０を撮像している時の携帯端末３０の表示部３４を拡大した図（主要構成のみ）であり、撮像部３８で撮像している画像形成装置４０の画像には、ステータス情報（当該画像形成装置４０がジョブ待ちの状態であることを示す「待機中」の文字やジョブの実行中であることを示す「印刷中」の文字など）を枠で囲んだ画面（ステータス表示画面と呼ぶ。）が合成される。このように、画像形成装置４０のライブビュー映像にステータス情報を合成して表示することにより、画像形成装置４０の状態を直感的に把握することができる。
【００５３】
なお、ステータス情報は上記に限らず、残ジョブ数やジョブ終了予測時時刻等を表示したり、ジョブを登録したユーザ情報等の詳細情報を表示したりしてもよい。また、エラー状態やエラーからのリカバリ方法や操作手順を示すガイダンスなどを表示してもよい。また、上記ステータス情報の表示に際して、画像形成装置４０と携帯端末３０の距離により、遠近法に従ってステータス情報の表示サイズを変えたり、装置の状態や残ジョブ数によって、表示の色、透明度、大きさ、アニメーション効果等を変えたり、ユーザ権限やシステム設定等によって表示する項目を変えたりしてもよい。また、デバイス毎にステータスを表示するのではなく、ジョブ毎にステータスを表示して、ジョブ実行中止、削除、再実行等のジョブ制御が行えるようにしてもよい。
【００５４】
また、図６の構成の表示形態において、ステータス情報が画像形成装置４０の画像上に表示されるようにするためには、ステータス情報の配置位置のｘ座標と画面上の画像形成装置４０の中心のｘ座標とが一致するようにすればよい。この画像形成装置４０のｘ座標は、図１４（ａ）に示すように、携帯端末３０の画面表示サイズ（Ｘ方向のサイズ）をｗｋし、図１４（ｂ）に示すように、携帯端末３０の特定方向（ここでは上方向）を基準方向とした場合の時計回りの画像形成装置４０の向きをαｍ、カメラの水平方向への画角（正確には表示可能な範囲の撮影範囲角度）をαｒ、基準方向からの携帯端末３０の向き（カメラの撮像範囲角度（αｒ）の中心）をαｃとすると、
ｘ＝ｗｋ×（αｍ−（αｃ−αｒ／２））／αｒ
となる。
【００５５】
また、図１４（ｃ）に示すように、上記αｍは、携帯端末３０の座標を（ｘｋ、ｙｋ）とし、画像形成装置４０の座標を（ｘｍ、ｙｍ）とすると、
αｍ＝１８０−（ｔａｎ−１（（ｙｍ−ｙｋ）／（ｘｍ−ｘｋ））×（３６０／２π））
となる。
【００５６】
従って、上記式に従ってｘを求め、ステータス情報の表示位置のｘ座標をこの値に設定すれば、画像形成装置４０の画像の中心にステータス情報を合成することができる。
【００５７】
ここで、ステータス情報により画像形成装置４０が待機中であることが分かれば、その画像形成装置４０を用いた処理が可能であることから、以下の手順に従って画像形成装置４０を遠隔操作できるようにする。
【００５８】
具体的には、ユーザが所定の操作（例えば、ステータス表示画面の領域をタッチしたり、携帯端末３０の特定の操作ボタンを押下したり、画像形成装置４０の操作パネルに相当する位置を押下する等の操作）を行うと、携帯端末３０の制御部３１は、必要に応じて、ＡＲサーバ２０にログインユーザの操作権限を確認する。ＡＲサーバ２０の操作部２１は、ログインユーザの操作権限を記憶部２２などから取得し、携帯端末３０に送信する。
【００５９】
次に、携帯端末３０の装置管理部３１ｂは、ＡＲサーバ２０から、その画像形成装置４０の機能情報を取得し、機能情報及び必要に応じてユーザ権限に応じた操作画面を作成し、表示部３４に表示する。例えば、図７に示すように、ライブビュー映像上に、ログインユーザがその画像形成装置４０に対して実行可能な機能（ここでは、コピー、スキャン、プリント、Ｆａｘ、ＭＦＰ管理）を指示する操作画面（この場合は機能選択画面）を合成し、画像形成装置４０を遠隔操作できるようにする。
【００６０】
上記機能選択画面の構成は任意であり、例えば、画像形成装置４０の表示部４４に表示される操作画面と同じ構成としてもよいし、画像形成装置４０に備える全ての機能を表示し、ログインユーザが実行できない機能は選択できないように（例えば、グレー表示）してもよい。また、ここでは、遠隔操作を行う画像形成装置４０のライブビュー映像に機能選択画面を合成しているが、ステータス表示画面の領域をタッチするなどの操作によって画像形成装置４０を特定した後は、画像形成装置４０のライブビュー映像と機能選択画面とは必ずしも対応させて表示する必要はないため、機能選択画面のみを表示してもよいし、任意のライブビュー映像（例えば、当該画像形成装置４０を撮像していないライブビュー映像）に機能選択画面を合成してもよい。
【００６１】
そして、ユーザが操作画面（機能選択画面）で所定の機能（ここではプリント機能）を選択すると、携帯端末３０の装置管理部３１ｂは、ファイルの保存場所の一覧（例えば、ＡＲサーバ２０と携帯端末３０と画像形成装置４０）を表示し、その中から所望の保存場所（例えば、携帯端末３０の記憶部３２）を選択すると、その保存場所に予め記憶されたファイルの一覧を取得し、ファイルを選択するための操作画面を作成して表示部３４に表示する。例えば、図８に示すように、ライブビュー映像上に、ファイル名とファイルの属性を記述した操作画面（この場合はファイル選択画面）を合成し、画像形成装置４０にプリントさせるファイルの選択を遠隔操作できるようにする。
【００６２】
上記ファイル選択画面の構成も任意であり、例えば、記憶部に記憶された全てのファイルを表示してもよいし、所定の属性のファイルのみを表示してもよいし、ログインユーザが作成したファイルやログインユーザが使用する権限を有するファイルのみを表示してもよい。また、ここでも、遠隔操作を行う画像形成装置４０のライブビュー映像にファイル選択画面を合成しているが、画像形成装置４０を特定した後は、ライブビュー映像とファイル選択画面とは必ずしも対応させて表示する必要はないため、ファイル選択画面のみを表示してもよいし、任意のライブビュー映像にファイル選択画面を合成してもよい。
【００６３】
次に、ユーザが操作画面（ファイル選択画面）でファイルを選択すると、携帯端末３０の装置管理部３１ｂは、機能情報に応じた操作画面を作成し、表示部３４に表示する。例えば、図９に示すように、ライブビュー映像上に、選択した機能に対する条件（ここでは、部数やカラー、用紙サイズ、ページ指定など）を設定する操作画面（この場合は条件設定画面）を合成し、選択した機能に対する条件設定を遠隔操作できるようにする。
【００６４】
上記条件設定画面の構成も任意であり、例えば、画像形成装置４０の表示部４４に表示される操作画面と同じ構成としてもよいし、選択した機能に対して設定可能な全ての条件を表示し、ログインユーザが設定できない項目はグレー表示してもよい。また、ここでも、遠隔操作を行う画像形成装置４０のライブビュー映像に条件設定画面を合成しているが、画像形成装置４０を特定した後は、ライブビュー映像と条件設定画面とは必ずしも対応させて表示する必要はないため、条件設定画面のみを表示してもよいし、任意のライブビュー映像に条件設定画面を合成してもよい。
【００６５】
そして、条件設定画面でプリント条件を設定した後、ＯＫボタンを押下すると、携帯端末３０の装置管理部３１ｂは、選択されたファイル、選択された機能及び設定情報をＡＲサーバ２０に送信する。具体的には、機能選択画面やファイル選択画面、条件設定画面の表示部３４上の位置を予め記憶しておき、ユーザが画面上でタッチした位置に対応する機能、ファイル、条件を特定して指示情報を作成し、その指示情報をＡＲサーバ２０に送信する。ＡＲサーバ２０では、選択されたファイルからＰＣＬファイルを生成して画像形成装置４０に転送し、画像形成装置４０は、ＰＣＬファイルに基づいて印刷処理を実行する。また、携帯端末３０の装置管理部３１ｂは、ＰＣＬファイルが画像形成装置４０に転送されたら、印刷受付完了画面を表示部３４に表示する。
【００６６】
その後、ユーザがＡＲアプリケーションの終了を指示すると、携帯端末３０の制御部３１は、ＡＲサーバ２０のログアウトを通知し、ＡＲサーバ２０は、ログアウト処理を実行すると共に、制御対象となる画像形成装置４０の装置情報取得間隔を元に戻し、携帯端末３０の制御部３１は、ＡＲアプリケーションを終了する。
【００６７】
なお、上記説明では、ステータス表示画面を表示した後、操作画面（機能選択画面やファイル選択画面、条件設定画面など）を表示する構成としたが、ステータス表示画面の表示は省略することもできる。その場合は、撮像部３８で画像形成装置４０を撮像したら、自動的に機能選択画面を表示したり、撮像部３８で画像形成装置４０を撮像した状態で所定の操作を行ったら、機能選択画面を表示したりする。また、携帯端末３０の方向が変化して、その画像形成装置４０が特定の方向から外れたら機能選択画面の表示を消去し、新たな画像形成装置４０が特定の方向に入ったら、その画像形成装置４０の機能選択画面を表示する動作を繰り返す。
【００６８】
また、上記説明では、操作画面として、機能選択画面、ファイル選択画面、条件設定画面の３つの画面が表示される構成としたが、画像形成装置４０を操作するための画面が１つ以上、表示されればよい。例えば、コピーの場合はファイル選択画面を省略することができるし、スキャンの場合はファイル選択画面に代えてスキャン画像の保存先を指定する画面を表示することができる。
【００６９】
次に、携帯端末３０に表示される画面を用いて画像形成装置４０を遠隔操作する方法について、図１１のフローチャート図を参照して詳細に説明する。なお、図１１の実線の枠は携帯端末３０の動作を示し、破線の枠はＡＲサーバ２０若しくは画像形成装置４０の動作を示している。
【００７０】
まず、携帯端末３０の表示部３４に表示されているライブビュー映像に画像形成装置４０のステータス情報を合成して表示する。そして、ユーザがステータス情報の表示領域（ステータス表示画面）を押下すると（Ｓ１０１）、携帯端末３０の装置情報取得部３１ａは、ＡＲサーバ２０にアクセスして、ＡＲサーバ２０からログインユーザの操作権限（コピー、プリント、スキャン、Ｆａｘ送信、管理機能等の機能毎の操作権限）を取得する（Ｓ１０２）。なお、この操作権限は、利用回数や利用時間帯等の制限を付加してもよいし、画像形成装置４０毎に設定できるようにしてもよい。
【００７１】
次に、携帯端末３０の装置情報取得部３１ａは、ＡＲサーバ２０から、その画像形成装置４０の機能情報（各機能の実行可否、各機能の設定可能値など）を取得し（Ｓ１０３）、装置管理部３１ｂは、ログインユーザの操作権限及び画像形成装置４０の機能情報に応じて、表示部３４に、図７に示すような機能選択画面を表示させる（Ｓ１０４）。なお、各機能の設定可能値とは、例えば、印刷機能におけるカラー、n in 1、両面、パンチ・ステープル等の可否、スキャン機能におけるカラー、解像度等可否、コピー機能におけるカラー、n in 1、両面、パンチ・ステープル等の可否、Ｆａｘ送信機能におけるＦａｘ送信可否などである。
【００７２】
そして、装置管理部３１ｂは、機能選択画面のどの機能が押下されたかを判断し（Ｓ１０５）、押下された機能に応じた処理を実行する。ここでは、コピーとスキャンとプリントの各機能が選択された場合について例示する。
【００７３】
まず、機能選択画面でコピーのボタンが押下された場合は、装置管理部３１ｂは、画像形成装置４０の機能情報に基づいて、表示部３４にコピー設定選択画面を表示させる（Ｓ１０６）。そして、ユーザがコピー設定を選択し（Ｓ１０７）、スタートボタンを押下したら（Ｓ１０８）、装置管理部３１ｂは、コピー設定情報をＡＲサーバ２０に送信し（Ｓ１０９）、ＡＲサーバ２０は、そのコピー設定情報に従って画像形成装置４０にコピーの実行を指示し（Ｓ１１０）、画像形成装置４０は、コピーを実行する（Ｓ１１１）。なお、ここでは携帯端末３０からＡＲサーバ２０にコピー設定情報を送信し、ＡＲサーバ２０が画像形成装置４０にコピーの実行を指示する構成としているが、携帯端末３０が画像形成装置４０と通信する機能を搭載している場合は、ＡＲサーバ２０を介することなく、携帯端末３０から直接、画像形成装置４０にコピーの実行を指示してもよい。
【００７４】
また、機能選択画面でスキャンのボタンが押下された場合は、装置管理部３１ｂは、画像形成装置４０の機能情報に基づいて、表示部３４にスキャン設定選択画面を表示させる（Ｓ１１２）。そして、ユーザがスキャン設定を選択したら（Ｓ１１３）、装置管理部３１ｂは、表示部３４にスキャンファイル保存先選択画面を表示させる（Ｓ１１４）。このスキャンファイル保存先選択画面でユーザが保存先を選択し（Ｓ１１５）、スタートボタンを押下したら（Ｓ１１６）、装置管理部３１ｂは、スキャン設定情報及び保存先情報をＡＲサーバ２０に送信し（Ｓ１１７）、ＡＲサーバ２０は、そのスキャン設定情報及び保存先情報に従って画像形成装置４０にリモートスキャンの実行を指示し（Ｓ１１８）、画像形成装置４０は、スキャンを実行する（Ｓ１１９）。なお、上記と同様に、携帯端末３０が画像形成装置４０と通信する機能を搭載している場合は、ＡＲサーバ２０を介することなく、携帯端末３０から直接、画像形成装置４０にリモートスキャンの実行を指示してもよい。
【００７５】
保存先のストレージが携帯端末３０の場合は、ＡＲサーバ２０は画像形成装置４０からスキャンデータを取得し（Ｓ１２１）、携帯端末３０は、ＡＲサーバ２０からスキャンデータを取得し（Ｓ１２２）、取得したスキャンデータを保存する（Ｓ１２３）。保存先のストレージが共有サーバの場合は、ＡＲサーバ２０は画像形成装置４０からスキャンデータを取得し（Ｓ１２４）、そのスキャンデータを共有サーバに転送する（Ｓ１２５）。保存先のストレージが画像形成装置４０の記憶部４２の場合は、スキャンデータを記憶部４２に保存する（Ｓ１２６）。
【００７６】
また、機能選択画面でプリントのボタンが押下された場合は、装置管理部３１ｂは、表示部３４にファイル選択画面を表示させる（Ｓ１２７）。そして、ユーザがファイルを選択したら（Ｓ１２８）、装置管理部３１ｂは、画像形成装置４０の機能情報に基づいて、表示部３４に印刷設定選択画面を表示させる（Ｓ１２９）。そして、ユーザが印刷設定を選択したら（Ｓ１３０）、装置管理部３１ｂは、選択ファイルの保存場所を判断し（Ｓ１３１）、携帯端末３０に保存されている場合は、印刷設定情報及び選択ファイルの実データをＡＲサーバ２０に送信する（Ｓ１３２）。また、共有サーバに保存されている場合は、装置管理部３１ｂは、印刷設定情報及び選択ファイルのパス情報をＡＲサーバ２０に送信し（Ｓ１３３）、ＡＲサーバ２０は、そのパス情報に従って共有サーバからファイルを取得する（Ｓ１３４）。その後、ＡＲサーバ２０は、ＰＣＬファイルを作成して（Ｓ１３５）、画像形成装置４０に転送し（Ｓ１３６）、画像形成装置４０は、印刷を実行する（Ｓ１３７）。
【００７７】
このように、携帯端末３０は、画像形成装置４０のライブビュー映像にその画像形成装置４０のステータス情報を合成して表示した後、機能選択画面やファイル選択画面、印刷設定画面等の操作画面を表示（好ましくはライブビュー映像に操作画面を合成して表示）し、その操作画面で画像形成装置４０を遠隔操作できるようにするため、画像形成装置４０を直感的に操作することができ、ユーザの利便性を格段に向上させることができる。
【実施例２】
【００７８】
次に、本発明の第２の実施例に係る携帯端末及び処理装置の操作方法について、図１５乃至図２１を参照して説明する。図１５は、携帯端末での拡張現実アプリケーションのイメージを示す図であり、図１６乃至図１９は、携帯端末の表示画面の一例である。また、図２０は、本実施例の制御システムの動作を示すシーケンス図であり、図２１は、ＡＲサーバに記憶されるデータ管理テーブルの一例である。
【００７９】
前記した第１の実施例では、ファイル選択画面を表示してファイルの選択を行う構成としたが、処理装置で処理可能な電子データ（文書データや画像データ、音楽データなど）を保存する際、電子データに位置情報を関連付けることもできる。そこで、本実施例では、撮像部３８が撮像している位置に関連付けて登録された電子データを特定する情報（例えば、データアイコン）をライブビュー映像に合成し、操作画面とデータアイコンを利用して、より直感的に画像形成装置４０を遠隔操作できるようにする。
【００８０】
具体的には、図２１に示すように、電子データに関する情報（ファイル又はフォルダの種別、ファイル又はフォルダの名称、拡張子など）と、電子データの保存先に関する情報（サーバ名、ファイルパス、プロトコル、ポート番号など）と、電子データの登録位置（当該電子データを記憶する装置の実在位置でもよいし、任意の空間上の位置でもよい。）に関する情報（緯度、経度、高度など）と、を記述したデータ管理テーブルを作成し、そのデータ管理テーブルをＡＲサーバ２０の記憶部２２などに記憶しておく。
【００８１】
そして、ＡＲサーバ２０の装置情報処理部２１ａは、携帯端末３０から位置情報を取得し、このデータ管理テーブルを参照して、携帯端末３０の周囲（携帯端末３０から所定の距離範囲内）に存在する電子データを特定して、その電子データのリスト（周辺データリストと呼ぶ。）を携帯端末３０に送信する制御を行い、装置制御部２１ｂは、携帯端末３０から電子データに対する指示情報を取得し、その指示情報に従って画像形成装置４０に指示された機能を実行させる制御を行う。
【００８２】
また、携帯端末３０の装置情報取得部３１ａは、ＡＲサーバ２０に自端末の位置情報を送信し、ＡＲサーバ２０から自端末の周囲の電子データのリスト（周辺データリスト）を取得する制御を行い、装置管理部３１ｂは、電子データを特定する情報（データアイコンなど）をライブビュー映像に合成し、その電子データを適切な画像形成装置４０で処理できるようにする。
【００８３】
なお、本実施例では、ＡＲサーバ２０の制御部２１が携帯端末３０の周囲の電子データを特定する構成とするが、電子データの位置情報を携帯端末３０に記憶しておき、携帯端末３０の制御部３１が、自端末の周囲かつ特定の方向に存在する電子データを特定する構成としてもよく、携帯端末３０にＡＲサーバ２０の制御部２１の機能を備えている場合は、ＡＲサーバ２０を省略することもできる。
【００８４】
以下、上記構成の制御システム１０の動作について、図２０のシーケンス図を参照して説明する。なお、以下の説明において、ＡＲサーバ２０の記憶部２２などには、図１２に示す装置管理テーブルと、図２１に示すデータ管理テーブルが予め登録されているものとする。
【００８５】
ＡＲサーバ２０は、ネットワークに接続されている画像形成装置４０に定期的にアクセス（若しくは、画像形成装置４０側が定期的にＡＲサーバ２０にアクセス）して、各画像形成装置４０の装置情報（ステータス情報及び機能情報）を取得する。なお、アクセス間隔は任意であるが、画像形成装置４０の状態は時々刻々変化するため、携帯端末３０がＡＲアプリケーションを起動した後は、アクセス間隔を短くすることが望ましい。また、ここではステータス情報及び機能情報を定期的に取得する構成とするが、機能情報が変化しない場合は、予め機能情報を取得しておき、ステータス情報のみを定期的に取得する構成としてもよい。
【００８６】
次に、ユーザが携帯端末３０の操作部３５を操作してＡＲアプリケーションの起動を指示すると、制御部３１は、ＡＲアプリケーションを起動し、表示部３４にログイン画面を表示する。そして、ユーザがＩＤやパスワードを入力し、ログインボタンを押下すると、制御部３１は、ＡＲサーバ２０にログインを通知し、ＡＲサーバ２０は認証処理を行い、その結果を携帯端末３０に通知する。認証結果がＯＫの場合は、制御部３１は、撮像部３８を起動して撮像を開始し、ライブビュー映像を表示部３４に表示する。
【００８７】
次に、携帯端末３０の位置特定部３６は、自端末の位置を特定し、装置情報取得部３１ａは、特定した位置情報をＡＲサーバ２０に送信する。
【００８８】
ＡＲサーバ２０の装置情報処理部２１ａは、携帯端末３０から位置情報を取得すると、予め記憶部２２などに記憶した装置管理テーブルを参照して、携帯端末３０の周囲（携帯端末３０からの距離が所定範囲内）に存在する画像形成装置４０を抽出し、抽出した画像形成装置４０のリスト（周辺ＭＦＰリスト）及びその画像形成装置４０のステータス情報を携帯端末３０に送信する。携帯端末３０の装置情報取得部３１ａは、受信した周辺ＭＦＰリスト及びステータス情報を記憶部３２などに記憶する。
【００８９】
また、ＡＲサーバ２０は、予め記憶したデータ管理テーブルを参照して、携帯端末３０の周囲（携帯端末３０からの距離が所定範囲内）に存在する電子データを抽出し、抽出した電子データのリスト（周辺データリスト）を携帯端末３０に送信する。携帯端末３０の装置情報取得部３１ａは、受信した周辺データリストを記憶部３２などに記憶する。
【００９０】
次に、携帯端末３０の位置特定部３６及び方向特定部３７は、自端末の位置及び方向を特定し、装置管理部３１ｂは、周辺ＭＦＰリストの画像形成装置４０の内、携帯端末３０の周囲かつ特定の方向に存在する画像形成装置４０を特定する。そして、装置管理部３１ｂは、自端末の位置及び方向と画像形成装置４０の位置情報と撮像部３８の画角などに基づいて、特定した画像形成装置４０のライブビュー映像上の位置を算出し、その位置に当該画像形成装置４０のステータス情報を表示させる。
【００９１】
また、携帯端末３０の装置管理部３１ｂは、周辺データリストの電子データの内、携帯端末３０の周囲かつ特定の方向に存在する電子データを特定する。そして、装置管理部３１ｂは、自端末の位置及び方向と電子データの位置情報と撮像部３８の画角などに基づいて、特定した電子データのライブビュー映像上の位置を算出し、その位置に当該電子データを特定するデータアイコンなどを表示させる。
【００９２】
そして、携帯端末３０の方向が変化して、その画像形成装置４０や電子データが特定の方向から外れたらステータス情報やデータアイコンの表示を消去し、新たな画像形成装置４０や電子データが特定の方向に入ったら、その画像形成装置４０のステータス情報やデータアイコンを表示する動作を繰り返す。
【００９３】
このステータス情報やデータアイコンの表示形態は特に限定されず、ステータス情報やデータアイコンを単独で表示してもよいし、ライブビュー映像に合成して表示してもよい。図１５は、携帯端末３０で周辺を撮像している様子を示す図であり、撮像部３８で撮像しているライブビュー映像にはデータアイコンが合成されている。なお、データアイコンの表示に際して、電子データと携帯端末３０の距離により、遠近法に従ってデータアイコンの表示サイズ、表示の色、透明度、大きさ、アニメーション効果等を変えてもよい。
【００９４】
そして、ユーザが所望のデータアイコンを押下するなどによって電子データを選択すると、携帯端末３０の装置管理部３１ｂは、その電子データを処理可能な画像形成装置４０を抽出し、電子データを選択した状態でユーザが所望の方向の画像形成装置４０を撮像すると、位置特定部３６及び方向特定部３７は、自端末の位置及び方向を特定し、装置管理部３１ｂは、撮像した画像形成装置４０のライブビュー映像上の位置を特定し、その位置に当該画像形成装置４０を遠隔操作するための操作画面を合成する。
【００９５】
図１６は、操作画面（ここでは機能指示画面）の一例であり、データアイコンを機能実行画面の枠内にドラッグすることにより、機能指示画面で指示された機能に使用する電子データが選択される。また、図１７は、機能指示画面の他の例であり、選択された電子データに対して、撮像している画像形成装置４０がプリントとＦＡＸが可能な場合は、２つの機能指示画面を表示し、データアイコンをいずれかの機能指示画面の枠内にドラッグすることにより、プリント又はＦＡＸに使用する電子データが選択される。
【００９６】
なお、機能指示画面の構成は任意であり、例えば、第１の実施例と同様に、携帯端末３０にログインしたユーザの使用権限に応じて、画像形成装置４０に実行させる機能を制限してもよい。また、ここでは、電子データを選択した後、携帯端末３０の位置や向きを変えて画像形成装置４０を選択する構成としたが、例えば、画像形成装置４０を撮像しているライブビュー映像に機能指示画面を合成し、その機能指示画面を選択した後、携帯端末３０の位置や向きを変えて電子データを選択するようにしてもよい。また、ここでは、データアイコンを操作画面（機能指示画面）上にドラッグする構成としたが、機能指示画面を表示させた状態でデータアイコンをダブルクリックする構成としてもよいし、操作画面（機能指示画面）をデータアイコン上にドラッグする構成としてもよい。
【００９７】
そして、機能指示画面で処理を指示（ＯＫボタンを押下）すると、携帯端末３０の装置管理部３１ｂは、選択された電子データを用いた処理を指示する指示情報をＡＲサーバ２０に送信し、ＡＲサーバ２０では、データアイコンに対応する実データを取得し、実データからＰＣＬファイルを生成して画像形成装置４０に転送し、画像形成装置４０は、ＰＣＬファイルに基づいて処理を実行する。
【００９８】
その後、ユーザがＡＲアプリケーションの終了を指示すると、携帯端末３０の制御部３１は、ＡＲサーバ２０のログアウトを通知し、ＡＲサーバ２０は、ログアウト処理を実行すると共に、制御対象となる画像形成装置４０の装置情報取得間隔を元に戻し、携帯端末３０の制御部３１は、ＡＲアプリケーションを終了する。
【００９９】
なお、上記説明では、操作画面として、機能指示画面を例示したが、第１の実施例と同様に、処理条件を設定する画面などを表示してもよいし、操作画面を表示する前に、ステータス表示画面を表示してもよい。また、上記実施例では、予め位置が登録された電子データを用いて処理を行ったが、例えば、図１８に示すように、撮像部３８で撮像している処理装置に記憶されているフォルダを表示し、フォルダやそのフォルダに格納されている電子データを選択した後、携帯端末３０の位置や向きを変えて画像形成装置４０を選択するようにしてもよい。
【０１００】
このように、携帯端末３０は、データアイコンが合成されたライブビュー映像に、機能指示画面等の操作画面を表示（好ましくはライブビュー映像に操作画面を合成して表示）し、その操作画面で画像形成装置４０を遠隔操作できるようにするため、画像形成装置４０を直感的に操作することができ、ユーザの利便性を格段に向上させることができる。
【０１０１】
なお、本発明は上記実施例の記載に限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて、その構成や制御は適宜変更可能である。
【０１０２】
例えば、上記第２の実施例では、画像形成装置４０を撮像すると操作画面が表示されるようにしたが、図１９に示すように、電子データを選択すると、その電子データの周辺の画像形成装置４０を一覧表示する装置選択画面を表示して、その中から選択した画像形成装置４０で処理が実行されるようにしてもよい。
【０１０３】
また、上記各実施例では、画像形成装置４０を遠隔操作する場合について記載したが、コンピュータ装置、プロジェクタ、テレビモニタ、共有サーバ、他の携帯端末など、電子データを処理可能な任意の装置に対しても同様に適用することができる。例えば、プロジェクタやテレビモニタに画像データや文書データのデータアイコンをドラッグすることで映像を表示したり、コンピュータ装置にデータアイコンをドラッグすることで電子データの転送、メール送信、楽曲演奏などの操作を行うようにしてもよい。
【産業上の利用可能性】
【０１０４】
本発明は、携帯端末及び当該携帯端末を用いて処理装置を遠隔操作する方法に利用可能である。
【符号の説明】
【０１０５】
１０ 制御システム
２０ ＡＲサーバ
２１ 制御部
２１ａ 装置情報処理部
２１ｂ 装置制御部
２２ 記憶部
２３ 通信Ｉ／Ｆ部
３０ 携帯端末
３１ 制御部
３１ａ 装置情報取得部
３１ｂ 装置管理部
３２ 記憶部
３３ 通信Ｉ／Ｆ部
３４ 表示部
３５ 操作部
３６ 位置特定部
３７ 方向特定部
３８ 撮像部
４０ 画像形成装置
４１ａ データ解析部
４１ｂ 画像処理部
４２ 記憶部
４３ 通信Ｉ／Ｆ部
４４ 表示部
４５ 操作部
４６ スキャナ部
４７ 印刷部
【特許請求の範囲】
【請求項１】
表示部を備える携帯端末であって、
自端末の位置を特定する位置特定部と、
自端末の方向を特定する方向特定部と、
予め記憶した１又は複数の処理装置の位置情報に基づいて、自端末から所定の距離範囲内、かつ、自端末の特定の方向に存在する所定の処理装置を特定し、当該所定の処理装置を遠隔操作するための操作画面を前記表示部に表示させる制御部と、を備える、ことを特徴とする携帯端末。
【請求項２】
更に、自端末の前記特定の方向を撮像する撮像部を備え、
前記制御部は、前記撮像部が撮像した映像に、前記操作画面を合成する、ことを特徴とする請求項１に記載の携帯端末。
【請求項３】
前記制御部は、自端末を動かした結果、前記所定の処理装置が、自端末から所定の距離範囲内、又は、自端末の特定の方向に存在しなくなったときは、前記表示部に表示された前記操作画面を消去する、ことを特徴とする請求項１又は２に記載の携帯端末。
【請求項４】
前記制御部は、前記操作画面に、自端末にログインしているユーザの権限に応じた情報を表示する、ことを特徴とする請求項１乃至３のいずれか一に記載の携帯端末。
【請求項５】
前記制御部は、前記操作画面を前記表示部に表示させる前に、前記所定の処理装置の状態を示すステータス情報を取得し、当該ステータス情報を前記表示部に表示させる、ことを特徴とする請求項１乃至４のいずれか一に記載の携帯端末。
【請求項６】
前記制御部は、予め記憶した１又は複数の電子データに関連付けられた位置情報に基づいて、自端末から所定の距離範囲内、かつ、自端末の特定の方向に存在する所定の電子データを特定し、当該所定の電子データを特定するアイコンを前記表示部に表示させる、ことを特徴とする請求項１乃至５のいずれか一に記載の携帯端末。
【請求項７】
表示部を備える携帯端末と、１又は複数の処理装置と、サーバと、が通信ネットワークで接続されたシステムにおける前記処理装置の操作方法であって、
前記サーバに、前記１又は複数の処理装置の位置情報を記述した装置管理テーブルを記憶する第１ステップと、
前記携帯端末が、自端末の位置を特定し、前記サーバに自端末の位置情報を通知し、前記サーバが、前記装置管理テーブルを参照して、前記携帯端末から所定の距離範囲内に存在する処理装置を特定して前記携帯端末に通知し、前記携帯端末が、自端末の方向を特定し、前記所定の距離範囲内に存在する処理装置の中から、自端末の特定の方向に存在する所定の処理装置を特定する第２ステップと、
前記携帯端末が、前記所定の処理装置を遠隔操作するための操作画面を前記表示部に表示する第３ステップと、を実行する、ことを特徴とする処理装置の操作方法。
【請求項８】
表示部を備える携帯端末と、１又は複数の処理装置と、サーバと、が通信ネットワークで接続されたシステムにおける前記処理装置の操作方法であって、
前記サーバに、前記１又は複数の処理装置の位置情報を記述した装置管理テーブルを記憶する第１ステップと、
前記携帯端末が、自端末の位置及び方向を特定し、前記サーバに自端末の位置情報及び方向情報を通知し、前記サーバが、前記装置管理テーブルを参照して、前記携帯端末から所定の距離範囲内、かつ、前記携帯端末の特定の方向に存在する所定の処理装置を特定して前記携帯端末に通知する第２ステップと、
前記携帯端末が、前記所定の処理装置を遠隔操作するための操作画面を前記表示部に表示する第３ステップと、を実行する、ことを特徴とする処理装置の操作方法。
【請求項９】
表示部を備える携帯端末と、１又は複数の処理装置と、が通信ネットワークで接続されたシステムにおける前記処理装置の操作方法であって、
前記携帯端末が、
前記１又は複数の処理装置の位置情報を記述した装置管理テーブルを記憶する第１ステップと、
自端末の位置及び方向を特定し、前記装置管理テーブルを参照して、自端末から所定の距離範囲内、かつ、自端末の特定の方向に存在する所定の処理装置を特定する第２ステップと、
前記所定の処理装置を遠隔操作するための操作画面を前記表示部に表示する第３ステップと、を実行する、ことを特徴とする処理装置の操作方法。
【請求項１０】
前記携帯端末は、自端末の前記特定の方向を撮像する撮像部を備え、
前記第３ステップでは、前記撮像部が撮像した映像に、前記操作画面を合成する、ことを特徴とする請求項７乃至９のいずれか一に記載の処理装置の操作方法。
【請求項１１】
前記第３ステップでは、前記携帯端末を動かした結果、前記所定の処理装置が、前記携帯端末から所定の距離範囲内、又は、前記携帯端末の特定の方向に存在しなくなったときは、前記表示部に表示した前記操作画面を消去する、ことを特徴とする請求項７乃至１０のいずれか一に記載の処理装置の操作方法。
【請求項１２】
前記第３ステップでは、前記操作画面に、前記携帯端末にログインしているユーザの権限に応じた情報を表示する、ことを特徴とする請求項７乃至１１のいずれか一に記載の処理装置の操作方法。
【請求項１３】
前記第２ステップでは、前記携帯端末が、前記所定の処理装置の状態を示すステータス情報を取得し、
前記第３ステップでは、前記表示部に前記操作画面を表示する前に、前記ステータス情報を表示する、ことを特徴とする請求項７乃至１２のいずれか一に記載の処理装置の操作方法。
【請求項１４】
前記操作画面は、前記所定の処理装置に実行させる機能を選択するための第１画面と、前記所定の処理装置に処理させる電子データを選択するための第２画面と、を含み、
前記第３ステップでは、前記第１画面で機能が選択されたら、前記第２画面を表示する、ことを特徴とする請求項７乃至１３のいずれか一に記載の処理装置の操作方法。
【請求項１５】
前記第１ステップでは、１又は複数の電子データに関連付けられた位置情報を記述したデータ管理テーブルを記憶し、
前記第２ステップでは、前記データ管理テーブルを参照して、前記携帯端末から所定の距離範囲内、かつ、前記携帯端末の特定の方向に存在する電子データを特定し、
前記第３ステップでは、前記所定の電子データを特定するアイコンを前記表示部に表示する、ことを特徴とする請求項７乃至１３のいずれか一に記載の処理装置の操作方法。
【請求項１６】
前記第３ステップでは、前記アイコンが選択されたら、当該アイコンで特定される電子データに応じた前記操作画面を表示する、ことを特徴とする請求項１５に記載の処理装置の操作方法。
【請求項１】
表示部を備える携帯端末であって、
自端末の位置を特定する位置特定部と、
自端末の方向を特定する方向特定部と、
予め記憶した１又は複数の処理装置の位置情報に基づいて、自端末から所定の距離範囲内、かつ、自端末の特定の方向に存在する所定の処理装置を特定し、当該所定の処理装置を遠隔操作するための操作画面を前記表示部に表示させる制御部と、を備える、ことを特徴とする携帯端末。
【請求項２】
更に、自端末の前記特定の方向を撮像する撮像部を備え、
前記制御部は、前記撮像部が撮像した映像に、前記操作画面を合成する、ことを特徴とする請求項１に記載の携帯端末。
【請求項３】
前記制御部は、自端末を動かした結果、前記所定の処理装置が、自端末から所定の距離範囲内、又は、自端末の特定の方向に存在しなくなったときは、前記表示部に表示された前記操作画面を消去する、ことを特徴とする請求項１又は２に記載の携帯端末。
【請求項４】
前記制御部は、前記操作画面に、自端末にログインしているユーザの権限に応じた情報を表示する、ことを特徴とする請求項１乃至３のいずれか一に記載の携帯端末。
【請求項５】
前記制御部は、前記操作画面を前記表示部に表示させる前に、前記所定の処理装置の状態を示すステータス情報を取得し、当該ステータス情報を前記表示部に表示させる、ことを特徴とする請求項１乃至４のいずれか一に記載の携帯端末。
【請求項６】
前記制御部は、予め記憶した１又は複数の電子データに関連付けられた位置情報に基づいて、自端末から所定の距離範囲内、かつ、自端末の特定の方向に存在する所定の電子データを特定し、当該所定の電子データを特定するアイコンを前記表示部に表示させる、ことを特徴とする請求項１乃至５のいずれか一に記載の携帯端末。
【請求項７】
表示部を備える携帯端末と、１又は複数の処理装置と、サーバと、が通信ネットワークで接続されたシステムにおける前記処理装置の操作方法であって、
前記サーバに、前記１又は複数の処理装置の位置情報を記述した装置管理テーブルを記憶する第１ステップと、
前記携帯端末が、自端末の位置を特定し、前記サーバに自端末の位置情報を通知し、前記サーバが、前記装置管理テーブルを参照して、前記携帯端末から所定の距離範囲内に存在する処理装置を特定して前記携帯端末に通知し、前記携帯端末が、自端末の方向を特定し、前記所定の距離範囲内に存在する処理装置の中から、自端末の特定の方向に存在する所定の処理装置を特定する第２ステップと、
前記携帯端末が、前記所定の処理装置を遠隔操作するための操作画面を前記表示部に表示する第３ステップと、を実行する、ことを特徴とする処理装置の操作方法。
【請求項８】
表示部を備える携帯端末と、１又は複数の処理装置と、サーバと、が通信ネットワークで接続されたシステムにおける前記処理装置の操作方法であって、
前記サーバに、前記１又は複数の処理装置の位置情報を記述した装置管理テーブルを記憶する第１ステップと、
前記携帯端末が、自端末の位置及び方向を特定し、前記サーバに自端末の位置情報及び方向情報を通知し、前記サーバが、前記装置管理テーブルを参照して、前記携帯端末から所定の距離範囲内、かつ、前記携帯端末の特定の方向に存在する所定の処理装置を特定して前記携帯端末に通知する第２ステップと、
前記携帯端末が、前記所定の処理装置を遠隔操作するための操作画面を前記表示部に表示する第３ステップと、を実行する、ことを特徴とする処理装置の操作方法。
【請求項９】
表示部を備える携帯端末と、１又は複数の処理装置と、が通信ネットワークで接続されたシステムにおける前記処理装置の操作方法であって、
前記携帯端末が、
前記１又は複数の処理装置の位置情報を記述した装置管理テーブルを記憶する第１ステップと、
自端末の位置及び方向を特定し、前記装置管理テーブルを参照して、自端末から所定の距離範囲内、かつ、自端末の特定の方向に存在する所定の処理装置を特定する第２ステップと、
前記所定の処理装置を遠隔操作するための操作画面を前記表示部に表示する第３ステップと、を実行する、ことを特徴とする処理装置の操作方法。
【請求項１０】
前記携帯端末は、自端末の前記特定の方向を撮像する撮像部を備え、
前記第３ステップでは、前記撮像部が撮像した映像に、前記操作画面を合成する、ことを特徴とする請求項７乃至９のいずれか一に記載の処理装置の操作方法。
【請求項１１】
前記第３ステップでは、前記携帯端末を動かした結果、前記所定の処理装置が、前記携帯端末から所定の距離範囲内、又は、前記携帯端末の特定の方向に存在しなくなったときは、前記表示部に表示した前記操作画面を消去する、ことを特徴とする請求項７乃至１０のいずれか一に記載の処理装置の操作方法。
【請求項１２】
前記第３ステップでは、前記操作画面に、前記携帯端末にログインしているユーザの権限に応じた情報を表示する、ことを特徴とする請求項７乃至１１のいずれか一に記載の処理装置の操作方法。
【請求項１３】
前記第２ステップでは、前記携帯端末が、前記所定の処理装置の状態を示すステータス情報を取得し、
前記第３ステップでは、前記表示部に前記操作画面を表示する前に、前記ステータス情報を表示する、ことを特徴とする請求項７乃至１２のいずれか一に記載の処理装置の操作方法。
【請求項１４】
前記操作画面は、前記所定の処理装置に実行させる機能を選択するための第１画面と、前記所定の処理装置に処理させる電子データを選択するための第２画面と、を含み、
前記第３ステップでは、前記第１画面で機能が選択されたら、前記第２画面を表示する、ことを特徴とする請求項７乃至１３のいずれか一に記載の処理装置の操作方法。
【請求項１５】
前記第１ステップでは、１又は複数の電子データに関連付けられた位置情報を記述したデータ管理テーブルを記憶し、
前記第２ステップでは、前記データ管理テーブルを参照して、前記携帯端末から所定の距離範囲内、かつ、前記携帯端末の特定の方向に存在する電子データを特定し、
前記第３ステップでは、前記所定の電子データを特定するアイコンを前記表示部に表示する、ことを特徴とする請求項７乃至１３のいずれか一に記載の処理装置の操作方法。
【請求項１６】
前記第３ステップでは、前記アイコンが選択されたら、当該アイコンで特定される電子データに応じた前記操作画面を表示する、ことを特徴とする請求項１５に記載の処理装置の操作方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【公開番号】特開２０１２−９００７７（Ｐ２０１２−９００７７Ａ）
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願番号】特願２０１０−２３５１１１（Ｐ２０１０−２３５１１１）
【出願日】平成２２年１０月２０日（２０１０．１０．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
２．ＱＲコード
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２４年５月１０日（２０１２．５．１０）
【国際特許分類】
【出願日】平成２２年１０月２０日（２０１０．１０．２０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
２．ＱＲコード
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]