情報処理装置、画像形成装置、およびプログラム
【課題】画像形成装置に関する情報を可般型端末装置に送信して表示させる場合に、可般型端末装置の位置に応じた情報の表示を簡素な構成で実現する。
【解決手段】複合機１０は、撮影機能と表示機能と通信機能とを備えた携帯端末３０と通信する通信部と、携帯端末３０が複合機１０を撮影した撮影画像を携帯端末３０から受信し、その撮影画像に基づいて複合機１０の撮影箇所を判断し、その撮影箇所に応じた表示情報を携帯端末３０に送信する制御部とを備えた構成とする。
【解決手段】複合機１０は、撮影機能と表示機能と通信機能とを備えた携帯端末３０と通信する通信部と、携帯端末３０が複合機１０を撮影した撮影画像を携帯端末３０から受信し、その撮影画像に基づいて複合機１０の撮影箇所を判断し、その撮影箇所に応じた表示情報を携帯端末３０に送信する制御部とを備えた構成とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像形成装置に関する情報を可搬型端末装置に送信して表示させる情報処理装置、画像形成装置、およびプログラムに関する。
【背景技術】
【０００２】
近年、業務用印刷に使用されるプリンタや複写機は、大幅な高速化とそれに伴う大型化が進んでいる。たとえば、印刷業界では印刷速度が毎分１００枚以上の高速機や、装置の一端から他端までの長さが１０メートルにも及ぶような大型機も普及し始めている。
【０００３】
このように画像形成装置が高速化および大型化すると、印刷処理中に装置内を同時に搬送される記録紙の枚数が非常に多くなり、ジャム（紙詰まり）が発生した場合はその復旧作業が大変になる。
【０００４】
たとえば、印刷処理中における記録紙の同時搬送枚数が２０枚近くなる機種において、排紙口付近など紙搬送路の下流側でジャムが発生した場合には、装置内に存在するジャム紙（搬送途中の記録紙を含む）が１０数枚に及ぶこともある。印刷作業に携わる作業者は、それらの多数のジャム紙を操作パネルに表示されたジャムポジションを確認しながら１枚ずつ取り出すことになり、そのジャム紙の除去作業が大変である。特に、長さが１０メートルにも及ぶような大型機で、作業者が操作パネルを見ながら装置内に散在するジャム紙を順番に取り除いていく場合は、外部から見えない場所にジャム紙があったり、操作パネルが作業者から離れた位置にあったりして、非常に煩雑で労力を要する作業となっている。
【０００５】
このようなジャム紙の除去作業などを軽減する技術として、たとえば、特許文献１には、印刷処理装置の操作部を装置本体と分離構成にし、操作部に設けた発信機からの発信信号を、装置本体の必要箇所に設けた複数の受信機で受信して操作部の位置を判断し、その操作部の位置に応じた情報（ジャムから復旧するための情報など）を操作部に表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２３１６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１のように、装置本体と分離した操作部（可般型端末装置）の位置を、発信機と受信機などからなる位置検出手段で検出する構成では、装置本体側に操作部の位置（３次元的な位置）を検出するための多数の位置検出手段（特許文献１の例では複数の受信機）を設ける必要があり、コストが嵩む問題がある。
【０００８】
本発明は、上記の問題を解決しようとするものであり、画像形成装置に関する情報を可般型端末装置に送信して表示させる場合に、可般型端末装置の位置に応じた情報の表示を簡素な構成で実現することができる情報処理装置、画像形成装置、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【００１０】
［１］撮影機能と表示機能と通信機能とを備えた携帯端末と通信する通信部と、
前記携帯端末が画像形成装置を撮影した撮影画像を前記携帯端末から受信し、その撮影画像に基づいて前記画像形成装置の撮影箇所を判断し、その撮影箇所に応じた表示情報を前記携帯端末に送信する制御部と、
を有することを特徴とする情報処理装置。
【００１１】
上記発明では、携帯端末による画像形成装置の撮影画像に基づいて、画像形成装置の撮影箇所を判断し、その撮影箇所に応じた表示情報を携帯端末に送信して表示させる。このように、撮影画像を利用してその撮影箇所に応じた表示情報を携帯端末に表示させる構成であれば、携帯端末の位置を検出するための多数の位置検出手段などは不要であり、簡素な構成で適宜な表示情報（撮影箇所に応じた表示情報）を携帯端末に表示させることができる。
【００１２】
［２］前記制御部は、前記撮影画像に基づいてその撮影画像を撮影した前記携帯端末の視点位置を判断し、その視点位置に応じた向きの表示情報を前記携帯端末に送信する
ことを特徴とする［１］に記載の情報処理装置。
【００１３】
上記発明では、携帯端末にその視点位置に応じた向きの表示情報が表示されるので、携帯端末を操作する操作者に対し、表示情報をその視点位置から見て分かりやすく表示することができる。
【００１４】
［３］前記制御部は、前記表示情報を前記撮影画像に合成して前記携帯端末に送信する
ことを特徴とする［１］または［２］に記載の情報処理装置。
【００１５】
上記発明では、撮影画像に表示情報が合成されて表示されるので、携帯端末を操作する操作者に対し、撮影画像に写っている実際の撮影箇所（実物）と表示情報の関係を見た目で分かりやすく表示することができる。
【００１６】
［４］前記制御部は、前記画像形成装置に生じている前記携帯端末に通知すべき事象と、前記撮影箇所とに応じた表示情報を前記携帯端末に送信する
ことを特徴とする［１］〜［３］のいずれか１項に記載の情報処理装置。
【００１７】
上記発明では、携帯端末に通知すべき事象が画像形成装置に生じている場合に、その事象と、携帯端末による画像形成装置の撮影箇所とに応じた表示情報（画像形成装置に生じている事象に関する撮影箇所に応じた表示情報）を携帯端末に表示することができる。
【００１８】
［５］前記画像形成装置にて前記携帯端末に通知すべき事象が生じている指定箇所を示す指定箇所情報を入力する入力部を有し、
前記制御部は、前記入力部より入力された指定箇所情報によって示される指定箇所が、前記撮影箇所に含まれている場合は、その指定箇所に対応する第１の表示情報を前記携帯端末に送信し、前記撮影箇所に含まれていない場合は、その指定箇所に対応する第２の表示情報を前記携帯端末に送信する
ことを特徴とする［４］に記載の情報処理装置。
【００１９】
上記発明では、携帯端末が画像形成装置の指定箇所を撮影しているか否かに応じて、携帯端末に表示する表示情報を異ならせる。たとえば、指定箇所を撮影している場合は、その指定箇所に関する直接的な表示情報を表示させ、指定箇所を撮影していない場合は、その指定箇所に関する間接的な表示情報を表示させるなどの、表示情報の使い分けが可能となる。このように、多様な表示情報を携帯端末に表示させて、携帯端末の操作者に提供することができる。
【００２０】
［６］前記第２の表示情報は、前記指定箇所への案内情報である
ことを特徴とする［５］に記載の情報処理装置。
【００２１】
上記発明では、携帯端末による撮影箇所が指定箇所から外れている場合には、その指定箇所への案内情報が表示されるので、携帯端末の操作者を指定箇所に到達しやすくできる。
【００２２】
［７］前記表示情報は、前記画像形成装置の所定箇所の位置を示す位置情報と、前記画像形成装置の透視画像と、前記画像形成装置の操作情報とのうちの少なくとも１つである
ことを特徴とする［１］〜［６］のいずれか１項に記載の情報処理装置。
【００２３】
上記発明では、携帯端末には、画像形成装置の撮影箇所に応じた表示情報として、画像形成装置の所定箇所の位置を示す位置情報と、画像形成装置の透視画像と、画像形成装置の操作情報とのうちの少なくとも１つが表示される。携帯端末の操作者は、位置情報から画像形成装置の所定箇所の位置を容易に把握することができる。また、透視画像から画像形成装置の内部状態を把握することができる。また、操作情報から画像形成装置の操作内容を容易に把握することができる。
【００２４】
［８］前記表示情報は、前記画像形成装置におけるエラー発生箇所と、メンテナンス箇所と、操作必要箇所とのうちの少なくとも１つに関連する情報である
ことを特徴とする［１］〜［７］のいずれか１項に記載の情報処理装置。
【００２５】
上記発明では、画像形成装置におけるエラー発生箇所と、部品交換箇所と、操作必要箇所のうちの少なくとも１つに関連する情報（表示情報）を携帯端末に表示させる。携帯端末の操作者は、携帯端末に表示されたそれらの情報から、画像形成装置におけるエラーの発生、部品の交換、必要となる操作に容易に対処・対応することができる。
【００２６】
［９］前記画像形成装置の外表面には、前記画像形成装置を撮影する前記携帯端末の視点位置を判断するための所定のマークが設けられており、
前記制御部は、前記撮影画像に含まれている前記所定のマークの変形に基づいて前記携帯端末の視点位置を判断する
ことを特徴とする［２］に記載の情報処理装置。
【００２７】
上記発明では、画像形成装置の外表面に設けた所定のマークを利用して（所定のマークの変形に基づいて）、携帯端末の視点位置を的確に判断することができる。
【００２８】
［１０］前記制御部は、前記撮影画像に替えて、前記携帯端末が前記撮影画像に基づいて求めた前記画像形成装置の撮影箇所を示す撮影箇所情報を受信し、その撮影箇所情報によって示される前記画像形成装置の撮影箇所に応じた表示情報を前記携帯端末に送信する
ことを特徴とする［１］に記載の情報処理装置。
【００２９】
上記発明では、携帯端末が撮影画像に基づいて画像形成装置の撮影箇所を求める。この撮影箇所を示す撮影箇所情報を携帯端末から得ることで、その撮影箇所情報によって示される画像形成装置の撮影箇所に応じた表示情報を携帯端末に送信することができる。
【００３０】
［１１］前記制御部は、前記携帯端末が前記撮影画像に基づいて求めた、その撮影画像を撮影した前記携帯端末の視点位置を示す視点位置情報を受信し、その視点位置情報によって示される視点位置に応じた向きの表示情報を前記携帯端末に送信する
ことを特徴とする［１０］に記載の情報処理装置。
【００３１】
上記発明では、携帯端末が撮影画像に基づいて、その撮影画像を撮影した携帯端末の視点位置を求める。この視点位置を示す視点位置情報を携帯端末から得ることで、その視点位置情報によって示される視点位置に応じた向きの表示情報を携帯端末に送信することができる。
【００３２】
［１２］［１］〜［３］のいずれか１項に記載の情報処理装置と、
自装置における前記携帯端末に通知すべき事象の発生を検出する検出部と
を有し、
前記制御部は、前記検出部が検出した事象と、前記撮影箇所とに応じた表示情報を前記携帯端末に送信する
ことを特徴とする画像形成装置。
【００３３】
上記発明では、画像形成装置が携帯端末に通知すべき事象の発生を検出し、その検出した事象と、携帯端末による撮影箇所とに応じた表示情報を携帯端末に送信し表示させて、携帯端末の操作者に提供することができる。
【００３４】
［１３］情報処理装置に、
撮影機能と表示機能と通信機能とを備えた携帯端末と通信する機能と、
前記携帯端末が前記画像形成装置を撮影した撮影画像を前記携帯端末から受信し、その撮影画像に基づいて前記画像形成装置の撮影箇所を判断し、その撮影箇所に応じた表示情報を前記携帯端末に送信する機能と、
を実現させるためのプログラム。
【００３５】
［１４］撮影機能と表示機能と通信機能とを備えた携帯端末に、
画像形成装置を撮影した撮影画像に基づいて前記画像形成装置の撮影箇所を求め、その撮影箇所を示す撮影箇所情報を情報処理装置に送信する機能と、
前記情報処理装置から、前記撮影箇所情報によって示される前記画像形成装置の撮影箇所に応じた表示情報を受信する機能と、
前記情報処理装置から受信した表示情報を表示する機能と、
を実現させるためのプログラム。
【００３６】
［１５］前記撮影画像に基づいてその撮影画像を撮影した前記携帯端末の視点位置を求め、その視点位置を示す視点位置情報を情報処理装置に送信する機能と、
前記情報処理装置から、前記視点位置情報によって示される前記携帯端末の視点位置に応じた向きの表示情報を受信する機能と、
を前記携帯端末に実現させることを特徴とする請求項１４に記載のプログラム。
【発明の効果】
【００３７】
本発明に係る情報処理装置、画像形成装置、およびプログラムによれば、画像形成装置に関する情報を可般型端末装置に送信して表示させる場合に、可般型端末装置の位置に応じた情報の表示を簡素な構成で実現することができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の第１の実施形態に係る複合機（画像形成装置）の概略構成を示すブロック図である。
【図２】携帯端末による複合機の撮影とその撮影画像の表示例を示す図である。
【図３】携帯端末による複合機の撮影画像にジャムポジションの位置を示す情報を合成して表示した状態を示す図である。
【図４】携帯端末による複合機の撮影画像にジャムの位置と状況を仮想的に示すスケルトン画像を合成して表示した状態を示す図である。
【図５】携帯端末による複合機の撮影画像にジャムポジションの方向を示す情報を合成して表示した状態を示す図である。
【図６】複合機を撮影する携帯端末の視点位置を複合機に設けた４つのマークで特定する方法の一例を説明する図である。
【図７】複合機を正面側の斜め上方から見た場合の図６の４つのマークの見え方を模式的に示した図である。
【図８】図６における２つのマークを距離と角度を変えて撮影した場合に各撮影画像に写るその２つのマークの状態を模式的に示した図である。
【図９】撮影画像に写った４つのマークの配置間隔および距離に基づいて携帯端末の角度を求める方法の一例を説明する図である。
【図１０】本発明の第１の実施形態に係る複合機と携帯端末の処理の流れを示すシーケンス図である。
【図１１】本発明の第２の実施形態に係る複合機と携帯端末の処理の流れを示すシーケンス図である。
【発明を実施するための形態】
【００３９】
以下、図面に基づき本発明の実施形態を説明する。
【００４０】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像形成装置としての複合機１０の概略構成を示している。複合機１０は、原稿の画像を光学的に読み取ってその複製画像を記録紙に印刷して出力するコピー機能、読み取った原稿の画像データをファイルにして保存したりパーソナルコンピュータなどの外部端末やサーバへ送信したりするスキャン機能、外部端末から受信した印刷データに基づく画像や当該複合機１０に保存されている画像データに基づく画像を記録紙に印刷して出力するプリンタ機能、ファクシミリ機能などを備えている。
【００４１】
複合機１０は、当該複合機１０の動作を統括制御するＣＰＵ（Central Processing Unit）１１と、ＣＰＵ１１に接続されたＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、不揮発メモリ１４と、ハードディスク装置１５と、表示部１６と、操作部１７と、ファクシミリ通信部１８と、ネットワーク通信部１９と、スキャナ部２０と、画像処理部２１と、プリンタ部２２と、後処理部２３とを備えている。
【００４２】
ＣＰＵ１１ではＯＳプログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどが実行される。ＲＯＭ１２には各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が処理を実行することでジョブの実行など複合機１０の各機能が実現される。ＲＡＭ１３はＣＰＵ１１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。なお、その他の必要なプログラムはハードディスク装置１５からＲＡＭ１３にロードされて実行される。
【００４３】
不揮発メモリ１４は、電源がオフにされても記憶が保持される書き換え可能なメモリ（フラッシュメモリ）である。不揮発メモリ１４には、装置固有の情報（装置ＩＤ（IDentification）、ＩＰ（Internet Protocol）アドレスなど）、各種の設定情報などが記憶される。ハードディスク装置１５は、大容量不揮発の記憶装置であり、プログラムのほか、たとえば、印刷データや画像データの保存などに使用される。
【００４４】
複合機１０の操作パネルは表示部１６と操作部１７を備えて構成される。表示部１６は、液晶ディスプレイなどで構成され、メイン画面、メニュー画面、操作画面、設定画面、情報表示画面などの各種の画面を表示する。操作部１７は、ユーザから各種の操作を受け付ける。操作部１７は、表示部１６の画面上に設けられて押下された座標位置を検出するタッチパネルのほか、テンキーや文字入力キー、スタートキーなどを備えて構成される。
【００４５】
ファクシミリ通信部１８は、ファクシミリ送信および受信に係る動作を制御する。ネットワーク通信部１９は、ＬＡＮ（Local Area Network）などのネットワークを通じた通信に係る動作を制御する。
【００４６】
スキャナ部２０は、原稿の画像を光学的に読み取って画像データを取得する。スキャナ部２０は、たとえば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動手段と、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学系と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。
【００４７】
画像処理部２１は、画像データに対して、画像補正、回転、拡大／縮小、圧縮／伸張など各種の画像処理を行う。
【００４８】
プリンタ部２２は、画像データに基づく画像を電子写真プロセスによって記録紙上に形成して出力する。プリンタ部２２は、たとえば、記録紙の搬送装置と、感光体ドラムと、帯電装置と、入力される画像データに応じて点灯制御されるＬＤ（Laser Diode）と、ＬＤから射出されたレーザ光を感光体ドラム上で走査させる走査ユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有する、いわゆるレーザープリンタとして構成されている。レーザ光に代えてＬＥＤ（Light Emitting Diode）で感光体ドラムを照射するＬＥＤプリンタのほか他の方式のプリンタであってもかまわない。
【００４９】
後処理部２３は、プリンタ部２２から印刷出力された記録紙に、ステープル、パンチ、折り、製本などの後処理（フィニッシング処理）を施す。
【００５０】
また、複合機１０は、予め決められている各種の事象の発生を検出する機能と、その事象の発生箇所を検出する機能と、その事象および検出箇所を自動でまたは操作部１７に対する手動操作を受けて表示部１６に表示する機能を備えている。各種の事象は、ジャム（紙詰まり）や故障などのエラー、点検や消耗部品の交換などのメンテナンスの必要性、エラーやメンテナンスに伴うパネルやレバーなどの手動操作の必要性などである。これらの事象の発生箇所を検出するに当たり、検出対象となる箇所、すなわち、エラー発生検出箇所、メンテナンス必要性検出箇所（メンテナンス箇所）、エラーやメンテナンスに伴う手動操作必要性検出箇所（手動操作箇所）も、予め決められている。また、エラーの発生とメンテナンスの必要性（メンテナンスタイミング）については、センサやプログラムなどで検出する。
【００５１】
また、複合機１０は、自機と通信するための専用のアプリケーションプログラムをインストールしたカメラ付きの携帯端末（可般型端末装置）とネットワークを通じて通信する機能と、その携帯端末が撮影した自機の撮影画像を携帯端末から受信し、その撮影画像に基づいて特定した自機の撮影箇所に応じた表示情報を携帯端末に送信して表示させる機能を備えている。
【００５２】
表示情報は、上記の事象（エラー、メンテナンスの必要性、エラーやメンテナンスに伴う手動操作の必要性）の発生を検出した箇所に関する情報である。予め決められている複数の検出対象箇所のうち、検出対象の事象が発生して実際に検出が行われた箇所は、携帯端末に表示情報を送信すべき指定箇所（所定箇所）となる。表示情報は、この指定箇所に関する情報である。具体的には、指定箇所の位置を示す情報（位置情報）、指定箇所を透視状（骨組み状）にして示した画像情報（スケルトン画像）、指定箇所へ案内する情報（案内情報）、指定箇所の操作内容を示した情報（操作情報）などである。
【００５３】
表示情報の画像データは、ハードディスク装置１５（または不揮発メモリ１４）に格納したデータベースに記憶されている。位置情報と、案内情報と、操作情報は、たとえば、文字、記号、図形、マークなどを使用して予め作成し、記憶しておく。スケルトン画像は、複合機１０の設計時に３次元ＣＡＤ（Computer Aided Design）で作成された、必要箇所（複数の検出対象箇所）のスケルトン画像（透視画像／骨組み画像）の３次元ＣＡＤデータを利用し、その３次元ＣＡＤデータを記憶しておく。
【００５４】
また、案内情報を除いた各種の表示情報（位置情報／スケルトン画像／操作情報）は、検出対象箇所に対応付けられてデータベースに記憶されている。たとえば、複合機１０の内部空間に３次元座標系を設定し、その３次元座標系における検出対象箇所の３次元座標位置（Ｘ，Ｙ，Ｚ）に、その検出対象箇所に対応する各種の表示情報を対応付けてデータベースに記憶しておく。検出対象箇所の３次元座標位置（中心位置）は、検出対象箇所の重心位置にしてもよいし、任意に設定した基準位置などにしてもよい。
【００５５】
図２は、携帯端末３０による複合機１０の撮影とその撮影画像の表示例を示している。詳細には、ユーザが携帯端末３０を操作して、携帯端末３０のカメラ機能で複合機１０を撮影し、その撮影画像が携帯端末３０の表示部３１に表示されている状態を示している。
【００５６】
携帯端末３０は、本実施形態では、携帯電話機と携帯情報端末（ＰＤＡ；Personal Digital Assistants）を融合させたスマートフォンなどの汎用の機器で構成されている。この携帯端末３０には、撮影機能（カメラ機能）と、表示機能と、通信機能とを備えた汎用の携帯電話機や携帯情報端末を使用するようにしてもよいし、それらの機能を備えた専用の携帯端末を複合機１０に付属させ、その専用の携帯端末を使用するようにしてもよい。また、専用の携帯端末においては、無線通信または有線通信のいずれの構成としてもよい。
【００５７】
汎用の携帯端末３０には、複合機１０と通信を行う専用のアプリケーションプログラムをインストールしておく。携帯端末３０は、このアプリケーションプログラムを起動して複合機１０と通信を行い、カメラ部で撮影した複合機１０の撮影画像を複合機１０に送信し、複合機１０から受信した表示情報を表示部３１に表示する。
【００５８】
続いて、携帯端末３０による複合機１０の撮影と情報の表示について説明する。ここでは、複合機１０でジャムが発生し、そのジャム発生箇所に関する表示情報を携帯端末３０に表示する場合を例に説明する。また、以下では、（１）各種表示情報の表示例、（２）撮影箇所の特定方法例、（３）撮影箇所に応じた表示情報の決定方法例、（４）携帯端末と撮影箇所の位置関係に応じた表示情報の作成方法例を順番に説明する。
【００５９】
（１）各種表示情報の表示例
図２に示すように、ユーザは携帯端末３０を手で持ち、携帯端末３０のカメラ機能（カメラ部）で複合機１０の周囲（図２の例では複合機１０の正面側）から複合機１０の任意の箇所を撮影する。携帯端末３０は、カメラ部の視点位置から撮影した複合機１０の任意の箇所の撮影画像を表示部３１に表示する。
【００６０】
図３は、携帯端末３０による複合機１０の特定の箇所の撮影画像に、ジャムの発生箇所を示す表示情報であるジャムポジション画像５０が重ね合わせられて表示されている状態を示している。本例では、ジャムポジション画像５０は番号（数字）で構成されている。
【００６１】
図４は、携帯端末３０による複合機１０の特定の箇所の撮影画像に、ジャムの発生箇所の内部状態とジャム紙を透視状にして仮想的に示したスケルトン画像６０と、ジャムポジション画像５０とが重ね合わせられて表示されている状態を示している。
【００６２】
図５は、携帯端末３０による複合機１０のジャム発生箇所以外の箇所の撮影画像に、ジャム発生箇所の方向（ジャム紙が存在する方向）を示す表示情報であるジャム方向画像７０が重ね合わせられて表示されている状態を示している。本例では、ジャム方向画像７０は、ジャム発生箇所の方向を示す矢印マークと、文字（「This Direction」）で構成されている。
【００６３】
（２）撮影箇所の特定方法例
携帯端末３０による複合機１０の撮影箇所は、撮影画像に基づいて特定する。この撮影画像に基づく撮影箇所の特定（判断）には、周知の画像照合・判定技術を利用する。
【００６４】
たとえば、複合機１０のハードディスク装置１５（または不揮発メモリ１４）に照合用情報のデータベースを格納し、そのデータベースに、照合用となる複合機１０の特徴部の画像（画像データ）と、その特徴部の３次元座標位置とを対応付けて記憶しておく。特徴部は、輪郭や色彩などによって周辺との境界を認識できる各種の形状部や輪郭自体を利用してもよいし、複合機１０の外表面に設けた所定のマークなどを使用するようにしてもよい。
【００６５】
画像照合では、携帯端末３０による複合機１０の撮影画像から特徴部の画像を抽出し、その特徴部の画像をデータベース内の照合用の特徴部の画像と照合して、一致するものを特定する。このデータベース内から照合一致した特徴部の画像に対応付けられている３次元座標位置と、撮影画像内での特徴部（抽出した特徴部）の位置および大きさから、撮影画像に写っている複合機１０の撮影箇所を３次元座標の範囲によって特定する。
【００６６】
（３）撮影箇所に応じた表示情報の決定方法例
前述したように、複合機１０における検出対象の事象（エラー、メンテナンスの必要性、エラーやメンテナンスに伴う手動操作の必要性）の検出対象箇所（３次元座標位置）には、案内情報を除いた各種の表示情報（位置情報／スケルトン画像／操作情報）が対応付けられてデータベースに記憶されている。検出対象の事象が発生した箇所が、携帯端末３０に表示情報を送信すべき指定箇所（所定箇所）となり、この指定箇所に対応する表示情報を選び出して携帯端末３０に送信することになる。
【００６７】
ここでは、特定した撮影箇所（３次元座標の範囲）に、指定箇所（３次元座標位置）が含まれている場合には、位置情報（ジャムポジション画像５０）、スケルトン画像（スケルトン画像６０）、操作情報などを、携帯端末３０に送信する表示情報として決定する。特定した撮影箇所に指定箇所が含まれていない場合には、その撮影箇所に応じた、指定箇所への案内情報（撮影箇所から指定箇所の方向を指す矢印マークなど）を、携帯端末３０に送信する表示情報として決定する。
【００６８】
なお、指定箇所が複数存在する場合には、最近の指定箇所に対応する案内情報のみを送信対象に決定するようにしてもよいし、全ての指定箇所に対応する各々の案内情報を送信対象に決定するようにしてもよい。
【００６９】
（４）携帯端末と撮影箇所の位置関係に応じた表示情報の作成方法例
表示情報がスケルトン画像の場合には、携帯端末３０のカメラ部の視点位置に応じた向き（視点位置から見える向き）のスケルトン画像を生成する。この視点位置も、携帯端末３０による複合機１０の撮影画像に基づいて特定する。詳細には、撮影画像に含まれている特徴部を抽出し、その特徴部に基づいて視点位置を特定する。特徴部は、上述した各種の形状部や輪郭などを利用してもよいし、複合機１０の外表面に設けた所定のマークを使用するようにしてもよい。
【００７０】
図６〜図９に、マークを使用した視点位置の特定方法を例示する。図６、図７に示すように、複合機１０の外表面（図の例では前面）に、特徴部となる複数の黒いマーク８０を設ける。これらのマーク８０の大きさ（形状を含む）、配置間隔（Ｄ１）などの情報は予め不揮発メモリ１４などに登録しておく。
【００７１】
複合機１０の正面側からマーク８０を含む箇所を携帯端末３０で撮影すると、その撮影画像にはマーク８０の画像が現れる。たとえば、図８や図９に示すようなマーク８０の画像が現れる。このマーク８０の画像を特徴部として抽出し、抽出したマーク８０の画像の大きさ、形状（歪み角度）、配置間隔と、予め登録されている情報に基づき、撮影箇所から携帯端末３０のカメラ部までの距離と角度（上下左右方向の角度）を計算し、カメラ部の視点位置を求める。すなわち、抽出したマーク８０の画像の大きさ、形状（歪み角度）、配置間隔などが、複合機１０に設けられている実際のマーク８０に対してどのように変形しているかに基づいて撮影箇所から携帯端末３０のカメラ部までの距離と角度（上下左右方向の角度）を計算し、カメラ部の視点位置を求める。
【００７２】
たとえば、撮影画像に図９に例示した４つのマーク８０の画像が現れた場合は、登録情報による横方向の配置間隔（Ｄ１）と撮影画像上の配置間隔（Ｄ１´）の比と、左側の２つの画像の縦方向の距離ｄ１と右側の２つの画像の縦方向の距離ｄ２の比とから、複合機１０に設けられている実際の４つのマーク８０と携帯端末３０のカメラ部の角度を求めることができる。
【００７３】
上記例のようにして、携帯端末３０のカメラ部の視点位置を特定し、その視点位置から見える向きのスケルトン画像を、データベースに記憶されている３次元ＣＡＤデータから生成する。
【００７４】
次に、複合機１０と携帯端末３０の動作について説明する。
【００７５】
図１０は、複合機１０と携帯端末３０の処理の流れを示すシーケンス図である。
【００７６】
携帯端末３０は、ユーザから操作を受けて、複合機１０と通信を行う専用のアプリケーションプログラムを起動する（Ｐ１０１）。アプリケーションプログラムを起動すると、複合機１０のＩＰアドレスを指定して、通信相手の複合機１０を特定する。
【００７７】
携帯端末３０（専用のアプリケーションプログラム）は、通信相手の複合機１０が現在通信を受付可能か否かを複合機１０に問い合わせる（Ｐ１０２）。このとき、携帯端末３０に登録されている認証情報などを同時に送信し、複合機１０側でユーザ認証データとして記憶するようにしてもよい。
【００７８】
複合機１０は、携帯端末３０から問い合わせを受けると、自機が現在通信可能な状態か否かを判断する（Ｐ１０３）。たとえば、自機に致命的なエラーが発生していて、通信の受付が不可能な場合などには、受付不可と判断する。ここでは、そのような致命的なエラーが発生しておらず、通信の受付が可能と判断した場合で説明する。
【００７９】
複合機１０は、通信可能（ＯＫ）の判断結果を携帯端末３０に通知する（Ｐ１０４）。携帯端末３０は、複合機１０から通信可能の通知を受けると、複合機１０に関する情報を表示するに当たっての表示モード（ジャムポジション表示、スケルトン表示、メンテナンス部品の表示、その他など）の選択をユーザから受け付けて決定し、通信開始を指示する（Ｐ１０５）。そして、決定して表示モードと通信開始を複合機１０に通知する（Ｐ１０６）。
【００８０】
複合機１０は、携帯端末３０から通知された表示モードを設定し、携帯端末３０からの画像データの受信の準備を行う（Ｐ１０７）。表示モードの設定と画像データの受信の準備を完了すると、携帯端末３０に表示モードの設定完了と画像データの受信準備完了を通知する（Ｐ１０８）。
【００８１】
携帯端末３０は、この通知以降、ユーザによるカメラ撮影操作を受けて、カメラ部により複合機１０を撮影し、そのカメラ画像（撮影画像）を入力する（Ｐ１０９）。入力した複合機１０のカメラ画像は複合機１０に送信する（Ｐ１１０）。
【００８２】
複合機１０は、携帯端末３０から受信したカメラ画像をＲＡＭ１３（または不揮発メモリ１４）に格納する（Ｐ１１１）。複合機１０は、受信したカメラ画像を解析し、このカメラ画像からの特徴抽出などの処理を行い、携帯端末３０による複合機１０の撮影箇所を特定する。さらに、携帯端末３０のカメラ部と複合機１０の撮影箇所の距離、角度を計算し、カメラ部の視点位置を求め、カメラ部と複合機１０の撮影箇所の３次元的な位置関係を求める（Ｐ１１２）。
【００８３】
複合機１０は、Ｐ１０７で設定した表示モードより、自機の撮影箇所に対応する表示情報を決定する。また、表示モードがスケルトン表示の場合には、カメラ部の視点位置に応じた向き（視点位置から見える向き）のスケルトン画像を生成し、そのスケルトン画像を表示情報に決定する（Ｐ１１３）。
【００８４】
複合機１０は、画像合成処理を行って、表示情報をカメラ画像に重ね合わせ（Ｐ１１４）、この合成画像を携帯端末３０に送信する（Ｐ１１５）。携帯端末３０は、複合機１０から受信した画像（合成画像）を表示部３１に表示する（Ｐ１１６）。
【００８５】
携帯端末３０は、ユーザから動作終了の指示を受けない場合は、Ｐ１０９〜Ｐ１１６による撮影から表示までの動作を繰り返し行う（Ｐ１１７）。ユーザから動作終了の指示を受けた場合は、カメラ部による撮影と複合機１０へのカメラ画像の送信を停止し（Ｐ１１８）、複合機１０に動作終了を通知する（Ｐ１１９）。
【００８６】
複合機１０は、携帯端末３０から動作終了の通知を受けると、携帯端末３０との通信の終了処理を行う（Ｐ１２０）。複合機１０は、終了処理が完了したことを携帯端末３０に通知する（Ｐ１２１）。携帯端末３０は、専用のアプリケーションプログラムを終了し、全ての処理を完了する（Ｐ１２２）。
【００８７】
このように、本実施形態に係る複合機１０では、携帯端末３０による自機の撮影情報に基づいて、自機の撮影箇所を判断し、その撮影箇所に応じた表示情報を携帯端末３０に送信して表示させるので、携帯端末３０の位置を検出するための多数の位置検出手段などを設けることなく、簡素な構成で適宜な表示情報（撮影箇所に応じた表示情報）を携帯端末３０に表示させることができる。
【００８８】
また、撮影情報に表示情報を重ね合わせて表示することで、複合機１０のベースとなる画像の作成を省略することができ、表示情報の作成が簡単になる。さらに、撮影画像に写っている実際の撮影箇所（実物）と表示情報の関係を見た目で分かりやすく表示することができる。
【００８９】
具体的には、図３に示したように、撮影画像にジャムポジション画像５０を重ね合わせて表示した場合には、撮影画像に写っている実際の撮影箇所におけるジャム発生箇所が見た目で分かりやすく表示され、ユーザは複合機１０におけるジャム発生箇所を容易に把握できる。また、図４に示したように、撮影画像にジャム発生箇所のスケルトン画像６０を見た目の向きを合わせて合成し表示した場合には、ユーザはジャム発生箇所の内部状態やジャム紙の位置を容易に把握でき（ジャム発生箇所の状態がイメージしやすくなり）、ジャム紙の除去作業を円滑に行うことができる。また、図５に示したように、ジャムの発生箇所を撮影していない場合には、その撮影箇所からジャム発生箇所の方向を示すジャム方向画像７０が撮影画像に重ね合わせて表示されることで、ユーザは複合機１０のジャム発生箇所を容易に探すことができる。
【００９０】
これにより、特に業務用印刷に使用される大型の画像形成装置においては、装置内に散在して見つけ難い多数のジャム紙でも、簡単に見つけ出して迅速に除去できるようになり、ジャムの除去作業に要する時間を短縮することができる。また、このジャム処理時間の短縮によって、印刷の生産性を向上することができる。
【００９１】
また、ジャムの他にも、故障などのエラーの発生やメンテナンスの必要性、あるいは、エラーやメンテナンスに伴う手動操作の必要性といった各種の事象に対し、その事象の発生箇所に応じた各種の表示情報（位置情報／スケルトン画像／案内情報／操作情報）を携帯端末３０に表示させることができる。エラーの処置やメンテナンスの対応をサービスマンが行う場合にも、携帯端末３０に表示された各種の表示情報から、該当箇所の位置、内部状態、操作内容を容易に把握することができ、作業の迅速化を図ることができる（サービス性の向上）。
【００９２】
［第２の実施形態］
第１の実施形態では、携帯端末３０が撮影した撮影画像（カメラ画像）と、複合機１０に関する表示情報の合成を、複合機１０が行う場合を説明したが、第２の実施形態では、携帯端末３０が行う場合を説明する。
【００９３】
本実施形態では、携帯端末用のアプリケーションプログラムに、携帯端末３０による複合機１０の撮影画像に基づいて、複合機１０の撮影箇所と携帯端末３０（カメラ部）の位置を求める機能、図１０のＰ１１４で説明した画像合成処理を行う機能が組み込まれている。撮影画像に基づく撮影箇所の特定方法は、第１の実施形態で説明した複合機１０が行う方法と同じである。この機能を携帯端末３０に搭載するために、携帯端末３０には、複合機１０の撮影箇所を特定するための照合用情報（複合機１０の特徴部の画像（画像データ）および３次元座標位置）が記憶されたデータベースが格納されている。このデータベースは、第１の実施形態に係る複合機１０に格納されていたデータベースと同じものである。
【００９４】
図１１は、第２の実施形態に係る複合機１０と携帯端末３０の処理の流れを示すシーケンス図である。
【００９５】
図１１におけるＰ２０１〜Ｐ２０９は、第１の実施形態で説明した図１０におけるＰ１０１〜Ｐ１０９と同じ動作である。また、図１１におけるＰ２１８〜Ｐ２２１は、図１０におけるＰ１１９〜Ｐ１２２と同じ動作である。第１の実施形態と同じ動作については、ここでは説明を省略する。
【００９６】
携帯端末３０は、ユーザによるカメラ撮影操作を受けて複合機１０を撮影したカメラ画像（撮影画像）を解析し、このカメラ画像からの特徴抽出および照合用情報との照合などの処理を行い、撮影画像に写っている複合機１０の撮影箇所を３次元座標の範囲によって特定する。詳細は、第１の実施形態における複合機１０の処理と同じである。また、カメラ画像を解析して自機のカメラ部と複合機１０の撮影箇所の距離、角度を計算し、カメラ部の視点位置を求め、カメラ部と複合機１０の撮影箇所の３次元的な位置関係を求める（Ｐ２１０）。
【００９７】
携帯端末３０は、複合機１０の撮影箇所を示す撮影箇所情報（複合機１０に予め設定されている３次元座標系に対応する座標で撮影箇所を示した情報）と、カメラ部の視点位置と撮影箇所との３次元的な位置関係を示す位置関係情報とを生成し、複合機１０に送信する（Ｐ２１１）。
【００９８】
複合機１０は、携帯端末３０から受信した撮影箇所情報より、携帯端末３０による自機の撮影箇所を特定する。また、携帯端末３０から受信した位置関係情報より、携帯端末３０のカメラ部と自機の撮影箇所の３次元的な位置関係（距離、角度）を認識する。
【００９９】
複合機１０は、Ｐ２０７で設定した表示モードより、自機の撮影箇所に対応する表示情報を決定する。また、表示モードがスケルトン表示の場合には、カメラ部の視点位置に応じた向き（視点位置から見える向き）のスケルトン画像を生成し、そのスケルトン画像を表示情報に決定する（Ｐ２１２）。複合機１０は、この表示情報を携帯端末３０に送信する（Ｐ２１３）。
【０１００】
携帯端末３０は、複合機１０から表示情報を受信すると、画像合成処理を行って、表示情報をカメラ画像に重ね合わせ（Ｐ２１４）、その合成画像を表示部３１に表示する（Ｐ２１５）。また、ユーザから動作終了の指示を受けない場合は、Ｐ２０９〜Ｐ２１５による撮影から表示までの動作を繰り返し行う（Ｐ２１６）。ユーザから動作終了の指示を受けた場合は、カメラ部による撮影と複合機１０への情報の送信を停止し（Ｐ２１７）、Ｐ２１８以降を行う。
【０１０１】
このように、携帯端末３０が撮影画像に基づいて複合機１０の撮影箇所を求め、複合機１０は、この撮影箇所を示す撮影箇所情報を携帯端末３０から得ることで、その撮影箇所情報によって示される自機の撮影箇所に応じた表示情報を携帯端末３０に送信して表示させることができる。
【０１０２】
以上、本発明の実施形態を図面によって説明してきたが、具体的な構成は実施形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【０１０３】
たとえば、実施形態では複合機１０にジャムなどの事象が発生した場合に、その事象に関連する表示情報（事象の発生箇所に関連する表示情報）を携帯端末３０に送信して表示させる例を説明したが、このような事象の発生にかかわらず、撮影画像に基づいて判断した撮影箇所に応じた表示情報（所定箇所の名称、位置、透視画像、操作内容などの情報）を携帯端末３０に送信して表示させるようにしてもよい。
【０１０４】
また、画像形成装置は複合機に限らず、プリンタや複写機などでもかまわない。また、実施形態では複合機が備えた各種のデータベースを、パーソナルコンピュータやサーバなどの情報処理装置が備え、その情報処理装置が携帯端末から画像形成装置の撮影画像を受信し、その撮影画像に基づいて画像形成装置の撮影箇所を判断し、その撮影箇所に応じた表示情報を携帯端末に送信して表示させる構成としてもよい。また、その情報処理装置が画像形成装置から、携帯端末に通知すべき事象が生じている指定箇所を示す指定箇所情報の入力を受けて、その指定箇所に係る表示情報を携帯端末に送信して表示させる構成としてもよい。
【符号の説明】
【０１０５】
１０…複合機（画像形成装置）
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…表示部
１７…操作部
１８…ファクシミリ通信部
１９…ネットワーク通信部
２０…スキャナ部
２１…画像処理部
２２…プリンタ部
２３…後処理部
３０…携帯端末
３１…表示部
５０…ジャムポジション画像
６０…スケルトン画像
７０…ジャム方向画像
８０…マーク
【技術分野】
【０００１】
本発明は、画像形成装置に関する情報を可搬型端末装置に送信して表示させる情報処理装置、画像形成装置、およびプログラムに関する。
【背景技術】
【０００２】
近年、業務用印刷に使用されるプリンタや複写機は、大幅な高速化とそれに伴う大型化が進んでいる。たとえば、印刷業界では印刷速度が毎分１００枚以上の高速機や、装置の一端から他端までの長さが１０メートルにも及ぶような大型機も普及し始めている。
【０００３】
このように画像形成装置が高速化および大型化すると、印刷処理中に装置内を同時に搬送される記録紙の枚数が非常に多くなり、ジャム（紙詰まり）が発生した場合はその復旧作業が大変になる。
【０００４】
たとえば、印刷処理中における記録紙の同時搬送枚数が２０枚近くなる機種において、排紙口付近など紙搬送路の下流側でジャムが発生した場合には、装置内に存在するジャム紙（搬送途中の記録紙を含む）が１０数枚に及ぶこともある。印刷作業に携わる作業者は、それらの多数のジャム紙を操作パネルに表示されたジャムポジションを確認しながら１枚ずつ取り出すことになり、そのジャム紙の除去作業が大変である。特に、長さが１０メートルにも及ぶような大型機で、作業者が操作パネルを見ながら装置内に散在するジャム紙を順番に取り除いていく場合は、外部から見えない場所にジャム紙があったり、操作パネルが作業者から離れた位置にあったりして、非常に煩雑で労力を要する作業となっている。
【０００５】
このようなジャム紙の除去作業などを軽減する技術として、たとえば、特許文献１には、印刷処理装置の操作部を装置本体と分離構成にし、操作部に設けた発信機からの発信信号を、装置本体の必要箇所に設けた複数の受信機で受信して操作部の位置を判断し、その操作部の位置に応じた情報（ジャムから復旧するための情報など）を操作部に表示する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２３１６７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記特許文献１のように、装置本体と分離した操作部（可般型端末装置）の位置を、発信機と受信機などからなる位置検出手段で検出する構成では、装置本体側に操作部の位置（３次元的な位置）を検出するための多数の位置検出手段（特許文献１の例では複数の受信機）を設ける必要があり、コストが嵩む問題がある。
【０００８】
本発明は、上記の問題を解決しようとするものであり、画像形成装置に関する情報を可般型端末装置に送信して表示させる場合に、可般型端末装置の位置に応じた情報の表示を簡素な構成で実現することができる情報処理装置、画像形成装置、およびプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００９】
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
【００１０】
［１］撮影機能と表示機能と通信機能とを備えた携帯端末と通信する通信部と、
前記携帯端末が画像形成装置を撮影した撮影画像を前記携帯端末から受信し、その撮影画像に基づいて前記画像形成装置の撮影箇所を判断し、その撮影箇所に応じた表示情報を前記携帯端末に送信する制御部と、
を有することを特徴とする情報処理装置。
【００１１】
上記発明では、携帯端末による画像形成装置の撮影画像に基づいて、画像形成装置の撮影箇所を判断し、その撮影箇所に応じた表示情報を携帯端末に送信して表示させる。このように、撮影画像を利用してその撮影箇所に応じた表示情報を携帯端末に表示させる構成であれば、携帯端末の位置を検出するための多数の位置検出手段などは不要であり、簡素な構成で適宜な表示情報（撮影箇所に応じた表示情報）を携帯端末に表示させることができる。
【００１２】
［２］前記制御部は、前記撮影画像に基づいてその撮影画像を撮影した前記携帯端末の視点位置を判断し、その視点位置に応じた向きの表示情報を前記携帯端末に送信する
ことを特徴とする［１］に記載の情報処理装置。
【００１３】
上記発明では、携帯端末にその視点位置に応じた向きの表示情報が表示されるので、携帯端末を操作する操作者に対し、表示情報をその視点位置から見て分かりやすく表示することができる。
【００１４】
［３］前記制御部は、前記表示情報を前記撮影画像に合成して前記携帯端末に送信する
ことを特徴とする［１］または［２］に記載の情報処理装置。
【００１５】
上記発明では、撮影画像に表示情報が合成されて表示されるので、携帯端末を操作する操作者に対し、撮影画像に写っている実際の撮影箇所（実物）と表示情報の関係を見た目で分かりやすく表示することができる。
【００１６】
［４］前記制御部は、前記画像形成装置に生じている前記携帯端末に通知すべき事象と、前記撮影箇所とに応じた表示情報を前記携帯端末に送信する
ことを特徴とする［１］〜［３］のいずれか１項に記載の情報処理装置。
【００１７】
上記発明では、携帯端末に通知すべき事象が画像形成装置に生じている場合に、その事象と、携帯端末による画像形成装置の撮影箇所とに応じた表示情報（画像形成装置に生じている事象に関する撮影箇所に応じた表示情報）を携帯端末に表示することができる。
【００１８】
［５］前記画像形成装置にて前記携帯端末に通知すべき事象が生じている指定箇所を示す指定箇所情報を入力する入力部を有し、
前記制御部は、前記入力部より入力された指定箇所情報によって示される指定箇所が、前記撮影箇所に含まれている場合は、その指定箇所に対応する第１の表示情報を前記携帯端末に送信し、前記撮影箇所に含まれていない場合は、その指定箇所に対応する第２の表示情報を前記携帯端末に送信する
ことを特徴とする［４］に記載の情報処理装置。
【００１９】
上記発明では、携帯端末が画像形成装置の指定箇所を撮影しているか否かに応じて、携帯端末に表示する表示情報を異ならせる。たとえば、指定箇所を撮影している場合は、その指定箇所に関する直接的な表示情報を表示させ、指定箇所を撮影していない場合は、その指定箇所に関する間接的な表示情報を表示させるなどの、表示情報の使い分けが可能となる。このように、多様な表示情報を携帯端末に表示させて、携帯端末の操作者に提供することができる。
【００２０】
［６］前記第２の表示情報は、前記指定箇所への案内情報である
ことを特徴とする［５］に記載の情報処理装置。
【００２１】
上記発明では、携帯端末による撮影箇所が指定箇所から外れている場合には、その指定箇所への案内情報が表示されるので、携帯端末の操作者を指定箇所に到達しやすくできる。
【００２２】
［７］前記表示情報は、前記画像形成装置の所定箇所の位置を示す位置情報と、前記画像形成装置の透視画像と、前記画像形成装置の操作情報とのうちの少なくとも１つである
ことを特徴とする［１］〜［６］のいずれか１項に記載の情報処理装置。
【００２３】
上記発明では、携帯端末には、画像形成装置の撮影箇所に応じた表示情報として、画像形成装置の所定箇所の位置を示す位置情報と、画像形成装置の透視画像と、画像形成装置の操作情報とのうちの少なくとも１つが表示される。携帯端末の操作者は、位置情報から画像形成装置の所定箇所の位置を容易に把握することができる。また、透視画像から画像形成装置の内部状態を把握することができる。また、操作情報から画像形成装置の操作内容を容易に把握することができる。
【００２４】
［８］前記表示情報は、前記画像形成装置におけるエラー発生箇所と、メンテナンス箇所と、操作必要箇所とのうちの少なくとも１つに関連する情報である
ことを特徴とする［１］〜［７］のいずれか１項に記載の情報処理装置。
【００２５】
上記発明では、画像形成装置におけるエラー発生箇所と、部品交換箇所と、操作必要箇所のうちの少なくとも１つに関連する情報（表示情報）を携帯端末に表示させる。携帯端末の操作者は、携帯端末に表示されたそれらの情報から、画像形成装置におけるエラーの発生、部品の交換、必要となる操作に容易に対処・対応することができる。
【００２６】
［９］前記画像形成装置の外表面には、前記画像形成装置を撮影する前記携帯端末の視点位置を判断するための所定のマークが設けられており、
前記制御部は、前記撮影画像に含まれている前記所定のマークの変形に基づいて前記携帯端末の視点位置を判断する
ことを特徴とする［２］に記載の情報処理装置。
【００２７】
上記発明では、画像形成装置の外表面に設けた所定のマークを利用して（所定のマークの変形に基づいて）、携帯端末の視点位置を的確に判断することができる。
【００２８】
［１０］前記制御部は、前記撮影画像に替えて、前記携帯端末が前記撮影画像に基づいて求めた前記画像形成装置の撮影箇所を示す撮影箇所情報を受信し、その撮影箇所情報によって示される前記画像形成装置の撮影箇所に応じた表示情報を前記携帯端末に送信する
ことを特徴とする［１］に記載の情報処理装置。
【００２９】
上記発明では、携帯端末が撮影画像に基づいて画像形成装置の撮影箇所を求める。この撮影箇所を示す撮影箇所情報を携帯端末から得ることで、その撮影箇所情報によって示される画像形成装置の撮影箇所に応じた表示情報を携帯端末に送信することができる。
【００３０】
［１１］前記制御部は、前記携帯端末が前記撮影画像に基づいて求めた、その撮影画像を撮影した前記携帯端末の視点位置を示す視点位置情報を受信し、その視点位置情報によって示される視点位置に応じた向きの表示情報を前記携帯端末に送信する
ことを特徴とする［１０］に記載の情報処理装置。
【００３１】
上記発明では、携帯端末が撮影画像に基づいて、その撮影画像を撮影した携帯端末の視点位置を求める。この視点位置を示す視点位置情報を携帯端末から得ることで、その視点位置情報によって示される視点位置に応じた向きの表示情報を携帯端末に送信することができる。
【００３２】
［１２］［１］〜［３］のいずれか１項に記載の情報処理装置と、
自装置における前記携帯端末に通知すべき事象の発生を検出する検出部と
を有し、
前記制御部は、前記検出部が検出した事象と、前記撮影箇所とに応じた表示情報を前記携帯端末に送信する
ことを特徴とする画像形成装置。
【００３３】
上記発明では、画像形成装置が携帯端末に通知すべき事象の発生を検出し、その検出した事象と、携帯端末による撮影箇所とに応じた表示情報を携帯端末に送信し表示させて、携帯端末の操作者に提供することができる。
【００３４】
［１３］情報処理装置に、
撮影機能と表示機能と通信機能とを備えた携帯端末と通信する機能と、
前記携帯端末が前記画像形成装置を撮影した撮影画像を前記携帯端末から受信し、その撮影画像に基づいて前記画像形成装置の撮影箇所を判断し、その撮影箇所に応じた表示情報を前記携帯端末に送信する機能と、
を実現させるためのプログラム。
【００３５】
［１４］撮影機能と表示機能と通信機能とを備えた携帯端末に、
画像形成装置を撮影した撮影画像に基づいて前記画像形成装置の撮影箇所を求め、その撮影箇所を示す撮影箇所情報を情報処理装置に送信する機能と、
前記情報処理装置から、前記撮影箇所情報によって示される前記画像形成装置の撮影箇所に応じた表示情報を受信する機能と、
前記情報処理装置から受信した表示情報を表示する機能と、
を実現させるためのプログラム。
【００３６】
［１５］前記撮影画像に基づいてその撮影画像を撮影した前記携帯端末の視点位置を求め、その視点位置を示す視点位置情報を情報処理装置に送信する機能と、
前記情報処理装置から、前記視点位置情報によって示される前記携帯端末の視点位置に応じた向きの表示情報を受信する機能と、
を前記携帯端末に実現させることを特徴とする請求項１４に記載のプログラム。
【発明の効果】
【００３７】
本発明に係る情報処理装置、画像形成装置、およびプログラムによれば、画像形成装置に関する情報を可般型端末装置に送信して表示させる場合に、可般型端末装置の位置に応じた情報の表示を簡素な構成で実現することができる。
【図面の簡単な説明】
【００３８】
【図１】本発明の第１の実施形態に係る複合機（画像形成装置）の概略構成を示すブロック図である。
【図２】携帯端末による複合機の撮影とその撮影画像の表示例を示す図である。
【図３】携帯端末による複合機の撮影画像にジャムポジションの位置を示す情報を合成して表示した状態を示す図である。
【図４】携帯端末による複合機の撮影画像にジャムの位置と状況を仮想的に示すスケルトン画像を合成して表示した状態を示す図である。
【図５】携帯端末による複合機の撮影画像にジャムポジションの方向を示す情報を合成して表示した状態を示す図である。
【図６】複合機を撮影する携帯端末の視点位置を複合機に設けた４つのマークで特定する方法の一例を説明する図である。
【図７】複合機を正面側の斜め上方から見た場合の図６の４つのマークの見え方を模式的に示した図である。
【図８】図６における２つのマークを距離と角度を変えて撮影した場合に各撮影画像に写るその２つのマークの状態を模式的に示した図である。
【図９】撮影画像に写った４つのマークの配置間隔および距離に基づいて携帯端末の角度を求める方法の一例を説明する図である。
【図１０】本発明の第１の実施形態に係る複合機と携帯端末の処理の流れを示すシーケンス図である。
【図１１】本発明の第２の実施形態に係る複合機と携帯端末の処理の流れを示すシーケンス図である。
【発明を実施するための形態】
【００３９】
以下、図面に基づき本発明の実施形態を説明する。
【００４０】
［第１の実施形態］
図１は、本発明の第１の実施形態に係る画像形成装置としての複合機１０の概略構成を示している。複合機１０は、原稿の画像を光学的に読み取ってその複製画像を記録紙に印刷して出力するコピー機能、読み取った原稿の画像データをファイルにして保存したりパーソナルコンピュータなどの外部端末やサーバへ送信したりするスキャン機能、外部端末から受信した印刷データに基づく画像や当該複合機１０に保存されている画像データに基づく画像を記録紙に印刷して出力するプリンタ機能、ファクシミリ機能などを備えている。
【００４１】
複合機１０は、当該複合機１０の動作を統括制御するＣＰＵ（Central Processing Unit）１１と、ＣＰＵ１１に接続されたＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、不揮発メモリ１４と、ハードディスク装置１５と、表示部１６と、操作部１７と、ファクシミリ通信部１８と、ネットワーク通信部１９と、スキャナ部２０と、画像処理部２１と、プリンタ部２２と、後処理部２３とを備えている。
【００４２】
ＣＰＵ１１ではＯＳプログラムをベースとし、その上で、ミドルウェアやアプリケーションプログラムなどが実行される。ＲＯＭ１２には各種のプログラムが格納されており、これらのプログラムに従ってＣＰＵ１１が処理を実行することでジョブの実行など複合機１０の各機能が実現される。ＲＡＭ１３はＣＰＵ１１がプログラムを実行する際に各種のデータを一時的に格納するワークメモリや画像データを格納する画像メモリなどとして使用される。なお、その他の必要なプログラムはハードディスク装置１５からＲＡＭ１３にロードされて実行される。
【００４３】
不揮発メモリ１４は、電源がオフにされても記憶が保持される書き換え可能なメモリ（フラッシュメモリ）である。不揮発メモリ１４には、装置固有の情報（装置ＩＤ（IDentification）、ＩＰ（Internet Protocol）アドレスなど）、各種の設定情報などが記憶される。ハードディスク装置１５は、大容量不揮発の記憶装置であり、プログラムのほか、たとえば、印刷データや画像データの保存などに使用される。
【００４４】
複合機１０の操作パネルは表示部１６と操作部１７を備えて構成される。表示部１６は、液晶ディスプレイなどで構成され、メイン画面、メニュー画面、操作画面、設定画面、情報表示画面などの各種の画面を表示する。操作部１７は、ユーザから各種の操作を受け付ける。操作部１７は、表示部１６の画面上に設けられて押下された座標位置を検出するタッチパネルのほか、テンキーや文字入力キー、スタートキーなどを備えて構成される。
【００４５】
ファクシミリ通信部１８は、ファクシミリ送信および受信に係る動作を制御する。ネットワーク通信部１９は、ＬＡＮ（Local Area Network）などのネットワークを通じた通信に係る動作を制御する。
【００４６】
スキャナ部２０は、原稿の画像を光学的に読み取って画像データを取得する。スキャナ部２０は、たとえば、原稿に光を照射する光源と、その反射光を受けて原稿を幅方向に１ライン分読み取るラインイメージセンサと、ライン単位の読取位置を原稿の長さ方向に順次移動させる移動手段と、原稿からの反射光をラインイメージセンサに導いて結像させるレンズやミラーなどからなる光学系と、ラインイメージセンサの出力するアナログ画像信号をデジタルの画像データに変換する変換部などを備えて構成される。
【００４７】
画像処理部２１は、画像データに対して、画像補正、回転、拡大／縮小、圧縮／伸張など各種の画像処理を行う。
【００４８】
プリンタ部２２は、画像データに基づく画像を電子写真プロセスによって記録紙上に形成して出力する。プリンタ部２２は、たとえば、記録紙の搬送装置と、感光体ドラムと、帯電装置と、入力される画像データに応じて点灯制御されるＬＤ（Laser Diode）と、ＬＤから射出されたレーザ光を感光体ドラム上で走査させる走査ユニットと、現像装置と、転写分離装置と、クリーニング装置と、定着装置とを有する、いわゆるレーザープリンタとして構成されている。レーザ光に代えてＬＥＤ（Light Emitting Diode）で感光体ドラムを照射するＬＥＤプリンタのほか他の方式のプリンタであってもかまわない。
【００４９】
後処理部２３は、プリンタ部２２から印刷出力された記録紙に、ステープル、パンチ、折り、製本などの後処理（フィニッシング処理）を施す。
【００５０】
また、複合機１０は、予め決められている各種の事象の発生を検出する機能と、その事象の発生箇所を検出する機能と、その事象および検出箇所を自動でまたは操作部１７に対する手動操作を受けて表示部１６に表示する機能を備えている。各種の事象は、ジャム（紙詰まり）や故障などのエラー、点検や消耗部品の交換などのメンテナンスの必要性、エラーやメンテナンスに伴うパネルやレバーなどの手動操作の必要性などである。これらの事象の発生箇所を検出するに当たり、検出対象となる箇所、すなわち、エラー発生検出箇所、メンテナンス必要性検出箇所（メンテナンス箇所）、エラーやメンテナンスに伴う手動操作必要性検出箇所（手動操作箇所）も、予め決められている。また、エラーの発生とメンテナンスの必要性（メンテナンスタイミング）については、センサやプログラムなどで検出する。
【００５１】
また、複合機１０は、自機と通信するための専用のアプリケーションプログラムをインストールしたカメラ付きの携帯端末（可般型端末装置）とネットワークを通じて通信する機能と、その携帯端末が撮影した自機の撮影画像を携帯端末から受信し、その撮影画像に基づいて特定した自機の撮影箇所に応じた表示情報を携帯端末に送信して表示させる機能を備えている。
【００５２】
表示情報は、上記の事象（エラー、メンテナンスの必要性、エラーやメンテナンスに伴う手動操作の必要性）の発生を検出した箇所に関する情報である。予め決められている複数の検出対象箇所のうち、検出対象の事象が発生して実際に検出が行われた箇所は、携帯端末に表示情報を送信すべき指定箇所（所定箇所）となる。表示情報は、この指定箇所に関する情報である。具体的には、指定箇所の位置を示す情報（位置情報）、指定箇所を透視状（骨組み状）にして示した画像情報（スケルトン画像）、指定箇所へ案内する情報（案内情報）、指定箇所の操作内容を示した情報（操作情報）などである。
【００５３】
表示情報の画像データは、ハードディスク装置１５（または不揮発メモリ１４）に格納したデータベースに記憶されている。位置情報と、案内情報と、操作情報は、たとえば、文字、記号、図形、マークなどを使用して予め作成し、記憶しておく。スケルトン画像は、複合機１０の設計時に３次元ＣＡＤ（Computer Aided Design）で作成された、必要箇所（複数の検出対象箇所）のスケルトン画像（透視画像／骨組み画像）の３次元ＣＡＤデータを利用し、その３次元ＣＡＤデータを記憶しておく。
【００５４】
また、案内情報を除いた各種の表示情報（位置情報／スケルトン画像／操作情報）は、検出対象箇所に対応付けられてデータベースに記憶されている。たとえば、複合機１０の内部空間に３次元座標系を設定し、その３次元座標系における検出対象箇所の３次元座標位置（Ｘ，Ｙ，Ｚ）に、その検出対象箇所に対応する各種の表示情報を対応付けてデータベースに記憶しておく。検出対象箇所の３次元座標位置（中心位置）は、検出対象箇所の重心位置にしてもよいし、任意に設定した基準位置などにしてもよい。
【００５５】
図２は、携帯端末３０による複合機１０の撮影とその撮影画像の表示例を示している。詳細には、ユーザが携帯端末３０を操作して、携帯端末３０のカメラ機能で複合機１０を撮影し、その撮影画像が携帯端末３０の表示部３１に表示されている状態を示している。
【００５６】
携帯端末３０は、本実施形態では、携帯電話機と携帯情報端末（ＰＤＡ；Personal Digital Assistants）を融合させたスマートフォンなどの汎用の機器で構成されている。この携帯端末３０には、撮影機能（カメラ機能）と、表示機能と、通信機能とを備えた汎用の携帯電話機や携帯情報端末を使用するようにしてもよいし、それらの機能を備えた専用の携帯端末を複合機１０に付属させ、その専用の携帯端末を使用するようにしてもよい。また、専用の携帯端末においては、無線通信または有線通信のいずれの構成としてもよい。
【００５７】
汎用の携帯端末３０には、複合機１０と通信を行う専用のアプリケーションプログラムをインストールしておく。携帯端末３０は、このアプリケーションプログラムを起動して複合機１０と通信を行い、カメラ部で撮影した複合機１０の撮影画像を複合機１０に送信し、複合機１０から受信した表示情報を表示部３１に表示する。
【００５８】
続いて、携帯端末３０による複合機１０の撮影と情報の表示について説明する。ここでは、複合機１０でジャムが発生し、そのジャム発生箇所に関する表示情報を携帯端末３０に表示する場合を例に説明する。また、以下では、（１）各種表示情報の表示例、（２）撮影箇所の特定方法例、（３）撮影箇所に応じた表示情報の決定方法例、（４）携帯端末と撮影箇所の位置関係に応じた表示情報の作成方法例を順番に説明する。
【００５９】
（１）各種表示情報の表示例
図２に示すように、ユーザは携帯端末３０を手で持ち、携帯端末３０のカメラ機能（カメラ部）で複合機１０の周囲（図２の例では複合機１０の正面側）から複合機１０の任意の箇所を撮影する。携帯端末３０は、カメラ部の視点位置から撮影した複合機１０の任意の箇所の撮影画像を表示部３１に表示する。
【００６０】
図３は、携帯端末３０による複合機１０の特定の箇所の撮影画像に、ジャムの発生箇所を示す表示情報であるジャムポジション画像５０が重ね合わせられて表示されている状態を示している。本例では、ジャムポジション画像５０は番号（数字）で構成されている。
【００６１】
図４は、携帯端末３０による複合機１０の特定の箇所の撮影画像に、ジャムの発生箇所の内部状態とジャム紙を透視状にして仮想的に示したスケルトン画像６０と、ジャムポジション画像５０とが重ね合わせられて表示されている状態を示している。
【００６２】
図５は、携帯端末３０による複合機１０のジャム発生箇所以外の箇所の撮影画像に、ジャム発生箇所の方向（ジャム紙が存在する方向）を示す表示情報であるジャム方向画像７０が重ね合わせられて表示されている状態を示している。本例では、ジャム方向画像７０は、ジャム発生箇所の方向を示す矢印マークと、文字（「This Direction」）で構成されている。
【００６３】
（２）撮影箇所の特定方法例
携帯端末３０による複合機１０の撮影箇所は、撮影画像に基づいて特定する。この撮影画像に基づく撮影箇所の特定（判断）には、周知の画像照合・判定技術を利用する。
【００６４】
たとえば、複合機１０のハードディスク装置１５（または不揮発メモリ１４）に照合用情報のデータベースを格納し、そのデータベースに、照合用となる複合機１０の特徴部の画像（画像データ）と、その特徴部の３次元座標位置とを対応付けて記憶しておく。特徴部は、輪郭や色彩などによって周辺との境界を認識できる各種の形状部や輪郭自体を利用してもよいし、複合機１０の外表面に設けた所定のマークなどを使用するようにしてもよい。
【００６５】
画像照合では、携帯端末３０による複合機１０の撮影画像から特徴部の画像を抽出し、その特徴部の画像をデータベース内の照合用の特徴部の画像と照合して、一致するものを特定する。このデータベース内から照合一致した特徴部の画像に対応付けられている３次元座標位置と、撮影画像内での特徴部（抽出した特徴部）の位置および大きさから、撮影画像に写っている複合機１０の撮影箇所を３次元座標の範囲によって特定する。
【００６６】
（３）撮影箇所に応じた表示情報の決定方法例
前述したように、複合機１０における検出対象の事象（エラー、メンテナンスの必要性、エラーやメンテナンスに伴う手動操作の必要性）の検出対象箇所（３次元座標位置）には、案内情報を除いた各種の表示情報（位置情報／スケルトン画像／操作情報）が対応付けられてデータベースに記憶されている。検出対象の事象が発生した箇所が、携帯端末３０に表示情報を送信すべき指定箇所（所定箇所）となり、この指定箇所に対応する表示情報を選び出して携帯端末３０に送信することになる。
【００６７】
ここでは、特定した撮影箇所（３次元座標の範囲）に、指定箇所（３次元座標位置）が含まれている場合には、位置情報（ジャムポジション画像５０）、スケルトン画像（スケルトン画像６０）、操作情報などを、携帯端末３０に送信する表示情報として決定する。特定した撮影箇所に指定箇所が含まれていない場合には、その撮影箇所に応じた、指定箇所への案内情報（撮影箇所から指定箇所の方向を指す矢印マークなど）を、携帯端末３０に送信する表示情報として決定する。
【００６８】
なお、指定箇所が複数存在する場合には、最近の指定箇所に対応する案内情報のみを送信対象に決定するようにしてもよいし、全ての指定箇所に対応する各々の案内情報を送信対象に決定するようにしてもよい。
【００６９】
（４）携帯端末と撮影箇所の位置関係に応じた表示情報の作成方法例
表示情報がスケルトン画像の場合には、携帯端末３０のカメラ部の視点位置に応じた向き（視点位置から見える向き）のスケルトン画像を生成する。この視点位置も、携帯端末３０による複合機１０の撮影画像に基づいて特定する。詳細には、撮影画像に含まれている特徴部を抽出し、その特徴部に基づいて視点位置を特定する。特徴部は、上述した各種の形状部や輪郭などを利用してもよいし、複合機１０の外表面に設けた所定のマークを使用するようにしてもよい。
【００７０】
図６〜図９に、マークを使用した視点位置の特定方法を例示する。図６、図７に示すように、複合機１０の外表面（図の例では前面）に、特徴部となる複数の黒いマーク８０を設ける。これらのマーク８０の大きさ（形状を含む）、配置間隔（Ｄ１）などの情報は予め不揮発メモリ１４などに登録しておく。
【００７１】
複合機１０の正面側からマーク８０を含む箇所を携帯端末３０で撮影すると、その撮影画像にはマーク８０の画像が現れる。たとえば、図８や図９に示すようなマーク８０の画像が現れる。このマーク８０の画像を特徴部として抽出し、抽出したマーク８０の画像の大きさ、形状（歪み角度）、配置間隔と、予め登録されている情報に基づき、撮影箇所から携帯端末３０のカメラ部までの距離と角度（上下左右方向の角度）を計算し、カメラ部の視点位置を求める。すなわち、抽出したマーク８０の画像の大きさ、形状（歪み角度）、配置間隔などが、複合機１０に設けられている実際のマーク８０に対してどのように変形しているかに基づいて撮影箇所から携帯端末３０のカメラ部までの距離と角度（上下左右方向の角度）を計算し、カメラ部の視点位置を求める。
【００７２】
たとえば、撮影画像に図９に例示した４つのマーク８０の画像が現れた場合は、登録情報による横方向の配置間隔（Ｄ１）と撮影画像上の配置間隔（Ｄ１´）の比と、左側の２つの画像の縦方向の距離ｄ１と右側の２つの画像の縦方向の距離ｄ２の比とから、複合機１０に設けられている実際の４つのマーク８０と携帯端末３０のカメラ部の角度を求めることができる。
【００７３】
上記例のようにして、携帯端末３０のカメラ部の視点位置を特定し、その視点位置から見える向きのスケルトン画像を、データベースに記憶されている３次元ＣＡＤデータから生成する。
【００７４】
次に、複合機１０と携帯端末３０の動作について説明する。
【００７５】
図１０は、複合機１０と携帯端末３０の処理の流れを示すシーケンス図である。
【００７６】
携帯端末３０は、ユーザから操作を受けて、複合機１０と通信を行う専用のアプリケーションプログラムを起動する（Ｐ１０１）。アプリケーションプログラムを起動すると、複合機１０のＩＰアドレスを指定して、通信相手の複合機１０を特定する。
【００７７】
携帯端末３０（専用のアプリケーションプログラム）は、通信相手の複合機１０が現在通信を受付可能か否かを複合機１０に問い合わせる（Ｐ１０２）。このとき、携帯端末３０に登録されている認証情報などを同時に送信し、複合機１０側でユーザ認証データとして記憶するようにしてもよい。
【００７８】
複合機１０は、携帯端末３０から問い合わせを受けると、自機が現在通信可能な状態か否かを判断する（Ｐ１０３）。たとえば、自機に致命的なエラーが発生していて、通信の受付が不可能な場合などには、受付不可と判断する。ここでは、そのような致命的なエラーが発生しておらず、通信の受付が可能と判断した場合で説明する。
【００７９】
複合機１０は、通信可能（ＯＫ）の判断結果を携帯端末３０に通知する（Ｐ１０４）。携帯端末３０は、複合機１０から通信可能の通知を受けると、複合機１０に関する情報を表示するに当たっての表示モード（ジャムポジション表示、スケルトン表示、メンテナンス部品の表示、その他など）の選択をユーザから受け付けて決定し、通信開始を指示する（Ｐ１０５）。そして、決定して表示モードと通信開始を複合機１０に通知する（Ｐ１０６）。
【００８０】
複合機１０は、携帯端末３０から通知された表示モードを設定し、携帯端末３０からの画像データの受信の準備を行う（Ｐ１０７）。表示モードの設定と画像データの受信の準備を完了すると、携帯端末３０に表示モードの設定完了と画像データの受信準備完了を通知する（Ｐ１０８）。
【００８１】
携帯端末３０は、この通知以降、ユーザによるカメラ撮影操作を受けて、カメラ部により複合機１０を撮影し、そのカメラ画像（撮影画像）を入力する（Ｐ１０９）。入力した複合機１０のカメラ画像は複合機１０に送信する（Ｐ１１０）。
【００８２】
複合機１０は、携帯端末３０から受信したカメラ画像をＲＡＭ１３（または不揮発メモリ１４）に格納する（Ｐ１１１）。複合機１０は、受信したカメラ画像を解析し、このカメラ画像からの特徴抽出などの処理を行い、携帯端末３０による複合機１０の撮影箇所を特定する。さらに、携帯端末３０のカメラ部と複合機１０の撮影箇所の距離、角度を計算し、カメラ部の視点位置を求め、カメラ部と複合機１０の撮影箇所の３次元的な位置関係を求める（Ｐ１１２）。
【００８３】
複合機１０は、Ｐ１０７で設定した表示モードより、自機の撮影箇所に対応する表示情報を決定する。また、表示モードがスケルトン表示の場合には、カメラ部の視点位置に応じた向き（視点位置から見える向き）のスケルトン画像を生成し、そのスケルトン画像を表示情報に決定する（Ｐ１１３）。
【００８４】
複合機１０は、画像合成処理を行って、表示情報をカメラ画像に重ね合わせ（Ｐ１１４）、この合成画像を携帯端末３０に送信する（Ｐ１１５）。携帯端末３０は、複合機１０から受信した画像（合成画像）を表示部３１に表示する（Ｐ１１６）。
【００８５】
携帯端末３０は、ユーザから動作終了の指示を受けない場合は、Ｐ１０９〜Ｐ１１６による撮影から表示までの動作を繰り返し行う（Ｐ１１７）。ユーザから動作終了の指示を受けた場合は、カメラ部による撮影と複合機１０へのカメラ画像の送信を停止し（Ｐ１１８）、複合機１０に動作終了を通知する（Ｐ１１９）。
【００８６】
複合機１０は、携帯端末３０から動作終了の通知を受けると、携帯端末３０との通信の終了処理を行う（Ｐ１２０）。複合機１０は、終了処理が完了したことを携帯端末３０に通知する（Ｐ１２１）。携帯端末３０は、専用のアプリケーションプログラムを終了し、全ての処理を完了する（Ｐ１２２）。
【００８７】
このように、本実施形態に係る複合機１０では、携帯端末３０による自機の撮影情報に基づいて、自機の撮影箇所を判断し、その撮影箇所に応じた表示情報を携帯端末３０に送信して表示させるので、携帯端末３０の位置を検出するための多数の位置検出手段などを設けることなく、簡素な構成で適宜な表示情報（撮影箇所に応じた表示情報）を携帯端末３０に表示させることができる。
【００８８】
また、撮影情報に表示情報を重ね合わせて表示することで、複合機１０のベースとなる画像の作成を省略することができ、表示情報の作成が簡単になる。さらに、撮影画像に写っている実際の撮影箇所（実物）と表示情報の関係を見た目で分かりやすく表示することができる。
【００８９】
具体的には、図３に示したように、撮影画像にジャムポジション画像５０を重ね合わせて表示した場合には、撮影画像に写っている実際の撮影箇所におけるジャム発生箇所が見た目で分かりやすく表示され、ユーザは複合機１０におけるジャム発生箇所を容易に把握できる。また、図４に示したように、撮影画像にジャム発生箇所のスケルトン画像６０を見た目の向きを合わせて合成し表示した場合には、ユーザはジャム発生箇所の内部状態やジャム紙の位置を容易に把握でき（ジャム発生箇所の状態がイメージしやすくなり）、ジャム紙の除去作業を円滑に行うことができる。また、図５に示したように、ジャムの発生箇所を撮影していない場合には、その撮影箇所からジャム発生箇所の方向を示すジャム方向画像７０が撮影画像に重ね合わせて表示されることで、ユーザは複合機１０のジャム発生箇所を容易に探すことができる。
【００９０】
これにより、特に業務用印刷に使用される大型の画像形成装置においては、装置内に散在して見つけ難い多数のジャム紙でも、簡単に見つけ出して迅速に除去できるようになり、ジャムの除去作業に要する時間を短縮することができる。また、このジャム処理時間の短縮によって、印刷の生産性を向上することができる。
【００９１】
また、ジャムの他にも、故障などのエラーの発生やメンテナンスの必要性、あるいは、エラーやメンテナンスに伴う手動操作の必要性といった各種の事象に対し、その事象の発生箇所に応じた各種の表示情報（位置情報／スケルトン画像／案内情報／操作情報）を携帯端末３０に表示させることができる。エラーの処置やメンテナンスの対応をサービスマンが行う場合にも、携帯端末３０に表示された各種の表示情報から、該当箇所の位置、内部状態、操作内容を容易に把握することができ、作業の迅速化を図ることができる（サービス性の向上）。
【００９２】
［第２の実施形態］
第１の実施形態では、携帯端末３０が撮影した撮影画像（カメラ画像）と、複合機１０に関する表示情報の合成を、複合機１０が行う場合を説明したが、第２の実施形態では、携帯端末３０が行う場合を説明する。
【００９３】
本実施形態では、携帯端末用のアプリケーションプログラムに、携帯端末３０による複合機１０の撮影画像に基づいて、複合機１０の撮影箇所と携帯端末３０（カメラ部）の位置を求める機能、図１０のＰ１１４で説明した画像合成処理を行う機能が組み込まれている。撮影画像に基づく撮影箇所の特定方法は、第１の実施形態で説明した複合機１０が行う方法と同じである。この機能を携帯端末３０に搭載するために、携帯端末３０には、複合機１０の撮影箇所を特定するための照合用情報（複合機１０の特徴部の画像（画像データ）および３次元座標位置）が記憶されたデータベースが格納されている。このデータベースは、第１の実施形態に係る複合機１０に格納されていたデータベースと同じものである。
【００９４】
図１１は、第２の実施形態に係る複合機１０と携帯端末３０の処理の流れを示すシーケンス図である。
【００９５】
図１１におけるＰ２０１〜Ｐ２０９は、第１の実施形態で説明した図１０におけるＰ１０１〜Ｐ１０９と同じ動作である。また、図１１におけるＰ２１８〜Ｐ２２１は、図１０におけるＰ１１９〜Ｐ１２２と同じ動作である。第１の実施形態と同じ動作については、ここでは説明を省略する。
【００９６】
携帯端末３０は、ユーザによるカメラ撮影操作を受けて複合機１０を撮影したカメラ画像（撮影画像）を解析し、このカメラ画像からの特徴抽出および照合用情報との照合などの処理を行い、撮影画像に写っている複合機１０の撮影箇所を３次元座標の範囲によって特定する。詳細は、第１の実施形態における複合機１０の処理と同じである。また、カメラ画像を解析して自機のカメラ部と複合機１０の撮影箇所の距離、角度を計算し、カメラ部の視点位置を求め、カメラ部と複合機１０の撮影箇所の３次元的な位置関係を求める（Ｐ２１０）。
【００９７】
携帯端末３０は、複合機１０の撮影箇所を示す撮影箇所情報（複合機１０に予め設定されている３次元座標系に対応する座標で撮影箇所を示した情報）と、カメラ部の視点位置と撮影箇所との３次元的な位置関係を示す位置関係情報とを生成し、複合機１０に送信する（Ｐ２１１）。
【００９８】
複合機１０は、携帯端末３０から受信した撮影箇所情報より、携帯端末３０による自機の撮影箇所を特定する。また、携帯端末３０から受信した位置関係情報より、携帯端末３０のカメラ部と自機の撮影箇所の３次元的な位置関係（距離、角度）を認識する。
【００９９】
複合機１０は、Ｐ２０７で設定した表示モードより、自機の撮影箇所に対応する表示情報を決定する。また、表示モードがスケルトン表示の場合には、カメラ部の視点位置に応じた向き（視点位置から見える向き）のスケルトン画像を生成し、そのスケルトン画像を表示情報に決定する（Ｐ２１２）。複合機１０は、この表示情報を携帯端末３０に送信する（Ｐ２１３）。
【０１００】
携帯端末３０は、複合機１０から表示情報を受信すると、画像合成処理を行って、表示情報をカメラ画像に重ね合わせ（Ｐ２１４）、その合成画像を表示部３１に表示する（Ｐ２１５）。また、ユーザから動作終了の指示を受けない場合は、Ｐ２０９〜Ｐ２１５による撮影から表示までの動作を繰り返し行う（Ｐ２１６）。ユーザから動作終了の指示を受けた場合は、カメラ部による撮影と複合機１０への情報の送信を停止し（Ｐ２１７）、Ｐ２１８以降を行う。
【０１０１】
このように、携帯端末３０が撮影画像に基づいて複合機１０の撮影箇所を求め、複合機１０は、この撮影箇所を示す撮影箇所情報を携帯端末３０から得ることで、その撮影箇所情報によって示される自機の撮影箇所に応じた表示情報を携帯端末３０に送信して表示させることができる。
【０１０２】
以上、本発明の実施形態を図面によって説明してきたが、具体的な構成は実施形態に示したものに限られるものではなく、本発明の要旨を逸脱しない範囲における変更や追加があっても本発明に含まれる。
【０１０３】
たとえば、実施形態では複合機１０にジャムなどの事象が発生した場合に、その事象に関連する表示情報（事象の発生箇所に関連する表示情報）を携帯端末３０に送信して表示させる例を説明したが、このような事象の発生にかかわらず、撮影画像に基づいて判断した撮影箇所に応じた表示情報（所定箇所の名称、位置、透視画像、操作内容などの情報）を携帯端末３０に送信して表示させるようにしてもよい。
【０１０４】
また、画像形成装置は複合機に限らず、プリンタや複写機などでもかまわない。また、実施形態では複合機が備えた各種のデータベースを、パーソナルコンピュータやサーバなどの情報処理装置が備え、その情報処理装置が携帯端末から画像形成装置の撮影画像を受信し、その撮影画像に基づいて画像形成装置の撮影箇所を判断し、その撮影箇所に応じた表示情報を携帯端末に送信して表示させる構成としてもよい。また、その情報処理装置が画像形成装置から、携帯端末に通知すべき事象が生じている指定箇所を示す指定箇所情報の入力を受けて、その指定箇所に係る表示情報を携帯端末に送信して表示させる構成としてもよい。
【符号の説明】
【０１０５】
１０…複合機（画像形成装置）
１１…ＣＰＵ
１２…ＲＯＭ
１３…ＲＡＭ
１４…不揮発メモリ
１５…ハードディスク装置
１６…表示部
１７…操作部
１８…ファクシミリ通信部
１９…ネットワーク通信部
２０…スキャナ部
２１…画像処理部
２２…プリンタ部
２３…後処理部
３０…携帯端末
３１…表示部
５０…ジャムポジション画像
６０…スケルトン画像
７０…ジャム方向画像
８０…マーク
【特許請求の範囲】
【請求項１】
撮影機能と表示機能と通信機能とを備えた携帯端末と通信する通信部と、
前記携帯端末が画像形成装置を撮影した撮影画像を前記携帯端末から受信し、その撮影画像に基づいて前記画像形成装置の撮影箇所を判断し、その撮影箇所に応じた表示情報を前記携帯端末に送信する制御部と、
を有することを特徴とする情報処理装置。
【請求項２】
前記制御部は、前記撮影画像に基づいてその撮影画像を撮影した前記携帯端末の視点位置を判断し、その視点位置に応じた向きの表示情報を前記携帯端末に送信する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、前記表示情報を前記撮影画像に合成して前記携帯端末に送信する
ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記制御部は、前記画像形成装置に生じている前記携帯端末に通知すべき事象と、前記撮影箇所とに応じた表示情報を前記携帯端末に送信する
ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記画像形成装置にて前記携帯端末に通知すべき事象が生じている指定箇所を示す指定箇所情報を入力する入力部を有し、
前記制御部は、前記入力部より入力された指定箇所情報によって示される指定箇所が、前記撮影箇所に含まれている場合は、その指定箇所に対応する第１の表示情報を前記携帯端末に送信し、前記撮影箇所に含まれていない場合は、その指定箇所に対応する第２の表示情報を前記携帯端末に送信する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第２の表示情報は、前記指定箇所への案内情報である
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記表示情報は、前記画像形成装置の所定箇所の位置を示す位置情報と、前記画像形成装置の透視画像と、前記画像形成装置の操作情報とのうちの少なくとも１つである
ことを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
前記表示情報は、前記画像形成装置におけるエラー発生箇所と、メンテナンス箇所と、操作必要箇所とのうちの少なくとも１つに関連する情報である
ことを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
【請求項９】
前記画像形成装置の外表面には、前記画像形成装置を撮影する前記携帯端末の視点位置を判断するための所定のマークが設けられており、
前記制御部は、前記撮影画像に含まれている前記所定のマークの変形に基づいて前記携帯端末の視点位置を判断する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項１０】
前記制御部は、前記撮影画像に替えて、前記携帯端末が前記撮影画像に基づいて求めた前記画像形成装置の撮影箇所を示す撮影箇所情報を受信し、その撮影箇所情報によって示される前記画像形成装置の撮影箇所に応じた表示情報を前記携帯端末に送信する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１１】
前記制御部は、前記携帯端末が前記撮影画像に基づいて求めた、その撮影画像を撮影した前記携帯端末の視点位置を示す視点位置情報を受信し、その視点位置情報によって示される視点位置に応じた向きの表示情報を前記携帯端末に送信する
ことを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
請求項１〜３のいずれか１項に記載の情報処理装置と、
自装置における前記携帯端末に通知すべき事象の発生を検出する検出部と、
を有し、
前記制御部は、前記検出部が検出した事象と、前記撮影箇所とに応じた表示情報を前記携帯端末に送信する
ことを特徴とする画像形成装置。
【請求項１３】
情報処理装置に、
撮影機能と表示機能と通信機能とを備えた携帯端末と通信する機能と、
前記携帯端末が前記画像形成装置を撮影した撮影画像を前記携帯端末から受信し、その撮影画像に基づいて前記画像形成装置の撮影箇所を判断し、その撮影箇所に応じた表示情報を前記携帯端末に送信する機能と、
を実現させるためのプログラム。
【請求項１４】
撮影機能と表示機能と通信機能とを備えた携帯端末に、
画像形成装置を撮影した撮影画像に基づいて前記画像形成装置の撮影箇所を求め、その撮影箇所を示す撮影箇所情報を情報処理装置に送信する機能と、
前記情報処理装置から、前記撮影箇所情報によって示される前記画像形成装置の撮影箇所に応じた表示情報を受信する機能と、
前記情報処理装置から受信した表示情報を表示する機能と、
を実現させるためのプログラム。
【請求項１５】
前記撮影画像に基づいてその撮影画像を撮影した前記携帯端末の視点位置を求め、その視点位置を示す視点位置情報を情報処理装置に送信する機能と、
前記情報処理装置から、前記視点位置情報によって示される前記携帯端末の視点位置に応じた向きの表示情報を受信する機能と、
を前記携帯端末に実現させることを特徴とする請求項１４に記載のプログラム。
【請求項１】
撮影機能と表示機能と通信機能とを備えた携帯端末と通信する通信部と、
前記携帯端末が画像形成装置を撮影した撮影画像を前記携帯端末から受信し、その撮影画像に基づいて前記画像形成装置の撮影箇所を判断し、その撮影箇所に応じた表示情報を前記携帯端末に送信する制御部と、
を有することを特徴とする情報処理装置。
【請求項２】
前記制御部は、前記撮影画像に基づいてその撮影画像を撮影した前記携帯端末の視点位置を判断し、その視点位置に応じた向きの表示情報を前記携帯端末に送信する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記制御部は、前記表示情報を前記撮影画像に合成して前記携帯端末に送信する
ことを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記制御部は、前記画像形成装置に生じている前記携帯端末に通知すべき事象と、前記撮影箇所とに応じた表示情報を前記携帯端末に送信する
ことを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記画像形成装置にて前記携帯端末に通知すべき事象が生じている指定箇所を示す指定箇所情報を入力する入力部を有し、
前記制御部は、前記入力部より入力された指定箇所情報によって示される指定箇所が、前記撮影箇所に含まれている場合は、その指定箇所に対応する第１の表示情報を前記携帯端末に送信し、前記撮影箇所に含まれていない場合は、その指定箇所に対応する第２の表示情報を前記携帯端末に送信する
ことを特徴とする請求項４に記載の情報処理装置。
【請求項６】
前記第２の表示情報は、前記指定箇所への案内情報である
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記表示情報は、前記画像形成装置の所定箇所の位置を示す位置情報と、前記画像形成装置の透視画像と、前記画像形成装置の操作情報とのうちの少なくとも１つである
ことを特徴とする請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
前記表示情報は、前記画像形成装置におけるエラー発生箇所と、メンテナンス箇所と、操作必要箇所とのうちの少なくとも１つに関連する情報である
ことを特徴とする請求項１〜７のいずれか１項に記載の情報処理装置。
【請求項９】
前記画像形成装置の外表面には、前記画像形成装置を撮影する前記携帯端末の視点位置を判断するための所定のマークが設けられており、
前記制御部は、前記撮影画像に含まれている前記所定のマークの変形に基づいて前記携帯端末の視点位置を判断する
ことを特徴とする請求項２に記載の情報処理装置。
【請求項１０】
前記制御部は、前記撮影画像に替えて、前記携帯端末が前記撮影画像に基づいて求めた前記画像形成装置の撮影箇所を示す撮影箇所情報を受信し、その撮影箇所情報によって示される前記画像形成装置の撮影箇所に応じた表示情報を前記携帯端末に送信する
ことを特徴とする請求項１に記載の情報処理装置。
【請求項１１】
前記制御部は、前記携帯端末が前記撮影画像に基づいて求めた、その撮影画像を撮影した前記携帯端末の視点位置を示す視点位置情報を受信し、その視点位置情報によって示される視点位置に応じた向きの表示情報を前記携帯端末に送信する
ことを特徴とする請求項１０に記載の情報処理装置。
【請求項１２】
請求項１〜３のいずれか１項に記載の情報処理装置と、
自装置における前記携帯端末に通知すべき事象の発生を検出する検出部と、
を有し、
前記制御部は、前記検出部が検出した事象と、前記撮影箇所とに応じた表示情報を前記携帯端末に送信する
ことを特徴とする画像形成装置。
【請求項１３】
情報処理装置に、
撮影機能と表示機能と通信機能とを備えた携帯端末と通信する機能と、
前記携帯端末が前記画像形成装置を撮影した撮影画像を前記携帯端末から受信し、その撮影画像に基づいて前記画像形成装置の撮影箇所を判断し、その撮影箇所に応じた表示情報を前記携帯端末に送信する機能と、
を実現させるためのプログラム。
【請求項１４】
撮影機能と表示機能と通信機能とを備えた携帯端末に、
画像形成装置を撮影した撮影画像に基づいて前記画像形成装置の撮影箇所を求め、その撮影箇所を示す撮影箇所情報を情報処理装置に送信する機能と、
前記情報処理装置から、前記撮影箇所情報によって示される前記画像形成装置の撮影箇所に応じた表示情報を受信する機能と、
前記情報処理装置から受信した表示情報を表示する機能と、
を実現させるためのプログラム。
【請求項１５】
前記撮影画像に基づいてその撮影画像を撮影した前記携帯端末の視点位置を求め、その視点位置を示す視点位置情報を情報処理装置に送信する機能と、
前記情報処理装置から、前記視点位置情報によって示される前記携帯端末の視点位置に応じた向きの表示情報を受信する機能と、
を前記携帯端末に実現させることを特徴とする請求項１４に記載のプログラム。
【図１】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１５６８７２（Ｐ２０１２−１５６８７２Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１５４３５（Ｐ２０１１−１５４３５）
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２７日（２０１１．１．２７）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]