映像表示装置、携帯端末およびプログラム
【課題】機器の作動状態についてのユーザの理解を支援する。
【解決手段】映像表示装置（３００）は、撮像部（３０１）と、前記撮像部にて撮像された対象の機器（２００）を特定する機器特定部（３０３）と、前記機器の作動状態を取得する状態取得部（３０２）と、該特定された機器および該取得された作動状態に対応する画像を生成する画像生成部（３０５）と、前記撮像部にて取得された映像の基準位置を決定する位置決定部（３０４）と、前記撮像部にて取得された映像に対し、前記基準位置を用いて、該生成された画像を合成する合成部（３０６）と該合成された映像を表示する表示部（３０７）とを有する。
【解決手段】映像表示装置（３００）は、撮像部（３０１）と、前記撮像部にて撮像された対象の機器（２００）を特定する機器特定部（３０３）と、前記機器の作動状態を取得する状態取得部（３０２）と、該特定された機器および該取得された作動状態に対応する画像を生成する画像生成部（３０５）と、前記撮像部にて取得された映像の基準位置を決定する位置決定部（３０４）と、前記撮像部にて取得された映像に対し、前記基準位置を用いて、該生成された画像を合成する合成部（３０６）と該合成された映像を表示する表示部（３０７）とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像表示装置、携帯端末およびプログラムに関する。
【背景技術】
【０００２】
プリンタ、複写機、又はスキャナなどの機能を有する画像処理装置において、画像処理装置の作動状態（例えば紙詰まりや用紙切れなどのエラーが発生していること）をユーザや管理者に知らせる技術がある。具体的には、当該画像処理装置に設けられた表示パネルにエラー発生のメッセージが表示される（特許文献１等）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−６７０９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、機器の作動状態についてのユーザの理解を支援することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、撮像部と、前記撮像部にて撮像された対象の機器を特定する機器特定部と、前記機器の作動状態を取得する状態取得部と、該特定された機器および該取得された作動状態に対応する画像を生成する画像生成部と、前記撮像部にて取得された映像の基準位置を決定する位置決定部と、前記撮像部にて取得された映像に対し、前記基準位置を用いて、該生成された画像を合成する合成部と該合成された映像を表示する表示部とを有する映像表示装置である。
請求項２に記載の発明は、請求項１に記載の映像表示装置において、前記機器は画像形成装置であることを特徴とする。
請求項３に記載の発明は、請求項１に記載の映像表示装置において、前記撮像部は複数の視点から撮像された前記機器の映像を取得し、前記合成部は該取得された映像のうち前記作動状態に対応した一つの映像に対して前記合成を実行することを特徴とする。
請求項４に記載の発明は、前記機器のユーザを特定するユーザ特定部と一つの作動状態に対して複数の画像を記憶する記憶部とを更に有し、前記合成部は、前記記憶部を参照し該特定されたユーザに対応する画像を合成処理の対象と決定することを特徴とする。
請求項５に記載の発明は、請求項１に記載の映像表示装置において、前記位置決定部は、前記撮像部にて取得された映像から、前記機器に付され前記基準位置を表す画像が形成されたシート状の記録媒体を検出する
ことを特徴とする。
請求項６に記載の発明は、請求項１に記載の映像表示装置において、前記映像を動画データまたは静止画データとして出力する出力部を更に有することを特徴とする。
請求項７に記載の発明は、請求項１に記載の映像表示装置において、前記状態特定部は、前記機器に対し前記作動状態を送信するように要求することを特徴とする。
請求項８に記載の発明は、請求項１に記載の映像表示装置において、前記位置情報が検出されなくなった場合、予め定められた期間、前記表示部に表示されている映像を保持することを特徴とする。
請求項９に記載の発明は、請求項１に記載の映像表示装置において、前記画像は前記機器のユーザが視認できない部位に関係する作動状態を模式的に表す画像であることを特徴とする。
請求項１０に記載の発明は、コンピュータに、入力された映像から撮像対象の機器を特定するステップと、前記機器の作動状態を取得するステップと、該特定された機器および該取得された作動状態に対応する画像を生成するステップと、前記映像の基準位置を決定するステップと、前記映像に対し、前記基準位置を用いて、該生成された画像を合成するステップとを実行させるためのプログラムである。
請求項１１に記載の発明は、撮像部と、前記撮像部にて撮像された対象の機器を特定する機器特定部と、前記機器の作動状態を取得する状態取得部と該特定された機器をおよび作動状態をサーバに送信する送信部と、前記サーバから該特定された機器および該取得された作動状態に対応する画像を受信する受信部と、前記撮像部にて取得された映像の基準位置を決定する位置決定部と、前記撮像部にて取得された映像に対し、前記基準位置を用いて、該生成された画像を合成する合成部と該合成された映像を表示する表示部とを有する携帯端末である。
【発明の効果】
【０００６】
請求項１、１０、１１に記載の発明によれば、機器の作動状態についてのユーザの理解が支援される。
請求項２に記載の発明によれば、画像形成装置における作動状態が反映された映像が提供される。
請求項３に記載の発明によれば、作動状態に対応した視点で撮像された映像が提供される。
請求項４に記載の発明によれば、ユーザに応じた撮像された映像が提供される。
請求項５に記載の発明によれば、映像表示装置の機能を妨げられることなく位置が取得される。
請求項６に記載の発明によれば、映像の内容が機器のユーザ以外にも提供される。
請求項７に記載の発明によれば、映像表示装置が作動状態の提供相手を検索する必要がない。
請求項８に記載の発明によれば、ユーザの操作に応じて機器の部位の位置に変化が生じた場合でも、映像の提供が途切れることがない。
請求項９に記載の発明によれば、ユーザが視認できない機器内部に関する作動状態の情報がユーザに提供される。
【図面の簡単な説明】
【０００７】
【図１】映像表示システム１００の概要図。
【図２】携帯端末３００の機能構成図。
【図３】プリンタ管理テーブルＴＰに記憶される情報の例を表す図。
【図４】合成情報管理テーブルＴＭに記憶される情報の例を表す図。
【図５】携帯端末３００に表示される撮像映像の例を示す図。
【図６】プリンタ選択画面を表す図。
【図７】画像形成装置２００およびその作動状態を特定する動作を表す図。
【図８】合成元の映像、合成される画像、および合成処理後の映像の例を表す図。
【図９】合成処理動作を表す図。
【図１０】合成後の映像の例を表す図（正常時）。
【図１１】合成後の映像の例を表す図（異常時）。
【図１２】合成後の映像の例を表す図（異常時その２）。
【図１３】合成後の映像の例を表す図（正常時その２）。
【図１４】映像表示システム１００Ａの概要図。
【図１５】携帯端末３００Ａの機能構成図。
【図１６】サーバ装置４００の機能構成図。
【発明を実施するための形態】
【０００８】
＜実施例＞
図１は、本発明の一つの実施例に係る映像表示システム１００の概要を表す図である。映像表示システム１００は画像形成装置２００および携帯端末３００から構成される。画像形成装置２００は、電子写真方式、熱転写方式、インクジェット方式等を用いた通信機能付きのプリンタである。なお、同図においては画像形成装置２００が一つのみ表されているが、後述するように、複数（種類）の画像形成装置２００が存在してもよい。
画像形成装置２００は、画像形成対象の原稿、印刷指令、印刷条件等を受付けるとともにその内容を表示するタッチパネル等のユーザインタフェース、画像処理プロセッサ、用紙供給機構、画像形成機構（例えば電子写真方式のプリンタの場合は、帯電ユニット、感光ユニット、露光ユニット、現像ユニット、転写ユニット、定着ユニットなどを含む）、用紙排出機構などを有し、指定された印刷部数や印刷条件等に従って像データに基づき画像を記録媒体（用紙やフィルムシートなど）に形成する。さらに、画像形成装置２００は画像形成機能に付随する機能を有していてもよい。例えば画像形成装置２００は、スキャナ機能や、本体装置の周辺に設置され本体とは別途に用紙を収容する装置（大容量収容部）や、印刷された用紙に対して紙折やホチキスス止め等の後処理を行う装置（いわゆるフィニッシャ）である。なお、画像形成装置２００は、定められた機能を実現するための各種の電子機器の一例である
さらに、画像形成装置２００は、センサや当該センサからの出力信号を解析する制御部を有し、自機器の作動状態を監視するとともに、必要に応じて外部に無線通信ユニットＷＵを介して報知する機能を有する。この報知機能は、例えば赤外線通信モジュール、ＩＥＥＥモジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールを映像表示システム１００に設けることで実現される。報知のタイミングとしては、自発的に（定められたタイミングで）行ってもよいし、外部（例えば携帯端末３００）からの要求を無線通信ユニットＷＵを介して受信したときに実行してもよい。作動状態とは、例えば、その機器が正常に動作しているのか、異常ではないがまもなく不具合が起こりそうな状態にあるのか、異常が発生しているのか、発生しているとすればどのような異常なのか、あるいは複数の選択可能な動作を有する場合においてどの動作が実行されているのか、といった自機器の現在の状態に関する情報である。
【０００９】
携帯端末３００は、携帯電話機、スマートフォン、タブレット型ＰＣ、ＰＤＡ（personal digital assistants）などの携帯型の端末である。具体的には、携帯端末３００は、ユーザが各種操作を行うための入力手段（タッチパネル、キーボード等）、各種情報を表示する表示画面Ｄ（液晶画面等）、他の機器と無線によって通信するための無線通信モジュール（例えば赤外線通信モジュール、ＩＥＥＥ８０２．１１方式に適合する通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールなど；図１には示さず）、およびカメラＣを有する。
【００１０】
図２は、携帯端末３００の機能を表す図である。携帯端末３００は、撮像部３０１、状態取得部３０２、機器特定部３０３、位置特定部３０４、画像生成部３０５，合成部３０６，表示部３０７、および記憶部３０８から機能的に構成される。記憶部３０８は、ＲＯＭ、ハードディスク等の記憶装置である。記憶部３０８には、ユーザ情報データベースＤＵ、プリンタ管理テーブルＴＰおよびプリンタ管理テーブルＴＰが格納される。また、記憶部３０８には、図示は省略するが、これ以外にもＯＳプログラムの携帯端末３００の機能を実現するためのプログラムや、携帯端末３００の各部にてその機能を実現させるために必要な各種データが一時的または永久的に記憶される。
【００１１】
図３は、プリンタ管理テーブルＴＰに格納される情報の例を示す。プリンタ管理テーブルＴＰには、画像形成装置２００を一意に識別する識別子に対応付けて、その機器の詳細情報が記憶される。詳細情報には、その画像形成装置２００の名称（表示名）、種類、設置されている場所（所在地）、および機器構成が含まれる。機器構成の項目に記憶される情報は、例えば、画像形成装置２００が標準的な機能（プリンタ機能、スキャナ機能、ＦＡＸ機能）を有するのか、この機能に加えて大容量用紙収容部の収容機能や、紙折り機能を有するのかなどの情報である。このように、プリンタ管理テーブルＴＰを参照すれば機器の構成や機能が異なる画像形成装置２００を一意に識別される。
【００１２】
図４は、合成情報管理テーブルＴＭに格納される情報の例を示す。合成情報管理テーブルＴＭには、識別子と作動状態とユーザ区分の組み合わせに対応付けて、合成処理に用いる画像（以下、この画像が２以上の画像部分を組み合わせて生成されたとものである場合は、この画像または各画像部分を合成用オブジェクトという）を識別するための画像ＩＤと、当該画像を映像に合成する方法に関する情報とが記憶される。
【００１３】
合成用オブジェクトとは、画像ファイルＩＦに格納されている画像データであって、例えば画像形成装置２００内部における用紙の流れを模式的に表現した画像データである（これを合成用オブジェクト１という）。あるいは、各用紙収容部に収容されている用紙のサイズを表す画像（用紙のサイズ比に応じた複数の立方体オブジェクトなど；これを合成用オブジェクト２という）である。あるいは、紙詰まりが発生したことを表す画像（例えばくちゃくちゃになった用紙を表現する画像；これを合成用オブジェクト３という）である。
作動状態と画像ＩＤとの対応付けの一例としては、作動状態が「正常」である場合には合成用オブジェクト１を、作動状態が「印刷中」である場合は合成用オブジェクト２を、作動状態が「紙詰まり発生中」の場合は合成用オブジェクト３を、それぞれ対応付ける。また、一組の機器識別子とユーザ区分と作動状態に対して、複数の画像が対応付けられてもよい（同図の上から３番目のレコードを参照）。例えば、作動状態が「用紙収容部２が紙切れ、トナー残量小」というものであった場合、用紙切れを表現する合成用オブジェクトと、トナー残量が少ないという状態を表現する合成用オブジェクトとを対応付けておく。要するに、各画像形成装置２００について、その作動状態に対応する合成用の画像が選択されるように対応付けが行われていればよい。
【００１４】
合成方法に関する情報とは、例えば、映像に合成すべき画像を生成して映像に合成する際に必要な情報であって、合成用オブジェクトの形状やサイズを映像のどの位置（領域）に重ね合わせるかを示す情報である。具体的には、重ねあわせの基準となる位置（＝映像中の画像形成装置２００の位置に対する合成用画像の相対的位置）、当該機器とオブジェクトの大きさの比、および当該機器の向きと合成用オブジェクトの向き（相対的方向）を表す情報を含む。すなわち、合成方法情報を参照することによって、撮像対象である画像形成装置２００の位置、大きさ、向きが与えられたときに、その映像に対して重ね合わせる画像をどの位置に、どの大きさで、どの向きに配置するのかが決定される。例えば、画像形成装置２００に付された二次元画像をマーカとして用い、撮像されたマーカの状態（映像中に閉めるマーカの大きさや形状のゆがみ具合）に応じて画像形成装置２００の映像中の位置等を決定する場合、相対的位置については、マーカを仮想３次元空間の原点に置いた場合の合成用オブジェクトの３次元座標（ｘ、ｙ、ｚ）として表すことができる。合成用オブジェクトの大きさについては、当該マーカに対応する映像領域の面積と合成される画像の描画領域の面積（あるいは辺の長さ）として表現することができる。向きについては、画像に基準方向を設定するとともに、撮像されたマーカの向き（例えば法線ベクトル定義される方向）と当該基準方法とのなす角度（θ、φ）として表現することができる。
【００１５】
このようにオブジェクトを３次元表示させた場合、マーカのサイズや向き（すなわちカメラＣの位置）が変わるとそれに応じて表示させるオブジェクトの２次元上画像として表現される形状が変化することを意味する。このように、カメラ位置に応じた合成画像を生成することでユーザの正確な理解が期待され、同一の作動状態について異なるカメラ位置に基づいて生成された合成映像を複数ユーザに提供され、ユーザの作動状態についての理解が深まる。
なお、合成方法の情報において位置、大きさ、向きのすべての情報が必要というわけではなく、少なくとも位置が含まれていればよい。例えば、オブジェクトのサイズが小さい場合や球体の場合、向きを表現する必要がない場合、大きさや向きの情報は省略してもよい。すなわち、合成用オブジェクトは３次元情報を持っていなくてもよく、要するに、合成後の映像を見たユーザが、映像に写された画像形成装置２００の各部と当該各部の位置に対応した位置に合成用オブジェクトが配置されることにより、合成後の映像がユーザが画像形成装置２００の作動状態を把握することが支援される状態になっているように、少なくとも位置が特定されればよい。
【００１６】
このように、各機器識別子に対して画像ＩＤと合成方法とが対応付けられているのは、画像形成装置２００ごとに異なる全体のサイズ（外観形状）、内部構造、機能に応じて適切な合成用オブジェクトおよび合成方法を決定するためである。
また、同一の機器識別子に対して作動状態よって異なる画像ＩＤおよび合成方法が対応付けられるようにしているのは、作動状態が異なるとユーザに着目させたい部位（特定の機能に関係するユニット、特定の材料が使われている部位・部品、あるいは障害が発生している箇所など）が異なり得ることを考慮したものである。例えば、正常時には画像形成装置２００全体の動作をわかり易く説明するための画像が選択される一方、異常時には異常のあった部位にユーザを着目させるべく、その部位に関する画像のみが選択されるようにすることが好ましい。また、携帯端末３００を操作するユーザ（画像形成装置２００のユーザであるともいえる）によって合成される画像または合成方法を異ならせるようにしているのは、作動状態の把握についての支援の態様・内容がユーザによって異なりうることを考慮したもので。例えば、一般的なユーザは画像形成装置２００の内部構造についての知識があまりないので、作動状態についての状態を多くの画像を用いて詳細に表現するよりも、比較的に単純な画像を用いてできるだけ分かりやすく表現したほうが支援態様としては好ましいと考えられる。一方、管理者権限を有するユーザに対しては、内部構造に対して十分な知識を有していると推定されるので、多くの画像を使って多数の情報を提示しないしは細部の情報を合成後の映像に含ませたほうが支援の態様としては好ましいと考えられる。なお、複数のユーザに対し、同一の機器識別子、作動状態、画像ＩＤ、合成方法情報の組み合わせが割り当てられていてもよい（同図の上から４番目のレコードを参照）。
このように、少なくとも、機器識別子と作動状態とが与えられると、プリンタ管理テーブルＴＰを参照することで合成すべき画像と、その合成方法が特定される。これにより、合成後の映像をユーザに提供することで、画像形成装置２００とその作動状態（あるいはこれに加えてユーザ区分）に応じた適切な作動状態の理解についての支援が実現される。
【００１７】
画像ファイルＩＦは、上述した合成用の画像（合成用オブジェクト）の画像データを格納する。なお、この画像データは静止画データでも動画データでもよい。あるいは、複数のオブジェクトを描画するために必要なベクトルデータであってもよい。この場合、この画像データにはＪＰＥＧやビットマップ、ｔｉｆｆ形式等の２次元の画像データであってもよい。あるいは、動画を形成するために必要なモーションデータ、その他３Ｄ（３次元）画像を生成するためのプログラムなどであってもよい。要は、映像に重ねて表示されるべき画像の描画処理を実行するために必要な情報であればよい。
【００１８】
ユーザ情報データベースＤＵには、映像表示システム１００のユーザを識別するユーザ名やＩＤ、パスワードなどの情報に対応付けて、そのユーザが画像形成装置２００の使用に関して有する権限または権限の区分が記憶される。権限の区分とは、例えば「一般ユーザ（ALL）」、管理者（Admin）、「Power user」などである。これは、画像形成装置２００には権限に応じてユーザが実行できる機能に制限を加える機能を有していることに対応したしたものである。例えば、一般ユーザからの白黒コピーの指示は受付けるがカラーコピーの指示は拒否するという機能である。あるいは、「管理者」に属するユーザは印刷設定を自由に変更できるがそれ以外の権限のユーザは印刷設定ができないように、画像形成装置２００はタッチパネルの表示内容を制御するという機能である。
【００１９】
撮像部３０１は、レンズ、撮像素子、画像処理プロセッサを有し、撮像した映像をデジタルデータ（動画データまたは静止画データ）として出力するデジタルカメラである。出力されたデジタルデータを表示画面Ｄに表示した例を図５に示す。この例では正方形シート状のマーカＭが画像形成装置に貼られている。
【００２０】
状態取得部３０２は、無線通信モジュールによって実現され、無線通信ユニットＷＵから送信された作動状態に関する情報（以下単に作動状態という）を受信する。取得された作動状態は、画像生成部３０５に供給される。作動状態には、例えば、アイドリング状態（印刷処理が実行されていない（ユーザからの指示待ち））、印刷中、紙詰まり発生中が含まれる。
【００２１】
機器特定部３０３は、タッチパネル等のユーザからの指示を受け付けかつ情報を表示する手段と記憶部３０８に対して情報の読み書きを行う制御プロセッサ等によって実現され、撮像対象となっている画像形成装置２００を特定する。上述の通り、本実施例に係る映像合成処理の対象は複数の画像形成装置２００であってもよく、この場合に合成映像の作成の対象となる画像形成装置２００を特定する必要があり、この機器の識別を機器特定部３０３が担う。具体的には、予め記憶部３０８に画像構成対象の候補となる複数の画像形成装置２００の名称を登録しておき、機器特定部３０３は登録されている名称の一覧を表示画面Ｄに表示させることにより、ユーザに撮像対象となっている一つの画像形成装置２００の選択を促す。図６には、選択を促す画面の一例が示されている。機器特定部３０３は、選択対象の画像形成装置２００を一覧表示するとともに、一つの画像形成装置２００が指定されると、その機器に関連付けてプリンタ管理テーブルＴＰに記憶されている機器情報を読み出して表示する。この情報を表示することで自分が撮影した画像形成装置２００のユーザによる特定を支援する。表示する画面を見たユーザが撮像対象の一つの画像形成装置２００を特定し、画面上でその画像形成装置２００を選択すると、選択された画像形成装置２００の識別子が出力される。
なお、ユーザに画像形成装置２００を特定させるのではなく、上述する位置特定部３０４による画像解析の結果に基づいて画像形成装置２００を特定してもよい。具体的には、各画像形成装置２００についての外観の映像データや、当該映像データから抽出した画像形成装置２００の特徴を表す情報を予め記憶部３０８に登録しておき、撮像によって得られた映像データから最も類似度の高い登録画像データを決定することによって撮像対象の画像形成装置２００を決定してもよい。
【００２２】
図７は撮像対象の画像形成装置２００およびその作動状態の特定に関する処理の流れを表す図である。
以下、画像形成装置２００が情報の送信を行う際には自機器の機器識別子が少なくても含まれるものとする。そして、画像形成装置２００は作動状態の変化を検知すると、現在の（つまり変化後の）作動状態を、画像形成装置２００に記憶されている自機器の機器識別子とともに無線通信ユニットＷＵを介して送信する。
携帯端末３００は画像形成装置２００から識別子と作動状態とを受信すると、当該識別子が記憶部３０８に既に登録されているか否かを判定する（Ｓ２０１）。登録されていない場合、機器特定部３０３は図７で示した画面を表示画面Ｄに表示し、ユーザに選択を促す（Ｓ２０２）。ユーザは、表示画面Ｄに表示されたプリンタ名や設置場所等の情報を参考にして撮像対象となっている画像形成装置２００を特定し、特定した画像形成装置２００を選択する操作を行う。これにより、機器特定部３０３はユーザが指定した画像形成装置２００の機器識別子を取得する。
続いて、識別子に対応付けて機器情報が記憶されているか否かを判定する（Ｓ２０３）。受信した情報に機器情報が含まれておらず、且つ記憶された情報にも機器情報が含まれていない場合は、画像形成装置２００に対し機器情報を送信するように要求する旨の信号を送信する。続いて、受信した情報に含まれる機器情報から作動状態を抽出する（Ｓ２０５）。なお、画像形成装置２００による作動状態の送信タイミングによっては、受信した情報の中に作動状態が含まれていない場合もありえる。この場合は、この場合は、携帯端末３００から画像形成装置２００へ作動状態を要求する信号を送信し、作動状態を受信するまで待機していもよい。あるいは、以前に当該機器識別子で特定される機器から作動状態を受信した場合は、その作動状態と同じものが今回受信されたとみなしてもよい。あるいは、予めデフォルトの作動状態として設定された状態（例えば「印刷待ち」）を取得したものとみなしてもよい。このようにして、携帯端末３００において撮像対象の画像形成装置２００が一意に識別され、その作動状態が特定される。
なお、機器情報を必要に応じて更新してもよい。例えば、画像形成装置２００から受信した機器情報に、プリンタ管理テーブルＴＰに記憶されていない情報が含まれていた場合、当該情報をプリンタ管理テーブルＴＰに書き加えてもよい。また、受信した機器情報のなかの項目に記憶されている情報とは異なる情報が含まれていた場合、記憶されている情報を当該受信した情報に書き換えてもよい。このように書き換えを許容することで、機器の設置位置や付随する装置の構成に変更があった場合に、当該変更が合成情報管理テーブルＴＭの記憶内容に反映される。
【００２３】
位置特定部３０４、画像処理プロセッサによって実現され、状態取得部３０２から出力された映像データを解析することにより、撮像対象に画像形成装置２００が含まれているか否か、含まれている場合には、その画像形成装置２００の機種を特定し、カメラＣと撮像対象である画像形成装置２００との位置関係（換言すれば、撮影の視点位置）を決定する。具体的には、基準位置を表すために予め定められたパターン画像が形成されたシート状の記録媒体（いわゆるマーカ（marker））を画像形成装置２００に付しておき、この画像パターンの内容や実際の大きさの情報を記憶部３０８に記憶しておく。そして、位置特定部３０４にて画像解析を行い、撮像部３０１にて取得された映像に当該パターン画像が含まれているか否か（つまり撮像対象にマーカが付されているか否か）を判定する。これにより、映像した映像の撮像対象の機器が合成処理の対象となっているのかが判定される。当該パターン画像に対応する画像が含まれている場合、その画像データから、撮像されたマーカの大きさや上下左右方向の向き（マーカの形状のゆがみ具合）などを計算する。そして、位置特定部３０４はその計算結果と予め把握している実際のマーカの形状およびサイズとに基づいて、撮像の視点位置（換言するとカメラＣと撮像対象の位置関係（具体的には距離および方向））を決定する。
【００２４】
なお、視点位置の特定に際し、マーカのサイズや大きさを利用するのではなく、マーカ自体に位置情報を含ませておき取得した映像データからこの位置情報を検出してもよい。例えば、携帯端末３００にＧＰＳ（global positioning system）等によって自端末の位置を計測する機能と、ジャイロセンサ等によって自機器の向き（つまりカメラＣの向き）を検出する機能とを設け、マーカとして位置情報（例えば経度・緯度）を表す二次元バーコードを印刷したシールを用いる。位置特定部３０４は、マーカから取得した位置情報と自機器の位置情報とに基づいて、カメラＣからマーカまで距離および方向を決定する。
あるいは、二次元バーコードで表される情報は画像形成装置２００の位置情報を記憶した位置情報サーバのＵＲＬであり、携帯端末３００はこのサーバにアクセスすることにより画像形成装置２００の位置情報を取得してもよい。あるいは、状態取得部３０２を介して取得した情報に画像形成装置２００の位置情報が含まれている場合は、この情報を用いて視点位置を決定してもよい。
【００２５】
画像生成部３０５は画像処理プロセッサ等によって実現され、機器特定部３０３にて取得された機器識別子と状態取得部３０２にて取得された作動状態と、予め取得しておいたユーザ区分の情報とに基づいて、撮像部３０１にて取得した映像に合成（マージ）させるための画像を生成する。具体的には、合成情報管理テーブルＴＭを参照し、取得された機器識別子、作動状態、ユーザ区分の組に対応する画像ＩＤおよび合成方法を特定する。例えば、図３の例において、機器識別子が「printer01」、ユーザ区分が「All」であれば、映像ＧＬ１で特定される画像データを用いて合成処理を行うことが特定される。画像生成部３０５は、合成の基準位置となるマーカの画像を生成するとともに、画像ファイルＩＦから該当する画像データを読み出し、合成方法に応じて合成用オブジェクトの位置、大きさ、向きなどを変更する画像処理を行い、ＪＰＥＧやビットマップなどの形式の画像データとして出力する。合成部３０６は、画像処理プロセッサにより実現され、撮像部３０１から供給された映像データに対し、画像生成部３０５から供給された画像データを合成する。
表示部３０７は、液晶パネルなどを有する表示画面Ｄとその駆動回路とによって実現され、合成部３０６にて供給される合成後の映像データを表示する。
【００２６】
図８に、画像生成部３０５および合成部３０６にて実行される合成処理の内容の一例を示す。（ａ）は画像形成装置２００の作動状態が「正常」である場合に、Ｃにて撮像された映像を表す。ここではマーカＭは大容量用紙収容部の右上部に付されている。同図（ｂ）は、特定された画像ＩＤで特定された合成用オブジェクトおよび合成方法に基づいて生成された画像（合成用オブジェクトＯＢ１１、ＯＢ１２、ＯＢ１３、ＯＢ１４を含む）と、この画像を映像に合成する時の基準位置となる画像（すなわち、撮像されたマーカＭの位置に一致するように表示される画像）ＲＰを表す。（ａ）および（ｂ）を合成したものが（ｃ）となり、これが表示画面Ｄに表示される。ここで、ＯＢ１１、ＯＢ１２、ＯＢ１３は画像形成装置２００の本体の各用紙収容部に収容されている用紙の存在、その大きさ、およびその量（枚数）を視覚的にわかり易くユーザに認識させるためのオブジェクトである。ＯＢ１４は、大容量用紙収容部に収容されている用紙に対応するオブジェクトである。このように、映像に重ねられた合成用オブジェクトの存在により、通常の使用状態では視認することはできない機器内部の情報（この場合は用紙のサイズや残り枚数）をユーザに直感的に把握させることができる。
【００２７】
図９は、合成処理の流れを表す図である。以下の例では、画像形成装置２００にマーカが付されており、携帯端末３００を携帯したユーザが画像形成装置２００の近くに訪れているものとする。ユーザは、まず携帯端末３００にユーザＩＤを入力するなどして、ユーザ認証を行う。携帯端末３００はユーザ情報データベースＤＵを参照し、入力されたＩＤに基づいて当該ユーザの画像形成装置２００の利用に関する権限を特定する（Ｓ１０１）。ユーザは携帯端末３００に対してカメラ機能を実行するための操作を行い、所望の対象である画像形成装置２００の方向へカメラＣを向けて撮像を行う（Ｓ１０２）。撮像部３０１によって映像データが取得される。撮像部３０１は取得された映像が表示画面Ｄに表示するとともにその映像データを機器特定部３０３に供給する。その映像データに対して機器特定部３０３は映像解析を実行する（Ｓ１０３）。位置特定部３０４にてマーカが検出されない場合（Ｓ１０４、Ｎｏ）、合成処理は行われずに撮像された映像がそのまま表示画面Ｄに表示され続けることになる（Ｓ１０９）。
マーカが検出された場合（Ｓ１０４、Ｙｅｓ）、機器特定部３０３にて画像形成装置２００およびその作動状態が特定される（Ｓ１０５）。画像生成部３０５は、合成用オブジェクトおよび合成方法を決定し（Ｓ１０６）、合成に使用する画像を生成する（Ｓ１０７）。合成部３０６にて、該生成された画像を映像データに合成する（Ｓ１０８）。合成後の映像データは表示画面Ｄに表示される（Ｓ１０９）。ユーザからの終了指示が携帯端末３００に入力されると（Ｓ１１０、Ｙｅｓ）、携帯端末３００は一連の処理を終了させる。以後ユーザからの終了指示が入力されるまでは、Ｓ１０２からＳ１０９の処理が繰り返される。これにより、撮像された映像と、映像に合成され作動状態を反映した画像がリアルタイムに更新される。
【００２８】
以下、合成後の映像の例をいくつかの示す。図１０は、作動状態が「正常」である場合の、画像形成装置２００の合成映像の例である。なお、マーカ画像は図示を省略している。撮像ポイントは画像形成装置２００のほぼ正面であり、画像形成装置２００の全体が収まるように撮像されている。画像形成装置２００は、画像形成を行う本体部（ＲＡ２）と、大容量収容部（ＲＡ１）、およびフィニッシャ（ＲＡ３）で大略構成される。表示されている合成用画像には、ＯＢ２１、ＯＢ２２、ＯＢ２３、ＯＢ２４、ＯＢ２５、ＯＢ２６、ＯＢ２７のオブジェクトが含まれる。ＯＢ２６およびＯＢ２７は、それそれの用紙収容部に収納されている用紙の存在およびそのサイズを表す。ＯＢ２１、ＯＢ２２、ＯＢ２３、ＯＢ２４は、用紙収容部から取り出された用紙がＯＢ２２まで搬送され、そこでＯＢ２５で表現されるトナーを用いて画像形成処理が施され、その後搬送されＯＢ２３に達し、最終的に排出口ＯＢ２４に到達するという一連の用紙の流れが正常に行われていることを表現している。
【００２９】
これに対し、図１１は、同一の画像形成装置２００について、作動状態が「紙詰まりによる異常」である場合に、同一の視点から撮像された映像データに基づいて生成される合成映像の例である。図１０に示す合成映像とは異なるのは、ＯＢ３１、ＯＢ３２およびＯＢ３３が、それぞれＯＢ２１、ＯＢ２２、ＯＢ２３と置き換わっている点である。具体的には、それらの対応して置換されるオブジェクトは位置や形状、大きさは同じだが、異なる色（例えば赤）が付与されている。このように、正常時と紙詰まり時という作動状態の違いに応じて合成後の映像の内容を対応させることにより、異常発生の事実や異常の内容・箇所（この場合は、用紙収容部や転写関連部材に不具合はなく搬送過程に異常があること）がユーザに視覚的に伝達される。なお、異なる作動状態を表現するにあたり、色の変更に変えてまたは色の変更とともに、形状や大きさを変更してもよい。
【００３０】
図１２は、左斜め前方から画像形成装置２００を撮像した場合に得られる合成映像の例である。この例では、画像形成装置２００の内部で紙詰まりが発生していることに対応して、紙が折れ曲がった様子を表すオブジェクトＯＢ４１が映像に合成されている。この場合、撮影によって得られたマーカＭの画像のひずみ具合からカメラ視点が撮像対象機器の左斜め前方４５°であることが特定され、このマーカＭの情報と合成情報管理テーブルＴＭに格納されている合成方法とに従ってＯＢ４１の位置、大きさ、向きが決定される。このように、視点の位置に関わらず、撮像された映像に合致するように、適切な画像が適切な態様で合成される。
【００３１】
図１３は、画像形成装置２００を撮像した画像に基づいて作成した合成映像の他の例である。同図に示す合成映像が図１０に示す合成映像と異なるのは、ＯＢ５１、ＯＢ５２、ＯＢ５３、ＯＢ５５、ＯＢ５５、ＯＢ５６が追加されている点である。ＯＢ５１およびＯＢ５２は、それぞれ通信回線（同図中ＯＢ５５およびＯＢ５６で表現される）によって画像形成装置２００と接続され、画像形成装置２００に対して印刷の実行を指示するコンピュータを表す画像である。ＯＢ５３およびＯＢ５４は、コンピュータから出された印刷指令であって、まだ印刷の実行が完了していない処理を表す。ＯＢ５３と５４の違いは、ＯＢ５４が携帯端末のユーザが出した印刷指令であるのに対し、ＯＢ５４は、当該ユーザ以外のユーザが出した印刷指令である点である。これは、画像形成装置２００がＯＢ５２およびＯＢ５４から受けているすべての印刷指令と各印刷指令の要求者を特定する情報を記憶し、画像形成装置２００から送信される作動状態の情報にこの印刷指令に関する情報を含ませることで実現される。
このように、画像形成装置２００の作動状態とは関係するが画像形成装置２００とは物理的に離れた場所にあるコンピュータや、画像形成装置２００が受け取る印刷命令等の情報といった目にはみえない無体物を表す画像を生成し、取得された映像データに合成してもよい。すなわち、本実施例における合成処理とは、撮像された画像形成装置２００に実在する部位を表す画像に限らないし、また合成後の画像において映像上の画像形成装置２００の位置とオブジェクトの表示位置とが必ずしも重なっている必要もない。
【００３２】
＜他の実施例＞
図１４は、他の実施例に係る映像表示システム１００Ａの概要を示す図である。映像表示システム１００Ａは、画像形成装置２００Ａ、携帯端末３００Ａ、サーバ装置４００および無線中継装置５００を含む。画像形成装置２００Ａはサーバ装置４００と有線通信網Ｎを介して接続されている。画像形成装置２００Ａが画像形成装置２００と異なるのは、携帯端末３００Ａと無線通信を行う機能を有していない点、およびサーバ装置４００から印刷指令を受信して印刷を実行する機能を有する点である。画像形成装置２００Ａは、機器識別子、機器情報、作動状態を無線中継装置５００を介して携帯端末３００Ａに送信する。
無線中継装置５００は有線通信網Ｎに接続された無線中継装置であり、無線通信を用いて携帯端末３００Ａと情報の授受を行う一方、有線通信網Ｎを介して画像形成装置２００Ａおよびサーバ装置４００と情報の授受を行う。すなわち、無線中継装置５００は、携帯端末３００Ａと画像形成装置２００Ａやサーバ装置４００との間の通信を中継する機能を有する。
【００３３】
図１５は、携帯端末３００Ａの機能構成を表す図である。なお、同図においては携帯端末３００と同じ要素には同じ符号を付してある。携帯端末３００Ａは、撮像部３０１、状態取得部３０２、機器特定部３０３、位置特定部３０４、画像生成部３０５、合成部３０６、表示部３０７、記憶部３０８Ａ、送信部３１１、受信部３１２を含む。送信部３１１および受信部３１２は無線通信モジュールによって実現される。ユーザがカメラ機能を用いて対象の画像形成装置２００Ａを撮像し、機器識別子、作動状態、ユーザ区分を特定する点は携帯端末３００と同様である。しかし、携帯端末３００Ａには合成するための画像を生成する機能を有していない。携帯端末３００Ａは、機器識別子および作動状態を送信部３１１によってサーバ装置４００に送信する。すなわち、映像表示システム１００Ａにおいては合成用の画像を生成する機能をサーバ装置４００に持たせている。受信部３１２がサーバ装置４００で生成された合成用の画像を受信すると、合成部３０６に供給する。合成部３０６における合成処理の内容および表示部３０７の動作は携帯端末３００と同様である。
【００３４】
図１６は、サーバ装置４００の機能構成を表す図である。サーバ装置４００は、受信部４０１、画像生成部４０２、送信部４０３、印刷指令部４０４および記憶部４０５を含む。受信部４０１および送信部４０３は有線通信網Ｎを介して他の装置と通信を行うための通信インタフェースによって実現される。画像生成部４０２は画像プロセッサ等によって実現される。記憶部４０５はＲＯＭやハードディスク等の記憶装置であり、プリンタ管理テーブルＴＰおよび画像ファイルＩＦを記憶する。印刷指令部４０４はプロセッサ等からなり、送信部４０３および有線通信網Ｎを介して画像形成装置２００Ａに印刷の実行命令や印刷指令の削除命令等を送信するとともに画像形成装置２００Ａの状態を必要に応じて受信することにより画像形成装置２００Ａの動作を制御する。画像生成部４０２が合成情報管理テーブルＴＭを参照し画像ファイルＩＦにアクセスして合成用の画像を生成する処理は、合成部３０６、合成情報管理テーブルＴＭ、画像ファイルＩＦによって実現される処理と同様であるから、詳細な説明については省略する。このように、映像表示システム１００Ａにおいては、合成用の画像を生成する機能の一部を携帯端末以外の装置に担わせる。換言すると、撮影した装置（あるいは場所）とは別の装置（場所）において合成用画像の生成を行ってもよい。あるいは、携帯端末は当該外部装置から送られてきた合成後の映像を表示する機能を少なくとも有していれば、合成用の画像作成処理に加えて合成処理まで外部装置に担わせることとしてもよい。
【００３５】
上記実施例においては、カメラ視点に関わらず撮像されている映像はすべからく合成処理の対象としたが、特定の撮影条件で撮影された映像に対してのみ合成処理を実行するようにしてもよい。例えば、ユーザが同一の作動状態にある同一の２００について異なる視点から撮像を行い、携帯端末３００においては、得られたそれぞれの映像データを位置特定部３０４に供給し、そのなかから一つの映像データを選択する。具体的には、位置特定部３０４は、映像解析を行い、上述した基準位置の特定を行うのに加え、定められた画質評価アルゴリズムを用いて映像の品質が最もよいと判定したもの（手ぶれが少ないなど）を選択する。
あるいは、当該作動状態に最も的確に表現されている一つの映像が選択されるようにしてもよい。例えば、携帯端末３００は、作動状態が「用紙排出部に不具合発生」というものであった場合、当該用紙排出部が最も大きく写っている映像が選択する。具体的には、予め２００の構造に関する情報（例えば用紙排出部が２００全体のどの位置（領域）にあるのかといった情報）を記憶部３０８に記憶しておき、位置特定部３０４は、それぞれの映像データに対し、この情報を用いて画像解析の結果から映像中の用紙排出部が映された領域を特定し、各特定された領域が最も大きい映像を決定する。この決定された映像に対してのみ合成処理を実行する。
【００３６】
上記実施例においては、撮像の対象は画像形成装置であったが、これはあくまで一例であり、それ以外のあらゆる電子機器であってもよい。換言すれば、上述した作動状態とは画像生成に関係するものに限られない。要するに、撮像部と、前記撮像部にて撮像された対象の機器を特定する機器特定部と、前記機器の作動状態を取得する状態取得部と、該特定された機器および作動状態に対応する画像を生成する画像生成部と、前記撮像部にて取得された映像の基準位置を決定する位置決定部と、前記撮像部にて取得された映像に対し、前記基準位置を用いて、該生成された画像を合成する合成部と、該合成された映像を表示する表示部とを有する映像表示装置であればよい。
【００３７】
携帯端末３００が作動状態を取得する態様としては、定められた周期で携帯端末３００が画像形成装置２００へ要求信号（ポーリング）を行ってもよいし、画像形成装置２００において作動状態の変更を検知したときに画像形成装置２００が自発的に携帯端末３００に送信してもよい。作動状態の変更があったときとは、例えば電源がＯＮ（ＯＦＦ）になったとき、紙詰まり等の異常または不具合が発生したとき、あるいはトナー残量が設定された閾値を下回った状態、感光ドラムの消耗度が設定された閾値を超えた状態、収容されている用紙の枚数が設定された値を下回った状態など、不具合発生の一歩手前の状況になったときである。
【００３８】
マーカを付す位置や数は任意である。例えばマーカを異なる場所に複数設けておけば、ユーザの操作（扉の開閉など）一つのマーカが映像に映らなくなった場合でも、撮像された他のマーカの情報を用いて合成処理を実行することができる。また、マーカが複数検出された場合、計算精度を向上させるべく、周知のアルゴリズムを用いてそれら複数のマーカからの位置情報を用いてカメラ視点や機器位置の計算を行ってもよい。また、ユーザによる扉の開閉操作などによって、以前に検出されていたマーカが検出されなくなったような場合、合成処理を中止するのではなく、現在表示されている合成後の映像を予め設定された期間表示し続けてもよい。
【００３９】
携帯端末３００は、さらに、合成部３０６から出力された合成後の映像データを、そのままあるいは加工を施して、外部の装置に送信するまたは記憶媒体（ＵＳＢメモリ等）に出力する外部出力用のインタフェースを有していてもよい。加工とは、映像が動画であった場合にその１フレームを切り出して静止画にする処理や、合成後の映像の一部領域を切り出す処理などである。こうして作動状態が反映された画像をユーザが他人（例えば画像形成装置２００の保守点検担当者）に見せることで、言葉で説明する場合に比べて作動状態（故障箇所など）の迅速かつ性格な伝達が実現される。
【００４０】
また、ユーザ区分は複数の画像形成装置２００に対して共通のものを設定してもよいし、例えば機種ごとに異なるユーザ区分を設定してもよい。ユーザ区分といったユーザの属性（分類情報）を特定するのではなく、ユーザ一人一人を特定し、各ユーザに応じて画像ＩＤおよび合成方法を設定してもよい。要するに、携帯端末は撮影対象の機器のユーザを特定するユーザ特定部と一つの作動状態に対して複数の画像を記憶する記憶部を有し、記憶部を参照して該特定されたユーザに対応する画像を合成処理の対象と決定すればよい。逆に、例えば撮像対象の機器で実施される機能は操作ユーザに関係ないような場合、合成処理の内容を決定するにあたり、ユーザに関する情報を用いることを省略してもよい。なお、ユーザ区分などのユーザに関する情報の取得のタイミングでは任意である。
【００４１】
上述した携帯端末３００、３００Ａ、サーバ装置４００の機能を実現するハードウェア構成は一例であり、ハードウェアへの実装の方法・態様は任意である。例えば、一つのプロセッサで上述の複数の機能を実現させてもよいし、一つの機能を実現させるために複数のプロセッサを協働させてもよい。また、コンピュータ装置としての携帯端末３００（携帯端末３００Ａ）、サーバ装置４００の機能を発揮させるためのプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤＤ（Flexible Disk Drive））など）、光記録媒体（光ディスク（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk））など）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し得る。また、このようなプログラムはインターネット等の通信回線を介してダウンロードさせることも可能である。
【符号の説明】
【００４２】
１００、１００Ａ・・・映像提供システム、２００、２００Ａ・・・画像形成装置、３００、３００Ａ・・・携帯端末、３０１・・・撮像部、３０２・・・状態取得部、３０３・・・機器特定部、３０４・・・位置特定部、３０５・・・画像生成部、３０６・・・合成部、３０７・・・表示部、３０８・・・記憶部、３１１・・・送信部、３１２・・・受信部、４００・・・サーバ装置、４０１・・・受信部、４０２・・・画像生成部、４０３・・・送信部、４０４・・・印刷指令部、４０５・・・記憶部、５００・・・無線中継装置、ＴＰ・・・プリンタ管理テーブル、ＴＭ・・・合成情報管理テーブル、ＩＦ・・・画像ファイル、ＤＵ・・・ユーザ情報データベース
【技術分野】
【０００１】
本発明は、映像表示装置、携帯端末およびプログラムに関する。
【背景技術】
【０００２】
プリンタ、複写機、又はスキャナなどの機能を有する画像処理装置において、画像処理装置の作動状態（例えば紙詰まりや用紙切れなどのエラーが発生していること）をユーザや管理者に知らせる技術がある。具体的には、当該画像処理装置に設けられた表示パネルにエラー発生のメッセージが表示される（特許文献１等）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−６７０９３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、機器の作動状態についてのユーザの理解を支援することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、撮像部と、前記撮像部にて撮像された対象の機器を特定する機器特定部と、前記機器の作動状態を取得する状態取得部と、該特定された機器および該取得された作動状態に対応する画像を生成する画像生成部と、前記撮像部にて取得された映像の基準位置を決定する位置決定部と、前記撮像部にて取得された映像に対し、前記基準位置を用いて、該生成された画像を合成する合成部と該合成された映像を表示する表示部とを有する映像表示装置である。
請求項２に記載の発明は、請求項１に記載の映像表示装置において、前記機器は画像形成装置であることを特徴とする。
請求項３に記載の発明は、請求項１に記載の映像表示装置において、前記撮像部は複数の視点から撮像された前記機器の映像を取得し、前記合成部は該取得された映像のうち前記作動状態に対応した一つの映像に対して前記合成を実行することを特徴とする。
請求項４に記載の発明は、前記機器のユーザを特定するユーザ特定部と一つの作動状態に対して複数の画像を記憶する記憶部とを更に有し、前記合成部は、前記記憶部を参照し該特定されたユーザに対応する画像を合成処理の対象と決定することを特徴とする。
請求項５に記載の発明は、請求項１に記載の映像表示装置において、前記位置決定部は、前記撮像部にて取得された映像から、前記機器に付され前記基準位置を表す画像が形成されたシート状の記録媒体を検出する
ことを特徴とする。
請求項６に記載の発明は、請求項１に記載の映像表示装置において、前記映像を動画データまたは静止画データとして出力する出力部を更に有することを特徴とする。
請求項７に記載の発明は、請求項１に記載の映像表示装置において、前記状態特定部は、前記機器に対し前記作動状態を送信するように要求することを特徴とする。
請求項８に記載の発明は、請求項１に記載の映像表示装置において、前記位置情報が検出されなくなった場合、予め定められた期間、前記表示部に表示されている映像を保持することを特徴とする。
請求項９に記載の発明は、請求項１に記載の映像表示装置において、前記画像は前記機器のユーザが視認できない部位に関係する作動状態を模式的に表す画像であることを特徴とする。
請求項１０に記載の発明は、コンピュータに、入力された映像から撮像対象の機器を特定するステップと、前記機器の作動状態を取得するステップと、該特定された機器および該取得された作動状態に対応する画像を生成するステップと、前記映像の基準位置を決定するステップと、前記映像に対し、前記基準位置を用いて、該生成された画像を合成するステップとを実行させるためのプログラムである。
請求項１１に記載の発明は、撮像部と、前記撮像部にて撮像された対象の機器を特定する機器特定部と、前記機器の作動状態を取得する状態取得部と該特定された機器をおよび作動状態をサーバに送信する送信部と、前記サーバから該特定された機器および該取得された作動状態に対応する画像を受信する受信部と、前記撮像部にて取得された映像の基準位置を決定する位置決定部と、前記撮像部にて取得された映像に対し、前記基準位置を用いて、該生成された画像を合成する合成部と該合成された映像を表示する表示部とを有する携帯端末である。
【発明の効果】
【０００６】
請求項１、１０、１１に記載の発明によれば、機器の作動状態についてのユーザの理解が支援される。
請求項２に記載の発明によれば、画像形成装置における作動状態が反映された映像が提供される。
請求項３に記載の発明によれば、作動状態に対応した視点で撮像された映像が提供される。
請求項４に記載の発明によれば、ユーザに応じた撮像された映像が提供される。
請求項５に記載の発明によれば、映像表示装置の機能を妨げられることなく位置が取得される。
請求項６に記載の発明によれば、映像の内容が機器のユーザ以外にも提供される。
請求項７に記載の発明によれば、映像表示装置が作動状態の提供相手を検索する必要がない。
請求項８に記載の発明によれば、ユーザの操作に応じて機器の部位の位置に変化が生じた場合でも、映像の提供が途切れることがない。
請求項９に記載の発明によれば、ユーザが視認できない機器内部に関する作動状態の情報がユーザに提供される。
【図面の簡単な説明】
【０００７】
【図１】映像表示システム１００の概要図。
【図２】携帯端末３００の機能構成図。
【図３】プリンタ管理テーブルＴＰに記憶される情報の例を表す図。
【図４】合成情報管理テーブルＴＭに記憶される情報の例を表す図。
【図５】携帯端末３００に表示される撮像映像の例を示す図。
【図６】プリンタ選択画面を表す図。
【図７】画像形成装置２００およびその作動状態を特定する動作を表す図。
【図８】合成元の映像、合成される画像、および合成処理後の映像の例を表す図。
【図９】合成処理動作を表す図。
【図１０】合成後の映像の例を表す図（正常時）。
【図１１】合成後の映像の例を表す図（異常時）。
【図１２】合成後の映像の例を表す図（異常時その２）。
【図１３】合成後の映像の例を表す図（正常時その２）。
【図１４】映像表示システム１００Ａの概要図。
【図１５】携帯端末３００Ａの機能構成図。
【図１６】サーバ装置４００の機能構成図。
【発明を実施するための形態】
【０００８】
＜実施例＞
図１は、本発明の一つの実施例に係る映像表示システム１００の概要を表す図である。映像表示システム１００は画像形成装置２００および携帯端末３００から構成される。画像形成装置２００は、電子写真方式、熱転写方式、インクジェット方式等を用いた通信機能付きのプリンタである。なお、同図においては画像形成装置２００が一つのみ表されているが、後述するように、複数（種類）の画像形成装置２００が存在してもよい。
画像形成装置２００は、画像形成対象の原稿、印刷指令、印刷条件等を受付けるとともにその内容を表示するタッチパネル等のユーザインタフェース、画像処理プロセッサ、用紙供給機構、画像形成機構（例えば電子写真方式のプリンタの場合は、帯電ユニット、感光ユニット、露光ユニット、現像ユニット、転写ユニット、定着ユニットなどを含む）、用紙排出機構などを有し、指定された印刷部数や印刷条件等に従って像データに基づき画像を記録媒体（用紙やフィルムシートなど）に形成する。さらに、画像形成装置２００は画像形成機能に付随する機能を有していてもよい。例えば画像形成装置２００は、スキャナ機能や、本体装置の周辺に設置され本体とは別途に用紙を収容する装置（大容量収容部）や、印刷された用紙に対して紙折やホチキスス止め等の後処理を行う装置（いわゆるフィニッシャ）である。なお、画像形成装置２００は、定められた機能を実現するための各種の電子機器の一例である
さらに、画像形成装置２００は、センサや当該センサからの出力信号を解析する制御部を有し、自機器の作動状態を監視するとともに、必要に応じて外部に無線通信ユニットＷＵを介して報知する機能を有する。この報知機能は、例えば赤外線通信モジュール、ＩＥＥＥモジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールを映像表示システム１００に設けることで実現される。報知のタイミングとしては、自発的に（定められたタイミングで）行ってもよいし、外部（例えば携帯端末３００）からの要求を無線通信ユニットＷＵを介して受信したときに実行してもよい。作動状態とは、例えば、その機器が正常に動作しているのか、異常ではないがまもなく不具合が起こりそうな状態にあるのか、異常が発生しているのか、発生しているとすればどのような異常なのか、あるいは複数の選択可能な動作を有する場合においてどの動作が実行されているのか、といった自機器の現在の状態に関する情報である。
【０００９】
携帯端末３００は、携帯電話機、スマートフォン、タブレット型ＰＣ、ＰＤＡ（personal digital assistants）などの携帯型の端末である。具体的には、携帯端末３００は、ユーザが各種操作を行うための入力手段（タッチパネル、キーボード等）、各種情報を表示する表示画面Ｄ（液晶画面等）、他の機器と無線によって通信するための無線通信モジュール（例えば赤外線通信モジュール、ＩＥＥＥ８０２．１１方式に適合する通信モジュール、Ｂｌｕｅｔｏｏｔｈ（登録商標）モジュールなど；図１には示さず）、およびカメラＣを有する。
【００１０】
図２は、携帯端末３００の機能を表す図である。携帯端末３００は、撮像部３０１、状態取得部３０２、機器特定部３０３、位置特定部３０４、画像生成部３０５，合成部３０６，表示部３０７、および記憶部３０８から機能的に構成される。記憶部３０８は、ＲＯＭ、ハードディスク等の記憶装置である。記憶部３０８には、ユーザ情報データベースＤＵ、プリンタ管理テーブルＴＰおよびプリンタ管理テーブルＴＰが格納される。また、記憶部３０８には、図示は省略するが、これ以外にもＯＳプログラムの携帯端末３００の機能を実現するためのプログラムや、携帯端末３００の各部にてその機能を実現させるために必要な各種データが一時的または永久的に記憶される。
【００１１】
図３は、プリンタ管理テーブルＴＰに格納される情報の例を示す。プリンタ管理テーブルＴＰには、画像形成装置２００を一意に識別する識別子に対応付けて、その機器の詳細情報が記憶される。詳細情報には、その画像形成装置２００の名称（表示名）、種類、設置されている場所（所在地）、および機器構成が含まれる。機器構成の項目に記憶される情報は、例えば、画像形成装置２００が標準的な機能（プリンタ機能、スキャナ機能、ＦＡＸ機能）を有するのか、この機能に加えて大容量用紙収容部の収容機能や、紙折り機能を有するのかなどの情報である。このように、プリンタ管理テーブルＴＰを参照すれば機器の構成や機能が異なる画像形成装置２００を一意に識別される。
【００１２】
図４は、合成情報管理テーブルＴＭに格納される情報の例を示す。合成情報管理テーブルＴＭには、識別子と作動状態とユーザ区分の組み合わせに対応付けて、合成処理に用いる画像（以下、この画像が２以上の画像部分を組み合わせて生成されたとものである場合は、この画像または各画像部分を合成用オブジェクトという）を識別するための画像ＩＤと、当該画像を映像に合成する方法に関する情報とが記憶される。
【００１３】
合成用オブジェクトとは、画像ファイルＩＦに格納されている画像データであって、例えば画像形成装置２００内部における用紙の流れを模式的に表現した画像データである（これを合成用オブジェクト１という）。あるいは、各用紙収容部に収容されている用紙のサイズを表す画像（用紙のサイズ比に応じた複数の立方体オブジェクトなど；これを合成用オブジェクト２という）である。あるいは、紙詰まりが発生したことを表す画像（例えばくちゃくちゃになった用紙を表現する画像；これを合成用オブジェクト３という）である。
作動状態と画像ＩＤとの対応付けの一例としては、作動状態が「正常」である場合には合成用オブジェクト１を、作動状態が「印刷中」である場合は合成用オブジェクト２を、作動状態が「紙詰まり発生中」の場合は合成用オブジェクト３を、それぞれ対応付ける。また、一組の機器識別子とユーザ区分と作動状態に対して、複数の画像が対応付けられてもよい（同図の上から３番目のレコードを参照）。例えば、作動状態が「用紙収容部２が紙切れ、トナー残量小」というものであった場合、用紙切れを表現する合成用オブジェクトと、トナー残量が少ないという状態を表現する合成用オブジェクトとを対応付けておく。要するに、各画像形成装置２００について、その作動状態に対応する合成用の画像が選択されるように対応付けが行われていればよい。
【００１４】
合成方法に関する情報とは、例えば、映像に合成すべき画像を生成して映像に合成する際に必要な情報であって、合成用オブジェクトの形状やサイズを映像のどの位置（領域）に重ね合わせるかを示す情報である。具体的には、重ねあわせの基準となる位置（＝映像中の画像形成装置２００の位置に対する合成用画像の相対的位置）、当該機器とオブジェクトの大きさの比、および当該機器の向きと合成用オブジェクトの向き（相対的方向）を表す情報を含む。すなわち、合成方法情報を参照することによって、撮像対象である画像形成装置２００の位置、大きさ、向きが与えられたときに、その映像に対して重ね合わせる画像をどの位置に、どの大きさで、どの向きに配置するのかが決定される。例えば、画像形成装置２００に付された二次元画像をマーカとして用い、撮像されたマーカの状態（映像中に閉めるマーカの大きさや形状のゆがみ具合）に応じて画像形成装置２００の映像中の位置等を決定する場合、相対的位置については、マーカを仮想３次元空間の原点に置いた場合の合成用オブジェクトの３次元座標（ｘ、ｙ、ｚ）として表すことができる。合成用オブジェクトの大きさについては、当該マーカに対応する映像領域の面積と合成される画像の描画領域の面積（あるいは辺の長さ）として表現することができる。向きについては、画像に基準方向を設定するとともに、撮像されたマーカの向き（例えば法線ベクトル定義される方向）と当該基準方法とのなす角度（θ、φ）として表現することができる。
【００１５】
このようにオブジェクトを３次元表示させた場合、マーカのサイズや向き（すなわちカメラＣの位置）が変わるとそれに応じて表示させるオブジェクトの２次元上画像として表現される形状が変化することを意味する。このように、カメラ位置に応じた合成画像を生成することでユーザの正確な理解が期待され、同一の作動状態について異なるカメラ位置に基づいて生成された合成映像を複数ユーザに提供され、ユーザの作動状態についての理解が深まる。
なお、合成方法の情報において位置、大きさ、向きのすべての情報が必要というわけではなく、少なくとも位置が含まれていればよい。例えば、オブジェクトのサイズが小さい場合や球体の場合、向きを表現する必要がない場合、大きさや向きの情報は省略してもよい。すなわち、合成用オブジェクトは３次元情報を持っていなくてもよく、要するに、合成後の映像を見たユーザが、映像に写された画像形成装置２００の各部と当該各部の位置に対応した位置に合成用オブジェクトが配置されることにより、合成後の映像がユーザが画像形成装置２００の作動状態を把握することが支援される状態になっているように、少なくとも位置が特定されればよい。
【００１６】
このように、各機器識別子に対して画像ＩＤと合成方法とが対応付けられているのは、画像形成装置２００ごとに異なる全体のサイズ（外観形状）、内部構造、機能に応じて適切な合成用オブジェクトおよび合成方法を決定するためである。
また、同一の機器識別子に対して作動状態よって異なる画像ＩＤおよび合成方法が対応付けられるようにしているのは、作動状態が異なるとユーザに着目させたい部位（特定の機能に関係するユニット、特定の材料が使われている部位・部品、あるいは障害が発生している箇所など）が異なり得ることを考慮したものである。例えば、正常時には画像形成装置２００全体の動作をわかり易く説明するための画像が選択される一方、異常時には異常のあった部位にユーザを着目させるべく、その部位に関する画像のみが選択されるようにすることが好ましい。また、携帯端末３００を操作するユーザ（画像形成装置２００のユーザであるともいえる）によって合成される画像または合成方法を異ならせるようにしているのは、作動状態の把握についての支援の態様・内容がユーザによって異なりうることを考慮したもので。例えば、一般的なユーザは画像形成装置２００の内部構造についての知識があまりないので、作動状態についての状態を多くの画像を用いて詳細に表現するよりも、比較的に単純な画像を用いてできるだけ分かりやすく表現したほうが支援態様としては好ましいと考えられる。一方、管理者権限を有するユーザに対しては、内部構造に対して十分な知識を有していると推定されるので、多くの画像を使って多数の情報を提示しないしは細部の情報を合成後の映像に含ませたほうが支援の態様としては好ましいと考えられる。なお、複数のユーザに対し、同一の機器識別子、作動状態、画像ＩＤ、合成方法情報の組み合わせが割り当てられていてもよい（同図の上から４番目のレコードを参照）。
このように、少なくとも、機器識別子と作動状態とが与えられると、プリンタ管理テーブルＴＰを参照することで合成すべき画像と、その合成方法が特定される。これにより、合成後の映像をユーザに提供することで、画像形成装置２００とその作動状態（あるいはこれに加えてユーザ区分）に応じた適切な作動状態の理解についての支援が実現される。
【００１７】
画像ファイルＩＦは、上述した合成用の画像（合成用オブジェクト）の画像データを格納する。なお、この画像データは静止画データでも動画データでもよい。あるいは、複数のオブジェクトを描画するために必要なベクトルデータであってもよい。この場合、この画像データにはＪＰＥＧやビットマップ、ｔｉｆｆ形式等の２次元の画像データであってもよい。あるいは、動画を形成するために必要なモーションデータ、その他３Ｄ（３次元）画像を生成するためのプログラムなどであってもよい。要は、映像に重ねて表示されるべき画像の描画処理を実行するために必要な情報であればよい。
【００１８】
ユーザ情報データベースＤＵには、映像表示システム１００のユーザを識別するユーザ名やＩＤ、パスワードなどの情報に対応付けて、そのユーザが画像形成装置２００の使用に関して有する権限または権限の区分が記憶される。権限の区分とは、例えば「一般ユーザ（ALL）」、管理者（Admin）、「Power user」などである。これは、画像形成装置２００には権限に応じてユーザが実行できる機能に制限を加える機能を有していることに対応したしたものである。例えば、一般ユーザからの白黒コピーの指示は受付けるがカラーコピーの指示は拒否するという機能である。あるいは、「管理者」に属するユーザは印刷設定を自由に変更できるがそれ以外の権限のユーザは印刷設定ができないように、画像形成装置２００はタッチパネルの表示内容を制御するという機能である。
【００１９】
撮像部３０１は、レンズ、撮像素子、画像処理プロセッサを有し、撮像した映像をデジタルデータ（動画データまたは静止画データ）として出力するデジタルカメラである。出力されたデジタルデータを表示画面Ｄに表示した例を図５に示す。この例では正方形シート状のマーカＭが画像形成装置に貼られている。
【００２０】
状態取得部３０２は、無線通信モジュールによって実現され、無線通信ユニットＷＵから送信された作動状態に関する情報（以下単に作動状態という）を受信する。取得された作動状態は、画像生成部３０５に供給される。作動状態には、例えば、アイドリング状態（印刷処理が実行されていない（ユーザからの指示待ち））、印刷中、紙詰まり発生中が含まれる。
【００２１】
機器特定部３０３は、タッチパネル等のユーザからの指示を受け付けかつ情報を表示する手段と記憶部３０８に対して情報の読み書きを行う制御プロセッサ等によって実現され、撮像対象となっている画像形成装置２００を特定する。上述の通り、本実施例に係る映像合成処理の対象は複数の画像形成装置２００であってもよく、この場合に合成映像の作成の対象となる画像形成装置２００を特定する必要があり、この機器の識別を機器特定部３０３が担う。具体的には、予め記憶部３０８に画像構成対象の候補となる複数の画像形成装置２００の名称を登録しておき、機器特定部３０３は登録されている名称の一覧を表示画面Ｄに表示させることにより、ユーザに撮像対象となっている一つの画像形成装置２００の選択を促す。図６には、選択を促す画面の一例が示されている。機器特定部３０３は、選択対象の画像形成装置２００を一覧表示するとともに、一つの画像形成装置２００が指定されると、その機器に関連付けてプリンタ管理テーブルＴＰに記憶されている機器情報を読み出して表示する。この情報を表示することで自分が撮影した画像形成装置２００のユーザによる特定を支援する。表示する画面を見たユーザが撮像対象の一つの画像形成装置２００を特定し、画面上でその画像形成装置２００を選択すると、選択された画像形成装置２００の識別子が出力される。
なお、ユーザに画像形成装置２００を特定させるのではなく、上述する位置特定部３０４による画像解析の結果に基づいて画像形成装置２００を特定してもよい。具体的には、各画像形成装置２００についての外観の映像データや、当該映像データから抽出した画像形成装置２００の特徴を表す情報を予め記憶部３０８に登録しておき、撮像によって得られた映像データから最も類似度の高い登録画像データを決定することによって撮像対象の画像形成装置２００を決定してもよい。
【００２２】
図７は撮像対象の画像形成装置２００およびその作動状態の特定に関する処理の流れを表す図である。
以下、画像形成装置２００が情報の送信を行う際には自機器の機器識別子が少なくても含まれるものとする。そして、画像形成装置２００は作動状態の変化を検知すると、現在の（つまり変化後の）作動状態を、画像形成装置２００に記憶されている自機器の機器識別子とともに無線通信ユニットＷＵを介して送信する。
携帯端末３００は画像形成装置２００から識別子と作動状態とを受信すると、当該識別子が記憶部３０８に既に登録されているか否かを判定する（Ｓ２０１）。登録されていない場合、機器特定部３０３は図７で示した画面を表示画面Ｄに表示し、ユーザに選択を促す（Ｓ２０２）。ユーザは、表示画面Ｄに表示されたプリンタ名や設置場所等の情報を参考にして撮像対象となっている画像形成装置２００を特定し、特定した画像形成装置２００を選択する操作を行う。これにより、機器特定部３０３はユーザが指定した画像形成装置２００の機器識別子を取得する。
続いて、識別子に対応付けて機器情報が記憶されているか否かを判定する（Ｓ２０３）。受信した情報に機器情報が含まれておらず、且つ記憶された情報にも機器情報が含まれていない場合は、画像形成装置２００に対し機器情報を送信するように要求する旨の信号を送信する。続いて、受信した情報に含まれる機器情報から作動状態を抽出する（Ｓ２０５）。なお、画像形成装置２００による作動状態の送信タイミングによっては、受信した情報の中に作動状態が含まれていない場合もありえる。この場合は、この場合は、携帯端末３００から画像形成装置２００へ作動状態を要求する信号を送信し、作動状態を受信するまで待機していもよい。あるいは、以前に当該機器識別子で特定される機器から作動状態を受信した場合は、その作動状態と同じものが今回受信されたとみなしてもよい。あるいは、予めデフォルトの作動状態として設定された状態（例えば「印刷待ち」）を取得したものとみなしてもよい。このようにして、携帯端末３００において撮像対象の画像形成装置２００が一意に識別され、その作動状態が特定される。
なお、機器情報を必要に応じて更新してもよい。例えば、画像形成装置２００から受信した機器情報に、プリンタ管理テーブルＴＰに記憶されていない情報が含まれていた場合、当該情報をプリンタ管理テーブルＴＰに書き加えてもよい。また、受信した機器情報のなかの項目に記憶されている情報とは異なる情報が含まれていた場合、記憶されている情報を当該受信した情報に書き換えてもよい。このように書き換えを許容することで、機器の設置位置や付随する装置の構成に変更があった場合に、当該変更が合成情報管理テーブルＴＭの記憶内容に反映される。
【００２３】
位置特定部３０４、画像処理プロセッサによって実現され、状態取得部３０２から出力された映像データを解析することにより、撮像対象に画像形成装置２００が含まれているか否か、含まれている場合には、その画像形成装置２００の機種を特定し、カメラＣと撮像対象である画像形成装置２００との位置関係（換言すれば、撮影の視点位置）を決定する。具体的には、基準位置を表すために予め定められたパターン画像が形成されたシート状の記録媒体（いわゆるマーカ（marker））を画像形成装置２００に付しておき、この画像パターンの内容や実際の大きさの情報を記憶部３０８に記憶しておく。そして、位置特定部３０４にて画像解析を行い、撮像部３０１にて取得された映像に当該パターン画像が含まれているか否か（つまり撮像対象にマーカが付されているか否か）を判定する。これにより、映像した映像の撮像対象の機器が合成処理の対象となっているのかが判定される。当該パターン画像に対応する画像が含まれている場合、その画像データから、撮像されたマーカの大きさや上下左右方向の向き（マーカの形状のゆがみ具合）などを計算する。そして、位置特定部３０４はその計算結果と予め把握している実際のマーカの形状およびサイズとに基づいて、撮像の視点位置（換言するとカメラＣと撮像対象の位置関係（具体的には距離および方向））を決定する。
【００２４】
なお、視点位置の特定に際し、マーカのサイズや大きさを利用するのではなく、マーカ自体に位置情報を含ませておき取得した映像データからこの位置情報を検出してもよい。例えば、携帯端末３００にＧＰＳ（global positioning system）等によって自端末の位置を計測する機能と、ジャイロセンサ等によって自機器の向き（つまりカメラＣの向き）を検出する機能とを設け、マーカとして位置情報（例えば経度・緯度）を表す二次元バーコードを印刷したシールを用いる。位置特定部３０４は、マーカから取得した位置情報と自機器の位置情報とに基づいて、カメラＣからマーカまで距離および方向を決定する。
あるいは、二次元バーコードで表される情報は画像形成装置２００の位置情報を記憶した位置情報サーバのＵＲＬであり、携帯端末３００はこのサーバにアクセスすることにより画像形成装置２００の位置情報を取得してもよい。あるいは、状態取得部３０２を介して取得した情報に画像形成装置２００の位置情報が含まれている場合は、この情報を用いて視点位置を決定してもよい。
【００２５】
画像生成部３０５は画像処理プロセッサ等によって実現され、機器特定部３０３にて取得された機器識別子と状態取得部３０２にて取得された作動状態と、予め取得しておいたユーザ区分の情報とに基づいて、撮像部３０１にて取得した映像に合成（マージ）させるための画像を生成する。具体的には、合成情報管理テーブルＴＭを参照し、取得された機器識別子、作動状態、ユーザ区分の組に対応する画像ＩＤおよび合成方法を特定する。例えば、図３の例において、機器識別子が「printer01」、ユーザ区分が「All」であれば、映像ＧＬ１で特定される画像データを用いて合成処理を行うことが特定される。画像生成部３０５は、合成の基準位置となるマーカの画像を生成するとともに、画像ファイルＩＦから該当する画像データを読み出し、合成方法に応じて合成用オブジェクトの位置、大きさ、向きなどを変更する画像処理を行い、ＪＰＥＧやビットマップなどの形式の画像データとして出力する。合成部３０６は、画像処理プロセッサにより実現され、撮像部３０１から供給された映像データに対し、画像生成部３０５から供給された画像データを合成する。
表示部３０７は、液晶パネルなどを有する表示画面Ｄとその駆動回路とによって実現され、合成部３０６にて供給される合成後の映像データを表示する。
【００２６】
図８に、画像生成部３０５および合成部３０６にて実行される合成処理の内容の一例を示す。（ａ）は画像形成装置２００の作動状態が「正常」である場合に、Ｃにて撮像された映像を表す。ここではマーカＭは大容量用紙収容部の右上部に付されている。同図（ｂ）は、特定された画像ＩＤで特定された合成用オブジェクトおよび合成方法に基づいて生成された画像（合成用オブジェクトＯＢ１１、ＯＢ１２、ＯＢ１３、ＯＢ１４を含む）と、この画像を映像に合成する時の基準位置となる画像（すなわち、撮像されたマーカＭの位置に一致するように表示される画像）ＲＰを表す。（ａ）および（ｂ）を合成したものが（ｃ）となり、これが表示画面Ｄに表示される。ここで、ＯＢ１１、ＯＢ１２、ＯＢ１３は画像形成装置２００の本体の各用紙収容部に収容されている用紙の存在、その大きさ、およびその量（枚数）を視覚的にわかり易くユーザに認識させるためのオブジェクトである。ＯＢ１４は、大容量用紙収容部に収容されている用紙に対応するオブジェクトである。このように、映像に重ねられた合成用オブジェクトの存在により、通常の使用状態では視認することはできない機器内部の情報（この場合は用紙のサイズや残り枚数）をユーザに直感的に把握させることができる。
【００２７】
図９は、合成処理の流れを表す図である。以下の例では、画像形成装置２００にマーカが付されており、携帯端末３００を携帯したユーザが画像形成装置２００の近くに訪れているものとする。ユーザは、まず携帯端末３００にユーザＩＤを入力するなどして、ユーザ認証を行う。携帯端末３００はユーザ情報データベースＤＵを参照し、入力されたＩＤに基づいて当該ユーザの画像形成装置２００の利用に関する権限を特定する（Ｓ１０１）。ユーザは携帯端末３００に対してカメラ機能を実行するための操作を行い、所望の対象である画像形成装置２００の方向へカメラＣを向けて撮像を行う（Ｓ１０２）。撮像部３０１によって映像データが取得される。撮像部３０１は取得された映像が表示画面Ｄに表示するとともにその映像データを機器特定部３０３に供給する。その映像データに対して機器特定部３０３は映像解析を実行する（Ｓ１０３）。位置特定部３０４にてマーカが検出されない場合（Ｓ１０４、Ｎｏ）、合成処理は行われずに撮像された映像がそのまま表示画面Ｄに表示され続けることになる（Ｓ１０９）。
マーカが検出された場合（Ｓ１０４、Ｙｅｓ）、機器特定部３０３にて画像形成装置２００およびその作動状態が特定される（Ｓ１０５）。画像生成部３０５は、合成用オブジェクトおよび合成方法を決定し（Ｓ１０６）、合成に使用する画像を生成する（Ｓ１０７）。合成部３０６にて、該生成された画像を映像データに合成する（Ｓ１０８）。合成後の映像データは表示画面Ｄに表示される（Ｓ１０９）。ユーザからの終了指示が携帯端末３００に入力されると（Ｓ１１０、Ｙｅｓ）、携帯端末３００は一連の処理を終了させる。以後ユーザからの終了指示が入力されるまでは、Ｓ１０２からＳ１０９の処理が繰り返される。これにより、撮像された映像と、映像に合成され作動状態を反映した画像がリアルタイムに更新される。
【００２８】
以下、合成後の映像の例をいくつかの示す。図１０は、作動状態が「正常」である場合の、画像形成装置２００の合成映像の例である。なお、マーカ画像は図示を省略している。撮像ポイントは画像形成装置２００のほぼ正面であり、画像形成装置２００の全体が収まるように撮像されている。画像形成装置２００は、画像形成を行う本体部（ＲＡ２）と、大容量収容部（ＲＡ１）、およびフィニッシャ（ＲＡ３）で大略構成される。表示されている合成用画像には、ＯＢ２１、ＯＢ２２、ＯＢ２３、ＯＢ２４、ＯＢ２５、ＯＢ２６、ＯＢ２７のオブジェクトが含まれる。ＯＢ２６およびＯＢ２７は、それそれの用紙収容部に収納されている用紙の存在およびそのサイズを表す。ＯＢ２１、ＯＢ２２、ＯＢ２３、ＯＢ２４は、用紙収容部から取り出された用紙がＯＢ２２まで搬送され、そこでＯＢ２５で表現されるトナーを用いて画像形成処理が施され、その後搬送されＯＢ２３に達し、最終的に排出口ＯＢ２４に到達するという一連の用紙の流れが正常に行われていることを表現している。
【００２９】
これに対し、図１１は、同一の画像形成装置２００について、作動状態が「紙詰まりによる異常」である場合に、同一の視点から撮像された映像データに基づいて生成される合成映像の例である。図１０に示す合成映像とは異なるのは、ＯＢ３１、ＯＢ３２およびＯＢ３３が、それぞれＯＢ２１、ＯＢ２２、ＯＢ２３と置き換わっている点である。具体的には、それらの対応して置換されるオブジェクトは位置や形状、大きさは同じだが、異なる色（例えば赤）が付与されている。このように、正常時と紙詰まり時という作動状態の違いに応じて合成後の映像の内容を対応させることにより、異常発生の事実や異常の内容・箇所（この場合は、用紙収容部や転写関連部材に不具合はなく搬送過程に異常があること）がユーザに視覚的に伝達される。なお、異なる作動状態を表現するにあたり、色の変更に変えてまたは色の変更とともに、形状や大きさを変更してもよい。
【００３０】
図１２は、左斜め前方から画像形成装置２００を撮像した場合に得られる合成映像の例である。この例では、画像形成装置２００の内部で紙詰まりが発生していることに対応して、紙が折れ曲がった様子を表すオブジェクトＯＢ４１が映像に合成されている。この場合、撮影によって得られたマーカＭの画像のひずみ具合からカメラ視点が撮像対象機器の左斜め前方４５°であることが特定され、このマーカＭの情報と合成情報管理テーブルＴＭに格納されている合成方法とに従ってＯＢ４１の位置、大きさ、向きが決定される。このように、視点の位置に関わらず、撮像された映像に合致するように、適切な画像が適切な態様で合成される。
【００３１】
図１３は、画像形成装置２００を撮像した画像に基づいて作成した合成映像の他の例である。同図に示す合成映像が図１０に示す合成映像と異なるのは、ＯＢ５１、ＯＢ５２、ＯＢ５３、ＯＢ５５、ＯＢ５５、ＯＢ５６が追加されている点である。ＯＢ５１およびＯＢ５２は、それぞれ通信回線（同図中ＯＢ５５およびＯＢ５６で表現される）によって画像形成装置２００と接続され、画像形成装置２００に対して印刷の実行を指示するコンピュータを表す画像である。ＯＢ５３およびＯＢ５４は、コンピュータから出された印刷指令であって、まだ印刷の実行が完了していない処理を表す。ＯＢ５３と５４の違いは、ＯＢ５４が携帯端末のユーザが出した印刷指令であるのに対し、ＯＢ５４は、当該ユーザ以外のユーザが出した印刷指令である点である。これは、画像形成装置２００がＯＢ５２およびＯＢ５４から受けているすべての印刷指令と各印刷指令の要求者を特定する情報を記憶し、画像形成装置２００から送信される作動状態の情報にこの印刷指令に関する情報を含ませることで実現される。
このように、画像形成装置２００の作動状態とは関係するが画像形成装置２００とは物理的に離れた場所にあるコンピュータや、画像形成装置２００が受け取る印刷命令等の情報といった目にはみえない無体物を表す画像を生成し、取得された映像データに合成してもよい。すなわち、本実施例における合成処理とは、撮像された画像形成装置２００に実在する部位を表す画像に限らないし、また合成後の画像において映像上の画像形成装置２００の位置とオブジェクトの表示位置とが必ずしも重なっている必要もない。
【００３２】
＜他の実施例＞
図１４は、他の実施例に係る映像表示システム１００Ａの概要を示す図である。映像表示システム１００Ａは、画像形成装置２００Ａ、携帯端末３００Ａ、サーバ装置４００および無線中継装置５００を含む。画像形成装置２００Ａはサーバ装置４００と有線通信網Ｎを介して接続されている。画像形成装置２００Ａが画像形成装置２００と異なるのは、携帯端末３００Ａと無線通信を行う機能を有していない点、およびサーバ装置４００から印刷指令を受信して印刷を実行する機能を有する点である。画像形成装置２００Ａは、機器識別子、機器情報、作動状態を無線中継装置５００を介して携帯端末３００Ａに送信する。
無線中継装置５００は有線通信網Ｎに接続された無線中継装置であり、無線通信を用いて携帯端末３００Ａと情報の授受を行う一方、有線通信網Ｎを介して画像形成装置２００Ａおよびサーバ装置４００と情報の授受を行う。すなわち、無線中継装置５００は、携帯端末３００Ａと画像形成装置２００Ａやサーバ装置４００との間の通信を中継する機能を有する。
【００３３】
図１５は、携帯端末３００Ａの機能構成を表す図である。なお、同図においては携帯端末３００と同じ要素には同じ符号を付してある。携帯端末３００Ａは、撮像部３０１、状態取得部３０２、機器特定部３０３、位置特定部３０４、画像生成部３０５、合成部３０６、表示部３０７、記憶部３０８Ａ、送信部３１１、受信部３１２を含む。送信部３１１および受信部３１２は無線通信モジュールによって実現される。ユーザがカメラ機能を用いて対象の画像形成装置２００Ａを撮像し、機器識別子、作動状態、ユーザ区分を特定する点は携帯端末３００と同様である。しかし、携帯端末３００Ａには合成するための画像を生成する機能を有していない。携帯端末３００Ａは、機器識別子および作動状態を送信部３１１によってサーバ装置４００に送信する。すなわち、映像表示システム１００Ａにおいては合成用の画像を生成する機能をサーバ装置４００に持たせている。受信部３１２がサーバ装置４００で生成された合成用の画像を受信すると、合成部３０６に供給する。合成部３０６における合成処理の内容および表示部３０７の動作は携帯端末３００と同様である。
【００３４】
図１６は、サーバ装置４００の機能構成を表す図である。サーバ装置４００は、受信部４０１、画像生成部４０２、送信部４０３、印刷指令部４０４および記憶部４０５を含む。受信部４０１および送信部４０３は有線通信網Ｎを介して他の装置と通信を行うための通信インタフェースによって実現される。画像生成部４０２は画像プロセッサ等によって実現される。記憶部４０５はＲＯＭやハードディスク等の記憶装置であり、プリンタ管理テーブルＴＰおよび画像ファイルＩＦを記憶する。印刷指令部４０４はプロセッサ等からなり、送信部４０３および有線通信網Ｎを介して画像形成装置２００Ａに印刷の実行命令や印刷指令の削除命令等を送信するとともに画像形成装置２００Ａの状態を必要に応じて受信することにより画像形成装置２００Ａの動作を制御する。画像生成部４０２が合成情報管理テーブルＴＭを参照し画像ファイルＩＦにアクセスして合成用の画像を生成する処理は、合成部３０６、合成情報管理テーブルＴＭ、画像ファイルＩＦによって実現される処理と同様であるから、詳細な説明については省略する。このように、映像表示システム１００Ａにおいては、合成用の画像を生成する機能の一部を携帯端末以外の装置に担わせる。換言すると、撮影した装置（あるいは場所）とは別の装置（場所）において合成用画像の生成を行ってもよい。あるいは、携帯端末は当該外部装置から送られてきた合成後の映像を表示する機能を少なくとも有していれば、合成用の画像作成処理に加えて合成処理まで外部装置に担わせることとしてもよい。
【００３５】
上記実施例においては、カメラ視点に関わらず撮像されている映像はすべからく合成処理の対象としたが、特定の撮影条件で撮影された映像に対してのみ合成処理を実行するようにしてもよい。例えば、ユーザが同一の作動状態にある同一の２００について異なる視点から撮像を行い、携帯端末３００においては、得られたそれぞれの映像データを位置特定部３０４に供給し、そのなかから一つの映像データを選択する。具体的には、位置特定部３０４は、映像解析を行い、上述した基準位置の特定を行うのに加え、定められた画質評価アルゴリズムを用いて映像の品質が最もよいと判定したもの（手ぶれが少ないなど）を選択する。
あるいは、当該作動状態に最も的確に表現されている一つの映像が選択されるようにしてもよい。例えば、携帯端末３００は、作動状態が「用紙排出部に不具合発生」というものであった場合、当該用紙排出部が最も大きく写っている映像が選択する。具体的には、予め２００の構造に関する情報（例えば用紙排出部が２００全体のどの位置（領域）にあるのかといった情報）を記憶部３０８に記憶しておき、位置特定部３０４は、それぞれの映像データに対し、この情報を用いて画像解析の結果から映像中の用紙排出部が映された領域を特定し、各特定された領域が最も大きい映像を決定する。この決定された映像に対してのみ合成処理を実行する。
【００３６】
上記実施例においては、撮像の対象は画像形成装置であったが、これはあくまで一例であり、それ以外のあらゆる電子機器であってもよい。換言すれば、上述した作動状態とは画像生成に関係するものに限られない。要するに、撮像部と、前記撮像部にて撮像された対象の機器を特定する機器特定部と、前記機器の作動状態を取得する状態取得部と、該特定された機器および作動状態に対応する画像を生成する画像生成部と、前記撮像部にて取得された映像の基準位置を決定する位置決定部と、前記撮像部にて取得された映像に対し、前記基準位置を用いて、該生成された画像を合成する合成部と、該合成された映像を表示する表示部とを有する映像表示装置であればよい。
【００３７】
携帯端末３００が作動状態を取得する態様としては、定められた周期で携帯端末３００が画像形成装置２００へ要求信号（ポーリング）を行ってもよいし、画像形成装置２００において作動状態の変更を検知したときに画像形成装置２００が自発的に携帯端末３００に送信してもよい。作動状態の変更があったときとは、例えば電源がＯＮ（ＯＦＦ）になったとき、紙詰まり等の異常または不具合が発生したとき、あるいはトナー残量が設定された閾値を下回った状態、感光ドラムの消耗度が設定された閾値を超えた状態、収容されている用紙の枚数が設定された値を下回った状態など、不具合発生の一歩手前の状況になったときである。
【００３８】
マーカを付す位置や数は任意である。例えばマーカを異なる場所に複数設けておけば、ユーザの操作（扉の開閉など）一つのマーカが映像に映らなくなった場合でも、撮像された他のマーカの情報を用いて合成処理を実行することができる。また、マーカが複数検出された場合、計算精度を向上させるべく、周知のアルゴリズムを用いてそれら複数のマーカからの位置情報を用いてカメラ視点や機器位置の計算を行ってもよい。また、ユーザによる扉の開閉操作などによって、以前に検出されていたマーカが検出されなくなったような場合、合成処理を中止するのではなく、現在表示されている合成後の映像を予め設定された期間表示し続けてもよい。
【００３９】
携帯端末３００は、さらに、合成部３０６から出力された合成後の映像データを、そのままあるいは加工を施して、外部の装置に送信するまたは記憶媒体（ＵＳＢメモリ等）に出力する外部出力用のインタフェースを有していてもよい。加工とは、映像が動画であった場合にその１フレームを切り出して静止画にする処理や、合成後の映像の一部領域を切り出す処理などである。こうして作動状態が反映された画像をユーザが他人（例えば画像形成装置２００の保守点検担当者）に見せることで、言葉で説明する場合に比べて作動状態（故障箇所など）の迅速かつ性格な伝達が実現される。
【００４０】
また、ユーザ区分は複数の画像形成装置２００に対して共通のものを設定してもよいし、例えば機種ごとに異なるユーザ区分を設定してもよい。ユーザ区分といったユーザの属性（分類情報）を特定するのではなく、ユーザ一人一人を特定し、各ユーザに応じて画像ＩＤおよび合成方法を設定してもよい。要するに、携帯端末は撮影対象の機器のユーザを特定するユーザ特定部と一つの作動状態に対して複数の画像を記憶する記憶部を有し、記憶部を参照して該特定されたユーザに対応する画像を合成処理の対象と決定すればよい。逆に、例えば撮像対象の機器で実施される機能は操作ユーザに関係ないような場合、合成処理の内容を決定するにあたり、ユーザに関する情報を用いることを省略してもよい。なお、ユーザ区分などのユーザに関する情報の取得のタイミングでは任意である。
【００４１】
上述した携帯端末３００、３００Ａ、サーバ装置４００の機能を実現するハードウェア構成は一例であり、ハードウェアへの実装の方法・態様は任意である。例えば、一つのプロセッサで上述の複数の機能を実現させてもよいし、一つの機能を実現させるために複数のプロセッサを協働させてもよい。また、コンピュータ装置としての携帯端末３００（携帯端末３００Ａ）、サーバ装置４００の機能を発揮させるためのプログラムは、磁気記録媒体（磁気テープ、磁気ディスク（ＨＤＤ（Hard Disk Drive）、ＦＤＤ（Flexible Disk Drive））など）、光記録媒体（光ディスク（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disk））など）、光磁気記録媒体、半導体メモリなどのコンピュータ読取り可能な記録媒体に記憶した状態で提供し得る。また、このようなプログラムはインターネット等の通信回線を介してダウンロードさせることも可能である。
【符号の説明】
【００４２】
１００、１００Ａ・・・映像提供システム、２００、２００Ａ・・・画像形成装置、３００、３００Ａ・・・携帯端末、３０１・・・撮像部、３０２・・・状態取得部、３０３・・・機器特定部、３０４・・・位置特定部、３０５・・・画像生成部、３０６・・・合成部、３０７・・・表示部、３０８・・・記憶部、３１１・・・送信部、３１２・・・受信部、４００・・・サーバ装置、４０１・・・受信部、４０２・・・画像生成部、４０３・・・送信部、４０４・・・印刷指令部、４０５・・・記憶部、５００・・・無線中継装置、ＴＰ・・・プリンタ管理テーブル、ＴＭ・・・合成情報管理テーブル、ＩＦ・・・画像ファイル、ＤＵ・・・ユーザ情報データベース
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部にて撮像された対象の機器を特定する機器特定部と、
前記機器の作動状態を取得する状態取得部と、
該特定された機器および該取得された作動状態に対応する画像を生成する画像生成部と、
前記撮像部にて取得された映像の基準位置を決定する位置決定部と、
前記撮像部にて取得された映像に対し、前記基準位置を用いて、該生成された画像を合成する合成部と
該合成された映像を表示する表示部と
を有する映像表示装置。
【請求項２】
前記機器は画像形成装置である
ことを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記撮像部は、複数の視点から撮像された前記機器の映像を取得し、
前記合成部は、該取得された映像のうち前記作動状態に対応した一つの映像に対して前記合成を実行する
ことを特徴とする請求項１に記載の映像表示装置。
【請求項４】
前記機器のユーザを特定するユーザ特定部と、
一つの作動状態に対して複数の画像を記憶する記憶部と
を更に有し、
前記合成部は、前記記憶部を参照し、該特定されたユーザに対応する画像を合成処理の対象と決定する
ことを特徴とする請求項３に記載の映像表示装置。
【請求項５】
前記位置決定部は、前記撮像部にて取得された映像から、前記機器に付され前記基準位置を表す画像が形成されたシート状の記録媒体を検出する
ことを特徴とする請求項１に記載の映像表示装置。
【請求項６】
前記映像を動画データまたは静止画データとして出力する出力部を更に有する
ことを特徴とする請求項１に記載の映像表示装置。
【請求項７】
前記状態特定部は、前記機器に対し前記作動状態を送信するように要求する
ことを特徴とする請求項１に記載の映像表示装置。
【請求項８】
前記位置情報が検出されなくなった場合、定められた期間、前記表示部に表示されている映像を保持する
ことを特徴とする請求項１に記載の映像表示装置。
【請求項９】
前記画像は前記機器のユーザが視認できない部位に関係する作動状態を模式的に表す画像である
ことを特徴とする請求項１に記載の映像表示装置。
【請求項１０】
コンピュータに、
入力された映像から撮像対象の機器を特定するステップと、
前記機器の作動状態を取得するステップと、
該特定された機器および該取得された作動状態に対応する画像を生成するステップと、
前記映像の基準位置を決定するステップと、
前記映像に対し、前記基準位置を用いて、該生成された画像を合成するステップと
を実行させるためのプログラム。
【請求項１１】
撮像部と、
前記撮像部にて撮像された対象の機器を特定する機器特定部と、
前記機器の作動状態を取得する状態取得部と
該特定された機器および作動状態をサーバに送信する送信部と、
前記サーバから該特定された機器および該取得された作動状態に対応する画像を受信する受信部と、
前記撮像部にて取得された映像の基準位置を決定する位置決定部と、
前記撮像部にて取得された映像に対し、前記基準位置を用いて、該生成された画像を合成する合成部と
該合成された映像を表示する表示部と
を有する携帯端末。
【請求項１】
撮像部と、
前記撮像部にて撮像された対象の機器を特定する機器特定部と、
前記機器の作動状態を取得する状態取得部と、
該特定された機器および該取得された作動状態に対応する画像を生成する画像生成部と、
前記撮像部にて取得された映像の基準位置を決定する位置決定部と、
前記撮像部にて取得された映像に対し、前記基準位置を用いて、該生成された画像を合成する合成部と
該合成された映像を表示する表示部と
を有する映像表示装置。
【請求項２】
前記機器は画像形成装置である
ことを特徴とする請求項１に記載の映像表示装置。
【請求項３】
前記撮像部は、複数の視点から撮像された前記機器の映像を取得し、
前記合成部は、該取得された映像のうち前記作動状態に対応した一つの映像に対して前記合成を実行する
ことを特徴とする請求項１に記載の映像表示装置。
【請求項４】
前記機器のユーザを特定するユーザ特定部と、
一つの作動状態に対して複数の画像を記憶する記憶部と
を更に有し、
前記合成部は、前記記憶部を参照し、該特定されたユーザに対応する画像を合成処理の対象と決定する
ことを特徴とする請求項３に記載の映像表示装置。
【請求項５】
前記位置決定部は、前記撮像部にて取得された映像から、前記機器に付され前記基準位置を表す画像が形成されたシート状の記録媒体を検出する
ことを特徴とする請求項１に記載の映像表示装置。
【請求項６】
前記映像を動画データまたは静止画データとして出力する出力部を更に有する
ことを特徴とする請求項１に記載の映像表示装置。
【請求項７】
前記状態特定部は、前記機器に対し前記作動状態を送信するように要求する
ことを特徴とする請求項１に記載の映像表示装置。
【請求項８】
前記位置情報が検出されなくなった場合、定められた期間、前記表示部に表示されている映像を保持する
ことを特徴とする請求項１に記載の映像表示装置。
【請求項９】
前記画像は前記機器のユーザが視認できない部位に関係する作動状態を模式的に表す画像である
ことを特徴とする請求項１に記載の映像表示装置。
【請求項１０】
コンピュータに、
入力された映像から撮像対象の機器を特定するステップと、
前記機器の作動状態を取得するステップと、
該特定された機器および該取得された作動状態に対応する画像を生成するステップと、
前記映像の基準位置を決定するステップと、
前記映像に対し、前記基準位置を用いて、該生成された画像を合成するステップと
を実行させるためのプログラム。
【請求項１１】
撮像部と、
前記撮像部にて撮像された対象の機器を特定する機器特定部と、
前記機器の作動状態を取得する状態取得部と
該特定された機器および作動状態をサーバに送信する送信部と、
前記サーバから該特定された機器および該取得された作動状態に対応する画像を受信する受信部と、
前記撮像部にて取得された映像の基準位置を決定する位置決定部と、
前記撮像部にて取得された映像に対し、前記基準位置を用いて、該生成された画像を合成する合成部と
該合成された映像を表示する表示部と
を有する携帯端末。
【図１】
【図２】
【図３】
【図４】
【図６】
【図７】
【図９】
【図１４】
【図１５】
【図１６】
【図５】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図６】
【図７】
【図９】
【図１４】
【図１５】
【図１６】
【図５】
【図８】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２０５１３４（Ｐ２０１２−２０５１３４Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６８６８２（Ｐ２０１１−６８６８２）
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]