サポートシステム
【課題】ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーが常に適切なサポート情報を入手することを可能にするサポートシステムを提供する。
【解決手段】サポートシステムシステムA1は、リモート端末(PC3)側で表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標を算出し、携帯端末(携帯電話2)側で表示中のカメラ画像に同一の三次元座標系を用いてサポート情報を重ね合わせた合成画像を生成する。よって、サポートシステムA1によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像を携帯端末(携帯電話2)側で表示することができる。
【解決手段】サポートシステムシステムA1は、リモート端末(PC3)側で表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標を算出し、携帯端末(携帯電話2)側で表示中のカメラ画像に同一の三次元座標系を用いてサポート情報を重ね合わせた合成画像を生成する。よって、サポートシステムA1によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像を携帯端末(携帯電話2)側で表示することができる。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、MFP等の対象機器のトラブル発生時にユーザーの携帯端末にサポート情報を提供するためのサポートシステムに関する。
【背景技術】
【0002】
近年、MFP等の各種事務機器の高機能化・複合化が進んだ結果、これらの事務機器の操作方法は極めて複雑化している。そのため、ユーザーはトラブル発生時に操作マニュアルやオペレーションパネル上のサポート情報等を見ながら復旧作業を行う必要がある。
【0003】
これに関連して、以下の特許文献1には、サポート対象機器(「デジタル複合機」)の状態コード及び二次元マーカーの貼付箇所(「面コード」)の組み合わせに対応するサポート情報(「ヘルプ情報」)が記憶されたリモート端末(「ヘルプサーバー」)を有するサポートシステムが記載されている。同システムによると、トラブル発生時に対象機器から送信される状態コード及び携帯端末のカメラにより読み取られる面コードの組み合わせに対応するサポート情報がヘルプサーバーから取り出されて携帯端末に送信され、携帯端末において当該サポート情報がAR(Augumented Reality:拡張現実感)技術によりカメラ画像と重ね合わせて表示される。これにより、ユーザーはサポート情報を希望する箇所をカメラで撮影することにより対象機器の状態に応じたサポート情報を入手することができる。
【0004】
また、以下の非特許文献1には、AR技術の一例として、実世界オブジェクトに貼付された二次元マトリックスコードのカメラ画像への投影形状を解析することにより、カメラ画像内の実世界オブジェクトの位置を定める空間座標系を推定する手法が記載されている。
【0005】
しかしながら、特許文献1のサポートシステムを用いたとしても、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合は、それに対応するサポート情報が予め記憶されている可能性は低いので、ユーザーは必ずしも適切なサポート情報を入手することができないという問題点が指摘されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−219879号公報
【非特許文献】
【0007】
【非特許文献1】2次元マトリックスコードを利用した拡張現実感の構成手法、暦本 純一、WISS96
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、上記従来技術に伴う課題を解決するためになされたものであり、本発明の目的は、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーが常に適切なサポート情報を入手することを可能にするサポートシステムを提供することである。
【課題を解決するための手段】
【0009】
本発明の上記目的は、下記の手段によって達成される。
【0010】
(1)対象機器のトラブル発生時に、撮影部を有する携帯端末にリモート端末からサポート情報を送信するためのサポートシステムであって、前記対象機器には、前記撮影部により撮影されたときの撮影画像から前記撮影部までの距離及び前記撮影部に対する傾きを検出可能であるマーカーが部品ごとに貼付されており、前記携帯端末は、前記撮影部による前記マーカーの撮影画像であるマーカー画像を表示する第1表示部と、前記第1表示部に表示されている前記マーカー画像から検出した前記距離及び前記傾きに基づき前記マーカーを基準とする座標系を生成する第1座標系生成部と、前記マーカー画像を前記リモート端末に送信する第1送信部と、を有し、前記リモート端末は、前記第1送信部から受信した前記マーカー画像を表示する第2表示部と、前記第2表示部に表示されている前記マーカー画像から検出した前記距離及び前記傾きに基づき前記第1座標系生成部と同一の前記座標系を生成する第2座標系生成部と、前記第2表示部に表示されている前記マーカー画像上で前記サポート情報及び前記サポート情報の位置情報を受け付けるサポート情報受付部と、前記位置情報から前記サポート情報の前記同一の座標系による位置座標を算出する座標算出部と、前記サポート情報及び前記位置座標を前記携帯端末に送信する第2送信部と、を有し、前記携帯端末は、前記第2送信部から受信した前記位置座標及び前記第1座標系生成部により生成した前記座標系を用いて、前記第2送信部から受信した前記サポート情報を前記第1表示部に表示されている前記マーカー画像に重ね合わせた合成画像を生成する画像合成部をさらに有することを特徴とするサポートシステム。
【0011】
(2)前記携帯端末は、前記トラブルに関する質問内容を受け付ける質問内容受付部をさらに有し、前記第1送信部は、前記質問内容受付部により受け付けた前記質問内容を前記リモート端末にさらに送信し、前記第2表示部は、前記第1送信部から受信した前記質問内容をさらに表示することを特徴とする上記(1)に記載のサポートシステム。
【0012】
(3)前記携帯端末は、前記質問内容受付部により受け付けた前記質問内容、並びに前記第2送信部から受信した前記サポート情報及び前記位置座標を互いに関連付けて保存する第1保存部をさらに有し、前記第1表示部は、前記第1保存部に保存された前記質問内容の一覧をさらに表示し、前記画像合成部は、前記第1表示部に表示された前記一覧から選択された前記質問内容と関連付けて保存された前記位置座標及び前記第1座標系生成部により生成した前記同一の座標系を用いて、前記一覧から選択された前記質問内容と関連付けて保存された前記サポート情報を前記第1表示部に表示されている前記マーカー画像に重ね合わせた合成画像を生成することを特徴とする上記(2)に記載のサポートシステム。
【0013】
(4)各々の前記マーカーは、それが貼付されている前記対象機器の部品の識別情報を保持しており、前記リモート端末は、前記対象機器の部品のうちリコール対象であるものの前記識別情報を格納する第2保存部と、前記第2表示部に表示されている前記マーカー画像内の前記マーカーから前記識別情報を読み取る読取部と、をさらに有し、前記第2表示部は、前記読取部により読み取った前記識別情報が前記第2保存部に格納されている場合に、当該識別情報により表される前記対象機器の部品がリコール対象である旨を通知するメッセージをさらに表示することを特徴とする上記(1)〜(3)のいずれか1つに記載のサポートシステム。
【0014】
(5)前記マーカーは、QRコードであることを特徴とする上記(1)〜(4)のいずれか1つに記載のサポートシステム。
【発明の効果】
【0015】
本発明に係るサポートシステムは、リモート端末側で表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標を算出し、携帯端末側で表示中のカメラ画像に同一の三次元座標系を用いてサポート情報を重ね合わせた合成画像を生成する。よって、本発明によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像が携帯端末に表示されるので、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーは常に適切なサポート情報を入手することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施形態に係るサポートシステムの構成を示すブロック図である。
【図2】本発明の一実施形態に係るサポート対象機器(MFP)の外観を示す側面図である。
【図3】本発明の一実施形態に係るマーカーを示す概略図である。
【図4】本発明の一実施形態に係る携帯端末(携帯電話)の構成を示すブロック図である。
【図5】本発明の一実施形態に係る携帯電話のROMに格納されたプログラムを示す概念図である。
【図6】本発明の一実施形態に係るリモート端末(PC)の構成を示すブロック図である。
【図7】本発明の一実施形態に係るリモート端末のROMに格納されたプログラムを示す概念図である。
【図8】本発明の一実施形態に係るサポートシステム全体の処理の手順を示すフローチャートである。
【図9】本発明の一実施形態に係る携帯電話のカメラ画像送信処理の手順を示すフローチャートである。
【図10】本発明の一実施形態に係る携帯電話により表示されたカメラ画像の一例を示す概略図である。
【図11】本発明の一実施形態に係る携帯電話により表示されたカメラ画像の一例を示す概略図である。
【図12】本発明の一実施形態に係る携帯電話により受け付けられたユーザー質問内容の一例を示す概略図である。
【図13】本発明の一実施形態に係るPCのサポート情報送信処理の手順を示すフローチャートである。
【図14】本発明の一実施形態に係るPCにより表示されたカメラ画像の一例を示す概略図である。
【図15】本発明の一実施形態に係るPCにより受け付けられた入力サポート情報の一例を示す概略図である。
【図16】本発明の一実施形態に係る携帯電話によるサポート画像合成処理の手順を示すフローチャートである。
【図17】本発明の一実施形態に係る携帯電話により表示されたサポート画像の一例を示す概略図である。
【図18】本発明の一実施形態に係る携帯電話により受け付けられたユーザー質問内容の他の例を示す概略図である。
【図19】本発明の一実施形態に係る携帯電話により表示されたサポート画像の他の例を示す概略図である。
【図20】本発明の他の実施形態に係る携帯電話のEEPROMに格納されたデータを示す概念図である。
【図21】本発明の他の実施形態に係る携帯電話のROMに格納されたプログラムを示す概念図である。
【図22】本発明の他の実施形態に係るサポートシステム全体の処理の手順を示すフローチャートである。
【図23】本発明の他の実施形態に係るサポート情報検索処理の手順を示すフローチャートである。
【図24A】本発明の他の実施形態に係る履歴サポート画像合成処理の手順を示すフローチャートである。
【図24B】本発明の他の実施形態に係る履歴サポート画像合成処理の手順を示すフローチャートである。
【図25】本発明の他の実施形態に係る携帯電話により表示されたユーザー質問内容のリストの一例を示す概略図である。
【図26】本発明の他の実施形態に係る携帯電話により表示された履歴サポート画像の一例を示す概略図である。
【図27】本発明の他の実施形態に係るサポート画像合成処理の手順を示すフローチャートである。
【図28】本発明のさらに他の実施形態に係るPCのHDDに格納されたデータを示す概念図である。
【図29】本発明のさらに他の実施形態に係るサポートシステム全体の処理の手順を示すフローチャートである。
【図30】本発明のさらに他の実施形態に係るサポート情報送信処理の手順を示すフローチャートである。
【図31】本発明のさらに他の実施形態に係るPCにより表示されたメッセージの一例を示す概略図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態を、図面を参照しつつ説明する。
【0018】
先ず、本発明の第1実施形態について説明する。図1は、本実施形態に係るサポートシステムA1の全体構成を示すブロック図である。このサポートシステムA1は、サポート対象機器のトラブル発生時に、ユーザーが携帯端末を用いてトラブル解決のためのサポート情報を入手することを可能にするものである。このサポート情報は、リモート端末上でオペレーターにより入力され、ユーザーの携帯端末に送信される。
【0019】
図1のように、本実施形態に係るサポートシステムA1は、サポート対象機器であるMFP1、ユーザーにより操作される携帯端末である携帯電話2、及びオペレーターにより操作されるリモート端末であるPC3を含んでいる。ここで、携帯電話2は無線通信により無線基地局Bと双方向通信可能に接続されており、無線基地局BとPC3とはネットワークNを介して双方向通信可能に接続されている。これにより携帯電話2とPC3との間の双方向通信が実現される。図1の例によるネットワークNはインターネットであるが、これは双方向にデータ通信可能なネットワークであれば特に限定されず、LAN(Local Area Network)やWAN(Wide Area Network)等であってもよい。
【0020】
図2は、MFP1の外観を示す側面図である。MFP1は一般的なMFPであるので、その構成についての詳細な説明は省略する。図2のように、MFP1には部品ごとに少なくとも1つのマーカーMが貼付されている。図2は、MFP1の外表面上に貼付されたマーカーMのみを示しているが、マーカーMは必要に応じてMFP1の内部にも貼付される(図12参照)。なお、マーカーMの位置や個数等は図2中の例に限定されず、後述するサポート画像の合成・表示を高精度に行うためには、複雑な構造を有する部品やトラブル発生頻度が高い部品等に高密度に配置されることが好ましい。
【0021】
本実施形態に係るマーカーMは、デジタルカメラ等の撮影手段により撮影されたときの撮影画像から当該撮影手段までの距離や当該撮影手段に対する傾き等を検出可能な図形が組み込まれた2次元コードである。さらに、個々のマーカーMは、それが貼付されている位置を示す位置IDや、それが貼付されている部品の部品番号及び製造番号等を保持することができる。このようなマーカーMの一例としてQR(Quick Response)コードを採用することができる。本実施形態に係るマーカーMは、MFP1への貼付が容易なシール状の形態を有しており、裏面に糊が塗布された紙やプラスチックフィルム等への印刷により生成される。図3は、本実施形態に係るマーカーMの一例を示す概略図である。
【0022】
図4は、本実施形態に係る携帯電話2の構成を示すブロック図である。図4のように、携帯電話2は、CPU21、RAM22、ROM23、EEPROM24、ディスプレイ25、入力装置26、カメラ27、及び通信インターフェース28を備えており、これらは信号をやり取りするためのバス29を介して接続されている。これらの構成要素について以下に順に説明する。
【0023】
CPU21はプログラムに従って上記各部の動作を制御するとともに種々の演算処理を実行する。RAM22はCPU21の作業領域として一時的にデータを記憶する。ROM23は携帯電話2の基本動作を制御するための各種プログラムやパラメーター等を格納する。ROM23に格納されたプログラムについてはさらに後述する。EEPROM24はOS(オペレーティングシステム)を含む各種プログラムやパラメーター等を格納する。
【0024】
ディスプレイ25は液晶ディスプレイや有機ELディスプレイ等の表示装置である。入力装置26はタッチパネル等のポインティングデバイス及びキーボード等の固定キーを備えている。カメラ27はCCDイメージセンサーやCMOSイメージセンサー等の撮像素子を備えたデジタルカメラである。カメラ27の撮影画像はディスプレイ25にリアルタイム表示される。また、カメラ27の撮影画像はユーザーの指示に応じてEEPROM24にデジタルデータとして保存される。通信インターフェース28は所定の周波数帯の電波を用いて基地局4と双方向通信を行うためのインターフェースである。
【0025】
図5は、本実施形態に係るROM23に格納されたプログラムを示す概念図である。図5のように、ROM23には、カメラ画像表示プログラムP1、質問内容編集プログラムP2、送信データ生成プログラムP3、マーカー情報読取プログラムP4、座標生成プログラムP5、及びサポート画像合成プログラムP6が格納されている。これらのプログラムについて以下に順に説明する。
【0026】
カメラ画像表示プログラムP1は、カメラ27の撮影画像をディスプレイ25上のカメラ画像表示部25aにリアルタイム表示する機能を有する。以下ではカメラ27の撮影画像のことを単に「カメラ画像」と称する。本実施形態におけるカメラ画像とはカメラ27の撮像素子から順次出力される動画のことを指す。図10は、カメラ画像表示部25aに表示中のカメラ画像の一例を示す概略図である。
【0027】
質問内容編集プログラムP2は、ディスプレイ25上の質問内容受付部25bにおいてユーザーから質問内容を受け付ける機能を有する。ここでいう質問内容とは、MFP1のトラブルを解決しようとするユーザーからオペレーターへの質問内容のことを指す。図12は、質問内容編集プログラムP2により受け付けた質問内容の一例を示す概略図である。図12の例による質問内容は「紙詰まりがマニュアル通りの方法では直りません。対処方法を教えてください。」という文字列であり、これはタッチパネルやキーボード等により入力される。以下では質問内容入力部25bに入力された質問内容のことを「ユーザー質問内容」と称する。
【0028】
送信データ生成プログラムP3は、PC3にカメラ画像及びユーザー質問内容をリアルタイム送信する機能を有する。マーカー情報読取プログラムP4は、カメラ画像表示部25aに表示中のカメラ画像に含まれるマーカーMから位置ID等の各種情報を読み取る機能を有する。座標生成プログラムP5は、カメラ画像表示部25aに表示中のカメラ画像に含まれるマーカーMを基準とする三次元座標系を生成する機能を有する。サポート画像合成プログラムP6は、カメラ画像表示部25aに表示中のカメラ画像に後述するサポート情報を重ね合わせた合成画像を生成する機能を有る。
【0029】
続いて、図6は、本実施形態に係るPC3の構成を示すブロック図である。図6のように、PC3は、CPU31、RAM32、ROM33、HDD34、ディスプレイ35、入力装置36、及び通信インターフェース37を備えており、これらは信号をやり取りするためのバス38を介して接続されている。これらの構成要素について以下に順に説明する。
【0030】
CPU31はプログラムに従って上記各部の動作を制御するとともに種々の演算処理を実行する。RAM32はCPU31の作業領域として一時的にデータを記憶する。ROM33はPC3の基本動作を制御するための各種プログラムやパラメーター等を格納する。ROM33に格納されたプログラムについてはさらに後述する。HDD34はOS(オペレーティングシステム)を含む各種プログラムやパラメーター等を格納する。
【0031】
ディスプレイ35はCRTディスプレイや液晶ディスプレイ等の表示装置である。入力装置36はマウス等のポインティングデバイス及びキーボード等の固定キーを備えている。通信インターフェース37はネットワークNに接続された外部機器と双方向通信を行うためのインターフェースである。
【0032】
図7は、本実施形態に係るROM33に格納されたプログラムを示す概念図である。図7のように、ROM33には、カメラ画像表示プログラムQ1、サポート情報編集プログラムQ2、マーカー情報読取プログラムQ3、座標生成プログラムQ4、及び送信データ生成プログラムQ5が格納されている。これらのプログラムについて以下に順に説明する。
【0033】
カメラ画像表示プログラムQ1は、携帯電話2から受信したカメラ画像及びユーザー質問内容をディスプレイ35上のカメラ画像表示部35aにリアルタイム表示する機能を有する。図14は、カメラ画像表示部35aに表示中のカメラ画像及びユーザー質問内容の一例を示す概略図である。図14中のカメラ画像及びユーザー質問内容は、図12中のカメラ画像及びユーザー質問内容に対応している。
【0034】
サポート情報編集プログラムQ2は、カメラ画像表示部35aにおいてオペレーターからサポート情報を受け付ける機能を有する。ここでいうサポート情報とは、トラブル解決のためにオペレーターからユーザーに提供されるMFP1の操作指示のことを指す。図15は、サポート情報編集プログラムQ2により受け付けたサポート情報の一例を示す概略図である。図15の例によるサポート情報は「この方向から撮影してください。」という文字列及び直線(矢印)の組み合わせからなるオブジェクトであり、マウスを操作するオペレーターによりカメラ画像表示部35aに表示中のカメラ画像上の所望の位置に入力される。
【0035】
より具体的に、オペレーターは、カメラ画像表示部35aの近傍に配置された入力方法選択ボタン35cのいずれかを選択した状態でマウス等を操作することにより、カメラ画像上の所望の位置にサポート情報を入力する。例えば、オペレーターは手書き入力ボタンを選択した後にマウスを左クリックした状態でカーソルを移動させることにより所望の位置に文字や図形等を描画することができる。
【0036】
同様に、オペレーターは、直線描画ボタンを選択した後にマウスを左クリックした状態でカーソルを移動させることにより所望の位置に直線を描画することができるほか、文字列入力ボタンを選択した後にマウスを左クリックすることにより所望の位置に文字列を入力することができる。以下ではオペレーターによりカメラ画像表示部35aに入力されたサポート情報のことを「入力サポート情報」と称することがある。
【0037】
マーカー情報読取プログラムQ3は、カメラ画像表示部35aに表示中のカメラ画像に含まれるマーカーMから位置ID等の各種情報を読み取る機能を有する。座標生成プログラムQ4は、カメラ画像表示部35aに表示中のカメラ画像に含まれるマーカーMを基準とする三次元座標系を生成し、その三次元座標系による入力サポート情報の位置座標を算出する機能を有する。送信データ生成プログラムQ5は、サポート情報編集プログラムQ2により受け付けた入力サポート情報、座標生成プログラムQ4により算出した入力サポート情報の位置座標、及びマーカー情報読取プログラムQ3により読み取ったマーカーMの位置IDを携帯電話2に送信する機能を有する。
【0038】
次に、本実施形態に係るサポートシステムA1の動作の概要について説明する。図8は、MFP1のトラブル発生時に実行されるシステム全体の処理の手順を示すフローチャートである。本処理はMFP1のトラブル発生時に携帯電話2上の専用アプリケーションが起動されることにより開始される。本処理の実行中、カメラ27の視野にMFP1のトラブル発生箇所が映るように携帯電話2がユーザーの手で移動させられる。
【0039】
図8のように、先ず、ディスプレイ25のカメラ画像表示部25a及び質問内容受付部25bにそれぞれ表示中のカメラ画像及びユーザー質問内容をPC2にリアルタイム送信する処理(S101)が携帯電話2により実行される。本処理のことを以下では「カメラ画像送信処理」と称する。カメラ画像送信処理の具体的な手順についてはさらに後述する。
【0040】
続いて、ディスプレイ35のカメラ画像表示部35aでオペレーターから受け付けた入力サポート情報及びその位置座標を携帯電話2に送信する処理(S102)がPC3により実行される。本処理のことを以下では「サポート情報送信処理」と称する。サポート情報送信処理の具体的な手順についてはさらに後述する。
【0041】
続いて、ディスプレイ25のカメラ画像表示部25aに表示中のカメラ画像に入力サポート情報を重ね合わせた合成画像を、AR技術を用いて生成する処理(S103)が携帯電話2により実行される。本処理のことを以下では「サポート画像合成処理」と称する。サポート画像表示処理の具体的な手順についてはさらに後述する。
【0042】
その後、MFP1のトラブルが解決済みであるかどうかが判断され(S104)、トラブルが解決済みである場合は(S104のYES)システム全体の処理が終了され(エンド)、トラブルが解決済みでない場合は(S104のNO)、前述のS101〜S103が再度実行される。S104での1判断の方法についてはさらに後述する。
【0043】
続いて、図9のフローチャートを参照して、本実施形態におけるカメラ画像送信処理(S101)の具体的な手順について説明する。先ず、携帯電話2は、カメラ27を起動し(S201)、カメラ画像表示部25aにおけるカメラ画像のリアルタイム表示を開始する(S202)。続いて、携帯電話2は、表示中のカメラ画像内にマーカーMが含まれているかどうかを判断する(S203)。
【0044】
ここで、カメラ画像内に、マーカーMが含まれている場合は(S203のYES)、現在のカメラ位置を保持するようユーザーに指示するメッセージをメッセージ表示部25cに表示する(S204)。図10は、S204で表示されたメッセージの一例を示す概略図である。図10の例において、メッセージ表示部25cには「マーカー認識中。現在位置で撮影を続けてください。」というメッセージが表示されている。
【0045】
他方、カメラ画像内にマーカーMが含まれていない場合は(S203のNO)、カメラ画像内にマーカーMが含まれるようにカメラ位置を調整するようユーザーに指示するメッセージをメッセージ表示部25cに表示してから(S205)、前述のS202に戻る。図11は、S205で表示されたメッセージの一例を示す概略図である。図11の例において、メッセージ表示部25cには「マーカー認識不可。マーカーが映るように撮影してください。」というメッセージが表示されている。
【0046】
続いて、携帯電話2は、質問内容受付部25cにおいてユーザーから質問内容の入力を受け付ける(S206)。図12は、S206で受け付けたユーザー質問内容の一例を示す概略図である。図12の例によるユーザー質問内容は「紙詰まりがマニュアル通りの方法では直りません。対処方法を教えてください。」という文字列である。そして、携帯電話2は、PC3へのカメラ画像及びユーザー質問内容のリアルタイム送信を開始する(S207)。その後、携帯電話2は、カメラ画像送信処理(S101)を終了する(リターン)。
【0047】
次に、図13のフローチャートを参照して、本実施形態におけるサポート情報送信処理(S102)の具体的な手順について説明する。先ず、PC3は、携帯電話2からリアルタイム送信されているカメラ画像及びユーザー質問内容の受信を開始する(S301)。そして、PC3は、ディスプレイ35上のカメラ画像表示部35a及び質問内容表示部35bにおけるカメラ画像及びユーザー質問内容のリアルタイム表示を開始する(S302)。図14は、カメラ画像表示部35a及び質問内容表示部35bにそれぞれ表示中のカメラ画像及びユーザー質問内容の一例を示す概略図である。図14中のカメラ画像及びユーザー質問内容は図12中のカメラ画像及びユーザー質問内容に対応するものである。図12、14のように、両ディスプレイ25、35には同一のカメラ画像及びユーザー質問内容が表示される。
【0048】
続いて、PC3は、カメラ画像表示部35aにおいてオペレーターからサポート情報の入力を受け付ける(S303)。図15は、S303で受け付けた入力サポート情報の一例を示す概略図である。図15の例による入力サポート情報は「この方向から撮影してください」という文字列とカメラ画像上の所定の箇所を指し示す矢印との組み合わせからなるオブジェクトである。
【0049】
続いて、PC3は、カメラ画像表35aに表示中のカメラ画像内に複数のマーカーMが含まれているかどうかを判断する(S304)。そして、複数のマーカーMが含まれている場合は(S304のYES)、S303で受け付けた入力サポート情報に最も近い位置のマーカーMを選択する(S305)。他方、複数のマーカーMが含まれていない場合(S304のNO)、すなわち、単一のマーカーMのみが含まれている場合は、その単一のマーカーMを選択する(S306)。
【0050】
続いて、PC3は、S305又はS306で選択したマーカーMから位置IDを読み取り、それをHDD34に一時的に保存する(S307)。そして、PC3は、S305又はS306で選択したマーカーMからカメラ27までの距離及びカメラ27に対する傾きを検出し、それらの検出結果に基づき当該マーカーMを基準とする仮想的な三次元座標系を生成する(S308)。このように三次元座標系の基準とされるマーカーMのことを以下では「選択マーカー」と称する。
【0051】
続いて、PC3は、カメラ画像表示部35aにおいて受け付けた入力サポート情報の上記三次元座標系による位置座標を算出する(S309)。なお、選択マーカーMから検出した情報に基づく三次元座標系の生成(S308)及びその三次元座標系による入力サポート情報の位置座標の算出(S309)には上記非特許文献1に記載の方法が採用される。S309で算出された入力サポート情報の位置座標のことを以下では「位置座標P」と称する。
【0052】
続いて、PC3は、S303で受け付けた入力サポート情報、S309で算出した入力サポート情報の位置座標P、及びS307で保存した選択マーカーMの位置IDを携帯電話2に送信する(S310)。その後、PC3は入力サポート情報送信処理(S102)を終了する(リターン)。
【0053】
次に、図16のフローチャートを参照して、本実施形態におけるサポート画像合成処理(S103)の具体的な手順について説明する。先ず、携帯電話2は、PC3から送信された入力サポート情報、入力サポート情報の位置座標P、及び選択マーカーMの位置IDを受信する(S401)。そして、携帯電話2は、カメラ画像表示部25aに表示中のカメラ画像内に含まれるマーカーMから、S401で受信した位置IDと同一の位置IDを有するマーカーMを選択する(S402)。S402で選択されたマーカーMは、上記のS305又はS306で選択されたマーカーMと同様に三次元座標系の基準となる「選択マーカーM」として扱われる。
【0054】
そして、携帯電話2は、カメラ画像表示部25aに表示中のカメラ画像内の選択マーカーMからカメラ27までの距離及びカメラ27に対する傾きを検出し、それらの検出結果に基づき選択マーカーMを基準とする仮想的な三次元座標系を生成する(S403)。S403で生成された三次元座標系は上記のS308で生成された三次元座標系と同一のものである。
【0055】
続いて、携帯電話2は、カメラ画像表示部25aに表示中のカメラ画像に入力サポート情報を重ね合わせた合成画像のリアルタイム表示を開始する(S404)。このような合成画像のことを以下では「サポート画像」と称する。本実施形態におけるサポート画像は、S401で受信した位置座標P及びS403で生成した三次元座標系を用いて、S401で受信した入力サポート情報をカメラ画像表示部25aに表示中のカメラ画像に重ね合わせることにより合成される。なお、選択マーカーMから検出した情報に基づく三次元座標系の生成(S403)及びその三次元座標系を用いたサポート画像の合成には上記非特許文献1に記載の方法が採用される。S309で算出された入力サポート情報の位置座標のことを以下では「位置座標P」と称する。
【0056】
図17は、カメラ画像表示部25aに表示中のサポート画像の一例を示す概略図である。図17中のサポート画像は図15中の入力サポート情報に対応している。なお、図17のようにMFP1に対するカメラ27の位置が変更されたとしても、サポート画像内のMFP1に対する入力サポート情報の位置は保持されている。これは位置座標Pの算出(S309)及びサポート画像の合成(S404)において同一の三次元座標系が用いられているからである。
【0057】
続いて、携帯電話2は、MFP1のトラブルが解決済みであるかどうかに関するユーザーの回答を受け付けるための「解決/未解決」ボタン25dをディスプレイ25上に表示する(S405)。図17は、S405で表示された「解決/未解決」ボタン25dの一例を示す概略図である。図17の例において、ユーザーはタッチパネルやキーボード等を操作することにより「解決/未解決」ボタン25dの「はい」又は「いいえ」を選択することができる。より具体的に、ユーザーはトラブルが解決済みである場合は「はい」を選択し、解決済みでない場合は「いいえ」を選択する。
【0058】
続いて、携帯電話2は、ユーザーにより「解決/未解決」ボタン25dが押下されたかどうかを判断する。そして、「解決/未解決」ボタン25dが押下された場合は(S406のYES)、ユーザーの回答内容(「はい」又は「いいえ」)をEEPROM24に保存する(S407)。その後、携帯電話2は、カメラ画像表示部25aにおけるサポート画像のリアルタイム表示を中断してから(S408)、サポート画像合成処理を終了する(リターン)。このようにS408でサポート画像のリアルタイム表示が中断されることにより、カメラ画像表示部25aにおけるカメラ画像のリアルタイム表示が再開される。
【0059】
他方、「解決/未解決」ボタン25dが押下されていない場合は(S406のNO)、カメラ画像表示部25aに表示中のカメラ画像内に選択マーカーが含まれているかどうかをさらに判断する(S409)。そして、カメラ画像内に選択マーカーMが含まれている場合は(S409のYES)、上記S406に戻る。また、カメラ画像内に選択マーカーMが含まれていない場合は(S409のNO)、カメラ画像表示部25aにおけるサポート画像のリアルタイム表示を中断してから(S410)、上記S406に戻る。このようにS410でサポート画像のリアルタイム表示が中断されることにより、カメラ画像表示部25aにおけるカメラ画像のリアルタイム表示が再開される。そのため、一旦S410が実行されたら、それ以降のS406及びS408はスキップされる。
【0060】
再び図8を参照すると、S104では、S407においてEEPROM24に保存されたユーザーの回答内容(「はい」又は「いいえ」)に基づきMFP1のトラブルが解決済みであるかどうかが判断される。そして、ユーザーにより「はい」が選択されていた場合は(S104のYES)、サポートシステムA1全体の処理が終了される(エンド)。他方、ユーザーにより「いいえ」が選択されていた場合は(S104のNO)、ユーザーにより「はい」が選択されるまでS101〜S103の処理が繰り返し実行される。
【0061】
図18は、図17中のサポート画像を見たユーザーがそれに含まれる入力サポート情報に従ってカメラ27の撮影方向を変更したときのカメラ画像を示す概略図である。図18の例において、質問内容受付部25bには「指示された方向を撮影しています。対象方法を教えてください。」というユーザー質問内容がさらに入力されている。
【0062】
そして、図19は、図18中のカメラ画像及びユーザー質問内容に対する入力サポート情報に基づき合成されたサポート画像を示す概略図である。図19の例による入力サポート情報は「小さな紙片が残っています。取り除いてください。」という文字列と紙片の位置を指し示す円との組み合わせからなるオブジェクトである。このようにユーザーはMFP1のトラブル発生箇所をカメラ27で撮影しながら質問内容入力部25bへの質問内容の入力を繰り返すことによりトラブル解決のための有効なサポート情報を入手することができる。
【0063】
以上のように、本実施形態に係るサポートシステムA1は、PC3側でカメラ画像表示部35aに表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標Pを算出し、携帯電話2側でカメラ画像表示部25aに表示中のカメラ画像に同一の三次元座標系を用いてサポート情報を重ね合わせた合成画像を生成する。よって、本実施形態によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像が携帯電話2のカメラ画像表示部25aに表示されるので、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーは常に適切なサポート情報を入手することができる。
【0064】
次に、本発明の第2実施形態について説明する。本実施形態に係るサポートシステムA2は前述した第1実施形態に係る遠隔サポートシステムA1と同様の構成を有している。そのため、以下では第1実施形態と相違する箇所についてのみ説明し、それ以外の箇所についての詳細な説明は省略する。また、本実施形態に係るサポートシステムA2の構成要素について言及する際には、前述した第1実施形態と同一の符号を用いる。
【0065】
図20は、本実施形態に係る携帯電話2のEEPROM24に格納されたデータを示す概念図である。図20のように、EEPROM23には、後述するサポート情報テーブルセットSの集合であるサポート情報履歴Rが格納されている。ここで、サポート情報テーブルセットSとは、リスト構造を有するサポート情報テーブルTの組み合わせのことを指しており、サポート情報テーブルTとは、個々のユーザー質問内容に対してオペレーターにより入力されたサポート情報、そのサポート情報の三次元座標系による位置座標P、及びその三次元座標系の生成に用いられた選択マーカーMの位置IDを包含するテーブルのことを指している。
【0066】
図20のように、個々のサポート情報テーブルセットSは、MFP1のトラブル発生から解決までの間にオペレーターにより入力された一連のサポート情報に対応するサポート情報テーブルTを組み合わせたものである。また、個々のサポート情報テーブルセットSには、最初にオペレーターにより入力されたサポート情報に対応するサポート情報テーブルTが先頭になるように各々のサポート情報テーブルTが入力順に配置されている。以下ではサポート情報テーブルセットSの先頭に配置されたサポート情報テーブルTのことを「第1テーブルT1」と称することがある。
【0067】
図21は、本実施形態に係る携帯電話2のROM23に格納されたプログラムを示す概念図である。図21のように、ROM23には、前述したカメラ画像表示プログラムP1、質問内容編集プログラムP2、送信データ生成プログラムP3、マーカー情報読取プログラムP4、座標生成プログラムP5、及びサポート画像合成プログラムP6に加えて、サポート情報テーブルセット保存プログラムP7、及びサポート情報テーブルセット検索プログラムP7が格納されている。これらについて以下に順に説明する。
【0068】
サポート情報テーブルセット保存プログラムP7は、MFP1のトラブル発生から解決までの間に入力された各々のサポート情報に対応するサポート情報テーブルTを作成し、それらをサポート情報テーブルセットSとしてEEPROM24に保存する機能を有する。前述のように、EEPROM24に保存されたサポート情報テーブルセットSの集合のことをサポート情報履歴Rと称する。サポート情報テーブルセット検索プログラムP8は、表示中のカメラ画像内に含まれるマーカーMから読み取った位置IDを包含するサポート情報テーブルセットSをサポート情報履歴Rから検索する機能を有する
次に、本実施形態に係るサポートシステムA2の動作の概要について説明する。図22は、MFP1のトラブル発生時に実行されるシステム全体の処理の手順を示すフローチャートである。本処理はMFP1のトラブル発生時に携帯電話2上の専用アプリケーションが起動されることにより開始される。本処理の実行中、カメラ27の視野にMFP1のトラブル発生箇所が映るように携帯電話2がユーザーの手で移動させられる。
【0069】
図22のように、先ず、ディスプレイ25上のカメラ画像表示部25aに表示中のカメラ画像内に含まれるマーカーMから位置IDを読み取り、その位置IDを包含するサポート情報テーブルセットSをサポート情報履歴Rから検索する処理(S501)が携帯電話2により実行される。本処理のことを以下では「サポート情報検索処理」と称する。
【0070】
続いて、サポート情報検索処理による検索結果が判断される(S502)。そして、マーカーMから読み取った位置IDを包含するサポート情報テーブルセットSが存在しない場合は(S502のNO)、携帯電話2によるカメラ画像送信処理(S504)が実行される。他方、マーカーMから読み取った位置IDを包含するサポート情報テーブルセットSが存在する場合は(S502のYES)、そのサポート情報テーブルセットSに包含されているサポート情報をカメラ画像表示部25aに表示中のカメラ画像に重ね合わせた合成画像を、AR技術を用いて生成する処理(S503)が携帯電話2により実行され、その後にMFP1のトラブルが解決済みであるかどうかが判断される(S507)。本処理のことを以下では「履歴サポート画像合成処理」と称する。
【0071】
次に、本実施形態にサポート情報検索処理(S501)及び履歴サポート画像合成処理(S503)の具体的な手順について説明する。なお、S504〜S507の具体的な手順は前述したS101〜S104と同様であるので、これらのステップについての詳細な説明は省略する。
【0072】
図23は、本実施形態におけるサポート情報検索処理(S501)の具体的な手順を示すフローチャートである。図23のように、先ず、携帯電話2は、カメラ27を起動し(S601)、カメラ画像表示S1におけるカメラ画像のリアルタイム表示を開始する(S602)。続いて、携帯電話2は、表示中のカメラ画像内にマーカーMが含まれているかどうかを判断する(S603)。
【0073】
ここで、カメラ画像内に、マーカーMが含まれている場合は(S603のYES)、現在のカメラ位置を保持するようユーザーに指示するメッセージをメッセージ表示部25cに表示する(S605)。S605で表示されるメッセージは、上記のS204で表示されるメッセージと同様である(図10参照)。他方、カメラ画像内にマーカーMが含まれていない場合は(S603のNO)、カメラ画像内にマーカーMが含まれるようにカメラ位置を調整するようユーザーに指示するメッセージをメッセージ表示部25cに表示してから(S605)、前述のS602に戻る。S604で表示されるメッセージは、上記のS205で表示されるメッセージと同様である(図11参照)。
【0074】
続いて、携帯電話2はカメラ画像内に含まれているマーカーMから位置IDを読み取り(S606)、その位置IDを包含するサポート情報テーブルセットSをEEPROM24内のサポート情報履歴Rから検索する(S607)。そして、該当するサポート情報テーブルセットSが存在する場合は(S608のYES)、「履歴あり」という検索結果をEEPROM24に保存する(S609)。その後、携帯電話2は、該当する全てのサポート情報テーブルセットSをRAM22に読み込んでから(S611)、サポート情報テーブルセットS検索処理を終了する(リターン)。
【0075】
他方、該当するサポート情報テーブルセットSがサポート情報履歴R中に存在しない場合は(S608のNO)、「履歴なし」という検索結果をEEPROM24に保存してから(S610)、サポート情報テーブルセット検索処理を終了する(リターン)。なお、S609又はS610でEEPROM24に保存された検索結果は上記のS502での判断に用いられる。
【0076】
図24A及び図24Bは、本実施形態における履歴サポート画像合成処理(S503)の具体的な手順を示すフローチャートである。先ず、携帯電話2は、上記のS611でRAM22に読み込んだ各々のサポート情報テーブルセットSの第1テーブルT1に包含されているユーザー質問内容のリストを作成し、それを履歴表示部25eにユーザー選択可能な形態で表示する(S701)。図25は、S701で履歴表示部25eに表示されたユーザー質問内容のリストの一例を示す概略図である。図25の例において、履歴表示部25eはカメラ画像表示部25aの下方に配置されており、ユーザーはタッチパネルやキーボード等を操作することによりリスト中のいずれかのユーザー質問内容を選択することができる。
【0077】
続いて、携帯電話2は、オペレーターからサポート情報を取得すべきとのユーザー指示を受け付けるための「オペレーターコール」ボタン25fをディスプレイ25上に表示する(S702)。図25は、S702で表示された「オペレーターコール」ボタン25fの一例を示す概略図である。図25の例において、「オペレーターコール」ボタン25fは履歴表示部25eの下方に配置されており、ユーザーはタッチパネルやキーボード等を操作することにより「オペレーターコール」ボタン25fを押下することができる。
【0078】
続いて、携帯電話2は、ユーザーにより「オペレーターコール」ボタン25fが押下されたかどうかを判断する(S703)。そして、「オペレーターコール」ボタン25fが押下されている場合は(S703のYES)、そのまま履歴サポート画像合成処理を終了する(リターン)。他方、「オペレーターコール」ボタン25fが押下されていない場合は(S704のNO)、履歴表示部25eにおいてユーザー質問内容の選択を受け付けたかどうかをさらに判断する(S704)。
【0079】
ここで、ユーザー質問内容の選択を受け付けていない場合は(S704のNO)、上記のS704に戻る。他方、ユーザー質問内容の選択を受け付けている場合は(S704のYES)、上記のS606で保存したマーカーMの位置IDをRAM22に読み込む(S705)。ただし、S705に先立ち、後述するS718が実行済みである場合は最後に実行されたS718で保存した位置IDをRAM22に読み込む。
【0080】
続いて、携帯電話2は、ユーザーにより選択されたユーザー質問内容に対応するサポート情報テーブルセットSから、S705で読み込んだ位置IDを包含しているサポート情報テーブルTを選択する(S706)。S705で読み込まれた位置IDを有するマーカーMは、上記のS305又はS306で選択されたマーカーMと同様に三次元座標系の基準となる「選択マーカーM」として扱われる。そして、携帯電話2は、カメラ画像表示部25aに表示中のカメラ画像内の選択マーカーMからカメラ27までの距離及びカメラ27に対する傾きを検出し、それらの検出結果に基づき選択マーカーMを基準とする仮想的な三次元座標系を生成する(S707)。
【0081】
続いて、携帯電話2は、カメラ画像表示部25aに表示中のカメラ画像に、S706で選択したサポート情報テーブルT内のサポート情報を重ね合わせた合成画像のリアルタイム表示を開始する(S708)。このような合成画像のことを以下では「履歴サポート画像」と称する。このような履歴サポート画像は、S706で選択したサポート情報テーブルT内の位置座標P及びS707で生成した三次元座標系を用いて、S706で選択したサポート情報テーブルT内のサポート情報をカメラ画像表示部25aに表示中のカメラ画像に重ね合わせることにより合成される。
【0082】
図26は、カメラ画像表示部25aに表示中の履歴サポート画像の一例を示す概略図である。図26の例による履歴サポート画像は、カメラ画像表示部25aに表示中のカメラ画像に「小さな紙片が残っています。取り除いてください。」という文字列と紙片の位置を指し示す円との組み合わせからなるサポート情報を重ね合わせることにより生成されている。なお、選択マーカーMから検出した情報に基づく三次元座標系の生成(S707)及びその三次元座標系を用いた履歴サポート画像の合成には上記非特許文献1に記載の方法が採用される。
【0083】
続いて、携帯電話2は、上記のS611で読み込んだサポート情報テーブルセットSの第1テーブルに包含されているユーザー質問内容を第1質問内容表示部25g1に表示するとともに(S709)、S706で選択したサポート情報テーブルTに包含されているユーザー質問内容を第2質問内容表示部25g2に表示する(S701)。図26は、S709及びS710において第1質問内容表示部25g1及び第2質問内容表示部25g2にそれぞれ表示されたユーザー質問内容の一例を示す概略図である。図26の例において、第1質問内容表示部25g1はカメラ画像表示部25aの下方に配置されており、第2質問内容表示部25g2はカメラ画像表示部25aと第1質問内容表示部25g1との間に配置されている。そして、第1質問内容表示部25g1には「紙詰まりがマニュアル通りの方法では直りません。対処方法を教えてください。」という文字列からなるユーザー質問内容が表示されており、第2質問内容表示部25g2には「指示された方向を撮影しています。対処方法を教えてください。」という文字列からなるユーザー質問内容が表示されている。
【0084】
続いて、携帯電話2は、トラブルが解決済みであるかどうかに関するユーザーの回答を受け付けるための「解決/未解決」ボタン25dをディスプレイ25上にさらに表示する(S711)。図26は、S711において表示された「解決/未解決」ボタン25dの一例を示す概略図である。図26の例において、ユーザーはタッチパネルやキーボード等を操作することにより「解決/未解決」ボタン25dの「はい」又は「いいえ」を選択することができる。より具体的に、ユーザーはトラブルが解決済みである場合は「はい」を選択し、解決済みでない場合は「いいえ」を選択する。
【0085】
続いて、携帯電話2は、ユーザーにより「解決/未解決」ボタン25dが押下されたかどうかを判断する(S712)。そして、「解決/未解決」ボタン25dが押下されている場合は(S712のYES)、ユーザーの回答内容(「はい」又は「いいえ」)をEEPROM24に保存する(S713)。その後、携帯電話2は、カメラ画像表示部25aにおける履歴サポート画像のリアルタイム表示を中断してから(S714)、履歴サポート画像合成処理を終了する(リターン)。このようにS714で履歴サポート画像のリアルタイム表示が中断されることにより、カメラ画像表示部25aにおけるカメラ画像のリアルタイム表示が再開される。
【0086】
他方、「解決/未解決」ボタン25dが押下されていない場合は(S712のNO)、カメラ画像表示部25aに表示中のカメラ画像内にマーカーMが含まれているかどうかをさらに判断する(S715)。そして、カメラ画像内にマーカーMが含まれていない場合は(S715のNO)、カメラ画像表示部25aにおける履歴サポート画像のリアルタイム表示を中断してから(S716)、上記の前述の712に戻る。このようにS716で履歴サポート画像のリアルタイム表示が中断されることにより、カメラ画像表示部25aではカメラ画像のリアルタイム表示が再開される。そのため、一旦S716が実行されたら、それ以降のS714及びS716はスキップされる。
【0087】
また、カメラ画像内にマーカーMが含まれている場合は(S715のYES)、そのマーカーMが三次元座標系の生成(S707)に用いられた選択マーカーMであるかどうかをさらに判断する(S717)。そして、当該マーカーMが選択マーカーMである場合は(S717のYES)、前述のS712に戻り、当該マーカーMが選択マーカーMでない場合は(S717のNO)、当該マーカーMの位置IDをEEPROM24に保存してから(S719)、前述のS705に戻る。
【0088】
次に、図27のフローチャートを参照して、本実施形態におけるサポート画像合成処理の具体的な手順について説明する。ここで、図27におけるS801〜S810の具体的な手順は前述したS401〜S410と同様であるので、これらのステップについての詳細な説明は省略する。図27におけるS811〜S815の具体的な手順は以下の通りである。
【0089】
先ず、携帯電話2は、S801で受信した入力サポート情報、入力サポート情報の位置座標P、及び選択マーカーMの位置ID、並びに質問内容受付部25bに表示中のユーザー質問内容を包含するサポート情報テーブルTを作成する(S811)。そして、携帯電話2は、サポートシステムA2全体の処理(図22参照)の開始後にサポート情報テーブルセットSを作成済みであるかどうかを判断する(S812)。
【0090】
そして、サポート情報テーブルセットSを作成済みである場合は(S812のYES)、そのサポート情報テーブルセットSの最後尾にS811で作成したサポート情報テーブルTを追加する(S813)。その後、携帯電話2は、S813でのサポート情報テーブルTの追加後のサポート情報テーブルセットSをEEPROM24に保存してから(S815)、サポート画像合成処理を終了する(リターン)。
【0091】
他方、サポート情報テーブルセットSを作成済みでない場合は(S812のNO)、新たにサポート情報テーブルセットSを作成し(S814)、そのサポート情報テーブルセットSにS811で作成したサポート情報テーブルTを追加する(S813)。その後、携帯電話2は、S813でのサポート情報テーブルTの追加後のサポート情報テーブルセットSをEEPROM24に保存してから(S815)、サポート画像合成処理を終了する(リターン)。
【0092】
以上のように、本実施形態に係るサポートシステムA2は、PC3側でカメラ画像表示部25aに表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標Pを算出し、携帯電話2側でカメラ画像表示部25aに表示中のカメラ画像に同一の三次元座標系を用いたカメラ画像を重ね合わせた合成画像を生成する。よって、本実施形態によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像が携帯電話2のカメラ画像表示部25aに表示されるので、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーは常に適切なサポート情報を入手することができる。
【0093】
このほか、本実施形態によると、オペレーターから受け付けた一連のサポート情報をサポート情報履歴Rとして携帯電話2側に保存しておき、その後のトラブル発生時に、サポート情報履歴Rに包含されているサポート情報をカメラ画像表示部25aに表示中のカメラ画像に重ね合わせた合成画像(履歴サポート画像)を生成することができる。よって、本実施形態によると、トラブル発生時のオペレーターの負担を軽減することができるとともに、携帯電話2とのPC3との間のデータ通信によるネットワークの負荷を軽減することができる。
【0094】
次に、本発明の第3実施形態について説明する。本実施形態に係るサポートシステムA3は前述した第1実施形態に係る遠隔サポートシステムA1と同様の構成を有している。そのため、以下では第1実施形態と相違する箇所についてのみ説明し、それ以外の箇所についての詳細な説明は省略する。また、本実施形態に係るサポートシステムA3の構成要素について言及する際には、前述した第1実施形態と同一の符号を用いる。
【0095】
図28は、本実施形態に係るPC3のHDD34に格納されたデータを示す概念図である。図28のように、HDD34には、MFP1を構成する部品のうちリコール対象となっているものの部品番号及び製造番号の組み合わせからなるリストを格納している。このようなリストのことを以下では「リコール対象リストL」と称する。
【0096】
次に、本実施形態に係るサポートシステムA3の動作の概要について説明する。図29は、MFP1のトラブル発生時に実行されるシステム全体の処理の手順を示すフローチャートである。本処理はMFP1のトラブル発生時に携帯電話2上の専用アプリケーションが起動されることにより開始される。そして、本処理の実行中、カメラ27の視野にMFP1のトラブル発生箇所が映るように携帯電話2がユーザーの手で移動させられる。
【0097】
図29のように、先ず、ディスプレイ25上のカメラ画像表示部25a及び質問内容受付部25bにそれぞれ表示中のカメラ画像及びユーザー質問内容をPC2にリアルタイム送信する処理(S901)が携帯電話2により実行される。本処理は前述のカメラ画像送信処理(S101)と同様であるので、これについての詳細な説明は省略する。
【0098】
続いて、ディスプレイ35上のカメラ画像表示部35aでオペレーターから受け付けた入力サポート情報及びその位置座標を携帯電話2に送信する処理(S902)がPC3により実行される。本処理のことを以下では単に「サポート情報送信処理」と称する。サポート情報送信処理の具体的な手順についてはさらに後述する。
【0099】
続いて、ディスプレイ25上のカメラ画像表示部25aに表示中のカメラ画像に入力サポート情報を重ね合わせた合成画像を、AR技術を用いて生成する処理(S903)が携帯電話2により実行される。本処理は前述のサポート画像合成処理(S103)と同様であるので、これについての詳細な説明は省略する。
【0100】
その後、MFP1のトラブルが解決済みであるかどうかが判断され(S904)、トラブルが解決済みである場合は(S904のYES)システム全体の処理が終了され(エンド)、トラブルが解決済みでない場合は(S904のNO)、前述のS901〜S903が再度実行される。S904における判断の方法は、前述したS104における判断の方法と同様である。
【0101】
次に、図30のフローチャートを参照して、本実施形態におけるサポート情報送信処理(S902)の具体的な手順について説明する。先ず、PC3は、携帯電話2からリアルタイム送信されているカメラ画像及びユーザー質問内容の受信を開始する(S1001)。そして、PC3は、ディスプレイ35上のカメラ画像表示部35a及び質問内容表示部35aにおけるカメラ画像及びユーザー質問内容のリアルタイム表示を開始する(S1002)。
【0102】
続いて、PC3は、カメラ画像表示部35aに表示中のカメラ画像内に含まれている全てのマーカーMから部品番号及び製造番号を読み取り(S1003)、それらの部品番号及び製造番号がHDD34内のリコール対象リストLに包含されているかどうかを判断する(S1004)。そして、S1003で読み取った部品番号及び製造番号がリコール対象リストLに包含されている場合は(S1004のYES)、表示中のカメラ画像内にリコール対象の部品が含まれていることをオペレーターに通知するメッセージをメッセージ表示部35dに表示する(S1005)。この際、リコール対象である部品のカメラ画像中の位置を指し示すオブジェクトをカメラ画像に重ね合わせて表示することが好ましい。このようなオブジェクトの合成には、上記非特許文献1に記載の方法が採用される。その後、PC3はS1006に進み、カメラ画像表示部35aにおいてオペレーターからサポート情報の入力を受け付ける。
【0103】
図31は、S1005で表示されたメッセージの一例を示す概略図である。図31の例において、メッセージ表示部35dには「赤枠部のパーツはリコール対象です。」というメッセージが表示されており、カメラ画像表示部35aにはリコール対象であるパーツの位置を指し示す矩形オブジェクト(図中の点線を参照)をカメラ画像に重ね合わせた合成画像が表示されている。
【0104】
他方、S1003で読み取った部品番号及び製造番号がリコール対象リストLに包含されていない場合は(S1004のNO)、そのままS1006に進み、カメラ画像表示部35aにおいてオペレーターからサポート情報の入力を受け付ける。なお、図31におけるS1006〜S1013の具体的な手順は前述したS303〜S310と同様であるので、これらのステップについての詳細な説明は省略する。
【0105】
以上のように、本実施形態に係るサポートシステムA3は、PC3側でカメラ画像表示部35aに表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標Pを算出し、携帯電話2側でカメラ画像表示部25aに表示中のカメラ画像に同一の三次元座標系を用いてサポート情報を重ね合わせた合成画像を生成する。よって、本実施形態によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像が携帯電話2のカメラ画像表示部25aに表示されるので、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーは常に適切なサポート情報を入手することができる。
【0106】
このほか、本実施形態によると、PC3側で表示中のカメラ画像中にリコール対象の部品が含まれている場合には、その旨をオペレーターに通知するメッセージをさらに表示することができる。よって、本実施形態によると、オペレーターはトラブル発生時により適切なサポート情報をユーザーに提供することができる。
【0107】
本発明は、上記実施形態のみに限定されるものではなく、特許請求の範囲において種々改変することができる。例えば、上記実施形態においては本発明に係る携帯端末として携帯電話2を採用したが、これは所謂PDA(Personal Digital Assistant)やノート型PC等であってもよい。また、本発明に係るマーカーの種類や形態等は上記実施形態において例示したものに限定されない。さらに、上記実施形態において携帯電話2のカメラ27による撮影画像は動画であると説明したが、本発明に係る携帯端末の撮影部による撮影画像は静止画であってもよい。
【0108】
なお、本発明に係るサポートシステムは、上記手順を実行するための専用のハードウェア回路によっても、上記手順を記述したプログラムをCPUが実行することによっても実現可能である。後者により本発明を実現する場合、サポートシステムを作動させるプログラムは、フロッピー(登録商標)ディスクやCD−ROM等のコンピュータ読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。ここで、コンピュータ読み取り可能な記録媒体に記録されたプログラムは、通常、記録装置に内蔵されたROMやHDD等に転送される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、サポートシステムの一機能としてソフトウェアに組み込まれてもよい。
【符号の説明】
【0109】
1 MFP、
2 携帯電話、
21 CPU、
22 RAM、
23 ROM、
24 EEPROM、
25 ディスプレイ、
25a カメラ画像表示部、
25b 質問内容受付部、
25c メッセージ表示部、
25d 「解決/未解決」ボタン、
25e 履歴表示部、
25f 「オペレーターコール」ボタン、
25g1 第1質問内容表示部、
25g2 第2質問内容表示部、
26 入力装置、
27 カメラ、
28 ネットワークインターフェース、
29 バス、
3 PC、
31 CPU、
32 RAM、
33 ROM、
34 HDD、
35 ディスプレイ、
35a カメラ画像表示部、
35b 質問内容表示部、
35c 入力方法選択ボタン、
35d メッセージ表示部、
36 入力装置、
37 ネットワークインターフェース、
38 バス、
A1、A2、A3 サポートシステム、
B 無線基地局、
L リコール情報リスト、
M マーカー、
N ネットワーク、
R サポート情報履歴、
S サポート情報テーブルセット、
T サポート情報テーブル、
T1 第1テーブル。
【技術分野】
【0001】
本発明は、MFP等の対象機器のトラブル発生時にユーザーの携帯端末にサポート情報を提供するためのサポートシステムに関する。
【背景技術】
【0002】
近年、MFP等の各種事務機器の高機能化・複合化が進んだ結果、これらの事務機器の操作方法は極めて複雑化している。そのため、ユーザーはトラブル発生時に操作マニュアルやオペレーションパネル上のサポート情報等を見ながら復旧作業を行う必要がある。
【0003】
これに関連して、以下の特許文献1には、サポート対象機器(「デジタル複合機」)の状態コード及び二次元マーカーの貼付箇所(「面コード」)の組み合わせに対応するサポート情報(「ヘルプ情報」)が記憶されたリモート端末(「ヘルプサーバー」)を有するサポートシステムが記載されている。同システムによると、トラブル発生時に対象機器から送信される状態コード及び携帯端末のカメラにより読み取られる面コードの組み合わせに対応するサポート情報がヘルプサーバーから取り出されて携帯端末に送信され、携帯端末において当該サポート情報がAR(Augumented Reality:拡張現実感)技術によりカメラ画像と重ね合わせて表示される。これにより、ユーザーはサポート情報を希望する箇所をカメラで撮影することにより対象機器の状態に応じたサポート情報を入手することができる。
【0004】
また、以下の非特許文献1には、AR技術の一例として、実世界オブジェクトに貼付された二次元マトリックスコードのカメラ画像への投影形状を解析することにより、カメラ画像内の実世界オブジェクトの位置を定める空間座標系を推定する手法が記載されている。
【0005】
しかしながら、特許文献1のサポートシステムを用いたとしても、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合は、それに対応するサポート情報が予め記憶されている可能性は低いので、ユーザーは必ずしも適切なサポート情報を入手することができないという問題点が指摘されている。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】特開2010−219879号公報
【非特許文献】
【0007】
【非特許文献1】2次元マトリックスコードを利用した拡張現実感の構成手法、暦本 純一、WISS96
【発明の概要】
【発明が解決しようとする課題】
【0008】
本発明は、上記従来技術に伴う課題を解決するためになされたものであり、本発明の目的は、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーが常に適切なサポート情報を入手することを可能にするサポートシステムを提供することである。
【課題を解決するための手段】
【0009】
本発明の上記目的は、下記の手段によって達成される。
【0010】
(1)対象機器のトラブル発生時に、撮影部を有する携帯端末にリモート端末からサポート情報を送信するためのサポートシステムであって、前記対象機器には、前記撮影部により撮影されたときの撮影画像から前記撮影部までの距離及び前記撮影部に対する傾きを検出可能であるマーカーが部品ごとに貼付されており、前記携帯端末は、前記撮影部による前記マーカーの撮影画像であるマーカー画像を表示する第1表示部と、前記第1表示部に表示されている前記マーカー画像から検出した前記距離及び前記傾きに基づき前記マーカーを基準とする座標系を生成する第1座標系生成部と、前記マーカー画像を前記リモート端末に送信する第1送信部と、を有し、前記リモート端末は、前記第1送信部から受信した前記マーカー画像を表示する第2表示部と、前記第2表示部に表示されている前記マーカー画像から検出した前記距離及び前記傾きに基づき前記第1座標系生成部と同一の前記座標系を生成する第2座標系生成部と、前記第2表示部に表示されている前記マーカー画像上で前記サポート情報及び前記サポート情報の位置情報を受け付けるサポート情報受付部と、前記位置情報から前記サポート情報の前記同一の座標系による位置座標を算出する座標算出部と、前記サポート情報及び前記位置座標を前記携帯端末に送信する第2送信部と、を有し、前記携帯端末は、前記第2送信部から受信した前記位置座標及び前記第1座標系生成部により生成した前記座標系を用いて、前記第2送信部から受信した前記サポート情報を前記第1表示部に表示されている前記マーカー画像に重ね合わせた合成画像を生成する画像合成部をさらに有することを特徴とするサポートシステム。
【0011】
(2)前記携帯端末は、前記トラブルに関する質問内容を受け付ける質問内容受付部をさらに有し、前記第1送信部は、前記質問内容受付部により受け付けた前記質問内容を前記リモート端末にさらに送信し、前記第2表示部は、前記第1送信部から受信した前記質問内容をさらに表示することを特徴とする上記(1)に記載のサポートシステム。
【0012】
(3)前記携帯端末は、前記質問内容受付部により受け付けた前記質問内容、並びに前記第2送信部から受信した前記サポート情報及び前記位置座標を互いに関連付けて保存する第1保存部をさらに有し、前記第1表示部は、前記第1保存部に保存された前記質問内容の一覧をさらに表示し、前記画像合成部は、前記第1表示部に表示された前記一覧から選択された前記質問内容と関連付けて保存された前記位置座標及び前記第1座標系生成部により生成した前記同一の座標系を用いて、前記一覧から選択された前記質問内容と関連付けて保存された前記サポート情報を前記第1表示部に表示されている前記マーカー画像に重ね合わせた合成画像を生成することを特徴とする上記(2)に記載のサポートシステム。
【0013】
(4)各々の前記マーカーは、それが貼付されている前記対象機器の部品の識別情報を保持しており、前記リモート端末は、前記対象機器の部品のうちリコール対象であるものの前記識別情報を格納する第2保存部と、前記第2表示部に表示されている前記マーカー画像内の前記マーカーから前記識別情報を読み取る読取部と、をさらに有し、前記第2表示部は、前記読取部により読み取った前記識別情報が前記第2保存部に格納されている場合に、当該識別情報により表される前記対象機器の部品がリコール対象である旨を通知するメッセージをさらに表示することを特徴とする上記(1)〜(3)のいずれか1つに記載のサポートシステム。
【0014】
(5)前記マーカーは、QRコードであることを特徴とする上記(1)〜(4)のいずれか1つに記載のサポートシステム。
【発明の効果】
【0015】
本発明に係るサポートシステムは、リモート端末側で表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標を算出し、携帯端末側で表示中のカメラ画像に同一の三次元座標系を用いてサポート情報を重ね合わせた合成画像を生成する。よって、本発明によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像が携帯端末に表示されるので、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーは常に適切なサポート情報を入手することができる。
【図面の簡単な説明】
【0016】
【図1】本発明の一実施形態に係るサポートシステムの構成を示すブロック図である。
【図2】本発明の一実施形態に係るサポート対象機器(MFP)の外観を示す側面図である。
【図3】本発明の一実施形態に係るマーカーを示す概略図である。
【図4】本発明の一実施形態に係る携帯端末(携帯電話)の構成を示すブロック図である。
【図5】本発明の一実施形態に係る携帯電話のROMに格納されたプログラムを示す概念図である。
【図6】本発明の一実施形態に係るリモート端末(PC)の構成を示すブロック図である。
【図7】本発明の一実施形態に係るリモート端末のROMに格納されたプログラムを示す概念図である。
【図8】本発明の一実施形態に係るサポートシステム全体の処理の手順を示すフローチャートである。
【図9】本発明の一実施形態に係る携帯電話のカメラ画像送信処理の手順を示すフローチャートである。
【図10】本発明の一実施形態に係る携帯電話により表示されたカメラ画像の一例を示す概略図である。
【図11】本発明の一実施形態に係る携帯電話により表示されたカメラ画像の一例を示す概略図である。
【図12】本発明の一実施形態に係る携帯電話により受け付けられたユーザー質問内容の一例を示す概略図である。
【図13】本発明の一実施形態に係るPCのサポート情報送信処理の手順を示すフローチャートである。
【図14】本発明の一実施形態に係るPCにより表示されたカメラ画像の一例を示す概略図である。
【図15】本発明の一実施形態に係るPCにより受け付けられた入力サポート情報の一例を示す概略図である。
【図16】本発明の一実施形態に係る携帯電話によるサポート画像合成処理の手順を示すフローチャートである。
【図17】本発明の一実施形態に係る携帯電話により表示されたサポート画像の一例を示す概略図である。
【図18】本発明の一実施形態に係る携帯電話により受け付けられたユーザー質問内容の他の例を示す概略図である。
【図19】本発明の一実施形態に係る携帯電話により表示されたサポート画像の他の例を示す概略図である。
【図20】本発明の他の実施形態に係る携帯電話のEEPROMに格納されたデータを示す概念図である。
【図21】本発明の他の実施形態に係る携帯電話のROMに格納されたプログラムを示す概念図である。
【図22】本発明の他の実施形態に係るサポートシステム全体の処理の手順を示すフローチャートである。
【図23】本発明の他の実施形態に係るサポート情報検索処理の手順を示すフローチャートである。
【図24A】本発明の他の実施形態に係る履歴サポート画像合成処理の手順を示すフローチャートである。
【図24B】本発明の他の実施形態に係る履歴サポート画像合成処理の手順を示すフローチャートである。
【図25】本発明の他の実施形態に係る携帯電話により表示されたユーザー質問内容のリストの一例を示す概略図である。
【図26】本発明の他の実施形態に係る携帯電話により表示された履歴サポート画像の一例を示す概略図である。
【図27】本発明の他の実施形態に係るサポート画像合成処理の手順を示すフローチャートである。
【図28】本発明のさらに他の実施形態に係るPCのHDDに格納されたデータを示す概念図である。
【図29】本発明のさらに他の実施形態に係るサポートシステム全体の処理の手順を示すフローチャートである。
【図30】本発明のさらに他の実施形態に係るサポート情報送信処理の手順を示すフローチャートである。
【図31】本発明のさらに他の実施形態に係るPCにより表示されたメッセージの一例を示す概略図である。
【発明を実施するための形態】
【0017】
以下、本発明の実施の形態を、図面を参照しつつ説明する。
【0018】
先ず、本発明の第1実施形態について説明する。図1は、本実施形態に係るサポートシステムA1の全体構成を示すブロック図である。このサポートシステムA1は、サポート対象機器のトラブル発生時に、ユーザーが携帯端末を用いてトラブル解決のためのサポート情報を入手することを可能にするものである。このサポート情報は、リモート端末上でオペレーターにより入力され、ユーザーの携帯端末に送信される。
【0019】
図1のように、本実施形態に係るサポートシステムA1は、サポート対象機器であるMFP1、ユーザーにより操作される携帯端末である携帯電話2、及びオペレーターにより操作されるリモート端末であるPC3を含んでいる。ここで、携帯電話2は無線通信により無線基地局Bと双方向通信可能に接続されており、無線基地局BとPC3とはネットワークNを介して双方向通信可能に接続されている。これにより携帯電話2とPC3との間の双方向通信が実現される。図1の例によるネットワークNはインターネットであるが、これは双方向にデータ通信可能なネットワークであれば特に限定されず、LAN(Local Area Network)やWAN(Wide Area Network)等であってもよい。
【0020】
図2は、MFP1の外観を示す側面図である。MFP1は一般的なMFPであるので、その構成についての詳細な説明は省略する。図2のように、MFP1には部品ごとに少なくとも1つのマーカーMが貼付されている。図2は、MFP1の外表面上に貼付されたマーカーMのみを示しているが、マーカーMは必要に応じてMFP1の内部にも貼付される(図12参照)。なお、マーカーMの位置や個数等は図2中の例に限定されず、後述するサポート画像の合成・表示を高精度に行うためには、複雑な構造を有する部品やトラブル発生頻度が高い部品等に高密度に配置されることが好ましい。
【0021】
本実施形態に係るマーカーMは、デジタルカメラ等の撮影手段により撮影されたときの撮影画像から当該撮影手段までの距離や当該撮影手段に対する傾き等を検出可能な図形が組み込まれた2次元コードである。さらに、個々のマーカーMは、それが貼付されている位置を示す位置IDや、それが貼付されている部品の部品番号及び製造番号等を保持することができる。このようなマーカーMの一例としてQR(Quick Response)コードを採用することができる。本実施形態に係るマーカーMは、MFP1への貼付が容易なシール状の形態を有しており、裏面に糊が塗布された紙やプラスチックフィルム等への印刷により生成される。図3は、本実施形態に係るマーカーMの一例を示す概略図である。
【0022】
図4は、本実施形態に係る携帯電話2の構成を示すブロック図である。図4のように、携帯電話2は、CPU21、RAM22、ROM23、EEPROM24、ディスプレイ25、入力装置26、カメラ27、及び通信インターフェース28を備えており、これらは信号をやり取りするためのバス29を介して接続されている。これらの構成要素について以下に順に説明する。
【0023】
CPU21はプログラムに従って上記各部の動作を制御するとともに種々の演算処理を実行する。RAM22はCPU21の作業領域として一時的にデータを記憶する。ROM23は携帯電話2の基本動作を制御するための各種プログラムやパラメーター等を格納する。ROM23に格納されたプログラムについてはさらに後述する。EEPROM24はOS(オペレーティングシステム)を含む各種プログラムやパラメーター等を格納する。
【0024】
ディスプレイ25は液晶ディスプレイや有機ELディスプレイ等の表示装置である。入力装置26はタッチパネル等のポインティングデバイス及びキーボード等の固定キーを備えている。カメラ27はCCDイメージセンサーやCMOSイメージセンサー等の撮像素子を備えたデジタルカメラである。カメラ27の撮影画像はディスプレイ25にリアルタイム表示される。また、カメラ27の撮影画像はユーザーの指示に応じてEEPROM24にデジタルデータとして保存される。通信インターフェース28は所定の周波数帯の電波を用いて基地局4と双方向通信を行うためのインターフェースである。
【0025】
図5は、本実施形態に係るROM23に格納されたプログラムを示す概念図である。図5のように、ROM23には、カメラ画像表示プログラムP1、質問内容編集プログラムP2、送信データ生成プログラムP3、マーカー情報読取プログラムP4、座標生成プログラムP5、及びサポート画像合成プログラムP6が格納されている。これらのプログラムについて以下に順に説明する。
【0026】
カメラ画像表示プログラムP1は、カメラ27の撮影画像をディスプレイ25上のカメラ画像表示部25aにリアルタイム表示する機能を有する。以下ではカメラ27の撮影画像のことを単に「カメラ画像」と称する。本実施形態におけるカメラ画像とはカメラ27の撮像素子から順次出力される動画のことを指す。図10は、カメラ画像表示部25aに表示中のカメラ画像の一例を示す概略図である。
【0027】
質問内容編集プログラムP2は、ディスプレイ25上の質問内容受付部25bにおいてユーザーから質問内容を受け付ける機能を有する。ここでいう質問内容とは、MFP1のトラブルを解決しようとするユーザーからオペレーターへの質問内容のことを指す。図12は、質問内容編集プログラムP2により受け付けた質問内容の一例を示す概略図である。図12の例による質問内容は「紙詰まりがマニュアル通りの方法では直りません。対処方法を教えてください。」という文字列であり、これはタッチパネルやキーボード等により入力される。以下では質問内容入力部25bに入力された質問内容のことを「ユーザー質問内容」と称する。
【0028】
送信データ生成プログラムP3は、PC3にカメラ画像及びユーザー質問内容をリアルタイム送信する機能を有する。マーカー情報読取プログラムP4は、カメラ画像表示部25aに表示中のカメラ画像に含まれるマーカーMから位置ID等の各種情報を読み取る機能を有する。座標生成プログラムP5は、カメラ画像表示部25aに表示中のカメラ画像に含まれるマーカーMを基準とする三次元座標系を生成する機能を有する。サポート画像合成プログラムP6は、カメラ画像表示部25aに表示中のカメラ画像に後述するサポート情報を重ね合わせた合成画像を生成する機能を有る。
【0029】
続いて、図6は、本実施形態に係るPC3の構成を示すブロック図である。図6のように、PC3は、CPU31、RAM32、ROM33、HDD34、ディスプレイ35、入力装置36、及び通信インターフェース37を備えており、これらは信号をやり取りするためのバス38を介して接続されている。これらの構成要素について以下に順に説明する。
【0030】
CPU31はプログラムに従って上記各部の動作を制御するとともに種々の演算処理を実行する。RAM32はCPU31の作業領域として一時的にデータを記憶する。ROM33はPC3の基本動作を制御するための各種プログラムやパラメーター等を格納する。ROM33に格納されたプログラムについてはさらに後述する。HDD34はOS(オペレーティングシステム)を含む各種プログラムやパラメーター等を格納する。
【0031】
ディスプレイ35はCRTディスプレイや液晶ディスプレイ等の表示装置である。入力装置36はマウス等のポインティングデバイス及びキーボード等の固定キーを備えている。通信インターフェース37はネットワークNに接続された外部機器と双方向通信を行うためのインターフェースである。
【0032】
図7は、本実施形態に係るROM33に格納されたプログラムを示す概念図である。図7のように、ROM33には、カメラ画像表示プログラムQ1、サポート情報編集プログラムQ2、マーカー情報読取プログラムQ3、座標生成プログラムQ4、及び送信データ生成プログラムQ5が格納されている。これらのプログラムについて以下に順に説明する。
【0033】
カメラ画像表示プログラムQ1は、携帯電話2から受信したカメラ画像及びユーザー質問内容をディスプレイ35上のカメラ画像表示部35aにリアルタイム表示する機能を有する。図14は、カメラ画像表示部35aに表示中のカメラ画像及びユーザー質問内容の一例を示す概略図である。図14中のカメラ画像及びユーザー質問内容は、図12中のカメラ画像及びユーザー質問内容に対応している。
【0034】
サポート情報編集プログラムQ2は、カメラ画像表示部35aにおいてオペレーターからサポート情報を受け付ける機能を有する。ここでいうサポート情報とは、トラブル解決のためにオペレーターからユーザーに提供されるMFP1の操作指示のことを指す。図15は、サポート情報編集プログラムQ2により受け付けたサポート情報の一例を示す概略図である。図15の例によるサポート情報は「この方向から撮影してください。」という文字列及び直線(矢印)の組み合わせからなるオブジェクトであり、マウスを操作するオペレーターによりカメラ画像表示部35aに表示中のカメラ画像上の所望の位置に入力される。
【0035】
より具体的に、オペレーターは、カメラ画像表示部35aの近傍に配置された入力方法選択ボタン35cのいずれかを選択した状態でマウス等を操作することにより、カメラ画像上の所望の位置にサポート情報を入力する。例えば、オペレーターは手書き入力ボタンを選択した後にマウスを左クリックした状態でカーソルを移動させることにより所望の位置に文字や図形等を描画することができる。
【0036】
同様に、オペレーターは、直線描画ボタンを選択した後にマウスを左クリックした状態でカーソルを移動させることにより所望の位置に直線を描画することができるほか、文字列入力ボタンを選択した後にマウスを左クリックすることにより所望の位置に文字列を入力することができる。以下ではオペレーターによりカメラ画像表示部35aに入力されたサポート情報のことを「入力サポート情報」と称することがある。
【0037】
マーカー情報読取プログラムQ3は、カメラ画像表示部35aに表示中のカメラ画像に含まれるマーカーMから位置ID等の各種情報を読み取る機能を有する。座標生成プログラムQ4は、カメラ画像表示部35aに表示中のカメラ画像に含まれるマーカーMを基準とする三次元座標系を生成し、その三次元座標系による入力サポート情報の位置座標を算出する機能を有する。送信データ生成プログラムQ5は、サポート情報編集プログラムQ2により受け付けた入力サポート情報、座標生成プログラムQ4により算出した入力サポート情報の位置座標、及びマーカー情報読取プログラムQ3により読み取ったマーカーMの位置IDを携帯電話2に送信する機能を有する。
【0038】
次に、本実施形態に係るサポートシステムA1の動作の概要について説明する。図8は、MFP1のトラブル発生時に実行されるシステム全体の処理の手順を示すフローチャートである。本処理はMFP1のトラブル発生時に携帯電話2上の専用アプリケーションが起動されることにより開始される。本処理の実行中、カメラ27の視野にMFP1のトラブル発生箇所が映るように携帯電話2がユーザーの手で移動させられる。
【0039】
図8のように、先ず、ディスプレイ25のカメラ画像表示部25a及び質問内容受付部25bにそれぞれ表示中のカメラ画像及びユーザー質問内容をPC2にリアルタイム送信する処理(S101)が携帯電話2により実行される。本処理のことを以下では「カメラ画像送信処理」と称する。カメラ画像送信処理の具体的な手順についてはさらに後述する。
【0040】
続いて、ディスプレイ35のカメラ画像表示部35aでオペレーターから受け付けた入力サポート情報及びその位置座標を携帯電話2に送信する処理(S102)がPC3により実行される。本処理のことを以下では「サポート情報送信処理」と称する。サポート情報送信処理の具体的な手順についてはさらに後述する。
【0041】
続いて、ディスプレイ25のカメラ画像表示部25aに表示中のカメラ画像に入力サポート情報を重ね合わせた合成画像を、AR技術を用いて生成する処理(S103)が携帯電話2により実行される。本処理のことを以下では「サポート画像合成処理」と称する。サポート画像表示処理の具体的な手順についてはさらに後述する。
【0042】
その後、MFP1のトラブルが解決済みであるかどうかが判断され(S104)、トラブルが解決済みである場合は(S104のYES)システム全体の処理が終了され(エンド)、トラブルが解決済みでない場合は(S104のNO)、前述のS101〜S103が再度実行される。S104での1判断の方法についてはさらに後述する。
【0043】
続いて、図9のフローチャートを参照して、本実施形態におけるカメラ画像送信処理(S101)の具体的な手順について説明する。先ず、携帯電話2は、カメラ27を起動し(S201)、カメラ画像表示部25aにおけるカメラ画像のリアルタイム表示を開始する(S202)。続いて、携帯電話2は、表示中のカメラ画像内にマーカーMが含まれているかどうかを判断する(S203)。
【0044】
ここで、カメラ画像内に、マーカーMが含まれている場合は(S203のYES)、現在のカメラ位置を保持するようユーザーに指示するメッセージをメッセージ表示部25cに表示する(S204)。図10は、S204で表示されたメッセージの一例を示す概略図である。図10の例において、メッセージ表示部25cには「マーカー認識中。現在位置で撮影を続けてください。」というメッセージが表示されている。
【0045】
他方、カメラ画像内にマーカーMが含まれていない場合は(S203のNO)、カメラ画像内にマーカーMが含まれるようにカメラ位置を調整するようユーザーに指示するメッセージをメッセージ表示部25cに表示してから(S205)、前述のS202に戻る。図11は、S205で表示されたメッセージの一例を示す概略図である。図11の例において、メッセージ表示部25cには「マーカー認識不可。マーカーが映るように撮影してください。」というメッセージが表示されている。
【0046】
続いて、携帯電話2は、質問内容受付部25cにおいてユーザーから質問内容の入力を受け付ける(S206)。図12は、S206で受け付けたユーザー質問内容の一例を示す概略図である。図12の例によるユーザー質問内容は「紙詰まりがマニュアル通りの方法では直りません。対処方法を教えてください。」という文字列である。そして、携帯電話2は、PC3へのカメラ画像及びユーザー質問内容のリアルタイム送信を開始する(S207)。その後、携帯電話2は、カメラ画像送信処理(S101)を終了する(リターン)。
【0047】
次に、図13のフローチャートを参照して、本実施形態におけるサポート情報送信処理(S102)の具体的な手順について説明する。先ず、PC3は、携帯電話2からリアルタイム送信されているカメラ画像及びユーザー質問内容の受信を開始する(S301)。そして、PC3は、ディスプレイ35上のカメラ画像表示部35a及び質問内容表示部35bにおけるカメラ画像及びユーザー質問内容のリアルタイム表示を開始する(S302)。図14は、カメラ画像表示部35a及び質問内容表示部35bにそれぞれ表示中のカメラ画像及びユーザー質問内容の一例を示す概略図である。図14中のカメラ画像及びユーザー質問内容は図12中のカメラ画像及びユーザー質問内容に対応するものである。図12、14のように、両ディスプレイ25、35には同一のカメラ画像及びユーザー質問内容が表示される。
【0048】
続いて、PC3は、カメラ画像表示部35aにおいてオペレーターからサポート情報の入力を受け付ける(S303)。図15は、S303で受け付けた入力サポート情報の一例を示す概略図である。図15の例による入力サポート情報は「この方向から撮影してください」という文字列とカメラ画像上の所定の箇所を指し示す矢印との組み合わせからなるオブジェクトである。
【0049】
続いて、PC3は、カメラ画像表35aに表示中のカメラ画像内に複数のマーカーMが含まれているかどうかを判断する(S304)。そして、複数のマーカーMが含まれている場合は(S304のYES)、S303で受け付けた入力サポート情報に最も近い位置のマーカーMを選択する(S305)。他方、複数のマーカーMが含まれていない場合(S304のNO)、すなわち、単一のマーカーMのみが含まれている場合は、その単一のマーカーMを選択する(S306)。
【0050】
続いて、PC3は、S305又はS306で選択したマーカーMから位置IDを読み取り、それをHDD34に一時的に保存する(S307)。そして、PC3は、S305又はS306で選択したマーカーMからカメラ27までの距離及びカメラ27に対する傾きを検出し、それらの検出結果に基づき当該マーカーMを基準とする仮想的な三次元座標系を生成する(S308)。このように三次元座標系の基準とされるマーカーMのことを以下では「選択マーカー」と称する。
【0051】
続いて、PC3は、カメラ画像表示部35aにおいて受け付けた入力サポート情報の上記三次元座標系による位置座標を算出する(S309)。なお、選択マーカーMから検出した情報に基づく三次元座標系の生成(S308)及びその三次元座標系による入力サポート情報の位置座標の算出(S309)には上記非特許文献1に記載の方法が採用される。S309で算出された入力サポート情報の位置座標のことを以下では「位置座標P」と称する。
【0052】
続いて、PC3は、S303で受け付けた入力サポート情報、S309で算出した入力サポート情報の位置座標P、及びS307で保存した選択マーカーMの位置IDを携帯電話2に送信する(S310)。その後、PC3は入力サポート情報送信処理(S102)を終了する(リターン)。
【0053】
次に、図16のフローチャートを参照して、本実施形態におけるサポート画像合成処理(S103)の具体的な手順について説明する。先ず、携帯電話2は、PC3から送信された入力サポート情報、入力サポート情報の位置座標P、及び選択マーカーMの位置IDを受信する(S401)。そして、携帯電話2は、カメラ画像表示部25aに表示中のカメラ画像内に含まれるマーカーMから、S401で受信した位置IDと同一の位置IDを有するマーカーMを選択する(S402)。S402で選択されたマーカーMは、上記のS305又はS306で選択されたマーカーMと同様に三次元座標系の基準となる「選択マーカーM」として扱われる。
【0054】
そして、携帯電話2は、カメラ画像表示部25aに表示中のカメラ画像内の選択マーカーMからカメラ27までの距離及びカメラ27に対する傾きを検出し、それらの検出結果に基づき選択マーカーMを基準とする仮想的な三次元座標系を生成する(S403)。S403で生成された三次元座標系は上記のS308で生成された三次元座標系と同一のものである。
【0055】
続いて、携帯電話2は、カメラ画像表示部25aに表示中のカメラ画像に入力サポート情報を重ね合わせた合成画像のリアルタイム表示を開始する(S404)。このような合成画像のことを以下では「サポート画像」と称する。本実施形態におけるサポート画像は、S401で受信した位置座標P及びS403で生成した三次元座標系を用いて、S401で受信した入力サポート情報をカメラ画像表示部25aに表示中のカメラ画像に重ね合わせることにより合成される。なお、選択マーカーMから検出した情報に基づく三次元座標系の生成(S403)及びその三次元座標系を用いたサポート画像の合成には上記非特許文献1に記載の方法が採用される。S309で算出された入力サポート情報の位置座標のことを以下では「位置座標P」と称する。
【0056】
図17は、カメラ画像表示部25aに表示中のサポート画像の一例を示す概略図である。図17中のサポート画像は図15中の入力サポート情報に対応している。なお、図17のようにMFP1に対するカメラ27の位置が変更されたとしても、サポート画像内のMFP1に対する入力サポート情報の位置は保持されている。これは位置座標Pの算出(S309)及びサポート画像の合成(S404)において同一の三次元座標系が用いられているからである。
【0057】
続いて、携帯電話2は、MFP1のトラブルが解決済みであるかどうかに関するユーザーの回答を受け付けるための「解決/未解決」ボタン25dをディスプレイ25上に表示する(S405)。図17は、S405で表示された「解決/未解決」ボタン25dの一例を示す概略図である。図17の例において、ユーザーはタッチパネルやキーボード等を操作することにより「解決/未解決」ボタン25dの「はい」又は「いいえ」を選択することができる。より具体的に、ユーザーはトラブルが解決済みである場合は「はい」を選択し、解決済みでない場合は「いいえ」を選択する。
【0058】
続いて、携帯電話2は、ユーザーにより「解決/未解決」ボタン25dが押下されたかどうかを判断する。そして、「解決/未解決」ボタン25dが押下された場合は(S406のYES)、ユーザーの回答内容(「はい」又は「いいえ」)をEEPROM24に保存する(S407)。その後、携帯電話2は、カメラ画像表示部25aにおけるサポート画像のリアルタイム表示を中断してから(S408)、サポート画像合成処理を終了する(リターン)。このようにS408でサポート画像のリアルタイム表示が中断されることにより、カメラ画像表示部25aにおけるカメラ画像のリアルタイム表示が再開される。
【0059】
他方、「解決/未解決」ボタン25dが押下されていない場合は(S406のNO)、カメラ画像表示部25aに表示中のカメラ画像内に選択マーカーが含まれているかどうかをさらに判断する(S409)。そして、カメラ画像内に選択マーカーMが含まれている場合は(S409のYES)、上記S406に戻る。また、カメラ画像内に選択マーカーMが含まれていない場合は(S409のNO)、カメラ画像表示部25aにおけるサポート画像のリアルタイム表示を中断してから(S410)、上記S406に戻る。このようにS410でサポート画像のリアルタイム表示が中断されることにより、カメラ画像表示部25aにおけるカメラ画像のリアルタイム表示が再開される。そのため、一旦S410が実行されたら、それ以降のS406及びS408はスキップされる。
【0060】
再び図8を参照すると、S104では、S407においてEEPROM24に保存されたユーザーの回答内容(「はい」又は「いいえ」)に基づきMFP1のトラブルが解決済みであるかどうかが判断される。そして、ユーザーにより「はい」が選択されていた場合は(S104のYES)、サポートシステムA1全体の処理が終了される(エンド)。他方、ユーザーにより「いいえ」が選択されていた場合は(S104のNO)、ユーザーにより「はい」が選択されるまでS101〜S103の処理が繰り返し実行される。
【0061】
図18は、図17中のサポート画像を見たユーザーがそれに含まれる入力サポート情報に従ってカメラ27の撮影方向を変更したときのカメラ画像を示す概略図である。図18の例において、質問内容受付部25bには「指示された方向を撮影しています。対象方法を教えてください。」というユーザー質問内容がさらに入力されている。
【0062】
そして、図19は、図18中のカメラ画像及びユーザー質問内容に対する入力サポート情報に基づき合成されたサポート画像を示す概略図である。図19の例による入力サポート情報は「小さな紙片が残っています。取り除いてください。」という文字列と紙片の位置を指し示す円との組み合わせからなるオブジェクトである。このようにユーザーはMFP1のトラブル発生箇所をカメラ27で撮影しながら質問内容入力部25bへの質問内容の入力を繰り返すことによりトラブル解決のための有効なサポート情報を入手することができる。
【0063】
以上のように、本実施形態に係るサポートシステムA1は、PC3側でカメラ画像表示部35aに表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標Pを算出し、携帯電話2側でカメラ画像表示部25aに表示中のカメラ画像に同一の三次元座標系を用いてサポート情報を重ね合わせた合成画像を生成する。よって、本実施形態によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像が携帯電話2のカメラ画像表示部25aに表示されるので、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーは常に適切なサポート情報を入手することができる。
【0064】
次に、本発明の第2実施形態について説明する。本実施形態に係るサポートシステムA2は前述した第1実施形態に係る遠隔サポートシステムA1と同様の構成を有している。そのため、以下では第1実施形態と相違する箇所についてのみ説明し、それ以外の箇所についての詳細な説明は省略する。また、本実施形態に係るサポートシステムA2の構成要素について言及する際には、前述した第1実施形態と同一の符号を用いる。
【0065】
図20は、本実施形態に係る携帯電話2のEEPROM24に格納されたデータを示す概念図である。図20のように、EEPROM23には、後述するサポート情報テーブルセットSの集合であるサポート情報履歴Rが格納されている。ここで、サポート情報テーブルセットSとは、リスト構造を有するサポート情報テーブルTの組み合わせのことを指しており、サポート情報テーブルTとは、個々のユーザー質問内容に対してオペレーターにより入力されたサポート情報、そのサポート情報の三次元座標系による位置座標P、及びその三次元座標系の生成に用いられた選択マーカーMの位置IDを包含するテーブルのことを指している。
【0066】
図20のように、個々のサポート情報テーブルセットSは、MFP1のトラブル発生から解決までの間にオペレーターにより入力された一連のサポート情報に対応するサポート情報テーブルTを組み合わせたものである。また、個々のサポート情報テーブルセットSには、最初にオペレーターにより入力されたサポート情報に対応するサポート情報テーブルTが先頭になるように各々のサポート情報テーブルTが入力順に配置されている。以下ではサポート情報テーブルセットSの先頭に配置されたサポート情報テーブルTのことを「第1テーブルT1」と称することがある。
【0067】
図21は、本実施形態に係る携帯電話2のROM23に格納されたプログラムを示す概念図である。図21のように、ROM23には、前述したカメラ画像表示プログラムP1、質問内容編集プログラムP2、送信データ生成プログラムP3、マーカー情報読取プログラムP4、座標生成プログラムP5、及びサポート画像合成プログラムP6に加えて、サポート情報テーブルセット保存プログラムP7、及びサポート情報テーブルセット検索プログラムP7が格納されている。これらについて以下に順に説明する。
【0068】
サポート情報テーブルセット保存プログラムP7は、MFP1のトラブル発生から解決までの間に入力された各々のサポート情報に対応するサポート情報テーブルTを作成し、それらをサポート情報テーブルセットSとしてEEPROM24に保存する機能を有する。前述のように、EEPROM24に保存されたサポート情報テーブルセットSの集合のことをサポート情報履歴Rと称する。サポート情報テーブルセット検索プログラムP8は、表示中のカメラ画像内に含まれるマーカーMから読み取った位置IDを包含するサポート情報テーブルセットSをサポート情報履歴Rから検索する機能を有する
次に、本実施形態に係るサポートシステムA2の動作の概要について説明する。図22は、MFP1のトラブル発生時に実行されるシステム全体の処理の手順を示すフローチャートである。本処理はMFP1のトラブル発生時に携帯電話2上の専用アプリケーションが起動されることにより開始される。本処理の実行中、カメラ27の視野にMFP1のトラブル発生箇所が映るように携帯電話2がユーザーの手で移動させられる。
【0069】
図22のように、先ず、ディスプレイ25上のカメラ画像表示部25aに表示中のカメラ画像内に含まれるマーカーMから位置IDを読み取り、その位置IDを包含するサポート情報テーブルセットSをサポート情報履歴Rから検索する処理(S501)が携帯電話2により実行される。本処理のことを以下では「サポート情報検索処理」と称する。
【0070】
続いて、サポート情報検索処理による検索結果が判断される(S502)。そして、マーカーMから読み取った位置IDを包含するサポート情報テーブルセットSが存在しない場合は(S502のNO)、携帯電話2によるカメラ画像送信処理(S504)が実行される。他方、マーカーMから読み取った位置IDを包含するサポート情報テーブルセットSが存在する場合は(S502のYES)、そのサポート情報テーブルセットSに包含されているサポート情報をカメラ画像表示部25aに表示中のカメラ画像に重ね合わせた合成画像を、AR技術を用いて生成する処理(S503)が携帯電話2により実行され、その後にMFP1のトラブルが解決済みであるかどうかが判断される(S507)。本処理のことを以下では「履歴サポート画像合成処理」と称する。
【0071】
次に、本実施形態にサポート情報検索処理(S501)及び履歴サポート画像合成処理(S503)の具体的な手順について説明する。なお、S504〜S507の具体的な手順は前述したS101〜S104と同様であるので、これらのステップについての詳細な説明は省略する。
【0072】
図23は、本実施形態におけるサポート情報検索処理(S501)の具体的な手順を示すフローチャートである。図23のように、先ず、携帯電話2は、カメラ27を起動し(S601)、カメラ画像表示S1におけるカメラ画像のリアルタイム表示を開始する(S602)。続いて、携帯電話2は、表示中のカメラ画像内にマーカーMが含まれているかどうかを判断する(S603)。
【0073】
ここで、カメラ画像内に、マーカーMが含まれている場合は(S603のYES)、現在のカメラ位置を保持するようユーザーに指示するメッセージをメッセージ表示部25cに表示する(S605)。S605で表示されるメッセージは、上記のS204で表示されるメッセージと同様である(図10参照)。他方、カメラ画像内にマーカーMが含まれていない場合は(S603のNO)、カメラ画像内にマーカーMが含まれるようにカメラ位置を調整するようユーザーに指示するメッセージをメッセージ表示部25cに表示してから(S605)、前述のS602に戻る。S604で表示されるメッセージは、上記のS205で表示されるメッセージと同様である(図11参照)。
【0074】
続いて、携帯電話2はカメラ画像内に含まれているマーカーMから位置IDを読み取り(S606)、その位置IDを包含するサポート情報テーブルセットSをEEPROM24内のサポート情報履歴Rから検索する(S607)。そして、該当するサポート情報テーブルセットSが存在する場合は(S608のYES)、「履歴あり」という検索結果をEEPROM24に保存する(S609)。その後、携帯電話2は、該当する全てのサポート情報テーブルセットSをRAM22に読み込んでから(S611)、サポート情報テーブルセットS検索処理を終了する(リターン)。
【0075】
他方、該当するサポート情報テーブルセットSがサポート情報履歴R中に存在しない場合は(S608のNO)、「履歴なし」という検索結果をEEPROM24に保存してから(S610)、サポート情報テーブルセット検索処理を終了する(リターン)。なお、S609又はS610でEEPROM24に保存された検索結果は上記のS502での判断に用いられる。
【0076】
図24A及び図24Bは、本実施形態における履歴サポート画像合成処理(S503)の具体的な手順を示すフローチャートである。先ず、携帯電話2は、上記のS611でRAM22に読み込んだ各々のサポート情報テーブルセットSの第1テーブルT1に包含されているユーザー質問内容のリストを作成し、それを履歴表示部25eにユーザー選択可能な形態で表示する(S701)。図25は、S701で履歴表示部25eに表示されたユーザー質問内容のリストの一例を示す概略図である。図25の例において、履歴表示部25eはカメラ画像表示部25aの下方に配置されており、ユーザーはタッチパネルやキーボード等を操作することによりリスト中のいずれかのユーザー質問内容を選択することができる。
【0077】
続いて、携帯電話2は、オペレーターからサポート情報を取得すべきとのユーザー指示を受け付けるための「オペレーターコール」ボタン25fをディスプレイ25上に表示する(S702)。図25は、S702で表示された「オペレーターコール」ボタン25fの一例を示す概略図である。図25の例において、「オペレーターコール」ボタン25fは履歴表示部25eの下方に配置されており、ユーザーはタッチパネルやキーボード等を操作することにより「オペレーターコール」ボタン25fを押下することができる。
【0078】
続いて、携帯電話2は、ユーザーにより「オペレーターコール」ボタン25fが押下されたかどうかを判断する(S703)。そして、「オペレーターコール」ボタン25fが押下されている場合は(S703のYES)、そのまま履歴サポート画像合成処理を終了する(リターン)。他方、「オペレーターコール」ボタン25fが押下されていない場合は(S704のNO)、履歴表示部25eにおいてユーザー質問内容の選択を受け付けたかどうかをさらに判断する(S704)。
【0079】
ここで、ユーザー質問内容の選択を受け付けていない場合は(S704のNO)、上記のS704に戻る。他方、ユーザー質問内容の選択を受け付けている場合は(S704のYES)、上記のS606で保存したマーカーMの位置IDをRAM22に読み込む(S705)。ただし、S705に先立ち、後述するS718が実行済みである場合は最後に実行されたS718で保存した位置IDをRAM22に読み込む。
【0080】
続いて、携帯電話2は、ユーザーにより選択されたユーザー質問内容に対応するサポート情報テーブルセットSから、S705で読み込んだ位置IDを包含しているサポート情報テーブルTを選択する(S706)。S705で読み込まれた位置IDを有するマーカーMは、上記のS305又はS306で選択されたマーカーMと同様に三次元座標系の基準となる「選択マーカーM」として扱われる。そして、携帯電話2は、カメラ画像表示部25aに表示中のカメラ画像内の選択マーカーMからカメラ27までの距離及びカメラ27に対する傾きを検出し、それらの検出結果に基づき選択マーカーMを基準とする仮想的な三次元座標系を生成する(S707)。
【0081】
続いて、携帯電話2は、カメラ画像表示部25aに表示中のカメラ画像に、S706で選択したサポート情報テーブルT内のサポート情報を重ね合わせた合成画像のリアルタイム表示を開始する(S708)。このような合成画像のことを以下では「履歴サポート画像」と称する。このような履歴サポート画像は、S706で選択したサポート情報テーブルT内の位置座標P及びS707で生成した三次元座標系を用いて、S706で選択したサポート情報テーブルT内のサポート情報をカメラ画像表示部25aに表示中のカメラ画像に重ね合わせることにより合成される。
【0082】
図26は、カメラ画像表示部25aに表示中の履歴サポート画像の一例を示す概略図である。図26の例による履歴サポート画像は、カメラ画像表示部25aに表示中のカメラ画像に「小さな紙片が残っています。取り除いてください。」という文字列と紙片の位置を指し示す円との組み合わせからなるサポート情報を重ね合わせることにより生成されている。なお、選択マーカーMから検出した情報に基づく三次元座標系の生成(S707)及びその三次元座標系を用いた履歴サポート画像の合成には上記非特許文献1に記載の方法が採用される。
【0083】
続いて、携帯電話2は、上記のS611で読み込んだサポート情報テーブルセットSの第1テーブルに包含されているユーザー質問内容を第1質問内容表示部25g1に表示するとともに(S709)、S706で選択したサポート情報テーブルTに包含されているユーザー質問内容を第2質問内容表示部25g2に表示する(S701)。図26は、S709及びS710において第1質問内容表示部25g1及び第2質問内容表示部25g2にそれぞれ表示されたユーザー質問内容の一例を示す概略図である。図26の例において、第1質問内容表示部25g1はカメラ画像表示部25aの下方に配置されており、第2質問内容表示部25g2はカメラ画像表示部25aと第1質問内容表示部25g1との間に配置されている。そして、第1質問内容表示部25g1には「紙詰まりがマニュアル通りの方法では直りません。対処方法を教えてください。」という文字列からなるユーザー質問内容が表示されており、第2質問内容表示部25g2には「指示された方向を撮影しています。対処方法を教えてください。」という文字列からなるユーザー質問内容が表示されている。
【0084】
続いて、携帯電話2は、トラブルが解決済みであるかどうかに関するユーザーの回答を受け付けるための「解決/未解決」ボタン25dをディスプレイ25上にさらに表示する(S711)。図26は、S711において表示された「解決/未解決」ボタン25dの一例を示す概略図である。図26の例において、ユーザーはタッチパネルやキーボード等を操作することにより「解決/未解決」ボタン25dの「はい」又は「いいえ」を選択することができる。より具体的に、ユーザーはトラブルが解決済みである場合は「はい」を選択し、解決済みでない場合は「いいえ」を選択する。
【0085】
続いて、携帯電話2は、ユーザーにより「解決/未解決」ボタン25dが押下されたかどうかを判断する(S712)。そして、「解決/未解決」ボタン25dが押下されている場合は(S712のYES)、ユーザーの回答内容(「はい」又は「いいえ」)をEEPROM24に保存する(S713)。その後、携帯電話2は、カメラ画像表示部25aにおける履歴サポート画像のリアルタイム表示を中断してから(S714)、履歴サポート画像合成処理を終了する(リターン)。このようにS714で履歴サポート画像のリアルタイム表示が中断されることにより、カメラ画像表示部25aにおけるカメラ画像のリアルタイム表示が再開される。
【0086】
他方、「解決/未解決」ボタン25dが押下されていない場合は(S712のNO)、カメラ画像表示部25aに表示中のカメラ画像内にマーカーMが含まれているかどうかをさらに判断する(S715)。そして、カメラ画像内にマーカーMが含まれていない場合は(S715のNO)、カメラ画像表示部25aにおける履歴サポート画像のリアルタイム表示を中断してから(S716)、上記の前述の712に戻る。このようにS716で履歴サポート画像のリアルタイム表示が中断されることにより、カメラ画像表示部25aではカメラ画像のリアルタイム表示が再開される。そのため、一旦S716が実行されたら、それ以降のS714及びS716はスキップされる。
【0087】
また、カメラ画像内にマーカーMが含まれている場合は(S715のYES)、そのマーカーMが三次元座標系の生成(S707)に用いられた選択マーカーMであるかどうかをさらに判断する(S717)。そして、当該マーカーMが選択マーカーMである場合は(S717のYES)、前述のS712に戻り、当該マーカーMが選択マーカーMでない場合は(S717のNO)、当該マーカーMの位置IDをEEPROM24に保存してから(S719)、前述のS705に戻る。
【0088】
次に、図27のフローチャートを参照して、本実施形態におけるサポート画像合成処理の具体的な手順について説明する。ここで、図27におけるS801〜S810の具体的な手順は前述したS401〜S410と同様であるので、これらのステップについての詳細な説明は省略する。図27におけるS811〜S815の具体的な手順は以下の通りである。
【0089】
先ず、携帯電話2は、S801で受信した入力サポート情報、入力サポート情報の位置座標P、及び選択マーカーMの位置ID、並びに質問内容受付部25bに表示中のユーザー質問内容を包含するサポート情報テーブルTを作成する(S811)。そして、携帯電話2は、サポートシステムA2全体の処理(図22参照)の開始後にサポート情報テーブルセットSを作成済みであるかどうかを判断する(S812)。
【0090】
そして、サポート情報テーブルセットSを作成済みである場合は(S812のYES)、そのサポート情報テーブルセットSの最後尾にS811で作成したサポート情報テーブルTを追加する(S813)。その後、携帯電話2は、S813でのサポート情報テーブルTの追加後のサポート情報テーブルセットSをEEPROM24に保存してから(S815)、サポート画像合成処理を終了する(リターン)。
【0091】
他方、サポート情報テーブルセットSを作成済みでない場合は(S812のNO)、新たにサポート情報テーブルセットSを作成し(S814)、そのサポート情報テーブルセットSにS811で作成したサポート情報テーブルTを追加する(S813)。その後、携帯電話2は、S813でのサポート情報テーブルTの追加後のサポート情報テーブルセットSをEEPROM24に保存してから(S815)、サポート画像合成処理を終了する(リターン)。
【0092】
以上のように、本実施形態に係るサポートシステムA2は、PC3側でカメラ画像表示部25aに表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標Pを算出し、携帯電話2側でカメラ画像表示部25aに表示中のカメラ画像に同一の三次元座標系を用いたカメラ画像を重ね合わせた合成画像を生成する。よって、本実施形態によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像が携帯電話2のカメラ画像表示部25aに表示されるので、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーは常に適切なサポート情報を入手することができる。
【0093】
このほか、本実施形態によると、オペレーターから受け付けた一連のサポート情報をサポート情報履歴Rとして携帯電話2側に保存しておき、その後のトラブル発生時に、サポート情報履歴Rに包含されているサポート情報をカメラ画像表示部25aに表示中のカメラ画像に重ね合わせた合成画像(履歴サポート画像)を生成することができる。よって、本実施形態によると、トラブル発生時のオペレーターの負担を軽減することができるとともに、携帯電話2とのPC3との間のデータ通信によるネットワークの負荷を軽減することができる。
【0094】
次に、本発明の第3実施形態について説明する。本実施形態に係るサポートシステムA3は前述した第1実施形態に係る遠隔サポートシステムA1と同様の構成を有している。そのため、以下では第1実施形態と相違する箇所についてのみ説明し、それ以外の箇所についての詳細な説明は省略する。また、本実施形態に係るサポートシステムA3の構成要素について言及する際には、前述した第1実施形態と同一の符号を用いる。
【0095】
図28は、本実施形態に係るPC3のHDD34に格納されたデータを示す概念図である。図28のように、HDD34には、MFP1を構成する部品のうちリコール対象となっているものの部品番号及び製造番号の組み合わせからなるリストを格納している。このようなリストのことを以下では「リコール対象リストL」と称する。
【0096】
次に、本実施形態に係るサポートシステムA3の動作の概要について説明する。図29は、MFP1のトラブル発生時に実行されるシステム全体の処理の手順を示すフローチャートである。本処理はMFP1のトラブル発生時に携帯電話2上の専用アプリケーションが起動されることにより開始される。そして、本処理の実行中、カメラ27の視野にMFP1のトラブル発生箇所が映るように携帯電話2がユーザーの手で移動させられる。
【0097】
図29のように、先ず、ディスプレイ25上のカメラ画像表示部25a及び質問内容受付部25bにそれぞれ表示中のカメラ画像及びユーザー質問内容をPC2にリアルタイム送信する処理(S901)が携帯電話2により実行される。本処理は前述のカメラ画像送信処理(S101)と同様であるので、これについての詳細な説明は省略する。
【0098】
続いて、ディスプレイ35上のカメラ画像表示部35aでオペレーターから受け付けた入力サポート情報及びその位置座標を携帯電話2に送信する処理(S902)がPC3により実行される。本処理のことを以下では単に「サポート情報送信処理」と称する。サポート情報送信処理の具体的な手順についてはさらに後述する。
【0099】
続いて、ディスプレイ25上のカメラ画像表示部25aに表示中のカメラ画像に入力サポート情報を重ね合わせた合成画像を、AR技術を用いて生成する処理(S903)が携帯電話2により実行される。本処理は前述のサポート画像合成処理(S103)と同様であるので、これについての詳細な説明は省略する。
【0100】
その後、MFP1のトラブルが解決済みであるかどうかが判断され(S904)、トラブルが解決済みである場合は(S904のYES)システム全体の処理が終了され(エンド)、トラブルが解決済みでない場合は(S904のNO)、前述のS901〜S903が再度実行される。S904における判断の方法は、前述したS104における判断の方法と同様である。
【0101】
次に、図30のフローチャートを参照して、本実施形態におけるサポート情報送信処理(S902)の具体的な手順について説明する。先ず、PC3は、携帯電話2からリアルタイム送信されているカメラ画像及びユーザー質問内容の受信を開始する(S1001)。そして、PC3は、ディスプレイ35上のカメラ画像表示部35a及び質問内容表示部35aにおけるカメラ画像及びユーザー質問内容のリアルタイム表示を開始する(S1002)。
【0102】
続いて、PC3は、カメラ画像表示部35aに表示中のカメラ画像内に含まれている全てのマーカーMから部品番号及び製造番号を読み取り(S1003)、それらの部品番号及び製造番号がHDD34内のリコール対象リストLに包含されているかどうかを判断する(S1004)。そして、S1003で読み取った部品番号及び製造番号がリコール対象リストLに包含されている場合は(S1004のYES)、表示中のカメラ画像内にリコール対象の部品が含まれていることをオペレーターに通知するメッセージをメッセージ表示部35dに表示する(S1005)。この際、リコール対象である部品のカメラ画像中の位置を指し示すオブジェクトをカメラ画像に重ね合わせて表示することが好ましい。このようなオブジェクトの合成には、上記非特許文献1に記載の方法が採用される。その後、PC3はS1006に進み、カメラ画像表示部35aにおいてオペレーターからサポート情報の入力を受け付ける。
【0103】
図31は、S1005で表示されたメッセージの一例を示す概略図である。図31の例において、メッセージ表示部35dには「赤枠部のパーツはリコール対象です。」というメッセージが表示されており、カメラ画像表示部35aにはリコール対象であるパーツの位置を指し示す矩形オブジェクト(図中の点線を参照)をカメラ画像に重ね合わせた合成画像が表示されている。
【0104】
他方、S1003で読み取った部品番号及び製造番号がリコール対象リストLに包含されていない場合は(S1004のNO)、そのままS1006に進み、カメラ画像表示部35aにおいてオペレーターからサポート情報の入力を受け付ける。なお、図31におけるS1006〜S1013の具体的な手順は前述したS303〜S310と同様であるので、これらのステップについての詳細な説明は省略する。
【0105】
以上のように、本実施形態に係るサポートシステムA3は、PC3側でカメラ画像表示部35aに表示中のカメラ画像を見たオペレーターから受け付けたサポート情報の三次元座標系による位置座標Pを算出し、携帯電話2側でカメラ画像表示部25aに表示中のカメラ画像に同一の三次元座標系を用いてサポート情報を重ね合わせた合成画像を生成する。よって、本実施形態によると、オペレーターにより入力されたサポート情報がカメラ画像上の所望の位置に重ね合わせられた合成画像が携帯電話2のカメラ画像表示部25aに表示されるので、ユーザーの操作ミスのような通常は想定しがたい事態が発生した場合であってもユーザーは常に適切なサポート情報を入手することができる。
【0106】
このほか、本実施形態によると、PC3側で表示中のカメラ画像中にリコール対象の部品が含まれている場合には、その旨をオペレーターに通知するメッセージをさらに表示することができる。よって、本実施形態によると、オペレーターはトラブル発生時により適切なサポート情報をユーザーに提供することができる。
【0107】
本発明は、上記実施形態のみに限定されるものではなく、特許請求の範囲において種々改変することができる。例えば、上記実施形態においては本発明に係る携帯端末として携帯電話2を採用したが、これは所謂PDA(Personal Digital Assistant)やノート型PC等であってもよい。また、本発明に係るマーカーの種類や形態等は上記実施形態において例示したものに限定されない。さらに、上記実施形態において携帯電話2のカメラ27による撮影画像は動画であると説明したが、本発明に係る携帯端末の撮影部による撮影画像は静止画であってもよい。
【0108】
なお、本発明に係るサポートシステムは、上記手順を実行するための専用のハードウェア回路によっても、上記手順を記述したプログラムをCPUが実行することによっても実現可能である。後者により本発明を実現する場合、サポートシステムを作動させるプログラムは、フロッピー(登録商標)ディスクやCD−ROM等のコンピュータ読み取り可能な記録媒体によって提供されてもよいし、インターネット等のネットワークを介してオンラインで提供されてもよい。ここで、コンピュータ読み取り可能な記録媒体に記録されたプログラムは、通常、記録装置に内蔵されたROMやHDD等に転送される。また、上記プログラムは、単独のアプリケーションソフトとして提供されてもよいし、サポートシステムの一機能としてソフトウェアに組み込まれてもよい。
【符号の説明】
【0109】
1 MFP、
2 携帯電話、
21 CPU、
22 RAM、
23 ROM、
24 EEPROM、
25 ディスプレイ、
25a カメラ画像表示部、
25b 質問内容受付部、
25c メッセージ表示部、
25d 「解決/未解決」ボタン、
25e 履歴表示部、
25f 「オペレーターコール」ボタン、
25g1 第1質問内容表示部、
25g2 第2質問内容表示部、
26 入力装置、
27 カメラ、
28 ネットワークインターフェース、
29 バス、
3 PC、
31 CPU、
32 RAM、
33 ROM、
34 HDD、
35 ディスプレイ、
35a カメラ画像表示部、
35b 質問内容表示部、
35c 入力方法選択ボタン、
35d メッセージ表示部、
36 入力装置、
37 ネットワークインターフェース、
38 バス、
A1、A2、A3 サポートシステム、
B 無線基地局、
L リコール情報リスト、
M マーカー、
N ネットワーク、
R サポート情報履歴、
S サポート情報テーブルセット、
T サポート情報テーブル、
T1 第1テーブル。
【特許請求の範囲】
【請求項1】
対象機器のトラブル発生時に、撮影部を有する携帯端末にリモート端末からサポート情報を送信するためのサポートシステムであって、
前記対象機器には、前記撮影部により撮影されたときの撮影画像から前記撮影部までの距離及び前記撮影部に対する傾きを検出可能であるマーカーが部品ごとに貼付されており、
前記携帯端末は、前記撮影部による前記マーカーの撮影画像であるマーカー画像を表示する第1表示部と、前記第1表示部に表示されている前記マーカー画像から検出した前記距離及び前記傾きに基づき前記マーカーを基準とする座標系を生成する第1座標系生成部と、前記マーカー画像を前記リモート端末に送信する第1送信部と、を有し、
前記リモート端末は、前記第1送信部から受信した前記マーカー画像を表示する第2表示部と、前記第2表示部に表示されている前記マーカー画像から検出した前記距離及び前記傾きに基づき前記第1座標系生成部と同一の前記座標系を生成する第2座標系生成部と、前記第2表示部に表示されている前記マーカー画像上で前記サポート情報及び前記サポート情報の位置情報を受け付けるサポート情報受付部と、前記位置情報から前記サポート情報の前記同一の座標系による位置座標を算出する座標算出部と、前記サポート情報及び前記位置座標を前記携帯端末に送信する第2送信部と、を有し、
前記携帯端末は、前記第2送信部から受信した前記位置座標及び前記第1座標系生成部により生成した前記座標系を用いて、前記第2送信部から受信した前記サポート情報を前記第1表示部に表示されている前記マーカー画像に重ね合わせた合成画像を生成する画像合成部をさらに有することを特徴とするサポートシステム。
【請求項2】
前記携帯端末は、前記トラブルに関する質問内容を受け付ける質問内容受付部をさらに有し、
前記第1送信部は、前記質問内容受付部により受け付けた前記質問内容を前記リモート端末にさらに送信し、
前記第2表示部は、前記第1送信部から受信した前記質問内容をさらに表示することを特徴とする請求項1に記載のサポートシステム。
【請求項3】
前記携帯端末は、前記質問内容受付部により受け付けた前記質問内容、並びに前記第2送信部から受信した前記サポート情報及び前記位置座標を互いに関連付けて保存する第1保存部をさらに有し、
前記第1表示部は、前記第1保存部に保存された前記質問内容の一覧をさらに表示し、
前記画像合成部は、前記第1表示部に表示された前記一覧から選択された前記質問内容と関連付けて保存された前記位置座標及び前記第1座標系生成部により生成した前記同一の座標系を用いて、前記一覧から選択された前記質問内容と関連付けて保存された前記サポート情報を前記第1表示部に表示されている前記マーカー画像に重ね合わせた合成画像を生成することを特徴とする請求項2に記載のサポートシステム。
【請求項4】
各々の前記マーカーは、それが貼付されている前記対象機器の部品の識別情報を保持しており、
前記リモート端末は、前記対象機器の部品のうちリコール対象であるものの前記識別情報を格納する第2保存部と、前記第2表示部に表示されている前記マーカー画像内の前記マーカーから前記識別情報を読み取る読取部と、をさらに有し、
前記第2表示部は、前記読取部により読み取った前記識別情報が前記第2保存部に格納されている場合に、当該識別情報により表される前記対象機器の部品がリコール対象である旨を通知するメッセージをさらに表示することを特徴とする請求項1〜3のいずれか1つに記載のサポートシステム。
【請求項5】
前記マーカーは、QRコードであることを特徴とする請求項1〜4のいずれか1つに記載のサポートシステム。
【請求項1】
対象機器のトラブル発生時に、撮影部を有する携帯端末にリモート端末からサポート情報を送信するためのサポートシステムであって、
前記対象機器には、前記撮影部により撮影されたときの撮影画像から前記撮影部までの距離及び前記撮影部に対する傾きを検出可能であるマーカーが部品ごとに貼付されており、
前記携帯端末は、前記撮影部による前記マーカーの撮影画像であるマーカー画像を表示する第1表示部と、前記第1表示部に表示されている前記マーカー画像から検出した前記距離及び前記傾きに基づき前記マーカーを基準とする座標系を生成する第1座標系生成部と、前記マーカー画像を前記リモート端末に送信する第1送信部と、を有し、
前記リモート端末は、前記第1送信部から受信した前記マーカー画像を表示する第2表示部と、前記第2表示部に表示されている前記マーカー画像から検出した前記距離及び前記傾きに基づき前記第1座標系生成部と同一の前記座標系を生成する第2座標系生成部と、前記第2表示部に表示されている前記マーカー画像上で前記サポート情報及び前記サポート情報の位置情報を受け付けるサポート情報受付部と、前記位置情報から前記サポート情報の前記同一の座標系による位置座標を算出する座標算出部と、前記サポート情報及び前記位置座標を前記携帯端末に送信する第2送信部と、を有し、
前記携帯端末は、前記第2送信部から受信した前記位置座標及び前記第1座標系生成部により生成した前記座標系を用いて、前記第2送信部から受信した前記サポート情報を前記第1表示部に表示されている前記マーカー画像に重ね合わせた合成画像を生成する画像合成部をさらに有することを特徴とするサポートシステム。
【請求項2】
前記携帯端末は、前記トラブルに関する質問内容を受け付ける質問内容受付部をさらに有し、
前記第1送信部は、前記質問内容受付部により受け付けた前記質問内容を前記リモート端末にさらに送信し、
前記第2表示部は、前記第1送信部から受信した前記質問内容をさらに表示することを特徴とする請求項1に記載のサポートシステム。
【請求項3】
前記携帯端末は、前記質問内容受付部により受け付けた前記質問内容、並びに前記第2送信部から受信した前記サポート情報及び前記位置座標を互いに関連付けて保存する第1保存部をさらに有し、
前記第1表示部は、前記第1保存部に保存された前記質問内容の一覧をさらに表示し、
前記画像合成部は、前記第1表示部に表示された前記一覧から選択された前記質問内容と関連付けて保存された前記位置座標及び前記第1座標系生成部により生成した前記同一の座標系を用いて、前記一覧から選択された前記質問内容と関連付けて保存された前記サポート情報を前記第1表示部に表示されている前記マーカー画像に重ね合わせた合成画像を生成することを特徴とする請求項2に記載のサポートシステム。
【請求項4】
各々の前記マーカーは、それが貼付されている前記対象機器の部品の識別情報を保持しており、
前記リモート端末は、前記対象機器の部品のうちリコール対象であるものの前記識別情報を格納する第2保存部と、前記第2表示部に表示されている前記マーカー画像内の前記マーカーから前記識別情報を読み取る読取部と、をさらに有し、
前記第2表示部は、前記読取部により読み取った前記識別情報が前記第2保存部に格納されている場合に、当該識別情報により表される前記対象機器の部品がリコール対象である旨を通知するメッセージをさらに表示することを特徴とする請求項1〜3のいずれか1つに記載のサポートシステム。
【請求項5】
前記マーカーは、QRコードであることを特徴とする請求項1〜4のいずれか1つに記載のサポートシステム。
【図1】
【図2】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図16】
【図18】
【図20】
【図21】
【図22】
【図23】
【図24A】
【図24B】
【図25】
【図27】
【図28】
【図29】
【図30】
【図31】
【図3】
【図15】
【図17】
【図19】
【図26】
【図2】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図16】
【図18】
【図20】
【図21】
【図22】
【図23】
【図24A】
【図24B】
【図25】
【図27】
【図28】
【図29】
【図30】
【図31】
【図3】
【図15】
【図17】
【図19】
【図26】
【公開番号】特開2013−115578(P2013−115578A)
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願番号】特願2011−259494(P2011−259494)
【出願日】平成23年11月28日(2011.11.28)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(303000372)コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Fターム(参考)】
【公開日】平成25年6月10日(2013.6.10)
【国際特許分類】
【出願日】平成23年11月28日(2011.11.28)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.QRコード
【出願人】(303000372)コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Fターム(参考)】
[ Back to top ]