機器のトラブル解決を共同作業するモバイルスクリーン方法およびシステム
【課題】機器のトラブル解決を容易に行う共同作業の通信システムおよび方法を提供する。
【解決手段】着脱可能なディスプレイユニットを含む機器であって、該ディスプレイユニットは、前記機器ユーザの視点からの該機器の動的仮想表現を発生させるように構成される、機器と、前記機器ユーザの視点からの前記機器の前記動的仮想表現を表示するように構成される、遠隔のトラブル解決インターフェースと、前記着脱可能なディスプレイユニットと前記遠隔のトラブル解決インターフェースとの間の双方向のデータ通信を提供するように構成される、通信リンクとを含む。
【解決手段】着脱可能なディスプレイユニットを含む機器であって、該ディスプレイユニットは、前記機器ユーザの視点からの該機器の動的仮想表現を発生させるように構成される、機器と、前記機器ユーザの視点からの前記機器の前記動的仮想表現を表示するように構成される、遠隔のトラブル解決インターフェースと、前記着脱可能なディスプレイユニットと前記遠隔のトラブル解決インターフェースとの間の双方向のデータ通信を提供するように構成される、通信リンクとを含む。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、複写機、プリンタ、ファクシミリ、および複合機などの、事務機材のユーザ向け診断および顧客サービスシステムに関する。
【背景技術】
【0002】
プリンタまたは複写機などの事務機材は、典型的には、ソフトウェアに基づくオペレーティングシステムを用いて、基本的なマシン機能を実行し、マシンが可能な種々のジョブを実現する。しかしながら、ソフトウェア、詳細には高速度複合機に用いられるソフトウェアは、種々の問題および欠陥を被りやすい。このタイプのマシンでは、極端に複雑で洗練されたマシンハードウェアの場合に、新たな問題も生じる。発生するハードウェアおよびソフトウェア問題は、典型的には低い非周期的な率で起こり、したがってマシンにサービスを提供するときに再現することは極めて困難であり、それゆえに解決することは困難である。さらに、これらの問題の多くは顧客によって特定されるが、このような顧客は、典型的にはこのタイプのマシンを診断してサービスを提供する技術的なトレーニングを受けていない。こういう訳で、サービス提供組織が、主要なマシン動作情報、および詳細にはマシン制御システムの性能およびマシン構成部品の物理的状態を反映する情報に、アクセスすることができることが重要である。
【0003】
機材のユーザと納入業者との間の取引協定における周知の特徴は、ユーザが何らかのメンテナンスおよび機材の基本的なトラブル解決に対して、少なくとも部分的に責任があることである。しばしば機材は、ユーザがテストし、操作して、おそらくは取り換えることができる構成部品を有するが、しかし機材への投資を考慮して、ユーザは、納入業者およびそのサービス部門の強いサポートなしに、システム修復に従事することに気が進まない。したがって、機材サービスの正確さおよび効率を高めることは、詳細には、遠隔のトラブル解決サービス部門に対して、機材の状態および発生している問題を、明瞭に表現しまたは判断することに基づいている。技術サポート部門への電話通信のフラストレーションがたまる経験は、一般的に知られており、実際に当該部門へ問題の伝達を試みる洗練されていない顧客の問題が、きわめてよく見られている。
【0004】
典型的には、ユーザがマシンに関する問題に直面し、その問題を解決することができない(またはその問題を自身で解決することを望まない)とき、ユーザ(またはユーザ代表者)は、助けを求めてサポート組織に電話をするが、このような組織は、典型的には支援するのに役立つトラブル解決者を有している。マシンシリアル番号などの目立った細目が取り込まれた後、トラブル解決者は、問題の特性および程度を確かめようとする。問題の本質およびその起こりうる原因がカバーされていなかったとき、トラブル解決者は、問題を解決しようとするいくつかのやり方を提案するか、あるいは、この時点で通話をより高いレベルのサポートへ一番適切に回すように決定する。トラブル解決者は、ユーザに問題を解決してもらおうとする場合、トラブル解決者独自の知識および経験の他に、オンライン知識ベース、物理的なマシン、または同僚の助言などのリソース範囲を利用してもよい。
【0005】
マシンに関する問題を経験しているユーザとトラブル解決者との間の、電話上でのやり取りは、相当数の現象を再発的に伴う。ユーザおよびトラブル解決者は両者間で、問題について、適切な解決法が何であるかの考察を可能にする説明を組み立てる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許第7,715,037号明細書
【特許文献2】米国特許出願第12/689,737号明細書
【特許文献3】米国特許出願公開第2010/0125759号明細書
【非特許文献】
【0007】
【非特許文献1】S.Castellani、A.Grasso、J.O’NeillおよびF.Roulland「DESIGNING TECHNOLOGY AS AN EMBEDDED RESOURCE FOR TROUBLESHOOTING」Journal of Computer Supported Cooperative Work (JCSCW)第18巻、No.2−3、199−227頁、2009年
【発明の概要】
【発明が解決しようとする課題】
【0008】
これらのやり取りも、典型的には、必ずしもマシンのそばに(物理的に)位置していない音声回線(電話)に、やり取りを行う者がアクセスだけできる状況下で行われ、それによってユーザは、トラブル解決者との接触を保持しながら、マシンにアクセスする手段を何とかすることが必要となる。音声回線単独では、すべての説明、指示およびフィードバックが口頭だけであることを意味し、ユーザは、初期の問題説明、状況の情報、試行指示の結果などの唯一の供給源であることになる。この結果、トラブル解決者は、ユーザが動作をすでに行ったことを知らないか、それともユーザが動作を正確に行ったことを確信することができないかであるので、ユーザが動作を繰り返すことを頼むことになる。トラブル解決者は、テキストのリソースから可能性のある解決法が得られる場合、この解決法をテキストから要約し、その後で純粋に口頭手段を通して明瞭に表現しなければならないことになる。これらの状況の結果、解決が、よくても準最適である場合に、相当数の問題が発生している。
【0009】
・ユーザは、電話中に、マシンにアクセスできないかもしれないし、他者とのアクセスを調整すること、または電話とマシンとの間で絶えず移動することに、努力を充てる必要があるかもしれない。
【0010】
・トラブル解決者は、現在のマシン状態、ユーザによって着手された以前の動作、およびマシンの以前の調子に関する、潜在的に重要なかつ関係のある情報に欠くことになる。
【0011】
・マシンへの相互のアクセス不足があり、結果として次の努力が充てられる。
【0012】
・問題の表現が相互に同意された状態に達するために、現在の状態を説明し、質問に答えること、
【0013】
・現在の状況に対して、どれほどの指示および指揮が適切に組み立てることができるのかを理解することができずに、指示および指揮を生み出し、折り返し報告すること(潜在的に冗長なフィードバックを必要とし、解明の程度を変化させること)、および
【0014】
・マシンに属する物理的に同一の部品を両者が参照していることを確実にするやり方を、いっしょに考え出すこと。
【図面の簡単な説明】
【0015】
【図1】図1は、本開示に従う共同作業システムの典型的な実施の形態を図示する。
【図2】図2は、本開示に従う典型的なエンドユーザとトラブル解決者とのインターフェースを図示する。
【図3】図3は、共同作業するマシンのトラブル解決をサポートする双方向遠隔ビジュアル化システムについての全体のアーキテクチャである。
【図4】図4は、主題システムに従うマシンユーザおよびトラブル解決専門家によって実行される基本的なステップを示すフローチャートである。
【図5】図5は、本開発を組み込む画像システムの選択された部品を詳細に図示するブロック図である。
【図6】図6は、本開発を組み込む画像システムの選択された部品を詳細に図示するブロック図である。
【図7】図7は、本開発を組み込む画像システムの選択された部品を詳細に図示するブロック図である。
【図8】図8は、複合機(MFD:multifunction device)上にドッキングされた着脱可能なディスプレイユニットを組み込む複合機の斜視図である。
【図9】図9は、動的3D仮想表現を表示する、ドッキング状態から切り離された着脱可能なディスプレイユニットを有する複合機の斜視図である。
【図10】図10は、複合機およびディスプレイシステムの機能ブロック図である。
【図11】図11は、動的3D仮想表現の一実施の形態を図示する着脱可能なディスプレイユニットの拡大斜視図である。
【図12】図12は、動的3D仮想表現の別の実施の形態を図示する着脱可能なディスプレイユニットの拡大斜視図である。
【図13】図13は、動的3D仮想表現の別の実施の形態を図示する着脱可能なディスプレイユニットの拡大斜視図である。
【図14】図14は、動的3D仮想表現の別の実施の形態を図示する着脱可能なディスプレイユニットの拡大斜視図である。
【図15】図15は、図9の動的3D仮想表現ディスプレイシステムを用いて実行することができる方法を図示する。
【発明を実施するための形態】
【0016】
本開示、および本明細書に含まれる典型的な実施の形態は、機器エンドユーザと遠隔のトラブル解決者との間のやり取りを増強する方法およびシステムを提供する。この方法およびシステムは、スクリーンを含むモバイルポータブル機器を使用することに加えて、機器のモデルを含むトラブル解決システムに基づいていて、エンドユーザはスクリーンをメイン機器から分離するとともに、このスクリーンは、スクリーンの位置および方向に従ってモデルを表示することになる。開示された典型的な実施の形態によれば、トラブル解決者は、ユーザ位置を通知されて、エンドユーザの視点からモデルを見ることもできる。モバイル機器は、ライブ情報を送信したり、一視点で固定したり、さらにはトラブル解決者の指示を表示することによってエンドユーザをガイドしたりすることもできる。ユーザの位置を遠隔のトラブル解決者へシームレスにもたらすとともに、エンドユーザ視点からの状況の共有ビューを両者に提供することにより、故障モード中の機器のトラブル解決を効果的に行って修復する、トラブル解決シナリオが強化される。
【0017】
ここでエンドユーザが、遠隔のトラブル解決者と共同作業を行って、例えば複合機などの機器で経験した問題を解決する状況が、考察される。本開示のトラブル解決を共同作業する方法およびシステムは、トラブル解決を共同作業するシステムに関連付けられた、米国特許第7,715,037号明細書および米国特許出願第12/689,737号明細書内に開示された技術の拡張を提供する。この拡張は、複合機の周りにあるモバイルまたは着脱可能スクリーンの位置を使用して、エンドユーザ位置に適応するとともにユーザおよびトラブル解決者によってともに共有される、トラブル解決セッションのビューを組み立てることを含む。
【0018】
実質的には、本開示は、以前に開示されていない次の特徴を提供する。
【0019】
1.トラブル解決を共同作業する状況において仮想ビューを提供する、3D、2Dなどのモデルの使用であって、遠隔のトラブル解決者およびエンドユーザが、ともにこのような1つのビューを共有し、それは、機器の周りにいるエンドユーザの位置および/または方向に、ならびに機器の検知状態に適応する、モデルの使用。
【0020】
2.共有された動的ビュー、およびスクリーンを適切な方向に位置決めすることによってエンドユーザが一部分を指し示す能力を含む次のいくつかのモダリティ、に基づく遠隔の共同作業のサポート。
【0021】
3.検知された機器の状態と観察された機器の状態との間の不一致点の検出に対するサポート。
【0022】
上述したように、ここでエンドユーザが、遠隔のトラブル解決者と共同作業を行って、例えば複合機、プリンタ、スキャナなどの機器で経験した問題を解決する状況が、考察される。エンドユーザおよびトラブル解決者は、典型的には電話を通じて通信し、エンドユーザが問題およびなされた操作を説明して、トラブル解決者が指示を与える。Castellani他による、発明の名称が「BI−DIRECTIONAL REMOTE VISUALIZATION FOR SUPPORTING COLLABORATIVE MACHINE TROUBLESHOOTING(共同作業するマシンのトラブル解決をサポートする双方向遠隔ビジュアル化)」で、発行日が2010年5月11日である、米国特許第7,715,037号明細書、ならびにS.Castellani、A.Grasso、J.O’NeillおよびF.Roullandによる「DESIGNING TECHNOLOGY AS AN EMBEDDED RESOURCE FOR TROUBLESHOOTING(トラブル解決用エンベデッドリソースとしての設計技術)」Journal of Computer Supported Cooperative Work (JCSCW)第18巻、No.2−3、199−227頁、2009年、において開示されたものなどの音声通信に加えて、本明細書で開示される方法およびシステムは、さらに先端のトラブル解決の特徴を提供する。
【0023】
米国特許第7,715,037号明細書によれば、エンドユーザおよびトラブル解決者は、それぞれ(エンドユーザ用に)機器スクリーン上および(トラブル解決者用に)デスクトップ上で、機器状態の共有3D表現を通じて通信して、機器の一部分を指し示すとともに、トラブル解決を行うステップを提案する。しかしながら、スクリーンが一般に機器上に、例えば複合機の上に静的に設置されるので、他の場所の一部分で修復が行われる場合、エンドユーザは、これらの部分への作業の間、スクリーンを見ることができない。さらにその上、表示される情報は、実際の物理的な機器に関連付けられようとする努力を必要とする。これは、スクリーン上に表示された機器の3D表現が、現在のエンドユーザの視点に対して当てはまらないという事実に起因している。トラブル解決者側では、3D表現を通じてトラブル解決者が機器状態に関する情報を入手するにしても、トラブル解決者は、機器に対するエンドユーザの位置およびユーザが見ているものに関する情報を欠いている。
【0024】
本開示の一部の態様によれば、これらの問題は対処される。
【0025】
Castellani他による米国特許第7,715,037号明細書およびMeunier他による米国特許出願第12/689,737号明細書内に開示されたものなどのトラブル解決を共同作業するシステムを用いて、エンドユーザとトラブル解決者との間のやり取りを増強させることが提供される。
【0026】
米国特許第7,715,037号明細書のトラブル解決を共同作業するシステムは、機器に関する問題を経験する機器のエンドユーザが、機器から直接にコールセンターに電話をしたり、機器自体を通じて遠隔のトラブル解決者とやり取りしたりすることを可能にする。エンドユーザおよびトラブル解決者は、機器状態の共有表現を提供される。共有表現は、主に、不調の機器の3Dモデル、ならびにこの3Dモデルとやり取りする手段であって、トラブル解決作業におけるエンドユーザおよびトラブル解決者の役割に適応した相当数の手段で構成される。共有表現は、機器自体側のエンドユーザ、およびトラブル解決者の端末、すなわちトラブル解決者インターフェースへ提示される。この表現は、機器自体へリンクされて、機器の動作がこの表現上に示されるようになり、例えば顧客がドアを開ける場合、そのドアはこの表現上に現れて、トラブル解決者はそれを見ることになる。これは、機器に備わっているセンサを通じて可能となる。相互の視点が、この表現でサポートされるとともにこの表現とやり取りし、エンドユーザは、トラブル解決者に機器の一部分を指し示すことができ、トラブル解決者は、一部分を指し示して、トラブル解決を行うステップを提案することができる。
【0027】
本明細書で説明される典型的な実施の形態によれば、Meunier他による米国特許出願第12/689,737号明細書に見られるように、機器スクリーンは、機器から分離されて、典型的な一実施の形態に従う機器の3D表現が、機器と相対的なスクリーン位置および方向に従って、機器スクリーン上に描画される。
【0028】
加えて、本開示の典型的な態様によれば、2つの視点がトラブル解決者に役立つ。
【0029】
(1)機器の3D表現についてのトラブル解決者のビュー、および
(2)エンドユーザに表示される通りの機器の仮想表現、例えば2D、3Dまたは他のビュー。
【0030】
スクリーンの位置は検出することができるので、スクリーンは、機器に対するエンドユーザのもっともありそうな位置をトラブル解決者に通知するために、「エンドユーザ・センサ」として機能することができる。典型的な一実施の形態によれば、Roullandによる、発明の名称が「SYSTEM AND METHOD FOR LOCATING AN OPERATOR IN A REMOTE TROUBLESHOOTING CONTEXT(遠隔のトラブル解決を行う場面において操作者の位置を突き止めるシステムおよび方法)」で、公開日が2010年5月20日である、米国特許出願公開第2010/0125759号明細書内に記載されたものなどの、粗密位置決めモデルが用いられる。
【0031】
Meunier他による米国特許出願第12/689,737号明細書内に開示されたものとは異なって、スクリーン方向は、初期設定では利用されない。このように、典型的な一実施の形態によれば、特定のエンドユーザ動作が、以下で説明されるように行われる場合を除いて、エンドユーザへ表示される仮想表現は、例えば50cmの、しかしこれに限定されない長さのスクリーンの重要な移動に関してだけ、変化する。さらに、仮想表現は、方向の変化に関して、必ずしも変化しない。加えて、本システムは、床の上にスクリーンを配置すると、ビュー角が変化しないように構成することができる。このように、エンドユーザおよびトラブル解決者は、ともに状況の共通の理解を共有する。
【0032】
本開示の典型的な実施の形態の別の態様によれば、およびMeunier他による米国特許出願第12/689,737号明細書内に開示されたものと同様にして、スクリーンは、エンドユーザの制御の下で、仮想のビデオカメラとして機能することができる。次いでカメラ隠喩に続いて、位置および方向をともに考慮に入れた静止ビューが、エンドユーザによって選択されるが、この静止ビューはトラブル解決者との共有ビューになることができる。
【0033】
任意の静止ビューがトラブル解決者によって使用されて、例えば2Dまたは3Dモード、場合によっては3Dアニメーションを用いて、エンドユーザに機器の特定の場所を指し示すことができる。加えて、モバイルスクリーンは、エンドユーザが、トラブル解決者に伝えるための、機器の一部分、場所などをポイントすることを可能にするポインティングデバイスを備えることができる。
【0034】
トラブル解決プロセスの現在の状態および機器状態が与えられたとすると、典型的な一実施の形態によれば、トラブル解決者は、本システムを制御して、現在の状態から所望の状態へ向かうのに必要となる指示、および所望の状態が達成された後で通知されようとする指示をユーザに示す。
【0035】
機器の実際の状態と検知状態との間に、望ましくない不一致点が生じる可能性があり、この不一致点は、エンドユーザには目に見えるようになってもよく、それは、ユーザが実際の物理的な機器および機器のセンサ入力に基づく機器の仮想表現を、ともに観察しているためである。エンドユーザは、電話を通じて任意のこのような不一致点を報告することができ、場合によってはトラブル解決セッションを促進することになる。例えば、エンドユーザは、描画機能を終了して、仮想表現内の同一の出来事を観察しなくてもよい。
【0036】
次は、本開示に従う、トラブル解決を共同作業するシステムの典型的な実施の形態に関連付けられた特徴の非排他的リストである。着脱可能スクリーン上に表示されたエンドユーザクライアントは、「カメラ/フリーズ」ボタンをさらに含む。
【0037】
図2に示されるように、トラブル解決者には2つの視点が利用可能である。
【0038】
共有視点:機器の3D仮想表現は、エンドユーザとトラブル解決者との間で発生して共有され、機器状態と同期化される。
【0039】
トラブル解決者のローカル視点:トラブル解決者により構成された機器表現は、機器状態およびエンドユーザ視点、すなわち共有視点と同期化したり、接続を切ったりすることができる。
【0040】
このように定義されたクライアント、すなわち共有視点およびローカル視点を用いて、エンドユーザおよびトラブル解決者は、次のやり取りモードに従うトラブル解決セッションにおいて、共同作業を行う。
【0041】
エンドユーザのクライアント内およびトラブル解決者のクライアント内でともに目に見える3D共有表現は、次の3つの別々のやり取りモードに従って動作することができる。
【0042】
ライブ:共有表現は、機器の周りのエンドユーザの位置に従って更新され、比較的安定した画像を保つために、主要な変化だけ考慮に入れる。
【0043】
フリーズ:共有表現は、エンドユーザによって定義された視点において、フリーズされる。
【0044】
ガイド:共有表現は、Meunier他による米国特許出願第12/689,737号明細書内に記載されたような機器上で、一部分の位置を突き止めるおよび/または操作を実行するようにエンドユーザをガイドするために、オーバーレイされた指示を有するライブモードを含む。
【0045】
典型的な一実施の形態によれば、ライブモードは、初期設定モードであり、すなわちこのモードにおいてトラブル解決セッションが開始し、別のモードが終了するたびに、本システムはライブモードに復帰する。
【0046】
トラブル解決者にだけ利用できるローカル視点は、トラブル解決者が仮想の機器を自由に操縦して、機器の一部分を動作させるためのシミュレーションモードに一致する一モードのやり取りだけを可能にする。
【0047】
上述した視点、すなわち共有表現およびローカル表現、ならびに種々のモードから、関係者は次の動作を実行することができる。
【0048】
1)エンドユーザが移動する。
これは、ライブモードにおいて利用できる暗黙の動作である。着脱可能スクリーンをユーザの手に備えて、機器の周りを移動することによって、エンドユーザは、機器の周りのエンドユーザの位置に従って、共有表現の視点を修正している。
【0049】
2)エンドユーザは、ビューをフリーズする。
ライブモードからフリーズモードへ移行するために、エンドユーザは、カメラ/フリーズボタンを押すことができる。ボタンを押さないと、カメラのように機能する着脱可能スクリーンを用いてポイントされた視点に、共有表現がフリーズすることになる。この場合、エンドユーザは、スクリーンが機器からどれほど近接しているかに従って、視点の方向およびズームレベルをともに制御することができる。ボタンの2重押しまたは十分に大きな移動により、スクリーンはライブモードに戻る。
【0050】
3)エンドユーザは、ビュー上の一部分をポイントする。
本システムがフリーズモードにあるとき、エンドユーザは、スクリーンにタッチしたり、フリーズ表現上の1つのエレメントを指し示すために、ポインティングデバイスを用いたりすることができる。このようなフリーズ視点は、さらに利用するために、トラブル解決者によって記憶することができる。我々が主として機器の仮想の3Dモデルの使用を考える一方で、1つの拡張は、スクリーンの内部に実際のスチルカメラを埋め込むことにある。この場合、フリーズ視点は、実際の像で高めることができる。
【0051】
4)トラブル解決者は、ローカル視点で共有視点を更新する。
トラブル解決者は、本システムを制御して、共有視点をトラブル解決者独自のローカル視点と同期化させる。この場合、共有ビューは、ガイドモードへ変わって、適切な視点へ移動するためにエンドユーザへ指示を与える。
【0052】
5)トラブル解決者は、共有視点でローカルビューを更新する。
共有ビューがライブまたはフリーズのとき、トラブル解決者は、ローカル視点をエンドユーザの視点へリセットするように望んでもよい。この場合、ローカル視点は、現在の共有視点へ更新される。
【0053】
6)トラブル解決者は、実行すべき次のステップを指し示す。
この動作は、トラブル解決者がローカルビュー上で仮想の機器の状態を修正したという追加を含む、ローカル視点に関連付けられた情報で、共有視点を更新することと同様である。本システムは、エンドユーザをガイドして、実際の機器上でこの変化を再生する。
【0054】
7)トラブル解決者は、共有ビュー上の一部分をポイントする。
共有ビューがフリーズすると、トラブル解決者は、場所/部分をポイントして、エンドユーザをガイドすることができる。
【0055】
エンドユーザは、3D表現が機器の現在の状態に一致することを検査することができる。この一致が破られるたびに、これは、センサが適切に動作していないか、それとも場合によっては検知されていない部分が予想外の状態にあるかを指し示している。エンドユーザは、この状態の不一致をトラブル解決者に報告して、トラブル解決者は、解決法、回避策を見いだし、または場合によっては遠隔のトラブル解決セッションを中断して技術者を送ることになる。
【0056】
本明細書に説明されるように、主題システムは、機器問題を解決しようとするとき、ユーザ/トラブル解決者間のやり取りにおいて生じる共通の障壁を乗り越えるシステムおよび方法を含む。機器は、トラブル解決専門家とユーザとの間におけるインフラストラクチャの媒介者となって、双方向の機器の共有仮想表現を作り出し、ユーザおよびトラブル解決者は、機器に関連付けられた問題のトラブル解決を行うために、この共有仮想表現を操作して、動作を調整するとともに実行することができる。ユーザは、機器を通じて技術サポートにアクセスして、音声映像通信回線を介してトラブル解決者との独立したまたは提案されたやり取りを実行する。したがって、大部分の関係者には、機器上で実際に実行される動作をリアルタイムに理解することが実施可能となり、それによって一般におよび現在、トラブル解決シナリオに影響を及ぼしている、記述的および空間的問題を克服するリソースが提供される。共有表現は、技術サポートが、機器上で動作を実行するために、遠隔のユーザの能力をより良好に利用することを可能にする。
【0057】
したがって、共有表現は、トラブル解決者の問題の理解を高めて、解決法の発見をさらに支援する。主題システムは、トラブル解決者とユーザとの間を媒介して、問題の供給源、すなわち機器への相互のアクセスを有しないにもかかわらず、両者が相互に解決法に達することを可能にする。主要な利益は、音声だけのやり取りで達成されるが、これは、大部分のユーザ/トラブル解決者間のやり取りが、部分を説明すること、指示を配信することなどの、空間的本質の作業を伴うためである。
【0058】
本開示の共同作業システムおよび方法の典型的な実施の形態が、図3〜図15を参照して以下に説明される。
【0059】
図3を参照すると、画像機器10(プリンタ/複写機、複合機)は、従来のファイアウォール/イントラネット/インターネットリンクを含む通信リンク14を経由して、サービス部門/トラブル解決者12へ接続される。トラブル解決者12は、通話管理システム16および知識ベース18を含み、知識ベース18は、顧客情報および通話サポート情報を含むデータベースを含み、さらに詳細にはトラブル解決者12は、知識ベース18内に、記憶された機器10のデータ識別、および機器のサービスを提供する場合にユーザが見ることになるような機器10の求められるビジュアル表現のモデル、を含む。ユーザは、以下でさらに十分に詳細になるように、音声入力/出力、および共有表現の表示用のビジュアル画像機器21を通じて、強化されたユーザ/トラブル解決者間のやり取りにアクセスすることができる。
【0060】
図4を参照すると、トラブル解決を行うこともしくは解決することができない、または自身で解決することを望まないような、機器に関する問題をユーザが見出す30とき、主題のトラブル解決シナリオが開始される。このような問題は、本来はソフトウェアでもハードウェアでもよいが、しかし次の典型的な説明では、ハードウェアだけの場合と同様に説明されることになる。機器10のディスプレイのユーザインターフェース(「UI」:user interface)上で、「電話呼び出しサポート」ボタンを選択することによって、電話呼び出しが遠隔のサポートセンターおよびトラブル解決者12に入る32。代わりの構成としては、機器10が問題を検出すると、その問題がユーザに指し示され、ユーザは、サポートに電話すべきであることを、UIを経由して助言される。音声ビジュアル・リンクは、関係のあるデータを伝送するためのセキュアなデータ接続を経由して、顧客サポートセンター・サーバへ音声をセキュアにエンド・ツー・エンド接続することを含む。関係のあるデータは、次のいずれかまたはすべてを含むことができる。
【0061】
・機器シリアル番号、
・ユーザがログインされる場合、例えば名前および他の任意の関係のある情報などの、ユーザID、
・機器の現在の状態でのセンサ情報などの、機器診断データ、
・例えばトナーの取り換えなどの、機器イベント上の履歴情報、および
・ユーザのトラブル解決ツールとのやり取り、例えば知識ベースなどのとのやり取りなどの、やり取りデータ。
【0062】
トラブル解決を行う遠隔のサーバは、それ自体に記憶された、機器を特定する34データ、および他のトラブル解決セッションの記録との組み合わせで、関係のあるデータを使用し、それによって初期の機器表現を組み立てる。次いで、ユーザは、サービス依頼電話が入った後、音声リンクを確立する36ためヘッドセットを装着するように求められる。代わりの構成としては、セキュアな音声接続が形成されて、オペレータが電話に出ると、音声およびビジュアル信号が、例えば電話スタイルの呼び出し音および「ヘッドセットを装着してください」とのメッセージとなるようにしてもよい。初期の機器表現が発生し38、ユーザおよびトラブル解決専門家へともに同期して表示される40。機器表現のユーザ指向版は、例えばドアが開けられているなどを示す、機器の現在の状態のビジュアル表現を含む。トラブル解決者に利用可能な、機器の補足的ローカル表現は、何にアクセスできたかおよび現在の問題に何が関係あるかに従って、変化することができる次の情報の一部または全部を含む。
【0063】
a)利用可能なら、次の記載事項を示す機器の履歴:
・例えば部品の取り換えを含む、フィールドエンジニアの介入セッション、
・以前のトラブル解決を共同作業するセッション、
・以前のユーザのトラブル解決セッション、
・例えば消耗品の取り換え、例えば用紙ジャムなどの警報を含む、メンテナンスセッション、
・例えばトレイ1が開いているなどの、通常のやり取り。
【0064】
履歴は、次のように表すことができる:
(1)単純に構造化されていないまたは構造化されたリスト(例えばツリー)として、もしくは
(2)ノードが機器の状態を表す、状態図として、または
(3)機器の状態における物理的な変化を示すアニメーションによって。トラブル解決者は、履歴内の記載事項を操縦し、さらに細目を見て、ユーザが電話でサービス依頼をする前に機器上で実行した動作、またはすでに起こっていた類似の問題を見出すことができる。
【0065】
b)機器の現在の状態は、次の事柄を含む:
1.ユーザが現在見ているような(仮想モデルまたは画像による)機器のビジュアル説明。加えて、この表現は、別々の空間的視点(前面側、左側、右側、背面側)からのビューで強化することができて、一見しただけで問題を容易に認識することができる。
2.次の事柄などの他の潜在的選択肢:
i.画像品質問題のサンプル、
ii.機器が生み出す雑音のサンプル、
iii.異常な振動のサンプル。
【0066】
c)機器のビジュアル表現および空間的視点を用いて表示される、機器に対するユーザの位置。
【0067】
d)共同作業システムを通じてやり取りする手段。
【0068】
共同作業のインターフェースが確立された後、ユーザは、機器上で動作を実行することができ、モバイルディスプレイ上でやり取りの現在の状態を示す画像インターフェースを提供される。したがって、共同作業システムは、機器のユーザと助言するトラブル解決者との間の共有仮想表現の双方向のビジュアル化を含む。
【0069】
トラブル解決プロセスの間に、トラブル解決者12は、例えば機器の一部分を移動させるなどの、特定のトラブル解決操作を実行するために何をすべきかに関する指示を、ユーザに与えることができる。トラブル解決者は、次に示すUI(ユーザインターフェース)を提供される:
・現在検知されている動作(例えばトレイが開いている)、機器の履歴、既知の場合にはユーザの位置、およびトラブル解決者と共有される機器の仮想表現を含み、やり取りから結果として生じるような機器の現在の状態を示す、インタラクティブな主ウィンドウ。
・ユーザの動作を示すウィンドウ内の制御ボタンも提供される。
【0070】
トラブル解決専門家へ機器問題を伝達する42ためには、ユーザは、通常、機器の一部分を指し示す必要がある。このような指示は、信号を送り、特定するためのモバイルUIを用いることによって達成されるが、例えばカーソルは、UIディスプレイの主ウィンドウ上およびユーザの動作を示すウィンドウ上で、ともに部分を指し示すことができる。ユーザは、一部分をたたく、例えばその一部分を軽くたたく、および/またはその一部分にごく近接した状態になる、例えば非接触式センサに関連付けられた欄に入力することによっても、その一部分を指し示すことができる。さらに加えて、ユーザは、機器上で動作を実行することができる。ユーザによって実行された動作に関する情報は、トラブル解決者へ送られて、トラブル解決者は、機器の共有仮想表現およびトラブル解決者にだけ利用できるローカルの機器表現の両方で、ユーザ動作の結果を見る。音声会話に加えて、このような動作は、専門家へ機器問題を効果的に伝達する42。
【0071】
ユーザ動作に応じて、トラブル解決側の専門家は、補正動作を提案して問題を解決する究極の目的のために、ユーザディスプレイを制御することによって、共有仮想表現上に表された機器の一部分を指し示すこともできる。特定部分は、機器モバイルディスプレイ上にユーザによって遠隔的に示されるが、代わりの構成としては、利用できるなら、例えばLEDなどのビジュアル指標が、部分特定を容易にする。LEDは、機器の一部分上で、ユーザが位置を特定するのに特別に助けとなるようにアクティブ化される。専門家は、このような指示の後、次いで機器上で、または機器の共有仮想表現に表すことができる部分上で、ユーザが実行すべき動作を選択することになる。トラブル解決者は、一部分を選択し、その後で、利用できる選択肢のメニューおよび使用されようとする力の量から、例えば押す、引っ張る、回転させるまたはこれらの組み合わせなどの、適切な動作を選ぶ。このような動作は、モバイルディスプレイ上でユーザへ示されて、選択された部分に対してビジュアル指標がアクティブ化される。その一部分上に使用すべき力の量を指し示すと、動作を正確に実行するのに必要とする適切な力を、異なる輝度がユーザに指し示すことになる。移動の検知も、ビジュアル指標の一連のアクティブ化において、指し示すことができる。トラブル解決者のために動作を指定する実現性は、記憶リソースからの選択動作であり、モバイルUI上に表示される主ウィンドウ内の機器の提示物上へ、選択動作をドラッグ・アンド・ドロップすることである。
【0072】
代わりの構成としては、専門家はユーザを電話で保留状態にすることができ、その結果、トラブル解決者は、例えばいくつかのテストをユーザと共有せずに行う目的のために、一時的にユーザから切断されることになる。この状況においてユーザ側では、モバイルUIは、ユーザに保留状態を通知するメッセージを示すことになる。用語「保留」が、コールセンターのトラブル解決者が使用する現在の電話隠喩を保持するように機能するようなミューティング行動を、「保留」は意味している。
【0073】
主題システムの重要な態様は、ユーザが、機器の実際の状態を共有仮想機器表現と比較して、専門家が正しい機器状態として指し示すものと、ユーザが見ている実際の状態との間の任意の差を特定する48ことができることである。例えば、共有仮想機器表現が、特定の掛け金を正しく正常な位置にあるように示し、かつ掛け金が指し示された位置にないことを、ユーザが比較によって見ることができる場合、掛け金の位置決め誤りは、問題の供給源であることがあり、掛け金を正しい位置へ移動することは、ユーザが探し求めた所望の補正動作となるかもしれない。主題の構成部品における特定の位置決めの伝達後には、ユーザは、選択的な機器位置および/または構成部品を特定するために、たたき動作および/または非接触動作を再び開始する50ことができる。実際の機器状態と専門家が考察する機器状態との間の差を明確に特定するために、機器内部のシステムセンサは、通信リンクを通じて、選択された位置および/または構成部品を認識する52とともに伝達することができる。次いで、専門家が問題および差を特定して54、ユーザに補正動作を明確に指し示すことができ、その結果ユーザはその補正動作を実行することができる56。
【0074】
上述の例は、説明の目的で提供されたが、上述の例に限定されないことを理解されたい。例えば、問題を表す1つ以上の通信、および/または問題を解決する動作を提案する1つ以上の通信があるとすることができることを理解されたい。例えば、補正動作56の実行後、機器の1つ以上の他の共有仮想表現が発生し38、ユーザおよびトラブル解決専門家に同期してともに表示することができる40。
【0075】
図5、図6および図7を参照すると、主題システムを含む典型的な機器が示される。図5は、非接触式センサ82を有する機器80を図示し、このセンサは、例えば非接触容量性センサであり、機器80の部品を特定するために、人の近接性を非接触で検出することができる。詳細に上述したように、トラブル解決専門家へ問題を伝達するために、ユーザは、通常、機器の一部分を特定する。ユーザは、非接触式センサ82が発生させる場を乱すことによって、例えば描写されるように、手または指で場に浸入することによって、機器80の一部分を指し示すことができる。その情報は、位置コントローラ84を経由してトラブル解決者へ伝達され、トラブル解決者は、詳細に上述したように、共有仮想機器表現87上にその結果をビジュアル化することができる。その結果および任意の音声会話は、専門家へ問題を効果的に伝達する。
【0076】
図6は、機器80のユーザ選択部品を特定するたたき動作センサ88を有する機器80を図示する。ユーザは、一部分をたたく、またはその一部分を軽くたたくことによって、機器80のその一部分を指し示すことができる。同様に、その情報は、位置コントローラ84を経由してトラブル解決者へ伝達され、トラブル解決者は、その結果をモバイルUI87上にビジュアル化するが、その結果および任意の音声会話は、専門家へ問題を効果的に伝達する。
【0077】
図7は、より良好に機器または構成部品の位置決めを特定するためのビジュアル指標位置決めを図示する。図5および図6において説明された非接触式およびたたき動作センサによって検出されたユーザ動作に応じて、トラブル解決側の専門家は、補正動作を提案して問題を解決するために、モバイルUI87を経由して機器80の一部分を指し示すことができる。1つ以上の照射エレメントなどの種々のビジュアル指標92を通じて、ディスプレイ90上に、特定部分がユーザへ遠隔的に示される。描写されるように、LEDコントローラ94は、1つ以上のビジュアル指標92に照射するのに用いることができる。次いで専門家は、ユーザが機器80または機器80の特定部品上で実行すべき動作を選択することができる。この動作は、ユーザへ提供されて、選択された部品に対するビジュアル指標90がアクティブ化される。
【0078】
主題のトラブル解決を共同作業することに対して上述した手順は、ただ単に典型的であるにすぎず、ユーザおよび専門家が通信プロセスの効率をさらに高めると判断することができる一連の処理に並べ替えることができる。
【0079】
ここで、例えば複合機のような機器の共有された3次元(3D)仮想表現などの、上述した共有仮想表現を表示するように構成される機器用に、着脱可能なディスプレイユニットが説明される。共有仮想表現は、機器の共有仮想表現を表示するとともに、機器のユーザが操作可能な部品上で動作を実行するようにユーザをガイドすることによって、ユーザを助け、それによって、一般に、部品故障、および用紙、インクもしくはトナーなどの消耗品の補充または取り換えの必要性などの、機器に関する問題を解決し、用紙経路ネットワーク内の用紙輸送妨害物を取り除き、各設定を調整するなどを行う。通常の動作では、UIディスプレイは、機器上に固定されて、従来の機器ディスプレイとして機能し、それによってユーザが、印刷、コピー、および同類のものなどの機器機能を実行するのを助ける。
【0080】
本開示の共同作業システムに関連付けられた典型的なモバイルUI(すなわち、着脱可能なディスプレイユニット)装置および方法が、印刷、スキャン、および/または他の機能もしくは同類のものを有する画像描画複合機に関して説明されているものの、本システムおよび方法は、他の複雑な機器、具体的には、マシンについてのユーザの一般の経験を用いて容易には解決されない問題にユーザが直面する可能性がある電気機械式機器に、同等に適用できることを理解されたい。
【0081】
図8は、着脱可能なディスプレイユニット102を含む典型的な複合機(MFD)100を図示する。ディスプレイユニット102は、故障部品のトラブル解決を容易に行うために、ユーザによって利用することができる。ディスプレイユニット102は、トラブル解決セッションの間、複合機100にもっとも近い位置で利用することができる。図8は、ドッキング位置にあるディスプレイユニット102を示し、ドッキング位置においてディスプレイユニット102は、複合機の上面へ、取り外し可能なように取り付けられる。ディスプレイユニット102は、ユーザ105によって複合機のドッキングアセンブリ104から分離して、図9に示されるように、ドッキングアセンブリから間隔を置いた現在の位置へ、移動することができる。ディスプレイユニットは、ユーザによってこの位置に保持することができ、それによってユーザは、同時に、例えば故障部品を修理したり、ユーザ視点からの機器の共有仮想表現をトラブル解決者へ提供したりすることなどのユーザ動作を実行しながら、複合機100の適切な部品の動的3D仮想表現を発生させて、トラブル解決者と共有することができるようになる。一実施の形態では、複合機100は、ディスプレイユニットに、有線の通信リンク106を設ける。しかしながら、複合機100は、複合機100とディスプレイユニット102との間のデータの通信を容易にする、既知の有線および/または無線のプロトコルを利用することができる。
【0082】
ディスプレイユニット102は、例えば、ディスプレイユニットを、ドッキング位置から間隔を置いた位置まで、矢印Aの方向へ前方に引っ張ることによって、ドッキングアセンブリ104から取り外すことができる。ディスプレイユニット102は、その位置から矢印x、y、z(例えば、上方向、下方向、横方向、前方向、後方向)によって図示された3次元方向に動かすことができるとともに、新しい方向に向けることができ、例えば矢印Rによって図示されるように、ドッキング位置の水平方向から、垂直により近接した方向へ傾けられ、それによって複合機の前面に位置したユーザは、スクリーンをさらに容易に見ることになる。
【0083】
図9に図示されるように、ディスプレイユニット102は、ドッキングアセンブリ104から取り外されると、例えば複合機のパネル上に位置する留め金108などの、取り付け部材を用いて、もう1つの位置に一時的にはめ込むことができる。この目的のため、ディスプレイユニットは、ここではループのように示される、対応する取り付け部材110を有する。
【0084】
複合機のユーザは、部品および手順、特にユーザが容易に見ることができない内部の部品、の適切なビジュアル化が与えられると、しばしば容易に修復することができる問題に直面する。このような問題の解決を促進するために、ディスプレイユニット102は、ユーザが複合機100の1つ以上の部品に対して作業している間、ユーザおよびトラブル解決者に複合機の動的3D仮想表現を提供する。3D仮想表現は、電気機械式機器に対する着脱可能なディスプレイユニットの現在の位置および方向に従って、ディスプレイユニット102上で描画されて、トラブル解決者へ伝達され、したがって、複合機の一画像というよりもむしろ状況に当てはめられた3Dモデルの共有ビューを提供することになる。
【0085】
図9を参照し続けると、ディスプレイユニット102は、ドッキングアセンブリ104によって定められた受け台113内に収納されるように形作られた筺体112を含む。ディスプレイスクリーン114は、筺体112へ取り付けられる。ディスプレイスクリーン114は、タッチスクリーンでもよい。代わりの構成としてはまたはさらに加えて、ディスプレイユニット上に、ユーザが操作可能な制御機能を含むキーパッド116が、おそらくは提供される。
【0086】
複合機100は、ユーザがユーザ動作を実行することができる、種々の部品を含む。部品の一例として、図9はごみ入れ120を示し、ごみ入れもまた、機器100のユーザが操作可能な部品の3D仮想表現124内の122において、ディスプレイスクリーン114上にグラフィック的(図式的)にビジュアル化される。
【0087】
図10は、ユーザが、いくつかの部品を収容する複合機100のトラブル解決を行うのを助けるために、着脱可能携帯用ディスプレイユニット102を使用する、典型的な動的ディスプレイシステム300を図示する。ディスプレイシステム300は、複合機に対する、特に複合機の静止した一部分に対する、ディスプレイユニット102の位置および方向を追跡する、位置制御ユニット302を含む。位置制御ユニット302は、複合機上に常駐しているように示されるものの、ディスプレイユニット102上に常駐して、例えばリンク106を経由して複合機へ、位置および方向情報を伝達してもよいこともまた、考えられる。ディスプレイユニット102は、位置制御ユニット302へリアルタイム位置データを提供する位置センサ304を含む。位置センサ304は、例えば、直交する3方向で加速ベクトルを測定する、少なくとも1つの3軸加速度計を含む。位置センサ304は、位置制御ユニット302へ加速度ベクトルなどの位置情報を提供する。位置制御ユニットは、ドッキング受け台113内のユニット102の位置などの基準位置に対して、移動した距離を決定することができる。このように、位置センサの位置、およびそれゆえに複合機に対するディスプレイユニットの位置は、空間内の特定の位置まで追跡することができる。
【0088】
ディスプレイユニット102は、基準位置、例えばドッキングアセンブリ104内で、基準位置からの移動の基準点を確立するために初期化される。位置センサ304の基準位置を確立するために、ディスプレイユニット102は、ドッキングアセンブリ104内に設置され、ドッキングアセンブリは、位置制御ユニット302に対する所定の位置を提供する。いったん基準位置が確立されると、ディスプレイユニット102の位置および方向は、実質的に任意の頻度で容易に確かめることができる。ドッキングセンサ306(図9)は、ディスプレイユニット102がドッキングアセンブリ104へ取り付けられる(固定される)かそれともドッキングアセンブリ104から分離されるかを、監視する。ドッキングされている間、ディスプレイユニット102の基準位置は、確立されるとともに保持される。いったんディスプレイユニットが、ドックから1番目の分離位置まで移動すると、ドッキングセンサ306は、ディスプレイユニットが無いことを検出し、位置制御ユニット302を始動して、ディスプレイユニット102の追跡を開始する。
【0089】
位置制御ユニット302は、例えばシステムバス310および/またはリンク106を通じて、機器コントローラ308へインターフェースで接続する。このように、位置制御ユニット302は、ディスプレイユニット102の位置および方向を提供する。ドッキングセンサ306もまた、機器コントローラ308に追跡の開始信号を提供する。機器コントローラ308は、ソフトウェアを利用し、システムバス310を経由して、ディスプレイシステム300の種々の部品から受けるデータを、処理することができる。一実施の形態では、機器コントローラ308は、本明細書で説明されたシステムおよび方法をサポートする。
【0090】
任意の適切なコンピュータ機器が、本実施の形態に従って用いることができることを理解されたい。例えば、スタンドアロン、マルチプロセッサ、分散型、クライアント/サーバ、ミニコンピュータ、メインフレーム、スーパコンピュータ、デジタルおよびアナログ、を含むがこれらに限定されないコンピュータアーキテクチャを、本実施の形態に従って用いることができる。
【0091】
一実施の形態では、機器コントローラは、複合機100と動作可能なように接続されたデジタル・フロント・エンド(DFE:digital front end)によって、ホスト機能を提供される。機器コントローラ308は、コンピュータメモリ314内に記憶された指示を実行する、デジタルプロセッサ312を用いることができる。システムバス310は、システムメモリを含む種々のシステム部品をプロセッサ312に結合してもよい。プロセッサ312は種々に構成され得、例えばシングルコアプロセッサ、デュアルコアプロセッサ、(またはより一般的にはマルチコアプロセッサ)、デジタルプロセッサ、協働数値演算コプロセッサ、デジタルコントローラなどである。
【0092】
システムバス310は、さまざまな市販のバスアーキテクチャのうちのいずれかを用いる、メモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む、いくつかのタイプのバス構造のうちのいずれかとすることができる。
【0093】
メモリ314は、リード・オンリ・メモリ(ROM:read only memory)およびランダム・アクセス・メモリ(RAM:random access memory)を含んでもよい。メモリ314は、ハード・ディスク・ドライブ、例えば着脱可能なディスクから読み取りまたは同ディスクへ書き込む、磁気ディスクドライブ、および例えばCD−ROMディスク読み取り用の、または他の光学媒体から読み取りもしくは同媒体へ書き込む、光ディスクドライブ、などのコンピュータ読み取り可能な媒体のうちの少なくとも何らかの形を、さらに含むことができる。コンピュータ読み取り可能な媒体は、コンピュータによってアクセスすることができる、任意の利用可能な媒体とすることができる。例として、コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体および通信媒体を含んでもよいが、これらに限定されない。コンピュータ記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体であって、コンピュータ読み取り可能な指示、データ構造、プログラムモジュールまたは他のデータなどの情報の記憶用に、任意の方法または技術で実装される媒体を含む。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD−ROM、デジタル・バーサタイル・ディスク(DVD:digital versatile disc)もしくは他の磁気記憶機器、または所望の情報を記憶するのに用いることができる、および機器コントローラ308によってアクセスすることができる、任意の他の媒体を含むが、これらに限定されない。
【0094】
機器コントローラ30は、主メモリ314内に記憶された指示に基づいて、複合機100を制御することもできる。
【0095】
ユーザは、キーパッド116、タッチスクリーン114、または他の図示されない入力機器などのユーザ入力機器を経由して、コマンドおよび情報を入力してもよい。ディスプレイスクリーン114は、ビデオアダプタ(図示されない)などのインターフェースを経由して、システムバス310へ接続されてもよい。
【0096】
ユーザおよびトラブル解決者は、複合機100の少なくとも一部分の動的3D仮想表現124を提供されることによって助けられ、その一部分において、故障部品の表現122は、ハイライトされるか、またはそうでない場合、例えばその一部分の名前および任意選択で他の情報を提供するタグ315によって特定される。ディスプレイシステム、または代わりの構成としては遠隔のトラブル解決を行うクライアントは、3Dモデリングユニット316を含み、同ユニットは、複合機100およびその部品の動的共有3D表現を発生させる。3D仮想表現124は、修復との関連でユーザによって目に見えるまたは利用可能になる、複合機100の少なくとも一部分を含み、他の部分は表現から省略されてもよい。このような表現124は、用紙保管トレイ、点検用ドア、用紙経路内のジャム状態のシートにアクセスするための可動型レバーおよびバッフル、トナーカートリッジまたはインク容器などのマーキング媒体可換型容器、廃棄トナー容器、他の可換型項目、これに関する感光体ベルトおよび定着器ロールヒータ、回収トレイ、ステープル機器、および同類のものなどのフィニッシャ部品を含んでもよい。これらの部品120をビジュアル化するのと同様に、3D仮想表現は、部品にアクセスするおよび/または部品を修復するのに用いられてもよい、ドアを開いたり、レバーを回したり、バッフルを持ち上げたりすることなどの、適切なユーザ動作をビジュアル化する。例えば米国特許出願第12/396,506号明細書および米国特許公開第2006/0197973A1号明細書を参照すると、これらは、参照することによって援用され、典型的な3Dモデリングユニット、および知識ベースを3Dモデリングユニット316と連結する方法を説明する。特に、リンクデータベース(図示されない)は、SKB322から抽出された問題および解決法を、モデリングユニット316によって発生した3Dモデルと連結するのに用いることができるが、この場合には、3Dモデルも、例えば複合機に対するディスプレイユニットの位置および方向を考慮に入れている。
【0097】
3Dモデリングユニット316は、さらに現実的なビジュアル経験を3Dモデルに与えるようにユーザによって処理されると、判断されたディスプレイユニット102の位置および方向に基づいて、3次元のビューを提供することができる。例えば、ディスプレイユニット102は、カメラのビューファインダをまねて、ユーザを複合機100の故障部品へガイドする。ディスプレイユニット102が移動しながら、ディスプレイ上のグラフィック(図形)表現124は、それに応じて変化する。3Dモデリングユニット316は、機器コントローラ308からシステムバス310を経由して、ディスプレイユニット102の相対的な位置および方向を受ける。複合機の寸法は、部品の寸法および位置とともに既知であり、ディスプレイユニット102の位置および方向が、部品の特定の位置と関連付けることができるようにする。仮想表現が、3D仮想表現として説明されるものの、複合機100の2次元の表現もまた、考えられる。
【0098】
3D仮想表現124は、システムバス310を経由して、機器コントローラ308へ提供され、スクリーン114およびユーザ入力機器116を組み込むディスプレイユニット102のグラフィカル・ユーザ・インターフェース(GUI:graphical user interface)318を経由して、表示される。GUI318によって、ユーザが、複合機の仮想表現を共有するトラブル解決者からの指示を受けて、機器構成および好みの設定を変更すること、複合機100のトラブル解決に加えて、コピー、ファックス、スキャン、または同類のものなどの動作の実行を複合機に依頼すること、などの一連の動作を実行することが可能となる。故障の場合には、問題になっている故障部品120に関連付けられた部品センサ320(図9)が、システムバス310を経由して機器コントローラ308へ、故障が発生していることを信号で送る。機器コントローラ308は、システムバス310を経由してGUI318と通信して、問題が発生していることをユーザへ報告する。
【0099】
検索可能知識ベース(SKB)322は、システムバス310を経由して機器コントローラ308とインターフェースで接続して、SKBまたは他のデータベースにアクセスするトラブル解決者によって提供された情報に加えて、部品120に関連付けられたテキスト情報および指示を、GUI318へ提供する。ユーザが、問題および/または機器100に比較的精通している場合、ユーザは、ディスプレイユニット102をドッキング状態から切り離さずに、GUI318へ提供された指示に追随することができる。しかしながら、ユーザにとって、報告された故障の経験が不足している場合、ユーザは、ディスプレイユニット102を分離することができ、同ユニットは、追跡を開始し、複合機100の3D仮想表現の表示を変化させる。
【0100】
図11に図示されるように、故障部品表現122は、矢印などのビジュアル指標126とともにハイライトされて、ハイライトされた部品の位置へユーザをガイドする。仮想表現124およびビジュアル指標126に加えて、GUI318は、機器モデル124に隣接する指示402などの、テキスト情報318を表示することができる。テキスト形式の指示は、コントローラ308によって、SKB322またはトラブル解決者から検索される。指示は、静的とすることができる。または、指示は、例えば、ディスプレイユニット102の位置および方向に基づいて、もしくは部品センサ320によって信号で送られたユーザ動作の実行に基づいて、動的とすることができる。動的ということは、テキスト形式の指示が、ディスプレイユニット102の位置および方向および/またはユーザ動作に基づいて、複雑性、詳細、または同類のものを順番に変化させることを意味する。例えば、1番目の指示が「前面パネルを開ける」であり、前面パネルセンサが、図9に示されるように、パネルが開いたことを検出する場合、この指示は、グレーアウトにされて、この動作が実行されたことを指し示してもよい。
【0101】
SKB322は、問題ステートメント(事例)の構造化電子データベースとすることができ、問題ステートメントは、故障部品と、問題を解決するステップを説明する1つ以上の解決ステートメントとへ連結された、既知の問題の短いテキスト形式の説明でもよい。各解決法は、問題を解決しようとして、ユーザが実行する一連の1つ以上のステップを含む。解決法の一連の処理は、少なくとも次の2つの部分で構成されてもよい:何をする必要があるかを基本的に説明する、タイトル、および問題を解決するためにユーザに1ステップずつ指示を与える、説明。問題ステートメントは、拡張可能マークアップ言語(XML:extensible markup language)文書などのハイパーテキスト文書として記憶されてもよく、同文書は、タグで注釈を付けられ、関連付けられた解決法へ問題ステートメントを連結する。SKBが、複合機100のメモリ314内に位置している間、別の実施の形態では、SKBは、例えばインターネット、またはローカル・エリア・ネットワークなどのネットワークを経由して、遠隔的にアクセスされる。
【0102】
機器状態部品326は、欠陥が検出されると、機器100から、例えば部品センサ320から機器状態に関係するフィードバックを受けて、コントローラと通信する。ユーザが問題を特定する場合には(または部品センサ320を経由して問題が検出されるときであっても)、観察された問題に対して1つ以上の根本的原因が存在して、各根本的原因が1つ以上の一連の解決処理を含んでもよい。SKB322は、問題ステートメントだけの、または問題ステートメントおよび解決法の両方の内容に従って、インデックスをつけられてもよい。このように、ユーザまたはトラブル解決者は、問題ステートメントを選択することができ、その後でユーザは、ディスプレイユニット102を分離して、連結された一連の解決処理のうちの1つを実行し、それによって問題を解決しようと試みる。代わりの構成としては、ユーザは、問題ステートメントを選択する前に、ディスプレイユニット102を分離することができる。解決法は、問題およびその解決法のうちのもっとも可能性の高い原因の状態部品326による判断に基づいて、ランク付けすることができる。
【0103】
図11は、表示されたGUI318を有する着脱可能なディスプレイユニット102を図示する。図示されたディスプレイユニット102は、タッチに応答するディスプレイパネル114を含む。タッチセンサ式は、ディスプレイパネル114が、例えば抵抗率または静電容量変化などの電気的特性における圧力または局所的変化の検知を通じて、熱、光検知、またはパネル114にタッチしているもしくはごく近接している状態に置かれるときのユーザの指を検出する動作検知を通じて、ユーザの指「タッチ」に応答して、タッチデータを発生させることを意味する。例えば電気的信号である、発生したタッチデータは、パネル上の指タッチの位置を特定して、その位置に基づく機器の動作を制御することを可能にする。
【0104】
ディスプレイスクリーン114は、ディスプレイコントローラ324(図9)によって、通信リンク106(図9)を経由してアドレス可能にされてもよく、同コントローラは、動的3D仮想表現124、テキスト情報318、ならびに任意選択で、例えばタブ、ボタン404、406、および同類のもの(図4)のようなユーザ選択可能なグラフィックオブジェクトなどの他のグラフィックスを、ディスプレイスクリーン114に表示させる。タッチデータは、ディスプレイコントローラ324へ伝達されて、同コントローラは、接触場所に基づいて、所定のやり方でグラフィックスを調整する。通常の動作では、ディスプレイコントローラ324からの情報は、システムバス310を経由して機器コントローラ308へ伝達されて、機器コントローラは、この情報を用いて複合機100の動作を制御する。典型的な実施の形態では、ディスプレイスクリーン114はLCDディスプレイパネルであるが、しかしながらOLED、プラズマ、SEC、CRT、または同類のパネルもまた、考えられる。
【0105】
位置コントローラ302、3Dモデリングユニット316、ディスプレイコントローラ324および機器状態部品326は、ハードウェアもしくはソフトウェアまたはこれらの組み合わせで実装されてもよい。一実施の形態では、これらの部品は、メモリ314または別個のメモリなどのメモリに記憶されたソフトウェア指示の形をしていて、プロセッサ312などのプロセッサによって、または別個のプロセッサによって実行される。典型的な実施の形態では、これらの部品のそれぞれが、同一のコンピュータ機器上に常駐するものの、これらの部品の1つ以上は、別個のコンピュータ機器上に常駐して、機器コントローラ308へ通信可能なように連結されてもよいと考えられている。
【0106】
図11への参照に戻ると、トラブル解決モードでは、GUI318は、複合機100の動的3D仮想表現124、および、SKBから検索される関連付けられたテキスト情報318を含む。図示される実施の形態では、情報は、問題を解決する指示402を含む。GUIは、ソフトボタン404として実装される、ポーズ機能、フリーズ機能、またはライブ機能も含むことができるが、しかしながら、物理的な、またはハードボタンを割り当てることも、考えられる。ポーズ機能は、ディスプレイユニット102の位置または方向における変化にかかわらず、現在の3D仮想表現124を維持するように機能する。例えば、ユーザは、提案されたユーザ動作を実行するのに、両手を必要とすることがある。この場合、ユーザは、現在の3D仮想表現をポーズして、床に、または留め金108もしくは代わりの受け台の上(図9)へ、ディスプレイユニット102を置くことができる。留め金108または代わりの受け台は、点検用パネルの内面に位置してもよいし、ユーザが種々のユーザ動作を容易に実行することができる任意の数の位置に置いてもよい。いったんユーザ動作が完了すると、ユーザは、ディスプレイユニット102を拾い上げて、ソフトボタン406をタッチし、それによって複合機100の動的モデルを再開して、プレイ機能、またはフリーズ解除機能を作動する。プレイ機能およびポーズ機能は、代わりの構成としては同一のボタンを利用することができることに留意されたい。
【0107】
一例として、複合機のごみ入れ120がいっぱいであると検知されて、ごみ入れを掃除するように提案される。例えば、部品センサ320は、ごみ入れ122がいっぱいであることを検出して、いっぱいの状態を指し示している検知情報を機器コントローラ308へ伝達する。機器コントローラ308は、GUI318と通信し、それによってユーザおよびトラブル解決者へごみ入れ122の状態を報告する。依然として複合機へ取り付けられた、またはドッキングされたディスプレイユニット102のGUIは、テキスト形式の指示402に加えて、ごみ入れの表現122を含む複合機の一部分のグラフィック表現124を表示する。
【0108】
ユーザが、ごみ入れ122の位置に精通していない場合、ユーザは、ドッキングアセンブリ104からディスプレイユニット102を分離してもよく、同ユニットにおいて、複合機を表示するグラフィック表現124は、位置応答性3Dモデルになる。基準位置、例えばドッキングアセンブリ104に対するディスプレイユニットの現在の位置および方向が与えられたとすると、GUIは、ユーザが決めたディスプレイユニットの位置および方向に適応する3Dモデルを描画することができる。ビジュアル指標126は、実際のごみ入れ120(スクリーン上でハイライトされる)に近接してディスプレイユニットを位置付けるように、ユーザをガイドすることができ、この時点で、ごみ入れ除去に関するさらに詳細なテキスト形式の指示402が、描画された3Dモデル124に隣接して提示することができる。
【0109】
図12を参照して、ユーザがディスプレイユニット102を移動しながら、現在の位置および方向が与えられると、ユーザおよびトラブル解決者124へ提供される3D仮想表現が、複合機100の異なる部品、例えば入力トレイを表してもよい。トラブル解決者が提供するビジュアル指標126は、ユーザをガイドして、ごみ入れの方へディスプレイユニット102を移動するように表示されてもよい。
【0110】
図13を参照すると、ユーザがごみ入れの位置を突き止めるのが、依然として困難である場合、ユーザは、3D表現124が図14に図示される形に見えるように、ズームアウトすることができる。ズームイン機能およびズームアウト機能は、それぞれハードボタン604および602として実装されてもよいが、しかしながら、GUI318内へ統合されたソフトボタンもまた、考えられる。別の実施の形態では、ユーザは、ディスプレイユニット102を保持しながら、複合機100から後ろの方へ下がることができる。位置制御ユニット302は、ディスプレイユニット102が、複合機100からさらに離れていることを判断し、したがってディスプレイユニット102の位置に基づいて、ズーム機能が作動することになる。
【0111】
図14は、ごみ入れの拡大された表現を図示することに加えて、ユーザが、ディスプレイユニット102をごみ入れ122に物理的に近くなるようにするときの3D仮想表現124を図示し、この時点で、ユーザは現在の3D表現124をポーズして、ディスプレイユニットを下ろし、または留め金108の上にもしくは代わりのドッキングアセンブリ内に、ディスプレイユニットを置いてもよい。いったんユーザ動作が完了すると、ユーザは、ディスプレイユニット102をドッキングアセンブリ104内へ戻し、この時点で、ドッキングセンサ306は、複合機100の動的3D仮想表現124および解決された問題に関する任意のテキスト形式の指示の終了を始動する(ユーザが指定された動作を実行して、問題が解決されたと仮定して)。
【0112】
図15は、機器100などの電気機械式機器の位置応答性表示を発生させる典型的な方法を図示する。本方法は、S100において開始する。
【0113】
S102において、電気機械式機器の通常の動作中に、電気機械式機器の現在の状態のデータ特性が、着脱可能なディスプレイユニット102へ伝達される。データは、印刷、ファックス、コピーなどのジョブに対して、例えば、選択可能な用紙のタイプ、コピー数などの機器上で利用できる機能に依存するユーザ選択可能なパラメータを含んでもよい。いったん選択されると、ディスプレイは、印刷されようとするコピーの数、ファックスが送信中かどうかなどの、ジョブの進捗を示してもよい。
【0114】
S104において、電気機械式機器は、同機器の部品のうちの1つに問題を検出したり、部品のうちの1つに問題が存在するというユーザが入力した通知を受けたりする。
【0115】
S107において、電気機械式機器は、遠隔のトラブル解決者との通信リンクを確立する。
【0116】
S110において、ユーザは分離するとともに、システムは、ディスプレイユニットがドックから分離されたことを、例えばセンサ304によって検出して、位置制御ユニット302へ中継される。
【0117】
S112において、ユニット102の1番目の現在位置、例えば、ドッキング位置などの基準位置に対する着脱可能なディスプレイユニットの3D空間的位置および方向が、判断される。
【0118】
S114において、判断された3D空間的位置および/または方向における変化に基づいて、電気機械式機器の動的3D仮想表現が発生するとともに表示される。ユーザが作動しようとする関係のある部品は、ディスプレイ内でハイライトされる。したがって、ユーザおよびトラブル解決者は、複合機の仮想表現および実際の部品が同時に(または事実上同時に)作動するように見ることができる。電気機械式機器の現在の状態のデータ特性は、ユーザ動作が検出されて、着脱可能なディスプレイユニットへ伝達されるにつれて、更新される。
【0119】
S116において、ディスプレイユニットが、例えば空間的位置および/または方向において、1番目の現在位置とは異なる新たな現在位置へ移動する場合、S112およびS114が繰り返される。
【0120】
S118において、ディスプレイユニットがドックに戻ると、ディスプレイユニットの位置に関して変化する動的3D共有仮想表現は中止されて、ディスプレイユニットは通常の動作モードに戻る。
【0121】
本方法は、S120において終了する。
【0122】
図15に図示された本方法は、コンピュータ上で実行されてもよいコンピュータプログラム製品内に実装することができる。コンピュータプログラム製品は、制御プログラムが記録された、ディスク、ハードドライブ、または同類のものなどの、有形のコンピュータ読み取り可能な記録媒体でもよい。コンピュータ読み取り可能な媒体の周知の形は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気記憶媒体、CD−ROM、DVD、もしくは任意の他の光学媒体、RAM、PROM、EPROM、フラッシュEPROM、もしくは他のメモリチップもしくはカートリッジ、またはコンピュータが読み取って利用することができる任意の他の有形の媒体を含む。代わりの構成としては、本方法は、伝送可能な搬送波内に実装されてもよく、この搬送波内で、制御プログラムは、音波または光波などの伝送媒体、電波と赤外線データ通信との間に発生する波および同類のものなどの伝送媒体を用いて、データ信号として具体化される。
【0123】
典型的な方法は、1つ以上の汎用コンピュータ、専用コンピュータ、プログラムされたマイクロプロセッサまたはマイクロコントローラおよび周辺集積回路素子、ASICまたは他の集積回路、デジタル・シグナル・プロセッサ、ディスクリート素子回路などのハード・ワイヤードの電子回路またはロジック回路、PLD、PLA、FPGA、グラフィックカードCPU(GPU)、もしくはPAL、または同類のものなどのプログラマブル・ロジック・デバイス上に実装されてもよい。一般に、図15に示されたフローチャートを実装することができる有限状態マシンを実装することができる任意の機器は、動的な3D表示を発生させるための本方法を実装するのに用いることができる。
【技術分野】
【0001】
本開示は、複写機、プリンタ、ファクシミリ、および複合機などの、事務機材のユーザ向け診断および顧客サービスシステムに関する。
【背景技術】
【0002】
プリンタまたは複写機などの事務機材は、典型的には、ソフトウェアに基づくオペレーティングシステムを用いて、基本的なマシン機能を実行し、マシンが可能な種々のジョブを実現する。しかしながら、ソフトウェア、詳細には高速度複合機に用いられるソフトウェアは、種々の問題および欠陥を被りやすい。このタイプのマシンでは、極端に複雑で洗練されたマシンハードウェアの場合に、新たな問題も生じる。発生するハードウェアおよびソフトウェア問題は、典型的には低い非周期的な率で起こり、したがってマシンにサービスを提供するときに再現することは極めて困難であり、それゆえに解決することは困難である。さらに、これらの問題の多くは顧客によって特定されるが、このような顧客は、典型的にはこのタイプのマシンを診断してサービスを提供する技術的なトレーニングを受けていない。こういう訳で、サービス提供組織が、主要なマシン動作情報、および詳細にはマシン制御システムの性能およびマシン構成部品の物理的状態を反映する情報に、アクセスすることができることが重要である。
【0003】
機材のユーザと納入業者との間の取引協定における周知の特徴は、ユーザが何らかのメンテナンスおよび機材の基本的なトラブル解決に対して、少なくとも部分的に責任があることである。しばしば機材は、ユーザがテストし、操作して、おそらくは取り換えることができる構成部品を有するが、しかし機材への投資を考慮して、ユーザは、納入業者およびそのサービス部門の強いサポートなしに、システム修復に従事することに気が進まない。したがって、機材サービスの正確さおよび効率を高めることは、詳細には、遠隔のトラブル解決サービス部門に対して、機材の状態および発生している問題を、明瞭に表現しまたは判断することに基づいている。技術サポート部門への電話通信のフラストレーションがたまる経験は、一般的に知られており、実際に当該部門へ問題の伝達を試みる洗練されていない顧客の問題が、きわめてよく見られている。
【0004】
典型的には、ユーザがマシンに関する問題に直面し、その問題を解決することができない(またはその問題を自身で解決することを望まない)とき、ユーザ(またはユーザ代表者)は、助けを求めてサポート組織に電話をするが、このような組織は、典型的には支援するのに役立つトラブル解決者を有している。マシンシリアル番号などの目立った細目が取り込まれた後、トラブル解決者は、問題の特性および程度を確かめようとする。問題の本質およびその起こりうる原因がカバーされていなかったとき、トラブル解決者は、問題を解決しようとするいくつかのやり方を提案するか、あるいは、この時点で通話をより高いレベルのサポートへ一番適切に回すように決定する。トラブル解決者は、ユーザに問題を解決してもらおうとする場合、トラブル解決者独自の知識および経験の他に、オンライン知識ベース、物理的なマシン、または同僚の助言などのリソース範囲を利用してもよい。
【0005】
マシンに関する問題を経験しているユーザとトラブル解決者との間の、電話上でのやり取りは、相当数の現象を再発的に伴う。ユーザおよびトラブル解決者は両者間で、問題について、適切な解決法が何であるかの考察を可能にする説明を組み立てる。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】米国特許第7,715,037号明細書
【特許文献2】米国特許出願第12/689,737号明細書
【特許文献3】米国特許出願公開第2010/0125759号明細書
【非特許文献】
【0007】
【非特許文献1】S.Castellani、A.Grasso、J.O’NeillおよびF.Roulland「DESIGNING TECHNOLOGY AS AN EMBEDDED RESOURCE FOR TROUBLESHOOTING」Journal of Computer Supported Cooperative Work (JCSCW)第18巻、No.2−3、199−227頁、2009年
【発明の概要】
【発明が解決しようとする課題】
【0008】
これらのやり取りも、典型的には、必ずしもマシンのそばに(物理的に)位置していない音声回線(電話)に、やり取りを行う者がアクセスだけできる状況下で行われ、それによってユーザは、トラブル解決者との接触を保持しながら、マシンにアクセスする手段を何とかすることが必要となる。音声回線単独では、すべての説明、指示およびフィードバックが口頭だけであることを意味し、ユーザは、初期の問題説明、状況の情報、試行指示の結果などの唯一の供給源であることになる。この結果、トラブル解決者は、ユーザが動作をすでに行ったことを知らないか、それともユーザが動作を正確に行ったことを確信することができないかであるので、ユーザが動作を繰り返すことを頼むことになる。トラブル解決者は、テキストのリソースから可能性のある解決法が得られる場合、この解決法をテキストから要約し、その後で純粋に口頭手段を通して明瞭に表現しなければならないことになる。これらの状況の結果、解決が、よくても準最適である場合に、相当数の問題が発生している。
【0009】
・ユーザは、電話中に、マシンにアクセスできないかもしれないし、他者とのアクセスを調整すること、または電話とマシンとの間で絶えず移動することに、努力を充てる必要があるかもしれない。
【0010】
・トラブル解決者は、現在のマシン状態、ユーザによって着手された以前の動作、およびマシンの以前の調子に関する、潜在的に重要なかつ関係のある情報に欠くことになる。
【0011】
・マシンへの相互のアクセス不足があり、結果として次の努力が充てられる。
【0012】
・問題の表現が相互に同意された状態に達するために、現在の状態を説明し、質問に答えること、
【0013】
・現在の状況に対して、どれほどの指示および指揮が適切に組み立てることができるのかを理解することができずに、指示および指揮を生み出し、折り返し報告すること(潜在的に冗長なフィードバックを必要とし、解明の程度を変化させること)、および
【0014】
・マシンに属する物理的に同一の部品を両者が参照していることを確実にするやり方を、いっしょに考え出すこと。
【図面の簡単な説明】
【0015】
【図1】図1は、本開示に従う共同作業システムの典型的な実施の形態を図示する。
【図2】図2は、本開示に従う典型的なエンドユーザとトラブル解決者とのインターフェースを図示する。
【図3】図3は、共同作業するマシンのトラブル解決をサポートする双方向遠隔ビジュアル化システムについての全体のアーキテクチャである。
【図4】図4は、主題システムに従うマシンユーザおよびトラブル解決専門家によって実行される基本的なステップを示すフローチャートである。
【図5】図5は、本開発を組み込む画像システムの選択された部品を詳細に図示するブロック図である。
【図6】図6は、本開発を組み込む画像システムの選択された部品を詳細に図示するブロック図である。
【図7】図7は、本開発を組み込む画像システムの選択された部品を詳細に図示するブロック図である。
【図8】図8は、複合機(MFD:multifunction device)上にドッキングされた着脱可能なディスプレイユニットを組み込む複合機の斜視図である。
【図9】図9は、動的3D仮想表現を表示する、ドッキング状態から切り離された着脱可能なディスプレイユニットを有する複合機の斜視図である。
【図10】図10は、複合機およびディスプレイシステムの機能ブロック図である。
【図11】図11は、動的3D仮想表現の一実施の形態を図示する着脱可能なディスプレイユニットの拡大斜視図である。
【図12】図12は、動的3D仮想表現の別の実施の形態を図示する着脱可能なディスプレイユニットの拡大斜視図である。
【図13】図13は、動的3D仮想表現の別の実施の形態を図示する着脱可能なディスプレイユニットの拡大斜視図である。
【図14】図14は、動的3D仮想表現の別の実施の形態を図示する着脱可能なディスプレイユニットの拡大斜視図である。
【図15】図15は、図9の動的3D仮想表現ディスプレイシステムを用いて実行することができる方法を図示する。
【発明を実施するための形態】
【0016】
本開示、および本明細書に含まれる典型的な実施の形態は、機器エンドユーザと遠隔のトラブル解決者との間のやり取りを増強する方法およびシステムを提供する。この方法およびシステムは、スクリーンを含むモバイルポータブル機器を使用することに加えて、機器のモデルを含むトラブル解決システムに基づいていて、エンドユーザはスクリーンをメイン機器から分離するとともに、このスクリーンは、スクリーンの位置および方向に従ってモデルを表示することになる。開示された典型的な実施の形態によれば、トラブル解決者は、ユーザ位置を通知されて、エンドユーザの視点からモデルを見ることもできる。モバイル機器は、ライブ情報を送信したり、一視点で固定したり、さらにはトラブル解決者の指示を表示することによってエンドユーザをガイドしたりすることもできる。ユーザの位置を遠隔のトラブル解決者へシームレスにもたらすとともに、エンドユーザ視点からの状況の共有ビューを両者に提供することにより、故障モード中の機器のトラブル解決を効果的に行って修復する、トラブル解決シナリオが強化される。
【0017】
ここでエンドユーザが、遠隔のトラブル解決者と共同作業を行って、例えば複合機などの機器で経験した問題を解決する状況が、考察される。本開示のトラブル解決を共同作業する方法およびシステムは、トラブル解決を共同作業するシステムに関連付けられた、米国特許第7,715,037号明細書および米国特許出願第12/689,737号明細書内に開示された技術の拡張を提供する。この拡張は、複合機の周りにあるモバイルまたは着脱可能スクリーンの位置を使用して、エンドユーザ位置に適応するとともにユーザおよびトラブル解決者によってともに共有される、トラブル解決セッションのビューを組み立てることを含む。
【0018】
実質的には、本開示は、以前に開示されていない次の特徴を提供する。
【0019】
1.トラブル解決を共同作業する状況において仮想ビューを提供する、3D、2Dなどのモデルの使用であって、遠隔のトラブル解決者およびエンドユーザが、ともにこのような1つのビューを共有し、それは、機器の周りにいるエンドユーザの位置および/または方向に、ならびに機器の検知状態に適応する、モデルの使用。
【0020】
2.共有された動的ビュー、およびスクリーンを適切な方向に位置決めすることによってエンドユーザが一部分を指し示す能力を含む次のいくつかのモダリティ、に基づく遠隔の共同作業のサポート。
【0021】
3.検知された機器の状態と観察された機器の状態との間の不一致点の検出に対するサポート。
【0022】
上述したように、ここでエンドユーザが、遠隔のトラブル解決者と共同作業を行って、例えば複合機、プリンタ、スキャナなどの機器で経験した問題を解決する状況が、考察される。エンドユーザおよびトラブル解決者は、典型的には電話を通じて通信し、エンドユーザが問題およびなされた操作を説明して、トラブル解決者が指示を与える。Castellani他による、発明の名称が「BI−DIRECTIONAL REMOTE VISUALIZATION FOR SUPPORTING COLLABORATIVE MACHINE TROUBLESHOOTING(共同作業するマシンのトラブル解決をサポートする双方向遠隔ビジュアル化)」で、発行日が2010年5月11日である、米国特許第7,715,037号明細書、ならびにS.Castellani、A.Grasso、J.O’NeillおよびF.Roullandによる「DESIGNING TECHNOLOGY AS AN EMBEDDED RESOURCE FOR TROUBLESHOOTING(トラブル解決用エンベデッドリソースとしての設計技術)」Journal of Computer Supported Cooperative Work (JCSCW)第18巻、No.2−3、199−227頁、2009年、において開示されたものなどの音声通信に加えて、本明細書で開示される方法およびシステムは、さらに先端のトラブル解決の特徴を提供する。
【0023】
米国特許第7,715,037号明細書によれば、エンドユーザおよびトラブル解決者は、それぞれ(エンドユーザ用に)機器スクリーン上および(トラブル解決者用に)デスクトップ上で、機器状態の共有3D表現を通じて通信して、機器の一部分を指し示すとともに、トラブル解決を行うステップを提案する。しかしながら、スクリーンが一般に機器上に、例えば複合機の上に静的に設置されるので、他の場所の一部分で修復が行われる場合、エンドユーザは、これらの部分への作業の間、スクリーンを見ることができない。さらにその上、表示される情報は、実際の物理的な機器に関連付けられようとする努力を必要とする。これは、スクリーン上に表示された機器の3D表現が、現在のエンドユーザの視点に対して当てはまらないという事実に起因している。トラブル解決者側では、3D表現を通じてトラブル解決者が機器状態に関する情報を入手するにしても、トラブル解決者は、機器に対するエンドユーザの位置およびユーザが見ているものに関する情報を欠いている。
【0024】
本開示の一部の態様によれば、これらの問題は対処される。
【0025】
Castellani他による米国特許第7,715,037号明細書およびMeunier他による米国特許出願第12/689,737号明細書内に開示されたものなどのトラブル解決を共同作業するシステムを用いて、エンドユーザとトラブル解決者との間のやり取りを増強させることが提供される。
【0026】
米国特許第7,715,037号明細書のトラブル解決を共同作業するシステムは、機器に関する問題を経験する機器のエンドユーザが、機器から直接にコールセンターに電話をしたり、機器自体を通じて遠隔のトラブル解決者とやり取りしたりすることを可能にする。エンドユーザおよびトラブル解決者は、機器状態の共有表現を提供される。共有表現は、主に、不調の機器の3Dモデル、ならびにこの3Dモデルとやり取りする手段であって、トラブル解決作業におけるエンドユーザおよびトラブル解決者の役割に適応した相当数の手段で構成される。共有表現は、機器自体側のエンドユーザ、およびトラブル解決者の端末、すなわちトラブル解決者インターフェースへ提示される。この表現は、機器自体へリンクされて、機器の動作がこの表現上に示されるようになり、例えば顧客がドアを開ける場合、そのドアはこの表現上に現れて、トラブル解決者はそれを見ることになる。これは、機器に備わっているセンサを通じて可能となる。相互の視点が、この表現でサポートされるとともにこの表現とやり取りし、エンドユーザは、トラブル解決者に機器の一部分を指し示すことができ、トラブル解決者は、一部分を指し示して、トラブル解決を行うステップを提案することができる。
【0027】
本明細書で説明される典型的な実施の形態によれば、Meunier他による米国特許出願第12/689,737号明細書に見られるように、機器スクリーンは、機器から分離されて、典型的な一実施の形態に従う機器の3D表現が、機器と相対的なスクリーン位置および方向に従って、機器スクリーン上に描画される。
【0028】
加えて、本開示の典型的な態様によれば、2つの視点がトラブル解決者に役立つ。
【0029】
(1)機器の3D表現についてのトラブル解決者のビュー、および
(2)エンドユーザに表示される通りの機器の仮想表現、例えば2D、3Dまたは他のビュー。
【0030】
スクリーンの位置は検出することができるので、スクリーンは、機器に対するエンドユーザのもっともありそうな位置をトラブル解決者に通知するために、「エンドユーザ・センサ」として機能することができる。典型的な一実施の形態によれば、Roullandによる、発明の名称が「SYSTEM AND METHOD FOR LOCATING AN OPERATOR IN A REMOTE TROUBLESHOOTING CONTEXT(遠隔のトラブル解決を行う場面において操作者の位置を突き止めるシステムおよび方法)」で、公開日が2010年5月20日である、米国特許出願公開第2010/0125759号明細書内に記載されたものなどの、粗密位置決めモデルが用いられる。
【0031】
Meunier他による米国特許出願第12/689,737号明細書内に開示されたものとは異なって、スクリーン方向は、初期設定では利用されない。このように、典型的な一実施の形態によれば、特定のエンドユーザ動作が、以下で説明されるように行われる場合を除いて、エンドユーザへ表示される仮想表現は、例えば50cmの、しかしこれに限定されない長さのスクリーンの重要な移動に関してだけ、変化する。さらに、仮想表現は、方向の変化に関して、必ずしも変化しない。加えて、本システムは、床の上にスクリーンを配置すると、ビュー角が変化しないように構成することができる。このように、エンドユーザおよびトラブル解決者は、ともに状況の共通の理解を共有する。
【0032】
本開示の典型的な実施の形態の別の態様によれば、およびMeunier他による米国特許出願第12/689,737号明細書内に開示されたものと同様にして、スクリーンは、エンドユーザの制御の下で、仮想のビデオカメラとして機能することができる。次いでカメラ隠喩に続いて、位置および方向をともに考慮に入れた静止ビューが、エンドユーザによって選択されるが、この静止ビューはトラブル解決者との共有ビューになることができる。
【0033】
任意の静止ビューがトラブル解決者によって使用されて、例えば2Dまたは3Dモード、場合によっては3Dアニメーションを用いて、エンドユーザに機器の特定の場所を指し示すことができる。加えて、モバイルスクリーンは、エンドユーザが、トラブル解決者に伝えるための、機器の一部分、場所などをポイントすることを可能にするポインティングデバイスを備えることができる。
【0034】
トラブル解決プロセスの現在の状態および機器状態が与えられたとすると、典型的な一実施の形態によれば、トラブル解決者は、本システムを制御して、現在の状態から所望の状態へ向かうのに必要となる指示、および所望の状態が達成された後で通知されようとする指示をユーザに示す。
【0035】
機器の実際の状態と検知状態との間に、望ましくない不一致点が生じる可能性があり、この不一致点は、エンドユーザには目に見えるようになってもよく、それは、ユーザが実際の物理的な機器および機器のセンサ入力に基づく機器の仮想表現を、ともに観察しているためである。エンドユーザは、電話を通じて任意のこのような不一致点を報告することができ、場合によってはトラブル解決セッションを促進することになる。例えば、エンドユーザは、描画機能を終了して、仮想表現内の同一の出来事を観察しなくてもよい。
【0036】
次は、本開示に従う、トラブル解決を共同作業するシステムの典型的な実施の形態に関連付けられた特徴の非排他的リストである。着脱可能スクリーン上に表示されたエンドユーザクライアントは、「カメラ/フリーズ」ボタンをさらに含む。
【0037】
図2に示されるように、トラブル解決者には2つの視点が利用可能である。
【0038】
共有視点:機器の3D仮想表現は、エンドユーザとトラブル解決者との間で発生して共有され、機器状態と同期化される。
【0039】
トラブル解決者のローカル視点:トラブル解決者により構成された機器表現は、機器状態およびエンドユーザ視点、すなわち共有視点と同期化したり、接続を切ったりすることができる。
【0040】
このように定義されたクライアント、すなわち共有視点およびローカル視点を用いて、エンドユーザおよびトラブル解決者は、次のやり取りモードに従うトラブル解決セッションにおいて、共同作業を行う。
【0041】
エンドユーザのクライアント内およびトラブル解決者のクライアント内でともに目に見える3D共有表現は、次の3つの別々のやり取りモードに従って動作することができる。
【0042】
ライブ:共有表現は、機器の周りのエンドユーザの位置に従って更新され、比較的安定した画像を保つために、主要な変化だけ考慮に入れる。
【0043】
フリーズ:共有表現は、エンドユーザによって定義された視点において、フリーズされる。
【0044】
ガイド:共有表現は、Meunier他による米国特許出願第12/689,737号明細書内に記載されたような機器上で、一部分の位置を突き止めるおよび/または操作を実行するようにエンドユーザをガイドするために、オーバーレイされた指示を有するライブモードを含む。
【0045】
典型的な一実施の形態によれば、ライブモードは、初期設定モードであり、すなわちこのモードにおいてトラブル解決セッションが開始し、別のモードが終了するたびに、本システムはライブモードに復帰する。
【0046】
トラブル解決者にだけ利用できるローカル視点は、トラブル解決者が仮想の機器を自由に操縦して、機器の一部分を動作させるためのシミュレーションモードに一致する一モードのやり取りだけを可能にする。
【0047】
上述した視点、すなわち共有表現およびローカル表現、ならびに種々のモードから、関係者は次の動作を実行することができる。
【0048】
1)エンドユーザが移動する。
これは、ライブモードにおいて利用できる暗黙の動作である。着脱可能スクリーンをユーザの手に備えて、機器の周りを移動することによって、エンドユーザは、機器の周りのエンドユーザの位置に従って、共有表現の視点を修正している。
【0049】
2)エンドユーザは、ビューをフリーズする。
ライブモードからフリーズモードへ移行するために、エンドユーザは、カメラ/フリーズボタンを押すことができる。ボタンを押さないと、カメラのように機能する着脱可能スクリーンを用いてポイントされた視点に、共有表現がフリーズすることになる。この場合、エンドユーザは、スクリーンが機器からどれほど近接しているかに従って、視点の方向およびズームレベルをともに制御することができる。ボタンの2重押しまたは十分に大きな移動により、スクリーンはライブモードに戻る。
【0050】
3)エンドユーザは、ビュー上の一部分をポイントする。
本システムがフリーズモードにあるとき、エンドユーザは、スクリーンにタッチしたり、フリーズ表現上の1つのエレメントを指し示すために、ポインティングデバイスを用いたりすることができる。このようなフリーズ視点は、さらに利用するために、トラブル解決者によって記憶することができる。我々が主として機器の仮想の3Dモデルの使用を考える一方で、1つの拡張は、スクリーンの内部に実際のスチルカメラを埋め込むことにある。この場合、フリーズ視点は、実際の像で高めることができる。
【0051】
4)トラブル解決者は、ローカル視点で共有視点を更新する。
トラブル解決者は、本システムを制御して、共有視点をトラブル解決者独自のローカル視点と同期化させる。この場合、共有ビューは、ガイドモードへ変わって、適切な視点へ移動するためにエンドユーザへ指示を与える。
【0052】
5)トラブル解決者は、共有視点でローカルビューを更新する。
共有ビューがライブまたはフリーズのとき、トラブル解決者は、ローカル視点をエンドユーザの視点へリセットするように望んでもよい。この場合、ローカル視点は、現在の共有視点へ更新される。
【0053】
6)トラブル解決者は、実行すべき次のステップを指し示す。
この動作は、トラブル解決者がローカルビュー上で仮想の機器の状態を修正したという追加を含む、ローカル視点に関連付けられた情報で、共有視点を更新することと同様である。本システムは、エンドユーザをガイドして、実際の機器上でこの変化を再生する。
【0054】
7)トラブル解決者は、共有ビュー上の一部分をポイントする。
共有ビューがフリーズすると、トラブル解決者は、場所/部分をポイントして、エンドユーザをガイドすることができる。
【0055】
エンドユーザは、3D表現が機器の現在の状態に一致することを検査することができる。この一致が破られるたびに、これは、センサが適切に動作していないか、それとも場合によっては検知されていない部分が予想外の状態にあるかを指し示している。エンドユーザは、この状態の不一致をトラブル解決者に報告して、トラブル解決者は、解決法、回避策を見いだし、または場合によっては遠隔のトラブル解決セッションを中断して技術者を送ることになる。
【0056】
本明細書に説明されるように、主題システムは、機器問題を解決しようとするとき、ユーザ/トラブル解決者間のやり取りにおいて生じる共通の障壁を乗り越えるシステムおよび方法を含む。機器は、トラブル解決専門家とユーザとの間におけるインフラストラクチャの媒介者となって、双方向の機器の共有仮想表現を作り出し、ユーザおよびトラブル解決者は、機器に関連付けられた問題のトラブル解決を行うために、この共有仮想表現を操作して、動作を調整するとともに実行することができる。ユーザは、機器を通じて技術サポートにアクセスして、音声映像通信回線を介してトラブル解決者との独立したまたは提案されたやり取りを実行する。したがって、大部分の関係者には、機器上で実際に実行される動作をリアルタイムに理解することが実施可能となり、それによって一般におよび現在、トラブル解決シナリオに影響を及ぼしている、記述的および空間的問題を克服するリソースが提供される。共有表現は、技術サポートが、機器上で動作を実行するために、遠隔のユーザの能力をより良好に利用することを可能にする。
【0057】
したがって、共有表現は、トラブル解決者の問題の理解を高めて、解決法の発見をさらに支援する。主題システムは、トラブル解決者とユーザとの間を媒介して、問題の供給源、すなわち機器への相互のアクセスを有しないにもかかわらず、両者が相互に解決法に達することを可能にする。主要な利益は、音声だけのやり取りで達成されるが、これは、大部分のユーザ/トラブル解決者間のやり取りが、部分を説明すること、指示を配信することなどの、空間的本質の作業を伴うためである。
【0058】
本開示の共同作業システムおよび方法の典型的な実施の形態が、図3〜図15を参照して以下に説明される。
【0059】
図3を参照すると、画像機器10(プリンタ/複写機、複合機)は、従来のファイアウォール/イントラネット/インターネットリンクを含む通信リンク14を経由して、サービス部門/トラブル解決者12へ接続される。トラブル解決者12は、通話管理システム16および知識ベース18を含み、知識ベース18は、顧客情報および通話サポート情報を含むデータベースを含み、さらに詳細にはトラブル解決者12は、知識ベース18内に、記憶された機器10のデータ識別、および機器のサービスを提供する場合にユーザが見ることになるような機器10の求められるビジュアル表現のモデル、を含む。ユーザは、以下でさらに十分に詳細になるように、音声入力/出力、および共有表現の表示用のビジュアル画像機器21を通じて、強化されたユーザ/トラブル解決者間のやり取りにアクセスすることができる。
【0060】
図4を参照すると、トラブル解決を行うこともしくは解決することができない、または自身で解決することを望まないような、機器に関する問題をユーザが見出す30とき、主題のトラブル解決シナリオが開始される。このような問題は、本来はソフトウェアでもハードウェアでもよいが、しかし次の典型的な説明では、ハードウェアだけの場合と同様に説明されることになる。機器10のディスプレイのユーザインターフェース(「UI」:user interface)上で、「電話呼び出しサポート」ボタンを選択することによって、電話呼び出しが遠隔のサポートセンターおよびトラブル解決者12に入る32。代わりの構成としては、機器10が問題を検出すると、その問題がユーザに指し示され、ユーザは、サポートに電話すべきであることを、UIを経由して助言される。音声ビジュアル・リンクは、関係のあるデータを伝送するためのセキュアなデータ接続を経由して、顧客サポートセンター・サーバへ音声をセキュアにエンド・ツー・エンド接続することを含む。関係のあるデータは、次のいずれかまたはすべてを含むことができる。
【0061】
・機器シリアル番号、
・ユーザがログインされる場合、例えば名前および他の任意の関係のある情報などの、ユーザID、
・機器の現在の状態でのセンサ情報などの、機器診断データ、
・例えばトナーの取り換えなどの、機器イベント上の履歴情報、および
・ユーザのトラブル解決ツールとのやり取り、例えば知識ベースなどのとのやり取りなどの、やり取りデータ。
【0062】
トラブル解決を行う遠隔のサーバは、それ自体に記憶された、機器を特定する34データ、および他のトラブル解決セッションの記録との組み合わせで、関係のあるデータを使用し、それによって初期の機器表現を組み立てる。次いで、ユーザは、サービス依頼電話が入った後、音声リンクを確立する36ためヘッドセットを装着するように求められる。代わりの構成としては、セキュアな音声接続が形成されて、オペレータが電話に出ると、音声およびビジュアル信号が、例えば電話スタイルの呼び出し音および「ヘッドセットを装着してください」とのメッセージとなるようにしてもよい。初期の機器表現が発生し38、ユーザおよびトラブル解決専門家へともに同期して表示される40。機器表現のユーザ指向版は、例えばドアが開けられているなどを示す、機器の現在の状態のビジュアル表現を含む。トラブル解決者に利用可能な、機器の補足的ローカル表現は、何にアクセスできたかおよび現在の問題に何が関係あるかに従って、変化することができる次の情報の一部または全部を含む。
【0063】
a)利用可能なら、次の記載事項を示す機器の履歴:
・例えば部品の取り換えを含む、フィールドエンジニアの介入セッション、
・以前のトラブル解決を共同作業するセッション、
・以前のユーザのトラブル解決セッション、
・例えば消耗品の取り換え、例えば用紙ジャムなどの警報を含む、メンテナンスセッション、
・例えばトレイ1が開いているなどの、通常のやり取り。
【0064】
履歴は、次のように表すことができる:
(1)単純に構造化されていないまたは構造化されたリスト(例えばツリー)として、もしくは
(2)ノードが機器の状態を表す、状態図として、または
(3)機器の状態における物理的な変化を示すアニメーションによって。トラブル解決者は、履歴内の記載事項を操縦し、さらに細目を見て、ユーザが電話でサービス依頼をする前に機器上で実行した動作、またはすでに起こっていた類似の問題を見出すことができる。
【0065】
b)機器の現在の状態は、次の事柄を含む:
1.ユーザが現在見ているような(仮想モデルまたは画像による)機器のビジュアル説明。加えて、この表現は、別々の空間的視点(前面側、左側、右側、背面側)からのビューで強化することができて、一見しただけで問題を容易に認識することができる。
2.次の事柄などの他の潜在的選択肢:
i.画像品質問題のサンプル、
ii.機器が生み出す雑音のサンプル、
iii.異常な振動のサンプル。
【0066】
c)機器のビジュアル表現および空間的視点を用いて表示される、機器に対するユーザの位置。
【0067】
d)共同作業システムを通じてやり取りする手段。
【0068】
共同作業のインターフェースが確立された後、ユーザは、機器上で動作を実行することができ、モバイルディスプレイ上でやり取りの現在の状態を示す画像インターフェースを提供される。したがって、共同作業システムは、機器のユーザと助言するトラブル解決者との間の共有仮想表現の双方向のビジュアル化を含む。
【0069】
トラブル解決プロセスの間に、トラブル解決者12は、例えば機器の一部分を移動させるなどの、特定のトラブル解決操作を実行するために何をすべきかに関する指示を、ユーザに与えることができる。トラブル解決者は、次に示すUI(ユーザインターフェース)を提供される:
・現在検知されている動作(例えばトレイが開いている)、機器の履歴、既知の場合にはユーザの位置、およびトラブル解決者と共有される機器の仮想表現を含み、やり取りから結果として生じるような機器の現在の状態を示す、インタラクティブな主ウィンドウ。
・ユーザの動作を示すウィンドウ内の制御ボタンも提供される。
【0070】
トラブル解決専門家へ機器問題を伝達する42ためには、ユーザは、通常、機器の一部分を指し示す必要がある。このような指示は、信号を送り、特定するためのモバイルUIを用いることによって達成されるが、例えばカーソルは、UIディスプレイの主ウィンドウ上およびユーザの動作を示すウィンドウ上で、ともに部分を指し示すことができる。ユーザは、一部分をたたく、例えばその一部分を軽くたたく、および/またはその一部分にごく近接した状態になる、例えば非接触式センサに関連付けられた欄に入力することによっても、その一部分を指し示すことができる。さらに加えて、ユーザは、機器上で動作を実行することができる。ユーザによって実行された動作に関する情報は、トラブル解決者へ送られて、トラブル解決者は、機器の共有仮想表現およびトラブル解決者にだけ利用できるローカルの機器表現の両方で、ユーザ動作の結果を見る。音声会話に加えて、このような動作は、専門家へ機器問題を効果的に伝達する42。
【0071】
ユーザ動作に応じて、トラブル解決側の専門家は、補正動作を提案して問題を解決する究極の目的のために、ユーザディスプレイを制御することによって、共有仮想表現上に表された機器の一部分を指し示すこともできる。特定部分は、機器モバイルディスプレイ上にユーザによって遠隔的に示されるが、代わりの構成としては、利用できるなら、例えばLEDなどのビジュアル指標が、部分特定を容易にする。LEDは、機器の一部分上で、ユーザが位置を特定するのに特別に助けとなるようにアクティブ化される。専門家は、このような指示の後、次いで機器上で、または機器の共有仮想表現に表すことができる部分上で、ユーザが実行すべき動作を選択することになる。トラブル解決者は、一部分を選択し、その後で、利用できる選択肢のメニューおよび使用されようとする力の量から、例えば押す、引っ張る、回転させるまたはこれらの組み合わせなどの、適切な動作を選ぶ。このような動作は、モバイルディスプレイ上でユーザへ示されて、選択された部分に対してビジュアル指標がアクティブ化される。その一部分上に使用すべき力の量を指し示すと、動作を正確に実行するのに必要とする適切な力を、異なる輝度がユーザに指し示すことになる。移動の検知も、ビジュアル指標の一連のアクティブ化において、指し示すことができる。トラブル解決者のために動作を指定する実現性は、記憶リソースからの選択動作であり、モバイルUI上に表示される主ウィンドウ内の機器の提示物上へ、選択動作をドラッグ・アンド・ドロップすることである。
【0072】
代わりの構成としては、専門家はユーザを電話で保留状態にすることができ、その結果、トラブル解決者は、例えばいくつかのテストをユーザと共有せずに行う目的のために、一時的にユーザから切断されることになる。この状況においてユーザ側では、モバイルUIは、ユーザに保留状態を通知するメッセージを示すことになる。用語「保留」が、コールセンターのトラブル解決者が使用する現在の電話隠喩を保持するように機能するようなミューティング行動を、「保留」は意味している。
【0073】
主題システムの重要な態様は、ユーザが、機器の実際の状態を共有仮想機器表現と比較して、専門家が正しい機器状態として指し示すものと、ユーザが見ている実際の状態との間の任意の差を特定する48ことができることである。例えば、共有仮想機器表現が、特定の掛け金を正しく正常な位置にあるように示し、かつ掛け金が指し示された位置にないことを、ユーザが比較によって見ることができる場合、掛け金の位置決め誤りは、問題の供給源であることがあり、掛け金を正しい位置へ移動することは、ユーザが探し求めた所望の補正動作となるかもしれない。主題の構成部品における特定の位置決めの伝達後には、ユーザは、選択的な機器位置および/または構成部品を特定するために、たたき動作および/または非接触動作を再び開始する50ことができる。実際の機器状態と専門家が考察する機器状態との間の差を明確に特定するために、機器内部のシステムセンサは、通信リンクを通じて、選択された位置および/または構成部品を認識する52とともに伝達することができる。次いで、専門家が問題および差を特定して54、ユーザに補正動作を明確に指し示すことができ、その結果ユーザはその補正動作を実行することができる56。
【0074】
上述の例は、説明の目的で提供されたが、上述の例に限定されないことを理解されたい。例えば、問題を表す1つ以上の通信、および/または問題を解決する動作を提案する1つ以上の通信があるとすることができることを理解されたい。例えば、補正動作56の実行後、機器の1つ以上の他の共有仮想表現が発生し38、ユーザおよびトラブル解決専門家に同期してともに表示することができる40。
【0075】
図5、図6および図7を参照すると、主題システムを含む典型的な機器が示される。図5は、非接触式センサ82を有する機器80を図示し、このセンサは、例えば非接触容量性センサであり、機器80の部品を特定するために、人の近接性を非接触で検出することができる。詳細に上述したように、トラブル解決専門家へ問題を伝達するために、ユーザは、通常、機器の一部分を特定する。ユーザは、非接触式センサ82が発生させる場を乱すことによって、例えば描写されるように、手または指で場に浸入することによって、機器80の一部分を指し示すことができる。その情報は、位置コントローラ84を経由してトラブル解決者へ伝達され、トラブル解決者は、詳細に上述したように、共有仮想機器表現87上にその結果をビジュアル化することができる。その結果および任意の音声会話は、専門家へ問題を効果的に伝達する。
【0076】
図6は、機器80のユーザ選択部品を特定するたたき動作センサ88を有する機器80を図示する。ユーザは、一部分をたたく、またはその一部分を軽くたたくことによって、機器80のその一部分を指し示すことができる。同様に、その情報は、位置コントローラ84を経由してトラブル解決者へ伝達され、トラブル解決者は、その結果をモバイルUI87上にビジュアル化するが、その結果および任意の音声会話は、専門家へ問題を効果的に伝達する。
【0077】
図7は、より良好に機器または構成部品の位置決めを特定するためのビジュアル指標位置決めを図示する。図5および図6において説明された非接触式およびたたき動作センサによって検出されたユーザ動作に応じて、トラブル解決側の専門家は、補正動作を提案して問題を解決するために、モバイルUI87を経由して機器80の一部分を指し示すことができる。1つ以上の照射エレメントなどの種々のビジュアル指標92を通じて、ディスプレイ90上に、特定部分がユーザへ遠隔的に示される。描写されるように、LEDコントローラ94は、1つ以上のビジュアル指標92に照射するのに用いることができる。次いで専門家は、ユーザが機器80または機器80の特定部品上で実行すべき動作を選択することができる。この動作は、ユーザへ提供されて、選択された部品に対するビジュアル指標90がアクティブ化される。
【0078】
主題のトラブル解決を共同作業することに対して上述した手順は、ただ単に典型的であるにすぎず、ユーザおよび専門家が通信プロセスの効率をさらに高めると判断することができる一連の処理に並べ替えることができる。
【0079】
ここで、例えば複合機のような機器の共有された3次元(3D)仮想表現などの、上述した共有仮想表現を表示するように構成される機器用に、着脱可能なディスプレイユニットが説明される。共有仮想表現は、機器の共有仮想表現を表示するとともに、機器のユーザが操作可能な部品上で動作を実行するようにユーザをガイドすることによって、ユーザを助け、それによって、一般に、部品故障、および用紙、インクもしくはトナーなどの消耗品の補充または取り換えの必要性などの、機器に関する問題を解決し、用紙経路ネットワーク内の用紙輸送妨害物を取り除き、各設定を調整するなどを行う。通常の動作では、UIディスプレイは、機器上に固定されて、従来の機器ディスプレイとして機能し、それによってユーザが、印刷、コピー、および同類のものなどの機器機能を実行するのを助ける。
【0080】
本開示の共同作業システムに関連付けられた典型的なモバイルUI(すなわち、着脱可能なディスプレイユニット)装置および方法が、印刷、スキャン、および/または他の機能もしくは同類のものを有する画像描画複合機に関して説明されているものの、本システムおよび方法は、他の複雑な機器、具体的には、マシンについてのユーザの一般の経験を用いて容易には解決されない問題にユーザが直面する可能性がある電気機械式機器に、同等に適用できることを理解されたい。
【0081】
図8は、着脱可能なディスプレイユニット102を含む典型的な複合機(MFD)100を図示する。ディスプレイユニット102は、故障部品のトラブル解決を容易に行うために、ユーザによって利用することができる。ディスプレイユニット102は、トラブル解決セッションの間、複合機100にもっとも近い位置で利用することができる。図8は、ドッキング位置にあるディスプレイユニット102を示し、ドッキング位置においてディスプレイユニット102は、複合機の上面へ、取り外し可能なように取り付けられる。ディスプレイユニット102は、ユーザ105によって複合機のドッキングアセンブリ104から分離して、図9に示されるように、ドッキングアセンブリから間隔を置いた現在の位置へ、移動することができる。ディスプレイユニットは、ユーザによってこの位置に保持することができ、それによってユーザは、同時に、例えば故障部品を修理したり、ユーザ視点からの機器の共有仮想表現をトラブル解決者へ提供したりすることなどのユーザ動作を実行しながら、複合機100の適切な部品の動的3D仮想表現を発生させて、トラブル解決者と共有することができるようになる。一実施の形態では、複合機100は、ディスプレイユニットに、有線の通信リンク106を設ける。しかしながら、複合機100は、複合機100とディスプレイユニット102との間のデータの通信を容易にする、既知の有線および/または無線のプロトコルを利用することができる。
【0082】
ディスプレイユニット102は、例えば、ディスプレイユニットを、ドッキング位置から間隔を置いた位置まで、矢印Aの方向へ前方に引っ張ることによって、ドッキングアセンブリ104から取り外すことができる。ディスプレイユニット102は、その位置から矢印x、y、z(例えば、上方向、下方向、横方向、前方向、後方向)によって図示された3次元方向に動かすことができるとともに、新しい方向に向けることができ、例えば矢印Rによって図示されるように、ドッキング位置の水平方向から、垂直により近接した方向へ傾けられ、それによって複合機の前面に位置したユーザは、スクリーンをさらに容易に見ることになる。
【0083】
図9に図示されるように、ディスプレイユニット102は、ドッキングアセンブリ104から取り外されると、例えば複合機のパネル上に位置する留め金108などの、取り付け部材を用いて、もう1つの位置に一時的にはめ込むことができる。この目的のため、ディスプレイユニットは、ここではループのように示される、対応する取り付け部材110を有する。
【0084】
複合機のユーザは、部品および手順、特にユーザが容易に見ることができない内部の部品、の適切なビジュアル化が与えられると、しばしば容易に修復することができる問題に直面する。このような問題の解決を促進するために、ディスプレイユニット102は、ユーザが複合機100の1つ以上の部品に対して作業している間、ユーザおよびトラブル解決者に複合機の動的3D仮想表現を提供する。3D仮想表現は、電気機械式機器に対する着脱可能なディスプレイユニットの現在の位置および方向に従って、ディスプレイユニット102上で描画されて、トラブル解決者へ伝達され、したがって、複合機の一画像というよりもむしろ状況に当てはめられた3Dモデルの共有ビューを提供することになる。
【0085】
図9を参照し続けると、ディスプレイユニット102は、ドッキングアセンブリ104によって定められた受け台113内に収納されるように形作られた筺体112を含む。ディスプレイスクリーン114は、筺体112へ取り付けられる。ディスプレイスクリーン114は、タッチスクリーンでもよい。代わりの構成としてはまたはさらに加えて、ディスプレイユニット上に、ユーザが操作可能な制御機能を含むキーパッド116が、おそらくは提供される。
【0086】
複合機100は、ユーザがユーザ動作を実行することができる、種々の部品を含む。部品の一例として、図9はごみ入れ120を示し、ごみ入れもまた、機器100のユーザが操作可能な部品の3D仮想表現124内の122において、ディスプレイスクリーン114上にグラフィック的(図式的)にビジュアル化される。
【0087】
図10は、ユーザが、いくつかの部品を収容する複合機100のトラブル解決を行うのを助けるために、着脱可能携帯用ディスプレイユニット102を使用する、典型的な動的ディスプレイシステム300を図示する。ディスプレイシステム300は、複合機に対する、特に複合機の静止した一部分に対する、ディスプレイユニット102の位置および方向を追跡する、位置制御ユニット302を含む。位置制御ユニット302は、複合機上に常駐しているように示されるものの、ディスプレイユニット102上に常駐して、例えばリンク106を経由して複合機へ、位置および方向情報を伝達してもよいこともまた、考えられる。ディスプレイユニット102は、位置制御ユニット302へリアルタイム位置データを提供する位置センサ304を含む。位置センサ304は、例えば、直交する3方向で加速ベクトルを測定する、少なくとも1つの3軸加速度計を含む。位置センサ304は、位置制御ユニット302へ加速度ベクトルなどの位置情報を提供する。位置制御ユニットは、ドッキング受け台113内のユニット102の位置などの基準位置に対して、移動した距離を決定することができる。このように、位置センサの位置、およびそれゆえに複合機に対するディスプレイユニットの位置は、空間内の特定の位置まで追跡することができる。
【0088】
ディスプレイユニット102は、基準位置、例えばドッキングアセンブリ104内で、基準位置からの移動の基準点を確立するために初期化される。位置センサ304の基準位置を確立するために、ディスプレイユニット102は、ドッキングアセンブリ104内に設置され、ドッキングアセンブリは、位置制御ユニット302に対する所定の位置を提供する。いったん基準位置が確立されると、ディスプレイユニット102の位置および方向は、実質的に任意の頻度で容易に確かめることができる。ドッキングセンサ306(図9)は、ディスプレイユニット102がドッキングアセンブリ104へ取り付けられる(固定される)かそれともドッキングアセンブリ104から分離されるかを、監視する。ドッキングされている間、ディスプレイユニット102の基準位置は、確立されるとともに保持される。いったんディスプレイユニットが、ドックから1番目の分離位置まで移動すると、ドッキングセンサ306は、ディスプレイユニットが無いことを検出し、位置制御ユニット302を始動して、ディスプレイユニット102の追跡を開始する。
【0089】
位置制御ユニット302は、例えばシステムバス310および/またはリンク106を通じて、機器コントローラ308へインターフェースで接続する。このように、位置制御ユニット302は、ディスプレイユニット102の位置および方向を提供する。ドッキングセンサ306もまた、機器コントローラ308に追跡の開始信号を提供する。機器コントローラ308は、ソフトウェアを利用し、システムバス310を経由して、ディスプレイシステム300の種々の部品から受けるデータを、処理することができる。一実施の形態では、機器コントローラ308は、本明細書で説明されたシステムおよび方法をサポートする。
【0090】
任意の適切なコンピュータ機器が、本実施の形態に従って用いることができることを理解されたい。例えば、スタンドアロン、マルチプロセッサ、分散型、クライアント/サーバ、ミニコンピュータ、メインフレーム、スーパコンピュータ、デジタルおよびアナログ、を含むがこれらに限定されないコンピュータアーキテクチャを、本実施の形態に従って用いることができる。
【0091】
一実施の形態では、機器コントローラは、複合機100と動作可能なように接続されたデジタル・フロント・エンド(DFE:digital front end)によって、ホスト機能を提供される。機器コントローラ308は、コンピュータメモリ314内に記憶された指示を実行する、デジタルプロセッサ312を用いることができる。システムバス310は、システムメモリを含む種々のシステム部品をプロセッサ312に結合してもよい。プロセッサ312は種々に構成され得、例えばシングルコアプロセッサ、デュアルコアプロセッサ、(またはより一般的にはマルチコアプロセッサ)、デジタルプロセッサ、協働数値演算コプロセッサ、デジタルコントローラなどである。
【0092】
システムバス310は、さまざまな市販のバスアーキテクチャのうちのいずれかを用いる、メモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む、いくつかのタイプのバス構造のうちのいずれかとすることができる。
【0093】
メモリ314は、リード・オンリ・メモリ(ROM:read only memory)およびランダム・アクセス・メモリ(RAM:random access memory)を含んでもよい。メモリ314は、ハード・ディスク・ドライブ、例えば着脱可能なディスクから読み取りまたは同ディスクへ書き込む、磁気ディスクドライブ、および例えばCD−ROMディスク読み取り用の、または他の光学媒体から読み取りもしくは同媒体へ書き込む、光ディスクドライブ、などのコンピュータ読み取り可能な媒体のうちの少なくとも何らかの形を、さらに含むことができる。コンピュータ読み取り可能な媒体は、コンピュータによってアクセスすることができる、任意の利用可能な媒体とすることができる。例として、コンピュータ読み取り可能な媒体は、コンピュータ記憶媒体および通信媒体を含んでもよいが、これらに限定されない。コンピュータ記憶媒体は、揮発性および不揮発性、リムーバブルおよび非リムーバブル媒体であって、コンピュータ読み取り可能な指示、データ構造、プログラムモジュールまたは他のデータなどの情報の記憶用に、任意の方法または技術で実装される媒体を含む。コンピュータ記憶媒体は、RAM、ROM、EEPROM、フラッシュメモリもしくは他のメモリ技術、CD−ROM、デジタル・バーサタイル・ディスク(DVD:digital versatile disc)もしくは他の磁気記憶機器、または所望の情報を記憶するのに用いることができる、および機器コントローラ308によってアクセスすることができる、任意の他の媒体を含むが、これらに限定されない。
【0094】
機器コントローラ30は、主メモリ314内に記憶された指示に基づいて、複合機100を制御することもできる。
【0095】
ユーザは、キーパッド116、タッチスクリーン114、または他の図示されない入力機器などのユーザ入力機器を経由して、コマンドおよび情報を入力してもよい。ディスプレイスクリーン114は、ビデオアダプタ(図示されない)などのインターフェースを経由して、システムバス310へ接続されてもよい。
【0096】
ユーザおよびトラブル解決者は、複合機100の少なくとも一部分の動的3D仮想表現124を提供されることによって助けられ、その一部分において、故障部品の表現122は、ハイライトされるか、またはそうでない場合、例えばその一部分の名前および任意選択で他の情報を提供するタグ315によって特定される。ディスプレイシステム、または代わりの構成としては遠隔のトラブル解決を行うクライアントは、3Dモデリングユニット316を含み、同ユニットは、複合機100およびその部品の動的共有3D表現を発生させる。3D仮想表現124は、修復との関連でユーザによって目に見えるまたは利用可能になる、複合機100の少なくとも一部分を含み、他の部分は表現から省略されてもよい。このような表現124は、用紙保管トレイ、点検用ドア、用紙経路内のジャム状態のシートにアクセスするための可動型レバーおよびバッフル、トナーカートリッジまたはインク容器などのマーキング媒体可換型容器、廃棄トナー容器、他の可換型項目、これに関する感光体ベルトおよび定着器ロールヒータ、回収トレイ、ステープル機器、および同類のものなどのフィニッシャ部品を含んでもよい。これらの部品120をビジュアル化するのと同様に、3D仮想表現は、部品にアクセスするおよび/または部品を修復するのに用いられてもよい、ドアを開いたり、レバーを回したり、バッフルを持ち上げたりすることなどの、適切なユーザ動作をビジュアル化する。例えば米国特許出願第12/396,506号明細書および米国特許公開第2006/0197973A1号明細書を参照すると、これらは、参照することによって援用され、典型的な3Dモデリングユニット、および知識ベースを3Dモデリングユニット316と連結する方法を説明する。特に、リンクデータベース(図示されない)は、SKB322から抽出された問題および解決法を、モデリングユニット316によって発生した3Dモデルと連結するのに用いることができるが、この場合には、3Dモデルも、例えば複合機に対するディスプレイユニットの位置および方向を考慮に入れている。
【0097】
3Dモデリングユニット316は、さらに現実的なビジュアル経験を3Dモデルに与えるようにユーザによって処理されると、判断されたディスプレイユニット102の位置および方向に基づいて、3次元のビューを提供することができる。例えば、ディスプレイユニット102は、カメラのビューファインダをまねて、ユーザを複合機100の故障部品へガイドする。ディスプレイユニット102が移動しながら、ディスプレイ上のグラフィック(図形)表現124は、それに応じて変化する。3Dモデリングユニット316は、機器コントローラ308からシステムバス310を経由して、ディスプレイユニット102の相対的な位置および方向を受ける。複合機の寸法は、部品の寸法および位置とともに既知であり、ディスプレイユニット102の位置および方向が、部品の特定の位置と関連付けることができるようにする。仮想表現が、3D仮想表現として説明されるものの、複合機100の2次元の表現もまた、考えられる。
【0098】
3D仮想表現124は、システムバス310を経由して、機器コントローラ308へ提供され、スクリーン114およびユーザ入力機器116を組み込むディスプレイユニット102のグラフィカル・ユーザ・インターフェース(GUI:graphical user interface)318を経由して、表示される。GUI318によって、ユーザが、複合機の仮想表現を共有するトラブル解決者からの指示を受けて、機器構成および好みの設定を変更すること、複合機100のトラブル解決に加えて、コピー、ファックス、スキャン、または同類のものなどの動作の実行を複合機に依頼すること、などの一連の動作を実行することが可能となる。故障の場合には、問題になっている故障部品120に関連付けられた部品センサ320(図9)が、システムバス310を経由して機器コントローラ308へ、故障が発生していることを信号で送る。機器コントローラ308は、システムバス310を経由してGUI318と通信して、問題が発生していることをユーザへ報告する。
【0099】
検索可能知識ベース(SKB)322は、システムバス310を経由して機器コントローラ308とインターフェースで接続して、SKBまたは他のデータベースにアクセスするトラブル解決者によって提供された情報に加えて、部品120に関連付けられたテキスト情報および指示を、GUI318へ提供する。ユーザが、問題および/または機器100に比較的精通している場合、ユーザは、ディスプレイユニット102をドッキング状態から切り離さずに、GUI318へ提供された指示に追随することができる。しかしながら、ユーザにとって、報告された故障の経験が不足している場合、ユーザは、ディスプレイユニット102を分離することができ、同ユニットは、追跡を開始し、複合機100の3D仮想表現の表示を変化させる。
【0100】
図11に図示されるように、故障部品表現122は、矢印などのビジュアル指標126とともにハイライトされて、ハイライトされた部品の位置へユーザをガイドする。仮想表現124およびビジュアル指標126に加えて、GUI318は、機器モデル124に隣接する指示402などの、テキスト情報318を表示することができる。テキスト形式の指示は、コントローラ308によって、SKB322またはトラブル解決者から検索される。指示は、静的とすることができる。または、指示は、例えば、ディスプレイユニット102の位置および方向に基づいて、もしくは部品センサ320によって信号で送られたユーザ動作の実行に基づいて、動的とすることができる。動的ということは、テキスト形式の指示が、ディスプレイユニット102の位置および方向および/またはユーザ動作に基づいて、複雑性、詳細、または同類のものを順番に変化させることを意味する。例えば、1番目の指示が「前面パネルを開ける」であり、前面パネルセンサが、図9に示されるように、パネルが開いたことを検出する場合、この指示は、グレーアウトにされて、この動作が実行されたことを指し示してもよい。
【0101】
SKB322は、問題ステートメント(事例)の構造化電子データベースとすることができ、問題ステートメントは、故障部品と、問題を解決するステップを説明する1つ以上の解決ステートメントとへ連結された、既知の問題の短いテキスト形式の説明でもよい。各解決法は、問題を解決しようとして、ユーザが実行する一連の1つ以上のステップを含む。解決法の一連の処理は、少なくとも次の2つの部分で構成されてもよい:何をする必要があるかを基本的に説明する、タイトル、および問題を解決するためにユーザに1ステップずつ指示を与える、説明。問題ステートメントは、拡張可能マークアップ言語(XML:extensible markup language)文書などのハイパーテキスト文書として記憶されてもよく、同文書は、タグで注釈を付けられ、関連付けられた解決法へ問題ステートメントを連結する。SKBが、複合機100のメモリ314内に位置している間、別の実施の形態では、SKBは、例えばインターネット、またはローカル・エリア・ネットワークなどのネットワークを経由して、遠隔的にアクセスされる。
【0102】
機器状態部品326は、欠陥が検出されると、機器100から、例えば部品センサ320から機器状態に関係するフィードバックを受けて、コントローラと通信する。ユーザが問題を特定する場合には(または部品センサ320を経由して問題が検出されるときであっても)、観察された問題に対して1つ以上の根本的原因が存在して、各根本的原因が1つ以上の一連の解決処理を含んでもよい。SKB322は、問題ステートメントだけの、または問題ステートメントおよび解決法の両方の内容に従って、インデックスをつけられてもよい。このように、ユーザまたはトラブル解決者は、問題ステートメントを選択することができ、その後でユーザは、ディスプレイユニット102を分離して、連結された一連の解決処理のうちの1つを実行し、それによって問題を解決しようと試みる。代わりの構成としては、ユーザは、問題ステートメントを選択する前に、ディスプレイユニット102を分離することができる。解決法は、問題およびその解決法のうちのもっとも可能性の高い原因の状態部品326による判断に基づいて、ランク付けすることができる。
【0103】
図11は、表示されたGUI318を有する着脱可能なディスプレイユニット102を図示する。図示されたディスプレイユニット102は、タッチに応答するディスプレイパネル114を含む。タッチセンサ式は、ディスプレイパネル114が、例えば抵抗率または静電容量変化などの電気的特性における圧力または局所的変化の検知を通じて、熱、光検知、またはパネル114にタッチしているもしくはごく近接している状態に置かれるときのユーザの指を検出する動作検知を通じて、ユーザの指「タッチ」に応答して、タッチデータを発生させることを意味する。例えば電気的信号である、発生したタッチデータは、パネル上の指タッチの位置を特定して、その位置に基づく機器の動作を制御することを可能にする。
【0104】
ディスプレイスクリーン114は、ディスプレイコントローラ324(図9)によって、通信リンク106(図9)を経由してアドレス可能にされてもよく、同コントローラは、動的3D仮想表現124、テキスト情報318、ならびに任意選択で、例えばタブ、ボタン404、406、および同類のもの(図4)のようなユーザ選択可能なグラフィックオブジェクトなどの他のグラフィックスを、ディスプレイスクリーン114に表示させる。タッチデータは、ディスプレイコントローラ324へ伝達されて、同コントローラは、接触場所に基づいて、所定のやり方でグラフィックスを調整する。通常の動作では、ディスプレイコントローラ324からの情報は、システムバス310を経由して機器コントローラ308へ伝達されて、機器コントローラは、この情報を用いて複合機100の動作を制御する。典型的な実施の形態では、ディスプレイスクリーン114はLCDディスプレイパネルであるが、しかしながらOLED、プラズマ、SEC、CRT、または同類のパネルもまた、考えられる。
【0105】
位置コントローラ302、3Dモデリングユニット316、ディスプレイコントローラ324および機器状態部品326は、ハードウェアもしくはソフトウェアまたはこれらの組み合わせで実装されてもよい。一実施の形態では、これらの部品は、メモリ314または別個のメモリなどのメモリに記憶されたソフトウェア指示の形をしていて、プロセッサ312などのプロセッサによって、または別個のプロセッサによって実行される。典型的な実施の形態では、これらの部品のそれぞれが、同一のコンピュータ機器上に常駐するものの、これらの部品の1つ以上は、別個のコンピュータ機器上に常駐して、機器コントローラ308へ通信可能なように連結されてもよいと考えられている。
【0106】
図11への参照に戻ると、トラブル解決モードでは、GUI318は、複合機100の動的3D仮想表現124、および、SKBから検索される関連付けられたテキスト情報318を含む。図示される実施の形態では、情報は、問題を解決する指示402を含む。GUIは、ソフトボタン404として実装される、ポーズ機能、フリーズ機能、またはライブ機能も含むことができるが、しかしながら、物理的な、またはハードボタンを割り当てることも、考えられる。ポーズ機能は、ディスプレイユニット102の位置または方向における変化にかかわらず、現在の3D仮想表現124を維持するように機能する。例えば、ユーザは、提案されたユーザ動作を実行するのに、両手を必要とすることがある。この場合、ユーザは、現在の3D仮想表現をポーズして、床に、または留め金108もしくは代わりの受け台の上(図9)へ、ディスプレイユニット102を置くことができる。留め金108または代わりの受け台は、点検用パネルの内面に位置してもよいし、ユーザが種々のユーザ動作を容易に実行することができる任意の数の位置に置いてもよい。いったんユーザ動作が完了すると、ユーザは、ディスプレイユニット102を拾い上げて、ソフトボタン406をタッチし、それによって複合機100の動的モデルを再開して、プレイ機能、またはフリーズ解除機能を作動する。プレイ機能およびポーズ機能は、代わりの構成としては同一のボタンを利用することができることに留意されたい。
【0107】
一例として、複合機のごみ入れ120がいっぱいであると検知されて、ごみ入れを掃除するように提案される。例えば、部品センサ320は、ごみ入れ122がいっぱいであることを検出して、いっぱいの状態を指し示している検知情報を機器コントローラ308へ伝達する。機器コントローラ308は、GUI318と通信し、それによってユーザおよびトラブル解決者へごみ入れ122の状態を報告する。依然として複合機へ取り付けられた、またはドッキングされたディスプレイユニット102のGUIは、テキスト形式の指示402に加えて、ごみ入れの表現122を含む複合機の一部分のグラフィック表現124を表示する。
【0108】
ユーザが、ごみ入れ122の位置に精通していない場合、ユーザは、ドッキングアセンブリ104からディスプレイユニット102を分離してもよく、同ユニットにおいて、複合機を表示するグラフィック表現124は、位置応答性3Dモデルになる。基準位置、例えばドッキングアセンブリ104に対するディスプレイユニットの現在の位置および方向が与えられたとすると、GUIは、ユーザが決めたディスプレイユニットの位置および方向に適応する3Dモデルを描画することができる。ビジュアル指標126は、実際のごみ入れ120(スクリーン上でハイライトされる)に近接してディスプレイユニットを位置付けるように、ユーザをガイドすることができ、この時点で、ごみ入れ除去に関するさらに詳細なテキスト形式の指示402が、描画された3Dモデル124に隣接して提示することができる。
【0109】
図12を参照して、ユーザがディスプレイユニット102を移動しながら、現在の位置および方向が与えられると、ユーザおよびトラブル解決者124へ提供される3D仮想表現が、複合機100の異なる部品、例えば入力トレイを表してもよい。トラブル解決者が提供するビジュアル指標126は、ユーザをガイドして、ごみ入れの方へディスプレイユニット102を移動するように表示されてもよい。
【0110】
図13を参照すると、ユーザがごみ入れの位置を突き止めるのが、依然として困難である場合、ユーザは、3D表現124が図14に図示される形に見えるように、ズームアウトすることができる。ズームイン機能およびズームアウト機能は、それぞれハードボタン604および602として実装されてもよいが、しかしながら、GUI318内へ統合されたソフトボタンもまた、考えられる。別の実施の形態では、ユーザは、ディスプレイユニット102を保持しながら、複合機100から後ろの方へ下がることができる。位置制御ユニット302は、ディスプレイユニット102が、複合機100からさらに離れていることを判断し、したがってディスプレイユニット102の位置に基づいて、ズーム機能が作動することになる。
【0111】
図14は、ごみ入れの拡大された表現を図示することに加えて、ユーザが、ディスプレイユニット102をごみ入れ122に物理的に近くなるようにするときの3D仮想表現124を図示し、この時点で、ユーザは現在の3D表現124をポーズして、ディスプレイユニットを下ろし、または留め金108の上にもしくは代わりのドッキングアセンブリ内に、ディスプレイユニットを置いてもよい。いったんユーザ動作が完了すると、ユーザは、ディスプレイユニット102をドッキングアセンブリ104内へ戻し、この時点で、ドッキングセンサ306は、複合機100の動的3D仮想表現124および解決された問題に関する任意のテキスト形式の指示の終了を始動する(ユーザが指定された動作を実行して、問題が解決されたと仮定して)。
【0112】
図15は、機器100などの電気機械式機器の位置応答性表示を発生させる典型的な方法を図示する。本方法は、S100において開始する。
【0113】
S102において、電気機械式機器の通常の動作中に、電気機械式機器の現在の状態のデータ特性が、着脱可能なディスプレイユニット102へ伝達される。データは、印刷、ファックス、コピーなどのジョブに対して、例えば、選択可能な用紙のタイプ、コピー数などの機器上で利用できる機能に依存するユーザ選択可能なパラメータを含んでもよい。いったん選択されると、ディスプレイは、印刷されようとするコピーの数、ファックスが送信中かどうかなどの、ジョブの進捗を示してもよい。
【0114】
S104において、電気機械式機器は、同機器の部品のうちの1つに問題を検出したり、部品のうちの1つに問題が存在するというユーザが入力した通知を受けたりする。
【0115】
S107において、電気機械式機器は、遠隔のトラブル解決者との通信リンクを確立する。
【0116】
S110において、ユーザは分離するとともに、システムは、ディスプレイユニットがドックから分離されたことを、例えばセンサ304によって検出して、位置制御ユニット302へ中継される。
【0117】
S112において、ユニット102の1番目の現在位置、例えば、ドッキング位置などの基準位置に対する着脱可能なディスプレイユニットの3D空間的位置および方向が、判断される。
【0118】
S114において、判断された3D空間的位置および/または方向における変化に基づいて、電気機械式機器の動的3D仮想表現が発生するとともに表示される。ユーザが作動しようとする関係のある部品は、ディスプレイ内でハイライトされる。したがって、ユーザおよびトラブル解決者は、複合機の仮想表現および実際の部品が同時に(または事実上同時に)作動するように見ることができる。電気機械式機器の現在の状態のデータ特性は、ユーザ動作が検出されて、着脱可能なディスプレイユニットへ伝達されるにつれて、更新される。
【0119】
S116において、ディスプレイユニットが、例えば空間的位置および/または方向において、1番目の現在位置とは異なる新たな現在位置へ移動する場合、S112およびS114が繰り返される。
【0120】
S118において、ディスプレイユニットがドックに戻ると、ディスプレイユニットの位置に関して変化する動的3D共有仮想表現は中止されて、ディスプレイユニットは通常の動作モードに戻る。
【0121】
本方法は、S120において終了する。
【0122】
図15に図示された本方法は、コンピュータ上で実行されてもよいコンピュータプログラム製品内に実装することができる。コンピュータプログラム製品は、制御プログラムが記録された、ディスク、ハードドライブ、または同類のものなどの、有形のコンピュータ読み取り可能な記録媒体でもよい。コンピュータ読み取り可能な媒体の周知の形は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、もしくは任意の他の磁気記憶媒体、CD−ROM、DVD、もしくは任意の他の光学媒体、RAM、PROM、EPROM、フラッシュEPROM、もしくは他のメモリチップもしくはカートリッジ、またはコンピュータが読み取って利用することができる任意の他の有形の媒体を含む。代わりの構成としては、本方法は、伝送可能な搬送波内に実装されてもよく、この搬送波内で、制御プログラムは、音波または光波などの伝送媒体、電波と赤外線データ通信との間に発生する波および同類のものなどの伝送媒体を用いて、データ信号として具体化される。
【0123】
典型的な方法は、1つ以上の汎用コンピュータ、専用コンピュータ、プログラムされたマイクロプロセッサまたはマイクロコントローラおよび周辺集積回路素子、ASICまたは他の集積回路、デジタル・シグナル・プロセッサ、ディスクリート素子回路などのハード・ワイヤードの電子回路またはロジック回路、PLD、PLA、FPGA、グラフィックカードCPU(GPU)、もしくはPAL、または同類のものなどのプログラマブル・ロジック・デバイス上に実装されてもよい。一般に、図15に示されたフローチャートを実装することができる有限状態マシンを実装することができる任意の機器は、動的な3D表示を発生させるための本方法を実装するのに用いることができる。
【特許請求の範囲】
【請求項1】
機器ユーザと、機器のトラブル解決のサポート活動に従事するトラブル解決アドバイザとの間の共同作業のやり取りをサポートする、通信システムであって、
着脱可能なディスプレイユニットを含む機器であって、該ディスプレイユニットは、前記機器ユーザの視点からの該機器の動的仮想表現を発生させるように構成される、機器と、
前記機器ユーザの視点からの前記機器の前記動的仮想表現を表示するように構成される、遠隔のトラブル解決インターフェースと、
前記着脱可能なディスプレイユニットと前記遠隔のトラブル解決インターフェースとの間の双方向のデータ通信を提供するように構成される、通信リンクとを含み、
前記ディスプレイユニットは、前記機器に対する前記機器ユーザの位置、および前記機器の検知状態に基づいて、該機器の前記動的仮想表現を更新するように構成され、前記通信システムは、該機器の該動的仮想表現が前記トラブル解決アドバイザと共有されるように構成される、通信システム。
【請求項2】
前記通信システムは、ライブモード、フリーズモードおよび操作ガイドモードを含むように構成される、請求項1に記載の通信システム。
【請求項3】
前記通信システムは、前記機器の前記検知状態と、前記ユーザによる前記機器の観察状態との間の差の検出および補正をサポートするように構成される、請求項1に記載の通信システム。
【請求項4】
前記通信システムは、前記着脱可能なディスプレイユニット上に、前記ユーザへの指示を表示するように構成される、請求項1に記載の通信システム。
【請求項5】
前記ユーザへの前記指示は、前記検知状態から所望の状態へ、前記機器を変化させることに関連付けられる、請求項4に記載の通信システム。
【請求項6】
a)前記ユーザの移動に基づいて、前記動的仮想表現を更新するステップ、
b)前記ユーザが、前記動的仮想表現をフリーズするステップ、
c)前記動的仮想表現が、前記ユーザによる指示であって前記機器に関連付けられた部分の指示を含むステップ、
d)前記トラブル解決インターフェースに関連付けられたもう1つの仮想表現に関連付けられた情報を含むように、前記動的仮想表現を更新するステップ、
e)前記動的仮想表現に関連付けられた情報で、前記トラブル解決インターフェースに関連付けられたもう1つの仮想表現を更新するステップ、
f)前記検知状態から所望の状態へ、前記機器を変化させる動作を実行するように、前記ユーザをガイドするステップ、
g)前記動的仮想表現上の部分であって、前記トラブル解決者によって選択された部分を指し示すステップ、および
h)前記ユーザによる前記機器の観察状態に基づいて、前記動的仮想表現を修正するステップ、のうちの1つ以上のステップを実行するように構成される、請求項1に記載の通信システム。
【請求項7】
機器ユーザとトラブル解決アドバイザとの間の遠隔のやり取りをサポートする通信システムに動作可能なように関連付けられた機器のトラブル解決を行う方法において、前記通信システムが、前記機器に動作可能なように接続された着脱可能なディスプレイユニット、前記機器に動作可能なように接続されたトラブル解決インターフェース、および前記着脱可能なディスプレイユニットと前記遠隔のトラブル解決インターフェースとを動作可能なように接続する通信リンクを含む、方法であって、
a)前記着脱可能なディスプレイユニットが、前記機器ユーザの前記視点からの前記機器の仮想表現を発生させて表示するステップと、
b)前記トラブル解決インターフェースが、前記機器の仮想表現を前記トラブル解決アドバイザに表示するステップと、
c)前記機器ユーザおよび前記トラブル解決アドバイザへの前記機器表示の前記仮想表現を、前記機器に対する該機器ユーザの位置、および該機器の検知状態に基づいて、動的に更新するステップとを含む、方法。
【請求項8】
印刷システムユーザと、該印刷システムのトラブル解決のサポート活動に従事するトラブル解決アドバイザとの間の共同作業のやり取りをサポートする、インタラクティブな通信システムを含む、印刷システムであって、
プリンタと、
前記印刷システムユーザの視点からの動的仮想表現であって、前記印刷システムの1つ以上の場所の前記動的仮想表現を発生させるように構成される、着脱可能なディスプレイユニットと、
前記印刷システムユーザの視点からの前記動的仮想表現であって、前記印刷システムの前記1つ以上の場所の前記動的仮想表現を表示するように構成される、遠隔のトラブル解決インターフェースと、
前記着脱可能なディスプレイユニットと前記遠隔のトラブル解決インターフェースとの間の双方向のデータ通信を提供するように構成される、通信リンクとを含み、
前記ディスプレイユニットは、前記印刷システムに対する前記印刷システムユーザの位置、および該印刷システムの検知状態に基づいて、該印刷システムの前記1つ以上の場所の前記動的仮想表現を更新するように構成され、前記通信システムは、前記印刷システムの前記1つ以上の場所の前記動的仮想表現が前記トラブル解決アドバイザと共有されるように構成される、印刷システム。
【請求項9】
前記通信システムは、ライブモード、フリーズモードおよび操作ガイドモードを含むように構成される、請求項8に記載の印刷システム。
【請求項10】
前記通信システムは、
a)前記ユーザの動作に基づいて、前記動的仮想表現を更新するステップ、
b)前記ユーザが、前記動的仮想表現をフリーズするステップ、
c)前記動的仮想表現が、前記ユーザによる指示であって前記印刷システムに関連付けられた部分の指示を含むステップ、
d)前記トラブル解決インターフェースに関連付けられたもう1つの仮想表現に関連付けられた情報を含むように、前記動的仮想表現を更新するステップ、
e)前記動的仮想表現に関連付けられた情報で、前記トラブル解決インターフェースに関連付けられたもう1つの仮想表現を更新するステップ、
f)前記検知状態から所望の状態へ、前記印刷システムを変化させる動作を実行するように、前記ユーザをガイドするステップ、
g)前記動的仮想表現上の部分であって、前記トラブル解決者によって選択された部分を指し示すステップ、および
h)前記ユーザによる前記印刷システムの観察状態に基づいて、前記動的仮想表現を修正するステップ、のうちの1つ以上のステップを実行するように構成される、請求項9に記載の印刷システム。
【請求項1】
機器ユーザと、機器のトラブル解決のサポート活動に従事するトラブル解決アドバイザとの間の共同作業のやり取りをサポートする、通信システムであって、
着脱可能なディスプレイユニットを含む機器であって、該ディスプレイユニットは、前記機器ユーザの視点からの該機器の動的仮想表現を発生させるように構成される、機器と、
前記機器ユーザの視点からの前記機器の前記動的仮想表現を表示するように構成される、遠隔のトラブル解決インターフェースと、
前記着脱可能なディスプレイユニットと前記遠隔のトラブル解決インターフェースとの間の双方向のデータ通信を提供するように構成される、通信リンクとを含み、
前記ディスプレイユニットは、前記機器に対する前記機器ユーザの位置、および前記機器の検知状態に基づいて、該機器の前記動的仮想表現を更新するように構成され、前記通信システムは、該機器の該動的仮想表現が前記トラブル解決アドバイザと共有されるように構成される、通信システム。
【請求項2】
前記通信システムは、ライブモード、フリーズモードおよび操作ガイドモードを含むように構成される、請求項1に記載の通信システム。
【請求項3】
前記通信システムは、前記機器の前記検知状態と、前記ユーザによる前記機器の観察状態との間の差の検出および補正をサポートするように構成される、請求項1に記載の通信システム。
【請求項4】
前記通信システムは、前記着脱可能なディスプレイユニット上に、前記ユーザへの指示を表示するように構成される、請求項1に記載の通信システム。
【請求項5】
前記ユーザへの前記指示は、前記検知状態から所望の状態へ、前記機器を変化させることに関連付けられる、請求項4に記載の通信システム。
【請求項6】
a)前記ユーザの移動に基づいて、前記動的仮想表現を更新するステップ、
b)前記ユーザが、前記動的仮想表現をフリーズするステップ、
c)前記動的仮想表現が、前記ユーザによる指示であって前記機器に関連付けられた部分の指示を含むステップ、
d)前記トラブル解決インターフェースに関連付けられたもう1つの仮想表現に関連付けられた情報を含むように、前記動的仮想表現を更新するステップ、
e)前記動的仮想表現に関連付けられた情報で、前記トラブル解決インターフェースに関連付けられたもう1つの仮想表現を更新するステップ、
f)前記検知状態から所望の状態へ、前記機器を変化させる動作を実行するように、前記ユーザをガイドするステップ、
g)前記動的仮想表現上の部分であって、前記トラブル解決者によって選択された部分を指し示すステップ、および
h)前記ユーザによる前記機器の観察状態に基づいて、前記動的仮想表現を修正するステップ、のうちの1つ以上のステップを実行するように構成される、請求項1に記載の通信システム。
【請求項7】
機器ユーザとトラブル解決アドバイザとの間の遠隔のやり取りをサポートする通信システムに動作可能なように関連付けられた機器のトラブル解決を行う方法において、前記通信システムが、前記機器に動作可能なように接続された着脱可能なディスプレイユニット、前記機器に動作可能なように接続されたトラブル解決インターフェース、および前記着脱可能なディスプレイユニットと前記遠隔のトラブル解決インターフェースとを動作可能なように接続する通信リンクを含む、方法であって、
a)前記着脱可能なディスプレイユニットが、前記機器ユーザの前記視点からの前記機器の仮想表現を発生させて表示するステップと、
b)前記トラブル解決インターフェースが、前記機器の仮想表現を前記トラブル解決アドバイザに表示するステップと、
c)前記機器ユーザおよび前記トラブル解決アドバイザへの前記機器表示の前記仮想表現を、前記機器に対する該機器ユーザの位置、および該機器の検知状態に基づいて、動的に更新するステップとを含む、方法。
【請求項8】
印刷システムユーザと、該印刷システムのトラブル解決のサポート活動に従事するトラブル解決アドバイザとの間の共同作業のやり取りをサポートする、インタラクティブな通信システムを含む、印刷システムであって、
プリンタと、
前記印刷システムユーザの視点からの動的仮想表現であって、前記印刷システムの1つ以上の場所の前記動的仮想表現を発生させるように構成される、着脱可能なディスプレイユニットと、
前記印刷システムユーザの視点からの前記動的仮想表現であって、前記印刷システムの前記1つ以上の場所の前記動的仮想表現を表示するように構成される、遠隔のトラブル解決インターフェースと、
前記着脱可能なディスプレイユニットと前記遠隔のトラブル解決インターフェースとの間の双方向のデータ通信を提供するように構成される、通信リンクとを含み、
前記ディスプレイユニットは、前記印刷システムに対する前記印刷システムユーザの位置、および該印刷システムの検知状態に基づいて、該印刷システムの前記1つ以上の場所の前記動的仮想表現を更新するように構成され、前記通信システムは、前記印刷システムの前記1つ以上の場所の前記動的仮想表現が前記トラブル解決アドバイザと共有されるように構成される、印刷システム。
【請求項9】
前記通信システムは、ライブモード、フリーズモードおよび操作ガイドモードを含むように構成される、請求項8に記載の印刷システム。
【請求項10】
前記通信システムは、
a)前記ユーザの動作に基づいて、前記動的仮想表現を更新するステップ、
b)前記ユーザが、前記動的仮想表現をフリーズするステップ、
c)前記動的仮想表現が、前記ユーザによる指示であって前記印刷システムに関連付けられた部分の指示を含むステップ、
d)前記トラブル解決インターフェースに関連付けられたもう1つの仮想表現に関連付けられた情報を含むように、前記動的仮想表現を更新するステップ、
e)前記動的仮想表現に関連付けられた情報で、前記トラブル解決インターフェースに関連付けられたもう1つの仮想表現を更新するステップ、
f)前記検知状態から所望の状態へ、前記印刷システムを変化させる動作を実行するように、前記ユーザをガイドするステップ、
g)前記動的仮想表現上の部分であって、前記トラブル解決者によって選択された部分を指し示すステップ、および
h)前記ユーザによる前記印刷システムの観察状態に基づいて、前記動的仮想表現を修正するステップ、のうちの1つ以上のステップを実行するように構成される、請求項9に記載の印刷システム。
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図1】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図1】
【公開番号】特開2012−156998(P2012−156998A)
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願番号】特願2012−4343(P2012−4343)
【出願日】平成24年1月12日(2012.1.12)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.フロッピー
【出願人】(596170170)ゼロックス コーポレイション (1,961)
【氏名又は名称原語表記】XEROX CORPORATION
【Fターム(参考)】
【公開日】平成24年8月16日(2012.8.16)
【国際特許分類】
【出願日】平成24年1月12日(2012.1.12)
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.フロッピー
【出願人】(596170170)ゼロックス コーポレイション (1,961)
【氏名又は名称原語表記】XEROX CORPORATION
【Fターム(参考)】
[ Back to top ]