制御処理プログラム、画像表示装置、および画像表示方法
【課題】操作者の指の位置に応じて拡張現実オブジェクトの動作を開始することができる制御処理プログラム、画像表示装置、および画像表示方法を提供する。
【解決手段】本発明の制御処理プログラムは、背景映像を取得する手順と、設置する画像形成装置の表示位置情報を取得する手順と、前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する手順と、手または指の位置情報を取得する手順と、前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成する手順と、前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する手順と、前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する手順と、前記出力映像を表示する手順と、を有する。
【解決手段】本発明の制御処理プログラムは、背景映像を取得する手順と、設置する画像形成装置の表示位置情報を取得する手順と、前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する手順と、手または指の位置情報を取得する手順と、前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成する手順と、前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する手順と、前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する手順と、前記出力映像を表示する手順と、を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、制御処理プログラム、画像表示装置、および画像表示方法に関する。
【背景技術】
【０００２】
近年、現実の世界の映像に仮想的な物体の画像（以下、拡張現実オブジェクトと称する）を合成してディスプレイで表示することにより、その拡張現実オブジェクトがあたかも現実の世界に存在するかのように視聴者に見せる拡張現実感を使用した技術が注目されている。
【０００３】
たとえば下記の特許文献１には、現実の部屋の映像に仮想的な家具の画像を合成して、家具があたかも現実の部屋に存在するかのように見せる技術が開示されている。
【０００４】
また、単に現実の世界の映像に拡張現実オブジェクト合成して表示させるだけではなく、拡張現実オブジェクトに対して操作者が働きかけることにより、拡張現実オブジェクトが何らかの動作を開始する技術も開発されている。たとえば、下記の特許文献２には、現実の世界の映像に合成して表示された仮想的なキャラクタを操作者が発する音声に応じて動かす技術が開示されている。
【０００５】
しかしながら、特許文献２の画像表示システムでは、操作者が発する音声に応じて拡張現実オブジェクトの動作を開始することはできるものの、操作者の動作、たとえば操作者の指の位置に応じて拡張現実オブジェクトの動作を開始することはできない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２０１０−５４１０５４号公報
【特許文献２】特許第４６９６１８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上述した問題を解決するためになされたものである。したがって、本発明の目的は、操作者の指の位置に応じて拡張現実オブジェクトの動作を開始することができる制御処理プログラム、画像表示装置、および画像表示方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の上記目的は、下記によって達成される。
【０００９】
（１）背景映像を取得する手順（ａ）と、設置する画像形成装置の表示位置情報を取得する手順（ｂ）と、前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する手順（ｃ）と、手または指の位置情報を取得する手順（ｄ）と、前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成する手順（ｅ）と、前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する手順（ｆ）と、前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する手順（ｇ）と、前記出力映像を表示する手順（ｈ）と、を有する、コンピューターに実行させるための制御処理プログラム。
【００１０】
（２）前記背景映像は、前記画像形成装置を設置する場所を撮像手段が撮像して取得されることを特徴とする上記（１）に記載の制御処理プログラム。
【００１１】
（３）前記手順（ｂ）において、前記背景映像からマーカーの画像を抽出して前記表示位置情報を取得することを特徴とする上記（２）に記載の制御処理プログラム。
【００１２】
（４）上記（１）〜（３）のいずれか１つに記載の画像処理プログラムを記録したコンピューター読み取り可能な記録媒体。
【００１３】
（５）背景映像を取得する背景映像取得手段と、設置する画像形成装置の表示位置情報を取得する表示位置情報取得手段と、前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する装置画像生成手段と、手または指の位置情報を取得する手指位置情報取得手段と、前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成するポインタ画像生成手段と、前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する画像合成手段と、前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行するモデル実行手段と、前記出力映像を表示する表示手段と、を有することを特徴とする画像表示装置。
【００１４】
（６）前記背景映像取得手段は、撮像手段を有し、前記背景映像は、前記画像形成装置を設置する場所を前記撮像手段が撮像して取得されることを特徴とする上記（５）に記載の画像表示装置。
【００１５】
（７）前記表示位置情報取得手段は、前記背景映像からマーカーの画像を抽出して前記表示位置情報を取得することを特徴とする上記（６）に記載の画像表示装置。
【００１６】
（８）背景映像を取得する段階と、設置する画像形成装置の表示位置情報を取得する段階と、前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する段階と、手または指の位置情報を取得する段階と、前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成する段階と、前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する段階と、前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する段階と、前記出力映像を表示する段階と、を有する、画像表示方法。
【発明の効果】
【００１７】
本発明によれば、操作者の手または指の位置に基づいて、ディスプレイに表示された拡張現実オブジェクトのシミュレーションモデルの所定動作を実行し、拡張現実オブジェクトの動作を開始する。したがって、操作者は、画像形成装置を実際に操作しているような体験をすることができるので、画像形成装置を実際に設置した場合に近い状態で事前検討することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態の画像表示装置の概観を示す概略斜視図である。
【図２】本発明の第１の実施形態の画像表示装置の概略ブロック構成図である。
【図３】本発明の第１の実施形態における制御処理プログラムの処理手順を概略的に説明するためのフローチャートである。
【図４】本発明の第１の実施形態において、入力操作として「終了要求」が選択された場合にディスプレイに表示される背景映像を例示する図である。
【図５】本発明の第１の実施形態において、マーカーが配置されていない場合にディスプレイに表示される背景映像を例示する図である。
【図６】本発明の第１の実施形態において、操作者の手指がカメラの視野に入っていない場合にディスプレイに表示される映像を例示する図である。
【図７】本発明の第１の実施形態において、背景映像、装置画像、およびポインタ画像を合成した場合にディスプレイに表示される映像を例示する図である。
【図８】図３に示すステップＳ１０３を説明するフローチャートである。
【図９】図３に示すステップＳ１０５を説明するフローチャートである。
【図１０】図３に示すステップＳ１０６を説明するフローチャートである。
【図１１】操作ポイントを算出する方法を説明するための模式図である。
【図１２】図３に示すステップＳ１０８を説明するフローチャートである。
【図１３】図１２に示すステップＳ５０３を説明するフローチャートである。
【図１４Ａ】ポインタ画像を例示するための図である。
【図１４Ｂ】ポインタ画像を例示するための図である。
【図１４Ｃ】ポインタ画像を例示するための図である。
【図１４Ｄ】ポインタ画像を例示するための図である。
【図１４Ｅ】ポインタ画像を例示するための図である。
【図１５】図３に示すステップＳ１１０を説明するフローチャートである。
【図１６】図１５に示すステップＳ７０２を説明するフローチャートである。
【図１７】「印刷動作」のシミュレーションを実行した場合にディスプレイに表示される映像を例示する図である。
【図１８】本発明の第２の実施形態の画像表示装置の概略ブロック構成図である。
【発明を実施するための形態】
【００１９】
（第１の実施形態）
以下、図１を参照して、本発明の第１の実施形態を説明する。図１は本発明の第１の実施形態の画像表示装置の概観を示す概略斜視図であり、図２は本発明の第１の実施形態の画像表示装置の概略ブロック構成図である。本実施形態の画像表示装置は、操作者の手または指の位置に基づいて、ディスプレイに表示された拡張現実オブジェクトのシミュレーションモデルの所定動作を実行し、拡張現実オブジェクトの動作を開始させることを特徴とする。なお、本実施形態の画像表示装置は、複写機、プリンター、ファクシミリ、複合機などの画像形成装置の設置を検討する場合に好適に使用することができる。
【００２０】
図１に示すとおり、本実施形態の画像表示装置１００は、携帯可能なタブレット型の端末であり、画像表示装置１００の操作者（以下、単に操作者と称する）が室内を自由に持ち歩くことができるように構成されている。本実施形態では、操作者が画像表示装置１００を使用して、画像形成装置および画像形成装置のオプション装置（以下、画像形成装置等と称する）を窓Ｗがある室内に設置することを検討する場合を想定して説明する。
【００２１】
なお、本実施形態の画像表示装置は、上述のようなタブレット型ではなく、背景に拡張現実オブジェクトを重ね合せて表示するゴーグル型（メガネ型）であってもよい。この場合、画像表示装置は操作者の顔部に装着されるので持ち運ぶ必要がなくなる。
【００２２】
画像表示装置１００は、カメラ１１０、センサー１２０、ディスプレイ１３０、タッチパネル１４０、スピーカー１５０、制御部１６０（図２を参照）、および筐体１７０を有する。
【００２３】
カメラ１１０は、背景映像取得手段および表示位置情報取得手段として、画像形成装置等を設置する場所を撮像し、背景映像を取得する。操作者は、画像形成装置等を設置する場所がカメラ１１０の視野に入るように筐体１７０の向きを調整する。
【００２４】
カメラ１１０は、筐体１７０の一面に取り付けられており、画像形成装置等を設置する場所の映像を所定の周期で取り込み、制御部１６０に伝達する。この際、マーカー２００の画像も画像形成装置等を設置する場所の映像の一部として取り込まれ、制御部１６０に伝達される。マーカー２００は、表面に文字、記号、図形などが記されたシート状の媒体であり、設置する画像形成装置の機種を識別する情報を含む。操作者は、画像形成装置を設置する場所にマーカー２００を予め配置しておく。なお、カメラ１１０は、筐体１７０に内蔵することもできる。
【００２５】
センサー１２０は、手指位置情報取得手段として、操作者の手または指（以下、手指と称する）を検出する。センサー１２０は、たとえば赤外線センサーを有し、筐体１７０の一面にカメラ１１０と並んで取り付けられる。センサー１２０は、センサー１２０の近距離にある物体からの赤外線放射を赤外線センサーで検出する。センサー１２０は、操作者の手指が赤外線センサーの検出範囲に入ると、操作者の手指の赤外線放射を検出して、画像データとして制御部１６０に伝達する。センサー１２０は、筐体１７０に内蔵することもできる。
【００２６】
なお、後述するとおり、本実施形態の画像表示装置１００では、操作者の手指の位置に基づいて、ディスプレイ１３０に表示された拡張現実オブジェクトのシミュレーションモデルの所定動作を実行する。操作者の手指の位置は、センサー１２０が操作者の手指を検出し、制御部１６０で検出結果を処理することによって取得される。
【００２７】
一方、センサー１２０は赤外線センサーで物体を検出するので、特別に判別処理を施さない限り、制御部１６０は手指が操作者のものであるのか他の人間のものであるのかを判別することはできない。以下では、説明の便宜上、操作者の手指を用いる場合を例示して説明する。しかしながら、手指には操作者以外の人間の手指も含むことができる。また、人間の手指の代わりに指示棒などを用いることもできる。
【００２８】
ディスプレイ１３０は、表示手段として、出力映像、各種設定項目、メッセージなどを表示する。具体的には、ディスプレイ１３０は、制御部１６０が生成する拡張現実オブジェクトと背景映像とが合成された出力映像を表示する。また、ディスプレイ１３０は、画像表示装置１００の各種のモード、機能、オプション装置の機種、表示方法などの設定項目を設定する際の設定画面を表示する。さらに、ディスプレイ１３０は、各種の設定項目を設定する際に制御部１６０から出力されたメッセージ、警告メッセージなどを表示する。
【００２９】
なお、画像表示装置１００は、制御部１６０からの出力映像を画像表示装置１００の外部に出力する出力端子（不図示）をさらに備えることもできる。表画像示装置１００が当該出力端子を通じて大画面のディスプレイ、プロジェクタなどに出力映像を送信することにより、ディスプレイ１３０に表示される映像と同じ映像を大画面のディスプレイ、プロジェクタなどで同時に観ることができる。
【００３０】
タッチパネル１４０は、操作者からの入力操作を受付ける。本実施形態では、操作者は、タッチパネル１４０を介して各種のモード、機能、オプション装置の機種、表示方法などの設定項目の設定をすることができる。タッチパネル１４０は、ディスプレイ１３０上に配置されており、ディスプレイ１３０の表示に対応する位置に操作者の手指が接触することにより、上記設定項目が選択され、選択された設定項目の情報が制御部１６０に伝達される。なお、ゴーグル型の画像表示装置の場合は、押ボタンスイッチなどを介して各種のモード、機能、オプション装置の機種、表示方法などを設定することができる。
【００３１】
スピーカー１５０は、印刷音、効果音、警告音、音声案内などを出力する。スピーカー１５０は、たとえば実際の画像形成装置等が発する音を収録した音または模した音を印刷音として画像形成装置等の動作シミュレーションをする際に発生させる。また、スピーカー１５０は、たとえば画像表示装置１００の設定画面の設定項目を選択するときなどに効果音を出力する。また、動作上のトラブルが生じたときなどには警告音や音声案内を出力する。
【００３２】
制御部１６０は、カメラ１１０、センサー１２０、ディスプレイ１３０、タッチパネル１４０、およびスピーカー１５０を制御する。図２に示すとおり、制御部１６０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）部１６１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）部１６２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）部１６３、および大容量記憶部１６４を有する。制御部１６０は、表示位置情報取得手段、装置画像生成手段、手指位置情報取得手段、ポインタ画像生成手段、画像合成手段、モデル実行手段として機能する。
【００３３】
ＣＰＵ部１６１は、バスを通じてＲＯＭ部１６２、ＲＡＭ部１６３、および大容量記憶部１６４に接続されている。また、ＣＰＵ部１６１は、各種専用インターフェース（不図示）を通じてそれぞれカメラ１１０、センサー１２０、ディスプレイ１３０、タッチパネル１４０、およびスピーカー１５０に接続されている。
【００３４】
ＲＯＭ部１６２は、制御処理プログラム、３Ｄデータ、およびコンテンツデータを格納する。制御処理プログラムは、画像表示装置１００の動作を制御し、各種の演算処理を実行するためのソフトウェア・プログラムであり、ＣＰＵ部１６１によって逐次的に実行される。
【００３５】
３Ｄデータは、設置する画像形成装置およびオプション装置の外形を表す３次元画像データを含む。オプション装置としては、たとえば中綴じステープル装置、ステープル製本装置などがある。本実施形態では、３Ｄデータとして画像形成装置等の機種に応じた３次元画像データが用意されている。なお、３Ｄデータは、コンピューター・グラフィックスなどで使用される一般的なデータ形式でＲＯＭ部１６２に記憶されており、データ形式はとくに限定されない。
【００３６】
コンテンツデータは、画像形成装置等に関する実体的なデータなどを含む。具体的には、コンテンツデータは、画像形成装置等の構成に関する情報、画像形成装置等の各部のサイズおよび位置に関する情報、マーカー画像情報、シミュレーションモデルなどを含む。
【００３７】
画像形成装置等は、機種によって構成が異なる。コンテンツデータは、それぞれの機種が有する構成要素、構成要素同士の関係などの情報を含む。また、コンテンツデータは、画像形成装置等の各々の筐体サイズに加えて、各々の構成要素、たとえば画像形成装置の操作パネル（オペレーション・パネル）、背面ドア、排紙トレイなどの構成要素のサイズおよび位置も含む。
【００３８】
マーカー画像情報は、マーカーの画像に含まれる情報である。マーカー画像情報は、画像形成装置の機種と一義的に対応付けられている。したがって、背景映像からマーカー２００の画像を抽出し、マーカー画像情報を取得することにより、設置する画像形成装置の機種を特定することができる。
【００３９】
シミュレーションモデルは、画像形成装置等の動作を模擬するための動作シミュレーションモデルである。ＣＰＵ部１６１は、設置する画像形成装置等の機種を特定したのち、シミュレーションモデルを走行させて、画像形成装置等の動作シミュレーションを開始する。
【００４０】
ＲＡＭ部１６３は、背景映像、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）オブジェクト画像、表示状態情報、内部状態情報などを格納する。背景映像は、カメラ１１０が撮像した背景映像であり、所定の周期で取得されてＲＡＭ部１６３に格納される。本実施形態では、ＣＰＵ部１６１は、背景映像に含まれるマーカー２００の画像を抽出して画像形成装置を設置する表示位置情報を取得し、ＲＡＭ部１６３に格納する。
【００４１】
ＡＲオブジェクト画像は、拡張現実オブジェクトとしての画像形成装置等の画像（以下、装置画像と称する）と拡張現実オブジェクトとしての手指のポインタ画像を含む。
【００４２】
装置画像は、３Ｄデータを、設置する画像形成装置等の大きさおよび向きに合わせて、ディスプレイ１３０に表示する２次元画像に変換したものである。本実施形態では、ＣＰＵ部１６１は、画像形成装置の表示位置情報と、ＲＯＭ部１６２に格納されている画像形成装置等のサイズに関する情報と、表示状態情報とに基づいて、３Ｄデータから画像形成装置等の装置画像を生成し、ＲＡＭ部１６３に格納する。
【００４３】
また、ポインタ画像は、ディスプレイ１３０上で操作者の手指の位置を示す。ポインタ画像は、たとえば「矢印」、「指」などの所定の画像から選択され、背景映像の操作者の手指の画像１０の位置に重ね合せるように生成される。また、ポインタ画像を表示しないように設定することもできる。ＣＰＵ部１６１は、手指の位置情報に基づいて、ポインタ画像を生成し、ＲＡＭ部１６３に格納する。手指の位置情報は、センサー１２０からの画像データに基づいてＣＰＵ部１６１が算出する。手指の位置情報の具体的な取得方法およびポインタ画像の具体的な生成方法については後述する。
【００４４】
表示状態情報は、装置画像がディスプレイ１３０にどのような状態で表示されるかについての情報である。表示状態情報は、現在表示対象となっているオプション構成に関する情報、表示方法に関する情報などを含む。表示方法としては、たとえば装置画像の重ね合せ、透過などがある。表示状態情報は、現在表示対象となっているオプション構成や表示方法が変更されると更新される。オプション構成に関する情報、表示方法に関する情報はタッチパネル１４０を介して操作者が適宜設定することができる。
【００４５】
内部状態情報は、シミュレーションモデルの内部状態に関する情報である。本実施形態では、内部状態には、大きく分けて「正常状態」および「故障状態」がある。動作シミュレーションが開始されると、シミュレーションモデルは、「正常状態」となる。
【００４６】
内部状態が「正常状態」のとき、シミュレーションモデルは、「印刷動作」などの動作を実行することができる。一方、「故障状態」のとき、シミュレーションモデルは、「印刷動作」などの動作を実行することができない。一方、内部状態が「故障状態」のときしか実行できない動作もある。内部状態が「故障状態」のときは、たとえば背面ドアが開いているときなどである。
【００４７】
動作シミュレーションの開始時における内部状態情報の初期値は、ＲＯＭ部１６２のコンテンツデータに格納されている。動作シミュレーションが進行し、内部状態が変化すると、内部状態情報は更新される。内部状態が「正常状態」で、シミュレーションモデルが印刷中である場合、内部状態情報は、「正常状態」でかつ「印刷中」である旨を示す情報を含む。
【００４８】
ＣＰＵ１６１は、シミュレーションモデルの内部状態情報を参照し、画像形成装置を設置する位置と手指の位置情報とに基づいて、画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する。シミュレーションモデルの具体的な動作については後述する。
【００４９】
大容量記憶部１６４は、たとえばハードディスクドライブ、フラッシュメモリなどを備える。大容量記憶部１６４には、動作シミュレーションを実行する際に表示する動画、設定項目を設定する際に表示するメッセージ動画などの動画データまたは画像データ、印刷音、効果音、警告音、音声案内などの音声データが格納されている。
【００５０】
以下、図３〜図７を参照して、本実施形態における制御処理プログラムの処理手順を概略的に説明する。図３は本発明の第１の実施形態における制御処理プログラムの処理手順を概略的に説明するためのフローチャートである。また、図４は、本発明の第１の実施形態において、入力操作として「終了要求」が選択された場合にディスプレイに表示される背景映像を例示する図である。また、図５は本発明の第１の実施形態において、マーカーが配置されていない場合にディスプレイに表示される背景映像を例示する図であり、図６は本発明の第１の実施形態において、操作者の手指がカメラの視野に入っていない場合にディスプレイに表示される映像を例示する図である。また、図７は、本発明の第１の実施形態において、背景映像、装置画像、およびポインタ画像を合成した場合にディスプレイに表示される映像を例示する図である。
【００５１】
まず、背景映像を取得する（ステップＳ１０１）。カメラ１１０は、室内において画像形成装置を設置する場所を撮像し、撮像した背景映像をＲＡＭ部１６３に格納する。画像形成装置を設置する場所にマーカー２００が事前に配置されている場合、マーカー２００を含んだ背景映像がＲＡＭ部１６３に格納される。また、操作者がカメラ１１０の視野に手指を挿し入れると、背景映像には操作者の手指の画像１０も含まれる。
【００５２】
次に、入力操作を受け付ける（ステップＳ１０２）。制御部１６０は、タッチパネル１４０を介して操作者の入力操作を受け付ける。ディスプレイ１３０は、「終了要求」、「停止」、および「開始」の選択画面を表示する。入力操作として「終了要求」が選択された場合（ステップＳ１０２：終了要求）、処理を終了する。入力操作として「停止」が選択された場合（ステップＳ１０２：停止）、ステップＳ１１１に移行する。図４に示すとおり、制御部１６０は出力映像として背景映像を出力し、ディスプレイ１３０は出力映像を表示する。そして、再びステップＳ１０１に戻って処理を継続する。
【００５３】
一方、入力操作として「開始」が選択された場合（ステップＳ１０２：開始）、設置する画像形成装置の表示位置情報を取得する（ステップＳ１０３）。制御部１６０は、背景映像からマーカー２００の画像を抽出し、設置する画像形成装置の表示位置情報を取得する。
【００５４】
次に、表示位置情報が取得されたか否かを判定する（ステップＳ１０４）。表示位置情報が取得されていない場合（ステップＳ１０４：ＮＯ）、ステップＳ１１１に移行する。図５に示すとおり、制御部１６０は出力映像として背景映像を出力し、ディスプレイ１３０は出力映像を表示する。そして、再びステップＳ１０１に戻って処理を継続する。
【００５５】
一方、表示位置情報が取得された場合（ステップＳ１０４：ＹＥＳ）、画像形成装置等の装置画像を生成する（ステップＳ１０５）。制御部１６０は、表示位置情報と、ＲＯＭ部１６２に格納されている画像形成装置等のサイズに関する情報と、表示状態情報とに基づいて、３Ｄデータから画像形成装置等の装置画像を生成する。生成された画像形成装置等の装置画像はＲＡＭ部１６３に格納される。
【００５６】
次に、手指の位置情報を取得する（ステップＳ１０６）。センサー１２０は、手指からの赤外線放射を検出して、検出結果を画像データとして制御部１６０に伝達する。制御部１６０は、上記画像データに基づいて手指の位置情報を算出する。
【００５７】
次に、手指の位置情報が取得されたか否かを判定する（ステップＳ１０７）。手指の位置情報が取得されていない場合（ステップＳ１０７：ＮＯ）、ステップＳ１１１に移行する。図６に示すとおり、制御部１６０は出力映像として背景映像に装置画像２０を合成した出力映像を出力し、ディスプレイ１３０は出力映像を表示する。そして、再びステップＳ１０１に戻って処理を継続する。
【００５８】
一方、手指の位置情報が取得されている場合（ステップＳ１０７：ＹＥＳ）、ポインタ画像を生成する（ステップＳ１０８）。制御部１６０は、内部状態情報、手指の位置情報などに基づいて、所定の形状のポインタ画像を生成する。ポインタ画像は、手指の位置情報に基づいて、背景映像の操作者の手指の画像１０の位置に重ね合せるように生成される。生成されたポインタ画像はＲＡＭ部１６３に格納される。
【００５９】
次に、背景映像、装置画像２０、およびポインタ画像を合成する（ステップＳ１０９）。制御部１６０は、ＲＡＭ部１６３に格納された背景映像、装置画像、およびポインタ画像を合成する。
【００６０】
次に、シミュレーションモデルの所定動作を実行する（ステップＳ１１０）。制御部１６０は、画像形成装置を設置する位置と手指の位置情報とに基づいて、画像形成装置を設置する位置と操作者の手指の位置との間の離間距離を算出し、シミュレーションモデルの所定の動作を当該離間距離の大きさに応じて実行する。
【００６１】
次に、出力映像を表示する（ステップＳ１１１）。図７に示すとおり、制御部１６０は背景映像、装置画像２０、およびポインタ画像３０を合成した出力映像を出力し、ディスプレイ１３０は出力映像を表示する。そして、再びステップＳ１０１に戻って処理を継続する。
【００６２】
以上、本実施形態における制御処理プログラムの処理手順を概略的に説明した。以下では、図８〜図１７を参照して、図３に示す本実施形態の制御処理プログラムの処理手順についてより詳しく説明する。
【００６３】
＜設置する画像形成装置の表示位置情報の取得（ステップＳ１０３）＞
図８は、図３に示すステップＳ１０３を説明するフローチャートである。図８に示すとおり、まず、背景映像からマーカー２００の画像を抽出する（ステップＳ２０１）。ＣＰＵ部１６１は、ＲＡＭ部１６３に格納されている背景映像からマーカー２００の画像を抽出する。
【００６４】
次に、マーカー２００の画像が抽出されたか否かを判定する（ステップＳ２０２）。マーカー２００の画像が抽出された場合（ステップＳ２０２：ＹＥＳ）、設置する画像形成装置の表示位置情報を取得する（ステップＳ２０３）。具体的には、ＣＰＵ部１６１は、背景映像から抽出されたマーカー２００の画像の大きさおよび向きから、表示位置情報として、設置する画像形成装置の表示位置座標および向きを算出する。ここで、画像形成装置の向きは、画像表示装置１００とマーカー２００とを結ぶ直線の方向に対する画像形成装置の角度で表される。
【００６５】
なお、背景映像から抽出されたマーカーの画像の大きさおよび向きから、拡張現実オブジェクトの表示位置座標および向きを算出する技術は公知技術であるので、ここでは説明を省略する。
【００６６】
また、本実施形態では、マーカー２００の位置は、設置する画像形成装置の底面の中央部の位置に対応している。しかしながら、マーカー２００の位置は、設置する画像形成装置の底面の端部の位置に対応するようにしてもよい。
【００６７】
さらに、ＣＰＵ部１６１は、抽出されたマーカー２００の画像からマーカー画像情報と、カメラ１１０とマーカー２００との離間距離とを取得する。
【００６８】
一方、マーカー２００の画像が検出されなかった場合（ステップＳ２０２：ＮＯ）、ステップＳ１０４に移行する。
【００６９】
＜画像形成装置等の装置画像の生成（ステップＳ１０５）＞
図９は、図３に示すステップＳ１０５を説明するフローチャートである。図９に示すとおり、まず、表示状態情報を取得する（ステップＳ３０１）。上述したとおり、表示状態情報は、装置画像２０がディスプレイ１３０にどのような状態で表示されるかについての情報である。
【００７０】
次に、画像形成装置等の３Ｄデータを取得する（ステップＳ３０２）。具体的には、画像形成装置等の機種と表示状態情報とに基づいてＲＯＭ部１６２の３Ｄデータを取得する。
【００７１】
次に、画像形成装置等の装置画像を生成する（ステップＳ３０３）。具体的には、ステップＳ３０２で取得された３Ｄデータと、表示位置情報と、画像形成装置等のサイズに関する情報とに基づいて、画像形成装置等の装置画像２０を生成する。たとえば、画像形成装置として複写機の機種Ｘを生成し、オプション装置として中綴じステープル装置の機種Ｙを透過表示で生成する。
【００７２】
＜手指の位置情報の取得（ステップＳ１０６）＞
図１０は図３に示すステップＳ１０６を説明するフローチャートであり、図１１は操作ポイントを算出する方法を説明するための模式図である。
【００７３】
まず、図１０に示すとおり、センサーから近距離にある物体を検出する（ステップＳ４０１）。操作者が手指などをセンサー１２０の検出範囲に挿し入れると、センサー１２０はセンサー１２０から近距離にある物体を検出して、画像データとして制御部１６０に伝達する。
【００７４】
次に、手指の位置情報を取得する（ステップＳ４０２）。センサー１２０からの画像データから操作者の手指の位置情報を取得する。
【００７５】
具体的には、制御部１６０は、カメラ１１０と操作者の手指との間の離間距離を計測し、当該離間距離に基づいて上記画像データから手指の領域を抽出する。なお、センサー１２０からの離間距離が一定の範囲内である画像領域を他の領域と区別して抽出する技術は公知であるので、ここでは説明を省略する。
【００７６】
図１１に示すとおり、本実施形態では、抽出された手指の領域４０から操作ポイントを算出し、手指の位置情報とする。手指の領域４０は、カメラ１１０で撮像される背景映像の領域（以下、視認領域５０と称する）の上下左右のいずれかの辺から伸びる形で抽出される。手指の領域４０と視認領域５０の辺とが交わる位置（Ａ点）が図１１に示す区画Ｐ１〜Ｐ４のうちのどの区画に存在するかに応じて、操作ポイント（Ｂ点）を決定する。具体的には、以下のとおりである。
・Ａ点が区画Ｐ１の辺に存在するとき、Ｂ点は手指の領域の最も下でかつ最も右にとる。
・Ａ点が区画Ｐ２の辺に存在するとき、Ｂ点は手指の領域の最も下でかつ最も左にとる。
・Ａ点が区画Ｐ３の辺に存在するとき、Ｂ点は手指の領域の最も上でかつ最も右にとる。
・Ａ点が区画Ｐ４の辺に存在するとき、Ｂ点は手指の領域の最も上でかつ最も左にとる。
【００７７】
＜ポインタ画像の生成（ステップＳ１０８）＞
図１２は図３に示すステップＳ１０８を説明するフローチャートであり、図１３は図１２に示すステップＳ５０３を説明するフローチャートである。また、図１４Ａ〜図１４Ｅは、ポインタ画像を例示するための図である。
【００７８】
以下では、設置位置に設置された画像形成装置を実空間上に想定し、当該画像形成装置を仮想的な画像形成装置と称する。仮想的な画像形成装置をディスプレイ１３０上に可視化したものが上述した画像形成装置の装置画像２０である。本実施形態では、仮想的な画像形成装置と操作ポイントとの離間距離に応じてポインタ画像の形状を選択する。
【００７９】
仮想的な画像形成装置と操作ポイントとの離間距離は、画像形成装置を設置する位置と操作ポイントとの位置に基づいて算出することができる。また、仮想的な画像形成装置の各構成要素の位置、たとえば操作パネルの位置は、画像形成装置を設置する位置と、画像形成装置等の各部のサイズおよび位置に関する情報とに基づいて算出することができる。
【００８０】
一方、上述のとおり、操作ポイントの位置は、カメラ１１０と操作者の手指との間の相対的な位置関係に基づくものであるので、マーカー２００を基準とした位置に変換する必要がある。カメラ１１０とマーカー２００との離間距離は、背景映像から抽出したマーカー２００の画像から算出することができる。したがって、マーカー２００を基準とした実空間の操作ポイントの位置を算出することができる。以下、マーカー２００を基準とした操作ポイントの位置を単に操作ポイントと称する。
【００８１】
本実施形態では、ポインタ画像の形状、色、透過率は、シミュレーションモデルの内部状態と、仮想的な画像形成装置と操作ポイントとの離間距離とに応じて変化させることができる。以下、ポインタ画像を生成する手順を説明する。
【００８２】
まず、図１２に示すとおり、シミュレーションモデルの内部状態情報を取得する（ステップＳ５０１）。上述のとおり、内部状態情報は、シミュレーションモデルの内部状態に関する情報である。
【００８３】
次に、仮想的な画像形成装置と操作ポイントとの離間距離を算出する（ステップＳ５０２）。具体的には、制御部１６０は、仮想的な画像形成装置の位置と手指の位置情報とに基づいて、仮想的な画像形成装置と操作ポイントとの離間距離を算出する。
【００８４】
次に、ポインタ画像を選択する（ステップＳ５０３）。制御部１６０は、シミュレーションモデルの内部状態と、仮想的な画像形成装置と操作ポイントとの離間距離と、に応じて、ポインタ画像を選択する。具体的には、図１３に示すとおりである。なお、以下ではポインタ画像として「矢印（Ｏｂｊ１）」、「指（Ｏｂｊ２）」、「半透明の矢印（Ｏｂｊ３）」、「工具（Ｏｂｊ４）」を例示して説明するが、ポインタ画像はこれらに限定されない。また、上記離間距離および内部状態とポインタ画像の形状、色、透過率との対応関係も以下で説明するものに限定されない。
【００８５】
まず、仮想的な画像形成装置と操作ポイントとの距離が第１の所定距離以上か否かを判定する（ステップＳ６０１）。仮想的な画像形成装置と操作ポイントとの距離が第１の所定距離以上の場合（ステップＳ６０１：第１の所定距離以上）、図１４Ａに示すとおり、ポインタ画像３１として「半透明の矢印（Ｏｂｊ３）」を選択する（ステップＳ６０２）。
【００８６】
一方、仮想的な画像形成装置と操作ポイントとの距離が第１の所定距離未満の場合（ステップＳ６０１：第１の所定距離未満）、シミュレーションモデルの内部状態を判定する（ステップＳ６０３）。内部状態が「故障状態」である場合（ステップＳ６０３：故障状態）、図１４Ｂに示すとおり、ポインタ画像３２として「工具（Ｏｂｊ４）」を選択する（ステップＳ６０４）。なお、上記第１の所定距離は、たとえば５０ｃｍ〜２ｍであり、好適には１ｍである。
【００８７】
一方、内部状態が「正常状態」である場合（ステップＳ６０３：正常状態）、仮想的な画像形成装置の表面のうち操作ポイントから最も近い面は背面であるか否かを判定する（ステップＳ６０５）。仮想的な画像形成装置の表面のうち操作ポイントから最も近い面が背面である場合（ステップＳ６０５：ＹＥＳ）、図１４Ｃに示すとおり、ポインタ画像３２として「工具（Ｏｂｊ４）」を選択する（ステップＳ６０６）。
【００８８】
一方、仮想的な画像形成装置の表面のうち操作ポイントから最も近い面が背面ではない場合（ステップＳ６０５：ＮＯ）、操作ポイントは仮想的な画像形成装置の操作パネルから第２の所定距離以内に存在するか否かを判定する（ステップＳ６０７）。操作ポイントが仮想的な画像形成装置の操作パネルから第２の所定距離以内に存在する場合（ステップＳ６０７：ＹＥＳ）、図１４Ｄに示すとおり、ポインタ画像３３として「指（Ｏｂｊ２）」を選択する（ステップＳ６０８）。なお、上記第２の所定距離は、たとえば１０〜３０ｃｍであり、好適には２０ｃｍである。
【００８９】
一方、操作ポイントが仮想的な画像形成装置の操作パネルから第２の所定距離以内に存在しない場合（ステップＳ６０７：ＮＯ）、図１４Ｅに示すとおり、ポインタ画像３０として「矢印（Ｏｂｊ１）」を選択する（ステップＳ６０９）。
【００９０】
次に、再び図１２に戻って、ポインタ画像を生成する（ステップＳ５０４）。ポインタ画像３０〜３３は、図４Ａ〜図４Ｅに示すとおり、その先端が操作ポイントに一致し、背景映像の操作者の手指の画像１０に重ね合されるように生成される。生成されたポインタ画像３０〜３３はＲＡＭ部１６３に格納される。
【００９１】
＜シミュレーションモデルの所定動作の実行（ステップＳ１１０）＞
図１５は図３に示すステップＳ１１０を説明するフローチャートであり、図１６は図１５に示すステップＳ７０２を説明するフローチャートである。また、図１７は、「印刷動作」のシミュレーションを実行した場合にディスプレイに表示される映像を例示する図である。
【００９２】
まず、シミュレーションモデルの内部状態情報を取得する（ステップＳ７０１）。制御部１６０は、シミュレーションモデルの内部状態情報を取得して、シミュレーションモデルが現在どのような状態であるのかを参照する。
【００９３】
次に、シミュレーションモデルの動作を選択する（ステップＳ７０２）。制御部１６０は、仮想的な画像形成装置と操作者の手指との位置関係およびシミュレーションモデルの内部状態に応じて、シミュレーションモデルの動作を選択する。具体的には、図１６に示すとおりである。なお、以下では、シミュレーションモデルの動作として「印刷動作」および「背面ドアオープン動作」を選択する場合について例示して説明するが、シミュレーションモデルの動作は「印刷動作」および「背面ドアオープン動作」に限定されない。
【００９４】
まず、シミュレーションモデルの内部状態を判定する（ステップＳ８０１）。内部状態が「正常状態」である場合（ステップＳ８０１：正常状態）、ステップＳ８０２に移行する。一方、内部状態が「故障状態」である場合（ステップＳ８０１：故障状態）、ステップＳ８０５に移行する。
【００９５】
ステップＳ８０２に移行した場合、操作ポイントが仮想的な画像形成装置の操作パネルから第３の所定距離以内に存在するか否かを判定する（ステップＳ８０２）。操作ポイントが画像形成装置の操作パネルから第３の所定距離以内に存在しない場合（ステップＳ８０２：ＮＯ）、シミュレーションモデルの動作を選択せずに図１５のステップＳ７０３に移行する。なお、上記第３の所定距離は、たとえば１〜１０ｃｍであり、好適には５ｃｍである。
【００９６】
一方、操作ポイントが仮想的な画像形成装置の操作パネルから第３の所定距離以内に存在する場合（ステップＳ８０２：ＹＥＳ）、シミュレーションモデルが動作中か否かを判定する（ステップＳ８０３）。シミュレーションモデルが動作中である場合（ステップＳ８０３：ＹＥＳ）、シミュレーションモデルの動作を選択せずに図１５のステップＳ７０３に移行する。
【００９７】
一方、シミュレーションモデルが動作中ではない場合（ステップＳ８０３：ＮＯ）、シミュレーションモデルの動作として「印刷動作」を選択し、図１５のステップＳ７０３に移行する。
【００９８】
次に、ステップＳ８０５に移行した場合、操作ポイントが仮想的な画像形成装置の背面ドアの開閉部から第４の所定距離以内に存在するか否かを判定する（ステップＳ８０５）。操作ポイントが仮想的な画像形成装置の背面ドアの開閉部から第４の所定距離以内に存在しない場合（ステップＳ８０５：ＮＯ）、シミュレーションモデルの動作を選択せずに図１５のステップＳ７０３に移行する。なお、上記第４の所定距離は、たとえば１〜１０ｃｍであり、好適には５ｃｍである。
【００９９】
一方、操作ポイントが仮想的な画像形成装置の背面ドアの開閉部から第４の所定距離以内に存在する場合（ステップＳ８０５：ＹＥＳ）、シミュレーションモデルが背面ドアオープン中か否かを判定する（ステップＳ８０６）。シミュレーションモデルが背面ドアオープン中である場合（ステップＳ８０６：ＹＥＳ）、シミュレーションモデルの動作を選択せずに図１５のステップＳ７０３に移行する。
【０１００】
一方、シミュレーションモデルが背面ドアオープン中ではない場合（ステップＳ８０６：ＮＯ）、シミュレーションモデルの動作として「背面ドアオープン動作」を選択し、図１５のステップＳ７０３に移行する。
【０１０１】
次に、再び図１５に戻って、シミュレーションモデルの内部状態を更新する（ステップＳ７０３）。ステップＳ７０２で選択したシミュレーションモデルの動作に基づいて、シミュレーションモデルの内部状態を更新する。
【０１０２】
次に、操作ポイントが規定の領域に存在するか否かを判定する（ステップＳ７０４）。操作者の手指の移動に伴いポインタ画像の表示位置も移動する。制御部１６０は、操作ポイントが、仮想的な画像形成装置の予め規定された領域（たとえば、操作パネル上のスタートボタン）に存在するか否かを判定する。操作ポイントが規定の領域に存在しない場合（ステップＳ７０４：ＮＯ）、シミュレーションモデルの所定動作を実行せずに図３のステップＳ１１１に移行する。
【０１０３】
なお、上記規定の領域は、必ずしも操作ポイントと接触する範囲の領域である必要はない。たとえば、操作パネル上のスタートボタン上方の所定の範囲を含むように設定することもできる。
【０１０４】
また、操作ポイントが所定の領域に存在するか否かを判定するのではなく、たとえば操作ポイントの位置が単位時間あたりに動く距離、すなわち操作ポイントの移動速度に応じて、シミュレーションモデルの所定動作を実行するように構成してもよい。
【０１０５】
一方、操作ポイントが規定の領域に存在する場合（ステップＳ７０４：ＹＥＳ）、シミュレーションモデルの所定動作を実行する（ステップＳ７０５）。ステップＳ７０２で選択されたシミュレーションモデルの動作に基づいて、シミュレーションモデルの所定動作を実行する。
【０１０６】
たとえば、選択されたシミュレーションモデルの動作が「印刷動作」である場合、制御部１６０は、シミュレーションモデルで「印刷動作」を実行する。図１７に示すとおり、「印刷動作」が実行されると、ディスプレイ１３０には装置画像２０が印刷した用紙Ｓを排紙する様子が動画で表示される。また、スピーカー１５０は、装置画像２０の印刷動作に合わせて印刷音を発生する。なお、装置画像２０が印刷する様子を動画で表示する代わりに、実際の画像形成装置が印刷する様子を収録した動画をディスプレイ１３０に表示してもよい。
【０１０７】
以上のとおり、本実施形態の画像表示装置１００は、画像形成装置を設置する場所の背景映像からマーカー２００の画像を抽出して表示位置情報を取得し、装置画像２０を生成する。また、画像表示装置１００は、手指の位置情報を取得し、ポインタ画像３０〜３３を生成する。そして、画像形成装置を設置する位置および手指の位置情報に基づいて、シミュレーションモデルの所定の動作を実行し、装置画像２０およびポインタ画像３０〜３３を背景映像と合成して表示する。
【０１０８】
以上のとおり、説明した本実施形態は、以下の効果を奏する。
【０１０９】
（ａ）画像形成装置を設置する場所の背景映像に装置画像２０を合成して表示し、操作者の手指の位置に基づいて、ディスプレイ１３０に表示された装置画像２０のシミュレーションモデルの所定動作を実行し、装置画像２０の動作を開始する。したがって、操作者は、設置する場所で画像形成装置等を実際に操作しているような体験をすることができるので、画像形成装置等を実際に設置した場合に近い状態で事前検討することができる。
【０１１０】
（ｂ）画像形成装置を設置する位置に配置されたマーカー２００の画像を抽出して、画像形成装置の表示位置情報を取得するので、画像表示装置１００を保持する操作者の位置が変化しても背景映像に装置画像２０を正確な位置および向きで表示することができる。その結果、操作者は、設置する画像形成装置と室内の他の物体、たとえば窓Ｗとの位置関係などを確実に把握することができる。
【０１１１】
（ｃ）現物の画像形成装置を使用することなく、画像形成装置の動作を確認することができる確認用現物の確保・設置、トナー、用紙などの費用を削減することができる。
【０１１２】
（第２の実施形態）
第１の実施形態では、画像形成装置を設置する場所の背景映像からマーカーの画像を抽出して表示位置情報を取得し、背景映像、装置画像、およびポインタ画像を合成して表示することを説明した。第２の実施形態では、背景映像からマーカーの画像を抽出して表示位置情報を取得せずに他の方法を用いて表示位置情報を取得し、規定の背景映像、装置画像、およびポインタ画像を合成して表示することを説明する。なお、以下の説明では説明の重複を避けるため、第１の実施形態と同様の構成については説明を省略する。
【０１１３】
図１８は、本発明の第２の実施形態の画像表示装置の概略ブロック構成図である。図１８に示すとおり、本実施形態の画像表示装置１００は、第１の実施形態のカメラ１１０の代わりに背景映像生成部１８０を有する。
【０１１４】
背景映像生成部１８０は、画像表示装置１００の筐体１７０に内蔵されていてもよいし、筐体１７０の外部に配置されていてもよい。背景映像生成部１８０が筐体１７０の外部に配置されている場合は、有線通信または無線通信で映像データを制御部１６０に送信する。以下では、背景映像生成部１８０が筐体１７０に内蔵されている場合について説明する。
【０１１５】
＜背景映像の取得＞
背景映像生成部１８０は、背景映像取得手段として、大容量記憶部１６４に規定の背景映像を複数格納している。背景映像は、たとえば画像形成装置等が設置されるオフィスの映像、画像形成装置等を紹介する展示場の映像、コンピューター・グラフィックスの映像などを含む。制御部１６０は、背景映像生成部１８０で生成された規定の背景映像に装置画像２０およびポインタ画像を合成して出力映像を生成し、ディスプレイ１３０は合成された出力映像を表示する。したがって、操作者は、画像形成装置等が設置されると想定される場所や状況に応じて背景映像を適宜切り替えることができる。
【０１１６】
＜設置する画像形成装置の表示位置情報の取得＞
本実施形態では、たとえば画像表示装置１００の位置が予め定められており、設置する画像形成装置の位置と画像表示装置１００との相対的な位置が既知である場合を想定する。あるいは、画像表示装置１００の位置を正確に取得することができる公知の技術を使用してもよい。制御部１６０は、設置する画像形成装置の位置と画像表示装置１００との相対的な位置関係に基づいて、画像形成装置の表示位置情報を取得することができる。
【０１１７】
以上のとおり、本実施形態の画像表示装置１００は、設置する画像形成装置の位置と操作者との相対的な位置関係に基づいて表示位置情報を取得し、背景映像生成部１８０で生成された規定の背景映像に装置画像およびポインタ画像を合成して表示する。
【０１１８】
以上のとおり、説明した本実施形態は、第１の実施形態の効果に加えて以下の効果を奏する。
【０１１９】
（ｄ）背景映像生成部１８０は、大容量記憶部１６４に規定の背景映像を複数保持している。したがって、操作者は、画像形成装置等が設置されると想定される場所に応じて背景映像を適宜切り替えることができる。
【０１２０】
以上のとおり、実施形態において、本発明の画像表示装置を説明した。しかしながら、本発明は、その技術思想の範囲内において当業者が適宜に追加、変形、および省略することができることはいうまでもない。
【０１２１】
たとえば、第１の実施形態では、１つのマーカーを配置して１台の画像形成装置を設置する場合について説明した。しかしながら、マーカーの数は１つに限定されず、複数のマーカーを配置してもよい。たとえば、２つのマーカーを配置する場合、２台の画像形成装置の装置画像を表示することができる。
【０１２２】
また、第１の実施形態では、画像形成装置を設置する場所に配置されたマーカーを用いて表示位置情報を取得することを説明した。しかしながら、表示位置情報を取得する方法はマーカーを使用する方法に限定されない。
【０１２３】
また、第１の実施形態では、センサーによって検出された物体の画像データから手指の領域を抽出し、当該手指の領域とカメラの視認領域の辺とが交わる位置が所定のうちのどの区画に存在するかに応じて、操作ポイントを決定することを説明した。しかしながら、操作ポイントの決定方法は、このような方法に限定されず他の方法を使用してもよい。
【符号の説明】
【０１２４】
１０ 操作者の手指の画像、
２０ 装置画像、
３０〜３３ ポインタ画像、
４０ 手指の領域、
１００ 画像表示装置、
１１０ カメラ、
１２０ センサー
１３０ ディスプレイ、
１４０ タッチパネル、
１５０ スピーカー、
１６０ 制御部、
１６１ ＣＰＵ部、
１６２ ＲＡＭ部、
１６３ ＲＯＭ部、
１６４ 大容量記憶部、
１７０ 筐体、
１８０ 背景映像生成部、
２００ マーカー。
【技術分野】
【０００１】
本発明は、制御処理プログラム、画像表示装置、および画像表示方法に関する。
【背景技術】
【０００２】
近年、現実の世界の映像に仮想的な物体の画像（以下、拡張現実オブジェクトと称する）を合成してディスプレイで表示することにより、その拡張現実オブジェクトがあたかも現実の世界に存在するかのように視聴者に見せる拡張現実感を使用した技術が注目されている。
【０００３】
たとえば下記の特許文献１には、現実の部屋の映像に仮想的な家具の画像を合成して、家具があたかも現実の部屋に存在するかのように見せる技術が開示されている。
【０００４】
また、単に現実の世界の映像に拡張現実オブジェクト合成して表示させるだけではなく、拡張現実オブジェクトに対して操作者が働きかけることにより、拡張現実オブジェクトが何らかの動作を開始する技術も開発されている。たとえば、下記の特許文献２には、現実の世界の映像に合成して表示された仮想的なキャラクタを操作者が発する音声に応じて動かす技術が開示されている。
【０００５】
しかしながら、特許文献２の画像表示システムでは、操作者が発する音声に応じて拡張現実オブジェクトの動作を開始することはできるものの、操作者の動作、たとえば操作者の指の位置に応じて拡張現実オブジェクトの動作を開始することはできない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特表２０１０−５４１０５４号公報
【特許文献２】特許第４６９６１８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は、上述した問題を解決するためになされたものである。したがって、本発明の目的は、操作者の指の位置に応じて拡張現実オブジェクトの動作を開始することができる制御処理プログラム、画像表示装置、および画像表示方法を提供することである。
【課題を解決するための手段】
【０００８】
本発明の上記目的は、下記によって達成される。
【０００９】
（１）背景映像を取得する手順（ａ）と、設置する画像形成装置の表示位置情報を取得する手順（ｂ）と、前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する手順（ｃ）と、手または指の位置情報を取得する手順（ｄ）と、前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成する手順（ｅ）と、前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する手順（ｆ）と、前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する手順（ｇ）と、前記出力映像を表示する手順（ｈ）と、を有する、コンピューターに実行させるための制御処理プログラム。
【００１０】
（２）前記背景映像は、前記画像形成装置を設置する場所を撮像手段が撮像して取得されることを特徴とする上記（１）に記載の制御処理プログラム。
【００１１】
（３）前記手順（ｂ）において、前記背景映像からマーカーの画像を抽出して前記表示位置情報を取得することを特徴とする上記（２）に記載の制御処理プログラム。
【００１２】
（４）上記（１）〜（３）のいずれか１つに記載の画像処理プログラムを記録したコンピューター読み取り可能な記録媒体。
【００１３】
（５）背景映像を取得する背景映像取得手段と、設置する画像形成装置の表示位置情報を取得する表示位置情報取得手段と、前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する装置画像生成手段と、手または指の位置情報を取得する手指位置情報取得手段と、前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成するポインタ画像生成手段と、前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する画像合成手段と、前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行するモデル実行手段と、前記出力映像を表示する表示手段と、を有することを特徴とする画像表示装置。
【００１４】
（６）前記背景映像取得手段は、撮像手段を有し、前記背景映像は、前記画像形成装置を設置する場所を前記撮像手段が撮像して取得されることを特徴とする上記（５）に記載の画像表示装置。
【００１５】
（７）前記表示位置情報取得手段は、前記背景映像からマーカーの画像を抽出して前記表示位置情報を取得することを特徴とする上記（６）に記載の画像表示装置。
【００１６】
（８）背景映像を取得する段階と、設置する画像形成装置の表示位置情報を取得する段階と、前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する段階と、手または指の位置情報を取得する段階と、前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成する段階と、前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する段階と、前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する段階と、前記出力映像を表示する段階と、を有する、画像表示方法。
【発明の効果】
【００１７】
本発明によれば、操作者の手または指の位置に基づいて、ディスプレイに表示された拡張現実オブジェクトのシミュレーションモデルの所定動作を実行し、拡張現実オブジェクトの動作を開始する。したがって、操作者は、画像形成装置を実際に操作しているような体験をすることができるので、画像形成装置を実際に設置した場合に近い状態で事前検討することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の第１の実施形態の画像表示装置の概観を示す概略斜視図である。
【図２】本発明の第１の実施形態の画像表示装置の概略ブロック構成図である。
【図３】本発明の第１の実施形態における制御処理プログラムの処理手順を概略的に説明するためのフローチャートである。
【図４】本発明の第１の実施形態において、入力操作として「終了要求」が選択された場合にディスプレイに表示される背景映像を例示する図である。
【図５】本発明の第１の実施形態において、マーカーが配置されていない場合にディスプレイに表示される背景映像を例示する図である。
【図６】本発明の第１の実施形態において、操作者の手指がカメラの視野に入っていない場合にディスプレイに表示される映像を例示する図である。
【図７】本発明の第１の実施形態において、背景映像、装置画像、およびポインタ画像を合成した場合にディスプレイに表示される映像を例示する図である。
【図８】図３に示すステップＳ１０３を説明するフローチャートである。
【図９】図３に示すステップＳ１０５を説明するフローチャートである。
【図１０】図３に示すステップＳ１０６を説明するフローチャートである。
【図１１】操作ポイントを算出する方法を説明するための模式図である。
【図１２】図３に示すステップＳ１０８を説明するフローチャートである。
【図１３】図１２に示すステップＳ５０３を説明するフローチャートである。
【図１４Ａ】ポインタ画像を例示するための図である。
【図１４Ｂ】ポインタ画像を例示するための図である。
【図１４Ｃ】ポインタ画像を例示するための図である。
【図１４Ｄ】ポインタ画像を例示するための図である。
【図１４Ｅ】ポインタ画像を例示するための図である。
【図１５】図３に示すステップＳ１１０を説明するフローチャートである。
【図１６】図１５に示すステップＳ７０２を説明するフローチャートである。
【図１７】「印刷動作」のシミュレーションを実行した場合にディスプレイに表示される映像を例示する図である。
【図１８】本発明の第２の実施形態の画像表示装置の概略ブロック構成図である。
【発明を実施するための形態】
【００１９】
（第１の実施形態）
以下、図１を参照して、本発明の第１の実施形態を説明する。図１は本発明の第１の実施形態の画像表示装置の概観を示す概略斜視図であり、図２は本発明の第１の実施形態の画像表示装置の概略ブロック構成図である。本実施形態の画像表示装置は、操作者の手または指の位置に基づいて、ディスプレイに表示された拡張現実オブジェクトのシミュレーションモデルの所定動作を実行し、拡張現実オブジェクトの動作を開始させることを特徴とする。なお、本実施形態の画像表示装置は、複写機、プリンター、ファクシミリ、複合機などの画像形成装置の設置を検討する場合に好適に使用することができる。
【００２０】
図１に示すとおり、本実施形態の画像表示装置１００は、携帯可能なタブレット型の端末であり、画像表示装置１００の操作者（以下、単に操作者と称する）が室内を自由に持ち歩くことができるように構成されている。本実施形態では、操作者が画像表示装置１００を使用して、画像形成装置および画像形成装置のオプション装置（以下、画像形成装置等と称する）を窓Ｗがある室内に設置することを検討する場合を想定して説明する。
【００２１】
なお、本実施形態の画像表示装置は、上述のようなタブレット型ではなく、背景に拡張現実オブジェクトを重ね合せて表示するゴーグル型（メガネ型）であってもよい。この場合、画像表示装置は操作者の顔部に装着されるので持ち運ぶ必要がなくなる。
【００２２】
画像表示装置１００は、カメラ１１０、センサー１２０、ディスプレイ１３０、タッチパネル１４０、スピーカー１５０、制御部１６０（図２を参照）、および筐体１７０を有する。
【００２３】
カメラ１１０は、背景映像取得手段および表示位置情報取得手段として、画像形成装置等を設置する場所を撮像し、背景映像を取得する。操作者は、画像形成装置等を設置する場所がカメラ１１０の視野に入るように筐体１７０の向きを調整する。
【００２４】
カメラ１１０は、筐体１７０の一面に取り付けられており、画像形成装置等を設置する場所の映像を所定の周期で取り込み、制御部１６０に伝達する。この際、マーカー２００の画像も画像形成装置等を設置する場所の映像の一部として取り込まれ、制御部１６０に伝達される。マーカー２００は、表面に文字、記号、図形などが記されたシート状の媒体であり、設置する画像形成装置の機種を識別する情報を含む。操作者は、画像形成装置を設置する場所にマーカー２００を予め配置しておく。なお、カメラ１１０は、筐体１７０に内蔵することもできる。
【００２５】
センサー１２０は、手指位置情報取得手段として、操作者の手または指（以下、手指と称する）を検出する。センサー１２０は、たとえば赤外線センサーを有し、筐体１７０の一面にカメラ１１０と並んで取り付けられる。センサー１２０は、センサー１２０の近距離にある物体からの赤外線放射を赤外線センサーで検出する。センサー１２０は、操作者の手指が赤外線センサーの検出範囲に入ると、操作者の手指の赤外線放射を検出して、画像データとして制御部１６０に伝達する。センサー１２０は、筐体１７０に内蔵することもできる。
【００２６】
なお、後述するとおり、本実施形態の画像表示装置１００では、操作者の手指の位置に基づいて、ディスプレイ１３０に表示された拡張現実オブジェクトのシミュレーションモデルの所定動作を実行する。操作者の手指の位置は、センサー１２０が操作者の手指を検出し、制御部１６０で検出結果を処理することによって取得される。
【００２７】
一方、センサー１２０は赤外線センサーで物体を検出するので、特別に判別処理を施さない限り、制御部１６０は手指が操作者のものであるのか他の人間のものであるのかを判別することはできない。以下では、説明の便宜上、操作者の手指を用いる場合を例示して説明する。しかしながら、手指には操作者以外の人間の手指も含むことができる。また、人間の手指の代わりに指示棒などを用いることもできる。
【００２８】
ディスプレイ１３０は、表示手段として、出力映像、各種設定項目、メッセージなどを表示する。具体的には、ディスプレイ１３０は、制御部１６０が生成する拡張現実オブジェクトと背景映像とが合成された出力映像を表示する。また、ディスプレイ１３０は、画像表示装置１００の各種のモード、機能、オプション装置の機種、表示方法などの設定項目を設定する際の設定画面を表示する。さらに、ディスプレイ１３０は、各種の設定項目を設定する際に制御部１６０から出力されたメッセージ、警告メッセージなどを表示する。
【００２９】
なお、画像表示装置１００は、制御部１６０からの出力映像を画像表示装置１００の外部に出力する出力端子（不図示）をさらに備えることもできる。表画像示装置１００が当該出力端子を通じて大画面のディスプレイ、プロジェクタなどに出力映像を送信することにより、ディスプレイ１３０に表示される映像と同じ映像を大画面のディスプレイ、プロジェクタなどで同時に観ることができる。
【００３０】
タッチパネル１４０は、操作者からの入力操作を受付ける。本実施形態では、操作者は、タッチパネル１４０を介して各種のモード、機能、オプション装置の機種、表示方法などの設定項目の設定をすることができる。タッチパネル１４０は、ディスプレイ１３０上に配置されており、ディスプレイ１３０の表示に対応する位置に操作者の手指が接触することにより、上記設定項目が選択され、選択された設定項目の情報が制御部１６０に伝達される。なお、ゴーグル型の画像表示装置の場合は、押ボタンスイッチなどを介して各種のモード、機能、オプション装置の機種、表示方法などを設定することができる。
【００３１】
スピーカー１５０は、印刷音、効果音、警告音、音声案内などを出力する。スピーカー１５０は、たとえば実際の画像形成装置等が発する音を収録した音または模した音を印刷音として画像形成装置等の動作シミュレーションをする際に発生させる。また、スピーカー１５０は、たとえば画像表示装置１００の設定画面の設定項目を選択するときなどに効果音を出力する。また、動作上のトラブルが生じたときなどには警告音や音声案内を出力する。
【００３２】
制御部１６０は、カメラ１１０、センサー１２０、ディスプレイ１３０、タッチパネル１４０、およびスピーカー１５０を制御する。図２に示すとおり、制御部１６０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）部１６１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）部１６２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）部１６３、および大容量記憶部１６４を有する。制御部１６０は、表示位置情報取得手段、装置画像生成手段、手指位置情報取得手段、ポインタ画像生成手段、画像合成手段、モデル実行手段として機能する。
【００３３】
ＣＰＵ部１６１は、バスを通じてＲＯＭ部１６２、ＲＡＭ部１６３、および大容量記憶部１６４に接続されている。また、ＣＰＵ部１６１は、各種専用インターフェース（不図示）を通じてそれぞれカメラ１１０、センサー１２０、ディスプレイ１３０、タッチパネル１４０、およびスピーカー１５０に接続されている。
【００３４】
ＲＯＭ部１６２は、制御処理プログラム、３Ｄデータ、およびコンテンツデータを格納する。制御処理プログラムは、画像表示装置１００の動作を制御し、各種の演算処理を実行するためのソフトウェア・プログラムであり、ＣＰＵ部１６１によって逐次的に実行される。
【００３５】
３Ｄデータは、設置する画像形成装置およびオプション装置の外形を表す３次元画像データを含む。オプション装置としては、たとえば中綴じステープル装置、ステープル製本装置などがある。本実施形態では、３Ｄデータとして画像形成装置等の機種に応じた３次元画像データが用意されている。なお、３Ｄデータは、コンピューター・グラフィックスなどで使用される一般的なデータ形式でＲＯＭ部１６２に記憶されており、データ形式はとくに限定されない。
【００３６】
コンテンツデータは、画像形成装置等に関する実体的なデータなどを含む。具体的には、コンテンツデータは、画像形成装置等の構成に関する情報、画像形成装置等の各部のサイズおよび位置に関する情報、マーカー画像情報、シミュレーションモデルなどを含む。
【００３７】
画像形成装置等は、機種によって構成が異なる。コンテンツデータは、それぞれの機種が有する構成要素、構成要素同士の関係などの情報を含む。また、コンテンツデータは、画像形成装置等の各々の筐体サイズに加えて、各々の構成要素、たとえば画像形成装置の操作パネル（オペレーション・パネル）、背面ドア、排紙トレイなどの構成要素のサイズおよび位置も含む。
【００３８】
マーカー画像情報は、マーカーの画像に含まれる情報である。マーカー画像情報は、画像形成装置の機種と一義的に対応付けられている。したがって、背景映像からマーカー２００の画像を抽出し、マーカー画像情報を取得することにより、設置する画像形成装置の機種を特定することができる。
【００３９】
シミュレーションモデルは、画像形成装置等の動作を模擬するための動作シミュレーションモデルである。ＣＰＵ部１６１は、設置する画像形成装置等の機種を特定したのち、シミュレーションモデルを走行させて、画像形成装置等の動作シミュレーションを開始する。
【００４０】
ＲＡＭ部１６３は、背景映像、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）オブジェクト画像、表示状態情報、内部状態情報などを格納する。背景映像は、カメラ１１０が撮像した背景映像であり、所定の周期で取得されてＲＡＭ部１６３に格納される。本実施形態では、ＣＰＵ部１６１は、背景映像に含まれるマーカー２００の画像を抽出して画像形成装置を設置する表示位置情報を取得し、ＲＡＭ部１６３に格納する。
【００４１】
ＡＲオブジェクト画像は、拡張現実オブジェクトとしての画像形成装置等の画像（以下、装置画像と称する）と拡張現実オブジェクトとしての手指のポインタ画像を含む。
【００４２】
装置画像は、３Ｄデータを、設置する画像形成装置等の大きさおよび向きに合わせて、ディスプレイ１３０に表示する２次元画像に変換したものである。本実施形態では、ＣＰＵ部１６１は、画像形成装置の表示位置情報と、ＲＯＭ部１６２に格納されている画像形成装置等のサイズに関する情報と、表示状態情報とに基づいて、３Ｄデータから画像形成装置等の装置画像を生成し、ＲＡＭ部１６３に格納する。
【００４３】
また、ポインタ画像は、ディスプレイ１３０上で操作者の手指の位置を示す。ポインタ画像は、たとえば「矢印」、「指」などの所定の画像から選択され、背景映像の操作者の手指の画像１０の位置に重ね合せるように生成される。また、ポインタ画像を表示しないように設定することもできる。ＣＰＵ部１６１は、手指の位置情報に基づいて、ポインタ画像を生成し、ＲＡＭ部１６３に格納する。手指の位置情報は、センサー１２０からの画像データに基づいてＣＰＵ部１６１が算出する。手指の位置情報の具体的な取得方法およびポインタ画像の具体的な生成方法については後述する。
【００４４】
表示状態情報は、装置画像がディスプレイ１３０にどのような状態で表示されるかについての情報である。表示状態情報は、現在表示対象となっているオプション構成に関する情報、表示方法に関する情報などを含む。表示方法としては、たとえば装置画像の重ね合せ、透過などがある。表示状態情報は、現在表示対象となっているオプション構成や表示方法が変更されると更新される。オプション構成に関する情報、表示方法に関する情報はタッチパネル１４０を介して操作者が適宜設定することができる。
【００４５】
内部状態情報は、シミュレーションモデルの内部状態に関する情報である。本実施形態では、内部状態には、大きく分けて「正常状態」および「故障状態」がある。動作シミュレーションが開始されると、シミュレーションモデルは、「正常状態」となる。
【００４６】
内部状態が「正常状態」のとき、シミュレーションモデルは、「印刷動作」などの動作を実行することができる。一方、「故障状態」のとき、シミュレーションモデルは、「印刷動作」などの動作を実行することができない。一方、内部状態が「故障状態」のときしか実行できない動作もある。内部状態が「故障状態」のときは、たとえば背面ドアが開いているときなどである。
【００４７】
動作シミュレーションの開始時における内部状態情報の初期値は、ＲＯＭ部１６２のコンテンツデータに格納されている。動作シミュレーションが進行し、内部状態が変化すると、内部状態情報は更新される。内部状態が「正常状態」で、シミュレーションモデルが印刷中である場合、内部状態情報は、「正常状態」でかつ「印刷中」である旨を示す情報を含む。
【００４８】
ＣＰＵ１６１は、シミュレーションモデルの内部状態情報を参照し、画像形成装置を設置する位置と手指の位置情報とに基づいて、画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する。シミュレーションモデルの具体的な動作については後述する。
【００４９】
大容量記憶部１６４は、たとえばハードディスクドライブ、フラッシュメモリなどを備える。大容量記憶部１６４には、動作シミュレーションを実行する際に表示する動画、設定項目を設定する際に表示するメッセージ動画などの動画データまたは画像データ、印刷音、効果音、警告音、音声案内などの音声データが格納されている。
【００５０】
以下、図３〜図７を参照して、本実施形態における制御処理プログラムの処理手順を概略的に説明する。図３は本発明の第１の実施形態における制御処理プログラムの処理手順を概略的に説明するためのフローチャートである。また、図４は、本発明の第１の実施形態において、入力操作として「終了要求」が選択された場合にディスプレイに表示される背景映像を例示する図である。また、図５は本発明の第１の実施形態において、マーカーが配置されていない場合にディスプレイに表示される背景映像を例示する図であり、図６は本発明の第１の実施形態において、操作者の手指がカメラの視野に入っていない場合にディスプレイに表示される映像を例示する図である。また、図７は、本発明の第１の実施形態において、背景映像、装置画像、およびポインタ画像を合成した場合にディスプレイに表示される映像を例示する図である。
【００５１】
まず、背景映像を取得する（ステップＳ１０１）。カメラ１１０は、室内において画像形成装置を設置する場所を撮像し、撮像した背景映像をＲＡＭ部１６３に格納する。画像形成装置を設置する場所にマーカー２００が事前に配置されている場合、マーカー２００を含んだ背景映像がＲＡＭ部１６３に格納される。また、操作者がカメラ１１０の視野に手指を挿し入れると、背景映像には操作者の手指の画像１０も含まれる。
【００５２】
次に、入力操作を受け付ける（ステップＳ１０２）。制御部１６０は、タッチパネル１４０を介して操作者の入力操作を受け付ける。ディスプレイ１３０は、「終了要求」、「停止」、および「開始」の選択画面を表示する。入力操作として「終了要求」が選択された場合（ステップＳ１０２：終了要求）、処理を終了する。入力操作として「停止」が選択された場合（ステップＳ１０２：停止）、ステップＳ１１１に移行する。図４に示すとおり、制御部１６０は出力映像として背景映像を出力し、ディスプレイ１３０は出力映像を表示する。そして、再びステップＳ１０１に戻って処理を継続する。
【００５３】
一方、入力操作として「開始」が選択された場合（ステップＳ１０２：開始）、設置する画像形成装置の表示位置情報を取得する（ステップＳ１０３）。制御部１６０は、背景映像からマーカー２００の画像を抽出し、設置する画像形成装置の表示位置情報を取得する。
【００５４】
次に、表示位置情報が取得されたか否かを判定する（ステップＳ１０４）。表示位置情報が取得されていない場合（ステップＳ１０４：ＮＯ）、ステップＳ１１１に移行する。図５に示すとおり、制御部１６０は出力映像として背景映像を出力し、ディスプレイ１３０は出力映像を表示する。そして、再びステップＳ１０１に戻って処理を継続する。
【００５５】
一方、表示位置情報が取得された場合（ステップＳ１０４：ＹＥＳ）、画像形成装置等の装置画像を生成する（ステップＳ１０５）。制御部１６０は、表示位置情報と、ＲＯＭ部１６２に格納されている画像形成装置等のサイズに関する情報と、表示状態情報とに基づいて、３Ｄデータから画像形成装置等の装置画像を生成する。生成された画像形成装置等の装置画像はＲＡＭ部１６３に格納される。
【００５６】
次に、手指の位置情報を取得する（ステップＳ１０６）。センサー１２０は、手指からの赤外線放射を検出して、検出結果を画像データとして制御部１６０に伝達する。制御部１６０は、上記画像データに基づいて手指の位置情報を算出する。
【００５７】
次に、手指の位置情報が取得されたか否かを判定する（ステップＳ１０７）。手指の位置情報が取得されていない場合（ステップＳ１０７：ＮＯ）、ステップＳ１１１に移行する。図６に示すとおり、制御部１６０は出力映像として背景映像に装置画像２０を合成した出力映像を出力し、ディスプレイ１３０は出力映像を表示する。そして、再びステップＳ１０１に戻って処理を継続する。
【００５８】
一方、手指の位置情報が取得されている場合（ステップＳ１０７：ＹＥＳ）、ポインタ画像を生成する（ステップＳ１０８）。制御部１６０は、内部状態情報、手指の位置情報などに基づいて、所定の形状のポインタ画像を生成する。ポインタ画像は、手指の位置情報に基づいて、背景映像の操作者の手指の画像１０の位置に重ね合せるように生成される。生成されたポインタ画像はＲＡＭ部１６３に格納される。
【００５９】
次に、背景映像、装置画像２０、およびポインタ画像を合成する（ステップＳ１０９）。制御部１６０は、ＲＡＭ部１６３に格納された背景映像、装置画像、およびポインタ画像を合成する。
【００６０】
次に、シミュレーションモデルの所定動作を実行する（ステップＳ１１０）。制御部１６０は、画像形成装置を設置する位置と手指の位置情報とに基づいて、画像形成装置を設置する位置と操作者の手指の位置との間の離間距離を算出し、シミュレーションモデルの所定の動作を当該離間距離の大きさに応じて実行する。
【００６１】
次に、出力映像を表示する（ステップＳ１１１）。図７に示すとおり、制御部１６０は背景映像、装置画像２０、およびポインタ画像３０を合成した出力映像を出力し、ディスプレイ１３０は出力映像を表示する。そして、再びステップＳ１０１に戻って処理を継続する。
【００６２】
以上、本実施形態における制御処理プログラムの処理手順を概略的に説明した。以下では、図８〜図１７を参照して、図３に示す本実施形態の制御処理プログラムの処理手順についてより詳しく説明する。
【００６３】
＜設置する画像形成装置の表示位置情報の取得（ステップＳ１０３）＞
図８は、図３に示すステップＳ１０３を説明するフローチャートである。図８に示すとおり、まず、背景映像からマーカー２００の画像を抽出する（ステップＳ２０１）。ＣＰＵ部１６１は、ＲＡＭ部１６３に格納されている背景映像からマーカー２００の画像を抽出する。
【００６４】
次に、マーカー２００の画像が抽出されたか否かを判定する（ステップＳ２０２）。マーカー２００の画像が抽出された場合（ステップＳ２０２：ＹＥＳ）、設置する画像形成装置の表示位置情報を取得する（ステップＳ２０３）。具体的には、ＣＰＵ部１６１は、背景映像から抽出されたマーカー２００の画像の大きさおよび向きから、表示位置情報として、設置する画像形成装置の表示位置座標および向きを算出する。ここで、画像形成装置の向きは、画像表示装置１００とマーカー２００とを結ぶ直線の方向に対する画像形成装置の角度で表される。
【００６５】
なお、背景映像から抽出されたマーカーの画像の大きさおよび向きから、拡張現実オブジェクトの表示位置座標および向きを算出する技術は公知技術であるので、ここでは説明を省略する。
【００６６】
また、本実施形態では、マーカー２００の位置は、設置する画像形成装置の底面の中央部の位置に対応している。しかしながら、マーカー２００の位置は、設置する画像形成装置の底面の端部の位置に対応するようにしてもよい。
【００６７】
さらに、ＣＰＵ部１６１は、抽出されたマーカー２００の画像からマーカー画像情報と、カメラ１１０とマーカー２００との離間距離とを取得する。
【００６８】
一方、マーカー２００の画像が検出されなかった場合（ステップＳ２０２：ＮＯ）、ステップＳ１０４に移行する。
【００６９】
＜画像形成装置等の装置画像の生成（ステップＳ１０５）＞
図９は、図３に示すステップＳ１０５を説明するフローチャートである。図９に示すとおり、まず、表示状態情報を取得する（ステップＳ３０１）。上述したとおり、表示状態情報は、装置画像２０がディスプレイ１３０にどのような状態で表示されるかについての情報である。
【００７０】
次に、画像形成装置等の３Ｄデータを取得する（ステップＳ３０２）。具体的には、画像形成装置等の機種と表示状態情報とに基づいてＲＯＭ部１６２の３Ｄデータを取得する。
【００７１】
次に、画像形成装置等の装置画像を生成する（ステップＳ３０３）。具体的には、ステップＳ３０２で取得された３Ｄデータと、表示位置情報と、画像形成装置等のサイズに関する情報とに基づいて、画像形成装置等の装置画像２０を生成する。たとえば、画像形成装置として複写機の機種Ｘを生成し、オプション装置として中綴じステープル装置の機種Ｙを透過表示で生成する。
【００７２】
＜手指の位置情報の取得（ステップＳ１０６）＞
図１０は図３に示すステップＳ１０６を説明するフローチャートであり、図１１は操作ポイントを算出する方法を説明するための模式図である。
【００７３】
まず、図１０に示すとおり、センサーから近距離にある物体を検出する（ステップＳ４０１）。操作者が手指などをセンサー１２０の検出範囲に挿し入れると、センサー１２０はセンサー１２０から近距離にある物体を検出して、画像データとして制御部１６０に伝達する。
【００７４】
次に、手指の位置情報を取得する（ステップＳ４０２）。センサー１２０からの画像データから操作者の手指の位置情報を取得する。
【００７５】
具体的には、制御部１６０は、カメラ１１０と操作者の手指との間の離間距離を計測し、当該離間距離に基づいて上記画像データから手指の領域を抽出する。なお、センサー１２０からの離間距離が一定の範囲内である画像領域を他の領域と区別して抽出する技術は公知であるので、ここでは説明を省略する。
【００７６】
図１１に示すとおり、本実施形態では、抽出された手指の領域４０から操作ポイントを算出し、手指の位置情報とする。手指の領域４０は、カメラ１１０で撮像される背景映像の領域（以下、視認領域５０と称する）の上下左右のいずれかの辺から伸びる形で抽出される。手指の領域４０と視認領域５０の辺とが交わる位置（Ａ点）が図１１に示す区画Ｐ１〜Ｐ４のうちのどの区画に存在するかに応じて、操作ポイント（Ｂ点）を決定する。具体的には、以下のとおりである。
・Ａ点が区画Ｐ１の辺に存在するとき、Ｂ点は手指の領域の最も下でかつ最も右にとる。
・Ａ点が区画Ｐ２の辺に存在するとき、Ｂ点は手指の領域の最も下でかつ最も左にとる。
・Ａ点が区画Ｐ３の辺に存在するとき、Ｂ点は手指の領域の最も上でかつ最も右にとる。
・Ａ点が区画Ｐ４の辺に存在するとき、Ｂ点は手指の領域の最も上でかつ最も左にとる。
【００７７】
＜ポインタ画像の生成（ステップＳ１０８）＞
図１２は図３に示すステップＳ１０８を説明するフローチャートであり、図１３は図１２に示すステップＳ５０３を説明するフローチャートである。また、図１４Ａ〜図１４Ｅは、ポインタ画像を例示するための図である。
【００７８】
以下では、設置位置に設置された画像形成装置を実空間上に想定し、当該画像形成装置を仮想的な画像形成装置と称する。仮想的な画像形成装置をディスプレイ１３０上に可視化したものが上述した画像形成装置の装置画像２０である。本実施形態では、仮想的な画像形成装置と操作ポイントとの離間距離に応じてポインタ画像の形状を選択する。
【００７９】
仮想的な画像形成装置と操作ポイントとの離間距離は、画像形成装置を設置する位置と操作ポイントとの位置に基づいて算出することができる。また、仮想的な画像形成装置の各構成要素の位置、たとえば操作パネルの位置は、画像形成装置を設置する位置と、画像形成装置等の各部のサイズおよび位置に関する情報とに基づいて算出することができる。
【００８０】
一方、上述のとおり、操作ポイントの位置は、カメラ１１０と操作者の手指との間の相対的な位置関係に基づくものであるので、マーカー２００を基準とした位置に変換する必要がある。カメラ１１０とマーカー２００との離間距離は、背景映像から抽出したマーカー２００の画像から算出することができる。したがって、マーカー２００を基準とした実空間の操作ポイントの位置を算出することができる。以下、マーカー２００を基準とした操作ポイントの位置を単に操作ポイントと称する。
【００８１】
本実施形態では、ポインタ画像の形状、色、透過率は、シミュレーションモデルの内部状態と、仮想的な画像形成装置と操作ポイントとの離間距離とに応じて変化させることができる。以下、ポインタ画像を生成する手順を説明する。
【００８２】
まず、図１２に示すとおり、シミュレーションモデルの内部状態情報を取得する（ステップＳ５０１）。上述のとおり、内部状態情報は、シミュレーションモデルの内部状態に関する情報である。
【００８３】
次に、仮想的な画像形成装置と操作ポイントとの離間距離を算出する（ステップＳ５０２）。具体的には、制御部１６０は、仮想的な画像形成装置の位置と手指の位置情報とに基づいて、仮想的な画像形成装置と操作ポイントとの離間距離を算出する。
【００８４】
次に、ポインタ画像を選択する（ステップＳ５０３）。制御部１６０は、シミュレーションモデルの内部状態と、仮想的な画像形成装置と操作ポイントとの離間距離と、に応じて、ポインタ画像を選択する。具体的には、図１３に示すとおりである。なお、以下ではポインタ画像として「矢印（Ｏｂｊ１）」、「指（Ｏｂｊ２）」、「半透明の矢印（Ｏｂｊ３）」、「工具（Ｏｂｊ４）」を例示して説明するが、ポインタ画像はこれらに限定されない。また、上記離間距離および内部状態とポインタ画像の形状、色、透過率との対応関係も以下で説明するものに限定されない。
【００８５】
まず、仮想的な画像形成装置と操作ポイントとの距離が第１の所定距離以上か否かを判定する（ステップＳ６０１）。仮想的な画像形成装置と操作ポイントとの距離が第１の所定距離以上の場合（ステップＳ６０１：第１の所定距離以上）、図１４Ａに示すとおり、ポインタ画像３１として「半透明の矢印（Ｏｂｊ３）」を選択する（ステップＳ６０２）。
【００８６】
一方、仮想的な画像形成装置と操作ポイントとの距離が第１の所定距離未満の場合（ステップＳ６０１：第１の所定距離未満）、シミュレーションモデルの内部状態を判定する（ステップＳ６０３）。内部状態が「故障状態」である場合（ステップＳ６０３：故障状態）、図１４Ｂに示すとおり、ポインタ画像３２として「工具（Ｏｂｊ４）」を選択する（ステップＳ６０４）。なお、上記第１の所定距離は、たとえば５０ｃｍ〜２ｍであり、好適には１ｍである。
【００８７】
一方、内部状態が「正常状態」である場合（ステップＳ６０３：正常状態）、仮想的な画像形成装置の表面のうち操作ポイントから最も近い面は背面であるか否かを判定する（ステップＳ６０５）。仮想的な画像形成装置の表面のうち操作ポイントから最も近い面が背面である場合（ステップＳ６０５：ＹＥＳ）、図１４Ｃに示すとおり、ポインタ画像３２として「工具（Ｏｂｊ４）」を選択する（ステップＳ６０６）。
【００８８】
一方、仮想的な画像形成装置の表面のうち操作ポイントから最も近い面が背面ではない場合（ステップＳ６０５：ＮＯ）、操作ポイントは仮想的な画像形成装置の操作パネルから第２の所定距離以内に存在するか否かを判定する（ステップＳ６０７）。操作ポイントが仮想的な画像形成装置の操作パネルから第２の所定距離以内に存在する場合（ステップＳ６０７：ＹＥＳ）、図１４Ｄに示すとおり、ポインタ画像３３として「指（Ｏｂｊ２）」を選択する（ステップＳ６０８）。なお、上記第２の所定距離は、たとえば１０〜３０ｃｍであり、好適には２０ｃｍである。
【００８９】
一方、操作ポイントが仮想的な画像形成装置の操作パネルから第２の所定距離以内に存在しない場合（ステップＳ６０７：ＮＯ）、図１４Ｅに示すとおり、ポインタ画像３０として「矢印（Ｏｂｊ１）」を選択する（ステップＳ６０９）。
【００９０】
次に、再び図１２に戻って、ポインタ画像を生成する（ステップＳ５０４）。ポインタ画像３０〜３３は、図４Ａ〜図４Ｅに示すとおり、その先端が操作ポイントに一致し、背景映像の操作者の手指の画像１０に重ね合されるように生成される。生成されたポインタ画像３０〜３３はＲＡＭ部１６３に格納される。
【００９１】
＜シミュレーションモデルの所定動作の実行（ステップＳ１１０）＞
図１５は図３に示すステップＳ１１０を説明するフローチャートであり、図１６は図１５に示すステップＳ７０２を説明するフローチャートである。また、図１７は、「印刷動作」のシミュレーションを実行した場合にディスプレイに表示される映像を例示する図である。
【００９２】
まず、シミュレーションモデルの内部状態情報を取得する（ステップＳ７０１）。制御部１６０は、シミュレーションモデルの内部状態情報を取得して、シミュレーションモデルが現在どのような状態であるのかを参照する。
【００９３】
次に、シミュレーションモデルの動作を選択する（ステップＳ７０２）。制御部１６０は、仮想的な画像形成装置と操作者の手指との位置関係およびシミュレーションモデルの内部状態に応じて、シミュレーションモデルの動作を選択する。具体的には、図１６に示すとおりである。なお、以下では、シミュレーションモデルの動作として「印刷動作」および「背面ドアオープン動作」を選択する場合について例示して説明するが、シミュレーションモデルの動作は「印刷動作」および「背面ドアオープン動作」に限定されない。
【００９４】
まず、シミュレーションモデルの内部状態を判定する（ステップＳ８０１）。内部状態が「正常状態」である場合（ステップＳ８０１：正常状態）、ステップＳ８０２に移行する。一方、内部状態が「故障状態」である場合（ステップＳ８０１：故障状態）、ステップＳ８０５に移行する。
【００９５】
ステップＳ８０２に移行した場合、操作ポイントが仮想的な画像形成装置の操作パネルから第３の所定距離以内に存在するか否かを判定する（ステップＳ８０２）。操作ポイントが画像形成装置の操作パネルから第３の所定距離以内に存在しない場合（ステップＳ８０２：ＮＯ）、シミュレーションモデルの動作を選択せずに図１５のステップＳ７０３に移行する。なお、上記第３の所定距離は、たとえば１〜１０ｃｍであり、好適には５ｃｍである。
【００９６】
一方、操作ポイントが仮想的な画像形成装置の操作パネルから第３の所定距離以内に存在する場合（ステップＳ８０２：ＹＥＳ）、シミュレーションモデルが動作中か否かを判定する（ステップＳ８０３）。シミュレーションモデルが動作中である場合（ステップＳ８０３：ＹＥＳ）、シミュレーションモデルの動作を選択せずに図１５のステップＳ７０３に移行する。
【００９７】
一方、シミュレーションモデルが動作中ではない場合（ステップＳ８０３：ＮＯ）、シミュレーションモデルの動作として「印刷動作」を選択し、図１５のステップＳ７０３に移行する。
【００９８】
次に、ステップＳ８０５に移行した場合、操作ポイントが仮想的な画像形成装置の背面ドアの開閉部から第４の所定距離以内に存在するか否かを判定する（ステップＳ８０５）。操作ポイントが仮想的な画像形成装置の背面ドアの開閉部から第４の所定距離以内に存在しない場合（ステップＳ８０５：ＮＯ）、シミュレーションモデルの動作を選択せずに図１５のステップＳ７０３に移行する。なお、上記第４の所定距離は、たとえば１〜１０ｃｍであり、好適には５ｃｍである。
【００９９】
一方、操作ポイントが仮想的な画像形成装置の背面ドアの開閉部から第４の所定距離以内に存在する場合（ステップＳ８０５：ＹＥＳ）、シミュレーションモデルが背面ドアオープン中か否かを判定する（ステップＳ８０６）。シミュレーションモデルが背面ドアオープン中である場合（ステップＳ８０６：ＹＥＳ）、シミュレーションモデルの動作を選択せずに図１５のステップＳ７０３に移行する。
【０１００】
一方、シミュレーションモデルが背面ドアオープン中ではない場合（ステップＳ８０６：ＮＯ）、シミュレーションモデルの動作として「背面ドアオープン動作」を選択し、図１５のステップＳ７０３に移行する。
【０１０１】
次に、再び図１５に戻って、シミュレーションモデルの内部状態を更新する（ステップＳ７０３）。ステップＳ７０２で選択したシミュレーションモデルの動作に基づいて、シミュレーションモデルの内部状態を更新する。
【０１０２】
次に、操作ポイントが規定の領域に存在するか否かを判定する（ステップＳ７０４）。操作者の手指の移動に伴いポインタ画像の表示位置も移動する。制御部１６０は、操作ポイントが、仮想的な画像形成装置の予め規定された領域（たとえば、操作パネル上のスタートボタン）に存在するか否かを判定する。操作ポイントが規定の領域に存在しない場合（ステップＳ７０４：ＮＯ）、シミュレーションモデルの所定動作を実行せずに図３のステップＳ１１１に移行する。
【０１０３】
なお、上記規定の領域は、必ずしも操作ポイントと接触する範囲の領域である必要はない。たとえば、操作パネル上のスタートボタン上方の所定の範囲を含むように設定することもできる。
【０１０４】
また、操作ポイントが所定の領域に存在するか否かを判定するのではなく、たとえば操作ポイントの位置が単位時間あたりに動く距離、すなわち操作ポイントの移動速度に応じて、シミュレーションモデルの所定動作を実行するように構成してもよい。
【０１０５】
一方、操作ポイントが規定の領域に存在する場合（ステップＳ７０４：ＹＥＳ）、シミュレーションモデルの所定動作を実行する（ステップＳ７０５）。ステップＳ７０２で選択されたシミュレーションモデルの動作に基づいて、シミュレーションモデルの所定動作を実行する。
【０１０６】
たとえば、選択されたシミュレーションモデルの動作が「印刷動作」である場合、制御部１６０は、シミュレーションモデルで「印刷動作」を実行する。図１７に示すとおり、「印刷動作」が実行されると、ディスプレイ１３０には装置画像２０が印刷した用紙Ｓを排紙する様子が動画で表示される。また、スピーカー１５０は、装置画像２０の印刷動作に合わせて印刷音を発生する。なお、装置画像２０が印刷する様子を動画で表示する代わりに、実際の画像形成装置が印刷する様子を収録した動画をディスプレイ１３０に表示してもよい。
【０１０７】
以上のとおり、本実施形態の画像表示装置１００は、画像形成装置を設置する場所の背景映像からマーカー２００の画像を抽出して表示位置情報を取得し、装置画像２０を生成する。また、画像表示装置１００は、手指の位置情報を取得し、ポインタ画像３０〜３３を生成する。そして、画像形成装置を設置する位置および手指の位置情報に基づいて、シミュレーションモデルの所定の動作を実行し、装置画像２０およびポインタ画像３０〜３３を背景映像と合成して表示する。
【０１０８】
以上のとおり、説明した本実施形態は、以下の効果を奏する。
【０１０９】
（ａ）画像形成装置を設置する場所の背景映像に装置画像２０を合成して表示し、操作者の手指の位置に基づいて、ディスプレイ１３０に表示された装置画像２０のシミュレーションモデルの所定動作を実行し、装置画像２０の動作を開始する。したがって、操作者は、設置する場所で画像形成装置等を実際に操作しているような体験をすることができるので、画像形成装置等を実際に設置した場合に近い状態で事前検討することができる。
【０１１０】
（ｂ）画像形成装置を設置する位置に配置されたマーカー２００の画像を抽出して、画像形成装置の表示位置情報を取得するので、画像表示装置１００を保持する操作者の位置が変化しても背景映像に装置画像２０を正確な位置および向きで表示することができる。その結果、操作者は、設置する画像形成装置と室内の他の物体、たとえば窓Ｗとの位置関係などを確実に把握することができる。
【０１１１】
（ｃ）現物の画像形成装置を使用することなく、画像形成装置の動作を確認することができる確認用現物の確保・設置、トナー、用紙などの費用を削減することができる。
【０１１２】
（第２の実施形態）
第１の実施形態では、画像形成装置を設置する場所の背景映像からマーカーの画像を抽出して表示位置情報を取得し、背景映像、装置画像、およびポインタ画像を合成して表示することを説明した。第２の実施形態では、背景映像からマーカーの画像を抽出して表示位置情報を取得せずに他の方法を用いて表示位置情報を取得し、規定の背景映像、装置画像、およびポインタ画像を合成して表示することを説明する。なお、以下の説明では説明の重複を避けるため、第１の実施形態と同様の構成については説明を省略する。
【０１１３】
図１８は、本発明の第２の実施形態の画像表示装置の概略ブロック構成図である。図１８に示すとおり、本実施形態の画像表示装置１００は、第１の実施形態のカメラ１１０の代わりに背景映像生成部１８０を有する。
【０１１４】
背景映像生成部１８０は、画像表示装置１００の筐体１７０に内蔵されていてもよいし、筐体１７０の外部に配置されていてもよい。背景映像生成部１８０が筐体１７０の外部に配置されている場合は、有線通信または無線通信で映像データを制御部１６０に送信する。以下では、背景映像生成部１８０が筐体１７０に内蔵されている場合について説明する。
【０１１５】
＜背景映像の取得＞
背景映像生成部１８０は、背景映像取得手段として、大容量記憶部１６４に規定の背景映像を複数格納している。背景映像は、たとえば画像形成装置等が設置されるオフィスの映像、画像形成装置等を紹介する展示場の映像、コンピューター・グラフィックスの映像などを含む。制御部１６０は、背景映像生成部１８０で生成された規定の背景映像に装置画像２０およびポインタ画像を合成して出力映像を生成し、ディスプレイ１３０は合成された出力映像を表示する。したがって、操作者は、画像形成装置等が設置されると想定される場所や状況に応じて背景映像を適宜切り替えることができる。
【０１１６】
＜設置する画像形成装置の表示位置情報の取得＞
本実施形態では、たとえば画像表示装置１００の位置が予め定められており、設置する画像形成装置の位置と画像表示装置１００との相対的な位置が既知である場合を想定する。あるいは、画像表示装置１００の位置を正確に取得することができる公知の技術を使用してもよい。制御部１６０は、設置する画像形成装置の位置と画像表示装置１００との相対的な位置関係に基づいて、画像形成装置の表示位置情報を取得することができる。
【０１１７】
以上のとおり、本実施形態の画像表示装置１００は、設置する画像形成装置の位置と操作者との相対的な位置関係に基づいて表示位置情報を取得し、背景映像生成部１８０で生成された規定の背景映像に装置画像およびポインタ画像を合成して表示する。
【０１１８】
以上のとおり、説明した本実施形態は、第１の実施形態の効果に加えて以下の効果を奏する。
【０１１９】
（ｄ）背景映像生成部１８０は、大容量記憶部１６４に規定の背景映像を複数保持している。したがって、操作者は、画像形成装置等が設置されると想定される場所に応じて背景映像を適宜切り替えることができる。
【０１２０】
以上のとおり、実施形態において、本発明の画像表示装置を説明した。しかしながら、本発明は、その技術思想の範囲内において当業者が適宜に追加、変形、および省略することができることはいうまでもない。
【０１２１】
たとえば、第１の実施形態では、１つのマーカーを配置して１台の画像形成装置を設置する場合について説明した。しかしながら、マーカーの数は１つに限定されず、複数のマーカーを配置してもよい。たとえば、２つのマーカーを配置する場合、２台の画像形成装置の装置画像を表示することができる。
【０１２２】
また、第１の実施形態では、画像形成装置を設置する場所に配置されたマーカーを用いて表示位置情報を取得することを説明した。しかしながら、表示位置情報を取得する方法はマーカーを使用する方法に限定されない。
【０１２３】
また、第１の実施形態では、センサーによって検出された物体の画像データから手指の領域を抽出し、当該手指の領域とカメラの視認領域の辺とが交わる位置が所定のうちのどの区画に存在するかに応じて、操作ポイントを決定することを説明した。しかしながら、操作ポイントの決定方法は、このような方法に限定されず他の方法を使用してもよい。
【符号の説明】
【０１２４】
１０ 操作者の手指の画像、
２０ 装置画像、
３０〜３３ ポインタ画像、
４０ 手指の領域、
１００ 画像表示装置、
１１０ カメラ、
１２０ センサー
１３０ ディスプレイ、
１４０ タッチパネル、
１５０ スピーカー、
１６０ 制御部、
１６１ ＣＰＵ部、
１６２ ＲＡＭ部、
１６３ ＲＯＭ部、
１６４ 大容量記憶部、
１７０ 筐体、
１８０ 背景映像生成部、
２００ マーカー。
【特許請求の範囲】
【請求項１】
背景映像を取得する手順（ａ）と、
設置する画像形成装置の表示位置情報を取得する手順（ｂ）と、
前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する手順（ｃ）と、
手または指の位置情報を取得する手順（ｄ）と、
前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成する手順（ｅ）と、
前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する手順（ｆ）と、
前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する手順（ｇ）と、
前記出力映像を表示する手順（ｈ）と、
を有する、コンピューターに実行させるための制御処理プログラム。
【請求項２】
前記背景映像は、前記画像形成装置を設置する場所を撮像手段が撮像して取得されることを特徴とする請求項１に記載の制御処理プログラム。
【請求項３】
前記手順（ｂ）において、前記背景映像からマーカーの画像を抽出して前記表示位置情報を取得することを特徴とする請求項２に記載の制御処理プログラム。
【請求項４】
請求項１〜３のいずれか１項に記載の画像処理プログラムを記録したコンピューター読み取り可能な記録媒体。
【請求項５】
背景映像を取得する背景映像取得手段と、
設置する画像形成装置の表示位置情報を取得する表示位置情報取得手段と、
前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する装置画像生成手段と、
手または指の位置情報を取得する手指位置情報取得手段と、
前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成するポインタ画像生成手段と、
前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する画像合成手段と、
前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行するモデル実行手段と、
前記出力映像を表示する表示手段と、
を有することを特徴とする画像表示装置。
【請求項６】
前記背景映像取得手段は、撮像手段を有し、
前記背景映像は、前記画像形成装置を設置する場所を前記撮像手段が撮像して取得されることを特徴とする請求項５に記載の画像表示装置。
【請求項７】
前記表示位置情報取得手段は、前記背景映像からマーカーの画像を抽出して前記表示位置情報を取得することを特徴とする請求項６に記載の画像表示装置。
【請求項８】
背景映像を取得する段階と、
設置する画像形成装置の表示位置情報を取得する段階と、
前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する段階と、
手または指の位置情報を取得する段階と、
前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成する段階と、
前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する段階と、
前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する段階と、
前記出力映像を表示する段階と、
を有する、画像表示方法。
【請求項１】
背景映像を取得する手順（ａ）と、
設置する画像形成装置の表示位置情報を取得する手順（ｂ）と、
前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する手順（ｃ）と、
手または指の位置情報を取得する手順（ｄ）と、
前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成する手順（ｅ）と、
前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する手順（ｆ）と、
前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する手順（ｇ）と、
前記出力映像を表示する手順（ｈ）と、
を有する、コンピューターに実行させるための制御処理プログラム。
【請求項２】
前記背景映像は、前記画像形成装置を設置する場所を撮像手段が撮像して取得されることを特徴とする請求項１に記載の制御処理プログラム。
【請求項３】
前記手順（ｂ）において、前記背景映像からマーカーの画像を抽出して前記表示位置情報を取得することを特徴とする請求項２に記載の制御処理プログラム。
【請求項４】
請求項１〜３のいずれか１項に記載の画像処理プログラムを記録したコンピューター読み取り可能な記録媒体。
【請求項５】
背景映像を取得する背景映像取得手段と、
設置する画像形成装置の表示位置情報を取得する表示位置情報取得手段と、
前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する装置画像生成手段と、
手または指の位置情報を取得する手指位置情報取得手段と、
前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成するポインタ画像生成手段と、
前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する画像合成手段と、
前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行するモデル実行手段と、
前記出力映像を表示する表示手段と、
を有することを特徴とする画像表示装置。
【請求項６】
前記背景映像取得手段は、撮像手段を有し、
前記背景映像は、前記画像形成装置を設置する場所を前記撮像手段が撮像して取得されることを特徴とする請求項５に記載の画像表示装置。
【請求項７】
前記表示位置情報取得手段は、前記背景映像からマーカーの画像を抽出して前記表示位置情報を取得することを特徴とする請求項６に記載の画像表示装置。
【請求項８】
背景映像を取得する段階と、
設置する画像形成装置の表示位置情報を取得する段階と、
前記表示位置情報と前記画像形成装置のサイズに関する情報とに基づいて、前記画像形成装置の装置画像を生成する段階と、
手または指の位置情報を取得する段階と、
前記手または指の位置情報に基づいて、前記手または指の位置を示すポインタ画像を生成する段階と、
前記背景映像、前記装置画像、および前記ポインタ画像を合成して出力映像を生成する段階と、
前記画像形成装置を設置する位置と前記手または指の位置情報とに基づいて、前記画像形成装置の動作を模擬するシミュレーションモデルの所定の動作を実行する段階と、
前記出力映像を表示する段階と、
を有する、画像表示方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図７】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１４Ｄ】
【図１４Ｅ】
【図２】
【図３】
【図４】
【図５】
【図６】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１５】
【図１６】
【図１７】
【図１８】
【図７】
【図１４Ａ】
【図１４Ｂ】
【図１４Ｃ】
【図１４Ｄ】
【図１４Ｅ】
【公開番号】特開２０１３−１０５３３０（Ｐ２０１３−１０５３３０Ａ）
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願番号】特願２０１１−２４８８９８（Ｐ２０１１−２４８８９８）
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
【公開日】平成２５年５月３０日（２０１３．５．３０）
【国際特許分類】
【出願日】平成２３年１１月１４日（２０１１．１１．１４）
【出願人】（３０３０００３７２）コニカミノルタビジネステクノロジーズ株式会社 (12,802)
【Ｆターム（参考）】
[ Back to top ]