物体関連情報処理システム、物体関連情報処理方法及びプログラム
【課題】 実物を用いるユーザインタフェースを様々な物体に適用できるようにする。
【解決手段】 物体１４の上方に配置される透明タッチパネル１２を備える。コンピュータ１８は、前記物体のレイアウトを示すレイアウトデータを取得する手段と、物体の所定部分を指示する部分指示画像を、プロジェクタ１６により、前記レイアウトデータに基づいて透明タッチパネル１２における前記所定部分の上方に映し出す手段と、透明タッチパネル１２におけるユーザの操作位置を取得する手段と、を含む。そして、部分指示画像の映し出される領域がユーザによりタッチ操作される場合に、前記物体の前記所定部分に関連づけられた物体関連情報画像を透明タッチパネル１２上に映出する。
【解決手段】 物体１４の上方に配置される透明タッチパネル１２を備える。コンピュータ１８は、前記物体のレイアウトを示すレイアウトデータを取得する手段と、物体の所定部分を指示する部分指示画像を、プロジェクタ１６により、前記レイアウトデータに基づいて透明タッチパネル１２における前記所定部分の上方に映し出す手段と、透明タッチパネル１２におけるユーザの操作位置を取得する手段と、を含む。そして、部分指示画像の映し出される領域がユーザによりタッチ操作される場合に、前記物体の前記所定部分に関連づけられた物体関連情報画像を透明タッチパネル１２上に映出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は物体関連情報処理システム、物体関連情報処理方法及びプログラムに関し、特に、実物を用いるユーザインタフェースに関する。
【背景技術】
【０００２】
電子回路基板を見ながら、その各部の詳細情報を入手しようとすると、電子回路基板の各部を特定する情報、例えば回路部品の識別コードを調べ、その識別コードをキーとしてデータベース等から該回路部品の詳細情報を読み出すという手順が考えられる。しかしながら、こうした手順は煩雑であり、電子回路基板の実物の任意の箇所を指示すると、その詳細情報が直ちに入手できるようになると便利である。また、電子回路基板のみならず、種々の物体について、実物の任意の箇所を指示すると、それに関連する情報が直ちに入手できるようになると便利である。
【０００３】
この点、下記特許文献１には、ドキュメント（書類）の現物上にカーソルの画像をプロジェクタにより投影するとともに、そうしてカーソルの画像が投影されたドキュメントの画像を撮影しておき、ユーザがカーソルの画像を移動させてドキュメント上の位置を指示すると、その位置の撮像画像を切り出して、これに対して文字や図形の認識処理を施す装置が知られている（特許文献１参照）。この装置によれば、ユーザは、現実のドキュメントを用いて、その内容に関連した情報処理を指示することができる。
【特許文献１】特開平０９−３１９５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記背景技術は、文字や図形等、コンピュータによる認識可能な情報を表したドキュメントに適用対象が限られるという問題がある。また、カーソルの画像を投影する必要があるため、適用対象がドキュメント等の平面的なものに限られるという問題もある。
【０００５】
本発明は上記背景に鑑みてなされたものであって、その目的は、様々な物体に適用することができる、実物を用いるユーザインタフェースを備えた物体関連情報処理システム、物体関連情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る物体関連情報処理システムは、透光性を有し、物体の前面で該物体を視認可能に配置されるパネルと、前記物体の部分領域と部分領域の属性情報とを関連付けて記憶する記憶手段と、前記パネルにおけるユーザの操作位置を取得する第1の取得手段と、第1の取得手段で取得された操作位置に基づいて、該操作位置に対応する部分領域の属性情報を前記記憶手段から取得する第2の取得手段と、第2の取得手段で取得された属性情報をパネル上に映出す画像映出手段と、を含む、ことを特徴とする。
【０００７】
本発明の一態様では、前記記憶手段は、更に前記物体の部分領域を含むレイアウトを示すレイアウトデータを記憶し、第2の取得手段は、前記記憶手段からレイアウトデータを取得し、前記画像映出手段は、第2の取得手段が取得したレイアウトデータの部分領域に対応した指示画像をタッチパネル上に映出す。
【０００８】
また、本発明の一態様では、前記画像映出手段は、前記パネル上に画像を投影する手段である。
【０００９】
また、本発明の一態様では、前記画像映出手段により前記物体の部分領域の属性情報が映出される場合に、その旨を記録する記録手段をさらに含む。また、本発明の一態様では、前記パネルはタッチパネルである。
【００１０】
また、本発明に係る物体関連情報処理方法は、透光性を有し、物体の前面で該物体を視認可能に配置されるパネルにおけるユーザの操作位置を取得するステップと、取得された操作位置に基づいて、該操作位置に対応する部分領域の属性情報を、前記物体の部分領域と部分領域の属性情報とを関連付けて記憶する記憶手段から取得するステップと、取得された属性情報をパネル上に映出するステップと、を含むことを特徴とする。
【００１１】
また、本発明に係るプログラムは、透光性を有し、物体の前面で該物体を視認可能に配置されるパネルにおけるユーザの操作位置を取得する手段、取得された操作位置に基づいて、該操作位置に対応する部分領域の属性情報を、前記物体の部分領域と部分領域の属性情報とを関連付けて記憶する記憶手段から取得する手段、及び取得された属性情報をパネル上に映出す手段としてコンピュータを機能させるためのプログラムである。プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体に格納されてよい。
【発明の効果】
【００１２】
本発明では、パネルを介して実際の物体の表面を見て、所望の電子情報を得ようとする、物体の部位(部分領域)に対応するパネルの位置を操作するだけで部位(部分領域)に関連付けられた電子情報(属性情報)を得ることができる。例えば、物体がプリント基板であれば、部位に対応する部品等の属性情報、組み立てられたボードであれば、部位の説明情報や部品の取扱い説明情報が電子情報として得られる。物体のレイアウトデータに基づく指示画像をタッチパネル上に映し出す構成を持つ場合には、物体表面がユーザにとって分かりにくい場合でも指示画像を見て操作することにより、容易かつ迅速に操作指示でき、所望の電子情報を得ることができる。前記パネルがタッチパネルの場合には、特別な指示デバイスを持たなくてもユーザのタッチ操作で操作位置を指示できタッチパネル上の位置(操作位置)も迅速に取得できるので、物体に指示する感覚で所望の電子情報を得ることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【００１４】
図１は、本発明の実施形態に係る物体関連情報処理システムの全体構成を示す図である。同図に示すように、この物体関連情報処理システム１０は、ガラスや樹脂等の透明の部材を基材として形成された透明タッチパネル（操作パネル）１２を含んで構成されている。透明タッチパネル１２は矩形板状であり、その四隅には脚１２ａが設けられ、テーブル状をなしている。透明タッチパネル１２の下方には、例えば電子回路基板等の物体１４が配置されており、透明タッチパネル１２の上方から下方を見ると、透明タッチパネル１２の下方に物体１４が透けて見えるようになっている。すなわち、透明タッチパネル１２は物体１４の前面に配置され、該物体１４を視認可能となっている。透明タッチパネル１２の上方にはプロジェクタ１６が設置されており、プロジェクタ１６により透明タッチパネル１２上に、コンピュータ１８から供給される信号に従った画像が映出されるようになっている。これにより、ユーザは、テーブル状の透明タッチパネル１２の上方から、プロジェクタ１６により透明タッチパネル１２上に映出される画像、及び透明タッチパネル１２の下方に配置された物体１４の双方を見ることができる。
【００１５】
コンピュータ１８には、プロジェクタ１６とともに透明タッチパネル１２及びカメラ２０が接続されている。そして、透明タッチパネル１２におけるユーザのタッチ位置のデータがコンピュータ１８に入力される。また、カメラ２０により撮影される画像がコンピュータ１８に取り込まれる。また、コンピュータ１８は、インターネットその他の通信ネットワーク２２に接続されている。本実施形態においてコンピュータ１８が担う各種機能は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体に記憶され、そこからインストールされるプログラムを該コンピュータ１８が実行することにより実現される。或いは、このプログラムは、通信ネットワーク２２を介してコンピュータ１８にダウンロードされてもよい。
【００１６】
通信ネットワーク２２には、データベース２６を備えたサーバ（コンピュータ）２４も接続されており、コンピュータ１８は通信ネットワーク２２を介してサーバ２４とデータ通信を行うことができる。
【００１７】
物体１４には、それを識別する物体ＩＤが付与されており、該物体ＩＤを示す１次元又は２次元のバーコードが物体１４の一部に表されている。このバーコードをユーザがコンピュータ１８に接続されているカメラ２０で撮像すると、その画像がコンピュータ１８に取り込まれ、該コンピュータが物体１４の物体ＩＤを生成するようになっている。
【００１８】
データベース２６には、図２に示すように、物体ＩＤに関連づけて、該物体ＩＤにより識別される物体のレイアウトデータが記憶されている。レイアウトデータは、物体の構成部品の各位置を示すデータ（例えば、部品が配置された領域の境界を特定するデータ（境界の頂点の座標等）である。）である。例えば本システムで扱う物体が電子回路基板であれば、そのレイアウトデータは、電子回路基板を構成する電子部品の基板における各位置を示すものである。レイアウトデータは、例えば各物体の電子的な設計データから抽出されるのが好適である。
【００１９】
コンピュータ１８は、カメラ２０で撮影された画像から物体ＩＤを生成すると、それに関連するレイアウトデータをデータベース２６から取得する。そして、取得したレイアウトデータに基づいて、透明タッチパネル１２に投影する画像を生成する。この画像には、透明タッチパネル１２の下方に置かれた物体１４の構成部品の位置を指示する部分指示画像が含まれる。例えば透明タッチパネル１２における物体１４の構成部品の上方に、該構成部品が配置された物体１４上の領域を識別表示するボタン等の部分指示画像が、プロジェクタ１６によって投影される。これにより、透明タッチパネル１２を上方から見ると、部分指示画像及びそれにより構成部品の位置が指示された物体１４が確認できる。こうして投影される部分指示画像の領域をタッチすると、それにより該部分指示画像が指示する物体１４の構成部品に関する情報の画像、すなわち物体関連情報画像が透明タッチパネル１２に投影される。なお、部分指示画像は、単に矢印のようなカーソル状であってもよい。
【００２０】
ここで、図３乃至図６に従って、透明タッチパネル１２に投影される画像について説明する。本物体関連情報処理システム１０では、まず物体１４に表されたバーコードをカメラ２０で撮像すると、そのバーコードの画像から物体ＩＤが生成され、それに関連づけられたレイアウトデータがデータベース２６から取得される。そして、このレイアウトデータからキャリブレーション画像が生成され、透明タッチパネル１２に投影される。図３には、キャリブレーション画像２８が透明タッチパネル１２に投影された様子が示されている。このキャリブレーション画像２８は、物体１４を設置すべき場所を指示するものであり、例えば物体１４の周縁や四隅の位置を指示する画像であってよい。逆に、キャリブレーション用の枠を実物体の置かれている範囲に合わすようにするキャリブレート方法を採用してもよい。
【００２１】
その後、透明タッチパネル１２には、物体１４における構成部品を指示する部分指示画像が表示される。図４は、部分指示画像３０（ＵＩ画像）が物体１４の各構成部品の上方に投影された様子を示している。ユーザは、いずれかの部分指示画像３０が映出された領域をタッチ操作することで、その部分指示画像３０が指し示している構成部品に関する情報を透明タッチパネル１２に表示させることができる。
【００２２】
図５は、ユーザがある部分指示画像３０の映出領域をタッチ操作して、該部分指示画像３０が指し示している構成部品に関する情報（属性情報）の画像、すなわち物体関連情報画像３２が透明タッチパネル１２に表示された様子を示している。この物体関連情報画像３２は、ユーザにより操作された部分指示画像に係る構成物品に関して用意された複数の詳細情報のうち、ユーザが任意の一つを指示するためのメニュー（ＵＩ画像）を示している。ユーザがこのメニューを示す物体関連情報画像３２の表示領域のうち、いずれかの詳細情報を示す部分をタッチ操作すると、その部分に係る詳細情報の画像がさらに透明タッチパネル１２に表示される。図６は、部分指示画像３０により指し示されている物体１４の構成物品に関する詳細情報の画像、すなわち物体関連情報画像３４が透明タッチパネル１２に投影された様子を示している。
【００２３】
図７は、本物体関連情報処理システム１０の動作フロー図である。同図に示すように、このシステムでは、まずカメラ２０により物体１４に表されたバーコードが撮像される（Ｓ１０１）。次に、コンピュータ１８は、撮像された画像から物体ＩＤを生成する（Ｓ１０２）。そして、この物体ＩＤを通信ネットワーク２２を介してサーバ２４に送信し、サーバ２４は受信した物体ＩＤに関連づけてデータベース２６に記憶された物体１４のレイアウトデータを返信する。これにより、コンピュータ１８は、物体１４のレイアウトデータを取得する（Ｓ１０３）。
【００２４】
次に、コンピュータ１８は、図３のようにして、プロジェクタ１６により透明タッチパネル１２上にキャリブレーション画像２８を投影し、これにより物体１４を置くべき場所をユーザに案内する（Ｓ１０４）。その後、コンピュータ１８は、レイアウトデータに従って、物体１４の各構成部品を示す部分指示画像３０を透明タッチパネル１２上に投影する（Ｓ１０５）。この部分指示画像３０は、予めコンピュータ１８に記憶されていてもよいし、サーバ２４その他の通信ネットワーク２２に接続された他のコンピュータから受信してもよい。
【００２５】
次に、コンピュータ１８は透明タッチパネル１２におけるユーザのタッチ位置のデータを取得する（Ｓ１０６）。そして、このタッチ位置が、部分指示画像３０やメニューを示す物体関連情報画像３２等のＵＩ画像の表示領域内であるか否かを判断する（Ｓ１０７）。そして、表示領域内でなければＳ１０６の処理に戻る。一方、表示領域内であれば、それに応じてプロジェクタ１６による投影画像の内容を更新する（Ｓ１０８）。例えば、部分指示画像３０の表示領域がタッチ操作されていれば、その部分指示画像３０により指示されている部品に関連する物体関連情報画像３２を新たに投影する。また、メニューを示す物体関連情報画像３２の表示領域がタッチ操作されていれば、そのタッチ操作された領域に応じた物体関連情報画像３４を新たに投影する。そして、その後、Ｓ１０６の処理に戻る。
【００２６】
以上説明した実施形態によれば、ユーザは、透明タッチパネル１２に映出された画像と、透明タッチパネル１２の下方に配置され、透明タッチパネル１２の下方に透けて見える物体１４と、を見ながら、映出された画像に含まれるいずれかの部分指示画像３０の映出領域をタッチ操作することで、その部分指示画像３０により指示される部品に関する画像を透明タッチパネル１２に投影させることができる。本物体関連情報処理システム１０は、透明タッチパネル１２を使ってユーザの操作を受け付けるので、どのような形状の物体１４であっても、それを用いたＵＩを実現することができる。また、予めデータベース２６に用意された物体１４のレイアウトデータを用いて、該物体１４の構成部品を示す部分指示画像３０を表示するので、どのような形状・外観の物体１４であっても、その構成部分を示す部分指示画像を透明タッチパネル１２上に投影させることができる。
【００２７】
本実施形態によると、実物を製造する際にレイアウトデータを登録しておき、実物を元になる電子文書と広く対応させるようにしておくことで、例えば、ユーザがマザーボードを購入したら、いつでもメーカーから説明の情報を入手でき、かつ物理の世界でリアルに表現できるようになる。
【００２８】
なお、本発明は上記実施形態に限定されるものではない。例えば、以上の説明では透明タッチパネル１２上に画像を映出するのにプロジェクタ１６を用いるようにしたが、透明液晶パネルを透明タッチパネル１２と重ね合わせることで、透明タッチパネル１２上に画像を映出するようにしてもよい。また、コンピュータ１８は、いずれかの部分指示画像３０の映出領域がタッチ操作された場合に、その領域を識別する情報をサーバ２４に送信して、サーバ２４がその旨を記録しておくようにしてもよい。
【００２９】
また、以上説明した実施形態では、指示画像をタッチパネル上に表示するようにしたが、物体の表面が、ユーザにとって分かり易い(例えば、物体の形状が平坦等や、物体表面上のレイアウトを熟知している場合)には、案内画像としての指示画像を表示しなくてもよい。記憶手段に、物体の部分領域と部分領域の属性情報とを関連付けて記憶しておき、タッチパネルにおけるユーザの操作位置を取得する取得手段で取得すればよい。また、タッチパネルに代えて光透過性のパネルを用い、パネル上の位置をペンで指示し、物体の部分領域に対応したパネル上の位置をペンの示す位置を検出することにより、ユーザの操作位置を取得してもよい。ペンの示す位置の検出は、光、超音波及び電波等を用いた公知の技術が当業者により適用可能である。取得した電子情報はパネル面に可視表示するだけでなく、本実施例のシステムに接続されるコンピュータ等により、シートに対する印刷等の永久可視表示としてもよいし、テキスト、画像等の電子情報を関連するコンピュータ等に出力してもよい。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態に係る物体関連情報処理システムの全体構成を示す図である。
【図２】データベースの記憶内容を模式的に示す図である。
【図３】プロジェクタにより透明タッチパネル上に映出されるキャリブレーション画像の一例を示す図である。
【図４】プロジェクタにより透明タッチパネル上に映し出される部分指示画像の一例を示す図である。
【図５】部分指示画像を操作した場合にプロジェクタにより透明タッチパネル上に映し出される物体関連情報画像の一例を示す図である。
【図６】物体関連情報画像を操作した場合にプロジェクタにより透明タッチパネル上にさらに映し出される物体関連情報画像の一例を示す図である。
【図７】本発明の一実施形態に係る物体関連情報処理システムの動作フロー図である。
【符号の説明】
【００３１】
１０ 物体関連情報処理システム、１２ 透明タッチパネル、１４ 物体、１６ プロジェクタ、１８ コンピュータ、２０ カメラ、２２ 通信ネットワーク、２４ サーバ、２６ データベース、２８ キャリブレーション画像、３０ 部分指示画像、３２，３４ 物体関連情報画像。
【技術分野】
【０００１】
本発明は物体関連情報処理システム、物体関連情報処理方法及びプログラムに関し、特に、実物を用いるユーザインタフェースに関する。
【背景技術】
【０００２】
電子回路基板を見ながら、その各部の詳細情報を入手しようとすると、電子回路基板の各部を特定する情報、例えば回路部品の識別コードを調べ、その識別コードをキーとしてデータベース等から該回路部品の詳細情報を読み出すという手順が考えられる。しかしながら、こうした手順は煩雑であり、電子回路基板の実物の任意の箇所を指示すると、その詳細情報が直ちに入手できるようになると便利である。また、電子回路基板のみならず、種々の物体について、実物の任意の箇所を指示すると、それに関連する情報が直ちに入手できるようになると便利である。
【０００３】
この点、下記特許文献１には、ドキュメント（書類）の現物上にカーソルの画像をプロジェクタにより投影するとともに、そうしてカーソルの画像が投影されたドキュメントの画像を撮影しておき、ユーザがカーソルの画像を移動させてドキュメント上の位置を指示すると、その位置の撮像画像を切り出して、これに対して文字や図形の認識処理を施す装置が知られている（特許文献１参照）。この装置によれば、ユーザは、現実のドキュメントを用いて、その内容に関連した情報処理を指示することができる。
【特許文献１】特開平０９−３１９５５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記背景技術は、文字や図形等、コンピュータによる認識可能な情報を表したドキュメントに適用対象が限られるという問題がある。また、カーソルの画像を投影する必要があるため、適用対象がドキュメント等の平面的なものに限られるという問題もある。
【０００５】
本発明は上記背景に鑑みてなされたものであって、その目的は、様々な物体に適用することができる、実物を用いるユーザインタフェースを備えた物体関連情報処理システム、物体関連情報処理方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明に係る物体関連情報処理システムは、透光性を有し、物体の前面で該物体を視認可能に配置されるパネルと、前記物体の部分領域と部分領域の属性情報とを関連付けて記憶する記憶手段と、前記パネルにおけるユーザの操作位置を取得する第1の取得手段と、第1の取得手段で取得された操作位置に基づいて、該操作位置に対応する部分領域の属性情報を前記記憶手段から取得する第2の取得手段と、第2の取得手段で取得された属性情報をパネル上に映出す画像映出手段と、を含む、ことを特徴とする。
【０００７】
本発明の一態様では、前記記憶手段は、更に前記物体の部分領域を含むレイアウトを示すレイアウトデータを記憶し、第2の取得手段は、前記記憶手段からレイアウトデータを取得し、前記画像映出手段は、第2の取得手段が取得したレイアウトデータの部分領域に対応した指示画像をタッチパネル上に映出す。
【０００８】
また、本発明の一態様では、前記画像映出手段は、前記パネル上に画像を投影する手段である。
【０００９】
また、本発明の一態様では、前記画像映出手段により前記物体の部分領域の属性情報が映出される場合に、その旨を記録する記録手段をさらに含む。また、本発明の一態様では、前記パネルはタッチパネルである。
【００１０】
また、本発明に係る物体関連情報処理方法は、透光性を有し、物体の前面で該物体を視認可能に配置されるパネルにおけるユーザの操作位置を取得するステップと、取得された操作位置に基づいて、該操作位置に対応する部分領域の属性情報を、前記物体の部分領域と部分領域の属性情報とを関連付けて記憶する記憶手段から取得するステップと、取得された属性情報をパネル上に映出するステップと、を含むことを特徴とする。
【００１１】
また、本発明に係るプログラムは、透光性を有し、物体の前面で該物体を視認可能に配置されるパネルにおけるユーザの操作位置を取得する手段、取得された操作位置に基づいて、該操作位置に対応する部分領域の属性情報を、前記物体の部分領域と部分領域の属性情報とを関連付けて記憶する記憶手段から取得する手段、及び取得された属性情報をパネル上に映出す手段としてコンピュータを機能させるためのプログラムである。プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体に格納されてよい。
【発明の効果】
【００１２】
本発明では、パネルを介して実際の物体の表面を見て、所望の電子情報を得ようとする、物体の部位(部分領域)に対応するパネルの位置を操作するだけで部位(部分領域)に関連付けられた電子情報(属性情報)を得ることができる。例えば、物体がプリント基板であれば、部位に対応する部品等の属性情報、組み立てられたボードであれば、部位の説明情報や部品の取扱い説明情報が電子情報として得られる。物体のレイアウトデータに基づく指示画像をタッチパネル上に映し出す構成を持つ場合には、物体表面がユーザにとって分かりにくい場合でも指示画像を見て操作することにより、容易かつ迅速に操作指示でき、所望の電子情報を得ることができる。前記パネルがタッチパネルの場合には、特別な指示デバイスを持たなくてもユーザのタッチ操作で操作位置を指示できタッチパネル上の位置(操作位置)も迅速に取得できるので、物体に指示する感覚で所望の電子情報を得ることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の一実施形態について図面に基づき詳細に説明する。
【００１４】
図１は、本発明の実施形態に係る物体関連情報処理システムの全体構成を示す図である。同図に示すように、この物体関連情報処理システム１０は、ガラスや樹脂等の透明の部材を基材として形成された透明タッチパネル（操作パネル）１２を含んで構成されている。透明タッチパネル１２は矩形板状であり、その四隅には脚１２ａが設けられ、テーブル状をなしている。透明タッチパネル１２の下方には、例えば電子回路基板等の物体１４が配置されており、透明タッチパネル１２の上方から下方を見ると、透明タッチパネル１２の下方に物体１４が透けて見えるようになっている。すなわち、透明タッチパネル１２は物体１４の前面に配置され、該物体１４を視認可能となっている。透明タッチパネル１２の上方にはプロジェクタ１６が設置されており、プロジェクタ１６により透明タッチパネル１２上に、コンピュータ１８から供給される信号に従った画像が映出されるようになっている。これにより、ユーザは、テーブル状の透明タッチパネル１２の上方から、プロジェクタ１６により透明タッチパネル１２上に映出される画像、及び透明タッチパネル１２の下方に配置された物体１４の双方を見ることができる。
【００１５】
コンピュータ１８には、プロジェクタ１６とともに透明タッチパネル１２及びカメラ２０が接続されている。そして、透明タッチパネル１２におけるユーザのタッチ位置のデータがコンピュータ１８に入力される。また、カメラ２０により撮影される画像がコンピュータ１８に取り込まれる。また、コンピュータ１８は、インターネットその他の通信ネットワーク２２に接続されている。本実施形態においてコンピュータ１８が担う各種機能は、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な情報記憶媒体に記憶され、そこからインストールされるプログラムを該コンピュータ１８が実行することにより実現される。或いは、このプログラムは、通信ネットワーク２２を介してコンピュータ１８にダウンロードされてもよい。
【００１６】
通信ネットワーク２２には、データベース２６を備えたサーバ（コンピュータ）２４も接続されており、コンピュータ１８は通信ネットワーク２２を介してサーバ２４とデータ通信を行うことができる。
【００１７】
物体１４には、それを識別する物体ＩＤが付与されており、該物体ＩＤを示す１次元又は２次元のバーコードが物体１４の一部に表されている。このバーコードをユーザがコンピュータ１８に接続されているカメラ２０で撮像すると、その画像がコンピュータ１８に取り込まれ、該コンピュータが物体１４の物体ＩＤを生成するようになっている。
【００１８】
データベース２６には、図２に示すように、物体ＩＤに関連づけて、該物体ＩＤにより識別される物体のレイアウトデータが記憶されている。レイアウトデータは、物体の構成部品の各位置を示すデータ（例えば、部品が配置された領域の境界を特定するデータ（境界の頂点の座標等）である。）である。例えば本システムで扱う物体が電子回路基板であれば、そのレイアウトデータは、電子回路基板を構成する電子部品の基板における各位置を示すものである。レイアウトデータは、例えば各物体の電子的な設計データから抽出されるのが好適である。
【００１９】
コンピュータ１８は、カメラ２０で撮影された画像から物体ＩＤを生成すると、それに関連するレイアウトデータをデータベース２６から取得する。そして、取得したレイアウトデータに基づいて、透明タッチパネル１２に投影する画像を生成する。この画像には、透明タッチパネル１２の下方に置かれた物体１４の構成部品の位置を指示する部分指示画像が含まれる。例えば透明タッチパネル１２における物体１４の構成部品の上方に、該構成部品が配置された物体１４上の領域を識別表示するボタン等の部分指示画像が、プロジェクタ１６によって投影される。これにより、透明タッチパネル１２を上方から見ると、部分指示画像及びそれにより構成部品の位置が指示された物体１４が確認できる。こうして投影される部分指示画像の領域をタッチすると、それにより該部分指示画像が指示する物体１４の構成部品に関する情報の画像、すなわち物体関連情報画像が透明タッチパネル１２に投影される。なお、部分指示画像は、単に矢印のようなカーソル状であってもよい。
【００２０】
ここで、図３乃至図６に従って、透明タッチパネル１２に投影される画像について説明する。本物体関連情報処理システム１０では、まず物体１４に表されたバーコードをカメラ２０で撮像すると、そのバーコードの画像から物体ＩＤが生成され、それに関連づけられたレイアウトデータがデータベース２６から取得される。そして、このレイアウトデータからキャリブレーション画像が生成され、透明タッチパネル１２に投影される。図３には、キャリブレーション画像２８が透明タッチパネル１２に投影された様子が示されている。このキャリブレーション画像２８は、物体１４を設置すべき場所を指示するものであり、例えば物体１４の周縁や四隅の位置を指示する画像であってよい。逆に、キャリブレーション用の枠を実物体の置かれている範囲に合わすようにするキャリブレート方法を採用してもよい。
【００２１】
その後、透明タッチパネル１２には、物体１４における構成部品を指示する部分指示画像が表示される。図４は、部分指示画像３０（ＵＩ画像）が物体１４の各構成部品の上方に投影された様子を示している。ユーザは、いずれかの部分指示画像３０が映出された領域をタッチ操作することで、その部分指示画像３０が指し示している構成部品に関する情報を透明タッチパネル１２に表示させることができる。
【００２２】
図５は、ユーザがある部分指示画像３０の映出領域をタッチ操作して、該部分指示画像３０が指し示している構成部品に関する情報（属性情報）の画像、すなわち物体関連情報画像３２が透明タッチパネル１２に表示された様子を示している。この物体関連情報画像３２は、ユーザにより操作された部分指示画像に係る構成物品に関して用意された複数の詳細情報のうち、ユーザが任意の一つを指示するためのメニュー（ＵＩ画像）を示している。ユーザがこのメニューを示す物体関連情報画像３２の表示領域のうち、いずれかの詳細情報を示す部分をタッチ操作すると、その部分に係る詳細情報の画像がさらに透明タッチパネル１２に表示される。図６は、部分指示画像３０により指し示されている物体１４の構成物品に関する詳細情報の画像、すなわち物体関連情報画像３４が透明タッチパネル１２に投影された様子を示している。
【００２３】
図７は、本物体関連情報処理システム１０の動作フロー図である。同図に示すように、このシステムでは、まずカメラ２０により物体１４に表されたバーコードが撮像される（Ｓ１０１）。次に、コンピュータ１８は、撮像された画像から物体ＩＤを生成する（Ｓ１０２）。そして、この物体ＩＤを通信ネットワーク２２を介してサーバ２４に送信し、サーバ２４は受信した物体ＩＤに関連づけてデータベース２６に記憶された物体１４のレイアウトデータを返信する。これにより、コンピュータ１８は、物体１４のレイアウトデータを取得する（Ｓ１０３）。
【００２４】
次に、コンピュータ１８は、図３のようにして、プロジェクタ１６により透明タッチパネル１２上にキャリブレーション画像２８を投影し、これにより物体１４を置くべき場所をユーザに案内する（Ｓ１０４）。その後、コンピュータ１８は、レイアウトデータに従って、物体１４の各構成部品を示す部分指示画像３０を透明タッチパネル１２上に投影する（Ｓ１０５）。この部分指示画像３０は、予めコンピュータ１８に記憶されていてもよいし、サーバ２４その他の通信ネットワーク２２に接続された他のコンピュータから受信してもよい。
【００２５】
次に、コンピュータ１８は透明タッチパネル１２におけるユーザのタッチ位置のデータを取得する（Ｓ１０６）。そして、このタッチ位置が、部分指示画像３０やメニューを示す物体関連情報画像３２等のＵＩ画像の表示領域内であるか否かを判断する（Ｓ１０７）。そして、表示領域内でなければＳ１０６の処理に戻る。一方、表示領域内であれば、それに応じてプロジェクタ１６による投影画像の内容を更新する（Ｓ１０８）。例えば、部分指示画像３０の表示領域がタッチ操作されていれば、その部分指示画像３０により指示されている部品に関連する物体関連情報画像３２を新たに投影する。また、メニューを示す物体関連情報画像３２の表示領域がタッチ操作されていれば、そのタッチ操作された領域に応じた物体関連情報画像３４を新たに投影する。そして、その後、Ｓ１０６の処理に戻る。
【００２６】
以上説明した実施形態によれば、ユーザは、透明タッチパネル１２に映出された画像と、透明タッチパネル１２の下方に配置され、透明タッチパネル１２の下方に透けて見える物体１４と、を見ながら、映出された画像に含まれるいずれかの部分指示画像３０の映出領域をタッチ操作することで、その部分指示画像３０により指示される部品に関する画像を透明タッチパネル１２に投影させることができる。本物体関連情報処理システム１０は、透明タッチパネル１２を使ってユーザの操作を受け付けるので、どのような形状の物体１４であっても、それを用いたＵＩを実現することができる。また、予めデータベース２６に用意された物体１４のレイアウトデータを用いて、該物体１４の構成部品を示す部分指示画像３０を表示するので、どのような形状・外観の物体１４であっても、その構成部分を示す部分指示画像を透明タッチパネル１２上に投影させることができる。
【００２７】
本実施形態によると、実物を製造する際にレイアウトデータを登録しておき、実物を元になる電子文書と広く対応させるようにしておくことで、例えば、ユーザがマザーボードを購入したら、いつでもメーカーから説明の情報を入手でき、かつ物理の世界でリアルに表現できるようになる。
【００２８】
なお、本発明は上記実施形態に限定されるものではない。例えば、以上の説明では透明タッチパネル１２上に画像を映出するのにプロジェクタ１６を用いるようにしたが、透明液晶パネルを透明タッチパネル１２と重ね合わせることで、透明タッチパネル１２上に画像を映出するようにしてもよい。また、コンピュータ１８は、いずれかの部分指示画像３０の映出領域がタッチ操作された場合に、その領域を識別する情報をサーバ２４に送信して、サーバ２４がその旨を記録しておくようにしてもよい。
【００２９】
また、以上説明した実施形態では、指示画像をタッチパネル上に表示するようにしたが、物体の表面が、ユーザにとって分かり易い(例えば、物体の形状が平坦等や、物体表面上のレイアウトを熟知している場合)には、案内画像としての指示画像を表示しなくてもよい。記憶手段に、物体の部分領域と部分領域の属性情報とを関連付けて記憶しておき、タッチパネルにおけるユーザの操作位置を取得する取得手段で取得すればよい。また、タッチパネルに代えて光透過性のパネルを用い、パネル上の位置をペンで指示し、物体の部分領域に対応したパネル上の位置をペンの示す位置を検出することにより、ユーザの操作位置を取得してもよい。ペンの示す位置の検出は、光、超音波及び電波等を用いた公知の技術が当業者により適用可能である。取得した電子情報はパネル面に可視表示するだけでなく、本実施例のシステムに接続されるコンピュータ等により、シートに対する印刷等の永久可視表示としてもよいし、テキスト、画像等の電子情報を関連するコンピュータ等に出力してもよい。
【図面の簡単な説明】
【００３０】
【図１】本発明の一実施形態に係る物体関連情報処理システムの全体構成を示す図である。
【図２】データベースの記憶内容を模式的に示す図である。
【図３】プロジェクタにより透明タッチパネル上に映出されるキャリブレーション画像の一例を示す図である。
【図４】プロジェクタにより透明タッチパネル上に映し出される部分指示画像の一例を示す図である。
【図５】部分指示画像を操作した場合にプロジェクタにより透明タッチパネル上に映し出される物体関連情報画像の一例を示す図である。
【図６】物体関連情報画像を操作した場合にプロジェクタにより透明タッチパネル上にさらに映し出される物体関連情報画像の一例を示す図である。
【図７】本発明の一実施形態に係る物体関連情報処理システムの動作フロー図である。
【符号の説明】
【００３１】
１０ 物体関連情報処理システム、１２ 透明タッチパネル、１４ 物体、１６ プロジェクタ、１８ コンピュータ、２０ カメラ、２２ 通信ネットワーク、２４ サーバ、２６ データベース、２８ キャリブレーション画像、３０ 部分指示画像、３２，３４ 物体関連情報画像。
【特許請求の範囲】
【請求項１】
透光性を有し、物体の前面で該物体を視認可能に配置されるパネルと、
前記物体の部分領域と部分領域の属性情報とを関連付けて記憶する記憶手段と、
前記パネルにおけるユーザの操作位置を取得する第1の取得手段と、
第1の取得手段で取得された操作位置に基づいて、該操作位置に対応する部分領域の属性情報を前記記憶手段から取得する第2の取得手段と、
第2の取得手段で取得された属性情報をパネル上に映出す画像映出手段と、
を含む、ことを特徴とする物体関連情報処理システム。
【請求項２】
請求項１に記載の物体関連情報処理システムにおいて、
前記記憶手段は、更に前記物体の部分領域を含むレイアウトを示すレイアウトデータを記憶し、第2の取得手段は、前記記憶手段からレイアウトデータを取得し、前記画像映出手段は、第2の取得手段が取得したレイアウトデータの部分領域に対応した指示画像をタッチパネル上に映出すことを特徴とする物体関連情報処理システム。
【請求項３】
請求項１又は２に記載の物体関連情報処理システムにおいて、
前記画像映出手段は、前記パネル上に画像を投影する手段である、
ことを特徴とする物体関連情報処理システム。
【請求項４】
請求項１乃至３のいずれかに記載の物体関連情報処理システムにおいて、
前記画像映出手段により前記物体の部分領域の属性情報が映出される場合に、その旨を記録する記録手段をさらに含む、
ことを特徴とする物体関連情報処理システム。
【請求項５】
請求項１乃至4のいずれかに記載の物体関連情報処理システムにおいて、
前記パネルはタッチパネルである、
ことを特徴とする物体関連情報処理システム。
【請求項６】
透光性を有し、物体の前面で該物体を視認可能に配置されるパネルにおけるユーザの操作位置を取得するステップと、
取得された操作位置に基づいて、該操作位置に対応する部分領域の属性情報を、前記物体の部分領域と部分領域の属性情報とを関連付けて記憶する記憶手段から取得するステップと、
取得された属性情報をパネル上に映出するステップと、
を含むことを特徴とする物体関連情報処理方法。
【請求項７】
透光性を有し、物体の前面で該物体を視認可能に配置されるパネルにおけるユーザの操作位置を取得する手段、
取得された操作位置に基づいて、該操作位置に対応する部分領域の属性情報を、前記物体の部分領域と部分領域の属性情報とを関連付けて記憶する記憶手段から取得する手段、及び
取得された属性情報をパネル上に映出す手段
としてコンピュータを機能させるためのプログラム。
【請求項１】
透光性を有し、物体の前面で該物体を視認可能に配置されるパネルと、
前記物体の部分領域と部分領域の属性情報とを関連付けて記憶する記憶手段と、
前記パネルにおけるユーザの操作位置を取得する第1の取得手段と、
第1の取得手段で取得された操作位置に基づいて、該操作位置に対応する部分領域の属性情報を前記記憶手段から取得する第2の取得手段と、
第2の取得手段で取得された属性情報をパネル上に映出す画像映出手段と、
を含む、ことを特徴とする物体関連情報処理システム。
【請求項２】
請求項１に記載の物体関連情報処理システムにおいて、
前記記憶手段は、更に前記物体の部分領域を含むレイアウトを示すレイアウトデータを記憶し、第2の取得手段は、前記記憶手段からレイアウトデータを取得し、前記画像映出手段は、第2の取得手段が取得したレイアウトデータの部分領域に対応した指示画像をタッチパネル上に映出すことを特徴とする物体関連情報処理システム。
【請求項３】
請求項１又は２に記載の物体関連情報処理システムにおいて、
前記画像映出手段は、前記パネル上に画像を投影する手段である、
ことを特徴とする物体関連情報処理システム。
【請求項４】
請求項１乃至３のいずれかに記載の物体関連情報処理システムにおいて、
前記画像映出手段により前記物体の部分領域の属性情報が映出される場合に、その旨を記録する記録手段をさらに含む、
ことを特徴とする物体関連情報処理システム。
【請求項５】
請求項１乃至4のいずれかに記載の物体関連情報処理システムにおいて、
前記パネルはタッチパネルである、
ことを特徴とする物体関連情報処理システム。
【請求項６】
透光性を有し、物体の前面で該物体を視認可能に配置されるパネルにおけるユーザの操作位置を取得するステップと、
取得された操作位置に基づいて、該操作位置に対応する部分領域の属性情報を、前記物体の部分領域と部分領域の属性情報とを関連付けて記憶する記憶手段から取得するステップと、
取得された属性情報をパネル上に映出するステップと、
を含むことを特徴とする物体関連情報処理方法。
【請求項７】
透光性を有し、物体の前面で該物体を視認可能に配置されるパネルにおけるユーザの操作位置を取得する手段、
取得された操作位置に基づいて、該操作位置に対応する部分領域の属性情報を、前記物体の部分領域と部分領域の属性情報とを関連付けて記憶する記憶手段から取得する手段、及び
取得された属性情報をパネル上に映出す手段
としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２００８−９５７１（Ｐ２００８−９５７１Ａ）
【公開日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願番号】特願２００６−１７７３７４（Ｐ２００６−１７７３７４）
【出願日】平成１８年６月２７日（２００６．６．２７）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２０年１月１７日（２００８．１．１７）
【国際特許分類】
【出願日】平成１８年６月２７日（２００６．６．２７）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]