画像表示装置、画像表示方法及びコマンド入力方法
【課題】現実の認識対象物を準備する煩わしさを回避することができ、物体の識別情報及び移動情報に応じて装置や表示画像を操作するコマンド入力方法、画像表示方法及び画像表示装置を提供すること。
【解決手段】画像が投影される投影面又はその裏面に配置された物体４１、又は、描画された図形を撮影する撮影手段１４と、投影面１１に投影される画像を生成する投影画像生成部２４と、撮影手段１４により撮影された撮像データから物体の識別情報、又は、図形の図形情報を抽出する画像抽出部２１と、画像抽出部により抽出された物体の識別情報から物体の属性情報を取得する物体認識部２２と、図形情報から図形の種別を認識する図形認識部２６と、物体認識部が認識した属性情報、又は、図形認識部が認識した図形の種別又は図形の大きさに基づき、投影画像生成部を操作する操作処理部２３と、を有することを特徴とする画像表示装置を提供する。
【解決手段】画像が投影される投影面又はその裏面に配置された物体４１、又は、描画された図形を撮影する撮影手段１４と、投影面１１に投影される画像を生成する投影画像生成部２４と、撮影手段１４により撮影された撮像データから物体の識別情報、又は、図形の図形情報を抽出する画像抽出部２１と、画像抽出部により抽出された物体の識別情報から物体の属性情報を取得する物体認識部２２と、図形情報から図形の種別を認識する図形認識部２６と、物体認識部が認識した属性情報、又は、図形認識部が認識した図形の種別又は図形の大きさに基づき、投影画像生成部を操作する操作処理部２３と、を有することを特徴とする画像表示装置を提供する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の識別情報及び手書き図形に応じて情報機器やロボットなどの装置にコマンドを入力したり表示画像を操作することや、投影画像が表示される表示画面上に載置した物体を操作したり、表示画面にマーカ等を用いて描画することにより、投影画像に対してそれらの物体や描画に応じた変化が与えられる仕組みを構築し、マン・マシン・インタフェースを向上させたコマンド入力方法、画像表示方法及び画像表示装置に関する。
【背景技術】
【０００２】
今日、コンピュータをはじめとする情報機器の高度化、多様化は目覚しいものがあり、情報機器を用いたさまざまシステムが開発、導入されている。しかしながら、そのようなシステムが普及すればするほど、それらシステム全体の機能的、かつ効率的なオペレーションの重要性が増大しつつある。そのため、システムを操作する人間と、システムを構成するコンピュータなどの情報機器の特性を考慮した調和のとれた、人間との親和性の高いシステムの構築が不可欠となっている。特に、人間と機械とが協力して複雑な仕事を効率的に処理するマンマシンシステムなどにおいては、ユーザインタフェース、特に入出力機器の操作性が重要な要素になっている。
【０００３】
すなわち、人間がその感覚器を用いて知覚可能な情報による外部表現としての出力インタフェース、および人間がその手や体を用いて情報を操作可能にするための制御機構としての入力インタフェースが重要であるとされる。
【０００４】
今日、ＧＵＩ（グラフィカルユーザインタフェース）に対しマウスなどを用いたインタラクションが盛んに採用されている。しかしながら、それらＧＵＩは、視覚、聴覚によるインタラクションであって、間接的な操作であり、直接的な操作性を高めるためには個々の情報特有な触覚的なフィードバックが必要であるという思想の下、「情報と物理世界を融合するタンジブル・ユーザ・インタフェース（Ｔａｎｇｉｂｌｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）」が提唱されている。ＴＵＩにおいては、Ｔａｎｇｉｂｌｅ ｂｉｔと称する物体による操作を可能にする仕組みが設けられている（非特許文献１参照）。
【０００５】
また、Ｓｅｎｓｅ Ｔａｂｌｅと称する表示画面上に複数のワイヤレスな物体の位置と方向を電磁的に探知するシステムについて紹介し、さらに探知方法に関し、例えばコンピュータビジョンを導入した２つの改良例についても紹介されている。改良例の１つは、光の吸収や変化に反応することなく迅速かつ正確に物体を探知するシステムであり、他の改良例は、探知された物体がその状態を修正可能にする物理的なダイアルと修正器を備えたシステムである。なお、システムは、変化をリアルタイムに検出することができるようになっている（非特許文献２参照。）。
【０００６】
そのほか、液晶プロジェクタの表示画面に画像を投影し、その表示画面の上方に設けた
カメラでその表示画面上に置かれた物体や手を認識するようにしたシステムも開示されて
いる。
【０００７】
一方、仮想空間内のＣＧ（コンピュータグラフィックス）で表されたモデル（仮想物体）の動きや形状を、認識対象の動きや位置などの情報を基に制御するバーチャル・リアリティーに関する技術開発が、映画や放送などの分野で盛んに行われている。
【０００８】
しかしながら、仮想空間による臨場感を高めるためには特殊なウエアやジョイスティックなどの特殊な装置が必要となる上、仮想空間内の物体を制御して違和感なく仮想物体との融合を図るまでにはいたっていない。そこで、認識対象の位置と方向に関する情報を抽出し、その抽出された情報に基づいて、認識対象に対応する仮想空間内の制御対象を制御する技術が開示されている（特許文献１）。
【０００９】
また、一般事業所においては、意思決定やアイデンティティー獲得を目的とする会議などの場において、プロジェクタや電子黒板などの投影型表示装置を用いて視覚に訴える方法が盛んに用いられている。しかしながら、ＴＰＯ（Ｔｉｍｅ Ｐｌａｃｅ Ｏｃｃａｔｉｏｎ）に応じて、表示された画像に重畳させて文字や絵などを書き加えることや、書き加えられた文字などを電子データとして取り込む機能が必要であるとの根強い要望がある。
【００１０】
このため、投影画像が表示される投影面に画像を書き込むことができる上、その書き込まれた画像を撮影する撮影部や元の画像に書き加えた画像を元の画像と合成する合成手段を設けたものがある（特許文献２参照）。
【特許文献１】特開２０００−２０１９３号公報
【特許文献２】特開２００３−１４３３４８号公報
【非特許文献１】「タンジブル・ビット：石井 裕」ＩＰＳＪ Ｍａｇａｚｉｎｅ Ｖｏｌ．４３Ｎｏ．３ Ｍａｒ．２００２
【非特許文献２】「Ｓｅｎｓｅｔａｂｌｅ：Ｊａｍｅｓ Ｐａｔｔｅｎ，Ｈｉｒｏｓｉ Ｉｓｈｉｉ，ｅｔｃ．」ＣＨＩ２００１，Ｍａｒ．３１−Ａｐｒｉｌ５２００１，ＡＣＭ Ｐｒｅｓｓ
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、文献１に開示された技術では、仮想空間内に動きのある対象物を表示させるためには、表示させたい現実の認識対象物を準備して、その現実の認識対象物を仮想空間内の対象物に与えたい動き通りに実際に動かしてやる必要がある。また、文献２に開示された技術では、投影面に書き込んだ画像そのものを表示することや、電子データとして保存することはできるが、投影されている画像を書き込んだ画像で操作することまではできない。
【００１２】
本出願人は、上記事情に鑑み、現実の認識対象物を準備する煩わしさを回避することができる上、物体の識別情報及び移動情報に応じて装置や表示画像を操作するコマンド入力を可能にしたり、キーボードによるコマンド投入や、マウスによるメニュー選択を行うなどの煩わしい操作をすることなく、表示画面に所定形状を有する物体を置いて、人がその物体を移動させるだけの簡単な操作により、表示画面に表示された画像を操ることが可能なコマンド入力方法、画像表示方法及び画像表示装置を提案した。
【００１３】
本出願は、既に出願したコマンド入力方法、画像表示方法及び画像表示装置を改良し、所定形状を有する物体に加え別の方法でもコマンドの入力が可能なコマンド入力方法、画像表示方法及び画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記問題を解決するため、本発明は、画像が投影される投影面又はその裏面に配置された物体、及び、描画された図形を撮影する撮影手段と、投影面に投影される画像を生成する投影画像生成部と、撮影手段により撮影された撮像データから物体の識別情報、及び、図形の図形情報を抽出する画像抽出部と、画像抽出部により抽出された物体の識別情報から物体の属性情報を取得する物体認識部と、図形情報から図形の種別を認識する図形認識部と、物体認識部が認識した属性情報及び図形認識部が認識した図形の種別に基づき、投影画像生成部を操作する操作処理部と、を有することを特徴とする画像表示装置を提供する。
【００１５】
本発明によれば、投影された画像に対して物体及び手書き図形により操作できる画像表示装置を提供できるので、人間の直感を生かした柔軟な操作が可能となる。
【００１６】
また、本発明は、画像が投影される投影面又はその裏面に配置された物体、及び、描画された図形を撮影する撮影ステップと、撮影ステップにより撮影された撮像データから物体の前記識別情報、及び、図形の図形情報を抽出する画像抽出ステップと、画像抽出ステップにより抽出された物体の識別情報から物体の属性情報を取得する物体認識ステップと、図形情報から図形の種別を認識する図形認識ステップと、物体認識ステップにより認識した属性情報及び図形認識ステップにより認識した図形の種別に基づき、投影面に投影される画像を生成する投影画像生成部を操作する操作処理ステップと、を有することを特徴とする画像表示方法を提供する。
【００１７】
また、本発明は、物体の識別情報に基づく属性情報、及び、描画された図形の種類に基づき、所定の装置にコマンドを入力することを特徴とするコマンド入力方法を提供する。
【発明の効果】
【００１８】
既に出願したコマンド入力方法、画像表示方法及び画像表示装置を改良し、所定形状を有する物体に加え別の方法でもコマンドの入力が可能なコマンド入力方法、画像表示方法及び画像表示装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下に、本発明のコマンド入力方法及び画像表示方法を適用した、本発明の画像表示装置の実施形態について説明する。
【００２０】
〔第１の実施形態〕
図１（ａ）及び（ｂ）は、本発明の画像表示装置の実施形態を示す概略図であり、図１（ａ）は概略斜視図、図１（ｂ）は概略断面図を示す。
【００２１】
図１に示すように、実施形態の画像表示装置は、矩形の平面部１０を有し、デスク状の表示部１と、図示しない本体部２とを備えている。
【００２２】
表示部１は、矩形の平面部１０の中央部分に、内部から投影された画像が表示される矩形のスクリーン（本発明の表示画面に相当する。）１１を備えている。
【００２３】
また、図１（ｂ）に示すように画像表示装置の表示部１は、中央部分にスクリーン１１がはめ込まれた平面部１０と、平面部１０を支える筐体１２と、筐体１２内に設けられ、スクリーン１１に画像を投影するプロジェクタ１３と、スクリーン１１の裏面側全体が視野角１４ａとなる位置に配置され、スクリーン１１を裏面側から撮影するＣＣＤカメラ（本発明の撮像部に相当する。）１４とを備えている。
【００２４】
筐体１２内に配置されたＣＣＤカメラ１４と図示しない本体部２とはコードで接続され、筐体１２内に配置されたプロジェクタ１３と図示しない本体部（投影画像形成部）とは光学的に結合されている。
【００２５】
スクリーン１１は、２重構造をなし、スクリーンの裏面側には投影画像が投影される投影面１１ａが設けられ、スクリーンの表面側には水性ペンやホワイトボード用マーカなどを用いて描画可能な書き込み面１１ｂが設けられ、投影面１１ａと書き込み面１１ｂとは密着させて一体化されている。
【００２６】
書き込み面１１ｂ及び投影面１１ａはともに透明であるが、投影面１１ａの書き込み面１１ｂと密着する側の表面には微小な凹凸が設けてあり、投影面１１ａに画像が投影されると、その光はわずかに散乱して透過するので、書き込み面１１ｂが設けられたスクリーン１１表面側の上方の、いろいろな角度からその投影された画像を視認することができるように構成されている。
【００２７】
ここで、書き込み面１１ｂの表面には傷が付きにくいように、透明保護シートを被覆することにしてもよく、また透明な塗料などによりコーテイングすることにしてもよい。
【００２８】
本体部２は、ＣＣＤカメラ１４で撮影された物体の底面の撮像を認識して物体の情報（識別情報および移動情報のうちの何れか一方または双方）を取得し、取得された情報に応じてプロジェクタ１３からスクリーン１１の裏面側に投影される投影画像を操作することができる。
【００２９】
なお、本体部２は、本実施形態の画像表示装置専用に作成されたものであっても、パーソナルコンピュータに所定のソフトウエアがインストールされたものであってもよく、さらに、筐体１２内に配置されたものであってもよい。
【００３０】
プロジェクタ１３は、反射ミラーやビームスプリッターなどの光学系により本体部２のディスプレイと結合され、本体部２で形成された所望の画像をスクリーン１１の投影面１１ａに投影することができる。
【００３１】
ＣＣＤカメラ１４は、例えばＵＳＢ（ユニバーサル・シリアル・バス）インタフェースを介して本体部２にコードで接続され、スクリーン１１の表面側、すなわち書き込み面１１ａに載置された物体や描画された図形などをスクリーン１１の裏面側、すなわち投影面１１ａ側から所定の時間間隔で連続撮影し、撮像データを得ることができる。
【００３２】
本実施の形態の画像表示装置について、図２の機能図と図３のフローチャート図に基づき説明する。本体部２で形成された画像は、プロジェクタ１３によってスクリーン１１の裏面側に投影され、スクリーン１１の表面側にいる人は、その投影された画像を視認することができる。
【００３３】
また、ユーザが書き込み面１１ｂに書き込みを行うと、本体部２はＣＣＤカメラ１４がスクリーン１１を撮影し、ユーザの書き込みを画像データ（例えばビットマップデータ）として取得する。
【００３４】
続いて、本体部２の構成について図に基づき説明する。図２に示すように、本体部２は、画像抽出部２１、投影画像形成部２４、物体認識部２２、図形認識部２６、操作処理部２３、アプリケーション（処理部）２４ａ、とを有する。
【００３５】
画像抽出部２１は、ＣＣＤカメラ１４で撮影された撮像の撮像データを２値化し、物体が載置されたスクリーン１１上の位置、底面の輪郭および識別コードを抽出する。投影画像生成部２４は、プロジェクタ１３とのインタフェースを有し、プロジェクタ１３によりスクリーン１１の裏面側から投影される画像を、所定のアプリケーション・プログラム２４ａに従って形成する。物体認識部２２は、画像抽出部２１により抽出された識別コードを、予めメモリに記憶されたパターン認識用辞書とパターンマッチングを行い、その物体の識別情報及び物体の方向に関する情報を得る。図形認識部２６は、マーカなどを用いてユーザに手書きされた図形や線に関する情報を抽出し図形情報から図形や線に関する情報から特徴を抽出して、その図形や線が例えば直線（線分）、円形、波形、方形など図形の種別や大きさを認識する。操作処理部２３は、物体認識部２２で得た識別情報及び物体の方向に関する情報、並びに、図形認識部２６が認識した図形の種別や大きさに基づいて、投影画像形成部２４で所定のアプリケーション・プログラム２４ａに基づいて形成される画像に新たなコンテンツやアクションを加えてプロジェクタから投影される画像を操作する。
【００３６】
なお、アプリケーション２４ａは、特許請求の範囲における処理部に相当し、後述のように物体の属性情報に応じた処理のための規則を参照して、属性情報に基づく処理を行う。物体の属性情報について詳細は後述するが、属性情報とは、スクリーン１１に物体が認識されたときに行われるコンピュータの表示や処理の内容が物体の識別情報に対応づけて定義されたものである。
【００３７】
投影画像形成部２４がアプリケーション・プログラム２４ａに従って形成された画像をプロジェクタ１３に送ると、プロジェクタ１３はスクリーン１１の裏面側にその画像を投影する。投影された画像は、スクリーン１１の表面側から視認することができる。投影された画像は、スクリーン１１の表面側から視認することができるので、その画像を視認した人が、そのスクリーン１１の表面側に予め準備された複数の物体を配置する。
【００３８】
図３に示す画像表示装置が行う処理の流れによれば、ＣＣＤカメラ１４により投影面１１ａが撮像され（Ｓ１）、撮像データが画像抽出部２１に送出される。画像抽出部２１は、手書き図形と物体とを撮像データから切り出し、手書きデータを図形認識部２６に送出する（Ｓ２）。
【００３９】
また、物体認識部２２は、物体が撮像された撮像データから物体の識別コードに基づき物体を認識し、物体の属性情報を取得する（Ｓ３）。
【００４０】
図形認識部２６は、図形認識部２６は、抽出された図形や線に関する情報から特徴を抽出して、線分、円形、波形、方形など図形の種別を認識する（Ｓ４）。
【００４１】
操作処理部２３は、後述するように、物体の属性情報と図形の種別に基づき、投影画像生成２４を操作する（Ｓ５）。また、投影画像生成部２４は、アプリケーション・プログラム２４ａに従って形成された画像を操作して、プロジェクタ１３から投影面に投影するＳ６）。以下、各ステップの処理を詳細に説明する。
【００４２】
〔Ｓ１〜Ｓ２〕
ＣＣＤカメラ１４により撮像された撮像データには、物体の底面と手書き図形とが混在している。このため、画像抽出部２１は、物体の画像と手書き図形とを分離する。後述のように、物体の識別コードを構成する色や手書き図形を書くペンの色は既知であるので、物体に該当する撮像データの部分と物体でない撮像データの部分とを判別できる。
【００４３】
まず、画素を全て白で初期化してある手書き図形を認識するための画素メモリを用意する。画像抽出部２１は、取得された撮像データの画素のRGB情報を１画素ずつ取得する。各画素においてＧ値が例えば１８０（画素値は０〜２５５の値を取るものとする）以上であれば背景色であると判定し、撮像データの画素を白に置き換え、すなわち当該画素をＲＧＢ（２５５、２５５、２５５）に設定する。なお、判定のためのＧ値は周囲の環境や装置の構成要素によって適切な値とする。
【００４４】
Ｇ値が１００＜Ｇ＜１８０の場合、手書き図形であると判定して、画素メモリの対応する画素を黒すなわちＲＧＢ（０、０，０）に設定し、撮像データの画素を白すなわちＲＧＢ（２５５、２５５、２５５）に設定する。またＧ値が１００以下の場合、撮像データの画素を黒すなわちＲＧＢ（０、０，０）に設定する。
【００４５】
したがって、かかる処理により、撮像データには物体の撮像データが、画素メモリには手書き図形の撮像データが、それぞれ切り分けられる。
【００４６】
なお、例えば、物体底面のパターンを手書き図形から分割して、物体と手書き図形の撮像データを切り分けてもよい。図４は、物体底面のパターンを分離する図を示す。物体４の底面の大きさは既知（例えば４８ピクセル×４８ピクセル）であるので、48×48ピクセルの四角形に内接する円形をなすものは底面画像と見なすことで、物体底面のみを含む画像と手書き図形のみを含む画像とに分割できる。
〔Ｓ３〕
画像抽出部２１が抽出した物体の撮像データには物体底面の識別コードが写っている。 物体認識部２２は、その撮像データを解析して物体の配置位置、底面の輪郭および識別コードの情報を抽出する。そして、抽出された情報は、物体認識部２２に送られる。このとき、物体の底面の輪郭の情報は、投影画像形成部２４にも送られる。投影画像形成部２４は、その情報により物体がスクリーン１１上に載せられたことを検出することができるので、投影面１１ａの、その物体の底面を含む領域が一様に白くなるような光画像を所定の時間間隔でプロジェクタ１３に送る。
【００４７】
このように物体の底面を含む領域が一様に白くなるような光画像が投影されることにより、ＣＣＤカメラ１４により撮像された撮像データは、２値化されたときに物体の底面の輪郭や識別コードの情報をより鮮明に捉えることができる。
【００４８】
物体認識部２２は、画像抽出部２１により抽出された識別コードにより、パターン認識用辞書を用いて物体の識別情報を取得することができるので、その識別情報に応じた所定のデータを操作処理部２３に送る。操作処理部２３は、図形の種別と共にその送られたデータをアプリケーション・プログラム２４ａに加え、投影画像形成部２４又は投影画像形成部２４により形成される画像を操作する。
【００４９】
なお、「画像を操作する」とは、スクリーン１１にすでに投影されている画像に、物体の識別コードに応じた新たな画像を重畳させることや、新たな画像を単独で表示させること、又はスクリーン１１に載せた物体を人手で移動させたときに、その物体の動きを認識した移動情報に応じてスクリーン１１にすでに投影されている画像に動きを与えることを意味する。具体的には、操作処理部２３からコンテンツの素材データ及びアクションデータを投影画像形成部２４に送り、投影画像形成部２４におけるアプリケーション・プログラム２４ａにそれらのデータを加えることにより、識別コードに対応する新たな物体の画像が重畳され、あるいは、すでに形成されている画像に、物体を人手で移動させた物体の軌跡に応じた動きが与えられる。
【００５０】
図５は、物体５の底面に付された識別コードの例を示す図である。識別コードは２次元コードの一形態である。図５に示すように、物体５の底面は、物体がスクリーン１１の表面側、すなわち書き込み面１１ｂ上に載置されたことが容易に検出することができるような輪郭５ａ、例えば閉じた形状となる円形をなし、その輪郭５ａの内側に識別コード６が配置されている。
【００５１】
ただし、例えば図５（ａ）に９つの小方形からなる方形が識別コード６になっているときは、その識別コード６が回転したときに、ＣＣＤカメラ１４による撮像データによって同一被写体と認識される関係にある、図５（ｂ）に示すような３種類の形状（例えば、９つの小方形からなる方形６ａ、５つの小方形を交互に配置した図形６ｂ、３つの小方形を直列に配置した矩形を平行に配置した図形６ｃ）は、識別コードに採用することができない。また、図５（ｃ）に示す６つの小方形からなる矩形と直線とからなる２種類の図形６ｄ，６ｅのように、それぞれの物体が回転したときにＣＣＤカメラ１４による撮像データによって同一被写体と認識される関係にあるものも識別コードとして採用することができない。
【００５２】
図６は、ＣＣＤカメラ（本発明の撮像部）により撮影された本実施形態の物体の底面の
一例を示す模式図である。図６（ａ）は、スクリーンの表面側に物体を載置したときの物体の底面を撮影した撮像を示す図であり、図６（ｂ）は、スクリーンの投影面全体が白くなるようにして物体の「底面」５を撮影した撮像を示す図であり、図６（ｃ）は、スクリーンの表面側に物体を載置するとともに、書き込み面に「線（矢印）」を描画したときの物体の「底面」５および「線」７を撮影した撮像を示す図であり、図６（ｄ）は、スクリーンの投影面全体が白くなるようにして物体の「底面」５および「線」７を撮影した撮像を示す図である。
【００５３】
本実施の形態では、ロッドインテグレータを光源に採用したプロジェクタを用いているので、スクリーンの投影面全体を白くして撮影したときは、ハイライト部に「矩形の黒」８が表示される。ただし、「底面」５および「線」７とは十分濃度差があり、「底面」５および「線」７をそれぞれ認識可能である。
【００５４】
このように、スクリーンの投影面を一時的に白くすると、スクリーンの表面側に載せら
れた物体の底面を確実に捉えることができる。
【００５５】
図７は、図６（ｂ）において、スクリーンの投影面全体が白くなるようにして物体の底面を撮影して得た撮像データを、所定の閾値で２値化した後に表示された「底面」５を示す図である。
【００５６】
図７に示すように、撮像データを所定の閾値で２値化すると、例えばロッドインテグレータを光源に採用したプロジェクタを用いることにより表示されるハイライト部の矩形の黒部分やその他のノイズをカットすることができるので、底面の輪郭と位置を正確に捉えることができる。
【００５７】
図８は、撮像データに、文字切り出し技術を適用した例を示す模式図である。図８に示すように、撮像データをＸ方向に射影したＸ方向濃度ヒストグラム５０とＹ方向に射影したＹ方向濃度ヒストグラム５１を作成し、物体が載置された底面の位置、輪郭および識別コードを捉えることができる。
【００５８】
図７及び図８では物体が静止した状態を示しているが、プロジェクタ１３から所定の時間ごとにスクリーン１１の投影面１１ａ全体あるいは所定領域を白くして、ＣＣＤカメラ１４で撮影し、各時間毎に得られた撮像データの差分を求めることや、物体の底面の各点の移動ベクトルを求めることなどの周知の方法を用いて、物体が移動する時の移動情報を得ることもできる。
【００５９】
ここで、移動する物体の底面を、一定の時間毎に投影面１１ａの所定領域を白くしてＣＣＤカメラ１４で撮影すると、残光などによりちらつきが目立つ場合がある。その場合には、投影面１１ａを白くする前に、通常の画像が表示された状態における撮像データによって物体の位置を検出し、物体が検出された後に投影面１１ａ全体を一定時間白くして撮影することや、物体が存在する領域のみを継続的に白くして撮影することによって対処することが可能である。
【００６０】
図９は、物体認識部２２の詳細を示す図である。図９に示すように物体認識部２２は、画像抽出部２１から、物体の配置位置、底面の輪郭および識別コードの情報を受け取り、例えばテンプレートマッチングを用いて物体の識別情報と物体の方向に関する情報を得るパターン照合部２２ａと、いろいろな方向を向いた識別コードの撮像データを記録し、各撮像データと識別コードにより表される識別情報とを対応させたパターン認識用辞書を用意し、パターン照合部２２ａにおけるパターンマッチングに用いるパターン認識用辞書２２ｂと、所定の時間間隔で所得された撮像データに基づいて物体の移動方向を演算する方向演算部２２ｃとを備えている。
【００６１】
ここで、パターン認識用辞書２２ｂは、スクリーンに載置された物体の向きを変化させて底面の識別コードを撮影した撮像から作成されているが、必ずしもこの方法に限定する必要はなく、物体の向きを変化させることなく撮影されたものにより作成してもよい。その場合、画像抽出部２１から受け取った物体の識別コードの情報を所定の角度ずつ回転させてパターンマッチングさせてもよい。また、パターン認識を高速で行う場合には、パターン認識用辞書２２ｂに、底面を回転させた場合の撮像データも記録することにより、識別コードと物体の方向を同時に認識することができる。なお、方向分解能をｎとすれば、パターン認識用辞書２２ｂに記録されるデータもｎ倍になるが、識別コードは画像の操作用であり、１００種類程度設ければよいのでパターンマッチングに要する時間に対する影響はほとんど認められない。さらに、例えば類似度が高い２つの識別コードの方向に関するデータは類似度に応じて内挿法を適用することにより方向に関する精度を向上させることができる。
【００６２】
すなわち、識別コード１の類似度をｒ１、方向をｄ１とし、識別コード２の類似度をｒ２、方向をｄ２とすれば、求める方向ｄは、
ｄ＝（ｒ１×ｄ１＋ｒ２×ｄ２）／（ｒ１＋ｒ２）で求めることができる。
【００６３】
パターン照合部２２ａは、パターン認識用辞書２２ｂを参照し、画像抽出部２１から受け取った物体の識別コードの情報から、類似度の高い上位２つの方向の情報を取得し、取得した２つの方向の情報を方向演算部２２ｃに渡す。
【００６４】
方向演算部２２ｃは、所定の時間間隔で所得された撮像データそれぞれから抽出された物体の配置位置の情報、および物体の方向の情報に基づいてそれぞれの時間に撮影された物体の底面の移動ベクトルを求め、その移動ベクトルから、それぞれの時間における移動方向および移動距離を求める。
【００６５】
ここでは、移動ベクトルを用いているが、これに限定されず、例えば差分画像を利用して求めることもできる。
【００６６】
画像抽出部２１により抽出された物体の位置情報、パターン照合部２２ａにより取得された識別コード、および方向演算部２２ｃにより求められた移動方向の情報は操作処理部２３に送られ、操作処理部２３は送られた情報を基に、プロジェクタ１３からスクリーン１１に投影される画像を形成する投影画像形成部２４にデータを送り、スクリーンに１１投影される画像を操作することができる。
【００６７】
スクリーン１１に投影される画像の操作は、スクリーン１１の表面側に設けられた書き込み画面１１ｂに水性ペンやマーカを用いて描画することによっても行うことができる。
【００６８】
本実施形態の画像表示装置に用いる物体の底面には予めパターンが登録された識別コードが付されているが、必ずしも識別コードである必要はない。また、底面には、必ずしも識別子を付す必要はなく、底面の形状などによって夫々の識別情報が認識できるようにしてもよい。
【００６９】
また、識別コードの撮影時にはスクリーンの投影面を白くしているが、投影される画像
の状態や、底面及び識別コードと画像とのコントラスト、それぞれからの反射光の波長域
とＣＣＤカメラの感度如何によっては、必ずしも投影面を白くする必要はない。
【００７０】
〔Ｓ４〕
図２に戻って説明する。図形認識部２６は、画像抽出部２１により２値化処理して取得されたビットマップ画像に基づき、手書き図形を解析する。なお、撮像データを投影画像形成部２４にも送出してもよい。投影画像形成部２４は、その情報により書き込み面１１ｂに書き込みがあったことを検出することができるので、所定の時間間隔で投影面１１ａを一様に白いような光画像で表示するようプロジェクタ１３を制御する。
【００７１】
このように書き込み面１１ｂの領域が一様に白くなるような光画像が投影されることにより、ＣＣＤカメラ１４により撮像された撮像データは、２値化されたときにユーザの書き込みをより鮮明に捉えることができる。
【００７２】
図１０はユーザが書き込んだ図形を２値化した撮像データの一例を示す。線図処理部２６は、ユーザにより手書きされた図形の外接方形１０１を描いてその外接方形１０１の短辺１０１ａの長さにより、図１０（ａ）に示すような波形と図１０（ｂ）に示すような直線とに区分することができる。さらに、外接方形１０１の面積と対角線の長さとの比により斜め線を区分することができる。
【００７３】
また、図形認識部２６は、２値化された撮像データから境界線追跡を行いユーザが書き込んだ図形を切り出してもよい。輪郭線追跡とは、画素の集まりである画像から，黒い画素を連続的に抽出して郭線の集まり(アウトライン)に変換する。例えば、画像内で白い画素を０-画素、そうでない画素を1-画素として画像内をラスタ走査し、
（ａ）境界上の未追跡の1-画素を探し、この画素を始点として記録する。
（ｂ）記録された画素を半時計回りに境界上の1-画素を探し、新1-画素をマーク済み(境界点)とする。
（ｃ）その新-1画素が始点に一致していなければ(b)に戻り、次の新しい境界の始点を探す。その新-1画素が始点に一致していれば(a)に戻り、別の1-画素を探し、この画素を始点として記録する。
【００７４】
これを画像データで繰り返すことにより連続した輪郭線を抽出できる。輪郭線が抽出できれば、輪郭線により形成される図形を各図形ごとに分解することができる。図形ごとの分解方法としては、二値化後細線化処理を施して輪郭線追跡を行う等、公知の技術を持って容易に実行可能である。
【００７５】
図形認識部２６は、切り出した図形について図形の種別を解析して取得する。図形の解析は、パターンマッチングにより解析してもよいし、切り出した図形を細線化して特徴点を抽出し、各特徴点を結んで得られる図形を書き込んだ図形を同定してもよい。図形認識部２６は、解析の結果、図１１に示すような種々の図形を認識する。図１１では、図形の種別の一例として、片矢印２０１、閉ループ２０２、三角２０３、四角２０４が示されている。
【００７６】
図形の形状分析の後、形状が線分であれば、その端点の座標、矢印であれば端点の始点と終点の区別、四角形であればその頂点の座標、円であれば中心座標と半径の値をメモリ上で管理する。
【００７７】
図１２は図形の種別を解析した結果の一例を示す。図１２では、図形の頂点又は中心座標をＸ軸とＹ軸における座標で表すと共に、そのサイズＬ（長さ）、Ｒ（半径）が記録されている。
【００７８】
また、形状の種類をあらわす記号、例えば単純な線分であれば０、片矢印であれば１、両矢印であれば2、四角形であれば３、円形であれば４というように予め定められた数値（文字列でもよい）が記憶されている。頂点1〜4の項目には線分であれば端点、四角形であれば頂点の、円形であれば中心を表す座標が格納されている。形状が片矢印であれば片矢印の始点の座標が常に頂点1つまり先頭の座標として格納される。サイズの欄には、線分であればその長さ、円（楕円等、閉ループであればよい）であれば半径の長さを表す数値データが格納されている。
【００７９】
図形情報として、切り出された各図形の外接矩形の左上、右下のアドレス情報を保持しておき、必要に応じて形状、端点座標等の情報を取得しても良い。
【００８０】
以上の方法により、ユーザの書き込みから書き込んだ座標や図形の種別を取得することができる。なお、図形の入力方法としては、画面上の位置を指示するためのペン型の装置と位置を検出するための装置を組み合わせたタブレットのような装置や、電子ペンによって描画点の動きを取得することによって行ってもよい。電子ペンであれば、画像処理なしに筆跡のストローク情報を取得できる。
【００８１】
〔Ｓ５〜６〕
図１３は、スクリーンの表面側に載置された物体と視認できる画像とを一例として示す図である。図１３（ａ）に示すように、スクリーンの表面側には、水の流れを模した多数の記号が記録された画像が表示されている。そして、スクリーンの表面側には、木杭または石を模した、左上方に載置されている物体４Ｂと、右下方に載置されている物体４Ａとがある。水の流れを模した多数の記号１００は、物体４Ａ、４Ｂをよけるような流れをあらわしている。そして、右下方に載置されている物体４Ａを人力で矢印Ｚ方向に移動させると、水の流れを模した多数の記号１００は、物体４Ａの移動にあわせて物体４Ａをよけるように流れの方向を変化させる。そして、物体４Ａの移動が図１３（ｂ）に示す位置で停止すると、水の流れを模した多数の記号１００は、停止した物体４Ａをよける流れに落ち着き、以後、物体４Ａ，４Ｂが移動しない限りその流れは変わらない。
【００８２】
本実施の形態は、物体の底面や書き込みを裏面から撮影して取得した識別情報、移動情報、図形に基づいて、裏面から投影されるスクリーンに表示される画像を操作する例に基づいて説明したが、これらは、必ずしも裏面から撮影する必要はない。また、識別情報、移動情報及び図形は撮影により取得しているが、必ずしも撮影によって取得されたものである必要はなく、物体から発する光や電磁波などを感知することにより取得することもできる。
【００８３】
さらに、本実施の形態では、物体の識別情報、移動情報及び図形が取得される場所と取得された情報に基づいて画像が操作される場所とが同じであるが、情報の取得場所とその情報によってコマンドが入力され、何らかのものが操作される場所とが離れていてもよい。すなわち、物体を動かすことにより取得された識別情報及び移動情報によってたとえば遠隔地にあるロボット、機械装置、情報機器などにネットワークなどを介してコマンドを送り、リモートコントロールすることもできる。
【００８４】
以上のようにして得られた図形情報と属性情報を組み合わせることで。本実施の形態の画像表示装置はコンピュータに対して操作を行い、特に図形情報に基づき物体のもつ属性情報を操作する。以下、実施例をあげて説明する。
【実施例１】
【００８５】
はじめに手書き図形と物体を関係づけて抽出するため、手書き図形と物体との距離の判定について説明する。図１４は、線分端点における所定の距離を説明するための図である。線分２１０の始点又は終点である線分端点と物体４の距離が所定の距離以下である場合の、所定の距離とは、図１４の線分２１０の端点（ｘ１、ｙ１）と物体４の中心座標（Ｘ１、Ｙ１）との距離ｌのことをいう。距離ｌが予め定めた所定画素数以内（例えば30画素以内）である場合、物体４が線分２１０の端点に存在すると判定とする。線分端点と物体中心の所定の距離は、物体底面の画像内におけるサイズや撮影カメラの解像度、スクリーンのサイズ等により変動するものでこの限りではない。
【００８６】
また、線分２１０の端点における物体４の判定基準は、図１５に示すように、物体底面の中心座標と線分端点座標の距離に加え、線分端点（ｘ１、ｙ１）と物体中心を結ぶ直線と線分２１０の方向との成す角度が、±９０度以内であるとしてもよい。なお、この角度に関しても、９０度は一例に過ぎず、操作上適切な値に適宜変更することが好適である。
【００８７】
本実施例では、電気回路のシミュレーションアプリケーションを例にして説明する。物体４１を１０Ωの抵抗、物体４２を１.５vの電源（電池）、物体４３を１０Fのコンデンサとし、物体４４以降は属性情報を定義しない。
【００８８】
図１６は、このように定義した物体の属性情報の一例を示す。図１６に示すように、１０Ω抵抗、１.５v電池、１０Fコンデンサというのが、物体４１〜４３にそれぞれ定義された属性情報である。物体４１〜４３の下部示した属性を示す記号は説明のためのものである。
【００８９】
また、属性情報記憶部には、図１６（ｂ）に示すような属性情報が記憶されている。物体ＩＤは物体の識別情報を、属性は物体に定義されている属性の内容を、属性数値は属性に大きさのパラメータがある場合はその数値を、定義許可は属性の定義（更新、初期化、変更など）が許可されているか否かをそれぞれ示す。
【００９０】
ユーザはまず、スクリーン１１上に物体４１〜４３を任意の位置に配置する。図１７は、スクリーン１１に配置された物体４１〜４３を示す。ＣＣＤカメラ１４がスクリーン１１を撮影すると、画像抽出部２１が物体４１〜４３の領域及び物体４１〜４３をそれぞれ識別する。
【００９１】
アプリケーション２４ａは、画像抽出部２１から送出された物体４１〜４３の識別情報に基づき、物体ＩＤとそれぞれの位置を認識し、抵抗、電池、コンデンサを表す記号の画像を投影画像生成部２４に表示させる。したがって、スクリーン１１には、図１７に示すように、物体４１ないし４３が配置されると共に、抵抗、電池、コンデンサを表す記号が表示される。
【００９２】
また、ユーザが図１８に示すように、マーカ等によって物体４１と物体４２と物体４３との間にそれぞれ線分２１０を描画すると、所定の時間間隔でＣＣＤカメラ１４がスクリーン１１を撮影し、図形認識部２６がそれぞれ線分２１０の端点の座標を認識する。
【００９３】
操作処理部２３は、図１３に示したように線分２１０の端点と物体の中心座標との距離を算出して、該距離が所定の画素数以下であった場合、物体が線分２１０の端点に存在すると判定し、物体４１と４２、４２と４３、及び、４３と４１が連結されたと認識する。すなわち、それぞれ属性情報を有する各物体が連結される。
【００９４】
物体は電気回路の素子に相当するので、これにより回路が構成されたことになる。物体が連結されたとの情報を受けて、アプリケーション２４ａは、抵抗や電源、コンデンサー等を表示する物体画像を生成する。また、アプリケーション２４ａは、所定の規則（電気法則等の物理法則）を参照して、抵抗や電源、コンデンサが連結された回路に基づき、算出可能な物理量、例えば各素子にかかる電圧等、を計算し計算結果を表示する画像を生成する。
【００９５】
図１９は、アプリケーション２４ａがスクリーン１１に表示した回路図の一例を示す。回路図は、スクリーン１１に併設されたサブスクリーンに表示してもよいし、スクリーン１１の一部に表示してもよい。図１９では、回路図の下方に抵抗とコンデンサに印可される電圧が計算して表示されている。図１９では物体の属性情報が電気回路に関するものであるので回路図が表示されるが、アプリケーション２４ａは物体の属性情報に応じて分子構造、ビルなどの建築物、電磁界の分布、ＤＮＡ構造、種々のシミュレーションを実行してもよいし、文字が手書きされた場合や音声入力された場合には、ＯＣＲや音声認識により認識された内容に応じて、種々のシミュレーションを実行してもよい。
【００９６】
なお、例えば、物体４１と４２のみを線分２１０で結んだ場合、電池と抵抗のみの回路として認識され抵抗にかかる電圧が計算される。このように、書き込んだ線分で物体同士の連結動作を行えるので本実施例では操作性が向上する
続いて、属性情報の定義について説明する。ユーザが物体４１〜４３を用いてスクリーン１１上への配置や手書き等を行っている際に、あらかじめ定義されている物体（たとえば電池の素子）が不足した場合は、属性の定義されていない物体を所望の属性に定義する。
【００９７】
図２０は、所望の物体の属性を他の物体に定義する手書き図形の一例を示す。属性の定義方法はどのようなものでもよいが、例えば、片矢印２０１を手書きし、片矢印２０１の始点部分に物体４２（電池）を配置し、属性定義をしていない物体４４を片矢印２０１の終点部分に配置することで行う。属性の定義が終了したら、操作処理部２３は、物体４４及び物体４２から吹き出しを作成し設定された属性情報を表示するよう投影画像生成部２４を操作することで、ユーザは属性の定義が行われたことを認識できる。
【００９８】
操作処理部２３は、片矢印２０１の始点にある物体４２の属性情報、ここでは１.５vの電池という属性情報を、片矢印２０１の終点部の物体４の属性情報として属性情報記憶部２５に定義する。以降、物体４４は１．５Ｖの電池としてアプリケーション２４ａが認識することになる。このように、手書きの片矢印で物体間の属性情報の複製ができるのでユーザによる操作性が向上する。
【００９９】
同様に、他の物体４５〜４７に属性を定義することができる。一例として、物体４５に電池、物体４６に抵抗、物体４７にコンデンサを定義した。したがって、物体４１〜４７の属性情報は次のようになる。
【０１００】
物体４１：抵抗
物体４２：電池
物体４３：コンデンサ
物体４４：電池
物体４５：電池
物体４６：抵抗
物体４７：コンデンサ
ところで、このように適当に属性情報を定義してしまうと、物体ＩＤと属性情報とが無作為に定義されユーザが扱うには適当でない。そこで、電池、コンデンサ、抵抗とそれぞれを連続した物体ＩＤで管理する方法について説明する。
【０１０１】
図２１は、物体の属性情報を入れ替えて再定義する手書き図形の一例を示す。属性情報の入れ替えは、両矢印２０２の端点部分に属性を入れ替えたい物体を配置する。したがって、図２１（ａ）のように物体４１と４２と物体を両矢印２０２の端点部分に配置した場合、操作処理部２３は、図２１（ｂ）のように物体４１が電池、物体４２は抵抗として定義して属性情報記憶部２５を更新する。
【０１０２】
同様の操作で、物体４２と物体４４、物体４３と物体４５、物体４５と物体４６とを入れ替えて定義することで、次のように、連続する物体ＩＤに同じ属性情報が定義されることとなる。手書きの両矢印で物体間の属性情報の交換ができるので、ユーザによる物体の管理作法が向上する。
物体４１、４２、４３：電池
物体４４、４５：抵抗
物体４６、４７：コンデンサ
なお、連続する物体ＩＤに同じ属性情報を定義するため複数回の操作を行うのではなく、一度の手書き図形で再定義してもよい。図２２は、連続する物体ＩＤに同じ属性情報を定義する（ソートする）手書き図形の一例を示す。ユーザは、再定義したい物体を配置しそれらを閉ループ２２０で囲むと共に、閉ループ内に左右と上下方向の両矢印２０２を手書きすることで、操作処理部２３は、物体ＩＤの昇順又は降順に同じ属性情報を順に再定義する。
【０１０３】
また、一度に同じ属性情報の物体を複数増やすこともできる。図２３は、一度に複数の物体に同じ属性情報を定義する手書き図形の一例を示す。ユーザが増やしたい属性情報をもつ物体と属性未定義の物体を複数配置し、これらを閉ループ２２０で囲むことで、煩雑な動作なく複数物体を同一属性で定義することができる。閉ループ内にある物体の属性情報をまとめて管理できるため、操作性が向上する。
【０１０４】
また、このようにユーザが物体の属性を定義できる場合、上記操作により再定義を繰り返すこともあるし、別のユーザが当該表示装置を使用する場合がある。したがって、物体の属性情報が現状どのように定義されているか知る方法が用意されていることが好適である。
【０１０５】
図２４は、物体の属性情報を調べるための手書き図形の一例を示す。ユーザは、属性情報を知りたい物体を配置し、物体から線分を描画する（設計図面の引き出し線のように）。このように描画された場合、操作処理部２３は、属性情報記憶部２５から物体１の属性情報を抽出し、例えば、線分の他端点付近に物体の属性情報を表示する画像を生成するよう投影画像生成部２４を操作する。なお、属性情報を調べるための線分か、連結するための線分かは、線分の両端に物体があるか否かにより判定できる。線分を書き込むことで物体の属性情報を閲覧できるため物体の管理、操作性が向上する。
【０１０６】
なお、手書き内容と物体の配置位置は一例に過ぎないので、物体の属性情報を調べる場合、物体を配置し該一の物体を囲む閉ループ２２０を描画してもよい。図２５は、物体を囲む閉ループ２２０を描画し物体の属性情報を調べる手書き図形の一例を示す。操作処理部２３は、１つの物体が閉ループ２２０で囲まれた場合、属性情報記憶部２５から物体１の属性情報を抽出し、例えば、線分の他端点付近に物体の属性情報を表示する画像を生成するよう投影画像生成部２４を操作する。閉ループを書き込むことで物体の属性情報を閲覧できるため物体の管理、操作性が向上する。
【０１０７】
また、種々の操作を繰り返し未定義の物体がなくなり、いずれかの物体を再び未定義状態に戻す場合について説明する。図２６は、物体を再び未定義状態に戻す手書き内容の一例を示す。例えば、物体を配置しこの物体を物体の半径ｒの2倍以下の半径Ｒの円で囲むように描画する（Ｒ≦２ｒ）。これにより、操作処理部２３はこの物体が他の物体から独立したもの、すなわち未定義であると認識し属性情報記憶部２５の属性情報を消去する。このように、円の大きさを手書き図形のパラメータに用いることで、同じ閉ループであっても別の操作内容として扱うことができる。
【０１０８】
なお、属性情報を消去することとした物体サイズの2倍以下の円は、３倍以下の円等、他の大きさの円でも良く、また、四角や三角で囲むこととしてもよい。
【０１０９】
また、例えば、上記のように閉ループ２２０で囲まれた物体は、その後属性情報を再定義禁止状態になるよう定義してもよい。これにより、例えば、消去したくない基本情報の属性情報を保持する物体を閉ループ２２０で囲っておくことで、基本情報の属性情報の消失を防止できる。再定義禁止とされた物体は、属性情報記憶部２５の定義許可が「不可」となる。閉ループで囲んだ物体を独立したものとして扱えるため操作性が向上する。
【０１１０】
本実施形態のように回路シミュレーションのアプリケーションの場合、それぞれの物体に抵抗、電池、コンデンサと定義したが、回路の場合それぞれの容量や電圧を変更する必要が生じる。容量や電圧を変更する場合、物体からの線分の長さによってその容量や電圧を定義する。図２７は、線分の長さにより容量や電圧を定義する手書き図形の一例を示す。例えば、操作処理部２３は、線分の長さが、１０画素〜２０画素は１０Ω、２０〜３０画素は20Ωというように属性情報記憶部２５の属性数値を定義する。線分の長さによって物体の属性情報の編集・定義ができるため環境に応じて柔軟な定義ができる。
【０１１１】
なお、線分の長さと定義される数値の関係は、投影面の解像度、カメラの解像度、操作性によって適宜適当な値を設定することが好適である。なお、属性を表示させるための線分か属性数値を変更するための線分かは、アプリケーション２４ａのモード設定を切り替えることや、物体のない方の端点に区別のための図形を設けることで可能となる。また、別の線種を使用してもよい。
ところで、上記のように物体間に線分が描画されると、操作処理部２３は物体を連結したものと認識する。例えば、物体４１，４２，４３を配置し、４１と４２、４２と４３、４３と４１の間に線分を描画した場合、操作処理部２３は、物体４１，４２，４３すなわち電池、抵抗、コンデンサが結線されたと認識する。
【０１１２】
電池の電源容量は1.5v一定又は変更可能であるが固定された属性数値として定義したが、物体の有する電源容量等の属性数値を、物体の位置情報や着脱に応じて任意の値に変更することもできる。位置情報とは、２次元上の位置や物体回転、移動速度や回転速度をいう。また、着脱とは、書き込み面１１ｂから物体をいったん離し再度配置することを言う。
【０１１３】
属性数値を変更する場合、例えば、物体の回転方向と角度の少なくとも一方により決定する。図２８は、属性数値を変更する手書き図形の一例を示す。アプリケーション２４ａは、物体４１，４２，４３の間の線分によりこれらが連結されたと認識する。その後、例えば、ユーザが操作して物体４２を反時計回りに回転すると、操作処理部２３は、次述のように物体の回転を検出するので、アプリケーション２４ａは電流が左回りに流れるものとして各素子の電圧値等を計算する。逆に時計回りに回転させると、回路を時計回りに電流が流れるものとして認識して、電圧値等を計算する。電流の正負を時計回り又は反時計回りにしたがって定義しておけば、電圧値の正負を定まり電流の向きも決定される。物体の回転方向や角度によって物体の属性情報の編集・定義できるのでより直感性が高くなり操作性が向上する。
【０１１４】
物体の回転に基づき操作を検出する方法について説明する。例えば、カメラのフレームレートを7.5fpsとした場合、線分描画終了後から2秒程度すなわち15枚の時系列に並んだ画像内で、物体底面の識別パターン画像が例えば90度以上回転している場合、これを回転していると認識する。
【０１１５】
15枚の画像中で、90度以上10度ごとに電圧値を少しずつ（例えば0.5Vずつ）上げると、線分描画と物体配置後の回転動作により、電流方向と電圧値を任意に設定することが出来る。この回転角度や方向を決定する時間や角度のステップはカメラのフレームレートやアプリケーション上での操作性を考慮し、適切な値を設定することでよりスムーズな操作が可能になる。
【０１１６】
回転方向や回転角度決定の方法は、回転の方向別に予め辞書に登録されたテンプレートとのマッチングにより、各画像内での方向を容易に同定できる。
【０１１７】
なお、図２８では物体間を線分で連結したが、複数の物体を閉ループで囲み、その後、物体の回転が検出された場合に、属性数値を変更してもよい。
【０１１８】
続いて、物体の着脱動作に基づき操作を検出する方法について図２９のフローチャート図に基づき説明する。図２９のフローチャート図では、コンピュータでいえばダブルクリックに相当する、所定時間内に物体が２回着脱されたか否かを判定して、予め定められた処理を行う。
【０１１９】
ユーザが物体を配置し線分を描画し各物体が連結された場合、アプリケーション２４ａは、回路図が組まれたことを認識する。アプリケーション２４ａは、この段階では各素子の電圧値等を計算せず待機状態にある。
【０１２０】
ユーザが物体を持ち上げた場合（Ｓ１１）、物体があった位置に物体の画像が検出されなくなる。物体が画像から検出されなくなると、タイマー１の作動を開始する（Ｓ１２）。操作処理部２３は、着脱回数を表すカウンタcountに０を設定する。
【０１２１】
カウンタcountに０が設定されると、アプリケーション２４ａは物体があった位置に同じ属性情報の物体が所定時間内（例えば1秒以内）に再び配置されるか否かを監視する（Ｓ１３）。物体があった位置は、ユーザが描画した線分の端点から所定の距離以内か否かで判断すればよい。
【０１２２】
同じ属性情報の物体が配置された場合、アプリケーション２４ａはcountを１つインクリメントし、countに１を設定する（Ｓ１４）。
【０１２３】
次いで、countが２か否かを判定する（Ｓ１５）。countが２の場合、次述のように着脱に応じて設定された処理を開始する（Ｓ１０）。
【０１２４】
countが２でない場合、タイマー２の作動を開始する（Ｓ１６）。タイマー２の作動のタイミングは例えば、物体が置かれた時である。なお、タイマー２が作動する場合は所定時間以降に物体が置かれるか又は物体が置かれない場合となる。物体が置かれない場合、タイマー１を監視して所定時間以上経過した場合にタイムアウトと判定し、図２６のフローチャート図を最初から繰り返す。
【０１２５】
次いで、アプリケーション２４ａは、所定時間内（例えば１秒以内）に配置された物体が取り去られるかどうかをタイマー２に基づき監視する（Ｓ１７）。
【０１２６】
所定時間内に物体が取り去られた場合、ステップＳ３に戻り、同じ属性情報の物体が配置されるかどうかを監視する（Ｓ１３）。所定時間内に物体が配置された場合はcountを１インクリメントする（Ｓ１４）。したがって、所定時間内に物体が２回、脱着された場合、countは2になる。
【０１２７】
count=2であれば（Ｓ１５）、所定の時間内に2度の着脱が行われたとして処理を開始する（Ｓ１０）。ステップＳ１０で行われる処理はどのように定義されていてもよいが、例えば、アプリケーション２４ａが各素子の電圧値等を計算する。
【０１２８】
以上のように、マウスのダブルクリックで決定するといった感覚で、物体の着脱に基づき、ユーザの操作の決定をすることが出来る。なお、設定した所定時間は、カメラのフレームレートやアプリケーション操作性により変動するものであり、適宜適切に設定するのが好ましい。また着脱回数に関しても同様であり、回数の違いにより処理を変えるといったことも可能である。物体の着脱回数によって、図形の種別による操作内容を変更できるため、より操作性が向上する。
【０１２９】
なお、図２９のフローチャート図では物体間を線分で連結する場合を説明したが、複数の物体を閉ループで囲み、物体の着脱が検出された場合に、ユーザの操作の決定してもよい。
【０１３０】
これまで、ユーザによる描画が書き込み面１１ｂに描画された状態でユーザの操作を検出する場合について説明したが、属性情報を未定義の物体に定義したり、属性情報を複製や交換した場合、矢印等の描画図形を消去しても、属性情報の再定義が行われた物体は、その定義情報が保持することが好ましく、また、一般的である。したがって、本実施例では、矢印等の描画を消去しても物体の属性情報は保持される。なお、ユーザが替わった場合や、アプリケーション２４ａが別のアプリケーションを再読込したような場合、操作処理部２３が属性情報記憶部２５の属性情報を消去すれば、ユーザを煩わせることなく、同じ物体を複数のユーザやアプリケーションで利用可能となる。
【０１３１】
また、描画だけでなく物体についても同様に、物体をスクリーン１１から取り除いた場合、定義された属性情報や物体の属性情報に応じて検出された回路構成等は保持される。したがって、例えば、物体を移動させた場合でも、定義された属性情報や物体の属性情報に応じて検出された回路構成等は保持される。なお、物体の移動とは、例えば、線分の端点領域もしくは閉ループの領域内にＡ〜Ｂ秒間に再度検出される場合をいい、取り除きとはＢ秒以上経過しても物体が検出されない場合をいう。
【０１３２】
定義された属性情報や物体の属性情報に応じて検出された回路構成等を保持するか否かは設計事項であるので、 描画を消去したり、物体を取り除き又は移動した場合、定義された属性情報や物体の属性情報に応じて検出された回路構成等を消去することとしてもよい。
【０１３３】
以上のように、物体及びユーザの描画した図形を検出し、図形に基づいて物体の属性情報の編集・定義を行うことによって、ユーザの直感を活かした、より柔軟なヒューマンコンピュータインタラクションを実現することが出来る。
【実施例２】
【０１３４】
本実施例では、例えば都市におけるビル風をシミュレートする画像表示装置について説明する。スクリーン１１に風を表す物体を配置し風の向きを示す図形を描画をすれば、アプリケーション２４ａは、スクリーン１１に風のシミュレーションが行われていると認識できる。
【０１３５】
図３０は、風のシミュレーションにおいてスクリーン１１に配置される物体と描画される図形の一例を示す。図３０（ａ）は、ユーザが物体５１を置き物体５１から所定範囲内から片矢印２０１を描画した図を示す。
【０１３６】
物体５１の属性情報は、属性情報記憶部２５に定義されており、アプリケーション２４ａは、例えば、スクリーン上に物体５１を検出されると空気の流れを表す物体が置かれたと認識する。また、操作処理部２３は、物体５１から所定距離以内に片矢印２０１の図形を検出するので、アプリケーション２４ａは片矢印２０１の方向に空気が流れていると認識する。アプリケーション２４ａは、空気の流れを示す画像を生成し投影画像形成部２４に送出し、プロジェクターから空気の流れを示す画像がスクリーン１１に投影される。図３０（ｂ）は、物体５１を及び描画に基づき投影された空気の流れを示す画像の一例を示す。
【０１３７】
空気の流れの強さは、片矢印２０１の長さにより調整できる。図３０（ｃ）のように、片矢印２０１が長い場合、アプリケーション２４ａは長さに応じて強い流れの空気を示す画像を生成する。アプリケーション２４ａは、図３０（ｄ）のように、風の流線を長くしたり線を太くしてスクリーン１１に投影する。
【０１３８】
なお、低気圧や高気圧、台風、梅雨前線等の属性情報を有する物体を定義し、これらをスクリーン１１に配置して、気象状態をシミュレーションしてもよい。
【０１３９】
本実施例によれば、物体の配置と簡単な描画だけで、風の向き及び強さを定義して風のシミュレーションが可能となる。また、風の向きや強さを片矢印の向きと長さを変えるだけで簡単に再定義できるため、環境や使用場面に応じた属性情報の定義ができる。
【実施例３】
【０１４０】
これまでは、スクリーン１１の場所を指定せずに物体が配置された場合、予め定めた属性情報や図形の定義に応じてアプリケーション２４ａが操作を認識することとしていた。本実施例では、ユーザが定める閉ループにおいて物体の属性情報が有効になる画像表示装置について説明する。
〔閉ループを先に描画した場合〕
図３１（ａ）は、ユーザが描画した閉ループを示す。本実施例では、当該閉ループでのみ、物体に定義された属性情報が有効になる。図３１（ｂ）に示すように、ユーザが物体４１〜４４を閉ループ内に配置すると、物体４１〜４４に定義されている属性情報に基づきアプリケーション２４ａが所定のシミュレーション等を開始する。
【０１４１】
操作処理部２３は、閉ループの図形情報に基づき閉ループの図形画像を生成するよう投影画像形成部２４を操作する。したがって、投影面１１ａに手書きした閉ループに重畳するように閉ループの図形画像が投影される。
【０１４２】
また、物体に定義された属性情報を有効にしたのは当該閉ループであるので、閉ループを消去すると、物体に定義された属性情報も無効となる。また、閉ループの図形画像も消去される。
【０１４３】
本実施例によれば、ユーザが所望の範囲を設定し、物体又は図形の描画による操作が有効な領域を決定することが可能になる。したがって、例えば、物体又は図形による操作が有効な領域をソフトウェアの設定画面（ウインドウやダイアログの範囲）やマウスやキーボードから設定する必要がない。また、スクリーン１１を閉ループで分割して複数のシミュレーションを行うことができる。
〔物体を先に配置する場合〕
図３１では先に閉ループを描画してから物体を閉ループ内に配置することとしたが、先に物体を配置してから閉ループを描画した場合も閉ループ内に配置された物体又は描画による操作が有効な領域を決定できる。
【０１４４】
図３２（ａ）は、ユーザが配置した複数の物体を、図３２（ｂ）は物体を囲んで描画した閉ループを、それぞれ示す。物体４１〜４３を閉ループで囲むことで、当該閉ループでのみ、物体に定義された属性情報が有効になる。ユーザが物体４１〜４３を閉ループで囲むと、物体４１〜４３に定義されている属性情報に基づきアプリケーション２４ａが所定のシミュレーション等を開始する。
【０１４５】
また、属性情報を有効にしたのは物体のある位置と当該閉ループであるので、図３２（ｃ）のように、物体を移動すると属性情報が有効な範囲も変更する。この場合、操作処理部２３は記憶されている閉ループの図形情報に基づき、移動された物体を囲む閉ループの図形画像を新たに生成するよう投影画像形成部２４を操作する。また、手書きした閉ループが消去されても閉ループの図形情報は記憶されているので、生成された図形画像は消去されない。
【０１４６】
また、物体のある範囲が属性情報の有効範囲なので、閉ループが消去されても、物体に定義された属性情報は無効とならない。
〔物体を先に配置する場合と閉ループを先に描画した場合とで作用が異なる場合〕
また、先に図形を描画してから物体を配置する場合と、先に物体を配置してから図形を描画した場合とで、アプリケーション２４ａが行う作動内容を変えてもよい。
【０１４７】
例えば、図形描画が先でその後物体が配置された場合、アプリケーション２４ａは動作Ａを行い、物体配置が先でその後図形描画が行われた場合、アプリケーション２４ａは動作Ｂを行うというように、作動内容を変更する。
【０１４８】
閉ループを描画してから閉ループ内に物体を複数配置した場合、閉ループ内のみで物体の属性情報が有効になる（動作A）。そして、ある属性情報をもつ物体と属性情報が未定義の複数物体を囲むように閉ループを描画した場合、閉ループ内の複数物体は同じ属性情報をもつものとして属性情報記憶部２５に定義される（動作B）。したがって、閉ループ内に複数の物体があるという状態は同じであっても、物体が先か閉ループが先かに応じて、操作を区別することができる。
【実施例４】
【０１４９】
実施例１〜３においては取得した図形の種別や大きさに基づき物体の属性情報の定義や再定義、属性数値の定義を行う方法について述べた。本実施例では、物体の属性情報に基づき図形を表示する図形画像を生成する画像表示装置について説明する。
【０１５０】
図３３は、本実施例における属性情報記憶部２５の一例を示す。本実施例では、属性情報が図形画像の内容を指定する情報として、実線、点線、塗りつぶし、消去等が記憶されている。したがって、配置される物体に応じて図形の線種を操作したり、消去したりすることができる。
【０１５１】
実線の属性情報を有する物体６１と、点線の属性情報を有する物体６２とがあるものとする。ユーザが書き込み面１１ｂに任意の形状の線分を描画し、線分の端点部分に物体６１を配置する。図３４（ａ）は書き込み面１１ｂに描画された任意の形状の線分をしめす。図形認識部２２は、ＣＣＤカメラ１４で撮影した撮像データから線分２１０の図形を抽出する。
【０１５２】
ユーザが、図３４（ｂ）に示すように、線分２１０の端点部分に物体６１を配置すると、物体認識部２２は物体６１の識別情報を取得し、次いで操作処理部２３が物体６１の属性情報（実線）を属性情報記憶部２５から抽出する。操作処理部２３は、ユーザが手書きした線分に例えば重畳するように実線２２５の図形画像を描画するよう投影画像生成部２４を操作する。
【０１５３】
図３４（ｃ）は、投影画像形成部２４からプロジェクタ−１３に表示された実線（図形画像）２２５の画像の一例を示す。なお、図３４（ｃ）ではユーザが手書きした線分を省略した。
【０１５４】
また、例えば、ユーザが手書きした線分又は投影画像生成部２４が投影した線分の端点部分に物体６２を配置した場合、操作処理部２３は物体６２の属性情報（実線）を属性情報記憶部２５から抽出し、図３４（ｄ）に示すように線分を点線２３０の図形画像として表示する。
【０１５５】
同様の図形描画をコンピュータ上で行う場合、線分２１０を描き、メニューやコマンドボタンから線種を選択し変更するという操作が必要となるため、この操作を行うコマンドの場所やメニューを探すことが必要となり、マウスによる操作にしてもタッチパネル上で操作する場合においてもその煩雑さは否めない。
【０１５６】
これに対し本実施例のように所定の属性情報が定義された物体の配置のみによって同様の操作が可能である場合、ユーザは直感的に操作が行えるため、作業性が向上する。
【０１５７】
また、本実施例では線分の描画だけでなく閉ループを手書きし物体を閉ループ内に配置した場合にも、予め定義された物体の属性情報に基づき、描いた閉ループの線種の変更やや塗りつぶしといった図形を生成して表示できる。
【０１５８】
なお、物体の属性情報を手書きした図形に反映させた場合、物体を取り除くことで、投影された線分の表示を終了してもよいし、投影を継続してもよい。また、物体を移動させた場合、属性情報（例えば、線種）は保持してもよいし、消去してもよい。
【０１５９】
続いて、物体の属性情報に応じて投影された画像を、取り消す場合について説明する。物体６３が塗りつぶしの属性情報を有するものとし、物体６３を手書きした閉ループ内に配置する。
【０１６０】
図３５（ａ）は、閉ループ内に配置した物体６３を示す。図形認識部２６は閉ループの図形を認識し、物体認識部２２は物体６３の識別情報を取得する。操作処理部２３は物体６３の属性情報（塗りつぶし）を抽出すると共に、図３５（ｂ）に示すように閉ループの図形画像を単色に塗りつぶすよう投影画像生成部２４を操作する。
【０１６１】
物体６３のように塗りつぶしの属性情報を有する物体の場合、回転に応じた属性が定義されることが好適である。例えば、所定時間内（例えば5フレーム）の回転角度が30度以内の場合、物体６３を回転させることで塗りつぶし色が変更できる。所定時間内の回転角度が30度以上の場合、塗りつぶす色を選択したものとして、例えば直前の表示色で閉ループを塗りつぶす。
【０１６２】
所定時間が経過しても３０度以上の回転が検出されない場合、色を変えて塗りつぶしを行わない。また、物体６３を取り除いた場合、物体の属性情報により塗りつぶす前の状態、すなわち描画した状態に戻ることになる。
【０１６３】
なお、回転方向や角度情報の検出は、実施例1に記載したものと同様であり、物体の、この回転方向や角度によって属性の変更、決定、取消が可能になり直感的な操作方法が実現できる。
【０１６４】
以上のような方法を用いることで塗りつぶしの操作性が向上する。同様のことをソフトウェアで行うと、赤い塗りつぶしがなされた後、マウス操作によって取消コマンド、決定コマンドを選択するといった操作を行う必要があり、操作の方法を知っていないと塗りつぶしの取り消しを行えない。本実施例では、塗りつぶしを物体６３を配置して行い、また、その取り消しを物体を回転させるだけで行うことができるので、塗りつぶしの取りけしや、色の変更を簡単に行うことができる。
【０１６５】
また、塗りつぶしの色の設定や取り消しを図２９のフローチャート図で説明したように所定時間の着脱で行ってもよい。例えば、着脱が１回で色を切りかえ、着脱が２回で塗りつぶしを取り消す等の操作が可能となる。
【０１６６】
なお、塗りつぶしの取り消しは取消用の物体を用いてもできる。この場合、塗りつぶし取り消しの属性情報を有する物体を選択して配置する。
【０１６７】
描画した図形を消去すると投影画像生成部２４による表示も消去してもよいし、投影画像生成部２４により一度描画したものを消すためには消去用の物体や別の操作を要することとしてもよい。図形情報の消去に対応して投影画像生成部２４が行う処理を適切に設定することで、高い操作性を実現することが出来る。
【０１６８】
以上のように本実施の形態の画像表示装置では、物体の属性情報を定義できるので、柔軟に操作ができる画像表示装置を提供できる。また、物体と共に手書き図形を書き込むことで、電気回路や風向きなどのシミュレーションを簡単に行うことができる。物体の識別だけでなく、回転や移動、着脱などを判定することで、ユーザは柔軟で直感的に操作を行うことができる。また、物体は、手書き図形の線種や色、塗りつぶしなどの属性を変更できるので、直感的な操作で画像を編集できる。
【０１６９】
〔第２の実施形態〕
第１の実施形態で用いた物体の底面に設けられた識別コードは、物体の回転を考慮しても一意なパターンを形成する形状であった。しかしながら、このような識別コードでは、（ｉ）物体の回転角度に応じてパターンが変化するため回転角度毎に識別コードの形状を辞書に登録しておく必要があること、
（ｉｉ）物体の回転を考慮しても一意なパターンを識別コードとする必要があるため登録可能な識別コードの数が限られてしまうこと、
（ｉｉｉ）物体の認識には物体底面の全体を走査する必要があること、といった不都合がある。
【０１７０】
そこで、第２の実施形態では、物体の識別コードとして円形状の１次元バーコード（以下、サーキュラバーコードという）を設け、物体の識別情報や移動に基づきコマンドの入力が可能な画像表示装置について説明する。なお、画像表示装置の概略図は図１と同様であるので説明は省略する。
【実施例５】
【０１７１】
図３６は、本実施例における画像表示装置の機能図を示す。図３６において図２と同一構成部分には同一の符号を付しその説明は省略する。本実施例の画像表示装置２は、ＣＣＤカメラ１４が物体属性情報取得部３３に接続され、物体属性情報取得部３３がアプリケーション２４ａ及び投影画像形成部２４に接続される。
【０１７２】
物体属性情報取得部３３は、物体領域抽出部３０、極座標テーブル３２及び物体認識部２２を有し、アプリケーション２４ａは操作処理部２３及び操作対応テーブル３１を有する。
【０１７３】
物体領域抽出部３０は、ＣＣＤカメラ１４により撮影された画像データから物体の識別コードを抽出する。物体認識部２２は、物体領域抽出部３０が抽出した識別コード（パターン）を解析して、ＩＤコード、白色部の位置を認識する。なお、操作対応テーブル３１は、図２の属性情報記憶部２６に相当するものであり、後述するようにＩＤコード等に対応づけて操作処理部２３の操作内容が記録されている。また、図３６には、画像抽出部２１及び図形認識部２６がないが、本実施の形態では画像抽出部２１の機能は物体領域抽出部３０が有する。また、図形認識部２６は簡単のため省略したにすぎず、本実施の形態においても図形認識部２６を物体属性情報取得部３３に適用して、手書き図形を認識する。
【０１７４】
本実施例の識別コードについて説明する。図３７は物体に貼付される識別コード（サーキュラバーコード）の一例を示す。サーキュラバーコード３０１は、物体の所定面に貼付、書き込み若しくは彫り込まれ、また、電子ペーパ等により形成される。
【０１７５】
サーキュラバーコード３０１は、所定点を中心に１次元のバーコードを円形に配置したバーコードである。１次元バーコードは縞模様状の線の太さ及びその間隔によって数値等を表すバーコードであるが、サーキュラバーコード３０１のバーは円形に配置されているため、中心から半径方向の距離に応じて線及び間隔が太くなる。すなわち、バーコードの各線はくさび状の形状となる。
【０１７６】
サーキュラバーコード３０１は、バーコードの開始点３０１ｓと終了点３０１ｅの判別を容易にするため、また、物体の方向識別のため、白の部分を長く取ってあることが特徴である。
【０１７７】
サーキュラバーコード３０１は、書き込み面１１ｂに書き込むペンよりも濃度の高い色で構成することにより、ペンで書き込まれた書き込み面１１ｂに物体があってもその濃度により物体位置を識別することが可能となる。なお、影やペンと異なる識別可能な色を用いてもよい。
【０１７８】
物体領域抽出部３０の処理手順について図３８のフローチャート図に基づき説明する。
Ｓ１０１
ＣＣＤカメラ１４に撮影された画像データは順次、物体領域抽出部３０に送出される。物体領域抽出部３０は、取得された撮像データの画素のRGB情報を１画素ずつ取得し、各画素の画素値（例えば、ＲＧＢであれば各色０〜２５５の値）を所定の閾値で判別し、画素値がある閾値以下の画素を1-画素、それ以上のものを0-画素とする。
【０１７９】
図３９は、物体が撮影された画像データを所定の閾値に基づき1-画素、０-画素に置き換えた画像データの一例を示す。
Ｓ１０２
物体領域抽出部３０は、画像データの各フレームごとにラスタ走査し、x軸方向の射影をとる。この処理により、x軸方向に1と0の画素の列ができる。図３９に示すように、ｘ軸において物体がある領域は１-画素が並ぶようになる。
Ｓ１０３
ｘ軸方向に連続した1-画素の並びが、所定の値Lmin画素以上存在するｘ座標の領域を抽出する。そして、当該領域内において（複数あればすべて）、ｙ軸方向に射影をとる。図３９に示すように、ｙ軸において物体がある領域は１-画素が並ぶようになる。
【０１８０】
所定の値Lminは、サーキュラバーコード３０１のおよその直径である。撮影された画像データ中のサーキュラバーコード３０１のサイズは既知であるので、Ｌｍｉｎは物体底面のサーキュラバーコード３０１の大きさとＣＣＤカメラ１４の画角に基づき決定される。すなわち、1-画素の並びがLminより小さい場合、抽出対象であるサーキュラバーコード３０１ではないと判定できるので、Lmin画素以上の幅のものを対象とする。
【０１８１】
Ｓ１０４
次に、ｙ軸方向の0-画素と1-画素の並びにおいて、連続した1-画素の並びがLmin画素以上Lmax画素以下である個所の中心座標を取る。ここで取得された中心座標のｙ座標が、物体底面の中心座標のｙ座標posｙとなる。なお、Lmaxは、所定の誤差を考慮した場合のサーキュラバーコード３０１の1つあたりのサイズの最大値である。
【０１８２】
Ｓ１０５
y方向の射影における1-画素の連続した並びがLmin画素以上Lmax画素以下である領域で、再びx方向への射影をとり、連続した1-画素の並びがLmin画素以上Lmax画素以下である領域の中心座標を取る。これにより、サーキュラバーコード３０１のx座標posxが取得できる。
【０１８３】
Ｓ１０６
得られたposx,posyを中心とする半径rの円の外接矩形を切り出す。半径ｒは既知であるサーキュラバーコード３０１の半径の大きさであるので、これにより図３７のようなサーキュラバーコード３０１の画像が得られる 。
【０１８４】
続いて、物体認識部２２の処理手順について図４０のフローチャート図に基づき説明する。物体領域抽出部３０により抽出されたサーキュラバーコード３０１の画像は物体抽出部２２に送られる。物体認識部２２は、サーキュラバーコード３０１のパターンを解析して、ＩＤコード、白色部の位置（方向）を認識する。
Ｓ２０１
物体認識部２２は、物体領域抽出部３０にて抽出されたサーキュラバーコード３０１の中心（posx,posy）から任意のｎドットのある点を開始点とし、開始点から定められた円周方向に円状に順に画素値を取得する。
【０１８５】
図４１は物体認識部２２が円周方向に画素を走査して処理するパターン解析を説明するための図である。図４１（ａ）に示すように、物体認識部２２は、サーキュラバーコード３０１の中心（posx,posy）からｎドットのある点を開始点として時計回りに画素を走査している。
【０１８６】
円周方向の画素の操作は、中心（posx,posy）及び開始点に基づき順次画素を抽出してもよいが、図４２に示すように、極座標テーブルを参照すればＣＰＵの演算量が低減できる。図４２の極座標テーブルは、中心からのドット数ｎに応じて（半径がｎドットの場合の）、円周上の位置の座標がテーブルとして登録されている。
【０１８７】
物体認識部２２は、円周上の点の画素値を所定の閾値に基づき判別し、閾値以下の画素を1-画素、それより大の画素を0-画素と変換する。これにより、円周を1回りすると1本の1-画素と0-画素の並びができることになる。図４１（ｂ）は、１-画素を黒、０-画素を白で示している。図４１（ｂ）のような画素の並びをその長さに応じて１、０のランレングスに変換する。
【０１８８】
Ｓ２０２
図４１（ｃ）に示すように、1-画素と0-画素の並びの列は、方向識別のための0-画素の連続領域（方向識別部）とＩＤコード識別のための0-画素と1-画素からなるバーコード部とに分かれる。物体認識部２２は、ランレングス化された画素の並びから、0-画素が最大に連続する領域の位置を検出する。すなわち、0-画素の連続領域（方向識別部）の距離及びその位置を測定することでこのサーキュラバーコード３０１の白色部の位置（以下、単に方向という）がわかる。
【０１８９】
ランレングス化の際に出来る0-画素の列、1-画素の列の長さを計測し、最も長い白のランを探索する。半径ｎドットの円の座標列のすべてのスキャンが終了した時点で、1-画素の列の長さ、0-画素の列の長さも数え終わっている。
【０１９０】
Ｓ２０３
ついで、物体認識部２２は、最も長い０-画素の列が最後の画素列であるかどうかを判別する。
【０１９１】
Ｓ２０４
最後の画素列でない場合、最長の０-画素の列の直後の１-画素が開始点となる。
【０１９２】
Ｓ２０５
最も長い０-画素の列が当該画素列の最後尾であった場合、当該画素列の先頭の画素値が０-画素か否かを調べる。
【０１９３】
Ｓ２０６
当該画素列の先頭の画素値が０-画素である場合、直後の１-画素が開始点となる。
【０１９４】
Ｓ２０７
当該画素列の先頭の画素値が０-画素でない場合、現在の点が開始点となる。
【０１９５】
Ｓ２０８
ついで、物体認識部２２は、バーコード部のランレングスに基づきＩＤコードを検出する。
【０１９６】
図４０の処理手順では、画素を一旦ランレングスに変換してから、方向識別部の探索、バーコード部の解析、という3段階の手順となる。しかしながら、実際はバーコード部における0-画素の最大の連続数（これをZmaxとする）は既知であるので、ランレングス化と同時に方向、ＩＤコードを取得することが可能である。
【０１９７】
図４３は、物体認識部２２の処理手順の別形態を示すフローチャート図である。
【０１９８】
Ｓ３０１
物体領域抽出部３０により抽出されたサーキュラバーコード３０１の画像が図３７のようであった場合、鉛直方向の点から走査をスタートし、0-画素が最大に連続する領域を探索する。
【０１９９】
Ｓ３０２
物体認識部２２は、順に円周上の画素の値を取得し、0-画素がZmax＋1に達した時点で方向識別部であることがわかる。
【０２００】
Ｓ３０３
物体認識部２２は、次に現れる1-画素がバーコード部の開始点と判定する。またこのバーコード部の開始点の1つ手前の画素が方向判別部の最終点であると判明するので、この時点でサーキュラバーコード３０１の方向が識別できる。
【０２０１】
Ｓ３０４
物体認識部２２は、サーキュラバーコード３０１を１周走査し、バーコード部のランレングスに基づきＩＤコードを検出する。
【０２０２】
バーコード部の開始点から順番に1-画素、0-画素の並びを取得すれば、この１、０の並び自体がＩＤコードを表しているので、1度の走査でＩＤコード及び方向を取得できる。
【０２０３】
このように、本実施の形態では、物体認識部２２はサーキュラバーコード３０１を検知するためのパターンマッチング等のための辞書を必要としない。また、画像データの各フレーム毎に方向を取得することで物体の回転を検出することができる。
【０２０４】
以上の処理によって得られた、物体の物体情報（位置、方向、ＩＤコード）はアプリケーション２４ａの操作処理部２３に送られる。
【０２０５】
続いて、アプリケーション２４ａについて説明する。アプリケーション２４ａの操作処理部２３は、物体情報に基づきプロジェクタ１３から投影する画像を制御する。操作処理部２３の機能は、実施の形態１と同様である。
【０２０６】
実施の形態１では、操作処理部２３が物体の属性情報に基づき、投影画像制御部２４が投影する画像を操作し、また、アプリケーション２４ａが属性情報に応じた処理を行いその処理結果が投影する画像に反映された。
【０２０７】
本実施の形態においても同様に、アプリケーション２４ａは走査処理部２３により、物体情報に応じて画像を操作し、また物体情報に応じた処理を行いその処理結果を画像に反映させる。
【０２０８】
アプリケーション２４ａが有する操作対応テーブル３１には、物体情報に対応づけて画像操作の内容が記録されている。図４４は、操作対応テーブルの一例を示す。操作対応テーブルには、ＩＤコード、位置、方向に対応づけて、画像の操作内容が記録されている。
【０２０９】
例えば、ＩＤコードが１の物体が（Ｐｏｓｘ１、Ｐｏｓｙ１）に方向ｄｉｒ１を向いて載置された場合、操作処理部２３は（Ｐｏｓｘ１、Ｐｏｓｙ１）にｄｉｒ１の方向の画像１を描画する。同様にして、ＩＤコードが２の物体が（Ｐｏｓｘ２、Ｐｏｓｙ２）に方向ｄｉｒ２を向いて載置された場合、操作処理部２３はｄｉｒ２の方向の画像２を３秒間だけ描画する。また、ＩＤコードが３の物体が（Ｐｏｓｘ３、Ｐｏｓｙ３）に方向ｄｉｒ３を向いて載置された場合、操作処理部２３は（Ｐｏｓｘ３、Ｐｏｓｙ３）の位置に画像３を点滅させる。画像１〜３は、予め登録されているかユーザが指定して表示できる。
【０２１０】
なお、図３６の例では、アプリケーション２４ａが物体情報と操作処理を対応づける操作対応テーブル３１を保持しているが、操作対応テーブル３１は物体属性情報取得部３３が保持していてもよい。図４５は、物体属性情報取得部３３が操作対応テーブル３１を保持する場合の画像表示装置の機能図を示す。操作対応テーブル３１にはアプリケーションと物体のＩＤコードが対応づけて登録されており、物体認識部２２は、物体認識後、操作対応テーブル３１を参照し、現在開かれているアプリケーションの操作対応テーブルのみをオープンし、アプリケーション２４ａに渡す。
【０２１１】
本実施の形態では、物体に貼付等する識別コードをサーキュラバーコード３０１により構成するだけであるので、第１の実施形態で説明した画像操作と同様な操作を行うことができる。すなわち、サーキュラバーコード３０１によるＩＤコードに電池、抵抗、コンデンサ等の属性を対応づけてもよい。この場合、サーキュラバーコード３０１を有する物体を線分で結べば回路図が操作処理部により回路図が表示される。また、物体の片方向矢印で結べば属性を他の物体の属性をコピーできる。また、２つの物体を両方向矢印で結べば双方の物体の属性を入れ替えることができる。また、複数の物体をループで囲めば、連続するＩＤコードの物体に同じ属性を定義でき、また、属性が未定義の物体には属性を定義できる。また、物体から線分を引いたりループで囲めば物体情報を表示したり、属性を未定義に初期化できる。また、物体から引いた線分の長さや物体を回転させることで、属性の数値を定義できる。また、物体を所定の時間内に置いたり取り除くことで、アプリケーション２４ａに所定の処理を指示するトリガーとすることができる。また、ユーザが書き込み面１１ｂに書いた線分を物体に基づき制御して描画することができる。
【０２１２】
本実施の形態によれば、物体の識別コードとしてサーキュラバーコードを使用して、 中心から任意の半径の円周上を走査しランレングス化することによってバーコードを認識し、その数字(ＩＤコード)を取得することができる。バーコードは識別数が多いので、種々の物体情報を登録できる（例えば、数万）。また、方向識別部があるので、物体の向きも容易に判別できる。また、バーコード部は単なる2進数を表しているため、適宜ｎ進数に変換すれば、用途に応じたＩＤコードとして利用できる。サーキュラバーコードは中心から任意の半径の円周上を走査すればよいので、物体の底面全面を認識用の図として使用する必要がない。また、本実施の形態ではＣＣＤカメラ１４の解像度はバーコード部が識別可能な程度であればよく、識別する物体を増やすためにＣＣＤカメラ１４の解像度を必要以上に上げ、パターンマッチング用のパターン数が増大することもない。また、本実施の形態では、ＣＣＤカメラ１４の解像度を上げれば識別可能なバーの幅を細くできるので、登録可能な物体情報の数を増大させることができる。
【実施例６】
【０２１３】
画像表示装置は識別コードにより物体を識別するが、ＴＵＩの場合ユーザもその物体がどのような情報を有するのか認識する必要がある。ユーザは例えば、文字等により記述された物体の情報（例えば、ビルの形等）を認識することができるが、より直感的に認識するために意匠的に物体を表現することが好ましい。
【０２１４】
すなわち、物体の識別コードに基づき表示する画像を操作する場合、物体の示す情報が変わったり、TUIを利用するアプリケーションが変わった場合、その目的に応じて物体の形状を作成しなければならない。
【０２１５】
この点、図４６のように、画像を投影面１１ａの前方から投影するフロントタイプの場合、物体に対して、その物体の表す情報（図形、文字等）を投影することで、物体の形状を作り変えずとも同じ物体で種々の形状（外観）とすることができる。
【０２１６】
しかしながら、フロント投影では、ユーザが物体を操作する際には、投影光をさえぎってしまい視認性を落とすという問題がある。このような点に鑑みると、背面投影において、汎用の物体を用いてユーザが物体を識別可能にすることでより操作性・視認性が向上する。
【０２１７】
まず、本実施例では、側面がミラー状の反射面からなる円筒物体を物体として用いる。なお、機能図は図２又は図３６若しくは図４５のいずれを用いてもよい。
【０２１８】
図４７は、ユーザの視線と書き込み面１１ａに載置された円筒物体との概略の関係を示す図である。
【０２１９】
円筒物体４０１は側面がミラーのため、周囲の風景が側面に映し出されることになる。ユーザが画像表示装置を使う際、一般的には30〜60°程度の角度で円筒物体を見ることになる。この際、円筒物体の側面のミラー面には円筒物体の載置されている書き込み面１１ａに投影された画像が映し出されて見える。
【０２２０】
ただし、円筒形状の側面に映し出された画像は、平面→曲面への変換がされ、ゆがんだ画像となる。本実施例では、円筒形状の側面に映し出された画像を利用するため、書き込み面１１ａ上の円筒物体の周囲に、円筒物体のミラー面上で正しく（ゆがまずに）映し出されるような歪み画像（以下、アナモルフォース画像という）を投影することで、ユーザは個々の円筒物体を区別することができるようになる。
【０２２１】
図４８は、書き込み面１１ａに投影されたアナモルフォース画像が円筒に映し出される様子を示す図である。図４８に示すように、ゆがんでいるアナモルフォース画像が円筒面に映し出されると正しく表示される。
【０２２２】
円筒物体の円の半径や高さ等の物理形状は既知であるから、物体の側面上で正しく像を結ぶようなアナモルフォース画像への変換式は一意に決まり、これに投影する画像を入力することで、投影すべきアナモルフォース画像が求まる。
【０２２３】
物体認識部２２が物体情報（位置、方向、ＩＤコード）を検出したら、操作処理部２３が物体のＩＤコードに対応した画像のアナモルフォース画像を、物体の方向に応じて物体の周囲に投影画像形成部２４に投影させる。
【０２２４】
アナモルフォース画像を投影する範囲は、円筒物体４０１の周囲360°に投影しても良いし、必要に応じて一部のみを投影してもよい。
【０２２５】
図４９は、円筒物体４０１の周囲360°に投影したアナモルフォース画像の一例を示す。図５０は、円筒物体４０１の一部に投影したアナモルフォース画像を示す。図５０のように、円筒物体４０１の一部にアナモルフォース画像を投影した場合、ユーザは円筒物体４０１に映し出される投影画像の位置で、円筒物体４０１の向きを認識できる。したがって、円筒物体４０１の向きに合わせてアナモルフォース画像を回転させて表示すれば、ユーザは円筒物体４０１の方向を認識できる。
【０２２６】
投影する画像を物体の使用目的にあわせて形成又は選択することで、実際に物体を対象物の形に成形しなくても、汎用的な円筒物体を種々の使用目的（アプリケーション）に使用できる。
【０２２７】
また、物体は角柱のよう直方体であってもよい。図５１は、角柱物体４０２の一例を示す。図５１に示すような角柱物体４０２の場合、円筒形の物体に比べて、周囲から見える方向が限定されてしまうが、表現する対象が前面、側面、背面の区別があるようなものであれば、角柱物体４０２を使用することが好適になる。
【０２２８】
操作処理部２３は、ユーザから見て物体の前面に当たる部分には対象の前面の画像を、側面には対象の側面の画像を、背面には対象の背面に当たる画像を投影させることで、角柱物体の各面にはそれぞれの画像が反映される。
【０２２９】
物体の向きに合わせて投影画像の方向も変化させれば、ユーザはあたかも実際の対象物を見ている効果を得ることが出来る。
【０２３０】
図５２は、空気の流れをシミュレートするアプリケーションに角柱物体を用いた場合を説明するための図である。角柱物体４０２を書き込み面１１ａに配置し、都市の空気の流れの様子等をシミュレーションするようなアプリケーションの場合、物体には建物の画像が投影される。
【０２３１】
建物には前面、側面、背面とがあるので、操作処理部２３は、角柱物体のそれぞれの面に適した画像が映し出されるよう投影する。図５３は、角柱物体のそれぞれの面にビルの画像が投影される投影画像を示す。
【０２３２】
物体が回転されたら、物体の向きに合わせて操作処理部２３は、投影画像も回転させる。これにより、常に物体の同じ面に同じ画像が反映されるので、ユーザからは実体物のように見えるという効果が得られる。
【０２３３】
以上のように本実施例によれば、物体の表す対象物ごとに物体を準備する必要がなく、汎用のTUI用の物体を実現できる。円筒物体４０１と角柱物体４０２を組み合わせて用いることで、一つのアプリケーション内でさまざまな対象物を表現できる。また、特定のアプリケーションに用いられるように対象物が固定されている場合、その対象物の実際の形を物体として準備し、流動的な対象の物体に関しては、汎用的な物体を用いることができる。
【０２３４】
なお、本実施例のミラー状の反射体を有する物体は、外観に関する特徴であるので、実施例１〜５のいずれにも好適に適用できる。
【実施例７】
【０２３５】
ＴUIにおける物体に汎用性を備えさせる場合、透明物質により物体を構成してもよい。透明物質とは、例えば、アクリル、ガラス等の透過率の高いものである。
【０２３６】
本実施例では、透明物質により構成された物体が円筒形をしている。なお、機能図は図２又は図３６若しくは図４５のいずれを用いてもよい。
【０２３７】
図５４（ａ）は、ユーザが所定角（例えば、３０〜６０度）から透明物体４０３を観察する様子を示す図である。図５４（ａ）のように、透明物体４０３を観察する場合、透明物体４０３の内面は円筒ミラー面として作用する。
【０２３８】
図５４（ｂ）は、透明物体４０３を介してユーザが観察する投影画像を示す図である。図５４（ｂ）に示すように、透明物体４０３の底面に投影された画像は、ユーザの視線より遠い側の透明物体４０３の内面４０３ａに反射してユーザに観察される。したがって、透明物体４０３を配置したとき、ユーザからはその底面部の像が円柱の側面の内側に映し出されてみえる。
【０２３９】
反射される画像は、投影される画像と上下左右が反転し、さらに透明物体４０３の反映面は曲面である。そこで、予め、透明物体４０３の底面に投影する画像は、上下左右を反転させゆがませておけば、ユーザには透明物体の内面に正しい元の画像が観察されることになる。
【０２４０】
物体認識部２２が物体情報（位置、方向、ＩＤコード）を検出したら、操作処理部２３は物体のＩＤコードに対応した画像を上下左右反転させゆがませて、物体の方向に応じて物体の底面に、投影画像形成部２４に投影させる。
【０２４１】
図５５（ａ）は、予め上下左右を反転させゆがませられて透明物体４０３の底面に投影される画像の一例を、図５５（ｂ）は底面に投影された画像が透明物体４０３の内面に反射されユーザに観察される画像を示す。図５５（ｂ）に示すように、透明物体４０３を使用した場合、ユーザは反射による反転や歪みを意識することなく物体を認識可能となる。
【０２４２】
ところで、透明物体４０３の側面は円柱レンズ（シリンドリカルレンズ）としても機能する。図５６は、透明物体４０３がシリンドリカルレンズとして機能する様子を示す図である。シリンドリカルレンズでは、ユーザからみて透明物体４０３の反対側の画像が手前の側面４０３ｂに映し出される。
【０２４３】
図５６のように映し出される画像も、投影された実際の画像とは左右反転しゆがんだ画像となる。したがって、予め左右を反転したゆがませた画像を投影することで、ユーザは反射による反転や歪みを意識することなく物体を認識可能となる。
【０２４４】
物体識別用のサーキュラバーコードを物体底面に貼り付けることも可能であるので、画像表示装置は物体を識別できる。
【０２４５】
さらに透明物体４０３は、投影する画像によってユーザにも区別することが可能となるので、汎用の物体として用いることが可能であると共に、内面による反射、シリンドリカルレンズによる透過の効果を組み合わせ、かつ、投影画像を色、形、文字等を組み合わせて種々の物体を表現できる。なお、本実施例では円柱状の透明物体４０３について説明したが、角柱型の透明物体を用いた場合も、同様に物体の識別が可能になる。
【０２４６】
本実施例の透明物質による物体は、外観に関する特徴であるので、実施例１〜５のいずれにも好適に適用できる。
【実施例８】
【０２４７】
実施例７のように透明物体を用いた場合、ユーザは物体の上面から、物体の底面に存在する像を観察することができる。しかしながら、物体の底面には物体識別用の識別コードがあるため、その余白部にのみの画像を投影することとなる。
【０２４８】
余白部に画像を投影する場合、第１の実施形態の識別コードでは余白部が少ないので、実施例５で説明したサーキュラバーコード３０１を用いることが好適である。なお、機能図は図２又は図３６若しくは図４５のいずれを用いてもよい。
【０２４９】
サーキュラバーコード３０１は、円の中心に向かって細くなるくさび型の図形を配列したものとなっており、同心円状に区切った場合、各同心円において黒,白の比率は同じである。したがって、ＣＣＤカメラ１４により撮影された画像からサーキュラバーコード３０１の各線が解像可能であれば、サーキュラバーコード３０１の中心部付近、外周部付近等の位置を問わない。すなわち、半径ｎドット上の円の座標列に沿ってパターンを解読出来ればよい。
【０２５０】
図５７（ａ）はサーキュラバーコード３０１の一例を、図５７（ｂ）はサーキュラバーコード３０１の中心部付近を取り出したものを、図５７（ｃ）はサーキュラバーコード３０１の外周部付近を取り出したものを、それぞれ示す。
【０２５１】
図５７（ｂ）のように中心付近に近いところを用いれば、それよりも外側に画像を投影でき、図５７（ｃ）のように外周部に近いところを用いれば、それよりも内側に画像を投影することができる。サーキュラバーコード３０１の外周部を用いる場合は、線幅や間隔が大きくなるため、ＣＣＤカメラ１４の解像度に余裕が持てる。
【０２５２】
物体認識部２２が物体情報（位置、方向、ＩＤコード）を検出したら、操作処理部２３は物体のＩＤコードに対応した画像を、サーキュラバーコード３０１よりも内側に、物体の方向に応じて投影画像形成部２４に投影させる。
【０２５３】
図５８は、透明物体４０３の外周部に貼付されたサーキュラバーコード３０２と、その内側に投影された画像を示す図である。透明物体の底面の外周にサーキュラバーコード３０２を貼り付け又は印刷する。中央部は余白として使うことが出来るから、画像を投影することで観察者は物体上面に映し出される画像からその物体の表現する対象を認識することができる。
【０２５４】
本実施例の透明物質による物体及びサーキュラバーコードの貼付方法は、外観に関する特徴であるので、実施例１〜５のいずれにも適用できる。
【０２５５】
以上のように、本実施の形態の画像表示装置は、サーキュラバーコードにより物体を識別することで、非常に多くの物体情報を登録できる。また、方向識別部があるので、物体の向きも容易に判別できる。また、ミラー又は透明な物体を用いることで、汎用的な物体で種々のアプリケーションに利用できる。
【図面の簡単な説明】
【０２５６】
【図１】本発明の画像表示装置の実施形態を示す概略図である。
【図２】画像表示装置の機能図である。
【図３】画像表示方法の処理の流れを示すフローチャート図である。
【図４】物体底面のパターンを分離する図である。
【図５】物体の底面に付された識別コードの例を示す図である。
【図６】ＣＣＤカメラにより撮影された物体の底面の一例を示す図である。
【図７】スクリーンの投影面全体が白くなるようにして所定の閾値で２値化した後に表示された「底面」を示す図である。
【図８】撮像データに、文字切り出し技術を適用した例を示す模式図である。
【図９】物体認識部の詳細を示す図である。
【図１０】線図処理部により、人手により描画された図形の認識方法の一例を示す図である。
【図１１】図形認識部が認識する種々の図形の一例である。
【図１２】図形の種別を解析した結果の一例である。
【図１３】スクリーンの表面側に載置された物体と視認できる画像とを一例として示す図である。
【図１４】線分端点における所定の距離を説明するための図である
【図１５】線分の端点に物体があるか否かを判定する判定基準の別の例を示す図である。
【図１６】属性情報の一例を示す図である。
【図１７】スクリーンに配置された物体の一例を示す図である。
【図１８】物体が線分で連結された図の一例を示す図である。
【図１９】アプリケーションがスクリーンに表示した回路図の一例である。
【図２０】所望の物体の属性を他の物体に定義する手書き図形の一例である。
【図２１】物体の属性情報を入れ替えて再定義する手書き図形の一例である。
【図２２】連続する物体ＩＤに同じ属性情報を定義する手書き図形の一例である。
【図２３】一度に複数の物体に同じ属性情報を定義する手書き図形の一例である。
【図２４】物体の属性情報を調べるための手書き図形の一例である。
【図２５】物体を囲む閉ループを描画し物体の属性情報を調べる手書き図形の一例である。
【図２６】物体を再び未定義状態に戻す手書き内容の一例である。
【図２７】線分の長さにより容量や電圧を定義する手書き図形の一例である。
【図２８】属性数値を変更する手書き図形の一例である。
【図２９】物体の着脱動作に基づき操作を検出する方法を示すフローチャート図の一例である。
【図３０】風のシミュレーションにおいてスクリーンに配置される物体と投影される画像の一例である。
【図３１】ユーザが描画した閉ループ及び複数の物体の一例を示す図である。
【図３２】ユーザが配置した複数の複数の物体及びユーザが描画した閉ループの一例を示す図である。
【図３３】実施例４における属性情報記憶部の一例である。
【図３４】書き込み面に描画された任意の形状の線分の一例である。
【図３５】閉ループ内に配置した物体Ｃにより塗りつぶされた閉ループの一例を示す。
【図３６】実施例５における形態の画像表示装置の機能図を示す。
【図３７】物体に貼付される識別コード（サーキュラバーコード）の一例を示す。
【図３８】物体領域抽出部の処理手順を示すフローチャート図である。
【図３９】物体が撮影された画像データを所定の閾値に基づき1-画素、０-画素に置き換えた画像データの一例を示す。
【図４０】物体認識部の処理手順を示すフローチャート図の一例である。
【図４１】円周方向に画素が走査されるパターン解析を説明するための図である
【図４２】極座標テーブルの一例である。
【図４３】物体認識部の処理手順を示すフローチャート図の一例である。
【図４４】操作対応テーブルの一例である。
【図４５】物体属性情報取得部が操作対応テーブルを保持する場合の画像表示装置の機能図である。
【図４６】フロントタイプの画像表示装置を示す図である。
【図４７】ユーザの視線と書き込み面に載置された円筒物体との概略の関係を示す図である。
【図４８】書き込み面に投影されたアナモルフォース画像が円筒に映し出される様子を示す図である。
【図４９】円筒物体の周囲360°に投影したアナモルフォース画像の一例を示す。
【図５０】円筒物体の一部に投影したアナモルフォース画像の一例を示す。
【図５１】角柱物体の一例を示す図である。
【図５２】空気の流れをシミュレートするアプリケーションに角柱物体を用いた場合を説明するための図である。
【図５３】角柱物体のそれぞれの面にビルの画像が投影される投影画像を示す図である。
【図５４】ユーザが所定角から透明物体を観察する様子を示す図である。
【図５５】予め上下左右を反転させゆがませられて透明物体の底面に投影される画像の一例を示す図である。
【図５６】透明物体がシリンドリカルレンズとして機能する様子を示す図である。
【図５７】一部を取り出したサーキュラバーコードを示す図である。
【図５８】透明物体の外周部に貼付されたサーキュラバーコードと、その内側に投影された画像を示す図である。
【符号の説明】
【０２５７】
１ 表示部
２ 本体部
４、４Ａ、４Ｂ、５ ４１〜４８、５１、５２，６１，６２ 物体
５ａ 輪郭
６ 識別コード
６ａ，６ｂ，６ｃ，６ｄ，６ｅ 図形
７ 線
８ 矩形の黒
９ 円形の線図
１０ 平面部
１１ スクリーン
１１ａ 投影面
１１ｂ 書き込み面
１２ 筐体
１３ プロジェクタ
１４ ＣＣＤカメラ
２０１ 片矢印
２０２ 片矢印
２１０ 線分
２２０ 閉ループ
３０１、３０２ サーキュラバーコード
４０１ 円筒物体（ミラー状）
４０２ 角柱物体（ミラー状）
４０３ 円筒物体（透明）
【技術分野】
【０００１】
本発明は、物体の識別情報及び手書き図形に応じて情報機器やロボットなどの装置にコマンドを入力したり表示画像を操作することや、投影画像が表示される表示画面上に載置した物体を操作したり、表示画面にマーカ等を用いて描画することにより、投影画像に対してそれらの物体や描画に応じた変化が与えられる仕組みを構築し、マン・マシン・インタフェースを向上させたコマンド入力方法、画像表示方法及び画像表示装置に関する。
【背景技術】
【０００２】
今日、コンピュータをはじめとする情報機器の高度化、多様化は目覚しいものがあり、情報機器を用いたさまざまシステムが開発、導入されている。しかしながら、そのようなシステムが普及すればするほど、それらシステム全体の機能的、かつ効率的なオペレーションの重要性が増大しつつある。そのため、システムを操作する人間と、システムを構成するコンピュータなどの情報機器の特性を考慮した調和のとれた、人間との親和性の高いシステムの構築が不可欠となっている。特に、人間と機械とが協力して複雑な仕事を効率的に処理するマンマシンシステムなどにおいては、ユーザインタフェース、特に入出力機器の操作性が重要な要素になっている。
【０００３】
すなわち、人間がその感覚器を用いて知覚可能な情報による外部表現としての出力インタフェース、および人間がその手や体を用いて情報を操作可能にするための制御機構としての入力インタフェースが重要であるとされる。
【０００４】
今日、ＧＵＩ（グラフィカルユーザインタフェース）に対しマウスなどを用いたインタラクションが盛んに採用されている。しかしながら、それらＧＵＩは、視覚、聴覚によるインタラクションであって、間接的な操作であり、直接的な操作性を高めるためには個々の情報特有な触覚的なフィードバックが必要であるという思想の下、「情報と物理世界を融合するタンジブル・ユーザ・インタフェース（Ｔａｎｇｉｂｌｅ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）」が提唱されている。ＴＵＩにおいては、Ｔａｎｇｉｂｌｅ ｂｉｔと称する物体による操作を可能にする仕組みが設けられている（非特許文献１参照）。
【０００５】
また、Ｓｅｎｓｅ Ｔａｂｌｅと称する表示画面上に複数のワイヤレスな物体の位置と方向を電磁的に探知するシステムについて紹介し、さらに探知方法に関し、例えばコンピュータビジョンを導入した２つの改良例についても紹介されている。改良例の１つは、光の吸収や変化に反応することなく迅速かつ正確に物体を探知するシステムであり、他の改良例は、探知された物体がその状態を修正可能にする物理的なダイアルと修正器を備えたシステムである。なお、システムは、変化をリアルタイムに検出することができるようになっている（非特許文献２参照。）。
【０００６】
そのほか、液晶プロジェクタの表示画面に画像を投影し、その表示画面の上方に設けた
カメラでその表示画面上に置かれた物体や手を認識するようにしたシステムも開示されて
いる。
【０００７】
一方、仮想空間内のＣＧ（コンピュータグラフィックス）で表されたモデル（仮想物体）の動きや形状を、認識対象の動きや位置などの情報を基に制御するバーチャル・リアリティーに関する技術開発が、映画や放送などの分野で盛んに行われている。
【０００８】
しかしながら、仮想空間による臨場感を高めるためには特殊なウエアやジョイスティックなどの特殊な装置が必要となる上、仮想空間内の物体を制御して違和感なく仮想物体との融合を図るまでにはいたっていない。そこで、認識対象の位置と方向に関する情報を抽出し、その抽出された情報に基づいて、認識対象に対応する仮想空間内の制御対象を制御する技術が開示されている（特許文献１）。
【０００９】
また、一般事業所においては、意思決定やアイデンティティー獲得を目的とする会議などの場において、プロジェクタや電子黒板などの投影型表示装置を用いて視覚に訴える方法が盛んに用いられている。しかしながら、ＴＰＯ（Ｔｉｍｅ Ｐｌａｃｅ Ｏｃｃａｔｉｏｎ）に応じて、表示された画像に重畳させて文字や絵などを書き加えることや、書き加えられた文字などを電子データとして取り込む機能が必要であるとの根強い要望がある。
【００１０】
このため、投影画像が表示される投影面に画像を書き込むことができる上、その書き込まれた画像を撮影する撮影部や元の画像に書き加えた画像を元の画像と合成する合成手段を設けたものがある（特許文献２参照）。
【特許文献１】特開２０００−２０１９３号公報
【特許文献２】特開２００３−１４３３４８号公報
【非特許文献１】「タンジブル・ビット：石井 裕」ＩＰＳＪ Ｍａｇａｚｉｎｅ Ｖｏｌ．４３Ｎｏ．３ Ｍａｒ．２００２
【非特許文献２】「Ｓｅｎｓｅｔａｂｌｅ：Ｊａｍｅｓ Ｐａｔｔｅｎ，Ｈｉｒｏｓｉ Ｉｓｈｉｉ，ｅｔｃ．」ＣＨＩ２００１，Ｍａｒ．３１−Ａｐｒｉｌ５２００１，ＡＣＭ Ｐｒｅｓｓ
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、文献１に開示された技術では、仮想空間内に動きのある対象物を表示させるためには、表示させたい現実の認識対象物を準備して、その現実の認識対象物を仮想空間内の対象物に与えたい動き通りに実際に動かしてやる必要がある。また、文献２に開示された技術では、投影面に書き込んだ画像そのものを表示することや、電子データとして保存することはできるが、投影されている画像を書き込んだ画像で操作することまではできない。
【００１２】
本出願人は、上記事情に鑑み、現実の認識対象物を準備する煩わしさを回避することができる上、物体の識別情報及び移動情報に応じて装置や表示画像を操作するコマンド入力を可能にしたり、キーボードによるコマンド投入や、マウスによるメニュー選択を行うなどの煩わしい操作をすることなく、表示画面に所定形状を有する物体を置いて、人がその物体を移動させるだけの簡単な操作により、表示画面に表示された画像を操ることが可能なコマンド入力方法、画像表示方法及び画像表示装置を提案した。
【００１３】
本出願は、既に出願したコマンド入力方法、画像表示方法及び画像表示装置を改良し、所定形状を有する物体に加え別の方法でもコマンドの入力が可能なコマンド入力方法、画像表示方法及び画像表示装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記問題を解決するため、本発明は、画像が投影される投影面又はその裏面に配置された物体、及び、描画された図形を撮影する撮影手段と、投影面に投影される画像を生成する投影画像生成部と、撮影手段により撮影された撮像データから物体の識別情報、及び、図形の図形情報を抽出する画像抽出部と、画像抽出部により抽出された物体の識別情報から物体の属性情報を取得する物体認識部と、図形情報から図形の種別を認識する図形認識部と、物体認識部が認識した属性情報及び図形認識部が認識した図形の種別に基づき、投影画像生成部を操作する操作処理部と、を有することを特徴とする画像表示装置を提供する。
【００１５】
本発明によれば、投影された画像に対して物体及び手書き図形により操作できる画像表示装置を提供できるので、人間の直感を生かした柔軟な操作が可能となる。
【００１６】
また、本発明は、画像が投影される投影面又はその裏面に配置された物体、及び、描画された図形を撮影する撮影ステップと、撮影ステップにより撮影された撮像データから物体の前記識別情報、及び、図形の図形情報を抽出する画像抽出ステップと、画像抽出ステップにより抽出された物体の識別情報から物体の属性情報を取得する物体認識ステップと、図形情報から図形の種別を認識する図形認識ステップと、物体認識ステップにより認識した属性情報及び図形認識ステップにより認識した図形の種別に基づき、投影面に投影される画像を生成する投影画像生成部を操作する操作処理ステップと、を有することを特徴とする画像表示方法を提供する。
【００１７】
また、本発明は、物体の識別情報に基づく属性情報、及び、描画された図形の種類に基づき、所定の装置にコマンドを入力することを特徴とするコマンド入力方法を提供する。
【発明の効果】
【００１８】
既に出願したコマンド入力方法、画像表示方法及び画像表示装置を改良し、所定形状を有する物体に加え別の方法でもコマンドの入力が可能なコマンド入力方法、画像表示方法及び画像表示装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下に、本発明のコマンド入力方法及び画像表示方法を適用した、本発明の画像表示装置の実施形態について説明する。
【００２０】
〔第１の実施形態〕
図１（ａ）及び（ｂ）は、本発明の画像表示装置の実施形態を示す概略図であり、図１（ａ）は概略斜視図、図１（ｂ）は概略断面図を示す。
【００２１】
図１に示すように、実施形態の画像表示装置は、矩形の平面部１０を有し、デスク状の表示部１と、図示しない本体部２とを備えている。
【００２２】
表示部１は、矩形の平面部１０の中央部分に、内部から投影された画像が表示される矩形のスクリーン（本発明の表示画面に相当する。）１１を備えている。
【００２３】
また、図１（ｂ）に示すように画像表示装置の表示部１は、中央部分にスクリーン１１がはめ込まれた平面部１０と、平面部１０を支える筐体１２と、筐体１２内に設けられ、スクリーン１１に画像を投影するプロジェクタ１３と、スクリーン１１の裏面側全体が視野角１４ａとなる位置に配置され、スクリーン１１を裏面側から撮影するＣＣＤカメラ（本発明の撮像部に相当する。）１４とを備えている。
【００２４】
筐体１２内に配置されたＣＣＤカメラ１４と図示しない本体部２とはコードで接続され、筐体１２内に配置されたプロジェクタ１３と図示しない本体部（投影画像形成部）とは光学的に結合されている。
【００２５】
スクリーン１１は、２重構造をなし、スクリーンの裏面側には投影画像が投影される投影面１１ａが設けられ、スクリーンの表面側には水性ペンやホワイトボード用マーカなどを用いて描画可能な書き込み面１１ｂが設けられ、投影面１１ａと書き込み面１１ｂとは密着させて一体化されている。
【００２６】
書き込み面１１ｂ及び投影面１１ａはともに透明であるが、投影面１１ａの書き込み面１１ｂと密着する側の表面には微小な凹凸が設けてあり、投影面１１ａに画像が投影されると、その光はわずかに散乱して透過するので、書き込み面１１ｂが設けられたスクリーン１１表面側の上方の、いろいろな角度からその投影された画像を視認することができるように構成されている。
【００２７】
ここで、書き込み面１１ｂの表面には傷が付きにくいように、透明保護シートを被覆することにしてもよく、また透明な塗料などによりコーテイングすることにしてもよい。
【００２８】
本体部２は、ＣＣＤカメラ１４で撮影された物体の底面の撮像を認識して物体の情報（識別情報および移動情報のうちの何れか一方または双方）を取得し、取得された情報に応じてプロジェクタ１３からスクリーン１１の裏面側に投影される投影画像を操作することができる。
【００２９】
なお、本体部２は、本実施形態の画像表示装置専用に作成されたものであっても、パーソナルコンピュータに所定のソフトウエアがインストールされたものであってもよく、さらに、筐体１２内に配置されたものであってもよい。
【００３０】
プロジェクタ１３は、反射ミラーやビームスプリッターなどの光学系により本体部２のディスプレイと結合され、本体部２で形成された所望の画像をスクリーン１１の投影面１１ａに投影することができる。
【００３１】
ＣＣＤカメラ１４は、例えばＵＳＢ（ユニバーサル・シリアル・バス）インタフェースを介して本体部２にコードで接続され、スクリーン１１の表面側、すなわち書き込み面１１ａに載置された物体や描画された図形などをスクリーン１１の裏面側、すなわち投影面１１ａ側から所定の時間間隔で連続撮影し、撮像データを得ることができる。
【００３２】
本実施の形態の画像表示装置について、図２の機能図と図３のフローチャート図に基づき説明する。本体部２で形成された画像は、プロジェクタ１３によってスクリーン１１の裏面側に投影され、スクリーン１１の表面側にいる人は、その投影された画像を視認することができる。
【００３３】
また、ユーザが書き込み面１１ｂに書き込みを行うと、本体部２はＣＣＤカメラ１４がスクリーン１１を撮影し、ユーザの書き込みを画像データ（例えばビットマップデータ）として取得する。
【００３４】
続いて、本体部２の構成について図に基づき説明する。図２に示すように、本体部２は、画像抽出部２１、投影画像形成部２４、物体認識部２２、図形認識部２６、操作処理部２３、アプリケーション（処理部）２４ａ、とを有する。
【００３５】
画像抽出部２１は、ＣＣＤカメラ１４で撮影された撮像の撮像データを２値化し、物体が載置されたスクリーン１１上の位置、底面の輪郭および識別コードを抽出する。投影画像生成部２４は、プロジェクタ１３とのインタフェースを有し、プロジェクタ１３によりスクリーン１１の裏面側から投影される画像を、所定のアプリケーション・プログラム２４ａに従って形成する。物体認識部２２は、画像抽出部２１により抽出された識別コードを、予めメモリに記憶されたパターン認識用辞書とパターンマッチングを行い、その物体の識別情報及び物体の方向に関する情報を得る。図形認識部２６は、マーカなどを用いてユーザに手書きされた図形や線に関する情報を抽出し図形情報から図形や線に関する情報から特徴を抽出して、その図形や線が例えば直線（線分）、円形、波形、方形など図形の種別や大きさを認識する。操作処理部２３は、物体認識部２２で得た識別情報及び物体の方向に関する情報、並びに、図形認識部２６が認識した図形の種別や大きさに基づいて、投影画像形成部２４で所定のアプリケーション・プログラム２４ａに基づいて形成される画像に新たなコンテンツやアクションを加えてプロジェクタから投影される画像を操作する。
【００３６】
なお、アプリケーション２４ａは、特許請求の範囲における処理部に相当し、後述のように物体の属性情報に応じた処理のための規則を参照して、属性情報に基づく処理を行う。物体の属性情報について詳細は後述するが、属性情報とは、スクリーン１１に物体が認識されたときに行われるコンピュータの表示や処理の内容が物体の識別情報に対応づけて定義されたものである。
【００３７】
投影画像形成部２４がアプリケーション・プログラム２４ａに従って形成された画像をプロジェクタ１３に送ると、プロジェクタ１３はスクリーン１１の裏面側にその画像を投影する。投影された画像は、スクリーン１１の表面側から視認することができる。投影された画像は、スクリーン１１の表面側から視認することができるので、その画像を視認した人が、そのスクリーン１１の表面側に予め準備された複数の物体を配置する。
【００３８】
図３に示す画像表示装置が行う処理の流れによれば、ＣＣＤカメラ１４により投影面１１ａが撮像され（Ｓ１）、撮像データが画像抽出部２１に送出される。画像抽出部２１は、手書き図形と物体とを撮像データから切り出し、手書きデータを図形認識部２６に送出する（Ｓ２）。
【００３９】
また、物体認識部２２は、物体が撮像された撮像データから物体の識別コードに基づき物体を認識し、物体の属性情報を取得する（Ｓ３）。
【００４０】
図形認識部２６は、図形認識部２６は、抽出された図形や線に関する情報から特徴を抽出して、線分、円形、波形、方形など図形の種別を認識する（Ｓ４）。
【００４１】
操作処理部２３は、後述するように、物体の属性情報と図形の種別に基づき、投影画像生成２４を操作する（Ｓ５）。また、投影画像生成部２４は、アプリケーション・プログラム２４ａに従って形成された画像を操作して、プロジェクタ１３から投影面に投影するＳ６）。以下、各ステップの処理を詳細に説明する。
【００４２】
〔Ｓ１〜Ｓ２〕
ＣＣＤカメラ１４により撮像された撮像データには、物体の底面と手書き図形とが混在している。このため、画像抽出部２１は、物体の画像と手書き図形とを分離する。後述のように、物体の識別コードを構成する色や手書き図形を書くペンの色は既知であるので、物体に該当する撮像データの部分と物体でない撮像データの部分とを判別できる。
【００４３】
まず、画素を全て白で初期化してある手書き図形を認識するための画素メモリを用意する。画像抽出部２１は、取得された撮像データの画素のRGB情報を１画素ずつ取得する。各画素においてＧ値が例えば１８０（画素値は０〜２５５の値を取るものとする）以上であれば背景色であると判定し、撮像データの画素を白に置き換え、すなわち当該画素をＲＧＢ（２５５、２５５、２５５）に設定する。なお、判定のためのＧ値は周囲の環境や装置の構成要素によって適切な値とする。
【００４４】
Ｇ値が１００＜Ｇ＜１８０の場合、手書き図形であると判定して、画素メモリの対応する画素を黒すなわちＲＧＢ（０、０，０）に設定し、撮像データの画素を白すなわちＲＧＢ（２５５、２５５、２５５）に設定する。またＧ値が１００以下の場合、撮像データの画素を黒すなわちＲＧＢ（０、０，０）に設定する。
【００４５】
したがって、かかる処理により、撮像データには物体の撮像データが、画素メモリには手書き図形の撮像データが、それぞれ切り分けられる。
【００４６】
なお、例えば、物体底面のパターンを手書き図形から分割して、物体と手書き図形の撮像データを切り分けてもよい。図４は、物体底面のパターンを分離する図を示す。物体４の底面の大きさは既知（例えば４８ピクセル×４８ピクセル）であるので、48×48ピクセルの四角形に内接する円形をなすものは底面画像と見なすことで、物体底面のみを含む画像と手書き図形のみを含む画像とに分割できる。
〔Ｓ３〕
画像抽出部２１が抽出した物体の撮像データには物体底面の識別コードが写っている。 物体認識部２２は、その撮像データを解析して物体の配置位置、底面の輪郭および識別コードの情報を抽出する。そして、抽出された情報は、物体認識部２２に送られる。このとき、物体の底面の輪郭の情報は、投影画像形成部２４にも送られる。投影画像形成部２４は、その情報により物体がスクリーン１１上に載せられたことを検出することができるので、投影面１１ａの、その物体の底面を含む領域が一様に白くなるような光画像を所定の時間間隔でプロジェクタ１３に送る。
【００４７】
このように物体の底面を含む領域が一様に白くなるような光画像が投影されることにより、ＣＣＤカメラ１４により撮像された撮像データは、２値化されたときに物体の底面の輪郭や識別コードの情報をより鮮明に捉えることができる。
【００４８】
物体認識部２２は、画像抽出部２１により抽出された識別コードにより、パターン認識用辞書を用いて物体の識別情報を取得することができるので、その識別情報に応じた所定のデータを操作処理部２３に送る。操作処理部２３は、図形の種別と共にその送られたデータをアプリケーション・プログラム２４ａに加え、投影画像形成部２４又は投影画像形成部２４により形成される画像を操作する。
【００４９】
なお、「画像を操作する」とは、スクリーン１１にすでに投影されている画像に、物体の識別コードに応じた新たな画像を重畳させることや、新たな画像を単独で表示させること、又はスクリーン１１に載せた物体を人手で移動させたときに、その物体の動きを認識した移動情報に応じてスクリーン１１にすでに投影されている画像に動きを与えることを意味する。具体的には、操作処理部２３からコンテンツの素材データ及びアクションデータを投影画像形成部２４に送り、投影画像形成部２４におけるアプリケーション・プログラム２４ａにそれらのデータを加えることにより、識別コードに対応する新たな物体の画像が重畳され、あるいは、すでに形成されている画像に、物体を人手で移動させた物体の軌跡に応じた動きが与えられる。
【００５０】
図５は、物体５の底面に付された識別コードの例を示す図である。識別コードは２次元コードの一形態である。図５に示すように、物体５の底面は、物体がスクリーン１１の表面側、すなわち書き込み面１１ｂ上に載置されたことが容易に検出することができるような輪郭５ａ、例えば閉じた形状となる円形をなし、その輪郭５ａの内側に識別コード６が配置されている。
【００５１】
ただし、例えば図５（ａ）に９つの小方形からなる方形が識別コード６になっているときは、その識別コード６が回転したときに、ＣＣＤカメラ１４による撮像データによって同一被写体と認識される関係にある、図５（ｂ）に示すような３種類の形状（例えば、９つの小方形からなる方形６ａ、５つの小方形を交互に配置した図形６ｂ、３つの小方形を直列に配置した矩形を平行に配置した図形６ｃ）は、識別コードに採用することができない。また、図５（ｃ）に示す６つの小方形からなる矩形と直線とからなる２種類の図形６ｄ，６ｅのように、それぞれの物体が回転したときにＣＣＤカメラ１４による撮像データによって同一被写体と認識される関係にあるものも識別コードとして採用することができない。
【００５２】
図６は、ＣＣＤカメラ（本発明の撮像部）により撮影された本実施形態の物体の底面の
一例を示す模式図である。図６（ａ）は、スクリーンの表面側に物体を載置したときの物体の底面を撮影した撮像を示す図であり、図６（ｂ）は、スクリーンの投影面全体が白くなるようにして物体の「底面」５を撮影した撮像を示す図であり、図６（ｃ）は、スクリーンの表面側に物体を載置するとともに、書き込み面に「線（矢印）」を描画したときの物体の「底面」５および「線」７を撮影した撮像を示す図であり、図６（ｄ）は、スクリーンの投影面全体が白くなるようにして物体の「底面」５および「線」７を撮影した撮像を示す図である。
【００５３】
本実施の形態では、ロッドインテグレータを光源に採用したプロジェクタを用いているので、スクリーンの投影面全体を白くして撮影したときは、ハイライト部に「矩形の黒」８が表示される。ただし、「底面」５および「線」７とは十分濃度差があり、「底面」５および「線」７をそれぞれ認識可能である。
【００５４】
このように、スクリーンの投影面を一時的に白くすると、スクリーンの表面側に載せら
れた物体の底面を確実に捉えることができる。
【００５５】
図７は、図６（ｂ）において、スクリーンの投影面全体が白くなるようにして物体の底面を撮影して得た撮像データを、所定の閾値で２値化した後に表示された「底面」５を示す図である。
【００５６】
図７に示すように、撮像データを所定の閾値で２値化すると、例えばロッドインテグレータを光源に採用したプロジェクタを用いることにより表示されるハイライト部の矩形の黒部分やその他のノイズをカットすることができるので、底面の輪郭と位置を正確に捉えることができる。
【００５７】
図８は、撮像データに、文字切り出し技術を適用した例を示す模式図である。図８に示すように、撮像データをＸ方向に射影したＸ方向濃度ヒストグラム５０とＹ方向に射影したＹ方向濃度ヒストグラム５１を作成し、物体が載置された底面の位置、輪郭および識別コードを捉えることができる。
【００５８】
図７及び図８では物体が静止した状態を示しているが、プロジェクタ１３から所定の時間ごとにスクリーン１１の投影面１１ａ全体あるいは所定領域を白くして、ＣＣＤカメラ１４で撮影し、各時間毎に得られた撮像データの差分を求めることや、物体の底面の各点の移動ベクトルを求めることなどの周知の方法を用いて、物体が移動する時の移動情報を得ることもできる。
【００５９】
ここで、移動する物体の底面を、一定の時間毎に投影面１１ａの所定領域を白くしてＣＣＤカメラ１４で撮影すると、残光などによりちらつきが目立つ場合がある。その場合には、投影面１１ａを白くする前に、通常の画像が表示された状態における撮像データによって物体の位置を検出し、物体が検出された後に投影面１１ａ全体を一定時間白くして撮影することや、物体が存在する領域のみを継続的に白くして撮影することによって対処することが可能である。
【００６０】
図９は、物体認識部２２の詳細を示す図である。図９に示すように物体認識部２２は、画像抽出部２１から、物体の配置位置、底面の輪郭および識別コードの情報を受け取り、例えばテンプレートマッチングを用いて物体の識別情報と物体の方向に関する情報を得るパターン照合部２２ａと、いろいろな方向を向いた識別コードの撮像データを記録し、各撮像データと識別コードにより表される識別情報とを対応させたパターン認識用辞書を用意し、パターン照合部２２ａにおけるパターンマッチングに用いるパターン認識用辞書２２ｂと、所定の時間間隔で所得された撮像データに基づいて物体の移動方向を演算する方向演算部２２ｃとを備えている。
【００６１】
ここで、パターン認識用辞書２２ｂは、スクリーンに載置された物体の向きを変化させて底面の識別コードを撮影した撮像から作成されているが、必ずしもこの方法に限定する必要はなく、物体の向きを変化させることなく撮影されたものにより作成してもよい。その場合、画像抽出部２１から受け取った物体の識別コードの情報を所定の角度ずつ回転させてパターンマッチングさせてもよい。また、パターン認識を高速で行う場合には、パターン認識用辞書２２ｂに、底面を回転させた場合の撮像データも記録することにより、識別コードと物体の方向を同時に認識することができる。なお、方向分解能をｎとすれば、パターン認識用辞書２２ｂに記録されるデータもｎ倍になるが、識別コードは画像の操作用であり、１００種類程度設ければよいのでパターンマッチングに要する時間に対する影響はほとんど認められない。さらに、例えば類似度が高い２つの識別コードの方向に関するデータは類似度に応じて内挿法を適用することにより方向に関する精度を向上させることができる。
【００６２】
すなわち、識別コード１の類似度をｒ１、方向をｄ１とし、識別コード２の類似度をｒ２、方向をｄ２とすれば、求める方向ｄは、
ｄ＝（ｒ１×ｄ１＋ｒ２×ｄ２）／（ｒ１＋ｒ２）で求めることができる。
【００６３】
パターン照合部２２ａは、パターン認識用辞書２２ｂを参照し、画像抽出部２１から受け取った物体の識別コードの情報から、類似度の高い上位２つの方向の情報を取得し、取得した２つの方向の情報を方向演算部２２ｃに渡す。
【００６４】
方向演算部２２ｃは、所定の時間間隔で所得された撮像データそれぞれから抽出された物体の配置位置の情報、および物体の方向の情報に基づいてそれぞれの時間に撮影された物体の底面の移動ベクトルを求め、その移動ベクトルから、それぞれの時間における移動方向および移動距離を求める。
【００６５】
ここでは、移動ベクトルを用いているが、これに限定されず、例えば差分画像を利用して求めることもできる。
【００６６】
画像抽出部２１により抽出された物体の位置情報、パターン照合部２２ａにより取得された識別コード、および方向演算部２２ｃにより求められた移動方向の情報は操作処理部２３に送られ、操作処理部２３は送られた情報を基に、プロジェクタ１３からスクリーン１１に投影される画像を形成する投影画像形成部２４にデータを送り、スクリーンに１１投影される画像を操作することができる。
【００６７】
スクリーン１１に投影される画像の操作は、スクリーン１１の表面側に設けられた書き込み画面１１ｂに水性ペンやマーカを用いて描画することによっても行うことができる。
【００６８】
本実施形態の画像表示装置に用いる物体の底面には予めパターンが登録された識別コードが付されているが、必ずしも識別コードである必要はない。また、底面には、必ずしも識別子を付す必要はなく、底面の形状などによって夫々の識別情報が認識できるようにしてもよい。
【００６９】
また、識別コードの撮影時にはスクリーンの投影面を白くしているが、投影される画像
の状態や、底面及び識別コードと画像とのコントラスト、それぞれからの反射光の波長域
とＣＣＤカメラの感度如何によっては、必ずしも投影面を白くする必要はない。
【００７０】
〔Ｓ４〕
図２に戻って説明する。図形認識部２６は、画像抽出部２１により２値化処理して取得されたビットマップ画像に基づき、手書き図形を解析する。なお、撮像データを投影画像形成部２４にも送出してもよい。投影画像形成部２４は、その情報により書き込み面１１ｂに書き込みがあったことを検出することができるので、所定の時間間隔で投影面１１ａを一様に白いような光画像で表示するようプロジェクタ１３を制御する。
【００７１】
このように書き込み面１１ｂの領域が一様に白くなるような光画像が投影されることにより、ＣＣＤカメラ１４により撮像された撮像データは、２値化されたときにユーザの書き込みをより鮮明に捉えることができる。
【００７２】
図１０はユーザが書き込んだ図形を２値化した撮像データの一例を示す。線図処理部２６は、ユーザにより手書きされた図形の外接方形１０１を描いてその外接方形１０１の短辺１０１ａの長さにより、図１０（ａ）に示すような波形と図１０（ｂ）に示すような直線とに区分することができる。さらに、外接方形１０１の面積と対角線の長さとの比により斜め線を区分することができる。
【００７３】
また、図形認識部２６は、２値化された撮像データから境界線追跡を行いユーザが書き込んだ図形を切り出してもよい。輪郭線追跡とは、画素の集まりである画像から，黒い画素を連続的に抽出して郭線の集まり(アウトライン)に変換する。例えば、画像内で白い画素を０-画素、そうでない画素を1-画素として画像内をラスタ走査し、
（ａ）境界上の未追跡の1-画素を探し、この画素を始点として記録する。
（ｂ）記録された画素を半時計回りに境界上の1-画素を探し、新1-画素をマーク済み(境界点)とする。
（ｃ）その新-1画素が始点に一致していなければ(b)に戻り、次の新しい境界の始点を探す。その新-1画素が始点に一致していれば(a)に戻り、別の1-画素を探し、この画素を始点として記録する。
【００７４】
これを画像データで繰り返すことにより連続した輪郭線を抽出できる。輪郭線が抽出できれば、輪郭線により形成される図形を各図形ごとに分解することができる。図形ごとの分解方法としては、二値化後細線化処理を施して輪郭線追跡を行う等、公知の技術を持って容易に実行可能である。
【００７５】
図形認識部２６は、切り出した図形について図形の種別を解析して取得する。図形の解析は、パターンマッチングにより解析してもよいし、切り出した図形を細線化して特徴点を抽出し、各特徴点を結んで得られる図形を書き込んだ図形を同定してもよい。図形認識部２６は、解析の結果、図１１に示すような種々の図形を認識する。図１１では、図形の種別の一例として、片矢印２０１、閉ループ２０２、三角２０３、四角２０４が示されている。
【００７６】
図形の形状分析の後、形状が線分であれば、その端点の座標、矢印であれば端点の始点と終点の区別、四角形であればその頂点の座標、円であれば中心座標と半径の値をメモリ上で管理する。
【００７７】
図１２は図形の種別を解析した結果の一例を示す。図１２では、図形の頂点又は中心座標をＸ軸とＹ軸における座標で表すと共に、そのサイズＬ（長さ）、Ｒ（半径）が記録されている。
【００７８】
また、形状の種類をあらわす記号、例えば単純な線分であれば０、片矢印であれば１、両矢印であれば2、四角形であれば３、円形であれば４というように予め定められた数値（文字列でもよい）が記憶されている。頂点1〜4の項目には線分であれば端点、四角形であれば頂点の、円形であれば中心を表す座標が格納されている。形状が片矢印であれば片矢印の始点の座標が常に頂点1つまり先頭の座標として格納される。サイズの欄には、線分であればその長さ、円（楕円等、閉ループであればよい）であれば半径の長さを表す数値データが格納されている。
【００７９】
図形情報として、切り出された各図形の外接矩形の左上、右下のアドレス情報を保持しておき、必要に応じて形状、端点座標等の情報を取得しても良い。
【００８０】
以上の方法により、ユーザの書き込みから書き込んだ座標や図形の種別を取得することができる。なお、図形の入力方法としては、画面上の位置を指示するためのペン型の装置と位置を検出するための装置を組み合わせたタブレットのような装置や、電子ペンによって描画点の動きを取得することによって行ってもよい。電子ペンであれば、画像処理なしに筆跡のストローク情報を取得できる。
【００８１】
〔Ｓ５〜６〕
図１３は、スクリーンの表面側に載置された物体と視認できる画像とを一例として示す図である。図１３（ａ）に示すように、スクリーンの表面側には、水の流れを模した多数の記号が記録された画像が表示されている。そして、スクリーンの表面側には、木杭または石を模した、左上方に載置されている物体４Ｂと、右下方に載置されている物体４Ａとがある。水の流れを模した多数の記号１００は、物体４Ａ、４Ｂをよけるような流れをあらわしている。そして、右下方に載置されている物体４Ａを人力で矢印Ｚ方向に移動させると、水の流れを模した多数の記号１００は、物体４Ａの移動にあわせて物体４Ａをよけるように流れの方向を変化させる。そして、物体４Ａの移動が図１３（ｂ）に示す位置で停止すると、水の流れを模した多数の記号１００は、停止した物体４Ａをよける流れに落ち着き、以後、物体４Ａ，４Ｂが移動しない限りその流れは変わらない。
【００８２】
本実施の形態は、物体の底面や書き込みを裏面から撮影して取得した識別情報、移動情報、図形に基づいて、裏面から投影されるスクリーンに表示される画像を操作する例に基づいて説明したが、これらは、必ずしも裏面から撮影する必要はない。また、識別情報、移動情報及び図形は撮影により取得しているが、必ずしも撮影によって取得されたものである必要はなく、物体から発する光や電磁波などを感知することにより取得することもできる。
【００８３】
さらに、本実施の形態では、物体の識別情報、移動情報及び図形が取得される場所と取得された情報に基づいて画像が操作される場所とが同じであるが、情報の取得場所とその情報によってコマンドが入力され、何らかのものが操作される場所とが離れていてもよい。すなわち、物体を動かすことにより取得された識別情報及び移動情報によってたとえば遠隔地にあるロボット、機械装置、情報機器などにネットワークなどを介してコマンドを送り、リモートコントロールすることもできる。
【００８４】
以上のようにして得られた図形情報と属性情報を組み合わせることで。本実施の形態の画像表示装置はコンピュータに対して操作を行い、特に図形情報に基づき物体のもつ属性情報を操作する。以下、実施例をあげて説明する。
【実施例１】
【００８５】
はじめに手書き図形と物体を関係づけて抽出するため、手書き図形と物体との距離の判定について説明する。図１４は、線分端点における所定の距離を説明するための図である。線分２１０の始点又は終点である線分端点と物体４の距離が所定の距離以下である場合の、所定の距離とは、図１４の線分２１０の端点（ｘ１、ｙ１）と物体４の中心座標（Ｘ１、Ｙ１）との距離ｌのことをいう。距離ｌが予め定めた所定画素数以内（例えば30画素以内）である場合、物体４が線分２１０の端点に存在すると判定とする。線分端点と物体中心の所定の距離は、物体底面の画像内におけるサイズや撮影カメラの解像度、スクリーンのサイズ等により変動するものでこの限りではない。
【００８６】
また、線分２１０の端点における物体４の判定基準は、図１５に示すように、物体底面の中心座標と線分端点座標の距離に加え、線分端点（ｘ１、ｙ１）と物体中心を結ぶ直線と線分２１０の方向との成す角度が、±９０度以内であるとしてもよい。なお、この角度に関しても、９０度は一例に過ぎず、操作上適切な値に適宜変更することが好適である。
【００８７】
本実施例では、電気回路のシミュレーションアプリケーションを例にして説明する。物体４１を１０Ωの抵抗、物体４２を１.５vの電源（電池）、物体４３を１０Fのコンデンサとし、物体４４以降は属性情報を定義しない。
【００８８】
図１６は、このように定義した物体の属性情報の一例を示す。図１６に示すように、１０Ω抵抗、１.５v電池、１０Fコンデンサというのが、物体４１〜４３にそれぞれ定義された属性情報である。物体４１〜４３の下部示した属性を示す記号は説明のためのものである。
【００８９】
また、属性情報記憶部には、図１６（ｂ）に示すような属性情報が記憶されている。物体ＩＤは物体の識別情報を、属性は物体に定義されている属性の内容を、属性数値は属性に大きさのパラメータがある場合はその数値を、定義許可は属性の定義（更新、初期化、変更など）が許可されているか否かをそれぞれ示す。
【００９０】
ユーザはまず、スクリーン１１上に物体４１〜４３を任意の位置に配置する。図１７は、スクリーン１１に配置された物体４１〜４３を示す。ＣＣＤカメラ１４がスクリーン１１を撮影すると、画像抽出部２１が物体４１〜４３の領域及び物体４１〜４３をそれぞれ識別する。
【００９１】
アプリケーション２４ａは、画像抽出部２１から送出された物体４１〜４３の識別情報に基づき、物体ＩＤとそれぞれの位置を認識し、抵抗、電池、コンデンサを表す記号の画像を投影画像生成部２４に表示させる。したがって、スクリーン１１には、図１７に示すように、物体４１ないし４３が配置されると共に、抵抗、電池、コンデンサを表す記号が表示される。
【００９２】
また、ユーザが図１８に示すように、マーカ等によって物体４１と物体４２と物体４３との間にそれぞれ線分２１０を描画すると、所定の時間間隔でＣＣＤカメラ１４がスクリーン１１を撮影し、図形認識部２６がそれぞれ線分２１０の端点の座標を認識する。
【００９３】
操作処理部２３は、図１３に示したように線分２１０の端点と物体の中心座標との距離を算出して、該距離が所定の画素数以下であった場合、物体が線分２１０の端点に存在すると判定し、物体４１と４２、４２と４３、及び、４３と４１が連結されたと認識する。すなわち、それぞれ属性情報を有する各物体が連結される。
【００９４】
物体は電気回路の素子に相当するので、これにより回路が構成されたことになる。物体が連結されたとの情報を受けて、アプリケーション２４ａは、抵抗や電源、コンデンサー等を表示する物体画像を生成する。また、アプリケーション２４ａは、所定の規則（電気法則等の物理法則）を参照して、抵抗や電源、コンデンサが連結された回路に基づき、算出可能な物理量、例えば各素子にかかる電圧等、を計算し計算結果を表示する画像を生成する。
【００９５】
図１９は、アプリケーション２４ａがスクリーン１１に表示した回路図の一例を示す。回路図は、スクリーン１１に併設されたサブスクリーンに表示してもよいし、スクリーン１１の一部に表示してもよい。図１９では、回路図の下方に抵抗とコンデンサに印可される電圧が計算して表示されている。図１９では物体の属性情報が電気回路に関するものであるので回路図が表示されるが、アプリケーション２４ａは物体の属性情報に応じて分子構造、ビルなどの建築物、電磁界の分布、ＤＮＡ構造、種々のシミュレーションを実行してもよいし、文字が手書きされた場合や音声入力された場合には、ＯＣＲや音声認識により認識された内容に応じて、種々のシミュレーションを実行してもよい。
【００９６】
なお、例えば、物体４１と４２のみを線分２１０で結んだ場合、電池と抵抗のみの回路として認識され抵抗にかかる電圧が計算される。このように、書き込んだ線分で物体同士の連結動作を行えるので本実施例では操作性が向上する
続いて、属性情報の定義について説明する。ユーザが物体４１〜４３を用いてスクリーン１１上への配置や手書き等を行っている際に、あらかじめ定義されている物体（たとえば電池の素子）が不足した場合は、属性の定義されていない物体を所望の属性に定義する。
【００９７】
図２０は、所望の物体の属性を他の物体に定義する手書き図形の一例を示す。属性の定義方法はどのようなものでもよいが、例えば、片矢印２０１を手書きし、片矢印２０１の始点部分に物体４２（電池）を配置し、属性定義をしていない物体４４を片矢印２０１の終点部分に配置することで行う。属性の定義が終了したら、操作処理部２３は、物体４４及び物体４２から吹き出しを作成し設定された属性情報を表示するよう投影画像生成部２４を操作することで、ユーザは属性の定義が行われたことを認識できる。
【００９８】
操作処理部２３は、片矢印２０１の始点にある物体４２の属性情報、ここでは１.５vの電池という属性情報を、片矢印２０１の終点部の物体４の属性情報として属性情報記憶部２５に定義する。以降、物体４４は１．５Ｖの電池としてアプリケーション２４ａが認識することになる。このように、手書きの片矢印で物体間の属性情報の複製ができるのでユーザによる操作性が向上する。
【００９９】
同様に、他の物体４５〜４７に属性を定義することができる。一例として、物体４５に電池、物体４６に抵抗、物体４７にコンデンサを定義した。したがって、物体４１〜４７の属性情報は次のようになる。
【０１００】
物体４１：抵抗
物体４２：電池
物体４３：コンデンサ
物体４４：電池
物体４５：電池
物体４６：抵抗
物体４７：コンデンサ
ところで、このように適当に属性情報を定義してしまうと、物体ＩＤと属性情報とが無作為に定義されユーザが扱うには適当でない。そこで、電池、コンデンサ、抵抗とそれぞれを連続した物体ＩＤで管理する方法について説明する。
【０１０１】
図２１は、物体の属性情報を入れ替えて再定義する手書き図形の一例を示す。属性情報の入れ替えは、両矢印２０２の端点部分に属性を入れ替えたい物体を配置する。したがって、図２１（ａ）のように物体４１と４２と物体を両矢印２０２の端点部分に配置した場合、操作処理部２３は、図２１（ｂ）のように物体４１が電池、物体４２は抵抗として定義して属性情報記憶部２５を更新する。
【０１０２】
同様の操作で、物体４２と物体４４、物体４３と物体４５、物体４５と物体４６とを入れ替えて定義することで、次のように、連続する物体ＩＤに同じ属性情報が定義されることとなる。手書きの両矢印で物体間の属性情報の交換ができるので、ユーザによる物体の管理作法が向上する。
物体４１、４２、４３：電池
物体４４、４５：抵抗
物体４６、４７：コンデンサ
なお、連続する物体ＩＤに同じ属性情報を定義するため複数回の操作を行うのではなく、一度の手書き図形で再定義してもよい。図２２は、連続する物体ＩＤに同じ属性情報を定義する（ソートする）手書き図形の一例を示す。ユーザは、再定義したい物体を配置しそれらを閉ループ２２０で囲むと共に、閉ループ内に左右と上下方向の両矢印２０２を手書きすることで、操作処理部２３は、物体ＩＤの昇順又は降順に同じ属性情報を順に再定義する。
【０１０３】
また、一度に同じ属性情報の物体を複数増やすこともできる。図２３は、一度に複数の物体に同じ属性情報を定義する手書き図形の一例を示す。ユーザが増やしたい属性情報をもつ物体と属性未定義の物体を複数配置し、これらを閉ループ２２０で囲むことで、煩雑な動作なく複数物体を同一属性で定義することができる。閉ループ内にある物体の属性情報をまとめて管理できるため、操作性が向上する。
【０１０４】
また、このようにユーザが物体の属性を定義できる場合、上記操作により再定義を繰り返すこともあるし、別のユーザが当該表示装置を使用する場合がある。したがって、物体の属性情報が現状どのように定義されているか知る方法が用意されていることが好適である。
【０１０５】
図２４は、物体の属性情報を調べるための手書き図形の一例を示す。ユーザは、属性情報を知りたい物体を配置し、物体から線分を描画する（設計図面の引き出し線のように）。このように描画された場合、操作処理部２３は、属性情報記憶部２５から物体１の属性情報を抽出し、例えば、線分の他端点付近に物体の属性情報を表示する画像を生成するよう投影画像生成部２４を操作する。なお、属性情報を調べるための線分か、連結するための線分かは、線分の両端に物体があるか否かにより判定できる。線分を書き込むことで物体の属性情報を閲覧できるため物体の管理、操作性が向上する。
【０１０６】
なお、手書き内容と物体の配置位置は一例に過ぎないので、物体の属性情報を調べる場合、物体を配置し該一の物体を囲む閉ループ２２０を描画してもよい。図２５は、物体を囲む閉ループ２２０を描画し物体の属性情報を調べる手書き図形の一例を示す。操作処理部２３は、１つの物体が閉ループ２２０で囲まれた場合、属性情報記憶部２５から物体１の属性情報を抽出し、例えば、線分の他端点付近に物体の属性情報を表示する画像を生成するよう投影画像生成部２４を操作する。閉ループを書き込むことで物体の属性情報を閲覧できるため物体の管理、操作性が向上する。
【０１０７】
また、種々の操作を繰り返し未定義の物体がなくなり、いずれかの物体を再び未定義状態に戻す場合について説明する。図２６は、物体を再び未定義状態に戻す手書き内容の一例を示す。例えば、物体を配置しこの物体を物体の半径ｒの2倍以下の半径Ｒの円で囲むように描画する（Ｒ≦２ｒ）。これにより、操作処理部２３はこの物体が他の物体から独立したもの、すなわち未定義であると認識し属性情報記憶部２５の属性情報を消去する。このように、円の大きさを手書き図形のパラメータに用いることで、同じ閉ループであっても別の操作内容として扱うことができる。
【０１０８】
なお、属性情報を消去することとした物体サイズの2倍以下の円は、３倍以下の円等、他の大きさの円でも良く、また、四角や三角で囲むこととしてもよい。
【０１０９】
また、例えば、上記のように閉ループ２２０で囲まれた物体は、その後属性情報を再定義禁止状態になるよう定義してもよい。これにより、例えば、消去したくない基本情報の属性情報を保持する物体を閉ループ２２０で囲っておくことで、基本情報の属性情報の消失を防止できる。再定義禁止とされた物体は、属性情報記憶部２５の定義許可が「不可」となる。閉ループで囲んだ物体を独立したものとして扱えるため操作性が向上する。
【０１１０】
本実施形態のように回路シミュレーションのアプリケーションの場合、それぞれの物体に抵抗、電池、コンデンサと定義したが、回路の場合それぞれの容量や電圧を変更する必要が生じる。容量や電圧を変更する場合、物体からの線分の長さによってその容量や電圧を定義する。図２７は、線分の長さにより容量や電圧を定義する手書き図形の一例を示す。例えば、操作処理部２３は、線分の長さが、１０画素〜２０画素は１０Ω、２０〜３０画素は20Ωというように属性情報記憶部２５の属性数値を定義する。線分の長さによって物体の属性情報の編集・定義ができるため環境に応じて柔軟な定義ができる。
【０１１１】
なお、線分の長さと定義される数値の関係は、投影面の解像度、カメラの解像度、操作性によって適宜適当な値を設定することが好適である。なお、属性を表示させるための線分か属性数値を変更するための線分かは、アプリケーション２４ａのモード設定を切り替えることや、物体のない方の端点に区別のための図形を設けることで可能となる。また、別の線種を使用してもよい。
ところで、上記のように物体間に線分が描画されると、操作処理部２３は物体を連結したものと認識する。例えば、物体４１，４２，４３を配置し、４１と４２、４２と４３、４３と４１の間に線分を描画した場合、操作処理部２３は、物体４１，４２，４３すなわち電池、抵抗、コンデンサが結線されたと認識する。
【０１１２】
電池の電源容量は1.5v一定又は変更可能であるが固定された属性数値として定義したが、物体の有する電源容量等の属性数値を、物体の位置情報や着脱に応じて任意の値に変更することもできる。位置情報とは、２次元上の位置や物体回転、移動速度や回転速度をいう。また、着脱とは、書き込み面１１ｂから物体をいったん離し再度配置することを言う。
【０１１３】
属性数値を変更する場合、例えば、物体の回転方向と角度の少なくとも一方により決定する。図２８は、属性数値を変更する手書き図形の一例を示す。アプリケーション２４ａは、物体４１，４２，４３の間の線分によりこれらが連結されたと認識する。その後、例えば、ユーザが操作して物体４２を反時計回りに回転すると、操作処理部２３は、次述のように物体の回転を検出するので、アプリケーション２４ａは電流が左回りに流れるものとして各素子の電圧値等を計算する。逆に時計回りに回転させると、回路を時計回りに電流が流れるものとして認識して、電圧値等を計算する。電流の正負を時計回り又は反時計回りにしたがって定義しておけば、電圧値の正負を定まり電流の向きも決定される。物体の回転方向や角度によって物体の属性情報の編集・定義できるのでより直感性が高くなり操作性が向上する。
【０１１４】
物体の回転に基づき操作を検出する方法について説明する。例えば、カメラのフレームレートを7.5fpsとした場合、線分描画終了後から2秒程度すなわち15枚の時系列に並んだ画像内で、物体底面の識別パターン画像が例えば90度以上回転している場合、これを回転していると認識する。
【０１１５】
15枚の画像中で、90度以上10度ごとに電圧値を少しずつ（例えば0.5Vずつ）上げると、線分描画と物体配置後の回転動作により、電流方向と電圧値を任意に設定することが出来る。この回転角度や方向を決定する時間や角度のステップはカメラのフレームレートやアプリケーション上での操作性を考慮し、適切な値を設定することでよりスムーズな操作が可能になる。
【０１１６】
回転方向や回転角度決定の方法は、回転の方向別に予め辞書に登録されたテンプレートとのマッチングにより、各画像内での方向を容易に同定できる。
【０１１７】
なお、図２８では物体間を線分で連結したが、複数の物体を閉ループで囲み、その後、物体の回転が検出された場合に、属性数値を変更してもよい。
【０１１８】
続いて、物体の着脱動作に基づき操作を検出する方法について図２９のフローチャート図に基づき説明する。図２９のフローチャート図では、コンピュータでいえばダブルクリックに相当する、所定時間内に物体が２回着脱されたか否かを判定して、予め定められた処理を行う。
【０１１９】
ユーザが物体を配置し線分を描画し各物体が連結された場合、アプリケーション２４ａは、回路図が組まれたことを認識する。アプリケーション２４ａは、この段階では各素子の電圧値等を計算せず待機状態にある。
【０１２０】
ユーザが物体を持ち上げた場合（Ｓ１１）、物体があった位置に物体の画像が検出されなくなる。物体が画像から検出されなくなると、タイマー１の作動を開始する（Ｓ１２）。操作処理部２３は、着脱回数を表すカウンタcountに０を設定する。
【０１２１】
カウンタcountに０が設定されると、アプリケーション２４ａは物体があった位置に同じ属性情報の物体が所定時間内（例えば1秒以内）に再び配置されるか否かを監視する（Ｓ１３）。物体があった位置は、ユーザが描画した線分の端点から所定の距離以内か否かで判断すればよい。
【０１２２】
同じ属性情報の物体が配置された場合、アプリケーション２４ａはcountを１つインクリメントし、countに１を設定する（Ｓ１４）。
【０１２３】
次いで、countが２か否かを判定する（Ｓ１５）。countが２の場合、次述のように着脱に応じて設定された処理を開始する（Ｓ１０）。
【０１２４】
countが２でない場合、タイマー２の作動を開始する（Ｓ１６）。タイマー２の作動のタイミングは例えば、物体が置かれた時である。なお、タイマー２が作動する場合は所定時間以降に物体が置かれるか又は物体が置かれない場合となる。物体が置かれない場合、タイマー１を監視して所定時間以上経過した場合にタイムアウトと判定し、図２６のフローチャート図を最初から繰り返す。
【０１２５】
次いで、アプリケーション２４ａは、所定時間内（例えば１秒以内）に配置された物体が取り去られるかどうかをタイマー２に基づき監視する（Ｓ１７）。
【０１２６】
所定時間内に物体が取り去られた場合、ステップＳ３に戻り、同じ属性情報の物体が配置されるかどうかを監視する（Ｓ１３）。所定時間内に物体が配置された場合はcountを１インクリメントする（Ｓ１４）。したがって、所定時間内に物体が２回、脱着された場合、countは2になる。
【０１２７】
count=2であれば（Ｓ１５）、所定の時間内に2度の着脱が行われたとして処理を開始する（Ｓ１０）。ステップＳ１０で行われる処理はどのように定義されていてもよいが、例えば、アプリケーション２４ａが各素子の電圧値等を計算する。
【０１２８】
以上のように、マウスのダブルクリックで決定するといった感覚で、物体の着脱に基づき、ユーザの操作の決定をすることが出来る。なお、設定した所定時間は、カメラのフレームレートやアプリケーション操作性により変動するものであり、適宜適切に設定するのが好ましい。また着脱回数に関しても同様であり、回数の違いにより処理を変えるといったことも可能である。物体の着脱回数によって、図形の種別による操作内容を変更できるため、より操作性が向上する。
【０１２９】
なお、図２９のフローチャート図では物体間を線分で連結する場合を説明したが、複数の物体を閉ループで囲み、物体の着脱が検出された場合に、ユーザの操作の決定してもよい。
【０１３０】
これまで、ユーザによる描画が書き込み面１１ｂに描画された状態でユーザの操作を検出する場合について説明したが、属性情報を未定義の物体に定義したり、属性情報を複製や交換した場合、矢印等の描画図形を消去しても、属性情報の再定義が行われた物体は、その定義情報が保持することが好ましく、また、一般的である。したがって、本実施例では、矢印等の描画を消去しても物体の属性情報は保持される。なお、ユーザが替わった場合や、アプリケーション２４ａが別のアプリケーションを再読込したような場合、操作処理部２３が属性情報記憶部２５の属性情報を消去すれば、ユーザを煩わせることなく、同じ物体を複数のユーザやアプリケーションで利用可能となる。
【０１３１】
また、描画だけでなく物体についても同様に、物体をスクリーン１１から取り除いた場合、定義された属性情報や物体の属性情報に応じて検出された回路構成等は保持される。したがって、例えば、物体を移動させた場合でも、定義された属性情報や物体の属性情報に応じて検出された回路構成等は保持される。なお、物体の移動とは、例えば、線分の端点領域もしくは閉ループの領域内にＡ〜Ｂ秒間に再度検出される場合をいい、取り除きとはＢ秒以上経過しても物体が検出されない場合をいう。
【０１３２】
定義された属性情報や物体の属性情報に応じて検出された回路構成等を保持するか否かは設計事項であるので、 描画を消去したり、物体を取り除き又は移動した場合、定義された属性情報や物体の属性情報に応じて検出された回路構成等を消去することとしてもよい。
【０１３３】
以上のように、物体及びユーザの描画した図形を検出し、図形に基づいて物体の属性情報の編集・定義を行うことによって、ユーザの直感を活かした、より柔軟なヒューマンコンピュータインタラクションを実現することが出来る。
【実施例２】
【０１３４】
本実施例では、例えば都市におけるビル風をシミュレートする画像表示装置について説明する。スクリーン１１に風を表す物体を配置し風の向きを示す図形を描画をすれば、アプリケーション２４ａは、スクリーン１１に風のシミュレーションが行われていると認識できる。
【０１３５】
図３０は、風のシミュレーションにおいてスクリーン１１に配置される物体と描画される図形の一例を示す。図３０（ａ）は、ユーザが物体５１を置き物体５１から所定範囲内から片矢印２０１を描画した図を示す。
【０１３６】
物体５１の属性情報は、属性情報記憶部２５に定義されており、アプリケーション２４ａは、例えば、スクリーン上に物体５１を検出されると空気の流れを表す物体が置かれたと認識する。また、操作処理部２３は、物体５１から所定距離以内に片矢印２０１の図形を検出するので、アプリケーション２４ａは片矢印２０１の方向に空気が流れていると認識する。アプリケーション２４ａは、空気の流れを示す画像を生成し投影画像形成部２４に送出し、プロジェクターから空気の流れを示す画像がスクリーン１１に投影される。図３０（ｂ）は、物体５１を及び描画に基づき投影された空気の流れを示す画像の一例を示す。
【０１３７】
空気の流れの強さは、片矢印２０１の長さにより調整できる。図３０（ｃ）のように、片矢印２０１が長い場合、アプリケーション２４ａは長さに応じて強い流れの空気を示す画像を生成する。アプリケーション２４ａは、図３０（ｄ）のように、風の流線を長くしたり線を太くしてスクリーン１１に投影する。
【０１３８】
なお、低気圧や高気圧、台風、梅雨前線等の属性情報を有する物体を定義し、これらをスクリーン１１に配置して、気象状態をシミュレーションしてもよい。
【０１３９】
本実施例によれば、物体の配置と簡単な描画だけで、風の向き及び強さを定義して風のシミュレーションが可能となる。また、風の向きや強さを片矢印の向きと長さを変えるだけで簡単に再定義できるため、環境や使用場面に応じた属性情報の定義ができる。
【実施例３】
【０１４０】
これまでは、スクリーン１１の場所を指定せずに物体が配置された場合、予め定めた属性情報や図形の定義に応じてアプリケーション２４ａが操作を認識することとしていた。本実施例では、ユーザが定める閉ループにおいて物体の属性情報が有効になる画像表示装置について説明する。
〔閉ループを先に描画した場合〕
図３１（ａ）は、ユーザが描画した閉ループを示す。本実施例では、当該閉ループでのみ、物体に定義された属性情報が有効になる。図３１（ｂ）に示すように、ユーザが物体４１〜４４を閉ループ内に配置すると、物体４１〜４４に定義されている属性情報に基づきアプリケーション２４ａが所定のシミュレーション等を開始する。
【０１４１】
操作処理部２３は、閉ループの図形情報に基づき閉ループの図形画像を生成するよう投影画像形成部２４を操作する。したがって、投影面１１ａに手書きした閉ループに重畳するように閉ループの図形画像が投影される。
【０１４２】
また、物体に定義された属性情報を有効にしたのは当該閉ループであるので、閉ループを消去すると、物体に定義された属性情報も無効となる。また、閉ループの図形画像も消去される。
【０１４３】
本実施例によれば、ユーザが所望の範囲を設定し、物体又は図形の描画による操作が有効な領域を決定することが可能になる。したがって、例えば、物体又は図形による操作が有効な領域をソフトウェアの設定画面（ウインドウやダイアログの範囲）やマウスやキーボードから設定する必要がない。また、スクリーン１１を閉ループで分割して複数のシミュレーションを行うことができる。
〔物体を先に配置する場合〕
図３１では先に閉ループを描画してから物体を閉ループ内に配置することとしたが、先に物体を配置してから閉ループを描画した場合も閉ループ内に配置された物体又は描画による操作が有効な領域を決定できる。
【０１４４】
図３２（ａ）は、ユーザが配置した複数の物体を、図３２（ｂ）は物体を囲んで描画した閉ループを、それぞれ示す。物体４１〜４３を閉ループで囲むことで、当該閉ループでのみ、物体に定義された属性情報が有効になる。ユーザが物体４１〜４３を閉ループで囲むと、物体４１〜４３に定義されている属性情報に基づきアプリケーション２４ａが所定のシミュレーション等を開始する。
【０１４５】
また、属性情報を有効にしたのは物体のある位置と当該閉ループであるので、図３２（ｃ）のように、物体を移動すると属性情報が有効な範囲も変更する。この場合、操作処理部２３は記憶されている閉ループの図形情報に基づき、移動された物体を囲む閉ループの図形画像を新たに生成するよう投影画像形成部２４を操作する。また、手書きした閉ループが消去されても閉ループの図形情報は記憶されているので、生成された図形画像は消去されない。
【０１４６】
また、物体のある範囲が属性情報の有効範囲なので、閉ループが消去されても、物体に定義された属性情報は無効とならない。
〔物体を先に配置する場合と閉ループを先に描画した場合とで作用が異なる場合〕
また、先に図形を描画してから物体を配置する場合と、先に物体を配置してから図形を描画した場合とで、アプリケーション２４ａが行う作動内容を変えてもよい。
【０１４７】
例えば、図形描画が先でその後物体が配置された場合、アプリケーション２４ａは動作Ａを行い、物体配置が先でその後図形描画が行われた場合、アプリケーション２４ａは動作Ｂを行うというように、作動内容を変更する。
【０１４８】
閉ループを描画してから閉ループ内に物体を複数配置した場合、閉ループ内のみで物体の属性情報が有効になる（動作A）。そして、ある属性情報をもつ物体と属性情報が未定義の複数物体を囲むように閉ループを描画した場合、閉ループ内の複数物体は同じ属性情報をもつものとして属性情報記憶部２５に定義される（動作B）。したがって、閉ループ内に複数の物体があるという状態は同じであっても、物体が先か閉ループが先かに応じて、操作を区別することができる。
【実施例４】
【０１４９】
実施例１〜３においては取得した図形の種別や大きさに基づき物体の属性情報の定義や再定義、属性数値の定義を行う方法について述べた。本実施例では、物体の属性情報に基づき図形を表示する図形画像を生成する画像表示装置について説明する。
【０１５０】
図３３は、本実施例における属性情報記憶部２５の一例を示す。本実施例では、属性情報が図形画像の内容を指定する情報として、実線、点線、塗りつぶし、消去等が記憶されている。したがって、配置される物体に応じて図形の線種を操作したり、消去したりすることができる。
【０１５１】
実線の属性情報を有する物体６１と、点線の属性情報を有する物体６２とがあるものとする。ユーザが書き込み面１１ｂに任意の形状の線分を描画し、線分の端点部分に物体６１を配置する。図３４（ａ）は書き込み面１１ｂに描画された任意の形状の線分をしめす。図形認識部２２は、ＣＣＤカメラ１４で撮影した撮像データから線分２１０の図形を抽出する。
【０１５２】
ユーザが、図３４（ｂ）に示すように、線分２１０の端点部分に物体６１を配置すると、物体認識部２２は物体６１の識別情報を取得し、次いで操作処理部２３が物体６１の属性情報（実線）を属性情報記憶部２５から抽出する。操作処理部２３は、ユーザが手書きした線分に例えば重畳するように実線２２５の図形画像を描画するよう投影画像生成部２４を操作する。
【０１５３】
図３４（ｃ）は、投影画像形成部２４からプロジェクタ−１３に表示された実線（図形画像）２２５の画像の一例を示す。なお、図３４（ｃ）ではユーザが手書きした線分を省略した。
【０１５４】
また、例えば、ユーザが手書きした線分又は投影画像生成部２４が投影した線分の端点部分に物体６２を配置した場合、操作処理部２３は物体６２の属性情報（実線）を属性情報記憶部２５から抽出し、図３４（ｄ）に示すように線分を点線２３０の図形画像として表示する。
【０１５５】
同様の図形描画をコンピュータ上で行う場合、線分２１０を描き、メニューやコマンドボタンから線種を選択し変更するという操作が必要となるため、この操作を行うコマンドの場所やメニューを探すことが必要となり、マウスによる操作にしてもタッチパネル上で操作する場合においてもその煩雑さは否めない。
【０１５６】
これに対し本実施例のように所定の属性情報が定義された物体の配置のみによって同様の操作が可能である場合、ユーザは直感的に操作が行えるため、作業性が向上する。
【０１５７】
また、本実施例では線分の描画だけでなく閉ループを手書きし物体を閉ループ内に配置した場合にも、予め定義された物体の属性情報に基づき、描いた閉ループの線種の変更やや塗りつぶしといった図形を生成して表示できる。
【０１５８】
なお、物体の属性情報を手書きした図形に反映させた場合、物体を取り除くことで、投影された線分の表示を終了してもよいし、投影を継続してもよい。また、物体を移動させた場合、属性情報（例えば、線種）は保持してもよいし、消去してもよい。
【０１５９】
続いて、物体の属性情報に応じて投影された画像を、取り消す場合について説明する。物体６３が塗りつぶしの属性情報を有するものとし、物体６３を手書きした閉ループ内に配置する。
【０１６０】
図３５（ａ）は、閉ループ内に配置した物体６３を示す。図形認識部２６は閉ループの図形を認識し、物体認識部２２は物体６３の識別情報を取得する。操作処理部２３は物体６３の属性情報（塗りつぶし）を抽出すると共に、図３５（ｂ）に示すように閉ループの図形画像を単色に塗りつぶすよう投影画像生成部２４を操作する。
【０１６１】
物体６３のように塗りつぶしの属性情報を有する物体の場合、回転に応じた属性が定義されることが好適である。例えば、所定時間内（例えば5フレーム）の回転角度が30度以内の場合、物体６３を回転させることで塗りつぶし色が変更できる。所定時間内の回転角度が30度以上の場合、塗りつぶす色を選択したものとして、例えば直前の表示色で閉ループを塗りつぶす。
【０１６２】
所定時間が経過しても３０度以上の回転が検出されない場合、色を変えて塗りつぶしを行わない。また、物体６３を取り除いた場合、物体の属性情報により塗りつぶす前の状態、すなわち描画した状態に戻ることになる。
【０１６３】
なお、回転方向や角度情報の検出は、実施例1に記載したものと同様であり、物体の、この回転方向や角度によって属性の変更、決定、取消が可能になり直感的な操作方法が実現できる。
【０１６４】
以上のような方法を用いることで塗りつぶしの操作性が向上する。同様のことをソフトウェアで行うと、赤い塗りつぶしがなされた後、マウス操作によって取消コマンド、決定コマンドを選択するといった操作を行う必要があり、操作の方法を知っていないと塗りつぶしの取り消しを行えない。本実施例では、塗りつぶしを物体６３を配置して行い、また、その取り消しを物体を回転させるだけで行うことができるので、塗りつぶしの取りけしや、色の変更を簡単に行うことができる。
【０１６５】
また、塗りつぶしの色の設定や取り消しを図２９のフローチャート図で説明したように所定時間の着脱で行ってもよい。例えば、着脱が１回で色を切りかえ、着脱が２回で塗りつぶしを取り消す等の操作が可能となる。
【０１６６】
なお、塗りつぶしの取り消しは取消用の物体を用いてもできる。この場合、塗りつぶし取り消しの属性情報を有する物体を選択して配置する。
【０１６７】
描画した図形を消去すると投影画像生成部２４による表示も消去してもよいし、投影画像生成部２４により一度描画したものを消すためには消去用の物体や別の操作を要することとしてもよい。図形情報の消去に対応して投影画像生成部２４が行う処理を適切に設定することで、高い操作性を実現することが出来る。
【０１６８】
以上のように本実施の形態の画像表示装置では、物体の属性情報を定義できるので、柔軟に操作ができる画像表示装置を提供できる。また、物体と共に手書き図形を書き込むことで、電気回路や風向きなどのシミュレーションを簡単に行うことができる。物体の識別だけでなく、回転や移動、着脱などを判定することで、ユーザは柔軟で直感的に操作を行うことができる。また、物体は、手書き図形の線種や色、塗りつぶしなどの属性を変更できるので、直感的な操作で画像を編集できる。
【０１６９】
〔第２の実施形態〕
第１の実施形態で用いた物体の底面に設けられた識別コードは、物体の回転を考慮しても一意なパターンを形成する形状であった。しかしながら、このような識別コードでは、（ｉ）物体の回転角度に応じてパターンが変化するため回転角度毎に識別コードの形状を辞書に登録しておく必要があること、
（ｉｉ）物体の回転を考慮しても一意なパターンを識別コードとする必要があるため登録可能な識別コードの数が限られてしまうこと、
（ｉｉｉ）物体の認識には物体底面の全体を走査する必要があること、といった不都合がある。
【０１７０】
そこで、第２の実施形態では、物体の識別コードとして円形状の１次元バーコード（以下、サーキュラバーコードという）を設け、物体の識別情報や移動に基づきコマンドの入力が可能な画像表示装置について説明する。なお、画像表示装置の概略図は図１と同様であるので説明は省略する。
【実施例５】
【０１７１】
図３６は、本実施例における画像表示装置の機能図を示す。図３６において図２と同一構成部分には同一の符号を付しその説明は省略する。本実施例の画像表示装置２は、ＣＣＤカメラ１４が物体属性情報取得部３３に接続され、物体属性情報取得部３３がアプリケーション２４ａ及び投影画像形成部２４に接続される。
【０１７２】
物体属性情報取得部３３は、物体領域抽出部３０、極座標テーブル３２及び物体認識部２２を有し、アプリケーション２４ａは操作処理部２３及び操作対応テーブル３１を有する。
【０１７３】
物体領域抽出部３０は、ＣＣＤカメラ１４により撮影された画像データから物体の識別コードを抽出する。物体認識部２２は、物体領域抽出部３０が抽出した識別コード（パターン）を解析して、ＩＤコード、白色部の位置を認識する。なお、操作対応テーブル３１は、図２の属性情報記憶部２６に相当するものであり、後述するようにＩＤコード等に対応づけて操作処理部２３の操作内容が記録されている。また、図３６には、画像抽出部２１及び図形認識部２６がないが、本実施の形態では画像抽出部２１の機能は物体領域抽出部３０が有する。また、図形認識部２６は簡単のため省略したにすぎず、本実施の形態においても図形認識部２６を物体属性情報取得部３３に適用して、手書き図形を認識する。
【０１７４】
本実施例の識別コードについて説明する。図３７は物体に貼付される識別コード（サーキュラバーコード）の一例を示す。サーキュラバーコード３０１は、物体の所定面に貼付、書き込み若しくは彫り込まれ、また、電子ペーパ等により形成される。
【０１７５】
サーキュラバーコード３０１は、所定点を中心に１次元のバーコードを円形に配置したバーコードである。１次元バーコードは縞模様状の線の太さ及びその間隔によって数値等を表すバーコードであるが、サーキュラバーコード３０１のバーは円形に配置されているため、中心から半径方向の距離に応じて線及び間隔が太くなる。すなわち、バーコードの各線はくさび状の形状となる。
【０１７６】
サーキュラバーコード３０１は、バーコードの開始点３０１ｓと終了点３０１ｅの判別を容易にするため、また、物体の方向識別のため、白の部分を長く取ってあることが特徴である。
【０１７７】
サーキュラバーコード３０１は、書き込み面１１ｂに書き込むペンよりも濃度の高い色で構成することにより、ペンで書き込まれた書き込み面１１ｂに物体があってもその濃度により物体位置を識別することが可能となる。なお、影やペンと異なる識別可能な色を用いてもよい。
【０１７８】
物体領域抽出部３０の処理手順について図３８のフローチャート図に基づき説明する。
Ｓ１０１
ＣＣＤカメラ１４に撮影された画像データは順次、物体領域抽出部３０に送出される。物体領域抽出部３０は、取得された撮像データの画素のRGB情報を１画素ずつ取得し、各画素の画素値（例えば、ＲＧＢであれば各色０〜２５５の値）を所定の閾値で判別し、画素値がある閾値以下の画素を1-画素、それ以上のものを0-画素とする。
【０１７９】
図３９は、物体が撮影された画像データを所定の閾値に基づき1-画素、０-画素に置き換えた画像データの一例を示す。
Ｓ１０２
物体領域抽出部３０は、画像データの各フレームごとにラスタ走査し、x軸方向の射影をとる。この処理により、x軸方向に1と0の画素の列ができる。図３９に示すように、ｘ軸において物体がある領域は１-画素が並ぶようになる。
Ｓ１０３
ｘ軸方向に連続した1-画素の並びが、所定の値Lmin画素以上存在するｘ座標の領域を抽出する。そして、当該領域内において（複数あればすべて）、ｙ軸方向に射影をとる。図３９に示すように、ｙ軸において物体がある領域は１-画素が並ぶようになる。
【０１８０】
所定の値Lminは、サーキュラバーコード３０１のおよその直径である。撮影された画像データ中のサーキュラバーコード３０１のサイズは既知であるので、Ｌｍｉｎは物体底面のサーキュラバーコード３０１の大きさとＣＣＤカメラ１４の画角に基づき決定される。すなわち、1-画素の並びがLminより小さい場合、抽出対象であるサーキュラバーコード３０１ではないと判定できるので、Lmin画素以上の幅のものを対象とする。
【０１８１】
Ｓ１０４
次に、ｙ軸方向の0-画素と1-画素の並びにおいて、連続した1-画素の並びがLmin画素以上Lmax画素以下である個所の中心座標を取る。ここで取得された中心座標のｙ座標が、物体底面の中心座標のｙ座標posｙとなる。なお、Lmaxは、所定の誤差を考慮した場合のサーキュラバーコード３０１の1つあたりのサイズの最大値である。
【０１８２】
Ｓ１０５
y方向の射影における1-画素の連続した並びがLmin画素以上Lmax画素以下である領域で、再びx方向への射影をとり、連続した1-画素の並びがLmin画素以上Lmax画素以下である領域の中心座標を取る。これにより、サーキュラバーコード３０１のx座標posxが取得できる。
【０１８３】
Ｓ１０６
得られたposx,posyを中心とする半径rの円の外接矩形を切り出す。半径ｒは既知であるサーキュラバーコード３０１の半径の大きさであるので、これにより図３７のようなサーキュラバーコード３０１の画像が得られる 。
【０１８４】
続いて、物体認識部２２の処理手順について図４０のフローチャート図に基づき説明する。物体領域抽出部３０により抽出されたサーキュラバーコード３０１の画像は物体抽出部２２に送られる。物体認識部２２は、サーキュラバーコード３０１のパターンを解析して、ＩＤコード、白色部の位置（方向）を認識する。
Ｓ２０１
物体認識部２２は、物体領域抽出部３０にて抽出されたサーキュラバーコード３０１の中心（posx,posy）から任意のｎドットのある点を開始点とし、開始点から定められた円周方向に円状に順に画素値を取得する。
【０１８５】
図４１は物体認識部２２が円周方向に画素を走査して処理するパターン解析を説明するための図である。図４１（ａ）に示すように、物体認識部２２は、サーキュラバーコード３０１の中心（posx,posy）からｎドットのある点を開始点として時計回りに画素を走査している。
【０１８６】
円周方向の画素の操作は、中心（posx,posy）及び開始点に基づき順次画素を抽出してもよいが、図４２に示すように、極座標テーブルを参照すればＣＰＵの演算量が低減できる。図４２の極座標テーブルは、中心からのドット数ｎに応じて（半径がｎドットの場合の）、円周上の位置の座標がテーブルとして登録されている。
【０１８７】
物体認識部２２は、円周上の点の画素値を所定の閾値に基づき判別し、閾値以下の画素を1-画素、それより大の画素を0-画素と変換する。これにより、円周を1回りすると1本の1-画素と0-画素の並びができることになる。図４１（ｂ）は、１-画素を黒、０-画素を白で示している。図４１（ｂ）のような画素の並びをその長さに応じて１、０のランレングスに変換する。
【０１８８】
Ｓ２０２
図４１（ｃ）に示すように、1-画素と0-画素の並びの列は、方向識別のための0-画素の連続領域（方向識別部）とＩＤコード識別のための0-画素と1-画素からなるバーコード部とに分かれる。物体認識部２２は、ランレングス化された画素の並びから、0-画素が最大に連続する領域の位置を検出する。すなわち、0-画素の連続領域（方向識別部）の距離及びその位置を測定することでこのサーキュラバーコード３０１の白色部の位置（以下、単に方向という）がわかる。
【０１８９】
ランレングス化の際に出来る0-画素の列、1-画素の列の長さを計測し、最も長い白のランを探索する。半径ｎドットの円の座標列のすべてのスキャンが終了した時点で、1-画素の列の長さ、0-画素の列の長さも数え終わっている。
【０１９０】
Ｓ２０３
ついで、物体認識部２２は、最も長い０-画素の列が最後の画素列であるかどうかを判別する。
【０１９１】
Ｓ２０４
最後の画素列でない場合、最長の０-画素の列の直後の１-画素が開始点となる。
【０１９２】
Ｓ２０５
最も長い０-画素の列が当該画素列の最後尾であった場合、当該画素列の先頭の画素値が０-画素か否かを調べる。
【０１９３】
Ｓ２０６
当該画素列の先頭の画素値が０-画素である場合、直後の１-画素が開始点となる。
【０１９４】
Ｓ２０７
当該画素列の先頭の画素値が０-画素でない場合、現在の点が開始点となる。
【０１９５】
Ｓ２０８
ついで、物体認識部２２は、バーコード部のランレングスに基づきＩＤコードを検出する。
【０１９６】
図４０の処理手順では、画素を一旦ランレングスに変換してから、方向識別部の探索、バーコード部の解析、という3段階の手順となる。しかしながら、実際はバーコード部における0-画素の最大の連続数（これをZmaxとする）は既知であるので、ランレングス化と同時に方向、ＩＤコードを取得することが可能である。
【０１９７】
図４３は、物体認識部２２の処理手順の別形態を示すフローチャート図である。
【０１９８】
Ｓ３０１
物体領域抽出部３０により抽出されたサーキュラバーコード３０１の画像が図３７のようであった場合、鉛直方向の点から走査をスタートし、0-画素が最大に連続する領域を探索する。
【０１９９】
Ｓ３０２
物体認識部２２は、順に円周上の画素の値を取得し、0-画素がZmax＋1に達した時点で方向識別部であることがわかる。
【０２００】
Ｓ３０３
物体認識部２２は、次に現れる1-画素がバーコード部の開始点と判定する。またこのバーコード部の開始点の1つ手前の画素が方向判別部の最終点であると判明するので、この時点でサーキュラバーコード３０１の方向が識別できる。
【０２０１】
Ｓ３０４
物体認識部２２は、サーキュラバーコード３０１を１周走査し、バーコード部のランレングスに基づきＩＤコードを検出する。
【０２０２】
バーコード部の開始点から順番に1-画素、0-画素の並びを取得すれば、この１、０の並び自体がＩＤコードを表しているので、1度の走査でＩＤコード及び方向を取得できる。
【０２０３】
このように、本実施の形態では、物体認識部２２はサーキュラバーコード３０１を検知するためのパターンマッチング等のための辞書を必要としない。また、画像データの各フレーム毎に方向を取得することで物体の回転を検出することができる。
【０２０４】
以上の処理によって得られた、物体の物体情報（位置、方向、ＩＤコード）はアプリケーション２４ａの操作処理部２３に送られる。
【０２０５】
続いて、アプリケーション２４ａについて説明する。アプリケーション２４ａの操作処理部２３は、物体情報に基づきプロジェクタ１３から投影する画像を制御する。操作処理部２３の機能は、実施の形態１と同様である。
【０２０６】
実施の形態１では、操作処理部２３が物体の属性情報に基づき、投影画像制御部２４が投影する画像を操作し、また、アプリケーション２４ａが属性情報に応じた処理を行いその処理結果が投影する画像に反映された。
【０２０７】
本実施の形態においても同様に、アプリケーション２４ａは走査処理部２３により、物体情報に応じて画像を操作し、また物体情報に応じた処理を行いその処理結果を画像に反映させる。
【０２０８】
アプリケーション２４ａが有する操作対応テーブル３１には、物体情報に対応づけて画像操作の内容が記録されている。図４４は、操作対応テーブルの一例を示す。操作対応テーブルには、ＩＤコード、位置、方向に対応づけて、画像の操作内容が記録されている。
【０２０９】
例えば、ＩＤコードが１の物体が（Ｐｏｓｘ１、Ｐｏｓｙ１）に方向ｄｉｒ１を向いて載置された場合、操作処理部２３は（Ｐｏｓｘ１、Ｐｏｓｙ１）にｄｉｒ１の方向の画像１を描画する。同様にして、ＩＤコードが２の物体が（Ｐｏｓｘ２、Ｐｏｓｙ２）に方向ｄｉｒ２を向いて載置された場合、操作処理部２３はｄｉｒ２の方向の画像２を３秒間だけ描画する。また、ＩＤコードが３の物体が（Ｐｏｓｘ３、Ｐｏｓｙ３）に方向ｄｉｒ３を向いて載置された場合、操作処理部２３は（Ｐｏｓｘ３、Ｐｏｓｙ３）の位置に画像３を点滅させる。画像１〜３は、予め登録されているかユーザが指定して表示できる。
【０２１０】
なお、図３６の例では、アプリケーション２４ａが物体情報と操作処理を対応づける操作対応テーブル３１を保持しているが、操作対応テーブル３１は物体属性情報取得部３３が保持していてもよい。図４５は、物体属性情報取得部３３が操作対応テーブル３１を保持する場合の画像表示装置の機能図を示す。操作対応テーブル３１にはアプリケーションと物体のＩＤコードが対応づけて登録されており、物体認識部２２は、物体認識後、操作対応テーブル３１を参照し、現在開かれているアプリケーションの操作対応テーブルのみをオープンし、アプリケーション２４ａに渡す。
【０２１１】
本実施の形態では、物体に貼付等する識別コードをサーキュラバーコード３０１により構成するだけであるので、第１の実施形態で説明した画像操作と同様な操作を行うことができる。すなわち、サーキュラバーコード３０１によるＩＤコードに電池、抵抗、コンデンサ等の属性を対応づけてもよい。この場合、サーキュラバーコード３０１を有する物体を線分で結べば回路図が操作処理部により回路図が表示される。また、物体の片方向矢印で結べば属性を他の物体の属性をコピーできる。また、２つの物体を両方向矢印で結べば双方の物体の属性を入れ替えることができる。また、複数の物体をループで囲めば、連続するＩＤコードの物体に同じ属性を定義でき、また、属性が未定義の物体には属性を定義できる。また、物体から線分を引いたりループで囲めば物体情報を表示したり、属性を未定義に初期化できる。また、物体から引いた線分の長さや物体を回転させることで、属性の数値を定義できる。また、物体を所定の時間内に置いたり取り除くことで、アプリケーション２４ａに所定の処理を指示するトリガーとすることができる。また、ユーザが書き込み面１１ｂに書いた線分を物体に基づき制御して描画することができる。
【０２１２】
本実施の形態によれば、物体の識別コードとしてサーキュラバーコードを使用して、 中心から任意の半径の円周上を走査しランレングス化することによってバーコードを認識し、その数字(ＩＤコード)を取得することができる。バーコードは識別数が多いので、種々の物体情報を登録できる（例えば、数万）。また、方向識別部があるので、物体の向きも容易に判別できる。また、バーコード部は単なる2進数を表しているため、適宜ｎ進数に変換すれば、用途に応じたＩＤコードとして利用できる。サーキュラバーコードは中心から任意の半径の円周上を走査すればよいので、物体の底面全面を認識用の図として使用する必要がない。また、本実施の形態ではＣＣＤカメラ１４の解像度はバーコード部が識別可能な程度であればよく、識別する物体を増やすためにＣＣＤカメラ１４の解像度を必要以上に上げ、パターンマッチング用のパターン数が増大することもない。また、本実施の形態では、ＣＣＤカメラ１４の解像度を上げれば識別可能なバーの幅を細くできるので、登録可能な物体情報の数を増大させることができる。
【実施例６】
【０２１３】
画像表示装置は識別コードにより物体を識別するが、ＴＵＩの場合ユーザもその物体がどのような情報を有するのか認識する必要がある。ユーザは例えば、文字等により記述された物体の情報（例えば、ビルの形等）を認識することができるが、より直感的に認識するために意匠的に物体を表現することが好ましい。
【０２１４】
すなわち、物体の識別コードに基づき表示する画像を操作する場合、物体の示す情報が変わったり、TUIを利用するアプリケーションが変わった場合、その目的に応じて物体の形状を作成しなければならない。
【０２１５】
この点、図４６のように、画像を投影面１１ａの前方から投影するフロントタイプの場合、物体に対して、その物体の表す情報（図形、文字等）を投影することで、物体の形状を作り変えずとも同じ物体で種々の形状（外観）とすることができる。
【０２１６】
しかしながら、フロント投影では、ユーザが物体を操作する際には、投影光をさえぎってしまい視認性を落とすという問題がある。このような点に鑑みると、背面投影において、汎用の物体を用いてユーザが物体を識別可能にすることでより操作性・視認性が向上する。
【０２１７】
まず、本実施例では、側面がミラー状の反射面からなる円筒物体を物体として用いる。なお、機能図は図２又は図３６若しくは図４５のいずれを用いてもよい。
【０２１８】
図４７は、ユーザの視線と書き込み面１１ａに載置された円筒物体との概略の関係を示す図である。
【０２１９】
円筒物体４０１は側面がミラーのため、周囲の風景が側面に映し出されることになる。ユーザが画像表示装置を使う際、一般的には30〜60°程度の角度で円筒物体を見ることになる。この際、円筒物体の側面のミラー面には円筒物体の載置されている書き込み面１１ａに投影された画像が映し出されて見える。
【０２２０】
ただし、円筒形状の側面に映し出された画像は、平面→曲面への変換がされ、ゆがんだ画像となる。本実施例では、円筒形状の側面に映し出された画像を利用するため、書き込み面１１ａ上の円筒物体の周囲に、円筒物体のミラー面上で正しく（ゆがまずに）映し出されるような歪み画像（以下、アナモルフォース画像という）を投影することで、ユーザは個々の円筒物体を区別することができるようになる。
【０２２１】
図４８は、書き込み面１１ａに投影されたアナモルフォース画像が円筒に映し出される様子を示す図である。図４８に示すように、ゆがんでいるアナモルフォース画像が円筒面に映し出されると正しく表示される。
【０２２２】
円筒物体の円の半径や高さ等の物理形状は既知であるから、物体の側面上で正しく像を結ぶようなアナモルフォース画像への変換式は一意に決まり、これに投影する画像を入力することで、投影すべきアナモルフォース画像が求まる。
【０２２３】
物体認識部２２が物体情報（位置、方向、ＩＤコード）を検出したら、操作処理部２３が物体のＩＤコードに対応した画像のアナモルフォース画像を、物体の方向に応じて物体の周囲に投影画像形成部２４に投影させる。
【０２２４】
アナモルフォース画像を投影する範囲は、円筒物体４０１の周囲360°に投影しても良いし、必要に応じて一部のみを投影してもよい。
【０２２５】
図４９は、円筒物体４０１の周囲360°に投影したアナモルフォース画像の一例を示す。図５０は、円筒物体４０１の一部に投影したアナモルフォース画像を示す。図５０のように、円筒物体４０１の一部にアナモルフォース画像を投影した場合、ユーザは円筒物体４０１に映し出される投影画像の位置で、円筒物体４０１の向きを認識できる。したがって、円筒物体４０１の向きに合わせてアナモルフォース画像を回転させて表示すれば、ユーザは円筒物体４０１の方向を認識できる。
【０２２６】
投影する画像を物体の使用目的にあわせて形成又は選択することで、実際に物体を対象物の形に成形しなくても、汎用的な円筒物体を種々の使用目的（アプリケーション）に使用できる。
【０２２７】
また、物体は角柱のよう直方体であってもよい。図５１は、角柱物体４０２の一例を示す。図５１に示すような角柱物体４０２の場合、円筒形の物体に比べて、周囲から見える方向が限定されてしまうが、表現する対象が前面、側面、背面の区別があるようなものであれば、角柱物体４０２を使用することが好適になる。
【０２２８】
操作処理部２３は、ユーザから見て物体の前面に当たる部分には対象の前面の画像を、側面には対象の側面の画像を、背面には対象の背面に当たる画像を投影させることで、角柱物体の各面にはそれぞれの画像が反映される。
【０２２９】
物体の向きに合わせて投影画像の方向も変化させれば、ユーザはあたかも実際の対象物を見ている効果を得ることが出来る。
【０２３０】
図５２は、空気の流れをシミュレートするアプリケーションに角柱物体を用いた場合を説明するための図である。角柱物体４０２を書き込み面１１ａに配置し、都市の空気の流れの様子等をシミュレーションするようなアプリケーションの場合、物体には建物の画像が投影される。
【０２３１】
建物には前面、側面、背面とがあるので、操作処理部２３は、角柱物体のそれぞれの面に適した画像が映し出されるよう投影する。図５３は、角柱物体のそれぞれの面にビルの画像が投影される投影画像を示す。
【０２３２】
物体が回転されたら、物体の向きに合わせて操作処理部２３は、投影画像も回転させる。これにより、常に物体の同じ面に同じ画像が反映されるので、ユーザからは実体物のように見えるという効果が得られる。
【０２３３】
以上のように本実施例によれば、物体の表す対象物ごとに物体を準備する必要がなく、汎用のTUI用の物体を実現できる。円筒物体４０１と角柱物体４０２を組み合わせて用いることで、一つのアプリケーション内でさまざまな対象物を表現できる。また、特定のアプリケーションに用いられるように対象物が固定されている場合、その対象物の実際の形を物体として準備し、流動的な対象の物体に関しては、汎用的な物体を用いることができる。
【０２３４】
なお、本実施例のミラー状の反射体を有する物体は、外観に関する特徴であるので、実施例１〜５のいずれにも好適に適用できる。
【実施例７】
【０２３５】
ＴUIにおける物体に汎用性を備えさせる場合、透明物質により物体を構成してもよい。透明物質とは、例えば、アクリル、ガラス等の透過率の高いものである。
【０２３６】
本実施例では、透明物質により構成された物体が円筒形をしている。なお、機能図は図２又は図３６若しくは図４５のいずれを用いてもよい。
【０２３７】
図５４（ａ）は、ユーザが所定角（例えば、３０〜６０度）から透明物体４０３を観察する様子を示す図である。図５４（ａ）のように、透明物体４０３を観察する場合、透明物体４０３の内面は円筒ミラー面として作用する。
【０２３８】
図５４（ｂ）は、透明物体４０３を介してユーザが観察する投影画像を示す図である。図５４（ｂ）に示すように、透明物体４０３の底面に投影された画像は、ユーザの視線より遠い側の透明物体４０３の内面４０３ａに反射してユーザに観察される。したがって、透明物体４０３を配置したとき、ユーザからはその底面部の像が円柱の側面の内側に映し出されてみえる。
【０２３９】
反射される画像は、投影される画像と上下左右が反転し、さらに透明物体４０３の反映面は曲面である。そこで、予め、透明物体４０３の底面に投影する画像は、上下左右を反転させゆがませておけば、ユーザには透明物体の内面に正しい元の画像が観察されることになる。
【０２４０】
物体認識部２２が物体情報（位置、方向、ＩＤコード）を検出したら、操作処理部２３は物体のＩＤコードに対応した画像を上下左右反転させゆがませて、物体の方向に応じて物体の底面に、投影画像形成部２４に投影させる。
【０２４１】
図５５（ａ）は、予め上下左右を反転させゆがませられて透明物体４０３の底面に投影される画像の一例を、図５５（ｂ）は底面に投影された画像が透明物体４０３の内面に反射されユーザに観察される画像を示す。図５５（ｂ）に示すように、透明物体４０３を使用した場合、ユーザは反射による反転や歪みを意識することなく物体を認識可能となる。
【０２４２】
ところで、透明物体４０３の側面は円柱レンズ（シリンドリカルレンズ）としても機能する。図５６は、透明物体４０３がシリンドリカルレンズとして機能する様子を示す図である。シリンドリカルレンズでは、ユーザからみて透明物体４０３の反対側の画像が手前の側面４０３ｂに映し出される。
【０２４３】
図５６のように映し出される画像も、投影された実際の画像とは左右反転しゆがんだ画像となる。したがって、予め左右を反転したゆがませた画像を投影することで、ユーザは反射による反転や歪みを意識することなく物体を認識可能となる。
【０２４４】
物体識別用のサーキュラバーコードを物体底面に貼り付けることも可能であるので、画像表示装置は物体を識別できる。
【０２４５】
さらに透明物体４０３は、投影する画像によってユーザにも区別することが可能となるので、汎用の物体として用いることが可能であると共に、内面による反射、シリンドリカルレンズによる透過の効果を組み合わせ、かつ、投影画像を色、形、文字等を組み合わせて種々の物体を表現できる。なお、本実施例では円柱状の透明物体４０３について説明したが、角柱型の透明物体を用いた場合も、同様に物体の識別が可能になる。
【０２４６】
本実施例の透明物質による物体は、外観に関する特徴であるので、実施例１〜５のいずれにも好適に適用できる。
【実施例８】
【０２４７】
実施例７のように透明物体を用いた場合、ユーザは物体の上面から、物体の底面に存在する像を観察することができる。しかしながら、物体の底面には物体識別用の識別コードがあるため、その余白部にのみの画像を投影することとなる。
【０２４８】
余白部に画像を投影する場合、第１の実施形態の識別コードでは余白部が少ないので、実施例５で説明したサーキュラバーコード３０１を用いることが好適である。なお、機能図は図２又は図３６若しくは図４５のいずれを用いてもよい。
【０２４９】
サーキュラバーコード３０１は、円の中心に向かって細くなるくさび型の図形を配列したものとなっており、同心円状に区切った場合、各同心円において黒,白の比率は同じである。したがって、ＣＣＤカメラ１４により撮影された画像からサーキュラバーコード３０１の各線が解像可能であれば、サーキュラバーコード３０１の中心部付近、外周部付近等の位置を問わない。すなわち、半径ｎドット上の円の座標列に沿ってパターンを解読出来ればよい。
【０２５０】
図５７（ａ）はサーキュラバーコード３０１の一例を、図５７（ｂ）はサーキュラバーコード３０１の中心部付近を取り出したものを、図５７（ｃ）はサーキュラバーコード３０１の外周部付近を取り出したものを、それぞれ示す。
【０２５１】
図５７（ｂ）のように中心付近に近いところを用いれば、それよりも外側に画像を投影でき、図５７（ｃ）のように外周部に近いところを用いれば、それよりも内側に画像を投影することができる。サーキュラバーコード３０１の外周部を用いる場合は、線幅や間隔が大きくなるため、ＣＣＤカメラ１４の解像度に余裕が持てる。
【０２５２】
物体認識部２２が物体情報（位置、方向、ＩＤコード）を検出したら、操作処理部２３は物体のＩＤコードに対応した画像を、サーキュラバーコード３０１よりも内側に、物体の方向に応じて投影画像形成部２４に投影させる。
【０２５３】
図５８は、透明物体４０３の外周部に貼付されたサーキュラバーコード３０２と、その内側に投影された画像を示す図である。透明物体の底面の外周にサーキュラバーコード３０２を貼り付け又は印刷する。中央部は余白として使うことが出来るから、画像を投影することで観察者は物体上面に映し出される画像からその物体の表現する対象を認識することができる。
【０２５４】
本実施例の透明物質による物体及びサーキュラバーコードの貼付方法は、外観に関する特徴であるので、実施例１〜５のいずれにも適用できる。
【０２５５】
以上のように、本実施の形態の画像表示装置は、サーキュラバーコードにより物体を識別することで、非常に多くの物体情報を登録できる。また、方向識別部があるので、物体の向きも容易に判別できる。また、ミラー又は透明な物体を用いることで、汎用的な物体で種々のアプリケーションに利用できる。
【図面の簡単な説明】
【０２５６】
【図１】本発明の画像表示装置の実施形態を示す概略図である。
【図２】画像表示装置の機能図である。
【図３】画像表示方法の処理の流れを示すフローチャート図である。
【図４】物体底面のパターンを分離する図である。
【図５】物体の底面に付された識別コードの例を示す図である。
【図６】ＣＣＤカメラにより撮影された物体の底面の一例を示す図である。
【図７】スクリーンの投影面全体が白くなるようにして所定の閾値で２値化した後に表示された「底面」を示す図である。
【図８】撮像データに、文字切り出し技術を適用した例を示す模式図である。
【図９】物体認識部の詳細を示す図である。
【図１０】線図処理部により、人手により描画された図形の認識方法の一例を示す図である。
【図１１】図形認識部が認識する種々の図形の一例である。
【図１２】図形の種別を解析した結果の一例である。
【図１３】スクリーンの表面側に載置された物体と視認できる画像とを一例として示す図である。
【図１４】線分端点における所定の距離を説明するための図である
【図１５】線分の端点に物体があるか否かを判定する判定基準の別の例を示す図である。
【図１６】属性情報の一例を示す図である。
【図１７】スクリーンに配置された物体の一例を示す図である。
【図１８】物体が線分で連結された図の一例を示す図である。
【図１９】アプリケーションがスクリーンに表示した回路図の一例である。
【図２０】所望の物体の属性を他の物体に定義する手書き図形の一例である。
【図２１】物体の属性情報を入れ替えて再定義する手書き図形の一例である。
【図２２】連続する物体ＩＤに同じ属性情報を定義する手書き図形の一例である。
【図２３】一度に複数の物体に同じ属性情報を定義する手書き図形の一例である。
【図２４】物体の属性情報を調べるための手書き図形の一例である。
【図２５】物体を囲む閉ループを描画し物体の属性情報を調べる手書き図形の一例である。
【図２６】物体を再び未定義状態に戻す手書き内容の一例である。
【図２７】線分の長さにより容量や電圧を定義する手書き図形の一例である。
【図２８】属性数値を変更する手書き図形の一例である。
【図２９】物体の着脱動作に基づき操作を検出する方法を示すフローチャート図の一例である。
【図３０】風のシミュレーションにおいてスクリーンに配置される物体と投影される画像の一例である。
【図３１】ユーザが描画した閉ループ及び複数の物体の一例を示す図である。
【図３２】ユーザが配置した複数の複数の物体及びユーザが描画した閉ループの一例を示す図である。
【図３３】実施例４における属性情報記憶部の一例である。
【図３４】書き込み面に描画された任意の形状の線分の一例である。
【図３５】閉ループ内に配置した物体Ｃにより塗りつぶされた閉ループの一例を示す。
【図３６】実施例５における形態の画像表示装置の機能図を示す。
【図３７】物体に貼付される識別コード（サーキュラバーコード）の一例を示す。
【図３８】物体領域抽出部の処理手順を示すフローチャート図である。
【図３９】物体が撮影された画像データを所定の閾値に基づき1-画素、０-画素に置き換えた画像データの一例を示す。
【図４０】物体認識部の処理手順を示すフローチャート図の一例である。
【図４１】円周方向に画素が走査されるパターン解析を説明するための図である
【図４２】極座標テーブルの一例である。
【図４３】物体認識部の処理手順を示すフローチャート図の一例である。
【図４４】操作対応テーブルの一例である。
【図４５】物体属性情報取得部が操作対応テーブルを保持する場合の画像表示装置の機能図である。
【図４６】フロントタイプの画像表示装置を示す図である。
【図４７】ユーザの視線と書き込み面に載置された円筒物体との概略の関係を示す図である。
【図４８】書き込み面に投影されたアナモルフォース画像が円筒に映し出される様子を示す図である。
【図４９】円筒物体の周囲360°に投影したアナモルフォース画像の一例を示す。
【図５０】円筒物体の一部に投影したアナモルフォース画像の一例を示す。
【図５１】角柱物体の一例を示す図である。
【図５２】空気の流れをシミュレートするアプリケーションに角柱物体を用いた場合を説明するための図である。
【図５３】角柱物体のそれぞれの面にビルの画像が投影される投影画像を示す図である。
【図５４】ユーザが所定角から透明物体を観察する様子を示す図である。
【図５５】予め上下左右を反転させゆがませられて透明物体の底面に投影される画像の一例を示す図である。
【図５６】透明物体がシリンドリカルレンズとして機能する様子を示す図である。
【図５７】一部を取り出したサーキュラバーコードを示す図である。
【図５８】透明物体の外周部に貼付されたサーキュラバーコードと、その内側に投影された画像を示す図である。
【符号の説明】
【０２５７】
１ 表示部
２ 本体部
４、４Ａ、４Ｂ、５ ４１〜４８、５１、５２，６１，６２ 物体
５ａ 輪郭
６ 識別コード
６ａ，６ｂ，６ｃ，６ｄ，６ｅ 図形
７ 線
８ 矩形の黒
９ 円形の線図
１０ 平面部
１１ スクリーン
１１ａ 投影面
１１ｂ 書き込み面
１２ 筐体
１３ プロジェクタ
１４ ＣＣＤカメラ
２０１ 片矢印
２０２ 片矢印
２１０ 線分
２２０ 閉ループ
３０１、３０２ サーキュラバーコード
４０１ 円筒物体（ミラー状）
４０２ 角柱物体（ミラー状）
４０３ 円筒物体（透明）
【特許請求の範囲】
【請求項１】
画像が投影される投影面又はその裏面に配置された物体、又は、描画された図形を撮影する撮影手段と、
前記投影面に投影される前記画像を生成する投影画像生成部と、
前記撮影手段により撮影された撮像データから前記物体の識別情報、又は、前記図形の図形情報を抽出する画像抽出部と、
前記画像抽出部により抽出された前記物体の前記識別情報から前記物体の属性情報を取得する物体認識部と、
前記図形情報から前記図形の種別又は大きさを認識する図形認識部と、
前記物体認識部が認識した前記属性情報、及び、前記図形認識部が認識した前記図形の種別又は図形の大きさに基づき、前記投影画像生成部を操作する操作処理部と、
を有することを特徴とする画像表示装置。
【請求項２】
前記操作処理部は、前記識別情報に対応づけて前記属性情報が記憶された属性情報記憶部を有し、
前記図形の種別又は大きさに基づき、前記属性情報記憶部に記憶された前記属性情報を定義する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記画像抽出部は、ビットマップ形式の前記撮像データから前記図形情報を抽出する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項４】
前記画像抽出部が抽出する前記図形の前記図形情報は、描画された図形の２次元座標であることを特徴とする請求項１記載の画像表示装置。
【請求項５】
前記操作処理部は、前記物体認識部が取得した前記属性情報に基づき、前記物体の物体画像を生成するよう前記投影画像生成部を操作し、又は、
前記図形認識部が認識した前記図形の種別に基づき、前記図形の図形画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項６】
前記図形認識部により認識された前記図形の種別が線分の場合、
前記操作処理部は、線分の一方の端点から所定の距離以下の位置に第１の物体が存在し、線分の他方の端点から所定の距離以下の位置に第２の物体が存在する場合、
第１の物体の前記属性情報に基づき第１の物体画像と第２の物体の属性情報に基づき第２の物体画像と、が連結された画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項７】
前記物体の属性情報に応じた処理のための規則を参照して、前記属性情報に基づく処理を行う処理部を有し、
前記投影画像生成部は、前記処理部による処理の結果を示す画像を生成する、
ことを特徴とする請求項１又は２記載の画像表示装置。
【請求項８】
前記図形認識部により認識された前記図形の種別が片矢印の場合、
前記操作処理部は、矢印の始点から所定の距離以下の位置に第３の物体が存在し、矢印の終点から所定の距離以下の位置に第４の物体が存在する場合、
前記属性情報記憶部に記憶された第４の物体の前記属性情報を、第３の物体の前記属性情報により定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項９】
前記図形認識部により認識された前記図形の種別が両矢印の場合、
前記操作処理部は、矢印の一方の端点から所定の距離以下の位置に第５の物体が存在し、矢印の他方の端点から所定の距離以下の位置に第６の物体が存在する場合、
前記属性情報記憶部に記憶された第５の物体の前記属性情報と、第６の物体の前記属性情報とを、入れ替えてそれぞれの前記属性情報を定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項１０】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、閉ループに囲まれた領域内に複数の前記物体が存在する場合、
複数の前記物体のうち所定の物体の属性情報により、前記属性情報記憶部に記憶された他の物体の属性情報を定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項１１】
前記図形認識部により認識された前記図形の種別が線分の場合、
前記操作処理部は、線分の一方の端点から所定の距離以下の位置に前記物体が存在する場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項１２】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、閉ループに囲まれた領域内に前記物体が一つ存在する場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項１３】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、閉ループの大きさが前記物体より所定以上大きい場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項１４】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、閉ループの大きさが前記物体より所定以上大きい場合、前記属性情報記憶部に記憶された当該物体の属性情報を定義することを禁止する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項１５】
前記図形認識部により認識された前記図形の種別が線分の場合、
前記操作処理部は、線分の一方の端点から所定の距離以下の位置に前記物体が存在する場合、線分の長さに応じて前記属性情報記憶部に記憶された前記物体に属性情報を定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項１６】
前記図形認識部により認識された前記図形の種別が片矢印の場合、
前記操作処理部は、前記矢印の始点から所定の距離以下の位置に前記物体が存在する場合、前記矢印の向きと長さの少なくとも一方に応じて前記属性情報記憶部に記憶された前記物体に属性情報を定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項１７】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、該閉ループに囲まれた領域内に前記物体が存在する場合、該閉ループ内の前記物体について、前記属性情報及び前記図形の種別に基づく前記投影画像生成部の操作を有効にする、
ことを特徴とする請求項１記載の画像表示装置。
【請求項１８】
前記物体認識部は、前記物体の位置情報を取得する手段を有し、
前記図形認識部により認識された前記図形の種別が線分の場合、
前記操作処理部は、線分の一方の端点から所定の距離以下の位置に第７の物体が存在し、線分の他方の端点から所定の距離以下の位置に第８の物体が存在する場合、
第７又は第８の物体の回転又は角度の前記位置情報に応じて、前記属性情報記憶部に記憶された第７又は第８の物体の属性情報を定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項１９】
前記物体認識部は、前記物体の位置情報を取得する手段を有し、
前記図形認識部により認識された前記図形が閉ループの場合、
前記操作処理部は、前記閉ループの領域内に複数の前記物体が存在する場合、閉ループ内の前記物体の回転又は角度の前記位置情報に応じて、前記物体の属性情報を定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項２０】
前記物体認識部は、前記投影面又はその裏面における前記物体の所定の時間内の着脱回数を検出し、
前記操作処理部、又は、前記前記物体の属性情報に応じた処理のための規則を参照して、前記属性情報に基づく処理を行う処理部は、
前記着脱回数に基づき予め定められた処理を行い、当該処理結果を示す画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項２１】
前記図形認識部が描画された前記図形の消去を検出した場合、
前記操作処理部は、前記図形の種別に基づき定義された前記物体の属性情報を保持する、
ことを特徴とする請求項２ないし２０いずれか記載の画像表示装置。
【請求項２２】
前記図形認識部が描画された前記図形の消去を検出した場合、
前記操作処理部は、前記図形の種別に基づき定義された前記属性情報記憶部の前記属性情報を消去又は定義前の属性情報に戻す、
を特徴とする請求項２ないし２０いずれか記載の画像表示装置。
【請求項２３】
前記物体認識部が前記物体の移動を検出した場合、
前記操作処理部は、前記図形の属性情報に基づき定義された前記物体の前記属性情報を保持する、
ことを特徴とする請求項２ないし２０いずれか記載の画像表示装置。
【請求項２４】
前記物体認識部が前記物体の移動を検出した場合、
前記操作処理部は、前記図形の属性情報に基づき定義された前記属性情報記憶部の前記物体の前記属性情報を消去又は定義前の属性情報に戻す、
ことを特徴とする請求項２ないし２０いずれか記載の画像表示装置。
【請求項２５】
前記操作処理部は、
前記物体の属性情報が取得された後に前記図形の種別が取得された場合、又は、前記図形の種別が取得された後に前記物体の属性情報が取得された場合のいずれかに応じて、
前記属性情報記憶部の前記属性情報を定義するか否かを判定する、
ことを特徴とする請求項２ないし２０いずれか記載の画像表示装置。
【請求項２６】
前記操作処理部は、
前記物体の属性情報が取得された後に閉ループの図形が検出された場合、前記物体が取り除かれても前記閉ループの図形の図形画像を保持するよう前記投影画像生成部を操作し、又は、
閉ループの図形が検出された後に前記物体の属性情報が取得された場合、前記物体が取り除かれると前記閉ループの図形の図形画像を消去するよう前記投影画像生成部を操作する、
ことを特徴とする請求項２ないし２０いずれか記載の画像表示装置。
【請求項２７】
前記識別情報は、円状に配置された１次元バーコードである、ことを特徴とする請求項１ないし２６記載の画像表示装置。
【請求項２８】
前記１次元バーコードの終了点から開始点まで所定以上の長さの空白が配置される、ことを特徴とする請求項２７記載の画像表示装置。
【請求項２９】
前記物体認識部は、前記空白の位置に基づき前記物体の回転を検出する、ことを特徴とする請求項２８記載の画像表示装置。
【請求項３０】
前記物体認識部は、前記１次元バーコードを円周方向に走査し、前記識別情報を抽出する、ことを特徴とする請求項２７又は２８記載の画像表示装置。
【請求項３１】
前記物体は、側面がミラー状の反射材により構成された円柱又は角柱の形状を有する、ことを特徴とする請求項１ないし３０いずれか記載の画像表示装置。
【請求項３２】
前記物体は、透明物質により構成された円柱又は角柱の形状を有する、ことを特徴とする請求項１ないし３０いずれか記載の画像表示装置。
【請求項３３】
前記投影画像形成部は、前記物体の周辺に、当該物体の外観を表す画像を投影することを特徴とする請求項３１記載の画像表示装置。
【請求項３４】
前記投影画像形成部は、前記物体の底面に、当該物体の情報を表す画像の上下反転画像を投影することを特徴とする請求項３２記載の画像表示装置。
【請求項３５】
前記投影画像形成部は、前記物体の底面の前記１次元バーコードがない領域に、当該物体の情報を表す画像を投影することを特徴とする請求項３２記載の画像表示装置。
【請求項３６】
画像が投影される投影面又はその裏面に配置された物体、又は、描画された図形を撮影する撮影ステップと、
前記撮影ステップにより撮影された撮像データから前記物体の識別情報、又は、前記図形の図形情報を抽出する画像抽出ステップと、
前記画像抽出ステップにより抽出された前記物体の前記識別情報から前記物体の属性情報を取得する物体認識ステップと、
前記図形情報から前記図形の種別又は大きさを認識する図形認識ステップと、
前記物体認識ステップにより認識した前記属性情報、又は、前記図形認識ステップにより認識した前記図形の種別又は大きさに基づき、前記投影面に投影される前記画像を生成する投影画像生成部を操作する操作処理ステップと、
を有することを特徴とする画像表示方法。
【請求項３７】
前記操作処理ステップは、前記図形の種別に基づき、前記識別情報に対応づけて前記属性情報が記憶された属性情報記憶部の前記属性情報を定義する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項３８】
前記画像抽出ステップは、ビットマップ形式の前記撮像データから前記図形情報を抽出する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項３９】
前記画像抽出ステップが抽出する前記図形の図形情報は、描画された図形の２次元座標であることを特徴とする請求項３６記載の画像表示方法。
【請求項４０】
前記操作処理ステップは、前記物体認識部が取得した前記属性情報に基づき、前記物体の物体画像を生成するよう前記投影画像生成部を操作し、又は、
前記図形認識ステップにより認識した前記図形の種別又は大きさに基づき、前記図形の図形画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項４１】
前記図形認識ステップにより認識された前記図形の種別が線分の場合、
前記操作処理ステップは、線分の一方の端点から所定の距離以下の位置に第１の物体が存在し、線分の他方の端点から所定の距離以下の位置に第２の物体が存在する場合、
第１の物体の前記属性情報に基づき第１の物体画像と第２の物体の属性情報に基づき第２の物体画像と、が連結された画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項４２】
前記物体の属性情報に応じた処理のための規則を参照して、前記属性情報に基づく処理を行う処理ステップを有し、
前記投影画像生成部により、前記処理ステップによる処理の結果を示す画像を生成する、
ことを特徴とする請求項３６又は３７記載の画像表示方法。
【請求項４３】
前記図形認識ステップにより認識された前記図形の種別が片矢印の場合、
前記操作処理ステップは、矢印の始点から所定の距離以下の位置に第３の物体が存在し、矢印の終点から所定の距離以下の位置に第４の物体が存在する場合、
前記属性情報記憶部に記憶された第４の物体の前記属性情報を、第３の物体の前記属性情報により定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項４４】
前記図形認識ステップにより認識された前記図形の種別が両矢印の場合、
前記操作処理ステップは、矢印の一方の端点から所定の距離以下の位置に第５の物体が存在し、矢印の他方の端点から所定の距離以下の位置に第６の物体が存在する場合、
前記属性情報記憶部に記憶された第５の物体の前記属性情報と、第６の物体の前記属性情報とを、入れ替えてそれぞれの前記属性情報を定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項４５】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、閉ループに囲まれた領域内に複数の前記物体が存在する場合、
複数の前記物体のうち所定の物体の属性情報により、前記属性情報記憶部に記憶された他の物体の属性情報を定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項４６】
前記図形認識ステップにより認識された前記図形の種別が線分の場合、
前記操作処理ステップは、線分の一方の端点から所定の距離以下の位置に前記物体が存在する場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項４７】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、閉ループに囲まれた領域内に前記物体が一つ存在する場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項４８】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、閉ループの大きさが前記物体より所定以上大きい場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項４９】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、閉ループの大きさが前記物体より所定以上大きい場合、前記属性情報記憶部に記憶された当該物体の属性情報を定義することを禁止する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項５０】
前記図形認識ステップにより認識された前記図形の種別が線分の場合、
前記操作処理ステップは、線分の一方の端点から所定の距離以下の位置に前記物体が存在する場合、線分の長さに応じて前記属性情報記憶部に記憶された前記物体に属性情報を定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項５１】
前記図形認識ステップにより認識された前記図形の種別が片矢印の場合、
前記操作処理ステップは、前記矢印の始点から所定の距離以下の位置に前記物体が存在する場合、前記矢印の向きと長さの少なくとも一方に応じて前記属性情報記憶部に記憶された前記物体に属性情報を定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項５２】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、該閉ループに囲まれた領域内に前記物体が存在する場合、該閉ループ内の前記物体について、前記属性情報又は前記図形の種別に基づく前記投影画像生成部の操作を有効にする、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項５３】
前記物体認識ステップにより、前記物体の位置情報を取得し、
前記図形認識ステップにより認識された前記図形の種別が線分の場合、
前記操作処理ステップは、線分の一方の端点から所定の距離以下の位置に第７の物体が存在し、線分の他方の端点から所定の距離以下の位置に第８の物体が存在する場合、
第７又は第８の物体の回転又は角度の前記位置情報に応じて、前記属性情報記憶部に記憶された第７又は第８の物体の属性情報を定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項５４】
前記物体認識ステップは、前記物体の位置情報を取得し、
前記図形認識ステップにより認識された前記図形の閉ループの場合、
前記操作処理ステップは、前記閉ループの領域内に複数の前記物体が存在する場合、閉ループ内の前記物体の回転又は角度の前記位置情報に応じて、前記物体の属性情報を定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項５５】
前記物体認識ステップは、前記投影面又はその裏面における前記物体の所定の時間内の着脱回数を検出し、
前記操作処理ステップ、又は、前記前記物体の属性情報に応じた処理のための規則を参照して前記属性情報に基づく処理を行う処理ステップは、
前記着脱回数に基づき予め定められた処理を行い、当該処理結果を示す画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項５６】
前記図形認識ステップが描画された前記図形の消去を検出した場合、
前記操作処理ステップは、前記図形の種別に基づき定義された前記物体の属性情報を保持する、
ことを特徴とする請求項３７ないし５５いずれか記載の画像表示方法。
【請求項５７】
前記図形認識ステップが描画された前記図形の消去を検出した場合、
前記操作処理ステップは、前記図形の種別に基づき定義された前記属性情報記憶部の前記属性情報を消去又は定義前の属性情報に戻す、
ことを特徴とする請求項３７ないし５５いずれか記載の画像表示方法。
【請求項５８】
前記物体認識ステップが前記物体の移動を検出した場合、
前記操作処理ステップは、前記図形の属性情報に基づき定義された前記物体の前記属性情報を保持する、
ことを特徴とする請求項３７ないし５５いずれか記載の画像表示方法。
【請求項５９】
前記物体認識ステップが前記物体の移動を検出した場合、
前記操作処理ステップは、前記図形の属性情報に基づき定義された前記属性情報記憶部の前記物体の前記属性情報を消去又は定義前の属性情報に戻す、
ことを特徴とする請求項３７ないし５５いずれか記載の画像表示方法。
【請求項６０】
前記操作処理ステップは、
前記物体の属性情報が取得された後に前記図形の種別が取得された場合、又は、前記図形の種別が取得された後に前記物体の属性情報が取得された場合のいずれかに応じて、
前記属性情報記憶部の前記属性情報を定義する、
ことを特徴とする請求項３７ないし５５いずれか記載の画像表示方法。
【請求項６１】
前記操作処理ステップは、
前記物体の属性情報が取得された後に閉ループの図形が検出された場合、前記物体が取り除かれても前記閉ループの図形の図形画像を保持するよう前記投影画像生成部を操作し、又は、
閉ループの図形が検出された後に前記物体の属性情報が取得された場合、前記物体が取り除かれると前記閉ループの図形の図形画像を消去するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３７ないし５５いずれか記載の画像表示方法。
【請求項６２】
前記識別情報は、円状に配置された１次元バーコードである、ことを特徴とする請求項３６ないし６１いずれか記載の画像表示方法。
【請求項６３】
前記１次元バーコードの終了点から開始点まで所定以上の長さの空白が配置される、ことを特徴とする請求項６２記載の画像表示方法。
【請求項６４】
前記物体認識ステップにより、前記空白の位置に基づき前記物体の回転を検出する、ことを特徴とする請求項６３記載の画像表示方法。
【請求項６５】
前記物体認識ステップにより、前記１次元バーコードを円周方向に走査し、前記識別情報を抽出する、ことを特徴とする請求項６３又は６４記載の画像表示方法。
【請求項６６】
前記物体は、側面がミラー状の反射材により構成された円柱又は角柱の形状を有する、ことを特徴とする請求項３６ないし６５いずれか記載の画像表示方法。
【請求項６７】
前記物体は、透明物質により構成された円柱又は角柱の形状を有する、ことを特徴とする請求項３６ないし６５いずれか記載の画像表示方法。
【請求項６８】
前記投影画像形成ステップにより、前記物体の周辺に、当該物体の外観を表す画像を投影することを特徴とする請求項６６記載の画像表示方法。
【請求項６９】
前記投影画像形成ステップにより、前記物体の底面に、当該物体の情報を表す画像の上下反転画像を投影することを特徴とする請求項６７記載の画像表示方法。
【請求項７０】
前記投影画像形成ステップにより、前記物体の底面の前記１次元バーコードがない領域に、当該物体の情報を表す画像を投影することを特徴とする請求項６７記載の画像表示方法。
【請求項７１】
物体の識別情報に基づく属性情報、又は、描画された図形の種別若しくは大きさに基づき、所定の装置にコマンドを入力することを特徴とするコマンド入力方法。
【請求項７２】
前記物体の識別情報、又は、前記図形の種別若しくは大きさは、撮影して取得されることを特徴とする請求項７１記載のコマンド入力方法。
【請求項１】
画像が投影される投影面又はその裏面に配置された物体、又は、描画された図形を撮影する撮影手段と、
前記投影面に投影される前記画像を生成する投影画像生成部と、
前記撮影手段により撮影された撮像データから前記物体の識別情報、又は、前記図形の図形情報を抽出する画像抽出部と、
前記画像抽出部により抽出された前記物体の前記識別情報から前記物体の属性情報を取得する物体認識部と、
前記図形情報から前記図形の種別又は大きさを認識する図形認識部と、
前記物体認識部が認識した前記属性情報、及び、前記図形認識部が認識した前記図形の種別又は図形の大きさに基づき、前記投影画像生成部を操作する操作処理部と、
を有することを特徴とする画像表示装置。
【請求項２】
前記操作処理部は、前記識別情報に対応づけて前記属性情報が記憶された属性情報記憶部を有し、
前記図形の種別又は大きさに基づき、前記属性情報記憶部に記憶された前記属性情報を定義する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項３】
前記画像抽出部は、ビットマップ形式の前記撮像データから前記図形情報を抽出する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項４】
前記画像抽出部が抽出する前記図形の前記図形情報は、描画された図形の２次元座標であることを特徴とする請求項１記載の画像表示装置。
【請求項５】
前記操作処理部は、前記物体認識部が取得した前記属性情報に基づき、前記物体の物体画像を生成するよう前記投影画像生成部を操作し、又は、
前記図形認識部が認識した前記図形の種別に基づき、前記図形の図形画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項６】
前記図形認識部により認識された前記図形の種別が線分の場合、
前記操作処理部は、線分の一方の端点から所定の距離以下の位置に第１の物体が存在し、線分の他方の端点から所定の距離以下の位置に第２の物体が存在する場合、
第１の物体の前記属性情報に基づき第１の物体画像と第２の物体の属性情報に基づき第２の物体画像と、が連結された画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項７】
前記物体の属性情報に応じた処理のための規則を参照して、前記属性情報に基づく処理を行う処理部を有し、
前記投影画像生成部は、前記処理部による処理の結果を示す画像を生成する、
ことを特徴とする請求項１又は２記載の画像表示装置。
【請求項８】
前記図形認識部により認識された前記図形の種別が片矢印の場合、
前記操作処理部は、矢印の始点から所定の距離以下の位置に第３の物体が存在し、矢印の終点から所定の距離以下の位置に第４の物体が存在する場合、
前記属性情報記憶部に記憶された第４の物体の前記属性情報を、第３の物体の前記属性情報により定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項９】
前記図形認識部により認識された前記図形の種別が両矢印の場合、
前記操作処理部は、矢印の一方の端点から所定の距離以下の位置に第５の物体が存在し、矢印の他方の端点から所定の距離以下の位置に第６の物体が存在する場合、
前記属性情報記憶部に記憶された第５の物体の前記属性情報と、第６の物体の前記属性情報とを、入れ替えてそれぞれの前記属性情報を定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項１０】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、閉ループに囲まれた領域内に複数の前記物体が存在する場合、
複数の前記物体のうち所定の物体の属性情報により、前記属性情報記憶部に記憶された他の物体の属性情報を定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項１１】
前記図形認識部により認識された前記図形の種別が線分の場合、
前記操作処理部は、線分の一方の端点から所定の距離以下の位置に前記物体が存在する場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項１２】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、閉ループに囲まれた領域内に前記物体が一つ存在する場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項１３】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、閉ループの大きさが前記物体より所定以上大きい場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項１４】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、閉ループの大きさが前記物体より所定以上大きい場合、前記属性情報記憶部に記憶された当該物体の属性情報を定義することを禁止する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項１５】
前記図形認識部により認識された前記図形の種別が線分の場合、
前記操作処理部は、線分の一方の端点から所定の距離以下の位置に前記物体が存在する場合、線分の長さに応じて前記属性情報記憶部に記憶された前記物体に属性情報を定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項１６】
前記図形認識部により認識された前記図形の種別が片矢印の場合、
前記操作処理部は、前記矢印の始点から所定の距離以下の位置に前記物体が存在する場合、前記矢印の向きと長さの少なくとも一方に応じて前記属性情報記憶部に記憶された前記物体に属性情報を定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項１７】
前記図形認識部により認識された前記図形の種別が閉ループの場合、
前記操作処理部は、該閉ループに囲まれた領域内に前記物体が存在する場合、該閉ループ内の前記物体について、前記属性情報及び前記図形の種別に基づく前記投影画像生成部の操作を有効にする、
ことを特徴とする請求項１記載の画像表示装置。
【請求項１８】
前記物体認識部は、前記物体の位置情報を取得する手段を有し、
前記図形認識部により認識された前記図形の種別が線分の場合、
前記操作処理部は、線分の一方の端点から所定の距離以下の位置に第７の物体が存在し、線分の他方の端点から所定の距離以下の位置に第８の物体が存在する場合、
第７又は第８の物体の回転又は角度の前記位置情報に応じて、前記属性情報記憶部に記憶された第７又は第８の物体の属性情報を定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項１９】
前記物体認識部は、前記物体の位置情報を取得する手段を有し、
前記図形認識部により認識された前記図形が閉ループの場合、
前記操作処理部は、前記閉ループの領域内に複数の前記物体が存在する場合、閉ループ内の前記物体の回転又は角度の前記位置情報に応じて、前記物体の属性情報を定義する、
ことを特徴とする請求項２記載の画像表示装置。
【請求項２０】
前記物体認識部は、前記投影面又はその裏面における前記物体の所定の時間内の着脱回数を検出し、
前記操作処理部、又は、前記前記物体の属性情報に応じた処理のための規則を参照して、前記属性情報に基づく処理を行う処理部は、
前記着脱回数に基づき予め定められた処理を行い、当該処理結果を示す画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項１記載の画像表示装置。
【請求項２１】
前記図形認識部が描画された前記図形の消去を検出した場合、
前記操作処理部は、前記図形の種別に基づき定義された前記物体の属性情報を保持する、
ことを特徴とする請求項２ないし２０いずれか記載の画像表示装置。
【請求項２２】
前記図形認識部が描画された前記図形の消去を検出した場合、
前記操作処理部は、前記図形の種別に基づき定義された前記属性情報記憶部の前記属性情報を消去又は定義前の属性情報に戻す、
を特徴とする請求項２ないし２０いずれか記載の画像表示装置。
【請求項２３】
前記物体認識部が前記物体の移動を検出した場合、
前記操作処理部は、前記図形の属性情報に基づき定義された前記物体の前記属性情報を保持する、
ことを特徴とする請求項２ないし２０いずれか記載の画像表示装置。
【請求項２４】
前記物体認識部が前記物体の移動を検出した場合、
前記操作処理部は、前記図形の属性情報に基づき定義された前記属性情報記憶部の前記物体の前記属性情報を消去又は定義前の属性情報に戻す、
ことを特徴とする請求項２ないし２０いずれか記載の画像表示装置。
【請求項２５】
前記操作処理部は、
前記物体の属性情報が取得された後に前記図形の種別が取得された場合、又は、前記図形の種別が取得された後に前記物体の属性情報が取得された場合のいずれかに応じて、
前記属性情報記憶部の前記属性情報を定義するか否かを判定する、
ことを特徴とする請求項２ないし２０いずれか記載の画像表示装置。
【請求項２６】
前記操作処理部は、
前記物体の属性情報が取得された後に閉ループの図形が検出された場合、前記物体が取り除かれても前記閉ループの図形の図形画像を保持するよう前記投影画像生成部を操作し、又は、
閉ループの図形が検出された後に前記物体の属性情報が取得された場合、前記物体が取り除かれると前記閉ループの図形の図形画像を消去するよう前記投影画像生成部を操作する、
ことを特徴とする請求項２ないし２０いずれか記載の画像表示装置。
【請求項２７】
前記識別情報は、円状に配置された１次元バーコードである、ことを特徴とする請求項１ないし２６記載の画像表示装置。
【請求項２８】
前記１次元バーコードの終了点から開始点まで所定以上の長さの空白が配置される、ことを特徴とする請求項２７記載の画像表示装置。
【請求項２９】
前記物体認識部は、前記空白の位置に基づき前記物体の回転を検出する、ことを特徴とする請求項２８記載の画像表示装置。
【請求項３０】
前記物体認識部は、前記１次元バーコードを円周方向に走査し、前記識別情報を抽出する、ことを特徴とする請求項２７又は２８記載の画像表示装置。
【請求項３１】
前記物体は、側面がミラー状の反射材により構成された円柱又は角柱の形状を有する、ことを特徴とする請求項１ないし３０いずれか記載の画像表示装置。
【請求項３２】
前記物体は、透明物質により構成された円柱又は角柱の形状を有する、ことを特徴とする請求項１ないし３０いずれか記載の画像表示装置。
【請求項３３】
前記投影画像形成部は、前記物体の周辺に、当該物体の外観を表す画像を投影することを特徴とする請求項３１記載の画像表示装置。
【請求項３４】
前記投影画像形成部は、前記物体の底面に、当該物体の情報を表す画像の上下反転画像を投影することを特徴とする請求項３２記載の画像表示装置。
【請求項３５】
前記投影画像形成部は、前記物体の底面の前記１次元バーコードがない領域に、当該物体の情報を表す画像を投影することを特徴とする請求項３２記載の画像表示装置。
【請求項３６】
画像が投影される投影面又はその裏面に配置された物体、又は、描画された図形を撮影する撮影ステップと、
前記撮影ステップにより撮影された撮像データから前記物体の識別情報、又は、前記図形の図形情報を抽出する画像抽出ステップと、
前記画像抽出ステップにより抽出された前記物体の前記識別情報から前記物体の属性情報を取得する物体認識ステップと、
前記図形情報から前記図形の種別又は大きさを認識する図形認識ステップと、
前記物体認識ステップにより認識した前記属性情報、又は、前記図形認識ステップにより認識した前記図形の種別又は大きさに基づき、前記投影面に投影される前記画像を生成する投影画像生成部を操作する操作処理ステップと、
を有することを特徴とする画像表示方法。
【請求項３７】
前記操作処理ステップは、前記図形の種別に基づき、前記識別情報に対応づけて前記属性情報が記憶された属性情報記憶部の前記属性情報を定義する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項３８】
前記画像抽出ステップは、ビットマップ形式の前記撮像データから前記図形情報を抽出する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項３９】
前記画像抽出ステップが抽出する前記図形の図形情報は、描画された図形の２次元座標であることを特徴とする請求項３６記載の画像表示方法。
【請求項４０】
前記操作処理ステップは、前記物体認識部が取得した前記属性情報に基づき、前記物体の物体画像を生成するよう前記投影画像生成部を操作し、又は、
前記図形認識ステップにより認識した前記図形の種別又は大きさに基づき、前記図形の図形画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項４１】
前記図形認識ステップにより認識された前記図形の種別が線分の場合、
前記操作処理ステップは、線分の一方の端点から所定の距離以下の位置に第１の物体が存在し、線分の他方の端点から所定の距離以下の位置に第２の物体が存在する場合、
第１の物体の前記属性情報に基づき第１の物体画像と第２の物体の属性情報に基づき第２の物体画像と、が連結された画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項４２】
前記物体の属性情報に応じた処理のための規則を参照して、前記属性情報に基づく処理を行う処理ステップを有し、
前記投影画像生成部により、前記処理ステップによる処理の結果を示す画像を生成する、
ことを特徴とする請求項３６又は３７記載の画像表示方法。
【請求項４３】
前記図形認識ステップにより認識された前記図形の種別が片矢印の場合、
前記操作処理ステップは、矢印の始点から所定の距離以下の位置に第３の物体が存在し、矢印の終点から所定の距離以下の位置に第４の物体が存在する場合、
前記属性情報記憶部に記憶された第４の物体の前記属性情報を、第３の物体の前記属性情報により定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項４４】
前記図形認識ステップにより認識された前記図形の種別が両矢印の場合、
前記操作処理ステップは、矢印の一方の端点から所定の距離以下の位置に第５の物体が存在し、矢印の他方の端点から所定の距離以下の位置に第６の物体が存在する場合、
前記属性情報記憶部に記憶された第５の物体の前記属性情報と、第６の物体の前記属性情報とを、入れ替えてそれぞれの前記属性情報を定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項４５】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、閉ループに囲まれた領域内に複数の前記物体が存在する場合、
複数の前記物体のうち所定の物体の属性情報により、前記属性情報記憶部に記憶された他の物体の属性情報を定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項４６】
前記図形認識ステップにより認識された前記図形の種別が線分の場合、
前記操作処理ステップは、線分の一方の端点から所定の距離以下の位置に前記物体が存在する場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項４７】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、閉ループに囲まれた領域内に前記物体が一つ存在する場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項４８】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、閉ループの大きさが前記物体より所定以上大きい場合、前記物体の属性情報を表示する画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項４９】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、閉ループの大きさが前記物体より所定以上大きい場合、前記属性情報記憶部に記憶された当該物体の属性情報を定義することを禁止する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項５０】
前記図形認識ステップにより認識された前記図形の種別が線分の場合、
前記操作処理ステップは、線分の一方の端点から所定の距離以下の位置に前記物体が存在する場合、線分の長さに応じて前記属性情報記憶部に記憶された前記物体に属性情報を定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項５１】
前記図形認識ステップにより認識された前記図形の種別が片矢印の場合、
前記操作処理ステップは、前記矢印の始点から所定の距離以下の位置に前記物体が存在する場合、前記矢印の向きと長さの少なくとも一方に応じて前記属性情報記憶部に記憶された前記物体に属性情報を定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項５２】
前記図形認識ステップにより認識された前記図形の種別が閉ループの場合、
前記操作処理ステップは、該閉ループに囲まれた領域内に前記物体が存在する場合、該閉ループ内の前記物体について、前記属性情報又は前記図形の種別に基づく前記投影画像生成部の操作を有効にする、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項５３】
前記物体認識ステップにより、前記物体の位置情報を取得し、
前記図形認識ステップにより認識された前記図形の種別が線分の場合、
前記操作処理ステップは、線分の一方の端点から所定の距離以下の位置に第７の物体が存在し、線分の他方の端点から所定の距離以下の位置に第８の物体が存在する場合、
第７又は第８の物体の回転又は角度の前記位置情報に応じて、前記属性情報記憶部に記憶された第７又は第８の物体の属性情報を定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項５４】
前記物体認識ステップは、前記物体の位置情報を取得し、
前記図形認識ステップにより認識された前記図形の閉ループの場合、
前記操作処理ステップは、前記閉ループの領域内に複数の前記物体が存在する場合、閉ループ内の前記物体の回転又は角度の前記位置情報に応じて、前記物体の属性情報を定義する、
ことを特徴とする請求項３７記載の画像表示方法。
【請求項５５】
前記物体認識ステップは、前記投影面又はその裏面における前記物体の所定の時間内の着脱回数を検出し、
前記操作処理ステップ、又は、前記前記物体の属性情報に応じた処理のための規則を参照して前記属性情報に基づく処理を行う処理ステップは、
前記着脱回数に基づき予め定められた処理を行い、当該処理結果を示す画像を生成するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３６記載の画像表示方法。
【請求項５６】
前記図形認識ステップが描画された前記図形の消去を検出した場合、
前記操作処理ステップは、前記図形の種別に基づき定義された前記物体の属性情報を保持する、
ことを特徴とする請求項３７ないし５５いずれか記載の画像表示方法。
【請求項５７】
前記図形認識ステップが描画された前記図形の消去を検出した場合、
前記操作処理ステップは、前記図形の種別に基づき定義された前記属性情報記憶部の前記属性情報を消去又は定義前の属性情報に戻す、
ことを特徴とする請求項３７ないし５５いずれか記載の画像表示方法。
【請求項５８】
前記物体認識ステップが前記物体の移動を検出した場合、
前記操作処理ステップは、前記図形の属性情報に基づき定義された前記物体の前記属性情報を保持する、
ことを特徴とする請求項３７ないし５５いずれか記載の画像表示方法。
【請求項５９】
前記物体認識ステップが前記物体の移動を検出した場合、
前記操作処理ステップは、前記図形の属性情報に基づき定義された前記属性情報記憶部の前記物体の前記属性情報を消去又は定義前の属性情報に戻す、
ことを特徴とする請求項３７ないし５５いずれか記載の画像表示方法。
【請求項６０】
前記操作処理ステップは、
前記物体の属性情報が取得された後に前記図形の種別が取得された場合、又は、前記図形の種別が取得された後に前記物体の属性情報が取得された場合のいずれかに応じて、
前記属性情報記憶部の前記属性情報を定義する、
ことを特徴とする請求項３７ないし５５いずれか記載の画像表示方法。
【請求項６１】
前記操作処理ステップは、
前記物体の属性情報が取得された後に閉ループの図形が検出された場合、前記物体が取り除かれても前記閉ループの図形の図形画像を保持するよう前記投影画像生成部を操作し、又は、
閉ループの図形が検出された後に前記物体の属性情報が取得された場合、前記物体が取り除かれると前記閉ループの図形の図形画像を消去するよう前記投影画像生成部を操作する、
ことを特徴とする請求項３７ないし５５いずれか記載の画像表示方法。
【請求項６２】
前記識別情報は、円状に配置された１次元バーコードである、ことを特徴とする請求項３６ないし６１いずれか記載の画像表示方法。
【請求項６３】
前記１次元バーコードの終了点から開始点まで所定以上の長さの空白が配置される、ことを特徴とする請求項６２記載の画像表示方法。
【請求項６４】
前記物体認識ステップにより、前記空白の位置に基づき前記物体の回転を検出する、ことを特徴とする請求項６３記載の画像表示方法。
【請求項６５】
前記物体認識ステップにより、前記１次元バーコードを円周方向に走査し、前記識別情報を抽出する、ことを特徴とする請求項６３又は６４記載の画像表示方法。
【請求項６６】
前記物体は、側面がミラー状の反射材により構成された円柱又は角柱の形状を有する、ことを特徴とする請求項３６ないし６５いずれか記載の画像表示方法。
【請求項６７】
前記物体は、透明物質により構成された円柱又は角柱の形状を有する、ことを特徴とする請求項３６ないし６５いずれか記載の画像表示方法。
【請求項６８】
前記投影画像形成ステップにより、前記物体の周辺に、当該物体の外観を表す画像を投影することを特徴とする請求項６６記載の画像表示方法。
【請求項６９】
前記投影画像形成ステップにより、前記物体の底面に、当該物体の情報を表す画像の上下反転画像を投影することを特徴とする請求項６７記載の画像表示方法。
【請求項７０】
前記投影画像形成ステップにより、前記物体の底面の前記１次元バーコードがない領域に、当該物体の情報を表す画像を投影することを特徴とする請求項６７記載の画像表示方法。
【請求項７１】
物体の識別情報に基づく属性情報、又は、描画された図形の種別若しくは大きさに基づき、所定の装置にコマンドを入力することを特徴とするコマンド入力方法。
【請求項７２】
前記物体の識別情報、又は、前記図形の種別若しくは大きさは、撮影して取得されることを特徴とする請求項７１記載のコマンド入力方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図６】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図３４】
【図３５】
【図３６】
【図３７】
【図３８】
【図３９】
【図４０】
【図４１】
【図４２】
【図４３】
【図４４】
【図４５】
【図４６】
【図４７】
【図４８】
【図４９】
【図５０】
【図５１】
【図５２】
【図５３】
【図５４】
【図５５】
【図５６】
【図５７】
【図５８】
【図６】
【公開番号】特開２００７−１１２７６（Ｐ２００７−１１２７６Ａ）
【公開日】平成１９年１月１８日（２００７．１．１８）
【国際特許分類】
【出願番号】特願２００６−９２６０（Ｐ２００６−９２６０）
【出願日】平成１８年１月１７日（２００６．１．１７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成１９年１月１８日（２００７．１．１８）
【国際特許分類】
【出願日】平成１８年１月１７日（２００６．１．１７）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]