画像認識によるコンピューター操作システム
【課題】 日常生活に馴染んだ直感的操作を誤作動や違和感を生じることなく実現する画像認識によるコンピューター操作システムを提供すること。
【解決手段】 画像３を投影面１に投影する映像装置２と、投影された投影画像３を含む撮影領域を撮影する撮影装置６と、撮影領域内で発光し発光点を生成する発光装置と、画像３及び撮影された撮影画像を重ね合わせることで画像３における発光点の位置を特定すると共に、発光点により所要の情報処理を実行する情報処理装置７とを備える。
【解決手段】 画像３を投影面１に投影する映像装置２と、投影された投影画像３を含む撮影領域を撮影する撮影装置６と、撮影領域内で発光し発光点を生成する発光装置と、画像３及び撮影された撮影画像を重ね合わせることで画像３における発光点の位置を特定すると共に、発光点により所要の情報処理を実行する情報処理装置７とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識によるコンピューター操作システムに関する。
【背景技術】
【０００２】
従来の赤外線画像認識による画像を操作するシステムは、自発光式のディスプレイ装置の表面に指の位置を感知するセンサーを取り付け画像を操作するいわゆるタッチパネルに比べ、例えば図１のような利用のための大型化が容易で、表示面の素材や形状が自由である。また、表示面には装置が存在しないため、表示面に物を置く場合に必要となる耐衝撃性や摩耗性、飲食などに対応した耐水性などを有することが可能である。そして、日常生活に馴染んだ直感的操作のために、既存のシステムはペンなどの道具を持ちそれによって操作している。
【０００３】
しかし、直観的な操作を実現するためには、認識範囲内にかざされた手や指などの形状認識や天板やスクリーンとの赤外線の反射率の相違で認識する従来の方式では操作意志が正確に把握することが困難であり、手や指以外の意図しないものに対する誤認識が起こるために対応することが困難であった。
【０００４】
また、例えば特許文献１に記載の如きシステムも知られている。このシステムでは、温度が３０〜３４℃のものを認識するが、画面の前には手以外にも同様な温度のものが存在する場合、たとえば、テーブルに投影した場合、温かい飲み物や食べ物も同様の温度となり、誤動作の原因となる。また、操作点となる指の認識も手の重心位置を算定し、その重心位置より最も遠い指を操作指としているが、文献１の図５にあるように重心から最も遠い指は中指であり、人が通常の指示指として使うのは人指し指でありこれも誤動作の原因となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−６４１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
かかる従来の実情に鑑みて、本発明は、日常生活に馴染んだ直感的操作を誤作動や違和感を生じることなく実現する画像認識によるコンピューター操作システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る画像認識によるコンピューター操作システムの特徴は、画像を投影面に投影する映像装置と、投影された投影画像を含む撮影領域を撮影する撮影装置と、前記撮影領域内で発光し発光点を生成する発光装置と、前記画像及び撮影された撮影画像を重ね合わせることで前記画像における前記発光点の位置を特定すると共に、前記発光点により所要の情報処理を実行する情報処理装置とを備えることにある。
【発明の効果】
【０００８】
上記本発明に係る画像認識によるコンピューター操作システムの特徴によれば、日常生活に馴染んだ直感的操作を誤作動や違和感を生じることなく実現することが可能となった。
【０００９】
本発明の他の目的、構成及び効果については、以下の発明の実施の形態の項から明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１】赤外線を活用した画像認識による画像操作システムの構成の解説図である。
【図２】爪に赤外線反射点を作る操作用指輪の仕組みを説明する指と天板の部分を示す側面図である。
【図３】赤外線反射点を天板に照射した場合の仕組みを説明する操作指輪を事例とした操作指輪と天板の部分を示す側面図である。
【図４】操作用のペンの仕組みを説明するペンと天板の部分を示す側面図である。
【図５】操作用の指し棒の仕組みを説明する指し棒と天板の部分を示す側面図である。
【図６】赤外線反射点を鉤型形状とした場合の仕組みを説明する操作指輪を事例とした操作指輪と天板の部分を示す平面図である。
【図７】赤外線反射点を複数とした場合の仕組みを説明する操作指輪を事例とした操作指輪と天板の部分を示す平面図である。
【図８】赤外線反射点の形状を楕円にした場合の平面図である。
【図９】赤外線直接光を利用した場合の仕組みを説明する操作指輪を事例とした指輪と天板の部分を示す側面図である。
【図１０】指示点に映像によるポイント表示を連続的に記録し軌跡として表示し、文字や図形を描写する指先と指輪を示す平面図である。
【図１１】爪に赤外線反射点を作る操作用指輪の他の仕組みを説明する図２相当図である。
【図１２】赤外線反射点を天板に照射した場合の他の仕組みを説明する図３相当図である。
【図１３】操作用のペンの他の仕組みを説明する図４相当図である。
【発明を実施するための形態】
【００１１】
次に、適宜添付図面を参照しながら、本発明をさらに詳しく説明する。
（１）基本形態
図１を参照しながら、本発明が基礎とするシステムを説明する。会議などの情報交換やくつろぐ会話や余暇のために、人が周囲に座る机の天板１に対して、上部から映像装置２によって画像３を投影し、同時に同じ机の天板１上部に設置した赤外線照射装置４から赤外線を天板１に向けて照射しながら赤外線カメラ６で同じ机の天板１を撮影することで、机の天板１上の映像にかざされた手や棒などの机の天板１とは赤外線の反射率が異なるものを識別し、コンピュータープログラム７上で映像とそれらの位置を重ね合わせ、画像３を操作するシステムである。
【００１２】
本発明は、操作する手に装着する指輪や手が持つペン、棒形状のものに強く集束された赤外線光を発する機能を持たせ、天板１などにそれによる強い反射点をつくり、赤外線カメラ６で認識させ映像装置２で投影される画像３を操作する。この場合、手などに比べ十分に強い赤外線の反射点が得られ認識できるため、上記した基本形態の内赤外線照射装置４は不要となる。
【００１３】
前記したシステムを基礎とし、本発明は特殊な操作で文字や図形の描写を行うのではなく、私たちが日常的に行っている動作や行動と同様のことで、投影画面に指やペンで文字や図形を描写することを実現しています。これによって投影した画像にメモを描写して会議や会話の利便性を高めます。紙の資料にメモを記述し、そのメモ情報を保存し共有する場合、複写もしくはスキャニングする作業が発生しますが、この発明では描写された内容を投影されているコンピューターの画像データーに重ね合わせて記録することができ、複写やスキャニングの作業を省き、印刷、保存やデーター送信による情報の共有化の利便性を高めます。また、遠隔地に本発明と同じシステムを設置し、データー通信で結べば、記述した内容を同時間で共有することができます。
【００１４】
図２を参照しながら本発明の第一実施形態について説明する。上記で説明したシステムにおいて、天板１上にかざされる手の指８につけた操作用指輪９に取り付けた、微小な赤外線発光装置１０から爪に、５〜１０ｍｍ程度に集束された強い赤外線光１１を照射し、それによる５〜１０ｍｍ程度に集束された強い赤外線反射点１２を爪上に作り出し、天板１の上部に設置した赤外線カメラ６で認識し、その位置と画像３をコンピュータープログラム上で重ねあわせ、画像３を操作する。この場合、画像３で表示された画像情報には、マウスでコンピューター画面を操作する場合と同様に予め操作できるポイントがプログラムされており、操作者が操作したい画像情報の位置に指を置く直感的な操作をするが、爪に反射点１２をつくることで操作したい画像情報の直上に作れるため正確に認識することができる。
【００１５】
ペンなどの道具を持ちそれによって操作する等の付加的な行動を省きより直感的な操作を実現するために、本発明の第一実施形態では手や指の動きを直接に操作に反映させる指に装着する指輪形状の操作具を活用している。
【００１６】
そのために本発明では、日常的に手にする指輪形状の操作具により操作意志がある場合に画面上へ集束された強い赤外線反射点１２をつくり、それによって操作するが、操作者の直観的な操作感が出来るように強い赤外線反射点１２をつくりだす操作はボタンなどによらず、天板１に対する接点スイッチ１３により、天板１に指が触れた状態で、赤外線１１が照射されるようにした。これによって、その認識点に映像でポイントを連続的に表示し軌跡を残すことで文字や図形の描写を可能にした。
【００１７】
また、操作を行うために天板１に対する接点スイッチ１３により、天板１に指が触れた状態で、赤外線１１が照射されるようにすることで、操作者の直観的な操作感が出来る。
【００１８】
また、画像３に操作者の指８で図や文字を記述する場合、図１０のように図や文字を記述したい位置に操作者の指８を置くことで反射点１２を発生させ、その反射点１２を図や文字１６を描くために連続的に移動し、赤外線カメラ６で撮影し、その位置をコンピュータープログラム７上で記録し、連続的に映像装置２に表示することで、画像３と重ね合わせた図形や文字１６を記述し表示することが出来る。同時に、コンピュータープログラム７上に、記録し、記録メディアにデーターファイルとして保存したりプリンターでプリントアウトすることもできる。
【００１９】
（２）他の形態
次に、本発明のさらに他の実施形態について説明する。なお、上述の実施形態と同様の部材には同一の符号を附してある。
指輪以外の形態として、図４に示すように、指輪形状でなくペン状の形態もある。同様に図５のように指し棒のような棒状の形態もある。指し棒は画像３を大きく表示する場合、天板１が大きくなり操作者の指が届かないため指し棒の形態とする。指し棒のような棒状の形態の場合接点スイッチ１３に替えてスイッチ１８を設ける。操作性を高めるために接点スイッチ１３を先端に取り付けることもある。
【００２０】
また、図３に示すように赤外線反射点１２を天板１上に表示する形態もある。この場合、指が天板１に触れた位置とずれが生じ、直観的な操作の妨げになることを防ぐために、図６のように、天板１へ照射する赤外線１１が作る赤外線反射点１２の集束形状を点または円形ではなく山型の直線や図７のように複数の輝点の構成、図８のように長楕円形状で方向を認識できる形状とすることで指との方向を特定し、指が天板１に触れている位置を正確に認識させる形態もある。図９のように、微細な赤外線照射装置１０から上方に集束された赤外線光１１を照射することで、その赤外線光１１を直接に赤外線カメラ６に認識させる形態もある。この場合、反射光１２によらずに認識する。
【００２１】
机以外にも、床面、壁面、天井面などへの活用形態もある。また、平滑な面でなく立体的な形状による活用形態もある。認識のために用いる光としては、赤外線以外の光を活用したあらゆる画像認識システムにおける活用においても、同様に集束された強い反射光点もしくは微小な発光点を認識すれば同様の効果を得ることが出来る。図２、図３、図４のスイッチ１３は、図１１、図１２、図１３のように操作者の指８の直下に設置する形態もある。すなわち、直感的な操作を実現するために、操作者の指８が投影画面３のうち操作したい部分の天板１に触れたことを操作者が知覚認識することと同時に、スイッチ１３が信号を発生させる必要がある。そのために、スイッチ１３は最も適切な位置と形状、仕組みを選択する。
【００２２】
（３）発明の特徴
コンピューターによる情報技術が発達してもその情報は表示装置の中にとどまります。この場合、表示装置は実空間とコンピューターの中に形成される仮想空間つまりサイバー空間を結ぶ窓のように機能し２つの世界を繋げますが、あくまで２つの世界を隔てる壁に開けられた窓であり、人間は壁の１方向にとどまります。３Ｄや特殊ゴーグルでコンピューターによるサイバー空間に人が入ったように感じさせる技術もありますが、これらの技術に対して本発明は、人間が生活する実空間にサイバー空間を馴染ませるために、私たちが日常的に生活する空間や家具をそのまま活用し、現在のコンピューター操作のようなキーボードやマウスによるコンピューター画面を操作するような特別な使用方法を強いるのではなく、私たちの日常的な生活体験、行動の延長の中で利用することでコンピューターと人間の新しい関係を実現するものであります。
【００２３】
さらにサイバー技術は画像や音声など指定されたデーターフォーマットで記録され表示されますが、人間はもっと多様な情報を活用した生活体験に基づいて行動をしています。身体的活動を通じて知覚し記憶する情報です。例えば、運動の上達には身体的活動を通じた訓練が必要で、火災の避難訓練なども身体活動を通じた知覚と記憶を確立することです。他にも嗅覚、触角、温度、湿度、音圧やその方向、通常は知覚できない不可視光線や高周波、低周波などの音波、画像で表現しきれない微細な色やディテールや動画化できない高速な変化などです。一般的に前者は形式知と後者は経験知と呼ばれていますが、人間が記憶している情報は形式知より経験知がはるかに多いと言われており、それによって様々な判断を行っていると言われています。本発明もサイバー技術を基礎とするためこの前者の情報に規定されますが、表示装置の設置方法や操作方法の工夫により、日常的な生活習慣や行動の中で特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作ですることで、人間の経験知を刺激し、私たち人間にとってよりストレスのない自然な利用と形式知を表示しながら人間の直観的な操作や自然な反応、認識を可能にすることで情報を経験知化することを実現するものです。例えば、テーブルの上の絵や手紙が気になったら手を伸ばしそれに触れると同じ行動で、テーブルの上にある情報に触れたり、そのテーブルを囲んだ人が顔を見合せながら会話するなどです。
【００２４】
本発明では、テーブルについてはどのような仕上げ素材でも投影可能であり、家具メーカーが販売している流通品をそのまま利用できます。映像は黒以外であればどのような天板１の仕様でも投影が可能です。利用用途によって正確な色の再現が必要な場合は白やシルバーを選ぶことで質を確保します。
【００２５】
本発明がめざしている日常生活での利用における直観的な操作を実現するためには、認識範囲内にかざされた手や指などの形状認識や天板１やスクリーンとの赤外線の反射率の相違で認識する方式では操作意志が正確に把握できないことや手や指以外の意図しないものに対する誤認識が起こり対応できません。そのために本発明では、操作具により操作意志がある場合に画面上へ集束された強い赤外線反射点１２をつくり、それによって操作することとしています。例えば、画面を操作する意思がなくても天板１上に赤外線反射率のことなる手をかざしたり、コーヒーカップなどの物を置くことで起こる誤動作をなくすことを目的としています。
【００２６】
本発明は、私たちの日常的生活や行動の延長による直観的操作を実現するものであり、操作具の形状や操作方法を特別にしないことが重要であり、操作具の形状を日常的に手にする指輪やペンなどの形状で実現しています。
【００２７】
本発明は、直観的な操作を可能にするために、操作を意図した点とコンピューターが認識する点が異ったり、認識できないことで生じる誤動作や違和感を解消するために、認識させる強い赤外線反射点の場所と形状を工夫しています。本発明では、図２のように強い反射点１２が１つの点でも誤動作や違和感が生じないものとして、指輪から指の爪へ赤外線を照射し爪に強い反射点をつくりその直下が、人が意図した操作点であり誤動作や違和感が生じません。また、図４のように特にペン形状の場合、強い反射点１２が手やペンの影になり認識できないことがありますので、ペンから十分に離れた地点に強い反射点１２を作り出していますが、操作する人の指先やペン先とコンピューターが認識する集束された強く赤外線反射点の関係を正確に重ね合わせることが必要で、そのために、形状で方向性を読み取れるような工夫として、図６のように鉤型に折れ曲がった長い長方形や、図７のように複数点の構成や図８のように長楕円の形状のように方向性を認識できる形状とすることで実現しています。これによって、ペン形状の操作具の場合、ペン先に強い赤外線の輝点を作らなくて済むのでペン先を不透明の素材とするなど素材の条件がなくなります。ペン形状以外にも指輪形状などにおいても選択した画像を捻るなどの操作も可能にできます。
【００２８】
本発明では、操作者の直観的な操作感が出来るように強い赤外線反射点１２をつくりだす操作はボタンなどによらず、天板１に対する接点スイッチ１３により、天板１に指が触れた状態で、赤外線１１が照射されるようにした。さらにその認識点に映像でポイントを連続的に表示し軌跡を残すことで文字や図形の描写とその記録を実現している。
【００２９】
これによって、本発明をテーブルなどで利用することで人と人が自然で、質が高く、経験知化するコミュニケーションを実現するものであり、本発明によってテーブルでの会議やコミュニティススペース、歓談、ゲームなど人と人の自然で密なコミュニケーションを実現している。
【００３０】
（４）他の特許との違い
最後に、本発明と他の先行文献１〜９との差異について説明する。
文献１（特許３７９４１８０号公報）及び文献２（特許３９６８４７７号公報）について
本発明は人間が生活する実空間に、サイバー空間を溶け込ませることで、私たちが日常的に生活する空間や家具に特殊な利用方法を強いるのではなく、私たちの日常的な生活体験、経験の延長の中で利用することでストレスのないサイバー機能の活用をめざしたものであります。本発明もサイバー技術を基礎とするためこの前者の情報に規定されますが、表示装置の設置方法や表示方法の工夫により、日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作ですることで、人間の経験知を刺激し、私たち人間にとってよりストレスのない自然な利用と形式知を表示しながら人間の直観的な操作や自然な反応、認識を可能にすることで情報を経験知化することをめざしたものであります。例えば、テーブルの上の絵や手紙が気になったら手を伸ばしそれに触れると同じ行動で、テーブルの上にある情報に触れたり、それらの置かれたテーブルを囲んだ人が顔を見合せながら会話するなどです。この点において、文献１及び文献２は、リアプロジェクションによる活用しかできず、その場合、テーブル状の天板に映像を投影するためには、テーブルが特殊な素材と形状となり、私たちが日常的に生活しているテーブルとは使用方法も設置状況も大きくことなりますので、私たちの日常の生活の中に無理なく持ち込むことができません。例えば、テーブル上での飲食や事務作業で天板のリアプロジェクションのスクリーンを壊したり、スクリーンの仕様の特性から飲食や事務作業が行いにくい、テーブル下にプロジェクターを設置し投影される光線が足などで妨げられないように相当な空間を確保する必要があり、着座時の足の置き場所や荷物の置き場所など利用上不都合があり、価格も高価になります。これに対して、本発明ではテーブルはどのような素材でも投影可能であり、家具メーカーが販売している流通品をそのまま利用できます。
【００３１】
文献１及び文献２は、あくまでリアプロジェクションにおいてのみの利用が可能であり、本発明は、フロントプロジェクションとリアプロジェクションの両方式に対応可能であります。また、文献１では、赤外線の反射輝点とコンピューター画面を重ね合わせますが、この方式では、重ねあわせたものすべてが操作として反応するため、誤動作が起こります。例えば操作意思がない場合に操作ポイントに重なった場合に誤動作が発生します。本発明では、テーブル面もしくは画面に触れたことによる接点スイッチの作動、もしくは、操作意思のある時に押すボタンスイッチにより赤外線が照射されるので残誤動作はありません。
【００３２】
文献１では、画面に図形や文字を描写できませんが、本発明では指やペンによって画面に自由に図形や文字を描写することを可能にしています。
【００３３】
文献３（特許４１４０８９８号公報）について
文献３については、一つの映像投影面に複数の周波数によって複数の情報を映像で投影し、特定の周波数の光だけを撮像できるカメラで意図した情報だけを認識させる内容であり、本発明が、人の生活する日常的空間にコンピューター情報を表示し、日常的生活行動の中で特別な行為なしに直観的な操作ができることを実現することに対して、文献３では、特殊なカメラが必要となり、カメラを通して見るという特殊な手段が必要となり、本発明のように、例えば、テーブルの上に写しだされた映像情報を特殊な機器を用いずに見ることはできずに、特殊なカメラによらなければならない。また、本発明のように表示されたコンピューター画面を操作する機能も備えていない。
【００３４】
文献４（特開平２−１７０１９３号公報）について
文献４については、フロントプロジェクションされた映像上に投射された赤外線レーザーの輝点をカメラで撮像し、それによってその位置座標を認識する点は、本発明が赤外線レーザーではなく赤外線を活用していることの違いはあるが基本的には同じである。しかし、本発明は、投影されたコンピューター画面を操作すること、文字や図形を描写することを可能にしているが、これを文献４では実現できない。
【００３５】
文献５（特開平１１−８５３９５号公報）について
文献４は、プロジェクターで投影される映像系とレーザーポインターによる指示赤外線スポットによる指示系の位置座標を正確に重畳する設置を簡易にすることを基本に、その別形態として指示赤外線スポット位置をカメラで撮像し位置座標を認識し映像でポイントマークを重畳表示し、投影された映像がコンピューター画面である場合にはクリック操作を実現するものです。指示赤外線スポット位置をカメラで撮像し位置座標を認識、コンピューター画面である場合にはクリック操作を実現することは本発明と同じです。しかし、文献５では、講演などので説明画面の指示、操作を目的としているためレーザーポインターを画面から離れた位置からの操作であり、ボタンによるレーザー照射をスイッチ操作するため、文字や図形を正確で簡単な描写はできません。本発明は、表示装置の設置方法や表示方法、指示描画装置の工夫により、日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作ですることで、人間の経験知を刺激し、私たち人間にとってよりストレスのない自然な利用と形式知を表示しながら人間の直観的な操作や自然な反応、認識を可能にすることで情報を経験知化することをめざしたものであります。例えば、テーブルの上に写しだされたコンピューター画面の情報に手を伸ばしそれに触れ、操作し、文字や図形を描写できますが、文献５のレーザーポインターでは操作性が悪く、文字や図形を正確で簡単な描写と日常的な直観的操作は実現できません。
【００３６】
文献６（特開２００９−６４１０９号公報）について
本発明が投影された映像やコンピューター画面の操作を日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作でする目的は同じですが、文献６では、温度が３０〜３４℃のものを認識しますが、画面の前には手以外にも同様な温度のものが存在する場合、たとえば、テーブルに投影した場合、暖かい飲み物や食べ物も同様の温度となり、誤動作を起こします。操作点となる指の認識も手の重心位置を算定し、その重心位置より最も遠い指を操作指としていますが、文献６の図５にあるように重心から最も遠い指は中指であり、人が通常の指示指として使うのは人指し指でありこれも誤動作となります。本発明では、指輪やペン形状による日常的道具を活用して、赤外線の反射輝点もしくは発光点を認識するため、誤動作をなくすことを実現していまする点が、文献６では実現できません。
【００３７】
文献７（特許３６２０３９７号公報）について
本発明が投影された映像やコンピューター画面の操作を日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作でする目的は同じですが、文献７では、壁面への映像投影を使用環境としているため、認識すべき領域には手や指示棒など指示するもの以外がないことを前提としてますが、白板のマグネットやこれをテーブルなどに活用した場合、書籍、手帳、食器など手や指示棒と区別した認識ができないものが存在し、誤動作をおこします。したがって、文献７を利用する場合、白板のマグネットや書籍、手帳、食器など手や指示棒と区別した認識ができないものを認識範囲の中に置かない特殊な環境をの設定が必要となり、本発明が実現している日常的な環境での利用を、文献７では実現できません。
【００３８】
文献８（特開２００６−２６０４８７号公報）について
本発明が映像系と指示系の位置座標を重畳し画面の操作を実現する点は同じですが、本発明が赤外線などの通常の光源によりある程度の幅の周波数の光線の反射輝点もしくは直接光を利用することに対して、文献８については単波長に集束されたレーザー光線による２つの経路に分けそれの反射点における干渉縞を活用しています。本発明は幅広い通常光源が利用可能ですが、文献８では干渉縞が生じるレーザー光源に限定されます。本発明は通常光源であり、構造も簡易で指輪やペンなど指示装置を小型化、軽量化、低価格化することを実現できますが、文献８ではレーザー光源であること、一つのレーザー光源からレンズの組み合わせによって２つの経路に分岐する構造が複雑となります。
【００３９】
文献９（特開２００５−３５２２４２号公報）について
本発明が指示ポイントの赤外線反射輝点を撮像し指示位置座標を認識し映像系と指示系の位置座標を重畳する点は同じですが、本発明が垂直から水平まであらゆる画面の設置角度に利用できますが、文献９は構造特性から水平面での利用に限られ、例えば白板での使用はできません。本発明は、反射輝点の形状によって指示ポイントの方向を認識させること下実現できますが、文献９では点反射であり実現できません。本発明は、位置認識のための撮像カメラをフロント、リアの両方に設置できますが、文献９ではフロント面の直角の位置に限定されます。本発明は指示具の構造が簡易であることに対して、文献９の指示具発光部の構造が微細構造の可動部を含み複雑で安定性に不安があります。本発明は、コンピューター画面の操作が可能ですが、文献９ではコンピューター画面との操作が示されていません。
【００４０】
他の従来技術について
本発明と、電子ペン及び電子マウスとの相違点は表１の通りである。
【００４１】
【表１】
【産業上の利用可能性】
【００４２】
本発明は、画像認識により映像を操作するあらゆるものに利用でき、例えば、会議や説明の机、ゲームなど余暇を楽しむ机や床・壁・天井、身体の機能回復や維持のための医療・福祉機器、スポーツクラブやダンス教室の床などに投影して利用する訓練機器として使用ことができる。また、観光地・大規模集客施設・ホテルなどでの案内、学習の指導、建築・都市・産業機器・デザイン設計の説明や会議、展示会や展示施設、セミナーや講演会の映像の操作、天気やスポーツ解説、ニュース解説など放送用の情報表示の操作などにも利用可能である。
【符号の説明】
【００４３】
１：机の天板（映像投影面）、２：映像装置、３：投影画像、４：赤外線照射装置、５：照射された赤外線 ６：赤外線カメラ、７：コンピュータープログラム、８：操作者の指 ９：操作用指輪、１０：赤外線発光装置、１１：集束された強い赤外線光、１２：集束された強い赤外線反射点、１３：天板に触れたことを感知する接点スイッチ、１４：操作用ペン、１５：操作用指し棒、１６：映像で表示される指の軌跡により描画された線、１７：操作者の指の爪、１８：赤外線照射ボタン
【技術分野】
【０００１】
本発明は、画像認識によるコンピューター操作システムに関する。
【背景技術】
【０００２】
従来の赤外線画像認識による画像を操作するシステムは、自発光式のディスプレイ装置の表面に指の位置を感知するセンサーを取り付け画像を操作するいわゆるタッチパネルに比べ、例えば図１のような利用のための大型化が容易で、表示面の素材や形状が自由である。また、表示面には装置が存在しないため、表示面に物を置く場合に必要となる耐衝撃性や摩耗性、飲食などに対応した耐水性などを有することが可能である。そして、日常生活に馴染んだ直感的操作のために、既存のシステムはペンなどの道具を持ちそれによって操作している。
【０００３】
しかし、直観的な操作を実現するためには、認識範囲内にかざされた手や指などの形状認識や天板やスクリーンとの赤外線の反射率の相違で認識する従来の方式では操作意志が正確に把握することが困難であり、手や指以外の意図しないものに対する誤認識が起こるために対応することが困難であった。
【０００４】
また、例えば特許文献１に記載の如きシステムも知られている。このシステムでは、温度が３０〜３４℃のものを認識するが、画面の前には手以外にも同様な温度のものが存在する場合、たとえば、テーブルに投影した場合、温かい飲み物や食べ物も同様の温度となり、誤動作の原因となる。また、操作点となる指の認識も手の重心位置を算定し、その重心位置より最も遠い指を操作指としているが、文献１の図５にあるように重心から最も遠い指は中指であり、人が通常の指示指として使うのは人指し指でありこれも誤動作の原因となる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−６４１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
かかる従来の実情に鑑みて、本発明は、日常生活に馴染んだ直感的操作を誤作動や違和感を生じることなく実現する画像認識によるコンピューター操作システムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明に係る画像認識によるコンピューター操作システムの特徴は、画像を投影面に投影する映像装置と、投影された投影画像を含む撮影領域を撮影する撮影装置と、前記撮影領域内で発光し発光点を生成する発光装置と、前記画像及び撮影された撮影画像を重ね合わせることで前記画像における前記発光点の位置を特定すると共に、前記発光点により所要の情報処理を実行する情報処理装置とを備えることにある。
【発明の効果】
【０００８】
上記本発明に係る画像認識によるコンピューター操作システムの特徴によれば、日常生活に馴染んだ直感的操作を誤作動や違和感を生じることなく実現することが可能となった。
【０００９】
本発明の他の目的、構成及び効果については、以下の発明の実施の形態の項から明らかになるであろう。
【図面の簡単な説明】
【００１０】
【図１】赤外線を活用した画像認識による画像操作システムの構成の解説図である。
【図２】爪に赤外線反射点を作る操作用指輪の仕組みを説明する指と天板の部分を示す側面図である。
【図３】赤外線反射点を天板に照射した場合の仕組みを説明する操作指輪を事例とした操作指輪と天板の部分を示す側面図である。
【図４】操作用のペンの仕組みを説明するペンと天板の部分を示す側面図である。
【図５】操作用の指し棒の仕組みを説明する指し棒と天板の部分を示す側面図である。
【図６】赤外線反射点を鉤型形状とした場合の仕組みを説明する操作指輪を事例とした操作指輪と天板の部分を示す平面図である。
【図７】赤外線反射点を複数とした場合の仕組みを説明する操作指輪を事例とした操作指輪と天板の部分を示す平面図である。
【図８】赤外線反射点の形状を楕円にした場合の平面図である。
【図９】赤外線直接光を利用した場合の仕組みを説明する操作指輪を事例とした指輪と天板の部分を示す側面図である。
【図１０】指示点に映像によるポイント表示を連続的に記録し軌跡として表示し、文字や図形を描写する指先と指輪を示す平面図である。
【図１１】爪に赤外線反射点を作る操作用指輪の他の仕組みを説明する図２相当図である。
【図１２】赤外線反射点を天板に照射した場合の他の仕組みを説明する図３相当図である。
【図１３】操作用のペンの他の仕組みを説明する図４相当図である。
【発明を実施するための形態】
【００１１】
次に、適宜添付図面を参照しながら、本発明をさらに詳しく説明する。
（１）基本形態
図１を参照しながら、本発明が基礎とするシステムを説明する。会議などの情報交換やくつろぐ会話や余暇のために、人が周囲に座る机の天板１に対して、上部から映像装置２によって画像３を投影し、同時に同じ机の天板１上部に設置した赤外線照射装置４から赤外線を天板１に向けて照射しながら赤外線カメラ６で同じ机の天板１を撮影することで、机の天板１上の映像にかざされた手や棒などの机の天板１とは赤外線の反射率が異なるものを識別し、コンピュータープログラム７上で映像とそれらの位置を重ね合わせ、画像３を操作するシステムである。
【００１２】
本発明は、操作する手に装着する指輪や手が持つペン、棒形状のものに強く集束された赤外線光を発する機能を持たせ、天板１などにそれによる強い反射点をつくり、赤外線カメラ６で認識させ映像装置２で投影される画像３を操作する。この場合、手などに比べ十分に強い赤外線の反射点が得られ認識できるため、上記した基本形態の内赤外線照射装置４は不要となる。
【００１３】
前記したシステムを基礎とし、本発明は特殊な操作で文字や図形の描写を行うのではなく、私たちが日常的に行っている動作や行動と同様のことで、投影画面に指やペンで文字や図形を描写することを実現しています。これによって投影した画像にメモを描写して会議や会話の利便性を高めます。紙の資料にメモを記述し、そのメモ情報を保存し共有する場合、複写もしくはスキャニングする作業が発生しますが、この発明では描写された内容を投影されているコンピューターの画像データーに重ね合わせて記録することができ、複写やスキャニングの作業を省き、印刷、保存やデーター送信による情報の共有化の利便性を高めます。また、遠隔地に本発明と同じシステムを設置し、データー通信で結べば、記述した内容を同時間で共有することができます。
【００１４】
図２を参照しながら本発明の第一実施形態について説明する。上記で説明したシステムにおいて、天板１上にかざされる手の指８につけた操作用指輪９に取り付けた、微小な赤外線発光装置１０から爪に、５〜１０ｍｍ程度に集束された強い赤外線光１１を照射し、それによる５〜１０ｍｍ程度に集束された強い赤外線反射点１２を爪上に作り出し、天板１の上部に設置した赤外線カメラ６で認識し、その位置と画像３をコンピュータープログラム上で重ねあわせ、画像３を操作する。この場合、画像３で表示された画像情報には、マウスでコンピューター画面を操作する場合と同様に予め操作できるポイントがプログラムされており、操作者が操作したい画像情報の位置に指を置く直感的な操作をするが、爪に反射点１２をつくることで操作したい画像情報の直上に作れるため正確に認識することができる。
【００１５】
ペンなどの道具を持ちそれによって操作する等の付加的な行動を省きより直感的な操作を実現するために、本発明の第一実施形態では手や指の動きを直接に操作に反映させる指に装着する指輪形状の操作具を活用している。
【００１６】
そのために本発明では、日常的に手にする指輪形状の操作具により操作意志がある場合に画面上へ集束された強い赤外線反射点１２をつくり、それによって操作するが、操作者の直観的な操作感が出来るように強い赤外線反射点１２をつくりだす操作はボタンなどによらず、天板１に対する接点スイッチ１３により、天板１に指が触れた状態で、赤外線１１が照射されるようにした。これによって、その認識点に映像でポイントを連続的に表示し軌跡を残すことで文字や図形の描写を可能にした。
【００１７】
また、操作を行うために天板１に対する接点スイッチ１３により、天板１に指が触れた状態で、赤外線１１が照射されるようにすることで、操作者の直観的な操作感が出来る。
【００１８】
また、画像３に操作者の指８で図や文字を記述する場合、図１０のように図や文字を記述したい位置に操作者の指８を置くことで反射点１２を発生させ、その反射点１２を図や文字１６を描くために連続的に移動し、赤外線カメラ６で撮影し、その位置をコンピュータープログラム７上で記録し、連続的に映像装置２に表示することで、画像３と重ね合わせた図形や文字１６を記述し表示することが出来る。同時に、コンピュータープログラム７上に、記録し、記録メディアにデーターファイルとして保存したりプリンターでプリントアウトすることもできる。
【００１９】
（２）他の形態
次に、本発明のさらに他の実施形態について説明する。なお、上述の実施形態と同様の部材には同一の符号を附してある。
指輪以外の形態として、図４に示すように、指輪形状でなくペン状の形態もある。同様に図５のように指し棒のような棒状の形態もある。指し棒は画像３を大きく表示する場合、天板１が大きくなり操作者の指が届かないため指し棒の形態とする。指し棒のような棒状の形態の場合接点スイッチ１３に替えてスイッチ１８を設ける。操作性を高めるために接点スイッチ１３を先端に取り付けることもある。
【００２０】
また、図３に示すように赤外線反射点１２を天板１上に表示する形態もある。この場合、指が天板１に触れた位置とずれが生じ、直観的な操作の妨げになることを防ぐために、図６のように、天板１へ照射する赤外線１１が作る赤外線反射点１２の集束形状を点または円形ではなく山型の直線や図７のように複数の輝点の構成、図８のように長楕円形状で方向を認識できる形状とすることで指との方向を特定し、指が天板１に触れている位置を正確に認識させる形態もある。図９のように、微細な赤外線照射装置１０から上方に集束された赤外線光１１を照射することで、その赤外線光１１を直接に赤外線カメラ６に認識させる形態もある。この場合、反射光１２によらずに認識する。
【００２１】
机以外にも、床面、壁面、天井面などへの活用形態もある。また、平滑な面でなく立体的な形状による活用形態もある。認識のために用いる光としては、赤外線以外の光を活用したあらゆる画像認識システムにおける活用においても、同様に集束された強い反射光点もしくは微小な発光点を認識すれば同様の効果を得ることが出来る。図２、図３、図４のスイッチ１３は、図１１、図１２、図１３のように操作者の指８の直下に設置する形態もある。すなわち、直感的な操作を実現するために、操作者の指８が投影画面３のうち操作したい部分の天板１に触れたことを操作者が知覚認識することと同時に、スイッチ１３が信号を発生させる必要がある。そのために、スイッチ１３は最も適切な位置と形状、仕組みを選択する。
【００２２】
（３）発明の特徴
コンピューターによる情報技術が発達してもその情報は表示装置の中にとどまります。この場合、表示装置は実空間とコンピューターの中に形成される仮想空間つまりサイバー空間を結ぶ窓のように機能し２つの世界を繋げますが、あくまで２つの世界を隔てる壁に開けられた窓であり、人間は壁の１方向にとどまります。３Ｄや特殊ゴーグルでコンピューターによるサイバー空間に人が入ったように感じさせる技術もありますが、これらの技術に対して本発明は、人間が生活する実空間にサイバー空間を馴染ませるために、私たちが日常的に生活する空間や家具をそのまま活用し、現在のコンピューター操作のようなキーボードやマウスによるコンピューター画面を操作するような特別な使用方法を強いるのではなく、私たちの日常的な生活体験、行動の延長の中で利用することでコンピューターと人間の新しい関係を実現するものであります。
【００２３】
さらにサイバー技術は画像や音声など指定されたデーターフォーマットで記録され表示されますが、人間はもっと多様な情報を活用した生活体験に基づいて行動をしています。身体的活動を通じて知覚し記憶する情報です。例えば、運動の上達には身体的活動を通じた訓練が必要で、火災の避難訓練なども身体活動を通じた知覚と記憶を確立することです。他にも嗅覚、触角、温度、湿度、音圧やその方向、通常は知覚できない不可視光線や高周波、低周波などの音波、画像で表現しきれない微細な色やディテールや動画化できない高速な変化などです。一般的に前者は形式知と後者は経験知と呼ばれていますが、人間が記憶している情報は形式知より経験知がはるかに多いと言われており、それによって様々な判断を行っていると言われています。本発明もサイバー技術を基礎とするためこの前者の情報に規定されますが、表示装置の設置方法や操作方法の工夫により、日常的な生活習慣や行動の中で特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作ですることで、人間の経験知を刺激し、私たち人間にとってよりストレスのない自然な利用と形式知を表示しながら人間の直観的な操作や自然な反応、認識を可能にすることで情報を経験知化することを実現するものです。例えば、テーブルの上の絵や手紙が気になったら手を伸ばしそれに触れると同じ行動で、テーブルの上にある情報に触れたり、そのテーブルを囲んだ人が顔を見合せながら会話するなどです。
【００２４】
本発明では、テーブルについてはどのような仕上げ素材でも投影可能であり、家具メーカーが販売している流通品をそのまま利用できます。映像は黒以外であればどのような天板１の仕様でも投影が可能です。利用用途によって正確な色の再現が必要な場合は白やシルバーを選ぶことで質を確保します。
【００２５】
本発明がめざしている日常生活での利用における直観的な操作を実現するためには、認識範囲内にかざされた手や指などの形状認識や天板１やスクリーンとの赤外線の反射率の相違で認識する方式では操作意志が正確に把握できないことや手や指以外の意図しないものに対する誤認識が起こり対応できません。そのために本発明では、操作具により操作意志がある場合に画面上へ集束された強い赤外線反射点１２をつくり、それによって操作することとしています。例えば、画面を操作する意思がなくても天板１上に赤外線反射率のことなる手をかざしたり、コーヒーカップなどの物を置くことで起こる誤動作をなくすことを目的としています。
【００２６】
本発明は、私たちの日常的生活や行動の延長による直観的操作を実現するものであり、操作具の形状や操作方法を特別にしないことが重要であり、操作具の形状を日常的に手にする指輪やペンなどの形状で実現しています。
【００２７】
本発明は、直観的な操作を可能にするために、操作を意図した点とコンピューターが認識する点が異ったり、認識できないことで生じる誤動作や違和感を解消するために、認識させる強い赤外線反射点の場所と形状を工夫しています。本発明では、図２のように強い反射点１２が１つの点でも誤動作や違和感が生じないものとして、指輪から指の爪へ赤外線を照射し爪に強い反射点をつくりその直下が、人が意図した操作点であり誤動作や違和感が生じません。また、図４のように特にペン形状の場合、強い反射点１２が手やペンの影になり認識できないことがありますので、ペンから十分に離れた地点に強い反射点１２を作り出していますが、操作する人の指先やペン先とコンピューターが認識する集束された強く赤外線反射点の関係を正確に重ね合わせることが必要で、そのために、形状で方向性を読み取れるような工夫として、図６のように鉤型に折れ曲がった長い長方形や、図７のように複数点の構成や図８のように長楕円の形状のように方向性を認識できる形状とすることで実現しています。これによって、ペン形状の操作具の場合、ペン先に強い赤外線の輝点を作らなくて済むのでペン先を不透明の素材とするなど素材の条件がなくなります。ペン形状以外にも指輪形状などにおいても選択した画像を捻るなどの操作も可能にできます。
【００２８】
本発明では、操作者の直観的な操作感が出来るように強い赤外線反射点１２をつくりだす操作はボタンなどによらず、天板１に対する接点スイッチ１３により、天板１に指が触れた状態で、赤外線１１が照射されるようにした。さらにその認識点に映像でポイントを連続的に表示し軌跡を残すことで文字や図形の描写とその記録を実現している。
【００２９】
これによって、本発明をテーブルなどで利用することで人と人が自然で、質が高く、経験知化するコミュニケーションを実現するものであり、本発明によってテーブルでの会議やコミュニティススペース、歓談、ゲームなど人と人の自然で密なコミュニケーションを実現している。
【００３０】
（４）他の特許との違い
最後に、本発明と他の先行文献１〜９との差異について説明する。
文献１（特許３７９４１８０号公報）及び文献２（特許３９６８４７７号公報）について
本発明は人間が生活する実空間に、サイバー空間を溶け込ませることで、私たちが日常的に生活する空間や家具に特殊な利用方法を強いるのではなく、私たちの日常的な生活体験、経験の延長の中で利用することでストレスのないサイバー機能の活用をめざしたものであります。本発明もサイバー技術を基礎とするためこの前者の情報に規定されますが、表示装置の設置方法や表示方法の工夫により、日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作ですることで、人間の経験知を刺激し、私たち人間にとってよりストレスのない自然な利用と形式知を表示しながら人間の直観的な操作や自然な反応、認識を可能にすることで情報を経験知化することをめざしたものであります。例えば、テーブルの上の絵や手紙が気になったら手を伸ばしそれに触れると同じ行動で、テーブルの上にある情報に触れたり、それらの置かれたテーブルを囲んだ人が顔を見合せながら会話するなどです。この点において、文献１及び文献２は、リアプロジェクションによる活用しかできず、その場合、テーブル状の天板に映像を投影するためには、テーブルが特殊な素材と形状となり、私たちが日常的に生活しているテーブルとは使用方法も設置状況も大きくことなりますので、私たちの日常の生活の中に無理なく持ち込むことができません。例えば、テーブル上での飲食や事務作業で天板のリアプロジェクションのスクリーンを壊したり、スクリーンの仕様の特性から飲食や事務作業が行いにくい、テーブル下にプロジェクターを設置し投影される光線が足などで妨げられないように相当な空間を確保する必要があり、着座時の足の置き場所や荷物の置き場所など利用上不都合があり、価格も高価になります。これに対して、本発明ではテーブルはどのような素材でも投影可能であり、家具メーカーが販売している流通品をそのまま利用できます。
【００３１】
文献１及び文献２は、あくまでリアプロジェクションにおいてのみの利用が可能であり、本発明は、フロントプロジェクションとリアプロジェクションの両方式に対応可能であります。また、文献１では、赤外線の反射輝点とコンピューター画面を重ね合わせますが、この方式では、重ねあわせたものすべてが操作として反応するため、誤動作が起こります。例えば操作意思がない場合に操作ポイントに重なった場合に誤動作が発生します。本発明では、テーブル面もしくは画面に触れたことによる接点スイッチの作動、もしくは、操作意思のある時に押すボタンスイッチにより赤外線が照射されるので残誤動作はありません。
【００３２】
文献１では、画面に図形や文字を描写できませんが、本発明では指やペンによって画面に自由に図形や文字を描写することを可能にしています。
【００３３】
文献３（特許４１４０８９８号公報）について
文献３については、一つの映像投影面に複数の周波数によって複数の情報を映像で投影し、特定の周波数の光だけを撮像できるカメラで意図した情報だけを認識させる内容であり、本発明が、人の生活する日常的空間にコンピューター情報を表示し、日常的生活行動の中で特別な行為なしに直観的な操作ができることを実現することに対して、文献３では、特殊なカメラが必要となり、カメラを通して見るという特殊な手段が必要となり、本発明のように、例えば、テーブルの上に写しだされた映像情報を特殊な機器を用いずに見ることはできずに、特殊なカメラによらなければならない。また、本発明のように表示されたコンピューター画面を操作する機能も備えていない。
【００３４】
文献４（特開平２−１７０１９３号公報）について
文献４については、フロントプロジェクションされた映像上に投射された赤外線レーザーの輝点をカメラで撮像し、それによってその位置座標を認識する点は、本発明が赤外線レーザーではなく赤外線を活用していることの違いはあるが基本的には同じである。しかし、本発明は、投影されたコンピューター画面を操作すること、文字や図形を描写することを可能にしているが、これを文献４では実現できない。
【００３５】
文献５（特開平１１−８５３９５号公報）について
文献４は、プロジェクターで投影される映像系とレーザーポインターによる指示赤外線スポットによる指示系の位置座標を正確に重畳する設置を簡易にすることを基本に、その別形態として指示赤外線スポット位置をカメラで撮像し位置座標を認識し映像でポイントマークを重畳表示し、投影された映像がコンピューター画面である場合にはクリック操作を実現するものです。指示赤外線スポット位置をカメラで撮像し位置座標を認識、コンピューター画面である場合にはクリック操作を実現することは本発明と同じです。しかし、文献５では、講演などので説明画面の指示、操作を目的としているためレーザーポインターを画面から離れた位置からの操作であり、ボタンによるレーザー照射をスイッチ操作するため、文字や図形を正確で簡単な描写はできません。本発明は、表示装置の設置方法や表示方法、指示描画装置の工夫により、日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作ですることで、人間の経験知を刺激し、私たち人間にとってよりストレスのない自然な利用と形式知を表示しながら人間の直観的な操作や自然な反応、認識を可能にすることで情報を経験知化することをめざしたものであります。例えば、テーブルの上に写しだされたコンピューター画面の情報に手を伸ばしそれに触れ、操作し、文字や図形を描写できますが、文献５のレーザーポインターでは操作性が悪く、文字や図形を正確で簡単な描写と日常的な直観的操作は実現できません。
【００３６】
文献６（特開２００９−６４１０９号公報）について
本発明が投影された映像やコンピューター画面の操作を日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作でする目的は同じですが、文献６では、温度が３０〜３４℃のものを認識しますが、画面の前には手以外にも同様な温度のものが存在する場合、たとえば、テーブルに投影した場合、暖かい飲み物や食べ物も同様の温度となり、誤動作を起こします。操作点となる指の認識も手の重心位置を算定し、その重心位置より最も遠い指を操作指としていますが、文献６の図５にあるように重心から最も遠い指は中指であり、人が通常の指示指として使うのは人指し指でありこれも誤動作となります。本発明では、指輪やペン形状による日常的道具を活用して、赤外線の反射輝点もしくは発光点を認識するため、誤動作をなくすことを実現していまする点が、文献６では実現できません。
【００３７】
文献７（特許３６２０３９７号公報）について
本発明が投影された映像やコンピューター画面の操作を日常的な生活使用や行動に無理なく利用でき、特殊な操作ではなく私たちが生活の中から培った日常的な反応や行動を基本とした直観的操作でする目的は同じですが、文献７では、壁面への映像投影を使用環境としているため、認識すべき領域には手や指示棒など指示するもの以外がないことを前提としてますが、白板のマグネットやこれをテーブルなどに活用した場合、書籍、手帳、食器など手や指示棒と区別した認識ができないものが存在し、誤動作をおこします。したがって、文献７を利用する場合、白板のマグネットや書籍、手帳、食器など手や指示棒と区別した認識ができないものを認識範囲の中に置かない特殊な環境をの設定が必要となり、本発明が実現している日常的な環境での利用を、文献７では実現できません。
【００３８】
文献８（特開２００６−２６０４８７号公報）について
本発明が映像系と指示系の位置座標を重畳し画面の操作を実現する点は同じですが、本発明が赤外線などの通常の光源によりある程度の幅の周波数の光線の反射輝点もしくは直接光を利用することに対して、文献８については単波長に集束されたレーザー光線による２つの経路に分けそれの反射点における干渉縞を活用しています。本発明は幅広い通常光源が利用可能ですが、文献８では干渉縞が生じるレーザー光源に限定されます。本発明は通常光源であり、構造も簡易で指輪やペンなど指示装置を小型化、軽量化、低価格化することを実現できますが、文献８ではレーザー光源であること、一つのレーザー光源からレンズの組み合わせによって２つの経路に分岐する構造が複雑となります。
【００３９】
文献９（特開２００５−３５２２４２号公報）について
本発明が指示ポイントの赤外線反射輝点を撮像し指示位置座標を認識し映像系と指示系の位置座標を重畳する点は同じですが、本発明が垂直から水平まであらゆる画面の設置角度に利用できますが、文献９は構造特性から水平面での利用に限られ、例えば白板での使用はできません。本発明は、反射輝点の形状によって指示ポイントの方向を認識させること下実現できますが、文献９では点反射であり実現できません。本発明は、位置認識のための撮像カメラをフロント、リアの両方に設置できますが、文献９ではフロント面の直角の位置に限定されます。本発明は指示具の構造が簡易であることに対して、文献９の指示具発光部の構造が微細構造の可動部を含み複雑で安定性に不安があります。本発明は、コンピューター画面の操作が可能ですが、文献９ではコンピューター画面との操作が示されていません。
【００４０】
他の従来技術について
本発明と、電子ペン及び電子マウスとの相違点は表１の通りである。
【００４１】
【表１】
【産業上の利用可能性】
【００４２】
本発明は、画像認識により映像を操作するあらゆるものに利用でき、例えば、会議や説明の机、ゲームなど余暇を楽しむ机や床・壁・天井、身体の機能回復や維持のための医療・福祉機器、スポーツクラブやダンス教室の床などに投影して利用する訓練機器として使用ことができる。また、観光地・大規模集客施設・ホテルなどでの案内、学習の指導、建築・都市・産業機器・デザイン設計の説明や会議、展示会や展示施設、セミナーや講演会の映像の操作、天気やスポーツ解説、ニュース解説など放送用の情報表示の操作などにも利用可能である。
【符号の説明】
【００４３】
１：机の天板（映像投影面）、２：映像装置、３：投影画像、４：赤外線照射装置、５：照射された赤外線 ６：赤外線カメラ、７：コンピュータープログラム、８：操作者の指 ９：操作用指輪、１０：赤外線発光装置、１１：集束された強い赤外線光、１２：集束された強い赤外線反射点、１３：天板に触れたことを感知する接点スイッチ、１４：操作用ペン、１５：操作用指し棒、１６：映像で表示される指の軌跡により描画された線、１７：操作者の指の爪、１８：赤外線照射ボタン
【特許請求の範囲】
【請求項１】
画像を投影面に投影する映像装置と、
投影された投影画像を含む撮影領域を撮影する撮影装置と、
前記撮影領域内で発光し発光点を生成する発光装置と、
前記画像及び撮影された撮影画像を重ね合わせることで前記画像における前記発光点の位置を特定すると共に、前記発光点により所要の情報処理を実行する情報処理装置とを備える画像認識によるコンピューター操作システム。
【請求項１】
画像を投影面に投影する映像装置と、
投影された投影画像を含む撮影領域を撮影する撮影装置と、
前記撮影領域内で発光し発光点を生成する発光装置と、
前記画像及び撮影された撮影画像を重ね合わせることで前記画像における前記発光点の位置を特定すると共に、前記発光点により所要の情報処理を実行する情報処理装置とを備える画像認識によるコンピューター操作システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【公開番号】特開２０１２−２２４９６（Ｐ２０１２−２２４９６Ａ）
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願番号】特願２０１０−１５９５２７（Ｐ２０１０−１５９５２７）
【出願日】平成２２年７月１４日（２０１０．７．１４）
【出願人】（５１０１９４１２７）株式会社ＳＤ (1)
【Ｆターム（参考）】
【公開日】平成２４年２月２日（２０１２．２．２）
【国際特許分類】
【出願日】平成２２年７月１４日（２０１０．７．１４）
【出願人】（５１０１９４１２７）株式会社ＳＤ (1)
【Ｆターム（参考）】
[ Back to top ]