制御装置、入力装置、入力判定方法、プログラム
【課題】 特別なセンサを用いることなく、投影画像に対してタッチがなされたタイミングとその位置を、正確かつ容易に検出できるようにする。
【解決手段】 投影画像を撮像し、指示部とその影を検出する。検出した指示部とその影の先端位置同士が重なり合った位置を入力位置として取得する。
【解決手段】 投影画像を撮像し、指示部とその影を検出する。検出した指示部とその影の先端位置同士が重なり合った位置を入力位置として取得する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力装置に関する。
【背景技術】
【０００２】
近年、タッチパネル等を用いたタッチ操作によって入力を与えるグラフィックユーザインターフェース（以下、ＧＵＩ）を搭載したデジタル機器が増えてきている。視認性、操作性に優れ、直感的な操作が可能なため、様々な機器に搭載され広く普及しつつある。また、ＧＵＩを機器のディスプレイ上に表示するのではなく、プロジェクタによって壁や机上に投影し、プロジェクタで投影されたグラフィックスに対して操作を行うことにより入力を与える技術が提案されている。特許文献１は、投影画像と撮像画像の差分をとることにより手領域の抽出を行うことで、入力位置を検出している。特許文献２は、所定短時間以内に撮影された少なくとも２枚の撮像画像の差分をとることにより手領域の抽出を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１５２６２２
【特許文献２】特開２００１−００５６０９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１や特許文献２のように、単純に２つの画像の差分を取る方法では、そこから指示部である手や指の領域を抽出することはできても、その指示部が、グラフィックスを投影した投影面である壁や机上に触れたか否かを厳密に検出することはできない。つまり、指示部の領域を抽出できたとしても、その指示部が、壁や机上から離れている可能性もある。したがって、抽出された指示部の領域からタッチ位置を算出する方法では、実際には手や指はまだ壁や机上から離れていてタッチはしていない場合でも、タッチ入力として検出してしまう可能性がある。
【課題を解決するための手段】
【０００５】
上記問題を解決するために、画像を投影する投影手段と、投影された画像を撮像する撮像手段とを備え、前記撮像手段によって撮像した撮像画像から前記投影手段によって投影された投影画像に対する入力を指示するための指示部及び前記指示部の影を抽出する抽出手段と、前記抽出された前記指示部の所定の位置と前記指示部の影の所定の位置との重なりを検出する検出手段と、前記検出手段により検出し前記重なりの位置を前記投影画像に対する前記指示部による入力位置として判定する判定手段とを有することを特徴とする入力装置を提供する。また、その入力装置の制御を行う制御装置を提供する。
【発明の効果】
【０００６】
本発明によれば、投影画像に対してタッチがなされた位置の検出精度を向上することができる。
【図面の簡単な説明】
【０００７】
【図１】入力装置を使用した際の概観図である。
【図２】入力装置の機能ブロック図である。
【図３】入力装置のハードウエア構成図である。
【図４】入力装置の動作を示すフローチャートである。
【図５】撮像画像の補正を示す図である。
【図６】撮像画像と投影画像との差分画像を示す図である。
【図７】実施例２における入力装置を用いた際の概観図である。
【図８】実施例２における撮像画像の補正処理の方法を説明する図である。
【図９】撮像画像の補正処理の方法を説明する図である。
【図１０】実施例４における部分画像抽出処理を示すフローチャートである。
【図１１】実施例３における入力装置を用いた際の概観図と差分画像を示す図である。
【図１２】実施例４における部分画像抽出処理を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら本発明の好適な実施例について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【実施例１】
【０００９】
本実施例では、プロジェクタ機能とカメラ機能を備えた入力装置を例として取り上げる。この入力装置のプロジェクタ機能でＧＵＩ画面を机上等の投影面（所定面上）に投影する。そして、投影されたＧＵＩに対して、ユーザは指等による指示部によりタッチ操作を行い、指示入力を行う。
【００１０】
図２は、本実施例に係る入力装置のブロック図である。同図において、２１１はプロジェクタ機能とカメラ機能を備えた入力装置であり、投影したＧＵＩ画面に対する利用者の指示入力位置を検知する情報処理装置である。２０１は、投影部であり、プロジェクタによって構成され、後述する保持部に保持された画像を机上や壁面等の投影面（所定面上）に投影し、ＧＵＩ画面を投影出力する。２０２は、撮像部であり、カメラ等の撮像機器により構成される。カメラによって、投影されたＧＵＩ画面を含む投影面（所定面上）を撮像する。２０３は保持部であり、投影元画像を保持する。保持部２０３が保持した画像を投影部２０１は投影元画像として投影を行う。
【００１１】
２０４は、画像取得部であり、撮像部２０２で撮像された画像を取得し画像データとして保持する。２０５は、補正部であり、後の処理を容易にするため、画像取得部２０４が取得した撮像画像に対し画像処理を施し、撮像画像を補正する処理を行う。２０６は、差分算出部であり、保持部２０３が保持している投影元画像と撮像部２０２で撮像した撮像画像のとの差分を算出し、差分データを生成する。２０７は、抽出部であり、差分算出部２０６で生成された差分画像から、一つまたは複数の部分画像領域を抽出する。ここで、部分画像領域とは画像上の一連の領域をいい、例えば撮像画像上の指示部を表す領域や指示部が投影部２０１による投影を遮蔽することにより形成された投影面上の影を表す領域をいう。
【００１２】
２０８は、検出部であり、抽出部２０７が抽出した部分画像領域が互いに重なり合っているか否かを検出する。２０９は、位置取得部であり、検出部２０８の検出結果から、指示部と投影面の接触位置からＧＵＩ画面上の入力位置（以降、タッチ位置と呼ぶ）を算出し、そのタッチ位置情報を出力する。２１０は入／出力部であり、コンピュータ等の外部機器と接続し、外部機器と情報の入出力を行う。外部機器から入力された画像を保持部２０３に供給したり、位置取得部２０９により算出された位置情報を外部機器である情報処理装置に出力を行うように構成しても良い。
【００１３】
２１２は入力装置２１１の制御部である。制御部２１２は、保持部２０３、画像取得部２０４、補正部２０５、差分算出部２０６、抽出部２０７、検出部２０８、位置取得部２０９、入／出力部２１０から構成される。制御部２１２は、入力装置２１１の動作の制御や情報の演算や処理を担う。制御部は、ＣＰＵ等の演算処理装置が記憶装置に記憶されているプログラムに基づき、各種ハードの制御、情報の演算や処理を実行することで構成される。
【００１４】
続いて図３は、本実施例に係る入力装置のハードウエア構成を示す構成図である。同図において、３０１は、ＣＰＵであり、後述する図４に示す本入力装置の動作をプログラムに従って各種ハードの制御、情報の演算や情報処理を実行することで実現させる。３０２は、ＲＡＭであり、上記プログラムの動作に必要な記憶領域を提供する記憶装置である。また、ＲＡＭ３０２は図２に示す保持部２０３による投影元画像の保持、画像取得部２０４が行う取得した撮像画像の保持等を行う。３０３は、ＲＯＭであり、本実施例に係る入力装置の動作を実現させるプログラムを保持する記憶装置である。また、投影部２０１と撮像部２０２の仕様情報を記憶している。ここで、仕様情報とは投影部２０１の投射距離や撮像部２０２の焦点距離や画角等の仕様に関する情報である。
【００１５】
３０４は、カメラであり、撮像部２０２に相当する。３０５は、プロジェクタであり、投影部２０１に相当する。３０６は、Ｉ／Ｏデバイスであり、外部機器との入出力インターフェースとして動作する。例えば、ＵＳＢケーブルインターフェース、無線信号の送受信部等を備えるインターフェース部である。入／出力部２１０に相当する。３０７はバスであり、入力装置２１１内部の各ハードウエアが互いにデータの入出力をやり取りするための伝送路である。また、制御部２１２はＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、Ｉ／Ｏデバイス３０６から構成され、入力装置の制御を行う情報処理装置として動作可能である。
【００１６】
以上の構成からなる本実施例に係る入力装置の動作を図４のフローチャートに基づき、詳細に説明する。まず、Ｓ４０１において入力装置２１１は、投影部２０１によって、投影面（所定面上）にＧＵＩ画面を投影する。図１は、本実施例に係る入力装置を用いた際の概観図である。同図において、図２と同一なものには同一の符号を付してある。図１（ａ）において投影部２０１であるプロジェクタから投影されたＧＵＩ画面は机等の投影面１０１に投影される。１０２は、投影部２０１によって投影面１０１上に投影されたＧＵＩ画面である。
【００１７】
ここで、図１（ｂ）に示すように、ユーザは投影面１０１上に投影されたＵＩ画面を用いて入力を行う場合は指示棒、スタイラスやペンなどの物体又は指等などの指示部１０３により、直接ＧＵＩ画面１０２にタッチ操作を行う。したがって、投影部２０１からの投影光を指示部１０３が遮蔽することにより、その影１０４が投影面１０１上に現れる。
【００１８】
続いて、Ｓ４０２において、入力装置２１１は、投影部２０１が投影し投影面１０１に投影された画像を含むように撮像部２０２によって投影面１０１の撮像を行う。そして、撮像部２０２が撮像した画像を画像取得部２０４は取得する。ここで、投影面を撮像した画像の一例を図５（ａ）に示す。本実施例の入力装置２１１における撮像部２０２は投影面１０１に対して平行面から撮像出来ないので、撮像された画像は投影元画像と比較して歪が生じる。そこで、Ｓ４０３において、補正部２０５は、画像取得部２０４が取得した図５（ａ）に示す撮像画像５０１に対して、補正処理を施す。
【００１９】
ここで、撮像画像の補正処理を図９を用いて説明する。９０１は、撮像画像を示している。９０２は撮影画像上の任意の点（Ｘ，Ｙ）である。また、９０１に対して図中の矢印の方向から見た図が９０３になる。９０３において、９０４はカメラ３０４の位置である。９０５は画像構成面である。ここで、画像構成面とは、カメラをモデル化した場合のカメラの撮像面を３次元空間中に規定した平面をいう。カメラ位置（焦点面）から、画像構成面までの距離は焦点距離で定義され、またカメラの画角９０６によって画像構成面は決定される。
【００２０】
撮像画像の任意の点（Ｘ，Ｙ）は画像構成面９０５上の座標位置（Ｘ，Ｙ）と対応する。画像構成面９０５上の（Ｘ，Ｙ）を通過する光線９０７が投影面と交わる点９０８の投影画像上の座標（ｘ、ｙ）とする。図９の９０３より、下記の等式が成り立つ。
（ｙ ＋ Ｌ２） ： （ｙ＋Ｌ１＋Ｌ２） ＝ （Ｈ２＋Ｙ） ： Ｈ１ （１）
ここで、Ｈ１は投影面からカメラ位置９０４までの高さである。Ｈ２は９０３において、カメラ位置９０４と投影面である机上の投影画像領域９０９の下端位置とを結ぶ直線と画像構成面９０５とが交わる点の投影面からの高さである。Ｌ１はカメラ位置９０４から画像構成面９０５までの距離をいう（焦点距離）。Ｌ２は画像構成面９０５から投影画像領域９０９の下端位置までの距離を言う。Ｈ１、Ｈ２、Ｌ１、Ｌ２（仕様情報）は、入力装置２１１の仕様によって決まる定数である。Ｈ１とＬ１は撮像部２０２の仕様によって決まる。一方、Ｈ２とＬ２は、投影画像領域９０９の下端位置によって決まるが、その下端位置は投影部２０１の仕様によって決まる。
【００２１】
補正部２０５は、Ｓ４０３において、ＲＡＭ３０２等の記憶装置から予め記憶しているＨ１、Ｈ２、Ｌ１、Ｌ２等の仕様情報を取得する。そして、（１）式を用いて、撮像画像のＹに対応する投影画像上のｙを求める。
【００２２】
同様に、ｘの求め方を図９の９１０を用いて説明する。９１０は、図１に示す概観図全体を机の真上方向から見た図である。９１１は撮像部２０２の位置である。９１２は光線であり、９１３は画像構成面であり、９１４は画角である。画像構成面９０５上の（Ｘ，Ｙ）を通過する光線９０７が投影面と交わる点９０８の投影画像上の座標を９０３と同様に（ｘ、ｙ）とする。図９の９１０より、下記の等式が成り立つ。
Ｘ： （ｘ ＋Ｍ３） ＝ Ｍ１ ： （Ｍ１＋Ｍ２＋ｙ） （２）
ここで、Ｍ１はカメラ位置９１１から画像構成面９１３までの距離をいう。Ｍ２は画像構成面９１３から投影画像領域９１６の下端位置との距離である。また、ここで、９１０より下記の等式が成り立つ。
Ｍ３ ＝ ｙ × ｔａｎθ （３）
（３）式に求めたｙを代入することによりＭ３を算出可能となる。また、Ｍ１、Ｍ２、θは、入力装置２１１の仕様によって決まる定数である。Ｍ１とθは撮像部２０２の仕様によって決まる。一方、Ｍ２は、投影画像領域９１６の位置によって決まるが、その位置は投影部２０１の仕様によって決まる。
【００２３】
補正部２０５は、Ｓ４０３において、ＲＡＭ３０２等の記憶装置から予め記憶しているＭ１、Ｍ２、θ等の仕様情報を取得する。そして、算出したｙを用いて（３）式よりＭ３を算出する。続いて、算出したｙやＭ３を用いて、（２）式よりｘを算出する。そして、任意の撮像画像（Ｘ，Ｙ）に対応する（ｘ、ｙ）を取得する。
【００２４】
以上のようにして、撮像画像上の任意の点（Ｘ，Ｙ）に対応する座標（ｘ，ｙ）が決まるので、撮像画像のすべて点（Ｘ，Ｙ）の色情報、例えば（Ｒ，Ｇ，Ｂ）値を求めた点（ｘ，ｙ）にコピーすることで、図５に示す補正後画像５０２を得ることができる。
【００２５】
続いて、図４に戻り、Ｓ４０４において、差分算出部２０６は投影元画像と撮像画像に補正を行った補正後画像との差分を算出する。ここで、入力装置２１１は、投影部２０１によって投影された投影元画像を保持部２０３に保持している。算出して得た差分画像の一例を図６に示す。図６（ａ）の投影元画像６０１と図５に示した補正後画像５０２との差分を取ることで差分画像６０２が生成される。差分画像６０２では投影元画像には存在しない指示部１０３とその影１０４に対応する領域のみが残る。このように差分を算出することで指示部１０３と影１０４の検出を容易に行うことが出来る。
【００２６】
Ｓ４０５では、抽出部２０７は、差分画像６０２から部分画像領域として指示部１０３、影１０４それぞれを抽出する。つまり、抽出部２０７は指示部１０３及び影１０４の画像上の位置や形状を画像解析により取得する。Ｓ４０５において、部分画像領域が検出できなかった場合は、再びＳ４０２からの処理を行う。Ｓ４０２からの処理は一定の周期で繰り返し行われる。Ｓ４０５において部分領域が検出された場合、Ｓ４０６では、抽出部２０７は抽出した領域の先端部の座標を取得する。抽出部２０７は、指示部等が撮像部２０２の撮像領域に進入し現れることにより、新たな部分領域が抽出された場合、その進入した部位を新たな部分領域の先端部と認識する。以後、一定の周期で繰り返し撮像される撮像画像から、オプティカルフロー等を用いた公知の画像中の物体追跡処理を用いて、部分領域ごとの移動とその部分領域の始めに撮像領域に進入した部位である先端部を追跡する。
【００２７】
なお、先端部の検出方法は上述の方法に限られたものではなく、例えば、部分領域ごとの最も投影面側の部位を先端部として取得する構成としても良い。また、本実施例では簡単のため部分領域の先端位置を検出しているが、部分領域の形状認識を行って得た位置を指示部における入力に用いる部位の位置又は先端部及びその近傍（所定の位置）として取得する構成としても良い。
【００２８】
続く、Ｓ４０７において、検出部２０８は、抽出された指示部１０３の部分画像領域の先端部と影１０４の部分画像領域の指示部１０３の先端部と対応する位置と（所定の位置同士）が重なり合っているか否かを検出する。そして、部分画像領域の先端部同士（所定の位置同士）が重なり合っていなければ、Ｓ４０２に戻り、一定時間経過後に再度撮像を行い、同様の処理を繰り返す。図６（ｂ）に指示部とその影の先端同士（所定の位置同士）が重なり合っている場合の差分画像の一例を示す。６０５は指示部とその影（所定の位置同士）が重なり合っている場合の撮像画像を補正した補正後画像である。補正後画像６０５のように、指示部とその影が重なり合っている場合は指示部が投影面である机上に接触し、ユーザがタッチ入力を行ったと考えられる。６０６は補正後画像６０５と投影元画像６０１との差分画像である。
【００２９】
検出部２０８は抽出部２０７が解析し取得した差分画像６０６上の指示部とその影の位置や形状情報及びＳ４０６において取得した先端部の座標に基づき、部分画像領域の先端部同士が重なり合っていると判断する。そして、このように抽出された領域が重なり合っていると判定された場合、Ｓ４０８に進み位置取得部２０９はその重なり合いの座標位置を、投影画像上への指示座標位置として判定し取得する。そして、Ｓ４０９において、位置取得部２０９が取得した投影画像領域上の入力位置を示す指示座標位置情報を入／出力部２１０を介して例えば外部機器に出力する。
【００３０】
以上説明したように、指示部の影を利用することでＵＩ画面に対する正確なタッチ操作とその位置を判定し、検出することができる。また、本実施例における入力装置では投影画像上の入力位置であるタッチ位置を正確に検出できるため、投影されたＧＵＩに対してダブルクリック等のジェスチャーの入力を判定することが可能となる。したがって、利用者にとって利便性が高い、投影画像を用いたＧＵＩを提供することが可能となる。
【００３１】
なお、抽出部２０７の処理で、差分データを用いて指示部や影の部分領域の検出を行っていたがこれに限られるものではない。例えば、パターンマッチングや色情報等を用いた認識、検出処理を用いて指示部や影を検出する構成としても構わない。色情報を用いた検出処理の一例として身体の色に近い肌色領域を指示部として特定し、黒い領域を影として特定するようにする。このように、撮影環境や検出精度を考慮して、様々な検出方法を用いることができる。
【実施例２】
【００３２】
実施例１では、図９に示すＨ２、Ｌ２等は、入力装置２１１における投影部２０１の仕様によって決まる定数としていたが、本実施例ではこれらの値を計算で求めるようにする。なお、本実施例で用いる入力装置は実施例１で説明した入力装置と構成は変わらないとする。
【００３３】
図７は本実施例における入力装置を用いた際の概観図である。図７の７０１のように、投影画像の下端に、所定の２次元バーコードを追加画像として付加し表示するようにする。つまり、本実施例では保持部２０３は保持した投影元画像に追加画像を付加し、投影部２０１に投影させる。また、画像取得部２０４は、撮像部２０２が撮像した画像を取得し、その画像中から２次元バーコードの検出を行う。２次元バーコードが検出された場合、その画像上の２次元バーコードの位置情報を保持する。また、補正部２０５は付加された２次元バーコードの位置情報に基づき、必要ならば撮像画像に対して回転処理などの画像処理を行う。位置取得部２０９は、２次元バーコードの位置情報からＨ２、Ｌ２を算出する。
【００３４】
２次元バーコードの位置情報からＨ２、Ｌ２を求める方法を、図８を用いて説明する。図８の８０１は、本実施例に係る入力装置を用いた際の概観図全体を示す図である。まず、補正部２０５は撮像画像中の２次元バーコードの位置８０３から、画像構成面上の下短部から投影画像領域８０２に対応する位置までの高さＨ４の値を算出する。また、補正部２０５は撮像部２０２の仕様情報である画角を取得し、投影面から画像構成面下短部までの高さＨ３を決定する。また、８０１より、以下の等式が成り立つ。
Ｈ２ ＝ Ｈ３ ＋ Ｈ４ （４）
補正部２０５は（４）式を用いて、Ｈ２を算出する。さらに、８０１より以下の等式も成り立つ。
Ｌ２ ： Ｈ２ ＝ （Ｌ１ ＋ Ｌ２） ： Ｈ１ （５）
補正部は（５）式を用いて、Ｌ２を算出することが可能となる。そして、Ｈ２、Ｌ２及び前述した（１）〜（３）式により補正画像を生成することができる。以上のように、投影画像を撮像した撮像画像から追加画像の位置の検出を行うことで、投影部２０１と撮像部２０２との位置関係を求めることが可能となる。したがって、撮像部、投影部の設計上の配置の制約が低減される。
【００３５】
なお、本実施例では追加画像として２次元バーコードを用いていたが、投影画像の下端を検出できるものであれば、２次元バーコード以外の追加画像を用いてもかまわない。例えば、所定の色と形状を持った図形でもよい。例えば、投影画像に応じて、追加画像の仕様を変更することにより、投影するＧＵＩの画像劣化を少なくするよう構成することができる。この場合、保持部２０３が投影元画像を解析し、付加する追加画像を決定する。したがって、利用者は追加画像を煩わしいと感じることが低減されるという効果を奏する。
【実施例３】
【００３６】
実施例１、実施例２では、撮像画像の補正画像と投影元画像との差分データを用いて指示部とその影の部分領域の検出を行った。しかしながら、撮像画像の補正画像と投影元画像との差分データを用いた場合、図１１（ａ）のように、タッチ操作とは無関係な影１１０１や、投影面である机上に置かれた物体１１０２などが、差分として抽出されてしまう恐れがある。つまり、使用状況によっては正確に指示部およびその影を正しく抽出できなくなってしまう。そこで本実施例では、撮像画像の補正画像と、当該撮像画像の撮影時刻から一定時間前の撮像画像の補正画像との差分データを用いて、指示部とその影の部分領域の検出を行う例について示す。なお、本実施例で用いる入力装置は実施例１で説明した入力装置と構成は変わらない。
【００３７】
本実施例において、画像取得部２０４は周期的に行われる撮像によって生成される撮像画像を一定時間分ＲＡＭ３０２等の記憶装置に記憶させる。図４のＳ４０４に示す差分算出処理において、差分算出部２０６は撮像された補正後画像の撮影時刻から一定時間前に撮像された画像の補正後画像との差分を算出する。ここで、一定時間とは予め定められた時間でもよいし、また、撮像が行われる１周期分の時間であってもよい。図１１（ｂ）に本実施例における算出される差分画像の一例を示す。１１０３は補正撮像画像であり図１１（ａ）に示すようにタッチ操作とは無関係な影や投影面である机上に置かれた物体も撮像されている。１１０４は１１０３に示す撮像画像の撮影時刻から一定時間前に撮像された画像の補正撮像画像であり同様にタッチ操作とは無関係な影や机上に置かれた物体も撮像されている。１１０５は差分画像であり、補正撮像画像１１０３と１１０３の撮影時刻から一定時間前の補正撮像画像１１０４との差分を取ると、タッチする指とその影が移動するため、それらの領域だけが差分として抽出される。
【００３８】
以上のように本実施例では一定時間前に撮像された画像との差分を算出するため投影元画像にはない指示部とその影以外の物体が撮像されてしまったとしても、正確に指示部やその影である変化のある領域だけを抽出することができる。つまり、使用環境にロバストなプロジェクタを用いたＧＵＩを提供することが可能となる。
【実施例４】
【００３９】
実施例３では、撮像画像の補正画像と一定時間前の撮像画像の補正画像との差分データを用いて、指示部とその影の部分領域の検出を行った。しかしながら、時間差分を取ると色情報が失われるため、色情報を用いた検出処理を行うことが出来なくなってしまう。そこで、本実施例では撮像画像の補正画像と投影元画像の差分データと、撮像画像の時間差分データを併用して指示部とその影の部分領域の検出を行う。なお、本実施例で用いる入力装置は実施例１で説明した入力装置と構成は変わらないが、差分算出部２０６と抽出部２０７の動作が実施例１と異なるため詳細に説明を行う。
【００４０】
本実施例に係る図４のＳ４０４で行われる差分算出部２０６の処理として、まず保持部２０３が保持する投影元画像と撮像部２０２で撮像し、画像取得部２０４が取得した撮像画像との差分（第１の差分）を算出する。続いて、差分算出部２０６は実施例３で説明した撮像部２０２で撮像した撮像画像と一定時刻前に撮像した撮像画像との差分（第２の差分）を算出する。第２の差分を算出する際は単純に一定時間前の撮像画像と現在の撮像画像の差分を計算する方法でもよいし、オプティカルフローのように画像上の各点の動きを求める手法を用いてもよい。
【００４１】
そして、続くＳ４０５において、抽出部２０７は部分画像領域を抽出する。本実施例におけるＳ４０５に示す処理を詳細に示すフローチャートを図１０に示す。また、本実施例における部分画像領域抽出処理を図１２を用いて説明する。Ｓ１００１において、抽出部２０７は図１２の１２０１に示す第一の差分データを用いて部分画像領域に分解、抽出を行う。Ｓ１００２において、抽出部２０７は、分解した部分領域と時間差分（第２の差分）と照合を行う。つまり、抽出した部分画像領域と第２の差分データと重なる領域を抽出する。図１２の１２０２は、各点の動きをベクトル表現したオプティカルフローによって表された時間差分データである。第一の差分データ１２０１から時間差分データ（第２の差分）１２０２の矢印が存在する領域に一致するものを抽出する。こうして、１２０３に示す動きのある部分画像領域だけが抽出される。（第３の差分）。抽出された部分画像領域は、撮像画像の色情報を保持しているので、色情報を用いた処理も可能になる。
【００４２】
以上のように、タッチ操作に関係のある領域と無関係な領域を区別し、さらに色情報を用いることが出来るのでより精度の高いタッチ検出を行うことができる。
【００４３】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４４】
１０１ 投影面
１０２ 投影されたＧＵＩ画面
１０３ 指示部
１０４ 指示部の影
２０１ 投影部
２０２ 撮像部
２０３ 保持部
２０４ 画像取得部
２０５ 補正部
２０６ 差分算出部
２０７ 抽出
２０８ 検出部
２０９ 位置取得部
２１０ 入／出力部
２１１ 入力装置
２１２ 制御部
３０１ ＣＰＵ
３０２ ＲＡＭ
３０３ ＲＯＭ
３０４ カメラ
３０５ プロジェクタ
３０６ Ｉ／Ｏデバイス
３０７ バス
【技術分野】
【０００１】
本発明は、入力装置に関する。
【背景技術】
【０００２】
近年、タッチパネル等を用いたタッチ操作によって入力を与えるグラフィックユーザインターフェース（以下、ＧＵＩ）を搭載したデジタル機器が増えてきている。視認性、操作性に優れ、直感的な操作が可能なため、様々な機器に搭載され広く普及しつつある。また、ＧＵＩを機器のディスプレイ上に表示するのではなく、プロジェクタによって壁や机上に投影し、プロジェクタで投影されたグラフィックスに対して操作を行うことにより入力を与える技術が提案されている。特許文献１は、投影画像と撮像画像の差分をとることにより手領域の抽出を行うことで、入力位置を検出している。特許文献２は、所定短時間以内に撮影された少なくとも２枚の撮像画像の差分をとることにより手領域の抽出を行っている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１５２６２２
【特許文献２】特開２００１−００５６０９
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述した特許文献１や特許文献２のように、単純に２つの画像の差分を取る方法では、そこから指示部である手や指の領域を抽出することはできても、その指示部が、グラフィックスを投影した投影面である壁や机上に触れたか否かを厳密に検出することはできない。つまり、指示部の領域を抽出できたとしても、その指示部が、壁や机上から離れている可能性もある。したがって、抽出された指示部の領域からタッチ位置を算出する方法では、実際には手や指はまだ壁や机上から離れていてタッチはしていない場合でも、タッチ入力として検出してしまう可能性がある。
【課題を解決するための手段】
【０００５】
上記問題を解決するために、画像を投影する投影手段と、投影された画像を撮像する撮像手段とを備え、前記撮像手段によって撮像した撮像画像から前記投影手段によって投影された投影画像に対する入力を指示するための指示部及び前記指示部の影を抽出する抽出手段と、前記抽出された前記指示部の所定の位置と前記指示部の影の所定の位置との重なりを検出する検出手段と、前記検出手段により検出し前記重なりの位置を前記投影画像に対する前記指示部による入力位置として判定する判定手段とを有することを特徴とする入力装置を提供する。また、その入力装置の制御を行う制御装置を提供する。
【発明の効果】
【０００６】
本発明によれば、投影画像に対してタッチがなされた位置の検出精度を向上することができる。
【図面の簡単な説明】
【０００７】
【図１】入力装置を使用した際の概観図である。
【図２】入力装置の機能ブロック図である。
【図３】入力装置のハードウエア構成図である。
【図４】入力装置の動作を示すフローチャートである。
【図５】撮像画像の補正を示す図である。
【図６】撮像画像と投影画像との差分画像を示す図である。
【図７】実施例２における入力装置を用いた際の概観図である。
【図８】実施例２における撮像画像の補正処理の方法を説明する図である。
【図９】撮像画像の補正処理の方法を説明する図である。
【図１０】実施例４における部分画像抽出処理を示すフローチャートである。
【図１１】実施例３における入力装置を用いた際の概観図と差分画像を示す図である。
【図１２】実施例４における部分画像抽出処理を示す図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら本発明の好適な実施例について説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【実施例１】
【０００９】
本実施例では、プロジェクタ機能とカメラ機能を備えた入力装置を例として取り上げる。この入力装置のプロジェクタ機能でＧＵＩ画面を机上等の投影面（所定面上）に投影する。そして、投影されたＧＵＩに対して、ユーザは指等による指示部によりタッチ操作を行い、指示入力を行う。
【００１０】
図２は、本実施例に係る入力装置のブロック図である。同図において、２１１はプロジェクタ機能とカメラ機能を備えた入力装置であり、投影したＧＵＩ画面に対する利用者の指示入力位置を検知する情報処理装置である。２０１は、投影部であり、プロジェクタによって構成され、後述する保持部に保持された画像を机上や壁面等の投影面（所定面上）に投影し、ＧＵＩ画面を投影出力する。２０２は、撮像部であり、カメラ等の撮像機器により構成される。カメラによって、投影されたＧＵＩ画面を含む投影面（所定面上）を撮像する。２０３は保持部であり、投影元画像を保持する。保持部２０３が保持した画像を投影部２０１は投影元画像として投影を行う。
【００１１】
２０４は、画像取得部であり、撮像部２０２で撮像された画像を取得し画像データとして保持する。２０５は、補正部であり、後の処理を容易にするため、画像取得部２０４が取得した撮像画像に対し画像処理を施し、撮像画像を補正する処理を行う。２０６は、差分算出部であり、保持部２０３が保持している投影元画像と撮像部２０２で撮像した撮像画像のとの差分を算出し、差分データを生成する。２０７は、抽出部であり、差分算出部２０６で生成された差分画像から、一つまたは複数の部分画像領域を抽出する。ここで、部分画像領域とは画像上の一連の領域をいい、例えば撮像画像上の指示部を表す領域や指示部が投影部２０１による投影を遮蔽することにより形成された投影面上の影を表す領域をいう。
【００１２】
２０８は、検出部であり、抽出部２０７が抽出した部分画像領域が互いに重なり合っているか否かを検出する。２０９は、位置取得部であり、検出部２０８の検出結果から、指示部と投影面の接触位置からＧＵＩ画面上の入力位置（以降、タッチ位置と呼ぶ）を算出し、そのタッチ位置情報を出力する。２１０は入／出力部であり、コンピュータ等の外部機器と接続し、外部機器と情報の入出力を行う。外部機器から入力された画像を保持部２０３に供給したり、位置取得部２０９により算出された位置情報を外部機器である情報処理装置に出力を行うように構成しても良い。
【００１３】
２１２は入力装置２１１の制御部である。制御部２１２は、保持部２０３、画像取得部２０４、補正部２０５、差分算出部２０６、抽出部２０７、検出部２０８、位置取得部２０９、入／出力部２１０から構成される。制御部２１２は、入力装置２１１の動作の制御や情報の演算や処理を担う。制御部は、ＣＰＵ等の演算処理装置が記憶装置に記憶されているプログラムに基づき、各種ハードの制御、情報の演算や処理を実行することで構成される。
【００１４】
続いて図３は、本実施例に係る入力装置のハードウエア構成を示す構成図である。同図において、３０１は、ＣＰＵであり、後述する図４に示す本入力装置の動作をプログラムに従って各種ハードの制御、情報の演算や情報処理を実行することで実現させる。３０２は、ＲＡＭであり、上記プログラムの動作に必要な記憶領域を提供する記憶装置である。また、ＲＡＭ３０２は図２に示す保持部２０３による投影元画像の保持、画像取得部２０４が行う取得した撮像画像の保持等を行う。３０３は、ＲＯＭであり、本実施例に係る入力装置の動作を実現させるプログラムを保持する記憶装置である。また、投影部２０１と撮像部２０２の仕様情報を記憶している。ここで、仕様情報とは投影部２０１の投射距離や撮像部２０２の焦点距離や画角等の仕様に関する情報である。
【００１５】
３０４は、カメラであり、撮像部２０２に相当する。３０５は、プロジェクタであり、投影部２０１に相当する。３０６は、Ｉ／Ｏデバイスであり、外部機器との入出力インターフェースとして動作する。例えば、ＵＳＢケーブルインターフェース、無線信号の送受信部等を備えるインターフェース部である。入／出力部２１０に相当する。３０７はバスであり、入力装置２１１内部の各ハードウエアが互いにデータの入出力をやり取りするための伝送路である。また、制御部２１２はＣＰＵ３０１、ＲＡＭ３０２、ＲＯＭ３０３、Ｉ／Ｏデバイス３０６から構成され、入力装置の制御を行う情報処理装置として動作可能である。
【００１６】
以上の構成からなる本実施例に係る入力装置の動作を図４のフローチャートに基づき、詳細に説明する。まず、Ｓ４０１において入力装置２１１は、投影部２０１によって、投影面（所定面上）にＧＵＩ画面を投影する。図１は、本実施例に係る入力装置を用いた際の概観図である。同図において、図２と同一なものには同一の符号を付してある。図１（ａ）において投影部２０１であるプロジェクタから投影されたＧＵＩ画面は机等の投影面１０１に投影される。１０２は、投影部２０１によって投影面１０１上に投影されたＧＵＩ画面である。
【００１７】
ここで、図１（ｂ）に示すように、ユーザは投影面１０１上に投影されたＵＩ画面を用いて入力を行う場合は指示棒、スタイラスやペンなどの物体又は指等などの指示部１０３により、直接ＧＵＩ画面１０２にタッチ操作を行う。したがって、投影部２０１からの投影光を指示部１０３が遮蔽することにより、その影１０４が投影面１０１上に現れる。
【００１８】
続いて、Ｓ４０２において、入力装置２１１は、投影部２０１が投影し投影面１０１に投影された画像を含むように撮像部２０２によって投影面１０１の撮像を行う。そして、撮像部２０２が撮像した画像を画像取得部２０４は取得する。ここで、投影面を撮像した画像の一例を図５（ａ）に示す。本実施例の入力装置２１１における撮像部２０２は投影面１０１に対して平行面から撮像出来ないので、撮像された画像は投影元画像と比較して歪が生じる。そこで、Ｓ４０３において、補正部２０５は、画像取得部２０４が取得した図５（ａ）に示す撮像画像５０１に対して、補正処理を施す。
【００１９】
ここで、撮像画像の補正処理を図９を用いて説明する。９０１は、撮像画像を示している。９０２は撮影画像上の任意の点（Ｘ，Ｙ）である。また、９０１に対して図中の矢印の方向から見た図が９０３になる。９０３において、９０４はカメラ３０４の位置である。９０５は画像構成面である。ここで、画像構成面とは、カメラをモデル化した場合のカメラの撮像面を３次元空間中に規定した平面をいう。カメラ位置（焦点面）から、画像構成面までの距離は焦点距離で定義され、またカメラの画角９０６によって画像構成面は決定される。
【００２０】
撮像画像の任意の点（Ｘ，Ｙ）は画像構成面９０５上の座標位置（Ｘ，Ｙ）と対応する。画像構成面９０５上の（Ｘ，Ｙ）を通過する光線９０７が投影面と交わる点９０８の投影画像上の座標（ｘ、ｙ）とする。図９の９０３より、下記の等式が成り立つ。
（ｙ ＋ Ｌ２） ： （ｙ＋Ｌ１＋Ｌ２） ＝ （Ｈ２＋Ｙ） ： Ｈ１ （１）
ここで、Ｈ１は投影面からカメラ位置９０４までの高さである。Ｈ２は９０３において、カメラ位置９０４と投影面である机上の投影画像領域９０９の下端位置とを結ぶ直線と画像構成面９０５とが交わる点の投影面からの高さである。Ｌ１はカメラ位置９０４から画像構成面９０５までの距離をいう（焦点距離）。Ｌ２は画像構成面９０５から投影画像領域９０９の下端位置までの距離を言う。Ｈ１、Ｈ２、Ｌ１、Ｌ２（仕様情報）は、入力装置２１１の仕様によって決まる定数である。Ｈ１とＬ１は撮像部２０２の仕様によって決まる。一方、Ｈ２とＬ２は、投影画像領域９０９の下端位置によって決まるが、その下端位置は投影部２０１の仕様によって決まる。
【００２１】
補正部２０５は、Ｓ４０３において、ＲＡＭ３０２等の記憶装置から予め記憶しているＨ１、Ｈ２、Ｌ１、Ｌ２等の仕様情報を取得する。そして、（１）式を用いて、撮像画像のＹに対応する投影画像上のｙを求める。
【００２２】
同様に、ｘの求め方を図９の９１０を用いて説明する。９１０は、図１に示す概観図全体を机の真上方向から見た図である。９１１は撮像部２０２の位置である。９１２は光線であり、９１３は画像構成面であり、９１４は画角である。画像構成面９０５上の（Ｘ，Ｙ）を通過する光線９０７が投影面と交わる点９０８の投影画像上の座標を９０３と同様に（ｘ、ｙ）とする。図９の９１０より、下記の等式が成り立つ。
Ｘ： （ｘ ＋Ｍ３） ＝ Ｍ１ ： （Ｍ１＋Ｍ２＋ｙ） （２）
ここで、Ｍ１はカメラ位置９１１から画像構成面９１３までの距離をいう。Ｍ２は画像構成面９１３から投影画像領域９１６の下端位置との距離である。また、ここで、９１０より下記の等式が成り立つ。
Ｍ３ ＝ ｙ × ｔａｎθ （３）
（３）式に求めたｙを代入することによりＭ３を算出可能となる。また、Ｍ１、Ｍ２、θは、入力装置２１１の仕様によって決まる定数である。Ｍ１とθは撮像部２０２の仕様によって決まる。一方、Ｍ２は、投影画像領域９１６の位置によって決まるが、その位置は投影部２０１の仕様によって決まる。
【００２３】
補正部２０５は、Ｓ４０３において、ＲＡＭ３０２等の記憶装置から予め記憶しているＭ１、Ｍ２、θ等の仕様情報を取得する。そして、算出したｙを用いて（３）式よりＭ３を算出する。続いて、算出したｙやＭ３を用いて、（２）式よりｘを算出する。そして、任意の撮像画像（Ｘ，Ｙ）に対応する（ｘ、ｙ）を取得する。
【００２４】
以上のようにして、撮像画像上の任意の点（Ｘ，Ｙ）に対応する座標（ｘ，ｙ）が決まるので、撮像画像のすべて点（Ｘ，Ｙ）の色情報、例えば（Ｒ，Ｇ，Ｂ）値を求めた点（ｘ，ｙ）にコピーすることで、図５に示す補正後画像５０２を得ることができる。
【００２５】
続いて、図４に戻り、Ｓ４０４において、差分算出部２０６は投影元画像と撮像画像に補正を行った補正後画像との差分を算出する。ここで、入力装置２１１は、投影部２０１によって投影された投影元画像を保持部２０３に保持している。算出して得た差分画像の一例を図６に示す。図６（ａ）の投影元画像６０１と図５に示した補正後画像５０２との差分を取ることで差分画像６０２が生成される。差分画像６０２では投影元画像には存在しない指示部１０３とその影１０４に対応する領域のみが残る。このように差分を算出することで指示部１０３と影１０４の検出を容易に行うことが出来る。
【００２６】
Ｓ４０５では、抽出部２０７は、差分画像６０２から部分画像領域として指示部１０３、影１０４それぞれを抽出する。つまり、抽出部２０７は指示部１０３及び影１０４の画像上の位置や形状を画像解析により取得する。Ｓ４０５において、部分画像領域が検出できなかった場合は、再びＳ４０２からの処理を行う。Ｓ４０２からの処理は一定の周期で繰り返し行われる。Ｓ４０５において部分領域が検出された場合、Ｓ４０６では、抽出部２０７は抽出した領域の先端部の座標を取得する。抽出部２０７は、指示部等が撮像部２０２の撮像領域に進入し現れることにより、新たな部分領域が抽出された場合、その進入した部位を新たな部分領域の先端部と認識する。以後、一定の周期で繰り返し撮像される撮像画像から、オプティカルフロー等を用いた公知の画像中の物体追跡処理を用いて、部分領域ごとの移動とその部分領域の始めに撮像領域に進入した部位である先端部を追跡する。
【００２７】
なお、先端部の検出方法は上述の方法に限られたものではなく、例えば、部分領域ごとの最も投影面側の部位を先端部として取得する構成としても良い。また、本実施例では簡単のため部分領域の先端位置を検出しているが、部分領域の形状認識を行って得た位置を指示部における入力に用いる部位の位置又は先端部及びその近傍（所定の位置）として取得する構成としても良い。
【００２８】
続く、Ｓ４０７において、検出部２０８は、抽出された指示部１０３の部分画像領域の先端部と影１０４の部分画像領域の指示部１０３の先端部と対応する位置と（所定の位置同士）が重なり合っているか否かを検出する。そして、部分画像領域の先端部同士（所定の位置同士）が重なり合っていなければ、Ｓ４０２に戻り、一定時間経過後に再度撮像を行い、同様の処理を繰り返す。図６（ｂ）に指示部とその影の先端同士（所定の位置同士）が重なり合っている場合の差分画像の一例を示す。６０５は指示部とその影（所定の位置同士）が重なり合っている場合の撮像画像を補正した補正後画像である。補正後画像６０５のように、指示部とその影が重なり合っている場合は指示部が投影面である机上に接触し、ユーザがタッチ入力を行ったと考えられる。６０６は補正後画像６０５と投影元画像６０１との差分画像である。
【００２９】
検出部２０８は抽出部２０７が解析し取得した差分画像６０６上の指示部とその影の位置や形状情報及びＳ４０６において取得した先端部の座標に基づき、部分画像領域の先端部同士が重なり合っていると判断する。そして、このように抽出された領域が重なり合っていると判定された場合、Ｓ４０８に進み位置取得部２０９はその重なり合いの座標位置を、投影画像上への指示座標位置として判定し取得する。そして、Ｓ４０９において、位置取得部２０９が取得した投影画像領域上の入力位置を示す指示座標位置情報を入／出力部２１０を介して例えば外部機器に出力する。
【００３０】
以上説明したように、指示部の影を利用することでＵＩ画面に対する正確なタッチ操作とその位置を判定し、検出することができる。また、本実施例における入力装置では投影画像上の入力位置であるタッチ位置を正確に検出できるため、投影されたＧＵＩに対してダブルクリック等のジェスチャーの入力を判定することが可能となる。したがって、利用者にとって利便性が高い、投影画像を用いたＧＵＩを提供することが可能となる。
【００３１】
なお、抽出部２０７の処理で、差分データを用いて指示部や影の部分領域の検出を行っていたがこれに限られるものではない。例えば、パターンマッチングや色情報等を用いた認識、検出処理を用いて指示部や影を検出する構成としても構わない。色情報を用いた検出処理の一例として身体の色に近い肌色領域を指示部として特定し、黒い領域を影として特定するようにする。このように、撮影環境や検出精度を考慮して、様々な検出方法を用いることができる。
【実施例２】
【００３２】
実施例１では、図９に示すＨ２、Ｌ２等は、入力装置２１１における投影部２０１の仕様によって決まる定数としていたが、本実施例ではこれらの値を計算で求めるようにする。なお、本実施例で用いる入力装置は実施例１で説明した入力装置と構成は変わらないとする。
【００３３】
図７は本実施例における入力装置を用いた際の概観図である。図７の７０１のように、投影画像の下端に、所定の２次元バーコードを追加画像として付加し表示するようにする。つまり、本実施例では保持部２０３は保持した投影元画像に追加画像を付加し、投影部２０１に投影させる。また、画像取得部２０４は、撮像部２０２が撮像した画像を取得し、その画像中から２次元バーコードの検出を行う。２次元バーコードが検出された場合、その画像上の２次元バーコードの位置情報を保持する。また、補正部２０５は付加された２次元バーコードの位置情報に基づき、必要ならば撮像画像に対して回転処理などの画像処理を行う。位置取得部２０９は、２次元バーコードの位置情報からＨ２、Ｌ２を算出する。
【００３４】
２次元バーコードの位置情報からＨ２、Ｌ２を求める方法を、図８を用いて説明する。図８の８０１は、本実施例に係る入力装置を用いた際の概観図全体を示す図である。まず、補正部２０５は撮像画像中の２次元バーコードの位置８０３から、画像構成面上の下短部から投影画像領域８０２に対応する位置までの高さＨ４の値を算出する。また、補正部２０５は撮像部２０２の仕様情報である画角を取得し、投影面から画像構成面下短部までの高さＨ３を決定する。また、８０１より、以下の等式が成り立つ。
Ｈ２ ＝ Ｈ３ ＋ Ｈ４ （４）
補正部２０５は（４）式を用いて、Ｈ２を算出する。さらに、８０１より以下の等式も成り立つ。
Ｌ２ ： Ｈ２ ＝ （Ｌ１ ＋ Ｌ２） ： Ｈ１ （５）
補正部は（５）式を用いて、Ｌ２を算出することが可能となる。そして、Ｈ２、Ｌ２及び前述した（１）〜（３）式により補正画像を生成することができる。以上のように、投影画像を撮像した撮像画像から追加画像の位置の検出を行うことで、投影部２０１と撮像部２０２との位置関係を求めることが可能となる。したがって、撮像部、投影部の設計上の配置の制約が低減される。
【００３５】
なお、本実施例では追加画像として２次元バーコードを用いていたが、投影画像の下端を検出できるものであれば、２次元バーコード以外の追加画像を用いてもかまわない。例えば、所定の色と形状を持った図形でもよい。例えば、投影画像に応じて、追加画像の仕様を変更することにより、投影するＧＵＩの画像劣化を少なくするよう構成することができる。この場合、保持部２０３が投影元画像を解析し、付加する追加画像を決定する。したがって、利用者は追加画像を煩わしいと感じることが低減されるという効果を奏する。
【実施例３】
【００３６】
実施例１、実施例２では、撮像画像の補正画像と投影元画像との差分データを用いて指示部とその影の部分領域の検出を行った。しかしながら、撮像画像の補正画像と投影元画像との差分データを用いた場合、図１１（ａ）のように、タッチ操作とは無関係な影１１０１や、投影面である机上に置かれた物体１１０２などが、差分として抽出されてしまう恐れがある。つまり、使用状況によっては正確に指示部およびその影を正しく抽出できなくなってしまう。そこで本実施例では、撮像画像の補正画像と、当該撮像画像の撮影時刻から一定時間前の撮像画像の補正画像との差分データを用いて、指示部とその影の部分領域の検出を行う例について示す。なお、本実施例で用いる入力装置は実施例１で説明した入力装置と構成は変わらない。
【００３７】
本実施例において、画像取得部２０４は周期的に行われる撮像によって生成される撮像画像を一定時間分ＲＡＭ３０２等の記憶装置に記憶させる。図４のＳ４０４に示す差分算出処理において、差分算出部２０６は撮像された補正後画像の撮影時刻から一定時間前に撮像された画像の補正後画像との差分を算出する。ここで、一定時間とは予め定められた時間でもよいし、また、撮像が行われる１周期分の時間であってもよい。図１１（ｂ）に本実施例における算出される差分画像の一例を示す。１１０３は補正撮像画像であり図１１（ａ）に示すようにタッチ操作とは無関係な影や投影面である机上に置かれた物体も撮像されている。１１０４は１１０３に示す撮像画像の撮影時刻から一定時間前に撮像された画像の補正撮像画像であり同様にタッチ操作とは無関係な影や机上に置かれた物体も撮像されている。１１０５は差分画像であり、補正撮像画像１１０３と１１０３の撮影時刻から一定時間前の補正撮像画像１１０４との差分を取ると、タッチする指とその影が移動するため、それらの領域だけが差分として抽出される。
【００３８】
以上のように本実施例では一定時間前に撮像された画像との差分を算出するため投影元画像にはない指示部とその影以外の物体が撮像されてしまったとしても、正確に指示部やその影である変化のある領域だけを抽出することができる。つまり、使用環境にロバストなプロジェクタを用いたＧＵＩを提供することが可能となる。
【実施例４】
【００３９】
実施例３では、撮像画像の補正画像と一定時間前の撮像画像の補正画像との差分データを用いて、指示部とその影の部分領域の検出を行った。しかしながら、時間差分を取ると色情報が失われるため、色情報を用いた検出処理を行うことが出来なくなってしまう。そこで、本実施例では撮像画像の補正画像と投影元画像の差分データと、撮像画像の時間差分データを併用して指示部とその影の部分領域の検出を行う。なお、本実施例で用いる入力装置は実施例１で説明した入力装置と構成は変わらないが、差分算出部２０６と抽出部２０７の動作が実施例１と異なるため詳細に説明を行う。
【００４０】
本実施例に係る図４のＳ４０４で行われる差分算出部２０６の処理として、まず保持部２０３が保持する投影元画像と撮像部２０２で撮像し、画像取得部２０４が取得した撮像画像との差分（第１の差分）を算出する。続いて、差分算出部２０６は実施例３で説明した撮像部２０２で撮像した撮像画像と一定時刻前に撮像した撮像画像との差分（第２の差分）を算出する。第２の差分を算出する際は単純に一定時間前の撮像画像と現在の撮像画像の差分を計算する方法でもよいし、オプティカルフローのように画像上の各点の動きを求める手法を用いてもよい。
【００４１】
そして、続くＳ４０５において、抽出部２０７は部分画像領域を抽出する。本実施例におけるＳ４０５に示す処理を詳細に示すフローチャートを図１０に示す。また、本実施例における部分画像領域抽出処理を図１２を用いて説明する。Ｓ１００１において、抽出部２０７は図１２の１２０１に示す第一の差分データを用いて部分画像領域に分解、抽出を行う。Ｓ１００２において、抽出部２０７は、分解した部分領域と時間差分（第２の差分）と照合を行う。つまり、抽出した部分画像領域と第２の差分データと重なる領域を抽出する。図１２の１２０２は、各点の動きをベクトル表現したオプティカルフローによって表された時間差分データである。第一の差分データ１２０１から時間差分データ（第２の差分）１２０２の矢印が存在する領域に一致するものを抽出する。こうして、１２０３に示す動きのある部分画像領域だけが抽出される。（第３の差分）。抽出された部分画像領域は、撮像画像の色情報を保持しているので、色情報を用いた処理も可能になる。
【００４２】
以上のように、タッチ操作に関係のある領域と無関係な領域を区別し、さらに色情報を用いることが出来るのでより精度の高いタッチ検出を行うことができる。
【００４３】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４４】
１０１ 投影面
１０２ 投影されたＧＵＩ画面
１０３ 指示部
１０４ 指示部の影
２０１ 投影部
２０２ 撮像部
２０３ 保持部
２０４ 画像取得部
２０５ 補正部
２０６ 差分算出部
２０７ 抽出
２０８ 検出部
２０９ 位置取得部
２１０ 入／出力部
２１１ 入力装置
２１２ 制御部
３０１ ＣＰＵ
３０２ ＲＡＭ
３０３ ＲＯＭ
３０４ カメラ
３０５ プロジェクタ
３０６ Ｉ／Ｏデバイス
３０７ バス
【特許請求の範囲】
【請求項１】
所定面上の画像を撮像した撮像画像から前記所定面上の画像に対する入力を指示するための指示部及び前記指示部の影を抽出する抽出手段と、
前記抽出された前記指示部の所定の位置と前記指示部の影の所定の位置との重なりを検出する検出手段と、
前記検出手段により検出した前記重なりの位置を前記所定面上の画像に対する前記指示部による入力位置として判定する判定手段と
を有することを特徴とする制御装置。
【請求項２】
前記抽出手段は、前記撮像画像と前記所定面上の画像とに基づいて、前記指示部及び前記指示部の影を抽出することを特徴とした請求項１記載の制御装置。
【請求項３】
前記抽出手段は、前記撮像画像と当該撮像画像の撮影時刻から一定時間前に撮像された撮像画像とに基づいて、前記指示部及び前記指示部の影を抽出することを特徴とした請求項１または２記載の制御装置。
【請求項４】
前記撮像画像を前記所定面上の画像に対応させるための補正を前記撮像画像に行う補正手段を更に有し、
前記抽出手段は、前記補正手段により補正された前記撮像画像と所定面上の画像との差分データに基づいて、前記指示部及び前記指示部の影を抽出することを特徴とする請求項２記載の制御装置。
【請求項５】
前記所定面上の画像は、投影手段により投影された画像であることを特徴とする請求項１乃至４いずれか１項記載の制御装置。
【請求項６】
前記所定面上の画像は、投影手段により投影された画像であり、
前記投影手段が投影に用いる投影元画像に付加した追加画像の位置を取得する取得手段を更に有し、
前記補正手段は、取得した前記追加画像の位置に基づき、前記補正を行うことを特徴とする請求項３に記載の制御装置。
【請求項７】
前記判定手段により判定された前記入力位置を出力する出力手段を更に有することを特徴とする請求項１乃至６いずれか１項記載の制御装置。
【請求項８】
画像を投影する投影手段と、投影された画像を撮像する撮像手段とを備えた入力装置であって、
前記撮像手段によって撮像した撮像画像から前記投影手段によって投影された投影画像に対する入力を指示するための指示部及び前記指示部の影を抽出する抽出手段と、
前記抽出された前記指示部の所定の位置と前記指示部の影の所定の位置との重なりを検出する検出手段と、
前記検出手段により検出し前記重なりの位置を前記投影画像に対する前記指示部による入力位置として判定する判定手段と
を有することを特徴とする入力装置。
【請求項９】
制御装置による入力の判定方法であって、
所定面上の画像を撮像した撮像画像から前記所定面上の画像に対する入力を指示するための指示部及び前記指示部の影を抽出する抽出工程と、
前記抽出された前記指示部の所定の位置と前記指示部の影の所定の位置との重なりを検出する検出工程と、
前記検出工程により検出した前記重なりの位置を前記所定面上の画像に対する前記指示部による入力位置として判定する判定工程と
を有することを特徴とする入力の判定方法。
【請求項１０】
制御装置に入力の判定を実行させるプログラムであって、
所定面上の画像を撮像した撮像画像から前記所定面上の画像に対する入力を指示するための指示部及び前記指示部の影を抽出する抽出ステップと、
前記抽出された前記指示部の所定の位置と前記指示部の影の所定の位置との重なりを検出する検出ステップと、
前記検出ステップにより検出した前記重なりの位置を前記所定面上の画像に対する前記指示部による入力位置として判定する判定ステップと
を有することを特徴とするプログラム。
【請求項１】
所定面上の画像を撮像した撮像画像から前記所定面上の画像に対する入力を指示するための指示部及び前記指示部の影を抽出する抽出手段と、
前記抽出された前記指示部の所定の位置と前記指示部の影の所定の位置との重なりを検出する検出手段と、
前記検出手段により検出した前記重なりの位置を前記所定面上の画像に対する前記指示部による入力位置として判定する判定手段と
を有することを特徴とする制御装置。
【請求項２】
前記抽出手段は、前記撮像画像と前記所定面上の画像とに基づいて、前記指示部及び前記指示部の影を抽出することを特徴とした請求項１記載の制御装置。
【請求項３】
前記抽出手段は、前記撮像画像と当該撮像画像の撮影時刻から一定時間前に撮像された撮像画像とに基づいて、前記指示部及び前記指示部の影を抽出することを特徴とした請求項１または２記載の制御装置。
【請求項４】
前記撮像画像を前記所定面上の画像に対応させるための補正を前記撮像画像に行う補正手段を更に有し、
前記抽出手段は、前記補正手段により補正された前記撮像画像と所定面上の画像との差分データに基づいて、前記指示部及び前記指示部の影を抽出することを特徴とする請求項２記載の制御装置。
【請求項５】
前記所定面上の画像は、投影手段により投影された画像であることを特徴とする請求項１乃至４いずれか１項記載の制御装置。
【請求項６】
前記所定面上の画像は、投影手段により投影された画像であり、
前記投影手段が投影に用いる投影元画像に付加した追加画像の位置を取得する取得手段を更に有し、
前記補正手段は、取得した前記追加画像の位置に基づき、前記補正を行うことを特徴とする請求項３に記載の制御装置。
【請求項７】
前記判定手段により判定された前記入力位置を出力する出力手段を更に有することを特徴とする請求項１乃至６いずれか１項記載の制御装置。
【請求項８】
画像を投影する投影手段と、投影された画像を撮像する撮像手段とを備えた入力装置であって、
前記撮像手段によって撮像した撮像画像から前記投影手段によって投影された投影画像に対する入力を指示するための指示部及び前記指示部の影を抽出する抽出手段と、
前記抽出された前記指示部の所定の位置と前記指示部の影の所定の位置との重なりを検出する検出手段と、
前記検出手段により検出し前記重なりの位置を前記投影画像に対する前記指示部による入力位置として判定する判定手段と
を有することを特徴とする入力装置。
【請求項９】
制御装置による入力の判定方法であって、
所定面上の画像を撮像した撮像画像から前記所定面上の画像に対する入力を指示するための指示部及び前記指示部の影を抽出する抽出工程と、
前記抽出された前記指示部の所定の位置と前記指示部の影の所定の位置との重なりを検出する検出工程と、
前記検出工程により検出した前記重なりの位置を前記所定面上の画像に対する前記指示部による入力位置として判定する判定工程と
を有することを特徴とする入力の判定方法。
【請求項１０】
制御装置に入力の判定を実行させるプログラムであって、
所定面上の画像を撮像した撮像画像から前記所定面上の画像に対する入力を指示するための指示部及び前記指示部の影を抽出する抽出ステップと、
前記抽出された前記指示部の所定の位置と前記指示部の影の所定の位置との重なりを検出する検出ステップと、
前記検出ステップにより検出した前記重なりの位置を前記所定面上の画像に対する前記指示部による入力位置として判定する判定ステップと
を有することを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２０１２−１１３６５３（Ｐ２０１２−１１３６５３Ａ）
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願番号】特願２０１０−２６４２２０（Ｐ２０１０−２６４２２０）
【出願日】平成２２年１１月２６日（２０１０．１１．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年６月１４日（２０１２．６．１４）
【国際特許分類】
【出願日】平成２２年１１月２６日（２０１０．１１．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]