説明

入力装置

【課題】製造コストを削減した入力装置提供する。
【解決手段】指示物体により指示される被指示手段と、前記被指示手段近傍を撮像する第1撮像手段、および、第2撮像手段と、前記第1撮像手段および前記第2撮像手段のうち、前記指示物体を撮像した撮像手段を判定する判定手段と、前記判定手段により、前記第1撮像手段および前記第2撮像手段により、前記指示物体が撮像されたと判定されると、前記第1撮像手段と前記第2撮像手段との視差を用いて、前記指示物体により指示された前記被指示手段の指示箇所を検出する検出手段と、を有することを特徴とする入力装置。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、入力装置に関する。
【背景技術】
【0002】
現在、様々な入力装置(タッチパネル)が提案されている(例えば、特許文献1参照)。タッチパネルの方式として、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、絵市電容量方式など、様々な方式がある。
【発明の概要】
【発明が解決しようとする課題】
【0003】
しかし、従来のタッチパネル製造する場合には、コスト高になる傾向がある。
【0004】
本発明によれば、製造コスト削減を図った入力装置を提供する。
【課題を解決するための手段】
【0005】
上記目的を達成するため、指示物体により指示される被指示手段と、前記被指示手段近傍を撮像する第1撮像手段、および、第2撮像手段と、前記第1撮像手段および前記第2撮像手段のうち、前記指示物体を撮像した撮像手段を判定する判定手段と、前記判定手段により、前記第1撮像手段および前記第2撮像手段により、前記指示物体が撮像されたと判定されると、前記第1撮像手段と前記第2撮像手段との視差を用いて、前記指示物体により指示された前記被指示手段の指示箇所を検出する検出手段と、を有することを特徴とする入力装置を提案する。
【発明の効果】
【0006】
本発明の入力装置によれば、製造コスト削減を図ることが出来る。
【図面の簡単な説明】
【0007】
【図1】本実施例の入力システムの機能構成例を示す図。
【図2】本実施例の入力装置の斜視図を示す図。
【図3】本実施例の入力装置の断面図を示す図。
【図4】本実施例の第1撮像手段または第2撮像手段が撮像した、ユーザの指が映っている画像の一例を示す図。
【図5】本実施例の第1撮像手段、第2撮像手段の撮像範囲の一例を示す図。
【図6】本実施例の入力装置の機能構成例を示す図。
【図7】本実施例の入力装置の処理フローの一例を示す図。
【図8】図8Aは、第1撮像手段で撮像されたユーザの指の画像であり、図8Bは、第2撮像手段で撮像されたユーザの指の画像である。
【図9】ユーザの指により指示箇所などを模式的に示した図。
【図10】視差により指示箇所を求める手法を説明するための図。
【図11】本実施例の学習装置などを示す図。
【図12】学習データなどの一例を示す図。
【図13】別の実施形態の学習データなどの一例を示す図。
【図14】別の実施形態の第1撮像手段、第2撮像手段の撮像範囲の一例を示す図。
【図15】別の実施形態の入力装置の機能構成例を示す図。
【図16】別の実施形態の入力装置の処理フローを示す図。
【図17】別の実施形態の入力装置の機能構成例を示す図。
【図18】時間差分画像の一例を示す図。
【図19】時間空間差分画像の一例などを示す図。
【図20】別の実施形態の入力装置の機能構成例を示す図。
【図21】本実施例のパターンの一例について示した図。
【図22】別の実施形態の入力装置の斜視図を示した図。
【図23】別の実施形態の入力装置の機能構成例を示した図。
【図24】本実施例の第2駆動手段などの一例を示した図。
【図25】別の実施形態の入力装置の機能構成例を示した図。
【図26】別の実施形態の入力装置の処理フローを示す図。
【図27】別の実施形態のユーザの顔などを撮像することを説明するための図。
【図28】別の実施形態の第1撮像手段または第2撮像手段で撮像したユーザの指の画像
【図29】球面レンズ、非球面レンズの一例を示した図。
【発明を実施するための形態】
【0008】
[実施形態1]
図1に、本実施例の入力システムの機能構成例を示す。図1に示す入力システムは、入力装置1と、ホストコンピュータ2からなる。図1の例では、ホストコンピュータ2が、様々な情報を入力装置1の表示手段5(図2参照)に表示させる。そして、ユーザは表示手段5に表示された情報に対して、指示物体で、当該情報を指示する。そして入力装置1で、当該指示された情報または、当該指示された座標をホストコンピュータ2に送信する。ここで、指示物体とは当該表示された情報を指示できるものであれば何でも良く、例えば、ユーザの指やスタイラスペンである。また、指示するとは、ユーザの指などで、タッチすること、クリックすることなどである。以下では、指示物体は、ユーザの指であるとする。また、以下では、「指示された情報や指示された座標」を、まとめて「指示箇所」という。ホストコンピュータ2は、当該送信された指示された情報または、指示された座標に基づいた処理を行なう。
【0009】
図2に本実施形態1の入力装置1の斜視図を示し、図3に入力装置1の断面図を示す。図1に示すように、入力装置1は、第1撮像手段11と第2撮像手段12と、筐体部4と、被指示手段5と、を含む。
【0010】
図3に示すように、筐体部4の断面は略C字状となる。そして、筐体部4は、中央に位置する中央部43と、当該中央部43の上方、下方にそれぞれに設けられた縁部41、42と、からなる。また縁部42の頂角部を42aとする。また、図3において、筐体部4の左右方向の縁部については、省略する。
【0011】
この例では、中央部43は、薄板形状となる。そして、中央部43の両面のうち、縁部41、42の突出している方向側の面43aには、被指示手段5が装着される。ここで、被指示手段5は、ユーザの指10(指示物体)により指示されるものである。そして、ホストコンピュータ2(図1参照)から送信された様々な情報が表示されることから、以下では、被指示手段5を表示手段5(表示面)とする。表示手段5は、タッチパネル機能を有さないが、本実施例では、後述する第1撮像手段11、第2撮像手段12による撮像処理により、擬似的にタッチパネル機能を実現するものである。
【0012】
また、入力装置1の幅方向を、表示手段5のX軸方向、入力装置1のX軸方向とし、入力装置1の高さ方向を、表示手段5のY軸方向、入力装置1のY軸方向とし、入力装置1の奥行き方向(ユーザの指10が表示手段5を指示するために、当該ユーザの指を進行させる方向)をZ軸方向とする。
【0013】
次に、第1撮像手段11と、第2撮像手段12とについて説明する。第1撮像手段11と第2撮像手段12とはそれぞれ、表示手段5近傍または表示手段5を撮像するものである。第1撮像手段11と第2撮像手段12と、をまとめてステレオカメラとしてもよい。以下では、第1撮像手段11をLカメラ11として、第2撮像手段12をRカメラ12とする。
【0014】
Lカメラ11とRカメラ12は、縁部41の上方に取り付けてもよく、縁部41に内蔵させるようにしてもよい。また、Lカメラ11とRカメラ12とが表示手段5を撮像できるように、透明な領域8が設けられている。
【0015】
図4A、Bに、Lカメラ11から撮像した画像の一例を示す。Rカメラ12が撮像した画像も図4A、Bの画像と同様とする。上述のようには、Lカメラ11およびRカメラ12は、表示手段5の近傍を撮像(スキャン)する。従って、図4A、Bに示すように、画像の上方と下方とはそれぞれ、不要な領域110、111として処理され、画像としては、何ら映し出されないものとなる。
【0016】
ユーザの指10が、表示手段5に対して指示される場合には、ユーザの指10はZ軸方向に移動するのであるが、図4A→図4Bの順番で、ユーザの指10は進むとする。つまり、図4Aは、ユーザの指10が、未だ、表示手段5に接触されていないことを示し、図4Bは、ユーザの指10は、表示手段5に接触されていることを示す。
【0017】
図5に、表示手段5を対向して見た場合の、Lカメラ11とRカメラ12の撮像範囲を示す。図5の例では、Lカメラ11が撮像しておりRカメラ12は撮像していない領域をL領域51(または第1領域)とする。また、Rカメラ12が撮像しておりLカメラ11は撮像していない領域をR領域52(または第2領域)とする。また、Lカメラ11およびRカメラ12が撮像している領域をLR領域(または第3領域)とする。
【0018】
このように、ユーザの指により指示される表示手段5の全領域は、L領域51、R領域52、LR領域53のいずれかに分けられるとする。また、Lカメラ11、Rカメラ12から延びている破線は、それぞれの撮像範囲(FOV:field of view)112、122を示す。また、図5の例では、ユーザの指10は、L領域51、R領域52、LR領域53のうち、いずれかを指示するものとする。
【0019】
次に、本実施例の指示箇所の検出手法について説明する。図6に本実施例の入力装置1の機能構成例を示し、図7に本実施例の入力装置1の処理フローを示す。
【0020】
Lカメラ11およびRカメラが撮像した画像についてL画像データ(または第1画像データともいう。)、R画像データ(または第2画像データともいう。)は判定手段102に入力される。そして、判定手段102は、Lカメラ11およびRカメラのうち、ユーザの指10を撮像したカメラを判定する。ここでは、判定手段102は、ユーザの指10が、Lカメラ11およびRカメラ12の両方で撮像されたか否かを判定する(ステップS2)。判定手段102により判定手法として、判定手段102はL画像データおよびR画像データを解析する。そして、L画像とR画像データともに、指10が撮像されているものであれば、判定手段102は、ユーザの指10が、Lカメラ11およびRカメラ12の両方で撮像されたと判定する。
【0021】
判定手段102が、ユーザの指10が、Lカメラ11およびRカメラ12の両方で撮像されたと判断した場合について説明する(ステップS2のYes)。この場合には、検出手段104中の第1算出手段1042は、Lカメラ11とRカメラ12との視差を用いてユーザの指10により指示(接触)されている箇所(指示箇所)を算出する。
<視差を用いて、指示箇所を算出する手法(以下、「第1手法」という。)>
第1手法の詳細については、例えば、特開2011−085539号公報などに記載されている。第1算出手段1042は、第1手法により、指定箇所の3次元位置(指定箇所のX軸座標、Y軸座標、Z軸座標)を算出することが出来る。
【0022】
上述のように、第1算出手段1042が、第1手法を用いる場合というのは、Lカメラ11およびRカメラ12の両方がユーザの指10を撮像している場合である。図8AにLカメラ11が撮像した、ユーザの指10が映っている画面を示し、図8BにRカメラ12が撮像した、ユーザの指10が映っている画面を示す。
【0023】
図9に、指定箇所αと、Lカメラ11、Rカメラ12との関係を模式的に示す。図9には、図5で説明したLカメラ11、Rカメラ12の撮像範囲112、122を示す。また、矢印S1、S2は、それぞれ、Lカメラ11、Rカメラ12から指示箇所αへの方向を示す。このように、指示箇所αの座標は、矢印S1、矢印S2との交点の座標となることから、第1手法を用いることで、正確な座標を算出することが出来る。
【0024】
図10に、第1手法を用いた算出手法を説明するための図面を示す。図10に示すように、指示箇所αの三次元位置を測定する技術としては、三角測量の原理を用いる。Lカメラ11は撮像素子11a、レンズ11bを含む。また、Rカメラ12は撮像素子12a、レンズ12bを含む。また、撮像素子11aと撮像素子12aとの距離を基線長Bとする。また、Lカメラ11、Rカメラ12の焦点距離をfとし、視点の異なる撮像画像間の視差(対応点距離)をdとする。基線長B、焦点距離f、視差dはそれぞれ既知であり、予め記憶手段108に記憶されているとする。また、Lカメラ11、Rカメラ12から、指示箇所αまでの距離(求めるべき距離)をPとする。
【0025】
そうすると、第1算出手段1042は、以下の式(1)により、距離Pを求めることが出来る。
距離P=(基線長B×焦点距離f)/視差d (1)
このようにして、検出手段104は、第1算出手段1042が算出した指示箇所αの座標を検出することが出来る。そして、出力手段106は、検出手段104が検出した指示箇所αの座標、および、指示箇所αに対応する情報をホストコンピュータ2(図1参照)に出力する。そして、ホストコンピュータ2は、出力された座標や情報に対応する処理を行なう。
【0026】
この実施形態1では、Lカメラ11、Rカメラ12の両方で、ユーザの指10が撮像されたと判定された場合には、視差dを用いた手法により、ユーザの指10による指示箇所を検出することが出来る。従って、タッチパネル機能を有さない表示手段において、擬似的なタッチパネル機能を実現することが出来、製造コストを削減することが出来る。
[実施形態2]
次に、実施形態2について説明する。実施形態2では、図7中のステップS2でNoと判定された場合について説明する。ステップS2において、判定手段102が、ユーザの指10が、Lカメラ11およびRカメラ12で撮像されていない、つまり、Lカメラ11およびRカメラ12の何れか一方で撮像されたと判定すると(ステップS2のNo)、ステップS6に移行する。ステップS6では、第2算出手段1044は、Lカメラ11またはRカメラ12のうち、ユーザの指10を撮像した方のカメラからの画像データと、予め用意された学習データとに、基づいて、検出手段104は指示箇所の座標を検出する。
<学習データを用いて、指示箇所を算出する手法(以下、「第2手法」という。)>
まず、学習データの構築手法について説明する。この学習データの構築については、事前に行なわれる。学習データを構築する場合には、図11に示すように、撮像手段4と接続された学習装置3を、入力装置1と接続させる。撮像手段4とはLカメラ11、Rカメラ12としてもよく、他のカメラを用いても良い。図11の例では、学習装置3は、事前処理手段31と、学習手段32とを含む。また、入力装置1については、図面簡略化のために、記憶手段108のみを示す。
【0027】
まず、学習装置3に入力させる学習データについて説明する。学習データの一例を図12A〜Eに示す。図12A〜Dに示すように、ユーザは、ユーザの指10を様々な角度から、指画像として、撮像手段4で撮像させる。また、図12Eに示すように、指が映っていない非指画像として、様々な背景を撮像させる。好ましくは、実際にあり得る背景が多いほうがよい。例えば、当該背景とは、Lカメラ11、Rカメラ12がユーザの指10などが映りこんでいない背景画像(図3の例では、縁部42の画像)または、これと同色の画像とすることが好ましい。
【0028】
そして、事前処理手段31は、学習手段32による特徴量の学習(算出)の前処理として、入力された学習データに対して平均差分フィルタを実行する。
【0029】
次に、学習手段32は、事前処理手段31により差分フィルタが実行された学習データからフィルタ(特徴量や特徴データともいう)を学習(作成)する。当該フィルタは、第2算出手段1044が、指示箇所αの座標を求める際に用いられるものである。具体的なフィルタの学習方法としては、「Paul Viola and Michael J. Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", IEEE CVPR, 2001.」などに記載されている。
【0030】
そして、この例では、学習手段32により、図12a〜fに示すフィルタが機械的に作成される。図12a〜eに示すフィルタはHaarタイプと呼ばれるも第2処理において、指示箇所αの座標算出処理において、黒領域と白領域との輝度の差に応じて、点数を算出する。図12a〜eの黒色の部分が、ユーザの指の存在領域に対応し、白色の部分が背景の領域に対応する。
【0031】
また、図12fに示すフィルタLBPタイプと呼ばれ、任意の領域(図12fでは、黒領域)と周囲8個の領域(図12fでは、白領域)の差に応じて点数を算出する。
【0032】
以下では、図12A〜Eに示す画像を単に、画像A〜Eとし、図12a〜fに示すフィルタを単にフィルタa〜fとする。また、第2処理においては、この例では、第2算出手段1044は、第2処理を行なうにあたって、入力された画像データに対して、フィルタをa→b→c→d→e→fの順番で適用させる。
【0033】
フィルタaとbは指の輪郭を捉えていることから、画像データA〜Dに適用されると、全て高得点となる。また、フィルタcとeとは、爪の特徴を捉えていることから、画像データAに適用されると高得点となる。フィルタfは、例えば9領域が一様であれば、得点が高くなるようなフィルタであれば、画像データDに適用されると高得点となる。
【0034】
図13に、各フィルタa〜fの大きさについて示す。図13のA〜Cでは、フィルタeについて3種類の大きさのフィルタe1、e2、e3を示す。フィルタの大きさは、e1<e2<e3となる。第2処理において、画像データに対して、異なる大きさのフィルタを適用することで、異なる指の大きさを検出することが出来る。ここで、異なる指の大きさとは、個人差により指の大きさではなく、Lカメラ11、Rカメラ12からの距離に応じて変わる程度の大きさとなる。
【0035】
そして、第2処理において、第2算出手段1044は、フィルタeを適用させる際には、フィルタe1、e2、e3を全て、画像データに対して適用する。そして、当該画像データと合致する大きさのフィルタを検出する。図13Dは、フィルタe1〜e3を全て適用させて、ユーザの指10の大きさが、フィルタe2の大きさと合致していることを示す図である。
【0036】
このように、図12、図13のフィルタの例では、第2算出手段1044は、18種類のフィルタを画像データに適用させることで、合計点数を算出する。そして、当該合計点数が、予め定められた閾値以上であれば、その画像データについての画像に映っているユーザの指10の座標を求めることが出来る。
【0037】
具体的には、図12に示したフィルタa〜fにより、第2算出手段1044は、ユーザの指10のX座標、Z座標を取得することが出来、大きさが異なるフィルタa1〜a3・・・f1〜f3により、ユーザの指のY座標を取得することが出来る。
【0038】
このようにして、第2算出手段1044は、Lカメラ11またはRカメラ12によりユーザの指10が撮像されたことにより取得された画像データと、予め学習された学習データと、に基づいて、当該ユーザの指10の指示箇所αの3次元座標を取得することが出来る。以後の出力手段106などの処理については、実施形態1で説明した通りなので、説明を省略する。
【0039】
実施形態2では、Lカメラ11およびRカメラ12の何れかでユーザの指10を撮像した場合に、当該ユーザの指10の指摘箇所αの座標を求めることが出来る。従って、実施形態1と比較すると、更に、ユーザの指10の指示箇所αの座標検出できる領域は広がることとなる。
[実施形態3]
次に実施形態3の入力装置について説明する。視差を用いた座標検出(実施形態1で説明)と、学習データを用いた座標検出(実施形態2で説明)と、を比較すると、一般的に、視差を用いた座標検出の方が、精度は高い。理由は、Lカメラ11からの撮像した情報とRカメラ12からの撮像した情報を用いることが出来るからである。換言すれば、LR領域でのユーザの指10の指示箇所αの座標検出の精度は、L領域またはR領域でのユーザの指10の指示箇所αの座標検出の精度よりも高い。
【0040】
そこで、実施形態3は、L領域51で、ユーザの指10が撮像された場合には、当該L領域51をLR領域53にするように、Rカメラ12を駆動してRカメラ12の向きを変更する。また、R領域52で、ユーザの指10が撮像された場合には、当該R領域52をLR領域53にするように、Lカメラ11を駆動してLカメラ11の向きを変更する。
【0041】
図14に、Rカメラ12を駆動した場合のLR領域53、R領域52などを示し、図15に実施形態3の入力装置1−3の機能構成例を示す。図16に実施形態3の入力装置1−3の処理フローを示す。入力装置1−3は、図6に示す入力装置1と比較して、第1駆動手段202が追加されている点で異なる。
【0042】
以下では、L領域51で、ユーザの指10が撮像された場合について説明するが、R領域52でユーザの指10が撮像された場合も同様である。図16に示すように、ステップS2でNoの場合には、ステップS8に移行する。ステップS8では、判定手段102は、判定結果を第1駆動手段202に送信する。ここで、判定結果とは、Lカメラ11で撮像されたものか、もしくは、Rカメラ12で撮像されたものかを示すものである。この例では、ユーザの指10は、L領域51で撮像されたので、判定結果は、Lカメラ11で撮像されたことを示すものとなる。
【0043】
そして、第1駆動手段202は、判定結果に基づいて、Lカメラ11およびRカメラ12のうち少なくとも一方を駆動する(ステップS10)。ここで、判定結果は、ユーザの指10がL領域51で撮像されたことを示すものであることから、当該L領域51をLR領域にする必要がある。図5に示すRカメラ12は駆動前のものであり、図14に示すRカメラ12は、駆動後のものである。図14の例では、第1駆動手段202は、Rカメラ12をLカメラの方向に向けるように回転駆動させた。なお、図5の状態を初期状態という。
【0044】
図5と図14とを比較すると、第1駆動手段202により、L領域51がLR領域53に変更された。従って、L領域51で撮像されたユーザの指10は、LR領域53で撮像されることになる。つまり、ユーザの指10は、Lカメラ11およびRカメラ12の両方で撮像されることになる。
【0045】
従って、検出手段104は、第1算出手段1042による視差を用いた第1処理を用いることが出来、第2処理を行う場合と比較して、指示箇所の座標を検出することが出来る(ステップS4)。よって、L領域でユーザの指10が撮像されたとしても、検出精度を向上させることが出来る。
【0046】
また、上述では、Rカメラ12のみを駆動させたが、Lカメラ11およびRカメラ12の両方を駆動させるようにしてもよい。この場合には、Lカメラ11およびRカメラ12の向きが同じになることから、当該LカメラおよびRカメラ12からの画像データの向きが統一され、判定手段102や検出手段104の処理精度が向上する。
【0047】
また、上記では、第1駆動手段202は、Lカメラ11およびRカメラ12のうち少なくとも一方を直接駆動するものであった。その他の例として、予め、Lカメラ11およびRカメラ12の前に反射部材(例えば、ミラー)を配置させるようにしてもよい。そして、第1駆動手段202は、反射部材を回転させて、L領域51をLR領域53に変更させるようにしてもよい。
【0048】
また、下方の縁部42(図3参照)に、ドアを用いた開閉式のミラーを設けるようにしてもよい。この場合には、通常時には、ミラーを露出しないようにドアを閉じておき、L領域51をLR領域53に変更させる場合には、第1駆動手段202は、ドアを開けることで、ミラーを露出させる。
【0049】
また、Lカメラ11およびRカメラの前の透明領域8(図3参照)に、屈折率を変化させる化学的な屈折率変化手段を設ける。そして、第1駆動手段202は、L領域51をLR領域53に変更させる場合には、当該屈折率変化手段を駆動するようしてもよい。
【0050】
つまり、第1駆動手段202は、Lカメラ11またはRカメラ12のどちらか一方により、ユーザの指10が撮像されたと判断されると、Lカメラ11およびRカメラ12によりユーザの指10が撮像されるように所定の駆動を行なえばよい。
【0051】
また、Lカメラ11やRカメラ12の回転駆動の手法例として、ステッピングモータを用いればよい。ステッピングモータを用いる例は、例えば、特開2010−233444号公報などに記載されている。また、反射部材の回転駆動もステッピングモータを用いるようにすれば良い。
【0052】
また、図14に示すように、Rカメラ12を駆動させた場合には、Lカメラ11およびRカメラ12の両方に撮像されない死角領域54が形成される場合がある。例えば、判定手段102が、Lカメラ11およびRカメラ12ともに、ユーザの指10が撮像されない場合というのは、ユーザの指10が死角領域近傍に位置している場合か、表示手段5から、ユーザの指10が離れている場合である。従って、所定時間、Lカメラ11およびRカメラ12の両方に撮像されていないと判断された場合には、第1駆動手段202は、Rカメラ12の向きを初期状態(図5参照)に戻す。
【0053】
この実施形態3の入力装置1−3であれば、Lカメラ11およびRカメラ12のうち何れか一方で、ユーザの指10が撮像された場合には、Lカメラ11およびRカメラ12の両方で、ユーザの指10が撮像されるように、第1駆動手段202が所定の駆動を行なう。従って、更に、検出手段104の検出精度を向上させることが出来る。
[実施形態4]
次に、実施形態4の入力装置について説明する。ユーザの指10が高速で表示手段5を指示(クリックまたはタッチ)していた場合に、実施形態1で説明した第1手法では、Lカメラ11とRカメラ12との視差を用いて、ユーザの指10を認識して追従するために、高速な動きであるユーザの指10の追従が困難な場合がある。また、ユーザの指10が高速で表示手段5を指示(クリックまたはタッチ)していた場合に、実施形態2で説明した第2手法では、学習データを用いて、ユーザの指10を認識して追従するために、高速な動きであるユーザの指10の追従が困難な場合がある。
【0054】
そこで、実施形態4では、最初にユーザの指10を認識した後は、ユーザの指10の表示手段5への接触が保たれていることのみ認識する。従って、短時間毎の検出を行なう必要はなく、ユーザの指10が高速に移動したとしても、適切に、ユーザの指10が表示手段5を指示したか否かを判別することが出来る。
【0055】
図17に、実施形態4の入力装置1−4の機能構成例を示す。図17の例では、図6と比較して、第3算出手段1046が追加されている点で異なる。第3算出手段1046の処理内容を、図5Aと図5Bを用いて説明する。現在での時刻をtとし、図5Aは、時刻tでの画像A(t)である。また、図5Bは、時刻tから、短時間である所定時間σ経過した時刻t+σでの画像A(t+σ)である。
【0056】
そして、第3算出手段1046は、A(t+σ)−A(t)を演算することで、時間差分画像ΔAを算出する。ΔA=A(t+σ)−A(t)となる。図18に時間差分画像ΔAの一例を示す。このように、時間差分画像ΔAにユーザの指10が映りこんでいることで、検出手段104は、ユーザの指10が表示手段5に対して指示された(タッチやクリック)ことを検出することが出来る。時間差分画像ΔAにユーザの指10が映りこんでいるか否かは、例えば、時間差分画像ΔAの輝度と、予め定められた輝度と、を比較する。当該比較の結果が、ΔAの輝度が低ければ、ユーザの指10が時間差分画像ΔAに映りこんでいると判断する。
【0057】
そして、第3算出手段1046の算出結果(つまり、ユーザの指10が、表示手段5にタッチされたか否か)に基づいて、検出手段104は、指示箇所αを検出することが出来る。
【0058】
第3算出手段1046により検出結果は、第1算出手段1042による第1処理、または、第2算出手段1044による第2処理の補助的に用いられるものである。
【0059】
また、時間差分画像ΔAについては、Lカメラ11およびRカメラ12のうち少なくとも一つで行なうようにする。
【0060】
この実施形態4の入力装置1−4によれば、時間差分画像を用いることで、ユーザの指10が高速に表示手段5をタッチしたとしても、適切に、ユーザの指10が表示手段5をタッチしたかを判断することが出来る。従って、更に、指示箇所の検出精度を向上させることが出来る。
[実施形態5]
次に、実施形態5の入力装置について説明する。図19に、実施形態5の入力装置を説明するための図を示す。図20に実施形態5の入力装置1−5の機能構成例を示す。図20の入力装置1−5は、図6の入力装置1と比較して、第4算出手段1048が追加されている点で異なる。図19に示すように、実施形態5では、実施形態4で説明した時間差分画像に加えて、表示手段5の近傍の複数の領域(図19の例では領域A、B、C)の当該複数の領域の差分画像(以下、「空間差分画像」という。)を用いる。これにより、ユーザの指10が、表示手段5をタッチしたか否かの判断に加えて、指示箇所のY座標を更に精度良く求めることが出来る。
【0061】
また、図19Aは、現在の時刻tでのLカメラ11またはRカメラ12で撮像した画像であり、図19Bは、現在の時刻tから短時間σ経過した場合のLカメラ11またはRカメラ12で撮像した画像である。
【0062】
まず、最初のステップであるステップS11において、第4算出手段1048は、時刻tでの領域(空間)A、B、Cについての空間差分画像ΔAB(t)、ΔBC(t)、ΔCA(t)を求める。図19の例では、空間差分画像として、
ΔAB(t)=A(t)−B(t)
ΔBC(t)=B(t)−C(t)
ΔCA(t)=C(t)−A(t)
を求める。これらの空間差分画像ΔAB(t)、ΔBC(t)、ΔCA(t)はそれぞれ何ら映りこんでいない画像となる。これらの空間差分画像ΔAB(t)、ΔBC(t)、ΔCA(t)は一旦、記憶手段108に記憶される。
【0063】
そして、次のステップであるステップS12において、第4算出手段1048は、時刻(t+σ)での領域(空間)A、B、Cについての空間差分画像ΔAB(t+σ)、ΔBC(t+σ)、ΔCA(t+σ)を求める。図19の例では、空間差分画像として、
ΔAB(t+σ)=A(t+σ)−B(t+σ)
ΔBC(t+σ)=B(t+σ)−C(t+σ)
ΔCA(t+σ)=C(t+σ)−A(t+σ)
を求める。また、これらの差分演算については演算結果に対して、絶対値がとられる。そうすると、ΔAB(t+σ)、ΔBC(t+σ)についてはユーザの指10が映りこんでいる空間差分画像となり、ΔCA(t)は何ら映りこんでいない空間差分画像となる。これらの空間差分画像ΔAB(t+σ)、ΔBC(t+σ)、ΔCA(t+σ)は一旦、記憶手段108に記憶される。
【0064】
そして、次のステップであるステップS13において、第4算出手段1048は、時間空間差分画像ΔAB(σ)、ΔBC(σ)、ΔCA(σ)を以下の式により求める。図19の例では、
ΔAB(σ)=(A(t+σ)―B(t+σ))−(A(t)−B(t))
ΔBC(σ)=(B(t+σ)―C(t+σ))−(B(t)−C(t))
ΔCA(σ)=(C(t+σ)−A(t+σ))−(C(t)−A(t))
また、これらの差分演算については演算結果に対して、絶対値がとられる。そうすると、時間空間差分画像ΔAB(σ)、ΔBC(σ)は指の形が、映りこんだ時間空間差分画像となり、ΔCA(σ)については何ら映りこんでいない時間空間差分画像となる。
【0065】
つまり、時間空間差分画像ΔAB(σ)、ΔBC(σ)から、検出手段104は、領域Bで、ユーザの指10が表示手段5を指示したことを検出することが出来る。そして、検出手段104は、第1算出手段1042または第2算出手段1044の算出結果に加味することで、更に正確な支持箇所αを検出することが出来る。
【0066】
この実施形態5では、時間差分画像(実施形態4で説明)に空間差分画像を加味した時間空間差分画像を用いる。従って、ユーザの指10が表示手段5にタッチしたか否かだけでなく、表示手段5近傍のタッチした領域をも検出することが出来る。
【0067】
また、上述では、時間空間差分画像を用いたが、空間差分画像ΔAB(t+σ)、ΔBC(t+σ)、ΔCA(t+σ)を用いて、表示手段5の近傍の領域を検出するようにしてもよい。
[実施形態6]
次に、実施形態6の入力装置について説明する。図21に、実施形態6のLカメラ11およびRカメラ12の何れか一方で撮像された画像の一例について示す。図21の例では、筐体部4の下方の縁部42の、Lカメラ11またはRカメラ12に撮像される撮像面42bに、パターン300が付加されている。パターン300は、撮像面42bのY軸方向に周期的に付された色または模様である。
【0068】
このように、パターン300を付加することで、判定手段102は、ユーザの指10を認識し易くなることから、第1算出手段1042の第1処理の精度、および、第2算出手段1044の第2処理の精度を向上させることが出来る。
【0069】
次に、このパターン300を付加することで、実施形態4または5で説明した時間差分画像、領域差分画像を用いた処理の精度が向上することについて説明する。
【0070】
図21Aが現在の時刻tでの画像A(t)であり、図21Bが時刻t+σでの画像A(t+σ)である。上述のように時間差分画像は、ΔA=A(t+σ)−A(t)となる。そうすると、図21Cに示すように、時間差分画像ΔAは、ユーザの指10の形状からパターン300が差し引かれた形状の画像となる。従って、画像A(t+σ)と、画像A(t)との差分が明確になることから、第3算出手段1046(図17で説明)の処理精度を更に向上させることが出来る。
【0071】
また、空間差分画像ΔAB(t+σ)、ΔBC(t+σ)についても、図21Cと同様に、ユーザの指10の形状からパターン300が差し引かれた形状の画像となる。そうすると、時間空間差分画像ΔAB(σ)、ΔBC(σ)についても、図21Cと同様に、ユーザの指10の形状からパターン300が差し引かれた形状の画像となる。従って、時間空間差分画像が明確になることから、第4算出手段1048(図20で説明)の処理精度を更に向上させることが出来る。
【0072】
このように、筐体部4にパターンを付加することで、第1算出手段1042〜第4算出手段1048の処理精度を向上させることが出来る。
[実施形態7]
次に、実施形態7の入力装置について説明する。図22に、実施形態7の入力装置1−7の斜視図を示し、図23に、入力装置1−7の機能構成例を示す。図23の入力装置1−7は、図6の入力装置1と比較して、表示制御手段420が追加されている点で異なる。図22に示すように、入力装置1−7では、ユーザの指10により指示されている指示箇所αに、指示箇所αが指示されていることを示す指示情報400が表示される。図22に例では、指示情報400は矢印であるが、他の情報(記号や文字)でもよい。
【0073】
具体的な処理の流れについて説明する。実施形態1〜6で説明した、検出手段104により検出された指示箇所αの座標は、出力手段106からホストコンピュータ2へ出力されると共に、表示制御手段420にも出力される。そして、表示制御手段420は、表示手段5の、入力された指示箇所αの座標に指示情報400を表示させる。
【0074】
また、表示制御手段420は、ユーザの指10による各種操作(例えば、スライド、タップ、ピンチ)に応じた指示情報400を表示させるようにしてもよい。
【0075】
この実施形態7の入力装置によれば、ユーザの指10により指示された箇所に、当該指示されていることを示す指示情報を示す。従って、適切にタッチパネル操作がされていることをユーザに認識させることが出来る。
[実施形態8]
次に実施形態8の入力装置について説明する。実施形態8の入力装置は、タッチパネル機能を実現するとともに、ユーザの顔認証も行う。図24に、実施形態8の入力装置1−8の概略図を示し、図25に、入力装置1−8の機能構成例を示し、図26に、入力装置1−8の処理フローを示す。入力装置1−8は、図6記載の入力装置1と比較して、第2駆動手段460が追加されている点で異なる。
【0076】
まず、顔検出モードに移行する(ステップS30)。顔検出モードとは、顔認証するために、Lカメラ11またはRカメラ12が、ユーザの顔を撮像して、当該撮像されたユーザの顔の画像データをホストコンピュータ2へ送信する。そして、ホストコンピュータ2で、予め記憶されていた認証用の顔の画像データと、当該送信された顔の画像データとを比較することで、顔認証を行う。
【0077】
つまり、本実施形態8の入力装置1−8において、顔認証モードに移行するとは、図24に示すように、Lカメラ11、12を矢印M1方向に向けて、ユーザの顔15を撮像することをいう。次に、第2駆動手段460は、撮像したユーザの顔15を分析して、当該ユーザの顔15が、予め所定距離L内で撮像されたものか否かを判断する(ステップS32)。
【0078】
ここで、所定距離Lとは、ユーザの指10が届きうる距離に予め設定される。そして、所定距離L内で、ユーザの顔15が撮像されたということは、当該ユーザは、入力装置1−8の表示手段5を当該ユーザの指10により、指示する可能性が高い場合である。従って、入力装置1−8は、タッチパネルモードに移行する(ステップS34)。
【0079】
ここで、タッチパネルモードとは、Lカメラ11、12の向き矢印βに沿って駆動させ、当該Lカメラ11、Rカメラ12を矢印M2方向に向けるモードである。これにより、実施形態1〜7で説明した擬似的なタッチパネル機能を実現することが出来る。
【0080】
次に、第2駆動手段460は、所定時間継続して、ユーザの指10が表示手段5にタッチされていないか否か判断する(ステップS36)。ここで、所定時間継続して、ユーザの指10が表示手段5にタッチされていない、ということは、ユーザはタッチパネル処理を終了させたということである。
【0081】
また、当該判断の手法について説明する。判定手段102からの判定結果は、第2駆動手段460に入力される。そして、第2駆動手段460は、Lカメラ11、Rカメラ12の何れもユーザの指10を撮像していないことを示す判定結果が、所定時間、継続して入力されているか否かを判断する。
【0082】
そして、第2駆動手段460は、所定時間、ユーザの指10が表示手段5にタッチされていないと判断するまで、待機する(ステップS36のNo)。従って、タッチパネルモードは継続される。そして、第2駆動手段460は、所定時間、ユーザの指10が表示手段5にタッチされていないと判断すると(ステップS36のYes)、再び顔検出モードに移行する。顔検出モードとは、ステップS30と同様の処理である。
【0083】
この実施形態8の入力装置1−8であれば、顔検出モード、タッチパネルモードに応じて、第2駆動手段460Lカメラ11、Rカメラ12とを駆動する。従って、顔検出モード、タッチパネルモードを適切に切り換えることが出来る。
[実施形態9]
次に、実施形態9について説明する。実施形態9の入力装置では、実施形態8の入力装置において、第2駆動手段460を省略した形態である。図27に、実施形態9の入力装置1−9の機能構成例を示す。
【0084】
図27は、図24と比較して、第2駆動手段460が省略されており、Lカメラ11、Rカメラ12とが、M1方向とM2方向の中間方向であるM3方向に向いている。Lカメラ11、Rカメラ12がM3方向に向いていることにより、何ら駆動されることなく、Lカメラ11、Rカメラ12はユーザの指10も撮像できるし、ユーザの顔15も撮像できる。つまり、Lカメラ11、Rカメラ12を駆動することなく、顔検出モード、タッチパネルモードを同時に実現することが出来る。
【0085】
図28にLカメラ11またはRカメラ12が撮像した画像の一例を示す。図28の画像例と図4の画像例とを比較すると、図28では、上から順番に、ユーザの顔が映りこまれている顔検知領域113と、不要な領域110と、ユーザの指10が映りこんでいる指領域114とで構成されている。そして、ホストコンピュータ2は、顔検知領域113に映りこんでいる顔15の画像データにより顔認証を行なう。
【0086】
入力装置1−8と入力装置1−9とを比較してみると、入力装置1−9は、第2駆動手段460を設ける必要はなく、Lカメラ11、Rカメラ12を駆動することなく、顔検出モード、タッチパネルモードを同時に実現することが出来るが、顔検出の精度、指検出の精度が、入力装置1−8と比較すると若干低くなる。一方、入力装置1−8は、顔検出の精度、指検出の精度を、入力装置1−8よりも、高くすることが出来る。
[実施形態10]
次に実施形態10について説明する。実施形態10では、図10で説明したレンズ11bとレンズ12bを非球面レンズとすることで、入力装置10を小型化することが出来る。本実施例のLカメラ11、Rカメラ12は、歪曲していない指画像や顔画像を撮像する必要がある。指画像や顔画像が歪曲していると、判定手段102の判定処理は、認識手段104の認識処理において、誤動作が生じる可能性があるからである。
【0087】
図29Aに、球面レンズを用いた場合の焦点について示す。図29Aの例では、球面レンズ500の焦点について、球面レンズ500の端から入る光L1についての焦点C1と、球面レンズ500の中央付近から入る光L2についての焦点C2とは、距離rだけずれる。従って、1つの球面レンズでは、歪曲が生じるため、球面レンズ500は、複数組み合わせる必要がある。よって、球面レンズを用いると、入力装置10のサイズは大きくなる。
【0088】
図29Bに、非球面レンズ520を用いた場合の焦点について示す。非球面レンズ520の場合には、球面レンズ500の端から入る光L1についての焦点C3と、球面レンズ500の中央付近から入る光L2についての焦点C3とは同一となる。従って、歪曲が生じない非球面レンズ520を1つ用いることで、入力装置の規模を小型化することが出来る。
【0089】
この実施形態10の入力装置によれば、Lカメラ11、Rカメラ12のレンズとして、球面レンズを用いることで、歪曲を生じさせずに、かつ、入力装置の小型化を図ることが出来る。
【符号の説明】
【0090】
1 入力装置
2 ホストコンピュータ
3 学習装置
4 筐体部
5 被指示手段
10 ユーザの指
11 第1撮像手段
12 第2撮像手段
102 判定手段
104 検出手段
106 出力手段
108 記憶手段
202 駆動手段
【先行技術文献】
【特許文献】
【0091】
【特許文献1】特開2010−256999号公報

【特許請求の範囲】
【請求項1】
指示物体により指示される被指示手段と、
前記被指示手段近傍を撮像する第1撮像手段、および、第2撮像手段と、
前記第1撮像手段および前記第2撮像手段のうち、前記指示物体を撮像した撮像手段を判定する判定手段と、
前記判定手段により、前記第1撮像手段および前記第2撮像手段により、前記指示物体が撮像されたと判定されると、前記第1撮像手段と前記第2撮像手段との視差を用いて、前記指示物体により指示された前記被指示手段の指示箇所を検出する検出手段と、を有することを特徴とする入力装置。
【請求項2】
前記検出手段は、前記判定手段により、前記第1撮像手段または前記第2撮像手段のどちらか一方により、前記指示物体が撮像されたと判定されると、前記第1撮像手段または前記第2撮像手段のどちらか一方により前記指示物体が撮像されることで取得された画像データと、予め学習された前記画像データについての学習データと、に基づいて、前記指示物体により指示された前記被指示手段の指示箇所を検出することを特徴とする請求項1記載の入力装置。
【請求項3】
前記判定手段により、前記第1撮像手段または前記第2撮像手段のどちらか一方により、前記指示物体が撮像されたと判定されると、前記第1撮像手段および前記第2撮像手段により当該指示物体が撮像されるように駆動する第1駆動手段を有し、
前記検出手段は、前記第1駆動手段により、前記第1撮像手段および前記第2撮像手段により当該指示物体が撮像されるように駆動されると、前記第1撮像手段と前記第2撮像手段との視差を用いて、前記指示物体により指示された前記被指示手段の指示箇所を検出することを特徴とする請求項1または2記載の入力装置。
【請求項4】
前記検出手段は、
現在の時刻での、前記第1撮像手段および前記第2撮像手段のうち、少なくとも一方で撮像された前記指示物体の画像と、
当該現在から所定時間経過した時の時刻での、当該少なくとも一方で撮像された前記指示物体の画像と、の差分画像にも基づいて、前記指示箇所を検出することを特徴とする請求項1〜3何れか1項記載の入力装置。
【請求項5】
前記検出手段は、
前記被指示手段近傍の複数の領域での、前記第1撮像手段および前記第2撮像手段のうち、少なくとも一方で撮像された前記指示物体の画像にも基づいて、前記指示箇所を検出することを特徴とする請求項1〜4何れか1項記載の入力装置。
【請求項6】
前記検出手段により検出された、前記指示箇所に、当該指示箇所が指示されていることを示す指示情報を表示させる表示制御手段を有することを特徴とする請求項1〜5何れか1項記載の入力装置。
【請求項7】
前記指示物体は、ユーザの指であり、
前記第1撮像手段および前記第2撮像手段のうち少なくとも一方は、前記ユーザの顔も撮像することが出来ることを特徴とする請求項1〜6何れか1項記載の入力装置。
【請求項8】
前記第1撮像手段および前記第2撮像手段のうち少なくとも一方を、前記前記被指示手段近傍を撮像する方向、または、前記ユーザの顔と正対して撮像する方向に駆動する第2駆動手段を有し、
前記第2駆動手段は、所定時間、前記検出手段が前記指示箇所を検出しないと、当該少なくとも一方を前記ユーザの顔と正対して撮像する方向に駆動することを特徴とする請求項7記載の入力装置。
【請求項9】
前記第1撮像手段および前記第2撮像手段のうち何れか一方により撮像される前記被指示手段の部分には、パターンが付されていることを特徴とする請求項1〜8何れか1項記載の入力装置。
【請求項10】
前記第1撮像手段および前記第2撮像手段に用いられるレンズは、歪曲を生じさせない非球面レンズであることを特徴とする請求項1〜9何れか1項記載の入力装置。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate