指示位置検出装置
【課題】使用環境の制約が少なく、簡易な構成の指示位置検出装置により、安価に精度良く入力操作を検出する。
【解決手段】本発明は、入力面上での操作者による指示位置を、距離センサを用いた検出装置で検出する。指示位置は、光飛行型距離センサが算出した、検出装置から認識対象物までの距離値と、各距離値を得た素子位置とにより特定する。光飛行型距離センサには、電荷振分け型の撮像素子を用い、高周波成分のみ抽出し、距離値を算出する。
【解決手段】本発明は、入力面上での操作者による指示位置を、距離センサを用いた検出装置で検出する。指示位置は、光飛行型距離センサが算出した、検出装置から認識対象物までの距離値と、各距離値を得た素子位置とにより特定する。光飛行型距離センサには、電荷振分け型の撮像素子を用い、高周波成分のみ抽出し、距離値を算出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指示位置検出技術に関し、特に、光飛行時間型距離センサ（以下、距離センサと呼ぶ。）を指示位置検出に用い、操作者等の認識対象物による指示位置を検出する技術に関する。
【背景技術】
【０００２】
表示装置と位置入力装置とを組み合わせ、操作者が表示装置に表示された画面に触れることにより指示を入力するタッチパネル等の入力装置がある。タッチパネルでは、例えば、操作者の指などが触れた位置を指示位置としてセンサなどの検出装置で検出して操作者による指示を解析する。用いられるセンサには、例えば、静電式、感圧式、赤外線センサ、ＣＯＭＳカメラを用いたものがある。
【０００３】
対象物を検出するセンサには、対象物のセンサからの距離を検出する距離センサがある。距離センサでは、光源から照射した変調光と、当該変調光の対象物による反射光との位相差を用いて、受光素子毎に対象物の距離を算出する。位相差は、各受光素子で受光した反射光を光量に応じた電荷量に変換し、この電荷量に所定の演算を施すことにより算出される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４１４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タッチパネルのセンサに静電式や感圧式のセンサを用いて入力面上の操作者による指示位置を検出する場合、表示装置上に設けられる入力面と同サイズのセンサが必要となり、高コストである。また、表示装置が液晶ディスプレイの場合、入力面上に配置されるセンサにより光量が減り、これを補うために消費電力が増大する。また、検出装置に赤外線センサやＣＯＭＳカメラを用いる場合、外乱光の影響を受けやすい。従って、使用環境が、光の変化量が少なく、照度が高くない場所に制限される。
【０００６】
本発明は、上記事情に鑑みてなされたもので、使用環境の制約が少なく、簡易な構成の指示位置検出装置により、安価に精度良く、操作者等の認識対象物による指示位置を検出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、所定の平面上での操作者による指示位置を、距離センサを用いた検出装置で検出する。指示位置は、距離センサが算出した、検出装置から認識対象物までの距離値と、各距離値を得た素子位置とにより特定する。距離センサには、電荷振分け型の撮像素子を用い、高周波成分のみ抽出し、距離値を算出する。
【０００８】
具体的には、所定の平面上の認識対象物による指示位置を検出する指示位置検出装置であって、前記平面上部の検出空間に変調光を照射する光源と、前記光源から照射され前記検出空間内の物体で反射した反射光を受光して電荷に変換する光電変換素子、前記光電変換素子毎に複数設けられ、前記変換された電荷を蓄積する電荷蓄積手段、および、前記光源の変調に同期して、前記変換された電荷を前記複数の電荷蓄積手段に振り分ける振分手段を備える撮像素子と、所定の時間毎に、前記複数の電荷蓄積部に蓄積された電荷から前記検出空間内の物体までの距離値を前記光電変換素子毎に算出する距離値算出手段と、前記距離画像を用い、前記指示位置を算出する位置算出手段と、を備えることを特徴とする指示位置検出装置を提供する。
【発明の効果】
【０００９】
本発明によれば、使用環境の制約が少なく、簡易な構成の指示位置検出装置により、安価に精度良く、操作者等の認識対象物による指示位置を検出できる。
【図面の簡単な説明】
【００１０】
【図１】第一の実施形態の指示位置検出装置の機能ブロック図である。
【図２】（ａ）は、第一の実施形態の指示位置検出装置の光源と撮像素子との配置を説明するための説明図、（ｂ）は、指示位置検出装置と仮想平面との関係を説明するための説明図である。
【図３】第一の実施形態の指示位置検出装置における抽出した電荷から距離値を算出する原理を説明するための図である。
【図４】（ａ）および（ｂ）は、第一の実施形態の指示位置検出装置の配置位置、および指示位置算出処理を説明するための説明図である。
【図５】（ａ）は、第二の実施形態の指示位置検出装置の光源と撮像素子との配置を説明するための説明図、（ｂ）は、第二の実施形態の撮像素子の光電変換素子の配置を説明するための説明図、（ｃ）は指示位置検出装置と仮想平面との関係を説明するための説明図である。
【図６】（ａ）および（ｂ）は、第二の実施形態の指示位置検出装置の配置位置、および指示位置算出処理を説明するための説明図である。
【図７】（ａ）は、本実施形態の指示位置検出部による認識対象物の検出時、（ｂ）は、非認識対象物の検出時の様子をそれぞれ説明するための説明図である。
【図８】第三の実施形態の指示位置検出装置の機能ブロック図である。
【図９】（ａ）は、第三の実施形態の指示位置検出装置の光源と撮像素子との配置を説明するための説明図、（ｂ）は、第三の実施形態の指示位置算出処理を説明するための説明図である。
【図１０】（ａ）および（ｂ）は、本発明の実施形態の指示位置検出装置の使用例を説明するための説明図である。
【発明を実施するための形態】
【００１１】
＜＜第一の実施形態＞＞
以下、本発明を適用する実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
【００１２】
本実施形態は、距離センサを用い、タッチパネル等の入力面上の、操作者の指等の認識対象物による指示位置を検出する。この指示位置を検出する指示位置検出装置に用いる距離センサは、撮像素子を構成する光電変換素子が、一列にライン状に配列されたものとする。図１は、これを実現する本実施形態の指示位置検出装置１００のブロック図である。また、図２は、指示位置検出装置１００の構成を説明するための説明図である。
【００１３】
本実施形態の指示位置検出装置１００は、図１に示すように、光源１１０と、撮像素子１２０と、距離値算出部１３０と、制御部１４０と、位置算出部１５０と、各部に電力を供給する電源（不図示）を備える。
【００１４】
光源１１０は、検出空間に変調した光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光；以下、変調光と呼ぶ。）１１１を照射する。光源１１０には、ＬＥＤ、レーザ等の高速変調が可能なデバイスが用いられる。
【００１５】
図２（ａ）に示すように、本実施形態の光源１１０は、撮像素子１２０の端部に配置される。ただし、光源１１０の配置位置、個数はこれに限られない。検出空間全体に変調光を照射可能な配置、個数であればよい。
【００１６】
撮像素子１２０は、光源１１０から照射された変調光１１１が検出空間内の物体４００で反射された反射光を含む入射光１１２を受光し、電荷に変換する。これを実現するため、撮像素子１２０は、入射光１１２を受光し、受光量を電荷量に変換する複数の光電変換素子１２１と、光電変換素子１２１により得られた電荷量を蓄積する電荷蓄積部１２２と、電荷を各電荷蓄積部１２２に振り分ける振分部１２３と、を備える。
【００１７】
後述の距離値算出部１３０では、この光電変換素子１２１毎に距離値を算出する。例えば、算出した距離値を画素値とする距離画像を生成する場合、各光電変換素子１２１が画素に対応する。図１では、２つの光電変換素子１２１を備える場合を例示しているが、光電変換素子１２１数はこれに限られない。なお、本実施形態では、図２（ａ）に示すように、各光電変換素子１２１は、一列に規則的に配置される。ここで、図２（ａ）に示す面が、光源１１０から変調光１１１を照射し、撮像素子１２０で入射光を受光する発光／受光面１０１である。
【００１８】
また、電荷蓄積部１２２は、光電変換素子１２１毎に、少なくとも２つ以上設けられる。距離センサでは、距離値を算出する際に用いる変調光１１１と入射光１１２との位相差は、電荷蓄積部１２２に蓄積された電荷を用いて算出する。この位相差を算出するためには、少なくとも２つ以上の位相情報（電荷蓄積部に蓄積された電荷）が必要だからである。なお、本実施形態では、図１に示すように、１つの光電変換素子１２１毎に４つの電荷蓄積部１２２が設けられる場合を例にあげて説明する。
【００１９】
なお、光源１１０と撮像素子１２０とは制御部１４０により同期制御される。光源１１０は、制御部１４０が出力する同期信号に従って、検出空間に変調光１１１を照射する。また、撮像素子１２０では、この同期信号に従って、光電変換素子１２１が、物体４００により反射された反射光を含む入射光１１２を電荷量に変換する。そして、振分部１２３が、得られた電荷量を、この同期信号に従って、各光電変換素子１２１に対応づけて設けられる４つの電荷蓄積部１２２それぞれに振り分ける。ここでは、変調の１周期を４等分した期間毎に、これらの４つの電荷蓄積部１２２に振り分ける。なお、電荷蓄積部１２２には、電荷量そのものを蓄積してもよいし、この電荷量をＡＤ変換後のデータを蓄積してもよい。
【００２０】
距離値算出部１３０は、撮像素子１２０が所定期間電荷を蓄積する毎に、蓄積した電荷から、光電変換素子１２１毎に、距離値を算出する。距離値は、光電変換素子１２１毎に、各電荷蓄積部１２２に振り分けられた電荷量に所定の演算を施し、変調光１１１と入射光１１２との位相差から算出する。算出した距離値は、各光電変換素子１２１に対応づけて保持される。
【００２１】
また、本実施形態では、距離値算出部１３０は、距離値を算出する際、各電荷蓄積部１２２に振り分けられた電荷に対して高速差分を取ることで、低周波成分を除去し、高周波成分のみ取り出す。ここでは、例えば、変調光１１１の周波数に同期して極性を反転させながら電荷蓄積部１２２から電荷を抽出して差分を計算する。これにより、光源１１０から照射される変調光１１１に非同期の背景光等の成分を除去し、光源１１０から照射した変調光１１１に由来する物体４００からの反射光１１２を信号成分として有効に抽出することができ、高感度かつ低雑音化を図ることができる。
【００２２】
図３は、抽出した電荷から距離画像を生成する原理を説明するための図である。光源１１０から出射される変調光１１１の強度が本図のような正弦曲線を描くように変化する場合、撮像素子１２０への入射光１１２の強度も同様に正弦曲線を描くよう変化する。
【００２３】
このとき、変調光１１１と入射光１１２とには、光が物体４００まで往復する飛行時間による位相の遅延（位相差φ）が生じる。光の速度ｃは既知であるため、この位相差φと変調周波数ｆとを用い、物体４００までの距離値Ｄは、以下の式（１）で求めることができる。
【数１】
【００２４】
ここで、変調光１１１の１周期を４等分した各期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積される電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、変調光１１１と入射光１１２との位相差φは、以下の式（２）で表される。
【数２】
【００２５】
なお、１周期を４等分した各期間Ｔ１、Ｔ２、Ｔ３、Ｔ４は、例えば、０度から９０度の間、９０度から１８０度の間、１８０度から２７０度の間、２７０度から０度の間とする。
【００２６】
また、光源１１０の変調周波数は数十ＭＨＺである。従って、変調の１周期は数十ｎｓ程度である。このため、距離値を算出するためには、数百〜数十万周期の電荷蓄積時間を要する。本実施形態の距離値算出部１３０は、この電荷蓄積時間Δｔ間隔で電荷蓄積部１２２に蓄積された各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、画素毎に、式（２）に従って位相差φを求め、式（１）に従って、物体４００までの距離値Ｄを求める。
【００２７】
なお、各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、以下の式（３）に従って、照射光強度値Ｂを算出し、これを画素値とする照射光強度画像を生成することができる。
【数３】
【００２８】
また、一般の画像の画素値として用いられるのは、以下の式（４）に従って、４つの電荷蓄積部１２２に振り分けられた電荷の平均値Ａである。
【数４】
【００２９】
位置算出部１５０は、距離値算出部１３０が距離値を算出する毎に、距離値算出部１３０が算出した距離値から、認識対象物の指示位置を特定する情報を算出する。算出された指示位置を特定する情報は、外部へ出力される。算出の詳細は具体例を用いて後述する。
【００３０】
本実施形態では、指示位置を特定する情報として、予め定めた仮想平面上の、指示位置検出装置１００を基準として予め定めた直交座標系（ＸＹ座標系）におけるＸＹ座標を算出する。仮想平面５００は、図２（ｂ）に示すように、本実施形態の発光/受光面１０１の法線５０１方向に平行な面とする。また、仮想平面５００上の直交座標系は、光電変換素子１２１の配列方向をＸ方向、それに直交する方向をＹ方向、光電変換素子１２１のいずれかの端部を原点とする。
【００３１】
制御部１４０は、指示位置検出装置１００全体の動作を制御する。本実施形態では、ユーザから処理開始の指示（例えば、電源ＯＮ）を受け付けると、光源１１０から変調光１１１の照射を開始させ、撮像素子１２０で入射光（反射光）１１２を受光させ、電荷として蓄積させる。そして、電荷蓄積時間Δｔ毎に、蓄積された電荷から、距離値算出部１３０に距離値を算出させ、距離値が算出される毎に、位置算出部１５０に認識対象物の指示位置の座標を算出させる。
【００３２】
なお、光源１１０、撮像素子１２０、距離値算出部１３０および制御部１４０により、距離センサを構成する。
【００３３】
次に、本実施形態の位置検出装置１００の入力面に対する配置と、位置算出部１５０による認識対象物の指示位置の算出について説明する。ここでは、入力面として、携帯電話等の小型端末の入力面を例にあげて説明する。操作者は、指等により入力面上の所定の領域に触れることにより、指示を行う。従って、ここでは、認識対象物は指であり、指示位置として検出すべきは、指先である。
【００３４】
図４は、指示位置が入力される入力面に対する本実施形態の位置検出装置１００の配置と、位置算出部１５０による指示位置算出を説明するための図である。図４（ａ）は、指示位置検出装置１００を、図２（ｂ）の矢印Ｂの方向から見た図（入力面４１０を正面から見た図）である。図４（ｂ）は、図２（ｂ）の矢印Ａの方向から見た図である。
【００３５】
本実施形態の指示位置検出装置１００は、仮想平面５００が入力面４１０に略合致するよう配置する。例えば、図４（ａ）および（ｂ）に示すように、入力面４１０上の端部に、入力面４１０に平行に、発光／受光面１０１が入力面４１０に略直交するよう配置する。
【００３６】
本実施形態では、認識対象物４２０を操作者の指とし、指示位置４３０を指先としているため、位置算出部１５０は、距離値算出部１３０が算出した光電変換素子１２１毎の距離値の中で最小の値を選択し、Ｙ座標の値とする。そして、当該距離値を有する光電変換素子１２１の位置をＸ座標の値とする。なお、各光電変換素子１２１の座標系上での位置は、予め保持しておく。
【００３７】
なお、本実施形態の位置検出装置１００は、ＣＰＵとメモリと記憶装置とを備え、予め記憶装置に保持されるプログラムを、ＣＰＵがメモリにロードして実行することにより、上記各部の機能を実現する。
【００３８】
以上説明したように、本実施形態によれば、入力面上の操作者の指といった認識対象物による指示位置の検出に、検出空間の距離値を算出する距離センサによる指示位置検出装置を用いる。すなわち、指示位置を、距離センサが算出した距離値に基づいて算出し、それを特定する情報を出力する。従って、入力面と同じサイズのセンサを用意する必要がなく、コストを抑えることができる。
【００３９】
また、指示位置検出装置で入力面を覆うことがないため、入力面が液晶ディスプレイであっても、指示位置検出装置で液晶の光量を減らすことがない。従って、消費電力が増大することはない。
【００４０】
さらに、本実施形態の指示位置入力装置は、差分をとることで、背景光の影響を除去した電荷から距離値を算出する距離センサを用いる。従って、上述のように背景光の影響を受けにくく、使用環境の制約も少ない。
【００４１】
従って、本実施形態によれば、使用環境の制約が少なく、簡易な構成で安価に高精度な入力操作検出装置を実現できる。
【００４２】
なお、本実施形態では、距離値算出部１３０が算出した光電変換素子１２１毎の距離値の中で最小の値と、当該距離値を有する光電変換素子１２１の位置とを指示位置として算出しているが、指示位置の算出はこれに限られない。予め定められた算出規則に従って、算出する。
【００４３】
＜＜第二の実施形態＞＞
次に、本発明を適用する第二の実施形態について説明する。第一の実施形態では、撮像素子を構成する光電変換素子がライン状に配置される指示位置検出装置を用いるが、本実施形態では、光電変換素子がアレイ状に配置される指示位置検出装置を用いる。
【００４４】
以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。本実施形態の位置検出装置２００の機能構成は、基本的に図１に示す第一の実施形態の位置検出装置１００と同様である。ただし、本実施形態では、光電変換素子１２１の配列が異なるため、光電変換素子１２１毎に算出された距離値を用いて指示位置を算出する位置算出部１５０による位置算出処理が異なる。
【００４５】
図５（ａ）は、本実施形態の位置検出装置２００の光源１１０と光電変換素子１２１との配置を説明するための説明図である。また、図５（ｂ）は、位置検出装置２００の光電変換素子１２１との配置を説明するために、その一部を拡大した図である。これらの図に示すように、本実施形態では、撮像素子１２０を構成する複数の光電変換素子１２１は、第一の実施形態のようにライン状に規則的に配置された光電変換素子行１２１ｒが、複数積み重ねられ、全体としてアレイ状に規則的に配置される。図５（ａ）に示す面が、光源１１０からの変調光１１１を照射し、撮像素子１２０で入射光１１２を受光する発光／受光面２０１である。
【００４６】
また、本実施形態においても、位置算出部１５０は、距離値算出部１３０が距離値を算出する毎に、当該距離値から認識対象物の指示位置を特定する情報を算出し、外部へ出力する。算出にあたり、本実施形態においても、第一の実施形態同様、図５（ｃ）に示す、予め定めた仮想平面５００を導入する。そして、この仮想平面５００上の直交座標系（ＸＹ座標系）のＸＹ座標を、指示位置を特定する情報として算出する。
【００４７】
本実施形態では、仮想平面５００は、発光／受光面２０１の法線５０１方向に平行な面であって、ライン状に配置された光電変換素子１２１列の一方の端部に接する面とする。また、仮想平面５００上の直交座標系は、光電変換素子行１２１ｒの配列方向をＸ方向、それに直交する方向をＹ方向、光電変換素子１２１のいずれかの端部を原点とする。本実施形態では、さらに、仮想平面５００の法線方向をＺ方向とする。
【００４８】
次に、本実施形態の位置検出装置２００の配置と、位置算出部１５０による認識対象物の指示位置の算出について説明する。ここでは、第一の実施形態同様、入力面として、小型端末の入力面を例にあげて説明する。第一の実施形態同様、操作者は、指等により入力面上の所定の領域に触れることにより、指示を行う。従って、ここでは、認識対象物は指であり、指示位置として検出すべきは、その最先端である指先である。
【００４９】
図６は、指示位置が入力される入力面４１０に対する本実施形態の位置検出装置２００の配置と、位置算出部１５０による位置算出処理を説明するための図である。図６（ａ）は、図５（ｃ）の矢印Ｂの方向から見た図（入力面４１０を正面から見た図）である。図６（ｂ）は、図５（ｃ）の矢印Ａの方向から見た図である。
【００５０】
本実施形態の指示位置検出装置２００は、第一の実施形態同様、仮想平面５００が入力面４１０に略合致するよう配置する。例えば、本図に示すように、入力面４１０上の端部に、入力面４１０に平行に、発光／受光面２０１が入力面４１０に略直交するよう配置する。
【００５１】
本実施形態では、位置算出部１５０は、第一の実施形態同様、距離値算出部１３０が算出した距離値から、認識対象物４２０の指示位置４３０を算出する。ただし、本実施形態では、認識対象物４２０の指示位置候補を特定し、指示位置候補が、認識対象物４２０によるものであるか否かを判別し、認識対象物４２０によるものと判別された場合、当該指示位置候補を指示位置４３０とする。
【００５２】
判別は、認識対象物４２０が全光電変換素子行１２１ｒに渡っているか否かで行う。これは、図７（ａ）に示すように、指等の認識対象物であれば、全光電変換素子行１２１ｒに渡って、同程度の距離値が得られる一方、図７（ｂ）に示すように、水滴のような認識対象外のものの場合、入力面４１０近傍でしか同程度の距離値が得られないという特性を利用し、認識対象外のものを認識することを防ぐためである。
【００５３】
位置算出部１５０は、まず、最も入力面４１０に近い光電変換素子行１２１ｒ内で、距離値算出部１３０が算出した光電変換素子１２１毎の距離値の中で最小の値を選択する。そして、当該距離値を有する光電変換素子１２１を特定する。選択した最小の値を候補距離値、当該距離値を有する光電変換素子１２１を特定する情報を候補位置、両者を指示位置候補とする。なお、最も入力面４１０に近い光電変換素子行１２１ｒは、図５（ｂ）において最下端の最も入力面４１０に近い光電変換素子行１２１ｒである。
【００５４】
最下端の光電変換素子行１２１ｒで指示位置候補を決定すると、本実施形態の位置算出部１５０は、他の光電変換素子行１２１ｒの近傍領域に連続する距離値が存在するか否かを判別する判別処理を行う。
【００５５】
具体的には、位置算出部１５０は、１つ上の光電変換素子行１２１ｒにおいて、候補位置の近傍の光電変換素子１２１に、候補距離値と同程度の距離値を有する光電変換素子１２１があるか否かを判別する。近傍の光電変換素子１２１であるか否か、および、同程度の距離値か否かは、予め定めた閾値を用いて判別する。例えば、候補位置±位置用閾値の範囲を近傍とし、候補距離値±距離値用閾値の範囲であれば同程度と判断する。
【００５６】
１つ上の光電変換素子行１２１ｒにおいて、候補位置の近傍の光電変換素子１２１に、候補距離値と同程度の距離値を有する光電変換素子１２１があると判別した場合は、位置算出部１５０は、さらに、その上の光電変換素子行１２１ｒにおいて、同様の判別を行う。これを、最上段の光電変換素子行１２１ｒまで繰り返す。そして、最上段においても、有りと判別した場合は、指示位置候補を認識対象物４２０によるものと判別し、指示位置４３０と決定する。
【００５７】
一方、無し、と判別した場合は、位置算出部１５０は、指示位置候補として特定した情報を破棄し、最下端の光電変換素子行１２１ｒに戻り、次に小さい距離値と、当該距離値を有する光電変換素子１２１とを、それぞれ、候補距離値、候補位置とし、また、両者を合わせて指示位置候補として、上記判別処理を繰り返す。
【００５８】
位置算出部１５０による上記位置算出処理により、図７（ａ）に示すように、指等の場合、連続した値有りの判別結果を得、得られた指示位置候補が指示位置として決定される。一方、図７（ｂ）に示すように、水滴などの場合、連続した値無しとの判別結果を得、指示位置候補は破棄される。
【００５９】
本実施形態の光源１１０による変調光１１１の照射、撮像素子１２０における入射光１１２の受光と電荷の蓄積、距離値算出部１３０における距離値の算出、制御部１４０による各部の制御は、基本的に第一の実施形態と同様である。
【００６０】
なお、本実施形態の位置検出装置２００は、ＣＰＵとメモリと記憶装置とを備え、予め記憶装置に保持されるプログラムを、ＣＰＵがメモリにロードして実行することにより、上記各部の機能を実現する。
【００６１】
以上説明したように、本実施形態の指示位置検出装置２００は、第一の実施形態の指示位置検出装置１００と同様の構成を有する。従って、第一の実施形態と同様の効果が得られる。
【００６２】
さらに、本実施形態によれば、撮像素子１２０が、第一の実施形態の光電変換素子のようなライン状の光電変換素子行１２１ｒが入力面の法線方向に複数積み重ねられた構成を有し、また、位置算出部１５０は上述の指示位置算出処理を行い、指示位置を算出する。従って、入力面上の水滴といった、認識対象物以外の異物を指示位置として検出するといった誤検出を防ぐことができる。従って、さらに認識対象物の指示検出の精度が高まる。
【００６３】
なお、本実施形態では、最小の距離値を示す領域が認識対象物であるか否かを判別するにあたり、全光電変換素子行１２１ｒに渡って、近傍領域に連続する値があるか否かで判別しているが、この手法に限られない。例えば、パターン認識を用いてもよい。入力面４１０に対して指示を行う認識対象物の形状候補をテンプレートとして予め保持しておき、合致する場合、認識対象物と判別し、その中の、最も入力面４１０に近い光電変換素子行１２１ｒで検出した最も小さい距離値と、それに対応する光電変換素子位置と、を指示位置として出力する。
【００６４】
＜＜第三の実施形態＞＞
次に、本発明を適用する第三の実施形態を説明する。第一および第二の実施形態では、１の撮像素子１２０により認識対象物を検出し、それに基づき位置算出部１５０が指示位置を算出する。一方、本実施形態では、２つの撮像素子で認識対象物を検出し、それらに基づき位置算出部が指示位置を算出する。以下、本実施形態の指示位置検出装置について、第二の実施形態と異なる構成に主眼をおいて説明する。
【００６５】
図８は、本実施形態の指示位置検出装置３００の機能ブロック図である。本図に示すように、本実施形態の指示位置検出装置３００は、光源１１０と、２つの撮像素子１２０（１２０ａおよび１２０ｂ）と、それぞれの撮像素子１２０ａおよび１２０ｂで蓄積した電荷から距離値を算出する２つの距離値算出部１３０（１３０ａおよび１３０ｂ）と、位置算出部１６０と、制御部１４０とを備える。
【００６６】
撮像素子１２０ａおよび１２０ｂそれぞれの構成は、第二の実施形態の撮像素子１２０と同様である。また、距離値算出部１３０ａおよび１３０ｂそれぞれの構成も第二の実施形態の距離値算出部１３０と同様である。
【００６７】
図９（ａ）は、本実施形態の指示位置検出装置３００の光源１１０と撮像素子１２０（光電変換素子１２１）との配置を説明するための説明図である。図９（ａ）に示す面が、光源１１０から変調光１１１を照射し、撮像素子１２０で入射光を受光する発光／受光面３０１である。本図に示すように、本実施形態の指示位置検出装置３００は、光源１１０から照射した変調光１１１を、２つの撮像素子１２０ａおよび１２０ｂで受光する。
【００６８】
本実施形態の各機能は、基本的に第二の実施形態の同名の機能と同様である。ただし、本実施形態では、位置算出部１６０は、複数の距離センサからの情報を用いて、認識対象物４２０の指示位置４３０を特定する情報（仮想平面５００上の座標）を算出する。ここでは、２つの距離値算出部１３０ａおよび１３０ｂが算出した、光電変換素子１２１毎の距離値を用いて、認識対象物４２０の指示位置４３０を算出する。
【００６９】
本実施形態の位置算出部１６０による位置算出処理を説明する。位置算出部１６０は、まず、第二の実施形態と同様の指示位置算出処理を行い、２つの距離値算出部１３０ａおよび１３０ｂそれぞれの出力から、それぞれ指示位置を算出する。
【００７０】
そして、本実施形態の位置算出部１６０は、２つの指示位置から、最終的に出力する指示位置を決定する。例えば、２つの指示位置の中で、Ｙ方向の座標値がより小さい方を出力する指示位置として採用する。このように構成することで、一方の撮像素子による検出対象外に認識対象物の指示位置がある場合でも、誤認識することなく認識対象物の指示位置を検出することができる。
【００７１】
なお、本実施形態の位置検出装置３００は、ＣＰＵとメモリと記憶装置とを備え、予め記憶装置に保持されるプログラムを、ＣＰＵがメモリにロードして実行することにより、上記各部の機能を実現する。
【００７２】
以上説明したように、本実施形態によれば、第二の実施形態同様の効果に加え、より広い範囲で精度よく指示位置を検出することができる。
【００７３】
なお、本実施形態では、位置算出部１６０は、２つの認識対象物の指示位置を認識するよう構成してもよい。例えば、図９（ｂ）に示すように、認識対象物と考えられるものの中で、最も指示位置検出装置３００に近い認識対象物４２１と、次に近い認識対象物４２２、との２種の指示位置４３１および４３２を検出する。それぞれの検出手法は、第二の実施形態の検出手法と同様である。ただし、最も近い認識対象物４２１の指示位置４３１検出後、次に近い認識対象物４２２の指示位置４３２も同様の手法で検出する。
【００７４】
一般に、単数のセンサを用いて認識対象による２つの指示位置を検出する場合、センサの法線方向に両指示位置が重なると、オクルージョンが発生し、認識ができない。しかし、本実施形態の指示検出装置３００によれば、指示位置検出装置３００自体が、それぞれ異なる位置に配置された２つの受光部として、撮像素子１２０ａおよび撮像素子１２０ｂを備える。そして、これらの２つの撮像素子１２０ａ、１２０ｂによりそれぞれ検出空間の距離を取得し、その結果を用いて指示位置を検出するため、１つの指示検出装置３００により、オクルージョンを防ぐことができる。
【００７５】
これは、両方の撮像素子において、同時に、２つの指示位置が、オクルージョンが発生する配置となることがないためである。例えば、一方の撮像素子側で、２つの指示位置が、オクルージョンが発生する配置になった場合であっても、他方の撮像素子側では、２つの指示位置は、別個独立したものとして検出できる。
【００７６】
なお、ここでは、光電変換素子１２１がアレイ状に配置された第二の実施形態の撮像素子１２０をそれぞれ用いる場合を例にあげて説明しているが、これに限られない。ライン状に配置された第一の実施形態の撮像素子１２０を用いてもよい。また、２つの撮像素子１２０ａ、１２０ｂは、それぞれ、同じサイズであることが望ましい。
【００７７】
上記各実施形態では、各実施形態の位置検出装置１００、２００、３００を、携帯電話等の小型端末の端部において、当該端末の入力面での操作を検出する場合を例にあげて説明しているが、本実施形態の距離センサの使用箇所はこれに限られない。
【００７８】
例えば、ホワイトボードや大型モニタを用いた電子黒板等のシステムの入力検出装置として用いてもよい。図１０（ａ）は、上記実施形態のいずれかの位置検出装置を電子黒板の上部に２つ取り付けた例であり、図１０（ｂ）は、左右の上部角に設置した例である。位置検出装置１００、２００、３００は、着脱自在に構成し、使用時に取り付けるよう構成してもよいし、取り付け先の装置作製時に予め組み込んでもよい。
【００７９】
取り付け対象は、電子黒板に限らず、デジタルサイネージや案内板など、面上で入力指示を行う各種の装置が可能である。これらの装置では、本実施形態の指示位置検出装置が検出した位置情報を受け取り処理に利用する。
【符号の説明】
【００８０】
１００：指示位置検出装置、１０１：受光面、１１０：光源、１１１：変調光、１１２：入射光、１１２：反射光、１２０：撮像素子、１２０ａ：撮像素子、１２０ｂ：撮像素子１２１：光電変換素子、１２２：電荷蓄積部、１２３：振分部、１３０：距離値算出部、１３０ａ：距離値算出部、１３０ｂ：距離値算出部１４０：制御部、１５０：位置算出部、１７０：位置算出部、２００：位置検出装置、２００：指示位置検出装置、２０１：受光面、３００：指示位置検出装置、３０１：受光面、４００：物体、４１０：入力面、４２０：認識対象物、４２１：認識対象物、４２２：認識対象物、４３０：指示位置、４３１：指示位置、４３２：指示位置
【技術分野】
【０００１】
本発明は、指示位置検出技術に関し、特に、光飛行時間型距離センサ（以下、距離センサと呼ぶ。）を指示位置検出に用い、操作者等の認識対象物による指示位置を検出する技術に関する。
【背景技術】
【０００２】
表示装置と位置入力装置とを組み合わせ、操作者が表示装置に表示された画面に触れることにより指示を入力するタッチパネル等の入力装置がある。タッチパネルでは、例えば、操作者の指などが触れた位置を指示位置としてセンサなどの検出装置で検出して操作者による指示を解析する。用いられるセンサには、例えば、静電式、感圧式、赤外線センサ、ＣＯＭＳカメラを用いたものがある。
【０００３】
対象物を検出するセンサには、対象物のセンサからの距離を検出する距離センサがある。距離センサでは、光源から照射した変調光と、当該変調光の対象物による反射光との位相差を用いて、受光素子毎に対象物の距離を算出する。位相差は、各受光素子で受光した反射光を光量に応じた電荷量に変換し、この電荷量に所定の演算を施すことにより算出される（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２４１４３５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
タッチパネルのセンサに静電式や感圧式のセンサを用いて入力面上の操作者による指示位置を検出する場合、表示装置上に設けられる入力面と同サイズのセンサが必要となり、高コストである。また、表示装置が液晶ディスプレイの場合、入力面上に配置されるセンサにより光量が減り、これを補うために消費電力が増大する。また、検出装置に赤外線センサやＣＯＭＳカメラを用いる場合、外乱光の影響を受けやすい。従って、使用環境が、光の変化量が少なく、照度が高くない場所に制限される。
【０００６】
本発明は、上記事情に鑑みてなされたもので、使用環境の制約が少なく、簡易な構成の指示位置検出装置により、安価に精度良く、操作者等の認識対象物による指示位置を検出する技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、所定の平面上での操作者による指示位置を、距離センサを用いた検出装置で検出する。指示位置は、距離センサが算出した、検出装置から認識対象物までの距離値と、各距離値を得た素子位置とにより特定する。距離センサには、電荷振分け型の撮像素子を用い、高周波成分のみ抽出し、距離値を算出する。
【０００８】
具体的には、所定の平面上の認識対象物による指示位置を検出する指示位置検出装置であって、前記平面上部の検出空間に変調光を照射する光源と、前記光源から照射され前記検出空間内の物体で反射した反射光を受光して電荷に変換する光電変換素子、前記光電変換素子毎に複数設けられ、前記変換された電荷を蓄積する電荷蓄積手段、および、前記光源の変調に同期して、前記変換された電荷を前記複数の電荷蓄積手段に振り分ける振分手段を備える撮像素子と、所定の時間毎に、前記複数の電荷蓄積部に蓄積された電荷から前記検出空間内の物体までの距離値を前記光電変換素子毎に算出する距離値算出手段と、前記距離画像を用い、前記指示位置を算出する位置算出手段と、を備えることを特徴とする指示位置検出装置を提供する。
【発明の効果】
【０００９】
本発明によれば、使用環境の制約が少なく、簡易な構成の指示位置検出装置により、安価に精度良く、操作者等の認識対象物による指示位置を検出できる。
【図面の簡単な説明】
【００１０】
【図１】第一の実施形態の指示位置検出装置の機能ブロック図である。
【図２】（ａ）は、第一の実施形態の指示位置検出装置の光源と撮像素子との配置を説明するための説明図、（ｂ）は、指示位置検出装置と仮想平面との関係を説明するための説明図である。
【図３】第一の実施形態の指示位置検出装置における抽出した電荷から距離値を算出する原理を説明するための図である。
【図４】（ａ）および（ｂ）は、第一の実施形態の指示位置検出装置の配置位置、および指示位置算出処理を説明するための説明図である。
【図５】（ａ）は、第二の実施形態の指示位置検出装置の光源と撮像素子との配置を説明するための説明図、（ｂ）は、第二の実施形態の撮像素子の光電変換素子の配置を説明するための説明図、（ｃ）は指示位置検出装置と仮想平面との関係を説明するための説明図である。
【図６】（ａ）および（ｂ）は、第二の実施形態の指示位置検出装置の配置位置、および指示位置算出処理を説明するための説明図である。
【図７】（ａ）は、本実施形態の指示位置検出部による認識対象物の検出時、（ｂ）は、非認識対象物の検出時の様子をそれぞれ説明するための説明図である。
【図８】第三の実施形態の指示位置検出装置の機能ブロック図である。
【図９】（ａ）は、第三の実施形態の指示位置検出装置の光源と撮像素子との配置を説明するための説明図、（ｂ）は、第三の実施形態の指示位置算出処理を説明するための説明図である。
【図１０】（ａ）および（ｂ）は、本発明の実施形態の指示位置検出装置の使用例を説明するための説明図である。
【発明を実施するための形態】
【００１１】
＜＜第一の実施形態＞＞
以下、本発明を適用する実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。
【００１２】
本実施形態は、距離センサを用い、タッチパネル等の入力面上の、操作者の指等の認識対象物による指示位置を検出する。この指示位置を検出する指示位置検出装置に用いる距離センサは、撮像素子を構成する光電変換素子が、一列にライン状に配列されたものとする。図１は、これを実現する本実施形態の指示位置検出装置１００のブロック図である。また、図２は、指示位置検出装置１００の構成を説明するための説明図である。
【００１３】
本実施形態の指示位置検出装置１００は、図１に示すように、光源１１０と、撮像素子１２０と、距離値算出部１３０と、制御部１４０と、位置算出部１５０と、各部に電力を供給する電源（不図示）を備える。
【００１４】
光源１１０は、検出空間に変調した光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光；以下、変調光と呼ぶ。）１１１を照射する。光源１１０には、ＬＥＤ、レーザ等の高速変調が可能なデバイスが用いられる。
【００１５】
図２（ａ）に示すように、本実施形態の光源１１０は、撮像素子１２０の端部に配置される。ただし、光源１１０の配置位置、個数はこれに限られない。検出空間全体に変調光を照射可能な配置、個数であればよい。
【００１６】
撮像素子１２０は、光源１１０から照射された変調光１１１が検出空間内の物体４００で反射された反射光を含む入射光１１２を受光し、電荷に変換する。これを実現するため、撮像素子１２０は、入射光１１２を受光し、受光量を電荷量に変換する複数の光電変換素子１２１と、光電変換素子１２１により得られた電荷量を蓄積する電荷蓄積部１２２と、電荷を各電荷蓄積部１２２に振り分ける振分部１２３と、を備える。
【００１７】
後述の距離値算出部１３０では、この光電変換素子１２１毎に距離値を算出する。例えば、算出した距離値を画素値とする距離画像を生成する場合、各光電変換素子１２１が画素に対応する。図１では、２つの光電変換素子１２１を備える場合を例示しているが、光電変換素子１２１数はこれに限られない。なお、本実施形態では、図２（ａ）に示すように、各光電変換素子１２１は、一列に規則的に配置される。ここで、図２（ａ）に示す面が、光源１１０から変調光１１１を照射し、撮像素子１２０で入射光を受光する発光／受光面１０１である。
【００１８】
また、電荷蓄積部１２２は、光電変換素子１２１毎に、少なくとも２つ以上設けられる。距離センサでは、距離値を算出する際に用いる変調光１１１と入射光１１２との位相差は、電荷蓄積部１２２に蓄積された電荷を用いて算出する。この位相差を算出するためには、少なくとも２つ以上の位相情報（電荷蓄積部に蓄積された電荷）が必要だからである。なお、本実施形態では、図１に示すように、１つの光電変換素子１２１毎に４つの電荷蓄積部１２２が設けられる場合を例にあげて説明する。
【００１９】
なお、光源１１０と撮像素子１２０とは制御部１４０により同期制御される。光源１１０は、制御部１４０が出力する同期信号に従って、検出空間に変調光１１１を照射する。また、撮像素子１２０では、この同期信号に従って、光電変換素子１２１が、物体４００により反射された反射光を含む入射光１１２を電荷量に変換する。そして、振分部１２３が、得られた電荷量を、この同期信号に従って、各光電変換素子１２１に対応づけて設けられる４つの電荷蓄積部１２２それぞれに振り分ける。ここでは、変調の１周期を４等分した期間毎に、これらの４つの電荷蓄積部１２２に振り分ける。なお、電荷蓄積部１２２には、電荷量そのものを蓄積してもよいし、この電荷量をＡＤ変換後のデータを蓄積してもよい。
【００２０】
距離値算出部１３０は、撮像素子１２０が所定期間電荷を蓄積する毎に、蓄積した電荷から、光電変換素子１２１毎に、距離値を算出する。距離値は、光電変換素子１２１毎に、各電荷蓄積部１２２に振り分けられた電荷量に所定の演算を施し、変調光１１１と入射光１１２との位相差から算出する。算出した距離値は、各光電変換素子１２１に対応づけて保持される。
【００２１】
また、本実施形態では、距離値算出部１３０は、距離値を算出する際、各電荷蓄積部１２２に振り分けられた電荷に対して高速差分を取ることで、低周波成分を除去し、高周波成分のみ取り出す。ここでは、例えば、変調光１１１の周波数に同期して極性を反転させながら電荷蓄積部１２２から電荷を抽出して差分を計算する。これにより、光源１１０から照射される変調光１１１に非同期の背景光等の成分を除去し、光源１１０から照射した変調光１１１に由来する物体４００からの反射光１１２を信号成分として有効に抽出することができ、高感度かつ低雑音化を図ることができる。
【００２２】
図３は、抽出した電荷から距離画像を生成する原理を説明するための図である。光源１１０から出射される変調光１１１の強度が本図のような正弦曲線を描くように変化する場合、撮像素子１２０への入射光１１２の強度も同様に正弦曲線を描くよう変化する。
【００２３】
このとき、変調光１１１と入射光１１２とには、光が物体４００まで往復する飛行時間による位相の遅延（位相差φ）が生じる。光の速度ｃは既知であるため、この位相差φと変調周波数ｆとを用い、物体４００までの距離値Ｄは、以下の式（１）で求めることができる。
【数１】
【００２４】
ここで、変調光１１１の１周期を４等分した各期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積される電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、変調光１１１と入射光１１２との位相差φは、以下の式（２）で表される。
【数２】
【００２５】
なお、１周期を４等分した各期間Ｔ１、Ｔ２、Ｔ３、Ｔ４は、例えば、０度から９０度の間、９０度から１８０度の間、１８０度から２７０度の間、２７０度から０度の間とする。
【００２６】
また、光源１１０の変調周波数は数十ＭＨＺである。従って、変調の１周期は数十ｎｓ程度である。このため、距離値を算出するためには、数百〜数十万周期の電荷蓄積時間を要する。本実施形態の距離値算出部１３０は、この電荷蓄積時間Δｔ間隔で電荷蓄積部１２２に蓄積された各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、画素毎に、式（２）に従って位相差φを求め、式（１）に従って、物体４００までの距離値Ｄを求める。
【００２７】
なお、各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、以下の式（３）に従って、照射光強度値Ｂを算出し、これを画素値とする照射光強度画像を生成することができる。
【数３】
【００２８】
また、一般の画像の画素値として用いられるのは、以下の式（４）に従って、４つの電荷蓄積部１２２に振り分けられた電荷の平均値Ａである。
【数４】
【００２９】
位置算出部１５０は、距離値算出部１３０が距離値を算出する毎に、距離値算出部１３０が算出した距離値から、認識対象物の指示位置を特定する情報を算出する。算出された指示位置を特定する情報は、外部へ出力される。算出の詳細は具体例を用いて後述する。
【００３０】
本実施形態では、指示位置を特定する情報として、予め定めた仮想平面上の、指示位置検出装置１００を基準として予め定めた直交座標系（ＸＹ座標系）におけるＸＹ座標を算出する。仮想平面５００は、図２（ｂ）に示すように、本実施形態の発光/受光面１０１の法線５０１方向に平行な面とする。また、仮想平面５００上の直交座標系は、光電変換素子１２１の配列方向をＸ方向、それに直交する方向をＹ方向、光電変換素子１２１のいずれかの端部を原点とする。
【００３１】
制御部１４０は、指示位置検出装置１００全体の動作を制御する。本実施形態では、ユーザから処理開始の指示（例えば、電源ＯＮ）を受け付けると、光源１１０から変調光１１１の照射を開始させ、撮像素子１２０で入射光（反射光）１１２を受光させ、電荷として蓄積させる。そして、電荷蓄積時間Δｔ毎に、蓄積された電荷から、距離値算出部１３０に距離値を算出させ、距離値が算出される毎に、位置算出部１５０に認識対象物の指示位置の座標を算出させる。
【００３２】
なお、光源１１０、撮像素子１２０、距離値算出部１３０および制御部１４０により、距離センサを構成する。
【００３３】
次に、本実施形態の位置検出装置１００の入力面に対する配置と、位置算出部１５０による認識対象物の指示位置の算出について説明する。ここでは、入力面として、携帯電話等の小型端末の入力面を例にあげて説明する。操作者は、指等により入力面上の所定の領域に触れることにより、指示を行う。従って、ここでは、認識対象物は指であり、指示位置として検出すべきは、指先である。
【００３４】
図４は、指示位置が入力される入力面に対する本実施形態の位置検出装置１００の配置と、位置算出部１５０による指示位置算出を説明するための図である。図４（ａ）は、指示位置検出装置１００を、図２（ｂ）の矢印Ｂの方向から見た図（入力面４１０を正面から見た図）である。図４（ｂ）は、図２（ｂ）の矢印Ａの方向から見た図である。
【００３５】
本実施形態の指示位置検出装置１００は、仮想平面５００が入力面４１０に略合致するよう配置する。例えば、図４（ａ）および（ｂ）に示すように、入力面４１０上の端部に、入力面４１０に平行に、発光／受光面１０１が入力面４１０に略直交するよう配置する。
【００３６】
本実施形態では、認識対象物４２０を操作者の指とし、指示位置４３０を指先としているため、位置算出部１５０は、距離値算出部１３０が算出した光電変換素子１２１毎の距離値の中で最小の値を選択し、Ｙ座標の値とする。そして、当該距離値を有する光電変換素子１２１の位置をＸ座標の値とする。なお、各光電変換素子１２１の座標系上での位置は、予め保持しておく。
【００３７】
なお、本実施形態の位置検出装置１００は、ＣＰＵとメモリと記憶装置とを備え、予め記憶装置に保持されるプログラムを、ＣＰＵがメモリにロードして実行することにより、上記各部の機能を実現する。
【００３８】
以上説明したように、本実施形態によれば、入力面上の操作者の指といった認識対象物による指示位置の検出に、検出空間の距離値を算出する距離センサによる指示位置検出装置を用いる。すなわち、指示位置を、距離センサが算出した距離値に基づいて算出し、それを特定する情報を出力する。従って、入力面と同じサイズのセンサを用意する必要がなく、コストを抑えることができる。
【００３９】
また、指示位置検出装置で入力面を覆うことがないため、入力面が液晶ディスプレイであっても、指示位置検出装置で液晶の光量を減らすことがない。従って、消費電力が増大することはない。
【００４０】
さらに、本実施形態の指示位置入力装置は、差分をとることで、背景光の影響を除去した電荷から距離値を算出する距離センサを用いる。従って、上述のように背景光の影響を受けにくく、使用環境の制約も少ない。
【００４１】
従って、本実施形態によれば、使用環境の制約が少なく、簡易な構成で安価に高精度な入力操作検出装置を実現できる。
【００４２】
なお、本実施形態では、距離値算出部１３０が算出した光電変換素子１２１毎の距離値の中で最小の値と、当該距離値を有する光電変換素子１２１の位置とを指示位置として算出しているが、指示位置の算出はこれに限られない。予め定められた算出規則に従って、算出する。
【００４３】
＜＜第二の実施形態＞＞
次に、本発明を適用する第二の実施形態について説明する。第一の実施形態では、撮像素子を構成する光電変換素子がライン状に配置される指示位置検出装置を用いるが、本実施形態では、光電変換素子がアレイ状に配置される指示位置検出装置を用いる。
【００４４】
以下、本実施形態について、第一の実施形態と異なる構成に主眼をおいて説明する。本実施形態の位置検出装置２００の機能構成は、基本的に図１に示す第一の実施形態の位置検出装置１００と同様である。ただし、本実施形態では、光電変換素子１２１の配列が異なるため、光電変換素子１２１毎に算出された距離値を用いて指示位置を算出する位置算出部１５０による位置算出処理が異なる。
【００４５】
図５（ａ）は、本実施形態の位置検出装置２００の光源１１０と光電変換素子１２１との配置を説明するための説明図である。また、図５（ｂ）は、位置検出装置２００の光電変換素子１２１との配置を説明するために、その一部を拡大した図である。これらの図に示すように、本実施形態では、撮像素子１２０を構成する複数の光電変換素子１２１は、第一の実施形態のようにライン状に規則的に配置された光電変換素子行１２１ｒが、複数積み重ねられ、全体としてアレイ状に規則的に配置される。図５（ａ）に示す面が、光源１１０からの変調光１１１を照射し、撮像素子１２０で入射光１１２を受光する発光／受光面２０１である。
【００４６】
また、本実施形態においても、位置算出部１５０は、距離値算出部１３０が距離値を算出する毎に、当該距離値から認識対象物の指示位置を特定する情報を算出し、外部へ出力する。算出にあたり、本実施形態においても、第一の実施形態同様、図５（ｃ）に示す、予め定めた仮想平面５００を導入する。そして、この仮想平面５００上の直交座標系（ＸＹ座標系）のＸＹ座標を、指示位置を特定する情報として算出する。
【００４７】
本実施形態では、仮想平面５００は、発光／受光面２０１の法線５０１方向に平行な面であって、ライン状に配置された光電変換素子１２１列の一方の端部に接する面とする。また、仮想平面５００上の直交座標系は、光電変換素子行１２１ｒの配列方向をＸ方向、それに直交する方向をＹ方向、光電変換素子１２１のいずれかの端部を原点とする。本実施形態では、さらに、仮想平面５００の法線方向をＺ方向とする。
【００４８】
次に、本実施形態の位置検出装置２００の配置と、位置算出部１５０による認識対象物の指示位置の算出について説明する。ここでは、第一の実施形態同様、入力面として、小型端末の入力面を例にあげて説明する。第一の実施形態同様、操作者は、指等により入力面上の所定の領域に触れることにより、指示を行う。従って、ここでは、認識対象物は指であり、指示位置として検出すべきは、その最先端である指先である。
【００４９】
図６は、指示位置が入力される入力面４１０に対する本実施形態の位置検出装置２００の配置と、位置算出部１５０による位置算出処理を説明するための図である。図６（ａ）は、図５（ｃ）の矢印Ｂの方向から見た図（入力面４１０を正面から見た図）である。図６（ｂ）は、図５（ｃ）の矢印Ａの方向から見た図である。
【００５０】
本実施形態の指示位置検出装置２００は、第一の実施形態同様、仮想平面５００が入力面４１０に略合致するよう配置する。例えば、本図に示すように、入力面４１０上の端部に、入力面４１０に平行に、発光／受光面２０１が入力面４１０に略直交するよう配置する。
【００５１】
本実施形態では、位置算出部１５０は、第一の実施形態同様、距離値算出部１３０が算出した距離値から、認識対象物４２０の指示位置４３０を算出する。ただし、本実施形態では、認識対象物４２０の指示位置候補を特定し、指示位置候補が、認識対象物４２０によるものであるか否かを判別し、認識対象物４２０によるものと判別された場合、当該指示位置候補を指示位置４３０とする。
【００５２】
判別は、認識対象物４２０が全光電変換素子行１２１ｒに渡っているか否かで行う。これは、図７（ａ）に示すように、指等の認識対象物であれば、全光電変換素子行１２１ｒに渡って、同程度の距離値が得られる一方、図７（ｂ）に示すように、水滴のような認識対象外のものの場合、入力面４１０近傍でしか同程度の距離値が得られないという特性を利用し、認識対象外のものを認識することを防ぐためである。
【００５３】
位置算出部１５０は、まず、最も入力面４１０に近い光電変換素子行１２１ｒ内で、距離値算出部１３０が算出した光電変換素子１２１毎の距離値の中で最小の値を選択する。そして、当該距離値を有する光電変換素子１２１を特定する。選択した最小の値を候補距離値、当該距離値を有する光電変換素子１２１を特定する情報を候補位置、両者を指示位置候補とする。なお、最も入力面４１０に近い光電変換素子行１２１ｒは、図５（ｂ）において最下端の最も入力面４１０に近い光電変換素子行１２１ｒである。
【００５４】
最下端の光電変換素子行１２１ｒで指示位置候補を決定すると、本実施形態の位置算出部１５０は、他の光電変換素子行１２１ｒの近傍領域に連続する距離値が存在するか否かを判別する判別処理を行う。
【００５５】
具体的には、位置算出部１５０は、１つ上の光電変換素子行１２１ｒにおいて、候補位置の近傍の光電変換素子１２１に、候補距離値と同程度の距離値を有する光電変換素子１２１があるか否かを判別する。近傍の光電変換素子１２１であるか否か、および、同程度の距離値か否かは、予め定めた閾値を用いて判別する。例えば、候補位置±位置用閾値の範囲を近傍とし、候補距離値±距離値用閾値の範囲であれば同程度と判断する。
【００５６】
１つ上の光電変換素子行１２１ｒにおいて、候補位置の近傍の光電変換素子１２１に、候補距離値と同程度の距離値を有する光電変換素子１２１があると判別した場合は、位置算出部１５０は、さらに、その上の光電変換素子行１２１ｒにおいて、同様の判別を行う。これを、最上段の光電変換素子行１２１ｒまで繰り返す。そして、最上段においても、有りと判別した場合は、指示位置候補を認識対象物４２０によるものと判別し、指示位置４３０と決定する。
【００５７】
一方、無し、と判別した場合は、位置算出部１５０は、指示位置候補として特定した情報を破棄し、最下端の光電変換素子行１２１ｒに戻り、次に小さい距離値と、当該距離値を有する光電変換素子１２１とを、それぞれ、候補距離値、候補位置とし、また、両者を合わせて指示位置候補として、上記判別処理を繰り返す。
【００５８】
位置算出部１５０による上記位置算出処理により、図７（ａ）に示すように、指等の場合、連続した値有りの判別結果を得、得られた指示位置候補が指示位置として決定される。一方、図７（ｂ）に示すように、水滴などの場合、連続した値無しとの判別結果を得、指示位置候補は破棄される。
【００５９】
本実施形態の光源１１０による変調光１１１の照射、撮像素子１２０における入射光１１２の受光と電荷の蓄積、距離値算出部１３０における距離値の算出、制御部１４０による各部の制御は、基本的に第一の実施形態と同様である。
【００６０】
なお、本実施形態の位置検出装置２００は、ＣＰＵとメモリと記憶装置とを備え、予め記憶装置に保持されるプログラムを、ＣＰＵがメモリにロードして実行することにより、上記各部の機能を実現する。
【００６１】
以上説明したように、本実施形態の指示位置検出装置２００は、第一の実施形態の指示位置検出装置１００と同様の構成を有する。従って、第一の実施形態と同様の効果が得られる。
【００６２】
さらに、本実施形態によれば、撮像素子１２０が、第一の実施形態の光電変換素子のようなライン状の光電変換素子行１２１ｒが入力面の法線方向に複数積み重ねられた構成を有し、また、位置算出部１５０は上述の指示位置算出処理を行い、指示位置を算出する。従って、入力面上の水滴といった、認識対象物以外の異物を指示位置として検出するといった誤検出を防ぐことができる。従って、さらに認識対象物の指示検出の精度が高まる。
【００６３】
なお、本実施形態では、最小の距離値を示す領域が認識対象物であるか否かを判別するにあたり、全光電変換素子行１２１ｒに渡って、近傍領域に連続する値があるか否かで判別しているが、この手法に限られない。例えば、パターン認識を用いてもよい。入力面４１０に対して指示を行う認識対象物の形状候補をテンプレートとして予め保持しておき、合致する場合、認識対象物と判別し、その中の、最も入力面４１０に近い光電変換素子行１２１ｒで検出した最も小さい距離値と、それに対応する光電変換素子位置と、を指示位置として出力する。
【００６４】
＜＜第三の実施形態＞＞
次に、本発明を適用する第三の実施形態を説明する。第一および第二の実施形態では、１の撮像素子１２０により認識対象物を検出し、それに基づき位置算出部１５０が指示位置を算出する。一方、本実施形態では、２つの撮像素子で認識対象物を検出し、それらに基づき位置算出部が指示位置を算出する。以下、本実施形態の指示位置検出装置について、第二の実施形態と異なる構成に主眼をおいて説明する。
【００６５】
図８は、本実施形態の指示位置検出装置３００の機能ブロック図である。本図に示すように、本実施形態の指示位置検出装置３００は、光源１１０と、２つの撮像素子１２０（１２０ａおよび１２０ｂ）と、それぞれの撮像素子１２０ａおよび１２０ｂで蓄積した電荷から距離値を算出する２つの距離値算出部１３０（１３０ａおよび１３０ｂ）と、位置算出部１６０と、制御部１４０とを備える。
【００６６】
撮像素子１２０ａおよび１２０ｂそれぞれの構成は、第二の実施形態の撮像素子１２０と同様である。また、距離値算出部１３０ａおよび１３０ｂそれぞれの構成も第二の実施形態の距離値算出部１３０と同様である。
【００６７】
図９（ａ）は、本実施形態の指示位置検出装置３００の光源１１０と撮像素子１２０（光電変換素子１２１）との配置を説明するための説明図である。図９（ａ）に示す面が、光源１１０から変調光１１１を照射し、撮像素子１２０で入射光を受光する発光／受光面３０１である。本図に示すように、本実施形態の指示位置検出装置３００は、光源１１０から照射した変調光１１１を、２つの撮像素子１２０ａおよび１２０ｂで受光する。
【００６８】
本実施形態の各機能は、基本的に第二の実施形態の同名の機能と同様である。ただし、本実施形態では、位置算出部１６０は、複数の距離センサからの情報を用いて、認識対象物４２０の指示位置４３０を特定する情報（仮想平面５００上の座標）を算出する。ここでは、２つの距離値算出部１３０ａおよび１３０ｂが算出した、光電変換素子１２１毎の距離値を用いて、認識対象物４２０の指示位置４３０を算出する。
【００６９】
本実施形態の位置算出部１６０による位置算出処理を説明する。位置算出部１６０は、まず、第二の実施形態と同様の指示位置算出処理を行い、２つの距離値算出部１３０ａおよび１３０ｂそれぞれの出力から、それぞれ指示位置を算出する。
【００７０】
そして、本実施形態の位置算出部１６０は、２つの指示位置から、最終的に出力する指示位置を決定する。例えば、２つの指示位置の中で、Ｙ方向の座標値がより小さい方を出力する指示位置として採用する。このように構成することで、一方の撮像素子による検出対象外に認識対象物の指示位置がある場合でも、誤認識することなく認識対象物の指示位置を検出することができる。
【００７１】
なお、本実施形態の位置検出装置３００は、ＣＰＵとメモリと記憶装置とを備え、予め記憶装置に保持されるプログラムを、ＣＰＵがメモリにロードして実行することにより、上記各部の機能を実現する。
【００７２】
以上説明したように、本実施形態によれば、第二の実施形態同様の効果に加え、より広い範囲で精度よく指示位置を検出することができる。
【００７３】
なお、本実施形態では、位置算出部１６０は、２つの認識対象物の指示位置を認識するよう構成してもよい。例えば、図９（ｂ）に示すように、認識対象物と考えられるものの中で、最も指示位置検出装置３００に近い認識対象物４２１と、次に近い認識対象物４２２、との２種の指示位置４３１および４３２を検出する。それぞれの検出手法は、第二の実施形態の検出手法と同様である。ただし、最も近い認識対象物４２１の指示位置４３１検出後、次に近い認識対象物４２２の指示位置４３２も同様の手法で検出する。
【００７４】
一般に、単数のセンサを用いて認識対象による２つの指示位置を検出する場合、センサの法線方向に両指示位置が重なると、オクルージョンが発生し、認識ができない。しかし、本実施形態の指示検出装置３００によれば、指示位置検出装置３００自体が、それぞれ異なる位置に配置された２つの受光部として、撮像素子１２０ａおよび撮像素子１２０ｂを備える。そして、これらの２つの撮像素子１２０ａ、１２０ｂによりそれぞれ検出空間の距離を取得し、その結果を用いて指示位置を検出するため、１つの指示検出装置３００により、オクルージョンを防ぐことができる。
【００７５】
これは、両方の撮像素子において、同時に、２つの指示位置が、オクルージョンが発生する配置となることがないためである。例えば、一方の撮像素子側で、２つの指示位置が、オクルージョンが発生する配置になった場合であっても、他方の撮像素子側では、２つの指示位置は、別個独立したものとして検出できる。
【００７６】
なお、ここでは、光電変換素子１２１がアレイ状に配置された第二の実施形態の撮像素子１２０をそれぞれ用いる場合を例にあげて説明しているが、これに限られない。ライン状に配置された第一の実施形態の撮像素子１２０を用いてもよい。また、２つの撮像素子１２０ａ、１２０ｂは、それぞれ、同じサイズであることが望ましい。
【００７７】
上記各実施形態では、各実施形態の位置検出装置１００、２００、３００を、携帯電話等の小型端末の端部において、当該端末の入力面での操作を検出する場合を例にあげて説明しているが、本実施形態の距離センサの使用箇所はこれに限られない。
【００７８】
例えば、ホワイトボードや大型モニタを用いた電子黒板等のシステムの入力検出装置として用いてもよい。図１０（ａ）は、上記実施形態のいずれかの位置検出装置を電子黒板の上部に２つ取り付けた例であり、図１０（ｂ）は、左右の上部角に設置した例である。位置検出装置１００、２００、３００は、着脱自在に構成し、使用時に取り付けるよう構成してもよいし、取り付け先の装置作製時に予め組み込んでもよい。
【００７９】
取り付け対象は、電子黒板に限らず、デジタルサイネージや案内板など、面上で入力指示を行う各種の装置が可能である。これらの装置では、本実施形態の指示位置検出装置が検出した位置情報を受け取り処理に利用する。
【符号の説明】
【００８０】
１００：指示位置検出装置、１０１：受光面、１１０：光源、１１１：変調光、１１２：入射光、１１２：反射光、１２０：撮像素子、１２０ａ：撮像素子、１２０ｂ：撮像素子１２１：光電変換素子、１２２：電荷蓄積部、１２３：振分部、１３０：距離値算出部、１３０ａ：距離値算出部、１３０ｂ：距離値算出部１４０：制御部、１５０：位置算出部、１７０：位置算出部、２００：位置検出装置、２００：指示位置検出装置、２０１：受光面、３００：指示位置検出装置、３０１：受光面、４００：物体、４１０：入力面、４２０：認識対象物、４２１：認識対象物、４２２：認識対象物、４３０：指示位置、４３１：指示位置、４３２：指示位置
【特許請求の範囲】
【請求項１】
所定の平面上の認識対象物による指示位置を検出する指示位置検出装置であって、
前記平面上部の検出空間に変調光を照射する光源と、
前記光源から照射され前記検出空間内の物体で反射した反射光を受光して電荷に変換する光電変換素子、前記光電変換素子毎に複数設けられ、前記変換された電荷を蓄積する電荷蓄積手段、および、前記光源の変調に同期して、前記変換された電荷を前記複数の電荷蓄積手段に振り分ける振分手段を備える撮像素子と、
所定の時間毎に、前記複数の電荷蓄積部に蓄積された電荷から前記検出空間内の物体までの距離値を前記光電変換素子毎に算出する距離値算出手段と、
前記距離画像を用い、前記平面上の指示位置を算出する位置算出手段と、を備えること
を特徴とする指示位置検出装置。
【請求項２】
請求項１記載の指示位置検出装置であって、
前記光電変換素子は、前記平面に平行な方向に一列に配置され、
前記位置算出手段は、前記距離値算出手段が算出した距離値の中の最小の値と、当該最小の値に対応する光電変換素子の位置とを前記指示位置とすること
を特徴とする指示位置検出装置。
【請求項３】
請求項１記載の指示位置検出装置であって、
前記光電変換素子は、前記平面に平行な方向と、当該平面に直交する方向に格子状に配列され、
前記位置算出手段は、前記平面上の距離値であって、前記認識対象物による距離値の中の最小の値と、当該最小の値に対応する光電変換素子の位置とを前記指示位置とすること
を特徴とする指示位置検出装置。
【請求項４】
請求項１から３いずれか１項記載の指示位置検出装置であって、
前記撮像素子を複数備えるとともに、当該複数の撮像素子各々に前記距離値算出手段を備え、
前記位置算出手段は、前記各距離値算出手段が算出した距離値を用い、前記指示位置を算出すること
を特徴とする指示位置検出装置。
【請求項１】
所定の平面上の認識対象物による指示位置を検出する指示位置検出装置であって、
前記平面上部の検出空間に変調光を照射する光源と、
前記光源から照射され前記検出空間内の物体で反射した反射光を受光して電荷に変換する光電変換素子、前記光電変換素子毎に複数設けられ、前記変換された電荷を蓄積する電荷蓄積手段、および、前記光源の変調に同期して、前記変換された電荷を前記複数の電荷蓄積手段に振り分ける振分手段を備える撮像素子と、
所定の時間毎に、前記複数の電荷蓄積部に蓄積された電荷から前記検出空間内の物体までの距離値を前記光電変換素子毎に算出する距離値算出手段と、
前記距離画像を用い、前記平面上の指示位置を算出する位置算出手段と、を備えること
を特徴とする指示位置検出装置。
【請求項２】
請求項１記載の指示位置検出装置であって、
前記光電変換素子は、前記平面に平行な方向に一列に配置され、
前記位置算出手段は、前記距離値算出手段が算出した距離値の中の最小の値と、当該最小の値に対応する光電変換素子の位置とを前記指示位置とすること
を特徴とする指示位置検出装置。
【請求項３】
請求項１記載の指示位置検出装置であって、
前記光電変換素子は、前記平面に平行な方向と、当該平面に直交する方向に格子状に配列され、
前記位置算出手段は、前記平面上の距離値であって、前記認識対象物による距離値の中の最小の値と、当該最小の値に対応する光電変換素子の位置とを前記指示位置とすること
を特徴とする指示位置検出装置。
【請求項４】
請求項１から３いずれか１項記載の指示位置検出装置であって、
前記撮像素子を複数備えるとともに、当該複数の撮像素子各々に前記距離値算出手段を備え、
前記位置算出手段は、前記各距離値算出手段が算出した距離値を用い、前記指示位置を算出すること
を特徴とする指示位置検出装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１７３０９８（Ｐ２０１２−１７３０９８Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３４５９９（Ｐ２０１１−３４５９９）
【出願日】平成２３年２月２１日（２０１１．２．２１）
【出願人】（０００００２３０３）スタンレー電気株式会社 (2,684)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２１日（２０１１．２．２１）
【出願人】（０００００２３０３）スタンレー電気株式会社 (2,684)
【Ｆターム（参考）】
[ Back to top ]