携帯型情報機器用入力装置
【課題】携帯型情報機器を両手で持った状態でも、あるいは、片方の手で機器を持ち且つ他方の手が塞がって使えない状態でも、簡単な動作で入力操作ができる携帯型情報機器用入力装置を提供する。
【解決手段】３次元空間を利用した携帯型情報機器用入力装置であって、３次元距離センサ３と携帯型情報機器１の表示装置２を一体とし、３次元距離センサ３で検知された対象物、たとえば表示装置２付近に存在している人の顔や鼻、顎、手、指など、人体もしくはそれに付随した物体の一部の３次元位置情報を用い、かつ、それらの３次元距離センサ３から見た横および縦方向の２次元位置情報を表示装置２内の２次元指示位置情報として用い、また、その距離方向の位置情報を任意の操作の実行タイミングを決定する情報として用いる。
【解決手段】３次元空間を利用した携帯型情報機器用入力装置であって、３次元距離センサ３と携帯型情報機器１の表示装置２を一体とし、３次元距離センサ３で検知された対象物、たとえば表示装置２付近に存在している人の顔や鼻、顎、手、指など、人体もしくはそれに付随した物体の一部の３次元位置情報を用い、かつ、それらの３次元距離センサ３から見た横および縦方向の２次元位置情報を表示装置２内の２次元指示位置情報として用い、また、その距離方向の位置情報を任意の操作の実行タイミングを決定する情報として用いる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、既に開発されている視差センサＬＳＩ（特許文献８〜１０、非特許文献１〜３参照。）によって廉価に実現できる３次元距離センサの応用技術に関し、さらに詳しくは、前記の３次元距離センサを用いた携帯型情報機器用入力装置に関する。
【背景技術】
【０００２】
一般にパソコンなどの携帯型情報機器への操作入力には、キーボードやマウスなどが主に使われている。キーボードではキャラクター（文字や数字）情報を、それぞれ対応するボタンを指等で押すことにより入力することができる。また、マウスではその平面上の動きで表示装置内の２次元指示位置を自由に移動させることができ、マウスと一体となったボタン等によって何らかの操作を実行するタイミングを決定することができる。テレビやオーディオ機器などでは、それぞれの操作機能毎のボタンが多数搭載された赤外線通信方式のリモコン装置によって、所望の機能を手元で入力操作することができる。これら何れの入力方式においても、携帯型情報機器とは別に用意されたボタンや移動検知機能を備えた専用装置を用いて、手や指等でそれらを操作する必要があった。
【０００３】
一方、スマートフォンやタブレット端末などの携帯型情報機器においては、その機器に備えられた小型のボタン群や表示装置と一体となったタッチパネル等を指などで操作して入力を行っている。これらは携帯端末向けに小さな領域でもストレス無く操作できるように、操作入力予想機能等を用いて少ないボタン数や操作数で所望の入力ができるように工夫されている。しかし、何れの携帯型情報機器においても、その入力操作には少なくとも片方の手が必要である。携帯型情報機器は通常、手で保持する場合が多いので、保持する手と操作する手の両方が塞がり、他の物を持ったままや他の作業をしながら操作するのが難しい問題がある。また、タブレット端末など片手で安定して持つのが難しいサイズものは、一旦何処かに置かないと操作できないという問題が生じる。
今後、携帯型情報機器の利便性を更に向上させるためには、入力方法の工夫が必要である。
【０００４】
本発明に係る３次元空間を利用した入力装置は、このような背景のもとに発明され、先に開示した視差センサＬＳＩにより廉価に実現できる３次元距離センサを応用することで、携帯型情報機器の入力操作を容易にし従来の問題を解決する。
【０００５】
パソコン等の入力装置として、カメラで撮像した画像データを用いる方法が提案されている（例えば、特許文献１〜５参照。）。それらは、カメラで撮像された画像から顔内の眼や瞳、虹彩、口などをパターンマッチング手法等によって検知し、その２次元的位置情報あるいは、その形状の変化情報を、表示装置内の２次元指示位置情報や何らかの操作情報として用いることを共通の特徴としている。これらの手法は、２次元のカメラ画像を用いていることと、パターンマッチング手法等で対象物の位置や形状の変化を検知しているところが本発明とは異なり、様々な環境で安定に検知動作させるためには、様々な画像調整処理やパターンマッチング処理を大量に行う必要があり、装置コストや処理時間が大きくなる問題がある。また、対象物との距離情報が全く用いられないところが本発明とは異なる。
【０００６】
また、携帯端末に内蔵された多数の加速度センサを用いて、その装置を傾けることで表示装置内のカーソル等を移動させる方法が提案されている（例えば、特許文献６参照。）。しかし、一般的に用いられる加速度センサは角度の変化に対する検知感度が低く、装置を傾けるだけでの静的な角度精度が十分に得られない問題がある。そこで、一般に、傾きの大きさに比例するその方向への力という表現でカーソル等を移動させる方法をとる。その方法では、所望の所に精度良くカーソルを静止させることが難しい問題がある。また、仮にコストを犠牲にして加速度センサの感度を十分に高くできたとしても、傾き角度を検知する重力加速度と装置自体にかかるその他の加速度を原理的に分離できない問題があり、移動している場合や、体勢が変化する場合など、生活上頻繁に遭遇する状況での利用が難しくなる問題が生じる。
【０００７】
その他、ステレオ画像により３次元位置を検知し、検知した手で指し示した方向の画像を出力する装置が提案（特許文献７）されているが、本発明とは装置構成要件が異なる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−５９１４７号公報
【特許文献２】特開２００６−３０９２９１号公報
【特許文献３】特開２００７−１０２４１５号公報
【特許文献４】特開２００４−３６２５６９号公報
【特許文献５】特開平９−３０５７４３号公報
【特許文献６】特表２００７−５０９４４８号公報
【特許文献７】特開２００３−１４１５１０号公報
【特許文献８】特開２００５−２６５４５７号公報
【特許文献９】特開２００９−２３６６６１号公報
【特許文献１０】特開２０１０−１９７２２７号公報
【非特許文献】
【０００９】
【非特許文献１】T. Yoshida and Y. Arima, "Binobjective monocular optical module for single-chip stereo vision sensor LSI," IEICE Electronics Express, Vol. 3, No. 17, pp. 390-396, Sep. 10, 2006.
【非特許文献２】Masatomo Kawano, Norihito Kawaguchi, Takashi Yoshida, and Yutaka Arima, "Three-Dimensional Binocular Range Sensor LSI with Enhanced Correlation Signal," Japanese Journal of Applied Physics, Vol. 49, No. 4D, pp. 04DE05-1-6, Published April 20, 2010.
【非特許文献３】Norihito Kawaguchi, Masatomo Kawano, and Yutaka Arima, "Three-Dimensional Binocular Range Sensor Large Scale Integration with a 410μs/Frame Output Time High-Speed Data Output Method," Japanese Journal of Applied Physics, Vol. 49, No. 4D, pp. 04DE06-1-4, Published April 20, 2010.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
スマートフォンなどの携帯型情報機器に備えられた入力装置は、表示装置の画面上に表示された多数のボタンやタッチパネル等であり、それらは指などで操作する必要がある。通常、携帯機器を保持するために片方の手が用いられるので、その機器を操作するのに、操作する手と合わせて両方の手が必要であった。そのため、他の物を持ったり他の作業をしたりしながらの操作が難しく携帯型装置としての利便性が損なわれる問題がある。そこで、手を使わずに簡単な方法で入力操作できる装置の開発が望まれている。
【００１１】
また、タブレット端末など片手で安定に保持するのが難しいサイズの携帯機器に対しては、両手で保持すると入力操作ができなくなるので、机や膝などの上にその機器を置いて操作することになる。この制約は利用環境や使用機会を大きく損なうことになり、その機器の利用範囲を狭くしている。そこで、両手で保持しながらでも容易に操作ができる入力装置の開発が望まれている。
【００１２】
本発明は、携帯型情報機器を両手で持った状態でも、あるいは、片方の手で機器を持ち且つ他方の手が塞がって使えない状態でも、簡単な動作で入力操作ができる携帯型情報機器用入力装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記課題を解決するため、本発明は、携帯型情報機器の利用環境を考慮し、手の他にその機器周辺に必ず存在する物体を利用して入力する手法を提案する。
本発明の第１の構成は、３次元空間を利用した携帯型情報機器用入力装置であって、３次元距離センサと携帯型情報機器の表示装置を一体とし、当該３次元距離センサで検知された対象物の３次元位置情報を基に、前記表示装置内の２次元位置情報と任意の操作の実行タイミングを決定することを特徴とする携帯型情報機器用入力装置である。
【００１４】
この第１の構成においては、携帯型情報機器と一体化した３次元距離センサによって対象物の３次元位置を検知し、そのセンサから見た縦横方向の２次元位置情報をもとに表示装置内のカーソル等の２次元指示位置を決定すると共に、距離方向の情報をもとにボタン機能に相当する任意の機能の実行タイミングを決定する。具体的には、携帯型情報機器を保持している手でその機器を少し傾けたり移動させたりすることにより、検知している対象物を相対的に移動させることができ、高い精度（感度）で位置を静的に設定できる。ここで、「２次元位置情報」とは、一般的な２次元の座標データ等で表される位置情報をいう。
【００１５】
本発明の第２の構成は、何らかの操作の実行タイミングを決定するスイッチ機能を、前記表示装置内もしくはその携帯型情報機器に設置したことを特徴とする第１の構成の携帯型情報機器用入力装置である。
この第２の構成においては、携帯型情報機器を持っている手の指で実際のスイッチまたは表示装置内に表示されているスイッチ画面を押すことにより、各種機能のスイッチ操作を行うことが可能となる。
【００１６】
本発明の第３の構成は、前記３次元距離センサで検知される対象物として、前記表示装置付近に存在している人の顔や鼻、顎、手、指など、人体もしくはそれに付随した物体の一部の３次元位置情報を用い、かつ、それらの３次元距離センサから見た横および縦方向の２次元位置情報を前記表示装置内の２次元指示位置情報として用い、また、その距離方向の位置情報を任意の操作の実行タイミングを決定する情報として用いることを特徴とする第１または第２の構成の携帯型情報機器用入力装置である。
この第３の構成においては、対象物として、その機器の表示画面を見ている人の頭や顔、鼻、顎などの人体の一部を利用することにより、特別な器具を用いることなく、また手や指で表示画面をなぞる等の操作をすることなく、画面をスクロールしたり、頁をめくる等の各種の入力操作を行うことができる。ここで、「２次元指示位置情報」とは、カーソル等の、画像の位置を指示する手段の、２次元座標データで表される位置情報をいう。また、「距離方向の位置情報」とは、３次元距離センサで検知した距離（奥行き）の座標データで表される位置情報をいう。
【００１７】
本発明の第４の構成は、一体となった前記３次元距離センサと前記表示装置を傾けることによって、前記３次元距離センサで検知している人の顔や鼻、顎など、人体の一部の３次元位置を相対的に変化させ、前記表示装置内の２次元指示位置情報および任意の操作の実行タイミングを決定する情報を操作することを特徴とする第３の構成の携帯型情報機器用入力装置である。
この第４の構成においては、人体の一部を動かすのではなく、表示装置を上下、左右に傾けたり、旋回させることによっても、３次元距離センサからは相対的に人体の一部が移動したと感知するため、第３の構成と同様の入力操作を行うことができる。
【００１８】
本発明の第５の構成は、前記３次元距離センサで検知される対象物のうち、その距離が最も近い対象物の３次元位置情報のみを用いて前記表示装置内の２次元位置情報と任意の操作の実行タイミングを決定することを特徴とする第３または第４の構成の携帯型情報機器用入力装置である。
この第５の構成においては、人の顔や鼻、顎などの複数のポイントのうち、３次元距離センサからの距離が最も近い対象物を複数のポイントの座標により割り出し、その点の動きを検出することにより入力操作を容易にすることができる。
【発明の効果】
【００１９】
本発明によれば、スマートフォン等の片手で保持できる携帯型情報機器に関しては、その保持した片方の手だけで入力操作が可能になり、他のものを持ったり他の作業をしたりしながらの操作が可能となる。また、タブレット端末等両手で保持する必要がある機器に関しては、両手で保持したままで入力操作が可能になり、様々な状況での利用ができるようになる。これらのことから、携帯型情報機器の利用が更に容易になり、それぞれの利用分野を拡大できる効果がある。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態に係る携帯型情報機器の正面図である。
【図２】本発明の実施の形態に係る携帯型情報機器において、機能ボタンをスイッチで実現した例を示す正面図である。
【図３】本発明の実施の形態に係る携帯型情報機器において、機能ボタンを表示装置内に表示されたスイッチアイコンで実現した例を示す正面図である。
【図４】本発明の実施の形態に係る携帯型情報機器を両手で持った状態を示す正面図である。
【図５】本発明の実施の形態に係る携帯型情報機器を両手で持ち、顔に近づけた状態を示す斜視図である。
【図６】本発明の実施の形態に係る携帯型情報機器の回路構成を示すブロック図である。
【図７】本発明の実施の形態に係る携帯型情報機器による処理の例を示すフローチャートである。
【図８】二眼視差による距離検出の原理を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００２２】
本発明に係る携帯型情報機器の構成例を図１に示す。携帯型情報機器１において、それに搭載された表示装置２と３次元距離センサ３を一体とした装置構成を特徴とする。３次元距離センサ３は表示装置２を見る人の顔等がその視野内に入る向きに設置されている。もしくは、そのように固定することができる。３次元距離センサ３は、２つの撮像素子（イメージセンサ）を備えた視差センサを用いて３次元位置情報を検知し出力するので、二つの異なった位置からのイメージ取得が必要であり、図１に示すようなステレオ視用レンズ孔４を二つ備えている。
【００２３】
図８は、２つの撮像素子による距離検出の原理を説明するための図である。図８（ａ）に示すように、右眼に対応する撮像素子と左眼に対応する撮像素子を一定の距離離して設置して撮像する。ここで、左眼に対応する撮像素子で撮像される画像（以下、「左眼画像」という。）を｛ａ(L)i,j｜ｉ＝１，２，…，ｎ， ｊ＝１，２，…，ｍ｝と記す。右眼に対応する撮像素子で撮像される画像（以下、「右眼画像」という。）を｛ａ(R)i,j｜ｉ＝１，２，…，ｎ， ｊ＝１，２，…，ｍ｝と記す。
【００２４】
同じ対象物に対して、左右の撮像素子により撮像された対象物の各々の位置が、撮像素子から対象物までの距離に応じてずれることになる。従って、今、撮像された左眼画像と右眼画像の水平方向の相関のみを考える場合、すべての（ａ(L)i,k，ａ(R)j,k）の組の間で相関をとれば、最も大きな相関がある組により表される座標により、各々の対象物の距離が検知できる。
【００２５】
図８（ａ）において、Ａ，Ｂ，Ｃの三つの○が対象物を示している。これらの対象物を左右の撮像素子で撮像して左眼画像と右眼画像の相関マトリックスを作った場合、図８（ｂ）のようになる。図８（ｂ）では、左眼画像の画素１〜ｎの線と右眼画像の画素１〜ｎの線との交点の位置において相関機能があるとしている。図８（ａ）の対象物Ａ，Ｂ，Ｃに対して図８（ｂ）に示したＡ，Ｂ，Ｃの三つの○の位置で大きな相関が検出される。従って、相関マトリックス上で相関の大きい座標を検出し、この座標を図８（ａ）の斜交座標に座標変換すれば、対象物までの距離を検出することが可能である。なお、図８（ａ）に示した斜交座標は、左右の撮像素子の位置とそれらの相対角度によって決定することができる。従って、相関マトリックスからこの斜交座標への座標変換は、予め用意した換算表を参照することによって容易にできる。
【００２６】
上述したステレオ法による距離検出においては、撮像された左右二つの画像の視差画像演算処理には、一般的には大規模な計算が必要とされる。本実施の形態では、３次元距離センサ３は、先に開示した視差センサＬＳＩ（特許文献８，９参照）を用いることによって、高速かつコンパクトで廉価に実現することができる。
【００２７】
すなわち、前記の視差センサＬＳＩは、撮像対象を撮像し、アナログ電圧信号である画素信号として第１画像を出力する第１の撮像素子と、前記第１の撮像素子とは異なる角度から前記撮像対象を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第２の撮像素子と、前記第１及び第２の撮像素子から出力される画素信号の各々を、各画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する複数の電圧・パルス幅変換回路と、すべての前記各電圧・パルス幅変換回路が同時並列的に画素信号をパルス幅画素信号に変換するようにタイミング制御を行う同期制御回路と、前記第１画像の各パルス幅画素信号と前記第２画像の各パルス幅画素信号のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値又は電流値の信号に変換し、この信号を相関信号として出力する複数の相関検知回路と、を含む回路および素子を高集積化したものである。
【００２８】
この視差センサＬＳＩによれば、アナログ電圧信号である画素信号を、電圧・パルス幅変換回路によって一旦パルス幅信号の時間軸に写像し、相関検知回路において、電圧軸上の論理演算で時間軸上の差分演算を行うとともに、これを再びアナログ電圧信号又は電流値に戻して相関信号とすることにより、小規模な回路により高速に視差画像の演算処理を行うことが可能となる。従って、ステレオ画像の相関演算処置を高速に実行し視差画像を出力することが可能となる。また、回路面積と消費電力をともに従来よりも小さくすることが可能となる。
【００２９】
本発明においては、３次元距離センサ３から出力される検知物体の３次元位置情報は、携帯型情報機器内の演算装置もしくは、３次元距離センサ３近傍に設けられたＡＳＩＣ（Application Specific Integrated Circuit）等の情報処理装置において、表示装置２内に表示されるカーソル等の２次元指示位置情報と任意の機能スイッチの操作情報に加工処理される。例えば、３次元距離センサ３で検知された物体のうち最も近い対象物の３次元位置情報のみを用いて、その縦横方向の２次元位置情報をそのままカーソル等の位置情報とし、その距離情報を機能スイッチの操作情報に用いる方法がある。この場合は、３次元距離センサ３から１フレーム毎に出力される検知された複数の３次元位置データセットから、それぞれの距離データに注目して、その値が最も小さい対象物だけを抽出し、その２次元位置データを定数倍などして表示装置２内カーソルＣの位置データに用いる。また、フレーム間における最も近い距離データの変化量を用いて、例えば、その変化量が一定値より大きい場合に機能スイッチ操作を実行する信号を出力する処理を実行すれば良い。
【００３０】
その他に、最も近い距離の物体の位置から一定の範囲内の空間で検知された物体の３次元データの平均値を同様に用いる方法等も考えられる。何れの処理方法においても、比較的簡単で少ない処理数でそれらの情報加工処理が実行できるので、本体の演算装置もしくは専用の処理装置に大きな負荷やコストがかからない特徴がある。
【００３１】
図２に示すように、機能ボタン５を機器自体に設けるか、図３に示すように、表示装置２内にそのタッチパネル機能を利用してボタン機能６を表示したりすることで、３次元物体の相対的距離を変化させずにスイッチ操作する方法もある。これによって敏速なスイッチ操作が可能となる。
【００３２】
図４および図５は、携帯型情報機器１を両手で保持して、それを傾ける等の操作することで、表示装置２内カーソルＣの移動等の入力操作を行う状況の例を示している。
【００３３】
以下、図６および図７を用いて、本発明の実施の形態に係る携帯型情報機器による処理の例を説明する。
【００３４】
図６は、本発明の実施の形態に係る携帯型情報機器（以下、単に「情報機器」と言うことがある。）１の回路構成を示すものであり、メモリ１１０と、本例では同一チップ１２０上に搭載されたメモリコントローラ１２１、ＣＰＵ１２２、インターフェース１２３と、ＲＦ（Radio Frequency）回路１６１とアンテナ１６２からなる通信部１６０と、オーディオ回路１７１とスピーカ１７２とマイクロホン１７３からなるオーディオ部１７０と、ディスプレイコントローラ１３１とその他の入力コントローラ１３２からなる入力／出力（Ｉ／Ｏ）サブシステム１３０と、表示装置を構成するタッチパネル１４０と、その他の入力装置１５０と、３次元距離センサ１８１と２次元位置演算部１８２からなる空間ポインティング装置１８０とを備えている。
【００３５】
メモリ１１０は、高速ランダムアクセスメモリ、その他のメモリ装置からなり、ＯＳ（Operating System）や各種のアプリケーションが格納されている。
情報機器１の他のコンポーネント、例えば、ＣＰＵ１２２及びインターフェース１２３によるメモリ１１０へのアクセスは、メモリコントローラ１２１によって制御することができる。
インターフェース１２３は、情報機器１の入力及び出力周辺機器をＣＰＵ１２２及びメモリ１１０に結合する。
【００３６】
ＲＦ回路１６１は、ＲＦ信号を受信し送信する。ＲＦ回路１６１は、電磁波信号を用いて通信ネットワークや他の通信装置と通信する。ＲＦ回路１６１は、ネットワーク、例えばインターネットや、携帯電話網、ワイヤレスローカルエリアネットワーク（ＬＡＮ）等のシステムとワイヤレス通信により通信することができる。
オーディオ回路１７１、スピーカ１７２及びマイクロホン１７３は、ユーザと情報機器１との間のオーディオインターフェースを構成する。
【００３７】
Ｉ／Ｏサブシステム１３０は、情報機器１の入力／出力周辺機器、例えば、タッチパネル１４０及びその他の入力装置１５０をインターフェース１２３に結合する。Ｉ／Ｏサブシステム１３０は、その他の入力装置１５０のためのディスプレイコントローラ１３１及び１つ以上のその他の入力コントローラ１３２を含むことができる。その他の入力装置１５０は、物理的なボタン（例えば、プッシュボタン、ロッカーボタン等）、ダイヤル、スライダースイッチ、ジョイスティック、クリックホイール等を含むことができる。
タッチパネル１４０は、バーチャル又はソフトボタン及び１つ以上のソフトキーボードを実施するのに使用される。
【００３８】
本発明の特徴である空間ポインティング装置１８０は、３次元距離センサ１８１と２次元位置演算部１８２を備えており、例えば、上述した特許文献８，９に開示した視差センサＬＳＩによって３次元距離センサ機能を実現することができるが、それに限らず、他の方式による３次元距離センサと２次元位置演算部を用いることもできる。この空間ポインティング装置１８０から出力された、特定の対象物の２次元座標はディスプレイコントローラ１３１に入力され、２次元座標の動きにより、タッチパネル１４０上において指等で指示される動きと同様の操作情報が、インターフェース１２３に伝達される。なお、本実施の形態においては、空間ポインティング装置１８０は、情報機器１と一体に組み込むほか、情報機器１のフレームに取り付け、情報機器１のフレームに設けられているＵＳＢポート等のコネクタ（図示せず）に接続して、外付けの機器として一体化することもできる。その場合は、空間ポインティング装置１８０は、その他の入力装置１５０として、その他の入力コントローラ１３２に接続することもできる。
【００３９】
具体的な操作情報の処理手順を図７に示す。
まず、例えばタッチパネル１４０上に表示される３次元距離センサをオンにすると、Ｓ１００に示すように、空間ポインティング装置１８０における３次元距離センサ１８１が作動し、左右のセンサから得られた物体の各点の、原点（左右のセンサの中点の位置）からの３次元座標を演算により求める。
【００４０】
ステップＳ１１０では、求められた各点の３次元の座標のうち、原点からの距離が最も近い点（操作点、例えば鼻の先端）の２次元位置をタッチパネル上にカーソルとして表示する。
ステップＳ１２０では、情報機器１を持った手を傾斜したり揺動したりするか、情報機器１を手で固定した状態で操作点を動かしたりすることにより、タッチパネル上でカーソルを移動させる。
ステップＳ１３０では、指示期間の区切りを検知するために、機能ボタン５、６を指で押すか、または、空間ポインティング装置１８０で検知された距離データの変化による機能スイッチ操作によるか、もしくは、カーソルＣの位置が一定期間大きく変化しないことを検知して、それをトリガーとするなど様々な方法が考えられる。
【００４１】
ステップＳ１４０において、カーソルが移動した２次元軌跡のパターンに応じて、予め設定された動作を行うように、ディスプレイコントローラ１３１に出力を出す。例えば、カーソルが移動した２次元軌跡が縦方向であれば、タッチパネル１４０上に表示された画面を上下にスクロールし、２次元軌跡が横方向であれば、画面を左右にスクロールするか頁めくりし、円形であれば、時計回りか反時計回りかによって画面を拡大、縮小するなどの画面操作を行う。
ステップＳ１５０では、次の操作ボタンが押されたら、ステップＳ１２０に戻って処理を続行する。そうでなければ処理を終了する。
【００４２】
以上のようにして、本実施の形態によれば、スマートフォン等の片手で保持できる携帯型情報機器に関しては、その保持した片方の手だけで入力操作が可能になり、他のものを持ったり他の作業をしたりしながらの操作が可能となる。また、タブレット端末等両手で保持する必要がある機器に関しては、両手で保持したままで入力操作が可能になり、様々な状況での利用ができるようになる。これらのことから、携帯型情報機器の利用が更に容易になり、それぞれの利用分野を拡大できる効果がある。
【産業上の利用可能性】
【００４３】
本発明は、３次元空間に一般に存在しうる物体の相対的な３次元位置情報を用いたユーザー・インターフェース技術であって、スマートフォンやタブレット端末などの携帯型情報機器用の入力装置等に利用できる。
【符号の説明】
【００４４】
１ 携帯型情報機器
２ 表示装置
３ ３次元距離センサ
４ ステレオ視用レンズ孔
５ 機能ボタン（スイッチ類）
６ 機能ボタン（表示装置上で表示）
７ 携帯情報機器を保持する手
８ 表示装置を見ている人の頭
９ 表示装置を見ている人の鼻
１０ 表示装置を見ている人の顎
１１０ メモリ
１２０ チップ
１２１ メモリコントローラ
１２２ ＣＰＵ
１２３ インターフェース
１３０ Ｉ／Ｏサブシステム
１３１ ディスプレイコントローラ
１３２ その他の入力コントローラ
１４０ タッチパネル
１５０ その他の入力装置
１６０ 通信部
１６１ ＲＦ回路
１６２ アンテナ
１７０ オーディオ部
１７１ オーディオ回路
１７２ スピーカ
１７３ マイクロホン
１８０ 空間ポインティング装置
１８１ ３次元距離センサ
１８２ ２次元位置演算部
【技術分野】
【０００１】
本発明は、既に開発されている視差センサＬＳＩ（特許文献８〜１０、非特許文献１〜３参照。）によって廉価に実現できる３次元距離センサの応用技術に関し、さらに詳しくは、前記の３次元距離センサを用いた携帯型情報機器用入力装置に関する。
【背景技術】
【０００２】
一般にパソコンなどの携帯型情報機器への操作入力には、キーボードやマウスなどが主に使われている。キーボードではキャラクター（文字や数字）情報を、それぞれ対応するボタンを指等で押すことにより入力することができる。また、マウスではその平面上の動きで表示装置内の２次元指示位置を自由に移動させることができ、マウスと一体となったボタン等によって何らかの操作を実行するタイミングを決定することができる。テレビやオーディオ機器などでは、それぞれの操作機能毎のボタンが多数搭載された赤外線通信方式のリモコン装置によって、所望の機能を手元で入力操作することができる。これら何れの入力方式においても、携帯型情報機器とは別に用意されたボタンや移動検知機能を備えた専用装置を用いて、手や指等でそれらを操作する必要があった。
【０００３】
一方、スマートフォンやタブレット端末などの携帯型情報機器においては、その機器に備えられた小型のボタン群や表示装置と一体となったタッチパネル等を指などで操作して入力を行っている。これらは携帯端末向けに小さな領域でもストレス無く操作できるように、操作入力予想機能等を用いて少ないボタン数や操作数で所望の入力ができるように工夫されている。しかし、何れの携帯型情報機器においても、その入力操作には少なくとも片方の手が必要である。携帯型情報機器は通常、手で保持する場合が多いので、保持する手と操作する手の両方が塞がり、他の物を持ったままや他の作業をしながら操作するのが難しい問題がある。また、タブレット端末など片手で安定して持つのが難しいサイズものは、一旦何処かに置かないと操作できないという問題が生じる。
今後、携帯型情報機器の利便性を更に向上させるためには、入力方法の工夫が必要である。
【０００４】
本発明に係る３次元空間を利用した入力装置は、このような背景のもとに発明され、先に開示した視差センサＬＳＩにより廉価に実現できる３次元距離センサを応用することで、携帯型情報機器の入力操作を容易にし従来の問題を解決する。
【０００５】
パソコン等の入力装置として、カメラで撮像した画像データを用いる方法が提案されている（例えば、特許文献１〜５参照。）。それらは、カメラで撮像された画像から顔内の眼や瞳、虹彩、口などをパターンマッチング手法等によって検知し、その２次元的位置情報あるいは、その形状の変化情報を、表示装置内の２次元指示位置情報や何らかの操作情報として用いることを共通の特徴としている。これらの手法は、２次元のカメラ画像を用いていることと、パターンマッチング手法等で対象物の位置や形状の変化を検知しているところが本発明とは異なり、様々な環境で安定に検知動作させるためには、様々な画像調整処理やパターンマッチング処理を大量に行う必要があり、装置コストや処理時間が大きくなる問題がある。また、対象物との距離情報が全く用いられないところが本発明とは異なる。
【０００６】
また、携帯端末に内蔵された多数の加速度センサを用いて、その装置を傾けることで表示装置内のカーソル等を移動させる方法が提案されている（例えば、特許文献６参照。）。しかし、一般的に用いられる加速度センサは角度の変化に対する検知感度が低く、装置を傾けるだけでの静的な角度精度が十分に得られない問題がある。そこで、一般に、傾きの大きさに比例するその方向への力という表現でカーソル等を移動させる方法をとる。その方法では、所望の所に精度良くカーソルを静止させることが難しい問題がある。また、仮にコストを犠牲にして加速度センサの感度を十分に高くできたとしても、傾き角度を検知する重力加速度と装置自体にかかるその他の加速度を原理的に分離できない問題があり、移動している場合や、体勢が変化する場合など、生活上頻繁に遭遇する状況での利用が難しくなる問題が生じる。
【０００７】
その他、ステレオ画像により３次元位置を検知し、検知した手で指し示した方向の画像を出力する装置が提案（特許文献７）されているが、本発明とは装置構成要件が異なる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００６−５９１４７号公報
【特許文献２】特開２００６−３０９２９１号公報
【特許文献３】特開２００７−１０２４１５号公報
【特許文献４】特開２００４−３６２５６９号公報
【特許文献５】特開平９−３０５７４３号公報
【特許文献６】特表２００７−５０９４４８号公報
【特許文献７】特開２００３−１４１５１０号公報
【特許文献８】特開２００５−２６５４５７号公報
【特許文献９】特開２００９−２３６６６１号公報
【特許文献１０】特開２０１０−１９７２２７号公報
【非特許文献】
【０００９】
【非特許文献１】T. Yoshida and Y. Arima, "Binobjective monocular optical module for single-chip stereo vision sensor LSI," IEICE Electronics Express, Vol. 3, No. 17, pp. 390-396, Sep. 10, 2006.
【非特許文献２】Masatomo Kawano, Norihito Kawaguchi, Takashi Yoshida, and Yutaka Arima, "Three-Dimensional Binocular Range Sensor LSI with Enhanced Correlation Signal," Japanese Journal of Applied Physics, Vol. 49, No. 4D, pp. 04DE05-1-6, Published April 20, 2010.
【非特許文献３】Norihito Kawaguchi, Masatomo Kawano, and Yutaka Arima, "Three-Dimensional Binocular Range Sensor Large Scale Integration with a 410μs/Frame Output Time High-Speed Data Output Method," Japanese Journal of Applied Physics, Vol. 49, No. 4D, pp. 04DE06-1-4, Published April 20, 2010.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
スマートフォンなどの携帯型情報機器に備えられた入力装置は、表示装置の画面上に表示された多数のボタンやタッチパネル等であり、それらは指などで操作する必要がある。通常、携帯機器を保持するために片方の手が用いられるので、その機器を操作するのに、操作する手と合わせて両方の手が必要であった。そのため、他の物を持ったり他の作業をしたりしながらの操作が難しく携帯型装置としての利便性が損なわれる問題がある。そこで、手を使わずに簡単な方法で入力操作できる装置の開発が望まれている。
【００１１】
また、タブレット端末など片手で安定に保持するのが難しいサイズの携帯機器に対しては、両手で保持すると入力操作ができなくなるので、机や膝などの上にその機器を置いて操作することになる。この制約は利用環境や使用機会を大きく損なうことになり、その機器の利用範囲を狭くしている。そこで、両手で保持しながらでも容易に操作ができる入力装置の開発が望まれている。
【００１２】
本発明は、携帯型情報機器を両手で持った状態でも、あるいは、片方の手で機器を持ち且つ他方の手が塞がって使えない状態でも、簡単な動作で入力操作ができる携帯型情報機器用入力装置を提供することを目的とする。
【課題を解決するための手段】
【００１３】
前記課題を解決するため、本発明は、携帯型情報機器の利用環境を考慮し、手の他にその機器周辺に必ず存在する物体を利用して入力する手法を提案する。
本発明の第１の構成は、３次元空間を利用した携帯型情報機器用入力装置であって、３次元距離センサと携帯型情報機器の表示装置を一体とし、当該３次元距離センサで検知された対象物の３次元位置情報を基に、前記表示装置内の２次元位置情報と任意の操作の実行タイミングを決定することを特徴とする携帯型情報機器用入力装置である。
【００１４】
この第１の構成においては、携帯型情報機器と一体化した３次元距離センサによって対象物の３次元位置を検知し、そのセンサから見た縦横方向の２次元位置情報をもとに表示装置内のカーソル等の２次元指示位置を決定すると共に、距離方向の情報をもとにボタン機能に相当する任意の機能の実行タイミングを決定する。具体的には、携帯型情報機器を保持している手でその機器を少し傾けたり移動させたりすることにより、検知している対象物を相対的に移動させることができ、高い精度（感度）で位置を静的に設定できる。ここで、「２次元位置情報」とは、一般的な２次元の座標データ等で表される位置情報をいう。
【００１５】
本発明の第２の構成は、何らかの操作の実行タイミングを決定するスイッチ機能を、前記表示装置内もしくはその携帯型情報機器に設置したことを特徴とする第１の構成の携帯型情報機器用入力装置である。
この第２の構成においては、携帯型情報機器を持っている手の指で実際のスイッチまたは表示装置内に表示されているスイッチ画面を押すことにより、各種機能のスイッチ操作を行うことが可能となる。
【００１６】
本発明の第３の構成は、前記３次元距離センサで検知される対象物として、前記表示装置付近に存在している人の顔や鼻、顎、手、指など、人体もしくはそれに付随した物体の一部の３次元位置情報を用い、かつ、それらの３次元距離センサから見た横および縦方向の２次元位置情報を前記表示装置内の２次元指示位置情報として用い、また、その距離方向の位置情報を任意の操作の実行タイミングを決定する情報として用いることを特徴とする第１または第２の構成の携帯型情報機器用入力装置である。
この第３の構成においては、対象物として、その機器の表示画面を見ている人の頭や顔、鼻、顎などの人体の一部を利用することにより、特別な器具を用いることなく、また手や指で表示画面をなぞる等の操作をすることなく、画面をスクロールしたり、頁をめくる等の各種の入力操作を行うことができる。ここで、「２次元指示位置情報」とは、カーソル等の、画像の位置を指示する手段の、２次元座標データで表される位置情報をいう。また、「距離方向の位置情報」とは、３次元距離センサで検知した距離（奥行き）の座標データで表される位置情報をいう。
【００１７】
本発明の第４の構成は、一体となった前記３次元距離センサと前記表示装置を傾けることによって、前記３次元距離センサで検知している人の顔や鼻、顎など、人体の一部の３次元位置を相対的に変化させ、前記表示装置内の２次元指示位置情報および任意の操作の実行タイミングを決定する情報を操作することを特徴とする第３の構成の携帯型情報機器用入力装置である。
この第４の構成においては、人体の一部を動かすのではなく、表示装置を上下、左右に傾けたり、旋回させることによっても、３次元距離センサからは相対的に人体の一部が移動したと感知するため、第３の構成と同様の入力操作を行うことができる。
【００１８】
本発明の第５の構成は、前記３次元距離センサで検知される対象物のうち、その距離が最も近い対象物の３次元位置情報のみを用いて前記表示装置内の２次元位置情報と任意の操作の実行タイミングを決定することを特徴とする第３または第４の構成の携帯型情報機器用入力装置である。
この第５の構成においては、人の顔や鼻、顎などの複数のポイントのうち、３次元距離センサからの距離が最も近い対象物を複数のポイントの座標により割り出し、その点の動きを検出することにより入力操作を容易にすることができる。
【発明の効果】
【００１９】
本発明によれば、スマートフォン等の片手で保持できる携帯型情報機器に関しては、その保持した片方の手だけで入力操作が可能になり、他のものを持ったり他の作業をしたりしながらの操作が可能となる。また、タブレット端末等両手で保持する必要がある機器に関しては、両手で保持したままで入力操作が可能になり、様々な状況での利用ができるようになる。これらのことから、携帯型情報機器の利用が更に容易になり、それぞれの利用分野を拡大できる効果がある。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施の形態に係る携帯型情報機器の正面図である。
【図２】本発明の実施の形態に係る携帯型情報機器において、機能ボタンをスイッチで実現した例を示す正面図である。
【図３】本発明の実施の形態に係る携帯型情報機器において、機能ボタンを表示装置内に表示されたスイッチアイコンで実現した例を示す正面図である。
【図４】本発明の実施の形態に係る携帯型情報機器を両手で持った状態を示す正面図である。
【図５】本発明の実施の形態に係る携帯型情報機器を両手で持ち、顔に近づけた状態を示す斜視図である。
【図６】本発明の実施の形態に係る携帯型情報機器の回路構成を示すブロック図である。
【図７】本発明の実施の形態に係る携帯型情報機器による処理の例を示すフローチャートである。
【図８】二眼視差による距離検出の原理を示す図である。
【発明を実施するための形態】
【００２１】
以下、本発明の実施の形態を、図面を参照しながら説明する。
【００２２】
本発明に係る携帯型情報機器の構成例を図１に示す。携帯型情報機器１において、それに搭載された表示装置２と３次元距離センサ３を一体とした装置構成を特徴とする。３次元距離センサ３は表示装置２を見る人の顔等がその視野内に入る向きに設置されている。もしくは、そのように固定することができる。３次元距離センサ３は、２つの撮像素子（イメージセンサ）を備えた視差センサを用いて３次元位置情報を検知し出力するので、二つの異なった位置からのイメージ取得が必要であり、図１に示すようなステレオ視用レンズ孔４を二つ備えている。
【００２３】
図８は、２つの撮像素子による距離検出の原理を説明するための図である。図８（ａ）に示すように、右眼に対応する撮像素子と左眼に対応する撮像素子を一定の距離離して設置して撮像する。ここで、左眼に対応する撮像素子で撮像される画像（以下、「左眼画像」という。）を｛ａ(L)i,j｜ｉ＝１，２，…，ｎ， ｊ＝１，２，…，ｍ｝と記す。右眼に対応する撮像素子で撮像される画像（以下、「右眼画像」という。）を｛ａ(R)i,j｜ｉ＝１，２，…，ｎ， ｊ＝１，２，…，ｍ｝と記す。
【００２４】
同じ対象物に対して、左右の撮像素子により撮像された対象物の各々の位置が、撮像素子から対象物までの距離に応じてずれることになる。従って、今、撮像された左眼画像と右眼画像の水平方向の相関のみを考える場合、すべての（ａ(L)i,k，ａ(R)j,k）の組の間で相関をとれば、最も大きな相関がある組により表される座標により、各々の対象物の距離が検知できる。
【００２５】
図８（ａ）において、Ａ，Ｂ，Ｃの三つの○が対象物を示している。これらの対象物を左右の撮像素子で撮像して左眼画像と右眼画像の相関マトリックスを作った場合、図８（ｂ）のようになる。図８（ｂ）では、左眼画像の画素１〜ｎの線と右眼画像の画素１〜ｎの線との交点の位置において相関機能があるとしている。図８（ａ）の対象物Ａ，Ｂ，Ｃに対して図８（ｂ）に示したＡ，Ｂ，Ｃの三つの○の位置で大きな相関が検出される。従って、相関マトリックス上で相関の大きい座標を検出し、この座標を図８（ａ）の斜交座標に座標変換すれば、対象物までの距離を検出することが可能である。なお、図８（ａ）に示した斜交座標は、左右の撮像素子の位置とそれらの相対角度によって決定することができる。従って、相関マトリックスからこの斜交座標への座標変換は、予め用意した換算表を参照することによって容易にできる。
【００２６】
上述したステレオ法による距離検出においては、撮像された左右二つの画像の視差画像演算処理には、一般的には大規模な計算が必要とされる。本実施の形態では、３次元距離センサ３は、先に開示した視差センサＬＳＩ（特許文献８，９参照）を用いることによって、高速かつコンパクトで廉価に実現することができる。
【００２７】
すなわち、前記の視差センサＬＳＩは、撮像対象を撮像し、アナログ電圧信号である画素信号として第１画像を出力する第１の撮像素子と、前記第１の撮像素子とは異なる角度から前記撮像対象を撮像し、アナログ電圧信号である画素信号として第２画像を出力する第２の撮像素子と、前記第１及び第２の撮像素子から出力される画素信号の各々を、各画素信号の電圧値に比例する長さのパルス幅を有するパルス幅画素信号に変換する複数の電圧・パルス幅変換回路と、すべての前記各電圧・パルス幅変換回路が同時並列的に画素信号をパルス幅画素信号に変換するようにタイミング制御を行う同期制御回路と、前記第１画像の各パルス幅画素信号と前記第２画像の各パルス幅画素信号のそれぞれの組み合わせからなる２つのパルス幅画素信号に対して、両者の排他論理和をとった差分パルスの全パルス長を、その全パルス長に比例する電圧値又は電流値の信号に変換し、この信号を相関信号として出力する複数の相関検知回路と、を含む回路および素子を高集積化したものである。
【００２８】
この視差センサＬＳＩによれば、アナログ電圧信号である画素信号を、電圧・パルス幅変換回路によって一旦パルス幅信号の時間軸に写像し、相関検知回路において、電圧軸上の論理演算で時間軸上の差分演算を行うとともに、これを再びアナログ電圧信号又は電流値に戻して相関信号とすることにより、小規模な回路により高速に視差画像の演算処理を行うことが可能となる。従って、ステレオ画像の相関演算処置を高速に実行し視差画像を出力することが可能となる。また、回路面積と消費電力をともに従来よりも小さくすることが可能となる。
【００２９】
本発明においては、３次元距離センサ３から出力される検知物体の３次元位置情報は、携帯型情報機器内の演算装置もしくは、３次元距離センサ３近傍に設けられたＡＳＩＣ（Application Specific Integrated Circuit）等の情報処理装置において、表示装置２内に表示されるカーソル等の２次元指示位置情報と任意の機能スイッチの操作情報に加工処理される。例えば、３次元距離センサ３で検知された物体のうち最も近い対象物の３次元位置情報のみを用いて、その縦横方向の２次元位置情報をそのままカーソル等の位置情報とし、その距離情報を機能スイッチの操作情報に用いる方法がある。この場合は、３次元距離センサ３から１フレーム毎に出力される検知された複数の３次元位置データセットから、それぞれの距離データに注目して、その値が最も小さい対象物だけを抽出し、その２次元位置データを定数倍などして表示装置２内カーソルＣの位置データに用いる。また、フレーム間における最も近い距離データの変化量を用いて、例えば、その変化量が一定値より大きい場合に機能スイッチ操作を実行する信号を出力する処理を実行すれば良い。
【００３０】
その他に、最も近い距離の物体の位置から一定の範囲内の空間で検知された物体の３次元データの平均値を同様に用いる方法等も考えられる。何れの処理方法においても、比較的簡単で少ない処理数でそれらの情報加工処理が実行できるので、本体の演算装置もしくは専用の処理装置に大きな負荷やコストがかからない特徴がある。
【００３１】
図２に示すように、機能ボタン５を機器自体に設けるか、図３に示すように、表示装置２内にそのタッチパネル機能を利用してボタン機能６を表示したりすることで、３次元物体の相対的距離を変化させずにスイッチ操作する方法もある。これによって敏速なスイッチ操作が可能となる。
【００３２】
図４および図５は、携帯型情報機器１を両手で保持して、それを傾ける等の操作することで、表示装置２内カーソルＣの移動等の入力操作を行う状況の例を示している。
【００３３】
以下、図６および図７を用いて、本発明の実施の形態に係る携帯型情報機器による処理の例を説明する。
【００３４】
図６は、本発明の実施の形態に係る携帯型情報機器（以下、単に「情報機器」と言うことがある。）１の回路構成を示すものであり、メモリ１１０と、本例では同一チップ１２０上に搭載されたメモリコントローラ１２１、ＣＰＵ１２２、インターフェース１２３と、ＲＦ（Radio Frequency）回路１６１とアンテナ１６２からなる通信部１６０と、オーディオ回路１７１とスピーカ１７２とマイクロホン１７３からなるオーディオ部１７０と、ディスプレイコントローラ１３１とその他の入力コントローラ１３２からなる入力／出力（Ｉ／Ｏ）サブシステム１３０と、表示装置を構成するタッチパネル１４０と、その他の入力装置１５０と、３次元距離センサ１８１と２次元位置演算部１８２からなる空間ポインティング装置１８０とを備えている。
【００３５】
メモリ１１０は、高速ランダムアクセスメモリ、その他のメモリ装置からなり、ＯＳ（Operating System）や各種のアプリケーションが格納されている。
情報機器１の他のコンポーネント、例えば、ＣＰＵ１２２及びインターフェース１２３によるメモリ１１０へのアクセスは、メモリコントローラ１２１によって制御することができる。
インターフェース１２３は、情報機器１の入力及び出力周辺機器をＣＰＵ１２２及びメモリ１１０に結合する。
【００３６】
ＲＦ回路１６１は、ＲＦ信号を受信し送信する。ＲＦ回路１６１は、電磁波信号を用いて通信ネットワークや他の通信装置と通信する。ＲＦ回路１６１は、ネットワーク、例えばインターネットや、携帯電話網、ワイヤレスローカルエリアネットワーク（ＬＡＮ）等のシステムとワイヤレス通信により通信することができる。
オーディオ回路１７１、スピーカ１７２及びマイクロホン１７３は、ユーザと情報機器１との間のオーディオインターフェースを構成する。
【００３７】
Ｉ／Ｏサブシステム１３０は、情報機器１の入力／出力周辺機器、例えば、タッチパネル１４０及びその他の入力装置１５０をインターフェース１２３に結合する。Ｉ／Ｏサブシステム１３０は、その他の入力装置１５０のためのディスプレイコントローラ１３１及び１つ以上のその他の入力コントローラ１３２を含むことができる。その他の入力装置１５０は、物理的なボタン（例えば、プッシュボタン、ロッカーボタン等）、ダイヤル、スライダースイッチ、ジョイスティック、クリックホイール等を含むことができる。
タッチパネル１４０は、バーチャル又はソフトボタン及び１つ以上のソフトキーボードを実施するのに使用される。
【００３８】
本発明の特徴である空間ポインティング装置１８０は、３次元距離センサ１８１と２次元位置演算部１８２を備えており、例えば、上述した特許文献８，９に開示した視差センサＬＳＩによって３次元距離センサ機能を実現することができるが、それに限らず、他の方式による３次元距離センサと２次元位置演算部を用いることもできる。この空間ポインティング装置１８０から出力された、特定の対象物の２次元座標はディスプレイコントローラ１３１に入力され、２次元座標の動きにより、タッチパネル１４０上において指等で指示される動きと同様の操作情報が、インターフェース１２３に伝達される。なお、本実施の形態においては、空間ポインティング装置１８０は、情報機器１と一体に組み込むほか、情報機器１のフレームに取り付け、情報機器１のフレームに設けられているＵＳＢポート等のコネクタ（図示せず）に接続して、外付けの機器として一体化することもできる。その場合は、空間ポインティング装置１８０は、その他の入力装置１５０として、その他の入力コントローラ１３２に接続することもできる。
【００３９】
具体的な操作情報の処理手順を図７に示す。
まず、例えばタッチパネル１４０上に表示される３次元距離センサをオンにすると、Ｓ１００に示すように、空間ポインティング装置１８０における３次元距離センサ１８１が作動し、左右のセンサから得られた物体の各点の、原点（左右のセンサの中点の位置）からの３次元座標を演算により求める。
【００４０】
ステップＳ１１０では、求められた各点の３次元の座標のうち、原点からの距離が最も近い点（操作点、例えば鼻の先端）の２次元位置をタッチパネル上にカーソルとして表示する。
ステップＳ１２０では、情報機器１を持った手を傾斜したり揺動したりするか、情報機器１を手で固定した状態で操作点を動かしたりすることにより、タッチパネル上でカーソルを移動させる。
ステップＳ１３０では、指示期間の区切りを検知するために、機能ボタン５、６を指で押すか、または、空間ポインティング装置１８０で検知された距離データの変化による機能スイッチ操作によるか、もしくは、カーソルＣの位置が一定期間大きく変化しないことを検知して、それをトリガーとするなど様々な方法が考えられる。
【００４１】
ステップＳ１４０において、カーソルが移動した２次元軌跡のパターンに応じて、予め設定された動作を行うように、ディスプレイコントローラ１３１に出力を出す。例えば、カーソルが移動した２次元軌跡が縦方向であれば、タッチパネル１４０上に表示された画面を上下にスクロールし、２次元軌跡が横方向であれば、画面を左右にスクロールするか頁めくりし、円形であれば、時計回りか反時計回りかによって画面を拡大、縮小するなどの画面操作を行う。
ステップＳ１５０では、次の操作ボタンが押されたら、ステップＳ１２０に戻って処理を続行する。そうでなければ処理を終了する。
【００４２】
以上のようにして、本実施の形態によれば、スマートフォン等の片手で保持できる携帯型情報機器に関しては、その保持した片方の手だけで入力操作が可能になり、他のものを持ったり他の作業をしたりしながらの操作が可能となる。また、タブレット端末等両手で保持する必要がある機器に関しては、両手で保持したままで入力操作が可能になり、様々な状況での利用ができるようになる。これらのことから、携帯型情報機器の利用が更に容易になり、それぞれの利用分野を拡大できる効果がある。
【産業上の利用可能性】
【００４３】
本発明は、３次元空間に一般に存在しうる物体の相対的な３次元位置情報を用いたユーザー・インターフェース技術であって、スマートフォンやタブレット端末などの携帯型情報機器用の入力装置等に利用できる。
【符号の説明】
【００４４】
１ 携帯型情報機器
２ 表示装置
３ ３次元距離センサ
４ ステレオ視用レンズ孔
５ 機能ボタン（スイッチ類）
６ 機能ボタン（表示装置上で表示）
７ 携帯情報機器を保持する手
８ 表示装置を見ている人の頭
９ 表示装置を見ている人の鼻
１０ 表示装置を見ている人の顎
１１０ メモリ
１２０ チップ
１２１ メモリコントローラ
１２２ ＣＰＵ
１２３ インターフェース
１３０ Ｉ／Ｏサブシステム
１３１ ディスプレイコントローラ
１３２ その他の入力コントローラ
１４０ タッチパネル
１５０ その他の入力装置
１６０ 通信部
１６１ ＲＦ回路
１６２ アンテナ
１７０ オーディオ部
１７１ オーディオ回路
１７２ スピーカ
１７３ マイクロホン
１８０ 空間ポインティング装置
１８１ ３次元距離センサ
１８２ ２次元位置演算部
【特許請求の範囲】
【請求項１】
３次元空間を利用した携帯型情報機器用入力装置であって、３次元距離センサと携帯型情報機器の表示装置を一体とし、当該３次元距離センサで検知された対象物の３次元位置情報を基に、前記表示装置内の２次元位置情報と任意の操作の実行タイミングを決定することを特徴とする携帯型情報機器用入力装置。
【請求項２】
何らかの操作の実行タイミングを決定するスイッチ機能を、前記表示装置内もしくはその携帯型情報機器に設置したことを特徴とする請求項１記載の携帯型情報機器用入力装置。
【請求項３】
前記３次元距離センサで検知される対象物として、前記表示装置付近に存在している人の顔や鼻、顎、手、指など、人体もしくはそれに付随した物体の一部の３次元位置情報を用い、かつ、それらの３次元距離センサから見た横および縦方向の２次元位置情報を前記表示装置内の２次元指示位置情報として用い、また、その距離方向の位置情報を任意の操作の実行タイミングを決定する情報として用いることを特徴とする請求項１または２に記載の携帯型情報機器用入力装置。
【請求項４】
一体となった前記３次元距離センサと前記表示装置を傾けることによって、前記３次元距離センサで検知している人の顔や鼻、顎など、人体の一部の３次元位置を相対的に変化させ、前記表示装置内の２次元指示位置情報および任意の操作の実行タイミングを決定する情報を操作することを特徴とする請求項３記載の携帯型情報機器用入力装置。
【請求項５】
前記３次元距離センサで検知される対象物のうち、その距離が最も近い対象物の３次元位置情報のみを用いて前記表示装置内の２次元位置情報と任意の操作の実行タイミングを決定することを特徴とする請求項３または４に記載の携帯型情報機器用入力装置。
【請求項１】
３次元空間を利用した携帯型情報機器用入力装置であって、３次元距離センサと携帯型情報機器の表示装置を一体とし、当該３次元距離センサで検知された対象物の３次元位置情報を基に、前記表示装置内の２次元位置情報と任意の操作の実行タイミングを決定することを特徴とする携帯型情報機器用入力装置。
【請求項２】
何らかの操作の実行タイミングを決定するスイッチ機能を、前記表示装置内もしくはその携帯型情報機器に設置したことを特徴とする請求項１記載の携帯型情報機器用入力装置。
【請求項３】
前記３次元距離センサで検知される対象物として、前記表示装置付近に存在している人の顔や鼻、顎、手、指など、人体もしくはそれに付随した物体の一部の３次元位置情報を用い、かつ、それらの３次元距離センサから見た横および縦方向の２次元位置情報を前記表示装置内の２次元指示位置情報として用い、また、その距離方向の位置情報を任意の操作の実行タイミングを決定する情報として用いることを特徴とする請求項１または２に記載の携帯型情報機器用入力装置。
【請求項４】
一体となった前記３次元距離センサと前記表示装置を傾けることによって、前記３次元距離センサで検知している人の顔や鼻、顎など、人体の一部の３次元位置を相対的に変化させ、前記表示装置内の２次元指示位置情報および任意の操作の実行タイミングを決定する情報を操作することを特徴とする請求項３記載の携帯型情報機器用入力装置。
【請求項５】
前記３次元距離センサで検知される対象物のうち、その距離が最も近い対象物の３次元位置情報のみを用いて前記表示装置内の２次元位置情報と任意の操作の実行タイミングを決定することを特徴とする請求項３または４に記載の携帯型情報機器用入力装置。
【図６】
【図７】
【図８】
【図１】
【図２】
【図３】
【図４】
【図５】
【図７】
【図８】
【図１】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１２−１５５４８０（Ｐ２０１２−１５５４８０Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１３２８９（Ｐ２０１１−１３２８９）
【出願日】平成２３年１月２５日（２０１１．１．２５）
【出願人】（５０４１７４１３５）国立大学法人九州工業大学 (489)
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２５日（２０１１．１．２５）
【出願人】（５０４１７４１３５）国立大学法人九州工業大学 (489)
[ Back to top ]