操作入力装置、プログラム
【課題】手と前腕とに相当する対象物の動作を検出し、頁めくりを行う際の人の自然な動作に近い動きを認識できる操作入力装置を提供する。
【解決手段】距離画像生成手段１０は、手に相当する第１要素と前腕に相当する第２要素とを含む対象物について距離画像の動画像を生成する。要素抽出手段２は、距離画像から第１要素において手のひらに相当する対象面と第２要素に対応する領域とを抽出する。動作抽出手段３は、要素抽出手段２が抽出した対象面と第２要素との位置および向きの変化を抽出する。動作抽出手段３は、対象面の法線ベクトルの向きが第２要素の主軸の周りで回転する角度と、第２要素の主軸に沿った方向ベクトルの向きが変化する角度とを検出し、角度の検出が開始されてから規定の判定時間内において検出した角度が規定の検出範囲であるときに頁めくりの動作が行われたと判断する。
【解決手段】距離画像生成手段１０は、手に相当する第１要素と前腕に相当する第２要素とを含む対象物について距離画像の動画像を生成する。要素抽出手段２は、距離画像から第１要素において手のひらに相当する対象面と第２要素に対応する領域とを抽出する。動作抽出手段３は、要素抽出手段２が抽出した対象面と第２要素との位置および向きの変化を抽出する。動作抽出手段３は、対象面の法線ベクトルの向きが第２要素の主軸の周りで回転する角度と、第２要素の主軸に沿った方向ベクトルの向きが変化する角度とを検出し、角度の検出が開始されてから規定の判定時間内において検出した角度が規定の検出範囲であるときに頁めくりの動作が行われたと判断する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、対象物までの距離を画素値に持つ距離画像を用いることにより対象物が規定の動作を行っているか否かを判断し、その判断結果に応じて制御対象の対応制御を行う操作入力装置、およびこの操作入力装置を実現するためのプログラムに関するものである。
【背景技術】
【０００２】
従来から、対象物までの距離を画素値に持つ距離画像を用いて対象物の動作を検出し、対象物の動作に応じて制御対象の対応制御を行うようにした入力装置が提案されている（たとえば、特許文献１参照）。特許文献１に記載された技術は、距離画像の中で距離の極小点を求め、極小点の位置変化に応じて制御対象に指示を与えている。すなわち、特許文献１に記載された技術は、距離の極小点を前方に差し出した指先の位置とみなし、指先の位置を追跡することによって、リモコン装置などを持つことなく、機器の操作を可能にしている。
【０００３】
また、近年では、タッチパネルを用いることにより、２次元平面上での指先やペン先の動きを検出し、検出した動きに応じて機器の操作を行う入力装置も実用化されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３５４４７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、タッチパネルを用いる入力装置は、タッチパネルに触れる必要があり、たとえば、床上に置かれたテレビジョン受像機に対する操作を行うために用いようとすれば、テレビジョン受像機に触れる位置まで移動することになる。したがって、リモコン装置のように制御対象から離れた場所から制御の指示を与えることはできない。
【０００６】
一方、特許文献１に記載された技術を採用すれば、制御対象から離れた場所から制御の指示を与えることができる。しかしながら、特許文献１に記載された技術は、距離の極小点を指先の位置とみなし、かつ極小点の位置の変化を指先の位置の変化とみなしているから、識別可能な動きの種類は比較的少なくなる。
【０００７】
最近では、電子ブックやウェブ版の新聞が提供されており、この種のコンテンツに対応するために頁めくりの操作は必須になりつつある。タッチパネルで頁めくりの操作を行う場合は、２次元平面上で指先などを移動させるだけであり、また、特許文献１に記載の技術を採用したとしてもタッチパネルと同様の動きになる。つまり、人の自然な動きを画面上での頁めくりに対応付けることができない。
【０００８】
本発明は、手と前腕とに相当する対象物の動作を検出することによって、本や新聞の頁めくりを行う際の人の自然な動作に近い動きを認識できるようにした操作入力装置、およびこの操作入力装置を実現するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る操作入力装置は、上述の目的を達成するために、手に相当する第１要素と前腕に相当する第２要素とについて距離画像の動画像を生成する距離画像生成手段と、第２要素の主軸の周りにおける第１要素の角度の変化を検出する角度検出部と、角度検出部が検出した角度が規定の検出範囲であるときに規定の動作が行われたと判断する動作判定部とを備えることを特徴とする。
【００１０】
本発明に係る操作入力装置は、少なくとも手に相当する第１要素と前腕に相当する第２要素とを含む対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、距離画像から第１要素に対応する領域と第２要素に対応する領域とを抽出するとともに第１要素において手のひらに相当する対象面を抽出する要素抽出手段と、要素抽出手段が抽出した第１要素と第２要素との位置および向きの変化を距離画像の動画像から抽出する動作抽出手段と、動作抽出手段が第１要素と第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、動作抽出手段は、距離画像により形成される３次元の仮想空間において、前記対象面の法線ベクトルの向きが第２要素の主軸の周りで回転する第１事象と、第２要素の主軸に沿った方向ベクトルの向きが変化する第２事象とを検出する事象検出部と、事象検出部が検出した第１事象における回転する角度および第２事象における変化する角度を検出する角度検出部と、事象検出部が第１事象および第２事象の検出を開始してから規定の判定時間内において角度検出部が検出した角度が規定の検出範囲であるときに前記規定の動作が行われたと判断する動作判定部とを備えることを特徴とする。
【００１１】
この操作入力装置において、事象検出部は、第１要素と第２要素との移動の向きを識別し、動作判定部は、事象検出部が識別した移動の向きに応じて動作の種類を識別することが好ましい。
【００１２】
この操作入力装置において、動作判定部は、角度検出部が検出した角度に対する検出範囲を設定する設定部を備えることが好ましい。
【００１３】
この操作入力装置において、設定部は、検出範囲を設定する設定モードと、検出範囲を使用して前記規定の動作を判断する使用モードとの２つの動作モードを有し、設定モードでは、対象物に前記規定の動作を複数回行わせたときに角度検出部が検出した角度に基づいて検出範囲を設定することが好ましい。
【００１４】
この操作入力装置において、要素抽出手段は、距離画像を用いて対象物に関して第１要素および第２要素を抽出した後、第１要素の主軸に沿う方向において当該主軸に直交する面内での最大幅を計測し、計測した最大幅の変化が規定条件を満たす位置を第１要素と第２要素との境界とみなすことが好ましい。
【００１５】
この操作入力装置において、要素抽出手段は、距離画像を用いて対象物に関して第１要素および第２要素を抽出した後、第１要素の主軸に沿う方向において当該主軸に直交する面内での曲率を計測し、計測した曲率の変化が規定条件を満たす位置を第１要素と第２要素との境界とみなすことが好ましい。
【００１６】
この操作入力装置において、要素抽出手段は、距離画像を用いて対象物に関して第１要素および第２要素を抽出した後、第１要素の主軸に沿う方向において第１要素と第２要素とを合計した長さ寸法に対して規定の比率で区分される位置を第１要素と第２要素との境界とみなすことが好ましい。
【００１７】
本発明に係るプログラムは、コンピュータを、手に相当する第１要素と前腕に相当する第２要素とについて距離画像の動画像を距離画像生成手段から取得するとともに、第１要素と第２要素との規定の動作を検出する演算処理装置として機能させるためのプログラムであって、コンピュータを、第２要素の主軸の周りにおける第１要素の角度の変化を検出する角度検出部と、角度検出部が検出した角度が規定の検出範囲であるときに規定の動作が行われたと判断する動作判定部とを備える演算処理装置として機能させるものである。
【００１８】
また、本発明に係るプログラムは、コンピュータを、少なくとも手に相当する第１要素と前腕に相当する第２要素とを含む対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段から距離画像を取得するとともに、第１要素と第２要素との規定の動作を検出したときに制御対象への対応制御を行う演算処理装置として機能させるためのプログラムであって、コンピュータを、距離画像から第１要素に対応する領域と第２要素に対応する領域とを抽出するとともに第１要素において手のひらに相当する対象面を抽出する要素抽出手段と、要素抽出手段が抽出した第１要素と第２要素との位置および向きの変化を距離画像の動画像から抽出する動作抽出手段と、動作抽出手段が第１要素と第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、動作抽出手段が、距離画像により形成される３次元の仮想空間において、前記対象面の法線ベクトルの向きが第２要素の主軸の周りで回転する第１事象と、第２要素の主軸に沿った方向ベクトルの向きが変化する第２事象とを検出する事象検出部と、事象検出部が検出した第１事象における回転する角度および第２事象における変化する角度を検出する角度検出部と、事象検出部が第１事象および第２事象の検出を開始してから規定の判定時間内において角度検出部が検出した角度が規定の検出範囲であるときに前記規定の動作が行われたと判断する動作判定部とを備える演算処理装置として機能させるものである。
【発明の効果】
【００１９】
本発明の構成によれば、手と前腕とに相当する対象物の動作を個別に検出し、本や新聞の頁めくりを行う際の人の自然な動作に近い動きを認識することができるから、使用者は操作方法を覚えなくとも頁めくりの際の普通の動作をするだけで、制御対象に対応制御を行わせることができるという効果がある。
【図面の簡単な説明】
【００２０】
【図１】実施形態を示すブロック図である。
【図２】同上の動作説明図である。
【図３】同上の動作説明図である。
【発明を実施するための形態】
【００２１】
以下に説明する操作入力装置は、図１に示すように、距離画像の動画像を生成する距離画像生成手段１０と、距離画像生成手段１０から距離画像を取得するとともに対象物の規定の動作を検出したときに制御対象への対応制御を行う演算処理装置２０とを備える。演算処理装置２０は、ハードウェア要素としてのコンピュータを備え、適宜のプログラムをコンピュータで実行することにより以下に説明する機能を実現する。
【００２２】
本実施形態では、距離画像生成手段１０が認識対象とする対象物は、人体の手に相当する第１要素と、人体の前腕に相当する第２要素とを含んでいることを想定している。ただし、対象物は人型のロボットや人形であってもよく、第１要素が手として認識されかつ第２要素が前腕として認識される形状を有していれば、対象物が人体か否かは問わない。また、手や前腕は、露出していることが望ましいが、手にミトンが装着されている場合や、前腕が冬服の袖で覆われている場合でも、頁めくりの動きを認識することが可能である。したがって、屋内で使用する場合だけでなく、屋外であっても季節を問わずに頁めくりの動作を認識することが可能である。
【００２３】
距離画像生成手段１０は、実空間における対象物までの距離を計測するセンサ部１１と、センサ部１１が計測した対象物までの距離を画素値に持つ距離画像を生成する距離演算部１２とを備える。
【００２４】
センサ部１１は、アクティブ型の構成とパッシブ型の構成とのいずれでも採用可能である。本実施形態のセンサ部１１は、対象物が存在する空間に投光するとともに、空間に存在する物体からの反射光を受光し、投光から受光までの時間差に相当する情報を用いて物体までの距離を検出するアクティブ型の構成を備える。すなわち、センサ部１１は、飛行時間（ＴＯＦ＝Time Of Flight）法により対象物までの距離を計測する。
【００２５】
以下では、センサ部１１の一例として、発光源から空間に投光し、空間に存在する対象物からの反射光を撮像素子で受光するアクティブ型の構成を想定する。
【００２６】
発光源は、時間とともに強度が変化する強度変調光を投光し、対象物で反射され撮像素子で受光された強度変調光（反射光）と投光した強度変調光との位相差を、投光から受光までの時間差に相当する情報として用いる。変調光の変調波形は、正弦波が望ましいが、三角波、鋸歯状波、方形波などから選択することも可能である。また、変調光の周期は一定とする。
【００２７】
一方、撮像素子は、複数個の受光領域（画素）が２次元配列されたＣＣＤイメージセンサやＣＭＯＳイメージセンサのような周知の構成のものが用いられる。ただし、撮像素子は、センサ部１１に適する特別な構造を有するように設計されていてもよい。撮像素子の受光のタイミングは、発光源が投光する強度変調光の周期に同期させて設定され、たとえば、強度変調光の周期内において９０度ずつ異なる位相に相当するタイミングの受光量を個別に取り出す。強度変調光の強度変化の周波数は、実用上は数ＭＨｚ〜数十ＭＨｚに設定され、撮像素子が受光する受光量は、強度変調光の１周期分の反射光の光量では不十分である。したがって、撮像素子では複数周期分（たとえば、１００００周期分）の受光量に相当する電荷を蓄積した後、蓄積した電荷を前記位相の受光量に相当する電荷として出力する。
【００２８】
ところで、発光源が強度変調光を投光し撮像素子が反射光を受光する構成のセンサ部１１は、撮像素子の視野全体において対象物までの距離を一括して計測することができるから、比較的短い時間で１枚の距離画像に相当する情報が得られる。したがって、通常の濃淡画像やカラー画像と同様に、１秒間に３０フレーム以上を得ることが可能である。
【００２９】
センサ部１１では強度変調光の各位相に対応する複数種類（たとえば、４種類）の電荷量が得られ、これらの電荷量は、強度変調光の位相を示す信号とともに距離演算部１２に入力される。
【００３０】
いま、強度変調光が正弦波であって、センサ部１１からは９０度ずつ異なる４位相に対応する電荷量が得られるとする。各電荷量をＡ０，Ａ１，Ａ２，Ａ３とすると、投受光の位相差φ［ｒａｄ］は下式で表される。
φ＝ｔａｎ−１｛（Ａ０−Ａ２）／（Ａ１−Ａ３）｝
強度変調光の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差φを用いて、Δｔ＝φ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、物体までの距離は、ｃ・φ／４π・ｆと表される。すなわち、４種類の電荷量Ａ０，Ａ１，Ａ２，Ａ３により対象物までの距離を求めることができる。
【００３１】
距離演算部１２は、センサ部１１から得られた情報を用いて、各画素ごとに上述した計算を行うことにより、各画素の画素値として距離を対応付けた距離画像を生成する。ただし、得られた距離画像は、センサ部１１から対象物を見込む方向における距離であって、画素の位置が角度に対応している。画素の位置に対応する角度は既知であるから、距離演算部１２は、画素の位置と画素値である距離とを用いることにより、対象物の位置が実空間に対応する３次元の直交座標系で表されるように座標変換を行う。したがって、距離演算部１２からは、対象物の位置が直交座標系で表された距離画像の動画像が得られる。言い換えると、撮像素子の画素に距離を対応付けた距離画像を、直交座標系で表される３次元の仮想空間にマッピングした距離画像が得られる。なお、上述した距離画像生成手段１０の構成は周知であるから詳述しない。
【００３２】
距離画像生成手段１０は、距離画像の動画像を要素抽出手段２に与える。要素抽出手段２は、距離画像の視野内において手に相当する第１要素と前腕に相当する第２要素とを対象物として抽出する。言い換えると、少なくとも第１要素と第２要素とを含む対象物が距離画像に含まれていることが必要である。
【００３３】
要素抽出手段２は、距離画像から第１要素と第２要素とを抽出するために、距離画像における距離の分布を求めるとともに、距離画像から対象物の輪郭の抽出を行い、前腕から手までの範囲に相当する領域の画素を抽出する。すなわち、要素抽出手段２は、距離の分布においてクラスタを形成する画素群であって、画素に連続性がある場合に当該画素群を対象物の一部であると認識する。ここに、距離画像において、隣接する各一対の画素の間の距離が規定した範囲内であるときに両画素は連続していると判断され、連続している画素からなる領域について形状および他の領域との接続関係を用いて対象物Ｏｂの一部と判断される。また、抽出された領域の包絡線が対象物Ｏｂの輪郭になる。
【００３４】
要素抽出手段２は、対象物の一部であると認識された画素群を、さらに別の判定基準を用いることにより、手に相当する第１要素と、前腕に相当する第２要素とに分類する。要素抽出手段２は、常時動作させることが可能であるが、センサ部１１の視野内に設定された規定の空間領域において物体が検出されるようになるまでは、要素抽出手段２を動作させないようにするのが望ましい。すなわち、演算処理装置２０の動作モードを２段階に切り替えるのが望ましい。
【００３５】
要素抽出手段２は、距離画像の１フレーム毎に第１要素と第２要素とを抽出する。さらに、要素抽出手段２は、第１要素２１（図２参照）について手のひらに相当する面領域である対象面を抽出し、この対象面の向きから手のひらの向きに相当する法線ベクトルＶ１１，Ｖ１２を決定する。この法線ベクトルＶ１１，Ｖ１２は、たとえば、手のひらとして抽出した対象面の重心を求め、この重心の近傍において小面積の面要素を複数設定し、各面要素の法線ベクトルを合成して得られる向きを法線ベクトルＶ１１，Ｖ１２の向きとして採用する。なお、法線ベクトルＶ１１，Ｖ１２は向きのみが必要であり、大きさは問わない。
【００３６】
また、要素抽出手段２は、第２要素２２（図２参照）について主軸Ａｘを求め、主軸Ａｘに沿った方向ベクトルＶ２１，Ｖ２２を決定する。第２要素２２の主軸Ａｘは、前腕として抽出した部位の画素の分布を用いて求める。方向ベクトルＶ２１，Ｖ２２は、法線ベクトルＶ１１，Ｖ１２と同様に、向きのみが必要であり、大きさは問わない。
【００３７】
要素抽出手段２が抽出した第１要素２１および第２要素２２と、第１要素２１の法線ベクトルＶ１１，Ｖ１２および第２要素２２の方向ベクトルＶ２１，Ｖ２２とは、動作抽出手段３に入力される。動作抽出手段３は、要素抽出手段２が抽出した第１要素２１と第２要素２２との位置および向きの変化を距離画像の動画像から抽出する。そのため、動作抽出手段３は、図１に示すように、事象検出部３１と角度検出部３２と動作判定部３３とを備える。
【００３８】
図２に示すように、事象検出部３１は、距離画像として形成されている３次元の仮想空間において、第１要素２１から求めた手のひらに相当する対象面の法線ベクトルＶ１１，Ｖ１２の向きが第２要素２２の主軸Ａｘの周りで回転する第１事象を検出する。また、事象検出部３１は、第２要素２２の主軸Ａｘに沿った方向ベクトルＶ２１，Ｖ２２の向きが変化する第２事象とを検出する。すなわち、事象検出部３１は、第１要素２１から得られる法線ベクトルＶ１１，Ｖ１２の向きと、第２要素２２から得られる方向ベクトルＶ２１，Ｖ２２の向きとに変化があるか否かを判断する。
【００３９】
なお、図２は、センサ部１１が人体よりも上方に配置されている場合を想定した例を示しているが、人体の正面にセンサ部１１を配置する使用形態では、対象物の表裏が逆になる。
【００４０】
事象検出部３１が、法線ベクトルＶ１１，Ｖ１２および方向ベクトルＶ２１，Ｖ２２について向きの変化が生じたと判断すると、角度検出部３２は、向きの変化分に相当する角度を検出する。すなわち、角度検出部３２は、第１事象における法線ベクトルＶ１１，Ｖ１２の向きの変化分である角度φと、第２事象における方向ベクトルＶ２１，Ｖ２２の向きの変化分である角度θとを検出する。角度φは、第２要素２２の主軸Ａｘの周りで回転した角度であり、角度θは、仮想空間において主軸Ａｘの向きが変化した角度である。
【００４１】
本実施形態は、対象物が頁めくりの動作に相当する動きを行っているか否かを判断することが目的であるから、事象検出部３１が検出する第１事象および第２事象は連動しているという条件が必要である。また、角度検出部３２が検出する角度は、規定の検出範囲内であるという条件も必要である。さらに、第１事象および第２事象の検出が開始されてから、角度が検出範囲内に達するまでの時間は、規定の判定時間内であるという条件も要求される。これらの３つの条件が満たされるか否かを判断するために、動作判定部３３が設けられている。動作判定部３３は、上述した３つの条件を判断し、すべての条件が満足されたときに、頁めくりに相当する規定の動作が行われたと判断する。
【００４２】
上述した処理によって、距離画像の動画像に基づいて頁めくりに相当する動作が行われたと判断されると、動作抽出手段３は、制御手段４に頁めくりに相当する動作が行われたことを通知する。この通知を受けて制御手段４は、制御対象５への対応制御を行う。たとえば、制御対象５がモニタ装置の画面に電子ブックやウェブ新聞の頁を表示する装置であるとすれば、当該装置への対応制御として頁の更新を指示する。
【００４３】
角度検出部３２は、角度が変化した向きも検出しており、図２に矢印で示す向きに角度が変化した場合には、頁を更新する向きを逆転させる。たとえば、図２に矢印で示す向きの角度変化に対して頁が増加する向きに頁を更新するとすれば、矢印とは逆向きの角度変化に対しては頁が減少する向きに頁を更新する。なお、縦書きの頁と横書きの頁とで、頁の増加と減少とを逆にすれば、電子ブックなどの頁めくりを書籍と同感覚で行うことが可能になる。
【００４４】
ところで、上述した例において、事象検出部３１は、第１要素２１から法線ベクトルＶ１１，Ｖ１２を抽出し、第２要素２２から方向ベクトルＶ２１，Ｖ２２を抽出し、さらに向きの変化の有無を判断している。この判断でも頁めくりの動作を検出することが可能であるが、第１要素２１および第２要素２２の移動の向きを識別する機能が事象検出部３１に付加されていることが望ましい。
【００４５】
この機能を実現するために、事象検出部３１は、方向ベクトルＶ２１，Ｖ２２の向きの変化を検出するだけではなく、仮想空間に規定した方向（たとえば、座標軸の方向）に対する方向ベクトルＶ２１，Ｖ２２の向きを表す角度を知ることが必要である。この角度を用いると、事象検出部３１は、仮想空間に対する対象物（第１要素２１および第２要素２２）の移動の向きを検出することが可能になる。また、動作判定部３３は、事象検出部３１が検出した対象物の移動の向きに応じて動作の種類を識別し、動作の種類に応じて制御対象４の対応制御を変更することが可能になる。
【００４６】
たとえば、事象検出部３１が対象物の左右方向の移動を検出すると動作判定部３３が左右の頁めくりを指示し、事象検出部３１において対象物の上下方向の移動を検出すると動作判定部３３が上下の頁めくりを指示するように動作の選択が可能になる。また、同様にして、左右や上下ではない頁めくりの動作が制御対象５に対する対応制御として必要であれば、動作判定部３３において、対象物の移動方向に応じて適宜の方向の頁めくりを指示することが可能である。
【００４７】
動作判定部３３が判断する条件のうち角度の検出範囲は、センサ部１１と利用者との位置関係によって変化する。すなわち、センサ部１１を設置する位置によって、規定の動作と判断するための角度は異なることが予想される。したがって、動作判定部３３は、角度検出部３２が検出した角度に対する検出範囲を設定する設定部（図示せず）を備えることが好ましい。
【００４８】
この設定部は、施工時に手作業で検出範囲を設定する構成を採用することが可能であるが、検出範囲の設定は自動化されていることが好ましい。検出範囲を自動的に設定する場合、設定部には、検出範囲を設定する設定モードと、検出範囲を使用して頁めくりの動作を判断する使用モードとの２つの動作モードが設けられる。
【００４９】
設定モードでは、利用者あるいは施工者に頁めくりの動作を複数回行わせ、このとき角度検出部３２が検出した角度を用いて検出範囲を設定する。すなわち、頁めくりの動作を実際に行ったときに角度検出部３２により検出される角度について、平均値と標準偏差とを用いて統計的に検出範囲を決定すればよい。また、設定部に学習機能を付与し、角度検出部３２が検出した角度を学習させることにより、検出範囲を決定してもよい。
【００５０】
ところで、上述した動作は、第１要素２１と第２要素２２とを厳密に分離しなくとも頁めくりの動作を検出することができる点で優れているが、第１要素２１と第２要素２２との境界を決めることができれば、動作の判断が容易になると考えられる。
【００５１】
そこで、要素抽出手段２に、第１要素２１と第２要素２２とを抽出した後に、第１要素２１と第２要素２２との境界を決める機能が付加されていることが好ましい。境界を決めるためには、たとえば、第１要素２１の主軸Ａｘに沿う方向において主軸Ａｘに直交する面内での最大幅Ｗ１，Ｗ２（図３参照）を計測し、計測した最大幅Ｗ１，Ｗ２の変化が規定条件を満たす位置を第１要素２１と第２要素２２との境界とみなす処理を行う。この場合の規定条件は、主軸Ａｘ（図２参照）に沿って対象物の先端側（指先側）から前記最大幅Ｗ１，Ｗ２を求め、最大幅Ｗ１，Ｗ２が極小になった後に最大幅Ｗ１，Ｗ２の変化率が所定値以下になることを条件とし、極小となった位置を境界２３と判断する。図３に示すように、第１要素２１の最大幅Ｗ２は、第２要素２２の最大幅Ｗ１よりも大きいから、この判定条件で境界２３を検出することが可能である。
【００５２】
また、主軸Ａｘに直交する面内で対象物の外形の曲率κ（図３参照）を求め、曲率κが規定条件を満たす位置を境界２３としてもよい。この場合の規定条件は、主軸Ａｘ（図２参照）に沿って対象物の先端側（指先側）から曲率κを求め、曲率κの変化率が極大になった後に曲率κの変化率が所定値以上になった後、曲率κの変化率が所定値以下になることを条件とし、曲率κの変化率が極大になった位置を境界２３と判断する。
【００５３】
上述した最大幅Ｗ１，Ｗ２や曲率κは距離画像に基づいて容易に検出することができるから、第１要素２１と第２要素２２との境界２３を容易に検出することが可能である。さらに、より簡易に境界２３を求めるには、主軸Ａｘに沿う方向において、第１要素２１と第２要素２２とを合計した長さ寸法に対して、規定の比率で区分される位置を第１要素２１と第２要素２２との境界２３とみなしてもよい。一般に、人体では種々の部位の比率が測定されているから、長さ寸法に対する比率によって境界２３を求めても、統計的に正しい結果を得ることができる。しかも、第１要素２１と第２要素２２との合計の長さ寸法がわかれば境界２３が求められるから、他の方法を用いる場合よりも計算量が少なくなる。
【符号の説明】
【００５４】
２ 要素抽出手段
３ 動作抽出手段
４ 制御手段
１０ 距離画像生成手段
２０ 演算処理装置
２１ 第１要素
２２ 第２要素
３１ 事象検出部
３２ 角度検出部
３３ 動作判定部
【技術分野】
【０００１】
本発明は、対象物までの距離を画素値に持つ距離画像を用いることにより対象物が規定の動作を行っているか否かを判断し、その判断結果に応じて制御対象の対応制御を行う操作入力装置、およびこの操作入力装置を実現するためのプログラムに関するものである。
【背景技術】
【０００２】
従来から、対象物までの距離を画素値に持つ距離画像を用いて対象物の動作を検出し、対象物の動作に応じて制御対象の対応制御を行うようにした入力装置が提案されている（たとえば、特許文献１参照）。特許文献１に記載された技術は、距離画像の中で距離の極小点を求め、極小点の位置変化に応じて制御対象に指示を与えている。すなわち、特許文献１に記載された技術は、距離の極小点を前方に差し出した指先の位置とみなし、指先の位置を追跡することによって、リモコン装置などを持つことなく、機器の操作を可能にしている。
【０００３】
また、近年では、タッチパネルを用いることにより、２次元平面上での指先やペン先の動きを検出し、検出した動きに応じて機器の操作を行う入力装置も実用化されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第３５４４７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、タッチパネルを用いる入力装置は、タッチパネルに触れる必要があり、たとえば、床上に置かれたテレビジョン受像機に対する操作を行うために用いようとすれば、テレビジョン受像機に触れる位置まで移動することになる。したがって、リモコン装置のように制御対象から離れた場所から制御の指示を与えることはできない。
【０００６】
一方、特許文献１に記載された技術を採用すれば、制御対象から離れた場所から制御の指示を与えることができる。しかしながら、特許文献１に記載された技術は、距離の極小点を指先の位置とみなし、かつ極小点の位置の変化を指先の位置の変化とみなしているから、識別可能な動きの種類は比較的少なくなる。
【０００７】
最近では、電子ブックやウェブ版の新聞が提供されており、この種のコンテンツに対応するために頁めくりの操作は必須になりつつある。タッチパネルで頁めくりの操作を行う場合は、２次元平面上で指先などを移動させるだけであり、また、特許文献１に記載の技術を採用したとしてもタッチパネルと同様の動きになる。つまり、人の自然な動きを画面上での頁めくりに対応付けることができない。
【０００８】
本発明は、手と前腕とに相当する対象物の動作を検出することによって、本や新聞の頁めくりを行う際の人の自然な動作に近い動きを認識できるようにした操作入力装置、およびこの操作入力装置を実現するためのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明に係る操作入力装置は、上述の目的を達成するために、手に相当する第１要素と前腕に相当する第２要素とについて距離画像の動画像を生成する距離画像生成手段と、第２要素の主軸の周りにおける第１要素の角度の変化を検出する角度検出部と、角度検出部が検出した角度が規定の検出範囲であるときに規定の動作が行われたと判断する動作判定部とを備えることを特徴とする。
【００１０】
本発明に係る操作入力装置は、少なくとも手に相当する第１要素と前腕に相当する第２要素とを含む対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、距離画像から第１要素に対応する領域と第２要素に対応する領域とを抽出するとともに第１要素において手のひらに相当する対象面を抽出する要素抽出手段と、要素抽出手段が抽出した第１要素と第２要素との位置および向きの変化を距離画像の動画像から抽出する動作抽出手段と、動作抽出手段が第１要素と第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、動作抽出手段は、距離画像により形成される３次元の仮想空間において、前記対象面の法線ベクトルの向きが第２要素の主軸の周りで回転する第１事象と、第２要素の主軸に沿った方向ベクトルの向きが変化する第２事象とを検出する事象検出部と、事象検出部が検出した第１事象における回転する角度および第２事象における変化する角度を検出する角度検出部と、事象検出部が第１事象および第２事象の検出を開始してから規定の判定時間内において角度検出部が検出した角度が規定の検出範囲であるときに前記規定の動作が行われたと判断する動作判定部とを備えることを特徴とする。
【００１１】
この操作入力装置において、事象検出部は、第１要素と第２要素との移動の向きを識別し、動作判定部は、事象検出部が識別した移動の向きに応じて動作の種類を識別することが好ましい。
【００１２】
この操作入力装置において、動作判定部は、角度検出部が検出した角度に対する検出範囲を設定する設定部を備えることが好ましい。
【００１３】
この操作入力装置において、設定部は、検出範囲を設定する設定モードと、検出範囲を使用して前記規定の動作を判断する使用モードとの２つの動作モードを有し、設定モードでは、対象物に前記規定の動作を複数回行わせたときに角度検出部が検出した角度に基づいて検出範囲を設定することが好ましい。
【００１４】
この操作入力装置において、要素抽出手段は、距離画像を用いて対象物に関して第１要素および第２要素を抽出した後、第１要素の主軸に沿う方向において当該主軸に直交する面内での最大幅を計測し、計測した最大幅の変化が規定条件を満たす位置を第１要素と第２要素との境界とみなすことが好ましい。
【００１５】
この操作入力装置において、要素抽出手段は、距離画像を用いて対象物に関して第１要素および第２要素を抽出した後、第１要素の主軸に沿う方向において当該主軸に直交する面内での曲率を計測し、計測した曲率の変化が規定条件を満たす位置を第１要素と第２要素との境界とみなすことが好ましい。
【００１６】
この操作入力装置において、要素抽出手段は、距離画像を用いて対象物に関して第１要素および第２要素を抽出した後、第１要素の主軸に沿う方向において第１要素と第２要素とを合計した長さ寸法に対して規定の比率で区分される位置を第１要素と第２要素との境界とみなすことが好ましい。
【００１７】
本発明に係るプログラムは、コンピュータを、手に相当する第１要素と前腕に相当する第２要素とについて距離画像の動画像を距離画像生成手段から取得するとともに、第１要素と第２要素との規定の動作を検出する演算処理装置として機能させるためのプログラムであって、コンピュータを、第２要素の主軸の周りにおける第１要素の角度の変化を検出する角度検出部と、角度検出部が検出した角度が規定の検出範囲であるときに規定の動作が行われたと判断する動作判定部とを備える演算処理装置として機能させるものである。
【００１８】
また、本発明に係るプログラムは、コンピュータを、少なくとも手に相当する第１要素と前腕に相当する第２要素とを含む対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段から距離画像を取得するとともに、第１要素と第２要素との規定の動作を検出したときに制御対象への対応制御を行う演算処理装置として機能させるためのプログラムであって、コンピュータを、距離画像から第１要素に対応する領域と第２要素に対応する領域とを抽出するとともに第１要素において手のひらに相当する対象面を抽出する要素抽出手段と、要素抽出手段が抽出した第１要素と第２要素との位置および向きの変化を距離画像の動画像から抽出する動作抽出手段と、動作抽出手段が第１要素と第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、動作抽出手段が、距離画像により形成される３次元の仮想空間において、前記対象面の法線ベクトルの向きが第２要素の主軸の周りで回転する第１事象と、第２要素の主軸に沿った方向ベクトルの向きが変化する第２事象とを検出する事象検出部と、事象検出部が検出した第１事象における回転する角度および第２事象における変化する角度を検出する角度検出部と、事象検出部が第１事象および第２事象の検出を開始してから規定の判定時間内において角度検出部が検出した角度が規定の検出範囲であるときに前記規定の動作が行われたと判断する動作判定部とを備える演算処理装置として機能させるものである。
【発明の効果】
【００１９】
本発明の構成によれば、手と前腕とに相当する対象物の動作を個別に検出し、本や新聞の頁めくりを行う際の人の自然な動作に近い動きを認識することができるから、使用者は操作方法を覚えなくとも頁めくりの際の普通の動作をするだけで、制御対象に対応制御を行わせることができるという効果がある。
【図面の簡単な説明】
【００２０】
【図１】実施形態を示すブロック図である。
【図２】同上の動作説明図である。
【図３】同上の動作説明図である。
【発明を実施するための形態】
【００２１】
以下に説明する操作入力装置は、図１に示すように、距離画像の動画像を生成する距離画像生成手段１０と、距離画像生成手段１０から距離画像を取得するとともに対象物の規定の動作を検出したときに制御対象への対応制御を行う演算処理装置２０とを備える。演算処理装置２０は、ハードウェア要素としてのコンピュータを備え、適宜のプログラムをコンピュータで実行することにより以下に説明する機能を実現する。
【００２２】
本実施形態では、距離画像生成手段１０が認識対象とする対象物は、人体の手に相当する第１要素と、人体の前腕に相当する第２要素とを含んでいることを想定している。ただし、対象物は人型のロボットや人形であってもよく、第１要素が手として認識されかつ第２要素が前腕として認識される形状を有していれば、対象物が人体か否かは問わない。また、手や前腕は、露出していることが望ましいが、手にミトンが装着されている場合や、前腕が冬服の袖で覆われている場合でも、頁めくりの動きを認識することが可能である。したがって、屋内で使用する場合だけでなく、屋外であっても季節を問わずに頁めくりの動作を認識することが可能である。
【００２３】
距離画像生成手段１０は、実空間における対象物までの距離を計測するセンサ部１１と、センサ部１１が計測した対象物までの距離を画素値に持つ距離画像を生成する距離演算部１２とを備える。
【００２４】
センサ部１１は、アクティブ型の構成とパッシブ型の構成とのいずれでも採用可能である。本実施形態のセンサ部１１は、対象物が存在する空間に投光するとともに、空間に存在する物体からの反射光を受光し、投光から受光までの時間差に相当する情報を用いて物体までの距離を検出するアクティブ型の構成を備える。すなわち、センサ部１１は、飛行時間（ＴＯＦ＝Time Of Flight）法により対象物までの距離を計測する。
【００２５】
以下では、センサ部１１の一例として、発光源から空間に投光し、空間に存在する対象物からの反射光を撮像素子で受光するアクティブ型の構成を想定する。
【００２６】
発光源は、時間とともに強度が変化する強度変調光を投光し、対象物で反射され撮像素子で受光された強度変調光（反射光）と投光した強度変調光との位相差を、投光から受光までの時間差に相当する情報として用いる。変調光の変調波形は、正弦波が望ましいが、三角波、鋸歯状波、方形波などから選択することも可能である。また、変調光の周期は一定とする。
【００２７】
一方、撮像素子は、複数個の受光領域（画素）が２次元配列されたＣＣＤイメージセンサやＣＭＯＳイメージセンサのような周知の構成のものが用いられる。ただし、撮像素子は、センサ部１１に適する特別な構造を有するように設計されていてもよい。撮像素子の受光のタイミングは、発光源が投光する強度変調光の周期に同期させて設定され、たとえば、強度変調光の周期内において９０度ずつ異なる位相に相当するタイミングの受光量を個別に取り出す。強度変調光の強度変化の周波数は、実用上は数ＭＨｚ〜数十ＭＨｚに設定され、撮像素子が受光する受光量は、強度変調光の１周期分の反射光の光量では不十分である。したがって、撮像素子では複数周期分（たとえば、１００００周期分）の受光量に相当する電荷を蓄積した後、蓄積した電荷を前記位相の受光量に相当する電荷として出力する。
【００２８】
ところで、発光源が強度変調光を投光し撮像素子が反射光を受光する構成のセンサ部１１は、撮像素子の視野全体において対象物までの距離を一括して計測することができるから、比較的短い時間で１枚の距離画像に相当する情報が得られる。したがって、通常の濃淡画像やカラー画像と同様に、１秒間に３０フレーム以上を得ることが可能である。
【００２９】
センサ部１１では強度変調光の各位相に対応する複数種類（たとえば、４種類）の電荷量が得られ、これらの電荷量は、強度変調光の位相を示す信号とともに距離演算部１２に入力される。
【００３０】
いま、強度変調光が正弦波であって、センサ部１１からは９０度ずつ異なる４位相に対応する電荷量が得られるとする。各電荷量をＡ０，Ａ１，Ａ２，Ａ３とすると、投受光の位相差φ［ｒａｄ］は下式で表される。
φ＝ｔａｎ−１｛（Ａ０−Ａ２）／（Ａ１−Ａ３）｝
強度変調光の周波数をｆ〔Ｈｚ〕とすれば、投光から受光までの時間差Δｔは位相差φを用いて、Δｔ＝φ／２π・ｆと表されるから、光速をｃ〔ｍ／ｓ〕とすると、物体までの距離は、ｃ・φ／４π・ｆと表される。すなわち、４種類の電荷量Ａ０，Ａ１，Ａ２，Ａ３により対象物までの距離を求めることができる。
【００３１】
距離演算部１２は、センサ部１１から得られた情報を用いて、各画素ごとに上述した計算を行うことにより、各画素の画素値として距離を対応付けた距離画像を生成する。ただし、得られた距離画像は、センサ部１１から対象物を見込む方向における距離であって、画素の位置が角度に対応している。画素の位置に対応する角度は既知であるから、距離演算部１２は、画素の位置と画素値である距離とを用いることにより、対象物の位置が実空間に対応する３次元の直交座標系で表されるように座標変換を行う。したがって、距離演算部１２からは、対象物の位置が直交座標系で表された距離画像の動画像が得られる。言い換えると、撮像素子の画素に距離を対応付けた距離画像を、直交座標系で表される３次元の仮想空間にマッピングした距離画像が得られる。なお、上述した距離画像生成手段１０の構成は周知であるから詳述しない。
【００３２】
距離画像生成手段１０は、距離画像の動画像を要素抽出手段２に与える。要素抽出手段２は、距離画像の視野内において手に相当する第１要素と前腕に相当する第２要素とを対象物として抽出する。言い換えると、少なくとも第１要素と第２要素とを含む対象物が距離画像に含まれていることが必要である。
【００３３】
要素抽出手段２は、距離画像から第１要素と第２要素とを抽出するために、距離画像における距離の分布を求めるとともに、距離画像から対象物の輪郭の抽出を行い、前腕から手までの範囲に相当する領域の画素を抽出する。すなわち、要素抽出手段２は、距離の分布においてクラスタを形成する画素群であって、画素に連続性がある場合に当該画素群を対象物の一部であると認識する。ここに、距離画像において、隣接する各一対の画素の間の距離が規定した範囲内であるときに両画素は連続していると判断され、連続している画素からなる領域について形状および他の領域との接続関係を用いて対象物Ｏｂの一部と判断される。また、抽出された領域の包絡線が対象物Ｏｂの輪郭になる。
【００３４】
要素抽出手段２は、対象物の一部であると認識された画素群を、さらに別の判定基準を用いることにより、手に相当する第１要素と、前腕に相当する第２要素とに分類する。要素抽出手段２は、常時動作させることが可能であるが、センサ部１１の視野内に設定された規定の空間領域において物体が検出されるようになるまでは、要素抽出手段２を動作させないようにするのが望ましい。すなわち、演算処理装置２０の動作モードを２段階に切り替えるのが望ましい。
【００３５】
要素抽出手段２は、距離画像の１フレーム毎に第１要素と第２要素とを抽出する。さらに、要素抽出手段２は、第１要素２１（図２参照）について手のひらに相当する面領域である対象面を抽出し、この対象面の向きから手のひらの向きに相当する法線ベクトルＶ１１，Ｖ１２を決定する。この法線ベクトルＶ１１，Ｖ１２は、たとえば、手のひらとして抽出した対象面の重心を求め、この重心の近傍において小面積の面要素を複数設定し、各面要素の法線ベクトルを合成して得られる向きを法線ベクトルＶ１１，Ｖ１２の向きとして採用する。なお、法線ベクトルＶ１１，Ｖ１２は向きのみが必要であり、大きさは問わない。
【００３６】
また、要素抽出手段２は、第２要素２２（図２参照）について主軸Ａｘを求め、主軸Ａｘに沿った方向ベクトルＶ２１，Ｖ２２を決定する。第２要素２２の主軸Ａｘは、前腕として抽出した部位の画素の分布を用いて求める。方向ベクトルＶ２１，Ｖ２２は、法線ベクトルＶ１１，Ｖ１２と同様に、向きのみが必要であり、大きさは問わない。
【００３７】
要素抽出手段２が抽出した第１要素２１および第２要素２２と、第１要素２１の法線ベクトルＶ１１，Ｖ１２および第２要素２２の方向ベクトルＶ２１，Ｖ２２とは、動作抽出手段３に入力される。動作抽出手段３は、要素抽出手段２が抽出した第１要素２１と第２要素２２との位置および向きの変化を距離画像の動画像から抽出する。そのため、動作抽出手段３は、図１に示すように、事象検出部３１と角度検出部３２と動作判定部３３とを備える。
【００３８】
図２に示すように、事象検出部３１は、距離画像として形成されている３次元の仮想空間において、第１要素２１から求めた手のひらに相当する対象面の法線ベクトルＶ１１，Ｖ１２の向きが第２要素２２の主軸Ａｘの周りで回転する第１事象を検出する。また、事象検出部３１は、第２要素２２の主軸Ａｘに沿った方向ベクトルＶ２１，Ｖ２２の向きが変化する第２事象とを検出する。すなわち、事象検出部３１は、第１要素２１から得られる法線ベクトルＶ１１，Ｖ１２の向きと、第２要素２２から得られる方向ベクトルＶ２１，Ｖ２２の向きとに変化があるか否かを判断する。
【００３９】
なお、図２は、センサ部１１が人体よりも上方に配置されている場合を想定した例を示しているが、人体の正面にセンサ部１１を配置する使用形態では、対象物の表裏が逆になる。
【００４０】
事象検出部３１が、法線ベクトルＶ１１，Ｖ１２および方向ベクトルＶ２１，Ｖ２２について向きの変化が生じたと判断すると、角度検出部３２は、向きの変化分に相当する角度を検出する。すなわち、角度検出部３２は、第１事象における法線ベクトルＶ１１，Ｖ１２の向きの変化分である角度φと、第２事象における方向ベクトルＶ２１，Ｖ２２の向きの変化分である角度θとを検出する。角度φは、第２要素２２の主軸Ａｘの周りで回転した角度であり、角度θは、仮想空間において主軸Ａｘの向きが変化した角度である。
【００４１】
本実施形態は、対象物が頁めくりの動作に相当する動きを行っているか否かを判断することが目的であるから、事象検出部３１が検出する第１事象および第２事象は連動しているという条件が必要である。また、角度検出部３２が検出する角度は、規定の検出範囲内であるという条件も必要である。さらに、第１事象および第２事象の検出が開始されてから、角度が検出範囲内に達するまでの時間は、規定の判定時間内であるという条件も要求される。これらの３つの条件が満たされるか否かを判断するために、動作判定部３３が設けられている。動作判定部３３は、上述した３つの条件を判断し、すべての条件が満足されたときに、頁めくりに相当する規定の動作が行われたと判断する。
【００４２】
上述した処理によって、距離画像の動画像に基づいて頁めくりに相当する動作が行われたと判断されると、動作抽出手段３は、制御手段４に頁めくりに相当する動作が行われたことを通知する。この通知を受けて制御手段４は、制御対象５への対応制御を行う。たとえば、制御対象５がモニタ装置の画面に電子ブックやウェブ新聞の頁を表示する装置であるとすれば、当該装置への対応制御として頁の更新を指示する。
【００４３】
角度検出部３２は、角度が変化した向きも検出しており、図２に矢印で示す向きに角度が変化した場合には、頁を更新する向きを逆転させる。たとえば、図２に矢印で示す向きの角度変化に対して頁が増加する向きに頁を更新するとすれば、矢印とは逆向きの角度変化に対しては頁が減少する向きに頁を更新する。なお、縦書きの頁と横書きの頁とで、頁の増加と減少とを逆にすれば、電子ブックなどの頁めくりを書籍と同感覚で行うことが可能になる。
【００４４】
ところで、上述した例において、事象検出部３１は、第１要素２１から法線ベクトルＶ１１，Ｖ１２を抽出し、第２要素２２から方向ベクトルＶ２１，Ｖ２２を抽出し、さらに向きの変化の有無を判断している。この判断でも頁めくりの動作を検出することが可能であるが、第１要素２１および第２要素２２の移動の向きを識別する機能が事象検出部３１に付加されていることが望ましい。
【００４５】
この機能を実現するために、事象検出部３１は、方向ベクトルＶ２１，Ｖ２２の向きの変化を検出するだけではなく、仮想空間に規定した方向（たとえば、座標軸の方向）に対する方向ベクトルＶ２１，Ｖ２２の向きを表す角度を知ることが必要である。この角度を用いると、事象検出部３１は、仮想空間に対する対象物（第１要素２１および第２要素２２）の移動の向きを検出することが可能になる。また、動作判定部３３は、事象検出部３１が検出した対象物の移動の向きに応じて動作の種類を識別し、動作の種類に応じて制御対象４の対応制御を変更することが可能になる。
【００４６】
たとえば、事象検出部３１が対象物の左右方向の移動を検出すると動作判定部３３が左右の頁めくりを指示し、事象検出部３１において対象物の上下方向の移動を検出すると動作判定部３３が上下の頁めくりを指示するように動作の選択が可能になる。また、同様にして、左右や上下ではない頁めくりの動作が制御対象５に対する対応制御として必要であれば、動作判定部３３において、対象物の移動方向に応じて適宜の方向の頁めくりを指示することが可能である。
【００４７】
動作判定部３３が判断する条件のうち角度の検出範囲は、センサ部１１と利用者との位置関係によって変化する。すなわち、センサ部１１を設置する位置によって、規定の動作と判断するための角度は異なることが予想される。したがって、動作判定部３３は、角度検出部３２が検出した角度に対する検出範囲を設定する設定部（図示せず）を備えることが好ましい。
【００４８】
この設定部は、施工時に手作業で検出範囲を設定する構成を採用することが可能であるが、検出範囲の設定は自動化されていることが好ましい。検出範囲を自動的に設定する場合、設定部には、検出範囲を設定する設定モードと、検出範囲を使用して頁めくりの動作を判断する使用モードとの２つの動作モードが設けられる。
【００４９】
設定モードでは、利用者あるいは施工者に頁めくりの動作を複数回行わせ、このとき角度検出部３２が検出した角度を用いて検出範囲を設定する。すなわち、頁めくりの動作を実際に行ったときに角度検出部３２により検出される角度について、平均値と標準偏差とを用いて統計的に検出範囲を決定すればよい。また、設定部に学習機能を付与し、角度検出部３２が検出した角度を学習させることにより、検出範囲を決定してもよい。
【００５０】
ところで、上述した動作は、第１要素２１と第２要素２２とを厳密に分離しなくとも頁めくりの動作を検出することができる点で優れているが、第１要素２１と第２要素２２との境界を決めることができれば、動作の判断が容易になると考えられる。
【００５１】
そこで、要素抽出手段２に、第１要素２１と第２要素２２とを抽出した後に、第１要素２１と第２要素２２との境界を決める機能が付加されていることが好ましい。境界を決めるためには、たとえば、第１要素２１の主軸Ａｘに沿う方向において主軸Ａｘに直交する面内での最大幅Ｗ１，Ｗ２（図３参照）を計測し、計測した最大幅Ｗ１，Ｗ２の変化が規定条件を満たす位置を第１要素２１と第２要素２２との境界とみなす処理を行う。この場合の規定条件は、主軸Ａｘ（図２参照）に沿って対象物の先端側（指先側）から前記最大幅Ｗ１，Ｗ２を求め、最大幅Ｗ１，Ｗ２が極小になった後に最大幅Ｗ１，Ｗ２の変化率が所定値以下になることを条件とし、極小となった位置を境界２３と判断する。図３に示すように、第１要素２１の最大幅Ｗ２は、第２要素２２の最大幅Ｗ１よりも大きいから、この判定条件で境界２３を検出することが可能である。
【００５２】
また、主軸Ａｘに直交する面内で対象物の外形の曲率κ（図３参照）を求め、曲率κが規定条件を満たす位置を境界２３としてもよい。この場合の規定条件は、主軸Ａｘ（図２参照）に沿って対象物の先端側（指先側）から曲率κを求め、曲率κの変化率が極大になった後に曲率κの変化率が所定値以上になった後、曲率κの変化率が所定値以下になることを条件とし、曲率κの変化率が極大になった位置を境界２３と判断する。
【００５３】
上述した最大幅Ｗ１，Ｗ２や曲率κは距離画像に基づいて容易に検出することができるから、第１要素２１と第２要素２２との境界２３を容易に検出することが可能である。さらに、より簡易に境界２３を求めるには、主軸Ａｘに沿う方向において、第１要素２１と第２要素２２とを合計した長さ寸法に対して、規定の比率で区分される位置を第１要素２１と第２要素２２との境界２３とみなしてもよい。一般に、人体では種々の部位の比率が測定されているから、長さ寸法に対する比率によって境界２３を求めても、統計的に正しい結果を得ることができる。しかも、第１要素２１と第２要素２２との合計の長さ寸法がわかれば境界２３が求められるから、他の方法を用いる場合よりも計算量が少なくなる。
【符号の説明】
【００５４】
２ 要素抽出手段
３ 動作抽出手段
４ 制御手段
１０ 距離画像生成手段
２０ 演算処理装置
２１ 第１要素
２２ 第２要素
３１ 事象検出部
３２ 角度検出部
３３ 動作判定部
【特許請求の範囲】
【請求項１】
手に相当する第１要素と前腕に相当する第２要素とについて距離画像の動画像を生成する距離画像生成手段と、前記第２要素の主軸の周りにおける前記第１要素の角度の変化を検出する角度検出部と、前記角度検出部が検出した角度が規定の検出範囲であるときに規定の動作が行われたと判断する動作判定部とを備えることを特徴とする操作入力装置。
【請求項２】
少なくとも手に相当する第１要素と前腕に相当する第２要素とを含む対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、前記距離画像から前記第１要素に対応する領域と前記第２要素に対応する領域とを抽出するとともに前記第１要素において手のひらに相当する対象面を抽出する要素抽出手段と、前記要素抽出手段が抽出した前記第１要素と前記第２要素との位置および向きの変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が前記第１要素と前記第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、前記動作抽出手段は、前記距離画像により形成される３次元の仮想空間において、前記対象面の法線ベクトルの向きが前記第２要素の主軸の周りで回転する第１事象と、前記第２要素の主軸に沿った方向ベクトルの向きが変化する第２事象とを検出する事象検出部と、前記事象検出部が検出した第１事象における回転する角度および第２事象における変化する角度を検出する角度検出部と、前記事象検出部が第１事象および第２事象の検出を開始してから規定の判定時間内において前記角度検出部が検出した角度が規定の検出範囲であるときに前記規定の動作が行われたと判断する動作判定部とを備えることを特徴とする操作入力装置。
【請求項３】
前記事象検出部は、前記第１要素と前記第２要素との移動の向きを識別し、前記動作判定部は、前記事象検出部が識別した移動の向きに応じて動作の種類を識別することを特徴とする請求項２記載の操作入力装置。
【請求項４】
前記動作判定部は、前記角度検出部が検出した角度に対する前記検出範囲を設定する設定部を備えることを特徴とする請求項２又は３記載の操作入力装置。
【請求項５】
前記設定部は、前記検出範囲を設定する設定モードと、前記検出範囲を使用して前記規定の動作を判断する使用モードとの２つの動作モードを有し、前記設定モードでは、前記対象物に前記規定の動作を複数回行わせたときに前記角度検出部が検出した角度に基づいて前記検出範囲を設定することを特徴とする請求項４記載の操作入力装置。
【請求項６】
前記要素抽出手段は、前記距離画像を用いて前記対象物に関して前記第１要素および前記第２要素を抽出した後、前記第１要素の主軸に沿う方向において当該主軸に直交する面内での最大幅を計測し、計測した最大幅の変化が規定条件を満たす位置を前記第１要素と前記第２要素との境界とみなすことを特徴とする請求項２〜５のいずれか１項に記載の操作入力装置。
【請求項７】
前記要素抽出手段は、前記距離画像を用いて前記対象物に関して前記第１要素および前記第２要素を抽出した後、前記第１要素の主軸に沿う方向において当該主軸に直交する面内での曲率を計測し、計測した曲率の変化が規定条件を満たす位置を前記第１要素と前記第２要素との境界とみなすことを特徴とする請求項２〜５のいずれか１項に記載の操作入力装置。
【請求項８】
前記要素抽出手段は、前記距離画像を用いて前記対象物に関して前記第１要素および前記第２要素を抽出した後、前記第１要素の主軸に沿う方向において前記第１要素と前記第２要素とを合計した長さ寸法に対して規定の比率で区分される位置を前記第１要素と前記第２要素との境界とみなすことを特徴とする請求項２〜５のいずれか１項に記載の操作入力装置。
【請求項９】
コンピュータを、手に相当する第１要素と前腕に相当する第２要素とについて距離画像の動画像を距離画像生成手段から取得するとともに、前記第１要素と前記第２要素との規定の動作を検出する演算処理装置として機能させるためのプログラムであって、コンピュータを、前記第２要素の主軸の周りにおける前記第１要素の角度の変化を検出する角度検出部と、前記角度検出部が検出した角度が規定の検出範囲であるときに規定の動作が行われたと判断する動作判定部とを備える演算処理装置として機能させるプログラム。
【請求項１０】
コンピュータを、少なくとも手に相当する第１要素と前腕に相当する第２要素とを含む対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段から前記距離画像を取得するとともに、前記第１要素と前記第２要素との規定の動作を検出したときに制御対象への対応制御を行う演算処理装置として機能させるためのプログラムであって、コンピュータを、前記距離画像から前記第１要素に対応する領域と前記第２要素に対応する領域とを抽出するとともに前記第１要素において手のひらに相当する対象面を抽出する要素抽出手段と、前記要素抽出手段が抽出した前記第１要素と前記第２要素との位置および向きの変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が前記第１要素と前記第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、前記動作抽出手段が、前記距離画像により形成される３次元の仮想空間において、前記対象面の法線ベクトルの向きが前記第２要素の主軸の周りで回転する第１事象と、前記第２要素の主軸に沿った方向ベクトルの向きが変化する第２事象とを検出する事象検出部と、前記事象検出部が検出した第１事象における回転する角度および第２事象における変化する角度を検出する角度検出部と、前記事象検出部が第１事象および第２事象の検出を開始してから規定の判定時間内において前記角度検出部が検出した角度が規定の検出範囲であるときに前記規定の動作が行われたと判断する動作判定部とを備える演算処理装置として機能させるプログラム。
【請求項１】
手に相当する第１要素と前腕に相当する第２要素とについて距離画像の動画像を生成する距離画像生成手段と、前記第２要素の主軸の周りにおける前記第１要素の角度の変化を検出する角度検出部と、前記角度検出部が検出した角度が規定の検出範囲であるときに規定の動作が行われたと判断する動作判定部とを備えることを特徴とする操作入力装置。
【請求項２】
少なくとも手に相当する第１要素と前腕に相当する第２要素とを含む対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段と、前記距離画像から前記第１要素に対応する領域と前記第２要素に対応する領域とを抽出するとともに前記第１要素において手のひらに相当する対象面を抽出する要素抽出手段と、前記要素抽出手段が抽出した前記第１要素と前記第２要素との位置および向きの変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が前記第１要素と前記第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、前記動作抽出手段は、前記距離画像により形成される３次元の仮想空間において、前記対象面の法線ベクトルの向きが前記第２要素の主軸の周りで回転する第１事象と、前記第２要素の主軸に沿った方向ベクトルの向きが変化する第２事象とを検出する事象検出部と、前記事象検出部が検出した第１事象における回転する角度および第２事象における変化する角度を検出する角度検出部と、前記事象検出部が第１事象および第２事象の検出を開始してから規定の判定時間内において前記角度検出部が検出した角度が規定の検出範囲であるときに前記規定の動作が行われたと判断する動作判定部とを備えることを特徴とする操作入力装置。
【請求項３】
前記事象検出部は、前記第１要素と前記第２要素との移動の向きを識別し、前記動作判定部は、前記事象検出部が識別した移動の向きに応じて動作の種類を識別することを特徴とする請求項２記載の操作入力装置。
【請求項４】
前記動作判定部は、前記角度検出部が検出した角度に対する前記検出範囲を設定する設定部を備えることを特徴とする請求項２又は３記載の操作入力装置。
【請求項５】
前記設定部は、前記検出範囲を設定する設定モードと、前記検出範囲を使用して前記規定の動作を判断する使用モードとの２つの動作モードを有し、前記設定モードでは、前記対象物に前記規定の動作を複数回行わせたときに前記角度検出部が検出した角度に基づいて前記検出範囲を設定することを特徴とする請求項４記載の操作入力装置。
【請求項６】
前記要素抽出手段は、前記距離画像を用いて前記対象物に関して前記第１要素および前記第２要素を抽出した後、前記第１要素の主軸に沿う方向において当該主軸に直交する面内での最大幅を計測し、計測した最大幅の変化が規定条件を満たす位置を前記第１要素と前記第２要素との境界とみなすことを特徴とする請求項２〜５のいずれか１項に記載の操作入力装置。
【請求項７】
前記要素抽出手段は、前記距離画像を用いて前記対象物に関して前記第１要素および前記第２要素を抽出した後、前記第１要素の主軸に沿う方向において当該主軸に直交する面内での曲率を計測し、計測した曲率の変化が規定条件を満たす位置を前記第１要素と前記第２要素との境界とみなすことを特徴とする請求項２〜５のいずれか１項に記載の操作入力装置。
【請求項８】
前記要素抽出手段は、前記距離画像を用いて前記対象物に関して前記第１要素および前記第２要素を抽出した後、前記第１要素の主軸に沿う方向において前記第１要素と前記第２要素とを合計した長さ寸法に対して規定の比率で区分される位置を前記第１要素と前記第２要素との境界とみなすことを特徴とする請求項２〜５のいずれか１項に記載の操作入力装置。
【請求項９】
コンピュータを、手に相当する第１要素と前腕に相当する第２要素とについて距離画像の動画像を距離画像生成手段から取得するとともに、前記第１要素と前記第２要素との規定の動作を検出する演算処理装置として機能させるためのプログラムであって、コンピュータを、前記第２要素の主軸の周りにおける前記第１要素の角度の変化を検出する角度検出部と、前記角度検出部が検出した角度が規定の検出範囲であるときに規定の動作が行われたと判断する動作判定部とを備える演算処理装置として機能させるプログラム。
【請求項１０】
コンピュータを、少なくとも手に相当する第１要素と前腕に相当する第２要素とを含む対象物に関して対象物までの距離を画素値に持つ距離画像の動画像を生成する距離画像生成手段から前記距離画像を取得するとともに、前記第１要素と前記第２要素との規定の動作を検出したときに制御対象への対応制御を行う演算処理装置として機能させるためのプログラムであって、コンピュータを、前記距離画像から前記第１要素に対応する領域と前記第２要素に対応する領域とを抽出するとともに前記第１要素において手のひらに相当する対象面を抽出する要素抽出手段と、前記要素抽出手段が抽出した前記第１要素と前記第２要素との位置および向きの変化を前記距離画像の動画像から抽出する動作抽出手段と、前記動作抽出手段が前記第１要素と前記第２要素との規定の動作を検出したときに制御対象への対応制御を行う制御手段とを備え、前記動作抽出手段が、前記距離画像により形成される３次元の仮想空間において、前記対象面の法線ベクトルの向きが前記第２要素の主軸の周りで回転する第１事象と、前記第２要素の主軸に沿った方向ベクトルの向きが変化する第２事象とを検出する事象検出部と、前記事象検出部が検出した第１事象における回転する角度および第２事象における変化する角度を検出する角度検出部と、前記事象検出部が第１事象および第２事象の検出を開始してから規定の判定時間内において前記角度検出部が検出した角度が規定の検出範囲であるときに前記規定の動作が行われたと判断する動作判定部とを備える演算処理装置として機能させるプログラム。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１２−２４２９０１（Ｐ２０１２−２４２９０１Ａ）
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願番号】特願２０１１−１０９５８６（Ｐ２０１１−１０９５８６）
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年１２月１０日（２０１２．１２．１０）
【国際特許分類】
【出願日】平成２３年５月１６日（２０１１．５．１６）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]