入力支援装置
【課題】 計算負荷の軽い顔のトラッキングアルゴリズムを用いることで、口の動きをコンピュータ等への入力の支援に利用することが可能な入力支援装置を提供する。
【解決手段】 描画システム１００では、カメラ１０２が、ユーザの鼻領域と口領域を含む対象画像領域内の各画素の値のデジタルデータを動画として獲得する。ＣＰＵ１１０４は、対象画像領域内において、鼻孔を検出し、検出された鼻孔位置に対応する所定の探索領域において、口形状を検出する。ハードディスク１１１０には、口形状の複数のパターン情報と制御量とが予め関連付けて格納されており、ＣＰＵ１１０４は、口形状に応じて制御量を特定するための信号を生成する。
【解決手段】 描画システム１００では、カメラ１０２が、ユーザの鼻領域と口領域を含む対象画像領域内の各画素の値のデジタルデータを動画として獲得する。ＣＰＵ１１０４は、対象画像領域内において、鼻孔を検出し、検出された鼻孔位置に対応する所定の探索領域において、口形状を検出する。ハードディスク１１１０には、口形状の複数のパターン情報と制御量とが予め関連付けて格納されており、ＣＰＵ１１０４は、口形状に応じて制御量を特定するための信号を生成する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、コンピュータ等の機器で描画を行なう際において、当該機器と人間との間のインタフェースをとるための構成に関する。
【背景技術】
【０００２】
口の動きは、会話や表情を含む多くの人間の行動において重要な役割を果たしている。したがって、口の動きを、マンマシンインタフェースにおける重要な役割を果たすものと考えたとしても不合理ではない。
【０００３】
ところが、自動的な表情認識や読唇術については、かなりの先行する研究が存在するものの、コンピュータあるいは他の機械等と人間との間のインタフェースとして、口の可能な役割を研究した仕事は比較的少ない。これは、如何にして、口の動きに関する情報を、その人の動きを邪魔せず、かつ非侵襲的な方法で獲得するにはどのようにすればよいか、という点で技術的に課題があるためと考えられる。
【０００４】
非特許文献１には、コンピュータによる画像処理を用いたマンマシンインタフェースの例が開示されている。
【０００５】
さらに、表情や読唇のために、口や唇の検知とトラッキングを用いた先行技術も存在する（たとえば、非特許文献２を参照）。
【非特許文献１】Marco Porta:Vision-based user interface: methods and applications. Int. J. Human-Computer Studies 57(2002)pp.27-73
【非特許文献２】E. Petajan and H.P. Graf : Robust Face Feature Analysis for Automation Speechreading and Character Animation. : Proceeding of the Internatinal Conference on Automatic Face and Gesture Recognition. (1996) pp.357-362
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、ユーザの動作を妨げることなく、かつ非侵襲的に、口の動きを獲得するためには、コンピュータによる画像処理を使用することが有効と考えられる。
【０００７】
しかしながら、画像に基づいて、顔あるいは顔の一部分をトラッキングするという先行する研究では、顔全体のイメージをキャプチャすることが必要である。
【０００８】
このため、ロバストに、比較的簡単で計算負荷がそれほど大きくはないコンピュータの画像処理のアルゴリズムを用いて、口の動きを獲得し、かつこれをマンマシンインタフェースとして、利用する手法については、従来必ずしも明らかとはいえない。
【０００９】
本発明の目的は、計算負荷の軽い顔のトラッキングアルゴリズムを用いることで、口の動きをコンピュータ等への入力の支援に利用することが可能な入力支援装置を提供することである。
【課題を解決するための手段】
【００１０】
この発明のある局面に従うと、入力支援装置であって、ユーザの口領域および鼻領域を含む対象画像領域内の各画素データを動画として獲得する撮影手段と、対象画像領域内において、鼻孔を検出する鼻孔検出手段と、検出された鼻孔位置に対応する所定の探索領域において、口形状を検出する口形状検出手段と、口形状の複数のパターン情報と制御量とを予め関連付けて格納するための記憶手段と、記憶手段に格納された情報に基づいて、口形状に応じて制御量を特定するための信号を生成する制御信号生成手段とを備える。
【００１１】
好ましくは、鼻孔検出手段は、対象画像領域内において、所定の第１のウインドウ内の水平方向および垂直方向の輝度値の極小値から、鼻孔の位置を検出し、口形状検出手段は、第１のウインドウの下方の第２のウインドウ内で、赤色成分および輝度に基づいて、口腔領域を分離する。
【００１２】
好ましくは、鼻孔検出手段は、検出された２つの鼻孔の水平軸に対する傾きを検出し、口形状検出手段は、検出された傾きだけ傾けた矩形領域の第２のウインドウ内で、口腔領域を分離する。
【００１３】
好ましくは、鼻孔検出手段は、動画の各フレームにおいて、検出された２つの鼻孔の中点を検出し、次のフレームでの鼻孔の追跡にあたって、それ以前のフレームにおける中点の位置を外挿入した予測位置を用いて、当該次のフレームにおける中点を検出する。
【発明を実施するための最良の形態】
【００１４】
［実施の形態１］
［ハードウェア構成］
以下、本発明の実施の形態にかかる入力支援装置について説明する。この入力支援装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、人物の顔の映像から、口の部分のうちの口腔領域（空いた口の領域）を抽出して、入力のための信号を生成するものである。
【００１５】
図１は、本発明の入力支援装置を用いた描画システム１００の構成を示す概略ブロック図である。
【００１６】
すなわち、以下では、本発明の入力支援装置の適用されるアプリケーションとして、描画アプリケーションを例にとって説明するが、以下の説明で明らかとなるように、本発明の入力支援装置の適用範囲は、必ずしもこのようなアプリケーションに限定されるものではなく、たとえば、コンピュータへの文字入力の際のマウスの役割を持たせたり、あるいは、携帯電話などでは、テンキーと組み合わせて文字入力を行なったり、さらには、コンピュータにおける作曲などのアプリケーションで、音程の制御等に用いたりすることも可能である。
【００１７】
図１を参照して、この描画システム１００は、パーソナルコンピュータなどのコンピュータ１１０と、コンピュータ１１０に接続された表示装置としてのディスプレイ１０８と、同じくコンピュータ１１０に接続された入力装置としてのキーボード１０６と、ディスプレイ１０８の下部に設置され、ユーザ２の口付近の画像を取込むためのカメラ１０２と、コンピュータ１１０からの信号に応じて、描画データを生成し、生成された描画データをコンピュータ１１０に送り返すことで、対応する画像をディスプレイ１０８に表示するための描画専用マシン１３０とを含む。なお、描画のための入力装置として、タブレットとペンをさらに備える構成としてもよい。
【００１８】
ペンおよびタブレットは、描画のための少なくとも線図データの入力を行なう入力装置であり、たとえば、図１に示した例では、描画される線の質（たとえば、ペンの大きさ（線の太さ）や硬さ（ペンの硬さの質感）や、線の透明度や色）のうち、いずれの質を入力支援装置により制御するかを口の形状を用いて選択する。
【００１９】
すなわち、ユーザ２の複数の口の形状と複数の線の太さとを予め対応付けたテーブルを用意しておき、カメラ２によりキャプチャされた画像から獲得した口の形状から、線の太さを選択する、というような制御を行なうことが可能である。
【００２０】
また、この実施の形態のシステムでは、カメラ１０２としては、たとえば、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いて、画像データをデジタルデータとしてキャプチャする。
【００２１】
なお、図示しないが、コンピュータ１１０には、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブなど、外部の記録媒体からのデータを取り込むための装置が設けられているものとする。
【００２２】
さらに、図１を参照して、コンピュータ１１０は、バスＢＳそれぞれに接続された、ＣＰＵ（Central Processing Unit ）１１０４と、ＲＯＭ（Read Only Memory) １１０６と、ＲＡＭ（Random Access Memory）１１０８と、ハードディスク１１１０と、カメラ１０２からの画像を取り込み、入力装置からの信号を受け取り、また描画専用マシン１３０との間でデータを授受するためのインタフェース部１１０２とを含んでいる。
【００２３】
ここで、上述した「ユーザ２の複数の口の形状と複数の線の太さとを予め対応付けたテーブル」は、たとえば、ハードディスク１１１０内に格納されている。「口の形状」とは、「口腔の幅」または「口腔の高さ」としてもよいし、「口腔の幅と口腔の高さとのアスペクト比」としてもよい。なお、テーブルとして、他の制御量、たとえば、線の硬さ、線の透明度等と口の形状との対応関係を予めテーブルとしてハードディスク１１１０内に格納しておき、口の形状により、これらの量を制御することとしてもよい。
【００２４】
したがって、描画システム１００において描画専用マシン１３０以外の部分は、入力支援装置、言いかえると、描画の際のユーザ２に対するインタフェース装置として機能する。
【００２５】
既に述べたように、描画システム１００において入力支援装置として機能する、描画専用マシン１３０以外の部分の主要部は、ともに、コンピュータハードウェアと、ＣＰＵ１１０４により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ等により記憶媒体から読取られてハードディスク１１１０に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク１１１０にコピーされる。そうしてさらにハードディスク１１１０からＲＡＭ１１０８に読出されてＣＰＵ１１０４により実行される。なお、ネットワーク接続されている場合には、たとえば、ハードディスク１１１０に格納することなくＲＡＭ１１０８に直接ロードして実行するようにしてもよい。
【００２６】
図１に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭや、ハードディスク１１１０等の記憶媒体に記憶されたソフトウェアである。
【００２７】
なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該入力支援装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて入力支援装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールまで含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。
【００２８】
［ソフトウェア構成］
図２は、図１に示した描画システム１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。図２においては、コンピュータ１１０上で動作するソフトウェア１２００と、描画専用マシン１３０上で動作する描画モジュール１３００との関係を示している。
【００２９】
図２を参照して、カメラ１０２から入力された画像信号は、画像キャプチャ部１２０２により画像データとして取り込まれ（キャプチャされ）た後、画像反転部１２０４において、垂直線に対して反転されて表示部１０８に表示される。このような反転処理により、ユーザ２によって、カメラの位置を直感的に調整することを可能にしている。なお、実際には、キャプチャされた画像データは、表示部１０８に対応する画像が表示されるとともに、ハードディスク１１１０の所定の領域に格納されて、その後の演算処理を受けることになる。
【００３０】
キャプチャされた画像データは、口領域抽出部１２０６において、まず、鼻孔の位置検出が行なわれた後、この鼻孔の位置に対応した探索領域内で、画素（ピクセル）にそれぞれが対応している２値の数値アレイに変換され、この２値の数値アレイは、空いた口の部分（口腔に対応する部分）と他の部分とに分けられる。
【００３１】
空いた口の領域の面積は、口腔内の画素数を加算することによって計算される。このような空いた口の領域の面積や口の形状（幅、高さ）は、出力正規化部１２０８により、描画や彩色を制御する信号とするために正規化され、ＴＣＰ／ＩＰを経由して、描画モジュール１３００のようなアプリケーションプログラムに伝送される。
【００３２】
［システムの動作］
図３は、本発明の入力支援装置の機能的な概観を示すものである。
【００３３】
ユーザ２の顔の下側の領域の画像は、ディスプレイ１０８の下部に設置されたカメラ１０２で獲得される。このシステムは、鼻孔の検知とトラッキングを行なう。そしてこれによって口領域の位置を検出して、画像中の口腔領域を切り出す。口領域の幾何学的な特徴が、抽出され、アプリケーションプログラム、たとえば、描画プログラムへ送られる。
【００３４】
（鼻孔の検知およびトラッキング）
本発明において、鼻孔の検知およびトラッキングを行なう方法は、画素の輝度の勾配情報に基づいており、非特許文献２において使用されているアルゴリズムを改良したものである。
【００３５】
鼻孔は空洞であって表面ではないので、それらは、普通の照明の条件においては、それを囲む顔の領域よりも比較的暗くなっている。まっすぐに正面を向いた顔を考慮する場合、鼻孔を含む画像の小さなウインドウ領域において、強度パターンは、水平方向および垂直方向に移動するに従って、特徴的なプロファイルを示す。
【００３６】
（鼻孔の検知）
図４および図５は、鼻孔の検知処理の概念をより具体化して示す図である。
【００３７】
上述したような強度パターンの変化は、画像強度の射影空間において顕著である。本発明の入力支援装置のシステムでは、図４（ａ）に示すように、画像の特定の矩形領域において、初期的に鼻孔の位置決めを行なう。このような矩形領域は、適切に配置されたカメラ１０２で獲得される画像の全体領域の６分の１程度である。画像中で鼻孔の存在する領域は、たとえば、キャプチャされた画像中で、鼻孔のテンプレートとのマッチング等により、概略の位置を検出することができる。
【００３８】
さらに、鼻孔の正確な位置の獲得にあたって、画像の鼻孔を含む領域の強度の情報は、水平方向の領域に投影されて、ローパスフィルタ処理が行なわれる。図４（ｂ）に示すように、鼻孔はこのような射影されたグラフ中では、２つの極小点を有するパターンとなる。鼻孔の中心の水平座標をＮ1xおよびＮ2xとすると、これらは、２つの極小値によってその位置を評価することができる。
【００３９】
２つの鼻孔の垂直方向の座標Ｎ1ＹおよびＮ2Yは、図５（ｃ）に示すように、横幅が、たとえば、０．２５（|Ｎ1x−Ｎ2x|）のウインドウにおいて、画像の鼻孔を含む領域の強度の情報を、垂直方向の領域に投影して、ローパスフィルタ処理を行なうと、その極小値により、位置を求めることができる。
【００４０】
図５（ｄ）では、検出された結果は、鼻孔領域に重畳して示されている。
【００４１】
決定された鼻孔の中心位置の座標の組である、Ｎ1＝（Ｎ1x，Ｎ1y）およびＮ2＝（Ｎ2x，Ｎ2y）は、鼻孔の中心間のユークリッド距離ＤNを決定するために使用される。さらに、鼻孔の中心位置の座標の組は、鼻孔の中心間のラインと水平軸との角度ＡNと、鼻孔の中心のさらに中間の位置（中点）ＣNとを決定するためにも使用される。
【００４２】
（トラッキングの処理）
最初に鼻孔が検出されると、以後のフレームについては、鼻孔のトラッキング（追跡）が行なわれる。
【００４３】
すなわち、次以降のフレームにおいて、トラッキングするためには、矩形のウインドウが使用され、これによって、上述したようなパラメータ、距離ＤN、角度ＡN、位置ＣNも逐次評価される。
【００４４】
図６は、トラッキングを行なうウィンドウを示す図である。
【００４５】
図６において、横幅２．４ＤN、高さＤNの矩形領域が鼻孔の検知を行なうためのウィンドウである。
【００４６】
トラッキングを行なうアルゴリズムは、検知アルゴリズムとはやや異なり、ウインドウは、対象となるフレームで探索領域を抽出する前に、位置ＣNの周りに角度−ＡNの角度だけ回転されている。距離ＤNおよび角度ＡNは、以前に使用された値の所定数と現在の値との荷重平均によってスムージングされ、次のフレームに対する値として使用される。位置ＣNは、３つのフレームの間においては、等速度で動くという仮定の下に、以下に示すような式で、次のフレームの値が予想される。
【００４７】
ＣN(t+1)＝ＣN(t)＋α｛ＣN(t)−ＣN(t-1)｝
ここで、ＣN(t)は、ｔ番目のフレームにおける位置ＣNの値を示し、定数αは０．１と１との間の数である。
【００４８】
以上のような予測値で予測されたウィンドウを用いて、再び、図４（ｂ）や図５（ｃ）で説明した処理を繰り返すことで、当該フレームでの距離ＤN、角度ＡN、位置ＣNが評価されて確定される。
【００４９】
（口領域の分離）
口が含まれている画像の領域は、鼻孔の位置を使用することによって見積もられる。このような口腔領域の探索ウィンドウは、図６の下側の矩形で示される。探索ウィンドウは、幅がたとえば幅４ＤN、高さ３．５ＤNの矩形領域である・
探索ウインドウは、画素値を抽出する前に、鼻孔のトラッキングウィンドウと同様に回転されており、角度に依存する口の高さと幅というような口領域のパラメータが、容易に検出される。
【００５０】
口腔は、暗く見え、画像中では相対的に赤い領域となるので、ある第１のしきい値以上の赤色成分を有しており、かつ、他の第２のしきい値以下の輝度を有している画素を抽出することで切り出すことができる。このようなしきい値は、必要に応じて、ユーザによって調整することができる。このようなアルゴリズムは、カメラ１０２の代わりにヘッドマウントカメラを使用したシステムでも、うまく動作させることができる。
【００５１】
切り出された領域におけるノイズは、幅５ピクセルであって、高さ３ピクセルの近傍の画素に対して投票（Vote）アルゴリズムを使用することにより減少させている。
【００５２】
（口形状の評価）
分離された口領域の幾何学的な特徴を用いることで、以下のようなパラメータが抽出される。
【００５３】
まず、この口領域中のピクセルの個数は、口腔の面積ＡMと比例している。
【００５４】
この口領域の垂直方向に沿った画素の個数の標準偏差は、口腔の高さＨMに比例している。このような口領域の水平方向に沿った画素の個数の標準偏差は、口腔の幅ＷMに比例している。口腔領域のアスペクト比ＲMは、ＲM＝ＨM／ＷMによって与えられる。
【００５５】
ＨMおよびＷMを評価するにあたっては、口領域の画素の水平方向および垂直方向の個数の平均値によってもよいが、上述したように標準偏差に基づくと、すべての画素位置の関数となるので、ノイズによる感度に対する影響を最小化することができる。
【００５６】
［評価］
このシステムの入力デバイスとしての正確さについては、５つの評価タスクに基づく実験によって調べられている。
【００５７】
（評価タスク）
図７は、各評価タスクを説明するための概念図である。
【００５８】
図７（ａ）に示すように、円の半径を制御するタスクは、テストの主題は、口を開けた領域を、スクリーンに描かれた円の半径を制御することに用いて、その円の半径が、目標（ターゲット）となる四角形の円に接するまでそのような制御を行なうことである。
【００５９】
図７（ｂ）に示すように、高さの制御タスクが、口を開けることで、スクリーン上に書かれた矩形の高さを目標となる矩形に接するまで制御することにより行なわれる。
【００６０】
図７（ｃ）に示すように、幅の制御タスクは、口を開けることで、矩形の幅を変更させ、目標となる矩形の幅にそのエッジが接するまで制御を行なう。
【００６１】
図７（ｄ）に示すように、アスペクト比の制御タスクでは、これは高さ方向の制御タスクと同様なものであり、図７（ｅ）に示すように、楕円形の制御タスクは、口の高さおよび幅が、変化されて、楕円形の高さおよび幅を制御して、この楕円形のエッジが目標となる矩形に接するまで制御が続けられる。
【００６２】
（実験結果）
以下の関係式に従って、測定されたパラメータから、制御パラメータが決定される。
【００６３】
Ｐ／Ｐmax＝ｇＶi
ここで、Ｐmaxは、実験において制御されるパラメータＰの最大値であり、Ｖｉは、画像中において測定された値であり、ｇは、制御のためのゲインである。ゲインｇは、０と１の間のディメンジョンのないパラメータである。
【００６４】
半径や高さや幅やアスペクト比の制御タスクに対しては、目標となる矩形の半分の高さおよび半分の幅は、それぞれ、（５，２３，４２，６１，８０）の組の中の値とされている。ゲインｇの値は、これらのタスクにおいてそれぞれ独立な可変なパラメータである。この値は、それぞれ（０．２５，０．５，０．８）の組の中の値が使用されている。ゲインとターゲットの大きさの組合せのそれぞれが３回ずつ繰返され、全体として４５回の試行が行なわれた。
【００６５】
楕円の制御タスクに関しては、ｇは、規定値０．２５とされている。矩形の半分の大きさは、それぞれ（５，３０，５５，８０）のいずれかとされている。高さと幅のそれぞれの組合せが、２回ずつ提示され、結果として、３２回の試行が行なわれている。
【００６６】
テストは、３人の被験者に対して行なわれ、これらの被験者は、すべて、口によるコントローラの体験を以前したことがある人たちである。
【００６７】
被験者は、１９インチの液晶モニタから約６０ｃｍ離れたところに座っており、この液晶モニタは、１５５２×８６４ピクセルの解像度を有している。各試行は、全くランダムな順番で各ユーザに対して提示されている。各試行において、被験者は、ターゲットとなるサイズに応じて、円や矩形の半径やサイズを変化させ、左側のマスクボタンをクリックする。コンピュータは、次の試行に移る前に、３秒間にわたって、６７Ｈｚの周波数で、円や矩形の半径およびサイズを記録していく。ユーザは、試行の間で休憩をとることは許されている。各実験は、約１０分間を要している。
【００６８】
各実験に対して、以下のような計算が行なわれた。誤差の絶対値Ｅ（これは、目標となるサイズと実際に制御されたサイズとの差に相当する）が、制御の正確さを測定するために計算されている。平均的な大きさの標準偏差σが、入力の精度として計算された。
【００６９】
（結果）
図８および図９は、半径の制御タスクに対して得られた評価結果を示す図である。
【００７０】
図８（ａ）は、各ゲインｇの値に対して、すべてのターゲットのサイズにわたって、誤差Ｅを平均したものをプロットしたものであり、図８（ｂ）は、それらに対する標準偏差をプロットしたものである。
【００７１】
正確さと精度はともに、ゲインの大きさｇには大きくは依存していないことは明らかであり、これらの値は、すべて約１画素に近い。
【００７２】
図９（ａ）および図９（ｂ）は、それぞれ、異なったゲインｇの値に対する、ターゲットとなる半径にわたっての誤差および標準偏差のそれぞれの変化を示している。
【００７３】
平均誤差および標準偏差は、ターゲットの半径が大きくなるに従って大きくなっている。高さ、幅およびアスペクト比の制御タスクに関しては、その値の大きさや、変化の傾向は、すべて、半径制御タスクと同様である。このような全体の結果は、より正確で、より的確な制御が、小さなサイズのターゲットに対しては可能であるものの、ゲインにはその正確さは大きくは依存しないことを示している。入力は、正確さに関しても、精度に関しても約１画素分の値を有している。
【００７４】
図１０は、楕円制御のタスクの評価結果を示す図である。図１０（ａ）および図１０（ｂ）は、それぞれ、幅と高さの入力に対する最小絶対誤差をプロットしたものである。違った目標となる高さや幅に対して、それぞれプロットが行なわれている。正確さは、小さな目標の幅に対しては大変低くなっており、このことは、高さおよび幅の組合せにこれは、口をこのように２つの方向に動かすことが全く完全には独立した動作でないことによる。これは、したがって身体の構造上の限界であって、コンピュータによる画像システムの限界ではない。
【００７５】
以上説明したように、本発明の計算負荷の軽い顔のトラッキングプログラムは、トラッキングを行なうにあたって、主たる目印となる部分として、鼻孔（鼻の穴）を使用している。デスクトップ上あるいは、コンピュータモニタの下側に配置されたカメラによって、このような鼻孔と口腔は、容易に可視化できる。顔の下側の部分にフォーカスすることによって、利用できる画素を有効に使用することができ、口領域の解像度をより高くすることができる。カメラがローアングルであることは、携帯電話やアルムトップコンピュータのように、携帯型の応用にも適切なものである。
【００７６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００７７】
【図１】本発明の入力支援装置を用いた描画システム１００の構成を示す概略ブロック図である。
【図２】図１に示した描画システム１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。
【図３】本発明の入力支援装置の機能的な概観を示すものである。
【図４】鼻孔の検知処理の概念をより具体化して示す第１の図である。
【図５】鼻孔の検知処理の概念をより具体化して示す第２の図である。
【図６】トラッキングを行なうウィンドウを示す図である。
【図７】各評価タスクを説明するための概念図である。
【図８】半径の制御タスクに対して得られた評価結果を示す第１の図である。
【図９】半径の制御タスクに対して得られた評価結果を示す第２の図である。
【図１０】楕円制御のタスクの評価結果を示す図である。
【符号の説明】
【００７８】
２ ユーザ、１００ 描画システム、１０２ カメラ、１０６ キーボード、１０８ ディスプレイ、１１０ コンピュータ、１３０ 描画専用マシン。
【技術分野】
【０００１】
この発明は、コンピュータ等の機器で描画を行なう際において、当該機器と人間との間のインタフェースをとるための構成に関する。
【背景技術】
【０００２】
口の動きは、会話や表情を含む多くの人間の行動において重要な役割を果たしている。したがって、口の動きを、マンマシンインタフェースにおける重要な役割を果たすものと考えたとしても不合理ではない。
【０００３】
ところが、自動的な表情認識や読唇術については、かなりの先行する研究が存在するものの、コンピュータあるいは他の機械等と人間との間のインタフェースとして、口の可能な役割を研究した仕事は比較的少ない。これは、如何にして、口の動きに関する情報を、その人の動きを邪魔せず、かつ非侵襲的な方法で獲得するにはどのようにすればよいか、という点で技術的に課題があるためと考えられる。
【０００４】
非特許文献１には、コンピュータによる画像処理を用いたマンマシンインタフェースの例が開示されている。
【０００５】
さらに、表情や読唇のために、口や唇の検知とトラッキングを用いた先行技術も存在する（たとえば、非特許文献２を参照）。
【非特許文献１】Marco Porta:Vision-based user interface: methods and applications. Int. J. Human-Computer Studies 57(2002)pp.27-73
【非特許文献２】E. Petajan and H.P. Graf : Robust Face Feature Analysis for Automation Speechreading and Character Animation. : Proceeding of the Internatinal Conference on Automatic Face and Gesture Recognition. (1996) pp.357-362
【発明の開示】
【発明が解決しようとする課題】
【０００６】
このように、ユーザの動作を妨げることなく、かつ非侵襲的に、口の動きを獲得するためには、コンピュータによる画像処理を使用することが有効と考えられる。
【０００７】
しかしながら、画像に基づいて、顔あるいは顔の一部分をトラッキングするという先行する研究では、顔全体のイメージをキャプチャすることが必要である。
【０００８】
このため、ロバストに、比較的簡単で計算負荷がそれほど大きくはないコンピュータの画像処理のアルゴリズムを用いて、口の動きを獲得し、かつこれをマンマシンインタフェースとして、利用する手法については、従来必ずしも明らかとはいえない。
【０００９】
本発明の目的は、計算負荷の軽い顔のトラッキングアルゴリズムを用いることで、口の動きをコンピュータ等への入力の支援に利用することが可能な入力支援装置を提供することである。
【課題を解決するための手段】
【００１０】
この発明のある局面に従うと、入力支援装置であって、ユーザの口領域および鼻領域を含む対象画像領域内の各画素データを動画として獲得する撮影手段と、対象画像領域内において、鼻孔を検出する鼻孔検出手段と、検出された鼻孔位置に対応する所定の探索領域において、口形状を検出する口形状検出手段と、口形状の複数のパターン情報と制御量とを予め関連付けて格納するための記憶手段と、記憶手段に格納された情報に基づいて、口形状に応じて制御量を特定するための信号を生成する制御信号生成手段とを備える。
【００１１】
好ましくは、鼻孔検出手段は、対象画像領域内において、所定の第１のウインドウ内の水平方向および垂直方向の輝度値の極小値から、鼻孔の位置を検出し、口形状検出手段は、第１のウインドウの下方の第２のウインドウ内で、赤色成分および輝度に基づいて、口腔領域を分離する。
【００１２】
好ましくは、鼻孔検出手段は、検出された２つの鼻孔の水平軸に対する傾きを検出し、口形状検出手段は、検出された傾きだけ傾けた矩形領域の第２のウインドウ内で、口腔領域を分離する。
【００１３】
好ましくは、鼻孔検出手段は、動画の各フレームにおいて、検出された２つの鼻孔の中点を検出し、次のフレームでの鼻孔の追跡にあたって、それ以前のフレームにおける中点の位置を外挿入した予測位置を用いて、当該次のフレームにおける中点を検出する。
【発明を実施するための最良の形態】
【００１４】
［実施の形態１］
［ハードウェア構成］
以下、本発明の実施の形態にかかる入力支援装置について説明する。この入力支援装置は、パーソナルコンピュータまたはワークステーション等、コンピュータ上で実行されるソフトウェアにより実現されるものであって、人物の顔の映像から、口の部分のうちの口腔領域（空いた口の領域）を抽出して、入力のための信号を生成するものである。
【００１５】
図１は、本発明の入力支援装置を用いた描画システム１００の構成を示す概略ブロック図である。
【００１６】
すなわち、以下では、本発明の入力支援装置の適用されるアプリケーションとして、描画アプリケーションを例にとって説明するが、以下の説明で明らかとなるように、本発明の入力支援装置の適用範囲は、必ずしもこのようなアプリケーションに限定されるものではなく、たとえば、コンピュータへの文字入力の際のマウスの役割を持たせたり、あるいは、携帯電話などでは、テンキーと組み合わせて文字入力を行なったり、さらには、コンピュータにおける作曲などのアプリケーションで、音程の制御等に用いたりすることも可能である。
【００１７】
図１を参照して、この描画システム１００は、パーソナルコンピュータなどのコンピュータ１１０と、コンピュータ１１０に接続された表示装置としてのディスプレイ１０８と、同じくコンピュータ１１０に接続された入力装置としてのキーボード１０６と、ディスプレイ１０８の下部に設置され、ユーザ２の口付近の画像を取込むためのカメラ１０２と、コンピュータ１１０からの信号に応じて、描画データを生成し、生成された描画データをコンピュータ１１０に送り返すことで、対応する画像をディスプレイ１０８に表示するための描画専用マシン１３０とを含む。なお、描画のための入力装置として、タブレットとペンをさらに備える構成としてもよい。
【００１８】
ペンおよびタブレットは、描画のための少なくとも線図データの入力を行なう入力装置であり、たとえば、図１に示した例では、描画される線の質（たとえば、ペンの大きさ（線の太さ）や硬さ（ペンの硬さの質感）や、線の透明度や色）のうち、いずれの質を入力支援装置により制御するかを口の形状を用いて選択する。
【００１９】
すなわち、ユーザ２の複数の口の形状と複数の線の太さとを予め対応付けたテーブルを用意しておき、カメラ２によりキャプチャされた画像から獲得した口の形状から、線の太さを選択する、というような制御を行なうことが可能である。
【００２０】
また、この実施の形態のシステムでは、カメラ１０２としては、たとえば、ＣＣＤ（固体撮像素子）を含むビデオカメラを用いて、画像データをデジタルデータとしてキャプチャする。
【００２１】
なお、図示しないが、コンピュータ１１０には、ＣＤ−ＲＯＭ（Compact Disc Read-Only Memory ）ドライブなど、外部の記録媒体からのデータを取り込むための装置が設けられているものとする。
【００２２】
さらに、図１を参照して、コンピュータ１１０は、バスＢＳそれぞれに接続された、ＣＰＵ（Central Processing Unit ）１１０４と、ＲＯＭ（Read Only Memory) １１０６と、ＲＡＭ（Random Access Memory）１１０８と、ハードディスク１１１０と、カメラ１０２からの画像を取り込み、入力装置からの信号を受け取り、また描画専用マシン１３０との間でデータを授受するためのインタフェース部１１０２とを含んでいる。
【００２３】
ここで、上述した「ユーザ２の複数の口の形状と複数の線の太さとを予め対応付けたテーブル」は、たとえば、ハードディスク１１１０内に格納されている。「口の形状」とは、「口腔の幅」または「口腔の高さ」としてもよいし、「口腔の幅と口腔の高さとのアスペクト比」としてもよい。なお、テーブルとして、他の制御量、たとえば、線の硬さ、線の透明度等と口の形状との対応関係を予めテーブルとしてハードディスク１１１０内に格納しておき、口の形状により、これらの量を制御することとしてもよい。
【００２４】
したがって、描画システム１００において描画専用マシン１３０以外の部分は、入力支援装置、言いかえると、描画の際のユーザ２に対するインタフェース装置として機能する。
【００２５】
既に述べたように、描画システム１００において入力支援装置として機能する、描画専用マシン１３０以外の部分の主要部は、ともに、コンピュータハードウェアと、ＣＰＵ１１０４により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアはＣＤ−ＲＯＭ等の記憶媒体に格納されて流通し、ＣＤ−ＲＯＭドライブ等により記憶媒体から読取られてハードディスク１１１０に一旦格納される。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから一旦ハードディスク１１１０にコピーされる。そうしてさらにハードディスク１１１０からＲＡＭ１１０８に読出されてＣＰＵ１１０４により実行される。なお、ネットワーク接続されている場合には、たとえば、ハードディスク１１１０に格納することなくＲＡＭ１１０８に直接ロードして実行するようにしてもよい。
【００２６】
図１に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、本発明の最も本質的な部分は、ＣＤ−ＲＯＭや、ハードディスク１１１０等の記憶媒体に記憶されたソフトウェアである。
【００２７】
なお、最近の一般的傾向として、コンピュータのオペレーティングシステムの一部として様々なプログラムモジュールを用意しておき、アプリケーションプログラムはこれらモジュールを所定の配列で必要な時に呼び出して処理を進める方式が一般的である。そうした場合、当該入力支援装置を実現するためのソフトウェア自体にはそうしたモジュールは含まれず、当該コンピュータでオペレーティングシステムと協働してはじめて入力支援装置が実現することになる。しかし、一般的なプラットフォームを使用する限り、そうしたモジュールまで含ませたソフトウェアを流通させる必要はなく、それらモジュールを含まないソフトウェア自体およびそれらソフトウェアを記録した記録媒体（およびそれらソフトウェアがネットワーク上を流通する場合のデータ信号）が実施の形態を構成すると考えることができる。
【００２８】
［ソフトウェア構成］
図２は、図１に示した描画システム１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。図２においては、コンピュータ１１０上で動作するソフトウェア１２００と、描画専用マシン１３０上で動作する描画モジュール１３００との関係を示している。
【００２９】
図２を参照して、カメラ１０２から入力された画像信号は、画像キャプチャ部１２０２により画像データとして取り込まれ（キャプチャされ）た後、画像反転部１２０４において、垂直線に対して反転されて表示部１０８に表示される。このような反転処理により、ユーザ２によって、カメラの位置を直感的に調整することを可能にしている。なお、実際には、キャプチャされた画像データは、表示部１０８に対応する画像が表示されるとともに、ハードディスク１１１０の所定の領域に格納されて、その後の演算処理を受けることになる。
【００３０】
キャプチャされた画像データは、口領域抽出部１２０６において、まず、鼻孔の位置検出が行なわれた後、この鼻孔の位置に対応した探索領域内で、画素（ピクセル）にそれぞれが対応している２値の数値アレイに変換され、この２値の数値アレイは、空いた口の部分（口腔に対応する部分）と他の部分とに分けられる。
【００３１】
空いた口の領域の面積は、口腔内の画素数を加算することによって計算される。このような空いた口の領域の面積や口の形状（幅、高さ）は、出力正規化部１２０８により、描画や彩色を制御する信号とするために正規化され、ＴＣＰ／ＩＰを経由して、描画モジュール１３００のようなアプリケーションプログラムに伝送される。
【００３２】
［システムの動作］
図３は、本発明の入力支援装置の機能的な概観を示すものである。
【００３３】
ユーザ２の顔の下側の領域の画像は、ディスプレイ１０８の下部に設置されたカメラ１０２で獲得される。このシステムは、鼻孔の検知とトラッキングを行なう。そしてこれによって口領域の位置を検出して、画像中の口腔領域を切り出す。口領域の幾何学的な特徴が、抽出され、アプリケーションプログラム、たとえば、描画プログラムへ送られる。
【００３４】
（鼻孔の検知およびトラッキング）
本発明において、鼻孔の検知およびトラッキングを行なう方法は、画素の輝度の勾配情報に基づいており、非特許文献２において使用されているアルゴリズムを改良したものである。
【００３５】
鼻孔は空洞であって表面ではないので、それらは、普通の照明の条件においては、それを囲む顔の領域よりも比較的暗くなっている。まっすぐに正面を向いた顔を考慮する場合、鼻孔を含む画像の小さなウインドウ領域において、強度パターンは、水平方向および垂直方向に移動するに従って、特徴的なプロファイルを示す。
【００３６】
（鼻孔の検知）
図４および図５は、鼻孔の検知処理の概念をより具体化して示す図である。
【００３７】
上述したような強度パターンの変化は、画像強度の射影空間において顕著である。本発明の入力支援装置のシステムでは、図４（ａ）に示すように、画像の特定の矩形領域において、初期的に鼻孔の位置決めを行なう。このような矩形領域は、適切に配置されたカメラ１０２で獲得される画像の全体領域の６分の１程度である。画像中で鼻孔の存在する領域は、たとえば、キャプチャされた画像中で、鼻孔のテンプレートとのマッチング等により、概略の位置を検出することができる。
【００３８】
さらに、鼻孔の正確な位置の獲得にあたって、画像の鼻孔を含む領域の強度の情報は、水平方向の領域に投影されて、ローパスフィルタ処理が行なわれる。図４（ｂ）に示すように、鼻孔はこのような射影されたグラフ中では、２つの極小点を有するパターンとなる。鼻孔の中心の水平座標をＮ1xおよびＮ2xとすると、これらは、２つの極小値によってその位置を評価することができる。
【００３９】
２つの鼻孔の垂直方向の座標Ｎ1ＹおよびＮ2Yは、図５（ｃ）に示すように、横幅が、たとえば、０．２５（|Ｎ1x−Ｎ2x|）のウインドウにおいて、画像の鼻孔を含む領域の強度の情報を、垂直方向の領域に投影して、ローパスフィルタ処理を行なうと、その極小値により、位置を求めることができる。
【００４０】
図５（ｄ）では、検出された結果は、鼻孔領域に重畳して示されている。
【００４１】
決定された鼻孔の中心位置の座標の組である、Ｎ1＝（Ｎ1x，Ｎ1y）およびＮ2＝（Ｎ2x，Ｎ2y）は、鼻孔の中心間のユークリッド距離ＤNを決定するために使用される。さらに、鼻孔の中心位置の座標の組は、鼻孔の中心間のラインと水平軸との角度ＡNと、鼻孔の中心のさらに中間の位置（中点）ＣNとを決定するためにも使用される。
【００４２】
（トラッキングの処理）
最初に鼻孔が検出されると、以後のフレームについては、鼻孔のトラッキング（追跡）が行なわれる。
【００４３】
すなわち、次以降のフレームにおいて、トラッキングするためには、矩形のウインドウが使用され、これによって、上述したようなパラメータ、距離ＤN、角度ＡN、位置ＣNも逐次評価される。
【００４４】
図６は、トラッキングを行なうウィンドウを示す図である。
【００４５】
図６において、横幅２．４ＤN、高さＤNの矩形領域が鼻孔の検知を行なうためのウィンドウである。
【００４６】
トラッキングを行なうアルゴリズムは、検知アルゴリズムとはやや異なり、ウインドウは、対象となるフレームで探索領域を抽出する前に、位置ＣNの周りに角度−ＡNの角度だけ回転されている。距離ＤNおよび角度ＡNは、以前に使用された値の所定数と現在の値との荷重平均によってスムージングされ、次のフレームに対する値として使用される。位置ＣNは、３つのフレームの間においては、等速度で動くという仮定の下に、以下に示すような式で、次のフレームの値が予想される。
【００４７】
ＣN(t+1)＝ＣN(t)＋α｛ＣN(t)−ＣN(t-1)｝
ここで、ＣN(t)は、ｔ番目のフレームにおける位置ＣNの値を示し、定数αは０．１と１との間の数である。
【００４８】
以上のような予測値で予測されたウィンドウを用いて、再び、図４（ｂ）や図５（ｃ）で説明した処理を繰り返すことで、当該フレームでの距離ＤN、角度ＡN、位置ＣNが評価されて確定される。
【００４９】
（口領域の分離）
口が含まれている画像の領域は、鼻孔の位置を使用することによって見積もられる。このような口腔領域の探索ウィンドウは、図６の下側の矩形で示される。探索ウィンドウは、幅がたとえば幅４ＤN、高さ３．５ＤNの矩形領域である・
探索ウインドウは、画素値を抽出する前に、鼻孔のトラッキングウィンドウと同様に回転されており、角度に依存する口の高さと幅というような口領域のパラメータが、容易に検出される。
【００５０】
口腔は、暗く見え、画像中では相対的に赤い領域となるので、ある第１のしきい値以上の赤色成分を有しており、かつ、他の第２のしきい値以下の輝度を有している画素を抽出することで切り出すことができる。このようなしきい値は、必要に応じて、ユーザによって調整することができる。このようなアルゴリズムは、カメラ１０２の代わりにヘッドマウントカメラを使用したシステムでも、うまく動作させることができる。
【００５１】
切り出された領域におけるノイズは、幅５ピクセルであって、高さ３ピクセルの近傍の画素に対して投票（Vote）アルゴリズムを使用することにより減少させている。
【００５２】
（口形状の評価）
分離された口領域の幾何学的な特徴を用いることで、以下のようなパラメータが抽出される。
【００５３】
まず、この口領域中のピクセルの個数は、口腔の面積ＡMと比例している。
【００５４】
この口領域の垂直方向に沿った画素の個数の標準偏差は、口腔の高さＨMに比例している。このような口領域の水平方向に沿った画素の個数の標準偏差は、口腔の幅ＷMに比例している。口腔領域のアスペクト比ＲMは、ＲM＝ＨM／ＷMによって与えられる。
【００５５】
ＨMおよびＷMを評価するにあたっては、口領域の画素の水平方向および垂直方向の個数の平均値によってもよいが、上述したように標準偏差に基づくと、すべての画素位置の関数となるので、ノイズによる感度に対する影響を最小化することができる。
【００５６】
［評価］
このシステムの入力デバイスとしての正確さについては、５つの評価タスクに基づく実験によって調べられている。
【００５７】
（評価タスク）
図７は、各評価タスクを説明するための概念図である。
【００５８】
図７（ａ）に示すように、円の半径を制御するタスクは、テストの主題は、口を開けた領域を、スクリーンに描かれた円の半径を制御することに用いて、その円の半径が、目標（ターゲット）となる四角形の円に接するまでそのような制御を行なうことである。
【００５９】
図７（ｂ）に示すように、高さの制御タスクが、口を開けることで、スクリーン上に書かれた矩形の高さを目標となる矩形に接するまで制御することにより行なわれる。
【００６０】
図７（ｃ）に示すように、幅の制御タスクは、口を開けることで、矩形の幅を変更させ、目標となる矩形の幅にそのエッジが接するまで制御を行なう。
【００６１】
図７（ｄ）に示すように、アスペクト比の制御タスクでは、これは高さ方向の制御タスクと同様なものであり、図７（ｅ）に示すように、楕円形の制御タスクは、口の高さおよび幅が、変化されて、楕円形の高さおよび幅を制御して、この楕円形のエッジが目標となる矩形に接するまで制御が続けられる。
【００６２】
（実験結果）
以下の関係式に従って、測定されたパラメータから、制御パラメータが決定される。
【００６３】
Ｐ／Ｐmax＝ｇＶi
ここで、Ｐmaxは、実験において制御されるパラメータＰの最大値であり、Ｖｉは、画像中において測定された値であり、ｇは、制御のためのゲインである。ゲインｇは、０と１の間のディメンジョンのないパラメータである。
【００６４】
半径や高さや幅やアスペクト比の制御タスクに対しては、目標となる矩形の半分の高さおよび半分の幅は、それぞれ、（５，２３，４２，６１，８０）の組の中の値とされている。ゲインｇの値は、これらのタスクにおいてそれぞれ独立な可変なパラメータである。この値は、それぞれ（０．２５，０．５，０．８）の組の中の値が使用されている。ゲインとターゲットの大きさの組合せのそれぞれが３回ずつ繰返され、全体として４５回の試行が行なわれた。
【００６５】
楕円の制御タスクに関しては、ｇは、規定値０．２５とされている。矩形の半分の大きさは、それぞれ（５，３０，５５，８０）のいずれかとされている。高さと幅のそれぞれの組合せが、２回ずつ提示され、結果として、３２回の試行が行なわれている。
【００６６】
テストは、３人の被験者に対して行なわれ、これらの被験者は、すべて、口によるコントローラの体験を以前したことがある人たちである。
【００６７】
被験者は、１９インチの液晶モニタから約６０ｃｍ離れたところに座っており、この液晶モニタは、１５５２×８６４ピクセルの解像度を有している。各試行は、全くランダムな順番で各ユーザに対して提示されている。各試行において、被験者は、ターゲットとなるサイズに応じて、円や矩形の半径やサイズを変化させ、左側のマスクボタンをクリックする。コンピュータは、次の試行に移る前に、３秒間にわたって、６７Ｈｚの周波数で、円や矩形の半径およびサイズを記録していく。ユーザは、試行の間で休憩をとることは許されている。各実験は、約１０分間を要している。
【００６８】
各実験に対して、以下のような計算が行なわれた。誤差の絶対値Ｅ（これは、目標となるサイズと実際に制御されたサイズとの差に相当する）が、制御の正確さを測定するために計算されている。平均的な大きさの標準偏差σが、入力の精度として計算された。
【００６９】
（結果）
図８および図９は、半径の制御タスクに対して得られた評価結果を示す図である。
【００７０】
図８（ａ）は、各ゲインｇの値に対して、すべてのターゲットのサイズにわたって、誤差Ｅを平均したものをプロットしたものであり、図８（ｂ）は、それらに対する標準偏差をプロットしたものである。
【００７１】
正確さと精度はともに、ゲインの大きさｇには大きくは依存していないことは明らかであり、これらの値は、すべて約１画素に近い。
【００７２】
図９（ａ）および図９（ｂ）は、それぞれ、異なったゲインｇの値に対する、ターゲットとなる半径にわたっての誤差および標準偏差のそれぞれの変化を示している。
【００７３】
平均誤差および標準偏差は、ターゲットの半径が大きくなるに従って大きくなっている。高さ、幅およびアスペクト比の制御タスクに関しては、その値の大きさや、変化の傾向は、すべて、半径制御タスクと同様である。このような全体の結果は、より正確で、より的確な制御が、小さなサイズのターゲットに対しては可能であるものの、ゲインにはその正確さは大きくは依存しないことを示している。入力は、正確さに関しても、精度に関しても約１画素分の値を有している。
【００７４】
図１０は、楕円制御のタスクの評価結果を示す図である。図１０（ａ）および図１０（ｂ）は、それぞれ、幅と高さの入力に対する最小絶対誤差をプロットしたものである。違った目標となる高さや幅に対して、それぞれプロットが行なわれている。正確さは、小さな目標の幅に対しては大変低くなっており、このことは、高さおよび幅の組合せにこれは、口をこのように２つの方向に動かすことが全く完全には独立した動作でないことによる。これは、したがって身体の構造上の限界であって、コンピュータによる画像システムの限界ではない。
【００７５】
以上説明したように、本発明の計算負荷の軽い顔のトラッキングプログラムは、トラッキングを行なうにあたって、主たる目印となる部分として、鼻孔（鼻の穴）を使用している。デスクトップ上あるいは、コンピュータモニタの下側に配置されたカメラによって、このような鼻孔と口腔は、容易に可視化できる。顔の下側の部分にフォーカスすることによって、利用できる画素を有効に使用することができ、口領域の解像度をより高くすることができる。カメラがローアングルであることは、携帯電話やアルムトップコンピュータのように、携帯型の応用にも適切なものである。
【００７６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【図面の簡単な説明】
【００７７】
【図１】本発明の入力支援装置を用いた描画システム１００の構成を示す概略ブロック図である。
【図２】図１に示した描画システム１００上で動作するソフトウェアの構成を説明するための機能ブロック図である。
【図３】本発明の入力支援装置の機能的な概観を示すものである。
【図４】鼻孔の検知処理の概念をより具体化して示す第１の図である。
【図５】鼻孔の検知処理の概念をより具体化して示す第２の図である。
【図６】トラッキングを行なうウィンドウを示す図である。
【図７】各評価タスクを説明するための概念図である。
【図８】半径の制御タスクに対して得られた評価結果を示す第１の図である。
【図９】半径の制御タスクに対して得られた評価結果を示す第２の図である。
【図１０】楕円制御のタスクの評価結果を示す図である。
【符号の説明】
【００７８】
２ ユーザ、１００ 描画システム、１０２ カメラ、１０６ キーボード、１０８ ディスプレイ、１１０ コンピュータ、１３０ 描画専用マシン。
【特許請求の範囲】
【請求項１】
ユーザの口領域および鼻領域を含む対象画像領域内の各画素データを動画として獲得する撮影手段と、
前記対象画像領域内において、鼻孔を検出する鼻孔検出手段と、
前記検出された鼻孔位置に対応する所定の探索領域において、口形状を検出する口形状検出手段と、
前記口形状の複数のパターン情報と制御量とを予め関連付けて格納するための記憶手段と、
前記記憶手段に格納された情報に基づいて、前記口形状に応じて前記制御量を特定するための信号を生成する制御信号生成手段とを備える、入力支援装置。
【請求項２】
前記鼻孔検出手段は、前記対象画像領域内において、所定の第１のウインドウ内の水平方向および垂直方向の輝度値の極小値から、前記鼻孔の位置を検出し、
前記口形状検出手段は、前記第１のウインドウの下方の第２のウインドウ内で、赤色成分および輝度に基づいて、口腔領域を分離する、請求項１記載の入力支援装置。
【請求項３】
前記鼻孔検出手段は、検出された２つの前記鼻孔の水平軸に対する傾きを検出し、
前記口形状検出手段は、検出された前記傾きだけ傾けた矩形領域の前記第２のウインドウ内で、前記口腔領域を分離する、請求項２記載の入力支援装置。
【請求項４】
前記鼻孔検出手段は、前記動画の各フレームにおいて、前記検出された２つの前記鼻孔の中点を検出し、
次のフレームでの前記鼻孔の追跡にあたって、それ以前のフレームにおける前記中点の位置を外挿入した予測位置を用いて、当該次のフレームにおける中点を検出する、請求項２記載の入力支援装置。
【請求項１】
ユーザの口領域および鼻領域を含む対象画像領域内の各画素データを動画として獲得する撮影手段と、
前記対象画像領域内において、鼻孔を検出する鼻孔検出手段と、
前記検出された鼻孔位置に対応する所定の探索領域において、口形状を検出する口形状検出手段と、
前記口形状の複数のパターン情報と制御量とを予め関連付けて格納するための記憶手段と、
前記記憶手段に格納された情報に基づいて、前記口形状に応じて前記制御量を特定するための信号を生成する制御信号生成手段とを備える、入力支援装置。
【請求項２】
前記鼻孔検出手段は、前記対象画像領域内において、所定の第１のウインドウ内の水平方向および垂直方向の輝度値の極小値から、前記鼻孔の位置を検出し、
前記口形状検出手段は、前記第１のウインドウの下方の第２のウインドウ内で、赤色成分および輝度に基づいて、口腔領域を分離する、請求項１記載の入力支援装置。
【請求項３】
前記鼻孔検出手段は、検出された２つの前記鼻孔の水平軸に対する傾きを検出し、
前記口形状検出手段は、検出された前記傾きだけ傾けた矩形領域の前記第２のウインドウ内で、前記口腔領域を分離する、請求項２記載の入力支援装置。
【請求項４】
前記鼻孔検出手段は、前記動画の各フレームにおいて、前記検出された２つの前記鼻孔の中点を検出し、
次のフレームでの前記鼻孔の追跡にあたって、それ以前のフレームにおける前記中点の位置を外挿入した予測位置を用いて、当該次のフレームにおける中点を検出する、請求項２記載の入力支援装置。
【図１】
【図２】
【図８】
【図９】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【図２】
【図８】
【図９】
【図３】
【図４】
【図５】
【図６】
【図７】
【図１０】
【公開番号】特開２００６−４８４８５（Ｐ２００６−４８４８５Ａ）
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願番号】特願２００４−２３０５６７（Ｐ２００４−２３０５６７）
【出願日】平成１６年８月６日（２００４．８．６）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
【公開日】平成１８年２月１６日（２００６．２．１６）
【国際特許分類】
【出願日】平成１６年８月６日（２００４．８．６）
【国等の委託研究の成果に係る記載事項】（出願人による申告）平成１６年度独立行政法人情報通信研究機構、研究テーマ「超高速知能ネットワーク社会に向けた新しいインタラクション・メディアの研究開発」に関する委託研究、産業活力再生特別措置法第３０条の適用を受ける特許出願
【出願人】（３９３０３１５８６）株式会社国際電気通信基礎技術研究所 (905)
【Ｆターム（参考）】
[ Back to top ]