情報処理装置、単語判別装置、画面表示操作装置、単語登録装置およびこれらに関する方法ならびにプログラム
【課題】ユーザの口の映像のみによって情報処理や単語の判別を行ったり、画面表示の操作を可能にしたり、単語登録を行う情報処理装置、単語判別装置、画面表示操作装置、単語登録装置およびこれらの方法ならびにプログラムを得ること。
【解決手段】単語画像抽出手段２２は、唇画像領域抽出手段２１によって抽出した唇画像についての経時的変化を１単位の単語画像として抽出する。パターン比較手段２５は、単語画像から抽出により得られた単語発声パターンを単語辞書２４と比較して装置の操作の対象となる単語を特定する。
【解決手段】単語画像抽出手段２２は、唇画像領域抽出手段２１によって抽出した唇画像についての経時的変化を１単位の単語画像として抽出する。パターン比較手段２５は、単語画像から抽出により得られた単語発声パターンを単語辞書２４と比較して装置の操作の対象となる単語を特定する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パーソナルコンピュータや携帯電話機等の各種の情報処理装置、これに使用される単語判別装置、画面表示の操作を行う画面表示操作装置、単語登録を行う単語登録装置およびこれらの方法ならびにプログラムに関する。
【背景技術】
【０００２】
パーソナルコンピュータや携帯電話機等の各種の情報処理装置では、ディスプレイ上に各種操作に関する情報を表示して、キーボードや操作パネルあるいはマウス等のポインティングデバイスを用いて、入力操作を行うことが多い。
【０００３】
図２５は、本発明の第１の関連技術の情報処理装置としての携帯電話機の外観を表わしたものである。この携帯電話機２００は、第１の筐体２０１と第２の筐体２０２をヒンジ機構２０３で折り畳み自在に連結した折り畳み型の電話機である。第１の筐体２０１にはディスプレイ２０５が配置され、第２の筐体２０２における折り畳み時にディスプレイ２０５と対向する面には操作部２０６が配置されている。
【０００４】
この携帯電話機２００を例に採れば、ユーザはディスプレイ２０５に表示されたメニュー画面等の画面内容を見て、操作部２０６の決定キー２０６Ａや方向キー２０６Ｂ、あるいはダイヤルキー２０６Ｃ等のキー操作を行って、電子メールの送信や情報の検索等の必要な処理を実行する。ディスプレイ２０５にタッチパネルが付属している場合には、所望の表示部位を指やペンで押下することによっても、各種の操作が可能である。
【０００５】
ところで、このような操作は、ユーザの手によって行われるのを前提としている。したがって、手の不自由な人にとって多くの情報処理装置は、使い勝手の悪いインタフェースを備えた装置となる。また、手に特別の障害がない人にとっても、これらの情報処理装置を多用することは手に過度の負担を掛け、好ましくない。
【０００６】
特にこの種の情報処理装置では、メニュー画面からユーザの所望の項目を選択するような場合、メニューが多くの階層に分類されている場合が多い。このような場合には、キーの押下等の手による操作を繰り返す必要があり、手の不自由な人に大きな負担を強いることになる。
【０００７】
そこで、本発明の第２の関連技術として、レーザポインタと空気で作動するスイッチを用いてマウスカーソルを画面上で移動させたりクリックするパソコン入力装置が提案されている（たとえば特許文献１参照）。この第１の関連技術では、レーザポインタをユーザの頭部に取り付けておき、レーザビームをディスプレイ上に照射して、その位置をカメラで検出することで、マウスカーソルの移動制御を行う。また、ユーザの口元にチューブをセットして呼気または吸気によってスイッチを作動させることで、クリックを実現する。
【０００８】
この第２の関連技術では、ユーザがレーザポインタやこの画像を取得するカメラおよび空気で作動する特殊なスイッチを用意する必要がある。また、ユーザは入力操作を行っている間、頭部の姿勢と目の視点および口の自由度を奪われるという問題がある。
【０００９】
そこで、第３の関連技術として、目の動きと口の形状認識を利用した文字入力装置が提案されている（たとえば特許文献２参照）。この第３の関連技術では、使用者の映像（顔の位置、向き、目の方向など）および母音を発声した時の映像（口形状）の画像データを辞書として保存しておき、使用者が入力しようと見つめている行の文字を選定するようにしている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−０６３１０１号公報（第００２８段落、第００２９段落、図１）
【特許文献２】特開２００２−２６９５４４号公報（請求項１、第０００７段落〜第００１１段落、第００２４段落、図１）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
この第３の関連技術では、入力したい文字の母音の口の動きをカメラで読み取り、行を選択するボタンを表示して、ボタンを見つめた映像と合わせて文字の判別を行う。したがって、第３の関連技術を実施するためには、ユーザが行のボタンを目で追って、該当する行を見つけてこれを目で見つめている状態でその行の文字を１文字分だけ発声する必要がある。語句を通常の速度でしゃべった場合には、該当する行を目でいちいち追跡することが不可能なためである。このため、文字の入力速度がかなり低下するだけでなく、視点を頻繁に変更しなければならないので、目が疲れるという問題が生じる。
【００１２】
そこで、第３の関連技術では、行の方はキー入力によって決定してもよいとしているが、これでは手の不自由な人の操作を排除することになる。
【００１３】
そこで本発明の目的は、ユーザの口の映像のみによって情報処理や単語の判別を行ったり、画面表示の操作を可能にしたり、単語登録を行う情報処理装置、単語判別装置、画面表示操作装置、単語登録装置およびこれらの方法ならびにプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明では、（イ）各種の情報を視覚的に表示するディスプレイと、（ロ）このディスプレイを使用する操作者の口を少なくとも撮影する撮像手段と、（ハ）この撮像手段によって得られた操作者の口の画像の経時的な変化を判別する変化判別手段と、（ニ）この変化判別手段の判別結果に応じて判別結果と対応付けた予め定めた特定の操作を実行する特定操作実行手段とを情報処理装置が具備する。
【００１５】
また、本発明では、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、（ロ）この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、（ハ）この単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、（ニ）この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、（ホ）前記した単語発声パターン記録手段で記録した認識の対象となる単語発声パターンを前記した単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、（へ）このパターン比較手段による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別手段とを単語判別装置が具備する。
【００１６】
更に本発明では、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、（ロ）この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、（ハ）この単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、（ニ）前記した単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、（ホ）前記した閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記した母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、（へ）前記した単語画像抽出手段によって抽出した単語画像における前記した閉タイミング測定手段で測定したそれぞれのタイミングおよび前記した母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記した単語辞書における前記した組み合わせと比較する比較手段と、（ト）この比較手段で最も一致すると判別した前記した単語辞書における前記した組み合わせに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別手段とを単語判別装置が具備する。
【００１７】
更にまた本発明では、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、（ロ）この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、（ハ）この単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、（ニ）この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、（ホ）前記した単語発声パターン記録手段で記録した認識の対象となる単語発声パターンを前記した単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、（へ）このパターン比較手段による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別手段と、（ト）各種の情報を表示するディスプレイと、（チ）前記した単語判別手段で判別した単語に対応する操作内容でこのディスプレイ上に表示された表示内容を操作する内容操作手段とを画面表示操作装置が具備する。
【００１８】
また、本発明では、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、（ロ）この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、（ハ）この単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、（ニ）前記した単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、（ホ）前記した閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記した母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、（へ）前記した単語画像抽出手段によって抽出した単語画像における前記した閉タイミング測定手段で測定したそれぞれのタイミングおよび前記した母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記した単語辞書における前記した組み合わせと比較する比較手段と、（ト）この比較手段で最も一致すると判別した前記した単語辞書における前記した組み合わせに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別手段と、（チ）各種の情報を表示するディスプレイと、（リ）前記した単語判別手段で判別した単語に対応する操作内容でこのディスプレイ上に表示された表示内容を操作する内容操作手段とを画面表示操作装置が具備する。
【００１９】
更に本発明では、（イ）単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、（ロ）この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出手段と、（ハ）この登録対象単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、（ニ）この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、（ホ）前記した単語発声パターン記録手段で記録した単語登録の対象となる単語発声パターンを前記した単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、（へ）このパターン比較手段による比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別手段とを単語登録装置が具備する。
【００２０】
更にまた本発明では、（イ）単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、（ロ）この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出手段と、（ハ）この登録対象単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、（ニ）前記した登録対象単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、（ホ）前記した閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記した母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、（へ）前記した登録対象単語画像抽出手段によって抽出した単語画像における前記した閉タイミング測定手段で測定したそれぞれのタイミングおよび前記した母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記した単語辞書における前記した組み合わせと比較する比較手段と、（ト）この比較手段による比較の結果、所定の値以上近似しないと判別した前記した組み合わせに対応する未登録の単語のみを単語登録可能とする登録単語可否判別手段とを単語登録装置が具備する。
【００２１】
また、本発明では、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、（ロ）この唇画像領域抽出ステップで抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、（ハ）この単語画像抽出ステップによって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録ステップと、（ニ）この単語発声パターン記録ステップで記録した認識の対象となる単語発声パターンを、前記した単語発声パターン記録ステップで予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較ステップと、（ホ）このパターン比較ステップによる比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別ステップとを単語判別方法が具備する。
【００２２】
更に本発明では、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、（ロ）この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、（ハ）この単語画像抽出ステップによって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定ステップと、（ニ）前記した単語画像抽出ステップによって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別ステップと、（ホ）前記した単語画像抽出ステップによって抽出した単語画像における前記した閉タイミング測定ステップで測定したそれぞれのタイミングおよび前記した母音判別ステップで判別した単語を構成するそれぞれの母音の組み合わせを、前記した閉タイミング測定ステップで測定したそれぞれのタイミングと前記した母音判別ステップで判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較ステップと、（へ）この比較ステップによる比較の結果、最も一致すると判別した前記した単語辞書における前記した組み合わせに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別ステップとを単語判別方法が具備する。
【００２３】
更にまた本発明では、コンピュータに、単語判別プログラムとして、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、（ロ）この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出処理と、（ハ）この単語画像抽出処理によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定処理と、（ニ）前記した単語画像抽出処理によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別処理と、（ホ）前記した単語画像抽出処理によって抽出した単語画像における前記した閉タイミング測定処理で測定したそれぞれのタイミングおよび前記した母音判別処理で判別した単語を構成するそれぞれの母音の組み合わせを、前記した閉タイミング測定処理で測定したそれぞれのタイミングと前記した母音判別処理で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較処理と、（へ）この比較処理による比較の結果、最も一致すると判別した前記した単語辞書における前記した組み合わせに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別処理とを実行させることを特徴とする。
【発明の効果】
【００２４】
以上説明したように本発明によれば、携帯電話機や小型のパーソナルコンピュータ等の情報処理装置に付属していることの多いカメラ（撮像装置）を活用することで、新たなデバイスを使用することなく操作者の口の画像の変化を基に予め定めた特定の操作を実行することができる。また、カメラ（撮像装置）が付属していない情報処理装置であっても、ＵＳＢ（Universal Serial Bus）接続等の手法によって、安価に本発明を実現することができる。
【００２５】
また、更に本発明によれば、母音の判別だけでなく単語画像における上下の唇が閉じられるタイミングの測定も行うことにした。これにより母音と両唇音の組み合わせによる単語認識が可能になり、辞書として登録する単語の数を装置の操作に必要な程度まで増加させることが可能になる。
【図面の簡単な説明】
【００２６】
【図１】本発明の情報処理装置のクレーム対応図である。
【図２】本発明の単語判別装置のクレーム対応図である。
【図３】本発明の他の単語判別装置クレーム対応図である。
【図４】本発明の画面表示操作装置のクレーム対応図である。
【図５】本発明の他の画面表示操作装置のクレーム対応図である。
【図６】本発明の単語登録装置のクレーム対応図である。
【図７】本発明の他の単語登録装置のクレーム対応図である。
【図８】本発明の単語判別方法のクレーム対応図である。
【図９】本発明の他の単語判別方法のクレーム対応図である。
【図１０】本発明の単語判別プログラムのクレーム対応図である。
【図１１】本発明の実施の形態における画面表示操作装置としての携帯電話機の構成を表わした平面図である。
【図１２】本実施の形態の携帯電話機の回路構成の概要を表わしたブロック図である。
【図１３】日本語の母音と唇の開口部の形状の関係を大まかに示した説明図である。
【図１４】本実施の形態で携帯電話機のメニュー画面呼び出しと音声による単語登録モードの処理の概要を表わした流れ図である。
【図１５】本実施の形態でステップＳ４０１の処理が行われるときの携帯電話機とユーザの顔の位置関係を示した説明図である。
【図１６】本実施の形態で単語辞書に登録した単語発声パターンについて、発声内容と解析結果および辞書の登録内容の一例を示した説明図である。
【図１７】本実施の形態でディスプレイの表示内容の一例を示した平面図である。
【図１８】本実施の形態でユーザが発声によってディスプレイの表示内容の操作を行う場合の処理の流れを示した流れ図である。
【図１９】本実施の形態で図１４のステップＳ４０４による単語登録の処理の流れを具体的に表わした流れ図である。
【図２０】本発明の第１の変形例で話者としてのユーザが単語を１音ずつ発声するときの画像の変化の様子を表わした説明図である。
【図２１】第１の変形例におけるディスプレイの表示例を示した平面図である。
【図２２】第１の変形例における第１および第２のウィンドウのアクティブとノンアクティブの切替制御の様子を表わした説明図である。
【図２３】この第１の変形例における第２の例として「タブ１」〜「タブ４」の選択を示した説明図である。
【図２４】本発明の第２の変形例における画面表示操作装置を示した斜視図である。
【図２５】本発明の第１の関連技術の情報処理装置としての携帯電話機の外観を表わした平面図である。
【発明を実施するための形態】
【００２７】
図１は、本発明の情報処理装置のクレーム対応図を示したものである。本発明の情報処理装置１０は、ディスプレイ１１と、撮像手段１２と、変化判別手段１３と、特定操作実行手段１４を備えている。ここで、ディスプレイ１１は、各種の情報を視覚的に表示する。撮像手段１２は、ディスプレイ１１を使用する操作者の口を少なくとも撮影する。変化判別手段１３は、撮像手段１２によって得られた操作者の口の画像の経時的な変化を判別する。特定操作実行手段１４は、変化判別手段１３の判別結果に応じて判別結果と対応付けた予め定めた特定の操作を実行する。
【００２８】
図２は、本発明の単語判別装置のクレーム対応図を示したものである。本発明の単語判別装置２０は、唇画像領域抽出手段２１と、単語画像抽出手段２２と、単語発声パターン記録手段２３と、単語辞書２４と、パターン比較手段２５と、単語判別手段２６を備えている。ここで、唇画像領域抽出手段２１は、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出手段２２は、唇画像領域抽出手段２１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。単語発声パターン記録手段２３は、単語画像抽出手段２２によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する。単語辞書２４は、単語発声パターン記録手段２３あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けたものである。パターン比較手段２５は、単語発声パターン記録手段２３で記録した認識の対象となる単語発声パターンを単語辞書２４内の各単語についての単語発声パターンと比較する。単語判別手段２６は、パターン比較手段２５で最も一致すると判別した単語発声パターンに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する。
【００２９】
図３は、本発明の他の単語判別装置のクレーム対応図を示したものである。本発明の他の単語判別装置３０は、唇画像領域抽出手段３１と、単語画像抽出手段３２と、閉タイミング測定手段３３と、母音判別手段３４と、単語辞書３５と、比較手段３６と、単語判別手段３７を備えている。ここで、唇画像領域抽出手段３１は、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出手段３２は、唇画像領域抽出手段３１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。閉タイミング測定手段３３は、単語画像抽出手段３２によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する。母音判別手段３４は、単語画像抽出手段３２によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する。単語辞書３５は、閉タイミング測定手段３３あるいはこれと同等の手段によって測定したそれぞれのタイミングと母音判別手段３４あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語について用意したものである。比較手段３６は、単語画像抽出手段３２によって抽出した単語画像における閉タイミング測定手段３３で測定したそれぞれのタイミングおよび母音判別手段３４で判別した単語を構成するそれぞれの母音の組み合わせを単語辞書３５における前記した組み合わせと比較する。単語判別手段３７は、比較手段３６による比較の結果、最も一致すると判別した単語辞書３５における前記した組み合わせに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する。
【００３０】
図４は、本発明の画面表示操作装置のクレーム対応図を示したものである。本発明の画面表示操作装置４０は、唇画像領域抽出手段４１と、単語画像抽出手段４２と、単語発声パターン記録手段４３と、単語辞書４４と、パターン比較手段４５と、単語判別手段４６と、ディスプレイ４７と、内容操作手段４８を備えている。ここで、唇画像領域抽出手段４１は、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出手段４２は、唇画像領域抽出手段４１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。単語発声パターン記録手段４３は、単語画像抽出手段４２によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する。単語辞書４４は、単語発声パターン記録手段４３あるいはこれと同等の手段によって予め記録しておいた単語発声パターンの標準的なものを複数の単語について集めたものである。パターン比較手段４５は、単語発声パターン記録手段４３で記録した認識の対象となる単語発声パターンを単語辞書４４内の各単語についての単語発声パターンと比較する。単語判別手段４６は、パターン比較手段４５で最も一致すると判別した単語発声パターンに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する。ディスプレイ４７は、各種の情報を表示する。内容操作手段４８では、単語判別手段４６で判別した単語に対応する操作内容でこのディスプレイ４７上に表示された表示内容を操作する。
【００３１】
図５は、本発明の他の画面表示操作装置のクレーム対応図を示したものである。本発明の他の画面表示操作装置５０は、唇画像領域抽出手段５１と、単語画像抽出手段５２と、閉タイミング測定手段５３と、母音判別手段５４と、単語辞書５５と、比較手段５６と、単語判別手段５７と、ディスプレイ５８と、内容操作手段５９を備えている。ここで、唇画像領域抽出手段５１は、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出手段５２は、唇画像領域抽出手段５１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。閉タイミング測定手段５３は、単語画像抽出手段５２によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する。母音判別手段５４は、単語画像抽出手段５２によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する。単語辞書５５は、閉タイミング測定手段５３あるいはこれと同等の手段によって測定したそれぞれのタイミングと母音判別手段５４あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語について用意したものである。比較手段５６は、単語画像抽出手段５２によって抽出した単語画像における閉タイミング測定手段５３で測定したそれぞれのタイミングおよび母音判別手段５４で判別した単語を構成するそれぞれの母音の組み合わせを単語辞書５５と比較する。単語判別手段５７は、比較手段５６で最も一致すると判別した単語辞書の単語を前記した認識の対象とする人物の発声した単語であると判別する。ディスプレイ５８は、各種の情報を表示する。内容操作手段５９は、単語判別手段５７で判別した単語に対応する操作内容でこのディスプレイ５８上に表示された表示内容を操作する。
【００３２】
図６は、本発明の単語登録装置のクレーム対応図を示したものである。本発明の単語登録装置６０は、唇画像領域抽出手段６１と、登録対象単語画像抽出手段６２と、単語発声パターン記録手段６３と、単語辞書６４と、パターン比較手段６５と、登録単語可否判別手段６６を備えている。ここで、唇画像領域抽出手段６１は、単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。登録対象単語画像抽出手段６２は、唇画像領域抽出手段６１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する。単語発声パターン記録手段６３は、登録対象単語画像抽出手段６２によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する。単語辞書６４は、単語発声パターン記録手段６３あるいはこれと同等の手段によって予め記録しておいた単語発声パターンの標準的なものを複数の単語について集めたものである。パターン比較手段６５は、単語発声パターン記録手段６３で記録した単語登録の対象となる単語発声パターンを単語辞書６４内の各単語についての単語発声パターンと比較する。登録単語可否判別手段６６は、パターン比較手段６５で所定の値以上近似しないと判別した未登録の単語のみを単語登録可能とする。
【００３３】
図７は、本発明の他の単語登録装置のクレーム対応図を示したものである。本発明の他の単語登録装置７０は、唇画像領域抽出手段７１と、登録対象単語画像抽出手段７２と、閉タイミング測定手段７３と、母音判別手段７４と、単語辞書７５と、比較手段７６と、登録単語可否判別手段７７を備えている。ここで、唇画像領域抽出手段７１は、単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。登録対象単語画像抽出手段７２は、唇画像領域抽出手段７１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する。閉タイミング測定手段７３は、登録対象単語画像抽出手段７２によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する。母音判別手段７４は、登録対象単語画像抽出手段７２によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する。単語辞書７５は、閉タイミング測定手段７３あるいはこれと同等の手段によって測定したそれぞれのタイミングと母音判別手段７４あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語について用意したものである。比較手段７６は、登録対象単語画像抽出手段７２によって抽出した単語画像における閉タイミング測定手段７３で測定したそれぞれのタイミングおよび母音判別手段７４で判別した単語を構成するそれぞれの母音の組み合わせを単語辞書７５と比較する。登録単語可否判別手段７７は、比較手段７６で所定の値以上近似しないと判別した未登録の単語のみを単語登録可能とする。
【００３４】
図８は、本発明の単語判別方法のクレーム対応図を示したものである。本発明の単語判別方法８０は、唇画像領域抽出ステップ８１と、単語画像抽出ステップ８２と、単語発声パターン記録ステップ８３と、パターン比較ステップ８４と、単語判別ステップ８５を備えている。ここで、唇画像領域抽出ステップ８１では、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出ステップ８２では、唇画像領域抽出ステップ８１で抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。単語発声パターン記録ステップ８３では、単語画像抽出ステップ８２によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する。パターン比較ステップ８４では、単語発声パターン記録ステップ８３で記録した認識の対象となる単語発声パターンを、単語発声パターン記録ステップ８３で予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較する。単語判別ステップ８５では、パターン比較ステップ８４で最も一致すると判別した単語発声パターンに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する。
【００３５】
図９は、本発明の他の単語判別方法のクレーム対応図を示したものである。本発明の他の単語判別方法９０は、唇画像領域抽出ステップ９１と、単語画像抽出ステップ９２と、閉タイミング測定ステップ９３と、母音判別ステップ９４と、比較ステップ９５と、単語判別ステップ９６を備えている。ここで、唇画像領域抽出ステップ９１では、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出ステップ９２では、唇画像領域抽出ステップ９１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。閉タイミング測定ステップ９３では、単語画像抽出ステップ９２によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する。母音判別ステップ９４では、単語画像抽出ステップ９２によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する。比較ステップ９５では、単語画像抽出ステップ９２によって抽出した単語画像における閉タイミング測定ステップ９３で測定したそれぞれのタイミングおよび母音判別ステップ９４で判別した単語を構成するそれぞれの母音の組み合わせを、閉タイミング測定ステップ９３で測定したそれぞれのタイミングと母音判別ステップ９４で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書における前記した組み合わせと比較する。単語判別ステップ９６では、比較ステップ９５で最も一致すると判別した単語辞書の単語を前記した認識の対象とする人物の発声した単語であると判別する。
【００３６】
図１０は、本発明の単語判別プログラムのクレーム対応図を示したものである。本発明の単語判別プログラム１００は、コンピュータに、唇画像領域抽出処理１０１と、単語画像抽出処理１０２と、閉タイミング測定処理１０３と、母音判別処理１０４と、比較処理１０５と、単語判別処理１０６を実行させるようにしている。ここで、唇画像領域抽出処理１０１では、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出処理１０２では、唇画像領域抽出処理１０１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。閉タイミング測定処理１０３では、単語画像抽出処理１０２によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する。母音判別処理１０４では、単語画像抽出処理１０２によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する。比較処理１０５では、単語画像抽出処理１０２によって抽出した単語画像における閉タイミング測定処理１０３で測定したそれぞれのタイミングおよび母音判別処理１０４で判別した単語を構成するそれぞれの母音の組み合わせを、閉タイミング測定処理１０３で測定したそれぞれのタイミングと母音判別処理１０４で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書における前記した組み合わせと比較する。単語判別処理１０６では、比較処理１０５で最も一致すると判別した単語辞書の単語を前記した認識の対象とする人物の発声した単語であると判別する。
【００３７】
＜発明の実施の形態＞
【００３８】
次に本発明の実施の形態を説明する。
【００３９】
図１１は、本発明の実施の形態における画面表示操作装置としての携帯電話機の構成を表わしたものである。携帯電話機３００は、第１の筐体３０１と第２の筐体３０２をヒンジ機構３０３で折り畳み自在に連結した折り畳み型の電話機である。第１の筐体３０１には中央にディスプレイ３０５が配置され、その右上には撮像装置３０６が配置されている。また、第２の筐体３０２における折り畳み時にディスプレイ３０５と対向する面には操作部３０７が配置されている。操作部３０７には、決定キー３０７Ａや方向キー３０７Ｂ、ダイヤルキー３０７Ｃ等の各種のキーが配置されている。
【００４０】
図１２は、本実施の形態における携帯電話機の回路構成の概要を表わしたものである。携帯電話機３００は、ＣＰＵ（Central Processing Unit）３２１と、このＣＰＵ３２１が実行するプログラムを格納したメモリ３２２を備えた主制御部３２３を有している。主制御部３２３は、データバス等のバス３２４を通じて携帯電話機３００の各部と接続されており、これらの制御を行うようになっている。
【００４１】
このうち通信制御部３２５は、図示しない基地局との通信を制御する。撮像装置３０６は静止画および動画の撮影を行う。表示制御装置３２６は、ディスプレイ３０５の表示を制御する。操作部３０７はキー入力によって携帯電話機３００の各種操作を行う。本実施の形態の携帯電話機では、ディスプレイ３０５の表示内容と対応付けて、唇の画像を用いた入力操作も可能である。
【００４２】
単語辞書３２７は、単語発声パターンの標準的なものを複数の単語について集めたものである。ここで単語発声パターンとは、ユーザが複数の音からなる単語を発声したときに、上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化をパターン化したものである。単語判別部３２８はユーザが発声によって各種操作を行うときに使用する単語についての単語発声パターンを、辞書に登録した標準的な単語発声パターンと比較することによって判別するようになっている。画像メモリ３２９は、撮像装置３０６から得られた画像データを格納する。唇画像領域抽出部３３０は、ユーザの顔の画像から唇の画像を抽出する。唇の検出には、たとえば動的輪郭モデル（SNAKES）を用いることができる。また、顔を特定し、その周囲よりも赤い領域を判別することでも唇の検出を行うことができる。
【００４３】
単語画像抽出部３３１は、ユーザが単語を発声する際の唇の画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として画像メモリ３２９から抽出する。閉タイミング測定部３３２はユーザが単語を発声したときの上下の唇の閉じるタイミングをそれぞれ測定する。母音判別部３３３は、単語画像抽出部３３１の抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する。一般機能部３３４は、携帯電話機としての一般的な機能として、本実施の形態の携帯電話機３００に備えられている機能をまとめた部分である。たとえば本実施の形態の携帯電話機３００がテレビジョンの受信機能や電子決済の機能を備えている場合、これらの機能は一般機能部３３４に存在している。
【００４４】
このような携帯電話機３００を構成する主制御部３２３以外の少なくとも一部は、ＣＰＵ３２１がメモリ３２２に格納されたプログラムを実行することによってソフトウェア的に実現することができる。
【００４５】
図１３は、日本語の母音と唇の開口部の形状の関係を大まかに示したものである。母音は、声帯の震えを伴う有声音であり、ある程度の時間以上同一の音が持続して発せられる点で子音と異なる。日本語の場合には母音は「ア」、「イ」、「ウ」、「エ」、「オ」の各音からなる。
【００４６】
個々の母音は口の大きさや口の開口部の形状と舌の前後の位置との組み合わせによって外見上で特定することができる。しかしながら撮像装置３０６を用いて舌の前後の位置を特定することは困難である。そこで本実施の形態では、ユーザが単語を発声したときに口の開口部の形状が所定時間以上同一の状態に継続したとき、この形状から「ア」、「イ」、「ウ」、「エ」、「オ」のいずれかの母音が発声されたと推定するようにしている。
【００４７】
ここで「ア」の音は、上下の唇の閉じたときの合わせ目が全体的に水平に配置されていると仮定したときの唇の開口部の中心点を通る上下方向に指２本が入る程度に口が開けられている状態で発せられる。「イ」の音は、軽く小指の先が入る程度に口が開けられている状態で発せられる。「エ」の音は、「ア」の音と「イ」の音の中間程度に口が開けられている状態で発せられる。これらの音を発するとき、口はすぼめていない。
【００４８】
「ウ」および「オ」の各音は、口をすぼめて発声する。このうち「ウ」の音は「オ」の音よりも唇の開口部が一回り小さくなる。「ア」、「エ」、「イ」の各音における上下の唇の閉じたときの合わせ目が全体的に水平に配置されていると仮定したときの唇の開口部の中心点を通る左右方向の距離は、「ウ」および「オ」の各音を発声する場合よりも長い。
【００４９】
したがって、本実施の形態では、図１２に示した母音判別部３３３が単語画像抽出部３３１の抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別するようにしている。もちろん、唇の大きさには個人差があり、開口部の上下方向および左右方向の距離と各母音の関係は相対的なものとなる。
【００５０】
母音は継続的に発せられる音なので、たとえばユーザが「イ」という音を発声したときと「イイ」という連続音を発声したときでは、唇の開口部の形状に変化はなく、同一の開口部の形状が保たれる時間が異なるだけである。したがって、本実施の形態では、唇の開口部の形状が所定時間以上継続することを母音の判別に用いると共に、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別する。これにより、ユーザが「イ」という音を単発で発声したか「イイ」というように複数回「イ」の音を連発で発声したかが分かるようにしている。
【００５１】
ただし、これには例外がある。「ン」は、前に発声した「ア」、「イ」、「ウ」、「エ」、「オ」の各音と唇の形状を保持したまま発声することができる。また、次に発声する母音に備えて、先行して唇の開口部の形状を変えて音「ン」を発声することもできる。したがって、「イイ」という連続音と「イン」という言葉は、「イ」という音と区別できても、本発明の原理では区別できない可能性がある。可能性があるといったのは、「インク」という単語を発声したとき、母音で「イイウ」と判別するか「イウウ」と判別するか特定することができないことによる。もちろん、単語登録の対象とする音に「ン」を含めないとする制限も可能である。
【００５２】
ところで、携帯電話機３００の操作をユーザの発声する単語の違いによって行おうとするとき、母音のみから個々の単語の違いを判別しようとすると、たとえば「イイ（ＯＫ）」という単語と「ミギ（右）」という単語は、共に母音「イ」、「イ」からなる区別できない単語となる。すなわち、操作のために登録する単語の数や種類が大きく制限されることになる。
【００５３】
そこで本実施の形態では、閉タイミング測定部３３２を用いてユーザが単語を発声したときの上下の唇の閉じるタイミングをそれぞれ測定するようにしている。これは、日本語で、ま行、ぱ行、ば行の各音（両唇音）を発声した場合には、上下の唇が必ず一度閉じるという特徴を利用するものである。たとえば「イイ（ＯＫ）」という単語を発声するとき、唇の開口部は図１３の右上に示した「イ」の状態が継続したままとなる。これに対して「ミギ（右）」という単語を発声した場合には、一度、口が完全に閉じ、次に図１３の右上に示した「イ」の状態が発生し、最後に図１３の右上に示した「イ」の状態が発生する。
【００５４】
なお、「ミギ（右）」という単語を発声した場合に、口が完全に閉じる回数は必ずしも特定することはできない。「ミギ（右）」という単語の発声を終了させたときに、口が「イ」の状態で開いている場合もあれば、閉じている場合もあるからである。
【００５５】
いずれにせよ本実施の形態では単語を各母音の組み合わせとそれぞれの音が両唇音であるか否かという特性を用いることで、ユーザが携帯電話機３００の操作に使用する各単語を比較的不自由なく登録できるようにしている。
【００５６】
図１４は、携帯電話機のメニュー画面呼び出しと音声による単語登録モードの処理の概要を表わしたものである。図１１および図１２と共に説明する。
【００５７】
ユーザは、まず図１１に示したように第１の筐体３０１と第２の筐体３０２を折り畳み状態から開いて、メニュー画面の呼び出しを意味する「メニュー」と発声する。すると、ＣＰＵ３２１は起動状態となった撮像装置３０６から、このときのユーザの顔の画像を取り込んで、「メニュー画面」の指示があったことを判別する（ステップＳ４０１）。
【００５８】
図１５は、このステップＳ４０１の処理が行われるときの携帯電話機とユーザの顔の位置関係を示したものである。図１２と共に説明する。携帯電話機３００の第１の筐体３０１と第２の筐体３０２が開いた状態で、ユーザ３５１の顔３５２は撮像装置３０６の前方に位置しているのが通常である。したがって、この状態で、被写体の取り込まれる画角（視野角）θの範囲内に存在する顔３５２の画像から唇画像領域抽出部３３０は、ユーザ３５１の唇３５３の画像領域を切り出すことができる。このとき切り出された唇３５３の画像領域は画像メモリ３２９に順次取り込まれ、ユーザ３５１が単語を発声したときにその開始点から終了点までの一連の画像が単語画像抽出部３３１で抽出される。
【００５９】
この抽出した一連の画像に対して、閉タイミング測定部３３２はユーザが単語を発声したときの上下の唇の閉じるタイミングをそれぞれ測定する。また、母音判別部３３３は唇画像領域抽出部３３０で切り出した唇の画像における上下の唇の傾きを水平に直した後、これを基にして図１３に示す形状が所定時間以上継続したことをもって各母音を判別する。
【００６０】
上下の唇の閉じるタイミングおよび母音の判別に際して、唇画像領域抽出部３３０で切り出した画像における唇３５３の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化について、１単位の単語が発声されたときの単語発声パターンが画像メモリ３２９の図示しない作業用メモリ領域に展開される。そして、上下の唇の閉じるタイミングがそれぞれ記録されると共に、母音を発声する最小の時間として予め設定した時間（所定時間）以上に唇３５３の開口部の形状（図１３参照）が継続したとき、上下方向と左右方向のそれぞれの測定距離を基にして、これらが５種類の母音のいずれかに該当するかを判別する。また、１種類の母音に対応する唇３５３の開口部の形状が所定時間を超えた時間継続すると判別した場合には、特定時間が経過するたびに同一の母音が繰り返し発声されたとして、その旨の判別を行うことになる。
【００６１】
図１６は、本実施の形態で単語辞書に登録した単語発声パターンについて、発声内容と解析結果および辞書の登録内容の一例を示したものである。図１２と共に説明する。
【００６２】
単語辞書３２７は、ユーザが初期的に基本的な操作に使用するシステム辞書と、ユーザが後発的に登録するユーザ辞書に分かれている。システム辞書には、図１６に示す「メニュー」や「トウロク（登録）」という語句が登録されている。
【００６３】
このうち、「メニュー」という語句の発声は、閉タイミング測定部３３２で測定した両唇音の存在するタイミングを「○」で表わし、子音を「△」で表わすとき、母音判別部３３３の判別した母音を使用して、「○△エ△イ△ウウ」と表わすことができる。ここで、「メ」は、両唇音なので「○」を開始点とし、ま行の子音「△」と「メ」の母音「エ」がこれに続くことになる。「ニ」は、な行の子音「△」と「ニ」の母音「イ」から構成される。「ュ」は、や行の子音「△」と「ュ」の母音「ウ」から構成される。「ー」は「ュ」を延ばした単語なので、「ュ」と同様に子音「△」との母音「ウ」から構成される。ただし「ニ」の音が発声されてから「ュ」の音が発声されるまでの時間間隔は、母音「イ」が認識される最小間隔となる。
【００６４】
図１４に戻って説明を続ける。ユーザが「メニュー」と発声するとＣＰＵ３２１はこの発声パターンから子音「△」を取り除き、「○△エ△イ△ウウ」と処理する。ＣＰＵ３２１は、処理内容を用いて単語辞書３２７のシステム辞書領域を検索すると、「メニュー」の登録内容と一致する。したがって、ユーザがメニュー画面の指示を行ったことが判別されることになる（ステップＳ４０１）。そこで、ＣＰＵ３２１はディスプレイ３０５にメニュー画面を表示するように表示制御装置３２６を制御する（ステップＳ４０２）。
【００６５】
ディスプレイ３０５にメニュー画面が表示されたら、ＣＰＵ３２１はこの表示状態で次にどのような発声による指示が行われるかを待機する。ユーザが単語登録を行うために「トウロク（登録）」と発声したとする。ここで「トウロク」という発声については、単語辞書３２７のシステム辞書領域に、図１６に示すように「オウオウ」という登録内容で登録されている。
【００６６】
一方、ＣＰＵ３２１の方ではユーザが「トウロク」と発声すると、画像メモリ３２９に展開されたその単語発声パターンを基に前記した処理を行い、解析結果として「△オウ△オ△ウ」を得る。ここで「ト」、「ウ」、「ロ」、「ク」の各音はいずれも両唇音ではないので「○」が付かない。最初の「ト」は、た行の子音「△」と母音「オ」から構成される。「ウ」は、そのまま母音「ウ」から構成される。「ロ」は、ら行の子音「△」と母音「ウ」から構成される。最後の「ク」は、か行の子音「△」と母音「ウ」から構成される。この結果、子音「△」を取り除くと、「オウオウ」となり、「トウロク（登録）」の登録内容と完全に一致することになる。
【００６７】
したがって、ステップＳ４０２の処理でディスプレイ３０５にメニュー画面が表示された状態でユーザが「トウロク（登録）」と発声したとすると、ＣＰＵ３２１はこれを「トウロク（登録）」の発声による指示があったと判別して（ステップＳ４０３：Ｙ）、音声による単語登録のモードを実行することになる（ステップＳ４０４）。そして、ユーザが「オワリ（終り）」と発声すると、ＣＰＵ３２１はこれを単語辞書３２７側の登録内容「オアイ」（図１６参照）との一致を検出して「オワリ（終り）」が発声されたと判別して（ステップＳ４０５：Ｙ）、単語登録のモードを終了する（エンド）。
【００６８】
一方、ディスプレイ３０５にメニュー画面が表示された状態でユーザが「トウロク（トウロク）」以外の他の語句を発声し（ステップＳ４０３：Ｎ）、それが単語登録のモード以外のモードとして判別された場合（ステップＳ４０６：Ｙ）、該当するそのモードが実行される。それ以外の場合、たとえばユーザが咳払いをしたり単語辞書３２７の登録内容に一致しない語句を発声した場合には（ステップＳ４０６：Ｎ）、メニュー画面が表示された状態となる（ステップＳ４０２）。もちろん、システムによってはユーザがこの状態で「オワリ（終り）」と発声することで、メニュー画面の表示状態を終了させることができるようにしてもよい。
【００６９】
ところで図１６に示した単語辞書３２７には、ユーザ辞書として「タブイチ（タブ１）」、「タブニ（タブ２）」等の発声内容の登録も行われている。そこで、このような単語辞書３２７を用いて、ユーザ３５１がディスプレイ３０５に表示されたタブを操作する様子を説明する。
【００７０】
図１７は、ディスプレイの表示内容の一例を示したものである。図１２と共に説明する。
【００７１】
ディスプレイ３０５には、ある操作が行われた時点で複数のタブを有するウィンドウが重なった状態で表示されている。図１７では「タブ１」が選択された結果として、第１のウィンドウが前面に出た状態でその内容が表示されている。ユーザは、この状態から「タブ２」の第２のウィンドウに移行する際に、「手」を使用するのであれば、図１１に示したダイヤルキー３０７Ｃの「２」キーを選択したり、図示しないカーソルを数字の「２」の位置に移動させてクリックすることになる。本実施の形態の携帯電話機３００では、発声によってもタブの選択が可能である。
【００７２】
図１８は、ユーザが発声によってディスプレイの表示内容の操作を行う場合の処理の流れを示したものである。この処理は、図１４のステップＳ４０６における「その他の指示」の１つとして行われるものである。図１２、図１５〜図１７と共に説明する。
【００７３】
ディスプレイ３０５に図１７の内容が表示され、ユーザ３５１が図１４のステップＳ４０６における「その他の指示」の１つとして、発声によるディスプレイの表示内容の操作を選択したものとする。この状態で撮像装置３０６の取り込んだ画像データは、画像メモリ３２９の所定のリングメモリ領域にエンドレスに格納され、唇画像領域抽出部３３０は唇の画像領域を順次抽出し、母音判別部３３３は母音が判別されるかをチェックする（ステップＳ４２１）。
【００７４】
この結果、唇３５３の開口部の解析から母音のいずれかが検出されたら（ステップＳ４２１：Ｙ）、単語画像抽出部３３１は画像メモリ３２９のリングメモリ領域に格納された画像を時間ｔ1だけ遡って、単語の切り出しを開始する（ステップＳ４２２）。ここで時間ｔ1は、その母音を含む音が両唇音であるか否かを確認できる長さである。
【００７５】
これと共に、単語画像抽出部３３１はリングメモリ領域における切り出しが開始した時点以降を順にチェックしていって次の母音が先の母音の検出（判別）から時間ｔ2以内に検出（判別）されるかをチェックする（ステップＳ４２３、ステップＳ４２４）。ここで時間ｔ2は、単語として複数の音が発声されるときの通常想定される「間（ま）」となる最大時間に所定の余裕時間を加えた時間である。単語画像抽出部３３１が次の母音を時間ｔ2の経過前に判別すれば（ステップＳ４２３：Ｙ）、更に次の母音を時間ｔ2以内に判別するかを繰り返しチェックする。
【００７６】
これに対して次の母音を時間ｔ2の経過前に判別しなかった場合（ステップＳ４２３：Ｎ、ステップＳ４２４：Ｙ）、単語画像抽出部３３１はその時点で単語の画像の切り出しを終了する（ステップＳ４２５）。単語判別部３２８は図１４の箇所で説明した単語処理を行って、単語辞書３２７の「登録内容」に対応する内容を取得する（ステップＳ４２６）。
【００７７】
たとえば、ユーザ３５１が「タブニ（タブ２）」と発声した単語の画像が唇画像領域抽出部３３０によって切り出されたとする。この場合、ステップＳ４２６の処理で「ア○ウイ」という処理結果が得られる。ＣＰＵ３２１は単語辞書３２７の登録内容を検索して（ステップＳ４２７）、これと一致するものが存在すれば（ステップＳ４２８：Ｙ）、その登録内容の操作を実行して（ステップＳ４２９）、処理がステップＳ４２１に戻る（リターン）。この例では、ステップＳ４２９の操作として、図１７の第１のウィンドウが表示された状態から「タブ２」の選択により第２のウィンドウが代わって選択された状態に変化する。
【００７８】
検索結果から「ア○ウイ」という処理結果と一致する登録内容が単語辞書３２７に存在しなかった場合には（ステップＳ４２８：Ｎ）、「操作内容認識不能」等のエラー表示がディスプレイ３０５に一定期間現われて（ステップＳ４３０）、その後、ステップＳ４２１に戻る（リターン）。ここでユーザ３５１は、発声による操作を再度トライすることができる。もちろん、システムによってはステップＳ４２７の検索で一致する登録内容が存在しない場合に、個々の母音や両唇音の位置の一致の度合いが最も高い単語を一致候補として表示してユーザ３５１に確認させたり、一致の度合いが所定のしきい値を超える場合には一致として処理し該当する操作を実行するようにしてもよい。
【００７９】
次に、ユーザが操作に必要な単語を登録する場合について具体的に説明する。図１６に示す単語辞書３２７に、第１のウィンドウから第３のウィンドウまでの展開を指示する「タブイチ（タブ１）」から「タブサン（タブ３）」までの単語が登録されているものとし、第４のウィンドウの展開を指示する単語がまだ登録されていないものとする。この場合、ユーザ３５１（図１５）は図１７に示したディスプレイ３０５で第４のウィンドウを音声指示によって展開することができない。
【００８０】
図１９は、図１４のステップＳ４０４による単語登録の処理の流れを具体的に表わしたものである。図１２、図１５および図１６と共に説明する。
【００８１】
図１４のステップＳ４０４による単語登録のモードが開始すると、ＣＰＵ３２１はディスプレイ３０５に単語登録の対象となる操作内容を選択する画面を表示する（ステップＳ４４１）。この表示は、手の不自由な人に配慮して、ディスプレイ３０５の表示に関するあらゆる操作を択一的に選択できる内容となっている。ユーザ３５１は、次の表示内容を要求する場合には「ツギ（次）」と発声する（ステップＳ４４２：Ｙ）。この場合、ＣＰＵ３２１は次の選択画面に切り替えて（ステップＳ４４３）、ステップＳ４４１の表示状態に戻る。これに対してユーザ３５１が前に表示された表示内容を要求する場合には「マエ（前）」と発声する（ステップＳ４４２：Ｎ、ステップＳ４４４：Ｙ）。この場合、ＣＰＵ３２１は前の選択画面に切り替えて（ステップＳ４４５）、ステップＳ４４１の表示状態に戻る。
【００８２】
このようにしてある時点で単語登録の対象となる所望の操作内容がディスプレイ３０５に表示されたら、ユーザ３５１はこの操作内容を単語登録の対象に選択するために「センタク（選択）」と発声する。ＣＰＵ３２１はこれを認識すると（ステップＳ４４２：Ｎ、ステップＳ４４４：Ｎ、ステップＳ４４６：Ｙ）、ディスプレイ３０５に音声の入力の指示を表示する（ステップＳ４４７）。そして、その指示から単語の入力に十分な時間ｔ3が経過したら（ステップＳ４４８：Ｙ）、単語画像抽出部３３１は唇画像領域抽出部３３０によって抽出されたその間の画像から単語を構成する画像を抽出する。
【００８３】
単語判別部３２８は抽出した画像に対して図１４の箇所で説明した単語処理を行って、単語辞書３２７の「登録内容」に対応する内容を取得する（ステップＳ４４９）。ＣＰＵ３２１はこの取得した内容について単語辞書３２７の登録内容を検索して（ステップＳ４５０）、一致するものがなければ（ステップＳ４５１：Ｎ）、ユーザ３５１の発声した音の内容を単語登録して（ステップＳ４５２）、処理を終了する（エンド）。
【００８４】
一方、ステップＳ４４９で単語処理を行って得られた結果が単語辞書３２７の登録内容のいずれかと一致した場合には（ステップＳ４５１：Ｙ）、重複登録を防止するためにディスプレイ３０５にエラー表示が行われる（ステップＳ４５３）。これに対してユーザ３５１は登録のための処理を再度トライするか、単語登録を断念する選択を音声の発声によって行う（ステップＳ４５４、ステップＳ４５５）。ユーザ３５１が登録のために「トウロク（登録）」と発声したことが判別された場合（ステップＳ４５４：Ｙ）、ＣＰＵ３２１は処理をステップＳ４４７に戻して音声の入力を再度待機する。
【００８５】
たとえば、第４のウィンドウを音声指示によって展開する語句を単語登録するために、最初の時点でユーザ３５１が「タブシ（タブ４）」と発声したとする。この場合のステップＳ４４９による単語処理の結果は「ア○ウイ」となり、「タブニ（タブ２）」の登録内容と一致する。したがって、「タブシ（タブ４）」は単語辞書３２７の既登録の内容と一致することになり（ステップＳ４５１：Ｙ）、登録することができない（ステップＳ４５３）。
【００８６】
この場合、ユーザ３５１が登録にトライすることを選択し（ステップＳ４５４：Ｙ）、「タブヨン（タブ４）」と読み替えて単語を発声したとする。すると、ステップＳ４４９による単語処理の結果は「ア○ウオオ」となり、ユーザ３５１は単語登録を行うことができる。
【００８７】
エラー表示が行われた時点で、ユーザ３５１は単語処理を断念して「オワリ（終り）」と発声することもできる。この場合、ＣＰＵ３２１が「オワリ」を判別すると（ステップＳ４５４：Ｎ、ステップＳ４５５：Ｙ）、単語登録の処理が終了する（エンド）。ステップＳ４４１による操作内容の選択画面が表示されている状態でユーザ３５１が「オワリ（終り）」を発声した場合も（ステップＳ４４２：Ｎ、ステップＳ４４４：Ｎ、ステップＳ４４６：Ｎ、ステップＳ４５６：Ｙ）、同様である（エンド）。
【００８８】
以上説明した実施の形態によれば、ユーザ３５１が発声した単語を母音と両唇音の配列で区別して単語の比較処理を行うことにした。このため、ユーザ３５１の覚えやすい単語で多数の単語登録を行うことができ、表示操作を音を発するときの唇の開口部の形状によって多くの操作が可能になる。しかも、ユーザ３５１は必ずしも音を発生させず唇の開口部の形状を変化させるだけで表示操作を行うことができるので、他人に音の発生による迷惑を掛けることがない。
【００８９】
なお、実施の形態では「ン」の音を先に発声した音と同一の母音として処理したが、次に発声する音と同一の母音として処理したり、不定の音「−」としていずれにも該当しない内容に分類して処理してもよい。また、本実施の形態では単語の発声の開始前および終了時点でユーザ３５１が唇を閉じていないことを前提に処理を説明したが、必ず唇を閉じる人の場合には、単語の両端に発生する「○」の符号を１つずつ除去することで、唇を閉じない人と同様のデータ処理が可能である。
【００９０】
＜発明の第１の変形例＞
【００９１】
以上説明した実施の形態では単語を自然に発声させ、これを母音や両唇音の配置に分解して辞書に登録し、表示操作と対応付けたが、これに限るものではない。より簡易な音声による操作として、単語を構成する各音を唇の開閉で区切って１音ずつ発声させ、これらの母音の組み合わせを表示操作と対応付けるようにしてもよい。この場合、登録できる単語の種類はある程度制限されるが、登録された単語をうまく活用することでディスプレイに表示された内容を十分に操作することができる。
【００９２】
図２０は、話者としてのユーザが単語を１音ずつ発声するときの画像の変化の様子を表わしたものである。操作に使用する語句として「ミギ（右）」という音を発声する場合、この第１の変形例では「ミ」と「ギ」を１音ずつ間隔を置いて発音する。同図（Ａ）は「ミ」を発声する前の画像の状態であり、ユーザ３５１の唇３５３は閉じている。
【００９３】
同図（Ｂ）は発声状態での唇の形状を表わした画像であり、ユーザ３５１の唇３５３は発声した音の種類に応じた開き具合となっている。１つの音の発声が終了すると、この第１の変形例でユーザ３５１は唇３５３を閉じ、同図（Ａ）の状態に戻る。
【００９４】
このように１つの音が発声されるたびに口の開閉が行われるので、口を開いた同図（Ｃ）の画像と口を閉じた同図（Ａ）の画像が単語を構成する音の数だけ繰り返されることになる。もちろん、ユーザ３５１は発声を伴わない唇３５３の開閉のみを行うことができ、この場合にも第１の変形例の画面表示操作装置は表示上での各種操作を行うことができる。
【００９５】
図２１は、この第１の変形例におけるディスプレイの操作の第１の例を説明するためのものである。図２０と共に説明する。
【００９６】
ディスプレイ３０５には、第１のウィンドウ５０１と第２のウィンドウ５０２が表示されている。このような場合、ユーザ３５１は、いずれかのウィンドウをアクティブにする操作をまず行った後、該当するウィンドウに対してデータ処理を行うことになる。このときの第１のウィンドウ５０１と第２のウィンドウ５０２の切り替えという単純な操作は、図２０（Ａ）および同図（Ｃ）に示した口の開閉の判別で可能になる。
【００９７】
図２２は、第１および第２のウィンドウのアクティブとノンアクティブの切替制御の様子を表わしたものである。図２０および図２１と共に説明する。
【００９８】
図２２［Ａ］に示す第１の状態を初期状態とする。この初期状態では第１のウィンドウ５０１がアクティブで、これに対する操作が可能である。このとき、第２のウィンドウ５０２はノンアクティブであり、これに対する操作を行えない状態となっている。この状態でユーザ３５１が図２０の（Ａ）および（Ｃ）に示すように口を１度開閉させると、図２２［Ｂ］に示すように第１のウィンドウ５０１がノンアクティブとなり、代わって第２のウィンドウ５０２がアクティブとなる。また、図２２［Ｂ］に示すように第２のウィンドウ５０２がアクティブな状態からユーザ３５１が口を１度開閉させると、今度は図２２［Ａ］に示すように第１のウィンドウ５０１が再びアクティブな状態になる。このとき、第２のウィンドウ５０２はノンがアクティブとなる。
【００９９】
このようにディスプレイ３０５に２つの操作事項が存在し、これを択一的に選択しなければならない場合、この第１の変形例ではユーザ３５１が口を開閉するたびに選択動作が繰り返されることになる。したがって、極めて簡単に画面の操作が可能になる。
【０１００】
しかしながら口の開閉だけでは操作を指示する単語の種類が極端に限定される。したがって、図１７に示した複数のウィンドウのいずれかをアクティブにするような制御が困難になる。そこで、このような場合には図２０（Ａ）および（Ｂ）で示した単語発声時における唇３５３の開口部の形状の判別による操作が有効となる。
【０１０１】
図２３は、図１７で説明した「タブ１」〜「タブ４」の選択を、この第１の変形例における第２の例として説明するためのものである。図１７および図２０と共に説明する。
【０１０２】
図１７に示したように第１のウィンドウが前面に表示されている状態を第１の状態とする。このとき、第１のウィンドウがアクティブとなっており、ユーザはこれに対して更に詳細な操作を行うことができる。この状態でユーザ３５１が１つの音を発声するたびに口を開閉させながら、「ミ」、「ギ」（右）と発声したとする。この場合、先の実施の形態で説明した認識によってそれぞれの母音が判別され、「イ、イ」という判別結果が得られる。この第１の変形例では１つの音を発声するたびに口を開閉させるので、両唇音の判別による表記を省略している。
【０１０３】
この「イ、イ」という判別結果が得られるたびに、第１の変形例の画面表示操作装置ではタブの選択を右方向に１つずつエンドレスに進める。したがって、第１の状態のときにユーザ３５１が「ミ」、「ギ」（右）と発声すると、第２の状態となり「タブ２」が選択されて第２のウィンドウがアクティブとなる。また、第２の状態のときにユーザ３５１が「ミ」、「ギ」（右）と発声すると、第３の状態となり「タブ３」が選択されて第３のウィンドウがアクティブとなる。更に第３の状態のときにユーザ３５１が「ミ」、「ギ」（右）と発声すると、第４の状態となり「タブ４」が選択されて第４のウィンドウがアクティブとなる。更にまた第４の状態のときにユーザ３５１が「ミ」、「ギ」（右）と発声すると、第１の状態に戻り「タブ１」が選択されて第１のウィンドウがアクティブとなる。以下、同様である。
【０１０４】
また、第１のウィンドウがアクティブとなっている状態でユーザ３５１が１つの音を発声するたびに口を開閉させながら、「ヒ」、「ダ」、「リ」（左）と発声したとする。この場合、先の実施の形態で説明した認識によってそれぞれの母音が判別され、「イ、ア、イ」という判別結果が得られる。
【０１０５】
この「イ、ア、イ」という判別結果が得られるたびに、第１の変形例の画面表示操作装置ではタブの選択を左方向に１つずつエンドレスに進める。したがって、第１の状態のときにユーザ３５１が「ヒ」、「ダ」、「リ」（左）と発声すると、第４の状態となり「タブ４」が選択されて第４のウィンドウがアクティブとなる。また、第４の状態のときにユーザ３５１が「ヒ」、「ダ」、「リ」（左）と発声すると、第３の状態となり「タブ３」が選択されて第３のウィンドウがアクティブとなる。更に第３の状態のときにユーザ３５１が「ヒ」、「ダ」、「リ」（左）と発声すると、第２の状態となり「タブ２」が選択されて第２のウィンドウがアクティブとなる。更にまた第２の状態のときにユーザ３５１が「ヒ」、「ダ」、「リ」（左）と発声すると、第１の状態に戻り「タブ１」が選択されて第１のウィンドウがアクティブとなる。以下、同様である。
【０１０６】
以上説明した本発明の第１の変形例によれば、ユーザ３５１が１つの音を発声するたびに口を開閉させるので、単語を構成する各母音の判別が容易になる。したがって、画面（ウィンドウ）の切り替えや、画面の移動、バックライトの点灯や消灯といったディスプレイに関する操作の典型的なものについて予め口の開閉や母音の組み合わせを登録しておけば、手を使用することなく各種の操作が可能になる。このため、手がふさがった状態でも画面表示操作装置に顔を向けることができれば、各種の操作が可能になるという利点がある。
【０１０７】
しかも、「ミ」、「ギ」（右）や「ヒ」、「ダ」、「リ」（左）といったユーザ３５１が直感的に分かりやすい動作パターンを登録することで、使い勝手の良いインタフェースとして、誰でも気軽に活用することができる。
【０１０８】
＜発明の第２の変形例＞
【０１０９】
図２４は、本発明の第２の変形例における画面表示操作装置を示したものである。この第２の変形例の画面表示操作装置は、ノート型のパーソナルコンピュータ６００である。このパーソナルコンピュータ６００は、装置本体６０１に開閉自在に配置された蓋部６０２の内面側に、ディスプレイ６０３と共に撮像装置６０４を取り付けた構造となっている。したがって、ユーザはキー操作部６０５を手で操作することができるだけでなく、撮像装置６０４を用いて口の開閉や単語発声時の唇の開口部の形状認識による各種の操作が可能である。
【０１１０】
このように本発明の画面表示操作装置は、携帯電話機やＰＨＳ（Personal Handy-phone System）といった小型の情報処理装置に限定される必要はなく、撮像装置を使用できるあらゆる情報処理装置に適用可能である。
【０１１１】
また、本発明の実施の形態および変形例では日本語を対象とした母音および両唇音の特徴に基づく音の判別について説明したが、母音の種類や数の異なる他の言語についても本発明を適用することができることは当然である。
【０１１２】
以上説明した実施の形態の一部または全部は、以下の付記のようにも記載されるが、以下の記載に限定されるものではない。
【０１１３】
（付記１）
各種の情報を視覚的に表示するディスプレイと、
このディスプレイを使用する操作者の口を少なくとも撮影する撮像手段と、
この撮像手段によって得られた操作者の口の画像の経時的な変化を判別する変化判別手段と、
この変化判別手段の判別結果に応じて判別結果と対応付けた予め定めた特定の操作を実行する特定操作実行手段
とを具備することを特徴とする情報処理装置。
【０１１４】
（付記２）
前記変化判別手段は操作者の口の開閉の変化を判別することを特徴とする付記１記載の情報処理装置。
【０１１５】
（付記３）
前記変化判別手段は操作者の唇の開口部の発声時に１音ごとに形成される特有の形状を判別することを特徴とする付記１記載の情報処理装置。
【０１１６】
（付記４）
前記１音ごとに形成される特有の形状は、母音を発声するときの形状であることを特徴とする付記３記載の情報処理装置。
【０１１７】
（付記５）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、
この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、
前記単語発声パターン記録手段で記録した認識の対象となる単語発声パターンを前記単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、（へ）このパターン比較手段による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段
とを具備することを特徴とする単語判別装置。
【０１１８】
（付記６）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、
前記単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、
前記閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、
前記単語画像抽出手段によって抽出した単語画像における前記閉タイミング測定手段で測定したそれぞれのタイミングおよび前記母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記単語辞書における前記組み合わせと比較する比較手段と、
この比較手段で最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段
とを具備することを特徴とする単語判別装置。
【０１１９】
（付記７）
前記母音判別手段は、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記６記載の単語判別装置。
【０１２０】
（付記８）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、
この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、
前記単語発声パターン記録手段で記録した認識の対象となる単語発声パターンを前記単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、
このパターン比較手段による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段と、
各種の情報を表示するディスプレイと、
前記単語判別手段で判別した単語に対応する操作内容でこのディスプレイ上に表示された表示内容を操作する内容操作手段
とを具備することを特徴とする画面表示操作装置。
【０１２１】
（付記９）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、
前記単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、
前記閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、
前記単語画像抽出手段によって抽出した単語画像における前記閉タイミング測定手段で測定したそれぞれのタイミングおよび前記母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記単語辞書における前記組み合わせと比較する比較手段と、
この比較手段で最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段と、
各種の情報を表示するディスプレイと、
前記単語判別手段で判別した単語に対応する操作内容でこのディスプレイ上に表示された表示内容を操作する内容操作手段
とを具備することを特徴とする画面表示操作装置。
【０１２２】
（付記１０）
前記母音判別手段は、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記９記載の画面表示操作装置。
【０１２３】
（付記１１）
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出手段と、
この登録対象単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、
この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、
前記単語発声パターン記録手段で記録した単語登録の対象となる単語発声パターンを前記単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、
このパターン比較手段による比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別手段
とを具備することを特徴とする単語登録装置。
【０１２４】
（付記１２）
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出手段と、
この登録対象単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、
前記登録対象単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、
前記閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、
前記登録対象単語画像抽出手段によって抽出した単語画像における前記閉タイミング測定手段で測定したそれぞれのタイミングおよび前記母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記単語辞書における前記組み合わせと比較する比較手段と、
この比較手段による比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別手段
とを具備することを特徴とする単語登録装置。
【０１２５】
（付記１３）
前記母音判別手段は、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記１２記載の単語登録装置。
【０１２６】
（付記１４）
各種の情報を視覚的に表示するディスプレイを使用する操作者の口を少なくとも撮影する撮像ステップと、
この撮像ステップで得られた操作者の口の画像の経時的な変化を判別する変化判別ステップと、
この変化判別ステップによる判別結果に応じて判別結果と対応付けた予め定めた特定の操作を実行する特定操作実行ステップ
とを具備することを特徴とする情報処理方法。
【０１２７】
（付記１５）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップで抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、
この単語画像抽出ステップによって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録ステップと、
この単語発声パターン記録ステップで記録した認識の対象となる単語発声パターンを、前記単語発声パターン記録ステップで予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較ステップと、
このパターン比較ステップによる比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別ステップ
とを具備することを特徴とする単語判別方法。
【０１２８】
（付記１６）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、
この単語画像抽出ステップによって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定ステップと、
前記単語画像抽出ステップによって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別ステップと、
前記単語画像抽出ステップによって抽出した単語画像における前記閉タイミング測定ステップで測定したそれぞれのタイミングおよび前記母音判別ステップで判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定ステップで測定したそれぞれのタイミングと前記母音判別ステップで判別した各母音の組み合わせで単語ごとに予め登録した単語辞書における前記組み合わせと比較する比較ステップと、
この比較ステップによる比較の結果、最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別ステップ
とを具備することを特徴とする単語判別方法。
【０１２９】
（付記１７）
前記母音判別ステップでは、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記１６記載の単語判別方法。
【０１３０】
（付記１８）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、
この単語画像抽出ステップによって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録ステップと、
この単語発声パターン記録ステップで記録した認識の対象となる単語発声パターンを、前記単語発声パターン記録ステップで予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較ステップと、
このパターン比較ステップによる比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別ステップと、
この単語判別ステップで判別した単語に対応する操作内容で、各種の情報を表示するディスプレイ上に表示された表示内容を操作する内容操作ステップ
とを具備することを特徴とする画面表示操作方法。
【０１３１】
（付記１９）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、
この単語画像抽出ステップによって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定ステップと、
前記単語画像抽出ステップによって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別ステップと、
前記単語画像抽出ステップによって抽出した単語画像における前記閉タイミング測定ステップで測定したそれぞれのタイミングおよび前記母音判別ステップで判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定ステップで測定したそれぞれのタイミングと前記母音判別ステップで判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較ステップと、
この比較ステップによる比較の結果、最も一致すると判別した単語辞書の単語を前記認識の対象とする人物の発声した単語であると判別する単語判別ステップと、
この単語判別ステップで判別した単語に対応する操作内容で、各種の情報を表示するディスプレイ上に表示された表示内容を操作する内容操作ステップ
とを具備することを特徴とする画面表示操作方法。
【０１３２】
（付記２０）
前記母音判別ステップは、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記１９記載の画面表示操作方法。
【０１３３】
（付記２１）
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出ステップと、
この登録対象単語画像抽出ステップによって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録ステップと、
この単語発声パターン記録ステップで記録した単語登録の対象となる単語発声パターンを、前記単語発声パターン記録ステップで予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較ステップと、
このパターン比較ステップによる比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別ステップ
とを具備することを特徴とする単語登録方法。
【０１３４】
（付記２２）
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出ステップと、
この登録対象単語画像抽出ステップによって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定ステップと、
前記登録対象単語画像抽出ステップによって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別ステップと、
前記登録対象単語画像抽出ステップによって抽出した単語画像における前記閉タイミング測定ステップで測定したそれぞれのタイミングおよび前記母音判別ステップで判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定ステップで測定したそれぞれのタイミングと前記母音判別ステップで判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較ステップと、
この比較ステップによる比較の結果、所定の値以上近似しないと判別した前記した組み合わせに対応する未登録の単語のみを単語登録可能とする登録単語可否判別ステップ
とを具備することを特徴とする単語登録方法。
【０１３５】
（付記２３）
前記母音判別ステップは、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記２２記載の単語登録方法。
【０１３６】
（付記２４）
コンピュータに、
各種の情報を視覚的に表示するディスプレイを使用する操作者の口を少なくとも撮影する撮像処理と、
この撮像処理で得られた操作者の口の画像の経時的な変化を判別する変化判別処理と、
この変化判別処理による判別結果に応じて判別結果と対応付けた予め定めた特定の操作を実行する特定操作実行処理
とを実行させることを特徴とする情報処理プログラム。
【０１３７】
（付記２５）
コンピュータに、
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理で抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出処理と、
この単語画像抽出処理によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録処理と、
この単語発声パターン記録処理で記録した認識の対象となる単語発声パターンを、前記単語発声パターン記録処理で予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較処理と、
このパターン比較処理による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別処理
とを実行させることを特徴とする単語判別プログラム。
【０１３８】
（付記２６）
コンピュータに、
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出処理と、
この単語画像抽出処理によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定処理と、
前記単語画像抽出処理によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別処理と、
前記単語画像抽出処理によって抽出した単語画像における前記閉タイミング測定処理で測定したそれぞれのタイミングおよび前記母音判別処理で判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定処理で測定したそれぞれのタイミングと前記母音判別処理で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較処理と、
この比較処理による比較の結果、最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別処理
とを実行させることを特徴とする単語判別プログラム。
【０１３９】
（付記２７）
前記母音判別処理では、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記２６記載の単語判別プログラム。
【０１４０】
（付記２８）
コンピュータに、
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出処理と、
この単語画像抽出処理によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録処理と、
この単語発声パターン記録処理で記録した認識の対象となる単語発声パターンを、前記単語発声パターン記録処理で予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較処理と、
このパターン比較処理による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別処理と、
この単語判別処理で判別した単語に対応する操作内容で、各種の情報を表示するディスプレイ上に表示された表示内容を操作する内容操作処理
とを実行させることを特徴とする画面表示操作プログラム。
【０１４１】
（付記２９）
コンピュータに、
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出処理と、
この単語画像抽出処理によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定処理と、
前記単語画像抽出処理によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別処理と、
前記単語画像抽出処理によって抽出した単語画像における前記閉タイミング測定処理で測定したそれぞれのタイミングおよび前記母音判別処理で判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定処理で測定したそれぞれのタイミングと前記母音判別処理で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較処理と、
この比較処理による比較の結果、最も一致すると判別した単語辞書の単語を前記認識の対象とする人物の発声した単語であると判別する単語判別処理と、
この単語判別処理で判別した単語に対応する操作内容で、各種の情報を表示するディスプレイ上に表示された表示内容を操作する内容操作処理
とを実行させることを特徴とする画面表示操作プログラム。
【０１４２】
（付記３０）
前記母音判別処理は、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記２９記載の画面表示操作プログラム。
【０１４３】
（付記３１）
コンピュータに、
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出処理と、
この登録対象単語画像抽出処理によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録処理と、
この単語発声パターン記録処理で記録した単語登録の対象となる単語発声パターンを、前記単語発声パターン記録処理で予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較処理と、
このパターン比較処理による比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別処理
とを実行させることを特徴とする単語登録プログラム。
【０１４４】
（付記３２）
コンピュータに、
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出処理と、
この登録対象単語画像抽出処理によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定処理と、
前記登録対象単語画像抽出処理によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別処理と、
前記登録対象単語画像抽出処理によって抽出した単語画像における前記閉タイミング測定処理で測定したそれぞれのタイミングおよび前記母音判別処理で判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定処理で測定したそれぞれのタイミングと前記母音判別処理で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書における前記した組み合わせと比較する比較処理と、
この比較処理による比較の結果、所定の値以上近似しないと判別した前記した組み合わせに対応する未登録の単語のみを単語登録可能とする登録単語可否判別処理
とを実行させることを特徴とする単語登録プログラム。
【０１４５】
（付記３３）
前記母音判別処理は、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記３２記載の単語登録プログラム。
【符号の説明】
【０１４６】
１０ 情報処理装置
１１、５８、４７、３０５、６０３ ディスプレイ
１２ 撮像手段
１３ 変化判別手段
１４ 特定操作実行手段
２０、３０ 単語判別装置
２１、３１ 唇画像領域抽出手段
２２、３２ 単語画像抽出手段
２３ 単語発声パターン記録手段
２４、３５、４４、５５、６４、７５、３２７ 単語辞書
２５、４５、６５ パターン比較手段
２６、３７、４６、５７ 単語判別手段
３３、５３、７３ 閉タイミング測定手段
３４、５４、７４ 母音判別手段
３６、５６、７６ 比較手段
４０、５０ 画面表示操作装置
４１、５１、６１、７１ 唇画像領域抽出手段
４２、５２ 単語画像抽出手段
４３、６３ 単語発声パターン記録手段
４８、５９ 内容操作手段
６０、７０ 単語登録装置
６２、７２ 登録対象単語画像抽出手段
６６、７７ 登録単語可否判別手段
８０、９０ 単語判別方法
８１、９１ 唇画像領域抽出ステップ
８２、９２ 単語画像抽出ステップ
８３ 単語発声パターン記録ステップ
８４ パターン比較ステップ
８５、９６ 単語判別ステップ
９３ 閉タイミング測定ステップ
９４ 母音判別ステップ
９５ 比較ステップ
１００ 単語判別プログラム
１０１ 唇画像領域抽出処理
１０２ 単語画像抽出処理
１０３ 閉タイミング測定処理
１０４ 母音判別処理
１０５ 比較処理
１０６ 単語判別処理
３００ 携帯電話機
３０６、６０４ 撮像装置
３２１ ＣＰＵ
３２２ メモリ
３２３ 主制御部
３２８ 単語判別部
３２９ 画像メモリ
３３０ 唇画像領域抽出部
３３１ 単語画像抽出部
３３２ 閉タイミング測定部
３３３ 母音判別部
３５１ ユーザ
３５２ 顔
３５３ 唇
５０１ 第１のウィンドウ
５０２ 第２のウィンドウ
６００ パーソナルコンピュータ
【技術分野】
【０００１】
本発明は、パーソナルコンピュータや携帯電話機等の各種の情報処理装置、これに使用される単語判別装置、画面表示の操作を行う画面表示操作装置、単語登録を行う単語登録装置およびこれらの方法ならびにプログラムに関する。
【背景技術】
【０００２】
パーソナルコンピュータや携帯電話機等の各種の情報処理装置では、ディスプレイ上に各種操作に関する情報を表示して、キーボードや操作パネルあるいはマウス等のポインティングデバイスを用いて、入力操作を行うことが多い。
【０００３】
図２５は、本発明の第１の関連技術の情報処理装置としての携帯電話機の外観を表わしたものである。この携帯電話機２００は、第１の筐体２０１と第２の筐体２０２をヒンジ機構２０３で折り畳み自在に連結した折り畳み型の電話機である。第１の筐体２０１にはディスプレイ２０５が配置され、第２の筐体２０２における折り畳み時にディスプレイ２０５と対向する面には操作部２０６が配置されている。
【０００４】
この携帯電話機２００を例に採れば、ユーザはディスプレイ２０５に表示されたメニュー画面等の画面内容を見て、操作部２０６の決定キー２０６Ａや方向キー２０６Ｂ、あるいはダイヤルキー２０６Ｃ等のキー操作を行って、電子メールの送信や情報の検索等の必要な処理を実行する。ディスプレイ２０５にタッチパネルが付属している場合には、所望の表示部位を指やペンで押下することによっても、各種の操作が可能である。
【０００５】
ところで、このような操作は、ユーザの手によって行われるのを前提としている。したがって、手の不自由な人にとって多くの情報処理装置は、使い勝手の悪いインタフェースを備えた装置となる。また、手に特別の障害がない人にとっても、これらの情報処理装置を多用することは手に過度の負担を掛け、好ましくない。
【０００６】
特にこの種の情報処理装置では、メニュー画面からユーザの所望の項目を選択するような場合、メニューが多くの階層に分類されている場合が多い。このような場合には、キーの押下等の手による操作を繰り返す必要があり、手の不自由な人に大きな負担を強いることになる。
【０００７】
そこで、本発明の第２の関連技術として、レーザポインタと空気で作動するスイッチを用いてマウスカーソルを画面上で移動させたりクリックするパソコン入力装置が提案されている（たとえば特許文献１参照）。この第１の関連技術では、レーザポインタをユーザの頭部に取り付けておき、レーザビームをディスプレイ上に照射して、その位置をカメラで検出することで、マウスカーソルの移動制御を行う。また、ユーザの口元にチューブをセットして呼気または吸気によってスイッチを作動させることで、クリックを実現する。
【０００８】
この第２の関連技術では、ユーザがレーザポインタやこの画像を取得するカメラおよび空気で作動する特殊なスイッチを用意する必要がある。また、ユーザは入力操作を行っている間、頭部の姿勢と目の視点および口の自由度を奪われるという問題がある。
【０００９】
そこで、第３の関連技術として、目の動きと口の形状認識を利用した文字入力装置が提案されている（たとえば特許文献２参照）。この第３の関連技術では、使用者の映像（顔の位置、向き、目の方向など）および母音を発声した時の映像（口形状）の画像データを辞書として保存しておき、使用者が入力しようと見つめている行の文字を選定するようにしている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００５−０６３１０１号公報（第００２８段落、第００２９段落、図１）
【特許文献２】特開２００２−２６９５４４号公報（請求項１、第０００７段落〜第００１１段落、第００２４段落、図１）
【発明の概要】
【発明が解決しようとする課題】
【００１１】
この第３の関連技術では、入力したい文字の母音の口の動きをカメラで読み取り、行を選択するボタンを表示して、ボタンを見つめた映像と合わせて文字の判別を行う。したがって、第３の関連技術を実施するためには、ユーザが行のボタンを目で追って、該当する行を見つけてこれを目で見つめている状態でその行の文字を１文字分だけ発声する必要がある。語句を通常の速度でしゃべった場合には、該当する行を目でいちいち追跡することが不可能なためである。このため、文字の入力速度がかなり低下するだけでなく、視点を頻繁に変更しなければならないので、目が疲れるという問題が生じる。
【００１２】
そこで、第３の関連技術では、行の方はキー入力によって決定してもよいとしているが、これでは手の不自由な人の操作を排除することになる。
【００１３】
そこで本発明の目的は、ユーザの口の映像のみによって情報処理や単語の判別を行ったり、画面表示の操作を可能にしたり、単語登録を行う情報処理装置、単語判別装置、画面表示操作装置、単語登録装置およびこれらの方法ならびにプログラムを提供することにある。
【課題を解決するための手段】
【００１４】
本発明では、（イ）各種の情報を視覚的に表示するディスプレイと、（ロ）このディスプレイを使用する操作者の口を少なくとも撮影する撮像手段と、（ハ）この撮像手段によって得られた操作者の口の画像の経時的な変化を判別する変化判別手段と、（ニ）この変化判別手段の判別結果に応じて判別結果と対応付けた予め定めた特定の操作を実行する特定操作実行手段とを情報処理装置が具備する。
【００１５】
また、本発明では、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、（ロ）この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、（ハ）この単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、（ニ）この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、（ホ）前記した単語発声パターン記録手段で記録した認識の対象となる単語発声パターンを前記した単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、（へ）このパターン比較手段による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別手段とを単語判別装置が具備する。
【００１６】
更に本発明では、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、（ロ）この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、（ハ）この単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、（ニ）前記した単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、（ホ）前記した閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記した母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、（へ）前記した単語画像抽出手段によって抽出した単語画像における前記した閉タイミング測定手段で測定したそれぞれのタイミングおよび前記した母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記した単語辞書における前記した組み合わせと比較する比較手段と、（ト）この比較手段で最も一致すると判別した前記した単語辞書における前記した組み合わせに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別手段とを単語判別装置が具備する。
【００１７】
更にまた本発明では、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、（ロ）この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、（ハ）この単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、（ニ）この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、（ホ）前記した単語発声パターン記録手段で記録した認識の対象となる単語発声パターンを前記した単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、（へ）このパターン比較手段による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別手段と、（ト）各種の情報を表示するディスプレイと、（チ）前記した単語判別手段で判別した単語に対応する操作内容でこのディスプレイ上に表示された表示内容を操作する内容操作手段とを画面表示操作装置が具備する。
【００１８】
また、本発明では、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、（ロ）この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、（ハ）この単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、（ニ）前記した単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、（ホ）前記した閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記した母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、（へ）前記した単語画像抽出手段によって抽出した単語画像における前記した閉タイミング測定手段で測定したそれぞれのタイミングおよび前記した母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記した単語辞書における前記した組み合わせと比較する比較手段と、（ト）この比較手段で最も一致すると判別した前記した単語辞書における前記した組み合わせに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別手段と、（チ）各種の情報を表示するディスプレイと、（リ）前記した単語判別手段で判別した単語に対応する操作内容でこのディスプレイ上に表示された表示内容を操作する内容操作手段とを画面表示操作装置が具備する。
【００１９】
更に本発明では、（イ）単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、（ロ）この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出手段と、（ハ）この登録対象単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、（ニ）この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、（ホ）前記した単語発声パターン記録手段で記録した単語登録の対象となる単語発声パターンを前記した単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、（へ）このパターン比較手段による比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別手段とを単語登録装置が具備する。
【００２０】
更にまた本発明では、（イ）単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、（ロ）この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出手段と、（ハ）この登録対象単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、（ニ）前記した登録対象単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、（ホ）前記した閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記した母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、（へ）前記した登録対象単語画像抽出手段によって抽出した単語画像における前記した閉タイミング測定手段で測定したそれぞれのタイミングおよび前記した母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記した単語辞書における前記した組み合わせと比較する比較手段と、（ト）この比較手段による比較の結果、所定の値以上近似しないと判別した前記した組み合わせに対応する未登録の単語のみを単語登録可能とする登録単語可否判別手段とを単語登録装置が具備する。
【００２１】
また、本発明では、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、（ロ）この唇画像領域抽出ステップで抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、（ハ）この単語画像抽出ステップによって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録ステップと、（ニ）この単語発声パターン記録ステップで記録した認識の対象となる単語発声パターンを、前記した単語発声パターン記録ステップで予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較ステップと、（ホ）このパターン比較ステップによる比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別ステップとを単語判別方法が具備する。
【００２２】
更に本発明では、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、（ロ）この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、（ハ）この単語画像抽出ステップによって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定ステップと、（ニ）前記した単語画像抽出ステップによって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別ステップと、（ホ）前記した単語画像抽出ステップによって抽出した単語画像における前記した閉タイミング測定ステップで測定したそれぞれのタイミングおよび前記した母音判別ステップで判別した単語を構成するそれぞれの母音の組み合わせを、前記した閉タイミング測定ステップで測定したそれぞれのタイミングと前記した母音判別ステップで判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較ステップと、（へ）この比較ステップによる比較の結果、最も一致すると判別した前記した単語辞書における前記した組み合わせに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別ステップとを単語判別方法が具備する。
【００２３】
更にまた本発明では、コンピュータに、単語判別プログラムとして、（イ）認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、（ロ）この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出処理と、（ハ）この単語画像抽出処理によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定処理と、（ニ）前記した単語画像抽出処理によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別処理と、（ホ）前記した単語画像抽出処理によって抽出した単語画像における前記した閉タイミング測定処理で測定したそれぞれのタイミングおよび前記した母音判別処理で判別した単語を構成するそれぞれの母音の組み合わせを、前記した閉タイミング測定処理で測定したそれぞれのタイミングと前記した母音判別処理で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較処理と、（へ）この比較処理による比較の結果、最も一致すると判別した前記した単語辞書における前記した組み合わせに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する単語判別処理とを実行させることを特徴とする。
【発明の効果】
【００２４】
以上説明したように本発明によれば、携帯電話機や小型のパーソナルコンピュータ等の情報処理装置に付属していることの多いカメラ（撮像装置）を活用することで、新たなデバイスを使用することなく操作者の口の画像の変化を基に予め定めた特定の操作を実行することができる。また、カメラ（撮像装置）が付属していない情報処理装置であっても、ＵＳＢ（Universal Serial Bus）接続等の手法によって、安価に本発明を実現することができる。
【００２５】
また、更に本発明によれば、母音の判別だけでなく単語画像における上下の唇が閉じられるタイミングの測定も行うことにした。これにより母音と両唇音の組み合わせによる単語認識が可能になり、辞書として登録する単語の数を装置の操作に必要な程度まで増加させることが可能になる。
【図面の簡単な説明】
【００２６】
【図１】本発明の情報処理装置のクレーム対応図である。
【図２】本発明の単語判別装置のクレーム対応図である。
【図３】本発明の他の単語判別装置クレーム対応図である。
【図４】本発明の画面表示操作装置のクレーム対応図である。
【図５】本発明の他の画面表示操作装置のクレーム対応図である。
【図６】本発明の単語登録装置のクレーム対応図である。
【図７】本発明の他の単語登録装置のクレーム対応図である。
【図８】本発明の単語判別方法のクレーム対応図である。
【図９】本発明の他の単語判別方法のクレーム対応図である。
【図１０】本発明の単語判別プログラムのクレーム対応図である。
【図１１】本発明の実施の形態における画面表示操作装置としての携帯電話機の構成を表わした平面図である。
【図１２】本実施の形態の携帯電話機の回路構成の概要を表わしたブロック図である。
【図１３】日本語の母音と唇の開口部の形状の関係を大まかに示した説明図である。
【図１４】本実施の形態で携帯電話機のメニュー画面呼び出しと音声による単語登録モードの処理の概要を表わした流れ図である。
【図１５】本実施の形態でステップＳ４０１の処理が行われるときの携帯電話機とユーザの顔の位置関係を示した説明図である。
【図１６】本実施の形態で単語辞書に登録した単語発声パターンについて、発声内容と解析結果および辞書の登録内容の一例を示した説明図である。
【図１７】本実施の形態でディスプレイの表示内容の一例を示した平面図である。
【図１８】本実施の形態でユーザが発声によってディスプレイの表示内容の操作を行う場合の処理の流れを示した流れ図である。
【図１９】本実施の形態で図１４のステップＳ４０４による単語登録の処理の流れを具体的に表わした流れ図である。
【図２０】本発明の第１の変形例で話者としてのユーザが単語を１音ずつ発声するときの画像の変化の様子を表わした説明図である。
【図２１】第１の変形例におけるディスプレイの表示例を示した平面図である。
【図２２】第１の変形例における第１および第２のウィンドウのアクティブとノンアクティブの切替制御の様子を表わした説明図である。
【図２３】この第１の変形例における第２の例として「タブ１」〜「タブ４」の選択を示した説明図である。
【図２４】本発明の第２の変形例における画面表示操作装置を示した斜視図である。
【図２５】本発明の第１の関連技術の情報処理装置としての携帯電話機の外観を表わした平面図である。
【発明を実施するための形態】
【００２７】
図１は、本発明の情報処理装置のクレーム対応図を示したものである。本発明の情報処理装置１０は、ディスプレイ１１と、撮像手段１２と、変化判別手段１３と、特定操作実行手段１４を備えている。ここで、ディスプレイ１１は、各種の情報を視覚的に表示する。撮像手段１２は、ディスプレイ１１を使用する操作者の口を少なくとも撮影する。変化判別手段１３は、撮像手段１２によって得られた操作者の口の画像の経時的な変化を判別する。特定操作実行手段１４は、変化判別手段１３の判別結果に応じて判別結果と対応付けた予め定めた特定の操作を実行する。
【００２８】
図２は、本発明の単語判別装置のクレーム対応図を示したものである。本発明の単語判別装置２０は、唇画像領域抽出手段２１と、単語画像抽出手段２２と、単語発声パターン記録手段２３と、単語辞書２４と、パターン比較手段２５と、単語判別手段２６を備えている。ここで、唇画像領域抽出手段２１は、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出手段２２は、唇画像領域抽出手段２１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。単語発声パターン記録手段２３は、単語画像抽出手段２２によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する。単語辞書２４は、単語発声パターン記録手段２３あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けたものである。パターン比較手段２５は、単語発声パターン記録手段２３で記録した認識の対象となる単語発声パターンを単語辞書２４内の各単語についての単語発声パターンと比較する。単語判別手段２６は、パターン比較手段２５で最も一致すると判別した単語発声パターンに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する。
【００２９】
図３は、本発明の他の単語判別装置のクレーム対応図を示したものである。本発明の他の単語判別装置３０は、唇画像領域抽出手段３１と、単語画像抽出手段３２と、閉タイミング測定手段３３と、母音判別手段３４と、単語辞書３５と、比較手段３６と、単語判別手段３７を備えている。ここで、唇画像領域抽出手段３１は、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出手段３２は、唇画像領域抽出手段３１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。閉タイミング測定手段３３は、単語画像抽出手段３２によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する。母音判別手段３４は、単語画像抽出手段３２によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する。単語辞書３５は、閉タイミング測定手段３３あるいはこれと同等の手段によって測定したそれぞれのタイミングと母音判別手段３４あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語について用意したものである。比較手段３６は、単語画像抽出手段３２によって抽出した単語画像における閉タイミング測定手段３３で測定したそれぞれのタイミングおよび母音判別手段３４で判別した単語を構成するそれぞれの母音の組み合わせを単語辞書３５における前記した組み合わせと比較する。単語判別手段３７は、比較手段３６による比較の結果、最も一致すると判別した単語辞書３５における前記した組み合わせに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する。
【００３０】
図４は、本発明の画面表示操作装置のクレーム対応図を示したものである。本発明の画面表示操作装置４０は、唇画像領域抽出手段４１と、単語画像抽出手段４２と、単語発声パターン記録手段４３と、単語辞書４４と、パターン比較手段４５と、単語判別手段４６と、ディスプレイ４７と、内容操作手段４８を備えている。ここで、唇画像領域抽出手段４１は、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出手段４２は、唇画像領域抽出手段４１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。単語発声パターン記録手段４３は、単語画像抽出手段４２によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する。単語辞書４４は、単語発声パターン記録手段４３あるいはこれと同等の手段によって予め記録しておいた単語発声パターンの標準的なものを複数の単語について集めたものである。パターン比較手段４５は、単語発声パターン記録手段４３で記録した認識の対象となる単語発声パターンを単語辞書４４内の各単語についての単語発声パターンと比較する。単語判別手段４６は、パターン比較手段４５で最も一致すると判別した単語発声パターンに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する。ディスプレイ４７は、各種の情報を表示する。内容操作手段４８では、単語判別手段４６で判別した単語に対応する操作内容でこのディスプレイ４７上に表示された表示内容を操作する。
【００３１】
図５は、本発明の他の画面表示操作装置のクレーム対応図を示したものである。本発明の他の画面表示操作装置５０は、唇画像領域抽出手段５１と、単語画像抽出手段５２と、閉タイミング測定手段５３と、母音判別手段５４と、単語辞書５５と、比較手段５６と、単語判別手段５７と、ディスプレイ５８と、内容操作手段５９を備えている。ここで、唇画像領域抽出手段５１は、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出手段５２は、唇画像領域抽出手段５１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。閉タイミング測定手段５３は、単語画像抽出手段５２によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する。母音判別手段５４は、単語画像抽出手段５２によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する。単語辞書５５は、閉タイミング測定手段５３あるいはこれと同等の手段によって測定したそれぞれのタイミングと母音判別手段５４あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語について用意したものである。比較手段５６は、単語画像抽出手段５２によって抽出した単語画像における閉タイミング測定手段５３で測定したそれぞれのタイミングおよび母音判別手段５４で判別した単語を構成するそれぞれの母音の組み合わせを単語辞書５５と比較する。単語判別手段５７は、比較手段５６で最も一致すると判別した単語辞書の単語を前記した認識の対象とする人物の発声した単語であると判別する。ディスプレイ５８は、各種の情報を表示する。内容操作手段５９は、単語判別手段５７で判別した単語に対応する操作内容でこのディスプレイ５８上に表示された表示内容を操作する。
【００３２】
図６は、本発明の単語登録装置のクレーム対応図を示したものである。本発明の単語登録装置６０は、唇画像領域抽出手段６１と、登録対象単語画像抽出手段６２と、単語発声パターン記録手段６３と、単語辞書６４と、パターン比較手段６５と、登録単語可否判別手段６６を備えている。ここで、唇画像領域抽出手段６１は、単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。登録対象単語画像抽出手段６２は、唇画像領域抽出手段６１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する。単語発声パターン記録手段６３は、登録対象単語画像抽出手段６２によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する。単語辞書６４は、単語発声パターン記録手段６３あるいはこれと同等の手段によって予め記録しておいた単語発声パターンの標準的なものを複数の単語について集めたものである。パターン比較手段６５は、単語発声パターン記録手段６３で記録した単語登録の対象となる単語発声パターンを単語辞書６４内の各単語についての単語発声パターンと比較する。登録単語可否判別手段６６は、パターン比較手段６５で所定の値以上近似しないと判別した未登録の単語のみを単語登録可能とする。
【００３３】
図７は、本発明の他の単語登録装置のクレーム対応図を示したものである。本発明の他の単語登録装置７０は、唇画像領域抽出手段７１と、登録対象単語画像抽出手段７２と、閉タイミング測定手段７３と、母音判別手段７４と、単語辞書７５と、比較手段７６と、登録単語可否判別手段７７を備えている。ここで、唇画像領域抽出手段７１は、単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。登録対象単語画像抽出手段７２は、唇画像領域抽出手段７１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する。閉タイミング測定手段７３は、登録対象単語画像抽出手段７２によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する。母音判別手段７４は、登録対象単語画像抽出手段７２によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する。単語辞書７５は、閉タイミング測定手段７３あるいはこれと同等の手段によって測定したそれぞれのタイミングと母音判別手段７４あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語について用意したものである。比較手段７６は、登録対象単語画像抽出手段７２によって抽出した単語画像における閉タイミング測定手段７３で測定したそれぞれのタイミングおよび母音判別手段７４で判別した単語を構成するそれぞれの母音の組み合わせを単語辞書７５と比較する。登録単語可否判別手段７７は、比較手段７６で所定の値以上近似しないと判別した未登録の単語のみを単語登録可能とする。
【００３４】
図８は、本発明の単語判別方法のクレーム対応図を示したものである。本発明の単語判別方法８０は、唇画像領域抽出ステップ８１と、単語画像抽出ステップ８２と、単語発声パターン記録ステップ８３と、パターン比較ステップ８４と、単語判別ステップ８５を備えている。ここで、唇画像領域抽出ステップ８１では、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出ステップ８２では、唇画像領域抽出ステップ８１で抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。単語発声パターン記録ステップ８３では、単語画像抽出ステップ８２によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記した唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する。パターン比較ステップ８４では、単語発声パターン記録ステップ８３で記録した認識の対象となる単語発声パターンを、単語発声パターン記録ステップ８３で予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較する。単語判別ステップ８５では、パターン比較ステップ８４で最も一致すると判別した単語発声パターンに対応する単語を前記した認識の対象とする人物の発声した単語であると判別する。
【００３５】
図９は、本発明の他の単語判別方法のクレーム対応図を示したものである。本発明の他の単語判別方法９０は、唇画像領域抽出ステップ９１と、単語画像抽出ステップ９２と、閉タイミング測定ステップ９３と、母音判別ステップ９４と、比較ステップ９５と、単語判別ステップ９６を備えている。ここで、唇画像領域抽出ステップ９１では、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出ステップ９２では、唇画像領域抽出ステップ９１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。閉タイミング測定ステップ９３では、単語画像抽出ステップ９２によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する。母音判別ステップ９４では、単語画像抽出ステップ９２によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する。比較ステップ９５では、単語画像抽出ステップ９２によって抽出した単語画像における閉タイミング測定ステップ９３で測定したそれぞれのタイミングおよび母音判別ステップ９４で判別した単語を構成するそれぞれの母音の組み合わせを、閉タイミング測定ステップ９３で測定したそれぞれのタイミングと母音判別ステップ９４で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書における前記した組み合わせと比較する。単語判別ステップ９６では、比較ステップ９５で最も一致すると判別した単語辞書の単語を前記した認識の対象とする人物の発声した単語であると判別する。
【００３６】
図１０は、本発明の単語判別プログラムのクレーム対応図を示したものである。本発明の単語判別プログラム１００は、コンピュータに、唇画像領域抽出処理１０１と、単語画像抽出処理１０２と、閉タイミング測定処理１０３と、母音判別処理１０４と、比較処理１０５と、単語判別処理１０６を実行させるようにしている。ここで、唇画像領域抽出処理１０１では、認識の対象とする人物の顔の画像から唇の領域の画像を抽出する。単語画像抽出処理１０２では、唇画像領域抽出処理１０１によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する。閉タイミング測定処理１０３では、単語画像抽出処理１０２によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する。母音判別処理１０４では、単語画像抽出処理１０２によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する。比較処理１０５では、単語画像抽出処理１０２によって抽出した単語画像における閉タイミング測定処理１０３で測定したそれぞれのタイミングおよび母音判別処理１０４で判別した単語を構成するそれぞれの母音の組み合わせを、閉タイミング測定処理１０３で測定したそれぞれのタイミングと母音判別処理１０４で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書における前記した組み合わせと比較する。単語判別処理１０６では、比較処理１０５で最も一致すると判別した単語辞書の単語を前記した認識の対象とする人物の発声した単語であると判別する。
【００３７】
＜発明の実施の形態＞
【００３８】
次に本発明の実施の形態を説明する。
【００３９】
図１１は、本発明の実施の形態における画面表示操作装置としての携帯電話機の構成を表わしたものである。携帯電話機３００は、第１の筐体３０１と第２の筐体３０２をヒンジ機構３０３で折り畳み自在に連結した折り畳み型の電話機である。第１の筐体３０１には中央にディスプレイ３０５が配置され、その右上には撮像装置３０６が配置されている。また、第２の筐体３０２における折り畳み時にディスプレイ３０５と対向する面には操作部３０７が配置されている。操作部３０７には、決定キー３０７Ａや方向キー３０７Ｂ、ダイヤルキー３０７Ｃ等の各種のキーが配置されている。
【００４０】
図１２は、本実施の形態における携帯電話機の回路構成の概要を表わしたものである。携帯電話機３００は、ＣＰＵ（Central Processing Unit）３２１と、このＣＰＵ３２１が実行するプログラムを格納したメモリ３２２を備えた主制御部３２３を有している。主制御部３２３は、データバス等のバス３２４を通じて携帯電話機３００の各部と接続されており、これらの制御を行うようになっている。
【００４１】
このうち通信制御部３２５は、図示しない基地局との通信を制御する。撮像装置３０６は静止画および動画の撮影を行う。表示制御装置３２６は、ディスプレイ３０５の表示を制御する。操作部３０７はキー入力によって携帯電話機３００の各種操作を行う。本実施の形態の携帯電話機では、ディスプレイ３０５の表示内容と対応付けて、唇の画像を用いた入力操作も可能である。
【００４２】
単語辞書３２７は、単語発声パターンの標準的なものを複数の単語について集めたものである。ここで単語発声パターンとは、ユーザが複数の音からなる単語を発声したときに、上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化をパターン化したものである。単語判別部３２８はユーザが発声によって各種操作を行うときに使用する単語についての単語発声パターンを、辞書に登録した標準的な単語発声パターンと比較することによって判別するようになっている。画像メモリ３２９は、撮像装置３０６から得られた画像データを格納する。唇画像領域抽出部３３０は、ユーザの顔の画像から唇の画像を抽出する。唇の検出には、たとえば動的輪郭モデル（SNAKES）を用いることができる。また、顔を特定し、その周囲よりも赤い領域を判別することでも唇の検出を行うことができる。
【００４３】
単語画像抽出部３３１は、ユーザが単語を発声する際の唇の画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として画像メモリ３２９から抽出する。閉タイミング測定部３３２はユーザが単語を発声したときの上下の唇の閉じるタイミングをそれぞれ測定する。母音判別部３３３は、単語画像抽出部３３１の抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する。一般機能部３３４は、携帯電話機としての一般的な機能として、本実施の形態の携帯電話機３００に備えられている機能をまとめた部分である。たとえば本実施の形態の携帯電話機３００がテレビジョンの受信機能や電子決済の機能を備えている場合、これらの機能は一般機能部３３４に存在している。
【００４４】
このような携帯電話機３００を構成する主制御部３２３以外の少なくとも一部は、ＣＰＵ３２１がメモリ３２２に格納されたプログラムを実行することによってソフトウェア的に実現することができる。
【００４５】
図１３は、日本語の母音と唇の開口部の形状の関係を大まかに示したものである。母音は、声帯の震えを伴う有声音であり、ある程度の時間以上同一の音が持続して発せられる点で子音と異なる。日本語の場合には母音は「ア」、「イ」、「ウ」、「エ」、「オ」の各音からなる。
【００４６】
個々の母音は口の大きさや口の開口部の形状と舌の前後の位置との組み合わせによって外見上で特定することができる。しかしながら撮像装置３０６を用いて舌の前後の位置を特定することは困難である。そこで本実施の形態では、ユーザが単語を発声したときに口の開口部の形状が所定時間以上同一の状態に継続したとき、この形状から「ア」、「イ」、「ウ」、「エ」、「オ」のいずれかの母音が発声されたと推定するようにしている。
【００４７】
ここで「ア」の音は、上下の唇の閉じたときの合わせ目が全体的に水平に配置されていると仮定したときの唇の開口部の中心点を通る上下方向に指２本が入る程度に口が開けられている状態で発せられる。「イ」の音は、軽く小指の先が入る程度に口が開けられている状態で発せられる。「エ」の音は、「ア」の音と「イ」の音の中間程度に口が開けられている状態で発せられる。これらの音を発するとき、口はすぼめていない。
【００４８】
「ウ」および「オ」の各音は、口をすぼめて発声する。このうち「ウ」の音は「オ」の音よりも唇の開口部が一回り小さくなる。「ア」、「エ」、「イ」の各音における上下の唇の閉じたときの合わせ目が全体的に水平に配置されていると仮定したときの唇の開口部の中心点を通る左右方向の距離は、「ウ」および「オ」の各音を発声する場合よりも長い。
【００４９】
したがって、本実施の形態では、図１２に示した母音判別部３３３が単語画像抽出部３３１の抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別するようにしている。もちろん、唇の大きさには個人差があり、開口部の上下方向および左右方向の距離と各母音の関係は相対的なものとなる。
【００５０】
母音は継続的に発せられる音なので、たとえばユーザが「イ」という音を発声したときと「イイ」という連続音を発声したときでは、唇の開口部の形状に変化はなく、同一の開口部の形状が保たれる時間が異なるだけである。したがって、本実施の形態では、唇の開口部の形状が所定時間以上継続することを母音の判別に用いると共に、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別する。これにより、ユーザが「イ」という音を単発で発声したか「イイ」というように複数回「イ」の音を連発で発声したかが分かるようにしている。
【００５１】
ただし、これには例外がある。「ン」は、前に発声した「ア」、「イ」、「ウ」、「エ」、「オ」の各音と唇の形状を保持したまま発声することができる。また、次に発声する母音に備えて、先行して唇の開口部の形状を変えて音「ン」を発声することもできる。したがって、「イイ」という連続音と「イン」という言葉は、「イ」という音と区別できても、本発明の原理では区別できない可能性がある。可能性があるといったのは、「インク」という単語を発声したとき、母音で「イイウ」と判別するか「イウウ」と判別するか特定することができないことによる。もちろん、単語登録の対象とする音に「ン」を含めないとする制限も可能である。
【００５２】
ところで、携帯電話機３００の操作をユーザの発声する単語の違いによって行おうとするとき、母音のみから個々の単語の違いを判別しようとすると、たとえば「イイ（ＯＫ）」という単語と「ミギ（右）」という単語は、共に母音「イ」、「イ」からなる区別できない単語となる。すなわち、操作のために登録する単語の数や種類が大きく制限されることになる。
【００５３】
そこで本実施の形態では、閉タイミング測定部３３２を用いてユーザが単語を発声したときの上下の唇の閉じるタイミングをそれぞれ測定するようにしている。これは、日本語で、ま行、ぱ行、ば行の各音（両唇音）を発声した場合には、上下の唇が必ず一度閉じるという特徴を利用するものである。たとえば「イイ（ＯＫ）」という単語を発声するとき、唇の開口部は図１３の右上に示した「イ」の状態が継続したままとなる。これに対して「ミギ（右）」という単語を発声した場合には、一度、口が完全に閉じ、次に図１３の右上に示した「イ」の状態が発生し、最後に図１３の右上に示した「イ」の状態が発生する。
【００５４】
なお、「ミギ（右）」という単語を発声した場合に、口が完全に閉じる回数は必ずしも特定することはできない。「ミギ（右）」という単語の発声を終了させたときに、口が「イ」の状態で開いている場合もあれば、閉じている場合もあるからである。
【００５５】
いずれにせよ本実施の形態では単語を各母音の組み合わせとそれぞれの音が両唇音であるか否かという特性を用いることで、ユーザが携帯電話機３００の操作に使用する各単語を比較的不自由なく登録できるようにしている。
【００５６】
図１４は、携帯電話機のメニュー画面呼び出しと音声による単語登録モードの処理の概要を表わしたものである。図１１および図１２と共に説明する。
【００５７】
ユーザは、まず図１１に示したように第１の筐体３０１と第２の筐体３０２を折り畳み状態から開いて、メニュー画面の呼び出しを意味する「メニュー」と発声する。すると、ＣＰＵ３２１は起動状態となった撮像装置３０６から、このときのユーザの顔の画像を取り込んで、「メニュー画面」の指示があったことを判別する（ステップＳ４０１）。
【００５８】
図１５は、このステップＳ４０１の処理が行われるときの携帯電話機とユーザの顔の位置関係を示したものである。図１２と共に説明する。携帯電話機３００の第１の筐体３０１と第２の筐体３０２が開いた状態で、ユーザ３５１の顔３５２は撮像装置３０６の前方に位置しているのが通常である。したがって、この状態で、被写体の取り込まれる画角（視野角）θの範囲内に存在する顔３５２の画像から唇画像領域抽出部３３０は、ユーザ３５１の唇３５３の画像領域を切り出すことができる。このとき切り出された唇３５３の画像領域は画像メモリ３２９に順次取り込まれ、ユーザ３５１が単語を発声したときにその開始点から終了点までの一連の画像が単語画像抽出部３３１で抽出される。
【００５９】
この抽出した一連の画像に対して、閉タイミング測定部３３２はユーザが単語を発声したときの上下の唇の閉じるタイミングをそれぞれ測定する。また、母音判別部３３３は唇画像領域抽出部３３０で切り出した唇の画像における上下の唇の傾きを水平に直した後、これを基にして図１３に示す形状が所定時間以上継続したことをもって各母音を判別する。
【００６０】
上下の唇の閉じるタイミングおよび母音の判別に際して、唇画像領域抽出部３３０で切り出した画像における唇３５３の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化について、１単位の単語が発声されたときの単語発声パターンが画像メモリ３２９の図示しない作業用メモリ領域に展開される。そして、上下の唇の閉じるタイミングがそれぞれ記録されると共に、母音を発声する最小の時間として予め設定した時間（所定時間）以上に唇３５３の開口部の形状（図１３参照）が継続したとき、上下方向と左右方向のそれぞれの測定距離を基にして、これらが５種類の母音のいずれかに該当するかを判別する。また、１種類の母音に対応する唇３５３の開口部の形状が所定時間を超えた時間継続すると判別した場合には、特定時間が経過するたびに同一の母音が繰り返し発声されたとして、その旨の判別を行うことになる。
【００６１】
図１６は、本実施の形態で単語辞書に登録した単語発声パターンについて、発声内容と解析結果および辞書の登録内容の一例を示したものである。図１２と共に説明する。
【００６２】
単語辞書３２７は、ユーザが初期的に基本的な操作に使用するシステム辞書と、ユーザが後発的に登録するユーザ辞書に分かれている。システム辞書には、図１６に示す「メニュー」や「トウロク（登録）」という語句が登録されている。
【００６３】
このうち、「メニュー」という語句の発声は、閉タイミング測定部３３２で測定した両唇音の存在するタイミングを「○」で表わし、子音を「△」で表わすとき、母音判別部３３３の判別した母音を使用して、「○△エ△イ△ウウ」と表わすことができる。ここで、「メ」は、両唇音なので「○」を開始点とし、ま行の子音「△」と「メ」の母音「エ」がこれに続くことになる。「ニ」は、な行の子音「△」と「ニ」の母音「イ」から構成される。「ュ」は、や行の子音「△」と「ュ」の母音「ウ」から構成される。「ー」は「ュ」を延ばした単語なので、「ュ」と同様に子音「△」との母音「ウ」から構成される。ただし「ニ」の音が発声されてから「ュ」の音が発声されるまでの時間間隔は、母音「イ」が認識される最小間隔となる。
【００６４】
図１４に戻って説明を続ける。ユーザが「メニュー」と発声するとＣＰＵ３２１はこの発声パターンから子音「△」を取り除き、「○△エ△イ△ウウ」と処理する。ＣＰＵ３２１は、処理内容を用いて単語辞書３２７のシステム辞書領域を検索すると、「メニュー」の登録内容と一致する。したがって、ユーザがメニュー画面の指示を行ったことが判別されることになる（ステップＳ４０１）。そこで、ＣＰＵ３２１はディスプレイ３０５にメニュー画面を表示するように表示制御装置３２６を制御する（ステップＳ４０２）。
【００６５】
ディスプレイ３０５にメニュー画面が表示されたら、ＣＰＵ３２１はこの表示状態で次にどのような発声による指示が行われるかを待機する。ユーザが単語登録を行うために「トウロク（登録）」と発声したとする。ここで「トウロク」という発声については、単語辞書３２７のシステム辞書領域に、図１６に示すように「オウオウ」という登録内容で登録されている。
【００６６】
一方、ＣＰＵ３２１の方ではユーザが「トウロク」と発声すると、画像メモリ３２９に展開されたその単語発声パターンを基に前記した処理を行い、解析結果として「△オウ△オ△ウ」を得る。ここで「ト」、「ウ」、「ロ」、「ク」の各音はいずれも両唇音ではないので「○」が付かない。最初の「ト」は、た行の子音「△」と母音「オ」から構成される。「ウ」は、そのまま母音「ウ」から構成される。「ロ」は、ら行の子音「△」と母音「ウ」から構成される。最後の「ク」は、か行の子音「△」と母音「ウ」から構成される。この結果、子音「△」を取り除くと、「オウオウ」となり、「トウロク（登録）」の登録内容と完全に一致することになる。
【００６７】
したがって、ステップＳ４０２の処理でディスプレイ３０５にメニュー画面が表示された状態でユーザが「トウロク（登録）」と発声したとすると、ＣＰＵ３２１はこれを「トウロク（登録）」の発声による指示があったと判別して（ステップＳ４０３：Ｙ）、音声による単語登録のモードを実行することになる（ステップＳ４０４）。そして、ユーザが「オワリ（終り）」と発声すると、ＣＰＵ３２１はこれを単語辞書３２７側の登録内容「オアイ」（図１６参照）との一致を検出して「オワリ（終り）」が発声されたと判別して（ステップＳ４０５：Ｙ）、単語登録のモードを終了する（エンド）。
【００６８】
一方、ディスプレイ３０５にメニュー画面が表示された状態でユーザが「トウロク（トウロク）」以外の他の語句を発声し（ステップＳ４０３：Ｎ）、それが単語登録のモード以外のモードとして判別された場合（ステップＳ４０６：Ｙ）、該当するそのモードが実行される。それ以外の場合、たとえばユーザが咳払いをしたり単語辞書３２７の登録内容に一致しない語句を発声した場合には（ステップＳ４０６：Ｎ）、メニュー画面が表示された状態となる（ステップＳ４０２）。もちろん、システムによってはユーザがこの状態で「オワリ（終り）」と発声することで、メニュー画面の表示状態を終了させることができるようにしてもよい。
【００６９】
ところで図１６に示した単語辞書３２７には、ユーザ辞書として「タブイチ（タブ１）」、「タブニ（タブ２）」等の発声内容の登録も行われている。そこで、このような単語辞書３２７を用いて、ユーザ３５１がディスプレイ３０５に表示されたタブを操作する様子を説明する。
【００７０】
図１７は、ディスプレイの表示内容の一例を示したものである。図１２と共に説明する。
【００７１】
ディスプレイ３０５には、ある操作が行われた時点で複数のタブを有するウィンドウが重なった状態で表示されている。図１７では「タブ１」が選択された結果として、第１のウィンドウが前面に出た状態でその内容が表示されている。ユーザは、この状態から「タブ２」の第２のウィンドウに移行する際に、「手」を使用するのであれば、図１１に示したダイヤルキー３０７Ｃの「２」キーを選択したり、図示しないカーソルを数字の「２」の位置に移動させてクリックすることになる。本実施の形態の携帯電話機３００では、発声によってもタブの選択が可能である。
【００７２】
図１８は、ユーザが発声によってディスプレイの表示内容の操作を行う場合の処理の流れを示したものである。この処理は、図１４のステップＳ４０６における「その他の指示」の１つとして行われるものである。図１２、図１５〜図１７と共に説明する。
【００７３】
ディスプレイ３０５に図１７の内容が表示され、ユーザ３５１が図１４のステップＳ４０６における「その他の指示」の１つとして、発声によるディスプレイの表示内容の操作を選択したものとする。この状態で撮像装置３０６の取り込んだ画像データは、画像メモリ３２９の所定のリングメモリ領域にエンドレスに格納され、唇画像領域抽出部３３０は唇の画像領域を順次抽出し、母音判別部３３３は母音が判別されるかをチェックする（ステップＳ４２１）。
【００７４】
この結果、唇３５３の開口部の解析から母音のいずれかが検出されたら（ステップＳ４２１：Ｙ）、単語画像抽出部３３１は画像メモリ３２９のリングメモリ領域に格納された画像を時間ｔ1だけ遡って、単語の切り出しを開始する（ステップＳ４２２）。ここで時間ｔ1は、その母音を含む音が両唇音であるか否かを確認できる長さである。
【００７５】
これと共に、単語画像抽出部３３１はリングメモリ領域における切り出しが開始した時点以降を順にチェックしていって次の母音が先の母音の検出（判別）から時間ｔ2以内に検出（判別）されるかをチェックする（ステップＳ４２３、ステップＳ４２４）。ここで時間ｔ2は、単語として複数の音が発声されるときの通常想定される「間（ま）」となる最大時間に所定の余裕時間を加えた時間である。単語画像抽出部３３１が次の母音を時間ｔ2の経過前に判別すれば（ステップＳ４２３：Ｙ）、更に次の母音を時間ｔ2以内に判別するかを繰り返しチェックする。
【００７６】
これに対して次の母音を時間ｔ2の経過前に判別しなかった場合（ステップＳ４２３：Ｎ、ステップＳ４２４：Ｙ）、単語画像抽出部３３１はその時点で単語の画像の切り出しを終了する（ステップＳ４２５）。単語判別部３２８は図１４の箇所で説明した単語処理を行って、単語辞書３２７の「登録内容」に対応する内容を取得する（ステップＳ４２６）。
【００７７】
たとえば、ユーザ３５１が「タブニ（タブ２）」と発声した単語の画像が唇画像領域抽出部３３０によって切り出されたとする。この場合、ステップＳ４２６の処理で「ア○ウイ」という処理結果が得られる。ＣＰＵ３２１は単語辞書３２７の登録内容を検索して（ステップＳ４２７）、これと一致するものが存在すれば（ステップＳ４２８：Ｙ）、その登録内容の操作を実行して（ステップＳ４２９）、処理がステップＳ４２１に戻る（リターン）。この例では、ステップＳ４２９の操作として、図１７の第１のウィンドウが表示された状態から「タブ２」の選択により第２のウィンドウが代わって選択された状態に変化する。
【００７８】
検索結果から「ア○ウイ」という処理結果と一致する登録内容が単語辞書３２７に存在しなかった場合には（ステップＳ４２８：Ｎ）、「操作内容認識不能」等のエラー表示がディスプレイ３０５に一定期間現われて（ステップＳ４３０）、その後、ステップＳ４２１に戻る（リターン）。ここでユーザ３５１は、発声による操作を再度トライすることができる。もちろん、システムによってはステップＳ４２７の検索で一致する登録内容が存在しない場合に、個々の母音や両唇音の位置の一致の度合いが最も高い単語を一致候補として表示してユーザ３５１に確認させたり、一致の度合いが所定のしきい値を超える場合には一致として処理し該当する操作を実行するようにしてもよい。
【００７９】
次に、ユーザが操作に必要な単語を登録する場合について具体的に説明する。図１６に示す単語辞書３２７に、第１のウィンドウから第３のウィンドウまでの展開を指示する「タブイチ（タブ１）」から「タブサン（タブ３）」までの単語が登録されているものとし、第４のウィンドウの展開を指示する単語がまだ登録されていないものとする。この場合、ユーザ３５１（図１５）は図１７に示したディスプレイ３０５で第４のウィンドウを音声指示によって展開することができない。
【００８０】
図１９は、図１４のステップＳ４０４による単語登録の処理の流れを具体的に表わしたものである。図１２、図１５および図１６と共に説明する。
【００８１】
図１４のステップＳ４０４による単語登録のモードが開始すると、ＣＰＵ３２１はディスプレイ３０５に単語登録の対象となる操作内容を選択する画面を表示する（ステップＳ４４１）。この表示は、手の不自由な人に配慮して、ディスプレイ３０５の表示に関するあらゆる操作を択一的に選択できる内容となっている。ユーザ３５１は、次の表示内容を要求する場合には「ツギ（次）」と発声する（ステップＳ４４２：Ｙ）。この場合、ＣＰＵ３２１は次の選択画面に切り替えて（ステップＳ４４３）、ステップＳ４４１の表示状態に戻る。これに対してユーザ３５１が前に表示された表示内容を要求する場合には「マエ（前）」と発声する（ステップＳ４４２：Ｎ、ステップＳ４４４：Ｙ）。この場合、ＣＰＵ３２１は前の選択画面に切り替えて（ステップＳ４４５）、ステップＳ４４１の表示状態に戻る。
【００８２】
このようにしてある時点で単語登録の対象となる所望の操作内容がディスプレイ３０５に表示されたら、ユーザ３５１はこの操作内容を単語登録の対象に選択するために「センタク（選択）」と発声する。ＣＰＵ３２１はこれを認識すると（ステップＳ４４２：Ｎ、ステップＳ４４４：Ｎ、ステップＳ４４６：Ｙ）、ディスプレイ３０５に音声の入力の指示を表示する（ステップＳ４４７）。そして、その指示から単語の入力に十分な時間ｔ3が経過したら（ステップＳ４４８：Ｙ）、単語画像抽出部３３１は唇画像領域抽出部３３０によって抽出されたその間の画像から単語を構成する画像を抽出する。
【００８３】
単語判別部３２８は抽出した画像に対して図１４の箇所で説明した単語処理を行って、単語辞書３２７の「登録内容」に対応する内容を取得する（ステップＳ４４９）。ＣＰＵ３２１はこの取得した内容について単語辞書３２７の登録内容を検索して（ステップＳ４５０）、一致するものがなければ（ステップＳ４５１：Ｎ）、ユーザ３５１の発声した音の内容を単語登録して（ステップＳ４５２）、処理を終了する（エンド）。
【００８４】
一方、ステップＳ４４９で単語処理を行って得られた結果が単語辞書３２７の登録内容のいずれかと一致した場合には（ステップＳ４５１：Ｙ）、重複登録を防止するためにディスプレイ３０５にエラー表示が行われる（ステップＳ４５３）。これに対してユーザ３５１は登録のための処理を再度トライするか、単語登録を断念する選択を音声の発声によって行う（ステップＳ４５４、ステップＳ４５５）。ユーザ３５１が登録のために「トウロク（登録）」と発声したことが判別された場合（ステップＳ４５４：Ｙ）、ＣＰＵ３２１は処理をステップＳ４４７に戻して音声の入力を再度待機する。
【００８５】
たとえば、第４のウィンドウを音声指示によって展開する語句を単語登録するために、最初の時点でユーザ３５１が「タブシ（タブ４）」と発声したとする。この場合のステップＳ４４９による単語処理の結果は「ア○ウイ」となり、「タブニ（タブ２）」の登録内容と一致する。したがって、「タブシ（タブ４）」は単語辞書３２７の既登録の内容と一致することになり（ステップＳ４５１：Ｙ）、登録することができない（ステップＳ４５３）。
【００８６】
この場合、ユーザ３５１が登録にトライすることを選択し（ステップＳ４５４：Ｙ）、「タブヨン（タブ４）」と読み替えて単語を発声したとする。すると、ステップＳ４４９による単語処理の結果は「ア○ウオオ」となり、ユーザ３５１は単語登録を行うことができる。
【００８７】
エラー表示が行われた時点で、ユーザ３５１は単語処理を断念して「オワリ（終り）」と発声することもできる。この場合、ＣＰＵ３２１が「オワリ」を判別すると（ステップＳ４５４：Ｎ、ステップＳ４５５：Ｙ）、単語登録の処理が終了する（エンド）。ステップＳ４４１による操作内容の選択画面が表示されている状態でユーザ３５１が「オワリ（終り）」を発声した場合も（ステップＳ４４２：Ｎ、ステップＳ４４４：Ｎ、ステップＳ４４６：Ｎ、ステップＳ４５６：Ｙ）、同様である（エンド）。
【００８８】
以上説明した実施の形態によれば、ユーザ３５１が発声した単語を母音と両唇音の配列で区別して単語の比較処理を行うことにした。このため、ユーザ３５１の覚えやすい単語で多数の単語登録を行うことができ、表示操作を音を発するときの唇の開口部の形状によって多くの操作が可能になる。しかも、ユーザ３５１は必ずしも音を発生させず唇の開口部の形状を変化させるだけで表示操作を行うことができるので、他人に音の発生による迷惑を掛けることがない。
【００８９】
なお、実施の形態では「ン」の音を先に発声した音と同一の母音として処理したが、次に発声する音と同一の母音として処理したり、不定の音「−」としていずれにも該当しない内容に分類して処理してもよい。また、本実施の形態では単語の発声の開始前および終了時点でユーザ３５１が唇を閉じていないことを前提に処理を説明したが、必ず唇を閉じる人の場合には、単語の両端に発生する「○」の符号を１つずつ除去することで、唇を閉じない人と同様のデータ処理が可能である。
【００９０】
＜発明の第１の変形例＞
【００９１】
以上説明した実施の形態では単語を自然に発声させ、これを母音や両唇音の配置に分解して辞書に登録し、表示操作と対応付けたが、これに限るものではない。より簡易な音声による操作として、単語を構成する各音を唇の開閉で区切って１音ずつ発声させ、これらの母音の組み合わせを表示操作と対応付けるようにしてもよい。この場合、登録できる単語の種類はある程度制限されるが、登録された単語をうまく活用することでディスプレイに表示された内容を十分に操作することができる。
【００９２】
図２０は、話者としてのユーザが単語を１音ずつ発声するときの画像の変化の様子を表わしたものである。操作に使用する語句として「ミギ（右）」という音を発声する場合、この第１の変形例では「ミ」と「ギ」を１音ずつ間隔を置いて発音する。同図（Ａ）は「ミ」を発声する前の画像の状態であり、ユーザ３５１の唇３５３は閉じている。
【００９３】
同図（Ｂ）は発声状態での唇の形状を表わした画像であり、ユーザ３５１の唇３５３は発声した音の種類に応じた開き具合となっている。１つの音の発声が終了すると、この第１の変形例でユーザ３５１は唇３５３を閉じ、同図（Ａ）の状態に戻る。
【００９４】
このように１つの音が発声されるたびに口の開閉が行われるので、口を開いた同図（Ｃ）の画像と口を閉じた同図（Ａ）の画像が単語を構成する音の数だけ繰り返されることになる。もちろん、ユーザ３５１は発声を伴わない唇３５３の開閉のみを行うことができ、この場合にも第１の変形例の画面表示操作装置は表示上での各種操作を行うことができる。
【００９５】
図２１は、この第１の変形例におけるディスプレイの操作の第１の例を説明するためのものである。図２０と共に説明する。
【００９６】
ディスプレイ３０５には、第１のウィンドウ５０１と第２のウィンドウ５０２が表示されている。このような場合、ユーザ３５１は、いずれかのウィンドウをアクティブにする操作をまず行った後、該当するウィンドウに対してデータ処理を行うことになる。このときの第１のウィンドウ５０１と第２のウィンドウ５０２の切り替えという単純な操作は、図２０（Ａ）および同図（Ｃ）に示した口の開閉の判別で可能になる。
【００９７】
図２２は、第１および第２のウィンドウのアクティブとノンアクティブの切替制御の様子を表わしたものである。図２０および図２１と共に説明する。
【００９８】
図２２［Ａ］に示す第１の状態を初期状態とする。この初期状態では第１のウィンドウ５０１がアクティブで、これに対する操作が可能である。このとき、第２のウィンドウ５０２はノンアクティブであり、これに対する操作を行えない状態となっている。この状態でユーザ３５１が図２０の（Ａ）および（Ｃ）に示すように口を１度開閉させると、図２２［Ｂ］に示すように第１のウィンドウ５０１がノンアクティブとなり、代わって第２のウィンドウ５０２がアクティブとなる。また、図２２［Ｂ］に示すように第２のウィンドウ５０２がアクティブな状態からユーザ３５１が口を１度開閉させると、今度は図２２［Ａ］に示すように第１のウィンドウ５０１が再びアクティブな状態になる。このとき、第２のウィンドウ５０２はノンがアクティブとなる。
【００９９】
このようにディスプレイ３０５に２つの操作事項が存在し、これを択一的に選択しなければならない場合、この第１の変形例ではユーザ３５１が口を開閉するたびに選択動作が繰り返されることになる。したがって、極めて簡単に画面の操作が可能になる。
【０１００】
しかしながら口の開閉だけでは操作を指示する単語の種類が極端に限定される。したがって、図１７に示した複数のウィンドウのいずれかをアクティブにするような制御が困難になる。そこで、このような場合には図２０（Ａ）および（Ｂ）で示した単語発声時における唇３５３の開口部の形状の判別による操作が有効となる。
【０１０１】
図２３は、図１７で説明した「タブ１」〜「タブ４」の選択を、この第１の変形例における第２の例として説明するためのものである。図１７および図２０と共に説明する。
【０１０２】
図１７に示したように第１のウィンドウが前面に表示されている状態を第１の状態とする。このとき、第１のウィンドウがアクティブとなっており、ユーザはこれに対して更に詳細な操作を行うことができる。この状態でユーザ３５１が１つの音を発声するたびに口を開閉させながら、「ミ」、「ギ」（右）と発声したとする。この場合、先の実施の形態で説明した認識によってそれぞれの母音が判別され、「イ、イ」という判別結果が得られる。この第１の変形例では１つの音を発声するたびに口を開閉させるので、両唇音の判別による表記を省略している。
【０１０３】
この「イ、イ」という判別結果が得られるたびに、第１の変形例の画面表示操作装置ではタブの選択を右方向に１つずつエンドレスに進める。したがって、第１の状態のときにユーザ３５１が「ミ」、「ギ」（右）と発声すると、第２の状態となり「タブ２」が選択されて第２のウィンドウがアクティブとなる。また、第２の状態のときにユーザ３５１が「ミ」、「ギ」（右）と発声すると、第３の状態となり「タブ３」が選択されて第３のウィンドウがアクティブとなる。更に第３の状態のときにユーザ３５１が「ミ」、「ギ」（右）と発声すると、第４の状態となり「タブ４」が選択されて第４のウィンドウがアクティブとなる。更にまた第４の状態のときにユーザ３５１が「ミ」、「ギ」（右）と発声すると、第１の状態に戻り「タブ１」が選択されて第１のウィンドウがアクティブとなる。以下、同様である。
【０１０４】
また、第１のウィンドウがアクティブとなっている状態でユーザ３５１が１つの音を発声するたびに口を開閉させながら、「ヒ」、「ダ」、「リ」（左）と発声したとする。この場合、先の実施の形態で説明した認識によってそれぞれの母音が判別され、「イ、ア、イ」という判別結果が得られる。
【０１０５】
この「イ、ア、イ」という判別結果が得られるたびに、第１の変形例の画面表示操作装置ではタブの選択を左方向に１つずつエンドレスに進める。したがって、第１の状態のときにユーザ３５１が「ヒ」、「ダ」、「リ」（左）と発声すると、第４の状態となり「タブ４」が選択されて第４のウィンドウがアクティブとなる。また、第４の状態のときにユーザ３５１が「ヒ」、「ダ」、「リ」（左）と発声すると、第３の状態となり「タブ３」が選択されて第３のウィンドウがアクティブとなる。更に第３の状態のときにユーザ３５１が「ヒ」、「ダ」、「リ」（左）と発声すると、第２の状態となり「タブ２」が選択されて第２のウィンドウがアクティブとなる。更にまた第２の状態のときにユーザ３５１が「ヒ」、「ダ」、「リ」（左）と発声すると、第１の状態に戻り「タブ１」が選択されて第１のウィンドウがアクティブとなる。以下、同様である。
【０１０６】
以上説明した本発明の第１の変形例によれば、ユーザ３５１が１つの音を発声するたびに口を開閉させるので、単語を構成する各母音の判別が容易になる。したがって、画面（ウィンドウ）の切り替えや、画面の移動、バックライトの点灯や消灯といったディスプレイに関する操作の典型的なものについて予め口の開閉や母音の組み合わせを登録しておけば、手を使用することなく各種の操作が可能になる。このため、手がふさがった状態でも画面表示操作装置に顔を向けることができれば、各種の操作が可能になるという利点がある。
【０１０７】
しかも、「ミ」、「ギ」（右）や「ヒ」、「ダ」、「リ」（左）といったユーザ３５１が直感的に分かりやすい動作パターンを登録することで、使い勝手の良いインタフェースとして、誰でも気軽に活用することができる。
【０１０８】
＜発明の第２の変形例＞
【０１０９】
図２４は、本発明の第２の変形例における画面表示操作装置を示したものである。この第２の変形例の画面表示操作装置は、ノート型のパーソナルコンピュータ６００である。このパーソナルコンピュータ６００は、装置本体６０１に開閉自在に配置された蓋部６０２の内面側に、ディスプレイ６０３と共に撮像装置６０４を取り付けた構造となっている。したがって、ユーザはキー操作部６０５を手で操作することができるだけでなく、撮像装置６０４を用いて口の開閉や単語発声時の唇の開口部の形状認識による各種の操作が可能である。
【０１１０】
このように本発明の画面表示操作装置は、携帯電話機やＰＨＳ（Personal Handy-phone System）といった小型の情報処理装置に限定される必要はなく、撮像装置を使用できるあらゆる情報処理装置に適用可能である。
【０１１１】
また、本発明の実施の形態および変形例では日本語を対象とした母音および両唇音の特徴に基づく音の判別について説明したが、母音の種類や数の異なる他の言語についても本発明を適用することができることは当然である。
【０１１２】
以上説明した実施の形態の一部または全部は、以下の付記のようにも記載されるが、以下の記載に限定されるものではない。
【０１１３】
（付記１）
各種の情報を視覚的に表示するディスプレイと、
このディスプレイを使用する操作者の口を少なくとも撮影する撮像手段と、
この撮像手段によって得られた操作者の口の画像の経時的な変化を判別する変化判別手段と、
この変化判別手段の判別結果に応じて判別結果と対応付けた予め定めた特定の操作を実行する特定操作実行手段
とを具備することを特徴とする情報処理装置。
【０１１４】
（付記２）
前記変化判別手段は操作者の口の開閉の変化を判別することを特徴とする付記１記載の情報処理装置。
【０１１５】
（付記３）
前記変化判別手段は操作者の唇の開口部の発声時に１音ごとに形成される特有の形状を判別することを特徴とする付記１記載の情報処理装置。
【０１１６】
（付記４）
前記１音ごとに形成される特有の形状は、母音を発声するときの形状であることを特徴とする付記３記載の情報処理装置。
【０１１７】
（付記５）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、
この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、
前記単語発声パターン記録手段で記録した認識の対象となる単語発声パターンを前記単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、（へ）このパターン比較手段による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段
とを具備することを特徴とする単語判別装置。
【０１１８】
（付記６）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、
前記単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、
前記閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、
前記単語画像抽出手段によって抽出した単語画像における前記閉タイミング測定手段で測定したそれぞれのタイミングおよび前記母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記単語辞書における前記組み合わせと比較する比較手段と、
この比較手段で最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段
とを具備することを特徴とする単語判別装置。
【０１１９】
（付記７）
前記母音判別手段は、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記６記載の単語判別装置。
【０１２０】
（付記８）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、
この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、
前記単語発声パターン記録手段で記録した認識の対象となる単語発声パターンを前記単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、
このパターン比較手段による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段と、
各種の情報を表示するディスプレイと、
前記単語判別手段で判別した単語に対応する操作内容でこのディスプレイ上に表示された表示内容を操作する内容操作手段
とを具備することを特徴とする画面表示操作装置。
【０１２１】
（付記９）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、
前記単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、
前記閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、
前記単語画像抽出手段によって抽出した単語画像における前記閉タイミング測定手段で測定したそれぞれのタイミングおよび前記母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記単語辞書における前記組み合わせと比較する比較手段と、
この比較手段で最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段と、
各種の情報を表示するディスプレイと、
前記単語判別手段で判別した単語に対応する操作内容でこのディスプレイ上に表示された表示内容を操作する内容操作手段
とを具備することを特徴とする画面表示操作装置。
【０１２２】
（付記１０）
前記母音判別手段は、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記９記載の画面表示操作装置。
【０１２３】
（付記１１）
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出手段と、
この登録対象単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、
この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、
前記単語発声パターン記録手段で記録した単語登録の対象となる単語発声パターンを前記単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、
このパターン比較手段による比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別手段
とを具備することを特徴とする単語登録装置。
【０１２４】
（付記１２）
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出手段と、
この登録対象単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、
前記登録対象単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、
前記閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、
前記登録対象単語画像抽出手段によって抽出した単語画像における前記閉タイミング測定手段で測定したそれぞれのタイミングおよび前記母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記単語辞書における前記組み合わせと比較する比較手段と、
この比較手段による比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別手段
とを具備することを特徴とする単語登録装置。
【０１２５】
（付記１３）
前記母音判別手段は、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記１２記載の単語登録装置。
【０１２６】
（付記１４）
各種の情報を視覚的に表示するディスプレイを使用する操作者の口を少なくとも撮影する撮像ステップと、
この撮像ステップで得られた操作者の口の画像の経時的な変化を判別する変化判別ステップと、
この変化判別ステップによる判別結果に応じて判別結果と対応付けた予め定めた特定の操作を実行する特定操作実行ステップ
とを具備することを特徴とする情報処理方法。
【０１２７】
（付記１５）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップで抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、
この単語画像抽出ステップによって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録ステップと、
この単語発声パターン記録ステップで記録した認識の対象となる単語発声パターンを、前記単語発声パターン記録ステップで予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較ステップと、
このパターン比較ステップによる比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別ステップ
とを具備することを特徴とする単語判別方法。
【０１２８】
（付記１６）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、
この単語画像抽出ステップによって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定ステップと、
前記単語画像抽出ステップによって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別ステップと、
前記単語画像抽出ステップによって抽出した単語画像における前記閉タイミング測定ステップで測定したそれぞれのタイミングおよび前記母音判別ステップで判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定ステップで測定したそれぞれのタイミングと前記母音判別ステップで判別した各母音の組み合わせで単語ごとに予め登録した単語辞書における前記組み合わせと比較する比較ステップと、
この比較ステップによる比較の結果、最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別ステップ
とを具備することを特徴とする単語判別方法。
【０１２９】
（付記１７）
前記母音判別ステップでは、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記１６記載の単語判別方法。
【０１３０】
（付記１８）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、
この単語画像抽出ステップによって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録ステップと、
この単語発声パターン記録ステップで記録した認識の対象となる単語発声パターンを、前記単語発声パターン記録ステップで予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較ステップと、
このパターン比較ステップによる比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別ステップと、
この単語判別ステップで判別した単語に対応する操作内容で、各種の情報を表示するディスプレイ上に表示された表示内容を操作する内容操作ステップ
とを具備することを特徴とする画面表示操作方法。
【０１３１】
（付記１９）
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、
この単語画像抽出ステップによって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定ステップと、
前記単語画像抽出ステップによって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別ステップと、
前記単語画像抽出ステップによって抽出した単語画像における前記閉タイミング測定ステップで測定したそれぞれのタイミングおよび前記母音判別ステップで判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定ステップで測定したそれぞれのタイミングと前記母音判別ステップで判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較ステップと、
この比較ステップによる比較の結果、最も一致すると判別した単語辞書の単語を前記認識の対象とする人物の発声した単語であると判別する単語判別ステップと、
この単語判別ステップで判別した単語に対応する操作内容で、各種の情報を表示するディスプレイ上に表示された表示内容を操作する内容操作ステップ
とを具備することを特徴とする画面表示操作方法。
【０１３２】
（付記２０）
前記母音判別ステップは、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記１９記載の画面表示操作方法。
【０１３３】
（付記２１）
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出ステップと、
この登録対象単語画像抽出ステップによって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録ステップと、
この単語発声パターン記録ステップで記録した単語登録の対象となる単語発声パターンを、前記単語発声パターン記録ステップで予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較ステップと、
このパターン比較ステップによる比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別ステップ
とを具備することを特徴とする単語登録方法。
【０１３４】
（付記２２）
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出ステップと、
この登録対象単語画像抽出ステップによって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定ステップと、
前記登録対象単語画像抽出ステップによって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別ステップと、
前記登録対象単語画像抽出ステップによって抽出した単語画像における前記閉タイミング測定ステップで測定したそれぞれのタイミングおよび前記母音判別ステップで判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定ステップで測定したそれぞれのタイミングと前記母音判別ステップで判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較ステップと、
この比較ステップによる比較の結果、所定の値以上近似しないと判別した前記した組み合わせに対応する未登録の単語のみを単語登録可能とする登録単語可否判別ステップ
とを具備することを特徴とする単語登録方法。
【０１３５】
（付記２３）
前記母音判別ステップは、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記２２記載の単語登録方法。
【０１３６】
（付記２４）
コンピュータに、
各種の情報を視覚的に表示するディスプレイを使用する操作者の口を少なくとも撮影する撮像処理と、
この撮像処理で得られた操作者の口の画像の経時的な変化を判別する変化判別処理と、
この変化判別処理による判別結果に応じて判別結果と対応付けた予め定めた特定の操作を実行する特定操作実行処理
とを実行させることを特徴とする情報処理プログラム。
【０１３７】
（付記２５）
コンピュータに、
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理で抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出処理と、
この単語画像抽出処理によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録処理と、
この単語発声パターン記録処理で記録した認識の対象となる単語発声パターンを、前記単語発声パターン記録処理で予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較処理と、
このパターン比較処理による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別処理
とを実行させることを特徴とする単語判別プログラム。
【０１３８】
（付記２６）
コンピュータに、
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出処理と、
この単語画像抽出処理によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定処理と、
前記単語画像抽出処理によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別処理と、
前記単語画像抽出処理によって抽出した単語画像における前記閉タイミング測定処理で測定したそれぞれのタイミングおよび前記母音判別処理で判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定処理で測定したそれぞれのタイミングと前記母音判別処理で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較処理と、
この比較処理による比較の結果、最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別処理
とを実行させることを特徴とする単語判別プログラム。
【０１３９】
（付記２７）
前記母音判別処理では、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記２６記載の単語判別プログラム。
【０１４０】
（付記２８）
コンピュータに、
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出処理と、
この単語画像抽出処理によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録処理と、
この単語発声パターン記録処理で記録した認識の対象となる単語発声パターンを、前記単語発声パターン記録処理で予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較処理と、
このパターン比較処理による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別処理と、
この単語判別処理で判別した単語に対応する操作内容で、各種の情報を表示するディスプレイ上に表示された表示内容を操作する内容操作処理
とを実行させることを特徴とする画面表示操作プログラム。
【０１４１】
（付記２９）
コンピュータに、
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出処理と、
この単語画像抽出処理によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定処理と、
前記単語画像抽出処理によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別処理と、
前記単語画像抽出処理によって抽出した単語画像における前記閉タイミング測定処理で測定したそれぞれのタイミングおよび前記母音判別処理で判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定処理で測定したそれぞれのタイミングと前記母音判別処理で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較処理と、
この比較処理による比較の結果、最も一致すると判別した単語辞書の単語を前記認識の対象とする人物の発声した単語であると判別する単語判別処理と、
この単語判別処理で判別した単語に対応する操作内容で、各種の情報を表示するディスプレイ上に表示された表示内容を操作する内容操作処理
とを実行させることを特徴とする画面表示操作プログラム。
【０１４２】
（付記３０）
前記母音判別処理は、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記２９記載の画面表示操作プログラム。
【０１４３】
（付記３１）
コンピュータに、
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出処理と、
この登録対象単語画像抽出処理によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録処理と、
この単語発声パターン記録処理で記録した単語登録の対象となる単語発声パターンを、前記単語発声パターン記録処理で予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較処理と、
このパターン比較処理による比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別処理
とを実行させることを特徴とする単語登録プログラム。
【０１４４】
（付記３２）
コンピュータに、
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出処理と、
この登録対象単語画像抽出処理によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定処理と、
前記登録対象単語画像抽出処理によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別処理と、
前記登録対象単語画像抽出処理によって抽出した単語画像における前記閉タイミング測定処理で測定したそれぞれのタイミングおよび前記母音判別処理で判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定処理で測定したそれぞれのタイミングと前記母音判別処理で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書における前記した組み合わせと比較する比較処理と、
この比較処理による比較の結果、所定の値以上近似しないと判別した前記した組み合わせに対応する未登録の単語のみを単語登録可能とする登録単語可否判別処理
とを実行させることを特徴とする単語登録プログラム。
【０１４５】
（付記３３）
前記母音判別処理は、同一の唇の開口部の形状が前記所定時間以上継続するとき、この所定時間を超えた特定時間が経過するたびに同一の母音が繰り返し発声されたと判別することを特徴とする付記３２記載の単語登録プログラム。
【符号の説明】
【０１４６】
１０ 情報処理装置
１１、５８、４７、３０５、６０３ ディスプレイ
１２ 撮像手段
１３ 変化判別手段
１４ 特定操作実行手段
２０、３０ 単語判別装置
２１、３１ 唇画像領域抽出手段
２２、３２ 単語画像抽出手段
２３ 単語発声パターン記録手段
２４、３５、４４、５５、６４、７５、３２７ 単語辞書
２５、４５、６５ パターン比較手段
２６、３７、４６、５７ 単語判別手段
３３、５３、７３ 閉タイミング測定手段
３４、５４、７４ 母音判別手段
３６、５６、７６ 比較手段
４０、５０ 画面表示操作装置
４１、５１、６１、７１ 唇画像領域抽出手段
４２、５２ 単語画像抽出手段
４３、６３ 単語発声パターン記録手段
４８、５９ 内容操作手段
６０、７０ 単語登録装置
６２、７２ 登録対象単語画像抽出手段
６６、７７ 登録単語可否判別手段
８０、９０ 単語判別方法
８１、９１ 唇画像領域抽出ステップ
８２、９２ 単語画像抽出ステップ
８３ 単語発声パターン記録ステップ
８４ パターン比較ステップ
８５、９６ 単語判別ステップ
９３ 閉タイミング測定ステップ
９４ 母音判別ステップ
９５ 比較ステップ
１００ 単語判別プログラム
１０１ 唇画像領域抽出処理
１０２ 単語画像抽出処理
１０３ 閉タイミング測定処理
１０４ 母音判別処理
１０５ 比較処理
１０６ 単語判別処理
３００ 携帯電話機
３０６、６０４ 撮像装置
３２１ ＣＰＵ
３２２ メモリ
３２３ 主制御部
３２８ 単語判別部
３２９ 画像メモリ
３３０ 唇画像領域抽出部
３３１ 単語画像抽出部
３３２ 閉タイミング測定部
３３３ 母音判別部
３５１ ユーザ
３５２ 顔
３５３ 唇
５０１ 第１のウィンドウ
５０２ 第２のウィンドウ
６００ パーソナルコンピュータ
【特許請求の範囲】
【請求項１】
各種の情報を視覚的に表示するディスプレイと、
このディスプレイを使用する操作者の口を少なくとも撮影する撮像手段と、
この撮像手段によって得られた操作者の口の画像の経時的な変化を判別する変化判別手段と、
この変化判別手段の判別結果に応じて判別結果と対応付けた予め定めた特定の操作を実行する特定操作実行手段
とを具備することを特徴とする情報処理装置。
【請求項２】
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、
この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、
前記単語発声パターン記録手段で記録した認識の対象となる単語発声パターンを前記単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、（へ）このパターン比較手段による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段
とを具備することを特徴とする単語判別装置。
【請求項３】
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、
前記単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、
前記閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、
前記単語画像抽出手段によって抽出した単語画像における前記閉タイミング測定手段で測定したそれぞれのタイミングおよび前記母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記単語辞書における前記組み合わせと比較する比較手段と、
この比較手段による比較の結果、最も一致すると判別した単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段
とを具備することを特徴とする単語判別装置。
【請求項４】
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、
この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、
前記単語発声パターン記録手段で記録した認識の対象となる単語発声パターンを前記単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、
このパターン比較手段による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段と、
各種の情報を表示するディスプレイと、
前記単語判別手段で判別した単語に対応する操作内容でこのディスプレイ上に表示された表示内容を操作する内容操作手段
とを具備することを特徴とする画面表示操作装置。
【請求項５】
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、
前記単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、
前記閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、
前記単語画像抽出手段によって抽出した単語画像における前記閉タイミング測定手段で測定したそれぞれのタイミングおよび前記母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記単語辞書における前記組み合わせと比較する比較手段と、
この比較手段で最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段と、
各種の情報を表示するディスプレイと、
前記単語判別手段で判別した単語に対応する操作内容でこのディスプレイ上に表示された表示内容を操作する内容操作手段
とを具備することを特徴とする画面表示操作装置。
【請求項６】
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出手段と、
この登録対象単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、
この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、
前記単語発声パターン記録手段で記録した単語登録の対象となる単語発声パターンを前記単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、
このパターン比較手段による比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別手段
とを具備することを特徴とする単語登録装置。
【請求項７】
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出手段と、
この登録対象単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、
前記登録対象単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、
前記閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、
前記登録対象単語画像抽出手段によって抽出した単語画像における前記閉タイミング測定手段で測定したそれぞれのタイミングおよび前記母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記単語辞書における前記組み合わせと比較する比較手段と、
この比較手段による比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別手段
とを具備することを特徴とする単語登録装置。
【請求項８】
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップで抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、
この単語画像抽出ステップによって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録ステップと、
この単語発声パターン記録ステップで記録した認識の対象となる単語発声パターンを、前記単語発声パターン記録ステップで予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較ステップと、
このパターン比較ステップによる比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別ステップ
とを具備することを特徴とする単語判別方法。
【請求項９】
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、
この単語画像抽出ステップによって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定ステップと、
前記単語画像抽出ステップによって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別ステップと、
前記単語画像抽出ステップによって抽出した単語画像における前記閉タイミング測定ステップで測定したそれぞれのタイミングおよび前記母音判別ステップで判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定ステップで測定したそれぞれのタイミングと前記母音判別ステップで判別した各母音の組み合わせで単語ごとに予め登録した単語辞書における前記組み合わせと比較する比較ステップと、
この比較ステップによる比較の結果、最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別ステップ
とを具備することを特徴とする単語判別方法。
【請求項１０】
コンピュータに、
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出処理と、
この単語画像抽出処理によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定処理と、
前記単語画像抽出処理によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別処理と、
前記単語画像抽出処理によって抽出した単語画像における前記閉タイミング測定処理で測定したそれぞれのタイミングおよび前記母音判別処理で判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定処理で測定したそれぞれのタイミングと前記母音判別処理で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較処理と、
この比較処理による比較の結果、最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別処理
とを実行させることを特徴とする単語判別プログラム。
【請求項１】
各種の情報を視覚的に表示するディスプレイと、
このディスプレイを使用する操作者の口を少なくとも撮影する撮像手段と、
この撮像手段によって得られた操作者の口の画像の経時的な変化を判別する変化判別手段と、
この変化判別手段の判別結果に応じて判別結果と対応付けた予め定めた特定の操作を実行する特定操作実行手段
とを具備することを特徴とする情報処理装置。
【請求項２】
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、
この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、
前記単語発声パターン記録手段で記録した認識の対象となる単語発声パターンを前記単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、（へ）このパターン比較手段による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段
とを具備することを特徴とする単語判別装置。
【請求項３】
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、
前記単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、
前記閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、
前記単語画像抽出手段によって抽出した単語画像における前記閉タイミング測定手段で測定したそれぞれのタイミングおよび前記母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記単語辞書における前記組み合わせと比較する比較手段と、
この比較手段による比較の結果、最も一致すると判別した単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段
とを具備することを特徴とする単語判別装置。
【請求項４】
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、
この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、
前記単語発声パターン記録手段で記録した認識の対象となる単語発声パターンを前記単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、
このパターン比較手段による比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段と、
各種の情報を表示するディスプレイと、
前記単語判別手段で判別した単語に対応する操作内容でこのディスプレイ上に表示された表示内容を操作する内容操作手段
とを具備することを特徴とする画面表示操作装置。
【請求項５】
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出手段と、
この単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、
前記単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、
前記閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、
前記単語画像抽出手段によって抽出した単語画像における前記閉タイミング測定手段で測定したそれぞれのタイミングおよび前記母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記単語辞書における前記組み合わせと比較する比較手段と、
この比較手段で最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別手段と、
各種の情報を表示するディスプレイと、
前記単語判別手段で判別した単語に対応する操作内容でこのディスプレイ上に表示された表示内容を操作する内容操作手段
とを具備することを特徴とする画面表示操作装置。
【請求項６】
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出手段と、
この登録対象単語画像抽出手段によって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録手段と、
この単語発声パターン記録手段あるいはこれと同等の手段によって予め記録しておいた単語発声パターンをそれぞれ単語と対応付けた単語辞書と、
前記単語発声パターン記録手段で記録した単語登録の対象となる単語発声パターンを前記単語辞書内の各単語についての単語発声パターンと比較するパターン比較手段と、
このパターン比較手段による比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別手段
とを具備することを特徴とする単語登録装置。
【請求項７】
単語登録の際に認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出手段と、
この唇画像領域抽出手段によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を登録する画像を発声した場合の単語画像として抽出する登録対象単語画像抽出手段と、
この登録対象単語画像抽出手段によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定手段と、
前記登録対象単語画像抽出手段によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別手段と、
前記閉タイミング測定手段あるいはこれと同等の手段によって測定したそれぞれのタイミングと前記母音判別手段あるいはこれと同等の手段によって判別した各母音の組み合わせを、予め複数の単語とそれぞれ対応付けて用意した単語辞書と、
前記登録対象単語画像抽出手段によって抽出した単語画像における前記閉タイミング測定手段で測定したそれぞれのタイミングおよび前記母音判別手段で判別した単語を構成するそれぞれの母音の組み合わせを前記単語辞書における前記組み合わせと比較する比較手段と、
この比較手段による比較の結果、所定の値以上近似しないと判別した単語発声パターンに対応する未登録の単語のみを単語登録可能とする登録単語可否判別手段
とを具備することを特徴とする単語登録装置。
【請求項８】
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップで抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、
この単語画像抽出ステップによって抽出した単語画像における上下の唇の閉じたときの合わせ目が全体的に水平に配置しているとしたときの前記唇の開口部の中心点を通る上下方向と左右方向のそれぞれの距離の時間的な変化を１単位の単語が発声されたときの単語発声パターンとして記録する単語発声パターン記録ステップと、
この単語発声パターン記録ステップで記録した認識の対象となる単語発声パターンを、前記単語発声パターン記録ステップで予めそれぞれの単語と対応付けて登録した単語辞書内の各単語についての単語発声パターンと比較するパターン比較ステップと、
このパターン比較ステップによる比較の結果、最も一致すると判別した単語発声パターンに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別ステップ
とを具備することを特徴とする単語判別方法。
【請求項９】
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出ステップと、
この唇画像領域抽出ステップによって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出ステップと、
この単語画像抽出ステップによって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定ステップと、
前記単語画像抽出ステップによって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別ステップと、
前記単語画像抽出ステップによって抽出した単語画像における前記閉タイミング測定ステップで測定したそれぞれのタイミングおよび前記母音判別ステップで判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定ステップで測定したそれぞれのタイミングと前記母音判別ステップで判別した各母音の組み合わせで単語ごとに予め登録した単語辞書における前記組み合わせと比較する比較ステップと、
この比較ステップによる比較の結果、最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別ステップ
とを具備することを特徴とする単語判別方法。
【請求項１０】
コンピュータに、
認識の対象とする人物の顔の画像から唇の領域の画像を抽出する唇画像領域抽出処理と、
この唇画像領域抽出処理によって抽出した唇画像領域における唇画像の変化開始から終了までの一連の経時的変化を１単位の単語画像として抽出する単語画像抽出処理と、
この単語画像抽出処理によって抽出した単語画像における上下の唇が閉じられるタイミングを測定する閉タイミング測定処理と、
前記単語画像抽出処理によって抽出した単語画像における所定時間以上継続する同一の唇の開口部の形状から単語を構成するそれぞれの母音を判別する母音判別処理と、
前記単語画像抽出処理によって抽出した単語画像における前記閉タイミング測定処理で測定したそれぞれのタイミングおよび前記母音判別処理で判別した単語を構成するそれぞれの母音の組み合わせを、前記閉タイミング測定処理で測定したそれぞれのタイミングと前記母音判別処理で判別した各母音の組み合わせで単語ごとに予め登録した単語辞書と比較する比較処理と、
この比較処理による比較の結果、最も一致すると判別した前記単語辞書における前記組み合わせに対応する単語を前記認識の対象とする人物の発声した単語であると判別する単語判別処理
とを実行させることを特徴とする単語判別プログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【公開番号】特開２０１２−１１８６７９（Ｐ２０１２−１１８６７９Ａ）
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願番号】特願２０１０−２６６６５０（Ｐ２０１０−２６６６５０）
【出願日】平成２２年１１月３０日（２０１０．１１．３０）
【出願人】（０００２３２２５４）日本電気通信システム株式会社 (586)
【Ｆターム（参考）】
【公開日】平成２４年６月２１日（２０１２．６．２１）
【国際特許分類】
【出願日】平成２２年１１月３０日（２０１０．１１．３０）
【出願人】（０００２３２２５４）日本電気通信システム株式会社 (586)
【Ｆターム（参考）】
[ Back to top ]