手話認識方法及びその装置
【課題】手話者が不特定多数の者に対して手話者の意思を正確に伝達することが可能な手話認識方法及びその装置を提供する。
【解決手段】 手話を画像取得手段１２によって画像データに変換し、変換した画像データを文字として認識する手話認識方法及びその装置１０において、画像取得手段１２を、手話を行っている手話者１１の胴部前側に配置し、手話者１１の手話を撮像する。そして、手話を、手話の特徴情報に基づいて複数のグループに分類し、手話の基準画像データと対応する文字を記憶してデータベースを予め作成し、画像データから特徴情報を抽出して画像データが属するデータベース内のグループを特定し、画像データと特定されたグループ内の基準画像データとを比較して文字を認識し、文字を文字画像、音声、又は音声付き文字画像として出力する。
【解決手段】 手話を画像取得手段１２によって画像データに変換し、変換した画像データを文字として認識する手話認識方法及びその装置１０において、画像取得手段１２を、手話を行っている手話者１１の胴部前側に配置し、手話者１１の手話を撮像する。そして、手話を、手話の特徴情報に基づいて複数のグループに分類し、手話の基準画像データと対応する文字を記憶してデータベースを予め作成し、画像データから特徴情報を抽出して画像データが属するデータベース内のグループを特定し、画像データと特定されたグループ内の基準画像データとを比較して文字を認識し、文字を文字画像、音声、又は音声付き文字画像として出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、手話者（例えば、発話障害者、聴覚障害者）の手話を文字として認識し、認識結果を手話者の意思として外部に伝達する手話認識方法及びその装置に関する。
【背景技術】
【０００２】
発話障害者間のコミュニケーションは、例えば手話を介して行なわれているが、発話障害者が健常者に意思の伝達を行うには、健常者が手話を理解しなければ容易でない。そこで、図６に示すように、健常者８０側に、例えばカメラ８１を設置して手話行為者（手話者）８２が行う手話を撮影し、得られた画像データから手話者８２の手話を、例えば文字として認識して、認識結果を健常者８０が認識できる形式に変換して（図６では、「この方は、郵便局はどこかと尋ねています」という音声に変えて）伝える手話認識装置８３や手法が種々提案されている（例えば、特許文献１、非特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２７７９４４８号公報
【非特許文献】
【０００４】
【非特許文献１】三船智明、江刺宏恭、千種康民「手話ＣＡＩのための手話記述言語とＧＵＩの開発」、情報システム研究会技術報告、情報処理学会、１９９６年３月、第１９９６巻、第３０号、p．７−１４
【非特許文献２】有賀光希、酒向慎司、北村正「日本手話の音韻構造を考慮したHMMに基づく手話認識」、電子情報通信学会技術研究報告、ＰＲＭＵ研究会、２０１０年１０月、第１１０巻、第２１９号、p．１２７−１３２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、提案された手話認識装置８３は、健常者８０側に手話認識装置８３を設置することを前提としているため、手話者８２からの意思伝達は手話認識装置８３を所持する健常者８０に限定され、不特定多数の者に対して手話者８２の意思を伝達することができないという問題がある。そして、手話を撮影するカメラ８１が手話者８２の正面に位置していないと、手話の正確な画像を取得することができず、手話の認識率が低下するという問題がある。また、カメラ８１と手話者８２との間が離れると、手話画像に加えて背景等の不要な画像も同時に取込まれるため、手話画像のみを抽出する前処理が必要になり、前処理で得られる手話画像の精度により手話の認識率が変動するという問題も生じる。更に、健常者８０が、常時必要としない手話認識装置８３を携行するということは期待できず、手話認識装置８３の普及という面において現実的でないという問題がある。
【０００６】
本発明はかかる事情に鑑みてなされたもので、手話者が不特定多数の者に対して手話者の意思を正確に伝達することが可能な手話認識方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的に沿う本発明に係る手話認識方法は、手話を画像取得手段によって画像データに変換し、変換した前記画像データを文字として認識する手話認識方法において、
前記画像取得手段を、手話を行っている手話者の胴部前側に配置し、前記画像取得手段によって前記手話者の手話を撮像する。
【０００８】
本発明に係る手話認識方法において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶してデータベースを予め作成し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することが好ましい。
【０００９】
本発明に係る手話認識方法において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成することができる。
【００１０】
前記目的に沿う本発明に係る手話認識装置は、手話を画像取得手段によって画像データに変換し、変換した前記画像データを文字として認識する手話認識装置において、
前記画像取得手段を、手話を行っている手話者の胴部前側に配置し、前記画像取得手段によって前記手話者の手話を撮像している。
【００１１】
本発明に係る手話認識装置において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに予め分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶して作成したデータベースを有し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することが好ましい。
【００１２】
本発明に係る手話認識装置において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成することができる。
【発明の効果】
【００１３】
本発明に係る手話認識方法及びその装置においては、手話者の手話を撮像して画像データに変換する画像取得手段を、手話を行っている手話者の胴部前側に配置するので、画像取得手段を手話者と共に移動させることができる。これにより、手話者は、手話を認識できない不特定多数の者に対して、随時意思の伝達を容易に図ることができる。そして、手話者は、使い慣れた手話を使用するので、筆談、キーボード入力による文字表示や音声出力等の他の伝達方式と比較して、自分の意思を迅速、臨機応変、かつ容易に伝達することができる。
また、画像取得手段が、画像取得手段を常時必要とする手話者側に所持されるため、手話認識方法及びその装置の普及を促進することができる。更に、画像取得手段が手話者の胴部前側に配置されるので、手話を近距離から撮影することができる。これにより、手話の正確な画像データを取得することができ、手話の認識が容易にできると共に、背景等の不要画像の取込が制限されるため、手話の認識を安定して行うことができる。
【００１４】
本発明に係る手話認識方法及びその装置において、手話者の手話を、手話の特徴情報に基づいて複数のグループに分類し、グループ毎に手話の基準画像データと基準画像データに対応する文字を記憶してデータベースを予め作成する場合、手話者の特徴（癖）を考慮した手話認識方法及びその装置を構築することができる。これによって、手話の認識率を向上することができる。そして、手話者が自作した指文字（例えば、熟語や慣用語句等で示される使用頻度の高い表現や複雑な意思を、簡潔に表示する手話者専用の指文字）の基準画像データをデータベースに登録すれば、手話者の自作した指文字の認識が可能になる。これにより、手話者は、通常の指文字に加えて、自作した指文字を自由に使用することができ、通常の指文字と自作の指文字を組合わせて使用することで、自分の意思を適格、迅速、かつ容易に伝達することができる。
また、画像データから特徴情報を抽出して画像データが属するデータベース内のグループを特定し、画像データと特定されたグループ内の基準画像データとを比較して画像データに類似する基準画像データを選定する場合、基準画像データの選定精度を向上することができる。これによって、手話の認識率を向上することができる。
更に、選定した基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力する場合、手話を認識できない不特定多数の者に対して確実に手話者の意思を伝達することができる。
【００１５】
本発明に係る手話認識方法及びその装置において、手話者の手話が指文字である場合、手話を一文字ずつ認識することができ、正確な意思の伝達が可能になる。
また、特徴情報が、手の向きと伸ばした指の本数から構成される場合、指文字の分類を容易に行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施の形態に係る手話認識装置の説明図である。
【図２】同手話認識装置による手話の認識手順を示す説明図である。
【図３】手の特徴情報の抽出手順の説明図である。
【図４】（Ａ）はシルエット画像、（Ｂ）は細線化画像、（Ｃ）は端点及び端点円の画像の説明図である。
【図５】指文字の大まかな分類の説明図である。
【図６】従来の手話認識装置の説明図である。
【発明を実施するための形態】
【００１７】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１に示すように、本発明の一実施の形態に係る手話認識装置１０は、手話者１１の手話の一例である指文字を画像取得手段の一例であるビデオカメラ１２によって画像データに変換し、変換した画像データを文字（例えば、図１では、「郵便局はどこですか」という文字列）として認識して、認識した文字を文字画像、音声、又は音声付き文字画像として手話を認識できない健常者１３に伝達するものである。そして、手話認識装置１０は、ビデオカメラ１２を手話を行っている手話者１１の胴部前側（例えば胸部）に配置し、ビデオカメラ１２によって、ビデオカメラ１２の前で行なわれる手話者１１の指文字を撮像し、しかも、手話者１１に装着されて手話者１１と共に移動する。ここで、指文字は、平仮名一文字ずつと対応しているので、手話者１１の意思を一文字ずつ認識することができ、正確な意思の伝達が可能になる。なお、手話認識装置１０は、手話者１１の手の動きを伴う「の、も、り、を、ん」を除く平仮名に対応する指文字を対象としている。以下、詳細に説明する。
【００１８】
手話認識装置１０は、手話者１１の複数の指文字をビデオカメラ１２で予め撮影して指文字毎に基準画像データを取得し、得られた基準画像データにそれぞれ文字を対応させてデータベースとして記憶するデータベース作成機能を備えた学習手段を有している。また、手話認識装置１０は、手話者１１が意思の伝達のために表示した指文字の画像データと記憶している基準画像データとを比較して、画像データに類似する基準画像データを選定し、選定した基準画像データに対応する文字を認識し、認識した文字の文字信号を出力する判別機能を備えた認識手段を有している。更に、手話認識装置１０は、認識した文字の文字信号を、例えば音声として出力する伝達手段の一例であるスピーカ１４を有している。ここで、学習手段及び認識手段は、データベース作成機能及び判別機能を発現するプログラムを、例えば、可搬式パーソナルコンピュータ（ウェアブルパーソナルコンピュータ）１５に搭載することにより構成できる。
【００１９】
手話者１１の指文字を撮像して基準画像データを作成するので、手話者１２の特徴（癖）を考慮してデータベースを構築することができる。また、指文字は、「手の向き（上方向、横（水平）方向、下方向の３区分）」及び「伸ばした指の本数」から構成される手の特徴情報に基づいて複数のグループに分類することができる。このため、データベースは、指文字の手の特徴情報に基づいて分類されたグループ毎に、基準画像データと基準画像データに対応する文字を記憶している。ここで、指文字を表示している指は、重なることがあるため、「伸ばした指の本数」は、０又は１本、１±１本、２±１本、３±１本、４±１本、５又は４本の６区分に分類する。
【００２０】
認識手段では、入力された画像データから、「手の向き」及び「伸ばした指の本数」で構成される手の特徴情報を抽出し、画像データが、指文字の特徴情報に基づいて予め分類されたデータベース内のどのグループに属するかを決定する。画像データが属するグループが決定されると、決定されたグループ内の基準画像データと画像データとを比較して、画像データに類似する基準画像データを選定し、選定した基準画像データに対応する文字を認識する。
【００２１】
画像データから手の特徴情報を抽出する場合、先ず、画像データから細線化画像を作成して連結数が１の端点を全て探す。次いで、画像データのシルエット画像の輪郭部分と探した各端点との最小距離を求めて端点を中心とする円の半径とし、最大半径の円の中心となる端点位置を手首位置、それ以外の端点位置を指先位置とする。そして、画像データから手の重心位置を求めて、手首位置と重心位置の位置関係、指先位置同士の相対的位置関係から、手の向き（上方向、横（水平）方向、又は下方向）を決める。また、指先位置に対応する端点の個数を「伸ばした指の本数」とする。
【００２２】
ここで、認識手段は、画像データに対して文字を認識するたびに認識結果を認識順に予め設定された個数だけ記憶する認識記憶部を有し、画像データに対して文字が新たに認識される度に、新たに認識された文字と認識記憶部に記憶されている複数の文字から文字群を形成し、文字群を構成している文字の中で、予め設定された個数以上で、かつ最大個数となる文字を、画像データに対応する文字とする補間機能が設けられている。
【００２３】
手話認識装置１０(即ち、ビデオカメラ１２、可搬式パーソナルコンピュータ１５、スピーカ１４）は、手話者１１に装着されて手話者１１と共に移動するので、手話者１１は、指文字を認識できない不特定多数の健常者１３に対して、随時意思の伝達を容易に図ることができる。また、手話認識装置１０が、手話認識装置１０を常時必要とする手話者１１に所持されるため、手話認識装置１０の普及を促進することもできる。
また、ビデオカメラ１２が手話者１１の胴部前側に配置されるので、指文字を近距離から撮影することができ、指文字の正確な画像データの取得が可能になって、指文字の認識が容易にできる。そして、指文字の画像データを撮影する際、背景や通行人等の不要画像の取込が制限されるため、指文字の認識を安定して行うことができる。
更に、画像データが属するグループを特定して認識候補となる文字を絞り込むので、指文字を文字として認識する際の認識精度（認識率）が向上する。そして、認識された文字は、スピーカ１４から音声として出力されるので、指文字を認識できない健常者１３に対して手話者１１の意思を容易に伝達することができる。
【００２４】
続いて、手話認識装置１０を使用して、手話者１１が表示した指文字を認識する手話認識方法について説明する。
先ず、手話認識装置１０に設けられたビデオカメラ１２を手話者１１の胴部前側に配置し、ビデオカメラ１２の前で手話者１１が表示する複数の指文字をビデオカメラ１２で予め撮影し、学習手段を用いて指文字毎に基準画像データを取得し、得られた基準画像データにそれぞれ文字を対応させてデータベースとして記憶しておく。なお、データベースでは、指文字を、手の形状を示す手の向き及び伸ばした指の本数に基づいて予め複数のグループに分類し、グループ毎にグループに属する指文字の基準画像データと指文字に対応する文字とを対として記憶している。
【００２５】
手話者１１は、胴部前側にビデオカメラ１２を配置すると共に、データベースが構築された学習手段及び認識手段が搭載された可搬式パーソナルコンピュータ１５を背負い、スピーカ１４を肩に取付けることにより、手話認識装置１０を装着する。そして、手話者１１が自分の意思を、指文字を認識できない健常者１３に伝達しようとする場合、図示しないスイッチを操作して手話認識装置１０を起動させ、意思を伝える指文字をビデオカメラ１２の前に表示する。
【００２６】
図２に示すように、手話者１１がビデオカメラ１２の前で表示した指文字は、ビデオカメラ１２で撮像されて、入力画像が形成され、入力画像は画像データに変換されて、認識手段に入力される。認識手段に入力された画像データから手の特徴情報を抽出し、画像データが、指文字の特徴情報に基づいて予め分類されたデータベース内のどのグループに属するかを決定する。入力画像が属するグループが決定されると、決定されたグループ内の基準画像データと画像データとを比較して、画像データに類似する基準画像データを選定し、選定した基準画像データと対となった文字を特定する。そして、画像データに対応する文字が特定されると、特定された文字を画像データの認識結果として出力する(以上、認識処理）。
【００２７】
ここで、最新の画像データに対して文字が新たに認識されると、新たに認識された文字と認識記憶部に認識順に記憶されている複数の文字から文字群を形成し、文字群を構成している文字の中で、予め設定された個数以上で、かつ最大個数となる文字を、画像データに対応する文字として決定する補間処理を行う。そして、認識手段からは、補間処理で決定された文字の文字信号が、スピーカ１４に出力される。以下、手の特徴情報の抽出方法及び認識処理の方法に付いてそれぞれ説明する。
【００２８】
手の特徴情報を抽出する場合、図３に示すように、入力画像中のノイズ除去を行った後、手の領域を抽出するために、肌色に合致する領域を求め、指文字の手の形状情報を取得する。肌色領域の抽出には、ＨＳＶ色空間を用いる。変数である色相（Ｈ）、彩度（Ｓ）、及び明度（Ｖ）をそれぞれ、例えば、５＜Ｈ＜３０、Ｓ＜３０、Ｖ＞０．４と設定する。抽出結果は手のシルエット画像として得られる（図４（Ａ）参照）。そして、シルエット画像から、肌色領域部分の重心位置を求める。
【００２９】
次いで、Hilditch（ヒルディチ）の細線化アルゴリズムを用いてシルエット画像に細線化を施す。得られた細線化画像を図４（Ｂ）に示す。なお、図４（Ｂ）は、細線化画像をシルエット画像に重ねて示している。細線化画像において、各画素の８近傍を調べて連結数を求める。連結数が１である端点を探し、その端点を指先又は手首の候補とする。そして、求めた端点において、端点を中心とする円の半径を徐々に大きくして、円がシルエット画像の輪郭部分と最初に接触する際の半径を求める（図４（Ｃ）参照）。
【００３０】
一般に、手首位置の端点を中心とする円の半径は、指先の端点を中心とする円の半径よりも大きいので、半径が最大となる円の中心（端点）を手首位置とすることができ、手首以外の端点を指先位置とすることができる。そして、手首位置と重心位置との位置関係、端点同士の相対的位置関係から、画像データの手の向きが、上方向、横（水平）方向、下方向の３区分のいずれに該当するかを決める。また、手首以外の端点の個数から、伸ばした指の本数を求める。その結果、画像データが、データベース内で予め分類されたどのグループに属するかを決める（即ち、表示された指文字（画像データ）をデータベース内のグループに基づいて大まかに分類する）。
【００３１】
なお、画像データは、手の向きに関しては、上方向、横（水平）方向、下方向のいずれかに分類できるが、伸ばした指の本数に関しては、指の本数が０本又は５本の場合は２つのグループにそれぞれ含まれるとし、指の本数が１〜４本の場合は３つのグループにそれぞれ含まれるとする。このため、図５に示すように、画像データから文字を認識するには、特定されたグループ毎に含まれる基準画像データと画像データとの比較を行う。
【００３２】
画像データからの文字の認識は、画像データが属すると特定されたグループの中で、画像データに類似する基準画像データを選定し、選定した基準画像に対応する文字を求めることになる。ここで、画像データに類似する基準画像データの選定には、例えば、グレースケールにおける固有空間法を使用する。なお、固有空間法を使用する場合、グループに含まれる基準画像データ毎に、基準画像データのグレースケールにおける輝度分布を構成する基準画像濃度値ベクトル（画素の濃度値を画素番号順に並べたもの）を求め、求めた基準画像濃度値ベクトルを固有ベクトルの線形結合で記述する際に固有ベクトル及び基準画像線形結合係数を決定して（学習して）、データベースに予め記憶しておく。
【００３３】
そして、画像データに類似する基準画像データを選定するには、先ず、画像データの輝度分布を構成する画像濃度値ベクトルを求め、画像データが属すると特定されたグループの有する固有ベクトルの線形結合で画像濃度値ベクトルを近似した際に使用する画像線形結合係数を求める。次いで、得られた画像線形結合係数に最も近い基準画像線形結合係数を探し出し、探し出した基準画像線形結合係数を有する基準画像濃度値ベクトルに対応する基準画像データを、画像データに最も類似するとして選定する。
【００３４】
なお、固有ベクトル及び基準画像線形結合係数の決定、画像線形結合係数の算出に要する時間を短縮するため、基準画像濃度値ベクトルの主成分分析を行い、固有ベクトルの次元を圧縮することが好ましい。固有ベクトルの次元の圧縮は以下の手順で行う。先ず、基準画像濃度値ベクトルから構成される濃度値行列から分散共分散行列を求めて、分散共分散行列の固有値を求める。次いで、固有値を大きい順に並べ、最大の固有値から最小の固有値に向けて固有値を順次足し合せた固有値部分和を求め、固有値部分和を固有値総和（最大の固有値から最小の固有値までを全て足し合せたもの）で除した累積寄与率が、例えば０．８未満の範囲で、最大となる固有値部分和を求める。そして、求めた固有値部分和を構成する固有値にそれぞれ対応する固有ベクトルを対象とすることで、固有ベクトルの次元を圧縮することができる。
【００３５】
ここで、認識手段には認識記憶部が設けられており、画像データに対して文字が認識される毎に（例えば１秒毎に）認識結果が順次設定された個数(例えば３０個、時間にして１秒間分）だけ記憶されている。そして、取得した画像データに対して文字が新たに認識されると、新たに認識された文字と認識記憶部に記憶されている複数（３０個）の文字から文字群を形成し、文字群を構成している文字の中で、例えば度数（個数）が５以上で、かつ最大度数（最大個数）の文字を、画像データに対応する文字として認識する補間機能が設けられている。これによって、順次表示される指文字と指文字の間で誤認識が行なわれるのを低減できる。
そして、認識手段からは、画像データに対応する文字の文字信号が、スピーカ１４に出力され、指文字を認識できない健常者１３に対して、音声として手話者１１の意思を伝達する。
【実施例】
【００３６】
手話者の胸部にビデオカメラを取付け、ビデオカメラの前で表示される４１種類の指文字を撮影し、画像データを取得した。画像データは、４１種類の指文字の静止画像データからなるデータ群を１回分として６回分からなる（即ち、２４６枚の静止画像データから構成される）。そして、５回分の静止画像データを学習（基準画像データの作成）に用い、残りの１回分の静止画像データに対して図２に示す手順で文字の認識を行うLeave-one-out（リーブ・ワン・アウト）法による評価を６回繰り返した。手の特徴情報を抽出して指文字の画像データを予め分類してから文字の認識を行う方法、即ち、固有ベクトルで張られる一つの固有空間の有する基準画像データ数（クラス数）を減らして認識処理を行うことで、２４６個の指文字の画像データ中、１９６個の指文字の画像データに対して正しい文字が認識され、認識率は７９．７％であった。
【００３７】
なお、同一の画像データを使用してLeave-one-out法による評価を行う際に、手の特徴情報を考慮せず、４１種類の指文字の基準画像データを学習して固有ベクトル及び基準画像線形結合係数を決定し、文字の認識を行うと、２４６個の指文字の画像データ中、７８個の指文字の画像データに対して正しい文字が認識され、認識率は３１．７％であった。このことから、手の特徴情報を抽出して指文字の画像データを予め分類してから文字の認識を行うと、認識率を向上できることが確認できた。
【００３８】
以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
更に、本実施の形態とその他の実施の形態や変形例にそれぞれ含まれる構成要素を組合わせたものも、本発明に含まれる。
例えば、スピーカの代わりにディスプレイを装着することで、認識した文字を文字画像として表示できる。また、スピーカと共にディスプレイを装着することで、音声付き文字画像として出力することができる。
更に、認識した文字の文字画像及び／又は音声の伝達手段に、健常者（手話者が意思を伝達しようとする相手）の有する携帯電話のディスプレイ及び／又はスピーカを利用するようにすることもできる。
【符号の説明】
【００３９】
１０：手話認識装置、１１：手話者、１２：ビデオカメラ、１３：健常者、１４：スピーカ、１５：可搬式パーソナルコンピュータ
【技術分野】
【０００１】
本発明は、手話者（例えば、発話障害者、聴覚障害者）の手話を文字として認識し、認識結果を手話者の意思として外部に伝達する手話認識方法及びその装置に関する。
【背景技術】
【０００２】
発話障害者間のコミュニケーションは、例えば手話を介して行なわれているが、発話障害者が健常者に意思の伝達を行うには、健常者が手話を理解しなければ容易でない。そこで、図６に示すように、健常者８０側に、例えばカメラ８１を設置して手話行為者（手話者）８２が行う手話を撮影し、得られた画像データから手話者８２の手話を、例えば文字として認識して、認識結果を健常者８０が認識できる形式に変換して（図６では、「この方は、郵便局はどこかと尋ねています」という音声に変えて）伝える手話認識装置８３や手法が種々提案されている（例えば、特許文献１、非特許文献１、２参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第２７７９４４８号公報
【非特許文献】
【０００４】
【非特許文献１】三船智明、江刺宏恭、千種康民「手話ＣＡＩのための手話記述言語とＧＵＩの開発」、情報システム研究会技術報告、情報処理学会、１９９６年３月、第１９９６巻、第３０号、p．７−１４
【非特許文献２】有賀光希、酒向慎司、北村正「日本手話の音韻構造を考慮したHMMに基づく手話認識」、電子情報通信学会技術研究報告、ＰＲＭＵ研究会、２０１０年１０月、第１１０巻、第２１９号、p．１２７−１３２
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、提案された手話認識装置８３は、健常者８０側に手話認識装置８３を設置することを前提としているため、手話者８２からの意思伝達は手話認識装置８３を所持する健常者８０に限定され、不特定多数の者に対して手話者８２の意思を伝達することができないという問題がある。そして、手話を撮影するカメラ８１が手話者８２の正面に位置していないと、手話の正確な画像を取得することができず、手話の認識率が低下するという問題がある。また、カメラ８１と手話者８２との間が離れると、手話画像に加えて背景等の不要な画像も同時に取込まれるため、手話画像のみを抽出する前処理が必要になり、前処理で得られる手話画像の精度により手話の認識率が変動するという問題も生じる。更に、健常者８０が、常時必要としない手話認識装置８３を携行するということは期待できず、手話認識装置８３の普及という面において現実的でないという問題がある。
【０００６】
本発明はかかる事情に鑑みてなされたもので、手話者が不特定多数の者に対して手話者の意思を正確に伝達することが可能な手話認識方法及びその装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
前記目的に沿う本発明に係る手話認識方法は、手話を画像取得手段によって画像データに変換し、変換した前記画像データを文字として認識する手話認識方法において、
前記画像取得手段を、手話を行っている手話者の胴部前側に配置し、前記画像取得手段によって前記手話者の手話を撮像する。
【０００８】
本発明に係る手話認識方法において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶してデータベースを予め作成し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することが好ましい。
【０００９】
本発明に係る手話認識方法において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成することができる。
【００１０】
前記目的に沿う本発明に係る手話認識装置は、手話を画像取得手段によって画像データに変換し、変換した前記画像データを文字として認識する手話認識装置において、
前記画像取得手段を、手話を行っている手話者の胴部前側に配置し、前記画像取得手段によって前記手話者の手話を撮像している。
【００１１】
本発明に係る手話認識装置において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに予め分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶して作成したデータベースを有し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することが好ましい。
【００１２】
本発明に係る手話認識装置において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成することができる。
【発明の効果】
【００１３】
本発明に係る手話認識方法及びその装置においては、手話者の手話を撮像して画像データに変換する画像取得手段を、手話を行っている手話者の胴部前側に配置するので、画像取得手段を手話者と共に移動させることができる。これにより、手話者は、手話を認識できない不特定多数の者に対して、随時意思の伝達を容易に図ることができる。そして、手話者は、使い慣れた手話を使用するので、筆談、キーボード入力による文字表示や音声出力等の他の伝達方式と比較して、自分の意思を迅速、臨機応変、かつ容易に伝達することができる。
また、画像取得手段が、画像取得手段を常時必要とする手話者側に所持されるため、手話認識方法及びその装置の普及を促進することができる。更に、画像取得手段が手話者の胴部前側に配置されるので、手話を近距離から撮影することができる。これにより、手話の正確な画像データを取得することができ、手話の認識が容易にできると共に、背景等の不要画像の取込が制限されるため、手話の認識を安定して行うことができる。
【００１４】
本発明に係る手話認識方法及びその装置において、手話者の手話を、手話の特徴情報に基づいて複数のグループに分類し、グループ毎に手話の基準画像データと基準画像データに対応する文字を記憶してデータベースを予め作成する場合、手話者の特徴（癖）を考慮した手話認識方法及びその装置を構築することができる。これによって、手話の認識率を向上することができる。そして、手話者が自作した指文字（例えば、熟語や慣用語句等で示される使用頻度の高い表現や複雑な意思を、簡潔に表示する手話者専用の指文字）の基準画像データをデータベースに登録すれば、手話者の自作した指文字の認識が可能になる。これにより、手話者は、通常の指文字に加えて、自作した指文字を自由に使用することができ、通常の指文字と自作の指文字を組合わせて使用することで、自分の意思を適格、迅速、かつ容易に伝達することができる。
また、画像データから特徴情報を抽出して画像データが属するデータベース内のグループを特定し、画像データと特定されたグループ内の基準画像データとを比較して画像データに類似する基準画像データを選定する場合、基準画像データの選定精度を向上することができる。これによって、手話の認識率を向上することができる。
更に、選定した基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力する場合、手話を認識できない不特定多数の者に対して確実に手話者の意思を伝達することができる。
【００１５】
本発明に係る手話認識方法及びその装置において、手話者の手話が指文字である場合、手話を一文字ずつ認識することができ、正確な意思の伝達が可能になる。
また、特徴情報が、手の向きと伸ばした指の本数から構成される場合、指文字の分類を容易に行うことができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施の形態に係る手話認識装置の説明図である。
【図２】同手話認識装置による手話の認識手順を示す説明図である。
【図３】手の特徴情報の抽出手順の説明図である。
【図４】（Ａ）はシルエット画像、（Ｂ）は細線化画像、（Ｃ）は端点及び端点円の画像の説明図である。
【図５】指文字の大まかな分類の説明図である。
【図６】従来の手話認識装置の説明図である。
【発明を実施するための形態】
【００１７】
続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１に示すように、本発明の一実施の形態に係る手話認識装置１０は、手話者１１の手話の一例である指文字を画像取得手段の一例であるビデオカメラ１２によって画像データに変換し、変換した画像データを文字（例えば、図１では、「郵便局はどこですか」という文字列）として認識して、認識した文字を文字画像、音声、又は音声付き文字画像として手話を認識できない健常者１３に伝達するものである。そして、手話認識装置１０は、ビデオカメラ１２を手話を行っている手話者１１の胴部前側（例えば胸部）に配置し、ビデオカメラ１２によって、ビデオカメラ１２の前で行なわれる手話者１１の指文字を撮像し、しかも、手話者１１に装着されて手話者１１と共に移動する。ここで、指文字は、平仮名一文字ずつと対応しているので、手話者１１の意思を一文字ずつ認識することができ、正確な意思の伝達が可能になる。なお、手話認識装置１０は、手話者１１の手の動きを伴う「の、も、り、を、ん」を除く平仮名に対応する指文字を対象としている。以下、詳細に説明する。
【００１８】
手話認識装置１０は、手話者１１の複数の指文字をビデオカメラ１２で予め撮影して指文字毎に基準画像データを取得し、得られた基準画像データにそれぞれ文字を対応させてデータベースとして記憶するデータベース作成機能を備えた学習手段を有している。また、手話認識装置１０は、手話者１１が意思の伝達のために表示した指文字の画像データと記憶している基準画像データとを比較して、画像データに類似する基準画像データを選定し、選定した基準画像データに対応する文字を認識し、認識した文字の文字信号を出力する判別機能を備えた認識手段を有している。更に、手話認識装置１０は、認識した文字の文字信号を、例えば音声として出力する伝達手段の一例であるスピーカ１４を有している。ここで、学習手段及び認識手段は、データベース作成機能及び判別機能を発現するプログラムを、例えば、可搬式パーソナルコンピュータ（ウェアブルパーソナルコンピュータ）１５に搭載することにより構成できる。
【００１９】
手話者１１の指文字を撮像して基準画像データを作成するので、手話者１２の特徴（癖）を考慮してデータベースを構築することができる。また、指文字は、「手の向き（上方向、横（水平）方向、下方向の３区分）」及び「伸ばした指の本数」から構成される手の特徴情報に基づいて複数のグループに分類することができる。このため、データベースは、指文字の手の特徴情報に基づいて分類されたグループ毎に、基準画像データと基準画像データに対応する文字を記憶している。ここで、指文字を表示している指は、重なることがあるため、「伸ばした指の本数」は、０又は１本、１±１本、２±１本、３±１本、４±１本、５又は４本の６区分に分類する。
【００２０】
認識手段では、入力された画像データから、「手の向き」及び「伸ばした指の本数」で構成される手の特徴情報を抽出し、画像データが、指文字の特徴情報に基づいて予め分類されたデータベース内のどのグループに属するかを決定する。画像データが属するグループが決定されると、決定されたグループ内の基準画像データと画像データとを比較して、画像データに類似する基準画像データを選定し、選定した基準画像データに対応する文字を認識する。
【００２１】
画像データから手の特徴情報を抽出する場合、先ず、画像データから細線化画像を作成して連結数が１の端点を全て探す。次いで、画像データのシルエット画像の輪郭部分と探した各端点との最小距離を求めて端点を中心とする円の半径とし、最大半径の円の中心となる端点位置を手首位置、それ以外の端点位置を指先位置とする。そして、画像データから手の重心位置を求めて、手首位置と重心位置の位置関係、指先位置同士の相対的位置関係から、手の向き（上方向、横（水平）方向、又は下方向）を決める。また、指先位置に対応する端点の個数を「伸ばした指の本数」とする。
【００２２】
ここで、認識手段は、画像データに対して文字を認識するたびに認識結果を認識順に予め設定された個数だけ記憶する認識記憶部を有し、画像データに対して文字が新たに認識される度に、新たに認識された文字と認識記憶部に記憶されている複数の文字から文字群を形成し、文字群を構成している文字の中で、予め設定された個数以上で、かつ最大個数となる文字を、画像データに対応する文字とする補間機能が設けられている。
【００２３】
手話認識装置１０(即ち、ビデオカメラ１２、可搬式パーソナルコンピュータ１５、スピーカ１４）は、手話者１１に装着されて手話者１１と共に移動するので、手話者１１は、指文字を認識できない不特定多数の健常者１３に対して、随時意思の伝達を容易に図ることができる。また、手話認識装置１０が、手話認識装置１０を常時必要とする手話者１１に所持されるため、手話認識装置１０の普及を促進することもできる。
また、ビデオカメラ１２が手話者１１の胴部前側に配置されるので、指文字を近距離から撮影することができ、指文字の正確な画像データの取得が可能になって、指文字の認識が容易にできる。そして、指文字の画像データを撮影する際、背景や通行人等の不要画像の取込が制限されるため、指文字の認識を安定して行うことができる。
更に、画像データが属するグループを特定して認識候補となる文字を絞り込むので、指文字を文字として認識する際の認識精度（認識率）が向上する。そして、認識された文字は、スピーカ１４から音声として出力されるので、指文字を認識できない健常者１３に対して手話者１１の意思を容易に伝達することができる。
【００２４】
続いて、手話認識装置１０を使用して、手話者１１が表示した指文字を認識する手話認識方法について説明する。
先ず、手話認識装置１０に設けられたビデオカメラ１２を手話者１１の胴部前側に配置し、ビデオカメラ１２の前で手話者１１が表示する複数の指文字をビデオカメラ１２で予め撮影し、学習手段を用いて指文字毎に基準画像データを取得し、得られた基準画像データにそれぞれ文字を対応させてデータベースとして記憶しておく。なお、データベースでは、指文字を、手の形状を示す手の向き及び伸ばした指の本数に基づいて予め複数のグループに分類し、グループ毎にグループに属する指文字の基準画像データと指文字に対応する文字とを対として記憶している。
【００２５】
手話者１１は、胴部前側にビデオカメラ１２を配置すると共に、データベースが構築された学習手段及び認識手段が搭載された可搬式パーソナルコンピュータ１５を背負い、スピーカ１４を肩に取付けることにより、手話認識装置１０を装着する。そして、手話者１１が自分の意思を、指文字を認識できない健常者１３に伝達しようとする場合、図示しないスイッチを操作して手話認識装置１０を起動させ、意思を伝える指文字をビデオカメラ１２の前に表示する。
【００２６】
図２に示すように、手話者１１がビデオカメラ１２の前で表示した指文字は、ビデオカメラ１２で撮像されて、入力画像が形成され、入力画像は画像データに変換されて、認識手段に入力される。認識手段に入力された画像データから手の特徴情報を抽出し、画像データが、指文字の特徴情報に基づいて予め分類されたデータベース内のどのグループに属するかを決定する。入力画像が属するグループが決定されると、決定されたグループ内の基準画像データと画像データとを比較して、画像データに類似する基準画像データを選定し、選定した基準画像データと対となった文字を特定する。そして、画像データに対応する文字が特定されると、特定された文字を画像データの認識結果として出力する(以上、認識処理）。
【００２７】
ここで、最新の画像データに対して文字が新たに認識されると、新たに認識された文字と認識記憶部に認識順に記憶されている複数の文字から文字群を形成し、文字群を構成している文字の中で、予め設定された個数以上で、かつ最大個数となる文字を、画像データに対応する文字として決定する補間処理を行う。そして、認識手段からは、補間処理で決定された文字の文字信号が、スピーカ１４に出力される。以下、手の特徴情報の抽出方法及び認識処理の方法に付いてそれぞれ説明する。
【００２８】
手の特徴情報を抽出する場合、図３に示すように、入力画像中のノイズ除去を行った後、手の領域を抽出するために、肌色に合致する領域を求め、指文字の手の形状情報を取得する。肌色領域の抽出には、ＨＳＶ色空間を用いる。変数である色相（Ｈ）、彩度（Ｓ）、及び明度（Ｖ）をそれぞれ、例えば、５＜Ｈ＜３０、Ｓ＜３０、Ｖ＞０．４と設定する。抽出結果は手のシルエット画像として得られる（図４（Ａ）参照）。そして、シルエット画像から、肌色領域部分の重心位置を求める。
【００２９】
次いで、Hilditch（ヒルディチ）の細線化アルゴリズムを用いてシルエット画像に細線化を施す。得られた細線化画像を図４（Ｂ）に示す。なお、図４（Ｂ）は、細線化画像をシルエット画像に重ねて示している。細線化画像において、各画素の８近傍を調べて連結数を求める。連結数が１である端点を探し、その端点を指先又は手首の候補とする。そして、求めた端点において、端点を中心とする円の半径を徐々に大きくして、円がシルエット画像の輪郭部分と最初に接触する際の半径を求める（図４（Ｃ）参照）。
【００３０】
一般に、手首位置の端点を中心とする円の半径は、指先の端点を中心とする円の半径よりも大きいので、半径が最大となる円の中心（端点）を手首位置とすることができ、手首以外の端点を指先位置とすることができる。そして、手首位置と重心位置との位置関係、端点同士の相対的位置関係から、画像データの手の向きが、上方向、横（水平）方向、下方向の３区分のいずれに該当するかを決める。また、手首以外の端点の個数から、伸ばした指の本数を求める。その結果、画像データが、データベース内で予め分類されたどのグループに属するかを決める（即ち、表示された指文字（画像データ）をデータベース内のグループに基づいて大まかに分類する）。
【００３１】
なお、画像データは、手の向きに関しては、上方向、横（水平）方向、下方向のいずれかに分類できるが、伸ばした指の本数に関しては、指の本数が０本又は５本の場合は２つのグループにそれぞれ含まれるとし、指の本数が１〜４本の場合は３つのグループにそれぞれ含まれるとする。このため、図５に示すように、画像データから文字を認識するには、特定されたグループ毎に含まれる基準画像データと画像データとの比較を行う。
【００３２】
画像データからの文字の認識は、画像データが属すると特定されたグループの中で、画像データに類似する基準画像データを選定し、選定した基準画像に対応する文字を求めることになる。ここで、画像データに類似する基準画像データの選定には、例えば、グレースケールにおける固有空間法を使用する。なお、固有空間法を使用する場合、グループに含まれる基準画像データ毎に、基準画像データのグレースケールにおける輝度分布を構成する基準画像濃度値ベクトル（画素の濃度値を画素番号順に並べたもの）を求め、求めた基準画像濃度値ベクトルを固有ベクトルの線形結合で記述する際に固有ベクトル及び基準画像線形結合係数を決定して（学習して）、データベースに予め記憶しておく。
【００３３】
そして、画像データに類似する基準画像データを選定するには、先ず、画像データの輝度分布を構成する画像濃度値ベクトルを求め、画像データが属すると特定されたグループの有する固有ベクトルの線形結合で画像濃度値ベクトルを近似した際に使用する画像線形結合係数を求める。次いで、得られた画像線形結合係数に最も近い基準画像線形結合係数を探し出し、探し出した基準画像線形結合係数を有する基準画像濃度値ベクトルに対応する基準画像データを、画像データに最も類似するとして選定する。
【００３４】
なお、固有ベクトル及び基準画像線形結合係数の決定、画像線形結合係数の算出に要する時間を短縮するため、基準画像濃度値ベクトルの主成分分析を行い、固有ベクトルの次元を圧縮することが好ましい。固有ベクトルの次元の圧縮は以下の手順で行う。先ず、基準画像濃度値ベクトルから構成される濃度値行列から分散共分散行列を求めて、分散共分散行列の固有値を求める。次いで、固有値を大きい順に並べ、最大の固有値から最小の固有値に向けて固有値を順次足し合せた固有値部分和を求め、固有値部分和を固有値総和（最大の固有値から最小の固有値までを全て足し合せたもの）で除した累積寄与率が、例えば０．８未満の範囲で、最大となる固有値部分和を求める。そして、求めた固有値部分和を構成する固有値にそれぞれ対応する固有ベクトルを対象とすることで、固有ベクトルの次元を圧縮することができる。
【００３５】
ここで、認識手段には認識記憶部が設けられており、画像データに対して文字が認識される毎に（例えば１秒毎に）認識結果が順次設定された個数(例えば３０個、時間にして１秒間分）だけ記憶されている。そして、取得した画像データに対して文字が新たに認識されると、新たに認識された文字と認識記憶部に記憶されている複数（３０個）の文字から文字群を形成し、文字群を構成している文字の中で、例えば度数（個数）が５以上で、かつ最大度数（最大個数）の文字を、画像データに対応する文字として認識する補間機能が設けられている。これによって、順次表示される指文字と指文字の間で誤認識が行なわれるのを低減できる。
そして、認識手段からは、画像データに対応する文字の文字信号が、スピーカ１４に出力され、指文字を認識できない健常者１３に対して、音声として手話者１１の意思を伝達する。
【実施例】
【００３６】
手話者の胸部にビデオカメラを取付け、ビデオカメラの前で表示される４１種類の指文字を撮影し、画像データを取得した。画像データは、４１種類の指文字の静止画像データからなるデータ群を１回分として６回分からなる（即ち、２４６枚の静止画像データから構成される）。そして、５回分の静止画像データを学習（基準画像データの作成）に用い、残りの１回分の静止画像データに対して図２に示す手順で文字の認識を行うLeave-one-out（リーブ・ワン・アウト）法による評価を６回繰り返した。手の特徴情報を抽出して指文字の画像データを予め分類してから文字の認識を行う方法、即ち、固有ベクトルで張られる一つの固有空間の有する基準画像データ数（クラス数）を減らして認識処理を行うことで、２４６個の指文字の画像データ中、１９６個の指文字の画像データに対して正しい文字が認識され、認識率は７９．７％であった。
【００３７】
なお、同一の画像データを使用してLeave-one-out法による評価を行う際に、手の特徴情報を考慮せず、４１種類の指文字の基準画像データを学習して固有ベクトル及び基準画像線形結合係数を決定し、文字の認識を行うと、２４６個の指文字の画像データ中、７８個の指文字の画像データに対して正しい文字が認識され、認識率は３１．７％であった。このことから、手の特徴情報を抽出して指文字の画像データを予め分類してから文字の認識を行うと、認識率を向上できることが確認できた。
【００３８】
以上、本発明を、実施の形態を参照して説明してきたが、本発明は何ら上記した実施の形態に記載した構成に限定されるものではなく、特許請求の範囲に記載されている事項の範囲内で考えられるその他の実施の形態や変形例も含むものである。
更に、本実施の形態とその他の実施の形態や変形例にそれぞれ含まれる構成要素を組合わせたものも、本発明に含まれる。
例えば、スピーカの代わりにディスプレイを装着することで、認識した文字を文字画像として表示できる。また、スピーカと共にディスプレイを装着することで、音声付き文字画像として出力することができる。
更に、認識した文字の文字画像及び／又は音声の伝達手段に、健常者（手話者が意思を伝達しようとする相手）の有する携帯電話のディスプレイ及び／又はスピーカを利用するようにすることもできる。
【符号の説明】
【００３９】
１０：手話認識装置、１１：手話者、１２：ビデオカメラ、１３：健常者、１４：スピーカ、１５：可搬式パーソナルコンピュータ
【特許請求の範囲】
【請求項１】
手話を画像取得手段によって画像データに変換し、変換した前記画像データを文字として認識する手話認識方法において、
前記画像取得手段を、手話を行っている手話者の胴部前側に配置し、前記画像取得手段によって前記手話者の手話を撮像することを特徴とする手話認識方法。
【請求項２】
請求項１記載の手話認識方法において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶してデータベースを予め作成し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することを特徴とする手話認識方法。
【請求項３】
請求項２記載の手話認識方法において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成されることを特徴とする手話認識方法。
【請求項４】
手話を画像取得手段によって画像データに変換し、変換した前記画像データを文字として認識する手話認識装置において、
前記画像取得手段を、手話を行っている手話者の胴部前側に配置し、前記画像取得手段によって前記手話者の手話を撮像することを特徴とする手話認識装置。
【請求項５】
請求項４記載の手話認識装置において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに予め分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶して作成したデータベースを有し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することを特徴とする手話認識装置。
【請求項６】
請求項５記載の手話認識装置において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成されることを特徴とする手話認識装置。
【請求項１】
手話を画像取得手段によって画像データに変換し、変換した前記画像データを文字として認識する手話認識方法において、
前記画像取得手段を、手話を行っている手話者の胴部前側に配置し、前記画像取得手段によって前記手話者の手話を撮像することを特徴とする手話認識方法。
【請求項２】
請求項１記載の手話認識方法において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶してデータベースを予め作成し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することを特徴とする手話認識方法。
【請求項３】
請求項２記載の手話認識方法において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成されることを特徴とする手話認識方法。
【請求項４】
手話を画像取得手段によって画像データに変換し、変換した前記画像データを文字として認識する手話認識装置において、
前記画像取得手段を、手話を行っている手話者の胴部前側に配置し、前記画像取得手段によって前記手話者の手話を撮像することを特徴とする手話認識装置。
【請求項５】
請求項４記載の手話認識装置において、前記手話者の手話を、手話の特徴情報に基づいて複数のグループに予め分類し、該グループ毎に手話の基準画像データと該基準画像データに対応する文字を記憶して作成したデータベースを有し、前記画像データから前記特徴情報を抽出して該画像データが属する前記データベース内の前記グループを特定し、前記画像データと特定された前記グループ内の前記基準画像データとを比較して該画像データに類似する前記基準画像データを選定し、選定した該基準画像データに対応する文字を認識して、認識した文字を、文字画像、音声、又は音声付き文字画像として出力することを特徴とする手話認識装置。
【請求項６】
請求項５記載の手話認識装置において、前記手話者の手話は指文字であって、前記特徴情報は、手の向きと伸ばした指の本数から構成されることを特徴とする手話認識装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図２】
【図３】
【図４】
【図５】
【図６】
【公開番号】特開２０１２−２５２５８１（Ｐ２０１２−２５２５８１Ａ）
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願番号】特願２０１１−１２５３９４（Ｐ２０１１−１２５３９４）
【出願日】平成２３年６月３日（２０１１．６．３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年１２月４日 公益社団法人計測自動制御学会九州支部発行の「第２９回計測自動制御学会九州支部学術講演会予稿集」に発表
【出願人】（５０４１７４１３５）国立大学法人九州工業大学 (489)
【Ｆターム（参考）】
【公開日】平成２４年１２月２０日（２０１２．１２．２０）
【国際特許分類】
【出願日】平成２３年６月３日（２０１１．６．３）
【新規性喪失の例外の表示】特許法第３０条第１項適用申請有り 平成２２年１２月４日 公益社団法人計測自動制御学会九州支部発行の「第２９回計測自動制御学会九州支部学術講演会予稿集」に発表
【出願人】（５０４１７４１３５）国立大学法人九州工業大学 (489)
【Ｆターム（参考）】
[ Back to top ]